可解释人工智能（XAI）在军事领域的作用

近期，由于人工智能（AI）和机器学习，尤其是深度学习的进步，可解释人工智能（XAI）研究领域受到了广泛的关注。XAI这一研究领域的重点在于确保AI系统的推理和决策可被人类用户理解。在军事领域，可解释性通常要保证以下几点：人类用户运行的AI系统拥有恰当的心理模型；专家可从AI系统及其隐性战术和战略行为中获得见解和知识；AI系统遵循国际和国家法律；开发者能够在部署前确定AI系统的缺陷或错误。本文依据瑞典国防研究所报告《探索军事深度学习应用程序中的可解释人工智能技术》认为，这类AI系统由于建模过程过于复杂，无法使用其他可解释的替代方案，因此本质上难以理解。尽管深度学习的XAI领域仍处于发展初期，但已出现不少解释技术。当前的XAI技术主要用于开发用途，如确定错误等。不过，如果这些技术可为用户使用的AI系统打造合适的心理模型、进行战术开发并确保未来军事AI系统遵循国家和国际法律，那么就应对其进行更多的研究。本文将依据该报告，介绍XAI技术及其在军事中的应用。

关键词

人工智能，可解释人工智能，深度学习当今人工智能（AI）成功的主要原因是机器学习（ML）的突破，更确切的说，是深度学习（DL）的突破。深度学习是一项具有颠覆性潜力的技术，人们使用深度神经网络可实现传统技术无法完成的复杂建模。如，深度学习可以用于准确的转写（言语到文本）、翻译（文本到文本）、进行即时战略游戏（影像到动作）、读唇语（影像到文本）、面部识别（图片到识别）以及控制自动驾驶车辆（影像到行动）等。

然而，由于深度学习仍处于发展初期，且不存在能够保证模型准确性的数学框架，因此，在开发、部署、运用和维护军用神经网络模型时，势必会遇到很多挑战和问题，需要人们不断思考并找出解决方案。

在作战人员、数据分析师等军事人员看来，最大的挑战或许在于可解释性。根据经验，如果行动会影响到人类生活，则对可解释性的需求将大大提高。可解释性之所以重要，是因为它会影响用户对系统的信任和依赖。信任关系必须保持一定的平衡，信任程度过高会导致对系统的误用，信任程度过低，则系统无法发挥作用。归根结底，解释旨在帮助用户为系统建立合适的心理模型，以保证系统得到有效的利用。

深度学习有提升战斗机、潜艇、无人机、卫星监视系统等复杂军事系统的自主性的潜力，但它也可能使这些系统变得更加复杂、更加难以解释。主要原因在于，深度学习是“端到端”的机器学习技术，即机器通过学习从输入数据中提取最重要的特征从而获得高性能。这一过程区别于人工通过直觉提取特征的传统技术，被称作表征学习。表征学习常常能够带来高性能，但它同样要求模型具有高度表达力和非线性特征。因此，使用深度学习训练而成的深度神经网络可能包含数百万甚至数十亿个参数，就算人们已经对算法、模型架构、训练数据等有了深入的了解，也难以解释这些模型。

美国国防部先进研究计划局（DARPA）于2016年启动了可解释人工智能（XAI）项目，项目旨在：一、生成可解释性更高的模型，同时维持高水平的学习性能（预测准确度）；二、使人类用户能够理解、适度信任和有效管理新一代AI工具。该项目启动后，取得了多项技术进步。一些XAI技术已被打包到软件库并进行运行。军事人员可利用这些软件库来深入了解深度神经网络，同时消除其错误并对其进行校验。这一步在大方向上没有错，但从军事角度出发，为军事用户量身定制XAI技术和工具同样关键，这要求其具备高解释水平。

XAI技术

在任何会对人类生活产生影响的军用高风险决策AI系统中，XAI都是一个关键组成部分。以关注短期决策的战术级AI应用为例，这类AI的功能包括对无人车辆的自主控制以及武器和监视系统的目标识别、跟踪和打击能力。在战争的作战和战略层面，XAI也同样重要，而这一层面的长期决策和规划活动可能会影响全人类。在作战和战略层，AI系统通常被用于信息分析，同时也会通过模拟来提出计划或行动方案。XAI在军事系统中的主要作用包括：

心理模型：XAI可支持用户为AI系统创建合适的心理模型。无论军事系统是否启用了AI，用户都必须对系统的运行边界有清晰的认识，以保证对系统合理有效的使用。

见解：深度神经网络可用于获取知识和识别复杂程序中人类未知的模型。通过使用XAI技术，人们可以发现并学习这些知识。使用强化学习开发战术和战略就是对XAI的一次典型运用。开发过程中，XAI可能会生成对军事领域更深刻的见解。

法律法规：XAI可用于确保AI系统遵循国家和国际法律。致命自主武器系统（LAWS）可能是最有争议的AI应用。有人希望禁止此类应用，也有人认为，只要LAWS能改进精度并将附带损伤降至最小，就可以存在。瑞典国防研究所报告认为，在开发用于规定LAWS这类AI系统启动的时间、地点的规则方面，XAI可发挥重要作用。

消除错误：文献中有无数个将XAI用于识别深度神经网络错误的案例。通常情况下，如果图片中的版权水印、模拟器虚假数据或非现实的游戏数据出现在训练数据中，深度神经网络就会出现错误，在运行测试数据时表现良好，而在运行真实数据时失误频频。如果能够把XAI技术集成到开发程序中，这类问题就能够在部署前被检测和解决。

XAI技术主要有：全局解释技术，如大型高维数据集的可视化技术、模型评估；局部解释技术，如梯度显著性、相关性分数逐层传播技术、沙普利值附件解释、局部可理解的与模型无关的解释、用于解释黑盒模型的随机输入采样；混合解释技术，如谱相关性分析。

评估XAI技术

XAI领域一个常被忽视但又至关重要的环节是对提出的XAI技术进行评估。本节将从人为因素出发，引入评估标准。人为因素评估中，作战人员、分析师等用户是衡量AI系统中XAI效果的核心。本节还将介绍可用于比较局部XAI技术的测试方法。

1.人为因素评估

对XAI技术的人为因素评估将测试各解释是否考虑了全部重要因素，以便用户充分利用AI系统。比如，用户可能有不同的目的、需求、知识、经验、任务背景、使用案例等。和开发各类系统一样，在从系统规格到用户测试的AI系统开发全流程中，将以上因素纳入考量十分重要。由于深度学习的XAI技术是一个新兴的研究领域，因此该技术的初始用户通常是对模型性能评估感兴趣的系统开发人员。然而，目前还无法确定这些XAI技术是否对军事用户有用。《可解释AI指标：挑战与前景》一文给出了6个用于评估解释的指标：

解释优度：在XAI技术开发过程中，从用户的角度出发，列出一份清单。该清单以解释方面的现有文献为基础，从解释的7个方面进行评估，如解释能否帮助用户理解AI系统的工作方式、解释能否使用户满意、解释是否足够详细和全面等。

解释满意度：从解释优度出发，衡量用户对解释的体验的测量量表。该量表包括8个以陈述形式表现的项目（7个优度项目和1个关于解释是否对用户目标有用的项目）。一项效度分析显示，该量表十分可靠，可用于区分解释的好坏。

心理模型引导度：好的解释可加深用户对AI系统工作方式和决策原理的理解。在认知心理学中，这被称为AI系统的用户心理模型。文章建议用4个任务来衡量人工智能系统的用户心理模型，如提示回顾任务，即用户在运用AI系统完成一项任务后，描述其推理过程；又如预测任务，即用户对AI系统后续的行为做出预测。一项对比了用户心理模型和专家心理模型的研究显示了用户心理模型的完整度。

好奇心驱动度：好的解释可以驱动用户研究和解决心理模型中存在的知识缺口。文章建议通过要求客户确定促使其寻求解释的因素来衡量好奇心驱动度这一指标。可能的驱动因素如AI系统行动的合理性、其他选项被排除的原因、AI系统的运行与预期不符的原因等。

解释信任度：好的心理模型可使用户对AI系统保持适度的信任并在其运行范围内进行操作。文章建议使用涵盖8个项目的测量量表来衡量用户对AI系统的信任度。这些项目包括用户对使用系统的信心、系统的可预测性和可靠性等。

系统性能：XAI的最终目的是提升系统的整体性能，使其优于未启用XAI技术时的AI系统。衡量性能的指标包括主要任务目标完成度、用户对AI系统响应的预测能力、用户接受度等。

未来将会有更多研究进一步探索如何在评估AI系统的XAI技术时理解这些指标。

2.评估局部解释技术

模型处理的数据类型不同，则显著性图的视觉效果也不同。如，热图通常用于处理图像，而彩色编码字符和单词则通常用于处理文本。图1展现了使用热图制作显著性图的视觉效果。这一案例使用梯度显著性（1.b）和相关性分数逐层传播技术（1.c）来为数字0（1.a）生成热图。图片中的像素等重要维度用红、橙、黄等暖色表示，不重要的维度则用暗蓝、蓝、浅蓝等冷色表示。两种技术显著的不同点通过高亮维度的位置可得到直观的展示。本节将继续介绍用于定量比较和评估局部解释的技术，以找出能够给出最准确解释的技术。

图1. MNIST图像及其对应的热图；热图使用梯度显著性和相关性分数逐层传播技术来生成。图中的重要维度或像素用红、橙、黄等暖色表示

①删除

在改变或删去输入的过程中，通过测量模型的准确预测能力可计算出删除指标。需要注意的是，在这种情况下，删去意味着将输入的值转换为中性的事物，如图像背景等。删除过程由XAI技术生成的显著性图引导，以便在删除相对不重要的维度中的值前，删除相对更重要维度中的值。在删除过程中，如果解释较优，则性能快速下降，反之则性能缓慢下降。

图2使用图1.b梯度显著性图说明了删除过程。图2.b删除了50个最重要的像素，此时，人们依旧可以轻松地看出该图展示的是数字0。图2.f删除了过半的像素（400个像素），此时，人们很难认出图片展示的是数字0。

图2. 从MNIST图像的删除过程中导出的6张图片，这些图片分别删除了0、50、100、200、300和400像素

②插入

插入指标是删除的互补方法。图3用删除过程中使用的MNIST图像展示了插入过程。图3.a的全黑图像为初始输入，随着越来越多的输入维度按照显著性图的优先顺序插入，可以检测到准确性不断提高。插入过程中，在输入中插入的信息越多，模型预测的准确度应随之提高，也就是说，解释较优时，准确性提高的速度会更快，反之则更慢。

图3. 从MNIST图像的插入过程中导出的6张图片，这些图片分别插入了0、50、100、200、300、400像素

③评估指标

本报告为演示删除和插入过程，使用了梯度显著性和相关性分数逐层传播技术。演示中使用了分类器以及从MINST数据集中随机抽取的100张采样图像来评估XAI技术。

图4和图5分别展示了插入和删除过程的结果。曲线下面积（AUC）这一测量值可用于对多个XAI技术进行定量比较。在删除过程中，较小的AUC值优于较大的AUC值，而在插入过程中则相反，为较大的AUC值优于较小的AUC值。

从图4可以看出，相关性分数逐层传播技术的性能曲线降幅更大，并且在删除过程中收敛到较低的平均概率值。这一点与热图一致，与梯度显著性的热图相比，相关性分数逐层传播技术的热图中暖色更少（见图1.b和图1.c），这说明，与梯度显著性相比，相关性分数逐层传播技术能够用更少的特征更快地找到解释。从图5中也可以得出同样的结论。从图5.b中可以看出，在插入仅几十个特征后，平均概率急速上升，并在插入约100个特征后达到高性能水平。

图4. 梯度显著性和相关性分数逐层传播技术的删除曲线

图5. 梯度显著性和相关性分数逐层传播技术的插入曲线

结论

深度学习将用于补充和替代军事系统中的部分功能。事实上，用于从海量图像数据中自主探测和跟踪兴趣目标的军用监视系统已经开始评估深度学习技术。与传统的软件技术相比，深度学习技术拥有多项优势，其中最重要的一项优势是，深度学习可用于传统软件技术无法完成的复杂建模流程。此外，深度学习还可以促进主动学习，通过AI系统与用户的互动来获得用于增强作战系统模型的高质量数据。

然而，这些优势也在技术和作战层面带来了挑战。报告就重点关注了可解释性带来的挑战。深度学习的劣势在于，尽管学习算法、模型架构和训练数据都不算陌生且易于理解，但模型本身的行为却难以解释。通常情况下，这一点在音乐推送、广告推荐等民用应用中不是问题，但在军事领域，理解和解释AI系统的行为却是至关重要。这是因为，无论是在作战层面，还是在需要军方领导和政治决策者进行长期决策的战略层面，AI系统提供的决策和建议都可能会对全人类的生活造成深远影响。

虽然战斗机、潜艇、坦克和指控决策支持工具等复杂军事系统同样难以掌握，但构建这些系统的技术本质上是可解释的，因此这些系统如果出现错误，可以通过对整个系统的排查来找出问题并加以解决。然而，这在深度学习领域是难以实现的。现实应用中的深度神经网络通常由几百万甚至几十亿参数组成，即使是模型的制造者也无法系统地解决模型中出现的错误。

报告提出了多个用于解决可解释性挑战的前沿XAI技术。值得注意的是，尽管本报告在这方面获得了部分进展，但用于军用深度学习应用的AI技术依旧处于发展初期。并且，报告提出的这些XAI技术尚未经过军事环境的检验，因此无法保证现有XAI技术能够赋能高风险军事AI系统对深度学习的使用。

编辑：黄飞