什么是“可解释的人工智能”(XAI)？面向异常检测的“可解释人工智能”（XAI）有哪些案例？

异常检测是识别某种事物偏离正常和预期情形的过程。如果能够及早检测出异常状况，则可以采取相关纠正措施，避免引发严重后果。儿时的我们玩过谁能在一幅精心编排的图片中识别出怪异情况的游戏，这是玩耍时的异常检测。工程师、科学家和技术人员历来依靠异常检测来防止工业事故，制止金融欺诈，及早干预以解决健康风险等。

传统上，异常检测系统依赖于统计技术、预定义规则和/或人类专业知识。但这些方法在可扩展性、适应性和准确性方面存在局限性。

在现实生活中，人工智能异常检测的高价值用例在过去几年大幅增长，预计将延续增长势头。人工智能(AI)的发展正在彻底改变异常检测领域。它提高了检测准确性，加快了检测速度，降低了误报率，并实现了可扩展性和成本效益。本文将介绍如何实施此类解决方案，此外还将提到一些使用案例以供说明。

如今，我们遇到的许多异常现象可能不仅仅是偶然现象，而是恶意的人为现象。例如，社交媒体充斥着虚假和深度伪造的图像和视频。先进的图形和视频制作及处理技术使得这种状况的出现成为可能。

举一个简单的例子，我们来玩一个游戏，在从社交媒体上找到的一张现代图片上发现怪异情况。仔细研究下面的图片，记下异常情况。

▲在印度阿迪亚尔漫长而炎热的夏天，

妇女前往几英里远的地方取水

传统的人工智能异常检测技术是否对这张图片有效？也许有效。人们对标题中提到的地方的了解程度，加上相关的常识、物理学原理知识、可行性角度等，可以帮助识别图片中的异常情况。据此，人们可能会宣布这张图片是真实的或伪造的。但这不足以让其他人相信您的结论。您需要能够解释如何得出这一结论。这涉及到可解释性，这是至关重要的。

什么是“可解释的人工智能”(XAI)？

XAI是人工智能的子集，侧重于机器学习模型的透明性和可解释性。使用XAI，人工智能模型的输出或决策可由人类解释和理解，以便更容易相信和利用结果。使用 XAI进行异常检测可以帮助识别和理解异常状况的原因，从而更好地制定对策并改善系统性能。XAI在异常检测方面的主要优势在于它能够处理复杂的数据集，提高准确性，并降低误报率和漏报率。

XAI有哪些不同的使用案例？

人工智能异常检测系统可能会做出对个人和整个社会产生重大影响的决策。许多使用案例都是关于“边缘人工智能”应用的，这些应用涉及到安保、安全、生产线寿命和客户友好服务。此外，在未来的司法系统和医疗预后服务用例中，没有推理的底线决策将会乏善可陈。XAI为异常检测系统提供了一种阐述决策过程以及通过学习和持续改进造福行业和社会的方法。

使用案例：门禁系统（人脸识别）

门禁系统广泛通过人脸识别进行身份验证，它依赖于计算机视觉和人工智能技术。虽然AI系统在脸部检测方面可能表现得非常出色，但许多意外因素可能会导致无法识别脸部。

根据这种应用的目的，可以经过调整以防止误报，并在发生恶意侵入尝试时发出警报。但是对于知道自己的脸部应该被识别的用户来说，至少可以说这很烦人。人脸识别系统可能在识别嘴部附近或眼睛周围时遇到困难。

XAI可以进行相应的互动，以便用户摘下面罩或眼镜之后重试。人工智能系统以学习为导向，依靠反馈不断改进其算法。系统可以自我改进，即使脸部被部分遮挡，下次仍可能识别此用户。另一方面，XAI使系统始终能够区分识别失败和试图侵入这两种状况，并相应地发出警报。

使用案例：自主驾驶TSR（交通标志识别）

自主驾驶系统可使用计算机视觉和人工智能技术识别限速标志并采取相应的措施。如果有恶意者或自然老化因素改变了某个交通标志，比方说从60英里/小时变为600英里/小时或80英里/小时，该怎么办？这种使用案例可能比面部识别案例更具挑战性。

被篡改的600英里/小时标志可以很轻松地被忽略掉，因为当前道路车辆的时速根本不能接近600英里/小时。但是，许多车辆可以轻松达到80英里/小时，并且这是许多地方许多道路上的合法限速标志。但若该标志为伪造的标志，则高速行驶可能不仅是非法的，而且在特殊路况下还是相当危险的。

XAI可以确定交通标志的有效性，提供结论概率水平并解释如何得出该结论。然后，车辆自主系统可以根据该结论采取安全措施。

使用案例：监测工厂机器的运行状况

对于企业而言，工厂机器的意外和突然停机可能会造成非常昂贵的经济成本。为了避免发生这种情况，机器中的传感器会持续监测机器发出的声音，并运行人工智能网络模型来分析和检测异常状况。如果检测到无序的声音或不规则的频率（这可能会导致机械问题），则会提醒技术人员在机器突发故障前采取预防措施。

未来使用案例：促进法律听证和量刑

有人谈论过使用人工智能分析法律案件和做出判决。通过分析法律文书和历史数据，人工智能可以识别可能与案件相关的异常数据情况。对人类法官而言，最重要的方面是在审理案件后撰写的意见书所依据的理由。

通过使用XAI，识别系统可以解释所发现的异常情况，从而更好地帮助法官做出决策并提高识别系统的整体性能。例如，使用XAI可以帮助查明案件中没有依据特定法律先例的原因。

实施XAI的技术要求是什么？

对于大多数基于XAI的异常检测用例而言，出色的计算机视觉、声音分析、传感器融合功能和多个人工智能网络模型必不可少。

例如，在人脸识别用例中，主要的人工智能网络模型负责检测和验证经过训练可识别的特定个人，与此模型并行的是一个相对精简的网络，它只在检测并验证为“阳性”的最小感兴趣区域(ROI)运行。辅助网络的作用是运行异常性和真实性检查，防止被深度伪造等方式侵入系统。此过程开销必须进行优化，以最大限度降低功耗，因此将对筛选的帧和感兴趣区域运行混合精度网络，并且仅在主网络的选择性输入/输出层面运行混合精度网络。后一个流程与传统使用案例略有不同，因此在不同的人工智能处理器模块之间需要灵活的内存架构和自适应数据流。如果检测到身份验证为“阴性”或发现真实性问题，则更大的XAI模型会出面确定导致失败的问题，并将该信息传递到应用层以待进一步处理。

如何实施XAI？

大多数人工智能异常检测用例通常都是关于“边缘人工智能”应用的。这需要快速检测异常状况，确定异常原因并相应地报知，以便实时采取适当的纠正措施。能够并行运行多个人工智能网络，并在处理器本身也执行计算机视觉分析的人工智能处理器是关键所在。根据使用案例和应用情形的不同，可能需要运行部分人工智能网络，然后对主题图像或感测元素进行统计分析。随后可能会对图像进行处理，然后运行第一个网络的其余部分或运行另一个人工智能网络来解释异常原因。

因此，XAI的实施需要功能强大的处理器，该处理器应具备以下功能：

高度灵活的人工智能处理器，可实施各种XAI/ML处理流程

内存架构

多引擎结构

高性能计算功能

支持多种数据类型，包括低精度算术运算

高度并行的处理能力

高级量化功能

支持最新的神经网络架构

高利用率，以优化功耗

内置计算机视觉/DSP处理功能

支持数据和权重的混合精度推理

用于实施XAI的CEVA处理器

CEVA是人工智能应用开发处理器和平台的领先提供商，其NeuPro-M人工智能处理器专为运行XAI网络而设计。NeuPro-M处理器内核可配置多达8个引擎，每个引擎都有自己的视觉DSP处理器。因此，应用层无需触及外部DSP、GPU或CPU即可进行图像处理。

根据应用层需求，可以选配适当数量的引擎，以允许运行许多不同的人工智能网络。这些引擎支持各种神经网络架构，并支持量化功能。比如，应用层可以在16位中实施某些网络层，有些在8位中。某些情况下，甚至可以实施2位网络。这种灵活性不仅可以节省能源和面积，还能提供快速的性能，所有这些都是边缘人工智能用例的关键因素。在数据和权重的精度不同的情况下，NeuPro-M还支持混合精度。

本文作者：Gil Abraham, Business Development Director and Product Marketing, CEVA

关于CEVA

CEVA是排名前列的无线连接和智能传感技术以及集成IP解决方案授权商，旨在打造更智能、更安全、互联的世界。我们为传感器融合、图像增强、计算机视觉、语音输入和人工智能应用提供数字信号处理器、人工智能处理器、无线平台、加密内核和配套软件。这些技术与我们的Intrinsix IP集成服务一起提供给客户，帮助他们解决复杂和时间关键的集成电路设计项目。许多世界排名前列的半导体厂商、系统公司和OEM利用我们的技术和芯片设计技能，为移动、消费、汽车、机器人、工业、航天国防和物联网等各种终端市场开发高能效、智能、安全的互联设备。

我们基于DSP的解决方案包括移动、物联网和基础设施中的5G基带处理平台；摄像头设备的高级影像技术和计算机视觉；适用于多个物联网市场的音频/语音/话音应用和超低功耗的始终开启/感应应用。对于传感器融合，我们的Hillcrest Labs传感器处理技术为耳机、可穿戴设备、AR/VR、PC机、机器人、遥控器、物联网等市场提供广泛的传感器融合软件和惯性测量单元 (“IMU”) 解决方案。在无线物联网方面，我们的蓝牙(低功耗和双模)、Wi-Fi 4/5/6/6E (802.11n/ac/ax)、超宽带(UWB)、NB-IoT和GNSS 平台是业内授权较为广泛的连接平台。