我们可以信任人工智能对执法记录仪视频的解读吗？

2014年7月17日，纽约市斯塔顿岛的一条人行道上，一群警察走近43岁的埃里克•加纳（Eric Garner），准备逮捕他，理由是他涉嫌非法售卖烟草。当加纳试图挣脱时，一名警官用胳膊锁住他的脖子，将其脸朝下按倒在地上。加纳患有哮喘和心脏病，他苦苦哀求“我不能呼吸了”，随后便失去了知觉。在送至医院一小时后，他被宣布死亡。不久之后，法医判定加纳死于他杀。

这起悲剧引起了全美范围的关注。一份手机视频详细记录了加纳被警方过度暴力执法的全过程，其中的细节令人震惊。加纳的死以及警察曾经暴力射杀手无寸铁的黑人公民的事件，激起了全美范围的强烈抗议。

此后，美国和其他地区的改革派政客开始主张警察佩戴执法记录仪，以督促警察对自己的行为负责。另一方面，警察们也乐于佩戴执法记录仪，这有利于警察在面临错误指控时洗脱嫌疑。

执法记录仪的主要生产商是Axon Enterprise，人们更熟悉它的原名泰瑟国际（Taser International）及其招牌产品——泰瑟电击枪。2015年，当时的泰瑟国际敏锐地捕捉到了执法记录仪产品的巨大市场，专门成立了一个部门销售警用Axon执法记录仪。去年，公司正式更名为Axon，标志着公司的业务重心转向警方记录及证据的收集和管理。执法记录仪的视频则是重中之重。

目前，Axon公司不仅为警察局提供免费的执法记录仪，而且警察局可在一年之内免费使用其网站Evidence.com的数据存储服务。公司此举旨在营造一个长久、稳定的盈利模式。

毫无疑问，Axon公司将业务从电击枪转向执法记录仪的举措将引起投资者的兴趣，但吸引我们的并不是这种新的商业模式。本文的两位作者都是技术人员：Greene，美国马里兰大学信息学院教授，研究科技对人类社会的影响；Patterson，计算机视觉专家，在位于纽约市的初创公司Trash担任首席科学家。Axon公司宣称，公司的目标是建立一个预期能够处理、标记和解读海量执法记录仪视频资料的人工智能系统。我们对这一策略是否合理和明智深感担忧。

根据Axon公司的声明，他们将使用现有的执法记录仪视频资料对人工智能系统进行训练，目前共收集到20万名警官提供的30拍字节（petabyte）的视频资料。系统将对视频资料进行编辑，以保护个人隐私，并将视频记录的事件转换为文字记录，生成警方报告，这种自动化的工具有利于警察挤出更多的时间执行更重要的任务。此外，公司还将建立一个可检索的警察与公众互动数据库。Axon公司已经为实时人脸识别技术申请了专利，竞争对手也在积极开发这一技术，用于执法记录仪。

大约两年前，Axon公司的创始人兼首席执行官里克•史密斯（Rick Smith）在一次公司投资者收益电话会议上表示，公司将在2018年推出人工智能辅助视频系统，但至今，Axon公司的Evidence.com产品依然表现平平。它能自动模糊或遮挡人脸，或编辑个人身份信息（要先标记出哪些人或物体需要被遮蔽），或根据警方调度系统的信息对视频进行标记，如案件的编号、地址以及类型等。这与Axon公司销售辞令中描述的目标相去甚远。比如，史密斯在2018年6月的Axon公司工作促进会议上说过：“终有一天，我们能够通过人工智能处理便携式和车载式执法记录仪视频，并生成警员可进行编辑和调查的报告初稿。”

不可否认，按照执法记录仪视频中的人物、事件和地点进行自动分类，进而减轻人们繁冗的文书工作，这确实是一个有吸引力的想法。但是，我们和其他外部观察者都担心这其中存在着潜在危险。Axon公司计划使用的大部分人工智能技术尚不成熟。即便这些技术已经成熟，由于无法对Axon公司的私有软件进行独立审查，也无法判定技术的确不存在偏差和其他令人担忧的问题。

由于这些原因，机器学习在执法记录仪视频分类中的应用已经成为一个导火索，引起了对“私有软件是否可以并入刑事司法系统”这一更广义问题的争论。我们在此将表述我们的担忧，并对如何管理这一即将出现的新技术提出建议，不管你是否喜欢这项技术。

━━━━

在Axon公司的视频管理系统中，至少有一项功能是可行且有益的，这就是将执法记录仪视频中的人脸进行模糊处理。如果视频被公开，视频中的人不会被他人认出来。Axon公司的人工智能和机器学习主管莫吉塔巴•索尔吉（Mojtaba Solgi）说，他和他的团队还在研究如何将视频中的声音进行自动转录。人们普遍希望这些简单而繁冗的任务能够实现自动化，我们对此没有异议。

然而，用机器审查和分类视频脚本中所发生的事情是一项非常困难的任务。诚然，一些简单的图像很容易被识别，今天的计算机技术能准确无误地将狗和飞机或树区分开。但是，即便是目前最好的人工智能技术，也无法像专业人士那样准确地区分影像或场景中的复杂或细微差别。尽管近年来研究人员已经取得一些重大进展，但若要解释复杂图像或视频片段中的事件，即便是最先进的人工智能系统，也仍然处于相对原始的阶段。

加州大学伯克利分校的吉滕德拉•马立克（Jitendra Malik）以及其他11位机器学习专家近期发表了一项研究成果。在这项研究中，他们使用了一份带有详细注释的新型视频数据集来测试一款最前沿的深度学习系统。深度学习涉及人工神经网络的应用，人工神经网络即仿照人脑中神经元网络构建的计算机程序。

马立克和他的同事们打算训练一个网络，识别视频资料中出现频率较高的行为。为此，他们结合了两个流行的神经网络的特点，这两个神经网络分别是13D和Faster-RCNN，前者的前身是广泛使用的Inception Network。这一网络要识别的动作很简单：站姿、坐姿、行走、跳跃、进食、睡觉、阅读、说话、抽烟、骑车或携带物品等，共计80种动作。更为复杂的动作（比如入店行窃或锁喉）没有涉及。视频资料来自电影或电视节目，这些视频动作清晰，光线充足，拍摄角度合理。

即便如此，这款深度学习系统在新视频资料集中的测试还是经常出错。以动作识别为例，当人把手机贴近耳朵时，系统误认为是在抽烟。作者这样描述这种低级错误：“它在识别一些微小细节时很吃力。”这么说，一个人是在掏钱包还是掏枪也是一种“微小细节”，当今最先进的人工智能视频分析技术也很容易误解。

我们估计，即便是Axon公司相对保守的系统计划也很难跳出实验室，直接应用于实际警务工作。比如，Axon公司宣称，对视频中的某人进行标记后，它们的系统就能够在视频的多个帧里面对其进行追踪锁定。

世界上最尖端的计算机视觉系统的确能实现这种目标追踪，但研究文献中成功追踪的案例使用的都是高品质的视频资料，并且视频里的人都在相对简单的环境中移动。到目前为止，还没有用移动摄像头在光线不足、视野不稳的视频中成功追踪目标的先例。

━━━━

无论在哪个领域，自动化视频解读都是一个棘手的问题。警务工作对这方面的要求非常高，一旦人工智能系统出错，后果可能极其严重，而且这些错误可能经常发生且难以察觉。

例如，如果自动影像分类系统的功能是从混乱、不完整或有偏差的数据中学习得到的，也会出现问题。一个有名的例子是，2015年黑人程序设计员杰克•阿尔辛（Jacky Alciné）发现，谷歌的照片App采用机器学习方法对内容进行分类，将他与一位黑人朋友的合照归类为“猩猩”。

人工智能专家可以通过彻底筛查和系统迭代更新来修正这类问题。加州理工学院和加州大学圣地亚哥分校的人工智能研究者们在开发美灵鸟类识别（Merlin Bird ID）App时就采取了这种方法。他们收集了数量庞大的鸟类照片，然后将鸟类分类的工作分包给众人。然后利用这些结果训练第一代物种分类人工智能，但分类器的性能很差。

为了弄清楚原因，计算机科学家们联系了康奈尔大学鸟类实验室的专家。鸟类专家立即发现，因为众包人员的鸟类知识有限，训练数据集中有大量的鸟类分类是错误的。

花费了大量精力修正训练数据集中的错误后，他们为众包人员重新编写和完善工作指导书，并将整个程序反复运行多次。最终，美灵的设计师们发布的这款App运行良好。然后，他们利用用户数据并根据鸟类专家的修正意见不断完善人工智能系统。

Dextro是一家位于纽约的计算机视觉初创公司，去年被Axon公司收购。Dextro公司也采用了类似的方法调试人工智能视频识别系统，通过识别误报（false positives）和漏报（false negatives）来反复训练神经网络系统并评估系统的变化。我们可以期待，研究人员将作为Axon公司的一部分，继续推进这些实践。但自从Dextro公司被收购后，Axon公司的人工智能团队没有公布警用执法记录仪视频所采用技术的相关消息。

2018年9月，欧洲计算机视觉国际大会（European Conference on Computer Vision）在慕尼黑召开。Axon公司的人工智能专家在会上提到，他们的技术在一场视频理解公开赛上表现卓越并取得了很好的排名。考虑到这场比赛采用的是来自YouTube的视频，其结果与警方执法记录仪视频之间的相关性尚不明确。对于其人工智能的功能，Axon公司分享的信息远少于中国计算机视觉初创公司——北京旷视科技有限公司，该公司定期向公开赛提交图像分析系统，并且经常在比赛中获胜。

人工智能开发者经常使用某些已确立的标准来评估系统的性能，定位系统的缺陷并找出原因。这就是人工智能研究，特别是计算机视觉研究（比如美灵鸟类识别应用）严重依赖领域专家的原因。一套公开的标准、一系列公开的比赛和任何兴趣团体都能参与的研讨会，这些也共同营造了一个容易发现人工智能系统问题的氛围。

但是，正如加州大学戴维斯分校的法学学者伊丽莎白•乔（Elizabeth Joh）所说，如果私有监控技术公司要维护这些软件的商业机密特权，这个程序就乱套了。毫无疑问，警局需要从私人企业采购装备和服务。但是，Axon公司开发的这类人工智能软件与采购的复印纸、保洁服务或其他常规电脑软件等相比，有着本质的区别，因为这项技术本身会影响警方的判断和行动。

举一个例子，解读视频的人工智能将戴有面纱的女士归类为戴面具的人，这有可能提示警察下意识地认为她们有更大的嫌疑，甚至可能会激怒她们，导致她们不予合作。这种改变会被执法记录仪拍摄下来，影响Axon公司用于开发未来人工智能工具的训练数据集，导致这一偏见被进一步固化，而起因只是软件的错误判断。

在这个过程中，如果没有独立的专家对这些自动解读进行彻查，这个循环系统很快就会退化，导致人工智能产生偏差或不可靠的结果。

现在还不能确定Axon公司的视频管理系统会不会发生这种情况。但是，ProPublica公司曾在2016年披露过，刑事司法系统使用的分类工具——替代性处罚矫正罪犯管理分析（Correctional Offender Management Profiling for Alternative Sanctions，COMPAS）中就曾存在此类问题。法官根据审判前风险评估算法的结果，决定被捕者是否适用缓刑或其他替代入狱方式。

根据佛罗里达州布劳沃德郡被捕者的记录，ProPublica公司对COMPAS造成的危险因素评分高达7 000分。将这些预测与接下来两年里的逮捕记录进行比对发现，即使是查证了犯罪历史和犯罪类型以后，带有种族偏见的错误预测依然存在。作为COMPAS的销售方，NorthPointe公司尽管对ProPublica的研究表示质疑，但从未公布过任何技术细节供人们监督和审查。一位来自威斯康星州的男子埃里克•卢米斯（Eric Loomis）在法庭上挑战了COMPAS黑箱计算的权威，他声称利用COMPAS对他做出6年监禁的判决侵犯了他走正当法律程序的权利。但最高法院驳回了他的诉求，支持NorthPointe公司以涉及商业机密为由拒绝接受对COMPAS进行审查。

统计学家克里斯汀•卢姆（Kristen Lum）和政治学家威廉•艾萨克（William Isaac）发现，同样的问题也存在于一款名为PredPol的预测警务系统中。他们表示，由于使用的训练数据存在偏差，这款系统生成的结果经常对黑人有失偏颇。

鉴于机器学习易被有偏差的训练数据影响以及前沿工具在实验室的表现，我们有理由怀疑Axon公司在未来几年开发的自动化视频分类服务会存在严重的缺陷。不过外部分析师也无法给出肯定的判断，因为这些软件是有专利的。

警方报告都是公开的档案，所以你也许会认为Axon公司自动档案管理系统中如果存在明显错误，会很快被发现，但事实并非如此。东拼西凑的美国数据保护法律表明，对于何人在何时以何种方式获取执法记录仪视频资料的问题，尚未有明确的国家标准。更有甚者，美国出版自由记者委员会（Reporters' Committee for the Freedom of the Press）将这些执法记录仪视频档案称为“公开档案要求的狂野西部”（the Wild West of open records requests）。在这种情况下，即使是影响到多家警局的严重技术问题，也难以被发现。

难道警官们自己在日常工作中就不能发现Axon公司的人工智能有问题吗？也许能吧。但他们自己也可能会受到“自动偏差”的影响。人们往往更容易接受计算机的判断，而不是自己的判断，因为他们相信机器的客观性。

所以，即使是Axon公司的人工智能能够实现执法记录仪视频的自动文字转录并据此生成警方报告（而我们相信目前这是不可能实现的），公平性、责任性以及透明性等问题也依然存在。

这不是第一次出于实效和安全原因对新技术提出这种要求，它们在开发过程中以及进入市场后，都要接受独立检测和监控。这是有先例可寻的。

美国食品药品监督管理局（FDA）就是一个例子。美国食品药品监督管理局成立于20世纪早期，负责对有毒性的或贴错标签的食品和药品进行监管。它的职责之一就是防止药品公司通过招摇撞骗来牟利。同样，人工智能商家出售影响人体健康、安全和自由的产品和服务时，也应该要求将它们的代码提交给一个新的管理部门，该部门的专家应根据既定的标准对新提交的人工智能系统进行测试。正如律师马修•舍勒（Matthew Scherer）在《人工智能开发法案》（Artificial Intelligence Development Act）建议书中提出的那样。这项要求也许会在短期内损害公司的收益，但可以确保公众的安全，有助于新技术的合法化。法制化的协同测试以及细化管理将提升这些系统的性能，为当前振兴人工智能提供动力。

新的联邦监管制度难以在短时间内实现，但州和地方政府已经不能再等了。西雅图近期提出了《监控技术采购》立法计划，要求市政部门在采购新的监控软件之前必须进行外展宣传并取得市议会的批准。有些地方政府也许会接受黑人生命运动（Movement for Black Lives）的立场，这项运动的诉求是全面结束使用警方监控技术作为广泛政策平台的一部分。有些地区的人们看到了执法记录仪带来的好处，他们也许会立法要求任何警用人工智能系统都须进行独立的质量保证测试。

━━━━

值得赞扬的是，Axon公司已经成立了人工智能和警务科技道德委员会（AI and Policing Technology Ethics Board）来攻克这些棘手的问题。委员会成员包括OpenAI的发起人、人工智能社会因素专家迈尔斯•布伦戴奇（Miles Brundage），佛罗里达州莱昂郡的治安官、社区警务专家沃尔特•麦克尼尔（Walter McNeil），华盛顿大学计算机视觉研究员阿里•法哈迪（Ali Farhadi），以及电子前沿基金会（Electronic Frontier Foundation）的机器人专家杰瑞米•吉鲁拉（Jeremy Gillula）。

4位委员与我们分享了他们的观点。布伦戴奇恰当地指出：“考虑到执法部门的IT技术水平往往有限，Axon公司已经上市或尚未上市的产品和服务都可能会对事件的走向产生影响，所以，我们应该从Axon公司的角度出发，仔细考虑有哪些保护措施是可行的。”我们同意他的看法。根据委员会成员对我们的答复，Axon公司的道德委员会到目前为止仅举行过一次会议，讨论基本法规，而对于Axon公司的研发业务，没有提出独特的见解。

2018年4月，包括全美有色人种协进会（NAACP）和现代人工智能研究所（AI Now Institute）在内的42家人权和科技组织共同签署了一封公开信，敦促Axon公司的人工智能道德委员会促成公司接受对所有产品的严格道德审查，并承诺不使用被这些组织认定为具有危险性或尚未通过检测的技术。其中主要是实时人脸识别技术。Axon公司宣称，他们目前没有为执法记录仪开发这一技术，但据《华尔街日报》报道，Axon公司实际上已经在研发此类技术了。

以北京旷视为代表的其他多家公司也正在开发这项技术，并在寻求中国和其他亚洲国家警局的批准，在警用执法记录仪上添加实时人脸识别功能。摩托罗拉系统有限公司（Motorola Solutions）也希望在短期内将这项技术推向美国。

至于西方国家是否会接受在警用执法记录仪上增加人脸识别功能，让我们拭目以待。在我们看来，这项决定需要进行公开讨论。但是，如果这项技术的性能和缺陷都不为外人所知，理性的探讨也就无从谈起。

无论是人脸还是鸟类领域，目前人工智能都受益于开放性的文化，这种文化促进了领域专家、计算机科学家以及用户之间的交流。我们提出的监管要求将确保刑事司法系统中使用的人工智能接受类似的审查，以证实其不存在偏见且可以信赖。这些规则也许会有点防碍商业化进程，但这是正当法律程序和坚实工程技术的本质。