人工智能真正值得担心的是缺德，而不是聪明

人工智能真正值得担心的是缺德，而不是聪明

我们都要思考技术如何体现特定的价值观和假设，这有助于确保“我们用技术打造的世界，是一个我们想要居于其中的世界”。

2018年3月18日晚10点左右，伊莱恩·赫茨伯格（Elaine Herzberg）在亚利桑那州坦佩市骑车横穿马路，被一辆自动驾驶汽车撞倒，不幸身亡。虽然车上有安全驾驶员，但当时汽车完全由自动驾驶系统（人工智能）控制。

和其他涉及人与AI技术交互的事故一样，这起事故提出了一系列的道德和原始法律问题：开发该系统的程序员在防止该系统夺人性命方面负有怎样的道德责任？

谁应该为赫茨伯格的死负责？

是坐在驾驶位上的那个人吗？

是测试那辆汽车的公司吗？

是该AI系统的设计者吗？

还是车载感应设备的制造商？

“人工智能”是指从周围环境中获取线索，根据这些数据来解决问题、评估风险、作出预测和采取行动的系统。在高性能计算机和大数据之前的时代，人工智能系统由人类编写，遵循人类发明的规则，但技术进步已经导致了新方法的出现，其中便包括机器学习。现在，机器学习是最活跃的AI领域，它通过统计方法来让系统从数据中“学习”，作出决策，不必进行显式编程。这样的系统配合上一种算法或者一系列步骤，利用一个知识库或者知识流（算法用来构建模型的信息）来解决一个问题。

这些技术进步引发了道德担忧，主要聚焦于AI在致命性军用无人机方面的应用，或者AI可能使全球金融系统陷入混乱的风险。考虑到自主无人系统已经威胁到了无数货车司机和打车司机的饭碗，AI激起了普通民众对失业的焦虑。除了这些宏观的社会和经济考量，数据科学家还担心AI系统的偏见、这项技术的伦理实现和人机交互的本质（如果这些系统恰当且公平地部署于最寻常普通的应用）。

让我们来看一个似乎平淡无奇的社会变化：机器已经有能力作出可以改变人们日常生活的决定。AI能汇集和评估大量数据，有时超出人力所及的范畴，因此AI可以提出雇佣建议，在几秒内确定贷款申请人的信用度，预测罪犯再次犯罪的几率。

但这样的应用引发了令人不安的伦理问题，因为AI系统能强化它们从现实数据中获得的认知，甚至放大熟悉的风险，比如种族和性别偏见。在面对不熟悉的场景时，AI系统还可能作出错误判断。由于很多AI系统都是“黑箱”，人类不太容易获知或者理解它们的决策依据，因此难以提出质疑或者进行探查。

这样的例子有很多。2014年，亚马逊开发了一款招聘工具，用来识别这家公司想要招募的软件工程师。很快，该系统开始歧视女性，在2017年被亚马逊弃用。2016年，ProPublica分析了一款商业软件。该系统预测罪犯再次犯罪的可能性，旨在帮助法官作出更明智的量刑决定。ProPublica发现，该系统对黑人存有偏见。在过去两年里，依靠规则和训练数据来运作的自动驾驶汽车导致了几起致命事故，原因是对外界环境不熟悉或者导航系统无法理解输入数据。私营商业开发商通常拒绝公布他们的代码以供检查，因为其软件被视为专有知识产权，是另一种形式的不透明性——法律上的，而非技术上的。

技术进步本身无法解决AI的深层次根本性问题：算法的设计哪怕再周全，也必须根据现实世界的数据来作出决定，但现实世界是有缺陷的、不完美的、不可预测的、特异的。

计算机科学家比其他人更快意识到，在系统被设计出来之后，工程并不总是能解决这样的问题。尽管数据隐私得到加强，对算法公平的局限性有了更加清醒的认识，但人们意识到，在系统投入使用之前，必须把道德关切纳入考量。这种认知促使伦理学课程（由哲学系博士后和研究生讲授）被正式整合进哈佛大学的很多计算机科学课程。哈佛大学以及人工智能伦理与治理基金机构（由哈佛大学法学院伯克曼·克莱因中心和麻省理工学院媒体实验室共同创办）的数据科学家，就AI对人类社会的影响进行了深入讨论。这种对伦理的关注源于哈佛大学一位资深的计算机科学教授。

从沟通到合作——和伦理学

自然科学教授芭芭拉·格罗兹（Barbara Grosz）说：“几年前，我去拜访微软的几位朋友。其中一人研究计算机视觉系统。我们开车去某处散步。在高速公路上，我们前面的是一辆卡车，上面载着一个移动厕所，一辆自行车绑在这个移动厕所上。‘我的系统会怎么处理这个东西？’那人说，‘它知道该作何反应吗？’”答案是可能不知道。这样的一幅情景不可能成为其“体验”——大量的图像，由人类进行标记，构成了系统的训练数据——的一部分。

芭芭拉·格罗兹

现在的AI系统还很弱小，比不上强大的人类智能——可以把在一个场景中学到的东西迅速应用到另一个场景。纵然电脑能区分自动车、卡车和移动厕所，但如果这些物体混在一起，以每小时100公里的速度，沿着带自行车道的高速公路行驶，那么电脑就会搞不清状况。（利用这一弱点就是“AI和敌对攻击”的主题。）换句话说，AI缺乏常识和推理能力，即使它能发现人类发现不了的东西，比如发现复杂生物网络中的三阶或更高阶相互作用（必须三个或更多变量相互作用才能产生效果）。“别老想着机器人会统治世界。与其担心人们知道其局限性的智能系统，不如担心人们以为很聪明的愚蠢系统。”

格罗兹曾在康奈尔大学学习数学，后来在加州大学伯克利分校攻读计算机科学，1973年成为斯坦福国际研究院（SRI International）人工智能中心的研究数学家，从此开始钻研AI问题。计算机如何生成和理解人类语音和文本是AI研究的一个子领域，格罗兹被视为该领域的奠基人（荣获2017年国际计算语言学协会终生成就奖），她能说出Alexa、Siri和谷歌等智能语音系统一大堆的不足之处。例如，这些系统知道最近的医院在哪里，却没办法指引脚踝受伤的人前往。

她在语言方面开展AI研究的时候，还没有自然语言处理这种数据驱动的方法，所以她发明了一种基于模型的方法来代表人类语言，好让计算机可以理解其含义。事实证明这对该领域特别有价值，因为这促使她深入思考人机交互的本质，后来在构想人机协作的未来时，又促使她提出了旨在跟人进行团队合作的协作型AI系统的理论模型。

她在语言计算模型方面的研究远远超出了语法规则设计的范畴。理解说话者的意图，以便确定对话的结构，从而解译人类话语的含义，这是她开创的一个重要策略。她指出，真正的对话经常偏离主题，焦点不时转换。她举了一个著名的例子：一个人试图通过电传打字机，告诉另一个人如何组装一台空气压缩机，两人的自发对话被她记录了下来。其中一人用“它”来指代一个已经有半小时都没有被提及的物体，但两人十分清楚是什么意思。她说，语气也是理解歧义句的关键。“你是真正的王子”可能说得真心诚意，也可能语带讽刺，必须教电脑明白二者的区别。

从这种跨学科研究中，产生了关于人机交互本质的一般性原则。格罗兹和博士生（现为微软研究院高级研究员）艾瑟·卡马尔（Ece Kamar）提出了“中断管理”理论，用于引导人机之间的信息交换，以大大提高人机对话的效率。在漫长的职业生涯中，她逐渐意识到，AI系统与人类团队协作才能最大程度地发挥AI的作用。她设想的未来将智能电脑的速度和统计能力与人类的天赋相结合，而不是机器和人类彼此对抗。在描述AI系统击败象棋和围棋世界冠军或者取代人类工作岗位时，对抗常常被用来形容机器和人类的关系。可以说，人机协作代表了AI系统的前沿。

格罗兹开始在医疗领域试验基于团队的AI系统。她和一位斯坦福儿科医生启动了一个协调罕见病儿童护理工作的项目。照料这些儿童的人有很多，除了父母之外，还包括医生、家庭护理人员、理疗师和老师。她说，护理时间横跨数年，“我不知道有哪个人可以在这么长的时间内，持续追踪另外15个人都干了些什么”。

格罗兹和博士生（现为以色列理工学院教员）奥夫拉·阿米尔（Ofra Amir）从分析患者护理团队如何工作开始，提出了一个团队合作的理论，引导人类成员和旨在协调儿童护理信息的AI系统进行互动。正如她在语言方面的AI研究一样，她从一般性原则着手。“在理论层面上，我们希望更好地了解在团队拥有多个成员的环境中如何共享信息，然后打造工具，先是为父母，接着为医生。”

她和巴伊兰大学教授萨里特·克劳斯（Sarit Kraus）提出了一个重要原则：团队成员不应该承担他们缺乏必要知识或者无力完成的任务。这是良好的人类团队合作所具有的一个特征，也是“知道自身局限性的智能系统”所具有的一个重要特征。“问题在于，不仅是AI，还有很多已经面世的技术无法完成分配给它们的工作。”“不知道你想要什么”的网络客服聊天机器人就是一例。她说，这些系统原本应该采取不同的设计，以便客户的初次互动是在电脑的帮助下跟一个人进行，那个人应该和客户建立关系，并检查电脑明显误解的地方，而系统应该帮助那个人更快地作出回答。当智能系统设计的这些基本原则没有得到应有的尊重时，系统被认为能够做到它们实际上做不到的事情，或者以不恰当的方式被使用。

格罗兹的跨学科研究方法涵盖语言学、哲学、心理学、经济学，甚至还有一点人类学和社会学，这促使她思考其中哪些学科对AI系统设计的教学最有帮助。1987年至2001年，她曾教了一门AI导论课程，当时AI的应用大体上还处于理论层面，但在2013年和2014年，她重开那门课程时，世界已经大变，全面运行的AI系统投入了使用。格罗兹意识到，关于AI提出的伦理挑战和良好的系统设计之间的相互影响，出现了一个教学良机。

这导致了格罗兹对哈佛大学计算机科学教学工作最重要的贡献之一：伦理学应该紧密地整合进所有课程。2015年秋，她引入了一门新课程，名叫“智能系统设计与伦理挑战”。次年，该课程的25个名额有140多名学生申请，这使她有了信心。格罗兹鼓励她的计算机科学同事将伦理学整合进他们自己的课程。由于他们大多缺乏伦理学的教学经验，她开始和哲学系主任、哲学沃尔科特教授艾莉森·西蒙斯（Alison Simmons）合作。他们携手各自领域的同事，招募愿意将伦理单元囊括进计算机科学课程的计算机科学教授和愿意教授伦理单元的哲学系研究生。

这项“嵌入式伦理计算机科学”计划的目标，是教那些打造未来AI系统的人如何识别和思考伦理问题。（计算机科学现在是哈佛大学本科生人数第二多的专业，如果把统计学和应用科学等相关专业的学生计算在内，那么招生总数将大大超过排名第一的经济学专业。）“大多数的伦理挑战并没有一个简单的正确答案，”格罗兹指出，“所以，就像学生们学习基本的计算技能一样，我希望他们学习基本的伦理推理技能。”2017年春，四门计算机科学课程囊括了伦理学习，同年秋达到五门，2018年春增加到八门，现在总共有18门，包括系统编程、机器学习及其对公平和隐私的影响、社交网络与审查问题、机器人与就业和人机交互。

对就读这些课程的学生进行调查后发现，80%到90%的学生赞同嵌入式伦理教学，并且还想要更多。格罗兹说：“我希望所有的计算机科学课程，可能除了一两门以外，都包含伦理单元。”这样一来，到毕业时，每个学生都会知道，“伦理在该领域的方方面面都非常重要，而不仅仅是在AI方面”。她和同事希望学生们明白，想要解决偏见和AI可解释性等问题，他们在设计系统时，必须从一开始就把伦理原则放在心上。

变成波士顿司机

伯克曼·克莱因互联网及社会中心教务主任、国际法和计算机科学教授乔纳森·齐特林（Jonathan Zittrain）一直从原始法律的角度朝这个目标努力。2018年春，他和麻省理工学院媒体实验室主任伊藤穰一（Joi Ito）共同教授一门课程，内容是探索应该如何塑造AI技术，使其将公共利益牢记在心。自动驾驶汽车是极好的研究对象，迫使学生们正视复杂性的本质，远非决定谁生谁死的“失控电车难题”那么简单。

齐特林解释说，一旦汽车真正实现自主，“这意味着，如果发出了对某人的逮捕令，那么下次那个人进入一辆自动驾驶汽车时，车门会自动上锁，汽车会把他送到最近的警局。或者，要是车里的人突然发病了，该怎么办？车辆能否以每小时110公里的速度在城市道路上飞奔，把人送往医院，而其他所有车辆都自动向两边分开，让出一条道路？”

齐特林班上的学生以为他们知道有关自动驾驶汽车的讨论会如何展开。但当齐特林提出一个非常简单的问题时，他们面临着系统设计者在道德上的两难抉择。那个问题是：“司机应不应该能够要求车辆以每小时128公里的速度行驶？”如果是，而汽车以那个速度行驶时发生了车祸，司机是否应该承担责任？或者，允许汽车达到那个速度的汽车制造商是否应该负责？“超速行驶时有发生，但我们知道我们对此无能为力，这能让我们心里好过点。”齐特林指出，“对自动驾驶汽车的初始前提是，车上没有司机，我们又不能责怪汽车，因为它是个死物。看起来好像没有责任，但实际上责任大了。”汽车制造商、AI系统设计者、政策制定者和司机都可以被追责。

齐特林指出，如果车载AI系统从道路驾驶经历中“学习”，不断改变其行为，那么情况会变得更加复杂。“如果它在波士顿开得够多，说不定它会变成波士顿司机！”这适用于很多学习系统，而相关的法律解决方案还未经探索。他说，如果学习系统的行为并不总是可以预测，带着那种不确定性投入使用，会让人们付出代价。

齐特林说，在跨学科研究中，各学科之间的联系是关键所在。在伯克曼·克莱因中心和麻省理工学院媒体实验室，他和同事建立了一个名叫“集会”的团体，让其他公司的软件开发人员跟学生、跟彼此共事几个月，研究AI和数据科学其他领域的一些问题。“嵌入式伦理授课可以为哈佛大学不同专业的学生提供彼此相逢的机会，利用他们在各自专业学到的知识，以团队方式研究这类东西。”

“我认为，这是格罗兹的教学和研究具有重大影响力和长久魅力的一个原因。她教的不是如何干预和修复计算机系统或软件，而是在更宏观的层面上思考人和技术应该如何互动。”技术能被追责吗？技术能被理解吗？技术能是公平的吗？

系统偏见和社会工程

在2018年10月举行的首届哈佛数据科学大会（HDSC）上，自主无人系统的公平问题被放在了一个突出的位置。计算机科学教授大卫·帕克斯（David Parkes）列出了哈佛大学数据科学研究的指导原则：应该解决包括隐私在内的道德问题；不应该延续现有偏见；应该是透明的。但想要创造出体现这些原则的学习型AI系统是很难的。系统复杂性（可能有数千甚至更多变量）使人们几乎不可能真正理解AI系统，而且存在于学习系统所依赖的数据集中的偏见很容易得到强化。

人们为什么很想打开AI系统的“引擎盖”，弄明白它到底是如何作出决定的？这有很多原因：评估是什么导致输出结果存在偏见，在出事故前进行安全检查，或者在涉及自动驾驶汽车的事故发生后认定责任。

你能迅速完成这个简单的决策树吗？输入数据是：国际机器学习会议；2017年；澳大利亚；袋鼠；晴天。假设你已经正确完成，请用文字来解释你是如何达成拍手这个决定的。要是有100万个变量，会怎么样？

这探究起来其实很难、很复杂。为了说明这一点，计算机科学助理教授费娜丽·杜什-维雷兹（Finale Doshi-Velez）把一个相对简单的决策树投射到大屏幕上。该决策树深四层，按照5个输入数据来回答问题。如果执行正确，最终的结果是举起你的左手。一些与会者能按规定完成。然后，她展示了一个更加复杂得多的决策树，可能深25层，增加了5个新参数来确定沿该决策树到达正确答案的路径。这个任务对电脑来说易如反掌。然而，当维雷兹询问有没有观众可以用文字来描述他们为什么会到达他们得出的那个答案时，没人回答。即使标出正确路径，也很难用外行人的话来描述复杂的交互式输入数据对结果的影响。这还只是决策树那样的简单模型，而不是拥有数百万个参数的现代深度架构。开发从任意模型（可扩展系统，拥有任意数量的变量、任务和输出数据）中获取解释的技术，这是维雷兹及其同事的研究课题。

偏见造成了一系列的问题。在HDSC大会上发表关于算法公平的讲话时，计算机科学教授辛西娅·德沃克（Cynthia Dwork）说，面对不同的群体（比如种族不同或者宗教信仰不同），评定是否符合资格（比如贷款资格）的算法应该对每个群体都一视同仁。但在机器学习系统中，算法本身（逐步解决一个特定问题的过程）只是系统的一部分。另一个部分是数据。在自动作出贷款决定的AI系统中，算法部分可能是没有偏见的，对每个群体都完全公平的，但在算法从数据中学习后，结果可能就不是这样了。德沃克解释道：“算法访问的数据没有被正确标注（也就是没有获得真相）。”如果被用来作出决定的数据存在偏见，那么决定本身就可能存在偏见。

有几个方法可能解决这个问题。一是仔细挑选被算法纳入考量的申请人属性（邮政编码是著名的种族代号，因此常常被排除）。但偏见可以通过算法使用的其他变量的相关性（比如姓氏与地理普查数据相结合）卷土重来。

德沃克说，针对特定群体的偏见常常可以通过聪明的算法设计来加以解决，但由于算法决策的一个基本特征，确保对个人的公平要难得多。任何一个这样的决定都会划一条线：正如德沃克所说，总是会有来自不同群体的两个人靠近这条线，线的两边各有一人，他们在几乎所有方面都非常相似，但只有一个人会获得贷款。

在某些情况下，通过系统设计来纠正偏见可能不是个好主意。看看计算机科学教授陈伊玲（Yiling Chen，音译）和研究生莉莉·胡（Lily Hu）设计的一个雇佣系统。该系统旨在消除对非洲裔美国人的雇佣偏见。莉莉说：“作为纯粹的优化驱动工具，算法会继承、吸收、再现和加剧已有的不平等。比如，就业市场上存在一个由来已久的偏见，这时机器学习来了，它通过学会，重现了这个偏见。”他们的解决方法（利用经济学和社会学工具来理解就业市场上的偏见）使人们对算法公平的思考超出计算机科学的范畴，从跨学科、全系统的角度来看待这一问题。

陈伊玲从事于社会计算，这个数据科学领域强调人类行为对算法输入数据的影响。由于人是“自私的、独立的、容易犯错的且不可预测的”，这使得算法设计不可能在任何情况下都确保公平公正，于是她开始思考如何消除训练数据（雇佣算法使用的现实信息）中的偏见。

她和莉莉致力于解决在招聘过程中落实反歧视行动的问题。想要消除少数群体历来面临的不公，一个直截了当的方法是在其他所有条件相等的情况下，作出有利于少数群体的雇佣决定。（这可能被视为对多数群体的不公，但在真正实现就业平等之前，仍然是可以接受的。）但陈伊玲和莉莉考虑了人的因素。假设少数群体中的很多人都没有上过大学，原因是“学费高昂，而且由于歧视的缘故，我即使拿到了学位，找到工作的几率仍然很低”。同时，雇主可能认为“来自少数群体的人，受教育程度较低，工作表现不好，因为他们不够努力”。陈伊玲和莉莉说，考虑到由来已久的不平等，即使某个少数群体人士不上大学的决定是理性的，但那个决定会强化雇主对整个群体的成见。这种反馈效应模式不仅难以打破，而且正是算法（着眼于以前的成功招聘并将之与大学学位联系起来）将会强化的那种数据模式。

陈伊玲和莉莉提出的解决方法不单单基于数学，而是社会工程，利用算法来改变数据标注。这相当于承认消除数据中的偏见非常困难。研究人员提议创建一个临时的就业市常陈伊玲说，可以将之视为一个实习期，每个应聘者必须实习两年，然后才能转正。进入这个实习库后，会面临一个简单的“公平约束”算法，该算法要求雇主从少数和多数群体中选择实习生，实习生数量要具有代表性。然后，在实习结束时，是否转正只看工作表现，不考虑属于哪个群体。由于从族群角度来说是同样聪明的，两个群体最终实现了平等。

莉莉说：“我们试图反驳的是一切都可归结为优化问题、预测问题或者分类问题的观点。这种观点在机器学习/AI圈子里仍然是主流。如果你以标准的机器学习方式来处理，最后的结果将是加剧那些不平等。”

她说，人们必须明白，“创造技术的行为和我们使用技术的方式，其本身就是政治行动。技术不是凭空存在的，就像有时为善、有时为恶的仪器工具一样。我觉得，以那种方式来看待技术是很幼稚的”。

莉莉强调，不管技术被用来识别视频片段中的犯罪嫌疑人，还是被用来提供适合不同学习风格的教育或者医疗建议，“我们都要思考技术如何体现特定的价值观和假设。这是第一步：要知道，问题并非是伦理上的和非伦理上的，其实，在我们设计的一切东西中，总会有规范性问题，每一步都是如此”。把那种认知整合进现有的课程中，这有助于确保“我们用技术打造的世界，是一个我们想要居于其中的世界”。