人工智能的进步到底会带我们走向怎样的世界？

如果有一天，机器学会了互相通信，超越人类的认知，这个世界会变成什么样？美国前国务卿亨利·基辛格向人类发出了一个严厉警告：人工智能的进步可能导致一个人类将无法理解的世界 ，而我们应该从现在就开始准备，否则“不久后我们就会发现开始得太晚了”。

“如果机器学会相互通信怎么办？ 如果他们开始建立自己的目标怎么办？ 如果他们变得太聪明以至于做出超出人类思维能力的决策呢？”

这些是95岁的基辛格发表在《大西洋月刊》的文章《启蒙如何终结》(How The Enlightenment Ends)中提出的一些问题。

基辛格对人工智能的兴趣始于他了解到一个已经成为Go专家的计算机程序的工作原理。在比国际象棋更复杂的围棋比赛中，基于围棋规则，机器在与自己对弈的实战中来训练自己去掌握游戏;它会从错误中吸取教训，重新定义算法，完美呈现“熟能生巧”。

进入未知世界

基辛格警告称，我们正处于“一场全面的技术革命中，这场革命的后果我们没有完全考虑，其高潮可能是一个依赖数据和算法驱动、不受伦理或哲学规范支配的机器的世界。”

基辛格应用了自动驾驶汽车的例子。驾驶汽车需要在不可预测的情况下做出判断。他问道，如果汽车发现自己必须在杀死祖父母或杀死一个孩子之间作出决定，会发生什么？它会选择谁，为什么？

他说，人工智能远远超出了我们习惯的那种自动化，因为人工智能有能力“建立自己的目标”，这使它“本质上不稳定”。换句话说，通过运行，AI“培养了一个以前人类认为是为自己保留的能力。”

苏格兰国家党主席Nicola Sturgeon在Twitter上推荐基辛格的文章

意想不到的后果

典型的科幻小说叙述是机器人将发展到他们成为自己的创造者并威胁全人类的程度 。

但是，根据基辛格的说法，虽然人工智能的危险性很大，但现实中它的威胁性可能会更温和一点。他认为，更有可能的是危险将来自人工智能“由于语境理解的缺失”而误解人类指令。

最近的一个例子是一个名为Tay的AI聊天机器人。该机器被指示以一名19岁女孩的身份进行友好交谈，然而最终却成为种族主义，产生了性别歧视和煽动性反应。基辛格说，人工智能不能完全按照人类的期望工作的风险在于，它可能会从我们预期的结果“陷入灾难性的偏离”。

对人类来说太聪明了

第二个危险是，人工智能将变得过于聪明，无论是为了它们自己的利益还是我们的利益。在Go游戏中，计算机能够制造出人类还没想到的前所未有具有战略意义的动作。 “这些动作是否超出了人类大脑的能力？”基辛格问道。 “或者人类所了解的他们已经被新主人掌控了吗？”

事实是人工智能学习速度比人类快得多。最近的另一个例子是计算机程序AlphaZero，它学会了国际象棋界史无前例的下棋风格。在仅仅给出了游戏的基本规则后，它在短短几个小时内便达到了人类花费了1500年才达到的技能水平。

原英国财政大臣George sborne的Twitter

这种极快的学习过程意味着人工智能也将犯下更多“比人类更快，更大”的错误。基辛格指出，人工智能研究人员经常设想通过将“道德”和“伦理”结果纳入编程能够避免这些错误，但是什么是符合道德的和伦理的？这些是人类仍然在争论如何定义的事情。

没办法解释

如果AI达到预期目标但无法解释其基本原理会发生什么？ “人工智能的决策能力是否会超越人类语言和理性的解释力？”基辛格问道。

他认为，这种情况对人类意识的影响将是深远的。事实上，他认为这是我们所面临的新世界最重要的问题。

“如果人类的认知被人工智能超越，那将会变成什么样？社会是不是再也无法解释他们赖以生存的世界对他们来说是否还有意义？”

法律和机会

除了哲学问题之外，基辛格还概述了一些合法性的问题：在这个发生巨大变化的世界中，谁将对人工智能的行为负责？ 如何为其错误承担责任？ 人类设计的法律体系能跟上一个能够思考的人工智能世界的脚步吗？

不过关于人工智能也并不全是这么黑暗又令人沮丧的事情。 基辛格承认，AI迟早会给医疗科学、清洁能源和环境问题等领域带来“巨大的好处”。

基辛格承认科学家更关心推动发现的极限，而不是理解他们或思考他们的哲学后果。政府也更关心AI如何被用于安全和情报，而不是检验其对人类状况的结果。

最后，这位高级外交官恳求美国政府将人工智能作为国家重点关注的焦点，“最重要的是，从协调人工智能与人文传统的关系角度去看。”

他认为，应该建立一个由该领域杰出思想家组成的总统委员会，以帮助制定国家远景计划。 “如果我们不尽快开始这项工作，”基辛格写道，“不久后我们就会发现开始得太晚了。”

今年3月，一则亚马逊Echo音箱中搭载的虚拟助手Alexa在半夜发出令人毛骨悚然的笑声的新闻传遍网络，亚马逊随后立即对其程序进行修改防止误报。虽然知道这是由于语音识别的误判，但想象一下一个机器半夜发出的怪笑依然会让人有点后怕。

如果有一天，机器真的发展到了互相通信、做出超越人类认知的决策的地步，人类将做出怎样的应对措施呢？