人工智能遭遇的偏见 算法偏见带来的问题

偏见是人工智能面临一个挑战，主要是来自算法偏见，当然偏见并不止这些。与人类不同，算法不能撒谎，那么产生结果的不同必将是数据带来的问题。人工智能算法及系统的测试与验证，如何避免人工智能的偏见呢？

人们都曾看过机器控制了世界而人类被毁灭的电影。好在这些电影是娱乐性的，而且人们都认为这些场景是不会发生的。然而，一个更应该关注的现实问题是：算法偏见。

1算法偏见带来的问题

所谓“算法偏见”是指在在看似没有恶意的程序设计中带着创建者的偏见，或者所采用的数据是带有偏见的。结果当然是带来了各种问题，例如，被曲解的谷歌搜索，合格的候选人被禁止进入医学院，聊天机器人在推特上发布种族主义和性别歧视信息等。

算法偏见造成的最棘手的问题是，从事编程的工程师即使主观上没有种族主义、性别歧视、年龄歧视等倾向，也有可能造成偏见。人工智能（AI，ArtificialIntelligence）本质上就是为了自学而设计的，有时它的确会出错。当然，人们可以在事后做出调整，但最好的解决办法是一开始就防止它发生。那么，怎样才能让人工智能远离偏见呢？

具有讽刺意味的是人工智能最令人兴奋的可能性之一就是能够搭建一个没有人类偏见的世界。比如当涉及到招聘时，一种算法可以让男性和女性在申请同一份工作时获得平等的待遇，或者在警务工作中防止发生种族偏见。

不管人们是否意识到，人类创造的机器确实反映了人们怎样是看待世界的，因此也会有类似的刻板印象和世界观。由于人工智能越来越深入到生活中，人类必须重视它。

2偏见的分类

人工智能面临的另外一个挑战是，偏见不是以一种形式出现的，而是有各种类型的。这包括交互偏见、潜意识偏见、选择偏见、数据驱动的偏见和确认偏见。

“交互偏见”是指用户由于自己与算法的交互方式而使算法产生的偏见。当机器被设置向周围环境学习时，它们不能决定要保留或者丢弃哪些数据，什么是对的，什么是错的。相反，它们只能使用提供给它们的数据——不论是好的、坏的，还是丑的，并在此基础上做出决策。前面提到的聊天机器人Tay便是这类偏见的一个例子。它是受到一个网络聊天社区的影响而变得偏种族主义了。

“潜意识偏见”是指算法错误地把观念与种族和性别等因素联系起来。例如，当搜索一名医生的图像时，人工智能会把男性医生的图像呈现给一名女性，或者在搜索护士时反过来操作。

“选择偏见”是指用于训练算法的数据被倾向性地用于表示一个群体或者分组，从而使该算法对这些群体有利，而代价是牺牲其他群体。以招聘为例，如果人工智能被训练成只识别男性的简历，那么女性求职者在申请过程中就很难成功。

“数据驱动的偏见”是指用来训练算法的原始数据已经存在偏见了。机器就像孩子一样：他们不会质疑所给出的数据，而只是寻找其中的模式。如果数据在一开始就被曲解，那么其输出的结果也将反映出这一点。

最后一类是“确认偏见”，这类似于数据驱动的偏见，偏向于那些先入为主的信息。它影响人们怎样收集信息，以及人们怎样解读信息。例如，如果自己觉得8月份出生的人比其他时候出生的更富有创造性，那就会偏向于寻找强化这种想法的数据。

当我们了解到这么多偏见的例子渗入到人工智能系统时，似乎会引起我们的担忧。但重要的是要认清事实，记住这个世界本身就是有偏见的，因此，在某些情况下，人们对从人工智能中得到的结果并不奇怪。然而，并不应该如此，人们需要一个对人工智能算法和系统进行测试和验证的过程，以便在开发期间和部署之前及早发现偏见。

3人工智能算法及系统的测试与验证

与人类不同，算法不能撒谎，因此，如果结果是有偏见的，那一定有原因：和它得到的数据有关。人类可以撒谎去解释不雇佣某人的原因，但人工智能不能。而采用算法，就有可能知道什么时候会出现偏见，并对其进行调整，以便将来能克服这些问题。

人工智能会学习，也会犯错。通常情况下，只有在实际环境中使用算法后才能发现任何内在的偏见，因为这些偏见在实践中被放大了。不应把算法看成是一种威胁，而是解决任何偏见问题的好机会，并能在必要的时候加以纠正。

可以通过开发系统来发现有偏见的决策，并及时采取措施。与人类相比，人工智能特别适合采用贝叶斯（Bayesian）方法来确定某种假设的概率，从而消除所有人类偏见的可能性。这比较复杂，但是可行的，特别是考虑到人工智能的重要性（在以后几年里只会越来越重要）。

随着人工智能系统的建立和部署，非常重要的一点是必须理解它们是怎样工作的，只有这样才能通过设计让它们具有意识，避免将来出现偏见问题。不要忘记，尽管人工智能发展非常迅速，但仍处于起步阶段，还有很多值得学习和改进的地方。这种调整会持续一段时间，在此期间，人工智能会变得更聪明，将有越来越多的方法来克服偏见等问题。

技术行业总是在质疑机器是怎样工作的，为什么这样工作。虽然大部分人工智能是在黑盒中运作的，决策过程是隐藏的，但人工智能的透明度是建立信任和避免误解的关键。

目前有很多研究都在进行帮助鉴别偏见的产生，例如FraunhoferHeinrichHertz研究所开展的工作。他们正在研究识别不同类型的偏见，例如前面提到的偏见，还有一些更“低级”的偏见，以及人工智能训练和发展过程中可能出现的问题。

另外还需要考虑的是无监督训练。目前大多数人工智能模型是通过有监督训练生成的：采集的是明显带有人类选择的标签数据。而对于无监督训练，使用不具任何标签的数据，算法必须要通过自己对数据进行分类、识别和汇集。虽然这种方法通常比有监督学习慢很多数量级，但这种方法限制了人的参与，因此，能够消除任何有意识或者无意识的人为偏见，从而避免对数据产生影响。

在底层也有很多事情可以改进。在开发新产品、网站或者功能时，技术公司需要各方面的人员。多样性会给算法提供各种各样的数据，而这些数据也是有偏见的。如果能有一些人去分析输出结果，那么发现偏见的可能性会更高。

此外，还可以发挥算法审计的作用。2016年，卡耐基梅隆研究小组在网络招聘广告中发现了算法偏见。当他们列出了在网上寻找工作的人员后，谷歌广告显示，男性在高收入工作中所占比例是女性的近六倍。该小组的结论是，进行内部审计将有助于减少这类偏见。

4结论

总之，机器偏见来自人的偏见。人工智能的偏见有多种方式的表现，但实际上，它只有一个来源：人类自己。

处理这一问题的关键在于技术公司、工程师和开发人员，他们都应该采取有效的措施来防止无意中创建一种带有偏见的算法。通过进行算法审计并始终保持透明度，就有信心让人工智能算法远离偏见。