如何应对AI监管的重大挑战？

AI监管面临的最大挑战是创建一个全面的框架，并能根据AI在不同应用中的细微差别制定相应的规则。虽然算法系统已被广泛应用于社会经济决策，但这些算法都有其独特性。为应对这一挑战，我们需要一种能够全面监督特定应用的算法治理方法。

本研究提出了一种新的监管方法“关键算法系统分类”（Critical Algorithmic System Classification，CASC），这种方法能够以一种全面的方式为算法系统制定针对特定应用的规则，并在此过程中长期保护消费者和公民权利，而不必为算法系统建立额外的监督制度。2023 年8月31日，美国知名智库布鲁金斯学会发布《全面、分布式的人工智能监管方法》报告，探讨如何应对AI算法监管面临的重大挑战。

一、全面、分布式AI监管的必要性

在许多关键社会经济决策中，算法决策系统（Algorithmic Decision-making System，ADS）无处不在，包括教育准入、找工作和招聘、员工管理、消费金融服务、财产评估、租金确定、租户筛选、医疗供应、药物审批等等。这些关键应用中的大多数决策都受到算法决策系统的影响或完全由算法决策系统做出。虽然算法和数据分析的使用有时确实能推动社会进步，但错误数据、算法失灵、歧视性影响以及对算法能力的过高估计也造成了许多个人和系统的伤害。

社会经济的一些关键要素已部分受到联邦法律管辖。然而，联邦机构往往没有足够的能力来审查和充分监管其法律管辖范围内的算法决策系统。许多机构在算法监管方面能力不足，包括：要求实体保留数据、代码、模型和技术文档的权力；审计算法决策系统的技术能力；制定使用规则的法律权力。正如美国白宫《AI权利法案蓝图》、白宫管理和预算办公室（OMB）备忘录M-21-06以及美国国家标准与技术研究院（NIST）《AI风险管理框架》等文件所表述的那样，这些限制是联邦政府促进可信和负责任AI目标的主要障碍。

虽然许多联邦机构都面临着能力不足的挑战，但每种算法决策系统的具体情况（使用的算法类型、操作的数据、促进的社会技术进程以及带来的风险）却大相径庭。算法在关键社会经济决策中的作用是多方面的，也是多种多样的，因此通过一个集中的流程来制定所有算法标准或强制执行是不可行的，也是不可取的（尽管某些属性，如披露和非歧视，可能是普遍要求）。欧盟在试图起草单一的综合性AI法案时所面临的重大挑战也进一步证明了这一点，该法案可能会导致法律框架缺乏对特定行业和算法应用的充分适应性。联邦机构应被赋予足够灵活的权力，以监管其领域内有影响的算法决策系统，而不是一个集中的流程或一套单一的规则。

二、“关键算法系统分类”方法简介

在关键社会经济决策中，算法决策系统的激增非常普遍，但在许多不同的情况下又表现出独特性。这是AI算法治理的核心挑战，需要一种既全面又能针对具体应用制定规则并由部门机构进行监督的监管方法。

本文针对这一双重挑战提出了一种新颖的方法，其中包括两项关键的干预措施：

1. 授予监管机构行政传唤权，以调查和审计影响与机构法定权限流程的算法决策系统。

2. 创建一个新的监管工具，授权监管机构在法定权限内发布和执行针对关键社会经济决策中算法决策系统的法规。

这两项干预措施（合称“关键算法系统分类”）将在很大程度上使联邦机构能够按比例应对在美国现有治理范围内运作的算法决策系统现有和未来的重大风险。

关键术语

算法决策系统（ADS）：任何计算过程（包括基于统计、机器学习、AI或其他数据处理技术的计算过程，不包括被动计算基础设施），其结果可作为决策或判断的基础或组成部分。

算法决策系统类别：任何数量的算法决策系统，无论其算法方法或开发实体如何，它们在由监管机构确定的程序中大体上发挥相同的作用。用于分析简历、抵押贷款定价或大学录取的算法决策系统都属于算法决策系统类别。

“关键算法系统分类”（CASC）：通过联邦规则制定程序应用于算法决策系统类别的法律名称，从而为该算法决策系统类别制定具有法律约束力和可强制执行的规则。

“关键算法系统分类”的系统：通过拟议的联邦规则制定程序被指定为“关键算法系统分类”的算法决策系统类别。

监管机构：对社会经济决策具有重要部门监管作用的联邦机构，包括：美国消费者金融保护局、劳工部和职业安全与健康管理局、教育部、平等就业机会委员会、环境保护局、联邦存款保险公司、联邦住房金融局、联邦通信委员会、联邦储备委员会、卫生与公众服务部、住房与城市发展部、货币监理署、证券交易委员会、财政部和退伍军人事务部。

通过行政传票授权进行算法审查和审计

监管机构将被授权通过行政传票收集必要的数据、文档和技术人工物（technical artifacts）（包括代码和模型对象），并就算法决策系统的开发和部署进行访谈。算法决策系统的开发者和部署者（必要时包括供应商和承包商）都可能受到行政传票的约束。监管机构将有权使用这些行政传票对单个算法决策系统进行算法审计，对某个算法决策系统类别的影响进行系统审查，为指定“关键算法系统分类”的规则制定程序提供信息，并执行“关键算法系统分类”的系统规则。

监管机构只能在国会授权范围内对该机构程序有重大影响的算法决策系统发出行政传票。这就确保了监管机构仅有权调查和审计属于各机构法定监管职责范围内的算法决策系统，从而防止监管过度，减少机构间的监管重叠。各机构还需要向开发和/或部署算法决策系统的实体提供适当的通知；确保保护通过传票获得的任何私人数据；避免通过传票程序或相关调查披露任何商业秘密或知识产权。

通过“关键算法系统分类”监管算法决策系统

拟议的“关键算法系统分类”将是一个新的法律名称，它将授权联邦机构制定和执行针对符合条件的算法决策系统的规则。通过联邦规则制定程序，所覆盖的机构必须证明某类算法决策系统符合“关键算法系统分类”的法律标准，这样才能制定和执行该类“关键算法系统分类”的系统商业使用标准。“关键算法系统分类”无意扩大联邦监管范围，而是为监管机构提供足够的法律权力和监管工具，以监督在其现有国会授权范围内使用的算法决策系统。

通过联邦规则制定程序，机构需要证明某类算法决策系统符合与危害风险、影响程度和现有机构权力范围有关的三项标准，才能将“关键算法系统分类”适用于该类算法决策系统。

1.对获得医疗保健、经济机会或基本服务造成损害的风险：监管机构必须证明，该算法决策系统类别可能会对医疗服务的获取造成风险，包括通过医疗服务的提供、审批、计费和保险；对平等机会造成风险，包括公平获得教育、住房、信贷、就业、晋升和其他机会；或对关键资源或服务的获取造成风险，如金融服务、安全服务、紧急服务或社会服务。

2. 影响范围：监管机构必须证明，根据规模或覆盖范围，该算法决策系统类别（所有提供者的总和）影响了大量群体。

规模：所有已部署的某一类别的算法决策系统共同影响大量特定数量的居民；

覆盖范围：所有已部署的某一类别的算法决策系统对特定受影响的居民（如受保护阶级或特定职业）中超过25%的群体产生了影响。

3. 授权范围：监管机构必须证明，该类别算法决策系统所作出的决定或影响的程序已由国会授权的机构进行监管。

监管机构将有权为“关键算法系统分类”的系统功能制定规则，以降低已确定的风险，特别是与以下要素有关的风险：

披露：将“关键算法系统分类”的系统使用情况告知受影响的人。

透明度和可解释性：在个人和系统层面上告知受影响的人“关键算法系统分类”的系统特定结果的计算过程。

纠正不准确的数据：使受影响者能够查看和纠正作为“关键算法系统分类”的系统部分使用的输入数据。

有效性和稳健性：要求“关键算法系统分类”的系统在部署前和部署期间通过持续监控达到性能量化标准，并接受相关测试和评估。

非歧视：要求“关键算法系统分类”的系统符合标准，不因任何受保护阶层而产生歧视或不同的影响。

数据隐私保护：要求关键算法系统分类系统确保不会泄露或暴露敏感数据。

人工替代：要求“关键算法系统分类”的系统部署者在受影响者提出合理理由的情况下提供非算法的替代程序。

数据、代码、模型和技术文档的存储：要求“关键算法系统分类”的系统开发者和部署者在规定期限内保存与“关键算法系统分类”的系统相关的数据、代码、模型和技术文档。

监管机构不会默认制定有关所有上述要素的规则，而是会选择那些与减轻“关键算法系统分类”规则制定程序中确定的风险相关的规则。监管机构将有权代表受影响者寻求法律补救或救济，包括禁令、恢复原状和民事处罚。机构对“关键算法系统分类”的系统规则制定将遵守《行政程序法》中的正式规则制定要求，确保公众知情，利益相关者能够为新的“关键算法系统分类”法规做出贡献并做好准备。

行政传唤权与“关键算法系统分类”规则制定权将相辅相成，使制定程序包括以下四个阶段：

1. 监管机构发现并记录与其法定权限相关且可能符合“关键算法系统分类”标准的算法决策系统类别。

2. 该机构运用其行政传唤权，全面审查该类美国存托凭证在市场上的发展、部署和影响。

3. 如果确定符合“关键算法系统分类”标准，机构将通过规则制定程序将算法决策系统类别指定为“关键算法系统分类”，并利用系统审查为算法决策系统的开发和使用规则提供信息。

4. 该机构继续运用行政传唤权，监测现已被指定为“关键算法系统分类”的算法决策系统的使用情况，评估更新相关规则的必要性，并在必要时通过诉讼确保合规。

三、“关键算法系统分类”方法的优点

“关键算法系统分类”是一种管理算法的新方法，它通过使部门机构能够执行算法审计（通过行政传票），然后发布特定应用法规（通过上述程序），全面解决了算法决策系统激增的问题。这使“关键算法系统分类”与其他拟议的AI立法有了显著区别，因为它将使联邦机构能够不断适应算法决策系统在其法律授权下的关键社会经济决策中日益增长的作用。

“关键算法系统分类”方法改善了几种特定情况下的治理，包括消除合理算法监管的实际障碍，澄清在现代算法决策系统激增之前写入的法律授权中的不确定性，以及解决某些算法决策系统类别缺乏预先存在的监督授权的问题，这些算法决策系统类别会影响关键社会经济决策。有些监管机构在管理替代性服务方面的授权有限，但却面临着替代性服务如何改变一个行业所带来的实际挑战。美国平等就业机会委员会就是这种情况，该委员会目前无法对供应商开发和销售歧视性算法决策系统的行为直接执行反歧视法。同样，美国算法信用评分供应商在技术上也被排除在《平等信用机会法》之外，尽管它们对获得信贷产生了巨大影响。一些主要的监管机构也缺乏足够的行政传唤权，无法对算法决策系统进行系统的审查或审计。

此外，在一些领域，现有的监管权力并没有明确无误地适用于美国存托凭证，即使它们与监管领域有着千丝万缕的联系。“关键算法系统分类”将明确规定，联邦机构可以对影响联邦就业歧视法、《职业安全与健康法》、《公平住房法》和其他民权立法的算法决策系统进行监管。最后，“关键算法系统分类”方法可以对一些目前不受监管但符合“关键算法系统分类”标准的算法决策系统进行算法监督，如高等教育招生和定价的算法决策系统，可由教育部进行监管。

在填补这些重大空白的同时，“关键算法系统分类”也有意限制了范围，解决了联邦政府管理商业算法决策系统的能力不足，而这些商业算法决策系统会在很大程度上影响关键社会经济决策。通过依靠行政传票和联邦规则制定程序，“关键算法系统分类”使新的机构权力建立在完善的法律监管标准之上。因此，“关键算法系统分类”可被视为一种虽小却有影响力的干预措施，可系统性地解决关键社会经济决策中算法决策系统所造成的危害。

与将类似的权力赋予一个新机构或仅授权联邦贸易委员会相比，“关键算法系统分类”允许监管机构对美国存托凭证进行分布式管理，这是这种方法的一个关键优势。创建一个中央算法监管机构可能会导致两个平行的监管机制，一个是由监管机构管理的流程，另一个是由算法监管机构管理的美国存托凭证。这种平行结构将不断受到机构间权力重叠和相互交织的挑战，因为社会经济决策中的人工和算法是不可分割的。中央监管机构也缺乏现有部门机构所需的领域知识。此外，随着算法决策系统在关键社会经济决策中发挥越来越大的作用，中央监管机构的工作量将扩大，而监管机构的工作量将缩小，从而造成长期的不平衡。虽然在数据隐私和在线平台管理等领域需要考虑建立新的监管机构，但对于管理用于关键社会经济决策的美国存托凭证来说，“关键算法系统分类”方法是一个更好的解决方案。

“关键算法系统分类”方法对于确保美国在经济和技术方面继续保持领先地位也有显著优势。“关键算法系统分类”的影响程度要求将对正在开发新的算法决策系统的创新型小企业起到豁免作用。这是因为新类别的算法决策系统不会立即达到受影响人数的门槛。这将使初创企业能够开发新类别的算法决策系统，同时确定必要的最佳实践和保障措施。此外，“关键算法系统分类”标准还确保大多数算法决策系统（如想象室内设计、提供电影推荐或帮助识别野生动物）不在监管范围内。这样做是恰当的，因为大多数算法决策系统的社会影响还不足以要求政府进行干预。

“关键算法系统分类”使监管机构能够关注相对较少的算法决策系统供应商。随着越来越多的公司转向由供应商提供的算法决策系统（用于招聘、工人管理、医疗保健分配、教育机会等任务），对这些供应商的监管能够使市场干扰达到最小，并使算法决策系统的功能得到显著改善。要求这些算法决策系统具有准确性、非歧视性和透明度，还能为从这些供应商采购的公司提供质量保证，从而提高算法决策系统市场的效率。

通过全面的算法监管方法还将向世界其他国家发出一个强烈的信号：美国正在认真对待算法风险，其技术公司将受到负责任的管理。“关键算法系统分类”方法将有助于确保美国不仅成为AI领域无可争议的领导者，而且成为值得信赖AI领域的领导者，这一声誉将在未来几十年吸引大量的全球业务和投资。这一信息也将传达到国内，鼓励国内AI保障行业的进一步发展，而这一行业有望成为其自身的重要市场。

“关键算法系统分类”的做法在国际贸易方面也有其意义。“关键算法系统分类”允许极大的监管灵活性，从而更好地与国际接轨。这一点对欧盟尤为重要，因为欧盟目前正在通过一项针对算法系统的全面监管框架——《欧盟人工智能法案》。在美国存托凭证方面与欧盟保持高度一致，可确保这一重要贸易关系继续发挥作用，同时还可通过共享市场监督、分享最佳实践以及通过国际标准机构开展合作来加强监管。

最后，“关键算法系统分类”方法是一种相对“面向未来”的干预措施，因为它能使联邦机构不断适应监管机构监管领域内不断出现的算法决策系统。这种方法避免了美国国会建立并定期更新高风险算法决策系统清单的需要。此外，这种方法还承认，联邦机构最有资格根据其影响和危害风险，确定哪些算法决策系统需要通过“关键算法系统分类”程序。

四、结论

通过监管机构和具体应用规则的制定，实现对美国存托凭证的全面治理，“关键算法系统分类”方法是一种新颖且具有潜在影响力的方法。它得益于现有的治理机制，即行政传唤权和联邦规则制定程序，而无需设立新的机构。此外，这种方法对其范围有合理的限制，同时提供了一种在关键社会经济决策中管理算法决策系统的持久方法。

然而，“关键算法系统分类”方法也存在一些缺陷，如其规则制定本身具有追溯性，不能广泛确保不符合“关键算法系统分类”条件的算法决策系统的权利，也不能解决联邦机构能力不足的问题。为解决这些局限性，“关键算法系统分类”可与基于权利的算法系统方法以及联邦监管机构的额外资金相配合。最后，值得注意的是，“关键算法系统分类”方法试图成为解决算法挑战的通用方案，而算法挑战在许多领域中都是高度多样化和情景化的，这很可能导致实施效率低下。尽管存在这些缺陷，“关键算法系统分类”方法仍将是一项有意义的政策干预措施，可显著解决大规模用于关键社会经济的算法决策系统激增的问题，这是算法治理核心挑战，也是尚未解决的挑战。