使用Model Card++增强AI透明度和道德考量

AI 模型卡是一份详细说明机器学习（ ML ）模型如何工作的文档。模型卡提供了有关 ML 模型元数据的详细信息，包括它所基于的数据集、它所接受培训的性能度量以及深度学习培训方法本身。本文将带您了解 AI 模型卡的当前实践，以及 NVIDIA 计划如何通过模型卡++（增强的下一代 AI 模型卡来提升它们。

在 2019 年的论文 Model Cards for Model Reporting 中，包括 Margaret Mitchell 、 Timnit Gebru 和 Lucy Vasserman 在内的一群数据科学家试图为 AI 模型创建一个文档标准。他们的主要动机是通过披露有关人工智能模型的基本信息，促进人工智能模型开发过程中的透明度和问责制。

这些信息包括谁开发了模型、预期用例和范围外的应用程序、预期用户、模型如何与不同的人口群体一起执行、关于用于培训和验证模型的数据的信息、限制和道德考虑。

在开发第一个 AI 模型卡之前，很少共享关于特定 AI 模型的信息，以帮助确定该模型是否适合特定组织的用途。

如果模型的输出可能对特定人群产生不利影响，那么这就成了一个问题。例如， 2019 年由大学牵头的研究 Discrimination through Optimization： How Facebook’s Ad Delivery Can Lead to Skewed Outcomes 显示，尽管使用中性参数来针对广告，但在社交媒体上发布广告的算法导致了歧视性广告发布。

模型卡的采用有助于开发人员将其结果与类似模型的结果进行比较，从而帮助开发和改进模型。模型卡强调了计划部署模型的人员的性能问题。

同时，模型卡还教育了正在起草管理人工智能模型和系统的法规和立法的决策者。虽然不是必需的，但开发模型卡是一种最佳实践，它鼓励开发人员与最终将受到模型输出影响的人接触。

模型卡的重要性

虽然模型卡旨在鼓励模型透明度和可信度，但利益相关者也会使用它们来提高开发人员的理解并使决策过程标准化。

模型卡的结构和组织方式为模式。他们简明扼要地报告了不同因素的信息，如人口统计、环境条件、定量评估指标，以及道德考虑（如有）。

模型卡还可以记录模型版本、类型、日期、许可证限制、有关发布组织的信息以及其他定性信息。示范卡旨在进行教育，并允许对衡量标准和基准进行明智的比较。图 1 显示了 NGC Model Card for StyleGAN3 。

图 1.StyleGAN3 模型卡显示了有关其体系结构、培训和数据集的信息

模型卡就像开源的资料表。除非你是模型本身的开发人员，否则如果没有模型卡，你甚至可能不太了解 AI 模型本身。模型卡提供了对模型细节的最全面理解，以及个人在应用模型时应考虑的因素。

例如，智能手机可能有一个面部检测系统，允许用户根据识别解锁。如果没有模型卡，模型开发人员可能在部署模型之前无法意识到模型的行为。这就是 Joy Buolamwini 博士 尝试使用面部检测系统 作为她在麻省理工学院研究生工作的一部分时发生的事情。

AI 模型卡可访问性

AI 模型卡不应该只为开发者构建；公司还应该制作模型卡，非技术人员和技术专家都可以访问和阅读。

模型卡不限于给定的行业或领域。它们可以用于计算机视觉、语音、推荐系统和其他 AI 工作流。除了在高等教育和研究以及高性能计算空间中有着积极的用途外，模型卡还可以在多个行业中使用，包括汽车、医疗和机器人应用。模型卡可以：

教学生并帮助他们理解真实的用例

告知决策者并澄清非模型开发者的预期用途

教育那些对寻求人工智能利益感兴趣的人

通过模型卡动员人工智能是公司向可信赖人工智能发展的决定性和透明的一步。

改进和增强模型卡

我们进行了市场调查，以了解现有模型卡的改进情况。虽然开发人员样本中 90% 的受访者认为模型卡很重要， 70% 的人会按原样推荐，但仍有改进的余地，以推动其采用、使用和影响。

根据我们的研究，现有的模型卡应该在两个主要方面得到增强：可访问性和内容质量。模型卡用户需要模型卡，以便于访问和理解。

可访问性

发现是模型卡可访问性的一个需要改进的要素。在发布模型时，人工智能开发人员应该能够找到模型卡，然后将其与工作一起推广。研究论文中介绍的模型以及用于商业用途的模型都是如此。

其次，模型卡需要放在感兴趣的个人可以参考的地方。 NVIDIA 推广模型卡的方式之一是通过 NGC 目录。模型和模型卡并排放置在同一存储库中。

内容质量

找到模型卡后，用户的下一个挑战是理解其中包含的信息。这在选择前的模型评估阶段尤为关键。不理解模型卡中包含的信息会导致与不知道信息存在相同的结果；不管怎样，模型用户都无法做出明智的决策。

为了解决这个问题， NVIDIA 鼓励使用一致的组织结构、简单的格式和清晰的语言制作模型卡。还建议添加可筛选和可搜索字段。当个人能够找到模型卡中包含的信息时，他们更有可能理解软件。根据我们的研究，受访者喜欢并依赖于模型卡中的信息，因为它很容易获取和理解。

事实上，性能和许可信息是受访者希望在模型卡中看到的两个最重要的方面。图 2 显示了 StyleGAN3 模型卡如何将单独的部分用于性能和许可。

图 2.StyleGAN3 模型卡包括性能和许可部分

在性能和许可信息之后，受访者认为关于道德考虑的部分是模型选择标准中最重要的信息类别。出于道德考虑，受访者表示，他们希望获得更多关于用于培训和验证模型的数据集的信息，尤其是关于不必要偏见的详细信息以及关于安全和安保的信息。

型号卡++概述

Model Card ++是 NVIDIA 在过去 9 个月开发的改进型 NGC Catalog Model Card 原型。除了 NGC 目录中模型卡概述部分给出的典型信息外，模型卡++还包括：

Plus Plus Promise （也称为++ Promise 或 Triple P ），描述 NVIDIA 软件开发方法和我们在所有模型开发中坚持的标准

详细说明有关偏差、可解释性、隐私、安全性和安全性的模型特定信息的小节

图 4 显示了++ Promise ，它将嵌入到每个 ModelCard ++中。

图 4.模型卡++承诺描述了 NVIDIA 在 AI 模型开发中证明可信度所采取的步骤

++承诺描述了 NVIDIA 正在采取的步骤，以证明我们的工作在设计中的可信度。附卡概述：

采取措施减少不必要的偏见

决策逻辑和示例域

培训数据集的来源以及收集的数据类型和方式

使用的开发控制和已知限制

这并不是一份详尽的清单，但它展示了设计意图和对标准和保护的承诺，这些标准和保护重视个人、数据和 NVIDIA 对 AI 的贡献。这适用于跨域和用例的每个模型。

图 5 显示了解释性附卡的示例。每个模型卡++将包括一个专门的字段部分和每个子部分的响应。每个领域的回答部分所示内容并不代表真实世界的模型，而是为了说明基于当前理解和最新研究将提供的内容。

图 5.可解释性附卡示例，模型卡++的四个子部分之一并入 NGC 模型卡

解释性附卡提供了 AI 模型的示例域、目标用户、决策逻辑和合规性审查的信息。 NVIDIA 模型卡旨在使用清晰、一致和简洁的语言呈现 AI 模型。

NVIDIA 将于年底开始推出 Model Card ++，所有商业车型将于 2023 年底使用。

我们如何制作模型卡++

模型卡++是下一代 AI 模型卡。它是与工程、产品、研究、产品安全和法律团队合作的纪律严明的跨职能方法的结果。在现有 NGC 模型卡的基础上，我们审查了其他组织和模板（包括 GitHub ）的模型卡，以找出可以一致提供的其他信息。

除了目前提供的信息外，我们还与工程部合作，试验可以持续提供的信息。我们发现，虽然我们的模型卡有一个道德考虑部分，但还可以提供更多内容，比如我们为减少不必要的偏见而采取的措施。我们还发现，我们可以描述数据集的来源和可追溯性、数据集存储和质量验证。

我们希望提供更多关于数据集人口构成、不同人口群体的绩效指标以及我们为解决不必要的偏见而采取的具体缓解措施的详细信息。我们还与算法偏差顾问合作开发了一个评估不必要偏差的流程，该流程符合数据隐私法，并与我们的最新市场研究相结合。

在构建 Model Card ++时，我们还通过调查使用我们模型的开发人员和来自整个行业的开发人员，来证实我们的市场研究工作。我们验证了所需的信息，并与我们的用户设计经验团队一起将其结构化，以清晰有序的格式呈现出来。我们对向世界推出 Model Card ++感到兴奋，并希望继续领导努力，鼓励全人类的包容性人工智能。

审核编辑：郭婷