0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI安全基准测试 v0.5: 聚焦通用聊天文本模型安全性

微云疏影 来源:综合整理 作者:综合整理 2024-04-19 11:12 次阅读

据了解,国际知名人工智能社区MLCommons近期推出了AI Safety人工智能安全基准测试的v0.5版,该测试由多领域专家团队共同打造,以识别并防范AI应用中的潜在风险。

随着AI技术的快速发展,相关安全问题也日益凸显。仅过去数周内,便有LastPass公司遭遇音频深度伪造攻击等案例浮出水面。为了应对这一挑战,新推出的AI Safety基准测试将成为模型开发者的有力工具,助力他们构建更为稳固的安全防线。

AI Safety基准测试主要通过大型语言模型对各类危险提示词的反应来评估其安全性。该测试的v0.5版已开始收集社区反馈,预计将于今年晚些时候推出正式的v1.0版。

v0.5版的AI Safety基准测试主要关注通用聊天文本模型,而v1.0版则将加入针对图像生成模型的测试内容,并初步探讨交互式代理模型的安全测试方法。

该测试涵盖了超过43000个测试提示词,采用Meta公司的Llama Guard对大模型的危险提示响应进行评估。这些提示词包括常见模板及危险场景描述短语,覆盖七类安全危害类型,未来还将进一步扩展至至少十三类。

最后,AI Safety基准测试将根据测试结果给出五个安全评级,以便用户更好地理解和使用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1781

    文章

    44911

    浏览量

    232321
  • 模型
    +关注

    关注

    1

    文章

    2818

    浏览量

    48031
  • ai技术
    +关注

    关注

    1

    文章

    1241

    浏览量

    23893
收藏 人收藏

    评论

    相关推荐

    锂电池的安全性测试有哪些

    锂电池因其高能量密度、长寿命和良好的性能成为电子设备中不可缺少的能源。然而,由于其化学性质,如果处理不当,锂电池可能存在爆炸和火灾等安全风险。因此,进行锂电池的安全性测试至关重要,以确保其在各种环境下的
    的头像 发表于 06-14 09:14 164次阅读
    锂电池的<b class='flag-5'>安全性</b>能<b class='flag-5'>测试</b>有哪些

    微软、谷歌等科技巨头承诺安全开发AI模型

    近日,微软、谷歌、OpenAI等16家科技巨头在“人工智能(AI)首尔峰会”上达成共识,承诺在AI模型的开发过程中注重安全性,并在无法控制最极端风险时关闭其尖端系统。
    的头像 发表于 05-22 11:25 318次阅读

    英国AI安全研究所推出AI模型安全评估平台

    据报道,英国人工智能安全研究院近日发布了名为“Inspect”的AI模型安全评估平台,此平台采用开源技术且对全球AI工程师免费开放,旨在提升
    的头像 发表于 05-13 15:20 152次阅读

    【大语言模型:原理与工程实践】大语言模型的评测

    安全性。行业模型的评测则针对特定领域的能力,整体能力的评测则从宏观角度评估模型通用性。在基座模型的评测中,除了自回归损失和困惑度等指标外
    发表于 05-07 17:12

    世界数字技术院发布:生成式AI安全测试标准及大语言模型

    据悉,上述两款标准主要针对大型模型与生成式AI应用领域的安全检测设定了新基准。参与制定工作的单位有OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等多家知名企业,其中,
    的头像 发表于 04-17 16:51 597次阅读

    防止AI模型被黑客病毒入侵控制(原创)聆思大模型AI开发套件评测4

    (FileSystemEventHandler):# 这是个守护模型安全的“保镖类”,它的任务就是保护咱们的AI模型。 def on_modified(self, event):#
    发表于 03-19 11:18

    NanoEdge AI的技术原理、应用场景及优势

    ,可以减少数据在传输过程中被窃取或篡改的风险,提高数据安全性。 - 低能耗:通过优化神经网络模型和硬件设计,NanoEdge AI 可以在有限的资源下实现高效的计算,降低设备的能耗。
    发表于 03-12 08:09

    DC电源模块的安全性能评估与测试方法

    BOSHIDA DC电源模块的安全性能评估与测试方法 DC电源模块的安全性能评估与测试方法应包括以下几个方面:  DC电源模块的安全性能评估
    的头像 发表于 03-08 11:15 249次阅读
    DC电源模块的<b class='flag-5'>安全性</b>能评估与<b class='flag-5'>测试</b>方法

    携手 MLCommons,制定有效且值得信赖的 AI 安全基准

    ,存在于许多领域。一些标准基准用于衡量安全性: 例如,当汽车制造商宣传 "整体安全评分五星" 时,会引用某项基准。机器学习 (ML) 和 AI
    的头像 发表于 12-05 18:10 316次阅读

    求助,为什么说电气隔离安全性比较高?

    为什么说电气隔离安全性比较高?
    发表于 11-02 08:22

    MCU是怎么为物联网端点设备提高安全性的?

    MCU 是怎么为物联网端点设备提高安全性的?
    发表于 10-17 08:53

    面向OpenHarmony终端的密码安全关键技术

    OpenHarmony终端的安全输入与固件安全解决方案,将密码技术创新的应用于终端的人脸、指纹、触摸键盘等输入和鉴别过程;安全输入技术更聚焦于底层的
    发表于 09-13 19:20

    STM32H5 MCU系列提升性能与信息安全性

    强大的Arm® Cortex®-M33 MCU运行频率高达250 MHz的Arm®Cortex®-M33内核32位MCU满足绝大多数工业应用的需求安全性可扩展,满足各类需求从基本的安全构建模块到经过
    发表于 09-06 06:29

    SystemReady安全接口扩展用户指南

    本指南为Arm System Read 安全接口扩展提供总体的认证和测试流程概览。 Arm Ready System Ready 是一套标准和合规认证程序。 System Ready 能够让通用
    发表于 08-08 07:44

    ARMv8系统中的安全性

    安全扩展模型允许系统开发人员对设备硬件进行分区软件资源,以便它们存在于安全子系统的安全世界中,或者存在于其他一切都是正常的。正确的系统设计可以确保没有
    发表于 08-02 18:10