0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是AI模型漂移 AI模型表现下降的原因

IEEE电气电子工程师 来源:IEEE电气电子工程师 2023-12-08 11:30 次阅读

AI模型在实际运用中可能出现性能下降而达不到最初的标准,这种情况并不罕见。例如,也许你已经注意到你经常使用的生成人工智能服务的响应质量发生了变化。这些说法经常出现在新闻网站和社交媒体上。

但人工智能模型的性能是否会随着时间的推移而恶化?

事实上,人工智能模型的有效性可能会下降,并且容易产生“幻觉”。

用人工智能专家的语言来说,这种现象通常被称为“模型衰退”或“模型漂移”,这两种术语经常互换使用。

发生这种情况的原因多种多样。

为什么它很重要

人工智能越来越多地应用于日常生活的各个方面,包括拯救生命的行动和大额投资等。2023年3月,IEEE Spectrum上的一篇文章(https://spectrum.ieee.org/self-driving-cars-2662494269)强调了一个显著的现实风险:自动驾驶汽车中的人工智能模型出现故障,导致了严重的车祸。

定期更新和使用当前数据进行重新培训是维持这些模型在不断变化环境中有效的关键。

什么是AI模型漂移

IEEE会员Eleanor “Nell” Watson解释说,人工智能模型的准确性经常会因为现实世界中不断变化的环境而发生变化。

“例如,”Watson说,“考虑一个经过训练以预测消费者购买模式的模型。它是在代表某个时间点的消费者行为的数据集上训练的。部署后,消费者偏好和市场动态可能会因新趋势、经济变化甚至全球事件等各种因素而演变。由于该模型是在旧数据上训练的,它可能无法准确捕捉这些新模式,导致其预测的准确性或相关性降低。这是模型衰减的表现。”

对抗数据漂移非常重要。为了做到这一点,人工智能研究人员倾向于将人工智能漂移进一步分类。如果你想了解更多,请查看这篇IEEEXplore的论文:https://ieeexplore.ieee.org/document/9808752。

Watson说:“解决模型衰退问题包括定期监测、调整和用新数据更新模型,完善模型的架构,甚至在某些情况下从头开始重新训练。”同时还指出:“确保模型与当前数据的状态和动态保持一致,以及对于数据的合理使用,对于维护AI模型的准确性至关重要。”

合成数据:一个新出现的挑战

训练人工智能模型需要大量的数据,有时这些数据是稀缺的。为了弥补这一不足,研究人员转向了合成数据。

从本质上讲,合成数据是基于真实数据集生成的人工数据(https://standards.ieee.org/industry-connections/synthetic-data/#:~:text=Synthetic%20data%20is%20artificial%20data,e.g.%2C%20for%20AI%20training).)。它是实际的,同时也能够在统计上代表原来存在的数据。

研究人员明白,尽管合成数据有其存在的用途,但过度的依赖合成数据也可能导致性能下降,IEEE Spectrum发表的两篇研究论文探讨了这一想法:https://spectrum.ieee.org/ai-collapse。

Watson说,过度依赖合成数据“可能会缩小视角并强化偏见,因为模型可能会根据类似系统生成的数据进行训练”。生成人工智能的快速内容生产速度往往加剧了这个问题。

挑战可能更加严峻。人工智能模型的开发者经常通过人们的帮助来标记数据。例如,如果你想开发一个识别图像情感内容的人工智能模型,通常需要人们来对图像进行评分。或者有时,研究人员需要大量的调查数据,这种劳动力极其廉价——时薪不到1美元。这些被称为人类智能任务(https://www.designboom.com/technology/ai-has-generated-150-years-worth-of-photographs-in-less-than-12-months-study-shows-08-21-2023/)。

“一些人为生成的数据可能是不真实的,”Watson说,“外包给人工智能任务工作者的任务使用人工智能越来越自动化,导致潜在的偏见和不准确。公司所需要的自然、高质量的数据,可能需要额外的身份验证层来确保人工生成内容的真实性。”

审核编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    28791

    浏览量

    266123
  • 人工智能
    +关注

    关注

    1787

    文章

    46011

    浏览量

    234745
  • 自动驾驶汽车

    关注

    4

    文章

    375

    浏览量

    40776

原文标题:AI模型表现下降的原因

文章出处:【微信号:IEEE_China,微信公众号:IEEE电气电子工程师】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    ai模型ai框架的关系是什么

    AI模型AI框架是人工智能领域中两个重要的概念,它们之间的关系密切且复杂。 AI模型的定义和特点
    的头像 发表于 07-16 10:07 3.7w次阅读

    ai模型和传统ai的区别在哪?

    AI模型和传统AI的区别主要体现在以下几个方面: 数据量和训练规模 AI模型通常需要大量的数据进行训练,以获得更好的性能。相比之下,传统
    的头像 发表于 07-16 10:06 554次阅读

    AI模型与传统AI的区别

    AI模型(如LLM,即大型语言模型)与传统AI在多个方面存在显著的区别。以下将从技术层面、应用场景、性能表现、计算资源和成本、以及发展趋势
    的头像 发表于 07-15 11:37 1314次阅读

    AI模型与小模型的优缺点

    在人工智能(AI)的广阔领域中,模型作为算法与数据之间的桥梁,扮演着至关重要的角色。根据模型的大小和复杂度,我们可以将其大致分为AI模型
    的头像 发表于 07-10 10:39 1444次阅读

    STM CUBE AI错误导入onnx模型报错的原因

    使用cube-AI分析模型时报错,该模型是pytorch的cnn转化成onnx ``` Neural Network Tools for STM32AI v1.7.0 (STM.
    发表于 05-27 07:15

    防止AI模型被黑客病毒入侵控制(原创)聆思大模型AI开发套件评测4

    在设计防止AI模型被黑客病毒入侵时,需要考虑到复杂的加密和解密算法以及模型的实现细节,首先需要了解模型的结构和实现细节。 以下是我使用Python和TensorFlow 2.x实现
    发表于 03-19 11:18

    cubemx ai导入onnx模型后压缩失败了怎么解决?

    cubemx ai导入onnx模型后压缩失败。请问我怎么解决
    发表于 03-19 07:58

    AI模型远程控制启动车辆(原创)

    AI模型
    还没吃饭
    发布于 :2024年03月18日 15:18:29

    使用cube-AI分析模型时报错的原因有哪些?

    使用cube-AI分析模型时报错,该模型是pytorch的cnn转化成onnx ``` Neural Network Tools for STM32AI v1.7.0 (STM.
    发表于 03-14 07:09

    AI模型可以取代大学教育吗?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 16:27:52

    AI模型怎么解决芯片过剩?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 15:42:05

    AI模型会不会取代电子工程师?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 15:11:43

    AI模型可以设计电路吗?

    AI模型
    电子发烧友网官方
    发布于 :2024年01月02日 15:09:29

    浅谈AI模型漂移检测中的应用

    人工智能应用的开发过程中,AI 模型的泛化能力是一个非常重要的考量因素,理想情况下,基于训练数据集优化得到的 AI 模型,不存在过拟合或欠拟合问题,可以直接迁移到新数据上用于推断。
    的头像 发表于 11-13 10:58 657次阅读
    浅谈<b class='flag-5'>AI</b><b class='flag-5'>模型</b>在<b class='flag-5'>漂移</b>检测中的应用

    【KV260视觉入门套件试用体验】Vitis AI 构建开发环境,并使用inspector检查模型

    FFT运算(Vivado) 四、硬件加速之—使用PL加速矩阵乘法运算(Vitis HLS) 五、Vitis AI 构建开发环境,并使用inspector检查模型 六、Vitis AI 进行模型
    发表于 10-14 15:34