0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI自动化标注崛起,数据标注员要失业了?

科技云报到 来源:jf_60444065 作者:jf_60444065 2024-01-24 13:06 次阅读

科技云报道原创

在数据标注行业流行着一句话:“有多少智能,就有多少人工”。

由于需要标注的数据规模庞大且成本较高,一些互联网巨头及一些AI公司很少自己设有标注团队,大多交给第三方数据服务公司或者数据标注团队来做。

这也衍生出了专为AI而生的人力密集型的数据标注产业链。

例如,众包平台Mechanical Turk上的20万名AI数据标注员,就分布在人力成本低廉的非洲和东南亚。印度甚至涌现了不少数据标注村,他们为美国、欧洲、澳洲和亚洲的AI公司服务。

在中国,上百万名 AI 数据标注员分布在贵州、山西、山东、河南等省份的二三线城市,并逐步向人力成本更低的县城渗透。

但讽刺的是,数据标注员正在被自己服务的AI所替代,已经有企业开始采用AI进行数据标注。

据彭博社1月14日报道,苹果公司将关闭圣地亚哥一个与人工智能业务相关的121人团队,这将导致数据标注员面临被解雇的风险。

那么,人工数据标注能否真的被AI全面替代,我们又是否会进入“AI训练AI”的时代呢?

AI自动化标注崛起

训练一个高效的大模型必不可少的是高质量的数据。OpenAI正是借助基于人类标注的数据,才一举从众多大模型企业中脱颖而出,让ChatGPT成为了大模型竞争中阶段性的胜利者。

但同时,OpenAI也因为使用非洲廉价的人工进行数据标注,被各种媒体口诛笔伐。

对于数据标注,一定需要找到一个新的方法,才能避免大量使用人工标注带来的包括道德风险在内的其他潜在麻烦。

因此,全球各大AI巨头和大型独角兽,都在进行数据标注自动化的探索。

苏黎世大学研究发现,ChatGPT平均每个标注成本低于0.003美元,比众包平台便宜20倍;在相关性、立场、主题等任务中,ChatGPT也是以4:1的效率优势“碾压”人类。

来自卡耐基梅隆大学、耶鲁大学和加州大学伯克利分校的一组研究人员更是发现:GPT-4在数据集标注表现上优于他们雇用的最熟练的众包员工。

这一突破为研究人员节约了超过50 万美元和2万个工时。

论文发出后,有网友评论称“这是直接端了平台工作者的饭碗”。

目前在自动驾驶领域,已经有车企开始采用AI进行自动化标注。

例如,特斯拉一直在积极推进自动化标注的进展,从2018至今,特斯拉的标注经历了4个阶段:

第1阶段(2018):只有纯人工的二维的图像标注,效率非常低;

第2阶段(2019):开始有3D label,但是是单趟的人工的;

第3阶段(2020):采用BEV空间进行标注,重投影的精度明显降低;

第4阶段(2021):采用多趟重建去进行标注,精度、效率、拓扑关系都达到了极高的水准。

2022年6月,特斯拉裁撤了200名为特斯拉标注视频以改进辅助系统的美国员工。

目前,特斯拉的自动标注能力大幅改善,标注10000个不到60秒的视频,大模型只需要运行一周即可,而同样的工作量人工标注却需要几个月的时间。

在国内,理想汽车董事长兼CEO李想曾在2023年4月份举行的一场论坛上表示,当理想汽车使用软件2.0的大模型,通过训练的方式进行自动化标定,过去需要用一年做的事情,基本上3个小时就能完成,效率是人的1000倍。

不仅如此,自动化标注工具也在飞速发展。

国外AI初创公司refuel推出了一个名为Autolabel的开源工具,可以使用市面上主流的大模型来对数据集进行标注。

该公司的测试结果称,Autolabel的标注效率相比人工标注提高了100倍,成本仅为人工成本的1/7。

国内一家名为视智未来的公司也在打造标注大模型。他们表示,有些项目已经用GPT交付了,准确率方面达到了80%多,与人工接近。

不得不说,在AI面前,无论成本还是效率,人类可以说是毫无优势。

RLAIF:AI标注训练方法

话说回来,ChatGPT是怎么抢了数据标注员的“饭碗”的?

以往数据标注员要干的事情,是将标注好的数据用作AI模型的训练集或评估标准,这个过程叫做RLHF(Reinforcement Learning from Human Feedback),即基于人类反馈的强化学习。

RLHF也是被ChatGPT、Bard和LLaMA等新兴大模型带火的模型训练方法,它最大的好处就在于能够将模型和人类的偏好对齐,让大模型给出更符合人类表达习惯的回答。

不过发布在arXiv的一份论文表明,这份看起来只有人类能做的工作,也能被AI取代。AI取代了RLHF中的“H”,诞生了一种叫做“RLAIF”的训练方法。

这份由谷歌研究团队发布的论文显示,RLAIF能够在不依赖数据标注员的情况下,表现出能够与RLHF相媲美的训练结果——

如果拿传统的监督微调(SFT)训练方法作为基线比较,比起SFT,1200个真人“评委”对RLHF和RLAIF给出答案的满意度都超过了70%(两者差距只有2%);另外,如果只比较RLHF和RLAIF给出的答案,真人评委们对两者的满意度也是对半分。

具体而言,研究人员主要就“根据一段文字生成摘要”这一任务,展示了RLAIF的标记方法。

首先是序言(Preamble),用来介绍和描述手头任务的说明。给定一段文本和两个可能的摘要,输出1或2来指示哪个摘要最符合上述定义的连贯性、准确性、覆盖范围和整体质量。

其次是样本示例(1-Shot Exemplar)。给到一段文本,接着给到两个摘要,以及“摘要1更好”的偏好判断,让AI学着这个示例对接下来的样本做标注。

再次就是给出所要标注的样本(Sample to Annotate),包括一段文本和一对需要标记的摘要。

最后是结尾,用于提示模型的结束字符串。

就像人类标注员会给不同的回答打分一样(比如满分5分),AI也会依据偏好给每个摘要打分,这也是AI和人类标注员发挥作用的关键环节,主要是用于训练奖励模型(RM)并生成反馈内容。

论文介绍到,为了让RLAIF方法中AI标注更准确,研究者也加入了其他方法以获取更好的回答。

譬如为了避免随机性问题,会进行多次选择,其间还会对选项的顺序进行交换;此外还用到了思维链(CoT)推理,来进一步提升与人类偏好的对齐程度。

需要说明的是,谷歌的这篇论文也是第一个证明了RLAIF在某些任务上能够产生与RLHF相当的训练效果的研究。这意味着不用人类指点,AI也能训练自己的同类了。

该论文的发布很快收获了不少关注。比如有从业者评论道,等到GPT-5可能就不需要人类数据标注员了。

尽管这项工作凸显了RLAIF的潜力,但依然有一些局限性:

首先,这项研究仅探讨了摘要总结任务,关于其他任务的泛化性还需要进一步研究。

其次,研究人员没有评估LLM推理在经济成本上是否比人工标注更有优势。

此外,还有一些有趣的问题值得研究,例如RLHF与RLAIF相结合是否可以优于单一的一种方法,使用LLM直接分配奖励的效果如何,改进AI标注器对齐是否会转化为改进的最终策略, 以及是否使用LLM与策略模型大小相同的标注器可以进一步改进策略(即模型是否可以“自我改进”)。

重人力转向重技术

尽管AI自动化标注技术在快速发展,但第三方数据标注服务商并没那么乐观。

河南一家众包平台的项目经理认为,自动化标注还不能取代60%以上的标注需求,只能作为辅助标注工具处理单一或特定数据,提升人效。

另一家数据标注公司的产品经理认为,自动化标注只能过滤简单的基础数据,还不能像人一样从复杂有争议的场景中精确识别物体。

如果说简单的标注可以用AI来完成,那么人工参与的将是难度更高的数据筛选和标准工作,这也意味着数据标注行业的门槛将会不断提高。

作为对照,早在ChatGPT走红前,OpenAI就组建十几位博士生来“打标”。

而百度在海口的数据标注基地拥有数百名专职大模型数据标注师,标注师的本科率达到100%,需要具备一定的知识储备和逻辑分析能力。

不过大家也认同,未来的数据标注将从重人力转向重技术的趋势。

一家众包平台的创始人在和同行交流时说,未来不能堆人力,要有研发能力。也有从业者认为,人工标注对于泛化仍然极其重要,而RLHF+RLAIF混合方法比任何单一方法都要好。

总之,不是被同行“卷死”,就是被技术“卷死”。数据标注公司已做好了随时裁员的准备,同时向做自动化标注工具的方向发展。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268917
  • 大模型
    +关注

    关注

    2

    文章

    2427

    浏览量

    2651
收藏 人收藏

    评论

    相关推荐

    浅析基于自动驾驶的4D-bev标注技术

    4D-bev标注技术是指在3D空间中以时间作为第四个维度进行标注的过程。4D-bev通常在地场景较为复杂的自动驾驶场景中使用,其可以通过精准地跟踪和记录动态对象的运动轨迹、姿势变化以及速度等信息,全面理解和分析动态对象在连续的时
    的头像 发表于 12-06 15:01 730次阅读
    浅析基于<b class='flag-5'>自动</b>驾驶的4D-bev<b class='flag-5'>标注</b>技术

    软通动力入选《人工智能数据标注产业图谱》

    近日,由中国信息通信研究院、中国人工智能产业发展联盟牵头,联合中国电信集团、沈阳市数据局、保定高新区等70多家单位编制完成并发布《人工智能数据标注产业图谱》。
    的头像 发表于 12-03 10:18 149次阅读

    标贝科技:自动驾驶中的数据标注类别分享

    的必要条件,数据采集、数据标注服务已成为支撑自动驾驶热潮必不可少的一环。本文将以数据标注的视角,
    的头像 发表于 11-22 15:07 880次阅读
    标贝科技:<b class='flag-5'>自动</b>驾驶中的<b class='flag-5'>数据</b><b class='flag-5'>标注</b>类别分享

    标贝科技:自动驾驶中的数据标注类别分享

    的必要条件,数据采集、数据标注服务已成为支撑自动驾驶热潮必不可少的一环。本文将以数据标注的视角,
    的头像 发表于 11-22 14:58 278次阅读
    标贝科技:<b class='flag-5'>自动</b>驾驶中的<b class='flag-5'>数据</b><b class='flag-5'>标注</b>类别分享

    工具型AI标注平台SpeedDP工作流程是怎样的?

    SpeedDP作为一个工具型AI平台,它能提供从数据标注、模型训练、测试验证到RockChip嵌入式硬件平台模型部署的可视AI开发功能。平
    的头像 发表于 11-19 01:02 292次阅读
    工具型<b class='flag-5'>AI</b><b class='flag-5'>标注</b>平台SpeedDP工作流程是怎样的?

    自动化AI开发平台功能介绍

    自动化AI开发平台集成了多种算法、工具和框架,旨在帮助开发者更快速、高效地设计、训练、部署和管理AI模型。以下,AI部落小编将详细介绍自动化
    的头像 发表于 11-14 09:29 208次阅读

    HarmonyOS NEXT应用元服务开发按钮标注场景

    控件类型、“单指双击即可打开”之类的字符串,此部分指引由屏幕朗读根据控件类型、控件状态,并结合用户是否开启“新手指引”自动追加朗读。 在下面的代码片段中,您可以看到Image组件(它实际上是一个播放
    发表于 10-10 16:48

    蚂蚁数科发布AI赋能新一代数据标注产品

    在近日举行的2024 Incluison·外滩大会上,蚂蚁数科凭借其技术创新的深厚底蕴,正式推出了新一代AI数据标注产品,旨在为企业客户提供全方位、智能
    的头像 发表于 09-10 16:04 450次阅读

    SpeedDP! 超便利AI自动图像标注工具 功能丰富、省时省力

    超级AI,在线标注,既能解放双手,又省时省力。传统的标注模式需要你对着目标不断拉框,反复机械的动作做多了就变得“麻木”,影响效率还使人烦恼。而SpeedDP的出现,可以有效的提升标注
    的头像 发表于 08-30 12:59 280次阅读
    SpeedDP! 超便利<b class='flag-5'>AI</b><b class='flag-5'>自动</b>图像<b class='flag-5'>标注</b>工具   功能丰富、省时省力

    你了解贴片电感上标注的数字含义吗?

    你了解贴片电感上标注的数字含义吗?
    的头像 发表于 08-17 14:30 759次阅读
    你了解贴片电感上<b class='flag-5'>标注</b>的数字含义吗?

    微链道爱加入元脑生态,将打造AI视觉标注训练一体机

    北京2024年7月8日 /美通社/ -- 近日,北京微链道爱科技有限公司(简称"微链道爱")与浪潮信息签署元脑生态战略合作协议。双方将共同打造AI视觉标注训练一体机,支持高效的数据标注
    的头像 发表于 07-08 15:31 391次阅读

    标贝数据采集标注自动驾驶场景中落地应用实例

    AI数据服务作为人工智能和机器学习的基础,在自动驾驶领域中有着重要地位。与其他人工智能应用场景相比,自动驾驶的落地场景相对复杂,想要让汽车本身的算法做到处理更多、更复杂的场景,就需要运
    的头像 发表于 05-28 14:22 557次阅读
    标贝<b class='flag-5'>数据</b>采集<b class='flag-5'>标注</b>在<b class='flag-5'>自动</b>驾驶场景中落地应用实例

    慧视SpeedDP大模型打造图像标注新时代

    在人工智能时代,图像标注不仅能够反哺AI的发展,还能进一步降低项目成本。传统的图像标注需要人工采用文本或者相应工具机械式的进行图像标签分配,例如谷歌就曾大量使用图像验证码,用户在进行验证码点击的时候
    的头像 发表于 05-24 08:29 543次阅读
    慧视SpeedDP大模型打造图像<b class='flag-5'>标注</b>新时代

    led发光模块的地线可以标注为什么

    LED发光模块是一种常见的电子元件,用于将电能转化为光能。地线是模块中一个重要的接线点,起到连接模块与地面的作用,以确保电路的正常工作。本文将详细介绍LED发光模块的地线标注的原因和意义,以及
    的头像 发表于 01-24 14:53 807次阅读

    利用AI实现自动图像标注不是梦

    了SpeedDP深度学习算法开发平台,如今平台已经实现移动端使用,可运行于Windows或Linux操作系统,可完成自动标注AI算法开发(项目配置、训练、评估、测
    的头像 发表于 01-04 08:29 1304次阅读
    利用<b class='flag-5'>AI</b>实现<b class='flag-5'>自动</b>图像<b class='flag-5'>标注</b>不是梦