0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

数据标注是人类与AI合作最完美的途径之一

lhl545545 来源:自动驾驶说 作者:自动驾驶说 2020-06-18 14:14 次阅读

众所周知,机器学习主要分为两类:监督学习(supervised learning)与无监督学习(unsupervised learning)。而监督学习离不开数据标注(data labeling),也就是依靠人工找到groundtruth。烧钱速度有多快?近年来,我们注意到,数据标注创业公司层出不穷。只要在图片中标注一辆汽车,只需一秒钟,就能轻轻松松一美元进账。标注一段几十秒视频中的汽车,就能几百美元进账。数据标注的成本与需求都在节节攀升。据市场研究预测,到2023年,数据标注市场将达到10亿美元的规模。这些数据标注公司一般会开发出基本的物体识别算法,然后在人工成本较低的地区招人,培训他们,让他们找到机器识别中的错误,改正之后提交。比如,一些总部在硅谷的公司会在比较偏远的州建立分部,进行数据标注。也有很多公司将业务外包给数据标注公司,这些公司的员工一般在非洲国家、印度或者其他人工成本较低的国家。对数据需求量大的公司,每个月支付给外包公司上百万美元,才能满足开发需求。数据标注不仅消耗资金,也是训练模型中最耗时的环节。从数据采集到最终标识,很可能要等待一个月的时间。严重影响了开发进度。因此,很多无人驾驶公司开始研究数据标识,希望不再依赖人力与第三方公司。

印度数据标注公司iMerit数据标注无处不在训练无人驾驶的模型就需要理解各种障碍物的含义,就离不开数据标识。无人驾驶的数据标识主要可以用两个维度来看。第一个维度是2D和3D的分别。2D一般指通过摄像头捕捉到的数据,3D指激光雷达捕捉到的数据。第二个维度是语义分割(semantic segmentation)与画框(bounding box)的分别。

3D语义分割的例子鱼和熊掌不可兼得数据标注的难点主要来源于两个方面:速度与质量。速度慢了就满足不了模型训练的需求,而太快就会影响质量,质量低了就会影响模型的准确性。在资源有限的情况下,速度与质量往往鱼和熊掌不可兼得。我们可以通过两种手段来解决这一矛盾:合理的流程和更自动化的机器学习技术。首先来看流程。数据标识速度慢,或是质量低,其实很多时候不是技术的问题,而是流程的问题。数据从采集到产出,首先要被“筛选”,分发到数据标识人员的手上,然后被标识,标识的结果再被传回来,最后需要抽检,保证质量。这些步骤中很多地方需要改进。比如,哪类数据应该被筛选?质量不合格的标识该怎么办?是否要退回重做?重做又需要时间,不重做就意味着需要更多的数据。对于资金不够充足的公司,改进流程往往是最合适的手段。从技术方面来看,近年来,AutoML(Automated Machine Learning)的概念越来越火,即端到端的全自动机器学习技术,可以自主调参,自主评估模型,从而缩短模型训练的周期。但是,AutoML不是万能的。至少在未来几年里,我们都无法摆脱对人工数据标识的依赖。我们需要找到一种人机共生的方式,将人类对机器的帮助最大化。

欧洲数据标识市场中,人工标识的占比始终占大多数人机共生(Human-in-the-Loop)2020-2030这十年,将是人类探索与AI合作机会的十年。数据标注就是人类与AI合作最完美的途径之一。利用机器学习技术进行视觉探测,虽然成本低、速度快,但是往往有一定的错误率。这时,就需要人类介入,告诉机器错在了哪里。机器会记住这些人类提供的回馈信息,进一步训练自己的模型,避免下次在类似场景中犯同样的错误,从而形成了一个循环。比如,AI探测结果是,某个交通信号灯的颜色是红色,而人类检查后发现应该是绿色,就通过某个前端工具点击“错误”。开发团队要尽快找到模型最需要的反馈信息,为人类标注员提供一个工具,将人类的反馈快速分享给机器。
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6792

    浏览量

    88724
  • AI
    AI
    +关注

    关注

    87

    文章

    29664

    浏览量

    267993
  • 无人驾驶
    +关注

    关注

    98

    文章

    4012

    浏览量

    120020
收藏 人收藏

    评论

    相关推荐

    请问TPA3112的输出波形在无滤波状态下是PWM波形式,怎样才能出来完美的正弦波呢?

    请问TPA3112的输出波形在无滤波状态下是PWM波形式,那我加上LC滤波后,怎样才能出来完美的正弦波呢(输入是正弦波,10k),现在测得输出波形中有310k左右的载波,800多mVPP
    发表于 11-04 07:12

    AI for Science:人工智能驱动科学创新》第4章-AI与生命科学读后感

    了传统学科界限,使得科学家们能够从更加全面和深入的角度理解生命的奥秘。同时,AI技术的引入也催生了种全新的科学研究范式,即数据驱动的研究范式,这种范式强调从大量数据中提取有价值的信息
    发表于 10-14 09:21

    AI for Science:人工智能驱动科学创新》第章人工智能驱动的科学创新学习心得

    学科之间的交叉融合,形成了种全新的科学研究范式。AI技术打破了学科壁垒,使得物理学、化学、生物学、天文学等领域的研究者能够共享数据和算法,共同解决复杂问题。这种跨学科的合作不仅拓宽了
    发表于 10-14 09:12

    美的在IFA2024展示AI ECO智慧节能解决方案

    在2024年德国柏林国际电子消费品展览会(IFA2024)的璀璨舞台上,美的集团以前瞻性的科技视野,首次向全球展示了其革命性的AI ECO智慧节能解决方案。这创新成果,依托美的千亿级
    的头像 发表于 09-10 18:16 663次阅读

    蚂蚁数科发布AI赋能新一代数据标注产品

    在近日举行的2024 Incluison·外滩大会上,蚂蚁数科凭借其技术创新的深厚底蕴,正式推出了新AI数据标注产品,旨在为企业客户提供全方位、智能化的
    的头像 发表于 09-10 16:04 360次阅读

    SpeedDP! 超便利AI自动图像标注工具 功能丰富、省时省力

    使用者快速进行人、车、船等数据集的标注。SpeedDP依靠YOLO系列算法来检测模型,实现“标注”和“目标检测”,并且还提供丰富的算
    的头像 发表于 08-30 12:59 216次阅读
    SpeedDP! 超便利<b class='flag-5'>AI</b>自动图像<b class='flag-5'>标注</b>工具   功能丰富、省时省力

    SK电讯将与Lambda合作打造AI数据中心

    韩国领先的电信巨头SK电讯(SK Telecom)宣布了项重要合作计划,将与美国知名的云GPU服务提供商Lambda携手,于2024年12月在首尔共同推出个先进的人工智能(AI
    的头像 发表于 08-23 17:29 1205次阅读

    平衡创新与伦理:AI时代的隐私保护和算法公平

    ,企业和组织应明确告知用户他们的数据如何被收集和使用,并提供选择退出的选项,这是尊重和保护个人隐私权的基本要求。 跨国界的合作对于建立全球统AI伦理标准至关重要。不同国家和地区
    发表于 07-16 15:07

    微链道爱加入元脑生态,将打造AI视觉标注训练体机

    北京2024年7月8日 /美通社/ -- 近日,北京微链道爱科技有限公司(简称"微链道爱")与浪潮信息签署元脑生态战略合作协议。双方将共同打造AI视觉标注训练体机,支持高效的
    的头像 发表于 07-08 15:31 342次阅读

    标贝数据采集标注在自动驾驶场景中落地应用实例

    高质量AI数据做支撑。标贝科技深耕AI数据服务领域多年,在自动驾驶数据采集标注领域中有着多个成功
    的头像 发表于 05-28 14:22 410次阅读
    标贝<b class='flag-5'>数据</b>采集<b class='flag-5'>标注</b>在自动驾驶场景中落地应用实例

    图看懂星河AI数据中心网络,全面释放AI时代算力

    华为中国合作伙伴大会 | 图看懂星河AI数据中心网络,以网强算,全面释放AI时代算力
    的头像 发表于 03-22 10:28 678次阅读
    <b class='flag-5'>一</b>图看懂星河<b class='flag-5'>AI</b><b class='flag-5'>数据</b>中心网络,全面释放<b class='flag-5'>AI</b>时代算力

    富士通发布最新的人工智能(AI)战略,聚焦深化人类AI之间的协作

    富士通株式会社(以下简称“富士通”)发布了最新的集团人工智能(AI)战略,聚焦深化人类AI之间的协作,并提出了将AI作为“可信赖的助手”这
    的头像 发表于 02-21 17:09 705次阅读
    富士通发布最新的人工智能(<b class='flag-5'>AI</b>)战略,聚焦深化<b class='flag-5'>人类</b>与<b class='flag-5'>AI</b>之间的协作

    奥特曼称相信AI无法替代人类

    奥特曼称相信AI无法替代人类 AI对于人类的威胁直有很多讨论,各有不同观点,很多人对于科幻电影中的场景
    的头像 发表于 01-19 11:43 836次阅读

    利用AI实现自动图像标注不是梦

    次次的将图像添加标签进行分类,如此机械式的操作是否令你心烦?为不多不少的图像分类标注工作不得不增加个岗位?你是否因图像标注需求和数据安全
    的头像 发表于 01-04 08:29 1214次阅读
    利用<b class='flag-5'>AI</b>实现自动图像<b class='flag-5'>标注</b>不是梦

    图像标注如何提升效率?

    图像标注是通过定方式对图像进行标记分类,是对数据集的图像进行标记以训练机器学习模型的过程。当图像数量可控时,用人工标注就可以很快完成任务,但当有海量的图像信息待
    的头像 发表于 12-19 08:29 425次阅读
    图像<b class='flag-5'>标注</b>如何提升效率?