0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研究者最近仔细估算了各种知识图谱每创建一条记录所需要的成本

MqC7_CAAI_1981 来源:lq 2019-02-18 16:35 次阅读

我们知道强大的深度模型需要很多计算力,那你知道创建一个知识图谱的成本到底是多少吗?德国 Mannheim 大学的研究者最近仔细估算了各种知识图谱每创建一条记录所需要的成本,他们表示对于大型知识图谱,手动创建一个三元组(即一条记录)的成本在 2 到 6 美元之间,总成本在数百万到数十亿美元之间。

知识图谱广泛用于各种领域,它的统计信息也常被分析。但有一个问题一直缺乏研究:产出价格是多少?在此论文中,研究者提出了一种方法预估知识图谱的成本。他们表示手动创建一个三元组(triple)的成本大约在 2 到 6 美元左右,而自动创建知识图谱的成本要降低 15 到 250 倍(即一个三元组 1 美分到 15 美分)。

注意其中 15 美分每条的「自动化」知识图谱还是需要大量人力进行数据的验证。此外,作者表示成本也应该作为知识图谱的评价标准,例如可以使用每个三元组的成本或其他更优的度量方法。

论文:How much is a Triple? Estimating the Cost of Knowledge Graph Creation

论文地址:http://ceur-ws.org/Vol-2180/ISWC_2018_Outrageous_Ideas_paper_10.pdf

估计知识图谱的成本

随着知识图谱的广泛应用,我们越来越关注大型知识图谱,例如 DBpedia、YAGO 等。我们已经有很多方法从各种角度检查这些大型知识图谱,例如大小、覆盖度和质量等。然而这些分析不足的地方在于成本,即创建知识图谱的价格。

人工创建:Cyc 和 Freebase

对于人工创建的知识图谱,我们必须评估提供这些陈述语句(statement)的工作量,从而估计平均成本。

Cyc 是最早的通用知识图谱之一,同时它的开发成本也能公开获得。在 2017 年的一项会议中,Cyc 的创建者 Douglas Lenat 表示:构建 Cyc 的成本为 1.2 亿美元。在同一个 PPT 中,Lenat 表示 Cyc 一共有 21M 断言(assertion),因此每条陈述语句或断言需要 5.71 美元。若 1000 人有一年的时间完成,则每人每 9.5 分钟需要完成一条断言。

Freebase 是由志愿者共同完成的,因此其工作量更难判断。截止至 2011 年 4 月份,创建英文维基百科的估计时长为 41M 工时。同时维基百科包含 3.6M 的页面,平均每一个页面 36.4 个句子,因此换算下来每一条语句需要 18.7 分钟。由于大多数维基百科条目都是由美国构建的,我们可以使用每小时 7.25 美元的美国联邦最低工资作为人工成本估算,因此每一句的成本可以换算为 2.25 美元。借鉴这个成本,我们可以假设 Freebase 每一条陈述语句的成本也是 2.25 美元。

这比 Cyc 的平均成本低了一半,这种低成本也是合理的,因为 Cyc 是由人类专家构建的,而 Freebase 由非专业人员创建。总的而言,对于包含 30 亿事实(fact)的最新版 Freebase,它的总成本约为 67.5 亿美元($6.75B)。

自动创建: DBpedia、YAGO 和 NELL

评估自动创建知识图谱所花费成本不同于人工创建知识图谱。我们参考了用于创建知识图谱的软件,基于代码行数(LOC)来估计开发知识图谱的成本。我们遵循 [2] 中的分析,即一个软件生成项目平均每小时生产 37 行代码(LOC)。

DBpedia 主要是基于 DBpedia 提取框架从维基百科 Dump 得到的,它通过映射中心实体而创建知识图谱。DBpedia 两部分需要 4.9M 和 2.2M LOC,它需要的总开发成本为 510 万美元。鉴于英语 DBpedia[11] 共有 400M 陈述语句,每一条成本约为 1.85 美分。相比于人工搭建的知识图谱(每一条 2.25 美元),自动搭建的要节省百倍的成本。

YAGO 也是一种知识图谱,它将维基百科提取的知识与 WordNet[7] 相结合。为了公平比较,它的成本应该包含 WordNet 的搭建费用。YAGO 代码库有 1.6M LOC(包括将信息框映射到本体的规则),因此它的总体成本为 160 万美元。此外,WordNet 本身还包含了 117k 个同义词集,每一个包含一条注释。我们估计定义一个同义词集的成本与构建一个维基百科页面的成本相近,即最高 1000 万美元。若 YAGO 有 14 亿条陈述语句 [11],那么每一条的成本为 0.83 美分。相比人工搭建,它的成本要节省 250 倍。

NELL 是一个学习关系抽取 [8] 模式的系统,其核心技术包含 103k 的 LOC,预估开发成本为 10.9 万美元。此外,该数据集每月还需要人工校验 1467 条陈述语句。假设人工校验一条陈述语句的成本和创建成本一样,那么总的校验成本为 37.6 万美元,即通成本为 48.5 美元。因此换算下来,NELL 每条陈述语句的成本为 14.25 美分,即比手动搭建便宜 16 倍。

新的评估标准

把成本作为创建知识图谱的一种测量方法也能为其他评估方法铺平道路。例如,可以通过成本查验为知识图谱补充缺失信息提供新方法 [9]:一个人一年半开发知识图谱应该可以添加 2800 条陈述语句,这应该是人力手动产出的三元组数量。

另一个有趣的思路是开发成本与数据质量之间的关系。在图 1 中,我们图像描述了该论文讨论的知识图谱中每个三元组成本与错误率之间的关系。我们可以看到,高成本创建的三元组准确率也会更高,NELL 是个例外,准确率与成本之间关系极差。

每个三元组成本与错误率之间的关系展示图。

总结

在这篇论文中,我们大体估计了创建一个流行的知识图谱所花费的成本,这也是当前研究忽视的一个方面。我们量化了自动创建知识图谱相比于手动方法的收益,并提出使用成本定义新型的评价标准,例如权衡成本与准确率。

有研究者反馈,我们也意识到有很多假设或估计在计算中都存在着问题(例如,我们没有考虑第三方库或基础设施的成本)。其次,知识图谱的来源或数据成本当前也没有考虑在内。然而,我们相信:知识图谱自身带来的价值将远超过各种构建成本的总和。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6800

    浏览量

    88731
  • 自动化
    +关注

    关注

    29

    文章

    5479

    浏览量

    78988
  • 知识图谱
    +关注

    关注

    2

    文章

    132

    浏览量

    7682

原文标题:67 亿美金搞个图,创建知识图谱的成本有多高你知道吗?

文章出处:【微信号:CAAI-1981,微信公众号:中国人工智能学会】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    三星自主研发知识图谱技术,强化Galaxy AI用户体验与数据安全

    据外媒11月7日报道,三星电子全球AI中心总监Kim Dae-hyun近日透露,公司正致力于自主研发知识图谱技术,旨在进步优化Galaxy AI的功能,提升其易用性,并加强用户数据的隐私保护。
    的头像 发表于 11-07 15:19 230次阅读

    行家放话!骁龙8至尊版是一条大冰龙:彻底稳了

    10月12日消息,iQOO产品经理戈蓝V表示,高通骁龙8至尊版是一条大冰龙,很难想象,过去的好多重载游戏在我这台手机上变成了中轻载,等通子发布会后再细聊。此前博主数码闲聊站浅测了高通骁龙8至尊版量产
    的头像 发表于 10-17 12:26 243次阅读
    行家放话!骁龙8至尊版是<b class='flag-5'>一条</b>大冰龙:彻底稳了

    革新未来智能版图,神州数码荣登IDC生成式AI图谱

    6月19日,国际权威市场研究机构IDC正式发布了《2024年第二季度生成式AI生态图谱》,其中,神州数码凭借在生成式AI领域的领先布局,以其深度整合算力、模型、知识与应用的核心能力,成功占据生态
    的头像 发表于 07-29 15:20 358次阅读
    革新未来智能版图,神州数码荣登IDC生成式AI<b class='flag-5'>图谱</b>

    三星电子将收购英国知识图谱技术初创企业

    在人工智能技术日新月异的今天,三星电子公司再次展现了其前瞻性的战略布局与技术创新实力。近日,三星正式宣布完成了对英国领先的人工智能(AI)与知识图谱技术初创企业Oxford Semantic Technologies的收购,此举标志着三星在提升设备端AI能力、深化个性化用户体验方面迈出了重要
    的头像 发表于 07-18 14:46 486次阅读

    迟滞比较器的输出为一条直线的原因

    ,如果迟滞比较器的输出为一条直线,这可能是由于多种原因造成的。 迟滞比较器的工作原理 在讨论迟滞比较器输出为一条直线的原因之前,我们首先需要了解其工作原理。迟滞比较器通常由个运算放大
    的头像 发表于 07-11 09:36 474次阅读

    知识图谱与大模型之间的关系

    在人工智能的广阔领域中,知识图谱与大模型是两个至关重要的概念,它们各自拥有独特的优势和应用场景,同时又相互补充,共同推动着人工智能技术的发展。本文将从定义、特点、应用及相互关系等方面深入探讨知识图谱与大模型之间的关系。
    的头像 发表于 07-10 11:39 832次阅读

    名单公布!【书籍评测活动NO.33】做了50年软件开发,总结出60经验教训,一条都太扎心!

    一条经验教训都会简要阐述个核心观点,然后就该观点对团队可采取的措施进行讨论和建议。 当你读完章时,你都有可能发现其与你息息相关。
    发表于 05-17 14:36

    STM8L执行一条语句大概需要几个时钟周期?

    STM8L执行一条语句大概需要几个时钟周期
    发表于 05-06 06:16

    利用知识图谱与Llama-Index技术构建大模型驱动的RAG系统(下)

    对于语言模型(LLM)幻觉,知识图谱被证明优于向量数据库。知识图谱提供更准确、多样化、有趣、逻辑和致的信息,减少了LLM中出现幻觉的可能性。
    的头像 发表于 02-22 14:13 1069次阅读
    利用<b class='flag-5'>知识图谱</b>与Llama-Index技术构建大模型驱动的RAG系统(下)

    UCB_SWAP配置信息共16,写入一条有效配置后,上一条需写1使配置无效是为什么?

    影响正确读取配置信息。 UCB擦写次数有限制,不能无限擦除,需要写满16配置信息后再擦,上一条配置不设置无效也可以连续写16次,之后进行擦除。 而且不写1当前配置无效时,还可以取到上一条
    发表于 01-24 08:31

    面朝欧洲,迈上“云桥”,走一条无忧丝路

    在云桥上走一条无忧丝路,去到欧罗巴的春天
    的头像 发表于 01-10 09:44 1304次阅读
    面朝欧洲,迈上“云桥”,走<b class='flag-5'>一条</b>无忧丝路

    知识图谱基础知识应用和学术前沿趋势

    知识图谱(Knowledge Graph)以结构化的形式描述客观世界中概念、实体及其关系。是融合了认知计算、知识表示与推理、信息检索与抽取、自然语言处理、Web技术、机器学习与大数据挖掘等等方向的交叉学科。人工智能是以传统符号派与目前流行的深度神经网路为主,如下图所示,
    的头像 发表于 01-08 10:57 838次阅读
    <b class='flag-5'>知识图谱</b>基础<b class='flag-5'>知识</b>应用和学术前沿趋势

    数据库编程大赛:一条SQL计算扑克牌24点

    参加NineData举办的数据库编程大赛,展示你的技术才华!用一条SQL语句解决扑克牌24点的计算表达式。这场比赛面向数据库爱好、开发、程序员、DBA等,展示你的编程技能,并有机会赢得丰厚奖励。欢迎大家来挑战!
    的头像 发表于 12-21 15:24 693次阅读
    数据库编程大赛:<b class='flag-5'>一条</b>SQL计算扑克牌24点

    Python怎么换行输入另一条语句

    在Python中,换行输入和输入另一条语句可以有多种方式实现。下面列举了几种常用的方法: 方法:使用反斜杠()来换行输入 在Python中,可以使用反斜杠字符来告诉解释器下行是当前语句的延续
    的头像 发表于 11-22 10:49 6882次阅读

    Simulink中如何创建个Publisher

    创建个Publisher 配置个block,并向/location的节点发送一条geometry_msgs/Point类型的消息。 需要
    的头像 发表于 11-15 17:32 561次阅读
    Simulink中如何<b class='flag-5'>创建</b><b class='flag-5'>一</b>个Publisher