0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

用LLM生成反驳:首先洞察审稿人的心理,再巧妙回应!

深度学习自然语言处理 来源:深度学习自然语言处理 2023-11-16 11:54 次阅读

在科研领域,同行评审(review-rebuttal)是保证学术质量的关键环节。这一过程中的辩论和反驳非常具有挑战性。传统的同行评审生成任务通常集中在表面层面的推理。研究人员发现,考虑论点背后的态度根源和主题可以提高反驳的有效性。

今天介绍的这篇研究将心理学理论与辩论技术相结合,为计算辩论领域带来了新的视角。具体来说,文章主要做了以下工作:

  • 提出了一种全新的同行评审反驳生成任务——柔道辩论(Jiu-Jitsu Argumentation),结合态度根源和主题进行辩论。
  • 开发了JITSUPEER数据集,包含丰富的态度根源、主题和典型反驳案例。
  • 为同行评审反驳生成提供了强大的基准线。

5496c2ac-82f6-11ee-939d-92fbcf53809c.png

Paper: Exploring Jiu-Jitsu Argumentation for Writing Peer Review Rebuttals
Link: https://arxiv.org/pdf/2311.03998.pdf

做一个专门面向年轻NLPer的每周在线论文分享平台

Jiu-Jitsu Argumentation

同行评审对于确保科学的高质量至关重要:作者提交研究成果,而审稿人则辩论应不应该接受其发表。通常评审后还会有一个反驳阶段。在这里,作者有机会通过反驳论点来说服审稿人提高他们的评估分数。

这篇文章探索了同行评审领域中态度根源的概念,即在审查科学论文的标准时,识别审稿人的潜在信仰和观点。

作者首先定义典型的rebuttal为:一种与潜在态度根源相一致并解决它们的反驳论点。它足够通用,可以作为模板用于许多相同(态度根源-主题)审稿元组的实例,同时表达特定的反驳行动。

根据这个定义,作者提出了态度根源和主题引导的反驳生成任务:给定一个同行评审论点rev和一个反驳行动a,任务是根据rev的态度根源和主题生成典型反驳c。

下图展示了如何通过一系列中间步骤,将审稿内容映射到标准的反驳上。这个审稿的主要观点是关于清晰度和整体性。

54bc7af6-82f6-11ee-939d-92fbcf53809c.png

JITSUPEER 数据集

为了评估反驳生成任务,作者构建了JITSUPEER数据集。该数据集专注于同行评审过程中的态度根源和主题,通过连接这些元素与基于特定反驳行动的典型反驳,实现了一种态度和主题引导的反驳生成方法。

  • 态度根源与主题分布: 大多数审稿句子的态度根源是“实质性”(Substance),这也是拥有最多主题(29个)的根源。最常见的主题是方法论(Methodology)、实验(Experiments)和相关工作(Related Work)。这一发现符合直觉,因为机器学习领域的审稿者通常非常关注方法论的稳健性和实用性。
  • 典型反驳识别: 研究团队为不同的态度根源和反驳行动识别了302个典型反驳。这些典型反驳可以映射到2,219个审稿句子(总共2,332个)。与“完成任务”(Task Done)这一反驳行动和“实质性”态度根源相关的典型反驳句子数量最多。
  • 典型反驳示例: 在报告的表格中,研究团队展示了一些典型反驳的例子。显然,不同的态度根源-主题描述与不同的典型反驳相关联。

54d4045a-82f6-11ee-939d-92fbcf53809c.png

起始数据集

作为JITSUPEER的基础,研究团队采用了名为DISAPERE的数据集,该数据集包含了2019年和2020年ICLR会议的审稿和相应反驳。这些审稿和反驳被细致地分解成单个句子,并被三层注释标记,包括审稿方面和极性、审稿与反驳之间的链接,以及反驳行动的直接注释。特别地,研究团队关注于需要反驳的负面审稿句子,探索了审稿方面的使用,以此来体现社区共享的科学价值观。

此外,研究者还使用了另一数据集PEER-REVIEW-ANALYZE,该数据集是一个基准资源,包含2018年ICLR的审稿,同样配备了多层注释。这些注释包括了审稿句子所指目标论文的特定部分,如方法、问题陈述等,这些信息被视为态度主题的关键元素。这一研究提供了一个独特的视角,通过关注论文的特定部分,进一步丰富了对工作的潜在信仰和主题信息的理解。

数据集丰富化

在这项研究中,研究团队的目标是创建一个详尽的语料库,其中审稿句子不仅被标注为态度根源和主题,而且还与特定反驳行动的典型反驳句子相连接。为了实现这一目标,研究团队采用了一系列方法来丰富DISAPERE数据集。

主题预测

首先,他们使用了PEER-REVIEW-ANALYZE数据集来预测态度主题,即审稿句子中所涉及的论文部分。研究团队测试了不同的模型,包括通用模型和针对同行评审领域的专门模型,如BERT、RoBERTa和SciBERT。他们通过中间层的遮蔽语言模型(MLM)对这些模型进行了领域专门化处理,并在多个配置下进行了训练和优化。研究团队在变压器的顶部添加了sigmoid分类头,以进行微调,并对不同的学习率进行了网格搜索。他们基于验证性能采用早期停止策略,并在PEER-REVIEW-ANALYZE数据集上评估了模型的性能。结果显示,所有变压器模型的性能都显著优于基线模型,其中经过领域专门化处理的SciBERTds_neg模型表现最佳。

根源–主题集群描述

接下来,研究团队对每个态度根源–主题集群添加额外的自然语言描述,旨在提供比单纯标签元组更丰富的人类可解释性。他们通过比较自动和手动生成的摘要来完成这一步骤。

摘要生成:在自动摘要方面,研究团队采用了领域特定的SciBERTds_neg模型对句子进行嵌入,并根据余弦相似度选择最具代表性的审稿句子。

评估: 研究团队通过展示摘要和相应的集群句子给注释者,让他们选择更好地描述集群的摘要。他们使用INCEpTION开发了注释界面,并雇用了额外的计算机科学博士生进行标注。通过测量注释者间的一致性,研究团队确保了摘要的质量和准确性。

确定典型反驳

研究团队为每个态度根源-主题集群确定典型的反驳,这是通过考虑特定的反驳行动来完成的。这一过程分为三个步骤:首先,减少候选典型反驳的数量;其次,手动比较缩减后候选集中的反驳句子对;最后,基于成对比较的分数计算排名,并选择排名最高的候选作为典型反驳。

候选集减少:为了缩减典型反驳的候选集,研究团队采用了两种适用性分类器得出的分数。首先是一个二元分类器,基于自行训练,用于预测一个反驳句子作为典型反驳的整体适用性。其次,考虑到典型反驳的原型性质,他们还使用了SPECIFICITELLER模型来获得特定性分数。该模型是一个预训练的基于特征的模型,用来评估句子是通用的还是具体的。通过这两个步骤,研究团队最终将候选集缩减至1,845个候选。

手动标注:在手动决定典型反驳方面,研究团队设计了一套方法:展示来自特定态度根源和主题集群的≤5个审稿句子,并将这些信息与特定的反驳行动配对。然后,他们随机选择两个反驳句子,这些句子与集群中的任一审稿句子相关,并对应于所选的反驳行动。标注者需要从这对反驳句子中选择更好的一个。对于每个(态度根源、态度主题、反驳行动)三元组的n个反驳句子,成对标注设置需要对n(n − 1)/2对句子进行评判。研究团队雇佣了两名计算机科学博士生进行这项任务。

典型反驳选择:研究团队基于收集的偏好通过注释图排名得出最佳反驳。具体来说,他们为每个根源-主题-行动集群创建了一个有向图,图中的节点是反驳句子。边的方向基于偏好:如果A优于B,则创建A → B的边。然后,他们使用PageRank算法对节点进行排名,每条边的权重为0.5。排名最低的节点,即很少或没有入边的节点,被选为典型反驳。这种方法不仅提高了数据集的质量和实用性,也为未来在类似领域的研究提供了一个有力的方法论参考。

54ec20e4-82f6-11ee-939d-92fbcf53809c.png

实验分析

研究团队提出了三项新颖的任务,以在其数据集上进行测试。分别是典型反驳评分,审稿意见生成,典型反驳生成。

典型反驳评分

这个任务的目标是给定一个自然语言描述d和一个反驳行动a,对所有反驳r(与特定态度根源-主题集群相关)进行评分,以表明r作为该集群的典型反驳的适用性。

这个任务被视为一个回归问题。只考虑有典型反驳的反驳行动和态度根源-主题集群的组合(50个态度根源-主题集群描述,3,986个反驳句子,其中302个是典型反驳)。使用之前的PageRank分数作为模型训练的预测目标。

结果

  • 从下表可以看出,大多数领域专门化模型的表现优于它们的非专门化对应模型。

5514c3aa-82f6-11ee-939d-92fbcf53809c.png

  • SciBERTds_all 在所有方面都有最高的皮尔逊相关系数,然而,BERTds_neg 在排名分数方面表现最佳。

  • 使用其他与集群相关的信息,如代表性审稿句子,以及对描述进行释义,可能会带来进一步的收益,这将留待未来研究探究。

审稿描述生成

给定一条同行评审句子rev,任务是生成该句子所属集群的抽象描述d 。

实验设置

  • 数据集由2,332个审稿句子组成,每个句子都属于144个集群之一,并且每个集群都有相关的描述。
  • 采用70/10/20的训练-验证-测试分割。
  • 使用以下序列到序列(seq2seq)模型:BART (bart-large)、Pegasus (pegasus-large) 和 T5 (t5-large)。
  • 对训练周期数e∈{1, 2, 3, 4, 5}和学习率λ∈{1 * 10^-4, 5 * 10^-4, 1 * 10^-5}进行网格搜索,批量大小b = 32。
  • 使用带有5个束的束搜索作为解码策略。
  • 在完全微调设置以及零次和少次(few-shot)场景中进行实验(随机选择次数)。
  • 根据词汇重叠和语义相似性(ROUGE-1 (R-1), ROUGE-2 (R-2), ROUGE-L (R-L) 和 BERTscore)报告性能。

结果

  • R-1分数展示在下图中,完整结果在表中。

553c8ff2-82f6-11ee-939d-92fbcf53809c.png

554f4782-82f6-11ee-939d-92fbcf53809c.png

  • 有趣的是,所有模型都表现出非常陡峭的学习曲线,在仅看到一个例子时,根据大多数指标,性能大致翻了一番。
  • 在zero shot和one shot设置中,BART在所有方面表现出色。
  • 但在完全微调模型时,T5的表现最佳。研究团队推测这可能与T5更大的容量有关(BART有406M参数,而T5有770M参数)。

典型反驳生成

给定一条审稿句子rev 和一个反驳a,任务是生成典型反驳c。

实验设置

  • 从2,219个有至少一个行动的典型反驳的审稿句子开始。
  • 输入为将rev和a与分隔符连接在一起,产生17,873个独特的审稿-反驳行动实例。
  • 使用与前面实验相同的超参数、模型和度量标准,并进行完全微调以及零次和少次预测实验。
  • 对这些实验,应用70/10/20的训练-验证-测试分割,以获取训练-验证-测试部分,以典型反驳(302个反驳与17,873个独特实例相连)为层次。

结果

  • 模型间的差异与之前的发现一致:BART在零次和少次设置中表现出色,T5虽然起点最低,但很快赶上其他模型。

557b6628-82f6-11ee-939d-92fbcf53809c.png

5598d672-82f6-11ee-939d-92fbcf53809c.png

  • 模型的表现比以前更加陡峭,并在两次尝试后就似乎达到了一个平台。研究团队认为这与典型反驳的有限多样性有关,以及他们决定在典型反驳层次上进行的训练-测试分割——任务是生成模板,并对这些模板进行概括。看到其中只有几个模板后,模型很快就能抓住一般的要点,但无法超越它们所展示的内容。

结语

在这项工作中,研究团队探索了基于审稿者潜在态度驱动的同行评审中的柔术式论证,为此他们创建了JITSUPEER数据集。这个新颖的数据集包含与典型反驳相连的审稿句子,这些典型反驳可以作为撰写有效同行评审反驳的模板。团队在这个数据集上提出了不同的自然语言处理任务,并对多种基线策略进行了基准测试。JITSUPEER的注释将公开提供,研究团队相信这个数据集将成为促进计算论证领域中有效同行评审反驳写作研究的宝贵资源。



声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24695
  • 自然语言处理

    关注

    1

    文章

    618

    浏览量

    13554
  • LLM
    LLM
    +关注

    关注

    0

    文章

    287

    浏览量

    327

原文标题:用LLM生成反驳:首先洞察审稿人的心理,再巧妙回应!

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    恩智浦如何在边缘设备上部署LLM

    近来,与AI相关的周期性热点几乎都围绕着大语言模型 (LLM) 和生成式AI模型,这样的趋势反映出这些话题近年来日益增强的影响力和普及程度。与大语言模型和生成式AI模型相关的应用涵盖了广泛的领域,从
    的头像 发表于 11-29 09:39 317次阅读

    什么是LLMLLM在自然语言处理中的应用

    所未有的精度和效率处理和生成自然语言。 LLM的基本原理 LLM基于深度学习技术,尤其是变换器(Transformer)架构。变换器模型因其自注意力(Self-Attention)机制而闻名,这种机制使得模型能够捕捉文本中的长距
    的头像 发表于 11-19 15:32 552次阅读

    如何训练自己的LLM模型

    训练自己的大型语言模型(LLM)是一个复杂且资源密集的过程,涉及到大量的数据、计算资源和专业知识。以下是训练LLM模型的一般步骤,以及一些关键考虑因素: 定义目标和需求 : 确定你的LLM将用
    的头像 发表于 11-08 09:30 531次阅读

    LLM技术对人工智能发展的影响

    随着人工智能技术的飞速发展,大型语言模型(LLM)技术已经成为推动AI领域进步的关键力量。LLM技术通过深度学习和自然语言处理技术,使得机器能够理解和生成自然语言,极大地扩展了人工智能的应用范围
    的头像 发表于 11-08 09:28 367次阅读

    使用LLM进行自然语言处理的优缺点

    自然语言处理(NLP)是人工智能和语言学领域的一个分支,它致力于使计算机能够理解、解释和生成人类语言。大型语言模型(LLM)是NLP领域的一项重要技术,它们通过深度学习和大量的数据训练,能够执行各种
    的头像 发表于 11-08 09:27 437次阅读

    亚马逊云科技赋能Shulex打造基于生成式AI的客服和消费者洞察

    "Shulex")在亚马逊云科技的技术赋能下,打造基于生成式AI的"AI Agent客服机器"和"VOC Insight消费者洞察"等产品解决⽅案,重塑跨境电商行业客户服务与运营交互方式。这些创新
    的头像 发表于 08-13 20:38 291次阅读

    LLM预训练的基本概念、基本原理和主要优势

    理解和生成自然语言的能力,为各种NLP任务提供了强大的支持。本文将详细介绍LLM预训练的基本概念、基本原理以及主要优势,并附上相关的代码示例。
    的头像 发表于 07-10 11:03 1070次阅读

    大模型LLM与ChatGPT的技术原理

    与机器的交互方式。这些技术通过深度学习和自然语言生成(Natural Language Generation, NLG)的结合,实现了对复杂语言任务的高效处理。本文将深入探讨大模型LLM和ChatGPT的技术原理,并通过代码示例展示其应用。
    的头像 发表于 07-10 10:38 823次阅读

    llm模型和chatGPT的区别

    LLM(Large Language Model)是指大型语言模型,它们是一类使用深度学习技术构建的自然语言处理(NLP)模型。LLM模型可以处理各种语言任务,如文本生成、文本分类、机器翻译等。目前
    的头像 发表于 07-09 09:55 1054次阅读

    LLM模型的应用领域

    在本文中,我们将深入探讨LLM(Large Language Model,大型语言模型)的应用领域。LLM是一种基于深度学习的人工智能技术,它能够理解和生成自然语言文本。近年来,随着计算能力的提高
    的头像 发表于 07-09 09:52 581次阅读

    什么是LLMLLM的工作原理和结构

    随着人工智能技术的飞速发展,大型语言模型(Large Language Model,简称LLM)逐渐成为自然语言处理(NLP)领域的研究热点。LLM以其强大的文本生成、理解和推理能力,在文本
    的头像 发表于 07-02 11:45 7693次阅读

    英特尔携手腾讯云CPU打造LLM时代数据中枢,共筑AGI基建

    英特尔携手腾讯云CPU打造LLM时代数据中枢,共筑AGI基建
    的头像 发表于 05-27 11:53 521次阅读
    英特尔携手腾讯云<b class='flag-5'>用</b>CPU打造<b class='flag-5'>LLM</b>时代数据中枢,共筑AGI基建

    LLM推理加速新范式!推测解码(Speculative Decoding)最新综述

    这个问题随着LLM规模的增大愈发严重。并且,如下左图所示,目前LLM常用的自回归解码(autoregressive decoding)在每个解码步只能生成一个token。这导致GPU计算资源利用率
    的头像 发表于 01-29 15:54 2833次阅读
    <b class='flag-5'>LLM</b>推理加速新范式!推测解码(Speculative Decoding)最新综述

    2023年LLM大模型研究进展

    作为做LLM应用的副产品,我们提出了RLCD[11],通过同时使用正例和负例prompt,自动生成带标签的生成样本不需人工标注,然后可以接大模型微调,或者用于训练reward models
    发表于 01-19 13:55 480次阅读

    安霸发布N1系列生成式AI芯片支持前端设备运行本地LLM应用

    单颗 SoC 支持 1 至 340 亿参数的多模态大模型(Multi-Modal LLM)推理,实现前端低功耗生成式 AI。
    的头像 发表于 01-09 15:19 941次阅读