面向中文搜索的开放域文档视觉问答任务解决方案
现有开放域问答系统主要以文本集合作为信息来源回答用户提问,如图1所示,现有系统通常需要花费大量成本根....
通过Token实现多视角文档向量表征的构建
该篇论文与前两天分享的DCSR-面向开放域段落检索的句子感知的对比学习一文有异曲同工之妙,都是在检索....
对比学习中的4种典型范式的应用分析
对比学习是无监督表示学习中一种非常有效的方法,核心思路是训练query和key的Encoder,让这....
双塔模型扩量负样本的方法比较
双塔模型在训练时是对一个batch内样本训练。一个batch内每个样本 (user和item对)为正....
基于Zero-Shot的多语言抽取式文本摘要模型
抽取式文本摘要目前在英文上已经取得了很好的性能,这主要得益于大规模预训练语言模型和丰富的标注语料。但....
采用双塔BERT模型对文本字符和label进行编码
这是一篇来自于 ACL 2022 的文章,总体思想就是在 meta-learning 的基础上,....
汇总在事件抽取方向的相关厂商调研结果
值得关注的是在论元提取(要素抽取)阶段,除了CRF外,他们也尝试了MRC(阅读理解范式)、Biaff....
基于pipeline的文本纠错系统框架分析
这是比较早期的一个中文文本纠错系统,该系统结合了规则模版和统计的方法,很大程度的解决了同期纠错系统误....
面向实体对象的文本描述情感极性及色彩强度分析
在做这题的时候我就会思考如何做得优雅,最好方法是simple yet effective的。最好就是....
用于少数镜头命名实体识别的分解元学习
我们在一些 benchmark 上进行了实验,实验表明我们提出的框架比之前的 SOTA 模型表现更好....
文本预训练的模型架构及相关数据集
多模态预训练的数据通常来源于大规模的模态间对齐样本对。由于时序维度的存在,视频当中包含了比图片更加丰....
在检索任务中训练数据在推理时也大有用处
有点类似 Prompt 学习,但本文主要关注有监督学习的设置。结果不仅效果很好,而且很容易扩展(只要....
Zero-shot-CoT是multi-task的方法
大规模预训练语言模型借助于针对特定任务设计的prompt(无论是few shot还是zero sho....
事件模式归纳的历史以及相关概念
一个典型的原子事件类型归纳的研究是Nathanael Chambers和Dan Jurafsky在2....
几种基于深度学习的中文纠错模型
Confusionset-guided Pointer Network看起来跟之前提及的CopyNe....
微调前给预训练模型参数增加噪音提高效果的方法
为了减轻上述问题,提出了NoisyTune方法,即,在finetune前加入给预训练模型的参数增加少....
一种缓解负采样偏差的对比学习句表示框架DCLR
近年来,预训练语言模型在各种 NLP 任务上取得了令人瞩目的表现。然而,一些研究发现,由预训练模型得....
SemEval 2022: 多语种惯用语识别评测冠军系统简介
提交的系统使用XLM-RoBERTa作为编码器,在预处理过程中对训练数据的惯用语短语(MWE)进行特....
关于Prompt在NER场景的应用总结
将序列标注任务转换成一个生成任务,在Encoder端输入为原始文本,Decoder端输入的是一个已填....
如何显著提升Vision Transformer的训练效率
为了降低门槛,让更多人能够应用ViT,我们开发一系列方法来加速整个训练。我们基于MetaAI的图像分....
基于e-CARE的因果推理相关任务
因果推理是人类的一项核心认知能力。借助因果推理能力,人类得以理解已观测到的各种现象,并预测将来可能发....
PaddleNLP v2.3带来两大重磅能力
针对以上难题,中科院软件所和百度共同提出了一个大一统诸多任务的通用信息抽取技术UIE(Univers....
稠密检索模型在zero-shot场景下的泛化能力
稠密检索任务旨在通过给定的query,在一个庞大的document语料库中召回与query高度相关的....
若干蒸馏方法之间的细节以及差异
以往的知识蒸馏虽然可以有效的压缩模型尺寸,但很难将teacher模型的能力蒸馏到一个更小词表的stu....
基于k近邻与高斯噪声的虚拟困难样本增强方法
然而在无监督SimCSE中,作者仅使用dropout的方式进行了正样本增强,没有额外引入困难样本,这....
缓解模型训练成本过高的问题
模型压缩可以分为模型剪枝(pruning)和模型蒸馏(distillation)。由于模型中的参数对....
一种基于乱序语言模型的预训练模型-PERT
由于乱序语言模型不使用[MASK]标记,减轻了预训练任务与微调任务之间的gap,并由于预测空间大小为....
Multilingual多语言预训练语言模型的套路
Facebook在Crosslingual language model pretraining(N....
结合句子间差异的无监督句子嵌入对比学习方法-DiffCSE
句向量表征技术目前已经通过对比学习获取了很好的效果。而对比学习的宗旨就是拉近相似数据,推开不相似数据....
机器翻译中细粒度领域自适应的数据集和基准实验
细粒度领域自适应问题是一个重要的实际应用问题。当研发人员需要为某个特定主题提供翻译服务(比如为某个主....