如何用语言模型（LM）实现建模能力
当初笔者进入 NLP 的大门，就是相信：由于语言强大的表达能力以及语言模型强大的建模能力，Reaso....
基于有效样本数的类平衡损失
本文综述了康奈尔大学、康奈尔科技、谷歌Brain和Alphabet公司的基于有效样本数的类平衡损失(....
Adapter在finetune全模型参数的效果
目前在大规模预训练模型上进行finetune是NLP中一种高效的迁移方法，但是对于众多的下游任务而言....
Few-shot NER的三阶段
Few-shot NER的三阶段：Train、Adapt、Recognize，即在source域训练....
介绍两个few-shot NER中的challenge
此部分着重介绍了两个few-shot NER中的challenge：limited informat....
详细介绍算法效果调优的流程
效果调优应该是算法工程师最基础的工作了我们需要对当前的现状有一定了解后，提出有效的效果优化方案，为指....
NLP技术在司法领域的应用
这个AI背后的主要技术，其实就是自然语言处理，它可以提取出当前案件中的诸多要素，将其和其他类似案件的....
PiCO核心点—对比学习引入PLL
有监督学习是最常见的一种机器学习问题，给定一个输入样本，预测该样本的label是什么。Partial....
README不同库的分布式训练方式
测试结果发现 Apex 的加速效果最好，但与 Horovod/Distributed 差别不大，平时....
RAKE算法原理介绍
RAKE英文全称为Rapid Automatic keyword extraction，中文称为快速....
DocumentAI的模型、任务和基准数据集
随着最近几年多模态大火的，越来越多的任务都被推陈出新为多模态版本。譬如，传统对话任务，推出了考虑视觉....
FLAT的一种改进方案
许久没有更新，今天来水一篇之前在arXiv上看到的论文，这篇NFLAT是对FLAT的改进（其实也是对....
project复现过程踩到坑对应的解决方案
最近做的一个 project 需要复现 EMNLP 2020 Findings 的 TinyBERT....
稠密向量检索的Query深度交互的文档多视角表征
今天给大家带来一篇北航和微软出品的稠密向量检索模型Dual-Cross-Encoder，结合Quer....
计算语言学的发展趋势、不足与挑战
NAACL 会议是 ACL 的北美分会，每年举办一次，也是 NLP 领域备受关注的顶会之一。NAAC....
如何在PyTorch中使用交叉熵损失函数
Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch....
对比学习在开放域段落检索和主题挖掘中的应用
开放域段落检索是给定一个由数百万个段落组成的超大文本语料库，其目的是检索一个最相关的段落集合，作为一....
各种梯度下降法是如何工作的
导读一图胜千言，什么？还是动画，那就更棒啦！本文用了大量的资源来解释各种梯度下降法（gradient....
快速了解文本语义相似度领域的研究脉络和进展
文本表示：当数据被预处理完成后，就可以送入模型了。在文本相似度任务中，需要有一个模块用于对文本的向量....
三篇基于迁移学习的论元关系提取
该篇文章为了使论辩中繁琐的过程自动化，提出了一个大规模数据集IAM，该数据集可用于一系列论辩挖掘任务....
FS-NER 的关键挑战
小样本 NER 需要从很少的实例和外部资源中获取有效信息。本文提出了一个自描述机制，可以通过使用全局....
PyTorch 的 Autograd 机制和使用
PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？我觉....
如何进行MLM训练
Bert的MLM是静态mask，而在后续的其他预训练模型中，这一策略通常被替换成了动态mask。除此....
基于基本图像处理技术的数据增强方法
深度神经网络在许多任务中表现良好，但这些网络通常需要大量数据才能避免过度拟合。遗憾的是，许多场景无法....
基于填表方式的NER方法
现在很多基于填表方式的NER方法，在构造表中元素的时候，一般用的都是由相应span的head字和ta....
怎么评估算法的性能
我在很多文章里都有吐槽大规模预训练模型的性能差，落地成本高，这一期就和大家讲讲，怎么评估算法的性能的....
预训练语言模型的字典描述
今天给大家带来一篇IJCAI2022浙大和阿里联合出品的采用对比学习的字典描述知识增强的预训练语言模....
PFN模型整体结构和分区过滤编码器内部结构
他们认为task间的信息没有得到很好的交互，（但其实Table sequence还是有交互的），其实....
工商网监