语言模型

有了Fine-tune-CoT方法，小模型也能做推理，完美逆袭大模型

如果给语言模型生成一些 prompting，它还向人们展示了其解决复杂任务的能力。标准 prompting 方法，即为使用少样本的问答对或零样本的指令的...

2023-02-02 标签：模型语言模型大模型 1076 0

基于预训练语言模型的行业搜索的应用和研究

sparse retrieval：传统的基于字或基于词去建立倒排索引，同时基于此去构建很多查询理解的一系列的能力，包括一些文本相关性排序等；

2023-02-01 标签：语言模型自然语言知识图谱 2523 0

摘要模型理解或捕获输入文本的要点

Abstract Intro   尽管基于预训练的语言模型的摘要取得了成功，但一个尚未解决的问题是生成的摘要并不总是忠实于输入文档。造成不忠实问题的原因...

2022-11-01 标签：编码器语言模型数据集 994 0

一种基于prompt和对比学习的句子表征学习模型

我们发现prompt，再给定不同的template时可以生成不同方面的positive pair，且避免embedding bias。

2022-10-25 标签：语言模型 881 0

文本噪声标签在预训练语言模型（PLMs）上的特性

数据的标签错误随处可见，如何在噪声数据集上学习到一个好的分类器，是很多研究者探索的话题。在 Learning With Noisy Labels 这个大...

2022-10-12 标签：噪声语言模型数据集 1133 0

基于训练阶段使用知识库+KNN检索相关信息辅助学习方法

上面收的引入知识库+KNN的方法，缓解了模型参数需要强记忆训练样本的问题。此外，文中还通过KNN检索结果来指导模型的学习过程。

2022-10-09 标签：数据KNN语言模型 1601 0

几种常用的NLP数据增强方法

因为直接对原是文本进行数据增强，很难保证维持原始的文本语义，因此可以通过在语义空间上进行隐式数据增强，简单列出几种方法：

2022-09-15 标签：数据语言模型nlp 1724 0

基于OpenAI的GPT-2的语言模型ProtGPT2可生成新的蛋白质序列

人类语言与蛋白质有很多共同点，至少在计算建模方面。这使得研究团队将自然语言处理（NLP）的新方法应用于蛋白质设计。其中，德国Bayreuth大学Birt...

2022-09-08 标签：解码器语言模型nlp 1866 0

基于图文多模态领域典型任务

图文多模态领域典型任务如img-text retrieval、VQA、captioning、grounding等，目前的学术设定难度尚可。但是， 一旦知...

2022-09-01 标签：语言模型数据集nlp 2156 0

Transformer的细节和效果如何

在文本理解任务(Natural Language Understanding)上，预训练模型已经取得了质的飞跃，语言模型预训练+下游任务fine-tun...

2022-08-30 标签：语言模型机器翻译Transformer 978 0

如何用语言模型（LM）实现建模能力

当初笔者进入 NLP 的大门，就是相信：由于语言强大的表达能力以及语言模型强大的建模能力，Reasoning 一定就在不久的将来！可惜实际情况却是

2022-08-30 标签：建模编程语言语言模型 1598 0

基于中文数据的标签词构造过程

生成方法对于长实体来说更加困难。但是随着UIE的出现，中文小样本NER 的效果得到了突破。

2022-08-19 标签：百度语言模型数据集 1149 0

预训练语言模型的字典描述

今天给大家带来一篇IJCAI2022浙大和阿里联合出品的采用对比学习的字典描述知识增强的预训练语言模型-DictBERT，全名为《Dictionary ...

2022-08-11 标签：编码字典语言模型 1160 0

Meta开源NLLB翻译模型，支持200种语言互译

除了AI业内关心他们如何支持语料稀缺的冷门语言，以及如何在BLEU基准测试上提高7个点以外。也有来自西非的网友认为，语言障碍正是全球互联网用户数量进一步...

2022-07-21 标签：语言模型机器翻译数据集 2031 0

基于GPT-2进行文本生成

文本生成是自然语言处理中一个重要的研究领域，具有广阔的应用前景。国内外已经有诸如Automated Insights、Narrative Science...

2022-04-13 标签：生成语言模型自然语言处理 4728 0

一文详解知识增强的语言预训练模型

随着预训练语言模型(PLMs)的不断发展，各种NLP任务设置上都取得了不俗的性能。尽管PLMs可以从大量语料库中学习一定的知识，但仍旧存在很多问题，如知...

2022-04-02 标签：语言模型 9569 0

万能的prompt还能做可控文本生成

随着 Prompting 技术的大火，我们一直在思考，Prompt 究竟能够带来什么？我们都说，Prompt 本质上是一种激发语言模型中知识的手段。因此...

2022-03-22 标签：语言模型prompt 2754 0

GPT系列的“高仿” 最大可达GPT-3大小 自主训练

虽然GPT-3没有开源，却已经有人在复刻GPT系列的模型了。 例如，慕尼黑工业大学的Connor Leahy，此前用200个小时、6000RMB，复现了...

2021-02-13 标签：开源语言模型GPT 2848 0

为什么要给 LM 加上神经网络?

神经网络语言模型（NNLM）克服了维数的限制，提升了传统语言模型的性能。

2019-08-05 标签：神经网络语言模型 7133 0