基于预训练语言模型的行业搜索的应用和研究
sparse retrieval：传统的基于字或基于词去建立倒排索引，同时基于此去构建很多查询理解的....
NLP类别不均衡问题之loss大集合
NLP 任务中，数据类别不均衡问题应该是一个极常见又头疼的的问题了。最近在工作中也是碰到这个问题....
Jina AI到底是做什么的？为什么要做这些
在 Jina AI，我们的产品囊括了跨模态、多模态、神经搜索和生成式 AI，涵盖了未来 AI 应用的....
基于统一语义匹配的通用信息抽取框架USM
信息提取（Information Extraction，IE）需要提取句子中的实体、关系、事件等，其....
对话机器人之Sparrow简介
DeepMind提出的Sparrow，相对于以往的方法，是一种更加有用，准确并且无害的信息检索对话机....
基于Transformer编码器的chatGPT模型设计
Bert 所作的事就是从大规模的上亿的文本预料中，随机地扣掉一部分字，形成上面例子的完形填空题型，不....
一键从Prompt到PowerPoint
职场人苦 PPT 久矣。想做出一份优秀的 PPT，确实难点颇多：要构思亮眼的标题、简明的大纲、精炼的....
ChatGPT反思大语言模型的技术精要
在Bert和GPT模型出现之前，NLP领域流行的技术是深度学习模型，而NLP领域的深度学习，主要依托....
模型任务的评价指标体系
1. 写在前面 模型“好”与“坏”的评价指标直接由业务目标/任务需求决定。我们需要做的是：根据具体的....
文本图片编辑新范式：单个模型实现多文本引导图像编辑
本文首先利用已有的编码器将需要编辑的图像转换到 StyleGAN 的 语义空间中的潜在编码 w，再通....
一文速览人岗匹配领域研究进展
基于文本匹配的方法认为求职者与职位是否匹配主要依赖于求职者简历中的技能或工作经历与职位要求描述之间是....
京东：基于多类目MoE模型的电商搜索引擎
此外，对于一些小类目的商品，在训练集样本量上和大类目相比差距悬殊，在模型训练过程中会被大类目商品的样....
基于长度感知注意机制的长度可控摘要模型
本文的方法是在由原始训练数据构建的摘要长度平衡数据集上训练 LAAM，然后像往常一样进行微调。结果表....
Distributed Data Parallel中的分布式训练
与DataParallel不同的是，Distributed Data Parallel会开设多个进程....
对话机器人之LaMDA
来自：NLP日志 提纲1 简介 2 LaMDA 3 总结 1 简介 LaMDA是在DeepMind的....
讲一讲ChatGPT的技术细节
通过人工标注等方式，使用监督学习的模式对GPT3模型（对这个是chatGPT模型的base）进行初步....
世界杯融入词库的位置编码方法介绍
实际上在NER任务中，格是一个有向无环图，其中每个节点都是一个字符或一个潜在的字，可以参考图1a。格....
介绍几篇EMNLP'22的语言模型训练方法优化工作
来自：圆圆的算法笔记 今天给大家介绍3篇EMNLP 2022中语言模型训练方法优化的工作，这3篇工作....
靴子落地：ChatGPT 国内发展或被「拉手刹」
实际上，早在今年 1 月，国家网信办就发布了《互联网信息服务深度合成管理规定（征求意见稿）》，公开征....
为什么使用ROC曲线？
对于样本数据，我们使用分类器对其进行分类，分类器会给出每个数据为正例的概率。我们可以针对此来设定一个....
基于优化的元学习方法
为了解决上述问题，本文将目光从任务专用的soft prompt模型设计转移到任务通用的模型参数初始化....
如何简单粗暴的提升NER效果？
如果我们有一个训练数据集，比方说一个case：“海底捞的主要食物是火锅”，在NER的任务中，标注成为....
无残差连接或归一化层，也能成功训练深度Transformer
最近，使用信号传播原则来训练更深度的 DNN 并且残差架构中没有残差连接和 / 或归一化层的参与，成....
自然语言处理或将迎来新的范式变迁
从技术角度讲，ChatGPT还是基于大规模预训练语言模型（GPT-3.5）强大的语言理解和生成的能力....
一文速览医学多模态进展
本文主要从全局和局部进行医学图像的表示学习，提出GLoRIA模型，主要使用注意机制，通过匹配放射学报....
对话系统中的多路召回和排序
首先，是比较经典的检索技术，这个其实对应的比较经典的检索式对话，其实现在仍旧被广泛使用，一些依赖数据....
张俊林：ChatGPT会成为下一代搜索引擎吗
说回ChatGPT，例子就不举了，在网上漫山遍野都是，我们主要从技术角度来聊聊。那么，ChatGPT....
CLIP-Chinese：中文多模态对比学习预训练模型
CLIP模型主要由文本编码器和图片编码器两部分组成，训练过程如下图所示。对于batch size为N....
工商网监