中文对话式大语言模型Firefly-2b6开源,使用210万训练数据
在本文中,我们将对该模型进行分享和介绍。与firefly-1b4相比,firefly-2b6的代码生....
AIGC时代的多模态知识工程思考与展望
随着人工智能总体阶段的发展,生成式人工智能技术(AIGC)也在不断迭代。从20世纪50年代到90年代....
SceneXplain:让ChatGPT开启视觉视角
得益于多模态技术的不断发展,图像描述这个需要结合 CV 和 NLP 的老大难问题在近些年里迈出了一大....
ChatGPT的朋友们:大语言模型经典论文
本节目标是通过OpenAI系列论文阅读细窥ChatGPT的主要原理,其先进的工作脉络可以概括为下图。....
In-context learning如何工作?斯坦福学者用贝叶斯方法解开其奥秘
In-context learning允许用户为新用例快速构建模型,而无需为每个任务微调和存储新参数....
通俗易懂chatGPT原理
收集NLP各种任务的数据集,加上任务描述和提示组装成新的数据集,并使用这些数据微调预训练的大型语言模....
基于预训练语言模型设计了一套统一的模型架构
进一步,本文研究了在更依赖 KG 的知识库问答任务中如何利用 PLM。已有研究通常割裂地建模检索-推....
Firefly(流萤): 中文对话式大语言模型
Bloom是个多语言模型,由于需要兼容多语言,所以词表有25w之多,在中文领域中,大部分词表并不会被....
与ChatGPT性能最相匹配的开源模型
最近由UC Berkeley、CMU、Stanford, 和 UC San Diego的研究人员创建....
基于GLM-6B对话模型的实体属性抽取项目实现解析
Zero-shot、One-shot以及Few-shot让人傻傻分不清,读了很多文章,也没搞清楚他们....
语言模型性能评估必备下游数据集:ZeroCLUE/FewCLUE与Chinese_WPLC数据集
零样本学习是AI识别方法之一。简单来说就是识别从未见过的数据类别,即训练的分类器不仅仅能够识别出训练....
GPT-4发布后,你的NLP研究发生了怎样的变化?
举Parsing的例子主要是想说,Parsing领域的今天就是很多NLP子领域的明天。NLP很多da....
如何使用Jina来构建一个使用Stable Diffusion生成图像的Executor呢
为了让你能够更轻松地分配和管理微服务,我们将正式执行者从Flow中分离出来。同时,也便于你更好地利用....
语言模型GPT-4在北京高考题目上的测试结果
计算符号的表示。针对数学和物理中的公式,我们发现不管用文本类输入(如,t_0)还是用latex输入(....
ChatGPT开源项目汇总表格
CarperAI 是EleutherAI研究小组的一个新实验室,其任务是“通过强化学习提高大型语言模....
如何利用大规模语言模型将自然语言问题转化为SQL语句?
有的工作尝试引出中间推理步骤,通过将复杂问题显示分解为多个子问题,从而以分而治之的方式来解决。
自然语言融入NeRF,给点文字就生成3D图的LERF来了
但自然语言不同,自然语言与 3D 场景交互非常直观。我们可以用图 1 中的厨房场景来解释,通过询问餐....
最全ChatGPT技术汇总
ChatGPT的强大能力是显而易见的,但对于人工智能领域不太熟悉的人,对这种黑盒的技术仍然会担忧或者....
利用Contrastive Loss(对比损失)思想设计自己的loss function
在非监督学习时,对于一个数据集内的所有样本,因为我们没有样本真实标签,所以在对比学习框架下,通常以每....
浅析Meta最新模型LLaMA语言模型细节与代码
其中torch不用多讲,fairscale是用来做GPU分布的,一般是当使用DDP仍然遇到超显存的问....
微软发布Visual ChatGPT:视觉模型加持ChatGPT实现丝滑聊天
系统原则的提示符,“Visual ChatGPT是一个可以处理广泛语言和视觉任务的助手,xxxxxx....
NLP数据增强的最新综述
作为一种有效的策略,数据增强 (data augmentation, DA) 缓解了深度学习技术可能....
通俗理解文本生成的常用解码策略
“Autoregressive”语言模型的含义是:当生成文本时,它不是一下子同时生成一段文字(模型吐....
ELMER: 高效强大的非自回归预训练文本生成模型
每个单词都依赖于输入文本与之前生成的单词。自回归生成模型只建模了前向的单词依赖关系,依次生成的结构也....
改进Hinton的Dropout:可以用来减轻欠拟合了
他们首先通过对梯度范数的有趣观察来研究 dropout 的训练动态,然后得出了一个关键的实证发现:在....
AIGC最新综述:从GAN到ChatGPT的AI生成历史
本调查全面回顾了生成模型的历史、基本组件、AIGC 从单模态交互和多模态交互的最新进展。我们从单峰性....
预训练数据大小对于预训练模型的影响
BERT类模型的工作模式简单,但取得的效果也是极佳的,其在各项任务上的良好表现主要得益于其在大量无监....
两篇大厂CTR预估最新工作
目前业内关于embedding table的压缩主要有NAS-based embedding dim....
GPT/GPT-2/GPT-3/InstructGPT进化之路
在预训练阶段,GPT 选择 transformer 的 decoder 部分作为模型的主要模块,tr....
从ChatGPT看知识管理及知识图谱的发展
知识管理涉及到用于在组织中捕获、存储和共享知识的流程和技术。在聊天机器人设计的背景下,知识管理可以帮....