语言模型

Allen AI推出集成主流大语言模型的LLM-BLENDER框架

在推理阶段，计算一个矩阵，该矩阵包含表示成对比较结果的logits。给定该矩阵，可以推断给定输入x的N个输出的排序。随后，可以使用来自PAIRRANKE...

2023-06-11 标签：框架模型语言模型 727 0

号称「碾压」LLaMA的Falcon实测得分仅49.08，HuggingFace决定重写排行榜代码

这是一组由 Meta 开源的大型语言模型，共有 7B、13B、33B、65B 四种版本。其中，LLaMA-13B 在大多数数据集上超过了 GPT-3（1...

2023-06-11 标签：解码器语言模型 649 0

PyTorch教程-9.3. 语言模型

9.3. 语言模型¶ Colab [火炬]在 Colab 中打开笔记本 Colab [mxnet] Open the notebook in C...

2023-06-05 标签：语言模型pytorch 409 0

一个通用的自适应prompt方法，突破了零样本学习的瓶颈

为了解决这个问题，这篇研究提出了一种Universal Self-adaptive Prompting (USP)方法，对LLMs的零样本学习进行了优化...

2023-06-01 标签：语言模型数据集自然语言 762 0

GPT4技术原理之相变与涌现

物理系统中发生的相变最直观，水结成冰或沸腾成蒸汽。在一定的温度或压力下，系统发生行为的突然变化，从一种相转变为另一种相。转变出现了之前相中没有的新特性，...

2023-05-29 标签：语言模型GPT 1115 0

调教LLaMA类模型没那么难，LoRA将模型微调缩减到几小时

最近几个月，ChatGPT 等一系列大语言模型（LLM）相继出现，随之而来的是算力紧缺日益严重。虽然人人都想打造专属于自己的大模型，但是能负担得起上亿参...

2023-05-28 标签：语言模型LoRaChatGPT 2645 0

时下改变AI的6大NLP语言模型

消除早期语言模型的局限性，特别是在预训练中表现出的单向性。这些限制了可用于预训练的架构选择，以及微调的方法。例如，OpenAI的GPT v1使用从左到右...

2023-05-26 标签：语言模型nlp 813 0

以Gpipe作为流水线并行的范例进行介绍

回顾ChatGPT的发展历程，我们可以总结出大语言模型（LLM）取得惊艳效果的要点（重要性从高到低排序）： 愿意烧钱，且接受“烧钱 != 好模型”的现实...

2023-05-25 标签：3D开源语言模型 1073 0

大型语言模型能否捕捉到它们所处理和生成的文本中的语义信息

  大型语言模型能否捕捉到它们所处理和生成的文本中的语义信息？这一问题在计算机科学和自然语言处理领域一直存在争议。然而，MIT的一项新研究表明，仅基于文...

2023-05-25 标签：数据语言模型自然语言 712 0

Meta AI重磅推出LIMA！媲美GPT-4、无需RLHF就能对齐！

天下人苦“对齐”久矣！要让预训练语言模型的响应和特定任务和用户偏好对齐，动辄需要百万示例数据集上的instruction tuning、以及最近从人类反...

2023-05-24 标签：语言模型CMUChatGPT 1131 0

GPT-4推理提升1750%！清华姚班校友提出全新ToT框架

那么，这样一个简单的机制能否足以建立一个通向「解决通用问题的语言模型」？如果不是，哪些问题会挑战当前的范式，真正的替代机制应该是什么？

2023-05-24 标签：框架语言模型GPT 413 0

GPT-4 的模型结构和训练方法

在 GPT-4 的发布报道上，GPT-4 的多模态能力让人印象深刻，它可以理解图片内容给出图片描述，甚至能在图片内容的基础上理解其中的隐喻或推断下一时刻的发展。

2023-05-22 标签：数据模型语言模型 2608 0

邱锡鹏团队提出具有内生跨模态能力的SpeechGPT，为多模态LLM指明方向

大型语言模型（LLM）在各种自然语言处理任务上表现出惊人的能力。与此同时，多模态大型语言模型，如 GPT-4、PALM-E 和 LLaVA，已经探索了 ...

2023-05-22 标签：编码器生成器语言模型 668 0

邱锡鹏团队提出SpeechGPT：具有内生跨模态能力的大语言模型

虽然现有的级联方法或口语语言模型能够感知和生成语音，但仍存在一些限制。首先，在级联模型中，LLM 仅充当内容生成器。由于语音和文本的表示没有对齐，LLM...

2023-05-22 标签：模态语言模型数据集 677 0

如何利用LLM做一些多模态任务

本文整理了近两年来基于LLM做vision-lanuage任务的一些工作，并将其划分为4个类别：

2023-05-17 标签：编码器数据语言模型 850 0

使用Alpaca-Lora进行参数高效模型微调

在推理时，将左右两部分的结果加到一起即可，h=Wx+BAx=(W+BA)x，所以，只要将训练完成的矩阵乘积BA跟原本的权重矩阵W加到一起作为新权重参数替...

2023-05-17 标签：服务器模型语言模型 2098 0

大语言模型的多语言机器翻译能力分析

以ChatGPT为代表的大语言模型（Large Language Models, LLM）在机器翻译（Machine Translation, MT）任...

2023-05-17 标签：Opt语言模型ChatGPT 1968 0

蒸馏也能Step-by-Step：新方法让小模型也能媲美2000倍体量大模型

为了解决大型模型的这个问题，部署者往往采用小一些的特定模型来替代。这些小一点的模型用常见范式 —— 微调或是蒸馏来进行训练。微调使用下游的人类注释数据升...

2023-05-15 标签：人工智能语言模型自然语言 581 0

涌现能力的定义、常见的激发手段和具体的分类和任务

缩放定律的一个重要作用就是预测模型的性能，但是随着规模的扩大，模型的能力在不同的任务上并不总表现出相似的规律。在很多知识密集型任务上，随着模型规模的不断...

2023-05-15 标签：寄存器模型语言模型 4192 0