语言模型

深度探讨VLMs距离视觉演绎推理还有多远？

通用大型语言模型（LLM）推理基准：研究者们介绍了多种基于文本的推理任务和基准，用于评估LLMs在不同领域（如常识、数学推理、常识推理、事实推理和编程）...

2024-03-19 标签：语言模型大模型 427 0

利用知识图谱与Llama-Index技术构建大模型驱动的RAG系统（下）

对于语言模型（LLM）幻觉，知识图谱被证明优于向量数据库。知识图谱提供更准确、多样化、有趣、逻辑和一致的信息，减少了LLM中出现幻觉的可能性。

2024-02-22 标签：数据库语言模型知识图谱 1386 0

大语言模型事实性幻象的实验性分析

尽管大语言模型能力不断提升，但一个持续存在的挑战是它们具有产生幻象的倾向。本文构建了幻象评测基准HaluEval 2.0，并基于该评测框架从预训练/有监...

2024-01-19 标签：开源语言模型自然语言处理 591 0

专补大模型短板的RAG有哪些新进展？这篇综述讲明白了

然而，尽管它们的能力令人印象深刻，但它们并非无懈可击。这些模型可能会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深...

2024-01-17 标签：人工智能语言模型大模型 1153 0

三步完成在英特尔独立显卡上量化和部署ChatGLM3-6B模型

ChatGLM3 是智谱 AI 和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型...

2024-01-11 标签：英特尔语言模型LLM 1802 0

如何利用位置编码实现长度外推？

无论是缩放位置索引还是修改基地，所有token都变得彼此更接近，这将损害LLM区分相近token的位置顺序的能力。结合他们对RoPE的波长的观察，存在一...

2024-01-08 标签：语言模型Transformer位置编码器 551 0

基于LLM的表格数据的大模型推理综述

面向表格数据的推理任务，在计算机领域，特别是自然语言处理（Natural Language Processing，NLP）领域的研究中扮演着重要角色[1...

2024-01-08 标签：SQL语言模型大模型 1829 0

模型与人类的注意力视角下参数规模扩大与指令微调对模型语言理解的作用

近期的大语言模型（LLM）在自然语言理解和生成上展现出了接近人类的强大能力，远远优于先前的BERT等预训练模型（PLM）。

2024-01-04 标签：PLM语言模型LLM 586 0

大语言模型推断中的批处理效应

随着开源预训练大型语言模型（Large Language Model, LLM ）变得更加强大和开放，越来越多的开发者将大语言模型纳入到他们的项目中。其...

2024-01-04 标签：语言模型机器学习LoRa 795 0

语言模型的弱监督视频异常检测方法

LGT Adapter由局部关系Transformer和全局关系图卷积串联组成。考虑到常规的Transformer在长时视频时序关系建模时冗余信息较多、...

2024-01-02 标签：适配器语言模型Clip 1018 0

一文速览大语言模型提示最新进展

尽管基本的CoT提示策略在复杂推理任务中展示出了强大的能力，但它仍然面临着一些问题，比如推理过程存在错误和不稳定等。因此，一系列的研究通过增强的提示方法...

2023-12-27 标签：生成器语言模型自然语言处理 812 0

谷歌Gemini模型AI网络及TPU拆解

Gemini 是一款新型的多模态大语言模型，此前多模态大模型在处理视频、文字、图像等多维度输入信息时是采用分别训练分别输出再进行拼接的方式，这种方式的缺...

2023-12-14 标签：谷歌GeminiAI 1398 0

大规模语言模型的基本概念、发展历程和构建流程

大规模语言模型（Large Language Models，LLM），也称大规模语言模型或大型语言模型，是一种由包含数百亿以上参数的深度神经网络构建的语...

2023-12-07 标签：人工智能语言模型华为云 4840 0

计算机视觉迎来GPT时刻！UC伯克利三巨头祭出首个纯CV大模型！

在损失函数上，研究者从自然语言社区汲取灵感，即掩码 token 建模已经「让位给了」序列自回归预测方法。一旦图像、视频、标注图像都可以表示为序列，则训练...

2023-12-05 标签：图像计算机视觉语言模型 816 0

无监督域自适应场景：基于检索增强的情境学习实现知识迁移

本文对比了多种基线方法，包括无监督域自适应的传统方法（如Pseudo-labeling和对抗训练）、基于检索的LM方法（如REALM和RAG）和情境学习...

2023-12-05 标签：解码器编码器语言模型 718 0

基于大语言模型辩论的多智能体协作推理分析

具体来说，我们以多项选择的常识推理作为示例任务，因为常识推理任务是一类可能性 (plausible) 的任务，每个答案都是可能成立的，只是正确答案成立的...

2023-11-29 标签：语言模型智能体ChatGPT 1656 1

大型语言模型的逻辑推理能力探究

最新研究揭示，尽管大语言模型LLMs在语言理解上表现出色，但在逻辑推理方面仍有待提高。为此，研究者们推出了GLoRE，一个全新的逻辑推理评估基准，包含1...

2023-11-23 标签：语言模型自然语言ChatGPT 1184 0

Scaling Law大模型设计实操案例

纵轴是"Bits for words", 这也是交叉熵的一个单位。在计算交叉熵时，如果使用以 2 为底的对数，交叉熵的单位就是 &q...

2023-11-22 标签：语言模型GPTOpenAI 933 0

基于显式证据推理的few-shot关系抽取CoT

最近，上下文学习策略已被证明在没有训练的情况下显示出显著的结果。很少有研究利用上下文学习进行zero-shot信息提取。不幸的是，推理的证据在思维链提示...

2023-11-20 标签：语言模型nlpLLM 1108 0