大模型

大模型未来的产业发展趋势和挑战是什么

一般而言，大模型(Large Language Models)指的是包含超大规模参数的神经网络模型。大模型通常能够学习到更细微的模式和规律，具有更强的泛...

2023-09-13 标签：神经网络语音识别人工智能 907 0

开源大模型FLM-101B：训练成本最低的超100B参数大模型

近期，一支来自中国的研究团队正是针对这些问题提出了解决方案，他们推出了FLM-101B模型及其配套的训练策略。FLM-101B不仅大幅降低了训练成本，而...

2023-09-12 标签：开源语言模型大模型 1455 0

LLaMA微调显存需求减半，清华提出4比特优化器

从 GPT-3，Gopher 到 LLaMA，大模型有更好的性能已成为业界的共识。但相比之下，单个 GPU 的显存大小却增长缓慢，这让显存成为了大模型训...

2023-09-11 标签：图像分类机器翻译大模型 493 0

揭秘英伟达A100、A800、H100、H800 GPU如何实现高性能大模型的百倍训练加速

摘要：本文主要介绍大模型的内部运行原理、我国算力发展现状。大模型指具有巨大参数量的深度学习模型，如GPT-4。其通过在大规模数据集上进行训练，能够产生更...

2023-09-09 标签：NVIDIAgpu英伟达 1884 0

大模型外挂知识库优化-大模型辅助向量召回

用LLM根据用户query生成k个“假答案”。（大模型生成答案采用sample模式，保证生成的k个答案不一样，不懂LLM生成答案原理的同学可以看我这篇文...

2023-09-08 标签：向量数据集大模型 1958 0

大模型心高气傲，没有AI Agents生死难料

AI Agents会消除人与AI系统的大量繁琐交互已经板上钉钉，正在发生

2023-09-06 标签：AI大模型 669 0

大模型的位置编码和外推性问题一样吗

这种编码方式又叫做 Sinusoidal编码 。直觉上看，第个位置的表征向量维度是 ，这个向量的奇数位置元素使用余弦值，偶数位置元素使用正弦值。

2023-09-06 标签：人工智能GPT位置编码器 814 0

十分钟读懂旋转编码（RoPE）

对于位置编码，常规的做法是在计算 query，key 和 value 向量之前，会计算一个位置编码向量 加到词嵌入 上，位置编码向量 同样也是 维向量，...

2023-09-05 标签：向量旋转编码大模型 1.5万 0

基于Tansformer架构的ChatGPT原理解析

ChatGPT模型发布后，因其流畅的对话表达、极强的上下文存储、丰富的知识创作及其全面解决问题的能力而风靡全球，刷新了大众对人工智能的认知。提示学习（P...

2023-09-04 标签：ChatGPT文心一言AIGC 512 0

开放加速规范AI服务器的设计方法

当前语言大模型的参数量已达千亿以上，训练数据集的规模也达到了TB级别。业界典型的自然语言大模型有GPT、LLAMA、PaLM、文心、悟道、源等。如果用“...

2023-09-01 标签：服务器AI计算系统 2021 0

中科大&字节提出UniDoc：统一的面向文字场景的多模态大模型

如上图所示，UniDoc基于预训练的视觉大模型及大语言模型，将文字的检测、识别、spotting(图中未画出)、多模态理解等四个任务，通过多模态指令微调...

2023-08-31 标签：语言模型数据集大模型 1545 0

OpenAI开放大模型微调功能！

除了提高性能之外，还能缩短提示时间，确保类似性能。另外，微调目前仅支持处理4000 tokens，这也是此前微调型号的两倍。16k tokens微调将于...

2023-08-24 标签：数据集OpenAI大模型 630 0

大模型分布式训练并行技术（一）-概述

数据并行是最常见的并行形式，因为它很简单。在数据并行训练中，数据集被分割成几个碎片，每个碎片被分配到一个设备上。这相当于沿批次（Batch）维度对训练过...

2023-08-24 标签：模型数据集pytorch 1456 0

BaiChuan13B多轮对话微调范例

答案是不会。原因是LLM作为语言模型，它的注意力机制是一个单向注意力机制(通过引入 Masked Attention实现)，模型在第一轮对话的输出跟输入...

2023-08-24 标签：语言模型大模型 1010 0

风口浪尖行稳致远 - 英伟达等企业如何顺应高性能计算大模型浪潮

关键词:PLM;NLP;Transformer;ChatGPT;BERT;RNN;CNN;自注意力机制;多头注意力机制; Decoder Only ;E...

2023-08-23 标签：神经网络AI英伟达 2342 0