标签　>　transformer

transformer

+关注0人关注

文章：135个浏览：6019次帖子：3个

全部技术资讯资料帖子视频产品方案企业

transformer技术

一个给NLP领域带来革新的预训练语言大模型Bert

之前的文章和大家详细的介绍了静态的词向量表示word2vec理论加实战，但是word2vec存在一个很大的问题，由于是静态词向量所以无法表示一词多义，对...

2023-02-28 标签：GPT ELMOS Transformer 6.7万 0

一文详解Transformer神经网络模型

Transformer模型在强化学习领域的应用主要是应用于策略学习和值函数近似。强化学习是指让机器在与环境互动的过程中，通过试错来学习最优的行为策略。

2024-02-20 标签：神经网络 AI Transformer 1.4万 0

如何计算transformer模型的参数量

1. 前言最近，OpenAI推出的ChatGPT展现出了卓越的性能，引发了大规模语言模型(Large Language Model,LLM)的研究热潮...

2023-07-10 标签：模型 Transformer ChatGPT 1.2万 0

手把手教你，用BERT完成一个Kaggle竞赛

在本文中，我们将重点介绍BERT在多标签文本分类问题中的应用。传统的分类问题假定每个文档都分配给一个且只分配给一个类别，即标签。这有时也被称为多元分类，...

2019-02-20 标签：神经网络数据库 Transformer 9079 0

教你如何使用Python搭一个Transformer

与基于RNN的方法相比，Transformer 不需要循环，主要是由Attention 机制组成，因而可以充分利用python的高效线性代数函数库，大量...

2019-04-24 标签：python 函数库 Transformer 7280 0

利用Transformer和CNN 各自的优势以获得更好的分割性能

概述在这篇论文中，提出了一种新的医学图像分割混合架构：PHTrans，它在主要构建块中并行混合 Transformer 和 CNN，分别从全局和局部特...

2022-11-05 标签：数据集 cnn Transformer 6579 0

Transformer常用的轻量化方法

引言：近年来，Transformer模型在人工智能的各个领域得到了广泛应用，成为了包括计算机视觉，自然语言处理以及多模态领域内的主流方法。

2022-10-25 标签：数据计算机视觉 Transformer 5920 0

普通视觉Transformer（ViT）用于语义分割的能力

本文探讨了普通视觉Transformer（ViT）用于语义分割的能力，并提出了SegViT。以前基于ViT的分割网络通常从ViT的输出中学习像素级表示。...

2022-10-31 标签：计算机视觉数据集 Transformer 5166 0

ChatGPT的特点及原理

ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中GPT是G...

2023-02-21 标签：Transformer OpenAI ChatGPT 3809 0

什么是混合专家模型？混合专家模型 (MoEs)优劣势分析

门控网络或路由: 这个部分用于决定哪些令牌 (token) 被发送到哪个专家。例如，在下图中，“More”这个令牌可能被发送到第二个专家，而“Param...

2024-02-22 标签：神经网络 AI Transformer 3766 0

详解NVIDIA H100 TransformerEngine

在H100发布之际，英伟达还带来一个“重磅产品”——Transformer Engine。在Transformer大火之际推出这么一个产品，无疑是炼丹师福音。

2022-10-24 标签：NVIDIA 英伟达 Transformer 3701 0

端到端自动驾驶到底是什么？

UniAD 统一自动驾驶关键任务，但是端到端的训练难度极大，对数据的要求和工程能力的要求比常规的技术栈要高，但是由此带来的全局一致性让整个系统变得更加简...

2023-06-28 标签：机器人控制模块自动驾驶 3700 0

视觉Transformer基本原理及目标检测应用

视觉Transformer的一般结构如图2所示，包括编码器和解码器两部分，其中编码器每一层包括一个多头自注意力模块（self-attention）和一个...

2024-04-03 标签：解码器神经网络 Transformer 3573 0

视觉语言预训练(VLP)模型的最新进展

让机器做出与人类相似的反应一直是 AI 研究不懈追求的目标。为了让机器具有感知和思考的能力，研究人员进行了一系列相关研究，如人脸识别、阅读理解和人机对话...

2022-04-02 标签：AI 模型 Transformer 3261 0

Transformers内部运作原理研究

为了理解每个组件的作用，让我们通过训练Transformer解决翻译问题的过程，逐步了解Transformer的工作原理。我们将使用训练数据的一个样本，...

2024-01-30 标签：解码器 Transformer 自然语言处理 3123 0

基于Transformer模型的上下文嵌入何时真正值得使用？

作者发现，在决定BERT-embedding和Glove-embedding的效果性能方面，训练数据量起着关键作用。通过使用更多的训练数据，非上下文嵌入...

2020-08-28 标签：模型数据集文本 2888 0

浅谈ChatGPT的技术架构

GPT家族与BERT模型都是知名的NLP模型，都基于Transformer技术。GPT-1只有12个Transformer层，而到了GPT-3，则增加到96层。

2023-02-21 标签：Transformer nlp ChatGPT 2863 0

Transformer一统江湖：自然语言处理三大特征抽取器比较

上面这几个特点请记清，一个特征抽取器是否适配问题领域的特点，有时候决定了它的成败，而很多模型改进的方向，其实就是改造得使得它更匹配领域问题的特性。这也是...

2019-02-04 标签：Transformer 自然语言 nlp 2772 0

基于Transformer做大模型预训练基本的并行范式

在之前的内容中，我们已经介绍过流水线并行、数据并行（DP，DDP和ZeRO）。今天我们将要介绍最重要，也是目前基于Transformer做大模型预训练...

2023-05-31 标签：数据 API 模型 2722 0

风口浪尖行稳致远 - 英伟达等企业如何顺应高性能计算大模型浪潮

关键词:PLM;NLP;Transformer;ChatGPT;BERT;RNN;CNN;自注意力机制;多头注意力机制; Decoder Only ;E...

2023-08-23 标签：神经网络 AI 英伟达 2376 0

12 3 4 5 下一页

相关话题

换一批

IOT

IOT

+关注

IoT是Internet of Things的缩写，字面翻译是“物体组成的因特网”，准确的翻译应该为“物联网”。物联网（Internet of Things）又称传感网，简要讲就是互联网从人向物的延伸。
海思

海思

+关注
STM32F103C8T6

STM32F103C8T6

+关注

STM32F103C8T6是一款集成电路，芯体尺寸为32位，程序存储器容量是64KB，需要电压2V~3.6V，工作温度为-40°C ~ 85°C。
数字隔离

数字隔离

+关注

数字隔离技术常用于工业网络环境的现场总线、军用电子系统和航空航天电子设备中，尤其是一些应用环境比较恶劣的场合。数字隔离电路主要用于数字信号和开关量信号的传输。另一个重要原因是保护器件（或人）免受高电压的危害。本文详细介绍了数字隔离器工作原理及特点，选型及应用，各类数字隔离器件性能比较等内容。
硬件工程师

硬件工程师

+关注

硬件工程师Hardware Engineer职位要求熟悉计算机市场行情；制定计算机组装计划；能够选购组装需要的硬件设备，并能合理配置、安装计算机和外围设备；安装和配置计算机软件系统；保养硬件和外围设备；清晰描述出现的计算机软硬件故障。
wifi模块

wifi模块

+关注

Wi-Fi模块又名串口Wi-Fi模块，属于物联网传输层，功能是将串口或TTL电平转为符合Wi-Fi无线网络通信标准的嵌入式模块，内置无线网络协议IEEE802.11b.g.n协议栈以及TCP/IP协议栈。传统的硬件设备嵌入Wi-Fi模块可以直接利用Wi-Fi联入互联网，是实现无线智能家居、M2M等物联网应用的重要组成部分。
74ls74

74ls74

+关注

74LS74是双D触发器。功能多，可作双稳态、寄存器、移位寄存器、振荡器、单稳态、分频计数器等功能。本章详细介绍了74ls112的功能及原理，74ls74引脚图及功能表，74ls112的应用等内容。
MPU6050

MPU6050

+关注

MPU-6000（6050）为全球首例整合性6轴运动处理组件，相较于多组件方案，免除了组合陀螺仪与加速器时间轴之差的问题，减少了大量的封装空间。
Protues

Protues

+关注

Proteus软件是英国Lab Center Electronics公司出版的EDA工具软件（该软件中国总代理为广州风标电子技术有限公司）。它不仅具有其它EDA工具软件的仿真功能，还能仿真单片机及外围器件。
UHD

UHD

+关注

UHD是”超高清“的意思UHD的应用在电视机技术上最为普遍，目前已有不少厂商推出了UHD超高清电视。
STC12C5A60S2

STC12C5A60S2

+关注

在众多的51系列单片机中，要算国内STC 公司的1T增强系列更具有竞争力，因他不但和8051指令、管脚完全兼容，而且其片内的具有大容量程序存储器且是FLASH工艺的，如STC12C5A60S2单片机内部就自带高达60K FLASHROM，这种工艺的存储器用户可以用电的方式瞬间擦除、改写。
循迹小车

循迹小车

+关注

做单片机的工程师相比都堆循迹小车有所认识，它是自动引导机器人系统的基本应用，那么今天小编就给大家介绍下自动自动循迹小车的原理，智能循迹小车的应用，智能循迹小车程序，循迹小车用途等知识吧！
光立方

光立方

+关注

光立方是由四千多棵光艺高科技“发光树”组成的，在2009年10月1日天安门广场举行的国庆联欢晚会上面世。这是新中国成立六十周年国庆晚会最具创意的三大法宝之首。
K60

K60

+关注
LM2596

LM2596

+关注

LM2596是降压型电源管理单片集成电路的开关电压调节器，能够输出3A的驱动电流，同时具有很好的线性和负载调节特性。固定输出版本有3.3V、5V、12V，可调版本可以输出小于37V的各种电压。
光模块

光模块

+关注

光模块(optical module)由光电子器件、功能电路和光接口等组成，光电子器件包括发射和接收两部分。简单的说，光模块的作用就是光电转换，发送端把电信号转换成光信号，通过光纤传送后，接收端再把光信号转换成电信号。
STM32单片机

STM32单片机

+关注

STM32系列基于专为要求高性能、低成本、低功耗的嵌入式应用专门设计的ARM Cortex-M3内核
步进驱动器

步进驱动器

+关注

步进驱动器是一种将电脉冲转化为角位移的执行机构。当步进驱动器接收到一个脉冲信号，它就驱动步进电机按设定的方向转动一个固定的角度（称为“步距角”），它的旋转是以固定的角度一步一步运行的。可以通过控制脉冲个数来控制角位移量，从而达到准确定位的目的；同时可以通过控制脉冲频率来控制电机转动的速度和加速度，从而达到调速和定位的目的。
Nexperia

Nexperia

+关注

Nexperia是大批量生产基本半导体的领先专家，这些半导体是世界上每个电子设计都需要的组件。该公司广泛的产品组合包括二极管、双极晶体管、ESD 保护器件、MOSFET、GaN FET 以及模拟和逻辑IC。
CD4046

CD4046

+关注

cD4046是通用的CMOS锁相环集成电路，其特点是电源电压范围宽（为3V－18V），输入阻抗高（约100MΩ），动态功耗小，在中心频率f0为10kHz下功耗仅为600μW，属微功耗器件。本章主要介绍内容有，CD4046的功能 cd4046锁相环电路，CD4046无线发射，cd4046运用，cd4046锁相环电路图。
COMSOL

COMSOL

+关注

COMSOL集团是全球多物理场建模解决方案的提倡者与领导者。凭借创新的团队、协作的文化、前沿的技术、出色的产品，这家高科技工程软件公司正飞速发展，并有望成为行业领袖。其旗舰产品COMSOL Multiphysics 使工程师和科学家们可以通过模拟，赋予设计理念以生命。
加速度传感器

加速度传感器

+关注

加速度传感器是一种能够测量加速度的传感器。通常由质量块、阻尼器、弹性元件、敏感元件和适调电路等部分组成。
联网技术

联网技术

+关注
服务机器人

服务机器人

+关注

服务机器人是机器人家族中的一个年轻成员，到目前为止尚没有一个严格的定义。不同国家对服务机器人的认识不同。
四轴飞行器

四轴飞行器

+关注

四轴飞行器，又称四旋翼飞行器、四旋翼直升机，简称四轴、四旋翼。这四轴飞行器（Quadrotor）是一种多旋翼飞行器。四轴飞行器的四个螺旋桨都是电机直连的简单机构，十字形的布局允许飞行器通过改变电机转速获得旋转机身的力，从而调整自身姿态。具体的技术细节在“基本运动原理”中讲述。
基站测试

基站测试

+关注

802.11ac与11基站测试（base station tests）在基站设备安装完毕后，对基站设备电气性能所进行的测量。n的区别，802.11n无线网卡驱动，802.11n怎么安装。
TMS320F28335

TMS320F28335

+关注

TMS320F28335是一款TI高性能TMS320C28x系列32位浮点DSP处理器
静电防护

静电防护

+关注

为防止静电积累所引起的人身电击、火灾和爆炸、电子器件失效和损坏，以及对生产的不良影响而采取的防范措施。其防范原则主要是抑制静电的产生，加速静电泄漏，进行静电中和等。
SDK

SDK

+关注

　　SDK一般指软件开发工具包，软件开发工具包一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。软件开发工具广义上指辅助开发某一类软件的相关文档、范例和工具的集合。
OBD

OBD

+关注

OBD是英文On-Board Diagnostic的缩写，中文翻译为“车载诊断系统”。这个系统随时监控发动机的运行状况和尾气后处理系统的工作状态，一旦发现有可能引起排放超标的情况，会马上发出警示。

换一批

电机控制	DSP	氮化镓	功率放大器	ChatGPT	自动驾驶	TI	瑞萨电子
BLDC	PLC	碳化硅	二极管	OpenAI	元宇宙	安森美	ADI
无刷电机	FOC	IGBT	逆变器	文心一言	5G	英飞凌	罗姆
直流电机	PID	MOSFET	传感器	人工智能	物联网	NXP	赛灵思
步进电机	SPWM	充电桩	IPM	机器视觉	无人机	三菱电机	ST
伺服电机	SVPWM	光伏发电	UPS	AR	智能电网	国民技术	Microchip

瑞萨	沁恒股份	全志	国民技术	瑞芯微	兆易创新	芯海科技	Altium
德州仪器	Vishay	Micron	Skyworks	AMS	TAIYOYUDEN	纳芯微	HARTING
adi	Cypress	Littelfuse	Avago	FTDI	Cirrus LogIC	Intersil	Qualcomm
st	Murata	Panasonic	Altera	Bourns	矽力杰	Samtec	扬兴科技
microchip	TDK	Rohm	Silicon Labs	圣邦微电子	安费诺工业	ixys	Isocom Compo
安森美	DIODES	Nidec	Intel	EPSON	乐鑫	Realtek	ERNI电子
TE Connectivity	Toshiba	OMRON	Sensirion	Broadcom	Semtech	旺宏	英飞凌
Nexperia	Lattice	KEMET	顺络电子	霍尼韦尔	pulse	ISSI	NXP
Xilinx	广濑电机	金升阳	君耀电子	聚洵	Liteon	新洁能	Maxim
MPS	亿光	Exar	菲尼克斯	CUI	WIZnet	Molex	Yageo
Samsung	风华高科	WINBOND	长晶科技	晶导微电子	上海贝岭	KOA	Echelon
Coilcraft	LRC	trinamic

放大器	运算放大器	差动放大器	电流感应放大器	比较器	仪表放大器	可变增益放大器	隔离放大器
时钟	时钟振荡器	时钟发生器	时钟缓冲器	定时器	寄存器	实时时钟	PWM 调制器
视频放大器	功率放大器	频率转换器	扬声器放大器	音频转换器	音频开关	音频接口	音频编解码器
模数转换器	数模转换器	数字电位器	触摸屏控制器	AFE	ADC	DAC	电源管理
线性稳压器	LDO	开关稳压器	DC/DC	降压转换器	电源模块	MOSFET	IGBT
振荡器	谐振器	滤波器	电容器	电感器	电阻器	二极管	晶体管
变送器	传感器	解析器	编码器	陀螺仪	加速计	温度传感器	压力传感器
电机驱动器	步进驱动器	TWS	BLDC	无刷直流驱动器	湿度传感器	光学传感器	图像传感器
数字隔离器	ESD 保护	收发器	桥接器	多路复用器	氮化镓	PFC	数字电源

开关电源	步进电机	无线充电	LabVIEW	EMC	PLC	OLED	单片机
5G	m2m	DSP	MCU	ASIC	CPU	ROM	DRAM
NB-IoT	LoRa	Zigbee	NFC	蓝牙	RFID	Wi-Fi	SIGFOX
Type-C	USB	以太网	仿真器	RISC	RAM	寄存器	GPU
语音识别	万用表	CPLD	耦合	电路仿真	电容滤波	保护电路	看门狗
CAN	CSI	DSI	DVI	Ethernet	HDMI	I2C	RS-485
SDI	nas	DMA	HomeKit	阈值电压	UART	机器学习	TensorFlow

Arduino	BeagleBone	树莓派	STM32	MSP430	EFM32	ARM mbed	EDA
示波器	LPC	imx8	PSoC	Altium Designer	Allegro	Mentor	Pads
OrCAD	Cadence	AutoCAD	华秋DFM	Keil	MATLAB	MPLAB	Quartus

搜索历史

transformer

transformer技术

相关标签

相关话题

关注此标签的用户(0人)

C++	Java	Python	JavaScript	node.js	RISC-V	verilog	Tensorflow
Android	iOS	linux	RTOS	FreeRTOS	LiteOS	RT-THread	uCOS
DuerOS	Brillo	Windows11	HarmonyOS

林超文PCB设计：PADS教程，PADS视频教程	郑振宇老师：Altium Designer教程，Altium Designer视频教程
张飞实战电子视频教程	朱有鹏老师：海思HI3518e教程，HI3518e视频教程
李增老师：信号完整性教程，高速电路仿真教程	华为鸿蒙系统教程，HarmonyOS视频教程
赛盛：EMC设计教程，EMC视频教程	杜洋老师：STM32教程，STM32视频教程
唐佐林：c语言基础教程，c语言基础视频教程	张飞：BUCK电源教程，BUCK电源视频教程
正点原子：FPGA教程，FPGA视频教程	韦东山老师：嵌入式教程，嵌入式视频教程
张先凤老师：C语言基础视频教程	许孝刚老师：Modbus通讯视频教程
王振涛老师：NB-IoT开发视频教程	Mill老师：FPGA教程，Zynq视频教程
C语言视频教程	RK3566芯片资料合集
朱有鹏老师：U-Boot源码分析视频教程	开源硬件专题