标签　>　transformer

transformer

+关注0人关注

文章：135个浏览：6019次帖子：3个

全部技术资讯资料帖子视频产品方案企业

transformer技术

基于Transformer的大型语言模型（LLM）的内部机制

本文旨在更好地理解基于 Transformer 的大型语言模型（LLM）的内部机制，以提高它们的可靠性和可解释性。随着大型语言模型（LLM）在使用和部...

2023-06-25 标签：存储语言模型 Transformer 1492 0

Transformer在下一个token预测任务上的SGD训练动态

【导读】 AI理论再进一步，破解ChatGPT指日可待？ Transformer架构已经横扫了包括自然语言处理、计算机视觉、语音、多模态等多个领域，...

2023-06-12 标签：Transformer 自然语言 ChatGPT 887 0

基于transformer的编码器-解码器模型的工作原理

与基于 RNN 的编码器-解码器模型类似，基于 transformer 的编码器-解码器模型由一个编码器和一个解码器组成，且其编码器和解码器均由残差注...

2023-06-11 标签：解码器编码器 Transformer 2284 0

PyTorch教程-11.9. 使用 Transformer 进行大规模预训练

11.9. 使用 Transformer 进行大规模预训练¶ Colab [火炬]在 Colab 中打开笔记本 Colab [mxnet] Op...

2023-06-05 标签：Transformer pytorch 1257 0

基于Transformer做大模型预训练基本的并行范式

在之前的内容中，我们已经介绍过流水线并行、数据并行（DP，DDP和ZeRO）。今天我们将要介绍最重要，也是目前基于Transformer做大模型预训练...

2023-05-31 标签：数据 API 模型 2722 0

目标跟踪新的建模方式

现在比较先进的目标跟踪方法采用了“分而治之”的策略，即将跟踪问题解耦成多个子任务，例如中心点预测、前景/背景二分类、边界框回归、角点预测等。尽管在各个跟...

2023-05-16 标签：建模函数 Transformer 897 0

关于Transformer的核心结构及原理

Thinking Like Transformers 这篇论文中提出了 transformer 类的计算框架，这个框架直接计算和模仿 Transform...

2023-03-08 标签：Transformer 794 0

ChatGPT语言模型核心技术之Transformer

Transformer的主要优点是它可以并行地处理输入序列中的所有位置，因此在训练和推理时都有着很好的效率。此外，Transformer没有使用循环结构...

2023-03-08 标签：Transformer nlp ChatGPT 844 0

如何利用Transformers了解视觉语言模型

将模型称为 “视觉语言” 模型是什么意思？一个结合了视觉和语言模态的模型？但这到底是什么意思呢？

2023-03-03 标签：编码器语言模型 Clip 1038 0

如何让Transformer在征程5上跑得既快又好？以SwinT部署为例的优化探索

摘要：SwinT是目前视觉transformer模型中的典型代表，在常见视觉任务，如分类、检测、分割都有非常出色的表现。虽然在相同计算量的模型指标上，S...

2023-03-03 标签：gpu 模型 Transformer 979 0

一个给NLP领域带来革新的预训练语言大模型Bert

之前的文章和大家详细的介绍了静态的词向量表示word2vec理论加实战，但是word2vec存在一个很大的问题，由于是静态词向量所以无法表示一词多义，对...

2023-02-28 标签：GPT ELMOS Transformer 6.7万 0

ChatGPT的技术成份有多高

ChatGPT 由 GPT-3.5 模型提供支持，与传统思路不同，它采用了一种半监督式的训练机器说话。这是它的创新所在，也是它的独到之处。 GPT...

2023-02-21 标签：Transformer nlp ChatGPT 575 0

浅谈ChatGPT的技术架构

GPT家族与BERT模型都是知名的NLP模型，都基于Transformer技术。GPT-1只有12个Transformer层，而到了GPT-3，则增加到96层。

2023-02-21 标签：Transformer nlp ChatGPT 2863 0

ChatGPT的特点及原理

ChatGPT 是一种专注于对话生成的语言模型。它能够根据用户的文本输入，产生相应的智能回答。这个回答可以是简短的词语，也可以是长篇大论。其中GPT是G...

2023-02-21 标签：Transformer OpenAI ChatGPT 3809 0

ChatGPT的核心要点

ChatGPT的计算逻辑来自于一个名为transformer的算法，它来源于2017年的一篇科研论文《Attention is all your nee...

2023-02-21 标签：AI Transformer ChatGPT 864 0

结合计算机视觉深入理解视觉Transformer技术

一般讲解transformer都会以机器翻译任务为例子讲解，机器翻译任务是指将一种语言转换得到另一种语言，例如英语翻译为中文任务。

2023-02-09 标签：计算机视觉 cnn Transformer 746 0

利用Transformer和CNN 各自的优势以获得更好的分割性能

概述在这篇论文中，提出了一种新的医学图像分割混合架构：PHTrans，它在主要构建块中并行混合 Transformer 和 CNN，分别从全局和局部特...

2022-11-05 标签：数据集 cnn Transformer 6579 0

浅谈字节跳动开源8比特混合精度Transformer引擎

如何继续提升速度？降低计算精度是比较直接的方法。2017 年以来，fp16 混合精度技术 [2] 获得了广泛应用。在对模型效果无损的前提下，将模型训练和...

2022-11-01 标签：Transformer 字节跳动 582 0

使用自适应条形采样和双分支Transformer的DA-Net

目前的视网膜血管分割方法根据输入类型大致分为 image-level 和 patches-level 方法，为了从这两种输入形式中受益，这篇文章引入了一...

2022-10-31 标签：数据编码卷积 1396 0

普通视觉Transformer（ViT）用于语义分割的能力

本文探讨了普通视觉Transformer（ViT）用于语义分割的能力，并提出了SegViT。以前基于ViT的分割网络通常从ViT的输出中学习像素级表示。...

2022-10-31 标签：计算机视觉数据集 Transformer 5166 0

相关话题

换一批

IOT

IOT

+关注

IoT是Internet of Things的缩写，字面翻译是“物体组成的因特网”，准确的翻译应该为“物联网”。物联网（Internet of Things）又称传感网，简要讲就是互联网从人向物的延伸。
海思

海思

+关注
STM32F103C8T6

STM32F103C8T6

+关注

STM32F103C8T6是一款集成电路，芯体尺寸为32位，程序存储器容量是64KB，需要电压2V~3.6V，工作温度为-40°C ~ 85°C。
数字隔离

数字隔离

+关注

数字隔离技术常用于工业网络环境的现场总线、军用电子系统和航空航天电子设备中，尤其是一些应用环境比较恶劣的场合。数字隔离电路主要用于数字信号和开关量信号的传输。另一个重要原因是保护器件（或人）免受高电压的危害。本文详细介绍了数字隔离器工作原理及特点，选型及应用，各类数字隔离器件性能比较等内容。
硬件工程师

硬件工程师

+关注

硬件工程师Hardware Engineer职位要求熟悉计算机市场行情；制定计算机组装计划；能够选购组装需要的硬件设备，并能合理配置、安装计算机和外围设备；安装和配置计算机软件系统；保养硬件和外围设备；清晰描述出现的计算机软硬件故障。
wifi模块

wifi模块

+关注

Wi-Fi模块又名串口Wi-Fi模块，属于物联网传输层，功能是将串口或TTL电平转为符合Wi-Fi无线网络通信标准的嵌入式模块，内置无线网络协议IEEE802.11b.g.n协议栈以及TCP/IP协议栈。传统的硬件设备嵌入Wi-Fi模块可以直接利用Wi-Fi联入互联网，是实现无线智能家居、M2M等物联网应用的重要组成部分。
74ls74

74ls74

+关注

74LS74是双D触发器。功能多，可作双稳态、寄存器、移位寄存器、振荡器、单稳态、分频计数器等功能。本章详细介绍了74ls112的功能及原理，74ls74引脚图及功能表，74ls112的应用等内容。
MPU6050

MPU6050

+关注

MPU-6000（6050）为全球首例整合性6轴运动处理组件，相较于多组件方案，免除了组合陀螺仪与加速器时间轴之差的问题，减少了大量的封装空间。
Protues

Protues

+关注

Proteus软件是英国Lab Center Electronics公司出版的EDA工具软件（该软件中国总代理为广州风标电子技术有限公司）。它不仅具有其它EDA工具软件的仿真功能，还能仿真单片机及外围器件。
UHD

UHD

+关注

UHD是”超高清“的意思UHD的应用在电视机技术上最为普遍，目前已有不少厂商推出了UHD超高清电视。
STC12C5A60S2

STC12C5A60S2

+关注

在众多的51系列单片机中，要算国内STC 公司的1T增强系列更具有竞争力，因他不但和8051指令、管脚完全兼容，而且其片内的具有大容量程序存储器且是FLASH工艺的，如STC12C5A60S2单片机内部就自带高达60K FLASHROM，这种工艺的存储器用户可以用电的方式瞬间擦除、改写。
循迹小车

循迹小车

+关注

做单片机的工程师相比都堆循迹小车有所认识，它是自动引导机器人系统的基本应用，那么今天小编就给大家介绍下自动自动循迹小车的原理，智能循迹小车的应用，智能循迹小车程序，循迹小车用途等知识吧！
光立方

光立方

+关注

光立方是由四千多棵光艺高科技“发光树”组成的，在2009年10月1日天安门广场举行的国庆联欢晚会上面世。这是新中国成立六十周年国庆晚会最具创意的三大法宝之首。
K60

K60

+关注
LM2596

LM2596

+关注

LM2596是降压型电源管理单片集成电路的开关电压调节器，能够输出3A的驱动电流，同时具有很好的线性和负载调节特性。固定输出版本有3.3V、5V、12V，可调版本可以输出小于37V的各种电压。
光模块

光模块

+关注

光模块(optical module)由光电子器件、功能电路和光接口等组成，光电子器件包括发射和接收两部分。简单的说，光模块的作用就是光电转换，发送端把电信号转换成光信号，通过光纤传送后，接收端再把光信号转换成电信号。
STM32单片机

STM32单片机

+关注

STM32系列基于专为要求高性能、低成本、低功耗的嵌入式应用专门设计的ARM Cortex-M3内核
步进驱动器

步进驱动器

+关注

步进驱动器是一种将电脉冲转化为角位移的执行机构。当步进驱动器接收到一个脉冲信号，它就驱动步进电机按设定的方向转动一个固定的角度（称为“步距角”），它的旋转是以固定的角度一步一步运行的。可以通过控制脉冲个数来控制角位移量，从而达到准确定位的目的；同时可以通过控制脉冲频率来控制电机转动的速度和加速度，从而达到调速和定位的目的。
Nexperia

Nexperia

+关注

Nexperia是大批量生产基本半导体的领先专家，这些半导体是世界上每个电子设计都需要的组件。该公司广泛的产品组合包括二极管、双极晶体管、ESD 保护器件、MOSFET、GaN FET 以及模拟和逻辑IC。
CD4046

CD4046

+关注

cD4046是通用的CMOS锁相环集成电路，其特点是电源电压范围宽（为3V－18V），输入阻抗高（约100MΩ），动态功耗小，在中心频率f0为10kHz下功耗仅为600μW，属微功耗器件。本章主要介绍内容有，CD4046的功能 cd4046锁相环电路，CD4046无线发射，cd4046运用，cd4046锁相环电路图。
COMSOL

COMSOL

+关注

COMSOL集团是全球多物理场建模解决方案的提倡者与领导者。凭借创新的团队、协作的文化、前沿的技术、出色的产品，这家高科技工程软件公司正飞速发展，并有望成为行业领袖。其旗舰产品COMSOL Multiphysics 使工程师和科学家们可以通过模拟，赋予设计理念以生命。
加速度传感器

加速度传感器

+关注

加速度传感器是一种能够测量加速度的传感器。通常由质量块、阻尼器、弹性元件、敏感元件和适调电路等部分组成。
联网技术

联网技术

+关注
服务机器人

服务机器人

+关注

服务机器人是机器人家族中的一个年轻成员，到目前为止尚没有一个严格的定义。不同国家对服务机器人的认识不同。
四轴飞行器

四轴飞行器

+关注

四轴飞行器，又称四旋翼飞行器、四旋翼直升机，简称四轴、四旋翼。这四轴飞行器（Quadrotor）是一种多旋翼飞行器。四轴飞行器的四个螺旋桨都是电机直连的简单机构，十字形的布局允许飞行器通过改变电机转速获得旋转机身的力，从而调整自身姿态。具体的技术细节在“基本运动原理”中讲述。
基站测试

基站测试

+关注

802.11ac与11基站测试（base station tests）在基站设备安装完毕后，对基站设备电气性能所进行的测量。n的区别，802.11n无线网卡驱动，802.11n怎么安装。
TMS320F28335

TMS320F28335

+关注

TMS320F28335是一款TI高性能TMS320C28x系列32位浮点DSP处理器
静电防护

静电防护

+关注

为防止静电积累所引起的人身电击、火灾和爆炸、电子器件失效和损坏，以及对生产的不良影响而采取的防范措施。其防范原则主要是抑制静电的产生，加速静电泄漏，进行静电中和等。
SDK

SDK

+关注

　　SDK一般指软件开发工具包，软件开发工具包一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。软件开发工具广义上指辅助开发某一类软件的相关文档、范例和工具的集合。
OBD

OBD

+关注

OBD是英文On-Board Diagnostic的缩写，中文翻译为“车载诊断系统”。这个系统随时监控发动机的运行状况和尾气后处理系统的工作状态，一旦发现有可能引起排放超标的情况，会马上发出警示。

换一批

电机控制	DSP	氮化镓	功率放大器	ChatGPT	自动驾驶	TI	瑞萨电子
BLDC	PLC	碳化硅	二极管	OpenAI	元宇宙	安森美	ADI
无刷电机	FOC	IGBT	逆变器	文心一言	5G	英飞凌	罗姆
直流电机	PID	MOSFET	传感器	人工智能	物联网	NXP	赛灵思
步进电机	SPWM	充电桩	IPM	机器视觉	无人机	三菱电机	ST
伺服电机	SVPWM	光伏发电	UPS	AR	智能电网	国民技术	Microchip

瑞萨	沁恒股份	全志	国民技术	瑞芯微	兆易创新	芯海科技	Altium
德州仪器	Vishay	Micron	Skyworks	AMS	TAIYOYUDEN	纳芯微	HARTING
adi	Cypress	Littelfuse	Avago	FTDI	Cirrus LogIC	Intersil	Qualcomm
st	Murata	Panasonic	Altera	Bourns	矽力杰	Samtec	扬兴科技
microchip	TDK	Rohm	Silicon Labs	圣邦微电子	安费诺工业	ixys	Isocom Compo
安森美	DIODES	Nidec	Intel	EPSON	乐鑫	Realtek	ERNI电子
TE Connectivity	Toshiba	OMRON	Sensirion	Broadcom	Semtech	旺宏	英飞凌
Nexperia	Lattice	KEMET	顺络电子	霍尼韦尔	pulse	ISSI	NXP
Xilinx	广濑电机	金升阳	君耀电子	聚洵	Liteon	新洁能	Maxim
MPS	亿光	Exar	菲尼克斯	CUI	WIZnet	Molex	Yageo
Samsung	风华高科	WINBOND	长晶科技	晶导微电子	上海贝岭	KOA	Echelon
Coilcraft	LRC	trinamic

放大器	运算放大器	差动放大器	电流感应放大器	比较器	仪表放大器	可变增益放大器	隔离放大器
时钟	时钟振荡器	时钟发生器	时钟缓冲器	定时器	寄存器	实时时钟	PWM 调制器
视频放大器	功率放大器	频率转换器	扬声器放大器	音频转换器	音频开关	音频接口	音频编解码器
模数转换器	数模转换器	数字电位器	触摸屏控制器	AFE	ADC	DAC	电源管理
线性稳压器	LDO	开关稳压器	DC/DC	降压转换器	电源模块	MOSFET	IGBT
振荡器	谐振器	滤波器	电容器	电感器	电阻器	二极管	晶体管
变送器	传感器	解析器	编码器	陀螺仪	加速计	温度传感器	压力传感器
电机驱动器	步进驱动器	TWS	BLDC	无刷直流驱动器	湿度传感器	光学传感器	图像传感器
数字隔离器	ESD 保护	收发器	桥接器	多路复用器	氮化镓	PFC	数字电源

开关电源	步进电机	无线充电	LabVIEW	EMC	PLC	OLED	单片机
5G	m2m	DSP	MCU	ASIC	CPU	ROM	DRAM
NB-IoT	LoRa	Zigbee	NFC	蓝牙	RFID	Wi-Fi	SIGFOX
Type-C	USB	以太网	仿真器	RISC	RAM	寄存器	GPU
语音识别	万用表	CPLD	耦合	电路仿真	电容滤波	保护电路	看门狗
CAN	CSI	DSI	DVI	Ethernet	HDMI	I2C	RS-485
SDI	nas	DMA	HomeKit	阈值电压	UART	机器学习	TensorFlow

Arduino	BeagleBone	树莓派	STM32	MSP430	EFM32	ARM mbed	EDA
示波器	LPC	imx8	PSoC	Altium Designer	Allegro	Mentor	Pads
OrCAD	Cadence	AutoCAD	华秋DFM	Keil	MATLAB	MPLAB	Quartus

搜索历史

transformer

transformer技术

相关标签

相关话题

关注此标签的用户(0人)

C++	Java	Python	JavaScript	node.js	RISC-V	verilog	Tensorflow
Android	iOS	linux	RTOS	FreeRTOS	LiteOS	RT-THread	uCOS
DuerOS	Brillo	Windows11	HarmonyOS

林超文PCB设计：PADS教程，PADS视频教程	郑振宇老师：Altium Designer教程，Altium Designer视频教程
张飞实战电子视频教程	朱有鹏老师：海思HI3518e教程，HI3518e视频教程
李增老师：信号完整性教程，高速电路仿真教程	华为鸿蒙系统教程，HarmonyOS视频教程
赛盛：EMC设计教程，EMC视频教程	杜洋老师：STM32教程，STM32视频教程
唐佐林：c语言基础教程，c语言基础视频教程	张飞：BUCK电源教程，BUCK电源视频教程
正点原子：FPGA教程，FPGA视频教程	韦东山老师：嵌入式教程，嵌入式视频教程
张先凤老师：C语言基础视频教程	许孝刚老师：Modbus通讯视频教程
王振涛老师：NB-IoT开发视频教程	Mill老师：FPGA教程，Zynq视频教程
C语言视频教程	RK3566芯片资料合集
朱有鹏老师：U-Boot源码分析视频教程	开源硬件专题