标签　>　transformer

transformer

+关注0人关注

文章：135个浏览：6018次帖子：3个

全部技术资讯资料帖子视频产品方案企业

transformer资讯

无残差连接或归一化层，也能成功训练深度Transformer

最近，使用信号传播原则来训练更深度的 DNN 并且残差架构中没有残差连接和 / 或归一化层的参与，成为了社区感兴趣的领域。原因有两个：首先验证了残差架构...

2022-12-12 标签：神经网络 Transformer dnn 755 0

无残差连接或归一化层，也能成功训练深度transformer

残差架构是最流行和成功的，最初是在卷积神经网络（CNN）的背景下开发的，后来自注意力网络中产生了无处不在的 transformer 架构。残差架构之所以...

2022-12-12 标签：神经网络 Transformer dnn 763 0

全球首个面向遥感任务设计的亿级视觉Transformer大模型

简单来说，为了更好地应对遥感图像所具有的大尺寸特性以及图像中的目标物体的朝向任意性，我们提出了一种新的旋转可变尺寸窗口的注意力（Rotated Vari...

2022-12-09 标签：视觉数据集 Transformer 765 0

如何打造BEV + Transformer的技术架构？

这个架构的输入，是多个相机拍摄的图像，输出则是自动驾驶的一系列任务，当中包含了动态障碍物的检测和预测，静态场景的理解，以及这两个基础之上的一系列下游规控任务。

2022-11-18 标签：嵌入式自动驾驶 Transformer 6225 0

深度学习与图神经网络学习分享：Transformer

在过去的几年中，神经网络的兴起与应用成功推动了模式识别和数据挖掘的研究。许多曾经严重依赖于手工提取特征的机器学习任务（如目标检测、机器翻译和语音识别），...

2022-09-22 标签：神经网络深度学习 Transformer 1389 0

浅析归纳偏置对模型缩放的影响

首次推导出不同归纳偏置和模型架构的标度律。研究者发现这个标度系数在不同的模型中有很大的不同，并指出这是模型开发中的一个重要考虑因素。事实证明，在他们考虑...

2022-09-05 标签：谷歌模型 Transformer 757 0

一种360°全景定制的Transformer框架

在以ERP格式作为输入的前提下会有两种划分patch的方法：（1）直接等间距划分patch；（2）将球面全景图投影成重叠的perspective视口自然...

2022-08-31 标签：框架数据集 Transformer 1170 0

Transformer模型结构，训练过程

所以我们为此文章写了篇注解文档，并给出了一行行实现的Transformer的代码。本文档删除了原文的一些章节并进行了重新排序，并在整个文章中加入了相应的...

2022-06-20 标签：代码 Transformer pytorch 3874 0

领域迁移一种简单而有效的方法Alter

如图2所示，Transformer模型一般由输入嵌入层、输出层和若干结构相同的Transformer层堆叠组成。更具体地，每层由一个多头自注意力模块和前...

2022-04-07 标签：数据集 Transformer 1762 0

用于语言和视觉处理的高效 Transformer能在多种语言和视觉任务中带来优异效果

白皮书《Transformer-LS：用于语言和视觉处理的高效 Transformer》中提出了“长-短 Transformer” （Transform...

2021-12-28 标签：计算机视觉 Transformer 1592 0

Transformer的复杂度和高效设计及Transformer的应用

来自：AI部落联盟前言这次我们总结一下ACL2021中的Transformers，看看2021年了，NLPer在如何使用、应用、改进、分析Trans...

2021-09-01 标签：ACL Transformer nlp 6359 0

21个Transformer面试题的简单回答

请求和键值初始为不同的权重是为了解决可能输入句长与输出句长不一致的问题。并且假如QK维度一致，如果不用Q，直接拿K和K点乘的话，你会发现attentio...

2021-04-15 标签：编码器矩阵 Transformer 7516 0

详解一种简单而有效的Transformer提升技术

近些年，Transformer［1］逐渐成为了自然语言处理中的主流结构。为了进一步提升Transformer的性能，一些工作通过引入额外的结构或知识来提...

2021-04-09 标签：Dropout Transformer 自然语言处理 6781 0

将线性Transformer作为快速权重系统进行分析和改进

受过去对快速权重研究的启发，研究者建议用产生这种行为的替代规则替换更新规则。此外，该研究还提出了一个新的核函数来线性化注意力，平衡简单性和有效性。他们进...

2021-03-31 标签：人工智能深度学习 Transformer 1866 0

Transformer模型的多模态学习应用

随着Transformer在视觉中的崛起，Transformer在多模态中应用也是合情合理的事情，甚至以后可能会有更多的类似的paper。

2021-03-25 标签：视觉 paper Transformer 1.1万 0

删掉Transformer中的这几层性能变好了？

基于Transformer结构的各类语言模型（Bert基于其encoder,Gpt-2基于其decoder）早已经在各类NLP任务上大放异彩，面对让人眼...

2021-03-08 标签：人工智能深度学习 Transformer 4450 0

从浅入深学习Transformer的资料汇总

Transformers 加速了自然语言处理(NLP)任务的新技术和模型的发展。虽然它主要用于NLP任务，但现在它被大量应用于处理计算机视觉任务。这使它...

2021-03-05 标签：机器学习 Transformer 自然语言处理 2261 0

嵌入式快讯：M1808 AI 核心板和基于Transformer的车道线检测网络

导读：本期为 AI 嵌入式简报：今日推送干货多多，为关注嵌入式AI的你量身定制~ 1. 澎峰科技CEO张先轶详解利用AI开发板实现面向无人机的嵌入式视...

2020-12-21 标签：嵌入式 AI Mac 4887 0

NLP：谷歌Transformer再升级

当我们在翻译软件上输入 Transformer is a novel neural network architecture based on a se...

2020-11-06 标签：谷歌 Transformer 自然语言 1582 0

自监督学习与Transformer相关论文

导读国际表示学习大会（TheInternationalConference onLearningRepresentations）是致力于人工智能领域发...

2020-11-02 标签：人工智能深度学习 Transformer 2705 0

相关话题

换一批

IOT

IOT

+关注

IoT是Internet of Things的缩写，字面翻译是“物体组成的因特网”，准确的翻译应该为“物联网”。物联网（Internet of Things）又称传感网，简要讲就是互联网从人向物的延伸。
海思

海思

+关注
STM32F103C8T6

STM32F103C8T6

+关注

STM32F103C8T6是一款集成电路，芯体尺寸为32位，程序存储器容量是64KB，需要电压2V~3.6V，工作温度为-40°C ~ 85°C。
数字隔离

数字隔离

+关注

数字隔离技术常用于工业网络环境的现场总线、军用电子系统和航空航天电子设备中，尤其是一些应用环境比较恶劣的场合。数字隔离电路主要用于数字信号和开关量信号的传输。另一个重要原因是保护器件（或人）免受高电压的危害。本文详细介绍了数字隔离器工作原理及特点，选型及应用，各类数字隔离器件性能比较等内容。
硬件工程师

硬件工程师

+关注

硬件工程师Hardware Engineer职位要求熟悉计算机市场行情；制定计算机组装计划；能够选购组装需要的硬件设备，并能合理配置、安装计算机和外围设备；安装和配置计算机软件系统；保养硬件和外围设备；清晰描述出现的计算机软硬件故障。
wifi模块

wifi模块

+关注

Wi-Fi模块又名串口Wi-Fi模块，属于物联网传输层，功能是将串口或TTL电平转为符合Wi-Fi无线网络通信标准的嵌入式模块，内置无线网络协议IEEE802.11b.g.n协议栈以及TCP/IP协议栈。传统的硬件设备嵌入Wi-Fi模块可以直接利用Wi-Fi联入互联网，是实现无线智能家居、M2M等物联网应用的重要组成部分。
74ls74

74ls74

+关注

74LS74是双D触发器。功能多，可作双稳态、寄存器、移位寄存器、振荡器、单稳态、分频计数器等功能。本章详细介绍了74ls112的功能及原理，74ls74引脚图及功能表，74ls112的应用等内容。
MPU6050

MPU6050

+关注

MPU-6000（6050）为全球首例整合性6轴运动处理组件，相较于多组件方案，免除了组合陀螺仪与加速器时间轴之差的问题，减少了大量的封装空间。
Protues

Protues

+关注

Proteus软件是英国Lab Center Electronics公司出版的EDA工具软件（该软件中国总代理为广州风标电子技术有限公司）。它不仅具有其它EDA工具软件的仿真功能，还能仿真单片机及外围器件。
UHD

UHD

+关注

UHD是”超高清“的意思UHD的应用在电视机技术上最为普遍，目前已有不少厂商推出了UHD超高清电视。
STC12C5A60S2

STC12C5A60S2

+关注

在众多的51系列单片机中，要算国内STC 公司的1T增强系列更具有竞争力，因他不但和8051指令、管脚完全兼容，而且其片内的具有大容量程序存储器且是FLASH工艺的，如STC12C5A60S2单片机内部就自带高达60K FLASHROM，这种工艺的存储器用户可以用电的方式瞬间擦除、改写。
循迹小车

循迹小车

+关注

做单片机的工程师相比都堆循迹小车有所认识，它是自动引导机器人系统的基本应用，那么今天小编就给大家介绍下自动自动循迹小车的原理，智能循迹小车的应用，智能循迹小车程序，循迹小车用途等知识吧！
光立方

光立方

+关注

光立方是由四千多棵光艺高科技“发光树”组成的，在2009年10月1日天安门广场举行的国庆联欢晚会上面世。这是新中国成立六十周年国庆晚会最具创意的三大法宝之首。
K60

K60

+关注
LM2596

LM2596

+关注

LM2596是降压型电源管理单片集成电路的开关电压调节器，能够输出3A的驱动电流，同时具有很好的线性和负载调节特性。固定输出版本有3.3V、5V、12V，可调版本可以输出小于37V的各种电压。
光模块

光模块

+关注

光模块(optical module)由光电子器件、功能电路和光接口等组成，光电子器件包括发射和接收两部分。简单的说，光模块的作用就是光电转换，发送端把电信号转换成光信号，通过光纤传送后，接收端再把光信号转换成电信号。
STM32单片机

STM32单片机

+关注

STM32系列基于专为要求高性能、低成本、低功耗的嵌入式应用专门设计的ARM Cortex-M3内核
步进驱动器

步进驱动器

+关注

步进驱动器是一种将电脉冲转化为角位移的执行机构。当步进驱动器接收到一个脉冲信号，它就驱动步进电机按设定的方向转动一个固定的角度（称为“步距角”），它的旋转是以固定的角度一步一步运行的。可以通过控制脉冲个数来控制角位移量，从而达到准确定位的目的；同时可以通过控制脉冲频率来控制电机转动的速度和加速度，从而达到调速和定位的目的。
Nexperia

Nexperia

+关注

Nexperia是大批量生产基本半导体的领先专家，这些半导体是世界上每个电子设计都需要的组件。该公司广泛的产品组合包括二极管、双极晶体管、ESD 保护器件、MOSFET、GaN FET 以及模拟和逻辑IC。
CD4046

CD4046

+关注

cD4046是通用的CMOS锁相环集成电路，其特点是电源电压范围宽（为3V－18V），输入阻抗高（约100MΩ），动态功耗小，在中心频率f0为10kHz下功耗仅为600μW，属微功耗器件。本章主要介绍内容有，CD4046的功能 cd4046锁相环电路，CD4046无线发射，cd4046运用，cd4046锁相环电路图。
COMSOL

COMSOL

+关注

COMSOL集团是全球多物理场建模解决方案的提倡者与领导者。凭借创新的团队、协作的文化、前沿的技术、出色的产品，这家高科技工程软件公司正飞速发展，并有望成为行业领袖。其旗舰产品COMSOL Multiphysics 使工程师和科学家们可以通过模拟，赋予设计理念以生命。
加速度传感器

加速度传感器

+关注

加速度传感器是一种能够测量加速度的传感器。通常由质量块、阻尼器、弹性元件、敏感元件和适调电路等部分组成。
联网技术

联网技术

+关注
服务机器人

服务机器人

+关注

服务机器人是机器人家族中的一个年轻成员，到目前为止尚没有一个严格的定义。不同国家对服务机器人的认识不同。
四轴飞行器

四轴飞行器

+关注

四轴飞行器，又称四旋翼飞行器、四旋翼直升机，简称四轴、四旋翼。这四轴飞行器（Quadrotor）是一种多旋翼飞行器。四轴飞行器的四个螺旋桨都是电机直连的简单机构，十字形的布局允许飞行器通过改变电机转速获得旋转机身的力，从而调整自身姿态。具体的技术细节在“基本运动原理”中讲述。
基站测试

基站测试

+关注

802.11ac与11基站测试（base station tests）在基站设备安装完毕后，对基站设备电气性能所进行的测量。n的区别，802.11n无线网卡驱动，802.11n怎么安装。
TMS320F28335

TMS320F28335

+关注

TMS320F28335是一款TI高性能TMS320C28x系列32位浮点DSP处理器
静电防护

静电防护

+关注

为防止静电积累所引起的人身电击、火灾和爆炸、电子器件失效和损坏，以及对生产的不良影响而采取的防范措施。其防范原则主要是抑制静电的产生，加速静电泄漏，进行静电中和等。
SDK

SDK

+关注

　　SDK一般指软件开发工具包，软件开发工具包一般都是一些软件工程师为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。软件开发工具广义上指辅助开发某一类软件的相关文档、范例和工具的集合。
OBD

OBD

+关注

OBD是英文On-Board Diagnostic的缩写，中文翻译为“车载诊断系统”。这个系统随时监控发动机的运行状况和尾气后处理系统的工作状态，一旦发现有可能引起排放超标的情况，会马上发出警示。

换一批

电机控制	DSP	氮化镓	功率放大器	ChatGPT	自动驾驶	TI	瑞萨电子
BLDC	PLC	碳化硅	二极管	OpenAI	元宇宙	安森美	ADI
无刷电机	FOC	IGBT	逆变器	文心一言	5G	英飞凌	罗姆
直流电机	PID	MOSFET	传感器	人工智能	物联网	NXP	赛灵思
步进电机	SPWM	充电桩	IPM	机器视觉	无人机	三菱电机	ST
伺服电机	SVPWM	光伏发电	UPS	AR	智能电网	国民技术	Microchip

瑞萨	沁恒股份	全志	国民技术	瑞芯微	兆易创新	芯海科技	Altium
德州仪器	Vishay	Micron	Skyworks	AMS	TAIYOYUDEN	纳芯微	HARTING
adi	Cypress	Littelfuse	Avago	FTDI	Cirrus LogIC	Intersil	Qualcomm
st	Murata	Panasonic	Altera	Bourns	矽力杰	Samtec	扬兴科技
microchip	TDK	Rohm	Silicon Labs	圣邦微电子	安费诺工业	ixys	Isocom Compo
安森美	DIODES	Nidec	Intel	EPSON	乐鑫	Realtek	ERNI电子
TE Connectivity	Toshiba	OMRON	Sensirion	Broadcom	Semtech	旺宏	英飞凌
Nexperia	Lattice	KEMET	顺络电子	霍尼韦尔	pulse	ISSI	NXP
Xilinx	广濑电机	金升阳	君耀电子	聚洵	Liteon	新洁能	Maxim
MPS	亿光	Exar	菲尼克斯	CUI	WIZnet	Molex	Yageo
Samsung	风华高科	WINBOND	长晶科技	晶导微电子	上海贝岭	KOA	Echelon
Coilcraft	LRC	trinamic

放大器	运算放大器	差动放大器	电流感应放大器	比较器	仪表放大器	可变增益放大器	隔离放大器
时钟	时钟振荡器	时钟发生器	时钟缓冲器	定时器	寄存器	实时时钟	PWM 调制器
视频放大器	功率放大器	频率转换器	扬声器放大器	音频转换器	音频开关	音频接口	音频编解码器
模数转换器	数模转换器	数字电位器	触摸屏控制器	AFE	ADC	DAC	电源管理
线性稳压器	LDO	开关稳压器	DC/DC	降压转换器	电源模块	MOSFET	IGBT
振荡器	谐振器	滤波器	电容器	电感器	电阻器	二极管	晶体管
变送器	传感器	解析器	编码器	陀螺仪	加速计	温度传感器	压力传感器
电机驱动器	步进驱动器	TWS	BLDC	无刷直流驱动器	湿度传感器	光学传感器	图像传感器
数字隔离器	ESD 保护	收发器	桥接器	多路复用器	氮化镓	PFC	数字电源

开关电源	步进电机	无线充电	LabVIEW	EMC	PLC	OLED	单片机
5G	m2m	DSP	MCU	ASIC	CPU	ROM	DRAM
NB-IoT	LoRa	Zigbee	NFC	蓝牙	RFID	Wi-Fi	SIGFOX
Type-C	USB	以太网	仿真器	RISC	RAM	寄存器	GPU
语音识别	万用表	CPLD	耦合	电路仿真	电容滤波	保护电路	看门狗
CAN	CSI	DSI	DVI	Ethernet	HDMI	I2C	RS-485
SDI	nas	DMA	HomeKit	阈值电压	UART	机器学习	TensorFlow

Arduino	BeagleBone	树莓派	STM32	MSP430	EFM32	ARM mbed	EDA
示波器	LPC	imx8	PSoC	Altium Designer	Allegro	Mentor	Pads
OrCAD	Cadence	AutoCAD	华秋DFM	Keil	MATLAB	MPLAB	Quartus

搜索历史

transformer

transformer资讯

相关标签

相关话题

关注此标签的用户(0人)

C++	Java	Python	JavaScript	node.js	RISC-V	verilog	Tensorflow
Android	iOS	linux	RTOS	FreeRTOS	LiteOS	RT-THread	uCOS
DuerOS	Brillo	Windows11	HarmonyOS

林超文PCB设计：PADS教程，PADS视频教程	郑振宇老师：Altium Designer教程，Altium Designer视频教程
张飞实战电子视频教程	朱有鹏老师：海思HI3518e教程，HI3518e视频教程
李增老师：信号完整性教程，高速电路仿真教程	华为鸿蒙系统教程，HarmonyOS视频教程
赛盛：EMC设计教程，EMC视频教程	杜洋老师：STM32教程，STM32视频教程
唐佐林：c语言基础教程，c语言基础视频教程	张飞：BUCK电源教程，BUCK电源视频教程
正点原子：FPGA教程，FPGA视频教程	韦东山老师：嵌入式教程，嵌入式视频教程
张先凤老师：C语言基础视频教程	许孝刚老师：Modbus通讯视频教程
王振涛老师：NB-IoT开发视频教程	Mill老师：FPGA教程，Zynq视频教程
C语言视频教程	RK3566芯片资料合集
朱有鹏老师：U-Boot源码分析视频教程	开源硬件专题