说到纯视觉的自动驾驶方案,大家第一个想到的就是Tesla吧。的确,早在2021年,Tesla就已经实现了纯视觉的BEV检测方案,而且效果非常好。
细心的同学可能发现了,这套BEV方案中将相机空间的图像转换到BEV空间的核心组件就是Transformer。
Transformer来源于自然语言处理领域,首先被应用于机器翻译。后来,大家发现它在计算机视觉领域效果也很不错,而且在各大排行榜上碾压CNN网络。
目标检测领域中,视觉Transformer不仅可以实现2D检测、3D检测,还可以实现多模态检测,BEV视角下的检测,性能也非常出色。
因此,掌握Transformer相关知识和工程基础成为了企业招聘算法工程师的一个技能要求点,也是简历上的一个很大的加分项。
然而,想要掌握基于Transformer的目标检测算法,有以下3个难点:
理解Transformer背后的理论基础,比如自注意力机制(self-attention), 位置编码(positional embedding),目标查询(object query)等等,网上的资料比较杂乱,不够系统,难以通过自学做到深入理解并融会贯通。
掌握基于Transformer的目标检测算法的思路和创新点,一些Transformer论文涉及的新概念比较多,话术没有那么通俗易懂,读完论文仍然不理解算法的细节部分。
2
Transformer代码不易看懂,因为作用机制与CNN有不少差别,所以完全理解代码并实践应用需要花费很大功夫。
3
那么如何学习基于Tansformer的目标检测算法呢?
实践部分
审核编辑:刘清
-
计算机视觉
+关注
关注
8文章
1613浏览量
45717 -
自动驾驶
+关注
关注
776文章
13246浏览量
164137 -
Transformer
+关注
关注
0文章
131浏览量
5916
原文标题:Transformer在自动驾驶中的应用前景怎么样?
文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
基于Anomalib和AI x Board的SIMOTECH在线缺陷检测系统
![基于Anomalib和AI x Board的SIMOTECH在线缺陷<b class='flag-5'>检测</b>系统](https://file1.elecfans.com/web2/M00/A2/97/wKgaomTxS7mASKcoAAA6vfuy2WQ277.png)
基于Transformer的目标检测算法难点
![基于Transformer的<b class='flag-5'>目标</b><b class='flag-5'>检测算法</b>难点](https://file1.elecfans.com/web2/M00/95/3C/wKgaomTmzL6AABM6AAA5eUWRJ3E880.png)
机器学习有哪些算法?机器学习分类算法有哪些?机器学习预判有哪些算法?
基于Transformer的目标检测算法
![基于Transformer的<b class='flag-5'>目标</b><b class='flag-5'>检测算法</b>](https://file1.elecfans.com/web2/M00/90/AB/wKgZomTcOjWAOmr4AAA5eUWRJ3E280.png)
基于Transformer的目标检测算法的3个难点
![基于Transformer的<b class='flag-5'>目标</b><b class='flag-5'>检测算法</b>的3个难点](https://file1.elecfans.com/web2/M00/8D/02/wKgZomS2G6CAOk0RAABCQYt4u1M168.png)
无Anchor的目标检测算法边框回归策略
![无Anchor的<b class='flag-5'>目标</b><b class='flag-5'>检测算法</b>边框回归策略](https://file1.elecfans.com/web2/M00/8C/E2/wKgZomS0srSAIyQMAAAMrg-lD5s923.jpg)
基于深度学习模型融合的产品工艺缺陷检测算法简述
![基于深度<b class='flag-5'>学习</b>模型融合的产品工艺缺陷<b class='flag-5'>检测算法</b>简述](https://file1.elecfans.com/web2/M00/8C/23/wKgaomSmZBiAC_zsAAArH_IX6ns142.png)
评论