0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于360全景环视系统技术简要分析

tUM2_ADA 来源:djl 作者:ADAS 2019-08-08 14:40 次阅读

360全景环视系统恐怕是中国最受欢迎的ADAS功能,国产品牌中高端车一般标配360度全景环视系统,出货量最大的莫过于传祺GS8和吉利博越。传祺GS8主力车型18.28万豪华智联版并非顶配车型,但标配360全景环视系统。GS8的车机由哈曼完成,360度全景环视系统由德尔福提供。吉利博越则在12.98万的手动智慧版就标配360全景环视系统,13万以上的吉利博越车型全部标配360全景环视系统,吉利博越的高配车机由博泰提供,360全景环视系统由纵目科技提供算法和方案,由重庆桑德科技提供PCB板和硬件制造,由德赛西威提供摄像头。2016年吉利博越销量109080,估计有30%配备了360全景环视系统,也就是大约3.8万套。

360全景环视系统可以简单分为与导航CPU共享运算资源型(吉利博越)和单独CPU型(传祺GS8)。国际上一般叫AVM(AroundView Monitor),最早的AVM由歌乐(日立汽车子公司)与日产联合开发,在2003年推出。

在国际专利数据库中查询相关专利,关键词如下

关于360全景环视系统技术简要分析

1990-2013年全景环视系统AVM的专利数

关于360全景环视系统技术简要分析

AVM专利数自2013年开始下降,这就意味着AVM已经成熟,已经不是研发重点了。

AVM专利公司分布

关于360全景环视系统技术简要分析

丰田旗下的电装专利数量最多,其次是日产、本田、爱信精机、富士通天、住友电气、日本电装、阿尔派、日产、丰田、爱信AW、歌乐、松下、住友线束、博世、Matsushita Electric、Toyota Jidosha、阿尔派等。

1.LUT技术

对于共用导航CPU的360全景环视系统,一般采用以LUT为核心的技术方式。

典型360全景环视系统流程

关于360全景环视系统技术简要分析

脱机前置作业程序包含了相机校正、 扭曲校正、 估测暗角参数、 鸟瞰转换与影像对位。 经过脱机前置作业程序后会生成一张全周鸟瞰影像与各相机影像间的几何关系对应表LUT (Look Up Table), 之后因相机参数固定, 相机间几何关系也不变, 可用查表方式连续生成全周影像。 在线实时作业程序包含影像点内插、暗角效应补偿、 亮度一致化与色彩混合处理, 最终生成环景鸟瞰图像。LUT是最重要的,LUT的生成需要CMOS传感器厂家和镜头厂家配合提供。

关于360全景环视系统技术简要分析

利用上面这两个方程设计人员能够将校正图像上的每一像素点映射到输入图像的每一像素点。校正后的鱼眼图像在水平方向没有全景失真。

拼接图像时,需要对图像进行配准,以确定重叠区。图像必须来自两个以上相同的镜头,其主轴都位于同一水平面。而且,镜头必须分开一点距离,彼此有些转动。假设景象中的所有目标都足够远,这种情况可以建模为一个镜头沿垂直轴旋转得到不同的图像。在这些假设下,方程表示的校正功能将图像变换为彼此水平平移。校正后,只需要指出图像之间对准时的水平移位就能够解决图像配准问题。但是,由于镜头对准误差,实际中,只有水平方向对准还不能完全配准图像。因此,除了水平平移,还需要进行垂直平移才能完全对准。

确定了经过校正的鱼眼图像的配准参数后,方程采用水平和垂直平移常数,适当的平移 (xq,yq),将输出拼接图像的每一像素映射到多幅输入图像的一幅中。很明显,这种映射方法与图像内容无关,而取决于镜头的特性(包括 FOV 和输入图像分辨率)、显示(包括分辨率),以及配准参数等。因此,可以通过在启动时进行一次计算,结果存储为查找表 (LUT),实现映射。

关于360全景环视系统技术简要分析

还有一个失真校正LUT,有些小企业得不到镜头厂家的支持或者节约成本干脆省掉了这个环节。

关于360全景环视系统技术简要分析

很明显这个LUT得由镜头厂家提供,所以镜头厂家的地位可是很高滴。从上面的流程中我们可以看出,这种360度全景环视系统技术含量并不高。

这种技术方案的缺点是算法简单,所占运算资源很少,成本很低,缺点是图像缺乏立体感,鲁棒性差,毕竟是静态标定的,再有是4个鱼眼镜头拼接导致视距很短,完全依赖360全景系统仍然不算太安全。有些厂家会增加一级透视变换,就是增加立体感。

关于360全景环视系统技术简要分析

使用3D图像引擎(SGX544)生成3D Mesh Table,GPU做Rendering。

关于360全景环视系统技术简要分析

2.Wrap Around View

富士通提出另一种做法,这就是富士通引以为傲的Wrap Around View,此技术于2009年推出。

关于360全景环视系统技术简要分析

富士通采用虚拟曲线半球面投影,而非平面投影,这种投影3D立体感强,视距扩展,失真小,画面更加自然,成本也增加不少。从2009年推出的第一代MB86R01,到2013年推出MB86R24。历经数代,性能越来越强。MB86R24内含两个ARM Cortex-9内核,采用55纳米工艺,运算能力大约为4000DMIPS ,采用PowerVR SGX543 3D图像引擎,富士通2D图像引擎,支持6个全HD摄像头输入。摄像头的FOV不必要求太高,120度也可,这样就可以探测到比较远的物体。 物体靠近侦测ApproachingObject Detection功能,一旦有一侧的摄像头侦测到有移动物体变自动切换到那个摄像头覆盖的画面,这个原理很简单,移动物体会让码率增加,简单对比码率即可得知。

富士通运用灵活的时间帧来采集两个不同的图形,能够检测大约40-60米远的目标,传统的图形识别只能做到5-10米。 MB86R24典型应用是在英菲尼迪的高端车上。

关于360全景环视系统技术简要分析

上图为MB86R24的内部框架图,当然这款芯片除了360全景也可以做Infotainment、仪表和AR HUD。

3.视觉里程计技术

英伟达则使用更高大上的技术,用视觉里程计来打造360度环视系统。英伟达认为传统的环视系统都太LOW,特别动态情况下有拖影或者叠影。英伟达使用无人驾驶领域中的视觉里程计技术,使用视频流6DOF来获得高精度的校准参数,使视觉里程计达到实用地步,远超传统的方向盘转角与车辆速度的2DOF校准。

关于360全景环视系统技术简要分析

关于360全景环视系统技术简要分析

这当然需要强大的GPU来支持,至少是Tk1的级别,这种技术再前进一步就是全自动泊车了。

关于360全景环视系统技术简要分析

360全景技术难度不高,关键在于怎么控制成本。360环视系统的成本控制点不在处理器而在连接器和连接线。如果采用数字视频传输,那么一般需要采用LVDS接口,这就需要车规级的LVDS连接器和连接线,每条的价格在6-10美元之间,最顶级的LVDS连接器和连接线据说价格逼近1000元人民币,几乎和低端车机价格相同。为解决这个高成本问题,美信推出MAX9286,MAX9286配合MAX96709,能够用普通同轴电缆代替LVDS,同时实现1.5Gbps的带宽。再有就是采用以太网(EAVB)传输视频,NXP的MPC5604E做MCU博通的BroadRReach做物理层连接,可以将以太网输入转化为FlexCAN或LINFlex,这是宝马奔驰喜欢用的总线。对高清的支持,EAVB显然性能最佳。当然成本也不低。

低端厂家当然不会有这个麻烦,他们不用数字视频传输,他们是模拟视频接口。当然ADC不可或缺,ADI和Insteril(已被瑞萨收购)有不少低价ADC,如ADV7184,ISL79985,ISL79986,TW6865,TW9966。

360全景系统的标定也是很关键的一环,大家最常见的就是黑白棋盘式校准,高端车则采用框线式。实际还有很多种。

关于360全景环视系统技术简要分析

关于360全景环视系统技术简要分析

360环视系统发展空间巨大,目前都采用180度FOV的鱼眼镜头,虽然经过了失真矫正,但不可能达到传统摄像头的效果,图像周边仍然桶形失真明显,3D感也很差。同时鱼眼镜头的有效距离也太短了。未来可能用6到8个90度FOV摄像头取代鱼眼镜头,配合视觉里程计最终发展为全自动泊车。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 自动泊车
    +关注

    关注

    0

    文章

    104

    浏览量

    13682
  • 3D图像
    +关注

    关注

    0

    文章

    38

    浏览量

    10722
  • 360全景环视
    +关注

    关注

    2

    文章

    12

    浏览量

    5894
收藏 人收藏

    评论

    相关推荐

    看看汽车生产厂商都有哪些360全景环视系统

    昨日,小编已经为大家带来安森美半导体在汽车360°环视系统上推出的相关模块化参考设计、图像传感及图像处理、前视倒车摄像机具体解决方案。今天再为大家带来几则国内外知名汽车生产商所研发的一系列比较成熟的
    发表于 03-15 10:52 2w次阅读

    360°全景可视泊车/行车记录(四路全景+行车记录仪+熄火震)

    360全景可视(鸟瞰)泊车系统推出升级版了,视频效果在本网站首页,请点击观看!360°全景监控系统
    发表于 05-22 14:01

    【MiCOKit申请】360全景泊车系统

    申请理由:应用于360全景泊车系统的底层控制板的开发。项目描述:360全景泊车辅助系统是近年来
    发表于 07-24 11:59

    环视全景摄像头应用在那些场合和起到作用有哪些

    技术上有其局限性,如上文所述的图像失真等问题,以及鱼眼环视全景摄像头的超广角效果,虽然能监控大范围面积,但相对来说,它的焦距很短,使得侦测范围大受限制,大约在半径5米内可以看清人脸,更远的话就会显得模糊
    发表于 05-23 10:30

    Full-HD 3D 360°全景环视与ADAS系统解决方案

    致力于亚太地区市场的领先半导体元器件分销商---大联大控股宣布,其旗下世平联合驰晶科技推出基于众多国际大厂产品的Full-HD 3D 360°全景环视与ADAS系统解决方案,支持
    发表于 04-10 14:26 1.4w次阅读
    Full-HD 3D <b class='flag-5'>360</b>°<b class='flag-5'>全景</b><b class='flag-5'>环视</b>与ADAS<b class='flag-5'>系统</b>解决方案

    VR技术线上展现全景智慧城市,为商家和用户提供全景多平台展现

    VR、VR全景360全景、720全景、3D全景360全景
    发表于 06-25 17:30 1272次阅读

    360全景环视系统整体解决方案

    360全景环视系统整体解决方案,和盲区说Bye-bye 360全景
    发表于 03-26 11:38 6276次阅读

    莫之比8路360全景环视系统已在智轨上成功应用

    历时一年多,我司与株洲中车的智慧轨道交通(智轨ART)战略合作--8路360全景环视系统产品终于有了战果。目前株洲、宜宾、哈尔滨等地都已开通智轨,我司十分荣幸在智轨交通上参与了项目研发
    的头像 发表于 03-31 16:08 3467次阅读
    莫之比8路<b class='flag-5'>360</b><b class='flag-5'>全景</b><b class='flag-5'>环视</b><b class='flag-5'>系统</b>已在智轨上成功应用

    360全景环视系统

    360全景环视系统说明资料
    发表于 10-25 16:27 6次下载

    “上帝视觉”的360全景影像该如何选?

    360°全景影像安全驾驶辅助系统定制化的解决方案,形成“上帝视角”,解决因为车身过大导致看不到,实现车身周围360°的盲区可视,真正给驾驶员打造一个
    的头像 发表于 03-15 11:52 1430次阅读

    360全景环视发展历程

    随着图像处理技术的不断发展,360全景环视从无到有,从有到精。目前取得了大众消费者的普遍认可。
    的头像 发表于 01-14 17:35 2626次阅读
    <b class='flag-5'>360</b><b class='flag-5'>全景</b><b class='flag-5'>环视</b>发展历程

    全景环视原理说明

    本文主要介绍360全景环视系统的原理说明。
    的头像 发表于 01-14 18:59 2014次阅读
    <b class='flag-5'>全景</b><b class='flag-5'>环视</b>原理说明

    360°环视性能倍增!瑞芯微发布RK3588M智能车载全景环视方案

    如今,安全性的辅助功能逐渐成为影响消费者购买车辆的重要因素之一,不少车主越来越依赖可视界面来辅助行车,对新手司机而言尤为重要,可大大降低事故率,360°全景环视已经逐渐成为车辆新标配。随着技术
    的头像 发表于 09-28 15:50 1904次阅读
    <b class='flag-5'>360</b>°<b class='flag-5'>环视</b>性能倍增!瑞芯微发布RK3588M智能车载<b class='flag-5'>全景</b><b class='flag-5'>环视</b>方案

    360全景环视发展历程

    全景环视概念最早是由K.Kate,M.Suzuki,Y.Fujita,Y.Hirama等四人于2006年首先提出。这一概念提出后,马上引起了国内外众多汽车生产厂商和相关科研单位的注意。2007年
    发表于 01-14 17:22 7次下载

    360全景环视原理说明

    总述全景环视系统是通过安装在汽车前、后、左、右四个广角摄像头采集的车辆四周的实时画面,通过摄像头内参标定,外参标定,鱼眼图像畸变矫正,全景模型拼接,亮度均衡等算法,形成一幅准确的2D拼
    发表于 01-17 09:51 24次下载