FPGA对自动驾驶的发展有什么作用

现在，我们可以在家里跟我们的虚拟语音助手对话，以获取天气、播放音乐或者接听电话。拿起我们的智能手机，只需面向前置摄像头就能完成解锁，跟它对话就能获得导航。由于人工智能（AI），特别是基于神经网络（Neural Networks，NN）的算法，生活正变得更轻松更方便。将人工智能应用于汽车又会如何？召唤来的出租车不再需要司机？自动驾驶汽车送我们上班的途中，我们还可以浏览电子邮件？是的，但在消费类应用中，它需要特定的计算硬件。

在Yole最近发布的《汽车人工智能计算技术及市场趋势-2019版》报告中，将自动驾驶汽车市场分为两个部分：一种是我们所熟悉的汽车，正逐渐整合越来越多的功能，使其越来越自动化；另一种是无人驾驶汽车，在低速和特定区域已经实现完全自动控制，在传感器和计算硬件方面多种方案正在竞争。据麦姆斯咨询介绍，未来10年，随着无人驾驶出租车和穿梭巴士的发展，该市场将成为汽车人工智能应用的主要营收来源，预计2028年汽车人工智能计算市场的总营收将达到90亿美元。2019年，首批符合“ADAS 3级”标准的汽车将上路，人工智能将进入ADAS 2级汽车，取代传统的计算机视觉算法。Yole预计2019年ADAS计算市场规模将达到6300万美元，而到了2028年这一数字将达到近37亿美元。

汽车中的视觉处理器

现场可编程门阵列（FPGA）是实现这些愿景的特定计算硬件之一。为了让我们的读者更好地了解这项技术，Yole软件和计算市场与技术分析师Yohann Tschudi博士采访了赛灵思（Xilinx）高级总监Willard Tu先生，与其交流了FPGA在未来自动驾驶中的关键作用。

Yohann Tschudi（以下简称YT）：您好！首先请您介绍一下自己以及在Xilinx负责的主要业务。

Willard Tu（以下简称WT）：我负责Xilinx的全球汽车业务。我在汽车行业从业超过25年，在Xilinx之前我曾先后在Arm（现被软银收购）、NEC（现为瑞萨）、National Semi（现为TI）和摩托罗拉（现为NXP）工作。正如您所看到的，半导体产业增长放缓，而汽车产业更是遭遇萎缩。

YT：业界一直认为FPGA不好做，很难找到开发人员，通常在教育或非常特定的用例中应用，您认为这一形象正在如何改变？为什么会出现改变？

WT：主要在于三个方面的原因：量、创新和快速应变。从量的角度来说，半导体公司希望有足够的量来填满其晶圆厂的产能。但是，高级驾驶辅助系统（ADAS）或自动驾驶等创新功能，与动力总成、车身控制、安全气囊ECU等应用的芯片不在一个量级上。因此，市场难以创建高度集成且成本优化的解决方案。更不利的是，半导体公司正变得越来越少，而自己拥有晶圆厂的公司更少。必须更加注重创新和差异化。因此，当ADAS或自动驾驶产业仍在不断增长时，FPGA成为它们的完美选择。

汽车人工智能市场价值链及相互影响

创新和快速应变都受益于FPGA的适应性。一项技术处于创新阶段时，是没有标准制造方法的。ADAS和自动驾驶正处于这一阶段。安全气囊ECU已经成熟，基本上供应商彼此之间都具有相同的功能和内容，但对于一种新兴技术来说，情况完全不同。

FGPA可以实现创新，适应需求或人工智能技术的快速变化，并在提供这些优势的同时兼具成本效益。

YT：请您解读一下Xilinx是如何选择进入汽车市场，尤其是ADAS市场的？

WT：Xilinx早在14年前就进入了汽车市场。目前，全球汽车系统中应用了超过1.6亿颗Xilinx芯片，其中约有5500万颗专门用于ADAS。

ADAS和自动驾驶需要更高的性能来感知所有驾驶条件下车辆周围的环境状况。Xilinx灵活且可重新编程的汽车平台，是满足这些需求的理想解决方案。

YT：请您介绍一下Xilinx的硬件解决方案和软件堆栈。

WT：FPGA技术的优点在于，它对于工程师来说就像一张空白表，可以创建自己的硬件和高度差异化的解决方案。跟我们广受欢迎的Zynq MPSoC ZU3相同的SoC，目前正被用于前视摄像头、360°环视系统以及驾驶员监控系统，它还被设计用于激光雷达（LiDAR）和4D成像雷达。我们的SoC就像是一种“变色龙”，它们可以适应许多不同的应用需求。

Xilinx选择从ARM授权处理器架构，这与我们的汽车客户群非常一致。几乎所有主要汽车操作系统供应商都将其产品移植到了Xilinx芯片，包括eSOL、Mentor、Greenhills、Vector、Micrium、QNX、Sysgo、Windriver等。值得注意的是，这些包括了标准的汽车操作系统和虚拟化管理程序。对于AUTOSAR，Xilinx提供了一个微控制器抽象层，使AUTOSAR OS提供商能够将其产品移植到Xilinx芯片。

Xilinx还为其产品中的元件提供固件，例如平台管理单元。

YT：就您看来，在ADAS和自动驾驶领域采用FPGA有什么利弊？

WT：在ADAS和自动驾驶等应用中使用Xilinx技术的优势，可能会根据客户的具体目标而有所不同。从严格的芯片性能角度来看，创建并行化、同步处理的能力可以降低延迟和功耗。对于ADAS和自动驾驶应用，更低的延迟显然至关重要。

低功耗也意味着更少的热负荷，热负荷对于安装在挡风玻璃、车顶内衬和其它高环境温度区域的模块可能是个问题。通过并行计算，时钟可以运行得更慢，从而降低了通量的动态功耗。

说到通量，可以提到芯片的每秒理论运行次数，但对于客户来说真正的价值在于计算引擎的利用率，即理论性能和实际性能之间的差异。Xilinx可编程逻辑包含大量的路由链路以及大量的小型存储。这些资源的组合使设计人员能够为其计算引擎创建定制的数据馈送网络，以获得更高的利用水平。

Xilinx汽车芯片的优势远远超越了我们所讨论的性能参数。首先，Xilinx可编程逻辑为客户提供了高度的灵活性，以适应ADAS和自动驾驶等新兴应用领域不断变化的需求。利用改进的接口标准、算法创新和新的传感器技术，都需要适应性强的平台，不仅可以支持软件更改，还可以支持硬件更改，而这正是Xilinx芯片的优势所在。

其次，是可扩展性。在我们的特定Xilinx产品系列中始终提供一组可扩展的芯片。这些芯片改变了可编程逻辑的数量，大多采用引脚兼容的封装。这意味着开发人员可以创建单个ECU平台来承载低、中、高版本的ADAS功能包，并根据需要通过选择所需的最小密度芯片来缩放成本。

最后，对于一些客户而言最重要的是，Xilinx芯片允许开发人员创建独特的差异化处理解决方案，这些解决方案可以针对特定应用或传感器进行优化。这对于ASSP芯片来说是无法实现的，即使是那些提供专用加速器的芯片，它们的使用方式也受到限制，而且基本上可以提供给所有竞争对手。Xilinx的长期客户已经创建了只有他们可以访问的高价值IP库，并且这些功能可以被公司的各种产品使用。

至于缺点，其中大部分来自对成本的历史成见。许多人认为FPGA技术可以用于原型设计，但不适用于量产。从90 nm节点开始，对于大批量汽车应用，Xilinx的芯片就已经极具成本效益，如若不然，就不会有超过1.6亿颗Xilinx芯片在该行业获得应用。

YT：人工智能现在随处可见，它正在迅速进入人们的日常生活。在您看来，人工智能将如何改变汽车市场？

WT：人工智能，更具体来说，神经网络提供了更低的开发成本，并降低了对硬件的性能要求，这也意味着更低的系统成本。我们已经看到，在前视摄像头和驾驶员监控等系统中，许多传统计算机视觉（CV）方案对性能的要求比神经网络更高。如果要实现大规模应用，我相信神经网络将发挥更大的作用。

YT：Yole分析师将自动驾驶汽车市场分为两个部分：一是采用融合传感器计算平台的ADAS车辆；一是无人驾驶车辆，使用已经完全相当于数据中心平台的计算机系统。在您看来，对于受法规和低利润限制的ADAS领域，原始设备制造商最倾向遵循的趋势是什么？考虑到这可能是一个低价格、大批量市场，你们如何占据一席之地？

WT：对于汽车市场，成本始终是一个重要因素。目前的重点是创新，但随着时间的推移（未来十年内），成本将成为一个更重要的因素。

ADAS需要可扩展性，没有万金油式的产品。360°环视就是一个很好的例子，可以带来的功能包括鸟瞰图、物体探测、物体分类、自动泊车辅助、尾门监控和泊车辅助等。添加这些功能，将需要更多复杂的SoC或更具可扩展性的FPGA。

为什么车载语音控制需要人工智能？

YT：那么，Xilinx如何定位无人驾驶应用？

WT：我们非常关注人工智能以及数据聚合、预处理和分发（DAPD）。DAPD功能与不同的传感器模态交互，以在处理单元和处理单元内的加速器之间执行信息的基本处理、路由和切换。

近期我们与采埃夫（ZF）的公告，突出了我们技术的能力超越了DAPD功能，现在可用于人工智能计算。

YT：如今，已经有一些无人驾驶出租车和穿梭巴士上路行驶，但是它们仍处于试验阶段，还不是一种常见的出行方式。您预计这类无人驾驶车辆最快会在什么时候广泛上路？影响应用的主要障碍有哪些？法规？意外？

WT：还有很多障碍，不过，我想先问您，您有没有搭乘过无人驾驶出租车？我亲身搭乘过许多客户的自动驾驶汽车，可以说，它们只需要再多一点“辅助”或更多一些“时间”。

■ 再多一点“辅助”意味着，可以嵌入本地化高清地图或基础设施数据的沙箱运行区域；

■ 更多一些“时间”表示，进一步降低成本，而这又需要能够看到更多的量，这有点像先有鸡还是现有蛋的问题。

我也认为政府会限制应用，以尽量降低自动驾驶可能带来的社会影响和安全问题。但当我们进入大规模部署阶段时，这才会是一个问题。不过，现在我们还没有到这个阶段。

YT：最后，让我们谈谈未来。Xilinx预计在ADAS和自动驾驶车辆中，传感器和摄像头的数量会达到多少？FPGA能够处理来自这些传感器的巨大数据流吗？

WT：这对Xilinx来说是一个很大的优势。正如我之前提到的，我们的高价值一部分就体现在DAPD。这使我们能够适应传感器的数量，不同类型的传感器，以及每种传感器类型的不同接口。并且，这种适应能力是动态的，我们可以在产品生命周期中游进行调整。这对于无人驾驶出租车来说非常有用，可以在其生命周期中进行完整的硬件改造。

YT：您认为Xilinx应该采取哪些措施来保持业务竞争力，特别是对于ASIC或传感器融合平台？

WT：构建硅基ASIC的成本更高，但尽管如此，我们还是有一个秘密武器，动态函数交换（Dynamic Function eXchange）。这是FPGA技术所独有的。它使我们可以在设备被用于交换互斥的功能时重新编程功能。例如，当处于高速公路驾驶模式时，FPGA可以作为前置摄像头设计，但是当处于低速模式时，可以将相同的FGPA重新编程为自动泊车/360°环视影像。这意味着一个FPGA可以替换两个ASIC。

这还只是一个开始，想象一下我们还可以利用舱内监控做些什么。

YT：您对2030~2035年的车辆有何预期？

WT：到了2030~2035年，自动驾驶车队将作为第一批应用开始普及。对于个人拥有的车辆，我认为可能会看到一些超高端的自动驾驶汽车，但还没有到大规模量产的阶段。

YT：您认为我们的孩子还需要驾照吗？

WT：呵呵，这个我们只能等待时间揭晓答案了。不过，新生代们肯定更关心他们的智能手机，而不是什么时候考驾照。

YT：对于Xilinx，您还有什么需要补充的吗？

WT：如果您在ADAS或自动驾驶方面还没有跟Xilinx合作，那么请赶紧联系我们。避免不必要的重复开发，避免从一个ASIC SoC到另一个ASIC SoC不断重新设计；不用担心从边缘到中央域控制器重新设计IP；不用试图为每个不同的传感器使用不同的SoC平台。

FPGA技术将帮助您节省最宝贵的资源——工程人才。我们可以为您提供规模经济，因为一个芯片系列就可以支持前置摄像头、LiDAR、4D雷达、360°环视和驾驶员监控等功能。FPGA可以做到这一切。

延伸阅读：

《汽车人工智能计算技术及市场趋势-2019版》

《图像信号处理器和视觉处理器市场和技术趋势-2019版》

《人工智能硬件和软件@消费类领域》

《采埃孚S-Cam 4系列ADAS单目和三目摄像头》

《汽车雷达对比分析-2018版》

《汽车成像-2019版》

推荐培训：

《3D成像与传感器件培训课程》将于7月19日~7月21日在无锡举行，本课程邀请3D视觉产业链优秀讲师，以核心元器件为出发点，解析3D成像与传感技术：（1）红外光源技术，深度剖析VCSEL；（2）MEMS光束操纵技术，覆盖多种MEMS微镜原理（静电式、电磁式、电热式、压电式）；（3）液体透镜；（4）衍射光学元件（DOE）；（5）高性能光电探测：SPAD/SiPM；（6）光电探测面阵：ToF图像传感器；（7）光学MEMS和传感器仿真技术。如果您有兴趣，请联系：

麦姆斯咨询

联系人：赵婷婷

电话：[phone]

邮箱：[e-mail]