Nauto的“ADAS+DMS”的融合模型-电子发烧友网

随着DMS即将广泛采用，初创公司Nauto看到了一个机会，通过融合舱外和舱内摄像头的数据，将其AI 算法出售给OEM。Nauto是否真的在正确的时间推出了正确的技术呢？

许多车厂已经在多款车型上采用了ADAS，搭载多个摄像头。同时，车厂也在搭载DMS，用摄像头监控车内人类驾驶员的行为。

但这两个系统从来都不是一起工作的。ADAS和DMS由不同的供应商开发，两个系统间的数据也无法互相关联（虽然说的不是一回事，但我总是能想起小鹏车主下跪刷脸是怎么回事……）。

加州Palo Alto的初创公司Nauto，希望改变这一情况。通过一个平台，融合车辆外部和内部生成的数据，Nauto相信它将有助于提升道路与驾驶安全。

Nauto的创始人兼CEO Stefan Heck解释说，“消费者反馈显示，许多驾驶员对ADAS或DMS经常发出的误报感到恼火。这代表行业还没有做对这一点。”

数据融合

从2015年起，Nauto就一直在用舱内摄像头监控商业车队驾驶员的行为。同时，Nauto也一直用舱外摄像头监控道路。这项研究收集了有关行人、骑自行车的人和其他车辆行为的知识。它捕获了许多险些发生、紧急避险和高风险事件的场景。

通过结合舱外和舱内摄像头的数据，Nauto看到了驾驶员分心行为和道路上实时发生的风险之间的关联。该公司表示，它已经分析了“数十亿的数据点”，并开发了“可以预测、防止和减少高风险事件的算法。”

800个车队

当Heck创立Nauto时，科技行业对完全自动驾驶汽车（AV）充满了期待。当时人们都在预测，AV的大量涌现意味着计算机驾驶员不仅将取代人类出租车和卡车司机，而且还会使街道更加安全。

与众不同的是，Heck一直专注于帮助人们更好地驾驶，而不是取代他们。Nauto表示，其原始使命是为期八年，目的是为车队驾驶员提供预防碰撞的能力。

将Nauto与大多数其他AV初创公司区分开来的是两种商业实践：首先，与商业车队服务运营商建立合作关系；其次，专注于后市场以启动Nauto平台的部署。

Heck说，最初，Nauto强调的是舱内发生的场景。但在这个过程中，Nauto也收集了舱外的风险数据，例如追尾、斑马线上的行人、信号灯和停车标识。

在开发AI算法来预测高风险事件时，Nauto采用了基于深度学习的方法，使用从800个商业车队收集的数据。Heck估计，800个车队相当于200，000名司机，车辆总数稍微少一些。

Nauto 学到了什么？

对于从200，000名车队驾驶员收集的数据，Heck说，“所有碰撞事故的70%都是由驾驶员不注意引起的。比如使用手机、吃东西、低头做别的事或困倦，导致了分心。”

这都让Heck感到惊讶。他解释说，这意味着“整个汽车行业历来都只专注于那余下的30%，而忽视了由舱内引发的70%的风险。”

Heck称驾驶员分心是“流行病”。尽管有这样的证据，但车内监控仍然是一个相对新的功能。当Euro NCAP开始评估能有效检测疲劳和分心的DMS时，汽车OEM们才开始有动力接受DMS。

安全专家们越来越认为，来自DMS的准确信息对安全至关重要。因为具有可脱手自动驾驶的车辆正在陆续推出。

当车厂允许人类驾驶员放开方向盘时，DMS是一个后备方案，它能准确地显示出当计算机驾驶员需要接管方向盘时，人类司机正在做什么。

Nauto的路线图

八年过去了，Nauto在车队领域中取得了突破。Nauto的技术已被用于监控商业车队驾驶员以提高安全性。

那么，接下来会是什么呢？Heck说，Nauto的路线图上有四件事。

首要的是“融合”。

Nauto正在努力融合车辆的外部和内部风险，创建一个“在驾驶监控之上的下一级能力”。

Heck觉得车厂对有效的DMS越来越感兴趣，而这正是Nauto的机会。

Heck说，内外摄像头数据的融合产生了全面的安全光谱。“如果我们知道驾驶员分心了，我们会在碰撞之前更早介入。”他称这是“一种新能力”，因为像前方碰撞预警这样的ADAS功能通常独立于DMS运行。

其次，Nauto的产品之前大部分在售后市场销售，但即将进入OEM车辆。可以从BrightDrop获得集成了Nauto的电动送货车。Heck表示，Navistar正在推出搭载了Nauto的商用卡车，“在接下来的几个月里还有更多的合作伙伴。”

第三，Nauto正在研究集成的保险模型。“我们有一个合作伙伴关系，任何公用事业公司只要有合适的保险供应商，就可以有效地免费获取Nauto。”Heck提到了Nauto与英国最大的商业保险公司Aviva的试点项目。Nauto的下一个目标是美国。

Heck表示，公司的下一个目标是让Nauto设计到乘用车中。尽管尚未宣布，但计划是“首先将Nauto集成到轻型商用车、货车和皮卡中……然后扩展到其它车型。”

硬件构成

任何好的AI算法都需要优秀的硬件，即合适的摄像头和计算单元。那么，Nauto的售后市场平台的硬件构成是什么呢？

Nauto平台的舱外摄像头采用了Sony图像传感器，而舱内摄像头则是Omnivision的图像传感器。计算单元采用了Qualcomm Snapdragon 845，集成了高端GPU、DSP和8个Arm内核。

Heck说，Nauto在Snapdragon上运行的舱内和舱外算法最高可达每秒15帧。Nauto在Snapdragon的Arm内核上运行其融合模型。

Nauto平台可从OBD端口获取数据，使Nauto能够读取刹车位置、安全气囊部署和其他车内机械装置。Nauto从GPS传感器和多普勒接收车辆位置和速度数据，然后融合所有数据。

当被问到这是如何工作时，Heck说：“我们会查看你面前是否有威胁，你正在以多快的速度行驶，你是否正在转弯，以及你是否已经在刹车。然后我们会监控你的注意力状态。如果你在保持专注，并且已经开始刹车，我们不会干扰，因为我们知道你已经看到了威胁，并且已经在应对它。但如果你正在加速或保持速度不变，而你面前有威胁，而你正在看手机或喝咖啡，那么我们会警告你并进行干预。”

那么，如果OEM想要在他们的车辆中使用Nauto，他们需要添加什么呢？

车辆应该有一个200-500MP的舱外摄像头，Heck说：“低于720P，就很困难了。如果没有舱内摄像头显然是个问题。但是，好在现在每个车厂都在考虑在他们的新车中增加DMS。”

大多数车辆已经有了GPS和LTE。但是算力呢？

Heck承认，这个特性的差别很大。对于使用Intel/Mobileye的车辆，Nauto运行在Xeon上。对于部署了Qualcomm高端汽车平台的其他车辆，则没有问题。Heck指出，现在只有少数OEM使用Nvidia。Nauto已经在Nvidia上进行了测试，但尚未部署。

关于Nauto的融合模型所需的处理能力，Heck表示：“这不是一个黑白分明的问题，因为算法的不同部分消耗的计算量不同……一般来说，它需要几个TOPS。”

通过在AV堆栈上增加Nauto的融合模型，汽车OEM能获得什么呢？Heck表示，Nauto可以为人类驾驶员提供更细颗粒度的安全介入。

“你看到一个行人正在你面前过马路。如果你看着前方道路却没有做出反应，那就是……典型的行人碰撞预警的场景。所以，这种情况下我们只会在碰撞前约三秒钟才介入。但如果你正在看手机，根本没看行人，我们可能会在碰撞前四秒介入。而如果你已经开始刹车，然后，也在看行人，那么，我们就不会介入。”

Heck说，融合的目标是“稀疏但有效地介入。”

当Nauto供应售后市场产品时，它也提供了它开发的所有ADAS和DMS软件部分。

但对于OEM车辆，所有的软件部分都是“可选的”。例如，如果OEM更喜欢Mobileye的ADAS系统和Seeing Machines的DMS，那没问题。OEM需要做的就是在他们的堆栈上添加Nauto更安全的融合模型。Nauto的模型可以授权。

竞争

尽管市面上还没有ADAS+DMS融合模型，但Nauto可能不会长时间保持优势。