可穿戴设备对驾驶员监测系统的冲击 - 全文

　　讲师：朱玉龙，江湖人赠称号“朱校长”，深耕于汽车电子设计领域，从2014年8月创建“汽车电子设计”个人微信公众号以来，笔耕不辍，坚持每天撰写推送一篇原创文章，公众号关注人数愈万，是业内备受尊敬的“干货知识库”。

　　主题：

　　1.现有驾驶员监测的方案

　　2.驾驶员监测的可行方案概览

　　3.DM参数分析

　　4.目前产品的困难和局限

　　5.高级自动驾驶对DM的需求

　　6.DM的未来发展

　　以下为微沙龙讲座的演讲实录+PPT：

　　朱玉龙：我这边今天选择的主题，是驾驶员监测，不是在前向防碰撞的体系里面，也不在倒车的体系里面，所以它比较独立。我选的这个话题，因为全球范围内，它在未来的无人驾驶跟ADAS这块都是非常重要的，但是与国外整个切入点来讲，是相对比较好的。所以我这边也做一个介绍，因为之前可能大家对于驾驶员监测更多是在客车上作为一个强制的使用，并不看成是一个机会。我选择这样一个话题的切入点，也是希望大家可以重新审视这个相对在ADAS领域里面比较偏门的一个东西。

　　国外驾驶员监测的方案介绍

　　首先，从两个大类来讲，从驾驶员监测总体的架构是从直接监测跟间接监测两类划分，直接监测是直接通过驾驶员的获取信息，主要是通过他的脸部信息跟图像，采取这个模式来获取整个的信息。这里通常意义上我们就是有几个纬度，一个就是驾驶员的注意方向，还有一个是判断驾驶员整个眼睑的闭合情况，需要移植对人体疲劳模型，对整个眼的情况，也需要适度的一个学习过程。

　　在德国那块，大量通过使用车辆方向盘的角速度，还有整个驱动器正常跟异常的判断，通过正常的算法来做。在传统的算法里头，因为信息量的纬度不够，更多是一种提醒，因为它没有办法，有些人的驾驶风格就是特殊的，不一样。所以在这一页里头，基本上我们可以看到这是两个截然不同的路径。

　　我来重点介绍一下驾驶员监测的认知纬度，我们认为在整个驾驶员的状态有四个基本纬度，一个就是认知的负荷，通过人体的疲劳负荷，来判断他要睡、分心、过劳，通过眼镜的注视方向，眼睛眨眼的情况，包括脑电波、心跳、皮肤的传导率、体温、呼吸的分析，来判断驾驶员身体的情况。第三个纬度就是我们经常说的，你是不是去打手机，或者说你在开车的时候去喝茶，干一些别的什么事儿。第四个就是通过驾驶的距离，跟车道的实际情况，车速变化跟加速情况，通过这些认知纬度来认识驾驶员多维度的情况。

　　我们首先还是看一下丰田的Denso的方案。Denso的方案是用一个NIR红外的传感器加上一体化的ECU，主要是用在丰田的雷克萨斯车上，也用在它的卡车上面，主要是用来做疲劳监测。然后在磕睡状态，眨眼会比较厉害，整个人打瞌睡会闭的很厉害，通过这个记录来记录整个实际驾驶员身体的情况，可能会做声音的报警。

　　总体来讲这个方案有好有坏，好的地方就是通过算法，因为通过直接的函数，把整个人的实际情况也弄出来了，然后看通过监听以及一些直接的参数，它能够让你的整个方案精确度相对比较高，这个其实也是仁者见仁智者见智，因为毕竟ECU是离线的，每个人的实际情况也不一样。比起相对监测的方案，这个东西其实整个识别率是相对比较高的。坏处就是说这个地方布置起来比较难，在整个驾驶盘的下方，因为要考虑整个布置，这个东西其实也做的很难小，还有一个红外的LED的灯，因为布置起来要被驾驶员看到，就会觉得这个东西是弄干吗，从整个成本来讲由于设计的时候是比较偏高的，在整个欧美的客户他是比较容易担心监测到隐私，你一直在看他，他在整个实际情况里头，数据的情况是不是有被外传，他其实是不知道的。在某些特殊的场景下面作为一些记录之类的，这个方案的本身从某种程度来说是一个比较直接的，它是所见即所得的方案。

　　相比较而言，德系的方案我对比了一下，在整个奥迪、大众、宝马、戴姆勒他们几个方案都是差不多的，都是通过方向盘角速度的记录，然后做了疲劳驾驶的系统，相对来讲它的装车率在几年以前就比较高，实际上这里头就多了一个算法，对整个ECU里讲并没有加，是在原来的ECU里头做了一些处理。

　　这个就是因为其实是根据你的驾驶行为去判断这个东西，那么它更多的是一种辅助、预防的舒适功能，它并不是直接干预你的任何行为，更多是根据这个转向速度评估其他的一些情况，相当于传到仪表总件里头做报警。

　　还有一个就是普遍意义上大家觉得疲劳驾驶做的不是很好，或者说会产生大量误报的原因，因为这里头更多的是根据一些客观的参数，然后本身这个算法都是固化的，整个不同的人、不同的行为做进去的时候它会得到比较大的差异性。

　　根据两种模式，我们可以仔细的看一下这张图，他把正常的转向行为，相当于根据我们的集中度理论来判断，因为正常在不同的转弯下，你的转向变化率是有限的，而且相当于它会正反都有的，如果你在一定的上面没有逆向的动作，感觉整个车辆的姿势是一扭一扭的。

　　原来的这种比较简单的方案，在整个ECU车辆姿势的阶段去进行做数据分析，去做挖掘，它更多的是以转向角速度的单向变化率来作为一个主要的识别量。实际为了进一步的分化这个东西，你可以看到它在里头会把车速、行程、发动机状态、转向角、横向加速度、偏转率、车门的情况、安全带的情况、时间信号，还有通过这个系统，把车内温度、汽车的操作，综合进行运算之后，得到一个驾驶员的情况。

　　这里存在一个基本的概念，在原来的主的算法基础上，加入了一些别的权重，来判断驾驶员在里头的行为，如果驾驶员啥都没干的话，在整个很疲劳的情况下，所有的其他行为都是没有的，这也就是客观上面加了一个辅助的纬度做指征，来判断整个疲劳驾驶。这个方案的核心问题，更多的是以车内的情况，仅仅是看整个车内所有相关的这些传感器的情况来判断驾驶员的行为。

　　为了进一步的把整个算法提升，我们需要从更多的纬度去考虑，就是不仅是看车辆的响应，也要看到驾驶的行为，更要看在整个检测车外的信息，跟获取驾驶员的信息组成一个综合纬度的算法来确认。核心在于在整个前向AEB，还有（32）已经加了以后，就可以获取外面的信息作为一个综合，也就是说你知道外面的道路是什么样子的，来结合判断车辆实际的响应跟车主的行为，然后再通过直接采集驾驶员的接触信息，如下面这张图所看到的那样。

　　这个图是比较有趣的，你可以通过安全带，可以通过在测手的温度，对比车厢内的环境温度，根据手接触的时候，判断心跳的情况，然后再结合通过方向盘，判断车辆姿态的变化，结合的把这个算法整合出来。从某种程度上面来说，这个算法就比原来德系的算法，整个纬度和信息上面都要全很多。数据的运算能力可能需要单独一个模块来整合，因为相当于你从不同的地方去抽取。

　　讲了这几种现有的方案，总体来讲整个图像来讲，它相对于来讲是一个比较好的选择，比较准，差异也比较小。整个系统来讲，你不加成本，或者加少量的成本还好说，如果加了很多的硬件，加了这个东西之后，很难说服客户装这样一个东西。因为客户因为这个东西还加大了一些难度，虽然可能疲劳驾驶对客户来讲是一个安全的隐患，但是更多的人在疲劳的时候选择自己开回家，而不是找一个代驾，这个问题其实对于客户来讲其实他相当于花了钱买一个可能有些时候会阻碍我开车的东西，或者是吵着他的东西，这个是比较麻烦的。一旦涉及到驾驶员图像，这是很难规避到在国外用户那块的介意程度的，布置起来有些时候让客户看到这个东西他就会比较介意。

　　我是觉得驾驶员监测这个方案更多是对人的一个行为的了解，这个并不是在汽车里有的，因为人在汽车里的行为，或者人在汽车里这个东西在不同的场合，在密闭的场合其实都是差不多的。可以根据物理的、视觉的，还有身体的东西来弄，然后通过红外图像、TOF，通过前向的camera融合，包括角速度传感器，还有酒精传感器等探测的传感器来做。

　　从某种程度上面整个可穿戴设备的东西，信息整合对于整个车辆的DM的冲击还是挺大的。为什么这么说呢？这个可穿戴设备更多是一种用户的设备迁移，他可以在不同的地方用。比如说你去开车、开船、做事情，它对于你的健康监测的需求是另外一个纬度的，比如你戴一个apple watch它有健康监测功能，健康这些东西分析出来，最后把这个信息同步到整个车辆信息再做一个，其实从某种程度上面，它就是在另外一个纬度解决问题了，这跟车没关系。

　　随着整个大数据量的学习，对于人体Apple watch 个性化的情况，会比车辆的迭代越来越快。因为福特的方案整个量产这块遇到了一些问题，就是说加这个系统未来有没有价值？加了那么多的传感器，让用户只是在开车的时候用有没有价值，是不是把可穿戴设备融合在车的里面，通过通信的模式，通过整合，比如说通过开发可穿戴设备的应用来解决。这一块来讲是现有的DM，就是现有如果是常规车的DM，无论是客车、卡车都是一个大的challenge。

　　可以简短的来讲，如果没有自动驾驶，或者没有高阶的辅助驾驶，DM的辅助需求是非常有限的，它仅仅是关注于疲劳以外，还有整个其他的一些特殊的情况，对客户来讲这个时候并没有太大的问题，即使疲劳也是因为工作所迫，因为怎么样必须要去开，有这个或者没这个，因为你是不干预的，所以更多是上了一个提醒的灯一样。

　　这张图我也在朋友圈有发过，整个航空业和车辆，在无人驾驶这个领域两个产品的方案是不一样的。在飞机上，因为你的反应时间是有的，在意外的情况发生的时候，是有两个飞行员，而且有一些时间来响应。因为整个飞行员受过训练，对整个操作是非常熟悉的，或者说他们之间的整个过程是非常响应快的。从自动飞行切到手动飞行模式他们是经过长久的训练的。在车辆这块，特别是高阶的辅助驾驶如果出现未来的意外，比如GPS信号丢失、联网丢失、部件的损坏，意外的东西出现的时候，那么整个汽车行业其实不知道驾驶员的情况。

　　我觉得在某种程度上面来说，DM是非常重要的一个东西，它更多的是如果你的汽车出现意外，自动驾驶出现了一些缺陷或者怎么样，整个系统在operation下面它是要监测驾驶员行为，要通过HMI让客户知道整个车现在有点问题，你不能像以前那么信赖它。只是我们将来把高阶的L3设计的很好，你也很难保证在任何时段这个东西都不出问题。更多的时候，在完整状态下客户是很轻松的去享受这个高阶的辅助驾驶带来的快乐。这个DM更多的是要默默在后台工作 ，确认消费者万一在出问题的时候它能不能够迅速反应过来。

　　丰田在它的DRCC，是在一个很高速的范围内做ECC的时候，这个东西就非常要紧了。因为它这边就结合了自适应巡航+车道保持，消费者在这种情况下其实他既不要动方向盘，车辆两个结合之后是可以做控制的。这里头消费者一般来讲，在高速上根本就不用管那个吃。如果出现一些意外，其实车也会可以做减速，但是它需要确定驾驶员是否处在一个状态，他会不会睡着了，如果睡着了之后它就需要一个比较强的HMI来介入，把驾驶员做唤醒。 总体来讲，在整个国外的OEM，特别是做高速ACC巡航的时候都会有这样一个要求，或者说对于HMI的要求特别高。所以某种程度上线一旦是系统跟驾驶员共同决定一个系统的行为的时候，将来出事故，特别是出安全事故的时候，这里头就有两部分行为。也就是说原来的辅助驾驶更多介入度比较少的时候，所有的行为我们是比较容易去查的，也就是说可复现的。什么意思呢？就是说某种程度上，驾驶员的行为它是独立的，整个车那块相当于它行为是均一化的。一旦ADAS加入之后，里头有大量的information，包括V2V 、V2I，还有整个道路的情况，需要复现一个事故的话就比较难了。也就是说如果再次出现像丰田刹车门这种刹车刹不下来的时候，或者是出现其他事故，或者说车主睡着了或者怎么样，因为到越高阶的时候，特别是还没到完全无人驾驶，只是机器责任的时候，两边都有的话，你需要界定最后出问题的那一方，因为我相信ADAS一定会出问题，在整个部署过程以后，它一定会伴随一些事故，伴随着一些问题发生。在这个过程里头，你看到的投放都是从高端车慢慢一步一步，从严格的环境控制，因为它里头是多输入，有ADAS，有通信系统，有驾驶员，输出的话有整个ADAS自己在控制，也有驾驶员在控制，这样的情况下你能够获取到DM的信息，对车厂来讲是非常有帮助的。

　　所以我们再看不同的场景下，在整个不同的模式下面，整个功能开启或者说功能理想条件下，或者不理想条件下，我把这两个图放在一起，一个是蓝色的一个是红色的。某种程度上面，将来的DM更多的是作为，如果做ADAS没有车联网还是不要去做了，核心的数据就是说，需要把驾驶员的数据、DM的数据跟车辆的行为保存到服务器上面，万一出问题的时候你可以把整个行为复现，然后搭建场景重新来判断到底哪里出问题。为什么所谓的自动驾驶或者说高阶的ADAS比较难的地方，就是有两个输入进来的时候是有大量的问题在，就是说你想跑得快，但是从工程实现上面，特别是做DEMO上面是很容易的事。但是一旦铺开的时候，特别是有大量不同的车主，大量不同的行为在的时候，还有整个你在可靠性条件下，它必定会有一些东西出现功能上面或者性能上面的危险的时候，这个问题你可以想象一下都是挺头痛的。

　　总体来讲，DM将来作为高阶的无人驾驶，不管是在座的各位做ADAS也好，做哪个环节也好，DM更多是作为一个必须拥有的东西出现的，它又是跟整个车联网的系统、信息记录、数据收集是合在一起的。我今天主要讲这个东西，也是希望大家能够理解，（39）这个东西在以前的概念是一个疲劳驾驶，以后更多不仅仅是疲劳驾驶。更多的是高阶的ADAS一个调研驾驶员反馈窗口的概念，因为整个高速无人驾驶也好，将来的低速无人驾驶也好，是让用户在娱乐状态下，在放松状态下，需要一个动态的HMI，让车主需要在整个系统不能工作的时候能够肩负起他自己安全的责任。