minieye app_minieye

MINIEYE成立于2013年，其核心团队是新加坡政府支持的第一个视觉感知和ADAS相关项目。目前团队总部设在深圳，主要负责公司的运营、生产、制造、硬件相关的R&D和测试；北京是深度学习和高级预研的研发中心；南京是第一个R&D中心。今年上半年，MINIEYE在上海成立了研究所，主要负责L2及以上相关技术。

MINIEYE起源于舱外感知，具有全视觉感知算法和多传感器融合方案。2017年，MINIEYE逐渐将视野从舱外感知扩展到舱内感知。2019年正式成立驾驶舱事业部，不仅关注驾驶员，还关注所有驾驶舱的乘客及相关交互对象和环境。

在市场关注的量产问题上，MINIEYE已经在2018年全面实现了乘用车和商用车的量产。目前全预装量产项目超过90个，2021年预装量同比增长250%。自2013年成立以来，得到了众多行业伙伴和媒体的认可和支持。

软硬结合，注重用户需求体验

MINIEYE提取整个驾驶舱用户的精确人类视觉特征，通过这些特征分析驾驶员的状态、行为和意图，进而理解驾驶舱用户在一些特定场景下的需求。MINIEYE最终将这些需求形成了一些主动服务，全面提升了智能驾驶舱的交互体验。

硬件方面，拥有大量的ICS整体交付能力或产品交付方式。MINIEYE兼具软件算法能力和硬件能力，可以为客户提供全软件相机模块、纯SDK模式和完整硬件三种不同的产品。

作为汽车行业的从业者，MINIEYE充分认识到一些现实和客观的因素。MINIEYE在设计一套完整的软硬件解决方案，以及在计算资源、车级平台、车级摄像头模块规格、未来规划、内饰设计等方面的限制，都有非常严格的考量。

在软件方面，MINIEYE为客户提供了三层的软件解决方案，底层是MINIEYE开发的一些IP，包括CNN的压缩架构和基于不同平台的加速架构。这样可以保证整个神经网络在车辆监管平台上运行的更快更稳定。第二层称为算法层，可以给出直接算法的检测结果，包括视线的矢量和头部的坐标，如果客户有定制和呈现的需求，可以帮助客户得到算法层的直接结果进行渲染。上层是应用层，包含应用逻辑和报警机制。在这一块，根据经验打捞总结了很多不同的应用逻辑，可以让疲劳分身、视线交互等应用层面的功能更加稳定准确。

另外还有CNN加速器，作为汇编级指令，充分利用了平台的特性，可以有效减少资源占用。同样的CPU和GPU，可以跑出更高的网络，减少更少处理时间的消耗。对于高通8155的新CPU品牌，可以使用自研的FP16自研推理框架。FP16比之前的老版本架构节省了一半以上的资源。

综合来看，ICS算法的优势是计算能力更少，可以实现最优解，平台解决方案更丰富，不仅包含了包括高通、国内地平线在内的众多国内外主流座舱芯片，还支持CPU、GPU、DSP的相关解决方案。该算法将更能容忍相机模块的成像效果。

定义五个场景并适应五个需求

第一种情况定义了与L2相关的自动驾驶系统相关的安全接管。从图中可以看出，未来DMS会更加关注驾驶员的注意力，以及注视区域是否为L2或以上，以便在自动驾驶启动时做出相关要求。目前MINIEYE的这套视线系统可以准确划分驾驶舱内的区域，准确划分视线。在MINIEYE量产交付的项目中，视线凝视的信息区域多达14个。图中左边MINIEYE正在观看的文章是一款自主研发的实时视觉3D投影和视觉测试软件。根据测试者视线的转动，我们可以准确地看到整个座舱内视线弱点的模拟。

第二个场景是——个人时间。当司机厌倦了上下班，对驾驶舱就会有新的需求。让我们看看ICS能做什么。这个场景定义了几个关键的技术功能。第一个是关于通勤情况下疲劳分心的检测和驾驶员情绪的识别。

首先，疲劳检测。今年，欧盟发布了新的疲劳定量识别试验——DDAW，首次推荐KSS作为DMS的判断和量化标准。它采用了与以往很多汽车相关测试不同的逻辑，是一种临床生理检测方法，通过灵敏度和特异性相关的标准，对系统和技术的疲劳判断进行评分和量化。目前ICS符合欧盟DDAW推行的疲劳检测定量测试标准，MINIEYE也是内部的。

ICS的疲劳检测之所以能够满足欧盟的部分临床量化方案，是因为MINIEYE的整个算法不仅将其作为计算机视觉的一项任务来对待，还考虑到了大量的真实交通案例和异常情况，考虑到了更真实的驾驶环境和数据。MINIEYE自主研发的逻辑，结合多维度不同生理指标，包括头部姿势、眼睑开合程度、视线方向、眨眼频率的分析，综合打包，可以给出更准确的疲劳分级和疲劳预警判断。

目前运营车队超过10万辆，其中包括DMS的公交物流车。他们有的和MINIEYE有基于数据和KSS的深度合作，每隔一段时间就会针对一些高难度的KSS升级项目场景算法，时间从半年到八个月不等。

在DMS上开发了可视化测试软件。从图中的文章可以看出，MINIEYE向客户开放了所有的中间算法结果，方便检测算法。此外，创建了全面的逻辑，可以让客户更清晰地感知算法结果与真实报警之间的有效性。

另外，还有一个关键技术，就是情感识别。目前，ICS已经实现了六种情绪识别，包括快乐、悲伤、惊喜等。它不同于其他传统的情感识别，后者可能是基于人脸分类的。在识别的基础上，ICS可以准确的定义面部肌肉的运动，识别强度可以更细致，可以更准确的回答什么是开心或者悲伤的表情。

第三幕——无缝进车

在ICS的构想中，希望未来的智能驾驶舱或智能汽车能够让人们进入汽车的整个过程更加无缝和顺畅，核心技术有几项。首先是Face ID人脸识别。目前ICS的防作弊活体检测，不需要任何动作就可以避开或跳过整个窗口期，即可以越来越快地得出是否是活体的结论。从演示中可以看出，基本上人坐进镜头后，大约需要1.2秒到1.5秒才能断定自己是活着的。即使照片出现在画面中，也能在1.5秒内给出非常清晰的判断。这是一张照片。对于文章，红外摄像机和自然反射器，红外摄像机下的任何LED屏幕都是黑色的。

MINIEYE已经完成了Face ID云存储的整体架构，这意味着Face ID可以在云端和本地设计整个产品架构，并且已经完成了从移动端注册彩色地图，车载端使用黑白地图识别整个闭环。该算法可以在彩色地图和黑白地图中识别同一个人。并且任何本地、远程或云存储都会将用户的照片转换成512维矢量加密文件，因此不会出现文章或图片存储中涉及个人隐私的相关问题。

说到Face ID，有两个指标：错误拒绝率和错误接受率。目前MINIEYE可以控制错误接受率，即A被识别为B的更严重的错误情况，在10的-5次方以下。

第四幕——儿童保健，

ICS现在可以通过分析孩子的生理特征、面部属性、身体比例、骨骼比例、体长等多维度判断孩子或成人。

当驾驶舱内有儿童时，可以为有成人和没有成人的场景提供不同的技术和功能。有大人的情况下，会实时监控后排儿童的状态，包括是否情绪睡着，提醒车内打招呼有空调和音乐相关，还能实时检测后排的安全带和四肢攀爬，以及安全区域的检测。

当驾驶舱只剩下孩子时，MINIEYE会开始锁门，并通过语音和短信通知司机，告诉他不要把孩子单独留在驾驶舱。此外，还有更多针对成年人和其他类型乘客的驾驶舱监控功能，包括年龄分析、性别识别、座位分析，以及危险动作和安全带的监控。

MINIEYE可以将这些技术打包成不同的应用场景和功能。最后一个场景也是非常有趣的娱乐超过——人。现在驾驶舱是很多人的自驾游，出去玩是很重要的环境。MINIEYE的智能驾驶舱传感技术可以提供更多的潜力和功能。

这里的第一个技术是关于丢失物品和宠物的检测。据DEMO上的MINIEY介绍，当人们离开驾驶舱时，如手机、钱包、笔记本等物品，MINIEY可以及时识别并提醒驾驶员。

展望未来，驾驶舱有很大的发展前景。

杨MINIEYE智能导航事业部负责人

MINIEYE智能驾驶室事业部负责人杨认为，未来的智能驾驶舱潜力巨大，智能驾驶舱将成为一个更加私密和独立的空间。在这个空间里，MINIEYE认为，更多的模态感知和更多模态结合的深度学习将成为未来整个感知方向的主力。

从目前的情况来看，MINIEYE发现每种模式的技术都是在单打独斗。虽然车内既有视觉技术，也有语音技术，但是视觉技术和语音技术本身并没有结合和互动。未来，MINIEYE希望有更多的生态伙伴。

更多的技术可以融入整体，可以训练出更好更智能的驾驶舱感知技术，为大家提供更好的交互体验。