汽车电子后视镜的大脑

作者:孙鲁毅 ,来源:Ambarella安霸半导体微信公众号

如果说摄像头是汽车电子后视镜的眼睛,那么后面的 ISP/DSP 等图像处理和视觉感知单元,就是电子后视镜的大脑。业界有一种趋势,传统的外后视镜即将被电子后视镜取代下,这一过程也许在未来的 2~3 年内将逐渐发生,我们或将有幸见证这一过程,并为之做出自己的努力。

1. 物理外后视镜的作用和问题

汽车外后视镜是驾驶中的安全件,对于变道的时候观察盲区非常重要。外后视镜主要待解决的问题是视角是否足够大、恶劣环境是否可以看清楚、车距判断是否准确等。

汽车物理外后视镜是左右各一面凸面镜,由反射而来,实际观察的时候,驾驶员需要通过左右前玻璃窗来看。这样在雨天、夜晚等场景下,汽车外后视镜或者起雾或者被雨水遮挡,不容易看清楚,影响了驾驶安全。很多车增加了外后视镜电加热,对玻璃起雾有一定帮助,但对下雨仍然作用不大。

物理外后视镜作为被动的反射镜,因为光学原理存在着对于不同光源只是做一个被动衰减的作用。所以对于后面非常亮的汽车前大灯,反射镜经过反射也会非常亮而且耀眼, 如果对于照度比较差的路面环境,反射镜的反射光线也非常弱。这两种条件下,简单的反射镜结构都不适合人眼的观察,从而对安全造成隐患。

物理外后视镜作为凸面镜,还有一个视野范围的问题,虽然凸面镜可以做到很大的视野范围,但过大的视野会造成中央视野物体显得过大,边缘视野物体显得过小,从而对于距离判断造成一定的困扰。并且如果车辆的驾驶位置非常高,比如大巴和卡车,对于驾驶员位置在左侧会造成右前的盲区。这时候不得不加更多的反射镜。当反射镜越来越多的时候,它本身就存在一定的视线遮挡,并且增大了风阻从而增加能耗。

2. 作为替代物,电子后视镜的价值

电子后视镜是作为“mirror replacement”(物理后视镜的替代) 的概念出现的,CMS = Camera Monitor System(摄像头监控系统)其最主要目的就是为了解决物理镜在特殊条件下看不清楚的问题。但因为物理镜已经是非常成熟的技术,同时具有无延时、长寿命和低成本的特点。所以电子后视镜要想取代物理镜,也不能有明显的短板。

电子后视镜采用了“摄像头+显示屏”的结构来取代物理的反射镜。摄像头的技术经过多年的发展,已经在很大程度上可以取代人眼,而显示屏也是非常成熟的技术。这样电子后视镜就是把成熟的电子技术引入汽车行业,做适合车规的改进,从而真正实现更好地物理镜的替代品,和改进品。

摄像头通过使用车规的高性能 CMOS 传感器和 ISP,以及配套高质量镜头,可以做到更广的视角和更好的成像质量,在夜间可以得到更清晰更好可见度的视频;在车背后有大灯照射的情况,可以通过 HDR 做到抑制强光。总之,在高性能 ISP 的加持下,电子后视镜有机会可以做到在图像质量上比传统物理镜的光学系统更好,并且视野更宽。加上合适的结构设计和镜头表面材料镀膜,可以做到雨水即使打在镜头上,也不会残留,从而大大改善了外后视镜系统在雨天的有效性,提高了行车安全。

(图为雷克萨斯 ES 2018 款的电子后视镜在雨天中,来自《朝日新闻》)

摄像头系统也可以做得非常小巧,即使是需要多个摄像头,也可以装在较小的腔体里朝向不同角度。如果法规允许取消后视镜而直接使用摄像头的话,汽车可以大大降低风阻,也减小了盲区。在梅赛德斯的货运卡车上已经成功运用了电子后视镜,据说因为风阻降低可节油 1.3%。在特斯拉的 CyberTruck 中,也使用了摄像头+屏幕的系统取代了外后视镜。

(图片来自于 driverknowledgetests.com,采用摄像头加数字处理系统和显示屏的电子后视镜系统,应用在 Mercedes 卡车上)

(图片来自 driverknowledgetests.com,针对 Mercedes 卡车的电子后视镜系统,红色部分是普通卡车物理外后视镜的盲区)

对于视角变化问题,数字系统的 ISP+DSP 可以对输入的图像数据进行实时的形变矫正,消除或者减小广角镜头的桶形畸变,以及进行高质量的缩放,如果显示屏支持触摸,可以做到两指缩放。这样使得最后显示屏上让用户看到大小合适,形变合理的效果,更好地满足人体工学,做到类似传统后视镜但更好的使用体验,让驾驶员能够更准确地判断侧方来车的距离。

对于延时,电子后视镜讲的是一个“端到端”的系统总延时。考虑到行车中及时变道的安全,如果在高速公路上按 120km/h 的速度行驶,电子后视镜的端到端延时(从摄像头开始采集图像到显示屏上显示)一般要低于 100ms 才具有安全性,如果在 50ms 左右则达到比较好的安全级别。要达到这样的低延时,推荐摄像头运行在每秒 60 帧的模式,电子系统的 ISP/DSP 等都要运行在低延时的图像处理模式,性能要足够不可以丢帧,并且显示屏也要采用低延时的技术。这使得电子后视镜这种用于安全的系统,并不能通过简单的消费类后视镜方案来实现,而是需要更高性能的以及更短的系统延迟的图像处理芯片。

毕竟电子后视镜作为一个综合的电子系统,比传统物理镜复杂很多,所以在进行车规设计的时候也要考虑安全可靠的问题。一个可靠的电子后视镜方案,要考虑到摄像头系统,ISP/DSP 处理系统,显示屏系统,电源及通信系统运行中可能出现的各种故障并且进行检测、汇报和恢复。

盲区检测(BSD)也是一个有价值的应用,现在在中档以上的汽车中,盲区检测日渐成为标配。盲区检测需要芯片不仅可以高性能高质量地处理图像,而且具有很强的视觉 AI 处理能力,需要实时地进行侧方视野内的目标检测、分类、距离估计等。

(图为安霸的 CV22 参考设计中的左/右/中电子后视镜的实际路测图。黄色部分是指侧方来车已经接近于危险位置,而红色是指侧方来车已经达到了危险位置,自车不可以变道)

3. 安霸的汽车电子后视镜解决方案

针对市场的需求日渐增加,安霸也推出了多款针对于汽车电子后视镜的解决方案,以下是系统框图简介,和其他方案做个对比。

图为采用安霸CV22AQ的电子后视镜系统框图

安霸的 CV22AQ 是符合车规 AEC-Q100 规格的视觉 AI 芯片,可用于 ADAS,CMS 等多种不同的汽车应用。除了 CV22AQ,安霸还有 CV25AQ、CV28AQ、CV22FS 等不同芯片可用于电子后视镜的系统设计。这一系列芯片都是采用了 10nm 车规的制程生产、内部集成了高性能的 ISP(图像处理引擎)、具有高画质、低功耗、低延迟的特点。同时 CV 系列的所有芯片都集成了高性能的 AI 处理引擎,可高效运行各种基于神经网络的视觉感知算法,基于这些芯片客户可构建高可靠、高性能的电子后视镜系统,从而更好地满足最终用户的驾驶安全需求。


经过和汽车行业合作伙伴的充分合作与努力,采用安霸的电子后视镜的多种解决方案的产品,已在中国汽车前装市场成功面市,受到了客户的广泛好评。安霸的 CV 系列芯片,成熟稳定的软件开发平台(SDK),以及植根中国的开发和客户支持团队,将陆续和业界各位朋友,供应商合作,给中国市场带来更多更好的电子后视镜产品,创造社会价值!

解决方案: 

汽车

Xilinx是一家专注于可编程逻辑器件(FPGA)和自适应处理器的公司,提供了一系列面向汽车行业的解决方案。以下是Xilinx在汽车领域的一些关键方面:

汽车级FPGA: Xilinx提供了针对汽车行业的FPGA产品,这些产品通常具有更高的可靠性、温度范围和其他特定于汽车的要求。这些FPGA可用于处理复杂的计算任务、传感器融合、图像处理等。

ADAS(先进驾驶辅助系统): Xilinx的技术被广泛应用于先进驾驶辅助系统,包括雷达处理、视觉感知、车道保持辅助、自动驾驶等功能。

汽车网络: Xilinx的解决方案用于汽车网络和通信,包括支持Ethernet AVB/TSN(音视频桥接/时间敏感网络)的技术,以实现高效的数据通信。

汽车信息娱乐系统: Xilinx的FPGA和处理器技术可用于提升车载娱乐系统的性能,支持高级图形和音频处理。

电动汽车和混合动力系统: Xilinx的解决方案还可用于电动汽车和混合动力汽车的控制系统,包括电机控制、电池管理等。