在机器人和工厂复杂应用中，高速移动带来的画面畸变、中远距离的三维深度误差，往往是图像传感器面临的技术瓶颈。继上一篇深度拆解：实现优异 HDR 的三种核心方法后，安森美（onsemi）《面向无人机和机器人的图像传感器教程》系列最后一篇将深度解析全局快门、近红外照明、iToF等核心要点。第一篇请查看👉一文读懂无人机与工业机器人的环境感知需求
全局快门如何减少运动伪影
消费级数码单反相机与固定式安保摄像头普遍采用卷帘快门，图像传感器会分区域依次感光。曝光区域从传感器一侧逐步移向另一侧，已完成曝光的像素同步进行数据处理，后方区域则正在曝光。这种机制用于统筹相机成像流程，高分辨率场景下尤为适用，可避免图像处理前在内存中缓存大量画面数据。
对于消费级相机来说，这是一种巧妙的设计，但拍摄高速运动目标时画面容易产生轻微畸变，影响画面真实感。对于面向无人机、机器人导航，或是用于目标身份识别的成像设备而言，卷帘快门的工作效率并不理想。
全局快门可以消除运动物体出现画面畸变的问题。整个光电二极管一次性捕获图像的所有区域，然后将像素值存储到内存中。
利用 GSE 分析寄生光敏感性
为让全局快门的图像数据即时传输至存储元件（左图中标识为 ME），存储元件 (ME) 紧邻光电二极管布设。这种设计的一个潜在弊端是，从导光管 (LP) 漏出的入射光或杂散光，可能对存储元件造成干扰。
杂散光带来的影响可从这些照片中直观看到：贴在运转扇叶上的名片呈现出重影虚影。后续曝光的光线与先前曝光的画面相互叠加，最终形成了透明的视觉错觉。
当图像传感器采用全局快门效率 (GSE) 优化方法时，可以确保拍摄高速运动物体时画面清晰、无伪影。安森美 Hyperlux SG 系列 AR0145、AR0235 传感器将整体 GSE 提升一倍，支持 120 帧/秒高速精准抓拍动态场景。无论暗光还是强光环境，均可输出低噪点清晰图像。Hyperlux SG 系列传感器集成自动曝光控制、自动黑电平校正、阵列框选、跳行/跳列及像素合并功能，可将四个像素的数据合并为单个像素输出。
近红外 (NIR) 照明如何提高精度
针对红外 (IR) 频率优化的图像传感器通常采用主动照明。它使用红外或近红外 (NIR) LED，或者使用垂直腔面发射激光器 (VCSEL) 来“照亮”前方目标。两种光源均以极短脉冲形式发射红外光。
为了使红外或近红外传感器捕捉脉冲反射光，时序必须与发光脉冲严格同步。如果红外传感器经过精心设计，使所有像素在红外发射器脉冲的瞬间都能获得最佳响应，则红外传感器的 GSE 将得到极大提升。
利用 CMOS 传感器实现间接飞行时间 (iToF)
距离属于一维概念，可用单条直线表示。要利用二维图像实现深度感知，图像处理器至少需要同时获取两个不同视角的画面。处理机制估算的深度精度，很大程度上取决于两路图像传感器的分辨率。
由于分辨率始终是一个限制因素，安森美 Hyperlux ID 这类 CMOS 图像传感器的深度感知范围有限。机器人与无人机若要突破限制实现更远距离深度感知，就需要采用一种称为间接飞行时间 (iToF) 的技术。安森美 Hyperlux ID 传感器采用全局快门，以 940 nm 红外激光二极管作为照明器，可同时捕捉八次曝光（两种频率，各对应四个相位），然后将所有曝光数据整合为单帧存储。此举基本消除了运动引起的相位误差。
Hyperlux ID AF0130 内置嵌入式深度处理 ASIC，可在片上处理所有深度感知运算。例如，当激光等恒定调制光源发出的光线经物体反射后，反射光与发射光之间会产生微小的相位差。借助基础三角运算，ASIC 就能根据四组曝光对应的相位差，推断出一个距离值（间接飞行时间中“间接”的由来）。
利用 iToF 实现更佳的深度感知
物体的反射率反映了物体产生的光信号强度。可视化软件能够使用深度图以颜色方式表示相对深度。图中，近处物体偏向光谱红色区域，远处物体则偏向蓝紫色一端。
目前，许多 AMR 和机器人使用 VCSEL 激光器作为主要的主动照明器件。这类场景下，图像传感器需测算 VCSEL 与自身 NIR 反射光的频率相位偏移，并对两种光信号的强度进行调制。
安森美工程师开展实景模拟测试，在采用 VCSEL 的条件下，Hyperlux ID AF0130 在浅色调普通走廊的荧光灯环境中，可清晰识别 30 米处反射率 70% 的目标；在雾霾天气、照度 20000 勒克斯的背阴区域，有效探测距离可达 20 米。
集成智能感兴趣区域 (ROI) 功能
有时，制造业机器人需要搭载类似双光眼镜的电子视觉方案，既要观测大范围场景，同时也要看清特定部件的细微细节。
安森美 Hyperlux LP 系列 AR2020 传感器最高分辨率可达 2000 万像素，帧率 60 帧/秒。它支持画面分区处理，可放大指定区域，强化细节表现，同时还能以原生分辨率捕捉整个画面范围。
若系统依靠采集两帧图像来呈现不同细节层次，两帧图像的采集延迟可能导致图像处理器丢失关键信息。安森美的智能感兴趣区域 (SmartROI) 功能，让 AR2020 能够替代传统双传感器机器视觉方案（即使用两颗传感器，以不同放大倍率对同一区域成像的架构）。对于执行拾取和放置操作的关节机器人而言，借助 SmartROI，既能感知前方整个场景，也能专注于需要移动的物体和目标放置位置。
安森美 Hyperlux 方案
第一人称视角 (FPV)
最适合 FPV 操作、性价比最优的图像传感器采用卷帘快门，通常包含全局复位释放 (GRR)，用以模拟更多全局曝光条件。在以下表格中，“ERS”指的是电子卷帘快门，而支持此类去伪影方法的型号则标注了“GRR”。
AR2020 采用卷帘快门读出技术，提高了量子效率，降低了读出噪声，且不会引入画面畸变。AR2020 还支持运动唤醒 (WoM) 技术，使传感器能够在超低功耗模式下运行，在以 16 x 9 分辨率检测到场景中的变化之前，仅消耗正常功率的 1/100。
表格中提到的缩放单元，指借助拜尔滤镜通过算法对图像进行二次采样，得到尺寸更小但画质依旧精准的图像（表格中也列明了“二次采样模式”）。对于全局快门传感器，当镜头对准远景，近处物体突然入镜时，动态场景切换功能会让传感器立即复位，避免近处物体出现严重模糊。
视觉导航系统 (VNS)
为了避免碰撞，图像传感器最好使用支持 HDR 和超高帧率的卷帘快门。由于支持 GRR，AR0821 和 AR0822 型号特别适合执行此类任务。对于读取二维码和条形码等操作，AR0145 和 AR0235 由于具有全局快门和高帧率，因此更适合使用，可确保图像无畸变。
深度传感器
安森美 Hyperlux ID AF0130 与 AF0131 深度传感器所实现的技术突破，能够重塑无人机和 VGR 的设计范式，使之更易于生产制造、维护保养、工程开发，同时具备更高的性价比。
- AF013x 搭载的 120 万像素 BSI 全局快门，可使 CMOS 图像传感器实现超高精度的深度感知能力
- 智能 iToF 技术与片上存储结合（仅限 AF0130），可减少甚至消除运动伪影，助力需要高精度机器视觉的图像与物体识别系统类 AI 软件提升准确性
- 片上集成算法处理功能，完全消除对外部微控制器的依赖，从而简化组件设计、缩小组件尺寸，同时降低功耗
- 出色的环境光抑制能力可提升传感器的无歧义测距范围，从而支持更广泛的机器视觉新应用
- 依托安森美行业标准 Devware X 开发环境，可实现开放式软件开发与可编程控制，并支持自定义情景配置
拓展我们对世界的感知
机器人行业再度迎来发展热潮，主要源于两大因素：其一，网络技术（包括无线通信）让机器人能够接入海量存储资源，实现稳定的状态监测与设备维护。其二，CMOS 成像技术让视觉与深度感知模块能够低成本、便捷地部署在机器人任意位置，如机械臂末端。对航空器设计者而言，在整机各处分布式布设图像与深度传感器，不仅技术可行，且具备实用价值。视觉技术让无人机与 VGR 产业迎来了继上世纪 60 年代后又一轮强劲发展。
安森美的技术让自主设备不再局限于在机身“头部”和云台安装成像模块，拓展了视觉技术部署的空间。如今，各类正在研发或规划中的机器人、无人机应用，再也不会因视觉能力不足、无法感知作业与行进环境而受到限制。