硅图像传感器加速并简化自动驾驶汽车的图像处理

哈佛大学约翰.保尔森工程与应用科学学院的一组研究人员开发了第一个可以集成到商业硅成像传感器芯片中的传感器内处理器。这些传感器被称为互补金属氧化物半导体(CMOS)图像传感器，它们被广泛用于捕获视觉信息的商业设备中。

新设备加快并简化了自动驾驶汽车和其他应用的处理。

自动驾驶汽车和视觉处理

在自动驾驶汽车中，系统拍摄图像和将数据传送到微处理器进行图像处理之间的时间可能会产生重大影响。这是一个关键的时间段，可能意味着避开障碍物或卷入事故之间的区别。

视觉处理可以通过传感器内图像处理来加速，其中包括由图像传感器本身而不是单独的微处理器从原始数据中提取重要特征。话虽如此，传感器内处理已被证明仅限于新兴的研究材料，这些材料很难融入商业系统。

这就是使新发展如此重要的原因。

该团队在Nature Electronics上发表了他们的研究。

传感器内计算

Donhee Ham是SEAS电气工程和应用物理学的Gordon McKay教授，也是该论文的高级作者。

“我们的工作可以利用主流的半导体电子行业，将传感器内计算快速引入各种现实世界的应用中，”Ham说。

该团队开发了一种硅光电二极管阵列，该阵列也用于商用图像传感芯片以捕获图像。但是该团队的光电二极管是静电掺杂的，这意味着单个光电二极管对入射光的敏感性可以通过电压进行调节。

当一个阵列将多个电压可调光电二极管连接在一起时，它可以执行对图像处理流水线很重要的乘法和加法运算的模拟版本。这有助于在捕获图像时立即提取相关的视觉信息。

Houk Jang是SEAS的博士后研究员，也是该论文的第一作者。

“这些动态光电二极管可以在捕获图像时同时过滤图像，从而允许将视觉处理的第一阶段从微处理器转移到传感器本身，”Jang说。

为了消除各种应用中不必要的细节或噪音，硅光电二极管阵列被编程到不同的图像过滤器中。当用于自动驾驶车辆的成像系统时，它需要一个跟踪车道标记的高通滤波器。

Henry Hinton是SEAS的研究生，也是该论文的共同第一作者。

“展望未来，我们预计这种基于硅的传感器内处理器不仅可以用于机器视觉应用，还可以用于仿生应用，其中早期的信息处理允许传感器和计算单元共同定位，例如大脑，”Hinton说。

该团队现在将寻求增加光电二极管的密度并将它们与硅集成电路集成。

“通过将商用硅图像传感器中的标准非可编程像素替换为这里开发的可编程像素，成像设备可以智能地修剪掉不需要的数据。这可以提高能源和带宽的效率，以满足下一代传感应用的需求，”Jang说。