索尼IMX500和IMX501是索尼首款具有AI处理功能的图像传感器

智能手机提供相机图像传感器方面，索尼是最大的播放器。流行传感器的例子包括48MP IMX586，该款手机于2019年在各种价格范围内的各种手机中使用。IMX586是64MP IMX686的继任者。当然，该公司不仅仅处理智能手机图像传感器。它拥有非常成功的高级无反光镜相机阵容，通常被认为是黄金标准。它不懈的创新步伐丝毫没有丝毫放松的迹象，因为它现已宣布即将发布其首款具有AI处理功能的图像传感器，分别为IMX500和IMX501。

索尼IMX500和IMX501是即将推出的两种智能视觉传感器型号。索尼声称它们是世界上第一个配备AI处理功能的图像传感器。该公司表示，在图像传感器本身上包含AI处理功能可实现高速边缘AI处理和仅提取必要的数据。与使用云服务相比，这减少了数据传输延迟，解决了隐私问题并降低了功耗和通信成本。

需要特别注意的是，这两个传感器并非用于手机摄像头。相反，这些应用程序用于零售和工业设备行业，并且有助于构建与云链接的“最佳系统”。

为什么将AI处理与传感器本身集成在一起?索尼解释说，物联网的普及已导致所有类型的设备都连接到云，这使得信息处理系统司空见惯，从此类设备获得的信息将通过云上的AI进行处理。与这种方法相关的问题是增加了数据传输等待时间，从而阻碍了实时信息处理。与将个人身份数据存储在云中相关的用户的安全问题;以及其他问题，例如云服务附带的功耗和通信成本增加。

IMX500和IMX501具有堆叠配置，由像素芯片和逻辑芯片组成。逻辑芯片上配备了AI图像分析和处理功能。由像素芯片获取的信号通过传感器上的AI进行处理，从而无需高性能处理器或外部存储器。反过来，这使得可以开发边缘AI系统。

传感器输出元数据而不是图像信息，从而减少了数据量并解决了隐私问题。AI功能使具有高速AI处理的实时对象跟踪等应用成为可能。通过根据用户的要求或使用系统的位置的条件重写内部存储器，可以选择不同的AI模型。

这些传感器的像素芯片具有BSI，并具有大约12.3的有效MP用于捕获信息。光学格式为1 / 2.3英寸(对角线7.857毫米)，像素尺寸为1.55微米。他们有一个拜耳彩色滤光片阵列。传感器能够在不进行AI处理的情况下以60fps录制4K视频，并在进行AI处理的情况下以30fps录制4K视频。除了传统的图像传感器操作电路外，本地芯片还配备了索尼的原始DSP。DSP专用于AI信号处理以及AI模型的存储器。这样，就不需要高性能处理器和外部存储器，从而使边缘AI系统受益。

索尼解释了图像传感器的工作流程。像素芯片获取的信号通过ISP运行，并且在处理阶段在逻辑芯片上进行AI处理，提取的信息以元数据的形式输出，从而减少了处理的数据量。不输出实际图像信息本身，这对于安全性和私密性是有利的。用户可以选择数据输出格式，包括ISP格式图像(YUV / RGB)和ROI(感兴趣区域)特定区域提取图像。