在 E 维智库第 12 届中国硬科技产业链创新趋势峰会暨百家媒体论坛上，飞凌微首席执行官、思特威副总裁邵科带来了关于《新一代端侧 SoC 与感知融合方案，助力车载智能视觉升级》的精彩演讲。邵科拥有浙江大学控制科学与工程硕士学位，在图像与视频 IC 行业有着十多年的从业经验。
邵科提到，近十多年来，图像传感器和视觉类产品的应用日益广泛，从安防监控、公共安全领域扩展到手机、家用 IPC、门铃等消费类领域，甚至包括扫地器、人脸支付等机器视觉应用。与此同时，神经网络和 AI 算法也迅速发展并大量落地。在这种背景下，视觉与 AI 应用场景在各行各业和生活的各个方面不断涌现。
端侧 AI 处理：优势与应用场景大揭秘
端侧 AI 处理主要有三种模式：一是在端侧采集数据，在云端处理，这种方式实效性相对较低；二是在端侧采集数据并在本地中央计算处理 AI 数据，这是较为普遍的模式；三是直接在端侧采集和处理数据，这种模式具有诸多优势。邵科指出：“这种模式没有了大数据传输过程，延时相对较低，可靠性更强。而且在数据安全、隐私保护备受关注的当下，在端侧处理可以有效避免原始图像信息泄露的潜在风险，同时在方案上具备更低成本和更高时效性。”
在端侧有机会应用的场景众多，包括智能车载、智能家居、物联网、机器视觉等领域。以智能汽车为例，视觉应用极为广泛，大幅提升了驾驶体验。邵科说：“在车上面，现在整个视觉传感器会用得越来越多，既包括用来做影像类的 360 度环视，也包括辅助驾驶的 ADAS 辅助系统，也有舱内的监控等。随着应用落地越来越多，对摄像头规格要求越来越高，需要更高分辨率、更好成像性能，可能还需要多个摄像头组合，这对图像和处理性能都提出了更高要求。” 尽管芯片日益复杂且迭代速度有限，但端侧高性能图像处理和视觉预处理仍有很大发展空间，有助于整个系统更好地落地。
飞凌微 M1 智能视觉处理芯片系列解析
基于市场需求和应用方案的思考，飞凌微今年推出了 M1 系列三款产品。邵科介绍道：“这三款产品分别是用于车载上面的高性能 ISP 和两颗用于在车载的端侧视觉感知预处理的轻量级 SoC。值得一提的是，这三颗芯片采用业内最小的 BGA 7mm * 7mm 封装，有助于模组做得更小巧，利于车载应用落地。” 这些芯片针对车载应用，具备功能安全、信息安全等独特技术。
具体来看，M1 是一颗高性能的 ISP，能够接 800 万像素的图像数据或者两颗 300 万像素的图像数据，适用于车载的 ADAS、影像类产品以及法规落地的后视镜等应用。邵科强调：“ISP 是我们持续多年自研的技术，能很好地符合车载影像类在视觉采集上的两个重要要点，即高动态范围和优秀的暗光性能。在光方面，高动态范围要求较高，比如白天阳光照射、晚上车灯照射，这对于直观观察周围环境和算法识别都非常重要。我们高性能的 ISP 结合图像传感器能很好地实现高动态范围成像。暗光效果也是视觉成像的一大难点，比如在没有路灯的环境中或在黑暗车库停车时，能否看清周围环境对驾驶至关重要。我们不仅有独特的降噪处理技术，还结合了一定 AI 来提升 ISP 的暗光效果。”
除了高性能 ISP，还有一款产品在其中加入了轻量级的 CPU、NPU 算力，使得在处理图像的同时能够进行轻量级的 AI 应用，如人脸识别、姿态识别等，具备端侧系统的 AI 处理能力，其自研的 0.8TOPS 的 NPU 可实现相应功能。此外，为适应不同应用需求，还有 M1Max，其算力资源是 M1Pro 的两倍，能在端侧处理更多数据。邵科举例说：“像 M1Pro 在车载里可做一个 DMS 功能或单独的 OMS 功能，但 M1Max 可以同时接两个传感器的数据并处理，应用场景更丰富。” 飞凌微作为思特威全新子品牌和子公司，结合了思特威在图像传感器技术和市场优势，以及端侧应用的数字 SoC，实现了方案上的融合与互补，提升了市场、客户、技术和服务水平。
M1 系列芯片在车载视觉中的多元应用与挑战应对
在车载视觉应用方面，M1 系列芯片已经有了一些落地场景。在车内 DMS（驾驶员监控）方面，由于辅助驾驶 L2 或 L3 级别需要对驾驶员状态进行监管，驾驶员状态对驾驶安全至关重要。邵科表示：“在这个方案里，我们需要对驾驶员的疲劳、声音等状态进行监测，把这些数据反馈出来，起到报警或提示的作用，同时也可以作为后面域控或对车驾驶判断的依据。在今年 7 月份，驾驶员监控在欧洲已经成为强制性法规，每一辆新车都会配置这个功能，我们预期在 3 – 5 年之内国内这方面的应用会越来越多。” 这种方案在端侧处理非常简单，一颗思特威图像传感器加上飞凌微的 M1Pro 就能实现大部分功能。
舱内的 OMS（乘员监控系统）应用也有新的发展。邵科说：“原来在商用车、运营车辆上主要是监控乘客状态，现在更多用于拍照、视频应用和手势识别等感知应用，所以对图像传感器和方案提出了更多要求，希望成像时能同时输出 RGB 彩色图像和近红外图像用于识别。我们用 500 万图像传感器结合 M1 形成模组方案，可分别输出 RGB 图像用于舱内娱乐、拍照等，输出 IR 图像用于算法识别。国外在这方面也在立法，如儿童遗落在车内的监测等，这将逐渐成为法规性要求。”
电子后视镜也是重要应用领域，传统后视镜在晚上暗光环境下效果不佳，而电子后视镜去年开始有法规允许替换物理镜子，这对图像传感器和成像提出了更高要求。此外，在后视摄像头上添加识别算法也是一个广泛应用的场景。邵科提到：“常规的后视摄像头主要用于倒车，但在端侧具备一定算力后，可以在倒车时检测行人和物体，避免潜在的驾驶安全问题。通过图像传感器和端侧 SoC 的组合，在模组端就能实现轻量化应用方案。”
在问答环节，对于轻算力与 MCU 算力的区别，邵科认为传统 CPU 更适合逻辑运算，而 NPU 是专门针对 AI 网络模型中并行矩阵运算的硬件化实现，MCU 则是加速模块与自身功能结合，这是功能上不同形态的实现方式。对于轻算力的应用领域，邵科指出主要考虑功耗小和一些小型化的经典模型（如视频分割等），在车载模组、IoT 物联网、人形机器人等需要小型化或隐藏设备的场景中有应用。对于第二代产品，已经在考虑多模态应用，包括不同传感器输入、语音和视觉组合等。
对于端侧 AI 和 SoC 技术面临的挑战，邵科表示主要是在图像传感器和 SoC 之间实现更好融合，以获得性能和成本优势，同时利用更先进的工具平台和技术实现迭代升级。在平衡成本控制与性能提升方面，邵科认为要聚焦端侧视觉方案，与图像传感器组合成方案，在两者功能上互补，避免功能冗余，保持竞争力。对于数据安全与隐私保护问题，邵科提到一是保证车机符合功能安全，二是内部有数据加解密、产品健全等技术，通过验证密码等方式保护权限和图像信息。
