赛道 Hyper | 智能手机影像破局：高通的选择

一项出现在 2020 年的影像应用技术，可能会成为智能手机和 XR 的影像传感器技术迭代和体验改善的新武器。

这项技术，目前已明确被高通和索尼，甚至是梅赛德斯 - 奔驰等，在不同应用领域的超级巨头采用。

这家叫做 Prophesee（普诺飞思）的法国公司，是这项被称为 “基于事件的视觉传感器技术” 的原创公司。最近，Prophesee 来到中国，专门对此项技术做了深入解释。

就核心技术应用价值来说，这个拗口的技术名称，在手机领域，起的作用，简单一句话——大幅改善手机摄影照片质量。此外，在智能座舱、XR（扩展现实）、医学和工业（高速机器视觉）方面，有超越想象的技术应用。

那么，基于事件，是什么意思？索尼已推出相应的工业传感器，高通将于年内推出应用这项技术的骁龙芯片开发套件，届时对手机/XR 影像带来哪些新体验？

什么是基于事件？

在 2020 年的 ISSCC（国际固态电路年度会议：IEEE International Solid-State Circuits Conference）会议上，Prophesee 和索尼联合推出了两款 “基于事件的” 视觉传感器（IMX636/637）。据称，这两款传感器在应用于工业设备、机器人和自动驾驶汽车等领域时，能 “更好地 ‘看见’ 和 ‘感知’ 环境”。

Prophesee 在技术介绍中谈到，基于事件的传感器 “自带的视觉技术系统产生的数据量，比传统图像传感器减少近千倍，同时能实现大于 10000fps 的更高帧速率”。

这是怎么做到的？

常规图像或视觉传感器，以帧为单位记录动态影像画面。比如，电影每秒记录 24 帧画面（24fps）；很多智能手机视频规格为 30fps/60fps，以此构成视觉上连续的影像画面。

这种影像，实际上存在两个问题，或者说缺陷：首先，帧与帧之间可能存在重要的未记录信息；第二，每帧静态画面，非常多的信息都会被重复记录。这些信息冗余，对后端画面计算、数据传输和存储，会构成极大负担。

避免重复记录重复信息，以及完整记录帧与帧之间的全部的重要信息，这是 “基于事件的视觉传感器” 有别于普通传感器的技术特征。

事实上，这相当于借鉴了人眼看到物理场景时，感光细胞与大脑信息的当量和速度反馈链条的生理性。

观察生理学原理，人类能从 1000 次/s 变化率的场景中捕获有价值的信息；人类眼睛的感光细胞，在检测到视觉场景中某些特性——如对比度或亮度——变化时，感光细胞才会将这种变化反馈给大脑。

Prophesee 正是模拟应用了人眼和大脑反馈形成的信息规模和速度原理，做的其实是模拟人眼视觉的 “神经形态视觉技术（Neuralmorphic Vision Technology）”。

在此技术基础上，Prophesee 开发的视觉传感器被称为 “硅视网膜（Silicon Retinas）”，并配以 “模拟人类大脑的计算机视觉 AI 算法”，以及对应的包括 SDK、代码示例和即用型应用等软件工具在内的视觉工具包智能套件。

Prophesee 重新设计了像素，这就像视网膜的感光细胞。各像素之间，各自独立故而异步，就像人体的神经元（Neuron）细胞。

因此，和人眼视觉原理类似，Prohesee 开发的传感器，只有在像素感知到场景变化时才会做信息记录，而不会捕捉场景中保持静态的部分。

每个像素都能根据各自感应到的光子数量，异步且智能地激活自身。在这里，像素的每次激活称为一个 “事件（event）”，整个过程是μs 级别的速度。从传感器上读出对应像素的数据，等效于实现 10000fps 的帧率。

“基于事件”，即缘于此。

同时，基于事件视觉传感器捕获的图像信息，并非逐帧发送，而是通过连续的信息流捕获事件信息，故帧与帧之间不会遗漏任何重要信息。另外，事件由场景动态驱动，采集速度始终与实际场景动态相匹配。

这就很明显，基于事件的视觉感知设计，对应形成了三个优势：数据产生量更少、反应速度更快、能实现更高的动态范围（>120dB）。

在应用场景中，比如手机影像，这种基于事件的传感器，在拍摄动态画面时，不会捕捉整个画面，而是把注意力放在正在移动的部分信息层。因此，这种传感器能做到更高效、更快速地捕捉画面。

高通为何看得上？

目前，尚未有融合了基于事件的视觉技术的智能手机传感器。2020 年索尼和 Prohesee 联合推出的两款 “事件传感器” 应用于工业领域，如用于外观或异物检测、机械异常检测、3D 测量、震动检测和追踪太空碎片等。

在今年的 MWC2023，高通宣称，其将 Prophesee 的事件视觉传感器和软件整合到骁龙移动平台上，相关开发套件将于今年上市。但这也不是智能手机影像传感器。

但是，毕竟这是一个很好的开始。应用此项技术的骁龙平台，在处理最常用的拍照功能时，能轻易实现将原本用普通传感器拍出的模糊照片变得极为清晰，同时还不消耗 AI 算力。

据 Prophesee 联合创始人兼执行总裁 Luca Verre 透露，Prophesee 和高通在今年推出的开发套件是双方合作的一部分，更重要的在于后续合作，而这项合作将给普通用户带来影像方面更为优异的体验。

“我们和高通合作，主要是两个方面：一是技术层面，一是商业发展。” Luca Verre 说，“技术方面，高通会将事件视觉传感器和软件整合到骁龙移动平台上；在业务发展上，高通将和我们共同推进这个产品和技术的发展和落地，向手机 OEM 推广相应的解决方案。”

鉴于 “事件传感器” 在医学领域的杰出表现（比如超越想象的盲人复明），高通决定和 Prophesee 达成长期战略性的合作伙伴关系。这种合作是因为对智能手机而言，“事件传感器” 蕴含的神经拟态技术，对计算影像或其他传感应用，都能带来极高的附加值。

高通产品管理副总裁 Judd Heape 表示，“神经拟态视觉技术突破了行业现有的游戏规则，能有效突破传统相机的局限，并提升整体用户体验。Prophesee 无疑是这一领域的领导者，我们对双方的合作很有信心，这将进一步推动领先的 OEM 部署神经拟态视觉技术，从而开启移动影像技术的全新时代。”

除手机外，IoT 领域的监控安防，对 “事件传感器” 来说，也是极好的应用场景。Prophesee 的技术不但能保护隐私，而且还能节省数据流量和资源，让整个方案变得更便捷、更轻和更安全。今年 Prophesee 在该领域就会有相应的量产产品落地。

除了智能手机和 IoT 的影像应用，“事件传感器” 对 XR（扩展现实）的意义或许更大。

Prophesee 在可穿戴设备和 XR 领域也做了探索和突破，包括像位姿跟踪、手势追踪和目光跟踪等等，这些都是增速极快且会有全新空间的新市场。

目前，XR 设备的延迟较为严重，使用者会产生晕眩感。但 Prophesee 的事件视觉技术能精准检测目标对象的轮廓，并做高速追踪，因而延迟较低。

另外以眼球追踪为例，若使用传统摄像头，通常需要超过 500fps 的速度，对算力要求极高。与传统解决方案相比，事件视觉技术只关注画面中动态变化的信息，可大大降低数据量，实现超高速追踪。

2022 年，Meta 公司也发布了基于与 Prophesee 合作取得的成果和数据，在有限的功耗内实现了高性能的眼球追踪。

值得一提的是，高通的骁龙芯片，不仅仅只限于智能手机领域，在 XR 领域，骁龙也有 “骁龙 R2” 芯片，为 VR（XR 的一种）提供技术支撑。