新一代低照成像技术—AI超微光

视频监控作为安防行业的主要业务，已经历经了多年的发展与变迁。视频监控技术在人员搜索和车辆管控及违章取证等方面，为公安部门提供了大量的帮助与支持，目前应用场景已十分广泛，包括平安城市、雪亮工程、酒店、车站、广场、住宅小区等等。

目前视频监控成像依然受限于环境光线，在白天可以提供清晰、色彩还原度高的影像，然而在低光照的夜间环境下成像质量大幅下降，而夜间由于环境光线不足或者全无光，已然成为犯罪分子作案的高发时段。

公安干警在破案以及取证的过程中迫切需要监控摄像机在夜间提供更多真实有效的影像信息，因此低照成像技术成为各大安防企业重点关注的领域。

一、低照技术发展现状

为解决低照成像的问题，行业经过多年探索，主要有以下三种解决方式：

第一种，针对光源不足的情况，在摄像机边上增加补光灯。这样的举措下，监控杆上俨然成为麻雀阵，刺眼的LED补光灯将严重影响出入人员的视线，带来安全隐患，酿成许多惨剧。且该做法在获得补光的同时也造成了很严重的光污染，对周边的居住区造成实际的生活困扰，如此闪耀的曝光也必然引起作案人员的警惕。除了用户体验差，这种做法也很浪费资源，因为每个摄像机旁边都要装一个灯，增加了系统的开销。

第二种，采用传统的ISP图像调制技术来提升图像质量。比如通过提高数字增益来提升图像亮度，但数字增益不区分图像信号和噪声，把噪声也加大了，所以成像效果并不理想。还有一种方法是放慢快门速度（即增加曝光时间），但这样一来就没办法捕捉高速运动的物体了，而现实中我们需要捕捉的又往往是高速运动的车辆和人，所以这个方法也行不通。还有就是各种各样的降噪算法，比如空间和时域的降噪。这些算法本身挺好，但遇到低照的情况，由于信噪比太低，所以在过滤噪声的同时也会把图像信号过滤掉，结果就是图像非常模糊。

第三种，堆叠摄像机硬件。其中一个代表是超星光技术，主要采用星光级图像传感器、大光圈镜头以及传统的ISP图像调制技术，主要依托图像传感器的灵敏度提升来减少能量转换的效率，通过大光圈镜头提升进光量。这样的技术已经非常成熟，并且实现成本也相对较低，所以超星光摄像机应用于普通的视频监控是有较大优势的，但是用于专项的应用场景就显得不太适用，比如人员卡口、车辆卡口以及电警摄像机等场景。

1. 由于采取超大光圈的镜头，虽然扩大了进光量，提升了图像亮度，但也大大降低了成像的景深以及扩大了车灯强光的光晕的影响（如图1所示）。

图1 景深差异

2. 专业场景的摄像机，由于在夜间需要抓拍清楚机动车、非机动车以及行人等运动物体，就必须根据物体行进速度提升摄像机的电子快门，否则运动物体抓拍的图片将有明显拖尾。而一般普通视频监控摄像机夜间的工作快门是1/25s，而人员卡口的快门需要1/100s，车辆卡口的快门就要更快1/400s。这些专业应用的摄像机由于提升的快门速度，就把大光圈镜头带来的亮度提升又抵消掉了，导致目标物体周围的场景一片漆黑，丢失很多有用信息（如图2所示）。

图2 提升快门速度后的效果

接下来出现的黑光技术，也是近两年来低照领域的热点技术，主要是采用两颗星光级图像传感器，通过特殊的光学元件，其中一颗传感器通过红外补光采集图像亮度信息和物体轮廓，另外一颗采集色彩信息，然后通过图像融合算法将两颗采集到的图像信息进行融合，输出既明亮又是彩色的图像（如图3所示）。

黑光技术原理

黑光融合效果

需要澄清的是，黑光技术并不是说摄像机能在完全无光的环境下清晰成像。从技术原理上也可以看出，首先采集亮度的传感器是依赖红外补光来实现的，而另一颗采集色彩的摄像机则和普通摄像机一样需要环境光线，实在无光的环境下，黑光摄像机也得依赖比较强的LED补光灯来补光。

在交通卡口的应用中，由于汽车前挡风玻璃上粘贴的防爆膜红外透光率很差，所以采用黑光技术和红外爆闪灯的环保卡口，如图4所示并不能采集到前排司乘人员的图像信息。

车辆在防爆膜和非防爆膜的情况下的显示效果

当遇到一些红外反光材料的物体，采用黑光技术的摄像机在色彩还原上也有一定的弊端，比如司机穿的衣物是黑色的反红外光材料，通过黑光技术还原的图像将黑色衣物还原为白色了，这样的示例势必对后续的违法取证造成一定的困扰。

基于目前主流的低照图像处理技术仍然存在的光污染和图像信息偏差等痛点，科达认为：用户需要的是光污染极小，夜间同样可以获得如白昼般清晰、明亮和色彩还原真实的摄像机，并且成本可控可大规模部署的产品。科达另辟蹊径，开始思考和设计将AI技术运用到低照成像技术中来。

二、AI超微光技术原理

与当前业内两大主流技术的做法不同，科达AI超微光摄像机依托科达多年在人工智能算法上的积累，创新性地采用了自主研发的深度学习图像增强技术来提升低照度场景下的视频图像质量。正如大家所知，目前深度学习技术主要应用于模式匹配和图像识别，例如人脸识别、车辆特征提取、视频结构化等，基本都属于图像理解和图像分析的范畴，是计算机视觉里的高层视觉和中层视觉任务。相比之下，用深度学习技术来处理低层视觉任务在视频监控领域的应用并不多，而科达则在业界首次将深度学习技术应用到前端传感器底层图像增强处理领域，直接对传感器输出的裸数据进行图像恢复，最大化还原低照度环境下的实际图像效果，科达将这种独创性的人工智能算法应用称之为AI超微光技术。

AI超微光技术突破了传统摄像机中ISP技术的局限性。目前摄像机内部的ISP模块由数十个传统图像处理算法组成，有数百个参数需要人工根据经验进行调整，不仅费时费力，而且由于传统算法的局限性，难以在低照和高噪声的情况下准确显示出视频图像中有用的信息，而AI超微光技术对传感器输出的裸数据直接进行处理，运用神经网络完成输入图像到输出图像端到端的非线性映射，通过对应用场景目标图像要求的提炼，科达的算法人员采集海量夜间低照情况下车辆卡口、车辆电警、人员卡口以及全结构化摄像机的图像样本与模拟数据，并针对性地进行了数学建模，设计了一套从采集、标图、训练以及模型转化的端到端的深度学习流程。和传统方法相比，AI超微光技术完全跳过了摄像机中ISP处理过程，省去了多个ISP算法模块繁琐的调参过程，用人工智能技术实现成像具有划时代的意义。

AI超微光技术的现场试验表明，通过对大量场景抓拍图片的学习，人工智能算法可以直接对传感器输入数据进行图像恢复，大幅减少了摄像机对补光灯的依赖，在提升图像亮度的同时，还能充分还原物体颜色与纹理等细节信息。依托该算法还原出来的图像，不仅大幅度提升了人眼对抓拍图像的主观体验，也能提升后端诸多的智能算法对图像的特征分析，比如对车辆特征分析、非机动车特征分析、驾乘人员特征分析等。

科达AI图像增强算法处理后的夜间效果

如图5所示，在0.3Lux的低照度下，无外加任何补光灯的情况下，经过该算法处理后的图像犹如白昼，任何蛛丝马迹都能尽收眼底。

综上，科达AI超微光摄像机核心优势有以下几点：

1.图像清晰度还原优秀；

2.图像色彩还原度优秀；

3.极低照度下仅需微弱补光，光污染极小；

4.内置AI芯片，通过图像增强算法和特征分析算法双结合，让智能摄像机更智能。

三、结语

当前摄像机内置的AI芯片算力快速提升是明确的大趋势，后续AI超微光算法将能做到足帧实时处理更高分辨率的视频，这样科达引领的AI超微光摄像机的优势将更加明显，也必然是日后低照领域大势所趋。目前科达已经推出了AI超微光车辆卡口、AI超微光车辆电警和AI超微光人员卡口三种产品，以及配套这些智能摄像机使用的专业环保型补光灯，以保证在更多的实践中验证科达AI超微光的技术价值。AI时代已全面开启，科达将AI超微光技术应用于目前尚不完善的低照摄像领域，为夜视成像的痛点提出更为先进的解决方案，为守护城市平安打造更友好的产品，未来势必应用于更为宽广的公共安全领域。