zh-hansen

图像融合

创造卓越的图像品质

最近的旗舰智能手机正在集成双摄像头,以各种方式提升摄像头用户体验。为了提高图像质量,这些双摄像头生成的两幅图像需要合并为一幅图像,从而拥有更高的分辨率、更好的弱光性能、更低的噪声水平以及单幅图像无法提供的其他摄影功能。将这两幅图像组合成单幅图像的过程称为图像融合。

在智能手机中,双摄像头的图像融合有多种方法。第一种方法采用具有一个彩色传感器和一个黑白传感器的双摄像头(除去拜耳滤色器)。黑白传感器可多捕获 2.5 倍的光线,从而达到更好的分辨率和信噪比(SNR)。通过融合来自两个摄像头的图像,输出图像具有更好的分辨率和信噪比,特别是在弱光条件下。

第二种方法是变焦双摄像头 – 一个广视角摄像头搭配上一个长焦窄视角摄像头。在这种情况下,图像融合提高了从无变焦到长焦摄像头视角为主的范围内的 SNR 和分辨率。在此低变焦系数范围内,融合利用了只有少量长焦像素被映射到融合图像的事实。这意味着输出的融合图像由来自广角的 1 个像素和来自长焦的多个像素组成,从而实现更好的 SNR 和更高的分辨率。

执行图像融合存在几个算法难题:

  • 遮挡:由于两个图像是从不同的视角拍摄的,所以可能存在在一个图像中被另一个图像遮挡的区域。
  • 光学畸变:镜头在输出图像中产生偏差的一种像差。这种类型的镜头像差使得确定每个像素的视差的过程更加困难,并且需要算法来补偿畸变。
  • 景深差异:可能在一个摄像头中对焦、但在另一个摄像头中失焦的区域,在这种情况下,标定变得更加棘手。
  • 重叠区域与非重叠区域之间的过渡:视野和分辨率中的差异造成一个图像不可避免地包含在另一个图像内(通常是包含长焦图像的广角图像)。
  • ISP 差异:由于 2 张图像中的每张图像都由不同的 ISP 处理,所以输入图像会受到不同的锐度、噪声级别、对比度和颜色的影响。
  • 广角/长焦分辨率差异:作为光学设计的一部分,长焦图像比广角图像的分辨率更高。由于 2 个摄像头之间的分辨率不同,广角摄像头可能无法检测到长焦摄像头检测到的小物体。

Corephotonics 的图像融合算法解决了上述挑战,具有最小的处理负载、快速的运行速度和最佳的应用处理器资源利用率。成熟、久经测试的算法可大大降低出现图像伪影的机会,而图像伪影在今天高要求的移动成像领域是不能被接受的。