zh-hansen

白皮书

三摄: 三摄比双摄好吗?

 

介绍

虽然双摄智能手机正在商品化,但三摄的排头兵已经崭露头角,首当其冲的就是本周刚刚发布的华为 P20 Pro。本文将介绍各种挑战和机会,并分析几种配置。

在过去的两年中,我们见证了大多数智能手机领域的几乎所有制造商都广泛采用了双摄技术。我们见过前置和后置的双摄像头,配置多种多样,可实现各种最终目标。最近的市场报告表明,2018 年有 30% 的智能手机将采用双摄技术,明年会增长到 50%。尽管智能手机市场用了十多年的时间才添加了第二个摄像头,但似乎添加第三个摄像头已指日可待,而这距离第二个摄像头的采用才两年的时间。

在本白皮书中,我们将讨论为智能手机成像结构添加第三个摄像头的动机,其带来的挑战,以及一些可能的解决方案。

双摄之路

智能手机相机的厚度一直是移动摄影的挑战。随着技术的进步,光圈尺寸变小,像素尺寸越来越小,自动对焦和图像稳定仍是需要打磨的重点。直到最近,智能手机 OEM 一直在争先恐后地努力在 6 毫米的摄像头高度中实现优秀的弱光性能、高分辨率、低 SNR,甚至是在放大时也不例外。

双摄技术应运而生,并采用以下方法向相机模块制造商和智能手机 OEM 提出了挑战:如果单个摄像头已发挥了全部潜力,为什么不合成两个摄像头的输出,使每个摄像头都可以发挥其特别的优势?

HTC One (M8) 是第一款使用后置双摄的智能手机,其唯一目的是让成像实现深度和不同对焦效果。它开启了双摄智能手机的时代。

双摄的第一阶段一直持续到 2016 年中期,各家 OEM 在一些旗舰智能手机中使用不同的双摄配置来测试双摄技术,包括仅深度、彩色-黑白以及广角和更广双摄像头。当时还没有“处于绝对优势的相机应用”,也没有脱颖而出的双摄配置。

2016 年 9 月,Apple 推出了采用后置双摄的 iPhone 7 Plus。Apple 以独特的双摄配置获得全球瞩目,广角+长焦的旗舰级摄像头设置突显了消费者最想要的两种摄影功能:光学变焦数字背景虚化(或“人像模式”)。从那时起,双摄智能手机领域逐渐成型,高端和旗舰手机都使用了类似的双摄配置,而中低端型号则只支持深度功能。

Corephotonics 于 2014 年推出的变焦双摄系统可实现真正的光学变焦,而不会增加摄像头的厚度。

发展成三摄

尽管双摄技术已经在高端手机市场产品化,但在不久的将来仍会有新的双摄技术亮相,以进一步提升当今的双摄性能。双摄技术不断演进,下一代的一个例子就是采用折叠式摄像头架构。该架构不仅能够显著提高变焦系数和弱光性能,还可以实现更薄的摄像头模块,从而让手机更纤薄。该技术的早期原型为 由 OPPO 在2017 年推出的5X 变焦智能手机。

智能手机摄像头演变中另一个有趣趋势可能就是采用复杂的三摄结构。这说来容易做起来难。增加第三个摄像头的挑战和优势都非常突出这也为智能手机制造商开辟了广阔的可能性和配置方案。

三摄有多种形式和配置

接下来,我们来看看三摄系统带来的三大挑战。

 

挑战 1:大小和成本

三摄解决方案增加了相机系统的物料清单(BoM),同时占用了移动设备可能集成的其他技术的更多空间(如红外感应、接近传感器、结构光、更大的电池等)。

这种牺牲是在所难免的,但 OEM 厂商需要权衡与之而来的成本影响,而这部分也取决于目标受众的配置喜好。增加第三个摄像头的成本直接取决于摄像头配置(如本文稍后所述),可能在 10 美元至 30 美元之间。

挑战 2:校准

为了在视频/预览中实现无缝的用户体验,并在图像融合或背景虚化期间避免伪影或长处理时间 ,相机三光圈成像系统的内在和外在特性必须得以仔细校准。校准必须在相机生产线中精细地执行,最好能持续、自主地执行,以补偿物理动态变化,例如温度变化和设备掉落冲击。

在这个更复杂的相机系统中,相机系统校准和帧到帧同步给相机模组制造商以及 OEM 带来了挑战。如果所有三个摄像头都需要互相完美校准,则必须精心设计相机装配过程,这样预期产量会更低。这对相机的总成本有直接影响。

挑战 3:固件、算法、电源

三摄系统在固件方面的要求也更复杂。新的框架需要让三个摄像头成为一个有机的整体。相机管理器内的功耗管理、帧请求、存储器管理和其他状态机等流程将不得不处理更多的逻辑、更多的数据,并允许更多的并行处理,同时以更高效的方式服务应用级别以满足实时性能。

另一方面,算法也面临类似的挑战。这包括确保合理的处理时间,实现来自多个摄像头的输入导致的图像质量伪像为零,同时处理三摄校准数据中的帧到帧同步、遮挡和缺陷的不准确性。

由于这些复杂情况,这种配置的整体系统(摄像头+处理平台)的功耗会受到很大的影响。

接下来,我们将推荐几种三光圈相机配置。当然,这只是三摄系统中的几个例子,它们各有自己优缺点,许多其他配置也是可行的。

三摄系统 1:提升弱光拍摄的变焦相机

摄像头 I 摄像头 II 摄像头 III
广角摄像头,24mm 焦距(相当于 35mm) 广角摄像头,24mm 焦距(相当于 35mm) 长焦摄像头,72mm 焦距(相当于 35mm)
1600 万像素黑白,小像素 1200 万像素彩色,
大像素
1200 万像素彩色,
小像素
光圈f/1.5 光圈f/1.5 光圈f/2.2
OIS光学防抖 OIS 光学防抖 OIS 光学防抖

这款相机能够在相对较暗的场景中拍照,且不会以牺牲出色的变焦能力为代价。一个很好的用途是拍摄音乐会舞台的照片,这是一个需要变焦和弱光功能的高要求场景。

连续变焦能力源于以下几点:

  1. 黑白摄像头(摄像头 I)不使用通常放置在彩色摄像头中传感器像素上的拜耳滤色器阵列,从而可以提供更多的对角线分辨率。在这个系统中,色彩再现可以通过彩色摄像头(摄像头 II 和 III)来实现。
  2. 黑白广角摄像头与彩色广角摄像头(摄像头 I 和 II)具有不同的空间采样大小(即像素大小),也有助于提升该双摄子系统的整体放大倍率。
  • 第三个摄像头通过其长焦镜头实现更高的中心分辨率。

增强的弱光性能源于所涉及的所有三个摄像头中相对较低的光圈 f/#。将彩色摄像头输出帧(摄像头 II)与黑白摄像头输出帧(摄像头 I,感光度为前者的两倍)融合,也可显著提高 SNR。这种曝光的两倍增益是不使用滤色器阵列的结果,这种阵列会过滤每个像素从而仅记录三原色中的一种,但会降低总体感光度。

彩色/黑白/长焦三摄相机可实现更好的感光性和光学变焦

与现有的变焦双摄像头相比,这种建议配置的另一个显著优势是摄像头 I 和 II 之间的大视野 (FoV) 重合。此功能可在整个广角 范围内 进行立体深度感测,适用于各种应用,如增强现实以及背景虚化(浅背景虚化效果)。

这种形式的明显缺点是拍照模式下的相对较高的快门滞后,并且在视频录制期间无法改善弱光性能。此外,这种摄像头系统的功耗管理非常重要,需要避免三个摄像头同时高负荷工作。

摄像头的排列顺序对系统性能会有影响。例如,将广角彩色摄像头放在中间,可以在视频录制过程中从广角摄像头更平滑地过渡到长焦摄像头,并简化两个相邻摄像头(彩色和黑白)之间的融合过程。这种安排将以牺牲立体深度感测精度为代价,并可以通过将广角彩色摄像头和广角黑白摄像头放置在两端来改善。

三摄系统 2FishEye 变焦摄像头:从超广角摄像头到长焦变焦

摄像头 I 摄像头 II 摄像头 III
超广角摄像头,135 度 广角摄像头,24mm 焦距(相当于 35mm) 长焦摄像头,72mm 焦距(相当于 35mm)
1200 万像素彩色,
小像素
1200 万像素彩色,
大像素
1200 万像素彩色,
小像素
光圈f/2.4 光圈f/1.5 光圈f/2.2
定焦 OIS光学防抖 OIS光学防抖

这款相机非常适合旅行爱好者。例如,在拍摄开阔风景时,超广角镜头可避免典型的全景拼接拍摄模式。同时,在缩放时捕捉细节非常有用。对于当今的智能手机,用户必须决定他们喜欢高质量的光学变焦能力,或是超广角图像;而这种三摄配置能让两者兼得。

与以前的三摄系统相比,这种三摄配置可以更经济地处理能耗,因为根据用户变焦系数,大多数情况下只有一个活动的摄像头。此外,摄像头阵列顺序背后的逻辑更直接,因为根据摄像头放大倍率,相邻摄像头将始终连续无缝切换。

该系统面临的挑战源于超广角摄像头镜头失真相对较高,从而增加了视频平滑过渡、两幅图像融合、工厂校准流程的复杂度。另外,摄影爱好者会很喜欢长焦摄镜头的更长焦距,从而能够在很远的距离更好地捕捉目标物体的细节特写。

三摄系统 3:超级变焦,卓越的弱光性能:5 倍光学变焦,25 倍总变焦,5 倍光量(与单光圈相比)

摄像头 I 摄像头 II 摄像头 III
广角摄像头,24mm 焦距(相当于 35mm) 长焦摄像头,60mm 焦距(相当于 35mm) 5 倍光学变焦,125mm 焦距(相当于 35mm)
1200 万像素彩色,
大像素
1200 万像素彩色,
小像素
1200 万像素彩色,
小像素
光圈f/1.5 光圈f/2.2 光圈f/2.8
OIS光学防抖 OIS 光学防抖 带 OIS 光学防抖的折叠式摄像头

这款三摄相机让用户可以享受前所未有的 5 倍真实光学变焦,而不会影响当今智能手机的外形尺寸(例如相机厚度 5mm,可以支持无边框显示屏)。尽管 F/# 相对较高(即 f/2.8),但由于采用的折叠式长焦摄镜头拥有超大的通光孔径,长焦摄镜头的弱光性能非常出色,光量比标准彩色广角摄像头多五倍,比这种配置中的上述广角摄像头多 2.5 倍以上。

这种超级变焦三摄系统在静态拍摄和 4K 视频录制时将提供无缝、连续的变焦体验,可实现从 1 倍到 5 倍的任何所需变焦倍数。结合多帧技术、图像融合和多尺度采样,该相机可提供总计高达 25 倍的变焦系数。

广角/2 倍长焦/5 倍长焦

这种最先进的三光圈系统由折叠变焦光学元件折叠光学防抖 OIS 技术实现,完全解决了当今智能手机摄影的两个基本问题:弱光性能和缺乏优秀的光学变焦。

概要

在本文中,我们分析了三摄相机的三大挑战,以及各种三摄相机中的三种典型配置,这些设置可能会很快被 OEM 采用。

一般而言,收益递减规律适用于多光圈技术。双摄设置中的第二个摄像头在增加用户体验方面提供最大回报,而任何三摄设置中的第三个摄像头都需要为整体用户体验提供显著的附加价值,以证明其额外成本、尺寸和复杂性是合理的。在不久的将来,能够充分解决弱光性能限制(拍摄和视频录制模式)并具有适当的光学变焦功能(超过 3 倍)的三摄配置才能打动 OEM。

Corephotonics Ltd.

Corephotonics 是移动设备多光圈相机技术的先驱和全球市场领导者。Corephotonics 的首要使命是完善手机相机的摄影体验,并通过结合我们创新的光学、机械和计算摄影技术提供卓越的图像质量。

Corephotonics 的综合技术擅长解决现有智能手机相机中一些最具挑战性的缺陷。我们开发并提供支持最专业摄影功能(如光学变焦、一流的弱光性能、背景虚化和深度功能以及光学防抖)的端到端多光圈解决方案,并将其以令人难以置信的纤细外形呈现。我们在早期设计阶段与制造商合作,满足每个制造商独特的设计和成像要求,并通过商业化和量产提供持续的支持。

 

作者:

Corephotonics 产品管理总监 Gil Abraham 先生

 

阅读更多