zh-hansen

深度映射

立体 3D 深度图的创建

Corephotonics 的深度算法基于与人眼相似的立体视觉。我们使用双摄像头生成密集、详细、准确的场景深度图。

在立体视觉中,靠近摄像头的物体位于每个图像的不同区域。随着物体远离摄像头,视差减小,直到在无穷远处,物体似乎停留在两个图像中的相同位置处。立体深度图就是基于这样的摄像头视差产生的。

Corephotonics 深度图算法的设计独特,能够应对各种挑战,同时对应用处理器要求的负载最小。此类挑战包括:

  1. 光学像差:一个镜头相对另一个镜头的光学特性会增加标定的难度。
  2. 深度渐进:近物与远物平滑渐变过渡(而不是清晰界限)的现象。
  3. 遮挡:根据场景的不同,一个摄像头视野内的区域可能会被另一个摄像头的视野遮挡。为了以两幅图像构建深度图,算法必须找到左侧和右侧图像之间的匹配像素,而遮挡妨碍了该匹配。
  4. 无纹理平面:为了区分图像内的不同深度,需要执行标定。没有纹理信息的区域对区分不同的深度造成了挑战。

算法不仅在精度方面进行了高度优化,在智能手机应用处理器上实时执行也展开了优化,高达 30fps,同时保持低内存占用。

这样的深度图可以用于各种应用,包括:

  • 应用背景虚化效果(也称为肖像模式),即主要对象(通常是一个人)保持为清晰的焦点,而场景的其余部分是模糊的,使图像具有浅景深效果(通常数码单反相机才可生成这种效果)。
  • 增强现实(AR)和虚拟现实(VR)应用,使这些基于相机的设备能够准确感知其环境,以营造最具沉浸感的用户体验。
  • 将场景重新聚焦在距相机不同距离的不同物体上。这样的效果可以在拍摄后应用,从而增强相机用户的“事后”体验。
  • 以基于深度的对焦增强现有的对焦技术,加速相机的自动对焦功能。
  • 基于深度图的场景分析和物体识别。