翻译 | Disillusion、yaya牙牙、AIfresher

校对 | Disillusion 审核 | 邓普斯•杰弗 整理 | 菠萝妹

原文链接：

@omar.ps16/stereo-3d-reconstruction-with-opencv-using-an-iphone-camera-part-ii-77754b58bfe0

查看第一部分，请点击：第一部分

教程：使用iPhone相机和openCV来完成3D重建（第二部分）

欢迎来到关于立体重建三部曲的第2部。在本节中，我们将讨论如何校准您的相机。

就像之前所提到的，照相机的镜头使你拍的照片失真。这在三维重建中是很麻烦的，所以我们需要纠正这个问题。在校正之前，我们需要知道我们所使用的相机的内部参数。

有时这些参数是未知的，但幸运的是，OpenCV有一个专门针对这个的算法， 我们可以应用该算法开始我们的3D重建。

在整个设计过程中，我们会用到Python 3.7.1, OpenCV 3.4.4. 还有一些python第三方库： Numpy， Glob，tqdm和Pillow。因此，首先确保这些工具都已经安装好。

OpenCV中摄像机的标定过程是让计算机用棋盘图形扫描一幅图像，用不同的图像多次识别内部的角。

OpenCV提供的模型校准示例

大多数关于相机校准的教程都是关于网络摄像机或其他摄像机的，因此它们是为分析每一个单独的帧(或多个帧)而定制的。

在我们的情况下，我们想校准的是手机摄像头，所以我们不能这样做。为了让计算机正确地校准手机摄像头，它需要几个相同模式的例子。

在处理视频流时，我们可以分析用户在摄像机前移动时的每一帧，直到移动的模型被多次检测到(这通常是一个任意的测量，但一般是至少有10次检测)。

因为我们不处理视频流，所以我们必须为相同的模型拍多张照片。

步骤1. 得到一个棋盘图案.

前往这个链接，把这个棋盘图案打印在一张纸上。为求完美结果，确保每个正方形都是30毫米长(尽管这不是特别重要)。

步骤2. 把棋盘图案挂在白色的墙上.

当我运行这个算法时，我注意到背景中的东西越多，计算相机矩阵的时间就越长。所以我用了一面白色的墙，把棋盘图案贴在上面。确保它是完全平坦的。

根据棋盘图案重新装饰房子

步骤3. 拍几张图案的照片.

这一步很重要，确保你拍的照片有很好的光照，并且图案是从不同的角度拍摄的。还要确保图案位于屏幕的不同部分。

如果你只拍摄居中的照片，可能会发生错误的校准。确保你的照片有很多变化。

这是一个很好的关于如何拍摄图案的例子。来自乌特卡什·西纳。

在Utkarsh Sinah的博客(AI shack)中可以找到关于相机校准和如何捕捉图案的丰富资源。如果你对C++校准相机的方法感兴趣，你应该去看看。

需要指出的是，并不是所有的图片都适合检测模式。而你事先很难知道哪些照片会起作用，因此拍尽可能多的照片是一个好主意。我拍了64张。

步骤4：让我们开始代码部分

一旦你拍了足够多的照片，是时候写一些代码了（记住整个代码都在这里）。第一步是选择棋盘大小。虽然大小完全是任意的，但建议您选择一个不对称的大小（即矩形，而不是正方形）。此处，我选择了7X5。

import cv2
import numpy as np
import glob
from tqdm import tqdm
import PIL.ExifTags
import PIL.Image

#============================================
# Camera calibration
#============================================

#Define size of chessboard target.

chessboard_size = (7,5)

第二步是定义一个网格来存储所有点。存储的点需要是有序的，如：（0,0,0），（1,0,0），（2,0,0）….，（6,5,0）

#Define arrays to save detected points
obj_points = [] #3D points in real world space
img_points = [] #3D points in image plane

#Prepare grid and points to display

objp = np.zeros((np.prod(chessboard_size),3),dtype=np.float32)

objp[:,:2] = np.mgrid[0:chessboard_size[0],
0:chessboard_size[1]].T.reshape(-1,2)

因为我们要处理几个图像，所以我们可以使用glob迭代地打开它们。此外，由于OpenCv中的角点检测算法需要一些时间来处理，因此我们可以用tqdm包裹我们的循环，以了解距离处理上一个图像已经有多长时间了，还剩下多少图像没有处理。