前言

这周继续读三维重建方面的技术向课件。按照之前的大纲，这次读到前AI时代中，计算机视觉方面的一项技术——

Structured Light（结构光）。这项技术作为立体视觉之后提出的一项技术，其理解跨度相对不算大。

简单来说，这是一项用激光等光源投在物体表面、再用相机等设备进行采样的技术，注重还原物体的三维结构。

介绍结构光的论文其实也很多，但作为个人能全部仔细读完以及图文搭配合适的内容，这次我选择了UTAH于2015年的计算机视觉课件。和之前一篇比较长的PPT拆分成上下两篇不同，这次这个课题下的课件本身就有两篇——因此这次粗读的是两篇中的第一篇完整部分；下周则会读第二篇。

由于没有课件文稿，因此PPT部分以翻译为主，打星号的部分是我的个人理解或补充，主要是对课件中一些值得展开介绍的部分补充分析或外部信息。

一、引入与概述

被动三角测量：立体视觉

对应点问题
几何约束——沿着极线查找
基于匹配点的三角测量进行三维重建

*基本上概括了立体视觉部分的基本思路，细节的一些矩阵计算在上次读的部分也介绍了。

实时3D模型获取（重建）

*这里面提到了很多演示和链接，文末会附整篇课件的原文。虽然当时的一些设备还相对比较简单，但也反映出了这项方案的最小可运行规模。

结构光

——基于摄影测量的主要问题：

为从多个视图中还原场景物体的形体，我们需要找到图中的对应点。
这一匹配（对应）问题是很难的。
没有较好定义过的图像点集，就无法在图像域中还原3D物体的几何结构。

——结构光方案：

理念：通过同构（相似）的点集合，找到一种方式来简化匹配和确保获知密度覆盖信息。
基本策略：使用照明设备来人为创造对应点。

或许是实践中最为稳固（鲁棒 robust）的方案。
被广泛使用（工业测量、娱乐产业...）。
也被称为“动态立体视觉”或“白光扫描”。

基础原则

——光投射：

使用一个投射器来创造无歧义的对应关系。
通过这些对应关系，应用常规的立体（视觉）。
如果我们仅投射一个点，则匹配结果是唯一的。
...但这样要覆盖一个物体则需要太多图片。

特殊情况：光点立体视觉

图中：基于基本的光点立体解析的常规设备设置方案。

校准相机：通过左右侧摄像机的探测以完全确定点的3D位置。光点扫描跨越整个场景。

变体应用

——纹样投射：

投射一个纹样而不仅是一个点。
只需要一张图，记录一次拍摄。
...但是匹配结果可能不再是唯一的（尽管还是足够简单）。
后续（第二篇）会展开介绍。

线投射

——扩展：

对于一个校准摄像机装置，它的对极几何（固有属性）是已知的。
可以投射一条线而不是一个点。
需要相对更少的图片（每条线上的所有点一张）。
扫描线与极线在一个点相交——匹配结果仍然是唯一的。

但我们能更进一步

——观察：

一个投射器可以理解成一个“逆摄像机”，射线的方向是逆向的。
投射器被以（和摄像机）相同的几何模型来描述。
投影纹样和图像定义了空间中的两条射线——投影器和一台摄像机就足够进行三角测量了。

校正投射

——投射摄像机系统必须经过校正：

（否则无法进行三角测量）。
投射纹样是已知的。
因而深度计算仅依赖于图像上点的位置。
深度计算能简化成查表的过程。

概念：主动立体视觉

主动对场景做操作：对物体投射光纹样——通过摄像机观测纹样——还原3D几何。

主动3D扫描的一些案例

典型的应用

主动三角测量：结构光

其中一个摄像机被光投射器代替。
对应点问题被转化为在摄像机对应图像中进行纹样查找的问题（纹样解码）。
没有几何约束。

概述

*从概述来看，这部分内容我按逻辑接近程度拆成了4节。

基础设置

一个摄像机。

一个光源：

——类型：滑动投射器；激光。
——投射：点；带状；纹样。

二、光点投影

2D光点投射

假设激光束在2D平面上进行逐点式照明。（即设备只考虑水平距离及旋转，接收设备视为一个线段而不是平面）

O、L和P点定义了一个三角形，并且我们通过三角测量确认了P点的（空间）位置——使用了如图中公式的基础三角函数sine法则。

通过三角测量可得出的坐标：

β可以通过（摄像机）投影几何得出。
d值的计算（见图中公式）。
P的坐标用X0，Z0表示——分别可以用d与β的三角函数计算出。

3D光点投射

*3维的情况引入了y轴，接收投影的变成了平面——投影点p位于该平面上。

*发射角度上，除了水平角α，还引入了垂直角γ。

*这里在设备设置后，α和b都是已知给定的。

*根据中心点投射的射线定理（ray theorem）——P点的坐标XZY和xfy成正比，其中xy是投影平面上的点p的坐标，f是中心点O到投影平面的距离（写作f其实就是焦距）。

*对于XZ平面上的角α来说，tanα = Z / (b - X)。

*结合前面两个结论可以分别推导出XYZ和tanα的关系（如图）。

最终可以根据α、b 、f、x、y分别计算出X0、Y0、Z0。

一个观察，这部分计算中并没有用到垂直角度γ。

*即根据设备基础的位置角度信息，及投影坐标x、y即可计算点P的坐标。

三、光带投影

光带扫描——单条

光学三角测量：

投射单个激光条
用它扫描物体的表面
这是结构光扫描的一个非常准确的版本
利于生成高精度的3D结果，但需要大量的时间以拍摄很多图片

光带投射

结构光方案是——在校准过的几何条件下向目标物体投以一个光纹样（射线、平面、栅格、编码的光源、以及其它），并进行三维重建。

（结构光的）三角测量

*这个案例中激光发射出的是一个“光平面”，它会与物体表面相交投下光带。平面的表达式如图——基于摄像机光学中心为坐标原点。

*图中信息较多，这里实际是要在已知一个投影点（x'，y'）及当前投影校准几何相关信息的前提下，计算三维空间的深度——也就是Z值。

*对于一个点的情况，参照前一节提到的单点三维投射：X/x' = Z/f' = Y/y' 的结论仍是成立的，因此可以得到X、Y值基于Z的表达式（如图）。

*D = -d。其中d是光平面到摄像机光学原点的距离。因为平面方程中ABC的几何意义是平面的法向量，D可以理解成将平面移到坐标原点的距离。

*将已知的x'、y'、f'、D、A、B带入公式即可得出Z值（如图）。在这种坐标设置下，Z值就是物体上的点相对于摄像机的深度值。

光条投射——校正

将校正物体放入场景，并沿着光平面平移。

*图中从顶视图展示了各个几何关键点的位置关系。通过校准计算可以得出光平面相对于光学原点的平面参数。

距离校正

要校准一个固定光平面的系统的距离，一个简单的方法是假设目标物体在一个“转盘”上，其旋转中心是光平面的原点。

校准平面在两点——max和min之间移动，与光平面平行。在最大值处，（摄像机的）图像中最右侧的列会被照亮，在最小值处则是照亮最左侧的值。对于每一列y我们测量其在光学平面的Z值，这就是满足y列被照亮的校准平面的坐标值。

*这部分直接翻译理解上可能有点抽象，其实旋转和距离是两个关切点。结合后面的例图应该更好理解一些。

更直接的方法：单条光带与旋转物体

转盘上的物体：

对每一个旋转位置和光窄口（slit）创建对应的轮廓P（X,Y,Z）。
以离散的间隔旋转物体，并重复这一过程。
以柱面方式集成轮廓信息，以重建3D物体——以3D网格的方式。

*注意这里的多条纹是集成后的结果。

示例：激光扫描器

优点：非常精确，误差在0.01毫米以内。

缺点：需要10秒以上时间完成一次扫描。

便携式3D激光扫描器示例

四、3D拍摄与其它轻量级的方案

基于阴影的3D信息获取

*这里列出了这一节讨论的内容的论文出处，有兴趣的可以按需搜索。

你桌边的3D拍摄工具

使用常规工具以“便宜”的方案进行3D拍摄。
需要：PC、摄像机、棍子、台灯、棋盘板。
使用“弱结构光”方案。

设备设置示意图

*可以看到，这里的棍子的阴影起到了之前光带的作用。

台灯校准

台灯校准：操作者在桌面放置了一根铅笔，与其垂直。在摄像机中观测铅笔在桌面投下的阴影。光源中心S需要在T和Ts的延长线上。

当棍子与桌面平行时

* ∩ 是相交的符号， Λ 是平面（O， λ）与 Π d的相交直线。

*Π是由S和Λ确定的平面。在确定了“人造光平面”后，问题就转化为了前一节解决的问题。

当棍子与桌面有角度时

*这里额外引入了一个平面和一根线，最终用两条相交线确认了平面Π 。推导方式和前一页原理相同。

天使实验

*从图中可以看出，这种方法误差是0.1%，但也有一些位置信息不能很好的确定——和阴影宽度有关。

基于日光的扫描

*图中虽然是黑白的，但是主要思路是用细棍在车身投影。误差是 0.5% 。

大家都能使用的低成本3D扫描器

*从图中可以看出扫描小物体需要的设备尺寸及扫描情况。

*图中是2009年的一篇SIG文章，其中介绍了包括结构光在内的一些常见的3D扫描技术。

结语

通过粗读这篇课件，我们了解了结构光方案作为一项“主动”方案在确定性及便捷性上的优点。在本篇的最后停在了光带（或人造阴影条）进行扫描测量的部分，涉及的计算没有超出立体几何的范围。

这个系列两篇文章的下一篇会介绍以“编码纹样”进行结构光扫描的方案（Pattern encoding/decoding），相对会更难理解一些，但确实也是提升结构光方案效率的必经之路。

下面是资料链接：

Structured Lighting Guido Gerig CS 6320, 3D Computer Vision Spring 2015