3D人体扫描技术也可以用一种另类的方式达到相似的效果

最近在各种社交平台火起来的《头号玩家》，想必大家都看过。影片中除了大量彩蛋之外，与影片配套的VR技术呈现出的真实沉浸感也非常吸引人。然而，除了VR技术，3D人体扫描技术也可能以替代的方式达到类似的效果。

三维人体扫描技术是利用光学测量技术、计算机技术、图像处理技术和数字信号处理技术，对三维模拟人体表面轮廓进行非接触式自动测量。这种技术的应用在现实生活中并不少见。前段时间苹果的Animoji和三星的AR表情符号都来源于这项技术，这项技术也可以应用到服装试衣上。甚至健身房也依靠这项技术来测量各种关键的健康相关值(体重指数、体脂成分等。)来吸引顾客。

然而，现有的方案有一个缺点。有些扫描设备需要特殊的摄像设备来检测景深，有些则需要摄像矩阵来检测人体。最近，来自不伦瑞克技术大学和马克斯普朗克信息学研究所的研究人员发表了一篇论文，提出了一种新的算法，可以在短短几秒钟内使用单个角度的标准文章材料创建人体的3D模型。

描述了如何对单目文章中的运动人体进行精确的三维建模。在参数化人体模型的基础上，本文提出了一种鲁棒的处理流程，对于穿着衣服的人也能获得分辨率在5mm左右的三维模型。此外，论文展示了大量对象的评测结果，并对整体性能进行了分析。可以说，只需要一部智能手机或一个摄像头，这种方法允许每个人创建自己的全动画数字双胞胎，可以应用于社交VR或在线时尚购物的虚拟试穿。

图1:本文提出的技术首次从人的单个文章序列中提取精确的3D人体模型，包括头发和衣服。这些人在镜头前移动，从而确保我们可以从各个角度看到他们(图片来自纸张)。

具体来说，本文提出的方法包括三个步骤：(1)姿态重建；(2)一致的形态学评价；(3)帧细化和纹理图生成。第一步基本采用前面的研究，第三步的纹理获取和时变细节可选。

在第一步中，本文使用标准的可视外壳方法从多个角度捕捉静态形状。穿过图像轮廓点的相机光可以约束3D人体形状。本文首先采用SMPL模型和2D检测来估计每一帧的初始人体形状和三维姿态。基于拟合结果，研究者将每一帧中的轮廓点与人体模型中的3D点相结合，根据每个投影光对应的3D模型点的逆变形模型对投影光进行变换。对所有帧的拟合结果进行处理后，得到一个“视觉外壳”，即以标准姿势显示的人体形状。

在多个三维数据集上的研究结果表明，该方法能够重建三维人体形状，即使在单目文章模糊的情况下，精度也高达4.5 mm。

为了评估物体的一致形状，研究人员首先计算每一帧的3D姿态。他们扩展了评估方法，使其更加健壮，从而最大限度地显示每个帧实例中的轮廓。在评测过程中，由于时间的变化，衣服可能会有轻微的变形，这些姿势的一致形状可能会与框架轮廓略有不匹配。

在估计文章序列中的几何图形时，研究人员需要一次性优化多个姿态，更重要的是在优化过程中需要在内存中存储多个模型，这使得计算成本很高，可行性不强。

研究人员使用基于SMPL的高效优化单个位移表面的方法来一次性拟合所有帧，这要求只能在内存中存储一个模型。他们的方法是第一次从单个移动的人体文章中提取精确的3D人体模型(包括头发和衣服)(这样我们可以从各个角度看到这个人)。

最后，为了计算纹理，捕捉时间演化的细节，在第三步中，每一帧都将优化一致形状的偏差，从而给出细化的逐帧形状，然后计算纹理图。本文的方法依赖于图像的前景分割。因此，研究人员采用了一种基于CNN的文章分割方法，用3-4幅人工分割的图像对每个序列进行训练。此外，为了克服单目视觉中三维人体形状重建的二义性，研究者使用SMPL人体模型作为出发点。

图7:定性测试结果：由于重建的模板与SMPL人体模型具有相同的拓扑结构，我们可以使用SMPL来改变重建身体的姿势和形状。虽然SMPL没有用衣服对人体的变形进行建模，但是变形模板看起来还是可信的，从质量上来说足以承担多种应用。

图9:输入图像(竖线左)和构造图像(竖线右)的比较。如图像右侧所示，通过该方法构建的形状精确地覆盖了输入图像。在右下角，还显示了构建模型的侧视图。

我们之前提到过一种可以识别整个人体的技术(脸书的新研究为未来的全身AR奠定了基础)，与这次讨论的技术不同。脸书的新研究在2D而不是3D中识别人体，但它们也是相关的。例如，他们都使用基于CNN的文章分割方法来识别人体轮廓和纹理。事实上，该论文还表明，纹理识别的方法并不创新。

本文提出的人体三维扫描建模新技术只需要一个摄像头，因此可以广泛应用于智能手机中。此外，它不仅可以应用于衣服的试穿，还可以通过扫描人体，使建立的模型与其他虚拟物体进行交互，被视为实现《头号玩家》标准的替代方案。当然，后者会对处理器的计算能力要求很高，不一定有更好的沉浸感。对论文感兴趣的同学也可以戳阅读原文下载。