ARVR设备空间监控定位技术介绍及应用分析

很多朋友对ARVR设备空间监控定位技术介绍及应用分析不是很了解，六月小编刚好整理了这方面的知识，今天就来带大家一探究竟。

1 ARVR产品现状

市面上的ARVR产品不少，价格从Cardboard的几十元到Hololens的数万元不等，用户体验上存在巨大差距。先说VR产品，整体可以分为以下几类：

1.纸板制品

这类产品是最简单的VR产品，来自谷歌的纸盒VR盒子。简单来说，它就是利用两个凸透镜将手机分屏显示的内容投射到眼镜上，利用手机内置的IMU来判断用户的头部。运动手势调整VR显示内容的运动方向。 2015年国内大量白色品牌的这类产品开始出货，但VR的整体效果取决于手机的配置和光学镜头的好坏，所以只能说是一款入门级的VR体验产品。

国内一些文章内容和游戏公司的第一代VR产品基本都是这种形态。最具代表性的是Storm Box，它配备了用于菜单选择的BT控制手柄。这类产品的出现确实对整个VR行业起到了很大的推动作用，但其劣势也非常明显，所以在2016年推出了暴风、大鹏、小鸟看等一体机。

2016年，基于Cardboard的VR设备迎来了一个特别大的机会，那就是谷歌提出的Daydream VR。 2019年发布了Daydream手机Pixel和Pixel XL，以及Daydream Viewer头戴式Cardboard，还配置了内置IMU的遥控器。根据谷歌对VR设备用户体验的要求，手机必须满足一定的硬件配置，配合Daydream Viewer运行相关VR应用，才不会让用户眼花缭乱。 2016年以来，随着华为P:9、联想MotoZ等产品的推出，越来越多的手机声称支持Daydream。预计在2017年，此类产品将彻底打破原有Cardboard用户体验的僵局。

2. 头部运动控制一体机

顾名思义，一体机就是不用插上手机，不用连接PC就可以使用的VR设备。目前比较有代表性的有大鹏、小鸟看看等，大部分产品都是2016年推出的，这些产品的特点基本一致。它采用1080p或2K分辨率显示屏（有的甚至采用2Kx2双屏）和专为VR产品设计的Finier非球面光学镜头，整体画质和畸变改善不少。但目前这些产品有一个共同的特点，就是只能进行简单的头部运动控制，而VR控制只能通过原地坐着或站着摇头来实现，不能做头手交互。为了弥补这一不足，目前有一些具有空间位置检测功能的外接配件（内置IMU的手柄、体感背包、空间定位光球等）来提升整体VR用户体验。

3、空间监测定位一体机

空间监控定位一般有Inside-out和Outside-in两种方式。 Inside-out利用一体机内置的传感器，感知设备外部的空间信息，并进行相关定位。由外而内恰恰相反。它通过外部传感器感知VR设备的位置，从而为VR应用提供定位信息。对于一体机，目前无一例外选择了Inside-out方案，避免了提前布置额外的外部传感器，用户可以随时随地拿起VR设备。预计2017年即将推出的一些大厂产品，如二代大鹏一体机、暴风一体机等，将具备空间定位能力，从而大大提升用户体验。 VR体验，尤其是VR游戏。

4. PC VR

该类型最具代表性的产品是HTC Vive、索尼PSVR和HTC Oculus。这三剑客在2016年推出后，尤其是HTC Vive几乎成为了VR体验馆的标配。此外，很多行业定制也是基于Vive。索尼PSVR在上市不到半年的时间里就卖出了约100万台，对提升整个VR行业的整体用户体验水平起到了不小的作用。这三款产品的特点是采用了外部空间定位技术。例如，Vive使用外置红外线激光发射器，通过耳机和手柄的位置传感器发射器来判断自身的位置和运动轨迹。 PSVR和Oculus均采用外部传感器感应头显和手柄发出的可见光或红外光，从而确定头显和手柄的位置；让头戴式显示器和手柄可以随时准确知道各自在空间中的相对位置和移动轨迹，这可以让VR的应用更加逼真。

接下来说说AR产品。目前AR产品整体差距较大。部分AR眼镜产品只是直接投射虚拟信息、图像等，与用户实际环境没有实际关系。此类产品只能做投射的虚拟信息跟随头部运动，实现6DOF运动追踪，但无法将虚拟物体与用户的实际环境融为一体。比如大名鼎鼎的ODG最新产品只支持6DOF运动追踪，没有空间定位功能。

上海智视的智能眼镜也有类似ODG的功能，但它们的定位是第一视角的文章，所以只需要显示眼镜内拍摄的相关信息和文章，不需要空间定位。但据了解，他们正在研发一款内置TOF深度摄像头的眼镜，可以实现6DOF+空间定位的功能。

在目前市面上的AR产品中，有两款产品的空间监控和定位能力最好，虚拟物体与环境的匹配度最好。一款是基于Google Tango空间定位技术的联想Phab2 Pro，一款是微软的Hololens。虽然这两款产品在形态上差别很大，但本质上都是6DOF+SLAM的完整结合，实现空间定位和运动追踪。他们的AR效果基本可以实现虚拟物体与实际环境的融合。融合，无论用户如何移动或从哪个角度看，感觉都与眼前的真实物体相同。但就最终的实际使用效果而言，Hololens的6DOF+SLAM精度和稳定性还是要高于Tango，这与整个硬件设计平台、传感器种类和数量的选择、核心算法密切相关。

另外，国内其实也有很多公司也在研发相关的AR产品。最有特色的是Micro Eye的SMAKKEST，它不仅长得像Hololens，功能也和Hololens差不多。它的6DOF+SLAM效果据说被Hololens认可。

2 空间定位技术分类

空间监测定位技术从本质上大致可以分为两类，一类是Inside-out空间监测定位，一类是Outside-in空间监测定位。

1. Inside-out空间监测定位技术

Inside-out空间监测定位技术，该技术本质上类似于人的眼镜感知环境的过程，从设备内部感知外部空间，因此称为inside-out定位方式。 Inside-out空间监控定位技术也分为两大类。一种是基于SLAM技术的空间监控定位。这也是当下火爆的机器人行业所需要的基本功能。 SLAM是simultaneous localization and mapping的英文缩写。这意味着设备本身开始从未知环境中的未知位置移动。在移动过程中，它根据位置估计和地图进行自己的定位。同时在自身定位的基础上构建增量地图，实现设备自身的自主检测和定位导航。目前AR产品大多采用Inside-out空间定位技术。

基于SLAM的空间监测定位技术的代表产品有联想Phab2 Pro Tango手机和Hololens，均采用深度监测+Fisheye和IMU融合进行运动监测。不同的是深度监测所用的技术不同（Tango用的是TOF，而Hololens用的是结构光）和Fisheye运动和特征点监测的数量不同。 Hololens 的空间定位效果比Tango 更准确、更稳定，在弱光、玻璃透光等环节，Hololens 的效果更佳。比现在的Tango要好，但是Tango技术不是一成不变的，下一代Tango技术还支持多个Fisheye摄像头。

联想Phab2 Pro Tango手机采用了TOF深度摄像头、155度FOV鱼眼运动监控摄像头和RGB摄像头。 Fisheye运动监控摄像头配合IMU数据融合进行特征点匹配，为设备提供完整的运动轨迹。监测结合TOF深度相机的云图信息，可以实时绘制出设备自身在空间中的位置和运动轨迹。一旦存储的特征点被检测和匹配，就可以快速进行空间定位，这对于AR设备来说非常重要，保证用户可以随时随地快速使用。 Tango的工作原理这里就不多说了，具体可以参考林世功另一篇文章。

微软Hololens的设计非常独特，非常丰富。全新的基于英特尔CPU和GPU技术的HPU（全息处理单元）已经开启。设备采用CPU+GPU+HPU的配置。和Tango一样，不需要外接PC来实现完整的空间监控和定位。传感器方面，两颗结构光相机用于深度监测，四颗结构光光栅发射器用于深度监测。此外，Hololens左右各有两颗Fisheye摄像头，可以监测到更多空间环境中的特征点。因此，Hololens的空间定位精度和稳定性远高于Tango。

另一种是基于标记的空间监测定位技术。简单来说，就是在实际空间中放置一些类似于二维码和特殊颜色图形的图案或光点作为标记，设备对这些标记进行监控。点的位置用来判断自身的位置和运动趋势。 HTC Vive 就是这种类型的代表。下图展示了HTC Vive空间定位的工作原理。

Vive通过两个固定的激光发射器发射激光，每个基站都有一个红外LED阵列，分布有两个旋转轴相互垂直的旋转红外激光发射器，一个是X轴扫描，一个是Y轴扫描，并且两束激光有固定的180度相位差。当其中一个激光器发射X 轴扫描时，另一个激光器发射Y 轴扫描。

HTC Vive 耳机的外壳上密密麻麻地布满了32 个光电传感器，分别面向不同的方向。这些传感器用于接收固定激光发射器发射的红外激光。连接Vive的电脑会控制所有设备的同步运行，头显上的光传感器监测激光到达X轴和Y轴方向每个传感器的时间以及两者的相位关系不同的激光发射器，然后可以计算出每个光传感器的相位差，从而精确定位耳机的位置和运动轨迹。

Vive 手柄上共有24 个光传感器。手柄的工作原理与耳机相同，这里不再赘述。

另外，不得不提的是，Ximmerse在国内也推出了针对VR设备的Outside-in空间定位封装设计。通过这个空间定位包，它可以为没有空间定位功能的VR设备提供与HTC Vive相似的精度。空间监测和定位能力。定位套件包括一个双摄像头模块和2个带灯球的控制手柄。使用时，双摄像头模组外置在头显上，通过双摄像头捕捉控制手柄的光球，确定手柄在空间中的位置。同时，手柄通过BT将6DOF信息传输至模块，模块通过算法将6DOF与光球位置信息结合，实现全方位定位，从而提升头手交互。该方案的优点是在任何环境光照条件下，定位精度不受外界环境光的干扰，定位精度非常高。但该方案无法对用户所在的整体空间环境进行监测和定位，只能监测光球手柄的空间位置信息，但其优势在于可以快速让原本没有空间定位的VR设备至少有一个类似的HTC Vive。空间定位能力。

2. 内外空间监测定位技术

Outside-in空间监控定位技术是目前VR设备相对成熟的空间定位技术。索尼PSVR 和Oculus 都采用了类似的解决方案，但Oculus 使用外置摄像头加上红外主动标记，以获得更高的准确度和更快的响应时间。另一方面，PS VR直接采用了PS 3的MOVE系统，原理与Kinect类似。它使用外部双目深度摄像头进行运动识别并跟踪耳机和手柄。耳机上有指示灯，手柄顶部有不同颜色的灯球。外置双摄像头可随时查看耳机和手柄上的光球运动轨迹。同时PS Station通过BT接收耳机和手柄的IMU信息。通过计算可以得到头戴式显示器和手柄在空间中的完整运动轨迹和定位。

从原理和实际效果上看，空间监测定位的准确度没有HTC Vive高。虽然索尼的游戏效果和PSVR耳机本身佩戴起来比Vive舒适，但空间定位精度不高，影响了VR。游戏的整体体验。因此，我们也从索尼官网看到了索尼最新的空间定位专利。这个专利应该是为下一代PVSR准备的。从专利的描述来看，应该是类似于HTC的固定式激光发射器。这种解决方案类似于目前的PSVR做法，正好相反。它不再使用外部摄像头进行拍摄（Outside-In定位），而是使用外部信号来定位VR头盔在空间中的方向。这样一来，它可以提供类似于HTC Vive的使用精度（可能更高），同时可以360度无死角地捕捉用户的各种姿势和运动轨迹。

Oculus 的空间监控和定位技术与索尼的PSVR 类似。不同的是，PSVR使用外置双摄像头监控可见光，而Oculus使用主动红外光。红外LED 位于头显和手柄上。通过外接红外摄像头拍摄捕捉头戴显示器和手柄上的红外光点信息，从而获取头戴显示器和手柄的运动轨迹和空间位置信息。

无论是索尼PSRV还是Oculus的Outside-in方案，都存在一个问题，就是外置摄像头是固定的，当用户背对摄像头时，摄像头无法检测到头显和手柄上的光点.会有漏监的可能，影响用户体验，这在HTC Vive上是不存在的。

另一项基于Marker点的Outside-in空间监控定位技术也是Ximmerse的光球+双摄像头方案。这与他们上面提到的由内而外的解决方案正好相反。在这里，双摄像头显示器被放置在室内固定位置，然后将光球布置在VR 耳机和手柄上。在耳机和手柄运动过程中，双摄像头监视器记录耳机和手柄在空间中的三维位置及其运动数据。 BT或WiFi传输到VR头显做相关的计算处理，并实现对屏幕的反馈，从而实现在虚拟环境中的自由移动，与虚拟世界中的事物进行交互。

以下是几个不同选项的总结和比较：

总之，针对不同类型的ARVR产品，需要具备精准的空间监控和定位能力，实现全方位的头手互动和互动，为用户带来更真实的虚拟体验。

以上知识分享希望能够帮助到大家！