增强现实耳机使用户能够看到隐藏的物体

麻省理工学院的研究人员打造了一款增强现实耳机，可为佩戴者提供 X 射线视觉。

该耳机结合了计算机视觉和无线感知，可以自动定位隐藏在视线之外的特定物品，可能在盒子里或一堆下面，然后引导用户取回它。

该系统利用射频 (RF) 信号，该信号可以穿过纸板箱、塑料容器或木制隔板等常见材料，以找到贴有 RFID 标签的隐藏物品，这些标签反映了 RF 天线发送的信号。

当佩戴者穿过房间时，耳机会引导佩戴者走向物品所在的位置，该物品在增强现实 (AR) 界面中显示为透明球体。一旦物品到达用户手中，名为 X-AR 的耳机就会验证他们是否拾取了正确的物品。

当研究人员在类似仓库的环境中测试 X-AR 时，耳机平均可以将隐藏物品定位到 9.8 厘米以内。它验证了用户以 96% 的准确率选择了正确的项目。

X-AR 可以帮助电子商务仓库工作人员快速找到凌乱的货架上或埋在盒子里的物品，或者当许多相似的物品在同一个箱子中时，通过识别订单的确切物品。它还可以用于制造工厂，帮助技术人员找到正确的零件来组装产品。

“我们这个项目的整体目标是建立一个增强现实系统，让你看到看不见的东西——盒子里或角落里的东西——这样做，它可以引导你走向它们，真正让你看到Fadel Adib 说：在 X-AR 上。

Adib 的共同作者是研究助理 Tara Boroushaki，她是该论文的第一作者;林美茜;劳拉·多兹;和前博士后 Aline Eid，现在是密歇根大学的助理教授。该研究将在 USENIX 网络系统设计和实施研讨会上发表。

增强 AR 耳机

为了创建具有 X 射线视觉的增强现实耳机，研究人员首先必须为现有耳机配备天线，以便与 RFID 标签的物品进行通信。大多数 RFID 定位系统使用多根相距数米的天线，但研究人员需要一种轻型天线，它可以实现足够高的带宽来与标签进行通信。

“一个很大的挑战是设计一种可以安装在耳机上的天线，而不会覆盖任何摄像头或阻碍其操作。这很重要，因为我们需要使用遮阳板上的所有规格，”Eid 说。

该团队采用了一个简单、轻便的环形天线，并通过使天线逐渐变细(逐渐改变其宽度)和增加间隙来进行实验，这两种技术都可以提高带宽。由于天线通常在露天工作，研究人员优化了它，以便在连接到耳机遮阳板时发送和接收信号。

一旦团队构建了一个有效的天线，他们就专注于使用它来定位带有 RFID 标签的物品。

他们利用了一种称为合成孔径雷达 (SAR) 的技术，这种技术类似于飞机对地面物体成像的方式。当用户在房间内走动时，X-AR 会使用天线从不同的有利位置进行测量，然后将这些测量结果结合起来。通过这种方式，它就像一个天线阵列，其中来自多个天线的测量结果被组合起来以定位设备。

X-AR 利用来自头显自跟踪功能的视觉数据来构建环境地图并确定其在该环境中的位置。当用户行走时，它会计算 RFID 标签在每个位置的概率。概率在标签的确切位置最高，因此它使用此信息对隐藏对象进行归零。

“虽然它在我们设计系统时提出了挑战，但我们在实验中发现它实际上与自然人体运动配合得很好。因为人类经常四处走动，它使我们能够从许多不同的位置进行测量并准确定位一个项目，”Dodds 说。

一旦 X-AR 定位了物品并且用户拿起它，耳机就需要验证用户是否抓住了正确的物品。但是现在用户是站着不动的，耳机天线是不动的，所以不能用SAR来定位标签。

然而，当用户拿起物品时，RFID 标签会随之移动。X-AR 可以测量 RFID 标签的运动，并利用耳机的手部跟踪功能来定位用户手中的物品。然后它检查标签是否发送正确的 RF 信号以验证它是正确的对象。

研究人员利用耳机的全息可视化功能，以简单的方式为用户显示这些信息。一旦用户戴上耳机，他们就可以使用菜单从标记项目的数据库中选择一个对象。物体被定位后，它被一个透明的球体包围，这样用户就可以看到它在房间里的位置。然后设备以地板上的脚步声的形式将轨迹投射到该项目，该轨迹可以随着用户行走而动态更新。

“我们抽象出所有技术方面，以便为用户提供无缝、清晰的体验，如果有人将其放在仓库环境或智能家居中，这一点尤为重要，”Lam 说。

测试耳机

为了测试 X-AR，研究人员创建了一个模拟仓库，在货架上放满纸板箱和塑料箱，并将贴有 RFID 标签的物品放入其中。

他们发现，X-AR 可以将用户引向目标物品，误差小于 10 厘米——这意味着，平均而言，该物品距离 X-AR 引导用户的位置不到 10 厘米。研究人员测试的基线方法的中位误差为 25 至 35 厘米。

他们还发现，它正确验证了用户在 98.9% 的时间内拿起了正确的物品。这意味着 X-AR 能够将拣选错误减少 98.9%。当物品还在盒子里时，它的准确率甚至达到 91.9%。

“系统不需要通过目视查看物品来验证您是否选择了正确的物品。如果你有 10 部不同的手机，包装相似，你可能无法分辨它们之间的区别，但它可以引导你仍然选择正确的手机，”Boroushaki 说。

现在他们已经证明了 X-AR 的成功，研究人员计划探索如何使用不同的传感模式，如 WiFi、毫米波技术或太赫兹波，来增强其可视化和交互能力。他们还可以增强天线，使其范围可以超过 3 米，并扩展系统以供多个协调耳机使用。

“因为今天没有这样的东西，我们必须弄清楚如何从头到尾构建一种全新的系统，”Adib 说。“实际上，我们提出的是一个框架。有很多技术贡献，但它也是未来如何设计具有 X 射线视觉的 AR 耳机的蓝图。”