麻省理工在HoloLens 2上集成射频信号，实现被遮挡物体的感知识别

（映维网Nweon 2023年02月28日）在过去数年中，行业对增强现实系统的兴趣与日俱增。包括微软、Meta、苹果和谷歌在内的主要科技公司已投资数十亿美元开发AR技术。对於这一点，一个重要驱动因素是AR系统有望在提高工业4.0部门的效率方面发挥作用，包括制造业、仓储业、物流业和零售业。

例如在电子商务仓库中，AR头显可以通过指导工人拣货、分拣、包装订单和退货来提高劳动效率。类似地，在制造环境中，AR头显可以通过可视化装配任务、在环境中自动标记工具以及帮助用户找到他们需要的零件来指导员工。

然而，相关的工业环境通常是密集且高度杂乱。例如，一个典型的仓库或黑暗的商店里堆满了包裹，而一个标准的制造工厂里堆满了材料和隔间。在这种环境中，大多数物品由於在箱子内、堆下或其他包裹後面而被遮挡。这种遮挡使得现有的头显难以感知这些物品，这反过来又阻止了系统识别和定位物品或引导工人。

针对这个问题，由麻省理工学院和密歇根大学组成的团队以微软HoloLens 2作为基础，开发了一个可以通过射频信号来提供非视距感知的AR头显。

团队指出，当今的AR头显通过摄像头或其他基於视觉的感测系统感知其环境，而这种视觉感测系统固有地局限於视距（LOS）。这种视距限制阻碍了AR系统在最需要的地方提高工作效率，亦即在杂乱和密集的工业环境中。

在研究中，他们提出了以下问题：能否设计和构建一个可以感知完全被遮挡的对象，并将人类的感知扩展到视线之外的增强现实系统？

研究人员表示：「有了这种能力，增强现实将超越人类的任何自然能力，并真正增强我们与世界的交互方式，从而在仓储物流、制造业、零售业等领域取得重大进展。」

例如，具有非视距（NLOS）感知能力的AR头显可以识别和定位被完全遮挡的特定物品，并帮助工人避免冗长的搜索过程。另外，这种AR头显可用於自动化仓库或零售店中物品的库存控制，而无需工人查看所有物品，并可提醒工人隐藏在遮挡物後面的错放物品。

为了实现这一愿景，团队采用的方法是利用射频（RF）信号。与可见光不同，射频信号可以穿过闭塞物，如纸板箱、塑料容器、木制分隔物和服装面料。事实上，射频感测的最新进展表明，在非视距和高度杂乱的环境中，使用射频信号可以感测和准确定位物品的潜力。

在现有的射频感测技术中，研究人员对利用UHF RFID（射频识别）标签特别感兴趣，因为它们在供应链行业中被广泛采用。例如，有研究表明超过93%的美国零售商采用了UHF RFID。

团队的愿景是将RFID感测和定位应用於AR头显，为其提供非视距感知，并增强人类视觉能力，从而应用於仓库自动化、电子商务履行和制造业。

他们希望构建一个在满足以下要求的同时实现上述愿景的系统：

满足上述要求具有挑战性，并且不能通过简单地将最先进的RFID定位系统与AR头显集成来实现。特别是，大多数精确的RFID定位解决方案需要多个以米级距离分开的隔开，这使得它们太笨重，无法安装到AR头显。

在另一方面，不需要这种天线阵列的解决方案通常依赖於基於机器人的天线，亦即需要在预定义的轨迹移动，这使得它们与人类的自然移动性不兼容。除了所述挑战之外，提供AR可操作任务超出了简单的RF定位，需要新的机制来融合自然移动性下的RF和视觉感知，并在头显显示输出。

所以在研究中，团队提出了X-AR，一种带有内置射频感测系统的增强现实头显。其中，佩戴X-AR的用户可以在他们的环境中自由行走，而设备可以自动识别和定位环境中即便不在视距内的物品。使用所述信息，X-AR会引导工人找到目标物品（工具、包裹等），并验证他们是否已选择了正确的物品。

研究人员表示，所述头显实现了多个创新：

最终，团队以微软Hololens 2为基础实现了X-AR的端到端原型。在实验中，研究人员通过Unity对Hololens进行编程，以显示项目位置和标签，引导用户找到目标项目，并显示验证结果。他们评估了X-AR在230次实验试验中的表现，而结果表明：

相关论文：Augmenting Augmented Reality with Non-Line-of-Sight Perception

接下来，团队计划尝试各种其他增强功能。这包括WiFi、毫米波技术、太赫兹波，以及射程超过3米的改进天线。