HoloLens联合发明人：打造理想的全天AR需要解决这些问题

自从HoloLens 1在2016年发布，至今已经过去8年时间，但AR眼镜/头显小型化的进度依然缓慢，AR硬件厂商需要不断在性能配置和重量/外形之间做权衡。相比于VR，AR的发展进度显然更加缓慢，研发AR为什么这么难？近期，HoloLens联合发明人Avi Bar-Zeev在博客中替我们解答了这个问题，还指出了理想的全天候AR镜需要具备哪些条件。

Avi Bar-Zeev

值得注意的是，Bar-Zeev透露HoloLens的前身实际上是一个与Xbox相关的项目，然而后来HoloLens并未用于游戏场景，其高昂的成本和笨重的体积，并不适合消费级市场，因此主要应用于军事、工业、医疗等B端场景。

据了解，早在2008年Bar-Zeev就在微软从事AR研究，后来在2010年他带领一个小团队开启了早期的HoloLens研发。转眼到了2010年，谷歌、Magic Leap开始探索消费级AR眼镜。与此同时，微软的小型孵化团队也在为新一代Xbox寻找新的灵感。Bar-Zeev表示：当时Xbox高管希望让我们开发一种全新的激进技术，要比之前发布的Kinect体感设备更加创新。

于是，HoloLens的前身Screen Zero（中文直译为0号屏幕）诞生了，这个概念产品的定位是通过一块屏幕来取代所有的屏幕。

然而直到现在，AR并没有实现这一愿景。同时具备全天候可穿戴形态、强大AR应用的眼镜，似乎离我们还很远。

HoloLens 2

Bar-Zeev表示：通常，构建AR产品首先需要证明或反驳其潜在的需求、关键用户体验，然后再花费10亿美元开发这款产品。尽管已经在科研投入大量资源，他认为目前的AR技术体验还没有达到预期的效果。

当然，现在的AR/VR技术相比于更早的时候还是经历了较大飞跃，从价格方面来看，HoloLens 2售价3500美元，一些轻量的AR眼镜甚至远低于1000美元，而VR一体机的价格已经降至300美元级别。相比之下，Bar-Zeev早年开发的沉浸式XR体验CAVE光成本，就有28万美元（25万美元电脑和巨型投影仪、3万美元原材料）。由此可见，计算、显示技术发展和普及，也让消费级AR/VR成为可能，这是几十年前难以想象的。早在90年代，迪士尼曾开发价值10万美元的VR头显，不过由于体积笨重、视觉体验不理想，该产品从未商业化，仅有数十万人在迪士尼线下场馆体验过。

那么，全天候可穿戴AR眼镜为什么那么难开发？

功能与外观的权衡

现在AR/VR面临的一个关键问题是，功能强大、视觉效果好的硬件通常是头显、头盔形态，尽管比迪士尼时代的VR头显小了很多，但AR/VR一体机的重量依然达到500g左右，因为除了AR显示模组外，还搭载了摄像头、传感器、电池和计算单元。而Project Cambria更是将“极繁主义”演绎到极致，在VR头显基础上加入了更多透视传感器，然后还需要通过软件来模拟AR效果。

相比之下，Echo Frames、Snap Spectacles（非AR显示版本）、Ray-Ban Stories等智能眼镜虽然外形接近普通眼镜，但完全放弃了AR显示，只有增强音频或计算机视觉摄像头。

Bar-Zeev认为，功能全面的AR硬件并不适合消费级用户，主要应用场景是高端市场、核心研发领域。一些更高端的光学技术，如全息、光场显示方案，成本高、技术不成熟，也还不能面向消费者发售。另外，这种AR硬件/头显的外形笨重，不适合日常使用，佩戴它们甚至都不能在大街上安全的行走。

而“极简主义”的智能眼镜虽然不支持AR显示，但在短期内可以卖的更快，更容易找到市场入口，并在随后不断完善相关方案，扩展更多功能和应用场景。尽管如此，极简主义的眼镜设备并不容易设计，很多方面难以做到正确。

Bar-Zeev表示：Xbox“Screen Zero”最初是一种折中设计，将极简主义和极繁主义混合，即采用比运动眼镜更轻量化AR设备，搭配强大的游戏主机，一台主机可以同时运行4副AR眼镜。

人体工学、功率和热量

AR眼镜很难将显示、计算和电池整合在一起，一些产品选择分体式设计，除了受体积限制外，也是为了控制散热。CPU、相机、显示屏、RAM会消耗大量电力，产生大量热量。为了解决这些问题，可在AR眼镜中采用低功耗定制技术，比如上下文传感器、低功耗显示器、支持唤醒的算法，以及数据融合、拆分渲染、优化的渲染等等。这些技术将需要一段时间来开发。

户外显示

为了在室外场景清晰显示AR内容，AR显示技术需要达到一定亮度，此外人体工学也要足够优化，才能让用户在室外的移动场景长时间佩戴。因此，需要解决便携性、体积、头带尺寸（是否支持所有头型）和舒适性、分体式设计等问题。

早期微软专利

Bar-Zeev认为，可以将计算单元放置在用户手臂上，通过短线或无线的方式与AR眼镜相连，这样可以将重量和热量从头部和颈部转移，从而提升长时间穿戴的舒适性。同时，手臂式硬件还可以配备生物传感器，比如像CTRL-lab腕带那样，可以追踪手势。

对焦

未来，AR将需要支持动态对焦，这项功能最直接的应用场景就是视力调节，意味着近视眼、视力缺陷用户无需佩戴镜框眼镜，就能看清楚AR眼镜显示的内容。在理想的情况下，AR眼镜应该支持动态的视力调节，即使AR显示关闭，也能校正用户的视觉。

目前，一些AR眼镜通过支持定制镜片来实现屈光调节，也就是说透镜将带固定的度数，但只适合一位用户使用（或是视力相同的人）。即使是一个人来使用，在阅读、驾驶等不同的场景中，对于屈光调节的需求也会有变化。而且，将弯曲的光学器件嵌入到功能性的处方镜片中，是非常困难的。

Alvarez透镜

目前动态对焦的最佳方法包括Alvarez（滑动）和充满液体的可调节镜头。机械解决方案往往会降低可靠性。在堆叠特殊LCD以电子方式改变焦点方面进行了大量的研发工作。 Meta买了一家公司来做这件事。

还有一个问题是根据一个人当前的凝视来聚焦虚拟图像。 Avegant和Magic Leap向我们展示了在两个焦距之间快速切换以模拟简单的光场显示的方法，这对于在伸手可及的范围内以适当的焦点看到“虚拟物体”非常重要。我之前研究过几种方法来连续扫过焦距。但商业展示在实践中还不够快。

跟踪你的眼睛可以帮助处理重要的事情，减少计算负载，并提供更自然的用户输入。我对眼动追踪问题非常熟悉，并在早期提醒政策制定者注意风险。

最后，在商业方面，Luxottica通过销售带有昂贵品牌名称的廉价塑料镜框和镜片获得了巨大的利润。它在当今市场以及您所知道的大多数品牌中占据主导地位。XR眼镜公司必须与他们合作或破坏他们，这两种选择都不容易。Meta选择与他们合作开发雷朋眼镜。竞争对手包括Warby Parker和其他较小的玩家。没有出色的分销渠道和合作伙伴，您就无法销售出色的新产品。

不过，目前市面上还没有一个完善、成熟的动态变焦方案，Magic Leap和Avegant采用了固定焦面切换方案，而Meta依然在探索基于液晶透镜的电子变焦方案，这些技术均依赖于眼球追踪。为了提升动态变焦的自然感，AR不仅需要支持更多焦距变化，延迟也要足够低，而现有的眼球追踪方案还不够快。

对于AR眼镜来讲，镜片、透镜的选择也很重要，尤其是小飞机全天候AR眼镜。Bar-Zeev认为，没有出色的分销渠道和合作伙伴，不管新产品有多优秀，都很难销售。这也是为什么Meta选择与全球最大的眼镜商EssilorLuxottica合作，除了这家公司外，Warby Parker等小众眼镜品牌也值得关注。

对比度

对于AR来讲，对比度是图像清晰显示的关键因素，这里对比度指的是AR和周围环境光的对比，对比度越高，AR图像的色彩越清晰。不过，目前AR眼镜在实际应用时，虚拟图像依然会透过周围的光，因此色彩不够饱和，尤其是在阳光充足的户外场景，AR看起来会比较“虚”。

Magic Leap 2动态调光

而且也不能显示纯黑色，一些AR眼镜采用遮光罩来屏蔽周围环境，让AR的背景看起来呈现深色。Magic Leap 2则是通过背景调暗功能，来突出AR显示效果，但AR与背景的交界线可能还不够清晰。而对于透视AR头显，尽管可以通过替换像素来实现高对比度AR遮挡，但透视摄像头捕捉的图像在色彩、分辨率上也难以媲美真实环境，而且透视AR头显配备更多传感器，整体重量和耗电量更高了。

通常，光学工程师会通过提升AR的亮度，来优化户外显示的效果。但考虑到现有的AR光学系统效率较低（只有1%到10%），提升显示模组的亮度效果并不明显。显示模组发出的光线大部分不会进入人眼，却又散发很多热量，反而影响长时间体验。

Bar-Zeev认为，理论上将高透光透镜与选择性光线遮挡结合的方案，成本更低。比如在2010年，Bar-Zeev曾申请了一个基于单色LCD光源的AR方案，其特点是可通过柔和的黑色轮廓渲染3D物体，在不同的光线环境中可动态调节透光率（可遮挡阳光、眩光、车头灯等高强度光源，或是调暗背景来突出AR）。不过，缺点是需要动态校准，而且LCD会扭曲真实的环境光（折射），动态范围不够高，在靠近人眼的设计中画面效果是失焦的。

此外，该方案还可以叠加色彩滤镜，利用颜色来调节周围环境的视觉氛围，或是增强夜视能力。听起来，这项技术有点像是Magic Leap 2动态调暗功能的升级版。不过，Bar-Zeev也表示：目前该方案还需要优化，围绕其构建的各种demo都存在一些缺点。

网络

除了电视、计算单元、显示单元外，AR一体机还需要搭载WiFi模块，这不仅意味着体积增加，耗电量也会增加。

对于全天候AR来讲，首先需要支持联网，之后再去优化连接速度。Bar-Zeev认为，5G可以更好的满足AR信号传输的需求，主要解决了延迟、同时在线人数的问题。不过，未来还将需要更好的联网能力，比如结合边缘计算。

摄像头

在AR眼镜上配备摄像头可能会被认为“侵犯隐私”，谷歌此前推出的Google Glass就曾因为搭载相机而受到质疑。另一方面，相机、3D传感器如果全天候运行会很耗电，为此AR厂商开始结合IMU来辅助定位，并优化3D扫描算法，减少采样率，从而降低功率。

Ray-Ban智能眼镜

另外，短期内AR眼镜的拍照能力可能还比不上手机，未来通过设计优化、成像技术发展，拍照能力也有望提升。

UI&UX

AR眼镜需要基于空间计算的自然用户界面，与传统的PC端GUI有很大不同，而且交互方式也从键鼠变成了手柄和手势。因此，除了优化硬件体验外，AR也需要全新的UI和UX，以解锁更加适合的应用场景和体验。

Bar-Zeev认为，AR的视觉质量固然重要，但作为全天候可穿戴设备，它也需要足够实用，才能吸引人来使用。而且，AR眼镜需要在每种应用场景带来超越手机的体验效果（更自然的交互、更贴身的信息推送、动态变焦、生物识别等等），才能给消费者一个购买的理由。另外，理想中未来AR内容将无处不在，但为了更好的体验，应该给用户更多选择权，在有需要时再调出AR内容。

短时间内，也需要实现AR眼镜与非AR终端之间的流畅互动和通信。

总之，这些难题都是AR还未解决的问题，这也是为什么说我们距离全天候穿戴的AR还有很远。目前，光学元件小型化、视场角最大化是AR研发的主要方向，但未来还有更多问题需要解决，比如传感器、用户体验、交互等等。参考：Medium