利用虚拟动态点OptiTrack运动捕捉技术，帮助构筑Facebook虚拟键盘
不久前，Facebooks Reality Labs（FRL）发表了一项手跟踪的新研究，旨在帮助AR/VR用户在虚拟现实世界中实现不需要真实键盘的完整虚拟输入。
虚拟现实世界中无实物点字的实现对研发人员来说是一件极具挑战性的事情，物理键盘的触摸感和力量反馈不足，使用者的打字精度相对下降。为了解决这个问题，研究人员开始了复杂的机械训练。机器训练可以简单概括为八个过程：确认机器学习目标、获取数据、评估是否符合训练测试标准、清洗数据建模、引入训练数据和训练模型、引入模型诊断和调优、验证数据验证模型、分析误差、模型融合（后端），使用原生新数据进行试验。
为了从机械训练的流程中容易理解数据对机械训练的重要性，并顺利进行虚拟世界中无实体闪烁的研究，需要收集大量人类打字时习惯性的手势数据。为了更准确地获取这些数据，使用了由OptiTrack运动捕捉相机、定制运动捕捉手套、Motive运动捕捉软件等构成的高精度手势跟踪系统。
在数据采集过程中，需要在操作台上安装OptiTrack运动捕捉相机，研究人员需要在头上安装VR头显示器，手上戴有标记点的运动捕捉手套，然后坐在平面操作台前。研究人员可以在打字时从VR头显示器上看到自己的双手和虚拟键盘，进行输入操作，此时，运动捕捉相机可以高精度地捕捉研究人员打字时手的运动，并将这些运动捕捉数据传送给计算机研究人员可以在后期根据需要手动筛选和清洗数据。
Facebook研究人员表示“通过组合语言模型进行训练，机器可以在手势不清晰的情况下预测想要输入的内容。使用这种新方法，在任意平面上，打字员在不需要键盘输入的情况下，平均每分钟可以打73个单词，可以达到与物理键盘输入相同的速度和准确性。”获得的未修复错误率仅为2.4%。
当机器进行大量的输入手势学习，训练到足以满足一般用户日常打字需求的程度时，不仅机器的输入精度大大提高，而且安装的头显示器也能通过VR头显示器外部的摄像头捕捉用户的手势动作能够有效地预测用户输入的文字。可在任意平面进行触摸输入，不需要实际的键盘作为输入载体。
基于OptiTrack手跟踪的虚拟现实输入的研究仍在进行中，但随着时间的推移，机器训练的程度会越来越深，VR世界中的输入将更加人性化、高效和准确。我相信，在不久的将来，当你佩戴VR头在虚拟世界中显而易见时，你会脱离所有实物载体的自由操作系统，高效地输入文本，进行日常工作和娱乐活动。