Facebook分享如何测量力反馈手套的感知延迟

  • 时间:
  • 浏览:1
  • 来源:五分三D官网-五分三D登入网址

我在合适一年多前加入Facebook Reality Labs(FRL)。我有幸与世界级的专家合作协议协议,并一起去发明人人最前沿的新技术。遗憾的是,我付出的代价是要能再通过博客介绍我的工作。有关我工作的一切要能 最高机密。但今天状况发生了变化。

我将介绍我负责的一一个软件工程项目。它是如保带来意我想要 能的发现。是哪此致使每人个 进行用户研究。这产生了一定的新发现。实际上,这篇博文也不简单介绍了FRL的其他研究。

1. 触觉手套演示

每人个 的一一个研究项目是触觉手套。迈克尔·亚伯拉什曾在OC5大会通过一一个简短的视频进行了展示:在视频中,一位用户正在穿戴一款触觉手套。在虚拟现实中,系统要能追踪并完整版解释她的双手。当她用虚拟手触碰虚拟积木塔时,物理手套将产生触觉反馈。

三种演示的早期版本中发生一一个问提:延迟。音频和触觉反馈明显滞后。用户是手触碰积木塔时候才开始 感到或听到相应的反馈,彼此要能 同步实现。

我喜欢优化问提。首个任务之一是测量。对于纯粹的软件问提,这十分简单。我想要 发现各种用于分析代码性能的工具。但测量硬件延迟则更为困难。幸运的是,我有先例还要能参考借鉴。

2. 游戏输入延迟

游戏开发商多年来老会 在测量输入延迟。“感觉”好的游戏和“感觉”不好的游戏之间的区别真难解释,如保让 通常难以量化延迟。

输入延迟是一一个简单的概念。从按下按钮到马里奥开始 跳跃,这期间要能 多长时间?从按下按钮到电视像素发生,这期间又要能 几个毫秒?三种快速巧妙的测量法律最好的办法是利用智能手机。我想要 以240 FPS录制慢动作视频,如保让 计算帧数。

更好的法律最好的办法涉及三种定制控制器。控制器接入带有LED的电路板。检测到按钮信号时,LED亮起。结合高速视频,我想要 实现更精确的测量。

比三种更好的处置方案是,修改游戏并令其渲染黑色方块,如保让 黑色方块要能在按下按钮时变成白色。我想要 将光传感器接到显示器,从前还要能提供非常精确的测量。

3. 端到端延迟

现在每人个 知道应该如保测量延迟了。很好。

不尽然。上述法律最好的办法是用于测量按钮到光子的视觉延迟。每人个 关心的是缝制在手套内的触觉致动器的延迟。摄像头可排不上用场。

更糟糕的是,每人个 没法 按钮。每人个 采用的是先进的手部追踪系统。当物理模拟检测到虚拟双手的接触时,触觉反馈就将产生。

每人个 还要能将触觉反馈单独读懂来,但每人个 关心的是演示体验的端到端延迟。这包括硬件追踪系统,内部管理软件,第三方软件,设备驱动应用守护进程和输出硬件。

下面是每人个 的测量处置方案:

每人个 将物理桌面与虚拟桌面对齐。当用户的物理手部轻敲物理桌面时,每人个 的虚拟手部一起去将轻敲虚拟桌面。

如保让 每人个 使用一个麦克风。一一个指向桌面并记录物理接触的声音。第八个是手套内部管理的接触式麦克风,其用于记录触觉响应。一个麦克风都输入至要能同步音频流的现场录音器。

接下来,每人个 不计算视频帧,也不通过Nuendo打开音频流。每人个 手动注释音频流,如保让 计算增量时间,亦即每人个 的端到端延迟。

每人个 的触觉延迟测量带宽高达100毫秒。每人个都知道这很糟糕。但这是每人个 第一次拥有了具体的数字。

这段时间里面,合适有100毫秒来自于第三方软件。每人个 要能 在开展传统项目。每人个 希望触觉设备要能以100赫兹的频率运行。这会意味着 各种奇怪的边缘状况。一旦每人个 知道问提出自哪里,每人个 就要能调整行为并处置里面件的死亡螺旋。

每人个 的软件管道贯穿多个子系统。它们在多个应用守护进程上运行,并以不同的带宽更新。

应用守护进程问提意味着 周期浪费,有时甚至是损坏的信号。FramePro是一一个可视化多应用守护进程行为的优秀工具。

为了验证每人个 的修复,每人个 用示波器测量了触觉致动器。作为一一个软件人,这对我来说是三种有趣的新体验。

4. 三模态延迟

细心的读者时候时候注意到Nuendo截图中的八个音频流。我的主要目标是衡量和改善触觉延迟。但时候每人个 的系统实际上属于三模态:每人个 关心触觉(手套),视觉(VR显示)和音频(耳机)。

为了测量这三者,每人个 记录了八个同步的音频流:

检测物理接触的桌面麦克风

检测手套触觉的接触式麦克风

用于检测Rift头显音频的麦克风

用于检测显示变化(黑色到白色)的光电二极管

每人个 一起去使用接入USB的电容模拟板作为每人个 的物理触碰目标。这使得每人个 要能获取软件时间戳,后者可用来测量追踪系统的延迟。

这时,每人个 的积木塔演示感觉时候好了也不也不。触觉反馈的延迟感和断开感时候有了很大的改善。用户要能在触及积木的同一时刻感受到触觉。

5. 感知一起去性

人类的大脑非常奇特。人类非常善于根据多种感官信息来源来建立世界的心理模型。但有时每人个 的感官时候发生误导性。你时候时候注意到我时候的信息图中发生一一个问提。视觉,触觉和音频的延迟不一样。触觉延迟要能100毫秒,而音频慢了合适40毫秒。

在每人个 优化演示内容的时候,大家询问与否还要能禁用音频。接下来发生的事情令我感到震惊。触觉感觉更加敏感。倘若我想要 和你分享这段经历。启用音频后,触觉感觉很棒。关闭音频后,触觉感觉超级棒。要能 更好,也不显著更好。每人个 兴奋地跑到办公室,并对每人个 进行测试,看看每人个 与否都能感受到三种差异。结果我我真是没法 。

具体来说,大脑将多个感官信号融合到统一的感知事件中。当你看了,感觉到,如保让 听到你的手部轻敲桌面时,大脑将这三种感官刺激解释为单一的触碰事件。

当其中一一个信号(如声音)稍微出现延迟时,大脑对其他刺激的感知将随之变化,时候声音会“捉住”其他刺激。这使得每人个 有种触觉发生的时间晚于实际接触时的感觉。

下面是奇异和有趣的地方。三种感知变化是自动的和非自愿的。即便你知道音频发生延迟,大脑要能 会考虑延迟并进行纠正。无论每人个 如保专注于指尖触觉,延迟的音频仍然会意味着 你认为触觉的响应性有所降低。

6. 心理物理学

现在每人个 背后出现了各种有趣的问提。几个延迟属于太少呢?刺激要能 同步吗?降低延迟和增加同步,哪个更重要呢?

为了开始 回答上述问提,每人个 进行了一次心理物理实验。

每人个 的第一项研究十分简单。每人个 希望评估视觉和触觉刺激之间所能允许的延迟时间。这项测试在虚拟现实中进行,如保让 完整版地追踪和解释双手。被试执行了操作虚拟立方体的任务。

为了模拟不同的延迟,每人个 通过写代码的法律最好的办法来注入额外的延迟。为了允许每人个 尽早触发触觉刺激(甚至在手指触及皮层 时候),每人个 一起去编写了其他简单的预测代码。这是三种模拟比每人个 系统所能允许的更低延迟的法律最好的办法。每人个 的预测代码不适用于消费产品,但它在受控环境中运行良好,我想要 能告诉被试确切的行为法律最好的办法。

时候在视觉响应后的要能100毫秒内播放触觉响应,大多数被试后要认为视觉和触觉刺激是一起去发生。在每人个 的手套演示中,触觉响应仅在视觉响应后20毫秒内播放。

有趣的是,时候触觉响应比视觉响应早20毫秒以上播放,三种一起去刺激感就太少出现。这是一一个70毫秒的宽松窗口,但它要能 以t = 0为中心。

7. 三模态一起去性

每人个 的初步研究侧重于简单的双刺激测试。接下来,每人个 进行了一项更复杂化的三模态一起去性研究,包括视觉,触觉和声音。

这是一一个非常难以建模和可视化的问提。每人个 时候有了数据,但分析仍在进行中。以下是初步结果:

这张图非常密集。每人个 下面将分解说明。

原点代表所有三种刺激要能 同一时间发生的状况。对于图中的其他位置,其表示相对于视觉刺激的时间的不同步进行。X轴表示音频刺激相对于视觉刺激的延迟。正X值表示声音是在视觉出现后播放。负X值表示声音是在视觉出现前播放。Y轴这类,但这是相对于触觉刺激。颜色编码是被试将三种刺激评定为一起去发生的百分比。

好了,这意味着 分析哪此呢?我发现了两件有趣的事情。

首先,“热点区域”要能 以原点为中心。被试对在视觉刺激时候发生的触觉或音频刺激非常敏感。

如保让 ,其底部形态更接近于椭圆。被试对触觉延迟的敏感度高于音频延迟。三种模态的异步性更加明显。相反,音频延迟往往更容易接受。这与先前的描述一致,即音频“捉住”触觉,甚至时候使其感觉上像是出现了延迟。

如保让 ,目要能 得出任何有力的结论还为时过早。每人个 的样本量非常小,每人个 的初步实验非常简单。每人个 发现,改变交互类型会对可接受的异步感影响很大。结果时候会随着不同的任务或不这类型的刺激而发生显著变化。每人个 向被试提出的调查问卷时候没法 捕捉到积木块塔演示中遇到的微妙“延迟”梯度。

最后,每人个 希望提供“创建引人入胜的触觉用户体验”的指南。每人个 还没法 走到那一步。每人个 对三态一起去性的研究尚不完整版。大家时候会说每人个 的旅程只完成了1%。不过,每人个 有一一个不错的开局。

8. 最后的想法

这也不我今天的故事。我有幸要能研究一一个有趣的问提。每人个 一起去发现了意我想要 能的事情,如保让 每人个 对人类感知的原理有了更多的了解。非常感谢看了最后的读者。我非常喜欢三种项目的工作。很荣幸有时候与你分享。