重庆游戏人丨为重庆提供游戏开发技术培训服务

Oculus 首席科学家深入探讨 AR/VR 未来发展:光学、显示、渲染、音频、输入、角色、外形、计算机视觉等

 2018年10月16日)在Oculus Connect 5大会的主题演讲中,Oculus首席科学家迈克尔·亚伯拉什重新审视了他在16年OC3对未来五年VR技术的预测。亚伯拉什相信,对于自己经常提及的关键预测,尽管有些需要推迟大约一年时间,但“基本上都在朝着正确的方向发展” ,而且他对“低估了某些领域的进展”。在今天的文章中,映维网将与大家一起回顾亚伯拉什对AR和VR未来的洞察。

1. 光学与显示

亚伯拉什在OC5大会上重新审视每个技术领域,而他首先讨论的是光学与显示。这位Oculus首席科学家对2021年头显功能的预测是单眼4K×4K分辨率,140度视场和可变焦深。

“这是我明显低估的一个领域。”亚伯拉什如是说道,并指出Oculus于今年年初展示的Half Dome原型已经满足了其中两个标准(140度视场和可变焦深),而且现在已经出现了能够满足其预测分辨率的显示面板。

亚伯拉什强调了变焦显示领域正在快速发展,他表示借助可以实时实现“自然注视跟随模糊”的AI渲染器DeepFocus,他们“在解决这个问题上已经取得了相当大的进步”,而他们会在未来几个月内发表他们的研究成果。

除了Hald Dome,亚伯拉什简略提到了针对未来光学的两个潜在解决方案:Pancake透镜和波导。跟菲涅尔透镜一样,Pancake透镜不是一项新事物,但“到了现在才真正变得切实可行”。亚伯拉什解释道,Pancake透镜可以通过基于偏振的反射将光学路径折叠成一个小空间,从而有可能实现视网膜分辨率和200度的视场,但你必须在外形尺寸和视场之间进行权衡。由于Pancake的工作方式,“你可以产生一个非常宽的视场或一款非常紧凑的头显…但不能同时实现”。

但波导(一种正因AR研发工作而得到加速发展的技术)在理论上没有分辨率或视场的限制,并且只有几毫米厚,最终可以在任何所需的视场和视网膜分辨率下产生非常轻巧的头显(但这仍然需要很多年的时间发展)。

2. 注视点渲染

对于图形,亚伯拉什在2016年的预测是注视点渲染将在五年内成为一项核心技术。他将这个预测延长了一年时间,而渲染方法可能会通过深度学习得到加强。他展示了一张图像,其中95%的像素被移除,剩余像素则集中在焦点。图像的其余部分通过深度学习算法进行有效的重建,而最终结果与原始的全分辨率版本非常相似,表面上足够欺骗你的外围视觉。

注视点渲染与眼动追踪密切相关,而亚伯拉什认为这是他2016年预测中风险最大的技术。今天,他更有信心可以实现稳定的眼动追踪(它已经成为Half Dome的一部分) ,但这个预测同样需要延长一年时间。

3. 空间音频

空间音频是下一个主题。亚伯拉什曾预测个性化的头相关传输函数(HeadRelated Transfer Functions;HRTF)将在五年内成为家用VR设置的标准,而他在本届OC5大会承认这个预测可能同样需要延长。但亚伯拉什指出,最近的一次演示体验令他确信“音频临场感是确有其事”。显然,这项技术已经行得通,但用于演示的个性化HRTF涉及30分钟的耳朵扫描,并紧接需要“漫长的模拟”,因此它尚不适合用于消费级产品。

4. 控制器与输入

至于控制器,亚伯拉什认为Touch类型的控制器在不久的将来仍然是主要输入设备(以及手部追踪)。在播放了Oculus的一个触觉手套实验短片之后,他调整了自己先前的观点,即用于双手的触觉反馈已经不再遥远,并指出“我们将在十年内以某种形式实现有用的触觉双手。”

5. 人体工学与外形尺寸

在谈到人体工学时,亚伯拉什提到VR和AR研究之间正日益增加的技术重叠,并指出未来的VR头显不仅能够做到无线,而且可以利用某些AR设备所采用的分体式结构来变得更加轻便,其中重型组件(如电池和计算硬件)可夹在口袋或腰间。他指出,重型组件同时可以与头显无线相连,从而实现完全的运动自由。

即便如此,光学限制仍然是阻碍VR头显接近滑雪镜设计的瓶颈,但Pancake透镜和波导光学系统的进步可以带来更加轻便的头显。

6. 计算机视觉

亚伯拉什接着讲到VR和AR设备在未来将会共享的计算机视觉技术。因为两种类型的硬件都能够渲染令人信服的混合现实,其中虚拟世界的对象和环境与真实世界融为一体。应对这一挑战的方法各不相同。亚伯拉什指出,未来的VR头显将能够在虚拟环境中实时扫描和渲染现实世界(他相信这可以在四年内成为现实),而AR眼镜则将渲染层“叠加’至现实世界,并通过透明显示屏进行浏览感知。

尽管亚伯拉什认为VR将在很长一段时间里成为“混合现实的最佳(形态)”,但他同时希望这两种技术最终能共享相同的底层接口,并共享相同的开发环境和工具,以至于应用程序和环境能够无缝地跨越两种类型的头显。Virtual Humans

7. 虚拟人类

亚伯拉什最后谈到了逼真的虚拟人类。在以前,恐怖谷效应看起来似乎都无法克服。亚伯拉什强调了一种名为Codec Avatars的机器学习方法,其能够在非常精确地重建旁边一个说话人头。尽管仍处于早期阶段,但他认为这可能会彻底改变虚拟通信和协作。他指出:“我不会打赌在四年内能够实现令人信服的人类化身。但我同样不会打赌这不可能在四年内实现。”

他推测道:“四年后,VR将能跳到更高的水平,而那只是一个开始。每个领域都将继续优化,虚拟人类和潜在的触觉双手将在不久之后出现。简而言之,就我看来,而我可以看得相当遥远,VR的未来一片光明。”

未经允许不得转载:重庆游戏人 » Oculus 首席科学家深入探讨 AR/VR 未来发展:光学、显示、渲染、音频、输入、角色、外形、计算机视觉等

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址