第一代硬件布局完成 Oculus在VR算法技术上的辉煌即将开始

第一代硬件布局完成,Oculus在VR算法技术上的辉煌即将开始

今天,虚拟现实巨头Oculus正式带来了万众期待的高性能无线头显,Oculus Quest!

Facebook CEO马克·扎克伯格宣布,随着Oculus Quest的发布,已经收购这家公司的Facebook在VR上的第一代硬件布局已经正式完成。

在高性能和开发方面,有最早一款产品Oculus Rift;对于入门用户的初级游戏和娱乐需求,也在今年正式上市了入门价格$199的Oculus Go。

前者需要连接PC,后者无线但性能不足。因此在Oculus Go问世后,VR人士都在期待着一款性能卓越的同时彻底从线缆束缚中解放的设备。幸运的是,在短短的一年时间里,大家的愿望就得到了满足。

不仅如此,Oculus的首席科学家还带来了振奋人心的消息:公司正在加紧研发“可变注视点渲染”,未来几年内的Oculus(以及业界标准的)头显设备将会支持这一技术,显著提高头显的分辨率。

高性能无线VR头显总算来了

Oculus Quest支持六度空间自由(6DoF),也即用户可以在一个既定的空间内自由地移动,在游戏软件的虚拟空间里对应的位置也会改变:

和之前Oculus Rift的手柄比起来,新手柄虽然外观不完全一样,但标准和功能都是相同的,所以可以玩同一级别的游戏。相比较而言,入门产品Oculus Go只有一枚手柄,功能也少了很多。

对了,Oculus Quest头显的手柄还支持触控输入。

同时具备了6DoF和触控这两点,Facebook副总裁雨果·巴拉(HugoBarra)表示,Oculus Quest已经成为了VR方面的标杆产品。

毫无以为,新头显最优秀之处就是在于强大的三维绘图和追踪(tracking)能力,能够在毫秒级精确追踪玩家在无限定的三维空间内所处位置。

研发团队将这项技术命名为OculusInsight:

从发布会上的内容来看,Oculus Quest共有四个宽视角传感器,在戴上头显后会立即开始追踪绘制三维地图,记录边缘、角落,以及任何特征点。

把这些特征点和加速计、罗盘等传感器进行融合,头显就获得了6DoF能力。

不仅如此,Oculus开发的算法还赋予了头显强大的智能。在识别这些特征点后,头显会理解它们分别都是什么东西:是地板还是地毯,挂在墙上的是画框或电视,悬浮在地面之上的是桌子等等。

进而通过这些判断结果,头显会帮助用户制定一个安全区域,树立起游戏玩家熟悉的“看不见的墙”,当用户触碰时给予提醒。

这个功能叫做Guardian守护者,并非新功能,但在Oculus Quest上,由于它不受线缆的束缚,可以进入和识别多个房间,守护者也可以扩展到多个房间里,保存不同的墙壁,谓之Multi-roomGuardian。

除此之外,Facebook宣称在Oculus Quest上也提升了内置立体声喇叭的音质,现在头显能够带来更有劲的低音,加强用户的沉浸感。

遗憾的是,看上去如此优秀的一款头显,大家现在还买不到,产品要到明年春天才能正式发售,具体时间未定。

不过还是有好消息的。

1)Oculus Quest发布届时会有各大厂家超过50款首发大作。其中除了已经在Rift、Vive等平台上知名的游戏开发者,就连顶级内容提供商卢卡斯影业都决定加入。

卢卡斯营业旗下的数字内容机构ILMxLab拍摄制作的正版《星球大战》VR内容:《不朽的维达》(VaderImmortal),也将成为Oculus Quest首发内容。

2)产品的价格为$399未含税。如果考虑头显采用骁龙845处理器的传说,以及发布会上看到的功能配置,这个价格可以说相当实惠了。

不过,在介绍完新品之后,发布会的压轴请上来了Oculus的首席科学家迈克尔·阿布拉希(Michael Abrash)。在我看来,他的演讲甚至比新品还要重要。

Oculus真正的黑科技还在后面

Oculus有一个知名度很高的首席技术官,人称“卡神”的约翰·卡马克(John Carmack)。没那么多人知道,大约是Facebook宣布收购该公司的那段时间,他的老友阿布拉希也加入了公司。

阿布拉希也称得上是游戏和图形业界的大师之一,跟卡马克一起开发过《雷神之锤》,也是微软Xbox团队的老员工。这也是为什么当他想要聊聊图形处理的时候,整个业界都要听听他有什么看法。

因为在很多专业人士看来,VR、AR以及将其融合起来的“混合现实”(Mixed Reality),是继台式机转向移动互联网之后,整个计算工业即将经历的下一个重要的模式转变。

在过去的几届OculusConnect开发者大会上,阿布拉希曾经发表过几个比较宏大的预言。比方说他指出,当下VR和AR所需的显示技术是朝着两个完全不同的方向前进的,但到某个时候,显示技术的演进将带来一款形态更人性化,同时支持VR和AR的设备。

事实上,Oculus在今年早些时候曾经演示过一个名叫HalfDome的概念机,它比我们常见的VRAR头显更加轻便,离常见的眼镜更近,显示屏的可视角度达到140°,而且分辨率高达4Kx4K。

如此巨大的显示屏,无线的独立头显怎么可能推动,或者在推得动的前提下怎么可能保证使用体验(发热、续航)?这也是很多人质疑阿布拉希,指责Oculus放卫星理由所在。

但是在本届开发者大会上,Oculus正在一点一点兑现当时放出的豪言壮志。

借助母公司强大的深度学习研发能力,Oculus在VR/AR头显的“可变焦距显示”(varifocal)上面取得了重要的进展。阿布拉希透露,Oculus已经开发一个名叫DeepFocus的技术,基于深度学习的算法可以按照真实环境和虚拟物体的位置对它们进行清晰和模糊的渲染,带来人眼熟悉的景深效果。

由于还在研究阶段,DeepFocus并没有进入最新一代Oculus Quest头显当中。Facebook将在未来几个月刊登论文并且开源这项技术,届时VR开发者都可以利用它来优化自己的产品。

前面提到,设想中的HalfDome原型机具备4Kx4K分辨率。这在目前连手机都无法实现,更别提头显了,足以胜任的渲染性能根本实现不了。

对此,阿布拉希选择从“注视点渲染”(foveated rendering)的方式来攻克难题。简单来说,当我们在观察一个分辨率极高的画面时,是不可能一眼饱览整张画布的,注视点肯定击中在某一个地方。

比方说固定注视点渲染技术,只对画面中心周围的像素进行高分辨率渲染,屏幕四边模糊一些,从而降低游戏对性能的要求。Oculus Go现在已经支持这个技术了,相信发热和续航都会变好。

▲截图来自英伟达

更进一步,Oculus利用深度学习开发了使用在头显里的可变注视点渲染技术。顾名思义,可变就是不把渲染点强制放在中心或者任何一点上,而是跟随用户的眼神变化。

注意到下图中心靠右下的那个白色方块,代表渲染的中心。事实上,周围的整片画布都是深度学习渲染出来的。

采用这种方式渲染画面,性能的要求只有整个4Kx4K渲染的1/20。这意味着可能在不久的将来,一颗并没有特别黑科技,但确实强大了不少的移动处理器,就足以在头显上推得动真4K+高帧率的画面。

阿布拉希再次给出乐观估计,他认为本届大会上演示的很多黑科技,肯定会成为VR业界的标准,并且在4-5年内进入民用级产品(比如下一代Oculus Rift?)

这位大神还有很多关于VR的预言,包括并不限于3D音频、波导显示屏、人脸复刻等等,在本届大会上他都介绍了Oculus在这些领域的进展。

没错,Oculus真正的黑科技还在路上。