大家都在关注VR，但我想谈谈AR，普及点VR和AR、MR的事情

暗影之心 · 发表在 2016-7-16 14:29:26

虽然都说2016年是VR元年，今年内OCULUS RIFT、HTC VIVE，以及PS VR三大标准VR设备会先后发售。

============================== VR 篇 ===========================
VR（Virtual Reality虚拟现实）： VR也可以叫做人工环境，就是说你带上VR眼镜所看到的景象全部是靠这些设备产生的，是虚拟的。它通过VR相机采集、景象制作设备、计算机软件、VR眼镜等成像设备联合提供视觉、听觉、触觉等感官的模拟，让我们进入这个“虚拟”的世界中，如同身临其境一样。最典型的例子是VR游戏或VR直播，比如一场VR演唱会直播，你自己压根不在现场，但通过VR，你能把你“虚拟”到演唱会现场，这就是VR。

上世纪50年代末到60年代之间，电影摄影师Morton Heilig相继研发了数个类VR设备，包括街机式的多感知电影播放设备、提供3D影像与立体声的头戴设备以及多感知虚拟现实系统Sensorama Simulator。1968年，美国计算机图形学之父Ivan Sutherlan在哈佛大学组织开发了第一个计算机图形驱动的头戴显示器及头部位置跟踪系统。这些都成为了VR发展史上重要的启蒙。

1989年，Jaron Lanier 第一次正式提出了Virtual Reality的概念，他的公司VPL Research也成为了第一家成功商业化销售VR头戴显示设备和手套的公司。随后的90年代，VR经历了一次如火如荼的商业化浪潮，索尼、任天堂等游戏公司都陆续推出了自己的VR游戏机产品。但由于产业链不完备，技术也不成熟，VR产品并未得到消费者的认可。虽然这一波商业化浪潮在消费级市场并不成功，但VR却在军事、工业、医疗等领域逐渐应用起来。

2014年，Facebook以20亿美元收购Oculus，一石激起千层浪，VR进入普通消费者的生活终于开始有了可能性，VR的产业化也在全球范围内快速铺开。随后，Sony开启Morpheus计划（即现在的PlayStation VR）、Google推出Cardboard、三星与Oculus合作推出Gear VR、 HTC与Valve合作研发针对Steam游戏平台的HTC Vive。而国内，数百家VR创业公司相继出现，快速覆盖了几乎所有的产业环节。

围绕着「下一代计算平台」，国内外正兴起一场从未有过的「VR狂欢」。这一次，VR是真的来了。

一、解构VR产业链

硬件设备、操作系统、内容、应用、分发平台构成了VR产业链的核心环节。我们将基于这五大环节对VR产业链进行拆解。

1、硬件设备

硬件设备又可分为显示设备和输入设备。其中输入设备负责用户的知觉捕捉，而显示设备则负责用户的知觉反馈，两者构成一套相对完整的VR交互系统。

（1）头戴显示设备

PC/主机端头戴显示设备

PC/主机端头戴显示设备的代表便是「三大厂」：Oculus Rift、HTC Vive和Sony PlayStation VR，其中Oculus和HTC的消费者版本已经上市，Sony PS VR今年3月开始订购。

（Oculus Rift CV1全套产品）

国内的显示设备厂商中很大一部分都在做这类产品，比如大朋、3Glasses、UCglass、蚁视、游戏狂人、EMAX、VRgate等。但这类头显涉及到算法、材料、光学、人体工学、仿真等多种技术，国内厂商与三大厂还存在较为明显的差距。

（2）眼镜盒子

2014年6月，Google在I/O大会上发布了Cardboard，从此掀起了眼镜盒子类产品的风潮。通俗来说，眼镜盒子就是通过把手机塞进VR眼镜盒中进行观看的VR显示设备。这类设备不需要复杂的电子元件，成本较低，体验也相对粗糙。

2014年9月，三星发布了与Oculus联手打造的Gear VR，成为了迄今为止性能和体验最好的眼镜盒子产品。对于这类产品来说，针对特定型号手机定制开发的眼镜盒子能提供更好的体验。因涉及到调用手机服务、算法优化等，实现高沉浸感需要眼镜盒子和手机高度兼容，甚至要求配套开发，例如三星。

国内做眼镜盒子的厂商非常多，代表性产品包括暴风魔镜、灵镜小白、DreamVR、极幕-1、Glasoo、VirGlass、SVRglass、爱可视等。除此之外，包括小米、魅族、腾讯等在内的手机厂商和互联网巨头都将入局。

（3）一体机

一体机需要将显示、计算、存储、电源等功能性模块全部集成到头戴显示设备中。而如果要达到好的性能，显示设备就很难做到轻便小巧。囿于技术上的局限性，一体机近几年内不会成为主流产品。尽管如此，国内也有一些厂家在尝试，产品有：灵镜小黑、大朋、Omimo、第二现实等。

（4）输入设备

人机交互是VR整个体验中的非常重要一环。目前，手柄、手势追踪、眼球追踪、动作捕捉等是比较常见的交互方式。除此之外，还有一些泛体感类的输入设备能够实现更复杂的交互。

作为主流的游戏输入设备，手柄可能是最早大规模使用的VR输入外设。Oculus、HTC、Sony、Gear VR都采用或兼容手柄。

手势追踪是比较目前自然的输入方式，成型的产品也较多，比如：Nimble Sense、LeapMotion、Usens、微动、Ximmerse、Dexmo等。

全身动作捕捉比手势追踪更进一步，能获取到更完整的动作信号，实现更丰富的交互。代表性的产品/公司有：诺亦腾（全身动作捕捉）、Kinect（微软体感输入）、奥比中光（深度摄像头）等。

相比前两者，眼部追踪技术应用到VR领域内还处于概念期，国内的七鑫易维、青研科技等公司都在做眼球追踪类产品。

泛体感类输入设备通常被理解为「辅助外设」，比如Omni体感跑步机、KAT Walk体感跑步机、PP GUN和各种蛋椅等。

（KAT Walk跑步机）

2、操作系统

VR操作系统用于管理VR的硬件资源和软件程序、支持所有VR应用程序，是VR生态中重要的一部分。

目前，Windows、Android已经能够较好的支持VR的软硬件，支撑消费级应用。但苹果的操作系统目前对VR并不友好，这使得基于苹果系统的开发者无法在短时间内介入VR内容的开发。

除此之外，现有的VR操作系统多由头显厂商自行开发，处于相对封闭和割裂的状态。当然，封闭的操作系统在用户体验方面的优势更大。但Google、雷蛇等公司也已经宣布正在开发VR系统，或会采取开源的方式，吸引更多开发者。

VR操作系统的价值在于它是有机会定义行业标准的。通过搭建VR的基础和通用模块，无缝融合多源数据和多源模型，成为标准分散的硬件设备与各类引擎开发商之间的中间层，最终成为标准的统一者。

VR的局限性和瓶颈

1、不达标的技术指标和算法缺陷

目前头显的主要问题就是无法解决眩晕感，且沉浸感不足，这跟硬件的技术指标不达标有直接关系，这些指标主要是屏幕分辨率、屏幕刷新率、延迟和视场角度。

分辨率：画面不清晰会影响沉浸感。Oculus和HTC的分辨率为2160*1200，国内大部分厂商还达不到这个标准。也就是由于双眼显示，对应到单片镜片显示分辨率只有1080*600，实际上这个分辨率连720P都达不到，这也就是为什么VR颗粒感较强的原因。希望完美体验的最好还是选择上述三家大厂或者等下一代产品。

屏幕刷新率：90Hz的屏幕刷新率是人体基本感知不到屏幕有延迟的最低线。目前，Oculus Rift和HTC Vive的屏幕刷新率达到了90Hz，Sony PSVR号称可达到120Hz。三星Gear VR受制于手机屏幕刷新率的限制，目前可达到60Hz。而国内厂商的产品还没有可以达到90Hz标准的，大多在60到70Hz，大朋的75Hz是目前国内最高的刷新率。

延迟：戴着头显的时候，如果转动头部看到的屏幕内容会跟不上转动的速度，这就是延迟，会产生拖影，甚至会造成生理上的不适。理论上，延迟控制在19.3ms以内肉眼就感觉不到，而这个数值对应的屏幕刷新率就是75Hz。因此，目前把延迟控制在20ms左右是可以实现的，但做到的国内厂商不多。

视场角度：人眼正常的视场角度是200度左右，视场角度越大，沉浸感越好。目前大部分产品的视场角在110度到120度左右，眼睛盒子比PC头显更低，沉浸感更差。

然而VR头显并不仅仅是一堆硬件的组合，而是包含系统在内的一整套软硬件体系，其中系统底层的算法优化是核心。除了技术指标，底层算法的缺失也是国内头显厂商的弱点。

焰火工坊CEO娄池告诉极客公园：「目前大部分国内PC头显厂商做的更像是‘Oculus兼容版’，即对Oculus的底层代码做简单修改后直接拿来用。但由于与自己的硬件缺乏适配性，完全无法达到Oculus的体验效果。而对于移动VR厂商来说，做的则是Gear VR的‘剥壳’。然而Gear VR为S6等适配手机做了系统的深度定制，如果将这层算法剥离，就只剩下一个简单的光学设备而已，效果相去甚远。充分优化和适配的算法是可以在现有硬件条件下做出效果提升的。」

娄池表示，包括Intel、高通、INVIDIA等在内的硬件厂商都开始着手解决算法层的适配问题，在2017年或会将硬件技术和算法所带来的门槛彻底消除。而在此之前，拥有算法能力的公司还是会保持优势。

由于VR缺乏人机互动，更强调沉浸感，所以现在在Size Fetish方面主要还是以POV视频为主，毕竟第一人称视角是代入感最强的。估计以后也只能做到这个程度了，毕竟空间限制（撇开跑步机不说，那个也不是人人都配得起的，厂商也不会为小众人群专门开发这样的资源。

暗影之心 · 发表于 2016-7-16 14:57:31

========================  MR篇  ===========================
AR（Augmented Reality 增强现实）：你带上AR眼镜后，看到的全是真实的场景，它把这些智能计算机设备所产生的“增强”的虚拟数字层套在真实世界之上，让你看到比以往肉眼看到的世界更“增强”。典型的例子是，看你面前的一座商场，肉眼直接看它就是一个建筑，但是戴上谷歌眼镜后，你能透过砖瓦看到商场中目前的人流、打折信息，还有你上次去买东西缺货的那件商品已经上架了。注意，前提是你本人就在商场前面，这是真实的商场，而不是虚拟的商场。

VR/AR — 虚拟现实和增强现实的关系  让我们先从一个点R0开始聊，这个点叫做原生感知现实。这是正常人类的视觉系统能看到并理解的世界。简单点来说，这就是一对叫“人眼”的相机拍到的一组照片，就是裸眼画面。

以此为原点，向右延伸，我们就有了一根数轴。数轴上的标度代表了我们往裸眼画面上投放数字信息的多少（Amount of Augmentation）。投放后呈现在我们眼中的画面就是增强现实。

当数轴上的标度不断增加，我们会离R0越来越远。最终，我们会得到一个极端情形，即虚拟现实。在这个离R0无穷远的点上，我们的裸眼画面完全被数字内容覆盖。现实中的事物，也和我们的双眼毫不相关。因此，VR是AR轴上的一个点，是AR的一个极端情形。我们说VR是AR的一个真子集。如下图。

根据增强现实量的多少，我们可以标出各个主流智能眼镜在数轴上的位置。接下来，我们来看几个眼镜形态例子，并对它们进行标注：
  1. 轻量级AR — 类似Google Glass的智能眼镜
轻量级AR只可以小范围的显示数字信息。由于不需要生成电脑图像，通常是单眼棱镜光学透视的设计方案。我们把这类眼镜称为Notification System（提示型系统）。这类眼镜的市场是在于拍照，里面有个指导思想叫做Equivalence，大概讲的是如何通过分布在每个人身上的相机来构建和谐社会。这个有机会我以后再跟大家分享。

  2. 中量级AR — 类似Microsoft Hololens的智能眼镜
这类眼镜视角最大达到50度，是中量级AR，可以在视野里叠加3D数字模型。为了立体效果，通常是双目棱镜光学透视。微软也把这类眼镜叫Mixed Reality（混合现实）。但这是他们做AR眼镜的商用名称，有别于学术上的概念。

    3. 重量级AR — 类似HTC和The Void的所谓动态VR眼镜
戴上VR头显，背上电脑，在一个布满标记和外置相机的体验馆里进行游戏。大家把这种体验叫做动态VR（真实环境会被渲染成游戏场景）。在我们的图上，大家可以看到它离VR很近，但已经不属于纯VR了。理论上来讲，它实际上是重量级AR体验。虽然用的是VR头显，但形态不能决定本质，所以大家要认识清楚。我相信动态VR是虚拟现实行业下一步的发展方向，也可以看出VR在从一个点慢慢往左延伸。

目前这类产品并不太多，国内也没有相关成熟的产品开发，可能暂时我知道的只有google glass和微软的Hololens，但是这个相对于VR来说就脱离了虚拟世界，融入现实世界。不看到的只是在现实世界中扩展出来的信息或者虚拟出来的对象，而且媒介也不想VR那些设备和复杂的连接线，小到手机也可以实现。

这里就不得不说说任天堂近期发售的pokemon go的手游了，当然这并非第一款类AR手游，之前也还有ingress等。以往的游戏都是大家坐在电脑面前点点鼠标，按按键盘就可以完成了，而AR游戏它是基于LPS定位和真实地图相结合的方式，那么要完成游戏你必须要离开凳子，走出家门，融入到外界去（感觉以后会在社交、旅游、健身等方面有很大的潜力）。口袋妖怪只是类AR。实现了虚拟影像和现实环境的结合，但利用的还是手机摄像头+图像识别，这在Snapchat（编注：一款有阅后即焚功能的应用）上已经火过。真正的AR应该是能实现虚拟影像和现实的交互，这需要全新的计算力和硬件。
不过想想以后出现一个Size Fetish的AR游戏，满世界都是Giantess入侵，而且3D模型能够和真是世界结合的APP出现，是多么令人兴奋

暗影之心 · 发表于 2016-7-16 15:21:13

作者：邓波
链接：https://www.zhihu.com/question/40710963/answer/109293771
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

MR定义是：将真实世界和虚拟世界混合在一起，来产生新的可视化环境，环境中同时包含了物理实体与虚拟信息，并且必须是“实时的”。MR的两大代表设备就是Hololens与Magic Leap。
AR和MR该如何区分?
在上述定义下，AR往往被看做是MR的其中一种形式，因此在当今业界，很多时候为了描述方便或者其他原因，就把AR也当做了MR的代名词，用AR代替了MR。
再者，从业界鼓吹的概念来讲，AR和MR并没有明显的分界线，未来也很可能不再区分AR与MR。MR更多也只是Hololens和Magic Leap打出的噱头。但是现今所谓的“AR设备”与“MR设备”，从所应用的技术和显示效果上来说，还是稍稍有所不同的，所以我们这里还是讲讲这两类设备的区别(以Google Glass代表的AR设备与以Hololens与Magic Leap为代表的MR设备)。
为了好理解，我们就解释地通俗一点，有两点主要的不同。
巨大爱好者-谈天说地（Chat）

第一，虚拟物体的相对位置，是否随设备的移动而移动
如果是，就是AR设备;如果不是，就是MR设备。举个例子，戴上Google Glass，它在你的左前方投射出一个“天气面板”，不管你怎样在屋子中走动，或者转动头部，天气面板一直都在你的左前方，它与你(或者Google Glass)的相对位置是不变的，你走到哪，就把它带到哪;而Hololens是怎样的呢，它也会在屋子墙壁上投射出一个天气面板，但是不同之处在于，不管你怎样在屋子中走动，或者转动头部，天气面板始终都在那面墙上，它不会由于你的移动而移动(这主要里涉及空间感知定位技术，SLAM，即时定位与地图构建，为其中最主要的之一，作用是让设备实时地获取周围的环境信息，才能精确地将虚拟物体放在正确的位置，所以无论用户的位置无论怎么变动，虚拟物体的位置都可以固定在房间中的同一个位置)。
巨大爱好者-谈天说地（Chat）

第二，在理想状态下(数字光场没有信息损失)，虚拟物体与真实物体是否能被区分
AR设备创造的虚拟物体，是可以明显看出是虚拟的，比如FaceU在用户脸上打出的虚拟物品、Google Glass投射出的随你而动的虚拟信息;而Magic Leap，用户看到的虚拟物体和真实物体几乎是无法区分的(这里主要涉及数字光场技术，Digital Light Field。AR设备使用二维显示屏呈现虚拟信息，因此真假很容易分辨;而MR设备直接向视网膜投射整个4维光场，所以用户从Magic Leap看到的物体和看真实的物体，从数学上是没有什么区别的，是没有信息损失的)。
巨大爱好者-谈天说地（Chat）

当然，“AR设备”与“MR设备”的界限不是绝对的(甚至说这种界限是企业YY出来的)，这里把它们分为这两类，主要是让大家明白他们所应用的技术和达到的效果是有所区别的。AR设备未来也会使用SLAM、数字光场以及视网膜投射等技术(比如Google的Project Tango)，这时AR也就演化为MR了吧。
Magic Leap并不是裸眼全息，同样需要一个头戴显示器
至于CR，是Magic Leap曾经宣扬的概念，说自己是Cinematic Reality，影像现实，意思是虚拟场景跟电影特效一样逼真。但是后来好像他们的发言人也把自己归做MR了。
还有一点很重要，就是Magic Leap并不是裸眼观看的，不要被曾经红极一时的“鲸鱼视频”误导，Magic Leap同样需要一个头戴显示器，“鲸鱼视频”应该是后期做的特效。人类希望能凭空看到一个虚拟物体，已经想了几百年了，各种科幻电影里也出现了很多在空气中的全息影像。其实想想本质就知道，这事从物理上很难实现的：纯空气中没有可以反射或折射光的介质。显示东西最重要的是介质。
巨大爱好者-谈天说地（Chat）