虚拟现实技术及应用杨庆冶金工业计算机与互联网书籍

本书共分为7章，第1、2章介绍了VR/AR的概念，介绍了基本开发工，商业软件和web台的支撑工具集。第3章介绍了图形学基础。第4至6章介绍了三维几何造型、真实感图形显示技术和动画交互技术。第7章结合数字李生和AI与WR/AR技术结合的发展趋势和展望。

pan>虚拟现实技术概论

1.pan>虚拟现实的概念与发展历史

1.1.pan>定义

1.1.2VR/AR的特点·

1.1.3VR/AR的发展历史

1.2虚拟现实的沉浸原理

1.2.pan>深度暗示…

1.2.2单眼深度暗示

1.2.3双眼深度暗示

1.3虚拟现实系统与组成·

1.3.1VR系统组成

1.3.2AR系统组成

1.3.3大型沉浸式VR系统搭建

1.4虚拟现实技术的主要应用领域·

1.4.pan>领域…

1.4.2城市规划领域…

1.4.3娱乐与艺术领域

1.4.4医学应用领域…

1.4.5教育与培训领域·

1.4.6智能制造领域…

2VR/AR支撑工具集·

2.1 OpenGL

2. 1. 1 OpenGL API

2.1.2 OpenGL的组成

2.2商业开发工具…

2. 2. 1 Unity3D

2.2.2时序WebVR虚拟台

2.3典型开发工…

2. 3. 1 OpenSceneGraph

2. 3. 2 PTC Vuforia

2. 3. 3 Apple ARKit

2. 3. 4 Google ARCore/span>

3图形学基础

3.pan>坐标系统

3.1.pan>坐标系

3.1.2坐标系变换

3.2 向量…

3.2.pan>向量的加法和减法

3.2.2向量的点乘..

3.2.3向量的叉乘…

3.3 二维几何变换…

3.3.pan>二移变换

3.3.2二维旋转变换

3.3.3二维比例变换

3.3.4二维齐次变换

3.3.5二维级联变换

3.4 三维几何变换……

3.4.pan>三移变换

3.4.2三维比例变换…

3.4.3三维旋转变换

3.4.4三维绕空间任一直线旋转变换

3.5四元数和欧拉角…

3.5.pan>四元数.

3.5.2欧拉角…

3.6 投影变换…

3.6.pan>正交投影…

3.6.2透视投影

3.7案例・

3.7.pan>基本OpenGL应用程序生成

3.7.2OpenGL基本图形元素和模型变换

3.7.3 Unity3D项目开发

3.7.4 时序 WebVR虚拟场景搭建

4三维几何造型

4.pan>三维模型

4.1.pan>建模概述

4.1.2简单几何建模

4.2三维多边形网格模型

4.2.pan>定义

4.2.2常用数据结构

4.3三角形网格处理技术

4.3.pan>法向量计算

4.3.2网格细分

4.3.3网格简化

4.3.4规则化

4.3.5

4.3.6 布告牌（billboard）

4.4消隐

4.4.pan>投影变换的二义性

4.4.2背面剔除

4.4.3消隐算法

4.5案例

4.5.pan>使用光滑着色模式绘制三角形

4.5.2深度缓存测试

/span>

5光照与纹理

5.pan>图形渲染流程概述

5.1.pan>模型、视图与投影变换

5.1.2光栅化

5.1.3着色

5.2光源

5.2.pan>光源属性

5.2.2光与场景对象的交互

5.3简单光照模型

5.4阴影

5.5纹理算法

5.5.pan>图像纹理

5.5.2扰动纹理

5.6案例

5.6.pan>绘制光照球体

5.6.2移动光源

5.6.3材质属性

5.6.4 Unity3D光照系统.

5.6.5时序WebVR光照材质设置

/span>

6动画与交互

6.pan>计算机动画概述

6.2基于关键帧的动画

6.2.pan>关键帧动画基本方法

6.2.2关键帧动画应用

6.3基于物理的动画

6.3.pan>粒子

6.3.2刚体运动

6.3.3柔性体

6.4基于运动学的机构动画

6.4.pan>正向运动学

6.4.2逆运动学…

6.5案例…

6.5.pan>双缓存.

6.5.2 Unity3D粒子系统…

6.5.3时序WebVR动画编辑

/span>…

7VR/AR技术发展趋势与展望

7.pan>数字孪生与VR/AR

7.1.pan>数字孪生概述

7.1.2基于VR/AR的数字李生系统与关键技术

7.2 5G与VR/AR融合

7.2.pan>海量数据的低延时传输·

7.2.2物联网的高密度互联互通

7.2.3面向云的VR/AR

7.3 AI与VR/AR深度融合

7.3.1 AI辅助下的VR/AR

7.3.2VR/AR构建智能助手

参考文献…

虚拟现实（Virtual Reality，VR）技术是20世纪末发展起来的一门综合技术，它提供了一种基于可计算信息的沉浸式交互环境。在该虚拟环境中，用户借助必要的辅助设备就能够以自然的方式与虚拟环境内的其他各种对行交互作用、相互影响，从而使用户产生身临其境的感受和体验。随着多种软、硬件技术的突破，虚拟现实技术（VR）和增强现实技术（AR）与数字李生、人工智能、5G技术相融合，在我们生活中的应用越来越广泛，在军事、、医学、设计、影视娱乐、科学计算可视化、建筑设计漫游、产品设计以及教育、培训等领域都起着越来越广泛的重要作用。可以预测，虚拟现实技术未来必将给人们的生活、学作带来更多的新概念、新内容、新方式和新方法。

本书力争概念清晰、要点突出、说明细致透彻，在介绍虚拟现实技术相关知识的基础上，着重从理论联系实际的角度出发，讲解虚拟现实的原理和开发应用中常用的技术，同时结合当前5G、数字李生、智能制造和AI技术，介绍虚拟现实与这些前沿技术的融合。

在实验案例中，本书通过分别列举OpenGL、Unity3D和WebGL的应用实验，帮助读者从不同层面深入浅出地全面了解虚拟现实底层原理和应用技术。

本书知识新颖实用、内容丰富，适合作为高等院校计算机科学与技术、数字媒体技术、机械制造、自动化及相关专业的本科生或研究生教材，也可作为相关行业设计与研发人员的参考用书。

本书由南京工程学院杨庆、陈钧任主编，上海交通大学武殿梁、澳门科技大学彭程任副主编，南京工程学院丁宇辰参加编写。其中，第pan>章由杨庆、武殿梁编写，第2章由陈钧、彭程编写，第3章由陈钧、丁宇辰编写，第4章至第7章由杨庆、陈钧共同编写。

由于编者所限，加之虚拟现实与增强现实技术发展速度迅猛，书中难免会有疏漏和不妥之处，敬请广大读者批评指正。

pan>虚拟现实技术概论

虚拟现实是一种沉浸式、互动式体验，括人的感官体验，括人的认知体验，是基于三维数字的可视化人机交互接口技术。

虚拟现实是一项综合集成技术，它用计算机生成逼真的三维视、听、嗅等感觉，使人作为参与者通过适当装置，自然地对虚拟世行体验并感受其交互作用。使用行位置移动时，电脑可以立行复杂的运算，将的3D世界影像传回使用户产生临场感。该技术集成了计算机图形（CG）技术、计算机技术、人工智能、传感技术、显示技术、网络并行处理等技术的新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。

概括地说，虚拟现实是人们通过计算机对复杂数行可视化操作与交互的一种方式，与传统的人机界面及流行的视窗，虚拟现实在技术思想上有了质的飞跃。

虚拟现实中的“现定”旦北左物田音y武动能音义上存在干世界中的任何事物或环境，它可以是实际上可实现的，也可以是实际上难以实现的。而“虚拟”是指用计算机生成的意思。因此，虚拟现实是指用计算机生成的一种特殊环境，人可以通过使用各种特殊装置将自己“投射”到这个环境中，并操作、控制环境，实现特殊的目的，即人是这种环境的主宰。

1.pan>虚拟现实的概念与发展历史

虚拟现实在今天来说并不是新概念，在游戏、电影等领域被广泛应用，被普遍认为是可看到立体图像的，是一种的可视化人机接口。

1.1.1 定义

虚拟现实（Virtual Reality,VR）也称虚拟技术、虚拟环境,早期译为“灵境技术”。

VR的术语起源可追溯到德国哲学家康德提到的“Reality”，现代意义的VR术语则是由Jaron Lanier在20世纪80年代提出。从字面上看，虚拟现实的词本身就是矛盾的，奥卢大学的Steven M.LaValle于2019出版的专著《Virtual Reality》,指出VR系统会使人保持一种知觉上的错觉，应该从人的心理、感知和认知角度来定义。在本书中，我们倾向于将虚拟现实定义为利用数字化技术模拟产生三维虚拟世界，并使用立体显示设备和三维交互装置，提供用户视觉、力觉等多感官的模拟，让用户沉浸在所营造的虚拟场景中，并与之互动的技术。

增强现实（Augmented Reality,AR),AR术语早由波音公司 TomCaudell 在1990年使用。增强现实可定义为融合了现实世界场景和虚拟模型或信息，且现实世界中的物体被计算机生成的信息所增强，可实现一种与现实世界环境的互动体验技术。

值得注意的是，对虚拟现实和增强现实目前还没有普遍接受的定义，目前虚实融合领域还出现了新的概念，比如混合现实（Mixed Reality,MR）、扩展现实(eXtended Reality,XR）等。如何区分VR、AR和MR技术，1994年P.Milgram等给出了虚拟-现实界限，如图1-pan>所示图上可以清楚区分。

在图1-pan>中添加一个数轴，虚拟环境和现实环境分别位于一条数轴的两端，越pan>越趋向于物理世界（现实环境），场亲中物理世界的要素越多，虚拟要素越少。反之，越0，则趋向于虚拟世界，场景中虚拟对象的比例就越多。

因此，通过与虚拟世界和真实世界的距离大小来定性度量虚拟和现实的混合方式，比如某系统更加“虚拟化”些。人通常更多感知的是物理世界，在体验数字化过程中，“增强”根据虚拟世界和物理世界的程度，分为增强虚拟（Augmented Virtuality，AV）和增强现实（AR）。AV将真实讯息加入在虚拟环境里，例如电玩游戏时可透过游戏手把感应重力，并且将现实中才有的重力特性加入游戏中，用来调整、控制赛车的方向。AR则是将虚拟对象和信息添加到物理世界中，扩展了物理世界。将物理世界和虚拟世界混合在一起，统称为混合现实（MR），这是几年提出的名称，在本书中不特意强调AR和MR的区别，都统一归为AR。

1.1.2 VR/AR的特点

1.1.2.1 VR特点——“3I”

虚拟现实环境是由计算机生成的三维虚拟环境，人如果融入系统中，就强调系统具有沉浸感、逼真性，即要求有高的真实感、自然的交互方式，又要满足实时性的交互要求。因此虚拟现实可结为有三个“I”特点（分别为英文Immersion、Interaction、Imagination的三个首字母），如图1-2所示。