Home 百家论坛 桌面式虚拟现实系统技术与前沿应用

桌面式虚拟现实系统技术与前沿应用

by admin

2014年3月26日,美国社交网络平台Facebook宣布,斥资20亿美元收购沉浸式虚拟现实技术公司Oculus VR,直到如今Facebook、谷歌、三星、微软、索尼等巨头纷纷将目光放在了虚拟现实行业,Oculus Rift、微软Hololens、三星Gear VR、HTC Vive等众多虚拟现实设备面世,使得“虚拟现实”这个科技名词终于落地生根。VR甚至被认为是下一个万亿级的市场,成为研究所和高校研究的热点。

技术分类与特征

虚拟现实是近年来出现的高新技术,也称灵境技术或人工环境。虚拟现实技术是创建和体验虚拟世界的计算机仿真系统技术。也就是说,VR利用多源信息融合的交互式三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。

概括地说,虚拟现实是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式,与传统的人机界面以及流行的视窗操作相比,虚拟现实在技术思想上有了质的飞跃。虚拟现实中的“现实”泛指在物理意义上或功能意义上存在于世界上的任何事物或环境,它可以是实际上可实现的,也可以是实际上难以实现的或根本无法实现的。而“虚拟”是指用计算机生成的可交互的三维环境成为虚拟环境(VE)。因此,虚拟现实是指用计算机生成的一种特殊环境,人可以通过使用各种特殊装置将自己“投射”到这个环境中,并操作、控制环境,实现特殊的目的。

VR系统一般包括用户控制系统,如人体运动监测、控制杆、键盘、鼠标等控制设备和视觉、听觉、触觉、嗅觉、味觉等人类感觉方面的仿真反馈系统、处理系统,以及人类感知的信息显示系统,即显示器、音响、三维座椅等。其中,视觉、听觉的控制和仿真是目前VR较为主要的发展方向。

目前,虚拟现实系统根据用户参与形式的不同一般分为:沉浸式、桌面式、分布式、增强式以及混合式。虚拟现实是近年来出现的高新技术,也称灵境技术或人工环境。虚拟现实技术是创建和体验虚拟世界的计算机仿真系统技术。也就是说,VR利用多源信息融合的交互式三维动态视景和实体行为的系统仿真,使用户沉浸到该环境中。

概括地说,虚拟现实是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式,与传统的人机界面以及流行的视窗操作相比,虚拟现实在技术思想上有了质的飞跃。虚拟现实中的“现实”泛指在物理意义上或功能意义上存在于世界上的任何事物或环境,它可以是实际上可实现的,也可以是实际上难以实现的或根本无法实现的。而“虚拟”是指用计算机生成的可交互的三维环境成为虚拟环境(VE)。因此,虚拟现实是指用计算机生成的一种特殊环境,人可以通过使用各种特殊装置将自己“投射”到这个环境中,并操作、控制环境,实现特殊的目的。

VR系统一般包括用户控制系统,如人体运动监测、控制杆、键盘、鼠标等控制设备和视觉、听觉、触觉、嗅觉、味觉等人类感觉方面的仿真反馈系统、处理系统,以及人类感知的信息显示系统,即显示器、音响、三维座椅等。其中,视觉、听觉的控制和仿真是目前VR较为主要的发展方向。

目前,虚拟现实系统根据用户参与形式的不同一般分为:沉浸式、桌面式、分布式、增强式以及混合式。

 

沉浸式虚拟现实系统

沉浸型虚拟现实系统提供完全沉浸的体验,通常利用头盔式显示器或其他设备,把参与者的视觉、听觉和其他感觉封闭起来,提供一个新的、虚拟的空间,并利用位置追踪器、数据手套、其他受控输入设备、声音等使参与者产生一种身临其境、全心投入和沉浸在虚拟空间的感觉。例如,在消防仿真演习系统中,消防员会沉浸于极度真实的火灾场景并做出不同的反应。这种系统的优点是用户可完全沉浸在虚拟世界中去,帮助消防人员掌握职业技能,缺点是系统价格高,难以大规模普及推广。

 

桌面式虚拟现实系统

桌面虚拟现实系统利用个人计算机和低级的工作站进行仿真,将计算机的屏幕作为用户观察虚拟界面的一个窗口。通过各种输入设备和虚拟现实世界进行交互,这些设备包括了立体眼镜、3D控制器、追踪球、力矩球等。它要求参与者使用输入设备,通过计算机屏幕观察虚拟空间,并操控其中的物体实现交互,但参与者缺少完全的沉浸,易受到外界环境的影响。桌面显示系统最大的特点是结构简单、价格低廉、易于普及推广,但最大的缺点是缺乏完全沉浸式的用户体验。

 

分布式虚拟现实系统

分布式虚拟现实系统是一种基于网络连接的虚拟现实系统,它是多个用户通过计算机网络连接在一起,同时参加一个虚拟空间,共同体验虚拟经历。在分布式虚拟现实系统中,多个用户可以通过网络对同一虚拟空间进行观察和操作,以达到协同工作的目的。比如,异地的医科医生可以通过网络,对虚拟手术室中的病人进行外科手术等。

 

增强式虚拟现实系统

增强式虚拟现实系统允许用户对现实世界进行观察的同时,将虚拟图像叠加在真实的物理对象之上,为用户提供所能看到的与真实环境有关的、存储在计算机中的信息,从而增强用户对真实环境的感受,又被称为叠加式或补充现实式虚拟现实系统。增强现实技术(AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。从本质上来说,AR是数字媒体和真实世界之间的交互。

 

混合现实系统

AR的成像理念与VR沉浸式的成像体验打造出了一种以全息投影现实为主的混合虚拟现实技术,即混合现实技术(Mix reality,简称MR)。在今年6月举行的微软开发者峰会上,微软首席执行官萨提亚·纳德拉向人们强调了对其混合虚拟现实技术设备——Hololens的正确“打开”方式,这既不是VR头盔,也不是AR眼镜,这种混合虚拟现实设备是将计算机生成的3D虚拟物体全息投射到现实空间中,Hololens的佩戴者可以在现实空间中与3D虚拟动画进行交互式操作,并触发相应功能。这类MR设备的成像原理并不同于沉浸式的VR设备,它是将虚拟画面投射到真实空间中,但所投射的全息3D图像,其成像效果突破了虚拟与现实世界的界限。

1993年,Burdea G在Electro93国际会议上发表的“Virtual Reality System and Application”(《虚拟现实系统与应用》)一文中,提出了虚拟现实技术三大特性。即三“I”特征:Immersion(沉浸)、Interaction(交互)、 Imagination(构想),如图1所示。


Immersion(沉浸)是指用户可以沉浸于计算机生成的虚拟环境中,使用户投入到由计算机生成的虚拟场景中的能力,用户在虚拟场景中有“身临其境”之感。他所看到的、听到的、嗅到的、触摸到的,完全与真实环境中感受到的一样。它是VR系统的核心。

Interaction(交互)是指用户与虚拟场景中各种对象相互作用的能力。它是人机和谐的关键性因素。用户进入虚拟环境后,通过多种传感器与多维化信息的环境发生交互作用,用户可以进行必要的操作,虚拟环境中做出的相应响应,亦与真实的一样,如拿起虚拟环境中的一个篮球,你可以感受到球的重量,扔在地上还可以弹跳。交互性包含对象的可操作程度及用户从环境中得到反馈的自然程度、虚拟场景中对象依据物理学定律运动的程度等。VR是自主参考系,即以用户的视点变化进行虚拟交换。

Imagination(构想)是指通过用户沉浸在“真实的”虚拟环境中,与虚拟环境进行各种交互作用,从定性和定量综合集成的环境中得到感性和理性的认识,从而可以深化概念,萌发新意,产生认识上的飞跃。因此,虚拟现实不仅仅是一个用户与终端的接口,而且可使用户沉浸于此环境中获取新的知识,提高感性和理性认识,从而产生新的构思,因而可以说,VR是启发人的创造性思维的活动。因此,与过去只能在计算机旁等待计算机的处理结果,只能用键盘和鼠标与计算机发生交互作用,只能从一些数值结果得到某些启发相比,虚拟现实技术提供了一个十分理想的人机界面。

 

国外企业研究进展

2015年,美国虚拟现实在线视频服务公司小星(LittlStar)推出虚拟现实视频和360度全景视频服务。用户可通过苹果机顶盒(Apple TV)和三星虚拟现实设备Gear VR播放360度全景视频。2015年6月,全球最大在线视频网站公司YouTube宣布支持虚拟现实设备Google Cardboard,用户可通过智能手机体验360度全景视频效果。2015年11月,YouTube又推出3D视频服务,该服务不仅支持Google Cardboard,还可提供虚拟现实视频带来的沉浸式体验。YouTube公司还聘请了虚拟现实创业公司Jaunt VR的副总裁作为其“虚拟现实全球布道者”,表明其业务重心将转移到虚拟现实内容分发方向。

2016年2月,扎克伯格现身三星产品发布会,宣布Facebook与三星合作建立新团队,并将投入VR视频的创作。扎克伯格认为,虚拟现实将成为下一个重要社交平台,人们利用虚拟现实技术可以做任何事情,如随时随地与朋友坐在虚拟篝火前野营,或在虚拟环境中随时举行会议等。Facebook将专门为虚拟现实设备开发下一代社交应用,并致力于将其建设成未来最好的虚拟现实社交平台,向用户提供最新社交体验。

虽然建设内容分发平台的进展不大,但是体验店、游乐园等形式的虚拟现实体验活动发展态势良好,美国The Void公司在犹他州建成了虚拟现实游乐园,2016年将正式对外开放。

虚拟现实系统的功能主要由两部分组成:一是创建虚拟世界,二是人与虚拟世界之间的人机交互操作。与虚拟世界交互的过程大致为:首先参与者通过头盔、手套和话筒等输入设备为计算机提供输入信号;虚拟现实系统处理软件收到由输入设备送来的输入信号加以解析,然后对虚拟环境数据库做出必要的更新,调整当前的虚拟环境场景;最后将新视点下的三维场景以及其他(如声音、触觉、反馈等)信息立即传输给输出设备(头盔显示器、耳机等)。

 

虚拟世界生成设备

虚拟世界生成设备用来处理和产生虚拟世界,是虚拟现实系统的核心,可以是一台或者多台的高性能计算机。其主要任务为:数据处理、数据输出、虚拟世界视图的管理和生成。

感知设备

感知设备是将虚拟世界各类感知模型转换为人能接受的多通道信号(如视觉、听觉、触觉、嗅觉和味觉等)的设备,目前,支持视觉、听觉和力觉三种通道的技术相对成熟,其相应的感知设备分别为立体宽视场图形显示器、三维真实感声音播放设备、触觉(力觉)反馈装置。

跟踪设备

跟踪设备是跟踪并检测位置和方位的装置,用于虚拟现实系统中基于自然方式的人机交互操作。发射器安装在虚拟现实系统中某个固定位置,接收器安装在被跟踪的部位,如安装在头部,通常用来跟踪视线方向,若安装在手部,通常用来跟踪交互设备数据手套的位置及朝向。

人机交互设备

应用手势、体势、眼神以及自然语言的人机交互设备,常见的有数据手套、数据衣(带传感器的衣服)、眼球追踪器以及语音综合和识别装置、显示器和声音发生器。
虚拟现实软件系统包括用户构建虚拟模拟环境、识别用户行为并实时响应用户行为。目前,虚拟现实整合软件及平台主要有Virtools、Quest3D、Unity3D以及VRP等。这些平台上拥有应用性极强的一系列软件,已被广泛应用于院校教育、旅游教学、工业仿真、应急救援、展览展示、地产营销、家装设计、军事仿真、交互艺术等众多领域,为各行业提供切实可行的解决方案。

 

关键技术与前沿应用

VR是一项综合集成技术,涉及计算机图形学、仿真技术、人机交互技术、传感技术、人工智能、显示技术、网络并行处理等技术,它用计算机生成逼真的三维视、听、嗅觉等感觉,使人作为参与者,通过适当装置,自然地对虚拟世界进行体验和交互作用。使用者进行位置移动时,电脑可以立即进行复杂的运算,将精确的3D世界影像传回产生临场感。现有虚拟现实系统的关键技术分别为:

实时三维图形生成技术

三维图形的生成技术已经较为成熟,其关键是如何实现“实时”生成。为了达到实时的目的,至少要保证图形的刷新率不低于15帧/秒,最好是高于30帧/秒。在不降低图形的质量和复杂度的前提下,如何提高刷新频率将是该技术的研究内容。

广角(宽视野)的立体显示

双目立体视觉在立体显示上起了很大作用,用户的两只眼睛看到的不同图像是分别产生的,显示在不同的显示器上。有的系统采用单个显示器,但用户带上特殊的眼镜后,一只眼睛只能看到奇数帧图像,另一只眼睛只能看到偶数帧图像,奇、偶帧之间的不同也就是视差就产生了立体感。

用户的跟踪

在人造环境中,每个物体相对于系统的坐标系都有一个位置与姿态,而用户也是如此。用户看到的景象是由用户的位置和头(眼)的方向来确定的。

触觉与力觉反馈

在一个VR系统中,用户可以看到一个虚拟的杯子。你可以设法去抓住它,但是你的手没有真正接触杯子的感觉,并有可能穿过虚拟杯子的“表面”,而这在现实生活中是不可能的。解决这一问题的常用装置是在手套内层安装一些可以振动的触点来模拟触觉。

语音识别技术

在VR系统中,语音的输入输出也很重要。这就要求虚拟环境能听懂人的语言,并能与人实时交互。而让计算机识别人的语音是相当困难的,因为语音信号和自然语言信号有其“多边性”和复杂性。例如,连续语音中词与词之间没有明显的停顿,同一词、同一字的发音受前后词、字的影响,不仅不同人说同一词会有所不同,就是同一人发音也会受到心理、生理和环境的影响而有所不同。使用人的自然语言作为计算机输入目前有两个问题,首先是效率问题,为便于计算机理解,输入的语音可能会相当啰嗦。其次是正确性问题,计算机理解语音的方法是对比匹配,而没有人的智能。

手势识别技术

通过数据手套(Dataglove)或者深度图像传感器(如leapmotion、Kinect等)来精确测量出手的位置和形状,由此实现环境中的虚拟手对虚拟物体的操纵。数据手套通过手指上的弯曲、扭曲传感器和手掌上的弯度、弧度传感器,确定手及关节的位置和方向,而基于深度传感器的手势识别则通过深度传感器获得的深度图像信息进行计算,进而获得掌、手指等部分的弯曲角度等数据。

动态环境建模技术

虚拟环境的建立是虚拟现实技术的核心内容。动态环境建模技术的目的是获取实际环境的三维数据,并根据应用的需要,利用获取的三维数据建立相应的虚拟环境模型。三维数据的获取可以采用CAD技术(有规则的环境),而更多的环境则需要采用非接触式的视觉建模技术,两者的有机结合可以有效地提高数据获取的效率。

应用系统开发工具

虚拟现实应用的关键是寻找合适的场合和对象,即如何发挥想象力和创造力。选择适当的应用对象可以大幅度地提高生产效率、减轻劳动强度、提高产品开发质量。为了达到这一目的,必须研究虚拟现实的开发工具。例如,虚拟现实系统开发平台、分布式虚拟现实技术等。

虚拟现实技术可用于多个领域,包括医学、娱乐、军事航天、室内设计等,并为城市规划、室内设计、工业仿真、古迹复原、桥梁道路设计、房地产销售、旅游教学、水利电力、地质灾害、教育培训等众多领域提供切实可行的解决方案。

军事:虚拟现实将在武器系统性能评价、武器操纵训练及指挥大规模军事演习三方面发挥重大作用。

航天航空:美国宇航局是虚拟现实最早的研究单位和应用者。宇宙飞船及各类航空器是需耗费巨资的现代化工具,而进入宇宙有大量未知、危险的因素,因而模拟各种航空器可能遇到的环境,不仅可节省大量费用,而且是十分必要的。虚拟风洞就是一例。

计算机辅助设计:各种工业产品、建筑物均需反复构思和设计,但往往用户仍不满意。美国波音公司Butler设计了一架称为VS-X的虚拟飞机,采用了工业动画,它可使设计人员有身临其境观察飞机外形、内部结构及布局的效果。建筑设计师可在盖楼前通过虚拟建筑物,让用户自己来观察外形和内部房间部位,也便于设计师修改设计。

外科手术和人体器官的模拟:外科医生的培训是一项投资大、时间长的工作,那么可以使用虚拟现实技术医学模拟的人体器官,让医护人员观察器官内部的构造和病因,具有极高的实验价值。

营销:利用多媒体互动系统,采用三维互动,让客户真实的体验商品,加强用户体验,实现互动营销。

科学研究和计算的可视化:各种分子结构模型、大坝应力计算的结果、地震石油勘探数据处理等,均需要三维(甚至多维)图形可视化的显示和交互浏览,虚拟现实技术为科学研究、探索微观形态等提供了形象直观的工具。

教育、游戏与其他:虚拟现实系统具有三维声像效果,能进行交互操作,可以提供有趣味性的教育环境,因而在教育领域,虚拟现实系统被投资者广泛看好,并有许多企业已经涉足该产业。

 

产业发展五大障碍

众多巨头关注虚拟现实行业, Oculus Rift、微软Hololens、三星Gear VR和HTC Vive等虚拟现实设备纷纷面世,显示了虚拟现实行业的发展前景。然而,纵观已经面世的几款产品,采用的是头戴式显示设备,用户体验不好,而且内容也略显单一,仅仅停留在游戏领域。虚拟现实市场也因此显得产业链“上游”打得火热,而“下游”产品冷清的尴尬场面,面对这种情形,我们需要更多地质疑和反思制约虚拟现实产业发展的障碍。

交互方式落后

虚拟现实设备若想真正带给参与者毫无障碍的沉浸式体验,需要一部能够完全追踪人体动作的外设来支持。然而就算你有最高级键鼠套装在手,用户体验也好不到哪里去。对于体感操控而言,很多公司想要通过光枪等装置来代替传统外设,但它所带来的输入延迟与实际效果不仅与预期相距甚远,且注定过于小众。

缺乏统一标准

作为与互联网同时期的超现实产物,早在上世纪60年代的发达国家中就已有虚拟现实的雏形。在虚拟现实设备问世早期,受限于设备体积、硬件规格和技术障碍,往往以街机的形式作为一个独立、一体、封闭的设备存在。时至今日,虚拟现实设备虽已被竭力缩小至可佩戴于头部,并被重新定义为外接设备,但随之而来的便是兼容性障碍。由于目前尚未出现领头羊来制定相关的软硬件标准,导致众多第三方厂商止步于混乱的市场现状,不敢贸然涉足。

内容匮乏

目前虚拟现实更多地与游戏和视频领域相结合,就拿游戏领域来说,游戏剧情是否精彩很大程度上就决定了这款产品是否能够在市场火爆。而如今面对的主要问题是如何创造出一款游戏性不被缩水、又具备足够的场景化支持,且能为用户营造出虚拟现实交互元素的产品?换句话说,目前的虚拟现实设备因为内容匮乏而无法吸引用户。

价格不够亲民

纵观整个虚拟现实市场,尽管以Oculus为代表的品牌正在竭力降低虚拟现实设备的硬件及研发成本,但到消费者的价格依旧略显昂贵。一旦用户普遍无法接受价格,也就注定虚拟现实设备无法普及,整个市场因此而“死气沉沉”。

行业市场混乱

回顾近年来可穿戴设备在摸索中所面临的种种境遇,“廉价化”是一种极具代表性的“趋势”,但多半也在极大程度上阻碍了行业的发展。虽然诸如Cardboard等产品的问世让很多用户体验到了虚拟现实的冰山一角,但人们很可能会因此而陷入自我满足,且不愿再付出更多来一窥全貌。难以辨别“设备”与“玩具”。由此我们也不难看出,虚拟现实在推广与科普方面仍存在很大欠缺。

相较于国外虚拟现实技术的发展,国内企业起步稍晚,但国内市场给予了国内企业巨大的发展潜力,以中视典、蚁视科技为代表的专注于虚拟现实技术研发的企业已经取得了巨大的突破,借着我国“互联网+”的春风,专注于虚拟现实技术的研发,攻克技术难题,打造更多的虚拟现实设备,虚拟现实技术将在更广的领域中大显身手。


 

免责声明:本文来源自中国工业评论,经网络转载,福建省技术市场协会整理发布,版权归原作者所有,如涉及版权,请联系删除。

相关文章

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
-
00:00
00:00
Update Required Flash plugin
-
00:00
00:00