详解虚拟现实与科学计算可视化的结合

90年代初，从图形学方向上派生出虚拟现实和科学计算可视化这两个新的研究领域，目前，已经成为计算机界广泛关注的热点。虚拟现实技术和科学计算可视化可以说是新兴的交叉学科，它们涉及了计算机图形学（主要是三维立体图形）、图象处理、计算机辅助设计、计算机视觉和人机交互技术，以及相关的人工智能等多个领域。随着计算机技术的迅猛发展，它们的应用也越来越广泛，不仅在军事、娱乐行业，而且在商业、CAD/CAM、生物医学、GIS等领域也得到了广泛应用。而科学计算可视化在医学、地质勘探、气象预报、分子生物学、核科学等领域的应用也已引起人们的高度重视。

 虚拟现实

1 虚拟现实及特征
虚拟现实（Virtual Reality）可在计算机中构造出一个形象逼真的模型，从而生成一种具有三维世界效果的模拟环境（如飞机驾驶舱、操作现场等）。同时还可以通过各种传感设备，使用户“投入”到该环境中，实现用户与该环境进行直接交互操作，并产生与现实世界中相同的反馈信息，使人们得到与在现实世界中同样的感受。它实际上就是一种先进的人机接口，为用户同时提供诸如视、听、触等各种直观而又自然的实时感知交互手段，最大限度地方便用户的操作。当人们需要构造当前不存在的环境和人类不可能到达的环境或构造虚拟环境以代替耗资巨大的现实环境时，虚拟现实技术是必不可少的。
虚拟现实技术具有以下4个重要特征：
（1）多感知性（Multi-Sensory）：就是说，除了一般计算机技术所具有的视觉感知外，还有听觉感知、力觉感知、触觉感知、运动感知，甚至还应该包括味觉感知、嗅觉感知；
（2）存在感（Presence）：又称临场感（Immersion），是指用户感到作为主角存在于模拟环境中的真实程度；
（3）交互性（Interaction）：指用户对模拟环境内物体的可操作程度和从环境中得到反馈信息的自然程度（包括实时性）；
（4）自主性（Autonomy）：指虚拟环境中的物体依据物理定律动作的程度。
根据虚拟现实的概念和技术上的特征，可以用系统的存在感、交互性和自主性来评价虚拟现实系统的性能，它们的值越大，表示系统的性能越好。
2 虚拟现实基本系统的组成
一个基本的虚拟现实系统的组成如图所示。

虚拟现实系统的基本组成

（1）效果产生器是完成人与虚拟境界交互的硬件接口装置，包括能产生沉浸感受的各类输出装置，以及能测定视线方向和手指动作的输入装置。
（2）实景仿真器是虚拟现实系统的核心部分，由计算机软、硬件系统，软件开发工具及配套硬件（如图形加速卡和声卡等）组成，接受（发出）效果产生器所产生（接受）的信号。
（3）应用系统是面向具体问题的软件部分，用以描述仿真的具体内容，包括仿真的动态逻辑、结构以及仿真对象之间和仿真对象与用户之间的交互关系。应用软件的内容直接取决于虚拟现实系统的应用目的。
（4）几何构造系统提供了描述仿真对象的物理特性（外形、颜色、位置）的信息，然后，虚拟现实系统中的应用系统在生成虚拟境界时，要使用和处理这些信息。
在这些组成部分中，下面3个环节最重要：①具有立体效果的显示器。该显示器将产生一个以使用者头部位置为视点的虚拟世界；②计算和产生虚拟世界的高性能计算机图形系统；③三维输入设备。使用者通过输入设备与系统交互。
3 虚拟现实系统的速度问题
虚拟现实技术的应用所面临的一个主要问题是系统的速度问题。为了使虚拟环境具有实时效果，其最基本的要求是：（1）系统必须在0.1s或更短的时间内对使用者的输入作出反应，这样才能让使用者对虚拟环境进行有效的控制。（2）为了获得连续的视觉效果，显示器上的画面更换速率必须在10帧/s以上。目前，研究人员已提出了多种图形加速方法，在这些方法中，细节层次（Level of Detail，LOD）模型是一种主要方法。LOD模型是指对同一个场景或场景中的物体，通过具有不同细节的描述方法来得到一组模型，以供绘制时选择使用。由于虚拟现实系统特别强调真实感图形的实时生成，因而LOD模型在系统中得到了广泛应用。很多虚拟现实系统都把场景用LOD模型描述，有些虚拟现实开发工具也支持LOD特征，如虚拟现实造型语言VRML中就包括对LOD描述的支撑。
 

科学计算可视化

1 什么是科学计算可视化
科学计算可视化的形成是当代科学技术飞速发展的结果。进入80年代以后，超级计算机的仿真计算数据、卫星发回的地球资源信息数据、军事侦察数据、气象数据、海洋和地壳板块及地震监测数据、医学扫描图象数据等海量数据的产生与不能有效地解释这些数据的矛盾日益尖锐，因而迫切要求提供一种能处理和解释这些海量数据的技术，而科学计算可视化技术则就首先是为了高效地处理科学数据和解释科学数据而提出，并形成的；其次，科学计算可视化丰富了信息交流手段，即科学家之间的信息交流不再局限于采用文字和语言，而是可直接采用图形、图象、动画等可视信息。科学计算可视化技术所提供的交互视觉计算与即时视觉反馈技术，使科学家能够对中间计算结果进行解释，以便及时发现非正常现象与错误，从而达到驾驭（动态调整）计算过程的目的。

那么，什么是科学计算可视化呢？它指的是，运用计算机图形学和图象处理技术，将科学计算过程中产生的数据及计算结果转换为图形或图象，并在屏幕上显示出来等一系列进行交互处理的理论、方法和技术。它使往日冗繁、枯燥的数据变成生动、直观的图形或图象。这些图形、图象能够帮助人们理解原本以复杂的数字表达方式所表示的科学概念及结果，例如，分子模型的数字表示，地理及天文观测中的记录数据等。随着技术的发展，科学计算可视化的含义已经大大扩展，它不仅包括科学计算数据的可视化，而且包括工程计算数据的可视化，如有限元分析的结果等，同时也包括测量数据的可视化，如用于医疗领域的计算机断层扫描（CT）数据及核磁共振（MRI）数据的可视化，就是可视化领域中最为活跃的研究领域。可以说，科学计算可视化是当今最先进的科学计算工具之一。
一般，科学计算可视化可在3个层次上实现，其对应于后处理（Postprocessing）、跟踪（Tracking）和驾驭（Steering）3种处理方式，其中，后处理把计算结果的可视化分成两个阶段进行，两者之间不能发生交互作用；跟踪处理则要求实时地显示计算中产生的结果，以促使研究人员能了解当前的情况，在发现错误或认为已无必要继续往下计算时，可停止当前计算，并开始一个新的计算；驾驭则不仅能使研究人员实时地观察到当前计算的状态，而且能对计算进行实时干预，如增加或减少网格点、修改某些网格中的参数等，并使计算继续进行下去。目前使用最普遍的是后处理方式，但由于硬件性能的提高，其它两种方式也逐渐得到人们的重视。
2 可视化的实时要求
一些可视化应用只涉及到二维平面，每个二维平面点只有一个唯一的数值。对于这样的情况，一幅画面就可较好地反映这些数值。但是在许多可视化应用中（尤其是在现代工程仿真中）所涉及的常常是三维立体空间，因此可视化研究也多针对三维立体空间，由于在该三维立体空间中的每一点上都包含许多数据，并且这些数据是随着时间不断变化的（例如向量场中的流线），因此人们对这些数据的变化信息有时比对数据本身更感兴趣。由于三维空间情况的复杂性，因此人们一直希望能进行实时交互可视化，然而由于大量的数据和可视化处理所需的复杂计算，使得实时交互可视化变得非常困难。
以流体动力学场计算的可视化为例。一般对流体动力学场的计算产生5个参数，即速度的3个分量（三维空间）以及压力和能量。由于在一定时间内的几百甚至几千个步骤中，每一步都要计算几百万个点（在每一点上计算上述5个参数），而且在每一步，每一点的位置都要明确给定。这进一步增加了数据量，尤其是在仿真系统中，当这些点随着时间运动时所涉及的数据量会更大。为达到可视化的目的，还要产生流线，且每产生一条流线都需要几百个高精度的积分运算。若要产生几百条流线，其计算量是可想而知的。另外，如此大的数据量在磁盘上的存取，也给实时操作提出了很高的要求。
那么如何满足可视化的实时要求呢？虽然计算机硬件技术的进步（如处理器及磁盘速度的提高以及存储容量的增加）可以部分缓解上述的困难，但是在实时可视化中出现的新问题却要快于硬件技术的进步。例如在流体动力学场计算的可视化中，目前新出现的技术还要应用化学和空气结构动力学的理论。这无疑会大大增加需处理的数据量。
如何满足可视化的实时要求并没有一个一般的规则，有时通过对数据的提前计算；有时通过合理的数据管理来提高速度。具体地说，应从以下几个方面考虑：
（1）计算体系  即是选择标量、向量，还是并行的计算体系；
（2）选择合适的算法  一般来说，算法的速度和精度是一对矛盾。有时为了提高速度可以牺牲一些精度；
（3）选择合适的数据表达形式  为便于计算，有时需要对数据进行提前计算；
（4）认真地进行代码优化；
（5）数据管理  大量的数据需要大量的存储空间，为了有效地存储数据，往往需要对数据进行压缩及选择最优的数据结构。

在这当中，多分辨率模型，结合前面提到的LOD模型的数据压缩方法是最主要的一种方法。多分辨率模型是指一种紧凑的模型表示方法，从这个表示中可以生成任意多个不同分辨率的模型。它在使用时，充分考虑到人们对图象的视觉效果，当物体离视点的距离较远时，就可以使用较粗的LOD模型，反之则使用较细的细节层次模型；当场景中的物体处于运动状态时，物体也可以使用较粗的LOD模型描述，而当物体处于静止状态时，则使用较细的LOD模型。如在科学计算可视化中的等值面抽取算法中，它产生由大量三角面片组成的三角形网格，若要对这样的网格进行交互式考察，一种有效的方法就是使用多边形网格简化技术，以生成不同的LOD模型，然后根据不同的需要进行选用（例如在物体旋转时，可使用粗LOD模型）。另外，在地形可视化应用中，地形网格中的面片数目很大，也常使用多分辨率模型来描述地形数据。

虚拟现实与科学计算可视化的结合

科学计算可视化中，数据的可视化显示往往需要包含多维数据信息的复杂三维结构，而虚拟现实显示器则借助大量的空间位置及深度数据来实现对这些结构的显示。虚拟现实技术与科学可视化有着天然的联系，因为科学可视化需要用虚拟现实技术来实现，反过来又促进了虚拟现实技术的发展。目前已有的用虚拟现实技术实现科学可视化系统的例子，除了分子模型及地理天文系统外，还有虚拟风洞、扫描隧道显微镜及医学可视化系统等。科学计算可视化与虚拟现实技术不仅联系紧密，而且在大部分科学可视化的虚拟现实系统中都需要一个实时的交互能力。从已有的应用中，可以看出科学计算可视化与虚拟环境技术相结合已进一步拓宽了应用领域。

多学科CAE数据VR可视化（左侧轮毂应力云图，右侧车尾流线）

上面我们讨论了科学可视化系统的实时要求。科学可视化系统的另一个主要要求是要具有一个三维的、友好的人机界面，即这个界面应该使用方法比较自然，而给使用者的限制尽量少，并能提供真实的三维显示。虚拟现实界面至少应包括显示和用户控制两部分内容。
科学可视化系统要求有高质量、高分辨率的全彩色显示器。虽然对于大多数系统，分辨率为1000×1000象素的显示器就够用了，然而科学可视化系统往往又要求有很宽的视角。虽然同时满足这些要求是比较困难的，但目前已有一些产品能较好地满足这些要求，并得到广泛使用，如基于CRT的BOOM（Binocular Omni-Oriented Monitor）显示器和基于目标屏幕的CAVE（Cave Automatic Virtual Environment）显示器等。这些产品都有较好的用户界面。
由于虚拟现实界面能够增加科学可视化在科学发现中的作用，因此虚拟现实系统需要有很强的交互能力，其中，最主要的是在三维空间中的定位能力。具体地说，应包括如下三个方面：（1）确定位置的能力；（2）确定在该位置上发生动作的能力；（3）对该位置及动作的反应能力（一般通过三维显示器）。
这里，确定位置一般是通过某种跟踪技术来跟踪使用者手的位置，而确定在某一位置发生的动作则可以借助传统的手动按钮装置。这种方法的优点是易于掌握；其缺点是跟踪装置必须持在手上，并需提供表示指令的方式。另一种确定动作的装置称手套装置，它能够根据使用者手的姿势来作出相应的反应。例如“抓”的姿势表示抓住或移动某物体，“指”的姿势表示指定某物体。
至于虚拟现实系统对使用者的交互方式，目前主要是通过高分辨率的三维显示器。当前的图形技术已比较成熟。从画点、线的基本算法到复杂的三维真实感显示技术都可供科学可视化的虚拟现实系统使用。另外，还有两种有潜力的交互方式，但目前还没有得到充分的研究和开发，其第一种是声音，因为恰当的声音也可以表示一定的数据、结果或环境；第二种是触觉，目前已有学者在进行该方面的研究。实验结果表明，触感及力度均可以表示数据及科学结果。目前在这一方面的研究已经取得了进展，并得到了应用。
在虚拟现实技术中，视觉无疑是最主要和最常用的交互手段。在计算机中构造出虚拟模型以后，如计算机的软硬件性能足够强，那么，该虚拟模型在屏幕上的图象就会随着观察者眼睛位置的变化而变化，因为这时虚拟模型的观察点是在观察者的眼睛上。这样，观察者就可以得到与在真实世界中同样的感受。随着图象的变化，再配以适当的音响效果，就可以使人们有身临其境的感受。
但是，当人们希望用手来触摸虚拟模型，或用手直接对虚拟模型进行操作时，只是视觉和听觉就无能为力了，因而需要研制和开发具有触觉功能的交互手段，也就是具有“力反馈”功能的装置。多年来，这一直是人们追求的目标。前几年，已经出现了震动型操纵杆等力反馈装置，但效果并不理想，也未得到广泛应用。最近，美国麻省Sens Able Technologies公司研制开发的具有力反馈的三维交互设备PHAN To M及其配套的软件开发工具GHOST，其性能良好，已获得了用户好评。PHAN To M系统是一个类似于小型机械手的装置，对于三维虚拟模型或数据具有定位功能，就如同二维鼠标对二维图象具有指示和定位功能一样。当PHAN To M的机械臂在工作空间中运动时，就会在计算机屏幕上出现一个指示针，反映机械臂在工作空间中的位置。通过碰撞检测等技术探测到指示针与虚拟模型接触时，计算机会发出信号，告诉机械臂接触到了虚拟模型，并将该模型的物理性质，如质量、软硬程度、光滑程度等反馈给PHAN To M系统，再由该系统产生相应的力传递给操作者，使其具有力的感受，从而实现了力反馈。这种具有力反馈的人机交互设备开辟了多种可能的应用领域，例如产品设计和制造、医疗领域的应用、基于触觉的计算机动画以及基于触觉的三维模型的概念设计等。
这同时向我们提出了挑战，即为了实现上述这些功能，必须要将目前的几何造型扩展到物理造型，即不仅要在计算机内描述模型的几何数据及拓扑关系，而且要描述模型的物理属性，也就是说不仅要给出模型是刚体、塑性体，还是弹性体，还要给出模型的质量、转动惯量以及模型表面的光滑程度等，否则，就不能体现出具有触觉的交互方式的巨大作用。这给造型技术提出了崭新的要求，但也是实现高水平的虚拟现实所必须迈出的一步。

更多产品了解

欢迎扫码加入云巴巴企业数字化交流服务群

产品交流、问题咨询、专业测评

都在这里！