虛擬現(xiàn)實(Virtual Reality,簡稱VR)技術是近年來最熱門的研究領域之一，有著巨大的發(fā)展?jié)摿蛷V泛的應用前景，受到各界、尤其是軍方的青睞。
虛擬現(xiàn)實是一種虛擬的沉浸式交互環(huán)境,具體地說,就是采用以計算機技術為核心的現(xiàn)代高科技生成逼真的視、聽、觸覺一體化的特定范圍的虛擬環(huán)境,用戶借助必要的設備以自然的方式與虛擬環(huán)境中的對象進行交互作用、相互影響,從而產(chǎn)生“沉浸”于等同真實環(huán)境的感受和體驗。VR帶來了人機交互的新概念、新內(nèi)容、新方式和新方法,使人機交互的內(nèi)容更加豐富、形象,方式更加自然、和諧。
手是人與外界進行物理接觸及意識表達的主要媒介。當人與計算機控制系統(tǒng)進行交互操作時,傳統(tǒng)的輸入輸出接口設備,如鍵盤、鼠標等只能限制手在桌面上或一個小區(qū)域內(nèi)進行簡單的運動控制,而表達意識的大多數(shù)手的自然運動被犧牲了,妨礙了人們對系統(tǒng)控制意識表達的全面性與靈活性。數(shù)據(jù)手套可以跟蹤操作者靈活多變的手勢及空間方位,使操作者自然而然地將自己的意識傳送至計算機。因此數(shù)據(jù)手套作為一種重要的人機交互接口,廣泛地應用于虛擬現(xiàn)實的研究領域中。
本文分析了幾種不同的數(shù)據(jù)手套性能,并進一步闡述作者在數(shù)據(jù)手套研制方面所做的工作。
虛擬現(xiàn)實簡介
1. 1 虛擬現(xiàn)實的基本構成及其分類
在虛擬的現(xiàn)實中,人們利用頭盔顯示器、圖形眼鏡、數(shù)據(jù)服、立體聲耳機、數(shù)據(jù)手套及腳踏板等多維輸入輸出設備通過傳感器裝置與計算機生成的三維虛擬環(huán)境交互作用,可獲得視覺、聽覺、觸覺等多種感知反饋,并按照自己的意愿去實時地改變虛擬環(huán)境。
虛擬現(xiàn)實系統(tǒng)構成模型如圖1所示。
虛擬現(xiàn)實系統(tǒng)中包括人件(HumanWare) 、媒體件(MediaWare) 、數(shù)據(jù)件(DataWare)和網(wǎng)絡件(NetworkWare) 4部分。
人是虛擬現(xiàn)實系統(tǒng)的“核心”,人能與虛擬世界對話,體驗虛擬世界的臨境感,人的參與使虛擬現(xiàn)實更為重要。
媒體件將從聽覺、視覺和觸覺得到的信息加以綜合,并以和諧的形式進行反饋處理。
數(shù)據(jù)件和網(wǎng)絡件是指在虛擬現(xiàn)實中需要進行雙向會話和數(shù)據(jù)交流,必須依賴面向?qū)ο蟮臄?shù)據(jù)庫和網(wǎng)絡通訊等基礎設施。
圖1 虛擬現(xiàn)實系統(tǒng)
虛擬現(xiàn)實系統(tǒng)按其功能高低大體分為4類:
一是桌面虛擬現(xiàn)實系統(tǒng),也稱窗口中的VR。它主要在臺式計算機上實現(xiàn),所以成本低,功能也最簡單,主要用于CAD、CAM、建筑設計、桌面游戲等領域。
二是沉浸虛擬現(xiàn)實系統(tǒng),如各種用途的體驗器,使人有身臨其境的感覺,各種培訓、演示以及高級游戲等用途均可用這種系統(tǒng)。
三是分布式虛擬現(xiàn)實系統(tǒng),它在因特網(wǎng)環(huán)境下,充分利用分布于各地的資源,協(xié)同開發(fā)各種虛擬現(xiàn)實的利用。它通常是沉浸虛擬現(xiàn)實系統(tǒng)的發(fā)展,也就是把分布于不同地方的沉浸虛擬現(xiàn)實系統(tǒng),通過因特網(wǎng)連接起來,共同實現(xiàn)某種用途。美國大型軍用交互仿真系統(tǒng)NPSNET以及因特網(wǎng)上多人游戲MUD便是這類系統(tǒng)。
四是增強現(xiàn)實或混合現(xiàn)實系統(tǒng)。它是把真實環(huán)境和虛擬環(huán)境結合起來的一種系統(tǒng),既可減少構成復雜真實環(huán)境的開銷,又可對實際物體進行操作,真正達到了亦真亦幻的境界,是今后的發(fā)展方向之一。
虛擬現(xiàn)實的主要特征和關鍵技術
總的來說,虛擬現(xiàn)實具備以下主要特征:
(1)投入性
投入性是虛擬現(xiàn)實最主要的技術特征。要讓用戶覺得自己是虛擬環(huán)境中的一部分,而不是旁觀者,力圖使用戶在計算機所創(chuàng)建的三維虛擬環(huán)境中處于一種“全身心投入”的狀態(tài),有身臨其境的感覺,即所謂的“沉浸感”。正是這種“沉浸感”特性使虛擬現(xiàn)實與一般的交互式三維計算機圖形有較大的不同,用戶可以暫時與現(xiàn)實環(huán)境隔離,沉浸于數(shù)據(jù)空間、從數(shù)據(jù)空間向外觀察,以更自然、更直接的方式與數(shù)據(jù)交互,從而能真實地注視數(shù)據(jù)。理想的虛擬環(huán)境應該達到使用戶難以分辨真假的程度(例如可視場景應隨著視點的變化而變化) ,甚至超越真實,如實現(xiàn)比現(xiàn)實更逼真的照明和音響效果等。
(2)交互性
交互性是人機和諧的關鍵因素。指用戶通過使用專用設備,用人類的自然技能實現(xiàn)對模擬環(huán)境的考察和操作的程度,即用戶與虛擬場景中各種對象相互作用的能力,包含對象的可操作程度及用戶從環(huán)境中得到反饋的自然程度(包括時實性) 。虛擬場景中,對象應正確地模擬物理、化學等自然界應遵守的定理。
(3)構想性
虛擬現(xiàn)實不僅僅是一個用戶與終端的接口,用戶還可以沉浸在多維信息空間中,依靠自己的感知和認知能力全方位地從環(huán)境中獲取新的知識,提高感性和理性認識,產(chǎn)生新的構想。若將構想結果再次輸入到系統(tǒng)中,處理結果可實時顯示或由感受裝置反饋給用戶,如此反復,形成一個學習—創(chuàng)造—再學習—再創(chuàng)造的過程,因而,虛擬現(xiàn)實能啟發(fā)人的創(chuàng)造性思維。伴隨網(wǎng)絡技術的發(fā)展,或許今后通過虛擬現(xiàn)實技術學習的可以是一臺機器,它具有極強的數(shù)據(jù)處理能力及認知能力,通過對虛擬現(xiàn)實環(huán)境的訪問,將獲取的知識加入自己的知識庫,并控制下一步動作。
虛擬現(xiàn)實是多種技術的綜合
其關鍵技術包括以下幾個方面:
(1)動態(tài)環(huán)境建模技術
虛擬環(huán)境的建立是虛擬現(xiàn)實技術的核心內(nèi)容。動態(tài)環(huán)境建模技術的目的是獲取實際環(huán)境的三維數(shù)據(jù),并根據(jù)應用的需要,利用獲取的三維數(shù)據(jù)建立相應的虛擬環(huán)境模型,以求有真實感。三維數(shù)據(jù)的獲取可以采用CAD 技術(有規(guī)則的環(huán)境) ,而更多的環(huán)境則需要采用非接觸式的視覺建模技術,兩者的有機結合可以有效地提高數(shù)據(jù)獲取的效率。
(2)實時三維圖形系統(tǒng)和虛擬現(xiàn)實交互技術
利用實時三維圖形系統(tǒng),可以生成有逼真感的圖形,圖像具有三維全彩色、明暗、紋理和陰影等特征。虛擬現(xiàn)實是一種交互式和先進的計算機顯示技術,雙向?qū)υ捠撬囊环N重要工作方式,為虛擬環(huán)境提供了一種新的人機接口。
(3)傳感器技術
虛擬現(xiàn)實的交互能力,例如,顯示以及拾取技術,均依賴于傳感器技術的發(fā)展。而現(xiàn)有的傳感器的精度還遠遠不能滿足系統(tǒng)的需要。例如,數(shù)據(jù)手套的專用傳感器就存在工作頻帶窄、分辨率低、作用范圍小、使用不便等缺陷,因而尋找和制作新型、高質(zhì)量的傳感器變成了該領域的首要問題。
(4)開發(fā)和系統(tǒng)集成技術工具
虛擬現(xiàn)實應用的關鍵是尋找合適的場合和對象,即如何發(fā)揮想象力和創(chuàng)造力。選擇適當?shù)膽脤ο罂梢源蠓鹊靥岣呱a(chǎn)效率、減輕勞動強度、提高產(chǎn)品開發(fā)質(zhì)量。為了達到這一目的,必須研究虛擬現(xiàn)實的開發(fā)工具。例如,虛擬現(xiàn)實系統(tǒng)開發(fā)平臺、分布式虛擬現(xiàn)實技術等。
由于虛擬現(xiàn)實中包括大量的感知信息和模型,因此系統(tǒng)的集成技術起著至關重要的作用。集成技術包括信息的同步技術、模型的標定技術、數(shù)據(jù)轉(zhuǎn)換技術、數(shù)據(jù)管理模型、識別和合成技術等等。
數(shù)據(jù)手套
2. 1 數(shù)據(jù)手套實現(xiàn)的一般基理
數(shù)據(jù)手套是虛擬現(xiàn)實系統(tǒng)的重要組成部分,是一種通用的人機接口,其直接目的在于實時獲取人手的動作姿態(tài),以便在虛擬環(huán)境中再現(xiàn)人手動作,達到理想的人機交互目的。
數(shù)據(jù)手套實現(xiàn)的關鍵在于手掌、手指及手腕的各個有效部位的彎曲、外展等測量以及在此基礎上的姿態(tài)的反演。完成反演主要取決于人體手部姿態(tài)的建模,最根本的就是,確定傳感器測量數(shù)據(jù)和手部各關節(jié)運動姿態(tài)的對應關系。
對一個具體的數(shù)據(jù)手套應用過程,可設由手部各彎角組成的向量f = ( f1 , f2 , ?, fn )與對應傳感器示數(shù)組成的向量d = ( d1 , d2 , ?, dn ) 。顯然f和d之間存在著強耦合的映射關系。數(shù)據(jù)手套的實現(xiàn)即是根據(jù)示數(shù)向量d, 找出原映射關系的逆映射,從而反演出手部各部位的姿態(tài)。
手部軟組織的存在,是人手和機械手區(qū)別的主要差異,使得人手無法和普通的剛性桿鉸鏈相比,這就加大了問題求解的復雜性。手部某一關節(jié)的運動,不僅會作用于對應的傳感器的示數(shù)發(fā)生變化,而且通過軟組織的相互作用,使其他的傳感器示數(shù)也發(fā)生變化。如果要求保證一定的精度,必須對求得的逆映射進行解耦計算。
由于數(shù)據(jù)手套的傳感器數(shù)目較多,而且響應的標定和解耦計算十分復雜,進行實時處理時困難較大,因此,目前數(shù)據(jù)手套的發(fā)展與應用只是處于初級階段,還不十分成熟。
目前各種數(shù)據(jù)手套的比較
國內(nèi)外許多研究單位和公司在數(shù)據(jù)手套的研制開發(fā)方面做了大量的工作,并推出了一些采用不同傳感器的數(shù)據(jù)手套產(chǎn)品,得到較成功的應用。下面分析幾個主要產(chǎn)品的各項性能指標。
(1) Dataglove (已注冊商標)是VPL 公司于20世紀90年代推出的最早的數(shù)據(jù)手套,以模型4(根據(jù)手套模型的自由度區(qū)分手套型號)為例說明:
X-IST DataGlove SP1 3D only (no GloveBox)
手套本體材料:氯丁二烯橡膠布。
傳感器:專利技術“光纖彎曲傳感器”。
自由度(DOF) :手指關節(jié)的彎曲和外展、大拇指的復雜動作。
空間定位:根據(jù)應用場合可選擇三維空間的單獨跟蹤、快速跟蹤或其他跟蹤系統(tǒng)。
測量精度: < 5°。
最大采樣頻率: 160 Hz。
接口: RS232,最高波特率115. 2 kbp s。
應用情況:被設計適用于VR的醫(yī)學應用,能作為功能評估、擊打損傷恢復、生物工程、運動生理等輸入設備。
評價:專利傳感器技術,結構緊湊,佩戴舒適,輕便易用;采用桌面控制模塊,能同時支持系4副手套;但是容易受用戶手尺大小影響,應用過程中需要重新校正(防止手套與手指之間滑動帶來的誤差) ,另外光纖的疲勞問題(光纖使用時間過長導致精度下降或折斷)也值得注意。
(2) Cyberglove是Virtual Technologies公司于1991年推出的。
CyberGlove II - 22 Sensors
手套本體材料:彈性纖維,可拉伸,尺寸固定。
傳感器:專利技術“壓電傳感器”。
自由度(DOF) :手指關節(jié)的彎曲和外展、大拇指、手掌彎曲、手腕的彎曲和外展。
空間定位:手腕處可安裝六自由度跟蹤器。
測量精度: 0. 5°。
最大采樣頻率: 112 Hz。
接口: RS232,最高波特率115. 2 kbp s。
應用情況:可用于是虛擬現(xiàn)實、遙控機器人、醫(yī)學、CAD、手語識別、視頻游戲、音樂生成、手功能分析等。
評價:質(zhì)地很輕,佩戴舒適,手掌處成網(wǎng)狀易于通風,指尖露出,便于用戶抓取、寫字等;專利“壓電傳感器”具有良好的線性和強健性,體型細小、柔軟,對彎曲基本無阻力,受安裝位置和手指的彎曲曲率半徑影響很小,保證傳感器準確可重復地測量手部運動,并對所有用戶校正標準一致。
(3) Dataglove是5DT公司于1995年推出的數(shù)據(jù)手套系列(以5DTDataglove5為例) 。
5DT Data Glove 5 Ultra
手套本體材料:彈性纖維,手套尺寸固定,適用面廣,分左右手。
傳感器:光纖傳感器。
自由度(DOF) : 5個手指的彎曲傳感器、手掌的傾斜和轉(zhuǎn)動。
空間定位:無,可通過增加三維跟蹤器來實現(xiàn)。
測量精度: 8位A /D采樣,漂移擾動小。
最大采樣頻率: 200 Hz。
接口: RS232,支持無線收發(fā)。
應用情況:被設計為三維輸入設備,適合對虛擬世界的控制和操作,手勢識別,物理療法和物理復原,遠程機器人的控制等。
評價:質(zhì)量有保證,適合大眾的尺寸,左右手版本,佩戴非常舒適; PC的ISA總線可同時連接4個手套,開放式結構,鼠標仿真模式, VR 程序驅(qū)動,有DOS和W indows下的軟件開發(fā)包;但是對不同用戶需要重新校正,同樣也存在疲勞問題。
數(shù)據(jù)手套應用現(xiàn)狀及今后的研制發(fā)展方向
隨著虛擬現(xiàn)實技術在各個領域的廣泛應用,數(shù)據(jù)手套的研制和應用也不斷深入。例如,美國宇航局的Ames實驗室將數(shù)據(jù)手套工程化,使其成為可用性較高的產(chǎn)品,在約翰遜空間中心完成空間站操縱的實時仿真。美國Boneing公司制造了一架虛擬飛機,運用數(shù)據(jù)手套進行控制,從而觀察設計結果,考察性能指標。NEC公司開發(fā)的虛擬現(xiàn)實系統(tǒng),操作者通過使用數(shù)據(jù)手套可以處理三維CAD中的形體模型。國內(nèi)的研究也取得了一批成果。
目前數(shù)據(jù)手套研究領域中仍存在著許多沒有解決的理論問題和尚未克服的技術難點,需要人們?nèi)ヌ剿骱蛯ふ医鉀Q之道。今后研究的重點主要有以下幾方面:
(1)研制開發(fā)能夠滿足數(shù)據(jù)手套實用性要求的新型傳感器
傳感器技術是數(shù)據(jù)手套系統(tǒng)中的核心和關鍵技術,數(shù)據(jù)手套的交互能力直接取決于傳感器的性能。目前盡管已經(jīng)出現(xiàn)了多種數(shù)據(jù)手套專用傳感器,但還不能真正滿足數(shù)據(jù)手套的實用性要求。因此采用新技術、新材料、新結構,研制出精度高、體積小、成本低、不易損壞、易于更換的高性能傳感器,是數(shù)據(jù)手套能否進一步商品化、實用化的關鍵。
(2)研制技術成熟、性能可靠的力反饋裝置
手指力反饋裝置的研究對數(shù)據(jù)手套的應用意義重大。具有力反饋功能的數(shù)據(jù)手套不但可以使用戶以較自然的方式將自己的手部動作傳遞給虛擬環(huán)境,實現(xiàn)對虛擬環(huán)境的操作,也可以使用戶利用觸覺和力覺反饋信息,得到真實的“沉浸感”,尤其對機器人技術力反饋是至關重要的。目前這種數(shù)據(jù)手套不多,技術不夠成熟,需進一步提高性能,降低價格,增強實用性。
(3)硬件接口及軟件環(huán)境的深入開發(fā)
進一步開發(fā)各種數(shù)據(jù)手套通用的接口及專用軟件,使其具備良好的可移植性、可擴充性,方便以后用戶系統(tǒng)的更新升級。
(4)進一步提高設計工藝要求
在數(shù)據(jù)手套及其部件的選材、設計組裝等方面下功夫,既要佩戴方便舒適,又要易于組裝維護,進一步提高整體性能。
