顧名思義,虛擬實境(Virtual Reality)系統就是要在電腦裡產生一個虛構的世界,讓人們可以在裡面進行一些模擬,可能是為了科學實驗、教育訓練、或是娛樂用途,其中人們最熟悉的應用就是電影和遊戲。
虛擬實境系統與應用
要歸納虛擬實境系統的通用架構是很難的,因為要視不同的應用而異。在概念上來說,虛擬實境系統有三個I要素存在:沉浸(Immersion)、互動(Interaction),以及使用者的想像(Imagination)。沉浸系統就是感官科技,即讓使用者看到和聽到虛擬世界中的畫面與聲音,目前視覺和聽覺的技術比較成熟,營造嗅覺和觸覺的科技雖然也有所發展,不過仍屬於較為難解的問題。
互動系統包括人機介面(User Interface)和人工智慧(Artificial Intelligence),此外還包括通訊(Communication),研究的是如何以最直觀的方式讓使用者操作虛擬世界中的人、事、物,以及如何令虛擬世界中的角色快速回應使用者的操作。
除了沉浸系統和互動系統外,最重要的是引發使用者的想像(Imagination),也就是要令使用者願意去相信,並願意去接受虛擬世界的一切,所以虛擬世界中的故事劇本就必須要吸引人,以及美術與音效必須美輪美奐。總歸來說,虛擬實境技術是一種系統整合的技術,其研究領域跨越科技與人性的範疇。
多樣化的虛擬實境技術
描繪虛擬實境技術
描繪虛擬實境畫面的技術有許多種,根據不同的應用分即時描繪(Real-time Rendering)和擬真描繪(Realistic Rendering),成本和畫面品質則從低到高,前者根據光線照射角度計算物體表面明暗的Gauroud Shading技術,用在每秒需要描繪20張以上的遊戲軟體中,後者則是仔細計算物體之間的能量分布的Radiosity技術,如(圖一),但是描繪幾分鐘的影片往往就得耗費一週的時間。
《圖一 以radiosity技術描繪虛擬環境的結果》 | 資料來源:本圖取材自交大資工所博士生李汪曄的研究成果 |
|
虛擬攝影棚
在現今的電影和電視製作當中,經常採用虛擬攝影棚,如(圖二)。利用擬真的虛擬實境科技,描繪出高品質的畫面以後,再利用藍幕技術和數位影像處理技術,來合成以真人演員攝製的畫面和虛擬世界的畫面。此外,劇情中的配角和一些不存在於真實世界的動、植物,也能夠以電腦模型的技術建立在虛擬世界中,不過在拍攝的過程中,演員必須對著空氣演戲。
這類的應用是事前耗費大量時間,做出最逼真的效果,然後以影片的方式撥放,然而這只強調擬真但並不具互動性。不過遊戲應用則是不強求畫面的逼真度,只強調與使用者的互動性,以致於在使用者的操縱和遊戲故事的進行下,必須立即描繪當時的狀況。
《圖二 台灣夢工廠的虛擬攝影棚》 | 資料來源:本圖取材自台灣夢工廠公司的介紹網頁 |
|
電玩遊戲的虛擬實境
(圖三)是一款遊戲的畫面,大量採用貼圖(Texture Mapping)來取代複雜的模型特徵和光影效果,以達成即時描繪的目的。隨著電腦繪圖軟硬體的進步,當然以擬真為主的影片製作也不斷地增加互動性,例如多線發展的故事情節等;而即時互動為主的遊戲,也努力採用各種特效來增加畫面的逼真程度。
沉浸式虛擬實境系統
虛擬實境系統當然不是只以平面螢幕做顯示,也不是只以鍵盤滑鼠做為輸入,(圖四)是工研院的沉浸式虛擬實境系統(Immersive Multi-User Virtual Space),顧名思義,用多面螢幕作為牆面所投影出來的立體影像(Stereo Image),戴上特製眼鏡以後虛擬世界中的物體都會浮現到身邊,並且以紅外線追蹤使用者佩戴的感測器,讓使用者能夠真正地和虛擬世界中的角色做肢體互動。
《圖四 工研院沉浸式虛擬實境系統》 | 資料來源:工研院光電所,2003/09 |
|
虛擬實境科技的身歷其境技術
虛擬實境科技是以沉浸和互動為方向,整合現有的軟、硬體技術,營造出虛擬世界的畫面與音效,以及與虛擬世界中的人、事、物溝通的管道。虛擬世界在電腦中是以數學模型(Model)的型態存在著,如(圖五)所示,模型是由多邊形(Polygon)所組成,Gauroud Shading的原理是對每個多邊形的每個頂點,根據自身的材質顏色和光照的角度計算打光後的顏色,再以線性內插(Linear interpolation)得到多邊形內每個像點(Pixel)的顏色。而Radiosity技術則是以每個多邊形為光能量分配的最小單位,計算多邊形之間的能量傳遞。
《圖五 虛擬世界的電腦模型:(左圖)運用radiosity技術的描繪結果;(右圖)原始多邊形資料@中標:身歷其境的技術介紹》 |
|
如果是擬真的影片製作,最基本的是必須要有擬真的描繪軟體,例如Pixar公司所製作的RenderMan;如果是互動的遊戲製作,必須要有強力的軟體引擎(Rendering Engine)來計算並反應虛擬世界中的變化,其地位就如同電影駭客任務中的母體(Matrix)一般。由於虛擬實境是一種整合性的科技,所以相關的技術舉之不盡,在此僅介紹令使用者身歷其境的立體顯示(Stereo Display)和動作捕捉(Motion Capture)技術。
立體顯示(Stereo Display)
人的兩眼之間有大約六到七公分的距離,所以兩眼看到的景象是有一些偏移的,在兩眼所看到的影像中,越近的物體偏移越大,越遠的東西偏移越小,所以人看東西有遠近立體感。同樣的,如果電腦繪製了具有六到七公分偏移的左右眼畫面,並且正確地同步投射給觀看者的左眼和右眼,就能夠產生立體的感覺。
一般的立體技術都需要戴上特製的眼鏡,而這種技術又分為主動式和被動式兩種。主動式立體技術由顯示系統主動發出電子訊號給觀看者所佩戴的眼鏡,當螢幕顯示左眼影像的時候,眼鏡會自動遮住右眼;同理,當螢幕顯示右眼影像的時候,眼鏡會自動遮住左眼,由於兩眼影像切換的頻率極高,所以人眼感覺不出這個切換和遮眼的動作。
被動式的立體技術則是在顯示系統的投影機前加上偏光鏡片,各只允許某一極化方向的光通過,左右眼影像允許的極化方向不同,而眼鏡也是偏光片,而左眼和右眼鏡片的偏光方向與左右眼影像投影機偏光片的偏光方向相同,所以剛好左眼看到的是負責左眼影像的投影機所投射出的畫面,右眼則是看到的是負責右眼影像的投影機所投射出的畫面,如此也能夠產生立體的感覺。
此外,在一些手持裝置上有被稱為裸眼立體顯示的技術,例如手機、筆記型電腦或立體照片;意即不需要佩戴任何眼鏡,就可以看到有立體感的影像。它的原理是在螢幕或照片上舖上一層由許多圓柱體構成的透明薄膜,薄膜下的畫面是由左右眼影像穿插交錯(Interlace)所構成的;由於圓柱體有凸透鏡的效果,使得這幅畫面從左側看時,剛好只能看到左眼的畫面,而從右側看時,也只能看到右眼的畫面。這就如同玻璃製的圓柱體水銀溫度計,在某些角度以內才能看得到刻度的道理一樣,當我們把這樣的立體畫面近距離擺在眼前的時候,剛好就是左眼從左側看,右眼從右側看,所以會產生立體的感覺。
動作捕捉(Motion Capture)
這種技術可偵測使用者在真實世界裡的一舉一動,並錄進電腦裡。其主要的用途,除了用來營造真實世界和虛擬世界的肢體互動外,也用來製作精緻的人物動畫,例如要製作一段舞蹈的動畫,與其令多媒體設計師辛苦地設計虛擬角色的一舉一動,不如就直接請一名舞者跳一段舞,然後將他的動作用動作捕捉技術錄進電腦裡,如此一來,可達到事半功倍的效果。
動作的捕捉有許多種做法,不過依目前的技術來說,很難直接從攝影機所得的影像直接辨識人物的動作,因此各種技術或多或少都要求被捕捉動作的人佩戴感測器(Sensor)。這些感測器有電磁式、光學式,以及聲波式。其中電磁式的感測器會發出磁場,而接收器(Receiver)會根據的信號變化,推算出該感測器的位置;聲波式的感測器則會不斷地發出超音波,接收器根據聲納原理,來推算出其位置;光學式的感測器又分為紅外線反光式和高亮度LED式兩種,其原理是利用多部的攝影機從不同角度拍攝畫面,並依據不同畫面中,同一光點的畫面位置,再以三角測量原理,來推算出該光點的位置。
手勢辨識(Gesture Recognition)
手勢辨識(Gesture Recognition)的技術,是以動作補捉的技術為基礎發展而來。被補捉者在特製的手套的各隻手指佈上感測器,或是整隻手套都是光學材料製成,然後以動態捕捉的技術,來偵測使用者的手勢變化,並作為真實與虛擬世界角色的溝通介面,不過有些廠商的做法則是直接在手套裡埋設光纖或電子線路。
影像式虛擬實境(Image-Based Virtual Reality)
上述的虛擬實境技術都是以電腦模型為基礎,不過另有一種技術是以影像作為一個基礎的技術。這個技術的原理是以相機環繞某一場景或某一物體後,連續拍攝多張照片,然後將這些連續照片扭曲縫合成圓柱體或球體類的形態再儲存起來,這種技術被稱為全景影像(Penoramic Image)。假如一般人需要向某一方向觀看的畫面的時候,就會從圓柱狀或球狀的影像中分離出該方向的畫面,目前網頁上俗稱的360度虛擬實境皆屬此類。
由於這種虛擬實境是由連續照片中產生,不需要透過模型的製作過程,所以製作成本非常地低廉,且因為本來就是真實照片所製成的影像,所以效果非常地逼真。但是唯一的缺點是照片拍不到的部位,電腦也無法憑空產生,以至於這樣的虛擬實境只能用在定點改變觀察方向,對著四面八方觀看,但不能移動觀察的位置。
未來的發展
在此還是從沉浸、互動、想像三個I要素來討論未來的發展方向。虛擬實境科技是整合多樣技術領域的科技,各樣技術在它的專業領域也都有推進的方向。以總觀地來看,虛擬實境的技術無非是提供更逼真的感官沉浸科技,以及更敏銳的感測互動科技。其實目前的效果已經令人非常地驚艷,不過從商業的角度來看,雖然虛擬實境的呈現效果已經非常精美,但製作成本卻居高不下,提供的公司所能賺取的利潤當然就微薄。
目前製作動畫影片的成本每秒約三、四萬台幣,開發一款線上遊戲則需要一年的時間,成本居高不下所帶來的效應,除了壓縮獲利空間以外,製作的漫長時程也使得虛擬實境的內容不容易追趕得上流行
總結
談了這麼多技術議題,但是對使用者來說,虛擬實境可能只不過是一種具有互動性的新媒體(New Media)。媒體生意的本質就在於追趕流行,以及在於引起消費者的興趣,因此虛擬實境科技公司和其他的科技比較起來,就必須多具備經營優秀的故事腳本、優秀的視覺藝術,和優秀的音樂製作的能力。此外,公司必須對流行資訊有相當敏銳的知覺,讓虛擬實境能引發使用者在想像方面有無限的空間。
(作者為工研院光電所副工程師,聯絡方式:sagitta@itri.org.tw)
|
|
本文是由李汪曄、李元兵、伍永康、莊榮宏,和歐陽明等人所發表關於虛擬實境的論文,內容敘述虛擬實境所包含的技術與應用層面,以及對人類的生活所造成的影響與衝擊。本篇文章將以虛擬實境的技術層面著眼,探討虛擬實境核心技術的發展現況與未來的趨勢,相關介紹請見「虛擬實境的核心技術與未來發展」一文。 |
|
虛擬實境(Vitural
Reality)的觀念使得電腦世界的3D意義向前邁進了一大步;在這個觀念下,我們才開始在電腦世界中擁有了一個真正的三度空間,而不再只是一些平面上的3D效果,你可在「虛擬實境研究資料」一文中得到進一步的介紹。 |
|
透過ADSL與Cable的寬頻服務的普及,網路傳輸與下載速度的確快了許多,但是在視覺品質要求也相對提高後,例如CD音質、DVD影像品質及虛擬實境的影像等,再多的網路頻寬絕對無法滿足豐富多媒體內容網站的資料傳輸需求,因此以Streaming串流,讓您不必下載整個多媒體檔案後才能觀賞的技術,勢必繼續成為網際網路傳輸環境中,多媒體檔案必須支援的特性,因此,這方面的媒體技術也將成為軟硬體廠商的兵家必爭之地,在「網路與無線串流媒體的發展」一文為你做了相關的評析。 |
|
|
|