21世紀低頭族一詞問世,寫實描繪了最新科技帶給大眾生活模式的改變。隨著智慧型手機的技術發展與電子製造步入成熟階段,更為融入現實生活的科技應用也成了眾所矚目的發展重點,而延展實境(extended reality;XR)的概念便巧妙地投射了這項需求。
尤其歷經2020年全球遭受新冠肺炎疫情的重創,城市與國家間的邊境封鎖更加速催化了虛擬與現實交流界線的淡化,線上與遠距操作成了新生活的預設模式,助長了能夠實現XR願景的虛擬實境(virtual reality;VR)、擴增實境(augmented reality;AR)與混合實境(mixed reality;MR)三大技術發展。
其中,AR與VR、MR相比,著重在擷取現實環境的資訊,並透過先進處理器與智慧演算法,提供科技用戶更快速操作且融入周圍環境的使用者介面,進而創造出即時、虛實整合且融合視、聽、觸覺等多元感官的沉浸式科技體驗,因而成為最有可能領先達到普及的XR關鍵技術。這也是為什麼國際科技龍頭Microsoft、Google以及手機大廠Apple等皆紛紛將AR列為研發要點,並已經相繼推出AR或MR眼鏡。
圖一 : 對穿戴者而言,AR技術可以跳脫螢幕框架,將虛擬訊息融合至現實環境,提供空間資訊與更寫實的運算體驗,視場角(field of view)可以用來表述裝置涵蓋的成像角度範圍,呼應肉眼的視域,是XR眼鏡的重要規格之一。(製圖/CTIMES 2020) |
|
就使用經驗而言,AR技術可以跳脫電腦甚至是手機的螢幕框架,對應虛擬與現實世界中蒐集而來的資訊並進行更深入的分析,進而擴增使用者認知與判斷的準確度與時效性,再借助雲端與邊緣運算平台、人工智慧與機器學習的技術優勢,實現環境感測、影像與語音辨識或校正、資訊HD/3D可視化等新興科技應用。
裝置篇
不同於雲端或邊緣概念針對運算系統優化架構,或是物聯網以將萬物智慧化視為目標,AR技術是站在終端用戶的觀點理解使用需求並開發應用,強化環境、物件與使用者間的互動關係,因此對感測、運算與顯示這三項技術的需求更高,除了各自精進三者的性能與能耗效率,高度整合三者技術優勢的機構與處理架構也會是關鍵。
就現階段發展而言,AR技術正處於開發專用裝置—例如頭戴式眼鏡或抬頭顯示器(head up display;HUD)的起步階段,鎖定的應用市場則是高度專業化的垂直產業,像是工業4.0、軍事、教育或醫療場域的產品操作展示、遠端連線維修等應用。這些場域由於對工作場域的安全性與操作即時性有較嚴苛的要求,因此借助AR眼鏡這類輕便且智慧化的穿戴式處理器,就能有效提升工作效率或產量、減省人力並確保工作安全。
相較來說,嵌入式的AR晶片是目前導入AR技術的主流商用產品選擇,一來,借助其他消費性電子—像是智慧型手機或PC硬體中發展成熟的感測與處理能力,導入AR技術的門檻會相對較低,二來,這些裝置已經累積龐大用戶群體,更有利於推廣AR應用。
因此,AR晶片的目標市場多半還是以連接智慧型手機或PC的消費性應用為主,藉由導入AR處理器擴充其他消費性電子的空間感知與顯示效能,相關功能開發包括例如智慧零售服務、電競、導航或翻譯等。
成長動能最強勁的尤其是行動AR市場,根據市調機構Report Linker今年7月公布的數據,2020年全球行動AR市場市值將達107億美元,歷經疫情刺激,估計至2027年將以55%的年複合成長率(CAGR),達到2306億美元,其中電競應用的成長幅度驚人,達到59.6%,隨後則是行銷應用,CAGR為49.7%。
針對行動AR應用的開發需求,不少科技大廠與新創公司也紛紛推出AR軟體開發套件(SDK)、應用程式介面(API),像是Google ARCore、米菲多媒體MAKAR、Apple ARKit,甚至還有更早就問世的開源開發工具ARToolKit。
AR晶片
支援AR應用的晶片可依功能區分為處理晶片、電源管理晶片、Wi-Fi或藍牙晶片等。其中,最受矚目的就是處理晶片了。目前用於AR應用採用的處理器多半以行動處理器為主,像是高通Snapdragon系列、英特爾Atom系列、德州儀器OMAP,市面上僅有少數晶片開發商推出XR專用開發平台,像是高通XR設計平台,去年更推出支援5G的XR2平台。
其中,低功耗會是首要的設計考量,尤其是AR眼鏡,在無線連接狀態下進行視訊通話、自然語言處理等即時高速運算應用時,電池運作多半只能支援3小時,因此對整天戶外配戴的應用情境來說,低功耗成了裝置規格的基本要求。
AR眼鏡
圖二 : 作為獨立式AR裝置,開發系統輸入輸出、顯示與操作模式成為設計首要難題。圖為主打輕量設計的AR智慧眼鏡新創公司Magic Leap產品應用的情境圖,除了AR眼鏡,六自由度(6 DoF)遙控器也是重要的控制設備。(source;magicleap.com) |
|
目前市場選用的獨立式AR專用裝置採用眼鏡的外型,但也因此在硬體設計、操作模式與應用開發上面臨了不少設計難題,畢竟要跳脫電腦或手機的觀看與操作模式,又要建立與智慧穿戴式裝置不同的市場定位,就必須從輸入輸出、功能定義、作業系統(OS)到系統設計逐一著手,建構出一套異於以往的完整系統,牽涉的開發工作相當複雜,據傳科技大廠Facebook、手機大廠三星、LG以及遊戲大廠Sony也有可能投入戰局,但是產品仍待開發中。
奠基於軍用顯示科技的美國Vuzix、深耕無線模組開發的台灣佐臻,以及電腦列印與影像設備大廠的日本Epson,分別專攻光波導顯示、無線連接與視覺感測元件,這些技術恰巧在AR開發藍圖上構成鼎立的重要節點。
簡言之,處於初期研發階段的AR眼鏡仍在尋找最適化的硬體規格,且顧及消費者的使用偏好與多元的應用情境,還必須考量美觀、低功耗與IP防護設計,甚至就眼鏡的結構設計來說,還必須考量不同使用者配戴的尺寸差異與舒適度,客製化或可調性框架,以及輕量化設計也會是開發要素之一。
技術開發篇
AR技術最大的難題在於將虛擬融入至現實,儘管一方面AR眼鏡也能實現先進顯示器的功能,提供更方便進行資料查找、影音瀏覽與即時通訊的使用者介面,但AR不只是讓資料憑空出現的濾鏡而已,在另一方面,AR技術帶來的革命契機在於其具備擴增使用者在現實感知空間的能力,這也是AR眼鏡與其他智慧穿戴裝置在市場定位方面的差距所在。
AR技術也可以說是視覺資料在虛實環境中重疊的技術,因此以往慣用手機或PC等平面瀏覽模式來獲取的2D或3D資料,在AR裝置上瀏覽都能加上空間維度的可調性與自適性,進一步執行更寫實且快速的模擬、測量、定位或設計等功能。因此,善用機器學習技術來開發圖像與語音識別與模擬的演算法,會是研發AR技術不可或缺的環節。
空間定位
要讓虛擬物件與現實環境融合,判斷的首要關鍵在於空間定位的準確度。以操作物件模型的應用為例,就需要利用平面測定(plane finding)技術來讓觀者目睹物件「落地」,才算是把物件放到現實環境當中。另一方面,室內外導航與定位應用,也需要透過同步定位與建圖(SLAM)技術,才能以裝置內建感測元件來快速整合空間資訊,並運算出裝置使用者在該空間內的位置。
人臉識別
圖三 : 利用機器學習技術,Google開發的AR SDK—Google ARCore可以3D網格準確擷取人臉特徵點。(source:ai.googleblog.com) |
|
AR技術除了增加空間資訊的呈現並融合至現實環境外,人機互動也是增強虛擬物件真實性的要點,透過感測表情甚至是視線變化,互動性導向的應用就能更進一步增加使用者的參與感與臨場感,曾經風靡一時的AR相機軟體就是活脫脫的例子。而人臉識別技術就是增強互動性的一大利器。圖形處理技術龍頭Nvidia便針對AR應用推出強化人臉辨識的SDK,同樣推出AR SDK的科技大廠Google也在Google ARCore最新版本中提供Augmented Faces設計資源,支援前鏡頭,並以3D網格擷取特徵點。
光線與色彩校正
現實中的人或物件在光學、位置、動作或外觀上展現各自的獨特性,但又彼此交互影響,因此在AR應用中感測與識別環境,就必須處理高動態性與差異性。結合機器學習的演算法能夠考量環境光線、周遭物件陰影、遮蔽物等變因,校正虛擬物件成像的色溫、光影,進而融入至投射地點的環境中。
結語
AR技術以現實環境的空間架構為人機介面運作的基礎,將智慧感測、高速運算與無線連接技術整合至AR專用裝置或其他科技產品,展現了開創全新科技應用的革命性潛能,帶領低頭族以更「直觀」的操作方式演變成為「前瞻族」。
除了實現3D顯示與在實體空間中自由配置虛擬視窗位置與大小的功能外,AR技術更能和使用者周圍的環境相互對應並互動。開發智慧演算法就能驅動AR這項革命性技術,完成多元感測資訊的整合並進行精密分析,這也是鑑別AR技術的重要指標。
此外,專用的處理器設計也將成為在市場獨佔頭籌的制勝武器。儘管就終端產品市場競合而言,AR裝置是否能夠取代手機、電腦或電視仍舊未達共識,但可以肯定的是,AR技術將空間資訊整合至人機操作模式,開拓了先進運算體驗的全新思維,未來將掀起的使用者介面革命不禁令人拭目以待。
**刊頭圖(source:immersive-technology.com)