隨著AI、5G、IoT等新興科技的崛起,新一代的行動裝置能將更智慧、更沉浸式的使用者體驗帶到主流市場,包括行動遊戲與多媒體應用等產業,期望加速行動裝置在創新體驗需求的推動。而新一代行動繪圖處理器,為提供擴增實境(AR)、虛擬實境(VR)、3D動像、高畫質行動遊戲等嶄新使用情境一個更優質順暢的效果,需要滿足五大關鍵功能:1.手機平台對遊戲與串流影音的高畫質、高解析的功能;2.提供細緻的使用者介面,在支援豐富資訊的同時要保持即時與低延遲性;3.支援更多元廣泛的多媒體格式與新一代的Vulkan API,讓開發者開拓更多數量的裝置,同時提供高能源效率;4.提供輔助處理AI應用和機器學習運算的能力;5.內容保護(Content Protection)技術的應用。
|
Arm主任應用工程師胡岱勛 |
Arm主任應用工程師胡岱勛指出,現今手機上的多媒體應用,主要來自拍照、錄影、本機影音播放與串流影音播放,不論哪種應用,對於解析度與特效的要求,都越來越高;尤其對於色深的要求,也從傳統8-bit提升到10-bit為主流,並隨著解析度的提升以及色深寬度的加大,記憶體頻寬在多媒體應用的消耗量非常驚人。因此,對於多媒體內容的發展,Arm會著墨更多在HDR10的支援,以及記憶體頻寬縮減技術的開發與加強;同時隨著Arm制定的內容保護(Content Protection)技術,可以強化各串流供應商的安全性需求。
胡岱勛說,Arm對於機器學習有一套完整的軟體框架Arm NN,可以廣泛支援Arm CPU、Arm GPU、Arm NPU與第三方硬體IP。對於行動繪圖處理器來說,Arm的GPU在處理圖形運算之餘,也能提供機器學習的輔助算力;在新一代的Bifrost與Valhall架構中,更是提供用於現代工作負載的ISA和運算核心設計,支援INT8 dot product點積運算,減少運算時間。透過ArmNN軟體框架,能夠在不需更改軟體的前提下,讓高中低階的手機,都可以提供GPU的輔助算力,讓機器學習的功能與效率更加完善。
胡岱勛認為,多媒體的相關應用已成為現今行動裝置不可或缺的一部分,其中行動遊戲與串流影音在手機的應用上,更是爆發性地成長,發展愈趨多元,在滿足用戶體驗的需求上更具挑戰。從Arm對市場上的觀察發現,行動遊戲愈來愈注重細膩的高清晰影像,為享有更逼真、如身歷其境的遊戲效果,市面上有多款重量級、高人氣的多人遊戲,即需要高畫質、高解析、高禎數與特效才能提供玩家順暢遊戲體驗;而在串流影音方面,影音雲端服務的供應商除了聚焦精緻高畫質影像之外,也需支援HDR10播放。
因此,對於行動繪圖處理器的發展趨勢,為讓未來所有行動裝置皆具備機器學習運算能力,快速處理龐大運算需求,Arm將會著重在更高性能、更高能源效率(Energy efficiency)、記憶體頻寬減縮技術、影像優化技術支援、以及兼顧手機功率消耗的專業領域深耕。