在邊緣端的人工智能逐漸成為發展的潮流。然而要為邊緣運算賦予 AI 智能,已經成為新的挑戰。Arm 應用工程總監徐達勇指出,在傳統上,決策的形成一向都集中在雲端與網路的中心,所有的數據與智能都往內部移動。這樣為網路技術與商業模型帶來龐大的壓力。未來我們必須刻意的把多數的「思考」向網路的終端移動,讓中央系統空出來,以數據趨勢與規律的集成為基礎,進行較長期的策略性決定。
把智能移到邊緣/終端可以提供許多的優點(請參考如圖一)。
。增加自主性
。提升隱私保護與資訊安全
。增加安全性
。減少頻寬
。降低功耗
。減少延遲
另外,關鍵需求要素如下(可參考圖二)。而其中,又以安全、數位訊號處理及機器學習,最為重要。
。異質化系統架構
。優化數位訊號處理器(DSP)
。功能性安全
。機器學習能力
。可擴充的處理能力
。平台安全架構(PSA)
可能的挑戰
根據Arm的調查(如圖三),超過 90% 以上的企業將會持續投資在 AI,在 2025 年以前,超過 90% 以上的企業應用程式都會包含機器學習的功能。可見邊緣裝置的部署的數量將非常龐大、應用也將非常多元而複雜,可以想見導入機器學習與 AI 的需求將趨於複雜與碎片化。單一的解決方案已無法因應如此龐大、多元且複雜的需求。
徐達勇說,特定處理(Specialized Processing)將提供開發者所需的彈性(如圖四),並針對不同的工作負載,提供最佳組合的運算處理單元。Arm 擁有的處理器平台整合更高的彈性、效率與安全性,CPU,GPU 與 NPU,協助合作夥伴在他們所處的市場,打造合適的產品。例如:
。用 Cortex CPU 來處理小型的機器學習工作負載應用將擁有最大的彈性以及擴充性,並確保未來不會過時;
。針對在廣泛的數據類型範圍內,要求必須在更高效能與良好的可程式性之間取得平衡的應用,對此需求提供了具備更佳機器學習支援的 Mali GPU;
。針對需要低功耗且高省電要求機器學習工作負載的應用,提供了可擴充的微型 Ethos-U NPU,為最小的裝置提供彈性、功效與優化。當然運算需求較高的工作負載,也有專屬 Ethos-N NPU。
Arm的在 AI 平台發展策略
龐大的 AI 應用需要「專用」且「可擴充」的解決方案。
全球於 2025 年左右預計將有超過 80 億個正在使用中、具 AI 功能的語音助理裝置,而 90% 或更多的終端應用將包含 AI 元素以及基於 AI 技術的介面。機器學習將成為運算無所不在的一部份,並將被運用在終端裝置、網路邊緣、手機與筆電等各類應用、汽車與工廠運算核心,以及雲端伺服器。
逾九成的頂尖企業將持續投資 AI,Arm也持續為合作夥伴提供多種 IP 執行機器學習工作負載。
到了2025年,估計超過九成的新企業應用程式將嵌入機器學習;運算裝置將受惠於更多在 CPU、GPU、NPU 的硬體支援,以應對更吃重的機器學習工作負載。Arm 所有處理器與 IP 皆具備機器學習能力,且發展為獨特的 AI 平台,為合作夥伴提供多種 IP 選擇,以執行像機器學習這樣「特定且被優化」的工作負載。
因應多元的工作負載,「特定處理」將成為所有運算形式的創新關鍵。
通用型處理器過去可以滿足大多數的需求,包括桌上型電腦或車用電子產品。但現在,合作夥伴對於高效處理的需求大幅改變,每隔幾年需求就翻倍,且變化速度愈來愈快,因此 SoC 的合作夥伴需要配置不同的特定處理元件,以符合其需求。
Armv9架構為CPU提供全新的向量處理能力「SVE2」。
Arm可擴展的向量延伸指令集(SVE)曾協助富岳成為全球速度最快的超級電腦;Armv9 將包含這些延伸指令集的下一個版本 SVE2,大幅強化機器學習與數位訊號處理等能力。SVE2 也將強化在 CPU 上運行的 5G 系統、虛擬與擴增實境與機器學習等工作負載的處理能力,例如影像處理與智慧家庭應用。Arm 也將強化 CPU 內部的矩陣乘法能力,進一步擴展 Arm 技術的 AI 能力,並持續進行 Mali-GPU 與 Ethos-NPU的AI創新。
邊緣 AI發展重點
徐達勇認為,邊緣AI未來的發展方向可以專注在一個關鍵點上,就是AI Everywhere。先來看看AI的四大主要應用場景包括如下:
。物聯網/ 嵌入式應用
。手機/ 消費性電子
。車用
。網路與伺服器
為了達到 AI Everywhere 的願景,有以下幾大領域需要我們特別注意:
。延遲:5G 的全球部署將帶動更快的資料傳輸、更多的連結,機器學習必須在數據產生的當下就運作。
。功耗:更低的能耗、更長的電池壽命。
。資料:數據/資料分布在各處,因此機器學習也要在各處執行。這需要系統運作與軟體堆疊。
。安全:安全的運算需要安全的機器學習解決方案。
運算將成為分散式的工具,每個運算需求都要在最適合的平台運行,信任運算基礎架構將是管理資訊安全與隱私性的關鍵。以Arm新近發表的Armv9架構為例,特別提出機密運算架構(Confidential Compute Architecture;CCA),它可協助在硬體架構的安全環境中執行運算,並保護部份的程式碼與數據不被存取或修改,甚至是特殊權限軟體也無法存取與修改。