高通技術公司於 Microsoft Build 2023 開發者大會展示在裝置上AI領域的一系列最新創新成果,包括展現在Snapdragon運算平台上運行的生成式 AI,以及開發人員為搭載Snapdragon的Windows 11 PC構建應用程式的新途徑。
|
在搭載Snapdragon運算平台的裝置上執行Stable Diffusion |
高通技術公司產品管理資深副總裁Ziad Asghar表示:「要使生成式AI成為真正的主流,需要讓大部分推論在邊緣裝置上執行。我們一流的AI硬體和軟體能使開發人員充分利用我們強大的AI功能,在筆記型電腦、手機和其他搭載Snapdragon的裝置上提供令人驚豔的全新使用者體驗。」
AI的未來需同時包含裝置上AI和雲端AI。在裝置上運行 AI 應用程式可提升成本效益、隱私、個人化和降低延遲。Snapdragon平台搭載專用的高通AI引擎,相較於純粹在CPU或GPU上處理,能更有效率地處理 AI 工作負載,即使是在輕薄小巧的裝置上,也可以實現裝置上AI。
高通技術公司將在Microsoft Build開發者大會上展示並提供協助在新一代Windows 11 PC上開發生成式AI的工具。Stable Diffusion是一款具有超過10億個參數、可從文本生成圖像的生成式AI模型,現在已能夠完全在裝置上運行。
該公司表示未來的發展非常明確,再過幾個月就能在裝置上運行多達100億個參數的模型,包含大型語言模型(LLM)。為了強化高通AI疊層(Qualcomm AI Stack)並幫助開發人員打造新一代的裝置上AI體驗,高通也將在本屆Build開發者大會上首次公開高通AI引擎指引(Qualcomm AI Engine Direct)開發套件供大眾使用。
搭配ONNX Runtime和高通AI疊層,現在可以在搭載Snapdragon 8cx Gen 3 AI引擎的Surface Pro 9 5G和聯想ThinkPad x13s上執行AI工作負載。
微軟Windows晶片與系統整合副總裁Pavan Davuluri表示:「雲端和裝置處理都必須將AI擴展到數量豐富的裝置和應用程式上。透過將微軟的雲端AI領導地位和Windows平台的功能與高通技術公司在裝置上AI方面的專業知識相結合,我們將加速生成式AI體驗的機會。」
此外,高通技術公司也將在本屆Build開發者大會上展示當熱門應用程式為Snapdragon進行原生編譯時能獲得顯著效能提升,並首度公布一個全新開發者入口網站,該網站將為開發Windows on Snapdragon使用的關鍵工具、資源和支援集中在一個易於使用的位置。