未來是AI處理器的時代,這些智慧元件將媲美現在的CPU與影像處理器,晉升為最主流的邏輯元件。但要在邊緣環境實現智慧普及化,元件設計仍有成本與功耗的關鍵挑戰。美國AI處理器新創公司Mythic(Mythic, Inc.)鎖定邊緣運算市場對低功耗推論運算(inference processing)的龐大市場,藉由其獨特的類比型記憶體內運算(analog comput-in-memory)技術,推出首款類比矩陣運算處理器M1108 AMP(Analog Matrix Processor),不僅效能與功耗效率雙雙升級,推論效能可達35 TOPS,準確率更達到數位型元件等級。
|
Mythic類比矩陣運算處理器M1108 AMP,創新採用類比運算架構來開發AI處理器,實現35 TOPS的優異推論效能,且最高功耗僅4W,推升邊緣運算裝置量產的市場潛力。 |
談到邊緣運算裝置,常見的CPU、GPU、ASIC等邏輯元件,皆以數位運算架構設計,在特定領域(domain-specific)的深度學習應用,顯現了超於常人的智慧運算效能,然而,這些元件多半採用例如5nm的先進製程,還需要DRAM等外部記憶體,功耗與成本也很嚇人。
Mythic業務發展部門資深經理David Kuo指出:「類比運算架構在邊緣裝置上展現了可觀優勢,能夠利用Flash記憶體,設計出記憶體內運算元件,不僅解決了運算延遲的問題,製程成本也能降低許多。」
新款M1108 AMP處理器採用了獨特的元件架構,因此大幅減省執行複雜AI模型時的運算功耗,工作量達尖峰時功耗最高僅4W,還能善用技術成熟且具成本優勢的40nm製程技術,系統設計上,也不需要DRAM或SRAM等外部記憶體,因此,與採用數位運算架構的元件相比,整體成本最多降低了10倍。
拆解這套元件架構可以發現,M1108 AMP整合了108個AMP區塊(tile),每區塊都內建了Mythic類比運算引擎(Mythic Analog Compute Engine;Mythic ACE),還包含了快閃記憶體陣列、類比數位轉換器(ADC)、網路晶片(Network-on-chip;NoC)路由器、SRAM與SIMD向量運算引擎,另搭載一顆32位元的RISC-V處理器(nano-processor),在AI運算架構的整體功耗、成本與效能上完成最佳配置。
「所有推論工作都在Flash執行,」David Kuo解釋:「而我們的關鍵技術,在於利用Flash進行乘法運算(multiplying),最重要的是,我們在M1108晶片上設計了2萬7千多顆ADC,因此元件尺寸必須微縮到極小,這也是Mythic的IP技術所在。」
Mythic的研發成果,也確實令人為之一亮,M1108 AMP的元件尺寸僅360mm2,滿足邊緣裝置的尺寸高敏感型需求。在控制與介面上,M1108提供四通道PCIe 2.0介面,能以2GB/s的最高頻寬連接到系統主處理器,另外還支援I2C、SPI、UART與GPIO介面,提升邊緣裝置的開發彈性與可行性。
如此精巧尺寸與低功耗的設計,在運算上還能執行ResNet-50、YOLOv3、OpenPose Body25等複雜的AI模型,為新世代的邊緣運算裝置提供了量產的優化方案。
此外,為了簡化開發人員的設計流程,Mythic也提供類比元件設計的相關軟體工具,包含從優化神經網路的分層(layer)、轉換模型的浮點運算格式(由FP32轉至INT8),到重新訓練AI模型、圖像編譯(graph compilation),提供一系列的開發資源,協助將AI模型轉換至Mythic AMP的類比運算處理器上執行推論。
M1108 AMP系列產品目前提供PCIe M.2和PCIe卡的規格選項。目標應用涵蓋現在常見的邊緣運算裝置,例如監控攝影機、網路攝影機、智慧家庭電器、工業機器視覺設備,以及其他AI新興應用,例如輕量型無人機、AR/VR互動裝置,以及消費性與零售機器人等。
Mythic成立於2012年,聚焦類比運算架構,累積了豐富的相關開發技術與經驗,尤其針對類比型元件的生產難題,成功開發出相應的元件架構技術來提供一系列的解決方案。