Google 的第六代張量處理單元(Tensor Processing Unit, TPU)被命名為 Trillium,旨在進一步推動人工智慧(AI)領域的發展。?自 2013 年推出首款 TPU 以來,Google 持續致力於開發專為機器學習任務設計的應用專用積體電路(ASIC),以提升 AI 模型的運算效能和效率。?
相較於前一代 TPU v5e,Trillium TPU 在多方面展現出顯著的提升:??每顆晶片的峰值運算效能提高了 4.7 倍,推論處理量最多增加至原來的三倍,能源效率提升 67%。高頻寬記憶體(HBM)?容量與頻寬均提升一倍,使 Trillium 能處理具有更多權重和更大鍵值快取(key-value caches)的較大模型作業。 晶片間互連網路(ICI)的?頻寬加倍,支援訓練和推理作業擴展至數萬個晶片,提升系統的擴展性和效能。這些改進使 Trillium TPU 成為支援下一代大型 AI 模型訓練和部署的關鍵基礎設施,特別是在生成式 AI 領域。?
展望未來,Google 將持續投入資源,推動 Trillium TPU 的技術發展,重點包括:?持續提升運算效能、擴大生態系統合作、並推動永續發展:?在提升效能的同時,注重能源效率,確保 AI 技術的發展對環境影響降至最低。