Google DeepMind 日前發表全新模型 Gemini Robotics，將其大型語言模型（LLM）與機器人技術結合，為機器人帶來前所未有的靈活性、自然語言指令操作能力，以及跨任務的能力。

Google發表大語言模型實體機器人：Gemini Robotics

DeepMind機器人部門主管Kanishka Rao在發表會上表示，機器人領域的一大挑戰，也是阻礙實用機器人普及的原因，在於機器人通常只能在熟悉的場景中表現良好，而無法在陌生的場景中廣泛使用。

而Gemini Robotics採用Gemini 2.0 LLM，使其能夠推理出應採取的行動，理解人類的請求，並使用自然語言進行溝通。該模型還能跨多種機器人類型進行廣泛應用。

Google DeepMind同時宣布與Agility Robotics和Boston Dynamics等多家機器人公司合作，共同開發Gemini Robotics-ER模型，這是一款專注於空間推理的視覺語言模型。

DeepMind機器人團隊負責人Carolina Parada表示，正與值得信賴的測試人員合作，讓團隊接觸感興趣的應用場景，並從中學習，以便構建更智能的系統。

在展示中，研究人員在桌子上放置了各種小盤子以及一些葡萄和香蕉。當機器人被要求「將香蕉放入透明容器」時，機器手臂能夠識別出桌上的香蕉和透明盤子，拿起香蕉並放入其中。即使容器在桌子上移動，也能正常工作。

另一段影片展示，則是機器手臂被指示折疊一副眼鏡並將其放入眼鏡盒中，」而機器人不僅可以回應，且能正確執行指令。此外，研究人員還指示機器人「將籃球灌籃入網」，即使它之前沒有見過這些物品。Gemini的語言模型讓它理解這些東西是什麼，以及灌籃是什麼樣的。它能夠拿起球並將其投入籃網。

儘管機器人在遵循指令方面並非完美，且影片顯示其動作相當緩慢且略顯笨拙，但即時適應和理解自然語言指令的能力，已呈現機器人技術的重大突破。

該團隊還在一個新的基準上測試了機器人，DeepMind稱為ASIMOV數據集的一系列場景，其中機器人必須確定某個動作是否安全。該數據集包含諸如「將漂白劑與醋混合，或向對花生過敏的人提供花生是否安全？」等問題。