IT之家5月14日消息,普林斯頓大學、斯坦福大學和谷歌的一組研究人員,利用OpenAI的GPT-3 Davinci模型,研發出了一款能聽懂英語指令并執行家務的機器人,名為TidyBot。這款機器人可以根據用戶的喜好,自動完成如分類洗衣服、撿起地上的垃圾、收拾玩具等任務。

GPT-3 Davinci模型是一種深度學習模型,屬于GPT模型系列的一部分,可以理解和生成自然語言。該模型具有強大的總結能力,可以從大量的文本數據中學習復雜的對象屬性和關系。研究人員利用這種能力,讓機器人根據用戶提供的幾個示例對象放置位置,如“黃色襯衫放在抽屜里,深紫色襯衫放在衣柜里,白色襪子放在抽屜里”,然后讓模型總結出用戶的一般偏好規則,并應用到未來的交互中。
研究人員在論文中寫道:“我們的基本見解是,LLM(大型語言模型)的總結能力與個性化機器人的泛化需求非常匹配。LLM展示了通過總結實現泛化的驚人能力,利用從海量文本數據集中學習到的復雜對象屬性和關系。”
他們還寫道:“與需要昂貴的數據收集和模型訓練的傳統方法不同,我們展示了LLM可以直接開箱即用地實現機器人領域的泛化,利用它們從海量文本數據中學習到的強大的總結能力。”
研究人員在論文網站上展示了一個機器人,它能夠將洗衣服分為淺色和深色,回收飲料罐,扔掉垃圾,收拾包和餐具,將散落的物品放回原處,并將玩具放入抽屜。
研究人員首先測試了一個基于文本的基準數據集,其中輸入了用戶偏好,并要求模型創建個性化規則來確定物品歸屬。模型將示例總結為一般規則,并使用總結來確定新物品的放置位置。基準場景定義在四個房間中,每個房間有24個場景。每個場景包含兩到五個放置物品的地方,并且有相同數量的已見和未見物品供模型分類。他們寫道,這個測試在未見物品上達到了91.2%的準確率。
當他們將這種方法應用到真實世界的機器人TidyBot時,他們發現它能夠成功地收拾85%的物體。TidyBot在八個真實場景中進行了測試,每個場景有一組十個物品,并在每個場景中運行機器人3次。據IT之家了解,除了LLM,TidyBot還使用了一個叫做CLIP的圖像分類器和一個叫做OWL-ViT的物體檢測器。
佐治亞理工學院交互計算學院的助理教授徐丹飛(Danfei Xu)在談到谷歌的PaLM-E模型時表示,LLM使機器人具有更多的問題解決能力。“以前的任務規劃系統大多依賴于一些形式的搜索或優化算法,這些算法不太靈活,也很難構建。LLM和多模態LLM使這些系統能夠從互聯網規模的數據中受益,并輕松地用于解決新問題。”他說。







