這個名為 Dobb-E 的開源系統是使用從真實家庭中收集的數據進行訓練的。它可以教會機器人如何打開空氣炸鍋、關上門或鋪平靠墊等任務。
雖然其他類型的人工智能，如大型語言模型，是在從互聯網上收集的巨大數據庫上進行訓練的，但機器人卻不能做到這一點，因為它們所需的數據需要在真實世界里收集。這使得構建和擴展訓練數據集變得更加困難。
同樣，雖然訓練機器人在實驗室里執行任務相對容易，但實驗室里的條件和真實家庭里不可預測的狀況截然不同。
為了解決這些問題，該團隊想出了一種簡單、易于重復的方法來收集訓練 Dobb-E 所需的數據，他們將 iPhone 的錄像功能打開，然后將其放在通常用于拾取垃圾的機械手上，錄制它正在完成的工作。
紐約 22 戶家庭志愿參加數據收集，使用機械手完成了某些任務，包括打開和關閉門和抽屜、開燈和關燈，以及將紙巾放入垃圾桶。
iPhone 的激光雷達系統、運動傳感器和陀螺儀被用來記錄運動、深度和旋轉的數據，這是訓練機器人復刻這些動作時的重要信息。
在他們僅僅收集了 13 個小時的記錄后，該團隊使用這些數據訓練了一個人工智能模型，指導機器人如何執行這些動作。
該模型使用了自監督學習技術，該技術可以訓練神經網絡在未標記數據中自行發現數據集中的規律。
下一步包括測試一種名為 Stretch 的商用機器人如何可靠地使用人工智能系統執行任務，該機器人由輪子、高桿和可伸縮臂組成。一部裝在 3D 打印支架上的 iPhone 被連接到 Stretch 的手臂上，就像在機械臂上所做的那樣。
研究人員在紐約的 10 個家庭中對該機器人進行了 30 天的測試，完成了 109 項家庭任務，總體成功率為 81%。
Dobb-E 通常需要大約 20 分鐘的時間來學習每項任務。前 5 分鐘是人類用機械臂和 iPhone 進行演示，隨后的 15 分鐘是微調時間，系統會將之前的訓練與新的演示進行對比。
（來源：STEPHANIE ARNETT/MITTR | HELLO ROBOT, ENVATO）
微調完成后，機器人就可以完成簡單的任務，比如從杯子里倒東西、打開百葉窗和浴簾，或者從架子上取下桌游盒。
它還可以快速連續地執行多個動作，例如將罐頭放入回收袋中，然后提起袋子。
然而，并不是每一項任務都會成功。鏡子等能反射光的物體會讓該系統失靈。此外，由于機器人的重心較低，那些需要在高處拉重物的任務，如打開冰箱門，風險太大，無法嘗試。
機器人公司 Hello Robot 的聯合創始人、佐治亞理工大學前副教授查理·肯普（Charlie C.Kemp）表示，這項研究代表著家庭機器人領域的實際進展。盡管 Dobb-E 團隊使用了 Hello Robots 的研究機器人，但肯普沒有參與該項目。
他說：“家用機器人的未來真的來了。這不再只是一個瘋狂的夢想。擴大數據規模一直是機器人領域的一個挑戰，這是解決這個問題的一種非常有創意、聰明的方法。”
美國斯坦福大學計算機科學助理教授 Jiajun Wu 沒有參與這項研究，他說，到目前為止，Roomba 和其他機器人吸塵器是唯一真正成功的商用家用機器人。
他們的工作更容易，因為 Roomba 不與物體互動，事實上，它們的目的是避開物體。開發能夠完成更廣泛任務的家用機器人更具挑戰性，這正是這項研究可以幫助推進的事情。
美國紐約大學的研究團隊已經將該項目開源，他們希望其他人能夠下載代碼，并幫助擴展使用 Dobb-E 的機器人能夠實現的任務范圍。
參與該項目的紐約大學計算機科學研究員勒雷爾·平托（Lerrel Pinto）說：“我們希望，隨著我們獲得越來越多的數據，在未來的某個時候，當裝著 Dobb-E 的機器人來到一個新家時，你不必向它展示更多的例子。”
他說：“我們希望達到不必教機器人新任務的地步，因為它已經知道大多數房子里的所有任務了。”
作者簡介：麗亞農·威廉（Rhiannon Williams）負責撰寫《麻省理工科技評論》的 Download 欄目，同時她也是一名新聞記者。在加入《麻省理工技術評論》之前，她是 i newspaper 的技術記者和《每日電訊報》（Telegraph）的科技記者。她曾入圍 2021 年英國新聞獎，并定期作為專家出現在 BBC。
支持：Ren
