機器人專家正在開發(fā)可以通過觀察人類來學(xué)習(xí)新任務(wù)的自動化機器人。在未來，培訓(xùn)交互式機器人可能一天對每個人來說都是一件容易的事，即使那些沒有編程專業(yè)知識的人也是如此。這可以實現(xiàn)在家里，您可能有一天會向家用機器人展示如何做日常雜務(wù)，在工作場所中，您可以像新員工一樣訓(xùn)練機器人，向他們展示如何執(zhí)行許多職責(zé)。想想黑鏡中的場景，到那時，機器人會掌握更多的技能。
為了實現(xiàn)這一愿景，麻省理工學(xué)院的研究人員設(shè)計了一個系統(tǒng)，使這些類型的機器人可以學(xué)習(xí)復(fù)雜的任務(wù)，原先，按照機器人編程思維，這些日常任務(wù)就會用太多令人困惑的規(guī)則來阻礙它們，而自己人的自我學(xué)習(xí)則可以避開他們。這樣的系統(tǒng)最后任務(wù)之一是在某些條件下為人設(shè)置餐桌。
研究人員的這項系統(tǒng)的核心是“不確定規(guī)格計劃”（PUnS）系統(tǒng)，該機器人具有人性化的計劃能力，可以同時權(quán)衡許多模棱兩可（甚至可能相互矛盾）的要求，以達(dá)到最終目標(biāo)。這樣做時，系統(tǒng)總是根據(jù)關(guān)于要執(zhí)行的任務(wù)的一些可能允許的“條件”，從而選擇最可能采取的措施。
在他們的工作中，研究人員匯編了一個數(shù)據(jù)集，其中包含有關(guān)如何將八種物體（杯子，杯子，勺子，叉子，刀，餐盤，小盤子和碗）以各種配置放置在桌子上的信息。機械手臂首先觀察到隨機選擇的人類擺放桌子的演示。然后，研究人員要求該部門根據(jù)所看到的內(nèi)容，以特定的配置，在實際實驗和仿真中自動設(shè)置路徑。
為了獲得成功，研究人員嘗試了更多可能性，但即使研究人員故意移除，堆疊或隱藏物品，機器人也可以權(quán)衡許多可能的放置順序。在通常，所有這些都會使機器人過于困惑。但是研究人員的機器人在幾個真實的實驗中沒有犯任何錯誤，而在成千上萬的模擬測試運行中只有少數(shù)錯誤。
“我們的愿景是將編程交給領(lǐng)域?qū)＜遥麄兛梢酝ㄟ^直觀的方式對機器人進(jìn)行編程，而不是向工程師描述要添加代碼的工程師的指令，”航空學(xué)研究生的第一作者Ankit Shah說。宇航公司（AeroAstro）和互動機器人小組強調(diào)說，他們的工作只是實現(xiàn)這一愿景的第一步。“這樣一來，機器人將不再需要執(zhí)行預(yù)先編程的任務(wù)。工廠工人可以教機器人執(zhí)行多個復(fù)雜的組裝任務(wù)。家用機器人可以學(xué)習(xí)如何在家里堆放櫥柜，裝載洗碗機或擺放桌子。”
與Shah一同參加論文的還有AeroAstro和Interactive Robotics Group的研究生 Shen Li和Interactive Robotics Group的負(fù)責(zé)人Julie Shah，后者是AeroAstro和計算機科學(xué)與人工智能實驗室的副教授。
不確定的意圖
機器人是具有明確“目的”的任務(wù)的良好計劃者，但這項系統(tǒng)可以幫助他們描述機器人需要完成的任務(wù)，并考慮其動作，環(huán)境和最終目標(biāo)。原先通過觀察示范來學(xué)習(xí)擺桌子，充滿了不確定的可能性，因為機器人必須根據(jù)菜單和客人的座位將物品放置在某些位置，并根據(jù)物品的即時可用性或社交慣例將它們放置在某些順序中。而當(dāng)前的機器人規(guī)劃方法無法處理這種不確定的規(guī)范。
在目前，一種流行的計劃方法是“強化學(xué)習(xí)”，一種反復(fù)試驗的機器學(xué)習(xí)技術(shù)，獎勵和懲罰他們在完成任務(wù)時所采取的行動。但是對于不確定規(guī)格的任務(wù)，很難定義明確的獎勵和懲罰。簡而言之，機器人永遠(yuǎn)不會從對與錯中全面學(xué)習(xí)。
研究人員的系統(tǒng)稱為PUnS（用于不確定規(guī)格的計劃），使機器人能夠在一系列可能的規(guī)格上保持“信念”。然后可以使用信念本身來分配獎勵和懲罰。Ankit Shah說：“機器人本質(zhì)上是根據(jù)任務(wù)的意圖或想法來決定行為，并采取符合其想法的行動，而不是我們給出明確的要求。”
該系統(tǒng)建立在“線性時間邏輯”（LTL）之上，該語言是一種表達(dá)性語言，可以使機器人對當(dāng)前和未來的結(jié)果進(jìn)行推理。研究人員在LTL中定義了模板，這些模板對各種基于時間的條件進(jìn)行了建模，例如現(xiàn)在必須發(fā)生的事情，必須最終發(fā)生的事情以及必須發(fā)生直到發(fā)生其他事情為止。機器人對30個人演示設(shè)置表的觀察產(chǎn)生了25種不同LTL公式的概率分布。每個公式都為設(shè)置表格編碼了略有不同的首選項或規(guī)范。這種概率分布成為其想法（信念）。
“每個公式都編碼不同的東西，但是當(dāng)機器人考慮所有模板的各種組合，并試圖使所有東西都滿足時，它最終將做正確的事情，” Ankit Shah說。
遵循標(biāo)準(zhǔn)
研究人員還制定了一些標(biāo)準(zhǔn)，指導(dǎo)機器人滿足對這些候選公式的全部信念。例如，一個滿足最可能的公式，該公式以最高的概率丟棄除模板之外的所有其他內(nèi)容。其他人滿足最大數(shù)量的唯一公式，而不考慮其總概率，或者滿足代表最高總概率的幾個公式。另一個簡單地將誤差最小化，因此系統(tǒng)會忽略失敗概率很高的公式。
設(shè)計人員可以在訓(xùn)練和測試之前選擇四個標(biāo)準(zhǔn)中的任何一個進(jìn)行預(yù)設(shè)。每個人在靈活性和規(guī)避風(fēng)險之間都有自己的權(quán)衡。標(biāo)準(zhǔn)的選擇完全取決于任務(wù)。例如，在安全關(guān)鍵的情況下，設(shè)計人員可以選擇限制故障的可能性。但是在失敗后果不那么嚴(yán)重的情況下，設(shè)計人員可以選擇賦予機器人更大的靈活性，以嘗試不同的方法。
有了適當(dāng)?shù)臉?biāo)準(zhǔn)，研究人員開發(fā)了一種算法，將機器人的信念（指向所需公式的概率分布）轉(zhuǎn)換為等效的強化學(xué)習(xí)問題。該模型將根據(jù)決定遵循的規(guī)范，對執(zhí)行的動作給予獎勵或懲罰來對機器人進(jìn)行ping操作。
在模擬中要求機器人將工作臺設(shè)置為不同的配置時，在20,000次嘗試中，它僅犯了6個錯誤。在現(xiàn)實世界中的演示中，它顯示出類似于人類執(zhí)行任務(wù)的行為。例如，如果某個項目最初不可見，則機器人將完成不包含該項目的表格的其余部分的設(shè)置。然后，當(dāng)叉子被露出時，它將把叉子放在適當(dāng)?shù)奈恢谩Ｉ嘲⒄f：“靈活性非常重要。” “否則，當(dāng)它期望放置叉子而不完成剩余的桌子設(shè)置時，它將卡住。”
接下來，研究人員希望修改系統(tǒng)，以幫助機器人根據(jù)口頭指示，更正或用戶對機器人性能的評估來改變其行為。沙阿說：“假設(shè)一個人向機器人演示了如何在一個位置擺放桌子。這個人可能會說，'對所有其他位置都做同樣的事情'，或者'將刀子放在這里的叉子之前，” 。“我們希望為系統(tǒng)開發(fā)方法，使其自然適應(yīng)這些口頭命令，而無需進(jìn)行其他演示。”
