對于機器狗來說,想要在各種環境里如履平地,除了要有一雙靈敏的“眼睛”之外,最重要的是要有一顆聰明的“大腦”——在技術領域,這顆“大腦”叫做控制算法,可以讓機器狗在面對不同的情況時,用不同的方式移動、順利過關。
傳統的機器狗“大腦”一般有三種類型:第一種會先告訴好機器狗每一條腿的每一步該怎么走;
第二種是提前設計好一個方法,讓機器狗在實際行動中套用這個方法、去找到最好的答案再走;
第三種是向真實的狗狗“取經”,在狗身上綁上一堆傳感器來收集它移動的數據,再讓機器狗去學習真實的狗是怎么走的。
不過以上這些方法都存在著一個重要的問題:就是方案制定和實施過程中需要依賴大量的人類專家經驗。這就大大限制了機器狗“大腦“所能發揮的能力和觸達的邊界。
現在,百度團隊為機器狗安上了一顆全新的“大腦”,讓機器狗能夠自己去主動學習和訓練,面對高難度的環境挑戰時,自己就可以探索出用什么方法才能成功穿越了。
這顆新“大腦”里,最關鍵的部位叫基于自進化步態生成器的強化學習框架——簡單來說就是讓機器狗分兩步走:
第一步,機器狗能高效地通過“進化”的方式學習出自己的行動沿著什么軌跡走最合理,面對不同的環境要學習合適的“走法”。
第二步就要加上強化學習了,當機器狗在面對當前情況時使用了靈活的方式通過時,就給予“獎勵”;如果機器狗笨拙地摔倒了導致沒能完成任務,就會給予“懲罰”;就像真實世界里我們訓練狗狗一樣,機器狗通過訓練之后也會形成條件反射,不斷學會在各種環境中怎樣才能走的更好、更穩。
百度提出的這種新控制算法,也在實驗中取得了出色成績:相比別的機器狗,在上下樓梯、走斜坡、走獨木板、跳躍隔板等各種高難度的挑戰中,百度牌“大腦”的機器狗走得更加穩當,而且是唯一一個能完成所有場景難關任務的。
最重要的是,百度還將這個寶貴的機器狗“大腦”進行了開源,在百度飛槳的機器人倉庫中,你也可以使用這個“大腦”很方便地訓練屬于你自己的機器狗,發揮更多的創意和想象。
面對未來,機器狗也許會前往人們還沒探索過的高山、峽谷,即使沒有人類專家的經驗,只要擁有百度這顆聰明的“大腦”,機器狗都可以自己學習、輕松地翻山越嶺,把原本看不到的風景和知識帶回給我們,看到世界的每一面。
一
