小鹿在出生后十分鐘內就能站起來，七個小時內就能學會走路。在能夠站起來但還不會走路的這段時間里，它會非常可愛、非常狂熱地擺動它的四肢。

　　這就是人工智能機器人背后的理念。雖然自主機器人和自動駕駛汽車一樣，已經是一個被大眾所熟知的概念，但自主學習機器人仍然只是一個設想。現有的強化學習算法雖然能夠讓機器人通過反復試驗來學習動作，但仍嚴重依賴于人工干預。每當機器人跌倒或走出訓練環(huán)境時，它還是需要有人扶起它，并將它放回正確的位置。

　　最近，谷歌研究人員的一項新研究取得了重大進展，機器人可以在沒有人工干預的情況下學習走路。在幾個小時內，僅僅依靠對當前最先進算法的微調，它們成功地讓一個四條腿的機器人學會了完全獨立的向前走和向后走，以及左右轉彎。

　　圖 | 機器人在不同的地形上學習自主行走，包括平地（上）、記憶泡沫床墊（中）和鏤空的門墊（下） （來源：arxiv.org）

　　這項工作建立在一年前的研究基礎上，當時研究團隊首次發(fā)現了如何讓機器人在現實世界中學習。

　　此前，強化學習通常在模擬環(huán)境中進行：機器人的虛擬分身在模擬的環(huán)境中走來走去，直到算法足夠完善，可以使其安全運行為止。然后將其導入真正的機器人。

　　這種方法有助于避免機器人在反復實驗過程中對周圍環(huán)境的損傷，但也需要一個易于建模的環(huán)境。在機器人腳下模擬自然散落的沙礫或者彈簧床墊需要很長時間，根本不值得。

　　基于這種狀況，研究人員從一開始就決定通過在真實世界中訓練來避免困難的環(huán)境建模。他們設計了一種更高效的算法，可以使學習的試驗次數變少一點，并在兩個小時內讓機器人站起來行走。由于實際環(huán)境中會有自然變化，機器人也能夠快速適應其他相似的環(huán)境，如斜坡、臺階以及有障礙的平地。

　　但是，這個過程仍然需要人類去幫助機器人，并手動干預上百次，Google Brain 機器人運動團隊的負責人、論文合著者譚杰（音譯）說，“一開始我沒想過還需要人工干預。”

　　于是他們開始解決這個新問題。首先，他們限定了機器人可以探索的地形，并讓它一次性進行多重動作訓練。如果機器人在學習如何向前走的同時到達了限定地形的邊緣，它就會改變方向，開始學習如何向后走。

　　其次，研究人員還限制了機器人的訓練動作，讓它能夠謹慎一些，最大限度地減少反復摔倒帶來的傷害。當機器人不可避免地摔倒時，他們還添加了另一個硬編碼算法來幫助它站起來。

　　通過這些調整，機器人學會了如何在幾個不同的環(huán)境中自主行走，包括平地、記憶泡沫床墊和有縫隙的門墊。這項實驗給未來的某些應用帶來了可能性，有些情況可能需要機器人在沒有人類的情況下在坎坷和未知的地形中行走。

　　斯坦福大學助理教授切爾西 ? 芬恩（Chelsea Finn）表示：“這項工作令人感到非常興奮。” 芬恩也為谷歌工作，但沒有參與這項研究。“讓這個過程不再出現人工干預真的很難。機器人能夠更自主地學習，就更有可能在我們生活的現實世界中學習，而不是在實驗室里。”

　　但她也提醒到，目前的設置依賴于機器人上方的動作捕捉系統來確定其位置。這在現實世界中是不可能的。

　　接下來，研究人員希望他們的算法能適用于不同種類的機器人，或適用于多個機器人在同一環(huán)境中同時進行學習。譚杰相信，破解機器人的運動能力將是解鎖更多有用機器人的關鍵。

　　“很多地方都是為人類建造的，我們都用腿來走路，” 他說，“如果機器人學不會使用腿，它們就不能在人類世界中行走。”

　　編譯：潘瑾