瑞士蘇黎世機(jī)器人系統(tǒng)實(shí)驗(yàn)室為他們的ANYmal機(jī)器狗開發(fā)了新的訓(xùn)練方法，利用強(qiáng)化學(xué)習(xí)，機(jī)器人學(xué)習(xí)的速度提升了1000倍，動作靈活性和速度都大幅增強(qiáng)，而且任踢不倒，或者在哪里跌倒就在哪里站起。

一提到機(jī)器狗，大家可能首先想到的是波士頓動力的SpotMini。

這只黃色小狗會跑會跳，還會上下樓梯，隨音樂熱舞，崎嶇地面行走如履平地，甚至還會幫“兄弟”開門，簡直成精了！難怪每回波士頓動力放出新視頻都會搶盡眼球。

波士頓動力的SpotMini會開門

不過這次，搶占眼球的是一只“在哪里跌倒就在哪里站起來”的黑色機(jī)器狗。這只機(jī)器狗來自瑞士蘇黎世機(jī)器人系統(tǒng)實(shí)驗(yàn)室，相關(guān)論文周三發(fā)表在Science Robotics雜志上。

ANYmal機(jī)器狗

要知道，先進(jìn)的機(jī)器人是很昂貴的，要教它們學(xué)會一項(xiàng)任務(wù)非常耗時(shí)。來自瑞士蘇黎世機(jī)器人系統(tǒng)實(shí)驗(yàn)室的一個(gè)研究小組稱，他們找到一種方法，通過適當(dāng)?shù)?a href="http://www.xsypw.cn/analog/" target="_blank">模擬，可以訓(xùn)練他們的機(jī)器人快速學(xué)習(xí)。

任踢不倒

摔了個(gè)狗啃泥，但沒關(guān)系，翻個(gè)身就能起來

在論文中，他們描述了一種系統(tǒng)，這種系統(tǒng)可以訓(xùn)練機(jī)器人以比以往任何時(shí)候都要快的速度移動，同時(shí)仍然能夠抵抗試圖將其撞倒的企圖。如果它真的被撞倒了，它甚至可以通過自身的力量重新站起來。

ANYmal跑過房間

這臺機(jī)器狗名為ANYmal，最初是由位于蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)機(jī)器人系統(tǒng)實(shí)驗(yàn)室的研究人員開發(fā)的，后來成為2016年成立的ANYbotics公司的一部分，開始商業(yè)化。

ANYmal可用于搜救任務(wù)，例如火災(zāi)搜救

不像現(xiàn)在的許多四足機(jī)器人，ANYmal有防水能力，是專門為穿越不太理想的環(huán)境而設(shè)計(jì)的，比如森林、工業(yè)場所和雪地。根據(jù)ANYbotics的說法，這款機(jī)器人已經(jīng)可以在現(xiàn)實(shí)世界中用于人類無法到達(dá)的危險(xiǎn)地區(qū)，包括搜救任務(wù)。它去年甚至出現(xiàn)在最近一集《X檔案》里，扮演一個(gè)攻擊機(jī)器人。

利用強(qiáng)化學(xué)習(xí)，訓(xùn)練速度提升1000倍

雖然在沒有人類輸入的情況下，四條腿的機(jī)器人比兩條腿的機(jī)器人在模仿真實(shí)生物的靈活性和協(xié)調(diào)性方面要領(lǐng)先得多，但仍有很大的改進(jìn)空間。

機(jī)器人專家已經(jīng)轉(zhuǎn)向的一個(gè)潛在的解決方案是一種稱為強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)形式。這種方法可以讓機(jī)器人通過反復(fù)試驗(yàn)來訓(xùn)練自己，找到執(zhí)行任務(wù)的最佳方式，比如走路。

簡而言之，強(qiáng)化學(xué)習(xí)可以讓機(jī)器人幾乎像能動物一樣“思考”和學(xué)習(xí)，具有自己的內(nèi)在邏輯。

然而，在一個(gè)有腿的、真實(shí)的機(jī)器人身上使用強(qiáng)化學(xué)習(xí)并不容易，因?yàn)樗鼈儽旧砗退鼈兊倪\(yùn)動都非常復(fù)雜。因此，目前為止，科學(xué)家們主要依靠計(jì)算機(jī)模擬機(jī)器人學(xué)習(xí)。但是，該研究論文的第一作者、蘇黎世聯(lián)邦理工學(xué)院機(jī)器人系統(tǒng)實(shí)驗(yàn)室的科學(xué)家Jemin Hwangbo說，使用這些模擬數(shù)據(jù)來訓(xùn)練ANYmal這樣的真實(shí)機(jī)器人也很困難。

利用模擬數(shù)據(jù)訓(xùn)練

他說：“為復(fù)雜的腿式系統(tǒng)開發(fā)控制策略是極具挑戰(zhàn)性的。機(jī)器人面臨的情況數(shù)不勝數(shù)，幾乎不可能設(shè)計(jì)出能涵蓋所有情況的控制邏輯。”

在這篇新論文中，Hwangbo和他的團(tuán)隊(duì)寫道，他們開發(fā)出一種神經(jīng)網(wǎng)絡(luò)，使他們能夠更好、更容易地將仿真數(shù)據(jù)轉(zhuǎn)換到機(jī)器人上。讓機(jī)器人利用模擬數(shù)據(jù)學(xué)習(xí)的速度比在現(xiàn)實(shí)世界學(xué)習(xí)快了近1000倍。

研究人員讓模擬機(jī)器狗自己訓(xùn)練了11個(gè)小時(shí)，然后將結(jié)果下載到物理機(jī)器人上。測試表明，該方法運(yùn)行良好，改進(jìn)版的ANYmal機(jī)器狗更加靈活，速度也更快。

研究小組還表示，他們能夠降低類似系統(tǒng)所需的計(jì)算力，只需要一臺普通PC就能執(zhí)行模擬。

上面的視頻展示了這一研究的最終結(jié)果，看起來確實(shí)令人印象深刻，也有點(diǎn)可怕。

使用模擬數(shù)據(jù)訓(xùn)練的ANYmal跑得更快，更節(jié)能，比它以往的最快跑步速度快了25%，同時(shí)也能更好地按照指令以一定的速度移動。

雖然它原本已經(jīng)是相當(dāng)強(qiáng)壯的機(jī)器人，但在研究人員盡力將其踢翻的過程中，新的訓(xùn)練仍然使它能夠保持直立。

它甚至可以從跌倒中翻身站起，研究人員稱，在類似復(fù)雜度的四足機(jī)器人上從未能做到這一點(diǎn)。

ANYmal機(jī)器狗的不同落體配置

從各種方向跌倒，ANYmal都能翻身站起

Hwango說，他們的新訓(xùn)練技術(shù)不是僅適用于ANYmal。他們認(rèn)為該技術(shù)可以幫助任何四足機(jī)器人更好地站立。但要訓(xùn)練機(jī)器人在各種各樣的環(huán)境下都能如此敏捷，仍有很多工作要做。

他說：“這篇論文提出的方法只針對平坦的地形。為了穿越崎嶇不平、非結(jié)構(gòu)化的地形，我們需要使用視覺傳感器和適當(dāng)?shù)恼邅硖幚磉@些信息。我們正在朝這個(gè)方向努力，希望不久能提出一個(gè)更全面的解決辦法。”

與此前的ANYmal機(jī)器人控制器相比，新的訓(xùn)練方法在使用更少的扭矩和功率的情況下，能使ANYmal行走更加精確。