專利名稱：有腿移動(dòng)機(jī)器人及其動(dòng)作教學(xué)方法和存儲(chǔ)介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種帶有具有多個(gè)自由度的關(guān)節(jié)的有腿移動(dòng)機(jī)器人、在機(jī)器人中教學(xué)動(dòng)作的方法和存儲(chǔ)介質(zhì)產(chǎn)品。更特別地，本發(fā)明涉及使用循環(huán)神經(jīng)網(wǎng)絡(luò)以時(shí)間序列數(shù)據(jù)的形式學(xué)會(huì)動(dòng)作模式的有腿移動(dòng)機(jī)器人、在機(jī)器人中教學(xué)動(dòng)作的方法和存儲(chǔ)介質(zhì)產(chǎn)品。
背景技術(shù)：
一種能夠根據(jù)電的或磁的作用以模擬人類動(dòng)作方式執(zhí)行動(dòng)作的機(jī)械機(jī)器被通常稱作“機(jī)器人”。據(jù)說“機(jī)器人”一詞源于斯拉夫語“ROBOTA(奴隸機(jī)器)”。在日本，機(jī)器人使用從20世紀(jì)60年代末開始傳播。然而，許多機(jī)器人是工業(yè)機(jī)器人，例如在工廠中意在用于生產(chǎn)工作的自動(dòng)化和無人看管的操作的操縱器和運(yùn)輸機(jī)器人。
當(dāng)使用時(shí)被固定地安裝在某特定地方的固定機(jī)器人，例如臂狀機(jī)器人，只在固定的和局部工作空間活動(dòng)，如零件裝配或挑選工作。另一方面，移動(dòng)機(jī)器人沒有在工作空間的限制，并能沿著預(yù)定路線或未定的路線自由移動(dòng)，來代替工人執(zhí)行預(yù)定的或任意的人類工作，并通過像人類、狗或其他生物的行為來提供多樣化的服務(wù)。特別地，與傳統(tǒng)的履帶或輪胎式機(jī)器人比較，有腿移動(dòng)機(jī)器人是更不穩(wěn)定的并且在姿態(tài)控制和行走控制上具有更大的困難，但有腿移動(dòng)機(jī)器人是更高級的，在于它不僅能夠不管地面是否平坦，實(shí)現(xiàn)靈活行走和跑步動(dòng)作，例如爬上或爬下樓梯或梯子和騎上障礙物，而且能夠在復(fù)雜的人類活動(dòng)空間共存。
最近，關(guān)于有腿移動(dòng)機(jī)器人的研究和發(fā)展，例如模仿四腿動(dòng)物的身體機(jī)構(gòu)和動(dòng)作，例如狗或貓的寵物機(jī)器人，和是“像人的”或“人類型的”并且基于兩腿站立行走動(dòng)物，如人類的模型、身體機(jī)構(gòu)和動(dòng)作設(shè)計(jì)的人性機(jī)器人已經(jīng)有了進(jìn)步并且對那些有腿機(jī)器人的實(shí)際使用的期望在增加。例如，SONY公司在2000年11月25日公開了兩腿行走人性機(jī)器人“SDR-3X”。
在機(jī)器人中灌輸預(yù)定的動(dòng)作叫作“教學(xué)”。動(dòng)作教學(xué)通過例如操作者或用戶在工地用手和腳抓住機(jī)器人時(shí)教動(dòng)作的方法或在例如計(jì)算機(jī)的機(jī)器人外部提供的編輯器上輸入、創(chuàng)造和編輯動(dòng)作模式的方法來執(zhí)行。
然而，在傳統(tǒng)的機(jī)器人中，要求操作者很高程度地理解并學(xué)會(huì)用于在機(jī)器人中教動(dòng)作的每個(gè)機(jī)器人的操作環(huán)境，并且在操作者的工作上施加了很重的負(fù)擔(dān)。
同樣，在用于在機(jī)器人中教和學(xué)動(dòng)作的傳統(tǒng)方法中，通常是跟著在機(jī)器人中事先安裝動(dòng)作數(shù)據(jù)和依據(jù)外部情況對應(yīng)于動(dòng)作數(shù)據(jù)再現(xiàn)動(dòng)作的處理。有了這樣的教和學(xué)的方法，當(dāng)再現(xiàn)機(jī)器人動(dòng)作時(shí)可以滿足運(yùn)動(dòng)學(xué)匹配和動(dòng)力學(xué)匹配，但是會(huì)出現(xiàn)難以創(chuàng)造新的動(dòng)作和不能處理意外的情況的問題。此外，因?yàn)橐o到機(jī)器人的動(dòng)作是脫機(jī)產(chǎn)生的，不能總是保證事先已經(jīng)給到機(jī)器人的動(dòng)作對于機(jī)器人的形狀和當(dāng)前工作環(huán)境是最適宜的。
當(dāng)引起人性機(jī)器人像人一樣執(zhí)行動(dòng)作時(shí)，公知的教學(xué)方法是使用在例如動(dòng)作捕捉器(capture)的動(dòng)作教學(xué)裝置的幫助下獲得的動(dòng)作模式來執(zhí)行機(jī)器人動(dòng)作控制。有了動(dòng)作捕捉器，用于實(shí)現(xiàn)要被教的動(dòng)作模式的骨架動(dòng)作可以通過用攝像機(jī)捕捉隸屬于人(操作者)的整個(gè)身體上的不同位置的測量點(diǎn)，并跟蹤測量點(diǎn)各自的移動(dòng)來獲得。
然而，在試圖模仿不同人類動(dòng)作操縱機(jī)器人的情況下，必須存儲(chǔ)對應(yīng)于那些人類動(dòng)作的所有動(dòng)作模式。
另外，在例如動(dòng)作捕捉器的動(dòng)作教學(xué)裝置的幫助下獲得的動(dòng)作模式可以直接應(yīng)用到機(jī)器人是不確定的。例如，因?yàn)槲锢硖匦?例如整個(gè)身體的權(quán)重平衡)在操作者和機(jī)器人的機(jī)器身體之間不同，不總會(huì)滿足運(yùn)動(dòng)學(xué)匹配和動(dòng)力學(xué)匹配，例如ZMP穩(wěn)定性確定標(biāo)準(zhǔn)，并且當(dāng)被捕捉動(dòng)作模式直接應(yīng)用到機(jī)器人時(shí)，不能再現(xiàn)一些教過的動(dòng)作。
同時(shí)，最近在機(jī)器人控制的幾個(gè)例子中利用了神經(jīng)網(wǎng)絡(luò)。
術(shù)語“神經(jīng)網(wǎng)絡(luò)”意思是人類大腦中神經(jīng)網(wǎng)絡(luò)的簡化模型并且也是神經(jīng)細(xì)胞，即神經(jīng)元，通過允許信號只從一個(gè)方向通過的神經(jīng)鍵相互連接的網(wǎng)絡(luò)。神經(jīng)元間的信號傳送通過神經(jīng)鍵來執(zhí)行，并且不同種的信息處理可以通過適當(dāng)?shù)卣{(diào)整每個(gè)神經(jīng)鍵的阻力，即，從每個(gè)神經(jīng)鍵施加的權(quán)重來實(shí)現(xiàn)。特別的，每個(gè)神經(jīng)元在用各自的神經(jīng)鍵加權(quán)后接收來自其他一個(gè)或更多神經(jīng)元的輸出，根據(jù)非線性響應(yīng)函數(shù)修改輸入值的總數(shù)，并且把修改過的結(jié)果輸出到另一個(gè)神經(jīng)元。
利用神經(jīng)網(wǎng)絡(luò)的控制對于例如摩擦力和粘性代表的非線性問題是直接適用的，并且消除了改變參數(shù)設(shè)定的需要，因?yàn)榭刂瓢藢W(xué)習(xí)功能。
例如，已經(jīng)轉(zhuǎn)讓給本申請的申請人的日本專利申請Nos.2000-251483和2000-273805的說明書公開了在自主移動(dòng)機(jī)器人中利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)功能。
那些說明書中，日本專利申請NO.2000-251483公開了包含感知傳感器，例如攝像機(jī)，和如學(xué)習(xí)機(jī)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)的機(jī)器人。這個(gè)被公開的機(jī)器人可以用它自己的可控制部分移動(dòng)外部的活動(dòng)的物體，使用感知傳感器感知物體放置的環(huán)境和物體的移動(dòng)，并且學(xué)習(xí)移動(dòng)機(jī)器人的各個(gè)關(guān)節(jié)的方式和物體的移動(dòng)之間的相互關(guān)系。同樣，機(jī)器人可以預(yù)測物體的移動(dòng)并且自己學(xué)會(huì)用于根據(jù)新穎性酬勞移動(dòng)物體的動(dòng)作。
日本專利申請No.2000-273805公開了能夠根據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)時(shí)間序列事件的機(jī)器人。這個(gè)被公開的機(jī)器人可以通過使用，如教學(xué)信號、音樂信息和時(shí)間序列關(guān)節(jié)角度參數(shù)學(xué)習(xí)音樂和機(jī)器人要作的姿態(tài)之間的相應(yīng)關(guān)系。在學(xué)習(xí)后，機(jī)器人可以從先前的機(jī)器人姿態(tài)預(yù)測后面的機(jī)器人姿態(tài)并且預(yù)測聽覺傳感器感知的音樂信息，并且可以與音樂相配進(jìn)行舞蹈。此外，對于還未教的一段音樂，機(jī)器人可以從已經(jīng)教過的那段音樂和到目前進(jìn)行過的舞蹈的經(jīng)驗(yàn)通過結(jié)合包含在到目前教過的音樂中并與那段音樂相近的舞蹈來進(jìn)行舞蹈。
然而，很少有神經(jīng)網(wǎng)絡(luò)應(yīng)用于使用動(dòng)作捕捉器在機(jī)器人中教動(dòng)作的情況的例子。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種可以使用循環(huán)神經(jīng)網(wǎng)絡(luò)滿意地學(xué)習(xí)以時(shí)間序列數(shù)據(jù)的形式的動(dòng)作模式的高級有腿機(jī)器人、一種在機(jī)器人中教學(xué)動(dòng)作的方法，以及一種存儲(chǔ)介質(zhì)產(chǎn)品。
考慮到本領(lǐng)域中上面提到的問題，根據(jù)本發(fā)明的第一方面，提供一種包含具有多個(gè)關(guān)節(jié)自由度的驅(qū)動(dòng)單元的有腿移動(dòng)機(jī)器人，該機(jī)器人包括動(dòng)作模式輸入單元，用于從外部輸入動(dòng)作模式；多個(gè)確定單元，用于提前存儲(chǔ)關(guān)于各個(gè)關(guān)節(jié)自由度的局部可行動(dòng)作模式，和每個(gè)單元確定從動(dòng)作模式輸入單元輸入的動(dòng)作模式和被存儲(chǔ)動(dòng)作模式之間的一致性；選通單元，用于選通在每個(gè)確定單元中的確定結(jié)果；合并單元，用于合并來自選通單元的輸出并為有腿移動(dòng)機(jī)器人的機(jī)器身體產(chǎn)生總動(dòng)作模式；以及教過動(dòng)作模式實(shí)現(xiàn)單元，用于在合并單元中存儲(chǔ)總計(jì)的結(jié)果作為教過的動(dòng)作模式數(shù)據(jù)，和/或在有腿移動(dòng)機(jī)器人的機(jī)器身體上再現(xiàn)結(jié)果。
在根據(jù)本發(fā)明的第一方面的有腿移動(dòng)機(jī)器人中，確定單元和選通單元分別被構(gòu)造為循環(huán)神經(jīng)網(wǎng)絡(luò)。
每個(gè)確定單元被構(gòu)造為循環(huán)神經(jīng)網(wǎng)絡(luò)，包含被構(gòu)造為輸入了輸入數(shù)據(jù)的單元組的輸入層、被構(gòu)造為輸出了網(wǎng)絡(luò)輸出的單元組的輸出層，和被構(gòu)造為不是前述的單元組的單元組的中間層。輸入層由輸入了有腿移動(dòng)機(jī)器人的機(jī)器身體的局部時(shí)間序列動(dòng)作模式的輸入單元，和上下文單元組成。中間層被構(gòu)造為隱藏單元。輸出單元由輸出了局部時(shí)間序列動(dòng)作模式的預(yù)測的輸出單元，和上下文單元組成。來自輸出層的部分輸出經(jīng)過上下文環(huán)被反饋到輸入層的上下文單元，由此確定單元可以進(jìn)行時(shí)間序列動(dòng)作模式的學(xué)習(xí)。
此外，選通單元被構(gòu)造為循環(huán)神經(jīng)網(wǎng)絡(luò)，包含被構(gòu)造為輸入了輸入數(shù)據(jù)的單元組的輸入層、被構(gòu)造為輸出了網(wǎng)絡(luò)輸出的單元組的輸出層、和被構(gòu)造為不是前述的單元組的單元組的中間層。輸入層由輸入了作為應(yīng)用到確定單元的權(quán)重的選通值的輸入單元，和上下文單元組成。中間層被構(gòu)造為隱藏單元。輸出層由輸出了作為應(yīng)用到確定單元的權(quán)重的選通值的輸出單元，和上下文單元組成。輸出層的部分輸出經(jīng)過上下文環(huán)被反饋到輸入層的上下文單元，由此選通可以進(jìn)行時(shí)間序列選通值的學(xué)習(xí)。
在根據(jù)本發(fā)明的第一方面的有腿移動(dòng)機(jī)器人中，構(gòu)造分層循環(huán)神經(jīng)網(wǎng)絡(luò)以便選通單元被安置在較高級并且確定單元被安置在較低級。每個(gè)確定單元處理局部動(dòng)作模式；即，當(dāng)它被自動(dòng)地按時(shí)間序列分割時(shí)處理動(dòng)作模式。然后，根據(jù)來自選通單元的選通輸出，合并單元為有腿移動(dòng)機(jī)器人的整個(gè)機(jī)器身體產(chǎn)生總動(dòng)作模式。
確定單元提前存儲(chǔ)關(guān)于各個(gè)關(guān)節(jié)自由度的可行動(dòng)作模式，并且每個(gè)確定單元確定從動(dòng)作模式輸入單元輸入的動(dòng)作模式和存儲(chǔ)的動(dòng)作模式之間的協(xié)議。換句話說，每個(gè)確定單元能夠根據(jù)經(jīng)驗(yàn)確定通過動(dòng)作模式輸入單元教過的動(dòng)作模式是否可行(即，是否滿足在機(jī)器身體中的運(yùn)動(dòng)學(xué)匹配和動(dòng)力學(xué)匹配)。
然后，合并單元能夠通過根據(jù)來自選通單元的各個(gè)選通輸出合并確定單元的確定結(jié)果并結(jié)合保證了可行性的局部動(dòng)作模式來產(chǎn)生總動(dòng)作模式。對于這樣的總動(dòng)作模式，在有腿移動(dòng)機(jī)器人的整個(gè)機(jī)器身體中保證了運(yùn)動(dòng)學(xué)匹配和動(dòng)力學(xué)匹配。
因此，有了根據(jù)本發(fā)明的第一方面的有腿移動(dòng)機(jī)器人，通過人類教學(xué)工作提供的動(dòng)作模式被用分層循環(huán)神經(jīng)網(wǎng)絡(luò)自動(dòng)地按時(shí)間序列分割，并且機(jī)器身體的動(dòng)作控制用被分割數(shù)據(jù)的結(jié)合來實(shí)施，所以可以產(chǎn)生不同的動(dòng)作模式。
此外，有了根據(jù)本發(fā)明的第一方面的有腿移動(dòng)機(jī)器人，可以使用機(jī)器人可行的并事先已經(jīng)學(xué)會(huì)的動(dòng)作模式在人性機(jī)器人上實(shí)現(xiàn)操作者教過的不同動(dòng)作。
在此使用的術(shù)語“可行動(dòng)作模式”是指在有腿移動(dòng)機(jī)器人的機(jī)器身體中保證了例如ZMP穩(wěn)定性確定標(biāo)準(zhǔn)的運(yùn)動(dòng)學(xué)匹配和動(dòng)力學(xué)匹配的動(dòng)作模式。
動(dòng)作模式輸入單元可以被構(gòu)造為用于用攝像機(jī)捕捉隸屬于操作者的整個(gè)身體上的不同位置的測量點(diǎn)、跟蹤測量點(diǎn)的移動(dòng)并獲得實(shí)現(xiàn)教過的動(dòng)作模式的骨架動(dòng)作的動(dòng)作捕捉裝置，或者可以被構(gòu)造為用于輸入通過動(dòng)作捕捉裝置獲得的動(dòng)作模式數(shù)據(jù)的裝置。
可選的，動(dòng)作模式輸入單元可以被構(gòu)造為用于輸入通過教學(xué)吊盒獲得的動(dòng)作模式數(shù)據(jù)的裝置。
作為可選，動(dòng)作模式輸入單元可以被構(gòu)造為用于輸入通過直接在有腿移動(dòng)機(jī)器人的機(jī)器身體上所做的直接教學(xué)獲得的動(dòng)作模式數(shù)據(jù)的裝置。
根據(jù)本發(fā)明的第二方面，提供了一種在包含具有多個(gè)關(guān)節(jié)自由度的驅(qū)動(dòng)單元的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，該方法包括的步驟有從外部輸入動(dòng)作模式的動(dòng)作模式輸入步驟；預(yù)先存儲(chǔ)關(guān)于各個(gè)關(guān)節(jié)自由度的局部可行動(dòng)作模式的多個(gè)確定步驟，以及每個(gè)步驟確定在動(dòng)作模式輸入步驟輸入的動(dòng)作模式與存儲(chǔ)的動(dòng)作模式之間的一致性(agreement)；選通在每個(gè)確定步驟中的確定結(jié)果的選通步驟；合并來自選通步驟的輸出并為有腿移動(dòng)機(jī)器人的機(jī)器身體產(chǎn)生總動(dòng)作模式的合并步驟；以及把在合并步驟中的總計(jì)結(jié)果存儲(chǔ)為教過的動(dòng)作模式數(shù)據(jù)，和/或在有腿移動(dòng)機(jī)器人的機(jī)器身體上再現(xiàn)結(jié)果的教過動(dòng)作模式實(shí)現(xiàn)步驟。
在根據(jù)本發(fā)明的第二方面的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作方法中，確定步驟和選通步驟每個(gè)由循環(huán)神經(jīng)網(wǎng)絡(luò)組成。更具體的，構(gòu)造分層循環(huán)神經(jīng)網(wǎng)絡(luò)以便選通步驟被安置在較高級并且確定步驟被安置在較低級。局部動(dòng)作模式被每個(gè)確定步驟處理；即，當(dāng)它被自動(dòng)地按時(shí)間序列分割時(shí)處理動(dòng)作模式。然后根據(jù)來自選通步驟的選通輸出，合并步驟為有腿移動(dòng)機(jī)器人的整個(gè)機(jī)器身體產(chǎn)生總動(dòng)作模式。
確定步驟預(yù)先存儲(chǔ)關(guān)于各個(gè)關(guān)節(jié)自由度的可行動(dòng)作模式，并且每個(gè)確定步驟確定在動(dòng)作模式輸入步驟輸入的動(dòng)作模式與存儲(chǔ)的動(dòng)作模式之間的一致性。換句話說，每個(gè)確定步驟可以根據(jù)經(jīng)驗(yàn)確定通過動(dòng)作模式輸入步驟教過的動(dòng)作模式是否可行(即，是否滿足機(jī)器身體中的運(yùn)動(dòng)學(xué)匹配和動(dòng)力學(xué)匹配)。
然后，合并單元可以通過根據(jù)來自選通步驟的各個(gè)選通輸出在確定步驟中合并確定結(jié)果并且結(jié)合保證了可行性的局部動(dòng)作模式來產(chǎn)生總動(dòng)作模式。對于這樣的總動(dòng)作模式，在有腿移動(dòng)機(jī)器人的機(jī)器身體中保證了運(yùn)動(dòng)學(xué)匹配和動(dòng)力學(xué)匹配。
因此，有了在根據(jù)本發(fā)明的第二方面的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，通過人類教學(xué)工作提供的動(dòng)作模式被用分層循環(huán)神經(jīng)網(wǎng)絡(luò)自動(dòng)地按時(shí)間序列分割，并且機(jī)器身體的動(dòng)作控制用被分割數(shù)據(jù)的結(jié)合來執(zhí)行，由此可以產(chǎn)生不同的動(dòng)作模式。
此外，有了在根據(jù)本發(fā)明的第二方面的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，操作者教過的不同動(dòng)作可以通過使用機(jī)器人可行的并事先學(xué)過的動(dòng)作模式在人性機(jī)器人上實(shí)現(xiàn)。
根據(jù)本發(fā)明的第三方面，提供了以計(jì)算機(jī)可讀取形式物理地存儲(chǔ)計(jì)算機(jī)軟件的存儲(chǔ)介質(zhì)產(chǎn)品。該計(jì)算機(jī)軟件被描述來在計(jì)算機(jī)系統(tǒng)上執(zhí)行在包含具有多個(gè)關(guān)節(jié)自由度的驅(qū)動(dòng)單元的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的處理，該計(jì)算機(jī)軟件包括步驟從外部輸入動(dòng)作模式的動(dòng)作模式輸入步驟；預(yù)先存儲(chǔ)關(guān)于各個(gè)關(guān)節(jié)自由度的局部可行動(dòng)作模式的多個(gè)確定步驟，以及每個(gè)步驟確定在動(dòng)作模式輸入步驟輸入的動(dòng)作模式與存儲(chǔ)的動(dòng)作模式之間的一致性；選通在每個(gè)確定步驟的確定結(jié)果的選通步驟；合并來自選通步驟的輸出和為有腿移動(dòng)機(jī)器人的機(jī)器身體產(chǎn)生總動(dòng)作模式的合并步驟；以及把在合并步驟中的總計(jì)結(jié)果存儲(chǔ)為教過的動(dòng)作模式數(shù)據(jù)，和/或在有腿移動(dòng)機(jī)器人的機(jī)器身體上再現(xiàn)結(jié)果的教過動(dòng)作模式實(shí)現(xiàn)步驟。
根據(jù)本發(fā)明的第三方面的存儲(chǔ)介質(zhì)產(chǎn)品是用于把計(jì)算機(jī)軟件以計(jì)算機(jī)可讀取形式提供到例如能夠執(zhí)行各種程序代碼的通用計(jì)算機(jī)系統(tǒng)的介質(zhì)。那種介質(zhì)例如是可拆卸的便攜式存儲(chǔ)介質(zhì)，例如CD(致密盤)、FD(軟盤)和MD(磁光盤)。作為可選，從技術(shù)的觀點(diǎn)看，經(jīng)過例如網(wǎng)絡(luò)(可以是無線的或有線的)的傳送介質(zhì)，把計(jì)算機(jī)軟件提供到特定的計(jì)算機(jī)系統(tǒng)也是可能的。
這樣的存儲(chǔ)介質(zhì)定義了計(jì)算機(jī)軟件與用于在計(jì)算機(jī)系統(tǒng)上實(shí)現(xiàn)預(yù)定計(jì)算機(jī)軟件的功能的存儲(chǔ)介質(zhì)之間的結(jié)構(gòu)的和功能的合作關(guān)系。換句話說，通過在計(jì)算機(jī)系統(tǒng)中通過根據(jù)本發(fā)明第三方面的存儲(chǔ)介質(zhì)產(chǎn)品安裝預(yù)定的計(jì)算機(jī)軟件，在計(jì)算機(jī)系統(tǒng)上發(fā)展了合作的動(dòng)作以至于可以獲得根據(jù)本發(fā)明的第一方面的有腿移動(dòng)機(jī)器人和根據(jù)本發(fā)明的第二方面的在有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法的可獲得的相似的操作和優(yōu)點(diǎn)。
本發(fā)明的其他目的、特點(diǎn)和優(yōu)點(diǎn)隨著下面參考本發(fā)明的實(shí)施例和附圖的詳細(xì)描述將變得明顯。


圖1顯示了根據(jù)本發(fā)明的實(shí)施例的有腿行走機(jī)器人1的外觀。
圖2示意性地顯示了在有腿移動(dòng)機(jī)器人1中組成自由度的模型。
圖3是顯示了有腿行走機(jī)器人1的電路和控制系統(tǒng)的構(gòu)造的方框圖。
圖4是顯示了控制部分20更詳細(xì)構(gòu)造的方框圖。
圖5是顯示了在機(jī)器人1上操作的軟件的控制構(gòu)造的方框圖。
圖6是顯示了中間設(shè)備層的內(nèi)部構(gòu)造的方框圖。
圖7是顯示了應(yīng)用層的內(nèi)部構(gòu)造的方框圖。
圖8是顯示了根據(jù)本實(shí)施例的分層循環(huán)神經(jīng)網(wǎng)絡(luò)的構(gòu)造的方框圖。
圖9是顯示了組成分層循環(huán)神經(jīng)網(wǎng)絡(luò)的較低級模塊的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250的構(gòu)造的一個(gè)例子的方框圖。
圖10是顯示了在閉合模式中操作的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250的構(gòu)造的一個(gè)例子的方框圖。
圖11是顯示了組成分層循環(huán)神經(jīng)網(wǎng)絡(luò)的較高級模塊的循環(huán)神經(jīng)網(wǎng)絡(luò)250的構(gòu)造的一個(gè)例子的方框圖。
圖12是顯示了操作在閉合模式中的選通(gating)循環(huán)神經(jīng)網(wǎng)絡(luò)250的構(gòu)造的一個(gè)例子的方框圖。
圖13是用于解釋在根據(jù)本實(shí)施例的有腿移動(dòng)機(jī)器人1中學(xué)習(xí)過程的一組解釋視圖；更具體的，圖13顯示了在要被控制的有腿移動(dòng)機(jī)器人1中可行的三種動(dòng)作模式數(shù)據(jù)A、B和C。
圖14是用于解釋在根據(jù)本實(shí)施例的有腿移動(dòng)機(jī)器人1中學(xué)習(xí)過程的一組解釋視圖；更具體的，圖14顯示了當(dāng)在時(shí)間t關(guān)節(jié)角度控制命令值向量em(t)被作為輸入給到專家循環(huán)神經(jīng)網(wǎng)絡(luò)250時(shí)，產(chǎn)生在時(shí)間t+1作為輸出的關(guān)節(jié)角度控制命令值向量em(t+1)的預(yù)測值的方式。
圖15是用于解釋在根據(jù)本實(shí)施例的有腿移動(dòng)機(jī)器人1中學(xué)習(xí)過程的一組解釋視圖；更具體的，圖15顯示了專家循環(huán)神經(jīng)網(wǎng)絡(luò)250如何形成閉合環(huán)并且自主產(chǎn)生學(xué)過的動(dòng)作模式。
圖16是用于解釋在根據(jù)本實(shí)施例的有腿移動(dòng)機(jī)器人100中學(xué)習(xí)過程的一組解釋視圖；更具體的，圖16顯示了從人類(操作者)的動(dòng)作通過使用動(dòng)作捕捉器作為動(dòng)作教學(xué)部件獲得教過的動(dòng)作模式數(shù)據(jù)的方式。
圖17是用于解釋在根據(jù)本實(shí)施例的有腿移動(dòng)機(jī)器人100中學(xué)習(xí)過程的一組解釋視圖；更具體的，圖17顯示了專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1等，作為較低級模塊，使用分層循環(huán)神經(jīng)網(wǎng)絡(luò)200在時(shí)間序列數(shù)據(jù)的分割學(xué)習(xí)中如何操作。
圖18是用于解釋在根據(jù)本實(shí)施例的有腿移動(dòng)機(jī)器人100中學(xué)習(xí)過程的一組解釋視圖；更具體的，圖18顯示了分層循環(huán)神經(jīng)網(wǎng)絡(luò)200如何學(xué)會(huì)把教過的動(dòng)作模式重造為選通循環(huán)神經(jīng)網(wǎng)絡(luò)270產(chǎn)生的選通值模式所要求的較低級模塊的綜合表達(dá)。
圖19是用于解釋在根據(jù)本實(shí)施例的有腿移動(dòng)機(jī)器人100中學(xué)習(xí)過程的一組解釋視圖；更具體的，圖19顯示了作為較低級模塊的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1等，如何根據(jù)選通循環(huán)神經(jīng)網(wǎng)絡(luò)270產(chǎn)生的選通值模式，通過在各自的網(wǎng)絡(luò)250-1等產(chǎn)生的動(dòng)作模式上分配權(quán)重并結(jié)合有權(quán)重的動(dòng)作模式來重造教過的動(dòng)作模式。
具體實(shí)施例方式
下面將會(huì)參考圖詳細(xì)地描述本發(fā)明的一個(gè)實(shí)施例。
圖1顯示了從前面和后面觀看的根據(jù)本發(fā)明的實(shí)施例的有腿行走機(jī)器人1的外表。這個(gè)行走機(jī)器人是像人的或是人的類型的娛樂機(jī)器人。機(jī)器人是由包括兩個(gè)胳膊和頭的上肢、包含用于實(shí)現(xiàn)移動(dòng)操作的兩條腿的下肢和相互連接上肢和下肢的軀干組成。此外，觸覺傳感器(未示出)被連到腳的地面接觸部分(腳底)以便可以檢測到腳在的地表面的觸覺。
圖2示意性地說明了在有腿移動(dòng)機(jī)器人1中組成自由度的模型。
支持頭部的脖子關(guān)節(jié)有由脖子關(guān)節(jié)偏轉(zhuǎn)軸、脖子關(guān)節(jié)傾斜軸和脖子關(guān)節(jié)滾動(dòng)軸代表的三個(gè)自由度。
同樣，每條胳膊是由肩關(guān)節(jié)傾斜軸、肩關(guān)節(jié)滾動(dòng)軸、上臂偏轉(zhuǎn)軸、肘關(guān)節(jié)傾斜軸、前臂偏轉(zhuǎn)軸、腕關(guān)節(jié)傾斜軸、腕關(guān)節(jié)滾動(dòng)軸和手組成。手實(shí)際上是包含多個(gè)手指并且有多個(gè)關(guān)節(jié)和多個(gè)自由度的結(jié)構(gòu)。然而，手部操作的自由度在這里假定為零。因此，每條胳膊有七個(gè)自由度。
此外，軀干有由軀干傾斜軸、軀干滾動(dòng)軸和軀干偏轉(zhuǎn)軸代表的三個(gè)自由度。
組成下肢的每條腿是由胯關(guān)節(jié)偏轉(zhuǎn)軸、胯關(guān)節(jié)傾斜軸、胯關(guān)節(jié)滾動(dòng)軸、膝關(guān)節(jié)傾斜軸、踝關(guān)節(jié)傾斜軸、踝關(guān)節(jié)滾動(dòng)軸和腳組成。人身體的腳實(shí)際上是包含腳底并且由多個(gè)關(guān)節(jié)和多個(gè)自由度的結(jié)構(gòu)。然而，在這個(gè)實(shí)施例中的行走機(jī)器人1的腳底的自由度假定為零。因此，每條左腿和右腿由六個(gè)自由度。
這樣，根據(jù)這個(gè)實(shí)施例的有腿移動(dòng)機(jī)器人1總共有32＝3+7×2+3+6×2個(gè)自由度。然而，本發(fā)明的有腿機(jī)器人不限于32個(gè)自由度。自由度的數(shù)量，即，關(guān)節(jié)的數(shù)量可以根據(jù)在設(shè)計(jì)和制造中的限制條件、需要的規(guī)格等按要求增加或減少是必然會(huì)出現(xiàn)的。
在有腿移動(dòng)機(jī)器人1中的關(guān)節(jié)的每個(gè)自由度實(shí)際上是使用調(diào)節(jié)器來實(shí)現(xiàn)的。調(diào)節(jié)器首選地是小型的并且輕權(quán)重的，用于滿足在外表消除過量膨脹時(shí)機(jī)器人有與人類自然身體的形狀相似的形狀和姿態(tài)控制必須在用兩腿行走的不穩(wěn)定結(jié)構(gòu)上進(jìn)行的要求。例如，屬于齒輪直接連接類型并且有以在馬達(dá)單元中的一個(gè)芯片的形式合并的伺服控制系統(tǒng)的小型AC伺服調(diào)節(jié)器可以適用于每個(gè)關(guān)節(jié)。那種類型的AC伺服調(diào)節(jié)器公開于，例如，已經(jīng)被轉(zhuǎn)讓給本申請的申請人的日本專利申請No.11-33386(日本未經(jīng)審查的專利申請公開No.2000-299970)。
在有腿移動(dòng)機(jī)器人1的軀干結(jié)構(gòu)中，裝配了合并一個(gè)微型計(jì)算機(jī)和其他電子零件的控制電路(未示出)和用于給整個(gè)被說明的機(jī)器人系統(tǒng)提供驅(qū)動(dòng)力的電池(未示出)。有了這樣的結(jié)構(gòu)，有腿移動(dòng)機(jī)器人1可以通過按要求驅(qū)動(dòng)調(diào)節(jié)器實(shí)現(xiàn)事先已經(jīng)被編程的動(dòng)作。
圖3是顯示了根據(jù)這個(gè)實(shí)施例的有腿移動(dòng)機(jī)器人1的電路和控制系統(tǒng)的構(gòu)造的方框圖。如圖3所示，有腿移動(dòng)機(jī)器人1包含用于執(zhí)行整個(gè)操作和其他數(shù)據(jù)處理的監(jiān)督控制的控制部分20；輸入/輸出部分40；驅(qū)動(dòng)部分50和動(dòng)力提供部分60。下面將描述那些部分。
輸入/輸出部分40包括，作為輸入單元的，對應(yīng)于有腿移動(dòng)機(jī)器人1的眼睛的CCD攝像機(jī)15、對應(yīng)于耳朵的麥克風(fēng)16和對應(yīng)于五種感覺的不同傳感器，例如，對應(yīng)于觸覺的觸覺傳感器18。另外，輸入/輸出部分40包括，作為輸出單元，對應(yīng)于嘴的揚(yáng)聲器17等等。輸出單元可以有效地以不同于腿等表達(dá)的機(jī)械動(dòng)作模式的形式表達(dá)來自有腿移動(dòng)機(jī)器人1的象征的用戶反饋。
提供了攝像機(jī)15，有腿移動(dòng)機(jī)器人1可以識別存在于工作空間的任何物體的形狀和顏色。同樣，除例如攝像機(jī)的視覺部件以外，有腿移動(dòng)機(jī)器人1可以包括用于接收被傳送的例如紅外線、聲波、超聲波和電波的波的單元。提供了那些接收單元，可以根據(jù)接收那些被傳送的波的傳感器的輸出測量發(fā)送源的位置和方向。
驅(qū)動(dòng)部分50是用于根據(jù)從控制部分20指令的預(yù)定動(dòng)作模式實(shí)現(xiàn)行走機(jī)器人1的機(jī)械動(dòng)作的功能塊，并且是由在每個(gè)關(guān)節(jié)，例如脖子、肩、肘、軀干、胯、膝和踝關(guān)節(jié)的滾動(dòng)、傾斜、偏轉(zhuǎn)和其他軸上按一對一關(guān)系提供的驅(qū)動(dòng)單元組成。在被說明的例子中，行走機(jī)器人1有n個(gè)關(guān)節(jié)的自由度，并且因此驅(qū)動(dòng)部分50包含數(shù)量n個(gè)驅(qū)動(dòng)單元。每個(gè)驅(qū)動(dòng)單元是由按預(yù)定軸旋轉(zhuǎn)的馬達(dá)51、用于檢測馬達(dá)51的旋轉(zhuǎn)位置的編碼器52和用于根據(jù)編碼器52的輸出適應(yīng)地控制馬達(dá)51的旋轉(zhuǎn)位置和速度的驅(qū)動(dòng)53的結(jié)合組成。
動(dòng)力提供部分60是如字面上理解的用于給在有腿移動(dòng)機(jī)器人1中的不同電路等提供電力的功能模塊。根據(jù)這個(gè)實(shí)施例的有腿移動(dòng)機(jī)器人1是屬于使用電池的自主驅(qū)動(dòng)類型，并且動(dòng)力提供部分60包含充電電池61和用于管理充電電池61的充電/放電狀態(tài)的充電/放電控制器62。
充電電池61被構(gòu)造為，例如，包含包裝成套筒形式的多個(gè)鎳鎘電池的“電池包”。
充電/放電控制器62測量，例如，終端電壓、充電/放電電流的量和電池61的周圍溫度，從而確定電池61的剩余電量并確定開始/結(jié)束充電的時(shí)間等。
控制部分20對應(yīng)于“大腦”并裝配在，例如，移動(dòng)機(jī)器人1的頭單元3或身體單元2中。
圖4更加詳細(xì)地顯示了控制單元20的構(gòu)造。在控制單元20中，如圖4所示，作為主控制器的CPU(中央處理單元)經(jīng)過總線被連接到存儲(chǔ)器、其他不同電路元件和外圍單元。具體地址(存儲(chǔ)器地址或I/O地址)被分配到連接到總線27的各個(gè)單元以便CPU21可以與連接到總線27的任何一個(gè)選定單元通信。
RAM(隨機(jī)存取存儲(chǔ)器)22是由易失性存儲(chǔ)器，例如DRAM(動(dòng)態(tài)RAM)組成的可寫存儲(chǔ)器，并且它是用來在其中裝載CPU21執(zhí)行的用于機(jī)器人控制的程序編碼和暫時(shí)地存儲(chǔ)工作數(shù)據(jù)。
ROM(只讀存儲(chǔ)器)23是用于永久存儲(chǔ)程序和數(shù)據(jù)的只讀存儲(chǔ)器。存儲(chǔ)在ROM23的程序編碼包含在有腿移動(dòng)機(jī)器人1的動(dòng)力接通狀態(tài)下執(zhí)行的自我診斷測試程序和用于定義移動(dòng)機(jī)器人1的操作的控制程序(固件)。
在這個(gè)實(shí)施例中，根據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的學(xué)習(xí)功能被應(yīng)用到有腿移動(dòng)機(jī)器人1的控制程序。使用循環(huán)神經(jīng)網(wǎng)絡(luò)可以使機(jī)器人進(jìn)行時(shí)間序列的學(xué)習(xí)。例如，可以通過用分層循環(huán)神經(jīng)網(wǎng)絡(luò)自動(dòng)地分割并存儲(chǔ)動(dòng)作捕捉器等已經(jīng)捕捉到的動(dòng)作模式，并根據(jù)被分割的時(shí)間序列數(shù)據(jù)片的結(jié)合進(jìn)行動(dòng)作控制來產(chǎn)生不同的動(dòng)作。后面將描述循環(huán)神經(jīng)網(wǎng)絡(luò)的構(gòu)造和使用循環(huán)神經(jīng)網(wǎng)絡(luò)的學(xué)/教機(jī)構(gòu)的細(xì)節(jié)。
非易失性存儲(chǔ)器24是由能夠被電擦除和重寫的存儲(chǔ)器裝置組成的，例如EEPROM(電可擦除和可編程ROM)，并且它被用來以非易失性的方式保留要被連續(xù)更新的數(shù)據(jù)。要被連續(xù)更新的數(shù)據(jù)包括，例如，用于定義有腿移動(dòng)機(jī)器人1的行為模式的模型。
接口25是連接控制部分20外面的單元的裝置，以便可以在它們之間交換數(shù)據(jù)。接口25可以使關(guān)于例如攝像機(jī)15、麥克風(fēng)16和揚(yáng)聲器17的數(shù)據(jù)輸入和輸出。另外，接口25可以使關(guān)于在驅(qū)動(dòng)單元50中的驅(qū)動(dòng)器53-1的數(shù)據(jù)和命令輸入和輸出。此外，接口25可以使關(guān)于動(dòng)力提供部分60的充電開始和結(jié)束信號傳遞。
另外，接口25可以包含用于連接計(jì)算機(jī)外圍單元的通用接口，例如，串行接口如RS(推薦標(biāo)準(zhǔn))-232C、并行接口如IEEE(電氣和電子工程師協(xié)會(huì))1284、USB(通用串行總線)接口、i-Link(IEEE1394)接口和SCSI(小型計(jì)算機(jī)系統(tǒng)接口)，以便程序和數(shù)據(jù)關(guān)于本地連接的外部裝置移動(dòng)。
此外，接口25可以作為在其中合并的一個(gè)單元包含用于具有外部裝置的無線通信的紅外線通信(IrDA)接口。從接收靈敏性的觀點(diǎn)來看，用于紅外線通信的傳送和接收單元被首選地提供在有腿移動(dòng)機(jī)器人1的身體的前端，例如，在頭單元。
控制部分20還包含無線通信接口26和網(wǎng)絡(luò)接口卡(NIC)27以便關(guān)于外部主機(jī)100經(jīng)過鄰近區(qū)域無線通信(例如Bluetooth(藍(lán)牙)和IEEE802.11b、LAN(局域網(wǎng))或互聯(lián)網(wǎng))可以進(jìn)行數(shù)據(jù)通信。
在機(jī)器人和主機(jī)之間的數(shù)據(jù)通信用來使用在遠(yuǎn)程計(jì)算機(jī)資源遙控有腿移動(dòng)機(jī)器人1的操作。數(shù)據(jù)通信的另一個(gè)目的是把機(jī)器人1的操作控制必要的數(shù)據(jù)和程序，例如動(dòng)作模型和其他程序編碼，經(jīng)過網(wǎng)絡(luò)提供到行走機(jī)器人1。數(shù)據(jù)通信的另一個(gè)目的是把由動(dòng)作捕捉器、教學(xué)吊盒(pendant)等獲得的教學(xué)數(shù)據(jù)傳遞到機(jī)器人側(cè)(當(dāng)然，操作者可以通過對機(jī)器人1的機(jī)器身體施加外力直接在有腿移動(dòng)機(jī)器人1中教動(dòng)作)。
實(shí)際上通過CPU21執(zhí)行預(yù)定軟件程序?qū)崿F(xiàn)有腿移動(dòng)機(jī)器人1的操作控制。圖5示意性地顯示了在根據(jù)本實(shí)施例的有腿移動(dòng)機(jī)器人1上操作的軟件的控制構(gòu)造。
如圖5所示，用于機(jī)器人控制的軟件有由多層軟件組成的分層結(jié)構(gòu)?？梢愿鶕?jù)面向?qū)ο蟮木幊虦?zhǔn)備控制軟件。在那種情況下，每個(gè)軟件在被叫做“對象”的模塊單元中處理，其中數(shù)據(jù)和數(shù)據(jù)的處理程序被相互地聯(lián)合起來。
在最低層的裝置驅(qū)動(dòng)器是允許直接訪問硬件，例如每個(gè)關(guān)節(jié)調(diào)節(jié)器的驅(qū)動(dòng)和傳感器輸出的接收，并且響應(yīng)于來自硬件的中斷要求執(zhí)行相關(guān)處理的對象。
虛構(gòu)機(jī)器人是在每個(gè)不同裝置驅(qū)動(dòng)器和根據(jù)預(yù)定對象間通信協(xié)議操作的對象中間的對象。對每個(gè)組成有腿移動(dòng)機(jī)器人1的硬件裝置的任何訪問通過虛構(gòu)機(jī)器人來進(jìn)行。
服務(wù)管理器是用于根據(jù)在連接文件中描述的對象間連接信息促使每個(gè)對象進(jìn)行連接的系統(tǒng)對象。
在高于系統(tǒng)層的層上的軟件是每個(gè)對象(處理)模塊的形式，并且被構(gòu)造以便對每個(gè)要求的功能可以用另外一個(gè)容易地選擇和替換任何對象。通過重寫連接文件，因此，可以自由連接數(shù)據(jù)類型相匹配的對象的輸入/輸出。
不同于裝置驅(qū)動(dòng)器層和系統(tǒng)層的軟件模塊主要地被分為中間設(shè)備層和應(yīng)用層。
圖6示意性地顯示了中間設(shè)備層的內(nèi)部構(gòu)造。
中間設(shè)備層是提供有腿移動(dòng)機(jī)器人1的基本功能的軟件模塊的集合。每個(gè)模塊的構(gòu)造依賴于例如機(jī)械和電氣特性、有腿移動(dòng)機(jī)器人1的規(guī)格和形狀的硬件屬性。
從功能的觀點(diǎn)來看，中間設(shè)備層可以分為識別系統(tǒng)中間設(shè)備層(圖6的左半部)和輸出系統(tǒng)中間層(圖6的右半部)。
識別系統(tǒng)中間設(shè)備層接收并處理通過虛構(gòu)機(jī)器人從硬件提供的原始數(shù)據(jù)，例如圖像數(shù)據(jù)、語音數(shù)據(jù)和其他從傳感器檢測到的數(shù)據(jù)。更具體的，識別系統(tǒng)中間設(shè)備層根據(jù)不同種的輸入信息執(zhí)行處理，例如語音識別、距離檢測、姿態(tài)檢測、觸覺、移動(dòng)檢測和顏色識別，并且然后獲得識別結(jié)果(例如，“檢測到一個(gè)球”，“檢測到摔倒”，“被撫摸了”，“被打了”，“聽到了音階倒(do)，咪(mi)，搔(so)”，“檢測到(一個(gè)移動(dòng)物體)”，“檢測到(一個(gè)障礙)”和“識別到(一個(gè)障礙)”)。識別結(jié)果通過輸入語義轉(zhuǎn)換器被通知到上級應(yīng)用層，并且在隨后的步驟例如行為程序的計(jì)劃和學(xué)習(xí)中被利用。
另一方面，輸出系統(tǒng)中間設(shè)備層提供各種功能，例如行走、動(dòng)作的再現(xiàn)、輸出聲音的合成和對應(yīng)于眼睛的LED照明控制。更具體的，輸出系統(tǒng)中間設(shè)備層通過輸出語義轉(zhuǎn)換器接收在應(yīng)用層計(jì)劃的行為程序，產(chǎn)生對有腿移動(dòng)機(jī)器人1的每個(gè)功能的每個(gè)機(jī)器人關(guān)節(jié)的伺服命令值、輸出聲音、輸出光(LED)、輸出語音等，并且輸出它，即通過虛構(gòu)機(jī)器人作為有腿移動(dòng)機(jī)器人1的身體動(dòng)作發(fā)出它。有了這樣的機(jī)構(gòu)，應(yīng)用層可以通過應(yīng)用不是物理命令，例如對關(guān)節(jié)調(diào)節(jié)器的控制命令，而是更抽象的行為命令(例如向前或向后行走、表示快樂、叫、睡、鍛煉、表示驚奇或跟蹤)來控制有腿移動(dòng)機(jī)器人1。
圖7示意性地顯示了應(yīng)用層的內(nèi)部構(gòu)造。應(yīng)用層由一個(gè)或更多的用于控制有腿移動(dòng)機(jī)器人1的身體動(dòng)作和內(nèi)部狀態(tài)，例如本能和情感的應(yīng)用軟件組成。
應(yīng)用程序使用通過輸入語義轉(zhuǎn)換器接收到的識別結(jié)果決定有腿移動(dòng)機(jī)器人1的行為程序，并且通過輸出語義轉(zhuǎn)換器返回被決定的行為。
應(yīng)用程序包括包含以模型的形式的機(jī)器人的情感的情感模型、包含以模型的形式的機(jī)器人的情感的本能模型、用于連續(xù)地存儲(chǔ)外部事件的學(xué)習(xí)模塊、包含以模型的形式的行為模式的行為模型和用于轉(zhuǎn)換由行為模型決定的行為的輸出目的地的行為轉(zhuǎn)換單元。
通過輸入語義轉(zhuǎn)換器應(yīng)用的識別結(jié)果被輸入到情感模型、本能模型和行為模型，并且也被作為學(xué)習(xí)和教學(xué)信號輸入到學(xué)習(xí)模塊。
由行為模型決定的有腿移動(dòng)機(jī)器人1的行為經(jīng)過行為轉(zhuǎn)換單元和輸出語義轉(zhuǎn)換器被傳送到中間設(shè)備，并且然后在有腿移動(dòng)機(jī)器人1的機(jī)器身體上被執(zhí)行。作為另一個(gè)路線，被決定的行為被作為行為歷史提供到情感模型、本能模型和學(xué)習(xí)模塊。
每個(gè)情感模型和本能模型作為輸入接收識別結(jié)果和行為歷史，并且管理情感值和本能值。行為模型可以參考情感值和本能值。此外，學(xué)習(xí)模塊響應(yīng)于學(xué)習(xí)和教學(xué)信號更新行為選擇概率并且把更新的內(nèi)容提供到行為模型。
根據(jù)這個(gè)實(shí)施例的學(xué)習(xí)模塊通過用關(guān)節(jié)角度參數(shù)相互關(guān)聯(lián)通過動(dòng)作教學(xué)裝置(未示出)，例如動(dòng)作捕捉器和教學(xué)吊盒，或通過操作者對機(jī)器身體的直接教學(xué)獲得的時(shí)間序列數(shù)據(jù)，進(jìn)行時(shí)間序列數(shù)據(jù)的學(xué)習(xí)。循環(huán)神經(jīng)網(wǎng)絡(luò)的系統(tǒng)用于學(xué)習(xí)時(shí)間序列數(shù)據(jù)。
在此，術(shù)語“神經(jīng)網(wǎng)絡(luò)”是指在人類大腦中的神經(jīng)網(wǎng)絡(luò)的簡化的模型并且是神經(jīng)細(xì)胞，即神經(jīng)元，通過允許信號只按一個(gè)方向通過的神經(jīng)鍵被相互連接的網(wǎng)絡(luò)。神經(jīng)元之間的信號傳送通過神經(jīng)鍵進(jìn)行，并且不同種的信息處理可以通過適當(dāng)?shù)卣{(diào)整每個(gè)神經(jīng)鍵的電阻(resistance)，即，從每個(gè)神經(jīng)鍵應(yīng)用的權(quán)重來實(shí)現(xiàn)。特別的，每個(gè)神經(jīng)元在用各自的神經(jīng)鍵加權(quán)后接收來自其他一個(gè)或更多神經(jīng)元的輸出，根據(jù)非線性響應(yīng)函數(shù)修改輸入值的總數(shù)，并且把修改過的結(jié)果輸出到另一個(gè)神經(jīng)元。
另外，循環(huán)神經(jīng)網(wǎng)絡(luò)允許擁有從以前的每個(gè)單元發(fā)出的輸出在網(wǎng)絡(luò)中被返回到另一個(gè)單元(或本身)的關(guān)系的連接。因此，循環(huán)神經(jīng)網(wǎng)絡(luò)可以包含神經(jīng)元的各自的狀態(tài)根據(jù)時(shí)間改變的動(dòng)力學(xué)特性，并且可以識別和預(yù)測時(shí)間序列模式。
有了這樣以分層形式構(gòu)造的循環(huán)神經(jīng)網(wǎng)絡(luò)，在這一實(shí)施例中的學(xué)習(xí)模塊可以自動(dòng)地分開并存儲(chǔ)作為時(shí)間序列數(shù)據(jù)給出的動(dòng)作模式，并且可以通過通過把被分開的時(shí)間序列數(shù)據(jù)相互結(jié)合起來進(jìn)行的動(dòng)作控制再現(xiàn)不同的動(dòng)作模式。
圖8示意性地顯示了根據(jù)這個(gè)實(shí)施例的分層循環(huán)神經(jīng)網(wǎng)絡(luò)的構(gòu)造。
圖8所示的分層循環(huán)神經(jīng)網(wǎng)絡(luò)是通過以分層的形式安排單獨(dú)的循環(huán)神經(jīng)網(wǎng)絡(luò)(以后描述)來構(gòu)造的。
被說明的分層循環(huán)神經(jīng)網(wǎng)絡(luò)200包含由多個(gè)學(xué)習(xí)局部時(shí)間序列模式的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1，250-2，...，250-n組成的較低級模塊，和由學(xué)習(xí)可以表達(dá)為局部時(shí)間序列模式的結(jié)合的整個(gè)時(shí)間序列模式的選通循環(huán)神經(jīng)網(wǎng)絡(luò)270組成的較高級模塊。
教過的動(dòng)作關(guān)節(jié)角度時(shí)間序列數(shù)據(jù)Ti(t)被輸入到每個(gè)構(gòu)成較低級模塊的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i。教過的動(dòng)作關(guān)節(jié)角度時(shí)間序列數(shù)據(jù)Ti(t)被作為有腿移動(dòng)機(jī)器人1的每個(gè)關(guān)節(jié)的控制命令值mi(t)給出。教過的動(dòng)作關(guān)節(jié)角度時(shí)間序列數(shù)據(jù)Ti(t)可以通過使用，例如，動(dòng)作捕捉器、教學(xué)吊盒或直接教學(xué)的教學(xué)工作來提供。對應(yīng)于教過的動(dòng)作關(guān)節(jié)角度時(shí)間序列數(shù)據(jù)Ti(t)的輸入，專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i輸出關(guān)節(jié)角度控制命令值預(yù)測m’i(t+1)。
組成較高級模塊的選通循環(huán)神經(jīng)網(wǎng)絡(luò)輸出作為對每個(gè)專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i分配的權(quán)重值的選通值gi(t)。
通過從組成較高級模塊的選通循環(huán)神經(jīng)網(wǎng)絡(luò)270把選通值，即，權(quán)重gi(t+1)應(yīng)用到組成較低級模塊的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i的輸出mi(t+1)，并且然后合并給自的結(jié)果，輸出了對由分層循環(huán)神經(jīng)網(wǎng)絡(luò)200處理的整個(gè)模塊的關(guān)節(jié)角度控制命令值預(yù)測Mi(t+1)。
組成較低級模塊的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1，250-2，...，250-n處理相應(yīng)的關(guān)節(jié)角度，即，在有腿移動(dòng)機(jī)器人1中的局部動(dòng)作模式。每個(gè)專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i有選擇地存儲(chǔ)關(guān)于相應(yīng)的關(guān)節(jié)角度教過的動(dòng)作模式mi(t)作為時(shí)間序列數(shù)據(jù)。然后，當(dāng)從在下一時(shí)間輸入的時(shí)間序列數(shù)據(jù)mi(t)出現(xiàn)學(xué)過的動(dòng)作模式時(shí)，專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i輸出命令值預(yù)測mi(t+1)作為檢測到的信號。
較高級模塊在應(yīng)用相應(yīng)的選通值gi(t+1)，即，從選通循環(huán)神經(jīng)網(wǎng)絡(luò)分配的權(quán)重后，合并來自每個(gè)較低級模塊的命令值預(yù)測mi(t+1)，并且然后輸出代表要被分層循環(huán)神經(jīng)網(wǎng)絡(luò)200處理的整個(gè)模塊的整個(gè)命令值預(yù)測的Mi(t+1)。
在圖8所示的用分層循環(huán)神經(jīng)網(wǎng)絡(luò)200的學(xué)習(xí)過程中，教過的動(dòng)作關(guān)節(jié)角度時(shí)間序列數(shù)據(jù)Ti(t+1)被作為在下一時(shí)間t+1的目標(biāo)值提供。然后，根據(jù)Ti(t+1)通過合并每個(gè)專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i的輸出mi(t+1)獲得的整個(gè)模塊的輸出Mi(t+1)之間的錯(cuò)誤控制在選通循環(huán)神經(jīng)網(wǎng)絡(luò)270中的每個(gè)選通值的狀態(tài)。
分層循環(huán)神經(jīng)網(wǎng)絡(luò)的構(gòu)造和操作的細(xì)節(jié)公開于例如日本未經(jīng)審查的專利申請公開No.11-126198(標(biāo)題“數(shù)據(jù)處理設(shè)備和方法，以及存儲(chǔ)介質(zhì)產(chǎn)品”)中，其已經(jīng)被轉(zhuǎn)讓給本申請的申請人。
圖9示意性地顯示了組成圖8所示的分層循環(huán)神經(jīng)網(wǎng)絡(luò)200的較低級模塊的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i的構(gòu)造的一個(gè)例子。圖10示意性地顯示了操作在封閉模式中的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250的構(gòu)造的一個(gè)例子。
如圖9所示，專家循環(huán)神經(jīng)網(wǎng)絡(luò)250包含作為輸入數(shù)據(jù)輸入到的單元組組成的輸入層、作為輸出網(wǎng)絡(luò)輸出的單元組組成的輸出層和作為不同于上面提到的單元組組成的中間設(shè)備層。
在圖9所示的例子中，輸入層是由相應(yīng)的關(guān)節(jié)調(diào)節(jié)器i的關(guān)節(jié)角度控制命令值mi(t)輸入到的輸入單元251和上下文(context)單元252組成。中間設(shè)備層是作為隱藏單元253組成的。此外，輸出層是由輸出對關(guān)節(jié)調(diào)機(jī)器i的關(guān)節(jié)角度控制命令值預(yù)測m’i(t)的輸出單元254和上下文單元255組成。那些單元的每一個(gè)包含預(yù)定數(shù)量的神經(jīng)元。
關(guān)節(jié)角度控制命令值mi(t)作為代表相應(yīng)關(guān)節(jié)調(diào)制器i的時(shí)刻對時(shí)刻狀態(tài)的時(shí)間序列數(shù)據(jù)被輸入到輸入單元251。來自輸入單元251的神經(jīng)元的輸出通過中間設(shè)備層253的神經(jīng)元被提供到輸出單元254的神經(jīng)元和上下文單元255。
輸出單元254的神經(jīng)元輸出由專家循環(huán)神經(jīng)網(wǎng)絡(luò)250處理的對關(guān)節(jié)調(diào)節(jié)器i的關(guān)節(jié)角度控制命令值預(yù)測m’i(t+1)。
另外，來自輸出單元254的一部分輸出作為上下文Ci(t)經(jīng)過上下文環(huán)(context loop)被反饋到輸入層的上下文單元252。上下文環(huán)的提供使時(shí)間序列事件的學(xué)習(xí)能夠進(jìn)行。
用圖9和10所示的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-i的學(xué)習(xí)是通過根據(jù)從網(wǎng)絡(luò)250-i輸出的關(guān)節(jié)角度控制命令值預(yù)測m’i(t+1)與實(shí)際在下一時(shí)間命令的關(guān)節(jié)角度控制命令mi(t+1)之間的錯(cuò)誤的反傳播處理來執(zhí)行的。有了這樣的神經(jīng)元學(xué)習(xí)機(jī)構(gòu)，可以從輸入的時(shí)間序列動(dòng)作模式數(shù)據(jù)預(yù)測在下一時(shí)間的動(dòng)作模式數(shù)據(jù)。
圖11示意性地顯示了圖8所示的組成分層循環(huán)神經(jīng)網(wǎng)絡(luò)200的較高級模塊的選通循環(huán)神經(jīng)網(wǎng)絡(luò)270的構(gòu)造的一個(gè)例子。圖12示意性地顯示了操作在閉合模式中的選通循環(huán)神經(jīng)網(wǎng)絡(luò)270的構(gòu)造的一個(gè)例子。
選通循環(huán)神經(jīng)網(wǎng)絡(luò)270學(xué)習(xí)可以表達(dá)為由單獨(dú)的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1等提供的局部時(shí)間序列模式的結(jié)合的整個(gè)時(shí)間序列模式。
如圖11所示，選通循環(huán)神經(jīng)網(wǎng)絡(luò)270包含作為輸入數(shù)據(jù)輸入到的單元組組成的輸入層、作為輸出網(wǎng)絡(luò)輸出的單元組組成的輸出層和作為不同于上面提到的單元組的單元組組成的中間設(shè)備層。
在圖11所示的例子中，輸入層是由作為應(yīng)用到較低級模塊的輸出權(quán)重的選通值gi(t)輸入到的輸入單元271和上下文單元272組成。中間設(shè)備層是作為隱藏單元273組成的。此外，輸出層是由輸出作為應(yīng)用到較低級模塊的輸出權(quán)重的選通值gi(t+1)的輸出單元274組成和上下文單元255組成。那些單元的每一個(gè)包含預(yù)定數(shù)量的神經(jīng)元。
作為應(yīng)用到較低級模塊的輸出權(quán)重的選通值gi(t)被輸入到輸入單元271。來自輸入單元251的神經(jīng)元的輸出通過中間設(shè)備層273的神經(jīng)元被提供到輸出單元274的神經(jīng)元和上下文單元275。
輸出單元274的神經(jīng)元輸出作為應(yīng)用到較低級模塊的輸出權(quán)重的選通值gi(t+1)。
另外，來自輸出單元274的一部分輸出作為上下文Ci(t)經(jīng)過上下文環(huán)被反饋到輸入層的上下文單元272。上下文環(huán)的提供使時(shí)間序列事件的學(xué)習(xí)能夠進(jìn)行。
下面將參考圖13至18描述在根據(jù)這個(gè)實(shí)施例的有腿移動(dòng)機(jī)器人1中的學(xué)習(xí)過程。
首先，準(zhǔn)備對要被控制的有腿移動(dòng)機(jī)器人1可行的三種動(dòng)作模式數(shù)據(jù)A，B和C。圖13說明了有腿移動(dòng)機(jī)器人1的準(zhǔn)備的動(dòng)作模式的例子。在本說明書中，“可行的”動(dòng)作模式假定為在要被控制的有腿移動(dòng)機(jī)器人1中保證運(yùn)動(dòng)學(xué)匹配和動(dòng)力學(xué)匹配，例如，ZMP穩(wěn)定性確定標(biāo)準(zhǔn)的動(dòng)作模式。。
在有腿移動(dòng)機(jī)器人1中的動(dòng)力學(xué)穩(wěn)定性通過用ZMP(零時(shí)刻點(diǎn))作為穩(wěn)定性確定標(biāo)準(zhǔn)來確定。在此，術(shù)語“ZMP”是指在行走中引起的地面反應(yīng)力的時(shí)刻變?yōu)榱銜r(shí)的地表面上的點(diǎn)。另外，術(shù)語“ZMP地點(diǎn)”是指在，例如，機(jī)器人行走操作的一段時(shí)間中ZMP移動(dòng)經(jīng)過的地點(diǎn)。在Miomir Vukobratovic的“有腿運(yùn)動(dòng)機(jī)器人”(Ichiro Kato，et al.“行走機(jī)器人和人工腳”，NikkanKogyo Shinbun，Ltd.)中描述了ZMP的概念和對行走機(jī)器人的穩(wěn)定性確定標(biāo)準(zhǔn)的ZMP的應(yīng)用。
然后，在分層循環(huán)神經(jīng)網(wǎng)絡(luò)200中不同的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1等分別地學(xué)習(xí)動(dòng)作模式A，B和C。
專家循環(huán)神經(jīng)網(wǎng)絡(luò)250的輸入在動(dòng)作模式數(shù)據(jù)的時(shí)間t以時(shí)間序列數(shù)據(jù)的形式被給出作為關(guān)節(jié)角度控制命令值向量em(t)，并且通過作為理想輸出在時(shí)間t+1提供關(guān)節(jié)角度控制命令值向量em(t+1)來進(jìn)行學(xué)習(xí)。在循環(huán)神經(jīng)網(wǎng)絡(luò)中的時(shí)間序列數(shù)據(jù)的學(xué)習(xí)通過使用通過時(shí)間運(yùn)算法則的反傳播(Backpropagation Through Time Algorithm)來進(jìn)行。
當(dāng)在學(xué)習(xí)后在時(shí)間t的關(guān)節(jié)角度控制命令值向量em(t)被作為輸入應(yīng)用到專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1等時(shí)，每個(gè)網(wǎng)絡(luò)產(chǎn)生作為輸出的在時(shí)間t+1的關(guān)節(jié)角度控制命令值向量em(t+1)的預(yù)測值(見圖14)。
通過在網(wǎng)絡(luò)中聯(lián)合輸出單元254和輸入單元251以便形成閉合環(huán)(即，變換到閉合的模式)，因此，可以自主地產(chǎn)生學(xué)過的動(dòng)作模式(見圖15)。
然后，教過的動(dòng)作模式數(shù)據(jù)通過使用動(dòng)作捕捉器作為動(dòng)作教學(xué)部件從人類(操作者)的動(dòng)作獲得(見圖16)。作為可選的，教過的動(dòng)作模式數(shù)據(jù)可以用教學(xué)吊盒或直接教學(xué)被提供到有腿移動(dòng)機(jī)器人1。
擁有專家循環(huán)神經(jīng)網(wǎng)絡(luò)250等作為較低級模塊的分層循環(huán)神經(jīng)網(wǎng)絡(luò)200(見上面描述和圖14)在學(xué)習(xí)后被再現(xiàn)(render)來學(xué)習(xí)由例如動(dòng)作捕捉器獲得的教過的動(dòng)作模式數(shù)據(jù)。這個(gè)學(xué)習(xí)通過作為專家循環(huán)神經(jīng)網(wǎng)絡(luò)250的輸入提供教過的動(dòng)作模式數(shù)據(jù)在時(shí)間t的關(guān)節(jié)角度信息向量T(t)，并且提供在時(shí)間t+1的關(guān)節(jié)角度信息向量T(t+1)作為對分層循環(huán)神經(jīng)網(wǎng)絡(luò)200的整體的理想輸出來進(jìn)行。這里，使用分層循環(huán)神經(jīng)網(wǎng)絡(luò)200來進(jìn)行時(shí)間序列數(shù)據(jù)的分割學(xué)習(xí)。
對使用分層循環(huán)神經(jīng)網(wǎng)絡(luò)200的時(shí)間序列數(shù)據(jù)的分割學(xué)習(xí)可以使用根據(jù)最大似然估計(jì)的學(xué)習(xí)運(yùn)算法則。例如，見日本未經(jīng)審查的專利申請公開No.11-126198，其已經(jīng)被轉(zhuǎn)讓給本申請的申請人，它是關(guān)于根據(jù)最大似然估計(jì)的時(shí)間序列數(shù)據(jù)的分割學(xué)習(xí)的。
然而，這里，在組成較低級模塊的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1等上不進(jìn)行學(xué)習(xí)(見圖17)。
分層循環(huán)神經(jīng)網(wǎng)絡(luò)200可以學(xué)習(xí)被要求來重造教過的動(dòng)作模式的較低級模塊的結(jié)合的表達(dá)，作為組成較高級模塊的選通循環(huán)神經(jīng)網(wǎng)絡(luò)270產(chǎn)生的選通值模式(見圖18)。
教過的動(dòng)作模式可以通過用選通循環(huán)神經(jīng)網(wǎng)絡(luò)270產(chǎn)生的選通值模式加權(quán)組成較低級模塊的專家循環(huán)神經(jīng)網(wǎng)絡(luò)250-1等產(chǎn)生的各個(gè)動(dòng)作模式，并且然后結(jié)合被加權(quán)的動(dòng)作模式來重造。
教過的動(dòng)作可以通過使用這樣重造的動(dòng)作模式執(zhí)行有腿移動(dòng)機(jī)器人1的動(dòng)作控制來產(chǎn)生。
補(bǔ)充說明上面結(jié)合特定的實(shí)施例已經(jīng)詳細(xì)描述了本發(fā)明。然而，很明顯本領(lǐng)域的專家人員可以不脫離本發(fā)明的范圍對這個(gè)實(shí)施例做出修改和替換。
本發(fā)明的要點(diǎn)不一定只限于叫作“機(jī)器人”的產(chǎn)品。更具體的，本發(fā)明相似地對屬于任何其他工業(yè)領(lǐng)域的產(chǎn)品，例如，玩具是適用的，只要該產(chǎn)品是能夠根據(jù)電力或磁力作用執(zhí)行模擬人類動(dòng)作的機(jī)械機(jī)器。
換句話說，應(yīng)該理解本發(fā)明在上面僅以例子的方式被公開，并且不應(yīng)該以限制的方式被解釋。應(yīng)該考慮到權(quán)利要求書中限定的事項(xiàng)判斷本發(fā)明的范圍。
工業(yè)實(shí)用性根據(jù)本發(fā)明，提供了可以使用循環(huán)神經(jīng)網(wǎng)絡(luò)以時(shí)間序列數(shù)據(jù)的形式學(xué)習(xí)動(dòng)作模式的高級有腿移動(dòng)機(jī)器人。也提供了在機(jī)器人中教學(xué)動(dòng)作的方法和存儲(chǔ)介質(zhì)產(chǎn)品。
根據(jù)本發(fā)明，操作者教過的不同動(dòng)作可以使用對機(jī)器人可行的并且事先學(xué)過的動(dòng)作模式在人性機(jī)器人上實(shí)現(xiàn)。
權(quán)利要求
1.一種包含有多個(gè)關(guān)節(jié)自由度的驅(qū)動(dòng)單元的有腿移動(dòng)機(jī)器人，該機(jī)器人包含動(dòng)作模式輸入單元，用于從外部輸入動(dòng)作模式；多個(gè)確定單元，用于提前存儲(chǔ)關(guān)于各個(gè)關(guān)節(jié)的自由度的局部可行動(dòng)作模式，和每個(gè)單元確定從所述動(dòng)作模式輸入單元輸入的動(dòng)作模式與被存儲(chǔ)動(dòng)作模式之間的一致性；選通單元，用于選通每個(gè)所述確定單元中的確定結(jié)果；合并單元，用于合并來自所述選通單元的輸出并為所述有腿移動(dòng)機(jī)器人的機(jī)器身體產(chǎn)生總動(dòng)作模式；以及教過動(dòng)作模式實(shí)現(xiàn)單元，用于在所述合并單元存儲(chǔ)總計(jì)的結(jié)果作為教過的動(dòng)作模式數(shù)據(jù)，并且/或者在所述有腿移動(dòng)機(jī)器人的機(jī)器身體上再現(xiàn)結(jié)果。
2.根據(jù)權(quán)利要求1的有腿移動(dòng)機(jī)器人，其中所述的動(dòng)作模式輸入單元可以被構(gòu)造為用于用攝像機(jī)捕捉隸屬于操作者的整個(gè)身體上的不同位置的測量點(diǎn)、跟蹤測量點(diǎn)的移動(dòng)并獲得實(shí)現(xiàn)教過的動(dòng)作模式的骨架動(dòng)作的動(dòng)作捕捉裝置，或者可以被構(gòu)造為用于輸入通過所述動(dòng)作捕捉裝置獲得的動(dòng)作模式數(shù)據(jù)的裝置。
3.根據(jù)權(quán)利要求1的有腿移動(dòng)機(jī)器人，其中所述的動(dòng)作模式輸入單元被構(gòu)造為用于輸入通過教學(xué)吊盒獲得的動(dòng)作模式數(shù)據(jù)的裝置。
4.根據(jù)權(quán)利要求1的有腿移動(dòng)機(jī)器人，其中所述的動(dòng)作模式輸入單元被構(gòu)造為用于輸入通過直接在所述有腿移動(dòng)機(jī)器人的機(jī)器身體上所做的直接教學(xué)獲得的動(dòng)作模式數(shù)據(jù)的裝置。
5.根據(jù)權(quán)利要求1的有腿移動(dòng)機(jī)器人，其中可行的動(dòng)作模式是在所述有腿移動(dòng)機(jī)器人的整個(gè)機(jī)器身體中滿足運(yùn)動(dòng)學(xué)匹配和/或動(dòng)力學(xué)匹配的動(dòng)作模式。
6.根據(jù)權(quán)利要求1的有腿移動(dòng)機(jī)器人，其中所述多個(gè)確定單元中的每個(gè)被構(gòu)造為包含被作為輸入輸入數(shù)據(jù)的單元組組成的輸入層、被作為輸出網(wǎng)絡(luò)輸出的單元組組成的輸出層、和被作為不是所述單元組的單元組組成的中間層的循環(huán)神經(jīng)網(wǎng)絡(luò)，所述輸入層由所述有腿移動(dòng)機(jī)器人的機(jī)器身體的局部時(shí)間序列動(dòng)作模式所輸入到的輸入單元，和上下文單元組成，所述的中間層被構(gòu)造為隱藏單元，所述輸出單元由輸出局部時(shí)間序列動(dòng)作模式的預(yù)測的輸出單元，和上下文單元組成，來自所述輸出層的部分輸出經(jīng)過上下文環(huán)被反饋到輸入層的上下文單元，因此進(jìn)行時(shí)間序列動(dòng)作模式的學(xué)習(xí)。
7.根據(jù)權(quán)利要求1的有腿移動(dòng)機(jī)器人，其中所述的選通單元被構(gòu)造為包含被作為輸入輸入數(shù)據(jù)的單元組組成的輸入層、被作為輸出網(wǎng)絡(luò)輸出的單元組組成的輸出層、和被作為不是所述的單元組的單元組組成的中間層的循環(huán)神經(jīng)網(wǎng)絡(luò)，所述的輸入層由輸入了作為應(yīng)用到確定單元的權(quán)重的選通值的輸入單元和上下文單元組成，所述的中間層被構(gòu)造為隱藏單元，所述的輸出層由輸出了作為應(yīng)用到確定單元的權(quán)重的選通值的輸出單元和上下文單元組成，所述輸出層的部分輸出經(jīng)過上下文環(huán)被反饋到輸入層的上下文單元，因此進(jìn)行時(shí)間序列選通的學(xué)習(xí)。
8.一種包含具有多個(gè)關(guān)節(jié)自由度的驅(qū)動(dòng)單元的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，該方法包括的步驟有從外部輸入動(dòng)作模式的動(dòng)作模式輸入步驟；預(yù)先存儲(chǔ)關(guān)于各個(gè)關(guān)節(jié)自由度的局部可行動(dòng)作模式的多個(gè)確定步驟、以及每個(gè)步驟確定在所述的動(dòng)作模式輸入步驟中輸入的動(dòng)作模式與存儲(chǔ)的動(dòng)作模式之間的一致性；選通在每個(gè)所述確定步驟中的確定結(jié)果的選通步驟；合并來自所述的選通步驟的輸出并為所述的有腿移動(dòng)機(jī)器人的機(jī)器身體產(chǎn)生總動(dòng)作模式的合并步驟；以及把在所述的合并步驟中的總計(jì)結(jié)果存儲(chǔ)為教過的動(dòng)作模式數(shù)據(jù)、和/或在所述的有腿移動(dòng)機(jī)器人的機(jī)器身體上再現(xiàn)結(jié)果的教過動(dòng)作模式實(shí)現(xiàn)步驟。
9.根據(jù)權(quán)利要求8的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，其中所述的動(dòng)作模式輸入步驟是由用于輸入通過動(dòng)作捕捉器獲得的動(dòng)作模式數(shù)據(jù)的裝置組成，所述的動(dòng)作捕捉器用攝像機(jī)捕捉隸屬于操作者的整個(gè)身體上的不同位置的測量點(diǎn)，跟蹤測量點(diǎn)的移動(dòng)并獲得實(shí)現(xiàn)教過的動(dòng)作模式的骨架動(dòng)作。
10.根據(jù)權(quán)利要求8的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，其中所述的動(dòng)作模式輸入步驟輸入通過教學(xué)吊盒獲得的動(dòng)作模式數(shù)據(jù)。
11.根據(jù)權(quán)利要求8的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，其中所述的動(dòng)作模式輸入步驟輸入通過直接在所述的有腿移動(dòng)機(jī)器人的機(jī)器身體上所做的直接教學(xué)獲得的動(dòng)作模式數(shù)據(jù)。
12.根據(jù)權(quán)利要求8的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，其中可行的動(dòng)作模式是在所述的有腿移動(dòng)機(jī)器人的機(jī)器身體中滿足運(yùn)動(dòng)學(xué)匹配和/或動(dòng)力學(xué)匹配的動(dòng)作模式。
13.根據(jù)權(quán)利要求8的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，其中所述多個(gè)確定步驟中的每個(gè)是由包含被作為輸入了輸入數(shù)據(jù)的單元組組成的輸入層、被作為輸出了網(wǎng)絡(luò)輸出的單元組組成的輸出層、和被作為不是所述單元組的單元組組成的中間層的循環(huán)神經(jīng)網(wǎng)絡(luò)組成，所述的輸入層由輸入了所述有腿移動(dòng)機(jī)器人的機(jī)器身體的局部時(shí)間序列動(dòng)作模式的輸入單元，和上下文單元組成，所述的中間層被構(gòu)造為隱藏單元，所述的輸出單元由輸出了局部時(shí)間序列動(dòng)作模式的預(yù)測的輸出單元，和上下文單元組成，來自所述輸出層的部分輸出經(jīng)過上下文環(huán)被反饋到輸入層的上下文單元，由此進(jìn)行時(shí)間序列動(dòng)作模式的學(xué)習(xí)。
14.根據(jù)權(quán)利要求8的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的方法，其中所述的選通步驟被作為包含被作為輸入了輸入數(shù)據(jù)的單元組組成的輸入層、被作為輸出了網(wǎng)絡(luò)輸出的單元組組成的輸出層、和被作為不是所述的單元組的單元組組成的中間層的循環(huán)神經(jīng)網(wǎng)絡(luò)組成，所述的輸入層由輸入了作為應(yīng)用到確定單元的權(quán)重的選通值的輸入單元，和上下文單元組成，所述的中間層被構(gòu)造為隱藏單元，所述的輸出層由輸出了作為應(yīng)用到確定單元的權(quán)重的選通值的輸出單元，和上下文單元組成，所述的輸出層的部分輸出經(jīng)過上下文環(huán)被反饋到輸入層的上下文單元，由此進(jìn)行時(shí)間序列選通的學(xué)習(xí)。
15.一種以計(jì)算機(jī)可讀取形式物理地存儲(chǔ)計(jì)算機(jī)軟件的存儲(chǔ)介質(zhì)產(chǎn)品。該計(jì)算機(jī)軟件被描述來在計(jì)算機(jī)系統(tǒng)上執(zhí)行在包含具有多個(gè)關(guān)節(jié)自由度的驅(qū)動(dòng)單元的有腿移動(dòng)機(jī)器人中的教學(xué)動(dòng)作的處理，該計(jì)算機(jī)軟件包含步驟從外部輸入動(dòng)作模式的動(dòng)作模式輸入步驟；預(yù)先存儲(chǔ)關(guān)于各個(gè)關(guān)節(jié)自由度的局部可行動(dòng)作模式的多個(gè)確定步驟，以及每個(gè)步驟確定在所述的動(dòng)作模式輸入步驟輸入的動(dòng)作模式與存儲(chǔ)的動(dòng)作模式之間的一致性；選通在每個(gè)所述確定步驟中的確定結(jié)果的選通步驟；合并來自所述選通步驟的輸出并為所述有腿移動(dòng)機(jī)器人的機(jī)器身體產(chǎn)生總動(dòng)作模式的合并步驟；以及將在所述合并步驟中的總計(jì)結(jié)果存儲(chǔ)為教過的動(dòng)作模式數(shù)據(jù)，和/或在所述有腿移動(dòng)機(jī)器人的機(jī)器身體上再現(xiàn)結(jié)果的教過動(dòng)作模式實(shí)現(xiàn)步驟。
全文摘要
通過使用分層循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)動(dòng)作控制。多種動(dòng)作模式可以通過自動(dòng)地按時(shí)間序列把人類教的動(dòng)作模式分割為各個(gè)部分、結(jié)合各部分、并控制身體的動(dòng)作來生成。局部時(shí)間序列模式和局部時(shí)間序列模式的透視模式組合由時(shí)間序列分割形成。由于ZMP穩(wěn)定性標(biāo)準(zhǔn)是滿足身體靜態(tài)和動(dòng)態(tài)穩(wěn)定性的指數(shù)，保證了動(dòng)作模式的控制穩(wěn)定性。
文檔編號B25J9/22GK1463215SQ02801750
公開日2003年12月24日 申請日期2002年4月2日 優(yōu)先權(quán)日2001年4月3日
發(fā)明者伊藤真人 申請人:索尼公司