本公開總體上涉及設(shè)備的運(yùn)動規(guī)劃，并且更具體地，涉及用于在具有障礙物的環(huán)境中控制一個或更多個設(shè)備從初始狀態(tài)到目標(biāo)狀態(tài)的運(yùn)動的系統(tǒng)和方法。

背景技術(shù)：

1、在具有障礙物的工作空間中，設(shè)備實(shí)現(xiàn)特定位置同時避免與障礙物碰撞以及它們本身之間的碰撞的最佳運(yùn)動規(guī)劃具有多種應(yīng)用，諸如輪式地面機(jī)器人、地面上的飛行器和飛行無人機(jī)。這種運(yùn)動規(guī)劃問題中的任務(wù)包括對設(shè)備的運(yùn)動軌跡的約束。約束可以對每個設(shè)備的目標(biāo)位置的要求進(jìn)行編碼，避免彼此碰撞以及與工作空間中的其它靜態(tài)/移動障礙物碰撞。例如，空中無人機(jī)可以負(fù)責(zé)到達(dá)某些位置以檢查建筑物，同時避免與其它建筑物碰撞以及它們本身之間的碰撞。飛行器可以負(fù)責(zé)在機(jī)場地面上移動以到達(dá)其分配的出口(runaway)或門，同時避開其它飛行器、推車和建筑物。工廠地板上的移動機(jī)器人可以負(fù)責(zé)到達(dá)其工作位置或需要卸載貨物的位置，同時避開工作區(qū)域、工人和其它機(jī)器人。

技術(shù)實(shí)現(xiàn)思路

1、技術(shù)問題

2、這樣的運(yùn)動規(guī)劃問題是具有挑戰(zhàn)性的，因?yàn)樵试S工作空間和滿足與任務(wù)有關(guān)的所有約束的一組設(shè)備配置通常是非凸的(non-convex)。因此，運(yùn)動規(guī)劃問題是非凸優(yōu)化問題。如本文所使用的，運(yùn)動規(guī)劃問題是指確定用于執(zhí)行任務(wù)的設(shè)備的運(yùn)動軌跡。然而，求解非凸優(yōu)化問題需要大量的計(jì)算和存儲資源。

3、運(yùn)動規(guī)劃器被用于求解非凸優(yōu)化問題?；诜峭箖?yōu)化的運(yùn)動規(guī)劃器的示例是使用混合整數(shù)編程(mixed-integer?programming，mip)方法。mip方法涉及求解受約束優(yōu)化問題，其中成本函數(shù)經(jīng)受一些約束被最小化或最大化，一些優(yōu)化變量是實(shí)值的(連續(xù)變量)，而其它的是整數(shù)或二進(jìn)制值的(離散變量)。具體地，當(dāng)可以通過線性動力學(xué)來描述設(shè)備的運(yùn)動軌跡并且可以以保守的方式(諸如通過多邊形(即，通過線性不等式))來表示障礙物時，可以應(yīng)用混合整數(shù)線性/二次規(guī)劃(mixed-integer?linear/quadratic?programming，milp/miqp)。已知milp/miqp在有限時間終止，因此可以導(dǎo)出計(jì)算解的時間界限。然而，計(jì)算仍然是復(fù)雜的(np-困難問題)并且可能導(dǎo)致顯著的計(jì)算成本。因此，需要一種解決方案，其可以在使用有限的計(jì)算資源和存儲資源的同時實(shí)現(xiàn)具有障礙物的工作空間中的設(shè)備的運(yùn)動軌跡的最佳規(guī)劃。

4、問題的解決方案

5、一些實(shí)施方式的目的是提供一種用于控制設(shè)備在環(huán)境中從初始狀態(tài)到目標(biāo)狀態(tài)的運(yùn)動的系統(tǒng)和方法。一些實(shí)施方式的目的還在于確定執(zhí)行任務(wù)(例如，達(dá)到目標(biāo)狀態(tài))的設(shè)備的運(yùn)動軌跡。設(shè)備的狀態(tài)可以包括設(shè)備的位置、設(shè)備的取向和設(shè)備的速度中的一者或組合。環(huán)境包括障礙物。設(shè)備可以是自主運(yùn)載工具，諸如移動機(jī)器人、飛行器、水面運(yùn)載工具或水下運(yùn)載工具。任務(wù)的執(zhí)行需要滿足對設(shè)備運(yùn)動的約束。換句話說，任務(wù)的執(zhí)行經(jīng)受約束。此類約束的示例包括到達(dá)目標(biāo)位置、避免與障礙物碰撞、避免與其它設(shè)備碰撞、移動設(shè)備以使得設(shè)備的狀態(tài)(例如，位置)在設(shè)備的預(yù)定義允許狀態(tài)集合內(nèi)等。例如，無人機(jī)可以負(fù)責(zé)到達(dá)某些位置以檢查建筑物，同時避免與建筑物的部分碰撞。

6、一些實(shí)施方式基于以下認(rèn)識：允許狀態(tài)和滿足所有約束的一組設(shè)備配置/狀態(tài)通常是非凸的。因此，運(yùn)動規(guī)劃問題是非凸優(yōu)化問題。如本文所使用的，運(yùn)動規(guī)劃問題是指確定用于執(zhí)行任務(wù)的設(shè)備的運(yùn)動軌跡。然而，求解非凸優(yōu)化問題需要大量的計(jì)算和存儲資源。

7、一些實(shí)施方式基于以下認(rèn)識：允許狀態(tài)和滿足所有約束的一組設(shè)備配置/狀態(tài)通常是非凸的。因此，運(yùn)動規(guī)劃問題是非凸優(yōu)化問題。如本文所使用的，運(yùn)動規(guī)劃問題是指確定用于執(zhí)行任務(wù)的設(shè)備的運(yùn)動軌跡。然而，求解非凸優(yōu)化問題需要大量的計(jì)算和存儲資源。

8、一些實(shí)施方式的目的是使用機(jī)器學(xué)習(xí)來減少經(jīng)受約束的非凸優(yōu)化問題的計(jì)算負(fù)擔(dān)。一些實(shí)施方式基于以下理解：諸如神經(jīng)網(wǎng)絡(luò)的各種學(xué)習(xí)函數(shù)可以由具有足夠計(jì)算要求的訓(xùn)練系統(tǒng)離線訓(xùn)練并且由具有有限計(jì)算能力的控制器在線執(zhí)行。

9、然而，由于機(jī)器學(xué)習(xí)的性質(zhì)，用這樣的學(xué)習(xí)函數(shù)替換經(jīng)受約束的非凸優(yōu)化問題是有問題的。具體地，機(jī)器學(xué)習(xí)與本質(zhì)上是概率性的計(jì)算統(tǒng)計(jì)相關(guān)。結(jié)果，諸如神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)不被配備為管理硬約束，而是被設(shè)計(jì)為以一些概率滿足約束。當(dāng)違反約束被懲罰但不被禁止時，該概念是軟約束概念的類似或直接復(fù)制。

10、因此，訓(xùn)練神經(jīng)網(wǎng)絡(luò)是不可能的或至少不切實(shí)際的，該神經(jīng)網(wǎng)絡(luò)提供經(jīng)受約束作為硬約束的非凸優(yōu)化問題的解決方案?？梢砸愿呖赡苄缘窃谧銐虻碾x線訓(xùn)練數(shù)據(jù)緊密接近在線環(huán)境的條件下找到這種解決方案，這是不切實(shí)際的。由于運(yùn)動規(guī)劃和控制需要滿足約束，因此一些實(shí)施方式基于以下認(rèn)識：有可能使用學(xué)習(xí)函數(shù)來確定經(jīng)受軟約束的非凸優(yōu)化問題的初始解決方案(即，設(shè)備的初始軌跡)。然而，需要進(jìn)一步處理這樣的初始軌跡以確保最終軌跡滿足約束。

11、一些實(shí)施方式基于這樣的認(rèn)識：給定滿足約束的初始軌跡，可以優(yōu)化初始軌跡從而也確保約束。此外，這種優(yōu)化將是凸的。換句話說，當(dāng)初始軌跡可行時，具有初始軌跡可以將經(jīng)受硬約束的非凸優(yōu)化問題轉(zhuǎn)換成經(jīng)受硬約束的凸優(yōu)化問題。然而，由經(jīng)受軟約束訓(xùn)練的學(xué)習(xí)函數(shù)生成的初始軌跡不保證可行性，并且通常不能保證這種變換。

12、然而，一些實(shí)施方式基于以下認(rèn)識：從非凸優(yōu)化問題到凸優(yōu)化問題的變換是由于圍繞初始軌跡的凸化的可能性提供包括目標(biāo)狀態(tài)的凸區(qū)域的時變集合的并集。通過考慮初始軌跡的一部分和障礙物的小平面來生成每個凸區(qū)域。因此，初始軌跡不必是可行的。相反，只要凸區(qū)域包括初始狀態(tài)和目標(biāo)狀態(tài)，初始軌跡就可能是不可行的。

13、一些實(shí)施方式基于由許多測試和實(shí)驗(yàn)支持的直覺，被訓(xùn)練以使約束的違反速率最小化的學(xué)習(xí)函數(shù)生成適合于這種變換的初始軌跡。這種訓(xùn)練的示例是強(qiáng)化學(xué)習(xí)(reinforcement?learning，rl)，其是涉及智能設(shè)備應(yīng)如何在環(huán)境中采取動作以便將累積獎勵最大化的機(jī)器學(xué)習(xí)領(lǐng)域。

14、此外，一些實(shí)施方式基于以下認(rèn)識：由于非線性、致動失配和未建模現(xiàn)象，隨機(jī)不確定性可能存在于設(shè)備的動力學(xué)中，并且由于感測限制，隨機(jī)不確定性可能存在于設(shè)備和障礙物的位置中。在這種情況下，在設(shè)備動力學(xué)包括隨機(jī)不確定性的情況下，約束被概率性安全約束(也稱為機(jī)會約束)代替。基于優(yōu)化的安全過濾器被配置為將概率性安全約束實(shí)施為硬約束，以確保具有高概率的安全。在實(shí)施方式中，基于優(yōu)化的安全過濾器基于概率性安全約束的凸機(jī)會近似來實(shí)施概率性安全約束。

15、因此，一個實(shí)施方式公開了一種用于在具有形成對設(shè)備的運(yùn)動的約束的障礙物的環(huán)境中控制設(shè)備從初始狀態(tài)到目標(biāo)狀態(tài)的運(yùn)動的控制器。所述控制器包括：處理器；以及存儲器，存儲器上存儲有指令，所述指令在由所述處理器執(zhí)行時使得所述控制器：執(zhí)行利用機(jī)器學(xué)習(xí)訓(xùn)練的學(xué)習(xí)函數(shù)，以生成將所述設(shè)備的所述初始狀態(tài)與所述設(shè)備的所述目標(biāo)狀態(tài)連接的可行軌跡或不可行軌跡，同時懲罰在一定程度上違反所述約束中的至少一些約束，以產(chǎn)生初始軌跡；求解經(jīng)受所述約束的凸優(yōu)化問題，以產(chǎn)生使與所述初始軌跡的偏差最小化的最佳軌跡；以及根據(jù)所述最佳軌跡控制所述設(shè)備的所述運(yùn)動。

16、因此，另一實(shí)施方式公開了一種用于在具有障礙物的環(huán)境中控制設(shè)備從初始狀態(tài)到目標(biāo)狀態(tài)的運(yùn)動的方法，所述障礙物形成對設(shè)備的運(yùn)動的約束。該方法包括以下步驟：執(zhí)行用機(jī)器學(xué)習(xí)訓(xùn)練的學(xué)習(xí)函數(shù)以生成將設(shè)備的初始狀態(tài)與設(shè)備的目標(biāo)狀態(tài)連接的可行軌跡或不可行軌跡，同時懲罰在一定程度上違反至少一些約束以產(chǎn)生初始軌跡；求解經(jīng)受約束的凸優(yōu)化問題以產(chǎn)生將與初始軌跡的偏差最小化的最佳軌跡；以及根據(jù)最佳軌跡控制設(shè)備的運(yùn)動。

17、因此，又一實(shí)施方式公開了一種非暫時性計(jì)算機(jī)可讀存儲介質(zhì)，其上具體實(shí)現(xiàn)有可由處理器執(zhí)行的程序，該程序用于執(zhí)行用于在具有障礙物的環(huán)境中控制設(shè)備從初始狀態(tài)到目標(biāo)狀態(tài)的運(yùn)動的方法，所述障礙物形成對設(shè)備的運(yùn)動的約束。該方法包括：執(zhí)行用機(jī)器學(xué)習(xí)訓(xùn)練的學(xué)習(xí)函數(shù)以生成將設(shè)備的初始狀態(tài)與設(shè)備的目標(biāo)狀態(tài)連接的可行軌跡或不可行軌跡，同時懲罰在一定程度上違反至少一些約束以產(chǎn)生初始軌跡；求解經(jīng)受約束的凸優(yōu)化問題以產(chǎn)生使與初始軌跡的偏差最小化的最佳軌跡；以及根據(jù)最佳軌跡控制設(shè)備的運(yùn)動。

18、將參考附圖進(jìn)一步解釋當(dāng)前公開的實(shí)施方式。所示的附圖不一定按比例繪制，而是通常將重點(diǎn)放在示出當(dāng)前公開的實(shí)施方式的原理上。