本發(fā)明涉及一種帶有基于位置學(xué)習(xí)效應(yīng)的最短路徑問題的精確求解方法，屬于人工智能領(lǐng)域，特別涉及一種機器人路徑規(guī)劃方法。
背景技術(shù)：
：最短路徑問題在實踐領(lǐng)域有廣泛應(yīng)用，比如：物流、交通運輸、機器人路徑規(guī)劃、車輛路由等。最短路徑問題就是在一個圖中尋找一條從起點到終點的最短路徑。通常來說，距離、時間或者每條弧的遍歷開銷稱為代價，通常情況下，圖中有很多條起點到終點的路徑，最短路徑就是具有最小總代價的路徑。如果每條弧的代價提前已知，該問題是靜態(tài)最短路徑問題。如果每條弧的代價會根據(jù)一些因素(如，交通狀況、學(xué)習(xí)經(jīng)驗)發(fā)生改變，這一類問題屬于動態(tài)最短路徑問題。在實踐中，圖中弧的代價通常會隨著學(xué)習(xí)效應(yīng)變化。“學(xué)習(xí)效應(yīng)”由Wright首先提出，目前有很多研究都與學(xué)習(xí)效應(yīng)有關(guān)。如：在機器人足球比賽、機器人空間探索和復(fù)雜環(huán)境下的機器人救援等場景中，機器人通過強化學(xué)習(xí)與環(huán)境進行交互，獲取經(jīng)驗，而更多的經(jīng)驗意味著機器人可以以更小的代價通過同一條路徑。因此，帶有學(xué)習(xí)能力的機器人最短路徑問題是一個帶有學(xué)習(xí)效應(yīng)的最短路徑問題。通常情況下，學(xué)習(xí)效應(yīng)模型有三種：基于位置、基于總處理時間和基于經(jīng)驗。在本方法中，考慮基于位置的學(xué)習(xí)效應(yīng)，即機器人每通過一條弧，就會根據(jù)經(jīng)驗更新、調(diào)整各種參數(shù)，更加適應(yīng)環(huán)境，從而使得某條弧的代價隨著它在路徑中的位置而改變。在已知求解最短路徑問題的方法中，A*算法是所有算法中最常用、有效的一種啟發(fā)式搜索算法，由Hart等提出，此算法由Dijkstra算法擴展而來，啟發(fā)信息是A*算法時間性能的關(guān)鍵。對最短路徑問題，A*算法通常優(yōu)于其他傳統(tǒng)精確算法。盡管有很多關(guān)于求解動態(tài)最短路徑的A*算法，但這些問題大部分都是弧的代價隨機變化，而在帶學(xué)習(xí)效應(yīng)的最短路徑問題中，弧的代價是隨著所在序列位置規(guī)律變化的，二者不相同。通常情況下，無學(xué)習(xí)效應(yīng)圖中的最短路徑不同于帶有學(xué)習(xí)效應(yīng)圖中的最短路徑。因此，傳統(tǒng)的A*算法和Dijkstra算法及A*算法的變種不適合求解帶有學(xué)習(xí)效應(yīng)的最短路徑問題，需要尋找一個求解帶有學(xué)習(xí)效應(yīng)的最短路徑問題的新方法。[1]A.Konar,I.G.Chakraborty,S.J.Singh,L.C.Jain,andA.K.Nagar,“Adeterministicimprovedq-learningforpathplanningofamobilerobot,”Systems,Man,andCybernetics:Systems,IEEETransactionson,vol.43,no.5,pp.1141–1153,2013.[2]P.E.Hart,N.J.Nilsson,andB.Raphael,“Aformalbasisfortheheuristicdeterminationofminimumcostpaths,”SystemsScienceandCybernetics,IEEETransactionson,vol.4,no.2,pp.100–107,1968.[3]P.E.Hart,N.J.Nilsson,andB.Raphael,“Aformalbasisfortheheuristicdeterminationofminimumcostpaths,”SystemsScienceandCybernetics,IEEETransactionson,vol.4,no.2,pp.100–107,1968.技術(shù)實現(xiàn)要素：發(fā)明目的：本發(fā)明提出一種帶有基于位置學(xué)習(xí)效應(yīng)的最短路徑問題的精確求解的啟發(fā)式搜索方法，以解決帶有基于位置學(xué)習(xí)效應(yīng)的機器人最短路徑問題。技術(shù)方案；本發(fā)明所述的帶有基于位置學(xué)習(xí)效應(yīng)的最短路徑問題的啟發(fā)式搜索方法，包括如下步驟：步驟1：搜索地圖信息，得到有向圖G＝＜N,A,c＞，其中，N表示圖G中所有結(jié)點的集合，A表示圖G中所有弧的集合，則|N|表示圖中結(jié)點數(shù)，|A|表示圖中弧的數(shù)目，c(n,n*)表示結(jié)點n到n*之間的弧的代價；步驟2：根據(jù)機器人路徑行駛的先驗知識確定學(xué)習(xí)效應(yīng)函數(shù)：根據(jù)有向圖G，設(shè)計無學(xué)習(xí)效應(yīng)時的估計函數(shù)h(n)，h(n)表示結(jié)點n到終點的路徑代價的估計值；然后根據(jù)學(xué)習(xí)效應(yīng)函數(shù)和估計函數(shù)h(n)，得到帶有學(xué)習(xí)效應(yīng)時的估計函數(shù)hl(n)；步驟3：使用啟發(fā)式搜索算法在考慮學(xué)習(xí)效應(yīng)的有向圖G中尋找最短路徑：步驟31：通過將僅包含起點的路徑P和通過該路徑到達終點的估計值f的信息存入待擴展路徑集合OPEN中；并將路徑P記入搜索過程中形成的搜索圖SG；步驟32：從待擴展路徑集合OPEN中選擇起點到終點估計值f最小的部分路徑作為目前最有可能擴展為最短路徑的路徑；步驟33：如果路徑P到達終點，判斷待擴展路徑集合OPEN是否為空；若為空，則執(zhí)行步驟37；若不為空，則執(zhí)行步驟34；步驟34：依次擴展選擇的部分路徑的后繼結(jié)點，具體為：將后繼結(jié)點加入部分路徑構(gòu)成新的部分路徑，根據(jù)帶有學(xué)習(xí)效應(yīng)的估計函數(shù)，計算該結(jié)點到目標(biāo)結(jié)點的估計值；將帶有學(xué)習(xí)效應(yīng)的新部分路徑的實際值與該結(jié)點到目標(biāo)結(jié)點的估計值相加，作為通過該部分路徑到達目標(biāo)結(jié)點的估計值；將新的部分路徑、其包含的弧的數(shù)量及通過對應(yīng)路徑到達目標(biāo)結(jié)點的估計值放入待擴展路徑集合OPEN；將擴展路徑記入搜索圖SG；步驟35：通過剪枝、過濾操作刪除搜索圖SG中不可能擴展為最短路徑的部分路徑；步驟36：判斷待擴展路徑集合OPEN是否為空；若為空，則執(zhí)行步驟37；若不為空，則執(zhí)行步驟34；步驟37：根據(jù)搜索圖SG得到起點到終點的最短路徑。步驟2中所述學(xué)習(xí)效應(yīng)函數(shù)為L(r)，其中r是某條弧在路徑中的位置。步驟31中所述僅包含起點的路徑P和通過該路徑到達終點的估計值f具體計算如下：根據(jù)帶有學(xué)習(xí)效應(yīng)的估計函數(shù)，計算起點到終點的估計值hl(n0)＝h(n0)×L(ρ)，路徑P的實際代價值為gl(n0,0)＝0，則經(jīng)過路徑P到達終點的估計值為fl(n0,0)＝gl(n0,0)+hl(n0)；Gop(n0)為起點到結(jié)點n0的待擴展路徑集合，Gcl(n0)為起點到結(jié)點n0的已擴展路徑集合，則Gcl(n)＝φ，并將向量放在帶擴展路徑集合OPEN中，將路徑P記入搜索圖SG。步驟32中待擴展路徑集合OPEN中選擇起點到終點估計值f最小的部分路徑具體如下：從待擴展路徑集合OPEN中，選擇估計值fl最小的路徑P，作為進行擴展的部分路徑，從OPEN中刪除向量其中，n表示該路徑由起點到達頂點n；由起點到達頂點n的路徑包含有r條弧，其實際代價為gl(n,r)，ρ-r表示經(jīng)過該路徑到達終點γ最多還要經(jīng)過ρ-r條??；fl(n,r)＝gl(n,r)+hl(n)表示經(jīng)過該路徑到達終點γ的估計代價；同時將向量從集合Gop(n)移到集合Gcl(n)，其中r為路徑P包含的弧的數(shù)量；Gop(n)表示的是起點到頂點n的所有路徑中目前尚未擴展又可能成為最短路徑的部分路徑；Gcl(n)表示的是起點到頂點n的路徑中目前已經(jīng)擴展過的路徑。步驟3中通過擴展的部分路徑到達目標(biāo)結(jié)點的估計值計算如下：根據(jù)學(xué)習(xí)效應(yīng)，位于第r+1位置的弧(n,m)的代價由c(n,m)變?yōu)閏(n,m,r+1)＝c(n,m)×L(r+1)，所以路徑P'的代價為gl(m,r+1)＝gl(n,r)+c(n,m)×(r+1)α；計算結(jié)點m到終點的估計值hl(m)＝h(m)×L(ρ)，那么，經(jīng)過該路徑到達終點的估計值fl(m,r+1)＝gl(m,r+1)+hl(m)。所述剪枝、過濾操作具體如下：步驟351：刪除Gop(m)UGcl(m)中被支配的向量，并刪除SG和OPEN中對應(yīng)的信息，如果Gop(m)UGcl(m)中存在支配的向量，則標(biāo)記Prune為真，否則標(biāo)記Prune為假；步驟352：進行過濾操作：如果fl＞C，標(biāo)記Filter為真，否則，標(biāo)記Filter為假；如果fl＜C，刪除OPEN中fl＜C的向量，并刪除Gop(m)中對應(yīng)向量，刪除搜索圖SG中對應(yīng)的路徑；步驟353：若在剪枝操作和過濾操作過程中，路徑P'都沒有被刪除，即Prune和Filter都為假，則將向量放入OPEN中，將存入Gop(m)中，并將路徑P'記入搜索圖SG。有益效果本發(fā)明考慮的是具有基于位置學(xué)習(xí)能力的機器人路徑規(guī)劃，如何通過啟發(fā)式搜索方法在有向圖中找到起點到終點的精確的全局最短路徑，指導(dǎo)具有學(xué)習(xí)能力的機器人行駛。附圖說明圖1為本發(fā)明方法中機器人路徑規(guī)劃流程圖圖2為本發(fā)明方法中啟發(fā)式搜索方法流程圖圖3為本發(fā)明方法中路徑擴展方法的流程圖圖4為案例圖。圖5為步驟(2)得到的搜索圖。圖6為步驟(3)得到的搜索圖。圖7為步驟(4)得到的搜索圖。圖8為步驟(5)得到的搜索圖。圖9為步驟(6)得到的搜索圖。圖10為案例圖的最短路徑。表1為案例圖中各結(jié)點的啟發(fā)函數(shù)值。具體實施方式下面結(jié)合附圖對本發(fā)明的技術(shù)方案進行詳細(xì)說明：在機器人足球比賽、機器人空間探索和復(fù)雜環(huán)境下的機器人救援等場景中，帶有學(xué)習(xí)能力的機器人需要找到從某一位置最快到達目標(biāo)位置的路徑，也就是一條最小代價路徑。本發(fā)明的一種帶有基于位置學(xué)習(xí)效應(yīng)的最短路徑問題的精確求解的啟發(fā)式搜索方法，如圖1所示，包括以下步驟：步驟s101：搜集地圖信息，得到有向圖G＝＜N,A,c＞，其中，N表示圖G中所有結(jié)點的集合，A表示圖G中所有弧的集合，則|N|表示圖中結(jié)點數(shù)，|A|表示圖中弧的數(shù)目，c(n,n*)表示結(jié)點n到n*之間的弧的代價；步驟s102：根據(jù)機器人路徑行駛的先驗知識確定學(xué)習(xí)效應(yīng)函數(shù)；學(xué)習(xí)效應(yīng)函數(shù)是根據(jù)先驗知識事先估計得到的，是一個非遞增函數(shù)；根據(jù)機器人路徑行駛的先驗知識確定學(xué)習(xí)效應(yīng)函數(shù)L(r)，其中r是某條弧在路徑中的位置，r越大，L(r)的值越小。根據(jù)有向圖G，設(shè)計無學(xué)習(xí)效應(yīng)時的估計函數(shù)h(n)，表示結(jié)點n到終點的路徑代價的估計值，然后根據(jù)學(xué)習(xí)效應(yīng)函數(shù)和估計函數(shù)h(n)，得到帶有學(xué)習(xí)效應(yīng)時的估計函數(shù)hl(n)＝h(n)×L(ρ)，其中，ρ＝min{|N|-1,|A|}，表示最短路徑的最大可能長度；步驟s103：啟發(fā)式搜索算法初始化，待擴展路徑集合OPEN初始化為空，目前已找到的最短路徑代價C初始化為無窮大；步驟s104：使用啟發(fā)式搜索算法在有向圖G中尋找考慮學(xué)習(xí)效應(yīng)的最短路徑；步驟s105：指導(dǎo)機器人按照尋找到的最短路徑行駛。尋找最短路徑的啟發(fā)式搜索算法如圖2所示，包含以下步驟：步驟s201:通過將僅包含起點的路徑P和通過該路徑到達終點的估計值f的信息存入待擴展路徑集合OPEN中；并將路徑P記入搜索過程中形成的搜索圖SG；步驟s202：如果待擴展路徑集合OPEN為空，執(zhí)行步驟s206；步驟s203:從OPEN中選擇起點到終點估計值f最小的部分路徑P，作為目前最有可能擴展為最短路徑的路徑；步驟s204：如果路徑P到達終點，執(zhí)行步驟s202；步驟s205：依次擴展選擇出的部分路徑的后繼結(jié)點，并通過剪枝、過濾操作刪除不可能擴展為最短路徑的部分路徑，將擴展路徑記入搜索圖SG，執(zhí)行步驟s202；步驟s206：如果已經(jīng)搜索到了終點，那么根據(jù)搜索過程形成的搜索圖SG，得到起點到終點的最短路徑，C就是最短路徑的代價；否則，說明不存在起點到終點的路徑。圖2中的擴展起點n0過程：對于僅含有起點n0的路徑P，根據(jù)帶有學(xué)習(xí)效應(yīng)的估計函數(shù)，計算起點到終點的估計值hl(n0)＝h(n0)×L(ρ)，路徑P的實際代價值為gl(n0,0)＝0，包含路徑和路徑含有弧數(shù)量的信息存入向量則經(jīng)過路徑P到達終點的估計值為fl(n0,0)＝gl(n0,0)+hl(n0)，Gop(n0)為起點到結(jié)點n0的待擴展路徑集合，Gcl(n0)為起點到結(jié)點n0的已擴展路徑集合，則Gcl(n)＝φ，并將向量放在OPEN中，將P記入搜索圖SG。圖2中的選擇路徑過程：從待擴展路徑集合OPEN中，選擇估計值fl最小的路徑P，作為進行擴展的部分路徑，從OPEN中刪除向量其中，n表示該路徑由起點到達頂點n；由起點到達頂點n的路徑包含有r條弧，其實際代價為gl(n,r)，ρ-r表示經(jīng)過該路徑到達終點γ最多還要經(jīng)過ρ-r條弧；fl(n,r)＝gl(n,r)+hl(n)表示經(jīng)過該路徑到達終點γ的估計代價。同時將向量從集合Gop(n)移到集合Gcl(n)，其中r為路徑P包含的弧的數(shù)量；Gop(n)表示的是起點到頂點n的所有路徑中目前尚未擴展又可能成為最短路徑的部分路徑；Gcl(n)表示的是起點到頂點n的路徑中目前已經(jīng)擴展過的路徑。圖2中的擴展路徑過程：如圖3所示，依次擴展選擇出的部分路徑的后繼結(jié)點。將后繼結(jié)點加入部分路徑構(gòu)成新的部分路徑P，根據(jù)帶有學(xué)習(xí)效應(yīng)的估計函數(shù)，計算該結(jié)點到目標(biāo)結(jié)點的估計值。將新部分路徑P的實際值g與該結(jié)點到目標(biāo)結(jié)點的估計值hl相加，作為通過該部分路徑到達目標(biāo)結(jié)點的估計值f。將路徑P和路徑P包含的弧的數(shù)量、路徑P對應(yīng)的估計值f放入待擴展路徑集合OPEN，并通過剪枝和過濾操作刪除不可能成為最短路徑的部分路徑，具體步驟如下：步驟s301：假設(shè)選擇出待擴展的路徑為從起點到結(jié)點n的路徑P，P包含r條弧，將圖G中結(jié)點n的所有后繼結(jié)點放在集合S中；步驟s302：如果集合S為空，結(jié)束，如果不為空，執(zhí)行步驟s303；步驟s303：取出S中的一個結(jié)點m，加入路徑P，形成新的路徑P'；步驟s304：因為學(xué)習(xí)效應(yīng)，位于第r+1位置的弧(n,m)的代價由c(n,m)變?yōu)閏(n,m,r+1)＝c(n,m)×L(r+1)，所以，路徑P'的代價為gl(m,r+1)＝gl(n,r)+c(n,m)×(r+1)α；計算結(jié)點m到終點的估計值hl(m)＝h(m)×L(ρ)，計算實際代價時，學(xué)習(xí)效應(yīng)函數(shù)值會隨著后面的弧會隨著所在位置的增加而變下，但是，因為無法預(yù)先知道m(xù)到終點的弧的數(shù)量，所以無法用精確估計，此處用最壞的情況作為估計值；向量那么，經(jīng)過該路徑到達終點的估計值fl(m,r+1)＝gl(m,r+1)+hl(m)；步驟s305：如果結(jié)點m是終點，并且gl(m,r+1)<C執(zhí)行步驟s306，否則執(zhí)行步驟s307；步驟s306：更新目前找到的最短路徑代價C＝gl；步驟s307：進行剪枝操作：刪除Gop(m)UGcl(m)中被支配的向量，并刪除SG和OPEN中對應(yīng)的信息，如果Gop(m)UGcl(m)中存在支配的向量，則標(biāo)記Prune為真，否則標(biāo)記Prune為假；步驟s308：進行過濾操作：如果fl＞C，標(biāo)記Filter為真，否則，標(biāo)記Filter為假；如果fl＜C，刪除OPEN中fl＜C的向量，并刪除Gop(m)中對應(yīng)向量，刪除搜索圖SG中對應(yīng)的路徑；步驟s309：如果在剪枝操作和過濾操作過程中，路徑P'都沒有被刪除，即Prune和Filter都為假，則將向量放入OPEN中，將存入Gop(m)中，并將路徑P'記入搜索圖SG；下面我們用圖例詳細(xì)解釋該方法，圖4是有向標(biāo)記圖，其中，n0是起點，γ是唯一的目標(biāo)結(jié)點。假設(shè)學(xué)習(xí)效應(yīng)函數(shù)為L(r)＝rα，其中r表示弧所在路徑上的位置。圖中包括8個頂點和14條弧，因為從起點n0到γ的路徑?jīng)]有環(huán)，因此ρ＝min{8-1,14}＝7，學(xué)習(xí)效應(yīng)因子α取值-0.2。C初始化為+∞，當(dāng)圖G中存在弧(n,γ)時，則c(n,γ)是弧(n,γ)的代價，否則取值為+∞。在帶學(xué)習(xí)效應(yīng)的圖G中，我們用啟發(fā)函數(shù)hl(n)＝ρα×h(n)(在本例中，hl(n)＝7-0.2×h(n))來估算頂點n到終點γ的值是實際值；hl(n)是的估計值。每個頂點的h和hl值在表1中給出。nn0n1n2n3n4n5n6γh(n)35245350hl(n)2.0333.3381.3552.7103.3882.0333.3880表1(1)將n0初始化為根結(jié)點，并且是搜索圖SG中僅有的結(jié)點。因此，gl(n0,0)＝0，ρ＝7，Gop(n0)←{(0,7)}，Gcl(n0)＝φ，fl＝gl(n0,0)+hl(n0)＝0+2.033＝2.033。OPEN←{(n0,(0,7),2.033)}。(2)選擇OPEN表中唯一的路徑，其四個擴展點n1、n2、n3和n4加入到搜索圖SG中和OPEN表中。相應(yīng)的四條弧位于各自產(chǎn)生的搜索路徑中的第一個位置。學(xué)習(xí)效應(yīng)對它們的代價沒有影響。因此gl(n1,1)＝6，從結(jié)點n1到目標(biāo)結(jié)點γ至多只有6條弧，則fl(n1,1)＝gl(n1,1)+hl(n1)＝6+3.338＝9.338，Gop(n1)←{(6,6)}，同時元組(n1,(6,6),9.338)加入到OPEN表中。對其他的擴展進行類似的處理，得到的搜索圖SG如圖5所示。(3)由于結(jié)點n3在OPEN表中具有最小的估計代價值，因此被選作用來擴展。結(jié)點n1是結(jié)點n3唯一的后繼子結(jié)點?；?n3,n1)位于新路徑的第2個位置。由于學(xué)習(xí)效應(yīng)的影響，弧的代價c(n3,n1,2)為2×2-0.2＝1.741。通過剪枝操作PRUNE，弧(n1,n0)從SG中移除，元組(n1,(6,6),9.338)從OPEN表中刪除，從Gop(n1)刪除，相似地，對弧(n1,n3)進行類似的處理，最終，結(jié)點n3的擴展過程如圖6所示。(4)由于結(jié)點n1在OPEN表中具有最小的估計代價值，因此被選作用來擴展。結(jié)點n1有兩個直接后繼，n4和n6。由于弧(n1,n4)位于路徑中的第3個位置，所以代價c(n1,n4,3)為3×3-0.2＝2.408。因此，gl(n4,3)＝gl(n1,2)+c(n1,n4,3)＝5.149，目前有兩條路徑到達結(jié)點n4，兩條子路徑都加入到SG中，即弧(n4,n1)加入到圖SG中，元組(n4,(5.149,4),8.537)插入到OPEN表中，向量加入到Gop(n4)，對于結(jié)點n6進行類似的操作，計算得到：fl(n6，3)＝gl(n6,3)+hl(n6)＝7.557+3.388＝10.945。最終，結(jié)點n1的擴展過程如圖7所示。(5)由于在OPEN表中，結(jié)點n4的fl的值最小，因此，擴展結(jié)點n6和γ。到目標(biāo)結(jié)點γ的新路徑的代價為9.353，小于C值，因此C值更新為9.353.因為fl(n2，1)＝gl(n2,1)+hl(n2)＝8+1.355＝9.355>C，則到結(jié)點n2的路徑被操作FILTER過濾。由于fl(n6，3)＝10.945>C,因此也被過濾。從γ到n4的路徑加入到SG中，元組(γ,(9.353,5),9.353)插入到OPEN表中。向量加入到Gop(γ)。至于結(jié)點n6，弧(n4,n6)的代價現(xiàn)在已經(jīng)是c(n4,n6,2)＝4×2-0.2＝3.482.gl(n6,2)＝8.482.fl(n6,2)＝gl(n6,2)+hl(n6)＝12.860。因此，由于fl(n6,2)>C，通過FILTER操作，到結(jié)點n6的路徑被移除。最終，結(jié)點n1的擴展過程如圖8所示。(6)接下來，選擇到結(jié)點n4的第2條路徑，因為在OPEN表中，它有最小的fl值。n4的兩個直接后繼n6和γ被再次檢查?；?n4,γ)位于新產(chǎn)生路徑的第4個位置，因此代價c(n4,γ,4)＝5×4-0.2＝3.789.因此，fl(γ,4)＝gl(γ,4)＝gl(n4,3)+c(n4,γ,4)＝8.938.其值小于C＝9.353.因此C值更新為8.938.產(chǎn)生到γ的擴展?；?n4,n6)的代價變?yōu)閏(n4,n6,4)＝4×4-0.2＝3.031.gl(n6,4)＝8.180.fl(n6,4)＝gl(n6,4)+hl(n6)＝11.568。因此到結(jié)點n6的子路徑被過濾。最終的SG圖如圖9所示。(7)目前，OPEN表中還剩下可選擇的元組(γ,(8.938,3),8.938)，因此選擇該元組并將其移除OPEN表。因此，OPEN表已空，算法從γ回溯已獲得的SG，得到代價為8.938的路徑。如圖10所示。當(dāng)前第1頁1 2 3