本申請要求案卷號為CRNZ 0052 MA的、于2014年6月27日提交的美國臨時申請第62/018094號的優(yōu)先權(quán),其全部內(nèi)容通過引用并入本文。
技術(shù)領(lǐng)域
本說明書一般地涉及用于基于天花板燈的特征為工業(yè)車輛提供全局定位的系統(tǒng)和方法,并且更具體地涉及用于使用全局定位來分析倉庫中天花板燈的獨特星座或圖案以跟蹤具有已知位置或未知位置的工業(yè)車輛的位置的系統(tǒng)和方法。
背景技術(shù):
為了圍繞工業(yè)環(huán)境移動物件,工人經(jīng)常使用工業(yè)車輛,包括例如叉車、手動和馬達驅(qū)動的托板車、和/或其他材料搬運車輛。工業(yè)車輛可以被配置為通過環(huán)境而導航的手動導向的車輛或者自動導向的車輛。為了便于自動導向、導航或者兩者,工業(yè)車輛可以適于在環(huán)境內(nèi)定位。也就是說,工業(yè)車輛可以被改造為具有傳感器和處理器,用于確定工業(yè)車輛在環(huán)境內(nèi)的定位,諸如例如工業(yè)車輛的姿態(tài)和位置。傳感器可以被配置為檢測環(huán)境中的對象,并且定位可以依賴于從這些檢測到的對象中提取的特征。
技術(shù)實現(xiàn)要素:
在一個實施例中,材料搬運車輛可以包括相機、一個或多個車輛處理器、被配置為沿庫存運送面移動材料搬運車輛的驅(qū)動機構(gòu)、被配置為在工業(yè)設(shè)施的存儲倉中存儲和取回貨物的材料搬運機構(gòu)、以及與驅(qū)動機構(gòu)和材料搬運機構(gòu)通信的車輛控制架構(gòu)。相機可以通信地耦合到一個或多個車輛處理器并且捕捉頭頂特征的輸入圖像。工業(yè)設(shè)施地圖可以包括與頭頂特征的映射關(guān)聯(lián)的多個三維全局特征點。材料搬運車輛的一個或多個車輛處理器可以執(zhí)行車輛功能以:通過取回來自相機的包括二維UV空間信息的相機數(shù)據(jù)的初始集合、形成來自UV空間信息的對、以及將來自UV空間信息的對與來自工業(yè)設(shè)施地圖的多個三維全局特征點的對關(guān)聯(lián),創(chuàng)建多個關(guān)聯(lián)特征對;針對在相機的視覺范圍內(nèi)的關(guān)聯(lián)特征對計算車輛姿態(tài)。材料搬運車輛的一個或多個車輛處理器可進一步執(zhí)行車輛功能以:基于多個關(guān)聯(lián)特征對中的最高評級對(highest-rated pair)計算材料搬運車輛的最佳估計姿態(tài);使用與材料搬運車輛關(guān)聯(lián)的累積的里程將最佳估計姿態(tài)更新到當前所定位的位置;將種子位置設(shè)置為當前所定位的位置;使用當前所定位的位置,跟蹤材料搬運車輛沿庫存運送面的導航、以至少部分自動的方式沿庫存運送面導航材料搬運車輛、或者兩者。
在另一個實施例中,系統(tǒng)可以包括材料搬運車輛和管理服務(wù)器。材料搬運車輛可以包括相機、一個或多個車輛處理器、被配置為沿庫存運送面移動材料搬運車輛的驅(qū)動機構(gòu)、被配置為在工業(yè)設(shè)施的存儲倉中存儲和取回貨物的材料搬運機構(gòu)、以及與驅(qū)動機構(gòu)和材料搬運機構(gòu)通信的車輛控制架構(gòu)。相機可以通信地耦合到一個或多個車輛處理器和管理服務(wù)器,并且可以捕捉頭頂特征的輸入圖像。一個或多個車輛處理器可以通信地耦合到管理服務(wù)器。工業(yè)設(shè)施地圖可以存儲在管理服務(wù)器上,并且可以通信地耦合到一個或多個車輛處理器,其中工業(yè)設(shè)施地圖包括與頭頂特征的映射關(guān)聯(lián)的多個三維全局特征點。材料搬運車輛的一個或多個車輛處理器可以執(zhí)行車輛功能以:通過取回來自相機的包括二維UV空間信息的相機數(shù)據(jù)的初始集合、形成來自UV空間信息的對、以及將來自UV空間信息的對與來自工業(yè)設(shè)施地圖的多個三維全局特征點的對關(guān)聯(lián),創(chuàng)建多個關(guān)聯(lián)特征對。材料搬運車輛的一個或多個車輛處理器可以進一步執(zhí)行車輛功能以:針對在相機的視覺范圍內(nèi)的關(guān)聯(lián)特征對計算車輛姿態(tài);基于多個關(guān)聯(lián)特征對中的最高評級對計算材料搬運車輛的最佳估計姿態(tài);使用與材料搬運車輛關(guān)聯(lián)的累積的里程將最佳估計姿態(tài)更新到當前所定位的位置;將種子位置設(shè)置為當前所定位的位置;以及使用當前所定位的位置,跟蹤材料搬運車輛沿庫存運送面的導航、以至少部分自動的方式沿庫存運送面導航材料搬運車輛、或者兩者。
在實施例中,一個或多個車輛處理器可以進一步執(zhí)行車輛功能,以在將種子位置更新為當前所定位的位置之前驗證當前所定位的位置。這樣的驗證可以包括以下功能:在每個數(shù)據(jù)關(guān)聯(lián)步驟之后記錄唯一全局特征點的數(shù)量,直到該數(shù)量在閾值以上,使得種子位置作為當前所定位的位置被驗證。
在實施例中,一個或多個車輛處理器可以進一步執(zhí)行車輛功能,以在將種子位置更新為當前所定位的位置之后在顯示器上將種子位置公布為當前所定位的位置。
在實施例中,一個或多個車輛處理器可以進一步執(zhí)行車輛功能以:確定材料搬運車輛是否丟失;以及如果確定材料搬運車輛丟失,則取回來自相機的相機數(shù)據(jù)的后續(xù)集合,并且使用來自相機的相機數(shù)據(jù)的后續(xù)集合取代來自相機的相機數(shù)據(jù)的初始集合重復以下功能直到找到材料搬運車輛:(i)通過取回來自相機的包括二維UV空間信息的相機數(shù)據(jù)的后續(xù)集合、形成來自UV空間信息的對、以及將來自UV空間信息的對與來自工業(yè)設(shè)施地圖的多個三維全局特征點的對關(guān)聯(lián),創(chuàng)建多個關(guān)聯(lián)特征對;(ii)針對在相機的視覺范圍內(nèi)的關(guān)聯(lián)特征對計算車輛姿態(tài);(iii)基于多個關(guān)聯(lián)特征對中的最高評級對計算材料搬運車輛的最佳估計姿態(tài);(iv)使用與材料搬運車輛關(guān)聯(lián)的累積的里程將最佳估計姿態(tài)更新到當前所定位的位置;(v)將種子位置設(shè)置為當前所定位的位置;以及使用當前所定位的位置,跟蹤材料搬運車輛沿庫存運送面的導航、以至少部分自動的方式沿庫存運送面導航材料搬運車輛、或者兩者。
在實施例中,材料搬運車輛是否丟失的確定可以至少部分地基于種子位置是否包括錯誤的數(shù)據(jù)。在實施例中,材料搬運車輛是否丟失的確定可以至少部分地基于相機數(shù)據(jù)是否不足以校正與累積的里程關(guān)聯(lián)的誤差。在實施例中,多個關(guān)聯(lián)特征對是通過數(shù)據(jù)關(guān)聯(lián)步驟創(chuàng)建的,該數(shù)據(jù)關(guān)聯(lián)步驟可以包括:創(chuàng)建UV空間信息對;將每個全局特征點與每個UV空間信息對中的第一UV空間特征關(guān)聯(lián);以及將相機的最大視覺范圍內(nèi)的每個全局特征點與每個UV空間信息對中的第二UV空間特征關(guān)聯(lián)。
在實施例中,針對相機的視覺范圍內(nèi)的每個關(guān)聯(lián)特征對的車輛姿態(tài)的計算可以至少部分地基于全局定位算法的使用。全局定位算法可以包括這樣的公式,該公式計算車輛關(guān)于可以作為錨定特征的關(guān)聯(lián)特征對的第一UV空間特征的偏航。該公式可以包括:N是兩個3D向量的叉積;
T是用于偏航旋轉(zhuǎn)的目標3D點;以及
在實施例中,基于多個關(guān)聯(lián)特征對中的最高評級對對材料搬運車輛的最佳估計姿態(tài)的計算可以至少部分地基于對每個計算出的車輛姿態(tài)的姿態(tài)總和誤差(pose sum error)的計算,其中最高評級對具有最低的姿態(tài)總和誤差。
在另一個實施例中,沿庫存運送面導航材料搬運車輛或者跟蹤材料搬運車輛沿庫存運送面的導航的方法可以包括:在工業(yè)設(shè)施的庫存運送面上布置材料搬運車輛,其中材料搬運車輛與管理服務(wù)器通信,其中材料搬運車輛包括相機、一個或多個車輛處理器、被配置為沿庫存運送面移動材料搬運車輛的驅(qū)動機構(gòu)、被配置為在工業(yè)設(shè)施的存儲倉中存儲和取回貨物的材料搬運機構(gòu)、以及與驅(qū)動機構(gòu)和材料搬運機構(gòu)通信的車輛控制架構(gòu)。該方法可以進一步包括:使用驅(qū)動機構(gòu)以沿庫存運送面移動材料搬運車輛;當材料搬運車輛沿庫存運送面移動時,經(jīng)由相機捕捉工業(yè)設(shè)施的頭頂特征的輸入圖像;提供工業(yè)設(shè)施地圖,該工業(yè)設(shè)施地圖包括與天花板燈的映射關(guān)聯(lián)的多個三維全局特征點;以及通過取回來自相機的包括二維UV空間信息的相機數(shù)據(jù)的初始集合、形成來自UV空間信息的對、以及將來自UV空間信息的對與來自工業(yè)設(shè)施地圖的多個三維全局特征點的對關(guān)聯(lián),創(chuàng)建多個關(guān)聯(lián)特征對。該方法可以進一步包括:經(jīng)由一個或多個車輛處理器,針對在相機的視覺范圍內(nèi)的關(guān)聯(lián)特征對計算車輛姿態(tài);經(jīng)由一個或多個車輛處理器,基于多個關(guān)聯(lián)特征對中的最高評級對計算材料搬運車輛的最佳估計姿態(tài);使用與材料搬運車輛關(guān)聯(lián)的累積的里程將最佳估計姿態(tài)更新到當前所定位的位置;以及將種子位置設(shè)置為當前所定位的位置。該方法可以進一步包括:經(jīng)由一個或多個車輛處理器和管理服務(wù)器,使用當前所定位的位置,跟蹤材料搬運車輛沿庫存運送面的導航、以至少部分自動的方式沿庫存運送面導航材料搬運車輛、或者兩者。
在實施例中,該方法可以進一步包括:在將種子位置更新為當前所定位的位置之前驗證當前所定位的位置。該驗證可以包括:在每個數(shù)據(jù)關(guān)聯(lián)步驟之后記錄唯一全局特征點的數(shù)量,直到該數(shù)量在閾值以上,使得種子位置作為當前所定位的位置被驗證。在實施例中,該方法可以進一步包括:在將種子位置更新為當前所定位的位置之后在顯示器上將種子位置公布為當前所定位的位置。
在實施例中,該方法可以進一步包括:確定材料搬運車輛是否丟失;如果確定材料搬運車輛丟失,則通過取回來自相機的包括二維UV空間信息的相機數(shù)據(jù)的后續(xù)集合、形成來自UV空間信息的對、以及將來自UV空間信息的對與來自工業(yè)設(shè)施地圖的多個三維全局特征點中的每一個的對關(guān)聯(lián)而創(chuàng)建多個新的關(guān)聯(lián)特征對來尋找材料搬運車輛;經(jīng)由一個或多個車輛處理器,針對在相機的視覺范圍內(nèi)的每個新的關(guān)聯(lián)特征對計算車輛姿態(tài);經(jīng)由一個或多個車輛處理器,基于多個新的關(guān)聯(lián)特征對中的最高評級對計算材料搬運車輛的新的最佳估計姿態(tài);使用與材料搬運車輛關(guān)聯(lián)的累積的里程將新的最佳估計姿態(tài)更新到新的當前所定位的位置;以及將種子位置設(shè)置為新的當前所定位的位置。
鑒于下面結(jié)合附圖的詳細描述,將更全面地理解由本文中所描述的實施例提供的這些特征和附加特征。
附圖說明
附圖中闡述的實施例本質(zhì)上是示意性的和示例性的,并且不是旨在限制權(quán)利要求所限定的主題。當結(jié)合下面的附圖閱讀時,示意性實施例的以下詳細描述可以被理解,在附圖中用相同的參考標號指示相同的結(jié)構(gòu),并且其中:
圖1描繪了根據(jù)本文中顯示和描述的一個或多個實施例的用于定位的車輛;
圖2描繪了示出根據(jù)本文中顯示和描述的一個或多個實施例的示例性定位系統(tǒng)的框圖;
圖3描繪了根據(jù)本文中顯示和描述的一個或多個實施例的用于在定位處理內(nèi)的相機特征提取及應用以及全局定位方法的驗證的示例性方法的流程圖;
圖4描繪了根據(jù)本文中顯示和描述的一個或多個實施例的用于全局定位方法的示例性方法的流程圖概要;
圖5描繪了根據(jù)本文中顯示和描述的一個或多個實施例的包括UV空間特征A、B、C和D的示例性UV圖像空間觀測;
圖6描繪了根據(jù)本文中顯示和描述的一個或多個實施例的包括全局特征1-12的示例性全局定位圖示;
圖7描繪了基于圖6并且根據(jù)本文中顯示和描述的一個或多個實施例的全部可能的全局特征對組合的列表;
圖8描繪了根據(jù)本文中顯示和描述的一個或多個實施例的包括全局特征1-12和相機的最大視覺范圍或視場的示例性全局定位圖示;
圖9描繪了根據(jù)本文中顯示和描述的一個或多個實施例的包括圍繞全局特征的圓形路徑的示例性車輛路徑圖示,該圓形路徑包括與圖5中所示的UV-空間觀測匹配的全部可能的車輛位置和姿態(tài)。
圖10a描繪了根據(jù)本文中顯示和描述的一個或多個實施例的全局特征對的示例性圖示,其中該對中的第二全局特征跟蹤圍繞第一全局特征的圓形路徑并且兩個特征在基本相同的高度上。
圖10b描繪了根據(jù)本文中顯示和描述的一個或多個實施例的全局特征對的示例性圖示,其中該對中的第二全局特征跟蹤圍繞第一全局特征的扭曲路徑并且特征在不同高度上。
圖11a描繪了根據(jù)本文中顯示和描述的一個或多個實施例的圖10a的示例性圖示,該示例性圖示顯示有效的關(guān)聯(lián)特征以及顯示與車輛的航向一起繪制的第二全局特征的觀測到的UV-空間點,所述車輛的航向是第一全局特征點與所繪制的觀測到的第二全局特征點之間的線的角度;
圖11b描繪了根據(jù)本文中顯示和描述的一個或多個實施例的圖10b的示例性圖示,該示例性圖示顯示無效的關(guān)聯(lián)特征以及顯示與車輛的航向一起繪制的第二全局特征的觀測到的UV-空間點,所述車輛的航向是第一全局特征點與所繪制的觀測到的第二全局特征點之間的線的角度;
圖12a描繪了根據(jù)本文中顯示和描述的一個或多個實施例的在UV空間中的觀測到的全局特征與預測的全局特征之間的圖像空間誤差計算的第一集合及其被顯示為像素差的關(guān)聯(lián)的總和誤差(sum error)的示例性圖示;
圖12b描繪了根據(jù)本文中顯示和描述的一個或多個實施例的在UV空間中的觀測到的全局特征與預測的全局特征之間的圖像空間誤差計算的第二集合及其被顯示為像素差的關(guān)聯(lián)的總和誤差的示例性圖示;
圖13描繪了根據(jù)本文中顯示和描述的一個或多個實施例的示例性的累積里程程序流程方法的流程圖概要;以及
圖14描繪了根據(jù)本文中顯示和描述的一個或多個實施例的示例性的定位系統(tǒng)驗證程序流程方法的流程圖概要。
具體實施方式
本文中所描述的實施例一般地涉及用于從頭頂照明裝置提取特征的定位技術(shù),頭頂照明裝置包括但不限于天窗。定位是本文中用來指代啟用對倉庫、工業(yè)設(shè)施或其他環(huán)境中的車輛位置的主動跟蹤的各種系統(tǒng)配置中的任意系統(tǒng)配置的短語。本公開的概念不限于任何特定的定位系統(tǒng)配置,并且本公開的概念被認為可應用于各種傳統(tǒng)的定位系統(tǒng)和尚待開發(fā)的定位系統(tǒng)中的任意定位系統(tǒng)。如下面將進一步更詳細地描述的,定位系統(tǒng)可以與全局定位方法(GLM)和/或驗證系統(tǒng)一起使用,使得如果工業(yè)車輛通過定位系統(tǒng)方法而丟失,則可以使用GLM恢復該車輛,并且在公布新的當前車輛定位之前,驗證系統(tǒng)可以被用來檢查恢復的準確性。附加地或者可替換地,GLM可以被用作定位系統(tǒng)本身以及恢復系統(tǒng),和/或驗證系統(tǒng)可以與定位系統(tǒng)和/或GLM系統(tǒng)一起使用。
定位系統(tǒng)可以被用來定位和/或?qū)Ш焦I(yè)車輛通過建筑結(jié)構(gòu),諸如倉庫。合適地,頭頂照明裝置可以被安裝在建筑物的天花板內(nèi)或天花板上。然而,在一些實施例中,照明裝置還可以或可選地經(jīng)由合適的結(jié)構(gòu)從天花板或墻壁懸掛。在一些實施例中,相機可以被安裝到導航通過倉庫的工業(yè)車輛(例如自動導向的車輛或者手動導向的車輛)。在從圖像提取特征之前,輸入圖像可以是從相機捕捉的任意圖像。
現(xiàn)在參考圖1,車輛100可以被配置為導航通過諸如倉庫110的工業(yè)設(shè)施。車輛100可以包括材料搬運車輛,該材料搬運車輛包括沿庫存運送面移動材料搬運車輛的驅(qū)動機構(gòu)、被配置為在工業(yè)設(shè)施的存儲倉中存儲和取回貨物的材料搬運機構(gòu)、以及與驅(qū)動機構(gòu)和材料搬運機構(gòu)通信的車輛控制架構(gòu)。車輛100可以包括用于提舉和移動負載的工業(yè)車輛,諸如例如升降叉車(forklift truck)、前伸式叉車(reach truck)、轉(zhuǎn)塔車(turret truck)、步行式堆垛叉車(walkie stacker truck)、拖拉機、碼垛車(pallet truck)、高/低、堆垛車(stacker truck)、架式掛車(trailer loader)、側(cè)向裝載機(side loader)、叉式起重機(fork hoist)等。工業(yè)車輛可以被配置為自動地或手動地沿著期望的路徑導航庫存運送面,諸如倉庫110的面122。相應地,車輛100可以通過一個或多個車輪124的旋轉(zhuǎn)而被向前和向后引導。附加地,可以通過轉(zhuǎn)向一個或多個輪124而使車輛100改變方向??蛇x地,車輛可以包括操作者控件126以控制車輛的功能,諸如但不限于車輪124的速度、車輪124的朝向等。操作者控件126可以包括被分配給車輛100的功能的控件,諸如例如開關(guān)、按鈕、桿、手柄、踏板、輸入/輸出設(shè)備等。注意,本文中所使用的術(shù)語“導航”可以指控制車輛從一個地方到另一個地方的移動。
車輛100還可以包括用于捕捉頭頂圖像(諸如頭頂特征的輸入圖像)的相機102。相機102可以是能夠捕捉對象的視覺外觀并將該視覺外觀轉(zhuǎn)換成圖像的任何設(shè)備。相應地,相機102可以包括圖像傳感器,諸如例如電荷耦合器件、互補金屬氧化物半導體傳感器或其功能等同物。在一些實施例中,車輛100可以位于倉庫110內(nèi),并且可以被配置為捕捉倉庫110的天花板112的頭頂圖像。為了捕捉頭頂圖像,相機102可以被安裝到車輛100并且聚焦于天花板112。為了定義和描述本公開的目的,本文中所使用的術(shù)語“圖像”可以指所檢測到的對象的外觀的表現(xiàn)形式。圖像可以以各種機器可讀的表現(xiàn)形式來提供,諸如例如JPEG、JPEG 2000、Exif、TIFF、原始圖像格式、GIF、BMP、PNG、Netpbm格式、WEBP、光柵格式、向量格式或適合于捕獲頭頂對象的任何其他格式。
倉庫110的天花板112可以包括頭頂燈,諸如但不限于用于從天花板112或者大體從在倉庫中操作的車輛上方提供照明的天花板燈114。天花板燈114可以包括基本矩形的燈,諸如例如天窗116、熒光燈等;并且天花板燈114可以被安裝在天花板或墻壁結(jié)構(gòu)中或者從天花板或墻壁結(jié)構(gòu)懸掛,以便從上方提供照明。如本文中所使用的,術(shù)語“天窗”可以指在天花板或屋頂中的孔,其裝配有用于準許日光進入的基本上透光的介質(zhì),諸如例如空氣、玻璃、塑料等。盡管天窗可以有各種形狀和尺寸,但是本文中所描述的天窗可以包括“標準”長、基本矩形的天窗,其可以或可以不被桁材或橫桿分成一系列面板??商鎿Q地,天窗可包括尺寸類似于臥室窗戶的矩形或圓形形狀的較小、離散的天窗,即約30英寸乘約60英寸(約73厘米乘約146厘米)。可替換地或者附加地,天花板燈114可以包括基本圓形的燈,諸如例如圓形燈118、合并燈(merged light)120等,合并燈120可以包括看起來像單個對象的多個相鄰的圓形燈。因此,頭頂燈或“天花板燈”包括自然(例如陽光)和人造(例如電氣供電的)的光源。
本文中所描述的實施例可以包括通信地耦合到相機102的一個或多個車輛處理器,諸如處理器104。一個或多個處理器104可以執(zhí)行機器可讀指令以自動地實現(xiàn)本文中所描述的任意方法或功能。用于存儲機器可讀指令的存儲器106可以通信地耦合到一個或多個處理器104、相機102、或它們的任意組合。一個或多個處理器104可以包括處理器、集成電路、微芯片、計算機、或者能夠執(zhí)行機器可讀指令或已經(jīng)被配置為以類似于機器可讀指令的方式執(zhí)行功能的任何其他計算設(shè)備。存儲器106可以包括RAM、ROM、閃存存儲器、硬盤驅(qū)動器、或者能夠存儲機器可讀指令的任何非暫態(tài)設(shè)備。
一個或多個處理器104和存儲器106可以與相機102是一體的。可替換地或者附加地,一個或多個處理器104和存儲器106中的每個可以與車輛100是一體的。此外,一個或多個處理器104和存儲器106中的每個可以與車輛100和相機102分離。例如,管理服務(wù)器、服務(wù)器或者移動計算設(shè)備可以包括一個或多個處理器104、存儲器106、或者兩者。注意,在不偏離本公開的范圍的情況下,一個或多個處理器104、存儲器106、以及相機102可以是相互通信地耦合的離散部件。相應地,在一些實施例中,一個或多個處理器104的部件、存儲器106的部件、以及相機102的部件可以物理地彼此分離。本文中所使用的短語“通信地耦合”指部件能夠互相交換數(shù)據(jù)信號,諸如例如經(jīng)由導電介質(zhì)交換電信號、經(jīng)由空氣交換電磁信號、經(jīng)由光波導交換光學信號等。
因此,本公開的實施例可以包括以任何一代(例如,1GL、2GL、3GL、4GL、或者5GL)的任意編程語言編寫的邏輯或者算法。邏輯或算法可以被編寫為可由處理器直接執(zhí)行的機器語言,或者可被編譯或匯編成機器可讀指令并存儲在機器可讀介質(zhì)上的匯編語言、面向?qū)ο蟮木幊?OOP)、腳本語言、微碼等??商鎿Q地或者附加地,邏輯或算法可以以硬件描述語言(HDL)編寫。此外,可以經(jīng)由現(xiàn)場可編程門陣列(FPGA)配置或者專用集成電路(ASIC)或者它們的等同物來實現(xiàn)邏輯或算法。
如以上提及的,車輛100可以包括一個或多個處理器104或者與一個或多個處理器104通信地耦合。相應地,一個或多個處理器104可以執(zhí)行機器可讀指令以操作或代替操作者控件126的功能。機器可讀指令可以被存儲在存儲器106上。相應地,在一些實施例中,車輛100可以通過一個或多個處理器104執(zhí)行機器可讀指令來自動地導航。在一些實施例中,在導航車輛100時,車輛的位置可以被定位系統(tǒng)監(jiān)控。
例如,基于車輛100的所定位的位置,車輛100可以沿倉庫110的面122自動地沿期望的路徑導航到期望的位置。在一些實施例中,車輛100可以確定車輛100相對于倉庫110的所定位的位置。車輛100的所定位的位置的確定可以通過比較圖像數(shù)據(jù)與地圖數(shù)據(jù)而執(zhí)行。地圖數(shù)據(jù)可以本地存儲在存儲器106中,地圖數(shù)據(jù)可以定期更新,或者地圖數(shù)據(jù)可由服務(wù)器等提供。在實施例中,工業(yè)設(shè)施地圖包括與頭頂特征的映射關(guān)聯(lián)的多個三維全局特征點。給定所定位的位置和期望的位置,可以為車輛100確定行進路徑。一旦知道了行進路徑,車輛100可以沿行進路徑行進以導航于倉庫110的面122。具體而言,一個或多個處理器106可以執(zhí)行機器可讀指令以執(zhí)行定位系統(tǒng)功能并且操作車輛100。在一個實施例中,一個或多個處理器106可以調(diào)整車輪124的轉(zhuǎn)向以及控制油門以使車輛100導航于面122。
現(xiàn)在參考圖2,示意性地描繪了用于將特征提取算法與里程融合綜合在一起的定位系統(tǒng)的功能序列的流程圖。注意,盡管在所描繪的實施例中,功能如以特定次序執(zhí)行的那樣被列舉和描繪,但是這些功能也可以以替代性的順序執(zhí)行而不偏離不公開的范圍。此外注意,功能中的一個或多個可以被省略而不偏離本文中所描述的實施例的范圍。為了示意性的目的,在定位系統(tǒng)的圖2中發(fā)現(xiàn)的框圖中進一步示出所使用的定位系統(tǒng)200的示例,其形成本公開的組成部分。所示的系統(tǒng)通過從倉庫中的已知位置(即,種子)啟動以及使用融合的里程進行航位推算來操作。為了校正與航位推算關(guān)聯(lián)的誤差,注視著天花板的相機將匹配所映射的特征并且使用獨立數(shù)據(jù)來提供校正性反饋。例如,系統(tǒng)200包括相機202,相機202沿通信耦合系統(tǒng)(諸如以太網(wǎng)204)連接到圖像處理天花板燈提取系統(tǒng)206。作為示例而非限制,圖像處理天花板燈提取系統(tǒng)206可以以4Hz操作,并且可以使用算法來提取特征,諸如二維UV-空間點或者來自頭頂特征或燈的圖像。例如,系統(tǒng)200進一步包括與車輛100關(guān)聯(lián)的、以60Hz操作的初始測量單元(IMU)210,初始測量單元210與車輛100的以60Hz操作的里程212交互,以沿路徑214組合形成以60Hz操作的IMU-里程融合216。例如,IMU-里程融合216沿路徑218與圖像處理天花板燈提取206組合以創(chuàng)建傳感器數(shù)據(jù)融合220,傳感器數(shù)據(jù)融合220被放置為通過擴展的卡爾曼濾波器。例如,燈地圖208與傳感器數(shù)據(jù)融合220以及以60Hz操作的線導向222組合,以沿can總線路徑226行進并確定卡車定位228,卡車定位228包括諸如x坐標、y坐標、以及航向或者方向的姿態(tài)數(shù)據(jù)。
參考圖3,處理300包括定位系統(tǒng)操作300a、恢復操作300b、以及驗證處理300c。定位系統(tǒng)操作300a被顯示,其中新的相機數(shù)據(jù)302與新的里程數(shù)據(jù)304被組合,以在計算步驟306中計算車輛100的當前定位系統(tǒng)位置,隨后在公布步驟308中公布當前定位系統(tǒng)位置。在實施例中,材料搬運車輛相對于工業(yè)設(shè)施的庫存運送面的所定位的位置是基于材料搬運車輛在工業(yè)設(shè)施中的種子位置以及與材料搬運車輛關(guān)聯(lián)的航位推算而確定的。例如,來自相機的相機數(shù)據(jù)的初始集合被使用并且包括二維UV空間信息,以為所定位的位置提供校正性反饋。所定位的位置被用來跟蹤材料搬運車輛沿庫存運送面的導航和/或以至少部分自動的方式沿庫存運送面導航材料搬運車輛。
如果相機數(shù)據(jù)不足以校正航位推算誤差,或者用以啟動的種子是錯誤的;則系統(tǒng)變成丟失。類似的挑戰(zhàn)與其他類型的定位系統(tǒng)關(guān)聯(lián)。在實施例中,材料搬運車輛是基于工業(yè)設(shè)施種子位置是否包括錯誤的數(shù)據(jù)和/或相機數(shù)據(jù)是否不足以校正與航位推算關(guān)聯(lián)的誤差而被確定為丟失的??梢韵氲剑祷氐蕉ㄎ坏臓顟B(tài)的方式將是從已知的啟動位置重新(re-seed)定位。例如,即使當卡車的位置丟失或未知時,包括本文中所描述的算法并且在下面更詳細描述的全局定位方法(GLM)使用相機所觀測到的燈星座或者圖案(被轉(zhuǎn)換為二維(2D)UV空間坐標)以及在相機的視覺范圍內(nèi)可觀測到的全部燈的已映射的全局位置的知識(以三維(3D)坐標的形式提供)來計算卡車的位置。例如,這樣的GLM使用倉庫中的多個不同高度處的燈來工作,傳統(tǒng)方法沒有實現(xiàn)這些。在實施例中,GLM可以被用作可以定位初始種子位置的單獨的定位系統(tǒng),繼之以下面關(guān)于恢復操作300b所闡述的類似的處理。
圖3的示圖顯示了在定位系統(tǒng)中如何使用GLM從丟失狀態(tài)恢復。當所使用的定位系統(tǒng)變成丟失使得工業(yè)車輛的位置未知時,GLM開始對于新的相機數(shù)據(jù)以單獨的線程運行。GLM將會將相機數(shù)據(jù)所提供的二維(2D)UV空間信息關(guān)聯(lián)到地圖中的被顯示為全局特征的三維(3D)燈,并且隨后計算工業(yè)車輛的全局位置。例如,通過取回來自相機的包括二維UV空間信息的相機數(shù)據(jù)的初始集合、形成來自UV空間信息的對、以及將來自UV空間信息的每個對與來自工業(yè)設(shè)施地圖的多個三維全局特征點中的每一個的對關(guān)聯(lián),創(chuàng)建多個關(guān)聯(lián)特征對。如下面進一步更詳細地描述的,針對相機的視覺范圍內(nèi)的每個關(guān)聯(lián)特征對計算車輛姿態(tài),并且基于多個關(guān)聯(lián)特征對中的最高評級對計算材料搬運車輛的最佳估計姿態(tài)。如下面描述的,與材料搬運車輛關(guān)聯(lián)的累積的里程被用來將最佳估計姿態(tài)更新到當前所定位的位置,并且種子位置被設(shè)置為當前所定位的位置。使用當前所定位的位置,跟蹤材料搬運車輛沿庫存運送面的導航和/或以至少部分自動的方式沿庫存運送面導航材料搬運車輛。
例如,在定位系統(tǒng)的線程上,當GLM正在運行時,用于工業(yè)車輛的里程數(shù)據(jù)被累積。當GLM成功時,累積的里程被用來將來自GLM的計算出的姿態(tài)更新到工業(yè)車輛的當前位置。該工業(yè)車輛位置被用來作為定位系統(tǒng)在驗證狀態(tài)中的種子。在定位系統(tǒng)驗證狀態(tài)中,定位系統(tǒng)將正常運行,但是將不會公布其當前定位。例如,當驗證已經(jīng)通過匹配閾值(諸如倉庫中的燈的特定數(shù)量)而成功時,定位系統(tǒng)可以開始公布當前姿態(tài)。
例如,參考圖3,在步驟310中確定當前位置丟失之后,發(fā)起恢復操作300b?;謴筒僮?00b包括在步驟312中清除累積里程,以及在步驟314中應用全局定位方法(GLM)。GLM的應用包括使用新的相機數(shù)據(jù)316來計算當前位置以及在步驟324中確定方法是否成功。如果未成功,則GLM被再次應用直到方法成功。當方法成功時,新的里程數(shù)據(jù)318與步驟320的航位推算的累積的里程一起被使用,以提供累積的里程322,該累積的里程322在步驟326中與步驟324的成功的GLM一起被應用,以在步驟328中計算當前定位系統(tǒng)位置。
隨后可以應用驗證處理300c,以在步驟308中公布位置之前驗證步驟328的計算出的位置。例如,在步驟328中使用新的相機數(shù)據(jù)330和新的里程數(shù)據(jù)332來計算當前定位系統(tǒng)位置,并且在步驟334中記錄和計數(shù)匹配的新的全局特征。如果車輛100在步驟336中變成丟失,則恢復操作300b再次開始。如果車輛100沒有丟失,并且匹配的新的全局特征的計數(shù)超出閾值,則如下面進一步更詳細地描述的,在步驟338中認為驗證狀態(tài)完成,并且定位系統(tǒng)退出驗證狀態(tài)以在步驟308中公布定位數(shù)據(jù)。如果在步驟338中不認為驗證步驟完成,則驗證處理300c繼續(xù),直到認為驗證步驟完成。
本公開下面更詳細地描述GLM,包括算法和過濾處理、以及從定位系統(tǒng)線程(或者用作定位系統(tǒng)的單獨的GLM線程)到成功的GLM恢復線程收集和應用累積里程的框架和方法。此外,定位系統(tǒng)驗證算法或方法被更詳細地闡述和描述。
參考圖4,流程圖示出了GLM中的步驟的概要,GLM使用相機所觀測到的二維中的特征、UV-空間坐標來確定工業(yè)車輛的定位,所述UV-空間坐標與來自相機正在觀測的范圍以及來自代表全局特征點的3D坐標的全局地圖的對應三維(3D)坐標關(guān)聯(lián)。在這些關(guān)聯(lián)特征被匹配之后,進行過濾以對關(guān)聯(lián)特征提供評級或排名。這些關(guān)聯(lián)特征的對(這樣的關(guān)聯(lián)特征包括已知的2D UV-空間坐標和全局3D坐標兩者)(例如,可以是排名最高的對)足以確定跟蹤的全局位置。
總體來說,圖4顯示了GLM概要400,GLM概要400以捕捉新的相機數(shù)據(jù)的步驟401開始。新的相機數(shù)據(jù)提供與相機的視覺范圍中的全局3D坐標關(guān)聯(lián)的、二維的UV-空間坐標,以如步驟402中所示地生成工業(yè)設(shè)施或倉庫中的關(guān)聯(lián)特征對的可能組合(盡管也能夠生成工業(yè)設(shè)施或倉庫中的關(guān)聯(lián)特征對的全部可能的組合)。在步驟404中,從每個關(guān)聯(lián)特征對計算該GLM所應用到的工業(yè)車輛的姿態(tài)。每個計算出的姿態(tài)針對其他計算出的姿態(tài)被排名和評級。例如,在步驟406中,通過比較預測的相機視圖和觀測到的相機視圖的實際相機數(shù)據(jù),進一步計算來自每個關(guān)聯(lián)特征對的在每個計算出的姿態(tài)處的總和誤差,其中較低的總和誤差指示預測的視圖和觀測到的視圖之間較好的匹配。具有高于(如系統(tǒng)或者用戶設(shè)置的)閾值的總和誤差的工業(yè)車輛的姿態(tài)被認為是無效的匹配并且被濾除。通過步驟408進行和重復這樣的過濾,直到在步驟410中剩下單個姿態(tài),這隨后在步驟412中指示GLM成功。
對于圖4的步驟402,圖5-8提供了關(guān)于該步驟402的進一步細節(jié),該步驟402示出了生成工業(yè)設(shè)施或倉庫中的關(guān)聯(lián)特征對的可能組合。例如,當工業(yè)車輛位置未知或丟失時,沒有足夠的信息以直接匹配2D UV-空間特征(如下面圖5中所示的)與倉庫地圖中的全局特征(如下面圖6中所示的)。因此,2D UV-空間特征和3D全局特征對之間的每個可能組合可以被生成為關(guān)聯(lián)特征對,而檢測到的錯誤的關(guān)聯(lián)特征對可以被從列表或者所生成的關(guān)聯(lián)特征對中濾除。由于僅需一對關(guān)聯(lián)特征來計算工業(yè)車輛的姿態(tài),所以2D UV空間特征被分組為唯一的對以避免工作的重復。例如,圖5的4個特征A-D被分組成以下6個對:AB、AD、AD、BC、BD和CD。
盡管2D UV-空間特征的對(諸如可從圖5的圖示500中所示的4個2D UV-空間特征導出的6個非重復的對)要與全局特征的對(諸如從圖6的圖示600中所示的12個全局特征導出的對)關(guān)聯(lián),但是應當理解的是,物理上離得太遠而不能在來自區(qū)域602的單個相機幀中捕捉并且因此在相機的視圖之外的全局特征不適合于這樣的關(guān)聯(lián)以創(chuàng)建關(guān)聯(lián)特征對。在實施例中,對匹配算法將確定第一對UV-空間特征(諸如A-B),并且隨后將每個全局特征關(guān)聯(lián)到該對中的第一UV-空間特征(諸如A-B:1到A-B:12)。第二UV-空間特征隨后被關(guān)聯(lián)到在第一關(guān)聯(lián)特征的相機的最大視覺范圍內(nèi)的每個全局特征。例如,參考圖5和圖6,如果全局特征1、2、3和6在UV-空間特征A的最大視覺范圍內(nèi),則相對于作為示例的A-B:1的對將是A-B:1-2、A-B:1-3以及A-B:1-6。應用該對匹配算法允許可在要生成的同一相機幀內(nèi)觀測到的全局特征的每個可能的排列。
參考圖7,圖6的12個全局特征的全部可能的特征對被列出在表700中。如果從這些列出的對創(chuàng)建每個可能的關(guān)聯(lián)特征對,則下面等式1中所示的公式將產(chǎn)生792個關(guān)聯(lián)特征對。
等式1:
對于n中的k個排列,針對全部可能的非重復的關(guān)聯(lián)特征對,該等式為個觀測到的UV對*個全局對=792個關(guān)聯(lián)特征對。
在實施例中,減少所分析的全局特征對的數(shù)量的算法可以被用來選擇只在相機的視場或視覺范圍中可見的那些全局特征。例如,圖7以黑體印刷顯示了在相機的視覺范圍內(nèi)的視覺范圍對。如果將等式1應用到圖7中的黑體印刷項,則等式將產(chǎn)生6個(觀測到的對)*45個(黑體印刷全局對)=270個關(guān)聯(lián)特征對。再次參考圖6,在圖8的圖示800中將來自區(qū)域802的視覺范圍示意地描繪為虛線圓形線804內(nèi)的區(qū)域。在虛線圓形線的可見范圍內(nèi)的中心全局特征點和全部其他全局特征點之間創(chuàng)建對。黑體的視覺范圍對被選擇為全局特征對進行分析,并且等式1被應用以生成以下結(jié)果:
等式2:
個觀測到的UV對*個全局對=180個關(guān)聯(lián)特征對。
因此,當只分析圖8的相機的視覺范圍內(nèi)的那些關(guān)聯(lián)特征對時,不是分析總數(shù)792個關(guān)聯(lián)特征對,而是該數(shù)量被減小到分析180個關(guān)聯(lián)特征對。
對于圖4的步驟404,圖9-圖11b提供關(guān)于該步驟404的進一步細節(jié),該步驟404示出從每個所分析的關(guān)聯(lián)特征對計算工業(yè)車輛的各個姿態(tài)。例如,使用關(guān)聯(lián)特征對可以計算工業(yè)車輛的全局姿態(tài)。第一關(guān)聯(lián)特征對可以被假定為UV-空間特征對和全局特征對之間的正確關(guān)聯(lián)。如圖9中所示,可以存在圍繞全局特征點的圓形路徑,該圓形路徑包括工業(yè)車輛與UV-空間觀測匹配的全部可能的位置。
如果工業(yè)車輛圍繞圖9中所示的圓形路徑行進,則關(guān)聯(lián)的相機將觀測到第二全局特征點跟蹤圍繞第一全局特征點1002a的圓形路徑。當兩個全局特征點都在基本相同的高度上時,所示的路徑將是如圖10a的圖示1000a中所示的圓形1004a。當全局特征點在不同的高度上時,路徑1004b將圍繞點1002b更加扭曲并且較不圓,如圖10b的圖示1000b中所示。P1可以是被假定為正確地定位的第一全局特征點,而P2可以是關(guān)聯(lián)特征對中的預測的第二全局特征點的圍繞P1的路徑。
參考圖11a的圖示1100a,第二全局特征點的預測的UV-空間路徑P2(如圖10a上圍繞P1點1102a的路徑1104a所繪制的)被附加地顯示為具有觀測到的或?qū)嶋H的P2UV-空間點1106以及顯示工業(yè)車輛的航向或方向的線1110a。例如,在UV-空間圖示上,P1和觀測到的P2點之間的線相對于與點P1相交的水平線1108的角度α表示工業(yè)車輛的航向。在工業(yè)車輛的航向已知的情況下,可以計算工業(yè)車輛在圖9的圓形路徑上或圓形路徑內(nèi)的確切定位。
參考圖11b的圖示1100b,顯示了無效的關(guān)聯(lián)特征對。例如,航向相對于線1108的偏航或者角度α仍與圖11a中所示的相同。然而,沿(如圍繞P1點1102b所示的)路徑1104b的預測的P2的值與沿線1110b的觀測到的P2點1106不同。該誤差在下面針對步驟406的過濾和評級描述的算法中被捕獲和反映。
在實施例中,在實施方案中,可以采用與上述啟發(fā)式算法類似但更具分析性的算法來進行工業(yè)車輛的姿態(tài)或潛在姿態(tài)的相同計算。例如,在全局空間中創(chuàng)建從觀測相機延伸以與它們各自的UV-空間特征點相交的兩個向量。如果工業(yè)車輛(相機位于其上)位于圖9中所示的路徑上的任何地方,則第一向量經(jīng)過第一全局特征點。
下面的等式3闡述了隨后將被用來使用與以上關(guān)于圖11a-圖11b中顯示并描述的分析類似的分析來計算工業(yè)車輛的偏航的算法。工業(yè)車輛的俯仰、滾動和高度必須是已知的,并且計算圍繞錨定特征(例如,該對中的第一UV-空間特征點)的偏航旋轉(zhuǎn),使得第二向量與第二全局特征點相交。
等式3:
設(shè)N為兩個3D向量的叉積;
設(shè)T為用于偏航旋轉(zhuǎn)的目標3D點;
以及
例如,計算出的工業(yè)車輛的偏航隨后被用來計算工業(yè)車輛在圖9中所示的圓形路徑內(nèi)的x和y位置。如果公式是未定義的和/或當作為結(jié)果的姿態(tài)將使第二全局特征在觀測相機的視覺范圍之外時,關(guān)聯(lián)特征對被假定是無效的,并且如下面進一步說明的,該關(guān)聯(lián)特征對可以被給予低評級和/或從潛在的當前定位姿態(tài)中濾除出去。
針對每個關(guān)聯(lián)特征對執(zhí)行等式3中闡述的算法,以分析和計算工業(yè)車輛的各個姿態(tài)。例如,參考等式2,如果有180個關(guān)聯(lián)特征對要分析,則等式3的算法將被執(zhí)行180次以為工業(yè)車輛找出180個相應的計算出的潛在姿態(tài)。
對于圖4的步驟406、408和410,圖12a-圖12b提供關(guān)于這些步驟的進一步細節(jié),這些步驟406、408和410示出對計算出的工業(yè)車輛的姿態(tài)進行過濾和評級,直到剩下單個姿態(tài)用于選擇作為當前工業(yè)車輛全局定位。例如,等式3的算法的結(jié)果是針對對其執(zhí)行算法的每個關(guān)聯(lián)特征對的工業(yè)車輛的預測的姿態(tài)。由于上面關(guān)于步驟402描述的生成關(guān)聯(lián)特征對的方法,大部分關(guān)聯(lián)特征對將被錯誤地匹配,從而具有不是觀測到的全局特征的預測的全局特征。這將導致工業(yè)車輛的錯誤的姿態(tài)或者位置和朝向。例如,下面的表1顯示了經(jīng)受過濾處理的許多關(guān)聯(lián)特征對中的一部分的樣本列表。
表1:過濾處理中的關(guān)聯(lián)特征對
在實施例中,第一輪過濾是在步驟404中進行的針對關(guān)聯(lián)特征對的對潛在姿態(tài)的每次計算的末尾處執(zhí)行的。例如,在從關(guān)聯(lián)特征對計算工業(yè)車輛的潛在姿態(tài)之后,第二關(guān)聯(lián)特征(例如,第二全局特征點)的有效性被測試。第二全局特征點1204a或者1204b被作為預測的點投射到UV-空間圖示上,并且與其觀測到的UV-空間對應點1202a或者1204b比較,如在圖12a-圖12b的圖示1200a或者1200b中所示。如果預測的第二全局特征點與觀測到的第二全局特征點之間的距離大于系統(tǒng)的最大噪聲,則各自的并且經(jīng)比較的計算出的工業(yè)車輛的潛在姿態(tài)作為無效姿態(tài)被濾除出去。
剩余的計算出的工業(yè)車輛的潛在姿態(tài)匹配被用來生成每個計算出的姿態(tài)的相應的UV-空間特征對,并且將不會考慮任何其他觀測到的特征。如圖12a-圖12b中所示,使用工業(yè)設(shè)施或者倉庫的3D全局特征的地圖來計算在工業(yè)車輛的每個姿態(tài)處的預期的UV-空間特征。觀測到的UV-空間特征被匹配到其最近的預期的或者預測的UV-空間特征,并且所有相應的預期的和觀測到的特征之間的像素距離(分別諸如圖12a和圖12b中的d1和d2)被計算并且被記錄為總和誤差值。例如,圖12a顯示了89.5個像素的總和誤差,而圖12b顯示了242.8個像素的總和誤差。對于每個觀測到的UV-空間特征增加附加的誤差,其被預期是模糊視圖以正確地有利于(favor)具有清晰視圖的工業(yè)車輛的姿態(tài),同時允許通過跟蹤系統(tǒng)等觀察特征的可能性。
導致具有高于最大觀測噪聲之和的總和誤差的計算出的工業(yè)車輛的姿態(tài)被濾除出去。剩余的姿態(tài)基于總和誤差以降序被排序以對姿態(tài)進行評級和排名。因此,步驟402的每個觀測到的對可以被正確地關(guān)聯(lián)以產(chǎn)生相同的姿態(tài)。然而,在實施方案中,由于相機和特征提取誤差以及等式3的算法的限制,并非全部作為結(jié)果的關(guān)聯(lián)特征對都可以產(chǎn)生準確的姿態(tài)。
在實施例中,當使用插入距離閾值來移除工業(yè)車輛的重復姿態(tài)時,來自未被濾除出去的姿態(tài)的具有最低總和誤差的不同卡車姿態(tài)被選擇作為工業(yè)車輛的可能當前定位。例如,關(guān)于上面的表1,最先列出的姿態(tài)被選擇作為工業(yè)車輛的可能當前姿態(tài),因為它具有全部其他列出的姿態(tài)的最低總和誤差。在最先選擇的姿態(tài)的定位容差和航向容差內(nèi)的剩余姿態(tài)的剩下部分可以被認為是重復物,并且被從工業(yè)車輛的可能姿態(tài)的列表中移除。例如,如果表1上的工業(yè)車輛的剩余位置中的任何位置在最先選擇的姿態(tài)定位的1.5米和1°之內(nèi),那些剩余位置就將被認為是重復物,并且在應用本文中所描述的過濾和評級之后將不被包括在工業(yè)車輛的可能姿態(tài)或位置的最終列表中。
參考圖13,顯示了累積的里程程序流程或者系統(tǒng)1300,該累積的里程程序流程或者系統(tǒng)1300考慮到了以下事實:當上述GLM正如圖4中所示地運行時,工業(yè)車輛可能仍在移動。在包括許多可能特征(全局特征或UV-空間中的特征兩方面)的大型工業(yè)設(shè)施地點或者倉庫中,GLM可能花費特定量的時間(諸如少于一分鐘到上至幾分鐘)來如上述地分析每個所選擇的和/或可能的關(guān)聯(lián)特征對。圖13的里程累積系統(tǒng)可以跟蹤在此時間期間工業(yè)車輛在GLM的開始位置與工業(yè)車輛的當前位置之間所行進的距離。
參考圖13,一旦發(fā)生定位系統(tǒng)丟失事件1300a,就在步驟1312中清除累積的里程。在步驟1314中經(jīng)由新的相機數(shù)據(jù)1316來應用GLM。如果在步驟1324中確定步驟1314的GLM不是成功的,則處理從步驟1312起重復。新的里程數(shù)據(jù)1318被用來在步驟1320中調(diào)整累積的里程以及在步驟1322中計算當前累積的里程。如果在步驟1324中確定步驟1314的GLM是成功的,則在步驟1326中,步驟1322的累積的里程與來自步驟1314和步驟1324的GLM結(jié)果組合并且進行航位推算。步驟1326的結(jié)果隨后被發(fā)送以通過定位系統(tǒng)驗證處理步驟1300c被驗證,例如,如上面關(guān)于圖3的驗證處理300c所描述的,以及如下面關(guān)于圖14的流程1400進一步描述的。
在實施例中,GLM在定位系統(tǒng)中作為單獨的線程運行。例如,當GLM的算法如關(guān)于圖4所述地運行以及被執(zhí)行時,主定位系統(tǒng)線程可以從(0,0)點以0°航向開始航位推算,使得它從原點起運行。當GLM成功時,新的當前的航位推算得到的從原始起的位置反映累積的里程,其將被轉(zhuǎn)置到工業(yè)車輛的已知開始位置上,或者被轉(zhuǎn)置為由GLM計算出的工業(yè)車輛的當前姿態(tài)。如果GLM失敗,則對另一個新的(或者最新的)相機幀開始或者重新嘗試處理之前,主定位系統(tǒng)線程上的航位推算將清零累積的里程。
參考圖14,顯示了定位系統(tǒng)驗證程序流程1400,并且定位系統(tǒng)驗證程序流程1400可以被提供來在公布姿態(tài)并且繼續(xù)定位系統(tǒng)上的正常操作之前確認由GLM計算出的工業(yè)車輛的姿態(tài)的準確性和正確性。因此,在向操作者通知工業(yè)車輛的姿態(tài)之前,進行檢查以確保定位系統(tǒng)處于健康且準確的操作中。通過驗證,在步驟1426中利用來自GLM的姿態(tài)作為(或者重新作為)定位系統(tǒng)的種子,但是不報告或公布當前位置。在圖14的步驟1428中,匹配并且記錄唯一全局特征的數(shù)量。一旦該唯一全局特征的數(shù)量超過閾值,定位系統(tǒng)就在步驟1438中退出驗證狀態(tài)并開始公布定位數(shù)據(jù)。應當理解的是,為唯一全局特征的數(shù)量選取的具體閾值可以依賴于與工業(yè)車輛以及工業(yè)車輛在其中使用的工業(yè)設(shè)施關(guān)聯(lián)的各種操作要求。例如,優(yōu)選地可以使閾值等于工業(yè)設(shè)施(諸如倉庫)的典型走道中的天花板燈的數(shù)量??商鎿Q地或附加地,可以在監(jiān)控驗證狀態(tài)的有效性時至少部分地通過試錯來建立閾值數(shù)值。
對于錯誤的種子或者GLM計算出的錯誤的工業(yè)車輛的當前姿態(tài),由于匹配率下降到零,所以圖14的步驟1428應當無法匹配新的全局特征,使得在步驟1436中定位系統(tǒng)變?yōu)閬G失(以在步驟1400b中返回到恢復流程)和/或在步驟1438中驗證失敗。如果在步驟1438中驗證失敗,則定位系統(tǒng)將嘗試通過使用相機數(shù)據(jù)的新集合1430經(jīng)由GLM接收步驟1426中的新的種子,直到正確的種子被分析以在步驟1428中提供計算出的當前定位系統(tǒng)位置,并且如果在步驟1436中沒有丟失,則被驗證以在步驟1438中產(chǎn)生已完成的驗證,并且在步驟1400a中返回到正常的定位系統(tǒng)操作。
現(xiàn)在應當理解的是,本文中所描述的GLM算法的實施例可以被用來從天花板的輸入圖像中所捕捉的對象中提取特征。因此,可被檢測到的天花板上的對象(諸如例如,天花板燈)可以被用來產(chǎn)生可被報告到定位系統(tǒng)的特征。定位系統(tǒng)可以使用來自輸入圖像的所報告的特征來確定車輛的姿態(tài)、車輛的位置、或者兩者。例如,所報告的特征可以包括可被結(jié)合使用的中心線特征和點特征。相應地,車輛的姿態(tài)和位置可以被用作用于導航、同時定位和映射(SLAM)等的參數(shù)。
在實施例中,GLM可以是與定位系統(tǒng)一起操作的恢復線程或機構(gòu)。在其他實施例中,GLM可以是單獨的定位系統(tǒng),用于車輛位置確定或者導航系統(tǒng),以取代傳統(tǒng)定位系統(tǒng)和/或在傳統(tǒng)定位系統(tǒng)之上提供用于特定環(huán)境條件的更可靠的定位方法。在實施例中,GLM的算法可以與定位系統(tǒng)并行地運行,以充當驗證機構(gòu)來驗證定位系統(tǒng)位置以及滿足更高的安全標準。應當理解的是,本文中所描述的一個或多個GLM算法可以結(jié)合各種其他車輛位置確定和/或?qū)Ш较到y(tǒng)一起使用,包括但不限于基于RFID的定位系統(tǒng)。此外,本文中所描述的一個或多個GLM算法可以被用來協(xié)助控制工業(yè)車輛的具體功能,諸如例如工業(yè)車輛(諸如叉車)的提舉高度和/或速度。應當理解的是,本文中所描述的GLM中的一個或多個算法也可以被用作用于各種車輛位置確定和/或?qū)Ш较到y(tǒng)的診斷工具。
因此,定位系統(tǒng)和/或GLM可以被用來為車輛的導航提供特征,或者可以通過通信地耦合到定位系統(tǒng)和/或GLM的顯示器而呈現(xiàn)。注意,根據(jù)正被車輛導航的具體地點,存在可為GLM算法的每個功能配置的許多參數(shù)(例如,閾值)。相應地,本文中所描述的實施例可以進一步包括用于確定參數(shù)的精確值的校準階段。
還應注意,本文中對“至少一個”部件、元件等的記載不應被用來產(chǎn)生這樣的推斷:冠詞“一”或“一個”的替代使用應當限于單個部件、元件等。例如,“驅(qū)動機構(gòu)”的記載不限于單個驅(qū)動機構(gòu),并且設(shè)想使用多個獨立的或集成的驅(qū)動機構(gòu)。
注意,以下權(quán)利要求中的一個或多個權(quán)利要求使用術(shù)語“其中”、“基于”和“通過”作為過渡性或引入性短語。為了限定本公開的目的,注意,這些術(shù)語在權(quán)利要求中被引入作為開放式過渡性或引入性短語,其用來引入一個或多個權(quán)利要求限定的開放式記載,并且應當以類似于更常用的開放性術(shù)語“包括”的方式解釋。例如,本文中基于闡述的變量所描述的計算可以至少部分地基于那些變量。另外,本文中編號的權(quán)利要求段落并不暗示步驟的指定順序。
注意,為了描述和限定本公開的目的,本文中對作為參數(shù)或另一個變量的“函數(shù)”的變量的引用并不旨在表示該變量僅僅是所列出的參數(shù)或變量的函數(shù)。而是,本文中對作為所列參數(shù)的“函數(shù)”的變量的引用旨在是開放式的,使得該變量可以是單個參數(shù)或多個參數(shù)的函數(shù)。
注意,本文中對以特定方式被“配置”或“編程”以體現(xiàn)特定性質(zhì)或以特定方式起作用的本發(fā)明的部件的記載是結(jié)構(gòu)性記載,而不是預期用途的記載。更具體地,本文中對部件被“配置”或“編程”的方式的引用表示部件的現(xiàn)有物理狀況,并且因此被視為對部件的結(jié)構(gòu)特性的明確記載。
注意,為了描述和限定本公開的目的,本文中使用術(shù)語“基本上”和“近似”來表示可來自于任何定量比較、值、測量或其他表示的固有不確定程度。術(shù)語“基本上”和“近似”在本文中也用于表示在不導致所討論的主題的基本功能的改變的情況下定量表示可以與所述的參考值不同的程度。
雖然本文中已經(jīng)示出和描述了特定實施例,但應當理解的是,在不偏離所要求保護的主題的精神和范圍的情況下,可以進行各種其他改變和修改。此外,盡管本文中描述了所要求保護的主題的各個方面,但是這樣的方面不需要被組合使用。因此,所附權(quán)利要求旨在覆蓋在所要求保護的主題的范圍內(nèi)的所有這樣的改變和修改。