本發(fā)明主要涉及到無人平臺(tái)的設(shè)計(jì)領(lǐng)域，特指一種適用于無人平臺(tái)的增強(qiáng)全景監(jiān)控方法。

背景技術(shù)：

在無人車運(yùn)行過程中以及在輔助駕駛應(yīng)用中，需要對(duì)周圍環(huán)境進(jìn)行實(shí)時(shí)監(jiān)控和檢測。現(xiàn)有的視覺監(jiān)控系統(tǒng)一般由單路攝像機(jī)或多路獨(dú)立的攝像機(jī)組成，其有如下缺陷：

(1)視覺圖像信息不完整。單路攝像機(jī)所能提供的視覺信息的視場范圍有限，盲區(qū)較大；而多路獨(dú)立的攝像機(jī)雖然提供了視場范圍足夠大的視覺信息，但是各自圖像獨(dú)立而不具有整體性，嚴(yán)重影響了視覺體驗(yàn)。

(2)車體運(yùn)動(dòng)信息表達(dá)不充分。對(duì)于無人平臺(tái)監(jiān)控系統(tǒng)，通常需要將車體的規(guī)劃路徑和行駛軌跡等運(yùn)動(dòng)信息疊加顯示在視頻圖像上。目前疊加操作都在單路攝像機(jī)視頻中完成，受限于視場范圍，車體的運(yùn)動(dòng)信息難以表達(dá)充分，即單路攝像機(jī)的視場范圍十分有限，難以充分表達(dá)車體的行駛軌跡，只能表現(xiàn)較短時(shí)間內(nèi)、較低行駛速度下的行駛軌跡變化，在轉(zhuǎn)彎等運(yùn)動(dòng)過程中尤其明顯。而無人車自主控制系統(tǒng)本身存在動(dòng)態(tài)響應(yīng)延遲，對(duì)于半自主無人平臺(tái)的遠(yuǎn)程遙現(xiàn)操作，還存在較大的無線通信鏈路的數(shù)據(jù)傳輸延遲，因而通過視場較小的增強(qiáng)顯示圖像難以發(fā)現(xiàn)并及時(shí)規(guī)避可能發(fā)生的危險(xiǎn)行駛，難以在復(fù)雜的環(huán)境下穩(wěn)定地操控半自主無人平臺(tái)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題就在于：針對(duì)現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供一種原理簡單、易實(shí)現(xiàn)、能夠提高無人平臺(tái)監(jiān)控效果的用于無人平臺(tái)的增強(qiáng)全景監(jiān)控方法。

為解決上述技術(shù)問題，本發(fā)明采用以下技術(shù)方案：

一種用于無人平臺(tái)的增強(qiáng)全景監(jiān)控方法，其步驟為：

S1:初始化模型參數(shù)；包括目標(biāo)全景圖像的參數(shù)，坐標(biāo)系轉(zhuǎn)換的矩陣參數(shù)以及相機(jī)的參數(shù)；

S2：基于目標(biāo)全景圖的逆向投影設(shè)計(jì)；通過坐標(biāo)系的轉(zhuǎn)換，將全景圖像與相機(jī)進(jìn)行關(guān)聯(lián)，最終通過像素映射或融合生成目標(biāo)全景圖；

S3：建立基于目標(biāo)全景圖的增強(qiáng)顯示模型；通過坐標(biāo)系的轉(zhuǎn)換，完成無人平臺(tái)坐標(biāo)系到全景圖像坐標(biāo)系的轉(zhuǎn)換，構(gòu)成增強(qiáng)顯示模型；

S4：基于步驟S3得到的增強(qiáng)顯示模型，將無人平臺(tái)的運(yùn)動(dòng)軌跡在全景圖中進(jìn)行顯示。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟S1中的參數(shù)包括：(1)目標(biāo)全景圖像的高H，寬W，參考球面的半徑r；(2)世界坐標(biāo)系到各相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣R_n、平移矩陣T_n，各相機(jī)內(nèi)參矩陣K_n，其中下標(biāo)n表示相機(jī)單元序號(hào)；(3)無人平臺(tái)坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣R、平移矩陣T；其中矩陣R_n、T_n、K_n、R和T由相機(jī)標(biāo)定獲得。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟S2的具體流程為：

S201：導(dǎo)入相關(guān)參數(shù)；

S202：全景圖像坐標(biāo)系反投影到參考球面坐標(biāo)系；

S203：參考球面坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系；

S204：世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系；

S205：相機(jī)坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系；

S206：像素映射或融合生成全景圖。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟S3的具體流程為：

S301：導(dǎo)入相關(guān)參數(shù)；

S302：無人平臺(tái)坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系；

S303：世界坐標(biāo)系轉(zhuǎn)換到球面坐標(biāo)系；

S304：球面坐標(biāo)系投影到全景圖像坐標(biāo)系；

S305：整合計(jì)算得到增強(qiáng)顯示模型。

作為本發(fā)明的進(jìn)一步改進(jìn)：所述步驟S4的具體流程為：

S401：輸入為步驟S3得到的基于目標(biāo)全景圖的增強(qiáng)顯示模型、無人平臺(tái)的參數(shù)、無人平臺(tái)的期望運(yùn)動(dòng)參數(shù)、無人平臺(tái)傳感器的實(shí)測結(jié)果；

S402：已知車體參數(shù)和期望運(yùn)動(dòng)，通過任務(wù)規(guī)劃和動(dòng)力學(xué)模型計(jì)算得到全局規(guī)劃路徑和期望行駛軌跡；已知無人平臺(tái)的參數(shù)和無人平臺(tái)傳感器實(shí)測數(shù)據(jù)，通過動(dòng)力學(xué)模型計(jì)算得到實(shí)際行駛軌跡；全局規(guī)劃路徑、期望行駛軌跡和實(shí)際行駛軌跡作為運(yùn)動(dòng)信息數(shù)據(jù)為一組車體軌跡；同時(shí)，對(duì)基于目標(biāo)全景圖的增強(qiáng)顯示模型，遍歷無人平臺(tái)坐標(biāo)系中一定范圍內(nèi)的空間點(diǎn)，從而生成從無人平臺(tái)坐標(biāo)系到全景圖像坐標(biāo)系的唯一映射表；

S403：已知增強(qiáng)顯示模型，通過代入車體的規(guī)劃路徑或行駛軌跡坐標(biāo)，或者已知從無人平臺(tái)坐標(biāo)系到全景圖像坐標(biāo)系的唯一映射表，通過查表及線性插值計(jì)算，得到行駛軌跡在全景圖像中的顯示位置，完成全景圖像的增強(qiáng)顯示。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

1、本發(fā)明的用于無人平臺(tái)的增強(qiáng)全景監(jiān)控方法，能夠在無人平臺(tái)全景監(jiān)控視頻中疊加車體的全局規(guī)劃路徑、期望行駛軌跡和實(shí)際行駛軌跡等運(yùn)動(dòng)信息，形成增強(qiáng)顯示全景視圖，簡稱增強(qiáng)全景，用于向操作員提供監(jiān)視畫面。

2、本發(fā)明的用于無人平臺(tái)的增強(qiáng)全景監(jiān)控方法，通過在全景圖像中疊加顯示車體的全局規(guī)劃路徑、期望行駛軌跡和實(shí)際行駛軌跡等運(yùn)動(dòng)信息，可以直觀地預(yù)測和描述無人車未來的行駛行為，提高系統(tǒng)監(jiān)控能力和人機(jī)交互能力，增強(qiáng)視覺體驗(yàn)并降低因延遲帶來的系統(tǒng)動(dòng)蕩風(fēng)險(xiǎn)。

附圖說明

圖1是本發(fā)明方法的流程示意圖。

圖2是本發(fā)明在具體應(yīng)用實(shí)例中基于目標(biāo)全景圖的逆向投影設(shè)計(jì)的流程示意圖。

圖3是本發(fā)明在具體應(yīng)用實(shí)例中參考球面的示意圖。

圖4是本發(fā)明在具體應(yīng)用實(shí)例中建立基于目標(biāo)全景圖的增強(qiáng)顯示模型的流程示意圖。

圖5是本發(fā)明在具體應(yīng)用實(shí)例中將行駛軌跡在全景圖中進(jìn)行增強(qiáng)顯示的流程示意圖。

具體實(shí)施方式

以下將結(jié)合說明書附圖和具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說明。

如圖1所示，本發(fā)明的用于無人平臺(tái)的增強(qiáng)全景監(jiān)控方法，主要面向各類無人平臺(tái)(自主或半自主平臺(tái))，以無人車為例，其步驟為：

S1：初始化模型參數(shù)；包括目標(biāo)全景圖像的參數(shù)，坐標(biāo)系轉(zhuǎn)換的矩陣參數(shù)以及相機(jī)的參數(shù)；

S2：基于目標(biāo)全景圖的逆向投影設(shè)計(jì)；通過坐標(biāo)系的轉(zhuǎn)換，將全景圖像與相機(jī)進(jìn)行關(guān)聯(lián)，最終通過像素映射或融合生成目標(biāo)全景圖；

S3：建立基于目標(biāo)全景圖的增強(qiáng)顯示模型；通過坐標(biāo)系的轉(zhuǎn)換，完成無人平臺(tái)坐標(biāo)系到全景圖像坐標(biāo)系的轉(zhuǎn)換，構(gòu)成增強(qiáng)顯示模型；

S4：基于步驟S3得到的增強(qiáng)顯示模型，將行駛軌跡在全景圖中進(jìn)行顯示。

在具體應(yīng)用實(shí)例中，步驟S1中的參數(shù)包括目標(biāo)全景圖像的高H，寬W，參考球面的半徑r；世界坐標(biāo)系到各相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣R_n、平移矩陣T_n，各相機(jī)內(nèi)參矩陣K_n，其中下標(biāo)n表示相機(jī)單元序號(hào)；無人平臺(tái)坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣R、平移矩陣T；其中矩陣R_n、T_n、K_n、R和T由相機(jī)標(biāo)定獲得。

參見圖2，在具體應(yīng)用實(shí)例中，以球面全景模型為例(但不局限于任何全景模型)，具體步驟為：

步驟201：導(dǎo)入相關(guān)參數(shù)。包括目標(biāo)全景圖像的高H，寬W，參考球面的半徑r；世界坐標(biāo)系到各相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣R_n、平移矩陣T_n，各相機(jī)內(nèi)參矩陣K_n，其中下標(biāo)n表示相機(jī)單元序號(hào)。

步驟202：全景圖像坐標(biāo)系反投影到參考球面坐標(biāo)系。

參考球面如圖3所示。全景圖像中任一像素點(diǎn)表示為P(i,j)，i表示圖像列索引，j表示圖像行索引。以參考球面的球心O為原點(diǎn)建立空間直角世界坐標(biāo)系，假定將點(diǎn)P(i,j)反投影到參考球面上對(duì)應(yīng)的點(diǎn)為其中r表示參考球面半徑，θ表示OQ連線與世界坐標(biāo)系X軸的夾角，表示OQ連線與世界坐標(biāo)系Z軸的夾角，其中θ的范圍是[0,2π]，的范圍是[0,π]，π表示圓周率,可得公式1；

步驟203：參考球面坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系。

假定球面上任一點(diǎn)在世界坐標(biāo)系上對(duì)應(yīng)的空間點(diǎn)為W(X_w,Y_w,Z_w)，下標(biāo)w表示世界坐標(biāo)，令sin(x)表示三角正弦函數(shù)，cos(x)表示三角余弦函數(shù)，x表示變量，可得公式2；

步驟204：世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系。

世界坐標(biāo)系上任一點(diǎn)W(X_w,Y_w,Z_w)在相機(jī)單元的相機(jī)坐標(biāo)系上對(duì)應(yīng)的點(diǎn)為C(X_n,Y_n,Z_n)，n表示相機(jī)單元序號(hào)，可得公式3；

步驟205：相機(jī)坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系。

相機(jī)坐標(biāo)系上任一點(diǎn)C(X_n,Y_n,Z_n)在圖像平面上對(duì)應(yīng)的像素點(diǎn)為I(u_n,v_n)，變換矩陣K_n由該相機(jī)內(nèi)參確定，n表示相機(jī)單元序號(hào)，可得公式4；

步驟206：像素映射或融合生成全景圖。

由公式1、2、3、4可導(dǎo)出公式5，得到全景圖中任一像素點(diǎn)P(i,j)在圖像平面上對(duì)應(yīng)的像素點(diǎn)為I(u_n,v_n)，n表示相機(jī)單元序號(hào)，從而生成唯一映射表，通過查表和線性插值運(yùn)算即可生成全景圖像；若I(u_n,v_n)超出圖像索引范圍，表示該相機(jī)單元沒有捕獲到P(i,j)；若I(u_n,v_n)未超出圖像索引范圍，表示相機(jī)單元捕獲到了P(i,j)；若有唯一相機(jī)單元捕獲到了P(i,j)，則相應(yīng)的像素點(diǎn)I(u_n,v_n)映射為P(i,j)；若有多個(gè)相機(jī)單元同時(shí)捕獲到了P(i,j)，則通過像素融合表示P(i,j)；

在具體應(yīng)用實(shí)例中，上述步驟S3的詳細(xì)流程為：

步驟301：導(dǎo)入相關(guān)參數(shù)。包括目標(biāo)全景圖像的高H，寬W，參考球面的半徑r；無人平臺(tái)坐標(biāo)系到世界坐標(biāo)系的旋轉(zhuǎn)矩陣R、平移矩陣T。

步驟302：無人平臺(tái)坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系。無人平臺(tái)坐標(biāo)系上任一點(diǎn)V(X_v,Y_v,Z_v)，下標(biāo)v表示無人平臺(tái)坐標(biāo)，其對(duì)應(yīng)的世界坐標(biāo)系上的點(diǎn)為W(X_w,Y_w,Z_w)，可得公式6；

步驟303：世界坐標(biāo)系轉(zhuǎn)換到球面坐標(biāo)系。將世界坐標(biāo)系中的點(diǎn)W(X_w,Y_w,Z_w)投影到參考球面，其投影點(diǎn)為令arc tan(x)表示反正切函數(shù)，arc cos(x)表示反余弦函數(shù)，x表示變量，可得公式7；

步驟304：球面坐標(biāo)系投影到全景圖像坐標(biāo)系。將球面上任一點(diǎn)投影到全景圖像上，其對(duì)應(yīng)的像素點(diǎn)為P(i,j),可得公式8；

步驟305：整合計(jì)算得到增強(qiáng)顯示模型。對(duì)公式6、7、8進(jìn)行整合即可得到增強(qiáng)顯示模型，公式9。無人平臺(tái)坐標(biāo)系上任一點(diǎn)V(X_v,Y_v,Z_v)通過增強(qiáng)顯示模型即可映射為全景圖像坐標(biāo)系上一點(diǎn)P(i,j)。

在具體應(yīng)用實(shí)例中，上述步驟S4的詳細(xì)流程為：

步驟401：輸入為步驟3得到的基于目標(biāo)全景圖的增強(qiáng)顯示模型，無人車的車體參數(shù)如質(zhì)量、軸距和車寬等，車體的期望運(yùn)動(dòng)如期望加速度等，車載傳感器的實(shí)測結(jié)果如實(shí)測速度等。期望運(yùn)動(dòng)包括但不限于由人機(jī)交互設(shè)備或自主控制系統(tǒng)發(fā)出的指令，人機(jī)交互設(shè)備例如模擬方向盤、模擬腳踏板和操縱桿等。

步驟402：已知車體參數(shù)和期望運(yùn)動(dòng)，通過任務(wù)規(guī)劃和動(dòng)力學(xué)模型等計(jì)算可以得到全局規(guī)劃路徑和期望行駛軌跡；已知車體參數(shù)和車載傳感器實(shí)測數(shù)據(jù)，通過動(dòng)力學(xué)模型等計(jì)算可以得到實(shí)際行駛軌跡；全局規(guī)劃路徑、期望行駛軌跡和實(shí)際行駛軌跡等運(yùn)動(dòng)信息數(shù)據(jù)為一組車體軌跡；同時(shí)，對(duì)基于目標(biāo)全景圖的增強(qiáng)顯示模型，可選遍歷無人平臺(tái)坐標(biāo)系中一定范圍內(nèi)的空間點(diǎn)，從而生成從無人平臺(tái)坐標(biāo)系到全景圖像坐標(biāo)系的唯一映射表；

步驟403：已知增強(qiáng)顯示模型，通過代入車體的規(guī)劃路徑或行駛軌跡坐標(biāo)，或者已知從無人平臺(tái)坐標(biāo)系到全景圖像坐標(biāo)系的唯一映射表，通過查表及線性插值計(jì)算，即可得到行駛軌跡在全景圖像中的顯示位置，完成全景圖像的增強(qiáng)顯示。

在以上的實(shí)例中，本發(fā)明僅是以普通球面投影為例，公式(1)和(8)建立相應(yīng)的反投影與投影模型，但不局限于任何全景模型，柱面投影與墨卡托投影等投影方法皆可適用，同樣能完成發(fā)明目的。

以上僅是本發(fā)明的優(yōu)選實(shí)施方式，本發(fā)明的保護(hù)范圍并不僅局限于上述實(shí)施例，凡屬于本發(fā)明思路下的技術(shù)方案均屬于本發(fā)明的保護(hù)范圍。應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理前提下的若干改進(jìn)和潤飾，應(yīng)視為本發(fā)明的保護(hù)范圍。