本實用新型涉及無人機領(lǐng)域，具體涉及一種基于無人機的三維全景視頻遠程監(jiān)控系統(tǒng)。

背景技術(shù)：

近年來，隨著無人機技術(shù)的發(fā)展，其應(yīng)用面越來越廣，尤其無人機航拍和圖傳功能得到了廣泛應(yīng)用。無人機在視頻監(jiān)控領(lǐng)域的應(yīng)用上，其空中靈活移動，無視野障礙的特點，解決了傳統(tǒng)地面監(jiān)控技術(shù)不能滿足臨時指定監(jiān)控區(qū)域，大范圍監(jiān)控要求的問題。例如，公安部門對指定區(qū)域的監(jiān)視任務(wù)和情報收集，森林火災(zāi)、洪澇災(zāi)害等自然災(zāi)害的監(jiān)測和救援等?，F(xiàn)有無人機視頻監(jiān)控設(shè)備為無人機端單臺攝像頭視頻采集，視頻圖像通過無線傳輸設(shè)備發(fā)送到地面監(jiān)控終端，實現(xiàn)對指定區(qū)域的空中俯視監(jiān)控，但監(jiān)控角度有限，不能實現(xiàn)360度范圍的監(jiān)控，且監(jiān)控視頻為二維畫面，同時，監(jiān)控終端為單臺，不能滿足不同地點的多部門同時監(jiān)控的要求。所以亟需一種監(jiān)控范圍廣、無死角、多臺監(jiān)控終端隨意地點監(jiān)控的三維全景視頻遠程監(jiān)控系統(tǒng)。

技術(shù)實現(xiàn)要素：

本實用新型的目的是針對現(xiàn)有技術(shù)的不足，而提供一種基于無人機的三維全景視頻遠程監(jiān)控系統(tǒng)。

這種三維全景視頻遠程監(jiān)控系統(tǒng)監(jiān)控靈活機動、監(jiān)控范圍廣、監(jiān)控無死角、監(jiān)控信息同步性高、監(jiān)控實時性好、可多點同時監(jiān)控。

實現(xiàn)本實用新型目的的技術(shù)方案是：

基于無人機的三維全景視頻遠程監(jiān)控系統(tǒng)，包括

空中無人機端，所述空中無人機端包括無人機機體，無人機機體設(shè)有主控制器模塊和分別與之電連接的視頻采集模塊、第一無線通信模塊，視頻采集模塊用于無人機機體采集視頻圖像，主控制器模塊用于對空中無人機端的總體控制和協(xié)調(diào)工作，主控制器模塊將采集到的視頻圖像進行壓縮編碼處理，處理后的視頻圖像由第一無線通信模塊發(fā)送至地面服務(wù)器端；

地面服務(wù)器端，所述地面服務(wù)器端包括嵌入式控制器模塊和分別與之電連接的圖像處理模塊、存儲模塊、LCD顯示模塊、對外接口模塊、第二無線通信模塊、輸入設(shè)備和應(yīng)用軟件模塊，嵌入式控制器模塊用于對地面服務(wù)器端的總體控制和協(xié)調(diào)工作， 第二無線通信模塊接收來自空中無人機端由第一無線通信模塊發(fā)送的視頻圖像，視頻圖像由圖像處理模塊生成三維全景視頻，存儲模塊用于存儲由圖像處理模塊生成的三維全景視頻文件，LCD顯示模塊為人機交互界面平臺，同時用于顯示、播放由圖像處理模塊生成的三維全景視頻，外接口模塊用于與外掛計算機連接通信，方便各種應(yīng)用程序的燒寫和由圖像處理模塊生成的三維全景視頻文件轉(zhuǎn)載，輸入設(shè)備用于輸入指令信息，應(yīng)用軟件模塊為各種應(yīng)用軟件的集合載體；

監(jiān)控端，所述監(jiān)控端為可移動監(jiān)控終端，可觀看實時三維全景視頻；

空中無人機端通過第一無線通信模塊和地面服務(wù)器端的第二無線通信模塊無線連接，監(jiān)控端與地面服務(wù)器端通過網(wǎng)絡(luò)連接。

所述視頻采集模塊包括攝像頭、電機和攝像頭驅(qū)動電路，攝像頭驅(qū)動電路接收主控制器模塊輸入的控制信號，根據(jù)控制信號驅(qū)動電機轉(zhuǎn)動，電機進一步帶動攝像頭轉(zhuǎn)動，快速采集監(jiān)控區(qū)域各方向的視頻圖像。

所述嵌入式控制器模塊包括嵌入式芯片的最小系統(tǒng)，其中，嵌入式控制器芯片采用ARM Cortex-A9處理器，嵌入式控制器模塊為地面服務(wù)器端核心模塊，控制、協(xié)調(diào)地面服務(wù)器端的各個模塊工作。

所述圖像處理模塊包括全景視頻拼接單元和三維建模單元，全景視頻拼接單元用于對各個方向的圖像進行拼接處理，生成單幀的全景圖像，得到全景視頻，三維建模單元用于根據(jù)全景視頻拼接單元得到的全景視頻信息，執(zhí)行立體三維建模，生成三維全景視頻。

所述全景視頻拼接單元設(shè)有GPU圖形處理器，GPU圖形處理器完成對圖像的預(yù)處理、圖像配準、圖像融合。

圖像預(yù)處理是對產(chǎn)生幾何畸變的圖像的校正，同時，融入幀圖像增強算法，對清晰度較低的圖像實現(xiàn)圖像增強；圖像配準步驟使用幀圖像配準算法，完成圖像特征點檢測、特征描述和特征匹配，使圖像間互相重疊部分對準，將待拼接圖像轉(zhuǎn)換到參考圖像的坐標系，構(gòu)成完整的圖像；圖像融合步驟使用幀圖像融合算法，該算法具有漸變性，保證拼合邊界平滑過渡，消除拼接線，生成平滑無縫的全景圖像。

所述的LCD顯示模塊包括LCD顯示電路和液晶觸摸屏幕。

所述的對外接口模塊設(shè)有USB接口電路、串口電路。

所述的可移動監(jiān)控終端為至少2個。

所述的可移動監(jiān)控終端為4個。

所述無人機為無人直升機或多旋翼無人機。

所述輸入設(shè)備包括鍵盤或者鼠標。

上述無人機的三維全景視頻遠程監(jiān)控系統(tǒng)圖像采集控制方法，包括如下步驟：

S1.視頻圖像采集：視頻采集模塊對監(jiān)控區(qū)域進行視頻采集，視頻圖像采集包括：

1）當視頻采集模塊接收到來自主控制器模塊11的視頻采集命令時，電機帶動攝像頭轉(zhuǎn)動到初始位置，攝像頭初始位置為其鏡頭中心線與水平線重合，即鏡頭中心線與水平線的夾角θ為0°方向；

2）啟動攝像頭，開始拍攝；

3）攝像頭快速順時針轉(zhuǎn)動，同時夾角θ逐漸增大，直至θ為90°，即鏡頭中心線與水平線垂直；

4）攝像頭逆時針轉(zhuǎn)動，同時夾角θ逐漸減少，沿著原先軌跡轉(zhuǎn)動，直至回到初始位置；

5）視頻采集模塊判斷是否接收到結(jié)束視頻采集命令，若未接收到，則回到步驟3），繼續(xù)工作，若接收到，則關(guān)閉攝像頭，視頻采集模塊停止工作；

S2.視頻圖像壓縮編碼：主控制器模塊對所采集的視頻圖像進行壓縮編碼處理；

S3.視頻圖像傳輸：第一無線通信模塊與第二無線通信模塊無線通信，實現(xiàn)對視頻圖像數(shù)據(jù)的傳輸；

S4.視頻圖像解壓解碼：嵌入式控制器模塊對第二通信模塊接收到的視頻圖像進行解壓解碼處理；

S5.全景圖像拼接：圖像處理模塊中全景視頻拼接單元對各個方向的圖像進行拼接處理，生成單幀的全景圖像，得到全景視頻；

S6.立體三維建模：圖像處理模塊中三維建模單元根據(jù)全景視頻圖像信息，執(zhí)行立體三維建模，得到三維全景視頻；

S7.觀看全景三維視頻：移動監(jiān)控終端與地面服務(wù)器端網(wǎng)絡(luò)連接，接收實時三維全景視頻，并通過移動監(jiān)控終端監(jiān)控。

這種三維全景視頻遠程監(jiān)控系統(tǒng)監(jiān)控靈活機動、監(jiān)控范圍廣、監(jiān)控無死角、監(jiān)控信息同步性高、監(jiān)控實時性好、可多點同時監(jiān)控。

附圖說明

圖1為實施例結(jié)構(gòu)方框示意圖；

圖2為實施例方法流程示意圖。

圖中，1. 空中無人機端 2. 地面服務(wù)器端 3.監(jiān)控端 11.主控制器模塊12.視頻采集模塊 13.無人機機體 14.第一無線通信模塊 21.嵌入式控制器模塊22. 圖像處理模塊 23.存儲模塊 24. LCD顯示模塊 25.外接口模塊 26.第二通信模塊 27.輸入設(shè)備 28. 應(yīng)用軟件模塊。

具體實施方式

下面結(jié)合附圖和實施例對本實用新型內(nèi)容作進一步的闡述，但不是對本實用新型的限定。

實施例：

參照圖1，基于無人機的三維全景視頻遠程監(jiān)控系統(tǒng)，包括

空中無人機端1，所述空中無人機端1包括無人機機體13，無人機機體13設(shè)有主控制器模塊11和分別與之電連接的視頻采集模塊12、第一無線通信模塊14，視頻采集模塊12用于無人機機體13采集視頻圖像，主控制器模塊12用于對空中無人機端的總體控制和協(xié)調(diào)工作，主控制器模塊12將采集到的視頻圖像進行壓縮編碼處理，處理后的視頻圖像由第一無線通信模塊14發(fā)送至地面服務(wù)器端2；

地面服務(wù)器端2，所述地面服務(wù)器端2包括嵌入式控制器模塊21和分別與之電連接的圖像處理模塊22、存儲模塊23、LCD顯示模塊24、對外接口模塊25、第二無線通信模塊26、輸入設(shè)備27和應(yīng)用軟件模塊28，嵌入式控制器模塊21用于對地面服務(wù)器端的總體控制和協(xié)調(diào)工作， 第二無線通信模塊26接收來自空中無人機端1由第一無線通信模塊14發(fā)送的視頻圖像，視頻圖像由圖像處理模塊22生成三維全景視頻，存儲模塊23用于存儲由圖像處理模塊22生成的三維全景視頻文件，LCD顯示模塊24為人機交互界面平臺，同時用于顯示、播放由圖像處理模塊22生成的三維全景視頻，外接口模塊25用于與外掛計算機連接通信，方便各種應(yīng)用程序的燒寫和由圖像處理模塊22生成的三維全景視頻文件轉(zhuǎn)載，輸入設(shè)備27用于輸入指令信息，應(yīng)用軟件模塊28為各種應(yīng)用軟件的集合載體；

監(jiān)控端3，所述監(jiān)控端為可移動監(jiān)控終端，可觀看實時三維全景視頻；

空中無人機端1通過第一無線通信模塊14和地面服務(wù)器端2的第二無線通信模塊26無線連接，監(jiān)控端3與地面服務(wù)器端2通過網(wǎng)絡(luò)連接。

所述視頻采集模塊12包括攝像頭、電機和攝像頭驅(qū)動電路，攝像頭驅(qū)動電路接收主控制器模塊11輸入的控制信號，根據(jù)控制信號驅(qū)動電機轉(zhuǎn)動，電機進一步帶動攝像頭轉(zhuǎn)動，快速采集監(jiān)控區(qū)域各方向的視頻圖像。

所述嵌入式控制器模塊21包括嵌入式芯片的最小系統(tǒng)，其中，嵌入式控制器芯片采用ARM Cortex-A9處理器，嵌入式控制器模塊21為地面服務(wù)器端2核心模塊，控制、協(xié)調(diào)地面服務(wù)器端2的各個模塊工作。

所述圖像處理模塊22包括全景視頻拼接單元和三維建模單元，全景視頻拼接單元用于對各個方向的圖像進行拼接處理，生成單幀的全景圖像，得到全景視頻，三維建模單元用于根據(jù)全景視頻拼接單元得到的全景視頻信息，執(zhí)行立體三維建模，生成三維全景視頻。

所述全景視頻拼接單元設(shè)有GPU圖形處理器，GPU圖形處理器完成對圖像的預(yù)處理、圖像配準、圖像融合。

圖像預(yù)處理是對產(chǎn)生幾何畸變的圖像的校正，同時，融入幀圖像增強算法，對清晰度較低的圖像實現(xiàn)圖像增強；圖像配準步驟使用幀圖像配準算法，完成圖像特征點檢測、特征描述和特征匹配，使圖像間互相重疊部分對準，將待拼接圖像轉(zhuǎn)換到參考圖像的坐標系，構(gòu)成完整的圖像；圖像融合步驟使用幀圖像融合算法，該算法具有漸變性，保證拼合邊界平滑過渡，消除拼接線，生成平滑無縫的全景圖像。

所述的LCD顯示模塊24包括LCD顯示電路和液晶觸摸屏幕。

所述的對外接口模塊25設(shè)有USB接口電路、串口電路。

所述的可移動監(jiān)控終端為至少2個，本例為4個。

所述無人機為無人直升機或多旋翼無人機，本例為多旋翼無人機。

所述輸入設(shè)備27包括鍵盤或者鼠標。

參照圖2，上述無人機的三維全景視頻遠程監(jiān)控系統(tǒng)圖像采集控制方法，包括如下步驟：

S1.視頻圖像采集：視頻采集模塊12對監(jiān)控區(qū)域進行視頻采集，視頻圖像采集包括：

1）當視頻采集模塊12接收到來自主控制器模塊11的視頻采集命令時，電機帶動攝像頭轉(zhuǎn)動到初始位置，攝像頭初始位置為其鏡頭中心線與水平線重合，即鏡頭中心線與水平線的夾角θ為0°方向；

2）啟動攝像頭，開始拍攝；

3）攝像頭快速順時針轉(zhuǎn)動，同時夾角θ逐漸增大，直至θ為90°，即鏡頭中心線與水平線垂直；

4）攝像頭逆時針轉(zhuǎn)動，同時夾角θ逐漸減少，沿著原先軌跡轉(zhuǎn)動，直至回到初始位置；

5）視頻采集模塊12判斷是否接收到結(jié)束視頻采集命令，若未接收到，則回到步驟3），繼續(xù)工作，若接收到，則關(guān)閉攝像頭，視頻采集模塊停止工作；

S2.視頻圖像壓縮編碼：主控制器模塊11對所采集的視頻圖像進行壓縮編碼處理；

S3.視頻圖像傳輸：第一無線通信模塊14與第二無線通信模塊26無線通信，實現(xiàn)對視頻圖像數(shù)據(jù)的傳輸；

S4.視頻圖像解壓解碼：嵌入式控制器模塊21對第二通信模塊26接收到的視頻圖像進行解壓解碼處理；

S5.全景圖像拼接：圖像處理模塊22中全景視頻拼接單元對各個方向的圖像進行拼接處理，生成單幀的全景圖像，得到全景視頻；

S6.立體三維建模：圖像處理模塊22中三維建模單元根據(jù)全景視頻圖像信息，執(zhí)行立體三維建模，得到三維全景視頻；

S7.觀看全景三維視頻：移動監(jiān)控終端與地面服務(wù)器端2網(wǎng)絡(luò)連接，接收實時三維全景視頻，并通過移動監(jiān)控終端監(jiān)控。