借助虛擬現(xiàn)實(shí)及雙目視覺技術(shù)實(shí)現(xiàn)的第一人稱沉浸式無人機(jī)駕駛系統(tǒng)及駕駛方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于無人機(jī)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]由于現(xiàn)階段無人機(jī)技術(shù)迅猛發(fā)展，尤其以四旋翼為代表的民用無人機(jī)越來越成熟，出現(xiàn)了一大批以此為依托的無人機(jī)公司，各研究機(jī)構(gòu)也積極探索相關(guān)新技術(shù)。四軸為代表的多軸無人機(jī)雖然目前飛行控制技術(shù)已經(jīng)相當(dāng)成熟，但是由于結(jié)構(gòu)限制導(dǎo)致的效率低下、續(xù)航時間短等問題相當(dāng)突出。
[0003]而且無人機(jī)的操縱仍然主要使用人眼原地遠(yuǎn)距離觀察無人機(jī)飛行高度與姿態(tài)并靠遙控器來遙控，由于距離和無人機(jī)速度的影響，并不能非常直觀地掌握無人機(jī)的實(shí)時飛行狀態(tài)，很容易因?yàn)閭€人操作失誤導(dǎo)致墜機(jī)或炸機(jī)。雖然有配套的圖像回傳顯示系統(tǒng)實(shí)現(xiàn)平面顯示，并不能夠達(dá)到真實(shí)飛行器駕駛時的直觀體驗(yàn)，無論是顯示介質(zhì)還是操縱機(jī)制。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決現(xiàn)有無人機(jī)駕駛系統(tǒng)不能實(shí)時掌握實(shí)時飛行狀態(tài)，易導(dǎo)致失誤的問題，本發(fā)明提供一種借助虛擬現(xiàn)實(shí)及雙目視覺技術(shù)實(shí)現(xiàn)的第一人稱沉浸式無人機(jī)駕駛系統(tǒng)及駕駛方法。
[0005]本發(fā)明的借助虛擬現(xiàn)實(shí)及雙目視覺技術(shù)實(shí)現(xiàn)的第一人稱沉浸式無人機(jī)駕駛系統(tǒng)，
[0006]所述系統(tǒng)包括無人機(jī)部分和地面站部分；所述無人機(jī)部分包括三軸云臺穩(wěn)定器、雙目攝像頭、無人機(jī)圖傳模塊、無人機(jī)數(shù)傳模塊和無人機(jī)控制模塊；
[0007]雙目攝像頭，用于采集無人機(jī)周圍環(huán)境的圖像；
[0008]無人機(jī)圖傳模塊，用于將雙目攝像頭采集的圖像回傳；
[0009]無人機(jī)數(shù)傳模塊，用于接收頭部相對于模擬駕駛座艙方位的歐拉角和無人機(jī)飛行狀態(tài)的控制指令，用于將無人機(jī)的飛行狀態(tài)信息回傳；
[0010]無人機(jī)控制器，用于對接收的頭部相對于模擬駕駛座艙方位的歐拉角進(jìn)行解算，獲得動作角度指令，還用于根據(jù)接收的無人機(jī)飛行狀態(tài)的控制指令，控制無人機(jī)的飛行狀態(tài)，還用于檢測無人機(jī)的飛行狀態(tài)信息；
[0011 ] 三軸云臺穩(wěn)定器，用于自身維持指向穩(wěn)定并根據(jù)動作角度指令，進(jìn)行動作；
[0012]所述地面站部分包括虛擬現(xiàn)實(shí)眼鏡、模擬飛行控制器、地面站計(jì)算機(jī)、地面站數(shù)傳模塊和地面站圖傳模塊；
[0013]地面站圖傳模塊，用于接收雙目攝像頭采集的圖像；
[0014]地面站數(shù)傳模塊，用于發(fā)送頭部相對于模擬駕駛座艙方位的歐拉角和無人機(jī)飛行狀態(tài)的控制指令，還用于接收回傳的無人機(jī)飛行狀態(tài)信息；
[0015]虛擬現(xiàn)實(shí)眼鏡，用于接收疊加后的3D格式視頻信號，并實(shí)時顯示，還用于根據(jù)駕駛者的頭部動作，獲得頭部動作角度信號；
[0016]地面站計(jì)算機(jī)，用于將雙目攝像頭采集的圖像轉(zhuǎn)換成3D格式視頻信號，并將接收的無人機(jī)飛行狀態(tài)信息疊加到所述3D格式視頻信號中；將獲得的頭部動作角度信號解算成頭部相對于模擬駕駛座艙方位的歐拉角，還用于將駕駛者對無人機(jī)的控制指令解算為無人機(jī)飛行狀態(tài)的控制指令；
[0017]模擬飛行控制器，用于輸入模擬座艙內(nèi)的駕駛者對無人機(jī)的控制指令。
[0018]所述虛擬現(xiàn)實(shí)眼鏡，還用于根據(jù)駕駛者的頭部動作，獲得頭部動作角度信號為:
[0019]采用位置跟蹤的陀螺儀、加速度計(jì)和羅盤采集駕駛者頭部的動作角度信號。
[0020]所述模擬飛行控制器，用于輸入模擬座艙內(nèi)的駕駛者對無人機(jī)的控制指令為:
[0021]駕駛者通過控制操縱桿和油門桿輸入模擬座艙內(nèi)的駕駛者對無人機(jī)的控制指令。
[0022]所述疊加后的3D格式視頻信號為:
[0023]顯示成無人機(jī)飛行狀態(tài)、姿態(tài)、位置、高度和無人機(jī)周圍環(huán)境的地圖增強(qiáng)信息的左右眼3D格式視頻。
[0024]借助虛擬現(xiàn)實(shí)及雙目視覺技術(shù)實(shí)現(xiàn)的第一人稱沉浸式無人機(jī)駕駛方法，所述方法包括無人機(jī)內(nèi)嵌入程序和地面站計(jì)算機(jī)嵌入程序，所述無人機(jī)內(nèi)嵌入程序包括如下步驟:
[0025]用于利用雙目攝像頭采集無人機(jī)周圍環(huán)境的圖像的步驟；
[0026]用于將雙目攝像頭采集的圖像回傳的步驟；
[0027]用于接收頭部相對于模擬駕駛座艙方位的歐拉角和無人機(jī)飛行狀態(tài)的控制指令，用于將無人機(jī)的飛行狀態(tài)信息回傳的步驟；
[0028]用于對接收的頭部相對于模擬駕駛座艙方位的歐拉角進(jìn)行解算，獲得動作角度指令的步驟，還用于根據(jù)接收的無人機(jī)飛行狀態(tài)的控制指令，控制無人機(jī)的飛行狀態(tài)的步驟，還用于檢測無人機(jī)的飛行狀態(tài)信息的步驟；
[0029]用于利用三軸云臺穩(wěn)定器自身維持指向穩(wěn)定，并根據(jù)動作角度指令，控制三軸云臺穩(wěn)定器的步驟；
[0030]所述地面站計(jì)算機(jī)嵌入程序包括如下步驟:
[0031]用于接收雙目攝像頭采集的圖像的步驟；
[0032]用于發(fā)送頭部相對于模擬駕駛座艙方位的歐拉角和無人機(jī)飛行狀態(tài)的控制指令的步驟，還用于接收回傳的無人機(jī)飛行狀態(tài)信息的步驟；
[0033]還用于根據(jù)駕駛者的頭部動作，獲得頭部動作角度信號的步驟；
[0034]用于輸入模擬座艙內(nèi)的駕駛者對無人機(jī)的控制指令的步驟；
[0035]用于將雙目攝像頭采集的圖像轉(zhuǎn)換成3D格式視頻信號，并將接收的無人機(jī)飛行狀態(tài)信息疊加到所述3D格式視頻信號中的步驟；
[0036]還用于將獲得的頭部動作角度信號解算成頭部相對于模擬駕駛座艙方位的歐拉角的步驟；
[0037]用于將駕駛者對無人機(jī)的控制指令解算為無人機(jī)飛行狀態(tài)的控制指令的步驟；
[0038]利用虛擬現(xiàn)實(shí)眼鏡接收疊加后的3D格式視頻信號，并實(shí)時顯示的步驟。
[0039]所述用于根據(jù)駕駛者的頭部動作，獲得頭部動作角度信號的步驟為:
[0040]采用位置跟蹤的陀螺儀、加速度計(jì)和羅盤采集駕駛者的頭部動作角度信號的步驟。
[0041]所述用于輸入模擬座艙內(nèi)的駕駛者對無人機(jī)的控制指令的步驟為:
[0042]駕駛者通過控制操縱桿和油門桿輸入模擬座艙內(nèi)的駕駛者對無人機(jī)的控制指令的步驟。
[0043]所述疊加后的3D格式視頻信號為:
[0044]顯示成無人機(jī)飛行狀態(tài)、姿態(tài)、位置、高度和無人機(jī)周圍環(huán)境的地圖增強(qiáng)信息的左右眼3D格式視頻。
[0045]本發(fā)明的有益效果在于:
[0046]1、借助于虛擬現(xiàn)實(shí)眼鏡配合無人機(jī)云臺搭載的雙目攝像頭實(shí)現(xiàn)了無人機(jī)駕駛視角的虛擬移植。
[0047]2、通過虛擬現(xiàn)實(shí)眼鏡內(nèi)置的用于位置跟蹤的陀螺儀、加速度計(jì)、羅盤等傳感器解算的無人機(jī)駕駛者頭部動作信號，借助于與地面站連接的數(shù)傳模塊傳遞給無人機(jī)飛行控制器，信號處理后傳給三軸云臺穩(wěn)定器實(shí)現(xiàn)云臺上雙目攝像頭對于地面無人機(jī)駕駛者頭部動作的跟蹤同步。
[0048]3、地面無人機(jī)駕駛者通過高仿真的模擬飛行控制器的操縱桿和油門桿結(jié)合地面站的輔助實(shí)現(xiàn)對于無人機(jī)飛行狀態(tài)的控制。
[0049]4、通過虛擬現(xiàn)實(shí)眼鏡、三軸云臺穩(wěn)定器、雙目攝像頭以及輔助模塊對于地面站計(jì)算機(jī)的協(xié)同配合，通過視覺移植、高仿真地面駕駛模擬實(shí)現(xiàn)完全沉浸式的駕駛體驗(yàn)，帶來一種全新的駕駛模式，借助虛擬現(xiàn)實(shí)實(shí)現(xiàn)無人機(jī)駕駛的遠(yuǎn)端臨場。
[0050]5、借助虛擬現(xiàn)實(shí)眼鏡的軟件開發(fā)，實(shí)現(xiàn)對于地面站接收的無人機(jī)飛控回傳的飛行狀態(tài)、姿態(tài)、位置、高度、地圖增強(qiáng)信息等的集成顯示，實(shí)現(xiàn)無人機(jī)駕駛者通過視覺感知對于無人機(jī)飛行基本