信息的直接掌握,給無人機(jī)操縱帶來極大便利。
[0051]6、使用航拍級(jí)別三軸云臺(tái)穩(wěn)定器搭載雙目攝像頭,在保證雙目攝像頭與地面駕駛者頭部動(dòng)作跟隨一致且動(dòng)作柔和穩(wěn)定的同時(shí),使得無人機(jī)在飛行過程中機(jī)動(dòng)時(shí)雙目攝像頭回傳的用于虛擬現(xiàn)實(shí)的圖像仍然穩(wěn)定,這也間接提高了無人機(jī)地面駕駛者沉浸于虛擬現(xiàn)實(shí)駕駛時(shí)圖像穩(wěn)定帶來的舒適感。
[0052]7、本發(fā)明使用雙目攝像頭同步動(dòng)作實(shí)拍的方式,極大地降低了運(yùn)算量,提高了虛擬現(xiàn)實(shí)的沉浸式體驗(yàn)舒適度。
[0053]8、通過地面站電腦接受的飛控回傳的無人機(jī)飛行狀態(tài)、姿態(tài)、位置信息以及地圖增強(qiáng)信息等,實(shí)現(xiàn)虛擬現(xiàn)實(shí)與增強(qiáng)顯示的結(jié)合。
[0054]基于上述有益效果,駕駛者實(shí)時(shí)接收到無人機(jī)飛行狀態(tài)信息和周圍環(huán)境,準(zhǔn)確做出控制,使無人機(jī)順利飛行完成目標(biāo),降低失誤。
【附圖說明】
[0055]圖1為【具體實(shí)施方式】一所述的無人機(jī)駕駛系統(tǒng)的電氣原理示意圖。
[0056]圖2為【具體實(shí)施方式】一所述的無人機(jī)駕駛系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0057]【具體實(shí)施方式】一:結(jié)合圖1和圖2說明本實(shí)施方式,本實(shí)施方式所述的借助虛擬現(xiàn)實(shí)及雙目視覺技術(shù)實(shí)現(xiàn)的第一人稱沉浸式無人機(jī)駕駛系統(tǒng),所述系統(tǒng)包括無人機(jī)部分和地面站部分;所述無人機(jī)部分包括三軸云臺(tái)穩(wěn)定器、雙目攝像頭、無人機(jī)圖傳模塊、無人機(jī)數(shù)傳模塊和無人機(jī)控制模塊;
[0058]雙目攝像頭,用于采集無人機(jī)周圍環(huán)境的圖像;
[0059]無人機(jī)圖傳模塊,用于將雙目攝像頭采集的圖像回傳;
[0060]無人機(jī)數(shù)傳模塊,用于接收頭部相對(duì)于模擬駕駛座艙方位的歐拉角和無人機(jī)飛行狀態(tài)的控制指令,用于將無人機(jī)的飛行狀態(tài)信息回傳;
[0061]無人機(jī)控制器,用于對(duì)接收的頭部相對(duì)于模擬駕駛座艙方位的歐拉角進(jìn)行解算,獲得動(dòng)作角度指令,還用于根據(jù)接收的無人機(jī)飛行狀態(tài)的控制指令,控制無人機(jī)的飛行狀態(tài),還用于檢測無人機(jī)的飛行狀態(tài)信息;
[0062]三軸云臺(tái)穩(wěn)定器,用于自身維持指向穩(wěn)定并根據(jù)動(dòng)作角度指令,進(jìn)行動(dòng)作;
[0063]所述地面站部分包括虛擬現(xiàn)實(shí)眼鏡、模擬飛行控制器、地面站計(jì)算機(jī)、地面站數(shù)傳模塊和地面站圖傳模塊;
[0064]地面站圖傳模塊,用于接收雙目攝像頭采集的圖像;
[0065]地面站數(shù)傳模塊,用于發(fā)送頭部相對(duì)于模擬駕駛座艙方位的歐拉角和無人機(jī)飛行狀態(tài)的控制指令,還用于接收回傳的無人機(jī)飛行狀態(tài)信息;
[0066]虛擬現(xiàn)實(shí)眼鏡,用于接收疊加后的3D格式視頻信號(hào),并實(shí)時(shí)顯示,還用于根據(jù)駕駛者的頭部動(dòng)作,獲得頭部動(dòng)作角度信號(hào);
[0067]地面站計(jì)算機(jī),用于將雙目攝像頭采集的圖像轉(zhuǎn)換成3D格式視頻信號(hào),并將接收的無人機(jī)飛行狀態(tài)信息疊加到所述3D格式視頻信號(hào)中;將獲得的頭部動(dòng)作角度信號(hào)解算成頭部相對(duì)于模擬駕駛座艙方位的歐拉角,還用于將駕駛者對(duì)無人機(jī)的控制指令解算為無人機(jī)飛行狀態(tài)的控制指令;
[0068]模擬飛行控制器,用于輸入模擬座艙內(nèi)的駕駛者對(duì)無人機(jī)的控制指令。
[0069]所述虛擬現(xiàn)實(shí)眼鏡,還用于根據(jù)駕駛者的頭部動(dòng)作,獲得頭部動(dòng)作角度信號(hào)為:
[0070]采用位置跟蹤的陀螺儀、加速度計(jì)和羅盤采集駕駛者頭部的動(dòng)作角度信號(hào)。
[0071]所述模擬飛行控制器,用于輸入模擬座艙內(nèi)的駕駛者對(duì)無人機(jī)的控制指令為:
[0072]駕駛者通過控制操縱桿和油門桿輸入模擬座艙內(nèi)的駕駛者對(duì)無人機(jī)的控制指令。
[0073]所述疊加后的3D格式視頻信號(hào)為:
[0074]顯示成無人機(jī)飛行狀態(tài)、姿態(tài)、位置、高度和無人機(jī)周圍環(huán)境的地圖增強(qiáng)信息的左右眼3D格式視頻。
[0075]現(xiàn)階段,虛擬現(xiàn)實(shí)眼鏡在游戲中,追求畫面真實(shí)感所帶來的高運(yùn)算負(fù)荷使得其顯示與佩戴者頭部動(dòng)作的同步有較大延遲,極易出現(xiàn)眩暈。
[0076]本實(shí)施方式的無人機(jī)本體通過現(xiàn)有三軸云臺(tái)穩(wěn)定器搭載用于雙目攝像頭,并配備無人機(jī)圖傳模塊用于圖像回傳。在地面無人機(jī)駕駛者佩戴虛擬現(xiàn)實(shí)眼鏡坐在逼近真實(shí)直升機(jī)駕駛座艙的模擬座艙內(nèi);
[0077]本實(shí)施方式通過同步無人機(jī)云臺(tái)搭載的雙目攝像頭與地面駕駛者的頭部動(dòng)作,借助數(shù)傳模塊和虛擬現(xiàn)實(shí)眼鏡,實(shí)現(xiàn)了沉浸式的第一人稱駕駛體驗(yàn)。并且,駕駛者是通過地面仿真的實(shí)際直升機(jī)駕駛操縱方式實(shí)現(xiàn)無人機(jī)操縱,更加增強(qiáng)了沉浸式駕駛的體驗(yàn)。
[0078]此外由于虛擬現(xiàn)實(shí)眼鏡配套使用軟件的強(qiáng)大開發(fā)功能,方案借助地面站計(jì)算機(jī)接收到地?zé)o人機(jī)回傳的飛行狀態(tài)信息、高度、速度、姿態(tài),以及結(jié)合GPS信號(hào)得到的無人機(jī)位置信息,地圖增強(qiáng)信息在虛擬現(xiàn)實(shí)眼鏡中雙目攝像頭圖像上層合適位置進(jìn)行疊加顯示,實(shí)現(xiàn)無人機(jī)駕駛者通過虛擬現(xiàn)實(shí)眼鏡對(duì)于無人機(jī)飛行狀態(tài)及環(huán)境信息的集成掌握,方便快捷。
[0079]現(xiàn)有雙目攝像頭模塊在方案中搭載在云臺(tái)上用于模仿人眼視角和雙目距離,生成近似于人眼視覺效果的雙路視頻信號(hào),在回傳后經(jīng)由虛擬現(xiàn)實(shí)眼鏡后臺(tái)程序處理,借助虛擬現(xiàn)實(shí)眼鏡的光學(xué)及顯示組件,在無人機(jī)駕駛者視網(wǎng)膜上顯示,最終實(shí)現(xiàn)視覺的移植,并通過虛擬現(xiàn)實(shí)眼鏡與雙目攝像頭隨動(dòng)達(dá)到沉浸式體驗(yàn)。
[0080]三軸云臺(tái)穩(wěn)定器通過自身攜帶的頂U(kuò)感知云臺(tái)姿態(tài)變化,解算后對(duì)于三軸無刷電機(jī)進(jìn)行控制,并通過角度傳感器閉環(huán),實(shí)現(xiàn)有外界擾動(dòng)情況下的自穩(wěn),同時(shí),接受端口姿態(tài)控制信號(hào),可以實(shí)現(xiàn)用端口三軸角度輸入調(diào)整其角度,進(jìn)而能夠?qū)崿F(xiàn)穩(wěn)定狀態(tài)下的指令動(dòng)作。借助于虛擬現(xiàn)實(shí)眼鏡上同樣配備的姿態(tài)傳感器,經(jīng)過解算傳輸后實(shí)現(xiàn)虛擬現(xiàn)實(shí)眼鏡與云臺(tái)動(dòng)作的同步。
[0081]模擬飛行控制器,能夠?qū)崿F(xiàn)對(duì)于固定翼飛機(jī)和直升飛機(jī)在飛行時(shí)的姿態(tài)控制模擬,廣泛用于模擬駕駛培訓(xùn)以及模擬駕駛游戲等,本實(shí)施方式中連接地面站計(jì)算機(jī)用于無人機(jī)駕駛者操控信號(hào)的采集,通過與地面站計(jì)算機(jī)配套的地面站數(shù)傳模塊與無人機(jī)飛行控制器進(jìn)行通信,通過程序解算,實(shí)現(xiàn)無人機(jī)飛行姿態(tài)的控制。
[0082]現(xiàn)有Oculous Rift DK2虛擬現(xiàn)實(shí)眼鏡配合飛行模擬器進(jìn)行游戲,虛擬現(xiàn)實(shí)眼鏡能夠?qū)崿F(xiàn)非常逼真的真實(shí)視角顯示效果。而使用雙目攝像頭作為視頻數(shù)據(jù)來源,并利用云臺(tái)實(shí)現(xiàn)攝像頭與虛擬現(xiàn)實(shí)眼鏡隨動(dòng),將消除虛擬現(xiàn)實(shí)眼鏡用于游戲時(shí)由于追求逼真視覺效果帶來的巨大運(yùn)算量導(dǎo)致的動(dòng)作與顯示不同步的問題,而且不管是圖像還是隨動(dòng),都將更加真實(shí)。
[0083]【具體實(shí)施方式】二:本實(shí)施方式所述的借助虛擬現(xiàn)實(shí)及雙目視覺技術(shù)實(shí)現(xiàn)的第一人稱沉浸式無人機(jī)駕駛方法,所述方法包括無人機(jī)內(nèi)嵌入程序和地面站計(jì)算機(jī)嵌入程序,所述無人機(jī)內(nèi)嵌入程序包括如下步驟:
[0084]用于利用雙目攝像頭采集無人機(jī)周圍環(huán)境的圖像的步驟;
[0085]用于將雙目攝像頭采集的圖像回傳的步驟;
[0086]用于接收頭部相對(duì)于模擬駕駛座艙方位的歐拉角和無人機(jī)飛行狀態(tài)的控制指令,用于將無人機(jī)的飛行狀態(tài)信息回傳的步驟;
[0087]用于對(duì)接收的頭部相對(duì)于模擬駕駛座艙方位的歐拉角進(jìn)行解算,獲得動(dòng)作角度指令的步驟,還用于根據(jù)接收的無人機(jī)飛行狀態(tài)的控制指令,控制無人機(jī)的飛行狀態(tài)的步驟,還用于檢測無人機(jī)的飛行狀態(tài)信息的步驟;
[0088]用于利用三軸云臺(tái)穩(wěn)定器自身維持指向穩(wěn)定,并根據(jù)動(dòng)作角度指令,控制三軸云臺(tái)穩(wěn)定器的步驟;
[0089]所述地面站計(jì)算機(jī)嵌入程序包括如下步驟:
[0090]用于接收雙目攝像頭采集的圖像的步驟