制同步觸發(fā)單元產(chǎn)生同步信號，控制機(jī)載攝像機(jī)同步采集圖像，并 將圖像傳輸給嵌入式處理器ARM模塊，利用時間戳標(biāo)識圖像，用于后續(xù)處理分析；所述步驟 ⑶視覺采集處理單元對兩路圖像信息進(jìn)行校正的具體方法為：嵌入式處理器ARM模塊獲取 帶有時間戳標(biāo)識的圖像后，根據(jù)攝像機(jī)的標(biāo)定結(jié)果對圖像進(jìn)行失真校正及立體匹配矯正， 處理結(jié)果傳遞給現(xiàn)場可編程門陣列FPGA模塊。
[0036] 進(jìn)一步，所述步驟⑷視覺采集處理單元處理獲取視差圖像的具體方法為：現(xiàn)場可 編程門陣列FPGA模塊利用并行處理技術(shù)，首先利用均值漂移算法對圖像進(jìn)行分割處理，然 后計(jì)算像素間的匹配代價(jià)，再結(jié)合圖像分割信息構(gòu)造新的全局能量函數(shù)，之后在多方向上 進(jìn)行匹配代價(jià)的聚合，最后選取使得全局能量函數(shù)最小的視差圖為視差圖像；
[0037] 所述步驟(5)視覺采集處理單元利用視差圖進(jìn)行環(huán)境信息的三維重建，從而獲得障 礙物信息的具體方法為：結(jié)合圖像特征與視差圖像通過興趣點(diǎn)匹配及對應(yīng)興趣點(diǎn)距離解 算、3D特征點(diǎn)重建、圖像關(guān)聯(lián)、野點(diǎn)檢測、相對位姿解算及位姿誤差估計(jì)以及基于最小誤差 的運(yùn)動決策，從而獲得障礙物信息。
[0038] 進(jìn)一步，所述步驟3飛行控制系統(tǒng)建立飛行路徑及飛行控制指令的方法為：飛行 控制系統(tǒng)根據(jù)障礙物信息判斷無人機(jī)的原飛行路徑上是否存在障礙物；進(jìn)而根據(jù)障礙物信 息和無人機(jī)狀態(tài)信息生成新的飛行路徑；根據(jù)其他傳感器數(shù)據(jù)和新的飛行路徑生成飛行控 制指令。
[0039] 進(jìn)一步，所述雙目視覺系統(tǒng)獲得的障礙物信息包括：障礙物與無人機(jī)之間的相對 位姿、障礙物的種類、尺寸、形狀及運(yùn)動狀態(tài)信息；所述其他傳感器單元獲取所述無人機(jī)的 狀態(tài)信息包括：飛行高度、飛行航向、飛行速度、飛行姿態(tài)信息。
[0040] 本發(fā)明的優(yōu)點(diǎn)和積極效果是：
[0041] 1、本發(fā)明利用所述雙目視覺系統(tǒng)實(shí)現(xiàn)了無人機(jī)對所在飛行環(huán)境中存在的障礙物 進(jìn)行有效避障的功能，且本發(fā)明可行性好，實(shí)時性高且算法復(fù)雜度低，同時具有較好的魯棒 性，可以有效防止噪聲的影響，進(jìn)而準(zhǔn)確獲取障礙物的種類、尺寸、形狀及運(yùn)動狀態(tài)等信息， 實(shí)現(xiàn)無人機(jī)對障礙物的有效避障功能。
[0042] 2、本發(fā)明將視覺信息與其他傳感器信息相融合，感知飛行環(huán)境信息，進(jìn)行飛行路 徑控制和路徑規(guī)劃以對障礙物進(jìn)行規(guī)避，有效地解決了無人機(jī)視覺避障的問題，使其具備 利用機(jī)載攝像機(jī)完成視覺避障的能力。
[0043] 3、本發(fā)明的視覺采集處理單元采用FPGA與ARM相結(jié)合設(shè)計(jì)方案，具有處理速度 快、低功耗、小體積及低重量的特點(diǎn)，因此能夠適用于無人機(jī)領(lǐng)域。
[0044] 4、本發(fā)明的飛行控制系統(tǒng)、遙控器、地面站及無人機(jī)之間采用無線鏈路的方式進(jìn) 行無線通信，實(shí)現(xiàn)了更方便的控制功能。
【附圖說明】
[0045] 圖1是本發(fā)明的無人機(jī)自主障礙物檢測系統(tǒng)的結(jié)構(gòu)示意圖；
[0046] 圖2是本發(fā)明的基于FPGA及ARM的嵌入式系統(tǒng)架構(gòu)圖；
[0047] 圖3是本發(fā)明的雙目視覺系統(tǒng)架構(gòu)圖；
[0048] 圖4是本發(fā)明的實(shí)時雙目視覺系統(tǒng)的障礙物檢測過程算法流程示意圖；
[0049] 圖5是本發(fā)明的半全局立體匹配算法流程示意圖；
[0050] 圖6是本發(fā)明的消失點(diǎn)形成示意圖。
【具體實(shí)施方式】
[0051] 以下結(jié)合附圖對本發(fā)明實(shí)施例做進(jìn)一步詳述：
[0052] -種基于雙目視覺的無人機(jī)自主障礙物檢測系統(tǒng)，如圖1所示，包括：
[0053] 雙目視覺系統(tǒng)（101):包括兩臺機(jī)載攝像機(jī)（1011)和視覺采集處理單元（1012)， 所述兩臺機(jī)載攝像機(jī)（1011)獲得無人機(jī)（106)的環(huán)境視覺信息，并將該數(shù)據(jù)傳送到視覺采 集處理單元（1012)，所述視覺采集處理單元（1012)對視覺信息進(jìn)行理解分析，最終獲得環(huán) 境信息，同時判斷并給出障礙物信息，所述障礙物信息通過CAN總線（107)發(fā)送給飛行控制 系統(tǒng)（103)。
[0054] 其他傳感器單元（102):包括慣性測量單元頂U(kuò)(1021)、全球定位系統(tǒng)GPS(1022)、 磁羅盤（1023)及氣壓計(jì)（1024)，用于獲取無人機(jī)（106)的飛行高度、飛行航向、飛行速 度、飛行姿態(tài)等飛行狀態(tài)信息；其他傳感器單元（102)所獲得的傳感器信息通過CAN總線 (107)發(fā)送給飛行控制系統(tǒng)（103)。
[0055] 飛行控制系統(tǒng)（103):飛行控制系統(tǒng)（103)通過CAN總線（107)接收來自于雙目 視覺系統(tǒng)（101)及其他傳感器單元（102)的視覺感知信息和無人機(jī)飛行狀態(tài)數(shù)據(jù)，通過融 合后，將結(jié)果發(fā)送至飛行控制器（1032)，以根據(jù)視覺感知信息得到無人機(jī)（106)所在的飛 行環(huán)境中的障礙物信息，以及根據(jù)障礙物信息和無人機(jī)狀態(tài)信息規(guī)劃無人機(jī)（106)的飛行 路徑，并根據(jù)飛行路徑生成飛行控制指令，用于控制無人機(jī)（106)的障礙物規(guī)避飛行。所述 飛行控制系統(tǒng)（103)通過控制無人機(jī)（106)機(jī)載舵機(jī)組實(shí)現(xiàn)對無人機(jī)運(yùn)動的控制功能。所 述的障礙物信息包括但不限于：障礙物與所述無人機(jī)之間的相對位姿、所述障礙物的種類、 尺寸、形狀及運(yùn)動狀態(tài)等信息。
[0056] 飛行控制系統(tǒng)（103)包括數(shù)據(jù)融合模塊（1031)和飛行控制器（1032)及數(shù)據(jù)傳 輸模塊（未在示例圖中標(biāo)注）。所述飛行控制系統(tǒng)（103)中具有可拓展的模塊化數(shù)據(jù)融合 處理功能，即利用無人機(jī)機(jī)載雙目視覺系統(tǒng)（101)進(jìn)行視覺感知，同時通過無人機(jī)機(jī)載其 他傳感器模塊（102)中頂U(kuò)單元（1021)獲取慣導(dǎo)數(shù)據(jù)，通過三軸磁羅盤單元（1022)獲取 航向角信息，通過GPS單元（1023)獲取飛行位置、速度、航向及高度數(shù)據(jù)，通過氣壓計(jì)單元 (1024)獲取無人機(jī)高度數(shù)據(jù)，并在飛行控制系統(tǒng)中利用融合模塊（1031)將各傳感器數(shù)據(jù) 與視覺感知相融合處理，以便向無人機(jī)發(fā)送飛行路徑控制和路徑規(guī)劃指令以對障礙物進(jìn)行 規(guī)避。
[0057] 飛行控制系統(tǒng)（103)還用于根據(jù)視覺感知信息判斷障礙物是否位于無人機(jī)（106) 的原飛行路徑上，且在判斷障礙物位于無人機(jī)（106)的原飛行路徑上時根據(jù)障礙物信息和 無人機(jī)狀態(tài)信息建立新的飛行路徑，并根據(jù)新的飛行路徑生成飛行控制指令。
[0058] 遙控器（104):通過無線鏈路（108)直接控制無人機(jī)（106)運(yùn)行，或者通過無線鏈 路（108)經(jīng)飛行控制系統(tǒng)（103)對無人機(jī)（106)進(jìn)行控制。
[0059] 地面站（105):通過無線鏈路（108)經(jīng)飛行控制系統(tǒng)（103)對無人機(jī)（106)進(jìn)行 控制，并可以接收無人機(jī)（106)的飛行狀態(tài)信息。
[0060] 無人機(jī)（106):通過雙目視覺系統(tǒng)（101)獲取無人機(jī)的視覺信息，并根據(jù)飛行控制 系統(tǒng)（103)的飛行控制指令進(jìn)行飛行，實(shí)現(xiàn)對障礙物的規(guī)避。
[0061] 在本實(shí)施例中，飛行控制系統(tǒng)（103)、遙控器（104)、地面站（105)及無人機(jī)（106) 之間以無線鏈路（108)的方式進(jìn)行無線通信。具體地，將無人機(jī)（106)的數(shù)據(jù)通過無線鏈 路傳遞給地面站進(jìn)行顯示，同時當(dāng)設(shè)定為手動或遠(yuǎn)程控制時，遙控器（104)及地面站（105) 通過無線鏈路（108)將控制指令發(fā)送給飛行控制器（103)及無人機(jī)（106)。
[0062] 需要說明的是，無人機(jī)不同于其他地面機(jī)器人系統(tǒng)，其需要考慮飛行過程中的載 重及供電等約束，因此，本發(fā)明將視覺信息與其他傳感器信息相融合，感知飛行環(huán)境信息， 進(jìn)行飛行路徑控制和路徑規(guī)劃以對障礙物進(jìn)行規(guī)避?？梢越鉀Q無人機(jī)視覺避障的問題，使 其具備利用機(jī)載攝像機(jī)完成視覺避障的能力，可行性好、載重小，同時功耗較低。
[0063] 雙目視覺系統(tǒng)（101)內(nèi)部的視覺采集處理單元（1012)采用FPGA(202)與 ARM(201)相結(jié)合設(shè)計(jì)，由完成圖像的并行算法的現(xiàn)場可編程門陣列FPGA模塊（202)和完成 圖像的串行算法以及結(jié)果的發(fā)布的嵌入式處理器ARM模塊（201)構(gòu)成。圖2給出了FPGA 及ARM的嵌入式系統(tǒng)架構(gòu)圖。其中，ARM嵌入式系統(tǒng)通過AMBA(2012)與外部IO單元（205) 進(jìn)行連接，包括SPI(2051)、IIC(2052)、CAN(2053)、UART(2054)、GPIO(2055)、SDIO(2056)、USB(2057)及GigE(2058)接口，同時可通過AMBA(2012)實(shí)現(xiàn)對靜態(tài)內(nèi)存單元（203)的 控制，支持多種接口的能力使本發(fā)明的嵌入式系統(tǒng)可以擴(kuò)展連接多種機(jī)載攝像機(jī)設(shè)備。 FPGA(202)模塊內(nèi)含有標(biāo)準(zhǔn)IO接口（2021)，與外部設(shè)備進(jìn)行，