本發(fā)明涉及飛行器技術(shù)領(lǐng)域,尤其涉及一種基于檢測(cè)障礙提高起降安全性的方法及設(shè)備,國(guó)際分類(lèi)屬于b64c或b64f分類(lèi)。
背景技術(shù):
隨著飛行器等飛行器裝備的出現(xiàn),交通運(yùn)輸?shù)哪J桨l(fā)生了巨大的變化。航空運(yùn)輸以方便、快捷的優(yōu)勢(shì)吸引著大量的旅客。世界間的距離隨之“縮短”,朝發(fā)夕至已成為不爭(zhēng)的事實(shí),然而航空安全一直是困擾著人們選擇出行的一大難題。在航空運(yùn)輸發(fā)展的初期,由于科學(xué)技術(shù)較為落后,因飛行器本身的機(jī)械故障而引發(fā)的飛行事故居高不下,占據(jù)主要原因。
近幾十年來(lái),隨著科學(xué)技術(shù)的不斷發(fā)展,新材料的大量使用,飛行器已是高新科技的代表作,自身的安全系數(shù)不斷提高,由于自然因素與人為因素而造成的航空事故比例大大增加。據(jù)統(tǒng)計(jì)數(shù)字顯示近七成事故由自然原因與人為原因?qū)е?,成為制約航空安全的最大障礙。
在飛行、尤其起降過(guò)程中,飛行器駕駛員需要了解前方與下方的環(huán)境情況,以安全地飛行、起降。然而,現(xiàn)有技術(shù)中,飛行器上并沒(méi)有這樣的設(shè)備,以使飛行器駕駛員觀察飛行器前方與下方的場(chǎng)景。即便有的飛行器具有觀察前方和下方場(chǎng)景的攝像裝置,但由于使用條件的限制,也不能更好地使用,同時(shí)更缺乏相關(guān)的理論方法來(lái)指導(dǎo),使得飛行器安全性能得不到有效提高。
技術(shù)實(shí)現(xiàn)要素:
基于上述問(wèn)題,本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的不足,提供具有輔助駕駛系統(tǒng)的飛行器、飛行器的起降方法及避免障礙碰撞的飛行方法和裝置,使飛行器駕駛員可以更加方便及時(shí)清楚地觀察飛行器前方與下方的場(chǎng)景環(huán)境。本發(fā)明將超低照度攝像機(jī)、紅外熱成像技術(shù)、圖像處理技術(shù)及精密伺服控制等技術(shù)相結(jié)合匯集于系統(tǒng)中,可很好的輔助飛行員在夜暗及雨、雪、霧、霾等惡劣天氣環(huán)境下完成飛行器起飛、飛行、降落等需求。
在本發(fā)明思想構(gòu)思的基礎(chǔ)上,在具體實(shí)施中,可以通過(guò)以下四個(gè)方面來(lái)進(jìn)行概括說(shuō)明和展示,需要說(shuō)明的是,這四方面相互獨(dú)立又相互聯(lián)系,其結(jié)構(gòu)和方法要旨皆不構(gòu)成相互矛盾,本領(lǐng)域技術(shù)人員在全面閱讀之后能夠理解本發(fā)明的精神所在。
(一)飛行器飛行輔助駕駛系統(tǒng)
一種飛行器飛行輔助駕駛系統(tǒng),包括視頻采集單元和操控單元,所述操控單元包括工控機(jī)和顯示單元,其中所述工控機(jī)包括圖像采集模塊和圖像處理模塊,所述視頻采集單元包括前視單元和俯視單元兩部分,前視單元和俯視單元分別攝取飛行器前方和飛行器下方的圖像,并分別將攝取的圖像發(fā)送圖像采集模塊,圖像采集模塊將獲取的圖像數(shù)據(jù)發(fā)送圖像處理模塊進(jìn)行處理后發(fā)送顯示單元進(jìn)行顯示。
作為優(yōu)選方式,所述前視單元包括熱成像鏡頭、可見(jiàn)光鏡頭,分別用于攝取所述飛行器前方的熱成像圖像、可見(jiàn)光圖像;俯視單元包括熱成像鏡頭、可見(jiàn)光鏡頭,分別用于攝取所述飛行器下方的熱成像圖像、可見(jiàn)光圖像。
作為優(yōu)選方式,所述前視單元包括第一前視熱成像鏡頭和第二前視熱成像鏡頭、以及第一前視超低照度鏡頭和第二前視超低照度鏡頭,分別用于攝取所述飛行器前方的熱成像圖像和可見(jiàn)光圖像,所述俯視單元包括第一俯視熱成像鏡頭和第二俯視熱成像鏡頭、以及第一俯視超低照度鏡頭和第二俯視超低照度鏡頭,分別用于攝取所述飛行器下方的熱成像圖像和可見(jiàn)光圖像。
作為優(yōu)選方式,所述前視單元和所述俯視單元由單獨(dú)或成組的熱成像鏡頭,和單獨(dú)或成組的可見(jiàn)光鏡頭組成,所述熱成像鏡頭或可見(jiàn)光鏡頭的數(shù)量為1個(gè),2個(gè)或4個(gè)。
作為優(yōu)選方式,所述前視單元的兩個(gè)熱成像鏡頭為同焦距鏡頭,所述前視單元的兩個(gè)超低照度鏡頭為同焦距鏡頭,所述俯視單元的兩個(gè)熱成像鏡頭為同焦距鏡頭,所述俯視單元的兩個(gè)超低照度鏡頭為同焦距鏡頭;
所述圖像處理模塊包括圖像拼接子模塊,用于對(duì)所述前視單元的兩個(gè)熱成像鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述前視單元的兩個(gè)超低照度鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述俯視單元的兩個(gè)熱成像鏡頭所攝取的圖像進(jìn)行拼接,對(duì)俯視單元的兩個(gè)超低照度鏡頭所攝取的圖像進(jìn)行拼接。
作為優(yōu)選方式,所述前視單元的兩個(gè)熱成像鏡頭為不同焦距鏡頭,所述前視單元的兩個(gè)超低照度鏡頭為不同焦距鏡頭,所述俯視單元的兩個(gè)熱成像鏡頭為不同焦距鏡頭,所述俯視單元的兩個(gè)超低照度鏡頭為不同焦距鏡頭;
所述圖像處理模塊包括圖像融合子模塊,用于對(duì)所述前視單元的兩個(gè)熱成像鏡頭所攝取的圖像進(jìn)行融合,對(duì)所述前視單元的兩個(gè)超低照度鏡頭所攝取的圖像進(jìn)行融合,對(duì)所述俯視單元的兩個(gè)熱成像鏡頭所攝取的圖像進(jìn)行融合,對(duì)所述俯視單元的兩個(gè)超低照度鏡頭所攝取的圖像進(jìn)行融合。
作為優(yōu)選方式,所述前視單元包括兩個(gè)25mm熱成像鏡頭、兩個(gè)12.3mm熱成像鏡頭、兩個(gè)25mm超低照度鏡頭、兩個(gè)8mm超低照度鏡頭,所述俯視單元包括兩個(gè)25mm熱成像鏡頭、兩個(gè)12.3mm熱成像鏡頭、兩個(gè)25mm超低照度鏡頭、兩個(gè)8mm超低照度鏡頭,所述熱成像鏡頭用于攝取熱成像圖像,所述超低照度鏡頭用于攝取可見(jiàn)光圖像;所述圖像處理模塊包括圖像拼接子模塊、圖像融合子模塊,所述圖像拼接子模塊用于所述對(duì)前視單元的兩個(gè)25mm熱成像鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述前視單元的兩個(gè)12.3mm熱成像鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述前視單元的兩個(gè)25mm超低照度鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述前視單元的兩個(gè)8mm超低照度鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述俯視單元的兩個(gè)25mm熱成像鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述俯視單元的兩個(gè)12.3mm熱成像鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述俯視單元的兩個(gè)25mm超低照度鏡頭所攝取的圖像進(jìn)行拼接,對(duì)所述俯視單元的兩個(gè)8mm超低照度鏡頭所攝取的圖像進(jìn)行拼接;所述圖像融合子模塊用于對(duì)所述前視單元的兩個(gè)25mm熱成像鏡頭所攝取的圖像拼接后的圖像與所述前視單元的兩個(gè)12.3mm熱成像鏡頭所攝取的圖像拼接后的圖像進(jìn)行融合,對(duì)所述前視單元的兩個(gè)25mm超低照度鏡頭所攝取的圖像拼接后的圖像與所述前視單元的兩個(gè)8mm超低照度鏡頭所攝取的圖像拼接后的圖像進(jìn)行融合,對(duì)所述俯視單元的兩個(gè)25mm熱成像鏡頭所攝取的圖像拼接后的圖像與所述俯視單元的兩個(gè)12.3mm熱成像鏡頭所攝取的圖像拼接后的圖像進(jìn)行融合,對(duì)所述俯視單元的兩個(gè)25mm超低照度鏡頭所攝取的圖像拼接后的圖像與所述俯視單元的兩個(gè)8mm超低照度鏡頭所攝取的圖像拼接后的圖像進(jìn)行融合。
作為優(yōu)選方式,所述視頻采集單元還包括陀螺儀、伺服平臺(tái),用于使前視單元的拍攝方向保持水平以及俯視單元的拍攝方向保持豎直。
作為優(yōu)選方式,所述工控機(jī)還包括存儲(chǔ)模塊,用于對(duì)圖像處理模塊處理后的視頻圖像進(jìn)行實(shí)時(shí)存儲(chǔ)。
作為優(yōu)選方式,所述工控機(jī)還包括回放模塊,用于對(duì)存儲(chǔ)的視頻圖像進(jìn)行回放顯示,以及視頻選擇模塊,用于選擇熱成像圖像或可見(jiàn)光圖像輸出到顯示單元。
(二)在飛行器起飛、飛行以及降落時(shí)的輔助安全飛行方法和應(yīng)用該方法的裝置
該輔助安全飛行方法包括以下步驟:
檢測(cè)照度值,根據(jù)得到的檢測(cè)結(jié)果判斷進(jìn)入超低照度模式或進(jìn)入紅外模式;
當(dāng)進(jìn)入所述超低照度模式時(shí),分別采集第一焦距超低照度圖像若干幅和第二焦距超低照度圖像若干幅,分別對(duì)焦距相同的超低照度圖像進(jìn)行圖像拼接,得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像;然后將第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到融合后的超低照度圖像,將所述融合后的超低照度圖像發(fā)送給飛行器駕駛?cè)藛T,顯示融合后的超低照度圖像,返回結(jié)束;
當(dāng)進(jìn)入所述紅外模式時(shí),分別采集第三焦距紅外圖像若干幅和第四焦距紅外圖像若干幅,分別對(duì)焦距相同的紅外圖像進(jìn)行圖像拼接,得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像;然后將第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到融合后的紅外圖像,將所述融合后的紅外圖像發(fā)送給飛行器駕駛?cè)藛T,顯示融合后的紅外圖像,返回結(jié)束。
作為優(yōu)選方式,所述分別采集第一焦距超低照度圖像和第二焦距超低照度圖像,包括:分別采集前視方向上的第一焦距超低照度圖像、前視方向上的第二焦距超低照度圖像,采集俯視方向上的第一焦距超低照度圖像、俯視方向上的第二焦距超低照度圖像;
所述分別對(duì)焦距相同的超低照度圖像進(jìn)行圖像拼接,得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像,包括:對(duì)所述前視方向上焦距相同的超低照度圖像進(jìn)行圖像拼接,得到前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像;以及對(duì)所述俯視方向上焦距相同的超低照度圖像進(jìn)行圖像拼接,得到俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像;
所述將所述第一焦距的超低照度拼接圖像和所述第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到融合后的超低照度圖像,包括:將所述前視方向上的第一焦距的超低照度拼接圖像和所述前視方向上的第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到前視方向上融合后的超低照度圖像;將所述俯視方向上的第一焦距的超低照度拼接圖像和所述俯視方向上的第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到俯視方向上融合后的超低照度圖像。
作為優(yōu)選方式,所述采集第三焦距紅外圖像和第四焦距紅外圖像,包括:分別采集前視方向上的第三焦距紅外圖像、前視方向上的第四焦距紅外圖像,采集俯視方向上的第三焦距紅外圖像、俯視方向上的第四焦距紅外圖像;
所述分別對(duì)焦距相同的紅外圖像進(jìn)行圖像拼接,得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像,包括:對(duì)所述前視方向上焦距相同的紅外圖像進(jìn)行圖像拼接,得到前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像;對(duì)所述俯視方向上焦距相同的紅外圖像進(jìn)行圖像拼接,得到俯視方向上的第三焦距的紅外拼接圖像和俯視方向的第四焦距的紅外拼接圖像;
所述將所述第三焦距的紅外拼接圖像和所述第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到融合后的紅外圖像,包括:將所述前視方向上的第三焦距的紅外拼接圖像和所述前視方向上的第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到前視方向上融合后的紅外圖像;以及將所述俯視方向上的第三焦距的紅外拼接圖像和所述俯視方向上的第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到俯視方向上融合后的紅外圖像。
作為優(yōu)選方式,所述檢測(cè)照度值,根據(jù)得到的檢測(cè)結(jié)果選擇進(jìn)入超低照度模式或紅外模式,包括:所述檢測(cè)當(dāng)前的照度值,如果得到的檢測(cè)結(jié)果符合第一預(yù)設(shè)條件,則進(jìn)入超低照度模式;否則進(jìn)入紅外模式。
作為優(yōu)選方式,所述方法還包括:檢測(cè)前視拍攝方向是否處于水平,當(dāng)檢測(cè)到未處于水平時(shí),調(diào)整方位至水平。
此外,該部分還包括公開(kāi)了一種輔助安全飛行的裝置,其特征在于,所述裝置安裝在飛行器上,在所述飛行器起飛、飛行以及降落時(shí)采集圖像,包括:
模式選擇模塊,用于檢測(cè)照度值,根據(jù)得到的檢測(cè)結(jié)果選擇進(jìn)入超低照度模式或紅外模式;
超低照度圖像采集模塊,用于當(dāng)進(jìn)入所述超低照度模式時(shí),分別采集第一焦距超低照度圖像若干幅和第二焦距超低照度圖像若干幅;
超低照度圖像拼接模塊,用于分別對(duì)焦距相同的超低照度圖像進(jìn)行圖像拼接,得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像;
超低照度圖像融合模塊,用于將所述第一焦距的超低照度拼接圖像和所述第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到融合后的超低照度圖像,將所述融合后的超低照度圖像發(fā)送給飛行器駕駛?cè)藛T,顯示所述融合后的超低照度圖像;
紅外圖像采集模塊,用于當(dāng)進(jìn)入所述紅外模式時(shí),分別采集第三焦距紅外圖像若干幅和第四焦距紅外圖像若干幅;
紅外圖像拼接模塊,用于分別對(duì)焦距相同的紅外圖像進(jìn)行圖像拼接,得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像;
紅外圖像融合模塊,用于將所述第三焦距的紅外拼接圖像和所述第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到融合后的紅外圖像,將所述融合后的紅外圖像發(fā)送給飛行器駕駛?cè)藛T,顯示所述融合后的紅外圖像。
(三)基于檢測(cè)障礙提高飛行器起降安全性的方法和應(yīng)用該方法的裝置
一種基于檢測(cè)障礙提高起降安全性的方法,其特征在于,包括以下步驟:拍攝設(shè)備調(diào)整自身方位,使前視拍攝方向?yàn)樗剑?/p>
檢測(cè)當(dāng)前照度值,判斷得到的檢測(cè)結(jié)果是否符合超低照度處理?xiàng)l件;
當(dāng)所述檢測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),則通過(guò)超低照度攝像頭采集當(dāng)前位置的前視圖像和俯視圖像,經(jīng)過(guò)拼接和融合后得到超低照度前視圖像和超低照度俯視圖像;
分別對(duì)拼接融合后的超低照度前視圖像和超低照度俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到超低照度前視圖像和/或超低照度俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息,返回結(jié)束;
當(dāng)所述檢測(cè)結(jié)果不符合所述超低照度處理?xiàng)l件時(shí),則通過(guò)紅外熱成像攝像頭采集當(dāng)前位置的前視圖像和俯視圖像,經(jīng)過(guò)拼接和融合后得到紅外級(jí)前視圖像和紅外級(jí)俯視圖像;
分別對(duì)拼接和融合后的紅外級(jí)前視圖像和紅外級(jí)俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到紅外級(jí)前視圖像和/或紅外級(jí)俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息,返回結(jié)束。
作為優(yōu)選方式,所述拍攝設(shè)備調(diào)整自身方位使前視拍攝方向?yàn)樗?,包括?/p>
所述設(shè)備實(shí)時(shí)檢測(cè)前視拍攝方向是否處于水平,當(dāng)未處于水平時(shí),調(diào)整自身位置,使前視拍攝方向?yàn)樗健?/p>
作為優(yōu)選方式,所述通過(guò)超低照度攝像頭采集當(dāng)前位置的前視圖像和俯視圖像,包括:
通過(guò)超低照度攝像頭采集若干幅前視圖像和若干幅俯視圖像;
將焦距相同的前視圖像劃分為一組,將每組焦距相同的前視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第一拼接前視圖像;
對(duì)不同焦距的第一拼接前視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為超低照度前視圖像;
將焦距相同的俯視圖像劃分為一組,將每組焦距相同的俯視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第一拼接俯視圖像;
對(duì)不同焦距的第一拼接俯視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為超低照度俯視圖像。
作為優(yōu)選方式,所述通過(guò)紅外熱成像攝像頭采集當(dāng)前位置的前視圖像和俯視圖像,包括:
通過(guò)紅外熱成像攝像頭采集若干幅前視圖像和若干幅俯視圖像;
將焦距相同的前視圖像劃分為一組,將每組焦距相同的前視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第二拼接前視圖像;
對(duì)不同焦距的第二拼接前視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為紅外級(jí)前視圖像;
將焦距相同的俯視圖像劃分為一組,將每組焦距相同的俯視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第二拼接俯視圖像;
對(duì)不同焦距的第二拼接俯視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為紅外級(jí)俯視圖像。
作為優(yōu)選方式,所述前視圖像具體包括:在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像;所述俯視圖像具體包括:在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。
作為優(yōu)選方式,所述分別對(duì)所述超低照度前視圖像和所述超低照度俯視圖像進(jìn)行障礙檢測(cè),具體包括:
判斷所述超低照度前視圖像和/或所述超低照度俯視圖像中是否存在圖像特征點(diǎn),是則提取所述圖像特征點(diǎn),根據(jù)所述圖像特征點(diǎn)繪制障礙圖像,并在對(duì)應(yīng)的超低照度前視圖像和/或超低照度俯視圖像中標(biāo)記所述障礙圖像,以此確定存在障礙;否則確定不存在障礙。
作為優(yōu)選方式,所述當(dāng)檢測(cè)到所述超低照度前視圖像和/或所述超低照度俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息包括:
通過(guò)衛(wèi)星定位所述障礙的位置信息,根據(jù)所述障礙的位置信息,以及標(biāo)記有所述障礙圖像的所述超低照度前視圖像和/或超低照度俯視圖像,生成告警信息,發(fā)送所述告警信息。
作為優(yōu)選方式,所述當(dāng)所述檢測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),則通過(guò)超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像,具體包括:
當(dāng)所述檢測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),檢測(cè)飛行狀態(tài),
如果處于起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài),則通過(guò)超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像。
作為優(yōu)選方式,所述當(dāng)所述檢測(cè)結(jié)果不符合所述超低照度處理?xiàng)l件時(shí),則通過(guò)紅外熱成像攝像頭采集當(dāng)前位置的紅外級(jí)前視圖像和紅外級(jí)俯視圖像,具體包括:
當(dāng)所述檢測(cè)結(jié)果不符合所述超低照度處理?xiàng)l件時(shí),檢測(cè)飛行狀態(tài),
如果處于起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài),則通過(guò)紅外級(jí)攝像頭采集當(dāng)前位置的紅外級(jí)前視圖像和紅外級(jí)俯視圖像。
一種基于檢測(cè)障礙提高起降安全性的設(shè)備,其特征在于,包括:
方位調(diào)整模塊,用于調(diào)整自身方位,使前視拍攝方向?yàn)樗剑?/p>
照度檢測(cè)模塊,用于檢測(cè)當(dāng)前照度值,判斷得到的檢測(cè)結(jié)果是否符合超低照度處理?xiàng)l件;
星光采集模塊,用于當(dāng)所述檢測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),則通過(guò)超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像并進(jìn)行拼接和融合處理;
星光障礙檢測(cè)模塊,用于分別對(duì)經(jīng)過(guò)拼接融合后的超低照度前視圖像和超低照度俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到所述超低照度前視圖像和/或超低照度俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息;
紅外采集模塊,用于當(dāng)所述檢測(cè)結(jié)果不符合所述超低照度處理?xiàng)l件時(shí),則通過(guò)紅外熱成像攝像頭采集當(dāng)前位置的紅外級(jí)前視圖像和紅外級(jí)俯視圖像并進(jìn)行拼接和融合處理;
紅外障礙檢測(cè)模塊,用于分別對(duì)拼接融合后的所述紅外級(jí)前視圖像和所述紅外級(jí)俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到所述紅外級(jí)前視圖像和/或紅外級(jí)俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息。
(四)基于數(shù)據(jù)同步的避免飛行器碰撞障礙的方法和應(yīng)用該方法的飛行器
一種基于數(shù)據(jù)同步的避免碰撞礙的方法,其特征在于,包括:
飛行器獲取當(dāng)前的位置信息,根據(jù)所述位置信息組織獲取環(huán)境信息請(qǐng)求,并將所述獲取環(huán)境信息請(qǐng)求發(fā)送至數(shù)據(jù)中心;
當(dāng)接收到所述數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時(shí),從所述環(huán)境信息響應(yīng)中獲取障礙信息,將其作為歷史障礙信息,從所述環(huán)境信息響應(yīng)中獲取飛行參數(shù),將其作為歷史飛行參數(shù);
根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像,從所述環(huán)境圖像中獲取當(dāng)前障礙信息,根據(jù)所述當(dāng)前障礙信息、所述歷史障礙信息以及所述歷史飛行參數(shù),在所述環(huán)境圖像上標(biāo)記該障礙,顯示已標(biāo)記障礙的環(huán)境圖像;
當(dāng)避開(kāi)所述障礙時(shí),獲取避開(kāi)所述障礙過(guò)程中的飛行參數(shù),將其作為當(dāng)前飛行參數(shù),將所述當(dāng)前位置信息、所述當(dāng)前飛行參數(shù)以及所述當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。
作為優(yōu)選方式,所述飛行器獲取當(dāng)前位置信息,包括:
所述飛行器采用衛(wèi)星定位系統(tǒng)獲取經(jīng)度、緯度以及海拔高度,將所述經(jīng)度、所述緯度以及所述海拔高度作為當(dāng)前位置信息。
作為優(yōu)選方式,從所述環(huán)境信息響應(yīng)中獲取障礙信息,將其作為歷史障礙信息,包括:
從所述環(huán)境信息響應(yīng)中獲取障礙的位置信息、尺寸信息、移動(dòng)屬性信息,將所述障礙的位置信息、尺寸信息和移動(dòng)屬性信息作為歷史障礙信息。
作為優(yōu)選方式,所述根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像,具體包括:
獲取自身的飛行狀態(tài),如果是起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài),則采集前視圖像和俯視圖像,將采集到的圖像作為環(huán)境圖像。
作為優(yōu)選方式,所述從所述環(huán)境圖像中獲取當(dāng)前障礙信息,具體包括:
對(duì)于在同一方向上采集到的環(huán)境圖像,將相同焦距的環(huán)境圖像進(jìn)行圖像拼接,拼接成一幅圖像,將該方向上不同焦距的拼接后的圖像進(jìn)行圖像融合,得到融合后的圖像,從所述融合后的圖像上提取特征點(diǎn),當(dāng)提取到特征點(diǎn)時(shí),根據(jù)所述特征點(diǎn)繪制障礙,并標(biāo)記所述障礙,通過(guò)衛(wèi)星定位系統(tǒng)獲取所述障礙的位置信息,根據(jù)所述障礙的位置信息以及標(biāo)記所述障礙的圖像,計(jì)算所述障礙的尺寸信息、移動(dòng)屬性信息,將所述障礙的位置信息、尺寸信息、移動(dòng)屬性信息作為當(dāng)前障礙信息。
作為優(yōu)選方式,所述根據(jù)所述當(dāng)前障礙信息、所述歷史障礙信息以及所述歷史飛行參數(shù)在所述環(huán)境圖像上標(biāo)記障礙,包括:
判斷所述當(dāng)前障礙信息與所述歷史障礙信息是否相同,是則在所述環(huán)境圖像上標(biāo)記障礙,并且提示所述歷史飛行參數(shù);否則根據(jù)所述當(dāng)前障礙信息在所述環(huán)境圖像上標(biāo)記障礙。
作為優(yōu)選方式,所述方法還包括:在標(biāo)記障礙的圖像上繪制所述障礙的移動(dòng)軌跡;
所述繪制所述障礙的移動(dòng)軌跡,包括:
每隔預(yù)設(shè)時(shí)間定位一次所述障礙,在每次定位所述障礙時(shí),獲取所述障礙所處的海拔、俯仰角、方位角,以及獲取連續(xù)兩次定位所述障礙時(shí)所述障礙的位移;
根據(jù)所述障礙所處的海拔、俯仰角、方位角以及所述障礙的位移,計(jì)算所述障礙移動(dòng)的軌跡信息,以及所述障礙的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度;
根據(jù)所述障礙移動(dòng)的軌跡信息和所述障礙的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度,模擬所述障礙在三維空間中將要移動(dòng)的軌跡;
繪制所述障礙移動(dòng)的軌跡信息以及在三維空間中將要移動(dòng)的軌跡。
作為優(yōu)選方式,所述采集環(huán)境圖像,包括:
檢測(cè)當(dāng)前照度值,根據(jù)得到的檢測(cè)結(jié)果選擇對(duì)應(yīng)的攝像模式采集環(huán)境圖像,
當(dāng)所述檢測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),則通過(guò)超低照度攝像頭采集環(huán)境圖像;
當(dāng)所述檢測(cè)結(jié)果不符合所述超低照度處理?xiàng)l件時(shí),則通過(guò)紅外熱成像攝像頭采集環(huán)境圖像。
作為優(yōu)選方式,所述方法還包括:
所述數(shù)據(jù)中心接收到所述當(dāng)前位置信息、所述當(dāng)前飛行參數(shù)以及所述當(dāng)前障礙信息時(shí),獲取與所述當(dāng)前位置信息對(duì)應(yīng)的飛行參數(shù)以及障礙信息,用所述當(dāng)前飛行參數(shù)替換原來(lái)的飛行參數(shù),用所述當(dāng)前障礙信息替換原來(lái)的障礙信息。
一種基于數(shù)據(jù)同步的避免碰撞障礙的飛行器,其特征在于,包括:
信息請(qǐng)求模塊,用于獲取當(dāng)前的位置信息,根據(jù)所述位置信息組織獲取環(huán)境信息請(qǐng)求,并將所述獲取環(huán)境信息請(qǐng)求發(fā)送至數(shù)據(jù)中心;
信息接收模塊,用于當(dāng)接收到所述數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時(shí),從所述環(huán)境信息響應(yīng)中獲取障礙信息,將其作為歷史障礙信息,從所述環(huán)境信息響應(yīng)中獲取飛行參數(shù),將其作為歷史飛行參數(shù);
障礙檢測(cè)模塊,用于根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像,從所述環(huán)境圖像中獲取當(dāng)前障礙信息,根據(jù)所述當(dāng)前障礙信息、所述歷史障礙信息以及所述歷史飛行參數(shù),在所述環(huán)境圖像上標(biāo)記該障礙,顯示已標(biāo)記障礙的環(huán)境圖像;
數(shù)據(jù)同步模塊,用于當(dāng)避開(kāi)所述障礙時(shí),獲取避開(kāi)所述障礙過(guò)程中的飛行參數(shù),將其作為當(dāng)前飛行參數(shù),將所述當(dāng)前位置信息、所述當(dāng)前飛行參數(shù)以及所述當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。
本發(fā)明的有益效果是:本發(fā)明的飛行器飛行輔助駕駛系統(tǒng)采用前視單元、俯視單元,能夠攝取飛行器前方、下方的視頻圖像發(fā)送顯示單元顯示給飛行員,使飛行員能夠掌握飛行器前方、下方的環(huán)境情況,提高了飛行、起降的安全性。
附圖說(shuō)明
現(xiàn)在將描述如本發(fā)明的優(yōu)選但非限制性的實(shí)施例,本發(fā)明的這些和其他特征、方面和優(yōu)點(diǎn)在參考附圖閱讀如下詳細(xì)描述時(shí)將變得顯而易見(jiàn),其中:
圖1是本發(fā)明內(nèi)容(一)中輔助駕駛系統(tǒng)的結(jié)構(gòu)示意圖;
圖2是本發(fā)明內(nèi)容(一)中輔助駕駛系統(tǒng)的另一種結(jié)構(gòu)示意圖;
圖3是本發(fā)明內(nèi)容(一)中輔助駕駛系統(tǒng)的另一種結(jié)構(gòu)示意圖;
圖4是本發(fā)明內(nèi)容(一)中輔助駕駛系統(tǒng)的另一種結(jié)構(gòu)示意圖;
圖5是本發(fā)明內(nèi)容(二)中輔助安全飛行的方法流程圖;
圖6是本發(fā)明內(nèi)容(二)中輔助安全飛行的裝置框圖;
圖7是本發(fā)明內(nèi)容(三)中基于檢測(cè)障礙提高起降安全性的方法流程圖;
圖8是本發(fā)明內(nèi)容(三)中基于檢測(cè)障礙提高起降安全性的設(shè)備框圖;
圖9是本發(fā)明內(nèi)容(四)中基于數(shù)據(jù)同步的避免碰撞障礙的方法流程圖;
圖10是本發(fā)明內(nèi)容(四)中基于數(shù)據(jù)同步的避免碰撞障礙的飛行器裝置框圖;
圖11是本發(fā)明內(nèi)容(四)中障礙檢測(cè)模塊的結(jié)構(gòu)示意圖;
圖12是本發(fā)明內(nèi)容(一)中圖像采集單元安裝位置示意圖;
圖13是本發(fā)明內(nèi)容(一)中圖像采集單元攝像頭布置示意圖;
圖14是本發(fā)明內(nèi)容(一)中圖像采集單元攝像頭布置示意圖。
具體實(shí)施方式
以下的說(shuō)明本質(zhì)上僅僅是示例性的而并不是為了限制本公開(kāi)、應(yīng)用或用途。應(yīng)當(dāng)理解的是,在全部附圖中,對(duì)應(yīng)的附圖標(biāo)記表示相同或?qū)?yīng)的部件和特征。
本發(fā)明將通過(guò)以下四個(gè)方面來(lái)全面闡釋本發(fā)明的實(shí)質(zhì)內(nèi)容,需要說(shuō)明的是,這四方面相互獨(dú)立又相互聯(lián)系,其結(jié)構(gòu)和方法要旨皆不構(gòu)成相互矛盾,本領(lǐng)域技術(shù)人員在全面閱讀之后能夠理解本發(fā)明的精神所在。
一、飛行輔助駕駛系統(tǒng)
根據(jù)本發(fā)明的一個(gè)方面,公開(kāi)了一種應(yīng)用于飛行器的飛行輔助駕駛系統(tǒng),具體如下:
參照?qǐng)D1和圖12,在本發(fā)明的一個(gè)實(shí)施例中,本發(fā)明的飛行輔助駕駛系統(tǒng)包括視頻采集單元100和操控單元200,操控單元200包括工控機(jī)210和顯示單元240,其中工控機(jī)210包括圖像采集模塊212和圖像處理模塊211,視頻采集單元100安裝到飛行器底部下方,其包括前視單元110和俯視單元140兩部分,前視單元110和俯視單元140分別攝取飛行器前方和飛行器下方的圖像,并分別將攝取的圖像發(fā)送圖像采集模塊212,圖像采集模塊212將獲取的圖像數(shù)據(jù)發(fā)送圖像處理模塊211進(jìn)行處理后發(fā)送顯示單元240進(jìn)行顯示。本系統(tǒng)具有前視、俯視兩大圖像采集單元,飛行器駕駛員通過(guò)顯示屏(顯示單元傳輸)可以清晰地觀察飛行器前方、下方的環(huán)境情況,確保飛行的安全。前視單元110和俯視單元140可由單獨(dú)或成組的熱成像鏡頭,和單獨(dú)或成組的可見(jiàn)光鏡頭組成,熱成像鏡頭或可見(jiàn)光鏡頭的數(shù)量可以為1個(gè),2個(gè)或4個(gè)或更多的成對(duì)數(shù)量。
進(jìn)一步地,如圖2所示,前視單元110包括前視熱成像鏡頭111和前視可見(jiàn)光鏡頭125,分別用于攝取飛行器前方的熱成像圖像和可見(jiàn)光圖像;俯視單元140包括俯視熱成像鏡頭141和俯視可見(jiàn)光鏡頭155,分別用于攝取飛行器下方的熱成像圖像和可見(jiàn)光圖像。如此實(shí)現(xiàn)了熱成像攝像機(jī)與可見(jiàn)光攝像機(jī)結(jié)合使用,實(shí)現(xiàn)了熱成像攝像機(jī)與可見(jiàn)光攝像機(jī)的優(yōu)勢(shì)互補(bǔ),在白天使用可見(jiàn)光攝像機(jī)采集視頻圖像,在夜間及雨、雪、霧、霾等惡劣天氣條件下使用熱成像攝像機(jī),可清晰地觀看飛行器前方、下方的情況,從而使設(shè)備可不受環(huán)境因素影響,達(dá)到晝夜采集視頻圖像的效果;為了能更好地保持拍攝角度,使攝像機(jī)始終拍攝飛行器水平前方、豎直下方的視頻圖像,便于飛行器駕駛員隨時(shí)掌握飛行器前方、下方的情況,安全地飛行與起降,視頻采集單元100還包括陀螺儀170和伺服平臺(tái)180,二者配合使用,使前視單元110的拍攝方向保持水平以及俯視單元140的拍攝方向保持豎直。
進(jìn)一步地,如圖3所示,前視單元110包括第一前視熱成像鏡頭112和第二前視熱成像鏡頭113、以及第一前視超低照度鏡頭126和第二前視超低照度鏡頭127,分別用于攝取飛行器前方的熱成像圖像和可見(jiàn)光圖像。
同樣,俯視單元140包括第一俯視熱成像鏡頭142和第二俯視熱成像鏡頭143、以及第一俯視超低照度鏡頭156和第二俯視超低照度鏡頭157,分別用于攝取飛行器下方的熱成像圖像和可見(jiàn)光圖像。采用超低照度攝像機(jī),能夠使攝像機(jī)在光線比較暗的情況下仍能夠攝取清晰的圖像,擴(kuò)大了本系統(tǒng)的適用范圍。
其中,前視單元110的兩個(gè)熱成像鏡頭112和113可以為同焦距鏡頭,前視單元110的兩個(gè)超低照度鏡頭126和127可以為同焦距鏡頭,俯視單元140的兩個(gè)熱成像鏡頭142和143可以為同焦距鏡頭,俯視單元140的兩個(gè)超低照度鏡頭156和157可以為同焦距鏡頭。
需要說(shuō)明的是,焦距越大視場(chǎng)角越小,拍攝的距離越遠(yuǎn),焦距越小視場(chǎng)角越大,拍攝的距離越近,采集不同焦距下的圖像的目的在于,將不同焦距圖像融合,達(dá)到圖像大視角并且遠(yuǎn)距離的目的,以此豐富圖像內(nèi)容,圖像更清晰。
基于此,圖像處理模塊211包括圖像拼接子模塊213,用于對(duì)前視單元110的兩個(gè)熱成像鏡頭112和113(第一前視熱成像鏡頭112和第二前視熱成像鏡頭113)所攝取的圖像進(jìn)行拼接,對(duì)前視單元110的兩個(gè)超低照度鏡頭126和127(第一俯視超低照度鏡頭126和第二俯視超低照度鏡頭127)所攝取的圖像進(jìn)行拼接,對(duì)俯視單元140的兩個(gè)熱成像鏡頭142和143(第一俯視熱成像鏡頭142和第二俯視熱成像鏡頭143)所攝取的圖像進(jìn)行拼接,對(duì)俯視單元140的兩個(gè)超低照度鏡頭156和157(第一俯視超低照度鏡頭156和第二俯視超低照度鏡頭157)所攝取的圖像進(jìn)行拼接。
前視單元110的兩個(gè)熱成像鏡頭112和113也可以為不同焦距鏡頭,前視單元110的兩個(gè)超低照度鏡頭126和127也可以為不同焦距鏡頭,俯視單元140的兩個(gè)熱成像鏡頭142和143也可以為不同焦距鏡頭,俯視單元140的兩個(gè)超低照度鏡頭156和157也可以為不同焦距鏡頭。
圖像處理模塊211還包括圖像融合子模塊214,用于對(duì)前視單元110的兩個(gè)熱成像鏡頭112和113(第一前視熱成像鏡頭112和第二前視熱成像鏡頭113)所攝取的圖像進(jìn)行融合,對(duì)前視單元110的兩個(gè)超低照度鏡頭126和127(第一俯視超低照度鏡頭126和第二俯視超低照度鏡頭127)所攝取的圖像進(jìn)行融合,對(duì)俯視單元140的兩個(gè)熱成像鏡頭142和143(第一俯視熱成像鏡頭142和第二俯視熱成像鏡頭143)所攝取的圖像進(jìn)行融合,對(duì)俯視單元140的兩個(gè)超低照度鏡頭156和157(第一俯視超低照度鏡頭156和第二俯視超低照度鏡頭157)所攝取的圖像進(jìn)行融合。
工控機(jī)210還包括存儲(chǔ)模塊215、回放模塊216、電子放大模塊217、視頻選擇模塊218。其中,存儲(chǔ)模塊215用于對(duì)圖像處理模塊211處理后的視頻圖像進(jìn)行實(shí)時(shí)存儲(chǔ);回放模塊216用于對(duì)存儲(chǔ)的視頻圖像進(jìn)行回放顯示;電子放大模塊217在有遠(yuǎn)距離的目標(biāo)視頻圖像不利于人眼觀察時(shí),可在操控單元200對(duì)目標(biāo)區(qū)域執(zhí)行電子放大功能,將遠(yuǎn)處目標(biāo)區(qū)域進(jìn)行放大,使遠(yuǎn)處渺小圖像變大變清晰,方便飛行器駕駛員觀察遠(yuǎn)處目標(biāo);視頻選擇模塊218用于選擇熱成像圖像或可見(jiàn)光圖像輸出到顯示單元240。或者,圖像融合子模塊214分別對(duì)前視單元110的最終的熱成像圖像與最終的可見(jiàn)光圖像進(jìn)行融合、對(duì)俯視單元140的最終的熱成像圖像與最終的可見(jiàn)光圖像進(jìn)行融合,顯示裝置240顯示融合后的視頻圖像。
如圖4所示,為了更好地獲取圖像輔助駕駛,在另一個(gè)實(shí)施例中,前視單元110包括四個(gè)熱成像鏡頭和四個(gè)超低照度鏡頭,其分別為兩個(gè)25mm熱成像鏡頭(即第一前視25mm熱成像鏡頭114和第二前視25mm熱成像鏡頭115)、兩個(gè)12.3mm熱成像鏡頭(即第一前視12.3mm熱成像鏡頭116和第二前視12.3mm熱成像鏡頭117)、兩個(gè)25mm超低照度鏡頭(即第一前視25mm超低照度鏡頭128和第二前視25mm超低照度鏡頭129)和兩個(gè)8mm超低照度鏡頭(即第一前視8mm超低照度鏡頭130和第二前視8mm超低照度鏡頭131)。
如圖13所示前視單元110的攝像頭具體朝向布置,共計(jì)八個(gè)攝像頭分列兩排四縱布置,其中兩個(gè)25mm熱成像鏡頭位于第一排中間,兩個(gè)25mm超低照度鏡頭分列第一排兩側(cè),兩個(gè)12.3mm熱成像鏡頭位于第二排中間,兩個(gè)8mm超低照度鏡頭分列第二排兩側(cè),這樣的布置方式能夠最大化不同攝像頭的相應(yīng)功能。下述俯視單元140的八個(gè)攝像頭布置方式與上述相同,可參見(jiàn)圖14。
俯視單元140也包括四個(gè)熱成像鏡頭和四個(gè)超低照度鏡頭,其分別為兩個(gè)25mm熱成像鏡頭(即第一俯視25mm熱成像鏡頭144和第二俯視25mm熱成像鏡頭145)、兩個(gè)12.3mm熱成像鏡頭(即第一俯視12.3mm熱成像鏡頭146和第二俯視12.3mm熱成像鏡頭147)、兩個(gè)25mm超低照度鏡頭(即第一俯視25mm超低照度鏡頭158和第二俯視25mm超低照度鏡頭159)和兩個(gè)8mm超低照度鏡頭(即第一俯視8mm超低照度鏡頭160和第二俯視8mm超低照度鏡頭161),熱成像鏡頭用于攝取熱成像圖像,超低照度鏡頭用于攝取可見(jiàn)光圖像。
圖像處理模塊211包括圖像拼接子模塊213和圖像融合子模塊214,圖像拼接子模塊213用于對(duì)前視單元110的兩個(gè)相同焦距的熱成像鏡頭(熱成像鏡頭114和115、熱成像鏡頭116和117)所攝取的圖像進(jìn)行拼接,對(duì)前視單元110的兩個(gè)相同焦距的超低照度鏡頭(超低照度鏡頭128和129、超低照度鏡頭130和131)所攝取的圖像進(jìn)行拼接,對(duì)俯視單元140的兩個(gè)相同焦距的熱成像鏡頭(熱成像鏡頭144和145、熱成像鏡頭146和147)所攝取的圖像進(jìn)行拼接,對(duì)俯視單元140的兩個(gè)相同焦距的超低照度鏡頭(超低照度鏡頭158和159、超低照度鏡頭160和161)所攝取的圖像進(jìn)行拼接;
圖像融合子模塊214用于對(duì)前視單元110的第一前視25mm熱成像鏡頭114和第二前視25mm熱成像鏡頭115所攝取的圖像拼接后的圖像與前視單元110的第一前視12.3mm熱成像鏡頭116和第二前視12.3mm熱成像鏡頭117所攝取的圖像拼接后的圖像進(jìn)行融合,對(duì)前視單元110的第一前視25mm超低照度鏡頭128和第二前視25mm超低照度鏡頭129所攝取的圖像拼接后的圖像與前視單元110的第一前視8mm超低照度鏡頭130和第二前視8mm超低照度鏡頭131所攝取的圖像拼接后的圖像進(jìn)行融合,對(duì)俯視單元140的第一俯視25mm熱成像鏡頭144和第二俯視25mm熱成像鏡頭145所攝取的圖像拼接后的圖像與俯視單元140的第一俯視12.3mm熱成像鏡頭146和第二俯視12.3mm熱成像鏡頭147所攝取的圖像拼接后的圖像進(jìn)行融合,對(duì)俯視單元140的第一俯視25mm超低照度鏡頭158和第二俯視25mm超低照度鏡頭159所攝取的圖像拼接后的圖像與俯視單元140的第一俯視8mm超低照度鏡頭160和第二俯視8mm超低照度鏡頭161所攝取的圖像拼接后的圖像進(jìn)行融合。
上述圖像處理過(guò)程通過(guò)對(duì)同焦距的鏡頭所攝取的視頻圖像的拼接,可以形成寬視角的視頻圖像,而通過(guò)對(duì)拼接后的不同焦距的視頻圖像的融合,既達(dá)到了寬視場(chǎng)角的要求,又確保了圖像中央的高清晰度,解決了圖像遠(yuǎn)處不清晰的問(wèn)題。本實(shí)施例的其余部分與上一實(shí)施例相同,此處不再贅述。當(dāng)然從節(jié)省成本的角度出發(fā),還可以全部采用超低照度攝像機(jī)(紅外攝像機(jī)的造價(jià)比較高),用紅外燈輔助照明,使超低照度攝像機(jī)能夠采集到清晰圖像。全部采用超低照度攝像機(jī)時(shí),前視/俯視方向上的各個(gè)攝像機(jī)的焦距,可以調(diào)整為:兩個(gè)4mm,兩個(gè)8mm。
該部分技術(shù)方案取得的技術(shù)效果:采用上述輔助飛行系統(tǒng)的飛行器采用前視單元、俯視單元,能夠攝取飛機(jī)前方、下方的視頻圖像發(fā)送顯示單元顯示給飛行員,使飛行員能夠掌握飛機(jī)前方、下方的環(huán)境情況,提高了飛行、起降的安全性。
二、在飛行器起飛、飛行以及降落時(shí)的輔助安全飛行方法和應(yīng)用該方法的裝置
本發(fā)明還提供了一種輔助安全飛行的方法,應(yīng)用在飛行器起飛、飛行以及降落時(shí),該方法主要是利用光照傳感器檢測(cè)照度值,根據(jù)檢測(cè)結(jié)果選擇進(jìn)入超低照度模式或紅外模式,在進(jìn)入相應(yīng)的模式時(shí),按照不同的焦距分別采集圖像,分別對(duì)焦距相同的圖像進(jìn)行圖像拼接,將拼接后的圖像進(jìn)行圖像融合,并顯示融合后的圖像,在本方案中涉及兩種模式,即超低照度模式和紅外模式,通過(guò)這兩種模式相互切換,采集圖像,能夠有效解決在雨、雪、霧、霾等惡劣天氣條件下,視線差飛行不安全的問(wèn)題。結(jié)合相同焦距圖像拼接,再將拼接后的圖像進(jìn)行融合,獲得大視場(chǎng)角、清晰的圖像,以此輔助飛行,進(jìn)一步提高飛行的安全性。
如圖5所示,具體包括以下步驟:
步驟101:檢測(cè)照度值,根據(jù)得到的檢測(cè)結(jié)果判斷進(jìn)入超低照度模式或紅外模式,如果是超低照度模式,則執(zhí)行步驟102;如果是紅外模式,則執(zhí)行步驟105;
在本發(fā)明中,檢測(cè)當(dāng)前環(huán)境的照度值,對(duì)得到的檢測(cè)結(jié)果進(jìn)行判斷,如果該檢測(cè)結(jié)果符合第一預(yù)設(shè)條件,則確定進(jìn)入超低照度模式,執(zhí)行步驟102;否則確定進(jìn)入紅外模式,執(zhí)行步驟105,其中,第一預(yù)設(shè)條件可以為大于0.0001lux。本發(fā)明提供的技術(shù)方案中,包含超低照度模式以及紅外模式,當(dāng)然也可以包含其他模式,例如:當(dāng)檢測(cè)結(jié)果大于0.1lux時(shí),進(jìn)入普通模式,此時(shí)可以采用光學(xué)攝像鏡頭采集圖像;當(dāng)檢測(cè)結(jié)果大于0.01lux小于等于0.1lux時(shí),進(jìn)入低照度模式,此時(shí)可以采用低照度攝像機(jī)采集圖像;當(dāng)檢測(cè)結(jié)果大于0.001lux小于等于0.01lux進(jìn)入月光級(jí)模式,采用月光級(jí)攝像機(jī)采集圖像;當(dāng)檢測(cè)結(jié)果大于0.0001lux小于等于0.001lux時(shí),進(jìn)入超低照度模式,采用超低照度攝像機(jī)采集圖像;當(dāng)檢測(cè)結(jié)果小于等于0.0001lux時(shí),進(jìn)入紅外模式,采用紅外熱成像攝像機(jī)采集圖像,各種模式采集圖像的方法相同,此處不再贅述。
步驟102:分別采集第一焦距超低照度圖像若干幅、第二焦距超低照度圖像若干幅,然后執(zhí)行步驟103;
在本發(fā)明中,進(jìn)入超低照度模式時(shí),可以在不同焦距條件下,使用超低照度攝像機(jī)采集圖像,通常來(lái)說(shuō),焦距越大視場(chǎng)角越小,拍攝的距離越遠(yuǎn),在本方法中,使用超低照度攝像機(jī)在前視方向上分別以第一焦距、第二焦距作為焦距值,采集超低照度圖像,其中,第一焦距的取值與第二焦距的取值可以不相同,第一焦距值可以為25mm,第二焦距值可以為8mm。將采集到的超低照度圖像分別作為前視方向上的第一焦距超低照度圖像、前視方向上的第二焦距超低照度圖像。使用超低照度攝像機(jī)在俯視方向上分別以第一焦距、第二焦距作為焦距值,采集超低照度圖像,將采集到的超低照度圖像分別作為俯視方向上的第一焦距超低照度圖像、俯視方向上的第二焦距超低照度圖像。在進(jìn)行圖像采集的過(guò)程中,為了提高采集到的圖像的清晰度以及圖像的視角足夠開(kāi)闊,可以在前視方向上,采集若干幅焦距相同、拍攝角度不同的圖像;同樣也可以在俯視方向上,采集若干幅焦距相同、拍攝角度不同的圖像。
步驟103:分別對(duì)焦距相同的超低照度圖像進(jìn)行圖像拼接,得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像;
在本發(fā)明中,對(duì)前視方向上焦距相同的超低照度圖像進(jìn)行圖像拼接,得到前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像,也就是說(shuō),將若干幅前視方向上的第一焦距超低照度圖像拼接成一幅圖像,得到前視方向上的第一焦距的超低照度拼接圖像。將若干幅前視方向上的第二焦距超低照度圖像拼接成一幅圖像,得到前視方向上的第二焦距的超低照度拼接圖像。同樣的方法得到俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像。
在本發(fā)明中,通過(guò)將相同朝向上、相同焦距條件下,針對(duì)各角度采集的圖像進(jìn)行圖像拼接,得到前視方向上的第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像,其中,第一焦距的超低照度拼接圖像是第一焦距條件下采集到的圖像拼接而成的,第二焦距的超低照度拼接圖像是第二焦距條件下采集到的圖像拼接而成的,將各角度的圖像拼接成一幅圖像時(shí),能夠增加圖像內(nèi)容、提高圖像特征的清晰度。另外,與第二焦距的超低照度拼接圖像相比較,第一焦距的超低照度拼接圖像視場(chǎng)角窄、但是能夠拍攝到較遠(yuǎn)處的目標(biāo),相應(yīng)的,第二超低照度拼接圖形視場(chǎng)角寬,但遠(yuǎn)處的圖像特征比較模糊。
步驟104:將第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到融合后的超低照度圖像,將融合后的超低照度圖像發(fā)送給飛行器駕駛?cè)藛T,顯示融合后的超低照度圖像,返回結(jié)束;
在本發(fā)明中,將前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到前視方向上融合后的超低照度圖像;將俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到俯視方向上融合后的超低照度圖像。在本發(fā)明中,通過(guò)將前視方向上的第一焦距的超低照度拼接圖像與第二焦距的超低照度拼接圖像進(jìn)行圖像融合,使視場(chǎng)角較窄的第一焦距的超低照度拼接圖像融合到視場(chǎng)角較寬的第二焦距的超低照度拼接圖像中,既達(dá)到了寬視場(chǎng)角的目的,又提高了圖像的清晰度,并且能夠看清楚遠(yuǎn)處的圖像特征。
步驟105:分別采集第三焦距紅外圖像若干幅和第四焦距紅外圖像若干幅,執(zhí)行步驟106;
在本發(fā)明中,進(jìn)入紅外模式時(shí),可以在不同焦距條件下,使用紅外熱成像攝像機(jī)采集圖像,通常來(lái)說(shuō),焦距越大視場(chǎng)角越小,拍攝的距離越遠(yuǎn),在本方法中,使用紅外熱成像攝像機(jī)在前視方向(俯視方向)上分別以第三焦距、第四焦距作為焦距值采集紅外圖像,其中,第三焦距和第四焦距可以不相同,第三焦距可以為25mm,第四焦距可以為12.3mm。將采集到的紅外圖像分別作為前視方向(或俯視方向)上的第三焦距紅外圖像、前視方向(或俯視方向)上的第四焦距紅外圖像。在進(jìn)行圖像采集的過(guò)程中,為了提高采集到的圖像的清晰度以及圖像的視角足夠開(kāi)闊,可以在前視方向上,采集若干幅焦距相同、拍攝角度不同的圖像;同樣也可以在俯視方向上,采集若干幅焦距相同、拍攝角度不同的圖像。
步驟106:分別對(duì)焦距相同的若干幅紅外圖像進(jìn)行圖像拼接,得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像;
在本發(fā)明中,對(duì)若干幅前視方向上焦距相同的紅外圖像進(jìn)行圖像拼接,得到前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像。同樣的方法得到俯視方向上的第三焦距的紅外拼接圖像和俯視方向上的第四焦距的紅外拼接圖像。
步驟107:將第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到融合后的紅外圖像,將融合后的紅外圖像發(fā)送給飛行器駕駛?cè)藛T,顯示融合后的紅外圖像,返回結(jié)束。
在本發(fā)明中,將前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到前視方向上融合后的紅外圖像。同理,將俯視方向上的第三焦距的紅外拼接圖像和俯視方向上的第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到俯視方向上融合后的紅外圖像。
在本發(fā)明中,上述處理方式使視場(chǎng)角較窄的第三焦距的紅外拼接圖像融合到視場(chǎng)角較寬的第四焦距的紅外拼接圖像中,既達(dá)到了寬視場(chǎng)角的目的,又提高了圖像的清晰度,并且能夠看清楚遠(yuǎn)處的圖像特征。
在本發(fā)明中,針對(duì)照度值的不同,采用紅外模式和超低照度模式采集圖像,照度條件理想時(shí),采用超低照度模式采集圖像。在照度條件差時(shí),比如有濃霧、霾、云層、雨、雪、暗夜等惡劣條件下,采用紅外模式采集圖像,能夠采集到圖像,以此了解環(huán)境,輔助飛行。
在該方法中,通過(guò)對(duì)圖像拼接得到大視場(chǎng)角的圖像,進(jìn)而能夠采集到更多的圖像內(nèi)容;將第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到融合后的超低照度圖像,顯示融合后的超低照度圖像,通常來(lái)說(shuō),焦距值越大,視角越小,拍攝的距離越遠(yuǎn),在本發(fā)明中,將焦距不同的圖像進(jìn)行圖像融合,以此獲得更遠(yuǎn)、更寬視角的圖像,進(jìn)一步增加圖像內(nèi)容。另外,在紅外模式下進(jìn)行工作時(shí),耗電量大,成本比較高,因此,在本發(fā)明中,采用紅外模式與超低照度模式相結(jié)合的方式能夠有效采集到清晰、大視場(chǎng)角的圖像,耗電量低,節(jié)約成本。
需要說(shuō)明的是,在本方法中還可以包括:檢測(cè)前視拍攝方向是否處于水平,當(dāng)檢測(cè)到未處于水平時(shí),調(diào)整方位至水平,可以使用陀螺儀檢測(cè)是否處于水平,當(dāng)處于水平時(shí),能夠采集到前視圖、俯視圖,當(dāng)未處于水平時(shí),需要調(diào)整至水平,然后再采集前視圖、俯視圖。另外,在本發(fā)明中,還可以用戶自主選擇圖像采集模式。可以在飛行器起飛、飛行或者降落時(shí),根據(jù)用戶選擇指令的圖像采集模式來(lái)進(jìn)行下一步操作。在本發(fā)明中,可以獲取并解析用戶輸入的語(yǔ)音命令,根據(jù)解析結(jié)果選擇相應(yīng)的圖像采集模式。
還可以獲取用戶在屏幕上觸摸的位置,根據(jù)該位置信息選擇相應(yīng)的圖像采集模式。當(dāng)然也可以檢測(cè)被用戶觸發(fā)的物理按鍵,當(dāng)被觸發(fā)的物理按鍵是超低照度模式對(duì)應(yīng)的按鍵時(shí),執(zhí)行步驟102;當(dāng)用戶觸發(fā)的物理按鍵是紅外模式對(duì)應(yīng)的按鍵時(shí),執(zhí)行步驟105。在本發(fā)明實(shí)施例中,可以將用來(lái)采集紅外圖像的紅外攝像機(jī),以及用來(lái)采集超低照度圖像的超低照度攝像機(jī),分別呈放射狀排布,以此增寬視場(chǎng)角,使采集到的圖像視場(chǎng)角更寬。
相應(yīng)地,為實(shí)現(xiàn)上述該方法,還公開(kāi)了對(duì)應(yīng)的一種輔助安全飛行的裝置,如圖6所示,該裝置應(yīng)用于飛行器起飛、飛行以及降落時(shí)采集圖像,其包括:模式選擇模塊201,用于檢測(cè)照度值,根據(jù)得到的檢測(cè)結(jié)果選擇進(jìn)入超低照度模式或紅外模式;
在本發(fā)明中,模式選擇模塊201,具體用于檢測(cè)當(dāng)前環(huán)境的照度值,對(duì)得到的檢測(cè)結(jié)果進(jìn)行判斷,如果該檢測(cè)結(jié)果符合第一預(yù)設(shè)條件,則觸發(fā)超低照度圖像采集模塊202;否則觸發(fā)紅外圖像采集模塊205,其中,第一預(yù)設(shè)條件可以為大于0.0001lux。另外,還可以根據(jù)照度值劃進(jìn)行劃分出更精確的模式,以此使不同的類(lèi)型的攝像機(jī)相互配合使用,達(dá)到更清晰,內(nèi)容更豐富的圖像,相對(duì)應(yīng)的,模式選擇模塊201,具體用于檢測(cè)當(dāng)前環(huán)境的照度值,對(duì)得到的檢測(cè)結(jié)果進(jìn)行判斷,當(dāng)檢測(cè)結(jié)果大于0.1lux時(shí),進(jìn)入普通模式,此時(shí)可以采用光學(xué)攝像鏡頭采集圖像;當(dāng)檢測(cè)結(jié)果大于0.01lux小于等于0.1lux時(shí),進(jìn)入低照度模式,此時(shí)可以采用低照度攝像機(jī)采集圖像;當(dāng)檢測(cè)結(jié)果大于0.001lux小于等于0.01lux進(jìn)入月光級(jí)模式,采用月光級(jí)攝像機(jī)采集圖像;當(dāng)檢測(cè)結(jié)果大于0.0001lux小于等于0.001lux時(shí),進(jìn)入超低照度模式,采用超低照度攝像機(jī)采集圖像;當(dāng)檢測(cè)結(jié)果小于等于0.0001lux時(shí),進(jìn)入紅外模式,采用紅外熱成像攝像機(jī)采集圖像,各種模式采集圖像的方法相同,此處不再贅述。
超低照度圖像采集模塊202,用于當(dāng)進(jìn)入超低照度模式時(shí),分別采集第一焦距超低照度圖像、第二焦距超低照度圖像;
在本發(fā)明中,超低照度圖像采集模塊202,用于使用超低照度攝像機(jī)在前視方向上分別以第一焦距、第二焦距作為焦距值,采集超低照度圖像,其中,第一焦距的取值與第二焦距的取值不相同,第一焦距值可以為25mm,第二焦距值可以為8mm。將采集到的超低照度圖像分別作為前視方向上的第一焦距超低照度圖像、前視方向上的第二焦距超低照度圖像。使用超低照度攝像機(jī)在俯視方向上分別以第一焦距、第二焦距作為焦距值,采集超低照度圖像,將采集到的超低照度圖像分別作為俯視方向上的第一焦距超低照度圖像、俯視方向上的第二焦距超低照度圖像。在進(jìn)行圖像采集的過(guò)程中,為了提高采集到的圖像的清晰度以及圖像的視角足夠開(kāi)闊,可以在前視方向上,采集若干幅焦距相同、拍攝角度不同的圖像;同樣也可以在俯視方向上,采集若干幅焦距相同、拍攝角度不同的圖像。
超低照度圖像拼接模塊203,用于分別對(duì)焦距相同的超低照度圖像進(jìn)行圖像拼接,得到第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像;
在本發(fā)明中,超低照度圖像拼接模塊203,具體用于對(duì)前視方向上焦距相同的超低照度圖像進(jìn)行圖像拼接,得到前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像,也就是說(shuō),將若干幅前視方向上的第一焦距超低照度圖像拼接成一幅圖像,得到前視方向上的第一焦距的超低照度拼接圖像。將若干幅前視方向上的第二焦距超低照度圖像拼接成一幅圖像,得到前視方向上的第二焦距的超低照度拼接圖像。
超低照度圖像拼接模塊203,具體還用于對(duì)俯視方向上焦距相同的超低照度圖像進(jìn)行圖像拼接,得到俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像,也就是說(shuō),將若干幅俯視方向上的第一焦距超低照度圖像拼接成一幅圖像,得到俯視方向上的第一焦距的超低照度拼接圖像。將若干幅俯視方向上的第二焦距超低照度圖像拼接成一幅圖像,得到俯視方向上的第二焦距的超低照度拼接圖像。
超低照度圖像融合模塊204,用于將第一焦距的超低照度拼接圖像和第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到融合后的超低照度圖像,將所述融合后的超低照度圖像發(fā)送給飛行器駕駛?cè)藛T,顯示融合后的超低照度圖像。
在本發(fā)明中,超低照度圖像融合模塊204,具體用于將前視方向上的第一焦距的超低照度拼接圖像和前視方向上的第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到前視方向上融合后的超低照度圖像;
超低照度圖像融合模塊204,具體還用于將俯視方向上的第一焦距的超低照度拼接圖像和俯視方向上的第二焦距的超低照度拼接圖像進(jìn)行圖像融合,得到俯視方向上融合后的超低照度圖像。
紅外圖像采集模塊205,用于當(dāng)進(jìn)入紅外模式時(shí),分別采集第三焦距紅外圖像、第四焦距紅外圖像,觸發(fā)紅外圖像拼接模塊206;
在本發(fā)明中,紅外圖像采集模塊205,具體用于使用紅外熱成像攝像機(jī)在前視方向上分別以第三焦距、第四焦距作為焦距值,采集紅外圖像,其中,第三焦距可以為25mm,第四焦距可以為12.3mm。將采集到的紅外圖像分別作為前視方向上的第三焦距紅外圖像、前視方向上的第四焦距紅外圖像。使用紅外熱成像攝像機(jī)在俯視方向上分別以第三焦距、第四焦距作為焦距值,采集紅外圖像,將采集到的紅外圖像分別作為俯視方向上的第三焦距紅外圖像、俯視方向上的第四焦距紅外圖像。在進(jìn)行圖像采集的過(guò)程中,為了提高采集到的圖像的清晰度以及圖像的視角足夠開(kāi)闊,可以在前視方向上,采集若干幅焦距相同、拍攝角度不同的圖像;同樣也可以在俯視方向上,采集若干幅焦距相同、拍攝角度不同的圖像。
紅外圖像拼接模塊206,用于分別對(duì)焦距相同的紅外圖像進(jìn)行圖像拼接,得到第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像;
在本發(fā)明中,紅外圖像拼接模塊206,具體用于對(duì)前視方向上焦距相同的紅外圖像進(jìn)行圖像拼接,得到前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像,也就是說(shuō),將若干幅前視方向上的第三焦距紅外圖像拼接成一幅圖像,得到前視方向上的第三焦距的紅外拼接圖像。將若干幅前視方向上的第四焦距紅外圖像拼接成一幅圖像,得到前視方向上的第四焦距的紅外拼接圖像。
還用于對(duì)俯視方向上焦距相同的紅外圖像進(jìn)行圖像拼接,得到俯視方向上的第三焦距的紅外拼接圖像和俯視方向上的第四焦距的紅外拼接圖像,也就是說(shuō),將若干幅俯視方向上的第三焦距紅外圖像拼接成一幅圖像,得到俯視方向上的第三焦距的紅外拼接圖像。將若干幅俯視方向上的第四焦距紅外圖像拼接成一幅圖像,得到俯視方向上的第四焦距的紅外拼接圖像。
紅外圖像融合模塊207,用于將第三焦距的紅外拼接圖像和第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到融合后的紅外圖像,將所述融合后的紅外圖像發(fā)送給飛行器駕駛?cè)藛T,顯示融合后的紅外圖像。
在本發(fā)明中,紅外圖像融合模塊207,具體用于將前視方向上的第三焦距的紅外拼接圖像和前視方向上的第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到前視方向上融合后的紅外圖像。
還用于將俯視方向上的第三焦距的紅外拼接圖像和俯視方向上的第四焦距的紅外拼接圖像進(jìn)行圖像融合,得到俯視方向上融合后的紅外圖像。
在本發(fā)明中,通過(guò)將前視方向上的第三焦距的紅外拼接圖像與第四焦距的紅外拼接圖像進(jìn)行圖像融合,使視場(chǎng)角較窄的第三焦距的紅外拼接圖像融合到視場(chǎng)角較寬的第四焦距的紅外拼接圖像中,既達(dá)到了寬視場(chǎng)角的目的,又提高了圖像的清晰度,并且能夠看清楚遠(yuǎn)處的圖像特征。針對(duì)照度值的不同,采用紅外模式和超低照度模式采集圖像,照度條件理想時(shí),采用超低照度模式采集圖像。在照度條件差時(shí),比如有濃霧、霾、云層、雨、雪、暗夜等惡劣條件下,采用紅外模式采集圖像,能夠采集到圖像,以此了解環(huán)境,輔助飛行。另外,在紅外模式下進(jìn)行工作時(shí),耗電量大,成本比較高,因此在本發(fā)明中,采用紅外模式與超低照度模式相結(jié)合的方式能夠有效采集到清晰、大視場(chǎng)角的圖像,耗電量低,節(jié)約成本。
本裝置還可包括:檢測(cè)方位模塊,用于檢測(cè)前視拍攝方向是否處于水平,當(dāng)檢測(cè)到未處于水平時(shí),調(diào)整方位至水平。具體的檢測(cè)方位模塊可以是陀螺儀,使用陀螺儀檢測(cè)是否處于水平,當(dāng)處于水平時(shí),采集前視圖、俯視圖,當(dāng)未處于水平時(shí),需要調(diào)整至水平,然后再采集前視圖、俯視圖。通過(guò)采集前視圖像和俯視圖像,將兩者相結(jié)合的方式,將飛行過(guò)程中相關(guān)角度的圖像展現(xiàn)給操作人員,便于安全飛行。
三、基于檢測(cè)障礙提高飛行器起降安全性的方法和應(yīng)用該方法的裝置
為了進(jìn)一步輔助飛行,在前述內(nèi)容基礎(chǔ)上,可以對(duì)融合后的前視圖、俯視圖進(jìn)行障礙檢測(cè),檢測(cè)到障礙后,可以生成告警信息,以警示飛行器操作人員。具體如下,
如圖7所示公開(kāi)了一種基于檢測(cè)障礙提高起降安全性的方法,包括以下步驟:
步驟1010:調(diào)整拍攝設(shè)備自身方位,使前視拍攝方向?yàn)樗剑?/p>
在本發(fā)明實(shí)施例中,拍攝設(shè)備實(shí)時(shí)檢測(cè)前視拍攝方向是否處于水平,當(dāng)未處于水平時(shí),通過(guò)伺服平臺(tái)調(diào)整自身位置,使前視拍攝方向?yàn)樗健>唧w可以將陀螺儀固定在設(shè)備中,通過(guò)陀螺儀檢測(cè)設(shè)備是否處于水平。
步驟1020:檢測(cè)當(dāng)前照度值,判斷檢測(cè)結(jié)果是否符合超低照度處理?xiàng)l件,是則執(zhí)行步驟1030;否則執(zhí)行步驟1050;
在該實(shí)施例中,檢測(cè)當(dāng)前照度值,對(duì)得到的檢測(cè)結(jié)果進(jìn)行判斷,如果該檢測(cè)結(jié)果符合超低照度處理?xiàng)l件,則確定進(jìn)入超低照度模式,執(zhí)行步驟1030;否則確定進(jìn)入紅外模式,執(zhí)行步驟1050。其中,超低照度處理?xiàng)l件可以為大于0.0001lux。
步驟1030:使用超低照度攝像頭采集當(dāng)前位置的若干幅前視圖像和若干幅俯視圖像,經(jīng)過(guò)拼接和融合后得到超低照度前視圖像和超低照度俯視圖像,然后執(zhí)行步驟1040;
在實(shí)施例中,可用8個(gè)攝像頭(4個(gè)紅外熱成像攝像頭+4個(gè)超低照度攝像頭)采集前視圖像,8個(gè)攝像頭(4個(gè)紅外熱成像攝像頭+4個(gè)超低照度攝像頭)采集俯視圖像,相同類(lèi)型的攝像頭焦距可相同或不同,例如采集前視圖像的8個(gè)攝像頭中,兩個(gè)超低照度攝像頭的焦距為25mm,另外兩個(gè)超低照度攝像頭的焦距為8mm。
使用超低照度攝像頭采集若干幅前視圖像和若干幅俯視圖像;其中,前視圖像為在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像,俯視圖像為在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。
可選擇性地,將焦距相同的前視圖像劃分為一組,將每組焦距相同的前視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第一拼接前視圖像。然后,對(duì)不同焦距的第一拼接前視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為超低照度前視圖像。
可選擇性地,將焦距相同的俯視圖像劃分為一組,將每組焦距相同的俯視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第一拼接俯視圖像。對(duì)不同焦距的第一拼接俯視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為超低照度俯視圖像。
在提供的技術(shù)方案中,可以針對(duì)不同的飛行狀態(tài)采集不同的圖像,以此來(lái)輔助安全飛行??梢栽跈z測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),檢測(cè)飛行狀態(tài),如果處于起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài),則通過(guò)超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像。
步驟1040:分別對(duì)拼接融合后的超低照度前視圖像和超低照度俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到超低照度前視圖像和/或超低照度俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息,返回結(jié)束。
在該實(shí)施例中,進(jìn)行障礙檢測(cè)可以通過(guò)判斷超低照度前視圖像和/或超低照度俯視圖像中是否存在圖像特征點(diǎn)來(lái)判斷,當(dāng)確定存在圖像特征點(diǎn)時(shí),提取圖像特征點(diǎn),根據(jù)圖像特征點(diǎn)繪制障礙圖像,并在對(duì)應(yīng)的超低照度前視圖像和超低照度俯視圖像中標(biāo)記障礙圖像;當(dāng)確定不存在圖像特征點(diǎn)時(shí),確定不存在障礙。
通過(guò)衛(wèi)星定位障礙的位置信息,根據(jù)障礙的位置信息,以及標(biāo)記有障礙圖像的超低照度前視圖像和超低照度俯視圖像,生成告警信息,發(fā)送告警信息。
步驟1050:使用紅外熱成像攝像頭采集當(dāng)前位置的若干幅前視圖像和若干幅俯視圖像,經(jīng)過(guò)拼接和融合后得到紅外級(jí)前視圖像和紅外級(jí)俯視圖像,執(zhí)行步驟1060;
在實(shí)施例中,使用紅外熱成像攝像頭采集若干幅前視圖像和若干幅俯視圖像,其中,前視圖像為在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像,俯視圖像為在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。
可選擇性地,將焦距相同的前視圖像劃分為一組,將每組焦距相同的前視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第二拼接前視圖像。對(duì)不同焦距的第二拼接前視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為紅外級(jí)前視圖像。
可選擇性地,將焦距相同的俯視圖像劃分為一組,將每組焦距相同的俯視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第二拼接俯視圖像。對(duì)不同焦距的第二拼接俯視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為紅外級(jí)俯視圖像。
在實(shí)施例中,可以針對(duì)不同的飛行狀態(tài)采集不同的圖像,以此來(lái)輔助安全飛行??梢栽跈z測(cè)結(jié)果不符合超低照度處理?xiàng)l件時(shí),檢測(cè)飛行狀態(tài),如果處于起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài),則通過(guò)紅外級(jí)攝像頭采集當(dāng)前位置的紅外級(jí)前視圖像和紅外級(jí)俯視圖像。
步驟1060:分別對(duì)拼接和融合后的紅外級(jí)前視圖像和紅外級(jí)俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到紅外級(jí)前視圖像和/或紅外級(jí)俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息。
在實(shí)施例中,進(jìn)行障礙檢測(cè)的方法同上,可以通過(guò)判斷紅外級(jí)前視圖像和/或紅外級(jí)俯視圖像中是否存在圖像特征點(diǎn)來(lái)判斷是否存在障礙,當(dāng)確定存在圖像特征點(diǎn)時(shí),提取圖像特征點(diǎn),根據(jù)圖像特征點(diǎn)繪制障礙圖像,并在對(duì)應(yīng)的紅外級(jí)前視圖像和紅外級(jí)俯視圖像中標(biāo)記障礙圖像;當(dāng)確定不存在圖像特征點(diǎn)時(shí),確定不存在障礙。
通過(guò)衛(wèi)星定位障礙的位置信息,根據(jù)障礙的位置信息,以及標(biāo)記有障礙圖像的紅外級(jí)前視圖像和紅外級(jí)俯視圖像,生成告警信息,發(fā)送告警信息。在實(shí)施例中,還可以顯示該告警信息,并且當(dāng)檢測(cè)到觸屏事件時(shí),放大障礙圖像。
為實(shí)現(xiàn)上述方法,引申出該方法對(duì)應(yīng)的基于檢測(cè)障礙提高起降安全性的設(shè)備,如圖8所示,該設(shè)備包括:
方位調(diào)整模塊2010,用于調(diào)整自身方位,使前視拍攝方向?yàn)樗剑?/p>
在本發(fā)明實(shí)施例中,方位調(diào)整模塊2010用于實(shí)時(shí)檢測(cè)前視拍攝方向是否處于水平,當(dāng)未處于水平時(shí),通過(guò)伺服平臺(tái)調(diào)整自身位置,使前視拍攝方向?yàn)樗健7轿徽{(diào)整模塊2010具體可以是陀螺儀,其固定在設(shè)備中,用于檢測(cè)設(shè)備是否處于水平。
照度檢測(cè)模塊2020,用于檢測(cè)當(dāng)前照度值,判斷檢測(cè)結(jié)果是否符合超低照度處理?xiàng)l件;
在本發(fā)明實(shí)施例中,照度檢測(cè)模塊2020,具體用于檢測(cè)當(dāng)前照度值,對(duì)得到的檢測(cè)結(jié)果進(jìn)行判斷,如果該檢測(cè)結(jié)果符合超低照度處理?xiàng)l件,則觸發(fā)星光采集模塊2030;否則觸發(fā)紅外采集模塊2050。其中,超低照度處理?xiàng)l件可以為大于0.0001lux。
星光采集模塊2030,用于當(dāng)檢測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),則通過(guò)超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像并進(jìn)行拼接和融合處理,或者拼接和融合處理功能可由其他單獨(dú)模塊完成;
在本發(fā)明實(shí)施例中,星光采集模塊2030用于采集若干幅前視圖像和若干幅俯視圖像;其中,前視圖像為在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像,俯視圖像為在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。
可選擇地,星光采集模塊2030或其他單獨(dú)模塊還可將焦距相同的前視圖像劃分為一組,將每組焦距相同的前視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第一拼接前視圖像。對(duì)不同焦距的第一拼接前視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為超低照度前視圖像。
將焦距相同的俯視圖像劃分為一組,將每組焦距相同的俯視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第一拼接俯視圖像。對(duì)不同焦距的第一拼接俯視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為超低照度俯視圖像。
在提供的技術(shù)方案中,可以針對(duì)不同的飛行狀態(tài)采集不同的圖像,以此來(lái)輔助安全飛行??梢栽跈z測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),觸發(fā)狀態(tài)監(jiān)測(cè)模塊,用于檢測(cè)飛行狀態(tài),如果處于起飛狀態(tài),則通過(guò)超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像;如果處于降落狀態(tài),則通過(guò)超低照度攝像頭采集當(dāng)前位置的超低照度俯視圖像;如果處于飛行狀態(tài),則通過(guò)超低照度攝像頭采集當(dāng)前位置的超低照度前視圖像和超低照度俯視圖像。
星光障礙檢測(cè)模塊2040,用于分別對(duì)經(jīng)過(guò)拼接融合后的超低照度前視圖像和超低照度俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到超低照度前視圖像和/或超低照度俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息;
在實(shí)施例中,星光障礙檢測(cè)模塊2040可以通過(guò)判斷超低照度前視圖像和/或超低照度俯視圖像中是否存在圖像特征點(diǎn)來(lái)判斷是否存在障礙,當(dāng)確定存在圖像特征點(diǎn)時(shí),提取圖像特征點(diǎn),根據(jù)圖像特征點(diǎn)繪制障礙圖像,并在對(duì)應(yīng)的超低照度前視圖像和超低照度俯視圖像中標(biāo)記障礙圖像;當(dāng)確定不存在圖像特征點(diǎn)時(shí),確定不存在障礙。
星光障礙檢測(cè)模塊2040,還用于通過(guò)衛(wèi)星定位障礙的位置信息,根據(jù)障礙的位置信息,以及標(biāo)記有障礙圖像的超低照度前視圖像和超低照度俯視圖像,生成告警信息,發(fā)送告警信息。
紅外采集模塊2050,用于當(dāng)檢測(cè)結(jié)果不符合超低照度處理?xiàng)l件時(shí),則通過(guò)紅外熱成像攝像頭采集當(dāng)前位置的紅外級(jí)前視圖像和紅外級(jí)俯視圖像并進(jìn)行拼接和融合處理,或者拼接和融合處理功能可由其他單獨(dú)模塊完成;
在本發(fā)明實(shí)施例中,紅外采集模塊2050用于使用紅外熱成像攝像頭采集若干幅前視圖像和若干幅俯視圖像,其中,前視圖像為在前視方向上覆蓋第一預(yù)設(shè)角度范圍的圖像,俯視圖像為在俯視方向上覆蓋第二預(yù)設(shè)角度范圍的圖像。
可選擇地,紅外采集模塊2050或其他單獨(dú)模塊還可將焦距相同的前視圖像劃分為一組,將每組焦距相同的前視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第二拼接前視圖像。對(duì)不同焦距的第二拼接前視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為紅外級(jí)前視圖像。
同理,還可將焦距相同的俯視圖像劃分為一組,將每組焦距相同的俯視圖像拼接成一幅圖像,得到該焦距對(duì)應(yīng)的第二拼接俯視圖像。對(duì)不同焦距的第二拼接俯視圖像進(jìn)行圖像融合,最終融合成一幅圖像,作為紅外級(jí)俯視圖像。
在本發(fā)明實(shí)施例中,可以針對(duì)不同的飛行狀態(tài)采集不同的圖像,以此來(lái)輔助安全飛行。本裝置可以包括狀態(tài)檢測(cè)模塊,用于在檢測(cè)結(jié)果不符合超低照度處理?xiàng)l件時(shí),檢測(cè)飛行狀態(tài),如果處于起飛狀態(tài),則通過(guò)紅外級(jí)攝像頭采集當(dāng)前位置的紅外級(jí)前視圖像;如果處于降落狀態(tài),則通過(guò)紅外級(jí)攝像頭采集當(dāng)前位置的紅外級(jí)俯視圖像;當(dāng)處于飛行狀態(tài)時(shí),則通過(guò)紅外級(jí)攝像頭采集當(dāng)前位置的紅外級(jí)前視圖像和紅外級(jí)俯視圖像。
紅外障礙檢測(cè)模塊2060,用于分別對(duì)拼接融合后的紅外級(jí)前視圖像和紅外級(jí)俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到紅外級(jí)前視圖像和/或紅外級(jí)俯視圖像中存在障礙時(shí),生成并發(fā)送告警信息。
在實(shí)施例中,紅外障礙檢測(cè)模塊2060用于通過(guò)判斷紅外級(jí)前視圖像和/或紅外級(jí)俯視圖像中是否存在圖像特征點(diǎn)來(lái)判斷是否存在障礙,當(dāng)確定存在圖像特征點(diǎn)時(shí),提取圖像特征點(diǎn),根據(jù)圖像特征點(diǎn)繪制障礙圖像,并在對(duì)應(yīng)的紅外級(jí)前視圖像和紅外級(jí)俯視圖像中標(biāo)記障礙圖像;當(dāng)確定不存在圖像特征點(diǎn)時(shí),確定不存在障礙。
還用于通過(guò)衛(wèi)星定位障礙的位置信息,根據(jù)障礙的位置信息,以及標(biāo)記有障礙圖像的紅外級(jí)前視圖像和紅外級(jí)俯視圖像,生成告警信息,發(fā)送告警信息。需要說(shuō)明的是,在本發(fā)明實(shí)施例中,還可以包括觸屏模塊,用于顯示該告警信息,并且當(dāng)檢測(cè)到觸屏事件時(shí),放大障礙圖像。本發(fā)明實(shí)施例中提到的超低照度攝像頭具體為低照度超低照度攝像頭。
該部分技術(shù)方案取得的技術(shù)效果為:設(shè)備通過(guò)調(diào)整自身方位,使前視拍攝方向?yàn)樗?,檢測(cè)當(dāng)前照度值,根據(jù)得到的檢測(cè)結(jié)果選擇使用超低照度攝像頭或紅外熱成像攝像頭分別采集當(dāng)前位置的前視圖像和俯視圖像,分別對(duì)前視圖像和俯視圖像進(jìn)行障礙檢測(cè),當(dāng)檢測(cè)到障礙時(shí),生成并發(fā)送告警信息。采用紅外熱成像攝像頭和超低照度攝像頭配合使用的方法,能夠在光線條件極差、甚至0lux的條件下,使用紅外熱成像攝像頭采集黑白圖像,檢測(cè)障礙,能夠有效預(yù)警障礙。進(jìn)一步的,在光線條件符合超低照度條件的時(shí)候,使用超低照度攝像頭采集彩色圖像,獲取的圖像更清晰、逼真,更加有利于警示障礙,從而提高飛行安全性。
四、基于數(shù)據(jù)同步的避免碰撞障礙的方法及應(yīng)用該方法的飛行器
如圖9所示,本發(fā)明還提供了一種基于數(shù)據(jù)同步的避免碰撞障礙的方法,包括:
步驟401:飛行器獲取當(dāng)前的位置信息,根據(jù)位置信息組織獲取環(huán)境信息請(qǐng)求,并將獲取環(huán)境信息請(qǐng)求發(fā)送至數(shù)據(jù)中心;
在實(shí)施例中,飛行器通過(guò)衛(wèi)星定位系統(tǒng)獲取經(jīng)度、緯度以及海拔高度,將經(jīng)度、緯度以及海拔高度作為當(dāng)前位置信息,具體可以向gps或北斗衛(wèi)星定位系統(tǒng)發(fā)送定位請(qǐng)求,接收返回的經(jīng)度、緯度以及海拔高度。
步驟402:當(dāng)接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時(shí),從環(huán)境信息響應(yīng)中獲取障礙信息,將其作為歷史障礙信息,從環(huán)境信息響應(yīng)中獲取飛行參數(shù),將其作為歷史飛行參數(shù);
數(shù)據(jù)中心存儲(chǔ)有與位置信息對(duì)應(yīng)的環(huán)境信息響應(yīng),環(huán)境響應(yīng)中包含障礙的位置信息、尺寸信息、移動(dòng)屬性信息、以及繞過(guò)該障礙時(shí)的飛行參數(shù)。在本方案中,飛行器可以從接收到的環(huán)境信息響應(yīng)中,獲取障礙的位置信息、尺寸信息、移動(dòng)屬性信息,將障礙的位置信息、尺寸信息和移動(dòng)屬性信息作為歷史障礙信息,從該環(huán)境響應(yīng)中獲取飛行參數(shù)、將其作為歷史飛行參數(shù)。
步驟403:根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像,從環(huán)境圖像中獲取當(dāng)前障礙信息,根據(jù)當(dāng)前障礙信息、歷史障礙信息以及歷史飛行參數(shù),在環(huán)境圖像上標(biāo)記該障礙,顯示已標(biāo)記障礙的環(huán)境圖像;
對(duì)于飛行器來(lái)說(shuō),存在四種飛行狀態(tài),即起飛、飛行、降落以及靜止,針對(duì)不同的飛行狀態(tài)采集不同的環(huán)境圖像輔助飛行。飛行器采集圖像的方法可以為:獲取自身的飛行狀態(tài),如果是起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài),則采集前視圖像、俯視圖像(參見(jiàn)前述內(nèi)容一和內(nèi)容二部分),將采集到的圖像作為環(huán)境圖像。當(dāng)然為了全方位的進(jìn)行障礙檢測(cè),還可以采集仰視圖像、左視圖像、右視圖像以及后視圖像,從而能夠全方位的觀測(cè)到周?chē)沫h(huán)境,避免其他方向上運(yùn)動(dòng)的障礙妨礙飛行安全。
如前所述,為了提高采集到的圖像的清晰度以及節(jié)約成本,在采集環(huán)境圖像時(shí),可以檢測(cè)當(dāng)前照度值,根據(jù)得到的檢測(cè)結(jié)果選擇對(duì)應(yīng)的攝像模式采集環(huán)境圖像,當(dāng)檢測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),則通過(guò)超低照度攝像頭采集環(huán)境圖像;當(dāng)檢測(cè)結(jié)果不符合超低照度處理?xiàng)l件時(shí),則通過(guò)紅外熱成像攝像頭采集環(huán)境圖像。其中,超低照度處理?xiàng)l件可以為大于0.0001lux的照度值。
在獲取到環(huán)境信息后可以從環(huán)境圖像中獲取當(dāng)前障礙信息,對(duì)于在同一方向上采集到的環(huán)境圖像,將相同焦距的環(huán)境圖像進(jìn)行圖像拼接,拼接成一幅圖像。將該方向上不同焦距的拼接后的圖像進(jìn)行圖像融合,得到融合后的圖像,從融合后的圖像上提取特征點(diǎn),當(dāng)提取到特征點(diǎn)時(shí),根據(jù)特征點(diǎn)繪制障礙(該過(guò)程與前述內(nèi)容三部分相同或相似),并標(biāo)記障礙,通過(guò)衛(wèi)星定位系統(tǒng)獲取障礙的位置信息,根據(jù)障礙的位置信息以及標(biāo)記障礙的圖像,計(jì)算障礙的尺寸信息、移動(dòng)屬性信息,將障礙的位置信息、尺寸信息、移動(dòng)屬性信息作為當(dāng)前障礙信息。然后,判斷當(dāng)前障礙信息與歷史障礙信息是否相同,是則在環(huán)境圖像上標(biāo)記障礙,并且提示歷史飛行參數(shù);否則根據(jù)當(dāng)前障礙信息在環(huán)境圖像上標(biāo)記障礙。
在發(fā)明的該方面,還可以在標(biāo)記障礙的圖像上繪制障礙的移動(dòng)軌跡,可以每隔預(yù)設(shè)時(shí)間定位一次障礙,在每次定位障礙時(shí),獲取障礙所處的海拔、俯仰角、方位角,以及獲取連續(xù)兩次定位障礙時(shí)障礙的位移;
根據(jù)障礙所處的海拔、俯仰角、方位角以及障礙的位移,計(jì)算障礙移動(dòng)的軌跡信息,以及障礙的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度;
根據(jù)障礙移動(dòng)的軌跡信息和障礙的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度,模擬障礙在三維空間中將要移動(dòng)的軌跡;
繪制障礙移動(dòng)的軌跡信息以及在三維空間中將要移動(dòng)的軌跡。
步驟404:當(dāng)避開(kāi)障礙時(shí),獲取避開(kāi)障礙過(guò)程中的飛行參數(shù),將其作為當(dāng)前飛行參數(shù),將當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。
在發(fā)明的該方面,數(shù)據(jù)中心接收到當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息時(shí),獲取與當(dāng)前位置信息對(duì)應(yīng)的飛行參數(shù)以及障礙信息,用當(dāng)前飛行參數(shù)替換原來(lái)的飛行參數(shù),用當(dāng)前障礙信息替換原來(lái)的障礙信息。
需要說(shuō)明的是,本發(fā)明實(shí)施例中,飛行器未接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時(shí),可以根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像,從環(huán)境圖像中獲取當(dāng)前障礙信息,根據(jù)當(dāng)前障礙信息在環(huán)境圖像上標(biāo)記該障礙,顯示已標(biāo)記障礙的環(huán)境圖像,當(dāng)避開(kāi)障礙時(shí),獲取避開(kāi)障礙過(guò)程中的飛行參數(shù),將其作為當(dāng)前飛行參數(shù),將當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。在本發(fā)明實(shí)施例中,可以將用來(lái)環(huán)境圖像的攝像機(jī)呈放射狀排布,以此增寬視場(chǎng)角,使采集到的圖像視場(chǎng)角更寬。
另一方面,在本發(fā)明提供的技術(shù)方案中,為達(dá)到本發(fā)明相同的目的,還可以將步驟401至步驟403替換為步驟a1至步驟a3。
步驟a1:飛行器根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像,從環(huán)境圖像中獲取當(dāng)前障礙信息,將環(huán)境圖像和/或當(dāng)前障礙信息發(fā)送給數(shù)據(jù)中心;
本步驟中的具體實(shí)施方式與上述步驟403中記載的方式相同,此處不再贅述。
步驟a2:當(dāng)接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時(shí),從環(huán)境信息響應(yīng)中獲取障礙信息,將其作為歷史障礙信息,從環(huán)境信息響應(yīng)中獲取飛行參數(shù),將其作為歷史飛行參數(shù);
本步驟中從環(huán)境信息響應(yīng)中獲取障礙信息以及從環(huán)境信息響應(yīng)中獲取飛行參數(shù)的具體實(shí)施方式與上述步驟402中記載的方式相同,此處不再贅述。
步驟a3:根據(jù)當(dāng)前障礙信息、歷史障礙信息以及歷史飛行參數(shù),在環(huán)境圖像上標(biāo)記該障礙,顯示已標(biāo)記障礙的環(huán)境圖像,執(zhí)行步驟404。
本步驟中的標(biāo)記障礙以及顯示已標(biāo)記障礙的環(huán)境圖像的具體實(shí)施方式與步驟403中記載的方式相同,此處不再贅述。
與上述方法相對(duì)應(yīng)的,如圖10所示,本發(fā)明還提供一種基于數(shù)據(jù)同步的避免碰撞障礙的飛行器,包括:
信息請(qǐng)求模塊4010,用于獲取當(dāng)前的位置信息,根據(jù)位置信息組織獲取環(huán)境信息請(qǐng)求,并將獲取環(huán)境信息請(qǐng)求發(fā)送至數(shù)據(jù)中心;
在該飛行器中,信息請(qǐng)求模塊4010用于通過(guò)衛(wèi)星定位系統(tǒng)獲取經(jīng)度、緯度以及海拔高度,將經(jīng)度、緯度以及海拔高度作為當(dāng)前位置信息??梢韵騡ps或北斗衛(wèi)星定位系統(tǒng)發(fā)送定位請(qǐng)求,接收返回的經(jīng)度、緯度以及海拔高度。根據(jù)位置信息組織獲取環(huán)境信息請(qǐng)求,并將其發(fā)送給數(shù)據(jù)中心。
信息接收模塊4020,用于當(dāng)接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時(shí),從環(huán)境信息響應(yīng)中獲取障礙信息,將其作為歷史障礙信息,從環(huán)境信息響應(yīng)中獲取飛行參數(shù),將其作為歷史飛行參數(shù);
在本飛行器中,信息接收模塊4020,從接收到的環(huán)境信息響應(yīng)中,獲取障礙的位置信息、尺寸信息、移動(dòng)屬性信息,將障礙的位置信息、尺寸信息和移動(dòng)屬性信息作為歷史障礙信息,從該環(huán)境響應(yīng)中獲取飛行參數(shù)、將其作為歷史飛行參數(shù)。
障礙檢測(cè)模塊4030用于根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像,從環(huán)境圖像中獲取當(dāng)前障礙信息,根據(jù)當(dāng)前障礙信息、歷史障礙信息以及歷史飛行參數(shù),在環(huán)境圖像上標(biāo)記該障礙,顯示已標(biāo)記障礙的環(huán)境圖像;
數(shù)據(jù)同步模塊4040,用于當(dāng)避開(kāi)障礙時(shí),獲取避開(kāi)障礙過(guò)程中的飛行參數(shù),將其作為當(dāng)前飛行參數(shù),將當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心。
在此處,如圖11所示,障礙檢測(cè)模塊4030,可包括:
狀態(tài)檢測(cè)單元2031,用于獲取自身的飛行狀態(tài);
環(huán)境圖像采集單元2032,用于在起飛狀態(tài)或降落狀態(tài)或飛行狀態(tài)時(shí),采集前視圖像和俯視圖像,將其作為環(huán)境圖像;
障礙檢測(cè)單元2033,用于在獲取到環(huán)境信息后可以從環(huán)境圖像中獲取當(dāng)前障礙信息,對(duì)于在同一方向上采集到的環(huán)境圖像,將相同焦距的環(huán)境圖像進(jìn)行圖像拼接,拼接成一幅圖像。將該方向上不同焦距的拼接后的圖像進(jìn)行圖像融合,得到融合后的圖像,從融合后的圖像上提取特征點(diǎn),當(dāng)提取到特征點(diǎn)時(shí),根據(jù)特征點(diǎn)繪制障礙,并標(biāo)記障礙,通過(guò)衛(wèi)星定位系統(tǒng)獲取障礙的位置信息,根據(jù)障礙的位置信息以及標(biāo)記障礙的圖像,計(jì)算障礙的尺寸信息、移動(dòng)屬性信息,將障礙的位置信息、尺寸信息、移動(dòng)屬性信息作為當(dāng)前障礙信息;此處的圖像采集、拼接和融合參見(jiàn)前述內(nèi)容一、二和三部分,與之相同或相似,在此不再贅述。
標(biāo)記障礙單元2034,用于判斷當(dāng)前障礙信息與歷史障礙信息是否相同,是則在環(huán)境圖像上標(biāo)記障礙,并且提示歷史飛行參數(shù);否則根據(jù)當(dāng)前障礙信息在環(huán)境圖像上標(biāo)記障礙。
另外,障礙檢測(cè)模塊4030還可以在標(biāo)記障礙的圖像上繪制障礙的移動(dòng)軌跡,其包括:障礙定位單元,用于可以每隔預(yù)設(shè)時(shí)間定位一次障礙,在每次定位障礙時(shí),獲取障礙所處的海拔、俯仰角、方位角,以及獲取連續(xù)兩次定位障礙時(shí)障礙的位移;計(jì)算單元,用于根據(jù)障礙所處的海拔、俯仰角、方位角以及障礙的位移,計(jì)算障礙移動(dòng)的軌跡信息,以及障礙的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度;模擬軌跡單元,用于根據(jù)障礙移動(dòng)的軌跡信息和障礙的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度,模擬障礙在三維空間中將要移動(dòng)的軌跡;繪制軌跡單元,用于繪制障礙移動(dòng)的軌跡信息以及在三維空間中將要移動(dòng)的軌跡。
本裝置中,障礙檢測(cè)模塊4030還可以包括:模式檢測(cè)單元,用于在采集環(huán)境圖像時(shí),檢測(cè)當(dāng)前照度值,根據(jù)得到的檢測(cè)結(jié)果選擇對(duì)應(yīng)的攝像模式采集環(huán)境圖像,當(dāng)檢測(cè)結(jié)果符合超低照度處理?xiàng)l件時(shí),則通過(guò)超低照度攝像頭采集環(huán)境圖像;其中,超低照度處理?xiàng)l件可以為大于0.0001lux的照度值。當(dāng)檢測(cè)結(jié)果不符合超低照度處理?xiàng)l件時(shí),則通過(guò)紅外熱成像攝像頭采集環(huán)境圖像。
在本發(fā)明技術(shù)方案中,數(shù)據(jù)中心接收到當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息時(shí),獲取與當(dāng)前位置信息對(duì)應(yīng)的飛行參數(shù)以及障礙信息,用當(dāng)前飛行參數(shù)替換原來(lái)的飛行參數(shù),用當(dāng)前障礙信息替換原來(lái)的障礙信息。
該部分內(nèi)容技術(shù)方案取得的有益效果為:飛行器根據(jù)自身所處位置信息組織獲取環(huán)境信息請(qǐng)求,并將其發(fā)送至數(shù)據(jù)中心;當(dāng)接收到數(shù)據(jù)中心返回的環(huán)境信息響應(yīng)時(shí),從環(huán)境信息響應(yīng)中獲取歷史障礙信息,以及歷史飛行參數(shù),根據(jù)自身的飛行狀態(tài)采集環(huán)境圖像,從環(huán)境圖像中獲取當(dāng)前障礙信息,根據(jù)當(dāng)前障礙信息、歷史障礙信息以及歷史飛行參數(shù),在環(huán)境圖像上標(biāo)記該障礙,顯示已標(biāo)記障礙的環(huán)境圖像,以此輔助飛行器飛行,另外在避開(kāi)障礙,獲取避開(kāi)障礙過(guò)程中的飛行參數(shù),將其作為當(dāng)前飛行參數(shù),將當(dāng)前位置信息、當(dāng)前飛行參數(shù)以及當(dāng)前障礙信息發(fā)送至數(shù)據(jù)中心進(jìn)行備份,以便在后續(xù)飛行時(shí)參考。進(jìn)一步的,本發(fā)明提供的技術(shù)方案中,還將紅外攝像頭和超低照度攝像頭配合使用,采集環(huán)境圖像,以此保證獲取到的圖像清晰,并且不受照度、霧、霾、雨、雪等因素的影響。
需要說(shuō)明的是,本發(fā)明四部分的各個(gè)實(shí)施例均采用遞進(jìn)或部分重復(fù)的方式描述,每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處,各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于系統(tǒng)實(shí)施例,由于其與方法實(shí)施例基本相似,所以描述的比較簡(jiǎn)單,相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。
還需要說(shuō)明的是,在本發(fā)明中,諸如第一和第二等之類(lèi)的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開(kāi)來(lái),而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒(méi)有明確列出的其他要素,或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下,由語(yǔ)句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。
本文所公開(kāi)的實(shí)施例,用于使本領(lǐng)域技術(shù)人員實(shí)現(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改或變型對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的。本文所描述的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下,在其它實(shí)施例中實(shí)現(xiàn)。因此,本發(fā)明將不會(huì)被限制于本文所描述的實(shí)施例,而是要符合與本文所公開(kāi)的原理和新穎性特點(diǎn)相一致的最寬的范圍。