本發(fā)明屬于農(nóng)業(yè)技術(shù)領(lǐng)域,具體而言,涉及一種植保無(wú)人機(jī)定高技術(shù)。
背景技術(shù):
近年來(lái),農(nóng)用植保無(wú)人機(jī)被廣泛應(yīng)用,對(duì)于水田、丘陵、山地等這些地面施藥機(jī)械以及固定翼有人駕駛飛機(jī)無(wú)法施展的地區(qū),植保無(wú)人機(jī)有著獨(dú)特的優(yōu)勢(shì)。無(wú)人機(jī)在作業(yè)過(guò)程中需要始終與農(nóng)作物保持1~2米的相對(duì)高度,以保證農(nóng)藥的均勻和高效噴灑。但在實(shí)際作業(yè)過(guò)程中,經(jīng)常會(huì)遇到農(nóng)田起伏不平整的情況,天氣、光照等因素也對(duì)植保無(wú)人機(jī)定高影響很大,因此,一個(gè)合理的定高方案就顯得尤為重要。
目前的定高方案主要有g(shù)ps、氣壓計(jì)、超聲波以及激光測(cè)距等。gps獲取的是相對(duì)海拔高度,誤差大且刷新慢;氣壓計(jì)獲取的是絕對(duì)高度,不是飛機(jī)到農(nóng)作物間的距離,且氣壓、風(fēng)等外界因素導(dǎo)致測(cè)高不準(zhǔn);超聲波測(cè)高容易穿透植被,且受溫度、壓力影響較大,抗干擾能力稍差;激光測(cè)距方式精度高、抗干擾能力強(qiáng),但是設(shè)備價(jià)格昂貴,不適合廣泛使用。
這些傳統(tǒng)定高方案有較大的局限性,帶來(lái)的后果是植保無(wú)人機(jī)在作業(yè)過(guò)程中漏噴、重噴,影響噴灑效果,甚至因掉高導(dǎo)致炸機(jī)事故。因此提出一個(gè)合理的、適用性廣的植保無(wú)人機(jī)的定高方案十分必要。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題,本發(fā)明公開(kāi)了一種植保無(wú)人機(jī)定高技術(shù),該技術(shù)是基于立體視覺(jué)技術(shù),其中立體視覺(jué)技術(shù)能夠重構(gòu)成像區(qū)域的深度信息,從而為基于視覺(jué)的無(wú)人機(jī)定高提供了理論基礎(chǔ)和途徑,本發(fā)明在無(wú)人機(jī)上安裝單目相機(jī),從數(shù)據(jù)精度和計(jì)算實(shí)時(shí)性?xún)蓚€(gè)方面綜合考慮,選擇準(zhǔn)稠密匹配進(jìn)行三維重建,從而確保植保無(wú)人機(jī)的準(zhǔn)確定高。
本發(fā)明是這樣實(shí)現(xiàn)的,一種植保無(wú)人機(jī)定高技術(shù),其特征在于,具體步驟如下:
步驟1,利用無(wú)人機(jī)掛載的攝像機(jī)向前側(cè)拍攝地面景物,并等時(shí)間間隔保存圖片序列;這樣做的目的是考慮到采集、傳輸圖像以及計(jì)算均需消耗時(shí)間,為了保證定高數(shù)據(jù)的及時(shí)更新,故采用攝像機(jī)前視的策略;
步驟2,對(duì)拍攝的當(dāng)前圖片幀進(jìn)行特征點(diǎn)提??;
步驟3,從保存的圖片序列中逆向提取n幀圖片,使用sad算法對(duì)提取的特征點(diǎn)進(jìn)行特征點(diǎn)匹配;
步驟4,若n=2,使用交叉定位;根據(jù)匹配的同名點(diǎn)對(duì)集合、飛機(jī)的位置、姿態(tài)以及攝像機(jī)的角度,計(jì)算各個(gè)同名點(diǎn)的三維坐標(biāo);
步驟5,若n>2,使用基于加權(quán)最小二乘估計(jì)的多站定位,計(jì)算各個(gè)同名點(diǎn)的三維坐標(biāo)。
進(jìn)一步,所述的步驟2的具體步驟如下:
2.1,采用silc圖像分割算法,對(duì)第k幀圖像進(jìn)行超像素分割,并計(jì)算每個(gè)區(qū)域塊的質(zhì)心坐標(biāo),獲取點(diǎn)集合i1;
2.2,利用harris角點(diǎn)檢測(cè)提取第k幀圖像的角點(diǎn)坐標(biāo),獲取點(diǎn)集i2,并融合i1和i2,得到待配特征點(diǎn)集ip。
進(jìn)一步,所述的步驟3的具體步驟如下:
3.1,特征點(diǎn)周邊選取一個(gè)n×n區(qū)域作為模板;
3.2,然后在第k-1幀圖像中找到該模板的匹配,其中搜索區(qū)域限定在(nsearch×nsearch)特征點(diǎn)周?chē)鷧^(qū)域;匹配的相似性度量是用下式表示:
sad(dx,dy)=∑|template(x,y)-imagek(x+dx,y+dy)|
式中,x,y為特征點(diǎn)的坐標(biāo),dx,dy為相對(duì)x,y的坐標(biāo)偏移;
3.3,改變搜索窗中心點(diǎn)位置,以最大限度的減少相似性度量,當(dāng)相似性度量最小時(shí),該點(diǎn)即為匹配點(diǎn);
進(jìn)一步,所述的步驟4的具體步驟為交叉定位,具體如下:
設(shè)空中c1和c2兩個(gè)點(diǎn)對(duì)地面目標(biāo)攝影,地面目標(biāo)點(diǎn)p在左右相片上的像點(diǎn)為p1和p2;顯然,同名射線c1p1和c2p2相交于地面目標(biāo)點(diǎn)p;
根據(jù)中心透視投影成像關(guān)系,可以推導(dǎo)出c1和c2的成像共線方程分別為:
其中,(xi,yi),i=1,2為p點(diǎn)實(shí)際成像點(diǎn)坐標(biāo);(fx,fy)為等效焦距;(cx,cy)為像主點(diǎn)坐標(biāo);
根據(jù)攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的相對(duì)位姿關(guān)系,可得:
其中,(x,y,z)為目標(biāo)點(diǎn)在世界坐標(biāo)系中的坐標(biāo),r0~r8為世界坐標(biāo)系與攝像機(jī)坐標(biāo)系姿態(tài)一致而需要的旋轉(zhuǎn)矩陣分量;tx,ty,tz代表將世界坐標(biāo)系原點(diǎn)移到攝像機(jī)坐標(biāo)系原點(diǎn)的平移量;
以第一個(gè)測(cè)量點(diǎn)的地理坐標(biāo)系作為世界坐標(biāo)系,則第一次測(cè)量點(diǎn)tx=ty=tz=0,第二個(gè)測(cè)量點(diǎn)的tx,ty,tz的值通過(guò)衛(wèi)星定位接收機(jī)兩次定位差值計(jì)算出;
通過(guò)慣性測(cè)量單元和攝像云臺(tái),獲取飛機(jī)偏航角φ、俯仰角γ、橫滾角θ以及攝像機(jī)的方位角α和高低角β,可得:
聯(lián)立以方程,可解出點(diǎn)p的坐標(biāo)(x,y,z)。
進(jìn)一步,所述的步驟5具體如下:
無(wú)人機(jī)在預(yù)定航跡的飛行過(guò)程中,對(duì)目標(biāo)點(diǎn)進(jìn)行n(n>2)次攝像,獲取n張圖像;
則根據(jù)共線方程,有
z=h(s)
其中:z=[x1y1...xnyn]t,s=[x,y,z]t
將上式在初值處進(jìn)行一階泰勒展開(kāi),可得:
z=h(s0)+b·(s-s0)+δn
其中:
令
u=z-h(s0)
v=s-s0
因此,
u=bv+δn
根據(jù)最小二乘估計(jì),可得
無(wú)人機(jī)在各個(gè)測(cè)量點(diǎn),飛機(jī)的姿態(tài)都不同,這種情況下,即使使用的是同一個(gè)攝像機(jī),但是由于攝像機(jī)外參數(shù)不同,導(dǎo)致各測(cè)量點(diǎn)定位精度不同,對(duì)誤差的貢獻(xiàn)也不一樣。因此,引入加權(quán)最小二乘估計(jì);令r-1為加權(quán)矩陣,且
則
因此,
s0可以根據(jù)交叉定位原理求得。由于初始值的位置誤差較大,加上線性化帶來(lái)的誤差,使得初次求得的
加權(quán)矩陣的估計(jì)較為困難,通常選擇對(duì)角線矩陣或更簡(jiǎn)單的單位矩陣,盡管選擇的權(quán)矩陣有誤差,但對(duì)未知參數(shù)的加權(quán)最小二乘估計(jì)依然是無(wú)偏估計(jì)。本發(fā)明采用了一種方便、科學(xué)的方法來(lái)獲取權(quán)矩陣,在實(shí)用中取得良好的效果。其核心思想為:對(duì)于引起誤差較大的測(cè)量點(diǎn),給予較小的權(quán)值,誤差較小的測(cè)量點(diǎn),給予較大的權(quán)值,從而可加大較好的測(cè)量點(diǎn)的“貢獻(xiàn)”,改善最小二乘估計(jì)的精度。在定位過(guò)程中,測(cè)量點(diǎn)距離目標(biāo)點(diǎn)越遠(yuǎn),定位精度越差,而測(cè)量點(diǎn)與目標(biāo)點(diǎn)的距離由測(cè)量點(diǎn)的高程和測(cè)量點(diǎn)攝像機(jī)光軸指向角共同決定,符合基本的三角關(guān)系。由此可得,
其中,σ為權(quán)矩陣中的元素,ε為攝像機(jī)光軸指向角,h為測(cè)量點(diǎn)高程。
本發(fā)明相對(duì)于現(xiàn)有技術(shù)的有益效果在于:本發(fā)明能夠精確、實(shí)時(shí)的獲取無(wú)人機(jī)與農(nóng)作物間的深度信息,相比較與現(xiàn)有的植保無(wú)人機(jī)受溫度、壓力影響較大,本發(fā)明的植保無(wú)人機(jī)技術(shù)具有較好的抗干擾能力,且設(shè)備簡(jiǎn)單,價(jià)格低廉;只需要在普通植保無(wú)人機(jī)上掛載一個(gè)攝像設(shè)備即可實(shí)現(xiàn)無(wú)人機(jī)定高,便于部署,具有較大的應(yīng)用前景。
附圖說(shuō)明
圖1為本發(fā)明一種植保無(wú)人機(jī)定高技術(shù)的基于單目序列圖像的定高技術(shù)邏輯框圖;
圖2為本發(fā)明一種植保無(wú)人機(jī)定高技術(shù)的sad搜索策略示意圖;
圖3為本發(fā)明一種植保無(wú)人機(jī)定高技術(shù)的交叉定位示意圖。
具體實(shí)施方式
本發(fā)明提供一種植保無(wú)人機(jī)定高技術(shù),為使本發(fā)明的目的、技術(shù)方案及效果更加清楚,明確,以及參照附圖并舉實(shí)例對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)指出此處所描述的具體實(shí)施僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
步驟1,利用無(wú)人機(jī)掛載的攝像機(jī)向前側(cè)拍攝圖片序列;
首先攝像機(jī)內(nèi)參數(shù)標(biāo)定:攝像機(jī)標(biāo)定實(shí)質(zhì)上是確定攝像機(jī)內(nèi)外參數(shù)的一個(gè)過(guò)程,其中內(nèi)部參數(shù)的標(biāo)定是指確定攝像機(jī)固有的、與位置參數(shù)無(wú)關(guān)的內(nèi)部幾何與光學(xué)參數(shù),包括圖像中心坐標(biāo)、焦距、比例因子和鏡頭畸變等。本發(fā)明中的植保無(wú)人機(jī)裝備衛(wèi)星接收機(jī)、慣性測(cè)量單元(imu)、攝像機(jī)、圖像傳輸設(shè)備等。在無(wú)人機(jī)進(jìn)行植保工作時(shí),無(wú)人機(jī)掛載的攝像機(jī)向前側(cè)拍攝圖片序列,這樣做的目的是考慮到采集、傳輸圖像以及計(jì)算均需消耗時(shí)間,為了保證定高數(shù)據(jù)的及時(shí)更新,故采用攝像機(jī)前視的策略。
張正友提出的攝像機(jī)的方法方便易操作,精度適中,在攝像機(jī)內(nèi)部參數(shù)標(biāo)定中被廣泛采用(zhangz.aflexiblenewtechniqueforcameracalibration[j].ieeetransactionsonpatternanalysis&machineintelligence,2000,22(11):1330-1334.)。在該方法中,要求攝像機(jī)在兩個(gè)以上不同方位拍攝一個(gè)平面靶標(biāo),攝像機(jī)和2d靶標(biāo)都可以自由地移動(dòng),不需要知道運(yùn)動(dòng)參數(shù)。在標(biāo)定過(guò)程中,假定攝像機(jī)內(nèi)部參數(shù)始終不變,即不論攝像機(jī)從任何角度拍攝靶標(biāo),攝像機(jī)內(nèi)部參數(shù)都為常數(shù),只有外部參數(shù)發(fā)生變化。
本發(fā)明實(shí)施例利用張正友方法標(biāo)定攝像機(jī)內(nèi)參數(shù),攝像機(jī)拍攝不同方位的15幅圖像,為了提高標(biāo)定精度,減小隨機(jī)誤差的大小,獲取的圖像在視場(chǎng)各個(gè)范圍內(nèi)均有分布,同時(shí)在拍攝距離上有一定的大小的縱深,靶標(biāo)的放置角度等也要有充分變化。
步驟2,對(duì)拍攝的當(dāng)前圖片幀進(jìn)行特征點(diǎn)提?。?/p>
2.1,如圖1所示,采用silc圖像分割算法,對(duì)第k幀圖像進(jìn)行超像素分割,并計(jì)算每個(gè)區(qū)域塊的質(zhì)心坐標(biāo),獲取點(diǎn)集合i1;
2.2,利用harris角點(diǎn)檢測(cè)提取第k幀圖像的角點(diǎn)坐標(biāo),獲取點(diǎn)集i2,并融合i1和i2,得到待配特征點(diǎn)集ip;
步驟3,特征點(diǎn)匹配:使用sad算法,在第k-1幀圖像中,檢測(cè)點(diǎn)集ip中每個(gè)點(diǎn)對(duì)應(yīng)的匹配點(diǎn),得到點(diǎn)集合ic,具體如下:
如圖2所示,在特征點(diǎn)周邊選取一個(gè)n×n區(qū)域作為模板。然后試圖在第k-1幀圖像中找到該模板的匹配。為了減少搜索空間,這場(chǎng)搜索區(qū)域限定在(nsearch×nsearch)特征點(diǎn)周?chē)鷧^(qū)域,匹配的相似性度量是用下式表示。
sad(dx,dy)=∑|template(x,y)-imagek(x+dx,y+dy)|
式中,x,y為特征點(diǎn)的坐標(biāo),dx,dy為相對(duì)x,y的坐標(biāo)偏移;
改變搜索窗中心點(diǎn)位置,以最大限度的減少相似性度量,當(dāng)相似性度量最小時(shí),該點(diǎn)即為匹配點(diǎn)。
步驟4,若n=2,使用交叉定位;根據(jù)匹配的同名點(diǎn)對(duì)集合、飛機(jī)的位置、姿態(tài)以及攝像機(jī)的角度,計(jì)算各個(gè)同名點(diǎn)的三維坐標(biāo);
如圖3所示,設(shè)空中c1和c2兩個(gè)點(diǎn)對(duì)地面目標(biāo)攝影,獲得一個(gè)立體相對(duì),地面目標(biāo)點(diǎn)p在左右相片上的像點(diǎn)為p1和p2。顯然,同名射線c1p1和c2p2相交于地面目標(biāo)點(diǎn)p。
根據(jù)中心透視投影成像關(guān)系,可以推導(dǎo)出c1和c2的成像共線方程分別為:
其中,(xi,yi),i=1,2為p點(diǎn)實(shí)際成像點(diǎn)坐標(biāo);(fx,fy)為等效焦距;(cx,cy)為像主點(diǎn)坐標(biāo);
根據(jù)攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的相對(duì)位姿關(guān)系,可得:
其中,(x,y,z)為目標(biāo)點(diǎn)在世界坐標(biāo)系中的坐標(biāo),r0~r8為世界坐標(biāo)系與攝像機(jī)坐標(biāo)系姿態(tài)一致而需要的旋轉(zhuǎn)矩陣分量;tx,ty,tz代表將世界坐標(biāo)系原點(diǎn)移到攝像機(jī)坐標(biāo)系原點(diǎn)的平移量。
以第一個(gè)測(cè)量點(diǎn)的地理坐標(biāo)系作為世界坐標(biāo)系,則第一次測(cè)量點(diǎn)tx=ty=tz=0,第二個(gè)測(cè)量點(diǎn)的tx,ty,tz的值可以通過(guò)衛(wèi)星定位接收機(jī)兩次定位差值計(jì)算出。通過(guò)慣性測(cè)量單元和攝像云臺(tái),獲取飛機(jī)偏航角φ、俯仰角γ、橫滾角θ以及攝像機(jī)的方位角α和高低角β,可得:
聯(lián)立以方程,可解出點(diǎn)p的坐標(biāo)(x,y,z)。
步驟5,若n>2,使用基于加權(quán)最小二乘估計(jì)的多站定位,計(jì)算各個(gè)同名點(diǎn)的三維坐標(biāo)
上述定位方法,計(jì)算結(jié)果對(duì)各種噪聲很敏感,采用對(duì)同名目標(biāo)點(diǎn)的多次測(cè)量,利用基于加權(quán)最小二乘估計(jì)的多站定位模型,通過(guò)最優(yōu)求解算法,提高定位算法的精度以及魯棒性。
無(wú)人機(jī)在預(yù)定航跡的飛行過(guò)程中,對(duì)目標(biāo)點(diǎn)進(jìn)行n(n>2)次攝像,獲取n張圖像。
則根據(jù)共線方程,有
z=h(s)
其中:z=[x1y1...xnyn]t,s=[x,y,z]t
將上式在初值處進(jìn)行一階泰勒展開(kāi),可得
z=h(s0)+b·(s-s0)+δn
其中:
令
u=z-h(s0)
v=s-s0
因此,
u=bv+δn
根據(jù)最小二乘估計(jì),可得
無(wú)人機(jī)在各個(gè)測(cè)量點(diǎn),飛機(jī)的姿態(tài)都不同,這種情況下,即使使用的是同一個(gè)攝像機(jī),但是由于攝像機(jī)外參數(shù)不同,導(dǎo)致各測(cè)量點(diǎn)定位精度不同,對(duì)誤差的貢獻(xiàn)也不一樣。因此,引入加權(quán)最小二乘估計(jì)。
令r-1為加權(quán)矩陣,且
則
因此,
s0可以根據(jù)交叉定位原理求得。由于初始值的位置誤差較大,加上線性化帶來(lái)的誤差,使得初次求得的
加權(quán)矩陣的估計(jì)較為困難,通常選擇對(duì)角線矩陣或更簡(jiǎn)單的單位矩陣,盡管選擇的權(quán)矩陣有誤差,但對(duì)未知參數(shù)的加權(quán)最小二乘估計(jì)依然是無(wú)偏估計(jì)。本發(fā)明采用了一種方便、科學(xué)的方法來(lái)獲取權(quán)矩陣,在實(shí)用中取得良好的效果。其核心思想為:對(duì)于引起誤差較大的測(cè)量點(diǎn),給予較小的權(quán)值,誤差較小的測(cè)量點(diǎn),給予較大的權(quán)值,從而可加大較好的測(cè)量點(diǎn)的“貢獻(xiàn)”,改善最小二乘估計(jì)的精度。在定位過(guò)程中,測(cè)量點(diǎn)距離目標(biāo)點(diǎn)越遠(yuǎn),定位精度越差,而測(cè)量點(diǎn)與目標(biāo)點(diǎn)的距離由測(cè)量點(diǎn)的高程和測(cè)量點(diǎn)攝像機(jī)光軸指向角共同決定,符合基本的三角關(guān)系。由此可得,
其中,σ為權(quán)矩陣中的元素,ε為攝像機(jī)光軸指向角,h為測(cè)量點(diǎn)高程。