專利名稱：估算無人機，尤其是能夠在自動駕駛下執(zhí)行懸停飛行的無人機的水平速度的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及駕駛無人機，尤其是諸如直升機、四旋翼直升機之類的旋翼無人機。
背景技術(shù)：
此類無人機的典型示例是法國巴黎的鸚鵡股份有限公司(Parrot SA)生產(chǎn)的 AR. Drone，其是裝配有一系列傳感器(三軸加速計和陀螺儀，高度計)的四旋翼直升機。無人機還設(shè)置有前置攝像機，其朝無人機前進的方向拍攝場景圖片，并且還設(shè)置有垂直定向的攝像機，拍攝無人機所飛過地形的圖片。無人機可由用戶通過由無線電連接到無人機的遠程遙控設(shè)備進行駕駛。無人機還設(shè)置有用于穩(wěn)定懸停飛行的自動系統(tǒng)，該自動系統(tǒng)尤其用于使無人機能以自動方式達到平衡點，并且一旦達到所述平衡點，其用于提供保持該固定點所需的修整校正，即通過校正由于例如空氣流動的外部影響和傳感器的漂移引起的小的平移運動而提供修整校正。高度計是位于無人機下的超聲測距儀，其提供垂直速度的測量，從而可伺服控制推力以穩(wěn)定無人機的高度。此外，慣性傳感器(加速計和陀螺儀)用于以一定的準(zhǔn)確性測量無人機的角速度和姿態(tài)角，從而可用于沿與地心引力相反的方向動態(tài)伺服控制無人機的推力方向。為了進行懸停飛行，仍然存在消除無人機線性速度的問題。可惜的是，所采用低成本的加速計通常噪聲過大，以致當(dāng)來它們的信號被二次整合時無法給出令人滿意的無人機速度估算。W02009/109711A2 (鸚鵡股份有限公司，Parrot)提出了通過分析前視相機拍攝的連續(xù)圖片并識別圖片中各個特征點的運動來從前視相機的圖片中估算無人機的水平速度。然而，該技術(shù)的不足在于缺乏準(zhǔn)確性，尤其是在最低速度情況下(當(dāng)無人機以低速朝前移動時，所拍攝圖片的連續(xù)圖片之間的變化非常小)。它還非常依賴于相機拍攝的場景中感興趣特征點的存在或不存在當(dāng)圖片均一時，例如，當(dāng)在戶外時，示出墻壁或天空， 特征點的準(zhǔn)缺失(quasi-absence)使該技術(shù)失效。本發(fā)明依賴于垂直定向的相機而非前視相機所傳送的圖片以估算無人機的水平速度。然而，識別由該相機拍攝的圖片中的各個點的移動仍然是一項困難的任務(wù)，該任務(wù)強烈地同時依賴于i)場景的特性(或多或少的對比度，朝或大或小范圍的改變)；ii)速度；和iii)限制計算復(fù)雜度的約束。特別地，如果要求在懸停時執(zhí)行自動穩(wěn)定伺服控制，適合的做法是進行同步準(zhǔn)確的，靈敏的(由于平衡點附近的線性速度可能非常低)，并實時可用的速度測量，從而可有效地，反應(yīng)地執(zhí)行伺服控制。然而，應(yīng)注意到本發(fā)明并不限于為了穩(wěn)定無人機的懸停飛行而估算速度，它可更普遍地應(yīng)用于無人機的所有飛行配置中，即使移動值接近無人機的最大速度(大約5米每秒(m/s))。
存在各種能從攝像機拍攝的場景中估算移動速度的算法。算法的第一種類型是所謂的“光流算法”，以下文獻特別對其進行了詳細描述[1]LUCAS B. D.和KANADE T.，“迭代圖像配準(zhǔn)技術(shù)在立體視覺中的應(yīng)用”(An Iterative Image Registration Technique with an Application to Stereo Vision), PR0C. DARPA Image Understanding Workshop，第 121-130 頁，1981 ；和[2]HORN B. K. P.禾Π SCHUNK Β·，“確定光流”(Determining Optical Flow), Artificial Intelligence, (17)第 185-204 頁，1981。還可以參考以下文獻[3]M0NDRAG0N I.et al.，“基于對無人機控制的平面物體追蹤的三維姿態(tài)估計，，(3D Pose Estimation Based on Planar Object Tracking for UAVs Control), proc. IEEE conf.On Robotics and Automation，第 35-41 頁，2010，5 月 3-8，其中描述了用于無人機著陸時的駕駛的，采用不同分辨率估算光流的多分辨率技術(shù)。光流方法具有對場景約束少的優(yōu)勢(對比少，內(nèi)容少)。此外，通過采用“多分辨率”方法，能夠估算高速度和低速度兩者。相反，該方法對旋轉(zhuǎn)和姿態(tài)的變化很敏感，它不可能內(nèi)在地驗證給出結(jié)果的質(zhì)量，即，此算法始終假設(shè)有足夠點提供了大的梯度并藉此給出一結(jié)果，但即使該結(jié)果是無意義，其仍被給出?？偠灾?，光流法是一種“全地形”法，能夠在非常寬范的速度范圍內(nèi)操作，但它給出的結(jié)果并不總是可靠的，也不非常準(zhǔn)確，特別是在低速時。另一種類型的算法包括所謂“角點探測器”或“感興趣點探測器”算法，此算法的基礎(chǔ)在以下文獻中示例給出[4]ROSTEN E.和DRUMM0ND T. “用于高性能跟蹤的融合點和線”(Fusing Points and Lines for High Performance Tracking)， IEEE International Conference on Computer Vision，第 1508-1511 頁，2005 年，和 [5] ROSTEN Ε.和DRUMM0ND Τ. “用于高速角點探測的機器學(xué)習(xí)” (Machine Learning for High-Speed Corner Detection)， European Conference on Computer Vision，第 430-443 頁，2006 年。角點探測器算法準(zhǔn)確，魯棒性強，它考慮了旋轉(zhuǎn)，并能夠探測異常的估算結(jié)果并排除它們。此外，無論速度如何，其絕對精度不變(與光流法不同)，這使它可得到很好的結(jié)果，尤其是在低速時，當(dāng)希望使用它的結(jié)果用于懸停飛行的穩(wěn)定和伺服控制時，其優(yōu)點尤其明顯。作為對比，該方法在對比和紋理方面對場景施加了更大的約束，這意味它并不適用于所有可能遇到的情況。最后，在所有環(huán)境下，采用計算結(jié)果用于伺服控制無人機的特定自動駕駛控制要求數(shù)據(jù)實際上實時可用，且在任何情況下足夠快以保證無人機可以以所有預(yù)期的反應(yīng)度進行自動駕駛。該約束限制了執(zhí)行傳統(tǒng)算法的可能性，傳統(tǒng)算法通常設(shè)計成在具有快速處理器和大內(nèi)存容量的計算機上執(zhí)行
發(fā)明內(nèi)容
本發(fā)明的一個目標(biāo)是提供綜合上述兩種技術(shù)，即光流法和角點探測法的優(yōu)點的新方法，該方法尤其在檢測速度以用于伺服控制懸停飛行的無人機的情況下使用，但并不限于此。本發(fā)明的另一個目標(biāo)是能夠從這些優(yōu)點中受益，即使在對比度很低而噪音高的場景，或者在圖像中所識別的形狀能夠以不可預(yù)知的方式發(fā)生外觀改變的場景，例如當(dāng)無人機飛過非常易變和不可預(yù)知的地形時發(fā)生的情況。本發(fā)明的另一個目標(biāo)是提出一種測量水平速度的方法，其適于實現(xiàn)，從而可通過組裝在無人機中的，因此計算能力方面的性能有限的機載計算機來給出實時速度測量結(jié)^ ο為此，本發(fā)明提供估算無人機的水平平移速度的方法，所述無人機尤其是具有適合測量無人機相對無人機飛過地形高度的高度計，和適合拍攝地形場景的連續(xù)數(shù)字圖像的垂直定向俯視攝像頭的無人機。該方法通過估算攝像機拍攝的連續(xù)圖像間的場景的移動，并通過將比例因子應(yīng)用到所估算的移動來操作，其中比例因子是測量高度的函數(shù)。以一種本身已知的方式，移動的估算包括定期和連續(xù)地更新圖像類型金字塔的多分辨率表示，該多分辨率表示以不同的連續(xù)降低的分辨率建模場景的給定被拍攝圖像； 對每個新拍攝圖像，應(yīng)用光流型迭代算法到所述多分辨率表示來估算連續(xù)圖像間的場景的差異移動。以本發(fā)明的特征方式，該方法進一步包括從光流算法生成的數(shù)據(jù)中獲取表示拍攝場景中微對比等級的至少一個紋理參數(shù)；得到無人機水平平移速度的近似值；將第一組預(yù)定標(biāo)準(zhǔn)應(yīng)用于所述紋理參數(shù)和所述速度近似值；如果滿足所述第一組預(yù)定標(biāo)準(zhǔn)，從光流算法轉(zhuǎn)到角點探測器型算法以估算連續(xù)圖像間的場景的差異移動。紋理參數(shù)是從圖像梯度分量的矩陣中導(dǎo)出的參數(shù)
權(quán)利要求
1.一種估算無人機，尤其是能夠在自動駕駛下懸停飛行的旋翼無人機的水平平移速度的方法，所述無人機包括 高度計，適于測量無人機相對于其飛過地形的高度； 垂直定向的俯視攝像頭，適合拍攝所述地形的場景的連續(xù)數(shù)字圖像； 該方法包括估算攝像機拍攝的連續(xù)圖像間的場景的移動，并將作為測得高度函數(shù)的比例因子應(yīng)用到所估算的移動， 移動的估算包括 定期和連續(xù)更新圖像類型金字塔的多分辨率表示，該多分辨率表示以不同的連續(xù)降低的分辨率建模場景的給定被拍攝圖像；和 對每個新拍攝圖像，應(yīng)用光流型迭代算法到所述多分辨率表示以估算連續(xù)圖像間的場景的差異移動。該方法進一步包括 從光流算法生成的數(shù)據(jù)中獲取拍攝場景中微對比等級的至少一個紋理參數(shù)表示，該紋理參數(shù)表示并從圖像的梯度分量的矩陣中導(dǎo)出H1Jy 1Eετ^ιχ ] ΕE 」其中Ix和Iy是圖像的梯度分量，E是一點集，其中梯度對該點集的范數(shù)大于預(yù)定第一有用閾值； 獲取無人機水平平移速度的近似值； 將第一組預(yù)定標(biāo)準(zhǔn)應(yīng)用于所述紋理參數(shù)和所述速度近似值；和 如果滿足所述第一組預(yù)定標(biāo)準(zhǔn)，從光流算法轉(zhuǎn)到角點探測器型算法以估算連續(xù)圖像間的場景的差異移動。
2.根據(jù)權(quán)利要求1的方法，其中所述至少一個紋理參數(shù)是所述圖像梯度分量的矩陣的軌跡的值。
3.根據(jù)權(quán)利要求1的方法，其中所述至少一個紋理參數(shù)是梯度對其的范數(shù)大于第一預(yù)定有用閾值的所述點集E的基數(shù)。
4.根據(jù)權(quán)利要求1的方法，其中所述至少一個紋理參數(shù)是所述圖像梯度分量的矩陣的軌跡的值，并且至少一個所述紋理參數(shù)是梯度對其的范數(shù)大于第一預(yù)定有用閾值的所述點集E的基數(shù)，并且其中用于決定是否從光流算法轉(zhuǎn)到角點探測器算法的第一組預(yù)定標(biāo)準(zhǔn)可累計地包括以下條件 所述軌跡的值大于第二給定閾值； 所述基數(shù)大于第三給定閾值；和 速度估算小于第四給定閾值。
5.根據(jù)權(quán)利要求1的方法，其中，當(dāng)所選算法是角點探測器算法并且速度近似值小于第五閾值時，該方法進一步包括通過為至少一些所選跟蹤器修改跟蹤器的搜索參數(shù)和圖像中搜索區(qū)在限定方向上的尺度來調(diào)整角點探測器算法。
6.根據(jù)權(quán)利要求1的方法，進一步包括，當(dāng)所選算法是角點探測器算法并且速度近似值小于第五閾值時，激活伺服控制無人機在原位的自動駕駛模式。
7.根據(jù)權(quán)利要求1的方法，還包括，在轉(zhuǎn)到角點探測器算法后 從角點探測器算法生成的數(shù)據(jù)中得到，表示通過角點探測器算法估算連續(xù)圖像間的場景的差異移動的失敗風(fēng)險的至少一個參數(shù)； 獲取無人機的水平平移速度的近似值； 應(yīng)用第二組預(yù)定標(biāo)準(zhǔn)到所述失敗風(fēng)險參數(shù)和所述速度近似值； 若滿足所述第二組預(yù)定標(biāo)準(zhǔn)，轉(zhuǎn)回到光流算法以估算連續(xù)圖像間的場景的差異移動。
8.根據(jù)權(quán)利要求7的方法，其中所述失敗風(fēng)險參數(shù)可包括由角點探測器算法采用的鎖定跟蹤器的數(shù)目。
9.根據(jù)權(quán)利要求8的方法，其中用于決定是否轉(zhuǎn)回到光流算法的所述第二組預(yù)定標(biāo)準(zhǔn)可包括以下任一條件 鎖定跟蹤器的數(shù)目小于第六給定閾值；或 速度估算大于第七給定閾值。
10.根據(jù)權(quán)利要求1的方法，進一步包括計算從光流算法或角點探測器算法的第一算法轉(zhuǎn)到另一個算法開始已被拍攝的連續(xù)圖像的數(shù)目，并且以自轉(zhuǎn)到其他算法開始計數(shù)了某最小數(shù)目的圖像為條件而轉(zhuǎn)回到第一算法。
全文摘要
本發(fā)明涉及估算無人機，尤其是能夠在自動駕駛下執(zhí)行懸停飛行的無人機的水平速度的方法。本發(fā)明的方法通過估算垂直定向的相機拍攝的場景的差異移動來操作。估算包括定期和連續(xù)地更新圖像類型金字塔的多分辨率表示，該多分辨率表示以不同的連續(xù)降低的分辨率建模場景的給定被拍攝圖像。對每個新拍攝圖像，應(yīng)用光流型迭代算法到所述表示。該方法進一步提供響應(yīng)由光流算法生產(chǎn)的數(shù)據(jù)以獲取拍攝場景中微對比等級的至少一個紋理參數(shù)表示，并獲取速度的近似值，隨后對此參數(shù)應(yīng)用一組預(yù)定標(biāo)準(zhǔn)參數(shù)。如果滿足所述一組預(yù)定標(biāo)準(zhǔn)，則該系統(tǒng)從光流算法轉(zhuǎn)到角點探測器型算法。
文檔編號A63H27/133GK102298070SQ20111022926
公開日2011年12月28日 申請日期2011年6月17日 優(yōu)先權(quán)日2010年6月22日
發(fā)明者T·德爾巴納 申請人:鸚鵡股份有限公司