種可應(yīng)用于例如來自上述Miyauchi的文章的已知類型 的旋翼無人機(jī)的系統(tǒng)，即包括：
[0035] -相機(jī)，包括指向相對(duì)于無人機(jī)主體而言固定方向的魚眼類型的半球形視野的鏡 頭，以及獲取由鏡頭形成的圖像并傳遞原始像素?cái)?shù)據(jù)的數(shù)字傳感器；
[0036] _圖像處理裝置，接收原始像素?cái)?shù)據(jù)作為輸入并將經(jīng)矯正以補(bǔ)償由魚眼鏡頭引起 的幾何失真的像素?cái)?shù)據(jù)作為輸出；
[0037] _用于將經(jīng)矯正的像素?cái)?shù)據(jù)作為輸出進(jìn)行傳遞以傳送給顯示器或視頻記錄設(shè)備 的裝置；
[0038] -慣性單元，適用于測(cè)量表征無人機(jī)相對(duì)于絕對(duì)地球參考系的姿態(tài)的歐拉角；以 及
[0039] _伺服控制裝置，接收由所述慣性單元所傳遞的至少一個(gè)歐拉角作為輸入，并適 用于根據(jù)由慣性單元所檢測(cè)到的無人機(jī)的姿態(tài)的變化為傳遞裝置作為輸出來傳遞的像素 數(shù)據(jù)創(chuàng)建窗口。
[0040] 本發(fā)明的特征：
[0041] -數(shù)字傳感器是逐行傳遞所述原始像素?cái)?shù)據(jù)的掃描傳感器；
[0042] -無人機(jī)還包括提取裝置，接收在傳感器范圍上定義減少尺寸的捕捉區(qū)域的位 置的選擇信號(hào)作為輸入，并傳遞對(duì)應(yīng)于經(jīng)減少尺寸的捕捉區(qū)域的所述原始像素?cái)?shù)據(jù)作為輸 出；
[0043] _伺服控制裝置是適用于在相對(duì)于由慣性單元所檢測(cè)的并與由所述至少一個(gè)歐 拉角的對(duì)應(yīng)變化所表征的無人機(jī)的姿態(tài)的變化的方向相反的方向上動(dòng)態(tài)修改所述選擇信 號(hào)的裝置；以及
[0044] _所述圖像處理裝置接收由提取裝置所傳遞的原始像素?cái)?shù)據(jù)作為輸入。
[0045] 根據(jù)各種有利的附帶特性：
[0046] _伺服控制裝置適用于修改所述選擇信號(hào)以便由所述提取裝置所傳遞的像素?cái)?shù) 據(jù)對(duì)應(yīng)于以地平線或以相對(duì)于地平線固定的取向?yàn)橹行牡膱D像；
[0047]-相機(jī)被安裝在無人機(jī)中，以便以與無人機(jī)的俯仰角相平行地來取向所述數(shù)字傳 感器的幀掃描方向；
[0048]-所述至少一個(gè)歐拉角是無人機(jī)的俯仰角，并且伺服控制裝置被適用于修改選擇 信號(hào)以便在平行于所述傳感器的主軸的第一方向上平移所述捕捉區(qū)域；
[0049] -所述至少一個(gè)歐拉角是無人機(jī)的偏航角，并且控制裝置被適用于修改選擇信號(hào) 以便在垂直于所述第一方向的第二方向上平移所述捕捉區(qū)域；
[0050] -所述數(shù)字傳感器是逐行傳遞像素?cái)?shù)據(jù)的掃描傳感器，并且所述圖像處理裝置被 適用于向所述傳感器的每個(gè)行應(yīng)用附加校正以一行接下一行地補(bǔ)償由所述無人機(jī)的繞偏 航、俯仰和/或滾動(dòng)軸的旋轉(zhuǎn)所引起的像素的相對(duì)位移；
[0051] -當(dāng)相機(jī)是逐行傳遞視頻數(shù)據(jù)的卷簾快門類型的相機(jī)時(shí)，為了操作該附加校正， 相機(jī)和慣性單元的陀螺儀傳感器由公共時(shí)鐘來駕馭，并且陀螺儀傳感器的獲取速率是所述 相機(jī)的視頻數(shù)據(jù)傳遞速率的倍數(shù)；
[0052] _在該后一種情形中，非常有利地是，提供了一種物理電路，該電路適用于將由陀 螺儀傳感器傳遞的信號(hào)與由相機(jī)傳遞的信號(hào)進(jìn)行比較以確定在這些各自的信號(hào)之間的相 移值；并將該相移值應(yīng)用于圖像處理裝置以便以同步方式觸發(fā)被應(yīng)用于傳感器的每個(gè)行的 所述附加校正來從一個(gè)行到下一行地補(bǔ)償像素的相對(duì)位移。
【附圖說明】
[0053] 現(xiàn)在將參考附圖描述本發(fā)明的無人機(jī)的實(shí)施例，在所有附圖中，相同的附圖標(biāo)記 指示相同或功能上相似的元素。
[0054] 圖1是示出無人機(jī)以及相關(guān)聯(lián)的允許其遠(yuǎn)程駕駛的遙控設(shè)備的概覽示圖。
[0055] 圖2a和2b示出例如在加速階段期間由無人機(jī)的前傾所引起的相機(jī)視線方向的修 改。
[0056] 圖3是用于伺服控制和駕駛無人機(jī)以及用于根據(jù)本發(fā)明的技術(shù)校正圖像的位移 的不同的元件的框圖。
[0057] 圖4是在所述無人機(jī)相機(jī)的傳感器上形成的圖像的示例。
[0058] 圖5示出根據(jù)應(yīng)用于圖4的圖像的本發(fā)明來創(chuàng)建窗口和校正對(duì)應(yīng)于所述處理的失 真的連續(xù)步驟。
[0059] 圖6示出用無人機(jī)相機(jī)捕捉的場(chǎng)景的圖像的另一個(gè)示例。
[0060] 圖7示出了在創(chuàng)建窗口和校正失真之后，可能從圖6的整個(gè)圖像中提取的各種視 圖。
[0061] 圖8示出在滾動(dòng)運(yùn)動(dòng)的情況下施加于圖7所示的中央圖像的變形。
[0062] 圖9示出了如何最優(yōu)地定位傳感器以有效地補(bǔ)償無人機(jī)繞其俯仰軸的姿態(tài)的變 化。
[0063] 圖10類似于圖9,是繞偏航軸的旋轉(zhuǎn)。
[0064] 圖11、12和13示出可以在棋盤格的圖像中觀察到的抖動(dòng)和搖晃類型的變形，并且 根據(jù)本發(fā)明的示教可以在失真的校正期間來補(bǔ)償所述變形。
[0065] 圖14(作為框圖）示出對(duì)在視頻相機(jī)和陀螺儀之間的同步機(jī)制做出貢獻(xiàn)的不同的 元件。
[0066] 圖15a和15b是示出分別針對(duì)兩個(gè)不同的無人機(jī)或針對(duì)在兩個(gè)不同的時(shí)刻的同一 無人機(jī)處的在由相機(jī)和陀螺儀所傳遞的信號(hào)之間的時(shí)間關(guān)系的時(shí)序圖。
【具體實(shí)施方式】
[0067] 現(xiàn)在將描述示例性實(shí)施例。
[0068] 在圖1中，附圖標(biāo)記10通常表示無人機(jī)，所述無人機(jī)是例如四旋翼直升機(jī)，諸如法 國(guó)巴黎的鸚鵡股份有限公司的AR.無人機(jī)2.0,在上述WO 2010/061099 A2和EP 2 364 757 Al中特別描述過。
[0069] 無人機(jī)10包括四個(gè)共面旋翼12,這些旋翼的馬達(dá)由集成的導(dǎo)航與姿態(tài)控制系統(tǒng) 獨(dú)立地駕駛。為其配置有第一正視圖相機(jī)14,以允許獲得該無人機(jī)所指向的場(chǎng)景的圖像。
[0070] 該無人機(jī)還包括指向下的第二俯視相機(jī)（未示出），其適配成捕捉所飛過的地面 的連續(xù)圖像并且尤其用于估算無人機(jī)相對(duì)于地面的速度。慣性傳感器（加速度計(jì)和陀螺 儀）允許以一定精度測(cè)量所述無人機(jī)的角速度和姿態(tài)角，即描述無人機(jī)相對(duì)于固定的地球 參考系的水平面的傾斜的歐拉角（俯仰，，翻滾9和偏航(6)，應(yīng)該理解所述水平速度的兩 個(gè)縱向和橫向的分量是與繞兩個(gè)相應(yīng)的俯仰和滾動(dòng)軸的傾斜密切相關(guān)的。安排在無人機(jī)下 的超聲波測(cè)距儀提供了對(duì)相對(duì)于地面的姿態(tài)的測(cè)量。
[0071] 用遙控設(shè)備16來駕駛無人機(jī)10,遙控設(shè)備16設(shè)有觸摸屏18,該觸摸屏18顯示由 前置相機(jī)14機(jī)載拍攝的圖像并疊加有一定數(shù)目的符號(hào)，這些符號(hào)允許通過用戶的手指20 在觸摸屏18上的簡(jiǎn)單接觸來激活駕駛命令。設(shè)備16設(shè)有用于與無人機(jī)進(jìn)行無線電鏈接的 裝置，例如Wi-Fi (IEEE 802. 11)局域網(wǎng)類型，以供進(jìn)行從無人機(jī)10到設(shè)備16的具體而言 用于傳輸由相機(jī)14捕捉的圖像的以及從設(shè)備16到無人機(jī)10的用于發(fā)送駕駛命令的雙向 數(shù)據(jù)交換。
[0072] 遙控設(shè)備16還設(shè)置有傾斜傳感器，其能通過將繞滾動(dòng)軸和俯仰軸的相應(yīng)傾斜 告知設(shè)備而控制無人機(jī)的姿態(tài)（對(duì)于該系統(tǒng)的這些方面的進(jìn)一步細(xì)節(jié)，可參考上述WO 2010/061099 A2)。對(duì)無人機(jī)10的駕駛包括使得其通過下述方式開展：
[0073] a)繞俯仰軸22旋轉(zhuǎn)以使得其向前或向后移動(dòng)；
[0074] b)繞滾動(dòng)軸24旋轉(zhuǎn)以使得其向右或向左移位；
[0075] c)繞偏航軸26旋轉(zhuǎn)以使得無人機(jī)的主軸向右或向左轉(zhuǎn)動(dòng)并因此也是前置相機(jī)14 的指向方向；以及
[0076] d) d)通過改變氣體控制來向下28或向上30平移，從而相應(yīng)地減少或增加無人機(jī) 的高度。
[0077] 當(dāng)用戶從遙控設(shè)備16施加這些駕駛命令時(shí)，由設(shè)備16繞其縱向軸32和橫向軸34 傾斜來分別獲得繞俯仰軸22和滾動(dòng)軸24轉(zhuǎn)動(dòng)的命令a)和b):例如，為了使得無人機(jī)向前 移動(dòng)，只需要通過繞軸32傾斜遙控設(shè)備16來向前傾斜它，為了使得其向右側(cè)移動(dòng)，只需要 通過繞軸34將遙控設(shè)備16向右傾斜來傾斜它，等等。命令c)和d)是通過用戶的手指20 在觸摸屏18的相應(yīng)特定區(qū)域上的接觸而施加的動(dòng)作的結(jié)果。
[0078] 無人機(jī)還具有自動(dòng)和自主的懸浮飛行穩(wěn)定系統(tǒng)，一旦用戶將其手指移離該設(shè)備的 觸摸屏，該系統(tǒng)就被激活，或在起飛階段結(jié)束時(shí)自動(dòng)激活，或還可在該設(shè)備和無人機(jī)之間的 無線電鏈接中斷的情況下被激活。無人機(jī)隨后切換到升程，其中無人機(jī)將被自動(dòng)地固定和 穩(wěn)定在該固定位置而無需用戶的任何干預(yù)。
[0079] 圖2A示意地在側(cè)面上示出當(dāng)在升程中無人機(jī)為不動(dòng)時(shí)的姿態(tài)。
[0080] 傳統(tǒng)類型的（例如覆蓋54°視野的相機(jī)）以及其視軸S在地平線中心的前置相 機(jī)14所覆蓋的視野以36被圖不出。
[0081] 如果，如在圖2b中所示，無人機(jī)以非零的水平速度向前移動(dòng)，按照設(shè)計(jì)，該無人機(jī) 的軸26將相對(duì)于垂直V前傾角度f (俯仰角）。由箭頭38圖示出的這種前傾涉及相機(jī)相 對(duì)于水平面HZ的軸S的由箭頭40所圖示的相同值的傾斜。因此，可以理解在無人機(jī)的發(fā) 展中，當(dāng)無人機(jī)加速或減速…時(shí)，所述軸S繞水平HZ方向持久地?cái)[動(dòng)，這將導(dǎo)致所捕捉的 圖像的持久的向上和向下的擺動(dòng)移動(dòng)。
[0082] 比較而言，如果無人機(jī)向右側(cè)或左側(cè)移動(dòng)，該移動(dòng)將通過繞滾動(dòng)軸24轉(zhuǎn)動(dòng)而完 成，這將導(dǎo)致在相機(jī)所捕捉的場(chǎng)景上圖像在一個(gè)方向上或其它方向上的旋轉(zhuǎn)。
[0083] 為了補(bǔ)償該缺陷，本發(fā)明提議為該相機(jī)提供覆蓋了約180°視野的"魚眼"類型的 半球形視野鏡頭（在圖2a中以42圖示出）來取代使用具有傳統(tǒng)鏡頭的相機(jī)。
[0084] 由配備有該魚眼鏡頭的相機(jī)所捕捉的圖像將必然如傳統(tǒng)相機(jī)那樣經(jīng)歷相同的擺 動(dòng)和旋轉(zhuǎn)移動(dòng)，但是，本發(fā)明的特征在于，僅該相機(jī)所捕捉的視野的一部分將被用于選擇特 定的窗口（稱為"捕捉窗口"），該窗口對(duì)應(yīng)于由傳統(tǒng)相機(jī)所捕捉的角區(qū)間3