/s旋轉(zhuǎn)且以30ips視頻捕捉的情況下，在圖像的頂部和底部之間，無 人機將轉(zhuǎn)動100x1/30 = 3, 33°，這對應(yīng)于在圖像中的幾個像素的位移（大約為在圖12的 示例的圖像的頂部和底部之間的棋盤格的平方）。這些贗象在移動圖像中特別麻煩，伴隨有 直線的持久和可變的失真。
[0115] 為了彌補這種現(xiàn)象，在圖像的每個行^處在重新投影和矯正捕捉區(qū)域ZC的步驟 期間改動獲得有用區(qū)域ZU的處理是可能的，這種逐行校正允許消除由無人機的快速旋轉(zhuǎn) 所引入的贗象。
[0116] 圖13示出了另一種類型的被稱為"抖動效應(yīng)"的贗象，主要是由馬達的振動引起： 與搖晃效應(yīng)不同的是，抖動效應(yīng)是源自由馬達的振動所引起的高頻率且低幅度的擺動，而 搖晃效應(yīng)是在無人機移動時該無人機的旋轉(zhuǎn)所引起的低頻率且高幅度的效應(yīng)。抖動效應(yīng)主 要是通過相機支架的合適的機械阻尼來校正，從而允許過濾掉馬達的振動。這種機械過濾 的殘留可以以與搖晃效應(yīng)相同的方式（使用陀螺儀測量并逐行施加校正）來消除。
[0117] 允許逐行完美補償上述的搖晃和抖動效應(yīng)的該機制將在結(jié)合圖14和15進行描 述。
[0118] 這些贗象是由于相機是卷簾快門類型（且不是全局快門類型）的事實而產(chǎn)生的， 也就是說構(gòu)成圖像的行對于圖像的所有像素來說不是在同一時間同時被獲取的，而是一行 接另一個行的。
[0119] 在圖像捕捉期間發(fā)生的無人機的移動或振動在該圖像的變形中將以與一行接著 下一行不同的方式生成。
[0120] 搖晃和抖動效應(yīng)的逐行校正（校正"圖像內(nèi)"）涉及具有用于針對這些行的每個行 獲取無人機的精確姿態(tài)的手段：以精確地校正每個行，理想地是要求每行一次姿態(tài)測量，而 且所述測量與相機的傳感器同步。
[0121] 然而，無人機所使用的陀螺儀不允許以對應(yīng)于視頻傳感器的每行的持續(xù)時間的速 率來計算無人機的準確的姿態(tài)。而是可能以上至IkHz的速率執(zhí)行陀螺儀數(shù)據(jù)的獲取，這允 許對每個圖像具有幾次測量并允許在每次獲取視頻傳感器的一行的時刻內(nèi)插無人機的姿 O
[0122] 圖14(作為框圖）示出對在視頻相機和陀螺儀的同步做出貢獻的不同的元件。特 征在于，陀螺儀102和水平視頻相機14由公共時鐘電路160來駕馭，并且陀螺儀和相機的 各自的工作速率是該時鐘的速率CLK的幾分之一。
[0123] 換句話說，陀螺儀102和相機14被配置以便：
[0124] Fgyro= K-Fcalll
[0125]Fgyra是陀螺儀的獲取速率（典型為F gyro= 990Hz)，
[0126] Feani是視頻相機的圖像獲取速率（典型為F _= 30Hz)，而
[0127] K是正整數(shù)（典型為K = 33)。
[0128] K是整數(shù)且對于陀螺儀和相機來說基礎(chǔ)時鐘是相同的事實確保了在每個圖像 將總是有陀螺儀信號S gyro的K個采樣，而沒有漂移，角度測量總是落入相同時間。
[0129] 然而，雖然該機制確保了陀螺儀傳感器所傳遞的信號Sgyro和相機14所傳遞的信號 S rani是同步的，它不能給出關(guān)于這兩個信號是相和諧的保證。
[0130] 實際上，視頻獲取和陀螺儀獲取是由軟件觸發(fā)的，并且因此，這兩個獲取在同一時 間開始、將這兩個開始分隔開的時間間隔對于一個無人機到另一個無人機或者甚至從同一 無人機的一個駕駛序列到另一個駕駛序列是固定的都不是必然的。
[0131] 這些信號^和Sgyra已經(jīng)在圖15中以兩種不同的情形（a)和（b)示出：對于視頻 信號S rani，在每次向前下降時新的行圖像可用，并且對于陀螺儀信號Sgyro，向前下降也對應(yīng) 于新的角度數(shù)據(jù)的可用。
[0132] 基于這些時序圖，觀察到陀螺儀信號Sgyro不會相對于視頻信號S_"滑動"，這意味 著當新的圖像可用時，在陀螺儀傳遞新數(shù)據(jù)之前總是存在相同的時間間隔。另一方面，該時 間間隔隨一個無人機到另一無人機以及一個駕駛序列到另一個駕駛序列而變化，因為陀螺 儀傳感器不是以與視頻相機的相同時間被啟動的。
[0133] 為了保證完美的同步化，本發(fā)明特征在于提議使用物理組件（硬件）170,它以極 高的精度測量在陀螺儀和視頻信號S gyro和Srani之間的時間間隔A。將注意到單次測量是足 夠的，因為已經(jīng)設(shè)置該時鐘以便它們沒有漂移。
[0134] 剛剛已經(jīng)描述的這兩種機制（公共時鐘160和相移測量硬件電路170)允許以非 常高的精度在一個時鐘周期內(nèi)及時地將陀螺儀和視頻信號相連。
[0135] 以幾個兆赫工作的系統(tǒng)時鐘160,這表示在視頻和陀螺儀信號之間的鉗位上的少 量毫微秒的誤差，它是非常低的并允許對搖晃和抖動效應(yīng)的非常精確和有效的校正。
[0136] 另一方面，在缺少這樣的機制的情況下，將必須由軟件來選擇陀螺儀的每個新數(shù) 據(jù)和所獲取的每個新圖像的傳遞時刻。這樣的方法將由于其對系統(tǒng)的反應(yīng)時間的敏感度而 大大減少精度且更加不規(guī)律，并將僅提供100微秒等級的精度。
【主權(quán)項】
1?一種旋翼無人機（10)，包括： -相機（14)，包括指向相對于無人機主體而言固定方向（A)的魚眼類型的半球形視 野的鏡頭，以及獲取由所述鏡頭形成的圖像（I)并傳遞原始像素數(shù)據(jù)的數(shù)字傳感器； -圖像處理裝置（156)，接收所述原始像素數(shù)據(jù)作為輸入并將經(jīng)矯正以補償由所述魚 眼鏡頭引起的幾何失真的像素數(shù)據(jù)作為輸出來傳遞； -用于傳遞經(jīng)矯正的像素數(shù)據(jù)作為輸出以傳送給顯示器或視頻記錄設(shè)備的裝置 (158); -慣性單元（154)，適用于測量表征所述無人機相對于絕對地球參考系的姿態(tài)的歐拉 角0，Q，(6);以及 -控制裝置（152)，接收由所述慣性單元（154)所傳遞的至少一個歐拉角作為輸入，并 適用于根據(jù)由所述慣性單元所檢測到的所述無人機的姿態(tài)的變化為所述傳遞裝置作為輸 出遞送的所述像素數(shù)據(jù)創(chuàng)建窗口，其特征在于： _所述數(shù)字傳感器是逐行傳遞所述原始像素數(shù)據(jù)的掃描傳感器； _所述無人機還包括提取裝置（152)，接收在所述傳感器范圍上定義減少尺寸的捕捉 區(qū)域的位置的選擇信號作為輸入，并傳遞對應(yīng)于經(jīng)減少尺寸的捕捉區(qū)域的所述原始像素數(shù) 據(jù)作為輸出； _伺服控制裝置（152)是適用于在與由所述慣性單元所檢測的并由所述至少一個歐 拉角的對應(yīng)變化所表征的所述無人機的姿態(tài)的變化的方向相反的方向上動態(tài)修改所述選 擇信號的裝置；以及 -所述圖像處理裝置（156)接收由所述提取裝置所傳遞的所述原始像素數(shù)據(jù)。2. 如權(quán)利要求1所述的無人機，其特征在于，所述伺服控制裝置適用于修改所述選擇 信號以便由所述提取裝置所傳遞的像素數(shù)據(jù)對應(yīng)于以地平線或以相對于地平線固定的方 向上為中心的圖像。3. 如權(quán)利要求1所述的無人機，其特征在于，所述相機被安裝在所述無人機中，以便以 與所述無人機的俯仰角（22)相平行地取向所述數(shù)字傳感器的幀掃描方向（D b)。4. 如權(quán)利要求1所述的無人機，其特征在于，所述至少一個歐拉角是所述無人機的俯 仰角（巾），并且所述伺服控制裝置適用于修改所述選擇信號以便在平行于所述傳感器的主 軸的第一方向上平移所述捕捉區(qū)域。5. 如權(quán)利要求4所述的無人機，其特征在于，所述至少一個歐拉角是所述無人機的偏 航角（丨），并且所述伺服控制裝置適用于修改所述選擇信號以便在垂直于所述第一方向的 第二方向上平移所述捕捉區(qū)域。6. 如權(quán)利要求1所述的無人機，其特征在于，所述圖像處理裝置（156)適用于對所述傳 感器的每一行（I1)施加附加的校正以便于從一個行到下一行地補償由所述無人機繞偏航、 俯仰和/或滾動軸的旋轉(zhuǎn)所引起的像素的相對位移。7. 如權(quán)利要求6所述的無人機，其特征在于： -所述相機（14)是逐行傳遞視頻數(shù)據(jù)的卷簾快門類型的相機； -所述相機（14)和所述慣性單元（154)的陀螺儀傳感器（102)是由公共時鐘（160) 來駕馭的；以及 -所述陀螺儀傳感器（102)的獲取速率（Fgyro)是所述相機（14)的視頻數(shù)據(jù)傳遞速率 (Frani)的倍數(shù)（K)。8.如權(quán)利要求7所述的無人機，進一步包括：硬件電路（170)適用于： -將由所述陀螺儀傳感器（102)所傳遞的信號（Sgyro)和由所述相機（14)傳遞的信號 (Srani)進行比較； _確定在這些相應(yīng)的彳目號之間的相移值；以及 將該相移值應(yīng)用于所述圖像處理裝置（156)，以便以同步方式觸發(fā)施加給所述傳感器 的每行的所述附加校正以從一個行到下一行地補償像素的相對位移。
【專利摘要】提供了具有傳遞穩(wěn)定的圖像序列的視頻相機的旋翼無人機。無人機(10)包括具有魚眼類型的半球形視野鏡頭的相機，其對于無人機主體指向固定方向(△)。從由該鏡頭(42)形成的圖像中提取減少尺寸的捕捉區(qū)域(36)，該區(qū)域的位置是慣性單元所傳遞的信號的函數(shù)，該慣性單元測量表征無人機相對于絕對地球參考系的姿態(tài)的歐拉角。在與由慣性單元所檢測到的無人機的姿態(tài)(38)的變化的方向相反的方向(44)上動態(tài)修改該區(qū)域的位置。隨后處理原始像素數(shù)據(jù)以補償由在捕捉區(qū)域的范圍中所獲取的圖像中的魚眼鏡頭所引起的幾何失真。
【IPC分類】A63H27/133, H04N5/232, A63H30/04
【公開號】CN105031935
【申請?zhí)枴緾N201510178952
【發(fā)明人】P·埃利納, A·豐維埃爾
【申請人】鸚鵡股份有限公司
【公開日】2015年11月11日
【申請日】2015年4月15日
【公告號】EP2933775A1, US20150298822