/s旋轉(zhuǎn)且以30ips視頻捕捉的情況下，在圖像的頂部和底部之間，無 人機(jī)將轉(zhuǎn)動100x1/30 = 3, 33°，這對應(yīng)于在圖像中的幾個(gè)像素的位移（大約為在圖12的 示例的圖像的頂部和底部之間的棋盤格的平方）。這些贗象在移動圖像中特別麻煩，伴隨有 直線的持久和可變的失真。
[0115] 為了彌補(bǔ)這種現(xiàn)象，在圖像的每個(gè)行^處在重新投影和矯正捕捉區(qū)域ZC的步驟 期間改動獲得有用區(qū)域ZU的處理是可能的，這種逐行校正允許消除由無人機(jī)的快速旋轉(zhuǎn) 所引入的贗象。
[0116] 圖13示出了另一種類型的被稱為"抖動效應(yīng)"的贗象，主要是由馬達(dá)的振動引起： 與搖晃效應(yīng)不同的是，抖動效應(yīng)是源自由馬達(dá)的振動所引起的高頻率且低幅度的擺動，而 搖晃效應(yīng)是在無人機(jī)移動時(shí)該無人機(jī)的旋轉(zhuǎn)所引起的低頻率且高幅度的效應(yīng)。抖動效應(yīng)主 要是通過相機(jī)支架的合適的機(jī)械阻尼來校正，從而允許過濾掉馬達(dá)的振動。這種機(jī)械過濾 的殘留可以以與搖晃效應(yīng)相同的方式（使用陀螺儀測量并逐行施加校正）來消除。
[0117] 允許逐行完美補(bǔ)償上述的搖晃和抖動效應(yīng)的該機(jī)制將在結(jié)合圖14和15進(jìn)行描 述。
[0118] 這些贗象是由于相機(jī)是卷簾快門類型（且不是全局快門類型）的事實(shí)而產(chǎn)生的， 也就是說構(gòu)成圖像的行對于圖像的所有像素來說不是在同一時(shí)間同時(shí)被獲取的，而是一行 接另一個(gè)行的。
[0119] 在圖像捕捉期間發(fā)生的無人機(jī)的移動或振動在該圖像的變形中將以與一行接著 下一行不同的方式生成。
[0120] 搖晃和抖動效應(yīng)的逐行校正（校正"圖像內(nèi)"）涉及具有用于針對這些行的每個(gè)行 獲取無人機(jī)的精確姿態(tài)的手段：以精確地校正每個(gè)行，理想地是要求每行一次姿態(tài)測量，而 且所述測量與相機(jī)的傳感器同步。
[0121] 然而，無人機(jī)所使用的陀螺儀不允許以對應(yīng)于視頻傳感器的每行的持續(xù)時(shí)間的速 率來計(jì)算無人機(jī)的準(zhǔn)確的姿態(tài)。而是可能以上至IkHz的速率執(zhí)行陀螺儀數(shù)據(jù)的獲取，這允 許對每個(gè)圖像具有幾次測量并允許在每次獲取視頻傳感器的一行的時(shí)刻內(nèi)插無人機(jī)的姿 O
[0122] 圖14(作為框圖）示出對在視頻相機(jī)和陀螺儀的同步做出貢獻(xiàn)的不同的元件。特 征在于，陀螺儀102和水平視頻相機(jī)14由公共時(shí)鐘電路160來駕馭，并且陀螺儀和相機(jī)的 各自的工作速率是該時(shí)鐘的速率CLK的幾分之一。
[0123] 換句話說，陀螺儀102和相機(jī)14被配置以便：
[0124] Fgyro= K-Fcalll
[0125]Fgyra是陀螺儀的獲取速率（典型為F gyro= 990Hz)，
[0126] Feani是視頻相機(jī)的圖像獲取速率（典型為F _= 30Hz)，而
[0127] K是正整數(shù)（典型為K = 33)。
[0128] K是整數(shù)且對于陀螺儀和相機(jī)來說基礎(chǔ)時(shí)鐘是相同的事實(shí)確保了在每個(gè)圖像 將總是有陀螺儀信號S gyro的K個(gè)采樣，而沒有漂移，角度測量總是落入相同時(shí)間。
[0129] 然而，雖然該機(jī)制確保了陀螺儀傳感器所傳遞的信號Sgyro和相機(jī)14所傳遞的信號 S rani是同步的，它不能給出關(guān)于這兩個(gè)信號是相和諧的保證。
[0130] 實(shí)際上，視頻獲取和陀螺儀獲取是由軟件觸發(fā)的，并且因此，這兩個(gè)獲取在同一時(shí) 間開始、將這兩個(gè)開始分隔開的時(shí)間間隔對于一個(gè)無人機(jī)到另一個(gè)無人機(jī)或者甚至從同一 無人機(jī)的一個(gè)駕駛序列到另一個(gè)駕駛序列是固定的都不是必然的。
[0131] 這些信號^和Sgyra已經(jīng)在圖15中以兩種不同的情形（a)和（b)示出：對于視頻 信號S rani，在每次向前下降時(shí)新的行圖像可用，并且對于陀螺儀信號Sgyro，向前下降也對應(yīng) 于新的角度數(shù)據(jù)的可用。
[0132] 基于這些時(shí)序圖，觀察到陀螺儀信號Sgyro不會相對于視頻信號S_"滑動"，這意味 著當(dāng)新的圖像可用時(shí)，在陀螺儀傳遞新數(shù)據(jù)之前總是存在相同的時(shí)間間隔。另一方面，該時(shí) 間間隔隨一個(gè)無人機(jī)到另一無人機(jī)以及一個(gè)駕駛序列到另一個(gè)駕駛序列而變化，因?yàn)橥勇?儀傳感器不是以與視頻相機(jī)的相同時(shí)間被啟動的。
[0133] 為了保證完美的同步化，本發(fā)明特征在于提議使用物理組件（硬件）170,它以極 高的精度測量在陀螺儀和視頻信號S gyro和Srani之間的時(shí)間間隔A。將注意到單次測量是足 夠的，因?yàn)橐呀?jīng)設(shè)置該時(shí)鐘以便它們沒有漂移。
[0134] 剛剛已經(jīng)描述的這兩種機(jī)制（公共時(shí)鐘160和相移測量硬件電路170)允許以非 常高的精度在一個(gè)時(shí)鐘周期內(nèi)及時(shí)地將陀螺儀和視頻信號相連。
[0135] 以幾個(gè)兆赫工作的系統(tǒng)時(shí)鐘160,這表示在視頻和陀螺儀信號之間的鉗位上的少 量毫微秒的誤差，它是非常低的并允許對搖晃和抖動效應(yīng)的非常精確和有效的校正。
[0136] 另一方面，在缺少這樣的機(jī)制的情況下，將必須由軟件來選擇陀螺儀的每個(gè)新數(shù) 據(jù)和所獲取的每個(gè)新圖像的傳遞時(shí)刻。這樣的方法將由于其對系統(tǒng)的反應(yīng)時(shí)間的敏感度而 大大減少精度且更加不規(guī)律，并將僅提供100微秒等級的精度。
【主權(quán)項(xiàng)】
1?一種旋翼無人機(jī)（10)，包括： -相機(jī)（14)，包括指向相對于無人機(jī)主體而言固定方向（A)的魚眼類型的半球形視 野的鏡頭，以及獲取由所述鏡頭形成的圖像（I)并傳遞原始像素?cái)?shù)據(jù)的數(shù)字傳感器； -圖像處理裝置（156)，接收所述原始像素?cái)?shù)據(jù)作為輸入并將經(jīng)矯正以補(bǔ)償由所述魚 眼鏡頭引起的幾何失真的像素?cái)?shù)據(jù)作為輸出來傳遞； -用于傳遞經(jīng)矯正的像素?cái)?shù)據(jù)作為輸出以傳送給顯示器或視頻記錄設(shè)備的裝置 (158); -慣性單元（154)，適用于測量表征所述無人機(jī)相對于絕對地球參考系的姿態(tài)的歐拉 角0，Q，(6);以及 -控制裝置（152)，接收由所述慣性單元（154)所傳遞的至少一個(gè)歐拉角作為輸入，并 適用于根據(jù)由所述慣性單元所檢測到的所述無人機(jī)的姿態(tài)的變化為所述傳遞裝置作為輸 出遞送的所述像素?cái)?shù)據(jù)創(chuàng)建窗口，其特征在于： _所述數(shù)字傳感器是逐行傳遞所述原始像素?cái)?shù)據(jù)的掃描傳感器； _所述無人機(jī)還包括提取裝置（152)，接收在所述傳感器范圍上定義減少尺寸的捕捉 區(qū)域的位置的選擇信號作為輸入，并傳遞對應(yīng)于經(jīng)減少尺寸的捕捉區(qū)域的所述原始像素?cái)?shù) 據(jù)作為輸出； _伺服控制裝置（152)是適用于在與由所述慣性單元所檢測的并由所述至少一個(gè)歐 拉角的對應(yīng)變化所表征的所述無人機(jī)的姿態(tài)的變化的方向相反的方向上動態(tài)修改所述選 擇信號的裝置；以及 -所述圖像處理裝置（156)接收由所述提取裝置所傳遞的所述原始像素?cái)?shù)據(jù)。2. 如權(quán)利要求1所述的無人機(jī)，其特征在于，所述伺服控制裝置適用于修改所述選擇 信號以便由所述提取裝置所傳遞的像素?cái)?shù)據(jù)對應(yīng)于以地平線或以相對于地平線固定的方 向上為中心的圖像。3. 如權(quán)利要求1所述的無人機(jī)，其特征在于，所述相機(jī)被安裝在所述無人機(jī)中，以便以 與所述無人機(jī)的俯仰角（22)相平行地取向所述數(shù)字傳感器的幀掃描方向（D b)。4. 如權(quán)利要求1所述的無人機(jī)，其特征在于，所述至少一個(gè)歐拉角是所述無人機(jī)的俯 仰角（巾），并且所述伺服控制裝置適用于修改所述選擇信號以便在平行于所述傳感器的主 軸的第一方向上平移所述捕捉區(qū)域。5. 如權(quán)利要求4所述的無人機(jī)，其特征在于，所述至少一個(gè)歐拉角是所述無人機(jī)的偏 航角（丨），并且所述伺服控制裝置適用于修改所述選擇信號以便在垂直于所述第一方向的 第二方向上平移所述捕捉區(qū)域。6. 如權(quán)利要求1所述的無人機(jī)，其特征在于，所述圖像處理裝置（156)適用于對所述傳 感器的每一行（I1)施加附加的校正以便于從一個(gè)行到下一行地補(bǔ)償由所述無人機(jī)繞偏航、 俯仰和/或滾動軸的旋轉(zhuǎn)所引起的像素的相對位移。7. 如權(quán)利要求6所述的無人機(jī)，其特征在于： -所述相機(jī)（14)是逐行傳遞視頻數(shù)據(jù)的卷簾快門類型的相機(jī)； -所述相機(jī)（14)和所述慣性單元（154)的陀螺儀傳感器（102)是由公共時(shí)鐘（160) 來駕馭的；以及 -所述陀螺儀傳感器（102)的獲取速率（Fgyro)是所述相機(jī)（14)的視頻數(shù)據(jù)傳遞速率 (Frani)的倍數(shù)（K)。8.如權(quán)利要求7所述的無人機(jī)，進(jìn)一步包括：硬件電路（170)適用于： -將由所述陀螺儀傳感器（102)所傳遞的信號（Sgyro)和由所述相機(jī)（14)傳遞的信號 (Srani)進(jìn)行比較； _確定在這些相應(yīng)的彳目號之間的相移值；以及 將該相移值應(yīng)用于所述圖像處理裝置（156)，以便以同步方式觸發(fā)施加給所述傳感器 的每行的所述附加校正以從一個(gè)行到下一行地補(bǔ)償像素的相對位移。
【專利摘要】提供了具有傳遞穩(wěn)定的圖像序列的視頻相機(jī)的旋翼無人機(jī)。無人機(jī)(10)包括具有魚眼類型的半球形視野鏡頭的相機(jī)，其對于無人機(jī)主體指向固定方向(△)。從由該鏡頭(42)形成的圖像中提取減少尺寸的捕捉區(qū)域(36)，該區(qū)域的位置是慣性單元所傳遞的信號的函數(shù)，該慣性單元測量表征無人機(jī)相對于絕對地球參考系的姿態(tài)的歐拉角。在與由慣性單元所檢測到的無人機(jī)的姿態(tài)(38)的變化的方向相反的方向(44)上動態(tài)修改該區(qū)域的位置。隨后處理原始像素?cái)?shù)據(jù)以補(bǔ)償由在捕捉區(qū)域的范圍中所獲取的圖像中的魚眼鏡頭所引起的幾何失真。
【IPC分類】A63H27/133, H04N5/232, A63H30/04
【公開號】CN105031935
【申請?zhí)枴緾N201510178952
【發(fā)明人】P·埃利納, A·豐維埃爾
【申請人】鸚鵡股份有限公司
【公開日】2015年11月11日
【申請日】2015年4月15日
【公告號】EP2933775A1, US20150298822