本發(fā)明涉及由遠(yuǎn)程駕駛的移動設(shè)備(此后稱為“無人機(jī)”)，尤其是諸如飛行無人機(jī)或UAV(無人駕駛飛行器)等機(jī)動飛行器，的板載相機(jī)捕捉的數(shù)字圖像的處理。

然而，本發(fā)明不限于由飛行設(shè)備收集的圖像；它還適用于由遠(yuǎn)程操作者控制的在地面上移動的輪式設(shè)備或者在水域上移動的漂浮設(shè)備，術(shù)語“無人機(jī)”必須被理解成其最一般的意義。

本發(fā)明有利地應(yīng)用于由旋翼無人機(jī)(諸如四旋翼直升機(jī))的前置相機(jī)收集的圖像。

背景技術(shù)：

法國巴黎Parrot SA公司的AR.Drone 2.0或Bebop Drone是這樣的四螺旋槳直升機(jī)的典型示例。它們配備一系列傳感器(加速度計(jì)、3軸陀螺儀、高度計(jì))、捕捉無人機(jī)所朝向的場景的圖像的前置相機(jī)、以及捕捉飛過的地面的圖像的俯視相機(jī)。它們設(shè)有由相應(yīng)的馬達(dá)驅(qū)動的多個(gè)旋翼，這些馬達(dá)可以以不同模式控制，從而在姿態(tài)和速度方面駕駛該無人機(jī)。這樣的無人機(jī)的各方面尤其在WO 2010/061099 A2、EP 2 364 757 A1、EP 2 613 213 A1或EP 2 613 214 A1(Parrot SA)中描述。

Timothy McDougal于2014年10月6日(XP055233862)發(fā)布在因特網(wǎng)上的題為“The New Parrot Bebop Drone:Built for Stabilized Aerial Video(新Parrot Bebop Drone：為穩(wěn)定化航空視頻而造)”的論文具體描述了上述Bebop Drone設(shè)備，它是配備有與圖像穩(wěn)定化和控制系統(tǒng)相關(guān)聯(lián)的魚眼鏡頭的無人機(jī)。

前攝像機(jī)可被用于“沉浸模式”駕駛，即用戶以如同他自己在無人機(jī)上一樣的方式使用相機(jī)的圖像。它也可用于捕捉無人機(jī)所朝向的場景的圖像序列。因此，用戶可以以相機(jī)或便攜式相機(jī)將由無人機(jī)承載的相同方式來使用無人機(jī)而不是將其握在手中。所獲取的圖像可以被記錄，隨后廣播，在視頻序列主存網(wǎng)站上上線，發(fā)送給其他因特網(wǎng)用戶，在社交網(wǎng)絡(luò)上共享，等等。

這些圖像旨在被記錄和傳遞，它們具有可能較少缺陷(尤其是由無人機(jī)的行為造成的缺陷)是合乎需要的：的確，無人機(jī)向前、向后、或向側(cè)方的任何線性位移涉及無人機(jī)的傾斜，并且因此涉及由相機(jī)獲取的圖像的不合乎需要的對應(yīng)移位、旋轉(zhuǎn)、振動等效果，在實(shí)踐中，這在顯示給用戶的最終圖像中引入各種不合時(shí)宜的偽像。

這些缺陷在“沉浸駕駛”配置中可能是可容忍的。另一方面，如果要使用無人機(jī)作為移動攝像機(jī)來捕捉將被記錄并稍后呈現(xiàn)的序列，這些缺陷將極其麻煩，所以將它們降至最小是合乎需要的。

在上述Bebop Drone的情況下，后者實(shí)現(xiàn)配備有覆蓋約180°視野的魚眼型半球形物鏡的相機(jī)，但該相機(jī)捕捉的視野的僅一部分被使用，這一部分大致對應(yīng)于由常規(guī)相機(jī)捕捉的角扇區(qū)。

為此，在傳感器的表面處形成的總體半球形圖像中選擇特定窗口(此后稱為“捕捉區(qū)域”)。這一窗口旋轉(zhuǎn)且平移地移動，并且永久地因變于由慣性單元確定的無人機(jī)的移動并且在相對于這些移動的相反方向上來移位。當(dāng)然，由魚眼鏡頭獲取的圖像經(jīng)歷與常規(guī)相機(jī)相同的振動和旋轉(zhuǎn)移動，但圖像區(qū)域的位移被反饋控制以補(bǔ)償這些移動并因此產(chǎn)生針對無人機(jī)的移動來穩(wěn)定化的圖像。

捕捉區(qū)域的圖像(更確切地是后者的有用部分)(此后稱為“有用區(qū)域”)隨后經(jīng)受重投影處理以補(bǔ)償由魚眼鏡頭引入的幾何失真：將由該鏡頭彎曲的直線變直，重建圖像的中心和周界之間的均勻放大，等等。所獲得的最終圖像(“經(jīng)變直的有用區(qū)域”)隨后被傳送給用戶以顯示在屏幕上、被記錄，等等。

因此，通過從在初始圖像中在與無人機(jī)的移動相對的方向上動態(tài)地旋轉(zhuǎn)和平移地移位的所捕捉的特定區(qū)域(捕捉區(qū)域)的總體場景中進(jìn)行提取以消滅否則將在顯示給用戶的最終圖像中觀察到的振動，隨后通過有用圖像變直處理以獲得沒有幾何失真也沒有其他失真的場景的表示，來定義“虛擬相機(jī)”。

這一技術(shù)在2015年10月21日發(fā)布的EP 2 933 775 A1(Parrot)中描述。

類似技術(shù)在Miyauchi R等人的論文“Development of Omni-Directional Image Stabilization System Using Camera Posture Information(使用相機(jī)姿勢信息的全向圖像穩(wěn)定系統(tǒng)的開發(fā))”，2007 IEEE機(jī)器人技術(shù)和仿生學(xué)國際會議會議錄，2007年12月15-18日，第920-925頁中描述，它提出了將這樣的EIS(電子圖像穩(wěn)定化)技術(shù)應(yīng)用于由配備有“魚眼”型半球形物鏡(即，覆蓋約180°視野)的相機(jī)所捕捉的圖像。原始圖像被獲取，經(jīng)受變直處理(以補(bǔ)償魚眼失真)，并隨后經(jīng)受因變于攜帶相機(jī)的機(jī)器人的移動的動態(tài)開窗處理。該補(bǔ)償通過在與要被補(bǔ)償?shù)囊苿酉喾吹姆较蛏蠈⒉蹲絽^(qū)域平移至獲取區(qū)域來操作，所述傳感器僅發(fā)送對應(yīng)于經(jīng)穩(wěn)定的圖像的子部分。

本發(fā)明旨在消除在無人機(jī)的某些移動期間發(fā)生的特定缺陷。

這一缺陷涉及動態(tài)控制相機(jī)的特定數(shù)量的操作參數(shù)，即由圖像分析算法(諸如自動曝光算法(AE，基于對圖像的不同點(diǎn)的亮度的分析)、自動白平衡(AWB，基于圖像的不同點(diǎn)的色度分析)、或動態(tài)聚焦(AF，基于圖像的不同點(diǎn)的對比度的分析)自動調(diào)整的參數(shù)。

AE和AWB算法的示例可以在US 2015/0222816 A1中找到且AF算法的示例可以在US 2013/0021520 A1中找到。

在以下描述中，將自動曝光控制當(dāng)作典型的具體示例，但本發(fā)明被限于控制這一參數(shù)，并且如將理解的，可被應(yīng)用于基于對圖像的分析的其他參數(shù)的自動控制，諸如白平衡和聚焦。

自動曝光(AE)算法的原理是為傳感器選擇配對{曝光時(shí)間，增益}，從而使得以同一目標(biāo)亮度捕捉任何場景成為可能。這一選擇是基于對通過子采樣或抽取來獲得的圖像的降低分辨率版本(例如，64x48像素)(此后稱為“縮略圖”)的分析并且從中提取亮度柱狀圖以及可能的其他參數(shù)(這樣的不同起始數(shù)據(jù)此后由通用術(shù)語稱為圖像的“統(tǒng)計(jì)數(shù)據(jù)”)來操作的。

在從傳感器收集的總體圖像中提取捕捉區(qū)域的上述情況下，這是產(chǎn)生用于計(jì)算自動曝光控制的參數(shù)的統(tǒng)計(jì)數(shù)據(jù)的捕捉區(qū)域的內(nèi)容。

但是，如上文解釋的，這一捕捉區(qū)域大于將被顯示給用戶的最終有用區(qū)域，使得自動曝光算法可基于用戶沒有看到的場景元素來作出決策，即位于捕捉區(qū)域內(nèi)部但在有用區(qū)域外部的元素。

現(xiàn)在，需要被正確地曝光的場景是由用戶看到的(有用區(qū)域)，而非捕捉區(qū)域(它不同于后者)。

在包括天空的一部分和地面的一部分的圖像的示例中，天空和地面之間的比例將根據(jù)相機(jī)傾斜并且因此根據(jù)無人機(jī)姿態(tài)而變化。以此方式，如果無人機(jī)從懸停飛行姿態(tài)通過到下傾姿態(tài)(這一傾斜產(chǎn)生前向線性位移)，則相機(jī)(向地面傾斜(因?yàn)樗溄拥綗o人機(jī)主體))將捕捉地面的高得多的比例。因?yàn)榈孛孑^暗，所以自動曝光算法的控制將往往通過增加曝光時(shí)間和/或增益來補(bǔ)償這一亮度變化。

然而，由于捕捉區(qū)域在初始圖像中的位移以及用于從中提取有用區(qū)域的重投影，用戶將總是看到同一場景。但這一場景將由于自動曝光的校正動作而已被臨時(shí)曝光過度，在無人機(jī)將回到其初始姿態(tài)時(shí)曝光過度將消失——并且因此用戶看到的圖像的輪廓沒有改變。

本發(fā)明旨在解決這樣的問題。

技術(shù)實(shí)現(xiàn)要素：

為此，本發(fā)明尤其根據(jù)Miyauchi等人的上述論文提出了一種無人機(jī)，以本質(zhì)上已知的方式包括：

-鏈接到無人機(jī)主體的相機(jī)，包括：指向相對于所述無人機(jī)主體的固定方向的魚眼型半球形物鏡，收集由所述鏡頭形成的圖像并遞送原始圖像數(shù)據(jù)的數(shù)字傳感器；

-慣性單元，其被適配成測量表征所述無人機(jī)相對于絕對陸地參考系的即時(shí)姿態(tài)并作為輸出來遞送當(dāng)前無人機(jī)姿態(tài)數(shù)據(jù)的歐拉角；

-提取器裝置，其被適配成在所述傳感器的廣度上形成的所述圖像中定義經(jīng)縮減大小的捕捉區(qū)域的位置；

-控制裝置，它接收所述當(dāng)前無人機(jī)姿態(tài)數(shù)據(jù)作為輸入并被適配成在與由所述慣性單元測量到的角度值的變化方向相反的方向上動態(tài)地修改所述捕捉區(qū)域在所述圖像中的位置和定向；以及

-重投影裝置，它接收從所述捕捉區(qū)域提取的用戶區(qū)域的圖像數(shù)據(jù)作為輸入并且遞送對應(yīng)的經(jīng)變直的圖像數(shù)據(jù)作為輸出，補(bǔ)償由所述魚眼鏡頭引入的幾何失真。

本發(fā)明的特征在于，所述相機(jī)進(jìn)一步包括用于動態(tài)地控制自動曝光、白平衡和自動聚焦之間的至少一個(gè)成像參數(shù)的裝置，并且所述無人機(jī)進(jìn)一步包括：

分析裝置，其被適配成在所述捕捉區(qū)域中定義至少一個(gè)經(jīng)縮減分辨率的縮略圖并因變于所述縮略圖中包含的圖像數(shù)據(jù)來遞送所述成像參數(shù)的當(dāng)前值；以及

補(bǔ)償器裝置，這樣的裝置接收由所述慣性單元遞送的當(dāng)前無人機(jī)姿態(tài)數(shù)據(jù)作為輸入并且被適配成因變于這些當(dāng)前姿態(tài)數(shù)據(jù)以及由所述分析裝置遞送的所述成像參數(shù)的所述值，在與易于由所述無人機(jī)的姿態(tài)的即時(shí)變化造成的變化相反的方向上與所述分析裝置動態(tài)地交互。

以此方式，成像參數(shù)保持為基本上獨(dú)立于所述無人機(jī)的姿態(tài)的即時(shí)變化的值。

有利地，所述分析裝置被進(jìn)一步適配成從來自所述捕捉區(qū)域的縮略圖中包含的所述圖像數(shù)據(jù)中排除位于由所述鏡頭在所述傳感器上形成的圖像的區(qū)域之外的原始圖像數(shù)據(jù)。

根據(jù)第一實(shí)施例，所述補(bǔ)償器裝置接收來自由所述提取器裝置遞送的所述捕捉區(qū)域的縮略圖中包括的圖像數(shù)據(jù)作為輸入，并且所述分析裝置包括適配成在每一圖像中動態(tài)地定義分布在所述捕捉區(qū)域上的多個(gè)感興趣區(qū)域ROI并且遞送每一相應(yīng)縮略圖的所述成像參數(shù)的當(dāng)前值的裝置，其中每一ROI具有一對應(yīng)縮略圖。所述補(bǔ)償器裝置隨后包括適配成通過因變于所述當(dāng)前無人機(jī)姿態(tài)數(shù)據(jù)修改所述捕捉區(qū)域中的ROI的大小和/或位置來與所述分析裝置動態(tài)地交互的裝置。

有利地，所述補(bǔ)償器裝置包括適配成從ROI的定義中預(yù)先排除位于所述捕捉區(qū)域中包括的當(dāng)前用戶區(qū)域外部的那些ROI的裝置。

所述補(bǔ)償器裝置可尤其包括適配成向每一ROI分配作為所述ROI與在所述捕捉區(qū)域內(nèi)部定義的所述當(dāng)前用戶區(qū)域的或大或小的交疊程度的函數(shù)的奇異加權(quán)值的裝置，這一值對于完全包括在所述當(dāng)前用戶區(qū)域中的所述ROI是最大值且當(dāng)該交疊ROI在所述當(dāng)前用戶區(qū)域內(nèi)部和外部兩者中延伸時(shí)較小。

所述補(bǔ)償器裝置還可包括適配成向每一ROI分配作為所述ROI的或多或少表面積的函數(shù)的奇異加權(quán)值的裝置。

根據(jù)第二實(shí)施例，所述補(bǔ)償器裝置接收來自由所述提取器裝置遞送的所述捕捉區(qū)域的縮略圖中包括的圖像數(shù)據(jù)作為輸入，并且所述分析裝置包括適配成針對每一ROI定義按均勻且預(yù)定的方式分布在所述捕捉區(qū)域上的感興趣ROI區(qū)域的網(wǎng)格并且遞送每一相應(yīng)縮略圖的所述成像參數(shù)的當(dāng)前值的裝置，其中每一ROI具有一對應(yīng)縮略圖。所述補(bǔ)償器裝置隨后包括適配成通過向每一ROI分配作為所述ROI與在所述捕捉區(qū)域內(nèi)部定義的所述當(dāng)前用戶區(qū)域的交疊程度的函數(shù)的奇異加權(quán)值來與所述分析裝置動態(tài)地交互的裝置，這一值對于包括在所述當(dāng)前用戶區(qū)域中的所述ROI是最大值、對于處于所述當(dāng)前用戶區(qū)域外部的所述ROI是最小值、且當(dāng)該交疊ROI在所述當(dāng)前用戶區(qū)域內(nèi)部和外部兩者中延伸時(shí)是中間值。

根據(jù)第三實(shí)施例，所述補(bǔ)償器裝置接收由所述重投影裝置遞送的補(bǔ)償了由所述魚眼鏡頭引入的幾何失真的經(jīng)變直的圖像數(shù)據(jù)作為輸入。

在這種情況下，所述分析裝置尤其可包括適配成在每一圖像中動態(tài)地定義分布在所述經(jīng)變直的圖像上的多個(gè)感興趣ROI區(qū)域并且遞送每一相應(yīng)縮略圖的所述成像參數(shù)的當(dāng)前值的裝置，其中每一ROI具有一對應(yīng)縮略圖。所述補(bǔ)償器裝置隨后包括適配成通過因變于所述當(dāng)前無人機(jī)姿態(tài)數(shù)據(jù)修改所述經(jīng)變直的圖像中的ROI的大小和/或位置來與所述分析裝置動態(tài)地交互的裝置。

附圖說明

現(xiàn)在將參考附圖描述本發(fā)明的實(shí)現(xiàn)的示例，在所有附圖中，相同的附圖標(biāo)記指示相同或功能上相似的元素。

圖1是示出無人機(jī)以及相關(guān)聯(lián)的允許其遠(yuǎn)程駕駛的遙控設(shè)備的概覽示圖。

圖2a和2b示出例如在加速階段期間由無人機(jī)的前傾所引起的相機(jī)的查看方向的修改。

圖3在(a1)-(a3)中示出應(yīng)用于在無人機(jī)相機(jī)的傳感器上形成的圖像的開窗和失真校正以產(chǎn)生經(jīng)變直的圖像的連貫步驟，并在(b1)-(b3)示出在無人機(jī)姿態(tài)被修改時(shí)的對應(yīng)步驟，其相機(jī)朝地面傾斜。

圖4在(a)和(b)中示出通過分別分析圖3的捕捉區(qū)域(a2)和(b2)來獲得的亮度柱狀圖。

圖5作為框圖示出了參與本發(fā)明的實(shí)現(xiàn)的不同模塊。

圖6是在本發(fā)明的第一和第二實(shí)施例中解釋本發(fā)明的實(shí)現(xiàn)的主要連貫步驟的流程圖。

圖7解說根據(jù)本發(fā)明的第一實(shí)施例的基于自動定義在捕捉區(qū)域內(nèi)的感興趣區(qū)域來分析這一捕捉區(qū)域的各區(qū)域。

圖8解說根據(jù)本發(fā)明的第二實(shí)施例的基于在捕捉區(qū)域內(nèi)形成網(wǎng)格來分析這一捕捉區(qū)域的各區(qū)域。

圖9是在本發(fā)明的第三實(shí)施例中解釋本發(fā)明的實(shí)現(xiàn)的主要連貫步驟的流程圖。

具體實(shí)施方式

現(xiàn)在將描述本發(fā)明的實(shí)現(xiàn)的示例。

在圖1中，附圖標(biāo)記10一般表示無人機(jī)，它例如是諸如法國巴黎Parrot SA公司的型號Bebop Drone等四螺旋槳直升機(jī)。這一無人機(jī)包括四個(gè)共面旋翼12，這些旋翼的馬達(dá)由集成的導(dǎo)航與姿態(tài)控制系統(tǒng)彼此獨(dú)立地駕駛。為其配置有前視相機(jī)14，以允許獲得該無人機(jī)所指向的場景的圖像。

該無人機(jī)還包括指向下的俯視相機(jī)(未示出)，其適配成捕捉所飛過的地面的連續(xù)圖像并且尤其用于估算無人機(jī)相對地面的速度。慣性傳感器(加速度計(jì)和陀螺儀)準(zhǔn)許以某一準(zhǔn)確度來測量無人機(jī)的加速度和姿態(tài)角，即描述無人機(jī)在固定陸地參考系中相對于地平面的傾斜的歐拉角(俯仰滾轉(zhuǎn)θ以及偏航ψ)。此外，安排在無人機(jī)下的超聲波測距儀還提供了對相對于地面的姿態(tài)的測量。

用遙控設(shè)備16來駕駛無人機(jī)10，遙控設(shè)備16設(shè)有觸摸屏18，該觸摸屏18顯示由前置相機(jī)14機(jī)載的圖像并疊加有某一數(shù)量的符號，這些符號允許通過用戶的手指20在觸摸屏18上的簡單接觸來激活駕駛命令。設(shè)備16設(shè)有用于與無人機(jī)進(jìn)行無線電鏈接的裝置，例如Wi-Fi(IEEE 802.11)局域網(wǎng)類型，以供進(jìn)行雙向數(shù)據(jù)交換，具體而言從無人機(jī)10到設(shè)備16用于傳輸由相機(jī)14捕捉的圖像，以及從設(shè)備16到無人機(jī)10用于發(fā)送駕駛命令。

遙控設(shè)備16還設(shè)有傾斜傳感器，從而準(zhǔn)許通過向設(shè)備給予繞滾轉(zhuǎn)和俯仰軸的對應(yīng)傾斜來控制無人機(jī)姿態(tài)，將理解，無人機(jī)10的水平速度的兩個(gè)縱向和橫向分量將被緊密鏈接到繞兩個(gè)相應(yīng)俯仰軸和滾轉(zhuǎn)軸的傾斜。無人機(jī)的駕駛包括使得其通過下述方式開展：

繞俯仰軸22旋轉(zhuǎn)以使得其向前或向后移動；

繞旋轉(zhuǎn)軸24旋轉(zhuǎn)以使得其向右或向左移位；

繞偏航軸26旋轉(zhuǎn)，使無人機(jī)的主軸向右或向左樞轉(zhuǎn)；以及

通過改變氣體控制來向下或向上平移，從而相應(yīng)地減少或增加無人機(jī)的高度。

當(dāng)用戶從遙控設(shè)備16施加這些駕駛命令時(shí)，由設(shè)備16繞其縱向軸28和其橫向軸30傾斜來分別獲得繞俯仰軸22和旋轉(zhuǎn)軸24樞轉(zhuǎn)的命令a)和b)：例如，為了使得無人機(jī)向前移動，只需要通過繞軸28傾斜遙控設(shè)備16來向前傾斜它，為了使得其向右側(cè)移動，只需要通過繞軸30向右傾斜遙控設(shè)備16來傾斜它，等等。命令c)和d)本身是通過用戶的手指20在觸摸屏18的相應(yīng)特定區(qū)域上的觸摸而施加的動作的結(jié)果。

無人機(jī)還具有自動和自主的懸浮飛行穩(wěn)定系統(tǒng)，一旦用戶將其手指移離該設(shè)備的觸摸屏，該系統(tǒng)就被激活，或在起飛階段結(jié)束時(shí)自動激活，或還可在該設(shè)備和無人機(jī)之間的無線電鏈接中斷的情況下被激活。

圖2a示意地在側(cè)面上示出當(dāng)在升程時(shí)無人機(jī)靜止時(shí)的其姿態(tài)。

常規(guī)類型的(例如覆蓋54°視野的相機(jī))以及其視軸δ在地平線中心的前置相機(jī)14所覆蓋的視野以36來示意性地示出。

如果，如在圖2b中所示，無人機(jī)以非零的水平速度向前移動，按照設(shè)計(jì)，該無人機(jī)的軸26將相對于垂直V前傾角(俯仰角)。由箭頭38圖示出的這種前傾涉及相機(jī)相對于水平面HZ的軸δ的由箭頭40所圖示的相同值的傾斜。因此，可以理解，在無人機(jī)的行進(jìn)期間，當(dāng)無人機(jī)加速或減速等等時(shí)，軸δ繞水平方向HZ持久地振動，這在該圖像中將轉(zhuǎn)換成持久的向上和向下振動移動。

相較而言，如果無人機(jī)向右側(cè)或左側(cè)移動，該移動將伴有繞滾轉(zhuǎn)軸24的樞轉(zhuǎn)，這在該圖像中將轉(zhuǎn)換成在相機(jī)所捕捉的場景的一個(gè)方向或另一方向上的旋轉(zhuǎn)。

為補(bǔ)償這些缺陷，如在上述EP 2 933 775 A1(在2015年10月21日公布)中解釋的，提出了向相機(jī)提供覆蓋約180°視野的魚眼型半球形物鏡，如在圖2a中的42中示意性地示出的。配備有這一魚眼鏡頭的相機(jī)所捕捉的圖像將當(dāng)然經(jīng)受與常規(guī)相機(jī)相同的振動和旋轉(zhuǎn)移動，但通過選擇與常規(guī)相機(jī)捕捉的角扇區(qū)36相對應(yīng)的特定窗口，并且該特定窗口將在半球形圖像中在與由慣性中心確定的無人機(jī)的移動相對的方向上動態(tài)地位移，以便消滅否則將在圖像中觀察到的振動，這一相機(jī)捕捉的視野的僅一部分將被使用。

因此，在圖2b所示的情況中，其中無人機(jī)相對于垂直V下潛俯仰角(箭頭38)，捕捉窗口將被向上移位相同值的角度(箭頭44)，從而“虛擬相機(jī)”的覆蓋與圖像區(qū)域相對應(yīng)的視野的扇區(qū)36的中心軸返回朝向地平線HZ。

現(xiàn)將參考附圖3描述本發(fā)明的問題。

圖3在(a1)中示出場景的示例，如配備有魚眼鏡頭的攝像機(jī)的傳感器所收集的。

如可看到的，這一場景的圖像I包括魚眼鏡頭的半球形或準(zhǔn)半球形覆蓋所固有的、在傳感器的平面表面上將其變直的、非常強(qiáng)的幾何失真。

魚眼鏡頭產(chǎn)生的這一圖像I的僅一部分將被使用。這一部分是依據(jù)下述各項(xiàng)來確定的：i)“虛擬相機(jī)”所指向的方向，ii)后者的視野(在圖2a和2b中以36示出)，以及iii)其寬度/高度比。因此，定義了包含原始像素?cái)?shù)據(jù)的“捕捉區(qū)域”ZC，該區(qū)域包括與在對魚眼鏡頭所引起的幾何失真的補(bǔ)償之后的虛擬相機(jī)的視野相對應(yīng)的原始“有用區(qū)域”ZU_B。

將注意，捕捉在傳感器上形成的圖像I的所有像素不是有用的，而是僅捕捉后者的與捕捉區(qū)域ZC相對應(yīng)的一部分將是有用的，例如從由其分辨率通常將是14百萬像素(4608x 3288像素)的傳感器產(chǎn)生的HD質(zhì)量的圖像I提取的約2百萬像素窗口ZC(1920x 1080像素)。因此，只有捕捉區(qū)域ZC的真正需要的像素?cái)?shù)據(jù)被傳送，這是隨后以30幀/秒的節(jié)律來刷新而沒有特別困難的數(shù)據(jù)。因此，在保持高圖像流速率的同時(shí)可以選擇高分辨率的傳感器。

圖3的各視圖(a2)和(a3)示出了在捕捉區(qū)域ZC的像素?cái)?shù)據(jù)上執(zhí)行以獲得針對幾何失真進(jìn)行了補(bǔ)償?shù)淖罱K圖像的處理：基于從捕捉區(qū)域ZC(視圖(a2))傳送的像素?cái)?shù)據(jù)，一算法提取原始有用區(qū)域ZU_B的像素?cái)?shù)據(jù)并向其應(yīng)用三角網(wǎng)格(顧名思義的技術(shù))，隨后通過拉伸每一三腳來將圖像變直，以給出具有經(jīng)矯正的像素?cái)?shù)據(jù)的經(jīng)變直的有用圖像ZU_R(視圖(a3))。魚眼圖像的非常彎曲的水平線隨后將被校正以使得它們成直線，并且產(chǎn)生對應(yīng)于自然視覺的圖像，而沒有幾何失真。

圖3的視圖(b1)-(b3)類似于視圖(a1)-(a3)，其中無人機(jī)的姿態(tài)由于無人機(jī)的前傾(繞其俯仰軸旋轉(zhuǎn))(例如跟隨在從靜止配置、懸停飛行的切換的傾斜)而被修改到向前移動的配置(無人機(jī)的線性速度在其傾斜很強(qiáng)時(shí)更大)。

如在(b1)中所示，為補(bǔ)償無人機(jī)的這一下傾，捕捉區(qū)域ZC朝圖像的頂部移動，因此在與無人機(jī)的傾斜相對的方向上移動。如果原始有用區(qū)域ZU_B的相對位置在捕捉區(qū)域ZC內(nèi)保持基本上相同(以允許瞄準(zhǔn)場景的后續(xù)部分)，則另一方面捕捉區(qū)域現(xiàn)在將包括地面S的比天空C顯著得多的部分：如果隨后比較視圖(a2)和(b3)，可觀察到在初始配置(視圖(a2))中，天空/地面比率是約50/50％，而在經(jīng)修改的配置中(視圖(b2))，天空/地面比率是約25/75％。此外，在強(qiáng)烈地向上位移時(shí)，捕捉區(qū)域可包括位于由傳感器上的魚眼鏡頭形成的圓形圖像的區(qū)域之外的區(qū)域X。

另一方面，經(jīng)變直的有用區(qū)域的最終圖像ZUR(視圖(b3))將基本上等同于在無人機(jī)前傾之前的原貌(視圖(a3))。

圖4示出了分別在(a)視圖(a2)的情況下以及在(b)視圖(b2)的情況下通過分析來自捕捉區(qū)域ZC的縮略圖的像素的亮度而獲得的柱狀圖。

如在該附圖中可看到的，無人機(jī)前傾被轉(zhuǎn)換成亮度柱狀圖的顯著修改，其中均值M由于區(qū)域ZC的圖像中地面/天空比率的增加而朝向左側(cè)偏移。

自動曝光算法將均值M的這一變化解釋成圖像的變暗，這將通過增加曝光時(shí)間和/或相機(jī)敏感度來自動補(bǔ)償。

以此方式，分別獲得的最終圖像(a3)和(b3)(經(jīng)變直的有用區(qū)域ZU_R的圖像)將因它們的曝光設(shè)置而彼此不同，雖然它們顯示給用戶的是場景的相同幀，視圖(b3)的圖像比視圖(a3)的圖像更清楚。

本發(fā)明的目標(biāo)是校正這一缺陷。

圖5作為框圖示出了參與本發(fā)明的實(shí)現(xiàn)的不同模塊。

無人機(jī)的前置相機(jī)14遞送與圖像I相對應(yīng)的原始圖像信號。這一相機(jī)在機(jī)械上鏈接到無人機(jī)主體，經(jīng)受由鏈接到無人機(jī)主體并因而鏈接到相機(jī)的慣性單元(MU)12所測量的角位移。相機(jī)的旋轉(zhuǎn)通過俯仰角滾轉(zhuǎn)角θ以及偏航角ψ給出，描述了無人機(jī)相對于固定陸地參考系的在三個(gè)維度中的傾斜(歐拉角)。這些數(shù)據(jù)被應(yīng)用于角預(yù)測模塊48，從而引導(dǎo)計(jì)算捕捉區(qū)域ZC在圖像I中的位置的模塊。視頻處理模塊52接收原始圖像信號I作為輸入，并因變于由模塊50計(jì)算得到的捕捉區(qū)域ZC的位置進(jìn)行開窗、圖像穩(wěn)定化、有用區(qū)域的提取和變直的各操作，以向用戶遞送要傳送給用戶并可能被顯示和記錄的有用圖像信號ZU_R作為輸出。

模塊52還執(zhí)行相機(jī)操作參數(shù)的控制(由返回54來示出)，尤其是自動曝光(EA)、白平衡AWB以及自動聚焦AF的控制。模塊52還確保根據(jù)本發(fā)明的對與這些相機(jī)操作參數(shù)的自動計(jì)算有關(guān)的上述缺陷的校正，如下文將描述的。

圖6是在本發(fā)明的第一和第二實(shí)施例中解釋本發(fā)明的實(shí)現(xiàn)的主要連貫步驟的流程圖。

這一流程圖100包括由相機(jī)收集原始圖像I的初始步驟(框102)，此后是因變于由慣性單元IMU遞送的無人機(jī)姿態(tài)數(shù)據(jù)從這一原始圖像提取捕捉區(qū)域ZC的步驟(框104)。

本發(fā)明的特征在于，隨后步驟(框106)包括以將參考圖7和8詳細(xì)公開的方式分析捕捉區(qū)域的圖像數(shù)據(jù)，以遞送相機(jī)控制參數(shù)，尤其是自動曝光參數(shù)。

捕捉區(qū)域ZC的內(nèi)容隨后經(jīng)受提取原始有用區(qū)域ZU_B和重投影這一原始有用區(qū)域ZU_B的處理(框108)以給出與遞送給用戶的最終經(jīng)變直的圖像相對應(yīng)的經(jīng)變直的有用區(qū)域ZU_R。

參考圖7和8，現(xiàn)在將更詳細(xì)地描述由框106操作的數(shù)據(jù)分析的兩個(gè)可能的實(shí)施例。

另外，將注意，這一分析是在來自捕捉區(qū)域ZC中初始包含的圖像的縮略圖的基礎(chǔ)上(框104下游)在重投影步驟之前(108)執(zhí)行的，因此是在圖像的變形版本上執(zhí)行的。

圖7解說根據(jù)本發(fā)明的第一實(shí)施例的基于自動定義在來自捕捉區(qū)域的縮略圖內(nèi)的感興趣ROI區(qū)域來分析捕捉區(qū)域的各區(qū)域。

在這一實(shí)施例中，圖像分析設(shè)備定義(根據(jù)本質(zhì)上已知的技術(shù)，在此不詳細(xì)描述)多個(gè)感興趣ROI區(qū)域，它們是要分析的圖像的經(jīng)縮減大小的區(qū)域的幾何選集，其中為這些區(qū)域中的每一者確立一亮度柱狀圖。自動曝光算法分析并比較與不同ROI相對應(yīng)的柱狀圖并且根據(jù)本質(zhì)上也已知的分析技術(shù)來相應(yīng)地調(diào)整曝光水平。

本發(fā)明的特征在于，ROI被分布在來自捕捉區(qū)域的縮略圖中以全部或部分位于原始有用區(qū)域ZU_B內(nèi)部，即如果ROI定義算法生成了原始有用區(qū)域ZU_B外部的ROI，則這些ROI將從自動曝光控制的后續(xù)分析中排除。在任何情況下，位于由鏡頭在傳感器上形成的圖像的區(qū)域外部(圖3的視圖(b1)和(b2)的區(qū)域X)的像素?cái)?shù)據(jù)被從分析中排除。換言之，對于自動曝光的計(jì)算而言，位于圖像圓外部的像素被忽略。

此外，向感興趣區(qū)域ROI₁、……、ROI_n中的每一者分配將所關(guān)注的ROI與在捕捉區(qū)域內(nèi)定義的原始用戶有用區(qū)域ZU_B的或多或少的交疊程度納入考慮的加權(quán)值：該權(quán)重針對完全包括在區(qū)域ZU_B中的ROI將是最大值，針對完全位于區(qū)域ZU_B外部的ROI將為空(這將它們從分析中排除)，以及針對部分包括在區(qū)域ZU_B中的ROI是中間值(權(quán)重隨著ROI的表面區(qū)域位于區(qū)域ZU_B內(nèi)部的比例更高而更高)。

圖8解說第二實(shí)施例，其中ROI不再被動態(tài)地定義和具有可變大小，而是作為來自捕捉區(qū)域ZC的縮略圖中的具有網(wǎng)格GR的規(guī)則網(wǎng)格，其中以與相關(guān)于圖7公開的第一實(shí)施例中相同的方式，該網(wǎng)格的每一基本方形或矩形ROI(i,j)將受到作為它與區(qū)域ZU_B的或多或少的交疊特性的函數(shù)的可變權(quán)重的影響。

圖9是在本發(fā)明的第三實(shí)施例中解釋本發(fā)明的實(shí)現(xiàn)的主要連貫步驟的流程圖。

在此第三實(shí)施例中，圖像數(shù)據(jù)分析并非在來自圖像的變形的初始版本的縮略圖(捕捉區(qū)域ZC和原始有用區(qū)域ZU_B)上執(zhí)行，其中權(quán)重被應(yīng)用于每一感興趣區(qū)域，而是在來自重投影步驟之后的經(jīng)變直的圖像的縮略圖上執(zhí)行。

在流程圖200上，框202(圖像收集)、204(提取捕捉區(qū)域ZC)、以及206(用戶區(qū)域的提取和重投影)類似于圖6的相應(yīng)框102、104、以及108。

另一方面，用于控制相機(jī)自動曝光參數(shù)的數(shù)據(jù)分析步驟(框208)在框206的下游操作，即在圖像的經(jīng)變直的版本上操作。自動曝光隨后常規(guī)地操作(自動定義ROI，等等)，而無需向每一ROI應(yīng)用反映這一ROI相對于原始有用區(qū)域ZU_B的位置的加權(quán)值。