提供具有傳遞穩(wěn)定的圖像序列的視頻相機(jī)的旋翼無(wú)人機(jī)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及諸如四旋翼直升機(jī)之類的旋翼無(wú)人機(jī)。
【背景技術(shù)】
[0002] 四旋翼直升機(jī)之類的旋翼無(wú)人機(jī)已被廣泛使用。此類無(wú)人機(jī)設(shè)有由相應(yīng)的馬達(dá)伺 服控制的多個(gè)旋翼，這些馬達(dá)可以以不同方式被控制，從而在姿態(tài)和速度方面駕駛該無(wú)人 機(jī)。
[0003] 此類無(wú)人機(jī)的典型示例是法國(guó)巴黎鸚鵡股份有限公司的AR.無(wú)人機(jī)2. 0,其是一 種四旋翼直升機(jī)，該四旋翼直升機(jī)配備有一系列傳感器（加速度計(jì)、三軸陀螺儀、高度計(jì)）、 對(duì)無(wú)人機(jī)被指引朝向的場(chǎng)景的圖像進(jìn)行捕捉的前置相機(jī)，以及對(duì)飛過(guò)的地面的圖像進(jìn)行捕 捉的垂直視角相機(jī)。
[0004] 文獻(xiàn)W02010/061099 A2和EP2364757 Al (鸚鵡股份有限公司）描述了此種無(wú)人 機(jī)以及通過(guò)具有觸摸屏和集成的加速度計(jì)的電話或多媒體播放器（例如，iPhone類型的蜂 窩電話，或iPad類型的多媒體平板設(shè)備（美國(guó)蘋(píng)果公司的注冊(cè)商標(biāo)））來(lái)駕駛后者的原理。 這樣的設(shè)備包括經(jīng)由Wi-Fi(IEEE 802. 11)或藍(lán)牙（注冊(cè)商標(biāo)）局域網(wǎng)類型的無(wú)線鏈路用 于檢測(cè)駕駛命令以及與無(wú)人機(jī)的雙向數(shù)據(jù)交換所需要的各種控制元素。為它們進(jìn)一步提供 有觸摸屏，該觸摸屏顯示了由無(wú)人機(jī)的前置相機(jī)所捕捉的圖像以及疊加的允許通過(guò)用戶的 手指在該觸摸屏上的簡(jiǎn)單觸摸來(lái)激活命令的一定數(shù)量的符號(hào)。
[0005] 無(wú)人機(jī)的前置攝像頭可被用于在"沉浸模式"中的駕駛，即在其中，用戶以如同他 自己在無(wú)人機(jī)上一樣的方式使用相機(jī)的圖像。它也可用作捕捉朝著無(wú)人機(jī)機(jī)頭的場(chǎng)景的圖 像序列。因此，用戶可以以相機(jī)或便攜式相機(jī)將由無(wú)人機(jī)承載的相同方式來(lái)使用無(wú)人機(jī)而 不是將其握在手中。拾取的圖像可以被記錄，隨后廣播，切換到視頻序列主存網(wǎng)站的上線狀 態(tài)，被發(fā)送給其他網(wǎng)絡(luò)用戶，在社交網(wǎng)絡(luò)上共享等。
[0006] 對(duì)于旨在被記錄和交流的這些圖像，期望它們具有最小可能的缺陷，具體說(shuō)，是由 于無(wú)人機(jī)的虛假（spurious)運(yùn)動(dòng)導(dǎo)致的缺陷，所述缺陷將引起相機(jī)所捕捉的圖像的不合 時(shí)宜的擺動(dòng)和顫動(dòng)。
[0007] 具體而言，對(duì)于指向無(wú)人機(jī)的主要方向的相機(jī)，任何繞垂直于相機(jī)的軸的俯仰軸 (或偏航軸）的運(yùn)動(dòng)將產(chǎn)生嚴(yán)重破壞所捕捉的圖像的可讀性和質(zhì)量的垂直（分別地，水平） 的擺動(dòng)。類似地，任何繞滾動(dòng)軸（相機(jī)的軸）的運(yùn)動(dòng)將引起圖像在一個(gè)方向上或另一方向 上的旋轉(zhuǎn)，損害了其可讀性。
[0008] 現(xiàn)在，諸如四旋翼直升機(jī)之類的旋翼無(wú)人機(jī)的位移（無(wú)論其是受用戶的控制還是 由自動(dòng)駕駛來(lái)伺服控制）主要源自繞俯仰軸的傾斜運(yùn)動(dòng)（前向/后向位移）或繞滾動(dòng)軸的 傾斜運(yùn)動(dòng)（向左/向右位移），這正是這樣的無(wú)人機(jī)的操作的原理所固有的性質(zhì)。
[0009] 更確切地說(shuō)，如果控制無(wú)人機(jī)以向下傾斜或"下潛"（繞俯仰角的傾斜），它將以一 個(gè)速度向前移動(dòng)，傾斜角越大該速度越高。因此，如果控制它以便以相反方向"機(jī)頭向上"， 它的速度將逐漸下降，隨后將反向向后回去。同樣，對(duì)于繞滾動(dòng)軸的傾斜的命令，無(wú)人機(jī)將 向右或向左傾斜，導(dǎo)致向右或向左的水平平移中的線性位移。
[0010] 任何無(wú)人機(jī)的向前或向后或向側(cè)面的線性位移涉及無(wú)人機(jī)的傾斜，并且因此伴隨 有相機(jī)所獲取的圖像的相應(yīng)的移位、旋轉(zhuǎn)、擺動(dòng)等效果。
[0011] 這些干擾在"沉浸駕駛"配置中是可接受的，只要它們是"用戶體驗(yàn)"的部分。
[0012] 另一方面，如果事實(shí)是使用無(wú)人機(jī)作為移動(dòng)視頻相機(jī)來(lái)捕捉將被記錄并隨后渲染 的序列的話，這些虛假運(yùn)動(dòng)將產(chǎn)生如下非常大的干擾：在圖像中的不重合和不穩(wěn)定的地平 線，由于無(wú)人機(jī)加速或減速的圖像中的上升和下降，以及虛假的旋轉(zhuǎn)和其他各種贗象。
[0013] EP 2613 214 Al (鸚鵡公司）描述了一種用于駕駛無(wú)人機(jī)以根據(jù)用戶選擇的模式 來(lái)拍攝圖像的方法，例如前向或橫向行進(jìn)、全景或相機(jī)吊桿定義了告知無(wú)人機(jī)的軌跡。一旦 無(wú)人機(jī)在預(yù)定軌跡上穩(wěn)定住，激活視頻攝像并且由開(kāi)環(huán)路控制來(lái)穩(wěn)定軌跡以避免反饋環(huán)路 控制固有的擺動(dòng)。然而，事實(shí)是在這種情況下，當(dāng)告知無(wú)人機(jī)的運(yùn)動(dòng)是均勻直線平移運(yùn)動(dòng)或 均勻旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，通過(guò)修改無(wú)人機(jī)姿態(tài)控制環(huán)路的操作來(lái)避免繞設(shè)定點(diǎn)的虛假擺動(dòng)以穩(wěn)定 軌跡。該事實(shí)不會(huì)對(duì)從無(wú)人機(jī)在前向/后向和/或向左/向右位移期間的加速或減速階段 時(shí)期內(nèi)的傾斜運(yùn)動(dòng)所產(chǎn)生的圖像位移進(jìn)行補(bǔ)償。
[0014] 已經(jīng)提議了各種解決方案來(lái)確保對(duì)圖像中的這種位移的補(bǔ)償。
[0015] -種機(jī)械解決方案包括在鏈接到無(wú)人機(jī)主體的（由卡丹式懸架機(jī)動(dòng)化和伺服受 控的）吊架中安裝相機(jī)，以便補(bǔ)償無(wú)人機(jī)的傾斜運(yùn)動(dòng)。這種解決分案具有幾個(gè)優(yōu)點(diǎn)，具體而 言，從其捕捉中穩(wěn)定圖像上游并允許大幅度的角度補(bǔ)償。另一方面，它涉及復(fù)雜和沉重的機(jī) 械系統(tǒng)（這對(duì)于飛行對(duì)象而言尤其不利），并且補(bǔ)償?shù)男适芟抻谒褂玫乃欧刂频鸟R 達(dá)的最大加速和速度。
[0016] 另一種被稱為OIS(光學(xué)圖像穩(wěn)定）技術(shù)包括實(shí)時(shí)地移位相機(jī)鏡頭的或聚焦平面 中的傳感器的光學(xué)元件。在此所述穩(wěn)定性再次從圖像捕捉的上游被操作，并且該系統(tǒng)僅涉 及非常低的空間要求。另一方面，所述光學(xué)設(shè)計(jì)是復(fù)雜的，并且角度補(bǔ)償?shù)淖畲蠓仁芟逓?少許程度，而且，對(duì)于徒手拍攝照片的效果的補(bǔ)償來(lái)說(shuō)是足夠的響應(yīng)時(shí)間，但是對(duì)于移動(dòng)中 的無(wú)人機(jī)的非常突然的運(yùn)動(dòng)的補(bǔ)償來(lái)說(shuō)卻是太長(zhǎng)了。
[0017] 最后，被稱為EIS(電子圖像穩(wěn)定）技術(shù)包括在傳感器上獲取比將被使用的捕捉區(qū) 域更大尺寸的固定區(qū)域。所述補(bǔ)償通過(guò)在相對(duì)于要被補(bǔ)償?shù)倪\(yùn)動(dòng)的相反方向上將捕捉區(qū)域 平移至獲取區(qū)域來(lái)操作，所述傳感器僅發(fā)送對(duì)應(yīng)于經(jīng)穩(wěn)定化的圖像的一個(gè)子部分。這樣的 補(bǔ)償?shù)膶?shí)現(xiàn)是簡(jiǎn)單的。另一方面，所述補(bǔ)償?shù)姆仁芟抻谠诓蹲絽^(qū)域的尺寸和獲取區(qū)域的 尺寸之間的比率，即所使用的傳感器的有效尺寸。具體而言，角度補(bǔ)償?shù)淖畲蠓仁芟逓樯?許程度。
[0018] 下述文章：
[0019] _ Miyauchi R等人，"使用相機(jī)姿勢(shì)信息的緊湊圖像穩(wěn)定系統(tǒng)（Compact Image Stabilization System Using Camera Posture Information)"，領(lǐng)域機(jī)器人學(xué)期刊，第 25 卷，第 4-5 號(hào)，2008,第 268-283 頁(yè)（2008)，以及
[0020] _ Miyauchi R等人，"使用相機(jī)姿勢(shì)信息的全向圖像穩(wěn)定系統(tǒng)的開(kāi)發(fā) (Development of Omni-Directional Image Stabilization System Using Camera Posture Information) "，2007IEEE國(guó)際機(jī)器人和仿生學(xué)會(huì)議，2007年12月15-18日，第 920-925 頁(yè)，
[0021] 提議將這樣的EIS技術(shù)應(yīng)用于由配備有"魚(yú)眼"類型的半球形視野的鏡頭（即覆 蓋約180°視野）的相機(jī)所捕捉的圖像中。整體地獲取原始圖像（這可能是實(shí)時(shí)的，因?yàn)樗?是低分辨率CCD傳感器），經(jīng)過(guò)矯正處理（以補(bǔ)償魚(yú)眼失真），隨后是根據(jù)承載相機(jī)的機(jī)器 人的移動(dòng)的動(dòng)態(tài)創(chuàng)建窗口處理。
[0022] ShiromaN等人的文章，"用于小尺寸具有人的外表的生物的緊湊圖像穩(wěn)定系統(tǒng) (CompactImageStabilizationSystemforSmal1-SizedHumanoid)'，，2008IEEE國(guó)際機(jī) 器人和仿生學(xué)會(huì)議的會(huì)刊，2009年2月21-26日，第149-154頁(yè)，描述了由遠(yuǎn)程控制的機(jī)器 人捕捉的圖像的電子穩(wěn)定的可比較技術(shù)，其具有相同的局限性和缺陷。
[0023] 然而，這些圖像穩(wěn)定技術(shù)是可能的，僅僅是因?yàn)樗鱿鄼C(jī)是具有低分辨率CCD傳 感器（640x480像素，即0.3百萬(wàn)像素）的相機(jī)。另一方面，它們將不能應(yīng)用于有用的HD質(zhì) 量（1920x1080像素，即2百萬(wàn)像素）的圖像的穩(wěn)定性，該圖像自身在非常高分辨率的原始 魚(yú)眼圖像上被窗口化，例如在分辨率為14百萬(wàn)像素（4608x3288像素）的傳感器上形成的 圖像。在這些條件中，如果原始圖像整體被傳遞以供處理，這將對(duì)應(yīng)于每個(gè)圖像的14百萬(wàn) 像素的像素?cái)?shù)據(jù)流，導(dǎo)致在該分辨率處的每秒6個(gè)圖像（ips)的級(jí)別的幀速率，這對(duì)于要求 幀速率接近30ips的流體視頻序列而目是不夠的。
[0024] 而且，所述圖像的一個(gè)區(qū)域的簡(jiǎn)單平移在數(shù)學(xué)上不足以補(bǔ)償相機(jī)的旋轉(zhuǎn)，因?yàn)樗?不是對(duì)由旋轉(zhuǎn)引起的視角的改變的真實(shí)校正。
[0025] 最后，它是一種通過(guò)對(duì)傳感器所獲取的圖像數(shù)據(jù)的后處理的補(bǔ)償，它不允許對(duì)某 些效應(yīng)進(jìn)行補(bǔ)償，例如運(yùn)動(dòng)引起的模糊和抖動(dòng)（圖像的、低幅度和高頻率的、由無(wú)人機(jī)的馬 達(dá)的振動(dòng)引起的波動(dòng)）。

【發(fā)明內(nèi)容】

[0026] 本發(fā)明的目的是提議一種由無(wú)人機(jī)（尤其是四旋翼直升機(jī)類型）的相機(jī)進(jìn)行圖像 捕捉的新技術(shù)，它彌補(bǔ)了上述的缺陷并提供了下述優(yōu)點(diǎn)：
[0027] -與HD分辨率的圖像（例如流體視頻流）的實(shí)時(shí)傳遞相兼容；
[0028] _大幅度的角度補(bǔ)償；
[0029] -對(duì)非?？焖俸透呒铀俣鹊奈灰七M(jìn)行補(bǔ)償?shù)目赡苄裕?br>[0030] -不增加空間需求或板上元件的重量；
[0031] -大大簡(jiǎn)化了實(shí)現(xiàn)；
[0032] -對(duì)所有光學(xué)現(xiàn)象的補(bǔ)償，包括那些涉及由無(wú)人機(jī)的旋轉(zhuǎn)所引起的視角的改變的 現(xiàn)象；
[0033] -對(duì)高幅度且低頻率（搖晃（jelly))和低幅度且高頻率的（抖動(dòng)）的波動(dòng)的效 應(yīng)的補(bǔ)償。
[0034] 本發(fā)明針對(duì)該目的提出一