提供具有傳遞穩(wěn)定的圖像序列的視頻相機的旋翼無人機的制作方法
【技術領域】
[0001] 本發(fā)明涉及諸如四旋翼直升機之類的旋翼無人機。
【背景技術】
[0002] 四旋翼直升機之類的旋翼無人機已被廣泛使用。此類無人機設有由相應的馬達伺 服控制的多個旋翼，這些馬達可以以不同方式被控制，從而在姿態(tài)和速度方面駕駛該無人 機。
[0003] 此類無人機的典型示例是法國巴黎鸚鵡股份有限公司的AR.無人機2. 0,其是一 種四旋翼直升機，該四旋翼直升機配備有一系列傳感器（加速度計、三軸陀螺儀、高度計）、 對無人機被指引朝向的場景的圖像進行捕捉的前置相機，以及對飛過的地面的圖像進行捕 捉的垂直視角相機。
[0004] 文獻W02010/061099 A2和EP2364757 Al (鸚鵡股份有限公司）描述了此種無人 機以及通過具有觸摸屏和集成的加速度計的電話或多媒體播放器（例如，iPhone類型的蜂 窩電話，或iPad類型的多媒體平板設備（美國蘋果公司的注冊商標））來駕駛后者的原理。 這樣的設備包括經由Wi-Fi(IEEE 802. 11)或藍牙（注冊商標）局域網類型的無線鏈路用 于檢測駕駛命令以及與無人機的雙向數據交換所需要的各種控制元素。為它們進一步提供 有觸摸屏，該觸摸屏顯示了由無人機的前置相機所捕捉的圖像以及疊加的允許通過用戶的 手指在該觸摸屏上的簡單觸摸來激活命令的一定數量的符號。
[0005] 無人機的前置攝像頭可被用于在"沉浸模式"中的駕駛，即在其中，用戶以如同他 自己在無人機上一樣的方式使用相機的圖像。它也可用作捕捉朝著無人機機頭的場景的圖 像序列。因此，用戶可以以相機或便攜式相機將由無人機承載的相同方式來使用無人機而 不是將其握在手中。拾取的圖像可以被記錄，隨后廣播，切換到視頻序列主存網站的上線狀 態(tài)，被發(fā)送給其他網絡用戶，在社交網絡上共享等。
[0006] 對于旨在被記錄和交流的這些圖像，期望它們具有最小可能的缺陷，具體說，是由 于無人機的虛假（spurious)運動導致的缺陷，所述缺陷將引起相機所捕捉的圖像的不合 時宜的擺動和顫動。
[0007] 具體而言，對于指向無人機的主要方向的相機，任何繞垂直于相機的軸的俯仰軸 (或偏航軸）的運動將產生嚴重破壞所捕捉的圖像的可讀性和質量的垂直（分別地，水平） 的擺動。類似地，任何繞滾動軸（相機的軸）的運動將引起圖像在一個方向上或另一方向 上的旋轉，損害了其可讀性。
[0008] 現(xiàn)在，諸如四旋翼直升機之類的旋翼無人機的位移（無論其是受用戶的控制還是 由自動駕駛來伺服控制）主要源自繞俯仰軸的傾斜運動（前向/后向位移）或繞滾動軸的 傾斜運動（向左/向右位移），這正是這樣的無人機的操作的原理所固有的性質。
[0009] 更確切地說，如果控制無人機以向下傾斜或"下潛"（繞俯仰角的傾斜），它將以一 個速度向前移動，傾斜角越大該速度越高。因此，如果控制它以便以相反方向"機頭向上"， 它的速度將逐漸下降，隨后將反向向后回去。同樣，對于繞滾動軸的傾斜的命令，無人機將 向右或向左傾斜，導致向右或向左的水平平移中的線性位移。
[0010] 任何無人機的向前或向后或向側面的線性位移涉及無人機的傾斜，并且因此伴隨 有相機所獲取的圖像的相應的移位、旋轉、擺動等效果。
[0011] 這些干擾在"沉浸駕駛"配置中是可接受的，只要它們是"用戶體驗"的部分。
[0012] 另一方面，如果事實是使用無人機作為移動視頻相機來捕捉將被記錄并隨后渲染 的序列的話，這些虛假運動將產生如下非常大的干擾：在圖像中的不重合和不穩(wěn)定的地平 線，由于無人機加速或減速的圖像中的上升和下降，以及虛假的旋轉和其他各種贗象。
[0013] EP 2613 214 Al (鸚鵡公司）描述了一種用于駕駛無人機以根據用戶選擇的模式 來拍攝圖像的方法，例如前向或橫向行進、全景或相機吊桿定義了告知無人機的軌跡。一旦 無人機在預定軌跡上穩(wěn)定住，激活視頻攝像并且由開環(huán)路控制來穩(wěn)定軌跡以避免反饋環(huán)路 控制固有的擺動。然而，事實是在這種情況下，當告知無人機的運動是均勻直線平移運動或 均勻旋轉運動時，通過修改無人機姿態(tài)控制環(huán)路的操作來避免繞設定點的虛假擺動以穩(wěn)定 軌跡。該事實不會對從無人機在前向/后向和/或向左/向右位移期間的加速或減速階段 時期內的傾斜運動所產生的圖像位移進行補償。
[0014] 已經提議了各種解決方案來確保對圖像中的這種位移的補償。
[0015] -種機械解決方案包括在鏈接到無人機主體的（由卡丹式懸架機動化和伺服受 控的）吊架中安裝相機，以便補償無人機的傾斜運動。這種解決分案具有幾個優(yōu)點，具體而 言，從其捕捉中穩(wěn)定圖像上游并允許大幅度的角度補償。另一方面，它涉及復雜和沉重的機 械系統(tǒng)（這對于飛行對象而言尤其不利），并且補償的效率受限于所使用的伺服控制的馬 達的最大加速和速度。
[0016] 另一種被稱為OIS(光學圖像穩(wěn)定）技術包括實時地移位相機鏡頭的或聚焦平面 中的傳感器的光學元件。在此所述穩(wěn)定性再次從圖像捕捉的上游被操作，并且該系統(tǒng)僅涉 及非常低的空間要求。另一方面，所述光學設計是復雜的，并且角度補償的最大幅度受限為 少許程度，而且，對于徒手拍攝照片的效果的補償來說是足夠的響應時間，但是對于移動中 的無人機的非常突然的運動的補償來說卻是太長了。
[0017] 最后，被稱為EIS(電子圖像穩(wěn)定）技術包括在傳感器上獲取比將被使用的捕捉區(qū) 域更大尺寸的固定區(qū)域。所述補償通過在相對于要被補償的運動的相反方向上將捕捉區(qū)域 平移至獲取區(qū)域來操作，所述傳感器僅發(fā)送對應于經穩(wěn)定化的圖像的一個子部分。這樣的 補償的實現(xiàn)是簡單的。另一方面，所述補償的幅度受限于在捕捉區(qū)域的尺寸和獲取區(qū)域的 尺寸之間的比率，即所使用的傳感器的有效尺寸。具體而言，角度補償的最大幅度受限為少 許程度。
[0018] 下述文章：
[0019] _ Miyauchi R等人，"使用相機姿勢信息的緊湊圖像穩(wěn)定系統(tǒng)（Compact Image Stabilization System Using Camera Posture Information)"，領域機器人學期刊，第 25 卷，第 4-5 號，2008,第 268-283 頁（2008)，以及
[0020] _ Miyauchi R等人，"使用相機姿勢信息的全向圖像穩(wěn)定系統(tǒng)的開發(fā) (Development of Omni-Directional Image Stabilization System Using Camera Posture Information) "，2007IEEE國際機器人和仿生學會議，2007年12月15-18日，第 920-925 頁，
[0021] 提議將這樣的EIS技術應用于由配備有"魚眼"類型的半球形視野的鏡頭（即覆 蓋約180°視野）的相機所捕捉的圖像中。整體地獲取原始圖像（這可能是實時的，因為它 是低分辨率CCD傳感器），經過矯正處理（以補償魚眼失真），隨后是根據承載相機的機器 人的移動的動態(tài)創(chuàng)建窗口處理。
[0022] ShiromaN等人的文章，"用于小尺寸具有人的外表的生物的緊湊圖像穩(wěn)定系統(tǒng) (CompactImageStabilizationSystemforSmal1-SizedHumanoid)'，，2008IEEE國際機 器人和仿生學會議的會刊，2009年2月21-26日，第149-154頁，描述了由遠程控制的機器 人捕捉的圖像的電子穩(wěn)定的可比較技術，其具有相同的局限性和缺陷。
[0023] 然而，這些圖像穩(wěn)定技術是可能的，僅僅是因為所述相機是具有低分辨率CCD傳 感器（640x480像素，即0.3百萬像素）的相機。另一方面，它們將不能應用于有用的HD質 量（1920x1080像素，即2百萬像素）的圖像的穩(wěn)定性，該圖像自身在非常高分辨率的原始 魚眼圖像上被窗口化，例如在分辨率為14百萬像素（4608x3288像素）的傳感器上形成的 圖像。在這些條件中，如果原始圖像整體被傳遞以供處理，這將對應于每個圖像的14百萬 像素的像素數據流，導致在該分辨率處的每秒6個圖像（ips)的級別的幀速率，這對于要求 幀速率接近30ips的流體視頻序列而目是不夠的。
[0024] 而且，所述圖像的一個區(qū)域的簡單平移在數學上不足以補償相機的旋轉，因為它 不是對由旋轉引起的視角的改變的真實校正。
[0025] 最后，它是一種通過對傳感器所獲取的圖像數據的后處理的補償，它不允許對某 些效應進行補償，例如運動引起的模糊和抖動（圖像的、低幅度和高頻率的、由無人機的馬 達的振動引起的波動）。

【發(fā)明內容】

[0026] 本發(fā)明的目的是提議一種由無人機（尤其是四旋翼直升機類型）的相機進行圖像 捕捉的新技術，它彌補了上述的缺陷并提供了下述優(yōu)點：
[0027] -與HD分辨率的圖像（例如流體視頻流）的實時傳遞相兼容；
[0028] _大幅度的角度補償；
[0029] -對非?？焖俸透呒铀俣鹊奈灰七M行補償的可能性；
[0030] -不增加空間需求或板上元件的重量；
[0031] -大大簡化了實現(xiàn)；
[0032] -對所有光學現(xiàn)象的補償，包括那些涉及由無人機的旋轉所引起的視角的改變的 現(xiàn)象；
[0033] -對高幅度且低頻率（搖晃（jelly))和低幅度且高頻率的（抖動）的波動的效 應的補償。
[0034] 本發(fā)明針對該目的提出一