相機(jī)運(yùn)動(dòng)估計(jì)和校正的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及監(jiān)測(cè)和校正圖像設(shè)備和方法。在一個(gè)示例中，本發(fā)明設(shè)及監(jiān)測(cè)并校正 掃描圖像。
【附圖說(shuō)明】
[0002] 圖1示出了根據(jù)本發(fā)明的示例的示出了定位實(shí)驗(yàn)期間的方向誤差的曲線。
[0003] 圖2示出了根據(jù)本發(fā)明的示例的示出了實(shí)驗(yàn)期間的位置誤差的曲線。
[0004] 圖3示出了根據(jù)本發(fā)明的示例的示出了速度估計(jì)中的誤差的曲線。
[0005] 圖4示出了根據(jù)本發(fā)明示例的系統(tǒng)的框圖。
【具體實(shí)施方式】
[0006] 在各示例中，可W估計(jì)裝備有慣性測(cè)量單元（IMUK例如可W包括加速度計(jì)、磁力 計(jì)、巧螺儀和/或其他合適的設(shè)備中的一些或全部）W及掃描相機(jī)或其他通過逐帖掃描來(lái)獲 得圖像的圖像獲取系統(tǒng)（例如滾動(dòng)快口相機(jī)）的設(shè)備的姿態(tài)（pose)(即，位置和方向 (orientation))。為此，已經(jīng)研制了狀態(tài)估計(jì)器，例如其可W是或可W包括擴(kuò)展卡爾曼濾波 器、迭代最小化方法、滑動(dòng)窗口束調(diào)整或其他估計(jì)過程，其處理對(duì)IMU和相機(jī)的測(cè)量。在各種 示例中，狀態(tài)估計(jì)器可W用于對(duì)掃描相機(jī)的圖像中的特征的觀測(cè)。
[0007] 與全局快口相機(jī)相反，掃描相機(jī)順序地捕獲圖像的行，并且作為結(jié)果，可W在非零 持續(xù)時(shí)間的時(shí)間間隔（稱為圖像的讀出時(shí)間）期間捕獲整個(gè)圖像。對(duì)于消費(fèi)者設(shè)備（比如智 能手機(jī)）中的典型相機(jī)，讀出時(shí)間可W是幾十毫秒的數(shù)量級(jí)，運(yùn)足W引起潛在的顯著視覺失 真。如果忽略滾動(dòng)快口的效果，則估計(jì)精度可顯著下降。
[000引從掃描相機(jī)對(duì)單個(gè)圖像中的場(chǎng)景特征的觀察不能取決于單個(gè)相機(jī)姿態(tài)。在示例 中，在圖像讀出時(shí)間期間選擇參考時(shí)刻t。參考時(shí)刻t可被選為(例如)捕獲圖像的第一、最后 或中間行的時(shí)刻。如果在離該"參考"行n行遠(yuǎn)的圖像行上檢測(cè)到特征(例如，"角"點(diǎn)特征）， 可W通過下式描述它的測(cè)量：
[0009] z = h(Cpf (t+ntr) )+n (I)
[0010] 其中h是描述相機(jī)模型的測(cè)量函數(shù)(例如，透視函數(shù)），tr是捕獲兩個(gè)連續(xù)圖像行之 間的時(shí)間，n是測(cè)量噪聲，并且V (t+ntr)是特征在時(shí)間t+ntr處相對(duì)于相機(jī)帖的位置。該位 置矢量可W由下式給出：
[0011] + + 口）
[0012] 其中，;:'/非+ "〇是時(shí)間t+ntr處相機(jī)帖與參考的全局帖之間的旋轉(zhuǎn)矩陣/Pc(t+ ntr)是t+ntr處的相機(jī)位置，W及市:是全局帖中的特征位置。因此，不同圖像行處的特征測(cè) 量可W依賴于不同的相機(jī)姿態(tài)。在各示例中，為了針對(duì)狀態(tài)估計(jì)處理運(yùn)些測(cè)量，估計(jì)器的狀 態(tài)矢量可W每個(gè)圖像行包括一個(gè)相機(jī)姿態(tài)。然而，運(yùn)可能針對(duì)每個(gè)圖像使用將要包括在狀 態(tài)矢量中的上百個(gè)姿態(tài)，并且對(duì)于全部(除了相對(duì)短的)軌跡計(jì)算強(qiáng)度相對(duì)較大。
[0013] 使用掃描相機(jī)進(jìn)行狀態(tài)估計(jì)的某些方法可W采用某種形式的相機(jī)軌跡近似。例 如，某些僅視覺(vision-only)方法使用關(guān)于記錄圖像的時(shí)刻之間的相機(jī)運(yùn)動(dòng)的假設(shè)。在一 種情況下，相機(jī)運(yùn)動(dòng)可W被假設(shè)為線性變化，而在另一種情況下，可W使用運(yùn)動(dòng)的更高階模 型。在各示例中，為了良好的性能，W相對(duì)高的帖速率處理相機(jī)圖像，使得在圖像捕獲時(shí)間 之間的相機(jī)運(yùn)動(dòng)的改變相對(duì)較小。
[0014] 在各實(shí)例中，采用圖像讀出時(shí)間期間線性和旋轉(zhuǎn)速度恒定的假設(shè)。由于讀出時(shí)間 可W顯著小于使用圖像的時(shí)間段，運(yùn)可能是較不嚴(yán)格的假設(shè)。然而，在讀出時(shí)間期間相機(jī)的 運(yùn)動(dòng)曲線顯著改變(例如，當(dāng)設(shè)備是手持式W及人正在快速行走，或當(dāng)裝置被安裝在不平的 地上快速移動(dòng)的機(jī)器人上）的情況下，假設(shè)可能不成立。
[0015] 在各實(shí)例中，可W通過采用基于時(shí)間的函數(shù)方案來(lái)對(duì)相機(jī)的運(yùn)動(dòng)建模。該方法可 W描述復(fù)雜運(yùn)動(dòng)，但其代價(jià)是會(huì)增加計(jì)算強(qiáng)度。為了對(duì)快速變化的運(yùn)動(dòng)建模，描述軌跡的狀 態(tài)矢量可W具有大尺度（即，必須使用大尺度的基于時(shí)間的函數(shù)）。運(yùn)可能使得實(shí)時(shí)應(yīng)用困 難，而且采用基于時(shí)間方案的其他方法可W采用離線批處理估計(jì)。
[0016] 與各種情況相反，IMU測(cè)量可用于計(jì)算圖像讀出時(shí)間期間的相機(jī)軌跡，并且與使用 相機(jī)運(yùn)動(dòng)自身的模型相反，參數(shù)模型可W被用于對(duì)運(yùn)些運(yùn)動(dòng)估計(jì)中的誤差建模。在各示例 中，在圖像讀出時(shí)間期間的IMU位置被建模為：
[0017 ] 。+ r)二 7，,, (/ + T)+' 7), ('/ + r)
[0018] 其中估計(jì)6托(/+7)是通過從參考姿態(tài)開始對(duì)IMU測(cè)量進(jìn)行積分來(lái)計(jì)算的，W及使 用m基函數(shù)將誤差。武(/ + r)參數(shù)化為：
[0019] 。& (/+T) = 的 巧:) i=U
[0020] 其中Cl是未知的參數(shù)矢量，并且fi(T)是我們自由選擇的基函數(shù)。與該位置類似，基 于巧螺儀測(cè)量的傳播可W被用于計(jì)算在讀出時(shí)間期間對(duì)IMU方向的估計(jì)。運(yùn)些估計(jì)中的誤 差可W由一個(gè)3X1的誤差矢量g^ + r：)來(lái)描述，并且可W使用k基函數(shù)將其參數(shù)化為：
(4)
[0022] 其中di是未知參數(shù)矢量。該方法可W不包括任何關(guān)于軌跡的形式的假設(shè)，并且因 此可W描述任意復(fù)雜運(yùn)動(dòng)，只要任意復(fù)雜運(yùn)動(dòng)位于IMU傳感器的帶寬內(nèi)即可。同時(shí)，運(yùn)動(dòng)中 的誤差可W例如通過選擇基函數(shù)的數(shù)量而被建模為任意所需的各種等級(jí)的精度?？蒞選擇 基函數(shù)的類型和數(shù)量，使得可W事先預(yù)測(cè)近似誤差。在各示例中，即使使用相對(duì)少的項(xiàng)，誤 差可W被建模到足夠精度。
[0023] 在各示例中，在采用線性化的任意估計(jì)器(如擴(kuò)展卡爾曼濾波器或基于迭代最小 化的估計(jì)器）中，可W寫出關(guān)于測(cè)量殘差的估計(jì)器等式(可稱為基于卡爾曼濾波器估計(jì)器中 的"創(chuàng)新"），其可被定義為實(shí)際特征測(cè)量與基于狀態(tài)估計(jì)i預(yù)期測(cè)量之間的差異。然后運(yùn)些 殘差可W通過包括狀態(tài)估計(jì)的誤差5T的線性表達(dá)式進(jìn)行近似：
[0024] V-Z-h{x) (^5)
[0025] - Hx+n (6)
[00%]其中H是測(cè)量函數(shù)關(guān)于該狀態(tài)的雅可比矩陣。戈和芳不一定具有相同的參數(shù)設(shè)置 (例如，方向狀態(tài)估計(jì)通常經(jīng)由3X3旋轉(zhuǎn)矩陣或4X1單位四元數(shù)表示，而方向誤差通常經(jīng)由 最小的3 Xl參數(shù)設(shè)置表示。
[0027] 等式(2)可W根據(jù)IMU姿態(tài)被重寫為：
[0028] ^ '片化;/非 + "/, ')(。八-。八 ^ + W, )V'八 （7 )
[0029] 其中.作'和Cpi是IM財(cái)目對(duì)于相機(jī)的方向和位置，而抑(巧舶和Gpi(t+ntr)定義t+ntr 處的全局帖中的IMU的方向和位置。被用于計(jì)算期望測(cè)量的特征位置的估計(jì)，可W是：
[0030] 辦十，'如} ? 當(dāng)各化(《中如）（(咕/…。兵如十誠(chéng))）'個(gè)。拚 撕
[0031] 其中C表示估計(jì)器中量的估計(jì)?？蒞使用讀出期間的IMU測(cè)量W及在時(shí)間t處的IMU 狀態(tài)估計(jì)（"參考姿態(tài)"的估計(jì))來(lái)計(jì)算t+ntr處的IMU姿態(tài)。具體地，在t+ntr處估計(jì)的IMU位置 可W被計(jì)算為：
辦
[0033]其中，是IMU速度并且是IMU的估計(jì)的加速度，它們是使用加速度測(cè)量計(jì) 算的（在針對(duì)重力W及針對(duì)例如偏差、比例因子等的任意系統(tǒng)誤