專利名稱：用于多攝像裝置校準的方法與裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于確定多個攝像裝置間校準數(shù)據(jù)的方法。
背景技術(shù)：
從不同視角的多個攝像裝置的校準數(shù)據(jù)被使用，每當來自ー個攝像裝置的數(shù)據(jù)不得不被關(guān)聯(lián)至來自另ー個攝像裝置的數(shù)據(jù)，例如在對由這些攝像裝置查看的場景的完整3D重建過程中，當執(zhí)行人員的3D跟蹤時或在計算機生成圖像的應(yīng)用，例如用于增強現(xiàn)實的應(yīng)用。校準數(shù)據(jù)通常包括內(nèi)部的及外部的攝像裝置參數(shù)。前者涉及攝像裝置內(nèi)部自身的度量，例如像素大小、寬高比、傾斜(skew)與主點(principal point)。外部校準數(shù)據(jù)涉及該攝像裝置的位置與視向(viewing direction),或者相對于特定的世界坐標系(worldframe)，或者相對于另一(參考)攝像裝置。 該等內(nèi)部校準參數(shù)并不依賴于該攝像裝置的位置，因而可被假定是已知的，因為這些一般是由該攝像裝置給出的或者是被估得的。在另一方面，該等攝像裝置的相對位置及視向是未知的變量。每次攝像裝置被移置或移動時，例如在創(chuàng)建電影圖像的過程中，或者在利用移動設(shè)備捕獲圖像的過程中，或者在捕獲圖像的網(wǎng)絡(luò)攝像頭的移動過程中，這些變量會變化。用于提供這些外部校準數(shù)據(jù)的已知技術(shù)通常涉及ー些人為介入，其中，這些位置或者是人工測得的，或者是利用ー些人工介入技術(shù)來獲得的。完全自動化的技術(shù)存在，但僅針對該等攝像裝置間的視角與位置的差別的有限情況，因為處理從不同視點所獲得的圖像中的變形是很困難的。這些有限情況僅涉及例如該等攝像裝置間的短距離及小視角差別。

發(fā)明內(nèi)容
因而本發(fā)明實施例的ー個目的是提供上面已知種類、但完全自動化的方法，該方法可工作于多個攝像裝置，而無關(guān)其相對位置。根據(jù)本發(fā)明的實施例，該目的通過該方法得以實現(xiàn)，該方法包括通過對由所述攝像裝置拍攝自同一場景的各自圖像執(zhí)行各自的幾何分析，確定用于在所述各自圖像上識別至少一個各自的單應(yīng)性變換(homographic transformation)的各自參數(shù)的步驟；在所述各自圖像上執(zhí)行至少ー個各自組合的單應(yīng)性變換/特性檢測步驟，從而獲得關(guān)于各自經(jīng)變換的圖像的各自特性集的步驟，以使所述校準數(shù)據(jù)根據(jù)在所述各自特性集間所確定的匹配來獲得。由此，ー種通用且完全自動化的技術(shù)通過確定參數(shù)得以獲得，該等參數(shù)在由所述攝像裝置獲取自同一場景的各自圖像中識別至少ー個合適的單應(yīng)性變換。該等單應(yīng)性變換自身依賴于所述攝像裝置與建立的場景，是通過對所述各自圖像執(zhí)行幾何分析來獲得的。進ー步地，通過確定所述各自經(jīng)轉(zhuǎn)換圖像上各自特性集之間的對應(yīng)項或匹配，來自ー個攝像裝置相對另ー個的外部校準參數(shù)可被獲得。
該過程可按需要被重復于整個集合中的任意攝像裝置對，以獲得全部多個攝像裝置的校準。因而該校準數(shù)據(jù)可包括關(guān)于所述攝像裝置間的相對位置和/或相對視向差別的信息。該相對位置可用相對距離來表述，而該相對視向差別可用該等攝像裝置間的相對傾斜(tilting)、翻轉(zhuǎn)(rolling)和平移(panning)角度的差別來表述。識別各自單應(yīng)性變換的參數(shù)可通過對所捕獲場景——因而所述各自圖像——的幾何分析來被確定。這可以通過多種相對簡單的方式來實現(xiàn)——通過本文后續(xù)部分中所描述的實施例，將變得更清楚。一個變形可能涉及使用該等攝像裝置的各自圖像中所檢測的線段，而另ー變形可能例如涉及該等圖像中曲線段的比較。線條的角度、垂直性及并行性也可以被利用，也可以使用更高層次的技術(shù)，如檢測矩形及甚至對象識別。在另ー變形中，這些技術(shù)的組合也可以被使用。取決于所使用的場景幾何分析的類型，ー個或多個單應(yīng)性變換可按每個圖像被計 算得。更多的特性還在所附的權(quán)項與說明書中被進ー步地描述。本發(fā)明還涉及用于執(zhí)行本方法的實施例的設(shè)備、適用于執(zhí)行該方法的任一實施例的計算機程序，以及包括此類計算機程序的計算機可讀的存儲介質(zhì)。應(yīng)注意的是，用于該等權(quán)項的術(shù)語“包括”不應(yīng)被解讀為限于其后列出的裝置。因此，表述“ー種設(shè)備包括裝置A與B”的范圍不應(yīng)被限于僅由組件A和B組成的設(shè)備。這意味著對于本發(fā)明，該設(shè)備的僅相關(guān)的組件是A和B。


通過參考實施例的以下描述、結(jié)合其中的附圖，本發(fā)明的以上及其他目的與特性將更為清楚，本發(fā)明自身也會最佳地被理解。圖Ia示出該方法的實施例的高層示意框圖；圖Ib示出圖Ia的高層框圖的第一變形實施例；圖Ic示出圖Ia的高層框圖的第二變形實施例；圖2a示意性示出攝像裝置的內(nèi)部校準參數(shù)；圖2b示意性示出攝像裝置的外部校準參數(shù)；圖3a示出圖Ic所示出第一變形實施例的計算機實現(xiàn)；圖3b示出圖3a的實施例的變形，其中，內(nèi)部校準參數(shù)也被計算得到；圖4a_b示出圖3a實施例的更詳細的實施例，可優(yōu)選地被用于非自然場景。
具體實施例方式該描述與附圖僅闡述了本發(fā)明的原理。故應(yīng)理解，本領(lǐng)域技術(shù)人員將能夠設(shè)計各種裝置，該等裝置在此雖未被明確地描述或示出，但體現(xiàn)了本發(fā)明的原理并包含于其精神與范圍。進一歩地，在此所列出的所有示例主要g在專門僅用于教導目的，以幫助讀者理解該(等)發(fā)明人為推進現(xiàn)有技術(shù)所貢獻的、本發(fā)明的原理與概念，并且將被理解為對此類具體表述的范例與條件不作限制。而且，在此敘述本發(fā)明的原理、方面與實施例的所有陳述，以及其中的具體范例，g在包括其等同特征。
本領(lǐng)域技術(shù)人員應(yīng)理解，在此的任ー框圖表示實現(xiàn)本發(fā)明原理的示例性電路的概念性視圖。相似地，應(yīng)理解，任一流程圖、作業(yè)圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等表示不同步驟，該等步驟可大體在計算機可讀介質(zhì)中被表示，并被計算機或處理器執(zhí)行，無論該計算機或處理器是否被明確地不出。在圖中所示的各類元件的功能，可通過使用專用硬件被提供，也可通過使用可執(zhí)行軟件的硬件與適合的軟件相結(jié)合被提供。當由處理裝置提供時，所述功能可由単獨的專用處理裝置，由単獨的共享處理裝置，或由多個獨立的處理裝置提供，其中所述多個獨立的處理裝置中的若干個可能是被共享的。此外，所述術(shù)語“處理裝置”或“控制裝置”的明確使用，不應(yīng)當被解釋為唯一指代可執(zhí)行軟件的硬件，并且可能隱含了包括但不限于數(shù)字信號處理裝置(DSP)硬件、網(wǎng)絡(luò)處理裝置、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、用于存儲軟件的只讀存儲器(ROM)、隨機存取存儲器(RAM)、及非易失性存儲器。其他硬件，傳統(tǒng)的和/或自定義的，也可包括于此。相似地，在圖中所顯示的任何轉(zhuǎn)換裝置僅為概念性的。它們的功能可通過程序邏輯的操作、通過專用的邏輯、通過程序控制和專用邏輯的交互或者甚至手動地被實現(xiàn)，在此由實施者所選擇的特定技術(shù)能根據(jù)上下文被更具體地理解。 圖Ia示出該用于確定兩個攝像裝置的校準數(shù)據(jù)的方法的高層實施例。顯然，該實施例也可用于具有超過兩個攝像裝置的多個攝像裝置的情形。該校準數(shù)據(jù)一般包括內(nèi)部和外部攝像裝置參數(shù)。這些參數(shù)被分別示于圖2a和圖2b。該等內(nèi)部攝像裝置參數(shù)涉及該攝像裝置自身內(nèi)部的度量，例如如圖2a所示,例如涉及主點的兩個分量px與py,以及象素寬度(ax)、高度(ay)與傾斜(S)。圖2b示出該等外部攝像裝置參數(shù)，涉及這些攝像裝置間的相對位置及其視向。一般，該等攝像裝置之一將被作為參考攝像裝置，并且，對于該集合中的所有單個攝像裝置，其他攝像裝置的相對位置與相對視向隨后相對該參考攝像裝置被確定。該相對位置用(dx，dy，dz)表示，指攝像裝置I相對該參考攝像裝置的位置向量的三個分量。平移、傾斜與翻轉(zhuǎn)角度構(gòu)成攝像裝置I的視向相對該參考攝像裝置的參考視向的差值的三個分量。校準數(shù)據(jù)待確定的攝像裝置被定位于多視圖位置，意味著它們都能夠或多或少從同一場景獲取圖像。場景用于表示任何對象，風景、人體、動畫等等，它可由攝像裝置來光學對準(registered)。因此，“場景”不僅限于人物、風景等的普通圖像，還限于那些由攝像裝置可檢測的虛擬對象或真實對象。與現(xiàn)有方法相反，本方法的實施例將能夠生成外部攝像裝置校準數(shù)據(jù)，無關(guān)于這些攝像裝置間的相對距離與視向差。因此，該等外部攝像裝置參數(shù)涉及距離之差，例如該等攝像裝置的兩個主點間的差值或ー個攝像裝置的焦點與參考攝像裝置的原點間的差值。一般，該差值可被表示為包括如圖2b中所示的三個不同距離分量的位置向量。三個旋轉(zhuǎn)角度的差值，是如圖2b所示的且為本領(lǐng)域技術(shù)人員熟知的傾斜、平移與翻轉(zhuǎn)角度，一般用旋轉(zhuǎn)矩陣R來表示，該矩陣可由這三個角度α、β、Y計算所得
權(quán)利要求
1.用于在多視角位置為至少兩個攝像裝置(攝像裝置1，攝像裝置2)確定校準數(shù)據(jù)的方法，所述方法包括通過對由所述攝像裝置拍攝自同一場景的各自圖像(圖像1，圖像2)執(zhí)行各自的幾何分析，確定用于在所述各自圖像上識別至少一個各自的單應(yīng)性變換的各自參數(shù)((h1。。，...，!!1」，(h200,...,h222))的步驟，在所述各自圖像上執(zhí)行至少一個各自組合的單應(yīng)性變換/特性檢測，從而獲得關(guān)于各自經(jīng)變換的圖像的各自特性集(特性集1，特性集2)的步驟，以使所述校準數(shù)據(jù)根據(jù)在所述各自特性集間所確定的匹配來獲得。
2.根據(jù)權(quán)利要求I所述的方法，其中，所述校準數(shù)據(jù)包括關(guān)于所述攝像裝置之間的相對位置的信息。
3.根據(jù)權(quán)利要求I或2所述的方法，其中，所述校準數(shù)據(jù)包括關(guān)于所述攝像裝置之間的相對視向差別的信息。
4.根據(jù)權(quán)利要求I至3中任一項所述的方法，其中，所述至少一個各自組合的單應(yīng)性變換/特性檢測的步驟(300)包括變換所述各自圖像的步驟(302)，隨后在所述經(jīng)變換的圖像中進行特性檢測的步驟(301)。
5.根據(jù)權(quán)利要求I至3中任一項所述的方法，其中，所述至少一個各自組合的單應(yīng)性變換/特性檢測的步驟(300)包括所述各自圖像的像素坐標變換(3002)，隨后對部分被變換的圖像進行特性檢測(3001)直至所述各自圖像(圖像I)的所有像素坐標被變換的迭代過程。
6.根據(jù)權(quán)利要求I至5中任一項所述的方法，其中，所述各自的幾何分析的步驟(100)包括確定所述各自圖像上的線段。
7.根據(jù)權(quán)利要求I至5中任一項所述的方法，其中，所述各自的幾何分析的步驟(100)包括確定所述各自圖像上的弧段。
8.根據(jù)權(quán)利要求I至5中任一項所述的方法，其中，所述各自的幾何分析的步驟(100)包括在所述各自圖像上執(zhí)行對象識別。
9.根據(jù)權(quán)利要求6所述的方法，其中，所述各自的線段還被用于確定所述至少兩個攝像裝置之間的視角差別。
10.根據(jù)權(quán)利要求I至9中任一項所述的方法，其中，所述校準數(shù)據(jù)還根據(jù)所述各自的特性集被確定。
11.根據(jù)權(quán)利要求I至10中任一項所述的方法，其中，所述校準數(shù)據(jù)還根據(jù)用于識別所述各自的單應(yīng)性變換的所述參數(shù)來被確定。
12.根據(jù)在先權(quán)利要求中任一項所述的方法，其中，所述校準數(shù)據(jù)還包括內(nèi)部攝像裝置參數(shù)，其數(shù)值還可被基于所述匹配來優(yōu)化。
13.設(shè)備，適用于執(zhí)行根據(jù)在先權(quán)利要求I至12中所述的步驟中任一項。
14.一種計算機程序，適用于執(zhí)行根據(jù)權(quán)利要求I至13中任一項所述的方法。
15.一種計算機可讀的存儲介質(zhì)，包括根據(jù)權(quán)利要求14所述的計算機程序。
全文摘要
用于在多視角位置為至少兩個攝像裝置(攝像裝置1，攝像裝置2)確定校準數(shù)據(jù)的方法，包括通過對由所述攝像裝置拍攝自同一場景的各自圖像(圖像1，圖像2)執(zhí)行各自的幾何分析，確定用于在所述各自圖像上識別至少一個各自的單應(yīng)性變換的各自參數(shù)((h100，...，h122)，(h200，...，h222))的步驟，在所述各自圖像上執(zhí)行至少一個各自組合的單應(yīng)性變換/特性檢測，從而獲得關(guān)于各自經(jīng)變換的圖像的各自特性集(特性集1，特性集2)的步驟，以使所述校準數(shù)據(jù)根據(jù)在所述各自特性集間所確定的匹配來獲得。
文檔編號G06T7/00GK102834845SQ201180016318
公開日2012年12月19日 申請日期2011年3月8日 優(yōu)先權(quán)日2010年3月26日
發(fā)明者馬滕·阿茲, 唐尼·媞加替, 讓·弗朗索瓦·馬可, 薩米·利芬斯 申請人:阿爾卡特朗訊