專利名稱：成像裝置參數(shù)估計方法及應用它的方法、裝置和系統(tǒng)的制作方法
技術領域：
本申請總體上涉及圖像處理。具體地，涉及利用圖像處理獲知獲取圖像所用成像裝置的部分參數(shù)的方法和裝置。進一步，本申請還涉及所述方法和裝置的應用，包括對象檢測、對象跟蹤和對象高度估測方法和裝置，成像裝置，以及監(jiān)控系統(tǒng)。
背景技術：
D. Hoiem, A. Efros R M. Hebert 白勺 “Putting Objects in Perspective", International Journal on Computer Vision, vol. 80, no. 1, pp. 3-15, 2008 (非專利文獻 1，其全部內容通過在此引用而合并到本申請文件中)提出了一種利用圖像中檢測到的人和車的大小，估計相機的參數(shù)，并將其反饋回檢測系統(tǒng)中改進檢測性能的方法。其核心思想在于人和車的實際大小(統(tǒng)計得到的平均大小)是已知的，又假定他們處在同一個水平面上，則通過物體檢測算法得到的它們在圖像中的位置和大小可以用于估計相機的參數(shù)。得到的參數(shù)可對二維圖像施加三維透視約束，通過反饋這一約束到物體檢測中可以改進檢測算法的性能。非專利文獻1中的技術方案要求相機的俯仰角的角度必須接近于零。而在諸如監(jiān)控等許多實際應用中，相機往往是俯拍的角度，偶爾也會存在仰拍的情況。這種情況下該方法就會失效。

發(fā)明內容
在下文中給出了關于本發(fā)明的簡要概述，以便提供關于本發(fā)明的某些方面的基本理解。應當理解，這個概述并不是關于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。本申請的一個目的是提出一種方案，使得在存在一定俯仰角的情況下也能估計相機參數(shù)，以便能夠對場景施加透視約束。因此，根據(jù)本申請的一個方面，提供了一種估計成像裝置參數(shù)的方法，包括獲取所述成像裝置所成圖像中的基準平面區(qū)域；檢測所述基準平面區(qū)域上的至少兩個對象在圖像中的位置和高度；基于所述至少兩個對象在所述圖像中的位置和高度，以及有關所述至少兩個對象的先驗知識，將所述成像裝置相對于所述基準平面區(qū)域的俯仰角和焦距之乘積作為一個物理量，聯(lián)合估計所述乘積以及所述成像裝置相對于所述基準平面區(qū)域的距離。本申請還提供了一種對象檢測方法，包括按照上述估計成像裝置參數(shù)的方法估計成像裝置的參數(shù)；基于所述參數(shù)對搜索窗口的大小施以透視約束，來在所述成像裝置所成圖像中檢測對象。本申請還提供了一種對象跟蹤方法，包括按照上述估計成像裝置參數(shù)的方法估計成像裝置的參數(shù)；基于所述參數(shù)對搜索窗口的大小施以透視約束，來在所述成像裝置所成圖像中跟蹤對象。
4
本申請還提供了一種對象高度估計方法，包括按照上述估計成像裝置參數(shù)的方法估計成像裝置的參數(shù)；基于所述參數(shù)對圖像施加透視約束，來根據(jù)圖像中檢測到的對象高度估計對象在真實世界中的實際高度。根據(jù)本申請的另一方面，提供了一種估計成像裝置參數(shù)的裝置，包括獲取所述成像裝置所成圖像中的基準平面區(qū)域的裝置；檢測所述基準平面區(qū)域上的至少兩個對象在圖像中的位置和高度的裝置；基于所述至少兩個對象在所述圖像中的位置和高度，以及有關所述至少兩個對象的先驗知識，將所述成像裝置相對于所述基準平面區(qū)域的俯仰角和焦距之乘積作為一個物理量，聯(lián)合估計所述乘積以及所述成像裝置相對于所述基準平面區(qū)域的距離的裝置。本申請還提供了一種對象檢測裝置，包括上述估計成像裝置參數(shù)的裝置；基于所述參數(shù)對搜索窗口的大小施以透視約束，來在所述成像裝置所成圖像中檢測對象的裝置。本申請還提供了一種對象跟蹤裝置，包括上述估計成像裝置參數(shù)的裝置；基于所述參數(shù)對搜索窗口的大小施以透視約束，來在所述成像裝置所成圖像中跟蹤對象的裝置。本申請還提供了一種對象高度估測裝置，包括上述估計成像裝置參數(shù)的裝置； 基于所述參數(shù)對圖像施加透視約束，來根據(jù)圖像中檢測到的對象高度估計對象在真實世界中的實際高度的裝置。根據(jù)本申請的又一方面，還提供了一種成像裝置，可以包括上述估計成像裝置參數(shù)的裝置，或者上述對象檢測裝置，或者上述對象跟蹤裝置，或者上述對象高度估測裝置。進一步，本申請還提供了一種監(jiān)控系統(tǒng)，其包括成像裝置以及上述估計成像裝置參數(shù)的裝置。最后，本申請還提供了一種程序產(chǎn)品，該程序產(chǎn)品包括機器可執(zhí)行的指令，當在信息處理設備上執(zhí)行所述指令時，所述指令使得所述信息處理設備執(zhí)行上述方法。本申請還提供了一種存儲介質，該存儲介質包括機器可讀的程序代碼，當在信息處理設備上執(zhí)行所述程序代碼時，所述程序代碼使得所述信息處理設備執(zhí)行上述方法。根據(jù)本申請所提供的實施例，能夠快速地估測存在一定俯仰角的成像裝置的參數(shù)，從而能夠將所估測的參數(shù)應用于多種計算機視覺應用當中。


參照下面結合附圖對本發(fā)明實施例的說明，會更加容易地理解本發(fā)明的以上和其它目的、特點和優(yōu)點。在附圖中，相同的或對應的技術特征或部件將采用相同或對應的附圖標記來表示。所述附圖連同下面的詳細說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進一步舉例說明本發(fā)明的優(yōu)選實施例和解釋本發(fā)明的原理和優(yōu)點。在附圖中圖1為根據(jù)本申請的一種實施方式的估計成像裝置參數(shù)的方法的流程圖；圖2為根據(jù)本申請的一種實施方式的方法用以估計成像裝置參數(shù)的圖像的一個示例；圖3為根據(jù)本申請的一種實施方式的方法的示意圖4為根據(jù)本申請的另一種實施方式的方法的流程圖；圖5為根據(jù)本申請的一種實施方式的估計成像裝置參數(shù)的裝置的示意圖；圖6為能夠用于實現(xiàn)本申請?zhí)峁┑母鲗嵤┓绞降挠嬎阍O備的例子的示意圖；圖7為根據(jù)本申請另一種實施方式的監(jiān)控系統(tǒng)的示意圖。
具體實施例方式在下文中將結合附圖對本發(fā)明的示范性實施例進行描述。為了清楚和簡明起見， 在說明書中并未描述實際實施方式的所有特征。然而，應該了解，在開發(fā)任何這種實際實施例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標，例如，符合與系統(tǒng)及業(yè)務相關的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有所改變。此外，還應該了解，雖然開發(fā)工作有可能是非常復雜和費時的，但對得益于本公開內容的本領域技術人員來說，這種開發(fā)工作僅僅是例行的任務。在此，還需要說明的一點是，為了避免因不必要的細節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與至少根據(jù)本發(fā)明的方案密切相關的裝置結構和/或處理步驟，而省略了與本發(fā)明關系不大的其他細節(jié)。尤其是，當涉及連接關系和信息的流動時，附圖中的圖示和說明書中的描述僅涉及與發(fā)明密切相關的部分，而未窮盡圖示或者列舉所有的連接和所有的信息流動。第一實施方式在根據(jù)成像裝置所成的圖像來推定成像裝置的參數(shù)時，如果使用一般的真空相機模型，需要推定的參數(shù)個數(shù)會達到11個。即使加入很多限制條件，如相機的水平軸與水平面平行等，對于存在俯仰角的相機，需要推定的參數(shù)個數(shù)還是會有3個相機俯仰角度、相機的高度和相機的焦距。在一些技術中，例如非專利文獻1，為了簡化問題而假設相機俯仰角度接近于0。 但這樣的話對于存在俯仰角的情況就會失效。本申請人在研究過程中發(fā)現(xiàn)，可以將相機俯仰角度和相機焦距結合起來作為一個參數(shù)，從而能夠比較容易地估計該參數(shù)和相機的高度。具體推導過程如下假設一共檢測到N個物體(物體可以是人、車、消防栓等可以被檢測到的東西)，如圖3所示，假設第i個物體的實際高度是h(i)(圖中所示為h，該值可以通過統(tǒng)計得到，比如人的平均高度約為1. 7m)，其底部中心在圖像中的位置是vf)(未圖示)，其頂部中心在圖像中的位置是(《,K” (未圖示)。這里，i、N為大于等于2的自然數(shù)，i ( N。如圖3所示，又假定相機俯仰角的角度為θ，焦距為f，所處的位置距離水平面的高度為h。，圖像中心位置的縱坐標為ν。(未圖示，只與圖像大小有關，已知)。注意在此我們假定相機的χ軸與水平面平行，即所拍攝的圖像是正的，沒有左右傾斜。但事實上本申請的實施方式也適用于χ軸不與水平面平行也就是說圖像存在左右傾斜的情況，在這種情況下，只不過下面的公式推導中存在坐標系的旋轉，并無其他實質性變化。根據(jù)針孔相機模型(此模型可以近似應用于各種類型的相機)，可以得到第i個物體的實際高度與其在圖像中的位置大小和相機參數(shù)存在如下關系
權利要求
1.一種估計成像裝置參數(shù)的方法，包括獲取所述成像裝置所成圖像中的基準平面區(qū)域；檢測所述基準平面區(qū)域上的至少兩個對象在圖像中的位置和高度；基于所述至少兩個對象在所述圖像中的位置和高度，以及有關所述至少兩個對象的先驗知識，將所述成像裝置相對于所述基準平面區(qū)域的俯仰角和焦距之乘積作為一個物理量，聯(lián)合估計所述乘積以及所述成像裝置相對于所述基準平面區(qū)域的距離。
2.如權利要求1所述的方法，其中，檢測所述基準平面區(qū)域上的至少兩個對象在圖像中的位置和高度包括在所述成像裝置所成的同一幅圖像中的所述基準平面區(qū)域上檢測至少兩個對象在圖像中的位置和高度。
3.如權利要求1所述的方法，其中，檢測所述基準平面區(qū)域上的至少兩個對象在圖像中的位置和高度包括在所述成像裝置保持位置和姿態(tài)基本不變的情況下所成的多幅圖像中的所述基準平面區(qū)域上檢測至少兩個對象在圖像中的位置和高度。
4.如權利要求1-3之一所述的方法，其中，聯(lián)合估計所述乘積以及所述成像裝置相對于所述基準平面區(qū)域的距離包括基于以下等式計算所述乘積和所述距離
5.一種對象檢測方法，包括按照如權利要求1-4之一所述的方法估計成像裝置的參數(shù)；基于所述參數(shù)對搜索窗口的大小施以透視約束，來在所述成像裝置所成圖像中檢測對象。
6.一種對象跟蹤方法，包括按照如權利要求1-4之一所述的方法估計成像裝置的參數(shù)；基于所述參數(shù)對搜索窗口的大小施以透視約束，來在所述成像裝置所成圖像中跟蹤對象。
7.一種對象高度估計方法，包括按照如權利要求1-4之一所述的方法估計成像裝置的參數(shù)；基于所述參數(shù)對圖像施加透視約束，來根據(jù)圖像中檢測到的對象高度估計對象在真實世界中的實際高度。
8.一種估計成像裝置參數(shù)的裝置，包括獲取所述成像裝置所成圖像中的基準平面區(qū)域的裝置； 檢測所述基準平面區(qū)域上的至少兩個對象在圖像中的位置和高度的裝置； 基于所述至少兩個對象在所述圖像中的位置和高度，以及有關所述至少兩個對象的先驗知識，將所述成像裝置相對于所述基準平面區(qū)域的俯仰角和焦距之乘積作為一個物理量，聯(lián)合估計所述乘積以及所述成像裝置相對于所述基準平面區(qū)域的距離的裝置。
9.如權利要求8所述的裝置，其中，檢測所述基準平面區(qū)域上的至少兩個對象在圖像中的位置和高度的裝置被配置為在所述成像裝置所成的同一幅圖像中的所述基準平面區(qū) 域上檢測至少兩個對象在圖像中的位置和高度。
10.如權利要求8所述的裝置，其中，檢測所述基準平面區(qū)域上的至少兩個對象在圖像 中的位置和高度的裝置被配置為在所述成像裝置保持位置和姿態(tài)基本不變的情況下所成 的多幅圖像中的所述基準平面區(qū)域上檢測至少兩個對象在圖像中的位置和高度的。
11.如權利要求8-10之一所述的裝置，其中，聯(lián)合估計所述乘積以及所述成像裝置相 對于所述基準平面區(qū)域的距離的裝置被配置為基于以下等式計算所述乘積和所述距離
12.—種對象檢測裝置，包括如權利要求8-11之一所述的估計成像裝置參數(shù)的裝置；基于所述參數(shù)對搜索窗口的大小施以透視約束，來在所述成像裝置所成圖像中檢測對 象的裝置。
13.一種對象跟蹤裝置，包括如權利要求8-11之一所述的估計成像裝置參數(shù)的裝置；基于所述參數(shù)對搜索窗口的大小施以透視約束，來在所述成像裝置所成圖像中跟蹤對 象的裝置。
14.一種對象高度估測裝置，包括如權利要求8-11之一所述的估計成像裝置參數(shù)的裝置；基于所述參數(shù)對圖像施加透視約束，來根據(jù)圖像中檢測到的對象高度估計對象在真實 世界中的實際高度的裝置。
15.一種成像裝置，包括如權利要求8-11之一所述的估計成像裝置參數(shù)的裝置。
16.一種成像裝置，包括如權利要求12所述的對象檢測裝置。
17.一種成像裝置，包括如權利要求13所述的對象跟蹤裝置。
18.—種成像裝置，包括如權利要求14所述的對象高度估測裝置。
19.一種監(jiān)控系統(tǒng)，包括 成像裝置；以及如權利要求8-11之一所述的估計成像裝置參數(shù)的裝置。
20.—種程序產(chǎn)品，該程序產(chǎn)品包括機器可執(zhí)行的指令，當在信息處理設備上執(zhí)行所述 指令時，所述指令使得所述信息處理設備執(zhí)行如權利要求1-7之一所述的方法。
21.一種存儲介質，該存儲介質包括機器可讀的程序代碼，當在信息處理設備上執(zhí)行 所述程序代碼時，所述程序代碼使得所述信息處理設備執(zhí)行如權利要求1-7之一所述的方法。
全文摘要
本申請涉及一種成像裝置參數(shù)估計方法及應用它的方法、裝置和系統(tǒng)。根據(jù)本申請所提供的實施例，獲取所述成像裝置所成圖像中的基準平面區(qū)域，檢測所述基準平面區(qū)域上的至少兩個對象在圖像中的位置和高度，然后基于所述至少兩個對象在所述圖像中的位置和高度，以及有關所述至少兩個對象的先驗知識，將所述成像裝置相對于所述基準平面區(qū)域的俯仰角和焦距之乘積作為一個物理量，聯(lián)合估計所述乘積以及所述成像裝置相對于所述基準平面區(qū)域的距離。根據(jù)本申請所提供的實施例，能夠快速地估測存在一定俯仰角的成像裝置的參數(shù)，從而能夠將所估測的參數(shù)應用于多種計算機視覺應用當中。
文檔編號H04N17/00GK102447942SQ20101050812
公開日2012年5月9日 申請日期2010年10月9日 優(yōu)先權日2010年10月9日
發(fā)明者劉玉宇 申請人:索尼公司