利用特征識(shí)別的攝像機(jī)校準(zhǔn)的制作方法
【專(zhuān)利說(shuō)明】利用特征識(shí)別的攝像機(jī)校準(zhǔn)
【背景技術(shù)】
[0001] 攝像機(jī)校準(zhǔn)通常被用于視頻監(jiān)控應(yīng)用，該視頻監(jiān)控應(yīng)用需要確定所關(guān)注對(duì)象的物 理特性，諸如移動(dòng)速度、對(duì)象高度、尺寸等。精確校準(zhǔn)通常需要精密的測(cè)量，所述測(cè)量是對(duì)由 觀察場(chǎng)景的攝像機(jī)所捕獲的場(chǎng)景執(zhí)行的。這種測(cè)量操作可能是費(fèi)時(shí)的，并且如果要實(shí)現(xiàn)涉 及許多攝像機(jī)的大規(guī)模的監(jiān)控操作，這種測(cè)量還有可能是不現(xiàn)實(shí)的。

【發(fā)明內(nèi)容】

[0002] 因此，實(shí)用、易操作且有效的攝像機(jī)校準(zhǔn)方法、程序和技術(shù)將在本文中描述。在 一些實(shí)施方式中，攝像機(jī)校準(zhǔn)方法被提供用于視頻安全應(yīng)用，其被配置來(lái)通過(guò)處理由在平 面上方且朝向下方安裝的攝像機(jī)所捕獲的視頻流來(lái)檢測(cè)和跟蹤在平面（例如地面、樓層地 板）上停留或移動(dòng)的通常類(lèi)型的對(duì)象（例如，人、車(chē)輛）。本文描述的校準(zhǔn)方法需要用戶(hù)極 少費(fèi)力地或甚至完全不費(fèi)力地對(duì)攝像機(jī)進(jìn)行校準(zhǔn)。在一些實(shí)現(xiàn)方式中，用戶(hù)可以簡(jiǎn)單地指 定或識(shí)別對(duì)象（例如，具有已知高度的人、具有已知長(zhǎng)度的車(chē)）；和/或在攝像機(jī)視場(chǎng)中的 幾個(gè)位置處識(shí)別這類(lèi)對(duì)象的特征；或指明在受監(jiān)控平面上的線條（例如平面上的平行線、 正交于平面的垂線、在線條之間具有已知角度的平面上的線條）之間已知的幾何形狀/結(jié) 構(gòu)模型。利用這些被識(shí)別特征，觀察該場(chǎng)景的攝像機(jī)能夠根據(jù)所述被識(shí)別特征來(lái)校準(zhǔn)。在 一些實(shí)現(xiàn)方式中，攝像機(jī)校準(zhǔn)可以自動(dòng)地根據(jù)例如下面列出的基于聚類(lèi)的方法來(lái)實(shí)現(xiàn)：1) 檢測(cè)并跟蹤出現(xiàn)在攝像機(jī)視野內(nèi)的對(duì)象；2)通過(guò)聚類(lèi)操作來(lái)學(xué)習(xí)獲得對(duì)象特征的模型，并 且自動(dòng)地執(zhí)行對(duì)象分類(lèi)；以及，3)識(shí)別被分類(lèi)對(duì)象的特征，以便提取用于使用攝像機(jī)自動(dòng) 校準(zhǔn)的約束數(shù)據(jù)。
[0003] 因此，在一些實(shí)施方式中提供了校準(zhǔn)攝像機(jī)的方法。該方法包括：通過(guò)攝像機(jī)捕獲 場(chǎng)景的幀；識(shí)別出現(xiàn)在捕獲到的幀中的特征，所述特征與代表一個(gè)或多個(gè)對(duì)象的物理屬性 的預(yù)先確定的值相關(guān)聯(lián)；以及，基于出現(xiàn)在捕獲到的幀中的被識(shí)別特征和與這些被識(shí)別特 征相關(guān)的預(yù)先確定的值來(lái)確定攝像機(jī)的參數(shù)。
[0004] 該方法的實(shí)施方式可以包括本公開(kāi)內(nèi)容中所描述的特征中的至少一些特征，其中 包括一個(gè)或多個(gè)下列特征。
[0005] 識(shí)別出現(xiàn)在捕獲到的幀中的特征可以包括：自動(dòng)地檢測(cè)出現(xiàn)在一個(gè)或多個(gè)幀中的 至少一個(gè)對(duì)象；自動(dòng)地分類(lèi)出現(xiàn)在一個(gè)或多個(gè)幀中的被檢測(cè)的至少一個(gè)對(duì)象；以及，自動(dòng) 地識(shí)別被分類(lèi)的至少一個(gè)對(duì)象的特征，這些被自動(dòng)地識(shí)別的特征與代表關(guān)于至少一個(gè)被分 類(lèi)對(duì)象的物理屬性的預(yù)先確定的值相關(guān)聯(lián)。
[0006] 自動(dòng)地分類(lèi)被檢測(cè)的至少一個(gè)對(duì)象可包括：根據(jù)至少一個(gè)被檢測(cè)的對(duì)象的尺寸來(lái) 確定高寬比；根據(jù)被確定的高寬比來(lái)為至少一個(gè)對(duì)象確定對(duì)象類(lèi)型；以及，比較至少一個(gè) 對(duì)象的尺寸和對(duì)應(yīng)于被確定的對(duì)象類(lèi)型的聚類(lèi)中所存儲(chǔ)的統(tǒng)計(jì)測(cè)量結(jié)果。
[0007] 比較至少一個(gè)對(duì)象的尺寸可以包括：根據(jù)至少一個(gè)對(duì)象的尺寸來(lái)更新關(guān)于被持續(xù) 跟蹤的對(duì)象所訪問(wèn)的位置的對(duì)象尺寸的局部模型；以及，通過(guò)將局部模型與全局聚類(lèi)相關(guān) 聯(lián)來(lái)更新全局聚類(lèi)，所述局部模型具有匹配和全局聚類(lèi)相關(guān)聯(lián)的對(duì)象尺寸的對(duì)象尺寸。
[0008] 被分類(lèi)的至少一個(gè)對(duì)象可以包括以下項(xiàng)中的一個(gè)或多個(gè)，例如，與預(yù)先確定的平 均高度相關(guān)的人和/或與預(yù)先確定的平均長(zhǎng)度相關(guān)的車(chē)輛。
[0009] 確定攝像機(jī)的參數(shù)可以包括：確定以下項(xiàng)中的一個(gè)或多個(gè)，例如，攝像機(jī)的焦距 f、攝像機(jī)的傾角Φ、攝像機(jī)的偏轉(zhuǎn)角β，和/或在對(duì)應(yīng)于捕獲到的幀的場(chǎng)景平面上方的攝 像機(jī)的高度h。
[0010] 根據(jù)被識(shí)別特征來(lái)確定攝像機(jī)的參數(shù)可以包括：將關(guān)于被識(shí)別特征的約束條件的 誤差函數(shù)最小化。確定攝像機(jī)的參數(shù)還可以包括：利用RANSAC(隨機(jī)抽樣一致性算法）程 序移除噪聲約束（離群值）。
[0011] 被識(shí)別特征可以包括以下項(xiàng)中的一個(gè)或多個(gè)，例如，在場(chǎng)景的捕獲到的幀中的兩 個(gè)點(diǎn)之間的距離、從捕獲到的幀的平面延伸出的垂線、和/或在捕獲到的幀中的兩對(duì)點(diǎn)之 間延伸的兩條線，其中這兩條線中的一條線相對(duì)于這兩條線中的另一條線成一角度。
[0012] 在捕獲到的幀中的兩個(gè)點(diǎn)之間的距離可以包括：在場(chǎng)景的捕獲到的幀中的車(chē)輛的 長(zhǎng)度，該車(chē)輛與一近似的預(yù)先確定的長(zhǎng)度相關(guān)聯(lián)。
[0013] 從場(chǎng)景的平面延伸出的垂線可以包括：場(chǎng)景中人物的高度，該人物與一近似的預(yù) 先確定的尚度相關(guān)聯(lián)。
[0014] 該方法還可包括：根據(jù)出現(xiàn)在一個(gè)或多個(gè)捕獲到的幀中的對(duì)象的圖像的攝像機(jī)坐 標(biāo)并且根據(jù)被確定的攝像機(jī)參數(shù)來(lái)確定位于場(chǎng)景中的對(duì)象的屬性。
[0015] 對(duì)象的被確定屬性可以包括以下項(xiàng)中的一個(gè)或多個(gè)，例如，所述對(duì)象中的至少一 個(gè)對(duì)象在場(chǎng)景中的空間位置、速度、和/或所述對(duì)象中的至少一個(gè)對(duì)象在特定方向上的長(zhǎng) 度。
[0016] 在一些實(shí)施方式中，提出了一種系統(tǒng)。該系統(tǒng)包括：至少一個(gè)攝像機(jī)，其用于捕獲 幀數(shù)據(jù)；以及，一個(gè)或多個(gè)處理器，其被配置為執(zhí)行校準(zhǔn)所述至少一個(gè)攝像機(jī)的操作。所述 一個(gè)或多個(gè)處理器被配置來(lái)執(zhí)行的操作包括：通過(guò)至少一個(gè)攝像機(jī)來(lái)捕獲場(chǎng)景中的幀；識(shí) 別出現(xiàn)在捕獲到的幀中的特征，所述特征與代表一個(gè)或多個(gè)對(duì)象的物理屬性的預(yù)先確定的 值相關(guān)聯(lián)；根據(jù)出現(xiàn)在捕獲到的幀中的被識(shí)別特征和與被識(shí)別特征相關(guān)聯(lián)的預(yù)先確定的值 來(lái)確定所述至少一個(gè)攝像機(jī)的參數(shù)。
[0017] 系統(tǒng)的實(shí)施方式可以包括本公開(kāi)內(nèi)容所描述的特征中的至少一些特征，其中包括 以上關(guān)于方法所描述的特征中的至少一些特征。
[0018] 在一些實(shí)施方式中，提出了一種非易失性的計(jì)算機(jī)可讀媒介。該計(jì)算機(jī)可讀媒介 用一組可在處理器上執(zhí)行的計(jì)算機(jī)指令來(lái)進(jìn)行程序化，當(dāng)所述計(jì)算機(jī)指令執(zhí)行時(shí)將引發(fā)下 列操作，所述操作包括：由攝像機(jī)捕獲場(chǎng)景的幀；識(shí)別出現(xiàn)在捕獲到的幀中的特征，所述特 征與代表一個(gè)或多個(gè)對(duì)象的物理屬性的預(yù)先確定的值相關(guān)聯(lián)；以及，基于出現(xiàn)在捕獲到的 幀中的被識(shí)別特征和關(guān)于被識(shí)別特征的預(yù)先確定的值來(lái)確定攝像機(jī)的參數(shù)。
[0019] 計(jì)算機(jī)可讀媒介的實(shí)施方式可以包括本公開(kāi)內(nèi)容所描述的特征中的至少一些特 征，其中包括以上關(guān)于方法和系統(tǒng)所描述的特征中的至少一些特征。
[0020] 如本文中所用的，術(shù)語(yǔ)"大約"是指與標(biāo)準(zhǔn)值存在+/-10%的變化。要理解的是，上 述變化通常被包括在本文提供的給定值中，而無(wú)論其是否被特別指定。
[0021] 如在本文中（包括在權(quán)利要求中）所使用的，以"至少一個(gè)"或"一個(gè)或多個(gè)"限定 的術(shù)語(yǔ)項(xiàng)的列表中使用的"和"或者"或"，其指明所列舉的術(shù)語(yǔ)項(xiàng)的任意組合都是可以使用 的。例如，"A、B和C中的至少一個(gè)"的列表包括以下項(xiàng)的任意組合：A或B或C或AB或AC 或BC和/或ABC (即A并B并C)。此外，多于一次地出現(xiàn)或使用術(shù)語(yǔ)項(xiàng)A、B或C有可能進(jìn) 行擴(kuò)展，A、B和/或C的重復(fù)使用可以形成期望組合的一部分。例如，"A、B和C中的至少 一個(gè)"的列表還可以包括AA、AAB、AAA、BB等。
[0022] 除非定義了其它形式，否則本文所使用的所有技術(shù)和科學(xué)術(shù)語(yǔ)全部和本公開(kāi)內(nèi)容 所屬領(lǐng)域的任何一個(gè)普通技術(shù)人員所理解的普遍意思是相同的。
[0023] -個(gè)或多個(gè)實(shí)現(xiàn)方式的詳細(xì)內(nèi)容，都在下文的附圖和說(shuō)明書(shū)中進(jìn)行闡述。進(jìn)一步 的技術(shù)特征、方面內(nèi)容、和優(yōu)點(diǎn)從說(shuō)明書(shū)、附圖和權(quán)利要求的描述中會(huì)變得清楚。
【附圖說(shuō)明】
[0024] 圖IA是攝像機(jī)網(wǎng)絡(luò)的框圖。
[0025] 圖IB是攝像機(jī)的示例性實(shí)施方式的原理圖。
[0026] 圖2是校準(zhǔn)攝像機(jī)的示例性程序的流程圖。
[0027] 圖3是包括了俯視一場(chǎng)景的攝像機(jī)的示例性系統(tǒng)的框圖，其中對(duì)象位于所述場(chǎng)景 的實(shí)質(zhì)平展的平面上。
[0028] 圖4是由攝像機(jī)捕獲的示例性2D圖像平面視圖。
[0029] 圖5是自動(dòng)地檢測(cè)對(duì)象、為其分類(lèi)、并從被分類(lèi)的對(duì)象識(shí)別/提取特征的示例性程 序的流程圖。
[0030] 圖6是示出了方向格的框圖。
[0031] 圖7是2D圖像平面的示意圖。
[0032] 圖8是通用計(jì)算系統(tǒng)的原理圖。
[0033] 在不同圖形中，相同參考標(biāo)號(hào)指明相同的元素。
【具體實(shí)施方式】
[0034] 本文所公開(kāi)的內(nèi)容是方法、系統(tǒng)、裝置、設(shè)備、產(chǎn)品和其它實(shí)現(xiàn)方法，包括校準(zhǔn)攝像 機(jī)的方法（例如，將捕獲到的幀的坐標(biāo)關(guān)聯(lián)到對(duì)應(yīng)于該捕獲到的幀的空間物理位置），其中 該方法包括：由攝像機(jī)捕獲場(chǎng)景的幀；識(shí)別出現(xiàn)在捕獲到的幀中的特征，所述特征與代表 一個(gè)或多個(gè)對(duì)象的物理屬性的預(yù)先確定的值相關(guān)聯(lián)；以及，基于出現(xiàn)在捕獲到的幀中的被 識(shí)別特征和與被識(shí)別特征相關(guān)聯(lián)的預(yù)先確定的值來(lái)確定攝像機(jī)的參數(shù)。
[0035] 系統(tǒng)配詈和攝像機(jī)柃準(zhǔn)橾作
[0036] 通常，攝像機(jī)網(wǎng)絡(luò)中的每個(gè)攝像機(jī)具有相關(guān)的視點(diǎn)和視場(chǎng)。視點(diǎn)是指通過(guò)攝像機(jī) 由其來(lái)觀察物理區(qū)域的位置和角度。視場(chǎng)是指通過(guò)攝像機(jī)成像在幀中的物理區(qū)域。攝像機(jī) 網(wǎng)絡(luò)中的攝像機(jī)可以包括處理器，諸如數(shù)據(jù)信號(hào)處理器、或通用處理器，該處理器可以處理 幀從而校準(zhǔn)攝像機(jī)以便將捕獲到的幀的坐標(biāo)關(guān)聯(lián)到相應(yīng)于捕獲到的幀的空間物理位置。例 如，可以（自動(dòng)地或出于用戶(hù)目的地）識(shí)別出現(xiàn)在捕獲到的幀中的特征；并且可以根據(jù)被識(shí) 別特征和預(yù)先確定的值（這些預(yù)先確定的值代表與所述特征相關(guān)聯(lián)的一個(gè)或多個(gè)對(duì)象的 物理屬性（例如車(chē)的平均長(zhǎng)度、人的平均長(zhǎng)度等））來(lái)確定捕獲到的幀的攝像機(jī)的參數(shù)（舉 例而言，諸如攝像機(jī)焦距、攝像機(jī)的傾角和偏轉(zhuǎn)角和/或攝像機(jī)的垂直高度的參數(shù)）；且下 文中將更詳細(xì)地討論這些內(nèi)容。舉例而言，諸如人的高度的特征（即，與被識(shí)別為人的對(duì)象 相關(guān)聯(lián)的最長(zhǎng)垂直線）可以在幀中被識(shí)別；并且人的預(yù)先確定的平均高度（例如成年人） 可以被用來(lái)結(jié)合被識(shí)別出的高度特征，以便為校準(zhǔn)操作提供方便。
[0037] -個(gè)或多個(gè)攝像機(jī)還可以被配置來(lái)執(zhí)行其它操作，該操作例如包括：為出現(xiàn)在捕 獲到的幀中對(duì)象的運(yùn)動(dòng)進(jìn)行確定、對(duì)象跟蹤、對(duì)象分析等。在一些實(shí)施方式中，攝像機(jī)可以 將元數(shù)據(jù)（metadata)和移動(dòng)對(duì)象的圖像聯(lián)系起來(lái)。這種元數(shù)據(jù)定義且表示了對(duì)象的不同 特性。舉例說(shuō)明，元數(shù)據(jù)可以表示在攝像機(jī)視場(chǎng)內(nèi)的對(duì)象的位置（例如，在以攝像機(jī)的CCD 像素為