專利名稱：用于處理視頻數(shù)據(jù)的方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理視頻數(shù)據(jù)的方法及系統(tǒng)，具體地，但非專門地涉及一種在智能視頻系統(tǒng)中用于處理視頻數(shù)據(jù)的方法及系統(tǒng)。
背景技術(shù)：
智能視頻系統(tǒng)在本領(lǐng)域中是公知的。通常，這種系統(tǒng)接收視頻幀作為輸入，并試圖使用背景減去技術(shù)以從圖像內(nèi)的背景中區(qū)分出感興趣的對(duì)象(例如，運(yùn)動(dòng)對(duì)象等)，來檢測該圖像內(nèi)感興趣的對(duì)象。也可以使用其他技術(shù)，例如基于運(yùn)動(dòng)的檢測技術(shù)。檢測到單個(gè)輸入幀內(nèi)的對(duì)象之后，該系統(tǒng)還可以用于使用檢測到的對(duì)象的某些特有特征逐幀地跟蹤該檢測到的對(duì)象。
典型的智能視頻系統(tǒng)包括多個(gè)處理階段，如圖1所示。在背景學(xué)習(xí)階段1中，使用視頻數(shù)據(jù)的初始片段建立背景模型。由于與前景中的對(duì)象相比，背景場景通常保持靜止，因此該階段生成在其中不應(yīng)看到任何運(yùn)動(dòng)的前景對(duì)象的背景模型。在第二階段3中，對(duì)各進(jìn)入的視頻幀執(zhí)行前景提取和背景自適應(yīng)。將進(jìn)入的幀與背景模型進(jìn)行比較，以確定哪些圖像像素表示前景對(duì)象及哪些圖像像素表示背景。各像素由此被分類，得到的圖像稱作對(duì)象掩模。而且，背景模型中的小的改變被自適應(yīng)地更新。在第三階段5中，逐幀地跟蹤對(duì)象掩模中識(shí)別出的前景區(qū)域。在當(dāng)前幀的前景對(duì)象與在先前的幀中已經(jīng)跟蹤到的前景對(duì)象之間建立對(duì)應(yīng)。維護(hù)軌跡數(shù)據(jù)庫，使得更高級(jí)的應(yīng)用可以利用各前景對(duì)象的跟蹤歷史，該更高級(jí)的應(yīng)用例如可以顯示指示視頻中的一個(gè)或更多個(gè)前景對(duì)象所經(jīng)的累計(jì)路徑的蹤跡線?？梢允褂脤?duì)象分類應(yīng)用對(duì)各前景對(duì)象的形狀與真實(shí)世界對(duì)象的數(shù)據(jù)庫進(jìn)行比較。如果發(fā)現(xiàn)了匹配，則將該前景對(duì)象適當(dāng)?shù)胤诸悶?例如)“人”或“車輛”。
在處理各幀之后，通常對(duì)背景模型執(zhí)行有效性檢查，以確保其仍有效。顯著的或突然的改變可能需要學(xué)習(xí)新的背景模型。
智能視頻系統(tǒng)用于視頻監(jiān)視是有利的。在許多監(jiān)視情況下，對(duì)于人類操作者來說，同時(shí)監(jiān)視大量視頻屏幕是不切實(shí)際的。通過識(shí)別對(duì)象并監(jiān)視其各自隨時(shí)間的運(yùn)動(dòng)，操作者無需一直監(jiān)視特定顯示器。在當(dāng)操作者未監(jiān)視該顯示器時(shí)出現(xiàn)事件的情況下，對(duì)象所經(jīng)的累計(jì)路徑是可見的，并且還可以離線地使用該視頻系統(tǒng)回顧該事件。
美國專利申請(qǐng)公報(bào)No.2003/0053659 A1中公開了一種已知的智能視頻系統(tǒng)。
現(xiàn)有技術(shù)中的已知問題是由進(jìn)入的視頻中出現(xiàn)的陰影導(dǎo)致的。通常，陰影將導(dǎo)致圖像區(qū)域看起來比其真實(shí)亮度暗。因此，在前景提取階段，投射陰影區(qū)域可能被不正確地檢測為前景，而事實(shí)上，該區(qū)域的像素實(shí)際上表示背景。由此，陰影可能導(dǎo)致來自前景提取階段3的對(duì)象掩模表現(xiàn)出前景形狀的畸變的表示。這在視頻系統(tǒng)的后續(xù)處理階段中具有明顯的缺點(diǎn)，尤其在該階段需要識(shí)別對(duì)象的形狀的情況下更為嚴(yán)重。
類似的問題是由加亮區(qū)的出現(xiàn)導(dǎo)致的。在該情況下，加亮區(qū)將導(dǎo)致圖像區(qū)域看起來比其真實(shí)亮度亮。
已經(jīng)提出了使用色恒定性信息和/或紋理信息來識(shí)別并去除陰影。然而，這種技術(shù)具有缺點(diǎn)。在確保大部分(即使不是全部)陰影被去除的情況下，真實(shí)前景區(qū)域也可能被去除。這是由于自陰影(即，對(duì)象投射在其自身上的陰影)導(dǎo)致的特殊問題。這導(dǎo)致其中出現(xiàn)前景對(duì)象的圖像成為碎片。后續(xù)處理階段可能將成為碎片的各部分視為獨(dú)立的對(duì)象。
Horprasert等人在“A Statistical Approach for Real-Time RobustBackground Subtraction and Shadow Detection”(IEEE ICCV Frame RateWorkshop，1999)中公開了一種已知的陰影去除方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供一種對(duì)表示視頻幀的像素的數(shù)據(jù)進(jìn)行處理的方法，所述像素已被預(yù)分類為屬于前景區(qū)域或背景區(qū)域，該方法包括以下步驟(a)在所述視頻幀中識(shí)別包括有兩個(gè)或更多個(gè)鄰接的前景像素的區(qū)域；(b)通過使用預(yù)定算法，在所述視頻幀中將一個(gè)或更多個(gè)前景像素識(shí)別為要重新分類的候選像素；(c)將所述候選像素重新分類為背景像素，并生成包括所述重新分類的像素的比較幀；(d)從所述比較幀中識(shí)別其各自的幀位置都在步驟(a)中識(shí)別出的區(qū)域內(nèi)的前景像素；以及(d)將步驟(d)中識(shí)別出的前景像素分類為表示共同的前景對(duì)象。
所述方法提供了一種例如在陰影去除操作中將前景像素重新分類為背景像素的有利途徑。通過對(duì)重新分類之前和之后的前景區(qū)域的交疊進(jìn)行比較，可以識(shí)別成為碎片的前景區(qū)域，然后將他們分類為表示共同的(即，同一)前景對(duì)象。前景對(duì)象在其形狀方面得到了較好的限定，后續(xù)處理階段將不把成為碎片的區(qū)域視為獨(dú)立的對(duì)象。
所述方法在視頻監(jiān)視中提供了特別的優(yōu)點(diǎn)。將表示多個(gè)視頻幀的數(shù)據(jù)從諸如視頻攝像機(jī)的源發(fā)送給被設(shè)置來執(zhí)行上述步驟的計(jì)算機(jī)系統(tǒng)?？梢詫?shí)時(shí)地執(zhí)行這些步驟，并在屏幕上顯示經(jīng)處理的圖像數(shù)據(jù)。
所述方法不限于視頻監(jiān)視應(yīng)用。事實(shí)上，所述方法可以用于任何需要從背景中提取前景區(qū)域的應(yīng)用。虛擬現(xiàn)實(shí)(VR)系統(tǒng)是利用前景提取的應(yīng)用的另一示例。
在說明書中，只要前景像素各自在幀中的位置彼此緊鄰，就認(rèn)為他們是鄰接的，而與方向無關(guān)。
優(yōu)選的是，步驟(b)包括以下步驟識(shí)別一個(gè)或更多個(gè)亮度(Yf)與占據(jù)基準(zhǔn)幀的相應(yīng)基準(zhǔn)像素的亮度(Yb)不同的前景像素；根據(jù)所述候選像素的顏色分量與所述基準(zhǔn)像素的顏色分量之間的預(yù)定關(guān)系，向所述識(shí)別出的像素或各識(shí)別出的像素分配參數(shù)；以及對(duì)所述參數(shù)進(jìn)行與指示是否應(yīng)將所述像素分類為候選像素的值的范圍的比較。
所述基準(zhǔn)幀可以包括存儲(chǔ)的從背景學(xué)習(xí)操作獲得的背景幀。
上述參數(shù)可以由下式給出RfRb+GfGb+BfBbRb2+Gb2+Bb2]]>其中，Rf、Gf、Bf分別表示前景像素的紅色分量、綠色分量和藍(lán)色分量，而Rb、Gb、Bb分別表示基準(zhǔn)像素的紅色分量、綠色分量和藍(lán)色分量。
如將在具體描述中描述的，另選的、更加復(fù)雜的表達(dá)式可以用于計(jì)算該數(shù)值參數(shù)。
在另選的實(shí)施例中，步驟(b)包括以下步驟識(shí)別一個(gè)或更多個(gè)亮度(Yf)與占據(jù)基準(zhǔn)幀的相應(yīng)基準(zhǔn)像素的亮度(Yb)不同的前景像素；根據(jù)所述候選像素的顏色分量與所述基準(zhǔn)像素的顏色分量之間的各自不同的第一關(guān)系和第二關(guān)系，向所述識(shí)別出的像素或各識(shí)別出的像素分配第一參數(shù)和第二參數(shù)；以及對(duì)所述第一參數(shù)和所述第二參數(shù)進(jìn)行分別與指示是否應(yīng)將所述像素分類為候選像素的值的第一范圍和第二范圍的比較。
在該另選的實(shí)施例中，所述第一參數(shù)由下式給出α2·Rf·Rb+β2·Gf·Gb+γ2·Bf·Bbα2·Rb2+β2·Gb2+γ2·Bb2]]>其中，α、β和γ為亮度系數(shù)。
步驟(a)中識(shí)別出的區(qū)域優(yōu)選地包含其尺寸足以包括各鄰接的前景像素的矩形像素陣列。優(yōu)選的是，所述陣列的各邊緣都包括所述鄰接的前景像素中的至少一個(gè)。
根據(jù)本發(fā)明的第二方面，提供了一種對(duì)表示視頻幀的像素的數(shù)據(jù)進(jìn)行處理的方法，所述像素已被預(yù)分類為屬于前景區(qū)域或背景區(qū)域，該方法包括以下步驟(a)將一個(gè)或更多個(gè)前景像素識(shí)別為要重新分類的候選像素；(b)根據(jù)所述候選像素與基準(zhǔn)像素之間的預(yù)定關(guān)系，向各候選像素分配數(shù)值參數(shù)；(c)針對(duì)各候選像素，將其參數(shù)與第一范圍的值進(jìn)行比較，如果所述參數(shù)落入所述第一范圍內(nèi)，則將所述像素重新分類為背景像素；(d)針對(duì)各候選像素，將其參數(shù)與處于所述第一范圍內(nèi)的第二范圍的值進(jìn)行比較，如果所述參數(shù)落入所述第二范圍內(nèi)，則將所述像素重新分類為背景像素；(e)提供分別包含有在步驟(c)和步驟(d)中被重新分類的各像素的第一組經(jīng)更新的圖像數(shù)據(jù)和第二組經(jīng)更新的圖像數(shù)據(jù)；(f)從所述第二組經(jīng)更新的圖像數(shù)據(jù)中識(shí)別包括有鄰接的前景像素簇的區(qū)域；以及(g)從所述第一組更新的圖像數(shù)據(jù)中識(shí)別其各自的位置都在步驟(f)中識(shí)別出的區(qū)域內(nèi)的多個(gè)前景像素，然后將所述多個(gè)前景像素分類為表示共同的對(duì)象。
根據(jù)本發(fā)明的第三方面，提供了一種對(duì)表示視頻序列的幀的數(shù)據(jù)進(jìn)行處理的方法，各幀都包括分別占據(jù)各自的幀位置的多個(gè)像素，該方法包括以下步驟(a)提供指示將像素分類為前景或背景的第一掩模；(b)識(shí)別所述第一掩模內(nèi)包含有鄰接的前景像素簇的區(qū)域；(c)針對(duì)各前景像素，通過將所述像素與存儲(chǔ)的基準(zhǔn)幀中占據(jù)相同的幀位置的基準(zhǔn)像素進(jìn)行比較，識(shí)別所述像素是否應(yīng)是要重新分類的候選像素；(d)將所有候選像素基本上重新分類為背景像素，并根據(jù)其生成指示重新分類之后的像素分類的第二掩模；(e)比較所述第一掩模和所述第二掩模，以識(shí)別所述第二掩模中的落入步驟(b)中識(shí)別出的區(qū)域內(nèi)的兩個(gè)或更多個(gè)前景像素；以及(f)提供將步驟(e)中識(shí)別出的前景像素識(shí)別為表示共同的對(duì)象的第三掩模。
根據(jù)本發(fā)明的第四方面，提供了一種被設(shè)置用以對(duì)表示視頻幀的像素的數(shù)據(jù)進(jìn)行處理的視頻處理系統(tǒng)，所述像素已被預(yù)分類為屬于前景區(qū)域或背景區(qū)域，該系統(tǒng)包括被設(shè)置用以進(jìn)行以下處理的裝置(a)在所述視頻幀中(i)識(shí)別包括有多個(gè)鄰接的前景像素的區(qū)域，并(ii)通過使用預(yù)定算法，將一個(gè)或更多個(gè)前景像素識(shí)別為要重新分類的候選像素；(b)將所述候選像素重新分類為背景像素，并生成包括有所述重新分類的像素的比較幀；(c)從所述比較幀中識(shí)別其各自的幀位置都在步驟(a)中識(shí)別出的區(qū)域內(nèi)的前景像素；以及(d)將步驟(c)中識(shí)別出的前景像素分類為表示共同的前景對(duì)象。
所述視頻處理系統(tǒng)可以形成視頻監(jiān)視系統(tǒng)的一部分。


下面將參照附圖通過示例來描述本發(fā)明，在附圖中圖1是示出了現(xiàn)有技術(shù)的智能視頻系統(tǒng)中的處理階段的框圖；圖2是示出了根據(jù)本發(fā)明的智能視頻系統(tǒng)的部件的框圖；圖3是示出了該智能視頻系統(tǒng)的處理階段的框圖；圖4表示該視頻系統(tǒng)的前景提取階段使用的背景模型的圖像；
圖5表示進(jìn)入前景提取階段的視頻幀；圖6表示由前景提取階段生成的前景掩模圖像；圖7是示出了該視頻系統(tǒng)的陰影去除階段的功能元件的框圖；圖8a-8f表示在陰影去除階段的不同階段生成的掩模圖像；圖9是示出了由陰影去除階段執(zhí)行的陰影去除操作中的各步驟的流程圖；圖10a-10b是表示由圖9的流程圖的不同步驟使用的值范圍的圖；圖11是示出了由陰影去除階段執(zhí)行的加亮區(qū)去除操作中的各步驟的流程圖；圖12a-12b是表示由圖11的流程圖的不同步驟使用的值范圍的圖；圖13是示出了第二優(yōu)選實(shí)施例中的陰影去除操作的步驟的流程圖；圖14a-14c是表示由圖13的流程圖的不同階段使用的值范圍的圖；圖15是示出了第二優(yōu)選實(shí)施例中的加亮區(qū)去除操作的步驟的流程圖；圖16a-16c是表示由圖15的流程圖的不同階段使用的值范圍的圖；圖17是示出了形成該視頻系統(tǒng)的一部分的顯示控制應(yīng)用的框圖；以及圖18表示經(jīng)后處理的視頻圖像。
具體實(shí)施例方式
參照?qǐng)D2，智能視頻監(jiān)視系統(tǒng)10包括攝像機(jī)11、個(gè)人計(jì)算機(jī)(PC)13和視頻監(jiān)視器15。攝像機(jī)11是網(wǎng)絡(luò)攝像機(jī)，例如Logitec(注冊(cè)商標(biāo))Pro 4000彩色網(wǎng)絡(luò)攝像機(jī)?？梢允褂媚軌蜉敵鰯?shù)字圖像數(shù)據(jù)的任意類型的攝像機(jī)，例如數(shù)字錄像攝像機(jī)或具有模擬-數(shù)字轉(zhuǎn)換裝置的模擬攝像機(jī)。網(wǎng)絡(luò)攝像機(jī)11通過網(wǎng)絡(luò)14與PC 13進(jìn)行通信，網(wǎng)絡(luò)14可以是諸如局域網(wǎng)(LAN)或因特網(wǎng)的任意網(wǎng)絡(luò)。在實(shí)踐中，網(wǎng)絡(luò)攝像機(jī)11和PC 13經(jīng)由各自的網(wǎng)絡(luò)連接(未示出)(例如，數(shù)字用戶線路(DSL)調(diào)制解調(diào)器)連接到網(wǎng)絡(luò)14。作為另一種選擇，可以通過PC的通用串行總線(USB)端口12將網(wǎng)絡(luò)攝像機(jī)11直接連接到PC 13。PC 13可以包括任意的標(biāo)準(zhǔn)計(jì)算機(jī)。在該情況下，PC 13是具有1GHz處理器、512兆字節(jié)隨機(jī)存取存儲(chǔ)器(RAM)和40千兆字節(jié)硬盤驅(qū)動(dòng)器的臺(tái)式計(jì)算機(jī)。視頻監(jiān)視器15是通過標(biāo)準(zhǔn)視頻連接器連接到PC 13的17英寸薄膜晶體管(TFT)監(jiān)視器。
PC 13的硬盤驅(qū)動(dòng)器上設(shè)置有視頻處理軟件。設(shè)置該軟件用以對(duì)從網(wǎng)絡(luò)攝像機(jī)11接收的視頻數(shù)據(jù)執(zhí)行大量處理操作。視頻數(shù)據(jù)表示采集到的視頻的多個(gè)單獨(dú)的幀，各幀均由多個(gè)畫面元素或像素組成。在該實(shí)施例中，各幀都具有320像素(寬度)乘240像素(高度)的顯示格式。根據(jù)應(yīng)用可以使用其他顯示格式。由于網(wǎng)絡(luò)攝像機(jī)11是彩色攝像機(jī)，因此各像素由指示該像素在幀中的位置以及確定所顯示的顏色的三個(gè)顏色分量(即，紅色分量、綠色分量和藍(lán)色分量)各自的權(quán)重的數(shù)據(jù)表示。如本領(lǐng)域中應(yīng)理解的，給定像素的亮度Y可以由以下表達(dá)式近似Y＝α·R+β·G+γ·B(1)其中，α＝0.114、β＝0.587且γ＝0.299。
R、G和B分別表示紅色分量、綠色分量和藍(lán)色分量的值。盡管已知Y的其他表達(dá)式，但是本申請(qǐng)人發(fā)現(xiàn)以上表達(dá)式是優(yōu)選的。
視頻處理軟件包括多個(gè)不同的階段，如圖3所示。圖3與圖2類似，但增加了陰影去除階段17和對(duì)象表征階段18，這兩個(gè)階段都被并入在前景提取階段3與對(duì)象跟蹤階段5之間。
陰影去除階段17的目的是從各視頻幀中去除絕大多數(shù)的陰影區(qū)域和加亮區(qū)域。以該方式，對(duì)前景區(qū)域的形狀進(jìn)行識(shí)別的后續(xù)處理階段能夠以更高的可靠性進(jìn)行操作。
對(duì)象表征階段18的目的是在前景提取和陰影去除之后識(shí)別前景特征。其輸出包括對(duì)象跟蹤階段5使用的一組對(duì)象描述符。對(duì)該階段18的詳細(xì)理解不是理解本發(fā)明所必需的。
最初，視頻處理軟件運(yùn)行背景學(xué)習(xí)階段1。如引言中所述，該階段的目的是根據(jù)視頻數(shù)據(jù)的初始片段建立背景模型。該視頻片段通常包括兩百幀。由于任何圖像的背景場景(與前景對(duì)象相比)都可能保持相對(duì)靜止，因此該階段建立其中看不到任何前景對(duì)象的背景模型。
圖4示出了在上述背景學(xué)習(xí)階段1的過程中建立的背景模型19。在該情況下，網(wǎng)絡(luò)攝像機(jī)11朝向停車場。在PC 13的存儲(chǔ)器中，背景模型19由一組存儲(chǔ)的表示像素的位置以及各像素的紅色分量、綠色分量和藍(lán)色分量各自的權(quán)重的數(shù)據(jù)表示。
建立背景模型19之后，進(jìn)入的視頻幀由PC 13接收，并由視頻處理軟件處理。后續(xù)的前景提取階段3、陰影去除階段17、對(duì)象表征階段18、對(duì)象跟蹤階段5及高級(jí)應(yīng)用7實(shí)時(shí)地處理該視頻幀。
前景提取和背景自適應(yīng)階段3(下文中稱作“前景提取階段”)處理當(dāng)前幀的各像素。將各像素與背景模型19中占據(jù)相應(yīng)位置的像素進(jìn)行比較，以估計(jì)當(dāng)前幀的像素是表示前景對(duì)象的一部分還是表示背景的一部分。背景模型19中的小的改變被自適應(yīng)地更新。背景模型19中更加嚴(yán)重的或突然的改變需要使用由標(biāo)號(hào)9表示的檢驗(yàn)來執(zhí)行的重新學(xué)習(xí)操作。
盡管對(duì)前景提取階段3的詳細(xì)說明不是理解本發(fā)明所必需的，但技術(shù)人員應(yīng)理解，存在已知的方法來執(zhí)行前景提取3。最簡單的方法可能是將各像素的亮度與背景模型19中占據(jù)相應(yīng)位置的像素的亮度進(jìn)行比較。如果二者之差高于預(yù)定閾值，則將當(dāng)前像素分類為前景像素。
一種特別有效的方法是所謂的混合高斯(MoG)方法，Stauffer和Grimson在“Learning Patterns of Activity Using Real-Time Tracking”(IEEETransactions on Pattern Analysis and Machine Intelligence，第22卷，第8期，2000年8月，第747-757頁)中詳細(xì)描述了該方法。美國專利申請(qǐng)公報(bào)No.2003/0053658中也描述了該MoG方法的實(shí)現(xiàn)。這兩個(gè)參考文獻(xiàn)都描述了適合于建立上述背景模型19的背景學(xué)習(xí)方法。
總的來說，MoG方法包括將輸入的視頻幀的各像素建模為不同的高斯(或正態(tài))統(tǒng)計(jì)分布的混合。這反映出以下假設(shè)同一場景點(diǎn)的樣本可能呈現(xiàn)高斯噪聲分布。正態(tài)分布的混合反映出以下期望隨時(shí)間可能觀察到多于一個(gè)處理。根據(jù)混合的分布中各分布的持久性和變化性，確定哪些分布可能與當(dāng)前背景相對(duì)應(yīng)。將不符合背景分布的分布分類為前景像素，直到出現(xiàn)確實(shí)與當(dāng)前背景相對(duì)應(yīng)的、并受到通過多個(gè)幀建立起的一致證據(jù)支持的分布為止。
在這里描述的實(shí)施例的情況下，優(yōu)選的是，前景提取階段3使用MoG方法進(jìn)行操作。然而，這決不是必須的，并且可以使用任何另選的方法。
圖5示出了來自網(wǎng)絡(luò)攝像機(jī)11的輸入視頻幀21，通過參照?qǐng)D5將更好地理解前景提取階段3的操作。視頻幀21描繪了(a)人23走過停車場；以及(b)車輛25經(jīng)過該停車場的下部。將視頻幀21的各像素與背景模型19中的相應(yīng)像素進(jìn)行比較，以確定應(yīng)將該像素分類為前景像素還是背景像素。結(jié)果，前景提取階段3生成前景掩模。掩模是包括有與對(duì)各像素的分類(即，表示前景還是背景)有關(guān)的信息的一組圖像數(shù)據(jù)。參照?qǐng)D6，示出了前景掩模27的直觀表示，在該前景掩模中，前景像素以白色示出而背景像素以黑色示出。
前景掩模27包括第一前景區(qū)域29和第二前景區(qū)域31。然而，前景區(qū)域29和前景區(qū)域31都未在其形狀方面得到特別好的限定，因而單獨(dú)使用前景掩模27難以確定實(shí)際表示了哪些前景對(duì)象。這是由于如圖5所示存在由人23和車輛25投射到背景上的陰影而導(dǎo)致的。表示陰影的像素的亮度比背景模型19中占據(jù)相應(yīng)位置的像素暗。因此，這些像素被錯(cuò)誤地分類為前景像素。其中的像素的亮度比其相應(yīng)的背景像素的亮度亮的加亮區(qū)的存在可以導(dǎo)致類似的問題。
在后續(xù)處理階段中可能因陰影和加亮區(qū)而出現(xiàn)問題。例如，如果對(duì)象表征階段18直接從前景提取階段3接收前景掩模27，則可能難以識(shí)別前景對(duì)象的特征。這可能在隨后的處理階段中導(dǎo)致其他問題。對(duì)象跟蹤階段5可能難以在當(dāng)前幀中的前景對(duì)象與在先前的幀中被跟蹤的對(duì)象之間做出對(duì)應(yīng)。如果視頻監(jiān)視系統(tǒng)10包括根據(jù)對(duì)象各自的掩模輪廓類似于哪個(gè)“真實(shí)世界”對(duì)象而對(duì)這些對(duì)象進(jìn)行分類的對(duì)象分類階段，則可能出現(xiàn)類似的問題。
為了減輕上述問題，視頻處理軟件包括陰影去除階段17。
圖7示出了陰影去除階段17的主要功能元件。使用了包括弱陰影去除32和強(qiáng)陰影去除33的雙分支處理。二者對(duì)背景掩模27并行地進(jìn)行操作，并分別從其生成經(jīng)更新的掩模和部分區(qū)域掩模。
應(yīng)理解的是，并行操作不是本發(fā)明所必需的。然而，對(duì)于該實(shí)時(shí)視頻監(jiān)視系統(tǒng)10，并行操作是優(yōu)選的。
弱陰影去除32的目的是僅去除當(dāng)前幀中存在的最嚴(yán)重的陰影。實(shí)際上，假設(shè)僅存在少數(shù)可清楚地辨別的陰影。然而，由于幀實(shí)際上可能具有大量亮度變化的陰影，因此弱陰影去除32憑其自己是不夠的。結(jié)果，大量像素可能仍將被錯(cuò)誤地分類為前景像素。
相反的是，強(qiáng)陰影去除33的目的是基本去除當(dāng)前幀中存在的每個(gè)陰影。結(jié)果，一些真正的前景區(qū)域可能被錯(cuò)誤地檢測為陰影區(qū)域。在其自身上投射陰影的對(duì)象(所謂的自陰影)是特別容易被誤檢的。例如，示出人臉的幀可能包括由鼻子投射到面頰上的自陰影區(qū)域。強(qiáng)陰影去除33將導(dǎo)致該區(qū)域被去除，盡管該區(qū)域的像素實(shí)際上形成前景對(duì)象(即，臉)的一部分。其結(jié)果通常導(dǎo)致成為碎片的圖像，在該成為碎片的圖像中，同一對(duì)象的多個(gè)部分看起來彼此分開。后續(xù)處理步驟可能認(rèn)為各碎片是獨(dú)立的對(duì)象。
陰影去除階段17使用來自弱陰影去除的輸出29和強(qiáng)陰影去除的輸出30二者，生成所謂的對(duì)象分類掩模。該對(duì)象分類掩模有效地包括帶有附加分類信息的部分區(qū)域掩模(該部分區(qū)域掩模提供對(duì)前景對(duì)象形狀的改進(jìn)的表示)，以確保在適當(dāng)?shù)那闆r下，將成為碎片的對(duì)象部分識(shí)別為屬于共同的對(duì)象(common object)。為了實(shí)現(xiàn)該目的，在弱陰影去除32之后，對(duì)更新后的掩模使用連通域分析(CCA)操作34。CCA操作生成被發(fā)送給前景對(duì)象形成階段35的對(duì)象掩模。下面將描述CCA階段34和前景對(duì)象形成階段35的操作。
CCA操作34的目的是在經(jīng)更新的前景掩模中識(shí)別一個(gè)或更多個(gè)圖像像素簇。一個(gè)簇可能包括兩個(gè)或更多個(gè)相鄰的或鄰接的像素。其后，由軟件自動(dòng)地建立限定包圍各簇的最小矩形區(qū)域的邊界。各矩形區(qū)域在幀上的位置被添加到第一更新的掩模，以形成對(duì)象掩模。
為了說明以上操作，假設(shè)圖6中所示的前景掩模27是輸入到陰影去除階段17的當(dāng)前輸入。圖8a示出了由弱陰影去除32產(chǎn)生的經(jīng)更新的前景掩模36。如所預(yù)期的，盡管一些陰影已被去除，但是對(duì)各對(duì)象29’、31’的形狀的限定仍然不是很好。圖8b示出了由CCA階段34生成的對(duì)象掩模37，其中，添加了包圍各個(gè)簇29’和31’的矩形邊界。
圖8c示出了強(qiáng)陰影去除33之后的部分區(qū)域掩模38。應(yīng)注意的是，各對(duì)象29”、31”的形狀都得到了較好的限定。然而，強(qiáng)陰影去除33不可避免地導(dǎo)致一些前景像素被錯(cuò)誤地分類為背景像素，因而各對(duì)象都被分成碎片，成為多個(gè)獨(dú)立的部分。
在前景對(duì)象形成階段35中，對(duì)對(duì)象掩模37和部分區(qū)域掩模38進(jìn)行比較，以識(shí)別部分區(qū)域掩模38中位置落入對(duì)象掩模37的共同的矩形區(qū)域內(nèi)的前景像素。將落入共同的矩形區(qū)域內(nèi)的所有前景像素分類為屬于同一前景對(duì)象。
如上所述，由前景對(duì)象形成階段35生成的輸出被稱作對(duì)象分類掩模39。該對(duì)象分類掩模39提供對(duì)使用強(qiáng)陰影去除33的前景對(duì)象的改進(jìn)的形狀表示。通過向落入給定邊界區(qū)域內(nèi)的各部分分配共同的身份，避免了由于前景區(qū)域成為碎片而導(dǎo)致的潛在問題，所述給定邊界區(qū)域的尺寸由弱陰影去除32確定。圖8d示出了由前景對(duì)象形成階段35產(chǎn)生的對(duì)象分類掩模39的直觀表示。
通過參照?qǐng)D8e至8h更好地理解CCA階段34和對(duì)象形成階段35的操作原理。圖8e示出了弱陰影去除32之后的前景掩模的特寫部分(close-up portion)。示出了單個(gè)前景像素簇。圖8f示出了由CCA階段34生成的對(duì)象掩模的特寫部分。CCA階段34限定了恰好足夠大以包圍各前景像素的矩形邊界。圖8g示出了強(qiáng)陰影去除33之后的部分區(qū)域掩模的特寫部分。存在兩個(gè)獨(dú)立的前景像素簇，而不是單個(gè)前景像素簇。圖8h示出了前景對(duì)象形成階段35之后的對(duì)象分類掩模的特寫部分。部分區(qū)域掩模的落入由CCA階段34限定的矩形邊界內(nèi)的所有前景像素都被分類為表示共同的前景區(qū)域。
為了完整起見，下面將詳細(xì)描述陰影去除階段17的軟件層操作。描述兩個(gè)實(shí)施例，下面將參照?qǐng)D9至圖12描述第一實(shí)施例，參照?qǐng)D13至圖16進(jìn)一步描述第二實(shí)施例。
參照?qǐng)D9，在第一實(shí)施例中，第一步驟41得到當(dāng)前幀中的下一前景像素。在隨后的步驟42中，將該像素的亮度(Yf)與存儲(chǔ)的背景模型中占據(jù)相同位置的像素的亮度(Yb)進(jìn)行比較。如果Yf＜Yb(意味著該像素的亮度比背景像素暗)，則執(zhí)行檢驗(yàn)以確定該像素是否占據(jù)陰影區(qū)域。如果不是Yf＜Yb，則在步驟43中執(zhí)行進(jìn)一步的檢驗(yàn)以確定是否Yf＞Yb，在該情況下，執(zhí)行檢驗(yàn)以確定該像素是否占據(jù)加亮區(qū)域。稍后將在說明書中對(duì)其進(jìn)行描述。
如果Yf＜Yb，則可以認(rèn)為該像素是用于重新分類的候選像素。下一步驟44針對(duì)該候選像素計(jì)算所謂的亮度畸變參數(shù)(BDP)。用于計(jì)算BDP的簡單表達(dá)式由下式給出BDP=RfRb+GfGb+BfBbRb2+Gb2+Bb2---(2)]]>其中，Rf、Gf、Bf分別表示該候選像素的紅色分量、綠色分量和藍(lán)色分量，而Rb、Gb、Bb分別表示背景模型中相應(yīng)像素的紅色分量、綠色分量和藍(lán)色分量。
下文將針對(duì)第二實(shí)施例詳述用于計(jì)算BDP的更復(fù)雜的表達(dá)式。然而，該另選的表示式可以用于第一實(shí)施例。
計(jì)算出候選像素的BDP之后，執(zhí)行與先前描述的弱陰影去除操作32和強(qiáng)陰影去除操作33相對(duì)應(yīng)的兩組獨(dú)立的步驟。下面將描述這些步驟。
在步驟45中，將候選像素的BDP與如圖10a所示的BDP值的第一范圍進(jìn)行比較。該范圍被閾值“Tshadow”分成兩個(gè)部分。在通常情況下，Tshadow是0與1之間的值。在該實(shí)施例中，選取值0.9。如果BDP等于或低于Tshadow的值，則認(rèn)為該候選像素被正確地分類為前景像素。然而，如果BDP高于Tshadow的值，則認(rèn)為該候選像素表示陰影區(qū)域的一部分，因此在步驟47中，將該候選像素重新分類為背景像素。
在步驟51中，將候選像素的BDP與如圖10b所示的BDP值的第二范圍進(jìn)行比較。在該情況下，將Tshadow的值設(shè)定為較低的值0.7。與前面相同，如果BDP的值高于Tshadow的值，則認(rèn)為該候選像素表示陰影區(qū)域的部分，因此在步驟53中，將其重新分類為背景像素。
假定第二范圍的“陰影”區(qū)域覆蓋的值的范圍比第一范圍大，因此步驟45和46對(duì)應(yīng)于弱陰影去除32而步驟51和53對(duì)應(yīng)于強(qiáng)陰影去除33。
在執(zhí)行上述步驟之后，確定當(dāng)前幀中是否存在任何剩余的候選像素(步驟47、55)。如果所有的候選像素都已經(jīng)經(jīng)過檢查，則生成包括來自先前的步驟的重新分類的像素的經(jīng)更新的掩模。在步驟49中，生成指示弱陰影操作之后的像素分類的經(jīng)更新的前景掩模，在步驟57中，生成指示強(qiáng)陰影去除之后的像素分類的部分區(qū)域掩模。
在步驟59中，從經(jīng)更新的前景掩模中識(shí)別一個(gè)或更多個(gè)包圍鄰接的前景像素簇的區(qū)域。步驟59對(duì)應(yīng)于CCA操作，因此如上所述生成了對(duì)象掩模。在接下來的步驟61中，將部分區(qū)域掩模與對(duì)象掩模進(jìn)行比較，以識(shí)別部分區(qū)域掩模中的其各自的位置都落入該對(duì)象掩模中識(shí)別出的共同的區(qū)域內(nèi)的像素組。在步驟63中，將落入共同的區(qū)域內(nèi)的前景像素分類為表示單個(gè)前景對(duì)象。將得到的對(duì)象分類掩模送給對(duì)象跟蹤階段5。在步驟65中請(qǐng)求下一幀，并且從步驟41重復(fù)該處理。
如圖10所指示的，如果步驟42中執(zhí)行的檢驗(yàn)是否定的，則在步驟43中執(zhí)行進(jìn)一步的檢驗(yàn)，以確定是否Yf＞Yb。如果結(jié)果是肯定的(意味著該像素的亮度大于背景像素)，則執(zhí)行進(jìn)一步的檢驗(yàn)，以確定該像素是否占據(jù)加亮區(qū)域的一部分。圖11的流程圖中示出了該檢驗(yàn)中所包括的階段。將看到，這些階段基本上與圖9中所示的階段相同，因此將不對(duì)各步驟進(jìn)行詳細(xì)說明。然而，值得注意的是，使用與針對(duì)步驟44(見圖9)的表達(dá)式相同的表達(dá)式計(jì)算步驟44’中提及的BDP。步驟45’和51’分別對(duì)應(yīng)于弱陰影去除步驟45和強(qiáng)陰影去除步驟51。圖12a和12b示出了分別用于步驟45’和51’的第一加亮區(qū)范圍和第二加亮區(qū)范圍。在該情況下，各范圍都被高于1的閾值“Thighlight”劃分。在該實(shí)施例中，針對(duì)第一加亮區(qū)范圍選取值1.05，而針對(duì)第二加亮區(qū)范圍選取值1.25。在兩種情況中的任一情況下，如果候選像素的BDP低于Thighlight的值(即，在0與Thighlight之間)，則將該候選像素重新分類為背景像素。
通過試驗(yàn)已發(fā)現(xiàn)，針對(duì)Tshadow和Thighlight選取的上述值在大多數(shù)監(jiān)視情況下非常有效，即使照明和/或天氣狀況逐漸變化也是如此。當(dāng)視頻監(jiān)視系統(tǒng)10操作時(shí)這些值保持固定，由此將PC的處理負(fù)荷保持到最小。這在實(shí)時(shí)系統(tǒng)中顯然是有利的。如果期望進(jìn)行輕微的調(diào)整，則圖像處理軟件便于人工調(diào)整。
下面將參照附圖的圖13至圖16描述陰影去除階段17的第二實(shí)施例。
參照?qǐng)D13，應(yīng)理解，所示出的大多數(shù)步驟與圖9中所示的步驟相同。因此，相似的標(biāo)號(hào)用于相似的元素，并且不需要詳細(xì)描述這些具體步驟。主要不同之處在于步驟42之后的陰影檢驗(yàn)過程。
在步驟42中，如果Yf＜Yb，則下一步驟75針對(duì)候選像素計(jì)算兩個(gè)不同的參數(shù)。第一個(gè)參數(shù)是BDP，第二個(gè)參數(shù)是所謂的“陰影畸變參數(shù)”(SDP)。BDP和SDP分別用于兩個(gè)檢驗(yàn)，以確定前景像素是被正確地分類了還是被錯(cuò)誤地分類。
該實(shí)施例中使用的BDP是表達(dá)式(2)的另選版本，由下式給出BDP=α2·Rf·Rb+β2·Gf·Gb+γ2·BfBbα2·Rb2+β2·Gb2+γ2·Bb2---(3)]]>其中，α、β和δ的值與(1)中給出的值相同。已發(fā)現(xiàn)表達(dá)式(3)產(chǎn)生更加滿意的結(jié)果，這是由于其將上述用于計(jì)算亮度值Y的系數(shù)考慮在內(nèi)。
表達(dá)式(1)或(3)都可以用于生成BDP，并且其使用不限于某一具體的實(shí)施例。
SDP是由下式給出的數(shù)值SDP=MAX(α2·Rf·Rb+β2·Gf·Gbα2·Rb2+β2·Gb2,β2·Gf·Gb+γ2·Bf·Bbβ2·Gb2+γ2·Bb2,α2·Rf·Rb+γ2·Bf·Bbα2·Rb2+γ2·Bb2)---(4)]]>因此，計(jì)算三個(gè)表達(dá)式并返回值最大的表達(dá)式的值作為SDP。
針對(duì)候選像素計(jì)算BDP和SDP之后，在步驟76中，執(zhí)行比較操作以確定BDP是否在預(yù)定范圍內(nèi)。在該情況下，該范圍在0.5與最大BDP值之間。如果BDP不在范圍內(nèi)(即，低于0.5)，則認(rèn)為該像素被正確地分類，然后在步驟41中獲得下一前景像素。如果BDP在范圍內(nèi)，則執(zhí)行與先前描述的弱陰影去除操作32和強(qiáng)陰影去除操作33相對(duì)應(yīng)的兩組獨(dú)立的步驟。圖14(a)指示了步驟76中使用的BDP值的范圍。
在步驟77中，將候選像素的SDP與如圖14(b)所示的SDP值的第一范圍進(jìn)行比較。與第一實(shí)施例的情況相同，該范圍被閾值“Tshadow”分成兩個(gè)部分。在通常情況下，Tshadow是0與1之間的值。在該實(shí)施例中，選取值0.9。如果SDP等于或低于Tshadow的值，則認(rèn)為該候選像素被正確地分類為前景像素。然而，如果SDP高于Tshadow的值，則認(rèn)為該候選像素表示陰影區(qū)域的部分，因此在步驟46中，將該候選像素重新分類為背景像素。
在步驟78中，將候選像素的SDP與如圖14(c)所示的SDP值的第二范圍進(jìn)行比較。在該情況下，將Tshadow的值設(shè)定為較低的值0.7。與前面相同，如果SDP的值高于Tshadow的值，則認(rèn)為該候選像素表示陰影區(qū)域的一部分，因此在步驟53中，將其重新分類為背景像素。
假定了第二范圍的“陰影”區(qū)域覆蓋的值的范圍比第一范圍大，因此步驟77和46對(duì)應(yīng)于弱陰影去除32而步驟78和53對(duì)應(yīng)于強(qiáng)陰影去除33。
其余步驟與先前參照?qǐng)D9描述的步驟相同。
如圖13所指示的，如果步驟42中執(zhí)行的檢驗(yàn)是否定的，則在步驟43中執(zhí)行進(jìn)一步的檢驗(yàn)，以確定是否Yf＞Yb。如果結(jié)果是肯定的(意味著該像素的亮度大于背景像素)，則執(zhí)行進(jìn)一步的檢驗(yàn)以確定該候選像素是否占據(jù)加亮區(qū)域的部分。圖15的流程圖中示出了該檢驗(yàn)中包括的階段。
將看到，圖15基本上與圖13相同，因此將不對(duì)各步驟進(jìn)行詳細(xì)說明。使用表達(dá)式(3)計(jì)算步驟75’中提及的BDP。在步驟76’中確定BDP是否在預(yù)定范圍內(nèi)，在該情況下是1.5與0之間。圖16(a)例示了BDP值的該范圍。如果BDP不在范圍內(nèi)，則認(rèn)為該像素被正確地分類為前景像素，并從步驟41重復(fù)該處理。如果BDP在范圍內(nèi)，則在后續(xù)步驟中執(zhí)行以步驟77’開始的弱陰影去除和以步驟78’開始的強(qiáng)陰影去除。
在加亮區(qū)檢驗(yàn)中使用所謂的“加亮區(qū)畸變參數(shù)”(HDP)，而不使用SDP參數(shù)。使用以下表達(dá)式計(jì)算HDPHDP=MIN(α2·Rf·Rb+β2·Gf·Gbα2·Rb2+β2·Gb2,β2·Gf·Gb+γ2·Bf·Bbβ2·Gb2+γ2·Bb2,α2·Rf·Rb+γ2·Bf·Bbα2·Rb2+γ2·Bb2)---(5)]]>計(jì)算三個(gè)表達(dá)式，并返回值最小的表達(dá)式的值作為HDP。
步驟77’和78’分別對(duì)應(yīng)于弱陰影去除步驟77和強(qiáng)陰影去除步驟78。圖16(b)和16(b)示出了分別用于步驟77’和78’中的第一加亮區(qū)范圍和第二加亮區(qū)范圍。在該情況下，各范圍都被高于1的閾值“Thighlight”劃分。在該實(shí)施例中，針對(duì)第一加亮區(qū)范圍選取值1.05，針對(duì)第二加亮區(qū)范圍選取值1.25。在兩種情況中的任一種情況下，如果候選像素的BDP低于Thighlight的值(即，在0與Thighlight之間)，則將該候選像素重新分類為背景像素。
因此，在第二實(shí)施例中，各檢驗(yàn)(陰影檢驗(yàn)或加亮區(qū)檢驗(yàn))使用兩組不同的參數(shù)。初始檢驗(yàn)使用BDP閾值，設(shè)置該BDP閾值使得較大的BDP值傳送給后續(xù)檢驗(yàn)。例如，在陰影去除步驟76中，BDP閾值相對(duì)低(0.5)。在步驟77和78中，各附加的檢驗(yàn)都相對(duì)于較窄的值范圍使用SDP表達(dá)式，以確定像素實(shí)際上是否確實(shí)需要重新分類。應(yīng)注意的是，表達(dá)式(4)取由三個(gè)子表達(dá)式產(chǎn)生的最高值。各子表達(dá)式都僅包括三個(gè)顏色分量中的兩個(gè)，并將一個(gè)顏色分量可能給出錯(cuò)誤的或虛假的值的可能性考慮在內(nèi)。針對(duì)使用相對(duì)高的BDP閾值(1.5)的加亮區(qū)去除步驟76’應(yīng)用類似的說明。在步驟77’和78’中，各附加檢驗(yàn)都相對(duì)于較窄的值范圍使用HDP值。表達(dá)式(5)取由三個(gè)子表達(dá)式產(chǎn)生的最低值，各子表達(dá)式都僅包括三個(gè)顏色分量中的兩個(gè)。
盡管第二實(shí)施例中使用的表達(dá)式看起來比第一實(shí)施例中使用的表達(dá)式復(fù)雜，但是可以按以下方式簡化計(jì)算。對(duì)于亮度值(Y)，可以將表達(dá)式(1)重寫為Y＝114·R+587·G+299·B(6)通過將權(quán)重值乘以103，可以避免浮點(diǎn)計(jì)算和除法計(jì)算。
類似的是，在計(jì)算BDP、SDP和HDP時(shí)，α2、β2和γ2的值應(yīng)分別為0.012996、0.344569和0.089401。對(duì)這些值進(jìn)行圓整，并乘以104，分別得到α2＝130、β2＝3446和γ2＝894。同樣避免了浮點(diǎn)計(jì)算和除法計(jì)算。在計(jì)算BDP、SDP和HDP時(shí)，可以預(yù)編程六個(gè)項(xiàng)以避免重復(fù)的計(jì)算A1＝α2·Rf·RbA2＝β2·Gf·GbA3＝γ2·Bf·BbB1＝α2·Rb2B2＝β2·Gb2B3＝γ2·Bb2
預(yù)編程以上項(xiàng)之后，應(yīng)該意識(shí)到，所有的除法計(jì)算都可以由適當(dāng)?shù)某朔ê图臃ū磉_(dá)式來代替。例如，在第二實(shí)施例中，可以將BD＞0.5重寫為2·(A1+A2+A3)＞(B1+B2+B3)，而可以將BDP＜1.5重寫為2·(A1+A2+A3)＜3·(B1+B2+B3)。在計(jì)算SBD和HBD時(shí)，可以按類似方式實(shí)現(xiàn)比較步驟。例如，如果想要確定是否A1+A2B1+B2>A2+A3B2+B3]]>則可以使用(A1+A2)·(B2+B3)＞(A2+A3)·(B1+B2)。
總的來說，僅需要執(zhí)行基于整數(shù)的加法和乘法。這使得陰影去除階段17的操作非常高效。這在實(shí)時(shí)應(yīng)用中尤為重要。
對(duì)象表征階段18從陰影去除階段19接收對(duì)象分類掩模39。由于該階段對(duì)于理解本發(fā)明來說并不重要，因此將不對(duì)其進(jìn)行詳細(xì)描述。總的來說，對(duì)象表征階段18分析對(duì)象分類掩模39，并識(shí)別前景對(duì)象的在后續(xù)對(duì)象跟蹤階段5中可能有用的具體特征。來自對(duì)象表征階段18的輸出是對(duì)象描述符的形式?？梢陨啥喾N描述符，例如“中央位置”、“尺寸”、“顏色”和“像素密度”。
對(duì)象跟蹤階段5從對(duì)象表征階段18接收對(duì)象描述符。對(duì)前景對(duì)象進(jìn)行逐幀的跟蹤。使用該對(duì)象描述符在當(dāng)前幀的前景對(duì)象與已在先前的幀中跟蹤的前景對(duì)象之間建立對(duì)應(yīng)。維護(hù)軌跡數(shù)據(jù)庫，使得一個(gè)或更多個(gè)高級(jí)應(yīng)用7可以利用各前景對(duì)象的跟蹤歷史。例如，高級(jí)應(yīng)用7可以顯示指示視頻中的一個(gè)或更多個(gè)前景對(duì)象所經(jīng)的累計(jì)路徑的蹤跡線。如果多個(gè)前景對(duì)象進(jìn)入網(wǎng)絡(luò)攝像機(jī)11的視野，則出于快速識(shí)別的目的，可以向各蹤跡線分配不同的顏色。
可以使用對(duì)象分類應(yīng)用將各前景對(duì)象的形狀與真實(shí)世界對(duì)象的數(shù)據(jù)庫進(jìn)行比較。如果發(fā)現(xiàn)了匹配，則例如將該前景對(duì)象適當(dāng)?shù)胤诸悶椤叭恕被颉败囕v”。
由存儲(chǔ)在PC 13的硬盤驅(qū)動(dòng)器上的顯示控制應(yīng)用70控制圖像數(shù)據(jù)在視頻監(jiān)視器15上的顯示。參照?qǐng)D17，顯示控制應(yīng)用70從圖3中所示的所有處理階段接收視頻數(shù)據(jù)，然后其能夠顯示該視頻數(shù)據(jù)表示的任何視頻序列。實(shí)際上，操作者可能在單個(gè)屏幕上觀看多個(gè)圖像。例如，操作者可能希望同時(shí)觀看背景模型19和對(duì)象分類掩模39二者。操作者主要關(guān)注的是來自對(duì)象跟蹤階段5以及高級(jí)應(yīng)用7的經(jīng)后處理的視頻數(shù)據(jù)。圖18中示出了經(jīng)后處理的幀70。作為陰影去除階段17中的像素重新分類的結(jié)果，應(yīng)注意的是，以前占據(jù)陰影區(qū)域的像素現(xiàn)在形成背景的一部分。而且，各前景對(duì)象23、25已被識(shí)別出，并由對(duì)象跟蹤階段5跟蹤。蹤跡線71、73表示對(duì)象在作為當(dāng)前幀的先導(dǎo)的視頻片段的過程中所經(jīng)的累計(jì)路徑。將各前景對(duì)象匹配到高級(jí)對(duì)象分類應(yīng)用中的一組存儲(chǔ)的實(shí)際生活對(duì)象中的一個(gè)。
雖然上述視頻處理軟件對(duì)彩色視頻數(shù)據(jù)進(jìn)行操作，但技術(shù)人員應(yīng)理解，本發(fā)明同樣適用于黑白視頻系統(tǒng)。
權(quán)利要求
1.一種對(duì)表示視頻幀的像素的數(shù)據(jù)進(jìn)行處理的方法，所述像素已被預(yù)分類為屬于前景區(qū)域或背景區(qū)域，該方法包括以下步驟(a)在所述視頻幀中識(shí)別包括有兩個(gè)或更多個(gè)鄰接的前景像素的區(qū)域；(b)使用預(yù)定算法，在所述視頻幀中將一個(gè)或更多個(gè)前景像素識(shí)別為要重新分類的候選像素；(c)將所述候選像素重新分類為背景像素，并生成包括所述重新分類后的像素的比較幀；(d)從所述比較幀中識(shí)別其各自的幀位置都在步驟(a)中識(shí)別出的所述區(qū)域內(nèi)的前景像素；以及(e)將步驟(d)中識(shí)別出的所述前景像素分類為表示共同的前景對(duì)象。
2.根據(jù)權(quán)利要求1所述的方法，其中，步驟(b)包括以下步驟識(shí)別一個(gè)或更多個(gè)其亮度Yf與占據(jù)基準(zhǔn)幀的相應(yīng)基準(zhǔn)像素的亮度Yb不同的前景像素；根據(jù)所述候選像素的顏色分量與所述基準(zhǔn)像素的顏色分量之間的預(yù)定關(guān)系，向該識(shí)別出的像素或各識(shí)別出的像素分配參數(shù)；以及將所述參數(shù)與指示是否應(yīng)將所述像素分類為候選像素的值的范圍進(jìn)行比較。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述基準(zhǔn)幀包括所存儲(chǔ)的從背景學(xué)習(xí)操作獲取的背景幀。
4.根據(jù)權(quán)利要求2或3所述的方法，其中，所述參數(shù)由下式給出RfRb+GfGb+BfBbRb2+Gb2+Bb2]]>其中，Rf、Gf、Bf分別表示前景像素的紅色分量、綠色分量和藍(lán)色分量，而Rb、Gb、Bb分別表示基準(zhǔn)像素的紅色分量、綠色分量和藍(lán)色分量。
5.根據(jù)權(quán)利要求1所述的方法，其中，步驟(b)包括以下步驟識(shí)別出一個(gè)或更多個(gè)其亮度Yf與占據(jù)基準(zhǔn)幀的相應(yīng)基準(zhǔn)像素的亮度Yb不同的前景像素；根據(jù)所述候選像素的顏色分量與所述基準(zhǔn)像素的顏色分量之間的各自不同的第一關(guān)系和第二關(guān)系，向該識(shí)別出的像素或各識(shí)別出的像素分配第一參數(shù)和第二參數(shù)；以及對(duì)所述第一參數(shù)和所述第二參數(shù)進(jìn)行分別與指示是否應(yīng)將所述像素分類為候選像素的值的第一范圍和第二范圍的比較。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述第一參數(shù)由下式給出α2·Rf·Rb+β2·Gf·Gb+γ2·Bf·Bbα2·Rb2+β2·Gb2+γ2·Bb2]]>α2·Rf·Rb+β2·Gf·Gb+γ2·Bf·Bbα2·Rb2+β2·Gb2+γ2·Bb2]]>其中，α、β和γ為亮度系數(shù)，Rf、Gf、Bf分別表示前景像素的紅色分量、綠色分量和藍(lán)色分量，而Rb、Gb、Bb分別表示基準(zhǔn)像素的紅色分量、綠色分量和藍(lán)色分量。
7.根據(jù)權(quán)利要求5或6所述的方法，其中，所述第二參數(shù)由下式給出MAX(α2·Rf·Rb+β2·Gf·Gbα2·Rb2+β2·Gb2,β2·Gf·Gb+γ2·Bf·Bbβ2·Gb2+γ2·Bb2,α2·Rf·Rb+γ2·Bf·Bbα2·Rb2+γ2·Bb2)]]>其中，α、β和γ為亮度系數(shù)，并且其中，Rf、Gf、Bf分別表示前景像素的紅色分量、綠色分量和藍(lán)色分量，而Rb、Gb、Bb分別表示基準(zhǔn)像素的紅色分量、綠色分量和藍(lán)色分量。
8.根據(jù)前述權(quán)利要求中的任一項(xiàng)所述的方法，其中，步驟(a)中識(shí)別出的所述區(qū)域包含其尺寸足以包括各鄰接的前景像素的矩形像素區(qū)域。
9.一種對(duì)表示視頻幀的像素的數(shù)據(jù)進(jìn)行處理的方法，所述像素已被預(yù)分類為屬于前景區(qū)域或背景區(qū)域，該方法包括以下步驟(a)將一個(gè)或更多個(gè)前景像素識(shí)別為要重新分類的候選像素；(b)根據(jù)所述候選像素與基準(zhǔn)像素之間的預(yù)定關(guān)系，向各候選像素分配數(shù)值參數(shù)；(c)針對(duì)各候選像素，將其參數(shù)與值的第一范圍進(jìn)行比較，如果所述參數(shù)落入所述第一范圍內(nèi)，則將所述像素重新分類為背景像素；(d)針對(duì)各候選像素，將其參數(shù)與處于所述第一范圍內(nèi)的第二范圍的值進(jìn)行比較，如果所述參數(shù)落入所述第二范圍內(nèi)，則將所述像素重新分類為背景像素；(e)提供分別包括有在步驟(c)和步驟(d)中被重新分類的各像素的第一組經(jīng)更新的圖像數(shù)據(jù)和第二組經(jīng)更新的圖像數(shù)據(jù)；(f)從所述第二組經(jīng)更新的圖像數(shù)據(jù)中識(shí)別包括有鄰接的前景像素簇的區(qū)域；以及(g)從所述第一組更新的圖像數(shù)據(jù)中識(shí)別其各自的位置都在步驟(f)中識(shí)別出的所述區(qū)域內(nèi)的多個(gè)前景像素，然后將所述多個(gè)前景像素分類為表示共同的對(duì)象。
10.根據(jù)權(quán)利要求9所述的方法，其中，步驟(b)中所指的所述基準(zhǔn)像素是包含有基準(zhǔn)幀的一部分的像素，所述基準(zhǔn)像素在所述基準(zhǔn)幀中的位置對(duì)應(yīng)于所述候選像素的幀位置。
11.根據(jù)權(quán)利要求9或10所述的方法，其中，步驟(b)中分配的所述數(shù)值參數(shù)是使用所述候選像素的顏色分量與所述基準(zhǔn)像素的顏色分量之間的預(yù)定關(guān)系計(jì)算的。
12.根據(jù)權(quán)利要求9至11中的任一項(xiàng)所述的方法，其中，步驟(a)包括以下步驟識(shí)別一個(gè)或更多個(gè)其亮度Yf與所述相應(yīng)基準(zhǔn)像素或各相應(yīng)基準(zhǔn)像素的亮度Yb不同的前景像素。
13.根據(jù)權(quán)利要求9至12中的任一項(xiàng)所述的方法，其中，步驟(f)中識(shí)別出的所述區(qū)域包含其尺寸足以包括所述簇的各像素的矩形像素陣列。
14.一種對(duì)表示視頻序列的幀的數(shù)據(jù)進(jìn)行處理的方法，各幀都包括多個(gè)分別占據(jù)各自的幀位置的像素，該方法包括以下步驟(a)提供第一掩模，所述第一掩模指示將像素分類為前景或背景；(b)識(shí)別所述第一掩模內(nèi)包含有鄰接的前景像素簇的區(qū)域；(c)針對(duì)各前景像素，通過將所述像素與所存儲(chǔ)的基準(zhǔn)幀中占據(jù)相同的幀位置的基準(zhǔn)像素進(jìn)行比較，識(shí)別所述像素是否應(yīng)為要重新分類的候選像素；(d)將所有候選像素基本重新分類為背景像素，并從而生成第二掩模，所述第二掩模指示重新分類之后的像素分類；(e)比較所述第一掩模和所述第二掩模，以識(shí)別所述第二掩模中的落入步驟(b)中識(shí)別出的所述區(qū)域內(nèi)的兩個(gè)或更多個(gè)前景像素；以及(f)提供將步驟(e)中識(shí)別出的所述前景像素識(shí)別為表示共同的對(duì)象的第三掩模。
15.一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括使計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1至14中的任一項(xiàng)所述的方法的指令組。
16.一種被設(shè)置用以對(duì)表示視頻幀的像素的數(shù)據(jù)進(jìn)行處理的視頻處理系統(tǒng)，所述像素已被預(yù)分類為屬于前景區(qū)域或背景區(qū)域，該系統(tǒng)包括被設(shè)置用以進(jìn)行以下處理的裝置(a)在所述視頻幀中(i)識(shí)別包括有多個(gè)鄰接的前景像素的區(qū)域，并(ii)通過使用預(yù)定算法，將一個(gè)或更多個(gè)前景像素識(shí)別為要重新分類的候選像素；(b)將所述候選像素重新分類為背景像素，并生成包括有所述重新分類后的像素的比較幀；(c)從所述比較幀中識(shí)別其各自的幀位置都在步驟(a)中識(shí)別出的所述區(qū)域內(nèi)的前景像素；以及(d)將步驟(c)中識(shí)別出的所述前景像素分類為表示共同的前景對(duì)象。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，該系統(tǒng)還包括用于接收表示視頻幀的像素的數(shù)據(jù)的裝置；以及前景提取裝置，其被設(shè)置用以執(zhí)行所述像素預(yù)分類。
18.一種監(jiān)視系統(tǒng)，該監(jiān)視系統(tǒng)包括視頻源；根據(jù)權(quán)利要求16或17所述的視頻處理系統(tǒng)；以及視頻顯示器，所述視頻源被設(shè)置用以提供表示視頻幀的像素的數(shù)據(jù)，所述視頻顯示器被設(shè)置用以顯示經(jīng)所述視頻處理系統(tǒng)處理后的視頻幀序列。
全文摘要
本發(fā)明提供一種用于處理視頻數(shù)據(jù)的方法及系統(tǒng)。在智能視頻監(jiān)視系統(tǒng)中，視頻處理軟件對(duì)從攝像機(jī)接收的視頻數(shù)據(jù)執(zhí)行大量操作，包括前景提取、陰影去除和對(duì)象跟蹤。所述前景提取階段將接收到的幀的各像素分類為表示前景或背景。由于陰影區(qū)域可能被錯(cuò)誤地分類為前景，因此使用包括弱陰影去除(32)和強(qiáng)陰影去除(33)的雙分支陰影去除操作。弱陰影去除(32)的目的是僅去除各幀中最嚴(yán)重的陰影。相反的是，強(qiáng)陰影去除(33)的目的是去除各幀中每個(gè)陰影。通過比較兩個(gè)得到的圖像中的前景區(qū)域的交疊，可以識(shí)別出由于強(qiáng)陰影去除而導(dǎo)致成為碎片的前景區(qū)域，然后將它們分類為表示共同的前景對(duì)象。前景對(duì)象在其形狀方面得到了較好的限定，后續(xù)處理步驟將不把成為碎片的區(qū)域視為表示獨(dú)立的對(duì)象。
文檔編號(hào)G06T7/20GK101084527SQ200580037179
公開日2007年12月5日 申請(qǐng)日期2005年10月24日 優(yōu)先權(quán)日2004年10月28日
發(fā)明者雷幫軍, 許利群 申請(qǐng)人:英國電訊有限公司