專利名稱：背景建模的方法和裝置及檢測(cè)視頻中背景的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種在視頻序列中的背景建模的方法和裝置以及利用該背景建模的方法來檢測(cè)視頻中的背景的方法和裝置。
背景技術(shù)：
在計(jì)算機(jī)視頻應(yīng)用中，經(jīng)常需要從視頻中檢測(cè)出背景，即需要對(duì)視頻序列進(jìn)行背景差分處理。背景差分處理的性能又取決于背景建模方法。而不斷變化的自然環(huán)境(如光照改變、樹葉搖擺、水紋波動(dòng)、燈光閃爍、物體陰影等)給背景建模帶來了較高的要求。目前，利用局部二元模式(LBP)的背景建模方法得到了關(guān)注。局部二元模式是一種基于顏色特征(例如基于灰度)的紋理描述方法。其中，計(jì)算圖像中某個(gè)像素的顏色特征(例如灰度)與其相鄰的8鄰域的顏色特征(例如灰度)的大小關(guān)系；然后將該大小關(guān)系表示一串8位的二元編碼；并將該二元編碼作為該像素的局部二元模式。在一種已知的利用局部二元模式進(jìn)行背景建模的方法中以每個(gè)像素點(diǎn)為中心的一個(gè)區(qū)域提取局部二元模式的直方圖特征作為對(duì)該像素的特征描述，其中，每個(gè)像素的背景模型由一些自適應(yīng)的局部二元模式的直方圖組成。例如，在Heikkila和M. Pietik ·· ainen 發(fā)表的題為 “A texture-based method for modeling the backgroundand detecting moving objects，，的文章(見，IEEE Transactions on Pattern Analysisand Machine Intelligence, 28 (4) :657-662, 2006)中，公開了上述的方法。在另一種已知的利用局部二元模式進(jìn)行背景建模的方法中直接利用局部二元模式的特征值來進(jìn)行背景建模，具體而言，基于核密度估計(jì)的方法來對(duì)背景進(jìn)行建模。例如，Shengcai Liao、Guoying Zhao、ViliKellokumpu、Matti Pietikainen 和 Stan Ζ· Li 發(fā)表的題為 “ModelingPixel Process with Scale Invariant Local Patterns for BackgroundSubtraction in Complex Scenes，，的文章中(見，In Proceedings of IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition(CVPRj 2010). SanFrancisco, CA, USA, June 13-18，2010)，公開了上述的方法。在利用直方圖統(tǒng)計(jì)和基于核密度估計(jì)的方法中，運(yùn)算都較為復(fù)雜，耗費(fèi)了較大的
計(jì)算量。

發(fā)明內(nèi)容
在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。本發(fā)明的一個(gè)目的在于提供一種簡(jiǎn)單高效的基于局部二元模式的背景建模的方法和裝置以及相應(yīng)的檢測(cè)視頻中背景的方法和裝置。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種背景建模的方法。在所述方法中，首先針對(duì)視頻序列中每個(gè)像素，生成每個(gè)像素的局部二元模式序列。接著，基于局部二元模式序列中的局部二元模式的出現(xiàn)頻率和彼此的相似性，針對(duì)每個(gè)像素生成表示背景的碼本。根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種包括序列生成部和碼本生成部的背景建模的裝置。所述序列生成部被配置成針對(duì)視頻序列中每個(gè)像素，生成每個(gè)像素的局部二元模式序列。所述碼本生成部被配置成基于局部二元模式序列中的局部二元模式的出現(xiàn)頻率和彼此的相似性，針對(duì)每個(gè)像素生成表示背景的碼本。根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種檢測(cè)視頻中背景的方 法。在所述方法中，先根據(jù)上述的背景建模的方法為視頻中的每一幀圖像的像素生成表示背景的碼本；接著，根據(jù)各個(gè)像素的碼本以及從待判斷的像素中提取的局部二元模式來判斷像素是否為背景。根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種檢測(cè)視頻中背景的裝置，所述裝置包括上述的背景建模的裝置以及背景檢測(cè)部。所述背景建模的裝置可以為視頻中的每一幀圖像的像素生成表示背景的碼本。所述背景檢測(cè)部可以根據(jù)各個(gè)像素的碼本以及從待判斷的像素中提取的局部二元模式來判斷像素是否為背景。依據(jù)本發(fā)明的其它方面，還提供了相應(yīng)的計(jì)算機(jī)程序代碼、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。通過上述的背景建模的方法和裝置以及檢測(cè)視頻中背景的裝置和方法，可以以省時(shí)高效的方式實(shí)現(xiàn)背景建模并且從視頻中檢測(cè)出背景。通過以下結(jié)合附圖對(duì)本發(fā)明的最佳實(shí)施例的詳細(xì)說明，本發(fā)明的這些以及其他優(yōu)點(diǎn)將更加明顯。


本發(fā)明可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進(jìn)一步舉例說明本發(fā)明的優(yōu)選實(shí)施例和解釋本發(fā)明的原理和優(yōu)點(diǎn)。在附圖中圖I示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的背景建模的方法；圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的針對(duì)每個(gè)像素生成表示背景的碼本的處理；圖3示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的背景建模的方法；圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的對(duì)碼本進(jìn)行更新的處理；圖5示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的根據(jù)已有碼字和備選局部二元模式來更新碼本中的碼字的具體處理；圖6示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的對(duì)碼本進(jìn)行更新的處理；圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的背景建模的裝置；圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的碼本生成部；圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的包括更新部的背景建模的裝置；圖10示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的更新部的具體結(jié)構(gòu)；
圖11示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的更新部的具體結(jié)構(gòu)；圖12是其中可以實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的方法和/或裝置的通用個(gè)人計(jì)算機(jī)的示例性結(jié)構(gòu)的框圖。
具體實(shí)施例方式在下文中將結(jié)合附圖對(duì)本發(fā)明的示范性實(shí)施例進(jìn)行描述。為了清楚和簡(jiǎn)明起見，在說明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施例的過程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會(huì)隨著實(shí)施方式的不同而有所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的，但對(duì)得益于本公開內(nèi)容的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。在此，還需要說明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明關(guān)系不大的其他細(xì)節(jié)。本發(fā)明的一個(gè)目的在于提供一種簡(jiǎn)單高效的基于局部二元模式的背景建模的方法。圖I示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的背景建模的方法。如圖I所示，在步驟S102處，可以為一段視頻序列中的每個(gè)像素生成相應(yīng)的局部二元模式序列。具體說來，例如，在視頻序列中的一幀中，可以根據(jù)像素的灰度與其局部的8領(lǐng)域的灰度的大小關(guān)系，生成表示該大小關(guān)系的一串二進(jìn)制的數(shù)字(即8位二元編碼)，這種8位二元編碼即為該像素在該幀中的局部二元模式。由此，可以得到該像素在一段視頻序列中的局部二元模式序列。 通過上述方式，可以得到幀中每個(gè)像素在所述視頻序列中的局部二元模式序列。接著，在步驟S104中，可以基于局部二元模式的出現(xiàn)頻率和彼此的相似性，針對(duì)每個(gè)像素生成表示背景的碼本。具體來說，可以基于像素的局部二元模式序列中的各個(gè)局部二元模式的出現(xiàn)頻率和彼此的相似性，針對(duì)所述像素生成表示背景的碼本。例如，可以將一組出現(xiàn)頻率較高且彼此之間相似性較高的局部二元模式視為是表示背景的碼字。這樣，在像素的局部二元模式序列中，可以找出一組或更多組出現(xiàn)頻率較高且彼此之間相似性較高的局部二元模式，作為一個(gè)或更多個(gè)表示背景的碼字，通過這些表示背景的碼字，為所述像素生成了表示背景的碼本。這樣，針對(duì)每個(gè)像素，由一個(gè)或多個(gè)碼字構(gòu)成了該像素的表示背景的碼本，其中每個(gè)碼字又包括一個(gè)或多個(gè)頻率較高且彼此之間相似性較高的局部二元模式。這樣，通過根據(jù)本發(fā)明實(shí)施例的背景建模的方法，可以為視頻中的每個(gè)像素生成表示背景的碼本。圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的基于每個(gè)像素的局部二元模式序列中的局部二元模式的出現(xiàn)頻率和彼此的相似性來針對(duì)每個(gè)像素生成表示背景的碼本的處理。如圖2所示，在步驟S202處，在像素的局部二元模式序列中找出出現(xiàn)次數(shù)超過第一閾值的局部二兀模式。具體來說，如果像素是背景，則該像素在一段時(shí)間內(nèi)的視頻序列中出現(xiàn)的出現(xiàn)幾率(即出現(xiàn)次數(shù))會(huì)較高。因而，可以先從局部二元模式序列中找出出現(xiàn)次數(shù)超過第一閾值的局部二兀模式。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同 的應(yīng)用需求來合理的設(shè)定第一閾值。例如，在一段包括100巾貞的視頻序列中,第一閾值可以被設(shè)置為40、50、60或70。接著，在步驟S204處，可以在通過步驟S202找出的局部二元模式中確定出相似的局部二元模式作為同類局部二元模式?？梢曰诟鞣N合適的標(biāo)準(zhǔn)來判斷兩個(gè)局部二元模式是否相似。在本發(fā)明的一個(gè)具體實(shí)施例中，可以通過漢明距離來判斷兩個(gè)局部二元模式是否相似。其中，漢明距離指的是兩個(gè)等長(zhǎng)字符串之間對(duì)應(yīng)位置的不同字符的個(gè)數(shù)。例如，當(dāng)兩個(gè)局部二元模式之間的漢明距離小于第三閾值時(shí)，可以將所述兩個(gè)局部二元模式視為相似的局部二元模式。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第三閾值。例如，對(duì)于8位的局部二元模式而言，第三閾值可以被設(shè)置為1、2或3。這樣，可以在通過步驟S202找出的局部二元模式中確定出一組或多組相似的局部二元模式，并將這些相似的局部二元模式視為同類局部二元模式。接著，在步驟S206處，可以判斷同類局部二元模式中的所有局部二元模式在局部二元模式序列中的出現(xiàn)次數(shù)之和是否已經(jīng)超過第二閾值。如上所述，同類局部二元模式可以包括一個(gè)或多個(gè)相似的局部二元模式。如果所述同類局部二元模式對(duì)應(yīng)于視頻背景，則與所述同類局部二元模式對(duì)應(yīng)的出現(xiàn)次數(shù)也應(yīng)該較高，也就是說，所述同類局部二元模式中所包括的所有局部二元模式的出現(xiàn)次數(shù)之和應(yīng)
高于第二閾值。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第二閾值。例如，在一段包括100幀的視頻序列中，第二閾值可以被設(shè)置為50、60、70或80。如果在步驟S206判定與同類局部二元模式對(duì)應(yīng)的出現(xiàn)次數(shù)大于第二閾值，則在步驟S208處，將該同類局部二元模式作為表示背景的碼本中的碼字。如果在步驟S206判定與同類局部二元模式對(duì)應(yīng)的出現(xiàn)次數(shù)沒有大于第二閾值，則進(jìn)行步驟S210的處理。如圖2所示，在步驟S210處，進(jìn)一步判斷是否還有未處理的同類局部二元模式。如果有，則返回到步驟S206處，重復(fù)上述的處理。如果沒有，則完成處理。這樣，可以針對(duì)像素生成表示背景的碼本中的每個(gè)碼字，并由此構(gòu)成了表示背景的碼本。在上述實(shí)施例的方法中，沒有使用相對(duì)較為復(fù)雜的直方圖方法和核密度估計(jì)方法，因而可以以簡(jiǎn)單高效的方式實(shí)現(xiàn)基于局部二元模式的背景建模。在根據(jù)任意上述實(shí)施例的方法中，還可以進(jìn)一步包括對(duì)碼本進(jìn)行更新的處理。圖3示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的背景建模的方法。在圖3所示的背景建模的方法中，進(jìn)一步包括了碼本進(jìn)行更新的處理。如圖3所示，可以在步驟S302處為一段視頻序列中的每個(gè)像素生成相應(yīng)的局部二元模式序列。接著，在步驟S304處，可以基于局部二元模式在步驟S302處獲得的局部二元模式序列中的出現(xiàn)頻率和彼此的相似性，針對(duì)每個(gè)像素生成表示背景的碼本。
其中，生成局部二元模式序列的處理和針對(duì)每個(gè)像素生成表示背景的碼本的處理例如可以類似于之前實(shí)施例中結(jié)合圖I中S102和S104步驟描述的生成局部二元模式序列的處理和針對(duì)每個(gè)像素生成表示背景的碼本的處理。在此不再進(jìn)行重復(fù)描述，以使說明書保持簡(jiǎn)潔。接著，在步驟S306處，可以對(duì)生成的碼本進(jìn)行更新處理。通過對(duì)碼本的更新處理，根據(jù)本發(fā)明實(shí)施例的背景建模的方法可以適應(yīng)背景的動(dòng)態(tài)變化，進(jìn)而提高背景建模的準(zhǔn)確性。圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的對(duì)碼本進(jìn)行更新的處理。如圖4所示，在步驟S402處，可以生成用于更新的局部二元模式序列。具體來說，可以在生成碼本后的預(yù)定時(shí)段之后，針對(duì)該預(yù)定時(shí)段內(nèi)的視頻序列中的每個(gè)像素生成相應(yīng)的局部二元模式，以用作用于更新的局部二元模式序列。接著，在步驟S404處，可以在用于更新的局部二元模式序列中找出備選局部二元模式。作為一個(gè)示例，可以根據(jù)用于更新的局部二元模式序列中的每個(gè)局部二元模式的出現(xiàn)次數(shù)來找出備選局部二元模式。在一個(gè)具體的示例中，當(dāng)局部二元模式的出現(xiàn)次數(shù)超過第四閾值時(shí)，可以將該局部二元模式作為備選局部二元模式。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第四閾值。例如，在用于更新的局部二元模式序列中包括100個(gè)局部二元模式的情況下，可以將第四閾值設(shè)置為40、50、60 或 70。接著，在步驟S406處，可以基于已有碼字中包括的局部二元模式和在步驟S404處選出的備選局部二元模式來更新碼本中的碼字，由此實(shí)現(xiàn)了對(duì)碼本的更新?？梢钥闯?，通過上述的對(duì)碼本的更新處理，根據(jù)本發(fā)明實(shí)施例的背景建模的方法可以適應(yīng)背景的動(dòng)態(tài)變化，進(jìn)而提高背景建模的準(zhǔn)確性。圖5示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的根據(jù)已有碼字和備選局部二元模式來更新碼本中的碼字的具體處理。如圖5所示，在根據(jù)已有碼字和備選局部二元模式對(duì)碼本進(jìn)行更新時(shí)，首先在步驟S502處判斷備選局部二元模式是否與已有碼字的局部二元模式相同。如果二者相同，則表明該備選局部二元模式對(duì)應(yīng)于已被確定出的背景且已經(jīng)被包括在已有碼字中，因而不需要對(duì)現(xiàn)有的碼本進(jìn)行處理。如果二者不相同，則在步驟S504處，進(jìn)一步判斷該備選局部二元模式是否與已有碼字相似。例如，可以基于備選局部二元模式和已有碼字中包括的所有局部二元模式，利用漢明距離來判斷備選局部二元模式是否與已有碼字相似。在本發(fā)明的一個(gè)具體示例中，當(dāng)備選二元模式與某個(gè)已有碼字的所有二元模式的距離的平均值小于第五閾值時(shí)，可以判定該備選二元模式與該已有碼字相似。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第五閾值。例如，對(duì)于8位的局部二元模式而言，第五閾值可以被設(shè)置為1、2或3。如果在步驟S504處判定備選局部二元模式與已有碼字中包括的局部二元模式相似，則可以將該備選局部二元模式合并到該已有碼字中。具體而言，是使該已有碼字包括該備選局部二元模式。如果在步驟S504處判定備選局部二元模式與已有碼字中包括的局部二元模式不相似，可以為該備選局部二元模式生成一個(gè)新的碼字并添加到表示背景的碼本中?？梢钥闯觯ㄟ^圖5所示的具體的更新處理，根據(jù)本發(fā)明實(shí)施例的背景建模的方法可以實(shí)時(shí)地對(duì)表示背景的碼本進(jìn)行更新以適應(yīng)背景的動(dòng)態(tài)變化，進(jìn)而提高背景建模的準(zhǔn)確性。除了圖5所示的具體處理之外，對(duì)碼本的更新處理還可以進(jìn)一步包括對(duì)碼字的刪除處理。圖6示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的對(duì)碼本進(jìn)行更新的處理。如圖6所示，在步驟S602處，可以生成用于更新的局部二元模式序列。接著，在步驟S604處，可以在用于更新的局部二元模式序列中找出備選局部二元模式。接著，在步驟S606處，可以基于已有碼字中包括的局部二元模式和在步驟S604處選出的備選局部二元模式來更新碼本中的碼字。其中，步驟S602、步驟S604的處理可以類似于之前結(jié)合圖4描述的步驟S402、S404，步驟S606可以通過以上結(jié)合圖5描述的方式來具體實(shí)施，在此不再對(duì)這些步驟進(jìn)行重復(fù)描述，以使說明書保持簡(jiǎn)潔。接著，在步驟S608處，可以判斷在預(yù)定時(shí)段之內(nèi)已有碼字所包括的所有局部二元模式是否都沒有出現(xiàn)。如果在步驟S608處，判定某個(gè)碼字所包括的所有局部二元模式在預(yù)定時(shí)段之內(nèi)都沒有出現(xiàn)，則在步驟S610處刪除該碼字。如果在步驟S608處，判定某個(gè)碼字所包括的局部二元模式在預(yù)定時(shí)段之內(nèi)曾經(jīng)出現(xiàn)過，則不對(duì)該碼字進(jìn)行處理?？梢钥闯?，在圖6所示的方法中，進(jìn)一步包括了對(duì)碼字的刪除處理，這樣，根據(jù)本發(fā)明實(shí)施例的背景建模的方法可以保證碼本具有合理的大小，進(jìn)而提高背景識(shí)別的處理速度和效率。除了上述的背景建模的方法之外，本發(fā)明的實(shí)施例還提供了與方法相應(yīng)的背景建模的裝置。圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的背景建模的裝置。如圖7所示，根據(jù)本發(fā)明實(shí)施例的背景建模的裝置700包括序列生成部702和碼本生成部704。其中，序列生成部702可以為一段視頻序列中的每個(gè)像素生成相應(yīng)的局部二元模式序列。碼本生成部704可以基于像素的局部二元模式序列中的各個(gè)局部二元模式的出現(xiàn)頻率和彼此的相似性，針對(duì)所述像素生成表示背景的碼本。
這樣，通過根據(jù)本發(fā)明實(shí)施例的背景建模的裝置，可以為視頻中的每個(gè)像素生成表示背景的碼本。圖8示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的碼本生成部800。如圖8所 示,碼本生成部800包括提取單元802、同類局部二元模式生成單元804、碼字生成單元806。其中，提取單元802可以在像素的局部二元模式序列中找出出現(xiàn)次數(shù)超過第一閾值的局部二兀模式。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第一閾值。例如，在一段包括100巾貞的視頻序列中,第一閾值可以被設(shè)置為40、50、60或70。同類局部二元模式生成單元804可以在由提取單元802找出的局部二元模式中確定出相似的局部二元模式作為同類局部二元模式.在本發(fā)明的一個(gè)具體實(shí)施例中，可以通過漢明距離來判斷兩個(gè)局部二元模式是否相似。例如，當(dāng)兩個(gè)局部二元模式之間的漢明距離小于第三閾值時(shí)，可以將所述兩個(gè)局部二元模式視為相似的局部二元模式。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第三閾值。例如，對(duì)于8位的局部二元模式而言，第三閾值可以被設(shè)置為1、2或3。碼字生成單元806可以判斷同類局部二元模式中的所有局部二元模式在局部二元模式序列中的出現(xiàn)次數(shù)之和是否已經(jīng)超過第二閾值，并且在判定與同類局部二元模式對(duì)應(yīng)的出現(xiàn)次數(shù)大于第二閾值，將該同類局部二元模式作為表示背景的碼本中的碼字。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第二閾值。例如，在一段包括100幀的視頻序列中，第二閾值可以被設(shè)置為50、60、70或80。在上述實(shí)施例的裝置中，沒有使用相對(duì)較為復(fù)雜的直方圖方法和核密度估計(jì)方法，因而可以以簡(jiǎn)單高效的方式實(shí)現(xiàn)基于局部二元模式的背景建模。在根據(jù)上述實(shí)施例的裝置中，還可以進(jìn)一步包括對(duì)碼本進(jìn)行更新的部分。圖9示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的包括更新部的背景建模的裝置。如圖9所示，根據(jù)本發(fā)明實(shí)施例的背景建模的裝置900包括序列生成部902、碼本生成部904、更新部906。其中，序列生成部902、碼本生成部904可以類似于之前結(jié)合圖7描述的序列生成部702、碼本生成部704，在此不再進(jìn)行重復(fù)以使說明書保持簡(jiǎn)潔。更新部906可以對(duì)生成的碼本進(jìn)行更新處理。通過對(duì)碼本的更新處理，根據(jù)本發(fā)明實(shí)施例的背景建模的方法可以適應(yīng)背景的動(dòng)態(tài)變化，進(jìn)而提高背景建模的準(zhǔn)確性。圖10示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的更新部的具體結(jié)構(gòu)。如圖10所示，更新部1000包括更新序列生成單元1002、備選局部二元模式提取單元1004、碼字更新單元1006。其中，更新序列生成單元1002可以生成用于更新的局部二元模式序列。具體來說，在生成碼本后的預(yù)定時(shí)段之后，更新序列生成單元1002可以針對(duì)該預(yù)定時(shí)段內(nèi)的視頻序列中的每個(gè)像素生成相應(yīng)的局部二元模式，以用作用于更新的局部二元模式序列備選局部二元模式提取單元1004可以在用于更新的局部二元模式序列中找出備選局部二元模式。作為一個(gè)示例，備選局部二元模式提取單元1004可以根據(jù)用于更新的局部二元模式序列中的每個(gè)局部二元模式的出現(xiàn)次數(shù)來找出備選局部二元模式。在一個(gè)具體的示例中，當(dāng)局部二元模式的出現(xiàn)次數(shù)超過第四閾值時(shí)，備選局部二元模式提取單元1004可以將該局部二元模式作為備選局部二元模式。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第四閾值。例如，在用于更新的局部二元模式序列中包括100個(gè)局部二元模式的情況下，可以將第四閾值設(shè)置為40、50、60 或 70。碼字更新單元1006可以基于已有碼字中包括的局部二元模式和由備選局部二元模式提取單元1004選出的備選局部二元模式來更新碼本中的碼字，由此實(shí)現(xiàn)了對(duì)碼本的更新?？梢钥闯?，通過上述的對(duì)碼本的更新處理，根據(jù)本發(fā)明實(shí)施例的背景建模的方法可以適應(yīng)背景的動(dòng)態(tài)變化，進(jìn)而提高背景建模的準(zhǔn)確性。在一個(gè)具體實(shí)施例中，碼字更新單元1006可以先判斷備選局部二元模式是否與已有碼字的局部二元模式相同。如果二者相同，則表明該備選局部二元模式對(duì)應(yīng)于已被確定出的背景且已經(jīng)被包括在已有碼字中，因而不需要對(duì)現(xiàn)有的碼本進(jìn)行處理。如果二者不相同，碼字更新單元1006可以進(jìn)一步判斷該備選局部二元模式是否與已有碼字相似。例如，可以基于備選局部二元模式和已有碼字中包括的所有局部二元模式，利用漢明距離來判斷備選局部二元模式是否與已有碼字相似。在本發(fā)明的一個(gè)具體示例中，當(dāng)備選二元模式與某個(gè)已有碼字的所有二元模式的距離的平均值小于第五閾值時(shí)，可以判定該備選二元模式與該已有碼字相似。其中，可以根據(jù)經(jīng)驗(yàn)值或根據(jù)不同的應(yīng)用需求來合理的設(shè)定第五閾值。例如，對(duì)于8位的局部二元模式而言，第五閾值可以被設(shè)置為1、2或3。如果碼字更新單元1006判定備選局部二元模式與已有碼字中包括的局部二元模式相似，則可以將該備選局部二元模式合并到該已有碼字中。具體而言，是使該已有碼字包括該備選局部二元模式。另一方面，如果碼字更新單元1006判定備選局部二元模式與已有碼字中包括的局部二元模式不相似，可以為該備選局部二元模式生成一個(gè)新的碼字并添加到表示背景的碼本中。可以看出，碼字更新單元1006通過執(zhí)行上述的處理，根據(jù)本發(fā)明實(shí)施例的背景建模的裝置可以實(shí)時(shí)地對(duì)表示背景的碼本進(jìn)行更新以適應(yīng)背景的動(dòng)態(tài)變化，進(jìn)而提高背景建模的準(zhǔn)確性。除了上述的碼字更新單元之外，根據(jù)本發(fā)明另一個(gè)實(shí)施例的背景建模的裝置中的更新部還可以包括碼字刪除部。圖11示出了根據(jù)本發(fā)明另一個(gè)實(shí)施例的更新部的具體結(jié)構(gòu)。
如圖11所示，更新部1100包括更新序列生成單元1102、備選局部二元模式提取單元1104、碼字更新單元1106、碼字刪除單元1108。其中，更新序列生成單元1102、備選局部二元模式提取單元1104、碼字更新單元1106可以類似于之前結(jié)合圖10描述的更新序列生成單元1002、備選局部二元模式提取單元1004、碼字更新單元1006，在此不再進(jìn)行重復(fù)以使說明書保持簡(jiǎn)潔。碼字刪除單元1108可以判斷在預(yù)定時(shí)段之內(nèi)已有碼字所包括的所有局部二元模式是否都沒有出現(xiàn)，如果判定某個(gè)碼字所包括的所有局部二元模式在預(yù)定時(shí)段之內(nèi)都沒有出現(xiàn)，則刪除該碼字，否則，不做處理。可以看出，在圖6所示的裝置中，進(jìn)一步包括了碼字刪除單元，這樣，根據(jù)本發(fā)明實(shí)施例的背景建模的裝置可以保證碼本具有合理的大小，進(jìn)而提高背景識(shí)別的處理速度和效率。進(jìn)一步，本發(fā)明的實(shí)施例還提供了利用根據(jù)上述實(shí)施例的背景建模的方法來檢測(cè)視頻中的背景的方法。具體來說，首先利用根據(jù)上述實(shí)施例的背景建模的方法來生成表示背景的碼本；然后，提取待判斷的視頻中的像素的局部二元模式，如果提取的局部二元模式處于表示背景的碼本中，則表明該像素是背景，否則，表明該像素不是背景。因而，根據(jù)本發(fā)明實(shí)施例的檢測(cè)視頻中的背景的方法可以以簡(jiǎn)單有效的方式實(shí)現(xiàn)視頻中的背景檢測(cè)。此外，本發(fā)明的實(shí)施例還提供了根據(jù)上述實(shí)施例的背景建模的裝置來識(shí)別視頻中的背景的裝置。具體來說，所述裝置可以包括根據(jù)上述實(shí)施例的背景建模的裝置以及背景檢測(cè)部。其中，根據(jù)上述實(shí)施例的背景建模的裝置可以生成表示背景的碼本。背景檢測(cè)部則可以根據(jù)各個(gè)像素的碼本以及從待判斷的像素中提取的局部二元模式來判斷像素是否為背景。更具體而言，背景檢測(cè)部可以提取待判斷的視頻中的像素的局部二元模式，如果提取的局部二元模式處于表示背景的碼本中，則表明該像素是背景，否則，表明該像素不是背景。因而，根據(jù)本發(fā)明實(shí)施例的檢測(cè)視頻中的背景的裝置可以以簡(jiǎn)單有效的方式實(shí)現(xiàn)視頻中的背景檢測(cè)。應(yīng)理解，以上描述中的各種術(shù)語(yǔ)、名稱和實(shí)施例均是示例性的，以便清楚地描述本發(fā)明。因此，不應(yīng)將這些術(shù)語(yǔ)、名稱和實(shí)施例視作是對(duì)本發(fā)明的限制。例如，上文中提及的局部二元模式也可以是基于灰度的大小關(guān)系而獲得的8位二元編碼，也可以是基于其它合適的顏色特征(例如，亮度信息等)的大小關(guān)系而獲得的8位的二元編碼。此外，局部二元模式可以是基于中心像素和直接與該中心像素相鄰的8個(gè)像素之間的顏色特征的大小關(guān)系而獲得的8位二元編碼，也可以是基于中心像素和與該中心像素距離更遠(yuǎn)的非直接相鄰的8個(gè)像素之間的顏色特征的大小關(guān)系而獲得的8位的多尺度的局 部二元模式。具體來說，在多尺度的局部二元模式中，可以在以中心像素為中心、以大于像素間隔(即每?jī)蓚€(gè)像素之間的距離)的長(zhǎng)度為半徑的圓周上，通過將圓周等分為8份而獲得用于與中心像素進(jìn)行比較的8個(gè)相鄰像素，基于中心像素與8個(gè)相鄰像素的顏色特征的大小關(guān)系來獲得8位多尺度的局部二元模式。此外，局部二元模式也可以是其它合適長(zhǎng)度的編碼，例如，也可以是16位或其它合適長(zhǎng)度的二元編碼。在這種情況下，可以通過上述的圓周劃分的方法來為中心像素獲得數(shù)目與編碼長(zhǎng)度相應(yīng)的相鄰像素。此外，在本說明書中，“第一”、“第二”等表述僅僅是為了將所描述的特征在文字上區(qū)分開，以清楚地描述本發(fā)明。因此，不應(yīng)將其視為具有任何限定性的含義。上述裝置中各個(gè)組成模塊、單元可通過軟件、固件、硬件或其組合的方式進(jìn)行配置。配置可使用的具體手段或方式為本領(lǐng)域技術(shù)人員所熟知，在此不再贅述。在通過軟件或固件實(shí)現(xiàn)的情況下，從存儲(chǔ)介質(zhì)或網(wǎng)絡(luò)向具有專用硬件結(jié)構(gòu)的計(jì)算機(jī)(例如圖12所示的通用計(jì)算機(jī)1200)安裝構(gòu)成該軟件的程序，該計(jì)算機(jī)在安裝有各種程序時(shí)，能夠執(zhí)行各種功能等。
在圖12中，中央處理單元(CPU) 1201根據(jù)只讀存儲(chǔ)器(ROM) 1202中存儲(chǔ)的程序或從存儲(chǔ)部分1208加載到隨機(jī)存取存儲(chǔ)器(RAM) 1203的程序執(zhí)行各種處理。在RAM1203中，也根據(jù)需要存儲(chǔ)當(dāng)CPU 1201執(zhí)行各種處理等等時(shí)所需的數(shù)據(jù)。CPU 120UR0M 1202和RAM1203經(jīng)由總線1204彼此連接。輸入/輸出接口 1205也連接到總線1204。下述部件連接到輸入/輸出接口 1205 :輸入部分1206(包括鍵盤、鼠標(biāo)等等)、輸出部分1207(包括顯示器，比如陰極射線管(CRT)、液晶顯示器(LCD)等，和揚(yáng)聲器等)、存儲(chǔ)部分1208 (包括硬盤等)、通信部分1209 (包括網(wǎng)絡(luò)接口卡比如LAN卡、調(diào)制解調(diào)器等)。通信部分1209經(jīng)由網(wǎng)絡(luò)比如因特網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動(dòng)器1210也可連接到輸入/輸出接口 1205?？刹鹦督橘|(zhì)1211比如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等等根據(jù)需要被安裝在驅(qū)動(dòng)器1210上，使得從中讀出的計(jì)算機(jī)程序根據(jù)需要被安裝到存儲(chǔ)部分1208中。在通過軟件實(shí)現(xiàn)上述系列處理的情況下，從網(wǎng)絡(luò)比如因特網(wǎng)或存儲(chǔ)介質(zhì)比如可拆卸介質(zhì)1211安裝構(gòu)成軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，這種存儲(chǔ)介質(zhì)不局限于圖12所示的其中存儲(chǔ)有程序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)1211?？刹鹦督橘|(zhì)1211的例子包含磁盤(包含軟盤(注冊(cè)商標(biāo)))、光盤(包含光盤只讀存儲(chǔ)器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤(包含迷你盤(MD)(注冊(cè)商標(biāo)))和半導(dǎo)體存儲(chǔ)器。或者，存儲(chǔ)介質(zhì)可以是ROM 1202、存儲(chǔ)部分1208中包含的硬盤等等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。本發(fā)明還提出一種存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品。所述指令代碼由機(jī)器讀取并執(zhí)行時(shí)，可執(zhí)行上述根據(jù)本發(fā)明實(shí)施例的方法。相應(yīng)地，用于承載上述存儲(chǔ)有機(jī)器可讀取的指令代碼的程序產(chǎn)品的存儲(chǔ)介質(zhì)也包括在本發(fā)明的公開中。所述存儲(chǔ)介質(zhì)包括但不限于軟盤、光盤、磁光盤、存儲(chǔ)卡、存儲(chǔ)棒等
坐寸ο最后，還需要說明的是，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的
要素。此外，在沒有更多限制的情況下，由語(yǔ)句“包括一個(gè)......”限定的要素，并不排除在
包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
以上雖然結(jié)合附圖詳細(xì)描述了本發(fā)明的實(shí)施例，但是應(yīng)當(dāng)明白，上面所描述的實(shí)施方式只是用于說明本發(fā)明，而并不構(gòu)成對(duì)本發(fā)明的限制。對(duì)于本領(lǐng)域的技術(shù)人員來說，可以對(duì)上述實(shí)施方式作出各種修改和變更而沒有背離本發(fā)明的實(shí)質(zhì)和范圍。因此，本發(fā)明的范圍僅由所附的權(quán)利要求及其等效含義來限定?！?br> 權(quán)利要求
1.一種背景建模的方法，包括 針對(duì)視頻序列中每個(gè)像素，生成每個(gè)像素的局部二元模式序列； 基于局部二元模式序列中的局部二元模式的出現(xiàn)頻率和彼此的相似性，針對(duì)每個(gè)像素生成表示背景的碼本。
2.根據(jù)權(quán)利要求I所述的方法，其中，針對(duì)每個(gè)像素生成表示背景的碼本的處理包括 在局部二元模式序列中找出出現(xiàn)次數(shù)超過第一閾值的局部二元模式； 在找出的局部二元模式中確定出相似的局部二元模式作為同類局部二元模式； 當(dāng)同類局部二元模式中的所有局部二元模式的出現(xiàn)次數(shù)之和超過第二閾值時(shí)，將所述同類局部二元模式作為碼本中的碼字。
3.根據(jù)權(quán)利要求2所述的方法，其中，當(dāng)兩個(gè)局部二元模式之間的漢明距離小于第三閾值時(shí)，將所述兩個(gè)局部二元模式視為相似的局部二元模式。
4.根據(jù)權(quán)利要求1-3中任意一項(xiàng)的方法，還包括對(duì)碼本進(jìn)行更新的處理。
5.根據(jù)權(quán)利要求4所述的方法，其中對(duì)碼本進(jìn)行更新的處理包括 針對(duì)最近一段時(shí)間內(nèi)的視頻序列中每個(gè)像素，生成用于更新的局部二元模式序列；在用于更新的局部二元模式序列中，找出出現(xiàn)次數(shù)超過第四閾值的局部二元模式作為用于更新的備選局部二元模式； 基于已有碼字的二元模式特征和備選局部二元模式，來對(duì)碼本中的碼字進(jìn)行更新。
6.根據(jù)權(quán)利要求5所述的方法，其中，當(dāng)備選局部二元模式與已有碼字中的二元模式特征相同時(shí)，判定不需要對(duì)碼本中的碼字進(jìn)行更新。
7.根據(jù)權(quán)利要求5所述的方法，其中，當(dāng)備選局部二元模式與已有碼字相似時(shí)，將所述備選局部二元模式合并到所述已有碼字的局部二元模式中。
8.根據(jù)權(quán)利要求7所述的方法，其中當(dāng)備選局部二元模式與所述已有碼字中的所有局部二元模式的平均漢明距離小于第五閾值時(shí)，判定所述備選局部二元模式與所述已有碼字相似。
9.根據(jù)權(quán)利要求5所述的方法，其中，當(dāng)備選局部二元模式不屬于已有碼字中的二元模式特征時(shí)，基于所述備選局部二元模式生成新的碼字。
10.根據(jù)權(quán)利要求5所述的方法，還包括當(dāng)已有碼字中包括的所有局部二元模式在一段時(shí)間內(nèi)都沒有出現(xiàn)時(shí)，刪除所述碼字。
11.一種背景建模的裝置，包括 序列生成部，被配置成針對(duì)視頻序列中每個(gè)像素，生成每個(gè)像素的局部二元模式序列； 碼本生成部，被配置成基于局部二元模式序列中的局部二元模式的出現(xiàn)頻率和彼此的相似性，針對(duì)每個(gè)像素生成表示背景的碼本。
全文摘要
本發(fā)明公開了背景建模的方法和裝置及檢測(cè)視頻中背景的方法和裝置。在所述背景建模的方法中，針對(duì)視頻序列中每個(gè)像素，生成每個(gè)像素的局部二元模式序列；基于局部二元模式序列中的局部二元模式的出現(xiàn)頻率和彼此的相似性，針對(duì)每個(gè)像素生成表示背景的碼本。因而，可以簡(jiǎn)單高效地基于局部二元模式來實(shí)現(xiàn)視頻中的背景識(shí)別。
文檔編號(hào)G06K9/00GK102622576SQ20111003607
公開日2012年8月1日 申請(qǐng)日期2011年1月31日 優(yōu)先權(quán)日2011年1月31日
發(fā)明者吳偉國(guó), 張倫, 段炎彪 申請(qǐng)人:索尼公司