本發(fā)明涉及數(shù)字圖像處理技術(shù)，特別涉及背景圖像建模技術(shù)。

背景技術(shù)：

監(jiān)控類場(chǎng)景相比即時(shí)類通訊場(chǎng)景，實(shí)時(shí)性要求不高，同時(shí)場(chǎng)景基本不發(fā)生變化，攝像頭相對(duì)保持穩(wěn)定。因此，可以針對(duì)視頻序列一定的訓(xùn)練集長(zhǎng)度，建立背景圖像。將建立后的背景圖像作為后續(xù)編碼的參考圖像，可以節(jié)省大量編碼比特率。背景圖像建模的關(guān)鍵技術(shù)在于前景的檢測(cè)。常用的背景圖像建模方法都是像素級(jí)的背景減除法或者是基于高斯混合模型的方法。但是，前者會(huì)產(chǎn)生明顯的拖影以及光流現(xiàn)象，且圖像的色度與亮度分量存在明顯的不匹配情況，而后者時(shí)間復(fù)雜度極高。背景圖像建模實(shí)施過(guò)程既要考慮到可行性和高效性，也需要考慮最終背景圖像建模的質(zhì)量。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是，提供適用于監(jiān)控視頻的背景圖像建模的方法。

本發(fā)明為解決上述技術(shù)問(wèn)題所采用的技術(shù)方案是，監(jiān)控視頻背景圖像建模方法，包括以下步驟：

1)設(shè)置監(jiān)控視頻中第1幀圖像為背景幀；

2)初始設(shè)置塊大小和最大訓(xùn)練集長(zhǎng)度；

3)基于當(dāng)前的塊大小，利用當(dāng)前幀t對(duì)背景幀進(jìn)行更新，t為大于等于2的整數(shù)：

3-1)對(duì)第t幀進(jìn)行分塊；

3-2)計(jì)算第t幀每一個(gè)塊的運(yùn)動(dòng)變化值：

3-3)利用塊的運(yùn)動(dòng)變化值進(jìn)行更新判斷：

當(dāng)運(yùn)動(dòng)變化值小于嚴(yán)格替換的閾值，則當(dāng)前塊為背景塊，用當(dāng)前塊替換背景幀中相應(yīng)位置的塊；

當(dāng)運(yùn)動(dòng)變化值大于嚴(yán)格不替換的閾值，則當(dāng)前塊為前景塊，保留背景幀中相應(yīng)位置的塊；

當(dāng)運(yùn)動(dòng)變化值在大于等于嚴(yán)格替換的閾值且小于等于嚴(yán)格不替換的閾值，則對(duì)當(dāng)前塊進(jìn)行邊界檢測(cè)；邊界檢測(cè)：當(dāng)當(dāng)前塊的邊界像素差值的和小于背景幀中相應(yīng)位置的塊的邊界像素差值的和，且當(dāng)前塊的邊界像素差值的和小于替換閾值，則用當(dāng)前塊替換背景幀中相應(yīng)位置的塊，否則，保留背景幀中相應(yīng)位置的塊。

第t幀的所有塊的更新完成后，判斷是否達(dá)到視頻背景更新結(jié)束條件，如是，背景建模完畢；如否，更新t＝t+1，返回步驟3)；

更新結(jié)束條件為達(dá)到最大訓(xùn)練集長(zhǎng)度或連續(xù)β幀每幀替換的塊的數(shù)目小于α塊。

其中，本發(fā)明具體還提供一種描述塊的運(yùn)動(dòng)變化的方法，以及提出通過(guò)當(dāng)前塊的邊界像素差值的和來(lái)描述與鄰近塊差異來(lái)判斷當(dāng)前塊是否更符合背景。

本發(fā)明采用塊的邊界檢測(cè)法和圖像殘差的梯度計(jì)算以及自適應(yīng)訓(xùn)練集的長(zhǎng)度調(diào)節(jié)法，保證了優(yōu)異的主觀質(zhì)量。本發(fā)明的背景圖像建模方法是基于塊的，同時(shí)存儲(chǔ)了YUV三分量，生成的背景圖像保證了高質(zhì)量的色度和亮度的一致性。將建模后的背景圖像作為全局參考圖像進(jìn)行視頻編碼，可以明顯地節(jié)省比特率。

可選的，步驟3)中利用當(dāng)前幀t對(duì)背景幀進(jìn)行更新的過(guò)程中塊大小不變。

更進(jìn)一步的，使用對(duì)塊從小到大的動(dòng)態(tài)調(diào)整來(lái)優(yōu)化背景幀的更新過(guò)程：

步驟3)中利用當(dāng)前幀t對(duì)背景幀進(jìn)行更新的過(guò)程中塊的大小動(dòng)態(tài)設(shè)置：

步驟2)中初始化塊大小為預(yù)設(shè)最小尺寸之后，再設(shè)置分段擴(kuò)大塊的尺寸以及對(duì)應(yīng)的最大訓(xùn)練集長(zhǎng)度；

3-4)第t幀的所有塊的更新完成后，判斷是否達(dá)到分段視頻背景更新結(jié)束條件，當(dāng)前塊是否為最大預(yù)設(shè)尺寸；

當(dāng)達(dá)到當(dāng)前大小的塊對(duì)應(yīng)的視頻背景更新結(jié)束條件且當(dāng)前塊為最大預(yù)設(shè)尺寸，那么背景建模完畢；

當(dāng)達(dá)到當(dāng)前大小的塊對(duì)應(yīng)的視頻背景更新結(jié)束條件且當(dāng)前塊不是最大預(yù)設(shè)尺寸，擴(kuò)大設(shè)置塊的大小n＝n×2，更新t＝t+1，再返回步驟3)；

當(dāng)未達(dá)到當(dāng)前大小的塊對(duì)應(yīng)的視頻背景更新結(jié)束條件，則更新t＝t+1，再返回步驟3)。

本發(fā)明的有益效果是，在保證主觀質(zhì)量的同時(shí)建立可供全局編碼參考的背景圖像。

附圖說(shuō)明

圖1為塊的內(nèi)邊界和外邊界的定義；

圖2為背景建?？偭鞒蹋?/p>

圖3為自適應(yīng)訓(xùn)練集長(zhǎng)度判斷流程；

圖4為背景更新及塊的替換情況；

圖5為序列BasketballDrill_832x480_50的背景圖像建模過(guò)程示例；

圖6為序列Crossroad_720x576_30的背景圖像建模過(guò)程示例。

具體實(shí)施方式

本發(fā)明以視頻流中第1幀作為初始背景幀，再用之后幀進(jìn)行分塊，再對(duì)每塊進(jìn)行判斷，當(dāng)判斷為背景塊時(shí)，則以塊的形式對(duì)背景幀的相應(yīng)位置進(jìn)行替換，直至將背景幀中所有的前景內(nèi)部替換為背景，完成背景建模。

替換過(guò)程分以下四個(gè)主要步驟完成。

第一步，圖像前景內(nèi)容的判斷。初始時(shí)，

采用的是基于殘差的梯度圖像的計(jì)算和統(tǒng)計(jì)。為了建立一個(gè)良好的背景圖像，著重考慮Y、U、V三分量的殘差反映在圖像時(shí)域相關(guān)性方面的重要性。隨著當(dāng)前圖像順序t(present order count，POC)的增加，YUV視頻圖像三個(gè)分量殘差的計(jì)算由公式(1)給出。

$C_t^D(p,q)=C_t(p,q)-C_{t-1}(p,q)---\left(1\right)$

其中p和q表示該像素點(diǎn)在圖像第p行第q列的位置，C是YUV某一分量的色彩空間，C＝Y(jié),U,V，C_t(p,q)表示當(dāng)前時(shí)刻t坐標(biāo)為(p,q)的像素點(diǎn)的值，就是當(dāng)前像素點(diǎn)在時(shí)刻t的與前一時(shí)刻t-1的殘差。接著，YUV分量殘差的梯度計(jì)算由公式(2)給出。

$\▿C_t(p,q)=\sqrt{{\left(C_t^D\right(p,q)-C_t^D(p,q+1\left)\right)}^2+{\left(C_t^D\right(p,q)-C_t^D(p+1,q\left)\right)}^2}---\left(2\right)$

其中表示殘差的二階范數(shù)梯度值。殘差的梯度值是一種典型的圖像邊緣銳化的高通濾波法。

第二步，可變塊大小的迭代運(yùn)算。對(duì)于監(jiān)控視頻而言，由于采集監(jiān)控視頻的攝像頭參數(shù)的不同，導(dǎo)致不同大小的塊對(duì)于遠(yuǎn)近不同的物體呈現(xiàn)出的屬性明顯不同。在進(jìn)行運(yùn)動(dòng)估值的時(shí)候表示為一個(gè)塊內(nèi)運(yùn)動(dòng)震蕩的不同。所以，基于可變塊大小的背景建模方法能夠得到更優(yōu)的背景建模圖像。當(dāng)然，使用固定大小的塊仍然能夠完成背景建模，至少效果稍差。

設(shè)n為一個(gè)正方形塊的邊長(zhǎng)，那么這個(gè)塊里的像素點(diǎn)有n²個(gè)。不失一般性，任意分辨率的YUV圖像都能夠被8×8大小的塊所分割，因此最小塊大小定為8×8。塊大小可以逐步擴(kuò)大為16×16、32×32、64×64等。本方法在處理一個(gè)確定的塊時(shí)，采用的是Y、U、V三個(gè)分量同時(shí)存儲(chǔ)，這樣能夠保證色度和亮度的一致性。

計(jì)算分量C在當(dāng)前時(shí)刻t梯度殘差的均值μ_C用公式(3)表示。

${\mathrm{\μ}}_C=\frac{1}{n^2}\underset{i=1}{\overset{n}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}\▿C_t(i,j)---\left(3\right)$

計(jì)算分量C在當(dāng)前時(shí)刻t梯度殘差的方差σ_c用公式(4)表示。

${\mathrm{\σ}}_C=\sqrt{\frac{1}{n^2}\underset{i=1}{\overset{n}{\Σ}}\underset{j=1}{\overset{n}{\Σ}}{(\▿C_t(i,j)-{\mathrm{\μ}}_C)}^2}---\left(4\right)$

本發(fā)明提出以方差和均值比的對(duì)數(shù)形式來(lái)描述塊的運(yùn)動(dòng)強(qiáng)度，用公式(5)表示。

$f\left(C\right)=ln(1+\frac{{\mathrm{\σ}}_C}{{\mathrm{\μ}}_C+1})---\left(5\right)$

其中，函數(shù)f(C)表示的是殘差梯度的調(diào)整，即YUV分量的運(yùn)動(dòng)特征，公式(5)采用對(duì)數(shù)和加常量1的操作是為了保障f(C)始終為正值。

計(jì)算一個(gè)塊的運(yùn)動(dòng)殘差的梯度用公式(6)表示。

$\▿=f\left(Y\right)+{\mathrm{\ρ}}_U\·f\left(U\right)+{\mathrm{\ρ}}_V\·f\left(V\right)---\left(6\right)$

其中，運(yùn)動(dòng)梯度反映的是一個(gè)塊的運(yùn)動(dòng)信息，即運(yùn)動(dòng)變化值，ρ_U和ρ_V是比例系數(shù)。當(dāng)YUV三分量的量化比為4:2:0時(shí)，U和V分量在寬和高方向上的采樣比例為Y分量的一半，此時(shí)當(dāng)然，本發(fā)明能適用于所有YUV量化形式，不同的量化形式采用的比例系數(shù)視實(shí)際情況進(jìn)行調(diào)整。

如果一個(gè)塊內(nèi)的運(yùn)動(dòng)變化趨于緩慢，那么的值將趨近于0，這個(gè)塊很大程度上可能是背景塊；相反的，如果運(yùn)動(dòng)變化劇烈，那么將趨近于一個(gè)較大的值，這個(gè)塊很可能是前景塊。根據(jù)公式(6)計(jì)算出的的值，本發(fā)明把一個(gè)塊的替換情況分為以下3種類型：

第1類，嚴(yán)格替換類：如果小于一個(gè)嚴(yán)格替換的閾值

第2類，嚴(yán)格不替換類：如果大于一個(gè)嚴(yán)格不替換的閾值ω；

第3類，可能替換類：如果是在區(qū)間內(nèi)，那么替換情況將做進(jìn)一步考慮。

第三步，邊界檢測(cè)和替換抉擇。在背景圖像建模的過(guò)程中，不斷地根據(jù)當(dāng)前塊的類型進(jìn)行塊替換抉擇與實(shí)施操作，在當(dāng)前塊與背景塊之間進(jìn)行抉擇。其中，當(dāng)前塊指的是當(dāng)前時(shí)刻t正在處理的塊，背景塊為背景圖像中已經(jīng)存在的塊。對(duì)于當(dāng)前塊，根據(jù)Y、U、V三分量在其四個(gè)邊界上像素值的差異來(lái)進(jìn)行替換抉擇。

定義E_C為一個(gè)塊的內(nèi)邊界(inner edge，IE)和它的相鄰?fù)膺吔?outer edge，OE)的差的均值。公式(7)給出的四個(gè)方向的集合D_set。

D_set＝{top,bottom,left,right}(7)

對(duì)于在幀內(nèi)位置為(p,q)的塊，其內(nèi)外邊界像素值的差的均值計(jì)算由公式(8)給出。

$E_C(p,q,d)=\frac{1}{n}\underset{k=1}{\overset{n}{\Σ}}|C_{IE}(p,q,d,n)-C_{OE}(p,q,d,n)|---\left(8\right)$

其中d∈D_set，C_IE(p,q,d,n)表示的是某一分量C在方向d上內(nèi)邊界的像素值，同理，

C_OE(p,q,d,n)表示為同一分量C在方向d上外邊界的像素值。由此，一個(gè)塊的總的邊界像素值的差值和用公式(9)表示。

$E(p,q)=\underset{d\∈D_{set}}{\Σ}\underset{C=Y,U,V}{\Σ}{E}_C(p,q,d)---\left(9\right)$

在每一個(gè)時(shí)刻t，都可以根據(jù)公式(9)計(jì)算的當(dāng)前塊的邊界像素差值的和E_t(p,q)與相應(yīng)的背景圖像中塊的邊界像素差值的和E_BG(p,q)。差值小的表示當(dāng)前塊和它的邊界塊的差異更小，在圖像上表現(xiàn)為此塊是與鄰近塊更加符合的背景塊，當(dāng)差值和小于閾值τ時(shí)，將用此塊來(lái)替換相應(yīng)位置上原先的塊。

第四步，自適應(yīng)訓(xùn)練集長(zhǎng)度的判斷。在當(dāng)前時(shí)刻t進(jìn)行背景更新的過(guò)程中，統(tǒng)計(jì)被更新的塊數(shù)目CoverCount，在當(dāng)前時(shí)刻t更新完成后，如果CoverCount小于閾值α那么背景更新結(jié)束標(biāo)志EndCount加1，其中設(shè)定閾值α＝3表示當(dāng)前時(shí)刻t背景圖像中被替換的背景塊數(shù)等于3，接著進(jìn)行t+1時(shí)刻背景更新。同理如果CoverCount還是小于閾值α，那么EndCount再加1，當(dāng)EndCount等于自適應(yīng)訓(xùn)練集結(jié)束閾值β時(shí)，背景建模結(jié)束，其中設(shè)定閾值β＝2表示連續(xù)的兩個(gè)時(shí)刻t和t+1滿足CoverCount<α，否則CoverCount和EndCount的計(jì)數(shù)器清零，繼續(xù)背景建模過(guò)程。

實(shí)施例

圖1為塊的邊界檢測(cè)中所涉及到的內(nèi)邊界和外邊界的示意圖，假定塊的大小為16，對(duì)于它的Y分量而言，這個(gè)16×16的塊分別對(duì)應(yīng)的四個(gè)方向上的16個(gè)像素點(diǎn)就是其對(duì)應(yīng)的內(nèi)邊界，它的四個(gè)方向上的外邊界為這個(gè)塊所相鄰的四個(gè)塊的對(duì)應(yīng)位置的16個(gè)像素點(diǎn)。對(duì)于YUV三分量的量化比為4:2:0時(shí)，U、V分量是塊的邊長(zhǎng)為Y分量的一半。

以動(dòng)態(tài)調(diào)整塊大小的方案為例，如圖2所示，背景建?？偟牧鞒虉D，具體步驟為：

開(kāi)始：以第1幀作為原始背景幀，從第2幀開(kāi)始處理；

步驟201：根據(jù)當(dāng)前塊的大小n來(lái)進(jìn)行塊的初始化操作；塊初始大小的設(shè)置最好是效率圖像的分辨率；比較優(yōu)選的，當(dāng)視頻中幀的行像素在1000以下時(shí)，初始化設(shè)置塊的大小為8*8；當(dāng)幀的行像素在1000以上時(shí)，初始化設(shè)置塊的大小為16*16；本實(shí)施例考慮到所使用的視頻流中幀的行數(shù)為832或720，因此，設(shè)定最初塊的大小為n＝8，用公式(2)計(jì)算出塊內(nèi)各像素點(diǎn)的殘差；由于塊為動(dòng)態(tài)調(diào)整，因此還設(shè)置了使用了兩種塊大小對(duì)應(yīng)的最大訓(xùn)練集長(zhǎng)度，8*8對(duì)應(yīng)的最大訓(xùn)練集長(zhǎng)度為60，16*16對(duì)應(yīng)的最大訓(xùn)練集長(zhǎng)度為90；

步驟202：根據(jù)公式(6)計(jì)算塊內(nèi)所有像素的殘差和梯度值，得到當(dāng)前塊的運(yùn)動(dòng)變化值

步驟203：根據(jù)本發(fā)明提出的3種替換類型和第三步中公式(9)得到的邊界像素差值進(jìn)行邊界檢測(cè)和替換抉擇，具體替換示例可參考圖4；

步驟204：對(duì)當(dāng)前幀完成替換之后，判斷是否達(dá)到當(dāng)前大小的塊對(duì)應(yīng)的視頻背景更新結(jié)束條件，如果沒(méi)達(dá)到，t＝t+1轉(zhuǎn)202，繼續(xù)背景更新過(guò)程，具體的判斷可參考圖3；

步驟205：判斷當(dāng)前塊大小是否設(shè)置的最大塊大小，如果沒(méi)達(dá)到，轉(zhuǎn)206，如果達(dá)到，整個(gè)背景圖像建模過(guò)程結(jié)束；

步驟206：更新塊的大小n＝n×2，轉(zhuǎn)202。

視頻背景更新結(jié)束條件判斷也稱為自適應(yīng)訓(xùn)練集長(zhǎng)度判斷，如圖3所示，具體的流程如下：

步驟301：當(dāng)前時(shí)刻t進(jìn)行背景更新；

步驟302：判斷當(dāng)前時(shí)刻t是否達(dá)到訓(xùn)練集的最大訓(xùn)練長(zhǎng)度要求，若達(dá)到則當(dāng)前塊大小n的背景建模結(jié)束，否則轉(zhuǎn)303；

步驟303：根據(jù)當(dāng)前時(shí)刻t背景更新過(guò)程中統(tǒng)計(jì)的塊替換數(shù)目CoverCount，如果CoverCount小于閾值α，轉(zhuǎn)304，否則轉(zhuǎn)306；

步驟304：背景建模的結(jié)束標(biāo)志EndCount，轉(zhuǎn)305；

步驟305：如果EndCount等于結(jié)束閾值β，背景建模結(jié)束，否則轉(zhuǎn)306，繼續(xù)背景建模過(guò)程；

步驟306：CoverCount和EndCount清零，繼續(xù)下一時(shí)刻t+1的背景更新操作。

以上，簡(jiǎn)單說(shuō)來(lái)，更新結(jié)束條件為達(dá)到設(shè)置的當(dāng)前大小塊對(duì)應(yīng)的最大訓(xùn)練集長(zhǎng)度或連續(xù)β幀每幀替換的塊的數(shù)目小于α塊。如設(shè)置β＝2，α＝3，當(dāng)?shù)?0幀處理完畢8*8的塊替換后，則達(dá)到了8*8的塊所對(duì)應(yīng)的最大訓(xùn)練集長(zhǎng)度，從第61幀開(kāi)始進(jìn)行16*16的塊替換；當(dāng)?shù)?0幀處理完畢16*16的塊替換后，背景建模完成；或者，如在進(jìn)行8*8的塊替換過(guò)程中，在第20幀、21幀處理完畢后，這兩幀替換的塊的數(shù)目小于3，那么從第22幀開(kāi)始就進(jìn)行16*16的塊替換。

圖4為背景更新及塊替換情況圖，從圖中可以看到，白框內(nèi)區(qū)域在相鄰的兩個(gè)時(shí)刻t和t+1發(fā)生了明顯的變化，而后者是可靠的背景區(qū)域，根據(jù)公式(6)的計(jì)算判定此區(qū)域的運(yùn)動(dòng)梯度小于一個(gè)嚴(yán)格替換的閾值按照第1類替換類型嚴(yán)格替換。

圖5為序列BasketballDrill_832x480_50的背景圖像建模過(guò)程圖，可以看到從t＝0到t＝45的過(guò)程中背景圖像的更新過(guò)程。在一趟建模過(guò)程中，總是用相同大小的塊進(jìn)行的替換。

圖6為序列Crossroad_720x576_30的背景圖像建模過(guò)程圖，同理，可以看到從t＝0到t＝90的過(guò)程中背景圖像的更新過(guò)程。

下表為L(zhǎng)DP和RA模式下的BD-rate性能。LDP模式首幀為I幀，其余都為前向參考幀P幀，RA模式除了I幀和P幀之外，還存在雙向參考幀B幀。待測(cè)序列為AVS2和HEVC的部分監(jiān)控序列，參考數(shù)據(jù)Anchor按照HEVC的通測(cè)要求得出，測(cè)試數(shù)據(jù)的首幀采用本方法生成的背景圖像并作全局參考?？梢钥吹絃DP模式和RA下BD-rate都達(dá)到了非常大的增益，從UV分量的增益可以看出來(lái)，基于塊的背景圖像建模方法天然的優(yōu)勢(shì)。