一種基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法
【專利摘要】一種基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法，對(duì)背景建模，采用兩層次的背景更新模型；第一層采用較低的更新率對(duì)背景進(jìn)行更新，以適應(yīng)背景的緩慢變化；第二層根據(jù)高層信息的反饋，對(duì)背景進(jìn)行加速、補(bǔ)償?shù)炔僮?，以適應(yīng)場(chǎng)景內(nèi)物體運(yùn)動(dòng)的突變；對(duì)前景分割，根據(jù)高層信息的反饋，合并預(yù)測(cè)的運(yùn)動(dòng)物體塊，在預(yù)測(cè)的物體區(qū)域內(nèi)，自適應(yīng)地調(diào)整分割閾值，以達(dá)到抑制噪聲的同時(shí)，防止分割的前景物體出現(xiàn)空洞和割裂情況的發(fā)生。本發(fā)明處理方法中的背景建模時(shí)既保持模型的魯棒性，又保持模型對(duì)前景物體異常運(yùn)動(dòng)的敏感性；前景分割時(shí)，既能很好地抑制噪聲，又能防止前景空洞、被割裂的情況。
【專利說明】一種基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法，屬于智能交通模式識(shí)別【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]運(yùn)動(dòng)物體圖像處理方法中背景建模和前景分割是智能視頻監(jiān)控系統(tǒng)的基礎(chǔ)。背景模型和前景分割的精度將直接影響系統(tǒng)的后續(xù)處理，包括運(yùn)動(dòng)物體分割、識(shí)別和行為理解等。傳統(tǒng)的背景建模和前景分割技術(shù)存在兩個(gè)艱難的權(quán)衡問題:一個(gè)是背景建模時(shí)保持模型的魯棒性與敏感性之間的權(quán)衡；另一個(gè)是前景分割時(shí)抑制噪聲和防止前景物體出現(xiàn)空洞和被割裂情況之間的權(quán)衡。
[0003]智能視頻監(jiān)控系統(tǒng)一般都采用圖1的流程。圖1中的模塊順序執(zhí)行，背景建模與前景分割決定后續(xù)物體分割、識(shí)別和跟蹤操作，但是后續(xù)的操作并不對(duì)背景建模和前景分割產(chǎn)生影響。在眾多的背景建模方法中，混合高斯模型(GMM)方法[I]是最普遍使用的方法，在它基礎(chǔ)上又提出了很多改進(jìn)的方法[2-3]。但是這些方法在背景更新時(shí)采用固定的更新率，不能同時(shí)保證模型的魯棒性和敏感性。當(dāng)更新率取得較大時(shí)，緩慢運(yùn)動(dòng)的物體會(huì)被錯(cuò)誤的更新到背景中去；當(dāng)更新率取得較小時(shí)，需要很長(zhǎng)的時(shí)間來更新突來停止或運(yùn)動(dòng)的物體的區(qū)域，從而引進(jìn)很多的虛警。
[0004]為了使建立的模型兼具魯棒性和敏感性，文獻(xiàn)[4-5]開始采用圖1的結(jié)構(gòu)，通過高層反饋對(duì)像素進(jìn)行分類，進(jìn)而根據(jù)像素類別對(duì)背景更新率進(jìn)行調(diào)整控制。但是這些方法仍舊存在一些問題:首先就像文獻(xiàn)[4] [5]所說，當(dāng)前幀對(duì)像素類別錯(cuò)誤的劃分會(huì)損害到后續(xù)幀的操作。其次，這些方法對(duì)前景分割中存在的權(quán)衡問題沒有很好的解決。最后，這些方法的計(jì)算復(fù)雜度比較高，不利于實(shí)時(shí)應(yīng)用。
[0005]文獻(xiàn)[6-7]主要致力于前景分割的研究。文獻(xiàn)[6]根據(jù)鄰居節(jié)點(diǎn)是否為前景像素來調(diào)節(jié)分割閾值。文獻(xiàn)[7]通過融合物體的運(yùn)動(dòng)，顏色和對(duì)比度等信息來提高前景分割的效果。這些方法沒有使用高層信息的反饋，在抑制噪聲和防止前景物體出現(xiàn)空洞、被割裂情況之間不能取得很好的權(quán)衡。
[0006][I]C.Stauffer, and ff.Grimson, Adaptive background mixture models forreal-time tracking, in Proc.1EEE Conference on Computer Vision and Pattern Recognition，vol2, pp.246-252，1999.[0007][2]M.Heikkilaj and M.Pietikainenj A texture-based method for model-1ngthe background and detecting moving objects,IEEE Transaction on PatternAnalysis and Machine Intelligence, vol.28, n0.4, pp.657-662, 2006.[0008][3] T.Haines, and T.Xiang，，，Background Subtraction with DirichletProcesses，，，in Proc.2012European Conference on Computer Vision, pp.97-111, 2012.[0009][4]T.Boult, R.Michealsj and X.Gaoj Frame-rate omnidirectionalsurveillance and tracking of camouflaged and occluded targets, Sec—ond IEEEWorkshop on Visual Surveillance,pp.48-55, 1999.[0010][5]H.Linj J.Chuangj and T.Liuj Regularized Background Adaptation:A NovelLearning Rate Control Scheme for Gaussian Mixture Mod—eling，IEEE Trans, on ImageProcessing, vol.20，n0.3，pp.822-836，2011.[0011][6] P.Kumar, S.Ranganathj and W.Huang, Queue based Fast Back-groundModelling and Fast Hysteresis Thresholding for Better Fore-groundSegmentation,in Proc.the2003Joint Conference of the Fourth InternationalConference on Information, Communications and Signal Processing, vol.2, pp.743-747，2003.[0012][7] Z.Kuangj H.Zhou, and K.Wong, Accurate Foreground Segmenta-tionwithout Pre-learning, in Proc.2011Sixth International Confer—ence On Image andGraphics, pp.331-337，2011.[0013]綜上所述，現(xiàn)有技術(shù)存在以下幾點(diǎn)不足:(1)傳統(tǒng)的(圖1所示)背景建模方法采用統(tǒng)一的背景更新率，當(dāng)更新率取得不合適時(shí)，將引入很多虛警。(2)以文獻(xiàn)[5]為例，很多研究者開始采用圖2所示流程圖進(jìn)行處理。這些方法根據(jù)高層信息的反饋對(duì)圖像中各個(gè)像素進(jìn)行分類，之后按照分類結(jié)果調(diào)整相應(yīng)的更新速率。這些方法對(duì)像素分類要求很高，一旦分類發(fā)生錯(cuò)誤，這種錯(cuò)誤將會(huì)進(jìn)行傳播，影響后面連續(xù)多幀的更新效果。此外，這些方法在前景分割上沒利用運(yùn)動(dòng)信息的反饋，在前景分割時(shí)，對(duì)圖中各像素的閾值沒進(jìn)行自適應(yīng)的調(diào)整。(2)以文獻(xiàn)[6]為例，在進(jìn)行前景分割時(shí)，閾值大小由其鄰居像素是否為前景決定。當(dāng)其鄰居像素越多為前景時(shí)，其分割閾值越小，反之越大。這種方法首先會(huì)對(duì)分割出的物體的邊界造成模糊作用；其次這種方法不能很好地解決前景空洞比較大的情況。

【發(fā)明內(nèi)容】

[0014]本發(fā)明技術(shù)解決問題:克服現(xiàn)有技術(shù)的上述不足，提供一種基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法，背景建模時(shí)既保持模型的魯棒性，又保持模型對(duì)前景物體異常運(yùn)動(dòng)(突然靜止或運(yùn)動(dòng))的敏感性；前景分割時(shí)，既能很好地抑制噪聲，又能防止前景空洞、被割裂的情況。
[0015]本發(fā)明技術(shù)解決方案:一種基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法，采用圖3的結(jié)構(gòu)，把高層信息反饋回來，以提高背景建模和前景分割的效果，具體實(shí)現(xiàn)步驟如下:
[0016](I)對(duì)背景建模
[0017]采用兩層次的背景更新模型，第一層采用相對(duì)較小的(0.001)的更新率對(duì)背景進(jìn)行更新，以適應(yīng)背景的緩慢變化；第二層根據(jù)運(yùn)動(dòng)物體跟蹤信息的反饋，對(duì)背景進(jìn)行加速、補(bǔ)償操作，以適應(yīng)場(chǎng)景內(nèi)物體運(yùn)動(dòng)的突變；
[0018](2)對(duì)前景分割，根據(jù)高層信息的反饋，合并預(yù)測(cè)的運(yùn)動(dòng)物體塊，在預(yù)測(cè)的物體區(qū)域內(nèi)，自適應(yīng)地調(diào)整分割閾值，以達(dá)到抑制噪聲的同時(shí)，防止分割的前景物體出現(xiàn)空洞和割裂情況的發(fā)生。
[0019]本發(fā)明采用自適應(yīng)閾值的背景差方法進(jìn)行前景分割，即在某像素點(diǎn)，當(dāng)前圖像的像素值與背景的像素值的差大于給定閾值時(shí)，該點(diǎn)被認(rèn)為是前景點(diǎn)。背景模型建立的越準(zhǔn)確越有利于前景的分割，前景分割的越好，在本發(fā)明中也越有利于背景模型的更新。[0020]所述步驟(I)背景建模的具體實(shí)現(xiàn)方法如下:
[0021](11)輸入視頻流中任一幀圖像，全圖進(jìn)行第一層背景更新，得到背景初步更新結(jié)果O
[0022](12)根據(jù)運(yùn)動(dòng)物體跟蹤的結(jié)果，對(duì)輸入的視頻圖像進(jìn)行區(qū)域分類，包括背景區(qū)域、運(yùn)動(dòng)物體區(qū)域、靜止物體區(qū)域和醒來物體區(qū)域，得到圖像區(qū)域劃分結(jié)果。
[0023](13)根據(jù)區(qū)域劃分結(jié)果，對(duì)步驟(11)所得結(jié)果進(jìn)行第二層更新，背景區(qū)域保持第一層更新結(jié)果不變；運(yùn)動(dòng)物體區(qū)域進(jìn)行更新補(bǔ)償操作；靜止物體區(qū)域和醒來物體區(qū)域進(jìn)行加速更新操作。得到這幀背景更新的最終結(jié)果。
[0024]所述步驟(2)前景分割的具體實(shí)現(xiàn)方法如下:
[0025](21)根據(jù)上幀自適應(yīng)調(diào)整的閾值，對(duì)新輸入的圖像進(jìn)行自適應(yīng)閾值化前景分割。得到前景圖。
[0026](22)根據(jù)前景圖上分割出的前景物體塊的位置，合并認(rèn)為是屬于同一物體的前景塊的外接矩形，得到各物體大致區(qū)域。
[0027](23)在(22)結(jié)果上，對(duì)各物體區(qū)域進(jìn)行掃描，找出各物體的邊界，從而得到各物體的精確區(qū)域。
[0028](24)在各物體區(qū)域內(nèi)進(jìn)行分割閾值的自適應(yīng)調(diào)整，得到整個(gè)圖像各個(gè)地方的分割閾值，以備下一幀使用。
[0029]本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于:
[0030](I)本發(fā)明建立的背景模型既能保持模型的魯棒性，又能保持模型對(duì)前景物體異常運(yùn)動(dòng)(突然靜止或運(yùn)動(dòng))的敏感性。且根據(jù)高層信息反饋后對(duì)物體像素的誤分類對(duì)本發(fā)明方法的性能幾乎沒什么影響。
[0031](2)本發(fā)明在前景分割時(shí)既能抑制噪聲，同時(shí)又能抑制分割的前景物體出現(xiàn)空洞和被割裂情況的發(fā)生。
[0032](3)本發(fā)明建立的背景模型簡(jiǎn)單，計(jì)算復(fù)雜度低，實(shí)時(shí)性效果好。
【專利附圖】

【附圖說明】
[0033]圖1為智能視頻監(jiān)控系統(tǒng)的圖像處理最傳統(tǒng)的處理流程圖
[0034]圖2為基于反饋的背景建模處理流程圖；
[0035]圖3為本發(fā)明采用的處理流程圖；
[0036]圖4為本發(fā)明中背景建模實(shí)現(xiàn)流程圖；
[0037]圖5為前景塊合并實(shí)例圖，a為合并前的圖，b為合并后的圖
[0038]圖6為前景塊外接矩形合并示例圖，a為示例I, b為示例2
[0039]圖7為物體邊界確定圖，a為左右邊界點(diǎn)確定示例圖，b為獲得的物體區(qū)域圖；
[0040]圖8為前景分割實(shí)現(xiàn)流程圖。
【具體實(shí)施方式】
[0041]如圖3-4所示，本發(fā)明具體實(shí)現(xiàn)步驟如下:
[0042]1.背景建模
[0043]本發(fā)明采用如圖4所示的雙層次背景更新模型。在第一層，采用較低的更新率對(duì)整個(gè)背景進(jìn)行更新；在第二層，根據(jù)運(yùn)動(dòng)物體跟蹤信息反饋，將圖像分為四種不同類型的區(qū)域，之后在不同的區(qū)域上分別進(jìn)行相應(yīng)的第二層操作。
[0044]1.1第一層更新
[0045]在第一層，采用低通濾波的形式對(duì)整個(gè)背景進(jìn)行更新:
[0046]B' n+1(i, j) = (1-Ctmin).Bn(i, j) +amin.Gn(i, j)
[0047]其中n是當(dāng)前的幀號(hào)，(i，j)是像素的坐標(biāo)，Bn(i, j)是像素(i，j)處當(dāng)前幀的背景值，Gn(i，j)是像素(i，j)處當(dāng)前幀的像素值，B' n+1(i, j)是像素(i，j)處更新后的背景值，Qmin是更新率。在這層中Qmin設(shè)置的比較小(0.001左右)以適應(yīng)場(chǎng)景的緩慢變化，如光照等。
[0048]1.2第二層更新
[0049]1.2.1圖像中區(qū)域分類
[0050]通過對(duì)運(yùn)動(dòng)物體進(jìn)行跟蹤，能很容易得到運(yùn)動(dòng)物體的起始位置(? y0)和運(yùn)動(dòng)物體的速度Vi。根據(jù)Xo，y。，Vi,圖像可以很容易的劃分為四種不同類型的區(qū)域，包括背景區(qū)域，運(yùn)動(dòng)物體區(qū)域，睡著物體區(qū)域(運(yùn)動(dòng)物體突然由運(yùn)動(dòng)變?yōu)殪o止的區(qū)域)和醒來物體區(qū)域(運(yùn)動(dòng)物體突然由靜止變?yōu)檫\(yùn)動(dòng)的區(qū)域)。圖像中不包含任何運(yùn)動(dòng)物體的區(qū)域?yàn)楸尘皡^(qū)域，標(biāo)記為O。根據(jù)速度Vi，運(yùn)動(dòng)物體通過閾值化的方法能區(qū)分成靜止和運(yùn)動(dòng)兩種類型。圖像中運(yùn)動(dòng)物體覆蓋的區(qū)域?yàn)檫\(yùn)動(dòng)物體區(qū)域，標(biāo)記為I。靜止物體覆蓋的區(qū)域?yàn)樗矬w區(qū)域，標(biāo)記為2。根據(jù)運(yùn)動(dòng)物體的起始位置可以知道跟蹤的運(yùn)動(dòng)物體是否是從邊界進(jìn)入場(chǎng)景的。如果運(yùn)動(dòng)物體不是從邊界進(jìn)入場(chǎng)景的，就定義該物體為醒來的物體，該物體覆蓋的起始區(qū)域?yàn)樾褋砦矬w區(qū)域，標(biāo)記為3。因此，可以得到一個(gè)圖像類型標(biāo)記:
[0051]
【權(quán)利要求】
1.一種基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法，其特征在于實(shí)現(xiàn)步驟如下: (1)對(duì)背景建模 采用兩層次的背景更新模型，第一層采用相對(duì)較小的即0.0Ol的更新率對(duì)背景進(jìn)行更新，以適應(yīng)背景的緩慢變化；第二層根據(jù)運(yùn)動(dòng)物體跟蹤信息的反饋，對(duì)背景進(jìn)行加速、補(bǔ)償操作，以適應(yīng)場(chǎng)景內(nèi)物體運(yùn)動(dòng)的突變； (2)對(duì)前景分割，根據(jù)高層信息的反饋，合并預(yù)測(cè)的運(yùn)動(dòng)物體塊，在預(yù)測(cè)的物體區(qū)域內(nèi)，自適應(yīng)地調(diào)整分割閾值，以達(dá)到抑制噪聲的同時(shí)，防止分割的前景物體出現(xiàn)空洞和割裂情況的發(fā)生。
2.根據(jù)權(quán)利要求1所述的基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法，其特征在于:所述步驟(I)背景建模的具體實(shí)現(xiàn)方法如下: (11)輸入視頻流中任一幀圖像，全圖進(jìn)行第一層背景更新，得到背景初步更新結(jié)果； (12)根據(jù)運(yùn)動(dòng)物體跟蹤的結(jié)果，對(duì)輸入的視頻圖像進(jìn)行區(qū)域分類，包括背景區(qū)域、運(yùn)動(dòng)物體區(qū)域、靜止物體區(qū)域和醒來物體區(qū)域，得到圖像區(qū)域劃分結(jié)果； (13)根據(jù)區(qū)域劃分結(jié)果，對(duì)步驟(11)所得結(jié)果進(jìn)行第二層更新，背景區(qū)域保持第一層更新結(jié)果不變；運(yùn)動(dòng)物體區(qū)域進(jìn)行更新補(bǔ)償操作；靜止物體區(qū)域和醒來物體區(qū)域進(jìn)行加速更新操作。得到這幀背景更新的最終結(jié)果。
3.根據(jù)權(quán)利要求1所述的基于反饋的運(yùn)動(dòng)物體分割的圖像處理方法，其特征在于:所述步驟(2)前景分割的具體實(shí)現(xiàn)方法如下: (21)根據(jù)上幀自適應(yīng)調(diào)整的閾值，對(duì)新輸入的圖像進(jìn)行自適應(yīng)閾值化前景分割，得到前景圖； (22)根據(jù)前景圖上分割出的前景物體塊的位置，合并認(rèn)為是屬于同一物體的前景塊的外接矩形，得到各物體大致區(qū)域； (23)在步驟(22)結(jié)果上，對(duì)各物體區(qū)域進(jìn)行掃描，找出各物體的邊界，從而得到各物體的精確區(qū)域； (24)在各物體區(qū)域內(nèi)進(jìn)行分割閾值的自適應(yīng)調(diào)整，得到整個(gè)圖像各個(gè)地方的分割閾值，以備下一幀使用。
【文檔編號(hào)】G06K9/00GK103514609SQ201310283658
【公開日】2014年1月15日 申請(qǐng)日期:2013年7月6日 優(yōu)先權(quán)日:2013年7月6日
【發(fā)明者】凌強(qiáng), 嚴(yán)金豐, 張逸成, 李峰, 徐理想 申請(qǐng)人:中國(guó)科學(xué)技術(shù)大學(xué)