專利名稱：一種基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻圖像處理技術(shù)領(lǐng)域，特別是指一種基于幀差的多 重幀間形態(tài)學(xué)區(qū)域探測(cè)方法。
背景技術(shù)：
在近幾年中，物體移動(dòng)探測(cè)技術(shù)在眾多領(lǐng)域里得到廣泛的應(yīng)用，尤 其是在視頻監(jiān)控領(lǐng)域。由于此項(xiàng)技術(shù)仍然處在早期的發(fā)展階段，所以仍 然需要在各個(gè)方面得到提高以適應(yīng)各種復(fù)雜的環(huán)境條件。
目前在常用的一些移動(dòng)物體探測(cè)的處理方法中，有三種具有代表 性的方法，它們分別是背景差法，光流法和幀差法。
背景差法是最常用的方法，通常應(yīng)用在靜止的背景環(huán)境下，它的原 理是用一個(gè)背景模型當(dāng)作參考來(lái)跟當(dāng)前幀圖像進(jìn)行比較以探測(cè)到前景
運(yùn)動(dòng)信息。背景差法快速，簡(jiǎn)單，但是此方法在應(yīng)用時(shí)需要有固定，靜止
M -匕旦 H、J冃豕。
光流法是一種運(yùn)動(dòng)補(bǔ)償?shù)姆椒ǎ脕?lái)估計(jì)在相鄰兩幀內(nèi)像素點(diǎn)的 運(yùn)動(dòng)趨勢(shì)，它可以應(yīng)用在背景信息變化的環(huán)境下。它的原理是假設(shè)相應(yīng) 的像素點(diǎn)在連續(xù)兩幀內(nèi)的運(yùn)動(dòng)不超過(guò)一定的像素距離，以計(jì)算出它的 運(yùn)動(dòng)趨勢(shì)，在不確定的環(huán)境條件下，這意味著背景變換應(yīng)該相對(duì)的較 小。光流法可以很準(zhǔn)確的探測(cè)到物體運(yùn)動(dòng)，但是此方法非常復(fù)雜，計(jì)算 量龐大，對(duì)于實(shí)時(shí)應(yīng)用的要求具有一定難度。
幀差法是建立在幀間變化的基礎(chǔ)上，原理是通過(guò)計(jì)算相鄰幀間的 變化來(lái)得到物體運(yùn)動(dòng)區(qū)域。此方法對(duì)于動(dòng)態(tài)的背景環(huán)境具有非常高的 適應(yīng)性，計(jì)算復(fù)雜度低，但是對(duì)于探測(cè)到的運(yùn)動(dòng)物體信息的提取不是非 常精確，適于快速的初歩探測(cè)
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方法。
本發(fā)明的技術(shù)方案是 一種基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方法，其方法步驟是 首先讀取當(dāng)前幀信息，在積累幀累計(jì)大于2時(shí)，
第一步開(kāi)始進(jìn)行幀差探測(cè)；用來(lái)探測(cè)最初的可能移動(dòng)區(qū)域并為下 一步能夠?qū)崟r(shí)準(zhǔn)確的探測(cè)做好準(zhǔn)備，
第二步針對(duì)幀差探測(cè)的結(jié)果，進(jìn)行多重幀間形態(tài)學(xué)檢測(cè)，
a、 進(jìn)行區(qū)域塊狀檢測(cè)，用于完成檢測(cè)中由點(diǎn)到塊的轉(zhuǎn)換，
b、 進(jìn)行多重幀間構(gòu)造處理，即通過(guò)一次以上的對(duì)相鄰幀間信息的 縱向擴(kuò)展并利用一次以上的形態(tài)學(xué)檢測(cè)，得到擴(kuò)展一層和擴(kuò)展二層結(jié) 果，以達(dá)到區(qū)分開(kāi)背景干擾和前景運(yùn)動(dòng)信息以克服環(huán)境變化產(chǎn)生的影 響，并在消除幀間隨機(jī)性的信息的同時(shí)又保留了幀間連續(xù)性的信息。
其中，所述的幀差探測(cè)是把連續(xù)2幀256級(jí)灰度圖像在時(shí)間t和 t+l時(shí)某象素點(diǎn)(x，y)的灰度值設(shè)為I(x，y，t)和工(x，y， t+l)，通過(guò)設(shè)定 自動(dòng)閥值Td來(lái)計(jì)算2幀圖像灰度值的變化以得到前景變化區(qū)域。自動(dòng) 閥值的設(shè)定可以根據(jù)圖像的統(tǒng)計(jì)信息得出。
所述的區(qū)域塊狀檢測(cè)是將點(diǎn)的運(yùn)算轉(zhuǎn)換成塊狀區(qū)域運(yùn)算，即將整 個(gè)圖像按照4X4的塊狀大小進(jìn)行分割，通過(guò)設(shè)定閥值在上述的幀差法 的基礎(chǔ)上判斷此塊是否為運(yùn)動(dòng)區(qū)域塊。
所述的擴(kuò)展一層是對(duì)于相鄰兩幀的幀差結(jié)果，以前 -幀某 -固定 象素塊為參考?jí)K，對(duì)其在后一幀的相同象素塊位置的周圍8鄰域象素 塊進(jìn)行判斷，如果前一幀象素塊為運(yùn)動(dòng)象素塊，并且后一幀同一位置象 素塊周圍8鄰域象素塊中有任何一個(gè)象素塊為運(yùn)動(dòng)塊，則以后一幀此 領(lǐng)域象素塊為中心，進(jìn)行8鄰域的膨脹運(yùn)算，結(jié)果是使得其本身和其8 鄰域塊都標(biāo)記為運(yùn)動(dòng)塊，并保存到擴(kuò)展一層的輸出結(jié)果中；
擴(kuò)展二層是將對(duì)于相鄰兩幀的擴(kuò)展一層輸出結(jié)果，以前一幀某一 固定象素塊為參考?jí)K，對(duì)其在后一幀的相同象素塊位置象素塊進(jìn)行判 斷，如果前一幀象素塊為運(yùn)動(dòng)象素塊，并且后一幀同一位置象素塊也為 運(yùn)動(dòng)象素塊，則以后一幀此領(lǐng)域象素塊為中心，進(jìn)行8鄰域的膨脹運(yùn)算，結(jié)果是使得其本身和其8鄰域塊都標(biāo)記為運(yùn)動(dòng)塊，并保存到擴(kuò)展二 層的輸出結(jié)果中。
其中所述的形態(tài)學(xué)檢測(cè)是指形態(tài)學(xué)運(yùn)算方法中的膨脹運(yùn)算.膨脹
運(yùn)算公式為
<formula>formula see original document page 6</formula>
其中A為被檢目標(biāo)，B為結(jié)構(gòu)運(yùn)算符,膨脹運(yùn)算的效果是使被運(yùn)算 目標(biāo)的邊界擴(kuò)大，可以起到連接和填充的作用。
本發(fā)明的優(yōu)點(diǎn)在于本發(fā)明用幀差法進(jìn)行物體運(yùn)動(dòng)的初步分析，并
結(jié)合多重幀間構(gòu)造法和形態(tài)學(xué)檢測(cè)法來(lái)區(qū)分背景噪音和前景運(yùn)動(dòng)信息: 在消除背景噪音的同時(shí)盡可能保留前景運(yùn)動(dòng)信息以得到更好的探測(cè)結(jié) 果，具有很高的抗干擾性和探測(cè)準(zhǔn)確率。


圖1為本發(fā)明的工作流程示意圖。
圖2為本發(fā)明所述的塊狀區(qū)域探測(cè)變換過(guò)程示意圖。
圖3為本發(fā)明所述的多重幀間構(gòu)造處理示意圖。
圖4為本發(fā)明所述的幀差結(jié)果到擴(kuò)展一層的形態(tài)學(xué)幀間膨脹處理
示意圖。
圖5為本發(fā)明所述的擴(kuò)展一層到擴(kuò)展二層的形態(tài)學(xué)幀間膨脹處理
示意圖。
具體實(shí)施例方式
下面就結(jié)合說(shuō)明書(shū)附圖及對(duì)本發(fā)明作進(jìn)一步的說(shuō)明。 本發(fā)明是一種基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方法，該方法 的工作流程圖如圖l所示。
首先讀取當(dāng)前幀信息，在積累幀累計(jì)大于2的時(shí)候，進(jìn)行本發(fā) 明的第一歩驟開(kāi)始進(jìn)行幀差探測(cè)；其目的是用來(lái)探測(cè)最初的可能移 動(dòng)區(qū)域并為下一步能夠?qū)崟r(shí)準(zhǔn)確的探測(cè)做好準(zhǔn)備。具體步驟為把連
續(xù)2幀256級(jí)灰度圖像在時(shí)間t和t+1時(shí)某象素點(diǎn)(x，y)的灰度值設(shè)為 I (x， y， t)和I (x， y， t+1)，通過(guò)設(shè)定自動(dòng)閥值Td來(lái)計(jì)算2幀圖像灰度值的變化以得到前景變化區(qū)域.自動(dòng)閥值的設(shè)定可以根據(jù)圖像的統(tǒng)計(jì)信
息得出，所用公式如下
<formula>formula see original document page 7</formula>其中w是一個(gè)在0到1之間的小數(shù)，代表差分圖像的變化范圍。 Ia(x， y， t-l)在最開(kāi)始的時(shí)候設(shè)為空白圖像。Td設(shè)為3倍的Ia(x， y， t+l: 平均值，w設(shè)為0. 5;
第二步針對(duì)上述幀差探測(cè)的結(jié)果，進(jìn)行多重幀間形態(tài)學(xué)檢測(cè)，該 步驟分為
a、進(jìn)行區(qū)域塊狀檢測(cè)，用于完成檢測(cè)中由點(diǎn)到塊的轉(zhuǎn)換，目的是 將點(diǎn)的運(yùn)算轉(zhuǎn)換成塊狀區(qū)域運(yùn)算，如圖2所示，方法是將整個(gè)圖像按照 4X4的塊狀大小進(jìn)行分割，通過(guò)設(shè)定閥值在幀差法的基礎(chǔ)上判 是否為運(yùn)動(dòng)區(qū)域塊。其公式為
<formula>formula see original document page 7</formula>
其中PixelMotionSum代表區(qū)域塊中Id(x， y)為255的象素點(diǎn)的總 禾口，T為閥值，設(shè)定為7，即在4X4塊中運(yùn)動(dòng)象素點(diǎn)總和大于一半時(shí)，此 塊為運(yùn)動(dòng)塊。
該步驟可以大大減少對(duì)視頻圖像的處理運(yùn)算量。例如，原本視頻 圖像為cif格式352X288大小，如果以點(diǎn)為基礎(chǔ)進(jìn)行處理，掃描一次完 整圖像需要進(jìn)行352X288次運(yùn)算。如果以塊狀區(qū)域?yàn)榛A(chǔ)進(jìn)行處理， 運(yùn)算量會(huì)減少為原來(lái)的1/16，同時(shí)在內(nèi)存容量方面也會(huì)減少到原來(lái)的 1/16。b、進(jìn)行多重幀間構(gòu)造處理
在進(jìn)行多重幀間構(gòu)造處理的步驟中，根據(jù)對(duì)于背景干擾信息，它的 出現(xiàn)具有幀間隨機(jī)性，而對(duì)于前景運(yùn)動(dòng)信息，它則具有幀間連續(xù)性的特 點(diǎn)，利用多重幀間構(gòu)造處理，使得幀間信息縱向擴(kuò)展，并利用一次以上 的形態(tài)學(xué)檢測(cè)方法，可以既消除了幀間隨機(jī)性的信息而同時(shí)又保留了 幀間連續(xù)性的信息，以達(dá)到區(qū)分開(kāi)背景干擾和前景運(yùn)動(dòng)信息以克服環(huán) 境變化產(chǎn)生的影響，并在消除幀間隨機(jī)性的信息的同時(shí)又保留了幀間 連續(xù)性的信息。
多重幀間構(gòu)造處理是通過(guò)一次以上的對(duì)相鄰幀間信息的縱向擴(kuò)展 并利用一次以上的形態(tài)學(xué)檢測(cè)，得到擴(kuò)展一層和擴(kuò)展二層結(jié)果，即在 幀差法結(jié)果的基礎(chǔ)上，向縱向擴(kuò)展。如圖3所示，每一下層的圖像結(jié)果 都是由上一層相鄰兩圖像經(jīng)過(guò)不同的處理方式得到的，例如幀差結(jié)果
是通過(guò)幀差法得到的，而擴(kuò)展1層和擴(kuò)展2層結(jié)果都是通過(guò)形態(tài)學(xué)檢測(cè)
得到的。形態(tài)學(xué)圖像處理技術(shù)被廣泛的應(yīng)用在圖像處理，機(jī)器視覺(jué)，以 及模式識(shí)別等領(lǐng)域，當(dāng)形態(tài)學(xué)應(yīng)用在物體形狀探測(cè)領(lǐng)域時(shí)，它可以將目 標(biāo)物體分解為有意義的部分從而將其從背景信息中分離出來(lái)，同時(shí)保
留了目標(biāo)物體的主要形狀特性；在本發(fā)明中采用了其中的膨脹運(yùn)算， 膨脹運(yùn)算公式為
，S = {x I d n ^ 0}
其中A為被檢目標(biāo)，B為結(jié)構(gòu)運(yùn)算符。
膨脹運(yùn)算的效果是使被運(yùn)算目標(biāo)的邊界擴(kuò)大，可以起到連接和填 充的作用.主要是使前景運(yùn)動(dòng)信息盡可能的保留。
從圖3中可以看到，從幀差結(jié)果到擴(kuò)展一層和從擴(kuò)展一層到擴(kuò)展二
層，形態(tài)學(xué)運(yùn)算將會(huì)被連續(xù)運(yùn)用兩次，而這兩次運(yùn)用的判別條件又略有不同。
如圖4所示，從幀差結(jié)果到擴(kuò)展一層，是對(duì)于相鄰兩幀的幀差結(jié)果，
以前一幀某一固定象素塊為參考?jí)K，對(duì)其在后一幀的相同象素塊位置 的周圍8鄰域象素塊進(jìn)行判斷，如果前一幀象素塊為運(yùn)動(dòng)象素塊，并且 后一幀同一位置象素塊周圍8鄰域象素塊中有任何一個(gè)象素塊為運(yùn)動(dòng)塊，則以后一幀此領(lǐng)域象素塊為中心，進(jìn)行8鄰域的膨脹運(yùn)算，結(jié)果是使 得其本身和其8鄰域塊都標(biāo)記為運(yùn)動(dòng)塊，并保存到擴(kuò)展一層的輸出結(jié)果中。如圖5所示，從擴(kuò)展一層到擴(kuò)展二層，是對(duì)于相鄰兩幀的擴(kuò)展一 層輸出結(jié)果，以前一幀某一固定象素塊為參考?jí)K，對(duì)其在后一幀的相同 象素塊位置象素塊進(jìn)行判斷，如果前一幀象素塊為運(yùn)動(dòng)象素塊，并且后 一幀同一位置象素塊也為運(yùn)動(dòng)象素塊，則以后一幀此領(lǐng)域象素塊為中 心，進(jìn)行8鄰域的膨脹運(yùn)算，結(jié)果是使得其本身和其8鄰域塊都標(biāo)記為 運(yùn)動(dòng)塊，并保存到擴(kuò)展二層的輸出結(jié)果中。在本發(fā)明中具有幀差法，區(qū)域塊狀檢測(cè)處理，多重幀間構(gòu)造處理， 形態(tài)學(xué)檢測(cè)的綜合應(yīng)用，幀差法用來(lái)探測(cè)最初的可能移動(dòng)區(qū)域，并為 下一步能夠?qū)崟r(shí)準(zhǔn)確的探測(cè)做好準(zhǔn)備；區(qū)域塊狀檢測(cè)處理完成了由點(diǎn) 到塊的轉(zhuǎn)換，實(shí)現(xiàn)了運(yùn)算時(shí)間和內(nèi)存消耗的降低；多重幀間構(gòu)造處理通 過(guò)相鄰幀間信息的縱向擴(kuò)展和運(yùn)用形態(tài)學(xué)檢測(cè)的手段，區(qū)分開(kāi)背景干 擾和前景運(yùn)動(dòng)信息以克服環(huán)境變化產(chǎn)生的影響；實(shí)現(xiàn)了更好的探測(cè)結(jié) 果。以本發(fā)明在TI最近推出的達(dá)芬奇產(chǎn)品線的兩款新數(shù)字信號(hào)處理器 -TMS320DM647和TMS320DM648應(yīng)用為例，大大提升了 DSP智能視頻能 力，在它的支持下，基于這些DSP的NVR與DVR等高級(jí)攝像頭系統(tǒng)可 實(shí)現(xiàn)視頻內(nèi)容分析功能，允許在整體網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中集成更高的 靈活性、可升級(jí)性以及智能性。由于本發(fā)明具有的對(duì)視頻處理實(shí)時(shí)性高的優(yōu)勢(shì)，即對(duì)每幀的消耗 時(shí)間能控制在4ms/幀，可以很好的實(shí)現(xiàn)在一顆主頻720M的DM647芯 片上進(jìn)行8路實(shí)時(shí)視頻智能功能的任務(wù)，降低了 DVR的BOM成本， 并使DVR設(shè)計(jì)方案更便于實(shí)現(xiàn)簡(jiǎn)約化。此外，本發(fā)明還具有抗干擾性 強(qiáng)的特征。針對(duì)目前市面上大量使用的低成本攝像頭，采用本發(fā)明的 技術(shù)方案，可以有效的去除攝像頭的工程噪音，保證探測(cè)質(zhì)量，還可 以針對(duì)目前對(duì)于智能功能配套高級(jí)攝像頭的要求，可以在不進(jìn)行攝像 頭升級(jí)的基礎(chǔ)上完成智能功能，從而大幅度降低了使用成本。
權(quán)利要求
1、一種基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方法，其特征在于該方法步驟是首先讀取當(dāng)前幀信息，在積累幀累計(jì)大于2時(shí)，第一步開(kāi)始進(jìn)行幀差探測(cè)；用來(lái)探測(cè)最初的可能移動(dòng)區(qū)域并為下一步能夠?qū)崟r(shí)準(zhǔn)確的探測(cè)做好準(zhǔn)備；第二步針對(duì)幀差探測(cè)的結(jié)果，進(jìn)行多重幀間形態(tài)學(xué)檢測(cè)，a、進(jìn)行區(qū)域塊狀檢測(cè)，用于完成檢測(cè)中由點(diǎn)到塊的轉(zhuǎn)換；b、進(jìn)行多重幀間構(gòu)造處理，即通過(guò)一次以上的對(duì)相鄰幀間信息的縱向擴(kuò)展并利用一次以上的形態(tài)學(xué)檢測(cè)，得到擴(kuò)展一層和擴(kuò)展二層結(jié)果，以達(dá)到區(qū)分開(kāi)背景干擾和前景運(yùn)動(dòng)信息以克服環(huán)境變化產(chǎn)生的影響，并在消除幀間隨機(jī)性的信息的同時(shí)又保留了幀間連續(xù)性的信息。
2、根據(jù)權(quán)利要求1所述的基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方 法，其特征在于所述的幀差探測(cè)是把連續(xù)2幀256級(jí)灰度圖像在時(shí)間 t和t + l時(shí)某象素點(diǎn)(x， y)的灰度值設(shè)為工(x, y， t)和I (x， y, t十l)，通過(guò) 設(shè)定自動(dòng)閥值Td來(lái)計(jì)算2幀圖像灰度值的變化，以得到前景變化區(qū)域； 根據(jù)圖像的統(tǒng)計(jì)信息可以設(shè)定自動(dòng)閥值T d 。
3、 根據(jù)權(quán)利要求1所述的基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方 法，其特征在于所述的區(qū)域塊狀檢測(cè)是將點(diǎn)的運(yùn)算轉(zhuǎn)換成塊狀區(qū)域運(yùn) 算，即將整個(gè)圖像按照4X4的塊狀大小進(jìn)行分割，通過(guò)設(shè)定閥值用幀 差法來(lái)判斷此塊是否為運(yùn)動(dòng)區(qū)域塊。
4、 根據(jù)權(quán)利要求1所述的基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方 法，其特征在于所述的擴(kuò)展一層是對(duì)于相鄰兩幀的幀差結(jié)果，以前一 幀某一固定象素塊為參考?jí)K，對(duì)其在后一幀的相同象素塊位置的周圍 8鄰域象素塊進(jìn)行判斷，如果前一幀象素塊為運(yùn)動(dòng)象素塊，并且后一幀同一位置象素塊周圍8鄰域象素塊中有任何一個(gè)象素塊為運(yùn)動(dòng)塊，則 以后一幀此領(lǐng)域象素塊為中心，進(jìn)行8鄰域的膨脹運(yùn)算，結(jié)果是使得其 本身和其8鄰域塊都標(biāo)記為運(yùn)動(dòng)塊，并保存到擴(kuò)展一層的輸出結(jié)果中； 所述的擴(kuò)展二層是將對(duì)于相鄰兩幀的擴(kuò)展一層輸出結(jié)果，以前一 幀某一固定象素塊為參考?jí)K，對(duì)其在后一幀的相同象素塊位置象素塊 進(jìn)行判斷，如果前一幀象素塊為運(yùn)動(dòng)象素塊，并且后一幀同一位置象素 塊也為運(yùn)動(dòng)象素塊，則以后一幀此領(lǐng)域象素塊為中心，進(jìn)行8鄰域的膨脹運(yùn)算，結(jié)果是使得其本身和其8鄰域塊都標(biāo)記為運(yùn)動(dòng)塊，并保存到擴(kuò)展二層的輸出結(jié)果中。
5、根據(jù)權(quán)利要求1所述的基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方法，其特征在于所述的形態(tài)學(xué)檢測(cè)是指形態(tài)學(xué)運(yùn)算方法中的膨脹運(yùn)算.膨脹運(yùn)算公式為j④丑={x I n爿# 0}其中A為被檢目標(biāo)，B為結(jié)構(gòu)運(yùn)算符，膨脹運(yùn)算的效果是使被運(yùn)算 目標(biāo)的邊界擴(kuò)大，可以起到連接和填充的作用。
全文摘要
本發(fā)明屬于視頻圖像處理技術(shù)領(lǐng)域，特別是指一種基于幀差的多重幀間形態(tài)學(xué)區(qū)域探測(cè)方法，其方法步驟是讀取當(dāng)前幀信息，在積累幀累計(jì)大于2時(shí)，第一步開(kāi)始進(jìn)行幀差探測(cè)；用來(lái)探測(cè)最初的可能移動(dòng)區(qū)域并為下一步能夠?qū)崟r(shí)準(zhǔn)確的探測(cè)做好準(zhǔn)備，第二步針對(duì)幀差探測(cè)的結(jié)果，進(jìn)行多重幀間形態(tài)學(xué)檢測(cè)，a.進(jìn)行區(qū)域塊狀檢測(cè)，用于完成檢測(cè)中由點(diǎn)到塊的轉(zhuǎn)換；b.進(jìn)行多重幀間構(gòu)造處理，即通過(guò)一次以上的對(duì)相鄰幀間信息的縱向擴(kuò)展并利用一次以上的形態(tài)學(xué)檢測(cè)，得到擴(kuò)展一層和擴(kuò)展二層結(jié)果，以達(dá)到區(qū)分開(kāi)背景干擾和前景運(yùn)動(dòng)信息以克服環(huán)境變化產(chǎn)生的影響，并在消除幀間隨機(jī)性的信息的同時(shí)保留幀間連續(xù)性的信息。本發(fā)明具有很高的抗干擾性和探測(cè)準(zhǔn)確率。
文檔編號(hào)G06T7/20GK101320478SQ200810117038
公開(kāi)日2008年12月10日 申請(qǐng)日期2008年7月23日 優(yōu)先權(quán)日2008年7月23日
發(fā)明者楠 呂 申請(qǐng)人:北京藍(lán)色星際軟件技術(shù)發(fā)展有限公司