專利名稱：一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像處理領(lǐng)域，特別涉及圖像紋理特征提取技術(shù)領(lǐng)域，具體是指一種基于嵌入式系統(tǒng)的視頻圖像紋理特征提取和結(jié)構(gòu)化描述的方法。
背景技術(shù)：
伴隨著科技的飛速發(fā)展，視頻監(jiān)控技術(shù)日新月異。目前的視頻監(jiān)控主要以人工監(jiān)控及人工查閱錄像資料來查找證據(jù)和線索為主?，F(xiàn)有的原始視頻圖像數(shù)據(jù)屬于一種難以進(jìn)行檢索、查詢的非結(jié)構(gòu)化數(shù)據(jù)，如果需要通過視頻錄像來查找某個(gè)線索或者細(xì)節(jié)，必須采用人工調(diào)閱該錄像視頻片斷方法，對該視頻錄像進(jìn)行完整的分析，消耗大量的人力，物力。鑒于此種情況，如何從海量圖像數(shù)據(jù)中搜索人們感興趣的圖像并有效利用這些圖像，成為迫切需要解決的問題?；趦?nèi)容的圖像檢索(CBIR)是解決這一問題的重要技術(shù)之一?；?內(nèi)容的圖像檢索是指利用圖像內(nèi)容特征(包括形狀特征、顏色特征、紋理特征)對圖像進(jìn)行檢索、查詢?，F(xiàn)有技術(shù)中，申請?zhí)枮?00310118093. X的中國專利文獻(xiàn)中公開了一種形狀描述符抽取方法和一種圖像搜索方法，能夠達(dá)到對活動視頻進(jìn)行壓縮處理，并能基于該活動視頻壓縮技術(shù)進(jìn)行圖像搜索的目的。申請?zhí)枮?00910200590的中國專利文獻(xiàn)中公開了一種圖像主顏色特征提取和結(jié)構(gòu)化描述的方法，通過比較兩幅圖像主顏色特征之間的相似程度來判別兩幅圖像的相似性，快速查找到相同或相似的圖像，處理過程簡單方便，工作性能穩(wěn)定可靠，廣泛用于圖像檢索、機(jī)器視覺和智能視頻監(jiān)控領(lǐng)域。圖像的紋理特征作為一種重要的圖像視覺特征，在圖像檢索和視頻圖像分析方面有重要的應(yīng)用價(jià)值，但是在現(xiàn)有技術(shù)中，目前還沒有基于嵌入式系統(tǒng)的圖像紋理特征提取和結(jié)構(gòu)化描述方面相關(guān)的解決方案。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有視頻圖像處理技術(shù)在精度和可靠性所存在的缺陷，利用嵌入式雙核DSP技術(shù)，提供一種能夠精確有效地對圖像紋理特征提取和結(jié)構(gòu)化描述系統(tǒng)，該系統(tǒng)的處理過程簡單方便、工作性能穩(wěn)定可靠、適用范圍較為廣泛。為了達(dá)到上述目的，本發(fā)明采用如下的技術(shù)方案一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的系統(tǒng)，所述系統(tǒng)包括視頻圖像采集模塊，所述視頻圖像采集模塊實(shí)時(shí)采集視頻圖像；圖像A\D采樣模塊，所述圖像A\D采用模塊對視頻圖像采集模塊采集的視頻圖像進(jìn)行數(shù)據(jù)采樣；雙核DSP數(shù)字信號處理器芯片，所述雙核DSP數(shù)字信號處理器芯片對圖像A\D采樣模塊采集的數(shù)據(jù)進(jìn)行處理；圖像分割模塊，所述圖像分割模塊受雙核DSP數(shù)字信號處理器芯片控制將圖像A\D采樣模塊采集的圖像分割成若干子圖像；
二維Gabor小波模塊,所述二維Gabor小波模塊受雙核DSP數(shù)字信號處理器芯片控制對各個(gè)子圖像進(jìn)行二維Gabor小波濾波處理；紋理特征提取模塊，所述紋理特征提取模塊受雙核DSP數(shù)字信號處理器芯片控制提取經(jīng)濾波處理后子圖像的紋理特征；分類判別模塊，所述分類判別模塊受雙核DSP數(shù)字信號處理器芯片控制將紋理特征提取模塊提取的紋理特征與BiOdatz標(biāo)準(zhǔn)紋理庫進(jìn)行匹配、判別，并分類處理；結(jié)構(gòu)化描述模塊，所述結(jié)構(gòu)化描述模塊受雙核DSP數(shù)字信號處理器芯片控制對由紋理特征提取模塊提取的各個(gè)子圖像的紋理特征和經(jīng)分類判別模塊分類判別產(chǎn)生的結(jié)果進(jìn)行描述，產(chǎn)生關(guān)于圖像屬性和內(nèi)容的描述數(shù)據(jù)。在系統(tǒng)的優(yōu)選方案中，所述雙核DSP數(shù)字信號處理器芯片包括ARM核和DSP核，所述ARM核控制圖像A\D采樣模塊、分類判別模塊以及結(jié)構(gòu)化描述模塊；所述DSP核控制圖像分割模塊、二維Gabor小波模塊以及紋理特征提取模塊。 進(jìn)一步的，所述雙核DSP數(shù)字信號處理器芯片為雙核DSP處理器DM6467。進(jìn)一步的，所述系統(tǒng)還包括查詢、檢索和瀏覽模塊，該模塊受雙核DSP數(shù)字信號處理器芯片控制。進(jìn)一步的，所述系統(tǒng)還包括外部高速動態(tài)存儲器SDRAM、外部程序與數(shù)據(jù)存儲器以及USB接口設(shè)備，所述外部高速動態(tài)存儲器SDRAM、外部程序與數(shù)據(jù)存儲器以及USB接口設(shè)備分別與雙核DSP數(shù)字信號處理器芯片數(shù)據(jù)相接。作為本發(fā)明的第二目的，本發(fā)明還提供一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的方法，該方法包括如下步驟(I)將采集到的模擬視頻圖像信息進(jìn)行數(shù)字化處理，得到關(guān)于圖像的比特流；(2)將得到的數(shù)字圖像分割成若干子圖像；(3)對各個(gè)子圖像進(jìn)行二維Gabor小波濾波處理；(4)對經(jīng)過濾波處理的子圖像進(jìn)行紋理特征提取；(5)將提取到的紋理特征值與BiOdatz標(biāo)準(zhǔn)紋理庫進(jìn)行匹配、判別，并分類處理；(6)對分類判別的結(jié)果和提取到的紋理特征值進(jìn)行描述，得到有關(guān)圖像屬性和內(nèi)容的描述數(shù)據(jù)。在方法的優(yōu)選方案中，所述步驟(I)、步驟(5)以及步驟(6)由雙核DSP數(shù)字信號處理器芯片中AMR核控制完成；步驟(2)至步驟(4)由雙核DSP數(shù)字信號處理器芯片中DSP核控制完成。進(jìn)一步的，所述步驟(3)進(jìn)行二維Gabor濾波，其函數(shù)表示為
II X2 Τ(^ν) = [--] exp[- - (^t + -^-τ) + 2π] Wx]
2πσχσν2 σχ σ~其中，W是高斯函數(shù)復(fù)調(diào)制頻率。進(jìn)一步的，所述步驟(6)中描述數(shù)據(jù)采用二進(jìn)制的XML語言進(jìn)行編寫。進(jìn)一步的，所述方法還包括通過結(jié)構(gòu)化描述語句對視頻進(jìn)行查詢、檢索和瀏覽的步驟。本發(fā)明提出具有視頻圖像紋理特征提取和結(jié)構(gòu)化描述功能的嵌入式系統(tǒng)能夠?qū)ΡO(jiān)控視頻進(jìn)行結(jié)構(gòu)化描述，產(chǎn)生關(guān)于其屬性和內(nèi)容的描述信息。該描述信息可用以查詢、瀏覽和檢索，節(jié)省大量的人力、物力，并能更加有效地對監(jiān)控視頻進(jìn)行操作和管理。再者，本發(fā)明提供的方法能夠精確有效地對圖像紋理特征提取和結(jié)構(gòu)化描述，整個(gè)處理過程簡單方便、工作性能穩(wěn)定可靠、適用范圍較為廣泛。
以下結(jié)合附圖和具體實(shí)施方式
來進(jìn)一步說明本發(fā)明。圖I為本發(fā)明圖像紋理特征提取和結(jié)構(gòu)化描述系統(tǒng)的框架組成示意圖。圖2為本發(fā)明圖像紋理特征提取和視頻結(jié)構(gòu)化描述系統(tǒng)的工作過程示例。
具體實(shí)施例方式為了使本發(fā)明實(shí)現(xiàn)的技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié) 合具體圖示，進(jìn)一步闡述本發(fā)明。參見

圖1，本發(fā)明提出了一種基于嵌入式系統(tǒng)的視頻圖像紋理特征提取和結(jié)構(gòu)化描述系統(tǒng)100，其包括一個(gè)雙核DSP數(shù)字信號處理器芯片108、視頻圖像采集模塊101、圖像A\D采樣模塊102、圖像分割模塊103、二維Gabor小波模塊104、紋理特征提取模塊105、分類判別模塊106、結(jié)構(gòu)化描述模塊107、查詢、檢索和瀏覽模塊113及外部高速動態(tài)存儲器SDRAM (110)、外部程序與數(shù)據(jù)存儲器111、USB接口設(shè)備112以及電源控制模塊109。其中，視頻圖像采集模塊101與圖像A\D采樣模塊102及雙核DSP數(shù)字信號處理器芯片108之間依次連接，將采集的圖像通過視頻數(shù)據(jù)總線傳至雙核DSP數(shù)字信號處理器芯片108。雙核DSP數(shù)字信號處理器芯片108依次控制圖像分割模塊103、二維Gabor小波模塊104、紋理特征提取模塊105、分類判別模塊106以及結(jié)構(gòu)化描述模塊107對接收的數(shù)據(jù)進(jìn)行結(jié)構(gòu)化描述處理。查詢、檢索和瀏覽模塊113與結(jié)構(gòu)化描述模塊107數(shù)據(jù)相接。外部高速動態(tài)存儲器SDRAM(110)、外部程序與數(shù)據(jù)存儲器111與雙核DSP數(shù)字信號處理器芯片108相互連接。USB接口設(shè)備112通過數(shù)據(jù)接口與雙核DSP數(shù)字信號處理器芯片108相互連接。電源控制模塊109為系統(tǒng)中各模塊提供穩(wěn)定的工作電源。在本發(fā)明中，雙核DSP數(shù)字信號處理器芯片108采用TI公司的TMS320C6000系列DM6467雙核DSP嵌入式處理器。該處理器具有ARM核及DSP核，兩核相互協(xié)同完成處理。同時(shí)該處理器擁有128MBytes的NANDFlash存儲和256MBytes的DDR，并且具有高清輸入和輸出，能夠更好的滿足現(xiàn)代視頻監(jiān)控中對高分辨率的要求。圖像A\D采樣模塊102采用TVP5146芯片，該芯片可以配置成六路復(fù)合視頻信號輸入或二路YPbPr分量輸入或S-Video和兩路復(fù)合視頻信號輸入等多種方式。該模塊將視頻圖像采集模塊101在雙核DSP數(shù)字信號處理器芯片108中ARM核的控制下將采集的模擬視頻圖像信號轉(zhuǎn)換為數(shù)字圖像序列。圖像分割模塊103，該模塊在雙核DSP數(shù)字信號處理器芯片108中DSP核的控制下將圖像A\D采樣模塊102采集的圖像分割成若干子圖像。二維Gabor小波模塊104，該模塊在雙核DSP數(shù)字信號處理器芯片108中DSP核的控制下對分割好的各個(gè)子圖像進(jìn)行二維Gabor小波濾波處理。紋理特征提取模塊105，該模塊在雙核DSP數(shù)字信號處理器芯片108中DSP核的控制下提取經(jīng)濾波處理后子圖像的紋理特征。分類判別模塊106，該模塊在雙核DSP數(shù)字信號處理器芯片108中ARM核的控制下將紋理特征提取模塊提取的紋理特征與BiOdatz標(biāo)準(zhǔn)紋理庫進(jìn)行匹配、判別，并分類處理。結(jié)構(gòu)化描述模塊107，該模塊在雙核DSP數(shù)字信號處理器芯片108中ARM核的控制下對由紋理特征提取模塊提取的各個(gè)子圖像的紋理特征和經(jīng)分類判別模塊分類判別產(chǎn)生的結(jié)果進(jìn)行描述，產(chǎn)生關(guān)于圖像屬性和內(nèi)容的描述數(shù)據(jù)。查詢、檢索和瀏覽模塊113通過結(jié)構(gòu)化描述模塊107得到的結(jié)構(gòu)化描述語句，可以對視頻進(jìn)行查詢、檢索和瀏覽，便于監(jiān)控操作應(yīng)用與管理?；谏鲜鱿到y(tǒng)，本發(fā)明進(jìn)行視頻圖像紋理特征提取和結(jié)構(gòu)化描述的過程由雙核DSP中ARM核及DSP核協(xié)同處理完成，主要通過如下處理步驟實(shí)現(xiàn)I.視頻圖像采集通過視頻圖像采集模塊101獲取監(jiān)控?cái)z像頭所得的視頻圖像，為后面進(jìn)行圖像A\D采樣提供視頻圖像來源。2.圖像A\D采樣雙核DSP數(shù)字信號處理器芯片108中ARM核控制圖像A\D采樣模塊將采集到的模擬視頻圖像信息進(jìn)行數(shù)字化處理，得到關(guān)于圖像的比特流。3.圖像分割雙核DSP數(shù)字信號處理器芯片108中DSP核控制圖像分割模塊根據(jù)圖像中事物的邊緣把經(jīng)過圖像A\D采樣得到的視頻圖像分割成若干子圖像。4. 二維Gabor小波濾波雙核DSP數(shù)字信號處理器芯片108中DSP核控制二維Gabor小波模塊對分割處理后的子圖像進(jìn)行二維Gabor小波濾波處理。本實(shí)施例中二維Gabor小波中的二維Gabor濾波，其函數(shù)可以表示為= ^~]exp[-^(-^T+^-T-) + 2^/Wv]
2 冗 W2 σ·/ σ/其中，W是高斯函數(shù)復(fù)調(diào)制頻率。則g(x, y)的 Fourier 變換 G (u, v)為
f I r(//- Ml2 V2 .G(u,v) = exp{--.-[-———-+ ~τ]}
2σ;其中，σu=l/2 π σ χ, σ ν=1/2 π σ y。使用g(x，y)作為母函數(shù)，通過對g(x，y)進(jìn)行適度尺度擴(kuò)張和旋轉(zhuǎn)變換，可以得到一組自相似的濾波器，即為Gabor小波g.(x, y) =a_mg(χ' , γ' )，a>l，m，n 為整數(shù)χ1 =a_m(xcos Θ +ysin θ ), χ, =a-m(_xsin θ +ycos θ )式中，θ = ηπ/k，且k是方向的數(shù)目，m和η分別表示相應(yīng)的尺度和方向n e
，式子中的尺度因子a_m保證能量大小與m無關(guān)。根據(jù)傅立葉變換的線性特性，有
u' =a_m(ucos Θ +vsin θ )，v' =a-m(_u sin Θ +vsin Θ )通過改變m和n的值，就可以得到一組尺度和方向都不相同的濾波器。對于給定的一幅圖像I (X，y)，它的離散小波變換可以定義為
權(quán)利要求
1.一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的系統(tǒng)，其特征在于，所述系統(tǒng)包括 視頻圖像采集模塊，所述視頻圖像采集模塊實(shí)時(shí)采集視頻圖像； 圖像A\D采樣模塊，所述圖像A\D采用模塊對視頻圖像采集模塊采集的視頻圖像進(jìn)行數(shù)據(jù)采樣； 雙核DSP數(shù)字信號處理器芯片，所述雙核DSP數(shù)字信號處理器芯片對圖像A\D采樣模塊采集的數(shù)據(jù)進(jìn)行處理； 圖像分割模塊，所述圖像分割模塊受雙核DSP數(shù)字信號處理器芯片控制將圖像A\D采樣模塊采集的圖像分割成若干子圖像； 二維Gabor小波模塊，所述二維Gabor小波模塊受雙核DSP數(shù)字信號處理器芯片控制對各個(gè)子圖像進(jìn)行二維Gabor小波濾波處理； 紋理特征提取模塊，所述紋理特征提取模塊受雙核DSP數(shù)字信號處理器芯片控制提取經(jīng)濾波處理后子圖像的紋理特征； 分類判別模塊，所述分類判別模塊受雙核DSP數(shù)字信號處理器芯片控制將紋理特征提取模塊提取的紋理特征與BiOdatz標(biāo)準(zhǔn)紋理庫進(jìn)行匹配、判別，并分類處理； 結(jié)構(gòu)化描述模塊，所述結(jié)構(gòu)化描述模塊受雙核DSP數(shù)字信號處理器芯片控制對由紋理特征提取模塊提取的各個(gè)子圖像的紋理特征和經(jīng)分類判別模塊分類判別產(chǎn)生的結(jié)果進(jìn)行描述，產(chǎn)生關(guān)于圖像屬性和內(nèi)容的描述數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的系統(tǒng)，其特征在于，所述雙核DSP數(shù)字信號處理器芯片包括ARM核和DSP核，所述ARM核控制圖像A\D采樣模塊、分類判別模塊以及結(jié)構(gòu)化描述模塊；所述DSP核控制圖像分割模塊、二維Gabor小波模塊以及紋理特征提取模塊。
3.根據(jù)權(quán)利要求I所述的一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的系統(tǒng)，其特征在于，所述雙核DSP數(shù)字信號處理器芯片為雙核DSP處理器DM6467。
4.根據(jù)權(quán)利要求I所述的一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括查詢、檢索和瀏覽模塊，該模塊受雙核DSP數(shù)字信號處理器芯片控制。
5.根據(jù)權(quán)利要求I所述的一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括外部高速動態(tài)存儲器SDRAM、外部程序與數(shù)據(jù)存儲器以及USB接口設(shè)備，所述外部高速動態(tài)存儲器SDRAM、外部程序與數(shù)據(jù)存儲器以及USB接口設(shè)備分別與雙核DSP數(shù)字信號處理器芯片數(shù)據(jù)相接。
6.一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的方法，其特征在于，所述方法包括如下步驟 (1)將采集到的模擬視頻圖像信息進(jìn)行數(shù)字化處理，得到關(guān)于圖像的比特流； (2)將得到的數(shù)字圖像分割成若干子圖像； (3)對各個(gè)子圖像進(jìn)行二維Gabor小波濾波處理； (4)對經(jīng)過濾波處理的子圖像進(jìn)行紋理特征提取； (5)將提取到的紋理特征值與BiOdatz標(biāo)準(zhǔn)紋理庫進(jìn)行匹配、判別，并分類處理； (6)對分類判別的結(jié)果和提取到的紋理特征值進(jìn)行描述，得到有關(guān)圖像屬性和內(nèi)容的描述數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的方法，其特征在于，所述步驟(I)、步驟(5)以及步驟(6)由雙核DSP數(shù)字信號處理器芯片中AMR核控制完成；步驟(2)至步驟(4)由雙核DSP數(shù)字信號處理器芯片中DSP核控制完成。
8.根據(jù)權(quán)利要求6所述的一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的方法，其特征在于，所述步驟(3)進(jìn)行二維Gabor濾波，其函數(shù)表示為
9.根據(jù)權(quán)利要求6所述的一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的方法，其特征在于，所述步驟(6 )中描述數(shù)據(jù)采用二進(jìn)制的XML語言進(jìn)行編寫。
10.根據(jù)權(quán)利要求6所述的一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的方法，其特征在于，所述方法還包括通過結(jié)構(gòu)化描述語句對視頻進(jìn)行查詢、檢索和瀏覽的步驟。
全文摘要
本發(fā)明公開了一種視頻圖像紋理特征提取和結(jié)構(gòu)化描述的系統(tǒng)和方法，本發(fā)明在雙核DSP數(shù)字信號處理器芯片控制下，視頻圖像采集模塊實(shí)時(shí)地采集圖像，經(jīng)過A\D采樣模塊處理后進(jìn)行圖像分割，得到若干子圖像，二維Gabor小波模塊對子圖像進(jìn)行濾波處理，再經(jīng)過紋理特征提取模塊提取得到子圖像的紋理特征，分類判別模塊根據(jù)提取的紋理特征與Brodatz標(biāo)準(zhǔn)紋理庫進(jìn)行特征匹配，最后由結(jié)構(gòu)化描述模塊將紋理特征和關(guān)于圖像屬性及內(nèi)容的分類判別結(jié)果進(jìn)行結(jié)構(gòu)化描述。本發(fā)明提供的方法能夠從非結(jié)構(gòu)化的視頻圖像信息中提取紋理特征并進(jìn)行結(jié)構(gòu)化描述，可實(shí)現(xiàn)對視頻圖像內(nèi)容的查詢、檢索和瀏覽，便于視頻監(jiān)控的有效應(yīng)用和管理。
文檔編號G06T7/40GK102903126SQ20121028096
公開日2013年1月30日 申請日期2012年8月8日 優(yōu)先權(quán)日2012年8月8日
發(fā)明者湯志偉, 劉云淮, 梅林 , 齊力, 沈冬青, 李震宇, 楊明, 江洪, 李萬才, 陳龍虎, 李盼, 王波 申請人:公安部第三研究所