一種圖像顯著圖提取方法
【專利摘要】本發(fā)明公開了一種圖像顯著圖提取方法，其首先提取源圖像中的每個(gè)像素點(diǎn)的顏色特征矢量、紋理特征矢量和緊密度特征值，然后采用超像素分割技術(shù)對(duì)源圖像進(jìn)行分割，并利用各個(gè)區(qū)域的顏色特征矢量、紋理特征矢量和緊密度特征值來構(gòu)造有向的圖譜，最后計(jì)算得到圖譜的轉(zhuǎn)移矩陣，得到最終的圖像顯著圖；優(yōu)點(diǎn)是獲得的圖像顯著圖能夠較好地反映圖像的顯著變化情況，符合圖像顯著語義的特征。
【專利說明】一種圖像顯著圖提取方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種圖像信號(hào)的處理方法，尤其是涉及一種圖像顯著圖提取方法。
【背景技術(shù)】
[0002]在人類視覺接收與信息處理中，由于大腦資源有限以及外界環(huán)境信息重要性區(qū)另IJ，在處理過程中人腦對(duì)外界環(huán)境信息并不是一視同仁的，而是表現(xiàn)出選擇特征。人們?cè)谟^看圖像或者視頻片段時(shí)注意力并非均勻分布到圖像的每個(gè)區(qū)域，而是對(duì)某些顯著區(qū)域關(guān)注度更高。如何將視頻中視覺注意度高的顯著區(qū)域檢測(cè)并提取出來是計(jì)算機(jī)視覺以及基于內(nèi)容的視頻檢索領(lǐng)域的一個(gè)重要的研究?jī)?nèi)容。
[0003]現(xiàn)有的顯著圖模型是一種模擬生物體視覺注意機(jī)制的選擇性注意模型，其通過計(jì)算每個(gè)像素點(diǎn)在顏色、亮度、方向方面與周邊背景的對(duì)比，并將所有像素點(diǎn)的顯著值構(gòu)成一張顯著圖，然而這類方法并不能很好地提取出圖像顯著圖信息，這是因?yàn)榛谙袼攸c(diǎn)的顯著特征并不能很好地反映人眼觀看時(shí)的顯著語義特征，而基于區(qū)域的顯著特征能夠有效地提高提取的穩(wěn)定性和準(zhǔn)確性，因此，如何對(duì)圖像進(jìn)行區(qū)域分割，如何對(duì)各個(gè)區(qū)域的顯著特征進(jìn)行提取，如何對(duì)各個(gè)區(qū)域進(jìn)行拓?fù)浣Y(jié)構(gòu)表示，如果從拓?fù)浣Y(jié)構(gòu)里提取出最優(yōu)的顯著值，都是基于區(qū)域的顯著圖提取中需要研究解決的問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種符合顯著語義特征，且能夠有效地提高提取的穩(wěn)定性和準(zhǔn)確性的圖像顯著圖提取方法。
[0005]本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為:一種圖像顯著圖提取方法，其特征在于包括以下步驟:
[0006]①將待處理的源圖像記為Ui(Xj)K其中，1=1,2,3,1≤χ≤W，I≤y≤H，W表示Ui(x，y)}的寬，H表示{Ii(x，y)}的高，IiU, y)表示Ui(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的第i個(gè)分量的顏色值，第I個(gè)分量為R分量、第2個(gè)分量為G分量、第3個(gè)分量為B分量；
[0007]②將Ui (x, y)}從RGB顏色空間轉(zhuǎn)換到CIELAB顏色空間；然后獲取Ui (x, y)}中的每個(gè)像素點(diǎn)的顏色特征矢量，將UiUjM中坐標(biāo)位置為(x，y)的像素點(diǎn)的顏色特征矢量記為 C(x, y), c(x, y) = [L(x, y), a(x, y), b(x, y)];再將由{Ii(x，y)}中的所有像素點(diǎn)的顏色特征矢量構(gòu)成的集合作為UiUjM的顏色特征矢量，記為{c(x，y)};其中，c(x，y)的維數(shù)為3，符號(hào)“[]”為矢量表示符號(hào)，1^0^7)、&(\7)和b(x，y)對(duì)應(yīng)表示UiUyM中坐標(biāo)位置為(x，y)的像素點(diǎn)從RGB顏色空間轉(zhuǎn)換到CIELAB顏色空間后亮度分量L的顏色值、色度分量a的顏色值及色度分量b的顏色值；
[0008]③采用Log-Gabor濾波器對(duì)Ui (x, y)}進(jìn)行濾波處理，得到Ui (x, y)}中的每個(gè)像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)的振幅；然后獲取ΙΛ(χ，7)}中的每個(gè)像素點(diǎn)的紋理特征矢量，將UiUjM中坐標(biāo)位置為(x，y)的像素點(diǎn)的紋理特征矢量記為 t(x，y)，t(x, y) = [G(x,y; ω, θ ) | ω e {1.74, 2.47, 3.49}, I ^ θ ^ 8];再將由(Ii(χ, y)}中的所有像素點(diǎn)的紋理特征矢量構(gòu)成的集合作為UiUjM的紋理特征矢量，記為{t(x，y)};其中，t(x，y)的維數(shù)為24，符號(hào)“[]”為矢量表示符號(hào)，6(χ,y；ω, Θ )表示Ui(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)在中心頻率為ω和方向因子為θ下的頻率響應(yīng)的振幅，ω表示Log-Gabor濾波器的中心頻率，ω e {1.74，2.47，3.49}, Θ表示Log-Gabor濾波器的方向因子，I≤Θ≤8;
[0009]④采用超像素分割技術(shù)將UiUyM分割成M個(gè)互不重疊的區(qū)域，然后將(Ii (x, y)}重新表示為M個(gè)區(qū)域的集合，記為{SPJ，其中，M≥l，SPh表示{SPJ中的第h個(gè)區(qū)域,I ^ h ^ M ；
[0010]⑤采用K均值聚類方法分別對(duì){c(x，y)}和{t(x，y)}進(jìn)行聚類操作，然后通過獲取Ic (X，y)}對(duì)應(yīng)的每個(gè)聚類的基于顏色特征的緊密度特征值和{t(x，y)}對(duì)應(yīng)的每個(gè)聚類的基于紋理特征的緊密度特征值，得到UiUjM中的每個(gè)像素點(diǎn)的緊密度特征值，再將由Ili(χ, Y)}中的所有像素點(diǎn)的緊密度特征值構(gòu)成的集合作為UiOcjM的緊密度特征值，記為{comp (X，y)},其中，K≥I, comp (x, y)表示{Ii(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的緊密度特征值；
[0011 ]⑥根據(jù){SPJ、{c (χ, y)}、{t (x, y)}和{comp (x, y)}，構(gòu)造一個(gè)有向的圖譜 G (V, E)，其中，V表示G (V，E)中的 所有節(jié)點(diǎn)構(gòu)成的集合，V=IV1J，Vh表示G (V，E)中的第h個(gè)節(jié)點(diǎn)，且Vh代表{SPJ中的第h個(gè)區(qū)域，E表示G (V，E)中的所有邊緣構(gòu)成的集合，E={cohg}，cohg表示G(V，E)中的第h個(gè)節(jié)點(diǎn)與第g個(gè)節(jié)點(diǎn)構(gòu)成的邊緣,且cohg表示G(V, E)中的第h個(gè)節(jié)點(diǎn)與第g個(gè)節(jié)點(diǎn)之間的距離，I≤h≤M, I≤g≤M,h幸g ;然后根據(jù)G(V, E)中的不同節(jié)點(diǎn)之間的距離，獲取G(V，E)的轉(zhuǎn)移矩陣，記為P，其中，P的維數(shù)為MXM;
[0012]⑦通過對(duì)P進(jìn)行矩陣分解，獲取{SPJ中的每個(gè)區(qū)域的顯著值，然后將{SPJ中的每個(gè)區(qū)域的顯著值作為對(duì)應(yīng)區(qū)域中的所有像素點(diǎn)的顯著值，得到UiUjM的圖像顯著圖，記為{Sal(x，y)},其中，Sal (x，y)表示{Sal (x, y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值，亦表示UiUjM中坐標(biāo)位置為(x，y)的像素點(diǎn)的顯著值。
[0013]所述的步驟⑤的具體過程為:
[0014]⑤-1、采用K均值聚類方法對(duì){c(X，y)}進(jìn)行聚類操作，得到UiUyM的基于顏色特征的K個(gè)聚類，然后將UiUyM重新表示為K個(gè)聚類的集合，記為{Rk}，其中，K≤1，I≤k≤K，Rk表示{RJ中的第k個(gè)聚類；
[0015]⑤-2、獲取{RJ中的每個(gè)聚類的基于顏色特征的緊密度特征值，將{RJ中的第k
個(gè)聚類的基于顏色特征的緊密度特征值記為cck，CCi = exp -a σ,χ\ σ)'，其中，exp()
表示以自然基數(shù)e為底的指數(shù)函數(shù)，α為控制參數(shù)，Ox k表示{Rk}中的第k個(gè)聚類中包含的像素點(diǎn)的橫坐標(biāo)位置值的標(biāo)準(zhǔn)差，oy,k表示{Rk}中的第k個(gè)聚類中包含的像素點(diǎn)的縱坐標(biāo)位置值的標(biāo)準(zhǔn)差，W表示UiUjM的寬，H表示UiUjM的高；
[0016]⑤-3、將{RJ中的每個(gè)聚類的基于顏色特征的緊密度特征值作為對(duì)應(yīng)聚類中的所有像素點(diǎn)的基于顏色特征的緊密度特征值，得到UiUjM中的每個(gè)像素點(diǎn)的基于顏色特征的緊密度特征值，將UiUjM中坐標(biāo)位置為(x，y)的像素點(diǎn)的基于顏色特征的緊密度特征值記為CC (X，y)；[0017]⑤-4、采用K均值聚類方法對(duì){t(x，y)}進(jìn)行聚類操作，得到UiUyM的基于紋理特征的K個(gè)聚類，然后將Ui (X，y)}重新表示為K個(gè)聚類的集合，記為{R’ k}，其中，K≤I，I≤k≤K，R’ k表示{R’ J中的第k個(gè)聚類；
[0018]⑤-5、獲取{R’k}中的每個(gè)聚類的基于紋理特征的緊密度特征值，將{R’k}中的第
k個(gè)聚類的基于紋理特征的緊密度特征值記為ctk，
【權(quán)利要求】
1.一種圖像顯著圖提取方法，其特征在于包括以下步驟: ①將待處理的源圖像記為Ui(Xj)K其中，i=l，2，3，l^ x^ff,l ^H, W表示(Ii (x, y)}的寬，H表示{Ii(x，y)}的高，Ii (x, y)表示Ui(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的第i個(gè)分量的顏色值，第I個(gè)分量為R分量、第2個(gè)分量為G分量、第3個(gè)分量為B分量; ②將ΙΛ(Χ，Υ)}從RGB顏色空間轉(zhuǎn)換到CIELAB顏色空間；然后獲取ΙΛ(Χ，Υ)}中的每個(gè)像素點(diǎn)的顏色特征矢量，將UiUjM中坐標(biāo)位置為(x，y)的像素點(diǎn)的顏色特征矢量記為 c(x, y), c(x, y) = [L(x, y), a(x, y), b(x, y)];再將由{Ii(x，y)}中的所有像素點(diǎn)的顏色特征矢量構(gòu)成的集合作為UiUjM的顏色特征矢量，記為{c(x，y)};其中，c(x，y)的維數(shù)為3，符號(hào)“[]”為矢量表示符號(hào)，L(x，y)、a(x，y)和b (x，y)對(duì)應(yīng)表示UiUyM中坐標(biāo)位置為(X，y)的像素點(diǎn)從RGB顏色空間轉(zhuǎn)換到CIELAB顏色空間后亮度分量L的顏色值、色度分量a的顏色值及色度分量b的顏色值； ③采用Log-Gabor濾波器對(duì)(Ii(x, y)}進(jìn)行濾波處理，得到(Ii (x, y)}中的每個(gè)像素點(diǎn)在不同中心頻率和不同方向因子下的頻率響應(yīng)的振幅；然后獲取ΙΛ(χ，7)}中的每個(gè)像素點(diǎn)的紋理特征矢量，將UiUyM中坐標(biāo)位置為(x，y)的像素點(diǎn)的紋理特征矢量記為 t(x, y), t(x, y) = [G(x, y; ω, θ ) | ω e {1.74, 2.47，3.49}, I ^ θ ≤ 8];再將由(Ii (x, y)}中的所有像素點(diǎn)的紋理特征矢量構(gòu)成的集合作為UiUjM的紋理特征矢量，記為{t(x，y)};其中，t(x，y)的維數(shù)為24，符號(hào)“[]”為矢量表示符號(hào)，6(χ,y；ω, Θ )表示Ui(x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)在中心頻率為ω和方向因子為θ下的頻率響應(yīng)的振幅，ω表示Log-Gabor濾波器的中心頻率，ω e {1.74，2.47，3.49}, Θ表示Log-Gabor濾波器的方向因子，I≤Θ≤8; ④采用超像素分割技術(shù)將UiUjM分割成M個(gè)互不重疊的區(qū)域，然后將UiO^yM重新表示為M個(gè)區(qū)域的集合，記為{SPh}，其中，M≥1，SPh表示{SPJ中的第h個(gè)區(qū)域，I ^ h ^ M ； ⑤采用K均值聚類方法分別對(duì){c(X，y)}和{t(x，y)}進(jìn)行聚類操作，然后通過獲取{c(x, y)}對(duì)應(yīng)的每個(gè)聚類的基于顏色特征的緊密度特征值和{t(x，y)}對(duì)應(yīng)的每個(gè)聚類的基于紋理特征的緊密度特征值，得到UiUjM中的每個(gè)像素點(diǎn)的緊密度特征值，再將由(Ii(x, y)}中的所有像素點(diǎn)的緊密度特征值構(gòu)成的集合作為UiUjM的緊密度特征值，記為{comp (χ, y)},其中，K≥I, comp (x, y)表示{Ii(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的緊密度特征值； ⑥根據(jù){SPh}、{c(x，y)}、{t(x,y)}和{comp (x, y)},構(gòu)造一個(gè)有向的圖譜 G (V, E),其中，V表示G (V，Ε)中的所有節(jié)點(diǎn)構(gòu)成的集合，V= {VJ，Vh表示G (V, Ε)中的第h個(gè)節(jié)點(diǎn)，且Vh代表{SPJ中的第h個(gè)區(qū)域，E表示G (V, E)中的所有邊緣構(gòu)成的集合，E= { ωhg}, cohg表示G (V, E)中的第h個(gè)節(jié)點(diǎn)與第g個(gè)節(jié)點(diǎn)構(gòu)成的邊緣,且0118表示6(￥3)中的第h個(gè)節(jié)點(diǎn)與第g個(gè)節(jié)點(diǎn)之間的距離，l^h^M, l^g^M,h^g ;然后根據(jù)G(V, E)中的不同節(jié)點(diǎn)之間的距離，獲取G(V，E)的轉(zhuǎn)移矩陣，記為P，其中，P的維數(shù)為MXM ； ⑦通過對(duì)P進(jìn)行矩陣分解，獲取{SPJ中的每個(gè)區(qū)域的顯著值，然后將{SPJ中的每個(gè)區(qū)域的顯著值作為對(duì)應(yīng)區(qū)域中的所有像素點(diǎn)的顯著值，得到UiUjM的圖像顯著圖，記為{Sal(x，y)}，其中，Sal (x，y)表示{Sal (x，y)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的像素值，亦表示ΙΛ(χ，7)}中坐標(biāo)位置為(x，y)的像素點(diǎn)的顯著值。
2.根據(jù)權(quán)利要求1所述的一種圖像顯著圖提取方法，其特征在于所述的步驟⑤的具體過程為: ⑤-1、采用K均值聚類方法對(duì){c(X，y)}進(jìn)行聚類操作，得到UiUjM的基于顏色特征的K個(gè)聚類，然后將UiUyM重新表示為K個(gè)聚類的集合，記為{Rk}，其中，K≥1，I≤k≤K，Rk表示{RJ中的第k個(gè)聚類； ⑤-2、獲取{RJ中的每個(gè)聚類的基于顏色特征的緊密度特征值，將{Rk}中的第k個(gè)聚類的基于顏色特征的緊密度特征值記為
3.根據(jù)權(quán)利要求1或2所述的一種圖像顯著圖提取方法，其特征在于所述的步驟⑥的具體過程為: ⑥-1、定義一個(gè)有向的圖譜G(V，E)，其中，V表示G(V，E)中的所有節(jié)點(diǎn)構(gòu)成的集合，V= {VJ，Vh表示G (V，E)中的第h個(gè)節(jié)點(diǎn)，且Vh代表{SPJ中的第h個(gè)區(qū)域，E表示G (V, E)中的所有邊緣構(gòu)成的集合，E={cohg}，(0118表示6(￥3)中的第h個(gè)節(jié)點(diǎn)與第g個(gè)節(jié)點(diǎn)構(gòu)成的邊緣，且Olig表示G(V，E)中的第h個(gè)節(jié)點(diǎn)與第g個(gè)節(jié)點(diǎn)之間的距離，I≤h≤M，I≤g≤M，h ^ g, M表示Ui (χ, y)}中的區(qū)域的總個(gè)數(shù)；⑥-2、根據(jù){c (χ, y)}和{t (x, y)},計(jì)算G (V, Ε)中的每個(gè)節(jié)點(diǎn)的特征矢量，將G(V，E)中的第h個(gè)節(jié)點(diǎn)的特征矢量記為fh，fh=[ch，th]，Σ，







Iy/ SPh (.V,
IΣ tOj);根據(jù)Icomp (x， y)}，計(jì)算G (V，Ε)中的每個(gè)節(jié)點(diǎn)的緊密度特征值，將
、SPh (1亦0^G(V, Ε)中的第h個(gè)節(jié)點(diǎn)的緊密度特征值記為comph，.?/^=^— Σ⑶其中，






SPh {x,y)^nSPh符號(hào)“ □”為矢量表示符號(hào)，表示{SPh}中的第h個(gè)區(qū)域中包含的像素點(diǎn)的總個(gè)數(shù)，Ω#表示{SPJ中的第h個(gè)區(qū)域中包含的所有像素點(diǎn)的坐標(biāo)位置的集合；⑥-3、根據(jù)G(V，E)中的每個(gè)節(jié)點(diǎn)的特征矢量和緊密度特征值，計(jì)算G(V，E)中的不同節(jié)點(diǎn)之間的距離，將G(V，E)中的第h個(gè)節(jié)點(diǎn)與第g個(gè)節(jié)點(diǎn)之間的距離記為cohg，~-f.lhiP_~叫’其中，h古g，符號(hào)“丨！ ！丨，，為求歐
VW- +H- J氏距離符號(hào)，fg表示G (V, E)中的第g個(gè)節(jié)點(diǎn)的特征矢量，Compg表示G (V, E)中的第g個(gè)節(jié)點(diǎn)的緊密度特征值，exp O表示以自然基數(shù)e為底的指數(shù)函數(shù)，e=2.71828183，β為控制參數(shù)，xh表示{SPJ中的第h個(gè)區(qū)域中的中心像素點(diǎn)的坐標(biāo)位置，Xg表示{SPJ中的第g個(gè)區(qū)域中的中心像素點(diǎn)的坐標(biāo)位置，W表示{Ii(x，y)}的寬，H表示ΙΛ(χ，7)}的高； ⑥-4、構(gòu)造G (V, Ε)的關(guān)聯(lián)矩陣,記為Α,將A中位置為(g，h)的元素的值記為A(g, h),A(g，h) = cohg;構(gòu)造{SPJ的度矩陣，記為D，D為對(duì)角矩陣，將D中對(duì)角位置為(h，h)的元素

H的值記為D (h，h)，D(/UO = ，將D中除所有對(duì)角位置外的所有其余位置的元素的值置為O ;其中，A和D的維數(shù)均為MXM; ⑥_5、根據(jù)A和D，計(jì)算G(V，E)的轉(zhuǎn)移矩陣，記為P，P=AD'其中，D-1為D的逆矩陣，P的維數(shù)為MXM。
4.根據(jù)權(quán)利要求3所述的一種圖像顯著圖提取方法，其特征在于所述的步驟⑦的具體過程為:⑦-1、對(duì)P進(jìn)行矩陣分解，P=媧運(yùn)廣+…+為元+ +得到 {SPJ的靜態(tài)分布矢量，記為π，將π中位置為h的元素的值記為n(h), 31 (h)代表{SPJ中的第h個(gè)區(qū)域的靜態(tài)分布值，JI (h) = λ h，其中，λρ入!^和λ M分別表示P的第I個(gè)分量、第h個(gè)分量和第M個(gè)分量的特征值，A、妄I,和宅μ分別表不P的第I個(gè)分量、第h個(gè)分量和第M個(gè)分量的特征矢量，閑)"為€的轉(zhuǎn)置矩陣，(on的轉(zhuǎn)置矩陣，力^的轉(zhuǎn)置矩陣，η的維數(shù)為M ；⑦-2、對(duì){SPJ中的每個(gè)區(qū)域的靜態(tài)分布值進(jìn)行歸一化操作，得到{SPJ中的每個(gè)區(qū)域的顯著值，將{SPJ中的第h個(gè)區(qū)域的顯著值記為Sh H =: ，其中，Jimin表示{SPJ


^max ^min中的M個(gè)區(qū)域中最小的靜態(tài)分布值，表示{SPJ中的M個(gè)區(qū)域中最大的靜態(tài)分布值； ⑦-3、將{SPJ中的每個(gè)區(qū)域的顯著值作為對(duì)應(yīng)區(qū)域中的所有像素點(diǎn)的顯著值，得到ΙΛ(χ，7)}中的每個(gè)像素點(diǎn)的顯著值，將ΙΛ(χ，7)}中的所有像素點(diǎn)的顯著值構(gòu)成(Ii (x, y)}的圖像顯著圖，記為{5&10^7)}，其中，5&10^，7)表示{Sal(x，y)}中坐標(biāo)位置為(x, y)的像素點(diǎn)的像素值，亦表示UiUjM中坐標(biāo)位置為(x，y)的像素點(diǎn)的顯著值。
【文檔編號(hào)】G06T7/00GK103971365SQ201410153519
【公開日】2014年8月6日 申請(qǐng)日期:2014年4月16日 優(yōu)先權(quán)日:2014年4月16日
【發(fā)明者】邵楓, 胡鎮(zhèn)浩, 李福翠 申請(qǐng)人:寧波大學(xué)