最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法
【專利摘要】本發(fā)明屬于計算機視覺與媒體計算領(lǐng)域，為將任意不規(guī)則的超像素結(jié)構(gòu)進(jìn)行規(guī)整化排列，為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是，最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法，包括如下步驟：首先利用目標(biāo)圖像的超像素分割結(jié)果，基于每一塊超像素的坐標(biāo)將其動態(tài)地置于一個虛擬的矩形網(wǎng)格當(dāng)中：該網(wǎng)格結(jié)構(gòu)應(yīng)該盡可能地最大程度保留原超像素結(jié)構(gòu)的整體連貫性、超像素之間的連接性、局部以及全局特征；通過引入偽節(jié)點來起到占據(jù)網(wǎng)格位置和傳遞能量的作用；然后，利用層疊式動態(tài)規(guī)劃算法對虛擬網(wǎng)格中的偽節(jié)點位置進(jìn)行重新布局，以達(dá)到最大化超像素網(wǎng)格的粘聚性的目的。本發(fā)明主要應(yīng)用于將任意不規(guī)則的超像素結(jié)構(gòu)進(jìn)行規(guī)整化排列。
【專利說明】最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機視覺與媒體計算領(lǐng)域，具體講，涉及最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理框架。
技術(shù)背景
[0002]近年來，為了追求更為高效且準(zhǔn)確的圖像分析效果，很多計算機視覺的算法都基于超像素(super-pixel)來展開。超像素可以將圖像中具有相同或者近似特征屬性的近鄰像素聚合在一起，并將相鄰相似的像素組合為一個處理單元，這樣的分割方式更能體現(xiàn)人類的感知意義，也更符合自然的現(xiàn)實表現(xiàn)，目前出現(xiàn)了大量的以超像素代替像素的計算機視覺處理方法，應(yīng)用在如圖像解析、圖像分割、協(xié)同分割和目標(biāo)定位等領(lǐng)域。因此，在超像素級別進(jìn)行如圖像目標(biāo)檢測與分割、協(xié)同分割、識別等工作時，不僅能大大降低運算時間，還為進(jìn)一步提高算法精度與效率帶來了極大可能性。
[0003]超像素的產(chǎn)生算法大體上分為兩類:基于圖論思想和基于梯度上升的方法?；趫D論的分割方法是將一張圖像表示為數(shù)據(jù)結(jié)構(gòu)中的圖的模型，圖像中的一個像素點對應(yīng)圖模型中的一個節(jié)點，節(jié)點與節(jié)點之間的邊的權(quán)重定義為兩個像素點之間的相似性，形似性的度量方式通常由人為定義。同時定義一個關(guān)于該圖模型的懲罰函數(shù)，并通過優(yōu)化算法，最小化該懲罰函數(shù)，以獲取超像素分割結(jié)果?；趫D論的方法主要包括NormalizedCuts, graph-based segmentation, SuperLattice等；基于梯度上升的分割方法是指從一個初始的粗略的聚類開始，在每一次迭代求解過程中，利用梯度上升方法改進(jìn)上一次迭代后的聚類結(jié)果以得到更好的分割結(jié)果，直至最后達(dá)到收斂?；谔荻壬仙姆椒ò?Mean-shift, Quick-shift, TurboPixel, SLIC 等。
[0004]早期的大部分工作對于超像素的尺寸、數(shù)目、形狀以及不規(guī)則分布問題都沒有給予過多關(guān)注，更為重要的是很多基于像素級別的目標(biāo)檢測的高效算法都是基于規(guī)整化的網(wǎng)格結(jié)構(gòu)展開，比如:RC算法和ESS算法都是基于積分圖搜索策略，而積分圖的計算必須基于一個規(guī)整的矩陣結(jié)構(gòu)。以上這些問題都將制約其在分割、過分割以及目標(biāo)識別與檢測領(lǐng)域發(fā)揮的作用。近來，研究者已逐漸認(rèn)識到規(guī)整化超像素結(jié)構(gòu)的重要性，一些規(guī)則或者近似規(guī)則的超像素產(chǎn)生方法已經(jīng)提出，例如:SuperLattice, LatticeCut, TurboPixel, min-energybased on Super-pixels。但是由于自然圖像紋理、亮度、陰影的復(fù)雜性，以及超像素方法對于圖像不規(guī)則的分割方式(包括超像素的尺寸、形狀、不規(guī)則分布等)，還沒有哪一種算法能夠?qū)λ蓄愋偷膱D像都有較為理想的分割與目標(biāo)檢測結(jié)果。不僅如此，現(xiàn)有的超像素產(chǎn)生方法在進(jìn)行圖像預(yù)處理是大都高度依賴于提前計算好的邊界圖(edge map)。因此，亟待提出一種更為普適的規(guī)整化超像素的方法，可以充分利用現(xiàn)有的圖像分割及超像素產(chǎn)生方法，在規(guī)整化的超像素結(jié)構(gòu)模型之下，更為方便與快速地進(jìn)行圖像目標(biāo)檢測、分割、協(xié)同分割等工作。

【發(fā)明內(nèi)容】
[0005]為克服現(xiàn)有技術(shù)的不足，本發(fā)明旨在將任意不規(guī)則的超像素結(jié)構(gòu)進(jìn)行規(guī)整化排列，為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是，最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法，包括如下步驟:首先利用目標(biāo)圖像的超像素分割結(jié)果，基于每一塊超像素的坐標(biāo)將其動態(tài)地置于一個虛擬的矩形網(wǎng)格當(dāng)中:該網(wǎng)格結(jié)構(gòu)應(yīng)該盡可能地最大程度保留原超像素結(jié)構(gòu)的整體連貫性、超像素之間的連接性、局部以及全局特征；通過引入偽節(jié)點來起到占據(jù)網(wǎng)格位置和傳遞能量的作用；然后，利用層疊式動態(tài)規(guī)劃算法對虛擬網(wǎng)格中的偽節(jié)點位置進(jìn)行重新布局，以達(dá)到最大化超像素網(wǎng)格的粘聚性的目的。
[0006]偽節(jié)點和粘聚性超像素網(wǎng)格(SP-Grid)的定義方式為:
[0007]偽節(jié)點:偽節(jié)點為超像素網(wǎng)格中占據(jù)空余位置的節(jié)點，它沒有實際意義，其作用為占據(jù)位置以及傳遞真實節(jié)點之間的能量。
[0008]粘聚性超像素網(wǎng)格:超像素網(wǎng)格是人為定義的虛擬網(wǎng)格，由原超像素圖結(jié)構(gòu)映射而來，網(wǎng)格中的節(jié)點由真實節(jié)點即輸入的超像素節(jié)點和偽節(jié)點共同構(gòu)成，這里，粘聚性超像素網(wǎng)格需要滿足以下三個條件:
[0009]1)相鄰真實節(jié)點(real node)之間邊的權(quán)重等于節(jié)點之間的粘聚性；
[0010]2)相鄰偽節(jié)點(dummy node)之間邊的權(quán)重等于O ;
[0011]3)對于網(wǎng)格中任意的兩個真實節(jié)點ρ和q，如果他們處于相同的行/列，并且在該行/列中，P和q之間沒有其他真實節(jié)點，那么節(jié)點P和節(jié)點q之間的權(quán)重定義為他們之間的粘聚性Coh (ρ, q)；
[0012]對于給定了的真實節(jié)點集合和偽節(jié)點集合D,構(gòu)建一個規(guī)整化的超像素網(wǎng)格結(jié)構(gòu)的過程表示為構(gòu)建一個最優(yōu)化的粘聚性超像素網(wǎng)格結(jié)構(gòu)5 =< ε >，e表示集合ε
中的一個元素，即一條邊，ε所有邊的集合，最大化其全局的粘聚性即可定義為:
【權(quán)利要求】
1.一種最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法，其特征是，包括如下步驟:首先利用目標(biāo)圖像的超像素分割結(jié)果，基于每一塊超像素的坐標(biāo)將其動態(tài)地置于一個虛擬的矩形網(wǎng)格當(dāng)中:該網(wǎng)格結(jié)構(gòu)應(yīng)該盡可能地最大程度保留原超像素結(jié)構(gòu)的整體連貫性、超像素之間的連接性、局部以及全局特征；通過引入偽節(jié)點來起到占據(jù)網(wǎng)格位置和傳遞能量的作用；然后，利用層疊式動態(tài)規(guī)劃算法對虛擬網(wǎng)格中的偽節(jié)點位置進(jìn)行重新布局，以達(dá)到最大化超像素網(wǎng)格的粘聚性的目的。
2.如權(quán)利要求1所述的最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法，其特征是，偽節(jié)點和粘聚性超像素網(wǎng)格(SP-Grid)的定義方式為: 偽節(jié)點:偽節(jié)點為超像素網(wǎng)格中占據(jù)空余位置的節(jié)點，它沒有實際意義，其作用為占據(jù)位置以及傳遞真實節(jié)點之間的能量； 粘聚性超像素網(wǎng)格:超像素網(wǎng)格是人為定義的虛擬網(wǎng)格，由原超像素圖結(jié)構(gòu)映射而來，網(wǎng)格中的節(jié)點由真實節(jié)點即輸入的超像素節(jié)點和偽節(jié)點共同構(gòu)成，這里，粘聚性超像素網(wǎng)格需要滿足以下三個條件: 相鄰真實節(jié)點(real node)之間邊的權(quán)重等于節(jié)點之間的粘聚性； 相鄰偽節(jié)點(du_y node)之間邊的權(quán)重等于O ; 對于網(wǎng)格中任意的兩個真實節(jié)點P和q，如果他們處于相同的行/列，并且在該行/列中，P和q之間沒有其他真實節(jié)點，那么節(jié)點P和節(jié)點q之間的權(quán)重定義為他們之間的粘聚性 Coh (P, q)； 對于給定了的真實節(jié)點集合和偽節(jié)點集合Φ，構(gòu)建一個規(guī)整化的超像素網(wǎng)格結(jié)構(gòu)的過程表示為構(gòu)建一個最優(yōu)化的粘聚性超像素網(wǎng)格結(jié)構(gòu)5 Ue表示集合ε中的一個元素，即一條邊，ε表示所有邊的集合，最大化其全局的粘聚性即可定義為:
3.如權(quán)利要求1所述的最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法，其特征是，基于每一塊超像素的坐標(biāo)將其動態(tài)地置于一個虛擬的矩形網(wǎng)格當(dāng)中，即規(guī)整超像素網(wǎng)格的初始化過程具體為: 首先將超像素的坐標(biāo)進(jìn)行歸一化處理，再將所有超像素按照某種規(guī)則進(jìn)行合理分列，以得到規(guī)整化的超像素網(wǎng)格結(jié)構(gòu)；初始化可以分為以下三個步驟: 1)依據(jù)超像素質(zhì)心位置的橫坐標(biāo)在一維空間上對所有超像素進(jìn)行排序，得到新的有序超像素集合Resort; 2)定義超像素的分列規(guī)則，并進(jìn)行分列；在每一列中，所有超像素的位置將根據(jù)其質(zhì)心點的縱坐標(biāo)大小進(jìn)行重新排列: 將所有超像素分為c列，需要進(jìn)行c-?次列切分操作，列分割符的集合可以定義為:
4.如權(quán)利要求1所述的最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法，其特征是，為了得到全局的最大粘聚性的排列方式，按照順序?qū)Τ跏蓟某袼鼐W(wǎng)格Ρυ)進(jìn)行逐列優(yōu)化: 1)超像素網(wǎng)格中粘聚性的度量方式: 粘聚性超像素網(wǎng)格由真實的超像素節(jié)點和偽節(jié)點共同構(gòu)成，根據(jù)粘聚性超像素網(wǎng)格的定義，用下式表示任意兩個超像素P和q之間的粘聚性:

5.如權(quán)利要求1所述的最大粘聚超像素網(wǎng)格化方法與超像素級圖像處理方法，其特征是，在優(yōu)化某特定列P時，超像素網(wǎng)格的全局的粘聚性是由S(k_l, ρ-l)和coh(p, k, η)共同構(gòu)成，求解f下前n+k行的最大粘聚性即求解S(k-1, p-l)+coh(p, k, η)的最大值；與此同時，根據(jù)粘聚性超像素網(wǎng)格的定義，在計算coh (p，k，η)的過程中，需要在網(wǎng)格中橫向?qū)ふ耶?dāng)前P位置的節(jié)點的鄰居并計算他們的粘聚性；coh(p, k, η)的計算方法如下:coh(p, k, η) = Σ?=ρ Coh(i, ir) + Coh(i,+ Coh(/c/, k.r), 其中，I1和^分別表示第P列中，將i個真實節(jié)點的左邊第一個真實節(jié)點和右邊第一個真實節(jié)點；匕和匕分別表示第P列中，將k個偽節(jié)點的左邊第一個真實節(jié)點和右邊第一個真實節(jié)點。
【文檔編號】G06T7/00GK103473536SQ201310418168
【公開日】2013年12月25日 申請日期:2013年9月13日 優(yōu)先權(quán)日:2013年9月13日
【發(fā)明者】馮偉, 萬亮, 張加萬, 李亮, 張 誠 申請人:天津大學(xué)