基于深度變分模型的空間顯著性區(qū)域提取方法
【專利摘要】本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，涉及基于深度變分模型的空間顯著性區(qū)域提取方法。首先，對(duì)相機(jī)進(jìn)行校正，選取圖像中關(guān)鍵幀圖像序列，運(yùn)用離散空間采樣法獲取初始深度圖，構(gòu)造變分模式下深度估計(jì)模型的能量函數(shù)；然后，借助于原始對(duì)偶算法求解能量函數(shù)，實(shí)現(xiàn)深度模型優(yōu)化；利用顯著性濾波器算法對(duì)優(yōu)化后的深度圖進(jìn)行顯著性區(qū)域粗提取，進(jìn)一步利用改進(jìn)脈沖耦合神經(jīng)網(wǎng)絡(luò)對(duì)顯著性區(qū)域進(jìn)行優(yōu)化，實(shí)現(xiàn)深度顯著性區(qū)域準(zhǔn)確提?。蛔詈髮?duì)三維顯著性區(qū)域進(jìn)行重建。本發(fā)明基于特定視角下不同坐標(biāo)系間關(guān)聯(lián)性，以及攝像機(jī)透視投影變換關(guān)系，使得該能量函數(shù)模型蘊(yùn)含了多視成像約束，降低了算法模型求解的計(jì)算復(fù)雜度，提高了深度圖估計(jì)質(zhì)量。
【專利說明】基于深度變分模型的空間顯著性區(qū)域提取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，涉及一種基于深度變分模型的空間顯著性區(qū)域提取 方法。

【背景技術(shù)】
[0002] 在日常生活中，我們觀察圖像時(shí)，通常只對(duì)整幅圖像或整段視頻中很小的較為顯 著的一部分感興趣。因此，計(jì)算機(jī)模擬人類視覺系統(tǒng)時(shí)，主要通過檢測(cè)圖像中顯著性區(qū)域進(jìn) 行模擬。顯著性檢測(cè)已逐漸成為計(jì)算機(jī)視覺領(lǐng)域非常重要的一門技術(shù)。在這個(gè)領(lǐng)域中，如何 運(yùn)用高效的方法從大場景中準(zhǔn)確地檢測(cè)、重構(gòu)出空間顯著性區(qū)域，是一個(gè)非常關(guān)鍵的技術(shù)。 傳統(tǒng)的顯著性檢測(cè)方法有多種，但對(duì)于某些圖像，如圖像中存在近景和遠(yuǎn)景，且遠(yuǎn)景距離觀 察者較遠(yuǎn)的圖像，對(duì)于這類圖像的顯著性檢測(cè)，結(jié)果不太符合人類視覺系統(tǒng)，檢測(cè)結(jié)果還不 太準(zhǔn)確，也無法快速、準(zhǔn)確建立目標(biāo)物體的空間幾何信息。申請(qǐng)?zhí)枮?01310658853.X的專 利提出了一種基于顯著性的快速場景分析方法，借鑒人類視覺系統(tǒng)神經(jīng)機(jī)制來設(shè)計(jì)計(jì)算機(jī) 視覺模型，提出了自底而上、各個(gè)特征圖可并行的機(jī)制，并且將多個(gè)特征在多尺度下進(jìn)行融 合，最后合成一張綜合的視覺顯著性圖。通過兩層的勝者為王神經(jīng)網(wǎng)絡(luò)得到顯著性區(qū)域，最 后通過禁止返回機(jī)制，抑制當(dāng)前顯著性區(qū)域，轉(zhuǎn)而尋找下一個(gè)顯著性區(qū)域，直到遍歷所有顯 著性區(qū)域。在一幅圖像中快速提取人眼所能觀察到的引人注意的區(qū)域。該方法只是針對(duì)二 維場景的顯著性區(qū)域提取，不能夠提供空間顯著性區(qū)域深度信息。因此，如何在整體場景深 度圖中自動(dòng)提取顯著性區(qū)域，并重建出三維顯著性區(qū)域，仍存在很大的技術(shù)問題。
[0003] 三維重建技術(shù)是當(dāng)今視覺方面十分重要的一項(xiàng)應(yīng)用，但是現(xiàn)有技術(shù)大多側(cè)重于整 體場景重建。為了更加真實(shí)模擬人眼視覺對(duì)空間顯著性區(qū)域的感知，對(duì)空間顯著性區(qū)域的 三維重建技術(shù)逐漸成為新的關(guān)鍵性技術(shù)。


【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明中提出了一種基于深度變分模型的 空間顯著性區(qū)域提取方法。該方法利用并行跟蹤與地圖創(chuàng)建（ParallelTrackingand Mapping，PTAM)算法作為相機(jī)位姿估計(jì)手段，在關(guān)鍵幀處選取圖像序列構(gòu)造基于變分模型 的深度圖能量估計(jì)函數(shù)。由于本發(fā)明所述方法基于特定視角下不同坐標(biāo)系間關(guān)聯(lián)性，以 及攝像機(jī)透視投影變換關(guān)系，使得該能量函數(shù)模型蘊(yùn)含了多視成像約束，降低了算法模型 求解的計(jì)算復(fù)雜度，提高了深度圖估計(jì)質(zhì)量。運(yùn)用離散空間采樣法獲取初始深度圖，基于 TV-L1模型建立能量函數(shù)，對(duì)函數(shù)求解，以實(shí)現(xiàn)對(duì)初始深度圖的優(yōu)化。通過改進(jìn)顯著性區(qū)域 提取方法（ImprovedSalientRegionExtraction,ISRE)實(shí)現(xiàn)對(duì)深度圖顯著性區(qū)域的準(zhǔn)確 提取，并結(jié)合相機(jī)投影模型實(shí)現(xiàn)當(dāng)前環(huán)境下顯著性區(qū)域三維重建，該方法對(duì)于解決空間顯 著性區(qū)域重建問題具有重大意義。
[0005] 本發(fā)明采用如下的技術(shù)方案：
[0006] 首先，對(duì)相機(jī)進(jìn)行校正，選取圖像中關(guān)鍵幀圖像序列，運(yùn)用離散空間采樣法獲取初 始深度圖，構(gòu)造變分模式下深度估計(jì)模型的能量函數(shù)；然后，借助于原始對(duì)偶算法求解能量 函數(shù)，實(shí)現(xiàn)深度模型優(yōu)化；利用顯著性濾波器算法（SaliencyFilters，SF)對(duì)優(yōu)化后的深 度圖進(jìn)行顯著性區(qū)域粗提取，進(jìn)一步利用改進(jìn)脈沖耦合神經(jīng)網(wǎng)絡(luò)（PulseCoupledNeural Network，PCNN)對(duì)顯著性區(qū)域進(jìn)行優(yōu)化，實(shí)現(xiàn)深度顯著性區(qū)域準(zhǔn)確提?。蛔詈髮?duì)三維顯著 性區(qū)域進(jìn)行重建。具體包括以下步驟：
[0007]步驟1，進(jìn)行相機(jī)校正。
[0008]在世界坐標(biāo)系中，相機(jī)位姿T"可以表示為如下矩陣：
[0009] Tcw = [Rcw,tcw] (1)式中，下標(biāo)CW表示從世界坐標(biāo)系到當(dāng)前相機(jī)坐標(biāo) 系，TcwGSE(3)，且SE(3) := {[R，t]|RGS0(3)，tGR3}。tcw、Rcw 可由六元組 € = (U1,]i2，]i3，]i4，]i5，]i6)表示，艮P:
[0010]

【權(quán)利要求】
1.基于深度變分模型的空間顯著性區(qū)域提取方法，其特征在于包括以下步驟： 步驟1，進(jìn)行相機(jī)校正； 在世界坐標(biāo)系中，相機(jī)位姿Trat可以表示為如下矩陣： Tcw = [Rcw，tJ (1) 式中，下標(biāo)cw表示從世界坐標(biāo)系到當(dāng)前相機(jī)坐標(biāo)系，TeweSE(3)，且SE(3) := {[R，t]IReS0(3),teR3Lt__-、R__-由六元紐E· = (u,,uu。，u,,u「，uJ表示，即：
式中，μi，μ2,μ3為相機(jī)在世界坐標(biāo)系下的坐標(biāo)，μ4,μ5,μ6分別為世界坐標(biāo)系下相 機(jī)沿x，y，ζ方向上的旋轉(zhuǎn)向量，ξ的數(shù)學(xué)表達(dá)式如下：
相機(jī)的位姿Trat建立了相機(jī)坐標(biāo)系下點(diǎn)Ρ。到世界坐標(biāo)系下點(diǎn)Pw的變換關(guān)系，即： Pc=TcwPw (4) 在相機(jī)坐標(biāo)系下，三維空間點(diǎn)到像平面上的投影定義為： 31 (p) =K(x/z,y/z, 1)τ (5)
式中，PeR3的三維空間點(diǎn)，X，y，ζ為該點(diǎn)的坐標(biāo)值，K為相機(jī)的內(nèi)參矩陣，fu，fv為相 機(jī)焦距，Utl,Vtl為像平面中心坐標(biāo)；根據(jù)當(dāng)前坐標(biāo)的深度值d，利用逆向投影法確定當(dāng)前空間 三維點(diǎn)坐標(biāo)P，其坐標(biāo)關(guān)系表示為： πΛ [u,d) = dK1 u (7 ) 式中，η為u的齊次表達(dá)式； 采用FOV模型實(shí)現(xiàn)對(duì)單目相機(jī)的矯正，其數(shù)學(xué)描述如下：
ru = I IxJ 式中，Xu為像素歸一化坐標(biāo)，Ud為畸變后像素坐標(biāo)，ω為畸變系數(shù)，rd，ru分別為矯正前 后歸一化坐標(biāo)到坐標(biāo)系中心的距離； 利用上述相機(jī)模型，將圖像像素坐標(biāo)映射到歸一化坐標(biāo)平面，同時(shí)結(jié)合相機(jī)內(nèi)參數(shù)矩 陣K，實(shí)現(xiàn)圖像畸變矯正，即： u=Kxn (9) 步驟2,基于變分模型的深度圖的建立與求解； 步驟3,顯著性粗提?。? 原圖像經(jīng)顯著性濾波器算法處理，獲得初始顯著性圖OSM和亮度特征圖IFM; 步驟4,顯著性精細(xì)提??； 步驟5,顯著性區(qū)域三維重建； 將提取的顯著性區(qū)域范圍反投影到深度圖，獲取顯著性區(qū)域的深度圖，結(jié)合相機(jī)投影 模型實(shí)現(xiàn)當(dāng)前環(huán)境下三維顯著性區(qū)域的重建。
2.根據(jù)權(quán)利要求1所述的基于深度變分模型的空間顯著性區(qū)域提取方法，其特征在 于，步驟2所述基于變分模型的深度圖的建立與求解方法包括以下步驟： 步驟2. 1，建立基于深度模型的能量函數(shù)；其表達(dá)式如下：
式中，λ為數(shù)據(jù)懲罰項(xiàng)Edata和變分規(guī)則項(xiàng)Ems間的權(quán)重系數(shù)，ΩeR2為深度圖的取值 范圍； 能量函數(shù)的求解： 步驟2. 2,計(jì)算數(shù)據(jù)懲罰項(xiàng)； 在相機(jī)精確定位的基礎(chǔ)上，根據(jù)極線幾何關(guān)系可獲取當(dāng)前環(huán)境的稠密深度信息；利用 關(guān)鍵幀及其鄰近圖像序列I=U1,I2，…IJ，結(jié)合投影模型建立數(shù)據(jù)項(xiàng)Edata:
式中，L為當(dāng)前圖像序列中與參考幀具有重合信息的圖像幀數(shù)量，X'是在深度值為d時(shí)，圖像Ii中參考幀L中X對(duì)應(yīng)的像素坐標(biāo)，即：
步驟2. 3,計(jì)算變分規(guī)則項(xiàng)； 在深度圖平滑性假設(shè)前提下，為確保場景中界處的不連續(xù)性，引入加權(quán)Hubert算子作 為變分規(guī)則項(xiàng)；Hubert算子定義如下：
式中，α為常量； 基于加權(quán)的Hubert算子的變分規(guī)則項(xiàng)為： Ereg =g(u)IIVd(u)I (14) 式中，Vd為深度圖的梯度，g(u) =eXp[-aIIk(U)I|]為像素梯度權(quán)重系數(shù)，用以抑 制規(guī)則項(xiàng)的過平滑作用； 步驟2. 4,求解能量函數(shù)； 通過引入變量h來求解能量函數(shù)（10)，能量函數(shù)化簡為：
式中，Θ為常量； 引入變量h后，能量函數(shù)的求解過程轉(zhuǎn)化為凸優(yōu)化問題，隨著能量函數(shù)的不斷優(yōu)化，使h^d； 根據(jù)Legendre-Fenchel變換，Huber算子等效為：
式中，％α<Μ氣 Q0others 將（16)式帶入能量方程，深度優(yōu)化函數(shù)表示為：
采用交替下降法實(shí)現(xiàn)對(duì)上述能量函數(shù)的最小化，具體過程如下： (1)固定h求解：
式中，心,5⑷-ylM辦； 根據(jù)拉格朗日極值法，該能量函數(shù)達(dá)到最小值的條件為：
式中，div(q)為q的散度； 結(jié)合偏導(dǎo)數(shù)離散化描述，上述極值條件表示為：
式中，div(p)為p的散度； 采用原始對(duì)偶算法實(shí)現(xiàn)上述能量函數(shù)的迭代優(yōu)化，即： I1+ /0
(2)固定d求解：
式中，κ=! |("〇2+南ΣΙ你)-如 在變分光流算法中，利用圖像像素點(diǎn)處線性化展開，結(jié)合由粗到細(xì)的迭代方法，實(shí)現(xiàn)對(duì) 數(shù)據(jù)項(xiàng)的優(yōu)化；在上述過程中，該算法需要進(jìn)行大量圖像插值操作以及獲取該對(duì)應(yīng)點(diǎn)處像 素值，增加了算法的計(jì)算量；鑒于此采用深度離散空間采樣的方法實(shí)現(xiàn)上述能量函數(shù)的求 解；該方法選擇當(dāng)前場景中深度取值范圍[dmin，dmax]，并將該區(qū)域劃分為S個(gè)采樣區(qū)域，獲 取當(dāng)前能量函數(shù)在采樣區(qū)域的最優(yōu)解；其中第k與k+Ι采樣的區(qū)步長選擇為：
3.根據(jù)權(quán)利要求1所述的基于深度變分模型的空間顯著性區(qū)域提取方法，其特征在 于，步驟3所述顯著性粗提取的方法包括以下步驟： 步驟3. 1，對(duì)輸入原圖像做超像素分割，采用略微修改的超像素分割，根據(jù)CIElab空間 的測(cè)地線圖像距離進(jìn)行K-means聚類，產(chǎn)生大體上均勻尺寸，并且能夠保持顏色亮度邊界 的超像素分割； 步驟3. 2,提取超像素每個(gè)元素的顏色亮度獨(dú)特性，其超像素顏色亮度如下表示：
式中，U表示顏色亮度值；i，j表示超像素塊；N表示超像素的塊數(shù)；p表示超像素塊的 位置；c表示在CIELab空間的顏色；ω表示權(quán)重系數(shù)，其中權(quán)重與超像素空間位置的距離 有關(guān)，如果給予遠(yuǎn)距離像素很低的權(quán)重，這個(gè)像素顏色亮度獨(dú)立性就類似于中央周邊的對(duì) 比度，即距離遠(yuǎn)的像素對(duì)其顯著性貢獻(xiàn)較低； 步驟3. 3,度量整幅圖像的分布性，即針對(duì)特定區(qū)域元素做深度渲染突出其顯著性，空 間顏色區(qū)分度可如下表示：
式中，ω表示第i和第j超像素塊的顏色亮度權(quán)重系數(shù)；ρ表示像素塊的位置；u表示 空間顏色c的位置；根據(jù)定義，顏色亮度越接近，權(quán)重越大，即距離遠(yuǎn)但顏色相近的像素分 布值大，這個(gè)特征可以表示某種顏色在空間分布的廣度； 步驟3. 4,結(jié)合步驟2和3確定OSM和IFM進(jìn)行顯著性融合；顯著性圖Si由下式表示：Si =υ?θχρ(-K·Di),i= 1,2, -,N (26)。
4.根據(jù)權(quán)利要求1所述的基于深度變分模型的空間顯著性區(qū)域提取方法，其特征在 于，步驟4所述顯著性精細(xì)提取的方法包括以下步驟： 步驟4. 1，傳入單元； 將IFM的每個(gè)像素Iij (X，y)作為PCNN的外界刺激輸入Fij,同時(shí)通過連接突觸權(quán)重W， 將Iij (X，y)與其3X3范圍內(nèi)8個(gè)鄰域連接起來形成一個(gè)局部刺激Lij ;權(quán)重W的值由中心 像素點(diǎn)到其8鄰域邊界像素的距離決定； 步驟4. 2,連接調(diào)制單元； 連接調(diào)制單元的主要作用是將外界刺激主輸入Fu和局部刺激連接輸入調(diào)制耦合， 表示如下： Uij[n] =Fijtn] {l+βLijtn]} (27) 其中，Uu為神經(jīng)元內(nèi)部活動(dòng)項(xiàng)；β是突觸之間的連接強(qiáng)度系數(shù)，其取值越大，則8鄰域 的神經(jīng)元對(duì)其中心神經(jīng)元的影響越大； 步驟4. 3,點(diǎn)火脈沖單元； 人的視覺注意點(diǎn)會(huì)隨著場景的改變而隨時(shí)改變；為了準(zhǔn)確模擬這一過程，對(duì)傳統(tǒng)PCNN點(diǎn)火脈沖單元進(jìn)行改進(jìn)；具體實(shí)現(xiàn)步驟如下： (1) 取OSM最大的非零灰度值的75%像素點(diǎn)，將它們的值設(shè)置為1即白色，界定出最大 范圍的顯著性區(qū)域，其它值設(shè)置為0即黑色，界定為確定的背景區(qū)域；即獲取OSM的二值圖 像 0SM_C; (2) 將神經(jīng)元內(nèi)部活動(dòng)項(xiàng)Uij與0SM_C點(diǎn)乘，最終確定點(diǎn)火脈沖Ukl，表示如下： Ukj =Ui^OSMj: (28) (3) 由Ukl確定神經(jīng)元的動(dòng)態(tài)閾值Oij,此過程表示如下： Qij [n] =max[Ukl(x,y)]e_a (29) 其中，a是傳統(tǒng)PCNN動(dòng)態(tài)閾值指數(shù)衰減系數(shù)； (4) 將Ukl的最大值與動(dòng)態(tài)閾值Ou作比較，確定全部應(yīng)點(diǎn)火神經(jīng)元的取值范圍，產(chǎn)生 時(shí)序脈沖序列Yij :
經(jīng)多次迭代，完成最終二值化顯著圖提取；ISRE模型具有人眼視覺神經(jīng)系統(tǒng)神經(jīng)元抑 制作用，即通過已點(diǎn)火的孤立神經(jīng)元或極小區(qū)域神經(jīng)元抑制掉遠(yuǎn)離顯著性目標(biāo)區(qū)域的噪 點(diǎn)。
【文檔編號(hào)】G06T7/00GK104318569SQ201410584106
【公開日】2015年1月28日 申請(qǐng)日期:2014年10月27日 優(yōu)先權(quán)日:2014年10月27日
【發(fā)明者】賈松敏, 徐濤, 張鵬, 李秀智, 宣璇 申請(qǐng)人:北京工業(yè)大學(xué)