本發(fā)明-屬于圖像目標(biāo)檢測的技術(shù)領(lǐng)域,尤其涉及對多視角圖像的目標(biāo)檢測方法。
背景技術(shù):
視覺顯著性是指人們觀察外界事物時,視覺系統(tǒng)能夠自主探測、感知場景中各個位置的敏感性信息。該原理來源于人類視覺系統(tǒng)的仿生研究成果,它依據(jù)生物神經(jīng)原理建立計算模型,構(gòu)建類似于神經(jīng)系統(tǒng)捕捉、處理外界信息的過程,實現(xiàn)場景中顯著性目標(biāo)的感知。
經(jīng)過對現(xiàn)有技術(shù)總結(jié)發(fā)現(xiàn),對于簡單場景圖像,基于視覺顯著性的目標(biāo)檢測容易取得好的效果,對于復(fù)雜場景圖像,基于單幅圖像顯著性信息的目標(biāo)檢測方法往往不能進行準(zhǔn)確的目標(biāo)區(qū)域檢測與判斷。利用更多的圖像能夠補充目標(biāo)信息,提高檢測準(zhǔn)確度?,F(xiàn)有的多幅圖像的顯著性計算主要集中于多幅相似圖像的聯(lián)合顯著性檢測,其主要問題在于相似圖像的來源受限,不適合實際應(yīng)用。隨著3D技術(shù)的發(fā)展,多視角圖像提供了另外一種基于多幅圖像的顯著性目標(biāo)檢測途徑,多視角顯著性可以融合更多信息,抑制復(fù)雜背景,突出顯著目標(biāo),得到背景干擾小、邊緣清晰的顯著目標(biāo)。
技術(shù)實現(xiàn)要素:
本發(fā)明的發(fā)明目的在于:針對前景目標(biāo)未被遮擋的場景,提供一種多視角圖像中目標(biāo)檢測方法,以實現(xiàn)對無遮擋目標(biāo)在復(fù)雜背景場景下的目標(biāo)檢測與提取。
本發(fā)明針對前景目標(biāo)未被遮擋的場景,計算多個視角圖像的顯著性圖,將兩側(cè)視角的顯著性圖投影到中間目標(biāo)視角,消除投影圖中由于像素離散映射產(chǎn)生的不閉合細紋,得到兩側(cè)視角的影顯著性圖;并將兩側(cè)視角的投影顯著性圖與中間視角的顯著性圖融合,得到融合顯著性圖;將投影產(chǎn)生的空洞區(qū)域視為背景區(qū)域,在融合顯著性圖中消除;利用投影空洞劃分對融合顯著性圖進行圖像劃分,將投影空洞和邊緣之間的區(qū)域以及不同物體的投影空洞之間的區(qū)域視為背景,在融合顯著性圖中消除;對融合顯著性圖二值化,得到目標(biāo)檢測結(jié)果。
本發(fā)明的一種基于視覺顯著性的多視角圖像目標(biāo)檢測方法,包括下列步驟:
步驟1:輸入前景目標(biāo)未被遮擋的同一場景的左、中、右視角圖像,并計算各視角圖像的顯著性圖,得到左、中、右顯著性圖;
步驟2:分別將左、右顯著性圖依像素投影到中視角圖像,得到左、右投影圖,同時記錄投影時的投影空洞區(qū)域;分別消除左、右投影圖中的不閉合細紋得到左、右投影顯著性圖;
步驟3:將左、右投影顯著性圖和中顯著性圖進行圖像融合,得到融合顯著性圖,并在融合顯著性圖中將記錄的投影空洞區(qū)域的顯著性消除;
步驟4:基于記錄的投影空洞區(qū)域?qū)θ诤巷@著性圖進行圖像劃分,將投影空洞和邊緣之間的區(qū)域、以及不同圖像物體的投影空洞之間的區(qū)域作為背景區(qū)域,并在融合顯著性圖中消除所述背景區(qū)域的顯著性;
步驟5:步驟4處理后的融合顯著性圖進行二值化處理,輸出目標(biāo)檢測結(jié)果。
與現(xiàn)有技術(shù)相比,本方法針對前景不被遮擋的場景,能夠更好的抑制背景,得到背景干擾小、邊緣清晰的顯著目標(biāo)。
附圖說明
圖1本發(fā)明具體實施方式的流程圖。
圖2左右視角到中視角的投影示意圖。
圖3細紋修復(fù)示意圖。
圖4多視角融合顯著性圖。
圖5消除目標(biāo)周圍背景示意圖。
圖6利用投影空洞劃分圖像示意圖。
圖7多視角目標(biāo)檢測結(jié)果示意圖。
具體實施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚,下面結(jié)合實施方式和附圖,對本發(fā)明作進一步地詳細描述。
參見圖1,本發(fā)明的一種基于視角顯著性的多視角圖像目標(biāo)檢測方法,包括下列步驟:
步驟1:輸入前景目標(biāo)未被遮擋的同一場景的多視角圖像(左視角、中視角(中間目標(biāo)視角)、右視角,如圖2所示的a、b、c)并分別計算其顯著性,得到各視角的顯著性圖,同時完成視角投影。
比如利用背景先驗方法(BP)計算左中右三個視角圖像(圖2的a-c)的視覺顯著性圖,如圖2的d-f所示,即得到左顯著性圖(圖2-d)、中顯著性圖(圖2-e)、右顯著性圖(圖2-f)。然后將左右視角的顯著性圖依像素投影到中視角圖,得到左右視角的兩幅投影圖,如圖2的g-h所示。
投影時同時記錄中間目標(biāo)視角中未被映射的不閉合區(qū)域,其中不閉合區(qū)域分為兩種:一是由于視角映射時像素的離散性產(chǎn)生的不閉合細紋區(qū)域,二是由于視角遮擋產(chǎn)生的投影空洞區(qū)域。
步驟2:消除左右視角的投影圖中的不閉合細紋,得到左、右投影顯著性圖。
201:提取左投影圖SLp、右投影圖SRp中的不閉合細紋,得到圖像IL-mask、IR-mask,其中IL-mask對應(yīng)SLp,IR-mask對應(yīng)SRp;并初始化左、右修復(fù)圖ILs=SLp、IRs=SRp;
202:對圖ILs、IRs進行分塊離散余弦DCT變換,并將頻域中的高頻DCT系數(shù)(行數(shù)或列數(shù)大于二分之一變換塊的行高或列寬位置的系數(shù))置零后作DCT逆變換得到圖像ILp、IRp,其中ILp對應(yīng)ILs,IRp對應(yīng)IRs;
203:用圖像ILp、IRp填充投影圖SLp、SRp中的不閉合區(qū)域,得到新的左、右修復(fù)圖ILs=ILs+ILp∩IL-mask、IRs=IRs+IRp∩IR-mask;
204:若當(dāng)前左、右修復(fù)圖ILs、IRs中不存在不閉合細紋,則執(zhí)行步驟202;否則將當(dāng)前左、右修復(fù)圖ILs、IRs作為左、右投影顯著性圖,如圖3所示,其中圖3-a對應(yīng)左投影顯著圖,3-b對應(yīng)右投影顯著性圖。
步驟3:多視角顯著性圖融合及消除目標(biāo)周圍空洞區(qū)域。
一般的,多視角顯著性圖加權(quán)相加時,設(shè)左右視角與中間視角的視角相關(guān)系數(shù)為0.5,中間視角自身的視角相關(guān)系數(shù)為1,即左投影顯著性圖、中顯著性圖、右投影顯著性圖的視角相關(guān)系數(shù)r1、r2、r3分別為0.5、1、0.5,則根據(jù)公式w1=r1/(r1+r2+r3)可得左投影顯著性圖的加權(quán)系數(shù)w1=0.25,公式w2=r2/(r1+r2+r3)可得中顯著性圖的加權(quán)系數(shù)w2=0.5,公式w3=r3/(r1+r2+r3)可得左投影顯著性圖的加權(quán)系數(shù)w3=0.25,基于加權(quán)系數(shù),對左投影顯著性圖、中顯著性圖、右投影顯著性圖進行加權(quán)求和可得到融合顯著性圖,如圖4所示。
在融合顯著性圖中,將由于視角遮擋產(chǎn)生的投影空洞區(qū)域的顯著性值置零,消除投影空洞區(qū)域后的顯著性圖參見圖5。
步驟4:利用投影空洞劃分圖像,消除背景。
基于步驟1中記錄的投影空洞區(qū)域,對融合顯著性圖進行圖像劃分。
參見圖6-a,其中①區(qū)為圖像物體,②區(qū)為投影產(chǎn)生的投影空洞區(qū)域,③區(qū)為投影空洞外側(cè)背景的區(qū)域,而④區(qū)為不處理區(qū)域(因不能判斷是否為投影空洞外側(cè))。
根據(jù)以上區(qū)域劃分,將從左往右的每對空洞的中間視為一個目標(biāo)物體,將投影空洞做形態(tài)學(xué)處理,細化為線條,即空洞線條。
然后將位于圖像左側(cè)第一個目標(biāo)物體的左側(cè)空洞線條與圖像的左側(cè)邊緣角連接形成封閉區(qū)域,將位于圖像右側(cè)第一個目標(biāo)物體的右側(cè)空洞線條與圖像的右側(cè)邊緣角連接形成封閉區(qū)域,對相鄰的兩個目標(biāo)物體,左側(cè)目標(biāo)物體的右側(cè)空洞線條與右側(cè)目標(biāo)物體的左側(cè)空洞線條的兩端連接形成封閉區(qū)域,并將以上三種封閉區(qū)域合并得到背景區(qū)域,參見圖6-b所示的3個閉合區(qū)域。
最后,在融合顯著圖中將背景區(qū)域的顯著性值置零,如圖7-a所示。
步驟5:對消除背景干擾后的融合顯著性圖作二值化,閾值th為圖像平均灰度的一半,即th=1/MN*(∑∑S(x,y))/2,其中M、N分別為圖像的寬度和高度,S(x,y)表示灰度,令融合顯著性圖中,顯著性值大于或等于th的像素值為1,顯著性值小于th的像素值為0,得到最終的目標(biāo)檢測結(jié)果,如圖7-b所示。
以上所述,僅為本發(fā)明的具體實施方式,本說明書中所公開的任一特征,除非特別敘述,均可被其他等效或具有類似目的的替代特征加以替換;所公開的所有特征、或所有方法或過程中的步驟,除了互相排斥的特征和/或步驟以外,均可以任何方式組合。