本發(fā)明涉及模式識別技術(shù)、信息融合技術(shù)、信息編碼技術(shù)和數(shù)字圖像處理技術(shù)領(lǐng)域，具體的說是一種使用llc準(zhǔn)則定位圖像前景的方法。

背景技術(shù)：

模式識別技術(shù)是指對表征事物或現(xiàn)象的各種形式的（數(shù)值的、文字的和邏輯關(guān)系的）信息進(jìn)行處理和分析，以對事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類和解釋的過程，是信息科學(xué)和人工智能的重要組成部分。顯著性檢測中的模式識別指的是對圖像中背景和目標(biāo)的識別與分類。顯著目標(biāo)是圖像中從背景中突出的人或事物，一般包含更多人們感興趣的、更有用的信息。顯著目標(biāo)檢測的主要任務(wù)即檢測并標(biāo)定出顯著目標(biāo)所在的區(qū)域。由于檢測結(jié)果可以被直接使用，因此，顯著目標(biāo)檢測廣泛應(yīng)用于目標(biāo)識別、圖像分割、圖像檢索等領(lǐng)域。

常用的顯著目標(biāo)檢測技術(shù)主要有基于局部對比的顯著區(qū)域檢測技術(shù)，如：基于局部對比和模糊生長技術(shù)、多尺度中心-周圍直方圖和顏色空間分布對比技術(shù)等；以及基于全局對比的顯著區(qū)域檢測技術(shù)。顯著目標(biāo)檢測技術(shù)中的關(guān)鍵是通過像素、超像素、區(qū)域塊等檢測單位間的局部或全局特征差來確定各個檢測單位的顯著值，因此，特征提取是計算特征差的基本步驟。由于顯著顏色是引起人類視覺注意的最根本特征，人們通常選取顏色計算特征差。目前許多顯著目標(biāo)檢測模型雖然在單顯著目標(biāo)和簡單背景場景下的性能已接近測試集的標(biāo)準(zhǔn)，但在多目標(biāo)和復(fù)雜背景下，尤其是在顯著目標(biāo)與背景相融的場景下不能取得較好的表現(xiàn)。當(dāng)圖像場景復(fù)雜時，顏色特征可能不足以作為目標(biāo)與背景的分類依據(jù)。這是因為場景的復(fù)雜通常表現(xiàn)為以下特性：1、場景中含有多個結(jié)構(gòu)復(fù)雜的目標(biāo)，并可能部分相互重疊；2、目標(biāo)區(qū)域呈不規(guī)則形狀；3、目標(biāo)分布于圖像四周；4、目標(biāo)與背景具有相似的色調(diào)，或者二者均具有雜亂的色調(diào)。在上述特性中，最后一個特性是難以用顏色特征差將目標(biāo)從背景中提取出來的，此時紋理特征差將可作為顯著目標(biāo)檢測的重要依據(jù)。此外，位于圖像中心區(qū)域的事物往往被最先注意，背景常分布在圖像四周的邊界區(qū)域，這就凸顯了區(qū)域間的空間關(guān)系特征的優(yōu)勢，該特征也可為顯著性檢測提供了可參考的線索。當(dāng)顏色差不足以提供顯著目標(biāo)檢測的線索時，如何運(yùn)用圖像的多個特征并將它們有效地融合是需要解決的關(guān)鍵問題。另一方面，由于圖像場景復(fù)雜時機(jī)器視覺難以將前景從雜亂的背景中檢測出來，造成多種先進(jìn)算法生成的顯著圖中存在前景區(qū)域附近噪聲較多、甚至前景邊界模糊的現(xiàn)象，提高了進(jìn)一步的前景或目標(biāo)識別的難度。

圖像前景的定位技術(shù)屬于圖像顯著性檢測技術(shù)中非常重要的一個環(huán)節(jié)，在使用先驗知識或其他深度信息進(jìn)行分析后，圖像前景被粗略地定位，在此基礎(chǔ)上進(jìn)一步進(jìn)行細(xì)致地檢測可使生成的顯著圖精準(zhǔn)度更高，而且檢測時間會大大加快。

基于局部性約束的線性編碼（locality-constrainedlinearcoding，簡稱llc）是一種高效且魯棒的分類技術(shù)，最初主要用于圖像分類。由于強(qiáng)調(diào)稀疏編碼過程中的“特征局部性”，其使用促使圖像分類的正確率提高很多。同時，llc方案還具有快速性的特點(diǎn)，其原理簡單，大大縮短了編碼所需的時間。

特征向量模型（featurevectormodel）被廣泛使用于圖像處理領(lǐng)域。多個特征數(shù)據(jù)可按照“均一權(quán)值”或“差額權(quán)值”的方式被融合入一個向量中表示，表示方法簡單且易于參與運(yùn)算。本發(fā)明僅涉及“均一權(quán)值”的向量模型來融合圖像區(qū)域的質(zhì)心、顏色和紋理特征。

k-means聚類是一種聚類分析算法，是典型的基于原型的目標(biāo)函數(shù)聚類方法的代表，通過不斷地取離種子點(diǎn)的最近歐氏距離（相似度測量）作為優(yōu)化的目標(biāo)函數(shù)，利用函數(shù)求極值的方法得到迭代運(yùn)算的調(diào)制規(guī)則，以達(dá)到聚類所有數(shù)據(jù)的目的。

簡單線性迭代聚類（simplelineariterativeclustering，簡稱slic）是一種高效的圖像分割法，該方法將圖像分割為n個超像素（n的取值一般在200左右具有最佳效果），劃分為同一個超像素的像素或圖像塊具有顏色相似性和內(nèi)部緊致性。目前，很多高效的顯著目標(biāo)檢測算法以slic超像素作為特征提取和顯著值計算的基本檢測單位，不僅可以達(dá)到快速檢測的目標(biāo)而且獲得的顯著圖也更加平滑。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種使用llc準(zhǔn)則定位圖像前景的方法，從標(biāo)準(zhǔn)測試集中選取大量隨機(jī)圖像，結(jié)合其顯著區(qū)域真值標(biāo)注圖，提取圖像前景的先驗知識、形成llc碼本，使用llc準(zhǔn)則對待測圖像的各個區(qū)域是否屬于前景進(jìn)行粗分類，并給出相應(yīng)的顯著性概率值。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

一種使用llc準(zhǔn)則定位圖像前景的方法，包括以下步驟：

步驟一：碼本生成：實(shí)現(xiàn)為生成llc所使用的碼本進(jìn)行的大規(guī)模圖像樣本抽取、圖像過分割、圖像區(qū)域樣本篩選及標(biāo)定、圖像區(qū)域樣本特征提取、區(qū)域樣本聚類生成碼本；

步驟二：待測圖像區(qū)域劃分及特征提取：實(shí)現(xiàn)待測圖像過分割，提取待測圖過分割后的各圖像區(qū)域特征；

步驟三：使用llc準(zhǔn)則對每個過分割圖像區(qū)域進(jìn)行稀疏編碼：根據(jù)過分割圖像區(qū)域特征提取結(jié)果，按照局部性原理和llc準(zhǔn)則進(jìn)行線性編碼，獲得所有過分割圖像區(qū)域的稀疏編碼碼字；

步驟四：圖像區(qū)域粗分類：實(shí)現(xiàn)llc編碼碼字轉(zhuǎn)換為顯著性概率值的結(jié)果，得到知識先驗圖；

步驟五：圖像前景定位：按照背景優(yōu)先的圖流形排序法獲得背景先驗圖，通過融合知識先驗圖用以消除圖像區(qū)域粗分類造成的大部分噪聲，精準(zhǔn)地定位圖像前景。

所述步驟一中碼本生成的方法為：

1）從標(biāo)準(zhǔn)測試集中抽樣n幅圖像；

2）將原圖像用slic算法分割成n個超像素；

3）提取每幅被抽樣圖像的顯著性真值標(biāo)注圖，按照步驟2）中的分割結(jié)果映射到真值標(biāo)注圖，依據(jù)公式（1）將僅包含前景像素或僅包含背景像素的超像素區(qū)域納入備選圖像區(qū)域樣本，并標(biāo)定該圖像區(qū)域樣本屬于前景亦或背景，剔除掉既包含前景像素又包含背景像素的超像素區(qū)域；

（1）

其中為第i幅抽樣圖像被納入的第t個區(qū)域樣本，該樣本來源于第i幅抽樣圖像的第j個超像素區(qū)域；表示真值標(biāo)注圖中對應(yīng)該區(qū)域的平均值，其值為1時說明屬于前景，用指示，值為0時說明該區(qū)域?qū)儆诒尘埃?imgfile="dest_path_image012.gif"wi="36"he="22"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>指示；

4）提取各備選圖像區(qū)域樣本的質(zhì)心、lab顏色自然特征，計算其距圖像中心的質(zhì)心距離、局部lab顏色對比值和全局lab顏色對比值，按照公式（2）和公式（3）形成對比特征向量表示單個圖像區(qū)域樣本；

（2）

其中，mi為第i幅抽樣圖像被選入的區(qū)域樣本個數(shù)；

（3）

其中，表示來源于歸一化后的同一幅圖像的區(qū)域樣本的特征，歸一化過程僅在同一幅圖像的區(qū)域樣本內(nèi)進(jìn)行；

5）將步驟4）所形成的對比特征向量組成對比特征矩陣，使用k-means聚類算法按照公式（4）給出的條件聚類為k個中心；

（4）

6）使用步驟5）生成的k個聚類中心構(gòu)成碼本，其對應(yīng)的標(biāo)定結(jié)果依序組成長度為k的標(biāo)定向量。

所述步驟二中待測圖像區(qū)域劃分及特征提取的方法為：

1）將待測圖像用slic算法分割成n個超像素；

2）提取待測圖像各超像素的質(zhì)心，用橫縱坐標(biāo)表示；

3）提取待測圖像各超像素在lab空間下的三個顏色均值；

4）分別計算待測圖像各超像素距圖像中心的質(zhì)心距離、局部lab顏色對比值和全局lab顏色對比值，按照公式（2）的特征構(gòu)成形式形成對比特征向量表示單個圖像超像素區(qū)域。

所述步驟三中使用llc準(zhǔn)則對每個過分割圖像區(qū)域進(jìn)行稀疏編碼的方法為：對于每一個圖像超像素，按照公式（5）和（6）所示llc編碼規(guī)則，使用在步驟一中已生成的碼本，得到每個超像素對應(yīng)的編碼向量;

（5）

其中，是待測超像素區(qū)域的對比特征向量，表示待測超像素區(qū)域與碼本各元素的距離向量；

（6）。

所述步驟四中圖像區(qū)域粗分類的方法為：按照編碼向量和標(biāo)定向量依據(jù)公式（7）計算每個圖像超像素區(qū)域的顯著性概率值，得到知識先驗圖;

（7）

其中和是分別對應(yīng)于編碼正例和反例的非負(fù)系數(shù)集，pn和nn分別為這兩個非負(fù)系數(shù)集中的元素個數(shù)。

所述步驟五中圖像前景定位，通過下述步驟實(shí)現(xiàn)：

1）按照背景優(yōu)先的圖流形排序法依據(jù)公式（8）和（9）獲得背景先驗圖；

（8）

其中μ值為0.99，wij為圖結(jié)構(gòu)的仿射矩陣元素，表示了兩個鄰接結(jié)點(diǎn)間的特征距離，標(biāo)記了度矩陣，是一個二值指示向量，為流形排序的查詢輸入，用來標(biāo)記查詢種子，*依次表示l-left、r-right、u-up、d-down，即圖像四個邊界;

（9）

其中，表示按位乘法;

2）將背景先驗圖和知識先驗圖按照公式（10）融合，獲得較為精準(zhǔn)的圖像前景定位圖;

（10）

其中，表示矩陣或向量間的對應(yīng)元素按位乘法。

本發(fā)明的有益效果：

（1）使用距圖像中心的質(zhì)心距離、局部lab顏色對比值和全局lab顏色對比值等基于對比的特征描述圖像超像素區(qū)域，并用來學(xué)習(xí)前景\背景的典型特征作為指導(dǎo)圖像超像素區(qū)域分類的先驗知識，從經(jīng)驗角度獲取高層知識只需學(xué)習(xí)一次即可多次指導(dǎo)區(qū)域分類，與僅從當(dāng)前圖像提取高層知識的方法相比大大加快了前景定位的速度；

（2）圖像前景定位以超像素區(qū)域分類為根本，定位出的前景邊界清晰、易于提取做進(jìn)一步細(xì)化處理；

（3）采用llc編碼方案簡化了區(qū)域分類過程，并且由于llc強(qiáng)調(diào)特征局部性，分類結(jié)果更傾向于先驗知識的經(jīng)驗表達(dá)，不易被復(fù)雜場景中的雜亂信息干擾；

（4）從整體上來看，本發(fā)明生成的知識先驗圖的噪聲比僅從當(dāng)前圖像提取高層知識所生成的知識先驗圖要多，但是噪聲很容易被背景先驗圖消除，而邊界清晰的優(yōu)勢是其他知識先驗圖很難達(dá)到的；

（5）圖像前景定位的結(jié)果可直接用于改進(jìn)基于圖的流形排序（graphbasedmanifoldranking，簡稱gmr）的查詢，可獲得較為明顯的性能改進(jìn)效果，生成的顯著圖中前景邊界更加清晰，噪聲更少；在sed2、ecssd和dut_omron三個具有復(fù)雜場景圖像特征的標(biāo)準(zhǔn)測試庫中，使用提供的groundtruth依次對比計算出的顯著圖，圖3顯示了采用基于本發(fā)明獲得的前景定位圖改進(jìn)圖流形排序得到的顯著圖結(jié)果，以及過程中生成的各個步驟圖，圖4展示了基于本發(fā)明獲得的知識先驗圖與僅從當(dāng)前圖像提取高層知識所生成的知識先驗圖的比較、基于本發(fā)明改進(jìn)的圖流形排序得到的顯著圖與采用文獻(xiàn)[c.yang,l.zhang,h.lu,etal.,saliencydetectionviagraph-basedmanifoldranking,”in:ieeeconf.oncomputervisionandpatternrecognition(cvpr),2013,pp.3166-3173]得到的圖流形排序顯著圖的比較：步驟圖與比較圖均顯示了基于本發(fā)明獲得的知識先驗圖在前景定位精準(zhǔn)度與前景邊界清晰這兩方面的明顯優(yōu)勢。表1記載了使用基于本發(fā)明提取優(yōu)勢查詢并輸入圖流形排序得到的顯著圖在平均fmeasure值（越高越好）及mae值（越低越好）等評價標(biāo)準(zhǔn)與其他經(jīng)典算法的比較結(jié)果，最好的兩個結(jié)果用加粗字體標(biāo)出；表中數(shù)據(jù)表明：使用本發(fā)明定位圖像前景改進(jìn)顯著性檢測方法使得檢測效果得到了明顯提高。

表1多算法性能比較（dl算法使用了本發(fā)明結(jié)果改進(jìn)圖流形排序的查詢輸入）

附圖說明

圖1是本發(fā)明涉及的使用llc準(zhǔn)則定位圖像前景的方法的總流程圖；

圖2是本發(fā)明涉及的碼本生成的流程圖；

圖3是基于本發(fā)明前景定位的顯著性檢測步驟圖（從左至右：原圖、知識先驗圖、背景先驗圖、前景定位圖、用前景定位圖改進(jìn)查詢所得的流形排序顯著圖、真值圖）；

圖4是基于本發(fā)明獲得的知識先驗圖與改進(jìn)圖流形排序的效果展示（從左至右：原圖、基于本發(fā)明獲得的知識先驗圖、從當(dāng)前圖像直接提取高層知識所生成的知識先驗圖、gbr圖流形排序生成的顯著圖、用本發(fā)明獲得的前景定位圖改進(jìn)圖流形排序查詢獲得的顯著圖、真值標(biāo)注圖）。

具體實(shí)施方式

下面結(jié)合具體實(shí)施方式對本發(fā)明做進(jìn)一步的闡述。

本發(fā)明所涉及的通過使用llc準(zhǔn)則定位圖像前景的方法，包括：碼本生成、待測圖像區(qū)域劃分及特征提取、使用llc準(zhǔn)則對每個過分割圖像區(qū)域進(jìn)行稀疏編碼、圖像區(qū)域粗分類和圖像前景定位等步驟。

本發(fā)明所涉及的碼本生成方案依據(jù)標(biāo)準(zhǔn)測試集中的真值標(biāo)注圖篩選前/背景信息確定的區(qū)域作為生成碼本的樣本，大規(guī)模樣本再通過k-means聚類使得碼本元素中的樣本特征更具代表性。

本發(fā)明所涉及的圖像區(qū)域劃分采用目前性能較好的像素聚類技術(shù)——slic法，聚類后的超像素不僅內(nèi)部緊致，而且能夠有效保存顯著目標(biāo)邊緣，保證了最后生成的顯著圖平滑和較清晰地顯示目標(biāo)輪廓。

本發(fā)明所涉及的超像素區(qū)域特征提取選用了圖像超像素區(qū)域距圖像中心的質(zhì)心距離、局部lab顏色對比值和全局lab顏色對比值等對比特征，自然特征不再作為判斷區(qū)域是否屬于前/背景的依據(jù)。

本發(fā)明所涉及的llc準(zhǔn)則是魯棒的，常用于圖像分類。強(qiáng)調(diào)局部性原理的線性編碼不僅實(shí)現(xiàn)起來簡單易行，而且分類的準(zhǔn)確度高。

本發(fā)明所涉及的圖像區(qū)域粗分類根據(jù)llc編碼結(jié)果測定區(qū)域的顯著性概率，由此生成的知識先驗圖具有目標(biāo)突出、邊界清晰的優(yōu)勢。

本發(fā)明所涉及的圖像前景定位通過背景先驗圖消除知識先驗圖中存在的背景噪聲，但仍可以保證知識先驗圖目標(biāo)突出、邊界清晰的優(yōu)勢不被破壞，可為高效的顯著性檢測方法——圖流形排序提供優(yōu)勢前景查詢，促使生成的顯著圖在鄰域顯著性光滑的基礎(chǔ)上能保證更為清晰的前景邊界并減少噪聲影響。

為說明本發(fā)明涉及的使用llc準(zhǔn)則定位圖像前景的方法，結(jié)合實(shí)施例及附圖闡述如下：

圖1為本發(fā)明通過使用llc準(zhǔn)則定位圖像前景的方法的總流程圖。本方法通過8個基本步驟實(shí)現(xiàn)碼本生成、待測圖像區(qū)域劃分及特征提取、使用llc準(zhǔn)則對每個過分割圖像區(qū)域進(jìn)行稀疏編碼、圖像區(qū)域粗分類和圖像前景定位等，包括：

（一）從標(biāo)準(zhǔn)測試集中抽樣n幅圖像，對每一幅圖像使用slic算法將原圖像分割成n個（n的值為200個左右）超像素，同時從標(biāo)準(zhǔn)測試集中提取當(dāng)前圖像對應(yīng)的真值標(biāo)注圖，按照slic分割結(jié)果映射并分割真值標(biāo)注圖。依據(jù)公式（1）將僅包含前景像素或僅包含背景像素的超像素區(qū)域納入備選圖像區(qū)域樣本，并標(biāo)定該圖像區(qū)域樣本屬于前景亦或背景，剔除掉既包含前景像素又包含背景像素的超像素區(qū)域；

（二）提取各個超像素區(qū)域的距圖像中心的質(zhì)心距離、局部lab顏色對比值和全局lab顏色對比值等對比特征，組成表示區(qū)域樣本集的特征矩陣，用公式（2）和（3）表示并存放；

（三）使用k-means聚類算法將對比特征矩陣中的個區(qū)域樣本聚類為k個中心，其中k的選取需滿足公式（4），且可達(dá)到；

（四）使用聚類后的k個中心及其標(biāo)簽構(gòu)成llc碼本；

（五）輸入一幅待測圖像，使用slic算法將該圖像分割成n個（n的值為200個左右）超像素，對每一個超像素區(qū)域提取其距圖像中心的質(zhì)心距離、局部lab顏色對比值和全局lab顏色對比值等對比特征，組成表示該超像素區(qū)域的特征向量，使用公式（5）和（6）表示的改進(jìn)的llc準(zhǔn)則對該超像素區(qū)域進(jìn)行編碼，設(shè)定非零編碼系數(shù)個數(shù)kn1滿足，獲得一個k維的編碼向量；

（六）按照編碼向量和標(biāo)定向量依據(jù)公式（7）計算每個圖像超像素區(qū)域的粗顯著性概率值，歸一化待測圖像中所有超像素區(qū)域的粗顯著性概率值得到知識先驗圖；

（七）按照背景優(yōu)先的圖流形排序法[c.yang,l.zhang,h.lu,etal.,saliencydetectionviagraph-basedmanifoldranking,”in:ieeeconf.oncomputervisionandpatternrecognition(cvpr),2013,pp.3166-3173]依據(jù)公式（8）和（9）獲得背景先驗圖；

（八）將背景先驗圖和知識先驗圖按照公式（10）融合，獲得較為精準(zhǔn)的圖像前景定位圖。

注：歸一化過程按照公式（11）計算；

超像素區(qū)域樣本篩選：

（1）

其中為第i幅抽樣圖像被納入的第t個區(qū)域樣本，該樣本來源于第i幅抽樣圖像的第j個超像素區(qū)域；表示真值標(biāo)注圖中對應(yīng)該區(qū)域的平均值，其值為1時說明屬于前景，用指示，值為0時說明該區(qū)域?qū)儆诒尘埃?imgfile="dest_path_image012a.gif"wi="36"he="22"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>指示。

表示區(qū)域樣本集的特征矩陣：

（2）

其中，mi為第i幅抽樣圖像被選入的區(qū)域樣本個數(shù)。

超像素區(qū)域特征向量：

（3）

其中，表示來源于歸一化后的同一幅圖像的區(qū)域樣本的特征，歸一化過程僅在同一幅圖像的區(qū)域樣本內(nèi)進(jìn)行。

聚類中心k的選擇：

（4）

本發(fā)明改進(jìn)的llc準(zhǔn)則：

（5）

其中，是待測超像素區(qū)域的對比特征向量，表示待測超像素區(qū)域與碼本各元素的距離向量：

（6）

超像素區(qū)域粗顯著性概率值：

（7）

其中和是分別對應(yīng)于編碼正例和反例的非負(fù)系數(shù)集，pn和nn分別為這兩個非負(fù)系數(shù)集中的元素個數(shù)。

圖流形排序計算顯著性：

（8）

其中μ值為0.99，wij為圖結(jié)構(gòu)的仿射矩陣元素，表示了兩個鄰接結(jié)點(diǎn)間的特征距離，標(biāo)記了度矩陣，是一個二值指示向量，為流形排序的查詢輸入，用來標(biāo)記查詢種子，*依次表示l-left、r-right、u-up、d-down，即圖像四個邊界。

背景先驗圖生成：

（9）

其中，表示hadamardmultiplication（按位乘法）。

（10）

其中，表示矩陣（或向量）間的對應(yīng)元素按位乘法。

歸一化公式：

（11）。