專(zhuān)利名稱(chēng)：基于核傳遞的半自動(dòng)圖像分割方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理領(lǐng)域，特別是涉及一種基于核傳遞的半自動(dòng)圖像分割方法，可用于目標(biāo)提取和目標(biāo)檢測(cè)。
背景技術(shù)：
圖像分割是計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理中最基本的問(wèn)題之一，它是對(duì)圖像進(jìn)一步分析、識(shí)別、跟蹤和理解的基礎(chǔ)。圖像分割將圖像中的像素按照不同的視覺(jué)特征或者語(yǔ)義分割成不同的子集。具體的講，圖像分割是為圖像中的每個(gè)像素指定一個(gè)標(biāo)號(hào)的過(guò)程，其目的是使具有相似視覺(jué)特征或相同語(yǔ)義的像素具有相同的標(biāo)號(hào)。同時(shí)，研究圖像分割具有十分重要的意義，它可廣泛應(yīng)用于半自動(dòng)圖像檢索，視頻會(huì)議，2D轉(zhuǎn)3D技術(shù)，目標(biāo)檢測(cè)與跟蹤及 醫(yī)學(xué)圖像分析等眾多領(lǐng)域。按照分割過(guò)程中用戶(hù)是否參與，可將圖像分割分為全自動(dòng)圖像分割、半自動(dòng)圖像分割和人工圖像分割三種類(lèi)型。全自動(dòng)分割包含一些常見(jiàn)的分割算法，如閾值分割、區(qū)域增長(zhǎng)分割等。由于圖像的多樣性以及場(chǎng)景的復(fù)雜性，使得這些算法難以得到準(zhǔn)確的分割結(jié)果，邊緣準(zhǔn)確性不好。半自動(dòng)圖像分割需要用戶(hù)的參與，它是一種操作者和計(jì)算機(jī)協(xié)同完成圖像分割過(guò)程的方法，充分地利用了計(jì)算機(jī)的強(qiáng)大運(yùn)算能力和人提供的先驗(yàn)信息。這種分割方法的優(yōu)點(diǎn)體現(xiàn)在以下兩個(gè)方面第一，精度高，在減少人工干預(yù)的情況下，該方法既彌補(bǔ)了自動(dòng)分割的不足，又比手動(dòng)分割要精確的多；第二，可重復(fù)性，對(duì)一幅圖像進(jìn)行分割時(shí)，分割的結(jié)果不會(huì)因?yàn)椴僮髡叩牟煌头指钸^(guò)程的不同而產(chǎn)生差異。傳統(tǒng)的半自動(dòng)圖像分割方法大多是基于Graph Cut的交互式分割方法，該方法可以尋找到全局最優(yōu)的分割結(jié)果，但是對(duì)于一些背景和前景目標(biāo)顏色相似的圖像，該方法就失效了。Rother 等人于 2004 年提出了 Grab Cut, (Rother, C. , V. Kolmogorov and
A.Blake. Grabcut Interactive foreground extraction using iterated graph cuts.ACM Transactions on Graphics (TOG) 3 :309-314. 2004)該方法在用戶(hù)操作方面極大的改進(jìn)了半自動(dòng)圖切方法，只需要用戶(hù)標(biāo)注出包含感興趣目標(biāo)的最小矩形框，既可獲得分割結(jié)果，但是目標(biāo)邊緣保持不好。Y.Li等人為了降低圖切方法在半自動(dòng)圖像分割上的復(fù)雜度，于2004年提出了用分水嶺預(yù)分割圖像獲得超像素，(Li, Y. , et al. Lazy snapping.ACM Transactions on Graphics (ToG) 3 :303-308. 2004 )該方法用分水嶺過(guò)分割獲得的區(qū)域，即超像素作為處理單元，再使用圖切的方法，獲得半自動(dòng)的分割結(jié)果。它在降低復(fù)雜度的同時(shí)，使得分割結(jié)果依賴(lài)于分水嶺的過(guò)分割結(jié)果，缺乏區(qū)域一致性。Ning等人于2010年提出了基于最大相似度的區(qū)域合并的半自動(dòng)圖像分割方法，(Ning，J.，et al.，Interactive image segmentation by maximal similarity based region merging.Pattern Recognition, 43 (2) p. 445-456. 2010.)該方法采用均值漂移預(yù)處理圖像獲得超 像素，再采用區(qū)域增長(zhǎng)合并的方式獲得分割結(jié)果，迭代的過(guò)程增加了算法復(fù)雜度。
針對(duì)半自動(dòng)圖像分割中的區(qū)域分割不夠準(zhǔn)確，翟書(shū)娟等人于2010年公開(kāi)了基于活動(dòng)輪廓模型的交互式圖像分割修正方法，(西安電子科技大學(xué).基于測(cè)地線(xiàn)活動(dòng)區(qū)域模型的交互式圖像分割修正方法[P]·中國(guó)CN101714253A. 2010-05-26.)該方法能一定程度的提高圖像中感興趣區(qū)域分割結(jié)果的區(qū)域一致性和邊緣準(zhǔn)確性，但其性能與初始曲線(xiàn)的確
定有關(guān)。上述這些方法盡管提高了圖像分割性能，但仍然存在一些問(wèn)題1)不能保持超像素?cái)?shù)據(jù)點(diǎn)間的一致性；2)感興趣目標(biāo)邊緣不夠清晰；3)沒(méi)有經(jīng)過(guò)學(xué)習(xí)圖像數(shù)據(jù)本身的特性，使得這些方法不具有全局特性，分割結(jié)果不穩(wěn)定。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)上述現(xiàn)有技術(shù)的不足，提出一種基于核傳遞的半自動(dòng)圖像分割方法，以保持圖像數(shù)據(jù)一致性，獲得清晰的目標(biāo)邊緣，提高分割結(jié)果的穩(wěn)定。
實(shí)現(xiàn)本發(fā)明目的的技術(shù)思路是采用均值漂移方法，將圖像預(yù)分割成多個(gè)超像素，計(jì)算每個(gè)超像素的顏色直方圖，構(gòu)造圖像的相似度矩陣，標(biāo)記前景和背景超像素，得到成對(duì)約束集合和種子核矩陣，按照核傳遞方法的映射關(guān)系將其映射到一個(gè)核空間，并獲得核矩陣，采用k均值聚類(lèi)方法對(duì)核矩陣按行進(jìn)行分類(lèi)標(biāo)記，輸出并顯示邊緣清晰的前景目標(biāo)圖像。其具體步驟包括如下I)輸入一幅圖像，采用均值漂移方法將該圖像預(yù)分割為超像素集^ = ，i =1，2，. . .，n，其中Si為預(yù)分割輸入圖像所得的第i個(gè)超像素，η表示S所含超像素的個(gè)數(shù)；2)提取每一個(gè)超像素的16級(jí)量化的顏色直方圖，構(gòu)成超像素顏色直方圖特征集 = ，其中hist為第i個(gè)超像素的16級(jí)量化直方圖，16級(jí)量化直方圖橫坐標(biāo)所包
含的顏色種類(lèi)為4096 ；3)依據(jù)超像素直方圖特征集SF,采用Bhattacharyya系數(shù)公式計(jì)算任意兩個(gè)超像
4096
素間的相似性系數(shù) 馬=Yj^histXx(Mstj)u，u為顏色特征直方圖的第u類(lèi)，獲得大小為
W=I
nXn 的相似度矩陣 W = (WijI，i = I, 2, . . . , n, j = I, 2, . . . , η ；4)在預(yù)分割之后的圖像上，通過(guò)用戶(hù)交互操作對(duì)超像素進(jìn)行標(biāo)記，即將前景目標(biāo)超像素標(biāo)記為1，背景超像素標(biāo)記為0，生成一個(gè)大小為num_seedXl的標(biāo)記向量LS = {lSi}:-seed，Isi e {0,1}，其中Isi表示第i個(gè)種子超像素的標(biāo)記，num_seed為標(biāo)記的種子超像素的個(gè)數(shù)，并由num_seed個(gè)種子超像素構(gòu)成種子超像素集合= {seX-seed，其中Sei為標(biāo)記的第i個(gè)種子超像素；5)查看種子超像素集合Sseed中種子超像素Sei和sei+1的標(biāo)記Isi和lsi+1,如果Sei與sei+1的標(biāo)記Isi和lsi+1相同，則用Sei與sei+1在超像素顏色直方圖特征集SF中對(duì)應(yīng)的位置構(gòu)造must-link約束集合M ;否則,用Sei與sei+1在超像素顏色直方圖特征集SF中對(duì)應(yīng)的位置構(gòu)造cannot-link約束集合C ；6)將成對(duì)約束信息must-link約束集合M, cannot-link約束集合C,以及相似度矩陣W，按照核傳遞方法的映射關(guān)系映射到一個(gè)核空間，得到大小為nXn的核矩陣R ；7)采用k均值聚類(lèi)方法，把核矩陣R按行聚為兩類(lèi)，得到聚類(lèi)標(biāo)記向量Z = UtrIi e {0,1},其中，Ii為第i個(gè)超像素Si的標(biāo)記；8)將標(biāo)記向量中標(biāo)記為O的超像素的顏色設(shè)置為白色,作為背景；將標(biāo)記為I的超像素保持原始圖像的顏色，作為分割出來(lái)的前景目標(biāo)，輸出并顯示結(jié)果圖像。本發(fā)明與現(xiàn)有技術(shù)相比具有以下特點(diǎn)I.本發(fā)明由于選擇均值漂移算法進(jìn)行圖像預(yù)分割，獲得超像素集合，使每個(gè)超像素都具有相同的顏色特征；本發(fā)明在超像素的基礎(chǔ)上分割圖像，不僅能有 效保持前景目標(biāo)的邊緣，而且降低了要處理的圖像數(shù)據(jù)，提高了計(jì)算效率。2.本發(fā)明由于使用具有統(tǒng)計(jì)特性的量化顏色直方圖表示超像素，提高了超像素表不的準(zhǔn)確性，有效提聞了分割精度。3.本發(fā)明由于利用Bhattacharyya系數(shù)公式計(jì)算任意兩個(gè)超像素之間的相似性，與其它相似性測(cè)度方法相比，它的誤匹配率低，能更有效的度量?jī)蓚€(gè)超像素的相似性，Bhattacharyya系數(shù)越大,則表明兩個(gè)超像素相似性越高。4.本發(fā)明由于采用核傳遞方法將成對(duì)約束信息傳遞到整個(gè)核空間，有效的保持了數(shù)據(jù)的一致性，提高了分割精度。仿真實(shí)驗(yàn)結(jié)果表明，本發(fā)明結(jié)合均值漂移算法和核傳遞方法有效進(jìn)行圖像分割，能獲得具有清晰目標(biāo)邊緣的前景圖像，是一種魯棒性良好的半自動(dòng)圖像分割方法。


圖I是本發(fā)明的流程圖；圖2是本發(fā)明仿真試驗(yàn)中使用的四幅原始測(cè)試圖像；圖3是用現(xiàn)有方法和本發(fā)明在第一幅測(cè)試圖像上的分割結(jié)果；圖4是用現(xiàn)有方法和本發(fā)明在第二幅測(cè)試圖像上的分割結(jié)果；圖5是用現(xiàn)有方法和本發(fā)明在第三幅測(cè)試圖像上的分割結(jié)果；圖6是用現(xiàn)有方法和本發(fā)明在第四幅測(cè)試圖像上的分割結(jié)果。
具體實(shí)施例方式以下參照附圖對(duì)本發(fā)明的具體實(shí)現(xiàn)及效果作進(jìn)一步詳細(xì)表述參照?qǐng)DI，本發(fā)明的實(shí)施步驟如下步驟1，輸入一幅圖像，并將其預(yù)分割成超像素集合S。首先，輸入一幅圖像，并采用均值漂移算法對(duì)其進(jìn)行圖像預(yù)分割，得到每一個(gè)像素點(diǎn)的標(biāo)號(hào)；然后，將具有相同標(biāo)號(hào)的像素集合稱(chēng)為一個(gè)超像素，得到具有η個(gè)超像素的集合，分別標(biāo)識(shí)為Si, i = 1，2，...，11，獲得預(yù)分割圖像的超像素集^ = [^11，其中Si為均值漂移方法預(yù)分割輸入圖像所得的第i個(gè)區(qū)域，η表示S所含超像素的個(gè)數(shù)。所述均值漂移方法參見(jiàn)文獻(xiàn)D.Comaniciu, P. Meer, “Mean shift a robustapproach toward feature space analysis,，，IEEE Transactions on Pattern Analysisand Machine Intelligence, vol. 24, no. 5, pp.603-619,2002。本步驟對(duì)輸入圖像進(jìn)行圖像預(yù)分割不限于均值漂移方法，也可以采用分水嶺方法獲得輸入圖像的超像素集。步驟2，計(jì)算每個(gè)超像素的顏色直方圖，獲得顏色直方圖特征集。
提取每一個(gè)超像素的16級(jí)量化顏色直方圖，構(gòu)成超像素顏色直方圖特征集 = ，其中hist為第i個(gè)超像素的16級(jí)量化直方圖，16級(jí)量化直方圖橫坐標(biāo)所包
含的顏色種類(lèi)為4096個(gè)。步驟3，計(jì)算相似度矩陣W。依據(jù)超像素直方圖特征集SF,采用Bhattacharyya系數(shù)公式計(jì)算任意兩個(gè)超像素
間的相似性系數(shù)
權(quán)利要求
1.一種基于核傳遞的半自動(dòng)圖像分割方法，其特征在于，包括如下步驟 1)輸入一幅圖像，采用均值漂移方法將該圖像預(yù)分割為超像素集
2.根據(jù)權(quán)利要求I所述的方法，其特征在于所述步驟4)中的用戶(hù)交互操作，是按如下步驟進(jìn)行 4a)通過(guò)鼠標(biāo)標(biāo)記前景目標(biāo)超像素在預(yù)分割后的圖像上，用戶(hù)先通過(guò)鼠標(biāo)選擇隨后要進(jìn)行標(biāo)記的類(lèi)型，即前景類(lèi)型，然后對(duì)前景目標(biāo)超像素進(jìn)行標(biāo)記；4b)通過(guò)鼠標(biāo)標(biāo)記背景超像素在預(yù)分割后的圖像上，用戶(hù)先通過(guò)鼠標(biāo)選擇隨后要進(jìn)行標(biāo)記的類(lèi)型，即背景類(lèi)型，然后對(duì)背景超像素進(jìn)行標(biāo)記，得到帶有前景標(biāo)記和背景標(biāo)記的圖像。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于步驟7)所述的采用k均值聚類(lèi)方法，把核矩陣R按行聚為兩類(lèi)，按照如下步驟進(jìn)行 7a)將大小為nXn的核矩陣R的每一行視為一個(gè)數(shù)據(jù)點(diǎn)，得到n個(gè)數(shù)據(jù)點(diǎn)(X1,X2, . . . Xn)，其中Xi為核矩陣R第i行，對(duì)應(yīng)于第i個(gè)超像素，i = 1，2，. . .，n ; 7b)從(X1, X2, . . . Xn)中選取一個(gè)前景目標(biāo)超像素對(duì)應(yīng)數(shù)據(jù)點(diǎn)Xi和一個(gè)背景超像素對(duì)應(yīng)數(shù)據(jù)點(diǎn)Xp用Xi作為第一類(lèi)數(shù)據(jù)點(diǎn)集$的聚類(lèi)中心M11，用Xj作為第二類(lèi)數(shù)據(jù)點(diǎn)集劣的聚類(lèi)中心M丨，其中 i = l,2,..., num_seed, j = I, 2, , num_seed, i ^ j,根據(jù)歐氏距離公式，當(dāng)k = I時(shí)，計(jì)算第I次分類(lèi)時(shí)每一個(gè)數(shù)據(jù)點(diǎn)Xi到兩個(gè)聚類(lèi)中心M11 和的距離 M\ )^d{Xt M\)
全文摘要
本發(fā)明公開(kāi)一種基于核傳遞的半自動(dòng)圖像分割方法，主要解決現(xiàn)有交互式圖像分割方法不能保持?jǐn)?shù)據(jù)一致性，分割結(jié)果不穩(wěn)定和邊緣不清晰的問(wèn)題。其實(shí)現(xiàn)步驟為輸入一幅待分割圖像，利用均值漂移方法獲得輸入圖像的超像素集，計(jì)算超像素顏色直方圖特征集；采用Bhattacharyya系數(shù)公式構(gòu)造相似度矩陣W；用戶(hù)在預(yù)分割之后的圖像上交互操作，得到種子超像素集合，構(gòu)造must-link約束集合M和cannot-link約束集合C；利用核傳遞方法將約束信息M和C傳遞到整個(gè)核空間，獲得核矩陣R；由k均值聚類(lèi)方法對(duì)核矩陣R聚類(lèi)，獲得聚類(lèi)標(biāo)記向量，輸出顯示分割結(jié)果。本發(fā)明具有數(shù)據(jù)一致性好，分割結(jié)果穩(wěn)定，操作簡(jiǎn)單且邊緣清晰的優(yōu)點(diǎn)，可用于圖像檢索，2D轉(zhuǎn)3D技術(shù)，目標(biāo)檢測(cè)與跟蹤及醫(yī)學(xué)圖像分析。
文檔編號(hào)G06T7/00GK102663757SQ20121011845
公開(kāi)日2012年9月12日 申請(qǐng)日期2012年4月20日 優(yōu)先權(quán)日2012年4月20日
發(fā)明者侯彪, 公茂果, 劉娟, 朱孝華, 沈彥波, 焦李成, 鄭喆坤, 鞠軍委 申請(qǐng)人:西安電子科技大學(xué)