一種圖像分割算法
【專利摘要】一種使用圖論技術(shù)的圖像分割算法，其中，圖像的像素用圖的頂點(diǎn)表示。生成最小生成樹并根據(jù)形態(tài)學(xué)特性相繼去除樹的邊以留下生成森林，生成森林的樹與圖像的部分對(duì)應(yīng)。選擇要去除的邊可依賴于樹的能量函數(shù)和通過去除邊而生成的樹的能量函數(shù)。
【專利說明】一種圖像分割算法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理技術(shù)，特別涉及一種使用圖論技術(shù)的圖像數(shù)據(jù)的分割算法。
【背景技術(shù)】
[0002]分割在包括降噪和圖像及視頻數(shù)據(jù)壓縮的許多應(yīng)用中很有用，并且先前已經(jīng)提出了多種圖像分割算法。這些算法包括閾值、分水嶺算法、形態(tài)學(xué)尺度空間變換或篩選、區(qū)域分割及合并、聚類、頻域技術(shù)、以及包括運(yùn)動(dòng)估計(jì)的技術(shù)。然而，這些算法中很少(如果有的話)能夠使用低到中等的處理資源生成多分量圖像的高質(zhì)量等級(jí)分割。
[0003]本發(fā)明使用來自數(shù)學(xué)分支(即通常所說的圖論)的一些概念。以下是圖論中所用術(shù)語的筒要描述。
[0004]圖由可通過線(稱為邊)連接起來的點(diǎn)(稱為頂點(diǎn))組成。圖1中示出了圖的實(shí)例。
[0005]頂點(diǎn)的度是與其連接的邊的數(shù)量。在圖1中，頂點(diǎn)度的范圍為O到3。如果頂點(diǎn)具有度1，則其被稱為樹葉；圖1的圖具有三片樹葉。
[0006]邊和頂點(diǎn)都可具有與它們相聯(lián)系的數(shù)字或權(quán)重。這些權(quán)重可具有一些物理意義；例如，在頂點(diǎn)表示城鎮(zhèn)以及邊表示道路的圖中，邊權(quán)(edgeweight)可表示道路長(zhǎng)度。
[0007]圖G的子圖是其頂點(diǎn)為G的頂點(diǎn)的子集且其邊為G的邊的子集的圖。如果子圖具有G的所有頂點(diǎn)，則其生成(span)G。G中的路徑是每一邊均與前一邊共享頂點(diǎn)的不同邊的集合。對(duì)于更精確的定義，可參看Bollobas, Bela.Graph theory-an introductorycourse.Springer-Verlag, New York，1979。
[0008]樹是其中從任意給定的頂點(diǎn)到任何其它頂點(diǎn)正好有一條路徑的圖。森林是分離的一組樹。圖G的生成樹或生成森林是作為G的生成子圖的樹或森林。在邊加權(quán)的圖中，圖的最小生成樹(MST)(也被稱作最短或經(jīng)濟(jì)生成樹)是使該樹中邊權(quán)總和最小的生成樹。
[0009]存在用于查找邊加權(quán)圖的最小生成樹的已知算法。一種是Kruskal算法，其維持一組局部最小生成樹并重復(fù)添加其頂點(diǎn)在不同的生成樹中的最小權(quán)重(或最輕)邊。另一種是Prim算法，其從單個(gè)頂點(diǎn)開始，并且通過重復(fù)將連接該樹的最輕邊添加到該樹中還不存在的頂點(diǎn)，然后將該頂點(diǎn)添加到該樹中來建立樹。在下面更詳細(xì)描述的圖4和圖5中，圖5示出了圖4的最小生成樹。
[0010]現(xiàn)在考慮將圖論應(yīng)用到圖像中。圖的頂點(diǎn)可用于表示像素，而邊可用于表示像素的鄰接。在本文中，如果一個(gè)像素正好在另一個(gè)像素的上方、下方、左側(cè)、或右側(cè)，則兩個(gè)像素鄰接，因此具有連接它們的邊。這是鄰接的4連接定義；還可以使用6連接或8連接定義。通過4連接定義，可通過如圖2所示的圖表示圖像。不表示圖像邊界上的像素的每個(gè)頂點(diǎn)的度為4。注意，圖論中使用的詞“邊”與圖像中或圖像邊界上的邊的概念關(guān)系很小。
[0011]這種圖中的邊權(quán)可用于表示相鄰像素之間差的一些度量(measure)。例如，在亮度圖像中，邊權(quán)可被定義為兩個(gè)亮度值之間的絕對(duì)差。[0012]圖3示出了具有如圖所示的像素值的示例性5x4亮度圖像，以及圖4示出了表示該圖像的圖，其中，分配了等于相鄰像素值之間的絕對(duì)差的邊權(quán)。
[0013]MST可用作圖像分割算法的基礎(chǔ)?？梢钥闯?，如果從樹中去除一條邊，則將形成兩棵樹，該圖像范圍內(nèi)的每棵樹將描述連接的頂點(diǎn)子集，即，圖像的部分。因此，為了將圖像分成N個(gè)部分，需要從MST中去除N-1條邊。先前已經(jīng)提出選擇去除的邊僅是MST中的N-1條最大權(quán)重(或最重)邊。例如，為了將由圖5表示的圖像分成2個(gè)部分，需要去除加權(quán)4的邊，生成圖6所示的分割。
[0014]如果需要3個(gè)部分，則還要去除第二重的邊(權(quán)重為3);生成圖7所示的分割。
[0015]然而，發(fā)現(xiàn)該算法具有許多缺點(diǎn)。

【發(fā)明內(nèi)容】

[0016]本發(fā)明的目的在于提供一種圖像分割的改進(jìn)算法。
[0017]根據(jù)本發(fā)明的第一方面，提供了一種圖像分割的算法，其中，圖像的像素由圖的頂點(diǎn)表示，像素的鄰接由圖的邊表示，邊被分配表示相鄰像素之間不相似性的度量的權(quán)重，生成該圖的最小生成樹(或與其近似)，并相繼從最小生成樹去除邊以創(chuàng)建其樹與圖像部分對(duì)應(yīng)的生成森林，其中，要從生成森林中去除的邊的選擇依賴于該森林的頂點(diǎn)或邊的形態(tài)學(xué)特性。
[0018]本發(fā)明人指出的具體缺點(diǎn)是通過使用上述現(xiàn)有技術(shù)標(biāo)準(zhǔn)選擇邊所創(chuàng)建的部分的大小具有較大的不平衡。已經(jīng)發(fā)現(xiàn)在查找MST的現(xiàn)有技術(shù)過程中，來自原始圖的許多最重邊被去除，但經(jīng)常在樹的樹葉附近發(fā)現(xiàn)最重的殘留邊。這意味著重邊的去除經(jīng)常導(dǎo)致只具有一個(gè)像素的新的部分。
[0019]本發(fā)明通過使用在每個(gè)階段選擇從MST中去除哪條邊的新算法克服了現(xiàn)有技術(shù)的局限性。本發(fā)明的思想是使用邊的去除將生成合理大小的部分的可能性的度量。
[0020]優(yōu)選地，用于選擇邊的標(biāo)準(zhǔn)依賴于從邊到該邊所在樹的樹葉的距離的度量?？蛇x地，該標(biāo)準(zhǔn)可依賴于通過去除該邊所創(chuàng)建的兩棵樹。在一個(gè)實(shí)施例中，該標(biāo)準(zhǔn)可依賴于大小的度量，例如，使用頂點(diǎn)數(shù)來度量大小。在另一個(gè)實(shí)施例中，該標(biāo)準(zhǔn)可依賴于色含該邊的樹中的像素的函數(shù)與通過去除邊所創(chuàng)建的兩棵樹中像素函數(shù)值的總和之間的差。
[0021]這種新算法具有一些非常吸引人的特征。查找MST只需要中等的計(jì)算復(fù)雜度，并且執(zhí)行隨后的分割非常容易。不同于基于閾值的一些算法，可以精確地指定部分的數(shù)量。首先，該算法是完美分級(jí)的:分成給定數(shù)目部分的分割總是包含在分成更多部分的分割中。該算法還用于多分量圖像數(shù)據(jù)(例如，由R、G、B值描述的圖像)。在通過多于一個(gè)分量描述的圖像(例如，RGB圖像)中，邊權(quán)可以是這些分量之間的絕對(duì)或平方差的和、最大絕對(duì)差、或任何其它適當(dāng)?shù)亩攘俊?br> [0022]本發(fā)明還提供了適于執(zhí)行本文充分描述的算法的裝置，其在一個(gè)實(shí)施例中可包括數(shù)字電路。本發(fā)明可在數(shù)據(jù)壓縮算法和裝置以及其它圖像或視頻處理應(yīng)用中實(shí)施。
【專利附圖】

【附圖說明】
[0023]圖1是圖的實(shí)例；
[0024]圖2是作為圖的5x4圖像的表示；[0025]圖3是示例性小亮度圖像；
[0026]圖4是圖3的邊加權(quán)的圖表示；
[0027]圖5是圖4的最小生成樹；
[0028]圖6是圖5的分成兩部分的MST分割；
[0029]圖7是圖5的分成三部分的MST分割；
[0030]圖8示出了計(jì)算隔離中的連續(xù)階段；
[0031]圖9是圖5的隔離圖；
[0032]圖10示出了隔離和邊權(quán)的乘積；
[0033]圖11是使用隔尚處理將圖5分割為兩部分的分割；
[0034]圖12示出了頂點(diǎn)隔離圖；
[0035]圖13示出了邊隔離圖；
[0036]圖14示出了修改的隔離值和邊權(quán)的乘積；
[0037]圖15是使用隔離處理將圖5分割成三部分的分割；
[0038]圖16是示例性測(cè)試圖像；
[0039]圖17示出了使用所述現(xiàn)有技術(shù)的算法將圖16分割成64部分的嘗試性分割的結(jié)果;
[0040]圖18示出了使用所述現(xiàn)有技術(shù)的算法將圖16分割成4000部分的分割的結(jié)果；
[0041]圖19示出了使用本發(fā)明的實(shí)施例將圖16分割成64部分的分割的結(jié)果；
[0042]圖20示出了簡(jiǎn)化隔離計(jì)算；
[0043]圖21示出了使用本發(fā)明的可選實(shí)施例將圖16分割成64部分的分割結(jié)果；
[0044]圖22示出了基于能量計(jì)算的示例性算法中的第一階段；
[0045]圖23示出了基于能量計(jì)算的算法中的第二階段；
[0046]圖24示出了基于能量計(jì)算的算法中的第三階段；以及
[0047]圖25示出了基于能量計(jì)算的算法中的第四階段。
【具體實(shí)施方式】
[0048]可以在分割的每個(gè)階段計(jì)算圖像中每個(gè)像素的新特性(此處稱為“隔離(seclusion) ”)?？紤]到樹的樹葉被“暴露”，我們斷定在某種意義上“遠(yuǎn)”離樹葉的頂點(diǎn)是“隔離的”。從而隔離是頂點(diǎn)隔離的程度。
[0049]可以通過以下算法計(jì)算樹或森林的隔離:
[0050].將當(dāng)前隔離值S設(shè)為O
[0051].當(dāng)存在剩余在森林中的邊時(shí):
[0052]O 增加 S
[0053]O將所有樹葉頂點(diǎn)的隔離設(shè)為S
[0054]O去除所有樹葉頂點(diǎn)和與它們連接的邊
[0055].如果剩余一個(gè)頂點(diǎn)，則將其隔離設(shè)為S+1
[0056]圖8示出了怎樣為圖5的圖中的每個(gè)像素計(jì)算隔離。在每個(gè)階段，已經(jīng)被去除的樹葉被涂成白色。
[0057]我們已經(jīng)描述了怎樣計(jì)算樹或森林中所有頂點(diǎn)的隔離?？梢愿鶕?jù)其兩個(gè)頂點(diǎn)的隔離(例如，兩個(gè)隔離值的最小值)定義邊的隔離。在圖9中示出了圖5的邊的隔離圖。
[0058]可選地，可以使用上述隔離算法的修正版本直接計(jì)算邊的隔離值。
[0059]為了選擇要去除的邊，例如通過乘法結(jié)合原始邊權(quán)和邊隔離值。圖10示出了原始邊權(quán)和隔離圖的乘積。
[0060]為了將圖像分割成2個(gè)部分，可選擇具有結(jié)合值18的邊，生成圖11所示的分割。為了繼續(xù)該分割過程，重新計(jì)算圖11中示出的森林的隔離圖。圖12中示出了生成的頂點(diǎn)隔尚圖，圖13中不出了邊隔尚圖。圖14不出了新隔尚值和邊權(quán)的乘積。
[0061]經(jīng)常出現(xiàn)當(dāng)使用整數(shù)處理時(shí)存在關(guān)于下一個(gè)最高邊值的選擇不確定的情況。如果我們權(quán)衡有利于更高的隔離的并列的邊值，我們將選擇兩個(gè)值為8的邊的左側(cè)，并且得到圖15中所示的分割。
[0062]以上實(shí)例說明了如何使用隔離圖幫助確保MST分割避免在過程的早期階段生成非常小的部分。當(dāng)然在附加到隔離上的重要性和削減重邊處的森林的重要性之間存在折衷。這種折衷可以反映在結(jié)合隔離和邊權(quán)的函數(shù)的選擇中。
[0063]可將隔離看作“一維”的度量，因?yàn)槠涔烙?jì)從邊或頂點(diǎn)到樹的樹葉的距離。隔離過程的簡(jiǎn)單修改可用于度量頂點(diǎn)的數(shù)目，即，通過去除邊產(chǎn)生的兩棵樹的“面積”。在這種修改中，通過將與正被去除的樹葉相聯(lián)系的量與連接這些樹葉的頂點(diǎn)相加來累加度量的量。
[0064]在上述的隔離度量或修改度量中，遞歸過程還可包括累加邊權(quán)自身，使得可以直接計(jì)算加權(quán)隔離值。因而不需要將隔離值乘以邊權(quán)以用于選擇要去除的邊，而僅僅最大化加權(quán)的度量。
[0065]現(xiàn)在將給出在分割實(shí)際圖像中的隔離處理的優(yōu)點(diǎn)的說明。圖16示出了來自下變頻為360x288像素的測(cè)試幻燈片的EBU標(biāo)準(zhǔn)集的“形式池(formal pond) ”圖像的亮度分量。圖17和圖18示出了分別使用上述現(xiàn)有技術(shù)MST算法試圖將該圖像分割成64和4，000部分所得到的部分邊界，而圖19示出了使用具有上述隔離處理的MST算法分割成64部分的結(jié)果。
[0066]不需要精確計(jì)算隔離圖。例如，因?yàn)樵撎幚碜裱鈻艗呙枘Ｊ?pattern)，所以可以通過“原地”從森林中去除樹葉獲得隔離圖的良好近似。在圖20中示出了該縮短的過程。
[0067]這種簡(jiǎn)化是非對(duì)稱且必然是不完美的，但是在特定實(shí)施例中對(duì)算法的整體性能影響很小。例如，圖21示出了與用在圖19中的“正確”隔離處理相比的這種簡(jiǎn)化對(duì)將“形式池”分隔成64區(qū)域的影響。
[0068]類似的筒化可用于前面描述的隔離度量的修改版本。
[0069]還可以通過查找MST的近似來減少處理時(shí)間。例如，在Prim算法操作期間，如果根據(jù)一些標(biāo)準(zhǔn)(例如，基于預(yù)先計(jì)算的邊權(quán)的分布)，認(rèn)為其權(quán)重“足夠小”，則可以添加邊，因此不需要在每個(gè)階段搜索整棵樹以查找鄰接邊的最小權(quán)重。
[0070]現(xiàn)在將描述本發(fā)明進(jìn)一步的改進(jìn)。在分割過程的給定階段，隔離值和邊權(quán)的組合使用已被用于確定從森林中去除哪條邊。這個(gè)決定可認(rèn)為包括兩部分:確定從森林中的哪棵樹中去除邊，以及確定從樹中去除哪條邊。在本發(fā)明的優(yōu)選實(shí)施例中，該樹的其它容易地可度量特性可用于構(gòu)成決定的第一部分，然后本發(fā)明本身的算法可用于構(gòu)成決定的第二部分。例如，可以選擇具有最高的總的或平均邊權(quán)的樹，或采用具有最多頂點(diǎn)的樹、或者一些其它度量或度量的組合。這種實(shí)施例具有兩個(gè)優(yōu)點(diǎn)。第一個(gè)優(yōu)點(diǎn)是當(dāng)決定分離哪棵樹時(shí)可以考慮附加信息。第二個(gè)優(yōu)點(diǎn)是只需要為選定的樹計(jì)算隔離值。
[0071]可以看出，通常部分地通過上述計(jì)算隔離過程，獲得只具有兩片樹葉的簡(jiǎn)單樹。上述過程的剩余過程僅僅相繼去除這兩片樹葉并增加當(dāng)前的隔離值。相反，在一個(gè)實(shí)施例中，當(dāng)獲得具有兩片樹葉的簡(jiǎn)單樹時(shí)停止該過程，并將當(dāng)前的隔離值分配給樹的其余部分。這種修改可以加速隔離計(jì)算，或者至少避免必須回到用于處理兩葉樹的第二算法。在一些情況下，這種可選算法可引起主觀性能的改善，因?yàn)槠湎拗屏伺c樹中心區(qū)域中的邊權(quán)相比似乎對(duì)隔離過份的強(qiáng)調(diào)。
[0072]在又一實(shí)施例中，可在樹邊的去除期間計(jì)算第二或可選量或度量。該第二或可選量或度量是邊的去除減小的樹的一些函數(shù)的量。
[0073]如果樹T的函數(shù)被定義為f⑴，并且邊e的去除將樹T分割成兩棵樹U和V，則邊的去除減小的函數(shù)的量可由以下表達(dá)式給出:
[0074]f (T) -f {U) -f {V}
[0075]適當(dāng)?shù)暮瘮?shù)可表示樹的“能量”。這種能量函數(shù)的實(shí)例為
[0076]
【權(quán)利要求】
1.一種圖像分割算法，其中，用圖的頂點(diǎn)表示所述圖像的像素，用所述圖的邊表示像素的鄰接，為所述邊分配表示相鄰像素之間的不相似性的度量的權(quán)重，生成所述圖的最小生成樹(或與其近似)，并且相繼從所述最小生成樹中去除邊以創(chuàng)建生成森林，所述森林的樹對(duì)應(yīng)于所述圖像的部分， 其中，選擇要從所述生成森林去除的邊依賴于對(duì)所述森林的所述頂點(diǎn)或所述邊計(jì)算的形態(tài)學(xué)特性。
2.根據(jù)權(quán)利要求1所述的算法，其中，用于選擇邊的度量依賴于從所述邊到所述邊所在的樹的樹葉的距離的度量。
3.根據(jù)權(quán)利要求1所述的算法，其中，用于選擇邊的度量依賴于通過去除所述邊而創(chuàng)建的兩棵樹的度量。
4.根據(jù)權(quán)利要求3所述的算法，其中，邊的所述度量是包含所述邊的所述樹中的所述像素的函數(shù)與通過去除所述邊而創(chuàng)建的所述兩棵樹中的所述像素的所述函數(shù)的值的總和之間的差。
5.根據(jù)權(quán)利要求4所述的算法，其中，所述函數(shù)是能量函數(shù)。
6.根據(jù)權(quán)利要求5所述的算法，其中，樹中像素的能量值與所述樹中的像素的所述像素值和所述樹的平均像素值之間的差的平方相關(guān)。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的算法，其中，通過遞歸算法計(jì)算樹中的每條邊的所述度量。
8.根據(jù)權(quán)利要求7所述的算法，其中，所述度量被設(shè)置成連接所述樹的樹葉的第一組邊的初始值，其中，對(duì)于連接所述第一組邊的后續(xù)一組邊增加或累加所述度量，以及其中，重復(fù)所述處理直至所有的邊都被考慮到。
9.根據(jù)權(quán)利要求7或8所述的算法，其中，所述度量被設(shè)置成連接所述樹的樹葉的邊的初始值，臨時(shí)去除那些邊，增加或累加所述度量并重復(fù)所述過程直至沒有剩余邊。
10.一種圖像分割算法，其中，用圖的頂點(diǎn)表示所述圖像的像素，用所述圖的邊表示像素的鄰接，為所述邊分配表示相鄰像素之間的不相似性的度量的權(quán)重，生成所述圖的最小生成樹(或與其近似)，并且相繼從所述最小生成樹中去除邊以創(chuàng)建生成森林，所述森林的樹對(duì)應(yīng)于所述圖像的部分， 其中，選擇從所述生成森林去除的邊依賴于通過去除邊而創(chuàng)建的兩棵樹的度量。
【文檔編號(hào)】G06T7/00GK103578096SQ201210259576
【公開日】2014年2月12日 申請(qǐng)日期:2012年7月25日 優(yōu)先權(quán)日:2012年7月25日
【發(fā)明者】袁樺, 張玉 申請(qǐng)人:上海瀾晶數(shù)碼科技有限公司