專利名稱：一種基于像素擴散的前景提取方法
技術領域：
本發(fā)明屬于計算機數(shù)字圖像處理技術領域，具體涉及一種快速的前景提取方法。
背景技術：
隨著人們文化需求的不斷增長，想象空間的不斷擴大，對視視覺感受的不斷重 視，人們在照片處理、海報制作和電影特技等方面的要求也不斷提高，經常需要把某個物 體從已有的圖像中提取出來，以更換到新的場景中，該過程便是前景提取操作。雖然采用 Photoshop等圖像編輯工具也可以實現(xiàn)前景提取效果，但是一方面，在物體邊緣比較復雜 時，前景提取的工作量過大，另一方面，現(xiàn)有的圖像編輯軟件無法處理毛絨的邊緣，比如動 物的毛發(fā)等。所以需要一定的前景提取算法來實現(xiàn)這一目標。在利用前景提取算法進行前景提取時，對于原始圖像中的一個未知像素p(x，y)， 其顏色可以表示為C = a F+(l-a )B(1)其中，C表示像素p的顏色，這是唯一可以從輸入圖像中直接獲得的。F表示(X， y)處前景的顏色，B表示(x，y)處背景的顏色。a可以理解為前景顏色的透明度，取值范 圍在0到1之間。至此，前景提取問題就轉化成為了已知C，而求a、F和B的問題。該問 題是已知1個方程，來求3個未知數(shù)，這是一個病態(tài)的問題，無疑給前景提取這一過程帶來 了巨大的挑戰(zhàn)?，F(xiàn)在一般的解決方案是由用戶在圖上標記出完全的前景、完全的背景和未 知區(qū)域。被標記過前景、背景和未知區(qū)域的圖像就稱之為trimap。目前，前景提取算法分為兩大類，一種是利用額外信息的方法，如文[1] [2]，另一 種是針對一幅靜止圖片的前景提取算法，大致又分為3類基于樣本選取的前景提取算法、 通過定義像素間的相似度的前景提取算法和將這兩種思路結合起來的前景提取算法?；跇颖具x取的前景提取算法在估計未知像素的a時，利用的是該像素附近像 素的一些信息，比如顏色信息、空間信息等。常見的具有代表性的方法有貝葉斯前景提取 算法[3]和Ruzon and Tomasi' s Method[4]等。定義像素間的相似度的前景提取算法利 用了像素之間的連續(xù)性和相似性，具有代表性的方法有泊松前景提取算法[5]和隨機游 走前景提取算法[6]。這兩類方法，前者更偏向單個像素的計算，而后者更偏向于像素之間 的關系。2007年，Wang Jue和Michael F. Cohen將這兩者結合起來提出了魯棒性前景提取 算法[7]，該算法是目前國際上最為先進并且實用的前景提取方法。該算法已在Photoshop 圖像編輯軟件中得到應用。魯棒性前景提取算法首先定義一個稱作置信度的標準，來判斷前景背景樣本對的 優(yōu)劣，從而選取好的前景背景樣本對，進而估計出前景。在計算置信度的時候，是通過計算 未知像素和前景背景像素在顏色空間上的距離得到的。第二步利用隨機游走前景提取算法 對估計的結果進行優(yōu)化，從而得到最終的結果。優(yōu)化的目標有兩個第一，置信度較高的像 素值的a值應該得到充分的尊重；第二，a值應該比較平滑，從而容忍圖像中的噪聲。但是，目前的前景提取算法如魯棒性前景提取算法都是在不同的步驟分別利用樣本選取和定義像素間相似度的，這樣做大大降低了前景提取的速度。

發(fā)明內容
本發(fā)明的目的在于提出一種快速的前景提取方法。本發(fā)明提出的快速前景提取方法，是通過定義相鄰像素CI值的內在關系把樣本 選取和定義像素間的相似度這兩步結合一步，同時對未知像素的樣本選取預取樣的策略， 從而很大程度地提高了速度。本發(fā)明的技術特點在于1.本發(fā)明在求解每個未知像素的a值時，采取的是由內向外的逐步擴散的求解 策略，該策略可以充分利用像素的連續(xù)性，從而替代隨機游走前景提取算法，省去了 a值 優(yōu)化這一步，進而提高了算法的運行速度。2.本發(fā)明在為每個未知像素選取背景樣本點時，采取的是預分配的策略。原本每 計算一個未知像素a值，就需要遍歷一遍圖像，采取預分配的策略后，只需要遍歷一遍圖 像，從而在速度上得到了很大的提高。3.本發(fā)明在求解每個未知像素的a值時，不同于魯棒性前景提取算法，而是通過 假設相鄰未知像素的a值存在一定的內在關系。這樣做可以在不影響前景提取效果的前 提下減少樣本的選取，進而提高了算法的運行速度。本發(fā)明的方法流程圖如圖1所示，具體依次包括如下步驟1.輸入原圖像和對應的trimap2.根據(jù)輸入的trimap確定前景樣本點、背景樣本點和未知像素。具體的步驟如 下(1)遍歷找到下一個與未知像素相鄰的背景像素B，則B為一個背景樣本像素。(2)以像素B為圓心，X個像素為半徑，畫一個圓域。X可為12-18，如15、16等。(3)將像素B加入到圓域內各未知像素的背景樣本集，該像素的背景樣本集的大 小增加1。(4)判定是否有未被遍歷到的背景樣本像素，有則轉至步驟(1)，否則轉至步驟 (5)。(5)處理各未知像素的背景樣本集，為每個未知像素均勻地選取15個左右(如 12-18個)的背景樣本像素。3.選擇一個未知像素。4.計算該未知像素的每個前景背景樣本對的置信度。對于每個前景背景樣本對 (F、BJ)，F(xiàn)1為前景樣本像素的顏色，BJ為背景樣本像素的顏色，其置信度的計算方法如下
(2)其中的系數(shù)o =0.1。Rd(Fi,BJ),w(Fi)>w(BJ)如下計算
w(b^) = e文1| # — C || /
其中C為未知像素的顏色，在為根據(jù)這對樣本點估計出的a值，具體計算法方式如 下 隊表示當前的未知像素與所有前景樣本點顏色空間上的最小距離，即 mini( IF-Cl |) ;DB表示當前的未知像素與所有背景樣本點顏色空間上的最小距離，即 minj( |BJ-C| |)。5.選擇置信度最高的前景背景樣本對計算得到初步的a值。如圖3所示，設當 前計算a值的未知像素為Pj，相鄰的已計算a值的像素為Pi，這個a值是假設Pi即為前 景像素時得到的，記為Au。假設置信度最高的前景背景樣本對為(Fx，By)，Au的計算方法如 下 6.根據(jù)未知像素和相鄰已計算a值的像素假設的內在關系，計算得到未知像素 的最終a值。本發(fā)明定義并利用了這種內在關系，假設Pi的a值為cip則設定 其中，o ( )為本發(fā)明定義的關系，定義o (x) = x2。7.如果存在還未計算a值的未知像素，則轉到第3步，否則算法結束。本發(fā)明可以達到與前人相似的前景提取效果(魯棒性前景提取算法)，如圖4所 示，圖4的(a)圖為原圖，(b)圖為用戶輸入的trimap，(c)圖為前人提出的前景提取算法 的最好效果，(d)圖為本發(fā)明所得到的效果。可以看到，本發(fā)明的前景提取效果與魯棒性前 景提取結果相似，但時間上得到大幅度的提高。經在前景提取專用圖片集[8]中測試得到， 本發(fā)明平均比魯棒性前景提取算法快25倍。


圖1:本發(fā)明的流程圖。圖2 背景樣本點選取的流程圖。圖3 計算像素a值的示意圖。圖4 與前人算法(魯棒性前景提取算法)的比較。
具體實施例方式圖1為本發(fā)明的流程圖，具體為步驟1輸入原圖像和對應的trimap步驟2確定前景樣本點、背景樣本點和未知像素。步驟3選擇一個未知像素。步驟4計算該像素的每個前景背景樣本對的置信度。步驟5選擇置信度最高的前景背景樣本對計算得到初步的a值。
步驟6根據(jù)未知像素和相鄰已計算a值的像素假設的內在關系，計算得到未知像 素的最終a值。步驟7如存在還未計算a值的未知像素，則轉至步驟3，否則算法結束。圖2為本發(fā)明在預分配背景樣本像素的流程圖，具體為步驟21遍歷找到下一個與未知像素相鄰的背景像素B。步驟22以像素B為圓心，15個像素為半徑，畫一個圓域。步驟23將像素B加入到圓域內各未知像素的背景樣本集。步驟24判定是否有未被遍歷到的背景像素，有則轉至步驟21，否則轉至步驟25。步驟25處理各未知像素的背景樣本集，為每個未知像素選取15個左右的背景樣 本像素。引用資料[1] J. Sun, Y. Li, S. _B. Kang, and H. _Y. Shum, "Flash matting, ”ACM SIGGRAPH, pp.772-778,2006.[2]N. Joshi, ff. Matusik, and S. Avidan, "Natural video matting using camera arrays,”ACM SIGGRAPH, pp.779-786，2006.[3]Y. Y. Chuang, B. Curless, D. H. Salesin, and R. Szeliski, "A bayesian approach to digitalmatting，” IEEE CVPR，pp.264—271，2001.[4]M. Ruzon and C. Tomasi, "Alpha estimation in natural images,，，IEEE CVPR,pp.18-25，2000.[5] J. Sun, J. Jia, C. K. Tang, and H. Y. Shum, "Poisson matting, ” ACM SIGGRAPH, pp.315-321，2004.[6] L. Grady, T. Schiwietz, S. Aharon, and R. ffestermann, "Random walks for interactivealpha-matting, "VHP 2005，pp. 423—429，2005.[7] J. Wang and M. Cohen, "Optimized color samp ling for robust matting, ”IEEE CVPR,pp.1-8，2007.[8] C. Rhemann, C. Rother, J. Wang, M. Gelautz, P. Kohli and P. Rott, "A PerceptuallyMotivated Online Benchmark for Image Matting,，，IEEE CVPR, pp.1826-1833,2009.
權利要求
一種前景提取方法，其特征在于，利用像素本身的特性和像素之間的聯(lián)系，定義了相鄰像素α值的內在關系，具體步驟如下一、輸入原圖像和對應的trimap；二、根據(jù)輸入的trimap確定前景樣本點、背景樣本點和未知像素，對于每一個未知像素的背景樣本選取的步驟為(1)遍歷找到下一個與未知像素相鄰的背景像素B，則B為一個背景樣本像素；(2)以像素B為圓心，X個像素為半徑，畫一個圓域，X為12-18；(3)將像素B加入到圓域內各未知像素的背景樣本集，該像素的背景樣本集的大小增加1；(4)判定是否有未被遍歷到的背景樣本像素，有則轉至步驟(1)，否則轉至步驟(5)；(5)處理各未知像素的背景樣本集，為每個未知像素均勻地選取12-18個背景樣本像素；三、選擇一個未知像素；四、計算每個前景背景樣本對的置信度；五、選擇置信度最高的前景背景樣本對計算得到初步的α值；六、根據(jù)未知像素和相鄰已計算α值的像素假設的內在關系，計算得到未知像素的最終α值；七、如果存在還未計算α值的未知像素，則轉到第3步，否則算法結束。
2.根據(jù)權利要求1所述的前景提取方法，其特征在于，所述置信度的計算方法如下 (2)其中的系數(shù) )如下計算 其中C為未知像素的顏色，在為根據(jù)這對樣本點估計出的α值，具體計算法方式如下 (C-Bp-(Fi-B^) — Il戶—伊IPDf表示當前的未知像素與所有前景樣本點顏色空間上的最小距離，即mini(| IFi-Cl I)； Db表示當前的未知像素與所有背景樣本點顏色空間上的最小距離，即|BJ-C| |)。
3.根據(jù)權利要求2所述的前景提取方法，其特征在于，設當前計算α值的未知像素為 Pp相鄰的已計算α值的像素為Pi,這個α值是假SPi即為前景像素時得到的，記為Au， 假設置信度最高的前景背景樣本對為(Fx，BO，Aij的計算方法如下—{C - By)— (Fx - ffy)(7)
4.根據(jù)權利要求2所述的前景提取方法，其特征在于，假設&的α值為dp則設定 α j = α i · σ (Aij)(8)其中，O (· )定義的關系，即σ (χ) =X20
全文摘要
本發(fā)明屬于圖像處理技術領域，是一種快速的前景提取方法。具體為求解輸入圖像未知像素α值的一種方法。本發(fā)明定義并充分利用相鄰像素α值所存在的內在關系來實現(xiàn)前景提取的目標。其步驟為輸入原圖像和對應的trimap，確定前景樣本點、背景樣本點和未知像素，選擇一個未知像素，計算該未知像素的每個前景背景樣本對的置信度，選擇置信度最高的前景背景樣本對計算得到初步的α值，根據(jù)內在關系，計算得到未知像素的最終α值。用本方法進行前景提取可以達到前人方法相似的效果，但速度可平均提高25倍。
文檔編號G06T7/40GK101853505SQ20101017513
公開日2010年10月6日 申請日期2010年5月13日 優(yōu)先權日2010年5月13日
發(fā)明者薛向陽, 金城, 顧抑揚 申請人:復旦大學