一種基于多層次圖結構的交互式立體圖像快速分割方法
【技術領域】
[0001] 本發(fā)明屬于圖像處理、計算機圖形學和計算機視覺等交叉領域，涉及一種基于多 層次圖結構的交互式立體圖像快速分割方法。
【背景技術】
[0002] 近年來3D技術不斷發(fā)展，從3D立體電視到3D立體電影，對3D內(nèi)容的創(chuàng)作以及3D 編輯工具的開發(fā)提出了迫切的需求。交互式立體圖像分割是其中一項重要工作，它是許多 應用最重要處理的環(huán)節(jié)，像物體識別、追蹤，圖像分類，圖像編輯以及圖像重建等。目前立體 圖像分割已經(jīng)應用于醫(yī)療圖像中器官的分割與分析，物體的追蹤，場景的理解等實際生活 中。因此，立體圖像分割效率成為重要的研究方向。
[0003] 相比單幅圖像的分割，交互式立體圖像的智能分割起步較晚。目前圖像分割方法 主要存在兩方面的挑戰(zhàn)：計算準確率和計算速度。這是一對矛盾的問題，很難在兩者之間 達到較好的平衡。在提高計算準確率方面，人們做了很多的努力。Price等人在2011年的 ICCV上發(fā)表的"StereoCut :Consistent Interactive Object Selection in Stereo Image Pairs"中，利用立體圖像對間的視差信息來提高立體圖像分割的準確率度。其將圖像中每 個像素的顏色、梯度、視差等信息融入傳統(tǒng)的圖割理論中，通過求解最大流來得到立體圖像 邊界優(yōu)化的結果。這種方法雖然分割精度較高，但是構建的分割模型邊與節(jié)點的數(shù)目龐大， 計算復雜，效率低下。目前分割算法多通過改變graph cut算法的具體實施過程來提高分 割速度。對于立體圖像像素數(shù)目多，邊結構復雜的問題，僅改變graph cut算法的實施過程 無法從根本上解決。同時，在立體圖像分割過程中，存在很多單指令流多數(shù)據(jù)流計算密集型 的任務。傳統(tǒng)方法沒有很好的利用這種任務可并行執(zhí)行的特點，串行處理，使效率低，消耗 大量的時間，從而使分割效率低下。

【發(fā)明內(nèi)容】

[0004] 鑒于目前立體圖像分割存在分割模型復雜，計算效率低的問題。本發(fā)明在基于視 差圖的立體圖像同步分割的理論框架下，探索新的分割方法。力圖簡化模型的復雜度，并行 處理計算密集型的任務，提高立體圖像分割速度，實現(xiàn)實時分割常見尺寸立體圖像的目的。
[0005] 為實現(xiàn)這個目標，本發(fā)明的技術方案為：首先輸入一組立體圖像，通過立體圖像匹 配算法得到視差圖。在原始圖像左右任意一圖中指定部分前、背景。根據(jù)指定部分應用CUDA 并行計算的方法建立前、背景的顏色以及視差分布的先驗統(tǒng)計模型。通過對原始圖像進行 高斯濾波、下采樣得到粗糙尺度較小的圖像，然后將粗糙圖像與原始圖像一起構成多層次 圖結構。以此為基礎，在圖割理論框架下形式化多層次圖結構中的顏色、梯度以及視差等約 束，構造能量函數(shù)。為了提高效率，應用CUDA并行計算的方法處理建圖過程。采用圖的最 大流/最小割算法求解多層次圖的全局最優(yōu)化結果。然后統(tǒng)計邊界處誤差較大的像素點， 采用傳統(tǒng)的圖割理論，對統(tǒng)計的邊界像素點進行局部優(yōu)化。將全局處理與局部優(yōu)化的結果 融合在一起，構成最后的分割結果。若用戶沒有得到理想的效果，還可以繼續(xù)對圖中錯誤區(qū) 域進行勾畫，直到得到理想結果。
[0006] 與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點：本發(fā)明通過構架基于多層次圖結構的立 體圖像分割模型，簡化了邊的復雜度，顯著提高了處理的速度。同時，將一些計算密集型的 單指令流多數(shù)據(jù)流的任務用CUDA技術并行處理，節(jié)省大量時間。實驗證明：相比現(xiàn)有方法， 在同等交互量的前提下，本發(fā)明所述方法在分割準確率以及一致性變化不大的情況下，可 以顯著提高分割速度。
【附圖說明】
[0007] 圖1為本發(fā)明所涉及方法的流程圖；
[0008] 圖2為本發(fā)明應用實例實驗結果：(a)、（b)為輸入的左、右圖像，（c)、（d)是采 用 Price 等人在 2011 年的 ICCV 上發(fā)表的 "StereoCut 〖Consistent Interactive Object Selection in Stereo Image Pairs"中的方法分割的結果；（e)、（f)為本發(fā)明的分割結 果；兩種方法所用的用戶輸入在（c)、（e)圖中顯示，其中第一線條標識前景，第二線條標識 背景。同時給出了兩種方法分割的準確率以及分割的時間。本實施例測試所用筆記本電腦 配置為：CPU 處理器 Intel (R)Pentium(R)CPU B95002. IOGHz 2. 10GHz ;Gpu 處理器 NVIDIA GeForce GT 540M〇
【具體實施方式】
[0009] 下面結合附圖和【具體實施方式】對本發(fā)明做進一步說明。
[0010] 本發(fā)明的流程如圖1所示，具體包括如下步驟：
[0011] 步驟一，匹配立體圖像。
[0012] 讀入一對立體圖像I = {I1，Γ}，I1與Γ分別表示左、右圖像。通過立體匹配算法計 算得到左、右圖像對應的視差圖，分別用D1與Df表示。立體匹配算法采用的是Felzenszwalb 等人在 CVPR04 上發(fā)表的論文"Efficient Belief Propagation for Early Vision" 中提 出的算法。
[0013] 步驟二，添加前、背景線索。
[0014] 用戶通過所設計的界面在其中任意一張圖像中指定部分前、背景。本發(fā)明實施采 用類似于 Price 等人在 2011 年的 ICCV 上發(fā)表的 "StereoCut 〖Consistent Interactive Object Selection in Stereo Image Pairs"中用到的方法，利用鼠標、觸摸屏或者手寫筆 等輸入設備，通過在圖像上勾畫不同顏色的線條指定部分前、背景像素。如圖2(e)所示，第 一線條覆蓋的像素屬于前景，第二線條覆蓋的像素屬于背景。本發(fā)明的后續(xù)步驟對于該步 驟中所用的前、背景像素指定方式并無限制，其它方式亦可使用。
[0015] 步驟三，建立前、背景的顏色、視差先驗模型。
[0016] 用F表示用戶指定的前景像素集合，B表示用戶指定的背景像素集合；前、背景的 顏色、視差的先驗模型采用GMM、直方圖以及多個類簇的形式表達。本發(fā)明采用的是多類簇 形式，通過統(tǒng)計對應像素集合的顏色、視差得到類簇。為了提高處理速度，采用基于CUDA 并行的Kmeans算法，對F與B中的像素對應的顏色值、視差值分別進行聚類。處理顏色模 型的具體過程如下：每個線程處理一個像素，計算每個像素到所有前景、背景類簇的距離， 選擇最近的距離，將像素聚類到對應的類簇中。得到N。個前景顏色類簇M。 個背景顏色類簇[QUm=：!Μ,，上述顏色類簇分別表示前景、背景的顏色分布統(tǒng)計模型；同 時，用同樣的方法，對F和B中的像素對應的視差值分別進行聚類，得到義個前景視差類簇 JVa，ΜΛ背景視差類簇{墻}咖1:,....,Ma，上述視差類簇分別表示前景、背景的視差分 布統(tǒng)計模型；在本實施例中，N。= M。= 64 ;Nd= Md= 16。
[0017] 步驟四，基于多層次圖結構的全局優(yōu)化；
[0018] 由于圖像中前景、背景各自的分布比較聚集即前、背景內(nèi)部像素差異較小，邊界處 像素差異較大。利用這一特性，用區(qū)域具有代表性的像素來表示鄰域所有像素。本方法采 用高斯濾波、下采樣的方式，得到代表性的像素點。進而得到粗糙的尺度較小的圖像。將粗 糙圖像與原始圖像融合，構成多層次圖結構。對多層次圖結構的模型進行全局處理。將原 始立體圖像對表示為I = {ΛΓ}，粗糙的立體圖像對表示為Γ= {??'Γ'?，I1、I1^與 Γ、Γ τ分別表示左、右圖像。將原始立體圖像與粗糙立體圖像共同表示成一個無向圖G = 〈ν，ε>;其中，V為無向圖G中的節(jié)點集合，ε為邊的集合；無向圖G中的每個頂點對應 立體圖像