本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端。

背景技術(shù)：

圖像分割，是指將平面圖像依照顏色、紋理、形狀等特征將其劃分為互不相連的若干區(qū)域，這是圖像處理領(lǐng)域的一項(xiàng)實(shí)用的基礎(chǔ)技術(shù)?，F(xiàn)有的圖像分割技術(shù)有基于閾值的分割方法、基于邊緣的分割方法、基于區(qū)域的分割方法、基于能量泛函的分割方法、基于圖論的分割方法等。其中在圖論方法里比較知名的有GraphCut算法及其改進(jìn)版本GrabCut算法。

GraphCut算法及其改進(jìn)版本GrabCut算法，是基于區(qū)域標(biāo)注的交互式圖像分割方法。GraphCut算法是基于馬爾可夫隨機(jī)場(Markov Random Field,MRF)能量最小化框架的一種算法，優(yōu)點(diǎn)在于可以結(jié)合多種理論知識進(jìn)行全局最優(yōu)求解。GrabCut算法是對GraphCut算法的改進(jìn)，GrabCut算法通過在原始圖像上標(biāo)注出前景點(diǎn)(要提取的目標(biāo)對象上的點(diǎn))和背景點(diǎn)生成掩模圖，利用原圖和掩模圖對前景、背景顏色空間建立高斯混合模型(Gaussian Mixture Model，GMM)，利用GMM參數(shù)學(xué)習(xí)、估計(jì)過程中可進(jìn)化的迭代算法完成能量最小化，判決出圖像中的前景點(diǎn)和背景點(diǎn)，從原圖中提取出由前景點(diǎn)像素組成的目標(biāo)圖像。

在手機(jī)上使用GrabCut算法進(jìn)行圖像分割時，為了降低交互的復(fù)雜性，通常對用戶如何標(biāo)記不做嚴(yán)格要求，因此，在用戶標(biāo)記的前景點(diǎn)較少的情況下迭代次數(shù)可能很多，算法運(yùn)行時間較長，影響了用戶的體驗(yàn)。另一方面，相關(guān)技術(shù)中的GrabCut算法是基于彩色圖像進(jìn)行圖像分割的，當(dāng)要提取的目標(biāo)對象的顏色特征并不明顯時，利用彩色圖進(jìn)行分割的分割效果并不理想。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端，能夠縮短算法的運(yùn)行時間，結(jié)合圖像的深度信息改善圖像分割的效果。

本發(fā)明實(shí)施例提供了一種實(shí)現(xiàn)交互式圖像分割的方法，包括：

檢測到原始圖像上的涂抹軌跡或勾勒軌跡后，將所述涂抹軌跡或勾勒軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡或勾勒軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域，所述感興趣區(qū)域包含所述標(biāo)記區(qū)；生成圖像分割算法的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn)；

獲取包含目標(biāo)對象顏色信息的彩色圖和包含目標(biāo)對象深度信息的深度圖，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異；將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合；

構(gòu)建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖，獲得精細(xì)分割后的掩模圖；

從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對應(yīng)的圖像。

可選地，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，包括：根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第一區(qū)域項(xiàng)分割參數(shù)，所述第一區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述彩色圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的顏色值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類。

可選地，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，還包括：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第二區(qū)域項(xiàng)分割參數(shù)，所述第二區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述深度圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類。

可選地，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，還包括：根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項(xiàng)分割參數(shù)：

根據(jù)所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項(xiàng)分割參數(shù)；

其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數(shù)值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第一邊界項(xiàng)分割參數(shù)。

可選地，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，還包括：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項(xiàng)分割參數(shù)：

根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項(xiàng)分割參數(shù)；

其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第二邊界項(xiàng)分割參數(shù)。

可選地，將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合，包括：將所述第一區(qū)域項(xiàng)分割參數(shù)與所述第二區(qū)域項(xiàng)分割參數(shù)進(jìn)行融合：

對任意一個像素，將所述第一區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)，將所述第二區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)相加的和作為融合后的區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類不相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)中數(shù)值較大者指示的像素分類作為所述像素的最終分類，將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)的差值的絕對值作為融合后的區(qū)域項(xiàng)分割參數(shù)。

可選地，將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合，還包括：將所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)進(jìn)行融合：

將所述第一邊界項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一邊界項(xiàng)分割參數(shù)，將所述第二邊界項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二邊界項(xiàng)分割參數(shù)，然后將所述調(diào)整后的第一邊界項(xiàng)分割參數(shù)與所述調(diào)整后的第二邊界項(xiàng)分割參數(shù)相加得到所述像素的融合后的邊界項(xiàng)分割參數(shù)；a大于或等于0且小于或等于1。

可選地，所述權(quán)重a根據(jù)自評價(jià)參數(shù)k1和一致性參數(shù)k2進(jìn)行確定：將自評價(jià)參數(shù)k1和一致性參數(shù)k2的積作為權(quán)重a；

其中，自評價(jià)參數(shù)k1采用以下方式進(jìn)行確定：根據(jù)像素的深度值確定像素對應(yīng)的拍攝距離的遠(yuǎn)近程度，根據(jù)所述拍攝距離的遠(yuǎn)近程度設(shè)置自評價(jià)參數(shù)k1，所述拍攝距離越近，自評價(jià)參數(shù)k1設(shè)置得越大；k1大于或等于0且小于或等于1；

其中，所述一致性參數(shù)k2采用以下方式進(jìn)行確定：

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)相等，則設(shè)置一致性參數(shù)k2為第一常數(shù)；

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不相等，在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)同時大于閾值或同時小于閾值時，設(shè)置一致性參數(shù)k2為第一常數(shù)；在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不同時大于閾值或不同時小于閾值時，設(shè)置一致性參數(shù)k2為第二常數(shù)；所述第一常數(shù)大于所述第二常數(shù)；所述第一常數(shù)大于0且小于或等于1，所述第二常數(shù)大于0且小于1。

可選地，構(gòu)建無向圖并將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，包括：

構(gòu)建一個無向圖，在所述無向圖的平面外設(shè)置兩個懸空點(diǎn)Q₀和Q₁，所述懸空點(diǎn)Q₀為虛擬前景點(diǎn)，所述懸空點(diǎn)Q₁為虛擬背景點(diǎn)；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點(diǎn)，在前景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₀之間建立連線，在背景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₁之間建立連線；

對掩模圖中的任意一個像素P_i，將所述像素P_i的融合后的區(qū)域項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'的權(quán)值，將所述像素P_i的融合后的邊界項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'與懸空點(diǎn)Q₀或Q₁之間連線的權(quán)值。

可選地，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖，包括：

迭代執(zhí)行以下C步驟和D步驟，在迭代運(yùn)行達(dá)到收斂條件后停止迭代過程，將所述前景點(diǎn)集合Q中的各個像素作為精細(xì)分割后的掩模圖中的前景點(diǎn)；

其中，C步驟和D步驟分別包括以下處理：

C步驟：將無向圖中的一部分像素劃分為與懸空點(diǎn)Q₀同類的前景點(diǎn)，由劃分為前景點(diǎn)的像素構(gòu)成前景點(diǎn)集合Q；

D步驟：計(jì)算所述前景點(diǎn)集合Q的權(quán)值總和，所述權(quán)值總和是所述前景點(diǎn)集合Q中所有前景點(diǎn)的權(quán)值和，再加上所述前景點(diǎn)集合Q中所有前景點(diǎn)與懸空點(diǎn)Q₀之間連線的權(quán)值和；

其中，所述收斂條件是前景點(diǎn)集合Q的權(quán)值總和小于閾值且變化趨于穩(wěn)定。

可選地，所述圖像分割算法是GrabCut算法。

本發(fā)明實(shí)施例還提供了一種實(shí)現(xiàn)交互式圖像分割的裝置，包括：

預(yù)處理模塊，用于檢測到原始圖像上的涂抹軌跡或勾勒軌跡后，將所述涂抹軌跡或勾勒軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡或勾勒軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域，所述感興趣區(qū)域包含所述標(biāo)記區(qū)；生成圖像分割算法的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn)；

分割參數(shù)計(jì)算及融合模塊，用于獲取包含目標(biāo)對象顏色信息的彩色圖和包含目標(biāo)對象深度信息的深度圖，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異；將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合；

掩模圖調(diào)整模塊，用于構(gòu)建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖，獲得精細(xì)分割后的掩模圖；

輸出模塊，用于從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對應(yīng)的圖像。

可選地，分割參數(shù)計(jì)算及融合模塊，用于采用以下方式根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)：根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第一區(qū)域項(xiàng)分割參數(shù)，所述第一區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述彩色圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的顏色值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類。

可選地，分割參數(shù)計(jì)算及融合模塊，還用于采用以下方式根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第二區(qū)域項(xiàng)分割參數(shù)，所述第二區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述深度圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類。

可選地，分割參數(shù)計(jì)算及融合模塊，還用于采用以下方式根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)：根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項(xiàng)分割參數(shù)：

根據(jù)所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項(xiàng)分割參數(shù)；

其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數(shù)值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第一邊界項(xiàng)分割參數(shù)。

可選地，分割參數(shù)計(jì)算及融合模塊，還用于采用以下方式根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項(xiàng)分割參數(shù)：

根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項(xiàng)分割參數(shù)；

其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第二邊界項(xiàng)分割參數(shù)。

可選地，分割參數(shù)計(jì)算及融合模塊，用于采用以下方式將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合：將所述第一區(qū)域項(xiàng)分割參數(shù)與所述第二區(qū)域項(xiàng)分割參數(shù)進(jìn)行融合：

對任意一個像素，將所述第一區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)，將所述第二區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)相加的和作為融合后的區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類不相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)中數(shù)值較大者指示的像素分類作為所述像素的最終分類，將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)的差值的絕對值作為融合后的區(qū)域項(xiàng)分割參數(shù)。

可選地，分割參數(shù)計(jì)算及融合模塊，還用于采用以下方式將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合：將所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)進(jìn)行融合：

將所述第一邊界項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一邊界項(xiàng)分割參數(shù)，將所述第二邊界項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二邊界項(xiàng)分割參數(shù)，然后將所述調(diào)整后的第一邊界項(xiàng)分割參數(shù)與所述調(diào)整后的第二邊界項(xiàng)分割參數(shù)相加得到所述像素的融合后的邊界項(xiàng)分割參數(shù)；a大于或等于0且小于或等于1。

可選地，所述權(quán)重a根據(jù)自評價(jià)參數(shù)k1和一致性參數(shù)k2進(jìn)行確定：將自評價(jià)參數(shù)k1和一致性參數(shù)k2的積作為權(quán)重a；

其中，自評價(jià)參數(shù)k1采用以下方式進(jìn)行確定：根據(jù)像素的深度值確定像素對應(yīng)的拍攝距離的遠(yuǎn)近程度，根據(jù)所述拍攝距離的遠(yuǎn)近程度設(shè)置自評價(jià)參數(shù)k1，所述拍攝距離越近，自評價(jià)參數(shù)k1設(shè)置得越大；k1大于或等于0且小于或等于1；

其中，所述一致性參數(shù)k2采用以下方式進(jìn)行確定：

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)相等，則設(shè)置一致性參數(shù)k2為第一常數(shù)；

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不相等，在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)同時大于閾值或同時小于閾值時，設(shè)置一致性參數(shù)k2為第一常數(shù)；在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不同時大于閾值或不同時小于閾值時，設(shè)置一致性參數(shù)k2為第二常數(shù)；所述第一常數(shù)大于所述第二常數(shù)；所述第一常數(shù)大于0且小于或等于1，所述第二常數(shù)大于0且小于1。

可選地，掩模圖調(diào)整模塊，用于采用以下方式構(gòu)建無向圖并將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中：

構(gòu)建一個無向圖，在所述無向圖的平面外設(shè)置兩個懸空點(diǎn)Q₀和Q₁，所述懸空點(diǎn)Q₀為虛擬前景點(diǎn)，所述懸空點(diǎn)Q₁為虛擬背景點(diǎn)；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點(diǎn)，在前景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₀之間建立連線，在背景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₁之間建立連線；

對掩模圖中的任意一個像素P_i，將所述像素P_i的融合后的區(qū)域項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'的權(quán)值，將所述像素P_i的融合后的邊界項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'與懸空點(diǎn)Q₀或Q₁之間連線的權(quán)值。

可選地，掩模圖調(diào)整模塊，用于采用以下方式根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖：

迭代執(zhí)行以下C步驟和D步驟，在迭代運(yùn)行達(dá)到收斂條件后停止迭代過程，將所述前景點(diǎn)集合Q中的各個像素作為精細(xì)分割后的掩模圖中的前景點(diǎn)；

其中，C步驟和D步驟分別包括以下處理：

C步驟：將無向圖中的一部分像素劃分為與懸空點(diǎn)Q₀同類的前景點(diǎn)，由劃分為前景點(diǎn)的像素構(gòu)成前景點(diǎn)集合Q；

D步驟：計(jì)算所述前景點(diǎn)集合Q的權(quán)值總和，所述權(quán)值總和是所述前景點(diǎn)集合Q中所有前景點(diǎn)的權(quán)值和，再加上所述前景點(diǎn)集合Q中所有前景點(diǎn)與懸空點(diǎn)Q₀之間連線的權(quán)值和；

其中，所述收斂條件是前景點(diǎn)集合Q的權(quán)值總和小于閾值且變化趨于穩(wěn)定。

可選地，所述圖像分割算法是GrabCut算法。

本發(fā)明實(shí)施例還提供了一種終端，包括上述實(shí)現(xiàn)交互式圖像分割的裝置。

本文提出的一種實(shí)現(xiàn)交互式圖像分割的方法、裝置及終端，將原始圖像上涂抹軌跡或勾勒軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡或勾勒軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域，所述感興趣區(qū)域包含所述標(biāo)記區(qū)；生成圖像分割算法的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn)；獲取包含目標(biāo)對象顏色信息的彩色圖和包含目標(biāo)對象深度信息的深度圖，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異；將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合；構(gòu)建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖；從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對應(yīng)的圖像。本文的技術(shù)方案能夠通過圖像預(yù)處理擴(kuò)充圖像分割算法標(biāo)記的前景點(diǎn)數(shù)目，減少圖像分割算法標(biāo)記的背景點(diǎn)數(shù)目，從而縮短圖像分割算法的運(yùn)行時間，基于深度圖和彩色圖分別計(jì)算各像素的分割參數(shù)并進(jìn)行參數(shù)融合，利用融合后的分割參數(shù)進(jìn)行圖像分割，相較于相關(guān)技術(shù)中僅僅使用彩色圖進(jìn)行圖像分割，能夠改善圖像分割的效果。

附圖說明

圖1為實(shí)現(xiàn)本發(fā)明各個實(shí)施例一可選的移動終端的硬件結(jié)構(gòu)示意圖；

圖2為如圖1所示的移動終端的無線通信系統(tǒng)示意圖；

圖3為本發(fā)明實(shí)施例1的一種實(shí)現(xiàn)交互式圖像分割的方法流程圖；

圖4為本發(fā)明實(shí)施例2的一種實(shí)現(xiàn)交互式圖像分割的裝置示意圖；

圖5-a為本發(fā)明應(yīng)用示例1中原始圖像以及用戶涂抹軌跡的示意圖；

圖5-b為本發(fā)明應(yīng)用示例1中由涂抹軌跡生成的標(biāo)記區(qū)(外接矩形擴(kuò)展)和感興趣區(qū)域的示意圖；

圖5-c為本發(fā)明應(yīng)用示例1中由標(biāo)記區(qū)和感興趣區(qū)域生成的掩模圖的示意圖；

圖5-d為本發(fā)明應(yīng)用示例1的深度圖的示意圖；

圖5-e為本發(fā)明應(yīng)用示例1的無向圖的示意圖；

圖5-f為本發(fā)明應(yīng)用示例1中精細(xì)分割后的掩模圖的示意圖；

圖5-g為本發(fā)明應(yīng)用示例1中分割出的目標(biāo)對象的示意圖。

圖6-a為本發(fā)明應(yīng)用示例2中由涂抹軌跡生成的標(biāo)記區(qū)(種子生長)和感興趣區(qū)域的示意圖；

圖6-b-1為本發(fā)明應(yīng)用示例2中種子生長過程中的起始活動點(diǎn)及周邊鄰域的示意圖；

圖6-b-2為本發(fā)明應(yīng)用示例2中種子生長過程中的起始活動點(diǎn)生長成的子區(qū)域的示意圖；

圖6-b-3為本發(fā)明應(yīng)用示例2中種子生長過程中的起始活動點(diǎn)以及新的活動點(diǎn)共同生長成的區(qū)域的示意圖；

圖6-c為本發(fā)明應(yīng)用示例2中由標(biāo)記區(qū)和感興趣區(qū)域生成的掩模圖的示意圖；

圖7-a為本發(fā)明應(yīng)用示例3中原始圖像以及用戶勾勒軌跡的示意圖；

圖7-b為本發(fā)明應(yīng)用示例3中由勾勒軌跡生成的標(biāo)記區(qū)(通過補(bǔ)線段進(jìn)行封閉)和感興趣區(qū)域的示意圖；

圖7-c為本發(fā)明應(yīng)用示例3中由標(biāo)記區(qū)和感興趣區(qū)域生成的掩模圖的示意圖。

本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說明。

具體實(shí)施方式

下面將結(jié)合附圖及實(shí)施例對本發(fā)明的技術(shù)方案進(jìn)行更詳細(xì)的說明。

現(xiàn)在將參考附圖描述實(shí)現(xiàn)本申請各個實(shí)施例的移動終端。在后續(xù)的描述中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明，其本身并沒有特定的意義。因此，"模塊"與"部件"可以混合地使用。

移動終端可以以各種形式來實(shí)施。例如，本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數(shù)字廣播接收器、PDA(個人數(shù)字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導(dǎo)航裝置等等的移動終端以及諸如數(shù)字TV、臺式計(jì)算機(jī)等等的固定終端。下面，假設(shè)終端是移動終端。然而，本領(lǐng)域技術(shù)人員將理解的是，除了特別用于移動目的的元件之外，根據(jù)本發(fā)明的實(shí)施方式的構(gòu)造也能夠應(yīng)用于固定類型的終端。

圖1為實(shí)現(xiàn)本申請各個實(shí)施例一個可選的移動終端的硬件結(jié)構(gòu)示意圖。

移動終端100可以包括無線通信單元110、A/V(音頻/視頻)輸入單元120、用戶輸入單元130、感測單元140、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190等等。

圖1示出了具有各種組件的移動終端100，但是應(yīng)理解的是，并不要求實(shí)施所有示出的組件?？梢蕴娲貙?shí)施更多或更少的組件。將在下面詳細(xì)描述移動終端100的元件。

無線通信單元110通常可以包括一個或多個組件，其允許移動終端100與無線通信系統(tǒng)或網(wǎng)絡(luò)之間的無線電通信。例如，無線通信單元110可以包括廣播接收模塊111、移動通信模塊112、無線互聯(lián)網(wǎng)模塊113、短程通信模塊114和位置信息模塊115中的至少一個。

廣播接收模塊111經(jīng)由廣播信道從外部廣播管理服務(wù)器接收廣播信號和/或廣播相關(guān)信息。廣播信道可以包括衛(wèi)星信道和/或地面信道。廣播管理服務(wù)器可以是生成并發(fā)送廣播信號和/或廣播相關(guān)信息的服務(wù)器或者接收之前生成的廣播信號和/或廣播相關(guān)信息并且將其發(fā)送給終端的服務(wù)器。廣播信號可以包括TV廣播信號、無線電廣播信號、數(shù)據(jù)廣播信號等等。而且，廣播信號可以進(jìn)一步包括與TV或無線電廣播信號組合的廣播信號。廣播相關(guān)信息也可以經(jīng)由移動通信網(wǎng)絡(luò)提供，并且在所述情況下，廣播相關(guān)信息可以由移動通信模塊112來接收。廣播信號可以以各種形式存在，例如，其可以以數(shù)字多媒體廣播(DMB)的電子節(jié)目指南(EPG)、數(shù)字視頻廣播手持(DVB-H)的電子服務(wù)指南(ESG)等等的形式而存在。廣播接收模塊111可以通過使用各種類型的廣播系統(tǒng)接收信號廣播。特別地，廣播接收模塊111可以通過使用諸如多媒體廣播-地面(DMB-T)、數(shù)字多媒體廣播-衛(wèi)星(DMB-S)、數(shù)字視頻廣播-手持(DVB-H)，前向鏈路媒體(MediaFLO@)的數(shù)據(jù)廣播系統(tǒng)、地面數(shù)字廣播綜合服務(wù)(ISDB-T)等等的數(shù)字廣播系統(tǒng)接收數(shù)字廣播。廣播接收模塊111可以被構(gòu)造為適合提供廣播信號的各種廣播系統(tǒng)以及上述數(shù)字廣播系統(tǒng)。經(jīng)由廣播接收模塊111接收的廣播信號和/或廣播相關(guān)信息可以存儲在存儲器160(或者其它類型的存儲介質(zhì))中。

移動通信模塊112將無線電信號發(fā)送到基站(例如，接入點(diǎn)、節(jié)點(diǎn)B等等)、外部終端以及服務(wù)器中的至少一個和/或從其接收無線電信號。這樣的無線電信號可以包括語音通話信號、視頻通話信號、或者根據(jù)文本和/或多媒體消息發(fā)送和/或接收的各種類型的數(shù)據(jù)。

無線互聯(lián)網(wǎng)模塊113支持移動終端的無線互聯(lián)網(wǎng)接入。所述模塊可以內(nèi)部或外部地耦接到終端。所述模塊所涉及的無線互聯(lián)網(wǎng)接入技術(shù)可以包括WLAN(無線LAN)(Wi-Fi)、Wibro(無線寬帶)、Wimax(全球微波互聯(lián)接入)、HSDPA(高速下行鏈路分組接入)等等。

短程通信模塊114是用于支持短程通信的模塊。短程通信技術(shù)的一些示例包括藍(lán)牙TM、射頻識別(RFID)、紅外數(shù)據(jù)協(xié)會(IrDA)、超寬帶(UWB)、紫蜂TM等等。

位置信息模塊115是用于檢查或獲取移動終端的位置信息的模塊。位置信息模塊115的典型示例是GPS(全球定位系統(tǒng))。根據(jù)當(dāng)前的技術(shù)，GPS計(jì)算來自三個或更多衛(wèi)星的距離信息和準(zhǔn)確的時間信息并且對于計(jì)算的信息應(yīng)用三角測量法，從而根據(jù)經(jīng)度、緯度和高度準(zhǔn)確地計(jì)算三維當(dāng)前位置信息。當(dāng)前，用于計(jì)算位置和時間信息的方法使用三顆衛(wèi)星并且通過使用另外的一顆衛(wèi)星校正計(jì)算出的位置和時間信息的誤差。此外，GPS能夠通過實(shí)時地連續(xù)計(jì)算當(dāng)前位置信息來計(jì)算速度信息。

A/V輸入單元120用于接收音頻或視頻信號。A/V輸入單元120可以包括相機(jī)121和麥克風(fēng)122，相機(jī)121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數(shù)據(jù)進(jìn)行處理。處理后的圖像幀可以顯示在顯示單元151上。經(jīng)相機(jī)121處理后的圖像幀可以存儲在存儲器160(或其它存儲介質(zhì))中或者經(jīng)由無線通信單元110進(jìn)行發(fā)送，可以根據(jù)移動終端100的構(gòu)造提供兩個或更多相機(jī)121。麥克風(fēng)122可以在電話通話模式、記錄模式、語音識別模式等等運(yùn)行模式中經(jīng)由麥克風(fēng)122接收聲音(音頻數(shù)據(jù))，并且能夠?qū)⑦@樣的聲音處理為音頻數(shù)據(jù)。處理后的音頻(語音)數(shù)據(jù)可以在電話通話模式的情況下轉(zhuǎn)換為可經(jīng)由移動通信模塊112發(fā)送到移動通信基站的格式輸出。麥克風(fēng)122可以實(shí)施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發(fā)送音頻信號的過程中產(chǎn)生的噪聲或者干擾。

用戶輸入單元130可以根據(jù)用戶輸入的命令生成鍵輸入數(shù)據(jù)以控制移動終端100的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息，并且可以包括鍵盤、鍋?zhàn)衅?、觸摸板(例如，檢測由于被接觸而導(dǎo)致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地，當(dāng)觸摸板以層的形式疊加在顯示單元151上時，可以形成觸摸屏。

感測單元140檢測移動終端100的當(dāng)前狀態(tài)，(例如，移動終端100的打開或關(guān)閉狀態(tài))、移動終端100的位置、用戶對于移動終端100的接觸(即，觸摸輸入)的有無、移動終端100的取向、移動終端100的加速或減速移動和方向等等，并且生成用于控制移動終端100的操作的命令或信號。例如，當(dāng)移動終端100實(shí)施為滑動型移動電話時，感測單元140可以感測所述滑動型電話是打開還是關(guān)閉。另外，感測單元140能夠檢測電源單元190是否提供電力或者接口單元170是否與外部裝置耦接。感測單元140可以包括接近傳感器141。

接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如，外部裝置可以包括有線或無線頭戴式耳機(jī)端口、外部電源(或電池充電器)端口、有線或無線數(shù)據(jù)端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機(jī)端口等等。識別模塊可以是存儲用于驗(yàn)證用戶使用移動終端100的各種信息并且可以包括用戶識別模塊(UIM)、客戶識別模塊(SIM)、通用客戶識別模塊(USIM)等等。另外，具有識別模塊的裝置(下面稱為"識別裝置")可以采取智能卡的形式，因此，識別裝置可以經(jīng)由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如，數(shù)據(jù)信息、電力等等)并且將接收到的輸入傳輸?shù)揭苿咏K端100內(nèi)的一個或多個元件或者可以用于在移動終端100和外部裝置之間傳輸數(shù)據(jù)。

另外，當(dāng)移動終端100與外部底座連接時，接口單元170可以用作允許通過其將電力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其傳輸?shù)揭苿咏K端100的路徑。從底座輸入的各種命令信號或電力可以用作識別移動終端100是否準(zhǔn)確地安裝在底座上的信號。輸出單元150被構(gòu)造為以視覺、音頻和/或觸覺方式提供輸出信號(例如，音頻信號、視頻信號、警報(bào)信號、振動信號等等)。輸出單元150可以包括顯示單元151、音頻輸出模塊152、警報(bào)單元153等等。

顯示單元151可以顯示在移動終端100中處理的信息。例如，當(dāng)移動終端100處于電話通話模式時，顯示單元151可以顯示與通話或其它通信(例如，文本消息收發(fā)、多媒體文件下載等等)相關(guān)的用戶界面(UI)或圖形用戶界面(GUI)。當(dāng)移動終端100處于視頻通話模式或者圖像捕獲模式時，顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關(guān)功能的UI或GUI等等。

同時，當(dāng)顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏?xí)r，顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(LCD)、薄膜晶體管LCD(TFT-LCD)、有機(jī)發(fā)光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構(gòu)造為透明狀以允許用戶從外部觀看，這可以稱為透明顯示器，典型的透明顯示器可以例如為TOLED(透明有機(jī)發(fā)光二極管)顯示器等等。根據(jù)特定想要的實(shí)施方式，移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置)，例如，移動終端100可以包括外部顯示單元(未示出)和內(nèi)部顯示單元(未示出)。觸摸屏可用于檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。

音頻輸出模塊152可以在移動終端100處于呼叫信號接收模式、通話模式、記錄模式、語音識別模式、廣播接收模式等等模式下時，將無線通信單元110接收的或者在存儲器160中存儲的音頻數(shù)據(jù)轉(zhuǎn)換音頻信號并且輸出為聲音。而且，音頻輸出模塊152可以提供與移動終端100執(zhí)行的特定功能相關(guān)的音頻輸出(例如，呼叫信號接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚(yáng)聲器、蜂鳴器等等。

警報(bào)單元153可以提供輸出以將事件的發(fā)生通知給移動終端100。典型的事件可以包括呼叫接收、消息接收、鍵信號輸入、觸摸輸入等等。除了音頻或視頻輸出之外，警報(bào)單元153可以以不同的方式提供輸出以通知事件的發(fā)生。例如，警報(bào)單元153可以以振動的形式提供輸出，當(dāng)接收到呼叫、消息或一些其它進(jìn)入通信(incoming communication)時，警報(bào)單元153可以提供觸覺輸出(即，振動)以將其通知給用戶。通過提供這樣的觸覺輸出，即使在用戶的移動電話處于用戶的口袋中時，用戶也能夠識別出各種事件的發(fā)生。警報(bào)單元153也可以經(jīng)由顯示單元151或音頻輸出模塊152提供通知事件的發(fā)生的輸出。

存儲器160可以存儲由控制器180執(zhí)行的處理和控制操作的軟件程序等等，或者可以暫時地存儲己經(jīng)輸出或?qū)⒁敵龅臄?shù)據(jù)(例如，電話簿、消息、靜態(tài)圖像、視頻等等)。而且，存儲器160可以存儲關(guān)于當(dāng)觸摸施加到觸摸屏?xí)r輸出的各種方式的振動和音頻信號的數(shù)據(jù)。

存儲器160可以包括至少一種類型的存儲介質(zhì)，所述存儲介質(zhì)包括閃存、硬盤、多媒體卡、卡型存儲器(例如，SD或DX存儲器等等)、隨機(jī)訪問存儲器(RAM)、靜態(tài)隨機(jī)訪問存儲器(SRAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、可編程只讀存儲器(PROM)、磁性存儲器、磁盤、光盤等等。而且，移動終端100可以與通過網(wǎng)絡(luò)連接執(zhí)行存儲器160的存儲功能的網(wǎng)絡(luò)存儲裝置協(xié)作。

控制器180通常控制移動終端的總體操作。例如，控制器180執(zhí)行與語音通話、數(shù)據(jù)通信、視頻通話等等相關(guān)的控制和處理。另外，控制器180可以包括用于再現(xiàn)(或回放)多媒體數(shù)據(jù)的多媒體模塊181，多媒體模塊181可以構(gòu)造在控制器180內(nèi)，或者可以構(gòu)造為與控制器180分離。控制器180可以執(zhí)行模式識別處理，以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像。

電源單元190在控制器180的控制下接收外部電力或內(nèi)部電力并且提供操作各元件和組件所需的適當(dāng)?shù)碾娏Α?/p>

這里描述的各種實(shí)施方式可以以使用例如計(jì)算機(jī)軟件、硬件或其任何組合的計(jì)算機(jī)可讀介質(zhì)來實(shí)施。對于硬件實(shí)施，這里描述的實(shí)施方式可以通過使用特定用途集成電路(ASIC)、數(shù)字信號處理器(DSP)、數(shù)字信號處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設(shè)計(jì)為執(zhí)行這里描述的功能的電子單元中的至少一種來實(shí)施，在一些情況下，這樣的實(shí)施方式可以在控制器180中實(shí)施。對于軟件實(shí)施，諸如過程或功能的實(shí)施方式可以與允許執(zhí)行至少一種功能或操作的單獨(dú)的軟件模塊來實(shí)施。軟件代碼可以由以任何適當(dāng)?shù)木幊陶Z言編寫的軟件應(yīng)用程序(或程序)來實(shí)施，軟件代碼可以存儲在存儲器160中并且由控制器180執(zhí)行。

至此，己經(jīng)按照其功能描述了移動終端100。另外，本發(fā)明實(shí)施例中的移動終端100可以是諸如折疊型、直板型、擺動型、滑動型以及其他各種類型的移動終端，具體此處不做限定。

如圖1中所示的移動終端100可以被構(gòu)造為利用經(jīng)由幀或分組發(fā)送數(shù)據(jù)的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。

現(xiàn)在將參考圖2描述其中根據(jù)本發(fā)明的移動終端能夠操作的通信系統(tǒng)。

這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如，由通信系統(tǒng)使用的空中接口包括例如頻分多址(FDMA)、時分多址(TDMA)、碼分多址(CDMA)和通用移動通信系統(tǒng)(UMTS)(特別地，長期演進(jìn)(LTE))、全球移動通信系統(tǒng)(GSM)等等。作為非限制性示例，下面的描述涉及CDMA通信系統(tǒng)，但是這樣的教導(dǎo)同樣適用于其它類型的系統(tǒng)。

參考圖2，CDMA無線通信系統(tǒng)可以包括多個移動終端100、多個基站(BS)270、基站控制器(BSC)275和移動交換中心(MSC)280。MSC 280被構(gòu)造為與公共電話交換網(wǎng)絡(luò)(PSTN)290形成接口。MSC 280還被構(gòu)造為與可以經(jīng)由回程線路耦接到基站270的BSC 275形成接口?；爻叹€路可以根據(jù)若干己知的接口中的任一種來構(gòu)造，所述接口可以包括例如歐洲標(biāo)準(zhǔn)高容量數(shù)字線路/美國標(biāo)準(zhǔn)高容量數(shù)字線路(E1/T1)、異步傳輸模式(ATM)，網(wǎng)絡(luò)協(xié)議(IP)、點(diǎn)對點(diǎn)協(xié)議(PPP)、幀中繼、高速率數(shù)字用戶線路(HDSL)、非對稱數(shù)字用戶線路(ADSL)或各種類型數(shù)字用戶線路(xDSL)。將理解的是，如圖2中所示的系統(tǒng)可以包括多個BSC 275。

每個BS 270可以服務(wù)一個或多個分區(qū)(或區(qū)域)，由多向天線或指向特定方向的天線覆蓋的每個分區(qū)放射狀地遠(yuǎn)離BS 270?；蛘?，每個分區(qū)可以由用于分集接收的兩個或更多天線覆蓋。每個BS 270可以被構(gòu)造為支持多個頻率分配，并且每個頻率分配具有特定頻譜(例如，1.25MHz，5MHz等等)。

分區(qū)與頻率分配的交叉可以被稱為CDMA信道。BS 270也可以被稱為基站收發(fā)器子系統(tǒng)(BTS)或者其它等效術(shù)語。在這樣的情況下，術(shù)語"基站"可以用于籠統(tǒng)地表示單個BSC 275和至少一個BS 270?；疽部梢员环Q為"蜂窩站"?；蛘?，特定BS 270的各分區(qū)可以被稱為多個蜂窩站。

如圖2中所示，廣播發(fā)射器(BT)295將廣播信號發(fā)送給在系統(tǒng)內(nèi)操作的移動終端100。如圖1中所示的廣播接收模塊111被設(shè)置在移動終端100處以接收由BT 295發(fā)送的廣播信號。在圖2中，示出了幾個全球定位系統(tǒng)(GPS)衛(wèi)星300。衛(wèi)星300幫助定位多個移動終端100中的至少一個。

在圖2中，描繪了多個衛(wèi)星300，但是理解的是，可以利用任何數(shù)目的衛(wèi)星獲得有用的定位信息。如圖1中所示的位置信息模塊115(如：GPS)通常被構(gòu)造為與衛(wèi)星300配合以獲得想要的定位信息。替代GPS跟蹤技術(shù)或者在GPS跟蹤技術(shù)之外，可以使用可以跟蹤移動終端的位置的其它技術(shù)。另外，至少一個GPS衛(wèi)星300可以選擇性地或者額外地處理衛(wèi)星DMB傳輸。

作為無線通信系統(tǒng)的一個典型操作，BS 270接收來自各種移動終端100的反向鏈路信號。移動終端100通常參與通話、消息收發(fā)和其它類型的通信。特定基站接收的每個反向鏈路信號被在特定BS 270內(nèi)進(jìn)行處理。獲得的數(shù)據(jù)被轉(zhuǎn)發(fā)給相關(guān)的BSC 275。BSC提供通話資源分配和包括BS 270之間的軟切換過程的協(xié)調(diào)的移動管理功能。BSC 275還將接收到的數(shù)據(jù)路由到MSC 280，其提供用于與PSTN 290形成接口的額外的路由服務(wù)。類似地，PSTN 290與MSC280形成接口，MSC與BSC 275形成接口，并且BSC 275相應(yīng)地控制BS 270以將正向鏈路信號發(fā)送到移動終端100。

基于上述移動終端硬件結(jié)構(gòu)以及通信系統(tǒng)，提出本申請方法各個實(shí)施例。

如圖3所示，本發(fā)明實(shí)施例提出一種實(shí)現(xiàn)交互式圖像分割的方法，包括：

S310，檢測到原始圖像上的涂抹軌跡或勾勒軌跡后，將所述涂抹軌跡或勾勒軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡或勾勒軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域，所述感興趣區(qū)域包含所述標(biāo)記區(qū)；生成圖像分割算法的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn)；

S320，獲取包含目標(biāo)對象顏色信息的彩色圖和包含目標(biāo)對象深度信息的深度圖，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異；將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合；

S330，構(gòu)建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖，獲得精細(xì)分割后的掩模圖；

S340，從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對應(yīng)的圖像；

所述方法還可以包括下述特點(diǎn)：

其中，涂抹和勾勒是兩種不同的標(biāo)記方式；

一般地，涂抹軌跡是在目標(biāo)對象的內(nèi)部區(qū)域進(jìn)行的標(biāo)記，勾勒軌跡是沿著目標(biāo)對象的外部輪廓進(jìn)行的標(biāo)記；

其中，掩模圖是指對一副圖像的部分或全部像素進(jìn)行了前景與背景區(qū)分后生成的標(biāo)記圖，所述掩模圖上的每一個像素被標(biāo)記為前景點(diǎn)或背景點(diǎn)。

在本實(shí)施例中，所述圖像分割算法是GrabCut算法。

在一種實(shí)施方式中，將所述涂抹軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域，包括：

構(gòu)造所述涂抹軌跡的最小外接矩形，根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)；

為所述涂抹軌跡套用矩形模板，根據(jù)所述矩形模板生成包含所述涂抹軌跡的感興趣區(qū)域(Region of Interest，ROI)，如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；或者對所述標(biāo)記區(qū)進(jìn)行膨脹處理形成感興趣區(qū)域。

其中，所述構(gòu)造所述涂抹軌跡的最小外接矩形，根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)，包括：

根據(jù)所述涂抹軌跡上所有像素的橫縱坐標(biāo)值確定出最大橫坐標(biāo)值x_max、最小橫坐標(biāo)值x_min、最大縱坐標(biāo)值y_max和最小縱坐標(biāo)值y_min；

構(gòu)造所述涂抹軌跡的最小外接矩形，所述最小外接矩形的四個頂點(diǎn)的坐標(biāo)依次是：(x_min,y_max)，(x_min,y_min)，(x_max,y_max)，(x_max,y_min)；

根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)，所述標(biāo)記區(qū)的四個頂點(diǎn)坐標(biāo)依次是：(x_min-a,y_max+a)，(x_min-a,y_min-a)，(x_max+a,y_max+a)，(x_max+a,y_min-a)；其中，a是可調(diào)系數(shù)，a＝L*b，b是常數(shù)；b可以是經(jīng)驗(yàn)值。

在一種實(shí)施方式中，將所述涂抹軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域，包括：

獲取原始圖像的邊緣梯度信息，從所述涂抹軌跡的像素中選取部分像素作為種子，每一個種子根據(jù)圖像的邊緣梯度信息分別向外生長形成一個子區(qū)域，所有的種子向外生長形成的子區(qū)域合并后形成一個擴(kuò)展區(qū)域，將所述擴(kuò)展區(qū)域作為標(biāo)記區(qū)；

根據(jù)所述涂抹軌跡的形狀特點(diǎn)套用幾何形狀模板，根據(jù)所述幾何形狀模板生成包含所述涂抹軌跡的感興趣區(qū)域，如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；或者對所述標(biāo)記區(qū)進(jìn)行膨脹處理形成感興趣區(qū)域。

其中，所述幾何形狀模板包括：矩形模板、多邊形模板、或橢圓模板；

其中，所述每一個種子根據(jù)圖像的邊緣梯度信息向外生長形成一個子區(qū)域，包括對每一個種子執(zhí)行下述步驟A-F：

步驟A：將所述種子作為起始點(diǎn)，為所述起始點(diǎn)設(shè)置能量值，將所述起始點(diǎn)標(biāo)記為活動點(diǎn)；

步驟B:判斷當(dāng)前是否存在標(biāo)記為活動點(diǎn)的像素，是則執(zhí)行步驟C，否則執(zhí)行步驟F；

步驟C：對任意一個標(biāo)記為活動點(diǎn)的像素A，判斷所述像素A的上、下、左、右四個相鄰點(diǎn)中是否存在未檢查過的像素B，是則執(zhí)行步驟D，否則執(zhí)行步驟E；

步驟D：對任意一個未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標(biāo)記為新的活動點(diǎn)，將所述像素B的能量值設(shè)置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小于或等于所述像素A的能量值；

步驟E：判定所述像素A已經(jīng)完成生長，去除所述像素A的活動點(diǎn)標(biāo)記，將所述像素A歸入前景點(diǎn)集合，返回步驟B；

步驟F:由所述前景點(diǎn)集合中的所有像素構(gòu)成的子區(qū)域是所述種子根據(jù)圖像的邊緣梯度信息向外生長形成的子區(qū)域。

在本實(shí)施例中，將所述勾勒軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述勾勒軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域，包括：

在所述勾勒軌跡已經(jīng)閉合時，將所述勾勒軌跡所封閉的區(qū)域確定為標(biāo)記區(qū)；在所述勾勒軌跡未閉合時，對所述勾勒軌跡做封閉處理，如果封閉成功，則將封閉后的勾勒軌跡所封閉的區(qū)域確定為標(biāo)記區(qū)，如果封閉不成功，則對所述勾勒軌跡進(jìn)行膨脹處理，將所述膨脹后的區(qū)域確定為標(biāo)記區(qū)；

根據(jù)所述勾勒軌跡的形狀特點(diǎn)套用幾何形狀模板，根據(jù)所述幾何形狀模板生成包含所述勾勒軌跡的感興趣區(qū)域，如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；或者對所述標(biāo)記區(qū)進(jìn)行膨脹處理形成感興趣區(qū)域；

其中，所述幾何形狀模板包括：矩形模板或橢圓模板；

其中，對所述勾勒軌跡做封閉處理，包括：

如果所述勾勒軌跡的起點(diǎn)和終點(diǎn)之間的距離大于或等于閾值，則獲取所述勾勒軌跡的起點(diǎn)和終點(diǎn)之間的區(qū)域中的邊緣線，將所述勾勒軌跡疊加上所述邊緣線；如果所述勾勒軌跡疊加上所述邊緣線能夠形成封閉區(qū)域，則判定封閉成功，如果所述勾勒軌跡疊加上所述邊緣線不能夠形成封閉區(qū)域，則判定封閉失??；

如果所述勾勒軌跡的起點(diǎn)和終點(diǎn)之間的距離小于閾值，則在所述起點(diǎn)和終點(diǎn)之間做線段連接，完成勾勒軌跡的閉合。

在本實(shí)施例中，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，包括：根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第一區(qū)域項(xiàng)分割參數(shù)，所述第一區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述彩色圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的顏色值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類；

在本實(shí)施例中，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，還包括：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第二區(qū)域項(xiàng)分割參數(shù)，所述第二區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述深度圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類；

可選地，所述EM方法的收斂條件可以是：當(dāng)?shù)\(yùn)行的次數(shù)達(dá)到閾值時停止迭代過程；

在本實(shí)施例中，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，還包括：根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項(xiàng)分割參數(shù)：

根據(jù)所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項(xiàng)分割參數(shù)；

其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數(shù)值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第一邊界項(xiàng)分割參數(shù)；

其中，RGB三個顏色通道上的數(shù)值的取值范圍是：0～255；

在本實(shí)施例中，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，還包括：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項(xiàng)分割參數(shù)：

根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項(xiàng)分割參數(shù)；

其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第二邊界項(xiàng)分割參數(shù)；

其中，深度值的數(shù)值范圍可以是：0～255；

可選地，與像素鄰近的各個像素可以是所述像素周邊的8個像素。

在本實(shí)施例中，將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合，包括：將所述第一區(qū)域項(xiàng)分割參數(shù)與所述第二區(qū)域項(xiàng)分割參數(shù)進(jìn)行融合：

對任意一個像素，將所述第一區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)，將所述第二區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)相加的和作為融合后的區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類不相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)中數(shù)值較大者指示的像素分類作為所述像素的最終分類，將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)的差值的絕對值作為融合后的區(qū)域項(xiàng)分割參數(shù)；

在本實(shí)施例中，將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合，還包括：將所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)進(jìn)行融合：

將所述第一邊界項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一邊界項(xiàng)分割參數(shù)，將所述第二邊界項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二邊界項(xiàng)分割參數(shù)，然后將所述調(diào)整后的第一邊界項(xiàng)分割參數(shù)與所述調(diào)整后的第二邊界項(xiàng)分割參數(shù)相加得到所述像素的融合后的邊界項(xiàng)分割參數(shù)；a大于或等于0且小于或等于1；

在本實(shí)施例中，所述權(quán)重a根據(jù)自評價(jià)參數(shù)k1和一致性參數(shù)k2進(jìn)行確定：將自評價(jià)參數(shù)k1和一致性參數(shù)k2的積作為權(quán)重a；

其中，自評價(jià)參數(shù)k1采用以下方式進(jìn)行確定：根據(jù)像素的深度值確定像素對應(yīng)的拍攝距離的遠(yuǎn)近程度，根據(jù)所述拍攝距離的遠(yuǎn)近程度設(shè)置自評價(jià)參數(shù)k1，所述拍攝距離越近，自評價(jià)參數(shù)k1設(shè)置得越大；k1大于或等于0且小于或等于1；

其中，所述一致性參數(shù)k2采用以下方式進(jìn)行確定：

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)相等，則設(shè)置一致性參數(shù)k2為第一常數(shù)；

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不相等，在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)同時大于閾值或同時小于閾值時，設(shè)置一致性參數(shù)k2為第一常數(shù)；在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不同時大于閾值或不同時小于閾值時，設(shè)置一致性參數(shù)k2為第二常數(shù)；所述第一常數(shù)大于所述第二常數(shù)；所述第一常數(shù)大于0且小于或等于1，所述第二常數(shù)大于0且小于1；

在本實(shí)施例中，構(gòu)建無向圖并將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，包括：

構(gòu)建一個無向圖，在所述無向圖的平面外設(shè)置兩個懸空點(diǎn)Q₀和Q₁，所述懸空點(diǎn)Q₀為虛擬前景點(diǎn)，所述懸空點(diǎn)Q₁為虛擬背景點(diǎn)；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點(diǎn)，在前景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₀之間建立連線，在背景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₁之間建立連線；

對掩模圖中的任意一個像素P_i，將所述像素P_i的融合后的區(qū)域項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'的權(quán)值，將所述像素P_i的融合后的邊界項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'與懸空點(diǎn)Q₀或Q₁之間連線的權(quán)值。

在本實(shí)施例中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖，包括：

迭代執(zhí)行以下C步驟和D步驟，在迭代運(yùn)行達(dá)到收斂條件后停止迭代過程，將所述前景點(diǎn)集合Q中的各個像素作為精細(xì)分割后的掩模圖中的前景點(diǎn)；

其中，C步驟和D步驟分別包括以下處理：

C步驟：將無向圖中的一部分像素劃分為與懸空點(diǎn)Q₀同類的前景點(diǎn)，由劃分為前景點(diǎn)的像素構(gòu)成前景點(diǎn)集合Q；

D步驟：計(jì)算所述前景點(diǎn)集合Q的權(quán)值總和，所述權(quán)值總和是所述前景點(diǎn)集合Q中所有前景點(diǎn)的權(quán)值和，再加上所述前景點(diǎn)集合Q中所有前景點(diǎn)與懸空點(diǎn)Q₀之間連線的權(quán)值和；

其中，所述收斂條件是前景點(diǎn)集合Q的權(quán)值總和小于閾值且變化趨于穩(wěn)定。

相關(guān)技術(shù)中，圖像分割算法的輸入掩模圖中的前景點(diǎn)是用戶手動標(biāo)記的，原始圖像上除去前景點(diǎn)后其他的像素均標(biāo)記為背景點(diǎn)，存在前景點(diǎn)標(biāo)記較少且輸入掩模圖尺寸較大導(dǎo)致圖像分割算法為區(qū)分出前景點(diǎn)和背景點(diǎn)的迭代次數(shù)增加，算法運(yùn)行時間長的問題。采用本發(fā)明實(shí)施例的方法后，通過生成標(biāo)記區(qū)的方式自動擴(kuò)充圖像分割算法的輸入掩模圖中標(biāo)記的前景點(diǎn)數(shù)目，通過生成感興趣區(qū)域以替代整幅原始圖像能夠減少圖像分割算法標(biāo)記的背景點(diǎn)數(shù)目，可減少圖像分割算法為區(qū)分出前景點(diǎn)和背景點(diǎn)的迭代次數(shù)，顯著地減少圖像分割算法的運(yùn)行時間。另一方面，本發(fā)明實(shí)施例的技術(shù)方案能夠基于深度圖和彩色圖分別計(jì)算各像素的分割參數(shù)并進(jìn)行參數(shù)融合，利用融合后的分割參數(shù)進(jìn)行圖像分割，相較于相關(guān)技術(shù)中僅僅使用彩色圖進(jìn)行圖像分割，能夠改善圖像分割的效果。

如圖4所示，本發(fā)明實(shí)施例提出一種實(shí)現(xiàn)交互式圖像分割的裝置，包括：

預(yù)處理模塊401，用于檢測到原始圖像上的涂抹軌跡或勾勒軌跡后，將所述涂抹軌跡或勾勒軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡或勾勒軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域，所述感興趣區(qū)域包含所述標(biāo)記區(qū)；生成圖像分割算法的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn)；

分割參數(shù)計(jì)算及融合模塊402，用于獲取包含目標(biāo)對象顏色信息的彩色圖和包含目標(biāo)對象深度信息的深度圖，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異；將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合；

掩模圖調(diào)整模塊403，用于構(gòu)建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖；

輸出模塊404，用于從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對應(yīng)的圖像；

所述裝置還可以包括下述特點(diǎn)：

其中，涂抹和勾勒是兩種不同的標(biāo)記方式；

一般地，涂抹軌跡是在目標(biāo)對象的內(nèi)部區(qū)域進(jìn)行的標(biāo)記，勾勒軌跡是沿著目標(biāo)對象的外部輪廓進(jìn)行的標(biāo)記；

其中，掩模圖是指對一副圖像的部分或全部像素進(jìn)行了前景與背景區(qū)分后生成的標(biāo)記圖，所述掩模圖上的每一個像素被標(biāo)記為前景點(diǎn)或背景點(diǎn)。

在本實(shí)施例中，所述圖像分割算法是GrabCut算法。

在一種實(shí)施方式中，預(yù)處理模塊，用于采用以下方式將所述涂抹軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域：

構(gòu)造所述涂抹軌跡的最小外接矩形，根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)；

為所述涂抹軌跡套用矩形模板，根據(jù)所述矩形模板生成包含所述涂抹軌跡的感興趣區(qū)域(Region of Interest，ROI)，如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；或者對所述標(biāo)記區(qū)進(jìn)行膨脹處理形成感興趣區(qū)域。

其中，所述構(gòu)造所述涂抹軌跡的最小外接矩形，根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)，包括：

根據(jù)所述涂抹軌跡上所有像素的橫縱坐標(biāo)值確定出最大橫坐標(biāo)值x_max、最小橫坐標(biāo)值x_min、最大縱坐標(biāo)值y_max和最小縱坐標(biāo)值y_min；

構(gòu)造所述涂抹軌跡的最小外接矩形，所述最小外接矩形的四個頂點(diǎn)的坐標(biāo)依次是：(x_min,y_max)，(x_min,y_min)，(x_max,y_max)，(x_max,y_min)；

根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)，所述標(biāo)記區(qū)的四個頂點(diǎn)坐標(biāo)依次是：(x_min-a,y_max+a)，(x_min-a,y_min-a)，(x_max+a,y_max+a)，(x_max+a,y_min-a)；其中，a是可調(diào)系數(shù)，a＝L*b，b是常數(shù)；b可以是經(jīng)驗(yàn)值。

在一種實(shí)施方式中，所述預(yù)處理模塊，用于采用以下方式將所述涂抹軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述涂抹軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域：

獲取原始圖像的邊緣梯度信息，從所述涂抹軌跡的像素中選取部分像素作為種子，每一個種子根據(jù)圖像的邊緣梯度信息分別向外生長形成一個子區(qū)域，所有的種子向外生長形成的子區(qū)域合并后形成一個擴(kuò)展區(qū)域，將所述擴(kuò)展區(qū)域作為標(biāo)記區(qū)；

根據(jù)所述涂抹軌跡的形狀特點(diǎn)套用幾何形狀模板，根據(jù)所述幾何形狀模板生成包含所述涂抹軌跡的感興趣區(qū)域，如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；或者對所述標(biāo)記區(qū)進(jìn)行膨脹處理形成感興趣區(qū)域。

其中，所述幾何形狀模板包括：矩形模板、多邊形模板、或橢圓模板；

其中，所述每一個種子根據(jù)圖像的邊緣梯度信息向外生長形成一個子區(qū)域，包括對每一個種子執(zhí)行下述步驟A-F：

步驟A：將所述種子作為起始點(diǎn)，為所述起始點(diǎn)設(shè)置能量值，將所述起始點(diǎn)標(biāo)記為活動點(diǎn)；

步驟B:判斷當(dāng)前是否存在標(biāo)記為活動點(diǎn)的像素，是則執(zhí)行步驟C，否則執(zhí)行步驟F；

步驟C：對任意一個標(biāo)記為活動點(diǎn)的像素A，判斷所述像素A的上、下、左、右四個相鄰點(diǎn)中是否存在未檢查過的像素B，是則執(zhí)行步驟D，否則執(zhí)行步驟E；

步驟D：對任意一個未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標(biāo)記為新的活動點(diǎn)，將所述像素B的能量值設(shè)置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小于或等于所述像素A的能量值；

步驟E：判定所述像素A已經(jīng)完成生長，去除所述像素A的活動點(diǎn)標(biāo)記，將所述像素A歸入前景點(diǎn)集合，返回步驟B；

步驟F:由所述前景點(diǎn)集合中的所有像素構(gòu)成的子區(qū)域是所述種子根據(jù)圖像的邊緣梯度信息向外生長形成的子區(qū)域。

在本實(shí)施例中，預(yù)處理模塊，用于采用以下方式將所述勾勒軌跡的第一鄰接區(qū)域確定為標(biāo)記區(qū)，將所述勾勒軌跡的第二鄰接區(qū)域確定為感興趣區(qū)域：

在所述勾勒軌跡已經(jīng)閉合時，將所述勾勒軌跡所封閉的區(qū)域確定為標(biāo)記區(qū)；在所述勾勒軌跡未閉合時，對所述勾勒軌跡做封閉處理，如果封閉成功，則將封閉后的勾勒軌跡所封閉的區(qū)域確定為標(biāo)記區(qū)，如果封閉不成功，則對所述勾勒軌跡進(jìn)行膨脹處理，將所述膨脹后的區(qū)域確定為標(biāo)記區(qū)；

根據(jù)所述勾勒軌跡的形狀特點(diǎn)套用幾何形狀模板，根據(jù)所述幾何形狀模板生成包含所述勾勒軌跡的感興趣區(qū)域，如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；或者對所述標(biāo)記區(qū)進(jìn)行膨脹處理形成感興趣區(qū)域；

其中，所述幾何形狀模板包括：矩形模板或橢圓模板；

其中，對所述勾勒軌跡做封閉處理，包括：

如果所述勾勒軌跡的起點(diǎn)和終點(diǎn)之間的距離大于或等于閾值，則獲取所述勾勒軌跡的起點(diǎn)和終點(diǎn)之間的區(qū)域中的邊緣線，將所述勾勒軌跡疊加上所述邊緣線；如果所述勾勒軌跡疊加上所述邊緣線能夠形成封閉區(qū)域，則判定封閉成功，如果所述勾勒軌跡疊加上所述邊緣線不能夠形成封閉區(qū)域，則判定封閉失?。?/p>

如果所述勾勒軌跡的起點(diǎn)和終點(diǎn)之間的距離小于閾值，則在所述起點(diǎn)和終點(diǎn)之間做線段連接，完成勾勒軌跡的閉合。

在本實(shí)施例中，分割參數(shù)計(jì)算及融合模塊，用于采用以下方式根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)：根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第一區(qū)域項(xiàng)分割參數(shù)，所述第一區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述彩色圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的顏色值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類；

在本實(shí)施例中，分割參數(shù)計(jì)算及融合模塊，還用于采用以下方式根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第二區(qū)域項(xiàng)分割參數(shù)，所述第二區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述深度圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類；

可選地，所述EM方法的收斂條件可以是：當(dāng)?shù)\(yùn)行的次數(shù)達(dá)到閾值時停止迭代過程；

在本實(shí)施例中，分割參數(shù)計(jì)算及融合模塊，還用于采用以下方式根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)：根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一邊界項(xiàng)分割參數(shù)：

根據(jù)所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項(xiàng)分割參數(shù)；

其中，對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數(shù)值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第一邊界項(xiàng)分割參數(shù)；

其中，RGB三個顏色通道上的數(shù)值的取值范圍是：0～255；

在本實(shí)施例中，分割參數(shù)計(jì)算及融合模塊，還用于采用以下方式根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)：根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二邊界項(xiàng)分割參數(shù)：

根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項(xiàng)分割參數(shù)；

其中，對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第二邊界項(xiàng)分割參數(shù)；

其中，深度值的數(shù)值范圍可以是：0～255；

可選地，與像素鄰近的各個像素可以是所述像素周邊的8個像素。

在本實(shí)施例中，分割參數(shù)計(jì)算及融合模塊，用于采用以下方式將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合：將所述第一區(qū)域項(xiàng)分割參數(shù)與所述第二區(qū)域項(xiàng)分割參數(shù)進(jìn)行融合：

對任意一個像素，將所述第一區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)，將所述第二區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)相加的和作為融合后的區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類不相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)中數(shù)值較大者指示的像素分類作為所述像素的最終分類，將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)的差值的絕對值作為融合后的區(qū)域項(xiàng)分割參數(shù)；

在本實(shí)施例中，分割參數(shù)計(jì)算及融合模塊，還用于采用以下方式將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合：將所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)進(jìn)行融合：

將所述第一邊界項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一邊界項(xiàng)分割參數(shù)，將所述第二邊界項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二邊界項(xiàng)分割參數(shù)，然后將所述調(diào)整后的第一邊界項(xiàng)分割參數(shù)與所述調(diào)整后的第二邊界項(xiàng)分割參數(shù)相加得到所述像素的融合后的邊界項(xiàng)分割參數(shù)；a大于或等于0且小于或等于1；

在本實(shí)施例中，所述權(quán)重a根據(jù)自評價(jià)參數(shù)k1和一致性參數(shù)k2進(jìn)行確定：將自評價(jià)參數(shù)k1和一致性參數(shù)k2的積作為權(quán)重a；

其中，自評價(jià)參數(shù)k1采用以下方式進(jìn)行確定：根據(jù)像素的深度值確定像素對應(yīng)的拍攝距離的遠(yuǎn)近程度，根據(jù)所述拍攝距離的遠(yuǎn)近程度設(shè)置自評價(jià)參數(shù)k1，所述拍攝距離越近，自評價(jià)參數(shù)k1設(shè)置得越大；k1大于或等于0且小于或等于1；

其中，所述一致性參數(shù)k2采用以下方式進(jìn)行確定：

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)相等，則設(shè)置一致性參數(shù)k2為第一常數(shù)；

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不相等，在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)同時大于閾值或同時小于閾值時，設(shè)置一致性參數(shù)k2為第一常數(shù)；在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不同時大于閾值或不同時小于閾值時，設(shè)置一致性參數(shù)k2為第二常數(shù)；所述第一常數(shù)大于所述第二常數(shù)；所述第一常數(shù)大于0且小于或等于1，所述第二常數(shù)大于0且小于1；

在本實(shí)施例中，掩模圖調(diào)整模塊，用于采用以下方式構(gòu)建無向圖并將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中：

構(gòu)建一個無向圖，在所述無向圖的平面外設(shè)置兩個懸空點(diǎn)Q₀和Q₁，所述懸空點(diǎn)Q₀為虛擬前景點(diǎn)，所述懸空點(diǎn)Q₁為虛擬背景點(diǎn)；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點(diǎn)，在前景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₀之間建立連線，在背景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₁之間建立連線；

對掩模圖中的任意一個像素P_i，將所述像素P_i的融合后的區(qū)域項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'的權(quán)值，將所述像素P_i的融合后的邊界項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'與懸空點(diǎn)Q₀或Q₁之間連線的權(quán)值。

在本實(shí)施例中，掩模圖調(diào)整模塊，用于采用以下方式根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖：

迭代執(zhí)行以下C步驟和D步驟，在迭代運(yùn)行達(dá)到收斂條件后停止迭代過程，將所述前景點(diǎn)集合Q中的各個像素作為精細(xì)分割后的掩模圖中的前景點(diǎn)；

其中，C步驟和D步驟分別包括以下處理：

C步驟：將無向圖中的一部分像素劃分為與懸空點(diǎn)Q₀同類的前景點(diǎn)，由劃分為前景點(diǎn)的像素構(gòu)成前景點(diǎn)集合Q；

D步驟：計(jì)算所述前景點(diǎn)集合Q的權(quán)值總和，所述權(quán)值總和是所述前景點(diǎn)集合Q中所有前景點(diǎn)的權(quán)值和，再加上所述前景點(diǎn)集合Q中所有前景點(diǎn)與懸空點(diǎn)Q₀之間連線的權(quán)值和；

其中，所述收斂條件是前景點(diǎn)集合Q的權(quán)值總和小于閾值且變化趨于穩(wěn)定。

本發(fā)明實(shí)施例的方法，通過生成標(biāo)記區(qū)的方式自動擴(kuò)充圖像分割算法的輸入掩模圖中標(biāo)記的前景點(diǎn)數(shù)目，通過生成感興趣區(qū)域以替代整幅原始圖像能夠減少圖像分割算法標(biāo)記的背景點(diǎn)數(shù)目，可減少圖像分割算法為區(qū)分出前景點(diǎn)和背景點(diǎn)的迭代次數(shù)，顯著地減少圖像分割算法的運(yùn)行時間。另一方面，本發(fā)明實(shí)施例的技術(shù)方案能夠基于深度圖和彩色圖分別計(jì)算各像素的分割參數(shù)并進(jìn)行參數(shù)融合，利用融合后的分割參數(shù)進(jìn)行圖像分割，相較于相關(guān)技術(shù)中僅僅使用彩色圖進(jìn)行圖像分割，能夠改善圖像分割的效果。

實(shí)施例3

本發(fā)明實(shí)施例還提供一種終端，所述終端包括上述實(shí)現(xiàn)交互式圖像分割的裝置。

應(yīng)用示例1

用戶在原始圖像上對自己感興趣的目標(biāo)對象進(jìn)行了涂抹，采用本文的預(yù)處理方法對圖像進(jìn)行預(yù)處理，可以包括以下步驟：

步驟S501，檢測到用戶選擇采用涂抹的方式對目標(biāo)對象進(jìn)行標(biāo)記；

比如，界面上提供兩個用于標(biāo)記的按鍵，一個是“涂抹”，一個是“勾勒”，如果用戶點(diǎn)選了“涂抹”按鍵，則對涂抹軌跡進(jìn)行預(yù)處理。

步驟S502，檢測到用戶在原始圖像上進(jìn)行涂抹；

比如，如圖5-a所示，用戶在原始圖像上進(jìn)行了涂抹，目標(biāo)對象是“訂書機(jī)”，其中，原始圖像是彩色圖；

步驟S503，構(gòu)造所述涂抹軌跡的最小外接矩形，根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)；為所述涂抹軌跡套用矩形模板，根據(jù)所述矩形模板生成包含所述涂抹軌跡的感興趣區(qū)域；如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；

其中，所述構(gòu)造所述涂抹軌跡的最小外接矩形，根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)，包括：

根據(jù)所述涂抹軌跡上所有像素的橫縱坐標(biāo)值確定出最大橫坐標(biāo)值x_max、最小橫坐標(biāo)值x_min、最大縱坐標(biāo)值y_max和最小縱坐標(biāo)值y_min；

構(gòu)造所述涂抹軌跡的最小外接矩形，所述最小外接矩形的四個頂點(diǎn)的坐標(biāo)依次是：(x_min,y_max)，(x_min,y_min)，(x_max,y_max)，(x_max,y_min)；

根據(jù)所述涂抹軌跡的長度L對所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū)，所述標(biāo)記區(qū)的四個頂點(diǎn)坐標(biāo)依次是：(x_min-a,y_max+a)，(x_min-a,y_min-a)，(x_max+a,y_max+a)，(x_max+a,y_min-a)；其中，a是可調(diào)系數(shù)，a＝L*b，b是常數(shù)；

比如，如圖5-b所示，涂抹軌跡對應(yīng)的標(biāo)記區(qū)是包含所述涂抹軌跡的第一個矩形區(qū)域，感興趣區(qū)域是包含所述標(biāo)記區(qū)的第二個矩形區(qū)域，所述感興趣區(qū)域的邊框用虛線表示。

步驟S504，生成圖像分割算法(GrabCut算法)的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為掩模圖中的背景點(diǎn)。

比如，如圖5-c所示，包含涂抹軌跡的矩形深色區(qū)域是標(biāo)記區(qū)，所述標(biāo)記區(qū)是掩模圖(輸入掩模圖)中的前景點(diǎn)區(qū)塊；感興趣區(qū)域的邊緣用虛線框進(jìn)行表示，所述虛線框內(nèi)除去標(biāo)記區(qū)(前景點(diǎn)區(qū)塊)的部分是掩模圖中的背景點(diǎn)區(qū)塊。

步驟S505，獲取彩色圖，以及包含目標(biāo)對象深度信息的深度圖；

如圖5-a所示，用戶進(jìn)行涂抹的原始圖像是彩色圖；

如圖5-f所示，深度圖是包含深度信息的一張圖，與彩色圖的尺寸大小一致；深度圖中，顏色較深的部分拍攝距離較遠(yuǎn)，顏色較淺的部分拍攝距離較近。

步驟S506，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異；將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合；

其中，對所述掩模圖上任意一個像素，所述像素的分割參數(shù)包括區(qū)域項(xiàng)分割參數(shù)和邊界項(xiàng)分割參數(shù)；所述像素的區(qū)域項(xiàng)分割參數(shù)是指所述像素判決為前景點(diǎn)或背景點(diǎn)的概率；所述像素的邊界項(xiàng)分割參數(shù)是指所述像素與相鄰像素的數(shù)值差異；

其中，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行此處達(dá)到指定次數(shù)后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第一區(qū)域項(xiàng)分割參數(shù)，所述第一區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述彩色圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的顏色值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類；

其中，各個像素的顏色值可以是RGB值；

其中，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二區(qū)域項(xiàng)分割參數(shù)：

按EM方法進(jìn)行高斯混合模型GMM計(jì)算，所述EM方法包括E步驟和M步驟；迭代運(yùn)行E步驟和M步驟，在所述迭代運(yùn)行次數(shù)達(dá)到指定次數(shù)后停止所述迭代過程；將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類，將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個簇的最大概率值P_max確定為所述像素的第二區(qū)域項(xiàng)分割參數(shù)，所述第二區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述深度圖判決為前景點(diǎn)或背景點(diǎn)的概率；

其中，所述E步驟和M步驟分別包括以下處理：

E步驟：根據(jù)所述掩模圖上各個像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個或多個簇，確定各個簇的GMM模型；其中，像素的分類包括前景點(diǎn)或背景點(diǎn)；簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇；

M步驟：根據(jù)各個簇的GMM模型確定每一個像素歸屬于各個簇的概率，對任意一個像素，根據(jù)所述像素的最大概率值P_max對應(yīng)的簇確定所述像素的分類；

其中，根據(jù)所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項(xiàng)分割參數(shù)，包括：對任意一個像素，將RGB三個顏色通道上所述像素與鄰近的各個像素之間的數(shù)值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第一邊界項(xiàng)分割參數(shù)；

其中，RGB三個顏色通道上的數(shù)值的取值范圍是：0～255；

其中，根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項(xiàng)分割參數(shù)，包括：對任意一個像素，將所述像素與鄰近的各個像素之間的深度值差值絕對值進(jìn)行累加，再對累加和進(jìn)行歸一化處理，得到歸一化后的累加和作為所述像素的第二邊界項(xiàng)分割參數(shù)；

其中，深度值的數(shù)值范圍可以是：0～255；

可選地，與像素鄰近的各個像素可以是所述像素周邊的8個像素。

其中，將基于所述彩色圖確定出的第一區(qū)域項(xiàng)分割參數(shù)與基于所述深度圖確定出的第二區(qū)域項(xiàng)分割參數(shù)進(jìn)行融合，包括：

對任意一個像素，將所述第一區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)，將所述第二區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)相加的和作為融合后的區(qū)域項(xiàng)分割參數(shù)；

如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類不相同，則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)中數(shù)值較大者指示的像素分類作為所述像素的最終分類，將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)的差值的絕對值作為融合后的區(qū)域項(xiàng)分割參數(shù)；

其中，將基于所述彩色圖確定出的第一邊界項(xiàng)分割參數(shù)與基于所述深度圖確定出的第二邊界項(xiàng)分割參數(shù)進(jìn)行融合，包括：

將所述第一邊界項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一邊界項(xiàng)分割參數(shù)，將所述第二邊界項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二邊界項(xiàng)分割參數(shù)，然后將所述調(diào)整后的第一邊界項(xiàng)分割參數(shù)與所述調(diào)整后的第二邊界項(xiàng)分割參數(shù)相加得到所述像素的融合后的邊界項(xiàng)分割參數(shù)；a大于或等于0且小于或等于1；

其中，所述權(quán)重a根據(jù)自評價(jià)參數(shù)k1和一致性參數(shù)k2進(jìn)行確定：將自評價(jià)參數(shù)k1和一致性參數(shù)k2的積作為權(quán)重a；

其中，自評價(jià)參數(shù)k1采用以下方式進(jìn)行確定：根據(jù)像素的深度值確定像素對應(yīng)的拍攝距離的遠(yuǎn)近程度，根據(jù)所述拍攝距離的遠(yuǎn)近程度設(shè)置自評價(jià)參數(shù)k1，所述拍攝距離越近，自評價(jià)參數(shù)k1設(shè)置得越大；k1大于或等于0且小于或等于1；

其中，所述一致性參數(shù)k2采用以下方式進(jìn)行確定：

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)相等，則設(shè)置一致性參數(shù)k2為第一常數(shù)；

如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不相等，在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)同時大于閾值或同時小于閾值時，設(shè)置一致性參數(shù)k2為第一常數(shù)；在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不同時大于閾值或不同時小于閾值時，設(shè)置一致性參數(shù)k2為第二常數(shù)；所述第一常數(shù)大于所述第二常數(shù)；所述第一常數(shù)大于0且小于或等于1，所述第二常數(shù)大于0且小于1；

步驟S507，構(gòu)建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖；

其中，無向圖如圖5-g所示，在所述無向圖的平面外設(shè)置兩個懸空點(diǎn)Q₀和Q₁，所述懸空點(diǎn)Q₀為虛擬前景點(diǎn)，所述懸空點(diǎn)Q₁為虛擬背景點(diǎn)；在所述無向圖的平面上建立所述掩模圖上各個像素的映射點(diǎn)，在前景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₀之間建立連線，在背景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q₁之間建立連線；

對掩模圖中的任意一個像素P_i，將所述像素P_i的融合后的區(qū)域項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'的權(quán)值，將所述像素P_i的融合后的邊界項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)P_i'與懸空點(diǎn)Q₀或Q₁之間連線的權(quán)值。

根據(jù)所述無向圖運(yùn)行最小割MinCut-最大流MaxFlow算法，獲得精細(xì)分割后的掩模圖，包括：

迭代執(zhí)行以下C步驟和D步驟，在迭代運(yùn)行達(dá)到收斂條件后停止迭代過程，將所述前景點(diǎn)集合Q中的各個像素作為精細(xì)分割后的掩模圖中的前景點(diǎn)；

其中，C步驟和D步驟分別包括以下處理：

C步驟：將無向圖中的一部分像素劃分為與懸空點(diǎn)Q₀同類的前景點(diǎn)，由劃分為前景點(diǎn)的像素構(gòu)成前景點(diǎn)集合Q；

D步驟：計(jì)算所述前景點(diǎn)集合Q的權(quán)值總和，所述權(quán)值總和是所述前景點(diǎn)集合Q中所有前景點(diǎn)的權(quán)值和，再加上所述前景點(diǎn)集合Q中所有前景點(diǎn)與懸空點(diǎn)Q₀之間連線的權(quán)值和；

其中，所述收斂條件是前景點(diǎn)集合Q的權(quán)值總和小于閾值且變化趨于穩(wěn)定。

其中，精細(xì)分割后的掩模圖如圖5-h所示，與初始的掩模圖相比，精細(xì)分割后的掩模圖的前景點(diǎn)與背景點(diǎn)之間的邊界更加清楚、細(xì)致。

步驟S508，從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對應(yīng)的圖像。

其中，根據(jù)精細(xì)分割后的掩模圖從所述原始的彩色圖中分割出目標(biāo)對象，分割出的“訂書機(jī)”圖像如圖5-i所示。

本應(yīng)用示例通過將涂抹軌跡擴(kuò)展成的第一矩形鄰接區(qū)域確定為標(biāo)記區(qū)，將標(biāo)記區(qū)中的所有像素標(biāo)記為前景點(diǎn)，能夠自動擴(kuò)充圖像分割算法的輸入掩模圖中標(biāo)記的前景點(diǎn)數(shù)目，通過將涂抹軌跡擴(kuò)展成的第二矩形鄰接區(qū)域確定為感興趣區(qū)域，將感興趣區(qū)域中標(biāo)記區(qū)外的像素標(biāo)記為背景點(diǎn)，能夠減少圖像分割算法的輸入掩模圖中標(biāo)記的背景點(diǎn)數(shù)目，上述處理可減少圖像分割算法為區(qū)分出前景點(diǎn)和背景點(diǎn)的迭代次數(shù)，顯著地減少圖像分割算法的運(yùn)行時間。另一方面，本應(yīng)用示例的技術(shù)方案能夠基于深度圖和彩色圖分別計(jì)算各像素的分割參數(shù)并進(jìn)行參數(shù)融合，利用融合后的分割參數(shù)進(jìn)行圖像分割，相較于相關(guān)技術(shù)中僅僅使用彩色圖進(jìn)行圖像分割，能夠改善圖像分割的效果。

應(yīng)用示例2

用戶在原始圖像上對自己感興趣的目標(biāo)對象進(jìn)行了涂抹，采用本文的預(yù)處理方法對圖像進(jìn)行預(yù)處理，可以包括以下步驟：

步驟S601，檢測到用戶選擇采用涂抹的方式對目標(biāo)對象進(jìn)行標(biāo)記；

比如，界面上提供兩個用于標(biāo)記的按鍵，一個是“涂抹”，一個是“勾勒”，如果用戶點(diǎn)選了“涂抹”按鍵，則對涂抹軌跡進(jìn)行預(yù)處理。

步驟S602，檢測到用戶在原始圖像上進(jìn)行涂抹；

比如，如圖5-a所示，用戶在原始圖像上進(jìn)行了涂抹，目標(biāo)對象是“訂書機(jī)”；

步驟S603，獲取原始圖像的邊緣梯度信息，從所述涂抹軌跡的像素中選取部分像素作為種子，每一個種子根據(jù)圖像的邊緣梯度信息分別向外生長形成一個子區(qū)域，所有的種子向外生長形成的子區(qū)域合并后形成一個擴(kuò)展區(qū)域，將所述擴(kuò)展區(qū)域作為標(biāo)記區(qū)；根據(jù)所述涂抹軌跡的形狀特點(diǎn)套用幾何形狀模板，根據(jù)所述幾何形狀模板生成包含所述涂抹軌跡的感興趣區(qū)域；如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；

其中，如圖6-a所示，可以采用種子生長方法由所述涂抹軌跡生長出標(biāo)記區(qū)；套用矩形模板生成包含所述涂抹軌跡的感興趣區(qū)域；

其中，所述每一個種子根據(jù)圖像的邊緣梯度信息向外生長形成一個子區(qū)域，包括對每一個種子執(zhí)行下述步驟A-F：

步驟A：將所述種子作為起始點(diǎn)，為所述起始點(diǎn)設(shè)置能量值，將所述起始點(diǎn)標(biāo)記為活動點(diǎn)；

步驟B:判斷當(dāng)前是否存在標(biāo)記為活動點(diǎn)的像素，是則執(zhí)行步驟C，否則執(zhí)行步驟F；

步驟C：對任意一個標(biāo)記為活動點(diǎn)的像素A，判斷所述像素A的上、下、左、右四個相鄰點(diǎn)中是否存在未檢查過的像素B，是則執(zhí)行步驟D，否則執(zhí)行步驟E；

步驟D：對任意一個未檢查過的像素B，如果所述像素B滿足生長條件，則將所述像素B標(biāo)記為新的活動點(diǎn)，將所述像素B的能量值設(shè)置為像素A的能量值減去像素B的邊緣梯度值得到的差值，返回步驟C；如果所述像素B不滿足生長條件，則返回步驟C；其中，所述生長條件是：所述像素B的邊緣梯度值小于或等于所述像素A的能量值；

步驟E：判定所述像素A已經(jīng)完成生長，去除所述像素A的活動點(diǎn)標(biāo)記，將所述像素A歸入前景點(diǎn)集合，返回步驟B；

步驟F:由所述前景點(diǎn)集合中的所有像素構(gòu)成的子區(qū)域是所述種子根據(jù)圖像的邊緣梯度信息向外生長形成的子區(qū)域；

對一個種子的生長情況做如下的說明：

如附圖6-b-1所示，在邊緣梯度圖上，“陡峭2”代表像素的邊緣梯度值為2，梯度值較大，屬于陡峭類，“平緩1”代表像素的邊緣梯度值為1，梯度值較小，屬于平緩類。

種子作為起始點(diǎn)O，將其標(biāo)記為活動點(diǎn)，用“*”表示活動點(diǎn)；起始點(diǎn)O的能量值可以設(shè)定為4；起始點(diǎn)O的能量值設(shè)置的不同可以影響到生長區(qū)域的大小，能量值越大，生長的區(qū)域越大。

如附圖6-b-2所示，當(dāng)起始點(diǎn)O準(zhǔn)備向右生長時，右邊相鄰像素的邊緣梯度值為1，符合生長條件，所以，將起始點(diǎn)O右邊的第一個像素標(biāo)記為新的活動點(diǎn)，所述新的活動點(diǎn)的能量值是起始點(diǎn)O的能量值(4)減去所述相鄰像素的邊緣梯度值(1)得到的差(3)。用同樣的方法，將起始點(diǎn)O上、下、左、右四個方向的相鄰像素逐一進(jìn)行檢查，符合生長條件的相鄰像素成為新的活動點(diǎn)，起始點(diǎn)O相鄰的四個像素均滿足生長條件，被標(biāo)記為新的活動點(diǎn)。在起始點(diǎn)O完成檢查后，將所述起始點(diǎn)O的活動點(diǎn)標(biāo)志移除。

對每一個新標(biāo)記的活動點(diǎn)，采用與起始點(diǎn)O同樣的生長方法，能夠向外擴(kuò)展新的活動點(diǎn)。所有活動點(diǎn)停止生長后的子區(qū)域的示意圖如附圖6-b-3所示。

步驟S604，生成圖像分割算法(GrabCut算法)的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為掩模圖中的背景點(diǎn)。

比如，如圖6-c所示，包含涂抹軌跡的不規(guī)則深色區(qū)域是標(biāo)記區(qū)，所述標(biāo)記區(qū)是掩模圖(輸入掩模圖)中的前景點(diǎn)區(qū)塊；感興趣區(qū)域的邊緣用虛線框進(jìn)行表示，所述虛線框內(nèi)除去標(biāo)記區(qū)(前景點(diǎn)區(qū)塊)的部分是掩模圖中的背景點(diǎn)區(qū)塊。

步驟S605，獲取彩色圖，以及包含目標(biāo)對象深度信息的深度圖；

其中，用戶進(jìn)行涂抹的原始圖像是彩色圖；深度圖是包含深度信息的一張圖，與彩色圖的尺寸大小一致；深度圖中，顏色較深的部分拍攝距離較遠(yuǎn)，顏色較淺的部分拍攝距離較近。

步驟S606，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異；將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合；

其中，具體計(jì)算所述掩模圖上各個像素的第一分割參數(shù)、第二分割參數(shù)以及對兩種分割參數(shù)進(jìn)行融合的方法與應(yīng)用示例1的步驟S506中描述的相關(guān)方法相同；

步驟S607，構(gòu)建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖；

其中，具體構(gòu)建無向圖以及將分割參數(shù)映射到所述無向圖中的方法，以及根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理的方法，與應(yīng)用示例1的步驟S507中描述的相關(guān)方法相同；

其中，精細(xì)分割后的掩模圖與初始的掩模圖相比，精細(xì)分割后的掩模圖的前景點(diǎn)與背景點(diǎn)之間的邊界更加清楚、細(xì)致。

步驟S608，從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對應(yīng)的圖像。

其中，根據(jù)精細(xì)分割后的掩模圖可以從所述原始的彩色圖中分割出目標(biāo)對象“訂書機(jī)”。

本應(yīng)用示例通過將涂抹軌跡作為種子生長成的鄰接區(qū)域確定為標(biāo)記區(qū)，將標(biāo)記區(qū)中的所有像素標(biāo)記為前景點(diǎn)，能夠自動擴(kuò)充圖像分割算法的輸入掩模圖中標(biāo)記的前景點(diǎn)數(shù)目，通過將涂抹軌跡的矩形鄰接區(qū)域確定為感興趣區(qū)域，將感興趣區(qū)域中標(biāo)記區(qū)外的像素標(biāo)記為背景點(diǎn)，能夠減少圖像分割算法的輸入掩模圖中標(biāo)記的背景點(diǎn)數(shù)目，上述處理可減少圖像分割算法為區(qū)分出前景點(diǎn)和背景點(diǎn)的迭代次數(shù)，顯著地減少圖像分割算法的運(yùn)行時間。另一方面，本應(yīng)用示例的技術(shù)方案能夠基于深度圖和彩色圖分別計(jì)算各像素的分割參數(shù)并進(jìn)行參數(shù)融合，利用融合后的分割參數(shù)進(jìn)行圖像分割，相較于相關(guān)技術(shù)中僅僅使用彩色圖進(jìn)行圖像分割，能夠改善圖像分割的效果。

應(yīng)用示例3

用戶在原始圖像上對自己感興趣的目標(biāo)對象進(jìn)行了勾勒，采用本文的預(yù)處理方法對圖像進(jìn)行預(yù)處理，可以包括以下步驟：

用戶在原始圖像上對自己感興趣的目標(biāo)對象進(jìn)行了勾勒，采用本文的預(yù)處理方法對圖像進(jìn)行預(yù)處理，可以包括以下步驟：

步驟S701，檢測到用戶選擇采用勾勒的方式對目標(biāo)對象進(jìn)行標(biāo)記；

比如，界面上提供兩個用于標(biāo)記的按鍵，一個是“涂抹”，一個是“勾勒”，如果用戶點(diǎn)選了“勾勒”按鍵，則對勾勒軌跡進(jìn)行預(yù)處理。

步驟S702，檢測到用戶在原始圖像上進(jìn)行勾勒；

比如，如圖7-a所示，用戶在原始圖像上進(jìn)行了勾勒，目標(biāo)對象是“訂書機(jī)”；

步驟S703，在所述勾勒軌跡已經(jīng)閉合時，將所述勾勒軌跡所封閉的區(qū)域確定為標(biāo)記區(qū)；在所述勾勒軌跡未閉合時，對所述勾勒軌跡做封閉處理，如果封閉成功，則將封閉后的勾勒軌跡所封閉的區(qū)域確定為標(biāo)記區(qū)，如果封閉不成功，則對所述勾勒軌跡進(jìn)行膨脹處理，將所述膨脹后的區(qū)域確定為標(biāo)記區(qū)；根據(jù)所述勾勒軌跡的形狀特點(diǎn)套用幾何形狀模板，根據(jù)所述幾何形狀模板生成包含所述勾勒軌跡的感興趣區(qū)域；如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū)，則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū)；

其中，如圖7-b所示，如果所述勾勒軌跡的起點(diǎn)和終點(diǎn)之間的距離小于閾值，則在所述起點(diǎn)和終點(diǎn)之間做線段連接，完成勾勒軌跡的閉合，將所述閉合后的勾勒軌跡所封閉的區(qū)域確定為標(biāo)記區(qū)；套用矩形模板生成包含所述勾勒軌跡的感興趣區(qū)域；

步驟S704，生成圖像分割算法(GrabCut算法)的輸入掩模圖：將所述標(biāo)記區(qū)中所有的像素作為GrabCut算法輸入掩模圖中的前景點(diǎn)，將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素標(biāo)記為GrabCut算法輸入掩模圖中的背景點(diǎn)；

比如，如圖7-c所示，勾勒軌跡疊加上線段封閉的不規(guī)則深色區(qū)域是標(biāo)記區(qū)，所述標(biāo)記區(qū)是掩模圖(輸入掩模圖)中的前景點(diǎn)區(qū)塊；感興趣區(qū)域的邊緣用虛線框進(jìn)行表示，所述虛線框內(nèi)除去標(biāo)記區(qū)(前景點(diǎn)區(qū)塊)的部分是掩模圖中的背景點(diǎn)區(qū)塊；

步驟S705，獲取彩色圖，以及包含目標(biāo)對象深度信息的深度圖；

其中，用戶進(jìn)行勾勒的原始圖像是彩色圖；深度圖是包含深度信息的一張圖，與彩色圖的尺寸大小一致；深度圖中，顏色較深的部分拍攝距離較遠(yuǎn)，顏色較淺的部分拍攝距離較近。

步驟S706，根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個像素的第一分割參數(shù)，根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個像素的第二分割參數(shù)，所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異；將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合；

其中，具體計(jì)算所述掩模圖上各個像素的第一分割參數(shù)、第二分割參數(shù)以及對兩種分割參數(shù)進(jìn)行融合的方法與應(yīng)用示例1的步驟S506中描述的相關(guān)方法相同；

步驟S707，構(gòu)建無向圖，將所述掩模圖中的每一個像素的融合后的分割參數(shù)映射到所述無向圖中，根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理，獲得精細(xì)分割后的掩模圖；

其中，具體構(gòu)建無向圖以及將分割參數(shù)映射到所述無向圖中的方法，以及根據(jù)最小割-最大流算法對所述無向圖進(jìn)行處理的方法，與應(yīng)用示例1的步驟S507中描述的相關(guān)方法相同；

其中，精細(xì)分割后的掩模圖與初始的掩模圖相比，精細(xì)分割后的掩模圖的前景點(diǎn)與背景點(diǎn)之間的邊界更加清楚、細(xì)致。

步驟S708，從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對應(yīng)的圖像。

其中，根據(jù)精細(xì)分割后的掩模圖可以從所述原始的彩色圖中分割出目標(biāo)對象“訂書機(jī)”。

本應(yīng)用示例通過將勾勒軌跡封閉的區(qū)域確定為標(biāo)記區(qū)，將標(biāo)記區(qū)中的所有像素標(biāo)記為前景點(diǎn)，能夠自動擴(kuò)充圖像分割算法的輸入掩模圖中標(biāo)記的前景點(diǎn)數(shù)目，通過將勾勒軌跡的矩形鄰接區(qū)域確定為感興趣區(qū)域，將感興趣區(qū)域中標(biāo)記區(qū)外的像素標(biāo)記為背景點(diǎn)，能夠減少圖像分割算法的輸入掩模圖中標(biāo)記的背景點(diǎn)數(shù)目，通過上述處理可減少圖像分割算法為區(qū)分出前景點(diǎn)和背景點(diǎn)的迭代次數(shù)，顯著地減少圖像分割算法的運(yùn)行時間。另一方面，本應(yīng)用示例的技術(shù)方案能夠基于深度圖和彩色圖分別計(jì)算各像素的分割參數(shù)并進(jìn)行參數(shù)融合，利用融合后的分割參數(shù)進(jìn)行圖像分割，相較于相關(guān)技術(shù)中僅僅使用彩色圖進(jìn)行圖像分割，能夠改善圖像分割的效果。

需要說明的是，在本文中，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者裝置中還存在另外的相同要素。

上述本發(fā)明實(shí)施例序號僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實(shí)施方式。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，所述計(jì)算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)(如ROM/RAM、磁碟、光盤)中，包括若干指令用以使得一臺終端設(shè)備(可以是手機(jī)，計(jì)算機(jī)，服務(wù)器，空調(diào)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述的方法。

以上僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。