1.一種實(shí)現(xiàn)交互式圖像分割的方法,包括:
檢測(cè)到原始圖像上的涂抹軌跡后,構(gòu)造包含所述涂抹軌跡的幾何圖形并對(duì)所述幾何圖形進(jìn)行擴(kuò)展形成標(biāo)記區(qū),確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域,所述感興趣區(qū)域包含所述標(biāo)記區(qū);生成圖像分割算法的輸入掩模圖:將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn),將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn);
獲取包含目標(biāo)對(duì)象顏色信息的彩色圖和包含目標(biāo)對(duì)象深度信息的深度圖,根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一分割參數(shù),根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二分割參數(shù),所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異;將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合;
構(gòu)建無向圖,將所述掩模圖中的每一個(gè)像素的融合后的分割參數(shù)映射到所述無向圖中,根據(jù)最小割-最大流算法對(duì)所述無向圖進(jìn)行處理,獲得精細(xì)分割后的掩模圖;
從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對(duì)應(yīng)的圖像。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于:
根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一分割參數(shù),包括:根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一區(qū)域項(xiàng)分割參數(shù):
按EM方法進(jìn)行高斯混合模型GMM計(jì)算,所述EM方法包括E步驟和M步驟;迭代運(yùn)行E步驟和M步驟,在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程;將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類,將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個(gè)簇的最大概率值Pmax確定為所述像素的第一區(qū)域項(xiàng)分割參數(shù),所述第一區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述彩色圖判決為前景點(diǎn)或背景點(diǎn)的概率;
其中,所述E步驟和M步驟分別包括以下處理:
E步驟:根據(jù)所述掩模圖上各個(gè)像素的顏色值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個(gè)或多個(gè)簇,確定各個(gè)簇的GMM模型;其中,像素的分類包括前景點(diǎn)或背景點(diǎn);簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇;
M步驟:根據(jù)各個(gè)簇的GMM模型確定每一個(gè)像素歸屬于各個(gè)簇的概率,對(duì)任意一個(gè)像素,根據(jù)所述像素的最大概率值Pmax對(duì)應(yīng)的簇確定所述像素的分類;
根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二分割參數(shù),還包括:根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二區(qū)域項(xiàng)分割參數(shù):
按EM方法進(jìn)行高斯混合模型GMM計(jì)算,所述EM方法包括E步驟和M步驟;迭代運(yùn)行E步驟和M步驟,在所述迭代運(yùn)行達(dá)到收斂條件后停止所述迭代過程;將最后一次執(zhí)行M步驟獲得的所述像素的分類確定為所述像素的分類,將最后一次執(zhí)行M步驟獲得的所述像素歸屬于某個(gè)簇的最大概率值Pmax確定為所述像素的第二區(qū)域項(xiàng)分割參數(shù),所述第二區(qū)域項(xiàng)分割參數(shù)是所述像素基于所述深度圖判決為前景點(diǎn)或背景點(diǎn)的概率;
其中,所述E步驟和M步驟分別包括以下處理:
E步驟:根據(jù)所述掩模圖上各個(gè)像素的深度值以及像素之間的位置關(guān)系通過聚簇將同種類型的像素聚成一個(gè)或多個(gè)簇,確定各個(gè)簇的GMM模型;其中,像素的分類包括前景點(diǎn)或背景點(diǎn);簇的分類包括前景點(diǎn)簇或背景點(diǎn)簇;
M步驟:根據(jù)各個(gè)簇的GMM模型確定每一個(gè)像素歸屬于各個(gè)簇的概率,對(duì)任意一個(gè)像素,根據(jù)所述像素的最大概率值Pmax對(duì)應(yīng)的簇確定所述像素的分類。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于:
根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一分割參數(shù),還包括:根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一邊界項(xiàng)分割參數(shù):
根據(jù)所述像素與相鄰像素的顏色差異確定所述像素的第一邊界項(xiàng)分割參數(shù);
其中,對(duì)任意一個(gè)像素,將RGB三個(gè)顏色通道上所述像素與鄰近的各個(gè)像素之間的數(shù)值差值絕對(duì)值進(jìn)行累加,再對(duì)累加和進(jìn)行歸一化處理,得到歸一化后的累加和作為所述像素的第一邊界項(xiàng)分割參數(shù);
根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二分割參數(shù),還包括:根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二邊界項(xiàng)分割參數(shù):
根據(jù)所述像素與相鄰像素的深度值差異確定所述像素的第二邊界項(xiàng)分割參數(shù);
其中,對(duì)任意一個(gè)像素,將所述像素與鄰近的各個(gè)像素之間的深度值差值絕對(duì)值進(jìn)行累加,再對(duì)累加和進(jìn)行歸一化處理,得到歸一化后的累加和作為所述像素的第二邊界項(xiàng)分割參數(shù)。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于:
將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合,包括:將所述第一區(qū)域項(xiàng)分割參數(shù)與所述第二區(qū)域項(xiàng)分割參數(shù)進(jìn)行融合:
對(duì)任意一個(gè)像素,將所述第一區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù),將所述第二區(qū)域項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù);
如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類相同,則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)相加的和作為融合后的區(qū)域項(xiàng)分割參數(shù);
如果所述第一區(qū)域項(xiàng)分割參數(shù)指示的像素分類與所述第二區(qū)域項(xiàng)分割參數(shù)指示的像素分類不相同,則將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)中數(shù)值較大者指示的像素分類作為所述像素的最終分類,將所述調(diào)整后的第一區(qū)域項(xiàng)分割參數(shù)與所述調(diào)整后的第二區(qū)域項(xiàng)分割參數(shù)的差值的絕對(duì)值作為融合后的區(qū)域項(xiàng)分割參數(shù);
將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合,還包括:將所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)進(jìn)行融合:
將所述第一邊界項(xiàng)分割參數(shù)乘以權(quán)重(1-a)得到調(diào)整后的第一邊界項(xiàng)分割參數(shù),將所述第二邊界項(xiàng)分割參數(shù)乘以權(quán)重a得到調(diào)整后的第二邊界項(xiàng)分割參數(shù),然后將所述調(diào)整后的第一邊界項(xiàng)分割參數(shù)與所述調(diào)整后的第二邊界項(xiàng)分割參數(shù)相加得到所述像素的融合后的邊界項(xiàng)分割參數(shù);a大于或等于0且小于或等于1。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于:
所述權(quán)重a根據(jù)自評(píng)價(jià)參數(shù)k1和一致性參數(shù)k2進(jìn)行確定:將自評(píng)價(jià)參數(shù)k1和一致性參數(shù)k2的積作為權(quán)重a;
其中,自評(píng)價(jià)參數(shù)k1采用以下方式進(jìn)行確定:根據(jù)像素的深度值確定像素對(duì)應(yīng)的拍攝距離的遠(yuǎn)近程度,根據(jù)所述拍攝距離的遠(yuǎn)近程度設(shè)置自評(píng)價(jià)參數(shù)k1,所述拍攝距離越近,自評(píng)價(jià)參數(shù)k1設(shè)置得越大;k1大于或等于0且小于或等于1;
其中,所述一致性參數(shù)k2采用以下方式進(jìn)行確定:
如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)相等,則設(shè)置一致性參數(shù)k2為第一常數(shù);
如果所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不相等,在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)同時(shí)大于閾值或同時(shí)小于閾值時(shí),設(shè)置一致性參數(shù)k2為第一常數(shù);在所述第一邊界項(xiàng)分割參數(shù)與所述第二邊界項(xiàng)分割參數(shù)不同時(shí)大于閾值或不同時(shí)小于閾值時(shí),設(shè)置一致性參數(shù)k2為第二常數(shù);所述第一常數(shù)大于所述第二常數(shù);所述第一常數(shù)大于0且小于或等于1,所述第二常數(shù)大于0且小于1。
6.根據(jù)權(quán)利要求1所述的方法,其特征在于:
構(gòu)建無向圖并將所述掩模圖中的每一個(gè)像素的融合后的分割參數(shù)映射到所述無向圖中,包括:
構(gòu)建一個(gè)無向圖,在所述無向圖的平面外設(shè)置兩個(gè)懸空點(diǎn)Q0和Q1,所述懸空點(diǎn)Q0為虛擬前景點(diǎn),所述懸空點(diǎn)Q1為虛擬背景點(diǎn);在所述無向圖的平面上建立所述掩模圖上各個(gè)像素的映射點(diǎn),在前景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q0之間建立連線,在背景點(diǎn)的映射點(diǎn)與所述懸空點(diǎn)Q1之間建立連線;
對(duì)掩模圖中的任意一個(gè)像素Pi,將所述像素Pi的融合后的區(qū)域項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)Pi'的權(quán)值,將所述像素Pi的融合后的邊界項(xiàng)分割參數(shù)作為所述無向圖中映射點(diǎn)Pi'與懸空點(diǎn)Q0或Q1之間連線的權(quán)值;
根據(jù)最小割-最大流算法對(duì)所述無向圖進(jìn)行處理,獲得精細(xì)分割后的掩模圖,包括:
迭代執(zhí)行以下C步驟和D步驟,在迭代運(yùn)行達(dá)到收斂條件后停止迭代過程,將所述前景點(diǎn)集合Q中的各個(gè)像素作為精細(xì)分割后的掩模圖中的前景點(diǎn);
其中,C步驟和D步驟分別包括以下處理:
C步驟:將無向圖中的一部分像素劃分為與懸空點(diǎn)Q0同類的前景點(diǎn),由劃分為前景點(diǎn)的像素構(gòu)成前景點(diǎn)集合Q;
D步驟:計(jì)算所述前景點(diǎn)集合Q的權(quán)值總和,所述權(quán)值總和是所述前景點(diǎn)集合Q中所有前景點(diǎn)的權(quán)值和,再加上所述前景點(diǎn)集合Q中所有前景點(diǎn)與懸空點(diǎn)Q0之間連線的權(quán)值和;
其中,所述收斂條件是前景點(diǎn)集合Q的權(quán)值總和小于閾值且變化趨于穩(wěn)定。
7.根據(jù)權(quán)利要求1所述的方法,其特征在于:
構(gòu)造包含所述涂抹軌跡的幾何圖形并對(duì)所述幾何圖形進(jìn)行擴(kuò)展形成標(biāo)記區(qū),確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域,包括:
構(gòu)造所述涂抹軌跡的最小外接矩形,根據(jù)所述涂抹軌跡的長(zhǎng)度L對(duì)所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū);
為所述涂抹軌跡套用幾何形狀模板,根據(jù)所述幾何形狀模板生成包含所述涂抹軌跡的感興趣區(qū)域,如果所述感興趣區(qū)域沒有包含所述標(biāo)記區(qū),則將所述感興趣區(qū)域擴(kuò)展至包含所述標(biāo)記區(qū);或者對(duì)所述標(biāo)記區(qū)進(jìn)行膨脹處理形成感興趣區(qū)域。
8.根據(jù)權(quán)利要求7所述的方法,其特征在于:
所述構(gòu)造所述涂抹軌跡的最小外接矩形,根據(jù)所述涂抹軌跡的長(zhǎng)度L對(duì)所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū),包括:
根據(jù)所述涂抹軌跡上所有像素的橫縱坐標(biāo)值確定出最大橫坐標(biāo)值x_max、最小橫坐標(biāo)值x_min、最大縱坐標(biāo)值y_max和最小縱坐標(biāo)值y_min;
構(gòu)造所述涂抹軌跡的最小外接矩形,所述最小外接矩形的四個(gè)頂點(diǎn)的坐標(biāo)依次是:(x_min,y_max),(x_min,y_min),(x_max,y_max),(x_max,y_min);
根據(jù)所述涂抹軌跡的長(zhǎng)度L對(duì)所述最小外接矩形進(jìn)行擴(kuò)展形成標(biāo)記區(qū),所述標(biāo)記區(qū)的四個(gè)頂點(diǎn)坐標(biāo)依次是:(x_min-a,y_max+a),(x_min-a,y_min-a),(x_max+a,y_max+a),(x_max+a,y_min-a);其中,a是可調(diào)系數(shù),a=L*b,b是常數(shù)。
9.一種實(shí)現(xiàn)交互式圖像分割的裝置,包括:
預(yù)處理模塊,用于檢測(cè)到原始圖像上的涂抹軌跡后,構(gòu)造包含所述涂抹軌跡的幾何圖形并對(duì)所述幾何圖形進(jìn)行擴(kuò)展形成標(biāo)記區(qū),確定包含所述涂抹軌跡的一塊區(qū)域作為感興趣區(qū)域,所述感興趣區(qū)域包含所述標(biāo)記區(qū);生成圖像分割算法的輸入掩模圖:將所述標(biāo)記區(qū)中所有的像素作為所述掩模圖中的前景點(diǎn),將所述感興趣區(qū)域中標(biāo)記區(qū)外的像素作為所述掩模圖中的背景點(diǎn);
分割參數(shù)計(jì)算及融合模塊,用于獲取包含目標(biāo)對(duì)象顏色信息的彩色圖和包含目標(biāo)對(duì)象深度信息的深度圖,根據(jù)所述彩色圖和掩模圖確定所述掩模圖上各個(gè)像素的第一分割參數(shù),根據(jù)所述深度圖和掩模圖確定所述掩模圖上各個(gè)像素的第二分割參數(shù),所述第一分割參數(shù)和第二分割參數(shù)用于表示像素判決為前景點(diǎn)或背景點(diǎn)的概率以及所述像素與相鄰像素的數(shù)值差異;將所述第一分割參數(shù)與所述第二分割參數(shù)進(jìn)行融合;
掩模圖調(diào)整模塊,用于構(gòu)建無向圖,將所述掩模圖中的每一個(gè)像素的融合后的分割參數(shù)映射到所述無向圖中,根據(jù)最小割-最大流算法對(duì)所述無向圖進(jìn)行處理,獲得精細(xì)分割后的掩模圖;
輸出模塊,用于從所述彩色圖中分割出所述精細(xì)分割后的掩模圖中前景點(diǎn)對(duì)應(yīng)的圖像。
10.一種終端,包括上述權(quán)利要求9所述的實(shí)現(xiàn)交互式圖像分割的裝置。