本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,特別是涉及一種自動(dòng)人像分割方法。
背景技術(shù):
近年來(lái),隨著科技的發(fā)展,每天都有大量的數(shù)字圖片產(chǎn)生,而各種圖像處理技術(shù)也是層出不窮。其中,對(duì)人像的個(gè)性化處理更是一個(gè)極富活力的研究領(lǐng)域。從美膚、五官美化、背景替換,每一步都為人像美化提供了助力。而快速準(zhǔn)確的人像分割正是前述背景替換模塊的關(guān)鍵步驟。分割的準(zhǔn)確性直接影響了背景替換的質(zhì)量與多樣性,同時(shí),也影響了美膚的一致性。
目前,存在很多人像分割算法,比如早期的交互式分割graphcut等,基于crf的分割,近期等基于深度學(xué)習(xí)的fcn等。交互式方法,往往需要用戶對(duì)圖像分割有一定的了解,可以畫出比較好的分割線,用戶體驗(yàn)稍差,且分割速度較慢,通常需要幾十秒的時(shí)間;基于crf的分割同樣是速度較慢;而fcn方法存在的問(wèn)題主要有三點(diǎn),一是模型尺寸較大,通常有幾百兆,不利于用于移動(dòng)端,二是計(jì)算量較大,速度非常慢,通常需要幾秒到幾十秒;三是計(jì)算過(guò)程中涉及到pooling層計(jì)算,影響了分割的精度。
技術(shù)實(shí)現(xiàn)要素:
為了解決上述問(wèn)題,本發(fā)明提出了一種自動(dòng)人像分割方法,能夠自動(dòng)且準(zhǔn)確的進(jìn)行人像分割,耗時(shí)短且占用空間小,適用于移動(dòng)客戶端。
為達(dá)到上述目的,本發(fā)明采用的技術(shù)方案是:
一種自動(dòng)人像分割方法,包括步驟模型訓(xùn)練、人像初步分割和人像精確分割;
所述模型訓(xùn)練包括步驟:獲取訓(xùn)練數(shù)據(jù);將訓(xùn)練數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)得到網(wǎng)絡(luò)參數(shù)模型;當(dāng)神經(jīng)網(wǎng)絡(luò)收斂后,存儲(chǔ)所述網(wǎng)絡(luò)參數(shù)模型,完成模型訓(xùn)練;
所述人像初步分割包括步驟:載入所述網(wǎng)絡(luò)參數(shù)模型到移動(dòng)客戶端;利用移動(dòng)客戶端獲取輸入圖像;將所述輸入圖像輸入網(wǎng)絡(luò)參數(shù)模型,得到人像分割初步圖像;
所述人像精確分割包括步驟:對(duì)人像分割初步圖像,去除錯(cuò)分的孤立區(qū),保留連通區(qū)域;利用摳像算法對(duì)連通區(qū)域分割細(xì)節(jié),突出邊緣,得到人像分割最終圖像。
進(jìn)一步的是,所述獲取訓(xùn)練數(shù)據(jù)過(guò)程包括步驟:搜集人像圖片;人工標(biāo)注人像區(qū)域,形成與人像圖片對(duì)應(yīng)的掩碼圖;將掩碼圖進(jìn)行縮放至預(yù)定尺寸后構(gòu)成訓(xùn)練數(shù)據(jù)。
進(jìn)一步的是,所述神經(jīng)網(wǎng)絡(luò)包含卷積模塊、上采樣層和softmax層;每個(gè)所述卷積模塊包括卷積層、relu層和pooling層。
進(jìn)一步的是,所述神經(jīng)網(wǎng)絡(luò)包含5個(gè)卷積模塊、2個(gè)上采樣層和1個(gè)softmax層。
進(jìn)一步的是,將訓(xùn)練數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)后,初始化神經(jīng)網(wǎng)絡(luò);用自適應(yīng)估計(jì)矩陣算法更新神經(jīng)網(wǎng)絡(luò)權(quán)值;訓(xùn)練過(guò)程中,動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)率;經(jīng)過(guò)學(xué)習(xí)得到網(wǎng)絡(luò)參數(shù)模型。
進(jìn)一步的是,獲取輸入圖像后,將輸入圖像進(jìn)行尺寸縮放到預(yù)定尺寸;再將縮放后的圖像輸入網(wǎng)絡(luò)參數(shù)模型,得到人像分割掩碼圖,人像分割掩碼圖作為人像分割初步圖像。
進(jìn)一步的是,將所述人像分割掩碼圖進(jìn)行形態(tài)學(xué)運(yùn)算,去除錯(cuò)分的孤立區(qū),獲得多個(gè)連通區(qū)域;計(jì)算各連通區(qū)域的面積并排序,去除不在預(yù)設(shè)區(qū)域內(nèi)的連通區(qū)域,保留剩余的連通區(qū)域。
進(jìn)一步的是,對(duì)所述保留的連通區(qū)域的外邊緣處根據(jù)預(yù)定像素建立擴(kuò)展區(qū)域,通過(guò)摳像算法對(duì)擴(kuò)展區(qū)域進(jìn)行分割細(xì)節(jié)和突出邊緣,得到人像分割最終圖像。
采用本技術(shù)方案的有益效果:
本發(fā)明提出一個(gè)瘦長(zhǎng)型的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),極大地縮減了計(jì)算量和模型尺寸,從而實(shí)現(xiàn)移動(dòng)端快速人像分割;
本發(fā)明提出一個(gè)高效的分割算法,提高分割精度,在我們的標(biāo)注數(shù)據(jù)集上iou為94.16%;標(biāo)注大量的訓(xùn)練數(shù)據(jù),極大地提高了訓(xùn)練模型的性能。
附圖說(shuō)明
圖1為本發(fā)明的一種自動(dòng)人像分割方法流程示意圖;
圖2為本發(fā)明中模型訓(xùn)練的流程示意圖;
圖3為本發(fā)明中人像初步分割的流程示意圖;
圖4為本發(fā)明中人像精確分割的流程示意圖;
圖5為本發(fā)明中神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖;
圖6為本發(fā)明中卷積模塊的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步闡述。
在本實(shí)施例中,參見(jiàn)圖1-圖4所示,本發(fā)明提出了一種自動(dòng)人像分割方法,包括步驟模型訓(xùn)練、人像初步分割和人像精確分割。
1.所述模型訓(xùn)練包括步驟:獲取訓(xùn)練數(shù)據(jù);將訓(xùn)練數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò),學(xué)習(xí)得到網(wǎng)絡(luò)參數(shù)模型;當(dāng)神經(jīng)網(wǎng)絡(luò)收斂后,存儲(chǔ)所述網(wǎng)絡(luò)參數(shù)模型,完成模型訓(xùn)練。
所述獲取訓(xùn)練數(shù)據(jù)過(guò)程包括步驟:搜集人像圖片;人工標(biāo)注人像區(qū)域,形成與人像圖片對(duì)應(yīng)的掩碼圖;將掩碼圖進(jìn)行縮放至預(yù)定尺寸后構(gòu)成訓(xùn)練數(shù)據(jù)。
如圖5和圖6所示,所述神經(jīng)網(wǎng)絡(luò)包含卷積模塊、上采樣層和softmax層;每個(gè)所述卷積模塊包括卷積層、relu層和pooling層。
優(yōu)選的是,所述神經(jīng)網(wǎng)絡(luò)包含5個(gè)卷積模塊、2個(gè)上采樣層和1個(gè)softmax層。
將訓(xùn)練數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)后,初始化神經(jīng)網(wǎng)絡(luò);用自適應(yīng)估計(jì)矩陣算法更新神經(jīng)網(wǎng)絡(luò)權(quán)值;訓(xùn)練過(guò)程中,動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)率;經(jīng)過(guò)學(xué)習(xí)得到網(wǎng)絡(luò)參數(shù)模型。
2.所述人像初步分割包括步驟:載入所述網(wǎng)絡(luò)參數(shù)模型到移動(dòng)客戶端;利用移動(dòng)客戶端獲取輸入圖像;將所述輸入圖像輸入網(wǎng)絡(luò)參數(shù)模型,得到人像分割初步圖像。
獲取輸入圖像后,將輸入圖像進(jìn)行尺寸縮放到預(yù)定尺寸;再將縮放后的圖像輸入網(wǎng)絡(luò)參數(shù)模型,得到人像分割掩碼圖,人像分割掩碼圖作為人像分割初步圖像。
3.所述人像精確分割包括步驟:對(duì)人像分割初步圖像,去除錯(cuò)分的孤立區(qū),保留連通區(qū)域;利用摳像算法對(duì)連通區(qū)域分割細(xì)節(jié),突出邊緣,得到人像分割最終圖像。
所述人像分割掩碼圖進(jìn)行形態(tài)學(xué)運(yùn)算,去除錯(cuò)分的孤立區(qū),獲得多個(gè)連通區(qū)域;計(jì)算各連通區(qū)域的面積并排序,去除不在預(yù)設(shè)區(qū)域內(nèi)的連通區(qū)域,保留剩余的連通區(qū)域。
對(duì)所述保留的連通區(qū)域的外邊緣處根據(jù)預(yù)定像素建立擴(kuò)展區(qū)域,通過(guò)摳像算法對(duì)擴(kuò)展區(qū)域進(jìn)行分割細(xì)節(jié)和突出邊緣,得到人像分割最終圖像。
以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解,本發(fā)明不受上述實(shí)施例的限制,上述實(shí)施例和說(shuō)明書中描述的只是說(shuō)明本發(fā)明的原理,在不脫離本發(fā)明精神和范圍的前提下,本發(fā)明還會(huì)有各種變化和改進(jìn),這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。