專利名稱：一種針對購物圖像搜索的目標(biāo)衣物圖像提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理以及搜索引擎技術(shù)領(lǐng)域，具體是一種針對購物圖像中主體目標(biāo)/商品(包括衣物、包、鞋等商品)的提取方法。
背景技術(shù)：
基于內(nèi)容的購物圖像搜索是近年來學(xué)術(shù)界和工業(yè)界的研究熱點，然而圖像背景雜舌L、多目標(biāo)共存、物體遮擋等問題使得大規(guī)模圖像搜索成為一個具有挑戰(zhàn)性的研究課題。電子商務(wù)和在線購物網(wǎng)站通常存在大量包含人物(如模特)的購物圖片。為了吸引顧客，商家往往會邀請模特穿上待售的衣物進(jìn)行拍攝，使得購物圖片不僅包含了衣物本身，還包含背景和人物等其它噪音。由于購物圖像在自然場景下受到背景、光線、角度、遮 擋、人物、環(huán)境噪音等因素的影響，使得圖像的整個場景較為復(fù)雜。這給基于內(nèi)容的購物圖像搜索造成了極大的困難。同時，用戶更關(guān)注模特身上的主體衣物而不關(guān)心圖像中其它的內(nèi)容。因此如何有效地從購物圖片中提取用戶真正感興趣的商品，即模特身上的衣物，保留最核心的商品目標(biāo)，去除噪音，對進(jìn)一步分析圖像內(nèi)容及提高購物商品圖像搜索的準(zhǔn)確度具有極其重要的作用。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)的以上缺點，本發(fā)明的目的是，提供一種提取購物商品圖像中人物身上商品(如衣物)的方法。使之利用人臉和膚色檢測作為輔助信息，通過統(tǒng)計概率模型估計前景衣服和背景的概率，結(jié)合空間概率一致性，自動提取人物身上的衣物商品，適用于含單個人物和多個人物的購物圖像商品提取。本發(fā)明的目的是通過如下的手段實現(xiàn)的。一種針對購物圖像搜索的目標(biāo)衣物圖像提取方法，用于在含單個人物和多個人物的購物商品圖像中進(jìn)行主體目標(biāo)衣物圖像提取，其特征在于，對所述復(fù)雜購物圖像，借助人臉和膚色檢測，輔助確定前景和背景模型，使得算法更準(zhǔn)確地提取衣服部分，降低圖像中噪聲的干擾，包含如下的步驟I)圖像預(yù)處理對復(fù)雜圖像進(jìn)行降低圖像中噪聲干擾的預(yù)處理；2)人臉和膚色檢測對I)預(yù)處理過后的圖像進(jìn)行人臉檢測和膚色檢測，采用橢圓模型和高斯模型結(jié)合的方法檢測出膚色區(qū)域，即對圖像分別用單高斯膚色模型和橢圓模型膚色檢測以后再將兩個檢測結(jié)果的交集作為膚色檢測的最終結(jié)果，使用Adaboost人臉檢測算法在膚色區(qū)域定位人臉，確定人臉區(qū)域；3)衣物初定位對2)所獲得到的人臉區(qū)域之外的區(qū)域進(jìn)行辨析，分出身體軀干區(qū)域和身體活動區(qū)域；衣物初定位的結(jié)果是身體軀干部分的衣物；4)建立衣物模型和背景模型
根據(jù)步驟3)得到的三個區(qū)域，建立衣物模型和背景模型；a)建立衣物模型將軀干活動區(qū)域去除步驟2得到的膚色區(qū)域作為衣物樣本集，建立衣物的高斯混合模型，求出每個像素點是衣物的概率；b)建立背景模型將模特的身體活動區(qū)域以外的部分加上身體軀干區(qū)域中的膚色區(qū)域作為背景樣本集，建立背景的高斯混合模型，求出每個像素點是背景的概率；c)計算圖像空間信息采用合適的分割算法對原圖像進(jìn)行分割，分割后的任一區(qū)域中的像素點是衣物或背景的概率是接近的即空間概率分布一致，計算每個區(qū)域所有像素點的平均衣物概率和背景概率作為該區(qū)域空間信息概率；
d)加入空間信息修正衣物和背景模型結(jié)合步驟a、b得出的前背景概率和步驟c得出的空間信息概率，修正每個像素點是前景或者背景的概率；5)衣物初定位a)根據(jù)第4步的結(jié)果，將所有衣物概率大于背景概率的像素點構(gòu)成衣物區(qū)域，所有背景概率大于衣物概率的像素點構(gòu)成背景區(qū)域；b)對得到的衣物區(qū)域去除第2步得到的膚色區(qū)域，得到最終的衣物區(qū)域；6)輸出所得目標(biāo)衣物圖像信息。本發(fā)明方法考慮了人物的人臉位置，將膚色和人臉檢測作為輔助信息協(xié)助定位衣物區(qū)域，根據(jù)人臉準(zhǔn)確地對衣物進(jìn)行初定位；采用統(tǒng)計概率模型分析衣物和圖像背景，同時考慮了圖像的空間信息使得模型更準(zhǔn)確，不需要人為干預(yù)，適合大規(guī)模購物圖像自動提取商品目標(biāo)。不僅適用于含單人物(模特)的購物圖像，同樣適用于含有多人物(模特)的購物圖像，可以準(zhǔn)確提取出每個人物(模特)身上的衣物商品。尤其適合在電子商務(wù)和在線購物網(wǎng)站使用，消除復(fù)雜圖像背景的影響，辨識和分析主體目標(biāo)圖像，為購物圖像搜索引擎服務(wù)。


圖I是本發(fā)明購物圖像衣物商品提取算法的流程圖。圖2是本發(fā)明衣物初定位和衣物/背景樣本集選取示意圖。圖中上部框內(nèi)區(qū)域為人臉區(qū)域，內(nèi)框區(qū)域為軀干活動區(qū)域，外框區(qū)域為身體活動區(qū)域。在建立衣物和背景模型時，將軀干活動區(qū)域(內(nèi)框區(qū)域)去除膚色區(qū)域作為衣物樣本集，將身體活動區(qū)域以外的區(qū)域(外框區(qū)域)加上軀干活動區(qū)域中的膚色區(qū)域作為背景樣本集。圖3、圖4、圖5為采用本發(fā)明方法實施例后的衣物商品提取效果圖。其中圖3為單模特時的衣物提取結(jié)果，圖4、圖5、圖6為多模特時的衣物提取結(jié)果。
具體實施例方式下面結(jié)合附圖及具體實施例對本發(fā)明做進(jìn)一步詳細(xì)的說明，但本發(fā)明不限于本實施例。步驟I :根據(jù)實際需要對圖像進(jìn)行預(yù)處理，可以采用中值濾波或者高斯平滑處理來過濾圖像中的部分噪聲；步驟2 :對經(jīng)過預(yù)處理的圖像進(jìn)行膚色和人臉檢測，I)使用橢圓模型和高斯模型相結(jié)合的方法對圖像進(jìn)行膚色檢測，找到膚色區(qū)域，具體方法為
a)建立基于單高斯模型的膚色分類器
權(quán)利要求
1.一種針對購物圖像搜索的目標(biāo)衣物圖像提取方法，用于在含單個人物和多個人物的購物商品圖像中進(jìn)行主體目標(biāo)衣物圖像提取，其特征在于，對所述復(fù)雜購物圖像，借助人臉和膚色檢測，輔助確定前景和背景模型，使得算法更準(zhǔn)確地提取衣服部分，降低圖像中噪聲的干擾，包含如下的步驟 1)圖像預(yù)處理對復(fù)雜圖像進(jìn)行降低圖像中噪聲干擾的預(yù)處理； 2)人臉和膚色檢測 對I)預(yù)處理過后的圖像進(jìn)行人臉檢測和膚色檢測，采用橢圓模型和高斯模型結(jié)合的方法檢測出膚色區(qū)域，即對圖像分別用單高斯膚色模型和橢圓模型膚色檢測以后再將兩個檢測結(jié)果的交集作為膚色檢測的最終結(jié)果，使用Adaboost人臉檢測算法在膚色區(qū)域定位人臉，確定人臉區(qū)域； 3)衣物初定位 對2)所獲得到的人臉區(qū)域之外的區(qū)域進(jìn)行辨析，分出身體軀干區(qū)域和身體活動區(qū)域；衣物初定位的結(jié)果是身體軀干部分的衣物； 4)建立衣物模型和背景模型 根據(jù)步驟3)得到的三個區(qū)域，建立衣物模型和背景模型； a)建立衣物模型將軀干活動區(qū)域去除步驟2得到的膚色區(qū)域作為衣物樣本集，建立衣物的高斯混合模型，求出每個像素點是衣物的概率； b)建立背景模型將模特的身體活動區(qū)域以外的部分加上身體軀干區(qū)域中的膚色區(qū)域作為背景樣本集，建立背景的高斯混合模型，求出每個像素點是背景的概率； c)計算圖像空間信息采用合適的分割算法對原圖像進(jìn)行分割，分割后的任一區(qū)域中的像素點是衣物或背景的概率是接近的即空間概率分布一致，計算每個區(qū)域所有像素點的平均衣物概率和背景概率作為該區(qū)域空間信息概率； d)加入空間信息修正衣物和背景模型結(jié)合步驟a、b得出的前背景概率和步驟c得出的空間信息概率，修正每個像素點是前景或者背景的概率； 5)衣物初定位 a)根據(jù)第4步的結(jié)果，將所有衣物概率大于背景概率的像素點構(gòu)成衣物區(qū)域，所有背景概率大于衣物概率的像素點構(gòu)成背景區(qū)域； b)對得到的衣物區(qū)域去除第2步得到的膚色區(qū)域，得到最終的衣物區(qū)域； 6)輸出所得目標(biāo)衣物圖像信息。
2.根據(jù)權(quán)利要求I所述的針對購物圖像搜索的目標(biāo)衣物圖像提取方法，其特征在于，采用以下的算法對所述復(fù)雜圖像進(jìn)行降低圖像中噪聲的干擾的預(yù)處理中值濾波、高斯平滑處理。
全文摘要
本發(fā)明公開了一種針對購物圖像搜索的目標(biāo)衣物圖像提取方法，用于在含單個人物和多個人物的購物商品圖像中進(jìn)行主體目標(biāo)衣物圖像提取。本算法考慮了人物的人臉位置，將膚色和人臉檢測作為輔助信息協(xié)助定位衣物區(qū)域，采用統(tǒng)計概率模型分析衣物和圖像背景，同時考慮了圖像的空間信息使得模型更準(zhǔn)確。本算法不僅適用于含單人物(模特)的購物圖像，同樣適用于含有多人物(模特)的購物圖像，可以準(zhǔn)確提取出每個人物(模特)身上的衣物商品。本發(fā)明方法尤其適合在電子商務(wù)和在線購物網(wǎng)站使用，消除復(fù)雜圖像背景的影響，辨識和分析主體目標(biāo)圖像，為購物圖像搜索引擎服務(wù)。
文檔編號G06K9/00GK102779270SQ20121020714
公開日2012年11月14日 申請日期2012年6月21日 優(yōu)先權(quán)日2012年6月21日
發(fā)明者吳曉, 彭強, 梁玲玲, 趙波 申請人:西南交通大學(xué)