本申請屬于計(jì)算機(jī)信息處理領(lǐng)域,尤其涉及一種圖像數(shù)據(jù)處理方法及裝置。
背景技術(shù):
隨著互聯(lián)網(wǎng)消費(fèi)時(shí)代的發(fā)展,例如一淘、淘寶以及天貓商城等提供在線商品搜索和在線購物的網(wǎng)站中通常會展示出大量商品的圖像信息,以便于消費(fèi)者進(jìn)行直觀的選擇。商品圖像在線搜索和購物的網(wǎng)站中承載較多且非常重要的信息,對于商品成交有著極大的影響。
在網(wǎng)上商品信息展示中,通常商品圖像可以較好的體現(xiàn)商品的直觀特性。商品中的主體區(qū)域(或者稱為前景區(qū)域,比如風(fēng)衣、休閑褲、皮鞋、眼睛、箱包等)通常為商品圖像中信息量最大、最主要的部分。在用戶商品展示、廣告位投放廣告、圖片搜索等圖像信息處理時(shí),常常需要對圖像信息的主體區(qū)域進(jìn)行提取、檢測,判斷商品主體是否居中、主體區(qū)域相對于背景是否突出、是否包含違禁信息等,以便用戶或商家調(diào)整商品的展示角度、背景搭配、擺放位置、主體商品大小等,使其具有最佳展示效果等。因此,商務(wù)平臺服務(wù)方或者終端應(yīng)用的用戶通常需要準(zhǔn)確的從商品圖像中將商品主體區(qū)域和背景區(qū)域分離出來。上述中用戶提供的商品圖像常常包括利用模特進(jìn)行商品展示的圖像信息。例如商家用戶為了增強(qiáng)商品的使用觀賞效果,可以雇傭模特進(jìn)行商品展示,然后將包含模特信息的商品圖像上傳到網(wǎng)站展示區(qū)域中。尤其是在服飾、箱包之類的產(chǎn)品中,這種應(yīng)用場景中會包括更多的包含人物的商品圖像,因此,對于此類商品圖像的主體區(qū)域的準(zhǔn)確提取、分離也越來越重要。
目前常用的商品主體區(qū)域與背景區(qū)域分離技術(shù)主要包括采用學(xué)術(shù)界中基于顏色量化特征的圖像顯著性區(qū)域檢測技術(shù)。這類圖像主體區(qū)域檢測方法通常的僅僅是從圖像自身數(shù)據(jù)的信息屬性(如顏色向量(R,G,B)值、通道信息、梯度等)出發(fā)進(jìn)行處理,未能結(jié)合圖像信息整體所展示內(nèi)容的特性。在一些應(yīng)用場景中,例如對上述所述包括模特的圖像信息進(jìn)行主體區(qū)域提取時(shí)未考慮到圖像整體人物特性,主體區(qū)域檢測、提取還不夠準(zhǔn)確。
目前現(xiàn)有技術(shù)中商品圖像主體識別技術(shù)在主體區(qū)域提取時(shí)未能結(jié)合商品圖像所展示的整體內(nèi)容的信息,降低了商品圖像主體區(qū)域的檢測或提取準(zhǔn)確性。
技術(shù)實(shí)現(xiàn)要素:
本申請目的在于提供一種圖像數(shù)據(jù)處理方法及裝置,使得圖像中主體區(qū)域的檢測、提取等更加準(zhǔn)確,提高圖像數(shù)據(jù)處理效果。
本申請?zhí)峁┑囊环N圖像數(shù)據(jù)處理方法及裝置是這樣實(shí)現(xiàn)的:
一種圖像數(shù)據(jù)處理方法,所述方法包括
獲取待處理圖像中像素點(diǎn)的顯著度概率值;
確定所述待處理圖像的人臉區(qū)域;
基于所述待處理圖像指定區(qū)域內(nèi)的像素點(diǎn)與所述人臉區(qū)域的中心像素點(diǎn)的距離計(jì)算所述指定區(qū)域內(nèi)像素點(diǎn)的概率調(diào)整因子;
根據(jù)所述概率調(diào)整因子調(diào)整所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值。
一種圖像數(shù)據(jù)處理裝置,所述裝置包括:
概率計(jì)算模塊,用于獲取待處理圖像中像素點(diǎn)的顯著度概率值;
人臉檢測模塊,用于檢測獲取所述待處理圖像的人臉區(qū)域;
優(yōu)化參數(shù)計(jì)算模塊,用于基于所述待處理圖像指定區(qū)域內(nèi)的像素點(diǎn)與所述人臉區(qū)域的中心像素點(diǎn)的距離計(jì)算所述指定區(qū)域內(nèi)像素點(diǎn)的概率調(diào)整因子;
優(yōu)化調(diào)整模塊,用于根據(jù)所述概率調(diào)整因子調(diào)整所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值。
本申請?zhí)峁┑囊环N圖像數(shù)據(jù)處理方法及裝置,可以計(jì)算得到待處理圖像中像素點(diǎn)屬于主體區(qū)域的概率值。同時(shí)可以檢測所述待處理圖片中的人臉,確定所述待處理圖像中的人臉區(qū)域位置。然后,可以結(jié)合本申請實(shí)施例提供的方法或者裝置基于所述人臉區(qū)域位置進(jìn)行調(diào)整、優(yōu)化待處理圖像中像素點(diǎn)屬于主體區(qū)域的概率值。這樣,利用本申請調(diào)整優(yōu)化后的待處理圖像中像素點(diǎn)屬于主體區(qū)域的概率值然后再進(jìn)行主體區(qū)域檢測或者提取操作等,可以提高待處理圖像主體區(qū)域檢測或者提取的準(zhǔn)確性。
附圖說明
為了更清楚地說明本申請實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請中記載的一些實(shí)施例,對于本鄰域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本申請一種圖像數(shù)據(jù)處理方法一種實(shí)施例的流程示意圖;
圖2是本申請一種圖像數(shù)據(jù)處理方法另一種實(shí)施例的流程示意圖;
圖3是本申請一種圖像數(shù)據(jù)處理方法另一種實(shí)施例的流程示意圖;
圖4是本申請一種圖像數(shù)據(jù)處理方法另一種實(shí)施例的流程示意圖;
圖5是本申請所述一種圖像數(shù)據(jù)處理裝置一種實(shí)施例的模塊結(jié)構(gòu)示意圖;
圖6是本申請所述優(yōu)化參數(shù)計(jì)算模塊103的一種實(shí)施例的模塊結(jié)構(gòu)示意圖;
圖7是本申請所述一種圖像數(shù)據(jù)處理裝置另一種實(shí)施例的模塊結(jié)構(gòu)示意圖;
圖8是本申請所述一種圖像數(shù)據(jù)處理裝置另一種實(shí)施例的模塊結(jié)構(gòu)示意圖;
圖9是本申請所述一種圖像數(shù)據(jù)處理裝置另一種實(shí)施例的模塊結(jié)構(gòu)示意圖;
圖10是利用本申請所述的方法或裝置對數(shù)據(jù)處理的前后效果對比圖。
具體實(shí)施方式
為了使本技術(shù)鄰域的人員更好地理解本申請中的技術(shù)方案,下面將結(jié)合本申請實(shí)施例中的附圖,對本申請實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本申請一部分實(shí)施例,而不是全部的實(shí)施例?;诒旧暾堉械膶?shí)施例,本鄰域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例,都應(yīng)當(dāng)屬于本申請保護(hù)的范圍。
本申請中各個(gè)實(shí)施例中所述的數(shù)據(jù)處理方法及裝置,可以處理包括人臉的圖像數(shù)據(jù)。可以以已檢測出的圖像中的人臉位置為引導(dǎo),分別對人臉位置及其他區(qū)域的圖像數(shù)據(jù)進(jìn)行優(yōu)化處理,達(dá)到提高圖像主體區(qū)域檢測、提取準(zhǔn)確性的目的。
需要說明的是,本申請各個(gè)實(shí)施例中所涉及的計(jì)算待處理圖像像素點(diǎn)屬于主體區(qū)域的概率(例如像素點(diǎn)的顯著度概率值)、檢測人臉以及利用本申請對處理后的待處理圖像具體的主體區(qū)域提取的方法,并不限于申請中所提到的處理方法。上述所述的處理方法中的任意一項(xiàng)可以被其他可以實(shí)現(xiàn)相同或相似功能的方法代替,本申請并不局限于本申請中所述的處理方法。
下面結(jié)合附圖對本申請所述的圖像數(shù)據(jù)處理方法進(jìn)行詳細(xì)的說明。圖1是本申請所述一種圖像數(shù)據(jù)處理方法一個(gè)實(shí)施例的方法流程圖。雖然本申請?zhí)峁┝巳缦率鰧?shí)施例或流程圖所述的方法操作步驟,但基于常規(guī)手段或者無創(chuàng)造性的勞動等在所述方法中可以包括更多或者更少的操作步驟。在不存在邏輯性上的必要因果的步驟中,這些步驟的執(zhí)行順序不限于本申請各個(gè)實(shí)施例的限制。所述的方法的在實(shí)際中的裝置或終端產(chǎn)品執(zhí)行時(shí),可以按照實(shí)施例或者附圖所示的方法順序執(zhí)行或者并行執(zhí)行(例如并行處理器或者多線程處理的環(huán)境)。
具體的本申請?zhí)峁┑囊环N圖像數(shù)據(jù)處理方法的一種實(shí)施例如圖1所示,所述方法可以包括:
S1:獲取待處理圖像中像素點(diǎn)的顯著度概率值。
本實(shí)施例中所述的待處理圖像可以為包括模特或者其他人物的人臉圖像的圖像信息。例 如用戶利用模特拍攝的有關(guān)模特穿著服飾、鞋帽、箱包等的商品圖片等。
在圖像主體區(qū)域提取處理領(lǐng)域中,目前主要且常用的方法包括基于圖像顯著性區(qū)域檢測技術(shù),可以獲取圖像中像素點(diǎn)的顯著度值。所述的圖像顯著性區(qū)域檢測方法具體的可以包括多種處理方法,例如基于對比的模糊增長方法、基于SVM的顯著區(qū)域提取方法等。在本實(shí)施例中可以利用專利號為CN103578098中所述的基于顏色直方圖的方法計(jì)算所述待處理圖像中每個(gè)像素點(diǎn)的顯著度值。然后可以根據(jù)所述顯著度構(gòu)造待處理圖像的顯著度圖。在所述顯著度圖中,每個(gè)待處理圖像的像素點(diǎn)的顯著度值可以被歸一化的轉(zhuǎn)化為取值范圍為[0,1]的數(shù)值,可以表示像素點(diǎn)屬于所述待處理圖像主體區(qū)域的概率值。
本實(shí)施例中可以以所述利用專利號為CN103578098中所述的方法計(jì)算得到的像素點(diǎn)屬于主體區(qū)域的概率值作為所述待處理圖像的顯著度概率值。當(dāng)然,本申請所述的獲取待處理圖像中像素點(diǎn)的顯著度概率值也可以包括利用其它顯著度計(jì)算方法獲取的可以表示像素點(diǎn)屬于主體區(qū)域的顯著度概率值。
計(jì)算待處理圖像中像素點(diǎn)的顯著度,獲取所述待處理圖像中像素點(diǎn)的顯著度概率值。
S2:確定所述待處理圖像的人臉區(qū)域。
確定所述待處理圖像的人臉區(qū)域的方法具體的可以包括利用OpenCV圖像開源庫中所包括的人臉檢測代碼對所述待處理圖像進(jìn)行檢測,得到其中人臉的區(qū)域信息。所述的人臉區(qū)域中的信息通常的可以包括待處理圖像中的所有正臉和側(cè)臉的信息。
具體的,所述的利用OpenCV圖像開源庫中所包括的人臉檢測代碼對所述待處理圖像進(jìn)行檢測中可以包括利用下述的一種或者多種函數(shù)進(jìn)行人臉區(qū)域檢測:
CvSeq*cvHaarDetectObjects(
const CvArr*image,
CvHaarClassifierCascade*cascade,
CvMemStorage*storage,
double scale_factor CV_DEFAULT(1.1),
int min_neighbors CV_DEFAULT(3),
int flags CV_DEFAULT(0),
CvSize min_size CV_DEFAULT(cvSize(0,0)),
CvSize max_size CV_DEFAULT(cvSize(0,0))
);
利用OpenCV圖像開源庫代碼獲取的人臉區(qū)域可以以圓圈或者方框的標(biāo)注形式表示出來。本實(shí)施例中可以以方框的形式表示出所述確定的待處理圖像的人臉區(qū)域。
在本實(shí)施例中所述采用的人臉檢測方法使用的為OpenCV圖像開源庫中的人臉檢測代碼。在其他的一些實(shí)施例中,也可以使用其他的實(shí)現(xiàn)相同功能或者更好的人臉檢測方法代替本實(shí)施例中所述采用的利用OpenCV圖像開源庫的方法。
S3:基于所述待處理圖像指定區(qū)域內(nèi)的像素點(diǎn)與所述人臉區(qū)域的中心像素點(diǎn)的距離計(jì)算所述指定區(qū)域內(nèi)像素點(diǎn)的概率調(diào)整因子。
在包括人臉的商品圖像中,一般的是以人物為主要的整體觀賞視覺焦點(diǎn),從而達(dá)到襯托、提升人物上衣服、眼鏡、帽子、箱包等銷售商品的觀賞效果。一般的,在多數(shù)包括人臉的商品圖像中,距離人臉越遠(yuǎn)的部分屬于圖像主體區(qū)域的可能性越小。目前現(xiàn)有技術(shù)在進(jìn)行主體提取的時(shí)候,往往是純粹從圖像自身顏色、梯度等特征變化出發(fā),提取對比度高、且出現(xiàn)頻次較少的區(qū)域。相比而言,多數(shù)的商品圖像,特別是服飾類圖像中都是有模特存在的。那么利用檢測到的模特的人臉區(qū)域可以變?yōu)橐环N先驗(yàn)信息來對主體提取進(jìn)行引導(dǎo),從而使得與模特相鄰近的區(qū)域的概率更大,提高圖像中真正的商品主體區(qū)域提取的準(zhǔn)確性。
本申請所述的方法可以基于這樣一種思路增強(qiáng)主體區(qū)域提取??梢岳萌四槞z測技術(shù)對圖片中的人臉區(qū)域進(jìn)行提取,然后基于圖片中其他指定的區(qū)域與所述人臉區(qū)域的相對位置關(guān)系,提出多種類型區(qū)域的自適應(yīng)的增強(qiáng)方案,達(dá)到越靠近人臉的區(qū)域增強(qiáng)的概率越大,反之則越小。
本申請可以以待處理圖像中確定的人臉區(qū)域位置為指導(dǎo),對所述待處理圖像中的指定區(qū)域位置的像素點(diǎn)屬于主體區(qū)域的概率進(jìn)行調(diào)整優(yōu)化。
具體的,本申請的一種實(shí)施例中可以對待處理圖像中人臉區(qū)域外的下部區(qū)域內(nèi)的像素點(diǎn)進(jìn)行優(yōu)化調(diào)整。通常的,在確定待處理圖像中的人臉區(qū)域后,所述人臉區(qū)域的下部區(qū)域通??梢哉J(rèn)為包括人的軀干部分。所述的人臉區(qū)域的下部區(qū)域可以表示為位于所述人臉區(qū)域下方的區(qū)域。
需要說明的是,本申請各個(gè)實(shí)施例所述的圖像數(shù)據(jù)處理方法以及后續(xù)裝置可以是基于圖像預(yù)分割算法進(jìn)行的。比如在計(jì)算顯著度之前將圖像進(jìn)行過分割(over-segmentation),從而將圖片劃分為多個(gè)子區(qū)域。
具體的一種實(shí)施例中,可以先將所述待處理圖像分割成若干子區(qū)域,然后所述下部區(qū)域的計(jì)算方法可以通過如下所述步驟得到:
S311:計(jì)算待處理圖像區(qū)域的每個(gè)子區(qū)域中每個(gè)像素點(diǎn)與人臉相對的位置關(guān)系。如果該像素點(diǎn)的y方向處于人臉中心的下部(即y>y_FaceCenter),同時(shí)x方向處于人臉中心的2倍距離之間(即x_FaceCenter–Width_face≤x≤x_FaceCenter+Width_face。這樣可以認(rèn) 為該像素點(diǎn)處于人臉的下部區(qū)域。一般的,圖像坐標(biāo)原點(diǎn)位置可以位于圖像左上角的像素點(diǎn)位置。上述中,x_FaceCenter可以表示為計(jì)算得到的所述人臉區(qū)域的中心像素點(diǎn)橫坐標(biāo),y_FaceCenter可以表示為計(jì)算得到的所述人臉區(qū)域的中心像素點(diǎn)縱坐標(biāo),Width_face可以表示為所述人臉區(qū)域的寬度。
S312:將符合所述S311條件的像素點(diǎn)個(gè)數(shù)的子區(qū)域,作為所述下部區(qū)域。例如一種實(shí)施方式中,如果子區(qū)域中超過一半的像素點(diǎn)個(gè)數(shù)滿足上述S311的條件,那么該子區(qū)域?qū)儆谌四槄^(qū)域的下部區(qū)域。
本實(shí)施例中可以以所述人臉區(qū)域的下部區(qū)域作為所述待處理圖像的指定區(qū)域,可以利用所述人臉區(qū)域中心點(diǎn)像素與所述指定區(qū)域內(nèi)像素的距離計(jì)算得到對所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值進(jìn)行優(yōu)化的概率調(diào)整因子,使其更加符合包括人物圖像信息的圖像主體提取效果。
具體的,上述基于所述待處理圖像指定區(qū)域內(nèi)的像素點(diǎn)與所述人臉區(qū)域的中心像素點(diǎn)的距離計(jì)算所述指定區(qū)域內(nèi)像素點(diǎn)的概率調(diào)整因子在一種實(shí)施方式中可以包括:
計(jì)算所述待處理圖像的高度與所述指定區(qū)域內(nèi)像素點(diǎn)P縱坐標(biāo)值的第一差值,和計(jì)算所述待處理圖像的高度與所述人臉區(qū)域的中心像素點(diǎn)C縱坐標(biāo)值的第二差值。
具體的,可以采用本實(shí)施例下述提供的計(jì)算方法計(jì)算所述概率調(diào)整因子α(p):
上式中,α(p)可以表示為所述指定區(qū)域內(nèi)像素點(diǎn)p的概率調(diào)整因子,PosY(p)可以表示為所述指定區(qū)域內(nèi)的像素點(diǎn)p的Y軸方向的坐標(biāo)值,PosY(c)可以表示為所述人臉區(qū)域的中點(diǎn)像素點(diǎn)c的Y軸方向的坐標(biāo)值。H可以表示為所述待處理圖像的高度。
S4:根據(jù)所述概率調(diào)整因子調(diào)整所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值。
在上計(jì)算得到所述指定區(qū)域內(nèi)像素點(diǎn)的概率調(diào)整因子后,可以根據(jù)所述概率調(diào)整因子調(diào)整所述待處理圖像中所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值。所述計(jì)算得到的概率調(diào)整因子,可以基于距離所述人臉區(qū)域的距離對所述指定區(qū)域內(nèi)的像素點(diǎn)屬于主體區(qū)域的概率進(jìn)行微調(diào),使其更加符合包括人物圖像信息的主體區(qū)域提取結(jié)果。
例如具體應(yīng)用場景中,如果人臉區(qū)域的下部區(qū)域包括了肩部、腿部,那么初期的顯著度提取算法通常是兩個(gè)部分的顯著度概率值較高。那么此時(shí),利用本申請的概率調(diào)整因子可以在原來的基礎(chǔ)之上進(jìn)行增強(qiáng)顯著度概率值。同時(shí),如果初期的提取算法對某個(gè)部分計(jì)算得到的像素點(diǎn)的顯著度概率值較低,比如腿部,那么處于人臉的下部區(qū)域同樣可以有效的對其感 知,從而保證在進(jìn)入下一輪分割的工作之前,這個(gè)部分能夠進(jìn)入后續(xù)的例如二值分割算法考慮的范疇。相應(yīng)的,如果是顯著度概率值較低的非腿部的區(qū)域,通常離人臉位置區(qū)域較遠(yuǎn),被增強(qiáng)的風(fēng)險(xiǎn)較小。此外,即使增強(qiáng)了一點(diǎn),在例如二值分割算法時(shí),由于與腿部、服裝等區(qū)域的顏色等特征差別較大,通常不會被選作最終的前景區(qū)域。本實(shí)施例所述的方法,可以有效保障所述待處理圖像下部區(qū)域像素點(diǎn)的顯著度概率值的調(diào)整。
所述的根據(jù)概率調(diào)整因子調(diào)整顯著度概率值的方法可以根據(jù)數(shù)據(jù)處理需求進(jìn)行設(shè)定。本申請?zhí)峁┑囊环N實(shí)施例中,所述根據(jù)所述概率調(diào)整因子調(diào)整所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值可以包括:
以所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值與所述像素點(diǎn)所對應(yīng)的概率調(diào)整因子的乘積作為調(diào)整后的所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值;所述調(diào)整后的指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值大于1時(shí)將所述顯著度概率值設(shè)置為1。
例如,以P(p)表示為所述指定區(qū)域內(nèi)的像素點(diǎn)p調(diào)整前的顯著度概率值,F(xiàn)inal_P(p)表示為所述指定區(qū)域內(nèi)像素點(diǎn)p優(yōu)化調(diào)整后的顯著度概率值。因此,經(jīng)過所述概率調(diào)整因子調(diào)整后的像素點(diǎn)的顯著度概率值可以采用下述計(jì)算得出:
Final_P(p)=min(P(p)*α(p),1)
上式中,α(p)為所述指定區(qū)域內(nèi)像素點(diǎn)p的概率調(diào)整因子。min(P(p)*α(p),1)可以表示取P(p)*α(p)和1之間較小的值,可以表示為如果,所述調(diào)整后的指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值大于1時(shí),則將所述調(diào)整后的像素點(diǎn)的顯著度概率值設(shè)置為1。
本申請中上述實(shí)施例所述的圖像數(shù)據(jù)處理方法,可以在確定待處理圖像人臉區(qū)域后,基于所述待處理圖像中人臉區(qū)域的其他區(qū)域位置與所述人臉區(qū)域的距離對像素點(diǎn)的顯著度概率進(jìn)行優(yōu)化調(diào)整。一般,在包括人體圖像信息的商品圖像中,距離所述人臉位置越近的像素點(diǎn)屬于主體區(qū)域的可能性越大。本申請?jiān)诶贸R?guī)顯著度計(jì)算像素點(diǎn)屬于主體區(qū)域的基礎(chǔ)上,結(jié)合整體圖像包括人體圖像信息的整體特性,對圖像中的特定區(qū)域進(jìn)行顯著度概率值的優(yōu)化調(diào)整,可以有效提高包括人物圖像的商品圖像中主體區(qū)域檢測、提取的準(zhǔn)確性。
在確定所述待處理圖像的人臉區(qū)域后,還可以進(jìn)一步的對所述人臉區(qū)域的上部區(qū)域的像素點(diǎn)進(jìn)行優(yōu)化處理。所述的人臉區(qū)域的上部區(qū)域可以表示為位于所述人臉區(qū)域上方的區(qū)域。在所述上部區(qū)域一般的可以包括人物的頭發(fā)、帽子、手臂舉起的商品圖像等,通常的有較大可能性包括屬于主體區(qū)域的像素點(diǎn)信息。
具體的一種實(shí)施例中,可以先將所述待處理圖像分割成若干子區(qū)域,然后所述上部區(qū)域的計(jì)算方法可以通過如下所述步驟得到:
S411:計(jì)算待處理圖像區(qū)域的每個(gè)子區(qū)域中每個(gè)像素點(diǎn)與人臉相對的位置關(guān)系。如果該像素點(diǎn)的y方向處于人臉中心的下部(即y<y_FaceCenter),同時(shí)x方向處于人臉中心的2倍距離之間(即x_FaceCenter–Width_face≤=x≤x_FaceCenter+Width_face。這樣可以認(rèn)為該像素點(diǎn)處于人臉的上部區(qū)域。上述中,x_FaceCenter可以表示為計(jì)算得到的所述人臉區(qū)域的中心像素點(diǎn)橫坐標(biāo),y_FaceCenter可以表示為計(jì)算得到的所述人臉區(qū)域的中心像素點(diǎn)縱坐標(biāo),Width_face可以表示為所述人臉區(qū)域的寬度。
S411:將符合所述S411條件的像素點(diǎn)個(gè)數(shù)的子區(qū)域,作為所述上部區(qū)域。例如一種實(shí)施方式中,如果子區(qū)域中超過一半的像素點(diǎn)個(gè)數(shù)滿足上述S411的條件,那么該子區(qū)域?qū)儆谌四槄^(qū)域的上部區(qū)域。
因此,本申請的另一種實(shí)施例種,可以增加所述人臉區(qū)域上部區(qū)域內(nèi)像素點(diǎn)屬于主體區(qū)域的概率值。圖2是本申請所述一種圖像數(shù)據(jù)處理方法另一種實(shí)施例的流程示意圖。具體的如圖2所示,本申請所述的一種圖像數(shù)據(jù)處理方法優(yōu)選的實(shí)施例還可以包括:
S501:將所述待處理圖像中人臉區(qū)域上部區(qū)域的像素點(diǎn)的顯著度概率值與設(shè)置第一調(diào)諧因子β的乘積作為所述像素點(diǎn)調(diào)整后的顯著度概率值,所述第一調(diào)諧因子β的取值大于等于1;所述調(diào)整后的所述像素點(diǎn)的顯著度概率值大于1時(shí)將所述顯著度概率值設(shè)置為1。
例如對于所述人臉區(qū)域上部區(qū)域內(nèi)的任意像素點(diǎn)p,其所述調(diào)整后的像素點(diǎn)的顯著度概率值Final_P(p)可以表示為:
Final_P(p)=min(P(p)*β,1)
上式中,P(p)可以表示為所述人臉區(qū)域上部區(qū)域內(nèi)任意像素點(diǎn)p調(diào)整前的顯著度概率值。所述min(P(p)*β,1)可以表示為取所述P(p)*β和1之間較小的值,可以表示為所述調(diào)整后的所述像素點(diǎn)的顯著度概率值大于1時(shí)將所述顯著度概率值設(shè)置為1。所述第一調(diào)諧因子β取值的取值可以根據(jù)經(jīng)驗(yàn)和數(shù)據(jù)處理需求進(jìn)行設(shè)置。
為保障本申請中對所述像素點(diǎn)的調(diào)整優(yōu)化在合理范圍內(nèi),避免對所述待處理圖像的調(diào)整產(chǎn)生大于預(yù)期的擾動,使圖像數(shù)據(jù)保持在可靠的處理范圍內(nèi)。本申請的一種實(shí)施例中,所述第一調(diào)諧因子β的取值范圍可以為:1≤β≤1.5。
當(dāng)然,在本申請的另一種實(shí)施例中,還可以將所述人臉區(qū)域內(nèi)的像素點(diǎn)的顯著度概率值設(shè)置為1。在本實(shí)施例中,確認(rèn)待處理圖像的人臉區(qū)域后,可以認(rèn)為所述人臉區(qū)域?qū)儆谒龃幚韴D像的主體區(qū)域。因此,所述的圖像數(shù)據(jù)處理方法還可以包括:
S502:將所述人臉區(qū)域內(nèi)的像素點(diǎn)的顯著度概率值設(shè)置為1。
本申請的另一種實(shí)施例中,所述待處理圖像中人臉區(qū)域的上部區(qū)域和下部區(qū)域以外的區(qū) 域(本申請中可以定義為臉外區(qū)域)多為人體軀干以外的背景區(qū)域,在該區(qū)域內(nèi)的像素點(diǎn)屬于背景區(qū)域的可能性較大。因此,本申請的另一種實(shí)施例中可以減弱所述臉外區(qū)域像素點(diǎn)的顯著度概率值。圖3是本申請所述一種圖像數(shù)據(jù)處理方法另一種實(shí)施例的流程示意圖。具體的,上述所述一種圖像數(shù)據(jù)處理方法還可以包括:
S503:將所述待處理圖像中臉外區(qū)域的像素點(diǎn)的顯著度概率值與設(shè)置的第二調(diào)諧因子γ的乘積作為所述像素點(diǎn)調(diào)整后的顯著度概率值,所述第二調(diào)諧因子γ的取值小于1。
例如對于所述臉外區(qū)域內(nèi)的像素點(diǎn)p,其所述調(diào)整后的像素點(diǎn)的顯著度概率值Final_P(p)可以表示為:
Final_P(p)=P(p)*γ
上式中,P(p)可以表示為所述臉外區(qū)域內(nèi)的像素點(diǎn)p調(diào)整前的顯著度概率值。
在本申請的一種實(shí)施例中,所述的第二調(diào)諧因子γ的取值范圍可以為:
0.5≤γ≤0.75
上述實(shí)施例中,基于包括人物圖像的圖像信息特性對所述臉外區(qū)域內(nèi)的像素點(diǎn)進(jìn)行降低其屬于主體區(qū)域的概率值的操作,可以使后期的主體區(qū)域檢測、提取更加準(zhǔn)確。
利用上述所述的圖像處理方法,可以對待處理圖像中的各個(gè)區(qū)域的像素點(diǎn)的顯著度概率值進(jìn)行優(yōu)化調(diào)整。進(jìn)一步的,可以根據(jù)本申請各個(gè)實(shí)施例所述的方法對所述像素點(diǎn)的顯著度概率值優(yōu)化處理后的待處理圖像進(jìn)行主體區(qū)域提取,分離待處理圖像的主體區(qū)域和背景區(qū)域。因此,本申請所述的一種圖像數(shù)據(jù)處理方法還可以包括:
S6:基于所述調(diào)整后的像素點(diǎn)的顯著度概率值對所述待處理圖像進(jìn)行主體區(qū)域提取。
圖4是本申請所述一種圖像數(shù)據(jù)處理方法另一種實(shí)施例的方法流程示意圖。具體的基于所述調(diào)整后的像素點(diǎn)的顯著度概率值對所述待處理圖像進(jìn)行主體區(qū)域提取的方法本申請不做限定。在本實(shí)施例中,可以利用專利號為CN103578098中所述的提取商品主體的方法進(jìn)行主體區(qū)域提取,最終可以獲得所述待處理圖像的主體區(qū)域。利用本申請所述的方法對待處理圖像中的像素點(diǎn)的顯著度概率值進(jìn)行優(yōu)化處理,然后再進(jìn)行主體區(qū)域提取,可以有效提升主體區(qū)域提取的準(zhǔn)確度。
基于本申請所述的圖像數(shù)據(jù)處理方法,本申請還提供一種圖像數(shù)據(jù)處理裝置。圖5是本申請所述圖像數(shù)據(jù)處理裝置一種實(shí)施例的模塊結(jié)構(gòu)示意圖。如圖5所示,所述裝置可以包括:
概率計(jì)算模塊101,可以用于獲取待處理圖像中像素點(diǎn)的顯著度概率值;
人臉檢測模塊102,可以用于檢測獲取所述待處理圖像的人臉區(qū)域;
優(yōu)化參數(shù)計(jì)算模塊103,可以用于基于所述待處理圖像指定區(qū)域內(nèi)的像素點(diǎn)與所述人臉 區(qū)域的中心像素點(diǎn)的距離計(jì)算所述指定區(qū)域內(nèi)像素點(diǎn)的概率調(diào)整因子;
優(yōu)化調(diào)整模塊104,可以用于根據(jù)所述概率調(diào)整因子調(diào)整所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值。
本申請所述的一種圖像數(shù)據(jù)處理裝置可以以所述檢測出的人臉區(qū)域?yàn)橹笇?dǎo),基于指定區(qū)域與所述人臉區(qū)域的距離對所述指定區(qū)域內(nèi)的像素點(diǎn)的顯著度概率值進(jìn)行優(yōu)化調(diào)整,提高待處理圖像主體區(qū)域檢測、提取的準(zhǔn)確性。
本申請還提供一種具體的所述概率調(diào)整因子的計(jì)算方式。圖6是本申請所述優(yōu)化參數(shù)計(jì)算模塊103的一種實(shí)施例的模塊結(jié)構(gòu)示意圖。如圖6所示,所述優(yōu)化參數(shù)計(jì)算模塊103可以包括:
差值計(jì)算模塊1031,可以用于計(jì)算所述待處理圖像的高度與所述指定區(qū)域內(nèi)像素點(diǎn)縱坐標(biāo)值的第一差值,和計(jì)算所述待處理圖像的高度與所述人臉區(qū)域的中心像素點(diǎn)縱坐標(biāo)值的第二差值;
因子計(jì)算模塊1032,可以用于將所述第一差值與所述第二差值的比值作為所述指定區(qū)域內(nèi)像素點(diǎn)的概率調(diào)整因子。
本申請的一種實(shí)施例中,所述圖像數(shù)據(jù)處理裝置中所述的指定區(qū)域可以包括所述待處理圖像中人臉區(qū)域的下部區(qū)域。在本實(shí)施例中,所述裝置可以對檢測出的人臉區(qū)域的下部區(qū)域所包括的像素點(diǎn)進(jìn)行顯著度概率值的優(yōu)化調(diào)整。所述的人臉區(qū)域的下部區(qū)域可以參照其他實(shí)施例的描述,在此不做贅述。
上述實(shí)施例中所述優(yōu)化調(diào)整模塊104具體的可以包括:
優(yōu)化模塊,可以用于以所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值與所述像素點(diǎn)所對應(yīng)的概率調(diào)整因子的乘積作為調(diào)整后的所述指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值;
第一調(diào)整模塊,可以用于在所述調(diào)整后的指定區(qū)域內(nèi)像素點(diǎn)的顯著度概率值大于1時(shí)將所述顯著度概率值設(shè)置為1。
圖7是本申請所述一種圖像數(shù)據(jù)處理裝置另一種實(shí)施例的模塊結(jié)構(gòu)示意圖。如圖7所示,所述裝置可以還包括:
上部區(qū)域優(yōu)化模塊1051,可以用于將所述待處理圖像中人臉區(qū)域上部區(qū)域的像素點(diǎn)的顯著度概率值與設(shè)置第一調(diào)諧因子β的乘積作為所述像素點(diǎn)調(diào)整后的顯著度概率值;
第二調(diào)整模塊1052,可以用于設(shè)置所述第一調(diào)諧因子β的取值;所述第一調(diào)諧因子β的取值大于等于1;還可以用于在所述調(diào)整后的所述像素點(diǎn)的顯著度概率值大于1時(shí)將所述顯著度概率值設(shè)置為1。
優(yōu)選的實(shí)施例中,為保障對所述上部區(qū)域的優(yōu)化調(diào)整在合理的范圍內(nèi),避免對所述待處 理圖像的調(diào)整產(chǎn)生大于預(yù)期的擾動,使圖像數(shù)據(jù)保持在可靠的范圍內(nèi)。所述第一調(diào)諧因子β的取值范圍可以為:
1≤β≤1.5。
本實(shí)施例中,可以對上述所述人臉區(qū)域的上部區(qū)域進(jìn)行顯著度概率值增強(qiáng)的操作,增加所述該區(qū)域內(nèi)像素點(diǎn)屬于主體區(qū)域的概率值。一般的,商品圖像中的主體區(qū)域依附于人物軀干周圍,所述人物軀干的上部區(qū)域通常包括頭發(fā)、衣帽等,屬于主體區(qū)域的可能變大。因此,本實(shí)施例在原有像素點(diǎn)的顯著度概率值的基礎(chǔ)上適當(dāng)增加像素點(diǎn)屬于主體區(qū)域的可能性,可以增加主體區(qū)域檢測、提取準(zhǔn)確性。
圖8是本申請所述一種圖像數(shù)據(jù)處理裝置另一種實(shí)施例的模塊結(jié)構(gòu)示意圖。如圖8所示,所述裝置可以還包括:
臉外處理模塊106,可以用于將所述待處理圖像中臉外區(qū)域的像素點(diǎn)的顯著度概率值與設(shè)置的第二調(diào)諧因子γ的乘積作為所述像素點(diǎn)調(diào)整后的顯著度概率值,所述第二調(diào)諧因子γ的取值小于1。所述的臉外區(qū)域可以為上述所述的人臉上部區(qū)域和下部區(qū)域以外的區(qū)域。
同上所述,為保障對所述上部區(qū)域的優(yōu)化調(diào)整在合理的范圍內(nèi),避免對所述待處理圖像的調(diào)整產(chǎn)生大于預(yù)期的擾動,使圖像數(shù)據(jù)保持在可靠的范圍內(nèi),所述圖像數(shù)據(jù)處理裝置優(yōu)選的實(shí)施例中,所述第二調(diào)諧因子γ的取值范圍可以為:
0.5≤γ≤0.75。
本實(shí)施例中,可以對上述所述臉外區(qū)域像素點(diǎn)進(jìn)行顯著度概率值減弱的操作,降低所述其他像素點(diǎn)屬于主體區(qū)域的概率值。一般的,商品圖像中的主體區(qū)域依附于人物軀干周圍,所述人物軀干之外的其他區(qū)域通常屬于主體區(qū)域的可能變小。因此,本實(shí)施例在原有像素點(diǎn)的顯著度概率值的基礎(chǔ)上適當(dāng)降低像素點(diǎn)屬于主體區(qū)域的可能性,可以增加主體區(qū)域檢測、提取準(zhǔn)確性。
圖9是本申請所述一種圖像數(shù)據(jù)處理裝置另一種實(shí)施例的模塊結(jié)構(gòu)示意圖。在本申請的其他實(shí)施例中,上述所述任意一種圖像數(shù)據(jù)處理裝置可以還包括:
主體提取模塊107,可以用于基于所述調(diào)整后的像素點(diǎn)的顯著度概率值對所述待處理圖像進(jìn)行主體區(qū)域提取。
本申請所述的圖像數(shù)據(jù)處理裝置還可以包括主體提取模塊,可以對本申請所述的像素點(diǎn)顯著度概率值優(yōu)化調(diào)整后的待處理圖像進(jìn)行主體區(qū)域提取。利用本實(shí)施例所述的圖像數(shù)據(jù)處理裝置可以更加更加準(zhǔn)確的檢測、提取待處理圖像的主體區(qū)域。
當(dāng)然,本申請所述的圖像數(shù)據(jù)處理裝置可以包括配置了本申請任意一種實(shí)施例裝置的客 戶端或者以產(chǎn)品應(yīng)用方式實(shí)現(xiàn)的終端裝置,甚至是所述客戶端或者終端中的一部分裝置。
本申請中各個(gè)實(shí)施例提供的圖像數(shù)據(jù)處理方法和裝置,可以在確定待處理圖像人臉區(qū)域后,基于所述待處理圖像中的其他區(qū)域位置與所述人臉區(qū)域的距離對像素點(diǎn)的顯著度概率進(jìn)行優(yōu)化調(diào)整。一般,在包括人體圖像信息的商品圖像中,距離所述人臉位置越近的像素點(diǎn)屬于主體區(qū)域的可能性越大。本申請?jiān)诶贸R?guī)顯著度計(jì)算像素點(diǎn)屬于主體區(qū)域的基礎(chǔ)上,結(jié)合整體圖像包括人體圖像信息的整體特性,對圖像中的特定區(qū)域進(jìn)行顯著度概率值的優(yōu)化調(diào)整,可以有效提高包括人物圖像的商品圖像中主體區(qū)域檢測、提取的準(zhǔn)確性。
圖10是利用本申請所述的方法或裝置對圖像數(shù)據(jù)處理的前后效果對比圖。如圖10所示:左圖是未加入人臉信息作為先驗(yàn)信息而提取出的顯著度概率圖,其中越亮的區(qū)域表示屬于前景的區(qū)域的可能性越大,可以發(fā)現(xiàn),諸如人臉、裙擺、上身、腿部等區(qū)域的概率值都很低,往往會導(dǎo)致最終提取的前景區(qū)域會僅僅包含的是模特的肩部區(qū)域。右圖是使用了本申請基于人臉區(qū)域增強(qiáng)后的顯著度概率圖。從右圖中可以發(fā)人臉區(qū)域的下部區(qū)域得到的相應(yīng)的增強(qiáng),那么在主體提取過程中會將整個(gè)需要提取的部分都能夠提取出來,體現(xiàn)了本申請的效果和數(shù)據(jù)處理效率。
盡管本申請內(nèi)容中提到OpenCV代碼庫、顯著度計(jì)算、人臉檢測、坐標(biāo)計(jì)算等的等之類的描述,但是,本申請并不局限于必須是完全標(biāo)準(zhǔn)的數(shù)據(jù)處理協(xié)議、信息傳輸協(xié)議或者本申請?zhí)峁┑墓潭ü降那闆r。本申請中各個(gè)實(shí)施例所涉及的上述描述僅是本申請中的一些實(shí)施例中的應(yīng)用,在某些標(biāo)準(zhǔn)、方法的基礎(chǔ)上略加修改后的處理方法也可以實(shí)行上述本申請各實(shí)施例的方案。當(dāng)然,在符合本申請上述各實(shí)施例的中所述的處理方法步驟的其他無需創(chuàng)造性的變形,仍然可以實(shí)現(xiàn)相同的申請,在此不再贅述。
雖然本申請?zhí)峁┝巳鐚?shí)施例或流程圖所述的方法操作步驟,但基于常規(guī)或者無創(chuàng)造性的手段可以包括更多或者更少的操作步驟。實(shí)施例中列舉的步驟順序僅僅為眾多步驟執(zhí)行順序中的一種方式,不代表唯一的執(zhí)行邏輯順序。在實(shí)際中的裝置或客戶端產(chǎn)品執(zhí)行時(shí),可以按照實(shí)施例或者附圖所示的方法順序執(zhí)行或者并行執(zhí)行(例如并行處理器或者多線程處理的環(huán)境)。
上述實(shí)施例闡明的單元或模塊,具體可以由計(jì)算機(jī)芯片或?qū)嶓w實(shí)現(xiàn),或者由具有某種功能的產(chǎn)品來實(shí)現(xiàn)。為了描述的方便,描述以上裝置時(shí)以功能分為各種模塊分別描述。當(dāng)然,在實(shí)施本申請時(shí)可以把各模塊的功能在同一個(gè)或多個(gè)軟件和/或硬件中實(shí)現(xiàn),也可以將實(shí)現(xiàn)同一功能的模塊由多個(gè)子模塊或子單元的組合實(shí)現(xiàn)。
本鄰域技術(shù)人員也知道,除了以純計(jì)算機(jī)可讀程序代碼方式實(shí)現(xiàn)控制器以外,完全可以 通過將方法步驟進(jìn)行邏輯編程來使得控制器以邏輯門、開關(guān)、專用集成電路、可編程邏輯控制器和嵌入微控制器等的形式來實(shí)現(xiàn)相同功能。因此這種控制器可以被認(rèn)為是一種硬件部件,而對其內(nèi)部包括的用于實(shí)現(xiàn)各種功能的裝置也可以視為硬件部件內(nèi)的結(jié)構(gòu)。或者甚至,可以將用于實(shí)現(xiàn)各種功能的裝置視為既可以是實(shí)現(xiàn)方法的軟件模塊又可以是硬件部件內(nèi)的結(jié)構(gòu)。
本申請可以在由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令的一般上下文中描述,例如程序模塊。一般地,程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)、類等等。也可以在分布式計(jì)算環(huán)境中實(shí)踐本申請,在這些分布式計(jì)算環(huán)境中,由通過通信網(wǎng)絡(luò)而被連接的遠(yuǎn)程處理設(shè)備來執(zhí)行任務(wù)。在分布式計(jì)算環(huán)境中,程序模塊可以位于包括存儲設(shè)備在內(nèi)的本地和遠(yuǎn)程計(jì)算機(jī)存儲介質(zhì)中。
通過以上的實(shí)施方式的描述可知,本鄰域的技術(shù)人員可以清楚地了解到本申請可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)。基于這樣的理解,本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品可以存儲在存儲介質(zhì)中,如ROM/RAM、磁碟、光盤等,包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),移動終端,服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
本說明書中的各個(gè)實(shí)施例采用遞進(jìn)的方式描述,各個(gè)實(shí)施例之間相同或相似的部分互相參見即可,每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。本申請可用于眾多通用或?qū)S玫挠?jì)算機(jī)系統(tǒng)環(huán)境或配置中。例如:個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持設(shè)備或便攜式設(shè)備、平板型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、可編程的電子設(shè)備、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、包括以上任何系統(tǒng)或設(shè)備的分布式計(jì)算環(huán)境等等。
雖然通過實(shí)施例描繪了本申請,本鄰域普通技術(shù)人員知道,本申請有許多變形和變化而不脫離本申請的精神,希望所附的權(quán)利要求包括這些變形和變化而不脫離本申請的精神。