本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,特別涉及一種指甲圖像的提取方法及系統(tǒng)。
背景技術(shù):
圖像分割技術(shù)在當(dāng)下的商業(yè)活動中應(yīng)用領(lǐng)域極廣,包括醫(yī)學(xué)CT圖像分析、手機(jī)拍照背景虛化等。由于圖像千變?nèi)f化,每一個領(lǐng)域中的圖像特征不同,因而不同領(lǐng)域就需要相應(yīng)的圖像分割技術(shù)進(jìn)行處理。
在醫(yī)療領(lǐng)域,醫(yī)生可通過提取出的指甲圖像進(jìn)行疾病的預(yù)防,例如,指甲半月痕相比往常變小則說明當(dāng)前新陳代謝出現(xiàn)問題、灰色指甲表示人有真菌引起的傳染病等。利用圖像分割技術(shù)自動提取出指甲區(qū)域并對歷史指甲的狀態(tài)進(jìn)行追蹤,將會對疾病起到一定預(yù)警作用,符合未來互聯(lián)網(wǎng)醫(yī)療趨勢。另一方面,利用提取出的指甲區(qū)域圖像進(jìn)行制作自動美甲機(jī)將會對美甲行業(yè)產(chǎn)生變革性影響。
目前利用圖像分割提取指甲區(qū)域的研究成果較少,Kumuda,N.S.,and M.S.Dinesh["Human fingernail segmentation."Emerging Research in Electronics,Computer Science and Technology(ICERECT),2015 International Conference on.IEEE,2015.]提出的方法主要實現(xiàn)了基于顏色的指甲提取,以及指甲各個區(qū)域的分割,該方法只使用顏色信息,其局限性較大,且不適用于膚色較淺的人種。Sun,Yu,et.al.["Estimation of fingertip force direction with computer vision."IEEE Transactions on Robotics 25.6(2009):1356-1369.]所用到的指甲區(qū)域提取方法只使用了指甲的邊緣信息,魯棒性不高,而且該方法需要提前對每一個使用者的指甲圖像進(jìn)行相對應(yīng)的圖像標(biāo)定采集,實用性較差。
因而現(xiàn)有技術(shù)還有待改進(jìn)和提高。
技術(shù)實現(xiàn)要素:
本發(fā)明要解決的技術(shù)問題在于,針對現(xiàn)有技術(shù)的不足,提供一種指甲圖像的提取方法及系統(tǒng),其根據(jù)人類皮膚和指甲在顏色特征以及特定姿勢下的輪廓特征信息提取指甲圖像,使得精確度和魯棒性均得到提高。
為了解決上述技術(shù)問題,本發(fā)明所采用的技術(shù)方案如下:
一種指甲圖像的提取方法,其包括:
通過機(jī)器視覺設(shè)備對待分析的手或腳進(jìn)行拍攝,獲取指定姿勢的手或腳的圖像;
根據(jù)預(yù)設(shè)的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型,并根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域;
根據(jù)所述指定姿勢提取所述手或腳圖像區(qū)域內(nèi)的第一指甲區(qū)域,并采用圖像分割方法在所述第一指甲區(qū)域內(nèi)提取指甲圖像。
所述指甲圖像的提取方法,其中,所述識別所述圖像的背景顏色信息,并根據(jù)所述背景顏色以及人類皮膚顏色信息建立圖像的背景與手或腳分類模型具體包括:
將所述圖像的顏色空間轉(zhuǎn)換到Y(jié)CbCr空間,并獲取每個像素在Cb通道的值以及Cr通道的值;
根據(jù)所述人類皮膚顏色在Cb通道的值以及Cr通道的值確定用于區(qū)分圖像的背景與手或腳的分類條件;
根據(jù)所述分類條件在所述圖像中提取所述手或腳的圖像區(qū)域。
所述指甲圖像的提取方法,其中,所述分類條件為:
其中,Pb為像素P在Cb通道的值,Pr為像素P在Cr通道的值,b0,r0,θ,a和b為常數(shù)。
所述指甲圖像的提取方法,其中,所述根據(jù)預(yù)設(shè)的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型,并根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域具體包括:
獲取所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像區(qū)域的標(biāo)準(zhǔn)輪廓以及預(yù)設(shè)的人類皮膚顏色信息;
根據(jù)所述皮膚顏色以及所述標(biāo)準(zhǔn)輪廓建立所述圖像的背景與手或腳的分類模型;
根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域。
所述指甲圖像的提取方法,其中,所述根據(jù)所述皮膚顏色信息以及所述標(biāo)準(zhǔn)輪廓建立所述圖像的背景與手或腳的分類模型具體包括:
識別所述圖像的背景顏色信息,并根據(jù)所述背景顏色信息以及皮膚顏色信息對所述圖像的顏色進(jìn)行聚類;
采用比較輪廓法計算聚類得到的所有分類組合所形成圖像區(qū)域的當(dāng)前輪廓與所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)輪廓的相似分?jǐn)?shù);獲取所述相似分?jǐn)?shù)最高的分類,并將分類組合形成的圖像區(qū)域設(shè)置為所述圖像中手或腳的圖像區(qū)域并提取。
所述指甲圖像的提取方法,其中,所述根據(jù)所述指定姿勢提取所述圖像區(qū)域內(nèi)的第一指甲區(qū)域,并采用圖像分割方法在所述第一指甲區(qū)域內(nèi)提取指甲圖像具體包括:
對所述圖像區(qū)域進(jìn)行修正以使得所述圖像區(qū)域與預(yù)設(shè)的所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像區(qū)域?qū)R;
根據(jù)所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域設(shè)定的指甲區(qū)域確定所述圖像區(qū)域的第一指甲區(qū)域,其中,所述第一指甲區(qū)域包括若干第一指甲子區(qū)域;
采用圖像分割方法在每個第一指甲子區(qū)域內(nèi)提取指甲子區(qū)域,所述若干子區(qū)域構(gòu)成所述指甲圖像。
所述指甲圖像的提取方法,其中,所述圖像分割方法為基于指甲顏色與皮膚顏色差異的圖像分割算法、基于圖像邊緣信息的曲線擬合方法、基于指甲顏色信息、圖像邊緣信息和指定姿勢下標(biāo)準(zhǔn)輪廓信息的能量最小化方法中一種。
一種指甲圖像的提取系統(tǒng),其包括:
拍攝模塊,用于通過機(jī)器視覺設(shè)備對待分析的手或腳進(jìn)行拍攝,獲取指定姿勢的手或腳的圖像;
第一提取模塊,用于根據(jù)預(yù)設(shè)的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型,并根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域;
第二提取模塊,用于根據(jù)所述指定姿勢提取所述手或腳圖像區(qū)域內(nèi)的第一指甲區(qū)域,并采用圖像分割方法在所述第一指甲區(qū)域內(nèi)提取指甲圖像。
所述指甲圖像的提取系統(tǒng),其中,所述第一提取模塊具體包括:
獲取單元,用于獲取所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像區(qū)域的標(biāo)準(zhǔn)輪廓以及預(yù)設(shè)的人類皮膚顏色信息;
建立單元,用于根據(jù)所述皮膚顏色以及所述標(biāo)準(zhǔn)輪廓建立所述圖像的背景與手或腳的分類模型;
第一提取單元,用于根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域。
所述指甲圖像的提取系統(tǒng),其中,所述第二提取模塊具體包括:
修正單元,用于對所述圖像區(qū)域進(jìn)行修正以使得所述圖像區(qū)域與預(yù)設(shè)的所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像區(qū)域?qū)R;
確定單元,用于根據(jù)所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域設(shè)定的指甲區(qū)域確定所述圖像區(qū)域的第一指甲區(qū)域,其中,所述第一指甲區(qū)域包括若干第一指甲子區(qū)域;
第二提取單元,用于采用圖像分割方法在每個第一指甲子區(qū)域內(nèi)提取指甲子區(qū)域,所述若干子區(qū)域構(gòu)成所述指甲圖像。
一種指甲圖像的提取裝置,其包括如上任一所述的指甲圖像的提取系統(tǒng)。
所述指甲圖像的提取裝置,其還包括載放裝置,所述載放裝置包括具有容納腔的殼體,所述容納腔的底部設(shè)置有放置平面,所述殼體與所述放置平面相對的一面設(shè)置有用于外部設(shè)備拍攝圖像的第一開口,所述殼體設(shè)置有用于手掌伸入的第二開口,所述第一開口所處平面與所述第二開口所處平面相交。
所述指甲圖像的提取裝置,其中,所述殼體內(nèi)設(shè)置有用于補光的LED燈。
有益效果:與現(xiàn)有技術(shù)相比,本發(fā)明提供了一種應(yīng)用自啟動的控制方法及系統(tǒng),所述方法包括:通過機(jī)器視覺設(shè)備對待分析的手或腳進(jìn)行拍攝,獲取指定姿勢的手或腳的圖像;根據(jù)預(yù)設(shè)的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型,并根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域;根據(jù)所述指定姿勢提取所述圖像區(qū)域內(nèi)的第一指甲區(qū)域,并采用圖像分割方法在所述第一指甲區(qū)域內(nèi)提取指甲圖像。本發(fā)明根據(jù)人類皮膚和指甲在顏色特征以及特定姿勢下的輪廓特征信息對指甲圖像進(jìn)行提取,使得精確度和魯棒性均得到了較大提高。
附圖說明
圖1為本發(fā)明提供的指甲圖像的提取方法較佳實施的流程圖。
圖2為本發(fā)明提供的指甲圖像的提取方法中指定手勢的示意圖。
圖3為本發(fā)明提供的指甲圖像的提取方法中拍攝的手部區(qū)域圖像。
圖4為本發(fā)明提供的指甲圖像的提取方法中提取的感興趣區(qū)域的示意圖。
圖5為本發(fā)明提供的指甲圖像的提取方法中提取的指甲圖像的示意圖。
圖6為本發(fā)明提供的指甲圖像的提取方法的實施例一中使用曲線擬合從感興趣區(qū)域中提取第一指甲區(qū)域的示意圖。
圖7為本發(fā)明提供的指甲圖像的提取控制系統(tǒng)的結(jié)構(gòu)原理圖。
圖8為本發(fā)明提供的載放裝置的結(jié)構(gòu)視圖。
圖9為本發(fā)明提供的載放裝置的使用狀態(tài)圖。
具體實施方式
本發(fā)明提供一種指甲圖像的提取方法及系統(tǒng),為使本發(fā)明的目的、技術(shù)方案及效果更加清楚、明確,以下參照附圖并舉實施例對本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實施例僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
本發(fā)明中,使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明,其本身并沒有特定的意義。因此,模塊”、“部件”或“單元”可以混合地使用。
終端設(shè)備可以以各種形式來實施。例如,本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數(shù)字廣播接收器、PDA(個人數(shù)字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導(dǎo)航裝置等等的移動終端以及諸如數(shù)字TV、臺式計算機(jī)等等的固定終端。然而,本領(lǐng)域技術(shù)人員將理解的是,除了特別用于移動目的的元件之外,根據(jù)本發(fā)明的實施方式的構(gòu)造也能夠應(yīng)用于固定類型的終端。
下面結(jié)合附圖,通過對實施例的描述,對發(fā)明內(nèi)容作進(jìn)一步說明。
請參照圖1,圖1為本發(fā)明提供的指甲圖像的提取方法的較佳實施例的流程圖。所述方法包括:
S100、通過機(jī)器視覺設(shè)備對待分析的手或腳進(jìn)行拍攝,獲取指定姿勢的手或腳的圖像。
具體地,所述的機(jī)器視覺設(shè)備可以是手機(jī)的攝像頭、平板電腦的攝像頭或者是筆記本電腦的攝像頭等。只要能對指甲進(jìn)行拍照并獲取指甲圖像的設(shè)備均可作為機(jī)器視覺設(shè)備。所述指定姿勢為預(yù)先設(shè)置在獲取手或腳的圖像時,手和腳所處的姿勢。這里以手為例對所述指定姿勢加以說明,如圖2所示,所述指定姿勢可以為手背向上手掌平放于一個平面上,并且五指張開。當(dāng)然,在本實施例的變形實施例中,所述指定姿勢也可以為用戶手心面向攝像頭,五指握向掌心但是互不遮擋。當(dāng)然,所述指定姿勢還可以是其他姿勢,這里就不一一列舉。
S200、根據(jù)預(yù)設(shè)的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型,并根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域。
具體地,所述人類皮膚顏色預(yù)先設(shè)置的,其可以通過大量的實驗統(tǒng)計獲取的人類皮膚顏色標(biāo)準(zhǔn)值。其也可以是用戶根據(jù)自身皮膚顏色而自行設(shè)置的。在實際應(yīng)用中,可以預(yù)設(shè)存儲多個人類皮膚顏色,并將所述人類皮膚顏色與人種相對應(yīng),不同的人種對應(yīng)不同的人類皮膚顏色,這樣可以避免由于黑人和白人之間的皮膚差異過大而產(chǎn)生的分類不準(zhǔn)確的問題。
在本實施例中,所述根據(jù)預(yù)設(shè)的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型,并根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域具體可以包括:
S201、識別所述圖像的背景顏色信息,并根據(jù)所述背景顏色以及人類皮膚顏色信息建立圖像的背景與手或腳分類模型;
S202、根據(jù)所述分類模型在所述圖像中提取手或腳的圖像區(qū)域。
具體地,所述根據(jù)皮膚顏色建立圖像背景與手或腳的分類模型可以根據(jù)橢圓模型建立基于顏色的分類模型。所述分類模型的建立過程具體可以為:首先將所述圖像的顏色空間轉(zhuǎn)換到Y(jié)CbCr空間,設(shè)所述圖像中某像素P在Cb通道的值為Pb,Cr通道的值為Pr,若P滿足下述條件,則判定P屬于手或腳區(qū)域,否則則為背景區(qū)域。
所述條件為根據(jù)人類皮膚顏色信息值從顏色轉(zhuǎn)換到Y(jié)CbCr空間時,在Cb通道的值和在Cr通道的值滿足的關(guān)系。從而可以根據(jù)所述關(guān)系是來判斷所述圖像對應(yīng)的顏色空間中屬于手或腳圖像區(qū)域的像素,進(jìn)而將背景顏色與手或腳的顏色分類,以實現(xiàn)提取手或腳的圖像區(qū)域。在本實施例中,所述條件可以表示為:
其中,所述b0,r0,θ,a和b為常數(shù)。
在本發(fā)明的另一個實施例中,所述采用圖像分割法在所述圖像中提取所述手或腳的圖像區(qū)域具體可以包括:
S201a、獲取所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像區(qū)域的標(biāo)準(zhǔn)輪廓以及預(yù)設(shè)的人類皮膚顏色信息;
S202a、根據(jù)所述皮膚顏色以及所述標(biāo)準(zhǔn)輪廓建立所述圖像的背景與手或腳的分類模型;
S203a、根據(jù)所述分類模塊在所述圖像中提取所述手或腳的圖像區(qū)域。
具體地,所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域是預(yù)設(shè)為所述指定姿勢拍攝的包含手或腳的圖像設(shè)定,并且所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域與所述指定姿勢對應(yīng)存儲,以使得當(dāng)用戶以所述姿勢拍攝圖像時,可以根據(jù)所述指定姿勢查找到所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域。在實際應(yīng)用中,可以預(yù)設(shè)建立一個數(shù)據(jù)庫,用于存儲指定姿勢和標(biāo)準(zhǔn)手或腳的圖像區(qū)域,并且所述指定姿勢和所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域相互綁定。同時,所述數(shù)據(jù)庫內(nèi)還可以存儲所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)指甲區(qū)域,所述標(biāo)準(zhǔn)指甲區(qū)域也有其對應(yīng)的指定姿勢綁定存儲,以便于根據(jù)所述指定姿勢查詢到所述標(biāo)準(zhǔn)指甲區(qū)域。
所述根據(jù)圖像背景與手或腳分類模型采用顏色聚類和比較輪廓的方法建立手或腳分類模型。所述建立過程具體可以包括:首先采用Expectation Maximization(EM)算法對所述圖像中的所有像素進(jìn)行k-means聚類得到若干個分類。然后采用比較輪廓的方法確定所有分類組合所形成圖像區(qū)域的輪廓中與所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)圖像中手或腳構(gòu)成的圖像區(qū)域的標(biāo)準(zhǔn)輪廓相似分?jǐn)?shù)最高的分類組合,并將該分類組合形成的圖像區(qū)域設(shè)置為所述圖像中手或腳的圖像區(qū)域并提取。
在本實施例中,所述比較輪廓的方法可以是采用所述分類形成圖像區(qū)域的周長/面積比為對比因子來確定輪廓相似分?jǐn)?shù)。也就是說,首先計算所述某一類別組合形成的圖像區(qū)域的周長與面積的比例,將其與指定姿勢對應(yīng)的標(biāo)準(zhǔn)圖像的手和腳構(gòu)成的圖像區(qū)域的周長與面積的比例進(jìn)行比較,根據(jù)所述比較結(jié)果確定輪廓相似分?jǐn)?shù)。
在本實施例的變形實施例中,所述比較輪廓的方法可以為procrustes analysis的方法。所述采用procrustes analysis(普氏分析)方法確定相似分?jǐn)?shù)的具體過程可以為:在所述每個分類組合所形成的圖像區(qū)域的輪廓中抽樣選出點集P,對所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)圖像中手或腳構(gòu)成的圖像區(qū)域的標(biāo)準(zhǔn)輪廓抽樣選出點集P0,并且所述點集P和點集P0的點數(shù)量相同。然后,根據(jù)點集P以及點集P0計算一個線性變換(例如,平移、旋轉(zhuǎn)、鏡面反射、縮放)以使得點集P點集P0對齊,再計算變換后的點集P與點集P0的方差,所述方差為點集P與點集P0的差異度。最后,對所述方差取倒數(shù)即得到點集P與點集P0的相似分?jǐn)?shù)。
S300、根據(jù)所述指定姿勢提取所述手或腳圖像區(qū)域內(nèi)的第一指甲區(qū)域,并采用圖像分割方法在所述第一指甲區(qū)域內(nèi)提取指甲圖像。
具體地,所述根據(jù)所述姿勢提取所述手或腳圖像區(qū)域內(nèi)的第一指甲區(qū)域指的是在所述手或腳的圖像區(qū)域中粗略提取第一指甲區(qū)域。所述采用圖像分割方法在所述第一指甲區(qū)域內(nèi)提取指甲圖像指的是在所述第一指甲區(qū)域內(nèi)精細(xì)的提取包含指甲的圖像得到指甲圖像。
示例性的,所述根據(jù)所述指定姿勢提取所述手或腳圖像區(qū)域內(nèi)的第一指甲區(qū)域,并采用圖像分割方法在所述第一指甲區(qū)域內(nèi)提取指甲圖像具體可以包括:
S301、對所述手或腳圖像區(qū)域進(jìn)行修正以使得所述手或腳圖像區(qū)域與預(yù)設(shè)的所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像區(qū)域?qū)R。
具體地,所述對所述手或腳圖像區(qū)域進(jìn)行修正指的是將所述手或腳圖像區(qū)域進(jìn)行旋轉(zhuǎn)、縮放等對齊操作使得所述手或腳圖像區(qū)域的位置與所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像區(qū)域?qū)R。所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域為預(yù)先設(shè)置的所有指定姿勢中手或腳所占用的圖像區(qū)域。在實際應(yīng)用中,所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域是根據(jù)大量人類手或腳在所述指定姿勢下的圖像學(xué)習(xí)到的手或腳的所占的平均圖像區(qū)域。
S302、根據(jù)所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域的指甲區(qū)域確定所述手或腳圖像區(qū)域的第一指甲區(qū)域,其中,所述第一指甲區(qū)域包括若干第一指甲子區(qū)域。
具體地,將所述標(biāo)準(zhǔn)手或腳的圖像區(qū)域中包含指甲的區(qū)域作為當(dāng)前手或腳圖像區(qū)域中包含指甲的感興趣區(qū)域以確定所述圖像區(qū)域的第一指甲區(qū)域,所述第一指甲區(qū)域包括若干第一指甲子區(qū)域。所述第一指甲子區(qū)域為手或腳每個指甲的區(qū)域。在實際應(yīng)用中,在根據(jù)所述標(biāo)準(zhǔn)圖像確定第一指甲區(qū)域后,還可以結(jié)合指甲的顏色信息進(jìn)一步優(yōu)化感興趣區(qū)域,例如基于顏色的分類模型去除指甲區(qū)域的邊緣以優(yōu)化感興趣區(qū)域,即第一指甲區(qū)域。
S303、采用圖像分割方法在每個第一指甲子區(qū)域內(nèi)提取指甲子區(qū)域,所述若干指甲子區(qū)域構(gòu)成所述指甲圖像。
具體地,所述圖像分割方法可以為基于指甲顏色與皮膚顏色差異的圖像分割算法,或基于圖像邊緣信息的曲線擬合方法,或基于指甲顏色信息、圖像邊緣信息和指定姿勢下標(biāo)準(zhǔn)輪廓信息的能量最小化方法。
在本實施例中,所述圖像分割方法為基于指甲顏色與皮膚顏色差異的圖像分割算法。所述基于指甲顏色與皮膚顏色差異的圖像分割算法獲取指甲子區(qū)域的過程可以為:對每個第一指甲子區(qū)域進(jìn)行主成分分析建立指甲顏色模型,所述指甲顏色模型是計算第二和第三主成分的加權(quán)和,并采用閾值法提取所述指甲顏色值高于預(yù)設(shè)閾值的區(qū)域為指甲區(qū)域。在本實施例中,所述主成分分析(PCA)為將圖像所有像素RGB值進(jìn)行正交變換到若干線性不相關(guān)的變量,即所述若干線性不相關(guān)的變量為主成分。并且,所述變換后的圖像像素的第一主成分滿足方差最大,第二主成分在正交于第一主成分的前提下滿足方差最大,第三主成分在正交于第一和第二主成分的前提下滿足方差最大。
在本發(fā)明的另一個實施例中,所述圖像分割算法為對圖像邊緣信息進(jìn)行曲線擬合的方法。所述對圖像邊緣信息進(jìn)行曲線擬合獲取指甲子區(qū)域的過程可以為:對每個第一指甲子區(qū)域使用邊緣檢測算子(如,canny算子)獲取其對應(yīng)的邊緣信息;再對所述邊緣信息進(jìn)行曲線擬合求得指甲的邊緣曲線,例如,使用三次樣條函數(shù)曲線對提取的邊緣信息進(jìn)行擬合,再求解出方差最小的三次樣條函數(shù)曲線作為最終的指甲區(qū)域的邊緣。
在本發(fā)明的再一個實施例中,所述圖像分割算法是為能量最小化方法,如圖割法(graph-cut)或水平集法(level set)等。所述能量最小化方法中的能量項可以包括指甲顏色信息、梯度信息、和指定姿勢下標(biāo)準(zhǔn)輪廓模型。優(yōu)選的,所述指甲顏色模型可以是人手或腳區(qū)域圖像的第二和第三主成分加權(quán)值;所述梯度信息可以通過sobel、prewitt、Laplace of Gaussian等算子計算;所述已知輪廓模型可以是當(dāng)前指甲圖像輪廓與所述指定姿勢的標(biāo)準(zhǔn)輪廓的差異。
為了進(jìn)一步說明本發(fā)明提供的指甲圖像的提取方法,下面以手為例對所述指甲圖像的提取方法做進(jìn)一步說明。為了便于說明,設(shè)手部圖像的區(qū)域為Ω,所需要提取的手部圖像區(qū)域為ΩH,所需要提取的指甲區(qū)域為ΩN,這些定義適用于后續(xù)全文。
實施例一
本實施例提供了一種指甲圖像的提取方法,其包括:
S10、當(dāng)用戶將手掌按照指定姿勢放置于載放裝置時,獲取所述手部圖像。
具體地,用戶將手掌按照指定姿勢放置于載放裝置指的用戶根據(jù)提示按照指定姿勢將手掌伸入到所述載放裝置內(nèi),其中,所述指定姿勢為手背向上,五指張開,手心貼緊載放裝置的放置平面。在用戶將手掌放置好后,通過智能手機(jī)拍攝手掌圖像。
所述載放裝置為用于放置手掌以便于智能手機(jī)拍攝手部圖像的裝置。所述載放裝置包括具有容納腔的殼體,所述容納腔的底部設(shè)置有放置平面,所述殼體與所述放置平面相對的一面設(shè)置有用于外部設(shè)備拍攝圖像的第一開口,所述殼體設(shè)置有用于手掌伸入的第二開口,所述第一開口所處平面與所述第二開口所處平面相交。所述殼體的內(nèi)壁上還可以設(shè)置有用于為拍攝補光的LED燈。在實際應(yīng)用中,所述載放裝置還可以設(shè)置有攝像頭以及通訊裝置,使得通過所述載放裝置可以直接獲取手部圖像,并將所述手部圖像發(fā)送至外部設(shè)備。
S20、根據(jù)所述載放裝置的內(nèi)部顏色和所述人類皮膚顏色建立分類模型,根據(jù)所述分類模型提取所述手部圖像內(nèi)的手部圖像區(qū)域。
具體地,所述載放裝置的內(nèi)部顏色根據(jù)對載放裝置內(nèi)部的顏色進(jìn)行測量而獲取的背景顏色B(lb,ab,bb)。所述人類皮膚顏色可以通過大量統(tǒng)計獲取的人類皮膚顏色的均值H(lh,ah,bh)。在實際應(yīng)用中,所述內(nèi)部顏色優(yōu)選為與人臉皮膚顏色差異大的顏色,如,綠色、藍(lán)色等,這樣使得載放裝置的內(nèi)部顏色和手部皮膚顏色有很大的反差,就可以根據(jù)顏色將手部圖像的所有像素進(jìn)行歸類,將手部圖像的背景與手掌分離,得到手部區(qū)域圖像,如圖3所示。
所述根據(jù)所述載放裝置的內(nèi)部顏色和所述人類皮膚顏色建立分類模型具體可以為:首先將手部圖像轉(zhuǎn)換到CIE LAB顏色空間中,所述顏色空間顏色與真實顏色之間在視覺感受上的差距為一致(uniform)的。然后,對圖像中每個像素p(l,a,b)計算其與背景顏色B(lb,ab,bb)和人類膚色均值H(lh,ah,bh)的距離比r(p),當(dāng)距離比r(p)大于1時,所述像素屬于手掌區(qū)域,即p∈ΩH;當(dāng)距離比r(p)小于等于1時,所述像素屬于背景區(qū)域。所述r(p)的具體公式為:
S30、根據(jù)所述指定姿勢在所述手部圖像區(qū)域中提取包含指甲的感興趣區(qū)域。
具體地,所述根據(jù)所述指定姿勢在所述手部圖像區(qū)域中提取包含指甲的感興趣區(qū)域具體為將所述手部圖像區(qū)域修正至與所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手部圖像區(qū)域相對應(yīng),之后根據(jù)所述標(biāo)準(zhǔn)手部圖像區(qū)域內(nèi)包含指甲的感興趣區(qū)域來確定所述手部圖像區(qū)域中包含指甲的感興趣區(qū)域,以實現(xiàn)在所述手部圖像區(qū)域中提取包含指甲的感興趣區(qū)域,如圖4所示。
在本實施例中,所述根據(jù)所述指定姿勢在所述手部圖像區(qū)域中提取包含指甲的感興趣區(qū)域具體包括:
S31、對所述手部圖像區(qū)進(jìn)行修正,以使得所述手部圖像區(qū)域與所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手部圖像區(qū)域一致;
S32、根據(jù)所述標(biāo)準(zhǔn)手部區(qū)域確定所述手部圖像區(qū)域中保護(hù)指甲的感興趣區(qū)域并提取。
具體的來說,在所述步驟S31中,所述對手部圖像區(qū)域進(jìn)行修正指的是對所述手部圖像區(qū)域進(jìn)行旋轉(zhuǎn)、縮放等對齊操作,使得所述手部圖像區(qū)域與標(biāo)準(zhǔn)手部圖像區(qū)域可以重合,即兩者大小和形狀相同。在實際應(yīng)用中,所述修正過程可以為:對手部圖像區(qū)域坐標(biāo)計算主成分,提取出坐標(biāo)方差變化最大的向量,然后對圖像旋轉(zhuǎn)使得所述向量經(jīng)旋轉(zhuǎn)后與標(biāo)準(zhǔn)手部圖像Y軸平,最后將圖像縮放使其與標(biāo)準(zhǔn)圖像的大小一致。
所述標(biāo)準(zhǔn)手部圖像區(qū)域是對大量所述指定姿勢的手部圖像進(jìn)行分析學(xué)習(xí)得到。所述學(xué)習(xí)過程具體可以為:首先獲取大量用戶以所述指定姿勢拍攝的手部圖像,然后將所有手部圖像調(diào)整至統(tǒng)一尺寸,在對調(diào)整后所有手部圖像進(jìn)行學(xué)習(xí)得到所述標(biāo)準(zhǔn)手部圖像。在實際應(yīng)用中,可以通過圖像取均值的方法得到所述標(biāo)準(zhǔn)手部圖像。
在所述步驟S32中,可以將所述標(biāo)準(zhǔn)手部區(qū)域?qū)?yīng)的感興趣區(qū)域確定為所述手部圖像區(qū)域?qū)?yīng)的感興趣區(qū)域。也就是說,獲取所述標(biāo)準(zhǔn)手部根據(jù)我們可以直接使用標(biāo)準(zhǔn)圖像的感興趣區(qū)域作為當(dāng)前手或腳圖像的感興趣區(qū)域,也可進(jìn)一步計算當(dāng)前圖像手或腳圖像的凸包頂點,選出Y值最小的五個頂點,該五個頂點附近區(qū)域的圖像區(qū)域即為包含指甲的感興趣區(qū)域。
S40、采用圖像分割法在所述感興趣區(qū)域中提取指甲圖像,如圖5所示。
具體地,所述圖像分割法為基于邊緣信息的擬合方法,即對邊緣進(jìn)行檢測并使用三次樣條曲線擬合的方法。如圖6所示,所述提取圖像的過程具體可以為:S41、首先對感興趣區(qū)域圖像進(jìn)行邊緣提取。在本實施例中,采用canny算子對感興趣區(qū)域圖像進(jìn)行邊緣提取。Canny算子首先對圖像進(jìn)行高斯模糊并使用sobel算子計算圖像梯度信息,之后對梯度計算結(jié)果進(jìn)行非最大值去除,最后設(shè)立高閾值篩以選取所述感興趣區(qū)域圖像的強(qiáng)邊緣,設(shè)立低閾值將弱邊緣中與強(qiáng)邊緣有鄰域關(guān)系的邊緣提取出來,將提取的弱邊緣與強(qiáng)邊緣作為所述感興趣區(qū)域圖像的邊緣,如圖8.c為所述感興趣區(qū)域圖像經(jīng)過canny邊緣提取之后的圖像。
進(jìn)一步,由于經(jīng)過邊緣提取后的圖像可能會夾雜不屬于真正指甲邊緣的邊緣信息,如,皮膚褶皺、指甲的豎紋、皮膚或指甲的過曝區(qū)域或皮膚與背景的邊緣等。因此,需要對經(jīng)過canny邊緣提取之后的圖像進(jìn)行過濾篩選出以得到準(zhǔn)確的指甲邊緣信息,圖8.d為展示過濾后的邊緣信息。在實際應(yīng)用中,可以根據(jù)邊緣性質(zhì)對所述邊緣進(jìn)行篩選。例如,可以根據(jù)每條邊緣的鄰域信息去除皮膚褶皺和指甲豎紋,即計算每條邊緣的鄰域信息均方差,若該邊緣鄰域圖像的方差大于預(yù)設(shè)閾值,則該邊緣屬于真正的指甲邊緣;若該邊緣鄰域圖像的方差小于等于預(yù)設(shè)閾值,則該邊緣屬于皮膚褶皺或指甲豎紋。比如針對過曝區(qū)域,我們設(shè)定像素灰度高于一定閾值(比如220)時則判定為過曝,若一條邊緣鄰域過曝像素高過一定比例,則判斷該邊緣為過曝邊緣。
最后,在獲取到指甲邊緣信息后,采用曲線擬合的方法對篩選后的邊緣進(jìn)行擬合。在本實施例中,采用自然三次樣條函數(shù)對邊緣進(jìn)行擬合,所述自然三次樣條函數(shù)為一個分段函數(shù),每一段函數(shù)都是一個三次多項式函數(shù),每一個段函數(shù)與其鄰域段函數(shù)在臨界節(jié)點的值和一階導(dǎo)數(shù)值連續(xù)且二階導(dǎo)數(shù)為0。所述擬合過程具體為首先在所有邊緣點中選取若干初始控制點,根據(jù)所述若干初始控制點插值出初始自然三次樣條函數(shù),計算剩余邊緣點與該函數(shù)的距離,若平均距離大于某一閾值,則添加距離函數(shù)最遠(yuǎn)的邊緣點重新計算一個自然三次樣條函數(shù),重復(fù)該過程直至所有邊緣點與函數(shù)的距離小于某一閾值,得到指甲圖像的邊緣,所述邊緣包圍的圖像區(qū)域即為指甲圖像。在本實施例中,所述初始控制點的選取過程可以為首先確定邊緣點的重心,在以所述重心為起始向周圍發(fā)射n條(比如n=36條)射線,每對相鄰射線之間的角度為360/n度,每條射線與邊緣點的交點即為初始控制點。所述閾值的可根據(jù)樣條函數(shù)周長L來確定,比如可以是L/(2π*10)。
實施例二
本實施提供的指甲圖像提取方法中,直接使用智能終端對人手的指甲進(jìn)行提取,所述方法具體包括:。
H10、通過智能終端對待分析的手或腳進(jìn)行拍攝,獲取指定姿勢的手部圖像。
具體地,當(dāng)用戶安裝指定姿勢將手放置于一個平面上時,在所述智能設(shè)備上顯示所述指定姿勢對應(yīng)的指導(dǎo)圖,并根據(jù)所述指導(dǎo)圖提示用戶調(diào)整手部的位置,以使得所述用戶的手在智能設(shè)備上的成像至于所述指導(dǎo)圖中,這樣可以降低圖像分割的難度。
H20、根據(jù)所述指定姿勢的輪廓信息以及人類皮膚信息建立手部圖像的背景與手部的分類模型,并根據(jù)所述分類模型提取手掌圖像區(qū)域。
具體地,所述指定姿勢的輪廓信息以及人臉皮膚信息為預(yù)先設(shè)置,在建立分類模型時可以先讀取預(yù)先存儲的指定姿勢的輪廓信息以及人臉皮膚信息,所述指定姿勢的輪廓信息以及人臉皮膚信息可存儲于智能設(shè)備中,可以存儲在后臺服務(wù)器等。
所述根據(jù)所述指定姿勢的輪廓信息以及人類皮膚信息建立手部圖像的背景與手部的分類模型具體可以為:將所述指導(dǎo)圖形區(qū)域中所有像素按顏色距離進(jìn)行聚類使得所有像素分成k(k>=2)個類別。在本實施例中,采用Expectation Maximization算法進(jìn)行聚類,其具體過程可以為首先初始化k個類別的均值,然后計算每個像素與每個類別均值的距離并將所述像素歸類到距離最近的類別中,依次循環(huán)直至所有像素完成歸類,再對每個類別更新均值,并重復(fù)上述歸類和均值更新的過程直至完成收斂。
在根據(jù)按照顏色對像素分成k個類別后,將所述k個類別劃分為兩個類別,分別為背景和手部。所述劃分過程具體可以為:根據(jù)所述k個類別的均值選出可能屬于皮膚區(qū)域的部分,然后對所述選出的類別進(jìn)行組合,并對這些組合形成的區(qū)域的輪廓進(jìn)行判斷,尋找出與所述姿勢輪廓相似分?jǐn)?shù)最高的組合作為最終的手部類別。例如,設(shè)k=4,即將所述指導(dǎo)圖形中的所有像素按照顏色聚集成4個類別。再分別計算每個類別均值與人類皮膚平均顏色之間的距離,并設(shè)定閾值選出可能屬于皮膚的類別。例如,當(dāng)將像素p轉(zhuǎn)換到hsv通道,并對h和s兩個通道縮放到[0,1]區(qū)間時,所述閾值可以是0.1。也就是說,每個通道的值與人類皮膚平均顏色在該通道的值之間的差距都必須小于0.1時,才能判斷該像素p屬于人類皮膚顏色。
進(jìn)一步,這里假設(shè)類別{1,2,4}的均值與人類皮膚平均顏色接近。然后,獲取{1,2,4}的所有子集,分別為包括{1},{1,2},{1,2,4}…等7個組合,計算每個組合的當(dāng)前輪廓與所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手部圖像區(qū)域的標(biāo)準(zhǔn)輪廓的相似分?jǐn)?shù)。所述相似分?jǐn)?shù)的計算方法可以采用輪廓的周長/面積比確定當(dāng)前輪廓與標(biāo)準(zhǔn)輪廓的相似分?jǐn)?shù),即根據(jù)輪廓周長與輪廓內(nèi)包含的面積之間的比例確定當(dāng)前輪廓與標(biāo)準(zhǔn)輪廓的相似分?jǐn)?shù)。其也可以選用procrustes analysis(普氏分析)方法,即對標(biāo)準(zhǔn)輪廓進(jìn)行抽樣以選出點集P0,并對當(dāng)前輪廓進(jìn)行抽樣以選出點集P,其中,所述點集P和P0的點數(shù)量相同,根據(jù)點集P和點集P0計算一個出一個線性變換(如,平移、旋轉(zhuǎn)、鏡面反射、縮放)以使得所述點集P和點集P0對齊,在計算使經(jīng)過變換后的P與P0的方差最小,所述方差即為P與P0的差異度,對所述方差取倒數(shù)即可得到P與P0的相似分?jǐn)?shù)。需要注意的是,在進(jìn)行procrustes analysis(普氏分析)法前需要將當(dāng)前輪廓與標(biāo)準(zhǔn)輪廓對齊,用于增強(qiáng)P與P0每個點的對應(yīng)關(guān)系,對齊操作可以是分別計算當(dāng)前輪廓和當(dāng)前輪廓的指北向量并對當(dāng)前輪廓進(jìn)行旋轉(zhuǎn)使其指北向量與標(biāo)準(zhǔn)輪廓的指北向量平行。這里指北向量是起點為輪廓所含區(qū)域重心,終點為輪廓上Y值最小的點的向量。
進(jìn)一步,在建立手部圖像的背景和手部的分類模型后,根據(jù)所述分類模型提取手部圖像區(qū)域。在本實施例中,提取手部圖像區(qū)域采用圖割法(graph-cut)提取手掌圖像。所述提取過程具體可以為首先對圖像建立能量代價函數(shù),將圖像分割問題轉(zhuǎn)換為該能量函數(shù)最小化問題,并使用圖割(graph-cut)方法實現(xiàn)能量最小化過程。所述能量最小化的能量函數(shù)包括兩項,分別為區(qū)域項和邊界項,所述能量函數(shù)的表示式為:
其中,Ep(Lp)為區(qū)域項,Lp,Lq∈{ΩH,Ω/ΩH}、Ep(Lp,Lq)為邊界項,p、q代表相鄰兩個像素;λ是邊界項的系數(shù)。
在本實施例中,所述區(qū)域項可以根據(jù)上述分類結(jié)果確定。例如,假設(shè)像素p被歸類為手部區(qū)域,那么Ep(Lp∈ΩH)=0,Ep(Lp∈Ω/ΩH)=1。所述邊界項可以根據(jù)像素p的梯度信息定義,其可以表示為其中,為像素p與q的梯度值,k為一常量,β=1或2。
值得說明的,若所述前輪廓與標(biāo)準(zhǔn)輪廓相似分?jǐn)?shù)較高(例如,高于90分),則可以直接選用分類結(jié)果作為圖像分割的結(jié)果。
H30、根據(jù)所述指定姿勢在所述手部圖像區(qū)域中提取包含指甲的感興趣區(qū)域。
所述提取感興趣區(qū)域的方法與實施例一的方法相同,這里就不再贅述。
H40、采用圖像分割法在所述感興趣區(qū)域中提取指甲圖像。
具體地,所述圖像分割法為level set(水平集)方法,所述方法也是將圖像分割問題轉(zhuǎn)換為能量最小化問題,其具體過程可以為首先初始化一個圓形封閉的輪廓C0,并將所述圓中心設(shè)為感興趣區(qū)域中心,將所述圓設(shè)為感興趣區(qū)域?qū)挼乃姆种?。然后,依次迭代所述輪廓使得預(yù)定的能量逐漸減少直至達(dá)到極值,每次迭代時輪廓上每個點按照其法線方向向外擴(kuò)展,其中,所述擴(kuò)展的速度與能量泛函有關(guān)。每一次迭代時的輪廓C(t)都被看作為函數(shù)的零水平集,即,每次輪廓迭代的過程就是函數(shù)隨時間演化的過程。
所述能量泛函為基于邊緣信息的能量泛函,其表達(dá)式為:
E(C)=∫g(C(s))ds
其中,g為邊緣指示函數(shù),所述g可以表示為其中,為像素x的梯度向量,σ為一常數(shù)。
在本實施例中,可以采用梯度下降法對E(C)求極值,得到每一次迭代的演化方程為:
其中,為的梯度向量,Div(v)為向量v的散度,t為時間
在實際應(yīng)用中,可以從初始的開始,定義每次迭代的時間段Δt,則每次迭代均可計算出當(dāng)前的函數(shù)直至收斂,最終的輪廓即為最終函數(shù)的零水平集。值得說明的,所述能量泛函還可對其進(jìn)行調(diào)整加入?yún)^(qū)域信息和特定姿勢下的先驗輪廓信息,這里就不一一說明。
本發(fā)明還提供了一種指甲圖像的提取系統(tǒng),如圖7所示,其包括:
拍攝模塊,用于通過機(jī)器視覺對待分析的手或腳進(jìn)行拍攝,獲取指定姿勢的手或腳的圖像;
第一提取模塊,用于根據(jù)預(yù)設(shè)的人類皮膚顏色信息建立所述圖像的背景與手或腳的分類模型,并根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域;
第二提取模塊,用于根據(jù)所述指定姿勢提取所述手或腳圖像區(qū)域內(nèi)的第一指甲區(qū)域,并采用圖像分割方法在所述第一指甲區(qū)域內(nèi)提取指甲圖像。
所述指甲圖像的提取系統(tǒng),其中,所述第一提取模塊具體包括:
獲取單元,用于獲取所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像的標(biāo)準(zhǔn)輪廓以及預(yù)設(shè)的人類皮膚顏色信息;
建立單元,用于根據(jù)所述皮膚顏色以及所述標(biāo)準(zhǔn)輪廓建立所述圖像的背景與手或腳的分類模型;
第一提取單元,用于根據(jù)所述分類模型在所述圖像中提取所述手或腳的圖像區(qū)域。
所述指甲圖像的提取系統(tǒng),其中,所述第二提取模塊具體包括:
修正單元,用于對所述圖像區(qū)域進(jìn)行修正以使得所述圖像區(qū)域與預(yù)設(shè)的所述指定姿勢對應(yīng)的標(biāo)準(zhǔn)手或腳的圖像區(qū)域?qū)R;
確定單元,用于根據(jù)所述標(biāo)準(zhǔn)圖像區(qū)域設(shè)定的指甲區(qū)域確定所述圖像區(qū)域的第一指甲區(qū)域,其中,所述第一指甲區(qū)域包括若干第一指甲子區(qū)域;
第二提取單元,用于采用圖像分割方法在每個第一指甲子區(qū)域內(nèi)提取指甲子區(qū)域,所述若干子區(qū)域構(gòu)成所述指甲圖像。
本發(fā)明還提供了一種指甲圖像的提取裝置,其包括如上任一所述的指甲圖像的提取系統(tǒng)。
所述指甲圖像的提取裝置,其還包括載放裝置和外部拍攝裝置。如圖8和圖9所示,所述載放裝置包括具有容納腔11的殼體1,所述容納腔11的底部設(shè)置有放置平面12,所述殼體1與所述放置平面12相對的一面設(shè)置有用于外部設(shè)備拍攝圖像的第一開口2,所述殼體1設(shè)置有用于手掌伸入的第二開口3,所述第一開口1所處平面與所述第二開口3所處平面相交。
所述指甲圖像的提取裝置,其中,所述殼體內(nèi)設(shè)置有用于補光的LED燈。
上述指甲圖像的提取系統(tǒng)以及裝置的各個模塊在上述方法中已經(jīng)詳細(xì)說明,在這里就不再一一陳述。
在本發(fā)明所提供的實施例中,應(yīng)該理解到,所揭露的系統(tǒng)和方法,可以通過其它的方式實現(xiàn)。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述模塊的劃分,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡(luò)單元上??梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
另外,在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用硬件加軟件功能單元的形式實現(xiàn)。
上述以軟件功能單元的形式實現(xiàn)的集成的單元,可以存儲在一個計算機(jī)可讀取存儲介質(zhì)中。上述軟件功能單元存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明各個實施例所述方法的部分步驟。而前述的存儲介質(zhì)包括:U盤、移動硬盤、只讀存儲器(Read-Only Memory,ROM)、隨機(jī)存取存儲器(Random Access Memory,RAM)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案,而非對其限制;盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改,或者對其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。