本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,具體說(shuō)是一種基于詞袋模型且兼顧語(yǔ)義相關(guān)性的鞋印花紋表達(dá)方法及系統(tǒng)。
背景技術(shù):
在圖像表達(dá)領(lǐng)域常用的方法包括:
(1)基于視覺(jué)詞袋模型的圖像語(yǔ)義表達(dá)。其基本原理是將圖像看做無(wú)序的特征單詞集合,通過(guò)統(tǒng)計(jì)每個(gè)特征單詞在圖像中出現(xiàn)的次數(shù),得到特征單詞頻率直方圖向量,以此作為圖像的表達(dá)。
(2)基于視覺(jué)語(yǔ)言模型的圖像語(yǔ)義表達(dá)。視覺(jué)語(yǔ)言模型把圖像看成具有一定排列順序的文檔,可通過(guò)圖像中局部共現(xiàn)頻率和空間關(guān)系來(lái)完成整幅圖像的語(yǔ)義表達(dá)。
(3)基于學(xué)習(xí)編碼模型的語(yǔ)義表達(dá)。其主要代表為稀疏編碼。稀疏編碼是利用圖像特征基向量的組合來(lái)描述圖像內(nèi)容。
目前,以上算法針對(duì)圖像表達(dá)仍存在一些問(wèn)題:
(1)目前算法均未考慮到語(yǔ)義在特定的特征層面存在一定的聯(lián)系(即存在語(yǔ)義相關(guān)性),而造成量化誤差嚴(yán)重等后果,從而對(duì)語(yǔ)義標(biāo)注,語(yǔ)義表達(dá)產(chǎn)生極大影響。
(2)一些學(xué)習(xí)編碼模型只有單層的編碼層,學(xué)習(xí)到的視覺(jué)字典缺乏對(duì)特征的選擇性,降低了圖像內(nèi)容的語(yǔ)義分辨力。
(3)目前算法通常對(duì)標(biāo)注的語(yǔ)義結(jié)果沒(méi)有進(jìn)一步的反饋和調(diào)整,更多的還是依賴于底層特征的選擇。
技術(shù)實(shí)現(xiàn)要素:
鑒于已有技術(shù)存在的不足,本發(fā)明的目的是要提供一種基于詞袋模型且兼顧語(yǔ)義相關(guān)性的鞋印花紋表達(dá)方法。
為了實(shí)現(xiàn)上述目的,本發(fā)明技術(shù)方案如下:
一種基于詞袋模型且兼顧語(yǔ)義相關(guān)性的鞋印花紋表達(dá)方法,其特征在于,具體步驟包括:
S1、預(yù)先構(gòu)建鞋印花紋圖像語(yǔ)義詞匯關(guān)系表;
S2、采集鞋印花紋圖像;
S3、對(duì)所采集的鞋印花紋圖像進(jìn)行鞋印花紋圖像基元提取,以獲得相應(yīng)的鞋印花紋圖像基元;
S4、提取鞋印花紋圖像基元的小波傅里葉梅林特征;
S5、依次根據(jù)所提取的每一鞋印花紋圖像基元的小波傅里葉梅林特征與鞋印花紋圖像語(yǔ)義詞匯關(guān)系表進(jìn)行特征匹配,并基于所獲得匹配度確定該鞋印花紋圖像基元所對(duì)應(yīng)的語(yǔ)義類別;
S6、統(tǒng)計(jì)每一種語(yǔ)義在所述鞋印花紋圖像中出現(xiàn)的次數(shù),以獲得鞋印花紋圖像語(yǔ)義頻率直方圖;
S7、基于所獲得的鞋印花紋圖像語(yǔ)義頻率直方圖及鞋印花紋圖像語(yǔ)義詞匯關(guān)系表獲得能夠表達(dá)圖像語(yǔ)義相關(guān)性的鞋印花紋圖像語(yǔ)義表達(dá)直方圖;
本發(fā)明的另一目的在于提供一種基于詞袋模型且兼顧語(yǔ)義相關(guān)性的鞋印花紋表達(dá)系統(tǒng),所述系統(tǒng)包括:
關(guān)系表構(gòu)建模塊,以鞋印圖案的幾何形狀為基礎(chǔ),構(gòu)建鞋印花紋圖像語(yǔ)義詞匯關(guān)系表;
提取模塊,對(duì)采集的鞋印花紋圖像進(jìn)行鞋印花紋圖像基元提取,并進(jìn)一步提取鞋印花紋圖像基元的紋理特征;
基元語(yǔ)義類別判定模塊,根據(jù)鞋印花紋圖像語(yǔ)義關(guān)系表以及鞋印花紋圖像基元紋理特征的對(duì)比結(jié)果,判定鞋印花紋圖像基元所對(duì)應(yīng)的語(yǔ)義類別;
圖像表達(dá)模塊,統(tǒng)計(jì)鞋印花紋圖像語(yǔ)義頻率直方圖,并進(jìn)一步處理獲得能夠兼顧圖像語(yǔ)義相關(guān)性的鞋印花紋圖像語(yǔ)義表達(dá)直方圖。
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果:
(1)本發(fā)明通過(guò)鞋印花紋語(yǔ)義詞匯關(guān)系表確定了鞋印花紋語(yǔ)義單詞在特定層面的語(yǔ)義相關(guān)性,從而有效避免了語(yǔ)義相關(guān)性對(duì)語(yǔ)義表達(dá)的干擾。
(2)本發(fā)明采用的語(yǔ)義相關(guān)性處理方式有效形成了一種反饋機(jī)制,能對(duì)語(yǔ)義標(biāo)注結(jié)果進(jìn)行監(jiān)督和調(diào)整,提高語(yǔ)義表達(dá)的準(zhǔn)確性。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明鞋印花紋語(yǔ)義詞匯關(guān)系表構(gòu)建流程圖;
圖2為本發(fā)明鞋印花紋表達(dá)流程圖;
圖3為本發(fā)明鞋印花紋表達(dá)系統(tǒng)結(jié)構(gòu)圖;
圖4為本發(fā)明鞋印花紋表達(dá)系統(tǒng)關(guān)系表構(gòu)建模塊結(jié)構(gòu);
圖5為本發(fā)明鞋印花紋表達(dá)系統(tǒng)提取模塊結(jié)構(gòu)圖;
圖6為本發(fā)明鞋印花紋語(yǔ)義關(guān)系示意圖。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明提供了一種基于詞袋模型且兼顧語(yǔ)義相關(guān)性的鞋印花紋表達(dá)方法及系統(tǒng),基于詞袋模型且兼顧語(yǔ)義相關(guān)性的鞋印花紋表達(dá)方法流程如圖2所示,其步驟包括:
S1、預(yù)先構(gòu)建鞋印花紋圖像語(yǔ)義詞匯關(guān)系表,構(gòu)建步驟包括:
S1.1、構(gòu)建語(yǔ)義詞匯表
S1.1.1、預(yù)先依據(jù)鞋印花紋圖像所對(duì)應(yīng)的幾何形狀進(jìn)行分類并分類后的每種形狀分別設(shè)定與其一一對(duì)應(yīng)的語(yǔ)義標(biāo)簽,所述語(yǔ)義標(biāo)簽分別記為R1,R2,…,RN,其表示鞋印花紋的真實(shí)語(yǔ)義,所述幾何形狀可如波折型、格塊型、類圓型等;
S1.1.2、劃定鞋印花紋圖像中鞋印花紋圖像基元,并對(duì)同一語(yǔ)義標(biāo)簽下的鞋印花紋進(jìn)行聚類以獲得各自所對(duì)應(yīng)的鞋印花紋單詞集合,在鞋印圖像中,將獨(dú)立的連通區(qū)域稱為鞋印花紋基元,其是鞋印花紋圖像中構(gòu)成花紋分布的最小的獨(dú)立的個(gè)體,由于鞋印的成痕體、穿著時(shí)間、人的行走習(xí)慣以及成像形式的不同,同樣的鞋印花紋在圖像上有著不同的表現(xiàn)形式,因此每個(gè)語(yǔ)義標(biāo)簽下包含多個(gè)鞋印花紋單詞,對(duì)同一語(yǔ)義標(biāo)簽下的鞋印花紋進(jìn)行聚類,將各類的代表基元稱為鞋印花紋單詞。記為Rl={α1,α2,...αn},其中Rl表示語(yǔ)義標(biāo)簽Rl下的鞋印花紋單詞集合,αi表示鞋印花紋單詞;
S1.1.3、基于所獲得的各語(yǔ)義標(biāo)簽對(duì)應(yīng)的鞋印花紋單詞集合構(gòu)成鞋印花紋語(yǔ)義詞匯表,其記為Sv={R1,R2,...,RN},其中R1,R2,...,RN分別表示語(yǔ)義標(biāo)簽R1,R2,…,RN下的各鞋印花紋單詞集合;
S1.2、判別語(yǔ)義相關(guān)性
由于鞋印花紋圖像中花紋類別較多,且不同的使用者給花紋圖像造成的磨損,殘缺等損傷的不同,導(dǎo)致語(yǔ)義標(biāo)簽之間存在著相互聯(lián)系(即語(yǔ)義相關(guān)性)。為了能準(zhǔn)確地構(gòu)建出語(yǔ)義詞匯關(guān)系表,必須首先進(jìn)行語(yǔ)義相關(guān)性的判定。具體步驟如下:
S1.2.1、取已標(biāo)記語(yǔ)義標(biāo)簽的鞋印花紋基元作為判別語(yǔ)義相關(guān)性的訓(xùn)練鞋印花紋基元圖像;
S1.2.2、對(duì)訓(xùn)練鞋印花紋基元圖像提取小波傅里葉梅林特征;
S1.2.3、將得到的訓(xùn)練鞋印花紋圖像紋理特征與鞋印花紋語(yǔ)義詞匯表Sv中鞋印花紋單詞所提取的鞋印花紋圖像紋理特征進(jìn)行相似度對(duì)比,并重新標(biāo)注訓(xùn)練鞋印花紋基元圖像的語(yǔ)義標(biāo)簽;
S1.2.4、根據(jù)新標(biāo)注的語(yǔ)義標(biāo)簽與原語(yǔ)義標(biāo)簽的對(duì)比結(jié)果,判別語(yǔ)義關(guān)系,所述語(yǔ)義關(guān)系包括:
同義詞:假設(shè)某類基元集合Rl={α1,α2,...αn}其對(duì)應(yīng)語(yǔ)義標(biāo)簽為Rl,基元集合Rk={β1,β2,...βn}其對(duì)應(yīng)語(yǔ)義標(biāo)簽為Rk。將兩類基元提取特征并重新標(biāo)注語(yǔ)義類別,若Rk中的各個(gè)基元也可以標(biāo)記為Rl,同時(shí)Rl中的各個(gè)基元也可以標(biāo)記為Rk,則我們認(rèn)為Rl、Rk兩種語(yǔ)義在這種視覺(jué)特征層面為同義詞。如圖6中a組所示的兩類圖像,由于其較高的相似度導(dǎo)致兩個(gè)類別在判別過(guò)程中極其容易混淆,根據(jù)定義其為同義詞。
上下義詞:假設(shè)某類基元集合Rl={α1,α2,...αn}其對(duì)應(yīng)語(yǔ)義標(biāo)簽為Rl,基元集合Rk={β1,β2,...βn}其對(duì)應(yīng)語(yǔ)義標(biāo)簽為Rk。將兩類基元提取特征重新標(biāo)注語(yǔ)義類別,若Rl中的各個(gè)基元也可以標(biāo)記為Rk,但Rk中的各個(gè)基元不可以標(biāo)記為Rl,則我們認(rèn)為Rk為Rl的上義詞,Rl為Rk的下義詞。如圖6中的b組所示的兩類圖像,b中第一類圖像會(huì)由于殘缺或磨損等因素而被判成第二類。而第二類由于其特殊性很難判為第一類。則根據(jù)定義稱其為上下義詞。
易錯(cuò)詞:是指易于與其他語(yǔ)義相混淆的語(yǔ)義單詞。如圖6中c組中的2類基元圖像所示,第一類圖像既與波折形相似又與曲形相似;第二類圖像既與圓形相似又與花瓣形相似。這中類型的基元圖像易與其他語(yǔ)義類別相混淆。其體現(xiàn)在以下兩個(gè)方面:
某類基元Rl={α1,α2,...αn}其對(duì)應(yīng)的語(yǔ)義標(biāo)簽為Rl,提取特征進(jìn)行重新標(biāo)注后,若Rl中的各個(gè)基元容易標(biāo)記為別的標(biāo)簽,但其他語(yǔ)義標(biāo)簽中的基元不易標(biāo)記為Rl,則稱Rl為可信易錯(cuò)詞??尚乓族e(cuò)詞存在自身語(yǔ)義純度高的特點(diǎn)(即標(biāo)注Rl語(yǔ)義標(biāo)簽的基元一定為Rl語(yǔ)義的類別圖)。
對(duì)于語(yǔ)義標(biāo)簽A,其他語(yǔ)義標(biāo)簽對(duì)應(yīng)的基元集合中的基元分別提取特征進(jìn)行重新標(biāo)注語(yǔ)義類別后,容易標(biāo)記為Rl,則稱Rl稱為不可信易錯(cuò)詞。不可信易錯(cuò)詞易受到其他類別的影響,類別純度較低。
S1.3、構(gòu)建語(yǔ)義詞匯關(guān)系表
S1.3.1、將鞋印花紋語(yǔ)義詞匯表Sv={R1、R2、...RN}中的同義詞進(jìn)行合并,得到新的鞋印花紋語(yǔ)義詞匯表Sns={w1,w2,…,wi,…,wK},其中wi表示鞋印花紋單詞,i=1,2…K,K表示鞋印花紋單詞數(shù)目,且所述新的鞋印花紋語(yǔ)義詞匯表Sns中各鞋印花紋單詞之間互不同義;
S1.3.2、構(gòu)建鞋印花紋語(yǔ)義詞匯關(guān)系表Sr={P1,P2,…,Pi,…,PK},其中Pi是個(gè)五元組,其包含語(yǔ)義標(biāo)簽、語(yǔ)義標(biāo)簽對(duì)應(yīng)的單詞、詞性、關(guān)聯(lián)詞匯和權(quán)重;所述詞性包括上/下義詞、可信/不可信易錯(cuò)詞;語(yǔ)義詞匯關(guān)系表Sr是鞋底花紋語(yǔ)義表達(dá)的基礎(chǔ)。所述權(quán)重初始值為1,并根據(jù)鞋印花紋語(yǔ)義詞匯關(guān)系表中的詞性進(jìn)行更新,其更新方式為將詞性為可信易錯(cuò)詞的語(yǔ)義類別的權(quán)值進(jìn)行提高、詞性為不可信易錯(cuò)詞的語(yǔ)義類別的權(quán)重保持不變。根據(jù)語(yǔ)義詞匯關(guān)系表Sr,以鞋底花紋圖像中,各單詞出現(xiàn)的頻率來(lái)表示鞋印。如圖1所示為鞋印花紋語(yǔ)義詞匯關(guān)系表構(gòu)建流程
S2、采集鞋印花紋圖像;
S3、對(duì)所采集的鞋印花紋圖像進(jìn)行鞋印花紋圖像基元提取,以獲得相應(yīng)的鞋印花紋圖像基元;根據(jù)鞋印花紋圖像基元的連通特性將基元?jiǎng)澐值礁髯运鶎賲^(qū)域中,然后選取面積大于一定值的連通域,取其外接矩作為目標(biāo)區(qū)域,即為提取的鞋印花紋圖像基元。這里選取面積大于一定值的鞋印花紋圖像基元能有效避免部分噪聲的干擾。
S4、對(duì)鞋印花紋基元提取小波傅里葉梅林特征。
S5、依次根據(jù)所提取的每一鞋印花紋圖像基元的紋理特征與鞋印花紋圖像語(yǔ)義詞匯關(guān)系表進(jìn)行特征匹配,并基于所獲得匹配度確定該鞋印花紋圖像基元所對(duì)應(yīng)的語(yǔ)義類別;
導(dǎo)入鞋印花紋圖像語(yǔ)義關(guān)系表,取得表中語(yǔ)義標(biāo)簽、語(yǔ)義標(biāo)簽對(duì)應(yīng)的單詞、詞性、關(guān)聯(lián)詞匯和權(quán)重五項(xiàng)信息;
將提取的鞋印花紋圖像基元紋理特征與鞋印花紋語(yǔ)義詞匯表中鞋印花紋單詞所提取的鞋印花紋圖像基元紋理特征進(jìn)行匹配,按匹配度得分或稱為相似度得分給語(yǔ)義標(biāo)簽進(jìn)行排序,當(dāng)相似度得分大于一定閾值時(shí),則將此鞋印花紋圖像基元標(biāo)定為該語(yǔ)義標(biāo)簽,否則則判為拒絕識(shí)別。這里所提到的閾值根據(jù)詞性來(lái)決定,當(dāng)詞性為不可信易錯(cuò)詞,閾值較高,若詞性為非不可信易錯(cuò)詞,則閾值相對(duì)較低。具體地,當(dāng)詞性為非不可信易錯(cuò)詞,且該得分大于一定閾值則將此鞋印花紋圖像基元標(biāo)定為該語(yǔ)義標(biāo)簽,否則則判為拒絕識(shí)別;當(dāng)詞性為不可信易錯(cuò)詞時(shí),則需要提高閾值來(lái)限制非同類語(yǔ)義鞋印花紋圖像基元混入到該語(yǔ)義類別中,即判斷該得分是否大于另一閾值,且所述另一閾值大于詞性為非不可信易錯(cuò)詞時(shí)所設(shè)定的閾值;是則將此鞋印花紋圖像基元標(biāo)定為該語(yǔ)義標(biāo)簽,否則判為拒絕識(shí)別。
S6、統(tǒng)計(jì)每一種語(yǔ)義在所述鞋印花紋圖像中出現(xiàn)的次數(shù),以獲得鞋印花紋圖像語(yǔ)義頻率直方圖。
S7、通常情況下,頻率直方圖可作為該鞋印花紋圖像的語(yǔ)義表達(dá)。但為兼顧語(yǔ)義相關(guān)性,將會(huì)對(duì)直方圖進(jìn)行進(jìn)一步處理,具體方法如下:
在語(yǔ)義詞匯關(guān)系表中查找詞性為下義詞的語(yǔ)義標(biāo)簽,并查找該標(biāo)簽在直方圖中對(duì)應(yīng)的頻次,當(dāng)其頻次大于一定值時(shí),將其頻次賦給關(guān)聯(lián)詞匯(即其上義詞),將該語(yǔ)義標(biāo)簽的頻次設(shè)為0。反之,其頻次小于一定值時(shí),我們認(rèn)為該下義詞對(duì)圖像語(yǔ)義表達(dá)影響較小,不做處理。(對(duì)于上下義詞的處理不采用直接合并的方式是因?yàn)橐粋€(gè)上義詞可能對(duì)應(yīng)多個(gè)下義詞,直接合并會(huì)影響其他下義詞的表達(dá)。)
將獲得的語(yǔ)義頻率直方圖與語(yǔ)義詞匯關(guān)系表中的權(quán)重值相乘,得到最終的鞋印花紋圖像語(yǔ)義表達(dá)直方圖。
處理后得到的鞋印花紋圖像語(yǔ)義頻率直方圖是基于原鞋印花紋圖像語(yǔ)義頻率直方圖及鞋印花紋圖像語(yǔ)義詞匯關(guān)系表獲得的,兼顧了語(yǔ)義相關(guān)性,故本專利將其作為鞋印花紋圖像的語(yǔ)義表達(dá)。
如圖3所示為本發(fā)明提供的一種基于詞袋模型且兼顧語(yǔ)義相關(guān)性的鞋印花紋表達(dá)系統(tǒng),包括:關(guān)系表構(gòu)建模塊,用以構(gòu)建鞋印花紋圖像語(yǔ)義詞匯關(guān)系表;提取模塊,用以由采集到的鞋印花紋圖像提取鞋印花紋圖像基元并進(jìn)一步提取鞋印花紋圖像基元的紋理特征;基元語(yǔ)義類別判定模塊,依次根據(jù)所提取的每一鞋印花紋圖像基元的紋理特征與鞋印花紋圖像語(yǔ)義詞匯關(guān)系表進(jìn)行特征匹配,并基于所獲得匹配度確定該鞋印花紋圖像基元所對(duì)應(yīng)的語(yǔ)義類別;圖像表達(dá)模塊,用以統(tǒng)計(jì)鞋印花紋圖像語(yǔ)義表達(dá)直方圖,并對(duì)直方圖進(jìn)一步獲得能夠兼顧語(yǔ)義相關(guān)性的鞋印花紋圖像鞋印花紋圖像語(yǔ)義表達(dá)直方圖。
如圖4所示為圖3中關(guān)系表構(gòu)建模塊的結(jié)構(gòu),其包括:語(yǔ)義詞匯表構(gòu)建模塊,用以構(gòu)建鞋印花紋圖像語(yǔ)義詞匯表;語(yǔ)義相關(guān)性判別模塊,用以判定鞋印花紋圖像基元的語(yǔ)義關(guān)系;語(yǔ)義詞匯關(guān)系表構(gòu)建模塊,用以構(gòu)建語(yǔ)義詞匯關(guān)系表。
如圖5所示為圖3中提取模塊結(jié)構(gòu),其包括:基元提取模塊,用于提取鞋印花紋圖像基元;元特征提取模塊,用于提取鞋印花紋圖像基元紋理特征。
綜上所述,本發(fā)明提供了一種基于詞袋模型且兼顧語(yǔ)義相關(guān)性的鞋印花紋表達(dá)方法及系統(tǒng),其用途不僅限于鞋印花紋提取,在圖像分離、圖像檢索、圖像處理等領(lǐng)域,均可應(yīng)用。其是基于詞袋模型設(shè)計(jì)且兼顧圖像語(yǔ)義相關(guān)性的圖像表達(dá)方法,通過(guò)對(duì)鞋印花紋圖像語(yǔ)義表達(dá)直方圖的進(jìn)一步處理,不僅有效避免了語(yǔ)義相關(guān)性對(duì)語(yǔ)義表達(dá)的干擾,而且有效形成了一種反饋機(jī)制,能對(duì)語(yǔ)義標(biāo)注結(jié)果進(jìn)行監(jiān)督和調(diào)整,在提高語(yǔ)義表達(dá)準(zhǔn)確性的同時(shí)也很大程度上控制了鞋印花紋圖像紋理特征在語(yǔ)義標(biāo)注過(guò)程中的主導(dǎo)地位。
最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。