本發(fā)明涉及圖像識(shí)別技術(shù)領(lǐng)域,尤其涉及一種基于圖像識(shí)別技術(shù)的商品管理方法及系統(tǒng)。
背景技術(shù):
在商品的銷售的過(guò)程中,各商家對(duì)商店內(nèi)的各個(gè)貨架上的商品信息(例如店內(nèi)的各個(gè)貨架上的商品的陳列情況、各個(gè)貨架上的不同品牌商品的品牌占比或者各個(gè)商品的價(jià)格)等信息十分關(guān)注,因?yàn)槿绻梢约皶r(shí)地掌握門店內(nèi)不同商品品牌的的商品信息,那么商家就可以制定有效的銷售計(jì)劃及目標(biāo)。
現(xiàn)有的獲取商店內(nèi)的各個(gè)貨架上的商品的商品信息一般為:通過(guò)人工來(lái)對(duì)商店內(nèi)的各個(gè)貨架上的商品進(jìn)行逐一識(shí)別,并將識(shí)別出來(lái)的商品進(jìn)行商品信息的登記。因此,現(xiàn)有的這種商品信息的獲取方式成本高且效率低。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)上述問(wèn)題,本發(fā)明的目的在于提供一種基于圖像識(shí)別技術(shù)的商品管理方法及系統(tǒng),
為了實(shí)現(xiàn)上述目的,本發(fā)明實(shí)施例提供了一種基于圖像識(shí)別技術(shù)的商品管理方法,其包括以下步驟:
s10,獲取拍攝到的貨架的商品陳列圖像;
s20,提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的一級(jí)圖像特征;所述一級(jí)圖像特征包括以下至少一種:顏色特征及形狀特征;
s30,根據(jù)預(yù)設(shè)的一級(jí)圖像特征模型對(duì)獲取到的所述一級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)匹配結(jié)果生成第一匹配數(shù)值;
s40,判斷所述第一匹配數(shù)值是否大于預(yù)設(shè)的第一匹配閾值,若是,則獲取與所述一級(jí)圖像特征對(duì)應(yīng)的商品信息;若否,則提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的二級(jí)圖像特征,并根據(jù)預(yù)設(shè)的二級(jí)圖像特征模型對(duì)獲取到的所述二級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)識(shí)別匹配結(jié)果獲取與所述二級(jí)圖像特征對(duì)應(yīng)的商品信息;其中,所述二級(jí)圖像特征包括以下至少一種:紋理特征及位置關(guān)系特征;以及,
s50,根據(jù)獲取到的所述商品信息生成對(duì)應(yīng)的商品信息報(bào)表,并展示所述商品信息報(bào)表。
本發(fā)明實(shí)施例還提供了一種基于圖像識(shí)別技術(shù)的商品管理系統(tǒng),其包括:
第一圖像獲取模塊,用于獲取拍攝到的貨架的商品陳列圖像;
一級(jí)圖像特征提取模塊,用于提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的一級(jí)圖像特征;所述一級(jí)圖像特征包括以下至少一種:顏色特征及形狀特征;
第一匹配模塊,用于根據(jù)預(yù)設(shè)的一級(jí)圖像特征模型對(duì)獲取到的所述一級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)匹配結(jié)果生成第一匹配數(shù)值;
判斷識(shí)別模塊,用于判斷所述第一匹配數(shù)值是否大于預(yù)設(shè)的第一匹配閾值,若是,則獲取與所述一級(jí)圖像特征對(duì)應(yīng)的商品信息;若否,則提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的二級(jí)圖像特征,并根據(jù)預(yù)設(shè)的二級(jí)圖像特征模型對(duì)獲取到的所述二級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)識(shí)別匹配結(jié)果獲取與所述二級(jí)圖像特征對(duì)應(yīng)的商品信息;其中,所述二級(jí)圖像特征包括以下至少一種:紋理特征及位置關(guān)系特征;以及,
商品信息報(bào)表生成模塊,用于根據(jù)獲取到的所述商品信息生成對(duì)應(yīng)的商品信息報(bào)表,并展示所述商品信息報(bào)表。
本發(fā)明實(shí)施例提供的基于圖像識(shí)別技術(shù)的商品管理方法及系統(tǒng),通過(guò)對(duì)拍攝到的貨架的商品陳列圖像進(jìn)行特征提取,并根據(jù)預(yù)設(shè)的圖像特征模型對(duì)提取到的圖像特征進(jìn)行識(shí)別,以識(shí)別獲取所述商品陳列圖像中的各個(gè)商品的商品信息,然后根據(jù)獲取到的所述商品信息生成對(duì)應(yīng)的商品信息報(bào)表,最后向商店管理人員展示所述商品信息報(bào)表,這樣商店的管理人員可以快速獲知商店內(nèi)的商品情況,并且商店的管理人員還可以根據(jù)所述商品信息報(bào)表對(duì)商店內(nèi)的商品進(jìn)行管理。因此,本發(fā)明實(shí)施例由于可以自動(dòng)地識(shí)別出商店內(nèi)的各個(gè)貨架的商品的商品信息,從而可以提高獲取商品信息的效率并降低成本。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明的技術(shù)方案,下面將對(duì)實(shí)施方式中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施方式,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實(shí)施例提供一種基于圖像識(shí)別技術(shù)的商品方法的流程圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
請(qǐng)參見(jiàn)圖1,本發(fā)明實(shí)施例提供了一種基于圖像識(shí)別技術(shù)的商品方法,其包括步驟s10至步驟s50:
s10,獲取拍攝到的貨架的商品陳列圖像。
即,由人來(lái)對(duì)商店中的各個(gè)貨架進(jìn)行拍照,以拍攝到各個(gè)貨架的商品陳列圖像,并將拍攝到的所述商品陳列圖像上傳到管理服務(wù)器中,當(dāng)所述管理服務(wù)器獲取到所述商品陳列圖像后可以開(kāi)始執(zhí)行以下操作步驟。
s20,提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的一級(jí)圖像特征。
當(dāng)所述管理服務(wù)器接收到所述商品陳列圖像后,會(huì)提取所述商品陳列圖像中的不同貨架層的各個(gè)商品所在的圖像區(qū)域的一級(jí)圖像特征,其中,由于所述商品陳列圖像中的每個(gè)商品的包裝的顏色與輪廓均不相同,因此所述一級(jí)圖像特征可以包括以下至少一種:顏色特征及形狀特征。
當(dāng)所述一級(jí)圖像特征為顏色特征時(shí),可以通過(guò)現(xiàn)有的直方圖相交算法、距離算法、中心距算法、參考顏色表算法或累加顏色直方圖算法等算法來(lái)提取所述商品陳列圖像的各個(gè)商品的顏色特征,在此對(duì)顏色特征的提取方法不予限定。
此外,所述商品陳列圖像的各個(gè)商品的顏色特征的具體提取過(guò)程在本發(fā)明實(shí)施例中可以優(yōu)選為:對(duì)獲取到的所述商品陳列圖像進(jìn)行濾波處理,將圖像背景識(shí)別出來(lái)并去除圖像背景(圖像背景識(shí)別的原理為:將當(dāng)前獲取到的所述商品陳列圖像與預(yù)先拍攝到的沒(méi)有擺放商品的貨架照片進(jìn)行比對(duì),兩者的區(qū)別之處即為圖像背景),使得所述商品陳列圖像留下各個(gè)商品的像素區(qū)域,獲取各個(gè)商品的像素區(qū)域內(nèi)的各個(gè)像素點(diǎn)的rgb像素值,并根據(jù)每個(gè)像素區(qū)域內(nèi)的各個(gè)像素點(diǎn)的rgb像素值生成一個(gè)個(gè)像素值矩陣,且所述像素值矩陣與各個(gè)商品的像素區(qū)域一一對(duì)應(yīng),其中,所述像素值矩陣即為所述商品陳列圖像中的每個(gè)商品的顏色特征。當(dāng)獲取到圖像中各個(gè)商品的所述像素值矩陣后,可以與預(yù)設(shè)的顏色特征模型(所述顏色特征模型為一級(jí)圖像特征模型)進(jìn)行匹配。
當(dāng)所述一級(jí)圖像特征為形狀特征時(shí),可以通過(guò)現(xiàn)有的邊界特征法、傅里葉形狀描述符法或幾何參數(shù)法等提取方法來(lái)進(jìn)行形狀特征提取,在此對(duì)形狀特征的提取方法不予限定。
需要說(shuō)明的是,所述以及圖像特征也可以為紋理特征或位置關(guān)系特征,在此不做具體限定。
s30,根據(jù)預(yù)設(shè)的一級(jí)圖像特征模型對(duì)獲取到的所述一級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)匹配結(jié)果生成第一匹配數(shù)值。
當(dāng)獲取到所述商品陳列圖像中的不同商品圖像區(qū)域的所述一級(jí)圖像特征后,根據(jù)預(yù)設(shè)的一級(jí)圖像特征模型對(duì)所述一級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)兩者的匹配的相似度生成第一匹配數(shù)值。例如,當(dāng)獲取到所述商品陳列圖像中的不同商品圖像區(qū)域的所述顏色特征后,將獲取到的所述顏色特征與預(yù)先建立的顏色特征模型進(jìn)行比對(duì)匹配,并根據(jù)兩者的匹配的相似度生成相應(yīng)的第一匹配數(shù)值。其中,具體的特征匹配過(guò)程請(qǐng)參考現(xiàn)有的圖像特征識(shí)別方法,在此不再贅述。
s40,判斷所述第一匹配數(shù)值是否大于預(yù)設(shè)的第一匹配閾值,若是,則獲取與所述一級(jí)圖像特征對(duì)應(yīng)的商品信息;若否,則提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的二級(jí)圖像特征,并根據(jù)預(yù)設(shè)的二級(jí)圖像特征模型對(duì)獲取到的所述二級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)識(shí)別匹配結(jié)果獲取與所述二級(jí)圖像特征對(duì)應(yīng)的商品信息;其中,所述二級(jí)圖像特征包括以下至少一種:紋理特征及位置關(guān)系特征。
即,當(dāng)判斷所述第一匹配數(shù)值大于預(yù)設(shè)的第一匹配閾值時(shí),則可判定所述一級(jí)圖像特征(例如為所述顏色特征)所對(duì)應(yīng)的圖像區(qū)域?yàn)榕c所述一級(jí)圖像特征模型(例如為所述顏色特征模型)對(duì)應(yīng)的商品,此時(shí)獲取與所述一級(jí)圖像特征(例如為所述顏色特征)對(duì)應(yīng)的商品信息。當(dāng)判斷所述第一匹配數(shù)值小于預(yù)設(shè)的第一匹配閾值時(shí),表明所述一級(jí)圖像特征與所述一級(jí)圖像特征模型的匹配相似度不高,此時(shí)提取所述商品陳列圖像中的不同貨架層的各個(gè)商品所在的圖像區(qū)域的二級(jí)圖像特征(例如紋理特征),與所述一級(jí)圖像特征的識(shí)別匹配過(guò)程類似地,根據(jù)預(yù)設(shè)的二級(jí)圖像特征模型對(duì)獲取到的所述二級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)識(shí)別匹配結(jié)果獲取與所述二級(jí)圖像特征對(duì)應(yīng)的商品信息。
較佳地,所述步驟s40具體為:
s400,判斷所述第一匹配數(shù)值是否大于預(yù)設(shè)的第一匹配閾值;若是,則獲取與所述一級(jí)圖像特征對(duì)應(yīng)的商品信息,執(zhí)行所述步驟s50;若否,則提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的二級(jí)圖像特征。
s410,根據(jù)預(yù)設(shè)的二級(jí)圖像特征模型對(duì)獲取到的所述二級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)識(shí)別匹配結(jié)果生成第二匹配數(shù)值。
s420,判斷所述第二匹配數(shù)值是否大于預(yù)設(shè)的第二匹配閾值;若是,則獲取與所述二級(jí)圖像特征對(duì)應(yīng)的商品信息,執(zhí)行所述步驟s50;若否,則向后臺(tái)人員發(fā)出報(bào)錯(cuò)提示,并根據(jù)后臺(tái)人員對(duì)已顯示出的所述二級(jí)圖像特征的圖形的人工識(shí)別結(jié)果得到相應(yīng)的商品信息。
其中,當(dāng)管理服務(wù)器的系統(tǒng)判斷出所述第二匹配數(shù)值是小于預(yù)設(shè)的第二匹配閾值時(shí),具體地,管理服務(wù)器的系統(tǒng)的操作界面會(huì)向后臺(tái)人員顯示出相應(yīng)的提示信息,而且也會(huì)顯示出匹配數(shù)值小于預(yù)設(shè)的匹配閾值的所述二級(jí)圖像特征的圖形,此時(shí)后臺(tái)人員可以對(duì)該二級(jí)圖像特征的圖形進(jìn)行人工識(shí)別,當(dāng)后臺(tái)人員識(shí)別出來(lái)后可以向管理服務(wù)器的系統(tǒng)的操作界面輸入該二級(jí)圖像特征所代表的商品的商品信息。
需要說(shuō)明的是,當(dāng)所述二級(jí)圖像特征為紋理特征時(shí),可以通過(guò)現(xiàn)有的voronio棋盤格特征法、馬爾可夫(markov)隨機(jī)場(chǎng)模型法或者gibbs隨機(jī)場(chǎng)模型法等提取方法來(lái)提取紋理特征,在此對(duì)紋理特征的提取方法不予限定。當(dāng)所述二級(jí)圖像特征為位置關(guān)系特征時(shí),可以通過(guò)現(xiàn)有的以下兩種提取方法來(lái)提取位置關(guān)系特征:1、首先對(duì)圖像進(jìn)行自動(dòng)分割,劃分出圖像中所包含的對(duì)象或顏色區(qū)域,然后根據(jù)這些區(qū)域提取圖像特征,并建立索引;2、將圖像均勻地劃分為若干規(guī)則子塊,然后對(duì)每個(gè)圖像子塊提取特征,并建立索引。
s50,根據(jù)獲取到的所述商品信息生成對(duì)應(yīng)的商品信息報(bào)表,并展示所述商品信息報(bào)表。其中,較佳地,所述商品信息至少包括以下其中的一種:商品品牌、商品名稱及商品價(jià)格。
當(dāng)獲取到的所述商品陳列圖像中的不同品牌商品的所述商品信息后,所述管理服務(wù)器可以根據(jù)所述商品信息生成對(duì)應(yīng)的商品信息報(bào)表,并發(fā)送到相應(yīng)的商店的終端進(jìn)行展示。這樣,商店的終端的使用者(一般為商店管理人員)就可以根據(jù)所述商品信息報(bào)表里面的商品信息對(duì)商店內(nèi)的商品進(jìn)行管理。
較佳地,所述步驟s50具體為步驟s500至步驟s502:
s500,統(tǒng)計(jì)從所述商品陳列圖像中識(shí)別出來(lái)的各個(gè)商品品牌的次數(shù)數(shù)據(jù)以及所述商品陳列圖像中的商品品牌總次數(shù)數(shù)據(jù)。
s501,根據(jù)各個(gè)商品品牌的次數(shù)數(shù)據(jù)與商品品牌總次數(shù)數(shù)據(jù)得到貨架上的各個(gè)商品品牌的貨架占比數(shù)據(jù)。
s502,將各個(gè)商品品牌的次數(shù)數(shù)據(jù)、總商品品牌次數(shù)數(shù)據(jù)及各個(gè)商品品牌的貨架占比數(shù)據(jù)保存到對(duì)應(yīng)商品信息報(bào)表中并展示所述商品信息報(bào)表。
需要說(shuō)明的是,因?yàn)橐环唐逢惲袌D像包含多個(gè)貨架層結(jié)構(gòu),所以在所有的識(shí)別過(guò)程之前,較佳地,可以將其分割為多幅每幅只包含一層貨架的圖像。這里采取的方法是針對(duì)圖像的二值化結(jié)果構(gòu)建垂直投影直方圖,選取合適的閾值t獲取每層貨架在圖像中的位置進(jìn)行切割。在獲得了多幅單層貨架的圖像后,由于需要對(duì)單層貨架的圖像進(jìn)行多目標(biāo)識(shí)別,即分辨出單層貨架中單個(gè)商品的外框架;在進(jìn)行識(shí)別之前,需要確定目標(biāo)區(qū)域大小,由于不同商品在顏色分布上的差異會(huì)有一定的區(qū)分,所以這里采用的方法是:
a)統(tǒng)計(jì)各個(gè)單層貨架的圖像中不同顏色空間不同顏色分量下的水平投影直方圖,這里考慮三個(gè)常用的顏色空間:rgb、hsv以及l(fā)ab。為了凸顯直方圖的峰值,可以對(duì)直方圖進(jìn)行求導(dǎo)操作,優(yōu)選的是差分代替求導(dǎo),其公式為:
δxhi(bx)=hi(x)-hi(x-1)
hi是i個(gè)顏色分量下的水平投影直方圖,水平投影直方圖中每個(gè)點(diǎn)的坐標(biāo)為(x,hx),(x∈[0,w)),w為貨架的寬度。
b)然后,通過(guò)邏輯運(yùn)算“或”操作處理直方圖的每一列獲得最終的直方圖。其計(jì)算公式為:
h(x)=δxh1(x)|δxh2(x)|…|δxhn(x);
c)再對(duì)最終的直方圖數(shù)據(jù)進(jìn)行歸一化處理,使得直方圖的高度限定在一定的范圍內(nèi),方便顯示與分析處理,其計(jì)算公式為:
其中,ih表示圖像的高度,max0≤i<wh(i)表示直方圖所有列的最大值。
d)設(shè)定閾值,將設(shè)定閾值的處理,將經(jīng)過(guò)步驟a)處理后的直方圖分成多個(gè)部分,在對(duì)應(yīng)的圖像位置標(biāo)記出分割線的位置,這樣單件商品的外框架分割識(shí)別就實(shí)現(xiàn)了。優(yōu)選的,將該分割位置結(jié)合預(yù)先得到的商品尺寸、比例等參數(shù)信息,進(jìn)一步提高分割的準(zhǔn)確率。其中,可以通過(guò)采用參照物和人工標(biāo)定的方式來(lái)得到商品尺寸、比例等參數(shù)信息。
此外,還可以通過(guò)如下方法對(duì)所述商品陳列圖像進(jìn)行分塊:首先將圖片中貨架部分切割出來(lái),對(duì)貨架部分進(jìn)行版面分析,將貨架部分的圖像分成若干個(gè)小區(qū)域后,提取圖像邊緣,保留水平方向的邊緣像素,然后采用radon變換進(jìn)行直線檢測(cè),從而將貨架部分分層,將每層貨架中陳列在一起的相同商品切割在一個(gè)圖塊,每層貨架獲得若干個(gè)不同商品的圖塊。
在本發(fā)明實(shí)施例中,通過(guò)對(duì)拍攝到的貨架的商品陳列圖像進(jìn)行特征提取,并根據(jù)預(yù)設(shè)的圖像特征模型對(duì)提取到的圖像特征進(jìn)行識(shí)別,以識(shí)別獲取所述商品陳列圖像中的各個(gè)商品的商品信息,然后根據(jù)獲取到的所述商品信息生成對(duì)應(yīng)的商品信息報(bào)表,最后向商店管理人員展示所述商品信息報(bào)表,這樣商店的管理人員可以快速獲知商店內(nèi)的商品情況,并且商店的管理人員還可以根據(jù)所述商品信息報(bào)表對(duì)商店內(nèi)的商品進(jìn)行管理。因此,本發(fā)明實(shí)施例由于可以自動(dòng)地識(shí)別出商店內(nèi)的各個(gè)貨架的商品的商品信息,從而可以提高獲取商品信息的效率并降低成本。
作為本發(fā)明其中一種實(shí)施例,在所述步驟s10之前還包括步驟s7至步驟s9:
s7,獲取多張預(yù)先拍攝到商品圖像。需要說(shuō)明的是,所述商品圖像為對(duì)單個(gè)商品所拍攝到的圖片。
s8,提取所述商品圖像的圖像特征,并將提取到的所述圖像特征按照?qǐng)D像特征類型分別存放到不同的圖像特征庫(kù)中;其中,所述圖像特征分為一級(jí)圖像特征與二級(jí)圖像特征,所述圖像特征庫(kù)均為預(yù)先設(shè)置的。
例如,當(dāng)在每張所述商品圖像中提取到所述一級(jí)圖像特征為顏色特征(或形狀特征)時(shí),將所述顏色特征存放到預(yù)設(shè)的顏色圖像特征庫(kù)(或形狀圖像特征庫(kù))中;又例如,當(dāng)在每張所述商品圖像中提取到所述二級(jí)圖像特征為紋理特征(或位置關(guān)系特征)時(shí),將所述紋理特征存放到預(yù)設(shè)的紋理圖像特征庫(kù)(或位置關(guān)系特征庫(kù))中。
s9,分別對(duì)不同圖像特征庫(kù)中的圖像特征進(jìn)行訓(xùn)練,并根據(jù)訓(xùn)練結(jié)果得到對(duì)應(yīng)的圖像特征模型;其中,所述圖像特征模型分為與所述一級(jí)圖像特征對(duì)應(yīng)的一級(jí)圖像特征模型以及與所述二級(jí)圖像特征對(duì)應(yīng)的二級(jí)圖像特征模型。
使用各種現(xiàn)有的分類器(例如svm分類器或hear分類器等)分別對(duì)不同圖像特征庫(kù)中的圖像特征進(jìn)行訓(xùn)練,并根據(jù)訓(xùn)練結(jié)果得到對(duì)應(yīng)的圖像特征模型。因此,本發(fā)明優(yōu)選實(shí)施例可以有效地建立各種類型圖像特征的圖像特征模型。
作為本發(fā)明的另一種優(yōu)選實(shí)施例,在所述步驟s9之后所述步驟s10之前還包括步驟s90至步驟94:
s90,提取當(dāng)前獲取到的商品圖像的所述圖像特征。需要說(shuō)明的是,所述商品圖像為對(duì)單個(gè)商品所拍攝到的圖片。
s91,根據(jù)相應(yīng)的圖像特征模型分別對(duì)所述圖像特征進(jìn)行匹配,并根據(jù)識(shí)別匹配結(jié)果生成與所述圖像特征對(duì)應(yīng)的匹配數(shù)值。其中,所述圖像特征模型可以為顏色特征模型、紋理特征模型、形狀特征模型或位置關(guān)系特征模型等;相應(yīng)地,所述圖像特征可以為顏色特征、紋理特征、形狀特征或位置關(guān)系特征等。
s92,當(dāng)檢測(cè)到所述匹配數(shù)值小于預(yù)設(shè)的匹配閾值時(shí),向測(cè)試員發(fā)出報(bào)錯(cuò)提示,并顯示出與該匹配數(shù)值對(duì)應(yīng)的圖像特征的圖形。
s93,根據(jù)測(cè)試員對(duì)顯示出來(lái)的所述圖像特征的圖形的人工識(shí)別結(jié)果將該圖像特征存放到對(duì)應(yīng)的特征庫(kù)中。即,測(cè)試員對(duì)顯示出來(lái)的所述圖像特征的圖形進(jìn)行人工識(shí)別,然后測(cè)試員將識(shí)別出來(lái)的所述圖像特征存放到對(duì)應(yīng)的特征庫(kù)中。
s94,對(duì)更新后的所述特征庫(kù)中的圖像特征進(jìn)行訓(xùn)練,并根據(jù)訓(xùn)練結(jié)果得到更新的圖像特征模型。
由上分析可知,本發(fā)明優(yōu)選實(shí)施例可以對(duì)所述圖像特征模型進(jìn)行更新,從而在后續(xù)的特征識(shí)別匹配的過(guò)程中可以提高所述圖像特征模型識(shí)別匹配的準(zhǔn)確率。
本發(fā)明實(shí)施例還提供了一種基于圖像識(shí)別技術(shù)的商品管理系統(tǒng),其包括:
第一圖像獲取模塊,用于獲取拍攝到的貨架的商品陳列圖像;
一級(jí)圖像特征提取模塊,用于提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的一級(jí)圖像特征;所述一級(jí)圖像特征包括以下至少一種:顏色特征及輪廓特征;
第一匹配模塊,用于根據(jù)預(yù)設(shè)的一級(jí)圖像特征模型對(duì)獲取到的所述一級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)匹配結(jié)果生成第一匹配數(shù)值;
判斷識(shí)別模塊,用于判斷所述第一匹配數(shù)值是否大于預(yù)設(shè)的第一匹配閾值,若是,則獲取與所述一級(jí)圖像特征對(duì)應(yīng)的商品信息;若否,則提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的二級(jí)圖像特征,并根據(jù)預(yù)設(shè)的二級(jí)圖像特征模型對(duì)獲取到的所述二級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)識(shí)別匹配結(jié)果獲取與所述二級(jí)圖像特征對(duì)應(yīng)的商品信息;其中,所述二級(jí)圖像特征包括以下至少一種:紋理特征及位置關(guān)系特征;以及,
商品信息報(bào)表生成模塊,用于根據(jù)獲取到的所述商品信息生成對(duì)應(yīng)的商品信息報(bào)表,并展示所述商品信息報(bào)表。
優(yōu)選地,所述基于圖像識(shí)別技術(shù)的商品管理系統(tǒng)還包括:
第二圖像獲取模塊,用于獲取多張預(yù)先拍攝到商品圖像;
第一圖像特征提取模塊,用于提取所述商品圖像的圖像特征,并將提取到的所述圖像特征按照?qǐng)D像特征類型分別存放到不同的圖像特征庫(kù)中;其中,所述圖像特征分為一級(jí)圖像特征與二級(jí)圖像特征,所述圖像特征庫(kù)均為預(yù)先設(shè)置的;以及,
圖像特征模型建立模塊,用于分別對(duì)不同圖像特征庫(kù)中的圖像特征進(jìn)行訓(xùn)練,并根據(jù)訓(xùn)練結(jié)果得到對(duì)應(yīng)的圖像特征模型;其中,所述圖像特征模型分為與所述一級(jí)圖像特征對(duì)應(yīng)的一級(jí)圖像特征模型以及與所述二級(jí)圖像特征對(duì)應(yīng)的二級(jí)圖像特征模型。
再優(yōu)選地,所述基于圖像識(shí)別技術(shù)的商品管理系統(tǒng)還包括:
第二圖像特征提取模塊,用于提取當(dāng)前獲取到的商品圖像的所述圖像特征;
第二匹配模塊,用于根據(jù)相應(yīng)的圖像特征模型分別對(duì)所述圖像特征進(jìn)行匹配,并根據(jù)識(shí)別匹配結(jié)果生成與所述圖像特征對(duì)應(yīng)的匹配數(shù)值;
圖像特征報(bào)錯(cuò)模塊,用于當(dāng)檢測(cè)到所述匹配數(shù)值小于預(yù)設(shè)的匹配閾值時(shí),向測(cè)試員發(fā)出報(bào)錯(cuò)提示,并顯示出與該匹配數(shù)值對(duì)應(yīng)的圖像特征的圖形;
圖像特征存放模塊,用于根據(jù)測(cè)試員對(duì)顯示出來(lái)的所述圖像特征的圖形的人工識(shí)別結(jié)果將該圖像特征存放到對(duì)應(yīng)的特征庫(kù)中;以及,
圖像特征模型更新模塊,用于對(duì)更新后的所述特征庫(kù)中的圖像特征進(jìn)行訓(xùn)練,并根據(jù)訓(xùn)練結(jié)果得到更新的圖像特征模型。
進(jìn)一步地,所述判斷識(shí)別模塊包括:
第一判斷單元,用于判斷所述第一匹配數(shù)值是否大于預(yù)設(shè)的第一匹配閾值;用于若是,則獲取與所述一級(jí)圖像特征對(duì)應(yīng)的商品信息,并通知所述商品信息報(bào)表生成模塊;若否,則提取所述商品陳列圖像中的不同貨架層的各個(gè)商品的二級(jí)圖像特征;
匹配單元,用于根據(jù)預(yù)設(shè)的二級(jí)圖像特征模型對(duì)獲取到的所述二級(jí)圖像特征進(jìn)行對(duì)應(yīng)匹配,并根據(jù)識(shí)別匹配結(jié)果生成第二匹配數(shù)值;
第二判斷單元,用于判斷所述第二匹配數(shù)值是否大于預(yù)設(shè)的第二匹配閾值;若是,則獲取與所述二級(jí)圖像特征對(duì)應(yīng)的商品信息,并通知所述商品信息報(bào)表生成模塊;若否,則向后臺(tái)人員發(fā)出報(bào)錯(cuò)提示,并根據(jù)后臺(tái)人員對(duì)已顯示出的所述二級(jí)圖像特征的圖形的人工識(shí)別結(jié)果得到相應(yīng)的商品信息。
在本發(fā)明實(shí)施例中,通過(guò)對(duì)拍攝到的貨架的商品陳列圖像進(jìn)行特征提取,并根據(jù)預(yù)設(shè)的圖像特征模型對(duì)提取到的圖像特征進(jìn)行識(shí)別,以識(shí)別獲取所述商品陳列圖像中的各個(gè)商品的商品信息,然后根據(jù)獲取到的所述商品信息生成對(duì)應(yīng)的商品信息報(bào)表,最后向商店管理人員展示所述商品信息報(bào)表,這樣商店的管理人員可以快速獲知商店內(nèi)的商品情況,并且商店的管理人員還可以根據(jù)所述商品信息報(bào)表對(duì)商店內(nèi)的商品進(jìn)行管理。因此,本發(fā)明實(shí)施例由于可以自動(dòng)地識(shí)別出商店內(nèi)的各個(gè)貨架的商品的商品信息,從而可以提高獲取商品信息的效率并降低成本。
以上所揭露的僅為本發(fā)明一些較佳實(shí)施例而已,當(dāng)然不能以此來(lái)限定本發(fā)明之權(quán)利范圍,本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分流程,并依本發(fā)明權(quán)利要求所作的等同變化,仍屬于發(fā)明所涵蓋的范圍。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程,是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成,所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),可包括如上述各方法的實(shí)施例的流程。其中,所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(read-onlymemory,rom)或隨機(jī)存儲(chǔ)記憶體(randomaccessmemory,ram)等。