本發(fā)明涉及移動終端領(lǐng)域,具體涉及一種移動終端圖像檢索方法。
背景技術(shù):
隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)的興起,全球范圍內(nèi)數(shù)據(jù)量迅猛增長,大數(shù)據(jù)時代己經(jīng)來臨。伴隨著大數(shù)據(jù)的產(chǎn)生,其在現(xiàn)代社會和經(jīng)濟活動中發(fā)揮著極其重要的作用。
移動終端或者叫移動通信終端是指可以在移動中使用的計算機設(shè)備,廣義的講包括手機、筆記本、平板電腦、POS機甚至包括車載電腦。但是大部分情況下是指手機或者具有多種應(yīng)用功能的智能手機以及平板電腦。隨著網(wǎng)絡(luò)和技術(shù)朝著越來越寬帶化的方向的發(fā)展,移動通信產(chǎn)業(yè)將走向真正的移動信息時代。另一方面,隨著集成電路技術(shù)的飛速發(fā)展,移動終端的處理能力已經(jīng)擁有了強大的處理能力,移動終端正在從簡單的通話工具變?yōu)橐粋€綜合信息處理平臺。這也給移動終端增加了更加寬廣的發(fā)展空間。
大規(guī)模數(shù)據(jù)給傳統(tǒng)的多媒體研究,尤其是基于圖像的應(yīng)用和研究帶來了新的挑戰(zhàn)和機遇。
技術(shù)實現(xiàn)要素:
針對上述問題,本發(fā)明提供一種移動終端圖像檢索方法。
本發(fā)明的目的采用以下技術(shù)方案來實現(xiàn):
一種移動終端圖像檢索方法,其特征是,包括移動終端控制和圖像檢索,移動終端控制方法包括以下步驟:
(1)在第一移動終端和第二移動終端配對成功后,監(jiān)測是否存在流量共享指令,所述流量共享指令包括共享移動終端及被共享移動終端;所述第一移動終端和所述第二移動終端中,一者為共享移動終端,另一者為被共享移動終端;
(1)根據(jù)所述流量共享指令,將被共享移動終端設(shè)置為信息收發(fā)端,斷開共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,建立共享移動終端與被共享移動終端的通訊鏈路,以使共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,移動終端的控制方法還包括以下步驟:
(1)實時監(jiān)測共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量與被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量之和;
(2)當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路。
優(yōu)選地,所述當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路之后還包括:
(1)將被共享移動終端設(shè)置為信息收發(fā)端;
(2)啟動共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,以使被共享移動終端通過共享移動終端訪問網(wǎng)絡(luò)。
本發(fā)明的有益效果為:通過關(guān)鍵詞和標(biāo)記的運用,預(yù)先將數(shù)據(jù)庫劃分為多個子數(shù)據(jù)庫,檢索時先在相關(guān)度高的子數(shù)據(jù)庫中進行檢索,減少了計算量,提高了運算速度;基于單詞包表示圖像時,提出了加權(quán)表示和第一視覺相似度,減少了時間開銷;基于特征組合表示圖像時,利用了局部特征之間的空間包含關(guān)系,提出將相關(guān)的局部特征組合在一起以增強其視覺表達(dá)能力;該特征組合不但具有良好的尺度和旋轉(zhuǎn)不變性,而且還能夠自然地利用各特征元素之間的相對位置信息進行局部幾何校驗,剔除可能存在的錯誤匹配,以提高圖像檢索的準(zhǔn)確率;特征量化以及組合表達(dá)大幅地提高了檢索的精度。
附圖說明
利用附圖對本發(fā)明作進一步說明,但附圖中的實施例不構(gòu)成對本發(fā)明的任何限制,對于本領(lǐng)域的普通技術(shù)人員,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)以下附圖獲得其它的附圖。
圖1是一種移動終端圖像檢索方法的示意圖。
圖2是一種移動終端圖像檢索方法的另一示意圖。
具體實施方式
結(jié)合以下實施例對本發(fā)明作進一步描述。
實施例1:一種移動終端圖像檢索方法,其特征是,包括移動終端控制和圖像檢索,移動終端控制方法包括以下步驟:
(1)在第一移動終端和第二移動終端配對成功后,監(jiān)測是否存在流量共享指令,所述流量共享指令包括共享移動終端及被共享移動終端;所述第一移動終端和所述第二移動終端中,一者為共享移動終端,另一者為被共享移動終端;
(1)根據(jù)所述流量共享指令,將被共享移動終端設(shè)置為信息收發(fā)端,斷開共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,建立共享移動終端與被共享移動終端的通訊鏈路,以使共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,移動終端的控制方法還包括以下步驟:
(1)實時監(jiān)測共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量與被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量之和;
(2)當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路。
優(yōu)選地,所述當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路之后還包括:
(1)將被共享移動終端設(shè)置為信息收發(fā)端;
(2)啟動共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,以使被共享移動終端通過共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,其特征是,圖像檢索通過以下步驟實現(xiàn):
(1)由云服務(wù)器獲取信息數(shù)據(jù),將圖像信息和非圖像信息進行分類后,分別儲存到圖像數(shù)據(jù)庫和非圖像數(shù)據(jù)庫中,并將來源相同的圖像信息和非圖像信息作標(biāo)記;
(2)將非圖像數(shù)據(jù)庫按照預(yù)先設(shè)定的多個關(guān)鍵詞劃分為多個第一子數(shù)據(jù)庫,同時按照所述關(guān)鍵詞對非圖像信息進行分類,分別儲存到對應(yīng)的所述第一子數(shù)據(jù)庫中,未匹配到關(guān)鍵詞的非圖像信息單獨劃分為一類;
(3)將圖像數(shù)據(jù)庫按照所述關(guān)鍵詞劃分為多個第二子數(shù)據(jù)庫,并對圖像信息根據(jù)與其來源相同的非圖像信息進行分類,分別儲存到對應(yīng)所述第二子數(shù)據(jù)庫中,無來源相同標(biāo)記的圖像信息,或者其對應(yīng)的非圖像信息未匹配到關(guān)鍵詞的圖像信息單獨劃分為一類;
(4)當(dāng)用戶輸入關(guān)鍵詞進行檢索時,按照輸入的關(guān)鍵詞與預(yù)先設(shè)定的關(guān)鍵詞的相關(guān)度排序依次在各個第一字?jǐn)?shù)據(jù)庫和第二子數(shù)據(jù)庫中分別進行檢索,并分別輸出圖像數(shù)據(jù)和非圖像數(shù)據(jù)的檢索結(jié)果;每個第二子數(shù)據(jù)庫的圖像檢索中還提供了通過輸入查詢圖像Ip來檢索相似圖像的功能,該功能由以下步驟實現(xiàn):
(1-1)采用SIFT特征對圖像局部區(qū)域進行描述;
(1‐2)基于單詞包的圖像表示:
a.采用基于單詞包模型對局部特征進行量化,設(shè)由M個局部特征向量組成的樣本空間X={x1,…,xM},以無監(jiān)督方式快速聚類生成初始視覺碼本,采用最近鄰策略建立局部特征xj與相對應(yīng)的視覺單詞的映射關(guān)系,j=1,…,M;
b.設(shè)碼本空間中包含N個視覺單詞,則任一圖像表示為高維稀疏向量{w1,…,wN},wi表示視覺單詞i的權(quán)值,i=1,…,N;
式中,表示該圖像中視覺單詞i出現(xiàn)的次數(shù),ti表示圖像數(shù)據(jù)庫中視覺單詞i出現(xiàn)的總次數(shù),fi表示圖像數(shù)據(jù)庫中包含視覺單詞i的圖像數(shù)目;
對權(quán)值wi進行歸一化處理,令∑iδi=1,此時任一圖像的高維稀疏向量表示為{δ1,…,δN};
c.對于任意兩幅圖像p和q,定義兩幅圖像之間的第一視覺相似度S(p,q):
S(p,q)越大,表明兩幅圖像越接近。
優(yōu)選地,其特征是,步驟(4)還包括:
(1‐3)基于特征組合的圖像表示:
a、將包含一個具有較大尺度的主特征和由這個主特征空間覆蓋的若干個具有較小尺度的元素特征的集合定義為特征組合,給定任一圖像P,抽取其包含的特征組合集其中,Cl=(Zl,Yl);
式中,Cl表示第l個特征組合,Zl為第l個特征組合的主特征,Yl為第l個特征組合的一組元素特征,Zl和Yl滿足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl對應(yīng)的局部空間區(qū)域完全被主特征Cl的局部空間覆蓋,a(·)表示覆蓋空間區(qū)域的面積;
b、對于任意兩個特征組合Cf(Zf,Yf)和Cg(Zg,Yg),定義兩個特征組合的第二視覺相似度R:
當(dāng)cos(Zf,Zg)>T1時:
R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)T1≥cos(Zf,Zg)>T2時:
R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)cos(Zf,Zg)≤T2時:
R(Cf,Cg)=0
式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示兩個特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征數(shù);
(1‐4)圖像檢索:對于給定的查詢圖像Ip,首先提取其特征組合集,將每個特征的主特征映射到視覺單詞,找出包含該視覺單詞的數(shù)據(jù)庫圖像Iq,計算其與查詢圖像的相似度距離,通過將相似度距離與設(shè)定閾值比較,完成圖像檢索;
所述的相似度距離采用以下公式計算:
d=S(Ip,Iq)×maxR(Ip,Iq)
其中,S(p,q)表示兩幅圖像的第一視覺相似度度量,maxR(Ip,Iq)表示對兩幅圖像的所有特征組合進行第二視覺相似度度量的最大值。
在本實施例的一種移動終端圖像檢索方法中,通過關(guān)鍵詞和標(biāo)記的運用,預(yù)先將數(shù)據(jù)庫劃分為多個子數(shù)據(jù)庫,檢索時先在相關(guān)度高的子數(shù)據(jù)庫中進行檢索,減少了計算量,提高了運算速度;基于單詞包表示圖像時,提出了加權(quán)表示和第一視覺相似度,減少了時間開銷;基于特征組合表示圖像時,利用了局部特征之間的空間包含關(guān)系,提出將相關(guān)的局部特征組合在一起以增強其視覺表達(dá)能力;該特征組合不但具有良好的尺度和旋轉(zhuǎn)不變性,而且還能夠自然地利用各特征元素之間的相對位置信息進行局部幾何校驗,剔除可能存在的錯誤匹配,以提高圖像檢索的準(zhǔn)確率;特征量化以及組合表達(dá)大幅地提高了檢索的精度;T1=0.95,T2=0.78,檢索精度提高了50%,檢索速度提高了1%。
實施例2:一種移動終端圖像檢索方法,其特征是,包括移動終端控制和圖像檢索,移動終端控制方法包括以下步驟:
(1)在第一移動終端和第二移動終端配對成功后,監(jiān)測是否存在流量共享指令,所述流量共享指令包括共享移動終端及被共享移動終端;所述第一移動終端和所述第二移動終端中,一者為共享移動終端,另一者為被共享移動終端;
(1)根據(jù)所述流量共享指令,將被共享移動終端設(shè)置為信息收發(fā)端,斷開共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,建立共享移動終端與被共享移動終端的通訊鏈路,以使共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,移動終端的控制方法還包括以下步驟:
(1)實時監(jiān)測共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量與被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量之和;
(2)當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路。
優(yōu)選地,所述當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路之后還包括:
(1)將被共享移動終端設(shè)置為信息收發(fā)端;
(2)啟動共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,以使被共享移動終端通過共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,其特征是,圖像檢索通過以下步驟實現(xiàn):
(1)由云服務(wù)器獲取信息數(shù)據(jù),將圖像信息和非圖像信息進行分類后,分別儲存到圖像數(shù)據(jù)庫和非圖像數(shù)據(jù)庫中,并將來源相同的圖像信息和非圖像信息作標(biāo)記;
(2)將非圖像數(shù)據(jù)庫按照預(yù)先設(shè)定的多個關(guān)鍵詞劃分為多個第一子數(shù)據(jù)庫,同時按照所述關(guān)鍵詞對非圖像信息進行分類,分別儲存到對應(yīng)的所述第一子數(shù)據(jù)庫中,未匹配到關(guān)鍵詞的非圖像信息單獨劃分為一類;
(3)將圖像數(shù)據(jù)庫按照所述關(guān)鍵詞劃分為多個第二子數(shù)據(jù)庫,并對圖像信息根據(jù)與其來源相同的非圖像信息進行分類,分別儲存到對應(yīng)所述第二子數(shù)據(jù)庫中,無來源相同標(biāo)記的圖像信息,或者其對應(yīng)的非圖像信息未匹配到關(guān)鍵詞的圖像信息單獨劃分為一類;
(4)當(dāng)用戶輸入關(guān)鍵詞進行檢索時,按照輸入的關(guān)鍵詞與預(yù)先設(shè)定的關(guān)鍵詞的相關(guān)度排序依次在各個第一字?jǐn)?shù)據(jù)庫和第二子數(shù)據(jù)庫中分別進行檢索,并分別輸出圖像數(shù)據(jù)和非圖像數(shù)據(jù)的檢索結(jié)果;每個第二子數(shù)據(jù)庫的圖像檢索中還提供了通過輸入查詢圖像Ip來檢索相似圖像的功能,該功能由以下步驟實現(xiàn):
(1-1)采用SIFT特征對圖像局部區(qū)域進行描述;
(1‐2)基于單詞包的圖像表示:
a.采用基于單詞包模型對局部特征進行量化,設(shè)由M個局部特征向量組成的樣本空間X={x1,…,xM},以無監(jiān)督方式快速聚類生成初始視覺碼本,采用最近鄰策略建立局部特征xj與相對應(yīng)的視覺單詞的映射關(guān)系,j=1,…,M;
b.設(shè)碼本空間中包含N個視覺單詞,則任一圖像表示為高維稀疏向量{w1,…,wN},wi表示視覺單詞i的權(quán)值,i=1,…,N;
式中,表示該圖像中視覺單詞i出現(xiàn)的次數(shù),ti表示圖像數(shù)據(jù)庫中視覺單詞i出現(xiàn)的總次數(shù),fi表示圖像數(shù)據(jù)庫中包含視覺單詞i的圖像數(shù)目;
對權(quán)值wi進行歸一化處理,令∑iδi=1,此時任一圖像的高維稀疏向量表示為{δ1,…,δN};
c.對于任意兩幅圖像p和q,定義兩幅圖像之間的第一視覺相似度S(p,q):
S(p,q)越大,表明兩幅圖像越接近。
優(yōu)選地,其特征是,步驟(4)還包括:
(1‐3)基于特征組合的圖像表示:
a、將包含一個具有較大尺度的主特征和由這個主特征空間覆蓋的若干個具有較小尺度的元素特征的集合定義為特征組合,給定任一圖像P,抽取其包含的特征組合集其中,Cl=(Zl,Yl);
式中,Cl表示第l個特征組合,Zl為第l個特征組合的主特征,Yl為第l個特征組合的一組元素特征,Zl和Yl滿足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl對應(yīng)的局部空間區(qū)域完全被主特征Cl的局部空間覆蓋,a(·)表示覆蓋空間區(qū)域的面積;
b、對于任意兩個特征組合Cf(Zf,Yf)和Cg(Zg,Yg),定義兩個特征組合的第二視覺相似度R:
當(dāng)cos(Zf,Zg)>T1時:
R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)T1≥cos(Zf,Zg)>T2時:
R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)cos(Zf,Zg)≤T2時:
R(Cf,Cg)=0
式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示兩個特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征數(shù);
(1‐4)圖像檢索:對于給定的查詢圖像Ip,首先提取其特征組合集,將每個特征的主特征映射到視覺單詞,找出包含該視覺單詞的數(shù)據(jù)庫圖像Iq,計算其與查詢圖像的相似度距離,通過將相似度距離與設(shè)定閾值比較,完成圖像檢索;
所述的相似度距離采用以下公式計算:
d=S(Ip,Iq)×maxR(Ip,Iq)
其中,S(p,q)表示兩幅圖像的第一視覺相似度度量,maxR(Ip,Iq)表示對兩幅圖像的所有特征組合進行第二視覺相似度度量的最大值。
在本實施例的一種移動終端圖像檢索方法中,通過關(guān)鍵詞和標(biāo)記的運用,預(yù)先將數(shù)據(jù)庫劃分為多個子數(shù)據(jù)庫,檢索時先在相關(guān)度高的子數(shù)據(jù)庫中進行檢索,減少了計算量,提高了運算速度;基于單詞包表示圖像時,提出了加權(quán)表示和第一視覺相似度,減少了時間開銷;基于特征組合表示圖像時,利用了局部特征之間的空間包含關(guān)系,提出將相關(guān)的局部特征組合在一起以增強其視覺表達(dá)能力;該特征組合不但具有良好的尺度和旋轉(zhuǎn)不變性,而且還能夠自然地利用各特征元素之間的相對位置信息進行局部幾何校驗,剔除可能存在的錯誤匹配,以提高圖像檢索的準(zhǔn)確率;特征量化以及組合表達(dá)大幅地提高了檢索的精度;T1=0.95,T2=0.78,檢索精度提高了50%,檢索速度提高了1%。
實施例3:一種移動終端圖像檢索方法,其特征是,包括移動終端控制和圖像檢索,移動終端控制方法包括以下步驟:
(1)在第一移動終端和第二移動終端配對成功后,監(jiān)測是否存在流量共享指令,所述流量共享指令包括共享移動終端及被共享移動終端;所述第一移動終端和所述第二移動終端中,一者為共享移動終端,另一者為被共享移動終端;
(1)根據(jù)所述流量共享指令,將被共享移動終端設(shè)置為信息收發(fā)端,斷開共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,建立共享移動終端與被共享移動終端的通訊鏈路,以使共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,移動終端的控制方法還包括以下步驟:
(1)實時監(jiān)測共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量與被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量之和;
(2)當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路。
優(yōu)選地,所述當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路之后還包括:
(1)將被共享移動終端設(shè)置為信息收發(fā)端;
(2)啟動共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,以使被共享移動終端通過共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,其特征是,圖像檢索通過以下步驟實現(xiàn):
(1)由云服務(wù)器獲取信息數(shù)據(jù),將圖像信息和非圖像信息進行分類后,分別儲存到圖像數(shù)據(jù)庫和非圖像數(shù)據(jù)庫中,并將來源相同的圖像信息和非圖像信息作標(biāo)記;
(2)將非圖像數(shù)據(jù)庫按照預(yù)先設(shè)定的多個關(guān)鍵詞劃分為多個第一子數(shù)據(jù)庫,同時按照所述關(guān)鍵詞對非圖像信息進行分類,分別儲存到對應(yīng)的所述第一子數(shù)據(jù)庫中,未匹配到關(guān)鍵詞的非圖像信息單獨劃分為一類;
(3)將圖像數(shù)據(jù)庫按照所述關(guān)鍵詞劃分為多個第二子數(shù)據(jù)庫,并對圖像信息根據(jù)與其來源相同的非圖像信息進行分類,分別儲存到對應(yīng)所述第二子數(shù)據(jù)庫中,無來源相同標(biāo)記的圖像信息,或者其對應(yīng)的非圖像信息未匹配到關(guān)鍵詞的圖像信息單獨劃分為一類;
(4)當(dāng)用戶輸入關(guān)鍵詞進行檢索時,按照輸入的關(guān)鍵詞與預(yù)先設(shè)定的關(guān)鍵詞的相關(guān)度排序依次在各個第一字?jǐn)?shù)據(jù)庫和第二子數(shù)據(jù)庫中分別進行檢索,并分別輸出圖像數(shù)據(jù)和非圖像數(shù)據(jù)的檢索結(jié)果;每個第二子數(shù)據(jù)庫的圖像檢索中還提供了通過輸入查詢圖像Ip來檢索相似圖像的功能,該功能由以下步驟實現(xiàn):
(1-1)采用SIFT特征對圖像局部區(qū)域進行描述;
(1‐2)基于單詞包的圖像表示:
a.采用基于單詞包模型對局部特征進行量化,設(shè)由M個局部特征向量組成的樣本空間X={x1,…,xM},以無監(jiān)督方式快速聚類生成初始視覺碼本,采用最近鄰策略建立局部特征xj與相對應(yīng)的視覺單詞的映射關(guān)系,j=1,…,M;
b.設(shè)碼本空間中包含N個視覺單詞,則任一圖像表示為高維稀疏向量{w1,…,wN},wi表示視覺單詞i的權(quán)值,i=1,…,N;
式中,表示該圖像中視覺單詞i出現(xiàn)的次數(shù),ti表示圖像數(shù)據(jù)庫中視覺單詞i出現(xiàn)的總次數(shù),fi表示圖像數(shù)據(jù)庫中包含視覺單詞i的圖像數(shù)目;
對權(quán)值wi進行歸一化處理,令∑iδi=1,此時任一圖像的高維稀疏向量表示為{δ1,…,δN};
c.對于任意兩幅圖像p和q,定義兩幅圖像之間的第一視覺相似度S(p,q):
S(p,q)越大,表明兩幅圖像越接近。
優(yōu)選地,其特征是,步驟(4)還包括:
(1‐3)基于特征組合的圖像表示:
a、將包含一個具有較大尺度的主特征和由這個主特征空間覆蓋的若干個具有較小尺度的元素特征的集合定義為特征組合,給定任一圖像P,抽取其包含的特征組合集其中,Cl=(Zl,Yl);
式中,Cl表示第l個特征組合,Zl為第l個特征組合的主特征,Yl為第l個特征組合的一組元素特征,Zl和Yl滿足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl對應(yīng)的局部空間區(qū)域完全被主特征Cl的局部空間覆蓋,a(·)表示覆蓋空間區(qū)域的面積;
b、對于任意兩個特征組合Cf(Zf,Yf)和Cg(Zg,Yg),定義兩個特征組合的第二視覺相似度R:
當(dāng)cos(Zf,Zg)>T1時:
R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)T1≥cos(Zf,Zg)>T2時:
R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)cos(Zf,Zg)≤T2時:
R(Cf,Cg)=0
式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示兩個特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征數(shù);
(1‐4)圖像檢索:對于給定的查詢圖像Ip,首先提取其特征組合集,將每個特征的主特征映射到視覺單詞,找出包含該視覺單詞的數(shù)據(jù)庫圖像Iq,計算其與查詢圖像的相似度距離,通過將相似度距離與設(shè)定閾值比較,完成圖像檢索;
所述的相似度距離采用以下公式計算:
d=S(Ip,Iq)×maxR(Ip,Iq)
其中,S(p,q)表示兩幅圖像的第一視覺相似度度量,maxR(Ip,Iq)表示對兩幅圖像的所有特征組合進行第二視覺相似度度量的最大值。
在本實施例的一種移動終端圖像檢索方法中,通過關(guān)鍵詞和標(biāo)記的運用,預(yù)先將數(shù)據(jù)庫劃分為多個子數(shù)據(jù)庫,檢索時先在相關(guān)度高的子數(shù)據(jù)庫中進行檢索,減少了計算量,提高了運算速度;基于單詞包表示圖像時,提出了加權(quán)表示和第一視覺相似度,減少了時間開銷;基于特征組合表示圖像時,利用了局部特征之間的空間包含關(guān)系,提出將相關(guān)的局部特征組合在一起以增強其視覺表達(dá)能力;該特征組合不但具有良好的尺度和旋轉(zhuǎn)不變性,而且還能夠自然地利用各特征元素之間的相對位置信息進行局部幾何校驗,剔除可能存在的錯誤匹配,以提高圖像檢索的準(zhǔn)確率;特征量化以及組合表達(dá)大幅地提高了檢索的精度;T1=0.95,T2=0.78,檢索精度提高了50%,檢索速度提高了1%。
實施例4:一種移動終端圖像檢索方法,其特征是,包括移動終端控制和圖像檢索,移動終端控制方法包括以下步驟:
(1)在第一移動終端和第二移動終端配對成功后,監(jiān)測是否存在流量共享指令,所述流量共享指令包括共享移動終端及被共享移動終端;所述第一移動終端和所述第二移動終端中,一者為共享移動終端,另一者為被共享移動終端;
(1)根據(jù)所述流量共享指令,將被共享移動終端設(shè)置為信息收發(fā)端,斷開共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,建立共享移動終端與被共享移動終端的通訊鏈路,以使共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,移動終端的控制方法還包括以下步驟:
(1)實時監(jiān)測共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量與被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量之和;
(2)當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路。
優(yōu)選地,所述當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路之后還包括:
(1)將被共享移動終端設(shè)置為信息收發(fā)端;
(2)啟動共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,以使被共享移動終端通過共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,其特征是,圖像檢索通過以下步驟實現(xiàn):
(1)由云服務(wù)器獲取信息數(shù)據(jù),將圖像信息和非圖像信息進行分類后,分別儲存到圖像數(shù)據(jù)庫和非圖像數(shù)據(jù)庫中,并將來源相同的圖像信息和非圖像信息作標(biāo)記;
(2)將非圖像數(shù)據(jù)庫按照預(yù)先設(shè)定的多個關(guān)鍵詞劃分為多個第一子數(shù)據(jù)庫,同時按照所述關(guān)鍵詞對非圖像信息進行分類,分別儲存到對應(yīng)的所述第一子數(shù)據(jù)庫中,未匹配到關(guān)鍵詞的非圖像信息單獨劃分為一類;
(3)將圖像數(shù)據(jù)庫按照所述關(guān)鍵詞劃分為多個第二子數(shù)據(jù)庫,并對圖像信息根據(jù)與其來源相同的非圖像信息進行分類,分別儲存到對應(yīng)所述第二子數(shù)據(jù)庫中,無來源相同標(biāo)記的圖像信息,或者其對應(yīng)的非圖像信息未匹配到關(guān)鍵詞的圖像信息單獨劃分為一類;
(4)當(dāng)用戶輸入關(guān)鍵詞進行檢索時,按照輸入的關(guān)鍵詞與預(yù)先設(shè)定的關(guān)鍵詞的相關(guān)度排序依次在各個第一字?jǐn)?shù)據(jù)庫和第二子數(shù)據(jù)庫中分別進行檢索,并分別輸出圖像數(shù)據(jù)和非圖像數(shù)據(jù)的檢索結(jié)果;每個第二子數(shù)據(jù)庫的圖像檢索中還提供了通過輸入查詢圖像Ip來檢索相似圖像的功能,該功能由以下步驟實現(xiàn):
(1-1)采用SIFT特征對圖像局部區(qū)域進行描述;
(1‐2)基于單詞包的圖像表示:
a.采用基于單詞包模型對局部特征進行量化,設(shè)由M個局部特征向量組成的樣本空間X={x1,…,xM},以無監(jiān)督方式快速聚類生成初始視覺碼本,采用最近鄰策略建立局部特征xj與相對應(yīng)的視覺單詞的映射關(guān)系,j=1,…,M;
b.設(shè)碼本空間中包含N個視覺單詞,則任一圖像表示為高維稀疏向量{w1,…,wN},wi表示視覺單詞i的權(quán)值,i=1,…,N;
式中,表示該圖像中視覺單詞i出現(xiàn)的次數(shù),ti表示圖像數(shù)據(jù)庫中視覺單詞i出現(xiàn)的總次數(shù),fi表示圖像數(shù)據(jù)庫中包含視覺單詞i的圖像數(shù)目;
對權(quán)值wi進行歸一化處理,令∑iδi=1,此時任一圖像的高維稀疏向量表示為{δ1,…,δN};
c.對于任意兩幅圖像p和q,定義兩幅圖像之間的第一視覺相似度S(p,q):
S(p,q)越大,表明兩幅圖像越接近。
優(yōu)選地,其特征是,步驟(4)還包括:
(1‐3)基于特征組合的圖像表示:
a、將包含一個具有較大尺度的主特征和由這個主特征空間覆蓋的若干個具有較小尺度的元素特征的集合定義為特征組合,給定任一圖像P,抽取其包含的特征組合集其中,Cl=(Zl,Yl);
式中,Cl表示第l個特征組合,Zl為第l個特征組合的主特征,Yl為第l個特征組合的一組元素特征,Zl和Yl滿足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl對應(yīng)的局部空間區(qū)域完全被主特征Cl的局部空間覆蓋,a(·)表示覆蓋空間區(qū)域的面積;
b、對于任意兩個特征組合Cf(Zf,Yf)和Cg(Zg,Yg),定義兩個特征組合的第二視覺相似度R:
當(dāng)cos(Zf,Zg)>T1時:
R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)T1≥cos(Zf,Zg)>T2時:
R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)cos(Zf,Zg)≤T2時:
R(Cf,Cg)=0
式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示兩個特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征數(shù);
(1‐4)圖像檢索:對于給定的查詢圖像Ip,首先提取其特征組合集,將每個特征的主特征映射到視覺單詞,找出包含該視覺單詞的數(shù)據(jù)庫圖像Iq,計算其與查詢圖像的相似度距離,通過將相似度距離與設(shè)定閾值比較,完成圖像檢索;
所述的相似度距離采用以下公式計算:
d=S(Ip,Iq)×maxR(Ip,Iq)
其中,S(p,q)表示兩幅圖像的第一視覺相似度度量,maxR(Ip,Iq)表示對兩幅圖像的所有特征組合進行第二視覺相似度度量的最大值。
在本實施例的一種移動終端圖像檢索方法中,通過關(guān)鍵詞和標(biāo)記的運用,預(yù)先將數(shù)據(jù)庫劃分為多個子數(shù)據(jù)庫,檢索時先在相關(guān)度高的子數(shù)據(jù)庫中進行檢索,減少了計算量,提高了運算速度;基于單詞包表示圖像時,提出了加權(quán)表示和第一視覺相似度,減少了時間開銷;基于特征組合表示圖像時,利用了局部特征之間的空間包含關(guān)系,提出將相關(guān)的局部特征組合在一起以增強其視覺表達(dá)能力;該特征組合不但具有良好的尺度和旋轉(zhuǎn)不變性,而且還能夠自然地利用各特征元素之間的相對位置信息進行局部幾何校驗,剔除可能存在的錯誤匹配,以提高圖像檢索的準(zhǔn)確率;特征量化以及組合表達(dá)大幅地提高了檢索的精度;T1=0.95,T2=0.78,檢索精度提高了50%,檢索速度提高了1%。
實施例5:一種移動終端圖像檢索方法,其特征是,包括移動終端控制和圖像檢索,移動終端控制方法包括以下步驟:
(1)在第一移動終端和第二移動終端配對成功后,監(jiān)測是否存在流量共享指令,所述流量共享指令包括共享移動終端及被共享移動終端;所述第一移動終端和所述第二移動終端中,一者為共享移動終端,另一者為被共享移動終端;
(1)根據(jù)所述流量共享指令,將被共享移動終端設(shè)置為信息收發(fā)端,斷開共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,建立共享移動終端與被共享移動終端的通訊鏈路,以使共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,移動終端的控制方法還包括以下步驟:
(1)實時監(jiān)測共享移動終端通過被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量與被共享移動終端訪問網(wǎng)絡(luò)時發(fā)生的數(shù)據(jù)流量之和;
(2)當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路。
優(yōu)選地,所述當(dāng)該數(shù)據(jù)流量之和超過被共享移動終端的預(yù)設(shè)流量閾值時,斷開被共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路之后還包括:
(1)將被共享移動終端設(shè)置為信息收發(fā)端;
(2)啟動共享移動終端與網(wǎng)絡(luò)之間的通訊鏈路,以使被共享移動終端通過共享移動終端訪問網(wǎng)絡(luò)。
優(yōu)選地,其特征是,圖像檢索通過以下步驟實現(xiàn):
(1)由云服務(wù)器獲取信息數(shù)據(jù),將圖像信息和非圖像信息進行分類后,分別儲存到圖像數(shù)據(jù)庫和非圖像數(shù)據(jù)庫中,并將來源相同的圖像信息和非圖像信息作標(biāo)記;
(2)將非圖像數(shù)據(jù)庫按照預(yù)先設(shè)定的多個關(guān)鍵詞劃分為多個第一子數(shù)據(jù)庫,同時按照所述關(guān)鍵詞對非圖像信息進行分類,分別儲存到對應(yīng)的所述第一子數(shù)據(jù)庫中,未匹配到關(guān)鍵詞的非圖像信息單獨劃分為一類;
(3)將圖像數(shù)據(jù)庫按照所述關(guān)鍵詞劃分為多個第二子數(shù)據(jù)庫,并對圖像信息根據(jù)與其來源相同的非圖像信息進行分類,分別儲存到對應(yīng)所述第二子數(shù)據(jù)庫中,無來源相同標(biāo)記的圖像信息,或者其對應(yīng)的非圖像信息未匹配到關(guān)鍵詞的圖像信息單獨劃分為一類;
(4)當(dāng)用戶輸入關(guān)鍵詞進行檢索時,按照輸入的關(guān)鍵詞與預(yù)先設(shè)定的關(guān)鍵詞的相關(guān)度排序依次在各個第一字?jǐn)?shù)據(jù)庫和第二子數(shù)據(jù)庫中分別進行檢索,并分別輸出圖像數(shù)據(jù)和非圖像數(shù)據(jù)的檢索結(jié)果;每個第二子數(shù)據(jù)庫的圖像檢索中還提供了通過輸入查詢圖像Ip來檢索相似圖像的功能,該功能由以下步驟實現(xiàn):
(1-1)采用SIFT特征對圖像局部區(qū)域進行描述;
(1‐2)基于單詞包的圖像表示:
a.采用基于單詞包模型對局部特征進行量化,設(shè)由M個局部特征向量組成的樣本空間X={x1,…,xM},以無監(jiān)督方式快速聚類生成初始視覺碼本,采用最近鄰策略建立局部特征xj與相對應(yīng)的視覺單詞的映射關(guān)系,j=1,…,M;
b.設(shè)碼本空間中包含N個視覺單詞,則任一圖像表示為高維稀疏向量{w1,…,wN},wi表示視覺單詞i的權(quán)值,i=1,…,N;
式中,表示該圖像中視覺單詞i出現(xiàn)的次數(shù),ti表示圖像數(shù)據(jù)庫中視覺單詞i出現(xiàn)的總次數(shù),fi表示圖像數(shù)據(jù)庫中包含視覺單詞i的圖像數(shù)目;
對權(quán)值wi進行歸一化處理,令∑iδi=1,此時任一圖像的高維稀疏向量表示為{δ1,…,δN};
c.對于任意兩幅圖像p和q,定義兩幅圖像之間的第一視覺相似度S(p,q):
S(p,q)越大,表明兩幅圖像越接近。
優(yōu)選地,其特征是,步驟(4)還包括:
(1‐3)基于特征組合的圖像表示:
a、將包含一個具有較大尺度的主特征和由這個主特征空間覆蓋的若干個具有較小尺度的元素特征的集合定義為特征組合,給定任一圖像P,抽取其包含的特征組合集其中,Cl=(Zl,Yl);
式中,Cl表示第l個特征組合,Zl為第l個特征組合的主特征,Yl為第l個特征組合的一組元素特征,Zl和Yl滿足0.02×a(P)<a(Zl),a(Yl)<0.2×a(P),且Yl對應(yīng)的局部空間區(qū)域完全被主特征Cl的局部空間覆蓋,a(·)表示覆蓋空間區(qū)域的面積;
b、對于任意兩個特征組合Cf(Zf,Yf)和Cg(Zg,Yg),定義兩個特征組合的第二視覺相似度R:
當(dāng)cos(Zf,Zg)>T1時:
R(Cf,Cg)=1{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)T1≥cos(Zf,Zg)>T2時:
R(Cf,Cg)=0.5{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}
當(dāng)cos(Zf,Zg)≤T2時:
R(Cf,Cg)=0
式中,T1=(0.8,1),T1=(0.5,0.8],cos(·,·)表示兩個特征的余弦相似度,Yfi是Yf中的元素,Ygi是Yg中的元素,{(Yfi,Ygj)|Yfi∈Yf,Ygj∈Yg,cos(Yf,Yg)>T1}表示Yf和Yg中匹配的元素特征數(shù);
(1‐4)圖像檢索:對于給定的查詢圖像Ip,首先提取其特征組合集,將每個特征的主特征映射到視覺單詞,找出包含該視覺單詞的數(shù)據(jù)庫圖像Iq,計算其與查詢圖像的相似度距離,通過將相似度距離與設(shè)定閾值比較,完成圖像檢索;
所述的相似度距離采用以下公式計算:
d=S(Ip,Iq)×maxR(Ip,Iq)
其中,S(p,q)表示兩幅圖像的第一視覺相似度度量,maxR(Ip,Iq)表示對兩幅圖像的所有特征組合進行第二視覺相似度度量的最大值。
在本實施例的一種移動終端圖像檢索方法中,通過關(guān)鍵詞和標(biāo)記的運用,預(yù)先將數(shù)據(jù)庫劃分為多個子數(shù)據(jù)庫,檢索時先在相關(guān)度高的子數(shù)據(jù)庫中進行檢索,減少了計算量,提高了運算速度;基于單詞包表示圖像時,提出了加權(quán)表示和第一視覺相似度,減少了時間開銷;基于特征組合表示圖像時,利用了局部特征之間的空間包含關(guān)系,提出將相關(guān)的局部特征組合在一起以增強其視覺表達(dá)能力;該特征組合不但具有良好的尺度和旋轉(zhuǎn)不變性,而且還能夠自然地利用各特征元素之間的相對位置信息進行局部幾何校驗,剔除可能存在的錯誤匹配,以提高圖像檢索的準(zhǔn)確率;特征量化以及組合表達(dá)大幅地提高了檢索的精度;T1=0.95,T2=0.78,檢索精度提高了50%,檢索速度提高了1%。
最后應(yīng)當(dāng)說明的是,以上實施例僅用以說明本發(fā)明的技術(shù)方案,而非對本發(fā)明保護范圍的限制,盡管參照較佳實施例對本發(fā)明作了詳細(xì)地說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解,可以對本發(fā)明的技術(shù)方案進行修改或者等同替換,而不脫離本發(fā)明技術(shù)方案的實質(zhì)和范圍。