本發(fā)明涉及云計(jì)算
技術(shù)領(lǐng)域:
,具體涉及一種用于商品分類的云計(jì)算系統(tǒng)。
背景技術(shù):
:云計(jì)算是并行處理、分布式處理和網(wǎng)格計(jì)算技術(shù)的提高,其組成服務(wù)器包括由多個(gè)計(jì)算服務(wù)器構(gòu)成的計(jì)算云,以及由多個(gè)存儲(chǔ)服務(wù)器構(gòu)成的存儲(chǔ)云。通過計(jì)算云對(duì)待處理數(shù)據(jù)進(jìn)行并行計(jì)算,提高了數(shù)據(jù)的處理效率;通過存儲(chǔ)云將數(shù)據(jù)存儲(chǔ)在多臺(tái)存儲(chǔ)服務(wù)器,分擔(dān)了客戶端的存儲(chǔ)負(fù)荷同時(shí)保證了存儲(chǔ)數(shù)據(jù)的可靠性。商品分類為商品檢索、商品置放策略制定以及智能推薦等提供了有力支撐。圖像作為商品的主要信息載體,基于圖像的商品分類技術(shù)研究己成為圖像處理、計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域的研究熱點(diǎn)。然而,現(xiàn)有的商品分類方法僅對(duì)商品的圖像進(jìn)行研究而忽略了商品的文本信息,另一方面,現(xiàn)有的商品分類方法存在分類準(zhǔn)確率低、分類速度慢等問題。技術(shù)實(shí)現(xiàn)要素:針對(duì)上述問題,本發(fā)明旨在提供一種用于商品分類的云計(jì)算系統(tǒng)。本發(fā)明的目的采用以下技術(shù)方案來實(shí)現(xiàn):提供了一種用于商品分類的云計(jì)算系統(tǒng),所述云計(jì)算系統(tǒng)包括計(jì)算云和存儲(chǔ)云,所述計(jì)算云,用于利用云計(jì)算對(duì)商品數(shù)據(jù)進(jìn)行分類處理,并將處理結(jié)果返回給數(shù)據(jù)發(fā)送方,所述存儲(chǔ)云用于對(duì)商品數(shù)據(jù)進(jìn)行存儲(chǔ)。本發(fā)明的有益效果為:利用云計(jì)算技術(shù)來處理商品數(shù)據(jù),提高日益增長(zhǎng)的商品數(shù)據(jù)的處理效率。附圖說明利用附圖對(duì)本發(fā)明作進(jìn)一步說明,但附圖中的實(shí)施例不構(gòu)成對(duì)本發(fā)明的任何限制,對(duì)于本領(lǐng)域的普通技術(shù)人員,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)以下附圖獲得其它的附圖。圖1是本發(fā)明的結(jié)構(gòu)連接示意圖;附圖標(biāo)記:計(jì)算云1、存儲(chǔ)云2。具體實(shí)施方式結(jié)合以下實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述。參見圖1,本實(shí)施例的一種用于商品分類的云計(jì)算系統(tǒng),所述云計(jì)算系統(tǒng)包括計(jì)算云1和存儲(chǔ)云2,所述計(jì)算云1,用于利用云計(jì)算對(duì)商品數(shù)據(jù)進(jìn)行分類處理,并將處理結(jié)果返回給數(shù)據(jù)發(fā)送方,所述存儲(chǔ)云2用于對(duì)商品數(shù)據(jù)進(jìn)行存儲(chǔ)。本實(shí)施例利用云計(jì)算技術(shù)來處理商品數(shù)據(jù),提高日益增長(zhǎng)的商品數(shù)據(jù)的處理效率。優(yōu)選的,所述計(jì)算云1包括數(shù)據(jù)管理服務(wù)器以及計(jì)算服務(wù)器,所述數(shù)據(jù)管理服務(wù)器,用于將商品數(shù)據(jù)進(jìn)行分割,將分割后的商品數(shù)據(jù)發(fā)送至計(jì)算服務(wù)器;以及將來自所述計(jì)算服務(wù)器的處理結(jié)果進(jìn)行合并;所述計(jì)算服務(wù)器,用于并行處理接收的商品數(shù)據(jù),完成商品分類,并將處理后的數(shù)據(jù)發(fā)送至數(shù)據(jù)管理服務(wù)器,包括商品圖像分類模塊、商品文本分類模塊和綜合分類模塊。本優(yōu)選實(shí)施例商品數(shù)據(jù)處理效率高,分類準(zhǔn)確。優(yōu)選的,所述數(shù)據(jù)管理服務(wù)器,還用于監(jiān)測(cè)接收到的商品數(shù)據(jù)的流量變化,若數(shù)據(jù)流量增大,則擴(kuò)展出新的計(jì)算服務(wù)器處理商品數(shù)據(jù);若數(shù)據(jù)流量減小,則收縮部分已有的計(jì)算服務(wù)器。本優(yōu)選實(shí)施例資源利用率高。優(yōu)選的,所述商品圖像分類模塊用于獲取商品圖像的分類結(jié)果,具體為:(1)對(duì)待分類的商品圖像進(jìn)行圖像去噪處理,分為以下步驟進(jìn)行:步驟1:對(duì)待分類商品圖像進(jìn)行光照歸一化處理,具體的:將待分類的商品圖像p轉(zhuǎn)換到對(duì)數(shù)域,利用差分高斯濾波器對(duì)待分類的商品圖像p進(jìn)行平滑處理,然后對(duì)待分類的商品圖像p進(jìn)行全局對(duì)比度均衡化處理;步驟2:以滑動(dòng)窗口方式對(duì)待分類的商品圖像p按照預(yù)先設(shè)定的滑動(dòng)距離進(jìn)行塊劃分;對(duì)圖像塊中的每一塊的紋理特征進(jìn)行提取,采用k-means聚類方法基于提取的紋理特征對(duì)圖像塊進(jìn)行聚類,得到多個(gè)圖像塊組,采用多線性子空間學(xué)習(xí)濾波器對(duì)圖像塊組進(jìn)行初次去噪;所述k-means聚類方法具體描述如下:步驟a:隨機(jī)選取k個(gè)聚類質(zhì)心點(diǎn)為μ1,μ2,…,μk,步驟b:對(duì)于每個(gè)樣本例i,計(jì)算其應(yīng)該屬于的類,對(duì)于每一個(gè)類j,重新計(jì)算該類的質(zhì)心,步驟c:重復(fù)步驟b,直到收斂;步驟3:利用改進(jìn)的自適應(yīng)字典學(xué)習(xí)去噪方法對(duì)初次去噪后的待分類的商品圖像進(jìn)行二次去噪;(2)用fj=[fj,1,fj,2,…,fj,n]表示第j類商品圖像的訓(xùn)練樣本集,所有類別的訓(xùn)練樣本集f=[f1,f2,…,fn]構(gòu)成過完備字典,其中,n表示商品類別數(shù),用f的線性組合表示未知類別測(cè)試樣本t:t=fa,其中,a為稀疏的系數(shù)向量,用稀疏編碼算法求得稀疏表示a;自定義函數(shù)ρj(a),該函數(shù)將稀疏表示a中不屬于第j類的分量置0,則測(cè)試樣本所屬類別可表示為:jbe=argminj(lxj+lxj2),lxj=||t-fρj(a)||2,其中,jbe表示測(cè)試樣本t所屬類別,fρj(a)表示測(cè)試樣本第j類的重構(gòu)圖像,||t-fρj(a)||2表示原始圖像和第j類重構(gòu)圖像的重構(gòu)殘差;將圖像分類分?jǐn)?shù)定義為:其中,表示商品屬于第j類的圖像分類分?jǐn)?shù),1≤j,k≤n。本優(yōu)選實(shí)施例計(jì)算服務(wù)器對(duì)待分類的商品圖像進(jìn)行多次去噪處理,能夠獲得較好的去噪效果,并且適用于多維的商品圖像,在對(duì)商品圖像進(jìn)行塊劃分之前先進(jìn)行光照歸一化處理,有利于后續(xù)圖像塊特征的提取和聚類精度的提高,進(jìn)而提高去噪的精度;此外,計(jì)算服務(wù)器使用上述算法確定圖像分類結(jié)果,提高了圖像分類準(zhǔn)確度,云計(jì)算服務(wù)器對(duì)圖像分類分?jǐn)?shù)進(jìn)行定義,打下了分類信息融合的基礎(chǔ)。優(yōu)選地,所述采用改進(jìn)的自適應(yīng)字典學(xué)習(xí)去噪方法對(duì)初次去噪后的待分類的商品圖像進(jìn)行二次去噪,包括以下步驟:步驟1:將初次去噪后的圖像塊進(jìn)行重排列形成列向量矩陣,并對(duì)列向量矩陣進(jìn)行降維,最終形成樣本塊集合{p};對(duì)該樣本塊集合進(jìn)行自適應(yīng)字典訓(xùn)練,得到自適應(yīng)學(xué)習(xí)字典d;步驟2:按照另一設(shè)定的滑動(dòng)距離對(duì)該待分類的商品圖像p再次進(jìn)行滑動(dòng)窗口的塊劃分,對(duì)得到的圖像塊進(jìn)行重排列形成列向量矩陣,并對(duì)列向量矩陣進(jìn)行降維,最終形成輸入圖像塊集合{p′};求解輸入圖像塊集合{p′}中每一列向量在自適應(yīng)學(xué)習(xí)字典上的稀疏表示稀疏μ,并按照下式計(jì)算輸出圖像塊y(p):y(p)=dμ;步驟3:對(duì)輸出圖像塊進(jìn)行融合處理,得到預(yù)去噪圖像y′(p);對(duì)預(yù)去噪圖像y′(p)進(jìn)行低秩矩陣稀疏分解,得到低秩去噪分量dz和稀疏含噪分量xs,對(duì)該低秩去噪分量dz和稀疏含噪分量xs進(jìn)行二次去噪處理,得到最終去噪圖像:y″(p)=dz*xs′,其中,xs′表示對(duì)稀疏含噪分量xs進(jìn)行中值濾波后得到的稀疏去噪分量,*表示融合處理。所述商品文本分類模塊2用于獲取商品文本的分類結(jié)果,具體為:存在訓(xùn)練文本集其中,wi表示已知類別文本,表示文本類別,某商品待分類文本wt中包含不同的詞wi,將文本表示為wt=(w1,w2,…,wn),n表示文本中詞的數(shù)量,統(tǒng)計(jì)wi在文本wt中出現(xiàn)的頻次pi和在訓(xùn)練文本集文本中出現(xiàn)的最高頻次計(jì)算相對(duì)詞頻將文本表示為求取wt與w中文本wi的相似度sim(wt,wi),得到與wt最近似的l個(gè)wi,其中,表示wt的第i個(gè)詞wi的相對(duì)詞頻,表示wi的第i個(gè)詞wi的相對(duì)詞頻;用wl表示l個(gè)最近鄰文本,計(jì)算wl中各類別占比,占比最大的類別包含文本數(shù)為l1,作為wt的類別占比第二大的類別文本數(shù)目為l2;文本分類分?jǐn)?shù)為:所述綜合分類模塊用于融合基于商品圖像的分類結(jié)果和基于商品文本的分類結(jié)果,得到并輸出商品類別,具體為:待分類商品圖文樣本(t,w,y),三元組中的t表示商品的圖像描述,w表示商品的文本描述,y表示商品的類別,商品的訓(xùn)練樣本集(t,w,y)={(ti,wi,yi)},其中,i=1,2,…,n,n表示樣本集中樣本數(shù)量;對(duì)圖像分類分?jǐn)?shù)和文本分類分?jǐn)?shù)進(jìn)行線性組合:其中,表示商品屬于第j類的圖文融合分?jǐn)?shù),表示商品屬于第j類的圖像分類分?jǐn)?shù),表示商品屬于第j類的文本分類分?jǐn)?shù),δ1和δ2為根據(jù)樣本學(xué)習(xí)得到的權(quán)重系數(shù);采用下列判定公式得到商品類別:本優(yōu)選實(shí)施例計(jì)算服務(wù)器對(duì)初次去噪后的待分類的商品圖像進(jìn)行二次去噪處理,能夠很好地保留圖像的細(xì)節(jié),濾除噪聲;另一方面,計(jì)算服務(wù)器采用商品文本分類模塊確定文本分類結(jié)果,提高了文本分類準(zhǔn)確率,為進(jìn)一步進(jìn)行分類信息融合打下了基礎(chǔ);此外,計(jì)算服務(wù)器考慮商品的圖像視覺信息和描述文本信息,對(duì)兩種不同模態(tài)信息進(jìn)行融合,進(jìn)一步提高了商品分類準(zhǔn)確率。優(yōu)選地,商品分類準(zhǔn)確度評(píng)價(jià)模塊,用于根據(jù)設(shè)定的商品分類準(zhǔn)確度評(píng)價(jià)函數(shù)對(duì)系統(tǒng)的商品分類準(zhǔn)確度進(jìn)行評(píng)價(jià),商品分類準(zhǔn)確度評(píng)價(jià)函數(shù)的值越大,表示商品分類的準(zhǔn)確度越高,商品分類準(zhǔn)確度評(píng)價(jià)函數(shù)為:其中,nl用于表示商品類別數(shù)量,mα用于表示第α類正確分類商品樣本數(shù)量,mα用于表示第α類商品樣本數(shù)量。本優(yōu)選實(shí)施例設(shè)定商品分類準(zhǔn)確度評(píng)價(jià)函數(shù),從而提高了計(jì)算服務(wù)器對(duì)商品分類準(zhǔn)確度,有利于對(duì)計(jì)算服務(wù)器進(jìn)行改進(jìn)。本發(fā)明云計(jì)算系統(tǒng)對(duì)商品數(shù)據(jù)進(jìn)行分類處理,并對(duì)商品數(shù)量分別為2000、3000、4000、5000、6000時(shí)的計(jì)算情況進(jìn)行分析,并以計(jì)算成本和處理時(shí)間作為考量依據(jù)對(duì)該云計(jì)算系統(tǒng)進(jìn)行評(píng)價(jià),與未采用本發(fā)明相比,產(chǎn)生的有益效果如下表所示:商品數(shù)量節(jié)省計(jì)算成本處理時(shí)間縮短200020%10%300025%15%400030%20%500032%24%600036%31%最后應(yīng)當(dāng)說明的是,以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案,而非對(duì)本發(fā)明保護(hù)范圍的限制,盡管參照較佳實(shí)施例對(duì)本發(fā)明作了詳細(xì)地說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解,可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換,而不脫離本發(fā)明技術(shù)方案的實(shí)質(zhì)和范圍。當(dāng)前第1頁12