本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域,具體而言,涉及一種信息推薦方法、裝置、存儲介質(zhì)及處理器。
背景技術(shù):
隨著大數(shù)據(jù)時代的來臨,網(wǎng)絡(luò)中的信息量呈現(xiàn)指數(shù)式增長,隨之帶來了信息過載的問題。智能推薦系統(tǒng)是解決信息過載最有效的方式之一,基于大數(shù)據(jù)的推薦系統(tǒng)通過采集用戶的行為信息,分析研究海量數(shù)據(jù)并從中挖掘有用的信息,進(jìn)而得出用戶的興趣偏好并向用戶推送與其興趣偏好相關(guān)聯(lián)的信息。智能推薦系統(tǒng)已經(jīng)逐漸成為信息領(lǐng)域的研究熱點(diǎn)之一。
在智能推薦系統(tǒng)中,推薦數(shù)據(jù)的有效性、準(zhǔn)確性、實時性是系統(tǒng)性能的重要指標(biāo)?,F(xiàn)有的智能推薦系統(tǒng)所采用的方案主要分為以下三類:
一、基于群體的推薦,采用協(xié)同過濾技術(shù),收集用戶的信息和與用戶有相似行為的群體的信息,根據(jù)相應(yīng)的群體信息實現(xiàn)單個用戶的推薦。
二、基于內(nèi)容的推薦,收集用戶的信息和商品的顯性相關(guān)屬性信息,為用戶推薦其購買過或瀏覽過的商品相似的產(chǎn)品。
三、混合方案,收集多方數(shù)據(jù),結(jié)合基于群體的推薦、基于內(nèi)容的推薦等多種機(jī)制,采用多種技術(shù)進(jìn)行共同推薦。
其中,基于群體的推薦機(jī)制解釋性差,且面臨著數(shù)據(jù)稀疏問題,而基于內(nèi)容的推薦機(jī)制其性能受到產(chǎn)品顯性屬性的限制,對于屬性標(biāo)簽不完整或缺乏的情況無法進(jìn)行有效推薦。此外,上述三種方案中的推薦算法均存在冷啟動問題,對于沒有購買行為的新用戶推薦結(jié)果精度很低。綜上,現(xiàn)有技術(shù)中存在網(wǎng)絡(luò)信息推薦準(zhǔn)確度和效率較低的技術(shù)問題。
針對上述的問題,目前尚未提出有效的解決方案。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供了一種信息推薦方法、裝置、存儲介質(zhì)及處理器,以至少解決現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)信息推薦準(zhǔn)確度和效率較低的技術(shù)問題。
根據(jù)本發(fā)明實施例的一個方面,提供了一種信息推薦方法,該方法包括:采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和上述目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù),其中,上述行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù);對上述第一歷史行為數(shù)據(jù)和上述第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)上述第二歷史行為數(shù)據(jù)和上述第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,上述用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本;根據(jù)上述數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,上述第一信息推薦模型為收斂后的上述預(yù)設(shè)信息推薦模型;根據(jù)上述第一信息推薦模型對上述第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理,從而生成上述目標(biāo)網(wǎng)站的推薦信息。
進(jìn)一步地,上述對上述第一歷史行為數(shù)據(jù)和上述第一屬性數(shù)據(jù)進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)包括:對上述第一歷史行為數(shù)據(jù)和上述第一屬性數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗,得到第三歷史行為數(shù)據(jù)和第三屬性數(shù)據(jù);對上述第三歷史行為數(shù)據(jù)和上述第三屬性數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,得到上述第二歷史行為數(shù)據(jù)和上述第二屬性數(shù)據(jù),其中,上述數(shù)據(jù)預(yù)處理的方式至少包括下述之一:數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載。
進(jìn)一步地,上述根據(jù)上述數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型包括:根據(jù)預(yù)設(shè)訓(xùn)練算法對上述數(shù)據(jù)樣本進(jìn)行處理,得到用戶特征向量,其中,上述預(yù)設(shè)訓(xùn)練算法至少包括下述之一:基于矩陣分解的協(xié)同過濾算法、數(shù)據(jù)并行算法和模型并行算法;根據(jù)上述用戶特征向量得到上述第一信息推薦模型。
進(jìn)一步地,上述方法還包括:對上述第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理,得到第二當(dāng)前行為數(shù)據(jù);根據(jù)上述第二當(dāng)前行為數(shù)據(jù)更新上述用戶信息數(shù)據(jù)庫;根據(jù)更新后的上述用戶信息數(shù)據(jù)庫中包含的上述數(shù)據(jù)樣本對上述第一信息推薦模型進(jìn)行訓(xùn)練,得到第二信息推薦模型,其中,上述第二信息推薦模型為收斂后的上述第一信息推薦模型。
進(jìn)一步地,在上述根據(jù)上述數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練之前,上述方法還包括:對上述預(yù)設(shè)信息推薦模型的模型參數(shù)進(jìn)行初始化處理。
根據(jù)本發(fā)明實施例的另一方面,還提供了一種信息推薦裝置,該裝置包括:采集單元,用于采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和上述目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù),其中,上述行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù);第一處理單元,用于對上述第一歷史行為數(shù)據(jù)和上述第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)上述第二歷史行為數(shù)據(jù)和上述第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,上述用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本;第二處理單元,用于根據(jù)上述數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,上述第一信息推薦模型為收斂后的上述預(yù)設(shè)信息推薦模型;第三處理單元,用于根據(jù)上述第一信息推薦模型對上述第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理,從而生成上述目標(biāo)網(wǎng)站的推薦信息。
進(jìn)一步地,上述第一處理單元包括:第一處理子單元,用于對上述第一歷史行為數(shù)據(jù)和上述第一屬性數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗,得到第三歷史行為數(shù)據(jù)和第三屬性數(shù)據(jù);第二處理子單元,用于對上述第三歷史行為數(shù)據(jù)和上述第三屬性數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,得到上述第二歷史行為數(shù)據(jù)和上述第二屬性數(shù)據(jù),其中,上述數(shù)據(jù)預(yù)處理的方式至少包括下述之一:數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載。
進(jìn)一步地,上述第二處理單元包括:第三處理子單元,用于根據(jù)預(yù)設(shè)訓(xùn)練算法對上述數(shù)據(jù)樣本進(jìn)行處理,得到用戶特征向量,其中,上述預(yù)設(shè)訓(xùn)練算法至少包括下述之一:基于矩陣分解的協(xié)同過濾算法、數(shù)據(jù)并行算法和模型并行算法;獲取子單元,用于根據(jù)上述用戶特征向量得到上述第一信息推薦模型。
根據(jù)本發(fā)明實施例的又一方面,還提供了一種存儲介質(zhì),上述存儲介質(zhì)包括存儲的程序,其中,在上述程序運(yùn)行時控制上述存儲介質(zhì)所在設(shè)備執(zhí)行上述的信息推薦方法。
根據(jù)本發(fā)明實施例的又一方面,還提供了一種處理器,上述處理器用于運(yùn)行程序,其中,上述程序運(yùn)行時執(zhí)行上述的信息推薦方法。
在本發(fā)明實施例中,采用采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù)的方式,其中,行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù),通過對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本,進(jìn)而根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,第一信息推薦模型為收斂后的預(yù)設(shè)信息推薦模型,達(dá)到了根據(jù)第一信息推薦模型對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理從而生成目標(biāo)網(wǎng)站的推薦信息的目的,從而實現(xiàn)了提高網(wǎng)絡(luò)信息推薦的準(zhǔn)確度和效率、提升用戶體驗的技術(shù)效果,進(jìn)而解決了現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)信息推薦準(zhǔn)確度和效率較低的技術(shù)問題。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解,構(gòu)成本申請的一部分,本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
圖1是根據(jù)本發(fā)明實施例的一種可選的信息推薦方法的流程示意圖;
圖2是根據(jù)本發(fā)明實施例的另一種可選的信息推薦方法的流程示意圖;
圖3是根據(jù)本發(fā)明實施例的又一種可選的信息推薦方法的流程示意圖;
圖4是根據(jù)本發(fā)明實施例的又一種可選的信息推薦方法的流程示意圖;
圖5是根據(jù)本發(fā)明實施例的一種可選的信息推薦裝置的結(jié)構(gòu)示意圖。
具體實施方式
為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案,下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分的實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
需要說明的是,本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象,而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換,以便這里描述的本發(fā)明的實施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤?。此外,術(shù)語“包括”和“具有”以及他們的任何變形,意圖在于覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
實施例1
根據(jù)本發(fā)明實施例,提供了一種信息推薦方法的實施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組計算機(jī)可執(zhí)行指令的計算機(jī)系統(tǒng)中執(zhí)行,并且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
圖1是根據(jù)本發(fā)明實施例的一種可選的信息推薦方法的流程示意圖,如圖1所示,該方法包括如下步驟:
步驟S102,采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù),其中,行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù);
步驟S104,對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本;
步驟S106,根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,第一信息推薦模型為收斂后的預(yù)設(shè)信息推薦模型;
步驟S108,根據(jù)第一信息推薦模型對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理,從而生成目標(biāo)網(wǎng)站的推薦信息。
在本發(fā)明實施例中,采用采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù)的方式,其中,行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù),通過對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本,進(jìn)而根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,第一信息推薦模型為收斂后的預(yù)設(shè)信息推薦模型,達(dá)到了根據(jù)第一信息推薦模型對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理從而生成目標(biāo)網(wǎng)站的推薦信息的目的,從而實現(xiàn)了提高網(wǎng)絡(luò)信息推薦的準(zhǔn)確度和效率、提升用戶體驗的技術(shù)效果,進(jìn)而解決了現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)信息推薦準(zhǔn)確度和效率較低的技術(shù)問題。
可選地,在執(zhí)行步驟S102的過程中,可以通過Web service記錄采集用戶行為信息數(shù)據(jù)及不同領(lǐng)域的商品信息,采用Javascript嵌入收集、包嗅探器等方式將相關(guān)數(shù)據(jù)信息采集推送到消息隊列kafka中。其中,Web service是一個平臺獨(dú)立的,低耦合的,自包含的、基于可編程的Web的應(yīng)用程序,可使用開放的XML(標(biāo)準(zhǔn)通用標(biāo)記語言下的一個子集)標(biāo)準(zhǔn)來描述、發(fā)布、發(fā)現(xiàn)、協(xié)調(diào)和配置這些應(yīng)用程序,用于開發(fā)分布式的互操作的應(yīng)用程序。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng),它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。例如,目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù)可以包括該網(wǎng)站所涉及的不同領(lǐng)域的屬性數(shù)據(jù),該領(lǐng)域可以為為圖書、食品、電影等。
可選地,用戶信息數(shù)據(jù)庫可以包括用戶的行為信息,也可以包括用戶的目標(biāo)訪問網(wǎng)站所關(guān)聯(lián)的圖書、食品、電影等方面的商品信息。
可選地,該預(yù)設(shè)信息推薦模型可以為基于深度學(xué)習(xí)的用戶信息深度網(wǎng)絡(luò)模型DNN(深層神經(jīng)網(wǎng)絡(luò)),也可以為多個跨領(lǐng)域商品模型DNN。該多個跨領(lǐng)域商品模型DNN可以包含M個模型,M≥3。優(yōu)選地,M=3,分別為圖書商品模型、視頻商品模型、電影商品模型。
可選地,第一當(dāng)前行為數(shù)據(jù)為用戶本次訪問網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù),第一歷史行為數(shù)據(jù)為用戶在本次之前訪問網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)。
可選地,推薦信息可以作為推薦結(jié)果推送給用戶,也可以保存在目標(biāo)網(wǎng)站的服務(wù)器中。
可選地,圖2是根據(jù)本發(fā)明實施例的另一種可選的信息推薦方法的流程示意圖,如圖2所示,執(zhí)行步驟S104,即對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)包括:
步驟S202,對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗,得到第三歷史行為數(shù)據(jù)和第三屬性數(shù)據(jù);
步驟S204,對第三歷史行為數(shù)據(jù)和第三屬性數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),其中,數(shù)據(jù)預(yù)處理的方式至少包括下述之一:數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載。
可選地,在執(zhí)行步驟S202的過程中,可以基于Spark對上述收集到的相關(guān)數(shù)據(jù)進(jìn)行清洗。其中,數(shù)據(jù)清洗是指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別的錯誤的最后一道程序,包括檢查數(shù)據(jù)一致性,處理無效值和缺失值等。與問卷審核不同,錄入后的數(shù)據(jù)清理一般是由計算機(jī)而不是人工完成。
可選地,在執(zhí)行步驟S204的過程中,可以對清洗過的數(shù)據(jù)進(jìn)行ETL(抽取、轉(zhuǎn)換、加載)操作并持久化到HDFS(Hadoop Distributed File System,分布式文件系統(tǒng))或者M(jìn)ongoDB(一個基于分布式文件存儲的數(shù)據(jù)庫,由C++語言編寫)。其中,ETL(Extract-Transform-Load)是用來描述將數(shù)據(jù)從來源端經(jīng)過抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過程。
可選地,圖3是根據(jù)本發(fā)明實施例的又一種可選的信息推薦方法的流程示意圖,如圖3所示,執(zhí)行步驟S106,即根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型包括:
步驟S302,根據(jù)預(yù)設(shè)訓(xùn)練算法對數(shù)據(jù)樣本進(jìn)行處理,得到用戶特征向量,其中,預(yù)設(shè)訓(xùn)練算法至少包括下述之一:基于矩陣分解的協(xié)同過濾算法、數(shù)據(jù)并行算法和模型并行算法;
步驟S304,根據(jù)用戶特征向量得到第一信息推薦模型。
可選地,執(zhí)行上述步驟S302的過程中,在對數(shù)據(jù)樣本進(jìn)行處理時,運(yùn)用基于矩陣分解的協(xié)同過濾算法ALS進(jìn)行DNN模型訓(xùn)練,采用數(shù)據(jù)并行及模型并行機(jī)制在Spark中并行訓(xùn)練DNN模型,提升訓(xùn)練效率,得到抽象提取的用戶特征向量。
可選地,圖4是根據(jù)本發(fā)明實施例的又一種可選的信息推薦方法的流程示意圖,如圖4所示,該方法還可以包括:
步驟S402,對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理,得到第二當(dāng)前行為數(shù)據(jù);
步驟S404,根據(jù)第二當(dāng)前行為數(shù)據(jù)更新用戶信息數(shù)據(jù)庫;
步驟S406,根據(jù)更新后的用戶信息數(shù)據(jù)庫中包含的數(shù)據(jù)樣本對第一信息推薦模型進(jìn)行訓(xùn)練,得到第二信息推薦模型,其中,第二信息推薦模型為收斂后的第一信息推薦模型。
可選地,執(zhí)行步驟S402至步驟S406,可以對信息推薦模型進(jìn)行實時更新和優(yōu)化,例如,可以通過Spark steaming實時地從消息隊列中獲取用戶行為信息,并與已經(jīng)持久化的原始用戶信息數(shù)據(jù)庫混合,對深度網(wǎng)絡(luò)模型DNN進(jìn)行再訓(xùn)練,實時更新得到優(yōu)化的DNN推薦模型。
可選地,對于用戶而言,信息推薦模型的更新和優(yōu)化可以提升信息推薦模型的推薦準(zhǔn)確度,需要說明的是,用戶本次訪問目標(biāo)網(wǎng)站所產(chǎn)生的第一當(dāng)前數(shù)據(jù)可以用于更新用戶信息數(shù)據(jù)庫,進(jìn)而用于對當(dāng)前信息推薦模型的優(yōu)化,從而使得用戶在下次訪問目標(biāo)網(wǎng)站時,體驗感更佳。
可選地,在根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練之前,該方法還可以包括:
步驟S10,對預(yù)設(shè)信息推薦模型的模型參數(shù)進(jìn)行初始化處理。
可選地,可以采用受限玻爾茲曼機(jī)RBM對預(yù)設(shè)信息推薦模型進(jìn)行逐層的參數(shù)初始化。
可選地,針對現(xiàn)有技術(shù)的缺陷和不足,本申請?zhí)峁┝艘环N基于大數(shù)據(jù)結(jié)合Spark深度學(xué)習(xí)和實時流計算的智能推薦方法及系統(tǒng),結(jié)合大數(shù)據(jù)、Spark深度學(xué)習(xí)、實時流計算技術(shù),通過收集用戶的興趣、偏好等行為信息及不同領(lǐng)域的商品信息,構(gòu)建跨領(lǐng)域深度網(wǎng)絡(luò)模型,有效整合不同領(lǐng)域的信息避免新用戶的冷啟動問題,同時通過采集用戶實時行為信息,動態(tài)更新用戶行為數(shù)據(jù)庫,實現(xiàn)模型的更新優(yōu)化,提升模型的精準(zhǔn)度及有效性,從而提供最佳的推薦服務(wù),提升用戶體驗。
在本發(fā)明實施例中,采用采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù)的方式,其中,行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù),通過對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本,進(jìn)而根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,第一信息推薦模型為收斂后的預(yù)設(shè)信息推薦模型,達(dá)到了根據(jù)第一信息推薦模型對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理從而生成目標(biāo)網(wǎng)站的推薦信息的目的,從而實現(xiàn)了提高網(wǎng)絡(luò)信息推薦的準(zhǔn)確度和效率、提升用戶體驗的技術(shù)效果,進(jìn)而解決了現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)信息推薦準(zhǔn)確度和效率較低的技術(shù)問題。
實施例2
根據(jù)本發(fā)明實施例的另一個方面,還提供了一種車牌號碼識別裝置,如圖5所示,該信息推薦裝置包括:采集單元501、第一處理單元503、第二處理單元505、第三處理單元507。
其中,采集單元501,用于采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù),其中,行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù);第一處理單元503,用于對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本;第二處理單元505,用于根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,第一信息推薦模型為收斂后的預(yù)設(shè)信息推薦模型;第三處理單元507,用于根據(jù)第一信息推薦模型對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理,從而生成目標(biāo)網(wǎng)站的推薦信息。
可選地,第一處理單元503包括:第一處理子單元,用于對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗,得到第三歷史行為數(shù)據(jù)和第三屬性數(shù)據(jù);第二處理子單元,用于對第三歷史行為數(shù)據(jù)和第三屬性數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),其中,數(shù)據(jù)預(yù)處理的方式至少包括下述之一:數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載。
可選地,第二處理單元505包括:第三處理子單元,用于根據(jù)預(yù)設(shè)訓(xùn)練算法對數(shù)據(jù)樣本進(jìn)行處理,得到用戶特征向量,其中,預(yù)設(shè)訓(xùn)練算法至少包括下述之一:基于矩陣分解的協(xié)同過濾算法、數(shù)據(jù)并行算法和模型并行算法;獲取子單元,用于根據(jù)用戶特征向量得到第一信息推薦模型。
可選地,該裝置還包括:第四處理單元,用于對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理,得到第二當(dāng)前行為數(shù)據(jù);更新單元,用于根據(jù)第二當(dāng)前行為數(shù)據(jù)更新用戶信息數(shù)據(jù)庫;第五處理單元,用于根據(jù)更新后的用戶信息數(shù)據(jù)庫中包含的數(shù)據(jù)樣本對第一信息推薦模型進(jìn)行訓(xùn)練,得到第二信息推薦模型,其中,第二信息推薦模型為收斂后的第一信息推薦模型。
可選地,該裝置還可以包括:第六處理單元,用于對預(yù)設(shè)信息推薦模型的模型參數(shù)進(jìn)行初始化處理。
在本發(fā)明實施例中,采用采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù)的方式,其中,行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù),通過對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本,進(jìn)而根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,第一信息推薦模型為收斂后的預(yù)設(shè)信息推薦模型,達(dá)到了根據(jù)第一信息推薦模型對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理從而生成目標(biāo)網(wǎng)站的推薦信息的目的,從而實現(xiàn)了提高網(wǎng)絡(luò)信息推薦的準(zhǔn)確度和效率、提升用戶體驗的技術(shù)效果,進(jìn)而解決了現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)信息推薦準(zhǔn)確度和效率較低的技術(shù)問題。
實施例3
根據(jù)本發(fā)明實施例的又一個方面,還提供了一種存儲介質(zhì),上述存儲介質(zhì)包括存儲的程序,其中,在上述程序運(yùn)行時控制上述存儲介質(zhì)所在設(shè)備執(zhí)行本申請實施例1中的上述的信息推薦方法。
根據(jù)本發(fā)明實施例的又一方面,還提供了一種處理器,上述處理器用于運(yùn)行程序,其中,上述程序運(yùn)行時執(zhí)行本申請實施例1中的上述的信息推薦方法。
在本發(fā)明實施例中,采用采集用戶在訪問目標(biāo)網(wǎng)站時所產(chǎn)生的行為數(shù)據(jù)和目標(biāo)網(wǎng)站的第一屬性數(shù)據(jù)的方式,其中,行為數(shù)據(jù)包括第一當(dāng)前行為數(shù)據(jù)和第一歷史行為數(shù)據(jù),通過對第一歷史行為數(shù)據(jù)和第一屬性數(shù)據(jù)分別進(jìn)行處理得到第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù),進(jìn)而根據(jù)第二歷史行為數(shù)據(jù)和第二屬性數(shù)據(jù)生成用戶信息數(shù)據(jù)庫,其中,用戶信息數(shù)據(jù)庫中包含多個數(shù)據(jù)樣本,進(jìn)而根據(jù)數(shù)據(jù)樣本對預(yù)設(shè)信息推薦模型進(jìn)行訓(xùn)練,得到第一信息推薦模型,其中,第一信息推薦模型為收斂后的預(yù)設(shè)信息推薦模型,達(dá)到了根據(jù)第一信息推薦模型對第一當(dāng)前行為數(shù)據(jù)進(jìn)行處理從而生成目標(biāo)網(wǎng)站的推薦信息的目的,從而實現(xiàn)了提高網(wǎng)絡(luò)信息推薦的準(zhǔn)確度和效率、提升用戶體驗的技術(shù)效果,進(jìn)而解決了現(xiàn)有技術(shù)中存在的網(wǎng)絡(luò)信息推薦準(zhǔn)確度和效率較低的技術(shù)問題。
上述本發(fā)明實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
在本發(fā)明的上述實施例中,對各個實施例的描述都各有側(cè)重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關(guān)描述。
在本申請所提供的幾個實施例中,應(yīng)該理解到,所揭露的技術(shù)內(nèi)容,可通過其它的方式實現(xiàn)。其中,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,可以為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,單元或模塊的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個單元上??梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
另外,在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨(dú)物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用軟件功能單元的形式實現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時,可以存儲在一個計算機(jī)可讀取存儲介質(zhì)中?;谶@樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機(jī)設(shè)備(可為個人計算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、只讀存儲器(ROM,Read-Only Memory)、隨機(jī)存取存儲器(RAM,Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上所述僅是本發(fā)明的優(yōu)選實施方式,應(yīng)當(dāng)指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。