理方法首先對(duì)數(shù)據(jù)進(jìn)行了訓(xùn)練和處理，由于數(shù)據(jù)量較 大，首先將其放入緩存區(qū)；所述緩存區(qū)從傳送裝置接收數(shù)據(jù)，并按照先入先出的順序把接收 的數(shù)據(jù)傳送給接收裝置。
[0131] 緩存區(qū)包括主緩存和備用緩存，所述主緩存被配置主要用于存儲(chǔ)從緩存輸入接收 的數(shù)據(jù)；所述備用緩存主要是用于存儲(chǔ)所述緩存輸入或存儲(chǔ)主緩存接收的所述接收數(shù)據(jù)， 并且以與在所述主緩存相同接收數(shù)據(jù)的順序?qū)⑺鼋邮諗?shù)據(jù)輸出到所述緩存輸出。
[0132] 所述緩存區(qū)還包括緩存控制器，其當(dāng)所述主緩存為空數(shù)據(jù)狀態(tài)時(shí)，所述主緩存從 緩存輸入向所述備用緩存?zhèn)鬏敂?shù)據(jù)，或者當(dāng)所述備用緩存是滿數(shù)據(jù)狀態(tài)時(shí)，所述備用緩存 從緩存輸入向所述主緩存?zhèn)鬏敂?shù)據(jù)，或者當(dāng)所述主緩存數(shù)據(jù)狀態(tài)為不空時(shí)，所述接收數(shù)據(jù) 從緩存輸入向所述主緩存?zhèn)鬏敂?shù)據(jù)。
[0133] 為了提高所述系統(tǒng)的性能，首先采用最小二乘法對(duì)數(shù)據(jù)進(jìn)行不斷訓(xùn)練和預(yù)處理， 其次為系統(tǒng)配置了多個(gè)緩存的，最后主緩存的數(shù)據(jù)存儲(chǔ)空間大于備用緩存的存儲(chǔ)空間。
[0134] 以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的中高級(jí)技術(shù)用 戶來(lái)說(shuō)，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾 是在我們發(fā)明上的必然前展結(jié)果，也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種緩存區(qū)數(shù)據(jù)的預(yù)處理方法，其特征在于，包括： 記錄構(gòu)造基礎(chǔ)數(shù)據(jù)，對(duì)基礎(chǔ)數(shù)據(jù)預(yù)處理； 建立最小二乘法模型模擬用戶行為，預(yù)測(cè)用戶工作時(shí)間和查詢內(nèi)容等參數(shù)之間的數(shù)據(jù) 關(guān)系； 存儲(chǔ)從緩存輸入接收的數(shù)據(jù)到緩存區(qū)，按照先進(jìn)先出順序從所述緩存區(qū)中輸出。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述記錄構(gòu)造基礎(chǔ)數(shù)據(jù)，具體包括： 基礎(chǔ)數(shù)據(jù)是指用戶查詢時(shí)間TimeUserQuery、用戶停留時(shí)間TimeUserStand和用戶查 詢內(nèi)容ContentUserQuery ; 構(gòu)造TimeUserQuery，TimeUserStand和ContentUserQuery接口 函數(shù)從初始服務(wù)器端 獲取客戶端用戶的查詢時(shí)間，停留時(shí)間和查詢內(nèi)容； 在所述TimeUserQuery和TimeUserStand函數(shù)中預(yù)設(shè)計(jì)時(shí)器Timer，并米用cookie控 件技術(shù)，獲取當(dāng)前行為中用戶的查詢時(shí)間和停留時(shí)間； 將收集到的數(shù)據(jù)通過(guò)GET、POST異步的方式發(fā)送到目標(biāo)服務(wù)器端；所述基礎(chǔ)數(shù)據(jù)通過(guò) 接口以JS0N格式展示到所述目標(biāo)服務(wù)器端。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述用戶查詢內(nèi)容ContentUserQuery，具 體包括： 系統(tǒng)預(yù)設(shè)用戶操作的所有查詢內(nèi)容有Loading、Unloading、Cargo、Carrier和Route中 的一種或其任意組合，ContentUserQuery接口函數(shù)的參數(shù)為L(zhǎng)oading、Unloading、Cargo、 Carrier和Route，根據(jù)用戶的不同操作行為，返回和展示的參數(shù)值不同，進(jìn)行了所述查詢 內(nèi)容的參數(shù)返回值設(shè)為1，沒(méi)有進(jìn)行所述查詢內(nèi)容的參數(shù)返回值設(shè)為0。4. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)基礎(chǔ)數(shù)據(jù)預(yù)處理，具體包括： 所述目標(biāo)服務(wù)器接收到返回值和返回內(nèi)容后，系統(tǒng)使用JObject或JArray的Parse方 法將JS0N字符串轉(zhuǎn)換為JS0N對(duì)象，通過(guò)所述JS0N對(duì)象的方式提取所述基礎(chǔ)數(shù)據(jù)，分析所 述基礎(chǔ)數(shù)據(jù)查詢內(nèi)容和查詢時(shí)間之間的關(guān)聯(lián)即構(gòu)造Loading、Unloading、Cargo、Carrier、 Route和TimeUserQuery以及TimeUserStand的關(guān)系圖。5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述構(gòu)造Loading、Unloading、Cargo、 Carrier、Route和TimeUserQuery以及TimeUserStand的關(guān)系圖，具體包括： 根據(jù)所述關(guān)系圖，TimeUserQuery和TimeUserStand各自作為因變量和Loading、Unloading、Cargo、Carrier、Route作為自變量具有一定的線性回歸趨勢(shì)，用最小二乘法做 出預(yù)測(cè)。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述建立最小二乘算法模型，具體包括： 步驟1 :所述目標(biāo)服務(wù)器接收到一個(gè)用戶的多次查詢操作，所述用戶查詢了所述查詢 內(nèi)容的一個(gè)或多個(gè)，設(shè)查詢內(nèi)容為n個(gè)，用戶查詢每個(gè)所述查詢內(nèi)容的時(shí)間分別記為： T= (t1;t2,t3,. . .t；. . . ,tn) (1) 其中^表示用戶查詢第i項(xiàng)查詢內(nèi)容時(shí)的所述查詢時(shí)間； 步驟2:-個(gè)用戶的m次查詢所述查詢內(nèi)容的所述查詢時(shí)間表示為：y(ti,K,tn；x0,x1;K,xn) -x0+x山+A+xntn (2) 其中y代表用戶查詢所述查詢內(nèi)容的工作時(shí)間，X。，Xl，K，Xn表示模型參數(shù)，該參數(shù)使得 實(shí)際值和觀測(cè)值差的平方和最小，通常取X(]= 1，用線性方程組表示為：其中71表示所述用戶第i次查詢所述查詢內(nèi)容所用的查詢時(shí)間，t表示所述用戶第i次查詢第j項(xiàng)查詢內(nèi)容所用的查詢時(shí)間； 通常將b記作數(shù)據(jù)矩陣A，所述模型參數(shù)xi記作參數(shù)矢量X，用戶所述查詢時(shí)間y3己 作Y，則線性方程組可表示為：V>! / 步驟3 :擬合真實(shí)用戶行為的查詢時(shí)間和查詢內(nèi)容的所述模型參數(shù)矩陣X的值為： 由最小二乘法模型可定義用戶查詢一項(xiàng)所述查詢內(nèi)容的觀測(cè)估計(jì)值爲(wèi)和所述模型參 數(shù)的估計(jì)值天： j', =i。+ + 毛'2,.+A，其中i=i，2，A，n，k=l，2，A，m (6) 得到：于是得到帶有所述模型參數(shù)的估計(jì)值方程組：(f) 根據(jù)（8) (9)得到用戶查詢所述查詢內(nèi)容所用的時(shí)間的觀測(cè)值和估計(jì)值關(guān)系為：(10) 根據(jù)最小二乘的原理，所述模型參數(shù)的值為：ni) 最后得到所述模型參數(shù)的估計(jì)值是：(12): 步驟4 :預(yù)測(cè)所述用戶的TimeUserQuery時(shí)間：$中其中h表示用戶查詢所述第i項(xiàng)查詢內(nèi)容時(shí)的所述查詢時(shí)間；xi 表示第i項(xiàng)所述查詢內(nèi)容對(duì)應(yīng)的所述模型參數(shù)，其中X(]=1 ;若用戶只進(jìn)行Cargo操作，Cargo查詢時(shí)間可預(yù)測(cè)成： Y3一X 0+t3X3o7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述用戶查詢內(nèi)容具體包括： 為所述查詢內(nèi)容Loading、Unloading、Cargo、Carrier、Route在數(shù)據(jù)表中分別設(shè)置一 個(gè)Sessionld ;在上述步驟4中直接通過(guò)所述Sessionld獲取相關(guān)參數(shù)值。8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述存儲(chǔ)從緩存輸入接收的數(shù)據(jù)到緩存 區(qū)，按照先進(jìn)先出順序從所述緩存區(qū)中輸出，具體包括： 主緩存區(qū)被配置用于存儲(chǔ)從緩存輸入接收的數(shù)據(jù)，緩存控制器用于選擇性的從緩沖區(qū) 將所述接收數(shù)據(jù)路由到備用緩存區(qū)，使得所述從緩存輸入接收的數(shù)據(jù)按照FIFO順序從所 述備用緩存區(qū)將所述接收數(shù)據(jù)輸出到所述緩存輸出。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述備用緩存用于存儲(chǔ)所述緩存輸入或 存儲(chǔ)主緩存接收的所述接收數(shù)據(jù)，并且以與在所述主緩存區(qū)相同接收數(shù)據(jù)的順序?qū)⑺鼋?收數(shù)據(jù)輸出到所述緩存輸出。10. 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述緩存控制器具體包括： 所述緩存控制器的作用是當(dāng)所述主緩存為空數(shù)據(jù)狀態(tài)時(shí)，所述主緩存從緩存輸入向所 述備用緩存?zhèn)鬏敂?shù)據(jù)； 或者； 當(dāng)所述備用緩存是滿數(shù)據(jù)狀態(tài)時(shí)，所述備用緩存從緩存輸入向所述主緩存?zhèn)鬏敂?shù)據(jù)； 或者； 當(dāng)所述主緩存數(shù)據(jù)狀態(tài)為不空時(shí)，所述接收數(shù)據(jù)從緩存輸入向所述主緩存?zhèn)鬏敂?shù)據(jù)。11. 根據(jù)權(quán)利要求8所述的方法，其特征在于，其中所述主緩存和備用緩存是可以存儲(chǔ) 不同類型數(shù)據(jù)的獨(dú)立的FIFO隊(duì)列并且主緩存的數(shù)據(jù)存儲(chǔ)空間大于備用緩存的數(shù)據(jù)存儲(chǔ)空 間。12. -種緩存區(qū)數(shù)據(jù)的預(yù)處理系統(tǒng)，其特征在于，具體包括： 傳送裝置：將數(shù)據(jù)發(fā)送給緩存區(qū)； 緩存區(qū)：用于從傳送裝置接收數(shù)據(jù)，并按照先入先出的順序把接收的數(shù)據(jù)傳送給接收 裝置； 接收裝置：用于接收來(lái)自于緩存區(qū)中的數(shù)據(jù)。 其中，所述系統(tǒng)首先對(duì)數(shù)據(jù)進(jìn)行了訓(xùn)練和處理，由于數(shù)據(jù)量較大，首先通過(guò)傳輸裝置將 其放入緩存區(qū)。13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其特征在于，具體包括： 緩存區(qū)包括主緩存和備用緩存，所述主緩存區(qū)被配置主要用于存儲(chǔ)從緩存輸入接收的 數(shù)據(jù)；所述備用緩存主要是用于存儲(chǔ)所述緩存輸入或存儲(chǔ)主緩存接收的所述接收數(shù)據(jù)，并 且以與在所述主緩存相同接收數(shù)據(jù)的順序?qū)⑺鼋邮諗?shù)據(jù)輸出到所述緩存輸出。14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，具體包括： 所述緩存區(qū)還包括緩存控制器，其當(dāng)所述主緩存為空數(shù)據(jù)狀態(tài)時(shí)，所述主緩存從緩存 輸入向所述備用緩存?zhèn)鬏敂?shù)據(jù)，或者當(dāng)所述備用緩存是滿數(shù)據(jù)狀態(tài)時(shí)，所述備用緩存從緩 存輸入向所述主緩存?zhèn)鬏敂?shù)據(jù)，或者當(dāng)所述主緩存數(shù)據(jù)狀態(tài)為不空時(shí)，所述接收數(shù)據(jù)從緩 存輸入向所述主緩存?zhèn)鬏敂?shù)據(jù)。15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，具體包括： 該系統(tǒng)采用最小二乘法對(duì)數(shù)據(jù)進(jìn)行不斷訓(xùn)練，所述系統(tǒng)配置了多個(gè)緩存區(qū)，所述主緩 存的數(shù)據(jù)存儲(chǔ)空間大于備用緩存的空間。
【專利摘要】本發(fā)明提出了一種緩存區(qū)數(shù)據(jù)的預(yù)處理方法及系統(tǒng)，該方法可以精確預(yù)估用戶查詢時(shí)間、用戶停留時(shí)間和用戶查詢內(nèi)容，具體包括：記錄構(gòu)造基礎(chǔ)數(shù)據(jù)，對(duì)基礎(chǔ)數(shù)據(jù)預(yù)處理；建立最小二乘法模型模擬用戶行為，預(yù)測(cè)用戶工作時(shí)間和查詢內(nèi)容等參數(shù)之間的數(shù)據(jù)關(guān)系；存儲(chǔ)從緩存輸入接收的數(shù)據(jù)到緩存區(qū)，按照先進(jìn)先出順序從所述緩存區(qū)中輸出。本發(fā)明的系統(tǒng)通過(guò)機(jī)器學(xué)習(xí)的方式，研究用戶的行為準(zhǔn)則，預(yù)測(cè)用戶查詢時(shí)間，每次工作時(shí)間和查詢內(nèi)容等，系統(tǒng)將根據(jù)預(yù)測(cè)信息提前設(shè)置緩存區(qū)數(shù)據(jù)，從而使用戶的查詢體驗(yàn)最優(yōu)化，解決了電子商務(wù)數(shù)據(jù)處理系統(tǒng)中的精確預(yù)估用戶工作時(shí)間、用戶停留時(shí)間和用戶查詢內(nèi)容的技術(shù)問(wèn)題。
【IPC分類】G06F12/08
【公開(kāi)號(hào)】CN105022699
【申請(qǐng)?zhí)枴緾N201510412138
【發(fā)明人】施文進(jìn), 閻九吉, 吳青, 王飛
【申請(qǐng)人】惠龍易通國(guó)際物流股份有限公司, 鎮(zhèn)江惠龍長(zhǎng)江港務(wù)有限公司, 江蘇惠銀科技股份有限公司
【公開(kāi)日】2015年11月4日
【申請(qǐng)日】2015年7月14日