1.一種海量圖片管理方法,其特征在于,包括:
獲取當(dāng)日更新的多個(gè)最新圖片;
將所述最新圖片通過多個(gè)傳輸線程并行上傳到分布式服務(wù)器集群中預(yù)置的日增圖庫,所述分布式服務(wù)器集群中還部署有全量圖庫;
通過比對圖片索引,將所述日增圖庫中不存在于所述全量圖庫的最新圖片保存至所述全量圖庫;
接收到應(yīng)用程序調(diào)用圖片的請求后,從所述全量圖庫提取目標(biāo)圖片反饋至所述應(yīng)用程序。
2.如權(quán)利要求1所述的方法,其特征在于,在所述獲取當(dāng)日更新的多個(gè)最新圖片之前,所述方法還包括:
通過解析商品更新記錄獲得對應(yīng)更新的最新商品信息;
從所述最新商品信息解析出所述最新圖片的鏈接地址,根據(jù)所述鏈接地址獲取所述最新圖片。
3.如權(quán)利要求1所述的方法,其特征在于,所述通過比對圖片索引,將所述日增圖庫中不存在于所述全量圖庫的最新圖片保存至所述全量圖庫包括:
將所述日增圖庫中最新圖片的圖片索引與預(yù)置的歷史索引庫進(jìn)行比對,所述歷史索引庫中保存所述全量圖庫中所有圖片的圖片索引;
提取圖片索引不存在于所述歷史索引庫的最新圖片保存至所述全量圖庫。
4.如權(quán)利要求3所述的方法,其特征在于,所述方法還包括:
將增加至所述全量圖庫的最新圖片對應(yīng)的圖片索引增加至所述歷史索引庫。
5.如權(quán)利要求1所述的方法,其特征在于,所述全量圖庫中的圖片按照所屬多級圖片類目分布存放在所述服務(wù)器集群的多個(gè)存儲(chǔ)區(qū),每個(gè)存儲(chǔ)區(qū)的圖片按照對應(yīng)的圖片編號(hào)按序存放,各圖片標(biāo)記有對應(yīng)的圖片標(biāo)識(shí)和所屬多級圖片類目;
所述接收到應(yīng)用程序調(diào)用圖片的請求后,從所述全量圖庫提取目標(biāo)圖片反饋至所述應(yīng)用程序包括:
解析所述調(diào)用圖片的請求攜帶所需目標(biāo)圖片的目標(biāo)多級圖片類目;
根據(jù)所述多級圖片類目中各級圖片類目對應(yīng)在所述存儲(chǔ)區(qū)的存放位置以及各個(gè)圖片標(biāo)記的圖片標(biāo)識(shí)和所屬多級圖片類目,從所述全量圖庫中提取所述目標(biāo)圖片。
6.如權(quán)利要求1所述的方法,其特征在于,每日對應(yīng)一個(gè)日增圖庫,所述方法還包括:
刪除不符合預(yù)設(shè)時(shí)間區(qū)段的日增圖庫。
7.如權(quán)利要求1所述的方法,其特征在于,所述方法還包括:
通過查詢商品歷史訪問數(shù)據(jù)確定仍在線使用的商品對應(yīng)的在線圖片,和/或,通過查詢圖片歷史調(diào)用數(shù)據(jù)確定仍在線使用的在線圖片;
刪除所述全量圖庫中除所述在線圖片之外的圖片。
8.如權(quán)利要求7所述的方法,其特征在于,所述方法還包括:
查找求模值等于當(dāng)天對應(yīng)星期的某個(gè)圖片類目作為待清理的圖片類目;
所述刪除所述全量圖庫中除所述在線圖片之外的圖片為,針對所述待清理的圖片類目,在所述全量圖庫中刪除該圖片類目下除所述在線圖片之外的圖片。
9.如權(quán)利要求1所述的方法,其特征在于,在所述通過比對圖片索引,將所述日增圖庫中不存在于所述全量圖庫的最新圖片保存至所述全量圖庫的同時(shí),所述方法還包括:
將對應(yīng)的原始圖片存在于所述全量圖庫的最新圖片替代所述原始圖片保存至所述全量圖庫。
10.如權(quán)利要求1所述的方法,其特征在于,所述方法還包括:
檢測到某個(gè)傳輸線程的執(zhí)行時(shí)間超出預(yù)設(shè)時(shí)間時(shí),結(jié)束所述傳輸線程,并重啟新的傳輸線程代替執(zhí)行相應(yīng)任務(wù);
和/或,監(jiān)控網(wǎng)絡(luò)連接API,當(dāng)捕獲到所述網(wǎng)絡(luò)連接API發(fā)出網(wǎng)絡(luò)連接異常通知時(shí),結(jié)束所有傳輸線程,并重啟新的多個(gè)傳輸線程代替執(zhí)行相應(yīng)任務(wù)。
11.如權(quán)利要求1所述的方法,其特征在于,所述從所述全量圖庫提取目標(biāo)圖片反饋至所述應(yīng)用程序?yàn)?,從所述全量圖庫查找所述目標(biāo)圖片,提取所述目標(biāo)圖片的圖片特征反饋至所述應(yīng)用程序;
所述圖片索引為所述圖片的圖片編號(hào)和圖片標(biāo)識(shí)。
12.一種海量圖片管理裝置,其特征在于,包括:
圖片獲取模塊,用于獲取當(dāng)日更新的多個(gè)最新圖片;
圖片上傳模塊,用于將所述最新圖片通過多個(gè)傳輸線程并行上傳到分布式服務(wù)器集群中預(yù)置的日增圖庫,所述分布式服務(wù)器集群中還部署有全量圖庫;
圖片保存模塊,用于圖片通過比對圖片索引,將所述日增圖庫中不存在于所述全量圖庫的最新圖片保存至所述全量圖庫;
圖片反饋模塊,用于接收到應(yīng)用程序調(diào)用圖片的請求后,從所述全量圖庫提取目標(biāo)圖片反饋至所述應(yīng)用程序。
13.如權(quán)利要求12所述的裝置,其特征在于,所述裝置還包括:
最新商品解析模塊,用于在所述獲取當(dāng)日更新的多個(gè)最新圖片之前,通過解析商品更新記錄獲得對應(yīng)更新的最新商品信息;
鏈接地址訪問模塊,用于從所述最新商品信息解析出所述最新圖片的鏈接地址,根據(jù)所述鏈接地址獲取所述最新圖片。
14.如權(quán)利要求11所述的裝置,其特征在于,所述圖片保存模塊包括:
索引比對子模塊,用于將所述日增圖庫中最新圖片的圖片索引與預(yù)置的歷史索引庫進(jìn)行比對,所述歷史索引庫中保存所述全量圖庫中所有圖片的圖片索引;
圖片提取子模塊,用于提取圖片索引不存在于所述歷史索引庫的最新圖片保存至所述全量圖庫。
15.如權(quán)利要求14所述的裝置,其特征在于,所述裝置還包括:
索引增加模塊,用于將增加至所述全量圖庫的最新圖片對應(yīng)的圖片索引增加至所述歷史索引庫。
16.如權(quán)利要求12所述的裝置,其特征在于,所述全量圖庫中的圖片按照所屬多級圖片類目分布存放在所述服務(wù)器集群的多個(gè)存儲(chǔ)區(qū),每個(gè)存儲(chǔ)區(qū)的圖片按照對應(yīng)的圖片編號(hào)按序存放,各圖片標(biāo)記有對應(yīng)的圖片標(biāo)識(shí)和所屬多級圖片類目;
所述圖片反饋模塊包括:
類目解析子模塊,用于解析所述調(diào)用圖片的請求攜帶所需目標(biāo)圖片的目標(biāo)多級圖片類目;
按類目提取子模塊,用于根據(jù)所述多級圖片類目中各級圖片類目對應(yīng)在所述存儲(chǔ)區(qū)的存放位置以及各個(gè)圖片標(biāo)記的圖片標(biāo)識(shí)和所屬多級圖片類目,從所述全量圖庫中提取所述目標(biāo)圖片。
17.如權(quán)利要求12所述的裝置,其特征在于,每日對應(yīng)一個(gè)日增圖庫,所述裝置還包括:
圖庫刪除模塊,用于刪除不符合預(yù)設(shè)時(shí)間區(qū)段的日增圖庫。
18.如權(quán)利要求12所述的裝置,其特征在于,所述裝置還包括:
查詢模塊,用于通過查詢商品歷史訪問數(shù)據(jù)確定仍在線使用的商品對應(yīng)的在線圖片,和/或,通過查詢圖片歷史調(diào)用數(shù)據(jù)確定仍在線使用的在線圖片;
圖片刪除模塊,用于刪除所述全量圖庫中除所述在線圖片之外的圖片。
19.如權(quán)利要求18所述的裝置,其特征在于,所述裝置還包括:
類目查找模塊,用于查找求模值等于當(dāng)天對應(yīng)星期的某個(gè)圖片類目作為待清理的圖片類目;
所述圖片刪除模塊,具體用于針對所述待清理的圖片類目,在所述全量圖庫中刪除該圖片類目下除所述在線圖片之外的圖片。
20.如權(quán)利要求12所述的裝置,其特征在于,所述裝置還包括:
圖片替代模塊,用于在所述通過比對圖片索引,將所述日增圖庫中不存在于所述全量圖庫的最新圖片保存至所述全量圖庫的同時(shí),將對應(yīng)的原始圖片存在于所述全量圖庫的最新圖片替代所述原始圖片保存至所述全量圖庫。
21.如權(quán)利要求12所述的裝置,其特征在于,所述裝置還包括:
超時(shí)處理模塊,用于檢測到某個(gè)傳輸線程的執(zhí)行時(shí)間超出預(yù)設(shè)時(shí)間時(shí),結(jié)束所述傳輸線程,并重啟新的傳輸線程代替執(zhí)行相應(yīng)任務(wù);
和/或,網(wǎng)絡(luò)連接中斷處理模塊,用于監(jiān)控網(wǎng)絡(luò)連接API,當(dāng)捕獲到所述網(wǎng)絡(luò)連接API發(fā)出網(wǎng)絡(luò)連接異常通知時(shí),結(jié)束所有傳輸線程,并重啟新的多個(gè)傳輸線程代替執(zhí)行相應(yīng)任務(wù)。
22.如權(quán)利要求12所述的裝置,其特征在于,所述圖片反饋模塊,具體用于從所述全量圖庫查找所述目標(biāo)圖片,提取所述目標(biāo)圖片的圖片特征反饋至所述應(yīng)用程序;
所述圖片索引為所述圖片的圖片編號(hào)和圖片標(biāo)識(shí)。