儲(chǔ)的圖片的圖片特征進(jìn)行存儲(chǔ)的特征庫、將所述圖片接收模塊接收到需要存儲(chǔ)的圖片存入緩存并根據(jù)所述特征分析模塊提取到需要存儲(chǔ)的圖片的圖片特征相似性對圖片進(jìn)行分類合并的圖片緩存服務(wù)器、用于存儲(chǔ)由所述圖片緩存模塊合并的圖片組成的大文件的HDFS、將所述特征分析模塊提取的需要檢索的圖片的圖片特征與所述特征庫中的特征進(jìn)行匹配的特征匹配模塊、對檢索圖片產(chǎn)生的檢索結(jié)果進(jìn)行分布式緩存以備下一次直接使用的緩存管理模塊、輸出圖片檢索結(jié)果的圖片輸出模塊、根據(jù)圖片檢索結(jié)果進(jìn)行相似圖片合并處理并再次存入所述HDFS以優(yōu)化圖片存儲(chǔ)提高同一大文件中的圖片相似度的反饋處理模塊、對所述HDFS中的大文件進(jìn)行離線分拆去重和整合處理以得到新的大文件和索引的離線文件優(yōu)化模塊、對所述HDFS中存儲(chǔ)的圖片進(jìn)行圖像分析和處理以優(yōu)化圖像存儲(chǔ)的圖像優(yōu)化豐旲塊。2.根據(jù)權(quán)利要求1所述的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，其特征在于，所述圖片緩存服務(wù)器針對相似圖片合并后組成的大文件建立圖片與大文件的索引；所述圖片緩存服務(wù)器根據(jù)圖片特征建立圖片特征與圖片存儲(chǔ)地址的映射關(guān)系。3.根據(jù)權(quán)利要求2所述的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，其特征在于，所述存儲(chǔ)的每一圖片的圖片特征與圖片存儲(chǔ)地址一一對應(yīng)。4.根據(jù)權(quán)利要求1所述的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，其特征在于，所述特征匹配模塊根據(jù)所述特征分析模塊提取的需要檢索的圖片的圖片特征與所述特征庫中的特征進(jìn)行比較，找到最相似的N個(gè)特征(N> = 1)，根據(jù)特征與圖片存儲(chǔ)地址的一一對應(yīng)關(guān)系，找到所述N個(gè)特征對應(yīng)的圖片地址以找到相應(yīng)的大文件，并根據(jù)圖片在大文件中的索引，取出具體的N個(gè)圖片。5.根據(jù)權(quán)利要求1所的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，其特征在于，所述圖像優(yōu)化模塊對所述HDFS中的圖片通過MapReduce進(jìn)行圖像分析和處理。6.根據(jù)權(quán)利要求1所述的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，其特征在于，所述圖像優(yōu)化模塊對所述HDFS中的圖片通過Spark進(jìn)行圖像分析和處理。7.根據(jù)權(quán)利要求5或6所述的基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，其特征在于，所述圖像優(yōu)化模塊對所述HDFS中的圖片進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練、聚類分析、去模糊、去噪以及去霧處理。8.一種基于分布式存儲(chǔ)的圖像服務(wù)方法，其特征在于，所述基于分布式存儲(chǔ)的圖像服務(wù)方法通過基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)來實(shí)現(xiàn)圖片存儲(chǔ)管理、圖片檢索管理、緩存管理以及優(yōu)化處理； 所述圖片存儲(chǔ)管理包括如下步驟: sll、通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的圖片接收模塊接收需要存儲(chǔ)的圖片，進(jìn)入步驟s2; sl2、通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的特征分析模塊提取所述步驟Si中接收到的圖片的特征，同時(shí)將接收到的圖片存入所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的圖片緩存服務(wù)器，同時(shí)進(jìn)入步驟s3; sl3、將所述步驟s2中提取到的圖片特征存入所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的特征庫，進(jìn)入步驟s4; sl4、將所述步驟s2中提取到的圖片特征發(fā)送到圖片緩存服務(wù)器，由所述圖片緩存服務(wù)器根據(jù)圖片特征對相似圖片進(jìn)行合并處理，將由合并處理后的圖片組成的大文件存入HDFS中，進(jìn)入步驟s5; sl5、通過所述圖片緩存服務(wù)器建立圖片在大文件中的索引以及圖片特征與圖片存儲(chǔ)地址的映射關(guān)系； 所述圖片檢索管理包括如下步驟: s21、輸入需要檢索的圖片，通過所述圖片接收模塊接收圖片，進(jìn)入步驟s22;s22、通過所述特征分析模塊根據(jù)圖像特征提取算法對所述步驟s21中接收到的待檢索圖片進(jìn)行特征分析，提取待檢索圖片的圖片特征，進(jìn)入步驟s23; s23、將所述步驟s22中分分析出的待檢索圖片的圖片特征通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的特征分析模塊與所述特征庫中的特征進(jìn)行匹配，在特征庫中根據(jù)待檢索圖片的圖片特征匹配相似的特征，進(jìn)入步驟s24; s24、根據(jù)所述步驟s23中匹配的特征找到圖片特征與圖片地址的映射關(guān)系，依據(jù)該映射關(guān)系查到HDFS中相關(guān)的所有大文件，進(jìn)入步驟s25; s25、根據(jù)圖片特征對應(yīng)的圖片在大文件中的索引，得到與所述步驟s23中匹配的特征匹配的具體圖片，進(jìn)入步驟s26; s26、判斷所述步驟s25中得到的具體圖片是否在緩存中，若是，進(jìn)入步驟s27;若不是，進(jìn)入步驟s 28; s27、直徑從緩存中提取圖片通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的圖片輸出模塊作為檢索結(jié)果展示;進(jìn)入步驟s210; s28、從HDFS中提取所述步驟s25中得到的圖片并通過所述圖片輸出模塊作為檢索結(jié)果展示，進(jìn)入步驟s29; s29、根據(jù)展示結(jié)果通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的緩存管理模塊更新緩存，進(jìn)入步驟s210;s210、圖片檢索結(jié)束； 所述緩存管理包括如下步驟: s31、獲取圖片檢索結(jié)果，進(jìn)入步驟s32; s32、對圖片檢索結(jié)果按照特征相似度進(jìn)行合并處理，進(jìn)入步驟s33;s33、經(jīng)過合并處理后的圖片組成的文件存入HDFS中，進(jìn)入步驟s34;s34、根據(jù)所述步驟s33中更新HDFS中圖片存儲(chǔ)帶來的改變，更新圖片在大文件中的索引以及圖片特征與圖片存儲(chǔ)地址的映射關(guān)系； 所述優(yōu)化處理是通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的離線文件優(yōu)化模塊對HDFS中的大文件進(jìn)行離線分拆去重和整合處理以得到新的大文件和索引的文件優(yōu)化以及通過所述基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)中的圖像優(yōu)化模塊對所述HDFS中存儲(chǔ)的大文件中的圖片重新進(jìn)行圖像分析處理以提高圖片存儲(chǔ)性能和圖片特征相似度的圖片優(yōu)化。9.根據(jù)權(quán)利要求8所述的基于分布式存儲(chǔ)的圖像服務(wù)方法，其特征在于，所述存儲(chǔ)的每一圖片的圖片特征與圖片存儲(chǔ)地址一一對應(yīng)。10.根據(jù)權(quán)利要求8所述的基于分布式存儲(chǔ)的圖像服務(wù)方法，其特征在于，通過所述特征匹配模塊根據(jù)所述特征分析模塊提取的需要檢索的圖片的圖片特征與所述特征庫中的特征進(jìn)行比較，找到最相似的N個(gè)特征(N> = 1)，找到的最相似N個(gè)特征與圖片存儲(chǔ)地址的一一對應(yīng)關(guān)系，找到所述N個(gè)特征對應(yīng)的圖片地址以找到相應(yīng)的大文件，并根據(jù)圖片在大文件中的索引，取出具體的N個(gè)圖片。11.根據(jù)權(quán)利要求8所述的基于分布式存儲(chǔ)的圖像服務(wù)方法，其特征在于，通過所述圖像優(yōu)化模塊對所述HDFS中的圖片通過MapReduce進(jìn)行圖像分析和處理。12.根據(jù)權(quán)利要求8所述的基于分布式存儲(chǔ)的圖像服務(wù)方法，其特征在于，通過所述圖像優(yōu)化模塊對所述HDFS中的圖片通過Spark進(jìn)行圖像分析和處理。13.根據(jù)權(quán)利要求11或12所述的基于分布式存儲(chǔ)的圖像服務(wù)方法，其特征在于，所述圖像優(yōu)化模塊對所述HDFS中的圖片進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練、聚類分析、去模糊、去噪以及去霧處理。
【專利摘要】一種基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)，包括圖片接收模塊、特征分析模塊、特征庫、圖片緩存服務(wù)器、HDFS、特征匹配模塊、對檢索圖片產(chǎn)生的檢索結(jié)果進(jìn)行分布式緩存以備下一次直接使用的緩存管理模塊、輸出圖片檢索結(jié)果的圖片輸出模塊、根據(jù)圖片檢索結(jié)果進(jìn)行相似圖片合并處理并再次存入所述HDFS以優(yōu)化圖片存儲(chǔ)提高同一大文件中的圖片相似度的反饋處理模塊、對所述HDFS中的大文件進(jìn)行離線分拆去重和整合處理以得到新的大文件和索引的離線文件優(yōu)化模塊、對所述HDFS中存儲(chǔ)的圖片進(jìn)行圖像分析和處理以優(yōu)化圖像存儲(chǔ)的圖像優(yōu)化模塊。本發(fā)明還公開了通過基于分布式存儲(chǔ)的圖像服務(wù)系統(tǒng)來實(shí)現(xiàn)的一種基于分布式存儲(chǔ)的圖像服務(wù)方法。<!-- 2 -->
【IPC分類】G06F17/30
【公開號(hào)】CN105550222
【申請?zhí)枴緾N201510886086
【發(fā)明人】陳天瑩, 張超, 吳杰
【申請人】中國電子科技網(wǎng)絡(luò)信息安全有限公司
【公開日】2016年5月4日
【申請日】2015年12月7日