一種基于分布式存儲的圖像服務系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及一種云計算與大數據領域，尤其涉及一種基于分布式存儲的圖像服務系統(tǒng)及方法。
【背景技術】
[0002]HDFS對小文件的讀寫性能較差，當前的普通圖片幾乎都是小文件，如果需要在HDFS中存儲海量圖片，需要把小文件合并成大文件，建立索引，再存入HDFS。在使用圖像檢索服務時，圖像檢索得到的結果經常是一個N個圖片集合，在最壞情況下，要得到N個圖片，若每個圖片在不同的大文件中，則需要去打開并讀取N個大文件。N個圖片的集合，由于是通過特征相似性匹配得出的，其實是特征相似的。特征相似的圖片，在以后的檢索中，很可能會再次一起出現(xiàn)。但是現(xiàn)在沒有對這樣的情況進行優(yōu)化，存儲于HDFS中圖片有可能有重復的，或者特征相似度最接近的圖片被存儲在不同大文件中，當檢索后需要提取這些相似圖片時，需要打開多個大文件進行讀取，降低了效率。

【發(fā)明內容】

[0003]為了解決上述問題，本發(fā)明提供一種能夠提高圖片檢索效率和準確度的基于分布式存儲的圖像服務系統(tǒng)及方法。
[0004]本發(fā)明的一種基于分布式存儲的圖像服務系統(tǒng)，包括接收需要存儲和需要檢索的圖片的圖片接收模塊、對所述圖片接收模塊接收到的圖片根據圖像特征提取算法提取圖片特征的特征分析模塊、將所述特征分析模塊提取的需要存儲的圖片的圖片特征進行存儲的特征庫、將所述圖片接收模塊接收到需要存儲的圖片存入緩存并根據所述特征分析模塊提取到需要存儲的圖片的圖片特征相似性對圖片進行分類合并的圖片緩存服務器、用于存儲由所述圖片緩存模塊合并的圖片組成的大文件的HDFS、將所述特征分析模塊提取的需要檢索的圖片的圖片特征與所述特征庫中的特征進行匹配的特征匹配模塊、對檢索圖片產生的檢索結果進行分布式緩存以備下一次直接使用的緩存管理模塊、輸出圖片檢索結果的圖片輸出模塊、根據圖片檢索結果進行相似圖片合并處理并再次存入所述HDFS以優(yōu)化圖片存儲提高同一大文件中的圖片相似度的反饋處理模塊、對所述HDFS中的大文件進行離線分拆去重和整合處理以得到新的大文件和索引的離線文件優(yōu)化模塊、對所述HDFS中存儲的圖片進行圖像分析和處理以優(yōu)化圖像存儲的圖像優(yōu)化模塊。
[0005]本發(fā)明的一種基于分布式存儲的圖像服務方法，通過基于分布式存儲的圖像服務系統(tǒng)來實現(xiàn)圖片存儲管理、圖片檢索管理、緩存管理以及優(yōu)化處理。
[0006]其中，所述圖片存儲管理包括如下步驟:
[0007]sll、通過所述基于分布式存儲的圖像服務系統(tǒng)中的圖片接收模塊接收需要存儲的圖片，進入步驟s2;
[0008]sl2、通過所述基于分布式存儲的圖像服務系統(tǒng)中的特征分析模塊提取所述步驟Si中接收到的圖片的特征，同時將接收到的圖片存入所述基于分布式存儲的圖像服務系統(tǒng)中的圖片緩存服務器，同時進入步驟S3;
[0009]sl3、將所述步驟s2中提取到的圖片特征存入所述基于分布式存儲的圖像服務系統(tǒng)中的特征庫，進入步驟s4;
[0010]sl4、將所述步驟s2中提取到的圖片特征發(fā)送到圖片緩存服務器，由所述圖片緩存服務器根據圖片特征對相似圖片進行合并處理，將由合并處理后的圖片組成的大文件存入HDFS中，進入步驟s5;
[0011]sl5、通過所述圖片緩存服務器建立圖片在大文件中的索引以及圖片特征與圖片存儲地址的映射關系。
[0012]所述圖片檢索管理包括如下步驟:
[0013]s21、輸入需要檢索的圖片，通過所述圖片接收模塊接收圖片，進入步驟s22;
[0014]s22、通過所述特征分析模塊根據圖像特征提取算法對所述步驟s21中接收到的待檢索圖片進行特征分析，提取待檢索圖片的圖片特征，進入步驟s23;
[0015]s23、將所述步驟s22中分分析出的待檢索圖片的圖片特征通過所述基于分布式存儲的圖像服務系統(tǒng)中的特征分析模塊與所述特征庫中的特征進行匹配，在特征庫中根據待檢索圖片的圖片特征匹配相似的特征，進入步驟s24;
[0016]s24、根據所述步驟s23中匹配的特征找到圖片特征與圖片地址的映射關系，依據該映射關系查到HDFS中相關的所有大文件，進入步驟s25;
[0017]s25、根據圖片特征對應的圖片在大文件中的索引，得到與所述步驟s23中匹配的特征匹配的具體圖片，進入步驟s26;
[0018]s26、判斷所述步驟s25中得到的具體圖片是否在緩存中，若是，進入步驟s27;若不是，進入步驟s28 ；
[0019]s27、直徑從緩存中提取圖片通過所述基于分布式存儲的圖像服務系統(tǒng)中的圖片輸出模塊作為檢索結果展示;進入步驟s210;
[0020]s28、從HDFS中提取所述步驟s25中得到的圖片并通過所述圖片輸出模塊作為檢索結果展示，進入步驟s29;
[0021]s29、根據展示結果通過所述基于分布式存儲的圖像服務系統(tǒng)中的緩存管理模塊更新緩存，進入步驟s210;
[0022]s210、圖片檢索結束。
[0023]所述緩存管理包括如下步驟:
[0024]s31、獲取圖片檢索結果，進入步驟s32;
[0025]s32、對圖片檢索結果按照特征相似度進行合并處理，進入步驟s33;
[0026]s33、經過合并處理后的圖片組成的文件存入HDFS中，進入步驟s34;
[0027]s34、根據所述步驟s33中更新HDFS中圖片存儲帶來的改變，更新圖片在大文件中的索引以及圖片特征與圖片存儲地址的映射關系。
[0028]所述優(yōu)化處理是通過所述基于分布式存儲的圖像服務系統(tǒng)中的離線文件優(yōu)化模塊對HDFS中的大文件進行離線分拆去重和整合處理以得到新的大文件和索引的文件優(yōu)化以及通過所述基于分布式存儲的圖像服務系統(tǒng)中的圖像優(yōu)化模塊對所述HDFS中存儲的大文件中的圖片重新進行圖像分析處理以提高圖片存儲性能和圖片特征相似度的圖片優(yōu)化。
[0029]采用本發(fā)明的基于分布式存儲的圖像服務系統(tǒng)及方法，通過三個相似圖片合并策略，即通過圖片緩存服務器、離線文件處理模塊、反饋處理模塊對相似圖片的存儲進行優(yōu)化，提高存儲圖片的特征相似度，以提高圖片檢索的準確性和效率。同時，用HDFS里的圖片數據，進行卷積神經網絡的訓練，得到的網絡可以去提取圖片特征;通過MapReduce或Spark進行聚類或其他分析服務;對查詢結果進行圖像處理，極大的優(yōu)化了圖片存儲。
【附圖說明】
[0030]圖1是本發(fā)明的基于分布式存儲的圖像服務系統(tǒng)的架構組成示意圖；
[0031]圖2是本發(fā)明的基于分布式存儲的圖像服務方法主流程示意圖；
[0032]圖3是本發(fā)明的基于分布式存儲的圖像服務方法中的圖片存儲管理流程示意圖；
[0033]圖4是本發(fā)明的基于分布式存儲的圖像服務方法中的圖片檢索管理流程示意圖；
[0034]圖5是本發(fā)明的基于分布式存儲的圖像服務方法中的緩存管理流程示意圖。
【具體實施方式】
[0035]為了更好的理解本發(fā)明，下面結合附圖詳細說明本發(fā)明。
[0036]如圖1所示，本發(fā)明的一種基于分布式存儲的圖像服務系統(tǒng)，包括接收需要存儲和需要檢索的圖片的圖片接收模塊、對所述圖片接收模塊接收到的圖片根據圖像特征提取算法提取圖片特征的特征分析模塊、將所述特征分析模塊提取的需要存儲的圖片的圖片特征進行存儲的特征庫、將所述圖片接收模塊接收到需要存儲的圖片存入緩存并根據所述特征分析模塊提取到需要存儲的圖片的圖片特征