的匹配； (4) 圖像興趣點全局特征提取，全局特征表征的是在分割后的一系列的矩形區(qū)域中某 個興趣點在這個區(qū)域中的空間位置信息，采用基于興趣點分布的全局特征提取算法計算得 到圖像興趣點全局特征； (5) 圖像興趣點特征構造，經過步驟（2)和步驟（4)，對于圖像上的每一個興趣點都得 到了其局部特征和全局特征，圖像興趣點特征構造就是把這個局部特征和全局特征結合在 一起作為每個興趣點最終的特征； (6) 手繪草圖特征提取，對于用戶提交給檢索系統(tǒng)的手繪草圖，將其上的每一個邊界點 當做興趣點，然后，對于每一個興趣點分別計算其局部特征和全局特征，最后構造得到興趣 點最終的特征； (7) 圖像-手繪草圖相似性計算，計算手繪草圖和圖像數據庫中的每一個圖像之間的 相似性，對于每一個圖像，首先，對其進行邊界點篩選，只保留那些在視覺上對于表現物體 結構比較重要的邊界點以提升圖像和手繪草圖的之間的相似性；然后，采用基于圖像-手 繪草圖分區(qū)域加權相似性算法計算手繪草圖和每一個圖像之間的相似性，相似性最高的K 幅圖像將作為最后的檢索結果返回給用戶。
2. 根據權利要求1所述的檢索方法，其特征在于在圖像興趣點局部特征提取步驟中， 對興趣點的局部特征進行提?。菏紫扔嬎忝總€興趣點的HOG特征，然后把興趣點周圍區(qū)域 的信息融合到HOG特征量化過程中；在HOG特征量化過程中，采用局部特征自適應量化算 法，具體處理過程如下： (1) 對所有HOG特征進行聚類，聚類算法采用Kmens算法，假設聚類中心的個數為N，那 么聚類后得到N個離散的HOG特征，稱之為codebook，每個離散的HOG特征稱為codeword， 之后所有的HOG特征都被量化為這N個離散值中的一個； (2) 對于圖像上的每一個興趣點，計算其梯度方向； (3) 確定一個以興趣點幻為中心的一個rXr大小的矩形窗口，計算窗口內其 余興趣點/6(/，左'）和/6(J;幻之間的歐式距離； (4) 根據權重值計算公式計算其余興趣點//〗.(/，f)在J/Mj;幻的HOG特征 化過程中的權重值大小，權重值的計算公式為：
其中p(j;幻是一個歸一化系數，使得E IPiU, (iPiU, Jd)幻始終成立；t 和％是兩個系數，分別用來調整仍(j;幻和窗口區(qū)域中其余興趣點仍(/，f)的空間 位置信息差異和梯度方向信息差異；〃幻）和〃（//〗.(/，f))分別表示/6(j; 幻和//〗.(/，左'）的梯度方向，即上述過程（2)中計算得到的結果； (5)計算當前興趣點幻和codebook中的每一個codeword的距離，假設聚類得 到的codebook為片[…，，那么興趣點幻與codebook中的每一個codeword 之間的距離的由如下公式給定：
其中幻，//〗.(/，左'））是一個權重函數，即上述過程（4)計算得到的結I'DistiJPSJ'，k' \4)表示興趣點77^.(/，左'）和codeword&之間的歐式距離； 幻）表示上述過程⑶確定的窗口； 對于//*,.(J;幻的HOG特征/最終被量化為距離最小的那個codeword，即：
〇
3. 根據權利要求2所述的檢索方法，其特征在于所述的圖像動態(tài)分割處理步驟中，對 圖像進行動態(tài)分割處理的過程如下： (1) 把圖像分割為大小相同的4個矩形子區(qū)域； (2) 判斷每個子區(qū)域是否滿足分割條件，分割條件的由以下公式計算給出：
其中r，c是兩個控制分割的閾值參數，^表示子區(qū)域心4的父區(qū)域中興趣點的個 數，/?彥示5^的父區(qū)域中興趣點的個數，mX痛示區(qū)域5^的大小； (3) 對于每一個子區(qū)域心&，當其分割條件/(〃，/?)等于1，將區(qū)域成分割為4個 大小相同的子區(qū)域，否則將不對區(qū)域5成進行分割； (4) 重復步驟（2)、（3)，直到沒有任何一個區(qū)域滿足分割條件或者區(qū)域的深度達到預 先規(guī)定的最大值，分割過程結束。
4. 根據權利要求3所述的檢索方法，其特征在于所述的圖像興趣點全局特征提取步驟 中，對于區(qū)域/沖的興趣點/6(J;幻，其全局特征提取過程如下： (1) 計算興趣點//Mj;幻到區(qū)域/沖其余每一個興趣點//〗.(/，f)之間歐式距離：
(2) 計算興趣點J6(j;幻到區(qū)域/沖其余興趣點的平均歐式距離：
(3) 將區(qū)域/沖的其余興趣點77〗.(/，f)分為6個group;分類依據是興趣點77〗.(/， 左'）與興趣點//Mj;幻之間的歐式距離，由以下公式計算給出：
(4) 統(tǒng)計每一個group中的興趣點的個數并對它進行正則化，即：
其中％.表示groupi中的興趣點的個數； (5) 對上述（4)計算得到的進行二值化處理，即：
其中〃表示用于二值化的參數； (6) 經過二值化處理，得到6個//，每個//的值不是0就是1，將這6個//值串聯(lián)在 一起組成一個二進制串作為興趣點/6(J;幻的全局特征，即：
從勺值從 " 000000 "，" 〇〇〇〇〇 1 "，一直變化到 " 111111 "。
5.根據權利要求4所述的檢索方法，其特征在于所述的圖像-手繪草圖相似性計算步 驟中，圖像-手繪草圖相似性計算過程如下： (1) 第一次分割：對于手繪草圖5；根據圖像動態(tài)分割算法將其分割成;對于圖像 /，對它進行一次和手繪草圖相同的分割；相同的分割的定義如下：如果手繪草圖的某 個區(qū)域被分割，則圖像/上相同位置上的區(qū)域也將被分割，圖像I進行一次相同分割后將得 到心 (2) 第二次分割：對于圖像/，根據圖像動態(tài)分割算法將其分割成7^，對于手繪草圖5； 對它進行一次和圖像/相同的分割，分割后得到5k經過兩次分割處理后，手繪草圖舜口圖 像/被表示成4，4，5^， (3) 計算&，4，5^，4上的每一個興趣點的局部特征和全局特征，局部特征由局 部特征自適應量化算法計算得到，全局特征由基于興趣點分布的全局特征提取算法計算得 到； (4) 用&，心，知，心上的每一個區(qū)域/沖的興趣點的特征來構造隹的特 征直方圖//(&,)，其中是全局特征的維度，是局部特征的維度； (5) 計算&，心對應區(qū)域&的相似性，假設府卩7是來自&，心上相同區(qū)域&的特 征的集合，A的深度是4盡(〇和盡,)，分別是由特征Z和〗構成的特征直方圖， 盡(慫，）和盡之間的相似性由直方圖交叉核計算得出；&，心上相同區(qū)域&的相 似度由以下公式計算得出：
&^(幻是一個位于〇~1范圍內的實數，當圖像和手繪草圖在區(qū)域A很相似時，&)〃(幻 的值會很接近1，不然SiW,.)的值會接近〇 ; (6) 計算&，心之間的相似性，和心的之間的相似性由各個區(qū)域加權計算得到， 其計算公式為：
其中痛示5^上區(qū)域的個數，表示深度為咖區(qū)域的權重，區(qū)域越小對應的權 重越高，由以下公式計算得出：
其中不&的最大深度； (7) 計算^，心對應區(qū)域&的相似性，計算過程同上述步驟（5); (8) 計算^，心之間的相似性，計算過程同上述步驟（6)，即：
(9) 計算手繪草圖舜P圖像J之間的相似性，手繪草圖舜P圖像J之間的相似性 7)的由，心）和求和得出，即：
7)將作為最終的衡量手繪草圖舜P圖像J之間的相似性的值，7)值越 高表示圖像和手繪草圖之間的相似性越強。
6. -種基于權利要求5所述方法的系統(tǒng)，其特征在于按照處理時間先后分為兩大部 分：（一）為離線處理部分；（二）為在線處理部分；按照整個系統(tǒng)流分為7個模塊：（一）數 據庫圖像預處理模塊；（二）圖像興趣點局部特征提取模塊；（三）圖像動態(tài)分割處理模塊； (四）圖像興趣點全局特征提取模塊；（五）圖像興趣點特征構造模塊；（六）手繪草圖特 征提取模塊；（七）圖像-手繪草圖相似性計算模塊；第二、第三、第四、第七模塊分別對應 于方法中步驟（2)、步驟（3)、步驟（4)、步驟（7)的四個算法：局部特征自適應量化算法、基 于興趣點分布的圖像動態(tài)分割算法、基于興趣點分布的全局特征提取算法、圖像_手繪草 圖分區(qū)域加權相似性計算算法。
【專利摘要】本發(fā)明屬于圖像檢索技術領域，具體為一種基于圖像動態(tài)分割的手繪草圖圖像檢索方法與系統(tǒng)。本發(fā)明具體步驟為：數據庫圖像預處理；圖像興趣點局部特征提?。粓D像動態(tài)分割處理；圖像興趣點全局特征提?。粓D像興趣點特征構造；手繪草圖特征提??；圖像-手繪草圖相似性計算,相似性最高的K幅圖像將作為最后的檢索結果返回給用戶。其中涉及四個主要算法：局部特征自適應量化算法、基于興趣點分布的圖像動態(tài)分割算法、基于興趣點分布的全局特征提取算法、圖像-手繪草圖分區(qū)域加權相似性算法。本發(fā)明對于海量圖像的檢索具有非常重要的意義，能夠很好的解決基于文本的圖像檢索的缺點，提高圖像的檢索精度，增強用戶體驗，在圖像檢索領域具有廣泛的應用價值。
【IPC分類】G06T7-00, G06F17-30
【公開號】CN104778242
【申請?zhí)枴緾N201510164390
【發(fā)明人】金城, 王浙明, 袁建偉, 張玥杰, 薛向陽
【申請人】復旦大學
【公開日】2015年7月15日
【申請日】2015年4月9日