一種基于場景分類的類漫畫布局圖像管理方法
【專利摘要】本發(fā)明公開了一種基于場景分類的類漫畫布局圖像管理方法，包括以下步驟：步驟一，求取待組織圖像集合中各個圖像的圖像特征；步驟二，利用所屬特征之間的數(shù)值距離構建四元樹；步驟三，通過所求得的四元樹構建層次化分類樹；步驟四，利用分類樹中圖像間的分類度求取代表圖像；步驟五，依據(jù)代表圖像間分類度對代表圖像進行排序；步驟六，根據(jù)所選拼貼代表圖像數(shù)量以及存在的漫畫規(guī)則，采用字符串枚舉方法構建動態(tài)模板庫；步驟七，依據(jù)排序后圖像所呈現(xiàn)的信息量最大原則在動態(tài)模板庫中搜索匹配模板，并進行優(yōu)化布局，獲得最終拼接結果。
【專利說明】一種基于場景分類的類漫畫布局圖像管理方法

【技術領域】
[0001] 本發(fā)明涉及一種圖像管理方法，屬于計算機圖像處理和計算機圖形學領域，具體 說是一種基于場景分類的類漫畫布局圖像管理方法。

【背景技術】
[0002] 隨著數(shù)字攝影時代的到來，數(shù)字圖像已經(jīng)成為最為豐富的數(shù)字媒體之一，人們可 以隨時隨地通過各種移動設備拍攝各類照片。通常人們喜歡把拍攝所得各類照片按主題 創(chuàng)建不同的文件夾進行保存，但是由于照片數(shù)量的龐大，每個文件夾下都可能會包含數(shù)以 百計的圖像，如需瀏覽該相冊或查找具體某些照片，將是一件十分費時費力的事情。因 此對這些數(shù)量龐大的圖像進行合理的組織與清晰的展示，將有利于本發(fā)明對相冊進行高 效的管理，如文獻 l:Wang J.D.，Quan L·，Sun J.，et al. Picture collage. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006, 347-354.和文獻 2 :Philipp Sandhaus，Mohammad Rabbath，Susanne Boll. Employing aesthetic principles for automatic photo book layout. In MMMJ 11 Proceedings of the 17th international conference on Advances in multimedia modeling-Volume Part I Pages 84-95 介紹。
[0003] 近年來，對于相冊管理研究者主要致力于解決相冊管理中二個關鍵問題--圖像 場景分類問題以及圖像展示問題。
[0004] 針對圖像場景分類度問題，研究人員通常根據(jù)圖像中所能夠獲得的不同特征， 按不同的主題對圖像進行分類。分類過程中主要是依賴不同層次特征之間的數(shù)值距 離相似程度如文獻 3 :A. Vailaya，M. Figueiredo, A. Jain，H. J. Zhang. Content-based hierarchical classification of vacation images. In Proc. Of IEEE International Conference on Multimedia Computing and Sytems(ICMCS)， 1999, 1:518-523.;文獻 4 ：Lowe D. G. Distinctive image features from scale-invariant key points[J]. International Journal of Computer Vision，2004,60 (2):91-110.和文獻 5: Mikolajczyk K. ,C. Schmid. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005:1615-1630.介紹， 米用聚類方法如文獻 6 :Bishop C. Μ.，Springer link. Pattern recognition and machine learning[M].Vol.4:Springer New York. 2006:和文獻7 :Frey B.J.，Dueck D. Clustering by passing messages beteen data points. Science 315 (Feb 2007)，972-976.介紹。 或?qū)W習的方法如文獻 8 :Vailaya A, Figueiredo M，Jain A. Image classification for content-based indexing. IEEE Transactions on Image Proeessing，2001，10:117-129. 和文獻 9 :Fan J，Gao Y，Luo H. Statistical modeling and conceptualization of natural images. Pattern Reeognition，2005, 38:865-885.介紹。對圖像進行分類，但這些 用以判別類別的數(shù)據(jù)距離并不完全可靠，當比較二個高度不類似的圖像時將會失效，因此 會導致分類不準等問題的產(chǎn)生。
[0005] 針對圖像展示問題，拼貼是最近比較流行的一種相冊管理方式，其可以將一組圖 像組合拼接到一幅圖像或幾幅圖像中，實現(xiàn)對該組圖像的濃縮總結。這類方法多主要基 于空間規(guī)則來建立相應布局，采用不同的風格和技術實現(xiàn)圖像的組合拼貼如文獻1 :Wang J.D.,Quan L., Sun J.,et al.Picture collage.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2006,347-354. 和文獻 10 ：Y. Yang, Y. Wei, C Liu, Q. Peng, and Y. Matsushita. An Improved Belief Propagation Method ofr Dynamic Collage. The Visual Computer, Vol. 25, No. 5-7, 431 -439. 2009 和文獻 11 :Zongqiao Yu, Lin Lu, Yanwen Guo, Rongfei Fan, Mingming Liu, et al. Content-aware photo collage using circle packing. IEEE Transactions on visualzation and compter graphics. Vol. 20, No. 2, 182-194. 2014 介紹。但這類方法 更多的是從圖像展示角度入手，考慮相冊中多幅圖像拼接的緊湊感以及視覺吸引力，而很 少關注圖像間可能存在的關系。最近Zhang等人如文獻12 :Lei Zhang and Hua Huang. Hierarchical Narrative Collage For Digital Photo Album. Computer Graphics Forum Volume 31，Issue 7, pages 2173-2181，September2012 所提的基于事件的層次化拼貼方 法，能夠按時間順序通過事件方式對相冊中圖像進行組織，可以很好的完成圖像按事件檢 索瀏覽的功能，但由于該方法需借助同一設備的時間信息對圖像進行劃分，因此具有很大 的局限性，當采用多個設備對同一場景事件進行拍攝后，該方法將很難對圖像進行組織。
[0006] 另外，針對圖像展示問題，也有部分研究人員采用類漫畫布局的方式進行圖像展 不如文獻 12 :M. Wang, R. C. Hong, X. T. Yuan, S. C. Yan, T. S. Chua.，Movie2Comics: Towards a Lively Video Content Presentation. IEEE Transactions on Multimedia. Vol. 14, No. 3. 2012. 858-870.和文獻 13 J. Calic，D. P. Gibson, and N. Campell，"Efficient layout of comic-like video summaries,，'IEEE Trans. Circuits Syst. Video Technol.，vol.l7，no.7，pp.931 - 936，Jul.2007.所介紹。這類展示方法不僅畫面簡潔， 而且由于漫畫通常具有一定的閱讀順序，所以有利于保留時間序列或排序序列等信息。但 已有方法多采用固定的幾個模板實現(xiàn)類漫畫布局，由于模板數(shù)量有限，所以在布局過程中 容易存在布局形式單一，排版美觀性較差等問題。雖然有研究能夠基于學習的方法從圖像 序列生成相應的漫畫布局如文獻14 :Cao Y, Chan A B，Lau R W H. Automatic stylistic manga layout[J].ACM Transactions on Graphics(TOG), 2012,31(6) :141.所介紹，在布局 的樣式上有了很大的改進，但在生成過程中需要大量的人工交互標記，以及各種學習方法 進行優(yōu)化，這使該方法計算量過大、過程過于復雜。


【發(fā)明內(nèi)容】

[0007] 發(fā)明目的：本發(fā)明所要解決的技術問題是使使用者根據(jù)圖像中的場景快速準確的 找到目標圖像，提供一種基于場景分類的類漫畫布局圖像管理方法。
[0008] 技術方案：本發(fā)明公開了基于場景分類的類漫畫布局圖像管理方法，包括以下步 驟：
[0009] 步驟一，求取待組織圖像集合中各圖像特征；
[0010] 步驟二，利用這些特征之間的數(shù)值距離構建四元樹；
[0011] 步驟三，通過所求得的四元樹構建層次化分類樹；
[0012] 步驟四，利用分類樹中圖像間的分類度概念求取代表圖像；
[0013] 步驟五，依據(jù)代表圖像間分類度情況對其進行排序；
[0014] 步驟六，根據(jù)所選拼貼代表圖像數(shù)量以及存在的漫畫規(guī)則，采用字符串枚舉方法 構建動態(tài)模板庫；
[0015] 步驟七，依據(jù)排序后圖像所呈現(xiàn)的信息量最大原則在動態(tài)模板庫中搜索匹配模 板，并進行優(yōu)化布局，獲得最終拼接結果。
[0016] 本發(fā)明步驟一圖像特征求取選擇了 3種比較常用的特征參與計算。本發(fā) 明主要選擇了底層的顏色、SIFT形狀特征如文獻4 :Lowe D.G. Distinctive image features from scale-invariant key points[J] · International Journal of Computer Vision，2004,60(2):91_110·和文獻 5:Mikolajczyk K.，C· Schmid. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005:1615-1630.所介紹，以及中層的用于描述全局場景的GIST 特征如文獻 15:01iva A.，Torralba A.Modeling the shape of the scene:a holistic representation of the spatial envelope. Int. J. Comput. Vison42. 3, 145-175.所介紹。 選擇這些特征的主要原因是這些特征常在場景分類的研究中被學者所采用，并且便于計 算。
[0017] 本發(fā)明步驟二中當利用步驟一方法對輸入的相冊中的圖像求取上述特征之 后，本發(fā)明可以基于這些特征采用文獻16:Shi_Sheng Huang，Ariel Shamir，Cha〇-Hui Shen, Hao Zhang,Alla Sheffer,Shi-Min Hu,Daniel Cohen-〇r.Qualitative Organization of Collections of Shapes via Quartet Analysis. ACM Transactions on Graphics(Proceedings of SIGGRAPH2013)，32(4)介紹的方法來構建相應的四元樹集合。 所構建的一個四元樹包含四個圖像，形成兩對，其中每對的圖像判定是相似的，來自不同對 的圖像判定是不相似的。。
[0018] 本發(fā)明步驟三中步驟三中所構建的分類樹為一個無根樹，其能最大程度地保持由 四元樹所嵌入的圖像相似程度的拓撲關系，樹的每個葉子節(jié)點代表一張圖像，非葉子節(jié)點 即代表場景分類情況。如果葉子節(jié)點共用同一父節(jié)點，那么證明這些圖像屬于同一場景，而 如果二個非葉子節(jié)點共用同一父節(jié)點，那么證明其所代表的場景具有一定的相似程度，因 此可以通過該分類樹對圖像按場景進行層次化組織。
[0019] 通過本發(fā)明步驟三分析本發(fā)明知道，最底層的非葉子節(jié)點代表圖像的一個最小場 景，節(jié)點之間的從屬關系代表場景之間的相似程度。因此本發(fā)明在本發(fā)明步驟四按場景提 取代表圖像時，可按不同粒度進行提取，即可根據(jù)層次結構關系劃分場景大小，提取相應代 表圖像。本發(fā)明通過圖像間的分離度來定義其層次結構關系，并且該值也能體現(xiàn)出場景的 類間相似程度。所謂圖像間的分離度是指在分類樹中一張圖像到其它圖像所要經(jīng)歷的各最 短路徑，即為葉子節(jié)點的最短距離。本分明步驟四具體計算過程如下：
[0020] 步驟（41):從任意葉子節(jié)點出發(fā)，采用廣度優(yōu)先搜索與其分離度小于等于閾值的 其它葉子節(jié)點，并將這些節(jié)點從分類樹中剔除，組成一組場景圖像；
[0021] 步驟（42):重復上述過程，直到分類樹中不在包含圖像時停止搜索，此時剩余的 圖像就是代表圖像。
[0022] 本發(fā)明步驟五希望選擇類內(nèi)差異性最小的圖像作為該組的代表圖像，本發(fā)明通過 求取每張圖像到該組內(nèi)其它圖像的分離度之和來定義類內(nèi)差異性，并基于此選取代表圖 像。具體過程如下：
[0023] 步驟（51):求取組內(nèi)每張圖像的分離度之和；
[0024] 步驟（52):按從小到大順序進行排序；
[0025] 步驟（53):選取值最小的圖像為該組的代表圖像（若有多個值相等的圖像，本發(fā) 明將隨機選擇一幅圖像作為該組的代表圖像）。
[0026] 本發(fā)明步驟六根據(jù)所選拼貼代表圖像數(shù)量以及存在的漫畫規(guī)則，采用字符串枚舉 方法構建動態(tài)模板庫。眾所周知一頁漫畫布局往往由數(shù)層構成，其中每層由大小不一的單 元格構成。為了有豐富的呈現(xiàn)方式，本發(fā)明希望有多類型的模板可供用戶選擇。由于圖像是 按順序、分層進行放置的，所以可以采用枚舉的方法來生成初始模板。另外，由于漫畫布局 過程中有很多啟發(fā)式規(guī)則可以遵循，所以也可以借助這些規(guī)則來減小冗余模板的生成。本 發(fā)明步驟六具體計算過程如下：
[0027] 步驟（61):采用啟發(fā)式規(guī)則將拼貼空間進行分層處理，每頁拼接空間最多只能分 割為4層，每層最多只能分割為3個單元格；
[0028] 步驟（62):對于每層各單元格位置通過枚舉方法獲得。
[0029] 步驟￠3):將枚舉所得內(nèi)容通過字符串形式進行表示，并根據(jù)字符串劃分每頁拼 接空間，獲得最終對應模板。
[0030] 本發(fā)明步驟七依據(jù)排序后圖像所呈現(xiàn)的信息量最大原則在動態(tài)模板庫中搜索匹 配模板，并進行優(yōu)化布局，主要通過定義懲罰函數(shù)在動態(tài)模板庫中搜索最為匹配的前top-k 個模板（根據(jù)用戶需求確定k的值）。具體為：將代表圖像以最大化覆蓋單元格為模板進 行長寬等比例縮放后，將縮放后的排序代表圖像以中心對齊方式放入各單元格中，由于代 表性圖像和各單元格的大小可能不同，會產(chǎn)生縫隙、覆蓋和高度差現(xiàn)象，將相鄰的單元格間 產(chǎn)生的上述現(xiàn)象定義為局部約束關系；而相鄰層之間可能由于代表性區(qū)域較大溢出單元格 而一部分覆蓋到了下一層中，定義這樣相鄰層之間的覆蓋為全局約束關系；根據(jù)局部和全 局約束關系本發(fā)明為每個模板^定義懲罰函數(shù)為：
[0031]

【權利要求】
1. 一種基于場景分類的類漫畫布局圖像管理方法，其特征在于，包括以下步驟： 步驟一，求取待組織圖像集合中各個圖像的圖像特征； 步驟二，利用所屬特征之間的數(shù)值距離構建四元樹； 步驟三，通過所求得的四元樹構建層次化分類樹； 步驟四，利用分類樹中圖像間的分類度求取代表圖像； 步驟五，依據(jù)代表圖像間分類度對代表圖像進行排序； 步驟六，根據(jù)所選拼貼代表圖像數(shù)量以及存在的漫畫規(guī)則，采用字符串枚舉方法構建 動態(tài)模板庫； 步驟七，依據(jù)排序后圖像所呈現(xiàn)的信息量最大原則在動態(tài)模板庫中搜索匹配模板，并 進行優(yōu)化布局，獲得最終拼接結果。
2. 根據(jù)權利要求1所述的一種基于場景分類的類漫畫布局圖像管理方法，其特征在 于，步驟一中所求取的圖像特征包括顏色、形狀以及場景三個特征。
3. 根據(jù)權利要求2所述的一種基于場景分類的類漫畫布局圖像管理方法，其特征在 于，步驟二中所構建的一個四元樹包含兩對圖像，其中每對中對張圖像是特征是相似的，而 兩對圖像之間特征是不相似的。
4. 根據(jù)權利要求3所述的一種基于場景分類的類漫畫布局圖像管理方法，其特征在 于，步驟三中所構建的分類樹為一個無根樹，樹的每個葉子節(jié)點代表一張圖像，非葉子節(jié)點 代表場景分類。
5. 根據(jù)權利要求4所述的一種基于場景分類的類漫畫布局圖像管理方法，其特征在 于，步驟四中分離度是指在分類樹中一張圖像到其它圖像所要經(jīng)歷的各最短路徑。
6. 根據(jù)權利要求5所述的一種基于場景分類的類漫畫布局圖像管理方法，其特征在 于，步驟六中采用字符串枚舉的方法生成動態(tài)模板庫，包括以下步驟：布局順序設置為從左 到右從上到下，對每個單元格所在漫畫的層次進行枚舉，對每層內(nèi)單元格的位置進行枚舉， 通過兩種枚舉確定相應的漫畫模板庫。
7. 根據(jù)權利要求6所述的一種基于場景分類的類漫畫布局圖像管理方法，其特征在 于，步驟七中依據(jù)排序后圖像所呈現(xiàn)的信息量最大原則在動態(tài)漫畫模板庫中搜索匹配模 板，并進行優(yōu)化布局，通過定義懲罰函數(shù)在動態(tài)漫畫模板庫中搜索最為匹配的前k個模板， 包括以下步驟：將縮放后的排序代表圖像以中心對齊方式放入各單元格中，將相鄰的單元 格間產(chǎn)生的縫隙、覆蓋和高度差定義為局部約束關系；將相鄰層之間由于代表性區(qū)域溢出 單元格而一部分覆蓋到了下一層中，定義相鄰層之間的全局約束關系；根據(jù)局部和全局約 束關系，將每個丨吳板 1^定義懲罰函數(shù)Penalty (Tm)為： NL Σ^(Λ ,4,,) Pe/W/>(7:,) = a￡(N(￡:(L,.))+ Ν(￡；α,.))+ N(￡；,(L,.))) +β i ] ， AKtjA 其中：戈(￡,.) = 觸(/;. y)n 川）， J'=i J E^(Li) = Area{Lj) -J^(Area(L) r\{Area{!i ：) u Arec^l, ))), Eh(A) = Σ ^eighlU^) n Heighl(Ii H), 7=1 D(L, Li+l) = ^reaij^ /,·./)n ^reaif^ /,., U/), j=i Penalty(Tm)表示模板^的懲罰函數(shù)，α，β分別為局部約束和全局約束的權重，N是 min-max歸一化因子，AREA是漫畫模板的面積大小，Q表示模板Tm第i層，NL表示模板Tm 的層數(shù)，EjLi)是第i層的覆蓋面積，Eg(Li)是第i層的縫隙度，Eh(Li)是第i層的平衡度； Ii;』表示放入第i層第j個單元格的代表性圖像，Ii; j+1表示放入第i層第j+Ι個單元格的代 表性圖像；Areadu)為放入i層第j個單元格的代表性圖像面積，Areadu+i)為放入i層 第j+Ι個單元格的代表性圖像的面積；J為該模板第i層所包含的單元格的個數(shù)，Area (LJ 為第i層的面積；Heighten，」）為當前放入第i層第j個單元格的圖像高度，HeightC^j+i) 為當前放入i層第j+1個單元格的圖像高度；D(Li，L i+1)表示第i層與第i+1層的覆蓋度， Areadi+u)為當前放入i+Ι層第q個單元格的圖像面積，Q表示第i+Ι層的單元格數(shù)量；Π 為交操作，表示兩個區(qū)域面積相交情況；U為并操作，表示兩個區(qū)域面積合并情況。
8.根據(jù)權利要求7所述一種基于場景分類的類漫畫布局圖像管理方法，其特征在于， 步驟七中為k個模板，以最大化保留代表性區(qū)域為目標定義適應度函數(shù)，并采取優(yōu)化方法 對適應度函數(shù)進行優(yōu)化從而生成模板樣式豐富的漫畫布局，包括以下步驟：選擇出k個模 板后，為k個模板中的每一個模板定義優(yōu)化目標為： NL J y(TJ = mmY^iRatioiP·,^)- Ratio{I, i=l 7=1 ' ' 其中，τπ為當前模板；NL的模板Tm的最大層數(shù)，NL e (1... 4) ;J e (1... 3)為每層所 包含的單元格個數(shù)；Pu表示該單元格處于模板Tm的第i層中的第j個位置；Iu為經(jīng)過縮 放后的代表圖像放入第i層第j個單元格后的矩形；Ratio(x)為對應區(qū)域的長寬比，利用 粒子群算法優(yōu)化該能量函數(shù)Y (Tm)，將最終布局結果推薦給用戶。
【文檔編號】G06K9/62GK104268580SQ201410546275
【公開日】2015年1月7日 申請日期:2014年10月15日 優(yōu)先權日:2014年10月15日
【發(fā)明者】張巖, 鄭智斌, 孫中宇, 繆崢, 孫正興 申請人:南京大學