一種基于圖像重要度的層次圖集自動拼貼方法
【技術領域】
[0001] 本發(fā)明為圖集處理技術，特別是涉及一種自動、可視效果優(yōu)良的圖像拼貼方法。
【背景技術】
[0002] 隨著智能手機性能的提高與攝像頭像素的升級，人們越來越習慣通過隨手拍照來 記錄生活的點滴。如何對越來越多的照片進行瀏覽和管理成為了人們關注的問題。雖然各 種圖片、照片分享軟件和網(wǎng)站層出不窮，使人們可以與他人分享照片。然而，大量的圖像使 瀏覽和檢索變得困難，并且人們常用的分類保存方式也使得在查看某類圖片時只能看到文 件夾名稱，而無法獲取具體的圖像信息。而圖像拼貼技術旨在將多張圖像拼貼在一張畫布 中，讓用戶在有限的畫布中得到更多的圖像信息，有效地解決了在管理和瀏覽大量圖像時 帶來的部分問題。已經(jīng)有人提出了一些自動圖像拼貼技術解決方案，但都存在一定的不足 之處，比如支持的圖像數(shù)較少，一般為20到40張，圖像數(shù)過多則會導致可視效果很差，并且 無法支撐層次圖集數(shù)據(jù)。
[0003] 例如，微軟提供了一個圖像拼貼軟件AutoCollage，它能提取圖像中的ROI區(qū)域， 但耗時較大，并且對畫布的形狀劃分比較單一。Yu Zongqiao在文獻中提出采用圓布局的方 式來進行圖像拼貼，它分別計算圖像的重要度，然后通過外切圓的方式分割畫布，缺點是圖 像重要度計算方式效果不好，畫布利用率低。Liu Tie等人在文獻中提出了一種區(qū)分圖像不 同重要區(qū)域，然后通過相互遮擋非重要區(qū)域的拼貼方式，該方法能讓畫布主要呈現(xiàn)圖像中 的ROI區(qū)域，缺點是視圖較混亂，并且下層圖片被遮擋的概率大。Brian等人提出了一種叫 做BRIC(blocked recursive image composition)的布局方案，該方法耗時少但拼貼效果 單一。
[0004] 上述提到的圖像拼貼方案，在拼貼效果和效率上并沒有取得一個比較好的平衡， 且僅考慮同一層的少量圖像拼貼，并不支持規(guī)模較大的多層次多主題圖集的拼貼可視化方 案。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明要克服現(xiàn)有技術的上述缺點，提出一種基于圖像重要度的圖集自動拼貼方 法，能夠?qū)哟未娣诺膱D像圖集數(shù)據(jù)實現(xiàn)快速且美觀自動拼貼可視化效果。
[0006] 本發(fā)明所述的基于圖像重要度的自動圖像拼貼方法，由四步驟組成：
[0007] 步驟一：使用Meanshift算法對圖像進行圖像分割，以矩形的方式提取出圖像中 的顯著區(qū)域，若有多個顯著區(qū)域則合并為一個；
[0008] 步驟二：經(jīng)由圖像前后景的顏色復雜度與像素梯度復雜度，計算得到圖像前后景 的差異度，接著計算圖像與圖集中其它圖像的差異度的均值從而得到該圖像的代表度，最 終結(jié)合圖像內(nèi)前后景差異度與圖像間差異度得到每幅圖像各自的重要度；
[0009] 步驟三：以XML文件保存圖集的層次關系，并將上述得到的圖像重要度作為節(jié)點 的權(quán)重并保存顯著區(qū)域的外接矩形輪廓；
[0010] 步驟四：采用Voronoi樹圖可視化圖集層次，畫布區(qū)域表示圖集子集或圖像的重 要度權(quán)重，根據(jù)節(jié)點顯著區(qū)域的矩形輪廓和圖像縮放技術自動拼貼各圖像的顯著區(qū)域。
[0011] 所述步驟一的具體步驟如下：
[0012] I. 1基于Meanshift的圖像分割
[0013] MeanShift算法被稱為均值漂移算法，是一種基于核密度梯度估計的無參快速統(tǒng) 計迭代算法，其形式簡單，在實際應用中表現(xiàn)出較好的穩(wěn)定性、抗噪性和較高的效率。所 以本方法綜合考慮效果和效率，選擇Meanshift算法來做圖像分割處理，得到圖像中一個 或多個顯著區(qū)域（ROI)的外接矩形頂點坐標，如第i個ROI外接矩形的左上角頂點坐標 Li (X，y)和右下角頂點Ri (X，y)。
[0014] 1.2獲取圖像前后景區(qū)域
[0015] 本發(fā)明認為經(jīng)圖像分割后的顯著區(qū)域都應為人們視覺所關注的重要前景區(qū)域。因 而合并圖像分割后的多個ROI區(qū)域，得到該圖像的ROI前景區(qū)域的外接矩形左上角和右下 角坐標，作為后續(xù)計算圖像重要度與拼貼計算的基礎區(qū)域。
[0016] 本發(fā)明假設圖像的坐標原點位于左下角，當圖像分割結(jié)果為1個顯著區(qū)域時，該 圖像的前景區(qū)域即為該顯著區(qū)域，記作I (L，R)，其中I表示前景區(qū)域，L和R表示區(qū)域的左 上角和右下角頂點坐標。當圖像分割結(jié)果為多個顯著區(qū)域時，則前景區(qū)域I(L，R)可以通過 計算包含所有ROI矩形區(qū)域的外邊界得到，后景區(qū)域即為全圖像不包含前景區(qū)域的部分， 記作B。
[0017] 所述步驟二的具體步驟如下：
[0018] 2. 1前后景顏色復雜差異度計算
[0019] 將單張圖像的前后景顏色復雜差異度記為S。，計算方式如下：
[0020] 211.將前景區(qū)域I和后景區(qū)域B中的每個像素點由RGB色彩模式轉(zhuǎn)化成HSV(即 色調(diào)H，飽和度S，亮度V)顏色模型。并將H、S、V分量按其取值范圍平均分為m、η、〇個區(qū) 間，然后分別計算區(qū)域內(nèi)各區(qū)間的像素點占總數(shù)的百分比，分別記為h n、S]I、vkI和h lB、s]B、 VkB°
[0021] 212.分別對I和B按下述公式計算得到顏色復雜度SjPS&。以心計算為例，需 要先分別計算在前景區(qū)域I的HSV各分量的復雜度，欠 I，再合成得到
[0025] 從而得到前景I的顏色復雜度為
[0026] 同理可得后景B的顏色復雜度Sb。
[0027] 213.最后得到圖像的前后景顏色復雜差異度S。= I S C1-Scb I。
[0028] 2. 2前后景像素梯度復雜差異度計算
[0029] 將單張圖像的前后景像素梯度復雜差異度記為計算方式如下：
[0030] 221.分別將前景區(qū)域I和后景區(qū)域B的素點矩陣轉(zhuǎn)化成梯度矩陣，先計算圖像X 方向梯度和y方向梯度，將斜率y/x轉(zhuǎn)換成〇到180度的角度表示的梯度矩陣，將梯度矩陣 均分為P個區(qū)間，分別統(tǒng)計區(qū)域內(nèi)各區(qū)間的像素點個數(shù)占總數(shù)的百分比，記為〇"和〇 lB。
[0031] 222.通過下列式子計算得到前后景的梯度復雜度心和S ^
[0033] 同理可得后景B的梯度復雜度SeB
[0034] 223.最后得到前后景梯度復雜差異度
[0035] 2. 3圖像間差異度計算
[0036] 圖像間差異度可定義為單張圖像在對應圖集中的代表度，記作S1^，具體計算方式 如下：
[0037] 231.設圖集共有N張以HSV表示的圖像，將單張圖像H、S、V分量按其取值范圍平 均分為m、η、〇個區(qū)間，分別計算區(qū)域內(nèi)各區(qū)間的像素點占總數(shù)的百分比，從而得到一個表 示該圖像的m+n+o維特征向量，如第i個圖像的特征向量表示為Vi。
[0038] 232.使用EMD算法，計算某個圖像到圖集中其它圖像的特征向量間的所有距離之 和的平均值即為其該圖像的圖像間差異度。
[0039] 即：
其中，EMD (V1, Va)表示使用EMD算法計算第i張圖像的特 征向量V1與第a張圖像的特征向量V 3的距離，i不能等于a。
[0040] 2. 4圖像重要度計算
[0041] 由上述圖像內(nèi)前后景差異度與圖像間差異度便可得到圖像重要度S，其中
[0042] 所述步驟三生成XML文件的具體步驟如下：
[0043] 將圖集原始層次信息與計算得到的圖像重要度建立對應關系，生成圖集節(jié)點的 XML文件，其中主要包含圖集根目錄路徑、子文件夾與圖像葉子節(jié)點名稱、圖像重要度以及 圖像對應的前景區(qū)域坐標。
[0044] 所述步驟四的具體步驟如下：
[0045] 4. 1節(jié)點畫布區(qū)域計算
[0046] 把Voronoi樹圖節(jié)點區(qū)域面積與節(jié)點重要度對應起來，需先賦值各節(jié)點重要度權(quán) 重，然后Voronoi樹圖迭代計算得到相應面積的凸多邊形。計算步驟如下：
[0047] 411可根據(jù)XML文件，從葉子節(jié)點重要度開始逐層向上計算得到所有子節(jié)點重要 度之和，并設置父節(jié)點重要度權(quán)重為其占同層節(jié)點權(quán)重之和的百分比。
[0048] 412從根節(jié)點開始逐層向下，以各節(jié)點權(quán)重為區(qū)域面積目標值，做Voronoi樹圖PW 迭代計算，得到當前節(jié)點的每一個子節(jié)點對應凸多邊形區(qū)域的頂點序列。直到所有分支節(jié) 點計算完畢。
[0049] 4. 2拼貼計算
[0050] 每個分支節(jié)點區(qū)域?qū)獔D集子集在可視化中可呈現(xiàn)的畫布區(qū)域。對于一定規(guī)模的 圖集，要用有限的畫布區(qū)域呈現(xiàn)子圖集內(nèi)容，需要用到拼貼技術，盡可能裁剪選擇有代表性 的圖像顯著區(qū)域縮放匹配畫布。具體步驟如下：
[0051] 421由4. 1可獲取本級節(jié)點的畫布區(qū)域?qū)捻旤c序列，進而得到外接矩形 P (L，R)，其中第一分量表示矩形的左上角頂點，第二分量為矩形的右下角頂點。根據(jù)XML文 件選取本子集中重要度最高的圖像，由步驟一提取其前景區(qū)域I (L，R)。
[0052] 為避免拼貼時圖像被拉伸而失真，先匹配前景區(qū)域I (L，R)與畫布外接矩形 P (L，R)，并按畫布區(qū)域裁剪得到最終拼貼圖像區(qū)域E (L，R)。具體是根據(jù)畫布外接矩形的長 寬比來修改圖像的前景區(qū)域范圍，達到盡可能的保留圖像前景區(qū)域視覺信息的目的。
[0053] 422.對E(L，R)區(qū)域再做縮放處理，與畫布大小一致，然后拼貼呈現(xiàn)在相應節(jié)點區(qū) 域中。
[005