一種基于主體調(diào)整的圖像構(gòu)圖美化方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于主體調(diào)整的圖像構(gòu)圖美化方法，包括以下步驟：（1）對圖像進(jìn)行主體區(qū)域檢測，得到主體檢測圖；（2）對主體檢測圖進(jìn)行形態(tài)學(xué)處理及二值化，得到主體掩碼二值圖；（3）利用主體掩碼二值圖從圖像中移出主體，依照主體最佳比重規(guī)律，對主體進(jìn)行縮放，調(diào)整主體尺寸；（4）利用基于樣例的圖像修復(fù)算法，填充圖像中移出主體后的空白區(qū)域，得到背景圖；（5）根據(jù)構(gòu)圖美學(xué)中的三分法則，把縮放后的主體，移動到背景圖中，得到美化后的圖像。本發(fā)明還公開了一種基于主體調(diào)整的圖像構(gòu)圖美化系統(tǒng)。本發(fā)明實(shí)現(xiàn)了對圖像構(gòu)圖的自動美化，且具有運(yùn)算速度快、可行性強(qiáng)、自動美化效果好的優(yōu)點(diǎn)。
【專利說明】一種基于主體調(diào)整的圖像構(gòu)圖美化方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像智能處理領(lǐng)域，特別涉及一種基于主體調(diào)整的圖像構(gòu)圖美化方法及系統(tǒng)。
【背景技術(shù)】
[0002]在互聯(lián)網(wǎng)非常普及的今天，人們每天都會從電腦、移動終端上接觸到海量的圖像信息。人們特別青睞具有美感的圖像，因?yàn)樗鼛Ыo人們愉悅的視覺感受和強(qiáng)烈的視覺沖擊力，喚起觀看者的情感交流。在這種情況下借助電腦和移動終端對圖像信息進(jìn)行加工、美化以滿足人的視覺心理有了巨大的需求。研究表明構(gòu)圖是圖像美感的重要指標(biāo)。構(gòu)圖是指在一定的空間，合理安排和處理人、景、物的關(guān)系與位置，獲得圖像的最佳布局，實(shí)現(xiàn)圖像美學(xué)上的統(tǒng)一感受，以更好的表現(xiàn)圖像主題思想和美感效果。在攝影和繪畫中構(gòu)圖是基礎(chǔ)也是核心，它直接關(guān)系到整個(gè)圖像的優(yōu)劣成敗。
[0003]主體是圖像主要表現(xiàn)的對象，是主題思想的重要體現(xiàn)者，是控制圖像全局的焦點(diǎn)。對于人文、風(fēng)景、靜物等包含主體的圖像，主體是圖像的核心，在圖像中起絕對主導(dǎo)作用，好的構(gòu)圖很大程度上取決于主體的位置和大小。主體是攝影師、繪畫者主觀上想要突出的對象，包括主要人物形象、主要動物形象、主要植物形象、主要景物形象等。成功的構(gòu)圖是將尺寸合適的主體合理地安排在恰當(dāng)?shù)奈恢?，使得圖像主次分明、主體突出達(dá)到令人賞心悅目的境界。人們在長期的攝影、繪畫實(shí)踐中總結(jié)了一些常用的構(gòu)圖法則，比如三分法則、主體最佳比重規(guī)律、對角占優(yōu)法則等，這些法則告訴人們在攝影、繪畫時(shí)需要考慮的各個(gè)因素，合理的利用這些構(gòu)圖法則能夠得到令人舒適的構(gòu)圖效果。
[0004]隨著數(shù)碼相機(jī)的普及應(yīng)用，越來越多的人希望能拍攝出具有美感的圖像，但大多數(shù)非專業(yè)拍攝者都缺乏美學(xué)常識和經(jīng)驗(yàn)，因此如何對圖像進(jìn)行構(gòu)圖美化成了困擾他們的難題。在攝影和繪畫中最常用的構(gòu)圖法則是三分法則和主體最佳比重規(guī)律，綜合使用這兩個(gè)法則可以使圖像在視覺上非常有條理，主體非常突出，以更好地表現(xiàn)圖像的變化和動感，呈現(xiàn)出具有美感的圖像。利用電腦和移動終端對包含主體的圖像按照三分法則、主體最佳比重規(guī)律進(jìn)行構(gòu)圖自動美化并提供攝影指導(dǎo)，調(diào)整圖像主體大小與位置，不僅能夠提高缺乏美學(xué)經(jīng)驗(yàn)的業(yè)余攝影者的攝影質(zhì)量，還能幫助熟練的攝影師用來加快對圖像的構(gòu)圖美化。Photoshop等常用的圖像處理軟件，都需要用戶手工對圖像進(jìn)行美化，這種非自動性的圖像美化，給普通的攝影用戶帶來了操作上的困難。目前，在圖像處理和計(jì)算機(jī)視覺領(lǐng)域內(nèi)，圖像構(gòu)圖美學(xué)研究在國外剛剛興起，主要涉及提取圖像美學(xué)特征，對圖像構(gòu)圖優(yōu)劣進(jìn)行自動評估和自動美化。國內(nèi)僅見到浙江大學(xué)陳仁杰等人進(jìn)行了相關(guān)研究，但他們主要是對圖像進(jìn)行裁剪得到一系列子圖像，通過對子圖像進(jìn)行美學(xué)排序和重映射調(diào)整，得到構(gòu)圖美化后的圖像。其方法取決于裁剪的子圖像，如果沒有裁剪到合適的子圖像可能無法達(dá)到理想的美化效果，且算法較為耗時(shí)。
[0005]三分法則:是繪畫和攝影中最知名、最常用的構(gòu)圖法則之一，它實(shí)際上是著名的“黃金比例分割”的簡化版，可使圖像更生動、美觀。具體為:用兩條水平線和垂直線將圖像分成9個(gè)相等的方塊，稱為“九宮圖”。直線和橫線相交的四個(gè)點(diǎn)，是人們視覺最敏感的地方，稱為力量點(diǎn)。研究表明當(dāng)主體處于這4個(gè)力量點(diǎn)附近時(shí)最容易吸引觀看者“眼球”，主體更加鮮明、突出，而且能更好地發(fā)揮圖像主體在圖面上的組織作用，使圖像中周圍景物展現(xiàn)協(xié)調(diào)和聯(lián)系，容易弓I起人類視覺美感。
[0006]主體最佳比重規(guī)律:通過統(tǒng)計(jì)大量專業(yè)攝影圖像中主體所占圖像面積比重，已有相關(guān)研究量化出具有美感的構(gòu)圖圖像中主體的最佳尺寸比例。研究發(fā)現(xiàn)美學(xué)圖像雖然來源不同、主體類型各異，然而主體區(qū)域面積大多分布在0.1,0.56和0.82附近，分別對應(yīng)小比例區(qū)域、中比例區(qū)域和大比例區(qū)域,稱之為主體最佳比重規(guī)律。

【發(fā)明內(nèi)容】

[0007]為了克服現(xiàn)有技術(shù)的上述缺點(diǎn)與不足，本發(fā)明的目的在于提供一種基于主體調(diào)整的圖像構(gòu)圖美化方法，實(shí)現(xiàn)對圖像構(gòu)圖的自動美化，簡單有效，運(yùn)行速度快。
[0008]本發(fā)明的另一目的在于提供一種基于主體調(diào)整的圖像構(gòu)圖美化系統(tǒng)。
[0009]本發(fā)明的目的通過以下技術(shù)方案實(shí)現(xiàn):
[0010]一種基于主體調(diào)整的圖像構(gòu)圖美化方法，包括以下步驟:
[0011](I)對圖像進(jìn)行主體區(qū)域檢測，得到主體檢測圖；
[0012](2)對主體檢測圖進(jìn)行形態(tài)學(xué)處理及二值化，得到主體掩碼二值圖；
[0013](3)利用主體掩碼二值圖從圖像中移出主體，依照主體最佳比重規(guī)律，對主體進(jìn)行縮放,調(diào)整主體尺寸；
[0014](4)利用基于樣例的圖像修復(fù)算法，填充圖像中移出主體后的空白區(qū)域，得到背景圖；
[0015](5)根據(jù)構(gòu)圖美學(xué)中的三分法則，把縮放后的主體，移動到背景圖中，得到美化后的圖像。
[0016]步驟(I)所述對圖像進(jìn)行主體區(qū)域檢測，具體包括以下步驟:
[0017](1-1)對圖像進(jìn)行顯著區(qū)域檢測，得到顯著圖；
[0018](1-2)對顯著圖進(jìn)行圖像分割，得到多個(gè)分割塊；
[0019](1-3)根據(jù)分割塊的平均顯著性選擇分割塊，組合成主體檢測圖。
[0020]步驟(I)所述對圖像進(jìn)行主體區(qū)域檢測，還包括以下步驟:
[0021](1-4)采用交互式主體區(qū)域檢測對步驟(1-3)得到的主體檢測圖進(jìn)行修補(bǔ)。
[0022]步驟(2 )所述對主體檢測圖進(jìn)行形態(tài)學(xué)處理及二值化，得到主體掩碼二值圖，具體為:
[0023]( 2-1)對主體檢測圖中的主體進(jìn)行膨脹處理；
[0024](2-2)對膨脹處理后的主體檢測圖進(jìn)行二值化處理，其中主體區(qū)域?yàn)榘咨?，其余部分為黑色?br> [0025]步驟(3)所述利用主體掩碼二值圖從圖像中移出主體，依照主體最佳比重規(guī)律，對主體進(jìn)行縮放，調(diào)整主體到合適尺寸，具體為:
[0026]將主體掩碼二值圖與圖像進(jìn)行與運(yùn)算，從圖像中移出主體，分別用矩形框截取圖像和主體掩碼二值圖中的主體區(qū)域，分別得到主體最大外接矩形圖和主體掩碼最大外接矩形圖，根據(jù)主體最佳比重規(guī)律，對主體最大外接矩形圖和主體掩碼最大外接矩形圖進(jìn)行縮放，使主體最大外接矩形圖和圖像的尺寸比例、主體掩碼最大外接矩形圖和主體掩碼二值圖的尺寸比例為最佳比重，最后將縮放后的主體掩碼最大外接矩形圖與主體最大外接矩形圖進(jìn)行與運(yùn)算，提取出縮放后的主體；所述最佳比重的取值范圍為0.09~0.11，或0.55~
0.57，或 0.81 ~0.83。
[0027]步驟(4)所述基于樣例的圖像修復(fù)算法為基于樣例的高效圖像修復(fù)算法，具體為:
[0028]令Ω是待修復(fù)的目標(biāo)區(qū)域，即圖像中移出主體后的空白區(qū)域；Φ是圖像的原始區(qū)域；δ Ω是Ω與φ的分界線，即待修復(fù)區(qū)域前端；設(shè)像素塊Ψρε Ω，像素塊Vq, Vql e Φ ; Vp是以P點(diǎn)為中心，大小為ηΧη的區(qū)域，是待修復(fù)的像素塊；是搜索到的Ψρ最佳替換樣例，即在Φ中與Ψρ最為相似的像素塊，大小為Ψρ的較小最佳替換樣例，大小為mXm，m<n ；
[0029]基于樣例的高效圖像修復(fù)算法包括以下步驟:
[0030](4-1)提取待修復(fù)區(qū)域Ω和原始區(qū)域Φ的邊界線δ Ω ；
[0031 ] (4-2)對沖e力，利用公式P (ρ) =C (ρ) D (ρ)計(jì)算像素點(diǎn)P的優(yōu)先權(quán)，其中，
【權(quán)利要求】
1.一種基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，包括以下步驟: (1)對圖像進(jìn)行主體區(qū)域檢測，得到主體檢測圖； (2)對主體檢測圖進(jìn)行形態(tài)學(xué)處理及二值化，得到主體掩碼二值圖； (3)利用主體掩碼二值圖從圖像中移出主體，依照主體最佳比重規(guī)律，對主體進(jìn)行縮放,調(diào)整主體尺寸； (4)利用基于樣例的圖像修復(fù)算法，填充圖像中移出主體后的空白區(qū)域，得到背景圖； (5)根據(jù)構(gòu)圖美學(xué)中的三分法則，把縮放后的主體，移動到背景圖中，得到美化后的圖像。
2.根據(jù)權(quán)利要求1所述的基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，步驟(1)所述對圖像進(jìn)行主體區(qū)域檢測，具體包括以下步驟: (1-1)對圖像進(jìn)行顯著區(qū)域檢測，得到顯著圖； (1-2)對顯著圖進(jìn)行圖像分割，得到多個(gè)分割塊； (1-3)根據(jù)分割塊的平均顯著性選擇分割塊，組合成主體檢測圖。
3.根據(jù)權(quán)利要求2所述的基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，步驟(1)所述對圖像進(jìn)行主體區(qū)域檢測，還包括以下步驟: (1-4)采用交互式主體區(qū)域檢測對步驟(1-3)得到的主體檢測圖進(jìn)行修補(bǔ)。
4.根據(jù)權(quán)利要求1所述的基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，步驟(2)所述對主體檢測圖進(jìn)行形態(tài)學(xué)處理及二值化，得到主體掩碼二值圖，具體為: (2-1)對主體檢測圖中的主體進(jìn)行膨脹處理； (2-2)對膨脹處理后的主體檢測圖進(jìn)行二值化處理，其中主體區(qū)域?yàn)榘咨?，其余部分為里?br> 5.根據(jù)權(quán)利要求1所述的基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，步驟(3)所述利用主體掩碼二值圖從圖像中移出主體，依照主體最佳比重規(guī)律，對主體進(jìn)行縮放，調(diào)整主體到合適尺寸,具體為: 將主體掩碼二值圖與圖像進(jìn)行與運(yùn)算，從圖像中移出主體，分別用矩形框截取圖像和主體掩碼二值圖中的主體區(qū)域，分別得到主體最大外接矩形圖和主體掩碼最大外接矩形圖，根據(jù)主體最佳比重規(guī)律，對主體最大外接矩形圖和主體掩碼最大外接矩形圖進(jìn)行縮放，使主體最大外接矩形圖和圖像的尺寸比例、主體掩碼最大外接矩形圖和主體掩碼二值圖的尺寸比例為最佳比重，最后將縮放后的主體掩碼最大外接矩形圖與主體最大外接矩形圖進(jìn)行與運(yùn)算，提取出縮放后的主體；所述最佳比重的取值范圍為0.09~0.11，或0.55~0.57，或 0.81 ~0.83。
6.根據(jù)權(quán)利要求1所述的基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，步驟(4)所述基于樣例的圖像修復(fù)算法為基于樣例的高效圖像修復(fù)算法，具體為: 令Ω是待修復(fù)的目標(biāo)區(qū)域，即圖像中移出主體后的空白區(qū)域；Φ是圖像的原始區(qū)域；δ Ω是Ω與Φ的分界線，即待修復(fù)區(qū)域前端；設(shè)像素塊ψρ e Ω，像素塊Vq, ￥ql e φ ；Ψρ是以P點(diǎn)為中心，大小為nXn的區(qū)域，是待修復(fù)的像素塊；是搜索到的，ψρ最佳替換樣例，即在Φ中與Vp最為相似的像素塊，大小為ηΧη ; 是Vp的較小最佳替換樣例，大小為mXm，m〈n ； 基于樣例的高效圖像修復(fù)算法包括以下步驟:(4-1)提取待修復(fù)區(qū)域Ω和原始區(qū)域Φ的邊界線δ Ω ； (4-2)對Vpem，利用公式P(p)=C(p)D(p)計(jì)算像素點(diǎn)P的優(yōu)先權(quán)，其中，
7.根據(jù)權(quán)利要求2所述的基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，步驟(1-1)所述顯著區(qū)域檢測，具體為: 對于一張圖像I，令I(lǐng)u為圖像I所有像素的平均值，Iw為圖像I高斯模糊后的圖像，Iu和Iw都用Lab顏色空間表示，通過計(jì)算Iw和Iu的歐幾里德距離來計(jì)算顯著性，顯著圖S由公式 S (X，y) = I I Iu-1w (X，y) | | 得到。
8.根據(jù)權(quán)利要求2所述的基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，步驟(1-3)所述根據(jù)分割塊的平均顯著性選擇分割塊，組合成主體檢測圖，具體為: 計(jì)算每個(gè)分割塊k的平均顯著性Sk:
9.根據(jù)權(quán)利要求1所述的基于主體調(diào)整的圖像構(gòu)圖美化方法，其特征在于，步驟(5)所述根據(jù)構(gòu)圖美學(xué)中的三分法則，把縮放后的主體，移動到背景圖中，得到美化后的圖像，具體為: 根據(jù)三分法則，首先用兩條水平線和兩條垂直線將圖像劃分成相等的九部分，四條直線的四個(gè)相交點(diǎn)為力量點(diǎn)，將縮放后的主體質(zhì)心移動到力量點(diǎn)上，得到美化后的圖像。
10.一種基于主體調(diào)整的圖像構(gòu)圖美化系統(tǒng)，其特征在于，包括 主體檢測模塊，用于對圖像進(jìn)行主體區(qū)域檢測，得到主體檢測圖； 主體掩碼二值處理模塊，用于對主體檢測圖進(jìn)行形態(tài)學(xué)處理及二值化，得到主體掩碼二值圖； 主體尺寸調(diào)整模塊，用于利用主體掩碼二值圖從圖像中移出主體，依照主體最佳比重規(guī)律,對主體進(jìn)行縮放,調(diào)整主體尺寸； 背景修復(fù)模塊，用于利用基于樣例的圖像修復(fù)算法，填充圖像中移出主體后的空白區(qū)域，得到背景圖； 主體位置處理模塊，用于根據(jù)構(gòu)圖美學(xué)中的三分法則，把縮放后的主體，移動到背景圖中，得到美 化后的圖像。
【文檔編號】G06T3/40GK103544685SQ201310498784
【公開日】2014年1月29日 申請日期:2013年10月22日 優(yōu)先權(quán)日:2013年10月22日
【發(fā)明者】王偉凝, 姜怡孜, 韋崗, 蔡東 申請人:華南理工大學(xué)