專利名稱：一種圖像美學(xué)評價方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信號處理、圖像分析、計算機視覺領(lǐng)域，具體是一種機器圖像美學(xué)自動評價方法。
背景技術(shù)：
美學(xué)作品由人類進行創(chuàng)作、由人類進行評判，符合人類審美習慣的藝術(shù)作品總能帶給人類難以言表的喜悅感。近年來，隨著計算機視覺和模式識別等技術(shù)的快速發(fā)展，在計算機科學(xué)范疇提出了計算美學(xué)(Computational Aesthetics)的概念,希望研究“美”的可計算方法，使機器能模擬人類自主地理解、推導(dǎo)和計算“美”，并在相關(guān)應(yīng)用中做出可行性的美學(xué)決策。圖像美學(xué)可以定義為人們在觀察圖像時引發(fā)的美學(xué)興趣，是客觀和主觀共同影響的結(jié)果?？捎嬎愕膱D像美學(xué)是計算美學(xué)在圖像處理方面的重要研究，其研究結(jié)果可以應(yīng)用到融合主觀感知的基于語義的圖像檢索、圖像美學(xué)質(zhì)量評價、攝影的美學(xué)預(yù)測與修正、藝術(shù)作品風格分析、人機交互等方面，在設(shè)計、攝影、廣告等領(lǐng)域?？捎嬎忝缹W(xué)已逐步引起國際學(xué)術(shù)界的關(guān)注，該課題的研究和應(yīng)用得到很多學(xué)者的重視，處于快速發(fā)展階段，具有重要的理論研究價值和實際應(yīng)用前景。隨著人們對圖像美學(xué)的認識和挖掘，利用可計算圖像美學(xué)的方法對圖像美學(xué)價值給出智能化的判斷是可計算圖像美學(xué)的一個重要課題。由于美學(xué)作品由人類創(chuàng)作和評判，美感評價從人類共性和個性并存的審美角度、審美經(jīng)驗、審美習慣出發(fā)，涉及的細節(jié)多而復(fù)雜。但對于美感的判斷存在一定的共性且有相關(guān)的理論基礎(chǔ)指導(dǎo)，而機器學(xué)習方法的出現(xiàn)與快速發(fā)展，給實現(xiàn)機器自動評估圖像美學(xué)提供了有效的方法。利用積累的已知知識，通過訓(xùn)練和學(xué)習，建立圖像美學(xué)評價模型，機器便可以根據(jù)美學(xué)評價模型模擬人類的審美感知對圖像美學(xué)做出思考。目前，圖像美學(xué)評價的研究在國外剛剛興起，而國內(nèi)尚未見到相關(guān)研究成果報道。

發(fā)明內(nèi)容
本發(fā)明的目的在于模擬人類美學(xué)感知，利用機器自動完成對圖像的美學(xué)評價，提出一種圖像自動美學(xué)評價方法。通過提取圖像整體區(qū)域和主體區(qū)域的低層視覺特征和高層美學(xué)特征，利用機器學(xué)習的方法對樣本數(shù)據(jù)進行訓(xùn)練學(xué)習，獲得圖像美感等級分類器和美學(xué)回歸模型。結(jié)合訓(xùn)練學(xué)習的結(jié)果和圖像特征，來指導(dǎo)機器模擬人類的審美思維，自動對圖像進行美學(xué)評價。本發(fā)明通過以下技術(shù)方案得以實現(xiàn)。圖像美學(xué)評價方法，包括如下步驟:步驟1、對樣本圖像進行特征區(qū)域劃分，包括圖像整體區(qū)域和主體區(qū)域；步驟2、對特征區(qū)域提取圖像低層視覺特征和高層美學(xué)特征；步驟3、對樣本圖像進行訓(xùn)練學(xué)習，通過訓(xùn)練學(xué)習結(jié)果建立美感等級分類器和美學(xué)回歸模型；
步驟4、對目標圖像調(diào)用美感等級分類器和美學(xué)回歸模型，實現(xiàn)圖像高、低美感評價和美學(xué)分數(shù)預(yù)測。上述方法步驟I中，將圖像的整體區(qū)域和主體區(qū)域作為圖像特征區(qū)域。其中，整張圖像作為圖像整體區(qū)域。而圖像的主體區(qū)域包含了重要的圖像信息，對指導(dǎo)美學(xué)評價有重要的意義。因此，本發(fā)明除了考慮圖像的整體區(qū)域外，同時計算了圖像的主體區(qū)域。上述方法步驟I中，提取圖像的主體區(qū)域作為特征區(qū)域的一部分。本發(fā)明方法設(shè)計了一種基于圖像分割與梯度特征結(jié)合的快速提取圖像主體區(qū)域的方法，結(jié)合圖像分割和梯度線索提取了圖像的主體區(qū)域，其具體包括了圖像分割、區(qū)域合并、主體提取。本發(fā)明首先采用分水嶺分割算法對圖像進行分割，然后根據(jù)亮度和色彩特征對分割后的區(qū)域進行區(qū)域融合，結(jié)合區(qū)域分割結(jié)果及圖像梯度特征確定了圖像的主體區(qū)域。上述方法步驟2中，對圖像提取圖像低層視覺特征和高層美學(xué)特征。其中，低層視覺特征包括顏色特征、紋理特征和形狀特征。具體為HSV顏色空間的顏色直方圖、顏色矩、Gabor特征、Tumura特征、GLCM特征；而高層視覺特征包括Daubchies小波變換、信息熵復(fù)雜度、KolmogorovZurek復(fù)雜度、基于GLCM特征的圖像復(fù)雜度、景深、色彩空間EMD距離。上述的方法中，步驟3具體包括:采集適量多包含人類美感評價的圖像，美感評價由眾多受試者對圖片進行美感評分獲得，分數(shù)為0-10分，所有帶有美學(xué)評分值的圖像數(shù)據(jù)作為美學(xué)回歸數(shù)據(jù)集。同時按照美感分數(shù)的高低，建立美感等級圖像集，包括高美感等級圖像集和低美感等級圖像集。把分數(shù)大于等于5.6分的圖像列為高美感圖像，把分數(shù)小于等于4.2分的圖像列為低美感圖像，把分數(shù)介于4.2和5.6分之間的圖像列為中美感圖像，但由于中等美感分數(shù)區(qū)間值較小，容易引起混淆，因此在分類中不考慮中等美感分數(shù)的圖像。為此，對美感等級圖像集，利用Adaboost算法進行訓(xùn)練學(xué)習，得到圖像美感等級分類器；而對美學(xué)回歸數(shù)據(jù)集，利用SVR方法進行訓(xùn)練學(xué)習，得到圖像美學(xué)回歸模型。上述方法步驟4中，對目標圖像進行美學(xué)評價。其具體為，用戶上傳圖像，系統(tǒng)調(diào)用美感等級分類器和美學(xué)回歸模型，進行識別判斷；系統(tǒng)判別結(jié)果，給出高、低美感評價和美學(xué)分數(shù)預(yù)測。本發(fā)明具有如下優(yōu)點和技術(shù)效果:本發(fā)明創(chuàng)造性地提出了一種根據(jù)人類視覺及審美習慣評價圖像美學(xué)價值的具體可行的方法。本發(fā)明以眾多受試者的圖像美感心理學(xué)調(diào)查結(jié)果為依據(jù)，結(jié)合圖像處理方法提取有效的特征，通過對樣本數(shù)據(jù)進行訓(xùn)練學(xué)習得到美學(xué)評價模型，其結(jié)果用于實現(xiàn)機器對目標圖像的自動美學(xué)評價，并給出美感等級和美學(xué)分數(shù)值。方法簡單有效，可模擬人類思維對電子圖像給出有參考價值的評價，可行性強。


圖1是本方法中的總體結(jié)構(gòu)框圖。
具體實施例方式下面結(jié)合附圖和實例對本發(fā)明作進一步詳細的說明，但本發(fā)明的實施和包含范圍不局限于此。本發(fā)明涉及圖像美學(xué)評價的方法，基于視覺心理學(xué)、美學(xué)等相關(guān)理論基礎(chǔ)，以及大量圖像美學(xué)調(diào)查結(jié)果，結(jié)合圖像處理與機器學(xué)習算法，提出了一種機器自動評價圖像美學(xué)價值的方法。如附圖1所示，本實施方式的系統(tǒng)主要由特征區(qū)域劃分模塊、特征提取模塊、訓(xùn)練學(xué)習模塊、評價顯示模塊組成。首先，對于目標圖像，圖像的整體區(qū)域含有大量描述圖像的信息，而圖像中的某些關(guān)鍵區(qū)域包含了重要的、主導(dǎo)圖像內(nèi)容的有用信息，這些關(guān)鍵信息對圖像美學(xué)評價分析有重要的指導(dǎo)意義。為了獲取目標圖像的有效特征區(qū)域，本發(fā)明方法除了考慮圖像的整體區(qū)域，同時也計算了圖像的主體區(qū)域。圖像主體區(qū)域主要是指圖像中包含圖像主要內(nèi)容的區(qū)域，并且主體在圖像中起絕對主導(dǎo)作用，因而定位并提取主體所在的區(qū)域十分重要。本發(fā)明方法設(shè)計了一種基于圖像分割與梯度特征結(jié)合的快速提取圖像主體區(qū)域的方法，結(jié)合圖像分割和梯度線索提取了圖像的主體區(qū)域，其具體包括了圖像分割、區(qū)域合并、主體提取。本發(fā)明首先采用分水嶺分割算法對圖像進行分割，然后根據(jù)亮度和色彩特征對分割后的區(qū)域進行區(qū)域融合，結(jié)合區(qū)域分割結(jié)果及圖像梯度特征確定了圖像的主體區(qū)域。分水嶺分割算法是一種基于拓撲理論的數(shù)學(xué)形態(tài)學(xué)的分割方法，對微弱邊緣具有良好的響應(yīng)，但由于圖像中的噪聲、物體表面細微的灰度變化而容易產(chǎn)生嚴重的過度分割現(xiàn)象。為了解決過度分割的現(xiàn)象，本發(fā)明通過修改原始圖像梯度來控制分割的區(qū)域數(shù)量，具體為設(shè)置外部約束和內(nèi)部約束，然后利用兩者的比值來重建梯度，通過修改內(nèi)部約束的大小來控制分割后的區(qū)域數(shù)量。在完成圖像分割后，對圖像進行區(qū)域融合。本發(fā)明通過區(qū)域的位置及色彩信息對分割區(qū)域進行合并。位置信息是指兩個區(qū)域只有相鄰才有融合的可能，而色彩信息是指當兩個區(qū)域顏色相近時，便認為這兩個區(qū)域是屬于同一物體。由于Lab顏色空間更接近于人眼對色彩的感知，因此本發(fā)明采用Lab顏色空間來判斷兩個區(qū)域之間顏色的接近程度。Lab顏色空間中，L是表示亮度分量，值域從0-100，當L取值為O時是純黑，取值是100時是純白。a、b分量都表示顏色分量,值域都是由+127至-128。a表示紅色至綠色的范圍，a為127時就是洋紅色，漸漸過渡到-128時變?yōu)榫G色；同樣，b表示從黃色到藍色的范圍，b為127時是黃色，為-128時是藍色。本發(fā)明對大量樣本圖像進行融合訓(xùn)練得出融合閾值:L「L2〈 20, (a「a2)2+(Id1Hd2)2〈 400(公式 I)其中L1、L2表示相鄰兩個區(qū)域分別對應(yīng)的平均亮度值，al、a2表示兩個相鄰區(qū)域的平均顏色值，bl、b2表示兩個相鄰區(qū)域的平均顏色值。若兩個相鄰區(qū)域滿足以上兩個條件，則將兩個區(qū)域融合；而當一個區(qū)域的多個相鄰區(qū)域均滿足色彩閾值時，則選擇色彩最接近的一個相鄰區(qū)域進行合并。本發(fā)明在對圖像進行區(qū)域分割、區(qū)域融合后，結(jié)合圖像梯度特征提取圖像的主體區(qū)域。具體方法為:首先對圖像灰度圖求取梯度信息，根據(jù)圖像梯度能量最小值來設(shè)置圖像的自適應(yīng)閾值，最后結(jié)合梯度圖提取圖像的主體區(qū)域。將每個像素點的梯度視為該像素的能量，將所有像素點的能量值求和得到圖像梯度的總能量Eq，根據(jù)梯度值均分為100個區(qū)間，作直方圖統(tǒng)計，得到落在每個區(qū)間內(nèi)的梯度值的個數(shù)Ni (i=l，2，3，- ,100), i表示100個區(qū)間中的第i個區(qū)間。梯度能量和公式如下:
權(quán)利要求
1.一種圖像美學(xué)評價方法，其特征在于包括以下步驟: 步驟1、對樣本圖像進行特征區(qū)域劃分，包括圖像整體區(qū)域和主體區(qū)域； 步驟2、對特征區(qū)域提取圖像的低層視覺特征和高層美學(xué)特征； 步驟3、利用樣本圖像進行訓(xùn)練學(xué)習，通過訓(xùn)練學(xué)習結(jié)果獲得美感等級分類器和美學(xué)回歸模型； 步驟4、對目標圖像調(diào)用步驟3中得到的美感等級分類器和美學(xué)回歸模型，進行圖像高、低美感等級評價和美學(xué)分數(shù)預(yù)測。
2.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟I中劃分圖像特征區(qū)域包括圖像整體區(qū)域和主體區(qū)域，將整幅圖像作為整體區(qū)域，而提取圖像主要內(nèi)容區(qū)域作為圖像的主體區(qū)域。
3.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟I中通過提取主體區(qū)域作為特征區(qū)域的一部分，結(jié)合圖像分割和梯度特征提取了圖像的主體區(qū)域，主體區(qū)域提取具體包括圖像分割、區(qū) 域合并和主體提取。
4.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟I中主體區(qū)域的提取具體為如下方法:首先采用分水嶺分割算法對圖像進行分割，然后根據(jù)亮度和色彩特征對分割后的區(qū)域進行區(qū)域融合，結(jié)合區(qū)域分割結(jié)果及圖像梯度特征確定圖像的主體區(qū)域。
5.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟2提取的圖像特征包括低層視覺特征和高層美學(xué)特征。
6.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟2提取的低層視覺特征包括顏色特征、紋理特征和形狀特征，具體包括HSV顏色空間的顏色直方圖特征、顏色矩特征、Gabor紋理特征、Tumura紋理特征和GLCM特征。
7.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟2提取的高層美學(xué)特征包括Daubchies小波變換、信息熵復(fù)雜度、KolmogorovZurek復(fù)雜度、基于GLCM特征的圖像復(fù)雜度、景深和色彩空間EMD距離。
8.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟3具體包含:采集大量圖像及其美感評價信息，每幅圖像的美感評價通過眾多受試者對圖像進行美感心理學(xué)評分獲得，分數(shù)為0-10分，所有帶有分數(shù)值的圖像數(shù)據(jù)作為美學(xué)回歸數(shù)據(jù)集，同時按照美感分數(shù)的高低，建立美感等級圖像集，包括高美感等級圖像集和低美感等級圖像集。
9.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟3中采用Adaboost算法對美感等級圖像集進行訓(xùn)練學(xué)習獲取圖像美感等級分類器，并采用SVR算法對美學(xué)回歸數(shù)據(jù)集獲取圖像美學(xué)回歸模型。
10.根據(jù)權(quán)利要求1所述的圖像美學(xué)評價方法，其特征在于步驟4中，對于目標圖像，系統(tǒng)自動地評價高、低美感等級和預(yù)測美學(xué)分數(shù)。
全文摘要
本發(fā)明屬于圖像處理技術(shù)、圖像分析、計算機視覺領(lǐng)域，具體為一種圖像美學(xué)評價方法。所述方法包括以下步驟(1)對樣本圖像劃分特征區(qū)域，包括圖像整體區(qū)域和主體區(qū)域；(2)對于整體區(qū)域和主體區(qū)域，分別提取圖像低層特征和高層美學(xué)特征；(3)通過機器訓(xùn)練和學(xué)習建立美學(xué)評價模型，包括圖像美感等級分類器和圖像美學(xué)回歸模型；(4)對用戶輸入的目標圖像，利用已建立的美感等級分類器和美學(xué)回歸模型，實現(xiàn)圖像的高、低美感等級評價和美學(xué)分數(shù)預(yù)測。本發(fā)明方法無需人工判斷，可對圖像給出符合人類感知的美感等級評價和美學(xué)分數(shù)預(yù)測，且具有處理速度快、可行性強的優(yōu)點。
文檔編號G06K9/62GK103218619SQ201310084400
公開日2013年7月24日 申請日期2013年3月15日 優(yōu)先權(quán)日2013年3月15日
發(fā)明者王偉凝, 蟻靜緘, 韋崗, 王勵 申請人:華南理工大學(xué)