基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法
【專利摘要】本發(fā)明公開了一種基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法。它包括如下步驟：1）對圖片提取HSV顏色直方圖特征、視覺單詞特征以及方向直方圖特征；2）對上一步提取的三種特征進行歸一化的預(yù)處理并在歸一化后將三種特征融合為一個特征向量；3）構(gòu)造一個帶有隱變量的結(jié)構(gòu)支持向量機，從數(shù)據(jù)庫中多次選取訓(xùn)練集合，并利用訓(xùn)練集中不同主題相關(guān)的圖片集合進行權(quán)重系數(shù)學(xué)習(xí)；4）利用上一步學(xué)習(xí)得到的權(quán)重系數(shù)，從數(shù)據(jù)庫中選取不同主題相關(guān)的圖片集，預(yù)測出它們的隱含的特征選擇偏好并生成與之對應(yīng)的摘要圖片集合。本發(fā)明具有更高的信息覆蓋率和更低的冗余度可以隱式地學(xué)習(xí)出不同主題相關(guān)的圖片集合在特征選擇上的不同偏好，比傳統(tǒng)的方法取得更好效果。
【專利說明】 基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像摘要生成，尤其涉及一種基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法?！颈尘凹夹g(shù)】
[0002]目前，隨著存儲技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，每天都有海量的圖像文件被上傳于互聯(lián)網(wǎng)上。用戶一方面能訪問到越來越多的圖像數(shù)據(jù)，另一方面數(shù)據(jù)本身越來越復(fù)雜的結(jié)構(gòu)和冗余性也給用戶獲得有用的信息帶來了巨大的困難。例如，用戶利用搜索引擎可以通過關(guān)鍵字搜索出大量的圖片，但這些圖片中含有大量的重度相似圖片，阻礙了信息的整體呈現(xiàn)，同時兼顧到信息覆蓋度和冗余度的摘要則成為更合理的呈現(xiàn)方式；又如，圖片分享網(wǎng)站Flickr上含有大量的個人相冊，如何給相冊挑選出最具有代表性的圖片作為封面，也成為很有趣的問題。因此，研究一種針對圖像文件集合的摘要生成方法具有很強的現(xiàn)實意義。
[0003]圖像文件集合是當(dāng)前非常常見的信息載體，它由大量的關(guān)于同一主題的圖片組成，并具有一定的相似性和差異性。如搜索引擎得到的關(guān)鍵字相關(guān)圖片集合或社交網(wǎng)絡(luò)中的個人相冊。一般來說，圖像文件集合具有兩個特點。第一，同一主題相關(guān)，即圖片包含的信息的主體是相同的；第二，圖片獨立性，即不同的圖片含有描述主題的不同方面的信息并且含有一定的噪聲信息。第三，主題的差異性，即不同的主題相關(guān)圖片集所包含和偏好的信息是有差異的。因此，當(dāng)對圖片集合進行摘要生成時，需要將原始圖像集合和準(zhǔn)備生成的摘要圖片集合都當(dāng)做整體來考慮并且將主題的差異性考慮進去。由于傳統(tǒng)的許多摘要方法往往是將摘要中的每張圖片獨立考慮，沒有綜合考慮摘要圖片集合內(nèi)部各個圖片所蘊涵的互補信息和冗余信息，因此不能很好地綜合分析原圖片集合并得到良好的摘要。此外，進來提出的一些摘要生成方法雖然將摘要圖片集合作為一個整體結(jié)構(gòu)考慮，但是并未將相關(guān)主題的差異性納入考慮，從而無法很好地適應(yīng)用戶需求。
[0004]針對圖像摘要這一現(xiàn)實需求以及當(dāng)前方法所存在的不足之處，本發(fā)明提供了一種能很好地兼顧摘要整體的信息覆蓋度和冗余度并且能將主題相關(guān)差異性納入考慮的圖像摘要生成方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要的方法。
[0006]基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法包括如下步驟:
[0007]I)對圖片提取HSV顏色直方圖特征、視覺單詞特征以及方向直方圖特征；
[0008]2)對上一步提取的三種特征進行歸一化的預(yù)處理并在歸一化后將三種特征融合為一個特征向量；
[0009]3)構(gòu)造一個帶有隱變量的結(jié)構(gòu)支持向量機，從數(shù)據(jù)庫中多次選取訓(xùn)練集合，并利用訓(xùn)練集中不同主題相關(guān)的圖片集合進行權(quán)重系數(shù)學(xué)習(xí)；
[0010]4)利用上一步學(xué)習(xí)得到的權(quán)重系數(shù)，從數(shù)據(jù)庫中選取不同主題相關(guān)的圖片集，預(yù)測出它們的隱含的特征選擇偏好并生成與之對應(yīng)的摘要圖片集合。[0011]所述的步驟I)包括:
[0012]I)對數(shù)據(jù)庫內(nèi)的所有圖片在HSV顏色空間中進行顏色特征提取。首先將圖片中的每一個像素計算其在HSV顏色空間中的表達，然后將HSV顏色特征空間均勻地劃分為450個區(qū)域，最后對每個區(qū)域統(tǒng)計落在其中的像素個數(shù)，形成450維的顏色直方圖特征；
[0013]2)對數(shù)據(jù)庫內(nèi)的每張圖片的每個像素，計算它與周圍像素之間的差異性，得到128維的SIFT特征點；然后在得到的SIFT特征點基礎(chǔ)上，利用K-means方法進行聚類，聚類得到的1000個SIFT點類別就形成了 1000維的視覺單詞特征；
[0014]3)對數(shù)據(jù)庫內(nèi)的每張圖片進行8X8的塊劃分；對每個劃分好的塊，計算它與周圍塊之間的方向梯度；將方向梯度特征的取值范圍均勻劃分為1000個區(qū)域，統(tǒng)計落在這1000個區(qū)域中的方向梯度特征數(shù)量，就得到了 1000維的方向梯度直方圖特征；
[0015]所述的步驟2)包括:
[0016]I)將前一步得到的HSV顏色直方圖特征、視覺單詞特征以及方向梯度直方圖特征三種特征向量按照上述順序，依次連接融合，得到2450維特征；
[0017]2)對上面得到的2450維的融合特征，利用如下公式，將原特征值進行歸一化。歸一化后，特征的取值范圍統(tǒng)一變?yōu)?.1到0.9。
[0018]x = 0.1+(0.9-0.1) (x-min) (max-min)
[0019]所述的步驟3)包括:
[0020]I)為實現(xiàn)交叉驗證，多次從數(shù)據(jù)庫中設(shè)計訓(xùn)練集，并取出其中的主題圖片集合；
[0021]2)將權(quán)重系數(shù)參數(shù)w初始化為零向量,將隱藏特征選擇變量h初始化為全I向量，通過以下的次梯度下降算法同時對w和h進行優(yōu)化求解，最終輸出訓(xùn)練好的權(quán)重系數(shù)W。
[0022]
【權(quán)利要求】
1.一種基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法，其特征在于包括如下步驟: 1)對圖片提取HSV顏色直方圖特征、視覺單詞特征以及方向直方圖特征； 2)對上一步提取的三種特征進行歸一化的預(yù)處理并在歸一化后將三種特征融合為一個特征向量； 3)構(gòu)造一個帶有隱變量的結(jié)構(gòu)支持向量機，從數(shù)據(jù)庫中多次選取訓(xùn)練集合，并利用訓(xùn)練集中不同主題相關(guān)的圖片集合進行權(quán)重系數(shù)學(xué)習(xí)； 4)利用上一步學(xué)習(xí)得到的權(quán)重系數(shù)，從數(shù)據(jù)庫中選取不同主題相關(guān)的圖片集，預(yù)測出它們的隱含的特征選擇偏好并生成與之對應(yīng)的摘要圖片集合。
2.根據(jù)權(quán)利要求1所述的一種基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法，其特征在于，所述的步驟I)包括: 1)對數(shù)據(jù)庫內(nèi)的所有圖片在HSV顏色空間中進行顏色特征提取。首先將圖片中的每一個像素計算其在HSV顏色空間中的表達，然后將HSV顏色特征空間均勻地劃分為450個區(qū)域，最后對每個區(qū)域統(tǒng)計落在其中的像素個數(shù)，形成450維的顏色直方圖特征； 2)對數(shù)據(jù)庫內(nèi)的每張圖片的每個像素，計算它與周圍像素之間的差異性，得到128維的SIFT特征點；然后在得到的SIFT特征點基礎(chǔ)上，利用K-means方法進行聚類，聚類得到的1000個SIFT點類別就形成了 1000維的視覺單詞特征； 3)對數(shù)據(jù)庫內(nèi)的每張圖片進行8X8的塊劃分；對每個劃分好的塊，計算它與周圍塊之間的方向梯度；將方向梯度特征的取值范圍均勻劃分為1000個區(qū)域，統(tǒng)計落在這1000個區(qū)域中的方向梯度特征數(shù)量，就得到了 1000維的方向梯度直方圖特征。
3.根據(jù)權(quán)利要求1所述的一種基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法，其特征在于，所述的步驟2)包括: 1)將前一步得到的HSV顏色直方圖特征、視覺單詞特征以及方向梯度直方圖特征三種特征向量按照上述順序，依次連接融合，得到2450維特征； 2)對上面得到的2450維的融合特征，利用如下公式，將原特征值進行歸一化。歸一化后，特征的取值范圍統(tǒng)一變?yōu)?.1到0.9。
x = 0.1+(0.9-0.1) (x-min) (max-min)
4.根據(jù)權(quán)利要求1所述的一種基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法，其特征在于，所述的步驟3)包括: 1)為實現(xiàn)交叉驗證，多次從 數(shù)據(jù)庫中設(shè)計訓(xùn)練集，并取出其中的主題圖片集合； 2)將權(quán)重系數(shù)參數(shù)w初始化為零向量，將隱藏特征選擇變量h初始化為全I向量，通過以下的次梯度下降算法同時對w和h進行優(yōu)化求解，最終輸出訓(xùn)練好的權(quán)重系數(shù)W。
5.根據(jù)權(quán)利要求1所述的一種基于隱結(jié)構(gòu)學(xué)習(xí)的圖像摘要生成方法，其特征在于，所述的步驟4)包括: 1)多次從數(shù)據(jù)庫中取出不同的需要進行摘要生成的圖片集合，將與這個集合相關(guān)的隱變量h初始化為全I的向量； 2)將步驟3中學(xué)習(xí)得到的特征權(quán)重系數(shù)w帶入下述貪心算法選擇出符合給定長度的摘要圖像集合，并在貪心算法每一次選擇的同時優(yōu)化得到最終的隱變量h。
【文檔編號】G06F17/30GK103530656SQ201310410623
【公開日】2014年1月22日 申請日期:2013年9月10日 優(yōu)先權(quán)日:2013年9月10日
【發(fā)明者】湯斯亮, 邵健, 方晗吟, 吳飛, 莊越挺 申請人:浙江大學(xué)