一種基于超限學(xué)習(xí)機(jī)的相關(guān)反饋方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理領(lǐng)域，涉及圖像檢索中的相關(guān)反饋方法，具體涉及一種基于 超限學(xué)習(xí)機(jī)的相關(guān)反饋方法。
【背景技術(shù)】
[0002] 當(dāng)前社會已經(jīng)步入了主要以多媒體信息數(shù)據(jù)為主的龐大數(shù)據(jù)時(shí)代，其中又以數(shù)字 圖像信息數(shù)據(jù)最為突出。與其他多媒體的數(shù)據(jù)相比，圖像數(shù)據(jù)中的內(nèi)容更豐富，表達(dá)更加的 直觀，必然并且已經(jīng)成為了人們的日常生活中信息分享十分主要的形式。在面對日益增多 的圖像信息數(shù)據(jù)，有效地挖掘出圖像數(shù)據(jù)中深藏的巨量信息，從而可以在大規(guī)模的圖像數(shù) 據(jù)庫中快速并且準(zhǔn)確地查找出用戶實(shí)際需要的圖像信息。這一趨勢已經(jīng)逐漸成為計(jì)算機(jī) 視覺以及多媒體數(shù)據(jù)信息檢索等相關(guān)領(lǐng)域的主要研究課題。但至于圖像的底層特征和高層 的語義之間存在著的巨大差距，這種基于內(nèi)容的圖像數(shù)據(jù)信息檢索仍然不能得到滿意的結(jié) 果。相關(guān)反饋是提高基于內(nèi)容的圖像檢索效果的有效途徑，一個全面的反饋可以大大的提 高檢索精度。然而，對于相關(guān)反饋來說數(shù)據(jù)是必不可少的，但是運(yùn)用人工來徒手標(biāo)記大量數(shù) 據(jù)是一個無法忍受的漫長過程。由于對相關(guān)反饋的特殊需求，如果可以充分利用已有標(biāo)記 的并且十分稀有的數(shù)據(jù)，以及大量未標(biāo)記的數(shù)據(jù)，這是一種理想的利用數(shù)據(jù)的方式。
[0003] 近年來，超限學(xué)習(xí)機(jī)的應(yīng)用在不同領(lǐng)域中得到了廣泛的應(yīng)用，但是很少被用于相 關(guān)反饋。由于超限學(xué)習(xí)機(jī)具有十分良好的分類精度和處理時(shí)間，并且精度高、速度快同時(shí)是 評價(jià)相關(guān)反饋性能至關(guān)重要的因素。
[0004] 本發(fā)明提出了一個基于具有高斯內(nèi)核的超限學(xué)習(xí)機(jī)相關(guān)反饋方案的圖像檢索，以 期克服上述的時(shí)間與精度的限制，本方法使用三個弱分類器級聯(lián)，以形成強(qiáng)大的分類器，用 來學(xué)習(xí)不同的特征以提取少量人工標(biāo)記數(shù)據(jù)特征，然后使用它來自動地標(biāo)記圖像數(shù)據(jù)庫中 大量的無標(biāo)記數(shù)據(jù)。從實(shí)驗(yàn)中可以看到，采用高斯內(nèi)核的方法，具有較高的分類精度，同時(shí) 處理時(shí)間在很大程度上也有所下降。同時(shí)，它使用了少量人工標(biāo)記的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，并 在結(jié)合了協(xié)同訓(xùn)練的框架的同時(shí)使用了未標(biāo)記的數(shù)據(jù)。因此，如何有效的利用圖像檢索的 特性是圖像檢索研究領(lǐng)域中的一個重點(diǎn)。

【發(fā)明內(nèi)容】

[0005] 在最近這幾年，隨著數(shù)字形式的圖像數(shù)據(jù)體積爆炸式迅猛增長，這需要一個高效 的和有效的方法，來允許用戶通過如此大量的集合進(jìn)行搜索。因此在這種情況之下，基于內(nèi) 容的圖像檢索技術(shù)越來越流行，在這數(shù)十年中許多系統(tǒng)已經(jīng)借著這種趨勢發(fā)展了。因此在 本發(fā)明中，提出了一個基于超限學(xué)習(xí)機(jī)的相關(guān)反饋方法，此方法可以有機(jī)的結(jié)合圖像檢索 和相關(guān)反饋中的特點(diǎn)，并應(yīng)用這些特點(diǎn)來構(gòu)建反饋方法。
[0006] -種基于超限學(xué)習(xí)機(jī)的相關(guān)反饋方法，其特征在于包括以下步驟：
[0007] 步驟1，輸入一副查詢圖像；
[0008] 步驟2,對圖像進(jìn)行檢索，得到檢索結(jié)果，讓用戶對結(jié)果進(jìn)行標(biāo)記；
[0009] 步驟3,對標(biāo)記過的圖像分別提取SIFT特征，Color特征，和LBP特征；
[0010] 步驟4,利用三種特征訓(xùn)練三個基礎(chǔ)分類器；
[0011] 步驟5,將檢索圖庫的圖像分別放入三個基分類器當(dāng)中，根據(jù)預(yù)測結(jié)果進(jìn)行投票， 對每一副未標(biāo)記圖片進(jìn)行自動標(biāo)記；
[0012] 步驟6,重新訓(xùn)練更新分類器；
[0013] 步驟7,對圖庫圖片進(jìn)行分類；
[0014] 步驟8,返回結(jié)果。
[0015] 本發(fā)明的方法具有以下優(yōu)點(diǎn)：
[0016] 本發(fā)明建立在超限學(xué)習(xí)機(jī)的基礎(chǔ)上，通過引入人類的查詢意圖，進(jìn)行人機(jī)交互，有 效的利用未標(biāo)記圖庫圖像來豐富學(xué)習(xí)數(shù)據(jù)，可以使圖像反饋的精度大大提高，并且處理速 度得到很好的控制，使圖像在計(jì)算機(jī)中的表達(dá)更符合人類對圖像語義的理解，使本發(fā)明具 有良好的反饋效果。
【附圖說明】
[0017] 圖1是發(fā)明所述方法的總體流程圖。
[0018] 圖2是本方法中投票過程的流程圖。
[0019] 圖3是本方法中自動標(biāo)記無標(biāo)數(shù)據(jù)的流程圖。
【具體實(shí)施方式】
[0020] 下面結(jié)合【具體實(shí)施方式】對本發(fā)明做進(jìn)一步的說明。
[0021] 本發(fā)明所述基于超限學(xué)習(xí)機(jī)的相關(guān)反饋方法的流程如圖1所示，包括以下步驟：
[0022] 步驟1，輸入一副查詢圖像；
[0023] 步驟2,對圖像進(jìn)行檢索，得到檢索結(jié)果，讓用戶對結(jié)果進(jìn)行標(biāo)記；
[0024] 步驟2. 1，在檢索系統(tǒng)中，用戶需要標(biāo)記的是一次檢索的結(jié)果或者是一次反饋后的 結(jié)果。用戶標(biāo)記過后的圖片作為數(shù)據(jù)集L，用戶沒有標(biāo)記過的圖片作為數(shù)據(jù)集U，此時(shí)用戶 沒有標(biāo)記過的數(shù)據(jù)集是整個圖庫數(shù)據(jù)集D-L。在標(biāo)記過的數(shù)據(jù)集中包括正例P和負(fù)例N，因 此L=PUN〇
[0025] 步驟3,對標(biāo)記過的圖像分別提取SIFT特征，Color特征，和LBP特征；
[0026] 步驟4,利用三種特征訓(xùn)練三個基礎(chǔ)分類器；
[0027] 步驟4. 1，通過協(xié)同訓(xùn)練算法的啟示，分別對有標(biāo)訓(xùn)練集L和無標(biāo)訓(xùn)練集U提取三 種特征，用這三種特征分別訓(xùn)練三個基分類器，這樣能夠加大數(shù)據(jù)對分類器組的差異性，有 效的減小由單一數(shù)據(jù)描述特征所帶來的不確定性，以此來增強(qiáng)預(yù)測效果。
[0028] 步驟5,將檢索圖庫的圖像分別放入三個基分類器當(dāng)中，根據(jù)預(yù)測結(jié)果進(jìn)行投票， 對每一副未標(biāo)記圖片進(jìn)行自動標(biāo)記；
[0029] 步驟5. 1，將整個無標(biāo)記數(shù)據(jù)集U放入由三個基分類器組成的分類器組中進(jìn)行預(yù) 測，投票機(jī)制如圖2所示，每一個基分類器預(yù)測后給出無標(biāo)記數(shù)據(jù)集中相應(yīng)ith的預(yù)測標(biāo)記， 預(yù)測標(biāo)記記為Υιη，根據(jù)三種不同特征來預(yù)測得出的所有的預(yù)測標(biāo)記集Φ為：
[0030]
[0031] 步驟6,重新訓(xùn)練更新分類器，自動標(biāo)記無標(biāo)記數(shù)據(jù)集；
[0032] 步驟6. 1，投票結(jié)束后，得到帶有預(yù)測標(biāo)記結(jié)果的所有無標(biāo)記數(shù)據(jù)的1^仏!^，用L_ temp來重新訓(xùn)練分類器組，來提升分類器器組的分類能力。在更新過分類器組后，再將無標(biāo) 記數(shù)據(jù)集U放入分類器組中進(jìn)行預(yù)測分類，如圖3所示。
[0033] 步驟6. 2,作為結(jié)果，得到帶有正例標(biāo)記和帶有負(fù)例標(biāo)記的兩組數(shù)據(jù)集。帶有正例 標(biāo)記的數(shù)據(jù)集記作P*，帶有負(fù)例標(biāo)記的數(shù)據(jù)集記作N*。
[0034] 步驟7,返回結(jié)果。
[0035] 步驟8,待用戶決定是否進(jìn)行下一側(cè)反饋操作，如果是則跳至步驟2. 1。
【主權(quán)項(xiàng)】
1. 一種基于超限學(xué)習(xí)機(jī)的相關(guān)反饋方法，其特征在于：該方法包括以下步驟： 步驟1，輸入一副查詢圖像； 步驟2,對圖像進(jìn)行檢索，得到檢索結(jié)果，讓用戶對結(jié)果進(jìn)行標(biāo)記； 步驟3,對標(biāo)記過的圖像分別提取SIFT特征，Color特征，和LBP特征； 步驟4,利用三種特征訓(xùn)練三個基礎(chǔ)分類器； 步驟5,將檢索圖庫的圖像分別放入三個基分類器當(dāng)中，根據(jù)預(yù)測結(jié)果進(jìn)行投票，對每 一副未標(biāo)記圖片進(jìn)行自動標(biāo)記； 步驟6,重新訓(xùn)練更新分類器； 步驟7,對圖庫圖片進(jìn)行分類； 步驟8,返回結(jié)果。2. 根據(jù)權(quán)利要求1所述的一種基于超限學(xué)習(xí)機(jī)的相關(guān)反饋方法，其特征在于：包括以 下步驟： 步驟1，輸入一副查詢圖像； 步驟2,對圖像進(jìn)行檢索，得到檢索結(jié)果，讓用戶對結(jié)果進(jìn)行標(biāo)記； 步驟2.1，在檢索系統(tǒng)中，用戶需要標(biāo)記的是一次檢索的結(jié)果或者是一次反饋后的結(jié) 果；用戶標(biāo)記過后的圖片作為數(shù)據(jù)集L，用戶沒有標(biāo)記過的圖片作為數(shù)據(jù)集U，此時(shí)用戶沒 有標(biāo)記過的數(shù)據(jù)集是整個圖庫數(shù)據(jù)集D-L ;在標(biāo)記過的數(shù)據(jù)集中包括正例P和負(fù)例N，因此 L = PUN; 步驟3,對標(biāo)記過的圖像分別提取SIFT特征，Color特征，和LBP特征； 步驟4,利用三種特征訓(xùn)練三個基礎(chǔ)分類器； 步驟4. 1，通過協(xié)同訓(xùn)練算法的啟示，分別對有標(biāo)訓(xùn)練集L和無標(biāo)訓(xùn)練集U提取三種特 征，用這三種特征分別訓(xùn)練三個基分類器，這樣能夠加大數(shù)據(jù)對分類器組的差異性，有效的 減小由單一數(shù)據(jù)描述特征所帶來的不確定性，以此來增強(qiáng)預(yù)測效果； 步驟5,將檢索圖庫的圖像分別放入三個基分類器當(dāng)中，根據(jù)預(yù)測結(jié)果進(jìn)行投票，對每 一副未標(biāo)記圖片進(jìn)行自動標(biāo)記； 步驟5. 1，將整個無標(biāo)記數(shù)據(jù)集U放入由三個基分類器組成的分類器組中進(jìn)行預(yù)測，每 一個基分類器預(yù)測后給出無標(biāo)記數(shù)據(jù)集中相應(yīng)ith的預(yù)測標(biāo)記，預(yù)測標(biāo)記記為Y ιη，根據(jù)三種 不同特征來預(yù)測得出的所有的預(yù)測標(biāo)記集Φ為：步驟6,重新訓(xùn)練更新分類器，自動標(biāo)記無標(biāo)記數(shù)據(jù)集； 步驟6. 1，投票結(jié)束后，得到帶有預(yù)測標(biāo)記結(jié)果的所有無標(biāo)記數(shù)據(jù)的L_temp，用L_temp 來重新訓(xùn)練分類器組，來提升分類器器組的分類能力；在更新過分類器組后，再將無標(biāo)記數(shù) 據(jù)集U放入分類器組中進(jìn)行預(yù)測分類； 步驟6. 2,作為結(jié)果，得到帶有正例標(biāo)記和帶有負(fù)例標(biāo)記的兩組數(shù)據(jù)集；帶有正例標(biāo)記 的數(shù)據(jù)集記作P*，帶有負(fù)例標(biāo)記的數(shù)據(jù)集記作N* ; 步驟7,返回結(jié)果； 步驟8,待用戶決定是否進(jìn)行下一側(cè)反饋操作，如果是則跳至步驟2. 1。
【專利摘要】一種基于超限學(xué)習(xí)機(jī)的相關(guān)反饋方法，本發(fā)明輸入一副查詢圖像；對圖像進(jìn)行檢索，得到檢索結(jié)果，讓用戶對結(jié)果進(jìn)行標(biāo)記；對標(biāo)記過的圖像分別提取SIFT特征，Color特征，和LBP特征；利用三種特征訓(xùn)練三個基礎(chǔ)分類器；將檢索圖庫的圖像分別放入三個基分類器當(dāng)中，根據(jù)預(yù)測結(jié)果進(jìn)行投票，對每一副未標(biāo)記圖片進(jìn)行自動標(biāo)記；重新訓(xùn)練更新分類器；對圖庫圖片進(jìn)行分類；返回結(jié)果。本發(fā)明建立在超限學(xué)習(xí)機(jī)的基礎(chǔ)上，通過引入人類的查詢意圖，進(jìn)行人機(jī)交互，有效的利用未標(biāo)記圖庫圖像來豐富學(xué)習(xí)數(shù)據(jù)，可以使圖像反饋的精度大大提高，并且處理速度得到很好的控制，使圖像在計(jì)算機(jī)中的表達(dá)更符合人類對圖像語義的理解，使本發(fā)明具有良好的反饋效果。
【IPC分類】G06K9/62, G06F17/30
【公開號】CN105426447
【申請?zhí)枴緾N201510757225
【發(fā)明人】段立娟, 董帥, 馬偉, 楊震, 趙則明
【申請人】北京工業(yè)大學(xué)
【公開日】2016年3月23日
【申請日】2015年11月9日