一種主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法
【專利摘要】本發(fā)明公開了一種主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法。多示例多標記學習是近年來提出的一種新的機器學習框架，已在許多實際問題中得到成功應(yīng)用，基于多示例多標記輸入表示的圖像自動標注技術(shù)能夠很好地應(yīng)用于現(xiàn)實任務(wù)。但是隨著其表達能力的增強，圖像自動標注方法對標記好的訓練樣本的需求量隨著表示空間的變大而急劇增大。本發(fā)明通過結(jié)合機器學習中的多示例多標記學習和主動學習技術(shù)，在不增加用戶標注代價的前提下，每一次相關(guān)反饋的過程中獲得更加精細豐富的標記信息，從而更大程度的提升系統(tǒng)標注精度，有效地減少了用戶的參與代價。
【專利說明】
-種主動選擇多示例多標巧數(shù)字圖像的相關(guān)反饋方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于數(shù)字圖像自動標注技術(shù)領(lǐng)域，具體設(shè)及一種主動選擇多示例多標記數(shù) 字圖像的相關(guān)反饋方法。
【背景技術(shù)】
[0002] 隨著數(shù)碼產(chǎn)品的普及W及各類社交網(wǎng)站的流行，數(shù)字圖像成為越來越多互聯(lián)網(wǎng)內(nèi) 容的載體。為了高效利用運些數(shù)字圖像數(shù)據(jù)，一個最核屯、也是最困難的任務(wù)是讓計算機理 解圖像的語義，而自動圖像標注則是其中的關(guān)鍵技術(shù)。目前的自動圖像標注技術(shù)往往將圖 像表示成單一的示例，且僅關(guān)注圖像與單個語義類別的相關(guān)性。但是圖像往往具有復雜的 語義，包含多個對象實體，運樣單示例單標記的表示會造成信息損失，無法準確描述圖像的 語義，從而無法準確預測圖像標記。更有效方法是基于多示例多標記機器學習（簡稱MIMU 的框架，用多個特征示例組成的集合來表示一幅圖像，并同時預測圖像與多個語義標記之 間的相關(guān)性。目前有少數(shù)基于MIML輸入表示的圖像自動標注技術(shù)，但是它們對標記好的訓 練樣本的需求量隨著表示空間的變大而急劇增大，而現(xiàn)實任務(wù)中的已標記數(shù)據(jù)往往非常有 限，導致運些技術(shù)難W被廣泛應(yīng)用。一個解決方案是引入相關(guān)反饋技術(shù)，讓人類用戶在自動 標注過程中提供一些有用的標記信息從而提高系統(tǒng)標注精度。機器學習中的主動學習方法 能夠選擇出最有價值的樣本向用戶查詢標記，從而能盡可能減少用戶的參與代價?，F(xiàn)有的 基于主動學習的相關(guān)反饋機制選擇出最有價值的圖像并向用戶詢問該圖像與某個語義類 別是否相關(guān)。運種反饋方式獲得的信息非常有限，不能適應(yīng)于多示例多標記表示下的圖像 自動標注問題。

【發(fā)明內(nèi)容】

[0003] 發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種主動選擇多示例多 標記數(shù)字圖像的相關(guān)反饋方法，
[0004] 技術(shù)方案:為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案為：
[0005] -種主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法，包括W下步驟：
[0006] ( - )計算數(shù)據(jù)庫中每張圖像對標注模型的價值評分，并選擇評分最大的圖像作為 候選圖像X*;
[0007] (二)計算當前標注模型對于步驟(一）中所選圖像上的所有未被反饋的標記的掌 握程度，并選擇最小值對應(yīng)的標記作為候選標記y%
[000引（S)將步驟(一）（二）中所選的所述候選圖像X*和候選標記y*提供給用戶，讓用戶 提供相關(guān)性反饋；
[0009] (四）針對該所述候選圖像滬及候選標記根據(jù)包括是否相關(guān)、最相關(guān)示例在內(nèi)的 用戶反饋結(jié)果進行梯度下降更新標注模型；
[0010] (五)返回步驟(一)或結(jié)束并輸出標注模型。
[0011] 進一步的，所述步驟(一)圖像對標注模型的價值評分的具體方法為：
[001^ 假設(shè)總共有K類標記，用Yi=[yii，. . .，yiK]嗦示第i幅圖像Xi的標記向量，如果本 圖像與第k個標記相關(guān)，則y化=1，否則y化=-1;
[0013] 按照公式計算未經(jīng)用戶反饋的圖像集合U中每張圖像Xi對標注模型的價值評分Cl (Xi),所述公式為：
[0014]
[0015] 其中，P記錄圖像Xi的預測向量耗中1的個數(shù)，
[0016]
自a為真時I [a] = 1,否則I [a] =0,
[0017] card( ?)表示一個集合中元素的個數(shù)，
[001 引 CG(0，l)。
[0019] 進一步的，所述步驟(二)選擇候選標記/的具體方法為：
[0020] 按照公式計算標注模型對未經(jīng)用戶反饋的標記集合U(X^中標記y的掌握程度C2 (X*，y)，所述公式為：
[0021] AC2(X*,y)= |fy(X*)-fy〇(X*)
[0022] 其中，fy(X)=maxj=l,..,mf(Xj)表示圖像X與標記y的相關(guān)程度，
[0023] yo為虛擬標記，即按照fy(X*)值從大到小的順序?qū)(X*)中標記排序，位于圖像X*的 相關(guān)標記和不相關(guān)標記之間的標記即為7〇;掌握程度〔2^^7)最小值所對應(yīng)的標記，用7^表 /J、- O
[0024] 進一步的，所述步驟(四）用戶反饋結(jié)果的具體方法為：
[002引首先，用戶判斷X*與y*是否相關(guān):若用戶判斷X*與y*相關(guān)，則需指出圖像X*中與標記 最相關(guān)的示例，記為經(jīng)數(shù)次反饋，圖像滬的相關(guān)標記集合記為r，不相關(guān)標記集合記為 Y-，將y*添加到Y(jié)+，之后將標記y*從X*的未反饋標記集合U(X*)中移出；若用戶判斷X*與y*不相 關(guān)，則將y*添加到廠，將標記y*從X*的未反饋標記集合U(X*)中移出；
[0026] 然后，判斷U皆）中元素個數(shù)是否為零:如果是，則將滬從未標記圖像集合U移入已 標記集合L，進行更新標注模型;否則直接進行更新標注模型。
[0027] 進一步的，所述步驟(四）中更新標注模型的具體方法為：
[0028] 步驟151:開始程序；
[0029] 步驟152:初始化中間變量r = 0，S ^ 0, i = 1，其中r記錄圖像滬與標記y*是否相關(guān)， 當且僅當r=l時表示相關(guān)，S記錄圖像滬中與y請相關(guān)的示例，i記錄進行不放回采樣圖像滬 的不相關(guān)標記集合Y-的次數(shù)；
[0030] 步驟153:記錄用戶的判斷結(jié)果，對r賦值；
[0031] 步驟154:判斷r的值是否為1，如果r = l則進入步驟155,否則進入步驟159;
[0032] 步驟155:將用戶反饋的最相關(guān)示例武值給S;
[0033] 步驟156:假設(shè)圖像滬共有m個示例{XI，…，xm}，s對應(yīng)第kG U，…，m}個示例，計算 '私?(巧M-I:…，m，其值從大至U小排序，其中，fy(x)為示例X與標記y的相關(guān)程度，fy(x) = WyTVx，Wy表示W(wǎng)的第y列；
[0034] 步驟157:判斷是否存在Xj使得,,如(:巧}> /V(S)成立，如果是，則進入步驟158，否則 進入步驟159;
[0035] 步驟158:按照公式更新模型變量W的/列和模型變量V;所述公式分別如下：
[0036]
[0037]
[003引其中，P皆，表示在步驟156中排序位于,/V批)之前所對應(yīng)的示例個數(shù)；
[0039] 步驟159:隨機采樣X*的一個相關(guān)標記y;
[0040] 步驟1510:判斷中間變量i的值是否小于等于圖像X*的不相關(guān)標記的個數(shù)t= |Y-|， 如果是，則進入步驟1511，否則結(jié)束；
[0041] 步驟1511:隨機采樣一個圖像滬的不相關(guān)標記致；
[0042] 步驟1512:判斷&化'K>爲巧'>.;是否成立，如果成立，則進入步驟1513,否則直接 進入步驟1514;
[0043] 步驟1513:按照公式更新模型變量，所述公式分別如下：
[0044]
[0045]
[0046]
[0047] 其中，巧.及\的巧遂詞表示與閣像X*的相關(guān)程度大于標記y的標記個數(shù)，又和杰分別 表示圖像滬在標記y和上的代表示例；
[004引步驟1514:將i加1后重新賦值給i，之后返回步驟1510。
[0049]有益效果:本發(fā)明提供的主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法，結(jié)合 機器學習中的多示例多標記學習和主動學習技術(shù)，在不增加用戶標注代價的前提下，每一 次相關(guān)反饋的過程中獲得更加精細豐富的標記信息，從而更大程度的提升系統(tǒng)標注精度。 具體的，本發(fā)明每次挑選出對于提升標注裝置精度最有幫助的一副圖像和一個標記進行查 詢，并要求用戶做出區(qū)別性的反饋。在選擇圖像和標記時，本發(fā)明同時兼顧標注裝置當前已 經(jīng)掌握的信息和候選圖像與整個圖像數(shù)據(jù)庫中的其它圖像的差異程度，挑選出最有價值的 一幅候選圖像和一個標記，讓用戶有區(qū)別地進行反饋。當所選的候選圖像與標記相關(guān)時，用 戶還需指出圖像中與該標記最相關(guān)的一個示例，從而給標注裝置提供更為精細的圖像信 息；否則用戶只需告訴標注裝置所選圖像與標記不相關(guān)。由于確定圖像與標記是否相關(guān)的 過程實際上已經(jīng)隱含用戶確定最相關(guān)示例的過程，因此運樣的反饋機制并不會給用戶帶來 額外的代價。從而既保證了用戶較低的參與度，又能更大程度的提高標注精度。而為了充分 地利用運種精細的反饋信息，本發(fā)明結(jié)合機器學習中的多示例多標記學習框架，使得對于 訓練數(shù)據(jù)集合中的任意一幅圖像，標注模型應(yīng)該將相關(guān)的標記排在不相關(guān)標記之前，同時 對于圖像的任意一個標記，標注模型應(yīng)該將最相關(guān)的示例排在其它示例之前。如果當前模 型把相關(guān)標記排在不相關(guān)標記之前，或者把最相關(guān)示例排在最前，則不更新模型，否則對模 型參數(shù)進行梯度下降，使得相關(guān)標記W及最相關(guān)示例的排序提前，而不相關(guān)標記及其它示 例排序則會退后。
【附圖說明】
[0050]圖1是數(shù)字圖像自動標注裝置工作流程圖；
[0051 ]圖2是訓練初始標注模型的流程圖；
[0052] 圖3是本發(fā)明機制的流程圖；
[0053] 圖4是更新標注模型的流程圖。
【具體實施方式】
[0054] 下面結(jié)合附圖對本發(fā)明作更進一步的說明。
[00對實施例
[0056] 如圖1所示為數(shù)字圖像自動標注裝置工作流程圖。假設(shè)訓練圖像數(shù)據(jù)集合由兩部 分組成，一部分是已經(jīng)標注過的，假設(shè)共有化幅圖像，用L表示；另一部分是未經(jīng)用戶標注反 饋的，假設(shè)共有化幅圖像，用U表示。裝置對數(shù)據(jù)集合中的圖像提取符合多示例多標記學習 輸入的特征，每一幅圖像由一組特征向量表示，每個特征向量稱為一個示例。特征提取可W 使用機器學習教科書中的經(jīng)典方法生成適用的圖像特征，例如先進行圖像分割，再對每個 圖像塊提取顏色、紋理、形狀等特征。首先根據(jù)L中圖像的特征向量(假設(shè)用Xl表示）W及圖 像與標記之間的相關(guān)信息(假設(shè)用Yl,值為1時表示相關(guān)，值為-1時表示不相關(guān))訓練初始的 標注模型，具體過程見圖2。之后，裝置對輸入的無標記圖像進行同樣的特征提取，并用標注 模型進行預測，輸出標記結(jié)果。如果用戶對標注結(jié)果滿意了，則標注過程結(jié)束；否則轉(zhuǎn)置將 選擇若干圖像及標記提供給用戶，讓用戶對相關(guān)性進行判斷并給出有區(qū)別的反饋。標注裝 置利用用戶反饋的信息更新模型，從而進入新一輪循環(huán)。
[0057] 圖2所示為訓練初始標注模型的流程圖。由步驟Ol開始，步驟02對標注模型進行初 始化，主要包括對兩個矩陣W和V賦初值。假設(shè)抽取的圖像特征維度為d，總共有L個可能的標 記，則W是一個IOOXL大小的矩陣，而V是一個IOOXd大小的矩陣。運里的數(shù)值100可W根據(jù) 用戶需要換成其它值，通常選擇較大的值會提高標注準確度，而較小的值則會加快速度。W 和V被賦予隨機值并保證它們每一行的均值為0,且標準差為1/V召。步驟03從訓練數(shù)據(jù)集合 中隨機采樣一幅圖像X，假設(shè)其相關(guān)標記集合為Y，不相關(guān)標記集合為f。裝置從Y中隨機選擇 一個標記，假設(shè)為y，并按照下式為y從集合X= {xi，...，xm}中選出代表示例X:
[005引 x = argmax fy(xi)，i = l. . .m (I)
[0059] 其中，fy(x)=WyTVx，Wy表示W(wǎng)的第y列，fy(x)可W理解為示例X與標記y的相關(guān)程度。 步驟04從本圖像的不相關(guān)標記集合F中一個一個的隨機采樣標記，直到在第V次采樣遇到 一個被排在y前面的不相關(guān)標記與同樣按照式(1)為其確定代表示例則W用下式計算的值 來估計排名位于標記y之前的不相關(guān)標記的總個數(shù)：
[0060] 蹲;;:jy) ? 褲!/vj 巧
[0061] 其中I巧為F中的標記個數(shù)，H:符號表示向下取整。步驟05進行梯度下降分別按照 式(3)更新W的第y列，按式(4)更新W的第!劍，并按式(5)更新V。
[0062] (3)
[0063]
(斗）
[0064] 辟
[0065] 步驟06判斷模型是否達到要求，是則結(jié)束訓練過程，否則回到步驟03。運里判斷模 型是否達到標準可W采用機器學習或模式識別教科書中常用的方法，比如迭代輪數(shù)達到用 戶指定的次數(shù)。
[0066] 多示例多標記學習是近年來提出的一種新的機器學習框架，已在許多實際問題中 得到成功應(yīng)用，基于多示例多標記輸入表示的圖像自動標注技術(shù)能夠很好地應(yīng)用于現(xiàn)實任 務(wù)。但是隨著其表達能力的增強，圖像自動標注方法對標記好的訓練樣本的需求量隨著表 示空間的變大而急劇增大。本發(fā)明通過結(jié)合機器學習中的多示例多標記學習和主動學習技 術(shù)，在不增加用戶標注代價的前提下，每一次相關(guān)反饋的過程中獲得更加精細豐富的標記 信息，從而更大程度的提升系統(tǒng)標注精度，有效地減少了用戶的參與代價。
[0067] 圖3所示為本發(fā)明的圖像標注相關(guān)反饋機制。步驟1為起始動作。步驟2中，假設(shè)總 共有K類標記，貝阿用Yi=[yii，. . .，yiK]嗦示第i幅圖像Xi的標記向量，如果本圖像與第k個 標記相關(guān)，則yik=l，否則y化=-1。按照式(6)計算未經(jīng)用戶反饋的圖像集合U中每張圖像Xi 對標注模型f的價值評分Ci(Xi): W 側(cè)
(6)
[0069] 其中，P記錄圖像Xi的預測向量1>沖1的個數(shù)，也就是當前標注模型預巧帖的相關(guān)標 記個數(shù)。9 ::::京?玄完訖，1.鴻購當a為真時I[a] = l,否則l[a]=0,也就是說q表示已 經(jīng)標記好的圖像集合L中每幅圖像的平均相關(guān)標記個數(shù)。card( ?)表示一個集合中元素的 個數(shù)，所WK-carcKU(Xi))為圖像Xi已經(jīng)被用戶反饋過的標記個數(shù)，而CG(Oa)是為了避免 式(6)中分母為零的一個常數(shù)。值得需要說明的是，Ci(Xi)的值越大，則分子越大，分母越小。 分子越大，即圖像Xi的預測相關(guān)標記個數(shù)與已標記圖像的平均相關(guān)標記之差越大，說明標 注模型對該圖像的不確定程度越高。分母越大，即圖像Xi被反饋的次數(shù)越少，說明其可能包 含更多的未知信息。簡而言之，具有最大值的圖像滬，隱含著最大的差異性和不確定性，應(yīng) 該被選擇為候選圖像。步驟3將步驟2計算出來的價值評分排序，按照從大到小的順序排序。 步驟4選擇最大評分所對應(yīng)的圖像，用滬表示。步驟5按照式(7)計算模型對未經(jīng)用戶反饋的 標記集合U(X*)中標記y的掌握程度C2(X*，y):
[0070] C2(X*，y)=|fy(X*)-fy〇U*)| (7)
[0071] 其中，fy(X)=maxj=l,..,mf(Xj)表示圖像X與標記y的相關(guān)程度。yo被稱為虛擬標記， 即按照fy(X*)值從大到小的順序?qū)(X*)中標記排序，位于圖像X*的相關(guān)標記和不相關(guān)標記 之間的標記即為yo。因此，距離虛擬標記越近，即fy皆)與fyo皆)之差越小，說明模型對標記 y越不確定，應(yīng)該被選擇作為候選標記。步驟則尋步驟5計算出來的掌握程度排序，按照從小 到大的順序排序。步驟7選擇最小值所對應(yīng)的標記，用7^表示。步驟則尋步驟4和步驟7選出的 X*和y*呈現(xiàn)給用戶，讓用戶判斷圖像X*是否與標記y*相關(guān)。如果用戶判斷X*與y*相關(guān)，則進入 步驟9,用戶需指出圖像滬中與標記y請相關(guān)的示例，記為xM段設(shè)經(jīng)過多次反饋，圖像滬的 相關(guān)標記集合記為￥%不相關(guān)標記集合記為廠。步驟10將7^添加到￥+，之后進入步驟12。如果 用戶判斷X*與y*不相關(guān)，則進入步驟11將y*添加到廠。步驟12將標記y*從X*的未反饋標記集 合U(X*)中移出。步驟13判斷U(X*)中元素個數(shù)是否為零，即圖像X*的所有標記均已經(jīng)被反饋 過。如果是，則進入步驟14,將滬從未標記圖像集合U移入已標記集合L，之后進入步驟15;否 則直接進入步驟15,更新標注模型，其具體過程見圖4。步驟16結(jié)束相關(guān)反饋機制。
[0072] 圖4所示是圖3中步驟15的具體過程。由步驟151開始，步驟152初始化中間變量r = 〇，s MM = I,其中r記錄圖3中所選圖像滬是否與標記7哨關(guān)，當且僅當r = l時表示相關(guān)。S 記錄圖像r中與最相關(guān)的示例。i記錄進行不放回采樣圖像r的不相關(guān)標記集合廠的次 數(shù)。步驟153記錄用戶的判斷結(jié)果，對r賦值。步驟154判斷r的值是否為1。如果r = l，則進入 步驟155將用戶反饋的最相關(guān)示例武值給S;否則進入步驟159。在步驟156中，假設(shè)圖像滬 共有m個示例{xi，…，Xm}。首先計算，fV.(巧1，…，W(假設(shè)S對應(yīng)第kE {1，…，m}個示例）， 然后按照其值從大到小的順序排序。步驟157判斷是否存在^使得眾，喊}>如切成立，即至 少存在一個示例義^當存在多個違反順序的示例時Xj表示其中的任意一個），它與標記勺 相關(guān)程度比滬的最相關(guān)示例S與標記勺相關(guān)程度還大。運顯然違反本發(fā)明中的目標，將每 幅圖像的最相關(guān)示例排在最前面。如果存在，則進入步驟158按照式(8)更新模型變量￥的7^ 列，按式（9)審新橫巧巧量V:否則講入巧驟159。
[0073] ㈱
[0074] (9)
[007引其中，P皆，A乃表示在步驟156中排序位于知(的之前所對應(yīng)的示例個數(shù)，即違 反順序的示例總個數(shù)。步驟159隨機采樣滬的一個相關(guān)標記y。步驟1510判斷中間變量i的值 是否小于等于圖像X*的不相關(guān)標記的個數(shù)t= |Y-|。如果成立，則進入步驟1511，隨機采樣一 個圖像X*的不相關(guān)標記新否則結(jié)束。步驟1512判斷鳥強T>為終*)是否成立。如果成立，貝IJ 進入步驟1513,按照式(10)-(12)更新模型變量;否則直接進入步驟1514。
[0076] (10)
[0077] (11)
[007引 (似
[0079] 其中，斯.文'V&'):巧齡?:懷示與圖像X*的相關(guān)程度大于標記y的標記個數(shù)，X和敢分別 表示圖像)(^在標記7和:9上的代表示例。步驟1514將1加1后重新賦值給1，之后返回步驟 1510。
[0080] W上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當指出：對于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本發(fā)明原理的前提下，還可W做出若干改進和潤飾，運些改進和潤飾也應(yīng) 視為本發(fā)明的保護范圍。
【主權(quán)項】
1. 一種主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法，其特征在于:包括以下步驟： (一) 計算數(shù)據(jù)庫中每張圖像對標注模型的價值評分，并選擇評分最大的圖像作為候選 圖像X% (二) 計算當前標注模型對于步驟(一）中所選圖像上的所有未被反饋的標記的掌握程 度，并選擇最小值對應(yīng)的標記作為候選標記y% (三) 將步驟(一）（二）中所選的所述候選圖像X*和候選標記y*提供給用戶，讓用戶提供 相關(guān)性反饋； (四） 針對該所述候選圖像浐及候選標記y'根據(jù)包括是否相關(guān)、最相關(guān)示例在內(nèi)的用戶 反饋結(jié)果進行梯度下降更新標注模型； (五) 返回步驟(一)或結(jié)束并輸出標注模型。2. 根據(jù)權(quán)利要求1所述的主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法，其特征在 于:所述步驟(一)圖像對標注模型的價值評分的具體方法為： 假設(shè)總共有K類標記，用Kyu，...，ylK]T表示第i幅圖像X1的標記向量，如果本圖像與 第k個標記相關(guān)，則yik= 1，否則yik=_l; 按照公式計算未經(jīng)用戶反饋的圖像集合U中每張圖像X1對標注模型的價值評分^"。， 所述公式為：其中，P記錄圖像X1的預測向量名中1的個數(shù)， ?=老 Σ為! Σ?? %於，當a為真時I [a] = 1，否則I [a] =O， card (·)表示一個集合中元素的個數(shù)， ξε(0，1)ο3. 根據(jù)權(quán)利要求1所述的主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法，其特征在 于:所述步驟(二)選擇候選標記f的具體方法為： 按照公式計算標注模型對未經(jīng)用戶反饋的標記集合U(X，中標記y的掌握程度C2(X' y)，所述公式為： C2(X*，y)=|fy(X*)_fy0(X*) 其中，fy⑴=maxj=i,...,mf (Xj)表示圖像X與標記y的相關(guān)程度， yo為虛擬標記，即按照fy(X，值從大到小的順序?qū)(X$)中標記排序，位于圖像)T的相關(guān) 標記和不相關(guān)標記之間的標記即為yo;掌握程度C2(X^y)最小值所對應(yīng)的標記，用f表示。4. 根據(jù)權(quán)利要求1所述的主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法，其特征在 于:所述步驟(四）用戶反饋結(jié)果的具體方法為： 首先，用戶判斷f與W是否相關(guān):若用戶判斷#與？相關(guān)，則需指出圖像#中與標記？最 相關(guān)的示例，記為X'經(jīng)數(shù)次反饋，圖像f的相關(guān)標記集合記為Y+，不相關(guān)標記集合記為F， 將？添加到Y(jié)+，之后將標記W從X#的未反饋標記集合U(X，中移出；若用戶判斷)T與f不相 關(guān)，則將W添加到Y(jié)_，將標記f從浐的未反饋標記集合U(X，中移出； 然后，判斷U(X，中元素個數(shù)是否為零:如果是，則將f從未標記圖像集合U移入已標記 集合L，進行更新標注模型;否則直接進行更新標注模型。5.根據(jù)權(quán)利要求1所述的主動選擇多示例多標記數(shù)字圖像的相關(guān)反饋方法，其特征在 于:所述步驟(四）中更新標注模型的具體方法為： 步驟151:開始程序； 步驟152:初始化中間變量r = O，〃二良i = 1，其中r記錄圖像f與標記Z是否相關(guān)，當且 僅當r=l時表示相關(guān)，s記錄圖像浐中與f最相關(guān)的示例，i記錄進行不放回采樣圖像浐的不 相關(guān)標記集合Γ的次數(shù)； 步驟153:記錄用戶的判斷結(jié)果，對r賦值； 步驟154:判斷r的值是否為1，如果r= 1則進入步驟155，否則進入步驟159; 步驟155:將用戶反饋的最相關(guān)示例XU武值給s;。 步驟156:假設(shè)圖像)T共有m個示例U1，…，Xm}，s對應(yīng)第ke{l，···，!!!}個示例，計算 ,/VbU = V···，，其值從大到小排序，其中，fy(X)為示例X與標記y的相關(guān)程度，fy(X) = Wy1Vx，Wy表示W(wǎng)的第y列； 步驟157:判斷是否存在Xj使得(句成立，如果是，則進入步驟158，否則進入 步驟159; 來驄1 FiS.桉昭/A忒畝部^苴刑亦醫(yī)W的V*別知埴刑.變量V;所述公式分別如下：其中，P W，/)表示在步驟156中排序位于ΛΦ1之前所對應(yīng)的示例個數(shù)； 步驟159:隨機采樣浐的一個相關(guān)標記y; 步驟1510:判斷中間變量i的值是否小于等于圖像)T的不相關(guān)標記的個數(shù)t= |Yl，如果 是，則進入步驟1511，否則結(jié)束； 步驟1511:隨機采樣一個圖像X*的不相關(guān)標記訪 步驟1512:判斷爲( Al > Λ(..Ρ)是否成立，如果成立，則進入步驟1513，否則直接進入步 驟1514; 步驟1513:按照公式更新模型變量，所述公式分別如下：其中，與;Tl) S L_表示與圖像f的相關(guān)程度大于標記y的標記個數(shù)，X和:S分別表示 圖像浐在標記7和§上的代表示例； 步驟1514:將i加1后重新賦值給i，之后返回步驟1510。
【文檔編號】G06K9/62GK106022389SQ201610369363
【公開日】2016年10月12日
【申請日】2016年5月30日
【發(fā)明人】黃圣君, 高能能
【申請人】南京航空航天大學