基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及網(wǎng)絡(luò)跨媒體信息處理技術(shù)領(lǐng)域，特別涉及基于弱匹配概率典型相關(guān)性 模型的圖像標(biāo)注方法。
【背景技術(shù)】
[0002] 物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等擁有豐富的文本、圖像、視頻和音頻等多媒體信息資源，這 些信息資源是異構(gòu)的，很難直接發(fā)現(xiàn)它們之間的關(guān)聯(lián)，典型相關(guān)性分析（Canonical correlationanalysis，CCA)是一種用來(lái)分析兩組隨機(jī)變量之間相關(guān)性的統(tǒng)計(jì)分析工具， 其相關(guān)性保持特征己經(jīng)在理論上得到證明，應(yīng)用于經(jīng)濟(jì)學(xué)、氣象和基因組數(shù)據(jù)分析等領(lǐng)域， CCA通過(guò)統(tǒng)計(jì)方法找到兩組異構(gòu)多模態(tài)特征之間的潛在關(guān)系，從底層特征上用統(tǒng)一的模型 將不同類型的多模態(tài)數(shù)據(jù)關(guān)聯(lián)起來(lái)，同時(shí)盡可能地發(fā)現(xiàn)和保持?jǐn)?shù)據(jù)間潛在的相關(guān)性。
[0003] 典型相關(guān)性分析中兩組相關(guān)的隨機(jī)變量可以來(lái)自多種信息來(lái)源（如同一個(gè)人的 聲音和圖像），也可以是從同一來(lái)源的信息中抽取的不同特征（如圖像的顏色特征和紋理 特征），但訓(xùn)練數(shù)據(jù)必須一對(duì)一嚴(yán)格匹配，很多原因造成這種嚴(yán)格匹配的訓(xùn)練數(shù)據(jù)難以獲 得，如多傳感器采集系統(tǒng)中傳感器采樣頻率不同步或傳感器故障，會(huì)造成不同通道采集來(lái) 的數(shù)據(jù)不同步或丟失某一通道數(shù)據(jù)；單模態(tài)數(shù)據(jù)比較容易獲得，但人工匹配卻非常地費(fèi)時(shí) 費(fèi)力，實(shí)際中，面對(duì)的多模態(tài)數(shù)據(jù)經(jīng)常是只有少量一對(duì)一嚴(yán)格匹配，其余大量數(shù)據(jù)未匹配， 稱之為弱匹配多模態(tài)數(shù)據(jù)。
[0004] 面向弱匹配多模態(tài)數(shù)據(jù)的典型相關(guān)性分析有兩種基本的方法：丟棄未匹配數(shù)據(jù)， 只使用典型相關(guān)性分析處理嚴(yán)格匹配的多模態(tài)數(shù)據(jù)；根據(jù)特定準(zhǔn)則，匹配多模態(tài)數(shù)據(jù)，但這 兩種方法都不可能獲得理想的結(jié)果。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出一種基于弱匹配概率典型相關(guān)性模型的圖像標(biāo) 注方法及系統(tǒng)。
[0006] 本發(fā)明提出一種基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，包括：步驟1， 獲取圖像數(shù)據(jù)庫(kù)中已標(biāo)注圖像與未標(biāo)注圖像，分別提取所述已標(biāo)注圖像與所述未標(biāo)注圖像 的圖像特征和文本特征，生成已匹配樣本集合和未匹配樣本集合，所述已匹配樣本集合包 括已標(biāo)注圖像特征集合與已標(biāo)注文本特征集合，所述未匹配樣本集合包括未標(biāo)注圖像特征 集合與未標(biāo)注文本特征集合；
[0007] 步驟2,根據(jù)所述已匹配樣本集合與所述未匹配樣本集合，訓(xùn)練所述弱匹配概率典 型相關(guān)性模型；
[0008] 步驟3,通過(guò)所述弱匹配概率典型相關(guān)性模型，對(duì)待標(biāo)注圖像進(jìn)行標(biāo)注。
[0009] 所述的基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，所述弱匹配概率典型相 關(guān)性模型的公式為：
[0010]
[0011]
r · J- ·· ·ρ ' · '''p 1 ·
[0012]其中，
i表示完整的觀察樣本集合，包含了匹配 和未匹配樣本，Np為成對(duì)觀察樣本集合的樣本數(shù)量
5其中每一 個(gè)樣本4 丨代表一個(gè)維向量，
.,表不未匹配樣本集 合，其中Xp與相互獨(dú)立生成。，假設(shè)樣本之間相互獨(dú)立，其極大似然值L(θ)，P(?;0) 服從概率典型相關(guān)性分析模型，p(4岣和分別表示未匹配樣本集合硭匕卜忙^和 =丨(4)丨_+1的概率分布。
[0013] 所述的基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，所述已匹配樣本集合通 過(guò)概率典型相關(guān)性分析模型計(jì)算4和4 s:
[0014] 所述的基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，對(duì)應(yīng)所述未匹配樣本集 合
，W和4通過(guò)以下公式獲得：
[0015]
[0016]
[0017] 其中對(duì)于未匹配樣本集合
和讀則分別由隱變量 彳和4通過(guò)線性變換1和12附加高斯噪聲ε郴ε2獲得，ΦηΦ2,Φ2分別表示隨 機(jī)變量xJPX2觀察樣本集合的協(xié)方差和均值。
[0018] 所述的基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，通過(guò)以下公式獲取所述 弱匹配概率典型相關(guān)性模型中成對(duì)樣本的投影：
[0019]
[0020]
[0021] 其中，E(#)，丨構(gòu)成了成對(duì)樣本(《)在SemiPCCA隱空間的典型投影，％和 A表示線性變換矩陣，^和ε2表示高斯噪聲，私，A和A分別表示隨機(jī)變量xJPx2 觀察樣本集合的協(xié)方差和均值。
[0022] 本發(fā)明還提出一種基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注系統(tǒng)，包括：獲取 已匹配樣本集與未匹配樣本集模塊，用于獲取圖像數(shù)據(jù)庫(kù)中已標(biāo)注圖像與未標(biāo)注圖像，分 別提取所述已標(biāo)注圖像與所述未標(biāo)注圖像的圖像特征和文本特征，生成已匹配樣本集合和 未匹配樣本集合，所述已匹配樣本集合包括已標(biāo)注圖像特征集合與已標(biāo)注文本特征集合， 所述未匹配樣本集合包括未標(biāo)注圖像特征集合與未標(biāo)注文本特征集合；
[0023] 訓(xùn)練模型模塊，用于根據(jù)所述已匹配樣本集合與所述未匹配樣本集合，訓(xùn)練所述 弱匹配概率典型相關(guān)性模型；
[0024] 標(biāo)注模塊，用于通過(guò)所述弱匹配概率典型相關(guān)性模型，對(duì)待標(biāo)注圖像進(jìn)行標(biāo)注。
[0025] 所述的基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，所述弱匹配概率典型相 關(guān)性模型的公式為：
^--1 ;=/Vp-r! A--iVp^.I·
[0026]
[0027]
[0028] 其中，
=t表示完整的觀察樣本集合，包含了匹配 和未匹配樣本，Νρ為成對(duì)觀察樣本集合的樣本數(shù)量，
》其中每一 個(gè)樣本X丨（4^代表一個(gè)mi(1?)維向量：
I表不未匹配樣本集 合，其中文與if?相互獨(dú)立生成，假設(shè)樣本之間相互獨(dú)立，其極大似然值L(Θ)，4 服從概率典型相關(guān)性分析模型，Ρ^;0)和分別表示未匹配樣本集合 的概率分布。
[0029] 所述的基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，所述已匹配樣本集合通 過(guò)概率典型相關(guān)性分析模型計(jì)算蛛i和<。
[0030] 所述的基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，對(duì)應(yīng)所述未匹配樣本集 名
#和;ci通過(guò)以下公式獲得：
[0031]
[0032] ......
[0033] 其中對(duì)于未匹配樣本集〇
，.卻和_4則分別由隱變量 <和4通過(guò)線性變換W#W2附加高斯噪聲ε郴ε2獲得，ΦηΦ2,Φ2分別表示隨 機(jī)變量xJPX2觀察樣本集合的協(xié)方差和均值。
[0034] 所述的基于弱匹配概率典型相關(guān)性模型的圖像標(biāo)注方法，通過(guò)以下公式獲取所述 弱匹配概率典型相關(guān)性模型中成對(duì)樣本的投影：
[0035]
[0036]
[0037] 其中，E(z>;')，E(^)構(gòu)成了成對(duì)樣本:在SemiPCCA隱空間的典型投影，#(和 略表示線性變換矩陣，ε^Ρε2表示高斯噪聲，免:，#2，A和爲(wèi)分別表示隨機(jī)變量&和^ 觀察樣本集合的協(xié)方差和均值。
[0038] 由以上方案可知，本發(fā)明的優(yōu)點(diǎn)在于：
[0039] 本發(fā)明關(guān)注于各模態(tài)內(nèi)部的全局結(jié)構(gòu)，模型參數(shù)的估計(jì)受到了未匹配樣本的影 響，而未匹配樣本則揭示了各模態(tài)樣本空間的全局結(jié)構(gòu)；
[0040] 在人工弱匹配多模態(tài)數(shù)據(jù)集上的實(shí)驗(yàn)表明，本發(fā)明可以有效克服傳統(tǒng)CCA和PCCA 在匹配樣本不足的情況下出現(xiàn)的過(guò)擬合問(wèn)題，取得了很好的效果；
[0041] 基于本發(fā)明的圖像自動(dòng)標(biāo)注方法，同時(shí)使用標(biāo)注圖像及其關(guān)鍵詞和未標(biāo)注圖像學(xué) 習(xí)視覺(jué)模態(tài)和文本模態(tài)之間的關(guān)聯(lián)，從而能更準(zhǔn)確地對(duì)未知圖像進(jìn)行標(biāo)注。
【附圖說(shuō)明】