圖像分類器的生成方法、圖像分類方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像分類領(lǐng)域，并且更具體地，涉及一種圖像分類器的生成方法、圖像 分類方法和裝置。
【背景技術(shù)】
[0002] 隱變量指不能直接被觀測到，卻在實(shí)際應(yīng)用中起到重要作用的綜合性變量，如空 間關(guān)系、數(shù)據(jù)結(jié)構(gòu)、內(nèi)聯(lián)狀態(tài)等。隱變量廣泛應(yīng)用于機(jī)器視覺、自然語言處理、語音識(shí)別和公 眾健康等領(lǐng)域。實(shí)驗(yàn)證明，處理圖像、語音等對(duì)象時(shí)，隱變量的引入能捕獲更多的有用信息， 與僅使用顯變量的方式相比，處理效果顯著提高。
[0003]早期的隱變量模型多為生成模型（generativemodels)，如隱馬爾可夫模型 (HiddenMarkovModel，HMM)、高斯混合模型（GaussianMixtureModel，GMM)等。近期更多 的研究者試圖探尋判別模型（discriminativemodels)中引入隱變量的可能性。典型的例 子如條件隨機(jī)場（ConditionalRandomField，CRF)、隱變量支持向量機(jī)（LatentSupport VectorMachine，LSVM)等，這些模型在各自領(lǐng)域均取得了一定成果。值得一提的是，LSVM 配合局部可變形模型（DeformablePart-basedModel，DPM)，即DPM-LSVM，在機(jī)器視覺中的 物體檢測領(lǐng)域已成為近年來較為成功的算法。DPM用于描述檢測類別物體的特征，它由三 部分組成：一個(gè)主體濾波器（rootfilter),多個(gè)局部濾波器（partfilters),以及每個(gè)局部 對(duì)應(yīng)的形變懲罰（deformablecosts)。主體部分用于描述物體的大體輪廓，局部部分用于 描述檢測物體的細(xì)節(jié)特征，形變懲罰用于保證每個(gè)局部相對(duì)于主體的位置不能有過大的偏 移。在物體檢測過程中，局部相對(duì)于主體的位置可以在一定范圍內(nèi)變化，可看作隱變量，采 用LSVM進(jìn)行訓(xùn)練。
[0004]LSVM的目標(biāo)函數(shù)形式與原始的SVM相似，如⑴所示：
[0005]
(I)
[0006] 其中，β是分類器的模型參數(shù)，yi表示訓(xùn)練樣本Xi的標(biāo)簽，s(Xl，β)表示樣本Xl 的分?jǐn)?shù)，這個(gè)分?jǐn)?shù)是在所有可能局部相對(duì)位置（即隱變量取值范圍）中最優(yōu)的分?jǐn)?shù)，該分?jǐn)?shù) 滿足式（2):
[0007]
(2)
[0008] 式⑵中，z為隱變量，f為特征提取方法，f(Xl，z)為樣本Xl的特征向量，如DPM 中使用框架梯度直方圖特征。
[0009] 可以證明LSVM的目標(biāo)函數(shù)（式（1))具有半凹性，即固定正樣本的隱變量取值 時(shí)，目標(biāo)函數(shù)是凹的。因此，LSVM的求解可使用坐標(biāo)梯度下降（CoordinateGradient Descent)，即首先固定分類器的模型參數(shù)，求得正樣本隱變量取值，再固定正樣本隱變量取 值，求最優(yōu)模型參數(shù)和負(fù)樣本隱變量取值，如此迭代直至收斂。
[0010] LSVM與SVM-樣，主要適用于物體檢測領(lǐng)域。當(dāng)推廣到物體分類領(lǐng)域時(shí)，LSVM的 處理方式是將物體分類領(lǐng)域中的多類問題轉(zhuǎn)化成物體檢測領(lǐng)域的二類問題。采用此種處理 方式，會(huì)使得用于物體分類的多個(gè)分類器的訓(xùn)練過程彼此孤立。實(shí)際中，多種物體類別之間 可能存在一定的關(guān)聯(lián)性，比如，將建筑物分成多類建筑風(fēng)格，待分類圖片中的建筑物可能同 時(shí)具有兩種或兩種以上建筑風(fēng)格的特征。因此，將多個(gè)分類器的訓(xùn)練過程轉(zhuǎn)化成彼此孤立、 非此即彼的多個(gè)二類問題，會(huì)導(dǎo)致分類結(jié)果不準(zhǔn)確。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明實(shí)施例提供一種圖像分類器的生成方法和裝置，以提高分類結(jié)果的準(zhǔn)確 性。
[0012] 第一方面，提供一種圖像分類器的生成方法，包括：獲取訓(xùn)練樣本集，所述訓(xùn)練樣 本集包括N個(gè)圖像樣本，所述N個(gè)圖像樣本屬于K個(gè)類別，N、K為正整數(shù)，N大于K;獲取每 一個(gè)所述圖像樣本的特征向量，其中，所述特征向量包括圖像樣本的隱變量；基于所述N個(gè) 圖像樣本的隱變量，通過多元邏輯回歸模型，訓(xùn)練所述K個(gè)類別的分類器。
[0013] 結(jié)合第一方面，在第一方面的一種實(shí)現(xiàn)方式中，所述K個(gè)類別的分類器分別包括K 個(gè)模型參數(shù)，所述基于所述N個(gè)圖像樣本的隱變量，通過多元邏輯回歸模型，訓(xùn)練所述K個(gè) 類別的分類器，包括：獲取所述K個(gè)模型參數(shù)的初始值；獲取所述N個(gè)圖像樣本的隱變量的 初始值；基于所述N個(gè)圖像樣本的特征向量，以及所述N個(gè)圖像樣本隱變量的初始值，通過 所述多元邏輯回歸模型，訓(xùn)練所述K個(gè)類別的分類器，以確定所述K個(gè)模型參數(shù)的目標(biāo)值。
[0014] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述N個(gè)圖像樣本隱變量的初始值包括：正圖像樣本隱變量的初始值和負(fù)圖像樣本隱變量的 初始值，所述基于所述N個(gè)圖像樣本的特征向量，以及所述N個(gè)圖像樣本隱變量的初始值， 通過所述多元邏輯回歸模型，訓(xùn)練所述K個(gè)類別的分類器，以確定所述K個(gè)模型參數(shù)的目標(biāo) 值，包括：基于所述N個(gè)圖像樣本的特征向量，以及所述N個(gè)圖像樣本隱變量的初始值，通過 所述多元邏輯回歸模型，訓(xùn)練所述K個(gè)類別的分類器，以確定所述K個(gè)模型參數(shù)的當(dāng)前值， 當(dāng)所述K個(gè)模型參數(shù)的當(dāng)前值滿足預(yù)設(shè)的收斂條件時(shí)，將所述K個(gè)模型參數(shù)的當(dāng)前值確定 為所述K個(gè)模型參數(shù)的目標(biāo)值，當(dāng)所述K個(gè)模型參數(shù)的當(dāng)前值不滿足所述收斂條件時(shí)，基 于所述N個(gè)圖像樣本的特征向量，以及所述K個(gè)模型參數(shù)的當(dāng)前值，確定所述正圖像樣本隱 變量的當(dāng)前值，并利用所述正圖像樣本隱變量的當(dāng)前值更新所述正圖像樣本隱變量的初始 值，重復(fù)執(zhí)行本步驟直到所述K個(gè)模型參數(shù)的當(dāng)前值滿足所述收斂條件。
[0015] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述基于所述N個(gè)圖像樣本的特征向量，以及所述N個(gè)圖像樣本隱變量的初始值，通過所述多 元邏輯回歸模型，訓(xùn)練所述K個(gè)類別的分類器，以確定所述K個(gè)模型參數(shù)的當(dāng)前值，包括： 基于所述N個(gè)圖像樣本的特征向量，以及所述N個(gè)圖像樣本隱變量的初始值，通過所述多元 邏輯回歸模型，訓(xùn)練所述K個(gè)類別的分類器，以確定所述K個(gè)模型參數(shù)的迭代值，基于所述 N個(gè)圖像樣本的特征向量，以及所述K個(gè)模型參數(shù)的迭代值，確定所述負(fù)圖像樣本隱變量的 迭代值，并利用所述負(fù)圖像樣本隱變量的迭代值更新所述負(fù)圖像樣本隱變量的初始值，當(dāng) 所述K個(gè)模型參數(shù)的迭代值滿足預(yù)設(shè)的迭代停止條件時(shí)，將所述K個(gè)模型參數(shù)的迭代值確 定為所述K個(gè)模型參數(shù)的當(dāng)前值，否則，重復(fù)執(zhí)行本步驟直到所述K個(gè)模型參數(shù)的當(dāng)前值滿 足所述迭代停止條件。
[0016] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述基于所述N個(gè)圖像樣本的特征向量，以及所述N個(gè)圖像樣本隱變量的初始值，通過所述 多元邏輯回歸模型，訓(xùn)練所述K個(gè)類別的分類器，以確定所述K個(gè)模型參數(shù)的迭代值，包 括：根據(jù)公式
確定所述K個(gè)模型參數(shù)的迭代值，其中，
Xi表示所述N個(gè)圖像樣本中的 第i樣本，^表示所述K個(gè)模型參數(shù)中的第1個(gè)模型參數(shù)，Θ表示所述K個(gè)模型參數(shù)組 成的K維變量表示Xi的類別對(duì)應(yīng)的模型參數(shù)，Z(Xi)表示Xi的隱變量z的取值范圍， f(Xi，z)表示X;的特征向量。
[0017] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方 式中，所述根據(jù)公式
，確定所述K個(gè)模型參數(shù)的迭 代值，包括：根據(jù)公式
確定βk對(duì)應(yīng) 的梯度，其中， < ·' !
i· rrt
表不1 (Θ)關(guān)于βk的偏 導(dǎo)函數(shù)，^^表示所述K個(gè)模型參數(shù)中的第k個(gè)模型參數(shù)，Zl(i3k)表示模型參數(shù)為^^時(shí)\ 的隱變量的初始值，f(Xl，Zl (βk))表示隱變量z取值Zl (βk)時(shí)Xl的特征向量；基于所述 βk對(duì)應(yīng)的梯度，以1 (Θ)為目標(biāo)函數(shù)，采用梯度上升算法，確定所述βk的迭代值。
[0018] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述迭代停止條件為所述目標(biāo)函數(shù)值1 (Θ)的變化小于預(yù)設(shè)閾值；或者，所述迭代停止條件 為迭代次數(shù)達(dá)到預(yù)設(shè)次數(shù)。
[0019] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述根據(jù)公另
確定所述K個(gè)模型參數(shù)的迭代值，包括：根 據(jù)公式
，并行計(jì)算 所述κ個(gè)模型參數(shù)的迭代值，其中，ΜΘ)是對(duì)ι(θ)中的對(duì)數(shù)取凹上界轉(zhuǎn)化而來的，
[0020] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述基于所述N個(gè)圖像樣本的特征向量，以及所述K個(gè)模型參數(shù)的迭代值，確定所述負(fù)圖像樣 本隱變量的迭代值，包括：根據(jù)公式< ?/(AyZh確定所述負(fù)圖像樣本隱 變量的迭代值，其中，Xl表示所述N個(gè)圖像樣本中的第i樣本，βt表示所述K個(gè)模型參數(shù) 中的第t個(gè)模型參數(shù)，且爲(wèi)*爲(wèi),.，爲(wèi)v表示Xl類別對(duì)應(yīng)的模型參數(shù)，Z(Xl)表示Xl的隱變量 Z的取值范圍，f(Xi,Z)表示Xi的特征向量，2丨表示模型參數(shù)為βt時(shí)Xi隱變量的迭代值，i為1至N中的任意整數(shù)，t為1至K中的任意整數(shù)。
[0021] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述基于所述N個(gè)圖像樣本的特征向量，以及所述K個(gè)模型參數(shù)的當(dāng)前值，確定所述正圖像樣 本隱變量的當(dāng)前值，包括：根據(jù)公式
確定所述正圖像樣本隱 變量的當(dāng)前值，其中，Xl表示所述N個(gè)圖像樣本中的第i樣本，爲(wèi),表示Xl類別對(duì)應(yīng)的模型 參數(shù)，Z(Xi)表示Xi的隱變量z的取值范圍，f(Xi,z)表示Xi的特征向量，< 表示模型參數(shù) 為爲(wèi)時(shí)Xl隱變量的當(dāng)前值，i為1至N中的任意整數(shù)。
[0022] 結(jié)合第一方面或其上述實(shí)現(xiàn)方式的任一種，在第一方面的另一種實(shí)現(xiàn)方式中，所 述基于每一個(gè)所述模型參數(shù)的初始值，確定每一個(gè)所述圖像樣本的隱變量的初始值，包括： 根據(jù)公式< Av/XW)，確定每一個(gè)所述圖像樣本的隱變量的初始值，其 中，Xi表示所述Ν個(gè)圖像樣本中的第i樣本，βk表示所述Κ個(gè)模型參數(shù)中的第k個(gè)模型參 數(shù)，Z(Xi)表示Xi的隱變量z的取值范圍，f(Xi,z)表示Xi的特征向量，< 表示模型參數(shù)為 βk時(shí)Xi隱變量z的初始值，i為1至N中的任意整數(shù)，k為1至K中的任意整數(shù)。
[0023] 第二方面，提供一種圖像分類方法，包括：獲取待分類圖像的特征向量；基于所 述待分類圖像的特征向量，利用K個(gè)分類器，確定所述待分類圖像的類別，其中，所述K 個(gè)分類器是利用第一方面或第一方面的任