一種基于isa模型的rgb-d圖像的多通道融合特征提取方法
【技術(shù)領(lǐng)域】：
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種對RGB-D圖像進(jìn)行特征提取的方法，可廣 泛用于互聯(lián)網(wǎng)和安防等領(lǐng)域。
【背景技術(shù)】：
[0002] 在計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)領(lǐng)域，近幾年不斷涌現(xiàn)出了許多新進(jìn)展。從神經(jīng)科學(xué)出 發(fā)，對圖像進(jìn)行多層次特征抽取，進(jìn)行線性或非線性轉(zhuǎn)換，并建立區(qū)域?qū)哟谓Y(jié)構(gòu)對特征進(jìn)行 提取。在機(jī)器人自主導(dǎo)航領(lǐng)域，使用多種傳感器后進(jìn)行多特征融合已經(jīng)是該領(lǐng)域的研究熱 點(diǎn)問題并且取得了良好的效果。
[0003] 本發(fā)明利用深度學(xué)習(xí)理論提取RGB-D圖像的多層次特征。深度學(xué)習(xí)理論的動機(jī)在 于模擬人腦解釋如圖像、聲音和文本等數(shù)據(jù)。隨著深度學(xué)習(xí)理論的逐漸成熟，基于深度學(xué)習(xí) 的語音和圖像識別在識別精度和效率上有了很大突破。
[0004] 常用于針對RGB圖像的特征提取方法有分梯度SIFT(尺度不變特征轉(zhuǎn)換）、PCA-SIFT(主成分分析-尺度不變特征轉(zhuǎn)換）和GL0H等。針對深度圖像的特征提取算法則并不多 見，實(shí)際中的算法多使用彩色圖像。獨(dú)立子空間分析ISA是在獨(dú)立分量分析ICA基礎(chǔ)上建立 起來的，比ICA更能反映出數(shù)據(jù)的本質(zhì)特征，所提取的特征具有更好的不變性，并且模型訓(xùn) 練速度更快。

【發(fā)明內(nèi)容】
：
[0005] 本發(fā)明的目的是提出一種新的基于RGB-D圖像的多通道融合特征提取方法，充分 挖掘彩色和深度信息。應(yīng)用深度學(xué)習(xí)理論，對異質(zhì)圖像進(jìn)行特征學(xué)習(xí)，并運(yùn)用有效融合手 段，設(shè)計(jì)出基于RGB-D圖像的特征提取方法，對RGB-D圖像進(jìn)行有效描述。
[0006] 為了實(shí)現(xiàn)上述目的，本發(fā)明首先使用Kinect獲取RGB-D圖像，通過圖像增強(qiáng)技術(shù)， 得到彩色可見光圖，彩色深度圖與灰度深度圖作為三通道圖像。分別進(jìn)行分塊和預(yù)處理，采 用兩層堆棧ISA模型實(shí)現(xiàn)多層次特征提取。最后再使用度量學(xué)習(xí)構(gòu)造融合空間，對三通道特 征進(jìn)行融合，從而得到RGB-D圖像的特征描述子。本發(fā)明的具體步驟描述如下。
[0007] (1)輸入所有RGB-D圖像(用于訓(xùn)練的數(shù)據(jù)和用于特征提取的數(shù)據(jù)），彩色圖和深度 圖均設(shè)置為320*240，30f bps。其中彩色圖直接使用，將深度圖的深度值轉(zhuǎn)為彩色深度圖和 灰度深度圖并用RGB模型表示，得到三通道圖像。
[0008] (2)對所有數(shù)據(jù)都分塊，分塊可以根據(jù)實(shí)際情況選擇時(shí)間和空間維度是否重疊。
[0009] (3)對所有數(shù)據(jù)零均值化和白化，得到處理好的用于訓(xùn)練和用于提取特征的三通 道數(shù)據(jù)。
[0010] ⑷分別對三通道用于訓(xùn)練的數(shù)據(jù)隨機(jī)選取，訓(xùn)練堆疊ISA網(wǎng)絡(luò)。先訓(xùn)練第一層，之 后固定第一層，輸入相同的數(shù)據(jù)，得到輸出后零均值化和白化，輸入第二層網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 得到該通道訓(xùn)練好的堆疊ISA網(wǎng)絡(luò)。共進(jìn)行3次，對每一通道專門訓(xùn)練各自的網(wǎng)絡(luò)。
[0011] (5)使用度量學(xué)習(xí)方法構(gòu)造轉(zhuǎn)換矩陣。輸入用于訓(xùn)練的數(shù)據(jù)，使用訓(xùn)練好的三通道 堆疊ISA網(wǎng)絡(luò)，將其輸出作為樣本，對于相同RGB-D視頻的三通道高層特征作為相似樣本，對 于不同RGB-D視頻的特征作為非相似樣本，使用凸優(yōu)化全局度量學(xué)習(xí)算法構(gòu)造融合空間，訓(xùn) 練轉(zhuǎn)換矩陣M。在融合空間內(nèi)將三通道特征合并。
[0012] (6)進(jìn)行特征提取。對于用于特征提取的視頻，進(jìn)過（1)到（3)的處理，得到三通道 數(shù)據(jù)，使用(4)中訓(xùn)練好的網(wǎng)絡(luò)，得到三通道特征，使用(5)中得到的矩陣，得到融合特征。
[0013] 本發(fā)明與現(xiàn)有方法相比，具有以下優(yōu)點(diǎn)：
[0014]由于本發(fā)明使用特征學(xué)習(xí)方法，因此可以根據(jù)三種不同圖像的不同特點(diǎn)進(jìn)行特征 提取。
[0015] 由于本發(fā)明使用了特征融合方法，使得最終提取出來的特征包含了三個(gè)通道兩種 模式下的圖像信息。
[0016] 由于本發(fā)明使用了深度學(xué)習(xí)方法，可以使用海量無標(biāo)簽互聯(lián)網(wǎng)數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，并 且對數(shù)據(jù)進(jìn)行多層轉(zhuǎn)換，使特征提取更為有效。
【附圖說明】：
[0017] 圖1是本發(fā)明的流程圖。
[0018] 圖2是具體的分塊示意圖。
[0019] 圖3是兩層ISA算法訓(xùn)練框圖。
[0020] 圖4是ISA算法特征提取框圖。
[0021]圖5是度量學(xué)習(xí)算法框圖。
【具體實(shí)施方式】：
[0022]步驟1:將獲取的RGB-D圖像增強(qiáng)為彩色可見光圖，彩色深度圖和灰度深度圖。
[0023] la)獲取彩色和深度數(shù)據(jù)：
[0024]從3D體感攝影機(jī)Kinect直接獲取的是彩色和深度圖，也就是RGB-D圖像，其中深度 數(shù)據(jù)流設(shè)置為圖像分辨率320*240,30fps。設(shè)置最小探測范圍常量和最大探測范圍常量，分 別為900和4095，Kinect直接傳來每個(gè)像素的深度值是視場中物體離攝像機(jī)的距離。深度數(shù) 據(jù)流中深度幀的每個(gè)像素占16位、2個(gè)字節(jié)，每個(gè)像素的深度值占用了該16位中的13位。每 個(gè)像素的深度值存儲在第3至15位中，需要將人物索引位移除，得到深度數(shù)據(jù)，即：I Depth = FDepth>>3,其中FDepth表示傳回的深度數(shù)據(jù)，I Depth表示深度幀中每個(gè)像素的深度值；
[0025] lb)獲取灰度深度圖Igdepth:
[0026] 將彩色影像的格式轉(zhuǎn)化為BGR32類型，其中BGR32類型的每個(gè)像素占32位，R、G、B分 別占8位，剩余8位留用。分別對深度幀的R、G、B三個(gè)通道的每個(gè)像素的深度值進(jìn)行轉(zhuǎn)換：
[0027] IGrey=(lDepth/4095)X255,
[0028] 其中1(^#表示灰度深度圖Ig(fepth單個(gè)通道的每個(gè)像素的灰度值；
[0029] lc)獲取彩色深度圖Icdepth。先將深度數(shù)據(jù)值IGrey轉(zhuǎn)換為色調(diào)和飽和度HSI模型，之 后轉(zhuǎn)換為RGB模式顯示深度數(shù)據(jù)。任何不在范圍內(nèi)的都設(shè)置為白色。
[0030] 將深度值除以深度探測最大值4095,然后乘以255,賦值給H。即H=(IDepth/4095)X 255。之后將HSI模型轉(zhuǎn)為RGB模型，設(shè)S、I分量的值在[0，1]內(nèi)，R、G、B分量的值也在[0，1]內(nèi)， 則由HSI模型向RGB模型的轉(zhuǎn)換公式如下：
[0031] (1)當(dāng)0。<H<120。時(shí)，
[0041 ] R = 3I-(B+R)
[0042] G = I(1-S)
[0043] Id)獲取彩色可見光圖像IccliOT，設(shè)置為與深度圖相同的320*240,30fps。
[0044] 步驟2:對視頻進(jìn)行分塊。
[0045] 2a)對視頻進(jìn)行分塊時(shí)總體上分為時(shí)間維度和空間維度。參見圖2,其中時(shí)間維度 為一維，空間維度為2維，將視頻分成16 X 16 X 10的小塊。對于視頻每一幀長寬在分塊后有 剩余的情況，則將剩余部分舍棄；
[0046] 2b)分塊可以根據(jù)實(shí)際情況選擇在時(shí)間和空間上是否重疊，重疊越多，精度越高， 但是訓(xùn)練和測試時(shí)間就越長；
[0047] 可以選擇：
[0048] 1、時(shí)間維度和空間維度都不重疊，如圖2(a);
[0049] 2、空間維度重疊而時(shí)間維度不重疊，如圖2(b);
[0050] 3、時(shí)間維度重疊，而空間維度不重疊，如圖2(c);
[0051] 4、時(shí)間維度和空間維度均重疊，如圖2(d)。
[0052] 2c)分別對彩色可見光圖Iccllcir，彩色深度圖Icdepth，灰度深度圖I gdepth進(jìn)行取塊，并 將每一個(gè)圖像塊拉成列向量XER25'依次存放在矩陣中，其中V表示取塊的數(shù) 目，v = 30000 ~60000。
[0053] 步驟3:對視頻數(shù)據(jù)預(yù)處理。
[0054] 3a)求矩陣f的去均值矩陣X:
[0055] 義=義-2 ,
[0056] 其中表示矩陣1的列均值矩陣，X表示矩陣X的去均值矩陣，f每一列 的值為矩陣X對應(yīng)列的均值；
[0057] 3b)采用PCA白化算法求得矩陣X的白化矩陣X p
[0058] 步驟4:利用X訓(xùn)練堆疊ISA網(wǎng)絡(luò)。
[0059] 4a)從Y中分離出彩色可見光圖訓(xùn)練集X。。：!。!·，彩色深度圖訓(xùn)練集Χ。-*，灰度深度 圖訓(xùn)練集X gdepth，并對每一訓(xùn)練集分別進(jìn)行4b)到4e)的操作，訓(xùn)練相應(yīng)的ISA網(wǎng)絡(luò)權(quán)值W;
[0060] 4b)利用訓(xùn)練集訓(xùn)練第一層ISA網(wǎng)絡(luò)的權(quán)值W，W通過解決以下優(yōu)化問題得到：
[0062] 其中，X)表示相應(yīng)訓(xùn)練集第j的行，第t列的值，Wqj表示ISA網(wǎng)絡(luò)權(quán)值矩陣WeRkx256() 第q行，第j列的值，k表示ISA網(wǎng)絡(luò)簡單單元的數(shù)量，Vlq表示ISA網(wǎng)絡(luò)矩陣VERmX1^i行，第q 列的值，m是ISA網(wǎng)絡(luò)復(fù)雜單元的數(shù)量，T表示訓(xùn)練集的列數(shù)，I表示單位矩陣。優(yōu)化問題通過 梯度下降算法求解。
[0063] 4c)將相應(yīng)訓(xùn)練集輸入ISA網(wǎng)絡(luò)，得到ISA網(wǎng)絡(luò)的第一層輸出值YISA1，并重復(fù)步驟3 進(jìn)行零均值和白化操作；
[0064] 4d)拼接k個(gè)塊的輸出Yisai組成第二層的輸入向量，XISA2= [yisAi;yisA2. · .yisAk]，其 中k = 3~5，根據(jù)視頻長度而定；
[0065] 4e)重復(fù)步驟4b)，利用MSA2,訓(xùn)練第二層ISA網(wǎng)絡(luò)權(quán)值矩陣W2;
[0066] 步驟5:訓(xùn)練度量學(xué)習(xí)算法。
[0067] 5a)構(gòu)造相似標(biāo)簽集合S