一種基于視觸覺融合的目標屬性和類別的識別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種基于視觸覺融合的目標屬性和類別的識別方法，屬于物體分類技 術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] B冊系列的Barrett化nd靈巧手是一個可編程的多手指抓持器，它具有非常高的靈 活性，可W抓取不同形狀、大小及姿態(tài)的目標物體。該靈巧手由S個手指F1、F2、F3和一個手 掌S四個觸覺傳感器組成，每個傳感器分別包含24個觸覺陣列，可抓取物體并采集所抓取物 體的觸覺信息得到觸覺時間序列。
[0003] 在現(xiàn)有的物體類型識別技術(shù)中，包括有多種不同方式的物體類型識別技術(shù)，例如： 基于啟發(fā)式規(guī)則方式的物體類型識別技術(shù)，多采用物體的形狀、大小、比例等簡單信息對提 取的前景物體進行分析，得到物體的類型，但是運種方法比較簡單，效果差且抗干擾能力 差。然而，基于靈巧手觸覺和攝像頭視覺信息的物體類別分類和屬性分類從一個新的角度 對物體進行分類，得到魯棒的效果。
[0004] 經(jīng)對現(xiàn)有的技術(shù)文獻檢索分析，發(fā)現(xiàn)鄧亞峰等人的發(fā)明專利"物體分類模型的訓(xùn) 練方法及利用該模型的識別方法，申請?zhí)枮?01010536354.r中掲示了一種物體分類模型 的基于圖像的訓(xùn)練方法，此發(fā)明對提取的前景物體區(qū)域進行主軸歸一化變換；同時，采用塊 匹配技術(shù)對不同帖圖像上的前景物體區(qū)域進行對齊處理，提取的前景物體區(qū)域中有效的物 體前景區(qū)域作為最終前景物體區(qū)域，從而實現(xiàn)物體分類。但該方法只是提取物體不同帖圖 像作為分類特征，未將類似方法應(yīng)用在觸覺信息和視覺信息融合的方法上。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提出一種基于視觸覺融合的目標屬性和類別的識別方法，在最近 鄰算法的基礎(chǔ)上實現(xiàn)基于視觸覺信息的物體類別和屬性類別分類，提高目標分類的魯棒性 和準確率。
[0006] 本發(fā)明提出的基于視觸覺融合的目標屬性和類別的識別方法，包括W下步驟：
[0007] (1)采集作為訓(xùn)練樣本物體的視觸覺信息：
[000引設(shè)定用于精細目標識別的靈巧手的抓取力矩值為F，F(xiàn) = 2300-4000N/m，靈巧手手 掌的零觸覺信號為Z，靈巧手的非零觸覺信號為Y，采集訓(xùn)練樣本的視覺圖像，將訓(xùn)練樣本放 到靈巧手的手掌上，監(jiān)測并采集手掌的觸覺信息，當監(jiān)測到手掌的觸覺信息為零觸覺信號Z 時，繼續(xù)等待觸覺信息，當監(jiān)測到手掌的觸覺信息為非零觸覺信號Y時，向靈巧手發(fā)送一個 抓取指令，使靈巧手抓取訓(xùn)練樣本，到達上述設(shè)定的力矩值F時停止抓取，實時采集抓取過 程中靈巧手的手指的觸覺信息，得到一個觸覺時間序列；
[0009] (2)設(shè)訓(xùn)練樣本的個數(shù)為N，按照訓(xùn)練樣本的物體類別和屬性，將訓(xùn)練樣本分為i類 物體、j類屬性，每個訓(xùn)練樣本的標簽為ci*、c/，其中1 y如、1幻?如，重復(fù)上述步驟（1)， 遍歷所有的N個訓(xùn)練樣本，對每個訓(xùn)練樣本抓取，采集觸覺信息得到觸覺時間序列和視覺圖 像，得到一個1*N大小的觸覺訓(xùn)練樣本數(shù)據(jù)集，數(shù)據(jù)集的表達式為：
[0010] Str=[Sl,S2,---,SN]
[0011] (3)設(shè)測試樣本的個數(shù)為M，利用上述步驟（1)和步驟(2)的方法，采集每個測試樣 本的視覺圖像，抓取測試樣本，得到每個測試樣本的觸覺時間序列，得到一個1*M大小的觸 覺測試樣本數(shù)據(jù)集，數(shù)據(jù)集的表達式為：
[001^ Ste=[Sl，S2，...，SM]
[0013] (4)設(shè)觸覺訓(xùn)練樣本數(shù)據(jù)集中，觸覺時間序列Si的長度為Tn，表達式為： 8, = 口,,，8/，:，,..，8巧],其中1^如，
[0014] 觸覺測試樣本數(shù)據(jù)集中，觸覺時間序列S J的長度為T m，表達式為： 3"?=民,.|，8.。,...,8誠.]''其中1^含]/[，
[0015] 設(shè)Si和Sj之間的抓取匹配路徑為W，wk=(v，h)k為抓取匹配路徑W中的第k個元素 ，WK 是W的最后一個路徑，W = W1，W2，. . .，WK，maX(Tm，Tn) <K<Tm+Tn-l;
[0016] 根據(jù)上述抓取匹配路徑W，按照動態(tài)時間規(guī)整理論，計算得到時間序列Si和Sj之間 的最小匹配路徑DTW(Si，Sj)為：
[0017]
[001引其中，;^為K個抓取匹配路徑之和；
[0019] (5)遍歷觸覺訓(xùn)練樣本數(shù)據(jù)集中的所有觸覺時間序列，重復(fù)步驟(4)，得到觸覺測 試樣本數(shù)據(jù)集中的一個觸覺時間序列Sj與觸覺訓(xùn)練樣本數(shù)據(jù)集中的所有觸覺時間序列Str 之間的最小陽配路倒)TW(St . Str). 1 y < M，表達式為：
[0020]
[0021] Str=[Si,S2,---,SN]
[0022] DTW(Sj，Str) = [DTW(Sj，Si)，DTW(SJ，S2)，…，DTW(Sj，Sn)]
[0023] (6)遍歷觸覺測試樣本數(shù)據(jù)集中的所有觸覺時間序列，重復(fù)步驟(5)得到觸覺測試 樣本數(shù)據(jù)集中的所有觸覺時間序列Ste分別與觸覺訓(xùn)練樣本數(shù)據(jù)集中的所有觸覺時間序列 Str的最小匹配路徑DTW(Ste，Str),構(gòu)建一個動態(tài)時間規(guī)整距離矩陣D :
[0024]
[0025] 上述距離矩陣D中，Dll是Ste中第一個觸覺時間序列與Str中第一個觸覺時間序列之 間的DTW距離，DiN是Ste中第一個觸覺時間序列與Str中第N個觸覺時間序列之間的DTW距離， Dmi是Ste中第M個觸覺時間序列與St沖第一個觸覺時間序列之間的DTW距離，Dmn是Ste中第M 個觸覺時間序列與Str中第N個觸覺時間序列之間的DTW距離；
[0026] (7)從上述訓(xùn)練樣本的視覺圖像中提取協(xié)方差描述子，得到一個視覺訓(xùn)練樣本數(shù) 據(jù)集Rtr，表達式為：Rtr =化，R2，…，Rn]，
[0027] 從上述測試樣本的視覺圖像中提取協(xié)方差描述子，得到一個視覺測試樣本數(shù)據(jù)集 Rte,表達式為：Rte= [Ri ,化，…，Rm]，
[002引采用Log-Euclidean距離dc。v(R。，Rr)，l<o<N，l非<M，近似度量視覺訓(xùn)練樣本數(shù) 據(jù)集Rtr中的任意一個協(xié)方差描述子與視覺測試樣本數(shù)據(jù)集Rte中的任意一個協(xié)方差描述子 之間的差異，表達式為：
[0029] dc〇v(R〇,Rr)= I Ilogm(Ro)-Iogm(Rr)I |f,
[0030] 其中Iogm表示對矩陣求對數(shù)；
[0031] (8)遍歷視覺訓(xùn)練樣本數(shù)據(jù)集Rtr中的所有協(xié)方差描述子，重復(fù)步驟(7)，得到視覺 測試樣本數(shù)據(jù)集Rte中一個協(xié)方差描述子與視覺訓(xùn)練樣本數(shù)據(jù)集Rtr中的所有協(xié)方差描述子 之間的Log-Euc 1 i dean距離d，表達式為：
[003^ d=[di,d2,...dN]
[0033] (9)遍歷視覺測試樣本數(shù)據(jù)集Rte中的所有協(xié)方差描述子，重復(fù)步驟(8)，得到視覺 測試樣本數(shù)據(jù)集中的所有協(xié)方差描述子與視覺訓(xùn)練樣本數(shù)據(jù)集中的所有協(xié)方差描述子之 間的Log-Euclidean距離d，構(gòu)成Log-Euclidean距離矩陣Die,表達式為：
[0034]
[0035] 丄;問Wl吁UieT，U11疋Rte中第一個協(xié)方差描述子與R化中第一個協(xié)方差描述子 之間的Log-Euc 1 i dean距離，diN是Rte中第一個協(xié)方差描述子與Rtr中第N個協(xié)方差描述子之 間的Log-Eucl idean距離，dMi是Rte中第M個協(xié)方差描述子與Rtr中第一個協(xié)方差描述子之間 的Log-Euc 1 idean距離，dMN是Rte中第M個協(xié)方差描述子與Rtr中第N個協(xié)方差描述子之間的 Log-Euclide 曰 n 足巨離；
[0036] (10)根據(jù)上述步驟（6)得到的動態(tài)時間規(guī)整（DTW)距離矩陣D和步驟（9)得到的 Log-Euclidean距離矩陣Die,得到第A個測試樣本的動態(tài)時間規(guī)整（DTW)距離Al和Log-Euclidean 距離 A2, 表達式為：
[0037] Ai=[Da'i,Da'2,... ,Da'n]
[003引 A2=[dA,l,dA,2,... ,dA,N]
[0039] 分別求出Al和A2中的最小值Da和db，其中I如如，I非如，根據(jù)最近鄰算法，則第 a個訓(xùn)練樣本的標簽Ca巧P為第A個測試樣本的屬性，第b個訓(xùn)練樣本的標簽Cb巧P為第A個測 試樣本的類別；
[0040] (11)重復(fù)步驟（10)，得到所有測試樣本的屬性和類別，完成目標屬性和類別的識 別。
[0041] 本發(fā)明提出的基于視觸覺融合的目標屬性和類別的識別方法，具有W下優(yōu)點：
[0042] 1、本發(fā)明提出的基于視觸覺融合的目標屬性和類別的識別方法，利用