本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域,更具體地,涉及一種基于三角面片的三維場景下的物體識別方法及系統(tǒng)。
背景技術(shù):
隨著人類社會的發(fā)展,圖像識別已經(jīng)迅速發(fā)展成為一項(xiàng)極為重要的科技手段,其研究目標(biāo)是賦予計(jì)算機(jī)人類的視覺能力,使其通過圖像認(rèn)知周邊環(huán)境信息,包括識別環(huán)境中三維目標(biāo)的幾何形狀、位置和姿態(tài)等。圖像識別需要綜合運(yùn)用計(jì)算機(jī)科學(xué)、模式識別、機(jī)器視覺及圖像理解等學(xué)科,并隨著這些學(xué)科的發(fā)展而前進(jìn)。
一般來說,圖像識別系統(tǒng)由以下幾個(gè)部分組成。第一部分是圖像信息的獲取,對圖像識別來說就是把圖片、底片和文字圖形等用光電掃描設(shè)備轉(zhuǎn)換為電信號以備后續(xù)處理。第二部分是圖像的預(yù)處理,主要目的是消除無關(guān)特征并加強(qiáng)感興趣特征。第三步是特征提取,常用的特征包括顏色,紋理,尺度不變特征變換(Scale-invariant feature transform,SIFT),梯度直方圖特征(Histogram of Oriented Gradient,HOG)等。第四部分是判決或分類。其中訓(xùn)練方法可以采用支持向量機(jī)方法(Support Vector Machine,SVM)、改進(jìn)的迭代訓(xùn)練方法(Adaptive Boostint,AdaBoost)等。
目前,最主流的三種三維物體識別研究思路是:1)基于模型或幾何的方法;2)基于外觀和視圖的方法;3)基于局部特征匹配的方法。
基于模型或幾何的方法的原理就是利用傳感器獲得真實(shí)目標(biāo)的三維信息并對信息進(jìn)行分析處理,得到一種表面、邊界及連接關(guān)系的描述。這種方法優(yōu)點(diǎn)是比較直觀和易于理解,但是一般使用的算法的運(yùn)算量都較大,并且需要人工借助計(jì)算機(jī)輔助設(shè)計(jì)(Computer Aided Design,CAD)等軟件產(chǎn)生模型。
基于視圖的方法通過視覺相似性來識別物體,識別系統(tǒng)設(shè)計(jì)相對簡單,無需顯式地計(jì)算物體三維模型。該方法一般分為兩個(gè)步驟:首先,通過不同光照條件和三維物體在二維圖像中呈現(xiàn)出的不同姿態(tài),來自動地學(xué)習(xí)物體的表示或訓(xùn)練系統(tǒng);然后,在一幅未知的二維圖像中判斷是否存在目標(biāo)物。該方法的限制條件是感興趣的對象必須與背景能夠較好的區(qū)分開來,因此對物體間的重疊較為敏感,且需要較好的圖像分割。但當(dāng)物體的幾何建模很困難或根本不可能得到時(shí),則可利用基于視圖的方法來識別三維物體。
基于局部特征匹配的方法主要包括點(diǎn)、線和面的局部特征,它的優(yōu)點(diǎn)是,因?yàn)橐暯歉淖円鸬奈矬w外觀的形變,全局看來盡管非常復(fù)雜,但在局部的尺度上可通過簡單的變化來估計(jì);同時(shí)因?yàn)闊o需所有的局部特征得到匹配,這種方法在物體有重疊和復(fù)雜背景情況下都有較好的穩(wěn)健性。因?yàn)榻⒘藚^(qū)域間的相似性,物體識別也做到了局部化;二維圖像識別中在圖像的預(yù)處理階段往往通過超像素分割成不同的區(qū)域,然后對區(qū)域進(jìn)行特征提取并進(jìn)行分類,而三維場景由于其結(jié)構(gòu)復(fù)雜性,不能通過劃分超像素區(qū)域進(jìn)行識別。
技術(shù)實(shí)現(xiàn)要素:
針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求,本發(fā)明提供了一種基于三角面片的三維場景下的物體識別方法及系統(tǒng),其目的在于將待識別三維場景劃分為不同大小的三角面片,利用三角面片中的目標(biāo)的特征進(jìn)行識別,由此將二維圖像識別方法進(jìn)行擴(kuò)展,提出一種基于三角面片的草地識別方法。
為實(shí)現(xiàn)上述目的,按照本發(fā)明的一個(gè)方面,提供了一種基于三角面片的三維場景下的物體識別方法,該方法包括以下步驟:
(1)將待識別三維場景進(jìn)行三維重建,按三維場景表面的三角網(wǎng)格劃分三角面片;
(2)提取所有三角面片單元的HSI特征;
(3)根據(jù)選定三角面片和其共享邊的相鄰三角面片的H特征值和S特征值進(jìn)行直方圖統(tǒng)計(jì),將統(tǒng)計(jì)數(shù)據(jù)放入特征向量中,將三角面片的特征向量和其相鄰三角面片的特征向量進(jìn)行疊加(說明書中詳細(xì)說明),疊加結(jié)果作為選定三角面片的特征向量;
(4)將選定三角面片的特征向量輸入到SVM識別模型中,獲取識別結(jié)果。
進(jìn)一步地,所述步驟(3)中進(jìn)行直方圖具體設(shè)置為:
設(shè)置H特征值直方圖和S特征值直方圖的組數(shù)為8,組距分別為H特征值取值范圍的1/8和S特征值取值范圍的1/8。
進(jìn)一步地,所述步驟(3)中將統(tǒng)計(jì)數(shù)據(jù)放入特征向量中具體為:
將三角面片的H特征值進(jìn)行直方圖統(tǒng)計(jì)得到一組8維向量,將三角面片的S特征值進(jìn)行直方圖統(tǒng)計(jì)也得到一組8維向量,將H特征值的8維向量和S特征值的8維向量首尾相連組成16維的特征向量。
進(jìn)一步地,所述步驟(3)中特征向量進(jìn)行疊加具體為:
其中,{H11,H12,H13,...,H18,S11,S12,...,S18}和{H21,H22,H23,...,H28,S21,S22,...,S28}表示16維的特征向量。
進(jìn)一步地,所述步驟(4)中SVM識別模型的訓(xùn)練過程具體為:
(41)收集設(shè)定張正樣本和設(shè)定張負(fù)樣本作為樣本集,正樣本選取全為待識別物體的二維圖片,負(fù)樣本選取不含待識別物體的二維圖片;
(42)將所有樣本的尺寸調(diào)整為一致,選擇多個(gè)預(yù)設(shè)的尺度對樣本進(jìn)行三角面片的劃分,提取所有三角面片的HSI特征;
(43)根據(jù)選定三角面片和其共享邊的相鄰三角面片的H特征值和S特征值進(jìn)行直方圖統(tǒng)計(jì),將統(tǒng)計(jì)數(shù)據(jù)放入特征向量中,將三角面片的特征向量和其相鄰三角面片的特征向量進(jìn)行疊加,疊加結(jié)果作為選定三角面片的特征向量;
(44)將所有樣本的特征向量輸入到SVM進(jìn)行訓(xùn)練;SVM的決策函數(shù)為:
其中,L表示分類總數(shù),取值2;ci表示函數(shù)系數(shù),ci∈R;γ表示交叉校驗(yàn)的參數(shù),γ∈R+;表示被選用為訓(xùn)練的支撐向量;h0表示訓(xùn)練的非支撐向量;采用直方圖的卡方距離作為核函數(shù),定義為:
其中,N表示樣本集中特征向量總數(shù)量;表示第k個(gè)特征向量對應(yīng)的支撐向量;h0(k)表示第k個(gè)特征向量;
(45)訓(xùn)練后得到SVM識別模型參數(shù),構(gòu)建SVM識別模型。
按照本發(fā)明的另一方面,提供了一種基于三角面片的三維場景下的物體識別系統(tǒng),改系統(tǒng)包括以下模塊:
三角面片劃分模塊,用于將待識別三維場景進(jìn)行三維重建,按三維場景表面的三角網(wǎng)格劃分三角面片;
HSI特征提取模塊,用于提取所有三角面片單元的HSI特征;
特征向量計(jì)算模塊,用于根據(jù)選定三角面片和其共享邊的相鄰三角面片的H特征值和S特征值進(jìn)行直方圖統(tǒng)計(jì),將統(tǒng)計(jì)數(shù)據(jù)放入特征向量中,將三角面片的特征向量和其相鄰三角面片的特征向量進(jìn)行疊加,疊加結(jié)果作為選定三角面片的特征向量;
識別模塊,用于將選定三角面片的特征向量輸入到SVM識別模型中,獲取識別結(jié)果。
進(jìn)一步地,所述特征向量計(jì)算模塊中進(jìn)行直方圖具體設(shè)置為:
設(shè)置H特征值直方圖和S特征值直方圖的組數(shù)為8,組距分別為H特征值取值范圍的1/8和S特征值取值范圍的1/8。
進(jìn)一步地,所述特征向量計(jì)算模塊中將統(tǒng)計(jì)數(shù)據(jù)放入特征向量中具體為:
將三角面片的H特征值進(jìn)行直方圖統(tǒng)計(jì)得到一組8維向量,將三角面片的S特征值進(jìn)行直方圖統(tǒng)計(jì)也得到一組8維向量,將H特征值的8維向量和S特征值的8維向量首尾相連組成16維的特征向量。
進(jìn)一步地,所述步驟(3)中特征向量進(jìn)行疊加具體為:
其中,{H11,H12,H13,...,H18,S11,S12,...,S18}和{H21,H22,H23,...,H28,S21,S22,...,S28}表示16維的特征向量。
進(jìn)一步地,所述識別模塊中SVM識別模型的訓(xùn)練系統(tǒng)包括以下單元:
樣本采集單元,用于收集多張正樣本和多張負(fù)樣本作為樣本集,正樣本選取全為待識別物體的二維圖片,負(fù)樣本選取不含待識別物體的二維圖片;
三角面片劃分單元,用于將所有樣本的尺寸調(diào)整為一致,選擇多個(gè)預(yù)設(shè)的尺度對樣本進(jìn)行三角面片的劃分,提取所有三角面片的HSI特征;
特征向量計(jì)算單元,用于根據(jù)選定三角面片和其共享邊的相鄰三角面片的H特征值和S特征值進(jìn)行直方圖統(tǒng)計(jì),將統(tǒng)計(jì)數(shù)據(jù)放入特征向量中,將三角面片的特征向量和其相鄰三角面片的特征向量進(jìn)行疊加,疊加結(jié)果作為選定三角面片的特征向量;
訓(xùn)練單元,用于將所有樣本的特征向量輸入到SVM進(jìn)行訓(xùn)練;SVM的決策函數(shù)為:
其中,L表示分類總數(shù),取值2;ci表示函數(shù)系數(shù),ci∈R;γ表示交叉校驗(yàn)的參數(shù),γ∈R+;表示被選用為訓(xùn)練的支撐向量;h0表示訓(xùn)練的非支撐向量;采用直方圖的卡方距離作為核函數(shù),定義為:
其中,N表示樣本集中特征向量總數(shù)量;表示第k個(gè)特征向量對應(yīng)的支撐向量;h0(k)表示第k個(gè)特征向量;
模型構(gòu)建單元,用于訓(xùn)練后得到SVM識別模型參數(shù),構(gòu)建SVM識別模型。
總體而言,通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比,具有以下技術(shù)特征及有益效果:
(1)本發(fā)明技術(shù)方案利用了重建出的三維場景中的三角網(wǎng)格,將三維場景劃分為多個(gè)二維三角面片,避免在三維場景中進(jìn)行超像素提取過于復(fù)雜的問題;
(2)本發(fā)明技術(shù)方案采用多尺度特征信息和鄰域信息融合,簡單有效,識別率高,還能夠進(jìn)一步用于三維場景表面重建和場景理解分析等問題。
附圖說明
圖1是本發(fā)明實(shí)施例草地識別方法流程;
圖2是本發(fā)明實(shí)施例草地識別的SVM訓(xùn)練的流程圖;
圖3a是本發(fā)明實(shí)施例草地樣本H數(shù)據(jù)統(tǒng)計(jì)直方圖;
圖3b是本發(fā)明實(shí)施例天空樣本H數(shù)據(jù)統(tǒng)計(jì)直方圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。此外,下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
如圖1所示為采用本發(fā)明技術(shù)方案的三維場景的草地識別方法流程,包括以下步驟:
(1)將待識別三維場景進(jìn)行三維重建,按三維場景表面的三角網(wǎng)格劃分三角面片。
(2)提取所有三角面片單元的HSI特征。
(3)根據(jù)選定三角面片和其共享邊的相鄰三角面片的H特征值和S特征值進(jìn)行直方圖統(tǒng)計(jì),將統(tǒng)計(jì)數(shù)據(jù)放入特征向量中,將三角面片的特征向量和其相鄰三角面片的特征向量進(jìn)行疊加,疊加結(jié)果作為選定三角面片的特征向量。
(4)將選定三角面片的特征向量輸入到SVM識別模型中,獲取識別結(jié)果。
如圖2所示為采用本發(fā)明技術(shù)方案的構(gòu)建三維場景的草地SVM識別模型的流程:
(1)搜集50張正樣本和200張負(fù)樣本,選擇全為草地的圖像作為正樣本以便于進(jìn)行訓(xùn)練集采樣和特征提取,由于負(fù)樣本要涵蓋的種類復(fù)雜,這里選擇帕斯卡數(shù)據(jù)集(PASCAL VOC)中的各類非草地目標(biāo)作為負(fù)樣本。
(2)將正負(fù)訓(xùn)練樣本的尺寸調(diào)整為162*162,將訓(xùn)練樣本作規(guī)則直角三角面片劃分處理,三角面片的尺寸為3種,分別是直角邊長3個(gè)像素點(diǎn)、6個(gè)像素點(diǎn)和9個(gè)像素點(diǎn);由于樣本圖像是RGB模式,但由于RGB模式在不同條件下,測得RGB的顏色值分布分散,在RGB空間兩點(diǎn)的歐式距離和顏色距離不成線性關(guān)系,不利于進(jìn)行顏色特征的分類。為提高識別效果,將顏色表示從RGB顏色空間轉(zhuǎn)化為更接近人眼觀察方式的HSI顏色空間,從而提高不同光照下環(huán)境下識別系統(tǒng)的魯棒性。在HSI顏色空間中:H代表色度;S代表飽和度;I代表亮度。3個(gè)分量中,受光照影響最大的是I分量,而H和S通常是構(gòu)成物體的原材料的光線吸收和反射特征決定。為了減少光照對識別精度的影響,在識別目標(biāo)時(shí),以H和S作為提取的特征。從RGB到HSI的轉(zhuǎn)換公式如下:
I=(R+G+B)/3
S=1-3min(R,G,B)/I
若B>G,H=360-H
(3)根據(jù)選定三角面片和其共享邊的相鄰三角面片的H特征值和S特征值進(jìn)行直方圖統(tǒng)計(jì),將統(tǒng)計(jì)數(shù)據(jù)放入特征向量中,將三角面片的特征向量和其相鄰三角面片的特征向量進(jìn)行疊加,疊加結(jié)果作為選定三角面片的特征向量。設(shè)置H特征值直方圖和S特征值直方圖的組數(shù)為8,組距分別為H特征值取值范圍的1/8和S特征值取值范圍的1/8。將三角面片的H特征值進(jìn)行直方圖統(tǒng)計(jì)得到一組8維向量,將三角面片的S特征值進(jìn)行直方圖統(tǒng)計(jì)也得到一組8維向量,將H特征值的8維向量和S特征值的8維向量首尾相連組成16維的特征向量。將三角面片的特征向量保存成mat文件供SVM使用。如圖3a所示為天空樣本中某個(gè)三角面片的H直方圖統(tǒng)計(jì)結(jié)果,如圖3b所示為草地樣本中某個(gè)三角面片的H直方圖統(tǒng)計(jì)結(jié)果。
(4)將所有樣本的特征向量輸入到SVM進(jìn)行訓(xùn)練;SVM的決策函數(shù)為:
其中,L表示分類總數(shù),取值2;ci表示函數(shù)系數(shù),ci∈R;γ表示交叉校驗(yàn)的參數(shù),γ∈R+;表示被選用為訓(xùn)練的支撐向量;h0表示訓(xùn)練的非支撐向量;采用直方圖的卡方距離作為核函數(shù),定義為:
其中,N表示樣本集中特征向量總數(shù)量;表示第k個(gè)特征向量對應(yīng)的支撐向量;h0(k)表示第k個(gè)特征向量。
根據(jù)直方圖的卡方距離計(jì)算協(xié)方差矩陣空間。對這個(gè)協(xié)方差矩陣空間進(jìn)行鏡像變換得到對應(yīng)的超平面矩陣,也就是說將一個(gè)向量變換為由一個(gè)超平面反射的鏡像,是一種線性變換,SVM就是在特征空間中構(gòu)造最優(yōu)超平面。得到協(xié)方差矩陣以及其對應(yīng)的超平面矩陣,根據(jù)這兩個(gè)矩陣分別計(jì)算每個(gè)特征的特征系數(shù),并將特征系數(shù)對協(xié)方差矩陣進(jìn)行縮放。對縮放后的協(xié)方差矩陣求逆后,計(jì)算模型參數(shù)。將訓(xùn)練好的SVM模型的參數(shù)存入矩陣文件中以供后續(xù)三維場景草地識別調(diào)用。
以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。