本發(fā)明涉及一種數(shù)據(jù)處理方法,特別涉及一種人機互動系統(tǒng)中的圖像數(shù)據(jù)的噪聲抑制方法。
背景技術(shù):
人機互動就是實現(xiàn)人和機器之間的互動。隨著多媒體技術(shù)和投影技術(shù)的快速發(fā)展,人機互動系統(tǒng)在我們的生活中的應(yīng)用越來越廣泛。例如博物館和展會的人機互動技術(shù)可以讓人們更好的接受科普知識和商品信息。但是現(xiàn)在人們的生活質(zhì)量提高了,也要求人機互動系統(tǒng)的各方面有更高的性能。在人機互動系統(tǒng)中,目標運動軌跡的定位準確性和互動系統(tǒng)的抗干擾性,魯棒性都是很重要的指標。為了保證互動效果的良好,在設(shè)計互動系統(tǒng)的時候要著重考慮這些指標。目前的人機互動系統(tǒng)中,主要是基于語音或者機器視覺來實現(xiàn)的。基于語音交互的系統(tǒng),效率低下,互動效果較差,尤其在嘈雜的環(huán)境中,很難達到預(yù)想的目標。基于視覺交互的系統(tǒng),硬件的成本低,交互的方式多種多樣。但是目前的人機交互系統(tǒng)對目標軌跡的跟蹤不精確,抗干擾能力也較差,因此不能很好的達到實時精準人機交互的目標。
基于激光傳感器深度攝像頭系統(tǒng),可以接受紅外信號,使用者利用紅外筆配合手勢進行人機互動,將使人機交互不受到普通顯示屏幕的限制,對人機交互的應(yīng)用具有顯著意義。但是,如何處理攝像頭系統(tǒng)的數(shù)據(jù),以適應(yīng)較為復(fù)雜的視覺應(yīng)用環(huán)境,是需要解決的問題。
技術(shù)實現(xiàn)要素:
本發(fā)明的發(fā)明目的是提供一種用于人機互動的基于激光傳感器深度攝像頭系統(tǒng)數(shù)據(jù)處理方法,保證目標軌跡跟蹤的精準度和抗干擾性,以提升互動體驗。
為達到上述發(fā)明目的,本發(fā)明采用的技術(shù)方案是:一種用于人機互動的基于激光傳感器深度攝像頭系統(tǒng)數(shù)據(jù)處理方法,包括數(shù)據(jù)獲取和噪聲處理,所述噪聲處理的方法是:
將從攝像頭系統(tǒng)獲取的原始采集的圖像數(shù)據(jù),分成兩部分,對其中第一部分進行動態(tài)自適應(yīng)濾波,對其中第二部分進行無跡卡爾曼濾波,最后對處理好的上述數(shù)據(jù)進行聚類濾波,輸出處理后的數(shù)據(jù)。
上述技術(shù)方案中,所述動態(tài)自適應(yīng)濾波方法如下:
依據(jù)感應(yīng)測距系統(tǒng)的極坐標值(li,j,λi,j),數(shù)據(jù)分析窗口設(shè)計為:
式中,i表示人機互動系統(tǒng)感應(yīng)測距數(shù)據(jù)的采樣時刻;j指的是一幀數(shù)據(jù)中測量點的編號,上述數(shù)據(jù)分析窗口中的9個測量值在空間和時間上有較大相關(guān)性,定義Δlmin為li,j和相鄰測量值的差值,如下所示:
Δlmin=min{|lt+i,s+j-li,j|,t,s=-1,0,1&t≠0,s=0&t=0,s≠0} (2)
如果Δlmin>δ(l,υ),則測量值li,j就被當作測量噪聲而舍去,δ(l,v)為鄰近差值閾值。
在動態(tài)環(huán)境中,鄰近差值閾值設(shè)計定義如下:
式中,σ(l)是深度攝像頭系統(tǒng)感應(yīng)測量的標準差,由不同互動系統(tǒng)感應(yīng)測量距離值數(shù)據(jù)得到,vgoal為動態(tài)環(huán)境目標的運動速度。
上述技術(shù)方案中,所述無跡卡爾曼濾波的方法是:
①利用公式(4)和(5)獲得一組采樣點,利用公式(6)算出其對應(yīng)權(quán)值,X(t)為t時刻的系統(tǒng)狀態(tài),是狀態(tài)均值,P是計算方差,λ是縮放比例參數(shù),n為狀態(tài)的維數(shù),
w(t)是t時刻系統(tǒng)狀態(tài)對應(yīng)的權(quán)值,下標m為均值,c為協(xié)方差,α,β是待選的非負權(quán)系數(shù),
X(i)(k|k)是基于k時刻系統(tǒng)狀態(tài)估計的k時刻的狀態(tài)向量,是基于k時刻系統(tǒng)狀態(tài)估計的k時刻的預(yù)測狀態(tài)向量,P(k|k)是基于k時刻系統(tǒng)狀態(tài)估計的k時刻的計算方差,
②利用公式(7)計算2n+1個Sigma點集的一步預(yù)測,
X(i)(k+1|k)為基于k時刻系統(tǒng)狀態(tài)估計的k+1時刻系統(tǒng)狀態(tài)的一步預(yù)測,
X(i)(k+1|k)=f[k,X(i)(k|k)] (7)
③利用公式(8)(9)計算系統(tǒng)狀態(tài)量的一步預(yù)測及協(xié)方差矩陣,
是基于k時刻系統(tǒng)狀態(tài)估計的k+1時刻的預(yù)測狀態(tài)向量,w(i)是i時刻系統(tǒng)狀態(tài)對應(yīng)的權(quán)值,
P(k+1|k)是基于k時刻系統(tǒng)狀態(tài)估計的k+1時刻的計算方差,Q為系統(tǒng)噪聲的協(xié)方差陣,
④根據(jù)一步預(yù)測值再次進行UT變換,產(chǎn)生新的sigma點集,
⑤將步驟④預(yù)測的sigma點集代入觀測方程,得到預(yù)測的觀測量,如公式(10)所示,
Z(i)(k+1|k)是基于k時刻估計的k+1時刻的預(yù)測的觀測量,h是非線性觀測方程函數(shù),
Z(i)(k+1|k)=h[X(i)(k+1|k)] (10)
⑥由步驟⑤得到sigma點集的觀測預(yù)測值,通過加權(quán)求和得到系統(tǒng)預(yù)測的均值和協(xié)方差,如公式(11)(12)(13)所示,
是基于k時刻估計的k+1時刻的預(yù)測的觀測量均值,是基于k時刻觀測量的計算方差,R是觀測噪聲的協(xié)方差陣,
⑦利用公式(14)計算Kalman增益矩陣,
K(k+1)是k+1時刻的卡爾曼增益矩陣,
⑧計算系統(tǒng)的狀態(tài)更新和協(xié)方差更新,如公式(15)(16)所示,
是基于k+1時刻估計的k+1時刻的預(yù)測的系統(tǒng)狀態(tài),P(k+1|k)是基于k+1時刻系統(tǒng)狀態(tài)估計的k+1時刻的計算方差,
上述技術(shù)方案中,所述聚類濾波采用Mean shift聚類算法進行,聚類后保留紅外筆發(fā)出的紅外線的深度圖像點,過濾掉其它的噪聲點。
由于上述技術(shù)方案運用,本發(fā)明與現(xiàn)有技術(shù)相比具有下列優(yōu)點:
本發(fā)明通過聯(lián)合濾波方法,可以有效去除深度攝像頭系統(tǒng)獲得的數(shù)據(jù)中的噪聲,能夠保證系統(tǒng)的軌跡跟蹤的高精準度和強抗干擾性,同時確保人機互動系統(tǒng)能具有很好的穩(wěn)定性和魯棒性。
具體實施方式
下面結(jié)合實施例對本發(fā)明作進一步描述:
實施例一:一種用于人機互動的基于激光傳感器深度攝像頭系統(tǒng)數(shù)據(jù)處理方法,包括數(shù)據(jù)獲取和噪聲處理。
首先將需要預(yù)處理的原始采集的數(shù)據(jù),分成兩部分。第一部分是動態(tài)自適應(yīng)濾波,便于消除外部噪聲。第二部分是無跡卡爾曼濾波,利用其無跡變換的原理,處理非線性的離散系統(tǒng)的協(xié)方差和均值的非線性傳遞問題。最后是對預(yù)處理好的數(shù)據(jù)進行聚類濾波,使用Mean-shift濾波算法將預(yù)處理好的數(shù)據(jù)分成不同的集合。具體步驟如下所示:
步驟一:
激光傳感器深度攝像頭所接受的數(shù)據(jù)是紅外線,但由于燈光中,太陽光中都會含有一定的紅外線,因此這些外部噪聲會在深度圖像中形成干擾,因此需要濾除這些外部干擾,預(yù)處理采集到的數(shù)據(jù)。預(yù)處理的方式就是采用動態(tài)自適應(yīng)濾波法。
動態(tài)環(huán)境在線濾波對達到人機互動系統(tǒng)的實時性尤其重要。通過對采集到的數(shù)據(jù)進行實時比較,并與預(yù)先設(shè)置好的閾值進行比較過濾,從而達到濾除干擾的效果。本文采用在線的動態(tài)自適應(yīng)濾波法(簡稱DAF,Dynamic Adaptive Filter)消除外界環(huán)境噪聲擾動。
依據(jù)感應(yīng)測距系統(tǒng)的極坐標值(li,j,λi,j),數(shù)據(jù)分析窗口可設(shè)計為:
上式中,i表示人機互動系統(tǒng)感應(yīng)測距數(shù)據(jù)的采樣時刻;j指的是一幀數(shù)據(jù)中測量點的編號。上述數(shù)據(jù)分析窗口中的9個測量值在空間和時間上有較大相關(guān)性,定義Δlmin為li,j和相鄰測量值的差值,如下所示:
Δlmin=min{|lt+i,s+j-li,j|,t,s=-1,0,1&t≠0,s=0&t=0,s≠0} (2)
如果Δlmin>δ(l,υ),則測量值li,j就被當作測量噪聲而舍去。在動態(tài)環(huán)境中,動態(tài)目標運動速度的影響至關(guān)重要,則鄰近差值閾值可設(shè)計定義如下:
式中,σ(l)是3D傳感器系統(tǒng)感應(yīng)測量的標準差,由不同互動系統(tǒng)感應(yīng)測量距離值數(shù)據(jù)得到。vgoal為動態(tài)環(huán)境目標的運動速度。
為了對當前時刻的數(shù)據(jù)進行判別,必須先將當前時刻的測量值置于緩存器中,等待下一時刻的測量數(shù)據(jù)被接受,才能實現(xiàn)DAF處理。因此該濾波的數(shù)據(jù)更新會比實際的數(shù)據(jù)延遲一個周期,但這一延遲對系統(tǒng)的整體影響不大。
步驟二:
進行預(yù)處理之后的數(shù)據(jù)是高階離散系統(tǒng),因為在純方位的運動目標跟蹤中,無跡卡爾曼濾波的效果很好,所以我們選用了無跡卡爾曼濾波對數(shù)據(jù)進一步的進行濾波處理。
無跡卡爾曼濾波(Unscented Kalman Filter,UKF)摒棄了傳統(tǒng)的對非線性函數(shù)線性化的做法,采用卡爾曼線性濾波框架,對于一步預(yù)測方程,協(xié)方差和均值的非線性傳遞問題可以利用無跡變化的方法來處理。UKF算法是近似了非線性函數(shù)概率密度的分布,不是像擴展卡爾曼濾波一樣線性化近似了非線性函數(shù),而是運用了一系列的確定的樣本來逼近狀態(tài)的后驗概率密度的分布。因此此種濾波算法不需要對Jacobian矩陣進行求導(dǎo)。因為UKF沒有忽略系統(tǒng)的高階項,所以需要對非線性分布的統(tǒng)計量有比較高的計算精度,這樣才能夠有效地克服擴展卡爾曼濾波穩(wěn)定性差,估計精度低等的缺點。
具體實現(xiàn)流程:
①利用公式(4)和(5)獲得一組采樣點,利用公式(6)算出其對應(yīng)權(quán)值,
②利用公式(7)計算2n+1個Sigma點集的一步預(yù)測,
X(i)(k+1|k)=f[k,X(i)(k|k)] (7)
③利用公式(8)(9)計算系統(tǒng)狀態(tài)量的一步預(yù)測及協(xié)方差矩陣,
④根據(jù)一步預(yù)測值再次進行UT變換,產(chǎn)生新的sigma點集,
⑤將步驟④預(yù)測的sigma點集代入觀測方程,得到預(yù)測的觀測量,如公式(10)所示,
Z(i)(k+1|k)=h[X(i)(k+1|k)] (10)
⑥由步驟⑤得到sigma點集的觀測預(yù)測值,通過加權(quán)求和得到系統(tǒng)預(yù)測的均值和協(xié)方差,如公式(11)(12)(13)所示,
⑦利用公式(14)計算Kalman增益矩陣,
⑧計算系統(tǒng)的狀態(tài)更新和協(xié)方差更新,如公式(15)(16)所示,
步驟三:
對于預(yù)處理后的數(shù)據(jù),由于仍有一部分噪音的存在,使得特征提取的有效性大大降低,因此需要繼續(xù)對圖形進行平滑去噪處理。聚類濾波滿足了以上需求。把一個數(shù)據(jù)集按照某個特定的標準(如距離準則)分割成不同的類或簇,這樣可以增大在同一個簇內(nèi)的數(shù)據(jù)對象的相似性,與此同時也會使不在同一個簇中的數(shù)據(jù)對象的區(qū)別更大。即聚類后使同一類的數(shù)據(jù)盡可能聚集到一塊,不同類數(shù)據(jù)盡量讓其分離,然后再留下我們所需要的紅外筆發(fā)出紅外線的深度圖像點,過濾掉其他的噪聲點。本文采用Mean shift聚類算法來進行濾波。
Mean shift算法是一種非參數(shù)密度的估計過程,是一種基于特征空間密度梯度方向而進行的迭代搜索,從而來獲得局部密度極大值的樣本數(shù)據(jù)。相較于其他濾波,它的優(yōu)點是不需要提前了解特征空間的特點,只需要根據(jù)提供的樣本點就可以進行估計濾波。Mean shift算法的核心就是基于核密度估計的無參數(shù)估計方法,它把每個點都移動到密度函數(shù)的局部極大值點處,即密度梯度為0的點,也叫作模式點。
多維空間中點x處的核密度估計如公式(17)所示。
尺度函數(shù)K(x)應(yīng)該滿足:
其中||·||表示的使歐氏距離,Rd表示的是d維特征空間,參數(shù)h是樣本數(shù)量n的函數(shù)。為了保證樣本估計小于密度估計,從而確保能得到密度的無偏估計。需要滿足公式(22)(23)(24)。
歐氏距離無偏估計:
當核函數(shù)采用EPanechikov核時候,積分均方差為最小。
Kernel函數(shù)如下:
其中cd為d維單位球體體積。
利用核函數(shù)的可微性,核密度估計的梯度恒等于密度梯度估計,可得
在x點處的密度估計用核函數(shù)G表示為:
此時密度梯度表現(xiàn)為公式(28)所示:
得到Mean shift向量,如公式(29)所示:
Mean shift算法具體實現(xiàn)步驟:
①計算Mean shift向量Mh,G(x);
②根據(jù)Mh,G(x)賦給x;
③反復(fù)重復(fù)上述兩個步驟,計算Mh,G(x)-x,直到密度梯度小于某個設(shè)定的停止條件,退出循環(huán)。
該聯(lián)合濾波算法可有效濾除噪聲,能夠保證系統(tǒng)的軌跡跟蹤的高精準度和強抗干擾性,同時確保人機互動系統(tǒng)能具有很好的穩(wěn)定性和魯棒性。