一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法
【專利摘要】一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法，該算法通過Kinect傳感器采集用戶運(yùn)動(dòng)空間信息作為虛擬裝配系統(tǒng)的輸入信息，應(yīng)用OpenGL建立手部模型，將建立的手部模型與采集的手部圖像進(jìn)行對(duì)比，計(jì)算得到手部模型與手部圖像的相似度，采用改進(jìn)的粒子群優(yōu)化算法，最終得到采集圖像的手部模型，基于手部模型以及Kinect傳感器的標(biāo)定信息，最終渲染得到深度圖像，實(shí)現(xiàn)對(duì)手勢(shì)的跟蹤識(shí)別，完成虛擬裝配系統(tǒng)的信息輸入，進(jìn)而實(shí)現(xiàn)高精度虛擬裝配過程。本發(fā)明能實(shí)現(xiàn)對(duì)手勢(shì)進(jìn)行準(zhǔn)確穩(wěn)定的三維實(shí)時(shí)跟蹤，不需要特殊的標(biāo)記或復(fù)雜的圖像采集設(shè)備，降低了硬件設(shè)備的要求和成本；也不需要訓(xùn)練樣本，從而更容易進(jìn)行應(yīng)用擴(kuò)展。
【專利說明】一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法。

【背景技術(shù)】
[0002] 在產(chǎn)品的設(shè)計(jì)和制造過程中，裝配是一個(gè)很重要的環(huán)節(jié)，裝配的效率和質(zhì)量直接 影響產(chǎn)品的最終質(zhì)量。據(jù)有關(guān)資料介紹，裝配工作的成本占總制造成本的30%?50%，甚 至還可能更高。在傳統(tǒng)的裝配過程中，由于裝配通常并不能一次性完成，必須要反復(fù)的裝配 和修改設(shè)計(jì)，且修改過程中需依賴實(shí)物模型。這種繁復(fù)的工作不僅使得裝配過程極其復(fù)雜， 也使得裝配成本頗高。虛擬裝配是利用計(jì)算機(jī)工具，在沒有產(chǎn)品或支撐工藝的物理實(shí)現(xiàn)情 況下，通過分析、虛擬模型、可視化和數(shù)據(jù)表達(dá)，做出或輔助做出裝配關(guān)系工程的決定。不同 于傳統(tǒng)設(shè)計(jì)必須依靠實(shí)物模型進(jìn)行裝配，虛擬裝配技術(shù)可以在數(shù)字環(huán)境中進(jìn)行裝配，從而 對(duì)設(shè)計(jì)進(jìn)行檢驗(yàn)和修改，并形成評(píng)價(jià)模型。虛擬裝配技術(shù)的應(yīng)用可以簡化產(chǎn)品的優(yōu)化設(shè)計(jì)， 縮短設(shè)計(jì)周期，減少設(shè)計(jì)成本，提高產(chǎn)品精度和生產(chǎn)自動(dòng)化程度。實(shí)現(xiàn)手部姿勢(shì)的高精度立 體跟蹤是虛擬裝配系統(tǒng)的一個(gè)關(guān)鍵性且具有挑戰(zhàn)性的問題。為了開發(fā)一種有效的且高效的 解決方案，研究者們需要考慮一些復(fù)雜的、相互關(guān)聯(lián)的因素，例如手部動(dòng)作會(huì)存在的高維度 的問題、手的外觀顏色的均勻度的問題和嚴(yán)重的自遮擋問題。為了解決以上這些問題，一些 非常成功的方法應(yīng)用于專門進(jìn)行動(dòng)作捕捉的硬件或者用來進(jìn)行視覺標(biāo)記。遺憾的是，這些 方法需要一個(gè)復(fù)雜的、昂貴的硬件設(shè)備或者它們會(huì)受到觀測(cè)場(chǎng)景的干擾，或者兩種情況同 時(shí)存在。由于上述原因，從而影響虛擬裝配系統(tǒng)的用戶體驗(yàn)效果和推廣普及。
[0003] 對(duì)于通過無標(biāo)記視覺數(shù)據(jù)來解決手勢(shì)的立體跟蹤識(shí)別問題，現(xiàn)有的方法可以分 為基于模型和基于外觀兩種。基于模型的方法提供連續(xù)的解決方案，但是需要昂貴的成本 和依賴于豐富的視覺信息的可用性，這些信息一般由多功能攝像機(jī)系統(tǒng)提供?；谕庥^的 方法需要相對(duì)較少的計(jì)算成本和不那么復(fù)雜的硬件，但是它們對(duì)手勢(shì)的識(shí)別是不連續(xù)的， 不能實(shí)現(xiàn)對(duì)手勢(shì)的準(zhǔn)確跟蹤識(shí)別。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是為了克服【背景技術(shù)】中的不足之處，基于Kinect傳感器系統(tǒng)，融合 手勢(shì)識(shí)別跟蹤技術(shù)及人機(jī)交互方式，提供一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法。 該算法主要是依靠Kinect傳感器采集的信息作為輸入，在基于模型方法的基礎(chǔ)上，將手勢(shì) 的識(shí)別跟蹤問題轉(zhuǎn)化為一個(gè)利用改進(jìn)的PS0算法解決的最優(yōu)化問題，并利用GPU提高最優(yōu) 化性能。
[0005]為了解決上述存在的技術(shù)問題，本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：
[0006] -種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法，該算法內(nèi)容如下：
[0007] 通過Kinect傳感器采集用戶運(yùn)動(dòng)空間信息，包括上肢動(dòng)作信息、手勢(shì)信息包括靜 態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)信息作為虛擬裝配系統(tǒng)的輸入信息，從而使用自然習(xí)慣動(dòng)作完成虛擬裝 配過程；
[0008] 采用Kinect傳感器拍攝手部姿態(tài)的彩色圖像和對(duì)應(yīng)的深度圖像信息作為輸入信 息，通過膚色檢測(cè)結(jié)合深度信息，分割出手部圖像，得到觀察的模型；應(yīng)用OpenGL建立手部 模型，采用球體、圓柱體、橢球體和椎體四個(gè)基本圖元，建立一個(gè)用27個(gè)參數(shù)表征的具有26 個(gè)自由度的3D手部模型；
[0009] 將建立的手部模型與采集的手部圖像進(jìn)行對(duì)比，計(jì)算得到手部模型與手部圖像的 相似度，采用改進(jìn)的粒子群優(yōu)化算法，通過相異性計(jì)算公式E(h，0)，估算出觀察對(duì)象與模型 對(duì)象之間的相異程度，不斷優(yōu)化手部模型的27個(gè)參數(shù)，使得相似度度量達(dá)到最大，最終得 到采集圖像的手部模型，基于手部模型以及Kinect傳感器的標(biāo)定信息，最終渲染得到深度 圖像，實(shí)現(xiàn)對(duì)手勢(shì)的跟蹤識(shí)別，完成虛擬裝配系統(tǒng)的信息輸入，進(jìn)而實(shí)現(xiàn)高精度虛擬裝配過 程。
[0010] 所述的相異性計(jì)算公式E(h，0)為：
[0011] E(h，0) =D(0,h，C) + 入k ?kc(h) (1)
[0012] 其中Ak是一個(gè)標(biāo)準(zhǔn)化因數(shù)，c表示攝像機(jī)的校準(zhǔn)信息，h代表模型對(duì)象，0代表觀 察對(duì)象；函數(shù)D(0，h，c)表示為：
[0013]

【權(quán)利要求】
1. 一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法，其特征在于該算法內(nèi)容如下： 通過Kinect傳感器采集用戶運(yùn)動(dòng)空間信息，包括上肢動(dòng)作信息、手勢(shì)信息包括靜態(tài)手 勢(shì)和動(dòng)態(tài)手勢(shì)信息作為虛擬裝配系統(tǒng)的輸入信息，從而使用自然習(xí)慣動(dòng)作完成虛擬裝配過 程； 采用Kinect傳感器拍攝手部姿態(tài)的彩色圖像和對(duì)應(yīng)的深度圖像信息作為輸入信息， 通過膚色檢測(cè)結(jié)合深度信息，分割出手部圖像，得到觀察的模型；應(yīng)用OpenGL建立手部模 型，采用球體、圓柱體、橢球體和椎體四個(gè)基本圖元，建立一個(gè)用27個(gè)參數(shù)表征的具有26個(gè) 自由度的3D手部模型； 將建立的手部模型與采集的手部圖像進(jìn)行對(duì)比，計(jì)算得到手部模型與手部圖像的相 似度，采用改進(jìn)的粒子群優(yōu)化算法，通過相異性計(jì)算公式E(h，0)，估算出觀察對(duì)象與模型 對(duì)象之間的相異程度，不斷優(yōu)化手部模型的27個(gè)參數(shù)，使得相似度度量達(dá)到最大，最終得 到采集圖像的手部模型，基于手部模型以及Kinect傳感器的標(biāo)定信息，最終渲染得到深度 圖像，實(shí)現(xiàn)對(duì)手勢(shì)的跟蹤識(shí)別，完成虛擬裝配系統(tǒng)的信息輸入，進(jìn)而實(shí)現(xiàn)高精度虛擬裝配過 程。
2. 根據(jù)權(quán)利要求1所述的一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法，其特征在 于：所述的相異性計(jì)算公式E(h，0)為： E(h, 0) =D(0,h,C) +Ak ?kc(h) 其中Ak是一個(gè)標(biāo)準(zhǔn)化因數(shù)，C表示攝像機(jī)的校準(zhǔn)信息，h代表模型對(duì)象，0代表觀察對(duì) 象；函數(shù)D(0，h，C)表示為：
函數(shù)D(0，h，C)中的絕對(duì)值表示觀察對(duì)象與模型對(duì)象的箝位深度差，e用來防止分母 為零。
【文檔編號(hào)】G06F17/50GK104408760SQ201410596344
【公開日】2015年3月11日 申請(qǐng)日期:2014年10月28日 優(yōu)先權(quán)日:2014年10月28日
【發(fā)明者】張立國, 王鵬, 金梅, 蔣再毅 申請(qǐng)人:燕山大學(xué)