一種基于立體視覺(jué)的動(dòng)作采集和反饋方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于立體視覺(jué)的動(dòng)作采集和反饋方法及系統(tǒng)，所述方法包括以下步驟：采集前方空間內(nèi)附件裝置上紅外光源的空間位置，并將該空間位置映射入虛擬空間中，控制虛擬物體的位置和方向；當(dāng)虛擬物體與虛擬環(huán)境發(fā)生交互行為時(shí)，無(wú)線控制附件裝置發(fā)生震動(dòng)，模擬力的回饋感。本發(fā)明的優(yōu)點(diǎn)：1.定位迅速、精準(zhǔn)、運(yùn)行穩(wěn)定；2.硬件成本極其低廉，結(jié)構(gòu)簡(jiǎn)單且體積非常??；3.可實(shí)現(xiàn)力反饋：力反饋能大大加強(qiáng)交互行為的真實(shí)感，提升用戶體驗(yàn)；4.能實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)功能，增加人機(jī)交互方式。
【專利說(shuō)明】一種基于立體視覺(jué)的動(dòng)作采集和反饋方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于立體視覺(jué)的動(dòng)作采集和反饋方法及系統(tǒng)，屬于虛擬現(xiàn)實(shí)和增 強(qiáng)現(xiàn)實(shí)【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002] 采集手部動(dòng)作并將其作為輸入信號(hào)用于計(jì)算機(jī)控制，從而可以在虛擬環(huán)境中還原 該手部動(dòng)作用以人機(jī)交互。此類人機(jī)交互方式通常有如下的實(shí)現(xiàn)途徑：
[0003] 1、激光掃描：激光掃描前方的范圍，傳感器采集每個(gè)方向的反射光，計(jì)算距離，即 得前方每個(gè)點(diǎn)位的深度信息，組成一幅深度圖。如果將手放至傳感器前方，手的輪廓即可在 深度圖上顯示出來(lái)；而如果采用激光連續(xù)掃描前方范圍，那么手的空間位置、運(yùn)動(dòng)軌跡和姿 態(tài)均可被計(jì)算機(jī)連續(xù)采集。采集的數(shù)據(jù)輸入計(jì)算機(jī)后，形成控制數(shù)據(jù)，進(jìn)而進(jìn)行人機(jī)交互。 該方法的優(yōu)點(diǎn)是得到的空間環(huán)境信息精確，缺點(diǎn)是若想實(shí)現(xiàn)低延時(shí)的動(dòng)作快速捕捉需要較 昂貴的設(shè)備，且設(shè)備總體體積較大；
[0004] 2、紅外光斑掃描：使用紅外光源向前方射出隨機(jī)形狀的光斑，該光斑照射于前方 外形不同的物體上時(shí)，光斑形狀會(huì)相應(yīng)的發(fā)生改變；攝像頭將采集到的光斑形狀與存儲(chǔ)的 形狀進(jìn)行對(duì)比，并通過(guò)特殊算法進(jìn)行解算，從而得到設(shè)備前方每個(gè)點(diǎn)位的深度信息，組成深 度圖。若將手放在設(shè)備前，同樣可實(shí)現(xiàn)手部動(dòng)作的連續(xù)采集。該方法適用于KINECT等成熟 的娛樂(lè)設(shè)備，技術(shù)成熟可靠，價(jià)格中等，設(shè)備總體積中等，但是其算法復(fù)雜，占用的系統(tǒng)資源 較多，總體延時(shí)較大，因而降低了使用的舒適程度；
[0005] 3、電磁感應(yīng)：設(shè)備向前方發(fā)射電磁波，當(dāng)手等物體進(jìn)入電磁場(chǎng)時(shí)，會(huì)形成擾動(dòng)；設(shè) 備通過(guò)特殊算法將擾動(dòng)還原為手部動(dòng)作，實(shí)現(xiàn)動(dòng)作采集。該方法延時(shí)小，成本低，但是還原 精度和穩(wěn)定性較差，且只能實(shí)現(xiàn)動(dòng)作采集，無(wú)法實(shí)現(xiàn)圖像采集用于增強(qiáng)現(xiàn)實(shí)用途；
[0006] 4、視覺(jué)識(shí)別：通過(guò)單攝像頭或雙攝像頭采集圖像，并通過(guò)圖形學(xué)算法采集手部動(dòng) 作，進(jìn)行人機(jī)交互。但是由于手部輪廓復(fù)雜，特征不明顯，因而該方法的運(yùn)算量較大，會(huì)產(chǎn)生 一定的延遲，影響用戶體驗(yàn)。
[0007] 綜上，以上現(xiàn)有的解決方案均無(wú)法同時(shí)解決成本、延時(shí)、精確穩(wěn)定性的問(wèn)題。最重 要的是沒(méi)有反饋機(jī)制，當(dāng)人手與虛擬世界物體發(fā)生交互時(shí)，僅僅由視覺(jué)感知?jiǎng)幼?，無(wú)法產(chǎn)生 觸覺(jué)等力的反饋，真實(shí)性大打折扣。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于，提供一種基于立體視覺(jué)的動(dòng)作采集和反饋方法及系統(tǒng)，它可 以有效解決現(xiàn)有技術(shù)中存在的問(wèn)題，尤其是現(xiàn)有技術(shù)無(wú)法同時(shí)解決成本、延時(shí)、精確穩(wěn)定性 的問(wèn)題及無(wú)法產(chǎn)生力反饋的問(wèn)題。
[0009] 為解決上述技術(shù)問(wèn)題，本發(fā)明采用如下的技術(shù)方案：一種基于立體視覺(jué)的動(dòng)作采 集和反饋方法，包括以下步驟：采集前方空間內(nèi)附件裝置上紅外光源的空間位置，并將該空 間位置映射入虛擬空間中，控制虛擬物體的位置和方向；當(dāng)虛擬物體與虛擬環(huán)境發(fā)生交互 行為時(shí)，無(wú)線控制附件裝置發(fā)生震動(dòng)，模擬力的回饋感。
[0010] 優(yōu)選的，所述的采集前方空間內(nèi)附件裝置上紅外光源的空間位置具體包括：固定 在頭戴式顯示器上的雙攝像頭裝置分開(kāi)左右采集前方的圖像，并將左右兩路圖像數(shù)據(jù)傳入 計(jì)算機(jī)中，計(jì)算機(jī)對(duì)兩路圖像數(shù)據(jù)進(jìn)行處理，即得附件裝置上紅外光源的空間位置。
[0011] 更優(yōu)選的，所述的雙攝像頭裝置分開(kāi)左右采集前方的圖像，并將左右兩路圖像數(shù) 據(jù)傳入計(jì)算機(jī)中具體包括：雙攝像頭裝置通過(guò)左右兩側(cè)的CMOS或CCD傳感器采集前方的圖 像數(shù)據(jù)，該圖像數(shù)據(jù)經(jīng)過(guò)A/D轉(zhuǎn)換器后成為數(shù)字信號(hào)進(jìn)入DSP處理器，進(jìn)行曝光、增益、白平 衡處理；處理后的數(shù)字信號(hào)進(jìn)入編碼芯片中進(jìn)行信號(hào)編碼；編碼后，兩路視頻信號(hào)進(jìn)入數(shù) 據(jù)總線合成一路并通過(guò)USB數(shù)據(jù)線輸出至計(jì)算機(jī)，從而能得到穩(wěn)定、清晰的數(shù)字圖像。
[0012] 所述的USB數(shù)據(jù)線也可為雙攝像頭裝置自帶的數(shù)據(jù)線。
[0013] 更優(yōu)選的，所述的計(jì)算機(jī)對(duì)兩路圖像數(shù)據(jù)進(jìn)行處理，即得附件裝置上紅外光源的 空間位置具體包括：計(jì)算機(jī)對(duì)兩路視頻信號(hào)進(jìn)行解碼，并采集兩路視頻信號(hào)中紅外光源在 圖像中的X、Y坐標(biāo)值；將每個(gè)鏡頭采集的紅外光源的坐標(biāo)值換算成紅外光源相對(duì)于鏡頭的 方位角；當(dāng)已知相對(duì)兩個(gè)鏡頭的方位角及兩個(gè)鏡頭的間距時(shí)，計(jì)算即得紅外光源的X、Y、Z 坐標(biāo)值；將紅外光源的X、Y、Z坐標(biāo)值經(jīng)鏡頭畸變數(shù)學(xué)經(jīng)驗(yàn)?zāi)Ｐ驼{(diào)整后，即得紅外光源相對(duì) 于攝像頭的真實(shí)空間坐標(biāo)。該方法能夠以較高精度和效率得到紅外光源點(diǎn)的空間位置，從 而實(shí)現(xiàn)目標(biāo)物體的高速穩(wěn)定捕捉。
[0014] 本發(fā)明所述方法還包括：將附件裝置上多個(gè)紅外光源的相對(duì)位置（即相對(duì)于攝像 頭的真實(shí)空間坐標(biāo)）與計(jì)算機(jī)中存儲(chǔ)的模型進(jìn)行耦合對(duì)比，判斷所述紅外光源對(duì)應(yīng)的附件 裝置的種類以及紅外光源在該附件裝置上的具體位置，從而判斷這些附件裝置的空間位置 和姿態(tài)，而連續(xù)的坐標(biāo)采集也能計(jì)算出這些裝置的移動(dòng)軌跡和速率，并以此作為人機(jī)交互 的控制手段。
[0015] 本發(fā)明所述方法還包括：計(jì)算機(jī)對(duì)兩路視頻信號(hào)解碼后，分左右眼進(jìn)行顯示，形 成對(duì)周圍真實(shí)空間的立體視覺(jué)；在該立體視覺(jué)中，分左右眼疊加虛擬物體或場(chǎng)景；同時(shí)計(jì) 算機(jī)采集兩路視頻信號(hào)中紅外光源的X、Y坐標(biāo)值，獲得視野中附件裝置的控制命令（即位 置和動(dòng)作命令），實(shí)現(xiàn)在增強(qiáng)現(xiàn)實(shí)環(huán)境下的互動(dòng)體驗(yàn)，比如戴上手套形附件裝置，能直接點(diǎn) 擊并控制桌面小戰(zhàn)場(chǎng)中的微縮虛擬戰(zhàn)士，且這些點(diǎn)擊觸碰行為一樣可觸發(fā)前述的力回饋事 件，大大提升使用者的控制體驗(yàn)。
[0016] 實(shí)現(xiàn)前述方法的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，包括：雙攝像頭裝置、基 座、附件裝置和計(jì)算機(jī)，所述的基座上設(shè)有A藍(lán)牙模塊和USB數(shù)據(jù)線，USB數(shù)據(jù)線與計(jì)算機(jī) 連接；所述的附件裝置上設(shè)有B藍(lán)牙模塊，B藍(lán)牙模塊與A藍(lán)牙模塊無(wú)線連接；所述的附件 裝置上還設(shè)有紅外LED或者紅外LED、震動(dòng)模組與驅(qū)動(dòng)盒，驅(qū)動(dòng)盒分別與A藍(lán)牙模塊和震動(dòng) 模組連接。
[0017] 優(yōu)選的，所述雙攝像頭裝置的鏡頭采用120度及以上廣角鏡頭，從而可以實(shí)現(xiàn)較 大面積的動(dòng)作采集。
[0018] 優(yōu)選的，所述系統(tǒng)還包括：頭戴式顯示器，雙攝像頭裝置分開(kāi)左右固定于頭戴式顯 示器上。
[0019] 本發(fā)明中，所述的附件裝置為手套形附件裝置、指環(huán)形附件裝置、槍形附件裝置或 手柄附件裝置，所述的手套形附件裝置、指環(huán)形附件裝置、槍形附件裝置或手柄附件裝置上 分別設(shè)有紅外LED，手套形附件裝置上還設(shè)有震動(dòng)模組和驅(qū)動(dòng)盒，槍形附件裝置、手柄附件 裝置上還設(shè)有扳機(jī)及按鍵，扳機(jī)及按鍵與B藍(lán)牙模塊連接。
[0020] 前述的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)中，所述的雙攝像頭裝置包括：CM0S 或C⑶傳感器、A/D轉(zhuǎn)換器、DSP處理器和編碼芯片，CMOS或C⑶傳感器、A/D轉(zhuǎn)換器、DSP處 理器和編碼芯片順次連接，編碼芯片通過(guò)數(shù)據(jù)總線及USB數(shù)據(jù)線與計(jì)算機(jī)連接。
[0021] 本發(fā)明中，所述的基座上還包括：充電線，充電線與附件裝置連接。
[0022] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：
[0023] 1.定位迅速、精準(zhǔn)、運(yùn)行穩(wěn)定：通過(guò)立體視覺(jué)運(yùn)用上述兩眼視差原理對(duì)紅外光源 點(diǎn)進(jìn)行空間定位，由于紅外光源點(diǎn)在空間環(huán)境中的特征非常清晰，因此定位運(yùn)算簡(jiǎn)單，且精 度較高，加上雙攝像頭裝置最高支持120Hz幀率，在目標(biāo)物高速運(yùn)動(dòng)的情況下，也能保持穩(wěn) 定追蹤，因此整體延時(shí)很低，用戶體驗(yàn)較好；
[0024] 2.硬件成本極其低廉，結(jié)構(gòu)簡(jiǎn)單且體積非常?。罕景l(fā)明通過(guò)采用雙攝像頭裝置采 集前方的圖像，進(jìn)而計(jì)算前方空間內(nèi)附件裝置上紅外光源的空間位置，其中，雙攝像頭裝置 采用微型模塊化CMOS、CCD圖像傳感器搭建，不僅價(jià)格極低，模塊高度集成，而且體積和重 量非常小，即使掛在頭戴式顯示器上使用，也不會(huì)形成負(fù)擔(dān)；
[0025] 3.可實(shí)現(xiàn)力反饋：力反饋能大大加強(qiáng)交互行為的真實(shí)感，提升用戶體驗(yàn)；
[0026] 4.動(dòng)作采集范圍廣：由于鏡頭采用120度及以上廣角鏡頭，能實(shí)現(xiàn)較大面積的動(dòng) 作米集；
[0027] 5.可同步實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)功能：本發(fā)明中采用雙攝像頭裝置作為傳感器，設(shè)備采集 的立體視覺(jué)除了用于空間定位，還能輸出至頭戴式顯示器重現(xiàn)真實(shí)視覺(jué)，而且在真實(shí)視覺(jué) 中也可疊加信息或是虛擬物體；另外本發(fā)明還能通過(guò)手部動(dòng)作與這些信息或物體互動(dòng)，實(shí) 現(xiàn)增強(qiáng)現(xiàn)實(shí)功能。

【專利附圖】

【附圖說(shuō)明】
[0028] 圖1是指環(huán)形附件裝置的結(jié)構(gòu)示意圖；
[0029] 圖2是槍形附件裝置的結(jié)構(gòu)示意圖；
[0030] 圖3是手柄附件裝置的結(jié)構(gòu)示意圖；
[0031 ] 圖4是基座的結(jié)構(gòu)不意圖；
[0032] 圖5是手套形附件裝置的結(jié)構(gòu)示意圖；
[0033] 圖6是雙攝像頭裝置和頭戴式顯示器的連接方式示意圖；
[0034] 圖7是本發(fā)明的一種實(shí)施例的方法流程圖；
[0035] 圖8是實(shí)施例2的結(jié)構(gòu)示意圖；
[0036] 圖9是實(shí)施例3的結(jié)構(gòu)示意圖；
[0037] 圖10是實(shí)施例4的結(jié)構(gòu)示意圖；
[0038] 圖11是實(shí)施例5的結(jié)構(gòu)示意圖；
[0039] 圖12是實(shí)施例6的結(jié)構(gòu)示意圖。
[0040] 附圖標(biāo)記：1-雙攝像頭裝置，2-頭戴式顯示器，3-手套形附件裝置，4-震動(dòng)模組， 5-驅(qū)動(dòng)盒，6-指環(huán)形附件裝置，7-槍形附件裝置，8-紅外LED，9-扳機(jī)及按鍵，10-手柄附件 裝置，11-基座，12-充電線，13-USB數(shù)據(jù)線，14-附件裝置，15-計(jì)算機(jī)，16-A藍(lán)牙模塊，17-B 藍(lán)牙模塊，18-CM0S或CCD傳感器，19-A/D轉(zhuǎn)換器，20-DSP處理器，21-編碼芯片，22-數(shù)據(jù)總 線。
[0041] 下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步的說(shuō)明。

【具體實(shí)施方式】
[0042] 本發(fā)明的實(shí)施例1 :一種基于立體視覺(jué)的動(dòng)作采集和反饋方法，如圖7所示，包括 以下步驟：采集前方空間內(nèi)附件裝置14上紅外光源的空間位置：固定在頭戴式顯示器2前 方的雙攝像頭裝置1通過(guò)左右兩側(cè)的CMOS或(XD傳感器18采集前方的圖像數(shù)據(jù)，該圖像數(shù) 據(jù)經(jīng)過(guò)A/D轉(zhuǎn)換器19后成為數(shù)字信號(hào)進(jìn)入DSP處理器20,進(jìn)行曝光、增益、白平衡處理；處 理后的數(shù)字信號(hào)進(jìn)入編碼芯片21中進(jìn)行信號(hào)編碼；編碼后，兩路視頻信號(hào)進(jìn)入數(shù)據(jù)總線22 合成一路并通過(guò)雙攝像頭裝置1自帶的USB數(shù)據(jù)線輸出至計(jì)算機(jī)15 ;計(jì)算機(jī)15對(duì)兩路視頻 信號(hào)進(jìn)行解碼，并采集兩路視頻信號(hào)中紅外光源在圖像中的X、Y坐標(biāo)值；將每個(gè)鏡頭采集 的紅外光源的坐標(biāo)值換算成紅外光源相對(duì)于鏡頭的方位角；當(dāng)已知相對(duì)兩個(gè)鏡頭的方位角 及兩個(gè)鏡頭的間距時(shí)，計(jì)算即得紅外光源的X、Y、Z坐標(biāo)值；將紅外光源的X、Y、Z坐標(biāo)值經(jīng) 鏡頭畸變數(shù)學(xué)經(jīng)驗(yàn)?zāi)Ｐ驼{(diào)整后，即得紅外光源相對(duì)于攝像頭的真實(shí)空間坐標(biāo)；以此類推，通 過(guò)以上方法可以獲得附件裝置14上多個(gè)紅外光源的坐標(biāo)，將這些坐標(biāo)的相對(duì)位置與計(jì)算 機(jī)15中存儲(chǔ)的模型進(jìn)行耦合對(duì)比，從而可以判斷出所述紅外光源對(duì)應(yīng)的附件裝置14的種 類（手套形附件或指環(huán)形附件等）以及紅外光源在該附件裝置14上的具體位置，進(jìn)而判斷 這些附件裝置14的空間位置和姿態(tài)；連續(xù)的進(jìn)行坐標(biāo)采集即可計(jì)算得出這些附件裝置14 的移動(dòng)軌跡和速率；將所述的附件裝置空間位置、移動(dòng)軌跡和速率映射入虛擬空間中，控制 虛擬物體的位置和方向；當(dāng)虛擬物體與虛擬環(huán)境發(fā)生交互行為時(shí)，無(wú)線控制附件裝置14發(fā) 生震動(dòng)，模擬力的回饋感。計(jì)算機(jī)15對(duì)兩路視頻信號(hào)解碼后，分左右眼進(jìn)行顯示，形成對(duì)周 圍真實(shí)空間的立體視覺(jué)；在該立體視覺(jué)中，分左右眼疊加虛擬物體或場(chǎng)景；同時(shí)計(jì)算機(jī)15 采集兩路視頻信號(hào)中紅外光源的X、Y坐標(biāo)值，獲得視野中附件裝置14的位置和動(dòng)作命令， 實(shí)現(xiàn)在增強(qiáng)現(xiàn)實(shí)環(huán)境下的互動(dòng)。
[0043] 實(shí)施例2 :實(shí)現(xiàn)實(shí)施例1中所述方法的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，如圖 8所示，包括：雙攝像頭裝置1、基座11、附件裝置14和計(jì)算機(jī)15,所述的基座11 (如圖4所 示）上設(shè)有A藍(lán)牙模塊16和USB數(shù)據(jù)線13, USB數(shù)據(jù)線13與計(jì)算機(jī)15連接；所述的附件 裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán)牙模塊17與A藍(lán)牙模塊16無(wú)線連接；雙攝像頭裝置1 與計(jì)算機(jī)15連接；所述的附件裝置14為手套形附件裝置3 (如圖5所示），手套形附件裝 置3上還設(shè)有紅外LED8、震動(dòng)模組4與驅(qū)動(dòng)盒5,驅(qū)動(dòng)盒5分別與A藍(lán)牙模塊16和震動(dòng)模 組4連接；所述的雙攝像頭裝置1包括：CMOS或(XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器 20和編碼芯片21，CMOS或(XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21順 次連接，編碼芯片21通過(guò)數(shù)據(jù)總線22及USB數(shù)據(jù)線13與計(jì)算機(jī)15連接；還包括：頭戴式 顯示器2,雙攝像頭裝置1分開(kāi)左右固定于頭戴式顯示器2前方（如圖6所示）。
[0044] 實(shí)施例3 :實(shí)現(xiàn)實(shí)施例1中所述方法的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，如圖 9所示，包括：雙攝像頭裝置1、基座11、附件裝置14和計(jì)算機(jī)15,所述的基座11 (如圖4所 示）上設(shè)有A藍(lán)牙模塊16和USB數(shù)據(jù)線13, USB數(shù)據(jù)線13與計(jì)算機(jī)15連接；所述的附件 裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán)牙模塊17與A藍(lán)牙模塊16無(wú)線連接；雙攝像頭裝置1 與計(jì)算機(jī)15連接；所述的附件裝置14為指環(huán)形附件裝置6 (如圖1所示），指環(huán)形附件裝 置6上還設(shè)有紅外LED8 ;所述的雙攝像頭裝置1包括：CMOS或(XD傳感器18、A/D轉(zhuǎn)換器 19、DSP處理器20和編碼芯片21，CMOS或CCD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和 編碼芯片21順次連接，編碼芯片21通過(guò)數(shù)據(jù)總線22及USB數(shù)據(jù)線13與計(jì)算機(jī)15連接； 還包括：頭戴式顯示器2,雙攝像頭裝置1分開(kāi)左右固定于頭戴式顯示器2前方（如圖6所 示）。
[0045] 實(shí)施例4 :實(shí)現(xiàn)實(shí)施例1中所述方法的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，如圖 10所示，包括：雙攝像頭裝置1、基座11、附件裝置14和計(jì)算機(jī)15,所述的基座11 (如圖4 所示）上設(shè)有A藍(lán)牙模塊16和USB數(shù)據(jù)線13, USB數(shù)據(jù)線13與計(jì)算機(jī)15連接；所述的附 件裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán)牙模塊17與A藍(lán)牙模塊16無(wú)線連接；雙攝像頭裝置 1與計(jì)算機(jī)15連接；所述的附件裝置14為槍形附件裝置7 (如圖2所示），槍形附件裝置7 上設(shè)有紅外LED8、扳機(jī)及按鍵9,扳機(jī)及按鍵9與B藍(lán)牙模塊17連接；所述的雙攝像頭裝置 1包括：CMOS或(XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21，CMOS或(XD 傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21順次連接，編碼芯片21通過(guò)數(shù)據(jù)總 線22及USB數(shù)據(jù)線13與計(jì)算機(jī)15連接；還包括：頭戴式顯示器2,雙攝像頭裝置1分開(kāi)左 右固定于頭戴式顯示器2前方（如圖6所示）。
[0046] 實(shí)施例5 :實(shí)現(xiàn)實(shí)施例1中所述方法的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，如圖 11所示，包括：雙攝像頭裝置1、基座11、附件裝置14和計(jì)算機(jī)15,所述的基座11 (如圖4 所示）上設(shè)有A藍(lán)牙模塊16和USB數(shù)據(jù)線13, USB數(shù)據(jù)線13與計(jì)算機(jī)15連接；所述的附 件裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán)牙模塊17與A藍(lán)牙模塊16無(wú)線連接；雙攝像頭裝置 1與計(jì)算機(jī)15連接；所述的附件裝置14為手柄附件裝置10 (如圖3所示），手柄附件裝置 10上設(shè)有紅外LED8、扳機(jī)及按鍵9,扳機(jī)及按鍵9與B藍(lán)牙模塊17連接；所述的雙攝像頭 裝置1包括：CMOS或(XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21，CMOS或 (XD傳感器18、A/D轉(zhuǎn)換器19、DSP處理器20和編碼芯片21順次連接，編碼芯片21通過(guò)數(shù) 據(jù)總線22及USB數(shù)據(jù)線13與計(jì)算機(jī)15連接；還包括：頭戴式顯示器2,雙攝像頭裝置1分 開(kāi)左右固定于頭戴式顯示器2前方（如圖6所示）。
[0047] 實(shí)施例6 :-種基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，如圖12所示，包括：雙攝像 頭裝置1、基座11、附件裝置14和計(jì)算機(jī)15,所述的基座11上設(shè)有A藍(lán)牙模塊16和USB數(shù) 據(jù)線13, USB數(shù)據(jù)線13與計(jì)算機(jī)15連接；所述的附件裝置14上設(shè)有B藍(lán)牙模塊17, B藍(lán) 牙模塊17與A藍(lán)牙模塊16無(wú)線連接；所述的附件裝置14上還設(shè)有紅外LED8。
[0048] 工作原理：
[0049] 1、手套形附件裝置3 :在手套指尖等關(guān)鍵節(jié)點(diǎn)設(shè)有紅外LED8和震動(dòng)模組4 (紅外 LED8和震動(dòng)模組4是在一起的），手套指肚位置內(nèi)藏微型偏心電機(jī)或是超聲波震動(dòng)發(fā)生器 一類震動(dòng)模組4,手套手背位置有驅(qū)動(dòng)盒5,驅(qū)動(dòng)盒5內(nèi)包含電池、B藍(lán)牙模塊17、震動(dòng)模塊 驅(qū)動(dòng)電路和微型充電接口等。電池通過(guò)微型充電接口與充電線12連接充電后，為裝置供 電；B藍(lán)牙模塊17與基座11上的A藍(lán)牙模塊16無(wú)線連接，計(jì)算機(jī)15通過(guò)基座11上的A藍(lán) 牙模塊16向B藍(lán)牙模塊17傳送信號(hào)，由B藍(lán)牙模塊17將控制信號(hào)傳送至震動(dòng)模塊驅(qū)動(dòng)電 路，最終由震動(dòng)模塊驅(qū)動(dòng)電路驅(qū)動(dòng)震動(dòng)模組4產(chǎn)生震動(dòng)；
[0050] 2、指環(huán)形附件裝置6 :僅包括電池、微型充電接口、微型開(kāi)關(guān)和紅外LED8,電池經(jīng) 微型充電接口與充電線12連接充電后向紅外LED8供電；
[0051] 3、槍形附件裝置7 :槍背脊部排列有兩個(gè)或多個(gè)紅外LED8,槍身上設(shè)有扳機(jī)及按 鍵9,按鍵可在軟件中實(shí)現(xiàn)行走控制等多種操作，扳機(jī)可實(shí)現(xiàn)模擬開(kāi)火等操作，槍身內(nèi)包含 電池、B藍(lán)牙模塊17、震動(dòng)模塊驅(qū)動(dòng)電路和微型充電接口等，電池通過(guò)微型充電接口與充電 線12連接充電后，為裝置供電；B藍(lán)牙模塊17與基座11上的A藍(lán)牙模塊16無(wú)線連接，一 是由計(jì)算機(jī)15通過(guò)基座11上的A藍(lán)牙模塊16向B藍(lán)牙模塊17傳送信號(hào)，由B藍(lán)牙模塊 17將控制信號(hào)傳送至震動(dòng)模塊驅(qū)動(dòng)電路，最終由震動(dòng)模塊驅(qū)動(dòng)電路驅(qū)動(dòng)震動(dòng)模組4產(chǎn)生震 動(dòng)，二是按下槍身按鍵或扳機(jī)時(shí)，B藍(lán)牙模塊17將按鍵信號(hào)通過(guò)基座11傳回計(jì)算機(jī)15 ;
[0052] 4、手柄附件裝置10 :當(dāng)應(yīng)用軟件環(huán)境同時(shí)需要空間定位和復(fù)雜的按鍵操作時(shí)，可 采用手柄附件裝置10或其他異形裝置，裝置上既設(shè)有紅外光源用于空間位置標(biāo)定，由于各 類按鍵實(shí)現(xiàn)操作功能，同時(shí)內(nèi)置力回饋震動(dòng)模組4,裝置通過(guò)B藍(lán)牙模塊17和基座11與計(jì) 算機(jī)15相連，實(shí)現(xiàn)原理與其他幾類裝置相同；
[0053] 5、基座11 :基座11通過(guò)USB數(shù)據(jù)線13與計(jì)算機(jī)15連接，通過(guò)微型充電接口與充 電線12連接為附件裝置充電，并通過(guò)A藍(lán)牙模塊16與附件裝置進(jìn)行無(wú)線通信、交換信號(hào)或 實(shí)施控制；
[0054] 6、紅外光源點(diǎn)的空間位置定位原理：雙攝像頭裝置1通過(guò)左右兩側(cè)的CMOS或(XD 傳感器18采集前方的圖像數(shù)據(jù)，該圖像數(shù)據(jù)經(jīng)過(guò)A/D轉(zhuǎn)換器19后成為數(shù)字信號(hào)進(jìn)入DSP 處理器20,進(jìn)行曝光、增益、白平衡處理；處理后的數(shù)字信號(hào)進(jìn)入編碼芯片21中進(jìn)行信號(hào)編 碼；編碼后，兩路視頻信號(hào)進(jìn)入數(shù)據(jù)總線22合成一路并通過(guò)USB數(shù)據(jù)線13輸出至計(jì)算機(jī) 15 ;在計(jì)算機(jī)15獲得雙攝像頭裝置1輸入的兩路視頻信號(hào)后，對(duì)兩路視頻信號(hào)解碼，并采集 兩路視頻中紅外光源點(diǎn)在圖像中的X、Y坐標(biāo)值，每個(gè)鏡頭采集紅外光源的坐標(biāo)可換算為光 源相對(duì)鏡頭方位角，在已知相對(duì)兩個(gè)鏡頭方位角和兩個(gè)鏡頭間距的情況下，可算出光源的 X、Y、Z坐標(biāo)值，該坐標(biāo)經(jīng)過(guò)鏡頭畸變數(shù)學(xué)經(jīng)驗(yàn)?zāi)Ｐ驼{(diào)整后，得到光源點(diǎn)相對(duì)于攝像頭的真實(shí) 空間坐標(biāo)。通過(guò)以上方法可以獲得多個(gè)光源點(diǎn)的坐標(biāo)，這些坐標(biāo)的相對(duì)位置可與計(jì)算機(jī)存 儲(chǔ)的模型進(jìn)行耦合對(duì)比，以判斷這些光源點(diǎn)對(duì)應(yīng)的是手套還是其他附件裝置14,進(jìn)而判斷 這些裝置的空間位置和姿態(tài)。而連續(xù)的坐標(biāo)采集能算出這些裝置的移動(dòng)軌跡和速率，并以 此作為人機(jī)交互的控制手段；
[0055] 7、力反饋原理：當(dāng)使用者通過(guò)雙攝像頭裝置1和附件裝置14對(duì)虛擬環(huán)境內(nèi)虛擬人 物或虛擬物體進(jìn)行控制時(shí)，虛擬人物或虛擬物體會(huì)與虛擬環(huán)境發(fā)生交互行為，在某些預(yù)設(shè) 的交互發(fā)生時(shí)，計(jì)算機(jī)15會(huì)向附件裝置基座11發(fā)送信號(hào)以控制某個(gè)震動(dòng)模組4進(jìn)行力的 反饋。比如虛擬人物手指觸碰了虛擬環(huán)境的一塊石頭，軟件引擎就會(huì)向附件裝置基座11的 驅(qū)動(dòng)軟件發(fā)出信號(hào)，由基座11通過(guò)Α藍(lán)牙模塊16無(wú)線控制手套形附件裝置3手指上的震 動(dòng)模組4產(chǎn)生震動(dòng)，以模擬虛擬的碰觸感；
[0056] 8、增強(qiáng)現(xiàn)實(shí)原理：當(dāng)計(jì)算機(jī)15獲得雙攝像頭裝置1輸入的兩路視頻信號(hào)后，對(duì) 兩路視頻信號(hào)解碼，并分左右眼在頭戴式顯示器2上進(jìn)行顯示，形成對(duì)周圍真實(shí)空間的立 體視覺(jué)，在這一立體視覺(jué)中，可以疊加虛擬的物體或場(chǎng)景，比如在桌面顯示出一個(gè)小型的戰(zhàn) 場(chǎng)；同時(shí)計(jì)算機(jī)15對(duì)兩路視頻中的紅外光源X、Y坐標(biāo)值進(jìn)行采集，按前述的空間位置計(jì)算 原理和附件裝置14運(yùn)作原理得出視野中附件裝置14的位置和動(dòng)作命令，從而實(shí)現(xiàn)在增強(qiáng) 現(xiàn)實(shí)環(huán)境下的互動(dòng)體驗(yàn)，比如戴上手套形附件裝置3,能直接點(diǎn)擊并控制桌面小戰(zhàn)場(chǎng)中的微 縮虛擬戰(zhàn)士，且這些點(diǎn)擊觸碰行為一樣可觸發(fā)前述的力回饋事件，大大提升使用者的控制 體驗(yàn)。
【權(quán)利要求】
1. 一種基于立體視覺(jué)的動(dòng)作采集和反饋方法，其特征在于，包括以下步驟：采集前方 空間內(nèi)附件裝置（14)上紅外光源的空間位置，并將該空間位置映射入虛擬空間中，控制虛 擬物體的位置和方向；當(dāng)虛擬物體與虛擬環(huán)境發(fā)生交互行為時(shí)，無(wú)線控制附件裝置（14)發(fā) 生震動(dòng)，模擬力的回饋感。
2. 根據(jù)權(quán)利要求1所述的基于立體視覺(jué)的動(dòng)作采集和反饋方法，其特征在于，所述的 采集前方空間內(nèi)附件裝置（14)上紅外光源的空間位置具體包括：固定在頭戴式顯示器（2) 上的雙攝像頭裝置（1)分開(kāi)左右采集前方的圖像，并將左右兩路圖像數(shù)據(jù)傳入計(jì)算機(jī)（15) 中，計(jì)算機(jī)（15)對(duì)兩路圖像數(shù)據(jù)進(jìn)行處理，即得附件裝置（14)上紅外光源的空間位置。
3. 根據(jù)權(quán)利要求2所述的基于立體視覺(jué)的動(dòng)作采集和反饋方法，其特征在于，所述的 雙攝像頭裝置（1)分開(kāi)左右采集前方的圖像，并將左右兩路圖像數(shù)據(jù)傳入計(jì)算機(jī)（15)中具 體包括：雙攝像頭裝置（1)通過(guò)左右兩側(cè)的CMOS或CCD傳感器（18)采集前方的圖像數(shù)據(jù)， 該圖像數(shù)據(jù)經(jīng)過(guò)A/D轉(zhuǎn)換器（19)后成為數(shù)字信號(hào)進(jìn)入DSP處理器（20)，進(jìn)行曝光、增益、白 平衡處理；處理后的數(shù)字信號(hào)進(jìn)入編碼芯片（21)中進(jìn)行信號(hào)編碼；編碼后，兩路視頻信號(hào) 進(jìn)入數(shù)據(jù)總線（22)合成一路并通過(guò)USB數(shù)據(jù)線（13)輸出至計(jì)算機(jī)（15)。
4. 根據(jù)權(quán)利要求3所述的基于立體視覺(jué)的動(dòng)作采集和反饋方法，其特征在于，所述的 計(jì)算機(jī)（15)對(duì)兩路圖像數(shù)據(jù)進(jìn)行處理，即得附件裝置（14)上紅外光源的空間位置具體包 括：對(duì)兩路視頻信號(hào)進(jìn)行解碼，并采集兩路視頻信號(hào)中紅外光源在圖像中的X、Y坐標(biāo)值；將 每個(gè)鏡頭采集的紅外光源的坐標(biāo)值換算成紅外光源相對(duì)于鏡頭的方位角；當(dāng)已知相對(duì)兩個(gè) 鏡頭的方位角及兩個(gè)鏡頭的間距時(shí)，計(jì)算即得紅外光源的X、Υ、Ζ坐標(biāo)值；將紅外光源的X、 Υ、Ζ坐標(biāo)值經(jīng)鏡頭畸變數(shù)學(xué)經(jīng)驗(yàn)?zāi)Ｐ驼{(diào)整后，即得紅外光源相對(duì)于攝像頭的真實(shí)空間坐標(biāo)。
5. 根據(jù)權(quán)利要求4所述的基于立體視覺(jué)的動(dòng)作采集和反饋方法，其特征在于，所述方 法還包括：將附件裝置（14)上多個(gè)紅外光源的相對(duì)位置與計(jì)算機(jī)（15)中存儲(chǔ)的模型進(jìn)行 耦合對(duì)比，判斷所述紅外光源對(duì)應(yīng)的附件裝置（14)的種類。
6. 根據(jù)權(quán)利要求4所述的基于立體視覺(jué)的動(dòng)作采集和反饋方法，其特征在于，所述方 法還包括：計(jì)算機(jī)（15)對(duì)兩路視頻信號(hào)解碼后，分左右眼進(jìn)行顯示，形成對(duì)周圍真實(shí)空間 的立體視覺(jué)；在該立體視覺(jué)中，疊加虛擬物體或場(chǎng)景；同時(shí)計(jì)算機(jī)（15)采集兩路視頻信號(hào) 中紅外光源的Χ、Υ坐標(biāo)值，獲得視野中附件裝置（14)的控制命令，實(shí)現(xiàn)在增強(qiáng)現(xiàn)實(shí)環(huán)境下 的互動(dòng)。
7. 實(shí)現(xiàn)權(quán)利要求1?6所述方法的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，其特征在于， 包括：雙攝像頭裝置（1)、基座（11)、附件裝置（14)和計(jì)算機(jī)（15)，所述的基座（11)上設(shè)有 Α藍(lán)牙模塊（16)和USB數(shù)據(jù)線（13)，USB數(shù)據(jù)線（13)與計(jì)算機(jī)（15)連接；所述的附件裝 置（14)上設(shè)有B藍(lán)牙模塊（17)，B藍(lán)牙模塊（17)與A藍(lán)牙模塊（16)無(wú)線連接；所述的附 件裝置（14)上還設(shè)有紅外LED (8)或紅外LED (8)、震動(dòng)模組（4)和驅(qū)動(dòng)盒（5)，驅(qū)動(dòng)盒（5) 分別與A藍(lán)牙模塊（16)和震動(dòng)模組（4)連接。
8. 根據(jù)權(quán)利要求7所述的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，其特征在于，還包括： 頭戴式顯示器（2)，雙攝像頭裝置（1)分開(kāi)左右固定于頭戴式顯示器（2)上。
9. 根據(jù)權(quán)利要求7或8所述的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，其特征在于，所述 的附件裝置（14)為手套形附件裝置（3)、指環(huán)形附件裝置（6)、槍形附件裝置（7)或手柄附 件裝置（10)，所述的手套形附件裝置（3)、指環(huán)形附件裝置（6)、槍形附件裝置（7)或手柄附 件裝置（10)上分別設(shè)有紅外LED (8)，手套形附件裝置（3)上還設(shè)有震動(dòng)模組（4)和驅(qū)動(dòng)盒 (5)，槍形附件裝置（7)、手柄附件裝置（10)上還設(shè)有扳機(jī)及按鍵（9)，扳機(jī)及按鍵（9)與B 藍(lán)牙模塊（17)連接。
10.根據(jù)權(quán)利要求9所述的基于立體視覺(jué)的動(dòng)作采集和反饋系統(tǒng)，其特征在于，所述的 雙攝像頭裝置⑴包括：CMOS或(XD傳感器（18)、A/D轉(zhuǎn)換器（19)、DSP處理器（20)和編 碼芯片（21)，01?5或0!)傳感器（18)4/1)轉(zhuǎn)換器（19)、05?處理器（20)和編碼芯片（21) 順次連接，編碼芯片（21)通過(guò)數(shù)據(jù)總線（22)及USB數(shù)據(jù)線（13)與計(jì)算機(jī)（15)連接。
【文檔編號(hào)】G06F3/01GK104090660SQ201410329067
【公開(kāi)日】2014年10月8日 申請(qǐng)日期:2014年7月10日 優(yōu)先權(quán)日:2014年5月30日
【發(fā)明者】賀杰, 洪健鈞 申請(qǐng)人:賀杰, 洪健鈞