一種基于Kinect的現(xiàn)場作業(yè)仿真方法及其系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種能夠很好地滿足實現(xiàn)對現(xiàn)場工人作業(yè)實時捕捉從而能夠滿足制造領(lǐng)域?qū)ΜF(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素進行優(yōu)化設(shè)計要求的基于Kinect的現(xiàn)場作業(yè)仿真方法及其系統(tǒng)。它包括用于采集人體圖像的Kinect體感裝置、數(shù)據(jù)輸入接口、通過處理采集到的人體圖像來分析現(xiàn)場作業(yè)的數(shù)據(jù)處理裝置、數(shù)據(jù)輸出接口和用于顯示作業(yè)現(xiàn)場作業(yè)人員動作的顯示設(shè)備，所述的Kinect體感裝置通過數(shù)據(jù)輸入接口連接數(shù)據(jù)處理裝置，所述的數(shù)據(jù)處理裝置通過數(shù)據(jù)輸出接口連接顯示設(shè)備。本發(fā)明的有益效果是：能夠很好地滿足實現(xiàn)對現(xiàn)場工人作業(yè)實時捕捉，從而能夠滿足制造領(lǐng)域?qū)ΜF(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素進行優(yōu)化設(shè)計的要求；對作業(yè)現(xiàn)場適用性強，且有利于提高工作效率。
【專利說明】一種基于Kinect的現(xiàn)場作業(yè)仿真方法及其系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及現(xiàn)場作業(yè)分析仿真相關(guān)【技術(shù)領(lǐng)域】，尤其是指一種基于Kinect的現(xiàn)場作業(yè)仿真方法及其系統(tǒng)。
【背景技術(shù)】
[0002]提高手工作業(yè)的裝配工人的生產(chǎn)效率，對于減少企業(yè)的人力成本支出至關(guān)重要。作業(yè)現(xiàn)場數(shù)據(jù)的收集是工效學分析研究的第一步，傳統(tǒng)的工效學研究中，研究人員利用秒表、記錄紙或視頻的方式來觀察現(xiàn)場記錄作業(yè)者的操作，然后對記錄的信息進行手工分析或利用相關(guān)的處理軟件分析來評價工人的作業(yè)和工作量。這些方法需要研究人員手工分析整理，分析工作量高，勞動強度大，而且不能達到實時的要求。隨著運動捕捉技術(shù)、計算機仿真技術(shù)的發(fā)展，人體形態(tài)特征地獲取由手工活體測量的方法轉(zhuǎn)變?yōu)檫\動捕捉方法來進行，不僅可以獲得靜態(tài)特征，而且可以獲得動態(tài)特征，其數(shù)據(jù)采集速度和準確度都有了明顯的改善。但是目前已有的各種運動捕捉技術(shù)如光學式、機械式、電磁式等，由于各方面的限制，不能很好地滿足實現(xiàn)對現(xiàn)場工人作業(yè)實時捕捉的要求。
[0003]中國專利申請公布號:CN 102638653A，申請公布日2012年8月15日，公開了一種基于Kinect的自動面部追蹤方法,步驟為:(I)將Kinect與可編程旋轉(zhuǎn)攝像機組成為追蹤設(shè)備并進行標定；(2)通過Kinect獲取人體骨骼數(shù)據(jù)序列，并從中提取頭部骨骼點在Kinect坐標系中的坐標；(3)利用當前攝像機的外參數(shù)和當前Kinect的外參數(shù)得到Kinect坐標系到攝像機坐標系的變換矩陣；(4)利用步驟(3)中獲取的變換矩陣將步驟(2)中得到的頭部骨骼點坐標變換到攝像機坐標系中，而后計算攝像機在水平和垂直方向需要旋轉(zhuǎn)的角度以及需要縮放的倍數(shù)；(5)根據(jù)步驟(4)中求得的角度和倍數(shù)，驅(qū)動攝像機進行相應的旋轉(zhuǎn)和縮放，使得攝像機能夠追蹤人的面部運動。該發(fā)明利用連續(xù)獲取的骨骼數(shù)據(jù)序列驅(qū)動攝像機旋轉(zhuǎn)和縮放，可有效地實現(xiàn)自動面部追蹤，該發(fā)明的不足之處在于，不能很好地滿足實現(xiàn)對現(xiàn)場工人作業(yè)實時捕捉，從而不能夠滿足制造領(lǐng)域?qū)ΜF(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素的優(yōu)化設(shè)計要求。
【發(fā)明內(nèi)容】
[0004]本發(fā)明是為了克服現(xiàn)有技術(shù)中不能很好地滿足實現(xiàn)對現(xiàn)場工人作業(yè)實時捕捉從而不能夠滿足制造領(lǐng)域?qū)ΜF(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素進行優(yōu)化設(shè)計要求的不足，提供了一種能夠很好地滿足實現(xiàn)對現(xiàn)場工人作業(yè)實時捕捉從而能夠滿足制造領(lǐng)域?qū)ΜF(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素進行優(yōu)化設(shè)計要求的基于Kinect的現(xiàn)場作業(yè)仿真方法及其系統(tǒng)。
[0005]為了實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案:
[0006]一種基于Kinect的現(xiàn)場作業(yè)仿真方法，包括以下操作步驟:
[0007](I)通過Kinect體感裝置分別獲取現(xiàn)場作業(yè)人員作業(yè)姿勢的彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)和深度圖像數(shù)據(jù)；
[0008](2)將獲得的彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)和深度圖像數(shù)據(jù)轉(zhuǎn)化為人體骨骼中20個關(guān)節(jié)在系統(tǒng)空間坐標系中的三維坐標值；
[0009](3)通過識別的人體骨骼中各關(guān)節(jié)的三維坐標值來跟蹤同一時刻人體骨骼的運動狀態(tài)，從而確定該時刻的人體姿勢；
[0010](4)通過國標的人體尺寸數(shù)據(jù)庫來建立以人體身高或體重百分位為標準的男性和女性三維人體模型；
[0011](5)通過獲取在不同采樣時間的人體骨骼中20個關(guān)節(jié)的三維坐標值，來驅(qū)動合適的三維人體模型來產(chǎn)生不同采樣時間的人體的姿勢；
[0012](6)通過導入預設(shè)的三維圖形數(shù)據(jù)來建立作業(yè)現(xiàn)場仿真環(huán)境；
[0013](7)通過分析在作業(yè)現(xiàn)場仿真環(huán)境中的人體姿勢，利用生理學下背部模型來進行作業(yè)者下背部受力分析、工作的作業(yè)時間分析以及作業(yè)姿勢的舒適度等人因工效分析。
[0014]通過Kinect體感裝置采集人體的動作狀態(tài)，同時將采集到的信息進行數(shù)據(jù)處理，獲取三維的人體模型，其中在三維人體模型中包含了 19個人體部位和20個人體關(guān)節(jié)，根據(jù)國內(nèi)標準的人體尺寸來識別人體的運動狀態(tài)，通過設(shè)置的采樣頻率來捕獲人體的連續(xù)動作狀態(tài)，然后結(jié)合作業(yè)現(xiàn)場的仿真環(huán)境來分析人體的作業(yè)工效，以便于能進行更好的優(yōu)化，達到了滿足實現(xiàn)對現(xiàn)場工人作業(yè)實時捕捉，從而能夠滿足制造領(lǐng)域?qū)ΜF(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素進行優(yōu)化設(shè)計要求的目的。
[0015]作為優(yōu)選，步驟(I)中，所述的Kinect體感裝置中包括彩色攝像頭和紅外攝像頭，彩色攝像頭主要根據(jù)所設(shè)置的采樣頻率來捕捉彩色圖像，紅外攝像頭主要根據(jù)所設(shè)置的采樣頻率捕捉景深圖像，然后從彩色圖像數(shù)據(jù)、景深圖像數(shù)據(jù)中獲取人體骨架圖像數(shù)據(jù)，通過所設(shè)置的采樣頻率能夠?qū)崟r采集所需的不同圖像數(shù)據(jù)來獲取人體骨架圖像數(shù)據(jù)，便于進一步的人體運動狀態(tài)捕捉。
[0016]作為優(yōu)選，在步驟(2)中，先建立系統(tǒng)空間坐標系，然后以系統(tǒng)空間坐標系為基準確定彩色攝像頭系統(tǒng)空間坐標和紅外攝像頭系統(tǒng)空間坐標，再以系統(tǒng)空間坐標系為基準通過彩色攝像頭系統(tǒng)空間坐標和紅外攝像頭系統(tǒng)空間坐標來確定人體骨骼關(guān)鍵關(guān)節(jié)的系統(tǒng)空間坐標，之后建立人體骨骼與系統(tǒng)空間的轉(zhuǎn)換矩陣，最后確定人體骨骼20個關(guān)節(jié)的系統(tǒng)空間坐標，通過確定的人體骨骼20個關(guān)節(jié)系統(tǒng)空間坐標，然后再根據(jù)國內(nèi)標準的人體尺寸來確定人體的運動姿勢，不同的采樣時間采取不同的運動姿勢序列，從而完成動作的捕捉。
[0017]作為優(yōu)選，在步驟(6)中，所述的三維圖形數(shù)據(jù)為VRML、IGES和STL文件格式的三維圖形數(shù)據(jù)，使用VRML、IGES和STL該三種文件格式便于對作業(yè)場景進行仿真建模，使得人體動作捕捉能夠結(jié)合作業(yè)場景，更好的對現(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素進行優(yōu)化。
[0018]—種基于Kinect的現(xiàn)場作業(yè)仿真系統(tǒng),包括用于采集人體圖像的Kinect體感裝置、數(shù)據(jù)輸入接口、通過處理采集到的人體圖像來分析現(xiàn)場作業(yè)的數(shù)據(jù)處理裝置、數(shù)據(jù)輸出接口和用于顯示作業(yè)現(xiàn)場作業(yè)人員動作的顯示設(shè)備，所述的Kinect體感裝置通過數(shù)據(jù)輸入接口連接數(shù)據(jù)處理裝置，所述的數(shù)據(jù)處理裝置通過數(shù)據(jù)輸出接口連接顯示設(shè)備。
[0019]結(jié)合一種基于Kinect的現(xiàn)場作業(yè)仿真方法而設(shè)計的系統(tǒng)，通過數(shù)據(jù)處理裝置來處理Kinect體感裝置捕獲的人體動作狀態(tài)，并將人體動作姿勢做成一個動作姿勢序列，并將動作姿勢序列放置在作業(yè)現(xiàn)場的仿真建模中，能夠進行實時的分析作業(yè)工效，進一步優(yōu)化現(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素，同時通過顯示設(shè)備能夠給人以視覺上的直觀感受，使其能夠身臨其境，充分考慮到現(xiàn)場作業(yè)的情況，做出最好的優(yōu)化措施。[0020]作為優(yōu)選，所述的Kinect體感裝置包括彩色攝像頭、紅外攝像頭和圖像采集器，所述的彩色攝像頭和紅外攝像頭均連接圖像采集器，所述的圖像采集器連接數(shù)據(jù)輸入接口，通過圖像采集器將彩色攝像頭和紅外攝像頭采集到的圖像進行初步處理，在提取重要圖像數(shù)據(jù)的同時，可以減少一定的圖像信息，提高了整個系統(tǒng)的工作效率。
[0021]作為優(yōu)選，所述的數(shù)據(jù)處理裝置包括人體骨骼運動識別模塊、人體骨骼運動跟蹤模塊、三維人體建模模塊、三維人體運動仿真模塊、作業(yè)工效仿真分析模塊和作業(yè)場景仿真建模模塊，所述的人體骨骼運動識別模塊、人體骨骼運動跟蹤模塊、三維人體建模模塊、三維人體運動仿真模塊、作業(yè)工效仿真分析模塊和作業(yè)場景仿真建模模塊依次連接，所述的人體骨骼運動識別模塊連接數(shù)據(jù)輸入接口，所述的作業(yè)工效仿真分析模塊連接數(shù)據(jù)輸出接口，通過人體骨骼運動識別模塊對20個人體關(guān)節(jié)進行捕獲，通過人體骨骼運動跟蹤模塊能夠采樣不同時刻人體骨骼的運動姿勢，通過三維人體建模模塊并以國內(nèi)標準建立三維人體模型，通過三維人體運動仿真模塊將采集到的不同時刻人體骨骼運動姿勢進行動作仿真，通過作業(yè)工效仿真分析模塊將采集到動作狀態(tài)進行分析，同時通過作業(yè)場景仿真建模模塊建立仿真的作業(yè)場景，兩者相結(jié)合能夠更好的優(yōu)化現(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素。
[0022]作為優(yōu)選，還包括音頻輸出設(shè)備，所述的音頻輸出設(shè)備連接數(shù)據(jù)輸出接口，能夠直觀的告訴使用者人體運動狀態(tài)，同時也可以對不合理的動作進行實時的警告，避免潛在的危險因素，提高安全性能。
[0023]作為優(yōu)選，還包括信號發(fā)射接收器和遠程監(jiān)控裝置，所述的信號發(fā)射接收器連接數(shù)據(jù)輸出接口，所述的信號發(fā)射接收器連接遠程監(jiān)控裝置，這樣設(shè)計便于進行遠程監(jiān)控，同時也方便管理，有利于提高工作效率。
[0024]本發(fā)明的有益效果是:能夠很好地滿足實現(xiàn)對現(xiàn)場工人作業(yè)實時捕捉，從而能夠滿足制造領(lǐng)域?qū)ΜF(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素進行優(yōu)化設(shè)計的要求；同時通過分析在作業(yè)現(xiàn)場仿真環(huán)境中的人體姿勢，利用生理學下背部模型來進行作業(yè)者下背部受力分析、工作的作業(yè)時間分析以及作業(yè)姿勢的舒適度等人因工效分析；對作業(yè)現(xiàn)場適用性強，且有利于提高工作效率。
【專利附圖】
【附圖說明】
[0025]圖1是本發(fā)明的系統(tǒng)框圖；
[0026]圖2是三維人體模型結(jié)構(gòu)圖；
[0027]圖3是系統(tǒng)空間坐標系轉(zhuǎn)換流程圖。
[0028]圖中:1.Kinect體感裝置，2.數(shù)據(jù)輸入接口，3.人體骨骼運動識別模塊，4.人體骨骼運動跟蹤模塊，5.三維人體建模模塊，6.三維人體運動仿真模塊，7.作業(yè)工效仿真分析模塊，8.作業(yè)場景仿真建模模塊，9.數(shù)據(jù)輸出接口，10.顯示設(shè)備，11.音頻輸出設(shè)備，12.信號發(fā)射接收器，13.遠程監(jiān)控裝置，14.數(shù)據(jù)處理裝置，15.關(guān)節(jié)。
【具體實施方式】
[0029]下面結(jié)合附圖和【具體實施方式】對本發(fā)明做進一步的描述。
[0030]如圖1、圖2、圖3所述的實施例中，一種基于Kinect的現(xiàn)場作業(yè)仿真系統(tǒng)，包括用于采集人體圖像的Kinect體感裝置1、數(shù)據(jù)輸入接口 2、通過處理采集到的人體圖像來分析現(xiàn)場作業(yè)的數(shù)據(jù)處理裝置14、數(shù)據(jù)輸出接口 9、用于顯示作業(yè)現(xiàn)場作業(yè)人員動作的顯示設(shè)備10、音頻輸出設(shè)備11、信號發(fā)射接收器12和遠程監(jiān)控裝置13，Kinect體感裝置I通過數(shù)據(jù)輸入接口 2連接數(shù)據(jù)處理裝置14，數(shù)據(jù)處理裝置14通過數(shù)據(jù)輸出接口 9連接顯示設(shè)備10，音頻輸出設(shè)備11和信號發(fā)射接收器12連接數(shù)據(jù)輸出接口 9，信號發(fā)射接收器12連接遠程監(jiān)控裝置13。其中=Kinect體感裝置I包括彩色攝像頭、紅外攝像頭和圖像采集器，彩色攝像頭和紅外攝像頭均連接圖像采集器，圖像采集器連接數(shù)據(jù)輸入接口 2 ;數(shù)據(jù)處理裝置14包括人體骨骼運動識別模塊3、人體骨骼運動跟蹤模塊4、三維人體建模模塊5、三維人體運動仿真模塊6、作業(yè)工效仿真分析模塊7和作業(yè)場景仿真建模模塊8，人體骨骼運動識別模塊3、人體骨骼運動跟蹤模塊4、三維人體建模模塊5、三維人體運動仿真模塊6、作業(yè)工效仿真分析模塊7和作業(yè)場景仿真建模模塊8依次連接，人體骨骼運動識別模塊3連接數(shù)據(jù)輸入接口 2，作業(yè)工效仿真分析模塊7連接數(shù)據(jù)輸出接口 9。其中:數(shù)據(jù)輸入接口 2采用的是USB接口。
[0031]基于上述系統(tǒng)所對應的一種基于Kinect的現(xiàn)場作業(yè)仿真方法，包括以下操作步驟:
[0032](I)通過Kinect體感裝置I分別獲取現(xiàn)場作業(yè)人員作業(yè)姿勢的彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)和深度圖像數(shù)據(jù)，其中Kinect體感裝置I包括彩色攝像頭、紅外發(fā)射光源、紅外攝像頭和圖像采集器，彩色攝像頭主要根據(jù)所設(shè)置的采樣頻率來捕捉彩色圖像，紅外攝像頭主要根據(jù)所設(shè)置的采樣頻率捕捉景深圖像，然后從彩色圖像數(shù)據(jù)和景深圖像數(shù)據(jù)中獲取人體骨架圖像數(shù)據(jù)；
[0033](2)將獲得的彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)和深度圖像數(shù)據(jù)轉(zhuǎn)化為人體骨骼中20個關(guān)節(jié)在系統(tǒng)空間坐標系中的三維坐標值，具體操作方法為:先建立系統(tǒng)空間坐標系16，然后以系統(tǒng)空間坐標系為基準確定彩色攝像頭系統(tǒng)空間坐標17和紅外攝像頭系統(tǒng)空間坐標18，再以系統(tǒng)空間坐標系為基準通過彩色攝像頭系統(tǒng)空間坐標和紅外攝像頭系統(tǒng)空間坐標來確定人體骨骼關(guān)鍵關(guān)節(jié)的系統(tǒng)空間坐標19，之后建立人體骨骼與系統(tǒng)空間的轉(zhuǎn)換矩陣20，最后確定人體骨骼20個關(guān)節(jié)的系統(tǒng)空間坐標21 ；
[0034](3)通過識別的人體骨骼中各關(guān)節(jié)15的三維坐標值來跟蹤同一時刻人體骨骼的運動狀態(tài)，從而確定該時刻的人體姿勢，其中:人體骨骼20個關(guān)節(jié)15構(gòu)成了人體的19個部位,通過人體關(guān)節(jié)15之間的連接形成人體部位，再構(gòu)成一個人體模型確定人體的運動姿勢；
[0035](4)通過國標的人體尺寸數(shù)據(jù)庫來建立以人體身高或體重百分位為標準的男性和女性三維人體模型，其中國標為國內(nèi)標準，具體采用的是國標GB 10000-88，三維人體模型的尺寸可以根據(jù)國標GB 10000-88的人體尺寸來建立各百分位數(shù)的三維人體模型庫；
[0036](5)通過獲取在不同采樣時間的人體骨骼中20個關(guān)節(jié)15的三維坐標值，來驅(qū)動合適的三維人體模型來產(chǎn)生不同采樣時間的人體的姿勢，主要是將不同時刻的人體運動姿勢同時作用在一個三維人體模型上，根據(jù)采樣時間的不同做出不同的人體運動姿勢，將其連接起來可以形成一個整體的運動狀態(tài)，即為驅(qū)動合適的三維人體模型做出不同的人體姿勢；
[0037](6)通過導入預設(shè)的三維圖形數(shù)據(jù)來建立作業(yè)現(xiàn)場仿真環(huán)境，其中:三維圖形數(shù)據(jù)為VRML、IGES和STL文件格式的三維圖形數(shù)據(jù)，通過三者之間的相互配合建立一個作業(yè)現(xiàn)場的仿真環(huán)境，從而方便人體結(jié)合作業(yè)環(huán)境便于數(shù)據(jù)分析；
[0038](7)通過分析在作業(yè)現(xiàn)場仿真環(huán)境中的人體姿勢，利用生理學下背部模型來進行作業(yè)者下背部受力分析、工作的作業(yè)時間分析以及作業(yè)姿勢的舒適度等人因工效分析，以便于能進行更好的優(yōu)化，從而能夠滿足制造領(lǐng)域?qū)ΜF(xiàn)場作業(yè)過程、作業(yè)環(huán)境等因素進行優(yōu)化設(shè)計要求。
【權(quán)利要求】
1.一種基于Kinect的現(xiàn)場作業(yè)仿真方法，其特征是，包括以下操作步驟: 通過Kinect體感裝置(I)分別獲取現(xiàn)場作業(yè)人員作業(yè)姿勢的彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)和深度圖像數(shù)據(jù)； 將獲得的彩色圖像數(shù)據(jù)、骨架數(shù)據(jù)和深度圖像數(shù)據(jù)轉(zhuǎn)化為人體骨骼中20個關(guān)節(jié)(15)在系統(tǒng)空間坐標系中的三維坐標值； 通過識別的人體骨骼中各關(guān)節(jié)(15)的三維坐標值來跟蹤同一時刻人體骨骼的運動狀態(tài)，從而確定該時刻的人體姿勢； 通過國標的人體尺寸數(shù)據(jù)庫來建立以人體身高或體重百分位為標準的男性和女性三維人體模型； 通過獲取在不同采樣時間的人體骨骼中20個關(guān)節(jié)(15)的三維坐標值，來驅(qū)動合適的三維人體模型來產(chǎn)生不同采樣時間的人體的姿勢； 通過導入預設(shè)的三維圖形數(shù)據(jù)來建立作業(yè)現(xiàn)場仿真環(huán)境； 通過分析在作業(yè)現(xiàn)場仿真環(huán)境中的人體姿勢，利用生理學下背部模型來進行作業(yè)者下背部受力分析、工作的作業(yè)時間分析以及作業(yè)姿勢的舒適度等人因工效分析。
2.根據(jù)權(quán)利要求1所述的一種基于Kinect的現(xiàn)場作業(yè)仿真方法，其特征是，在步驟 (1)中，所述的Kinect體感裝置(I)中包括彩色攝像頭和紅外攝像頭，彩色攝像頭主要根據(jù)所設(shè)置的采樣頻率來捕捉彩色圖像，紅外攝像頭主要根據(jù)所設(shè)置的采樣頻率捕捉景深圖像，然后從彩色圖像數(shù)據(jù)、景深圖像數(shù)據(jù)中獲取人體骨架圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的一種基于Kinect的現(xiàn)場作業(yè)仿真方法，其特征是，在步驟(2)中，先建立系統(tǒng)空間坐標系，然后以系統(tǒng)空間坐標系為基準確定彩色攝像頭系統(tǒng)空間坐標和紅外攝像頭系統(tǒng)空間坐標，再以系統(tǒng)空間坐標系為基準通過彩色攝像頭系統(tǒng)空間坐標和紅外攝像頭系統(tǒng)空間坐標來確定人體骨骼關(guān)鍵關(guān)節(jié)(15)的系統(tǒng)空間坐標，之后建立人體骨骼與系統(tǒng)空間的轉(zhuǎn)換矩陣，最后確定人體骨骼20個關(guān)節(jié)(15)的系統(tǒng)空間坐標。
4.根據(jù)權(quán)利要求1或2所述的一種基于Kinect的現(xiàn)場作業(yè)仿真方法，其特征是，在步驟(6)中，所述的三維圖形數(shù)據(jù)為VRML、IGES和STL文件格式的三維圖形數(shù)據(jù)。
5.一種基于Kinect的現(xiàn)場作業(yè)仿真系統(tǒng)，其特征是，包括用于采集人體圖像的Kinect體感裝置(I)、數(shù)據(jù)輸入接口(2)、通過處理采集到的人體圖像來分析現(xiàn)場作業(yè)的數(shù)據(jù)處理裝置(14)、數(shù)據(jù)輸出接口(9)和用于顯示作業(yè)現(xiàn)場作業(yè)人員動作的顯示設(shè)備(10)，所述的Kinect體感裝置(I)通過數(shù)據(jù)輸入接口(2)連接數(shù)據(jù)處理裝置(14)，所述的數(shù)據(jù)處理裝置(14)通過數(shù)據(jù)輸出接口(9)連接顯示設(shè)備(10)。
6.根據(jù)權(quán)利要求5所述的一種基于Kinect的現(xiàn)場作業(yè)仿真系統(tǒng)，其特征是，所述的Kinect體感裝置(I)包括彩色攝像頭、紅外攝像頭和圖像采集器，所述的彩色攝像頭和紅外攝像頭均連接圖像采集器，所述的圖像采集器連接數(shù)據(jù)輸入接口( 2)。
7.根據(jù)權(quán)利要求5所述的一種基于Kinect的現(xiàn)場作業(yè)仿真系統(tǒng)，其特征是，所述的數(shù)據(jù)處理裝置(14)包括人體骨骼運動識別模塊 (3)、人體骨骼運動跟蹤模塊(4)、三維人體建模模塊(5)、三維人體運動仿真模塊(6)、作業(yè)工效仿真分析模塊(7)和作業(yè)場景仿真建模模塊(8)，所述的人體骨骼運動識別模塊(3)、人體骨骼運動跟蹤模塊(4)、三維人體建模模塊(5)、三維人體運動仿真模塊(6)、作業(yè)工效仿真分析模塊(7)和作業(yè)場景仿真建模模塊(8)依次連接，所述的人體骨骼運動識別模塊(3)連接數(shù)據(jù)輸入接口(2)，所述的作業(yè)工效仿真分析模塊(7)連接數(shù)據(jù)輸出接口(9)。
8.根據(jù)權(quán)利要求5或6或7所述的一種基于Kinect的現(xiàn)場作業(yè)仿真系統(tǒng)，其特征是，還包括音頻輸出設(shè)備(11)，所述的音頻輸出設(shè)備(11)連接數(shù)據(jù)輸出接口(9)。
9.根據(jù)權(quán)利要求5或6或7所述的一種基于Kinect的現(xiàn)場作業(yè)仿真系統(tǒng)，其特征是，還包括信號發(fā)射接收器(12)和遠程監(jiān)控裝置(13)，所述的信號發(fā)射接收器(12)連接數(shù)據(jù)輸出接口(9)，所述的 信號發(fā)射接收器(12)連接遠程監(jiān)控裝置(13)。
【文檔編號】G06T17/00GK103455657SQ201310252750
【公開日】2013年12月18日 申請日期:2013年6月21日 優(yōu)先權(quán)日:2013年6月21日
【發(fā)明者】孫永劍, 萬昌江, 李仁旺, 王朝增, 王海燕 申請人:浙江理工大學