一種三維交互式投影成像方法【專利摘要】本發(fā)明涉及一種三維交互式投影成像方法。首先，建立三維模型；通過(guò)體感設(shè)備實(shí)時(shí)采集用戶特定動(dòng)作及行為，以控制所建立的三維模型進(jìn)行相應(yīng)的變化；其次，實(shí)時(shí)將所述步驟S02變化后的三維模型分解為N個(gè)二維面，其中，N為自然數(shù)，且N＞1；最后，通過(guò)影像輸出設(shè)備，實(shí)時(shí)的將分解后的N個(gè)二維面分別投影到折射和衍射成角度的各透明介質(zhì)上，實(shí)時(shí)變化的三維虛擬影像。本發(fā)明通過(guò)體感設(shè)備捕捉人體特定動(dòng)作及行為（諸如手掌、手指或其他肢體動(dòng)作的不同變化）來(lái)實(shí)現(xiàn)人與虛擬場(chǎng)景的相交互，且其投影方式為通過(guò)光學(xué)折射和衍射在透明介質(zhì)中合成3D影像?！緦＠f(shuō)明】一種三維交互式投影成像方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及一種三維交互式投影成像方法。【
背景技術(shù)：
】[0002]傳統(tǒng)的三維成像都是在顯示屏等顯示設(shè)備中實(shí)現(xiàn)，同時(shí)其實(shí)現(xiàn)人體與虛擬場(chǎng)景的交互需要采用鼠標(biāo)及鍵盤(pán)等傳統(tǒng)輸入設(shè)備，對(duì)于全息投影一般也只是停留在幻想階段。[0003]而本發(fā)明通過(guò)體感設(shè)備捕捉人體特定動(dòng)作及行為(諸如手掌、手指或其他肢體動(dòng)作的不同變化）來(lái)實(shí)現(xiàn)人與虛擬場(chǎng)景的相交互，且其投影方式為通過(guò)光學(xué)折射和衍射在透明介質(zhì)中合成3D影像?！?br/>發(fā)明內(nèi)容】[0004]本發(fā)明的目的在于提供一種能夠?qū)崿F(xiàn)人體動(dòng)作與虛擬場(chǎng)景相交互的三維交互式投影成像方法。[0005]為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種三維交互式投影成像方法，包括如下步驟，步驟S01:建立三維模型；步驟S02:通過(guò)體感設(shè)備實(shí)時(shí)采集用戶特定動(dòng)作及行為，以控制所述步驟S01所建立的三維模型進(jìn)行相應(yīng)的變化；步驟S03:實(shí)時(shí)將所述步驟S02變化后的三維模型分解為N個(gè)二維面，其中，N為自然數(shù)，且N>1;步驟S04:通過(guò)影像輸出設(shè)備，實(shí)時(shí)的將步驟S03分解后的N個(gè)二維面分別投影到折射和衍射成角度的各透明介質(zhì)上，實(shí)時(shí)變化的三維虛擬影像。[0006]在本發(fā)明實(shí)施例中，所述用戶特定動(dòng)作及行為為用戶手勢(shì)信息，所述用戶手勢(shì)信息包括手掌、手指及手持工具的狀態(tài)信息。[0007]在本發(fā)明實(shí)施例中，所述步驟S02至S03,具體實(shí)現(xiàn)過(guò)程為：步驟S21:給所述體感設(shè)備采集的所有手掌、手指及手持工具均分配一個(gè)唯一標(biāo)識(shí)，并形成每一幀的數(shù)據(jù)，所述每一幀數(shù)據(jù)包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步驟S22:根據(jù)所述步驟S21所得的每一幀數(shù)據(jù)，生成運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息包括旋轉(zhuǎn)的軸向向量、旋轉(zhuǎn)的角度、描述旋轉(zhuǎn)的矩陣、縮放因子、平移向量、手掌中心位置、手掌移動(dòng)的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的長(zhǎng)度、寬度、方向、指尖位置和指尖速度；步驟S23:根據(jù)所述步驟S22的運(yùn)動(dòng)信息控制所述步驟S01的三維模型進(jìn)行相應(yīng)的變化，步驟S24:將所述步驟S23變化后的三維模型分解為N個(gè)二維面，同時(shí)保證重組后的N個(gè)二維面同時(shí)聯(lián)動(dòng)。[0008]在本發(fā)明實(shí)施例中，所述N為2。[0009]在本發(fā)明實(shí)施例中，所述N為4。[0010]在本發(fā)明實(shí)施例中，所述體感設(shè)備包括LeapMotion體感傳感器和Kinect攝像機(jī)。[0011]在本發(fā)明實(shí)施例中，所述透明介質(zhì)包括玻璃、亞克力板、全息投影薄膜、水霧以及水霧混合物。[0012]在本發(fā)明實(shí)施例中，所述影像輸出設(shè)備包括顯示器及投影機(jī)。[0013]相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：本發(fā)明通過(guò)體感設(shè)備捕捉人體特定動(dòng)作及行為(諸如手掌、手指或其他肢體動(dòng)作的不同變化）來(lái)實(shí)現(xiàn)人與虛擬場(chǎng)景的相交互，且其投影方式為通過(guò)光學(xué)折射和衍射在透明介質(zhì)中合成3D影像?！緦＠綀D】【附圖說(shuō)明】[0014]圖1為本發(fā)明三維交互式投影成像原理圖。[0015]圖2為本發(fā)明手掌的法向量和方向圖。[0016]圖3為本發(fā)明手掌球的圓心和半徑示意圖。[0017]圖4為本發(fā)明手持工具示意圖。[0018]圖5為本發(fā)明手指方向和指尖位置不意圖?！揪唧w實(shí)施方式】[0019]下面結(jié)合附圖，對(duì)本發(fā)明的技術(shù)方案進(jìn)行具體說(shuō)明。[0020]如圖1所示，本發(fā)明的一種三維交互式投影成像方法，包括如下步驟，步驟S01:建立三維模型；步驟S02:通過(guò)體感設(shè)備實(shí)時(shí)采集用戶特定動(dòng)作及行為，以控制所述步驟S01所建立的三維模型進(jìn)行相應(yīng)的變化；步驟S03:實(shí)時(shí)將所述步驟S02變化后的三維模型分解為N個(gè)二維面，其中，N為自然數(shù)，且N>1;步驟S04:通過(guò)影像輸出設(shè)備，實(shí)時(shí)的將步驟S03分解后的N個(gè)二維面分別投影到折射和衍射成角度的各透明介質(zhì)上，實(shí)時(shí)變化的三維虛擬影像。[0021]所述用戶特定動(dòng)作及行為為用戶手勢(shì)信息，所述用戶手勢(shì)信息包括手掌、手指及手持工具的狀態(tài)信息。[0022]所述步驟S02至S03,具體實(shí)現(xiàn)過(guò)程為：步驟S21:給所述體感設(shè)備采集的所有手掌、手指及手持工具均分配一個(gè)唯一標(biāo)識(shí)，并形成每一幀的數(shù)據(jù)，所述每一幀數(shù)據(jù)包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步驟S22:根據(jù)所述步驟S21所得的每一幀數(shù)據(jù)，生成運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息包括旋轉(zhuǎn)的軸向向量、旋轉(zhuǎn)的角度、描述旋轉(zhuǎn)的矩陣、縮放因子、平移向量、手掌中心位置、手掌移動(dòng)的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的長(zhǎng)度、寬度、方向、指尖位置和指尖速度；步驟S23:根據(jù)所述步驟S22的運(yùn)動(dòng)信息控制所述步驟S01的三維模型進(jìn)行相應(yīng)的變化，步驟S24:將所述步驟S23變化后的三維模型分解為N個(gè)二維面，同時(shí)保證重組后的N個(gè)二維面同時(shí)聯(lián)動(dòng)。[0023]所述體感設(shè)備包括LeapMotion體感傳感器和Kinect攝像機(jī)以及其他體感設(shè)備等。[0024]所述透明介質(zhì)包括玻璃、亞克力板、全息投影薄膜、水霧以及水霧混合物等其他透明介質(zhì)。[0025]所述影像輸出設(shè)備包括顯示器及投影機(jī)等其他影像輸出設(shè)備。[0026]以下為本發(fā)明的具體實(shí)施例。[0027]本發(fā)明的三維交互式投影成像方法，即透明介質(zhì)的三維空氣成像原理如下：通過(guò)軟件編程，將設(shè)計(jì)好的三維CAD文件分別投影到屏幕的若干個(gè)面（1-4個(gè)面)，結(jié)合體感傳感器的軟件接口編程，使得若干個(gè)面的影像同時(shí)聯(lián)動(dòng)。分別控制聯(lián)動(dòng)的4個(gè)面的影像通過(guò)影像輸出設(shè)備（如顯示器、投影機(jī)等）分別輸出到透明介質(zhì)上，再通過(guò)折射和衍射到角度為45度的若干個(gè)面透明介質(zhì)表面，從而合成出整個(gè)可觸摸控制的3D虛擬影像。讓人可以從全方位觀察并控制3D影像，而無(wú)需任何輔助控制設(shè)備，也無(wú)需佩戴任何觀看設(shè)備。[0028]本實(shí)施例中采用LeapMotion傳感器，根據(jù)該傳感器內(nèi)置的兩個(gè)攝像頭從不同角度捕捉的畫(huà)面，重建出手掌在真實(shí)世界三維空間的運(yùn)動(dòng)信息。[0029]具體即，通過(guò)LeapMotion傳感器會(huì)定期的發(fā)送關(guān)于手的狀態(tài)信息，每份這樣的信息稱為「幀」（frame)。每一個(gè)這樣的幀包含檢測(cè)到的；?所有手掌的列表及信息；?所有手指的列表及信息；?手持工具(細(xì)的、筆直的、比手指長(zhǎng)的東西，例如一枝筆）的列表及信息；?所有可指向?qū)ο螅≒ointableObject)，即所有手指和工具的列表及信息；LeapMotion傳感器會(huì)給所有這些分配一個(gè)唯一標(biāo)識(shí)（ID)，在手掌、手指、工具保持在視野范圍內(nèi)時(shí)，是不會(huì)改變的。根據(jù)這些ID，可以查詢每個(gè)運(yùn)動(dòng)對(duì)象的信息。[0030]根據(jù)每幀和前幀檢測(cè)到的數(shù)據(jù)，生成運(yùn)動(dòng)信息。例如，若檢測(cè)到兩只手，并且兩只手都超一個(gè)方向移動(dòng)，就認(rèn)為是平移；若是像握著球一樣轉(zhuǎn)動(dòng)，則記為旋轉(zhuǎn)。若兩只手靠近或分開(kāi)，則記為縮放。所生成的數(shù)據(jù)包含：?旋轉(zhuǎn)的軸向矢量；?旋轉(zhuǎn)的角度(順時(shí)針為正）；?描述旋轉(zhuǎn)的矩陣；?縮放因子；?平移矢量；如圖2-3所示，對(duì)于每只手，可以檢測(cè)到如下信息：?手掌中心的位置(三維矢量，相對(duì)于傳感器坐標(biāo)原點(diǎn)，毫米為單位）；?手掌移動(dòng)的速度(毫米每秒）；?手掌的法矢量(垂直于手掌平面，從手心指向外）；?手掌朝向的方向；?根據(jù)手掌彎曲的弧度確定的虛擬球體的中心；?根據(jù)手掌彎曲的弧度確定的虛擬球體的半徑；對(duì)于每個(gè)手掌，亦可檢測(cè)出平移、旋轉(zhuǎn)(如轉(zhuǎn)動(dòng)手腕帶動(dòng)手掌轉(zhuǎn)動(dòng))、縮放(如手指分開(kāi)、聚合）的信息。檢測(cè)的數(shù)據(jù)如全局變換一樣，包括：?旋轉(zhuǎn)的軸向矢量；?旋轉(zhuǎn)的角度(順時(shí)針為正）；?描述旋轉(zhuǎn)的矩陣；?縮放因子；?平移矢量；LeapMotion除了可以檢測(cè)手指外，也可以檢測(cè)手持的工具。像上文所說(shuō)的，就是細(xì)的、筆直的、比手指長(zhǎng)的物件。[0031]如圖4-5所示，對(duì)于手指和工具，會(huì)統(tǒng)一地稱為可指向?qū)ο螅≒ointableObject,每個(gè)PointableObject包含了這些信息：?長(zhǎng)度；?寬度；?方向；?指尖位置；?指尖速度。[0032]根據(jù)全局的信息、運(yùn)動(dòng)變換，手掌、手指和工具的信息和變換，將設(shè)計(jì)好的三維CAD文件通過(guò)體感傳感器的軟件接口編程，使得若干個(gè)面的影像同時(shí)聯(lián)動(dòng)，并分別控制聯(lián)動(dòng)的4個(gè)面的影像通過(guò)影像輸出設(shè)備（如顯示器、投影機(jī)等）分別輸出到透明介質(zhì)上，再通過(guò)折射和衍射到角度為45度的若干個(gè)面透明介質(zhì)表面，從而合成出整個(gè)可觸摸控制的3D虛擬影像。[0033]三維透明介質(zhì)的選擇：目前可以選擇的透明介質(zhì)有玻璃，亞克力板、全息投影薄膜；另一種透明介質(zhì)是水霧或者水霧與微小粒子合成的塵埃裝水霧，即通過(guò)霧化裝置產(chǎn)生的高濃度水霧或者水霧混合體噴射出一面霧化的透明空氣介質(zhì)。[〇〇34]以上是本發(fā)明的較佳實(shí)施例，凡依本發(fā)明技術(shù)方案所作的改變，所產(chǎn)生的功能作用未超出本發(fā)明技術(shù)方案的范圍時(shí)，均屬于本發(fā)明的保護(hù)范圍?！緳?quán)利要求】1.一種三維交互式投影成像方法，其特征在于：包括如下步驟，步驟SOI:建立三維模型；步驟S02:通過(guò)體感設(shè)備實(shí)時(shí)采集用戶特定動(dòng)作及行為，以控制所述步驟S01所建立的三維模型進(jìn)行相應(yīng)的變化；步驟S03:實(shí)時(shí)將所述步驟S02變化后的三維模型分解為N個(gè)二維面，其中，N為自然數(shù)，且N>1;步驟S04:通過(guò)影像輸出設(shè)備，實(shí)時(shí)的將步驟S03分解后的N個(gè)二維面分別投影到折射和衍射成角度的各透明介質(zhì)上，實(shí)時(shí)變化的三維虛擬影像。2.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述用戶特定動(dòng)作及行為為用戶手勢(shì)信息，所述用戶手勢(shì)信息包括手掌、手指及手持工具的狀態(tài)信息。3.根據(jù)權(quán)利要求2所述的一種三維交互式投影成像方法，其特征在于：所述步驟S02至S03,具體實(shí)現(xiàn)過(guò)程為：步驟S21:給所述體感設(shè)備采集的所有手掌、手指及手持工具均分配一個(gè)唯一標(biāo)識(shí)，并形成每一幀的數(shù)據(jù)，所述每一幀數(shù)據(jù)包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步驟S22:根據(jù)所述步驟S21所得的每一幀數(shù)據(jù)，生成運(yùn)動(dòng)信息，該運(yùn)動(dòng)信息包括旋轉(zhuǎn)的軸向向量、旋轉(zhuǎn)的角度、描述旋轉(zhuǎn)的矩陣、縮放因子、平移向量、手掌中心位置、手掌移動(dòng)的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的長(zhǎng)度、寬度、方向、指尖位置和指尖速度；步驟S23:根據(jù)所述步驟S22的運(yùn)動(dòng)信息控制所述步驟S01的三維模型進(jìn)行相應(yīng)的變化，步驟S24:將所述步驟S23變化后的三維模型分解為N個(gè)二維面，同時(shí)保證重組后的N個(gè)二維面同時(shí)聯(lián)動(dòng)。4.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述N為2。5.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述N為4。6.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述體感設(shè)備包括LeapMotion體感傳感器和Kinect攝像機(jī)。7.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述透明介質(zhì)包括玻璃、亞克力板、全息投影薄膜、水霧以及水霧混合物。8.根據(jù)權(quán)利要求1所述的一種三維交互式投影成像方法，其特征在于：所述影像輸出設(shè)備包括顯示器及投影機(jī)?！疚臋n編號(hào)】G03B35/18GK104090465SQ201410268953【公開(kāi)日】2014年10月8日申請(qǐng)日期:2014年6月17日優(yōu)先權(quán)日:2014年6月17日【發(fā)明者】陳強(qiáng)申請(qǐng)人:福建水立方三維數(shù)字科技有限公司