本發(fā)明涉及一種沉浸式互動(dòng)投影系統(tǒng)。
背景技術(shù)：
目前，在現(xiàn)有投影技術(shù)中一般使用投影設(shè)備直接將投影投放到一個(gè)平面上，但這樣的投影結(jié)構(gòu)和方法只能完成一個(gè)平面的投放，無(wú)法做到將投影圖像分割后再由多面的投放投影，無(wú)法實(shí)現(xiàn)環(huán)繞式的投影，隨著人們對(duì)投影的效果需求增加，單面式的投影無(wú)法滿足人們的需要。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明為了解決現(xiàn)有技術(shù)的上述不足，提出了一種沉浸式互動(dòng)投影系統(tǒng)。
為了解決上述技術(shù)問(wèn)題，本發(fā)明采用以下技術(shù)方案：一種沉浸式互動(dòng)投影系統(tǒng)，包括長(zhǎng)方體狀的投影機(jī)體，所述投影機(jī)體的四個(gè)端面和頂面上都設(shè)有投影鏡頭組，所述投影鏡頭組包括主鏡頭和副鏡頭，且投影鏡頭組連接于一個(gè)主控制器，所述主控制器連接有投影處理單元和數(shù)據(jù)通訊單元，所述數(shù)據(jù)通訊單元包括數(shù)據(jù)傳輸串口、GPRS通訊模塊和無(wú)線路由模塊，該數(shù)據(jù)通訊單元連接于投影源輸入端，所述的投影處理單元包括投影輸出驅(qū)動(dòng)模塊、投影輸出外放模塊、投影分割模塊和互動(dòng)動(dòng)作捕捉模塊，所述投影分割模塊將所述投影源輸入端的投影圖像分割成多個(gè)投影面，進(jìn)而通過(guò)端面上的投影鏡頭組投放，所述的互動(dòng)動(dòng)作捕捉模塊通過(guò)捕捉觀影者的動(dòng)作控制投影源輸入端輸出的投影圖像。
優(yōu)選地，所述的投影源輸入端包括手機(jī)應(yīng)用APP和計(jì)算機(jī)應(yīng)用。
其中，在投影分割是所使用到的投影分割方法，包括以下步驟：
1)啟動(dòng)投影分割模塊的視頻采集系統(tǒng)，采集投影視頻的序列；
2)采集完成后，初始化背景為前N幀圖像的平均值；
3)計(jì)算當(dāng)前幀圖像與背景圖像的結(jié)構(gòu)相似圖；
4)對(duì)于結(jié)構(gòu)相似背景進(jìn)行背景建模；
5)最后再通過(guò)多模態(tài)特征融合進(jìn)行前景分割，進(jìn)而完成投影分割。
上述的結(jié)構(gòu)相似背景建模運(yùn)動(dòng)目標(biāo)檢測(cè)方法，它的特點(diǎn)在于視場(chǎng)中物體結(jié)構(gòu)對(duì)光照變化具有很高的魯棒性，利用結(jié)構(gòu)相似圖和環(huán)境變化系數(shù)動(dòng)態(tài)反饋更新背景模型，在此基礎(chǔ)上利用多模態(tài)特征融合策略從背景中檢測(cè)出運(yùn)動(dòng)物體。
在步驟3)結(jié)構(gòu)相似圖的具體操作步驟如下：
(1)計(jì)算灰度圖像Y2對(duì)于灰度圖像Y1的亮度失真Sm(Y1,Y2)和對(duì)比度失真Sv(Y1,Y2)：
其中μ1和μ2分別是Y1和Y2的區(qū)域均值，σ1和σ2分別是Y1和Y2的區(qū)域方差，σ1,2是Y1和Y2的區(qū)域協(xié)方差，c1和c2為常數(shù)?？筛鶕?jù)以下方法獲取這些矩陣：
其中g(shù)aus表示窗口大小為w的高斯濾波器，表示卷積運(yùn)算。
(2)求出Y2和Y1的結(jié)構(gòu)相似圖SSIM(Y1,Y2)：
SSIM(Y1,Y2)＝Sm(Y1,Y2)·Sv(Y1,Y2)
(3)為提高系統(tǒng)對(duì)結(jié)構(gòu)失真的辨識(shí)能力，根據(jù)步驟3)所得的結(jié)構(gòu)相似圖，當(dāng)前幀Yt和當(dāng)前背景YBt的結(jié)構(gòu)相似系數(shù)ssmt(x,y)定義為：
ssmt(x,y)＝(SSIM(Yt,YBt))γ
其中γ為常數(shù)。
所述步驟4)結(jié)構(gòu)相似背景建模具體操作步驟如下：
(1)運(yùn)動(dòng)區(qū)域反饋系數(shù)：
dt＝(1-α)dt-1+α·(1-ssmt)
其中dt表示當(dāng)前運(yùn)動(dòng)區(qū)域反饋系數(shù)，dt-1為上一時(shí)刻運(yùn)動(dòng)區(qū)域反饋系數(shù)，α表示學(xué)習(xí)率。
(2)當(dāng)前模糊反饋系數(shù)βt表示為：
(3)根據(jù)模糊背景更新原理，結(jié)構(gòu)相似背景建模為：
Bt(x,y)＝(1-βt·α)Bt-1(x,y)+βt·α·It(x,y)
其中It(x,y)表示當(dāng)前幀，Bt(x,y)表示當(dāng)前背景，Bt-1(x,y)為上一時(shí)刻背景。
步驟5)多模態(tài)特征融合前景分割的具體操作步驟如下：
(1)將當(dāng)前幀It(x,y)和當(dāng)前背景Bt(x,y)從RGB色彩空間轉(zhuǎn)換到Y(jié)UV色彩空間，計(jì)算當(dāng)前幀亮度Yt(x,y)相對(duì)于當(dāng)前背景亮度YBt(x,y)的變化
lft(x,y)＝|Yt(x,y)-YBt(x,y)|
計(jì)算當(dāng)前幀色度Ut、Vt相對(duì)于當(dāng)前背景色度UBt、VBt的變化
cft(x,y)＝|Ut(x,y)-UBt(x,y)|+|Vt(x,y)-VBt(x,y)|
計(jì)算當(dāng)前幀相對(duì)于當(dāng)前背景的結(jié)構(gòu)的變化
tft(x,y)＝ssmt(x,y)
(2)亮度變化前景模板mlt(x,y)，
其中Tlft(x,y)為當(dāng)前亮度變化閾值估計(jì)，閾值調(diào)整參數(shù)lcs是一個(gè)常數(shù)。
其中αT為閾值更新率。
色度變化前景模板mct(x,y)的求解過(guò)程與亮度變化前景模板相同。
(3)結(jié)構(gòu)變化前景模板mtt(x,y)為
μtft(x,y)為tft(x,y)的平均值。
(4)多模態(tài)前景模板融合
cmaskt(x,y)＝mtt(x,y)&(mlt(x,y)|mct(x,y))
(5)前景模板后處理
在cmaskt邏輯為1的像素周?chē)翱诜秶鸀閣內(nèi)的像素，如果其亮度變化和色彩變化均大于閾值，則該像素被重新劃分為前景像素，最終得到前景模板maskt(x,y)。
工作原理如下：
結(jié)構(gòu)相似圖魯棒于光照變化，能有效減少單純紋理差異形成的孔洞。利用結(jié)構(gòu)相似圖可以穩(wěn)定的獲取當(dāng)前幀圖像與背景模型之間的差異情況，其差異值為[0,1]區(qū)間范圍內(nèi)的連續(xù)數(shù)值，這使得利用結(jié)構(gòu)相似圖進(jìn)行模糊反饋背景建?？尚?。根據(jù)這一原理，我們?cè)O(shè)計(jì)了背景更新模型：
Bt(x,y)＝(1-βt·α)Bt-1(x,y)+βt·α·It(x,y)
其中，It(x,y)表示當(dāng)前幀，Bt(x,y)表示當(dāng)前背景，Bt-1(x,y)為上一時(shí)刻背景，α表示一級(jí)學(xué)習(xí)率，βt表示二級(jí)學(xué)習(xí)率。α由視頻幀率、視場(chǎng)中物體運(yùn)動(dòng)速度等因素來(lái)決定，通常設(shè)定為一個(gè)固定的經(jīng)驗(yàn)值。βt表示為：
其中，dt(x,y)＝(1-α)dt-1(x,y)+α·(1-ssmt(x,y))
ssmt(x,y)表示當(dāng)前幀和當(dāng)前背景的結(jié)構(gòu)相似圖，其值落在[0,1]區(qū)間，ssmt(x,y)的值越大表示當(dāng)前幀在(x,y)位置與背景模型相似度越高，即該位置為前景的概率越低，背景更新速度應(yīng)被提高。dt(x,y)表示當(dāng)前運(yùn)動(dòng)區(qū)域反饋系數(shù)，其值落在[0,1]區(qū)間，dt(x,y)的值越大，則表示對(duì)應(yīng)位置(x,y)的存在波動(dòng)或是新的背景物，此時(shí)，該位置的背景更新速度應(yīng)加快。dt-1(x,y)為上一時(shí)刻運(yùn)動(dòng)區(qū)域反饋系數(shù)。
上述的投影分割方法通過(guò)引入模糊反饋背景建模方法，利用當(dāng)前幀和背景模型的結(jié)構(gòu)相似系數(shù)，構(gòu)造雙重學(xué)習(xí)率對(duì)背景模型進(jìn)行更新，有效抑制了前景對(duì)背景模型的影響，解決了現(xiàn)有背景建模方法存在的在更新背景過(guò)程中快速引入前景特征的問(wèn)題。融合亮度、色彩、紋理特征對(duì)前景進(jìn)行分割，有效解決了其他方法中存在的陰影誤判為前景、偽裝誤判為背景、前景空洞等問(wèn)題。本發(fā)明的方法簡(jiǎn)便、靈活、易實(shí)現(xiàn)。
與現(xiàn)有技術(shù)相比，本發(fā)明能夠?qū)⑼队霸纯蛻舳溯斎氲耐队皥D像分割成多塊，并通過(guò)并將分割后的圖像視頻投影投放在四周的多個(gè)面上，形成了環(huán)繞式的投影，并且能夠捕捉觀影者的手勢(shì)動(dòng)作，方便了投影投放和人之間的互動(dòng)，可運(yùn)用于互動(dòng)游戲中。
附圖說(shuō)明
圖1為本發(fā)明的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例對(duì)發(fā)明進(jìn)行詳細(xì)的說(shuō)明。
如圖1所示，本發(fā)明提出的沉浸式互動(dòng)投影系統(tǒng)，包括長(zhǎng)方體狀的投影機(jī)體，所述投影機(jī)體的四個(gè)端面和頂面上都設(shè)有投影鏡頭組，所述投影鏡頭組包括主鏡頭和副鏡頭，且投影鏡頭組連接于一個(gè)主控制器，所述主控制器連接有投影處理單元和數(shù)據(jù)通訊單元，所述數(shù)據(jù)通訊單元包括數(shù)據(jù)傳輸串口、GPRS通訊模塊和無(wú)線路由模塊，該數(shù)據(jù)通訊單元連接于投影源輸入端，所述的投影處理單元包括投影輸出驅(qū)動(dòng)模塊、投影輸出外放模塊、投影分割模塊和互動(dòng)動(dòng)作捕捉模塊，所述投影分割模塊將所述投影源輸入端的投影圖像分割成多個(gè)投影面，進(jìn)而通過(guò)端面上的投影鏡頭組投放，所述的互動(dòng)動(dòng)作捕捉模塊通過(guò)捕捉觀影者的動(dòng)作控制投影源輸入端輸出的投影圖像。
優(yōu)選地，所述的投影源輸入端包括手機(jī)應(yīng)用APP和計(jì)算機(jī)應(yīng)用。
其中，在投影分割是所使用到的投影分割方法，包括以下步驟：
1)啟動(dòng)投影分割模塊的視頻采集系統(tǒng)，采集投影視頻的序列；
2)采集完成后，初始化背景為前N幀圖像的平均值；
3)計(jì)算當(dāng)前幀圖像與背景圖像的結(jié)構(gòu)相似圖；
4)對(duì)于結(jié)構(gòu)相似背景進(jìn)行背景建模；
5)最后再通過(guò)多模態(tài)特征融合進(jìn)行前景分割，進(jìn)而完成投影分割。
實(shí)際的操作時(shí)：
(1)計(jì)算灰度圖像Y2對(duì)于灰度圖像Y1的亮度失真Sm(Y1,Y2)和對(duì)比度失真Sv(Y1,Y2)：
其中μ1和μ2分別是Y1和Y2的區(qū)域均值，σ1和σ2分別是Y1和Y2的區(qū)域方差，σ1,2是Y1和Y2的區(qū)域協(xié)方差。可根據(jù)以下公式求得：
(2)求出Y2和Y1的結(jié)構(gòu)相似圖SSIM(Y1,Y2)：
SSIM(Y1,Y2)＝Sm(Y1,Y2)·Sv(Y1,Y2)
(3)為提高系統(tǒng)對(duì)結(jié)構(gòu)失真的辨識(shí)能力，根據(jù)步驟3)所得的結(jié)構(gòu)相似圖，當(dāng)前Yt和當(dāng)前背景YBt的結(jié)構(gòu)相似系數(shù)ssmt(x,y)定義為：
ssmt(x,y)＝(SSIM(Yt,YBt))2
進(jìn)而得到結(jié)構(gòu)圖。
所述步驟4)結(jié)構(gòu)相似背景建模具體操作步驟如下：
(1)運(yùn)動(dòng)區(qū)域反饋系數(shù)：
dt＝0.99×dt-1+0.01×(1-ssmt)
其中dt表示當(dāng)前運(yùn)動(dòng)區(qū)域反饋系數(shù)，dt-1為上一時(shí)刻運(yùn)動(dòng)區(qū)域反饋系數(shù)。
(2)當(dāng)前模糊反饋系數(shù)βt表示為：
(3)根據(jù)模糊背景更新原理，結(jié)構(gòu)相似背景建模為：
Bt(x,y)＝(1-0.01×βt)Bt-1(x,y)+0.01×βt·It(x,y)
其中It(x,y)表示當(dāng)前幀，Bt(x,y)表示當(dāng)前背景，Bt-1(x,y)為上一時(shí)刻背景。
按照本發(fā)明的模糊反饋背景更新方法獲取的背景模型。
步驟5)多模態(tài)特征融合前景分割的具體操作步驟如下：
將當(dāng)前幀It(x,y)和當(dāng)前背景Bt(x,y)從RGB色彩空間轉(zhuǎn)換到Y(jié)UV色彩空間。
RGB色彩空間轉(zhuǎn)換到Y(jié)UV色彩空間的計(jì)算公式為：
Y＝0.299R+0.587G+0.114B
U＝-0.147R-0.289G+0.436B
V＝0.615R-0.515G-0.100B
其中，R表示RGB色彩空間中的紅色通道，G表示RGB色彩空間中的綠色通道，R表示RGB色彩空間中的藍(lán)色通道，Y表示YUV色彩空間中的亮度分量，U和V分別表示YUV色彩空間中的色度分量。
計(jì)算當(dāng)前幀亮度Yt(x,y)相對(duì)于當(dāng)前背景亮度YBt(x,y)的變化：
lft(x,y)＝|Yt(x,y)-YBt(x,y)|
計(jì)算當(dāng)前幀色度Ut、Vt相對(duì)于當(dāng)前背景色度UBt、VBt的變化：
cft(x,y)＝|Ut(x,y)-UBt(x,y)|+|Vt(x,y)-VBt(x,y)|
計(jì)算當(dāng)前幀相對(duì)于當(dāng)前背景的結(jié)構(gòu)的變化：
tft(x,y)＝ssmt(x,y)
以上三種特征。
(2)亮度變化前景模板mlt(x,y)，
其中Tlft(x,y)為當(dāng)前亮度變化閾值估計(jì)。
色度變化前景模板mct(x,y)的求解過(guò)程與亮度變化前景模板類似。
(3)結(jié)構(gòu)變化前景模板mtt(x,y)為
μtft為tft(x,y)的平均值。
(4)多模態(tài)前景模板融合
cmaskt(x,y)＝mtt(x,y)&(mlt(x,y)|mct(x,y))
&表示與運(yùn)算，|表示或運(yùn)算。
(5)前景模板后處理
當(dāng)cmaskt(x,y)為1時(shí)，對(duì)與其距離范圍在11以內(nèi)的像素，如果亮度變化和色彩變化均大于閾值，則該像素被重新劃分為前景像素，最終得到前景模板maskt(x,y)。
前景結(jié)果，從圖中可以看出本發(fā)明可以很好的處理陰影和偽裝。
于膚色信息的指勢(shì)手分割法的基本思路是，首先對(duì)交互對(duì)象提取其運(yùn)動(dòng)前景目標(biāo)，然后根據(jù)人的膚色在相關(guān)顏色空間良好的聚類特性，分割出指勢(shì)手。
采用指勢(shì)進(jìn)行人機(jī)交互時(shí)，指勢(shì)手臂自然伸展，并以一定速率由下向上抬起，在空中停頓片刻，指向感興趣目標(biāo)，此過(guò)程可分為三個(gè)階段：第一階段為指勢(shì)發(fā)生前，用戶手臂處于自然下垂?fàn)顟B(tài)，此時(shí)無(wú)需檢測(cè)指尖點(diǎn)；第二階段為用戶的手指向某一目標(biāo)，此時(shí)指勢(shì)手可視為運(yùn)動(dòng)對(duì)象；第三階段為用戶正指著某一目標(biāo)，近似認(rèn)為指勢(shì)手處于靜止?fàn)顟B(tài)。
基于上節(jié)指勢(shì)手的分割區(qū)域，在此基礎(chǔ)上，根據(jù)幾何特征信息提取指勢(shì)的指尖點(diǎn)。矩作為一種高度濃縮的圖像特征，并不受圖像的大小、位置和方向影響[63]，因此，首先利用圖像矩方法確定指勢(shì)手區(qū)域的質(zhì)心坐標(biāo)：
式中，Mpq稱為(p+q)階矩，參數(shù)(p+q)稱為矩的階，f(i,j)為指勢(shì)手分割圖像區(qū)域。
當(dāng)p＝1，q＝0和p＝0，q＝1時(shí)，
稱為圖像的質(zhì)心坐標(biāo)。
利用上述質(zhì)心坐標(biāo)，計(jì)算距離質(zhì)心坐標(biāo)歐式距離最遠(yuǎn)輪廓點(diǎn)，并基于區(qū)域輪廓特征信息，計(jì)算指尖點(diǎn)坐標(biāo)：
其中，
式中，c為常數(shù)。
當(dāng)σ0<θ<σ1時(shí)，視該點(diǎn)為指勢(shì)手的指尖點(diǎn)。
用戶發(fā)生指勢(shì)動(dòng)作時(shí)，其指尖點(diǎn)處于運(yùn)動(dòng)狀態(tài)。為了防止出現(xiàn)指尖點(diǎn)檢測(cè)丟失或誤檢的情況，基于卡爾曼濾波器[64-66]對(duì)所計(jì)算指尖點(diǎn)進(jìn)行跟蹤/預(yù)測(cè)。
指勢(shì)識(shí)別的關(guān)鍵在于確定交互階段，根據(jù)指勢(shì)動(dòng)作特征，實(shí)時(shí)檢測(cè)指尖點(diǎn)在一定方向范圍內(nèi)的累計(jì)幀間運(yùn)動(dòng)平均速率Vfinger，當(dāng)用戶在指向感興趣目標(biāo)時(shí)，指勢(shì)手均有停頓，確定此時(shí)用戶為交互第三階段，判斷發(fā)生指勢(shì)交互行為：
式中，Tt為平均幀間耗時(shí)，Ptfinger＝[Xfinger,Yfinger,Zfinger]為指尖點(diǎn)的三維坐標(biāo)。
當(dāng)指尖點(diǎn)的運(yùn)動(dòng)速率滿足如下條件時(shí)，則判斷用戶正指著某一目標(biāo)。
式中，Vp為判別指勢(shì)交互閾值，Np為平均速率的計(jì)算幀數(shù)。
對(duì)于滿足上式(2-34)的指勢(shì)交互，表明用戶正指著某一目標(biāo)，基于指尖特征點(diǎn)以及指勢(shì)手臂肩部特征點(diǎn)的幾何約束，結(jié)合指勢(shì)手主軸線，計(jì)算其指勢(shì)手臂方向向量：
式中，Tp＝[Xp,Yp,0]為其空間目標(biāo)交互點(diǎn)，c1為調(diào)零常數(shù)。
通過(guò)前景的獲取，利用圖像分割及自適應(yīng)膚色檢測(cè)技術(shù)獲取人的肢體，從而判斷人的肢體語(yǔ)言。
上述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利和保護(hù)范圍應(yīng)以所附權(quán)利要求書(shū)為準(zhǔn)。