一種互動的建筑物表面投影方法
【專利摘要】本發(fā)明公開了一種互動的建筑物表面投影方法。使用本發(fā)明能夠在凹凸不平的建筑物表面進行投影，并通過各種傳感器或手持移動終端對投影內(nèi)容進行實時控制，產(chǎn)生互動效果。本發(fā)明在凹凸不平的建筑物表面進行投影，利用建筑物表面的凹凸點制作具有立體效果的互動媒體，同時通過采用新型人機交互技術(shù)，如體感互動、激光互動、語音互動或者移動終端互動技術(shù)，與本發(fā)明提出的媒體渲染方法制作的媒體進行互動，從而產(chǎn)生超乎想象的震撼視覺效果并且能夠與建筑物完美結(jié)合，同時能夠使人在欣賞的過程中產(chǎn)生立體視覺。
【專利說明】一種互動的建筑物表面投影方法
【技術(shù)領域】
[0001 ] 本發(fā)明涉及投影拼接顯示技術(shù)以及新型人機交互技術(shù)，具體涉及一種互動的建筑物表面投影方法。
【背景技術(shù)】
[0002]傳統(tǒng)的投影拼接顯示技術(shù)都是以平面或者曲面投影屏幕作為顯示表面。隨著投影機技術(shù)的進步、人們對視覺體驗要求的不斷地提升以及伴隨著新媒體藝術(shù)的發(fā)展，需要一種更加具有視覺沖擊力，具有震撼效果的新型投影顯示技術(shù)。并且，隨著互動技術(shù)的發(fā)展，人們不再滿足于只觀看影片，而是希望自己能夠參與到整個活動中去，這就需要有新型的人機交互技術(shù)。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明提供了一種互動的建筑物表面投影方法，能夠在凹凸不平的建筑物表面進行投影，并通過各種傳感器或手持移動終端對投影內(nèi)容進行實時控制，產(chǎn)生互動效果。
[0004]本發(fā)明的互動的建筑物表面投影方法，以建筑物外表面為投影平面，以多臺投影機為顯示設備，通過采用手動或自動投影拼接的方法對投影圖像進行投影拼接，通過各臺投影機投影內(nèi)容與建筑表面關(guān)鍵點的對準，完成多投影拼接并利用建筑面表面關(guān)鍵點達到3D效果，其中，關(guān)鍵點為建筑外表面各個不連續(xù)面形成的交線以及各條交線的交點；設置游戲開發(fā)引擎和人機互動設備，其中，人機互動設備用于收集用戶的動作，游戲開發(fā)引擎設有端口用于接收人機互動設備發(fā)回的用戶的動作信息，用戶的動作信息與投影圖像結(jié)合形成互動媒體。
[0005]其中，互動的建筑物表面投影方法，具體包括以下步驟:
[0006]步驟1，確定投影表面及觀看者位置，使用相機在觀看者所在位置拍攝投影表面的照片；
[0007]步驟2，根據(jù)投影表面的材質(zhì)、現(xiàn)場光照條件以及項目預算確定投影機參數(shù)、投影機數(shù)量以及投影機位置布置；
[0008]步驟3，采用手動或自動方法確定有效投影區(qū)域:
[0009]手動方法確定有效投影區(qū)域方法如下:手動選取一個能夠包圍整個建筑區(qū)域的矩形作為有效投影區(qū)域；
[0010]自動方法確定有效投影區(qū)域方法如下:根據(jù)步驟I照片中建筑物區(qū)域亮度與背景亮度的不同，使用圖像處理方法求取建筑物區(qū)域，取該區(qū)域的最小外接矩形作為有效投影區(qū)域；
[0011 ] 步驟4，確定互動方案:根據(jù)項目要求以及項目現(xiàn)場條件確定采用的互動技術(shù)，所述互動技術(shù)包括體感互動、激光互動、語音互動和移動終端互動技術(shù)；
[0012]步驟5，具有3D效果的互動媒體制作:[0013]以步驟I得到的照片作為互動媒體制作的模板，使用視頻制作軟件進行素材制作，得到連續(xù)的圖片素材；當需要展示與關(guān)鍵點位置相關(guān)的效果時，沿著照片中建筑物表面關(guān)鍵點位置以及連接關(guān)鍵點的直線制作3D特效；設置游戲開發(fā)引擎，用于合成圖片素材，并預留端口用于接收人機互動設備發(fā)回的用戶動作信息，圖片素材與用戶動作結(jié)合形成互動媒體；
[0014]步驟6，現(xiàn)場安裝架設投影機，調(diào)整各臺投影機位置及角度以充滿整個有效投影區(qū)域；現(xiàn)場安裝人機互動設備，并調(diào)試設備的參數(shù)；
[0015]步驟7，使用手動或自動投影拼接方法進行多投影幾何校正；
[0016]其中，所述手動投影拼接方法如下:通過手動拖動網(wǎng)格使投影表面的關(guān)鍵點位置與投影視頻對齊，同時將圖像空間中的一條直線在觀看者視角同樣調(diào)整成直線，并進行顏色校正及融合區(qū)域亮度衰減；
[0017]所述自動投影拼接方法是基于結(jié)構(gòu)光掃描的自動多投影拼接的，具體步驟為:
[0018]步驟7.1，在與步驟I相同的位置架設相機，相機參數(shù)設置與步驟I相機參數(shù)相同，該相機能夠拍攝到投影表面；
[0019]步驟7.2，根據(jù)有效投影區(qū)域四個角點在相機圖像坐標系下的坐標以及待投影區(qū)域四個角點在顯示圖像坐標系下的坐標，利用單應矩陣計算相機圖像空間與顯示圖像空間之間的對應關(guān)系Hd ；
[0020]步驟7.3，針對每臺投影機覆蓋的建筑表面區(qū)域，分別使用編碼結(jié)構(gòu)光掃描的方法建立每臺投影機圖像空間與相機圖像之間的對應關(guān)系Ma，i=l,2,…，N, N為投影機數(shù)量；
[0021]步驟7.4，結(jié)合相機圖像空間與顯示圖像空間之間的對應關(guān)系Hd以及任意一臺投影機圖像空間與相機圖像之間的`對應關(guān)系Ma，得到顯示圖像空間與任意一臺投影機圖像空間的對應關(guān)系；
[0022]步驟7.5，對待顯示圖像進行顏色校正以及融合區(qū)域亮度衰減；
[0023]步驟8，通過人機互動設備采集得到用戶互動數(shù)據(jù)，用戶互動數(shù)據(jù)通過網(wǎng)絡實時發(fā)送給互動媒體，互動媒體根據(jù)接收到信息依照制作互動媒體時預設的程序步驟，實時調(diào)用相應的素材以及特效，完成互動媒體渲染；
[0024]步驟9，根據(jù)步驟7得到的顯示圖像空間與任意一臺投影機圖像空間的對應關(guān)系，將顯示圖像空間中的點映射到其對應的投影機圖像空間中相應位置，依次完成每臺投影機中所有點的對應即完成了互動媒體的投影拼接渲染，通過網(wǎng)絡讓所有投影機同步播放經(jīng)步驟8得到的互動媒體。
[0025]有益效果:
[0026]與傳統(tǒng)的互動投影使用地面、墻面或者投影拼接作為顯示表面不同，本發(fā)明提出了一種在凹凸不平的建筑物表面進行投影，并利用建筑物表面的凹凸點制作具有立體效果的互動媒體，同時通過采用新型人機交互技術(shù)(如體感互動、激光互動、語音互動或者移動終端互動技術(shù))與本發(fā)明提出的媒體渲染方法制作的媒體進行互動，從而產(chǎn)生超乎想象的震撼視覺效果并且能夠與建筑物完美結(jié)合，同時能夠使人在欣賞的過程中產(chǎn)生立體視覺。
【專利附圖】

【附圖說明】
[0027]圖1為本發(fā)明手動拼接融合方法進行互動建筑投影顯示的投影方式布置示意。[0028]其中，101-擬投影的建筑物外表面；102_投影機；103_融合服務器；104_渲染控制服務器；106_體感交互識別服務器；107_體感傳感器；108_參與交互的用戶；106，107，108組成體感互動部分105。
【具體實施方式】
[0029]下面結(jié)合附圖并舉實施例，對本發(fā)明進行詳細描述。
[0030]本發(fā)明提供了一種互動的建筑物表面投影方法，其投影布局示意如圖1所示，具體實施步驟如下:
[0031 ] 步驟I，確定投影表面及觀看者位置:
[0032]確定需要投影的表面，并根據(jù)需求確定觀看者所在位置，使用相機在觀看者所在位置拍攝投影表面的照片(該照片要求包括整個需要投影的建筑表面)，并記錄該位置、相機的高度、角度以及相機的焦距。如果相機鏡頭存在比較明顯的畸變，則需要預先對相機進行畸變校正(一般采用張正友提出的相機標定方法，Zhang Z.A flexible new techniquefor camera calibration[J].Pattern Analysis and Machine Intelligence, IEEETransactions on,2000, 22 (11):1330-1334.)。
[0033]步驟2，確定投影方案:
[0034]根據(jù)建筑物投影表面的材質(zhì)、現(xiàn)場光照條件以及其他因素(如項目預算等)確定投影機型號、投影機鏡頭型號、投影機數(shù)量以及投影機固定方案等。
[0035]步驟3，確定有效投影區(qū)域:
[0036]一般有效投影區(qū)域為照片中整個建筑物所在區(qū)域，可以通過手動或者自動方法確定有效投影區(qū)域。自動有效投影區(qū)域確定方法是根據(jù)照片中建筑物區(qū)域亮度與背景亮度的不同，使用圖像處理方法(如圖像二值化方法)求取建筑物區(qū)域，取該區(qū)域的最小外接矩形作為有效投影區(qū)域；手動有效投影區(qū)域確定方法是手動選取一個能夠包圍整個建筑區(qū)域的矩形作為有效投影區(qū)域，一般是選取建筑物區(qū)域的最小外接矩形作為有效投影區(qū)域。
[0037]步驟4，確定互動方案:
[0038]根據(jù)項目要求以及項目現(xiàn)場條件(如光照、空間等)確定采用的互動技術(shù)，一般能夠應用于建筑物互動投影的新型人機交互技術(shù)包括:體感互動、激光互動、語音互動、移動終端互動技術(shù)等。
[0039]體感互動:使用體感輸入設備(如微軟Kinect體感攝像頭、華碩Xtion體感攝像頭、SouVR.com的PhaseSpace光學動作捕捉系統(tǒng)等),采集用戶的肢體位置,經(jīng)過計算機視覺的模式算法識別用戶輸入的動作，并將該動作傳輸給渲染服務器用于控制輸出互動的變化。
[0040]激光互動:用戶使用激光發(fā)射設備(如激光筆等)指向建筑物表面的特定位置，通過使用攝像機采集激光光點的位置，經(jīng)過計算機視覺的團塊檢測以及團塊跟蹤算法得到激光發(fā)射設備所指的位置，并將該動作傳輸給渲染服務器用于控制互動媒體的變化。
[0041]語音互動:使用語音輸入設備，通過聲音采集設備采集用戶語音內(nèi)容或者現(xiàn)場聲音分貝數(shù)，經(jīng)過處理之后，并將該動作傳輸給渲染服務器用于控制互動媒體的變化。
[0042]移動終端互動技術(shù):使用移動終端輸入設備(如手機、平板電腦等)向互動接收服務器接收用戶發(fā)送的信息(如短息、微博、微信等)經(jīng)過處理之后，通過渲染服務器控制媒體效果做出相應改變以達到互動的目的。
[0043]步驟5，具有3D效果的互動媒體制作:
[0044]以步驟I得到的照片作為互動媒體制作的模板，制作互動媒體，其具體步驟為:
[0045]步驟5.1，素材制作:使用步驟I得到的照片，將照片作為制作模版，直接使用視頻制作軟件(如After Effect等)進行素材制作，得到連續(xù)的圖片素材。如果需要展示一副與關(guān)鍵點(所述關(guān)鍵點為建筑物投影表面各個不連續(xù)面形成的交線以及各條交線的交點，如建筑物窗戶的角點等)位置無關(guān)的效果，則直接將建筑物表面當作平片制作素材即可；如果需要展示與關(guān)鍵點位置相關(guān)的效果，則需要沿著照片中建筑物表面關(guān)鍵點位置以及連接關(guān)鍵點的直線制作特效，以達到具有3D效果的多媒體視頻制作的目的。
[0046]步驟5.2，互動媒體合成:使用游戲開發(fā)引擎(如Flash、Unity3D等)將上述圖片素材合成，并添加網(wǎng)絡(如TCP/IP)等接口，用于接收新型人機交互技術(shù)輸入的用戶互動信息，圖片素材與用戶動作結(jié)合形成互動媒體。
[0047]步驟6，現(xiàn)場安裝架設投影機以及人機互動設備:
[0048]現(xiàn)場安裝架設投影機，并調(diào)整各臺投影機位置及角度以充滿整個有效投影區(qū)域；現(xiàn)場安裝人機互動設備，并調(diào)試設備的參數(shù)(如靈敏度等)。
[0049]步驟7，多投影拼接融合:
[0050]使用手動或者自動投影拼接方法完成建筑表面投影拼接，以實現(xiàn)多投影機融合區(qū)域的對準以及投影視頻與建筑表面關(guān)鍵點位置的對準。一般，對于表面形狀簡單的建筑投影采用手動拼接融合的方式調(diào)整，對于表面形狀復雜，很難通過手動方式完成投影拼接的表面采用基于結(jié)構(gòu)光掃描的自動投 影拼接方法進行多投影幾何校正。
[0051]手動建筑表面投影拼接方法與現(xiàn)有的平面、曲面等手動拼接融合方法類似，都是通過手動拖動網(wǎng)格使投影表面的關(guān)鍵點位置與投影視頻對齊，同時將圖像空間中的一條直線在觀看者視角同樣調(diào)整成直線，并進行顏色校正及融合區(qū)域亮度衰減。
[0052]自動建筑表面投影拼接方法使用基于結(jié)構(gòu)光掃描的自動投影拼接方法進行多投影幾何校正，其具體步驟為:
[0053]步驟7.1，在與步驟I相同的位置架設相機，相機的角度焦距等參數(shù)與步驟I記錄的數(shù)據(jù)相同，該相機能夠拍攝到投影表面；
[0054]步驟7.2，根據(jù)有效投影區(qū)域四個角點在相機圖像坐標系下的位置以及待投影區(qū)域四個角點在顯示圖像坐標系下的位置，利用單應矩陣計算相機圖像空間與顯示圖像空間之間的對應關(guān)系Hd ；
[0055]步驟7.3，針對每臺投影機覆蓋的建筑表面區(qū)域，分別使用編碼結(jié)構(gòu)光掃描的方法建立任意一臺投影機圖像空間與相機圖像之間的對應關(guān)系Ma，i=l，2，…，N，N為投影機數(shù)量。例如采用Gray Code+Phase Shifting編碼結(jié)構(gòu)光掃描方法求取第i臺投影機圖像空間與相機圖像空間之間的對應關(guān)系Mci的步驟如下:
[0056]步驟7.3.1，有效編碼區(qū)域獲取:控制投影機先后投射一副白色和黑色的圖像，通過圖像差分以及二值化圖像處理即可得到有效編碼區(qū)域，即對上述兩張照片對應位置的像素做差值，對差值圖像進行二值化處理，白色部分為有效編碼區(qū)域，黑色部分為無效編碼區(qū)域；
[0057]步驟7.3.2，對第i臺投影機的有效投影區(qū)域進行縱向編碼和橫向編碼；[0058]步驟7.3.3，通過使用隨機抽樣一致(RANSAC)算法等方法除去錯誤編碼；
[0059]步驟7.3.4，將相機圖像空間劃分為mXn個網(wǎng)格，通過上述編碼找到網(wǎng)格交點在投影圖像空間中的對應點，對網(wǎng)格內(nèi)的點使用雙線性差值的方法計算其在在投影圖像空間中的對應點位置。
[0060]步驟7.4，結(jié)合相機圖像空間與顯示圖像空間之間的對應關(guān)系Hd以及任意一臺投影機圖像空間與相機圖像之間的對應關(guān)系Ma，得到顯示圖像空間之間與任意一臺投影機圖像空間中點的對應關(guān)系，也就是求取了需要顯示的圖像中每個像素在每臺投影機圖像中應該處于的位置；
[0061]步驟7.5，進行顏色校正以及融合區(qū)域亮度衰減。
[0062]步驟8，渲染互動媒體:
[0063]通過人機互動設備采集用戶互動的原始數(shù)據(jù)(如體感互動中的深度圖像、激光互動中的可見光圖像、語音互動中的語音和移動終端互動中終端發(fā)送的數(shù)據(jù)等)，根據(jù)不同的數(shù)據(jù)類型使用步驟5所描述的數(shù)據(jù)處理方法得到用戶互動數(shù)據(jù)，通過TCP/IP網(wǎng)絡協(xié)議實時將上述互動數(shù)據(jù)發(fā)送給互動媒體,互動媒體根據(jù)接收到信息的不同依照制作互動媒體時預設的程序步驟，實時調(diào)用相應的素材以及特效，從而完成互動媒體渲染，即實時生成了預期投影圖像。
[0064]步驟9，使用融合服務器讀取經(jīng)步驟7生成多投影幾何校正后的校正數(shù)據(jù)，根據(jù)步驟7得到的顯示圖像空間與任意一臺投影機圖像空間的對應關(guān)系，將顯示圖像空間中的點映射到其對應的投影機圖像空間中相應位置，依次完成每臺投影機中所有點的對應即完成了互動媒體的投影拼接渲染，同時使用渲染控制服務器利用TCP/IP協(xié)議通過所有融合服務器協(xié)調(diào)各臺投影機同步播放經(jīng)步驟8得到的互動媒體。
[0065]綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種互動的建筑物表面投影方法，其特征在于，以建筑物外表面為投影平面，以多臺投影機為顯示設備，通過采用手動或自動投影拼接的方法對投影圖像進行投影拼接，通過各臺投影機投影內(nèi)容與建筑表面關(guān)鍵點的對準，完成多投影拼接并利用建筑面表面關(guān)鍵點達到3D效果，其中，關(guān)鍵點為建筑外表面各個不連續(xù)面形成的交線以及各條交線的交點；設置游戲開發(fā)引擎和人機互動設備，其中，人機互動設備用于收集用戶的動作，游戲開發(fā)引擎設有端口用于接收人機互動設備發(fā)回的用戶的動作信息，用戶的動作信息與投影圖像結(jié)合形成互動媒體。
2.如權(quán)利要求1所述的互動的建筑物表面投影方法，其特征在于，包括以下步驟: 步驟1，確定投影表面及觀看者位置，使用相機在觀看者所在位置拍攝投影表面的照片; 步驟2，根據(jù)投影表面的材質(zhì)、現(xiàn)場光照條件以及項目預算確定投影機參數(shù)、投影機數(shù)量以及投影機位置布置； 步驟3，采用手動或自動方法確定有效投影區(qū)域: 手動方法確定有效投影區(qū)域方法如下:手動選取一個能夠包圍整個建筑區(qū)域的矩形作為有效投影區(qū)域； 自動方法確定有效投影區(qū)域方法如下:根據(jù)步驟I照片中建筑物區(qū)域亮度與背景亮度的不同，使用圖像處理方法求取建筑物區(qū)域，取該區(qū)域的最小外接矩形作為有效投影區(qū)域； 步驟4，確定互動方案:根據(jù)項目要求以及項目現(xiàn)場條件確定采用的互動技術(shù)，所述互動技術(shù)包括體感互動、激光互動、語音互動和移動終端互動技術(shù)； 步驟5，具有3D效果的互動媒體制作: 以步驟I得到的照片作為互動媒體制作的模板，使用視頻制作軟件進行素材制作，得到連續(xù)的圖片素材；當需要展示與關(guān)鍵點位置相關(guān)的效果時，沿著照片中建筑物表面關(guān)鍵點位置以及連接關(guān)鍵點的直線制作3D特效；設置游戲開發(fā)引擎，用于合成圖片素材，并預留端口用于接收人機互動設備發(fā)回的用戶動作信息，圖片素材與用戶動作結(jié)合形成互動媒體； 步驟6，現(xiàn)場安裝架設投影機，調(diào)整各臺投影機位置及角度以充滿整個有效投影區(qū)域；現(xiàn)場安裝人機互動設備，并調(diào)試設備的參數(shù)； 步驟7，使用手動或自動投影拼接方法進行多投影幾何校正； 其中，所述手動投影拼接方法如下:通過手動拖動網(wǎng)格使投影表面的關(guān)鍵點位置與投影視頻對齊，同時將圖像空間中的一條直線在觀看者視角同樣調(diào)整成直線，并進行顏色校正及融合區(qū)域亮度衰減； 所述自動投影拼接方法是基于結(jié)構(gòu)光掃描的自動多投影拼接的，具體步驟為: 步驟7.1，在與步驟I相同的位置架設相機，相機參數(shù)設置與步驟I相機參數(shù)相同，該相機能夠拍攝到投影表面； 步驟7.2，根據(jù)有效投影區(qū)域四個角點在相機圖像坐標系下的坐標以及待投影區(qū)域四個角點在顯示圖像坐標系下的坐標，利用單應矩陣計算相機圖像空間與顯示圖像空間之間的對應關(guān)系Hd ； 步驟7.3，針對每臺投影機覆蓋的建筑表面區(qū)域，分別使用編碼結(jié)構(gòu)光掃描的方法建立每臺投影機圖像空間與相機圖像之間的對應關(guān)系Μα，i=l,2,…，N, N為投影機數(shù)量； 步驟7.4，結(jié)合相機圖像空間與顯示圖像空間之間的對應關(guān)系Hd以及任意一臺投影機圖像空間與相機圖像之間的對應關(guān)系Ma，得到顯示圖像空間與任意一臺投影機圖像空間的對應關(guān)系； 步驟7.5，對待顯示圖像進行顏色校正以及融合區(qū)域亮度衰減； 步驟8，通過人機互動設備采集得到用戶互動數(shù)據(jù)，用戶互動數(shù)據(jù)通過網(wǎng)絡實時發(fā)送給互動媒體，互動媒體根據(jù)接收到信息依照制作互動媒體時預設的程序步驟，實時調(diào)用相應的素材以及特效，完成互動媒體渲染； 步驟9，根據(jù)步驟7得到的顯示圖像空間與任意一臺投影機圖像空間的對應關(guān)系，將顯示圖像空間中的點映射到其對應的投影機圖像空間中相應位置，依次完成每臺投影機中所有點的對應即完成了互動媒體的投影拼接渲染，通過網(wǎng)絡讓所有投影機同步播放經(jīng)步驟8得到的互動媒體。
【文檔編號】G06T15/00GK103500438SQ201310495344
【公開日】2014年1月8日 申請日期:2013年10月21日 優(yōu)先權(quán)日:2013年10月21日
【發(fā)明者】劉越, 李翔, 翁冬冬, 楊濤, 陳鋒 申請人:北京理工大學