本發(fā)明實施例涉及混合現(xiàn)實技術(shù)領(lǐng)域，尤其涉及一種混合現(xiàn)實虛擬呈現(xiàn)方法及裝置。

背景技術(shù)：

mr(mixedreality，混合現(xiàn)實技術(shù))，是一種將真實世界信息和虛擬世界信息混合疊加呈現(xiàn)的技術(shù)，涉及多媒體處理、三維建模、實時視頻顯示及控制、實時跟蹤以及場景融合等新技術(shù)與新手段。mr系統(tǒng)具有三個突出的特點：①真實世界和虛擬世界的信息集成；②具有實時交互性；③是在三維尺度空間中增添定位虛擬物體。mr技術(shù)可廣泛應(yīng)用到軍事、醫(yī)療、建筑、教育、工程、影視、娛樂等領(lǐng)域。

為了實現(xiàn)混合現(xiàn)實效果，目前通常的呈現(xiàn)方式，比如谷歌眼鏡、微軟hololens等都是將虛擬構(gòu)建的顯示圖像直接疊加到現(xiàn)實圖像中進行混合顯示，但是，顯示圖像中往往內(nèi)容復(fù)雜，需要復(fù)雜的算法計算虛擬圖像與現(xiàn)實圖像的疊加位置以及虛擬圖像需要進行的縮放、旋轉(zhuǎn)等處理，才能最大程度的使得疊加后的混合圖像真實感強。因此，現(xiàn)有技術(shù)的缺陷在于mr系統(tǒng)實現(xiàn)技術(shù)復(fù)雜，成本高，真實感不佳。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供一種混合現(xiàn)實虛擬呈現(xiàn)方法及裝置，能夠在降低實現(xiàn)成本的基礎(chǔ)上，高真實度的實現(xiàn)混合現(xiàn)實的虛擬呈現(xiàn)。

第一方面，本發(fā)明實施例提供了一種混合現(xiàn)實虛擬呈現(xiàn)方法，包括：

通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像，其中，所述攝像頭配置于所述用戶佩戴的混合現(xiàn)實眼鏡之上；

根據(jù)所述至少兩張平面確定圖像，繪制所述用戶視野中包括的空間網(wǎng)格平面；

根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景；

將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以使所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景。

第二方面，本發(fā)明實施例還提供了一種混合現(xiàn)實虛擬呈現(xiàn)裝置，包括：

平面確定圖像獲取模塊，用于通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像，其中，所述攝像頭配置于所述用戶佩戴的混合現(xiàn)實眼鏡之上；

空間網(wǎng)格平面繪制模塊，用于根據(jù)所述至少兩張平面確定圖像，繪制用戶視野中包括的空間網(wǎng)格平面；

虛擬場景確定模塊，用于根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景；

虛擬場景輸出模塊，用于將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以使所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景。

本發(fā)明實施例通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像；根據(jù)所述至少兩張平面確定圖像，繪制用戶視野中包括的空間網(wǎng)格平面；根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景；將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以實現(xiàn)所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景的效果，這樣形成的虛擬影像真實感強，一定程度上達到了欺騙人大腦的目的，讓人不易分辨真實場景和虛擬場景，與現(xiàn)有的谷歌眼鏡、微軟hololens相比，實現(xiàn)成本低。

附圖說明

圖1是本發(fā)明實施例一提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法的流程圖；

圖2a是本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法的流程圖；

圖2b是本發(fā)明實施例二提供的混合現(xiàn)實虛擬呈現(xiàn)方法中t-1時刻的特征點位置分布示意圖；

圖2c是本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中的t時刻的特征點位置分布示意圖；

圖2d是本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中提取的圖像特征點分布示意圖；

圖2e是本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中確定的空間網(wǎng)格平面示意圖；

圖2f是本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中確定的空間網(wǎng)格平面示意圖；

圖3a是本發(fā)明實施例三提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法的流程圖；

圖3b是本發(fā)明實施例三提供的一種待顯示3d物體疊加于空間網(wǎng)格平面后的示意圖；

圖3c是本發(fā)明實施例三提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中的通過兩個通道將虛擬場景輸出至所述混合現(xiàn)實眼鏡的不同鏡片中的示意圖；

圖4是本發(fā)明實施例四提供的一種混合現(xiàn)實虛擬呈現(xiàn)裝置的結(jié)構(gòu)圖。

具體實施方式

下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。

首先，為了后文便于說明，首先將本發(fā)明的發(fā)明構(gòu)思進行簡單說明。

在本發(fā)明各實施例中，使用了混合現(xiàn)實眼鏡，該混合現(xiàn)實眼鏡，通過光反射投影到半透明眼鏡片上，能夠?qū)崿F(xiàn)寬角度的獲取幾乎和真實場景一樣的場景。該混合現(xiàn)實眼鏡上包括有攝像頭，用于模擬人眼獲取周圍環(huán)境中的景物，該攝像頭拍攝的景物并不是用于生成虛擬場景或者現(xiàn)實場景，而是僅僅用于確定佩戴該混合現(xiàn)實眼鏡的用戶的視野中包括的空間網(wǎng)格平面。在確定該空間網(wǎng)格平面后，進而可以將待顯示的3d物體疊加于所述空間網(wǎng)格平面之上，生成虛擬場景。最后可以將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以使所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景。

實施例一

圖1為本發(fā)明實施例一提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法的流程圖，本實施例適用于融合現(xiàn)實場景和虛擬場景的情況。該方法可以由本發(fā)明實施例提供的混合現(xiàn)實虛擬呈現(xiàn)裝置來執(zhí)行，該裝置可采用軟件和/或硬件的方式實現(xiàn)，并一般可集成于用于顯示混合現(xiàn)實場景的混合現(xiàn)實眼鏡中。如圖1所示，本實施例的方法具體包括：

s110、通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像。

在本實施例中，所述攝像頭配置于所述用戶佩戴的混合現(xiàn)實眼鏡之上，用于模擬所述用戶的眼睛來獲取周圍環(huán)境中的景物，進而可以較準(zhǔn)確的確定用戶視野中包括的空間網(wǎng)格平面。

其中，所述平面確定圖像是指所述攝像頭拍攝的，用于確定用戶視野中包括的空間網(wǎng)格平面的圖像。所述至少兩張平面確定圖像為攝像頭對于同一場景進行連續(xù)拍攝，且拍攝過程中經(jīng)過攝像頭的短距離移動而位于不同位置處，從而拍攝的有部分場景重疊的多張圖像，也即：不同的平面確定圖像中包括有一個或者多個相同的景物。

s120、根據(jù)所述至少兩張平面確定圖像，繪制所述用戶視野中包括的空間網(wǎng)格平面。

在本實施例中，在獲取至少兩張平面確定圖像后，可以首先提取各所述平面確定圖像中的特征點。所謂特征點，是指圖像中體現(xiàn)景物特征的點，這些特征點不受景物的大小和旋轉(zhuǎn)的影響，對于光線、噪聲、微視角改變的容忍度也相當(dāng)高，很容易辨識景物而且鮮有誤認(rèn)的點。在提取不同平面確定圖像中的特征點后，通過特征點匹配的方式，獲取不同平面確定圖像中包括的相同特征點，之后可以根據(jù)該相同特征點在不同平面確定圖像中的運動軌跡，得到對應(yīng)的空間網(wǎng)格屬性結(jié)構(gòu)，進而可以根據(jù)該空間網(wǎng)格屬性結(jié)構(gòu)，繪制相應(yīng)的空間網(wǎng)格平面?？臻g網(wǎng)格平面用于表征該空間中的至少一個平面，且能夠以網(wǎng)格相連的形式來表示各平面。

典型的，可以通過sift(scale-invariantfeaturetransform，尺度不變特征變化)算法獲取平面中包括的特征點。

s130、根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景。

其中，所述待顯示3d物體具體是指需要與混合現(xiàn)實眼鏡獲取的真實場景進行融合并顯示的虛擬3d物體。其中，發(fā)明人發(fā)現(xiàn)如果不考慮用戶當(dāng)前視野中的能夠觀測的內(nèi)容直接虛擬顯示該3d物體，該混合現(xiàn)實場景的真實度低，用戶體驗差。

相應(yīng)的，在本實施例中，首先獲取用戶視野中包括的空間網(wǎng)格平面，之后可以考慮待顯示3d物體與各平面的位置關(guān)系，從而將該待顯示3d物體與所述空間網(wǎng)格平面進行疊加后生成相應(yīng)的虛擬場景，以增強虛擬影像(即：該待顯示3d物體)的真實感。

s140、將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以使所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景。

其中，為了最終獲取融合真實場景以及所述虛擬場景的混合現(xiàn)實場景，需要將該虛擬場景輸出至混合現(xiàn)實眼鏡。

本發(fā)明實施例通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像；根據(jù)所述至少兩張平面確定圖像，繪制用戶視野中包括的空間網(wǎng)格平面；根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景；將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以實現(xiàn)所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景的效果，這樣形成的虛擬影像真實感強，一定程度上達到了欺騙人大腦的目的，讓人不易分辨真是場景和虛擬場景，與現(xiàn)有的谷歌眼鏡、微軟hololens相比，實現(xiàn)成本低。

實施例二

圖2a為本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法的流程圖。本實施例以上述實施例為基礎(chǔ)進行進一步優(yōu)化，在本實施例中，將根據(jù)所述至少兩張平面確定圖像，繪制所述用戶視野中包括的空間網(wǎng)格平面，具體優(yōu)化為：分別在所述至少兩張平面確定圖像中提取特征點，并在所述至少兩張平面確定圖像中，標(biāo)記相同特征點的位置；根據(jù)所述相同特征點在不同平面確定圖像中的位置，獲取所述相同特征點的運動特征參數(shù)；根據(jù)所述運動特征參數(shù)，繪制所述用戶視野中包括的空間網(wǎng)格平面。

相應(yīng)的，本實施例的方法具體包括：

s210、通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像，其中，所述攝像頭配置于所述用戶佩戴的混合現(xiàn)實眼鏡之上。

s220、分別在所述至少兩張平面確定圖像中提取特征點，并在所述至少兩張平面確定圖像中，標(biāo)記相同特征點的位置。

在本實施例的一個可選的實施方式中，在所述平面確定圖像中提取特征點，具體可以包括下述步驟：

s2201、根據(jù)與所述平面確定圖像對應(yīng)的至少兩個尺度空間圖像，生成高斯差分圖像，并在所述高斯差分圖像中檢測極值點作為特征點。

在本步驟中，可以根據(jù)下述公式：

對每幅所述平面確定圖像i(x,y)進行多尺度空間變換，生成至少兩個尺度空間圖像l(x,y,σ)；其中，(x，y)為圖像中像素點的二維坐標(biāo)，i(x,y)為平面確定圖像，σ為尺度空間因子，不同σ的高斯函數(shù)g(x,y,σ)生成不同的尺度空間圖像；

之后，將相鄰尺度空間圖像的相減結(jié)果，作為高斯差分圖像d(x，y)，不同的高斯差分圖像對應(yīng)不同層的高斯差分金字塔。

其中，為了后文便于理解，首先介紹圖像金字塔的概念。圖像金字塔的每組里有若干層，第一組的第一層為原圖像(即：i(x,y))，然后將原圖像做一次高斯平滑(高斯卷積、高斯模糊)，得到l(x,y,σ)。高斯平滑里有一個參數(shù)σ，在sift里取1.6，然后將σ乘一個比例系數(shù)k作為新的平滑因子來平滑第一組第二層得到第一組第三層。重復(fù)若干次，得到第一組的l層分別對應(yīng)的平滑參數(shù)為：0，σ，kσ，k2σ....(在本發(fā)明實施例中，將上述各個參數(shù)定義為不同的σ)。然后將第一組最后一幅圖像做比例因子為2的降采樣得到第二組的第一層，然后對第二組的第一層做參數(shù)為σ的高斯平滑得到第二組的第二層，對第二組的第二層做kσ的平滑得到第二組的第三層，以此類推，直至最終得到該圖像金字塔。

高斯差分(differenceofgaussian，dog)金字塔，由上述圖像金字塔構(gòu)造出來，高斯差分金字塔的第一組第一層圖像是由圖像金字塔的第一組第二層圖像減第一組第一層圖像得到；高斯差分金字塔的第一組第二層圖像是由圖像金字塔的第一組第三層圖像減第一組第二層圖像得到，依次類推。圖像金字塔的每組圖像都這樣處理后就生成了高斯差分金字塔中包括的各高斯差分圖像(d(x，y))。

在生成高斯差分金字塔中各層的高斯差分圖像后，可以根據(jù)公式：對生成的所述高斯差分圖像進行求導(dǎo)，并將導(dǎo)數(shù)等于0時的極值點作為備選特征點，其中，dl(x,y)表示所述高斯差分金字塔中第l層的高斯差分圖像；

之后，計算如果計算得到的則將相應(yīng)的備選特征點保留作為所述特征點。0.7為預(yù)設(shè)的門限值，也可以根據(jù)不同需求調(diào)整該門限值來作為選擇特征點的依據(jù)。表示在特征點處的高斯差分圖像；表示高斯差分金字塔中第l層在特征點處的高斯差分圖像；表示高斯差分金字塔中第l-1層在特征點處的高斯差分圖像。

s2202、確定與各所述特征點對應(yīng)的方向參數(shù)，并根據(jù)所述方向參數(shù)，確定與各所述特征點對應(yīng)的特征描述子。

在本步驟中，在計算得到各特征點之后，以特征點為中心取16×16的窗口，將所述窗口內(nèi)包括的各像素點作為與所述特征點關(guān)聯(lián)的關(guān)鍵點；

根據(jù)公式：以及θ(x,y)＝tan2((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))，計算各關(guān)鍵點(x，y)處梯度的模值m(x,y)以及梯度的方向θ(x,y)，l為與所述關(guān)鍵點(x，y)對應(yīng)的尺度空間圖像(通過s2201計算得到)；

以順時針方向，45度角為跨度，選取8個方向值(典型的，0、π/4、π/2、3π/4、π、5π/4、3π/2、7π/4)，根據(jù)計算得到的各所述關(guān)鍵點處梯度的模值以及梯度的方向(僅能取前述選取的8個方向值)，構(gòu)造直方圖，并將所述直方圖的峰值對應(yīng)的梯度的方向作為所述特征點的主方向；

將坐標(biāo)軸旋轉(zhuǎn)至所述特征點的主方向后，根據(jù)與所述特征點關(guān)聯(lián)的各關(guān)鍵點處梯度的模值以及梯度的方向，生成所述特征點的特征描述子f；

其中，f(n)∈f，f(n)為與所述特征點關(guān)聯(lián)的第n關(guān)鍵點的特征描述；a1，a2，a3為預(yù)設(shè)權(quán)重值；θn為第n關(guān)鍵點處梯度的方向，mn為第n關(guān)鍵點處梯度的模值，pn為第n關(guān)鍵點與所述特征點之間的相對位置。其中，n∈[1，n]；n為所述特征點所關(guān)聯(lián)的關(guān)鍵點的總數(shù)量。

通過s2202的操作，可以將每一個特征點使用該特征點周圍多個關(guān)鍵點的梯度的方向以及梯度的模值構(gòu)成的特征描述子f來表征。

通過上述s2201以及s2202，可以生成與各平面確定圖像分別對應(yīng)的特征描述子，(典型的，與一個特征點對應(yīng)的特征描述子為一個128維的向量)，之后可以將相鄰拍攝時間的兩張平面確定圖像中的各特征描述子進行匹配(典型的，可以通過計算歐式距離的方式)，滿足預(yù)設(shè)的匹配條件，即表示在上述兩張平面確定圖像中包括有相同特征點，進而可以分別在上述兩張平面確定圖像中標(biāo)記該相同特征點。

s230、根據(jù)所述相同特征點在不同平面確定圖像中的位置，獲取所述相同特征點的運動特征參數(shù)。

在本實施例中，所述運動特征參數(shù)可以包括：所述相同特征點的移動方向、移動速度以及位移。

相應(yīng)的，在本實施例的一個可選的實施方式中，根據(jù)所述相同特征點在不同平面確定圖像中的位置，獲取所述相同特征點的運動特征參數(shù)可以包括：

根據(jù)所述相同特征點在不同平面確定圖像中的位置，計算所述相同特征點的移動方向以及位移值；

根據(jù)所述不同平面確定圖像的拍攝時間以及所述位移值，計算所述相同特征點的移動速度。

其中，在圖2b中示出了本發(fā)明實施例二提供的混合現(xiàn)實虛擬呈現(xiàn)方法中t-1時刻的特征點(特征點1、特征點2以及特征點3)位置分布示意圖，在圖2c中示出了本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中的t時刻的特征點位置分布示意圖。

以特征點1為例，在確定特征點1在t-1時刻獲取的平面確定圖像中的位置，以及該特征點1在t時刻獲取的平面確定圖像中的位置后，根據(jù)上述兩個位置之間的差異值，確定該特征點1的移動方向以及位移值；之后根據(jù)t-1與t之間的時間差值δt以及所述位移值，計算特征點1的移動速度。

s240、根據(jù)所述運動特征參數(shù)，繪制所述用戶視野中包括的空間網(wǎng)格平面。

在本實施例的一個可選的實施方式中，根據(jù)所述運動特征參數(shù)，繪制所述用戶視野中包括的空間網(wǎng)格平面，可以包括：

根據(jù)公式：計算t+1時刻的空間網(wǎng)格屬性結(jié)構(gòu)pt+1；

其中，ft為t時刻特征點的特征描述子，qt為t時刻特征點的置信度權(quán)重，所述置信度權(quán)重根據(jù)特征點在至少兩個平面確定圖像中的相似度距離確定，vt為t時刻特征點的移動速度，wt為t時刻特征點的移動方向，nt為t時刻特征點的位移值，δt為t+1時刻與t時刻之間的時間增量；(vt,nt)δt為特征描述子增量函數(shù)；((wt,nt)δt)為置信度權(quán)值增量函數(shù)；

根據(jù)t+1時刻的空間網(wǎng)格屬性結(jié)構(gòu)，繪制在t+1時刻下所述用戶視野中包括的空間網(wǎng)格平面。

需要說明的是，為了繪制用戶在t+1時刻的空間網(wǎng)格平面，首先需要獲取用戶在第t時刻的一個或者多個特征點的特征描述子、特征點的移動方向、位移值以及移動速度生成空間網(wǎng)格屬性結(jié)構(gòu)pt+1。

其中，在計算兩張平面確定圖像中包括的相同特征點時，是基于兩張平面確定圖像中包括的特征點之間的相似度距離確定的。實際上，通過相似度距離確定的相同特征點可能是正確的，也可能是錯誤的。因此，在確定空間網(wǎng)格屬性結(jié)構(gòu)時，引入了特征點的置信度權(quán)重的概念，當(dāng)計算得到相同特征點時，兩個特征點之間的相似度距離越近，該特征點的置信度權(quán)重越高。

(vt,nt)δt為特征描述子增量函數(shù)，((wt,nt)δt)為置信度權(quán)值增量函數(shù)，其可以根據(jù)實際情況進行自定義設(shè)定。其中，特征描述子增量函數(shù)由vt、nt以及δt三個參數(shù)確定；置信度權(quán)值增量函數(shù)由wtnt以及δt三個參數(shù)確定。

s250、根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景。

s260、將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以使所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景。

其中，在圖2d中示出了本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中提取的圖像特征點分布示意圖；在圖2e中示出了本發(fā)明實施例二提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中確定的空間網(wǎng)格平面示意圖；在圖2f中示出了本發(fā)明實施例二提供的另一種混合現(xiàn)實虛擬呈現(xiàn)方法中確定的空間網(wǎng)格平面示意圖。

由于傳統(tǒng)的混合現(xiàn)實裝置成本高，技術(shù)復(fù)雜或體驗的真實感不強，不利于規(guī)模化推廣。與現(xiàn)有技術(shù)相比，本實施例技術(shù)方案為低成本，高真實感的混合現(xiàn)實虛擬呈現(xiàn)方法，通過攝像機空間平面構(gòu)建和虛擬影像的融合，虛擬影像的真實感強，一定程度上達到了欺騙人大腦的目的，讓人不易分辨現(xiàn)實場景和虛擬場景，從而在教育、游戲等行業(yè)應(yīng)用中，體驗效果更好。由于方案成本低，有利于大眾化推廣應(yīng)用。

實施例三

圖3a為本發(fā)明實施例三提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法的流程圖。本實施例以上述實施例為基礎(chǔ)進行進一步優(yōu)化，在本實施例中，將根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景進行進一步細化；

在將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡之前，還優(yōu)選包括：將所述攝像頭拍攝的視頻，以及繪制的所述空間網(wǎng)格平面進行屏蔽；

同時，將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，具體優(yōu)化為：將所述虛擬場景分解為雙通道視頻內(nèi)容，并將所述雙通道視頻內(nèi)容輸出至所述混合現(xiàn)實眼鏡的不同鏡片中。

相應(yīng)的，本實施例的方法具體包括如下步驟：

s310、通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像，其中，所述攝像頭配置于所述用戶佩戴的混合現(xiàn)實眼鏡之上。

s320、根據(jù)所述至少兩張平面確定圖像，繪制所述用戶視野中包括的空間網(wǎng)格平面。

s330、根據(jù)所述待顯示3d物體的尺寸數(shù)據(jù)以及所述空間網(wǎng)格平面的大小，控制所述待顯示3d物體的縮放比例，將所述待顯示3d物體以設(shè)定尺寸疊加在所述空間網(wǎng)格平面上，并獲取與所述待顯示3d物體對應(yīng)的空間平面坐標(biāo)。

具體的，根據(jù)該待顯示3d物體的長、寬、高數(shù)據(jù)和繪制得到的空間網(wǎng)格平面大小，控制該待顯示3d物體的縮放比例，將3d物體疊加在所述空間網(wǎng)格平面上，并對3d物體進行碰撞檢測，以避免3d物體穿透真實場景的空間平面，或與真實場景中的其他物體嵌套而影響該混合現(xiàn)實場景的真實性。

s340、根據(jù)空間平面坐標(biāo)以及虛擬坐標(biāo)之間的映射關(guān)系，以及與所述待顯示3d物體對應(yīng)的空間平面坐標(biāo)，確定所述待顯示3d物體的虛擬坐標(biāo)，以生成與所述待顯示3d物體對應(yīng)的虛擬場景。

其中，在圖3b中示出了一種待顯示3d物體疊加于空間網(wǎng)格平面后的示意圖。

具體的，設(shè)虛擬場景中的點p在虛擬坐標(biāo)系中的虛擬坐標(biāo)為(x，y，z)，在空間平面坐標(biāo)系中空間平面的(xo,yo,zo)之間的變換關(guān)系滿足如下方程：

其中，xt,yt,zt,φ,γ,k分別表示真實空間攝像機位置及方位角度，l是縮放尺度。在虛擬坐標(biāo)系中，通過驅(qū)動虛擬攝像機的位置和角度變換，來變換虛擬場景的成像，用于保證虛擬場景圖像與現(xiàn)實場景圖像合成時的透視投影關(guān)系匹配。進一步的，三維場景點p的坐標(biāo)值m與其在圖像平面上的透視投影點p1的坐標(biāo)值m之間的關(guān)系為：

其中，c是相機參數(shù)矩陣，包括相機內(nèi)參數(shù)：相機焦點坐標(biāo)(fx,fy)和光心坐標(biāo)(cx,cy)，r為相機旋轉(zhuǎn)矩陣，t為相機平移矩陣。

通過上述公式，可以根據(jù)與所述待顯示3d物體對應(yīng)的空間平面坐標(biāo)，確定所述待顯示3d物體的虛擬坐標(biāo)，進而可以生成與所述待顯示3d物體對應(yīng)的虛擬場景。

s350、將所述攝像頭拍攝的視頻，以及繪制的所述空間網(wǎng)格平面進行屏蔽。

s360、將所述虛擬場景分解為雙通道視頻內(nèi)容，并將所述雙通道視頻內(nèi)容輸出至所述混合現(xiàn)實眼鏡的不同鏡片中。

其中，在圖3c中示出了本發(fā)明實施例三提供的一種混合現(xiàn)實虛擬呈現(xiàn)方法中的通過兩個通道將虛擬場景輸出至所述混合現(xiàn)實眼鏡的不同鏡片中的示意圖。

本實施例通過攝像機采集的圖像確定現(xiàn)實場景對應(yīng)的空間平面，并將3d物體與空間平面相融合形成虛擬影像，這樣形成的虛擬影像真實感強，一定程度上達到了欺騙人大腦的目的，讓人不易分辨現(xiàn)實場景和虛擬場景，并且能夠降低實現(xiàn)成本。

實施例四

圖4所示為本發(fā)明實施例四提供的一種混合現(xiàn)實虛擬呈現(xiàn)裝置的結(jié)構(gòu)示意圖。如圖4所示，所述裝置包括：

平面確定圖像獲取模塊410，用于通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像，其中，所述攝像頭配置于所述用戶佩戴的混合現(xiàn)實眼鏡之上；

空間網(wǎng)格平面繪制模塊420，用于根據(jù)所述至少兩張平面確定圖像，繪制用戶視野中包括的空間網(wǎng)格平面；

虛擬場景確定模塊430，用于根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景；

虛擬場景輸出模塊440，用于將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以使所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景。

本發(fā)明實施例通過攝像頭進行移動拍攝，獲取至少兩張與用戶視野相匹配的平面確定圖像；根據(jù)所述至少兩張平面確定圖像，繪制用戶視野中包括的空間網(wǎng)格平面；根據(jù)所述空間網(wǎng)格平面，確定與待顯示3d物體對應(yīng)的虛擬場景；將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡，以實現(xiàn)所述用戶觀測到由所述虛擬場景以及所述混合現(xiàn)實眼鏡獲取的真實場景融合后的混合現(xiàn)實場景的效果，這樣形成的虛擬影像真實感強，一定程度上達到了欺騙人大腦的目的，讓人不易分辨真是場景和虛擬場景，與現(xiàn)有的谷歌眼鏡、微軟hololens相比，實現(xiàn)成本低。

在上述各實施例的基礎(chǔ)上，所述空間網(wǎng)格平面繪制模塊，可以包括：

特征點確定單元，用于分別在所述至少兩張平面確定圖像中提取特征點，并在所述至少兩張平面確定圖像中，標(biāo)記相同特征點的位置；

運動特征參數(shù)獲取單元，用于根據(jù)所述相同特征點在不同平面確定圖像中的位置，獲取所述相同特征點的運動特征參數(shù)；

空間網(wǎng)格平面繪制單元，用于根據(jù)所述運動特征參數(shù)，繪制所述用戶視野中包括的空間網(wǎng)格平面。

在上述各實施例的基礎(chǔ)上，所述特征點確定單元，具體可以包括：

高斯差分圖像生成子單元，用于根據(jù)與所述平面確定圖像對應(yīng)的至少兩個尺度空間圖像，生成高斯差分圖像，并在所述高斯差分圖像中檢測極值點作為特征點；

特征描述子確定子單元，用于確定與各所述特征點對應(yīng)的方向參數(shù)，并根據(jù)所述方向參數(shù)，確定與各所述特征點對應(yīng)的特征描述子。

在上述各實施例的基礎(chǔ)上，所述高斯差分圖像生成子單元，具體可以用于：

根據(jù)公式：l(x,y,σ)＝g(x,y,σ)*i(x,y)；以及對所述平面確定圖像i(x,y)進行多尺度空間變換，生成至少兩個尺度空間圖像l(x,y,σ)；其中，(x，y)為圖像中像素點的二維坐標(biāo)，σ為尺度空間因子，不同σ的高斯函數(shù)g(x,y,σ)生成不同的尺度空間圖像；

將相鄰尺度空間圖像的相減結(jié)果，作為高斯差分圖像d(x，y)，不同的高斯差分圖像對應(yīng)不同層的高斯差分金字塔；

根據(jù)公式對生成的所述高斯差分圖像進行求導(dǎo)，并將導(dǎo)數(shù)等于0時的極值點作為備選特征點，其中，dl(x,y)表示高斯差分金字塔中第l層的高斯差分圖像；

計算如果計算得到的則將相應(yīng)的備選特征點保留作為所述特征點。

在上述各實施例的基礎(chǔ)上，所述特征描述子確定子單元，具體可以用于：

以特征點為中心取16×16的窗口，將所述窗口內(nèi)包括的各像素點作為與所述特征點關(guān)聯(lián)的關(guān)鍵點；

根據(jù)公式：以及θ(x,y)＝tan2((l(x,y+1)-l(x,y-1))/(l(x+1,y)-l(x-1,y)))，計算各關(guān)鍵點(x，y)處梯度的模值m(x,y)以及梯度的方向θ(x,y)，l為與所述關(guān)鍵點(x，y)對應(yīng)的尺度空間圖像；

以順時針方向，45度角為跨度，選取8個方向值，根據(jù)計算得到的各所述關(guān)鍵點處梯度的模值以及梯度的方向，構(gòu)造直方圖，并將所述直方圖的峰值對應(yīng)的梯度的方向作為所述特征點的主方向；

將坐標(biāo)軸旋轉(zhuǎn)至所述特征點的主方向后，根據(jù)與所述特征點關(guān)聯(lián)的各關(guān)鍵點處梯度的模值以及梯度的方向，生成所述特征點的特征描述子f；

其中，f(n)∈f，f(n)為與所述特征點關(guān)聯(lián)的第n關(guān)鍵點的特征描述；a1，a2，a3為預(yù)設(shè)權(quán)重值；θn為第n關(guān)鍵點處梯度的方向，mn為第n關(guān)鍵點處梯度的模值，pn為第n關(guān)鍵點與所述特征點之間的相對位置。

在上述各實施例的基礎(chǔ)上，所述運動特征參數(shù)獲取單元，具體可以用于：

根據(jù)所述相同特征點在不同平面確定圖像中的位置，計算所述相同特征點的移動方向以及位移值；

根據(jù)所述不同平面確定圖像的拍攝時間以及所述位移值，計算所述相同特征點的移動速度。

在上述各實施例的基礎(chǔ)上，所述空間網(wǎng)格平面繪制單元，具體可以用于：

根據(jù)公式：計算t+1時刻的空間網(wǎng)格屬性結(jié)構(gòu)pt+1；

其中，ft為t時刻特征點的特征描述子，qt為t時刻特征點的置信度權(quán)重，所述置信度權(quán)重根據(jù)特征點在至少兩個平面確定圖像中的相似度距離確定，vt為t時刻特征點的移動速度，wt為t時刻特征點的移動方向，nt為t時刻特征點的位移值，δt為t+1時刻與t時刻之間的時間增量；(vt,nt)δt為特征描述子增量函數(shù)；((wt,nt)δt)為置信度權(quán)值增量函數(shù)；

根據(jù)t+1時刻的空間網(wǎng)格屬性結(jié)構(gòu)，繪制在t+1時刻下所述用戶視野中包括的空間網(wǎng)格平面。

在上述各實施例的基礎(chǔ)上，所述虛擬場景確定模塊，具體可以用于：

根據(jù)所述待顯示3d物體的尺寸數(shù)據(jù)以及所述空間網(wǎng)格平面的大小，控制所述待顯示3d物體的縮放比例，將所述待顯示3d物體以設(shè)定尺寸疊加在所述空間網(wǎng)格平面上，并獲取與所述待顯示3d物體對應(yīng)的空間平面坐標(biāo)；

根據(jù)空間平面坐標(biāo)以及虛擬坐標(biāo)之間的映射關(guān)系，以及與所述待顯示3d物體對應(yīng)的空間平面坐標(biāo)，確定所述待顯示3d物體的虛擬坐標(biāo)，以生成與所述待顯示3d物體對應(yīng)的虛擬場景。

在上述各實施例的基礎(chǔ)上，還可以包括：屏蔽模塊，用于：

在將所述虛擬場景輸出至所述混合現(xiàn)實眼鏡之前，將所述攝像頭拍攝的視頻，以及繪制的所述空間網(wǎng)格平面進行屏蔽。

在上述各實施例的基礎(chǔ)上，所述虛擬場景輸出模塊，可以具體用于：

將所述虛擬場景分解為雙通道視頻內(nèi)容，并將所述雙通道視頻內(nèi)容輸出至所述混合現(xiàn)實眼鏡的不同鏡片中。

上述實施例中提供的混合現(xiàn)實虛擬呈現(xiàn)裝置可執(zhí)行本發(fā)明任意實施例所提供的混合現(xiàn)實虛擬呈現(xiàn)方法，具備執(zhí)行該方法相應(yīng)的功能模塊和有益效果。未在上述實施例中詳盡描述的技術(shù)細節(jié)，可參見本發(fā)明任意實施例所提供的混合現(xiàn)實虛擬呈現(xiàn)方法。

通過以上關(guān)于實施方式的描述，所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，本發(fā)明可借助軟件及必需的通用硬件來實現(xiàn)，當(dāng)然也可以通過硬件實現(xiàn)，但很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在計算機可讀存儲介質(zhì)中，如計算機的軟盤、只讀存儲器(read-onlymemory,rom)、隨機存取存儲器(randomaccessmemory,ram)、閃存(flash)、硬盤或光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。

注意，上述僅為本發(fā)明的較佳實施例及所運用技術(shù)原理。本領(lǐng)域技術(shù)人員會理解，本發(fā)明不限于這里所述的特定實施例，對本領(lǐng)域技術(shù)人員來說能夠進行各種明顯的變化、重新調(diào)整和替代而不會脫離本發(fā)明的保護范圍。因此，雖然通過以上實施例對本發(fā)明進行了較為詳細的說明，但是本發(fā)明不僅僅限于以上實施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。