本發(fā)明涉及圖像交互領(lǐng)域,特別涉及一種vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法和裝置。
背景技術(shù):
隨著虛擬現(xiàn)實(shí)技術(shù)(vr)的快速發(fā)展,虛擬共同空間社交成為了市場熱點(diǎn)。目前,虛擬共同空間社交技術(shù)中還存在著諸多技術(shù)難點(diǎn),尤其是社交參與人員相互之間的空間場景融入、以及處于不同空間人員融入共同虛擬空間場景時(shí)的真實(shí)比例問題。
一般情況下,攝像頭采集圖像時(shí)都存在著近大遠(yuǎn)小的現(xiàn)象,即當(dāng)人或物距離攝像頭較近時(shí)攝像頭所采集的人和物就會(huì)相對(duì)較大,當(dāng)人或物距離攝像頭較遠(yuǎn)時(shí)所采集的人和物就會(huì)相對(duì)較小,如果直接將采集的人或物按照原始比例直接放入虛擬空間場景中,就會(huì)導(dǎo)致比例失衡和失真。
技術(shù)實(shí)現(xiàn)要素:
為此,需要提供一種vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的技術(shù)方案,用以解決當(dāng)不同人像融入到共同虛擬空間場景時(shí),存在著人像比例不一致導(dǎo)致場景比例失衡、失真等問題。
為實(shí)現(xiàn)上述目的,發(fā)明人提供了一種vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置,所述裝置包括至少一個(gè)vr設(shè)備和服務(wù)器;所述vr設(shè)備與服務(wù)器連接;所述vr設(shè)備包括圖像采集單元、存儲(chǔ)單元、人像識(shí)別單元、人像調(diào)整單元、場景獲取單元、圖像融合單元、顯示控制單元和顯示單元;所述存儲(chǔ)單元包括第一存儲(chǔ)單元和第二存儲(chǔ)單元;
所述圖像采集單元用于采集位于預(yù)設(shè)位置的第一圖像,所述第一圖像包括第一人像信息;
所述人像識(shí)別單元用于從第一圖像中提取出第一人像信息,并將第一人像信息參數(shù)存儲(chǔ)于第一存儲(chǔ)單元中;
所述圖像采集單元還用于采集第二圖像,所述第二圖像為當(dāng)前用戶所在位置的圖像信息,所述人像識(shí)別單元用于從第二圖像中提取出第二人像信息,并將第二人像信息參數(shù)存儲(chǔ)于第二存儲(chǔ)單元中;
所述人像調(diào)整單元用于根據(jù)第二人像信息參數(shù)和第一人像信息參數(shù)的比例關(guān)系,確定縮放比例,并根據(jù)所述縮放比例對(duì)第二人像信息參數(shù)進(jìn)行縮放,并依據(jù)縮放后的人像信息參數(shù)生成第三人像信息;
所述場景獲取單元用于從服務(wù)器獲取場景信息,所述圖像融合單元用于對(duì)場景信息和第三人像信息進(jìn)行合成,得到圖像合成信息;
所述顯示控制單元用于將圖像合成信息傳輸至顯示單元進(jìn)行顯示。
進(jìn)一步地,所述人像調(diào)整單元還用于根據(jù)場景信息與人像信息的對(duì)應(yīng)關(guān)系,將第三人像信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第四人像信息;所述圖像融合單元用于對(duì)場景信息和第四人像信息進(jìn)行合成,得到圖像合成信息。
進(jìn)一步地,所述vr設(shè)備的數(shù)量為多個(gè),包括第一vr設(shè)備和第二vr設(shè)備,所述第一vr設(shè)備和第二vr設(shè)備連接;所述vr設(shè)備還包括通信單元;所述第一vr設(shè)備包括第一通信單元、第一人像識(shí)別單元、第一人像調(diào)整單元;所述第二vr設(shè)備包括第二通信單元、第二人像識(shí)別單元、第二人像調(diào)整單元;
所述第一通信單元用于將第一人像識(shí)別單元提取出的第二人像信息發(fā)送至第二通信單元;
所述第二人像調(diào)整單元用于將第二通信單元接收的來自第一人像識(shí)別單元提取出的第二人像信息、以及第二人像識(shí)別單元提取出的第二人像信息根據(jù)這兩者與第一人像信息參數(shù)的比例對(duì)應(yīng)關(guān)系,分別確定縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例進(jìn)行縮放,得到包含有縮放后的第一人像和第二人像的第三人像信息;
或者,所述第一通信單元用于接收第二通信單元發(fā)送的第二人像識(shí)別單元提取出的第二人像信息發(fā)送;
所述第一人像調(diào)整單元用于將第二通信單元發(fā)送的的來自第二人像識(shí)別單元提取出的第二人像信息、以及第一人像識(shí)別單元提取出的第二人像信息根據(jù)這兩者與第一人像信息參數(shù)的比例對(duì)應(yīng)關(guān)系,分別確定縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例進(jìn)行縮放,得到包含有縮放后的第一人像和第二人像的第三人像信息。
發(fā)明人還提供了一種vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法,所述方法應(yīng)用于vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置,所述裝置包括至少一個(gè)vr設(shè)備和服務(wù)器;所述vr設(shè)備與服務(wù)器連接;所述vr設(shè)備包括圖像采集單元、存儲(chǔ)單元、人像識(shí)別單元、人像調(diào)整單元、場景獲取單元、圖像融合單元、顯示控制單元和顯示單元;所述存儲(chǔ)單元包括第一存儲(chǔ)單元和第二存儲(chǔ)單元;所述方法包括:
圖像采集單元采集位于預(yù)設(shè)位置的第一圖像,所述第一圖像包括第一人像信息;
人像識(shí)別單元從第一圖像中提取出第一人像信息,并將第一人像信息參數(shù)存儲(chǔ)于第一存儲(chǔ)單元中;
圖像采集單元采集第二圖像,人像識(shí)別單元從第二圖像中提取出第二人像信息,并將第二人像信息參數(shù)存儲(chǔ)于第二存儲(chǔ)單元中;所述第二圖像為當(dāng)前用戶所在位置的圖像信息;
人像調(diào)整單元根據(jù)第二人像信息參數(shù)和第一人像信息參數(shù)的比例關(guān)系,確定縮放比例,并根據(jù)所述縮放比例對(duì)第二人像信息參數(shù)進(jìn)行縮放,并依據(jù)縮放后的人像信息參數(shù)生成第三人像信息;
場景獲取單元從服務(wù)器獲取場景信息,圖像融合單元對(duì)場景信息和第三人像信息進(jìn)行合成,得到圖像合成信息;
顯示控制單元將圖像合成信息傳輸至顯示單元進(jìn)行顯示。
進(jìn)一步地,所述方法還包括:
人像調(diào)整單元根據(jù)場景信息與人像信息的對(duì)應(yīng)關(guān)系,將第三人像信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第四人像信息;
圖像融合單元對(duì)場景信息和第四人像信息進(jìn)行合成,得到圖像合成信息。
進(jìn)一步地,所述vr設(shè)備的數(shù)量為多個(gè),包括第一vr設(shè)備和第二vr設(shè)備,所述第一vr設(shè)備和第二vr設(shè)備連接;所述vr設(shè)備還包括通信單元;所述第一vr設(shè)備包括第一通信單元、第一人像識(shí)別單元、第一人像調(diào)整單元;所述第二vr設(shè)備包括第二通信單元、第二人像識(shí)別單元、第二人像調(diào)整單元;所述方法包括:
第一通信單元將第一人像識(shí)別單元提取出的第二人像信息發(fā)送至第二通信單元;
第二人像調(diào)整單元將第二通信單元接收的來自第一人像識(shí)別單元提取出的第二人像信息、以及第二人像識(shí)別單元提取出的第二人像信息根據(jù)這兩者與第一人像信息參數(shù)的比例對(duì)應(yīng)關(guān)系,分別確定縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例進(jìn)行縮放,得到包含有縮放后的第一人像和第二人像的第三人像信息;
或者,第一通信單元接收第二通信單元發(fā)送的第二人像識(shí)別單元提取出的第二人像信息發(fā)送;
第一人像調(diào)整單元將第二通信單元發(fā)送的的來自第二人像識(shí)別單元提取出的第二人像信息、以及第一人像識(shí)別單元提取出的第二人像信息根據(jù)這兩者與第一人像信息參數(shù)的比例對(duì)應(yīng)關(guān)系,分別確定縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例進(jìn)行縮放,得到包含有縮放后的第一人像和第二人像的第三人像信息。
發(fā)明人還提供了另一種vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置,所述裝置包括多個(gè)vr設(shè)備;所述vr設(shè)備包括第三vr設(shè)備和第四vr設(shè)備;所述第三vr設(shè)備包括第三圖像采集單元、第三存儲(chǔ)單元、第三人像識(shí)別單元、第三人像調(diào)整單元、第三圖像融合單元、第三顯示控制單元、第三顯示單元、場景生成單元、第三通信單元;所述第四vr設(shè)備包括第四圖像采集單元、第四存儲(chǔ)單元、第四人像識(shí)別單元、第四人像調(diào)整單元、第四圖像融合單元、第四顯示控制單元、第四顯示單元、第四場景獲取單元、第四通信單元;
所述第三圖像采集單元用于采集位于預(yù)設(shè)位置的第一用戶的第五圖像,所述第五圖像包括第五人像信息;
所述第三人像識(shí)別單元用于從第五圖像中提取出第五人像信息,并將第五人像信息參數(shù)存儲(chǔ)于第三存儲(chǔ)單元中;
所述第三圖像采集單元還用于采集第六圖像,所述第六圖像為當(dāng)前第一用戶所在位置的圖像信息,所述第三人像識(shí)別單元用于從第六圖像中提取出第六人像信息,并將第六人像信息參數(shù)存儲(chǔ)于第三存儲(chǔ)單元中;
所述第三通信單元用于接收第四通信單元發(fā)送的第二用戶的第九人像信息,所述第九人像信息包括第九人像信息對(duì)應(yīng)的人像信息參數(shù);
所述第三人像調(diào)整單元用于根據(jù)第五人像信息參數(shù)和第六人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)所述縮放比例對(duì)第六人像信息參數(shù)進(jìn)行縮放,以及用于根據(jù)第五人像信息參數(shù)和第九人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)所述縮放比例對(duì)第九人像信息參數(shù)進(jìn)行縮放,生成第一人像綜合信息,所述第一人像綜合信息包含有縮放后的第六人像信息和縮放后的第九人像信息;
所述場景生成單元用于生成場景信息,所述第三圖像融合單元用于對(duì)場景信息和第一人像綜合信息進(jìn)行合成,得到第一圖像合成信息;
所述第三顯示控制單元用于將第一圖像合成信息傳輸至第三顯示單元進(jìn)行顯示;
或者,所述第四圖像采集單元用于采集位于預(yù)設(shè)位置的第二用戶的第八圖像,所述第八圖像包括第八人像信息;
所述第四人像識(shí)別單元用于從第八圖像中提取出第八人像信息,并將第八人像信息參數(shù)存儲(chǔ)于第四存儲(chǔ)單元中;
所述第四圖像采集單元還用于采集第九圖像,所述第九圖像為當(dāng)前第二用戶所在位置的圖像信息,所述第四人像識(shí)別單元用于從第九圖像中提取出第九人像信息,并將第九人像信息參數(shù)存儲(chǔ)于第四存儲(chǔ)單元中;
所述第四通信單元用于發(fā)送第九人像信息至第三通信單元,以及用于接收第三通信單元發(fā)送的場景信息和第六人像信息,所述第六人像信息包括第六人像信息對(duì)應(yīng)的人像信息參數(shù);
所述第四人像調(diào)整單元用于根據(jù)第八人像信息參數(shù)和第九人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例對(duì)第九人像信息參數(shù)進(jìn)行縮放,以及用于根據(jù)第六人像信息參數(shù)和第八人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例對(duì)第六人像信息參數(shù)進(jìn)行縮放,生成第二人像綜合信息,所述第二人像綜合信息包含有縮放后的第六人像信息和縮放后的第九人像信息;
所述第四場景獲取單元用于獲取場景生成單元生成的場景信息,所述第四圖像融合單元用于對(duì)場景信息和第二人像綜合信息進(jìn)行合成,得到第二圖像合成信息;
所述第四顯示控制單元用于將第二圖像合成信息傳輸至第四顯示單元進(jìn)行顯示。
進(jìn)一步地,所述第三人像調(diào)整單元還用于根據(jù)場景信息與第一人像綜合信息的對(duì)應(yīng)關(guān)系,將第一人像綜合信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第三人像綜合信息;所述第三圖像融合單元用于對(duì)場景信息和第三人像綜合信息進(jìn)行合成,得到第一圖像合成信息;
所述第四人像調(diào)整單元還用于根據(jù)場景信息與第二人像綜合信息的對(duì)應(yīng)關(guān)系,將第二人像綜合信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第四人像綜合信息;所述第四圖像融合單元用于對(duì)場景信息和第四人像綜合信息進(jìn)行合成,得到第二圖像合成信息。
發(fā)明人還提供了另一種vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法,所述方法應(yīng)用于vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置,所述裝置包括多個(gè)vr設(shè)備;所述vr設(shè)備包括第三vr設(shè)備和第四vr設(shè)備;所述vr設(shè)備還包括通信單元;所述第三vr設(shè)備包括第三圖像采集單元、第三存儲(chǔ)單元、第三人像識(shí)別單元、第三人像調(diào)整單元、第三圖像融合單元、第三顯示控制單元、第三顯示單元、場景生成單元;所述第四vr設(shè)備包括第四圖像采集單元、第四存儲(chǔ)單元、第四人像識(shí)別單元、第四人像調(diào)整單元、第四圖像融合單元、第四顯示控制單元、第四顯示單元、第四場景獲取單元;所述方法包括:
第三圖像采集單元采集位于預(yù)設(shè)位置的第一用戶的第五圖像,所述第五圖像包括第五人像信息;
第三人像識(shí)別單元從第五圖像中提取出第五人像信息,并將第五人像信息參數(shù)存儲(chǔ)于第三存儲(chǔ)單元中;
第三圖像采集單元采集第六圖像,第三人像識(shí)別單元從第六圖像中提取出第六人像信息,并將第六人像信息參數(shù)存儲(chǔ)于第三存儲(chǔ)單元中,所述第六圖像為當(dāng)前第一用戶所在位置的圖像信息;
第三通信單元接收第四通信單元發(fā)送的第二用戶的第九人像信息,所述第九人像信息包括第九人像信息對(duì)應(yīng)的人像信息參數(shù);
第三人像調(diào)整單元根據(jù)第五人像信息參數(shù)和第六人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)所述縮放比例對(duì)第六人像信息參數(shù)進(jìn)行縮放,以及根據(jù)第五人像信息參數(shù)和第九人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)所述縮放比例對(duì)第九人像信息參數(shù)進(jìn)行縮放,生成第一人像綜合信息,所述第一人像綜合信息包含有縮放后的第六人像信息和縮放后的第九人像信息;
場景生成單元生成場景信息,所述第三圖像融合單元用于對(duì)場景信息和第一人像綜合信息進(jìn)行合成,得到第一圖像合成信息;
第三顯示控制單元將第一圖像合成信息傳輸至第三顯示單元進(jìn)行顯示;
或者,方法包括:
第四圖像采集單元采集位于預(yù)設(shè)位置的第二用戶的第八圖像,所述第八圖像包括第八人像信息;
第四人像識(shí)別單元從第八圖像中提取出第八人像信息,并將第八人像信息參數(shù)存儲(chǔ)于第四存儲(chǔ)單元中;
第四圖像采集單元采集第九圖像,第四人像識(shí)別單元從第九圖像中提取出第九人像信息,并將第九人像信息參數(shù)存儲(chǔ)于第四存儲(chǔ)單元中,所述第九圖像為當(dāng)前第二用戶所在位置的圖像信息;
第四通信單元發(fā)送第九人像信息至第三通信單元,以及接收第三通信單元發(fā)送的場景信息和第六人像信息,所述第六人像信息包括第六人像信息對(duì)應(yīng)的人像信息參數(shù);
第四人像調(diào)整單元根據(jù)第八人像信息參數(shù)和第九人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例對(duì)第九人像信息參數(shù)進(jìn)行縮放,以及根據(jù)第六人像信息參數(shù)和第八人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例對(duì)第六人像信息參數(shù)進(jìn)行縮放,生成第二人像綜合信息,所述第二人像綜合信息包含有縮放后的第六人像信息和縮放后的第九人像信息;
第四場景獲取單元獲取場景生成單元生成的場景信息,第四圖像融合單元對(duì)場景信息和第二人像綜合信息進(jìn)行合成,得到第二圖像合成信息;
第四顯示控制單元將第二圖像合成信息傳輸至第四顯示單元進(jìn)行顯示。
進(jìn)一步地,所述方法包括:
第三人像調(diào)整單元根據(jù)場景信息與第一人像綜合信息的對(duì)應(yīng)關(guān)系,將第一人像綜合信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第三人像綜合信息;
第三圖像融合單元對(duì)場景信息和第三人像綜合信息進(jìn)行合成,得到第一圖像合成信息;
第四人像調(diào)整單元根據(jù)場景信息與第二人像綜合信息的對(duì)應(yīng)關(guān)系,將第二人像綜合信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第四人像綜合信息;第四圖像融合單元對(duì)場景信息和第四人像綜合信息進(jìn)行合成,得到第二圖像合成信息。
本發(fā)明具有以下優(yōu)點(diǎn):預(yù)先通過在預(yù)設(shè)位置統(tǒng)一采集獲取用戶的人像信息,得到一個(gè)預(yù)定的標(biāo)準(zhǔn)尺寸比例。這樣,用戶在使用vr設(shè)備過程中,無論用戶位置如何,都可以將用戶的人像信息轉(zhuǎn)換為標(biāo)準(zhǔn)比例,而后再將轉(zhuǎn)換后的人像信息與場景信息進(jìn)行合成,并最終傳輸至vr進(jìn)行顯示。本發(fā)明很好地解決了虛擬空間社交參與人員的空間融入和不同空間人員融入共同虛擬空間時(shí)的真實(shí)比例不一致的問題,同時(shí)具備便于攜帶、低功耗等特點(diǎn),在vr設(shè)備應(yīng)用領(lǐng)域具有廣闊的市場前景。
附圖說明
圖1為本發(fā)明一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置的示意圖;
圖2為本發(fā)明一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置的示意圖;
圖3為本發(fā)明另一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置的示意圖;
圖4為本發(fā)明另一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法的流程圖;
圖5為本發(fā)明另一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法的流程圖;
圖6為本發(fā)明另一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法的流程圖;
圖7為本發(fā)明另一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法的流程圖;
附圖標(biāo)記說明:
101、vr設(shè)備;1011、第一vr設(shè)備;1012、第二vr設(shè)備;1013、第三vr設(shè)備;1014、第四vr設(shè)備;
102、服務(wù)器;
103、圖像采集單元;113、第一圖像采集單元;123、第二圖像采集單元;133、第三圖像采集單元;143、第四圖像采集單元;
104、存儲(chǔ)單元;114、第一存儲(chǔ)單元;124、第二存儲(chǔ)單元;134、第三存儲(chǔ)單元;144、第四存儲(chǔ)單元;
105、人像識(shí)別單元;115、第一人像識(shí)別單元;125、第二人像識(shí)別單元;135、第三人像識(shí)別單元;145、第四人像識(shí)別單元;
106、人像調(diào)整單元;116、第一人像調(diào)整單元;126、第二人像調(diào)整單元;136、第三人像調(diào)整單元;146、第四人像調(diào)整單元;
107、場景獲取單元;117、第一場景獲取單元;127、第二場景獲取單元;147、第四場景獲取單元;
108、圖像融合單元;118、第一圖像融合單元;128、第二圖像融合單元;138、第三圖像融合單元;148、第四圖像融合單元;
109、顯示控制單元;119、第一顯示控制單元;129、第二顯示控制單元;139、第三顯示控制單元;149、第四顯示控制單元;
110、顯示單元;120、第一顯示單元;130、第二顯示單元;140、第三顯示單元;150、第四顯示單元;
111、通信單元;121、第一通信單元;131、第二通信單元;141、第三通信單元;151、第四通信單元;
112、場景生成單元。
具體實(shí)施方式
為詳細(xì)說明技術(shù)方案的技術(shù)內(nèi)容、構(gòu)造特征、所實(shí)現(xiàn)目的及效果,以下結(jié)合具體實(shí)施例并配合附圖詳予說明。
請(qǐng)參閱圖1,為本發(fā)明一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置的示意圖。所述裝置包括至少一個(gè)vr設(shè)備101和服務(wù)器102;所述vr設(shè)備101與服務(wù)器102連接;所述vr設(shè)備101包括圖像采集單元103、存儲(chǔ)單元104、人像識(shí)別單元105、人像調(diào)整單元106、場景獲取單元107、圖像融合單元108、顯示控制單元109和顯示單元110;所述存儲(chǔ)單元104包括第一存儲(chǔ)單元114和第二存儲(chǔ)單元124。
所述圖像采集單元103用于采集位于預(yù)設(shè)位置的第一圖像。圖像采集單元為具有圖像采集功能的電子設(shè)備,如攝像頭。預(yù)設(shè)位置為距離圖像預(yù)設(shè)距離的位置,預(yù)設(shè)距離的大小可以根據(jù)實(shí)際需要確定。在使用過程中,用戶可以立于預(yù)設(shè)距離位置,以便攝像頭采集第一圖像。所述第一圖像包括第一人像信息,所述第一人像信息即為采集的處于預(yù)設(shè)位置的用戶的人體圖像。
所述人像識(shí)別單元105用于從第一圖像中提取出第一人像信息,并將第一人像信息參數(shù)存儲(chǔ)于第一存儲(chǔ)單元114中。人像識(shí)別單元可以通過以下方式提取出第一人像信息:通過人體識(shí)別算法對(duì)第一圖像中的人體進(jìn)行識(shí)別,并將圖像上人體之外的部分全部用單一純色填充(比如純藍(lán)色),以方便進(jìn)行color_key(顏色鍵控)操作,進(jìn)而通過顏色鍵控操作將第一圖像上人體部分和人體之外部分相分離,提取出第一人像信息。第一人像信息參數(shù)為表征第一人像信息的對(duì)應(yīng)參數(shù),包括身高參數(shù)、身寬參數(shù)等。
所述圖像采集單元103還用于采集第二圖像,所述第二圖像為當(dāng)前用戶所在位置的圖像信息,所述人像識(shí)別單元105用于從第二圖像中提取出第二人像信息,并將第二人像信息參數(shù)存儲(chǔ)于第二存儲(chǔ)單元124中。在實(shí)際應(yīng)用過程中,攝像頭在采集第二圖像時(shí),用戶不一定處于預(yù)設(shè)位置,即采集到的第二圖像與第一圖像比例不一定對(duì)應(yīng),因而需要對(duì)第二圖像的比例進(jìn)行調(diào)整。人像識(shí)別單元從第二圖像中提取出第二人像信息的方式與提取第一人像信息的方式類似,此處不再贅述。所述第二人像信息參數(shù)包括采集的圖像信息中用戶對(duì)應(yīng)的身高參數(shù)、身寬參數(shù)等。
所述人像調(diào)整單元106用于根據(jù)第二人像信息參數(shù)和第一人像信息參數(shù)的比例關(guān)系,確定縮放比例,并根據(jù)所述縮放比例對(duì)第二人像信息參數(shù)進(jìn)行縮放,并依據(jù)縮放后的人像信息參數(shù)生成第三人像信息。例如用戶提取出的第一人像信息中身高參數(shù)為1000個(gè)像素高度,而本次采集到的第二人像信息中身高參數(shù)為800個(gè)像素高度,則第二圖像中第二人像信息與第一人像信息關(guān)于身高參數(shù)的比例為0.8。人像調(diào)整單元可以根據(jù)縮放比例,將第二人像信息參數(shù)還原回第一人像信息參數(shù)大小,生成第三人像信息,即將800像素高度的身高參數(shù)還原回1000像素高度并予以顯示。也可以根據(jù)身高參數(shù)比與縮放比例的對(duì)應(yīng)關(guān)系,確定身高參數(shù)對(duì)應(yīng)的縮放比,例如當(dāng)?shù)诙讼裥畔⑴c第一人像信息關(guān)于身高參數(shù)的比例為0.8時(shí),確定縮放比為1.5,則將當(dāng)前第二人像信息的身高參數(shù)放大1.5倍后生成第三人像信息。身寬參數(shù)的縮放與身高參數(shù)類似,此處不再贅述。當(dāng)然,在另一些實(shí)施例中,人像信息參數(shù)還可以包含一些其他參數(shù),例如頭部和身體的比例等,人像調(diào)整單元也可以對(duì)這些參數(shù)進(jìn)行調(diào)整縮放,以生成第三人像信息。
所述場景獲取單元107用于從服務(wù)器獲取場景信息,所述圖像融合單元108用于對(duì)場景信息和第三人像信息進(jìn)行合成,得到圖像合成信息。在本實(shí)施方式中,vr設(shè)備包括通信單元111,通信單元與服務(wù)器之間可以通過有線或無線的方式進(jìn)行連接,場景信息可以事先存儲(chǔ)于服務(wù)器對(duì)應(yīng)的存儲(chǔ)單元中,當(dāng)服務(wù)器接收到vr設(shè)備發(fā)送的場景信息獲取指令時(shí),則將場景信息發(fā)送至vr設(shè)備。所述場景信息為vr數(shù)據(jù)流對(duì)應(yīng)的背景數(shù)據(jù)流,即除了人像部分之外的其他數(shù)據(jù)流,例如可以是虛擬空間場景(包括學(xué)校、戶外、室內(nèi)、風(fēng)景區(qū)等等)。圖像融合單元108可以通過圖像融合算法,將場景信息和和第三人像信息進(jìn)行合成,圖像融合算法目前已在vr領(lǐng)域得到廣泛應(yīng)用,此處不再贅述。
所述顯示控制單元109用于將圖像合成信息傳輸至顯示單元110進(jìn)行顯示。這樣,當(dāng)用戶佩戴vr設(shè)備時(shí),就可以看到包含有比例縮放后的人像信息的圖像合成信息,有效增強(qiáng)了用戶體驗(yàn)。
在實(shí)際應(yīng)用過程中,因?yàn)楫?dāng)前用戶距離攝像頭的不同,因而采集到的第二圖像中人像信息也各不相同,為了解決比例不一致問題,因而需要對(duì)第二人像中的人像信息參數(shù)進(jìn)行調(diào)整縮放,保證不同人像在同一虛擬空間場景中呈現(xiàn)的大小一致。對(duì)于不同的空間場景而言,人像信息與場景信息之間也存在著比例關(guān)系,因而需要對(duì)調(diào)整后的人像信息參數(shù)(即第三人像信息參數(shù))再次進(jìn)行調(diào)整,使之符合當(dāng)前場景信息的需要。因而在某些實(shí)施例中,所述人像調(diào)整單元106還用于根據(jù)場景信息與人像信息的對(duì)應(yīng)關(guān)系,將第三人像信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第四人像信息;所述圖像融合單元108用于對(duì)場景信息和第四人像信息進(jìn)行合成,得到圖像合成信息。
例如對(duì)于風(fēng)景區(qū)的空間場景而言,其中包含了諸多高大的樹木,該場景中樹木的像素高度為1000個(gè)像素高度,經(jīng)過調(diào)整后得到的第三人像信息的身高參數(shù)也為1000個(gè)像素高度,如果此時(shí)直接將第三人像信息與場景信息合成,圖像合成信息中呈現(xiàn)的人像將與樹木大小一樣,給用戶帶來不良的感官體驗(yàn)(假設(shè)該空間場景中樹木較為高大,一般樹木的高度遠(yuǎn)大于人體身高)。在這種情況下,人像調(diào)整單元106還用于根據(jù)場景信息中樹木高度與人像信息的身高參數(shù)之間的對(duì)應(yīng)關(guān)系(假設(shè)為1:0.1),將第三人像信息的身高參數(shù)由1000個(gè)像素高度縮放至100像素高度,得到第四人像信息。所述圖像融合單元再對(duì)場景信息和第四人像信息進(jìn)行合成,得到圖像合成信息。這樣,顯示出的圖像合成信息中,人像信息與場景信息之間的比例更加符合實(shí)際生活中的應(yīng)用場景,給人以身臨其境之感,有效增強(qiáng)用戶體驗(yàn)。
如圖2所示,為本發(fā)明一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置的示意圖。所述vr設(shè)備101的數(shù)量為多個(gè),包括第一vr設(shè)備1011和第二vr設(shè)備1012,所述第一vr設(shè)備1011和第二vr設(shè)備1012連接;所述第一vr設(shè)備1011包括第一圖像采集單元113、第一人像識(shí)別單元115、第一人像調(diào)整單元116、第一場景獲取單元117、第一圖像融合單元118、第一顯示控制單元119、第一顯示單元120和第一通信單元121。所述第二vr設(shè)備1012包括第二圖像采集單元123、第二人像識(shí)別單元125、第二人像調(diào)整單元126、第二場景獲取單元127、第二圖像融合單元128、第二顯示控制單元129、第二顯示單元130和第二通信單元131。
在本實(shí)施實(shí)時(shí)里中,vr設(shè)備除了與服務(wù)器進(jìn)行交互(從服務(wù)器獲取場景信息)之外,vr設(shè)備和vr設(shè)備之間還需要進(jìn)行交互,以便在某一vr設(shè)備中既可以顯示用戶自己的人像信息,還可以顯示其他用戶的人像信息。為了便于說明,下面以用戶a穿戴第一vr設(shè)備,用戶b穿戴第二vr設(shè)備為例,對(duì)vr設(shè)備之間的交互方式作進(jìn)一步說明。
對(duì)于第一vr設(shè)備而言,第一圖像采集單元113采集用戶a在預(yù)設(shè)位置的圖像信息,并通過第一人像識(shí)別單元115提取出用戶a對(duì)應(yīng)的第一人像信息進(jìn)行存儲(chǔ)。在應(yīng)用過程中,第一圖像采集單元113采集用戶a當(dāng)前所在位置的圖像信息,并通過第一人像識(shí)別單元115提取出采集到的第二圖像中用戶a對(duì)應(yīng)的第二人像信息進(jìn)行存儲(chǔ)。為了使得第一顯示控制單元119傳輸給第一顯示單元120的圖像合成信息中能夠顯示用戶b的人像,第一通信單元121還用于接收第二通信單元131發(fā)送的第二人像識(shí)別單元125提取出的第二人像信息。所述第一人像調(diào)整單元116用于將第二通信單元發(fā)送的的來自第二人像識(shí)別單元提取出的第二人像信息(即用戶b的第二人像信息)、以及第一人像識(shí)別單元提取出的第二人像信息(即用戶a的第二人像信息)根據(jù)這兩者與第一人像信息參數(shù)的比例對(duì)應(yīng)關(guān)系,分別確定縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例進(jìn)行縮放,得到包含有縮放后的第一人像和第二人像的第三人像信息。
而后第一場景獲取單元117還可以從服務(wù)器獲取場景信息,第一圖像融合單元118將所獲取的場景信息與包含有調(diào)整后的第一人像(用戶a人像)、第二人像(用戶b人像)的第三人像信息一并合成為圖像合成信息,并送往第一顯示單元進(jìn)行顯示。用戶a通過第一vr設(shè)備不僅可以觀察到自身處于虛擬空間場景中,還可以觀察到其他用戶在同一虛擬空間場景中成像,且人像與人像之間的比例在同一比例尺下,有效增強(qiáng)了用戶體驗(yàn)。
對(duì)于第二vr設(shè)備而言,第二圖像采集單元123采集用戶b在預(yù)設(shè)位置的圖像信息,并通過第二人像識(shí)別單元125提取出用戶b對(duì)應(yīng)的第一人像信息進(jìn)行存儲(chǔ)。在應(yīng)用過程中,第二圖像采集單元123采集用戶b當(dāng)前所在位置的圖像信息,并通過第二人像識(shí)別單元125提取出采集到的第二圖像中用戶b對(duì)應(yīng)的第二人像信息進(jìn)行存儲(chǔ)。為了使得第二顯示控制單元129傳輸給第二顯示單元130的圖像合成信息中能夠顯示用戶a的人像,第二通信單元131還用于接收第一通信單元121發(fā)送的第一人像識(shí)別單元115提取出的第二人像信息。所述第二人像調(diào)整單元126用于將第一通信單元發(fā)送的的來自第一人像識(shí)別單元提取出的第二人像信息(即用戶a的第二人像信息)、以及第二人像識(shí)別單元提取出的第二人像信息(即用戶b的第二人像信息)根據(jù)這兩者與第二人像信息參數(shù)的比例對(duì)應(yīng)關(guān)系,分別確定縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例進(jìn)行縮放,得到包含有縮放后的第一人像和第二人像的第三人像信息。
而后第二場景獲取單元127還可以從服務(wù)器獲取場景信息,第二圖像融合單元128將所獲取的場景信息與包含有調(diào)整后的第一人像(用戶a人像)、第二人像(用戶b人像)的第三人像信息一并合成為圖像合成信息,并送往第二顯示單元進(jìn)行顯示。用戶b通過第二vr設(shè)備不僅可以觀察到自身處于虛擬空間場景中,還可以觀察到其他用戶在同一虛擬空間場景中成像,且人像與人像之間的比例在同一比例尺下,有效增強(qiáng)了用戶體驗(yàn)。
在某些實(shí)施例中,第一vr設(shè)備為主設(shè)備,第二vr設(shè)備為從設(shè)備,因而用戶a、b對(duì)應(yīng)的第二人像信息都會(huì)根據(jù)與用戶a對(duì)應(yīng)的第一人像信息的比例關(guān)系進(jìn)行調(diào)整。這一實(shí)施例中,第一通信單元在將第二人像信息發(fā)送至第二通信單元時(shí),會(huì)將第一人像信息一并發(fā)送。
在另一些實(shí)施例中,若第二vr設(shè)備為主設(shè)備,第一vr設(shè)備為從設(shè)備,則用戶a、b對(duì)應(yīng)分第二人像信息都會(huì)根據(jù)與用戶b對(duì)應(yīng)的第一人像信息的比例關(guān)系進(jìn)行調(diào)整。這一實(shí)施例中,第二通信單元在將第二人像信息發(fā)送至第一通信單元時(shí),會(huì)將第二人像信息一并發(fā)送。
在另一些實(shí)施例中,用戶a和b對(duì)應(yīng)的第二人像信息也可以分別根據(jù)兩者與預(yù)設(shè)標(biāo)準(zhǔn)人像信息之間的比例關(guān)系,對(duì)用戶aa和b對(duì)應(yīng)的第二人像信息進(jìn)行調(diào)整,得到第三人像信息。簡言之,只需保證調(diào)整后的人像信息處于同一比例尺寸下即可。
在某些實(shí)施例中,當(dāng)?shù)谝籿r設(shè)備為主設(shè)備時(shí),其他vr設(shè)備均為從設(shè)備。第一通信單元用于將圖像合成信息廣播發(fā)送至其他vr設(shè)備的通信單元,其他vr設(shè)備的通信接收到圖像合成信息后,可以將圖像合成信息直接送至其顯示單元進(jìn)行顯示。由于接收的圖像合成信息都是一致的,保證各個(gè)vr設(shè)備所呈現(xiàn)的虛擬空間場景和人像信息相互協(xié)調(diào)統(tǒng)一,極大增強(qiáng)了用戶體驗(yàn)。此外,在這一實(shí)施例中,第一通信單元就無需將用戶a的第二人像信息再廣播發(fā)送至其他vr設(shè)備進(jìn)行調(diào)整計(jì)算,只需在一臺(tái)vr設(shè)備上(如第一vr設(shè)備)計(jì)算得到最終的圖像合成信息,再發(fā)送至其他vr設(shè)備即可,有效節(jié)省了計(jì)算量。
如圖4所示,為本發(fā)明另一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法的流程圖。所述方法應(yīng)用于vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置,所述裝置包括至少一個(gè)vr設(shè)備和服務(wù)器;所述vr設(shè)備與服務(wù)器連接;所述vr設(shè)備包括圖像采集單元、存儲(chǔ)單元、人像識(shí)別單元、人像調(diào)整單元、場景獲取單元、圖像融合單元、顯示控制單元和顯示單元;所述存儲(chǔ)單元包括第一存儲(chǔ)單元和第二存儲(chǔ)單元;所述方法包括:
首先進(jìn)入步驟s201圖像采集單元采集位于預(yù)設(shè)位置的第一圖像,所述第一圖像包括第一人像信息。圖像采集單元為具有圖像采集功能的電子設(shè)備,如攝像頭。預(yù)設(shè)位置為距離圖像預(yù)設(shè)距離的位置,預(yù)設(shè)距離的大小可以根據(jù)實(shí)際需要確定。在使用過程中,用戶可以立于預(yù)設(shè)距離位置,以便攝像頭采集第一圖像。所述第一圖像包括第一人像信息,所述第一人像信息即為采集的處于預(yù)設(shè)位置的用戶的人體圖像。
而后進(jìn)入步驟s202人像識(shí)別單元從第一圖像中提取出第一人像信息,并將第一人像信息參數(shù)存儲(chǔ)于第一存儲(chǔ)單元中。人像識(shí)別單元可以通過以下方式提取出第一人像信息:通過人體識(shí)別算法對(duì)第一圖像中的人體進(jìn)行識(shí)別,并將圖像上人體之外的部分全部用單一純色填充(比如純藍(lán)色),以方便進(jìn)行color_key(顏色鍵控)操作,進(jìn)而通過顏色鍵控操作將第一圖像上人體部分和人體之外部分相分離,提取出第一人像信息。第一人像信息參數(shù)為表征第一人像信息的對(duì)應(yīng)參數(shù),包括身高參數(shù)、身寬參數(shù)等。
而后進(jìn)入步驟s203圖像采集單元采集第二圖像,人像識(shí)別單元從第二圖像中提取出第二人像信息,并將第二人像信息參數(shù)存儲(chǔ)于第二存儲(chǔ)單元中;所述第二圖像為當(dāng)前用戶所在位置的圖像信息。在實(shí)際應(yīng)用過程中,攝像頭在采集第二圖像時(shí),用戶不一定處于預(yù)設(shè)位置,即采集到的第二圖像與第一圖像比例不一定對(duì)應(yīng),因而需要對(duì)第二圖像的比例進(jìn)行調(diào)整。人像識(shí)別單元從第二圖像中提取出第二人像信息的方式與提取第一人像信息的方式類似,此處不再贅述。所述第二人像信息參數(shù)包括采集的圖像信息中用戶對(duì)應(yīng)的身高參數(shù)、身寬參數(shù)等。
而后進(jìn)入步驟s204人像調(diào)整單元根據(jù)第二人像信息參數(shù)和第一人像信息參數(shù)的比例關(guān)系,確定縮放比例,并根據(jù)所述縮放比例對(duì)第二人像信息參數(shù)進(jìn)行縮放,并依據(jù)縮放后的人像信息參數(shù)生成第三人像信息。例如用戶提取出的第一人像信息中身高參數(shù)為1000個(gè)像素高度,而本次采集到的第二人像信息中身高參數(shù)為800個(gè)像素高度,則第二圖像中第二人像信息與第一人像信息關(guān)于身高參數(shù)的比例為0.8。人像調(diào)整單元可以根據(jù)縮放比例,將第二人像信息參數(shù)還原回第一人像信息參數(shù)大小,生成第三人像信息,即將800像素高度的身高參數(shù)還原回1000像素高度并予以顯示。也可以根據(jù)身高參數(shù)比與縮放比例的對(duì)應(yīng)關(guān)系,確定身高參數(shù)對(duì)應(yīng)的縮放比,例如當(dāng)?shù)诙讼裥畔⑴c第一人像信息關(guān)于身高參數(shù)的比例為0.8時(shí),確定縮放比為1.5,則將當(dāng)前第二人像信息的身高參數(shù)放大1.5倍后生成第三人像信息。身寬參數(shù)的縮放與身高參數(shù)類似,此處不再贅述。當(dāng)然,在另一些實(shí)施例中,人像信息參數(shù)還可以包含一些其他參數(shù),例如頭部和身體的比例等,人像調(diào)整單元也可以對(duì)這些參數(shù)進(jìn)行調(diào)整縮放,以生成第三人像信息。
而后進(jìn)入步驟s205場景獲取單元從服務(wù)器獲取場景信息,圖像融合單元對(duì)場景信息和第三人像信息進(jìn)行合成,得到圖像合成信息。在本實(shí)施方式中,vr設(shè)備包括通信單元111,通信單元與服務(wù)器之間可以通過有線或無線的方式進(jìn)行連接,場景信息可以事先存儲(chǔ)于服務(wù)器對(duì)應(yīng)的存儲(chǔ)單元中,當(dāng)服務(wù)器接收到vr設(shè)備發(fā)送的場景信息獲取指令時(shí),則將場景信息發(fā)送至vr設(shè)備。所述場景信息為vr數(shù)據(jù)流對(duì)應(yīng)的背景數(shù)據(jù)流,即除了人像部分之外的其他數(shù)據(jù)流,例如可以是虛擬空間場景(包括學(xué)校、戶外、室內(nèi)、風(fēng)景區(qū)等等)。圖像融合單元108可以通過圖像融合算法,將場景信息和和第三人像信息進(jìn)行合成,圖像融合算法目前已在vr領(lǐng)域得到廣泛應(yīng)用,此處不再贅述。
而后進(jìn)入步驟s206顯示控制單元將圖像合成信息傳輸至顯示單元進(jìn)行顯示。這樣,當(dāng)用戶佩戴vr設(shè)備時(shí),就可以看到包含有比例縮放后的人像信息的圖像合成信息,有效增強(qiáng)了用戶體驗(yàn)。
在某些實(shí)施例中,所述方法還包括:人像調(diào)整單元根據(jù)場景信息與人像信息的對(duì)應(yīng)關(guān)系,將第三人像信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第四人像信息;圖像融合單元對(duì)場景信息和第四人像信息進(jìn)行合成,得到圖像合成信息,使得調(diào)整后的人像適應(yīng)場景信息的需求,有效提高用戶體驗(yàn)。
在某些實(shí)施例中,所述vr設(shè)備的數(shù)量為多個(gè),包括第一vr設(shè)備和第二vr設(shè)備,所述第一vr設(shè)備和第二vr設(shè)備連接;所述vr設(shè)備還包括通信單元;所述第一vr設(shè)備包括第一通信單元、第一人像識(shí)別單元、第一人像調(diào)整單元;所述第二vr設(shè)備包括第二通信單元、第二人像識(shí)別單元、第二人像調(diào)整單元;所述方法包括:
第一通信單元將第一人像識(shí)別單元提取出的第二人像信息發(fā)送至第二通信單元;
第二人像調(diào)整單元將第二通信單元接收的來自第一人像識(shí)別單元提取出的第二人像信息、以及第二人像識(shí)別單元提取出的第二人像信息根據(jù)這兩者與第一人像信息參數(shù)的比例對(duì)應(yīng)關(guān)系,分別確定縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例進(jìn)行縮放,得到包含有縮放后的第一人像和第二人像的第三人像信息;
或者,第一通信單元接收第二通信單元發(fā)送的第二人像識(shí)別單元提取出的第二人像信息發(fā)送;
第一人像調(diào)整單元將第二通信單元發(fā)送的的來自第二人像識(shí)別單元提取出的第二人像信息、以及第一人像識(shí)別單元提取出的第二人像信息根據(jù)這兩者與第一人像信息參數(shù)的比例對(duì)應(yīng)關(guān)系,分別確定縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例進(jìn)行縮放,得到包含有縮放后的第一人像和第二人像的第三人像信息。
如圖3所示,為本發(fā)明另一實(shí)施方式涉及的vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置的示意圖。所述裝置包括多個(gè)vr設(shè)備;所述vr設(shè)備包括第三vr設(shè)備1013和第四vr設(shè)備1014;所述第三vr設(shè)備1013包括第三圖像采集單元133、第三存儲(chǔ)單元134、第三人像識(shí)別單元135、第三人像調(diào)整單元136、第三圖像融合單元138、第三顯示控制單元139、第三顯示單元140、場景生成單元112、第三通信單元141;所述第四vr設(shè)備1014包括第四圖像采集單元143、第四存儲(chǔ)單元144、第四人像識(shí)別單元145、第四人像調(diào)整單元146、第四圖像融合單元148、第四顯示控制單元149、第四顯示單元150、第四場景獲取單元147、第四通信單元151。
在本實(shí)施方式中,第三vr設(shè)備1013為主設(shè)備,第四vr設(shè)備1014為從設(shè)備,第三vr設(shè)備包含有場景生成單元112,用于生成場景信息。第四vr設(shè)備包括第四場景獲取單元147,用于獲取第三vr設(shè)備的場景生成單元112生成的場景信息。
對(duì)于第三vr設(shè)備而言,所述第三圖像采集單元133用于采集位于預(yù)設(shè)位置的第一用戶的第五圖像,所述第五圖像包括第五人像信息。圖像采集單元為具有圖像采集功能的電子設(shè)備,如攝像頭。預(yù)設(shè)位置為距離圖像預(yù)設(shè)距離的位置,預(yù)設(shè)距離的大小可以根據(jù)實(shí)際需要確定。在使用過程中,第一用戶可以立于預(yù)設(shè)距離位置,以便攝像頭采集第五圖像。所述第五圖像包括第五人像信息,所述第五人像信息即為采集的處于預(yù)設(shè)位置的用戶的人體圖像。
所述第三人像識(shí)別單元135用于從第五圖像中提取出第五人像信息,并將第五人像信息參數(shù)存儲(chǔ)于第三存儲(chǔ)單元134中。第三人像識(shí)別單元可以通過以下方式提取出第五人像信息:通過人體識(shí)別算法對(duì)第五圖像中的人體進(jìn)行識(shí)別,并將圖像上人體之外的部分全部用單一純色填充(比如純藍(lán)色),以方便進(jìn)行color_key(顏色鍵控)操作,進(jìn)而通過顏色鍵控操作將第五圖像上人體部分和人體之外部分相分離,提取出第五人像信息。第五人像信息參數(shù)為表征第五人像信息的對(duì)應(yīng)參數(shù),包括身高參數(shù)、身寬參數(shù)等。
所述第三圖像采集單元133還用于采集第六圖像,所述第六圖像為當(dāng)前第一用戶所在位置的圖像信息,所述第三人像識(shí)別單元用于從第六圖像中提取出第六人像信息,并將第六人像信息參數(shù)存儲(chǔ)于第三存儲(chǔ)單元中。在實(shí)際應(yīng)用過程中,攝像頭在采集第六圖像時(shí),用戶不一定處于預(yù)設(shè)位置,即采集到的第六圖像與第五圖像比例不一定對(duì)應(yīng),因而需要對(duì)第六圖像的比例進(jìn)行調(diào)整。第三人像識(shí)別單元從第六圖像中提取出第六人像信息的方式與提取第五人像信息的方式類似,此處不再贅述。所述第六人像信息參數(shù)包括采集的圖像信息中用戶對(duì)應(yīng)的身高參數(shù)、身寬參數(shù)等。
所述第三通信單元141用于接收第四通信單元151發(fā)送的第二用戶的第九人像信息,所述第九人像信息包括第九人像信息對(duì)應(yīng)的人像信息參數(shù)。
所述第三人像調(diào)整單元136用于根據(jù)第五人像信息參數(shù)和第六人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)所述縮放比例對(duì)第六人像信息參數(shù)進(jìn)行縮放,以及用于根據(jù)第五人像信息參數(shù)和第九人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)所述縮放比例對(duì)第九人像信息參數(shù)進(jìn)行縮放,生成第一人像綜合信息,所述第一人像綜合信息包含有縮放后的第六人像信息和縮放后的第九人像信息。
所述場景生成單元112用于生成場景信息,所述第三圖像融合單元138用于對(duì)場景信息和第一人像綜合信息進(jìn)行合成,得到第一圖像合成信息。第三圖像融合單元138可以通過圖像融合算法,將場景信息和和第三人像信息進(jìn)行合成,圖像融合算法目前已在vr領(lǐng)域得到廣泛應(yīng)用,此處不再贅述。
所述第三顯示控制單元139用于將第一圖像合成信息傳輸至第三顯示單元140進(jìn)行顯示。這樣,第一用戶通過第三vr設(shè)備不僅可以觀察到自身處于虛擬空間場景中,還可以觀察到其他用戶在同一虛擬空間場景中成像,且人像與人像之間的比例在同一比例尺下,有效增強(qiáng)了用戶體驗(yàn)。
對(duì)于第四vr設(shè)備而言,所述第四圖像采集單元143用于采集位于預(yù)設(shè)位置的第二用戶的第八圖像,所述第八圖像包括第八人像信息。第四圖像采集單元為具有圖像采集功能的電子設(shè)備,如攝像頭。預(yù)設(shè)位置為距離圖像預(yù)設(shè)距離的位置,預(yù)設(shè)距離的大小可以根據(jù)實(shí)際需要確定。在使用過程中,第二用戶可以立于預(yù)設(shè)距離位置,以便攝像頭采集第八圖像。所述第八圖像包括第八人像信息,所述第八人像信息即為采集的處于預(yù)設(shè)位置的用戶的人體圖像。
所述第四人像識(shí)別單元145用于從第八圖像中提取出第八人像信息,并將第八人像信息參數(shù)存儲(chǔ)于第四存儲(chǔ)單元中。第四人像識(shí)別單元145可以通過以下方式提取出第一人像信息:通過人體識(shí)別算法對(duì)第八圖像中的人體進(jìn)行識(shí)別,并將圖像上人體之外的部分全部用單一純色填充(比如純藍(lán)色),以方便進(jìn)行color_key(顏色鍵控)操作,進(jìn)而通過顏色鍵控操作將第八圖像上人體部分和人體之外部分相分離,提取出第八人像信息。第八人像信息參數(shù)為表征第八人像信息的對(duì)應(yīng)參數(shù),包括身高參數(shù)、身寬參數(shù)等。
所述第四圖像采集單元143還用于采集第九圖像,所述第九圖像為當(dāng)前第二用戶所在位置的圖像信息,所述第四人像識(shí)別單元用于從第九圖像中提取出第九人像信息,并將第九人像信息參數(shù)存儲(chǔ)于第四存儲(chǔ)單元中;
所述第四通信單元151用于發(fā)送第九人像信息至第三通信單元,以及用于接收第三通信單元發(fā)送的場景信息和第六人像信息,所述第六人像信息包括第六人像信息對(duì)應(yīng)的人像信息參數(shù);
所述第四人像調(diào)整單元146用于根據(jù)第八人像信息參數(shù)和第九人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例對(duì)第九人像信息參數(shù)進(jìn)行縮放,以及用于根據(jù)第六人像信息參數(shù)和第八人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例對(duì)第六人像信息參數(shù)進(jìn)行縮放,生成第二人像綜合信息,所述第二人像綜合信息包含有縮放后的第六人像信息和縮放后的第九人像信息;
所述第四場景獲取單元147用于獲取場景生成單元生成的場景信息,所述第四圖像融合單元用于對(duì)場景信息和第二人像綜合信息進(jìn)行合成,得到第二圖像合成信息;
所述第四顯示控制單元149用于將第二圖像合成信息傳輸至第四顯示單元150進(jìn)行顯示。這樣,第二用戶通過第四vr設(shè)備不僅可以觀察到自身處于虛擬空間場景中,還可以觀察到其他用戶在同一虛擬空間場景中成像,且人像與人像之間的比例在同一比例尺下,有效增強(qiáng)了用戶體驗(yàn)。
在某些實(shí)施例中,所述第三人像調(diào)整單元136還用于根據(jù)場景信息與第一人像綜合信息的對(duì)應(yīng)關(guān)系,將第一人像綜合信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第三人像綜合信息;所述第三圖像融合單元138用于對(duì)場景信息和第三人像綜合信息進(jìn)行合成,得到第一圖像合成信息。所述第一人像綜合信息為第三vr設(shè)備上待調(diào)整的所有人像信息,包括第三人像識(shí)別單元提取出的第一用戶的當(dāng)前位置的人像信息、以及通過第三通信單元接收的其他vr設(shè)備發(fā)送的待融入空間場景的人像信息。
所述第四人像調(diào)整單元146還用于根據(jù)場景信息與第二人像綜合信息的對(duì)應(yīng)關(guān)系,將第二人像綜合信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第四人像綜合信息;所述第四圖像融合單元用于對(duì)場景信息和第四人像綜合信息進(jìn)行合成,得到第二圖像合成信息。所述第二人像綜合信息為第四vr設(shè)備上待調(diào)整的所有人像信息,包括第四人像識(shí)別單元提取出的第二用戶的當(dāng)前位置的人像信息、以及通過第四通信單元接收的其他vr設(shè)備發(fā)送的待融入空間場景的人像信息。
本發(fā)明還提供了一種vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法,所述方法應(yīng)用于vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的裝置,所述裝置包括多個(gè)vr設(shè)備;所述vr設(shè)備包括第三vr設(shè)備和第四vr設(shè)備;所述vr設(shè)備還包括通信單元;所述第三vr設(shè)備包括第三圖像采集單元、第三存儲(chǔ)單元、第三人像識(shí)別單元、第三人像調(diào)整單元、第三圖像融合單元、第三顯示控制單元、第三顯示單元、場景生成單元;所述第四vr設(shè)備包括第四圖像采集單元、第四存儲(chǔ)單元、第四人像識(shí)別單元、第四人像調(diào)整單元、第四圖像融合單元、第四顯示控制單元、第四顯示單元、第四場景獲取單元。
在本實(shí)施方式中,第三vr設(shè)備為主設(shè)備,第四vr設(shè)備為從設(shè)備。第三vr設(shè)備包含有場景生成單元,用于生成場景信息。第四vr設(shè)備包括第四場景獲取單元,用于獲取第三vr設(shè)備的場景生成單元生成的場景信息。優(yōu)選的,主設(shè)備的數(shù)量為一個(gè),從設(shè)備的數(shù)量為一個(gè)或多個(gè)。
如圖5所示,對(duì)于主設(shè)備(以第三vr設(shè)備為例)而言,所述方法包括:
首先進(jìn)入步驟s401第三圖像采集單元采集位于預(yù)設(shè)位置的第一用戶的第五圖像,所述第五圖像包括第五人像信息;
而后進(jìn)入步驟s402第三人像識(shí)別單元從第五圖像中提取出第五人像信息,并將第五人像信息參數(shù)存儲(chǔ)于第三存儲(chǔ)單元中;
而后進(jìn)入步驟s403第三圖像采集單元采集第六圖像,第三人像識(shí)別單元從第六圖像中提取出第六人像信息,并將第六人像信息參數(shù)存儲(chǔ)于第三存儲(chǔ)單元中,所述第六圖像為當(dāng)前第一用戶所在位置的圖像信息;
而后進(jìn)入步驟s404第三人像調(diào)整單元根據(jù)第五人像信息參數(shù)和第六人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)所述縮放比例對(duì)第六人像信息參數(shù)進(jìn)行縮放,以及根據(jù)第五人像信息參數(shù)和第九人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)所述縮放比例對(duì)第九人像信息參數(shù)進(jìn)行縮放,生成第一人像綜合信息,所述第一人像綜合信息包含有縮放后的第六人像信息和縮放后的第九人像信息;
而后進(jìn)入步驟s405場景生成單元生成場景信息,所述第三圖像融合單元用于對(duì)場景信息和第一人像綜合信息進(jìn)行合成,得到第一圖像合成信息;
而后進(jìn)入步驟s406第三顯示控制單元將第一圖像合成信息傳輸至第三顯示單元進(jìn)行顯示。
在某些實(shí)施例中,所述方法包括:第三通信單元接收第四通信單元發(fā)送的第二用戶的第九人像信息,所述第九人像信息包括第九人像信息對(duì)應(yīng)的人像信息參數(shù)。
對(duì)于從設(shè)備而言(以第四vr設(shè)備為例),所述方法包括:
首先進(jìn)入步驟s501第四圖像采集單元采集位于預(yù)設(shè)位置的第二用戶的第八圖像,所述第八圖像包括第八人像信息;
而后進(jìn)入步驟s502第四人像識(shí)別單元從第八圖像中提取出第八人像信息,并將第八人像信息參數(shù)存儲(chǔ)于第四存儲(chǔ)單元中;
而后進(jìn)入步驟s503第四圖像采集單元采集第九圖像,第四人像識(shí)別單元從第九圖像中提取出第九人像信息,并將第九人像信息參數(shù)存儲(chǔ)于第四存儲(chǔ)單元中,所述第九圖像為當(dāng)前第二用戶所在位置的圖像信息;
而后進(jìn)入步驟s504第四通信單元發(fā)送第九人像信息至第三通信單元,以及接收第三通信單元發(fā)送的場景信息和第六人像信息,所述第六人像信息包括第六人像信息對(duì)應(yīng)的人像信息參數(shù);
而后進(jìn)入步驟s505第四人像調(diào)整單元根據(jù)第八人像信息參數(shù)和第九人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例對(duì)第九人像信息參數(shù)進(jìn)行縮放;
而后進(jìn)入步驟s506第四人像調(diào)整單元根據(jù)第六人像信息參數(shù)和第八人像信息參數(shù)的比例關(guān)系,確定對(duì)應(yīng)縮放比例,并根據(jù)對(duì)應(yīng)的縮放比例對(duì)第六人像信息參數(shù)進(jìn)行縮放,生成第二人像綜合信息,所述第二人像綜合信息包含有縮放后的第六人像信息和縮放后的第九人像信息;
而后進(jìn)入步驟s507第四場景獲取單元獲取場景生成單元生成的場景信息,第四圖像融合單元對(duì)場景信息和第二人像綜合信息進(jìn)行合成,得到第二圖像合成信息;
而后進(jìn)入步驟s508第四顯示控制單元將第二圖像合成信息傳輸至第四顯示單元進(jìn)行顯示。
在某些實(shí)施例中,所述方法包括:
首先進(jìn)入步驟s601第三人像調(diào)整單元根據(jù)場景信息與第一人像綜合信息的對(duì)應(yīng)關(guān)系,將第一人像綜合信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第三人像綜合信息;
而后進(jìn)入步驟s602第三圖像融合單元對(duì)場景信息和第三人像綜合信息進(jìn)行合成,得到第一圖像合成信息;
而后進(jìn)入步驟s603第四人像調(diào)整單元根據(jù)場景信息與第二人像綜合信息的對(duì)應(yīng)關(guān)系,將第二人像綜合信息縮放為當(dāng)前場景信息對(duì)應(yīng)的比例,得到第四人像綜合信息;
而后進(jìn)入步驟s604第四圖像融合單元對(duì)場景信息和第四人像綜合信息進(jìn)行合成,得到第二圖像合成信息。這樣,可以使得第二圖像合成信息中,第四人像綜合信息與場景信息的比例相適配,更加符合人眼習(xí)慣,模仿實(shí)際應(yīng)用場景,提高用戶感官體驗(yàn)。
本發(fā)明提供了一種vr交互數(shù)據(jù)尺寸一致性調(diào)節(jié)的方法和裝置,所述裝置通過在預(yù)設(shè)位置統(tǒng)一采集獲取用戶的人像信息,得到一個(gè)預(yù)定的標(biāo)準(zhǔn)尺寸比例。這樣,用戶在使用vr設(shè)備過程中,無論用戶位置如何,都可以將用戶的人像信息轉(zhuǎn)換為標(biāo)準(zhǔn)比例,而后再將轉(zhuǎn)換后的人像信息與場景信息進(jìn)行合成,并最終傳輸至vr進(jìn)行顯示。本發(fā)明很好地解決了虛擬空間社交參與人員的空間融入和不同空間人員融入共同虛擬空間時(shí)的真實(shí)比例不一致的問題,同時(shí)具備便于攜帶、低功耗等特點(diǎn),在vr設(shè)備應(yīng)用領(lǐng)域具有廣闊的市場前景。
需要說明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來,而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者終端設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者終端設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括……”或“包含……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者終端設(shè)備中還存在另外的要素。此外,在本文中,“大于”、“小于”、“超過”等理解為不包括本數(shù);“以上”、“以下”、“以內(nèi)”等理解為包括本數(shù)。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,上述各實(shí)施例可提供為方法、裝置、或計(jì)算機(jī)程序產(chǎn)品。這些實(shí)施例可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。上述各實(shí)施例涉及的方法中的全部或部分步驟可以通過程序來指令相關(guān)的硬件來完成,所述的程序可以存儲(chǔ)于計(jì)算機(jī)設(shè)備可讀取的存儲(chǔ)介質(zhì)中,用于執(zhí)行上述各實(shí)施例方法所述的全部或部分步驟。所述計(jì)算機(jī)設(shè)備,包括但不限于:個(gè)人計(jì)算機(jī)、服務(wù)器、通用計(jì)算機(jī)、專用計(jì)算機(jī)、網(wǎng)絡(luò)設(shè)備、嵌入式設(shè)備、可編程設(shè)備、智能移動(dòng)終端、智能家居設(shè)備、穿戴式智能設(shè)備、車載智能設(shè)備等;所述的存儲(chǔ)介質(zhì),包括但不限于:ram、rom、磁碟、磁帶、光盤、閃存、u盤、移動(dòng)硬盤、存儲(chǔ)卡、記憶棒、網(wǎng)絡(luò)服務(wù)器存儲(chǔ)、網(wǎng)絡(luò)云存儲(chǔ)等。
上述各實(shí)施例是參照根據(jù)實(shí)施例所述的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻@些計(jì)算機(jī)程序指令到計(jì)算機(jī)設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器,使得通過計(jì)算機(jī)設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)設(shè)備以特定方式工作的計(jì)算機(jī)設(shè)備可讀存儲(chǔ)器中,使得存儲(chǔ)在該計(jì)算機(jī)設(shè)備可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)設(shè)備上,使得在計(jì)算機(jī)設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理,從而在計(jì)算機(jī)設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
盡管已經(jīng)對(duì)上述各實(shí)施例進(jìn)行了描述,但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念,則可對(duì)這些實(shí)施例做出另外的變更和修改,所以以上所述僅為本發(fā)明的實(shí)施例,并非因此限制本發(fā)明的專利保護(hù)范圍,凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換,或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域,均同理包括在本發(fā)明的專利保護(hù)范圍之內(nèi)。