本申請涉及信息獲取技術(shù),尤其涉及一種可視化內(nèi)容傳輸控制方法、發(fā)送方法、及其裝置。
背景技術(shù):
沉浸式虛擬現(xiàn)實(immersive VR)技術(shù)的一個應(yīng)用場景是通過例如基于頭盔式顯示器(HMD)的系統(tǒng)、投影式虛擬現(xiàn)實系統(tǒng)等,將一場景多個方向上的多媒體內(nèi)容合成該場景的實時動態(tài)的三維立體逼真顯示,以提供用戶完全沉浸式的體驗,使其有置身于虛擬世界之中的感覺。例如,通過具有多個高清攝像頭的專業(yè)的虛擬現(xiàn)實攝像機(jī)拍攝目標(biāo)場景的全景360°3D視頻,通過網(wǎng)絡(luò)傳送到用戶使用的虛擬現(xiàn)實顯示設(shè)備(例如,頭盔式顯示器、眼鏡)上,進(jìn)行沉浸式虛擬現(xiàn)實視頻顯示。
為了進(jìn)行沉浸式虛擬現(xiàn)實視頻顯示,拍攝設(shè)備需要在多個方向上拍攝,例如,通過多個高清攝像頭采集多個方向上的高清可視化內(nèi)容,為了實現(xiàn)更好的沉浸式虛擬現(xiàn)實顯示,還可采集4K/8K的超高清可視化內(nèi)容,這樣的可視化內(nèi)容如果要使用成流(streaming)的方式傳送,無疑會對網(wǎng)絡(luò)傳輸環(huán)境提出較高的要求,例如需要網(wǎng)絡(luò)提供較大的帶寬、較快的網(wǎng)速以及較小的延時,對網(wǎng)絡(luò)造成較大壓力。
技術(shù)實現(xiàn)要素:
本申請實施例可能的目的是:提供一種在不影響用戶體驗的同時大大減少對網(wǎng)絡(luò)造成的壓力的可視化內(nèi)容傳輸方案。
第一方面,本申請實施例提供了一種可視化內(nèi)容傳輸控制方法, 所述方法包括:
獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息;
至少根據(jù)所述第一信息以及所述第二信息,確定與目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容的發(fā)送策略,所述發(fā)送策略包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第一方面,在第一種可能的實現(xiàn)方式中,所述確定與目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容的發(fā)送策略包括:
至少根據(jù)所述第一信息,確定所述用戶與所述時延相關(guān)的姿態(tài);
至少根據(jù)所述姿態(tài),確定所述至少一個方向。
結(jié)合第一方面或第一方面的第一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,所述方法還包括:
至少根據(jù)所述發(fā)送策略,獲取所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第一方面或第一方面的上述任一種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,所述方法還包括:
至少根據(jù)所述發(fā)送策略,獲取至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所述至少兩個方向包括所述至少一個方向;
向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第一方面或第一方面的上述任一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,所述發(fā)送策略還包括:按照一預(yù)設(shè)優(yōu)先級向所述用戶發(fā)送至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所述至少兩個方向包括所述至少一個方向;且
所述方法還包括:
至少根據(jù)所述發(fā)送策略,獲取所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
按照所述預(yù)設(shè)優(yōu)先級,向所述用戶發(fā)送所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第一方面或第一方面的上述任一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,所述預(yù)設(shè)優(yōu)先級包括:發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、和/或傳輸質(zhì)量優(yōu)先級。
結(jié)合第一方面或第一方面的上述任一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,所述獲取與用戶的姿態(tài)相關(guān)聯(lián)的信息包括:
接收來自與所述用戶相關(guān)聯(lián)的至少一傳感器的所述信息。
結(jié)合第一方面或第一方面的上述任一種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,所述方法還包括:
發(fā)送與所述發(fā)送策略相關(guān)聯(lián)的信息。
結(jié)合第一方面或第一方面的上述任一種可能的實現(xiàn)方式,在第八種可能的實現(xiàn)方式中,所述與用戶的姿態(tài)相關(guān)聯(lián)的信息包括與以下中的至少一項相關(guān)聯(lián)的信息:用戶的面部朝向、用戶的頭部轉(zhuǎn)動速度、用戶的頭部水平角度、用戶的頭部的傾斜角度。
結(jié)合第一方面或第一方面的上述任一種可能的實現(xiàn)方式,在第九種可能的實現(xiàn)方式中,所述第二信息包括:為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間;
所述獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息包括:
確定為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間;
至少根據(jù)所述呈現(xiàn)所述可視化內(nèi)容的時間以及所述可視化內(nèi)容的發(fā)送時間確定所述時延。
結(jié)合第一方面或第一方面的上述任一種可能的實現(xiàn)方式,在第十 種可能的實現(xiàn)方式中,所述發(fā)送策略還包括:向所述用戶發(fā)送的所述可視化內(nèi)容中包括對應(yīng)的發(fā)送時間。
第二方面,本申請實施例提供了一種可視化內(nèi)容發(fā)送方法,所述方法包括:
獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息;
至少根據(jù)所述第一信息以及所述第二信息,向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第二方面,在第一種可能的實現(xiàn)方式中,所述向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容還包括:
至少根據(jù)所述第一信息,確定所述用戶與所述時延相關(guān)的姿態(tài);
至少根據(jù)所述姿態(tài),確定所述至少一個方向。
結(jié)合第二方面或第二方面的第一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,所述向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容包括:
獲取所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第二方面或第二方面的上述任一種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,所述向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容包括:
獲取至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所 述至少兩個方向包括所述至少一個方向;
向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第二方面或第二方面的上述任一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,所述向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容包括:
獲取所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
按照一所述預(yù)設(shè)優(yōu)先級,向所述用戶發(fā)送所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第二方面或第二方面的上述任一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,所述預(yù)設(shè)優(yōu)先級包括:發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、和/或傳輸質(zhì)量優(yōu)先級。
結(jié)合第二方面或第二方面的上述任一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,所述獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息包括:
接收來自與所述用戶相關(guān)聯(lián)的至少一傳感器的所述第一信息。
結(jié)合第二方面或第二方面的上述任一種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,所述與用戶的姿態(tài)相關(guān)聯(lián)的信息包括與以下中的至少一項相關(guān)聯(lián)的信息:用戶面部朝向、用戶的頭部轉(zhuǎn)動速度、用戶頭部水平角度、用戶頭部的傾斜角度。
結(jié)合第二方面或第二方面的上述任一種可能的實現(xiàn)方式,在第八種可能的實現(xiàn)方式中,所述第二信息包括:為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間;
所述獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息包括:
確定為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間;
至少根據(jù)所述呈現(xiàn)所述可視化內(nèi)容的時間以及發(fā)送所述可視化內(nèi)容的時間確定所述時延。
結(jié)合第二方面或第二方面的上述任一種可能的實現(xiàn)方式,在第九種可能的實現(xiàn)方式中,所述向所述用戶發(fā)送在與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上采集的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容包括:
向所述用戶發(fā)送的所述可視化內(nèi)容中包括對應(yīng)的發(fā)送時間。
第三方面,本申請實施例提供了一種呈現(xiàn)方法,所述方法包括:
獲取按照一發(fā)送策略發(fā)送的可視化內(nèi)容,所述發(fā)送策略為至少根據(jù)與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息確定的,且包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
至少根據(jù)所述發(fā)送策略,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
結(jié)合第三方面,在第一種可能的實現(xiàn)方式中,所述方法還包括:
獲取與所述發(fā)送策略相關(guān)聯(lián)的信息。
結(jié)合第三方面或第三方面的第一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,所述至少根據(jù)所述發(fā)送策略,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示包括:
至少根據(jù)所述發(fā)送策略,確定所述至少一個方向;
至少根據(jù)最近時刻獲取到的所述至少一個方向上的可視化內(nèi)容以及之前時刻獲取到的其他方向上的可視化內(nèi)容,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
結(jié)合第三方面或第三方面的上述任一種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,所述發(fā)送策略還包括:按照一預(yù)設(shè)優(yōu)先級向所述用戶發(fā)送至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容, 所述至少兩個方向包括所述至少一個方向;且
所述至少根據(jù)所述發(fā)送策略,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示包括:
至少根據(jù)所述發(fā)送策略,確定所述至少兩個方向上的可視化內(nèi)容;
按照所述預(yù)設(shè)優(yōu)先級,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
結(jié)合第三方面或第三方面的上述任一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,所述預(yù)設(shè)優(yōu)先級包括:發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、和/或傳輸質(zhì)量優(yōu)先級。
結(jié)合第三方面或第三方面的上述任一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,所述方法還包括:
采集所述與用戶的姿態(tài)相關(guān)聯(lián)的第一信息;
發(fā)送所述與用戶的姿態(tài)相關(guān)聯(lián)的第一信息。
結(jié)合第三方面或第三方面的上述任一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,所述方法還包括:
確定與所述時延相關(guān)聯(lián)的第二信息;
發(fā)送所述第二信息。
結(jié)合第三方面或第三方面的上述任一種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,所述確定與所述時延相關(guān)聯(lián)的第二信息包括:
確定可視化內(nèi)容的發(fā)送時間;
至少根據(jù)為用戶呈現(xiàn)所述可視化內(nèi)容的時間以及所述可視化內(nèi)容的發(fā)送時間確定所述時延。
結(jié)合第三方面或第三方面的上述任一種可能的實現(xiàn)方式,在第八種可能的實現(xiàn)方式中,所述與用戶的姿態(tài)相關(guān)聯(lián)的信息包括與以下中的至少一項相關(guān)聯(lián)的信息:用戶的面部朝向、用戶的頭部轉(zhuǎn)動速度、用戶的頭部水平角度、用戶的頭部的傾斜角度。
第四方面,本申請實施例提供了一種可視化內(nèi)容傳輸控制裝置,所述裝置包括:
一第一獲取模塊,用于獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息;
一第一確定模塊,用于至少根據(jù)所述第一信息以及所述第二信息,確定與目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容的發(fā)送策略,所述發(fā)送策略包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第四方面,在第一種可能的實現(xiàn)方式中,所述第一確定模塊包括:
一第一確定單元,用于至少根據(jù)所述第一信息,確定所述用戶與所述時延相關(guān)的姿態(tài);
一第二確定單元,用于至少根據(jù)所述姿態(tài),確定所述至少一個方向。
結(jié)合第四方面或第四方面的第一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,所述裝置還包括:
一第二獲取模塊,用于至少根據(jù)所述發(fā)送策略,獲取所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
一第一發(fā)送模塊,用于向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第四方面或第四方面的上述任一種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,所述裝置還包括:
一第二獲取模塊,用于至少根據(jù)所述發(fā)送策略,獲取至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所述至少兩個方向包括所述至少一個方向;
一第一發(fā)送模塊,用于向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第四方面或第四方面的上述任一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,所述發(fā)送策略還包括:按照一預(yù)設(shè)優(yōu)先級向所 述用戶發(fā)送在至少兩個方向上采集獲得的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所述至少兩個方向包括所述至少一個方向;且
所述裝置還包括:
一第二獲取模塊,用于至少根據(jù)所述發(fā)送策略,獲取所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
一第一發(fā)送模塊,用于按照所述預(yù)設(shè)優(yōu)先級,向所述用戶發(fā)送所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第四方面或第四方面的上述任一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,所述第一獲取模塊用于接收來自與所述用戶相關(guān)聯(lián)的至少一傳感器的所述信息。
結(jié)合第四方面或第四方面的上述任一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,所述裝置還包括:
一第二發(fā)送模塊,用于發(fā)送與所述發(fā)送策略相關(guān)聯(lián)的信息。
結(jié)合第四方面或第四方面的上述任一種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,所述第二信息包括:為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間;
所述第一獲取模塊包括:
一第三確定單元,用于確定為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間;
一第四確定單元,用于至少根據(jù)所述呈現(xiàn)所述可視化內(nèi)容的時間以及所述可視化內(nèi)容的發(fā)送時間確定所述時延。
第五方面,本申請實施例提供了一種可視化內(nèi)容發(fā)送裝置,所述裝置包括:
一第三獲取模塊,用于獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息;
一第三發(fā)送模塊,用于至少根據(jù)所述第一信息以及所述第二信息,向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一 個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第五方面,在第一種可能的實現(xiàn)方式中,所述第三發(fā)送模塊包括:
一第五確定單元,用于至少根據(jù)所述第一信息,確定所述用戶與所述時延相關(guān)的姿態(tài);
一第六確定單元,用于至少根據(jù)所述姿態(tài),確定所述至少一個方向。
結(jié)合第五方面或第五方面的第一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,所述第三發(fā)送模塊包括:
一第一獲取單元,用于獲取所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
一發(fā)送單元,用于向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第五方面或第五方面的上述任一種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,所述第三發(fā)送模塊包括:
一第一獲取單元,用于獲取至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所述至少兩個方向包括所述至少一個方向;
一發(fā)送單元,用于向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第五方面或第五方面的上述任一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,所述第三發(fā)送模塊包括:
一第一獲取單元,用于獲取所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
一發(fā)送單元,用于按照一所述預(yù)設(shè)優(yōu)先級,向所述用戶發(fā)送所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
結(jié)合第五方面或第五方面的上述任一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,所述第三獲取模塊用于接收來自與所述用戶相 關(guān)聯(lián)的至少一傳感器的所述第一信息。
結(jié)合第五方面或第五方面的上述任一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,所述第二信息包括:為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間;
所述第三獲取模塊包括:
一第七確定單元,用于確定為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間;
一第七確定單元,用于至少根據(jù)所述呈現(xiàn)所述可視化內(nèi)容的時間以及所述可視化內(nèi)容的發(fā)送時間確定所述時延。
結(jié)合第五方面或第五方面的上述任一種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,所述第三發(fā)送模塊向所述用戶發(fā)送的所述可視化內(nèi)容中包括對應(yīng)的發(fā)送時間。
第六方面,本申請實施例提供了一種呈現(xiàn)裝置,所述裝置包括:
一第四獲取模塊,用于獲取按照一發(fā)送策略發(fā)送的可視化內(nèi)容,所述發(fā)送策略為至少根據(jù)與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息確定的,且包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
一顯示模塊,用于至少根據(jù)所述發(fā)送策略,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
結(jié)合第六方面,在第一種可能的實現(xiàn)方式中,所述裝置還包括:
一第五獲取模塊,用于獲取與所述發(fā)送策略相關(guān)聯(lián)的信息。
結(jié)合第六方面或第六方面的第一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,所述顯示模塊包括:
一第九確定單元,用于至少根據(jù)所述發(fā)送策略,確定所述至少一個方向;
一顯示單元,用于至少根據(jù)最近時刻獲取到的所述至少一個方向 上的可視化內(nèi)容以及之前時刻獲取到的其他方向上的可視化內(nèi)容,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
結(jié)合第六方面或第六方面的上述任一種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,所述發(fā)送策略還包括:按照一預(yù)設(shè)優(yōu)先級向所述用戶發(fā)送至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所述至少兩個方向包括所述至少一個方向;且
所述顯示模塊包括:
一第九確定單元,用于至少根據(jù)所述發(fā)送策略,確定所述至少兩個方向上的可視化內(nèi)容;
一顯示單元,用于按照所述預(yù)設(shè)優(yōu)先級,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
結(jié)合第六方面或第六方面的上述任一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,所述裝置還包括:
一采集模塊,用于采集所述與用戶的姿態(tài)相關(guān)聯(lián)的第一信息;
一第四發(fā)送模塊,用于發(fā)送所述與用戶的姿態(tài)相關(guān)聯(lián)的第一信息。
結(jié)合第六方面或第六方面的上述任一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,所述裝置還包括:
一第二確定模塊,用于確定與所述時延相關(guān)聯(lián)的第二信息;
一第五發(fā)送模塊,用于發(fā)送所述第二信息。
結(jié)合第六方面或第六方面的上述任一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,所述第二確定模塊進(jìn)一步用于確定可視化內(nèi)容的發(fā)送時間,并至少根據(jù)為用戶呈現(xiàn)所述可視化內(nèi)容的時間以及所述可視化內(nèi)容的發(fā)送時間確定所述時延。
第七方面,本申請實施例提供了一種可視化內(nèi)容傳輸控制裝置,所述裝置包括:
攝像機(jī),包括復(fù)數(shù)個攝像頭;
存儲器,用于存放指令;
處理器,用于執(zhí)行所述存儲器存儲的指令,所述指令使得所述處理器執(zhí)行以下步驟:
獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息;
至少根據(jù)所述第一信息以及所述第二信息,確定與目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容的發(fā)送策略,所述發(fā)送策略包括:由所述復(fù)數(shù)個攝像頭中的至少一個向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
第八方面,本申請實施例提供了一種呈現(xiàn)裝置,所述裝置包括:
顯示器;
存儲器,用于存放指令;
處理器,用于執(zhí)行所述存儲器存儲的指令,所述指令使得所述處理器執(zhí)行以下步驟:
獲取按照一發(fā)送策略發(fā)送的可視化內(nèi)容,所述發(fā)送策略為至少根據(jù)與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息確定的,且包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
至少根據(jù)所述發(fā)送策略,通過所述顯示器為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
本申請實施例的方法及裝置通過跟蹤用戶在觀看沉浸式虛擬現(xiàn)實顯示時的姿態(tài)變化以及可視化內(nèi)容的傳輸時延變化,能夠智能的發(fā)送相應(yīng)方向上的可視化內(nèi)容,有助于在為用戶提供較好的沉浸式虛擬現(xiàn)實體驗的同時減少對網(wǎng)絡(luò)造成的壓力。
附圖說明
圖1為本申請實施例的可視化內(nèi)容傳輸控制方法的一種示例的 流程圖;
圖2為本申請實施例的可視化內(nèi)容發(fā)送方法的一種示例的流程圖;
圖3為本申請實施例的呈現(xiàn)方法的一種示例的流程圖;
圖4(a)至圖4(e)為本申請實施例的可視化內(nèi)容傳輸控制裝置的多種示例的結(jié)構(gòu)圖;
圖5(a)至圖5(c)為本申請實施例的可視化內(nèi)容發(fā)送裝置的多種示例的結(jié)構(gòu)圖;
圖6(a)至圖6(e)為本申請實施例的呈現(xiàn)裝置的多種示例的結(jié)構(gòu)圖;
圖7為本申請實施例的可視化內(nèi)容傳輸控制裝置的又一種示例的結(jié)構(gòu)圖;
圖8為本申請實施例的可視化內(nèi)容發(fā)送裝置的又一種示例的結(jié)構(gòu)圖;
圖9為本申請實施例的呈現(xiàn)裝置的又一種示例的結(jié)構(gòu)圖。
具體實施方式
下面結(jié)合附圖(若干附圖中相同的標(biāo)號表示相同的元素)和實施例,對本申請的具體實現(xiàn)方式作進(jìn)一步詳細(xì)說明。以下實施例用于說明本申請,但不用來限制本申請的范圍。
本領(lǐng)域技術(shù)人員可以理解,本申請中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同步驟、設(shè)備或模塊等,既不代表任何特定技術(shù)含義,也不表示它們之間的必然邏輯順序。
為了更好的理解本申請,現(xiàn)對本申請各實施例所用的術(shù)語進(jìn)行說明:
“可視化內(nèi)容”指能夠用于以沉浸式虛擬現(xiàn)實的方式呈現(xiàn)的目標(biāo)場景中的任何內(nèi)容,該內(nèi)容包括與目標(biāo)場景有關(guān)的任何物理對象和/ 或數(shù)字(虛擬)對象(object)。可視化內(nèi)容的發(fā)送、傳輸指的是從采集單元側(cè)發(fā)送用于將對應(yīng)的可視化內(nèi)容以沉浸式虛擬現(xiàn)實的方式呈現(xiàn)的任何相關(guān)數(shù)據(jù)并通過無線網(wǎng)絡(luò)向目標(biāo)用戶側(cè)傳輸,這樣的數(shù)據(jù)包括但不限于:與可視化內(nèi)容相關(guān)的任何文字、圖片、圖像、音頻文件、視頻文件、以及與目標(biāo)場景中的任一物理和/或虛擬對象的虛擬現(xiàn)實呈現(xiàn)相關(guān)的描述數(shù)據(jù),例如三維模型、空間關(guān)系描述數(shù)據(jù)等等,且可采用流式傳輸(streaming)的方式傳輸這些數(shù)據(jù)?!澳繕?biāo)場景”包括真實物理環(huán)境、虛擬現(xiàn)實場景(虛擬環(huán)境)、混合現(xiàn)實環(huán)境(包括增強(qiáng)現(xiàn)實和增強(qiáng)虛擬,也即,物理環(huán)境和虛擬環(huán)境的混合)?!安杉瘑卧敝傅氖怯糜诓杉繕?biāo)場景的可視化內(nèi)容相關(guān)數(shù)據(jù)的裝置或裝置的一部分,例如,采集單元可為具有多個攝像頭的設(shè)備,或為具有多個攝像頭的設(shè)備的任一攝像頭,用于采集真實的物理環(huán)境相關(guān)的可視化內(nèi)容數(shù)據(jù),和/或用于獲取虛擬現(xiàn)實場景/混合現(xiàn)實場景中的可視化內(nèi)容數(shù)據(jù)。
使用例如頭盔式顯示器、眼鏡、投影式虛擬現(xiàn)實系統(tǒng)的投影設(shè)備等沉浸式虛擬現(xiàn)實顯示設(shè)備,通過無線網(wǎng)絡(luò)實時接收并處理(一個或多個)采集單元采集/獲取到的與目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,能夠為用戶提供目標(biāo)場景的沉浸式虛擬現(xiàn)實觀看體驗。據(jù)研究,用戶沉浸在逼真的模擬環(huán)境中時,會因場景中的實時變化而變化姿態(tài),例如,頭部、眼睛、或其他可能的身體部位將發(fā)生動作。本神情各實施例的技術(shù)方案正是基于此,通過跟蹤并預(yù)測用戶的姿態(tài)變化,選擇性地進(jìn)行可視化內(nèi)容的傳輸,從而在為用戶提供較好的沉浸式虛擬現(xiàn)實體驗的同時大大減小對網(wǎng)絡(luò)造成的壓力。
圖1是本申請一種實施例的可視化內(nèi)容傳輸控制方法的流程圖,該方法可由任意采集單元執(zhí)行,也可由獨立的裝置執(zhí)行。如圖1所示,該方法包括:
S120.獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與所述可視化 內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息。
在本實施例的方法中,與用戶的姿態(tài)相關(guān)聯(lián)的第一信息指能夠表示用戶在觀看沉浸式虛擬現(xiàn)實顯示時的狀態(tài)和/或觀看意圖的任何信息,包括但不限于:用戶的面部朝向、用戶的頭部轉(zhuǎn)動速度、用戶的頭部水平角度、用戶的頭部的傾斜角度。與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息為能夠表示可視化內(nèi)容的傳輸時延的任何信息,也即,從采集單元(目標(biāo)場景)側(cè)發(fā)出可視化內(nèi)容起,到將可視化內(nèi)容呈現(xiàn)給用戶的時刻止的時間,這樣的信息可為時延本身,也可為能夠用于確定該時延的其他信息,例如,所述可視化內(nèi)容的發(fā)送時間,和/或?qū)⒖梢暬瘍?nèi)容呈現(xiàn)給用戶的時間,等等。
S140.至少根據(jù)所述第一信息以及所述第二信息,確定與目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容的發(fā)送策略,所述發(fā)送策略包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
如上所述的,在驟S140中根據(jù)步驟S120所獲取的第一信息,能夠確定用戶在觀看沉浸式虛擬現(xiàn)實顯示的過程中的狀態(tài)和/或意圖,進(jìn)而預(yù)測用戶的姿態(tài)變化趨勢,例如,根據(jù)用戶的姿態(tài)確定用戶正在觀看的方向以及預(yù)測用戶將要觀看的方向,從而結(jié)合時延確定相應(yīng)的發(fā)送策略:向所述用戶發(fā)送和所述時延相關(guān)的姿態(tài)對應(yīng)的方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,換句話說,采集單元側(cè)發(fā)送的是在經(jīng)過所述時延后用戶將要觀看的方向上的可視化內(nèi)容。該方向上的可視化內(nèi)容可為由一個采集單元所采集/獲取的,也可為多個采集單元所采集/獲取的。
綜上,本實施例的方法通過跟蹤用戶觀看沉浸式虛擬現(xiàn)實時的姿態(tài)變化以及可視化內(nèi)容的傳輸時延變化,確定相應(yīng)的可視化內(nèi)容的發(fā)送策略,有助于在為用戶提供較好的沉浸式虛擬現(xiàn)實體驗的同時減少對網(wǎng)絡(luò)造成的壓力。
需要說明的是,由于可視化內(nèi)容是在一定時間段內(nèi)持續(xù)傳送的,步驟S120可為周期性、實時、響應(yīng)于用戶的姿態(tài)發(fā)生變化、或根據(jù)網(wǎng)絡(luò)傳輸能力來觸發(fā)(網(wǎng)絡(luò)傳輸能力好,可頻繁觸發(fā),否則,較少觸發(fā))執(zhí)行的,相應(yīng)地,步驟S140中也可根據(jù)步驟S120所獲得信息的變化來做出所述發(fā)送策略的適應(yīng)性變化。
此外,如上所述的,步驟S140可進(jìn)一步包括:
S142.至少根據(jù)所述第一信息,確定所述用戶與所述時延相關(guān)的姿態(tài)。
換句話說,在步驟S142中,可根據(jù)所述第一信息預(yù)測用戶的姿態(tài)變化,以確定經(jīng)過所述時延時用戶觀看的方向。所獲得的第一信息越多,也即步驟S120執(zhí)行的次數(shù)越多,所預(yù)測所述時延后的姿態(tài)越準(zhǔn)確。
S144.至少根據(jù)所述姿態(tài),確定所述至少一個方向。
根據(jù)用戶的姿態(tài)確定用戶觀看的方向是較為成熟的技術(shù)在此不做贅述。且所述至少一個方向優(yōu)選為與用戶觀看的方向相同或相似的方向。
在本實施例的方法中,所述發(fā)送策略中涉及的向所述用戶發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容可包括:僅發(fā)送與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,從而節(jié)省了原本用于發(fā)送多個方向上的可視化內(nèi)容的帶寬,因此能夠以更高的傳輸質(zhì)量(例如,分辨率、傳輸速率,等等)傳輸所述至少一個方向上的可視化內(nèi)容。所述發(fā)送策略中還可明確表示以一預(yù)設(shè)優(yōu)先級向用戶發(fā)送與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,具言之,發(fā)送策略可包括:以較高的優(yōu)先級發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。所述較高的優(yōu)先級包括但不限于:較高的發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、傳輸質(zhì)量優(yōu)先級等,也即,與 其他方向上的可視化內(nèi)容相比,可以更早、單位時間更頻繁、和/或傳輸質(zhì)量更高地發(fā)送所述至少一個方向上的可視化內(nèi)容,從而保證用戶體驗。
此外,在僅發(fā)送所述至少一個方向上的可視化內(nèi)容的實現(xiàn)方式中,本實施例的方法可控制采集單元僅采集/獲取所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),并發(fā)送;或者控制采集單元采集/獲取包括所述至少一個方向的多個方向上的目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),但僅發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容。
在按照預(yù)設(shè)優(yōu)先級發(fā)送包括所述至少一個方向在內(nèi)的多個方向上的可視化內(nèi)容的實現(xiàn)方式中,本實施例的方法可控制多個采集單元分別在多個方向上采集/獲取目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),并按照所述預(yù)設(shè)優(yōu)先級進(jìn)行發(fā)送。
如上所述的,本實施例的方法可僅獲取并發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容,在這樣的實現(xiàn)方式中,本實施例的方法還包括:
S161.至少根據(jù)所述發(fā)送策略,獲取所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
所述發(fā)送策略中明確了將向用戶發(fā)送的可視化內(nèi)容是所述至少一個方向的,在步驟S161中可通過與相應(yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,也可通過主動在所述至少一個方向上采集目標(biāo)場景的可視化內(nèi)容的方式獲取所述可視化內(nèi)容。
S162.向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,步驟S162中向用戶側(cè)用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
仍如上所述的,本實施例的方法還可獲取多個方向上的目標(biāo)場景的可視化內(nèi)容,并發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容。 在這樣的實現(xiàn)方式中,本實施例的方法還包括:
S163.至少根據(jù)所述發(fā)送策略,獲取至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。其中,所述至少兩個方向包括所述至少一個方向。
如結(jié)合步驟S161所描述的,在步驟S163中可通過與各方向?qū)?yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,也可通過主動在所述至少兩個方向上采集目標(biāo)場景的可視化內(nèi)容的方式獲取所述可視化內(nèi)容。
S164.向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,步驟S164中向用戶側(cè)用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
仍如上所述的,所述發(fā)送策略還包括:按照一預(yù)設(shè)優(yōu)先級向所述用戶發(fā)送至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,其中,所述至少兩個方向包括所述至少一個方向。在這樣的實現(xiàn)方式中,本實施例的方法還包括:
S165.至少根據(jù)所述發(fā)送策略,獲取所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
如結(jié)合步驟S161所描述的,在步驟S165中可通過與各方向?qū)?yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,也可通過主動在所述至少兩個方向上采集目標(biāo)場景的可視化內(nèi)容的方式獲取所述可視化內(nèi)容。
S166.按照所述預(yù)設(shè)優(yōu)先級,向所述用戶發(fā)送所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,步驟S166中向用戶側(cè)用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
此外,在沉浸式虛擬現(xiàn)實的場景中,可通過多種傳感器實現(xiàn)對用 戶的姿態(tài)的跟蹤,本實施例的方法可從與用戶關(guān)聯(lián)的至少一傳感器處獲取與用戶的姿態(tài)相關(guān)聯(lián)的信息,該至少一傳感器設(shè)置在用戶所佩戴的頭盔式顯示器、眼鏡上。因此,步驟S120可包括:
S122.接收來自與所述用戶相關(guān)聯(lián)的至少一傳感器的所述信息,該信息可為各傳感器感測到的原始傳感器數(shù)據(jù),也可為根據(jù)各傳感器感測到的傳感器數(shù)據(jù)所確定的明確的用戶的姿態(tài)。
為了實現(xiàn)可視化內(nèi)容的傳送以及為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示,本實施例的方法還包括:
S180.發(fā)送與所述發(fā)送策略相關(guān)聯(lián)的信息。
在本實施例的方法中,步驟S180可以各采集單元能夠接收到的方式發(fā)送所述發(fā)送策略,和/或以用戶使用的顯示設(shè)備能夠接收到的方式發(fā)送所述發(fā)送策略。
此外,如上所述的,所述與所述時延相關(guān)聯(lián)的第二信息可包括能夠用于確定所述時延的任何信息,由于本實施例的方法可由任一采集單元執(zhí)行,因此,可視化內(nèi)容的發(fā)送時間是容易獲知的,為了確定所述時延,步驟S120還可包括:
S124.確定為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間。例如,從用戶側(cè)接收為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間。
S126.至少根據(jù)所述呈現(xiàn)所述可視化內(nèi)容的時間以及發(fā)送所述可視化內(nèi)容的時間確定所述時延。例如,為用戶呈現(xiàn)所述可視化內(nèi)容的時間與發(fā)送所述可視化內(nèi)容的時間的時間差即為所述時延。
在所述第二信息為所述時延本身的實現(xiàn)方式中,該時延可由用戶側(cè)確定,所述發(fā)送策略中還可包括:向所述用戶發(fā)送的所述可視化內(nèi)容中包括對應(yīng)的發(fā)送時間。
在本實施例的方法中,與即將發(fā)送的用于形成虛擬現(xiàn)實顯示的可視化內(nèi)容相比,可以較小的數(shù)據(jù)包實現(xiàn)第一信息、第二信息以及所述發(fā)送策略的發(fā)送,且對傳輸要求不高,通過這樣的跟蹤反饋機(jī)制能夠 有助于更智能的傳輸可視化內(nèi)容,即使在帶寬受限的情況下也能實現(xiàn)為用戶提供較好的沉浸式體驗。
本申請還提供了一種可視化內(nèi)容發(fā)送方法,該方法可由任一采集單元執(zhí)行。圖2為本申請一種實施例的可視化內(nèi)容發(fā)送方法的流程圖。如圖2所示,所述方法包括:
S220.獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息。
在本實施例的方法中,與用戶的姿態(tài)相關(guān)聯(lián)的第一信息指能夠表示用戶在觀看沉浸式虛擬現(xiàn)實顯示時的狀態(tài)和/或觀看意圖的任何信息,包括但不限于:用戶的面部朝向、用戶的頭部轉(zhuǎn)動速度、用戶的頭部水平角度、用戶的頭部的傾斜角度,等等。與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息為能夠表示可視化內(nèi)容的傳輸時延的任何信息,也即,從采集單元側(cè)發(fā)出可視化內(nèi)容起,到將可視化內(nèi)容呈現(xiàn)給用戶的時刻止的時間,這樣的信息可為時延本身,也可為能夠用于確定該時延的其他信息,例如,所述可視化內(nèi)容的發(fā)送時間,和/或?qū)⒖梢暬瘍?nèi)容呈現(xiàn)給用戶的時間。
S240.至少根據(jù)所述第一信息以及所述第二信息,向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
如上所述的,在驟S240中根據(jù)步驟S220所獲取的第一信息,能夠確定用戶在觀看沉浸式虛擬現(xiàn)實顯示的過程中的狀態(tài)和/或意圖,進(jìn)而預(yù)測用戶的姿態(tài)變化,例如,根據(jù)用戶的姿態(tài)確定用戶正在觀看的方向以及預(yù)測用戶將要觀看的方向,從而結(jié)合所述第二信息,向所述用戶發(fā)送和所述時延相關(guān)的姿態(tài)對應(yīng)的方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,換句話說,步驟S240發(fā)送的是在經(jīng)過所述時延后用戶將要觀看的方向上的可視化內(nèi)容。該方向上的可視化內(nèi)容可為由一個采集單元所采集/獲取的,也可為多個采集單元所采集/獲取的。 在由多個采集單元采集的實現(xiàn)方式中,本實施例的方法可通過與各采集單元通信獲取相應(yīng)的可視化內(nèi)容,并統(tǒng)一發(fā)送。
綜上,本實施例的方法通過跟蹤用戶觀看沉浸式虛擬現(xiàn)實顯示時的姿態(tài)變化以及可視化內(nèi)容的傳輸時延變化,向用戶發(fā)送相應(yīng)方向的可視化內(nèi)容,能夠在為用戶提供較好的沉浸式虛擬現(xiàn)實體驗的同時減少對網(wǎng)絡(luò)造成的壓力。
需要說明的是,由于可視化內(nèi)容是在一定時間段內(nèi)持續(xù)傳送的,步驟S220可為周期性、實時、響應(yīng)于用戶的姿態(tài)發(fā)生變化、或根據(jù)網(wǎng)絡(luò)傳輸能力來觸發(fā)(網(wǎng)絡(luò)傳輸能力好,可頻繁觸發(fā),否則,較少觸發(fā))執(zhí)行的,相應(yīng)地,步驟S240中也可根據(jù)步驟S220所獲得信息的變化來做出適應(yīng)性變化。
此外,如上所述的,可根據(jù)用戶的姿態(tài)確定用戶的觀看方向,確定發(fā)送的可視化內(nèi)容對應(yīng)的方向,也即,步驟S240可進(jìn)一步包括:
S241.至少根據(jù)所述第一信息,確定所述用戶與所述時延相關(guān)的姿態(tài)。
換句話說,在步驟S241中,可根據(jù)所述第一信息預(yù)測用戶的姿態(tài)變化,以確定經(jīng)過所述時延時用戶觀看的方向。所獲得的第一信息越多,也即步驟S220執(zhí)行的次數(shù)越多,所預(yù)測所述時延后的姿態(tài)越準(zhǔn)確。
S242.至少根據(jù)所述姿態(tài),確定所述至少一個方向。
根據(jù)用戶的姿態(tài)確定用戶觀看的方向是較為成熟的技術(shù)在此不做贅述。且所述至少一個方向優(yōu)選為與用戶觀看的方向相同或相似的方向。
在本實施例的方法中,向所述用戶發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容可包括:僅發(fā)送與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,從而節(jié)省了原本用于發(fā)送多個方向上的可視化內(nèi)容的帶寬,因此能夠以 更高的傳輸質(zhì)量(例如,分辨率、傳輸速率,等等)傳輸所述至少一個方向上的可視化內(nèi)容。還可以一預(yù)設(shè)優(yōu)先級向用戶發(fā)送與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,例如,以較高的優(yōu)先級發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。所述較高的優(yōu)先級包括但不限于:較高的發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、傳輸質(zhì)量優(yōu)先級等,也即,與其他方向上的可視化內(nèi)容相比,可以更早、單位時間更頻繁、和/或傳輸質(zhì)量更高地發(fā)送所述至少一個方向上的可視化內(nèi)容,從而保證用戶體驗。
此外,在僅發(fā)送所述至少一個方向上的可視化內(nèi)容的實現(xiàn)方式中,本實施例的方法可僅采集/獲取所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),并發(fā)送;或者采集/獲取包括所述至少一個方向的多個方向上的目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),但僅發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容。
在按照預(yù)設(shè)優(yōu)先級發(fā)送包括所述至少一個方向在內(nèi)的多個方向上的可視化內(nèi)容的實現(xiàn)方式中,本實施例的方法可獲取多個采集單元分別在多個方向上采集/獲取的目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),并按照所述預(yù)設(shè)優(yōu)先級進(jìn)行發(fā)送。
如上所述的,本實施例的方法可僅獲取并發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容,在這樣的實現(xiàn)方式中,步驟S240可包括:
S243.獲取所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
在步驟S243中可由執(zhí)行本實施例方法的采集單元直接采集所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容的方式獲取所述可視化內(nèi)容,也可通過與相應(yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容。
S244.向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,步驟S244中向用戶側(cè)用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
仍如上所述的,本實施例的方法還可獲取在多個方向上的目標(biāo)場景的可視化內(nèi)容,并僅發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容。在這樣的實現(xiàn)方式中,步驟S240還可包括:
S245.獲取在至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所述至少兩個方向包括所述至少一個方向。
如結(jié)合步驟S243所描述的,在步驟S245中可通過與各方向?qū)?yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,執(zhí)行本實施例方法的采集單元也可主動在其中至少一個方向上采集目標(biāo)場景的可視化內(nèi)容。
S246.向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,步驟S246中向用戶側(cè)用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
仍如上所述的,所述發(fā)送策略還包括:按照一預(yù)設(shè)優(yōu)先級向所述用戶發(fā)送至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,其中,所述至少兩個方向包括所述至少一個方向。在這樣的實現(xiàn)方式中,步驟S240還可包括:
S247.獲取所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
如結(jié)合步驟S245所描述的,在步驟S247中可通過與各方向?qū)?yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,執(zhí)行本實施例方法的采集單元也可主動在其中至少一個方向上采集目標(biāo)場景的可視化內(nèi)容。
S248.按照所述預(yù)設(shè)優(yōu)先級,向所述用戶發(fā)送所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,步驟S248中向用戶側(cè)用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
此外,在沉浸式虛擬現(xiàn)實的場景中,可通過多種傳感器實現(xiàn)對用戶的姿態(tài)的跟蹤,本實施例的方法可從與用戶關(guān)聯(lián)的至少一傳感器處獲取與用戶的姿態(tài)相關(guān)聯(lián)的信息。因此,步驟S220可包括:
S222.接收來自與所述用戶相關(guān)聯(lián)的至少一傳感器的所述信息,該信息可為各傳感器感測到的原始傳感器數(shù)據(jù),也可為根據(jù)各傳感器感測到的傳感器數(shù)據(jù)所確定的明確的用戶的姿態(tài)。
此外,如上所述的,所述與所述時延相關(guān)聯(lián)的第二信息可包括能夠用于確定所述時延的任何信息,由于本實施例的方法可由任一采集單元執(zhí)行,因此,可視化內(nèi)容的發(fā)送時間是容易獲知的,為了確定所述時延,步驟S220還可包括:
S224.確定為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間。例如,從用戶側(cè)接收為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間。
S226.至少根據(jù)所述呈現(xiàn)所述可視化內(nèi)容的時間以及發(fā)送所述可視化內(nèi)容的時間確定所述時延。例如,為用戶呈現(xiàn)所述可視化內(nèi)容的時間與發(fā)送所述可視化內(nèi)容的時間的時間差即為所述時延。
在所述第二信息為所述時延本身的實現(xiàn)方式中,該時延可由用戶側(cè)確定,相應(yīng)地,在步驟S240中還包括:
S249.向所述用戶發(fā)送的所述可視化內(nèi)容中包括對應(yīng)的發(fā)送時間。
綜上,在本實施例的方法中,與即將發(fā)送的用于形成沉浸式虛擬現(xiàn)實顯示的可視化內(nèi)容相比,可以較小的數(shù)據(jù)包實現(xiàn)第一信息、以及第二信息的發(fā)送,且對傳輸要求不高,通過這樣的跟蹤反饋機(jī)制能夠更智能的傳輸可視化內(nèi)容,即使在帶寬受限的情況下也能實現(xiàn)為用戶 提供較好的沉浸式體驗。
本申請還提供了一種呈現(xiàn)方法,該方法可由沉浸式虛擬現(xiàn)實顯示設(shè)備執(zhí)行,這樣的虛擬現(xiàn)實顯示設(shè)備包括但不限于:頭盔式顯示器,投影式虛擬現(xiàn)實系統(tǒng)的投影設(shè)備,等等。圖3為本申請一種實施例的呈現(xiàn)方法的流程圖。如圖3所示,所述方法包括:
S320.獲取按照一發(fā)送策略發(fā)送的可視化內(nèi)容,所述發(fā)送策略為至少根據(jù)與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息確定的,且包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
如結(jié)合圖1所描述的,為了更智能的發(fā)送可視化內(nèi)容,采集單元側(cè)按照一定的發(fā)送策略發(fā)送可視化內(nèi)容。本實施例的方法獲取這樣的可視化內(nèi)容。
S340.至少根據(jù)所述發(fā)送策略,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
所述發(fā)送策略中明確了所發(fā)送的可視化內(nèi)容是與用戶在觀看沉浸式虛擬現(xiàn)實顯示的過程中的狀態(tài)和/或意圖相關(guān)的,因此,本實施例的方法能夠為用戶提供較好的體驗。
具體地,為了更智能的為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示,本實施例的方法可進(jìn)一步包括:
S310.獲取與所述發(fā)送策略相關(guān)聯(lián)的信息。例如,接收執(zhí)行結(jié)合圖1描述的實施例的方法的裝置所發(fā)送的與所述發(fā)送策略相關(guān)聯(lián)的信息。
且如結(jié)合圖1所描述的,在一種可能的實現(xiàn)方式中,為了節(jié)省原本用于發(fā)送多個方向上的可視化內(nèi)容的帶寬,從而以更高的傳輸質(zhì)量(例如,分辨率、傳輸速率,等等)傳輸所述至少一個方向上的可視化內(nèi)容,所述發(fā)送策略中可明確表示:僅發(fā)送與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。在這樣的實現(xiàn)方式中,步驟 S340可進(jìn)一步包括:
S342.至少根據(jù)所述發(fā)送策略,確定所述至少一個方向。
S343.至少根據(jù)最近時刻獲取到的所述至少一個方向上的可視化內(nèi)容以及之前時刻獲取到的其他方向上的可視化內(nèi)容,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
其中,為了提供沉浸式體驗,在形成沉浸式虛擬現(xiàn)實顯示時仍需結(jié)合多個方向上的可視化內(nèi)容,因此,在步驟S343中,除所述至少一個方向?qū)?yīng)的可視化內(nèi)容外,其他方向?qū)?yīng)的可視化內(nèi)容可采用歷史數(shù)據(jù),從而,在保證用戶觀看的方向上的實時、和/或高質(zhì)量的同時,仍能保證沉浸式體驗。
在另一種可能的實現(xiàn)方式中,所述發(fā)送策略中還可明確表示以一預(yù)設(shè)優(yōu)先級向用戶發(fā)送與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,具言之,所述發(fā)送策略可包括:以較高的優(yōu)先級發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。所述較高的優(yōu)先級包括但不限于:較高的發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、傳輸質(zhì)量優(yōu)先級等,也即,與其他方向上的可視化內(nèi)容相比,可以更早、單位時間更頻繁、和/或傳輸質(zhì)量更高地發(fā)送所述至少一個方向上的可視化內(nèi)容,從而保證用戶體驗。在這樣的實現(xiàn)方式中,步驟S340可進(jìn)一步包括:
S344.至少根據(jù)所述發(fā)送策略,確定所述預(yù)設(shè)優(yōu)先級。
S345.按照所述預(yù)設(shè)優(yōu)先級,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
在一種可能的實現(xiàn)方式中,執(zhí)行本實施例方法的裝置可根據(jù)所述預(yù)設(shè)優(yōu)先級確定能夠獲取到的可視化內(nèi)容的方向,并結(jié)合其他方向?qū)?yīng)的歷史數(shù)據(jù)來為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
此外,為了提供確定所述發(fā)送策略的參考,本實施例的方法還包括:
S312.采集所述與用戶的姿態(tài)相關(guān)聯(lián)的第一信息,在一種可能的 實現(xiàn)方式中,可通過至少一個傳感器采集用戶的姿態(tài)的采集,且在一種優(yōu)選的實現(xiàn)方式中,所述至少一個傳感器可屬于執(zhí)行本實施例的方法的裝置。
S314.發(fā)送所述與用戶的姿態(tài)相關(guān)聯(lián)的第一信息,該第一信息可為各傳感器感測到的原始傳感器數(shù)據(jù),也可為根據(jù)各傳感器感測到的傳感器數(shù)據(jù)所確定的明確的用戶的姿態(tài)。且在步驟S314中,可以執(zhí)行結(jié)合圖1描述的方法的裝置和/或執(zhí)行結(jié)合圖2描述方法的裝置能夠接收到的方式發(fā)送所述第一信息。
此外,如上所述的,所述與所述時延相關(guān)聯(lián)的第二信息可包括能夠用于確定所述時延的任何信息,由于本實施例的方法可由用戶所使用的虛擬現(xiàn)實顯示設(shè)備執(zhí)行,因此,為用戶呈現(xiàn)可視化內(nèi)容的時間是容易獲知的,為了確定所述時延,所述方法還可包括:
S316.確定與所述時延相關(guān)聯(lián)的第二信息;
S318.發(fā)送所述第二信息。
且步驟S316可進(jìn)一步包括:
S3162.確定所述可視化內(nèi)容的發(fā)送時間;
S3164.至少根據(jù)為用戶呈現(xiàn)所述可視化內(nèi)容的時間以及所述可視化內(nèi)容的發(fā)送時間確定所述時延。
其中,可從用戶側(cè)接收到的可視化內(nèi)容中獲取其中包括的對應(yīng)的可視化內(nèi)容的發(fā)送時間。
需要說明的是,本實施例的方法可采用任意合適的技術(shù),基于獲取到的可視化內(nèi)容來為用戶提供虛擬現(xiàn)實顯示,在此不作為對本申請實施例的技術(shù)方案的限制。
綜上,本實施例的方法能夠為用戶提供良好的沉浸式虛擬現(xiàn)實觀看體驗。
本領(lǐng)域技術(shù)人員可以理解,在本申請具體實現(xiàn)方式的上述方法中, 各步驟的序號大小并不意味著執(zhí)行順序的先后,各步驟的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定,而不應(yīng)對本申請具體實現(xiàn)方式的實施過程構(gòu)成任何限定。
此外,本申請實施例還提供了一種計算機(jī)可讀介質(zhì),包括在被執(zhí)行時進(jìn)行以下操作的計算機(jī)可讀指令:執(zhí)行上述圖1所示實現(xiàn)方式中的方法的各步驟的操作。
此外,本申請實施例還提供了一種計算機(jī)可讀介質(zhì),包括在被執(zhí)行時進(jìn)行以下操作的計算機(jī)可讀指令:執(zhí)行上述圖2所示實現(xiàn)方式中的方法的各步驟的操作。
此外,本申請實施例還提供了一種計算機(jī)可讀介質(zhì),包括在被執(zhí)行時進(jìn)行以下操作的計算機(jī)可讀指令:執(zhí)行上述圖3所示實現(xiàn)方式中的方法的各步驟的操作。
本申請實施例還提供了一種執(zhí)行上面結(jié)合圖1所描述的可視化內(nèi)容傳輸控制方法的可視化內(nèi)容傳輸控制裝置,該裝置可為獨立的裝置,也可為屬于任一采集單元的裝置。除下面將描述的各組成部分外,所述裝置還包括可根據(jù)需要實現(xiàn)與裝置外部任意設(shè)備通信的通信模塊。如圖4(a)所示,本申請第一種實施例的可視化內(nèi)容傳輸控制裝置400包括:
第一獲取模塊420,用于獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息。
在實施例的裝置中,與用戶的姿態(tài)相關(guān)聯(lián)的第一信息包括:能夠表示用戶在觀看沉浸式虛擬現(xiàn)實顯示時的狀態(tài)和/或觀看意圖的任何信息,包括但不限于:用戶的面部朝向、用戶的頭部轉(zhuǎn)動速度、用戶的頭部水平角度、用戶的頭部的傾斜角度。與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息為能夠表示可視化內(nèi)容的傳輸時延的任何信息,也即,從采集單元(目標(biāo)場景)側(cè)發(fā)出可視化內(nèi)容起,到可視化 內(nèi)容呈現(xiàn)給用戶的時刻止的時間,這樣的信息可為時延本身,也可為能夠用于確定該時延的其他信息,例如,所述的可視化內(nèi)容的發(fā)送時間,和/或?qū)⒖梢暬瘍?nèi)容呈現(xiàn)給用戶的時間。
第一確定模塊440,用于至少根據(jù)所述第一信息以及所述第二信息,確定與目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容的發(fā)送策略,所述發(fā)送策略包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
如上所述的,第一確定模塊440根據(jù)第一獲取模塊420所獲取的第一信息,能夠確定用戶在觀看沉浸式虛擬現(xiàn)實顯示的過程中的狀態(tài)和/或意圖,進(jìn)而預(yù)測用戶的姿態(tài)變化趨勢,例如,根據(jù)用戶的姿態(tài)確定用戶正在觀看的方向以及預(yù)測用戶將要觀看的方向,從而結(jié)合時延確定相應(yīng)的發(fā)送策略:向所述用戶發(fā)送和所述時延相關(guān)的姿態(tài)對應(yīng)的方向上采集的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,換句話說,采集單元側(cè)發(fā)送的是在經(jīng)過所述時延后用戶將要觀看的方向上采集的可視化內(nèi)容。該方向上的可視化內(nèi)容可為由一個采集單元所采集/獲取的,也可為多個采集單元所采集/獲取的。
綜上,本實施例的裝置通過跟蹤用戶觀看沉浸式虛擬現(xiàn)實時的姿態(tài)變化以及可視化內(nèi)容的傳輸時延變化,確定相應(yīng)地可視化內(nèi)容發(fā)送策略,有助于在為用戶提供較好的沉浸式虛擬現(xiàn)實體驗的同時減少對網(wǎng)絡(luò)造成的壓力。
需要說明的是,由于可視化內(nèi)容是在一定時間段內(nèi)持續(xù)傳送的,第一獲取模塊420可周期性、實時、響應(yīng)于用戶的姿態(tài)發(fā)生變化、或根據(jù)網(wǎng)絡(luò)傳輸能力來執(zhí)行其功能(網(wǎng)絡(luò)傳輸能力好,可頻繁執(zhí)行,否則,較少執(zhí)行),相應(yīng)地,第一確定模塊440也可根據(jù)第一獲取模塊420所獲取的信息的變化來做出所述發(fā)送策略的適應(yīng)性變化。
此外,如上所述的,如圖4(b)所示的,第一確定模塊440可進(jìn)一步包括:
第一確定單元442,用于至少根據(jù)所述與用戶的姿態(tài)相關(guān)聯(lián)的信息,確定所述至少一個方向。
換句話說,第一確定單元442可根據(jù)所述第一信息預(yù)測用戶的姿態(tài)變化,以確定經(jīng)過所述時延時用戶觀看的方向。所獲得的第一信息越多,也即第一獲取模塊420獲取第一信息的次數(shù)越多,所預(yù)測所述時延后的姿態(tài)越準(zhǔn)確。
第二確定單元444,用于至少根據(jù)所述姿態(tài),確定所述至少一個方向。
根據(jù)用戶的姿態(tài)確定用戶觀看的方向是較為成熟的技術(shù)在此不做贅述。且所述至少一個方向優(yōu)選為與用戶觀看的方向相同或相似的方向。
在本實施例的裝置中,所述發(fā)送策略中涉及的向所述用戶發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容可包括:僅發(fā)送與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,從而節(jié)省了原本用于發(fā)送多個方向上的可視化內(nèi)容的帶寬,因此能夠以更高的傳輸質(zhì)量(例如,分辨率、傳輸速率,等等)傳輸所述至少一個方向上的可視化內(nèi)容。所述發(fā)送策略中還可明確表示以一預(yù)設(shè)優(yōu)先級向用戶發(fā)送與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,具言之,發(fā)送策略可包括:以較高的優(yōu)先級發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。所述較高的優(yōu)先級包括但不限于:較高的發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、傳輸質(zhì)量優(yōu)先級等,也即,與其他方向上的可視化內(nèi)容相比,可以更早、單位時間更頻繁、和/或傳輸質(zhì)量更高地發(fā)送所述至少一個方向上的可視化內(nèi)容,從而保證用戶體驗。
此外,在僅發(fā)送所述至少一個方向上的可視化內(nèi)容的實現(xiàn)方式中,本實施例的裝置可控制采集單元僅采集/獲取所述至少一個方向上的 目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),并發(fā)送;或者控制采集單元采集/獲取包括所述至少一個方向的多個方向上的目標(biāo)場景的可視化內(nèi)容,但僅發(fā)送所述至少一個方向上目標(biāo)場景的可視化內(nèi)容。
在按照預(yù)設(shè)優(yōu)先級發(fā)送包括所述至少一個方向在內(nèi)的多個方向上的可視化內(nèi)容的實現(xiàn)方式中,本實施例的裝置可控制多個采集單元分別在多個方向上采集/獲取目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),并按照所述預(yù)設(shè)優(yōu)先級進(jìn)行發(fā)送。
如圖4(c)所示,本實施例的裝置400還包括:第二獲取模塊461以及第一發(fā)送模塊462。
如上所述的,本實施例的裝置可僅獲取并發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容,在這樣的實現(xiàn)方式中:
第二獲取模塊461用于至少根據(jù)所述發(fā)送策略,獲取所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
所述發(fā)送策略中明確了將向用戶發(fā)送的可視化內(nèi)容是所述至少一個方向的,第二獲取模塊461可通過與相應(yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,也可通過主動在所述至少一個方向上采集目標(biāo)場景的可視化內(nèi)容的方式獲取所述可視化內(nèi)容。
第一發(fā)送模塊462用于向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,第一發(fā)送模塊462向用戶側(cè)用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
仍如上所述的,本實施例的裝置還可獲取多個方向上的目標(biāo)場景的可視化內(nèi)容,并發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容。在這樣的實現(xiàn)方式中:
第二獲取模塊461用于至少根據(jù)所述發(fā)送策略,獲取至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。其中,所述至少兩個方向包括所述至少一個方向。
類似地,第二獲取模塊461可通過與各方向?qū)?yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,也可通過主動在所述至少兩個方向上采集目標(biāo)場景的可視化內(nèi)容的方式獲取所述可視化內(nèi)容。
第一發(fā)送模塊462用于向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,第一發(fā)送模塊462向用戶側(cè)用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
仍如上所述的,所述發(fā)送策略還包括:按照一預(yù)設(shè)優(yōu)先級向所述用戶發(fā)送至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,其中,所述至少兩個方向包括所述至少一個方向。在這樣的實現(xiàn)方式中:
第二獲取模塊461用于至少根據(jù)所述發(fā)送策略,獲取所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
類似地,第二獲取模塊461可通過與各方向?qū)?yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,也可通過主動在所述至少兩個方向上采集目標(biāo)場景的可視化內(nèi)容的方式獲取所述可視化內(nèi)容。
第一發(fā)送模塊462用于按照所述預(yù)設(shè)優(yōu)先級,向所述用戶發(fā)送所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,第一發(fā)送模塊462向用戶側(cè)用于呈現(xiàn)虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
此外,在沉浸式虛擬現(xiàn)實的場景中,可通過多種傳感器實現(xiàn)對用戶的姿態(tài)的跟蹤,本實施例的裝置可從與用戶關(guān)聯(lián)的至少一傳感器處獲取與用戶的姿態(tài)相關(guān)聯(lián)的信息。也即,第一獲取模塊420可接收來自與所述用戶相關(guān)聯(lián)的至少一傳感器的所述信息,該信息可為各傳感器感測到的原始傳感器數(shù)據(jù),也可為根據(jù)各傳感器感測到的傳感器數(shù)據(jù)所確定的明確的用戶的姿態(tài)。
為了實現(xiàn)可視化內(nèi)容的發(fā)送以及為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示顯示,如圖4(d)本實施例的裝置400還可包括:
第二發(fā)送模塊480,用于發(fā)送與所述發(fā)送策略相關(guān)聯(lián)的信息。
在本實施例的裝置中,第二發(fā)送模塊480可以各采集單元能夠接收到的方式發(fā)送所述發(fā)送策略,和/或以用戶使用的顯示設(shè)備能夠接收到的方式發(fā)送所述發(fā)送策略。
此外,如上所述的,所述與所述時延相關(guān)聯(lián)的第二信息可包括能夠用于確定所述時延的任何信息,由于本實施例的方法可由任一采集單元執(zhí)行,因此,可視化內(nèi)容的發(fā)送時間是容易獲知的,為了確定所述時延,如圖4(e)所示,第一獲取模塊420還可包括:
第三確定單元422,用于確定為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間。例如,從用戶側(cè)接收為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間。
第四確定單元424,用于至少根據(jù)所述呈現(xiàn)所述可視化內(nèi)容的時間以及發(fā)送所述可視化內(nèi)容的時間確定所述時延。例如,為用戶呈現(xiàn)所述可視化內(nèi)容的時間與發(fā)送所述可視化內(nèi)容的時間的時間差即為所述時延。
在所述第二信息為所述時延本身的實現(xiàn)方式中,該時延可由用戶側(cè)確定,所述發(fā)送策略中還可包括:向所述用戶發(fā)送的所述可視化內(nèi)容中包括對應(yīng)的發(fā)送時間。
在本實施例的裝置中,與即將發(fā)送的用于形成虛擬現(xiàn)實顯示的可視化內(nèi)容相比,可以較小的數(shù)據(jù)包實現(xiàn)第一信息、第二信息以及所述發(fā)送策略的發(fā)送,且對傳輸要求不高,通過這樣的跟蹤反饋機(jī)制能夠有助于更智能的傳輸可視化內(nèi)容,即使在帶寬受限的情況下也能實現(xiàn)為用戶提供較好的沉浸式體驗。
本申請實施例還提供了一種執(zhí)行上面結(jié)合圖2所描述的可視化內(nèi)容發(fā)送方法的可視化內(nèi)容發(fā)送裝置,該裝置可屬于任一采集單元的裝置。除下面將描述的各組成部分外,所述裝置還包括可根據(jù)需要實現(xiàn)與裝置外部任意設(shè)備通信的通信模塊。如圖5(a)所示,本申請 實施例的可視化內(nèi)容發(fā)送裝置500包括:
第三獲取模塊520,用于獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息。
在實施例的裝置中,與用戶的姿態(tài)相關(guān)聯(lián)的第一信息包括:能夠表示用戶在觀看沉浸式虛擬現(xiàn)實顯示時的狀態(tài)和/或觀看意圖的任何信息,包括但不限于:用戶的面部朝向、用戶的頭部轉(zhuǎn)動速度、用戶的頭部水平角度、用戶的頭部的傾斜角度。與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息為能夠表示可視化內(nèi)容的傳輸時延的任何信息,也即,從采集單元側(cè)發(fā)出可視化內(nèi)容起,到可視化內(nèi)容呈現(xiàn)給用戶的時刻止的時間,這樣的信息可為時延本身,也可為能夠用于確定該時延的其他信息,例如,所述的可視化內(nèi)容的發(fā)送時間,和/或可視化內(nèi)容呈現(xiàn)給用戶的時間。
第三發(fā)送模塊540,用于至少根據(jù)所述第一信息以及所述第二信息,向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
如上所述的,第三發(fā)送模塊540根據(jù)第三獲取模塊520所獲取的第一信息,能夠確定用戶在觀看沉浸式虛擬現(xiàn)實顯示的過程中的狀態(tài)和/或意圖,進(jìn)而預(yù)測用戶的姿態(tài)變化,例如,根據(jù)用戶的姿態(tài)確定用戶正在觀看的方向,以及預(yù)測用戶將要觀看的方向,從而結(jié)合所述第二信息,向所述用戶發(fā)送在和所述時延相關(guān)的姿態(tài)對應(yīng)的方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,換句話說,第三發(fā)送模塊540發(fā)送的是在經(jīng)過所述時延后用戶將要觀看的方向上采集的可視化內(nèi)容。該方向上的可視化內(nèi)容可為由一個采集單元所采集/獲取的,也可為多個采集單元所采集/獲取的。。在由多個采集單元采集的實現(xiàn)方式中,本實施例的裝置可通過與各采集單元通信獲取相應(yīng)的可視化內(nèi)容,并統(tǒng)一發(fā)送。
綜上,本實施例的裝置通過跟蹤用戶觀看沉浸式虛擬現(xiàn)實顯示時 的姿態(tài)變化以及可視化內(nèi)容的傳輸時延變化,向用戶發(fā)送相應(yīng)方向的可視化內(nèi)容,能夠在為用戶提供較好的沉浸式虛擬現(xiàn)實體驗的同時減少對網(wǎng)絡(luò)造成的壓力。
需要說明的是,由于可視化內(nèi)容是在一定時間段內(nèi)持續(xù)傳送的,第三獲取模塊520可周期性、實時、響應(yīng)于用戶的姿態(tài)發(fā)生變化、或根據(jù)網(wǎng)絡(luò)傳輸能力來執(zhí)行(網(wǎng)絡(luò)傳輸能力好,可頻繁觸發(fā),否則,較少觸發(fā))其功能,相應(yīng)地,第三發(fā)送模塊540也可根據(jù)第三獲取模塊520所獲得信息的變化來做出適應(yīng)性變化。
此外,如上所述的,可根據(jù)用戶的姿態(tài)確定用戶的觀看方向,確定發(fā)送的可視化內(nèi)容的方向,也即,如圖5(b)所示,第三發(fā)送模塊540可進(jìn)一步包括:
第五確定單元541,用于至少根據(jù)所述第一信息,確定所述用戶與所述時延相關(guān)的姿態(tài)。
換句話說,第五確定單元541可根據(jù)所述第一信息預(yù)測用戶的姿態(tài)變化,以確定經(jīng)過所述時延時用戶觀看的方向。所獲得的第一信息越多,也即第三獲取模塊520獲取第一信息的次數(shù)越多,所預(yù)測所述時延后的姿態(tài)越準(zhǔn)確。
第六確定單元543,至少根據(jù)所述姿態(tài),確定所述至少一個方向。
根據(jù)用戶的姿態(tài)確定用戶觀看的方向是較為成熟的技術(shù)在此不做贅述。且所述至少一個方向優(yōu)選為與用戶觀看的方向相同或相似的方向。
在本實施例的裝置中,向所述用戶發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容可包括:僅發(fā)送與所述至少一個方向上采集的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,從而節(jié)省了原本用于發(fā)送多個方向上的可視化內(nèi)容的帶寬,因此能夠以更高的傳輸質(zhì)量(例如,分辨率、傳輸速率,等等)傳輸所述至少一個方向上采集的可視化內(nèi)容。還可以一預(yù)設(shè)優(yōu)先級向用戶發(fā)送 與所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,例如,以較高的優(yōu)先級發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。所述較高的優(yōu)先級包括但不限于:較高的發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、傳輸質(zhì)量優(yōu)先級等,也即,與其他方向上的可視化內(nèi)容相比,可以更早、單位時間更頻繁、和/或傳輸質(zhì)量更高地發(fā)送所述至少一個方向上的可視化內(nèi)容,從而保證用戶體驗。
此外,在僅發(fā)送所述至少一個方向上的可視化內(nèi)容的實現(xiàn)方式中,本實施例的裝置可僅采集/獲取所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),并發(fā)送;或者采集/獲取包括所述至少一個方向的多個方向上的目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),但僅發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容。
在按照預(yù)設(shè)優(yōu)先級發(fā)送包括所述至少一個方向在內(nèi)的多個方向上的可視化內(nèi)容的實現(xiàn)方式中,本實施例的裝置可獲取多個采集單元分別在多個方向上采集/獲取的目標(biāo)場景的可視化內(nèi)容數(shù)據(jù),并按照所述預(yù)設(shè)優(yōu)先級進(jìn)行發(fā)送。
如圖5(b)所示,第三發(fā)送模塊540還可包括:第一獲取單元542以及發(fā)送單元544。
如上所述的,本實施例的裝置可僅采集(獲取)并發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容,在這樣的實現(xiàn)方式中:
第一獲取單元542用于獲取所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
第一獲取單元542可通過主動采集所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容的方式獲取所述可視化內(nèi)容,也可通過與相應(yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容。
發(fā)送單元544用于向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,發(fā)送單元544中向用戶側(cè) 用于呈現(xiàn)沉浸式虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
仍如上所述的,本實施例的裝置還可獲取多個方向上的目標(biāo)場景的可視化內(nèi)容,并僅發(fā)送所述至少一個方向上的目標(biāo)場景的可視化內(nèi)容。在這樣的實現(xiàn)方式中:
第一獲取單元542用于獲取至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,所述至少兩個方向包括所述至少一個方向。
類似地,第一獲取單元542可通過與各方向?qū)?yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,也可主動在其中至少一個方向上采集目標(biāo)場景的可視化內(nèi)容。
發(fā)送單元544用于向所述用戶發(fā)送所述至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,發(fā)送單元544向用戶側(cè)用于呈現(xiàn)虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
仍如上所述的,所述發(fā)送策略還包括:按照一預(yù)設(shè)優(yōu)先級向所述用戶發(fā)送至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,其中,所述至少兩個方向包括所述至少一個方向。在這樣的實現(xiàn)方式中:
發(fā)送單元544用于獲取所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
類似地,發(fā)送單元544可通過與各方向?qū)?yīng)的至少一個采集單元通信的方式獲取所述可視化內(nèi)容,也可主動在其中至少一個方向上采集目標(biāo)場景的可視化內(nèi)容。
發(fā)送單元544用于按照所述預(yù)設(shè)優(yōu)先級,向所述用戶發(fā)送所述至少兩個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。具體地,發(fā)送單元544向用戶側(cè)用于呈現(xiàn)虛擬現(xiàn)實顯示的設(shè)備發(fā)送,例如,用戶所佩戴的頭盔式顯示器、眼鏡等等。
此外,在沉浸式虛擬現(xiàn)實的場景中,可通過多種傳感器實現(xiàn)對用 戶的姿態(tài)的跟蹤,本實施例的裝置可從與用戶關(guān)聯(lián)的至少一傳感器處獲取與用戶的姿態(tài)相關(guān)聯(lián)的信息。因此,第三獲取模塊520可接收來自與所述用戶相關(guān)聯(lián)的至少一傳感器的所述信息,該信息可為各傳感器感測到的原始傳感器數(shù)據(jù),也可為根據(jù)各傳感器感測到的傳感器數(shù)據(jù)所確定的明確的用戶的姿態(tài)。
此外,如上所述的,所述與所述時延相關(guān)聯(lián)的第二信息可包括能夠用于確定所述時延的任何信息,由于本實施例的方法可由任一采集單元執(zhí)行,因此,可視化內(nèi)容的發(fā)送時間是容易獲知的,為了確定所述時延,如圖5(c)所示,第三獲取模塊520還可包括:
第七確定單元522,用于確定為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間。例如,從用戶側(cè)接收為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間。
第八確定單元524,用于至少根據(jù)所述呈現(xiàn)所述可視化內(nèi)容的時間以及發(fā)送所述可視化內(nèi)容的時間確定所述時延。例如,為用戶呈現(xiàn)所述可視化內(nèi)容的時間與發(fā)送所述可視化內(nèi)容的時間的時間差即為所述時延。
在所述第二信息為所述時延本身的實現(xiàn)方式中,該時延可由用戶側(cè)確定,相應(yīng)地,第三發(fā)送模塊540還用于向所述用戶發(fā)送的所述可視化內(nèi)容中包括對應(yīng)的發(fā)送時間。
綜上,在本實施例的裝置中,與即將發(fā)送的用于形成虛擬現(xiàn)實顯示的可視化內(nèi)容相比,可以較小的數(shù)據(jù)包實現(xiàn)第一信息、以及第二信息的發(fā)送,且對傳輸要求不高,通過這樣的跟蹤反饋機(jī)制能夠更智能的傳輸可視化內(nèi)容,即使在帶寬受限的情況下也能實現(xiàn)為用戶提供較好的沉浸式體驗。
本申請實施例還提供了一種執(zhí)行上面結(jié)合圖3描述的呈現(xiàn)方法的裝置,該裝置可屬于虛擬現(xiàn)實顯示設(shè)備或者該裝置本身即為虛擬現(xiàn)實顯示設(shè)備,這樣的虛擬現(xiàn)實顯示設(shè)備包括但不限于:頭盔式顯示器, 投影式虛擬現(xiàn)實系統(tǒng)的投影設(shè)備,等等。且除下面將描述的各組成部分外,該裝置還包括根據(jù)需要實現(xiàn)與裝置外部任意設(shè)備通信的通信模塊。如圖6(a)所示,本實施例的呈現(xiàn)設(shè)備600包括:
第四獲取模塊620,用于獲取按照一發(fā)送策略發(fā)送的可視化內(nèi)容,所述發(fā)送策略為至少根據(jù)與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息確定的,且包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
如結(jié)合圖1所描述的,為了更智能的發(fā)送可視化內(nèi)容,采集單元側(cè)按照一定的發(fā)送策略發(fā)送可視化內(nèi)容。第四獲取模塊620即用于獲取這樣的可視化內(nèi)容。
顯示模塊640,用于至少根據(jù)所述發(fā)送策略,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
所述發(fā)送策略中明確了所發(fā)送的可視化內(nèi)容是與用戶在觀看沉浸式虛擬現(xiàn)實顯示的過程中的狀態(tài)和/或意圖相關(guān)的,因此,本實施例的裝置能夠為用戶提供較好的體驗。
具體地,為了更智能的為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示,如圖6(b)所示,本實施例的裝置600可進(jìn)一步包括:
第四獲取模塊610,用于獲取與所述發(fā)送策略相關(guān)聯(lián)的信息。例如,第四獲取模塊610接收執(zhí)行結(jié)合圖1描述的實施例的方法的裝置所發(fā)送的與所述發(fā)送策略相關(guān)聯(lián)的信息。
如圖6(c)所示,顯示模塊640可進(jìn)一步包括:第九確定單元642以及顯示單元644。
且如結(jié)合圖1所描述的,在一種可能的實現(xiàn)方式中,為了節(jié)省原本用于發(fā)送多個方向上的可視化內(nèi)容的帶寬,從而以更高的傳輸質(zhì)量(例如,分辨率、傳輸速率,等等)傳輸所述至少一個方向上的可視化內(nèi)容,所述發(fā)送策略中可明確表示:僅發(fā)送與所述至少一個方向上 采集的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。在這樣的實現(xiàn)方式中:
第九確定單元642用于至少根據(jù)所述發(fā)送策略,確定所述至少一個方向。
顯示單元644用于至少根據(jù)最近時刻獲取到的所述至少一個方向上的可視化內(nèi)容以及之前時刻獲取到的其他方向上的可視化內(nèi)容,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
其中,為了提供沉浸式體驗,在形成虛擬現(xiàn)實顯示時仍需結(jié)合多個方向上的可視化內(nèi)容,因此,除所述至少一個方向?qū)?yīng)的可視化內(nèi)容外,其他方向?qū)?yīng)的可視化內(nèi)容可采用歷史數(shù)據(jù),從而,在保證用戶觀看的方向上的實時、和/或高質(zhì)量的同時,仍能保證沉浸式體驗。
在另一種可能的實現(xiàn)方式中,所述發(fā)送策略中還可明確表示以一預(yù)設(shè)優(yōu)先級向用戶發(fā)送與所述至少一個方向上采集的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容,具言之,所述發(fā)送策略可包括:以較高的優(yōu)先級發(fā)送與所述用戶的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。所述較高的優(yōu)先級包括但不限于:較高的發(fā)送頻率優(yōu)先級、發(fā)送時間優(yōu)先級、傳輸質(zhì)量優(yōu)先級等,也即,與其他方向上的可視化內(nèi)容相比,可以更早、單位時間更頻繁、和/或傳輸質(zhì)量更高地發(fā)送所述至少一個方向上的可視化內(nèi)容,從而保證用戶體驗。在這樣的實現(xiàn)方式中:
第九確定單元642用于至少根據(jù)所述發(fā)送策略,確定所述預(yù)設(shè)優(yōu)先級。
顯示單元644用于按照所述預(yù)設(shè)優(yōu)先級,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
在一種可能的實現(xiàn)方式中,本實施例的裝置可根據(jù)所述預(yù)設(shè)優(yōu)先級確定能夠獲取到的可視化內(nèi)容的方向,并結(jié)合其他方向?qū)?yīng)的歷史數(shù)據(jù)來為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
此外,為了提供確定所述發(fā)送策略的參考,如圖6(d)所示, 本實施例的裝置600還包括:
采集模塊612,用于采集所述與用戶的姿態(tài)相關(guān)聯(lián)的第一信息,在一種可能的實現(xiàn)方式中,采集模塊612可通過至少一個傳感器采集用戶的姿態(tài)的采集,且在一種優(yōu)選的實現(xiàn)方式中,采集模塊612可包括所述至少一個傳感器,或者所述至少一個傳感器可屬于本實施例裝置。
第四發(fā)送模塊614,用于發(fā)送所述與用戶的姿態(tài)相關(guān)聯(lián)的第一信息,該第一信息可為各傳感器感測到的原始傳感器數(shù)據(jù),也可為根據(jù)各傳感器感測到的傳感器數(shù)據(jù)所確定的明確的用戶的姿態(tài)。且第四發(fā)送模塊614可以執(zhí)行結(jié)合圖1描述的方法的裝置和/或執(zhí)行結(jié)合圖2描述方法的裝置能夠接收到的方式發(fā)送所述第一信息。
此外,如上所述的,所述與所述時延相關(guān)聯(lián)的第二信息可包括能夠用于確定所述時延的任何信息,由于本實施例的裝置位于用戶側(cè),因此,為用戶呈現(xiàn)可視化內(nèi)容的時間是容易獲知的,為了確定所述時延,如圖6(e)所示,所述裝置600還可包括:
第二確定模塊616,用于確定與與所述時延相關(guān)聯(lián)的第二信息。
第五發(fā)送模塊618,用于發(fā)送所述第二信息。
且第二確定模塊616可進(jìn)一步用于確定所述可視化內(nèi)容的發(fā)送時間,并至少根據(jù)為用戶呈現(xiàn)所述可視化內(nèi)容的時間以及所述可視化內(nèi)容的發(fā)送時間確定所述時延。
其中,第二確定模塊616可從用戶側(cè)接收到的可視化內(nèi)容中獲取其中包括的對應(yīng)的可視化內(nèi)容的發(fā)送時間。
需要說明的是,本實施例的裝置可采用任意合適的技術(shù),基于獲取到的可視化內(nèi)容來為用戶提供虛擬現(xiàn)實顯示,在此不作為對本申請實施例的技術(shù)方案的限制。
綜上,本實施例的裝置能夠為用戶提供良好的沉浸式虛擬現(xiàn)實觀看體驗。
圖7為本申請實施例提供的可視化內(nèi)容傳輸控制裝置700的又一種結(jié)構(gòu)示意圖,本申請具體實施例并不對可視化內(nèi)容傳輸控制裝置700的具體實現(xiàn)做限定。如圖7所示,該可視化內(nèi)容傳輸控制裝置700可以包括:
處理器(processor)710、通信接口(Communications Interface)720、存儲器(memory)730、以及通信總線740。其中:
處理器710、通信接口720、以及存儲器730通過通信總線740完成相互間的通信。
通信接口720,用于與比如客戶端等的網(wǎng)元通信。
處理器710,用于執(zhí)行程序732,具體可以執(zhí)行上述方法實施例中的相關(guān)步驟。
具體地,程序732可以包括程序代碼,所述程序代碼包括計算機(jī)操作指令。
處理器710可能是一個中央處理器CPU,或者是特定集成電路ASIC(Application Specific Integrated Circuit),或者是被配置成實施本申請實施例的一個或多個集成電路。
存儲器730,用于存放程序732。存儲器730可能包含高速RAM存儲器,也可能還包括非易失性存儲器(non-volatile memory),例如至少一個磁盤存儲器。程序732具體可以用于使得所述可視化內(nèi)容傳輸控制裝置700執(zhí)行以下步驟:
獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與所述可視化內(nèi)容的傳輸時延相關(guān)聯(lián)的第二信息;
至少根據(jù)所述第一信息以及所述第二信息,確定與目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容的發(fā)送策略,所述發(fā)送策略包括:向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
程序732中各步驟的具體實現(xiàn)可以參見上述實施例中的相應(yīng)步驟和單元中對應(yīng)的描述,在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的設(shè)備和模塊的具體工作過程,可以參考前述方法實施例中的對應(yīng)過程描述,在此不再贅述。
圖8為本申請實施例提供的可視化內(nèi)容發(fā)送裝置800的又一種結(jié)構(gòu)示意圖,本申請具體實施例并不對可視化內(nèi)容發(fā)送裝置800的具體實現(xiàn)做限定。如圖8所示,該可視化內(nèi)容發(fā)送裝置800可以包括:
處理器(processor)810、通信接口(Communications Interface)820、存儲器(memory)830、以及通信總線840。其中:
處理器810、通信接口820、以及存儲器830通過通信總線840完成相互間的通信。
通信接口820,用于與比如客戶端等的網(wǎng)元通信。
處理器810,用于執(zhí)行程序832,具體可以執(zhí)行上述方法實施例中的相關(guān)步驟。
具體地,程序832可以包括程序代碼,所述程序代碼包括計算機(jī)操作指令。
處理器810可能是一個中央處理器CPU,或者是特定集成電路ASIC(Application Specific Integrated Circuit),或者是被配置成實施本申請實施例的一個或多個集成電路。
存儲器830,用于存放程序832。存儲器830可能包含高速RAM存儲器,也可能還包括非易失性存儲器(non-volatile memory),例如至少一個磁盤存儲器。程序832具體可以用于使得所述可視化內(nèi)容發(fā)送裝置800執(zhí)行以下步驟:
獲取與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息;
至少根據(jù)所述第一信息以及所述第二信息,向所述用戶發(fā)送與所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目 標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容。
程序832中各步驟的具體實現(xiàn)可以參見上述實施例中的相應(yīng)步驟和單元中對應(yīng)的描述,在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的設(shè)備和模塊的具體工作過程,可以參考前述方法實施例中的對應(yīng)過程描述,在此不再贅述。
圖9為本申請實施例提供的呈現(xiàn)裝置900的又一種結(jié)構(gòu)示意圖,本申請具體實施例并不對呈現(xiàn)裝置900的具體實現(xiàn)做限定。如圖9所示,該呈現(xiàn)裝置900可以包括:
處理器(processor)910、通信接口(Communications Interface)920、存儲器(memory)930、以及通信總線940。其中:
處理器910、通信接口920、以及存儲器930通過通信總線940完成相互間的通信。
通信接口920,用于與比如客戶端等的網(wǎng)元通信。
處理器910,用于執(zhí)行程序932,具體可以執(zhí)行上述方法實施例中的相關(guān)步驟。
具體地,程序932可以包括程序代碼,所述程序代碼包括計算機(jī)操作指令。
處理器910可能是一個中央處理器CPU,或者是特定集成電路ASIC(Application Specific Integrated Circuit),或者是被配置成實施本申請實施例的一個或多個集成電路。
存儲器930,用于存放程序932。存儲器930可能包含高速RAM存儲器,也可能還包括非易失性存儲器(non-volatile memory),例如至少一個磁盤存儲器。程序932具體可以用于使得所述呈現(xiàn)裝置900執(zhí)行以下步驟:
獲取按照一發(fā)送策略發(fā)送的可視化內(nèi)容,所述發(fā)送策略為至少根據(jù)與用戶的姿態(tài)相關(guān)聯(lián)的第一信息以及與為所述用戶呈現(xiàn)所述可視化內(nèi)容的時間相關(guān)聯(lián)的第二信息確定的,且包括:向所述用戶發(fā)送與 所述用戶的、和所述時延相關(guān)的姿態(tài)對應(yīng)的至少一個方向上的與所述目標(biāo)場景相關(guān)聯(lián)的可視化內(nèi)容;
至少根據(jù)所述發(fā)送策略,為用戶呈現(xiàn)沉浸式虛擬現(xiàn)實顯示。
程序932中各步驟的具體實現(xiàn)可以參見上述實施例中的相應(yīng)步驟和單元中對應(yīng)的描述,在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的設(shè)備和模塊的具體工作過程,可以參考前述方法實施例中的對應(yīng)過程描述,在此不再贅述。
本領(lǐng)域普通技術(shù)人員可以意識到,結(jié)合本文中所公開的實施例描述的各示例的單元及方法步驟,能夠以電子硬件、或者計算機(jī)軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行,取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能,但是這種實現(xiàn)不應(yīng)認(rèn)為超出本申請的范圍。
所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在一個計算機(jī)可讀取存儲介質(zhì)中。基于這樣的理解,本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請各個實施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、移動硬盤、只讀存儲器(ROM,Read-Only Memory)、隨機(jī)存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上實現(xiàn)方式僅用于說明本申請,而并非對本申請的限制,有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員,在不脫離本申請的精神和范圍的情況下,還可以做出各種變化和變型,因此所有等同的技術(shù)方案也屬于本申請的范疇,本申請的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。