基于增強現(xiàn)實的全景視頻交互方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于增強現(xiàn)實的全景視頻交互方法，包括：通過全景攝像設(shè)備采集真實景物的視頻數(shù)據(jù)，將視頻數(shù)據(jù)輸入到圖像處理器中進(jìn)行處理；圖像處理器將視頻數(shù)據(jù)轉(zhuǎn)化為連續(xù)的單幀圖像，并記錄每幀單幀圖像之間的先后順序關(guān)系；在單幀圖像中選定交互熱區(qū)，設(shè)定交互熱區(qū)的坐標(biāo)及范圍；圖像處理器根據(jù)先后順序關(guān)系將單幀圖像轉(zhuǎn)換為全景圖像三維場景；將全景圖像三維場景傳輸至終端設(shè)備；終端設(shè)備根據(jù)全景攝像設(shè)備在采集真實景物時的視角確定投影范圍，將全景圖像三維場景轉(zhuǎn)換為球面全景圖像，并將球面全景圖像輸出至終端設(shè)備的屏幕上進(jìn)行顯示。本發(fā)明還提供了一種基于增強現(xiàn)實的全景視頻交互系統(tǒng)，改善全景連續(xù)瀏覽體驗，實現(xiàn)人機(jī)互動。
【專利說明】基于增強現(xiàn)實的全景視頻交互方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻展示【技術(shù)領(lǐng)域】，尤其涉及一種基于增強現(xiàn)實的全景視頻交互方法 和系統(tǒng)。

【背景技術(shù)】
[0002] 目前全景圖像處理技術(shù)得到了快速發(fā)展，可以建立全景視頻展示系統(tǒng)應(yīng)用于旅游 景點虛擬導(dǎo)覽、企業(yè)展示宣傳以及商業(yè)空間展示等方面?，F(xiàn)有的全景圖像或全景視頻技術(shù)， 可以先攝取現(xiàn)實世界中的景物圖片，利用專業(yè)設(shè)備或者軟件將拍攝的圖片轉(zhuǎn)換為全景圖 像，從而形成全景視頻。
[0003] 現(xiàn)有技術(shù)主要存在如下兩種具體實現(xiàn)方式：
[0004] (1)通過攝像機(jī)、魚眼鏡頭等硬件設(shè)施進(jìn)行拍攝，利用全景拍攝拼接軟件將圖片拼 接為全景圖像，之后將多張全景圖像導(dǎo)入全景制作軟件中進(jìn)行全景制作，并可添加一些功 能如：縮略圖、地圖導(dǎo)航、熱點彈出圖片或者文字介紹等，最后對全景視頻進(jìn)行發(fā)布。（2)利 用三維建模軟件建立場景模型。
[0005] 第一種實現(xiàn)方式可以使用有限的圖片實現(xiàn)全景視頻，但是，這種全景技術(shù)通常僅 在一個大場景中采集一個或者幾個視點，因而用戶只能在選定的視點中觀察到該全景場景 中的細(xì)節(jié)，而不能在其他三維場景中進(jìn)行漫游。由于用戶坐標(biāo)相對固定，只能在幾個固定的 點進(jìn)行視角與視野的變換，切換場景只能點擊其他三維全景的鏈接，因而無法實現(xiàn)連續(xù)的 瀏覽體驗，增加了漫游的局限性。同時，該方式實現(xiàn)的全景場景無法加入虛擬物體進(jìn)行展示 以及交互，因此系統(tǒng)的交互性、可操作性以及擴(kuò)展性較差。第二種實現(xiàn)方式使用三維軟件建 模，可以實現(xiàn)視點的自由移動，但是其開發(fā)工作量及其所需處理的數(shù)據(jù)量較大，模型精度相 對較低。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問題是，提供一種基于增強現(xiàn)實的全景視頻交互方法和系 統(tǒng)，實現(xiàn)視點的自由移動，改善全景連續(xù)瀏覽體驗，在全景視頻中增加交互熱區(qū)實現(xiàn)人機(jī)互 動。
[0007] 為解決以上技術(shù)問題，一方面，本發(fā)明實施例提供一種基于增強現(xiàn)實的全景視頻 交互方法，包括 ：
[0008] 通過全景攝像設(shè)備采集真實景物的視頻數(shù)據(jù)，將所述視頻數(shù)據(jù)輸入到圖像處理器 中進(jìn)行處理；
[0009] 所述圖像處理器將所述視頻數(shù)據(jù)轉(zhuǎn)化為連續(xù)的單幀圖像，并記錄每幀所述單幀圖 像之間的先后順序關(guān)系；
[0010] 在所述單幀圖像中選定交互熱區(qū)，設(shè)定所述交互熱區(qū)的坐標(biāo)及范圍；
[0011] 所述圖像處理器根據(jù)先后順序關(guān)系將所述單幀圖像轉(zhuǎn)換為全景圖像三維場景； [0012] 將所述全景圖像三維場景傳輸至終端設(shè)備；
[0013] 所述終端設(shè)備根據(jù)所述全景攝像設(shè)備在采集真實景物時的視角確定投影范圍，將 全景圖像三維場景轉(zhuǎn)換為球面全景圖像，并將所述球面全景圖像輸出至所述終端設(shè)備的屏 幕上進(jìn)行顯示。
[0014] 進(jìn)一步地，所述的基于增強現(xiàn)實的全景視頻交互方法，還包括：
[0015] 所述終端設(shè)備實時監(jiān)測用戶在屏幕上輸入的圖像移動軌跡，根據(jù)所述圖像移動軌 跡調(diào)整所述全景圖像三維場景的顯示視角，將所述球面全景圖像逐幀投影在顯示屏幕上。
[0016] 進(jìn)一步地，所述的基于增強現(xiàn)實的全景視頻交互方法，還包括：
[0017] 所述終端設(shè)備實時監(jiān)測用戶對所述交互區(qū)域的點擊狀態(tài)，并在所述交互區(qū)域接收 到點擊信號時，啟動與所述交互區(qū)域相關(guān)聯(lián)的三維立體控件的運行和/或三維立體視頻的 播放。
[0018] 優(yōu)選地，所述圖像處理器根據(jù)先后順序關(guān)系將所述單幀圖像轉(zhuǎn)換為全景圖像三維 場景，包括：通過以下方程，將每一幀所述單幀圖像上的任意一個像素點P的坐標(biāo)（X，y)轉(zhuǎn) 換為三維坐標(biāo)PI (U, V，W):
[0019]

【權(quán)利要求】
1. 一種基于增強現(xiàn)實的全景視頻交互方法，其特征在于，包括： 通過全景攝像設(shè)備采集真實景物的視頻數(shù)據(jù)，將所述視頻數(shù)據(jù)輸入到圖像處理器中進(jìn) 行處理； 所述圖像處理器將所述視頻數(shù)據(jù)轉(zhuǎn)化為連續(xù)的單幀圖像，并記錄每幀所述單幀圖像之 間的先后順序關(guān)系； 在所述單幀圖像中選定交互熱區(qū)，設(shè)定所述交互熱區(qū)的坐標(biāo)及范圍； 所述圖像處理器根據(jù)先后順序關(guān)系將所述單幀圖像轉(zhuǎn)換為全景圖像三維場景； 將所述全景圖像三維場景傳輸至終端設(shè)備； 所述終端設(shè)備根據(jù)所述全景攝像設(shè)備在采集真實景物時的視角確定投影范圍，將全景 圖像三維場景轉(zhuǎn)換為球面全景圖像，并將所述球面全景圖像輸出至所述終端設(shè)備的屏幕上 進(jìn)行顯示。
2. 如權(quán)利要求1所述的基于增強現(xiàn)實的全景視頻交互方法，其特征在于，所述方法還 包括： 所述終端設(shè)備實時監(jiān)測用戶在屏幕上輸入的圖像移動軌跡，根據(jù)所述圖像移動軌跡調(diào) 整所述全景圖像三維場景的顯示視角，將所述球面全景圖像逐幀投影在顯示屏幕上。
3. 如權(quán)利要求2所述的基于增強現(xiàn)實的全景視頻交互方法，其特征在于，所述方法還 包括： 所述終端設(shè)備實時監(jiān)測用戶對所述交互區(qū)域的點擊狀態(tài)，并在所述交互區(qū)域接收到 點擊信號時，啟動與所述交互區(qū)域相關(guān)聯(lián)的三維立體控件的運行和/或三維立體視頻的播 放。
4. 如權(quán)利要求1?3任一項所述的基于增強現(xiàn)實的全景視頻交互方法，其特征在于， 所述圖像處理器根據(jù)先后順序關(guān)系將所述單幀圖像轉(zhuǎn)換為全景圖像三維場景，包括：通過 以下方程，將每一幀所述單幀圖像上的任意一個像素點P的坐標(biāo)（x，y)轉(zhuǎn)換為三維坐標(biāo) PI (u, v, w)：
其中，α為全景攝像設(shè)備坐標(biāo)系和世界坐標(biāo)系橫軸的夾角，β為全景攝像設(shè)備坐標(biāo)系 和世界坐標(biāo)系縱軸夾角；W為所述單幀圖像寬度，Η為所述單幀圖像高度，f為所述全景攝像 設(shè)備以像素為度量單位時的焦距，且f = WA2tan (hfov/2))，其中，hfov為所述全景攝像設(shè) 備的水平視角。
5. 如權(quán)利要求4所述的基于增強現(xiàn)實的全景視頻交互方法，其特征在于，所述終端設(shè) 備根據(jù)所述全景攝像設(shè)備在采集真實景物時的視角確定投影范圍，將全景圖像三維場景轉(zhuǎn) 換為球面全景圖像，并將所述球面全景圖像輸出至所述終端設(shè)備的屏幕上進(jìn)行顯示，具體 為： 將每一幀單幀圖像上的任意像素點P的坐標(biāo)（X，y)轉(zhuǎn)換為在所述球面全景圖像上對應(yīng) 的像素點P'的坐標(biāo)（X'，y'），包括： 計算判別因子：A= (y-H/2)sinacosi3-(x_W/2)sini3-fcosacosi3 ; 當(dāng)所述判別因子Λ> 0時，在所述球面全景圖像上對應(yīng)的像素點P'的坐標(biāo)（χ'，y'） 通過以下方程進(jìn)行計算：
當(dāng)所述判別因子Λ<〇時，在所述球面全景圖像上對應(yīng)的像素點P'的坐標(biāo)（X'，y'） 通過以下方程進(jìn)行計算：
將進(jìn)行坐標(biāo)映射轉(zhuǎn)換后的球面全景圖像輸出至所述終端設(shè)備的屏幕上進(jìn)行顯示。
6. -種基于增強現(xiàn)實的全景視頻交互系統(tǒng)，其特征在于，包括：全景攝像設(shè)備、圖像處 理器和終端設(shè)備； 所述全景攝像設(shè)備，用于采集真實景物的視頻數(shù)據(jù)，將所述視頻數(shù)據(jù)輸入到所述圖像 處理器中進(jìn)行處理； 所述圖像處理器，用于將所述視頻數(shù)據(jù)轉(zhuǎn)化為連續(xù)的單幀圖像，并記錄每幀所述單幀 圖像之間的先后順序關(guān)系；在所述單幀圖像中選定交互熱區(qū)，設(shè)定所述交互熱區(qū)的坐標(biāo)及 范圍； 所述圖像處理器，還用于根據(jù)先后順序關(guān)系將所述單幀圖像轉(zhuǎn)換為全景圖像三維場 景；將所述全景圖像三維場景傳輸至所述終端設(shè)備； 所述終端設(shè)備，用于根據(jù)所述全景攝像設(shè)備在采集真實景物時的視角確定投影范圍， 將全景圖像三維場景轉(zhuǎn)換為球面全景圖像，并將所述球面全景圖像輸出至所述終端設(shè)備的 屏幕上進(jìn)行顯示。
7. 如權(quán)利要求6所述的基于增強現(xiàn)實的全景視頻交互系統(tǒng)，其特征在于， 所述終端設(shè)備，還用于實時監(jiān)測用戶在屏幕上輸入的圖像移動軌跡，根據(jù)所述圖像移 動軌跡調(diào)整所述全景圖像三維場景的顯示視角，將所述球面全景圖像逐幀投影在顯示屏幕 上。
8. 如權(quán)利要求6所述的基于增強現(xiàn)實的全景視頻交互系統(tǒng)，其特征在于， 所述終端設(shè)備，還用于實時監(jiān)測用戶對所述交互區(qū)域的點擊狀態(tài)，并在所述交互區(qū)域 接收到點擊信號時，啟動與所述交互區(qū)域相關(guān)聯(lián)的三維立體控件的運行和/或三維立體視 頻的播放。
9. 如權(quán)利要求6?8任一項所述的基于增強現(xiàn)實的全景視頻交互系統(tǒng)，其特征在于， 所述圖像處理器，還用于：通過以下方程，將每一幀所述單幀圖像上的任意一個像素點 P的坐標(biāo)（X，y)轉(zhuǎn)換為三維坐標(biāo)PI (u, V，w):
其中，α為全景攝像設(shè)備坐標(biāo)系和世界坐標(biāo)系橫軸的夾角，β為全景攝像設(shè)備坐標(biāo)系 和世界坐標(biāo)系縱軸夾角；W為所述單幀圖像寬度，Η為所述單幀圖像高度，f為所述全景攝像 設(shè)備以像素為度量單位時的焦距，且f = WA2tan (hfov/2))，其中，hfov為所述全景攝像設(shè) 備的水平視角。
10.如權(quán)利要求9所述的基于增強現(xiàn)實的全景視頻交互系統(tǒng)，其特征在于， 所述終端設(shè)備，還用于將每一幀單幀圖像上的任意像素點P的坐標(biāo)（x，y)轉(zhuǎn)換為在所 述球面全景圖像上對應(yīng)的像素點P'的坐標(biāo)（X'，y'），包括： 計算判別因子：A= (y-H/2)sinacosi3-(x_W/2)sini3-fcosacosi3 ; 當(dāng)所述判別因子Λ> 〇時，在所述球面全景圖像上對應(yīng)的像素點P'的坐標(biāo)（χ'，y'） 通過以下方程進(jìn)行計算：
當(dāng)所述判別因子Λ<〇時，在所述球面全景圖像上對應(yīng)的像素點P'的坐標(biāo)（X'，y'） 通過以下方程進(jìn)行計算：
將進(jìn)行坐標(biāo)映射轉(zhuǎn)換后的球面全景圖像輸出至所述終端設(shè)備的屏幕上進(jìn)行顯示。
【文檔編號】H04N21/4725GK104219584SQ201410499692
【公開日】2014年12月17日 申請日期:2014年9月25日 優(yōu)先權(quán)日:2014年9月25日
【發(fā)明者】黃成文, 梁泳山 申請人:廣州市聯(lián)文信息科技有限公司