本發(fā)明涉及計算機視覺與圖像處理技術(shù)領域，尤其涉及一種全景視頻圖像融合方法及裝置。

背景技術(shù)：

數(shù)字三維全景圖像，是通過相機捕捉整個環(huán)境場景的圖像信息，使用軟件進行圖像的拼接整合，將平面圖像進行處理得到的三維全景圖像。三維全景圖像能夠?qū)崿F(xiàn)把二維的平面圖像模擬成真實的三維空間，以達到模擬和再現(xiàn)真實環(huán)境場景的效果。

隨著計算機軟硬件技術(shù)的不斷發(fā)展，智能可穿戴設備日漸普及，頭戴式虛擬現(xiàn)實設備通過圖像顯示屏將虛擬的環(huán)境圖像展現(xiàn)在使用者眼前，為使用者營造一種置身于虛擬環(huán)境中的體驗。使用者佩戴頭戴式虛擬現(xiàn)實設備時，通過將使用者的視野范圍完全限定在圖像顯示屏的顯示范圍內(nèi)，能夠隔絕圖像顯示屏顯示范圍以外的環(huán)境圖像，從而讓使用者獲得沉浸于虛擬場景的體驗。

通過多個攝像機拍攝高畫質(zhì)的全景視頻圖像，保留環(huán)境場景中更多的圖像細節(jié)，能夠讓使用者通過虛擬現(xiàn)實設備觀看全景視頻時獲得更加真實的沉浸感。在現(xiàn)有技術(shù)中，通過多個攝像機采集環(huán)境場景的全景視頻圖像時，相鄰攝像機獲取的圖像之間存在重疊區(qū)域，由于拍攝時間與角度差異，重疊區(qū)域通常存在色彩亮度及形變程度的差異。在對多個攝像機采集的圖像進行拼接得全景圖像時，如果將重疊區(qū)域的圖像只進行簡單的疊加處理，將嚴重影響全景圖像的視覺效果。因此，如何使拼接融合后的圖像更加平滑自然、過渡清晰，有效地提高全景圖像拼接效果，是全景圖像拼接合成過程中亟待解決的技術(shù)問題之一。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題在于全景圖像分辨率高，圖像信息量大，圖像拼接融合過程運算復雜度高、耗時長，在解碼播放過程中往往不能滿足實時性的要求，尤其在連續(xù)視頻圖像上的處理存在延遲的問題。

在鑒于此，本發(fā)明一方面提供一種全景視頻圖像融合方法，包括以下步驟：預設多個攝像頭采集環(huán)境場景不同空間角度的視頻圖像，建立所述環(huán)境場景的空間球面模型；根據(jù)所述環(huán)境場景的空間球面模型，對所述多個攝像頭對應的環(huán)境場景視頻圖像進行拼接，得到所述環(huán)境場景空間球面模型對應的球面紋理圖像；根據(jù)所述多個攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點與所述攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點之間的關(guān)聯(lián)映射；根據(jù)所述關(guān)聯(lián)映射，對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

優(yōu)選地，所述預設多個攝像頭采集環(huán)境場景不同空間角度的視頻圖像，建立所述環(huán)境場景的空間球面模型的步驟，具體為：所述多個攝像頭設置于球狀設備表面，所述每個攝像頭采集所述環(huán)境場景預設空間角度范圍的視頻圖像，所述多個攝像頭采集的環(huán)境場景視頻圖像覆蓋所述環(huán)境場景的空間全景；以所述球狀設備的球心為坐標原點構(gòu)建笛卡爾坐標系，得到所述環(huán)境場景的空間球面模型。

優(yōu)選地，所述預設多個攝像頭采集環(huán)境場景不同空間角度的視頻圖像，建立所述環(huán)境場景的空間球面模型的步驟，還包括：根據(jù)姿態(tài)估計算法，確定所述多個攝像頭在所述笛卡爾坐標系中的姿態(tài)，得到所述多個攝像頭的姿態(tài)矩陣。

優(yōu)選地，所述根據(jù)所述環(huán)境場景的空間球面模型，對所述多個攝像頭對應的環(huán)境場景視頻圖像進行拼接，得到所述環(huán)境場景空間球面模型對應的球面紋理圖像的步驟，還包括：建立所述環(huán)境場景空間球面模型的經(jīng)緯度坐標系，確定所述球面紋理圖像中的圖像像素點在所述經(jīng)緯度坐標系中的坐標。

優(yōu)選地，所述根據(jù)所述多個攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點與所述攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點之間的關(guān)聯(lián)映射的步驟，具體為：根據(jù)所述多個攝像頭的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點的經(jīng)緯度坐標與所述至少一個攝像頭對應的視頻圖像中的圖像像素點的坐標之間的關(guān)聯(lián)映射。

優(yōu)選地，所述根據(jù)所述關(guān)聯(lián)映射，對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合的步驟，具體為：根據(jù)所述關(guān)聯(lián)映射，獲取所述球面紋理圖像中符合圖像融合條件的圖像像素點，所述球面紋理圖像中符合圖像融合條件的圖像像素點的經(jīng)緯度坐標分別與所述兩個或兩個以上攝像頭對應 的環(huán)境場景視頻圖像中的圖像像素點坐標存在關(guān)聯(lián)映射；根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的所述兩個或兩個以上攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點，對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

本發(fā)明另一方面提供一種全景視頻圖像融合裝置，包括：圖像采集模塊：包括多個攝像單元，用于采集環(huán)境場景不同空間角度的視頻圖像；模型建立模塊：用于建立所述環(huán)境場景的空間球面模型；圖像拼接模塊：用于根據(jù)所述環(huán)境場景的空間球面模型，對所述多個攝像單元對應的環(huán)境場景視頻圖像進行拼接，得到所述環(huán)境場景空間球面模型對應的球面紋理圖像；關(guān)聯(lián)映射模塊：用于根據(jù)所述多個攝像單元的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點與所述攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點之間的關(guān)聯(lián)映射；圖像融合模塊：用于根據(jù)所述關(guān)聯(lián)映射，對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

優(yōu)選地，所述多個攝像單元設置于球狀設備表面，所述每個攝像單元采集所述環(huán)境場景預設空間角度范圍的視頻圖像，所述多個攝像單元采集的環(huán)境場景視頻圖像覆蓋所述環(huán)境場景的空間全景。

優(yōu)選地，所述模型建立模塊，包括：坐標系構(gòu)建單元：用于以所述球狀設備的球心為坐標原點構(gòu)建笛卡爾坐標系，得到所述環(huán)境場景的空間球面模型；姿態(tài)估計單元：用于根據(jù)姿態(tài)估計算法，確定所述多個攝像單元在所述笛卡爾坐標系中的姿態(tài)，得到所述多個攝像單元的姿態(tài)矩陣。

優(yōu)選地，所述坐標系建立單元，還用于建立所述環(huán)境場景空間球面模型的經(jīng)緯度坐標系，確定所述球面紋理圖像中的圖像像素點在所述經(jīng)緯度坐標系中的坐標；以及，所述關(guān)聯(lián)映射模塊根據(jù)所述姿態(tài)估計單元確定的所述多個攝像單元的姿態(tài)矩陣，建立所述球面紋理圖像中的圖像像素點的經(jīng)緯度坐標與所述至少一個攝像單元對應的視頻圖像中的圖像像素點的坐標之間的關(guān)聯(lián)映射。

優(yōu)選地，所述圖像融合模塊，包括：獲取單元：用于根據(jù)所述關(guān)聯(lián)映射模塊確定的關(guān)聯(lián)映射，獲取所述球面紋理圖像中符合圖像融合條件的圖像像素點，所述符合圖像融合條件的圖像像素點的經(jīng)緯度坐標分別與所述兩個或兩個以上攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點坐標存在關(guān)聯(lián)映射；融合單元：用于根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點存在關(guān)聯(lián) 映射的所述兩個或兩個以上攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點，對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

以上本發(fā)明的技術(shù)方案，通過多個攝像頭采集環(huán)境場景的視頻圖像，得到環(huán)境場景的空間球面模型，根據(jù)多個攝像頭對應的環(huán)境場景視頻圖像拼接得到環(huán)境場景球面紋理圖像，建立球面紋理圖像中的圖像像素點與多個攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點之間的關(guān)聯(lián)映射，生成關(guān)聯(lián)映射表。根據(jù)關(guān)聯(lián)映射表中的關(guān)聯(lián)映射關(guān)系，對球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。通過本發(fā)明技術(shù)方案的圖像融合方式，能夠?qū)崿F(xiàn)簡捷高效的圖像融合操作，有效地解決了現(xiàn)有技術(shù)方案無法流暢播放高分辨率全景視頻圖像的缺陷，同時顯著地降低了大容量視頻實時傳輸對于網(wǎng)絡帶寬的要求，提升了全景視頻播放技術(shù)在不同場景中的適用性。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明的技術(shù)方案而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)和/或流程來實現(xiàn)和獲得。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例的描述中所需要使用的附圖作簡單地介紹。顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例的說明，對于本領域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其它的附圖：

圖1示出了根據(jù)本發(fā)明第一種實施例的全景視頻圖像融合方法的流程示意圖；

圖2示出了根據(jù)本發(fā)明第二種實施例的全景視頻圖像融合裝置的結(jié)構(gòu)示意圖；

圖3示出了根據(jù)本發(fā)明第二種實施例的全景視頻圖像融合裝置的模型建立模塊的結(jié)構(gòu)示意圖；

圖4示出了根據(jù)本發(fā)明第二種實施例的全景視頻圖像融合裝置的圖像融合模塊的結(jié)構(gòu)示意圖。

具體實施方式

為了能夠更清楚地理解本發(fā)明的目的、特征和優(yōu)點，下面結(jié)合附圖和具體實施方式對本發(fā)明做進一步的詳細描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互結(jié)合。

在下面的描述中，闡述了很多具體的技術(shù)細節(jié)，以便于充分理解本發(fā)明。但是，這僅僅是本發(fā)明的一些實施例，本發(fā)明還可以采用其他不同于在此處描述的其他方式來實施。因此，本發(fā)明的保護范圍并不受下面公開的具體實施例的限制。

實施例一

圖1示出了根據(jù)本發(fā)明第一種實施例的全景視頻圖像融合方法的流程示意圖。

如圖1所示，根據(jù)本發(fā)明第一種實施例的全景視頻圖像融合方法，主要包括以下步驟：

步驟s101，預設多個攝像頭采集環(huán)境場景不同空間角度的視頻圖像，建立環(huán)境場景的空間球面模型；

步驟s102，根據(jù)環(huán)境場景的空間球面模型，對多個攝像頭對應的環(huán)境場景視頻圖像進行拼接，得到環(huán)境場景空間球面模型對應的球面紋理圖像；

步驟s103，根據(jù)多個攝像頭的姿態(tài)矩陣，建立球面紋理圖像中的圖像像素點與攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點之間的關(guān)聯(lián)映射；

步驟s104，根據(jù)關(guān)聯(lián)映射，對球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

在該技術(shù)方案中，通過多個攝像頭采集環(huán)境場景的視頻圖像，建立環(huán)境場景的空間球面模型，根據(jù)該環(huán)境場景的空間球面模型，確定多個攝像頭采集的視頻圖像在環(huán)境場景的空間球面模型表面的對應映射關(guān)系，將多個攝像頭采集的視頻圖像進行拼接，得到環(huán)境場景空間球面模型對應的球面紋理圖像，建立球面紋理圖像中圖像像素點與攝像頭采集的視頻圖像中圖像像素點的關(guān)聯(lián)映射，根據(jù)關(guān)聯(lián)映射，確定球面紋理圖像中符合圖像融合條件的圖像像素點，對球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

上述技術(shù)方案中，優(yōu)選地，所述步驟s101，具體為：多個攝像頭分布于球狀設備表面，每個攝像頭采集環(huán)境場景預設空間角度范圍的視頻圖像，所述多 個攝像頭采集的視頻圖像覆蓋所述環(huán)境場景的空間三維全景。具體地，在球狀設備表面設置多個攝像頭采集環(huán)境場景的視頻圖像，例如，4～32個攝像頭，每個攝像頭的fov(fieldofview，視場角)為100～220度，該多個攝像頭采集的原始視頻圖像覆蓋環(huán)境場景的空間全景，即該多個攝像頭采集的原始視頻圖像包含構(gòu)成環(huán)境場景球面全景圖像的原始圖像數(shù)據(jù)。

在該技術(shù)方案中，進一步地，以球狀設備的球心為坐標原點構(gòu)建笛卡爾坐標系，得到所述環(huán)境場景的空間球面模型。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s101，還包括：根據(jù)姿態(tài)估計算法，確定所述多個攝像頭在所述笛卡爾坐標系中的姿態(tài)，得到所述多個攝像頭的姿態(tài)矩陣。具體地，在所述球狀設備的球心位置放置相機m，在所述多個攝像頭中選定任意攝像頭，使相機m與所述選定的攝像頭的鏡頭同軸，也即是使相機m與所述選定的攝像頭的鏡頭光心位于環(huán)境場景空間球面模型的同一半徑。根據(jù)姿態(tài)估計算法，確定所述選定的攝像頭相對于相機m的姿態(tài)矩陣。依此類推，確定所述多個攝像頭中的每個攝像頭在所述笛卡爾坐標系中的姿態(tài)矩陣。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s102，具體為：根據(jù)環(huán)境場景的空間球面模型，將多個攝像頭采集的環(huán)境場景視頻圖像進行球面映射，拼接得到環(huán)境場景空間球面模型對應的球面紋理圖像。具體地，對多個攝像頭采集的環(huán)境場景視頻圖像進行畸變校正后，將多個攝像頭對應的視頻圖像進行球面映射，拼接得到環(huán)境場景空間球面模型對應的球面紋理圖像。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s102，還包括：建立所述環(huán)境場景空間球面模型的經(jīng)緯度坐標系，確定所述球面紋理圖像中的圖像像素點在所述經(jīng)緯度坐標系中的坐標。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s103，具體為：根據(jù)多個攝像頭的姿態(tài)矩陣，確定所述球面紋理圖像中的圖像像素點的經(jīng)緯度坐標與所述至少一個攝像頭對應的視頻圖像中的圖像像素點的坐標之間的關(guān)聯(lián)映射。具體地，通過將多個攝像頭采集的環(huán)境場景視頻圖像進行球面映射，得到多個攝像頭對應的經(jīng)緯度紋理圖像，通過拼接得到球面紋理圖像，根據(jù)每個攝像頭在環(huán)境場景空間球面模型的笛卡爾坐標系中的姿態(tài)矩陣，確定每個攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點的坐標對應的所述球面紋理圖像中的圖像像素點的經(jīng)緯度坐標。

在該技術(shù)方案中，通過多個攝像頭采集環(huán)境場景的視頻圖像，相鄰攝像頭采集的視頻圖像之間存在部分重疊區(qū)域，使得拼接得到的球面紋理圖像中的部分圖像區(qū)域與兩個或兩個以上相鄰攝像頭采集的視頻圖像的圖像重疊區(qū)域相對應。由于相鄰的攝像頭采集的視頻圖像在顏色和亮度上通常存在一定的差異，為了使全景視頻圖像還原更加真實，需要根據(jù)圖像重疊區(qū)域中的圖像像素點，對拼接得到的全景視頻圖像中對應的圖像區(qū)域進行圖像融合處理。具體地，將多個攝像頭采集的環(huán)境場景視頻圖像進行球面映射，拼接得到環(huán)境場景的球面紋理圖像，根據(jù)多個攝像頭的姿態(tài)矩陣，確定每個攝像頭對應的視頻圖像在環(huán)境場景的球面紋理圖像中的經(jīng)緯度坐標區(qū)間，以及確定每個攝像頭對應的視頻圖像中的圖像像素點坐標所對應的所述球面紋理圖像中圖像像素點的經(jīng)緯度坐標，建立所述球面紋理圖像中每個圖像像素點的經(jīng)緯度坐標與所述攝像頭對應的視頻圖像中的圖像像素點坐標的關(guān)聯(lián)映射表。例如，在所述關(guān)聯(lián)映射表中，存儲所述球面紋理圖像中的圖像像素點j的經(jīng)緯度坐標(u，v)及與圖像像素點j存在關(guān)聯(lián)映射的攝像頭對應的視頻圖像中的圖像像素點k的參數(shù)信息，其中圖像像素點k的參數(shù)信息包括：圖像像素點k對應的攝像頭標識d、所述攝像頭d的姿態(tài)矩陣r以及圖像像素點k在所述攝像頭d對應的視頻圖像中的坐標(x，y)。其中，在所述關(guān)聯(lián)映射表中，球面紋理圖像中的每個圖像像素點與所述至少一個攝像頭對應的視頻圖像中的圖像像素點存在關(guān)聯(lián)映射。

在上述技術(shù)方案中，優(yōu)選地，所述步驟s104，具體為：根據(jù)所述關(guān)聯(lián)映射，獲取所述球面紋理圖像中符合圖像融合條件的圖像像素點，所述球面紋理圖像中符合圖像融合條件的圖像像素點的經(jīng)緯度坐標分別與所述兩個或兩個以上攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點坐標存在關(guān)聯(lián)映射；根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的所述兩個或兩個以上攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點，對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。具體地，根據(jù)球面紋理圖像中的圖像像素點的經(jīng)緯度坐標與所述攝像頭采集的環(huán)境場景視頻圖像中的圖像像素點坐標的關(guān)聯(lián)映射表，獲取所述球面紋理圖像中符合圖像融合的條件的圖像像素點，即所述球面紋理圖像中處于圖像拼接的重疊區(qū)域的圖像像素點，所述球面紋理圖像中符合圖像融合的條件的圖像像素點經(jīng)緯度坐標分別與所述兩個或兩個以上的攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點坐標存在關(guān)聯(lián) 映射。進一步地，根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的所述兩個或兩個以上攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點，通過姿態(tài)相關(guān)加權(quán)方法對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。具體地，分別將所述兩個或兩個以上攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點的像素與其對應的權(quán)重值相乘后求和，得到圖像融合后的圖像像素點。例如，球面紋理圖像中符合圖像融合條件的圖像像素點c，分別與攝像頭e對應的視頻圖像中的圖像像素點p及攝像頭f對應的視頻圖像中的圖像像素點q存在關(guān)聯(lián)映射，則根據(jù)以下表達式對圖像像素點p與圖像像素點q進行圖像融合，得到圖像像素點c對應的像素值c′：

c′＝p′×wp+q′×wq

其中，p′為圖像像素點p進行亞像素插值后得到的像素值，q′為圖像像素點q進行亞像素插值后得到的像素值，wp為圖像像素點p對應的權(quán)重，wq為圖像像素點q對應的權(quán)重，wp與wq的取值范圍均為0～1。具體地，根據(jù)圖像像素點p在攝像頭e對應的視頻圖像中的坐標及圖像像素點c與攝像頭e在笛卡爾坐標系中的位置關(guān)系確定圖像像素點p的權(quán)重wp；以及，根據(jù)圖像像素點q在攝像頭f對應的視頻圖像中的坐標及圖像像素點c與攝像頭f在笛卡爾坐標系中的位置關(guān)系確定圖像像素點q的權(quán)重wq。同樣地，球面紋理圖像中的圖像像素點也可以與兩個以上的攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點存在關(guān)聯(lián)映射，此處不再贅述。

在上述技術(shù)方案中，進一步地，通過顯示裝置顯示全景場景視頻圖像時，根據(jù)視頻觀看視角對應的模型視圖矩陣和投影矩陣，確定全景視頻圖像顯示區(qū)域在所述環(huán)境場景的空間球面模型對應的球面紋理圖像中的投影區(qū)域。根據(jù)所述投影區(qū)域在所述球面紋理圖像中的經(jīng)緯度坐標區(qū)間，判斷所述投影區(qū)域中是否包含所述符合圖像融合條件的圖像像素點。若是，則根據(jù)所述投影區(qū)域中包含的符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的所述兩個或兩個以上攝像頭對應的環(huán)境場景視頻圖像中的圖像像素點，對所述投影區(qū)域中包含的符合圖像融合條件的圖像像素點進行圖像融合。

值得說明的是，在本發(fā)明實施例中，還可以對所述多個攝像頭對應的視頻圖像進行視頻分塊編碼，將所述每個攝像頭對應的視頻圖像分割為預設尺寸的視頻圖像塊。確定球面紋理圖像中的圖像像素點與所述至少一個攝像頭對應的 視頻圖像塊的圖像像素點之間的關(guān)聯(lián)映射。根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的所述兩個或兩個以上攝像頭對應的視頻圖像塊中的圖像像素點，對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

實施例二

圖2示出了本發(fā)明第二種實施例的全景視頻圖像融合裝置的結(jié)構(gòu)示意圖。

如圖2所示，根據(jù)本發(fā)明第二種實施例的全景視頻圖像融合裝置200，主要包括：

圖像采集模塊201：包括多個攝像單元，用于采集環(huán)境場景不同空間角度的視頻圖像；

模型建立模塊202：用于建立環(huán)境場景的空間球面模型；

圖像拼接模塊203：用于根據(jù)環(huán)境場景的空間球面模型，對多個攝像單元對應的環(huán)境場景視頻圖像進行拼接，得到環(huán)境場景空間球面模型對應的球面紋理圖像；

關(guān)聯(lián)映射模塊204：用于根據(jù)多個攝像單元的姿態(tài)矩陣，建立球面紋理圖像中的圖像像素點與攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點之間的關(guān)聯(lián)映射；

圖像融合模塊205：用于根據(jù)關(guān)聯(lián)映射，對球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

在該技術(shù)方案中，圖像采集模塊201通過多個攝像單元采集環(huán)境場景的視頻圖像，模型建立模塊202根據(jù)圖像采集模塊201采集的環(huán)境場景視頻圖像建立環(huán)境場景的空間球面模型，根據(jù)該環(huán)境場景的空間球面模型，確定多個攝像單元采集的視頻圖像在環(huán)境場景的空間球面模型表面的對應映射關(guān)系，圖像拼接模塊203將多個攝像單元采集的視頻圖像進行拼接，得到環(huán)境場景空間球面模型對應的球面紋理圖像，關(guān)聯(lián)映射模塊204根據(jù)多個攝像單元的狀態(tài)矩陣，建立球面紋理圖像中圖像像素點與攝像單元采集的視頻圖像中圖像像素點的關(guān)聯(lián)映射，圖像融合模塊205根據(jù)關(guān)聯(lián)映射，確定球面紋理圖像中符合圖像融合條件的圖像像素點，對球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

上述技術(shù)方案中，優(yōu)選地，圖像采集模塊201包括多個攝像單元設置于球 狀設備表面，所述每個攝像單元采集所述環(huán)境場景預設空間角度范圍的視頻圖像，所述多個攝像單元采集的環(huán)境場景視頻圖像覆蓋所述環(huán)境場景的空間全景。具體地，在球狀設備表面設置多個攝像單元采集環(huán)境場景的視頻圖像，例如，4～32個攝像單元，每個攝像單元的fov(fieldofview，視場角)為100～220度，多個攝像單元采集的原始視頻圖像覆蓋環(huán)境場景的空間全景，即多個攝像單元采集的原始視頻圖像包含構(gòu)成環(huán)境場景球面全景圖像的原始圖像數(shù)據(jù)。

在上述技術(shù)方案中，優(yōu)選地，如圖3所示，模型建立模塊202，包括：坐標系構(gòu)建單元2021：用于以球狀設備的球心為坐標原點構(gòu)建笛卡爾坐標系，得到環(huán)境場景的空間球面模型；姿態(tài)估計單元2022：用于根據(jù)姿態(tài)估計算法，確定多個攝像單元在笛卡爾坐標系中的姿態(tài)，得到多個攝像單元的姿態(tài)矩陣。具體地，在所述球狀設備的球心位置放置相機m，在所述多個攝像單元中選定任意攝像單元，使相機m與所述選定的攝像單元的鏡頭同軸，也即是使相機m與所述選定的攝像單元的鏡頭光心位于環(huán)境場景空間球面模型的同一半徑。根據(jù)姿態(tài)估計算法，確定所述選定的攝像單元相對于相機m的姿態(tài)矩陣。依此類推，確定圖像采集模塊201的多個攝像單元中的每個攝像單元在笛卡爾坐標系中的姿態(tài)矩陣。

在上述技術(shù)方案中，優(yōu)選地，坐標系構(gòu)建單元2021，還用于建立環(huán)境場景空間球面模型的經(jīng)緯度坐標系，確定所述球面紋理圖像中的圖像像素點在所述經(jīng)緯度坐標系中的坐標；以及所述關(guān)聯(lián)映射模塊204根據(jù)姿態(tài)估計單元2022確定的多個攝像單元的姿態(tài)矩陣，確定球面紋理圖像中的圖像像素點的經(jīng)緯度坐標與所述至少一個攝像單元對應的視頻圖像中的圖像像素點的坐標之間的關(guān)聯(lián)映射。具體地，通過將多個攝像單元采集的環(huán)境場景視頻圖像進行球面映射，得到多個攝像單元采集的視頻圖像對應的經(jīng)緯度紋理圖像，通過拼接得到球面紋理圖像。根據(jù)每個攝像單元在環(huán)境場景空間球面模型的笛卡爾坐標系中的姿態(tài)矩陣，確定每個攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點的坐標對應的球面紋理圖像中的圖像像素點的經(jīng)緯度坐標。

在該技術(shù)方案中，通過多個攝像單元采集環(huán)境場景的視頻圖像，相鄰攝像單元采集的視頻圖像之間存在部分重疊區(qū)域，使得拼接得到的球面紋理圖像中的部分圖像區(qū)域與兩個或兩個以上相鄰攝像單元采集的視頻圖像的圖像重疊區(qū)域相對應。由于相鄰的攝像單元采集的視頻圖像在顏色和亮度上通常存在一定 的差異，為了使全景視頻圖像還原更加真實，需要根據(jù)圖像重疊區(qū)域中的圖像像素點，對拼接得到的全景視頻圖像中對應的圖像區(qū)域進行圖像融合處理。具體地，將多個攝像單元采集的環(huán)境場景視頻圖像進行球面映射，拼接得到環(huán)境場景的球面紋理圖像，根據(jù)多個攝像單元的姿態(tài)矩陣，確定每個攝像單元對應的視頻圖像在環(huán)境場景的球面紋理圖像中的經(jīng)緯度坐標區(qū)間，以及確定每個攝像單元對應的視頻圖像中的圖像像素點坐標所對應的所述球面紋理圖像中圖像像素點的經(jīng)緯度坐標，建立所述球面紋理圖像中每個圖像像素點的經(jīng)緯度坐標與所述攝像單元對應的視頻圖像中的圖像像素點坐標的關(guān)聯(lián)映射表。例如，在所述關(guān)聯(lián)映射表中，存儲所述球面紋理圖像中的圖像像素點j的經(jīng)緯度坐標(u，v)及與圖像像素點j存在關(guān)聯(lián)映射的攝像單元對應的視頻圖像中的圖像像素點k的參數(shù)信息，其中圖像像素點k的參數(shù)信息包括：圖像像素點k對應的攝像單元標識d、所述攝像單元d的姿態(tài)矩陣r以及圖像像素點k在所述攝像單元d對應的視頻圖像中的坐標(x，y)。其中，在所述關(guān)聯(lián)映射表中，球面紋理圖像中的每個圖像像素點與所述至少一個攝像單元對應的視頻圖像中的圖像像素點存在關(guān)聯(lián)映射。

在上述技術(shù)方案中，優(yōu)選地，如圖4所示，圖像融合模塊205，包括：獲取單元2051：用于根據(jù)關(guān)聯(lián)映射模塊204確定的關(guān)聯(lián)映射，獲取球面紋理圖像中符合圖像融合條件的圖像像素點，符合圖像融合條件的圖像像素點的經(jīng)緯度坐標分別與兩個或兩個以上攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點坐標相關(guān)聯(lián)；融合單元2052：用于根據(jù)與球面紋理圖像中符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的兩個或兩個以上攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點，對球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。具體地，根據(jù)球面紋理圖像中的圖像像素點的經(jīng)緯度坐標與攝像單元采集的環(huán)境場景視頻圖像中的圖像像素點坐標的關(guān)聯(lián)映射表，獲取單元2051獲取所述球面紋理圖像中符合圖像融合的條件的圖像像素點，即所述球面紋理圖像中處于圖像拼接的重疊區(qū)域的圖像像素點，所述球面紋理圖像中符合圖像融合的條件的圖像像素點經(jīng)緯度坐標分別與所述兩個或兩個以上的攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點坐標存在關(guān)聯(lián)映射。進一步地，融合單元2052根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的所述兩個或兩個以上攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點，通過姿 態(tài)相關(guān)加權(quán)方法對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。具體地，分別將所述兩個或兩個以上攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點的像素與其對應的權(quán)重值相乘后求和，得到圖像融合后的圖像像素點。例如，球面紋理圖像中符合圖像融合條件的圖像像素點c，分別與攝像單元e對應的視頻圖像中的圖像像素點p及攝像單元f對應的視頻圖像中的圖像像素點q存在關(guān)聯(lián)映射，則根據(jù)以下表達式對圖像像素點p與圖像像素點q進行圖像融合，得到圖像像素點c對應的像素值c′：

c′＝p′×wp+q′×wq

其中，p′為圖像像素點p進行亞像素插值后得到的像素值，q′為圖像像素點q進行亞像素插值后得到的像素值，wp為圖像像素點p對應的權(quán)重，wq為圖像像素點q對應的權(quán)重，wp與wq的取值范圍均為0～1。具體地，根據(jù)圖像像素點p在攝像單元e對應的視頻圖像中的坐標及圖像像素點c與攝像單元e在笛卡爾坐標系中的位置關(guān)系確定圖像像素點p的權(quán)重wp；以及，根據(jù)圖像像素點q在攝像單元f對應的視頻圖像中的坐標及圖像像素點c與攝像單元f在笛卡爾坐標系中的位置關(guān)系確定圖像像素點q的權(quán)重wq。同樣地，球面紋理圖像中的圖像像素點也可以與兩個以上的攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點存在關(guān)聯(lián)映射，此處不再贅述。

在上述技術(shù)方案中，進一步地，通過顯示裝置顯示全景場景視頻圖像時，根據(jù)視頻觀看視角對應的模型視圖矩陣和投影矩陣，確定全景視頻圖像顯示區(qū)域在所述環(huán)境場景的空間球面模型對應的球面紋理圖像中的投影區(qū)域。根據(jù)所述投影區(qū)域在所述球面紋理圖像中的經(jīng)緯度坐標區(qū)間，判斷所述投影區(qū)域中是否包含所述符合圖像融合條件的圖像像素點。若是，則根據(jù)所述投影區(qū)域中包含的符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的所述兩個或兩個以上攝像單元對應的環(huán)境場景視頻圖像中的圖像像素點，對所述投影區(qū)域中包含的符合圖像融合條件的圖像像素點進行圖像融合。

值得說明的是，在本發(fā)明實施例中，還可以對所述多個攝像單元對應的視頻圖像進行視頻分塊編碼，將所述每個攝像單元對應的視頻圖像分割為預設尺寸的視頻圖像塊。確定球面紋理圖像中的圖像像素點與所述至少一個攝像單元對應的視頻圖像塊的圖像像素點之間的關(guān)聯(lián)映射。根據(jù)與所述球面紋理圖像中符合圖像融合條件的圖像像素點存在關(guān)聯(lián)映射的所述兩個或兩個以上攝像單元 對應的視頻圖像塊中的圖像像素點，對所述球面紋理圖像中符合圖像融合條件的圖像像素點進行圖像融合。

再次聲明，本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

本說明書(包括任何附加權(quán)利要求、摘要和附圖)中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。

本領域的技術(shù)人員應該明白，上述的本申請實施例所提供的方法中的各步驟，它們可以集中在單個的計算裝置進行執(zhí)行，或者分布在多個計算裝置所組成的網(wǎng)絡上進行執(zhí)行。可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)。從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。

雖然本發(fā)明所揭露的實施方式如上，但所述的內(nèi)容僅為便于理解本發(fā)明技術(shù)方案而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬領域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實施的形式及細節(jié)上進行任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權(quán)利要求書所界定的范圍為準。