本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種高清視頻數(shù)據(jù)處理方法，具體來說就是一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法。

背景技術(shù)：

近年來，隨著圖像處理技術(shù)及數(shù)字視頻技術(shù)的快速發(fā)展，虛擬現(xiàn)實(shí)(vr，virtualreality)技術(shù)在游戲、教育、軍事和醫(yī)療等領(lǐng)域，都有廣泛的應(yīng)用。如今人們對(duì)視覺體驗(yàn)的要求越來越苛刻，用戶希望通過vr設(shè)備觀看分辨率更高的全景視頻，但往往受到硬件設(shè)備的限制，用戶的要求無法得到滿足。全景視頻通常由多個(gè)攝像頭組合而成，例如，市場(chǎng)上存在魚眼全景攝像頭，但是這種鏡頭獲得的視頻容易產(chǎn)生畸變，而且這種攝像頭自身的視頻分別率比較低。因此，為了獲得高分辨率的大場(chǎng)景信息，克服普通攝像頭視野小，分辨率低的缺點(diǎn)，采用多路攝像頭實(shí)現(xiàn)全景視頻采集是目前比較常見的一種做法，多路攝像頭實(shí)現(xiàn)全景視頻采集必然應(yīng)用到視頻圖像拼接技術(shù)。

多路攝像頭實(shí)現(xiàn)全景視頻采集技術(shù)中，多個(gè)攝像頭能夠同時(shí)獲取兩路或者三路的視頻圖像，且兩個(gè)相鄰的攝像機(jī)的視角重疊比例適當(dāng)，再通過查找圖像特征和特征值配準(zhǔn)的方法計(jì)算出兩幅圖像之問的單應(yīng)性矩陣，最后將各路圖像縫合成廣視角的圖像。大部分相同型號(hào)的多個(gè)攝像頭的性能是有微小差異的，在相同的環(huán)境下得到的圖像色彩也會(huì)不同，而實(shí)際應(yīng)用中受光線視角的影響，攝像機(jī)在同一時(shí)刻獲得的圖像是有明顯視覺差的，從而導(dǎo)致最后得到的拼接圖像的效果達(dá)不到用戶的要求。因此本領(lǐng)域技術(shù)人員對(duì)視頻預(yù)處理以及圖像拼接算法的深入研究，有助于對(duì)采集的圖像進(jìn)行校正歸一，以減少合成視頻的差異性。

因此，本領(lǐng)域技術(shù)人員亟需研發(fā)一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法，在現(xiàn)有有限的硬件資源情況下，實(shí)時(shí)、高效、無損地完成4k等超高分辨率全景視頻的實(shí)時(shí)拼接。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明要解決的技術(shù)問題在于提供一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法，解決了現(xiàn)有技術(shù)中不能實(shí)時(shí)、高效、無損地完成多通道高分辨率全景視頻拼接的問題。

為了解決上述技術(shù)問題，本發(fā)明的具體實(shí)施方式提供一種通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法，包括：將全景相機(jī)的輸出圖像在二維坐標(biāo)系中的二維坐標(biāo)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)系中的經(jīng)緯度坐標(biāo)；將所述經(jīng)緯度坐標(biāo)轉(zhuǎn)換為歸一化笛卡爾直角坐標(biāo)；根據(jù)所述歸一化笛卡爾直角坐標(biāo)確定目標(biāo)輸入面；計(jì)算每個(gè)所述目標(biāo)輸入面的面內(nèi)二維坐標(biāo)；將所述面內(nèi)二維坐標(biāo)實(shí)時(shí)拼接成全景視頻。

根據(jù)本發(fā)明的上述具體實(shí)施方式可知，通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法至少具有以下有益效果：將輸出的二維坐標(biāo)圖像歸一化為經(jīng)緯度坐標(biāo)圖像，再轉(zhuǎn)換至歸一化笛卡爾直角坐標(biāo)圖像；然后依次完成前、后、左、右四個(gè)輸入面的面選與計(jì)算，以及頂、底兩個(gè)輸入面的面選；計(jì)算每個(gè)輸入面的面內(nèi)二維坐標(biāo)；最后校準(zhǔn)輸入面內(nèi)的面內(nèi)二維坐標(biāo)。本發(fā)明實(shí)現(xiàn)了實(shí)時(shí)、高效、無損地完成多通道高分辨率全景視頻實(shí)時(shí)拼接，易于實(shí)現(xiàn)、設(shè)計(jì)成本較低，可以利用現(xiàn)有的fpga(現(xiàn)場(chǎng)可編輯門陣列)或asic(專用集成電路)，充分利用現(xiàn)有的硬件設(shè)備，在有限處理資源的情況下完成拼接任務(wù)。

應(yīng)了解的是，上述一般描述及以下具體實(shí)施方式僅為示例性及闡釋性的，其并不能限制本發(fā)明所欲主張的范圍。

附圖說明

下面的所附附圖是本發(fā)明的說明書的一部分，其繪示了本發(fā)明的示例實(shí)施例，所附附圖與說明書的描述一起用來說明本發(fā)明的原理。

圖1為本發(fā)明實(shí)施例的一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法的實(shí)施例一的流程示意圖；

圖2為本發(fā)明實(shí)施例的一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法的實(shí)施例二的流程示意圖；

圖3為本發(fā)明實(shí)施例的一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法的實(shí)施例三的流程示意圖；

圖4為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的信號(hào)處理示意圖；

圖5為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的坐標(biāo)系轉(zhuǎn)換模塊處理示意圖；

圖6為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的六個(gè)輸入面面選模塊處理示意圖；

圖7為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的面內(nèi)二維坐標(biāo)計(jì)算模塊處理示意圖；

圖8為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的誤差校準(zhǔn)模塊處理示意圖；

圖9a為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的拼接前的效果示意圖；

圖9b為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的拼接后的效果示意圖。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面將以附圖及詳細(xì)敘述清楚說明本發(fā)明所揭示內(nèi)容的精神，任何所屬技術(shù)領(lǐng)域技術(shù)人員在了解本發(fā)明內(nèi)容的實(shí)施例后，當(dāng)可由本發(fā)明內(nèi)容所教示的技術(shù)，加以改變及修飾，其并不脫離本發(fā)明內(nèi)容的精神與范圍。

本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，但并不作為對(duì)本發(fā)明的限定。另外，在附圖及實(shí)施方式中所使用相同或類似標(biāo)號(hào)的元件/構(gòu)件是用來代表相同或類似部分。

關(guān)于本文中所使用的“第一”、“第二”、…等，并非特別指稱次序或順位的意思，也非用以限定本發(fā)明，其僅為了區(qū)別以相同技術(shù)用語描述的元件或操作。

關(guān)于本文中所使用的方向用語，例如：上、下、左、右、前或后等，僅是參考附圖的方向。因此，使用的方向用語是用來說明并非用來限制本創(chuàng)作。

關(guān)于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均為開放性的用語，即意指包含但不限于。

關(guān)于本文中所使用的“及/或”，包括所述事物的任一或全部組合。

關(guān)于本文中所使用的用語“大致”、“約”等，用以修飾任何可以微變化的數(shù)量或誤差，但這些微變化或誤差并不會(huì)改變其本質(zhì)。一般而言，此類用語所修飾的微變化或誤差的范圍在部分實(shí)施例中可為20％，在部分實(shí)施例中可為10％，在部分實(shí)施例中可為5％或是其他數(shù)值。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)了解，前述提及的數(shù)值可依實(shí)際需求而調(diào)整，并不以此為限。

某些用以描述本申請(qǐng)的用詞將于下或在此說明書的別處討論，以提供本領(lǐng)域技術(shù)人員在有關(guān)本申請(qǐng)的描述上額外的引導(dǎo)。

圖1為本發(fā)明實(shí)施例的一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法的實(shí)施例一的流程示意圖，如圖1所示，將全景相機(jī)的輸出圖像在二維坐標(biāo)系中的二維坐標(biāo)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)系中的經(jīng)緯度坐標(biāo)后，再轉(zhuǎn)換為歸一化笛卡爾直角坐標(biāo)(即歸一化后的笛卡爾直角坐標(biāo))；依次完成前后左右上下輸入面的面選，其中，面選具體指“獲得輸出像素值進(jìn)行計(jì)算所需要采納的輸入圖像的面索引”；最后計(jì)算輸入面的面內(nèi)二維坐標(biāo)。

該附圖所示的具體實(shí)施方式中，多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法包括：

步驟101：將全景相機(jī)的輸出圖像在二維坐標(biāo)系中的二維坐標(biāo)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)系中的經(jīng)緯度坐標(biāo)。全景相機(jī)具有多個(gè)攝像頭，每個(gè)攝像頭采集一路視頻；將輸出圖像在二維坐標(biāo)系中的二維坐標(biāo)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)系中的經(jīng)緯度坐標(biāo)之前，需要對(duì)輸出圖像的二維坐標(biāo)進(jìn)行歸一化處理。本發(fā)明的具體實(shí)施例中，步驟101具體包括：將全景相機(jī)的輸出圖像在二維坐標(biāo)系中的二維坐標(biāo)歸一化為標(biāo)準(zhǔn)二維坐標(biāo)；將所述標(biāo)準(zhǔn)二維坐標(biāo)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)系中的經(jīng)緯度坐標(biāo)。

將全景相機(jī)的輸出圖像在二維坐標(biāo)系中的二維坐標(biāo)(x，y)歸一化為標(biāo)準(zhǔn)二維坐標(biāo)所使用的歸一化方程為：

其中，w為輸出圖像的寬度；h為輸出圖像的高度；(x，y)為二維坐標(biāo)；為標(biāo)準(zhǔn)二維坐標(biāo)。

將所述標(biāo)準(zhǔn)二維坐標(biāo)轉(zhuǎn)換為經(jīng)緯度坐標(biāo)系中的經(jīng)緯度坐標(biāo)所使用的轉(zhuǎn)換方程為：

其中，為經(jīng)緯度坐標(biāo)；為標(biāo)準(zhǔn)二維坐標(biāo)。

步驟102：將所述經(jīng)緯度坐標(biāo)轉(zhuǎn)換為歸一化笛卡爾直角坐標(biāo)。

將所述經(jīng)緯度坐標(biāo)轉(zhuǎn)換為歸一化笛卡爾直角坐標(biāo)(x,y,z)所使用的方程為：

其中，(x,y,z)為標(biāo)準(zhǔn)三維坐標(biāo)；θ為經(jīng)度坐標(biāo)；為緯度坐標(biāo)。

步驟103：根據(jù)所述歸一化笛卡爾直角坐標(biāo)確定目標(biāo)輸入面。其中，輸入面有六個(gè)，包括前輸入面、后輸入面、左輸入面、右輸入面、上輸入面和下輸入面。首先，利用只讀存儲(chǔ)器(rom)讀取高精度經(jīng)度坐標(biāo)θ2，然后判斷θ2位于中的某個(gè)區(qū)間來計(jì)算該點(diǎn)的前后左右面選，并重新計(jì)算出后續(xù)所使用的經(jīng)度θ3；其次，計(jì)算高精度緯度并計(jì)算預(yù)設(shè)閾值，根據(jù)預(yù)設(shè)閾值與高精度緯度完成上下輸入面的面選。所述預(yù)設(shè)閾值φ的計(jì)算公式為：

φ＝arctan(cosθ)

其中，φ為預(yù)設(shè)閾值；θ為經(jīng)度坐標(biāo)；符號(hào)∪表示區(qū)間并集。

上述θ與θ2均表示精度坐標(biāo)，區(qū)別在于精度不同：θ的精度低，通過處理單元產(chǎn)生，目的是計(jì)算出(x,y,z)；θ2則是高精度，通過讀存儲(chǔ)獲得，目的是防止直接計(jì)算產(chǎn)生的精度不足造成面選誤差。

此外，根據(jù)所述圖像拼接算法，θ3可以通過如下準(zhǔn)則獲得：

其中，符號(hào)∪表示區(qū)間并集。

本發(fā)明的具體實(shí)施例中，根據(jù)所述歸一化笛卡爾直角坐標(biāo)確定輸入面的步驟，具體包括：獲取所述輸出圖像在所述歸一化笛卡爾直角坐標(biāo)中的經(jīng)度坐標(biāo)；根據(jù)所述經(jīng)度坐標(biāo)將所述輸出圖像上的面點(diǎn)歸入到前輸入面、后輸入面、左輸入面和右輸入面中的一個(gè)；獲取所述輸出圖像在所述歸一化笛卡爾直角坐標(biāo)中的緯度坐標(biāo)；根據(jù)預(yù)設(shè)閾值和所述緯度坐標(biāo)將所述輸出圖像上的面點(diǎn)歸入到上輸入面和下輸入面中的一個(gè)。

步驟104：計(jì)算每個(gè)所述目標(biāo)輸入面的面內(nèi)二維坐標(biāo)。

步驟105：將所述面內(nèi)二維坐標(biāo)實(shí)時(shí)拼接成全景視頻。

參見圖1，本發(fā)明實(shí)現(xiàn)了實(shí)時(shí)、高效、無損地完成多通道高分辨率全景視頻實(shí)時(shí)拼接，易于實(shí)現(xiàn)、設(shè)計(jì)成本較低，可以利用現(xiàn)有的fpga(現(xiàn)場(chǎng)可編輯門陣列)或asic(專用集成電路)，充分利用現(xiàn)有的硬件設(shè)備，在有限處理資源的情況下完成拼接任務(wù)。

圖2為本發(fā)明實(shí)施例的一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法的實(shí)施例二的流程示意圖，如圖2所示，計(jì)算每個(gè)所述輸入面的面內(nèi)二維坐標(biāo)。

該附圖所示的具體實(shí)施方式中，步驟104具體包括：

步驟1041：將所述歸一化笛卡爾直角坐標(biāo)映射到軸縱橫坐標(biāo)系中。

本發(fā)明的具體實(shí)施例中，將所述歸一化笛卡爾直角坐標(biāo)映射到軸縱橫坐標(biāo)系中所使用的公式為：

其中，radius＝ratio×axis，其中，ratio為與輸入圖像大小有關(guān)的比例因子，(axis,px,py)為軸縱橫坐標(biāo)；(cubex,cubey)為面內(nèi)二維坐標(biāo)；radius為半徑。

步驟1042：旋轉(zhuǎn)所述軸縱橫坐標(biāo)系獲取所述目標(biāo)輸入面上的面內(nèi)二維坐標(biāo)。

本發(fā)明的具體實(shí)施例中，旋轉(zhuǎn)所述軸縱橫坐標(biāo)系獲取所述目標(biāo)輸入面上的面內(nèi)二維坐標(biāo)所使用的公式為：

其中，rad為弧度角。

參見圖2，利用定點(diǎn)乘法器、定點(diǎn)除法器、加法器和越界控制邏輯，完成輸入面內(nèi)二維坐標(biāo)計(jì)算(cubex,cubey)，可以應(yīng)用于任何市場(chǎng)銷售的fpga(現(xiàn)場(chǎng)可編輯門陣列)或asic(專用集成電路)。

圖3為本發(fā)明實(shí)施例的一種多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法的實(shí)施例三的流程示意圖，如圖3所示，實(shí)現(xiàn)多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法時(shí)，因定點(diǎn)計(jì)算導(dǎo)致的量化誤差會(huì)影響輸出圖像結(jié)果，需要利用少量寄存器校準(zhǔn)少量的誤差點(diǎn)。

該附圖所示的具體實(shí)施方式中，步驟104之后，該方法還包括：

步驟104-1：利用二維坐標(biāo)系中的二維坐標(biāo)校準(zhǔn)目標(biāo)輸入面上的所述面內(nèi)二維坐標(biāo)。

參見圖3，將計(jì)算完畢的坐標(biāo)(cubex,cubey)與面內(nèi)二維坐標(biāo)(x,y)分別輸入給橫縱坐標(biāo)判斷模塊。如果坐標(biāo)滿足預(yù)設(shè)中需要校準(zhǔn)的條件，則輸出更新的坐標(biāo)值；否則，保持原有的輸出值，從而消除量化誤差影響輸出圖像結(jié)果。

圖4～圖9b為基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的具體應(yīng)用示意圖，如圖4所示，將基于fpga的多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法應(yīng)用于超高分辨率全景視頻實(shí)時(shí)拼接系統(tǒng)中，超高分辨率全景視頻實(shí)時(shí)拼接系統(tǒng)包括坐標(biāo)系轉(zhuǎn)換單元、六個(gè)輸入面面選單元、輸入面內(nèi)二維坐標(biāo)計(jì)算單元以及誤差校準(zhǔn)單元。在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，輸入為6通道1920×1080大小的圖像，輸出為4320×2160大小的圖像，系統(tǒng)處理輸入圖像如圖4所示，具體說明如下：

坐標(biāo)系轉(zhuǎn)換單元，將輸出圖像二維坐標(biāo)歸一化為經(jīng)緯度坐標(biāo)系，再轉(zhuǎn)換至歸一化笛卡爾直角坐標(biāo)。具體來說，坐標(biāo)系轉(zhuǎn)換單元將輸出圖像在二維坐標(biāo)系中的二維坐標(biāo)(x,y)歸一化為再轉(zhuǎn)換至經(jīng)緯度坐標(biāo)系中的經(jīng)緯度坐標(biāo)再轉(zhuǎn)換至歸一化笛卡爾直角坐標(biāo)(x,y,z)，處理示意圖如圖5所示。坐標(biāo)系轉(zhuǎn)換單元具體包括歸一化模塊、經(jīng)緯度轉(zhuǎn)換模塊和單位二維坐標(biāo)轉(zhuǎn)換模塊。

其中，歸一化模塊將所述輸出圖像的二維坐標(biāo)歸一化，通過下列公式轉(zhuǎn)換，即：

其中，w,h分別為輸出圖像的寬度和高度。

所述經(jīng)緯度轉(zhuǎn)換模塊將所述輸出圖像歸一化后的二維坐標(biāo)轉(zhuǎn)換成經(jīng)緯度坐標(biāo)即：

所述單位二維坐標(biāo)轉(zhuǎn)換模塊將經(jīng)緯度坐標(biāo)轉(zhuǎn)換成歸一化笛卡爾直角坐標(biāo)，經(jīng)過下列變換方程，即：

所述坐標(biāo)系轉(zhuǎn)換單元映射至fpga實(shí)現(xiàn)時(shí)，將歸一化模塊以及經(jīng)緯度轉(zhuǎn)換模塊兩個(gè)模塊合二為一進(jìn)行定點(diǎn)計(jì)算；三角函數(shù)運(yùn)算均利用坐標(biāo)旋轉(zhuǎn)數(shù)字計(jì)算算法完成，部分三角函數(shù)計(jì)算單元實(shí)現(xiàn)復(fù)用，通過流水設(shè)計(jì)實(shí)現(xiàn)同步。

六個(gè)輸入面面選單元依次完成前、后、左、右四個(gè)輸入面面選與計(jì)算，頂、底(上、下)兩個(gè)輸入面面選，處理示意圖如圖6所示。

所述六個(gè)輸入面面選單元包括高精度經(jīng)度坐標(biāo)獲取模塊和前后左右面選模塊，上述兩個(gè)模塊用于完成前后左右四個(gè)輸入面面選與計(jì)算。

其中，高精度經(jīng)度坐標(biāo)獲取模塊利用預(yù)先設(shè)計(jì)的只讀存儲(chǔ)器(rom)讀取高精度經(jīng)度坐標(biāo)θ2；前后左右面選模塊通過判斷θ2位于中的某個(gè)區(qū)間來計(jì)算輸出面上目標(biāo)點(diǎn)的前后左右面選，并重新計(jì)算出后續(xù)所使用的經(jīng)度θ3。

所述六個(gè)輸入面面選單元還包括閾值計(jì)算模塊、高精度緯度坐標(biāo)計(jì)算模塊、上下面選模塊。上述模塊依次完成頂?shù)?上下)兩個(gè)輸入面面選。

其中，閾值計(jì)算模塊根據(jù)φt＝arctan(cosθ3)獲得門限值φt，余弦值的計(jì)算通過cordic(坐標(biāo)旋轉(zhuǎn)數(shù)據(jù)計(jì)算方法)完成，反正切的計(jì)算通過對(duì)稱式查找表完成，降低存儲(chǔ)并提高精度；高精度緯度坐標(biāo)計(jì)算模塊用于計(jì)算高精度緯度上下面選模塊則通過判斷與±φt的關(guān)系計(jì)算目標(biāo)輸入面f是上下輸入面還是前后左右輸入面。

所述輸入面內(nèi)二維坐標(biāo)計(jì)算單元包括映射模塊、旋轉(zhuǎn)與變換處理優(yōu)化模塊。其中，映射模塊根據(jù)目標(biāo)輸入面，完成從歸一化笛卡爾直角坐標(biāo)到軸、橫坐標(biāo)、縱坐標(biāo)的映射，即(x,y,z)→(axis,px,py)；旋轉(zhuǎn)與變換處理優(yōu)化模塊，利用很少的定點(diǎn)乘法器及定點(diǎn)除法器，完成輸入面的面內(nèi)二維坐標(biāo)(cubex,cubey)計(jì)算。

優(yōu)選地，該輸入面內(nèi)二維坐標(biāo)計(jì)算單元是通過所選軸axis，面內(nèi)坐標(biāo)px、py，弧度角rad，半徑radius進(jìn)行計(jì)算的。

首先，經(jīng)過如下公式進(jìn)行初始化：

其次，利用下述公式進(jìn)行旋轉(zhuǎn)：

隨后，利用下述公式進(jìn)行映射：

優(yōu)選地，在本實(shí)施例中，因?yàn)楦魍ǖ垒斎雸D像為1920×1080大小，故

考慮到rad的選擇是離散的，即：0，±π，故而將上述公式優(yōu)化為：

當(dāng)f＝上輸入面時(shí)，即有rad＝π，

[axispxpy]^t＝[tytztx]^t

當(dāng)f＝左輸入面時(shí)，即有rad＝π，

[axispxpy]^t＝[tztxty]^t

當(dāng)f＝右輸入面時(shí)，即有時(shí)，

[axispxpy]^t＝[tztytx]^t

當(dāng)f＝下輸入面時(shí)，即有時(shí)，

[axispxpy]^t＝[tytxtz]^t

當(dāng)f＝后輸入面時(shí)，即有時(shí)，

[axispxpy]^t＝[txtytz]^t

當(dāng)f＝前輸入面時(shí)，即有rad＝0時(shí)，

[axispxpy]^t＝[txtzty]^t

映射模塊、旋轉(zhuǎn)與變換處理優(yōu)化模塊在fpga中實(shí)現(xiàn)如下，首先將歸一化笛卡爾直角坐標(biāo)系變換為：

其次，將此輸出用作標(biāo)準(zhǔn)輸入，其處理示意圖如圖7所示。px和py信號(hào)依次經(jīng)過定點(diǎn)乘法器、定點(diǎn)除法器、加法器和越界控制邏輯，完成輸入面的面內(nèi)二維坐標(biāo)(cubex,cubey)計(jì)算。

誤差校準(zhǔn)單元用于校準(zhǔn)輸出面內(nèi)少量誤差點(diǎn)的輸入面及二維坐標(biāo)，誤差校準(zhǔn)單元包括橫縱坐標(biāo)判斷模塊、預(yù)設(shè)更新模塊和保持模塊。在fpga上實(shí)現(xiàn)所述多通道超高分辨率全景視頻實(shí)時(shí)拼接處理方法時(shí)，因定點(diǎn)計(jì)算導(dǎo)致的量化誤差會(huì)影響輸出圖像結(jié)果，需要利用少量寄存器校準(zhǔn)少量的誤差點(diǎn)。其處理示意圖如圖8所示，計(jì)算完畢的坐標(biāo)(cubex,cubey)與輸出面坐標(biāo)(x,y)分別輸入給橫縱坐標(biāo)判斷模塊。如果坐標(biāo)滿足預(yù)設(shè)中需要校準(zhǔn)的條件，則由預(yù)設(shè)更新模塊更新輸出的坐標(biāo)值；否則，保持模塊保持原有的輸出值。這里更新的或保持的均為目標(biāo)點(diǎn)所對(duì)應(yīng)的某輸入面的二維坐標(biāo)

圖9a為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的拼接前的效果示意圖；圖9b為本發(fā)明實(shí)施例的一種基于fpga的多通道4320×2160全景視頻實(shí)時(shí)拼接處理方法的拼接后的效果示意圖，拼接前是6張獨(dú)立的圖像，分別為前、后、左、右、上、下圖像，拼接后，對(duì)后、上、下圖像進(jìn)行拆分，便于觀看。

上述的本發(fā)明實(shí)施例可在各種硬件、軟件編碼或兩者組合中進(jìn)行實(shí)施。例如，本發(fā)明的實(shí)施例也可為在數(shù)據(jù)信號(hào)處理器(digitalsignalprocessor，dsp)中執(zhí)行上述方法的程序代碼。本發(fā)明也可涉及計(jì)算機(jī)處理器、數(shù)字信號(hào)處理器、微處理器或現(xiàn)場(chǎng)可編程門陣列(fieldprogrammablegatearray，fpga)執(zhí)行的多種功能?？筛鶕?jù)本發(fā)明配置上述處理器執(zhí)行特定任務(wù)，其通過執(zhí)行定義了本發(fā)明揭示的特定方法的機(jī)器可讀軟件代碼或固件代碼來完成?？蓪④浖a或固件代碼發(fā)展為不同的程序語言與不同的格式或形式。也可為不同的目標(biāo)平臺(tái)編譯軟件代碼。然而，根據(jù)本發(fā)明執(zhí)行任務(wù)的軟件代碼與其他類型配置代碼的不同代碼樣式、類型與語言不脫離本發(fā)明的精神與范圍。

以上所述僅為本發(fā)明示意性的具體實(shí)施方式，在不脫離本發(fā)明的構(gòu)思和原則的前提下，任何本領(lǐng)域的技術(shù)人員所做出的等同變化與修改，均應(yīng)屬于本發(fā)明保護(hù)的范圍。