本申請(qǐng)涉及圖像處理技術(shù)，尤指一種全景視頻實(shí)時(shí)拼接方法及裝置。

背景技術(shù)：

隨著視覺(jué)圖像技術(shù)和視頻采集技術(shù)的發(fā)展，視頻獲取已經(jīng)從獲取普通視角的視頻，發(fā)展到廣角視頻，進(jìn)一步發(fā)展到水平方向360度、垂直方向360度的全景視頻。

為了獲取全景圖像，需要使用兩個(gè)或兩個(gè)以上的鏡頭組成的全景相機(jī)拍攝多個(gè)方向的圖像，再通過(guò)手機(jī)或PC將兩個(gè)或兩個(gè)以上鏡頭拍攝的多個(gè)方向的圖像后期拼接為全景圖像。

上述現(xiàn)有技術(shù)中通過(guò)全景相機(jī)拍攝圖像后再通過(guò)手機(jī)或PC進(jìn)行后期拼接處理得到全景圖像的方式，存在實(shí)時(shí)性差、拼接成本高且操作復(fù)雜的缺陷。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種全景視頻實(shí)時(shí)拼接方法及裝置，能夠在全景相機(jī)內(nèi)實(shí)現(xiàn)實(shí)時(shí)拼接，且拼接成本低、簡(jiǎn)單易用。

為了達(dá)到本發(fā)明目的，本申請(qǐng)?zhí)峁┝艘环N全景視頻實(shí)時(shí)拼接方法，應(yīng)用于拍攝終端中，所述拍攝終端包含多個(gè)圖像采集單元，所述方法包括：

接收多個(gè)圖像采集單元拍攝得到的多路廣角視頻數(shù)據(jù)；

對(duì)所述多路廣角視頻數(shù)據(jù)進(jìn)行同步處理；

將同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器，并展開(kāi)廣角視頻數(shù)據(jù)實(shí)現(xiàn)畸變校正；

對(duì)展開(kāi)后的多路廣角視頻數(shù)據(jù)的重疊區(qū)域進(jìn)行拼接融合處理。

本申請(qǐng)還提供了一種全景視頻實(shí)時(shí)拼接裝置，應(yīng)用于拍攝終端中，所述拍攝終端包含多個(gè)圖像采集單元，所述裝置包括：

一輸入單元，用于接收多路圖像采集單元拍攝得到的多路廣角視頻數(shù)據(jù)；

一同步單元，用于對(duì)所述輸入單元接收的多路廣角視頻數(shù)據(jù)進(jìn)行同步處理；

一存儲(chǔ)控制單元，用于將所述同步單元同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器；

一全景拼接單元，用于展開(kāi)廣角視頻數(shù)據(jù)實(shí)現(xiàn)畸變校正，并對(duì)展開(kāi)后的多路廣角視頻數(shù)據(jù)進(jìn)行重疊區(qū)域的融合拼接處理。

與現(xiàn)有技術(shù)相比，本申請(qǐng)包括接收多個(gè)圖像采集單元拍攝得到的多路廣角視頻數(shù)據(jù)；對(duì)多路廣角視頻數(shù)據(jù)進(jìn)行同步處理；將同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器，并展開(kāi)廣角視頻數(shù)據(jù)實(shí)現(xiàn)畸變校正；對(duì)展開(kāi)后的多路廣角視頻數(shù)據(jù)的重疊區(qū)域進(jìn)行融合拼接處理。本申請(qǐng)能夠在全景相機(jī)中實(shí)現(xiàn)全景視頻實(shí)時(shí)拼接，無(wú)需通過(guò)手機(jī)或計(jì)算機(jī)進(jìn)行后期拼接處理，能夠?qū)崿F(xiàn)即時(shí)采集、即時(shí)拼接且拼接前后幀率一致，提高了全景視頻拼接的實(shí)時(shí)性，且拼接成本低無(wú)需再投入其他硬件成本，簡(jiǎn)化操作、簡(jiǎn)單易用。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書(shū)、權(quán)利要求書(shū)以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

附圖說(shuō)明

附圖用來(lái)提供對(duì)本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本申請(qǐng)的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對(duì)本發(fā)明技術(shù)方案的限制。

圖1為本申請(qǐng)一實(shí)施例提供的全景視頻實(shí)時(shí)拼接方法的流程圖；

圖2為本申請(qǐng)另一實(shí)施例提供的全景視頻實(shí)時(shí)拼接裝置的架構(gòu)圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下文中將結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說(shuō)明。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。

在附圖的流程圖示出的步驟可以在諸如CPU、專用圖像處理芯片等中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

在現(xiàn)有的全景視頻拼接方法中，需要通過(guò)手機(jī)或PC對(duì)全景相機(jī)拍攝的視頻進(jìn)行后期的拼接融合處理，這種方式的拼接實(shí)時(shí)性差、拼接成本高且操作復(fù)雜。針對(duì)該問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N解決方案，主要原理是：由拍攝終端的多個(gè)圖像采集單元拍攝外界圖像，得到多路廣角視頻數(shù)據(jù)，拍攝終端接收每一路廣角視頻數(shù)據(jù)，對(duì)多路廣角視頻數(shù)據(jù)進(jìn)行同步處理，完成同步處理后，將同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器，并進(jìn)行展開(kāi)實(shí)現(xiàn)畸變校正，最后，對(duì)展開(kāi)后的多路廣角視頻數(shù)據(jù)的重疊區(qū)域進(jìn)行拼接融合處理。

由于本申請(qǐng)中在拍攝終端中完成全景視頻的拼接融合處理，因此，在拍攝得到多路廣角視頻數(shù)據(jù)后，無(wú)需再使用手機(jī)或PC進(jìn)行后期拼接融合處理，提高了全景視頻拼接的實(shí)時(shí)性。并且，采用一臺(tái)設(shè)備完成從廣角視頻拍攝到圖像拼接融合的全部工作，由于無(wú)需在后期再投入其他硬件成本，大大降低了圖像處理的成本，并且簡(jiǎn)化了用戶的操作、更加簡(jiǎn)單易用。

以下結(jié)合附圖詳細(xì)說(shuō)明本申請(qǐng)各實(shí)施例提供的技術(shù)方案。

本申請(qǐng)的全景視頻實(shí)時(shí)拼接方法應(yīng)用于拍攝終端中。在實(shí)際應(yīng)用中，為了獲得全景圖像、全景視頻，出現(xiàn)了全景拍攝終端，例如全景相機(jī)、全景攝像機(jī)等。這些全景拍攝終端中包括至少兩個(gè)圖像采集單元，圖像采集單元包括一個(gè)廣角鏡頭(如魚(yú)眼鏡頭)和一個(gè)攝取由該廣角鏡頭形成的圖像的圖像傳感器。至少兩個(gè)圖像采集單元背向設(shè)置，保證采集到水平和垂直各360°的全景圖像。拍攝終端通過(guò)將各圖像采集單元攝取的圖像結(jié)合在一起獲得立體角弧度為4π的圖像。

圖1為本申請(qǐng)一實(shí)施例提供的全景視頻實(shí)時(shí)拼接方法的流程圖。如圖1所示，該方法包括：

步驟101：接收多個(gè)圖像采集單元拍攝得到的多路廣角視頻數(shù)據(jù)；

步驟102：對(duì)多路廣角視頻數(shù)據(jù)進(jìn)行同步處理；

步驟103：將同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器，并展開(kāi)廣角視頻數(shù)據(jù)實(shí)現(xiàn)畸變校正；

步驟104：對(duì)展開(kāi)后的多路廣角視頻數(shù)據(jù)的重疊區(qū)域進(jìn)行拼接融合處理。

在實(shí)際應(yīng)用中，為獲得全景內(nèi)容，需要由包含多個(gè)圖像采集單元的拍攝終端各拍攝超過(guò)180度范圍的圖像，再進(jìn)行拼接融合得到全景內(nèi)容。本實(shí)施例提供的方法可用于在拍攝終端中將各路超過(guò)180度范圍的圖像拼接融合為全景圖像、全景視頻。優(yōu)選的，本方法可用于包含兩個(gè)圖像采集單元的拍攝終端，將兩路超過(guò)180度范圍的圖像拼接融合為全景圖像、全景視頻。

值得說(shuō)明的是，本實(shí)施例的方法并不僅限定在對(duì)超過(guò)180度范圍的圖像拼接融合為全景圖像、全景視頻，可選的，對(duì)于多幅非廣角鏡頭拍攝的圖像也可以采用本實(shí)施例提供的方法拼接為全景圖像、全景視頻，但并不限于此。

為了得到全景圖像或全景視頻，拍攝終端需要首先使用圖像采集單元拍攝外界圖像，得到多路廣角視頻數(shù)據(jù)，兩圖像采集單元拍攝的圖像需保證有部分重疊區(qū)域。拍攝終端接收多路廣角視頻數(shù)據(jù)，以對(duì)多路廣角視頻數(shù)據(jù)進(jìn)行拼接融合處理，得到全景圖像、全景視頻。

由于多路圖像采集單元相互獨(dú)立，采集到的圖像有先后時(shí)間差異，即使采用同步控制電路進(jìn)行控制，也無(wú)法保證拍攝得到的多路廣角視頻數(shù)據(jù)精確同步。因此，在得到多路廣角視頻數(shù)據(jù)后，需要對(duì)這多路廣角視頻數(shù)據(jù)先進(jìn)行同步處理。

具體的，對(duì)這多路廣角視頻數(shù)據(jù)先進(jìn)行同步處理，包括：將多路廣角視頻數(shù)據(jù)分別寫(xiě)入緩存，經(jīng)過(guò)一指定時(shí)間閾值的延遲后在同一時(shí)刻將多個(gè)緩存中的廣角視頻數(shù)據(jù)讀出，經(jīng)過(guò)同步處理后的多路廣角視頻數(shù)據(jù)完全同步。

同步后的多路廣角視頻數(shù)據(jù)保證在時(shí)間域上精確一致，避免視頻出現(xiàn)抖動(dòng)和時(shí)間不一致等現(xiàn)象。

廣角鏡頭，尤其是魚(yú)眼鏡頭，其視角力求達(dá)到或超出人眼所能看到的范圍。因此，廣角鏡頭在成像過(guò)程中存在較大的畸變，畸變圖像不符合人眼的觀看習(xí)慣，所以畸變圖像需要進(jìn)行校正。

基于此，在對(duì)多路廣角視頻數(shù)據(jù)進(jìn)行同步處理后，需要對(duì)每一路廣角視頻數(shù)據(jù)進(jìn)行畸變校正，本實(shí)施例提供的方法中，通過(guò)對(duì)每一路廣角視頻數(shù)據(jù)展開(kāi)實(shí)現(xiàn)廣角視頻數(shù)據(jù)的畸變校正。本實(shí)施例中，將同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器中，并完成展開(kāi)，以便后續(xù)進(jìn)一步對(duì)展開(kāi)后的多路廣角視頻數(shù)據(jù)的重疊區(qū)域進(jìn)行拼接融合處理。

上述對(duì)廣角視頻數(shù)據(jù)的展開(kāi)是指根據(jù)成像模型，將多個(gè)圖像采集單元拍攝的多幅不同視角圖像統(tǒng)一到同一坐標(biāo)系中。本實(shí)施例的方法中預(yù)先對(duì)拍攝終端的廣角鏡頭進(jìn)行標(biāo)定，得到每個(gè)廣角鏡頭各自對(duì)應(yīng)的用于畸變校正的圖像坐標(biāo)信息。圖像展開(kāi)時(shí)，根據(jù)圖像坐標(biāo)信息進(jìn)行坐標(biāo)尋址，讀取出廣角視頻數(shù)據(jù)中的像素點(diǎn)，相當(dāng)于將各路廣角視頻數(shù)據(jù)統(tǒng)一到同一個(gè)坐標(biāo)系中，完成了圖像的展開(kāi)，實(shí)現(xiàn)了圖像的畸變校正，這種方式極大的簡(jiǎn)化了實(shí)時(shí)處理的復(fù)雜度。

在本實(shí)施例的方法中，將同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器中，可以是為每一路廣角視頻數(shù)據(jù)分別配置一個(gè)一一對(duì)應(yīng)的存儲(chǔ)器，用于在圖像采集單元開(kāi)始拍攝廣角視頻數(shù)據(jù)后，將得到的廣角視頻數(shù)據(jù)寫(xiě)入相對(duì)應(yīng)的存儲(chǔ)器，并且，預(yù)先將對(duì)應(yīng)的廣角鏡頭的圖像坐標(biāo)信息存儲(chǔ)到對(duì)應(yīng)的存儲(chǔ)器中，以便根據(jù)存儲(chǔ)器中存儲(chǔ)的圖像坐標(biāo)信息對(duì)寫(xiě)入該存儲(chǔ)器的廣角視頻數(shù)據(jù)進(jìn)行展開(kāi)。

可選的，也可以對(duì)一個(gè)存儲(chǔ)器劃分出多個(gè)分區(qū)，每個(gè)分區(qū)配置給一路對(duì)應(yīng)的廣角視頻數(shù)據(jù)，在圖像采集單元開(kāi)始拍攝廣角視頻數(shù)據(jù)后，將得到的廣角視頻數(shù)據(jù)寫(xiě)入到對(duì)應(yīng)的分區(qū)中，并且，預(yù)先將對(duì)應(yīng)的圖像坐標(biāo)信息存儲(chǔ)到相應(yīng)分區(qū)中。

圖像坐標(biāo)信息可以采用查找表的方式表示，在展開(kāi)圖像時(shí)，通過(guò)讀取查找表的方式獲得坐標(biāo)，再根據(jù)坐標(biāo)讀取出廣角視頻數(shù)據(jù)中的像素點(diǎn)。

基于上述，以為每一路廣角視頻數(shù)據(jù)分別配置一個(gè)一一對(duì)應(yīng)的存儲(chǔ)器為例，將同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器，并展開(kāi)廣角視頻數(shù)據(jù)實(shí)現(xiàn)畸變校正，包括：

將同步后的每一路廣角視頻數(shù)據(jù)逐幀的寫(xiě)入為這一路廣角視頻數(shù)據(jù)配置的相對(duì)應(yīng)的存儲(chǔ)器中，其中，對(duì)應(yīng)的存儲(chǔ)器中已預(yù)先存儲(chǔ)相應(yīng)的圖像坐標(biāo)信息，用于對(duì)寫(xiě)入該圖像坐標(biāo)信息所在存儲(chǔ)器的廣角視頻數(shù)據(jù)進(jìn)行畸變校正；

在逐幀將廣角視頻數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的存儲(chǔ)器的同時(shí)，從對(duì)應(yīng)的存儲(chǔ)器中讀取圖像坐標(biāo)信息中的坐標(biāo)，并從已寫(xiě)入該存儲(chǔ)器的廣角視頻數(shù)據(jù)中讀取出坐標(biāo)對(duì)應(yīng)的像素點(diǎn)從而展開(kāi)廣角視頻數(shù)據(jù)，實(shí)現(xiàn)廣角視頻數(shù)據(jù)的畸變校正。

每一路的廣角視頻數(shù)據(jù)均是逐幀寫(xiě)入到對(duì)應(yīng)的存儲(chǔ)器中，在寫(xiě)入圖像的過(guò)程中，可以同時(shí)讀取該存儲(chǔ)器中存儲(chǔ)的圖像坐標(biāo)信息中的坐標(biāo)，根據(jù)坐標(biāo)讀取已寫(xiě)入存儲(chǔ)器的廣角視頻數(shù)據(jù)的像素點(diǎn)，從而展開(kāi)已寫(xiě)入該存儲(chǔ)器中的廣角視頻數(shù)據(jù)，實(shí)現(xiàn)畸變校正。

在得到展開(kāi)后的廣角視頻數(shù)據(jù)后，就可以進(jìn)行重疊區(qū)域的拼接融合處理，得到全景圖像，對(duì)于視頻拍攝即可得到全景視頻。但是，在圖像展開(kāi)的過(guò)程中需要進(jìn)行存儲(chǔ)器操作，這就限制了圖像實(shí)時(shí)展開(kāi)的效率，可能導(dǎo)致拼接后得到的全景圖像的幀率與圖像采集單元采集的視頻的幀率不同，造成圖像幀率下降、無(wú)法保證實(shí)時(shí)拼接的問(wèn)題。

本實(shí)施例提供的方法中，為避免拼接前后的幀率不同，采用如下方法：將同步后的每一路廣角視頻數(shù)據(jù)逐幀寫(xiě)入與每一路廣角視頻數(shù)據(jù)一一對(duì)應(yīng)的存儲(chǔ)器中，以及在逐幀將廣角視頻數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的存儲(chǔ)器的同時(shí)，從廣角視頻對(duì)應(yīng)的存儲(chǔ)器中讀取圖像坐標(biāo)信息中的坐標(biāo)，并從已寫(xiě)入該存儲(chǔ)器的廣角視頻數(shù)據(jù)中讀取出坐標(biāo)對(duì)應(yīng)的像素點(diǎn)，包括：

針對(duì)同步后的每一路廣角視頻數(shù)據(jù)，在當(dāng)前寫(xiě)入幀的行場(chǎng)有效時(shí)間內(nèi)，執(zhí)行將幀數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的存儲(chǔ)器的操作，在當(dāng)前寫(xiě)入幀的行場(chǎng)消隱區(qū)間內(nèi)，讀取坐標(biāo)，并根據(jù)坐標(biāo)讀取已寫(xiě)入所述存儲(chǔ)器的當(dāng)前寫(xiě)入幀的上一幀中的像素點(diǎn)，在同時(shí)完成當(dāng)前寫(xiě)入幀的寫(xiě)入和所述上一幀的讀取后，將下一幀作為當(dāng)前寫(xiě)入幀寫(xiě)入相應(yīng)的存儲(chǔ)器更替已被讀取的幀數(shù)據(jù)，并依次循環(huán)完成廣角視頻數(shù)據(jù)的展開(kāi)。

本實(shí)施例提供的方法中，針對(duì)同步后的每一路廣角視頻數(shù)據(jù)均是逐幀寫(xiě)入各自對(duì)應(yīng)的存儲(chǔ)器，因此，將當(dāng)前要寫(xiě)入到存儲(chǔ)器的圖像幀稱為當(dāng)前寫(xiě)入幀。圖像幀中包含行場(chǎng)有效信號(hào)和行場(chǎng)無(wú)效信號(hào)，行場(chǎng)有效信號(hào)標(biāo)記出圖像幀的行場(chǎng)有效時(shí)間，行場(chǎng)無(wú)效信號(hào)標(biāo)記出圖像幀的行場(chǎng)消隱區(qū)間(或稱行場(chǎng)無(wú)效時(shí)間)。本申請(qǐng)實(shí)施例中，在當(dāng)前寫(xiě)入幀的行場(chǎng)有效時(shí)間內(nèi)，執(zhí)行幀數(shù)據(jù)的寫(xiě)入，在當(dāng)前寫(xiě)入幀的行場(chǎng)無(wú)效時(shí)間內(nèi)，執(zhí)行上一幀的像素點(diǎn)的讀取，能夠高效利用存儲(chǔ)器帶寬，保證了拼接前后的幀率一致，即保證了拼接的實(shí)時(shí)性。

換句話說(shuō)，也就是使當(dāng)前寫(xiě)入幀寫(xiě)入存儲(chǔ)器的寫(xiě)操作使能信號(hào)與當(dāng)前寫(xiě)入幀行場(chǎng)有效信號(hào)保持一致，使讀取上一幀像素點(diǎn)操作的讀使能信號(hào)與當(dāng)前寫(xiě)入幀的行場(chǎng)無(wú)效信號(hào)保持一致。

本實(shí)施例提供的方法中，在當(dāng)前寫(xiě)入幀的行場(chǎng)有效時(shí)間到來(lái)后，向存儲(chǔ)器中寫(xiě)入當(dāng)前幀的有效圖像數(shù)據(jù)，完成有效圖像數(shù)據(jù)的寫(xiě)入后，行場(chǎng)有效時(shí)間結(jié)束，繼而行場(chǎng)消隱區(qū)間到來(lái)，在該段時(shí)間內(nèi)，讀取坐標(biāo)，并根據(jù)坐標(biāo)讀取已寫(xiě)入存儲(chǔ)器的當(dāng)前寫(xiě)入幀的上一幀中的像素點(diǎn)，至此完成了一個(gè)讀寫(xiě)周期，并以此往復(fù)，在完成當(dāng)前寫(xiě)入幀的寫(xiě)入和當(dāng)前寫(xiě)入幀的上一幀的展開(kāi)后，將當(dāng)前寫(xiě)入幀的下一幀作為下一個(gè)當(dāng)前寫(xiě)入幀寫(xiě)入存儲(chǔ)器，刷新更替已被讀取的上一幀，此時(shí)剛剛被寫(xiě)入存儲(chǔ)器的圖像幀將作為上一幀被展開(kāi)。

基于上述，由于本實(shí)施例中是逐幀寫(xiě)入存儲(chǔ)器，因此，在向存儲(chǔ)器寫(xiě)入第一幀時(shí)，也就是寫(xiě)入同步后的每一路廣角視頻數(shù)據(jù)第一幀時(shí)，存儲(chǔ)器中還沒(méi)有數(shù)據(jù)，因此，對(duì)于對(duì)同步后的每一路廣角視頻數(shù)據(jù)的第一幀，在第一幀的行場(chǎng)有效時(shí)間內(nèi)，執(zhí)行將該第一幀寫(xiě)入對(duì)應(yīng)的存儲(chǔ)器的操作；在第一幀的行場(chǎng)消隱區(qū)間內(nèi)，不執(zhí)行讀取操作。在完成第一幀的寫(xiě)入后，將第二幀作為當(dāng)前寫(xiě)入幀時(shí)，按照在當(dāng)前寫(xiě)入幀的行場(chǎng)有效時(shí)間內(nèi)，執(zhí)行幀數(shù)據(jù)的寫(xiě)入，在當(dāng)前寫(xiě)入幀的行場(chǎng)無(wú)效時(shí)間內(nèi)，執(zhí)行上一幀的像素點(diǎn)的讀取。

本實(shí)施例提供的方法中，在將每一路廣角視頻數(shù)據(jù)展開(kāi)后，對(duì)展開(kāi)后的多路廣角視頻數(shù)據(jù)的重疊區(qū)域進(jìn)行拼接融合處理，得到全景圖像或全景視頻。

融合的方法如采用小波融合、加權(quán)平均融合等。例如，對(duì)雙鏡頭的拍照終端拍攝的兩路廣角視頻數(shù)據(jù)，對(duì)兩個(gè)展開(kāi)后的視頻圖像進(jìn)行重疊區(qū)域的融合處理，兩個(gè)視頻圖像經(jīng)融合后合二為一，形成拼接好的全景視頻圖像。

進(jìn)一步，本實(shí)施例提供的方法中，在對(duì)多路廣角視頻數(shù)據(jù)的重疊區(qū)域進(jìn)行拼接融合處理得到全景圖像或全景視頻后，還將拼接后的全景視頻或全景圖像編碼壓縮為標(biāo)準(zhǔn)的數(shù)據(jù)格式，并將壓縮后的全景視頻或全景圖像傳輸給后端設(shè)備進(jìn)行存儲(chǔ)或顯示。例如，可以通過(guò)USB接口、wifi接口等數(shù)據(jù)傳輸接口傳輸壓縮后的全景視頻或全景圖像。

如圖2所示，本申請(qǐng)還提供了一種全景視頻實(shí)時(shí)拼接裝置，應(yīng)用于拍攝終端中，該拍攝終端包含多個(gè)圖像采集單元，所述裝置包括：

一輸入單元，用于接收多路圖像采集單元拍攝得到的多路廣角視頻數(shù)據(jù)；

一同步單元，用于對(duì)所述輸入單元接收的多路廣角視頻數(shù)據(jù)進(jìn)行同步處理；

一存儲(chǔ)控制單元，用于將所述同步單元同步后的每一路廣角視頻數(shù)據(jù)寫(xiě)入存儲(chǔ)器；

一全景拼接單元，用于展開(kāi)廣角視頻數(shù)據(jù)實(shí)現(xiàn)畸變校正，并對(duì)展開(kāi)后的多路廣角視頻數(shù)據(jù)進(jìn)行重疊區(qū)域的融合拼接處理。

進(jìn)一步，存儲(chǔ)控制單元，具體用于將同步后的每一路廣角視頻數(shù)據(jù)逐幀寫(xiě)入與每一路廣角視頻數(shù)據(jù)一一對(duì)應(yīng)的存儲(chǔ)器中，所述對(duì)應(yīng)的存儲(chǔ)器中預(yù)先存儲(chǔ)有用于對(duì)相應(yīng)廣角視頻數(shù)據(jù)進(jìn)行畸變校正的圖像坐標(biāo)信息；

所述全景拼接單元，具體用于在所述存儲(chǔ)控制單元逐幀將廣角視頻數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的存儲(chǔ)器的同時(shí)，從對(duì)應(yīng)的存儲(chǔ)器中讀取圖像坐標(biāo)信息中的坐標(biāo)，并從已寫(xiě)入該存儲(chǔ)器的廣角視頻數(shù)據(jù)中讀取出坐標(biāo)對(duì)應(yīng)的像素點(diǎn)從而展開(kāi)廣角視頻數(shù)據(jù)，實(shí)現(xiàn)廣角視頻數(shù)據(jù)的畸變校正。

進(jìn)一步，所述存儲(chǔ)控制單元，具體用于針對(duì)同步后的每一路廣角視頻數(shù)據(jù)，在當(dāng)前寫(xiě)入幀的行場(chǎng)有效時(shí)間內(nèi)，執(zhí)行將幀數(shù)據(jù)寫(xiě)入對(duì)應(yīng)的存儲(chǔ)器的操作；

所述全景拼接單元，具體用于在當(dāng)前寫(xiě)入幀的行場(chǎng)消隱區(qū)間內(nèi)，讀取坐標(biāo)，并根據(jù)坐標(biāo)讀取已寫(xiě)入所述存儲(chǔ)器的所述當(dāng)前寫(xiě)入幀的上一幀中的像素點(diǎn)；

在完成當(dāng)前寫(xiě)入幀的寫(xiě)入和所述上一幀的讀取后，將下一幀作為當(dāng)前寫(xiě)入幀寫(xiě)入相應(yīng)的存儲(chǔ)器更替已被讀取的幀數(shù)據(jù)，并依次循環(huán)完成廣角視頻數(shù)據(jù)的展開(kāi)。

進(jìn)一步，所述存儲(chǔ)控制單元，具體用于對(duì)同步后的每一路廣角視頻數(shù)據(jù)的第一幀，在第一幀的行場(chǎng)有效時(shí)間內(nèi)，執(zhí)行將該第一幀寫(xiě)入對(duì)應(yīng)的存儲(chǔ)器的操作；

所述全景拼接單元，具體用于在第一幀的行場(chǎng)消隱區(qū)間內(nèi)，不執(zhí)行讀取操作。

進(jìn)一步，所述同步單元對(duì)所述多路廣角視頻數(shù)據(jù)進(jìn)行同步處理，包括：

將所述多路廣角視頻數(shù)據(jù)分別寫(xiě)入緩存，在延遲一指定時(shí)間閾值后，在同一時(shí)刻將多路廣角視頻數(shù)據(jù)讀出，實(shí)現(xiàn)所述多路廣角視頻數(shù)據(jù)的同步。

另外，在本申請(qǐng)的一可選實(shí)施例中，該全景視頻實(shí)時(shí)拼接裝置，還包括一視頻壓縮單元，用于將所述全景拼接單元拼接后的全景視頻圖像編碼壓縮為標(biāo)準(zhǔn)的視頻數(shù)據(jù)。

在本申請(qǐng)的另一可選實(shí)施例中，該全景視頻實(shí)時(shí)拼接裝置，還包括一輸出單元，用于將所述視頻壓縮單元壓縮后的視頻數(shù)據(jù)傳輸給后端設(shè)備進(jìn)行存儲(chǔ)或者顯示。

雖然本發(fā)明所揭露的實(shí)施方式如上，但所述的內(nèi)容僅為便于理解本發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實(shí)施的形式及細(xì)節(jié)上進(jìn)行任何的修改與變化，但本發(fā)明的專利保護(hù)范圍，仍須以所附的權(quán)利要求書(shū)所界定的范圍為準(zhǔn)。