本發(fā)明屬于信息處理技術(shù)領(lǐng)域，具體涉及一種多視頻實(shí)時(shí)拼接方法及裝置。

背景技術(shù)：

隨著網(wǎng)絡(luò)越來越發(fā)達(dá)，人們在進(jìn)行社交、娛樂過程中，很多是通過網(wǎng)絡(luò)進(jìn)行信息交流。其中的視頻聊天或視頻直播尤其是同時(shí)顯示多路視頻的技術(shù)，極大地方便了人與人之間的信息溝通。另外，當(dāng)前的能夠同時(shí)顯示多路監(jiān)控視頻的技術(shù)也越來越受人們的青睞。

不管是顯示多路視頻的視頻聊天或者視頻監(jiān)控技術(shù)，人們的需求不僅僅是將多路視頻進(jìn)行同時(shí)顯示，也不限于要保證每個(gè)畫面的清晰度，更是對(duì)多路視頻進(jìn)行同時(shí)顯示的實(shí)時(shí)性提出了很高的要求，而當(dāng)前的視頻拼接技術(shù)存在流程復(fù)雜、效率較低、靈活性不大等不足，很大程度地限制了實(shí)時(shí)性的提高。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述的技術(shù)問題，本發(fā)明提供一種多視頻實(shí)時(shí)拼接方法及裝置，該拼接方法流程簡單、效率較高、靈活性較大，可以很大程度地提高視頻拼接的實(shí)時(shí)性。

一方面，本發(fā)明提供一種多視頻實(shí)時(shí)拼接方法，其包括以下步驟：

接收至少包含第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息；所述第一視頻數(shù)據(jù)包括第一視頻當(dāng)前圖像信息，所述第二視頻數(shù)據(jù)包括第二視頻當(dāng)前圖像信息；

將所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別存儲(chǔ)到與其對(duì)應(yīng)的第一緩沖區(qū)、第二緩沖區(qū)；

讀取所述第一緩沖區(qū)中的所述第一視頻數(shù)據(jù)，并對(duì)所述第一視頻數(shù)據(jù)進(jìn)行解碼，得到包含第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)；讀取所述第二緩沖區(qū)中的所述第二視頻數(shù)據(jù)，并對(duì)所述第二視頻數(shù)據(jù)進(jìn)行解碼，得到包含第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)；

拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息，得到第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的當(dāng)前拼接圖像信息。

優(yōu)選的是，所述的多視頻實(shí)時(shí)拼接方法中，所述第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息，所述第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息；所述當(dāng)前拼接圖像信息包括所述第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息和所述第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息的合并像素YUV數(shù)據(jù)信息；所述像素YUV數(shù)據(jù)信息包括像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)。

進(jìn)一步優(yōu)選的是，所述多視頻實(shí)時(shí)拼接方法中，所述合并像素YUV數(shù)據(jù)信息是水平合并像素YUV數(shù)據(jù)信息，獲得水平合并像素YUV數(shù)據(jù)信息的步驟包括：

從第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，從第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第二視頻當(dāng)前圖像的每一行像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)；

將所述第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的相對(duì)應(yīng)行像素的第二明亮度數(shù)據(jù)進(jìn)行水平合并，得到水平合并像素明亮度數(shù)據(jù)；

將所述第一視頻當(dāng)前圖像的每一行像素的第一色度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的相對(duì)應(yīng)行像素的第二色度數(shù)據(jù)進(jìn)行水平合并，得到水平合并像素色度數(shù)據(jù)。

較佳地，所述合并像素YUV數(shù)據(jù)信息是垂直合并像素YUV數(shù)據(jù)信息，獲得垂直合并像素YUV數(shù)據(jù)信息的步驟包括：

從第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，從第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)；

將所述第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)進(jìn)行垂直合并，得到垂直合并像素明亮度數(shù)據(jù)；

將所述第一視頻當(dāng)前圖像的全部像素的第一色度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的全部像素的第二色度數(shù)據(jù)進(jìn)行垂直合并，得到垂直合并像素色度數(shù)據(jù)。

優(yōu)選的是，所述第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的形狀尺寸，所述第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的形狀尺寸；拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息之前，還包括：

判斷第一視頻當(dāng)前圖像的形狀尺寸和第二視頻當(dāng)前圖像的形狀尺寸是否一致；

如果第一視頻當(dāng)前圖像的形狀尺寸和第二視頻當(dāng)前圖像的形狀尺寸不一致，則將所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像中形狀尺寸較大的圖像進(jìn)行剪裁處理或者將所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像中形狀尺寸較小的圖像進(jìn)行放大處理，使得所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的形狀尺寸保持一致。

另一方面，本發(fā)明還提供一種多視頻實(shí)時(shí)拼接裝置，其包括：

接收模塊，用于接收至少包含第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息；所述第一視頻數(shù)據(jù)包括第一視頻當(dāng)前圖像信息，所述第二視頻數(shù)據(jù)包括第二視頻當(dāng)前圖像信息；

存儲(chǔ)模塊，用于將所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別存儲(chǔ)到與其對(duì)應(yīng)的第一緩沖區(qū)、第二緩沖區(qū)；

解碼模塊，用于讀取所述第一緩沖區(qū)中的所述第一視頻數(shù)據(jù)，并對(duì)所述第一視頻數(shù)據(jù)進(jìn)行解碼，得到包含第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)；讀取所述第二緩沖區(qū)中的所述第二視頻數(shù)據(jù)，并對(duì)所述第二視頻數(shù)據(jù)進(jìn)行解碼，得到包含第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)；

拼接模塊，用于拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息，得到第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的當(dāng)前拼接圖像信息。

優(yōu)選的是，所述第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息，所述第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息；所述當(dāng)前拼接圖像信息包括所述第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息和所述第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息的合并像素YUV數(shù)據(jù)信息；所述像素YUV數(shù)據(jù)信息包括像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)。

所述多視頻實(shí)時(shí)拼接裝置，較佳的是，所述合并像素YUV數(shù)據(jù)信息是水平合并像素YUV數(shù)據(jù)信息，且所述拼接模塊包括：

獲得單元，用于從第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，從第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第二視頻當(dāng)前圖像的每一行像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)；

水平合并單元，用于將所述第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的相對(duì)應(yīng)行像素的第二明亮度數(shù)據(jù)進(jìn)行水平合并，得到水平合并像素明亮度數(shù)據(jù)；

所述水平合并單元，還用于將所述第一視頻當(dāng)前圖像的每一行像素的第一色度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的相對(duì)應(yīng)行像素的第二色度數(shù)據(jù)進(jìn)行水平合并，得到水平合并像素色度數(shù)據(jù)。

所述多視頻實(shí)時(shí)拼接方法，優(yōu)選的是，所述合并像素YUV數(shù)據(jù)信息是垂直合并像素YUV數(shù)據(jù)信息，且所述拼接模塊包括：

獲得單元，用于從第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，從第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)；

垂直合并單元，用于將所述第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)進(jìn)行垂直合并，得到垂直合并像素明亮度數(shù)據(jù)；

所述垂直合并單元，還用于將將所述第一視頻當(dāng)前圖像的全部像素的第一色度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的全部像素的第二色度數(shù)據(jù)進(jìn)行垂直合并，得到垂直合并像素色度數(shù)據(jù)。

優(yōu)選的是，所述第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的形狀尺寸，所述第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的形狀尺寸；且所述多視頻實(shí)時(shí)拼接裝置還包括：

判斷模塊，用于拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息之前，判斷第一視頻當(dāng)前圖像的形狀尺寸和第二視頻當(dāng)前圖像的形狀尺寸是否一致；

處理模塊，用于如果第一視頻當(dāng)前圖像的形狀尺寸和第二視頻當(dāng)前圖像的形狀尺寸不一致，則將所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像中形狀尺寸較大的圖像進(jìn)行剪裁處理或者將所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像中形狀尺寸較小的圖像進(jìn)行放大處理，使得所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的形狀尺寸保持一致。

本發(fā)明實(shí)施例中的多視頻實(shí)時(shí)拼接方法，可以將視頻采集端采集到的當(dāng)前圖像信息實(shí)時(shí)發(fā)送給服務(wù)器，服務(wù)器收到第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息后，為了加快處理速度，先將第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別存儲(chǔ)到與其對(duì)應(yīng)的緩沖區(qū)中，以方便及時(shí)讀取到第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)；經(jīng)過解碼，可以得到第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)和第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)，得到的解碼數(shù)據(jù)可用于對(duì)圖像信息進(jìn)行拼接；經(jīng)過拼接，可以得到第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的當(dāng)前拼接圖像信息，通過對(duì)第一視頻和第二視頻多個(gè)連續(xù)的當(dāng)前圖像進(jìn)行拼接，即可得到連續(xù)的拼接圖像信息，即可實(shí)現(xiàn)對(duì)第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)拼接。本發(fā)明實(shí)施例拼接流程簡單、效率較高、靈活性較大，很大程度地提高了多視頻拼接的實(shí)時(shí)性。

附圖說明

圖1為本發(fā)明一優(yōu)選實(shí)施例中的多視頻實(shí)時(shí)拼接方法的流程圖。

圖2為本發(fā)明一優(yōu)選實(shí)施例中的基于圖1所示的視頻實(shí)時(shí)拼接方法的部分流程圖。

圖3為本發(fā)明另一優(yōu)選實(shí)施例中的基于圖1所示的視頻實(shí)時(shí)拼接方法的部分流程圖。

圖4為本發(fā)明另一優(yōu)選實(shí)施例中的基于圖1所示的視頻實(shí)時(shí)拼接方法的部分流程圖。

圖5為本發(fā)明一優(yōu)選實(shí)施例中的多視頻實(shí)時(shí)拼接裝置的結(jié)構(gòu)圖。

圖6為本發(fā)明一優(yōu)選實(shí)施例中的基于圖1所示的多視頻實(shí)時(shí)拼接裝置的結(jié)構(gòu)圖。

圖7為本發(fā)明另一優(yōu)選實(shí)施例中的基于圖1所示的多視頻實(shí)時(shí)拼接裝置的結(jié)構(gòu)圖。

圖8為本發(fā)明另一優(yōu)選實(shí)施例中的基于圖1所示的多視頻實(shí)時(shí)拼接裝置的結(jié)構(gòu)圖。

具體實(shí)施方式

為了更加清楚地了解本發(fā)明的技術(shù)方案，下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)介紹。本發(fā)明的實(shí)施例具有示例性的作用，本領(lǐng)域技術(shù)人員在本發(fā)明實(shí)施例基礎(chǔ)上做出的無實(shí)質(zhì)性的改進(jìn)，都應(yīng)屬于本發(fā)明的保護(hù)范圍。

如圖1所述的多視頻實(shí)時(shí)拼接方法，其可應(yīng)用于服務(wù)器端，包括以下步驟：

S101：接收至少包含第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息；所述第一視頻數(shù)據(jù)包括第一視頻當(dāng)前圖像信息，所述第二視頻數(shù)據(jù)包括第二視頻當(dāng)前圖像信息。

當(dāng)視頻采集端采集到視頻數(shù)據(jù)時(shí)，需要上傳給服務(wù)器，經(jīng)服務(wù)器對(duì)當(dāng)前視頻數(shù)據(jù)的處理后，發(fā)送給視頻顯示端，由視頻顯示端同時(shí)顯示多路視頻。具體可以是：當(dāng)?shù)谝挥脩襞c第二用戶進(jìn)行視頻溝通時(shí)，由第一客戶端采集第一視頻數(shù)據(jù)，并將第一視頻數(shù)據(jù)上傳給服務(wù)器，由第二客戶端采集第二視頻數(shù)據(jù)，并將第二視頻數(shù)據(jù)上傳給服務(wù)器，服務(wù)器接收到第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息后，對(duì)視頻數(shù)據(jù)進(jìn)行處理，再將處理后的視頻信息分別發(fā)送給第一客戶端和第二客戶端。當(dāng)然，也可以兩個(gè)以上的用戶同時(shí)進(jìn)行視頻溝通?；蛘撸谶M(jìn)行視頻監(jiān)控時(shí)，由多個(gè)監(jiān)控端分別采集多個(gè)視頻數(shù)據(jù)，并分別將采集到的多個(gè)視頻數(shù)據(jù)上傳給服務(wù)器，服務(wù)器接收到多個(gè)視頻數(shù)據(jù)后，對(duì)視頻數(shù)據(jù)進(jìn)行處理，再將處理后的視頻信息發(fā)送給視頻顯示端，由視頻顯示端同時(shí)顯示多路視頻。

所述第一視頻當(dāng)前圖像信息，是指第一視頻采集端當(dāng)前采集到的圖像信息；所述第二視頻當(dāng)前圖像信息，是指第二視頻采集端當(dāng)前采集到的圖像信息。視頻采集端把當(dāng)前采集到的圖像信息發(fā)送給服務(wù)器，經(jīng)服務(wù)器處理后，可以在顯示端實(shí)時(shí)顯示多個(gè)采集端采集到的圖像信息。

通常，為了加快傳輸速度及實(shí)時(shí)顯示，每個(gè)采集端在發(fā)送視頻數(shù)據(jù)時(shí)，可以只包含當(dāng)前圖像信息，當(dāng)然為了滿足不同需求，視頻數(shù)據(jù)中也可以包含除當(dāng)前圖像信息之外的其他圖像信息。另外，服務(wù)器可以同時(shí)接收兩路視頻信息或三路視頻信息或者更多的視頻信息。

S102：將所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別存儲(chǔ)到與其對(duì)應(yīng)的第一緩沖區(qū)、第二緩沖區(qū)。

可以事先為第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分配相對(duì)應(yīng)的緩沖區(qū)，當(dāng)服務(wù)器接收到第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)后，將第一視頻數(shù)據(jù)存儲(chǔ)到第一緩沖區(qū)，將第二視頻數(shù)據(jù)存儲(chǔ)到第二緩沖區(qū)，以備服務(wù)器拼接視頻數(shù)據(jù)之前，快速從緩沖區(qū)中讀取相對(duì)應(yīng)的視頻數(shù)據(jù)。

S103：讀取所述第一緩沖區(qū)中的所述第一視頻數(shù)據(jù)，并對(duì)所述第一視頻數(shù)據(jù)進(jìn)行解碼，得到包含第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)；讀取所述第二緩沖區(qū)中的所述第二視頻數(shù)據(jù)，并對(duì)所述第二視頻數(shù)據(jù)進(jìn)行解碼，得到包含第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)。

為了加快采集端與服務(wù)器之間的傳輸速率，采集端在進(jìn)行發(fā)送視頻數(shù)據(jù)之前，通常對(duì)視頻數(shù)據(jù)進(jìn)行壓縮處理，如：采集端采集到視頻數(shù)據(jù)后，可以把采集到的視頻數(shù)據(jù)轉(zhuǎn)換成I420格式（即YUV標(biāo)準(zhǔn)格式4：2：0）或YV12格式，然后對(duì)I420格式或YV12格式的YUV數(shù)據(jù)進(jìn)行編碼壓縮，具體可以壓縮成H264碼流，并對(duì)H264碼流進(jìn)行RTP封裝，然后以RTP協(xié)議發(fā)送到服務(wù)器。H264，是一種高度壓縮數(shù)字視頻編解碼器標(biāo)準(zhǔn)。RTP（Real-time Transport Protocol，實(shí)時(shí)傳輸協(xié)議）是一個(gè)網(wǎng)絡(luò)傳輸協(xié)議。YUV數(shù)據(jù)中的“Y” 表示明亮度（Luminance或Luma），也就是灰階值；而“U”和“V” 表示的則是色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用于指定像素的顏色。

經(jīng)服務(wù)器解碼獲得的第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)和第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)，是采集端壓縮之前的格式數(shù)據(jù)。如果采集端是對(duì)I420格式或YV12格式的YUV數(shù)據(jù)進(jìn)行編碼壓縮，經(jīng)服務(wù)器解碼獲得的第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)和第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)是I420格式或YV12格式的YUV數(shù)據(jù)。

S104：拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息，得到第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的當(dāng)前拼接圖像信息。

拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息，具體可以是將第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息進(jìn)行水平拼接或者垂直拼接或者對(duì)角拼接或者其他形式的拼接。

所述第一視頻數(shù)據(jù)中通常還包括第一視頻當(dāng)前圖像的來源信息，所述第二視頻數(shù)據(jù)中通常還包括第二視頻當(dāng)前圖像的來源信息。一般，在拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息之前，還包括：根據(jù)第一視頻當(dāng)前圖像的來源信息和第二視頻當(dāng)前圖像的來源信息及預(yù)先設(shè)定的編排規(guī)則，編排所述當(dāng)前拼接圖像信息中所述第一視頻當(dāng)前圖像信息和所述第二視頻當(dāng)前圖像信息的順序。所述預(yù)先設(shè)定的編排規(guī)則，通常是根據(jù)具體情況而設(shè)定的規(guī)則，例如：若是水平拼接，預(yù)先設(shè)定的編排規(guī)則可以是：將第一視頻當(dāng)前圖像設(shè)置在左邊顯示，將第二視頻當(dāng)前圖像設(shè)置在右邊顯示；若是垂直拼接，預(yù)先設(shè)定的編排規(guī)則可以是：將第一視頻當(dāng)前圖像設(shè)置在上邊顯示，將第二視頻當(dāng)前圖像設(shè)置在下邊顯示；若是對(duì)角拼接，預(yù)先設(shè)定的編排規(guī)則可以是：將第一視頻當(dāng)前圖像設(shè)置在左上角顯示，將第二視頻當(dāng)前圖像設(shè)置在右下角顯示。當(dāng)然，這里的“左”、“右”、“上”、“下”、“左上角”、“右下角”都是第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像之間相對(duì)而言的。

另外，若第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息進(jìn)行水平拼接，則得到的當(dāng)前拼接圖像信息是水平拼接圖像信息，服務(wù)器將該水平拼接圖像信息傳輸給視頻顯示端后，在視頻顯示端可以同時(shí)顯示出第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像，且第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像是進(jìn)行水平排列的。若第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息進(jìn)行垂直拼接，則得到的當(dāng)前拼接圖像信息是垂直拼接圖像信息，服務(wù)器將該垂直拼接圖像信息傳輸給視頻顯示端后，在視頻顯示端可以同時(shí)顯示出第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像，且第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像是進(jìn)行垂直排列的。

通常為了方便對(duì)第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息進(jìn)行解碼，在對(duì)第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息進(jìn)行編碼時(shí)，應(yīng)采用相同的編碼方法，以便于采用相同的解碼方法進(jìn)行解碼，可以加快解碼效率，進(jìn)而進(jìn)一步提高拼接效率。另外，第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的分辨率要相同，以便于采用相同的編碼方法。

本發(fā)明實(shí)施例中的服務(wù)器具體可以用兩個(gè)線程來處理，分別是主線程與子線程；主線程負(fù)責(zé)接收至少包含第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息，并將所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別存儲(chǔ)到與其對(duì)應(yīng)的第一緩沖區(qū)、第二緩沖區(qū)。子線程負(fù)責(zé)視頻拼接處理，可以包括：從主線程的第一緩沖區(qū)、第二緩沖區(qū)中分別讀取第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)數(shù)據(jù)，并對(duì)第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別進(jìn)行解封裝，得到第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)和第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)，通過拼接技術(shù)將第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)和第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)進(jìn)行拼接，可以得到第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的當(dāng)前拼接圖像信息。

本發(fā)明實(shí)施例中的多視頻實(shí)時(shí)拼接方法，其可以將視頻采集端采集到的當(dāng)前圖像信息實(shí)時(shí)發(fā)送給服務(wù)器，服務(wù)器收到第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息后，為了加快處理速度，先將第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別存儲(chǔ)到與其對(duì)應(yīng)的緩沖區(qū)中，以方便及時(shí)讀取到第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)；經(jīng)過服務(wù)器解碼，可以得到第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)和第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)，得到的解碼數(shù)據(jù)可用于對(duì)圖像信息進(jìn)行拼接；經(jīng)過拼接，可以得到第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的當(dāng)前拼接圖像信息，通過對(duì)第一視頻和第二視頻多個(gè)連續(xù)的當(dāng)前圖像進(jìn)行拼接，即可得到連續(xù)的拼接圖像信息，即可實(shí)現(xiàn)對(duì)第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)拼接。本發(fā)明實(shí)施例拼接流程簡單、效率較高、靈活性較大，很大程度地提高了多視頻拼接的實(shí)時(shí)性。

在圖1所示的多視頻實(shí)時(shí)拼接方法的基礎(chǔ)上，較佳地，所述第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息，所述第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息；所述當(dāng)前拼接圖像信息包括所述第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息和所述第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息的合并像素YUV數(shù)據(jù)信息；所述像素YUV數(shù)據(jù)信息包括像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)。

服務(wù)器接收到的第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息、第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息，即可以是：采集端把采集到的第一視頻（或第二視頻）當(dāng)前圖像的像素?cái)?shù)據(jù)信息轉(zhuǎn)換成I420格式（即YUV標(biāo)準(zhǔn)格式4：2：0）或YV12格式，即是第一視頻（或第二視頻）當(dāng)前圖像的像素YUV數(shù)據(jù)信息，然后對(duì)第一視頻（或第二視頻）當(dāng)前圖像的像素YUV數(shù)據(jù)信息進(jìn)行編碼壓縮，將壓縮后的第一視頻（或第二視頻）當(dāng)前圖像的像素YUV數(shù)據(jù)信息傳送給服務(wù)器，即是采用壓縮后的像素YUV數(shù)據(jù)信息進(jìn)行傳輸，相對(duì)于采用RGB格式的數(shù)據(jù)進(jìn)行傳輸，減小了數(shù)據(jù)大小，可以提高傳輸速率，進(jìn)一步提高拼接的實(shí)時(shí)性。

進(jìn)一步，在圖1所示的多視頻實(shí)時(shí)拼接方法的基礎(chǔ)上，如圖2所示，其中，所述合并像素YUV數(shù)據(jù)信息是水平合并像素YUV數(shù)據(jù)信息，獲得水平合并像素YUV數(shù)據(jù)信息的步驟包括：

S201：從第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，從第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第二視頻當(dāng)前圖像的每一行像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)。

其中，第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，是指每一行像素中的每一個(gè)像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)；第二視頻當(dāng)前圖像的每一行像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)，是指每一行像素中的每一個(gè)像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)。如：第一視頻當(dāng)前圖像的像素是704*288，一般表明該圖像的像素是288行，每行有704個(gè)像素，而該第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，是指每一行像素中的704個(gè)像素的各自的明亮度數(shù)據(jù)和色度數(shù)據(jù)。

S202：將所述第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的相對(duì)應(yīng)行像素的第二明亮度數(shù)據(jù)進(jìn)行水平合并，得到水平合并像素明亮度數(shù)據(jù)。

所述相對(duì)應(yīng)行，是依據(jù)預(yù)先設(shè)定的行規(guī)則將第一視頻當(dāng)前圖像的行像素與第二視頻當(dāng)前圖像的行像素進(jìn)行相對(duì)應(yīng)；預(yù)先設(shè)定的行規(guī)則可以是：如果第一視頻當(dāng)前圖像的像素行數(shù)與第二視頻當(dāng)前圖像的像素行數(shù)相同，則第一視頻當(dāng)前圖像的第一行像素與第二視頻當(dāng)前圖像的第一行像素相對(duì)應(yīng)、第一視頻當(dāng)前圖像的第二行像素與第二視頻當(dāng)前圖像的第二行像素相對(duì)應(yīng)、第一視頻當(dāng)前圖像的第三行像素與第二視頻當(dāng)前圖像的第三行像素相對(duì)應(yīng)，以此類推，直到第一視頻當(dāng)前圖像的最后一行像素與第二視頻當(dāng)前圖像的最后一行像素相對(duì)應(yīng)。或者，如果第一視頻當(dāng)前圖像的像素行數(shù)大于第二視頻當(dāng)前圖像的像素行數(shù)，則第一視頻當(dāng)前圖像的第一行像素與第二視頻當(dāng)前圖像的第一行像素相對(duì)應(yīng)、第一視頻當(dāng)前圖像的第二行像素與第二視頻當(dāng)前圖像的第二行像素相對(duì)應(yīng)，以此類推，直到第一視頻當(dāng)前圖像的第N行像素與第二視頻當(dāng)前圖像的最后一行像素相對(duì)應(yīng)，此時(shí)，第一視頻當(dāng)前圖像的第N+1行像素、第N+2行像素……第一視頻當(dāng)前圖像的最后一行像素不用進(jìn)行水平合并，這些行像素可以直接作為水平合并像素明亮度數(shù)據(jù)使用，以便于能夠?qū)⑺龅谝灰曨l當(dāng)前圖像完整地顯示出來；其中N是第二視頻當(dāng)前圖像的像素行數(shù)?；蛘?，如果第一視頻當(dāng)前圖像的像素行數(shù)大于第二視頻當(dāng)前圖像的像素行數(shù)，則第一視頻當(dāng)前圖像的第M行像素與第二視頻當(dāng)前圖像的第一行像素相對(duì)應(yīng)、第一視頻當(dāng)前圖像的第M+1行像素與第二視頻當(dāng)前圖像的第二行像素相對(duì)應(yīng)，以此類推，直到第一視頻當(dāng)前圖像的第M+N行像素與第二視頻當(dāng)前圖像的最后一行像素相對(duì)應(yīng)，此時(shí)，第一視頻當(dāng)前圖像的第一行像素、第一視頻當(dāng)前圖像的第二行像素……第一視頻當(dāng)前圖像的第M-1行像素以及第一視頻當(dāng)前圖像的第M+N+1行像素、第一視頻當(dāng)前圖像的第M+N+2行像素……第一視頻當(dāng)前圖像的最后一行像素，這些行像素不用進(jìn)行水平合并，可以直接作為水平合并像素明亮度數(shù)據(jù)使用，以便于能夠?qū)⑺龅谝灰曨l當(dāng)前圖像完整地顯示出來；其中N是第二視頻當(dāng)前圖像的像素行數(shù)，M是根據(jù)需要設(shè)定的需要與第二視頻當(dāng)前圖像的第一行像素相對(duì)應(yīng)的行數(shù)。當(dāng)然，上述的行規(guī)則也可以適用于第二視頻當(dāng)前圖像的像素行數(shù)大于第一視頻當(dāng)前圖像的像素行數(shù),且根據(jù)需要也可設(shè)定其他行規(guī)則。

所述水平合并像素明亮度數(shù)據(jù)，是指在水平方向上增加了像素的明亮度數(shù)據(jù)。例如：第一視頻當(dāng)前圖像的像素是704*288，且第一視頻當(dāng)前圖像的第一行像素的明亮度數(shù)據(jù)分別是a1、a2、a3……a704；第二視頻當(dāng)前圖像的像素是704*288，且第二視頻當(dāng)前圖像的第一行像素的明亮度數(shù)據(jù)分別是b1、b2、b3……b704；經(jīng)水平合并后，得到的第一行水平合并像素明亮度數(shù)據(jù)為：a1、a2、a3……a704、b1、b2、b3……b704；據(jù)此，可以得到第二行水平合并像素明亮度數(shù)據(jù)、第三行水平合并像素明亮度數(shù)據(jù)等等。

S203：將所述第一視頻當(dāng)前圖像的每一行像素的第一色度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的相對(duì)應(yīng)行像素的第二色度數(shù)據(jù)進(jìn)行水平合并，得到水平合并像素色度數(shù)據(jù)。

所述水平合并像素色度數(shù)據(jù)，是指在水平方向上增加了像素的色度數(shù)據(jù)。例如：第一視頻當(dāng)前圖像的像素是704*288，且第一視頻當(dāng)前圖像的第一行像素的色度數(shù)據(jù)分別是c1、c2、c3……c704；第二視頻當(dāng)前圖像的像素是704*288，且第二視頻當(dāng)前圖像的第一行像素的色度數(shù)據(jù)分別是d1、d2、d3……d704；經(jīng)水平合并后，得到的第一行水平合并像素色度數(shù)據(jù)：c1、c2、c3……c704、d1、d2、d3……d704，據(jù)此，可以得到第二行水平合并像素色度數(shù)據(jù)、第三行水平合并像素色度數(shù)據(jù)等等。

本發(fā)明實(shí)施例的多視頻實(shí)時(shí)拼接方法中采用的水平拼接，該拼接方法拼接出來的視頻圖像在高度方面是與拼接之前第一視頻當(dāng)前圖像與第二視頻當(dāng)前圖像中最高的那個(gè)圖像相同，在寬度方面是拼接之前第一視頻當(dāng)前圖像與第二視頻當(dāng)前圖像的寬度之和。本發(fā)明實(shí)施例拼接流程簡單、效率較高、靈活性較大，很大程度地提高了多視頻拼接的實(shí)時(shí)性，同時(shí)，本發(fā)明實(shí)施例的拼接方法拼接出來的視頻可以在顯示端屏幕高度不足以同時(shí)顯示第一視頻與第二視頻、且屏幕寬度可以同時(shí)顯示第一視頻與第二視頻時(shí)進(jìn)行拼接。

在圖1所示的多視頻實(shí)時(shí)拼接方法的基礎(chǔ)上，如圖3所示，所述合并像素YUV數(shù)據(jù)信息是垂直合并像素YUV數(shù)據(jù)信息，獲得垂直合并像素YUV數(shù)據(jù)信息的步驟包括：

S301：從第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，從第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)。

其中，第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，是包含該圖像中的每一個(gè)像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)；第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)，是包含該圖像中的每一個(gè)像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)。如：第一視頻當(dāng)前圖像的像素是704*288，一般可以表明該圖像的像素是704列，每列有288個(gè)像素，而該第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，是包含704*288個(gè)像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)。

S302：將所述第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)進(jìn)行垂直合并，得到垂直合并像素明亮度數(shù)據(jù)。

所述垂直合并像素明亮度數(shù)據(jù)，是指在垂直方向上增加了像素的明亮度數(shù)據(jù)。例如：第一視頻當(dāng)前圖像的像素是704*288，且第一視頻當(dāng)前圖像的全部像素的明亮度數(shù)據(jù)分別是e1、e2、e3……e704*288；第二視頻當(dāng)前圖像的像素是704*288，且第二視頻當(dāng)前圖像的全部像素的明亮度數(shù)據(jù)分別是f1、f2、f3……f704*288；經(jīng)垂直合并后，得到的垂直合并像素明亮度數(shù)據(jù)為：e1、e2、e3……e704*288、f1、f2、f3……f704*288。

S303：將所述第一視頻當(dāng)前圖像的全部像素的第一色度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的全部像素的第二色度數(shù)據(jù)進(jìn)行垂直合并，得到垂直合并像素色度數(shù)據(jù)。

所述垂直合并像素色度數(shù)據(jù)，是指在垂直方向上增加了像素的色度數(shù)據(jù)。例如：第一視頻當(dāng)前圖像的像素是704*288，且第一視頻當(dāng)前圖像的全部像素的色度數(shù)據(jù)分別是g1、g2、g3……g704*288；第二視頻當(dāng)前圖像的像素是704*288，且第二視頻當(dāng)前圖像的全部像素的色度數(shù)據(jù)分別是h1、h2、h3……h(huán)704*288；經(jīng)垂直合并后，得到的垂直合并像素色度數(shù)據(jù)：g1、g2、g3……g704*288、h1、h2、h3……h(huán)704*288。

本發(fā)明實(shí)施例的多視頻實(shí)時(shí)拼接方法中采用的垂直拼接，該拼接方法拼接出來的視頻圖像在寬度方面是與拼接之前第一視頻當(dāng)前圖像與第二視頻當(dāng)前圖像中最寬的那個(gè)圖像相同，在高度方面是拼接之前第一視頻當(dāng)前圖像與第二視頻當(dāng)前圖像的高度之和。本發(fā)明實(shí)施例拼接流程簡單、效率較高、靈活性較大，很大程度地提高了多視頻拼接的實(shí)時(shí)性，同時(shí)，本發(fā)明實(shí)施例的拼接方法拼接出來的視頻可以在顯示端屏幕寬度不足以同時(shí)顯示第一視頻與第二視頻、且屏幕高度可以同時(shí)顯示第一視頻與第二視頻時(shí)進(jìn)行拼接。

優(yōu)選的是，在圖1所示的多視頻實(shí)時(shí)拼接方法的基礎(chǔ)上，如圖4所示，所述第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的形狀尺寸，所述第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的形狀尺寸；拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息之前，還包括：

S1041：判斷第一視頻當(dāng)前圖像的形狀尺寸和第二視頻當(dāng)前圖像的形狀尺寸是否一致。

S1042：如果第一視頻當(dāng)前圖像的形狀尺寸和第二視頻當(dāng)前圖像的形狀尺寸不一致，則將所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像中形狀尺寸較大的圖像進(jìn)行剪裁處理或者將所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像中形狀尺寸較小的圖像進(jìn)行放大處理，使得所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的形狀尺寸保持一致。

通常，所述形狀尺寸包括圖像的高度和寬度，若圖像的高度一致，則可以進(jìn)行水平拼接；若圖像的寬度一致，則可以進(jìn)行垂直拼接。以避免拼接的圖像有凹凸結(jié)構(gòu)。若圖像的高度和寬度均不一致，則可以根據(jù)需要對(duì)圖像的形狀尺寸進(jìn)行調(diào)整。當(dāng)然，圖像的形狀尺寸也可以有其他形狀，如：圓形、三角形、梯形等，根據(jù)不同的拼接需求，可以對(duì)圖像的形狀尺寸進(jìn)行調(diào)整。

如圖5所示的多視頻實(shí)時(shí)拼接裝置，其包括：

接收模塊，用于接收至少包含第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息；所述第一視頻數(shù)據(jù)包括第一視頻當(dāng)前圖像信息，所述第二視頻數(shù)據(jù)包括第二視頻當(dāng)前圖像信息；

存儲(chǔ)模塊，用于將所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別存儲(chǔ)到與其對(duì)應(yīng)的第一緩沖區(qū)、第二緩沖區(qū)；

解碼模塊，用于讀取所述第一緩沖區(qū)中的所述第一視頻數(shù)據(jù)，并對(duì)所述第一視頻數(shù)據(jù)進(jìn)行解碼，得到包含第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)；讀取所述第二緩沖區(qū)中的所述第二視頻數(shù)據(jù)，并對(duì)所述第二視頻數(shù)據(jù)進(jìn)行解碼，得到包含第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)；

拼接模塊，用于拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息，得到第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的當(dāng)前拼接圖像信息。

所述第一視頻數(shù)據(jù)中通常還包括第一視頻當(dāng)前圖像的來源信息，所述第二視頻數(shù)據(jù)中通常還包括第二視頻當(dāng)前圖像的來源信息。一般，所述多視頻實(shí)時(shí)拼接裝置還包括：編排模塊，用于在拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息之前，根據(jù)第一視頻當(dāng)前圖像的來源信息和第二視頻當(dāng)前圖像的來源信息及預(yù)先設(shè)定的編排規(guī)則，編排所述當(dāng)前拼接圖像信息中所述第一視頻當(dāng)前圖像信息和所述第二視頻當(dāng)前圖像信息的順序。

本發(fā)明實(shí)施例中的多視頻實(shí)時(shí)拼接裝置，可以實(shí)現(xiàn)上述多視頻實(shí)時(shí)拼接方法，其可以將視頻采集端采集到的當(dāng)前圖像信息實(shí)時(shí)發(fā)送給服務(wù)器，服務(wù)器收到第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)的視頻信息后，為了加快處理速度，先將第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)分別存儲(chǔ)到與其對(duì)應(yīng)的緩沖區(qū)中，以方便及時(shí)讀取到第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)；經(jīng)過服務(wù)器解碼，可以得到第一視頻當(dāng)前圖像信息的解碼數(shù)據(jù)和第二視頻當(dāng)前圖像信息的解碼數(shù)據(jù)，得到的解碼數(shù)據(jù)可用于對(duì)圖像信息進(jìn)行拼接；經(jīng)過拼接，可以得到第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的當(dāng)前拼接圖像信息，通過對(duì)第一視頻和第二視頻多個(gè)連續(xù)的當(dāng)前圖像進(jìn)行拼接，即可得到連續(xù)的拼接圖像信息，即可實(shí)現(xiàn)對(duì)第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)拼接。使用本發(fā)明實(shí)施例拼接裝置，可以使拼接流程簡單、效率較高、靈活性較大，很大程度地提高了多視頻拼接的實(shí)時(shí)性。

較佳的是，所述第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息，所述第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息；所述當(dāng)前拼接圖像信息包括所述第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息和所述第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息的合并像素YUV數(shù)據(jù)信息；所述像素YUV數(shù)據(jù)信息包括像素的明亮度數(shù)據(jù)和色度數(shù)據(jù)。

在如圖5所示的多視頻實(shí)時(shí)拼接裝置的基礎(chǔ)上，如圖6所示，其中，所述合并像素YUV數(shù)據(jù)信息是水平合并像素YUV數(shù)據(jù)信息，且所述拼接模塊包括：

獲得單元，用于從第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，從第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第二視頻當(dāng)前圖像的每一行像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)；

水平合并單元，用于將所述第一視頻當(dāng)前圖像的每一行像素的第一明亮度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的相對(duì)應(yīng)行像素的第二明亮度數(shù)據(jù)進(jìn)行水平合并，得到水平合并像素明亮度數(shù)據(jù)；

所述水平合并單元，還用于將所述第一視頻當(dāng)前圖像的每一行像素的第一色度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的相對(duì)應(yīng)行像素的第二色度數(shù)據(jù)進(jìn)行水平合并，得到水平合并像素色度數(shù)據(jù)。

本發(fā)明實(shí)施例的多視頻實(shí)時(shí)拼接裝置可用于水平拼接，該水平拼接拼接出來的視頻圖像在高度方面是與拼接之前第一視頻當(dāng)前圖像與 第二視頻當(dāng)前圖像中最高的那個(gè)圖像相同，在寬度方面是拼接之前第一視頻當(dāng)前圖像與第二視頻當(dāng)前圖像的寬度之和。采用該裝置進(jìn)行拼接流程簡單、效率較高、靈活性較大，很大程度地提高了多視頻拼接的實(shí)時(shí)性，同時(shí)，本發(fā)明實(shí)施例的拼接裝置拼接出來的視頻可以在顯示端屏幕高度不足以同時(shí)顯示第一視頻與第二視頻、且屏幕寬度可以同時(shí)顯示第一視頻與第二視頻時(shí)進(jìn)行拼接。

在如圖5所示的多視頻實(shí)時(shí)拼接裝置的基礎(chǔ)上，如圖7所示，其中，所述合并像素YUV數(shù)據(jù)信息是垂直合并像素YUV數(shù)據(jù)信息，且所述拼接模塊包括：

獲得單元，用于從第一視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)和第一色度數(shù)據(jù)，從第二視頻當(dāng)前圖像的像素YUV數(shù)據(jù)信息中獲得第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)和第二色度數(shù)據(jù)；

垂直合并單元，用于將所述第一視頻當(dāng)前圖像的全部像素的第一明亮度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的全部像素的第二明亮度數(shù)據(jù)進(jìn)行垂直合并，得到垂直合并像素明亮度數(shù)據(jù)；

所述垂直合并單元，還用于將將所述第一視頻當(dāng)前圖像的全部像素的第一色度數(shù)據(jù)分別與所述第二視頻當(dāng)前圖像的全部像素的第二色度數(shù)據(jù)進(jìn)行垂直合并，得到垂直合并像素色度數(shù)據(jù)。

本發(fā)明實(shí)施例的多視頻實(shí)時(shí)拼接裝置法可以進(jìn)行垂直拼接，該拼接裝置拼接出來的視頻圖像在寬度方面是與拼接之前第一視頻當(dāng)前圖像與 第二視頻當(dāng)前圖像中最寬的那個(gè)圖像相同，在高度方面是拼接之前第一視頻當(dāng)前圖像與第二視頻當(dāng)前圖像的高度之和。采用本發(fā)明實(shí)施例的拼接裝置拼接流程簡單、效率較高、靈活性較大，很大程度地提高了多視頻拼接的實(shí)時(shí)性，同時(shí)，本發(fā)明實(shí)施例的拼接裝置拼接出來的視頻可以在顯示端屏幕寬度不足以同時(shí)顯示第一視頻與第二視頻、且屏幕高度可以同時(shí)顯示第一視頻與第二視頻時(shí)進(jìn)行拼接。

在如圖5所示的多視頻實(shí)時(shí)拼接裝置的基礎(chǔ)上，如圖8所示，所述第一視頻當(dāng)前圖像信息包括第一視頻當(dāng)前圖像的形狀尺寸，所述第二視頻當(dāng)前圖像信息包括第二視頻當(dāng)前圖像的形狀尺寸；且所述多視頻實(shí)時(shí)拼接裝置還包括：

判斷模塊，用于拼接所述第一視頻當(dāng)前圖像信息和第二視頻當(dāng)前圖像信息之前，判斷第一視頻當(dāng)前圖像的形狀尺寸和第二視頻當(dāng)前圖像的形狀尺寸是否一致；

處理模塊，用于如果第一視頻當(dāng)前圖像的形狀尺寸和第二視頻當(dāng)前圖像的形狀尺寸不一致，則將所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像中形狀尺寸較大的圖像進(jìn)行剪裁處理或者將所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像中形狀尺寸較小的圖像進(jìn)行放大處理，使得所述第一視頻當(dāng)前圖像和第二視頻當(dāng)前圖像的形狀尺寸保持一致。

以上所述，僅為本發(fā)明的實(shí)施例，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。