專利名稱：面向移動智能終端增強現(xiàn)實的實時視頻合并方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻圖像處理技術(shù)領(lǐng)域，具體而言，是一種基于移動終端的實時視頻合并方法。
背景技術(shù)：
近年來移動智能終端的計算能力高速發(fā)展，多媒體處理性能不斷提高，同時終端集成了攝像頭、GPS等模塊，為增強現(xiàn)實技術(shù)在移動智能終端上的應用提供了有利條件，結(jié)合移動互聯(lián)網(wǎng)絡(luò)的實時在線、智能感知、廣覆蓋等特性，可研究出面向移動智能終端的增強現(xiàn)實系統(tǒng)的具體應用方案，借助移動互聯(lián)網(wǎng)絡(luò)實現(xiàn)增強現(xiàn)實技術(shù)的移動化應用，形成移動互聯(lián)網(wǎng)上新的增值業(yè)務(wù)。增強現(xiàn)實系統(tǒng)具有真實與虛擬相結(jié)合、實時交互、三維注冊的特點，可使系統(tǒng)的窗口、圖形與現(xiàn)實環(huán)境中的對象產(chǎn)生疊映的視覺效果，給人們帶來一種增強現(xiàn)實場景的真實體驗。利用增強現(xiàn)實的視頻疊加技術(shù)實現(xiàn)手機上的實時視頻合并，可方便地為人們提供增強現(xiàn)實的體驗與服務(wù)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種實時視頻合并方法，該方法可以在移動智能終端上實現(xiàn)增強現(xiàn)實技術(shù)的移動化應用。本發(fā)明所提供的面向移動智能終端的增強現(xiàn)實的實時視頻合并技術(shù)，利用該智能終端內(nèi)置的相機單元對存儲于其內(nèi)的本地視頻進行處理；該方法包括如下步驟:Al、利用智能終端的Android系統(tǒng)提供的相機預覽回調(diào)接口從所述相機單元獲得字節(jié)型的預覽視頻流數(shù)據(jù)； A2、利用H.264解碼器對所述本地視頻進行解碼，從而獲得與前述預覽視頻流數(shù)據(jù)的格式相同的本地視頻流；A3、提取所述預覽視頻流數(shù)據(jù)中的目標像素，將目標像素與本地視頻流進行合并；包括:對每一幀的目標進行邊緣檢測，且當一像素位于所述目標邊緣內(nèi)部時認定為目標像素；A4、合并所得的視頻流數(shù)據(jù)送往H.264編碼器編碼。優(yōu)選地，在上述步驟Al中，提取預覽視頻流數(shù)據(jù)中的人物圖像的像素點作為合成視頻中的前景視頻。優(yōu)選地，在上述步驟A2中，通過H.264解碼器獲得所述本地視頻的字節(jié)型視頻數(shù)據(jù)，作為合成視頻中的背景視頻。優(yōu)選地，在上述步驟A3中，前景視頻和背景視頻進行像素相加，實現(xiàn)視頻合并。進一步地，編碼所得的視頻可選地存儲到SD卡、或通過UDP發(fā)送到視頻接收端并在接收端解碼顯示出來。本發(fā)明的有益效果主要體現(xiàn)三個方面在:
第一，本發(fā)明所實現(xiàn)的實時視頻合并技術(shù)，可在手機上實時地進行視頻合并，無需額外借助其它的軟硬件設(shè)備；第二，可對人所處的現(xiàn)實環(huán)境進行增強，使人獲得增強現(xiàn)實體驗；第三，實時合并所得視頻可通過UDP發(fā)送，該技術(shù)可得到一個應用程序，作為插件安裝到手機，應用于視頻電話通信。


圖1是本發(fā)明實時視頻合并方法的一實施例示意圖；圖2是圖1實施例中對單幀視頻圖像合并時對像素點的處理算法；圖3是圖1實施例中實時視頻合并的一實例示意圖。
具體實施方式
:下面結(jié)合附圖對本發(fā)明做更進一步的解釋。為了更了解本發(fā)明的技術(shù)內(nèi)容，特舉具體實施例并配合所附圖式說明如下。如圖1實施例所示，實時視頻合并方法是應用在移動智能終端中，將智能終端的Android系統(tǒng)提供的相機預覽回調(diào)接口，把相機視頻與本地視頻按像素點進行實時合并，得到一個增強現(xiàn)實場景的新視頻，然后將該視頻存儲并通過UDP發(fā)送出去，從而得到一個可用于Android手機的應用程序。本方法的具體步驟如下:第一步:利用Android系統(tǒng)提供的相機預覽回調(diào)接口 Preview CallBack,從相機獲得字節(jié)型的預覽視頻流數(shù)據(jù)；第二步:移植現(xiàn)有的H.264解碼器，本地視頻通過該解碼器進行解碼，轉(zhuǎn)化為與相機預覽視頻流數(shù)據(jù)格式相同的本地視頻流。這種相同的數(shù)據(jù)格式稱為統(tǒng)一視頻格式。第三步:實現(xiàn)視頻合并，按像素點提取相機預覽視頻中的人像，將人像與本地視頻進行合并，合并所得的視頻送往札264編碼器編碼，并存儲到SD卡；第四步:將編碼為H.264的合并視頻通過UDP發(fā)送到視頻接收端，在接收端解碼顯示出來。圖2是單幀視頻圖像合并時對每一個像素點的處理算法，圖中RGB32cam[k]表示相機預覽視頻幀的第k個像素點，RGB32dec[k]表示本地視頻幀的第k個像素點，RGB32combine[k]表示合并視頻幀的第k個像素點。若RGB32cam中的各像素點滿足條件，即表示該像素點屬于要提取的人像。在判定像素點是否滿足合并條件時，通過幀差法獲取運動對象初始邊緣模板，采用8鄰接連通組件去除噪聲，并利用Canny算法進行當前幀邊緣檢測。對每幀圖像的第k個像素點，判斷相機預覽RGB32cam[k]是否在當前幀邊緣內(nèi)部；若滿足，則將該值賦值給RGB32combine [k]，否則將RGB32dec [k]賦值給RGB32combine [k]，如此循環(huán)進行，完成單幀圖像的合并。合并后的視頻圖像數(shù)據(jù)存放在RGB32Combine中。圖3示出的是實時視頻合并程序界面，圖中左上角為本地視頻的圖像，右上角為合并后的視頻圖像， 下方為相機預覽視頻圖像。雖然本發(fā)明已以較佳實施例揭露如上，然其并非用以限定本發(fā)明。本發(fā)明所屬技術(shù)領(lǐng)域中具有通常知識者，在不脫離本發(fā)明的精神和范圍內(nèi)，當可作各種的更動與潤飾。因此 ，本發(fā)明的保護范圍當視權(quán)利要求書所界定者為準。
權(quán)利要求
1.一種面向移動智能終端增強現(xiàn)實的實時視頻合并方法，該方法利用該智能終端內(nèi)置的相機單元對存儲于其內(nèi)的本地視頻進行處理，其特征在于，包括如下步驟: Al、利用智能終端的Android系統(tǒng)提供的相機預覽回調(diào)接口從所述相機單元獲得字節(jié)型的預覽視頻流數(shù)據(jù)； A2、利用H.264解碼器對所述本地視頻進行解碼，從而獲得與前述預覽視頻流數(shù)據(jù)的格式相同的本地視頻流； A3、提取所述預覽視頻流數(shù)據(jù)中的目標像素，將目標像素與本地視頻流進行合并；包括:對每一幀的目標進行邊緣檢測，并將位于所述目標邊緣內(nèi)部的像素點認定為目標像素； A4、合并所得的視頻流數(shù)據(jù)送往H.264編碼器編碼。
2.根據(jù)權(quán)利要求1中所述的面向移動智能終端增強現(xiàn)實的實時視頻合并方法，其特征在于，在所述步驟Al中，提取預覽視頻流數(shù)據(jù)中的人物圖像的像素點作為合成視頻中的前景視頻。
3.根據(jù)權(quán)利要求2中所述的面向移動智能終端增強現(xiàn)實的實時視頻合并方法，其特征在于，在所述步驟A2中，通過H.264解碼器獲得所述本地視頻的字節(jié)型視頻數(shù)據(jù)，作為合成視頻中的背景視頻。
4.根據(jù)權(quán)利要求3中所述的面向移動智能終端增強現(xiàn)實的實時視頻合并方法，其特征在于，在所述步驟A3中，前景視頻和背景視頻進行像素相加，實現(xiàn)視頻合并。
5.根據(jù)權(quán)利要求1中所述的面向移動智能終端增強現(xiàn)實的實時視頻合并方法，其特征在于，編碼所得的視頻存儲到SD卡。
6.根據(jù)權(quán)利要求1中所述的面向移動智能終端增強現(xiàn)實的實時視頻合并方法，其特征在于，編碼所得的視頻通過UDP發(fā)送到視頻接收端，并在接收端解碼顯示出來。
7.根據(jù)權(quán)利要求1中所述的面向移動智能終端增強現(xiàn)實的實時視頻合并方法，其特征在于，所述目標像素是構(gòu)成人像的像素。
全文摘要
本發(fā)明是基于Android系統(tǒng)實現(xiàn)的一種面向移動智能終端增強現(xiàn)實的實時視頻合并方法，應用在移動智能終端。該方法利用相機、視頻系統(tǒng)的編碼器、解碼器等模塊，實現(xiàn)視頻圖像的實時疊加與合并，對現(xiàn)實場景進行增強。Android系統(tǒng)的相機模塊可滿足方案要求，編、解碼器通過移植的方式實現(xiàn)，取得相機預覽視頻數(shù)據(jù)后，按像素點提取相機預覽視頻中的人像與解碼器輸出的本地視頻進行實時合并，合并后通過編碼器編碼為H.264格式的視頻，并將其通過UDP發(fā)送出去。本發(fā)明得到增強現(xiàn)實的實現(xiàn)視頻合并應用程序模塊，可以作為插件安裝到移動終端，應用于視頻電話通信，也可以作為獨立的應用服務(wù)軟件，為用戶提供增強現(xiàn)實體驗的服務(wù)。
文檔編號H04N7/26GK103248830SQ201310124228
公開日2013年8月14日 申請日期2013年4月10日 優(yōu)先權(quán)日2013年4月10日
發(fā)明者衡偉, 丁曉東, 殷慶榮 申請人:東南大學