一種視頻圖像的處理裝置及方法
【專利摘要】本發(fā)明的主要目的在于提出一種視頻圖像的處理裝置及方法，旨在解決現(xiàn)有技術(shù)中的3D視頻制作方法無(wú)法生成實(shí)時(shí)在線視頻通話的3D視圖的問(wèn)題，其中，視頻圖像的處理裝置包括：接收模塊，用于接收視頻圖像；獲取模塊，用于獲取所述視頻圖像的景深信息；處理模塊，用于根據(jù)所述景深信息將所述視頻圖像的一部分進(jìn)行深度圖像的恢復(fù)DIBR處理，得到處理后的圖像；生成模塊，用于根據(jù)處理后的圖像生成視頻序列，該方案簡(jiǎn)化了3D視頻的制作過(guò)程，降低了制作3D視頻的成本。
【專利說(shuō)明】
一種視頻圖像的處理裝置及方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種視頻圖像的處理裝置及裝置。
【背景技術(shù)】
[0002]目前，為了使得用戶在觀影過(guò)程中能夠獲得身臨其境的體驗(yàn)，3D(threedimens1nal，三維)視頻技術(shù)應(yīng)運(yùn)而生。3D視頻是利用人雙眼的視角差和會(huì)聚功能制作的可產(chǎn)生立體效果的視頻。這類視頻是使用兩個(gè)鏡頭如人眼那樣的拍攝裝置，拍攝下景物的雙視點(diǎn)圖像。再通過(guò)兩臺(tái)放映機(jī)，把兩個(gè)視點(diǎn)的圖像同步放映，使這略有差別的兩幅圖像顯示在銀幕上，這時(shí)如果用眼睛直接觀看，看到的畫(huà)面是重疊的，有些模糊不清，要看到立體影像，就要采取措施，使左眼只看到左圖像，右眼只看到右圖像，如在每架放影機(jī)前各裝一塊方向相反的偏振片，它的作用相當(dāng)于起偏器，從放映機(jī)射出的光通過(guò)偏振片后，就成了偏振光，左右兩架放映機(jī)前的偏振片的偏振方向互相垂直，因而產(chǎn)生的兩束偏振光的偏振方向也互相垂直，這兩束偏振光投射到銀幕上再反射到觀眾處，偏振光方向不改變，觀眾使用對(duì)應(yīng)上述的偏振光的偏振眼鏡觀看，即左眼只能看到左機(jī)映出的畫(huà)面，右眼只能看到右機(jī)映出的畫(huà)面，這樣就會(huì)看到立體景像，這就是3D視頻原理。
[0003]可見(jiàn)，制作3D視頻需要指定的設(shè)備進(jìn)行拍攝，制作成本較高，且需要預(yù)先拍攝完成視頻，顯然并不適用于一些較為日常的應(yīng)用場(chǎng)景下，例如，視頻通話過(guò)程，故，需要一種較為簡(jiǎn)便的3D視頻生成方法來(lái)滿足用戶的相關(guān)需求。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的主要目的在于提出一種視頻圖像的處理裝置及方法，旨在解決現(xiàn)有技術(shù)中的3D視頻制作方法無(wú)法生成實(shí)時(shí)在線視頻通話的3D視圖的問(wèn)題。
[0005]根據(jù)本發(fā)明的一個(gè)方面，提供了一種視頻圖像的處理裝置，該裝置包括:接收模塊，用于接收視頻圖像；
[0006]獲取模塊，用于獲取視頻圖像的景深信息;處理模塊，用于根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR(depth image based rendering，基于深度圖像的恢復(fù)處理)，得到處理后的圖像;生成模塊，用于根據(jù)處理后的圖像生成視頻序列。
[0007]可選的，上述獲取模塊包括:分割單元，用于對(duì)視頻圖像中的前景與背景進(jìn)行分害J，得到前景與背景的二值圖；分類單元，用于提取視頻圖像中前景的邊緣的紋理特征，根據(jù)前景的邊緣的紋理特征來(lái)對(duì)視頻圖像進(jìn)行圖像塊的分類，得到分類后的不同類的圖像塊的第一深度值;提取單元，用于根據(jù)有限梯度假設(shè)的提取方法，得到視頻圖像的第二深度值;計(jì)算單元，用于使用圖像深度融合算法計(jì)算第一深度值以及第二深度的均值;對(duì)應(yīng)單元，用于將計(jì)算出的均值與二值圖中的各點(diǎn)進(jìn)行一一對(duì)應(yīng)，得到圖像的深度圖像。
[0008]可選的，上述處理模塊具體用于:將視頻圖像劃分為左右兩個(gè)部分，將劃分后的其中一個(gè)部分進(jìn)行DIBR處理，得到處理后的圖像。
[0009]可選的，上述裝置還包括:填補(bǔ)模塊，用于在根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR處理，得到處理后的圖像之后，對(duì)于處理后的圖像中出現(xiàn)的小于預(yù)設(shè)值的空洞通過(guò)信息擴(kuò)散的方式進(jìn)行填補(bǔ)，對(duì)于大于預(yù)設(shè)值的空洞，通過(guò)基于偏微分方程的圖像恢復(fù)方法或基于紋理結(jié)構(gòu)的圖像恢復(fù)方法進(jìn)行填補(bǔ)。
[0010]可選的，上述裝置還包括:發(fā)送模塊，用于在根據(jù)處理后的圖像生成視頻序列之后，將視頻序列發(fā)送至虛擬現(xiàn)實(shí)VR設(shè)備，以使VR設(shè)備根據(jù)視頻序列呈現(xiàn)視頻畫(huà)面。
[0011 ]根據(jù)本發(fā)明的第二個(gè)方面，提供了一種視頻圖像的處理方法，該方法包括:接收視頻圖像;獲取視頻圖像的景深信息;根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR處理，得到處理后的圖像；
[0012]根據(jù)處理后的圖像生成視頻序列。
[0013]可選的，獲取視頻圖像的景深信息，包括:對(duì)視頻圖像中的前景與背景進(jìn)行分割，得到前景與背景的二值圖；提取視頻圖像中前景的邊緣的紋理特征，根據(jù)前景的邊緣的紋理特征來(lái)對(duì)視頻圖像進(jìn)行圖像塊的分類，得到分類后的不同類的圖像塊的第一深度值;根據(jù)有限梯度假設(shè)的提取方法，得到視頻圖像的第二深度值;使用圖像深度融合算法計(jì)算第一深度值以及第二深度的均值;將計(jì)算出的均值與二值圖中的各點(diǎn)進(jìn)行一一對(duì)應(yīng)，得到圖像的深度圖像。
[0014]可選的，根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR處理，包括:將視頻圖像劃分為左右兩個(gè)部分，將劃分后的其中一個(gè)部分進(jìn)行DIBR處理，得到處理后的圖像。
[0015]可選的，上述方法還包括:在根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR處理，得到處理后的圖像之后，對(duì)于處理后的圖像中出現(xiàn)的小于預(yù)設(shè)值的空洞通過(guò)信息擴(kuò)散的方式進(jìn)行填補(bǔ)，對(duì)于大于預(yù)設(shè)值的空洞，通過(guò)基于偏微分方程的圖像恢復(fù)方法或基于紋理結(jié)構(gòu)的圖像恢復(fù)方法進(jìn)行填補(bǔ)。
[0016]可選的，上述方法還包括:在根據(jù)處理后的圖像生成視頻序列之后，將視頻序列發(fā)送至虛擬現(xiàn)實(shí)VR設(shè)備，以使VR設(shè)備根據(jù)視頻序列呈現(xiàn)視頻畫(huà)面。
[0017]本發(fā)明實(shí)例提供的方案，根據(jù)視頻圖像的景深信息，對(duì)視頻圖像的一部分進(jìn)行DIBR處理，形成具有3D效果的視圖，簡(jiǎn)化了 3D視頻的制作過(guò)程，降低了制作3D視頻的成本。
【附圖說(shuō)明】
[0018]圖1為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例一可選的移動(dòng)終端的硬件結(jié)構(gòu)示意圖；
[0019]圖2為如圖1所示的移動(dòng)終端的無(wú)線通信系統(tǒng)示意圖；
[0020]圖3是本發(fā)明第一實(shí)施例的視頻圖像的處理裝置的結(jié)構(gòu)框圖；
[0021 ]圖4是本發(fā)明第三實(shí)施例的視頻圖像的處理方法的流程圖；
[0022]圖5是本發(fā)明第四實(shí)施例的視頻圖像的處理方法的流程圖。
[0023]本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說(shuō)明。
【具體實(shí)施方式】
[0024]應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0025]現(xiàn)在將參考附圖描述實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例的移動(dòng)終端。在后續(xù)的描述中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說(shuō)明，其本身并沒(méi)有特定的意義。因此，"模塊"與"部件"可以混合地使用。
[0026]移動(dòng)終端可以以各種形式來(lái)實(shí)施。例如，本發(fā)明中描述的終端可以包括諸如移動(dòng)電話、智能電話、筆記本電腦、數(shù)字廣播接收器、PDA(個(gè)人數(shù)字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導(dǎo)航裝置等等的移動(dòng)終端以及諸如數(shù)字TV、臺(tái)式計(jì)算機(jī)等等的固定終端。下面，假設(shè)終端是移動(dòng)終端。然而，本領(lǐng)域技術(shù)人員將理解的是，除了特別用于移動(dòng)目的的元件之外，根據(jù)本發(fā)明的實(shí)施方式的構(gòu)造也能夠應(yīng)用于固定類型的終端。
[0027]圖1為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例一可選的移動(dòng)終端的硬件結(jié)構(gòu)示意。
[0028]移動(dòng)終端100可以包括無(wú)線通信單元110、A/V(音頻/視頻)輸入單元120、用戶輸入單元130、輸出單元150、存儲(chǔ)器160、接口單元170、控制器180和電源單元190等等。圖1示出了具有各種組件的移動(dòng)終端，但是應(yīng)理解的是，并不要求實(shí)施所有示出的組件。可以替代地實(shí)施更多或更少的組件。將在下面詳細(xì)描述移動(dòng)終端的元件。
[0029]無(wú)線通信單元110通常包括一個(gè)或多個(gè)組件，其允許移動(dòng)終端100與無(wú)線通信系統(tǒng)或網(wǎng)絡(luò)之間的無(wú)線電通信。例如，無(wú)線通信單元可以包括廣播接收模塊111、移動(dòng)通信模塊112、無(wú)線互聯(lián)網(wǎng)模塊113、短程通信模塊114和位置信息模塊115中的至少一個(gè)。
[0030]廣播接收模塊111經(jīng)由廣播信道從外部廣播管理服務(wù)器接收廣播信號(hào)和/或廣播相關(guān)信息。廣播信道可以包括衛(wèi)星信道和/或地面信道。廣播管理服務(wù)器可以是生成并發(fā)送廣播信號(hào)和/或廣播相關(guān)信息的服務(wù)器或者接收之前生成的廣播信號(hào)和/或廣播相關(guān)信息并且將其發(fā)送給終端的服務(wù)器。廣播信號(hào)可以包括TV廣播信號(hào)、無(wú)線電廣播信號(hào)、數(shù)據(jù)廣播信號(hào)等等。而且，廣播信號(hào)可以進(jìn)一步包括與TV或無(wú)線電廣播信號(hào)組合的廣播信號(hào)。廣播相關(guān)信息也可以經(jīng)由移動(dòng)通信網(wǎng)絡(luò)提供，并且在該情況下，廣播相關(guān)信息可以由移動(dòng)通信模塊112來(lái)接收。廣播信號(hào)可以以各種形式存在，例如，其可以以數(shù)字多媒體廣播(DMB)的電子節(jié)目指南(EPG)、數(shù)字視頻廣播手持(DVB-H)的電子服務(wù)指南(ESG)等等的形式而存在。廣播接收模塊111可以通過(guò)使用各種類型的廣播系統(tǒng)接收信號(hào)廣播。特別地，廣播接收模塊111可以通過(guò)使用諸如多媒體廣播-地面(DMB-T)、數(shù)字多媒體廣播-衛(wèi)星(DMB-S)、數(shù)字視頻廣播-手持(DVB-H)，前向鏈路媒體(MediaFLO?)的數(shù)據(jù)廣播系統(tǒng)、地面數(shù)字廣播綜合服務(wù)(ISDB-T)等等的數(shù)字廣播系統(tǒng)接收數(shù)字廣播。廣播接收模塊111可以被構(gòu)造為適合提供廣播信號(hào)的各種廣播系統(tǒng)以及上述數(shù)字廣播系統(tǒng)。經(jīng)由廣播接收模塊111接收的廣播信號(hào)和/或廣播相關(guān)信息可以存儲(chǔ)在存儲(chǔ)器160(或者其它類型的存儲(chǔ)介質(zhì))中。
[0031]移動(dòng)通信模塊112將無(wú)線電信號(hào)發(fā)送到基站(例如，接入點(diǎn)、節(jié)點(diǎn)B等等)、外部終端以及服務(wù)器中的至少一個(gè)和/或從其接收無(wú)線電信號(hào)。這樣的無(wú)線電信號(hào)可以包括語(yǔ)音通話信號(hào)、視頻通話信號(hào)、或者根據(jù)文本和/或多媒體消息發(fā)送和/或接收的各種類型的數(shù)據(jù)。
[0032]無(wú)線互聯(lián)網(wǎng)模塊113支持移動(dòng)終端的無(wú)線互聯(lián)網(wǎng)接入。該模塊可以內(nèi)部或外部地耦接到終端。該模塊所涉及的無(wú)線互聯(lián)網(wǎng)接入技術(shù)可以包括WLAN(無(wú)線LAN)(W1-Fi)、Wibro(無(wú)線寬帶)、Wimax(全球微波互聯(lián)接入)、HSDPA(高速下行鏈路分組接入)等等。
[0033]短程通信模塊114是用于支持短程通信的模塊。短程通信技術(shù)的一些示例包括藍(lán)牙?、射頻識(shí)別(RFID)、紅外數(shù)據(jù)協(xié)會(huì)(IrDA)、超寬帶(UWB)、紫蜂?等等。
[0034]位置信息模塊115是用于檢查或獲取移動(dòng)終端的位置信息的模塊。位置信息模塊的典型示例是GPS(全球定位系統(tǒng))。根據(jù)當(dāng)前的技術(shù)，GPS模塊115計(jì)算來(lái)自三個(gè)或更多衛(wèi)星的距離信息和準(zhǔn)確的時(shí)間信息并且對(duì)于計(jì)算的信息應(yīng)用三角測(cè)量法，從而根據(jù)經(jīng)度、瑋度和高度準(zhǔn)確地計(jì)算三維當(dāng)前位置信息。當(dāng)前，用于計(jì)算位置和時(shí)間信息的方法使用三顆衛(wèi)星并且通過(guò)使用另外的一顆衛(wèi)星校正計(jì)算出的位置和時(shí)間信息的誤差。此外，GPS模塊115能夠通過(guò)實(shí)時(shí)地連續(xù)計(jì)算當(dāng)前位置信息來(lái)計(jì)算速度信息。
[0035]A/V輸入單元120用于接收音頻或視頻信號(hào)。A/V輸入單元120可以包括相機(jī)121和麥克風(fēng)122，相機(jī)121對(duì)在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數(shù)據(jù)進(jìn)行處理。處理后的圖像幀可以顯示在顯示單元151上。經(jīng)相機(jī)121處理后的圖像幀可以存儲(chǔ)在存儲(chǔ)器160(或其它存儲(chǔ)介質(zhì))中或者經(jīng)由無(wú)線通信單元110進(jìn)行發(fā)送，可以根據(jù)移動(dòng)終端的構(gòu)造提供兩個(gè)或更多相機(jī)121。麥克風(fēng)122可以在電話通話模式、記錄模式、語(yǔ)音識(shí)別模式等等運(yùn)行模式中經(jīng)由麥克風(fēng)接收聲音(音頻數(shù)據(jù))，并且能夠?qū)⑦@樣的聲音處理為音頻數(shù)據(jù)。處理后的音頻(語(yǔ)音)數(shù)據(jù)可以在電話通話模式的情況下轉(zhuǎn)換為可經(jīng)由移動(dòng)通信模塊112發(fā)送到移動(dòng)通信基站的格式輸出。麥克風(fēng)122可以實(shí)施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發(fā)送音頻信號(hào)的過(guò)程中產(chǎn)生的噪聲或者干擾。
[0036]用戶輸入單元130可以根據(jù)用戶輸入的命令生成鍵輸入數(shù)據(jù)以控制移動(dòng)終端的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息，并且可以包括鍵盤(pán)、鍋?zhàn)衅?、觸摸板(例如，檢測(cè)由于被接觸而導(dǎo)致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地，當(dāng)觸摸板以層的形式疊加在顯示單元151上時(shí)，可以形成觸摸屏。
[0037]接口單元170用作至少一個(gè)外部裝置與移動(dòng)終端100連接可以通過(guò)的接口。例如，外部裝置可以包括有線或無(wú)線頭戴式耳機(jī)端口、外部電源(或電池充電器)端口、有線或無(wú)線數(shù)據(jù)端口、存儲(chǔ)卡端口、用于連接具有識(shí)別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機(jī)端口等等。識(shí)別模塊可以是存儲(chǔ)用于驗(yàn)證用戶使用移動(dòng)終端100的各種信息并且可以包括用戶識(shí)別模塊(UIM)、客戶識(shí)別模塊(SIM)、通用客戶識(shí)別模塊(USM)等等。另外，具有識(shí)別模塊的裝置(下面稱為"識(shí)別裝置")可以采取智能卡的形式，因此，識(shí)別裝置可以經(jīng)由端口或其它連接裝置與移動(dòng)終端100連接。接口單元170可以用于接收來(lái)自外部裝置的輸入(例如，數(shù)據(jù)信息、電力等等)并且將接收到的輸入傳輸?shù)揭苿?dòng)終端100內(nèi)的一個(gè)或多個(gè)元件或者可以用于在移動(dòng)終端和外部裝置之間傳輸數(shù)據(jù)。
[0038]另外，當(dāng)移動(dòng)終端100與外部底座連接時(shí)，接口單元170可以用作允許通過(guò)其將電力從底座提供到移動(dòng)終端100的路徑或者可以用作允許從底座輸入的各種命令信號(hào)通過(guò)其傳輸?shù)揭苿?dòng)終端的路徑。從底座輸入的各種命令信號(hào)或電力可以用作用于識(shí)別移動(dòng)終端是否準(zhǔn)確地安裝在底座上的信號(hào)。輸出單元150被構(gòu)造為以視覺(jué)、音頻和/或觸覺(jué)方式提供輸出信號(hào)(例如，音頻信號(hào)、視頻信號(hào)、警報(bào)信號(hào)、振動(dòng)信號(hào)等等)。輸出單元150可以包括顯示單元151、音頻輸出模塊152、警報(bào)單元153等等。
[0039]顯示單元151可以顯示在移動(dòng)終端100中處理的信息。例如，當(dāng)移動(dòng)終端100處于電話通話模式時(shí)，顯示單元151可以顯示與通話或其它通信(例如，文本消息收發(fā)、多媒體文件下載等等)相關(guān)的用戶界面(UI)或圖形用戶界面(GUI)。當(dāng)移動(dòng)終端100處于視頻通話模式或者圖像捕獲模式時(shí)，顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關(guān)功能的UI或GUI等等。
[0040]同時(shí)，當(dāng)顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏?xí)r，顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(LCD)、薄膜晶體管IXD(TFT-1XD)、有機(jī)發(fā)光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構(gòu)造為透明狀以允許用戶從外部觀看，這可以稱為透明顯示器，典型的透明顯示器可以例如為T(mén)OLED(透明有機(jī)發(fā)光二極管)顯示器等等。根據(jù)特定想要的實(shí)施方式，移動(dòng)終端100可以包括兩個(gè)或更多顯示單元(或其它顯示裝置)，例如，移動(dòng)終端可以包括外部顯示單元(未示出)和內(nèi)部顯示單元(未示出)。觸摸屏可用于檢測(cè)觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。
[0041]音頻輸出模塊152可以在移動(dòng)終端處于呼叫信號(hào)接收模式、通話模式、記錄模式、語(yǔ)音識(shí)別模式、廣播接收模式等等模式下時(shí)，將無(wú)線通信單元110接收的或者在存儲(chǔ)器160中存儲(chǔ)的音頻數(shù)據(jù)轉(zhuǎn)換音頻信號(hào)并且輸出為聲音。而且，音頻輸出模塊152可以提供與移動(dòng)終端100執(zhí)行的特定功能相關(guān)的音頻輸出(例如，呼叫信號(hào)接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚(yáng)聲器、蜂鳴器等等。
[0042]警報(bào)單元153可以提供輸出以將事件的發(fā)生通知給移動(dòng)終端100。典型的事件可以包括呼叫接收、消息接收、鍵信號(hào)輸入、觸摸輸入等等。除了音頻或視頻輸出之外，警報(bào)單元153可以以不同的方式提供輸出以通知事件的發(fā)生。例如，警報(bào)單元153可以以振動(dòng)的形式提供輸出，當(dāng)接收到呼叫、消息或一些其它進(jìn)入通信(incomingcommunicat1n)時(shí)，警報(bào)單元153可以提供觸覺(jué)輸出(S卩，振動(dòng))以將其通知給用戶。通過(guò)提供這樣的觸覺(jué)輸出，即使在用戶的移動(dòng)電話處于用戶的口袋中時(shí)，用戶也能夠識(shí)別出各種事件的發(fā)生。警報(bào)單元153也可以經(jīng)由顯示單元151或音頻輸出模塊152提供通知事件的發(fā)生的輸出。
[0043]存儲(chǔ)器160可以存儲(chǔ)由控制器180執(zhí)行的處理和控制操作的軟件程序等等，或者可以暫時(shí)地存儲(chǔ)己經(jīng)輸出或?qū)⒁敵龅臄?shù)據(jù)(例如，電話簿、消息、靜態(tài)圖像、視頻等等)。而且，存儲(chǔ)器160可以存儲(chǔ)關(guān)于當(dāng)觸摸施加到觸摸屏?xí)r輸出的各種方式的振動(dòng)和音頻信號(hào)的數(shù)據(jù)。
[0044]存儲(chǔ)器160可以包括至少一種類型的存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)包括閃存、
[0045]硬盤(pán)、多媒體卡、卡型存儲(chǔ)器(例如，SD或DX存儲(chǔ)器等等)、隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)、靜態(tài)隨機(jī)訪問(wèn)存儲(chǔ)器(SRAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、可編程只讀存儲(chǔ)器(PROM)、磁性存儲(chǔ)器、磁盤(pán)、光盤(pán)等等。而且，移動(dòng)終端100可以與通過(guò)網(wǎng)絡(luò)連接執(zhí)行存儲(chǔ)器160的存儲(chǔ)功能的網(wǎng)絡(luò)存儲(chǔ)裝置協(xié)作。
[0046]控制器180通?？刂埔苿?dòng)終端的總體操作。例如，控制器180執(zhí)行與語(yǔ)音通話、數(shù)據(jù)通信、視頻通話等等相關(guān)的控制和處理。另外，控制器180可以包括用于再現(xiàn)(或回放)多媒體數(shù)據(jù)的多媒體模塊181，多媒體模塊181可以構(gòu)造在控制器180內(nèi)，或者可以構(gòu)造為與控制器180分離。控制器180可以執(zhí)行模式識(shí)別處理，以將在觸摸屏上執(zhí)行的手寫(xiě)輸入或者圖片繪制輸入識(shí)別為字符或圖像。
[0047]電源單元190在控制器180的控制下接收外部電力或內(nèi)部電力并且提供操作各元件和組件所需的適當(dāng)?shù)碾娏Α?br>[0048]這里描述的各種實(shí)施方式可以以使用例如計(jì)算機(jī)軟件、硬件或其任何組合的計(jì)算機(jī)可讀介質(zhì)來(lái)實(shí)施。對(duì)于硬件實(shí)施，這里描述的實(shí)施方式可以通過(guò)使用特定用途集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設(shè)計(jì)為執(zhí)行這里描述的功能的電子單元中的至少一種來(lái)實(shí)施，在一些情況下，這樣的實(shí)施方式可以在控制器180中實(shí)施。對(duì)于軟件實(shí)施，諸如過(guò)程或功能的實(shí)施方式可以與允許執(zhí)行至少一種功能或操作的單獨(dú)的軟件模塊來(lái)實(shí)施。軟件代碼可以由以任何適當(dāng)?shù)木幊陶Z(yǔ)言編寫(xiě)的軟件應(yīng)用程序(或程序)來(lái)實(shí)施，軟件代碼可以存儲(chǔ)在存儲(chǔ)器160中并且由控制器180執(zhí)行。
[0049]至此，己經(jīng)按照其功能描述了移動(dòng)終端。下面，為了簡(jiǎn)要起見(jiàn)，將描述諸如折疊型、直板型、擺動(dòng)型、滑動(dòng)型移動(dòng)終端等等的各種類型的移動(dòng)終端中的滑動(dòng)型移動(dòng)終端作為示例。因此，本發(fā)明能夠應(yīng)用于任何類型的移動(dòng)終端，并且不限于滑動(dòng)型移動(dòng)終端。
[0050]如圖1中所示的移動(dòng)終端100可以被構(gòu)造為利用經(jīng)由幀或分組發(fā)送數(shù)據(jù)的諸如有線和無(wú)線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來(lái)操作。
[0051]現(xiàn)在將參考圖2描述其中根據(jù)本發(fā)明的移動(dòng)終端能夠操作的通信系統(tǒng)。
[0052]這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如，由通信系統(tǒng)使用的空中接口包括例如頻分多址(FDMA)、時(shí)分多址(TDMA)、碼分多址(CDMA)和通用移動(dòng)通信系統(tǒng)(UMTS)(特別地，長(zhǎng)期演進(jìn)(LTE))、全球移動(dòng)通信系統(tǒng)(GSM)等等。作為非限制性示例，下面的描述涉及CDMA通信系統(tǒng)，但是這樣的教導(dǎo)同樣適用于其它類型的系統(tǒng)。
[0053]參考圖2，⑶MA無(wú)線通信系統(tǒng)可以包括多個(gè)移動(dòng)終端100、多個(gè)基站(BS)270、基站控制器(BSC)275和移動(dòng)交換中心(MSCUSOJSCSSO被構(gòu)造為與公共電話交換網(wǎng)絡(luò)(PSTN)290形成接口。MSC280還被構(gòu)造為與可以經(jīng)由回程線路耦接到基站270的BSC275形成接口?；爻叹€路可以根據(jù)若干己知的接口中的任一種來(lái)構(gòu)造，所述接口包括例如E1/T1、ATM，IP、PPP、幀中繼、HDSL、ADSL或xDSL。將理解的是，如圖2中所示的系統(tǒng)可以包括多個(gè)BSC2750。
[0054]每個(gè)BS270可以服務(wù)一個(gè)或多個(gè)分區(qū)(或區(qū)域)，由多向天線或指向特定方向的天線覆蓋的每個(gè)分區(qū)放射狀地遠(yuǎn)離BS270?；蛘?，每個(gè)分區(qū)可以由用于分集接收的兩個(gè)或更多天線覆蓋。每個(gè)BS270可以被構(gòu)造為支持多個(gè)頻率分配，并且每個(gè)頻率分配具有特定頻譜(例如，1.25MHz，5MHz 等等)。
[0055]分區(qū)與頻率分配的交叉可以被稱為CDMA信道。BS270也可以被稱為基站收發(fā)器子系統(tǒng)(BTS)或者其它等效術(shù)語(yǔ)。在這樣的情況下，術(shù)語(yǔ)"基站"可以用于籠統(tǒng)地表示單個(gè)BSC275和至少一個(gè)BS270?；疽部梢员环Q為〃蜂窩站〃?；蛘?，特定BS270的各分區(qū)可以被稱為多個(gè)蜂窩站。
[0056]如圖2中所示，廣播發(fā)射器(BT)295將廣播信號(hào)發(fā)送給在系統(tǒng)內(nèi)操作的移動(dòng)終端100。如圖1中所示的廣播接收模塊111被設(shè)置在移動(dòng)終端100處以接收由BT295發(fā)送的廣播信號(hào)。在圖2中，示出了幾個(gè)全球定位系統(tǒng)(GPS)衛(wèi)星300。衛(wèi)星300幫助定位多個(gè)移動(dòng)終端100中的至少一個(gè)。
[0057]在圖2中，描繪了多個(gè)衛(wèi)星300，但是理解的是，可以利用任何數(shù)目的衛(wèi)星獲得有用的定位信息。如圖1中所示的GPS模塊115通常被構(gòu)造為與衛(wèi)星300配合以獲得想要的定位信息。替代GPS跟蹤技術(shù)或者在GPS跟蹤技術(shù)之外，可以使用可以跟蹤移動(dòng)終端的位置的其它技術(shù)。另外，至少一個(gè)GPS衛(wèi)星300可以選擇性地或者額外地處理衛(wèi)星DMB傳輸。
[0058]作為無(wú)線通信系統(tǒng)的一個(gè)典型操作，BS270接收來(lái)自各種移動(dòng)終端100的反向鏈路信號(hào)。移動(dòng)終端100通常參與通話、消息收發(fā)和其它類型的通信。特定基站270接收的每個(gè)反向鏈路信號(hào)被在特定BS270內(nèi)進(jìn)行處理。獲得的數(shù)據(jù)被轉(zhuǎn)發(fā)給相關(guān)的BSC275 ASC提供通話資源分配和包括BS270之間的軟切換過(guò)程的協(xié)調(diào)的移動(dòng)管理功能。BSC275還將接收到的數(shù)據(jù)路由到MSC280，其提供用于與PSTN290形成接口的額外的路由服務(wù)。類似地，PSTN290與MSC280形成接口，MSC與BSC275形成接口，并且BSC275相應(yīng)地控制BS270以將正向鏈路信號(hào)發(fā)送到移動(dòng)終端100。
[0059]基于上述移動(dòng)終端硬件結(jié)構(gòu)以及通信系統(tǒng)，提出本發(fā)明方法各個(gè)實(shí)施例。
[0060]第一實(shí)施例
[0061]本實(shí)施例提供了一種視頻圖像的處理裝置，圖3是該裝置的結(jié)構(gòu)框圖，如圖3所示，該裝置包括如下組成部分:
[0062 ]接收模塊31，用于接收視頻圖像；
[0063]本實(shí)施例中，具體的視頻圖像可以是從視頻通話的對(duì)端發(fā)送過(guò)來(lái)的，也可以是基于其他錄制視頻文件的設(shè)備發(fā)送過(guò)來(lái)的在本實(shí)施例中不做具體限定，具體的，該接收模塊接收到的可以是視頻序列，該視頻序列中包括多個(gè)所述視頻圖像，該視頻序列為2D視頻序列。
[0064]獲取模塊32，用于獲取視頻圖像的景深信息；
[0065]在本實(shí)施例中，獲取到的視頻圖像為視頻序列中的各圖像，基于各圖像獲取器景深信息，具體可以根據(jù)現(xiàn)有技術(shù)中已有的各種算法進(jìn)行，本實(shí)施例中不做具體限定。此外，還可以依據(jù)如下方式進(jìn)行:
[0066]通過(guò)對(duì)視頻圖像中目標(biāo)的跟蹤，得到視頻圖像中的前景，例如，在進(jìn)行視頻通話過(guò)程中，視頻圖像中的人物即為前景，將視頻圖像中的前景與背景進(jìn)行分割，得到前景與背景的二值圖；
[0067]提取視頻圖像中前景的邊緣的紋理特征，根據(jù)前景的邊緣的紋理特征來(lái)對(duì)視頻圖像進(jìn)行圖像塊的分類，得到分類后的不同類的圖像塊的第一深度值;具體的，該處可以通過(guò)基于幾何信息的深度提取來(lái)進(jìn)行，本實(shí)施例中以人臉為例，幾何特征主要可以選取人臉的中分輪廓線、鼻尖橫切輪廓線作為研究對(duì)象，人臉的中分輪廓線上包括了前額、鼻子、嘴巴和下巴的縮影，呈現(xiàn)出了人臉中最突出的各個(gè)器官的輪廓。鼻尖橫切輪廓線上包含了鼻翼點(diǎn)和鼻尖點(diǎn)的信息，能夠有效地表達(dá)鼻子寬度、鼻尖鼻翼所成角度等信息。在人臉中分輪廓線和鼻尖橫切輪廓線上可以通過(guò)定位了多個(gè)特征點(diǎn)并根據(jù)這些特征點(diǎn)之間的關(guān)系計(jì)算出幾何特征，再提取人臉深度圖的紋理特征。再利用視頻圖像中前景的邊緣紋理特征來(lái)對(duì)視頻圖像進(jìn)行塊的分類，分類后的不同的圖像塊具有不同的深度信息。
[0068]根據(jù)有限梯度假設(shè)的提取方法，得到視頻圖像的第二深度值；
[0069]深度梯度提取，采用的是優(yōu)先梯度假設(shè)的提取方法，根據(jù)視頻每幀圖像處于同一水平線上的場(chǎng)景深度信息基本相同的原理，即該水平面上的點(diǎn)距離拍攝點(diǎn)有著同樣的距離，而且該距離從上到下，由遠(yuǎn)及近，可以生成與場(chǎng)景無(wú)關(guān)的梯度深度假設(shè)圖。
[0070]使用圖像深度融合算法計(jì)算第一深度值以及第二深度的均值;將計(jì)算出的均值與二值圖中的各點(diǎn)進(jìn)行一一對(duì)應(yīng)，得到圖像的深度圖像。
[0071]處理模塊33，用于根據(jù)景深信息將視頻圖像的一部分進(jìn)行深度圖像的恢復(fù)DIBR處理，得到處理后的圖像；
[0072]需要說(shuō)明的是，在本實(shí)施例中，具體可以將當(dāng)前處理的視頻圖像劃分為兩個(gè)部分，例如，可以均分為左右兩個(gè)部分，然后僅對(duì)右部分的圖像進(jìn)行DIBR處理，從而得到具有3D效果的視圖，同時(shí)，也可以采用其他劃分方式，例如將視頻圖像劃分為不均分的左右兩個(gè)部分的方式。
[0073]生成模塊34，用于根據(jù)處理后的圖像生成視頻序列。
[0074]第二實(shí)施例
[0075]本實(shí)施例提供了一種視頻圖像的處理裝置，該裝置與上述第一實(shí)施例中提供的裝置的區(qū)別之處在于，該裝置的各組成部分還具備以下功能:
[0076]獲取模塊具體可以包括如下組成部分:分割單元，用于對(duì)視頻圖像中的前景與背景進(jìn)行分割，得到前景與背景的二值圖；分類單元，用于提取視頻圖像中前景的邊緣的紋理特征，根據(jù)前景的邊緣的紋理特征來(lái)對(duì)視頻圖像進(jìn)行圖像塊的分類，得到分類后的不同類的圖像塊的第一深度值;提取單元，用于根據(jù)有限梯度假設(shè)的提取方法，得到視頻圖像的第二深度值;計(jì)算單元，用于使用圖像深度融合算法計(jì)算第一深度值以及第二深度的均值;對(duì)應(yīng)單元，用于將計(jì)算出的均值與二值圖中的各點(diǎn)進(jìn)行一一對(duì)應(yīng)，得到圖像的深度圖像。
[0077]其中，處理模塊具體可以用于:將視頻圖像劃分為左右兩個(gè)部分，將劃分后的其中一個(gè)部分進(jìn)行DIBR處理，得到處理后的圖像。
[0078]進(jìn)一步的，本實(shí)施例中提供的視頻圖像處理裝置還可以包括:填補(bǔ)模塊，用于在根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR處理，得到處理后的圖像之后，對(duì)于處理后的圖像中出現(xiàn)的小于預(yù)設(shè)值的空洞通過(guò)信息擴(kuò)散的方式進(jìn)行填補(bǔ)，對(duì)于大于預(yù)設(shè)值的空洞，通過(guò)基于偏微分方程的圖像恢復(fù)方法或基于紋理結(jié)構(gòu)的圖像恢復(fù)方法進(jìn)行填補(bǔ)；以及，還可以包括:發(fā)送模塊，用于在根據(jù)處理后的圖像生成視頻序列之后，將視頻序列發(fā)送至虛擬現(xiàn)實(shí)VR設(shè)備，以使VR設(shè)備根據(jù)視頻序列呈現(xiàn)視頻畫(huà)面。
[0079]第三實(shí)施例
[0080]本實(shí)施例提供了一種視頻圖像的處理方法，圖4是該方法的流程圖，如圖4所示，該方法包括如下處理:
[0081 ]步驟401:接收視頻圖像；
[0082]步驟402:獲取視頻圖像的景深信息；
[0083]步驟403:根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR處理，得到處理后的視頻圖像；
[0084]步驟404:根據(jù)處理后的圖像生成視頻序列。
[0085]其中，獲取視頻圖像的景深信息的步驟具體可以包括:對(duì)視頻圖像中的前景與背景進(jìn)行分割，得到前景與背景的二值圖；提取視頻圖像中前景的邊緣的紋理特征，根據(jù)前景的邊緣的紋理特征來(lái)對(duì)視頻圖像進(jìn)行圖像塊的分類，得到分類后的不同類的圖像塊的第一深度值;根據(jù)有限梯度假設(shè)的提取方法，得到視頻圖像的第二深度值;使用圖像深度融合算法計(jì)算第一深度值以及第二深度的均值;將計(jì)算出的均值與二值圖中的各點(diǎn)進(jìn)行一一對(duì)應(yīng)，得到圖像的深度圖像。
[0086]其中，根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR處理，包括:將視頻圖像劃分為左右兩個(gè)部分，將劃分后的其中一個(gè)部分進(jìn)行DIBR處理，得到處理后的圖像。
[0087]本實(shí)施例提供的方法還可以包括:在根據(jù)景深信息將視頻圖像的一部分進(jìn)行DIBR處理得到處理后的圖像之后，對(duì)于處理后的圖像中出現(xiàn)的小于預(yù)設(shè)值的空洞通過(guò)信息擴(kuò)散的方式進(jìn)行填補(bǔ)，對(duì)于大于預(yù)設(shè)值的空洞，通過(guò)基于偏微分方程的圖像恢復(fù)方法或基于紋理結(jié)構(gòu)的圖像恢復(fù)方法進(jìn)行填補(bǔ)，以及，還可以包括:在根據(jù)處理后的圖像生成視頻序列之后，將視頻序列發(fā)送至虛擬現(xiàn)實(shí)VR設(shè)備，以使VR設(shè)備根據(jù)視頻序列呈現(xiàn)視頻畫(huà)面。
[0088]第四實(shí)施例
[0089]本實(shí)施例通過(guò)一個(gè)應(yīng)用實(shí)例來(lái)對(duì)本發(fā)明提供的視頻圖像的處理方法進(jìn)行簡(jiǎn)要闡述。
[0090]本實(shí)施例以視頻通話場(chǎng)景為背景來(lái)說(shuō)明本發(fā)明提供的視頻圖像的處理方法，如圖5所示，該方法包括如下處理:
[0091]首先，通話雙發(fā)開(kāi)啟視頻通話，本端獲取對(duì)端發(fā)送過(guò)來(lái)的2D格式的視頻序列，基于該2D視頻序列，生成深度視頻圖像，使用基于深度視頻圖像的恢復(fù)算法針對(duì)視頻圖像的另一部分生成另一路視頻序列，將兩路視頻序列分別發(fā)送至移動(dòng)終端的屏幕的左右兩個(gè)部分進(jìn)行顯示，用戶通過(guò)佩戴VR頭戴設(shè)備來(lái)觀看視頻，可以看到具有3D效果的視頻。
[0092]如圖5所示，生成深度視頻圖像以及使用基于深度圖像的恢復(fù)算法生成另一路視頻序列的操作具體可以包括:
[0093]獲取接收到的原始2D視頻序列，根據(jù)對(duì)視頻中的目標(biāo)的跟蹤，對(duì)視頻圖像中的前景與背景進(jìn)行分割，得到前景與背景的二值圖；基于2D視頻序列，提取視頻圖像中前景的邊緣的紋理特征，根據(jù)前景的邊緣的紋理特征來(lái)對(duì)視頻圖像進(jìn)行圖像塊的分類，得到分類后的不同類的圖像塊的第一深度值;根據(jù)有限梯度假設(shè)的提取方法，得到視頻圖像的第二深度值;使用圖像深度融合算法計(jì)算第一深度值以及第二深度的均值;將計(jì)算出的均值與二值圖中的各點(diǎn)進(jìn)行一一對(duì)應(yīng)，得到圖像的深度圖像，通過(guò)對(duì)深度視頻的預(yù)處理，實(shí)現(xiàn)3D視頻空間的映射變形，填補(bǔ)映射變形后視頻圖像中出現(xiàn)的空洞，生成另一路視頻。
[0094]其中，填補(bǔ)映射變形后視頻圖像中出現(xiàn)的空洞具體可以按照如下處理來(lái)進(jìn)行:
[0095]對(duì)于比較小的空洞，通過(guò)信息擴(kuò)散的方法;對(duì)于較大的空洞，采用基于偏微分方程的圖像恢復(fù)方法或基于紋理結(jié)構(gòu)的圖像恢復(fù)方法。
[0096]需要說(shuō)明的是，在本文中，術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者裝置不僅包括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為這種過(guò)程、方法、物品或者裝置所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句“包括一個(gè)……”限定的要素，并不排除在包括該要素的過(guò)程、方法、物品或者裝置中還存在另外的相同要素。
[0097]上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。
[0098]通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過(guò)硬件，但很多情況下前者是更佳的實(shí)施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)(如R0M/RAM、磁碟、光盤(pán))中，包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī)，計(jì)算機(jī)，月艮務(wù)器，空調(diào)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。
[0099]以上僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說(shuō)明書(shū)及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種視頻圖像的處理裝置，其特征在于，所述裝置包括: 接收模塊，用于接收視頻圖像； 獲取模塊，用于獲取所述視頻圖像的景深信息； 處理模塊，用于根據(jù)所述景深信息將所述視頻圖像的一部分進(jìn)行深度圖像的恢復(fù)DIBR處理，得到處理后的圖像； 生成模塊，用于根據(jù)處理后的圖像生成視頻序列。2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述獲取模塊，包括: 分割單元，用于對(duì)所述視頻圖像中的前景與背景進(jìn)行分割，得到所述前景與所述背景的二值圖； 分類單元，用于提取所述視頻圖像中前景的邊緣的紋理特征，根據(jù)所述前景的邊緣的紋理特征來(lái)對(duì)所述視頻圖像進(jìn)行圖像塊的分類，得到分類后的不同類的圖像塊的第一深度值； 提取單元，用于根據(jù)有限梯度假設(shè)的提取方法，得到所述視頻圖像的第二深度值； 計(jì)算單元，用于使用圖像深度融合算法計(jì)算所述第一深度值以及所述第二深度的均值； 對(duì)應(yīng)單元，用于將計(jì)算出的均值與所述二值圖中的各點(diǎn)進(jìn)行一一對(duì)應(yīng)，得到所述圖像的深度圖像。3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述處理模塊具體用于: 將所述視頻圖像劃分為左右兩個(gè)部分，將劃分后的其中一個(gè)部分進(jìn)行DIBR處理，得到處理后的圖像。4.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述裝置還包括: 填補(bǔ)模塊，用于在根據(jù)所述景深信息將所述視頻圖像的一部分進(jìn)行DIBR處理，得到處理后的圖像之后，對(duì)于處理后的圖像中出現(xiàn)的小于預(yù)設(shè)值的空洞通過(guò)信息擴(kuò)散的方式進(jìn)行填補(bǔ)，對(duì)于大于預(yù)設(shè)值的空洞，通過(guò)基于偏微分方程的圖像恢復(fù)方法或基于紋理結(jié)構(gòu)的圖像恢復(fù)方法進(jìn)行填補(bǔ)。5.根據(jù)權(quán)利要求1至4任意一項(xiàng)所述的裝置，其特征在于，所述裝置還包括: 發(fā)送模塊，用于在根據(jù)處理后的圖像生成視頻序列之后，將所述視頻序列發(fā)送至虛擬現(xiàn)實(shí)VR設(shè)備，以使所述VR設(shè)備根據(jù)所述視頻序列呈現(xiàn)視頻畫(huà)面。6.一種視頻圖像的處理方法，其特征在于，所述方法包括: 接收視頻圖像； 獲取所述視頻圖像的景深信息； 根據(jù)所述景深信息將所述視頻圖像的一部分進(jìn)行深度圖像的恢復(fù)DIBR處理，得到處理后的圖像； 根據(jù)處理后的圖像生成視頻序列。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述獲取所述視頻圖像的景深信息，包括: 對(duì)所述視頻圖像中的前景與背景進(jìn)行分割，得到所述前景與所述背景的二值圖； 提取所述視頻圖像中前景的邊緣的紋理特征，根據(jù)所述前景的邊緣的紋理特征來(lái)對(duì)所述視頻圖像進(jìn)行圖像塊的分類，得到分類后的不同類的圖像塊的第一深度值； 根據(jù)有限梯度假設(shè)的提取方法，得到所述視頻圖像的第二深度值； 使用圖像深度融合算法計(jì)算所述第一深度值以及所述第二深度的均值； 將計(jì)算出的均值與所述二值圖中的各點(diǎn)進(jìn)行一一對(duì)應(yīng)，得到所述圖像的深度圖像。8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述景深信息將所述視頻圖像的一部分進(jìn)行DIBR處理，包括: 將所述視頻圖像劃分為左右兩個(gè)部分，將劃分后的其中一個(gè)部分進(jìn)行DIBR處理，得到處理后的圖像。9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括: 在根據(jù)所述景深信息將所述視頻圖像的一部分進(jìn)行DIBR處理，得到處理后的圖像之后，對(duì)于處理后的圖像中出現(xiàn)的小于預(yù)設(shè)值的空洞通過(guò)信息擴(kuò)散的方式進(jìn)行填補(bǔ)，對(duì)于大于預(yù)設(shè)值的空洞，通過(guò)基于偏微分方程的圖像恢復(fù)方法或基于紋理結(jié)構(gòu)的圖像恢復(fù)方法進(jìn)行填補(bǔ)。10.根據(jù)權(quán)利要求6至9任意一項(xiàng)所述的方法，其特征在于，所述方法還包括: 在根據(jù)處理后的圖像生成視頻序列之后，將所述視頻序列發(fā)送至虛擬現(xiàn)實(shí)VR設(shè)備，以使所述VR設(shè)備根據(jù)所述視頻序列呈現(xiàn)視頻畫(huà)面。
【文檔編號(hào)】H04N7/14GK106060522SQ201610493460
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年6月29日
【發(fā)明人】張圣杰, 王猛
【申請(qǐng)人】努比亞技術(shù)有限公司