本發(fā)明涉及數(shù)字圖像處理技術(shù)，尤其涉及一種圖像處理方法及其裝置。

背景技術(shù)：

隨著科學(xué)技術(shù)的快速發(fā)展，越來越多的終端(例如手機(jī)、平板電腦，可穿戴設(shè)備等)配備了照相功能，對于如何利用這些照相終端得到真實(shí)、自然的照片和/或視頻等圖像成為了一項研究的熱點(diǎn)。

目前，終端得到圖像的方式是采用單顆攝像頭進(jìn)行拍攝，并將拍攝得到的圖像顯示在終端上，能夠?qū)崿F(xiàn)迅速且便捷的采集和顯示圖像，方便用戶的日常需要。

然而，上述方式中得到的圖像通常不能夠進(jìn)行立體圖像轉(zhuǎn)換或進(jìn)行立體圖像轉(zhuǎn)換的效果較差，不能滿足用戶對照相終端智能化和自動化的需求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例所要解決的技術(shù)問題在于，提供一種圖像處理方法及其裝置?？蓪?shí)現(xiàn)圖像的立體圖像轉(zhuǎn)換。

為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供了一種圖像處理方法，包括：

調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作，并獲取所述至少兩個攝像模塊分別對應(yīng)的原始圖像；

針對拍攝得到的各個原始圖像進(jìn)行第一處理，并得到所述目標(biāo)場景的深度圖像；

從所述各個原始圖像中確定參考圖像，并將所述參考圖像和所述深度圖像進(jìn)行第二處理，并得到進(jìn)行第二處理后的目標(biāo)立體圖像；

根據(jù)所述目標(biāo)立體圖像生成目標(biāo)立體視頻。

其中，所述目標(biāo)立體視頻包括用于在虛擬現(xiàn)實(shí)設(shè)備上播放的視頻信息，所述方法還包括：

搜索虛擬現(xiàn)實(shí)設(shè)備的連接標(biāo)識，在確定所述連接標(biāo)識為目標(biāo)連接標(biāo)識的情況下，向所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備發(fā)送連接請求；

當(dāng)接收到針對所述連接請求的確認(rèn)連接信息時，與所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備建立連接；

基于所述連接將所述目標(biāo)視頻發(fā)送至所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備。

其中，所述針對拍攝得到的各個原始圖像進(jìn)行第一處理，并得到所述目標(biāo)場景的深度圖像，包括：

獲取所述原始圖像的基本元素，所述基本元素包括灰度值和/或特征分布值；

根據(jù)所述原始圖像的基本元素建立所述原始圖像之間的對應(yīng)關(guān)系；

根據(jù)所述對應(yīng)關(guān)系進(jìn)行立體匹配處理，并得到所述目標(biāo)場景的深度圖像。

其中，所述第二處理包括三維變換處理和/或空洞填充處理；

所述將所述參考圖像和所述深度圖像進(jìn)行第二處理，并得到進(jìn)行第二處理后的目標(biāo)立體圖像，包括：

將所述參考圖像與所述深度圖像進(jìn)行三維圖像變換處理；

生成三維圖像變換處理后的目標(biāo)立體圖像。

其中，所述方法還包括：

若所述目標(biāo)立體圖像中存在空洞現(xiàn)象，則對所述目標(biāo)進(jìn)行空洞填充處理，其中，所述空洞填充處理包括平滑處理、濾波處理、軌跡追蹤處理的一種或多種；

生成進(jìn)行空洞填充處理后的目標(biāo)立體圖像。

其中，所述獲取所述至少兩個攝像模塊分別對應(yīng)的原始圖像之前，還包括：

在調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作之后，生成針對所述目標(biāo)場景的初始視頻；

在檢測到立體圖像處理操作事件時，將所述初始視頻分離成所述至少兩個攝像模塊分別采集的原始圖像，其中，所述分離方式包括以幀為單位的視頻分離方式。

相應(yīng)地，本發(fā)明實(shí)施例還提供一種圖像處理裝置，包括：

攝像模塊，用于對目標(biāo)場景進(jìn)行拍攝操作，其中，所述攝像模塊的數(shù)量為至少兩個；

獲取模塊，用于獲取至少兩個所述攝像模塊分別對應(yīng)的原始圖像；

處理模塊，用于針對拍攝得到的各個原始圖像進(jìn)行第一處理，并得到所述目標(biāo)場景的深度圖像；

所述處理模塊，還用于從所述各個原始圖像中確定參考圖像，并將所述參考圖像和所述深度圖像進(jìn)行第二處理，并得到進(jìn)行第二處理后的目標(biāo)立體圖像；

生成模塊，用于根據(jù)所述目標(biāo)立體圖像生成目標(biāo)立體視頻。

其中，所述目標(biāo)立體視頻包括用于在虛擬現(xiàn)實(shí)設(shè)備上播放的視頻信息，所述裝置還包括：

通信模塊，用于搜索虛擬現(xiàn)實(shí)設(shè)備的連接標(biāo)識，在確定所述連接標(biāo)識為目標(biāo)連接標(biāo)識的情況下，向所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備發(fā)送連接請求；

當(dāng)接收到針對所述連接請求的確認(rèn)連接信息時，與所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備建立連接；

基于所述連接將所述目標(biāo)視頻發(fā)送至所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備。

其中，所述處理模塊，具體用于通過所述獲取模塊獲取所述原始圖像的基本元素，所述基本元素包括灰度值和/或特征分布值；

根據(jù)所述原始圖像的基本元素建立所述原始圖像之間的對應(yīng)關(guān)系；

根據(jù)所述對應(yīng)關(guān)系進(jìn)行立體匹配處理，并得到所述目標(biāo)場景的深度圖像。

其中，所述第二處理包括三維變換處理和/或空洞填充處理；

所述處理模塊，具體用于將所述參考圖像與所述深度圖像進(jìn)行三維圖像變換處理；

所述生成模塊，具體用于生成三維圖像變換處理后的目標(biāo)立體圖像。

其中，所述處理模塊，還用于若所述目標(biāo)立體圖像中存在空洞現(xiàn)象，則對所述目標(biāo)進(jìn)行空洞填充處理，其中，所述空洞填充處理包括平滑處理、濾波處理、軌跡追蹤處理的一種或多種；

所述生成模塊，還用于生成進(jìn)行空洞填充處理后的目標(biāo)立體圖像。

其中，所述生成模塊，還用于在所述至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作之后，生成針對所述目標(biāo)場景的初始視頻；

所述處理模塊，還用于在檢測到立體圖像處理操作事件時，將所述初始視頻分離成所述至少兩個攝像模塊分別采集的原始圖像，其中，所述分離方式包括以幀為單位的視頻分離方式。

實(shí)施本發(fā)明實(shí)施例，具有如下有益效果：首先將至少兩個攝像模塊分別采集得到的原始圖像進(jìn)行處理，然后得到目標(biāo)立體圖像，最后將該目標(biāo)立體圖像連接成視頻，可以使圖像具有立體感，從而實(shí)現(xiàn)圖像的立體圖像轉(zhuǎn)化，滿足用戶對照相終端的智能化和自動化需求。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明第一實(shí)施例提供的一種圖像處理方法的示意流程圖；

圖2是本發(fā)明第二實(shí)施例提供的一種圖像處理方法的示意流程圖；

圖3是本發(fā)明實(shí)施例提供的一種圖像處理算法示意圖；

圖4是本發(fā)明第三實(shí)施例提供的一種圖像處理裝置的結(jié)構(gòu)示意圖

圖5是本發(fā)明第四實(shí)施例提供的一種圖像處理裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請參閱圖1，是本發(fā)明第一實(shí)施例提供的一種圖像處理方法的示意流程圖。本發(fā)明實(shí)施例的所述方法可以由各種終端來執(zhí)行，具體的，終端可以是手機(jī)，平板電腦，可穿戴設(shè)備等帶圖像處理功能的終端。如圖1所示，本發(fā)明實(shí)施例中的用于圖像處理的方法包括以下步驟：

S101、調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作，并獲取所述至少兩個攝像模塊分別對應(yīng)的原始圖像。

需要說明的是，調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作之前，終端需要接收到用戶的拍攝命令。該拍攝命令可以是在用戶打開該終端的照相界面時，終端默認(rèn)已接收到用戶的拍攝命令，并開始調(diào)用攝像模塊對目標(biāo)場景進(jìn)行拍攝操作；或者，該拍攝命令還可以是通過用戶觸控終端上的特定按鍵(例如菜單鍵)時，終端默認(rèn)接收到用戶的拍攝命令。當(dāng)然，上述方式只是舉例，而非窮舉，包含但不限于上述可選方式。

可選的，該至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作的時間可以為同時拍攝。具體的，該至少兩個攝像模塊在同一時間對目標(biāo)場景從不同角度或不同位置或不同方式近行拍攝操作，并顯示在該終端的照相界面上，以方便用戶進(jìn)行開始記錄圖像或暫停拍攝操作等的選擇，其中，顯示在該終端的照相界面上的圖像可以是該至少兩個攝像模塊分別拍攝得到的圖像進(jìn)行合成處理后顯示的圖像。

其中，該攝像模塊可以為兩個或三個或多個，攝像模塊越多，獲得的目標(biāo)場景信息量也越多，并且，該攝像模塊具體可以為終端上的攝像頭設(shè)備或具有圖像采集功能的其他設(shè)備。舉例來說，該攝像模塊可以是同時位于終端后蓋或前蓋上的雙攝像頭。

還需要說明的是，獲取該至少兩個攝像模塊分別對應(yīng)的原始圖像之前，終端還可以接收到用戶的立體圖像處理命令。即在終端接收到用戶的立體圖像處理命令之后，終端獲取該至少兩個攝像模塊分別對應(yīng)的原始圖像。如果終端未接收到用戶的立體圖像處理命令，則該終端可以將該至少兩個攝像模塊的圖像合成為一副圖像，并顯示在該終端照相界面上，或者該終端還可以將該至少兩個攝像模塊采集的圖像分別顯示在該終端的照相界面上。

其中，該原始圖像是指該至少兩個攝像模塊分別采集的針對目標(biāo)場景的圖像，該原始圖像的數(shù)量至少為兩幅，并且各個原始圖像的拍攝方位、拍攝時間、拍攝方式等均可以不同。

S102、針對拍攝得到的各個原始圖像進(jìn)行第一處理，并得到所述目標(biāo)場景的深度圖像。

需要說明的是，所述第一處理可以是立體匹配算法處理，該立體匹配算法處理是獲取該目標(biāo)場景的深度圖像的一種處理方法。其中，匹配算法就是在兩幅圖像的匹配基元之間建立對應(yīng)關(guān)系的過程，它是雙目立體視覺系統(tǒng)的關(guān)鍵。實(shí)際上，任何計算機(jī)視覺系統(tǒng)中都包含一個作為其核心的匹配算法，舉例來說，假設(shè)給定兩幅同一環(huán)境的圖像，這兩幅圖像可能由于攝取的時間、方位或方式的不同而有差別，如雙目立體視覺系統(tǒng)所攝取的兩幅圖像、地圖與遙感或航測圖像等，對于如何找到彼此對應(yīng)的部分這個問題，一般有兩種考慮途徑:灰度分布的相關(guān)性或特征分布的相似性，因而立體匹配算法可以分為兩類算法:基于灰度的算法(intensity based)或基于特征的算法(feature based)。如果按照控制策略分，有如下幾種:粗到精多層次結(jié)構(gòu)(coarse-to-finehierarchical)，引入約束條件的松馳法(constraintsrelaxation)，多級表示的決策結(jié)構(gòu)(multilevel representation)。

舉例來說，針對目標(biāo)場景的具體的目標(biāo)物體的深度值獲取方式可以是：如果拍攝目標(biāo)場景的攝像模塊分別為第一攝像頭和第二攝像頭，該第一攝像頭和該第二攝像頭分別對應(yīng)的圖像為第一圖像和該第二圖像。如圖3所示，通過第一攝像頭獲取包含目標(biāo)物體的第一圖像，并記錄焦距f1，同時通過第二攝像頭獲取包含目標(biāo)物體的第二圖像，并記錄焦距f2；接收到輸入的位于第一圖像上的該目標(biāo)物體上的目標(biāo)點(diǎn)時，在第二圖像上確定該目標(biāo)點(diǎn)的成像點(diǎn)的位置，并確定在第一圖像上該目標(biāo)點(diǎn)的成像點(diǎn)與第一攝像頭到該第一圖像的垂直點(diǎn)的距離X1，以及在第二圖像上該目標(biāo)點(diǎn)的成像點(diǎn)與第二攝像頭到該第二圖像的垂直點(diǎn)的距離X2；根據(jù)f1、f2、X1、X2和所述兩個攝像頭的中心距離T計算出與所述目標(biāo)物體之間的距離Z＝T*f1*f2/(X1*f2+X2*f1)

還需要說明的是，該目標(biāo)場景的深度圖像是由該各個原始圖像進(jìn)行處理之后得到的圖像，深度圖像反映的是目標(biāo)場景中的物體相對于攝像模塊聚焦平面的遠(yuǎn)近關(guān)系圖。一般情況下，該目標(biāo)場景的深度圖像為一幅圖像，并且該深度圖像中包含有目標(biāo)場景的深度信息，例如陰影信息、色彩分布信息等。

可以理解的是，在得到該深度圖像之后，終端將該深度圖像進(jìn)行存儲，并利用該深度圖像執(zhí)行S103步驟。

S103、從所述各個原始圖像中確定參考圖像，并將所述參考圖像和所述深度圖像進(jìn)行第二處理，并得到進(jìn)行第二處理后的目標(biāo)立體圖像。

可以理解的是，該參考圖像是指和該深度圖像進(jìn)行第二處理的圖像。具體的，該參考圖像的確定方式可以是從該各個原始圖像隨機(jī)選取一個原始圖像作為該參考圖像；或者，該參考圖像的確定方式還可以是將各個原始圖像進(jìn)行圖像合成處理，并將進(jìn)行合成處理后生成的圖像作為該參考圖像；或者，該參考圖像的確定方式還可以是取各個原始圖像的參數(shù)均衡值，并利用該參數(shù)均衡值生成針對目標(biāo)場景的新圖像，將該新圖像作為該參考圖像。當(dāng)然，上述方式只是舉例，而非窮舉，包含但不限于上述可選方式。

需要說明的是，該第二處理可以是指基于深度的圖像繪制(depth image based rendering，DIBR)，該基于深度的圖像繪制主要完成的功能是利用參考圖像及深度圖像合成目標(biāo)立體圖像，以便構(gòu)成立體圖像對(stereo pair)，采用DIBR算法的視圖合成引擎只需要傳輸一副參考圖像及對應(yīng)的深度圖便可得到立體圖像對，從而可以減少傳輸帶寬。DIBR所產(chǎn)生的目標(biāo)立體圖像是一系列算法運(yùn)行后的結(jié)果。通常，DIBR技術(shù)通過三維圖像變換生成新視圖，但新視圖往往有空洞現(xiàn)象存在，因此需要空洞填充得更好的結(jié)果。將參考圖像和運(yùn)算得到的深度圖像作為算法輸入，最后得到處理后帶有立體感的圖像。

具體的，終端從該各個原始圖像中確定參考圖像之后，將該參考圖像和該深度圖像進(jìn)行DIBR算法處理，其中，該DIBR算法處理主要包括三維圖像變換處理和空洞填充處理，并得到進(jìn)行DIBR算法處理后的目標(biāo)立體圖像。

還需要說明的是，該目標(biāo)立體圖像包含有立體信息，且用于在虛擬現(xiàn)實(shí)設(shè)備等播放設(shè)備中播放，以使用戶能夠在觀看視頻時，充滿3D立體和身臨其境的感覺，相比傳統(tǒng)的藍(lán)綠眼鏡方式，將目標(biāo)立體圖像傳送給虛擬現(xiàn)實(shí)設(shè)備等播放設(shè)備播放，會使得視頻更加逼真，深度信息也更加準(zhǔn)確。

S104、根據(jù)所述目標(biāo)立體圖像生成目標(biāo)立體視頻。

可選的，在根據(jù)該目標(biāo)立體圖像生成目標(biāo)立體視頻之前，終端可以與虛擬現(xiàn)實(shí)設(shè)備建立連接，若終端接收到用戶觸發(fā)的發(fā)送命令，則該終端根據(jù)該目標(biāo)立體圖像生成立體視頻。

其中，終端通過有線連接的方式與該虛擬現(xiàn)實(shí)設(shè)備建立連接，或者該終端通過無線連接的方式與該虛擬現(xiàn)實(shí)設(shè)備建立連接。具體的，該有線連接的方式包括線纜連接方式，該無線連接的方式包括以下至少一種：無限局域網(wǎng)(Wireless Local Area Net，WLAN)、藍(lán)牙、紅外、射頻感應(yīng)。

還需要說明的是，虛擬設(shè)備將目標(biāo)立體視頻處理成左右兩個視角的視頻。右視角與左視角之間的差異稱為屏幕視差值，由于存在屏幕視差，使左右兩幅圖像在人腦中融合成立體的圖像。

還需要說明的是，該目標(biāo)立體視頻包含有多個目標(biāo)立體圖像，每個目標(biāo)立體圖像的排布可以是以幀為單位的排布方式。在播放該目標(biāo)立體視頻時，若以時間順序播放，則該目標(biāo)立體視頻顯示的是以幀為單位排布的多個目標(biāo)立體圖像。

可以理解的是，該目標(biāo)立體視頻的格式可以有多種。具體的，該目標(biāo)立體視頻的格式可以是MPEG、AVI、MOV、ASF、WMV、NAVI、3GP、FLV、RMVB等格式，當(dāng)然，也可以是其他格式，在此不做限制。

可以看出，本發(fā)明實(shí)施例技術(shù)方案中，首先將至少兩個攝像模塊分別采集得到的原始圖像進(jìn)行處理，然后得到目標(biāo)立體圖像，最后將該目標(biāo)立體圖像連接成目標(biāo)立體視頻，可以使圖像具有立體感，從而實(shí)現(xiàn)圖像的立體圖像轉(zhuǎn)化，讓用戶在觀看目標(biāo)立體視頻時能夠身臨其境的體驗(yàn)到拍攝的場景，滿足用戶對照相終端的智能化和自動化需求。

請參閱圖2，是本發(fā)明第二實(shí)施例提供的一種圖像方法的示意流程圖。本發(fā)明實(shí)施例的所述方法可以由各種終端來執(zhí)行，具體的，終端可以是手機(jī)，平板電腦，可穿戴設(shè)備等帶圖像處理功能的終端。如圖2所示，本發(fā)明的實(shí)施例中的圖像處理方法包括以下步驟：

S201、在調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作之后，生成針對所述目標(biāo)場景的初始視頻。

需要說明的是，該初始視頻可以是該至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作之后，分別生成的視頻進(jìn)行合成處理后的視頻。通常情況下，該初始視頻無3D立體效果，可用于用戶進(jìn)行裸眼觀看。

還需要說明的是，該初始視頻可以在終端的顯示屏上進(jìn)行顯示，以便于用戶確認(rèn)該初始視頻是否為用戶想要的視頻。如果用戶認(rèn)為該初始視頻不是該用戶想要的視頻，則終端可以再次調(diào)用該至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作并得到拍攝后的視頻，直至用戶確認(rèn)該視頻為初始視頻為止。

S202、在檢測到立體圖像處理操作事件時，將所述初始視頻分離成所述至少兩個攝像模塊分別采集的原始圖像，其中，所述分離方式包括以幀為單位的視頻分離方式。

需要說明的是，該立體圖像處理事件是由用戶所觸發(fā)。具體的，當(dāng)用戶想要將拍攝得到的初始視頻處理成有立體感的視頻時，就需要觸發(fā)該立體圖像處理事件。其中，觸發(fā)該立體圖像處理事件的方式可以是用戶通過觸控終端顯示屏上的菜單欄(例如帶有“開啟立體圖像處理功能”的菜單欄)來觸發(fā)該立體圖像處理事件，也可以是用戶通過觸控終端的物理按鍵(例如音量增大鍵或主菜單鍵或鎖屏鍵等等)來觸發(fā)該立體圖像處理事件，還可以是用戶通過手勢控制、指紋識別、語音識別等方式來觸發(fā)該立體圖像處理事件，在此不作限制。

還需要說明的是，由于連續(xù)的圖像變化每秒超過24幀畫面以上時，根據(jù)視覺暫留原理，人眼無法辨別單幅的靜態(tài)畫面，看上去是平滑連續(xù)的視覺效果，這樣連續(xù)的畫面叫做視頻，即視頻是由許多幅圖像快速變化而形成。其中，獲得的最初圖像即指視頻中的各個快速變化的畫面。

還需要說明的是，在終端利用包括以幀為單位的視頻分離方式獲取了初始視頻中的最初圖像之后，將該最初圖像根據(jù)不同攝像模塊分別采集到的不同圖像進(jìn)行分離操作，生成原始圖像。

其中，該分離方式可以為以幀為單位的視頻分離方式。具體的分離操作可以通過視頻分離軟件把視頻拆解成序列圖片或利用圖片捕獲技術(shù)來獲取初始視頻的幀圖像，也即最初圖像。

S203、獲取所述至少兩個攝像模塊分別對應(yīng)的原始圖像。

S204、針對拍攝得到的各個原始圖像進(jìn)行第一處理，并得到所述目標(biāo)場景的深度圖像。

可選的，所述針對拍攝得到的各個原始圖像進(jìn)行第一處理，并得到所述目標(biāo)場景的深度圖像，包括：獲取所述原始圖像的基本元素，所述基本元素包括灰度值和/或特征分布值；根據(jù)所述原始圖像的基本元素建立所述原始圖像之間的對應(yīng)關(guān)系；根據(jù)所述對應(yīng)關(guān)系進(jìn)行立體匹配處理，并得到所述目標(biāo)場景的深度圖像。

需要說明的是，所述第一處理可以是立體匹配算法處理，該立體匹配算法處理是獲取該目標(biāo)場景的深度圖像的一種處理方法。其中，匹配算法就是在兩幅圖像的匹配基元之間建立對應(yīng)關(guān)系的過程，它是雙目立體視覺系統(tǒng)的關(guān)鍵。實(shí)際上，任何計算機(jī)視覺系統(tǒng)中都包含一個作為其核心的匹配算法，舉例來說，假設(shè)給定兩幅同一環(huán)境的圖像，這兩幅圖像可能由于攝取的時間、方位或方式的不同而有差別，如雙目立體視覺系統(tǒng)所攝取的兩幅圖像、地圖與遙感或航測圖像等，對于如何找到彼此對應(yīng)的部分這個問題，一般有兩種考慮途徑:灰度分布的相關(guān)性或特征分布的相似性，因而立體匹配算法可以分為兩類算法:基于灰度的算法(intensity based)或基于特征的算法(feature based)。如果按照控制策略分，有如下幾種:粗到精多層次結(jié)構(gòu)(coarse-to-finehierarchical)，引入約束條件的松馳法(constraintsrelaxation)，多級表示的決策結(jié)構(gòu)(multilevel representation)。

S205、從所述各個原始圖像中確定參考圖像，并將所述參考圖像和所述深度圖像進(jìn)行第二處理，并得到進(jìn)行第二處理后的目標(biāo)立體圖像。

其中，所述第二處理包括三維變換處理和/或空洞填充處理；所述將所述參考圖像和所述深度圖像進(jìn)行第二處理，并得到進(jìn)行第二處理后的目標(biāo)立體圖像，包括：將所述參考圖像與所述深度圖像進(jìn)行三維圖像變換處理；生成三維圖像變換處理后的目標(biāo)立體圖像。

需要說明的是，該第二處理可以是指基于深度的圖像繪制(depth image based rendering，DIBR)，該基于深度的圖像繪制主要完成的功能是利用參考圖像及深度圖像合成目標(biāo)立體圖像，以便構(gòu)成立體圖像對(stereo pair)，采用DIBR算法的視圖合成引擎只需要傳輸一副參考圖像及對應(yīng)的深度圖便可得到立體圖像對，從而可以減少傳輸帶寬。

可選的，若所述目標(biāo)立體圖像中存在空洞現(xiàn)象，則對所述目標(biāo)進(jìn)行空洞填充處理，其中，所述空洞填充處理包括平滑處理、濾波處理、軌跡追蹤處理的一種或多種；生成進(jìn)行空洞填充處理后的目標(biāo)立體圖像。

具體的，DIBR技術(shù)通過三維圖像變換生成新視圖，但新視圖往往有空洞現(xiàn)象存在，因此需要空洞填充處理得更好的結(jié)果，其中，所述空洞填充處理包括平滑處理、濾波處理、軌跡追蹤處理的一種或多種。將參考圖像和運(yùn)算得到的深度圖像作為算法輸入，最后得到處理后帶有立體感的圖像。

S206、根據(jù)所述目標(biāo)立體圖像生成目標(biāo)立體視頻。

S207、搜索虛擬現(xiàn)實(shí)設(shè)備的連接標(biāo)識，在確定所述連接標(biāo)識為目標(biāo)連接標(biāo)識的情況下，向所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備發(fā)送連接請求。

其中,該虛擬現(xiàn)實(shí)(Virtual Reality，VR)設(shè)備可以是指VR眼鏡、VR眼罩、VR頭盔等VR頭戴式顯示設(shè)備，利用該VR頭戴式顯示設(shè)備將用戶的對外界的視覺、聽覺封閉，引導(dǎo)用戶產(chǎn)生一種身在虛擬環(huán)境中的感覺。其顯示原理是VR設(shè)備將將視頻投射到一個球型坐標(biāo)系中，并且分離出左右兩個視角的視頻。右視角與左視角之間的差異稱為屏幕視差值。由于存在屏幕視差，使左右兩幅圖像在人腦中融合成立體圖像，使人眼獲取這種帶有差異的信息后在腦海中產(chǎn)生立體感。

需要說明的是，該連接標(biāo)識可以是有線連接標(biāo)識，也可以是無線連接標(biāo)識。如果該連接標(biāo)識是有線連接標(biāo)識，則該終端通過有線連接的方式與VR設(shè)備建立連接，如果該連接標(biāo)識是無線連接標(biāo)識，則該終端通過無線連接的方式與VR設(shè)備建立連接。

具體的，確定該目標(biāo)連接標(biāo)識的方式可以是終端搜索到該連接標(biāo)識之后，與該連接標(biāo)識對應(yīng)的VR設(shè)備進(jìn)行身份驗(yàn)證，具體的，該身份驗(yàn)證可以是獲取VR設(shè)備的設(shè)備型號或視頻可播放格式等設(shè)備信息，如果該設(shè)備信息與終端匹配，則終端確定該連接標(biāo)識為目標(biāo)連接標(biāo)識；或者，確定該目標(biāo)連接標(biāo)識的方式還可以是用戶在連接界面上輸入與該連接標(biāo)識對應(yīng)的VR設(shè)備的密碼，如果密碼驗(yàn)證通過，則該終端確定該連接標(biāo)識為目標(biāo)連接標(biāo)識。當(dāng)然，上述方式只是舉例，而非窮舉，包含但不限于上述可選方式。

還需要說明的是，終端在確認(rèn)目標(biāo)連接標(biāo)識之后，向該目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備發(fā)送連接請求，該連接請求里可以包含終端的終端信息，以及請求內(nèi)容(例如待發(fā)送的視頻格式、視頻大小等)。

S208、當(dāng)接收到針對所述連接請求的確認(rèn)連接信息時，與所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備建立連接。

需要說明的是，該針對該連接請求的確認(rèn)連接信息有VR設(shè)備發(fā)出，VR設(shè)備設(shè)備可以是在接收到連接請求后，提取連接請求的請求內(nèi)容，并確認(rèn)該請求內(nèi)容有效的情況下，將該針對該連接請求的確認(rèn)連接信息發(fā)出。

S209、基于所述連接將所述目標(biāo)視頻發(fā)送至所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備。

需要說明的是，該目標(biāo)立體視頻包含有多個目標(biāo)立體圖像，每個目標(biāo)立體圖像的排布可以是以幀為單位的排布方式。在播放該目標(biāo)立體視頻時，若以時間順序播放，則該目標(biāo)立體視頻顯示的是以幀為單位排布的多個目標(biāo)立體圖像。

可以看出，本發(fā)明實(shí)施例技術(shù)方案中，首先調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝并生成初始視頻，在檢測到立體圖像處理操作事件時，將該初始視頻分離成至少兩個攝像模塊分別采集得到的原始圖像并對其進(jìn)行處理，然后得到目標(biāo)立體圖像，最后將該目標(biāo)立體圖像連接成目標(biāo)立體視頻，并將該目標(biāo)立體視頻發(fā)送給虛擬現(xiàn)實(shí)設(shè)備，可以使圖像具有立體感，從而實(shí)現(xiàn)圖像的立體圖像轉(zhuǎn)化，讓用戶在觀看目標(biāo)立體視頻時能夠身臨其境的體驗(yàn)到拍攝的場景，滿足用戶對照相終端的智能化和自動化需求。

下面為本發(fā)明裝置實(shí)施例，本發(fā)明裝置實(shí)施例用于執(zhí)行本發(fā)明方法第一實(shí)施例和第二實(shí)施例實(shí)現(xiàn)的方法，為了便于說明，僅示出了本發(fā)明實(shí)施例相關(guān)的部分，具體未揭示的部分，請參照本發(fā)明第一實(shí)施例和第二實(shí)施例。

請參閱圖4，是本發(fā)明第三實(shí)施例提供的一種圖像處理裝置的結(jié)構(gòu)示意圖。本發(fā)明實(shí)施例的所述裝置可以設(shè)置在各種終端中，具體的，該終端可以是手機(jī)，平板電腦，可穿戴設(shè)備等帶圖像處理功能的終端。如圖4所示，本發(fā)明實(shí)施例中的圖像處理裝置包括：

攝像模塊401，用于對目標(biāo)場景進(jìn)行拍攝操作，其中，所述攝像模塊401的數(shù)量為至少兩個。

獲取模塊402，用于獲取至少兩個所述攝像模塊401分別對應(yīng)的原始圖像。

處理模塊403，用于針對拍攝得到的各個原始圖像進(jìn)行第一處理，并得到所述目標(biāo)場景的深度圖像。

所述處理模塊403，還用于從所述各個原始圖像中確定參考圖像，并將所述參考圖像和所述深度圖像進(jìn)行第二處理，并得到進(jìn)行第二處理后的目標(biāo)立體圖像。

可選的，所述處理模塊403，具體用于通過所述獲取模塊402獲取所述原始圖像的基本元素，所述基本元素包括灰度值和/或特征分布值；根據(jù)所述原始圖像的基本元素建立所述原始圖像之間的對應(yīng)關(guān)系；根據(jù)所述對應(yīng)關(guān)系進(jìn)行立體匹配處理，并得到所述目標(biāo)場景的深度圖像。

可選的，所述處理模塊403，還用于在檢測到立體圖像處理操作事件時，將所述初始視頻分離成所述至少兩個攝像模塊401分別采集的原始圖像，其中，所述分離方式包括以幀為單位的視頻分離方式。

生成模塊404，用于根據(jù)所述目標(biāo)立體圖像生成目標(biāo)立體視頻。

可選的，所述第二處理包括三維變換處理和/或空洞填充處理。

可選的，所述處理模塊403，具體用于將所述參考圖像與所述深度圖像進(jìn)行三維圖像變換處理。

所述生成模塊404，具體用于生成三維圖像變換處理后的目標(biāo)立體圖像。

其中，所述生成模塊404，還用于生成進(jìn)行空洞填充處理后的目標(biāo)立體圖像。

可選的，所述目標(biāo)立體視頻包括用于在虛擬現(xiàn)實(shí)設(shè)備上播放的視頻信息，所述裝置還包括：通信模塊405，用于搜索虛擬現(xiàn)實(shí)設(shè)備的連接標(biāo)識，在確定所述連接標(biāo)識為目標(biāo)連接標(biāo)識的情況下，向所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備發(fā)送連接請求；當(dāng)接收到針對所述連接請求的確認(rèn)連接信息時，與所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備建立連接；基于所述連接將所述目標(biāo)視頻發(fā)送至所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備。

可選的，所述生成模塊404，還用于在所述至少兩個攝像模塊401對目標(biāo)場景進(jìn)行拍攝操作之后，生成針對所述目標(biāo)場景的初始視頻。

其中，所述處理模塊403，還用于若所述目標(biāo)立體圖像中存在空洞現(xiàn)象，則對所述目標(biāo)進(jìn)行空洞填充處理，其中，所述空洞填充處理包括平滑處理、濾波處理、軌跡追蹤處理的一種或多種。

可以看出，本發(fā)明實(shí)施例技術(shù)方案中，首先調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝并生成初始視頻，在檢測到立體圖像處理操作事件時，將該初始視頻分離成至少兩個攝像模塊分別采集得到的原始圖像并對其進(jìn)行處理，然后得到目標(biāo)立體圖像，最后將該目標(biāo)立體圖像連接成目標(biāo)立體視頻，并將該目標(biāo)立體視頻發(fā)送給虛擬現(xiàn)實(shí)設(shè)備，可以使圖像具有立體感，從而實(shí)現(xiàn)圖像的立體圖像轉(zhuǎn)化，讓用戶在觀看目標(biāo)立體視頻時能夠身臨其境的體驗(yàn)到拍攝的場景，滿足用戶對照相終端的智能化和自動化需求。

請參閱圖5，是本發(fā)明第四實(shí)施例提供的一種圖像處理裝置的結(jié)構(gòu)示意圖，所述裝置可以是手機(jī)，平板電腦，可穿戴設(shè)備等帶圖像處理功能的終端。如圖5所示，本發(fā)明實(shí)施例中的圖像處理裝置包括：至少一個通信接口501；至少一個處理器502，例如CPU；至少一個存儲器503；至少一個輸出設(shè)備504，至少兩個攝像頭505，上述通信接口501、處理器502、存儲器503和輸出設(shè)備504，攝像頭505通過總線連接。其中，總線用于實(shí)現(xiàn)這些組件之間的連接通信。其中，本發(fā)明實(shí)施例中裝置的通信接口501和輸出設(shè)備504可以是有線發(fā)送端口，也可以為無線設(shè)備，例如包括天線裝置，用于與其他節(jié)點(diǎn)設(shè)備進(jìn)行信令或數(shù)據(jù)的通信。

該處理器502可以是中央處理器(central processing unit，CPU)，網(wǎng)絡(luò)處理器(network processor，NP)或者CPU和NP的組合。

該處理器502還可以進(jìn)一步包括硬件芯片。上述硬件芯片可以是專用集成電路(application-specific integrated circuit，ASIC)，可編程邏輯器件(programmable logic device，PLD)或其組合。上述PLD可以是復(fù)雜可編程邏輯器件(complex programmable logic device，CPLD)，現(xiàn)場可編程邏輯門陣列(field-programmable gate array，F(xiàn)PGA)，通用陣列邏輯(generic array logic，GAL)或其任意組合。

該存儲器503可以包括易失性存儲器(volatile memory)，例如隨機(jī)存取存儲器(random-access memory，RAM)；存儲器也可以包括非易失性存儲器(non-volatile memory)，例如快閃存儲器(flash memory)，硬盤(hard disk drive，HDD)或固態(tài)硬盤(solid-state drive，SSD)；存儲器503還可以包括上述種類的存儲器的組合。

可選地，該存儲器503還用于存儲程序指令。該處理器502可以調(diào)用該存儲器503存儲的程序指令，實(shí)現(xiàn)如本申請第一實(shí)施例、第二實(shí)施例所示的圖像處理方法。

處理器502，用于調(diào)用攝像頭505對目標(biāo)場景進(jìn)行拍攝操作，并獲取所述至少兩個攝像模塊分別對應(yīng)的原始圖像；針對拍攝得到的各個原始圖像進(jìn)行第一處理，并得到所述目標(biāo)場景的深度圖像；從所述各個原始圖像中確定參考圖像，并將所述參考圖像和所述深度圖像進(jìn)行第二處理，并得到進(jìn)行第二處理后的目標(biāo)立體圖像；根據(jù)所述目標(biāo)立體圖像生成目標(biāo)立體視頻。

可選的，所述目標(biāo)立體視頻包括用于在虛擬現(xiàn)實(shí)設(shè)備上播放的視頻信息。所述通信接口501，用于搜索虛擬現(xiàn)實(shí)設(shè)備的連接標(biāo)識，在確定所述連接標(biāo)識為目標(biāo)連接標(biāo)識的情況下，向所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備發(fā)送連接請求；當(dāng)接收到針對所述連接請求的確認(rèn)連接信息時，與所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備建立連接；基于所述連接將所述目標(biāo)視頻發(fā)送至所述目標(biāo)連接標(biāo)識對應(yīng)的虛擬現(xiàn)實(shí)設(shè)備。

其中，所述處理器502，具體用于獲取所述原始圖像的基本元素，所述基本元素包括灰度值和/或特征分布值；根據(jù)所述原始圖像的基本元素建立所述原始圖像之間的對應(yīng)關(guān)系；根據(jù)所述對應(yīng)關(guān)系進(jìn)行立體匹配處理，并得到所述目標(biāo)場景的深度圖像。

其中，所述第二處理包括三維變換處理和/或空洞填充處理；

可選的，所述處理器502，具體用于將所述參考圖像與所述深度圖像進(jìn)行三維圖像變換處理；生成三維圖像變換處理后的目標(biāo)立體圖像。

可選的，所述處理器502，還用于若所述目標(biāo)立體圖像中存在空洞現(xiàn)象，則對所述目標(biāo)進(jìn)行空洞填充處理，其中，所述空洞填充處理包括平滑處理、濾波處理、軌跡追蹤處理的一種或多種；生成進(jìn)行空洞填充處理后的目標(biāo)立體圖像。

可選的，所述處理器502，還用于在調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝操作之后，生成針對所述目標(biāo)場景的初始視頻；在檢測到立體圖像處理操作事件時，將所述初始視頻分離成所述至少兩個攝像模塊分別采集的原始圖像，其中，所述分離方式包括以幀為單位的視頻分離方式。

可以看出，本發(fā)明實(shí)施例技術(shù)方案中，首先調(diào)用至少兩個攝像模塊對目標(biāo)場景進(jìn)行拍攝并生成初始視頻，在檢測到立體圖像處理操作事件時，將該初始視頻分離成至少兩個攝像模塊分別采集得到的原始圖像并對其進(jìn)行處理，然后得到目標(biāo)立體圖像，最后將該目標(biāo)立體圖像連接成目標(biāo)立體視頻，并將該目標(biāo)立體視頻發(fā)送給虛擬現(xiàn)實(shí)設(shè)備，可以使圖像具有立體感，從而實(shí)現(xiàn)圖像的立體圖像轉(zhuǎn)化，讓用戶在觀看目標(biāo)立體視頻時能夠身臨其境的體驗(yàn)到拍攝的場景，滿足用戶對照相終端的智能化和自動化需求。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過計算機(jī)程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)或隨機(jī)存儲記憶體(Random Access Memory，RAM)等。

以上所揭露的僅為本發(fā)明一種較佳實(shí)施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分流程，并依本發(fā)明權(quán)利要求所作的等同變化，仍屬于發(fā)明所涵蓋的范圍。