專利名稱：一種基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺處理領(lǐng)域，特別涉及一種基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法 及裝置。
背景技術(shù)：
立體視頻技術(shù)作為未來多媒體技術(shù)的發(fā)展方向，是一種能夠提供立體感的新型視 頻技術(shù)。與單通道視頻相比，立體視頻一般有兩個(gè)視頻通道，數(shù)據(jù)量要遠(yuǎn)遠(yuǎn)大于單通道視 頻，所以對(duì)立體視頻的高效壓縮尤為重要。具體而言，立體視頻不僅包含傳統(tǒng)二維視頻的 關(guān)于場景的表面信息，而且還包含與場景具體位置相關(guān)的三維立體信息。與傳統(tǒng)的二維視 頻相比，立體視頻是一種更有效、更真實(shí)的表達(dá)方式，克服了二維視頻的片面性與被動(dòng)性的 缺點(diǎn)，能夠更充分地滿足人們的視覺感官需求，在交互式自由視點(diǎn)視頻(FVV)、虛擬現(xiàn)實(shí)、 3DTV、3D游戲、體育直播、廣告?zhèn)髅降群芏囝I(lǐng)域有著廣泛的應(yīng)用前景。在立體視頻技術(shù)中，通過雙目立體視覺實(shí)現(xiàn)立體感知效果。具體而言，雙目立體視 覺利用雙目成像的原理，通過模擬雙目感知成像，將左右兩路圖像或者視頻作為左右眼的 輸入，然后通過大腦的融合，重構(gòu)出輸入兩路圖像和視頻的立體場景，達(dá)到立體感知效果。 其中雙目成像原理為根據(jù)雙目感知世界的原理，左右兩眼在觀看某個(gè)具體場景時(shí)，在左右 兩眼的視網(wǎng)膜上形成具有一定視差的左右兩個(gè)成像圖，并通過大腦的融合，重構(gòu)出具有前 后層次感的實(shí)際場景。在立體顯示技術(shù)的飛速發(fā)展的同時(shí)，立體內(nèi)容的匱乏卻嚴(yán)重制約著整個(gè)立體視頻 產(chǎn)業(yè)的發(fā)展，并且現(xiàn)有的立體視頻技術(shù)處理過程復(fù)雜并且成像質(zhì)量低，整體立體顯示效果差。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一，特別提出一種基于運(yùn)動(dòng)分析的平 面轉(zhuǎn)立體方法及裝置，該基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法及裝置的應(yīng)用范圍寬、運(yùn)算速度 快、圖像質(zhì)量高且立體效果好。為達(dá)到上述目的，本發(fā)明的第一方面實(shí)施例提出一種基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體 方法，包括如下步驟輸入單路圖像，并對(duì)所述單路圖像進(jìn)行預(yù)處理；讀取所述單路圖像中的每一幀圖像作為當(dāng)前幀，通過相異性檢測選取所述當(dāng)前幀 鄰近η幀作為待匹配幀；根據(jù)所述待匹配幀和所述單路圖像中的每一幀圖像求取運(yùn)動(dòng)矢量，利用所述運(yùn)動(dòng) 矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取最終匹配幀；對(duì)所述當(dāng)前幀和匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入 圖像；以及對(duì)所述第一立體輸入圖像和第二立體輸入圖像進(jìn)行立體化合成以得到立體視頻，輸出所述立體視頻。根據(jù)本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，具有以下優(yōu)點(diǎn)(1)應(yīng)用范圍寬本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法針對(duì)不同圖像 或者視頻輸入條件具有不同的解決方案，從而具有較大的應(yīng)用范圍。(2)運(yùn)算速度快通過鄰近幀的選取方法和塊采樣方法以降低計(jì)算總量，同時(shí)本 發(fā)明采用的運(yùn)動(dòng)分析和判斷算法，較簡單實(shí)用且處理效率高。(3)圖像與視頻質(zhì)量高由于當(dāng)前幀和匹配幀都來自圖像序列或者視頻本身，并 且對(duì)當(dāng)前幀和匹配幀進(jìn)行圖像變換時(shí)基于預(yù)設(shè)區(qū)域或者整幅圖像進(jìn)行的，從而沒有圖像和 視頻本身質(zhì)量的損失，使得圖像與視頻質(zhì)量高。(4)立體效果佳線性、非線性以及基于預(yù)設(shè)區(qū)域的圖像變換方法，使得立體合成 后的立體視頻立體效果明顯，無明顯的深度感知錯(cuò)誤和幀間抖動(dòng)。本發(fā)明第二方面的實(shí)施例提出一種圖像立體化裝置，包括單路輸入及預(yù)處理模 塊，用于輸入單路圖像，并對(duì)所述單路圖像進(jìn)行預(yù)處理；待匹配幀選取模塊，用于對(duì)來自所 述單路輸入及預(yù)處理模塊的所述單路圖像中的每一當(dāng)前幀，通過相異性檢測選取其鄰近η 幀作為待匹配幀；運(yùn)動(dòng)分析及判斷模塊，用于根據(jù)來自所述待匹配幀選取模塊的所述待匹 配幀和所述單路圖像中的每一幀圖像求取運(yùn)動(dòng)矢量，利用所述運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判 斷以獲取最終匹配幀；圖像變換模塊，用于對(duì)來自所述運(yùn)動(dòng)分析及判斷模塊的所述當(dāng)前幀 和匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入圖像；以及立體合成模 塊，用于對(duì)來自所述圖像變換模塊的所述第一立體輸入圖像和第二立體輸入圖像進(jìn)行立體 化合成以得到立體視頻，輸出所述立體視頻。根據(jù)本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，針對(duì)不同圖像或者視頻輸 入條件具有不同的解決方案，從而具有較大的應(yīng)用范圍，并且通過鄰近幀的選取和塊采樣 降低計(jì)算總量，同時(shí)本發(fā)明的運(yùn)動(dòng)分析及判斷模塊采用的運(yùn)動(dòng)分析和判斷算法，因此較簡 單實(shí)用且處理效率高。并且由于當(dāng)前幀和匹配幀都來自圖像序列或者視頻本身，并且對(duì)當(dāng) 前幀和匹配幀進(jìn)行圖像變換時(shí)基于預(yù)設(shè)區(qū)域或者整幅圖像進(jìn)行的，從而沒有圖像和視頻本 身質(zhì)量的損失，使得圖像與視頻質(zhì)量高。此外，本發(fā)明應(yīng)用的線性、非線性以及基于預(yù)設(shè)區(qū) 域的圖像變換，使得立體合成后的立體視頻立體效果明顯，從而無明顯的深度感知錯(cuò)誤和 幀間抖動(dòng)。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法的流程框圖；以及圖2為根據(jù)本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置的結(jié)構(gòu)框圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終
8相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。如圖1所示，根據(jù)本發(fā)明實(shí)施例基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，包括如下步驟SlOl 輸入單路圖像，并對(duì)單路圖像進(jìn)行預(yù)處理；首先輸入單路圖像，其中單路圖像可以為以下之一單路平面圖像、單路圖像序列 或單路視頻。其中，單路平面圖像或單路圖像序列的圖像格式可以為RAW、BMP、PCX、TIFF、 GIF、JPEG、TGA, EXIF 等；單路視頻的視頻格式可以為 MPEG、AVI、MOV、ASF、WMV, MKV, DIVX、 Real Video等。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，單路平面圖像或單路圖像序列亦可以 為其他圖像格式，單路視頻亦可以為其他視頻格式。然后對(duì)輸入的單路圖像進(jìn)行預(yù)處理。對(duì)于單路視頻的預(yù)處理采用圖像編碼技術(shù)對(duì)視頻進(jìn)行解碼操作。在本發(fā)明的一個(gè) 實(shí)施例中，采用解碼器對(duì)輸入的單路視頻進(jìn)行解碼后，輸出YUV系列或者RGB系列的碼流。預(yù)處理過程還包括對(duì)輸入的單路圖像提取圖像像素值。具體而言，讀取單路平面 圖像、單路圖像序列或單路視頻解碼流中的每一幀，然后提取相應(yīng)顏色空間中的像素值。對(duì)于RGB空間，提取的圖像像素值可以為以下三種之一 RGB三個(gè)通道值的三元數(shù) 組；RGB三通道值的平均值；RGB三通道以某個(gè)比例系數(shù)進(jìn)行疊加求和得到的加權(quán)值。其中， 當(dāng)提取的圖像像素值為RGB三通道以某個(gè)比例系數(shù)進(jìn)行疊加求和得到的加權(quán)值時(shí)，通過以 下公式進(jìn)行計(jì)算，Gray = R*0. 3+G*0. 59+Β*0· 11，其中，Gray為加權(quán)值。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，當(dāng)以其他系數(shù)進(jìn)行加 權(quán)獲取加權(quán)值時(shí)，亦屬于本發(fā)明的保護(hù)范圍。對(duì)于YUV空間，提取的圖像像素值可以分為以下三種之一 Y分量；YUV三通道的 平均值；YUV三通道以某個(gè)比例系數(shù)進(jìn)行疊加求和得到的加權(quán)值。S102 對(duì)于單路圖像中的每一幀圖像，選取當(dāng)前幀的鄰近幀作為待匹配幀；由于在雙面立體視覺時(shí)利用雙面成像的原理，需要左右兩路圖像作為初始輸入。 因此，除輸入的當(dāng)前幀外，還需要與當(dāng)前幀對(duì)應(yīng)的匹配幀，分別作為兩路輸入。當(dāng)單路圖像為單路平面圖像時(shí)，匹配幀即為當(dāng)前幀。當(dāng)單路圖像為單路圖像序列或單路視頻時(shí)，在確定匹配幀之前需要獲取待匹配 幀。具體而言，對(duì)于單路圖像中的每一幀圖像，需要從當(dāng)前幀的鄰近幀中選取初始待匹配幀 序列。其中，在初始待匹配幀序列中包括有多個(gè)初始待匹配幀。其中，初始待匹配幀序列為 當(dāng)前幀在時(shí)間軸上的前h個(gè)幀和后h個(gè)幀。在本發(fā)明的一個(gè)實(shí)施例中，h可以為5。當(dāng)然本 領(lǐng)域技術(shù)人員可以理解的是，h亦可以為其他值。為了確定當(dāng)前幀與初始待匹配幀序列的相異性，在獲取初始待匹配幀序列后，需 要對(duì)初始待匹配幀序列中的每一個(gè)初始待匹配幀進(jìn)行相異性檢測以獲取待匹配幀序列，包 括如下步驟Al 首先對(duì)當(dāng)前幀與一個(gè)初始待匹配幀同時(shí)進(jìn)行一個(gè)水平中線分割和垂直中線分 割，由此當(dāng)前幀和初始待匹配幀分別被均分為四個(gè)圖像塊，分割后的四個(gè)圖像塊的長和寬 的尺寸為原來圖像幀長和寬大小的1/2 ；A2:對(duì)當(dāng)前幀和初始待匹配幀對(duì)應(yīng)位置的四個(gè)圖像塊分別進(jìn)行圖像塊像素值相 減，取差值的絕對(duì)值作為新像素值以得到新的圖像塊，對(duì)四個(gè)新圖像塊求取像素均值和方差；A3 對(duì)四個(gè)新圖像塊的像素均值和方差分別進(jìn)行閾值判斷，當(dāng)四個(gè)新圖像塊中均 值和方差超過預(yù)設(shè)閾值的數(shù)量均小于或等于相異性數(shù)量閾值時(shí)，則判斷該初始待匹配幀為 當(dāng)前幀的待匹配幀；當(dāng)四個(gè)新圖像塊中均值或方差超過預(yù)設(shè)閾值的數(shù)量大于相異性數(shù)量閾 值時(shí)，則判斷該初始待匹配幀不為當(dāng)前幀的待匹配幀。其中，預(yù)設(shè)閾值包括像素均值閾值和 方差閾值。在本發(fā)明的一個(gè)實(shí)施例中，像素均值和方差閾值可以為[20，30]之內(nèi)的任意值。 其中，相異性數(shù)量閾值可以為3。重復(fù)步驟Al至A3，將初始待匹配幀序列中的每一個(gè)初始待匹配幀均與當(dāng)前幀進(jìn) 行一次相異性檢測計(jì)算，直至所有初始待匹配幀均做完相異性檢測得到η個(gè)待匹配幀。其 中η為正整數(shù)。S103 求取運(yùn)動(dòng)矢量，利用運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取匹配幀；由于單路平面圖形的匹配幀即為當(dāng)前幀，從而不需要進(jìn)行運(yùn)動(dòng)分析及判斷。在本步驟中，當(dāng)輸入為單路圖像序列或單路視頻時(shí)需要通過運(yùn)動(dòng)檢測來判斷場景 的運(yùn)動(dòng)形式和大小。具體而言，對(duì)單路圖像序列或單路視頻的待匹配幀和當(dāng)前幀求取運(yùn)動(dòng) 矢量，利用運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取匹配幀，包括如下步驟第一步，對(duì)當(dāng)前幀的圖像數(shù)據(jù)按照預(yù)定尺寸進(jìn)行分塊，并對(duì)分塊后的圖像按照預(yù) 定采樣數(shù)進(jìn)行數(shù)據(jù)塊的均勻采樣以獲取多個(gè)采樣塊；首先，根據(jù)當(dāng)前幀圖像的尺寸和分塊的尺寸對(duì)圖像數(shù)據(jù)安裝預(yù)定尺寸進(jìn)行分塊。 其中，每個(gè)圖像塊的尺寸通過預(yù)先設(shè)定。在本發(fā)明的一個(gè)實(shí)施例中，對(duì)于640*480的圖像， 每個(gè)圖像塊的尺寸為4*4個(gè)像素。然后對(duì)分塊后的圖像進(jìn)行數(shù)據(jù)塊的均勻采樣以獲取多個(gè) 采樣塊。其中，采樣點(diǎn)的數(shù)量通過預(yù)先設(shè)定。在本發(fā)明的一個(gè)實(shí)施例中，采樣點(diǎn)的數(shù)量為圖 像像素總個(gè)數(shù)的5%左右。第二步，對(duì)當(dāng)前幀中的各個(gè)采樣塊分別與每一個(gè)待匹配幀中的匹配塊之間的運(yùn)動(dòng) 偏移作為該采樣塊對(duì)應(yīng)該待匹配幀的運(yùn)動(dòng)矢量；對(duì)當(dāng)前幀中的每一個(gè)采樣塊，在一個(gè)待匹配幀中搜索與其最相似的塊。其中，搜索 方法包括全搜索、三步搜索、對(duì)數(shù)搜索或鉆石搜索算法等等。當(dāng)搜索結(jié)束之后，當(dāng)前幀中各 個(gè)采樣塊與該待匹配幀中的匹配塊之間的運(yùn)動(dòng)偏移作為當(dāng)前幀中的該采樣塊對(duì)應(yīng)該待匹 配幀的運(yùn)動(dòng)矢量。通過上述方法可以得到η個(gè)運(yùn)動(dòng)矢量圖，其中，η為正整數(shù)。第三步，對(duì)η個(gè)矢量圖進(jìn)行運(yùn)動(dòng)分析和判斷以得到零運(yùn)動(dòng)矢量圖的數(shù)量和非零運(yùn) 動(dòng)矢量圖的數(shù)量；判斷已得到η個(gè)運(yùn)動(dòng)矢量圖中是否存在零運(yùn)動(dòng)矢量圖。在本發(fā)明的一個(gè)實(shí)施例 中，當(dāng)對(duì)應(yīng)零矢量采樣塊的數(shù)量占總采樣塊數(shù)量的90%以上時(shí)，則判斷該運(yùn)動(dòng)矢量圖為零 運(yùn)動(dòng)矢量圖。其中，零運(yùn)動(dòng)矢量圖的數(shù)量為m。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，對(duì)應(yīng)零 矢量采樣塊的數(shù)量占總采樣塊數(shù)量的比例為其他合理比例時(shí)，亦落入本發(fā)明的保護(hù)范圍。
根據(jù)上述得到的m個(gè)零運(yùn)動(dòng)矢量圖，可以獲知非零運(yùn)動(dòng)矢量圖的數(shù)量為n-m。然后 對(duì)非零運(yùn)動(dòng)矢量圖進(jìn)行水平運(yùn)動(dòng)矢量分析。非零運(yùn)動(dòng)矢量圖包括前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng) 矢量圖、攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖和剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖。其中，剩余情形 對(duì)應(yīng)的運(yùn)動(dòng)矢量圖為除前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖和攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢 量圖之外的運(yùn)動(dòng)矢量圖。
當(dāng)非零運(yùn)動(dòng)矢量圖對(duì)應(yīng)的采樣塊中，運(yùn)動(dòng)矢量方向?yàn)樗椒较虻牟蓸訅K占非零矢 量采樣塊的比例為70%到90%時(shí)，判斷為前景水平運(yùn)動(dòng)。其中，前景水平運(yùn)動(dòng)對(duì)應(yīng)運(yùn)動(dòng)矢 量圖的數(shù)量為P。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，運(yùn)動(dòng)矢量方向?yàn)樗椒较虻牟蓸訅K占 非零矢量采樣塊的比例為其他合理比例時(shí)，亦落入本發(fā)明的保護(hù)范圍。當(dāng)非零運(yùn)動(dòng)矢量圖對(duì)應(yīng)的采樣塊中，運(yùn)動(dòng)矢量方向?yàn)樗椒较虻牟蓸訅K占非零矢 量采樣塊的比例為90%以上，判斷為攝像機(jī)水平移動(dòng)。其中，攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢 量圖的數(shù)量為q。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，運(yùn)動(dòng)矢量方向?yàn)樗椒较虻牟蓸訅K占 非零矢量采樣塊的比例為其他合理比例時(shí)，亦落入本發(fā)明的保護(hù)范圍。由此可知，剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量為n-m-p-q。下面對(duì)n-m個(gè)非零運(yùn)動(dòng)矢量圖進(jìn)行運(yùn)動(dòng)分析和判斷。首先，對(duì)于每個(gè)非零運(yùn)動(dòng)矢 量圖的非零運(yùn)動(dòng)矢量求平均，得到每個(gè)非零運(yùn)動(dòng)矢量圖的運(yùn)動(dòng)矢量平均值A(chǔ)(i)。其中A為 平均值，i為非零矢量標(biāo)號(hào)。如果非零運(yùn)動(dòng)矢量圖對(duì)應(yīng)的非零運(yùn)動(dòng)矢量平均值在均值閾值內(nèi) 時(shí)，則保留該非零運(yùn)動(dòng)矢量圖，否則丟棄該非零運(yùn)動(dòng)矢量圖并將與其對(duì)應(yīng)的待匹配幀丟棄。在本發(fā)明的一個(gè)實(shí)例中，均值閾值的范圍為[5，30]的像素距離。當(dāng)然本領(lǐng)域技術(shù) 人員可以理解的是，當(dāng)均值閾值為其他合理的設(shè)置范圍時(shí)，亦落入本發(fā)明的保護(hù)范圍。通過上述運(yùn)動(dòng)分析和判斷，可以得到滿足要求的零運(yùn)動(dòng)矢量圖的數(shù)量為vl、前景 水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量為v2、攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量為v3， 剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量為v4。第四步，根據(jù)零運(yùn)動(dòng)圖矢量的數(shù)量和非零運(yùn)動(dòng)矢量圖的數(shù)量獲取匹配幀。(1)當(dāng)零運(yùn)動(dòng)矢量圖的數(shù)量Vl大于第一閾值R(Vl)時(shí)，則判斷單路視頻或單路圖 像序列當(dāng)前幀對(duì)應(yīng)場景為靜止場景，并且在所有零運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀中選取與當(dāng) 前幀在時(shí)間軸上最遠(yuǎn)的一幀作為匹配幀。在本發(fā)明的一個(gè)實(shí)施例中，第一閾值R(Vl)可以設(shè)置為maX(l，n_2)，即vl > max(l,n-2)。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，第一閾值設(shè)置為其他合理值時(shí)，亦落入本 發(fā)明的保護(hù)范圍。(2)當(dāng)前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量v2位于第二閾值R(v2)內(nèi)時(shí)，則判 斷單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景，選取v2個(gè)前景水平運(yùn)動(dòng)對(duì) 應(yīng)的運(yùn)動(dòng)矢量圖的平均值A(chǔ)(W)與前景標(biāo)準(zhǔn)預(yù)設(shè)閾值R(U)的差值最小的前景水平運(yùn)動(dòng)對(duì) 應(yīng)的運(yùn)動(dòng)矢量圖為最終前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取最終前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn) 動(dòng)矢量圖對(duì)應(yīng)的待匹配幀為匹配幀。在本發(fā)明的一個(gè)實(shí)施例中，R(v2) = [n/3,n],R(a2) = 15。當(dāng)然本領(lǐng)域技術(shù)人員 可以理解的是，第二閾值R(W)設(shè)置為其他合理值時(shí)，亦落入本發(fā)明的保護(hù)范圍。(3)當(dāng)攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量v3大于第三閾值R(v3)時(shí)，則判 斷單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為攝像機(jī)移動(dòng)場景，選取v3個(gè)攝像機(jī)水平移 動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的平均值A(chǔ)(U)與攝像機(jī)標(biāo)準(zhǔn)預(yù)設(shè)閾值R(M)的差值最小的前景水平 運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖為最終攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取最終攝像機(jī)水平移 動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀為匹配幀。在本發(fā)明的一個(gè)實(shí)施例中，R(v3) = [n/2,n],R(a3) = 10。當(dāng)然本領(lǐng)域技術(shù)人員 可以理解的是，第三閾值R(U)設(shè)置為其他合理值時(shí)，亦落入本發(fā)明的保護(hù)范圍。
11
(4)當(dāng)剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量v4大于第四閾值R(v4)時(shí)，則判斷單路 視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為除前景水平運(yùn)動(dòng)和攝像機(jī)水平移動(dòng)之外的場景。選 取v4個(gè)剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的平均值A(chǔ)(v4)與剩余情形標(biāo)準(zhǔn)預(yù)設(shè)閾值R(a4)的差 值最小的剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖為最終剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取最終剩余情 形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀為匹配幀。在本發(fā)明的一個(gè)實(shí)施例中，R(v4) = [n-2, η], R(a4) = 5。當(dāng)然本領(lǐng)域技術(shù)人員 可以理解的是，第四閾值R(v4)設(shè)置為其他合理值時(shí)，亦落入本發(fā)明的保護(hù)范圍。在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)均不滿足上述四種情形，如輸入單路平面圖像，則選 取當(dāng)前幀作為待匹配幀。S104:對(duì)于前景運(yùn)動(dòng)場景時(shí)，根據(jù)匹配幀與當(dāng)前幀求取視差圖，并根據(jù)視差圖和當(dāng) 前幀更新匹配幀；當(dāng)單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景時(shí)，需要根據(jù)匹配幀 與當(dāng)前幀求取視差圖，然后通過視差圖和當(dāng)前幀來求取新的匹配幀，即更新匹配幀。其中， 通過以下算法之一求取視差圖，包括基于像素塊操作的光流法、塊匹配法、基于像素點(diǎn)操作 的深度匹配法等。在本發(fā)明的一個(gè)實(shí)施例中，利用當(dāng)前幀和視差圖通過DIBR (Depth Image BasedRendering)方法求取新的匹配幀。S105:對(duì)當(dāng)前幀和匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入 圖像；當(dāng)單路圖像為單路平面圖像或單路視頻或單路圖像序列，且所述單路視頻或單路 圖像序列當(dāng)前幀對(duì)應(yīng)場景為靜止場景或攝像機(jī)移動(dòng)場景或剩余情形時(shí)，將當(dāng)前幀和匹配幀 進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入圖像。當(dāng)單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景時(shí)，則將當(dāng)前幀和更 新后的匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入圖像。圖像變換包括以下方式線性變換、非線性變換和預(yù)設(shè)區(qū)域變換。線性變換是指只對(duì)當(dāng)前幀或者匹配幀做全圖像的線性圖像變換。在本發(fā)明的一個(gè) 實(shí)施例中，線性變換可以為平移變換、拉伸變換、壓縮變換或透視變換等。非線性變換是指包括繞X、Y、Z軸的圖像旋轉(zhuǎn)變換，針對(duì)圖像每一行或每一列或每 一個(gè)像素的預(yù)先設(shè)定好的變換操作。預(yù)設(shè)區(qū)域變換是指通過預(yù)先設(shè)定用戶感興趣的區(qū)域，主要對(duì)該部分預(yù)設(shè)區(qū)域進(jìn)行 線性變換或非線性變換，而對(duì)預(yù)設(shè)區(qū)域外的區(qū)域則不作任何變換，或者對(duì)預(yù)設(shè)區(qū)域外的區(qū) 域進(jìn)行較預(yù)設(shè)區(qū)域變換的變換幅度小的變換。在本發(fā)明的一個(gè)實(shí)施例中，對(duì)當(dāng)前幀與匹配幀的圖像變換可以為單一式，也可以 為組合式，并且可以只對(duì)其中一幀圖像做變換，而對(duì)另一幀圖像不做變換。S106:對(duì)第一立體輸入圖像和第二立體輸入圖像進(jìn)行立體化合成以得到立體視 頻，輸出立體視頻。在本發(fā)明的一個(gè)實(shí)施例中，將第一立體輸入圖像作為左視圖的初始輸入，即將當(dāng) 前幀作為左視圖的初始輸入；將第二立體輸入圖像作為右視圖的初始輸入，對(duì)應(yīng)左眼觀看； 即將匹配幀作為右視圖的初始輸入，對(duì)應(yīng)右眼觀看。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，將當(dāng)前幀作為右視圖的初始輸入，將匹配幀作為左視圖的初始輸入，亦落入本發(fā)明的保護(hù)范圍。對(duì)應(yīng)不同的顯示終端，采用不同的立體視頻合成格式和立體視頻輸出方式對(duì)兩路 輸入圖像進(jìn)行立體合成。其中，將兩路輸入圖像按照立體視頻合成格式進(jìn)行合成，包括將左 右兩路輸入圖像進(jìn)行適當(dāng)?shù)暮铣煞绞揭缘玫竭m應(yīng)不同立體顯示要求的單路立體視頻輸出。 其中，立體視頻合成格式包括棋盤格式合成和水平交錯(cuò)格式合成等。立體視頻輸出方式包括將左右兩路輸入圖像以水平并排、垂直并排進(jìn)行排列，也 可以將左右兩路輸入圖像作為兩路輸出。在本發(fā)明的一個(gè)實(shí)施例中，合成后輸出的立體視 頻可以為紅綠、紅青、紅藍(lán)等立體合成單路輸出顯示。根據(jù)本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，具有以下優(yōu)點(diǎn)(1)應(yīng)用范圍寬本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法針對(duì)不同圖像 或者視頻輸入條件具有不同的解決方案，從而具有較大的應(yīng)用范圍。(2)運(yùn)算速度快通過鄰近幀的選取方法和塊采樣方法以降低計(jì)算總量，同時(shí)本 發(fā)明采用的運(yùn)動(dòng)分析和判斷算法，較簡單實(shí)用且處理效率高。(3)圖像與視頻質(zhì)量高由于當(dāng)前幀和匹配幀都來自圖像序列或者視頻本身，并 且對(duì)當(dāng)前幀和匹配幀進(jìn)行圖像變換時(shí)基于預(yù)設(shè)區(qū)域或者整幅圖像進(jìn)行的，從而沒有圖像和 視頻本身質(zhì)量的損失，使得圖像與視頻質(zhì)量高。(4)立體效果佳本發(fā)明實(shí)施例的線性、非線性以及基于預(yù)設(shè)區(qū)域的圖像變換，使 得立體合成后的立體視頻立體效果明顯，無明顯的深度感知錯(cuò)誤和幀間抖動(dòng)。下面參考圖2描述根據(jù)本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置200。如圖2所示，根據(jù)本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置200包括單路 輸入及預(yù)處理模塊210，其中單路輸入及預(yù)處理模塊210用于輸入單路圖像，并對(duì)單路圖像 進(jìn)行預(yù)處理；待匹配幀選取模塊220，其中待匹配幀選取模塊220用于對(duì)來自單路輸入及預(yù) 處理模塊210的單路圖像中的每一當(dāng)前幀，通過相異性檢測選取其鄰近η幀作為待匹配幀； 運(yùn)動(dòng)分析及判斷模塊230，其中運(yùn)動(dòng)分析及判斷模塊230用于根據(jù)來自待匹配幀選取模塊 220的待匹配幀和當(dāng)前幀求取運(yùn)動(dòng)矢量，利用運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取匹配幀； 圖像變換模塊250，其中圖像變換模塊250用于對(duì)來自運(yùn)動(dòng)分析及判斷模塊230的當(dāng)前幀和 匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入圖像；立體合成模塊260， 其中立體合成模塊260用于對(duì)來自圖像變換模塊250的第一立體輸入圖像和第二立體輸入 圖像進(jìn)行立體化合成以得到立體視頻，輸出立體視頻。在本發(fā)明的一個(gè)實(shí)施例中，單路輸入及預(yù)處理模塊210輸入的單路圖像可以為以 下之一單路平面圖像、單路圖像序列或單路視頻。其中，單路平面圖像或單路圖像序列的 圖像格式可以為RAW、BMP、PCX、TIFF、GIF、JPEG、TGA、EXIF等；單路視頻的視頻格式可以為 MPEG、AVI、MOV、ASF、WMV、MKV、DIVX、Real Video等。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是， 單路平面圖像或單路圖像序列亦可以為其他圖像格式，單路視頻亦可以為其他視頻格式。 然后對(duì)輸入的單路圖像進(jìn)行預(yù)處理。對(duì)于單路視頻的預(yù)處理，單路輸入及預(yù)處理模塊210采用圖像編碼技術(shù)對(duì)視頻進(jìn) 行解碼操作。在本發(fā)明的一個(gè)實(shí)施例中，單路輸入及預(yù)處理模塊210采用解碼器對(duì)輸入的 單路視頻進(jìn)行解碼后，輸出YUV系列或者RGB系列的碼流。
單路輸入及預(yù)處理模塊210進(jìn)行預(yù)處理還包括對(duì)輸入的單路圖像提取圖像像素 值。具體而言，單路輸入及預(yù)處理模塊210讀取單路平面圖像、單路圖像序列或單路視頻解 碼流中的每一幀，然后提取相應(yīng)顏色空間中的像素值。對(duì)于RGB空間，單路輸入及預(yù)處理模塊210提取的圖像像素值可以為以下三種之 一 =RGB三個(gè)通道值的三元數(shù)組；RGB三通道值的平均值；RGB三通道以某個(gè)比例系數(shù)進(jìn)行 疊加求和得到的加權(quán)值。其中，當(dāng)提取的圖像像素值為RGB三通道以某個(gè)比例系數(shù)進(jìn)行疊 加求和得到的加權(quán)值時(shí)，通過以下公式進(jìn)行計(jì)算，Gray = R*0. 3+G*0. 59+Β*0· 11，其中，Gray為加權(quán)值。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，當(dāng)以其他系數(shù)進(jìn)行加 權(quán)獲取加權(quán)值時(shí)，亦屬于本發(fā)明的保護(hù)范圍。對(duì)于YUV空間，單路輸入及預(yù)處理模塊210提取的圖像像素值可以分為以下三種 之一 γ分量；YUV三通道的平均值；YUV三通道以某個(gè)比例系數(shù)進(jìn)行疊加求和得到的加權(quán)值。由于在雙面立體視覺時(shí)利用雙面成像的原理，需要左右兩路圖像作為初始輸入。 因此，除輸入的當(dāng)前幀外，還需要與當(dāng)前幀對(duì)應(yīng)的匹配幀，分別作為兩路輸入。當(dāng)單路圖像為單路平面圖像時(shí)，匹配幀即為當(dāng)前幀。當(dāng)單路圖像為單路圖像序列或單路視頻時(shí)，待匹配幀選取模塊220在確定匹配幀 之前需要獲取待匹配幀。具體而言，對(duì)于單路圖像中的每一幀圖像，待匹配幀選取模塊220 需要從當(dāng)前幀的鄰近幀中選取初始待匹配幀序列。其中，在初始待匹配幀序列中包括有多 個(gè)初始待匹配幀。其中，初始待匹配幀序列為當(dāng)前幀在時(shí)間軸上的前h個(gè)幀和后h個(gè)幀。在 本發(fā)明的一個(gè)實(shí)施例中，h可以為5。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，h亦可以為其他 值。為了確定當(dāng)前幀與初始待匹配幀序列的相異性，待匹配幀選取模塊220在獲取初 始待匹配幀序列后，需要對(duì)初始待匹配幀序列中的每一個(gè)初始待匹配幀進(jìn)行相異性檢測以 獲取待匹配幀序列，包括如下步驟Al 待匹配幀選取模塊220首先對(duì)當(dāng)前幀與一個(gè)初始待匹配幀同時(shí)進(jìn)行一個(gè)水平 中線分割和垂直中線分割，由此當(dāng)前幀和初始待匹配幀分別被均分為四個(gè)圖像塊，分割后 的四個(gè)圖像塊的長和寬的尺寸為原來圖像幀長和寬大小的1/2 ；A2 待匹配幀選取模塊220對(duì)當(dāng)前幀和初始待匹配幀對(duì)應(yīng)位置的四個(gè)圖像塊分別 進(jìn)行圖像塊像素值相減，取差值的絕對(duì)值作為新像素值以得到新的圖像塊，對(duì)更新后的四 個(gè)圖像塊求取像素均值和方差；A3 待匹配幀選取模塊220對(duì)四個(gè)新圖像塊的像素均值和方差分別進(jìn)行閾值判 斷，當(dāng)四個(gè)新圖像塊中均值和方差超過預(yù)設(shè)閾值的數(shù)量均小于或等于相異性數(shù)量閾值時(shí)， 則判斷該初始待匹配幀為當(dāng)前幀的待匹配幀；當(dāng)更新后的四個(gè)圖像塊中均值或方差超過預(yù) 設(shè)閾值的數(shù)量大于相異性數(shù)量閾值時(shí)，則判斷該初始待匹配幀不為當(dāng)前幀的待匹配幀。其 中，預(yù)設(shè)閾值包括像素均值閾值和方差閾值。在本發(fā)明的一個(gè)實(shí)施例中，像素均值閾值和 方差閾值可以為[20，30]之內(nèi)的任意值。其中，相異性數(shù)量閾值可以為3。重復(fù)步驟Al至 A3，待匹配幀選取模塊220將初始待匹配幀序列中的每一個(gè)初始待匹配幀均與當(dāng)前幀進(jìn)行 一次相異性檢測計(jì)算，直至所有初始待匹配幀均做完相異性檢測得到η個(gè)待匹配幀。其中
14η為正整數(shù)。由于單路平面圖形的匹配幀即為當(dāng)前幀，從而不需要運(yùn)動(dòng)分析及判斷模塊230進(jìn) 行運(yùn)動(dòng)分析及判斷。當(dāng)輸入為單路圖像序列或單路視頻時(shí)，運(yùn)動(dòng)分析及判斷模塊230需要通過運(yùn)動(dòng)檢 測來判斷場景的運(yùn)動(dòng)形式和大小。具體而言，運(yùn)動(dòng)分析及判斷模塊230對(duì)單路圖像序列或 單路視頻的待匹配幀和當(dāng)前幀求取運(yùn)動(dòng)矢量，利用運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取匹 配幀，包括如下步驟第一步，運(yùn)動(dòng)分析及判斷模塊230對(duì)當(dāng)前幀的圖像數(shù)據(jù)按照預(yù)定尺寸進(jìn)行分塊， 并對(duì)分塊后的圖像按照預(yù)定采樣數(shù)進(jìn)行數(shù)據(jù)塊的均勻采樣以獲取多個(gè)采樣塊；首先，根據(jù)當(dāng)前幀圖像的尺寸和分塊的尺寸對(duì)圖像數(shù)據(jù)安裝預(yù)定尺寸進(jìn)行分塊。 其中，每個(gè)圖像塊的尺寸通過預(yù)先設(shè)定。在本發(fā)明的一個(gè)實(shí)施例中，對(duì)于640*480的圖像， 每個(gè)圖像塊的尺寸為4*4個(gè)像素。然后對(duì)分塊后的圖像進(jìn)行數(shù)據(jù)塊的均勻采樣以獲取多個(gè) 采樣塊。其中，采樣點(diǎn)的數(shù)量通過預(yù)先設(shè)定。在本發(fā)明的一個(gè)實(shí)施例中，采樣點(diǎn)的數(shù)量為圖 像像素總個(gè)數(shù)的5%左右。第二步，運(yùn)動(dòng)分析及判斷模塊230對(duì)當(dāng)前幀中的各個(gè)采樣塊分別與每一個(gè)待匹配 幀中的匹配塊之間的運(yùn)動(dòng)偏移作為該采樣塊對(duì)應(yīng)該待匹配幀的運(yùn)動(dòng)矢量；對(duì)當(dāng)前幀中的每一個(gè)采樣塊，在一個(gè)待匹配幀中搜索與其最相似的塊。其中，搜索 方法包括全搜索、三步搜索、對(duì)數(shù)搜索或鉆石搜索算法等等。當(dāng)搜索結(jié)束之后，當(dāng)前幀中各 個(gè)采樣塊與該待匹配幀中的匹配塊之間的運(yùn)動(dòng)偏移作為當(dāng)前幀中的該采樣塊對(duì)應(yīng)該待匹 配幀的運(yùn)動(dòng)矢量。通過上述方法可以得到η個(gè)運(yùn)動(dòng)矢量圖，其中，η為正整數(shù)。第三步，運(yùn)動(dòng)分析及判斷模塊230對(duì)η個(gè)矢量圖進(jìn)行運(yùn)動(dòng)分析和判斷以得到零運(yùn) 動(dòng)矢量圖的數(shù)量和非零運(yùn)動(dòng)矢量圖的數(shù)量；運(yùn)動(dòng)分析及判斷模塊230判斷已得到η個(gè)運(yùn)動(dòng)矢量圖中是否存在零運(yùn)動(dòng)矢量圖。 在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)對(duì)應(yīng)零矢量采樣塊的數(shù)量占總采樣塊數(shù)量的90%以上時(shí)，則 運(yùn)動(dòng)分析及判斷模塊230判斷該運(yùn)動(dòng)矢量圖為零運(yùn)動(dòng)矢量圖。其中，零運(yùn)動(dòng)矢量圖的數(shù)量 為m。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，對(duì)應(yīng)零矢量采樣塊的數(shù)量占總采樣塊數(shù)量的比例 為其他合理比例時(shí)，亦落入本發(fā)明的保護(hù)范圍。根據(jù)上述得到的m個(gè)零運(yùn)動(dòng)矢量圖，可以獲知非零運(yùn)動(dòng)矢量圖的數(shù)量為n-m。然后 由運(yùn)動(dòng)分析及判斷模塊230對(duì)非零運(yùn)動(dòng)矢量圖進(jìn)行水平運(yùn)動(dòng)矢量分析。非零運(yùn)動(dòng)矢量圖包 括前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖、攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖和剩余情形對(duì)應(yīng)的 運(yùn)動(dòng)矢量圖。其中，剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖為除前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖和攝 像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖之外的運(yùn)動(dòng)矢量圖。當(dāng)非零運(yùn)動(dòng)矢量圖對(duì)應(yīng)的采樣塊中，運(yùn)動(dòng)矢量方向?yàn)樗椒较虻牟蓸訅K占非零矢 量采樣塊的比例為70%到90%時(shí)，運(yùn)動(dòng)分析及判斷模塊230判斷為前景水平運(yùn)動(dòng)。其中， 前景水平運(yùn)動(dòng)對(duì)應(yīng)運(yùn)動(dòng)矢量圖的數(shù)量為P。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，運(yùn)動(dòng)矢量方 向?yàn)樗椒较虻牟蓸訅K占非零矢量采樣塊的比例為其他合理比例時(shí)，亦落入本發(fā)明的保護(hù) 范圍。當(dāng)非零運(yùn)動(dòng)矢量圖對(duì)應(yīng)的采樣塊中，運(yùn)動(dòng)矢量方向?yàn)樗椒较虻牟蓸訅K占非零矢 量采樣塊的比例為90%以上，運(yùn)動(dòng)分析及判斷模塊230判斷為攝像機(jī)水平移動(dòng)。其中，攝像
15機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量為q。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，運(yùn)動(dòng)矢量方 向?yàn)樗椒较虻牟蓸訅K占非零矢量采樣塊的比例為其他合理比例時(shí)，亦落入本發(fā)明的保護(hù) 范圍。由此可知，剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量為n-m-p-q。然后，運(yùn)動(dòng)分析及判斷模塊230對(duì)n-m個(gè)非零運(yùn)動(dòng)矢量圖進(jìn)行運(yùn)動(dòng)分析和判斷。首 先，對(duì)于每個(gè)非零運(yùn)動(dòng)矢量圖的非零運(yùn)動(dòng)矢量求平均，運(yùn)動(dòng)分析及判斷模塊230得到每個(gè) 非零運(yùn)動(dòng)矢量圖的運(yùn)動(dòng)矢量平均值A(chǔ)(i)。其中A為平均值，i為非零矢量標(biāo)號(hào)。如果非零 運(yùn)動(dòng)矢量圖對(duì)應(yīng)的非零運(yùn)動(dòng)矢量平均值在均值閾值內(nèi)時(shí)，則運(yùn)動(dòng)分析及判斷模塊230保留 該非零運(yùn)動(dòng)矢量圖，否則丟棄該非零運(yùn)動(dòng)矢量圖并將與其對(duì)應(yīng)的待匹配幀丟棄。在本發(fā)明的一個(gè)實(shí)例中，均值閾值的范圍為[5，30]的像素距離。當(dāng)然本領(lǐng)域技術(shù) 人員可以理解的是，當(dāng)均值閾值為其他合理的設(shè)置范圍時(shí)，亦落入本發(fā)明的保護(hù)范圍。通過運(yùn)動(dòng)分析及判斷模塊230的運(yùn)動(dòng)分析和判斷，可以得到滿足要求的零運(yùn)動(dòng)矢 量圖的數(shù)量為vl、前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量為v2、攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn) 動(dòng)矢量圖的數(shù)量為v3，剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量為v4。第四步，運(yùn)動(dòng)分析及判斷模塊230根據(jù)零運(yùn)動(dòng)圖矢量的數(shù)量和非零運(yùn)動(dòng)矢量圖的 數(shù)量獲取匹配幀。(1)當(dāng)零運(yùn)動(dòng)矢量圖的數(shù)量Vl大于第一閾值R(Vl)時(shí)，則運(yùn)動(dòng)分析及判斷模塊 230判斷單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為靜止場景，并且在所有零運(yùn)動(dòng)矢量圖 對(duì)應(yīng)的待匹配幀中選取與當(dāng)前幀在時(shí)間軸上最遠(yuǎn)的一幀作為匹配幀。在本發(fā)明的一個(gè)實(shí)施例中，第一閾值R(Vl)可以設(shè)置為maX(l，n_2)，即vl > max(l,n-2)。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，第一閾值設(shè)置為其他合理值時(shí)，亦落入本 發(fā)明的保護(hù)范圍。(2)當(dāng)前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量v2位于第二閾值R(v2)內(nèi)時(shí)，則運(yùn) 動(dòng)分析及判斷模塊230判斷單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景，選 取v2個(gè)前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的平均值A(chǔ)(W)與前景標(biāo)準(zhǔn)預(yù)設(shè)閾值R(U)的差 值最小的前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖為最終前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取最 終前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀為匹配幀。在本發(fā)明的一個(gè)實(shí)施例中，R(v2) = [n/3,n],R(a2) = 15。當(dāng)然本領(lǐng)域技術(shù)人員 可以理解的是，第二閾值R(W)設(shè)置為其他合理值時(shí)，亦落入本發(fā)明的保護(hù)范圍。(3)當(dāng)攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量v3大于第三閾值R(v3)時(shí)，則運(yùn) 動(dòng)分析及判斷模塊230判斷單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為攝像機(jī)移動(dòng)場景， 選取v3個(gè)攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的平均值A(chǔ)(U)與攝像機(jī)標(biāo)準(zhǔn)預(yù)設(shè)閾值R(a3) 的差值最小的前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖為最終攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖， 選取最終攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀為匹配幀。在本發(fā)明的一個(gè)實(shí)施例中，R(v3) = [n/2,n],R(a3) = 10。當(dāng)然本領(lǐng)域技術(shù)人員 可以理解的是，第三閾值R(U)設(shè)置為其他合理值時(shí)，亦落入本發(fā)明的保護(hù)范圍。(4)當(dāng)剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量v4大于第四閾值R(v4)時(shí)，則運(yùn)動(dòng)分析 及判斷模塊230判斷單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為除前景水平運(yùn)動(dòng)和攝像 機(jī)水平移動(dòng)之外的場景。選取v4個(gè)剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的平均值A(chǔ)(v4)與剩余情形標(biāo)準(zhǔn)預(yù)設(shè)閾值R(a4)的差值最小的剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖為最終剩余情形對(duì)應(yīng)的 運(yùn)動(dòng)矢量圖，選取最終剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀為匹配幀。在本發(fā)明的一個(gè)實(shí)施例中，R(v4) = [n-2, η], R(a4) = 5。當(dāng)然本領(lǐng)域技術(shù)人員 可以理解的是，第四閾值R(v4)設(shè)置為其他合理值時(shí)，亦落入本發(fā)明的保護(hù)范圍。在本發(fā)明的一個(gè)實(shí)施例中，當(dāng)均不滿足上述四種情形，如輸入單路平面圖像，則選 取當(dāng)前幀作為待匹配幀。如圖2所示，基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置200進(jìn)一步包括匹配幀更新模塊 2400當(dāng)單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景時(shí)，匹配幀更新模塊240 需要根據(jù)匹配幀與當(dāng)前幀求取視差圖，然后通過視差圖和當(dāng)前幀來求取新的匹配幀，即更 新匹配幀。其中，匹配幀更新模塊240通過以下算法之一求取視差圖，包括基于像素塊操作 的光流法、塊匹配法、基于像素點(diǎn)操作的深度匹配法等。在本發(fā)明的一個(gè)實(shí)施例中，匹配幀更新模塊240利用當(dāng)前幀和視差圖通過 DIBR (Depth Image Based Rendering)方法求取新的匹配幀。當(dāng)單路圖像為單路平面圖像或單路視頻或單路圖像序列，且所述單路視頻或單路 圖像序列當(dāng)前幀對(duì)應(yīng)場景為靜止場景或攝像機(jī)移動(dòng)場景或剩余情形時(shí)，圖像變換模塊250 將當(dāng)前幀和匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入圖像。當(dāng)單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景時(shí)，圖像變換模塊 250將當(dāng)前幀和更新后的匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入圖 像。圖像變換模塊250進(jìn)行圖像變換包括以下方式線性變換、非線性變換和預(yù)設(shè)區(qū) 域變換。線性變換是指只對(duì)當(dāng)前幀或者匹配幀做全圖像的線性圖像變換。在本發(fā)明的一個(gè) 實(shí)施例中，線性變換可以為平移變換、拉伸變換、壓縮變換或透視變換等。非線性變換是指包括繞X、Y、Z軸的圖像旋轉(zhuǎn)變換，針對(duì)圖像每一行或每一列或每 一個(gè)像素的預(yù)先設(shè)定好的變換操作。預(yù)設(shè)區(qū)域變換是指通過預(yù)先設(shè)定用戶感興趣的區(qū)域，主要對(duì)該部分預(yù)設(shè)區(qū)域進(jìn)行 線性變換或非線性變換，而對(duì)預(yù)設(shè)區(qū)域外的區(qū)域則不作任何變換，或者對(duì)預(yù)設(shè)區(qū)域外的區(qū) 域進(jìn)行較預(yù)設(shè)區(qū)域變換的變換幅度小的變換。在本發(fā)明的一個(gè)實(shí)施例中，圖像變換模塊250對(duì)當(dāng)前幀與匹配幀的圖像變換可以 為單一式，也可以為組合式，并且可以只對(duì)其中一幀圖像做變換，而對(duì)另一幀圖像不做變換。在本發(fā)明的一個(gè)實(shí)施例中，將第一立體輸入圖像作為左視圖的初始輸入，即將當(dāng) 前幀作為左視圖的初始輸入；將第二立體輸入圖像作為右視圖的初始輸入，對(duì)應(yīng)左眼觀看； 即將匹配幀作為右視圖的初始輸入，對(duì)應(yīng)右眼觀看。當(dāng)然本領(lǐng)域技術(shù)人員可以理解的是，將 當(dāng)前幀作為右視圖的初始輸入，將匹配幀作為左視圖的初始輸入，亦落入本發(fā)明的保護(hù)范圍。對(duì)應(yīng)不同的顯示終端，立體合成模塊260采用不同的立體視頻合成格式和立體視 頻輸出方式對(duì)兩路輸入圖像進(jìn)行立體合成。其中，立體合成模塊260將兩路輸入圖像按照 立體視頻合成格式進(jìn)行合成，包括將左右兩路輸入圖像進(jìn)行適當(dāng)?shù)暮铣煞绞揭缘玫竭m應(yīng)不同立體顯示要求的單路立體視頻輸出。其中，立體視頻合成格式包括棋盤格式合成和水平 交錯(cuò)格式合成等。立體視頻輸出方式包括將左右兩路輸入圖像以水平并排、垂直并排進(jìn)行排列，也 可以將左右兩路輸入圖像作為兩路輸出。在本發(fā)明的一個(gè)實(shí)施例中，立體合成模塊260合 成后輸出的立體視頻可以為紅綠、紅青、紅藍(lán)等立體合成單路輸出顯示。根據(jù)本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，針對(duì)不同圖像或者視頻輸 入條件具有不同的解決方案，從而具有較大的應(yīng)用范圍，并且通過鄰近幀的選取和塊采樣 降低計(jì)算總量，同時(shí)本發(fā)明的運(yùn)動(dòng)分析及判斷模塊采用的運(yùn)動(dòng)分析和判斷算法，因此較簡 單實(shí)用且處理效率高。并且由于當(dāng)前幀和匹配幀都來自圖像序列或者視頻本身，并且對(duì)當(dāng) 前幀和匹配幀進(jìn)行圖像變換時(shí)基于預(yù)設(shè)區(qū)域或者整幅圖像進(jìn)行的，從而沒有圖像和視頻本 身質(zhì)量的損失，使得圖像與視頻質(zhì)量高。此外，本發(fā)明實(shí)施例的線性、非線性以及基于預(yù)設(shè) 區(qū)域的圖像變換，使得立體合成后的立體視頻立體效果明顯，從而無明顯的深度感知錯(cuò)誤 和幀間抖動(dòng)。在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示 例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特 點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不 一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何 的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
18
權(quán)利要求
1.一種基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，包括如下步驟輸入單路圖像，并對(duì)所述單路圖像進(jìn)行預(yù)處理；讀取所述單路圖像中的每一幀圖像作為當(dāng)前幀，通過相異性檢測選取所述當(dāng)前幀鄰近 η幀作為待匹配幀，其中η為正整數(shù)；根據(jù)所述待匹配幀和當(dāng)前幀求取運(yùn)動(dòng)矢量，利用所述運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判斷以 獲取最終匹配幀；對(duì)所述當(dāng)前幀和最終匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入 圖像；以及對(duì)所述第一立體輸入圖像和第二立體輸入圖像進(jìn)行立體化合成以得到立體視頻，輸出 所述立體視頻。
2.如權(quán)利要求1所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，所述單路圖像 為單路平面圖像、單路圖像序列或單路視頻。
3.如權(quán)利要求2所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，所述對(duì)單路圖 像進(jìn)行預(yù)處理還包括讀取所述單路圖像中的每一幀，并提取相應(yīng)顏色空間中的像素值。
4.如權(quán)利要求1所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，當(dāng)單路圖像為 單路平面圖像時(shí)，所述最終匹配幀為當(dāng)前幀。
5.如權(quán)利要求1所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，當(dāng)單路圖像為 單路圖像序列或單路視頻時(shí)，讀取所述單路圖像中的每一幀圖像作為當(dāng)前幀，通過相異性 檢測選取所述當(dāng)前幀鄰近η幀為待匹配幀。
6.如權(quán)利要求5所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，當(dāng)單路圖像為 單路圖像序列或單路視頻時(shí)，所述選取待匹配幀包括如下步驟從所述當(dāng)前幀的鄰近幀中選取初始待匹配幀序列，其中，所述初始待匹配幀序列包括 多個(gè)初始待匹配幀；對(duì)所述每一個(gè)初始待匹配幀進(jìn)行相異性檢測以獲取η個(gè)待匹配幀。
7.如權(quán)利要求6所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，所述初始待匹 配幀序列為所述當(dāng)前幀在時(shí)間軸上的前h個(gè)幀和后h個(gè)幀。
8.如權(quán)利要求6所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，所述對(duì)每一個(gè) 初始待匹配幀進(jìn)行相異性檢測包括如下步驟Al 將當(dāng)前幀與一個(gè)初始待匹配幀同時(shí)進(jìn)行一個(gè)水平中線分割和垂直中線分割，分別 獲得四個(gè)圖像塊；A2 將當(dāng)前幀和對(duì)應(yīng)初始待匹配幀對(duì)應(yīng)的四個(gè)圖像塊分別進(jìn)行像素值相減并取絕對(duì) 值，得到四個(gè)新圖像塊，對(duì)所述四個(gè)新圖像塊求取像素均值和方差；A3 對(duì)所述四個(gè)新圖像塊的像素均值和方差進(jìn)行閾值判斷，當(dāng)所述四個(gè)新圖像塊的均 值和方差超過預(yù)設(shè)閾值的數(shù)量均小于或等于相異性數(shù)量閾值時(shí)，則判斷該初始待匹配幀為 當(dāng)前幀的一個(gè)待匹配幀，重復(fù)步驟Al至A3直至所述初始待匹配幀序列中的每一個(gè)初始待匹配幀完成相異性檢 測，得到η個(gè)待匹配幀。
9.如權(quán)利要求8所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，當(dāng)單路圖像為 單路圖像序列或單路視頻時(shí)，所述根據(jù)待匹配幀和當(dāng)前幀求取運(yùn)動(dòng)矢量，利用所述運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取最終匹配幀，包括以下步驟對(duì)當(dāng)前幀的圖像數(shù)據(jù)按照預(yù)定尺寸進(jìn)行分塊，并對(duì)分塊后的圖像按照預(yù)定采樣數(shù)進(jìn)行 數(shù)據(jù)塊的均勻采樣以獲取多個(gè)采樣塊；對(duì)當(dāng)前幀中的各個(gè)采樣塊分別與每一個(gè)待匹配幀中的匹配塊之間的運(yùn)動(dòng)偏移作為該 采樣塊對(duì)應(yīng)該待匹配幀的運(yùn)動(dòng)矢量，以得到η個(gè)矢量圖，其中，η為正整數(shù)；對(duì)所述η個(gè)矢量圖進(jìn)行運(yùn)動(dòng)分析和判斷以得到零運(yùn)動(dòng)矢量圖的數(shù)量和非零運(yùn)動(dòng)矢量 圖的數(shù)量，其中非零運(yùn)動(dòng)矢量圖包括前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖、攝像機(jī)水平移動(dòng)對(duì) 應(yīng)的運(yùn)動(dòng)矢量圖和剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖；以及根據(jù)所述零運(yùn)動(dòng)矢量圖的數(shù)量和非零運(yùn)動(dòng)矢量圖的數(shù)量獲取最終匹配幀。
10.如權(quán)利要求9所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，所述根據(jù)零運(yùn) 動(dòng)矢量圖的數(shù)量和非零運(yùn)動(dòng)矢量圖的數(shù)量獲取最終匹配幀，包括如下步驟當(dāng)所述零運(yùn)動(dòng)矢量圖的數(shù)量大于第一閾值時(shí)，則判斷所述單路視頻或單路圖像序列當(dāng) 前幀對(duì)應(yīng)場景為靜止場景，并且在所述零運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀中選取與當(dāng)前幀在時(shí) 間軸上最遠(yuǎn)的一幀作為最終匹配幀；當(dāng)所述前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量位于第二閾值內(nèi)時(shí)，則判斷所述單路視 頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景，選取所述前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢 量圖中非零運(yùn)動(dòng)矢量平均值與前景標(biāo)準(zhǔn)預(yù)設(shè)閾值的差值最小的前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng) 矢量圖為最終前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取所述最終前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢 量圖對(duì)應(yīng)的待匹配幀為最終匹配幀；當(dāng)所述攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量大于第三閾值時(shí)，則判斷所述單路視 頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為攝像機(jī)移動(dòng)場景，選取所述攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn) 動(dòng)矢量圖中非零運(yùn)動(dòng)矢量平均值與攝像機(jī)標(biāo)準(zhǔn)預(yù)設(shè)閾值的差值最小的攝像機(jī)水平運(yùn)動(dòng)對(duì) 應(yīng)的運(yùn)動(dòng)矢量圖為最終攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取所述最終攝像機(jī)水平移動(dòng) 對(duì)應(yīng)的運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀為最終匹配幀；當(dāng)所述剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量大于第四閾值時(shí)，則選取所述剩余情形對(duì)應(yīng) 的運(yùn)動(dòng)矢量圖中非零運(yùn)動(dòng)矢量平均值與剩余情形標(biāo)準(zhǔn)預(yù)設(shè)閾值的差值最小的剩余情形對(duì) 應(yīng)的運(yùn)動(dòng)矢量圖為最終剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取所述最終剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢 量圖對(duì)應(yīng)的待匹配幀為最終匹配幀。
11.如權(quán)利要求10所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，當(dāng)所述單路 視頻或單路圖像序列對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景時(shí)，根據(jù)所述匹配幀與當(dāng)前幀求取視差圖， 并根據(jù)所述視差圖和當(dāng)前幀更新所述匹配幀。
12.如權(quán)利要求1所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，所述對(duì)當(dāng)前幀 和匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入圖像，包括當(dāng)單路圖像為單路平面圖像或單路視頻或單路圖像序列，且所述單路視頻或單路圖像 序列對(duì)應(yīng)的場景為靜止場景或攝像機(jī)移動(dòng)場景或剩余情形時(shí)，將所述當(dāng)前幀和匹配幀進(jìn)行 圖像變換以得到所述第一立體輸入圖像和第二立體輸入圖像；當(dāng)所述單路視頻或單路圖像序列對(duì)應(yīng)的場景為前景運(yùn)動(dòng)場景時(shí)，則將當(dāng)前幀和更新后 的匹配幀進(jìn)行圖像變換以得到所述第一立體輸入圖像和第二立體輸入圖像。
13.如權(quán)利要求12所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，其特征在于，所述圖像變換包括以下方式線性變換、非線性變換和預(yù)設(shè)區(qū)域變換。
14.一種基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，包括單路輸入及預(yù)處理模塊，用于輸入單路圖像，并對(duì)所述單路圖像進(jìn)行預(yù)處理；待匹配幀選取模塊，用于對(duì)來自所述單路輸入及預(yù)處理模塊的所述單路圖像中的每一 當(dāng)前幀，通過相異性檢測選取所述當(dāng)前幀鄰近η幀作為待匹配幀，其中η為正整數(shù)；運(yùn)動(dòng)分析及判斷模塊，用于根據(jù)來自所述待匹配幀選取模塊的所述待匹配幀和當(dāng)前幀 求取運(yùn)動(dòng)矢量，利用所述運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取最終匹配幀；圖像變換模塊，用于對(duì)來自所述運(yùn)動(dòng)分析及判斷模塊的所述當(dāng)前幀和最終匹配幀進(jìn)行 圖像變換以得到第一立體輸入圖像和第二立體輸入圖像；以及立體合成模塊，用于對(duì)來自所述圖像變換模塊的所述第一立體輸入圖像和第二立體輸 入圖像進(jìn)行立體化合成以得到立體視頻，輸出所述立體視頻。
15.如權(quán)利要求14所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，所述單路圖 像為單路平面圖像、單路圖像序列或單路視頻。
16.如權(quán)利要求15所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，所述單路輸 入及預(yù)處理模塊進(jìn)一步讀取所述單路圖像中的每一幀，并提取相應(yīng)顏色空間中的像素值。
17.如權(quán)利要求14所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，當(dāng)單路圖像 為單路平面圖像時(shí)，所述待匹配幀選取模塊選取當(dāng)前幀為最終匹配幀。
18.如權(quán)利要求14所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，當(dāng)單路圖像 為單路圖像序列或單路視頻時(shí)，對(duì)于所述單路圖像中的每一幀圖像，所述待匹配幀選取模 塊通過相異性檢測選取所述當(dāng)前幀的鄰近η幀為待匹配幀。
19.如權(quán)利要求18所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，當(dāng)單路圖像 為單路圖像序列或單路視頻時(shí)，所述待匹配幀選取模塊從所述當(dāng)前幀的鄰近幀中選取初始 待匹配幀序列，其中，所述初始待匹配幀序列包括多個(gè)初始待匹配幀，并對(duì)所述每一個(gè)初始 待匹配幀進(jìn)行相異性檢測以獲取待匹配幀序列。
20.如權(quán)利要求19所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，所述待初始 匹配幀序列為所述當(dāng)前幀在時(shí)間軸上的前h個(gè)幀和后h個(gè)幀。
21.如權(quán)利要求19所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，所述待匹配 幀選取模塊將當(dāng)前幀與一個(gè)初始待匹配幀同時(shí)進(jìn)行一個(gè)水平中線分割和垂直中線分割，分 別獲得四個(gè)圖像塊，對(duì)所述四個(gè)圖像塊對(duì)分別進(jìn)行像素值相減并取絕對(duì)值，最終得到四個(gè) 新圖像塊，對(duì)所述四個(gè)新圖像塊求取像素均值和方差；對(duì)所述四個(gè)新圖像塊的像素均值和 方差進(jìn)行閾值判斷，當(dāng)所述四個(gè)新圖像塊的均值和方差超過預(yù)設(shè)閾值的數(shù)量均小于或等于 相異性數(shù)量閾值時(shí)，則判斷該初始待匹配幀為當(dāng)前幀的一個(gè)待匹配幀，重復(fù)上述步驟直至 所述初始待匹配幀序列中的每一個(gè)初始待匹配幀完成相異性檢測，得到η個(gè)待匹配幀，其 中η為正整數(shù)。
22.如權(quán)利要求21所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，當(dāng)單路圖像 為單路圖像序列或單路視頻時(shí)，所述根據(jù)待匹配幀和當(dāng)前幀求取運(yùn)動(dòng)矢量，利用所述運(yùn)動(dòng) 矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取最終匹配幀，包括以下步驟對(duì)當(dāng)前幀的圖像數(shù)據(jù)按照預(yù)定尺寸進(jìn)行分塊，并對(duì)分塊后的圖像按照預(yù)定采樣數(shù)進(jìn)行 數(shù)據(jù)塊的均勻采樣以獲取多個(gè)采樣塊；對(duì)當(dāng)前幀中的各個(gè)采樣塊分別與每一個(gè)待匹配幀中的匹配塊之間的運(yùn)動(dòng)偏移作為該 采樣塊對(duì)應(yīng)該待匹配幀的運(yùn)動(dòng)矢量，以得到η個(gè)矢量圖，其中，η為正整數(shù)；對(duì)所述η個(gè)矢量圖進(jìn)行運(yùn)動(dòng)分析和判斷以得到零運(yùn)動(dòng)矢量圖的數(shù)量和非零運(yùn)動(dòng)矢量 圖的數(shù)量，其中非零運(yùn)動(dòng)矢量圖包括前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖、攝像機(jī)水平移動(dòng)對(duì) 應(yīng)的運(yùn)動(dòng)矢量圖和剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖；以及根據(jù)所述零運(yùn)動(dòng)矢量圖的數(shù)量和非零 運(yùn)動(dòng)矢量圖的數(shù)量獲取最終匹配幀。
23.如權(quán)利要求22所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，所述根據(jù)零 運(yùn)動(dòng)矢量圖的數(shù)量和非零運(yùn)動(dòng)矢量圖的數(shù)量獲取最終匹配幀，包括如下步驟當(dāng)所述零運(yùn)動(dòng)矢量圖的數(shù)量大于第一閾值時(shí)，則判斷所述單路視頻或單路圖像序列當(dāng) 前幀對(duì)應(yīng)場景為靜止場景，并且在所述零運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀中選取與當(dāng)前幀在時(shí) 間軸上最遠(yuǎn)的一幀作為最終匹配幀；當(dāng)所述前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量位于第二閾值內(nèi)時(shí)，則判斷所述單路視 頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景，選取所述前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢 量圖中非零運(yùn)動(dòng)矢量平均值與前景標(biāo)準(zhǔn)預(yù)設(shè)閾值的差值最小的前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng) 矢量圖為最終前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取所述最終前景水平運(yùn)動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢 量圖對(duì)應(yīng)的待匹配幀為最終匹配幀；當(dāng)所述攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量大于第三閾值時(shí)，則判斷所述單路視 頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為攝像機(jī)移動(dòng)場景，選取所述攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn) 動(dòng)矢量圖中非零運(yùn)動(dòng)矢量平均值與攝像機(jī)標(biāo)準(zhǔn)預(yù)設(shè)閾值的差值最小的攝像機(jī)水平運(yùn)動(dòng)對(duì) 應(yīng)的運(yùn)動(dòng)矢量圖為最終攝像機(jī)水平移動(dòng)對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取所述最終攝像機(jī)水平移動(dòng) 對(duì)應(yīng)的運(yùn)動(dòng)矢量圖對(duì)應(yīng)的待匹配幀為最終匹配幀；當(dāng)所述剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖的數(shù)量大于第四閾值時(shí)，則選取所述剩余情形對(duì)應(yīng) 的運(yùn)動(dòng)矢量圖中非零運(yùn)動(dòng)矢量平均值與剩余情形標(biāo)準(zhǔn)預(yù)設(shè)閾值的差值最小的剩余情形對(duì) 應(yīng)的運(yùn)動(dòng)矢量圖為最終剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢量圖，選取所述最終剩余情形對(duì)應(yīng)的運(yùn)動(dòng)矢 量圖對(duì)應(yīng)的待匹配幀為最終匹配幀。
24.如權(quán)利要求23所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，所述基于運(yùn) 動(dòng)分析的平面轉(zhuǎn)立體裝置進(jìn)一步包括匹配幀更新模塊，當(dāng)所述單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景時(shí)，所述匹配幀更新 模塊用于根據(jù)來自所述運(yùn)動(dòng)分析及判斷模塊的所述匹配幀與當(dāng)前幀求取視差圖，并根據(jù)所 述視差圖和當(dāng)前幀更新所述匹配幀。
25.如權(quán)利要求M所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，當(dāng)單路圖像為單路平面圖像或單路視頻或單路圖像序列，且所述單路視頻或單路圖像 序列當(dāng)前幀對(duì)應(yīng)場景為靜止場景或攝像機(jī)移動(dòng)場景或剩余情形時(shí)，所述圖像變換模塊將來 自所述運(yùn)動(dòng)分析及判斷模塊的所述當(dāng)前幀和匹配幀進(jìn)行圖像變換以得到所述第一立體輸 入圖像和第二立體輸入圖像；當(dāng)所述單路視頻或單路圖像序列當(dāng)前幀對(duì)應(yīng)場景為前景運(yùn)動(dòng)場景時(shí)，所述圖像變換模 塊則將來自所述匹配幀更新模塊的所述當(dāng)前幀和更新后的匹配幀進(jìn)行圖像變換以得到所 述第一立體輸入圖像和第二立體輸入圖像。
26.如權(quán)利要求25所述的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置，其特征在于，所述圖像變換模塊通過以下方式進(jìn)行圖像變換線性變換、非線性變換和預(yù)設(shè)區(qū)域變換。
全文摘要
本發(fā)明公開了一種基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，包括如下步驟輸入單路圖像，并對(duì)單路圖像進(jìn)行預(yù)處理；讀取單路圖像中的每一幀圖像作為當(dāng)前幀，通過相異性檢測選取其鄰近n幀作為待匹配幀；根據(jù)所述待匹配幀和所述當(dāng)前幀求取運(yùn)動(dòng)矢量，利用所述運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)分析及判斷以獲取最終匹配幀；對(duì)所述當(dāng)前幀和最終匹配幀進(jìn)行圖像變換以得到第一立體輸入圖像和第二立體輸入圖像；以及對(duì)所述第一立體輸入圖像和第二立體輸入圖像進(jìn)行立體化合成以得到立體視頻，輸出所述立體視頻。本發(fā)明實(shí)施例的基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體方法，具有應(yīng)用范圍寬、運(yùn)算速度快、圖像與視頻質(zhì)量高和立體效果佳的特點(diǎn)。本發(fā)明還公開了一種基于運(yùn)動(dòng)分析的平面轉(zhuǎn)立體裝置。
文檔編號(hào)G06T7/20GK102098527SQ20111003220
公開日2011年6月15日 申請(qǐng)日期2011年1月28日 優(yōu)先權(quán)日2011年1月28日
發(fā)明者張佳宏, 戴瓊海, 曹汛, 王好謙 申請(qǐng)人:清華大學(xué)