基于相位的雙目轉(zhuǎn)多目虛擬視圖合成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺及計(jì)算機(jī)圖形學(xué)技術(shù)領(lǐng)域，特別涉及一種基于相位的雙目 轉(zhuǎn)多目虛擬視圖合成方法。
【背景技術(shù)】
[0002] 裸眼多視點(diǎn)3D技術(shù)擺脫了傳統(tǒng)立體顯示中必須佩帶眼鏡的束縛，觀眾可以在較 大角度范圍內(nèi)在不同方位自由的觀看不同視角的立體圖像，可以說是目前最前沿的一種立 體顯示技術(shù)。而當(dāng)前制約裸眼3D發(fā)展的一個重要因素是片源的稀缺，現(xiàn)階段市場上主流的 3D片源都是根據(jù)快門式或偏光式雙目技術(shù)制作的，這些片源需要重新制作或者重構(gòu)轉(zhuǎn)換成 多視角片源才能應(yīng)用到裸眼3D設(shè)備上，無形中增加了大量的成本。因此解決顯示片源的問 題是拓展裸眼3D顯示器的應(yīng)用領(lǐng)域需要解決的首要問題。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明旨在至少在一定程度上解決上述相關(guān)技術(shù)中的技術(shù)問題之一。
[0004] 為此，本發(fā)明的目的在于提供一種基于相位的雙目轉(zhuǎn)多目虛擬視圖合成方法，該 方法能夠更好的進(jìn)行外推插值合成新視點(diǎn)以及對散焦模糊、運(yùn)動模糊、含有高反射性物體 的圖片具有良好的合成效果。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明的實(shí)施例提出了一種基于相位的雙目轉(zhuǎn)多目虛擬視圖 合成方法，包括以下步驟：采集雙目圖像，其中，所述雙目圖像位于RGB色彩空間，所述雙目 圖像包括左圖像和右圖像；將所述雙目圖像變換至YIQ色彩空間以得到變換后的左圖像和 右圖像；分別將所述變換后的左圖像和右圖像進(jìn)行可控復(fù)數(shù)金字塔分解；計(jì)算所述變換后 的左圖像和右圖像分解后每個點(diǎn)對應(yīng)的相位差；根據(jù)所述每個點(diǎn)對應(yīng)的相位差進(jìn)行相位插 值操作以得到相位插值圖像序列，并對所述相位插值圖像序列進(jìn)行反混疊濾波處理，以重 構(gòu)并恢復(fù)圖像；將重構(gòu)并恢復(fù)的圖像轉(zhuǎn)換至所述RGB色彩空間。
[0006] 根據(jù)本發(fā)明實(shí)施例的基于相位的雙目轉(zhuǎn)多目虛擬視圖合成方法，通過可控金字塔 分解得到不同頻帶對應(yīng)的空間場進(jìn)行相位插值變換，通過濾波操作減弱噪聲和振鈴效應(yīng)， 逐級重構(gòu)金字塔產(chǎn)生新的視角的圖像。跟傳統(tǒng)的基于視圖變形的算法和基于深度的算法 比較能夠更好的外推插值合成新視點(diǎn)以及對散焦模糊、運(yùn)動模糊的圖片具有良好的合成效 果。
[0007] 另外，根據(jù)本發(fā)明上述實(shí)施例的基于相位的雙目轉(zhuǎn)多目虛擬視圖合成方法還可以 具有如下附加的技術(shù)特征：
[0008] 在一些示例中，將位于RGB色彩空間的所述雙目圖像變換至YIQ色彩空間的變換 式如下：
[0009]
[0010] 在一些示例中，所述分別將所述變換后的左圖像和右圖像進(jìn)行可控復(fù)數(shù)金字塔分 解，進(jìn)一步包括：
[0011] 設(shè)輸入的所述雙目圖像為I，將所述雙目圖像I作DFT變換得到f，將f分別作低 通濾波和高通濾波得到"（ω)和&(?)，其中低通濾波器和高通濾波器表達(dá)式如下：
[0012]
[0013]
[0014] 其中L(r)是低通濾波器，H(r)是高通濾波器，r是?以中心點(diǎn)為原點(diǎn)的極坐標(biāo)系 的歸一化長度；
[0015] 對得到的"（ω)用K-I階方向?qū)?shù)算子濾波器得到K個方向的濾波器，所述濾波 器是關(guān)于原點(diǎn)對稱的，K階方向?qū)?shù)濾波器公式如下：
[0016]
[0017] 其中，Gk(r)只在〇<外￥<冬范圍內(nèi)取值，將G。到 Gki分別乘以該層的低通濾 K 1 波器和高通濾波器得到帶通濾波器A。到A K i，具體為：
[0018] Ak= G k (r) L (r) H (r) = L0 (ω) Gk (r) H (r) (k = 0,. . . , k-1)；
[0019] 將"（ω)進(jìn)行倍數(shù)為2的降采樣，由于"（ω)是頻域圖像，降采樣即取以中心點(diǎn) 為中心，長寬分別為"（ω) -半的矩形，并對降采樣后的圖像進(jìn)行下一層的低通濾波得到 L1 (ω )，依次執(zhí)行上述步驟以構(gòu)造出金字塔結(jié)構(gòu)。
[0020] 在一些示例中，所述計(jì)算所述變換后的左圖像和右圖像分解后每個點(diǎn)對應(yīng)的相位 差，進(jìn)一步包括：從最低層開始找到相位異常點(diǎn)，對次低層各個方向均判斷找到對應(yīng)中心距 離2倍的點(diǎn)進(jìn)行修正，從次低層開始各個方向分別對應(yīng)逐級向上找到對應(yīng)的距離中心2倍 距離的點(diǎn)進(jìn)行修正直到金字塔的頂層。
[0021 ] 在一些示例中，根據(jù)所述每個點(diǎn)對應(yīng)的相位差進(jìn)行相位差值操作以得到相位插值 圖像序列，進(jìn)一步包括：
[0022] 傅里葉光學(xué)理論中平面復(fù)場的傅里葉變換后的分量可以看作是沿不同方向離開 該平面?zhèn)鞑サ钠矫娌?，設(shè)平面上復(fù)場為U(x，y)，對應(yīng)傅里葉域?yàn)锳(fx，fY)，則二者關(guān)系如 下：
[0023]
[0024] 以?代表二維離散空間變量（X，y)，以;?代表二維離散頻域變量（fx，f Y)，其中（X， y)和（fx，fY)均為實(shí)數(shù)向量；
[0025] 將傅里葉變換后的頻域圖像截半反變換回來以構(gòu)建空間復(fù)數(shù)場，具體如下：
[0026]
[0027] 其中/(7)是/(》傅里葉變換式冰7)截取一半信息得到的，則實(shí)際是復(fù)函 數(shù)，即每個實(shí)數(shù)對；對應(yīng)的值為復(fù)數(shù)，假設(shè)左圖像為/_(〗），右圖像為/$+">,則左、右圖像 離散化后的表達(dá)式分別如下所示：
[0028]
[0029]
[0030] 利用可控復(fù)數(shù)金字塔分解將/Ol+Δ?分解為各個頻帶以及不同方向上對應(yīng)的空 間場分量，則對于金字塔對應(yīng)頻率為;F5方向?yàn)棣ǖ淖訋У目臻g場可以表示為：
[0031]
[0032] 其中Anglemask(Q)是對應(yīng)方向?yàn)V波器，由于每個頻帶各個方向的處理方法相同 且重構(gòu)時各方向?qū)?yīng)的空間場是簡單求和相加，因此不區(qū)分方向公式可寫作：
[0033]
[0034] 根據(jù)左、右圖像的偏置Δ/?對右圖加入偏置,其中α是偏置系數(shù)，理論上可以 取到整個實(shí)數(shù)域，因此加入相位偏移量后新的空間場可以表示為：
[0035]
[0036] 在一些示例中，所述對所述相位插值圖像序列進(jìn)行反混疊濾波處理，以重構(gòu)并恢 復(fù)圖像，進(jìn)一步包括：
[0037] 用S(x，y，α )表示右圖像偏移量為α的空間復(fù)數(shù)場，為了反混疊濾波，對相位偏 移為α的圖像需要與其附近的圖像以某一系列權(quán)重系數(shù)進(jìn)行濾波，假設(shè)濾波器為F，則濾 波后的圖像可以表示為：
[0038]
[0039] 上述公式可以繼續(xù)變換為：
[0040]
[0041] 其中代表右圖像相位偏移量為α的圖像空域復(fù)數(shù)場，是右圖像的 空域復(fù)數(shù)場，采用高斯濾波器：
[0042]
[0043]
[0044]
[0045] 其中δ是修正后的可控復(fù)數(shù)金字塔每個點(diǎn)對應(yīng)的相位差。
[0046] 本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。
【附圖說明】
[0047] 本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對實(shí)施例的描述中將變 得明顯和容易理解，其中：
[0048] 圖1是根據(jù)本發(fā)明一個實(shí)施例的基于相位的雙目轉(zhuǎn)多目虛擬視圖合成方法的流 程圖；
[0049] 圖2是根本發(fā)明一個具體實(shí)施例的右圖像取值對圖像在空間中的位置示意圖。
【具體實(shí)施方式】
[0050] 下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0051] 以下結(jié)合附圖描述根據(jù)本發(fā)明實(shí)施例的基于相位的雙目轉(zhuǎn)多目虛擬視圖合成方 法。
[0052] 圖1是根據(jù)本發(fā)明一個實(shí)施例的基于相位的雙目轉(zhuǎn)多目虛擬視圖合成方法的流 程圖。如圖1所示，該方法包括以下步驟：
[0053] 步驟SlOl :采集雙目圖像，其中，雙目圖像位于RGB色彩空間，雙目圖像包括左圖 像和右圖像。
[0054] 步驟S102 :將雙目圖像變換至YIQ色彩空間以得到變換后的左圖像和右圖像。具 體地說，在本發(fā)明的一個實(shí)施例中，將位于RGB色彩空間的雙目圖像變換至YIQ色彩空間的 變換式力m .
[0055]
[0056] 步驟S103 :分別將變換后的左圖像和右圖像進(jìn)行可控復(fù)數(shù)金字塔分解。其中，可 控復(fù)數(shù)金字塔分解是根據(jù)可控金字塔分解發(fā)展而來的?？煽亟鹱炙儞Q是對圖片在空間尺 度、方向的過完備分解與重構(gòu)的變換。變換的基函數(shù)是類小波函數(shù)及高斯窗口限制的正弦 函數(shù)，這些基函數(shù)都是可控的，因此被稱為可控金字塔變換。輸入圖像