一種立體視圖的深度圖實(shí)時(shí)獲取方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及裸眼3D顯示領(lǐng)域，具體涉及3D視圖信號(hào)的處理方法，以及此類型的多 視點(diǎn)裸眼3D立體顯示設(shè)備。進(jìn)一步涉及實(shí)時(shí)的立體匹配技術(shù)的深度提取方法和改進(jìn)以及 多畫面窗口的多視點(diǎn)立體顯示設(shè)備。
【背景技術(shù)】
[0002] 多視點(diǎn)的裸眼立體顯示技術(shù)相比較于單視點(diǎn)的立體顯示技術(shù)能夠讓觀測(cè)者在空 間上不同的位置對(duì)觀察對(duì)象或景物獲得不同的影像，更加接近于現(xiàn)實(shí)中的視覺感受。在醫(yī) 療，教學(xué)，電視廣播等領(lǐng)域有著廣闊的應(yīng)用前景。隨著單視點(diǎn)的立體顯示技術(shù)的普及，立體 信號(hào)源的日趨豐富，從立體視圖或視頻中生成多視點(diǎn)視圖凸顯出越來越重要的研宄價(jià)值。
[0003] 當(dāng)前的立體顯示技術(shù)多是應(yīng)用技術(shù)條件，讓兩眼分別看到各自的視圖，兩幅視 圖在人的視覺系統(tǒng)和心理的作用下，感知視圖中的深度信息。通過視圖中的水平視差 (horizontaldisparity)來提供深度信息給到人的視覺系統(tǒng)，是目前主要的3D立體顯示 技術(shù)的主要方法。
[0004] 其中，深度圖像的獲取首先要通過立體匹配的算法從左眼和右眼視圖中獲得視差 圖，再來得出最終的深度圖。
[0005] 從包含了視差的左右眼視圖中得到準(zhǔn)確的深度信息圖，是對(duì)多視圖的立體圖像 進(jìn)行重建的基礎(chǔ)和最為困難的部分。由于本文后面將采用基于深度信息的多視圖的生成 (DIBR)技術(shù)，要求所獲取的深度信息圖精度高，稠密，保留邊緣信息，并且時(shí)域上平滑。
[0006] 另外，通過對(duì)MAP-MRF模型全局優(yōu)化的理論體系的分析中體現(xiàn)出來里面的一個(gè)突 出的問題是沒有通過論證給出唯一的能量函數(shù)的構(gòu)建的方法。就是說即使求的能量函數(shù)的 最小化的近似解，由于能量函數(shù)本身同所求的聯(lián)合概率概率分布之間沒有建立充分必要的 對(duì)應(yīng)關(guān)系，那么最終求得的近似解解必存在偏差。而從各種研宄工作和文獻(xiàn)中現(xiàn)出來，能量 函數(shù)的構(gòu)建方式的不同，將最終形成各異的匹配準(zhǔn)確度和視差圖效果。
[0007] 構(gòu)造常規(guī)的能量函數(shù)采用置信度傳播方法和圖割方法來求解標(biāo)號(hào)得到的視差圖， 從http://vision.middlebury.edu/網(wǎng)站的標(biāo)準(zhǔn)測(cè)試圖片的結(jié)果來看，也證明其迭代的運(yùn) 算方法本身并不能夠解決遮擋，視差不連續(xù)性等問題。上文中改進(jìn)能量函數(shù)構(gòu)造的過程，本 質(zhì)是將視圖對(duì)立體匹配的先驗(yàn)性約束條件引入到能量函數(shù)的最優(yōu)化求解過程，也就是是完 善似然能量函數(shù)U(d|f)和先驗(yàn)?zāi)芰縐(f)的過程。
[0008] 因此，根據(jù)上面的分析，雖然采用進(jìn)行了改進(jìn)的能量函數(shù)以及采用改進(jìn)的求解算 法，能夠有效的減少迭代時(shí)間，更快速的收斂，但是圖割和置信度傳播的方法仍然有著較高 的實(shí)現(xiàn)復(fù)雜度和時(shí)間代價(jià)?，F(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明的目的在于提供一種立體視圖的深度圖實(shí)時(shí)獲取方法及系統(tǒng)，旨在提出了 一種將多種方法相結(jié)合，適合與視頻實(shí)時(shí)轉(zhuǎn)換應(yīng)用的深度圖的獲取方法。針對(duì)視差不連續(xù) 的問題，重復(fù)紋理誤匹配問題，以及遮擋區(qū)域誤匹配的問題采用相應(yīng)的立體匹配方法，并將 這些方法的結(jié)果進(jìn)行優(yōu)化和融合，最后進(jìn)行視差圖的錯(cuò)誤保護(hù)和糾錯(cuò)處理。
[0010] 本發(fā)明的技術(shù)方案如下：
[0011] -種立體視圖的深度圖實(shí)時(shí)獲取方法，其中，包括以下步驟：
[0012] S1、通過特征匹配方法和基于分割的方法相結(jié)合進(jìn)行初始匹配，獲得左右兩個(gè)視 圖的初始視差圖；
[0013] S2、對(duì)初始視差圖采用基于視差概率統(tǒng)計(jì)的方法進(jìn)行優(yōu)化，實(shí)現(xiàn)左右視圖的立體 匹配；
[0014] 其中，所述步驟S1中基于分割的方法中將左右視圖都首先劃分為nXn的小塊，在 固定的矩形塊內(nèi)進(jìn)行分割；采用基于直方圖多閾值的重復(fù)分割方法，其進(jìn)一步包括：
[0015] S11、首先將視圖劃分nXn的窗口，每個(gè)窗口基于灰度的直方圖分布進(jìn)行多閾值 分割，在建立直方圖的過程中，將直方圖的每個(gè)點(diǎn)與左右兩個(gè)相鄰點(diǎn)的進(jìn)行高斯平滑，并且 設(shè)定允許的最大割塊的數(shù)目為M，以降低算法硬件實(shí)現(xiàn)的復(fù)雜度；
[0016] S12、查找塊中的直方圖的前M個(gè)峰值；根據(jù)窗口的大小設(shè)定有效峰值的閾值，大 于有效峰值的閾值的才認(rèn)為是有效峰值；
[0017] S13、比較查找獲得的峰值的灰度差值；灰度差值小于灰度閾值合并為一個(gè)有有效 峰值；
[0018] S14、標(biāo)記直方圖中有效峰值之間的谷值，分別作為閾值計(jì)算方差，選取使類間方 差最大的將谷值作為分割點(diǎn)；
[0019] 所述步驟S2中進(jìn)一步包括：
[0020] S21、對(duì)初始視差圖中的點(diǎn)經(jīng)過預(yù)先設(shè)定的條件來判定出第一地面控制點(diǎn)；
[0021] S22、對(duì)第一地面控制點(diǎn)建立一統(tǒng)計(jì)信息；其中，所述統(tǒng)計(jì)信息包括：像素點(diǎn)的視 差值以及像素點(diǎn)的個(gè)數(shù)；
[0022] S23、對(duì)初始視差圖進(jìn)行梯度平滑，再利用深度信息和鄰域圖像的信息來進(jìn)行插 值。
[0023] 所述的立體視圖的深度圖實(shí)時(shí)獲取方法，其中，其中，所述步驟S1中通過特征匹 配方法采用帶有鄰域平滑效果的sobel算子來進(jìn)行特征點(diǎn)檢測(cè)；
[0024] 將左右視圖都首先劃分為16X16,32X32或者64X64的像素塊。
[0025] 所述的立體視圖的深度圖實(shí)時(shí)獲取方法，其中，所述S2中第一地面控制點(diǎn)分為可 靠點(diǎn)和不可靠點(diǎn)；
[0026] 其中，所述可靠點(diǎn)的構(gòu)成分為兩類：一類為視圖中的強(qiáng)邊緣構(gòu)成的地面控制點(diǎn)，二 類是紋理像素構(gòu)成的地面控制點(diǎn)；
[0027] 所述不可靠點(diǎn)的構(gòu)成分為三類：遮擋像素點(diǎn)，平坦像素點(diǎn)和匹配不當(dāng)點(diǎn)。
[0028] 所述的立體視圖的深度圖實(shí)時(shí)獲取方法，其中，所述S23中對(duì)初始視差圖進(jìn)行梯 度平滑包括：三維濾波。
[0029] -種立體視圖的深度圖實(shí)時(shí)獲取系統(tǒng)，其中，包括：
[0030] 第一匹配單元，用于通過特征匹配方法和基于分割的方法相結(jié)合進(jìn)行初始匹配， 獲得左右兩個(gè)視圖的初始視差圖；
[0031] 第二匹配單元，用于對(duì)初始視差圖采用基于視差概率統(tǒng)計(jì)的方法進(jìn)行優(yōu)化，實(shí)現(xiàn) 左右視圖的立體匹配；
[0032] 其中，所述第一匹配單元中基于分割的方法中將左右視圖都首先劃分為nXn的 小塊，在固定的矩形塊內(nèi)進(jìn)行分割；采用基于直方圖多閾值的重復(fù)分割方法，其進(jìn)一步包 括：
[0033] 首先將視圖劃分nXn的窗口，每個(gè)窗口基于灰度的直方圖分布進(jìn)行多閾值分割， 在建立直方圖的過程中，將直方圖的每個(gè)點(diǎn)與左右兩個(gè)相鄰點(diǎn)的進(jìn)行高斯平滑，并且設(shè)定 允許的最大割塊的數(shù)目為M，以降低算法硬件實(shí)現(xiàn)的復(fù)雜度；
[0034] 查找塊中的直方圖的前M個(gè)峰值；根據(jù)窗口的大小設(shè)定有效峰值的閾值，大于有 效峰值的閾值的才認(rèn)為是有效峰值；
[0035] 比較查找獲得的峰值的灰度差值；灰度差值小于灰度閾值合并為一個(gè)有有效峰 值；
[0036] 標(biāo)記直方圖中有效峰值之間的谷值，分別作為閾值計(jì)算方差，選取使類間方差最 大的將谷值作為分割點(diǎn)；
[0037] 所述第二匹配單元中進(jìn)一步包括：
[0038] 對(duì)初始視差圖中的點(diǎn)經(jīng)過預(yù)先設(shè)定的條件來判定出第一地面控制點(diǎn)；
[0039] 對(duì)第一地面控制點(diǎn)建立一統(tǒng)計(jì)信息；其中，所述統(tǒng)計(jì)信息包括：像素點(diǎn)的視差值 以及像素點(diǎn)的個(gè)數(shù)；
[0040] 對(duì)初始視差圖進(jìn)行梯度平滑，再利用深度信息和鄰域圖像的信息來進(jìn)行插值。
[0041] 所述的立體視圖的深度圖實(shí)時(shí)獲取系統(tǒng)，其中，所述第一匹配單元中通過特征匹 配方法采用帶有鄰域平滑效果的sobel算子來進(jìn)行特征點(diǎn)檢測(cè)；
[0042] 將左右視圖都首先劃分為16X16,32X32或者64X64的像素塊。
[0043] 所述的立體視圖的深度圖實(shí)時(shí)獲取系統(tǒng)，其中，所述第二匹配單元中第一地面控 制點(diǎn)分為可靠點(diǎn)和不可靠點(diǎn)；
[0044] 其中，所述可靠點(diǎn)的構(gòu)成分為兩類：一類為視圖中的強(qiáng)邊緣構(gòu)成的地面控制點(diǎn)，二 類是紋理像素構(gòu)成的地面控制點(diǎn)；
[0045] 所述不可靠點(diǎn)的構(gòu)成分為三類：遮擋像素點(diǎn)，平坦像素點(diǎn)和匹配不當(dāng)點(diǎn)。
[0046] 所述的立體視圖的深度圖實(shí)時(shí)獲取系統(tǒng)，其中，所述第二匹配單元中對(duì)初始視差 圖進(jìn)行梯度平滑包括：三維濾波。
[0047] 本發(fā)明所提供的立體視圖的深度圖實(shí)時(shí)獲取方法及系統(tǒng)，提出了一種從立體左右 視圖的實(shí)時(shí)多視點(diǎn)視圖生成過程所需的高密度視差圖的提取方法。通過采用特征匹配方法 和基于分割的方法相結(jié)合進(jìn)行初始匹配，再采用基于統(tǒng)計(jì)的方法進(jìn)行優(yōu)化，實(shí)現(xiàn)左右視圖 的立體匹配。本文提出的匹配算法有著較廣的適應(yīng)性。并采用多種不同測(cè)試特征的立體視 圖和立體電影片段進(jìn)行了測(cè)試，生成了比較準(zhǔn)確的視差圖，對(duì)重復(fù)紋理和遮擋等關(guān)鍵性問 題取得了較好的處理結(jié)果，有很好的市場推廣應(yīng)用前景。
【附圖說明】
[0048] 圖1為本發(fā)明的立體視圖的深度圖實(shí)時(shí)獲取方法的流程圖。
[0049] 圖2為本發(fā)明的立體視圖的深度圖實(shí)時(shí)獲取方法中區(qū)域分割的示意圖。
[0050] 圖3a、圖3b和圖3c分別為本發(fā)明的立體視圖的深度圖實(shí)時(shí)獲取方法的實(shí)施例中 三種視差的相似度匹配的示意圖。
[0051] 圖4為本發(fā)明的立體視圖的深度圖實(shí)時(shí)獲取方法中鄰域選取的示