一種基于mean shift立體匹配的視圖合成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視圖合成方法，尤其涉及一種基于meanshift立體匹配的視圖合 成方法，屬于圖片處理領(lǐng)域。
【背景技術(shù)】
[0002] 隨著數(shù)字廣播電視技術(shù)和三維電影市場的迅猛發(fā)展，傳統(tǒng)的二維圖像已經(jīng)遠遠 不能滿足人們對視覺感知的切身要求，所以三維電視（3DTV)已經(jīng)成為人們追求視覺立體 感和真實感的"最佳寵物"。3DTV和FTV是多視角視圖（MVI)最重要的應用領(lǐng)域，在3DTV 和FTV中，虛擬視點合成技術(shù)是尤為重要的核心技術(shù)。如今，虛擬視點圖像繪制技術(shù)已經(jīng) 成為數(shù)字圖像和計算機視覺領(lǐng)域的一個研究熱點。
[0003] 現(xiàn)有技術(shù)中，一些學者提出了幾種虛擬視點圖像繪制方法，但都存在一定缺陷： 在YoonKJ和KweonIS.發(fā)表的Locallyadaptivesupport-weightapproachfor visualcorrespondencesearch.(IEEETransactionsonPatternAnalysisandMachine Intelligence. 2006) -文中提出根據(jù)特定窗口中像素點與待匹配點之間的幾何和光度關(guān) 系來調(diào)整每個像素點的權(quán)值，該方法對變窗口的匹配結(jié)果有著良好的抗干擾性即魯棒性， 但是此方法的缺點是計算量太大，而且所用權(quán)值函數(shù)不適用于灰度圖的匹配，缺少廣泛使 用度。KanadeT和OkutomiM.提出通過改變窗口大小和形狀的方法，使得每個像素點能夠 得到最佳的匹配窗口值，即計算匹配代價函數(shù)使其值達到最小時的窗口值為最佳，而該方 法對于深度不連續(xù)的區(qū)域的像素點效果不佳。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是針對【背景技術(shù)】的不足提供了一種基于meanshift 立體匹配的視圖合成方法。
[0005] 本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案
[0006] -種基于meanshift立體匹配的視圖合成方法，具體包括如下步驟：
[0007] 步驟1，采用meanshift方法對原始圖像進行區(qū)域分割；
[0008] 步驟2,采用基于自適應權(quán)值的多窗口立體匹配法來獲得立體圖像對應的視差 圖；
[0009] 步驟3,對步驟2所得視差圖進行平滑操作；
[0010] 步驟4,對平滑操作后視差圖進行正向視圖插值和空洞噪聲處理，進而完成圖像繪 制。
[0011] 作為本發(fā)明一種基于meanshift立體匹配的視圖合成方法的進一步優(yōu)選方案，所 述步驟1具體過程如下：
[0012] 步驟1. 1，將圖像轉(zhuǎn)換為與圖像相匹配的色度空間；
[0013] 步驟1. 2,利用meanshift進行平滑操作進而獲取各像素的收斂點；
[0014] 步驟1. 3,將各像素的收斂點按照預先設(shè)定的條件規(guī)則進行合并；
[0015] 作為本發(fā)明一種基于meanshift立體匹配的視圖合成方法的進一步優(yōu)選方案，所 述步驟2具體過程如下：
[0016] 步驟2. 1，在參考圖像中某個像素點構(gòu)造一個支撐窗口；
[0017] 步驟2. 2,把該支撐窗口沿著視差范圍平行移動，以相似性測度函數(shù)來計算窗口間 的相似性；具體計算如下：
[0021] 其中，CSAD(x，y)為求取當前像素點和領(lǐng)域像素點r、g、b三通道顏色差異的絕對值 之和，1。00為當前像素點彩色值，x為當前點坐標，IJy)為當前像素點周圍領(lǐng)域彩色值，y 為領(lǐng)域坐標，和分別代表圖像橫向和縱向梯度，w是介于0和1之間的權(quán)值，CeRAD(x，y) 為求取當前點和其領(lǐng)域像素點在水平方向和垂直方向r、g、b三通道顏色差異的絕對值之 和，C(x,y)為相似性測度函數(shù)。
[0022] 作為本發(fā)明一種基于meanshift立體匹配的視圖合成方法的進一步優(yōu)選方案，所 述步驟4具體過程如下：
[0023] 步驟4. 1，獲取每個像素的位置信息和顏色信息；
[0024] 步驟4. 2,再通過該視圖的視差圖確定虛擬視點位置關(guān)系，確定位置變換關(guān)系，用 對應的原視的顏色信息對虛擬視圖進行顏色填充，正向視圖插值公式如下：
[0025] Iir(X:,Y) =IIR(XR+(l-a)*dRL,Y) =IR(XR,Y)
[0026] 其中，XR+(l_a)*dRt為虛擬視點位置與右視圖位置關(guān)系，Iir(XdY)為由右視圖變 換到中間虛擬視點像素坐標為（U)處的像素值，cT為左右視圖的視差值，IR(XR，Y)為右 視圖像素坐標為（XR，Y)處的像素值，a根據(jù)虛擬視點位置而確定，范圍在0~1之間；
[0027] 空洞噪聲處理如下：
[0028] I^X^Y) =co1Iil(Xi,Y) + (1-co1)Iir(Xi,Y)
[0029] IIL (X〇Y) =IIL (XL+ (1-a) *dIL,Y) =IL (XL,Y)
[0030] o1表示虛擬視點位置與左右視圖位置比例關(guān)系，Xj(l_a)*#為虛擬視點位置 與左視圖位置關(guān)系，1"&，幻為由左視圖變換到中間虛擬視點像素坐標為（tY)處的像素 值，，為左右視圖的視差值，IJ\，Y)為左視圖像素坐標為（\，Y)處的像素值，IJtY)為 最終虛擬視圖在像素坐標為（U)處的像素值。
[0031] 作為本發(fā)明一種基于meanshift立體匹配的視圖合成方法的進一步優(yōu)選方案，所 述步驟1. 3中的條件規(guī)則是指空間域小于hs，顏色域小于
[0032] 其中，hs是空間帶寬參數(shù)，k是顏色帶寬參數(shù)。
[0033] 本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：
[0034] 1、本發(fā)明提供的視圖合成方法，對于虛擬視圖繪制有著良好的效果，繪制視圖質(zhì) 量相對較高。
[0035] 2、本發(fā)明方法合成的視圖具有良好的圖像效果，輪廓清晰分明，具有很好的立體 效果。
【附圖說明】
[0036] 圖1是本發(fā)明的方法流程圖；
[0037] 圖1(a)是本發(fā)明單窗口視差圖；
[0038] 圖1 (b)是本發(fā)明多窗口視差圖；
[0039] 圖2(a)是基于自適應權(quán)值的多窗口立體匹配法和基于meanshift區(qū)域分割的權(quán) 值多窗口立體匹配法對比效果圖的左視圖；
[0040] 圖2(b)是基于自適應權(quán)值的多窗口立體匹配法和基于meanshift區(qū)域分割的權(quán) 值多窗口立體匹配法對比效果圖的標準視圖；
[0041] 圖2(c)是基于meanshift區(qū)域分割的權(quán)值多窗口立體匹配法得到的視差圖；
[0042] 圖2(d)是基于自適應權(quán)值的多窗口立體匹配法得到的視差圖；
[0043] 圖3 (a)是本發(fā)明算法得到的左視圖；
[0044] 圖3(b)是本發(fā)明算法得到的中間虛擬視圖；
[0045] 圖3(c)是本發(fā)明算法得到的右視圖。
【具體實施方式】
[0046] 以下將結(jié)合具體實施例對本發(fā)明提供的技術(shù)方案進行詳細說明，應理解下述具體 實施方式僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。
[0047] 如圖1所示，一種基于meanshift立體匹配的視圖合成方法，具體包括如下步驟：
[0048] 步驟1，采用meanshift方法對原始圖像進行區(qū)域分割；
[0049] 步驟1. 1，將圖像轉(zhuǎn)換為與圖像相匹配的色度空間；
[0050] 步驟1. 2,利用meanshift進行平滑操作進而獲取各像素的收斂點；
[0051] 步驟1. 3,將各像素的收斂點按照預先設(shè)定的條件規(guī)則進行合并；
[0052] 步驟2,采用基于自適應權(quán)值的多窗口立體匹配法來獲得立體圖像對應的視差 圖；
[0053] 步驟2. 1，在參考圖像中某個像素點構(gòu)造一個支撐窗口；
[0054] 步驟2. 2,把該支撐窗口沿著視差范圍平行移動，以相似性測度函數(shù)來計算窗口間 的相似性；具體計算如下：
[0058] 其中，CSAD(x，y)為求取當前像素點和領(lǐng)域像素點r、g、b三通道顏色差異的絕對值 之和，Ijx)為當前像素點彩色值，x為當前點坐標，Ijy)為當前點周圍領(lǐng)域彩色值，y為領(lǐng) 域坐標，分別代表圖像橫向和縱向梯度，w是介于0和1之間的權(quán)值，C_(x，y)為 求取當前點和其領(lǐng)域像素點在水平方向和垂直方向r、g、b三通道顏色差異的絕對值之和，C(x，y)為相似性測度函數(shù)。
[0059] 步驟3,對步驟2所得視差圖進行平滑操作；
[0060] 步驟4,對平滑操作后視差圖進行正向視圖插值和空洞噪聲處理，進而完成圖像繪 制；
[0061] 步驟4. 1，獲取每個像素的位置信息和顏色信息；
[0062] 步驟4. 2,再通過該視圖的視差圖確定虛擬視點位置關(guān)系，確定位置變換關(guān)系，用 對應的原視的顏色信息對虛擬視圖進行顏色填充，正向視圖插值公式如下：
[0063] Iir(X:,Y) =IIR(XR+(l-a)*dRL,Y) =IR(XR,Y)
[0064] 其中，XR+(l_a)*dRt為虛擬視點位置與右視圖位置關(guān)系，Iir(XdY)為由右視圖變 換到中間虛擬視點像素坐標為（U)處的像素值，cT為左右視圖的視差值，IR(XR，Y)為右 視圖像素坐標為（XR，Y)處的像素值，a根據(jù)虛擬視點位置而確定，范圍在0~1之間；空 洞噪聲處理如下：
[0065] I^X^Y) =co1Iil(Xi,Y) + (1-co1)Iir(Xi,Y)
[0066] IIL (X〇Y) =IIL (XL+ (1-a) *dIL,Y) =IL (XL,Y)
[0067] o1表示虛擬視點位置與左右視圖位置比例關(guān)系，Xj(l_a)*#為虛擬視點位置 與左視圖位置關(guān)系，1"&，幻為由左視圖變換到中間虛擬視點像素坐標為（tY)處的像素 值，，為左右視圖的視差值，IJ\，Y)為左視圖像素坐標為（\，Y)處的像素值，IJtY)為 最終虛擬視圖在像素坐標為（U)處的像素值。
[0068] 具體如下：步驟1，采用meanshift方法對圖像進行區(qū)域分割：
[0069] -幅圖由一個二維空間位置坐標和M維顏色向量組成，當M= 1時該圖像為灰度 圖，當M= 3時該圖象為RGB圖，當M>3時該圖象為多維聯(lián)合圖像。圖像的每個像素點由顏 色信息和空間位置信息決定，那么meanshift濾波器的特征向量定義為X= [xs，x1!1。設(shè) 定圖像中某個像素空間位置為X，以x為圓心，以h為半徑，落在高維球內(nèi)的點位Xl定義兩 個模式規(guī)則：
[0070] 1.x像素點的顏色與Xl像素點顏色越相近，我們定義概率密度越高；
[0071] 2.離x的位置越近的像素點Xl，定義概率密度越高。
[0072] 前述的概率密度函數(shù)為：
[0073]

[0074] 其中：Kf代表空間位置信息，離中心像素點越遠，其值越大； 弋 Vi、J 表顏色信息，顏色越相近，其值越大；Xs是空間位置坐標，f是圖像顏色特征，是兩個 變量的核函數(shù)；hs是空間帶寬參數(shù)，控制區(qū)域sh的大小，是中心空間距離的閾值參數(shù)；h^是 顏色帶寬參數(shù)，是類像素值間距參數(shù)，是對空間域^的又一次選擇；C是歸一化常數(shù)；另設(shè) 定一個類內(nèi)像素個數(shù)參數(shù)M，當單個類內(nèi)像素值小于該值時合并為一類，相當于類之間的一 次選擇。
[0075] MeanShift算法中引入高斯核函數(shù)，應用范圍是區(qū)域Sh的大小，而且圖像分割一 般用高斯核函數(shù)。那么MeanShift向量表達式為：
[0076]
[0077]
[0078] 令xjPz;(i= 1，2, 3. . .n)分別表示d維原始圖像點和收斂點，Q為圖像分割后