本申請要求2015年5月26日向韓國知識產權局提交的韓國專利申請第10-2015-0073252號的優(yōu)先權和權益，這里通過引用合并其全部內容。

技術領域

本發(fā)明涉及用于生成視差圖像的方法和設備，并更具體地，涉及通過更精確地增強由立體匹配獲得的初始視差、來生成最終視差圖像的方法和設備。

背景技術：

立體匹配是檢測至少兩頁圖像中的對應點的技術。可能使用立體匹配技術來獲得圖像的至少兩個視圖之間的對應點的視差，并基于視差值來計算圖像內的對象的深度?？稍谥T如基于圖像的渲染、機器人視覺、和下一代認知(realization)廣播的各個領域中利用視差圖。

立體匹配技術在圖像處理領域已研究很多，并且已研究其各種方法。立體匹配技術大體分類為全局算法方案和局部算法方案。全局算法方案使用諸如置信度傳播(belief propagation)和圖形切割(graph-cut)的全局優(yōu)化方法，并且局部算法方案是通過基于塊劃分圖像來計算和優(yōu)化局部成本的方法。

全局算法方案可執(zhí)行比局部算法方案相對更精確的視差值提取，但是花費很多時間來執(zhí)行優(yōu)化操作，并所以幾乎沒有被實時利用。最近，基于局部算法方案來執(zhí)行初始匹配以計算初始視差，并且已廣泛使用用于基于邊緣保留(edge-preserving)濾波增強初始視差的方法。

用于邊緣保留濾波的最有代表性的方法之一，存在雙向濾波。雙向濾波設置輸入圖像的每一像素作為中央像素，并使用中央像素的軸上具有預定尺寸的塊中存在的相鄰像素與中央像素之間的范圍(range)內核和域內核來保留該圖像的邊緣，并對其它區(qū)域執(zhí)行平滑。即，雙向濾波在保留邊緣的同時平滑視差值，以增強由于在立體匹配時發(fā)現(xiàn)的邊緣部分的阻塞(occlusion) 或失配發(fā)生的模糊(blurring)現(xiàn)象。

邊緣保留濾波考慮到僅立體圖像之一來改變通過立體匹配計算的初始視差值，并所以存在的問題在于，當向立體圖像的每一個獨立應用邊緣保留濾波時，出現(xiàn)以下現(xiàn)象，即，需要維持其左右一致性的視差值彼此失配。

該背景技術部分中公開的以上信息僅用于增強本發(fā)明的背景的理解，并所以其可包括不形成本領域技術人員在該國家已知的現(xiàn)有技術的信息。

技術實現(xiàn)要素：

已努力作出本發(fā)明，以提供具有更精確地增強通過立體匹配獲得的初始視差的優(yōu)點的、用于生成視差圖像的方法和設備。

本發(fā)明的示范實施例提供了一種由用于生成視差圖像的設備生成視差圖像的方法。所述生成視差圖像的方法可包括：通過對立體圖像的第一圖像和第二圖像分別執(zhí)行立體匹配，來生成第一初始視差圖像和第二初始視差圖像；通過對第一初始視差圖像和第二初始視差圖像分別執(zhí)行邊緣保留濾波，來生成第一增強視差圖像和第二增強視差圖像；通過使用用于第一初始視差圖像的每一像素的視差值的可靠性因子和用于第一增強視差圖像的每一像素的視差值的可靠性因子，來增強用于第一初始視差圖像的每一像素的視差值；和通過使用用于第二初始視差圖像的每一像素的視差值的可靠性因子和用于第二增強視差圖像的每一像素的視差值的可靠性因子，來增強用于第二初始視差圖像的每一像素的視差值。

所述用于第一初始視差圖像的每一像素的視差值的增強步驟可包括：對于第一初始視差圖像和第二初始視差圖像之間的每一對應點的視差值計算第一左右一致性數(shù)值；對于第一增強視差圖像和第二增強視差圖像之間的每一對應點的視差值計算第二左右一致性數(shù)值；對于與第一初始視差圖像的每一對應點對應的每一像素，選擇對應第一左右一致性數(shù)值和對應第二左右一致性數(shù)值之中的、具有高可靠性的左右一致性數(shù)值；和對于與第一初始視差圖像的每一對應點對應的每一像素，使用選擇的左右一致性數(shù)值，來確定用于第一初始視差圖像的每一像素的視差值。

所述用于第一初始視差圖像的每一像素的視差值的確定步驟可包括：對于第一初始視差圖像的每一像素，基于所選擇的左右一致性數(shù)值來計算用于每一像素的左右一致性可靠性數(shù)值；將第一初始視差圖像的每一像素依次設 置為中央像素；計算代表在中央像素的軸上具有預定尺寸的塊內的每一相鄰像素與中央像素之間的相關性的權重值；和使用塊內的相鄰像素的權重值和用于相鄰像素的左右一致性可靠性數(shù)值，來確定中央像素的視差值。

所述中央像素的視差值的確定步驟可包括：通過組合塊內的相鄰像素的權重值和用于相鄰像素的左右一致性可靠性數(shù)值，來計算每一相鄰像素的最終權重值；選擇用于塊內的每一相鄰像素的最終權重值之一；和將中央像素的視差值改變?yōu)楸贿x擇為所述一個最終權重值的相鄰像素的視差值。

所述權重值的計算步驟可包括：使用用于每一相鄰像素的權重值，來計算用于第一初始視差圖像中的每一相鄰像素的視差值。

所述權重值的計算步驟可包括：使用用于第一初始視差圖像中的每一相鄰像素的視差值和用于第一增強視差圖像中的每一對應相鄰像素的視差值，來計算每一相鄰像素的權重值。

所述權重值的計算步驟可包括：使用每一相鄰像素和中央像素之間的空間距離和色差，來計算每一相鄰像素的權重值。

所述權重值的計算步驟可包括：使用用于局部立體匹配所使用的成本累加函數(shù)，來計算每一相鄰像素的權重值。

所述用于每一像素的左右一致性可靠性數(shù)值的計算步驟可包括：當選擇的左右一致性數(shù)值為0時，將左右一致性可靠性數(shù)值計算為1；當選擇的左右一致性數(shù)值大于閾值時，將左右一致性可靠性數(shù)值計算為0；和當選擇的左右一致性數(shù)值等于或小于閾值時，將左右一致性可靠性數(shù)值計算為“1/選擇的左右一致性數(shù)值”的值。

所述第一左右一致性數(shù)值的計算步驟可包括：根據第一初始視差圖像和第二初始視差圖像之間的用于每一對應點的視差值的絕對值之差，來計算第一左右一致性數(shù)值，和所述第二左右一致性數(shù)值的計算步驟可包括：根據第一增強視差圖像和第二增強視差圖像之間的用于每一對應點的視差值的絕對值之差，來計算第二左右一致性數(shù)值。

所述選擇步驟可包括將第一左右一致性數(shù)值和對應第二左右一致性數(shù)值中的較小值確定為具有高可靠性的左右一致性數(shù)值。

所述第一圖像和第二圖像之一可以是左圖像，并且另一個是右圖像。

本發(fā)明的另一實施例提供了一種用于由立體圖像生成視差圖像的設備。所述用于生成視差圖像的設備可包括立體匹配單元、邊緣保留濾波單元、和 視差增強單元。該立體匹配單元可通過對立體圖像的第一圖像和第二圖像分別執(zhí)行立體匹配，來生成第一初始視差圖像和第二初始視差圖像。該邊緣保留濾波單元可通過對第一初始視差圖像和第二初始視差圖像分別執(zhí)行邊緣保留濾波，來生成第一增強視差圖像和第二增強視差圖像。該視差增強單元可對第一初始視差圖像和第二初始視差圖像之間的每一對應點的兩個像素的視差值執(zhí)行左右一致性檢查，對第一增強視差圖像和第二增強視差圖像之間的每一對應點的兩個像素的視差值執(zhí)行左右一致性檢查，計算代表在要增強的像素的軸上具有預定尺寸的塊內的每一相鄰像素與要增強的像素之間的相關性的用于每一相鄰像素的權重值，并分別使用所述左右一致性檢查與第一初始視差圖像和第二初始視差圖像中的每一相鄰像素的權重值，來增強每一像素的視差值。

該視差增強單元可包括左右一致性檢查器和視差值確定器。該左右一致性檢查器可基于左右一致性檢查，計算用于第一初始視差圖像和第二初始視差圖像之間的每一對應點的視差值的第一左右一致性數(shù)值、以及用于第一增強視差圖像和第二增強視差圖像之間的每一對應點的視差值的第二左右一致性數(shù)值。該視差值確定器可對于與第一初始視差圖像的每一對應點對應的每一像素，使用對應第一左右一致性數(shù)值和對應第二左右一致性數(shù)值之中的、具有較高可靠性的左右一致性數(shù)值、以及每一對應相鄰像素的權重值，來確定用于第一初始視差圖像的每一像素的視差值。

該視差增強單元可進一步包括：左右一致性可靠性計算器，用于對于每一像素，使用左右一致性數(shù)值來計算左右一致性可靠性數(shù)值；和權重值計算器，用于對于每一像素，通過組合每一對應相鄰像素的權重值和左右一致性可靠性數(shù)值，來計算對應塊內的每一相鄰像素的最終權重值，和該視差值確定器可對于每一像素，確定具有從對應塊內的每一相鄰像素的最終權重值中選擇的一個最終權重值的像素的視差值作為用于每一像素的視差值。

該左右一致性可靠性計算器，當具有高可靠性的左右一致性數(shù)值為0時，可將左右一致性可靠性數(shù)值計算為1，當具有高可靠性的左右一致性數(shù)值大于閾值時，可將左右一致性可靠性數(shù)值計算為0，和當具有高可靠性的左右一致性數(shù)值等于或小于閾值時，可將左右一致性可靠性數(shù)值計算為“1/選擇的左右一致性數(shù)值”的值。

該視差增強單元可進一步包括：左右一致性數(shù)值選擇器，用于對于與第 一初始視差圖像的每一對應點對應的每一像素，確定對應第一左右一致性數(shù)值和對應第二左右一致性數(shù)值的較小值作為具有高可靠性的左右一致性數(shù)值，和該左右一致性檢查器根據用于每一對應點的視差值的絕對值之差，來計算第一左右一致性數(shù)值和第二左右一致性數(shù)值。

該視差增強單元可計算每一相鄰像素的視差值作為用于第一初始視差圖像中的每一相鄰像素的權重值，或者使用第一初始視差圖像中的每一相鄰像素的視差值和第一增強視差圖像中的每一對應相鄰像素的視差值，來計算每一相鄰像素的權重值。

該視差增強單元可使用每一相鄰像素和要增強的像素和中央像素之間的空間距離和色差來計算每一相鄰像素的權重值，或者使用用于局部立體匹配所使用的成本累加函數(shù)來計算每一相鄰像素的權重值。

該視差值確定器可對于與第二初始視差圖像的每一對應點對應的每一像素，使用對應第一左右一致性數(shù)值和對應第二左右一致性數(shù)值之中的、具有較高可靠性的左右一致性數(shù)值、以及用于每一對應相鄰像素的權重值，來確定用于第二初始視差圖像的每一像素的視差值。

附圖說明

圖1是示意性圖示了根據本發(fā)明示范實施例的用于生成視差圖像的方法的圖。

圖2是描述了根據本發(fā)明示范實施例的增強視差圖像的過程的流程圖。

圖3是描述了根據本發(fā)明示范實施例的左右一致性的圖。

圖4是圖示了根據本發(fā)明示范實施例的在中央像素的軸上具有預定尺寸的塊的圖。

圖5是圖示了根據本發(fā)明示范實施例的用于生成視差圖像的設備的圖。

圖6是圖示了圖5中圖示的視差增強單元的圖。

具體實施方式

在以下詳細描述中，僅作為說明，已經僅示出和描述了本發(fā)明的某些示范實施例。如本領域技術人員將認識到的，可按照各種不同方式修改所描述的實施例，而全部不脫離本發(fā)明的精神或范圍。因此，這些圖和描述應被看作本質上示意性的而不是限制性的。貫穿該說明書，相同的附圖標記指定相 同的元件。

貫穿本說明書和權利要求，除非按照相反的方式進行明確描述，“包括”任何組件將被理解為暗指包括其它元件，而不排除任何其它元件。

其后，將參考附圖來詳細描述根據本發(fā)明示范實施例的用于生成視差圖像的方法和設備。

圖1是示意性圖示了根據本發(fā)明示范實施例的用于生成視差圖像的方法的圖。

參考圖1，用于生成視差圖像的設備100分別對立體圖像的左圖像和右圖像執(zhí)行立體匹配，以生成初始左視差圖像和初始右視差圖像(S110)。立體匹配是將立體圖像的左圖像和右圖像之一設置為參考圖像、將左圖像和右圖像的另一個設置為目標圖像、并然后找出參考圖像和目標圖像中的彼此對應的對應點的操作，并獲得代表左圖像和右圖像中的對應像素彼此相距多遠的視差值。例如，如果通過對于左圖像的立體匹配、位置(x,y)處的像素的視差值是10，則基于右圖像中的位置(x,y)在右邊相距10像素的(x+10,y)的像素成為左圖像的位置(x,y)的像素的對應點。

用于生成視差圖像的設備100對初始左視差圖像和初始右視差圖像分別執(zhí)行諸如邊緣保留濾波的后處理濾波，以生成增強左視差圖像和增強右視差圖像(S120)。例如，作為邊緣保留濾波，可使用雙向濾波。雙向濾波可通過以下等式1代表。

(等式1)

在以上等式1中，D_i代表作為輸入圖像的初始左視差圖像或初始右視差圖像，并且W代表權重值因子。D_o代表作為輸出的增強左視差圖像或增強右視差圖像。(x,y)代表中央像素。輸入圖像的每一像素被設置為中央像素。u和v是代表濾波器內核中的特定位置的向量U_P和V_P元素。向量U_P和V_P可通過以下等式2和3代表。

(等式2)

${\stackrel{\→}{u}}_p=\{x-r,...,x+r\}$

(等式3)

${\stackrel{\→}{v}}_p=\{y-r,...,y+r\}$

這里，濾波器內核代表中央像素的軸上具有預定尺寸的塊，并且r代表濾波器內核的半徑。向量U_P和V_P的每一個代表濾波器內核中的水平和垂直位置。

此外，權重值因子W可被定義為以下等式4。

(等式4)

在以上等式4中，f(u,v)代表取決于空間距離確定的域內核，并且g(u,v)代表取決于濾波器內核中的中央像素和相鄰像素之間的色差確定的范圍濾波器。這兩個函數(shù)兩者可基于高斯函數(shù)定義為以下等式5和6。

(等式5)

$g(u,v)=\exp \{-\frac{|I(x,y)-I(u,v){|}^2}{2{{\mathrm{\σ}}_R}^2}\}$

(等式6)

$f(u,v)=\exp \{-\frac{{(x-u)}^2+{(y-v)}^2}{2{{\mathrm{\σ}}_D}^2}\}$

在以上等式5和6中，σ_R和σ_D的每一個代表用于高斯函數(shù)的標準偏差，并且取決于這些值來確定高斯分布的寬度。

這樣，如果分別對初始左視差圖像和初始右視差圖像執(zhí)行邊緣保留濾波，則保留其中色差大的邊界部分，并平滑剩余部分。

用于生成視差圖像的設備100基于視差增強過程增強初始左視差圖像(S130)。視差增強過程使用初始左視差圖像、初始右視差圖像、增強左視差圖像、和增強右視差圖像，并且將參考圖2和3詳細描述。

用于生成視差圖像的設備100基于視差增強過程增強初始右視差圖像(S140)。為了便于描述，盡管本發(fā)明的示范實施例描述了增強初始左視差圖像并然后增強初始右視差圖像，但是可增強初始右視差圖像并然后也可增強初始左視差圖像。

用于生成視差圖像的設備100可通過預定頻率N分別對初始左視差圖像和初始右視差圖像依次重復視差增強過程。

即，如果使用視差增強過程增強左視差圖像和右視差圖像，則用于生成視差圖像的設備100將視差增強頻率i增加1(S150)并然后比較視差增強頻率i和預定頻率N(S160)。接下來，用于生成視差圖像的設備100分別對初始左視差圖像和初始右視差圖像依次重復視差增強過程，直到視差增強頻率i達到預定頻率N為止，以生成最終左視差圖像和最終右視差圖像(S170)。

圖2是描述了根據本發(fā)明示范實施例的增強視差圖像的過程的流程圖，并且圖3是描述了根據本發(fā)明示范實施例的左右一致性的圖。

首先，假設給定初始左視差圖像和初始右視差圖像和增強左視差圖像和和增強右視差圖像。初始左視差圖像和初始右視差圖像被統(tǒng)稱為初始視差圖像，并且增強左視差圖像和和增強右視差圖像被統(tǒng)稱為增強視差圖像。此外，為了便于解釋，將描述用于增強左視差圖像的方法。

參考圖2，用于生成視差圖像的設備100基于初始左視差圖像和初始右視差圖像，對初始視差圖像的視差值檢查左右一致性(S200)。左右一致性檢查可通過計算左右一致性數(shù)值來執(zhí)行。

用于生成視差圖像的設備100基于增強左視差圖像和增強右視差圖像，對增強視差圖像的視差值檢查左右一致性(S210)。左右一致性檢查可通過計算左右一致性數(shù)值來執(zhí)行。

如上所述，視差值通過值代表左圖像的一個點的對應點與右圖像中的x軸相距多少。由于除了阻塞區(qū)之外、左圖像和右圖像的每一像素彼此一一匹配，所以與對應點對應的左圖像和右圖像的每一像素需要指向彼此。所以，初始左視差圖像的一個點的視差值的絕對值等于初始右視差圖像中的對應點的視差值的絕對值，并且關于初始左視差圖像的一個點的視差值的絕對值是否等于初始右視差圖像中的對應點的視差值的絕對值的檢查被稱作左右一致性檢查。

即，如圖3中圖示的，如果初始左視差圖像D_L的一個點x的視差值是D_L(x)，則與初始右視差圖像D_R的一個點x相距D_L(x)像素的點成為對于初始左視差圖像D_L的一個點x的、初始右視差圖像D_R中的對應點。此外，如果與初始右視差圖像D_R的一個點(x)相距D_L(x)像素的點[x+D_L(x)]的視差值為D_R(x’)，則當D_R(x’)＝D_L(x)時，可認為確保左右一致性。

用于生成視差圖像的設備100可基于初始左視差圖像通過以下等式7根據初始左視差圖像和初始右視差圖像之間的對應點的視差值的絕對值之差 來計算左右一致性數(shù)值，以執(zhí)行左右一致性檢查。

(等式7)

δ＝|D_L(x)|-|D_R(x+D_L(x))|

在以上等式7中，D_L(x)代表初始左視差圖像中的位置x處的像素的視差值，并且D_R(x+D_L(x))代表初始右視差圖像中的位置[x+DL(x)]處的像素的視差值。

通過相同方法，用于生成視差圖像的設備100可基于增強左視差圖像通過以下等式8根據增強左視差圖像和增強右視差圖像之間的對應點的視差值的絕對值之差來計算左右一致性數(shù)值，以執(zhí)行左右一致性檢查。

(等式8)

δ′＝D′_L(x)|-|D′_R(x+D′_L(x))|

在以上等式8中，D_L’(x)代表增強左視差圖像中的位置x處的像素的視差值，并且D_R’(x+D_L(x))代表增強右視差圖像中的位置[x+DL(x)]處的像素的視差值。

由于諸如初始左視差圖像和初始右視差圖像的初始視差圖像是基于合理假設通過匹配處理計算的預測視差值，所以即使初始視差圖像的視差值不同于經受諸如邊緣保留濾波的后處理濾波的視差值，該值也可以不被看作無條件錯誤。如果對初始視差圖像執(zhí)行邊緣保留濾波，則可發(fā)生其中左右一致性失配的情況。所以，出現(xiàn)初始視差圖像的視差值和增強視差圖像的視差值中的哪一個更可靠的問題。

用于生成視差圖像的設備100通過以下等式9對于初始左視差圖像的每一像素，選擇初始視差圖像的視差值和增強視差圖像的視差值之間的具有較高可靠性的左右一致性數(shù)值(S220)?？苫谕ㄟ^以上等式7和8計算的左右一致性數(shù)值來確定高可靠性，并且隨著通過以上等式7和8計算的左右一致性數(shù)值正變得越來越小，可靠性增加。

(等式9)

Δ＝argmin(δ，δ′)＝(δ＞δ′？δ′：δ)

用于生成視差圖像的設備100使用通過以上等式9選擇的視差值，來計算用于每一像素的左右一致性可靠性數(shù)值(S230)。左右一致性可靠性數(shù)值C_LR(x)可通過以下等式10計算。

(等式10)

參考以上等式10，當左右一致性數(shù)值Δ大于預定閾值T時，左右一致性可靠性數(shù)值C_LR(x)變?yōu)?，并且當Δ為0時，實現(xiàn)左右一致性，并且結果一致性可靠性數(shù)值C_LR(x)變?yōu)?。此外，當Δ等于或小于預定閾值T時，一致性可靠性數(shù)值C_LR(x)變?yōu)榕c左右一致性數(shù)值成反比的1/Δ。

如果通過等式10計算用于每一像素的左右一致性可靠性數(shù)值C_LR(x)，則用于生成視差圖像的設備100將其視差值要增強的目標像素設置為中央像素(S240)，并計算要利用左右一致性可靠性數(shù)值、向中央像素的軸上具有預定尺寸的塊中的所有像素加入的權重值(S250)。用于生成視差圖像的設備100可使用用于塊內的所有像素的成本累加函數(shù)來計算權重值，以通過參考中央像素的像素值或視差值的軸上具有預定尺寸的塊內的相鄰像素，來計算其相關性或其相似性?？墒褂脧某杀纠奂雍蜻x組選擇的成本累加函數(shù)來計算該權重值。

成本累加候選組的成本累加函數(shù)如同以下等式11到16。

(等式11)

w(x)＝|D_L(x)|or|D′_L(x)|

(等式12)

w(x)＝|D_L(x)-D′_L(x)|

(等式13)

$w\left(x\right)=\frac{D_L^{\′}\left(x\right)}{D_L\left(x\right)}$

(等式14)

w(x)＝g(x)·f(x)

這里，g(x)和f(x)如同以上等式5和6中那樣。

(等式15)

w(x)＝在局部立體匹配中使用的成本累加函數(shù)之一

(等式16)

w(x)＝從包括等式11到15的至少兩個的組合的成本累加函數(shù)的每一個獲得的權重值之積

用于生成視差圖像的設備100向計算的權重值加入對于每一像素計算的左和右一致性可靠性數(shù)值，以計算用于中央像素的軸上的塊內的每一像素的最終權重值(S260)。該最終權重值可通過以下等式17計算。

(等式17)

W(q)＝w(q)×C_LR(q)

在以上等式17中，W(q)代表中央像素的軸上的塊內的相鄰像素q的最終像素值，w(q)代表對于相鄰像素q基于以上等式11到16之一獲得的權重值，并且C_LR(q)代表基于以上等式10獲得的相鄰像素q的左右一致性可靠性。

如果計算中央像素的軸上的塊內的每一像素的最終權重值，則用于生成視差圖像的設備100按照尺寸順序分類中央像素的軸上的塊內的每一像素的最終權重值，并從分類的最終權重值選擇最合適的最終權重值(S270)。

例如，用于生成視差圖像的設備100還可以在一些情況下選擇分類的最終權重值之中的權重值的中值，并且還可以在一些情況下選擇分類的最終權重值之中的最大值或最小值。

用于生成視差圖像的設備100將被選擇為最合適的最終權重值的像素的視差值確定為中央像素的視差值(S280)，并將中央像素的視差值改變?yōu)檫x擇為最合適的最終權重值的像素的視差值(S290)?？赏ㄟ^以下等式18來代表用于改變中央像素的視差值的方法。

(等式18)

d(p)＝d of f(W(q₁),W(q2),…，W(q_n))

在以上等式18中，d代表視差值并且d(p)代表中央像素(p)的視差值。W(q₁)、W(q₂)……W(q_n)代表中央像素的軸上的塊內的每一像素的最終權重值。此外，f()代表塊內的每一像素的最終權重值之中的最合適的最終權重值。例如，如上所述，f()可以是選擇塊內的每一像素的最終權重值之中的中值的函數(shù)，并且可以是選擇塊內的每一像素的最終權重值之中的最大值或最小值的函數(shù)。

這樣，為了由用于生成視差圖像的設備100獲得用于中央像素的視差值，考慮到中央像素的軸上的具有預定尺寸的塊內的每一像素的左右一致性可靠性數(shù)值來計算每一像素的最終權重值，并且將選擇為塊內的每一像素的最 終權重值之中的最合適的最終權重值的像素的視差值確定為中央像素的視差值。

用于生成視差圖像的設備100將初始左視差圖像的所有像素分別設置為中央像素，并然后通過執(zhí)行步驟S250到S280來確定中央像素的視差值，由此增強用于初始左視差圖像的所有像素的視差值。

初始右視差圖像中的增強還通過參考圖2描述的方法執(zhí)行，并且參考初始右視差圖像。

此外，用于生成視差圖像的設備100增強初始左視差圖像的視差值，并然后基于初始增強左視差圖像的視差值重復步驟S230到S290，由此附加執(zhí)行視差增強過程。即，在初始情況中，由于給定初始左視差圖像和增強左視差圖像，所以執(zhí)行步驟S210和S220以選擇初始左視差圖像和增強左視差圖像之一，并且在執(zhí)行一次視差增強過程之后，生成具有增強視差值的左視差圖像，并所以其后的視差增強過程并非必須執(zhí)行步驟S210和S220。

圖4是圖示了根據本發(fā)明示范實施例的在中央像素的軸上具有預定尺寸的塊的圖。

參考圖4，當存在增強初始左視差圖像D_L的像素p的視差值D_L(p)的需求時，將像素p設置為中央像素p，并且設置作為中心的中央像素p的軸上的具有預定尺寸的塊。該塊可以是諸如矩形和正方形的剛性結構和不對稱或可變形結構，并且不特別限制塊的形式。

此外，即使對于在增強左視差圖像D_L’中的相同位置處的像素p，設置作為中心的中央像素p的軸上的具有預定尺寸的塊。

如同參考圖2對于初始左視差圖像D_L和增強左視差圖像D_L’的每一個的每一塊內的像素q₁、q₂、……、q_n描述的，可使用成本累加函數(shù)來計算權重值。

圖5是圖示了根據本發(fā)明示范實施例的用于生成視差圖像的設備的圖，并且圖6是圖示了圖5中圖示的視差增強單元的圖。

參考圖5，用于生成視差圖像的設備100包括立體匹配單元110、邊緣保留濾波單元120、和視差增強單元130。

立體匹配單元110對立體圖像的左圖像和右圖像的每一個執(zhí)行立體匹配，以生成初始左視差圖像和初始右視差圖像。作為立體匹配，存在各種方案，諸如基于塊的匹配、基于像素的匹配、基于特征的匹配等。例如，基于 像素的匹配是在目標圖像中找出與參考圖像內的所有像素的每一個對應的對應點的操作。基于塊的匹配是用具有固定尺寸的塊劃分圖像、并在目標圖像中找出與每一塊對應的對應點的操作。

邊緣保留濾波單元120對立體匹配單元110生成的初始左視差圖像和初始右視差圖像分別執(zhí)行邊緣保留濾波，以生成增強左視差圖像和增強右視差圖像。作為邊緣保留濾波方案，可使用包括雙向濾波的各種方案。

視差增強單元130對初始左視差圖像和初始右視差圖像分別執(zhí)行使用初始左視差圖像和初始右視差圖像以及增強左視差圖像和增強右視差圖像的視差增強過程。視差增強單元130包括左右一致性檢查器131、左右一致性數(shù)值選擇器132、左右一致性可靠性計算器133、權重值計算器134、權重值選擇器135、和視差值確定器136。

左右一致性檢查器131如同以上等式7那樣計算來自初始左視差圖像和初始右視差圖像的對應點的兩個像素的視差值的左右一致性數(shù)值。此外，左右一致性檢查器131如同以上等式8那樣計算來自增強左視差圖像和增強右視差圖像的對應點的兩個像素的視差值的左右一致性數(shù)值。

左右一致性數(shù)值選擇器132如同以上等式9那樣選擇用于每一像素的初始視差圖像的視差值和增強視差圖像的視差值之間的具有高可靠性的左右一致性數(shù)值。

左右一致性可靠性計算器133使用通過以上等式9選擇的左和右一致性數(shù)值，通過以上等式10計算用于每一像素的左右一致性可靠性數(shù)值。

權重值計算器134計算要向對于每一像素計算的左右一致性可靠性數(shù)值加入的用于每一像素的權重值。權重值計算器134可計算相關性或相似度，可通過參考中央像素的像素值或視差值的軸上具有預定尺寸的塊內的相鄰像素，使用用于塊內的所有像素的成本累加函數(shù)，來計算權重值。

權重值計算器134向計算的權重值加入其每一個對于每一像素計算的左右一致性可靠性數(shù)值，以如同以上等式17那樣計算基于中央像素的塊內的每一像素的最終權重值。

權重值選擇器135按照尺寸順序對中央像素的軸上的塊內的每一像素的最終權重值進行分類，并選擇分類的最終權重值之中的最合適的最終權重值。

視差值確定器136將被選擇為最合適的最終權重值的像素的視差值確定 為中央像素的視差值，并將中央像素的視差值改變?yōu)檫x擇為最合適的權重值的像素的視差值，如同以上等式18那樣。

如上所述根據本發(fā)明示范實施例的用于生成視差圖像的方法和設備的至少一些功能可通過硬件或與硬件耦接的軟件實現(xiàn)。例如，實現(xiàn)為中央處理單元(CPU)、其他芯片集、微處理器等的處理器可執(zhí)行立體匹配單元110、邊緣保留濾波單元120、和視差增強單元130的功能。

根據本發(fā)明的示范實施例，可能在其中給定通過立體匹配所計算的視差圖像和通過邊緣保留平滑濾波所平滑的視差圖像的狀態(tài)下，通過使用這兩個視差圖像補充左右一致性，而更精確地生成視差圖像。

本發(fā)明的示范實施例不僅通過上述設備和/或方法實現(xiàn)，而且可通過實現(xiàn)與本發(fā)明示范實施例的配置對應的功能的程序或記錄有該程序的記錄介質來實現(xiàn)，其可由本發(fā)明所屬領域的技術人員根據前述示范實施例的描述容易地實現(xiàn)。

盡管已結合當前被看作實際示范實施例的內容描述了本發(fā)明，但是應理解的是，本發(fā)明不限于公開的實施例，而是相反，意欲覆蓋所附權利要求的精神和范圍內包括的各種修改和等效安排。