圖像處理裝置、圖像處理方法和程序的制作方法
【專利摘要】本發(fā)明的目的在于依賴于基于L和R圖像的估計(jì)視差的置信度生成多視角圖像作為三維圖像。輸入適用于三維圖像顯示的左視角圖像（L圖像）和右視角圖像（R圖像），基于左視角圖像（L圖像）和右視角圖像（R圖像）生成視差信息，以及計(jì)算生成的視差信息的置信度。例如，通過(guò)執(zhí)行不同類型的分析處理來(lái)計(jì)算不同的置信度，對(duì)計(jì)算的置信度應(yīng)用加權(quán)，以及計(jì)算最終置信度。然后根據(jù)計(jì)算的置信度改變用于虛擬視角圖像的生成條件。例如，當(dāng)置信度高時(shí)增加虛擬視角圖像中的視差距離，而當(dāng)置信度低時(shí)減小虛擬視角圖像中的視差距離。
【專利說(shuō)明】圖像處理裝置、圖像處理方法和程序
【技術(shù)領(lǐng)域】
[0001]本公開涉及一種圖像處理裝置、圖像處理方法以及程序。具體地，本公開涉及一種用于生成要應(yīng)用于三維(3D)圖像顯示的多視角圖像的圖像處理裝置、圖像處理方法以及程序。
【背景技術(shù)】
[0002]在三維(3D)圖像顯示處理中，利用其可以在不佩戴眼鏡的情況下感知立體圖像的裸眼3D顯示裝置已開始投入實(shí)際使用。裸眼3D顯示裝置例如在顯示表面上具有透鏡片或視差屏障(parallax barrier)，并根據(jù)觀看位置來(lái)控制左眼和右眼所看見的圖像。
[0003]換言之，執(zhí)行控制以使得左眼觀察作為以左視覺觀察的圖像的左視角圖像以及右眼觀察作為以右視覺觀察的圖像的右視角圖像。
[0004]然而，在以上方法中，僅可以在距離顯示器有限的觀看位置獲取到正確的立體視圖。因此，當(dāng)用戶的觀察位置是不同于規(guī)定位置的位置時(shí)，出現(xiàn)其中左眼看見用于右眼的圖像(右視角圖像)、而右眼看見用于左眼的圖像(左視角圖像)的反向觀看或者其中左視角圖像和右視角圖像相混合的串?dāng)_。
[0005]為了解決這些問題，已提出如下配置:其中，不僅生成并顯示對(duì)應(yīng)于一個(gè)常規(guī)觀察位置的標(biāo)準(zhǔn)的左視角圖像和右視角圖像，而且生成并顯示被設(shè)置成當(dāng)在其他觀察位置觀察時(shí)不引起串?dāng)_的從新視角看見的圖像。
[0006]不僅生成一對(duì)原始的左視角圖像和右視角圖像、而且還生成其他虛擬視角的圖像作為多視角圖像，從根根觀察位置的多視角圖像中將一對(duì)最佳左視角圖像和右視角圖像設(shè)置成根據(jù)觀察位置要被選擇的，從而執(zhí)行其中抑制反向觀看或串?dāng)_的圖像顯示。
[0007]換言之，通過(guò)使得根據(jù)用戶的觀察位置而變化的一對(duì)左視角圖像和右視角圖像能夠被觀察到，左視角圖像和右視角圖像被設(shè)置成即使當(dāng)改變用戶的觀察位置時(shí)也根據(jù)觀察位置而分別被觀察者的左眼和右眼觀察到。
[0008]具體地，基于輸入到顯示裝置或圖像處理裝置的兩個(gè)原始視角圖像(換言之，用于3D圖像顯示的左視角圖像(L圖像)和右視角圖像(R圖像)這兩個(gè)視角圖像)，生成具有除了兩個(gè)視角之外的虛擬視角的視角圖像。例如，生成包括原始L和R圖像的、具有十個(gè)不同視角的多視角圖像。
[0009]通過(guò)使得來(lái)自生成的針對(duì)用戶距顯示器的觀察位置的多視角圖像的兩個(gè)最佳圖像能夠被合成并被觀察到，可以在其中左視角圖像和右視角圖像混合的串?dāng)_被抑制時(shí)，在各個(gè)觀察位置顯示并觀察到3D圖像。
[0010]例如，專利文獻(xiàn)I (JP2006-115198A)公開了如下技術(shù):其中，輸入原始的左視角圖像(L圖像)和右視角圖像(R圖像)，根據(jù)兩個(gè)圖像執(zhí)行視差檢測(cè)，然后基于檢測(cè)到的視差信息生成多個(gè)虛擬視角圖像。具體地，公開了如下技術(shù):其中，根據(jù)輸入的左視角圖像(L圖像)和右視角圖像(R圖像)這兩個(gè)原始3D圖像檢測(cè)視差，然后基于串?dāng)_量或融合視差范圍來(lái)確定與輸入的L和R圖像不同的虛擬視角位置。[0011]然而，專利文獻(xiàn)I中描述的處理被配置成不考慮生成的虛擬視角圖像的質(zhì)量，以及參考左視角圖像和右視角圖像的中心來(lái)確定虛擬視角位置。因此，存在生成的虛擬視角圖像的質(zhì)量退化的可能性以及進(jìn)而使得顯示圖像不適合觀察的可能性。
[0012]虛擬視角位置與圖像質(zhì)量密切相關(guān)。
[0013]例如，如果假設(shè):
[0014]輸入的L圖像的視角位置為0.0 ;以及
[0015]輸入的R圖像的視角位置為1.0，
[0016]則在新生成的具有虛擬視角的圖像和圖像質(zhì)量之間的關(guān)系中存在以下特征。
[0017](特征I)在L圖像(0.0)和R圖像(1.0)之間的、0.0和1.0之間的虛擬視角位置中，在作為L(zhǎng)和R圖像的中心位置的0.5處的虛擬視角圖像具有與其他虛擬視角位置相比而言最低的圖像質(zhì)量。
[0018](特征2)在0.0或比L圖像還靠左的更低的、或者在1.0或比R圖像還靠右的更高的虛擬視角位置處，視頻質(zhì)量隨著視頻進(jìn)一步移動(dòng)遠(yuǎn)離L圖像或R圖像而降低。
[0019]虛擬視角位置和圖像質(zhì)量之間的這種關(guān)系可以歸因于例如視差檢測(cè)的精確度或圖像中所包括的遮擋區(qū)域的量等。
[0020]應(yīng)當(dāng)注意，由于原始輸入的左眼圖像可以原樣用在0.0的視角位置處且原始輸入的右眼圖像可以原樣用在1.0的視角圖像處，所以圖像質(zhì)量達(dá)到最大水平。
[0021]此外，專利文獻(xiàn)I (JP2006-115198A)提出了另一種技術(shù):其中，根據(jù)原始輸入的左視角圖像(L圖像)和右視角圖像(R圖像)的3D圖像檢測(cè)最大視差量，并確定虛擬視角位置以使得最大視差落在串?dāng)_量或融合視差范圍之內(nèi)。換言之，公開了其中根據(jù)輸入的L和R圖像的最大視差量來(lái)確定待生成的虛擬視角圖像的視角間隔的技術(shù)。
[0022]然而，當(dāng)根據(jù)原始的L和R圖像檢測(cè)最大視差時(shí)，不考慮具有最大視差的圖像區(qū)域的圖像和在注意該圖像區(qū)域時(shí)的舒適性。因此，例如，出現(xiàn)以下問題。
[0023].由于當(dāng)檢測(cè)最大視差時(shí)未考慮具有最大視差的圖像區(qū)域的面積，所以當(dāng)具有較小面積的對(duì)象具有最大視差時(shí)，存在根據(jù)幾乎不影響視覺的最大視差圖像區(qū)域的存在而不必要地縮窄虛擬視角間隔的可能性。
[0024].此外，由于當(dāng)檢測(cè)最大視差時(shí)未考慮在注意具有最大視差的圖像區(qū)域時(shí)的舒適性，所以當(dāng)視覺上未注意的圖像區(qū)域具有最大視差時(shí)，存在其中根據(jù)幾乎不影響視覺的圖像區(qū)域的最大視差信息而不必要地縮窄或加寬虛擬視角間隔的情況。
[0025]此外，專利文獻(xiàn)2 (JP2006-126965A)公開了如下配置:其中，利用原始輸入的左視角圖像(L圖像)和右視角圖像(R圖像)，在利用圖像進(jìn)行視差合成的期間來(lái)根據(jù)估計(jì)誤差執(zhí)行濾波處理。
[0026]然而，根據(jù)專利文獻(xiàn)2，當(dāng)?shù)贸龉烙?jì)誤差的方法根本不清楚且誤差估計(jì)方法的可靠性較差時(shí)，即使當(dāng)應(yīng)用濾波處理時(shí)也存在生成失敗的合成圖像的可能性。
[0027]引用列表
[0028]專利文獻(xiàn)
[0029]專利文獻(xiàn)I JP2OO6-1l5I98A
[0030]專利文獻(xiàn)2 JP2006-126965A
【發(fā)明內(nèi)容】

[0031]技術(shù)問題
[0032]期望提供一種能夠基于用于3D圖像的左視角圖像(L圖像)和右視角圖像(R圖像)來(lái)執(zhí)行生成具有高質(zhì)量的多視角圖像的處理的圖像處理裝置、圖像處理方法以及程序。
[0033]此外，本公開提供了 一種圖像處理裝置、圖像處理方法以及程序，其能夠通過(guò)在其中執(zhí)行基于3D圖像的左視角圖像(L圖像)和右視角圖像(R圖像)生成多視角圖像的處理的配置下，執(zhí)行例如視差估計(jì)處理和對(duì)估計(jì)處理的結(jié)果的可靠性的計(jì)算，然后在根據(jù)計(jì)算的可靠性執(zhí)行視差調(diào)節(jié)來(lái)生成具有高質(zhì)量的多視角圖像。
[0034]問題的解決方案
[0035]根據(jù)本公開的第一方面，提供了一種圖像處理裝置，該圖像處理裝置包括:左視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于左眼的圖像信號(hào)的左視角圖像(L圖像);右視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于右眼的圖像信號(hào)的右視角圖像(R圖像);視差估計(jì)單元，被配置為根據(jù)左視角圖像(L圖像)和右視角圖像(R圖像)生成視差信息；可靠性計(jì)算單元，被配置為計(jì)算視差估計(jì)單元生成的視差信息的可靠性；以及虛擬視角圖像生成單元，被配置為通過(guò)接收左視角圖像(L圖像)、右視角圖像(R圖像)、視差信息和可靠性的輸入來(lái)生成包括除了輸入的L圖像和R圖像的視角之外的視角圖像的虛擬視角圖像。虛擬視角圖像生成單元生成虛擬視角圖像，以使得待生成的虛擬視角圖像的視差間隔在可靠性高時(shí)被設(shè)置得寬以及在可靠性低時(shí)設(shè)置得窄。
[0036]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，可靠性計(jì)算單元可以通過(guò)多個(gè)不同的可靠性計(jì)算處理來(lái)計(jì)算多個(gè)可靠性信息，然后通過(guò)對(duì)多個(gè)計(jì)算的可靠性信息的加權(quán)相加來(lái)計(jì)算最終可靠性。
[0037]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，可靠性計(jì)算單元可以根據(jù)殘差分量的量來(lái)執(zhí)行可靠性計(jì)算，該殘差分量的量由輸入的圖像和根據(jù)視差估計(jì)單元所估計(jì)的視差信息而由視差補(bǔ)償生成的視差補(bǔ)償圖像之間的差的計(jì)算所獲得。
[0038]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，可靠性計(jì)算單元可以在根據(jù)殘差分量的可靠性計(jì)算處理中，根據(jù)左視角圖像(L圖像)或右視角圖像(R圖像)的以像素區(qū)域?yàn)閱挝坏目臻g活動(dòng)性而改變可靠性計(jì)算的方面。
[0039]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，可靠性計(jì)算單元可以在根據(jù)殘差分量的可靠性計(jì)算處理中，根據(jù)左視角圖像(L圖像)或右視角圖像(R圖像)的以像素區(qū)域?yàn)閱挝坏膭?dòng)態(tài)范圍而改變可靠性計(jì)算的方面。
[0040]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，可靠性計(jì)算單元可以根據(jù)視差估計(jì)單元所估計(jì)的視差信息的水平相鄰像素的視差之差來(lái)執(zhí)行可靠性計(jì)算。
[0041]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，可靠性計(jì)算單元可以根據(jù)視差估計(jì)單元所估計(jì)的視差信息的垂直相鄰像素的視差之差來(lái)執(zhí)行可靠性計(jì)算。
[0042]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，可靠性計(jì)算單元可以根據(jù)視差估計(jì)單元所估計(jì)的視差信息是否達(dá)到預(yù)設(shè)的上限值或下限值來(lái)執(zhí)行可靠性計(jì)算。
[0043]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，可靠性計(jì)算單元可以根據(jù)視差估計(jì)單元基于從左視角圖像(L圖像)輸入單元輸入的左視角圖像(L圖像)估計(jì)的視差信息和視差估計(jì)單元基于從右視角圖像(R圖像)輸入單元輸入的右視角圖像(R圖像)估計(jì)的視差信息的匹配來(lái)執(zhí)行可靠性計(jì)算。
[0044]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，虛擬視角圖像生成單元可以具有視差調(diào)節(jié)部和圖像合成部，視差調(diào)節(jié)部被配置為確定虛擬視角圖像的視差位置，以使得根據(jù)可靠性計(jì)算單元計(jì)算的可靠性、要生成的虛擬視角圖像的視差間隔在可靠性高時(shí)被設(shè)置得寬以及在可靠性低時(shí)被設(shè)置得窄，以及圖像合成部被配置為根據(jù)視差調(diào)節(jié)部所確定的視差位置生成虛擬視角圖像。
[0045]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，虛擬視角圖像生成單元可以具有其中存儲(chǔ)可靠性和最佳視差量的對(duì)應(yīng)信息的可靠性數(shù)據(jù)庫(kù)。視差調(diào)節(jié)部可以根據(jù)從可靠性計(jì)算單元輸入的可靠性，通過(guò)應(yīng)用存儲(chǔ)在可靠性數(shù)據(jù)庫(kù)中的可靠性和最佳視差量的對(duì)應(yīng)信息來(lái)獲取最佳視差量，然后根據(jù)所獲取的視差量來(lái)確定虛擬視角圖像位置。
[0046]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，對(duì)于下列兩個(gè)視差信息(a)和(b):
(a)視差估計(jì)單元所估計(jì)的視差信息；以及(b)被配置成作為對(duì)被配置為將視差信息表示為圖像的視差圖應(yīng)用低通濾波器(LPF)的結(jié)果的應(yīng)用LPF的視差信息，虛擬視角圖像生成單元還具有視差信息選擇部和圖像合成部，視差信息選擇部被配置為對(duì)具有高可靠性的像素選擇視差信息以及對(duì)具有低可靠性的像素選擇應(yīng)用LPF的視差信息，圖像合成部被配置為基于視差信息選擇部所選擇的視差信息來(lái)生成虛擬視角圖像。
[0047]此外，根據(jù)本公開的實(shí)施例的圖像處理裝置，對(duì)于下列兩個(gè)虛擬視角圖像(a)和
(b):(a)圖像合成部所生成的虛擬視角圖像；以及(b)被配置成作為對(duì)圖像合成部生成的虛擬視角圖像應(yīng)用LPF的結(jié)果的應(yīng)用低通濾波器(LPF)的虛擬視角圖像，虛擬視角圖像生成單元還具有虛擬視角圖像選擇部，虛擬視角圖像選擇部被配置為對(duì)于具有高可靠性的像素選擇虛擬視角圖像以及對(duì)于具有低可靠性的像素選擇應(yīng)用LPF的虛擬視角圖像。
[0048]此外，根據(jù)本公開的第二方面，提供了一種圖像處理裝置，包括:左視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)；右視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于右眼的圖像信號(hào)的右視角圖像(R圖像);第一視差估計(jì)單元，被配置為根據(jù)左視角圖像(L圖像)和右視角圖像(R圖像)生成視差信息；第一可靠性計(jì)算單元，被配置為計(jì)算第一視差估計(jì)單元生成的視差信息的第一可靠性；分辨率轉(zhuǎn)換單元，被配置為執(zhí)行對(duì)左視角圖像(L圖像)和右視角圖像(R圖像)的分辨率轉(zhuǎn)換；第二視差估計(jì)單元，被配置為基于從分辨率轉(zhuǎn)換單元輸出的具有低分辨率的左視角圖像(L圖像)和右視角圖像(R圖像)來(lái)執(zhí)行對(duì)視差信息的估計(jì)；第二可靠性計(jì)算單元，被配置為計(jì)算第二視差估計(jì)單元生成的第二視差信息的第二可靠性；分辨率逆轉(zhuǎn)換單元，被配置為執(zhí)行分辨率轉(zhuǎn)換的逆轉(zhuǎn)換；可靠性選擇單元，被配置為選擇并輸出通過(guò)將第一可靠性與第二可靠性進(jìn)行比較而獲得的較高的可靠性，來(lái)作為最終可靠性；以及虛擬視角圖像生成單元，被配置為通過(guò)接收左視角圖像(L圖像)、右視角圖像(R圖像)、視差信息和最終可靠性的輸入來(lái)生成包括除了輸入的L和R圖像的視角之外的視角圖像的虛擬視角圖像。虛擬視角圖像生成單元生成虛擬視角圖像，以使得要生成的虛擬視角圖像的視差間隔在最終可靠性高時(shí)被設(shè)置得寬以及在最終可靠性低時(shí)被設(shè)置得窄。
[0049]此外，根據(jù)本公開的第三方面，提供了一種在圖像處理裝置中執(zhí)行的圖像處理方法，包括:通過(guò)圖像輸入單元輸入要應(yīng)用于三維圖像顯示的、作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)和作為用于右眼的圖像信號(hào)的右視角圖像(R圖像)；通過(guò)視差估計(jì)單元根據(jù)左視角圖像(L圖像)和右視角圖像(R圖像)生成視差信息；通過(guò)可靠性計(jì)算單元計(jì)算視差估計(jì)單元生成的視差信息的可靠性；以及通過(guò)虛擬視角圖像生成單元通過(guò)接收左視角圖像(L圖像)、右視角圖像(R圖像)、視差信息和可靠性的輸入，來(lái)執(zhí)行用于生成包括除了輸入的L圖像和R圖像的視角之外的視角圖像的虛擬視角圖像的虛擬視角圖像生成處理。虛擬視角圖像生成單元生成虛擬視角圖像，以使得要生成的虛擬視角圖像的視差間隔在可靠性高時(shí)被設(shè)置得寬以及在可靠性低時(shí)被設(shè)置得窄。
[0050]此外，根據(jù)本公開的第四方面，提供了一種用于使圖像處理裝置執(zhí)行圖像處理的程序，圖像處理包括:通過(guò)圖像輸入單元輸入要應(yīng)用于三維圖像顯示的、作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)和作為用于右眼的圖像信號(hào)的右視角圖像(R圖像)；在視差估計(jì)單元中根據(jù)左視角圖像(L圖像)和右視角圖像(R圖像)生成視差信息；在可靠性計(jì)算單元中計(jì)算視差估計(jì)單元生成的視差信息的可靠性；以及在虛擬視角圖像生成單元中通過(guò)接收左視角圖像(L圖像)、右視角圖像(R圖像)、視差信息和可靠性的輸入來(lái)使虛擬視角圖像生成處理被執(zhí)行，虛擬視角圖像生成處理包括生成包括除了輸入的L圖像和R圖像的視角之外的視角圖像的虛擬視角圖像。使虛擬視角圖像生成單元執(zhí)行生成虛擬視角圖像的處理，以使得要生成的虛擬視角圖像的視差間隔在可靠性高時(shí)被設(shè)置得寬以及在可靠性低時(shí)被設(shè)置得窄。
[0051]注意，根據(jù)本公開的程序例如是可以設(shè)置于存儲(chǔ)介質(zhì)或通信介質(zhì)中的程序，該存儲(chǔ)介質(zhì)或通信介質(zhì)以計(jì)算機(jī)可讀形式提供用于能夠執(zhí)行各種類型的程序代碼的通用系統(tǒng)。以計(jì)算機(jī)可讀形式來(lái)提供這類程序，使得能夠?qū)崿F(xiàn)根據(jù)計(jì)算機(jī)系統(tǒng)中的程序的處理。
[0052]后面將通過(guò)基于本公開的實(shí)施例和附圖的更為詳細(xì)的說(shuō)明來(lái)使得本公開的目的、特征和優(yōu)點(diǎn)清楚。此外，該說(shuō)明書中的系統(tǒng)并不限于邏輯上聚集多個(gè)裝置、所有這些裝置都包含在相同外殼內(nèi)的配置。
[0053]發(fā)明的有利效果
[0054]根據(jù)本公開的實(shí)施例的配置，實(shí)現(xiàn)了其中基于L和R圖像、根據(jù)估計(jì)視差的可靠性來(lái)生成最佳多視角圖像作為三維圖像的配置。
[0055]具體地，輸入要應(yīng)用于三維(3D)圖像顯示的左視角圖像(L圖像)和右視角圖像(R圖像)，基于左視角圖像(L圖像)和右視角圖像(R圖像)生成視差信息，然后計(jì)算生成的視差信息的可靠性。例如，利用多個(gè)不同的分析處理來(lái)計(jì)算多個(gè)不同的可靠性，然后利用對(duì)多個(gè)計(jì)算的可靠性的加權(quán)相加來(lái)計(jì)算最終可靠性。虛擬視角圖像生成方面根據(jù)計(jì)算的可靠性而改變。例如，執(zhí)行當(dāng)可靠性高時(shí)將虛擬視角圖像的視差間隔設(shè)置為寬以及在可靠性低時(shí)將其設(shè)置為低的處理。
[0056]通過(guò)該處理，可以根據(jù)估計(jì)視差的可靠性生成最佳多視角圖像。
【專利附圖】

【附圖說(shuō)明】
[0057]圖1是用于描述圖像處理裝置的配置示例的圖。
[0058]圖2是用于描述視差估計(jì)單元的處理示例的圖。
[0059]圖3是用于描述虛擬視角圖像生成處理的示例的圖。
[0060]圖4是用于描述虛擬視角圖像生成處理的示例的圖。
[0061]圖5是用于描述虛擬視角圖像生成處理的示例的圖。[0062]圖6是用于描述可靠性計(jì)算單元的具體示例的圖。
[0063]圖7是用于描述第一可靠性計(jì)算部所執(zhí)行的處理的圖。
[0064]圖8是用于描述第一可靠性計(jì)算部所執(zhí)行的處理的圖。
[0065]圖9是用于描述第一可靠性計(jì)算部所執(zhí)行的處理的圖。
[0066]圖10是用于描述第一可靠性計(jì)算部所執(zhí)行的處理的圖。
[0067]圖11是用于描述第一可靠性計(jì)算部所執(zhí)行的處理的圖。
[0068]圖12是用于描述第一可靠性計(jì)算部所執(zhí)行的處理的圖。
[0069]圖13是用于描述第一可靠性計(jì)算部所執(zhí)行的處理的圖。
[0070]圖14是用于描述第二可靠性計(jì)算部所執(zhí)行的處理的圖。
[0071]圖15是用于描述第二可靠性計(jì)算部所執(zhí)行的處理的圖。
[0072]圖16是用于描述第二可靠性計(jì)算部所執(zhí)行的處理的圖。
[0073]圖17是用于描述第三可靠性計(jì)算部所執(zhí)行的處理的圖。
[0074]圖18是用于描述第三可靠性計(jì)算部所執(zhí)行的處理的圖。
[0075]圖19是用于描述第三可靠性計(jì)算部所執(zhí)行的處理的圖。
[0076]圖20是用于描述第四可靠性計(jì)算部所執(zhí)行的處理的圖。
[0077]圖21是用于描述第五可靠性計(jì)算部所執(zhí)行的處理的圖。
[0078]圖22是用于描述虛擬視角圖像生成單元所執(zhí)行的具體處理的示例的圖。
[0079]圖23是用于描述虛擬視角圖像生成單元所執(zhí)行的具體處理的示例的圖。
[0080]圖24是用于描述虛擬視角圖像生成單元所執(zhí)行的具體處理的示例的圖。
[0081]圖25是用于描述虛擬視角圖像生成單元所執(zhí)行的具體處理的示例的圖。
[0082]圖26是用于描述虛擬視角圖像生成單元所執(zhí)行的具體處理的示例的圖。
[0083]圖27是用于描述虛擬視角圖像生成單元所執(zhí)行的具體處理的示例的圖。
[0084]圖28是用于描述另一個(gè)圖像處理裝置的配置示例的圖。
【具體實(shí)施方式】
[0085]下文中，將參照附圖描述根據(jù)本公開的圖像處理裝置、圖像處理方法以及程序的細(xì)節(jié)。將按照以下順序提供描述。
[0086]1.關(guān)于圖像處理裝置的整體配置和處理的概述
[0087]2.關(guān)于視差估計(jì)單元的處理
[0088]3.關(guān)于由虛擬視角圖像生成單元基于輸入的L和R圖像執(zhí)行的生成虛擬視角圖像的基本處理
[0089]4.關(guān)于可靠性計(jì)算單元的處理
[0090]4-1.關(guān)于第一可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理
[0091]4-1-1.基于殘差分量的可靠性(RO)計(jì)算處理示例I
[0092]4-1-2.基于殘差分量的可靠性(RO)計(jì)算處理示例2
[0093]4-2.關(guān)于第二可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理
[0094]4-3.關(guān)于第三可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理
[0095]4-4.關(guān)于第四可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理
[0096]4-5.關(guān)于第五可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理[0097]4-6.關(guān)于可靠性計(jì)算單元所執(zhí)行的最終可靠性計(jì)算處理
[0098]5.關(guān)于虛擬視角圖像生成單元的處理
[0099]5-1.根據(jù)從可靠性計(jì)算單元輸入的可靠性信息來(lái)確定虛擬視角位置的配置示例
[0100]5-2.根據(jù)關(guān)于可靠性和最佳視差量之間的對(duì)應(yīng)關(guān)系的信息和從可靠性計(jì)算單元輸入的可靠性信息來(lái)確定虛擬視角位置的配置示例
[0101]5-3.關(guān)于其中包括應(yīng)用LPF的視差信息轉(zhuǎn)換以及轉(zhuǎn)換虛擬視角圖像的處理的示例
[0102]6.關(guān)于其中執(zhí)行分辨率轉(zhuǎn)換、以及利用對(duì)分辨率轉(zhuǎn)換后的圖像的應(yīng)用來(lái)執(zhí)行視差估計(jì)的示例
[0103]7.本公開的配置的總結(jié)
[0104][1.關(guān)于圖像處理裝置的整體配置和處理的概述]
[0105]首先，將參照?qǐng)D1來(lái)描述圖像處理裝置的整體配置和處理的概述。然后，將描述構(gòu)成單元所執(zhí)行的處理的細(xì)節(jié)。
[0106]如圖1所示，圖像處理裝置100具有左視角圖像(L圖像)輸入單元101、右視角圖像(R圖像)輸入單元102、視差估計(jì)單元103、可靠性計(jì)算單元104、虛擬視角圖像生成單元105和顯示控制單元106，以及將生成的圖像從圖像處理裝置100輸出到顯示單元110。
[0107]應(yīng)當(dāng)注意，在圖1所示的配置中，將顯示單元110圖示為圖像處理裝置100的外部構(gòu)成元件，然而，圖像處理裝置100可以被配置成其中具有顯示單元110。
[0108]應(yīng)當(dāng)注意，圖1示出了圖像處理裝置的主要配置，并且除了圖中所示的配置之外，圖像處理裝置100還具有具備程序執(zhí)行功能的控制單元比如執(zhí)行數(shù)據(jù)處理控制的CPU、存儲(chǔ)由控制單元所執(zhí)行的程序和各種參數(shù)的存儲(chǔ)單元、以及輸入這樣的參數(shù)和圖像數(shù)據(jù)等的輸入單元。
[0109]控制單元根據(jù)預(yù)先存儲(chǔ)在存儲(chǔ)單元中的程序來(lái)執(zhí)行例如下面將描述的處理。
[0110]左視角圖像(L圖像)輸入單元101和右視角圖像(R圖像)輸入單元102輸入預(yù)先生成的左視角圖像(L圖像)和右視角圖像(R圖像)以用于三維(3D)圖像顯示。
[0111]左視角圖像(L圖像)對(duì)應(yīng)于左眼觀察到的圖像，而右視角圖像(R圖像)對(duì)應(yīng)于右眼觀察到的圖像。
[0112]然而，這兩幅圖像包括兩個(gè)標(biāo)準(zhǔn)的L和R圖像。換言之，在其顯示面上裝備有例如透鏡片或視差屏障(parallax barrier)的裸眼3D顯示裝置中，這些圖像是當(dāng)從規(guī)定位置(例如，前方中心位置)觀察顯示器時(shí)被觀察為正確的3D圖像的L和R圖像。
[0113]當(dāng)用戶的觀察位置是不同于規(guī)定位置的位置時(shí)，出現(xiàn)其中左眼看到用于右眼的圖像(右視角圖像)、而右眼看到用于左眼的圖像(左視角圖像)的反向觀看或者出現(xiàn)其中左視角圖像和右視角圖像混合的串?dāng)_。
[0114]為了解決這些問題，圖像處理裝置100基于對(duì)應(yīng)于一個(gè)常規(guī)觀察位置的輸入的L和R圖像，換言之，標(biāo)準(zhǔn)的左視角圖像(L圖像)和右視角圖像(R圖像)，生成當(dāng)從各個(gè)觀察位置觀察時(shí)不引起串?dāng)_的具有新視角(虛擬視角)的圖像。
[0115]視差估計(jì)單元103輸入左視角圖像(L圖像)和右視角圖像(R圖像)，從而基于這些圖像生成視差息。
[0116]視差信息是與輸入的L和R圖像中所包括的相同主體的圖像之間的偏差(沿右-左方向上的像素偏差)以及到該主體的距離相對(duì)應(yīng)的信息。具體地，例如，生成具有以像素為單位或者以像素區(qū)域?yàn)閱挝坏囊暡钚畔?主體距離信息)的數(shù)據(jù)。
[0117]可靠性計(jì)算單元104計(jì)算由視差估計(jì)單元103基于輸入的L和R圖像估計(jì)的、以像素為單位或者以像素區(qū)域?yàn)閱挝坏囊暡钚畔⒌目煽啃浴?br> [0118]虛擬視角圖像生成單元105通過(guò)接收包括下列項(xiàng)的信息的輸入來(lái)生成虛擬視角圖像:
[0119]來(lái)自左視角圖像(L圖像)輸入單元101的L圖像；
[0120]來(lái)自右視角圖像(R圖像)輸入單元102的R圖像；
[0121]來(lái)自視差估計(jì)單元103的視差信息；以及
[0122]來(lái)自可靠性計(jì)算單元104的可靠性信息。
[0123]虛擬視角圖像生成單元105根據(jù)從可靠性計(jì)算單元104輸入的可靠性信息來(lái)執(zhí)行確定虛擬視角位置等的處理，從而生成對(duì)應(yīng)于確定的虛擬視角位置的虛擬視角圖像。
[0124]虛擬視角圖像生成單元105參考從可靠性計(jì)算單元104輸入的可靠性信息來(lái)執(zhí)行生成虛擬視角圖像的處理。換言之，除了輸入的L和R圖像這兩幅視角圖像之外，進(jìn)一步生成并輸出具有總共N個(gè)視角的圖像，其包括具有除了這兩個(gè)視角之外的視角的圖像。虛擬視角圖像生成單元105通過(guò)例如當(dāng)可靠性計(jì)算單元104所計(jì)算的可靠性高時(shí)將生成的虛擬視角圖像的視差間隔設(shè)置得寬、而當(dāng)可靠性低時(shí)將其設(shè)置得窄來(lái)生成虛擬視角圖像。后面將描述處理的細(xì)節(jié)。
[0125]經(jīng)由顯示控制單元106將虛擬視角圖像生成單元105所生成的虛擬視角圖像輸出并顯示在顯示單元110上。
[0126]本公開的圖像處理裝置所生成的顯示圖像是用于裸眼3D顯示裝置的顯示圖像，用戶可以通過(guò)裸眼3D顯示裝置在不佩戴眼鏡的情況下觀看立體圖像。
[0127]顯示單元110是執(zhí)行裸眼3D顯示的顯示單元，并且是在其顯示面上具有例如透鏡片或視差屏障的且可以根據(jù)觀看位置來(lái)控制左眼和右眼所看到的圖像的顯示單元。
[0128]顯示控制單元106將由虛擬視角圖像生成單元105生成的具有N個(gè)視角的圖像輸出到顯示單元110。
[0129]應(yīng)當(dāng)注意，顯示控制單元106根據(jù)顯示單元110的顯示配置生成顯示信息。
[0130]應(yīng)當(dāng)注意，也可以將圖像處理裝置100配置為例如成像裝置比如攝像裝置、PC (個(gè)人電腦)或者顯示裝置比如具有成像單元的電視機(jī)，以及設(shè)置圖像處理裝置100以將其配置成當(dāng)圖像處理裝置被配置為以上裝置之一時(shí)具有根據(jù)每個(gè)裝置的功能。
[0131]例如，將攝像裝置配置成具有從不同視角拍攝L和R圖像來(lái)作為圖像的成像單元，并利用從成像單元輸入的L和R圖像來(lái)生成多視角圖像。
[0132][2.關(guān)于視差估計(jì)單元的處理]
[0133]接下來(lái)，將描述視差估計(jì)單元103的處理。
[0134]視差估計(jì)單元103接收左視角圖像(L圖像)和右視角圖像(R圖像)的輸入，然后基于這些圖像來(lái)生成視差信息。
[0135]視差信息是與標(biāo)準(zhǔn)的L和R圖像中所包括的相同主體的圖像之間的偏差(沿右-左方向上的像素偏差)以及到該主體的距離相對(duì)應(yīng)的信息。具體地，例如，生成具有以像素為單位的視差信息(主體距離信息)的數(shù)據(jù)。[0136]利用例如如下的現(xiàn)有方法來(lái)執(zhí)行對(duì)視差信息的獲取。
[0137](a)基于塊匹配的視差信息獲取處理
[0138](b)基于DP (Dynamic Programming,動(dòng)態(tài)規(guī)劃)匹配的視差信息獲取處理
[0139](c )基于分割的視差信息獲取處理
[0140](d)基于學(xué)習(xí)的視差信息獲取處理
[0141](e)基于以上方法的結(jié)合的視差信息獲取處理
[0142]視差信息例如是用以上描述的(a)至(e)中的任何方法獲取的。
[0143]將參照?qǐng)D2來(lái)簡(jiǎn)要描述基于塊匹配的視差信息獲取處理。
[0144]如圖2所示，輸入的原始標(biāo)準(zhǔn)圖像是:
[0145](a)左視角圖像(L圖像)；以及
[0146](b)右視角圖像(R圖像)，
[0147]以及，例如，利用輸入的L和R圖像選擇L圖像的像素區(qū)域(塊)121，并在R圖像中檢測(cè)到類似于所選塊的塊。換言之，從L和R圖像選擇被確定為相同主體的所拍攝區(qū)域的塊(匹配塊)。此外，測(cè)量L和R圖像的匹配塊之間的位置偏差(在水平方向上的像素?cái)?shù)等)。
[0148]在圖2中，例如，L圖像的像素區(qū)域(塊)121的關(guān)注像素LP= (5，3)在R圖像中的對(duì)應(yīng)像素是RP= (7，3)。
[0149]在這種情況下，L圖像的像素位置(X，y) = (5, 3)在L和R圖像之間的視差d (5，3)是按照如下計(jì)算的。
[0150]視差d (5，3) = (7，3) - (5，3) = (2，O)
[0151]換言之，L圖像的像素位置(X，y) = (5, 3)的視差d為兩個(gè)像素[像素]。
[0152]塊的位置偏差根據(jù)到塊中所拍攝的主體的距離而改變。
[0153]換言之,塊的位置偏差對(duì)應(yīng)于主體距離，并且獲取關(guān)于位置偏差的信息作為視差信息。
[0154]應(yīng)當(dāng)注意，作為視差信息的表達(dá)形式，例如有深度圖(距離圖像或視差圖)。深度圖(視差圖)例如是其中用以像素為單位的亮度來(lái)表示L圖像和R圖像的以像素為單位的視差(主體距離)的圖像，以及例如高亮度區(qū)域指示近的主體(接近攝像裝置)、而低亮度區(qū)域指示遠(yuǎn)的主體(距攝像裝置遠(yuǎn))。換言之，深度圖是其中用亮度來(lái)表示主體距離的圖像。
[0155][3.關(guān)于由虛擬視角圖像生成單元基于輸入的L和R圖像執(zhí)行的生成虛擬視角圖像的基本處理]
[0156]接下來(lái)，將描述虛擬視角圖像生成單元105執(zhí)行的基于輸入的L和R圖像生成虛擬視角圖像的基本處理。
[0157]虛擬視角圖像生成單元105通過(guò)接收包括下列項(xiàng)的信息的輸入來(lái)生成虛擬視角圖像:
[0158]來(lái)自左視角圖像(L圖像)輸入單元101的L圖像；
[0159]來(lái)自右視角圖像(R圖像)輸入單元102的R圖像；
[0160]來(lái)自視差估計(jì)單元103的視差信息；以及
[0161]來(lái)自可靠性計(jì)算單元104的可靠性信息。
[0162]例如，確定虛擬視角的預(yù)設(shè)數(shù)量(例如，十個(gè))，并生成與虛擬視角中的每一個(gè)相對(duì)應(yīng)的虛擬視角圖像。虛擬視角圖像是利用輸入的標(biāo)準(zhǔn)L和R圖像而生成的。換言之，虛擬視角圖像是利用作為輸入圖像的左視角圖像(L圖像)和右視角圖像(R圖像)而生成的。
[0163]將參照?qǐng)D3及后續(xù)附圖來(lái)描述生成虛擬視角圖像的具體處理示例。
[0164]圖3示出了輸入到圖像處理裝置的原始的左視角圖像(L圖像)131和右視角圖像(R圖像)132以及基于L和R圖像的虛擬視角圖像133。
[0165]左視角圖像(L圖像)131是在從標(biāo)準(zhǔn)位置的左眼視角位置觀察到的圖像，而右視角圖像(R圖像)132是在從標(biāo)準(zhǔn)位置的右眼視角位置觀察到的圖像。
[0166]假設(shè)左視角圖像(L圖像)131的視角位置為0.0，而右視角圖像(R圖像)的視角位置為1.0。
[0167]圖3示出了當(dāng)例如生成從0.0和1.0的視角位置之間的0.3的視角位置的觀察圖像作為虛擬視角圖像133時(shí)的處理示例。
[0168]在左視角圖像(L圖像)131和右視角圖像(R圖像)132中的每一個(gè)的不同位置拍攝相同主體(蘋果)。由于L圖像和R圖像具有不同的視角位置，所以相同主體的位置在這些圖像中是不同的。
[0169]當(dāng)生成具有在0.0的視角位置和1.0的視角位置之間的0.3的視角位置的虛擬視角圖像103時(shí)，利用線性插值設(shè)置主體(蘋果)的位置。通過(guò)沿著圖3所示的直線LI改變主體的位置，確定根據(jù)每個(gè)虛擬視角的虛擬視角圖像中的主體的位置，然后可以生成虛擬視角圖像。
[0170]如上所述，基于輸入的L和R圖像、通過(guò)線性插值處理來(lái)生成每個(gè)虛擬視角位置的虛擬視角圖像。
[0171]應(yīng)當(dāng)注意，當(dāng)要生成虛擬視角圖像時(shí)，可以利用輸入的L和R圖像這兩幅圖像，通過(guò)混合(blending)處理來(lái)生成虛擬視角圖像。
[0172]可選地，可以通過(guò)根據(jù)虛擬視角位置使主體位置偏離的處理，僅利用一個(gè)圖像比如僅利用L圖像或僅利用R圖像來(lái)生成虛擬視角圖像。
[0173]可選地，可以執(zhí)行在接近于L圖像的虛擬視角位置處僅利用L圖像生成虛擬視角圖像以及在接近于R圖像的位置處僅利用R圖像生成虛擬視角圖像的處理。
[0174]將參照?qǐng)D4來(lái)描述基于混合輸入的L和R圖像的處理來(lái)確定虛擬視角圖像131的像素值的處理示例。
[0175]圖4示出了:
[0176]作為視角位置O的輸入的左視角圖像(L圖像)的像素P(x，y)141 ；
[0177]作為視角位置I的輸入的右視角圖像(R圖像)中的、L圖像的像素P的對(duì)應(yīng)像素142 ;以及
[0178]作為視角位置Φ的虛擬視角圖像中的、L圖像的像素P的對(duì)應(yīng)像素143。
[0179]應(yīng)當(dāng)注意，Φ=0至I。
[0180]當(dāng)輸入的左視角圖像(L圖像)的像素P(x，y)141的視差為d(x，y)[像素]時(shí)，假設(shè)在虛擬視角圖像中，L圖像的像素P(x，y)的對(duì)應(yīng)像素143的像素位置為像素QU+Φ.d(x，y)，y)。
[0181]換言之，將虛擬視角圖像中的像素QU+Φ * d(x, y),y)的像素值設(shè)置為左視角圖像(L圖像)的像素P(x，y)141的的像素值。
[0182]如上所述，基于左視角圖像(L圖像)的像素的視差信息來(lái)設(shè)置虛擬視角圖像的每個(gè)像素的像素值。
[0183]應(yīng)當(dāng)注意，利用應(yīng)用右視角圖像(R圖像)的處理、使用鄰近像素的像素值的插值處理、或者被用相同坐標(biāo)下的左視角圖像的像素進(jìn)行插值的處理等，來(lái)確定在處理中未包括在虛擬視角圖像中的像素的像素值。
[0184]圖5示出了:
[0185]左視角圖像(L圖像)的水平線151 ;
[0186]右視角圖像(R圖像)的水平線152 ;以及
[0187]虛擬視角圖像的水平線153。
[0188]圖中所示的箭頭是可以被應(yīng)用以確定虛擬視角圖像的水平線153的像素值的、連接左視角圖像(L圖像)中的像素位置和右視角圖像(R圖像)中的像素位置的線。
[0189]在圖5所示的虛擬視角圖像的水平線153中:
[0190]I指示用基于左視角圖像(L圖像)的水平線151的構(gòu)成像素值的像素值設(shè)置的區(qū)域；
[0191]2指示用基于右視角圖像(R圖像)的水平線153的構(gòu)成像素值的像素值設(shè)置的區(qū)域；以及
[0192]3指示其他區(qū)域。
[0193]如上所述，通過(guò)例如以下三個(gè)處理來(lái)執(zhí)行對(duì)虛擬視角圖像的像素值的設(shè)置。
[0194]1.對(duì)于左視角圖像(L圖像)的每個(gè)像素獲得與輸出視角位置對(duì)應(yīng)的像素位置，并用左視角圖像(L圖像)的像素值對(duì)這些像素位置進(jìn)行插值。
[0195]2.對(duì)于右視角圖像(R圖像)的每個(gè)像素獲得與輸出視角位置對(duì)應(yīng)的像素位置，并用右視角圖像(R圖像)的像素值對(duì)這些像素位置進(jìn)行插值。
[0196]3.輸出視角圖像的未在以上描述的處理I和2中的任一個(gè)中被插值的像素進(jìn)行基于相鄰像素的插值處理。
[0197]應(yīng)當(dāng)注意，參照?qǐng)D4和5描述的處理是用于基于輸入的L和R圖像生成從與L和R圖像不同的虛擬視角的圖像的基本處理。
[0198]根據(jù)本公開的圖像處理裝置的虛擬視角圖像生成單元105是基于該基本處理的，并且通過(guò)進(jìn)一步應(yīng)用從可靠性計(jì)算單元104輸入的可靠性信息，然后確定基于可靠性信息生成的虛擬視角位置等來(lái)生成最終的虛擬視角圖像。
[0199]后面將詳細(xì)描述該處理。
[0200][4.關(guān)于可靠性計(jì)算單元的處理]
[0201]接下來(lái)，將描述可靠性計(jì)算單元104所執(zhí)行的處理。
[0202]可靠性計(jì)算單元104計(jì)算由視差估計(jì)單元103基于輸入的L和R圖像估計(jì)的、以像素為單位或以像素區(qū)域?yàn)閱挝坏囊暡钚畔⒌目煽啃浴?br> [0203]如圖6所示，可靠性計(jì)算單元104接收以下輸入:
[0204]來(lái)自左視角圖像(L圖像)輸入單元101的左視角圖像(L圖像)；
[0205]來(lái)自右視角圖像(R圖像)輸入單元102的右視角圖像(R圖像)；以及
[0206]來(lái)自視差估計(jì)單元103的估計(jì)視差信息。
[0207]可靠性計(jì)算單元104基于第一至第五可靠性計(jì)算部171至175中的輸入信息、通過(guò)多個(gè)不同處理計(jì)算多個(gè)可靠性(R0至R4)，通過(guò)在算術(shù)運(yùn)算部181中應(yīng)用該多個(gè)可靠性(RO至R4)計(jì)算估計(jì)視差信息的最終可靠性信息，然后將可靠性信息輸出到虛擬視角圖像生成單元105。
[0208]算術(shù)運(yùn)算部181利用其中將預(yù)設(shè)的權(quán)重系數(shù)α O、α 1、α 2、α 3和α 4應(yīng)用于在第一至第五可靠性計(jì)算部171至175中所計(jì)算的可靠性R0、R1、R2、R3和R4的以下表達(dá)式來(lái)計(jì)算加權(quán)和(R)，并將所計(jì)算的值輸出到虛擬視角圖像生成單元105作為最終可靠性信息。
[0209]R= α 0.RO+ α I.Rl+ α 2.R2+ α 3.R3+ α 4.R4
[0210]應(yīng)當(dāng)注意，雖然圖6示出了第一至第五可靠性計(jì)算部171至175這五種可靠性計(jì)算部，但是利用這些可靠性計(jì)算部中的一個(gè)或更多個(gè)、而非全部五個(gè)部分的配置也是可以的。可選地，還可以具有其中應(yīng)用其他可靠性的配置。
[0211]下文中，將詳細(xì)描述圖6所示的第一至第五可靠性計(jì)算部171至175所執(zhí)行的可
靠性計(jì)算處理。
[0212](4-1.關(guān)于第一可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理)
[0213]第一可靠性計(jì)算部171基于視差補(bǔ)償?shù)臍埐罘至縼?lái)計(jì)算可靠性(R0)。
[0214]換言之，通過(guò)應(yīng)用從視差估計(jì)單元103輸入的以像素為單位的估計(jì)視差信息生成視差補(bǔ)償圖像，以及基于包括在視差補(bǔ)償圖像中的像素值來(lái)確定視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性。
[0215]將描述與基于視差補(bǔ)償?shù)臍埐罘至康目煽啃?RO)計(jì)算處理示例有關(guān)的多個(gè)處理示例。
[0216](4-1-1.基于殘差分量的可靠性(RO)計(jì)算處理示例I)
[0217]圖7是用于描述第一可靠性計(jì)算部171所執(zhí)行的基于殘差分量的可靠性(RO)計(jì)算處理示例I的圖。
[0218]第一可靠性計(jì)算部171首先將從視差估計(jì)單元103輸入的以像素為單位的估計(jì)視差信息202應(yīng)用到從左視角圖像(L圖像)輸入單元101輸入的L圖像201，以生成視差補(bǔ)償圖像203。
[0219]估計(jì)視差信息202例如也稱作視差圖，并且是其中用亮度來(lái)表示視差估計(jì)單元103所生成的視差信息的圖像數(shù)據(jù)。視差圖是其中用亮度以像素為單位來(lái)表示視差(主體距離)的圖像，以及例如高亮度區(qū)域指示近的主體(接近于攝像裝置)、而低亮度區(qū)域指示遠(yuǎn)的主體(距攝像裝置遠(yuǎn))。換言之，視差圖是其中用亮度來(lái)表示主體距離的圖像。
[0220]視差補(bǔ)償圖像203是通過(guò)將從視差估計(jì)單元103輸入的以像素為單位的估計(jì)視差信息202施加到L圖像201上而生成的虛擬視角圖像。然而，其虛擬視角是與從右視角圖像(R圖像)輸入單元102輸入的R圖像的視角位置(相位I)對(duì)應(yīng)的視角位置。
[0221]如果視差估計(jì)單元103所生成的以像素為單位的估計(jì)視差信息202正確，則通過(guò)應(yīng)用估計(jì)視差信息202而生成的視差補(bǔ)償圖像203與從右視角圖像(R圖像)輸入單元102輸入的R圖像相一致。
[0222]然而，實(shí)際上，視差估計(jì)單元103所生成的估計(jì)視差信息202包括估計(jì)誤差等，從而在基于L圖像201生成的視差補(bǔ)償圖像203與從右視角圖像(R圖像)輸入單元102輸入的輸入R圖像204之間存在差別。
[0223]生成通過(guò)計(jì)算以視差補(bǔ)償圖像203和輸入R圖像204之間的對(duì)應(yīng)像素為單位的像素值之間的差而獲得的圖，即，殘差圖205。圖中示出的殘差圖205是其中以視差補(bǔ)償圖像203和輸入R圖像204之間的對(duì)應(yīng)像素為單位的像素值之間的差通過(guò)灰度信息表達(dá)的圖。例如，在較暗的部分中差較大。
[0224]基于殘差圖205，將作為以像素為單位的差的殘差與預(yù)設(shè)的閾值(Th)相比較，并對(duì)具有比閾值(Th)大的殘差的像素?cái)?shù)進(jìn)行計(jì)數(shù)。通過(guò)將所計(jì)數(shù)的值設(shè)置為N，根據(jù)值N來(lái)確定視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R0。
[0225]換言之，當(dāng)具有比閾值(Th)大的殘差的像素?cái)?shù)N大時(shí)，視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO低。
[0226]另一方面，當(dāng)具有比閾值(Th)大的殘差的像素?cái)?shù)N小時(shí)，將視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO確定為高。
[0227]具體地，將具有比閾值(Th)大的殘差的像素?cái)?shù)N和視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO之間的對(duì)應(yīng)關(guān)系定義為例如如圖8所示的對(duì)應(yīng)關(guān)系。
[0228]換言之，第一可靠性計(jì)算部171如下根據(jù)具有比閾值(Th)大的殘差的像素?cái)?shù)N的值，來(lái)計(jì)算視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO的值。
[0229]O ≤ N ≤ Mmin:可靠性 RO=ROmax
[0230]Nmin ^ N ^ Nmax:可靠性 RO=ROmax ~ROmin
[0231]Nmax ≤ N:可靠性 RO=ROmin
[0232]應(yīng)當(dāng)注意,對(duì)于Nmin、Nmax、ROmin和ROmax的值,使用預(yù)先設(shè)置的值。
[0233]此外,在Nmin ^ N ^ Nmax的范圍中，可靠性RO在ROmax和ROmin之間作直線變化。
[0234]應(yīng)當(dāng)注意，盡管在以上處理示例中已經(jīng)描述了其中基于L圖像生成具有L圖像作為參考的視差補(bǔ)償圖像的處理示例，但是在上述處理中也可以執(zhí)行用R圖像來(lái)替代L圖像的處理。換言之，可以將處理配置成通過(guò)基于R圖像生成具有R圖像作為參考的視差補(bǔ)償圖像來(lái)執(zhí)行。
[0235]應(yīng)當(dāng)注意，盡管所有以下處理示例將被描述為以L圖像作為參考來(lái)執(zhí)行，但是也可以將處理配置成通過(guò)切換L和R圖像來(lái)執(zhí)行。
[0236](4-1-2.基于殘差分量的可靠性(RO)計(jì)算處理示例2)
[0237]接下來(lái)，將參照?qǐng)D9和10來(lái)描述第一可靠性計(jì)算部171所執(zhí)行的基于殘差分量的可靠性(RO)計(jì)算處理示例2。
[0238]在該處理示例2中，通過(guò)將從視差估計(jì)單元103輸入的以像素為單位的估計(jì)視差信息應(yīng)用于作為輸入圖像的L圖像上，獲得針對(duì)其移動(dòng)了與視差對(duì)應(yīng)的距離的輸入R圖像的像素位置作為對(duì)應(yīng)像素位置。
[0239]計(jì)算在上述處理中獲得的R圖像的對(duì)應(yīng)像素位置的像素值和L圖像的像素的差作為殘差D。
[0240]基于所有圖像的殘差D的相加值，確定視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性。
[0241]圖9是用于描述第一可靠性計(jì)算部171所執(zhí)行的基于殘差分量的可靠性(RO)計(jì)算處理示例2的圖。
[0242]第一可靠性計(jì)算部171首先基于視差估計(jì)單元103所生成的估計(jì)視差信息212來(lái)獲取與從左視角圖像(L圖像)輸入單元101輸入的L圖像211的每個(gè)像素對(duì)應(yīng)的視差信息。[0243]這里，假設(shè)視差僅存在于水平方向(X方向)上。
[0244]將L圖像211的像素(X，y)的視差設(shè)置為例如d(x)。將d(x)表示為與視差對(duì)應(yīng)的像素?cái)?shù)，例如，兩個(gè)像素(2pixels)等。
[0245]第一可靠性計(jì)算部171基于L圖像211的像素(x，y)的視差d (X)，來(lái)確定從右視角圖像(R圖像)輸入單元102輸入的R圖像213的對(duì)應(yīng)像素位置。換言之，將與來(lái)自R圖像213的、與L圖像211的像素(X，y)相同的像素位置(x，y)的視差d(x)對(duì)應(yīng)的距離以及在水平方向上移動(dòng)之后的位置設(shè)置為對(duì)應(yīng)像素位置。
[0246]如果視差估計(jì)單兀103的估計(jì)視差彳目息具有正確值，則R圖像213中的對(duì)應(yīng)像素位置的像素值具有與L圖像211的像素(X，y)相同的像素值。
[0247]然而，如果視差估計(jì)單元103的估計(jì)視差信息具有不正確值，則R圖像213中的對(duì)應(yīng)像素位置的像素值非?？赡芫哂信cL圖像211的像素(X，y)不同的像素值。
[0248]計(jì)算L圖像211和R圖像213的對(duì)應(yīng)像素的像素值的差，作為殘差分量⑶。例如，生成其中用灰度信息表示整個(gè)圖像的殘差分量的殘差圖214。
[0249]圖中所示的殘差圖214是其中用灰度信息表示L圖像211和R圖像213的對(duì)應(yīng)像素的像素值的差(殘差)的圖。例如，在較暗的部分中差較大。
[0250]計(jì)算通過(guò)將在所有圖像的殘差圖214中所表示的以像素為單位的差(殘差)相加而獲得的值，作為殘差分量的量D。
[0251]根據(jù)殘差分 量的量D的值，確定視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO。
[0252]換言之，當(dāng)殘差分量的量D大時(shí)，視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO低。
[0253]另一方面，當(dāng)殘差分量的量D小時(shí)，視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO被確定為高。
[0254]將殘差分量的量D與視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO之間的對(duì)應(yīng)關(guān)系具體地定義為例如如圖10所的對(duì)應(yīng)關(guān)系。
[0255]換言之，第一可靠性計(jì)算部171如下根據(jù)殘差分量的量D的值來(lái)計(jì)算視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性RO的值。
[0256]O ^ D ^ Dmin:可靠性 RO=ROmax
[0257]Dmin ^ D ^ Dmax:可靠性 RO=ROmax ~ROmin
[0258]Dmax ( D:可靠性 RO=ROmin
[0259]應(yīng)當(dāng)注意,對(duì)于Dmin、Dmax、ROmin和ROmax的值,使用預(yù)先設(shè)置的值。
[0260]此外,在Dmin ^ D ^ Dmax的范圍中，可靠性RO在ROmax和ROmin之間作直線變化。
[0261]應(yīng)當(dāng)注意，盡管參照?qǐng)D7至10所描述的處理用于基于對(duì)其應(yīng)用了從視差估計(jì)單元103輸入的以像素為單位的估計(jì)視差信息的殘差分量來(lái)執(zhí)行估計(jì)視差的可靠性計(jì)算處理，但當(dāng)例如生成具有估計(jì)視差的誤差的(換言之，具有左殘差分量的)虛擬視角圖像時(shí)，存在其中根據(jù)圖像的每個(gè)區(qū)域的特性(特征)而使殘差分量凸現(xiàn)或幾乎沒有影響的情況，從而當(dāng)基于殘差分量確定可靠性時(shí)，有可能可以根據(jù)圖像的每個(gè)區(qū)域的特性(特征)設(shè)置要執(zhí)行的不同的處理。[0262]具體地，當(dāng)例如在紋理區(qū)域中生成具有剩余的殘差分量的虛擬視角圖像時(shí)，殘差分量、即估計(jì)視差的偏差大大影響圖像，因此當(dāng)圖像被觀察時(shí)誤差是明顯的。
[0263]另一方面，在平坦區(qū)域中，殘差分量、即估計(jì)視差的偏差幾乎不影響圖像，因此當(dāng)圖像被觀察時(shí)誤差很少是明顯的。
[0264]考慮到以上情形，有可能可以設(shè)置成檢測(cè)圖像的區(qū)域的特性(特征)，以及根據(jù)所檢測(cè)到的以圖像區(qū)域?yàn)閱挝坏奶匦詠?lái)適應(yīng)性地改變提取殘差分量的方法。
[0265]作為圖像區(qū)域的特征值，例如，待檢測(cè)的特征值是:
[0266]空間活動(dòng)性；以及
[0267]動(dòng)態(tài)范圍。
[0268]此外，根據(jù)以圖像區(qū)域?yàn)閱挝坏纳鲜鎏卣髦?，適應(yīng)性地改變根據(jù)殘差分量所計(jì)算的可靠性。具體地，例如，根據(jù)以圖像區(qū)域?yàn)閱挝坏奶卣髦祦?lái)執(zhí)行改變先前參照?qǐng)D8和10所描述的可靠性計(jì)算處理中所使用的各種參數(shù)的處理，參數(shù)包括:
[0269]圖8的曲線圖中所示的下列參數(shù)包括:
[0270]NmiruNmax ;和
[0271]ROmin > ROmax ；
[0272]圖10的曲線圖中所示的下列參數(shù)包括:
[0273]DmiruDmaxJPI
[0274]ROmin、ROmax ;或
[0275]圖7中所示的閾值(Th)。
[0276]將參照?qǐng)D11來(lái)描述具體示例。
[0277]圖11是示出如下示例的曲線圖:其中，檢測(cè)空間活動(dòng)性作為圖像、例如，輸入L圖像的以像素為單位的特征值，根據(jù)空間活動(dòng)性值來(lái)改變圖7中所示的閾值(Th)、以及將用作殘差分量的指標(biāo)的計(jì)數(shù)值(N)設(shè)置為改變。
[0278]應(yīng)當(dāng)注意，空間活動(dòng)性被計(jì)算為具有如例如圖11所示的處于中心的關(guān)注像素的像素區(qū)域(例如，具有3X3像素)中的相鄰像素的像素值之間的差的絕對(duì)值的和(空間活動(dòng)性計(jì)算處理示例)。
[0279]可以將具有像素值之間的差的絕對(duì)值的和的高值的區(qū)域確定為紋理區(qū)域(邊緣區(qū)域)，以及可以將具有其低值的區(qū)域確定為平坦區(qū)域。
[0280]在圖11所示的曲線圖中，水平軸表示空間活動(dòng)性，垂直軸表示殘差分量，并且每個(gè)點(diǎn)對(duì)應(yīng)于像素的空間活動(dòng)性和殘差分量的值。
[0281]這里，根據(jù)如圖中所示的圖像區(qū)域的空間活動(dòng)性改變參照?qǐng)D7所述的閾值(Th)，即定義是否包括要確定作為殘差分量的存在的計(jì)數(shù)N的計(jì)數(shù)值的閾值(Th)。
[0282]利用以上所描述的設(shè)置，根據(jù)圖像的每個(gè)區(qū)域的特性來(lái)計(jì)算可靠性。
[0283]圖12示出了與圖11不同的處理示例。
[0284]以與圖11相同的方式來(lái)檢測(cè)空間活動(dòng)性，作為圖像、例如輸入L圖像中的以像素為單位的特征值。
[0285]在圖12所示的示例中,通過(guò)根據(jù)空間活動(dòng)性值改變圖8和10所示的參數(shù)來(lái)改變基于殘差的可靠性計(jì)算處理，參數(shù)包括:
[0286]NmiruNmaxJPI[0287]Dmin、Dmax。
[0288]在圖12所示的曲線圖中，水平軸表示空間活動(dòng)性，而垂直軸表示殘差分量，并且每個(gè)點(diǎn)對(duì)應(yīng)于如圖11中的每個(gè)像素的空間活動(dòng)性和殘差分量的值。
[0289]這里，根據(jù)如圖中所示的圖像區(qū)域的空間活動(dòng)性來(lái)改變圖8和10中所示的參數(shù)，參數(shù)包括:
[0290]NmiruNmaxJPI
[0291]Dmin、Dmax。
[0292]利用以上所描述的設(shè)置，根據(jù)圖像的每個(gè)區(qū)域的特性來(lái)計(jì)算可靠性。
[0293]參照?qǐng)D11和12所描述的處理示例是其中將空間活動(dòng)性應(yīng)用為圖像區(qū)域的特征值的處理示例。
[0294]也可以應(yīng)用動(dòng)態(tài)范圍來(lái)作為圖像區(qū)域的特征值。
[0295]將參照?qǐng)D13來(lái)描述其中獲取動(dòng)態(tài)范圍作為圖像區(qū)域的特征值以及基于動(dòng)態(tài)范圍的值來(lái)改變處理方面的示例。
[0296]圖13示出了從左視角圖像(L圖像)輸入單元101和右視角圖像(R圖像)輸入單元102輸入的兩個(gè)圖像區(qū)域，這兩個(gè)圖像區(qū)域是:
[0297](a)具有包括處于中心的關(guān)注像素的3X3像素的輸入L圖像的圖像區(qū)域；以及
[0298](b)具有包括處于中心的關(guān)注像素的3X3像素的輸入R圖像的圖像區(qū)域。
[0299]這些圖像區(qū)域是通過(guò)視差估計(jì)單元103所執(zhí)行的視差估計(jì)處理而被提取作為對(duì)應(yīng)像素塊的對(duì)應(yīng)塊。
[0300]換言之，如果視差估計(jì)正確，則兩個(gè)像素塊包括對(duì)相同主體所拍攝的圖像。
[0301](a)下列像素值是從包括在具有包括處于中心的關(guān)注像素的3X3像素的輸入L圖像的圖像區(qū)域中的9個(gè)像素中獲取的:
[0302]具有最大像素值(亮度值)(maxL)的像素的像素值；以及
[0303]具有最小像素值(亮度值)(minL)的像素的像素值。
[0304](b)用相同的方式，從包括在具有包括處于中心的關(guān)注像素的3X3像素的輸入R圖像的圖像區(qū)域中的9個(gè)像素中獲取下列像素值:
[0305]具有最大像素值(亮度值)(maxR)的像素的像素值；以及
[0306]具有最小像素值(亮度值)(minR)的像素的像素值。
[0307]此外，對(duì)于對(duì)應(yīng)于關(guān)注像素的殘差分量，如下來(lái)計(jì)算利用L圖像的像素塊的像素值的中間值及其動(dòng)態(tài)范圍的計(jì)算值(Lx)以及利用R圖像的像素塊的像素值的中間值及其動(dòng)態(tài)范圍的計(jì)算值(Rx):
[0308]Lx= (maxL+minL)/2+a (maxL-minL)?(maxL+minL) /2- a (maxL-minL);以及
[0309]Rx=(maxR+minR)/2+a (maxR-minR)?(maxR+minR)/2-a (maxR-minR)
[0310]應(yīng)當(dāng)注意:
[0311](maxL+minL) /2對(duì)應(yīng)于L圖像的像素塊的像素值的中間值；以及
[0312](maxL-minL)對(duì)應(yīng)于L圖像的像素塊的像素值的動(dòng)態(tài)范圍。
[0313](maxR+minR) /2對(duì)應(yīng)于R圖像的像素塊的像素值的中間值；以及
[0314](maxR-minR)對(duì)應(yīng)于R圖像的像素塊的像素值的動(dòng)態(tài)范圍。
[0315]α為系數(shù)。[0316]此外，計(jì)算Lx和Rx的差的最小值，并將該差設(shè)置成關(guān)注像素的殘差分量。
[0317]在這種情況下，Lx和Rx的差的最小值根據(jù)每個(gè)像素塊的動(dòng)態(tài)范圍而改變。
[0318]結(jié)果，適應(yīng)性地調(diào)節(jié)了根據(jù)以像素塊為單位的動(dòng)態(tài)范圍而計(jì)算的殘差分量。
[0319]利用作為圖像區(qū)域的特征值的動(dòng)態(tài)范圍，可以根據(jù)每個(gè)圖像區(qū)域的動(dòng)態(tài)范圍的值來(lái)計(jì)算可靠性。
[0320](4-2.關(guān)于第二可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理)
[0321]接下來(lái)，將描述圖6中所示出的第二可靠性計(jì)算部172所執(zhí)行的可靠性(Rl)計(jì)算處理示例。
[0322]圖6所示的第二可靠性計(jì)算部172基于視差圖的水平相鄰像素差來(lái)計(jì)算可靠性(Rl)0視差圖是其中用亮度來(lái)表示視差估計(jì)單元103所生成的視差信息的圖像數(shù)據(jù)。
[0323]圖14示出了生成虛擬視角圖像的處理示例。假設(shè)如下情形，其中，例如利用輸入L圖像的像素值以及利用視差估計(jì)單元103所生成的視差信息來(lái)設(shè)置虛擬視角圖像的像素值。
[0324]圖14所示的L圖像指示L圖像的水平方向線，且箭頭對(duì)應(yīng)于視差估計(jì)單元103所生成的視差信息。
[0325]當(dāng)在L圖像的像素區(qū)域a和像素區(qū)域b中設(shè)置處于不同距離的不同主體時(shí):
[0326]根據(jù)與L圖像的區(qū)域a對(duì)應(yīng)的視差信息來(lái)在虛擬視角圖像的區(qū)域ax中設(shè)置與L圖像的區(qū)域a的像素值相同的像素值；以及
[0327]類似地，根據(jù)與L圖像的區(qū)域b對(duì)應(yīng)的視差信息在虛擬視角圖像的區(qū)域bx中設(shè)置與L圖像的區(qū)域b的像素值相同的像素值。
[0328]然而，在這種情況下，在與變?yōu)槠渲胁豢赡茉O(shè)置像素值的區(qū)域(換言之，像素值不可設(shè)置區(qū)域231)的、L圖像的兩者之中任一區(qū)域?qū)?yīng)的虛擬視角圖像的區(qū)域231中不存在
像素值。
[0329]對(duì)于這樣的像素區(qū)域，需要使用其他圖像或者生成的虛擬視角圖像的相鄰像素的像素值的插值處理。然而，像素區(qū)域結(jié)果變?yōu)椴蛔匀坏膱D像的可能性高。
[0330]在圖6所示的第二可靠性計(jì)算部172所執(zhí)行的可靠性(Rl)計(jì)算處理中，以像素為單位來(lái)計(jì)算出現(xiàn)這樣的像素值不可設(shè)置區(qū)域的可能性，并根據(jù)該可能性來(lái)計(jì)算估計(jì)視差信息的可靠性Rl。
[0331 ] 將參照?qǐng)D15來(lái)描述具體的可靠性計(jì)算處理示例。
[0332]圖6所示的第二可靠性計(jì)算部172接收來(lái)自圖1所示的視差估計(jì)單元103的估計(jì)視差信息232的輸入。
[0333]圖15所示的估計(jì)視差信息232利用以像素為單位的像素灰度(亮度)來(lái)表示估計(jì)視差。
[0334]在視差估計(jì)信息中，順序地選擇包括處于中心的關(guān)注像素的、水平方向上的三個(gè)像素。此外，計(jì)算下列元素:
[0335]指示關(guān)注像素的視差的像素值(亮度值)和指示左相鄰像素的視差的像素值(亮度值)之間的絕對(duì)差值；以及
[0336]指示關(guān)注像素的視差的像素值(亮度值)和指示右相鄰像素的視差的像素值(亮度值)之間的絕對(duì)差值，以及[0337]將兩個(gè)絕對(duì)差值相加，由此計(jì)算絕對(duì)差值之和(D)。
[0338]基于絕對(duì)差值之和D，確定視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性Rl。
[0339]換言之，當(dāng)絕對(duì)差值之和D大時(shí)，視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性Rl低。
[0340]另一方面，當(dāng)絕對(duì)差值之和D小時(shí)，視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性Rl被確定為高。
[0341]將絕對(duì)差值之和D與視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性Rl之間的對(duì)應(yīng)關(guān)系具體地定義為例如如圖16所的對(duì)應(yīng)關(guān)系。
[0342]換言之，第二可靠性計(jì)算部172如下根據(jù)絕對(duì)差值之和D的值來(lái)計(jì)算視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性Rl的值:
[0343]O ^ D ^ Dmin:可靠性 Rl=Rlmax;
[0344]Dmin ^ D ^ Dmax:可靠性 Rl=Rlmax ~Rlmin;以及
[0345]Dmax ( D:可靠性 Rl=Rlmin。
[0346]應(yīng)當(dāng)注意,對(duì)于Dmin、Dmax、Rlmin和Rlmax的值,使用預(yù)先設(shè)置的值。
[0347]此外,在Dm in ^ D ^ Dmax的范圍中，可靠性Rl在Rlmax和Rlmin之間作直線變化。
[0348](4-3.關(guān)于第三可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理)
[0349]接下來(lái)，將描述圖6中所示出的第三可靠性計(jì)算部173所執(zhí)行的可靠性(R2)計(jì)算處理示例。
[0350]圖6所示的第三可靠性計(jì)算部173基于縱向邊緣部分的視差的垂直相鄰像素差來(lái)計(jì)算可靠性(R2)。
[0351 ] 縱向邊緣部分，換言之，其中在作為垂直方向的縱向上存在邊緣的圖像區(qū)域是其中像素值和亮度在水平方向上顯著變化的區(qū)域，并且如果在這樣的縱向邊緣部分中出現(xiàn)視差估計(jì)的誤差，則觀察的3D圖像的不自然變得更明顯。
[0352]因此，當(dāng)生成利用視差估計(jì)單元103所生成的估計(jì)視差信息的虛擬視角圖像時(shí)，在圖像的縱向邊緣部分中獲得比在橫向邊緣部分中更正確的估計(jì)視差信息。
[0353]考慮到以上情況，第三可靠性計(jì)算部173根據(jù)以圖像區(qū)域?yàn)閱挝坏目v向邊緣部分的強(qiáng)度來(lái)計(jì)算可靠性(R2)。
[0354]應(yīng)當(dāng)注意，為了判定部分是否為縱向邊緣部分，可以應(yīng)用例如圖17所示的方法。
[0355]如圖17所示，從輸入L圖像中提取L圖像的包括關(guān)注像素241的2X3像素區(qū)域，計(jì)算相鄰像素的像素值(可以使用亮度值)的絕對(duì)差值，然后計(jì)算下列元素:
[0356]通過(guò)將橫向(水平方向)上的相鄰像素之間的多個(gè)絕對(duì)差值相加而獲得的絕對(duì)橫向差值的和；以及
[0357]通過(guò)將縱向(垂直方向)上的相鄰像素之間的多個(gè)絕對(duì)差值相加而獲得的絕對(duì)縱向差值的和。
[0358]此外，比較預(yù)設(shè)閾值Th_H和Th_V。換言之，確定條件⑴和⑵是否都被滿足:
[0359](I)橫向上的絕對(duì)差值的和>Th_H ；以及
[0360](2)縱向上的絕對(duì)差值的和<Th_V。
[0361]當(dāng)條件(I)和(2)都滿足時(shí)，將關(guān)注像素241確定為縱向邊緣部分。[0362]另一方面，當(dāng)條件(I)和(2)中的任何一個(gè)未被滿足時(shí)，可以將關(guān)注像素241確定為縱向邊緣部分。
[0363]第三可靠性計(jì)算部173根據(jù)縱向邊緣的強(qiáng)度來(lái)計(jì)算可靠性(R2)。
[0364]應(yīng)當(dāng)注意，在縱向邊緣的區(qū)域中，通過(guò)例如塊匹配等的處理來(lái)執(zhí)行的、視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性變高。
[0365]將參照?qǐng)D18來(lái)描述第三可靠性計(jì)算部173根據(jù)縱向邊緣的強(qiáng)度所執(zhí)行的可靠性(R2)計(jì)算處理。
[0366]如圖18所示，第三可靠性計(jì)算部173接收來(lái)自圖1所示的視差估計(jì)單元103的估計(jì)視差信息232的輸入。
[0367]圖18所示的估計(jì)視差信息232利用以像素為單位的像素灰度(亮度)來(lái)表示估計(jì)視差。
[0368]在視差估計(jì)信息中，順序地選擇包括處于中心的關(guān)注像素的、垂直方向上的三個(gè)像素。此外，計(jì)算下列元素:
[0369]指示關(guān)注像素的視差的像素值(亮度值)和指示上相鄰像素的視差的像素值(亮度值)之間的絕對(duì)差值；以及
[0370]指示關(guān)注像素的視差的像素值(亮度值)和指示下相鄰像素的視差的像素值(亮度值)之間的絕對(duì)差值， 以及
[0371]將兩個(gè)絕對(duì)差值相加，由此計(jì)算絕對(duì)差值之和(D)。
[0372]基于絕對(duì)差值之和D，確定視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R2。
[0373]當(dāng)絕對(duì)差值之和D較大時(shí)，即使在縱向上也存在像素值(亮度)的很大的差，且縱向邊緣的傾向低，以及在該種情況下，視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R2被設(shè)置為低的值。
[0374]另一方面，當(dāng)絕對(duì)差值之和D小時(shí)，即使在縱向上也存在像素值(亮度)的小的差，且縱向邊緣的傾向高，以及在該種情況下，視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R2被確定為高。
[0375]將絕對(duì)差值之和D與視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R2之間的對(duì)應(yīng)關(guān)系具體地定義為例如如圖19所的對(duì)應(yīng)關(guān)系。
[0376]換言之，第三可靠性計(jì)算部173如下根據(jù)絕對(duì)差值之和D的值來(lái)計(jì)算視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R2的值:
[0377]O ^ D ^ Dmin:可靠性 R2=R2max;
[0378]Dmin ^ D ^ Dmax:可靠性 R2=R2max ~R2min;以及
[0379]Dmax ^ D:可靠性 R2=R2min。
[0380]應(yīng)當(dāng)注意,對(duì)于Dmin、Dmax、R2min和R2max的值,使用預(yù)先設(shè)置的值。
[0381]此外,在Dmin ^ D ^ Dmax的范圍中，可靠性R2在R2max和R2min之間作直線變化。
[0382](4-4.關(guān)于第四可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理)
[0383]接下來(lái)，將描述圖6中所示出的第四可靠性計(jì)算部174所執(zhí)行的可靠性(R3)計(jì)算處理示例。
[0384]圖6所示的第四可靠性計(jì)算部174基于視差估計(jì)單元103所生成的估計(jì)視差信息和對(duì)預(yù)設(shè)估計(jì)視差的上限值與下限值的比較來(lái)計(jì)算可靠性(R3)。
[0385]圖1所示的圖像處理裝置100的視差估計(jì)單元103首先通過(guò)應(yīng)用例如參照?qǐng)D2描述的塊匹配處理等來(lái)估計(jì)輸入L和R圖像之間的視差。
[0386]為了處理的效率，通過(guò)在例如執(zhí)行塊匹配時(shí)針對(duì)L圖像中設(shè)置的一個(gè)塊預(yù)先設(shè)置在R圖像中設(shè)置的塊的設(shè)置范圍(換言之，搜索范圍)來(lái)進(jìn)行視差估計(jì)處理。
[0387]因此，當(dāng)實(shí)際正確的視差超出搜索范圍時(shí)，視差估計(jì)單元103所生成的估計(jì)視差信息根據(jù)預(yù)定的搜索范圍而變?yōu)樯舷拗祷蛳孪拗怠?br> [0388]當(dāng)將上限值或下限值作為估計(jì)視差信息輸出時(shí)，實(shí)際視差極大可能地大于上限值或者小于下限值。[0389]圖6所示的第四可靠性計(jì)算部174通過(guò)提取對(duì)其計(jì)算了上限值或下限值的這種視差的像素區(qū)域，來(lái)計(jì)算估計(jì)視差信息的可靠性(R3)。
[0390]將參照?qǐng)D20來(lái)描述圖6中所示出的第四可靠性計(jì)算部174所執(zhí)行的處理。
[0391]圖6所示的第四可靠性計(jì)算部174從由如圖20(a)所示的左視角圖像(L圖像)輸入單元101輸入的L圖像中提取包括關(guān)注像素241的像素區(qū)域，例如，具有作為中心像素的關(guān)注像素241的3 X 3像素區(qū)域，然后首先確定視差估計(jì)單元103所生成的估計(jì)視差信息是否達(dá)到針對(duì)關(guān)注像素241的上限值或下限值。
[0392]當(dāng)對(duì)應(yīng)于關(guān)注像素241的估計(jì)視差信息未達(dá)到上限值或下限值時(shí)，關(guān)注像素的可靠性(R3)變?yōu)樽畲笾?R3max)。
[0393]當(dāng)對(duì)應(yīng)于關(guān)注像素241的估計(jì)視差信息達(dá)到上限值或下限值時(shí)，針對(duì)包括關(guān)注像素241的像素區(qū)域、例如圖20(a)所示的3X3像素區(qū)域中的九個(gè)像素，來(lái)對(duì)其估計(jì)視差信息達(dá)到上限值或下限值的像素?cái)?shù)量(N)進(jìn)行計(jì)數(shù)。
[0394]第四可靠性計(jì)算部174根據(jù)計(jì)數(shù)數(shù)量(N)來(lái)計(jì)算可靠性(R3)。
[0395]在包含其估計(jì)視差信息達(dá)到上限值或下限值的關(guān)注像素的像素區(qū)域(3X3像素)中所包括的像素之中，當(dāng)其估計(jì)視差信息達(dá)到上限值或下限值的像素?cái)?shù)量(N)大時(shí)，確定關(guān)注像素的實(shí)際視差極大可能大于上限值或小于下限值，并將視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R3設(shè)置為低的值。
[0396]另一方面，在包含其估計(jì)視差信息達(dá)到上限值或下限值的關(guān)注像素的像素區(qū)域(3X3像素)中所包括的像素之中，當(dāng)其估計(jì)視差信息達(dá)到上限值或下限值的像素?cái)?shù)量(N)小時(shí)，確定關(guān)注像素的實(shí)際視差不大可能大于上限值或小于下限值，并將視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R3設(shè)置為高的值。
[0397]將計(jì)數(shù)的像素?cái)?shù)量N與視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R3之間的對(duì)應(yīng)關(guān)系具體地定義為例如如圖20(b)所不的對(duì)應(yīng)關(guān)系。
[0398]換言之，第四可靠性計(jì)算部174如下根據(jù)在包含其估計(jì)視差達(dá)到上限值或下限值的關(guān)注像素的像素區(qū)域(3X3像素)中包括的估計(jì)視差達(dá)到上限值或下限值的像素?cái)?shù)量(N)的值，來(lái)計(jì)算視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R3的值:
[0399]O ≤ N ≤ Nmin:可靠性 R3=R3max;
[0400]Nmin ^ N ^ Nmax:可靠性 R3=R3max ~R3min;以及
[0401]Nmax ≤ N:可靠性 R3=R3min.[0402]應(yīng)當(dāng)注意,對(duì)于Nmin、Nmax、R3min和R3max的值,使用預(yù)先設(shè)置的值。[0403]此外,在Nmin ^ N ^ Nmax的范圍中，可靠性R3在R3max和R3min之間作直線變化。
[0404](4-5.關(guān)于第五可靠性計(jì)算部所執(zhí)行的可靠性計(jì)算處理)
[0405]接下來(lái)，將描述圖6中所示出的第五可靠性計(jì)算部175所執(zhí)行的可靠性(R4)計(jì)算處理示例。
[0406]圖6所示的第五可靠性計(jì)算部175基于如圖21(1)所示的視差估計(jì)單元103所生成的估計(jì)視差信息，來(lái)計(jì)算R圖像的與L圖像的每個(gè)像素(a)對(duì)應(yīng)的像素位置(b)。此外，第五可靠性計(jì)算部通過(guò)估計(jì)與R圖像的所計(jì)算的像素位置(b)對(duì)應(yīng)的L圖像之間的視差來(lái)計(jì)算L圖像的對(duì)應(yīng)像素位置(C)。
[0407]如果估計(jì)視差正確,則滿足(a) = (C)。換言之,如圖中所示,滿足以下:
[0408]移動(dòng)量(X)=0。
[0409]然而，當(dāng)估計(jì)視差信息不正確時(shí)，滿足以下:
[0410]移動(dòng)量00古O。
[0411]圖6所示的第五可靠性計(jì)算部175通過(guò)這樣的處理來(lái)計(jì)算可靠性(R4)。
[0412]應(yīng)當(dāng)注意，作為處理的前提，視差估計(jì)單元103被設(shè)置成生成下列兩種估計(jì)視差信息，并將信息提供給第五可靠性計(jì)算部175:
[0413]基于R圖像的與從左視角圖像(L圖像)輸入單元101輸入的L圖像對(duì)應(yīng)的像素位置的檢測(cè)信息的、基于L圖像的估計(jì)視差信息；以及
[0414]基于L圖像的與從右視角圖像(R圖像)輸入單元102輸入的R圖像對(duì)應(yīng)的像素位置的檢測(cè)信息的、基于R圖像的估計(jì)視差信息。
[0415]具體地，圖6所示的第五可靠性計(jì)算部175順序地執(zhí)行下列處理。
[0416](處理I)對(duì)于從左視角圖像(L圖像)輸入單元101輸入的L圖像的關(guān)注像素(a)，基于視差估計(jì)單元103所生成的基于L圖像的估計(jì)視差信息，來(lái)獲取從右視角圖像(R圖像)輸入單元102輸入的R圖像中的對(duì)應(yīng)像素位置(b)。
[0417](處理2)對(duì)于從右視角圖像(R圖像)輸入單元102輸入的R圖像的像素(b)，基于視差估計(jì)單元103所生成的基于R圖像的估計(jì)視差信息來(lái)獲取L圖像中的對(duì)應(yīng)像素位置
(C)。
[0418](處理3)獲取L圖像中的像素(a)和像素(C)之間的距離(移動(dòng)量X)，然后將該距離與規(guī)定的閾值(TH_X)進(jìn)行比較。
[0419](處理4)對(duì)從左視角圖像(L圖像)輸入單元101輸入的L圖像的所有像素執(zhí)行處理I至3，然后對(duì)滿足下列判定公式的像素?cái)?shù)量(C)進(jìn)行計(jì)數(shù)。
[0420]移動(dòng)量X≥TH_X
[0421]圖6所示的第五可靠性計(jì)算部175基于滿足上述判定公式的像素?cái)?shù)量(C)來(lái)計(jì)算估計(jì)視差信息的可靠性(R4 )。
[0422]當(dāng)滿足上述判定公式的像素?cái)?shù)量(C)大時(shí)，將視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性(R4)設(shè)置為低的值。
[0423]另一方面，當(dāng)滿足上述判定公式的像素?cái)?shù)量(C)小時(shí)，將視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性(R4)設(shè)置為高的值。
[0424]將像素?cái)?shù)量C與視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R4之間的對(duì)應(yīng)關(guān)系具體地定義為例如如圖21(b)所不的對(duì)應(yīng)關(guān)系。
[0425]換言之，第五可靠性計(jì)算部175根據(jù)滿足下列判定的像素?cái)?shù)量(C)的值，來(lái)計(jì)算視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性R4的值:
[0426]移動(dòng)量X≥TH_X
[0427]如下在從左視角圖像(L圖像)輸入單元101輸入的L圖像的所有像素之中:
[0428]O ≤ C ≤ Cmin:可靠性 R4=R4max;
[0429]Cmin ≤ C ≤ Cmax:可靠性 R4=R4max ~R4min;以及
[0430]Cmax ≤ C:可靠性 R4=R4min。
[0431]應(yīng)當(dāng)注意,對(duì)于Cmin、Cmax、R4min和R4max的值,使用預(yù)先設(shè)置的值。
[0432]此外,在Cmin ≤C ≤ Cmax的范圍中，可靠性R4在R4max和R4min之間作直線變化。
[0433](4-6.關(guān)于可靠性計(jì)算單元所執(zhí)行的最終可靠性計(jì)算處理)
[0434]如參照?qǐng)D6所述，可靠性計(jì)算單元104接收如圖6所示的下列元素，這些元素是:
[0435]來(lái)自左視角圖像(L圖像)輸入單元101的左視角圖像(L圖像)；
[0436]來(lái)自右視角圖像(R圖像)輸入單元102的右視角圖像(R圖像)；以及
[0437]來(lái)自視差估計(jì)單元103的估計(jì)視差信息，
[0438]以及基于輸入的信息，第一至第五可靠性計(jì)算部171至175利用如前所述的多個(gè)不同處理來(lái)計(jì)算多個(gè)可靠性(R0至R4)。
[0439]圖6所示的算術(shù)運(yùn)算部181通過(guò)應(yīng)用多個(gè)可靠性(R0至R4)計(jì)算最終可靠性信息，然后將可靠性信息輸出到虛擬視角圖像生成單元105。
[0440]算術(shù)運(yùn)算部181利用其中將預(yù)設(shè)的權(quán)重系數(shù)α O、α 1、α 2、α 3和α 4應(yīng)用到第一至第五可靠性計(jì)算部171至175中所計(jì)算的可靠性R0、R1、R2、R3和R4上的以下表達(dá)式來(lái)計(jì)算加權(quán)和(R)，并將所計(jì)算的值輸出到虛擬視角圖像生成單元105，作為最終可靠性信
肩、O
[0441 ] R= α 0.RO+ α I.Rl+ α 2.R2+ α 3.R3+ α 4.R4
[0442]應(yīng)當(dāng)注意，雖然圖6示出了第一至第五可靠性計(jì)算部171至175這五種可靠性計(jì)算部，但是其中利用一個(gè)或更多個(gè)可靠性計(jì)算部、而非全部五個(gè)部分的配置也是可能的。可選地，其中應(yīng)用其他可靠性的配置也是可能的。
[0443][5.關(guān)于虛擬視角圖像生成單元的處理]
[0444]接下來(lái)，將描述圖1所示的虛擬視角圖像生成單元105的具體處理示例。
[0445]虛擬視角圖像生成單元105通過(guò)接收下列信息的輸入而生成虛擬視角圖像，這些信息包括:
[0446]來(lái)自左視角圖像(L圖像)輸入單元101的L圖像；
[0447]來(lái)自右視角圖像(R圖像)輸入單元102的R圖像；
[0448]來(lái)自視差估計(jì)單元103的視差信息；以及
[0449]來(lái)自可靠性計(jì)算單元104的可靠性信息。
[0450]虛擬視角圖像生成單元105根據(jù)從可靠性計(jì)算單元104輸入的可靠性信息執(zhí)行確定虛擬視角位置的處理，然后生成與確定的虛擬視角位置對(duì)應(yīng)的虛擬視角圖像。
[0451]虛擬視角圖像生成單元105根據(jù)從可靠性計(jì)算單元104輸入的可靠性信息來(lái)調(diào)節(jié)視差量，換言之，確定待生成的虛擬視角位置(相位)，然后生成與確定的虛擬視角位置(相位)對(duì)應(yīng)的虛擬視角圖像。
[0452]具體地，虛擬視角圖像生成單元105通過(guò)例如當(dāng)從可靠性計(jì)算單元104輸入的可靠性高時(shí)將生成的虛擬視角圖像的視差間隔設(shè)置得寬、而當(dāng)可靠性低時(shí)將視差間隔設(shè)置得窄，來(lái)生成虛擬視角圖像。
[0453]下文中，將按順序描述虛擬視角圖像生成單元105的多個(gè)具體配置的示例。
[0454](5-1.根據(jù)從可靠性計(jì)算單元輸入的可靠性信息來(lái)確定虛擬視角位置的配置示例)
[0455]將參照?qǐng)D22來(lái)描述虛擬視角圖像生成單元105的一個(gè)示例。
[0456]如圖22所示，本示例的虛擬視角圖像生成單元105具有視差調(diào)節(jié)部311和圖像合成部312。
[0457]視差調(diào)節(jié)部311接收可靠性計(jì)算單元104所計(jì)算的可靠性信息，換言之，視差估計(jì)單元103所生成的估計(jì)視差信息的可靠性的輸入。
[0458]可靠性例如是如前所述的多個(gè)不同可靠性信息(R0至R4)的加權(quán)相加的值。具體地，輸入根據(jù)下列表達(dá)式計(jì)算的可靠性R:
[0459]可靠性R= α 0.RO+ α I.Rl+ α 2.R2+ α 3.R3+ α 4.R4,
[0460]其中，α0、α?、α2、…為預(yù)設(shè)的權(quán)重系數(shù)。
[0461]可靠性R具有從O到I的值,且R=I為最高可靠性,而R=O為最低可靠性。
[0462]視差調(diào)節(jié)部311根據(jù)輸入的可靠性R確定應(yīng)當(dāng)生成的虛擬視角圖像的視差，即待生成的虛擬視角圖像的位置(相位)。
[0463]具體地，根據(jù)具有從O到I的值的可靠性R，執(zhí)行如圖23所示的確定虛擬視角位置的處理。
[0464]圖23是示出在其中可靠性R=O至I的情況下設(shè)置虛擬視角圖像位置的示例的圖。
[0465]視角位置O是對(duì)應(yīng)于輸入L圖像的視角位置；以及
[0466]視角位置I是對(duì)應(yīng)于輸入R圖像的視角位置。
[0467]換言之，在可靠性=1的線上，
[0468]圖像b321對(duì)應(yīng)于從左視角圖像(L圖像)輸入單元101輸入的輸入L圖像；以及
[0469]圖像h322對(duì)應(yīng)于從右視角圖像(R圖像)輸入單元102輸入的輸入R圖像。
[0470]當(dāng)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息具有最可靠值或R=I時(shí)，在可靠性=1的線上的其他縱向線指示虛擬視角圖像生成單元105所生成的虛擬視角圖像的位置
位)。
[0471]在該示例中，設(shè)置生成并輸出包括輸入L和R圖像在內(nèi)的具有從a到i的九個(gè)不同視角的圖像。
[0472]當(dāng)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息滿足條件R=I時(shí)，視差調(diào)節(jié)部311將圖23上部的圖像a到i確定為虛擬視角圖像的設(shè)置位置，并將虛擬視角位置的信息輸出到圖22所示的圖像合成部312。
[0473]圖22所示的圖像合成部312基于從視差調(diào)節(jié)部311輸入的虛擬視角圖像的設(shè)置位置信息，通過(guò)應(yīng)用輸入L圖像和輸入R圖像而生成與設(shè)置位置對(duì)應(yīng)的虛擬視角圖像。
[0474]應(yīng)當(dāng)注意，生成虛擬視角圖像的處理是根據(jù)之前參照?qǐng)D3和4所描述的處理來(lái)執(zhí)行的。
[0475]此外，當(dāng)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息滿足R=0.5 (換言之，是中間可靠性)時(shí)，視差調(diào)節(jié)部311將圖23的中間部分的圖像a2到i2確定為虛擬視角圖像的設(shè)置位置，并將虛擬視角位置的信息輸出到圖22所示的圖像合成部312。
[0476]圖22所示的圖像合成部312基于從視差調(diào)節(jié)部311輸入的虛擬視角圖像的設(shè)置位置的信息，通過(guò)應(yīng)用輸入L圖像和輸入R圖像而生成與設(shè)置位置對(duì)應(yīng)的虛擬視角圖像。
[0477]如從附圖中理解到，在中低可靠性0.5的情況下，虛擬視角圖像a2到i2的視差范圍比在可靠性R=I的高可靠性的情況下的虛擬視角圖像a到i的視差范圍窄。
[0478]此外，當(dāng)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息滿足R=O (換言之，不可靠)時(shí)，視差調(diào)節(jié)部311將圖23下部的圖像333確定為虛擬視角圖像的設(shè)置位置，并將虛擬視角位置的信息輸出到圖22所示的圖像合成部312。
[0479]圖22所示的圖像合成部312基于從視差調(diào)節(jié)部311輸入的虛擬視角圖像的設(shè)置位置的信息，通過(guò)應(yīng)用輸入L圖像和輸入R圖像而生成與設(shè)置位置對(duì)應(yīng)的虛擬視角圖像。
[0480]應(yīng)當(dāng)注意，圖23下部的圖像333的圖像位置對(duì)應(yīng)于輸入R圖像的圖像位置。換言之，在這種情況下，在不生成新的虛擬視角圖像的情況下原樣輸出輸入R圖像。
[0481]應(yīng)當(dāng)注意，在這種情況下，虛擬視角圖像生成單元105也原樣輸出輸入L圖像，因此僅將輸入L圖像和R圖像輸出在顯示單元上。
[0482]視差調(diào)節(jié)部311根據(jù)以下算法來(lái)執(zhí)行計(jì)算虛擬視角圖像的設(shè)置位置(相位)的處理。
[0483]應(yīng)當(dāng)注意，在可靠性R=I的情況下生成的虛擬視角圖像預(yù)先被確定。
[0484]圖像是在圖23所示的a到i的位置處。
[0485]將從可靠性計(jì)算單元104輸入的可靠性信息設(shè)置為R。
[0486]然而，R=O至 I。
[0487]將可靠性R=I的情況下的虛擬視角圖像位置(相位)設(shè)置為VO。
[0488]在這種情況下，基于以下表達(dá)式來(lái)計(jì)算根據(jù)可靠性R設(shè)置的虛擬視角圖像位置(相位)Vo
[0489]V=(VO-1).R+1
[0490]圖23所示的虛擬視角圖像331的位置(相位)是要在可靠性R=I時(shí)輸出的虛擬視角圖像位置。
[0491]將虛擬視角圖像位置(相位)V設(shè)置為0.3。
[0492]使用V的值，利用上述表達(dá)式計(jì)算當(dāng)可靠性R=O至I時(shí)的虛擬視角圖像位置(相位)。
[0493]當(dāng)可靠性=0.5時(shí)，例如，可以基于上述表達(dá)式利用虛擬視角圖像331的位置(相位)V即0.3，來(lái)計(jì)算圖23所示的虛擬視角圖像位置332 (d2)的位置(V)。換言之，
[0494]V=(VO-1).R+1
[0495]= (0.3-1).0.5+1
[0496]=0.85 ο
[0497]例如，當(dāng)可靠性=0時(shí)，可以基于上述表達(dá)式利用虛擬視角圖像331的位置(相位)V即0.3，來(lái)計(jì)算圖23中所示的虛擬視角圖像位置333 (d3)的位置(V)。換言之，[0498]V=(VO-1).R+1
[0499]=(0.3-1).0+1
[0500]=10
[0501]以這種方式，視差調(diào)節(jié)部311接收可靠性計(jì)算單元104所計(jì)算的可靠性R的信息的輸入，然后根據(jù)輸入的可靠性R的信息的值來(lái)確定虛擬視角圖像的設(shè)置位置，然后將虛擬視角位置信息輸出到圖22所示的圖像合成部312。
[0502]圖22所示的圖像合成部312基于從視差調(diào)節(jié)部311輸入的虛擬視角圖像的設(shè)置位置信息，通過(guò)應(yīng)用輸入L圖像和輸入R圖像而生成與設(shè)置位置對(duì)應(yīng)的虛擬視角圖像。
[0503](5-2.根據(jù)關(guān)于在可靠性和最佳視差量之間的對(duì)應(yīng)關(guān)系的信息和從可靠性計(jì)算單元輸入的可靠性信息來(lái)確定虛擬視角位置的配置示例)
[0504]接下來(lái)，將參照?qǐng)D24來(lái)描述根據(jù)關(guān)于在可靠性和最佳視差量之間的對(duì)應(yīng)關(guān)系的信息和從可靠性計(jì)算單元輸入的可靠性信息來(lái)確定虛擬視角位置的虛擬視角圖像生成單元105的示例。
[0505]如圖24所示，本示例的虛擬視角圖像生成單元105具有如參照?qǐng)D22所描述的視差調(diào)節(jié)部311和圖像合成部312，并且還具有其中存儲(chǔ)關(guān)于在可靠性和最佳視差量之間的對(duì)應(yīng)關(guān)系的信息的可靠性數(shù)據(jù)庫(kù)313。
[0506]視差調(diào)節(jié)部311接收可靠性計(jì)算單元104所計(jì)算的可靠性信息(換言之，視差估計(jì)單元103所生成的估計(jì) 視差信息的可靠性)的輸入。
[0507]可靠性例如是如前所述的多個(gè)不同可靠性信息(R0至R4)的加權(quán)相加的值。具體地，輸入根據(jù)下列表達(dá)式計(jì)算的可靠性R:
[0508]可靠f生R= α 0.RO+ α I.Rl+ α 2.R2+ α 3.R3+ α 4.R4,
[0509]其中，α0、α?、α2、…為預(yù)設(shè)的權(quán)重系數(shù)。
[0510]可靠性R具有從O到I的值,且R=I為最高可靠性,而R=O為最低可靠性。
[0511]視差調(diào)節(jié)部311接收以下輸入:
[0512]可靠性計(jì)算單元104所計(jì)算的可靠性R ；以及
[0513]來(lái)自可靠性數(shù)據(jù)庫(kù)313的關(guān)于在可靠性和最佳視差量之間的對(duì)應(yīng)關(guān)系的信息。
[0514]視差調(diào)節(jié)部311基于這些信息計(jì)算調(diào)節(jié)后的可靠性，并確定要生成的虛擬視角圖像的視差，即，要基于調(diào)節(jié)后的可靠性而生成的虛擬視角圖像的位置(相位)。
[0515]可靠性數(shù)據(jù)庫(kù)313存儲(chǔ)與最佳視差量的對(duì)應(yīng)關(guān)系的信息的關(guān)系數(shù)據(jù)。數(shù)據(jù)例如如圖25所示。
[0516]數(shù)據(jù)是以如下方式獲得的:觀察者觀察預(yù)先準(zhǔn)備的學(xué)習(xí)數(shù)據(jù)，例如具有各種可靠性的視差的學(xué)習(xí)數(shù)據(jù)，并將觀察者利用其能夠舒適地觀察3D圖像的視差確定為最佳視差量。
[0517]視差調(diào)節(jié)部311獲取存儲(chǔ)在可靠性數(shù)據(jù)庫(kù)313中的與最佳視差量的對(duì)應(yīng)關(guān)系的信息的關(guān)系數(shù)據(jù)，然后計(jì)算與可靠性計(jì)算單元104所計(jì)算的可靠性R對(duì)應(yīng)的系數(shù)ρ。系數(shù)P是可靠性R的乘子，并且是用于計(jì)算用于設(shè)置最佳視差量的調(diào)節(jié)后的可靠性PR的系數(shù)。系數(shù)P是通過(guò)應(yīng)用回歸分析處理(例如，最小二乘法)而獲得的。
[0518]視差調(diào)節(jié)部311通過(guò)用可靠性計(jì)算單元104所計(jì)算的可靠性R乘以計(jì)算的系數(shù)P來(lái)計(jì)算調(diào)節(jié)后的可靠性PR。根據(jù)調(diào)節(jié)后的可靠性pR，如圖26所示執(zhí)行確定虛擬視角位置的處理。
[0519]圖26是示出在其中調(diào)節(jié)后的可靠性PR為O至I的情況下設(shè)置虛擬視角圖像位置的示例的圖。
[0520]視角位置O是對(duì)應(yīng)于輸入L圖像的視角位置；以及
[0521]視角位置I是對(duì)應(yīng)于輸入R圖像的視角位置。
[0522]換言之，在調(diào)節(jié)后的可靠性=1的線上，
[0523]圖像b321對(duì)應(yīng)于從左視角圖像(L圖像)輸入單元101輸入的輸入L圖像；以及
[0524]圖像h322對(duì)應(yīng)于從右視角圖像(R圖像)輸入單元102輸入的輸入R圖像。
[0525]當(dāng)調(diào)節(jié)后的可靠性pR的信息具有最可靠值、或PR=I時(shí)，在可靠性=1的線上的其他縱向線指示虛擬視角圖像生成單元105所生成的虛擬視角圖像的位置(相位)。
[0526]在該示例中，設(shè)置生成并輸出包括輸入L和R圖像在內(nèi)的具有從a到i的九個(gè)不同視角的圖像。
[0527]當(dāng)調(diào)節(jié)后的可靠性pR的信息滿足pR=l時(shí)，視差調(diào)節(jié)部311將圖23上部的圖像a到i確定為虛擬視角圖像的設(shè)置位置，并將虛擬視角位置信息輸出到圖24所示的圖像合成部 312。
[0528]圖24所示的圖像合成部312基于從視差調(diào)節(jié)部311輸入的虛擬視角圖像的設(shè)置位置信息，通過(guò)應(yīng)用輸入L圖像和輸入R圖像而生成與設(shè)置位置對(duì)應(yīng)的虛擬視角圖像。
[0529]應(yīng)當(dāng)注意，生成虛擬視角圖像的處理是根據(jù)之前參照?qǐng)D3和4所描述的處理來(lái)執(zhí)行的。
[0530]此外，當(dāng)調(diào)節(jié)后的可靠性pR的信息滿足pR=0.5 (換言之，是中間可靠性)時(shí)，視差調(diào)節(jié)部311將圖26的中間部分的圖像a2到i2確定為虛擬視角圖像的設(shè)置位置，并將虛擬視角位置的信息輸出到圖24所示的圖像合成部312。
[0531]圖24所示的圖像合成部312基于從視差調(diào)節(jié)部311輸入的虛擬視角圖像的設(shè)置位置的信息，通過(guò)應(yīng)用輸入L圖像和輸入R圖像而生成與設(shè)置位置對(duì)應(yīng)的虛擬視角圖像。
[0532]如從附圖中理解到的，在中低可靠性0.5的情況下，虛擬視角圖像a2到i2的視差范圍比在可靠性R=I的高可靠性的情況下的虛擬視角圖像a到i的視差范圍窄。
[0533]此外，當(dāng)調(diào)節(jié)后的可靠性pR的信息滿足pR=0(換言之，不可靠)時(shí)，視差調(diào)節(jié)部311將圖26下部的圖像333確定為虛擬視角圖像的設(shè)置位置，并將虛擬視角位置的信息輸出到圖24所示的圖像合成部312。
[0534]圖24所示的圖像合成部312基于從視差調(diào)節(jié)部311輸入的虛擬視角圖像的設(shè)置位置的信息，通過(guò)應(yīng)用輸入L圖像和輸入R圖像而生成與設(shè)置位置對(duì)應(yīng)的虛擬視角圖像。
[0535]應(yīng)當(dāng)注意，圖26下部的圖像333的圖像位置對(duì)應(yīng)于輸入R圖像的圖像位置。換言之，在這種情況下，在不生成新的虛擬視角圖像的情況下原樣輸出了輸入R圖像。
[0536]應(yīng)當(dāng)注意，在這種情況下，虛擬視角圖像生成單元105也原樣輸出輸入L圖像，因此，僅將輸入L圖像和R圖像輸出在顯示單元上。
[0537]如上所述，在本示例中，視差調(diào)節(jié)部311接收可靠性計(jì)算單元104所計(jì)算的可靠性R以及來(lái)自可靠性數(shù)據(jù)庫(kù)313的可靠性和最佳視差量之間的對(duì)應(yīng)關(guān)系的信息的輸入。
[0538]視差調(diào)節(jié)部311基于以上信息計(jì)算調(diào)節(jié)后的可靠性，并確定應(yīng)當(dāng)生成的虛擬視角圖像的視差，即要基于調(diào)節(jié)后的可靠性生成的虛擬視角圖像的位置(相位)。[0539](5-3.關(guān)于其中包括應(yīng)用LPF的視差信息轉(zhuǎn)換以及轉(zhuǎn)換虛擬視角圖像的處理的示例)
[0540]接下來(lái)，將參照?qǐng)D27來(lái)描述其中包括應(yīng)用LPF (低通濾波器)的視差信息轉(zhuǎn)換以及轉(zhuǎn)換虛擬視角圖像的處理的虛擬視角圖像生成單元的示例。
[0541]圖27所示的虛擬視角圖像生成單元105具有第一 LPF (低通濾波器)331、視差信息選擇部332、圖像合成部333、第二 LPF (低通濾波器)334以及虛擬視角圖像選擇部335。
[0542]第一 LPF (低通濾波器)331通過(guò)接收視差估計(jì)單元103所生成的估計(jì)視差信息的輸入來(lái)應(yīng)用LPF。利用LPF的應(yīng)用，視差信息的激烈變化部分被轉(zhuǎn)換以便緩慢地變化。
[0543]將第一 LPF (低通濾波器)331生成的應(yīng)用LPF的估計(jì)視差信息輸入到視差信息選擇部332。
[0544]視差信息選擇部332接收下列信息的輸入:
[0545](a)視差估計(jì)單元103所生成的估計(jì)視差信息(視差圖)；
[0546](b)第一 LPF (低通濾波器)331所生成的應(yīng)用LPF的估計(jì)視差信息；以及
[0547](c)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息。
[0548]視差信息選擇部332對(duì)以上信息的輸入執(zhí)行以下處理。
[0549]對(duì)于具有高可靠性的像素，其中(C)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息等于或高于預(yù)設(shè)閾值，選擇與包括在視差估計(jì)單元103所生成的估計(jì)視差信息(視差圖)中的像素對(duì)應(yīng)的視差信息并將該視差信息輸出到圖像合成部333。
[0550]另一方面，對(duì)于具有低可靠性的像素，其中(C)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息小于預(yù)設(shè)閾值，選擇與包括在(b)第一 LPF (低通濾波器)331所生成的應(yīng)用LPF的估計(jì)視差信息中的像素對(duì)應(yīng)的視差信息并將該視差信息輸出到圖像合成部333。
[0551]輸出的信息被輸入到圖像合成部333。
[0552]圖像合成部333基于視差信息生成虛擬視角圖像。
[0553]生成虛擬視角圖像的處理是根據(jù)之前參照?qǐng)D3和4所描述的處理，利用輸入L和R圖像執(zhí)行的。
[0554]將圖像合成部333生成的虛擬視角圖像輸入到第二 LPF334以及虛擬視角圖像選擇部335。
[0555]第二 LPF334對(duì)圖像合成部333生成的虛擬視角圖像應(yīng)用LPF。通過(guò)LPF應(yīng)用處理，虛擬視角圖像中的激烈變化像素值部分被轉(zhuǎn)換以便緩慢地變化。
[0556]將第二 LPF334生成的應(yīng)用LPF的虛擬視角圖像輸入到虛擬視角圖像選擇部335。
[0557]虛擬視角圖像選擇部335接收下列信息的輸入:
[0558](d)圖像合成部333生成的虛擬視角圖像；
[0559](e)第二 LPF334生成的應(yīng)用LPF的虛擬視角圖像；以及
[0560](f)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息。
[0561]虛擬視角圖像選擇部335對(duì)以上信息的輸入執(zhí)行以下處理。
[0562]對(duì)于具有高可靠性的像素，其中(f)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息等于或高于預(yù)設(shè)閾值，選擇(d)圖像合成部333生成的虛擬視角圖像的像素信息，并將該像素信息作為待輸出的虛擬視角圖像的構(gòu)成像素輸出。
[0563]另一方面，對(duì)于具有低可靠性的像素，其中(f)可靠性計(jì)算單元104所計(jì)算的可靠性R的信息小于預(yù)設(shè)閾值，選擇(e)第二 LPF334生成的應(yīng)用LPF的虛擬視角圖像的像素信息，并將該像素信息作為待輸出的虛擬視角圖像的構(gòu)成像素輸出。
[0564]圖27所示的虛擬視角圖像生成單元105通過(guò)如前所述地對(duì)其應(yīng)用LPF來(lái)執(zhí)行對(duì)視差信息的轉(zhuǎn)換以及對(duì)虛擬視角圖像的轉(zhuǎn)換，由此生成虛擬視角圖像。
[0565][6.關(guān)于其中執(zhí)行分辨率轉(zhuǎn)換以及利用對(duì)分辨率轉(zhuǎn)換后的圖像的應(yīng)用來(lái)執(zhí)行視差估計(jì)的示例]
[0566]接下來(lái)，將參照?qǐng)D28來(lái)描述其中執(zhí)行分辨率轉(zhuǎn)換以及利用對(duì)分辨率轉(zhuǎn)換后的圖像的應(yīng)用來(lái)執(zhí)行視差估計(jì)的示例。
[0567]除了由虛線所指示的區(qū)域401和可靠性選擇單元415之外，圖28所示的圖像處理裝置400具有與圖1所示的圖像處理裝置100相同的配置。
[0568]本示例的圖像處理裝置400具有包括被添加到圖1所示的圖像處理裝置的配置的分辨率轉(zhuǎn)換單元411、第二視差估計(jì)單元412、第二可靠性計(jì)算單元413、分辨率逆轉(zhuǎn)換單元414以及可靠性選擇單元415的配置。
[0569]分辨率轉(zhuǎn)換單元411執(zhí)行對(duì)從左視角圖像(L圖像)輸入單元101輸入的L圖像和從右視角圖像(R圖像)輸入單元102輸入的R圖像的分辨率轉(zhuǎn)換。
[0570]具體地，由輸入L和R圖像生成具有低分辨率的圖像。
[0571]第二視差估計(jì)單元412利用分辨率轉(zhuǎn)換單元411所生成的具有低分辨率的L和R圖像來(lái)估計(jì)視差。生成基于具有低分辨率的圖像的估計(jì)視差信息。
[0572]將估計(jì)視差信息輸入到第二可靠性計(jì)算單元413。
[0573]第二可靠性計(jì)算單元413計(jì)算第二視差估計(jì)單元412生成的估計(jì)視差信息的可靠性。如之前參照?qǐng)D6至21所描述的處理一樣來(lái)執(zhí)行計(jì)算可靠性的處理。換言之，計(jì)算多個(gè)不同可靠性(R0至R5)，利用預(yù)設(shè)權(quán)重α O至α 5來(lái)執(zhí)行加權(quán)相加，由此計(jì)算可靠性。
[0574]以具有低分辨率的圖像的像素為單位來(lái)設(shè)置可靠性。
[0575]將可靠性的信息輸入到分辨率逆轉(zhuǎn)換單元414。
[0576]分辨率逆轉(zhuǎn)換單元414對(duì)與每個(gè)像素的對(duì)應(yīng)的可靠性的信息執(zhí)行與分辨率轉(zhuǎn)換單元411所執(zhí)行的分辨率轉(zhuǎn)換相逆的分辨率轉(zhuǎn)換處理，以執(zhí)行恢復(fù)到原始輸入圖像的像素?cái)?shù)量的處理。
[0577]將分辨率逆轉(zhuǎn)換處理所生成的可靠性的第二信息輸入到可靠性選擇單元415。
[0578]附圖中所示的第一視差估計(jì)單元103執(zhí)行與參照?qǐng)D1所描述的處理相同的處理，并在此后由此基于輸入L和R圖像而生成估計(jì)視差信息。
[0579]第一可靠性計(jì)算單元104也執(zhí)行與參照?qǐng)D1所描述的處理相同的處理，并在此后由此來(lái)計(jì)算與第一視差估計(jì)單元103生成的以像素為單位的估計(jì)視差信息對(duì)應(yīng)的可靠性。如之前參照?qǐng)D6至21所描述的處理一樣來(lái)執(zhí)行計(jì)算。換言之，計(jì)算多個(gè)不同可靠性(R0至R5)，利用預(yù)設(shè)權(quán)重α0至α 5來(lái)執(zhí)行加權(quán)相加，并由此計(jì)算可靠性。
[0580]將第一可靠性計(jì)算單元104計(jì)算的第一可靠性輸入到可靠性選擇單元415。
[0581]可靠性選擇單元415接收下列信息的輸入:
[0582](a)與基于輸入L和R圖像的估計(jì)視差信息對(duì)應(yīng)的、第一可靠性計(jì)算單元104所計(jì)算的第一可靠性的信息；以及
[0583](b)與基于低分辨率L和R圖像的估計(jì)視差信息對(duì)應(yīng)的、第二可靠性計(jì)算單元413所計(jì)算的第二可靠性的信息，
[0584]換言之，可靠性選擇單元415接收與每個(gè)像素對(duì)應(yīng)的兩個(gè)可靠性信息的輸入。
[0585]可靠性選擇單元415通過(guò)比較以像素為單位的兩個(gè)可靠性信息而選擇較高可靠性的信息，然后將較高可靠性的信息作為像素的可靠性的信息輸出。
[0586]將選擇的以像素為單位的可靠性的信息輸入到虛擬視角圖像生成單元105。
[0587]虛擬視角圖像生成單元105執(zhí)行之前參照?qǐng)D22至27所描述的處理，由此來(lái)執(zhí)行參照可靠性的信息生成虛擬視角圖像的處理。
[0588]將虛擬視角圖像生成單元105生成的虛擬視角圖像經(jīng)由顯示控制單元106輸出并顯示到顯示單元Iio上。
[0589]如上所述，在本示例的配置中，通過(guò)執(zhí)行下列兩個(gè)處理來(lái)生成根據(jù)每個(gè)像素的兩個(gè)可靠性信息:
[0590]基于分辨率轉(zhuǎn)換前的圖像的視差估計(jì)和可靠性信息計(jì)算處理；以及
[0591]基于通過(guò)向低分辨率的轉(zhuǎn)換而獲得的低分辨率圖像的視差估計(jì)和可靠性信息計(jì)
算處理。
[0592]此外，在兩個(gè)可靠性信息中，使用以像素為單位的較高可靠性信息作為最終可靠性信息。
[0593]利用這些處理，可以降低由例如局部圖像誤差等引起的視差估計(jì)中的誤差的影響
坐寸ο
[0594]應(yīng)當(dāng)注意，如上所述，本公開的圖像處理裝置生成的顯示圖像是用戶可以利用其在不佩戴眼鏡的情況下觀看到立體圖像的裸眼3D顯示裝置的顯示圖像。
[0595]顯示單元110是執(zhí)行裸眼3D顯示的顯示單元，并且是在顯示面上包括例如透鏡片或視差屏障并能夠根據(jù)觀看位置來(lái)控制左眼和右眼所看見的圖像的顯示單元。
[0596]顯示控制單元106將虛擬視角圖像生成單元105所生成的具有N個(gè)視角的圖像輸出到顯示單元110。
[0597]應(yīng)當(dāng)注意，顯示控制單元106根據(jù)顯示單元110的顯示配置而生成顯示信息。
[0598]應(yīng)當(dāng)注意，也可以將圖像處理裝置配置為例如成像裝置比如攝像裝置、PC或者顯示裝置比如具有成像單元的電視機(jī)，以及可以設(shè)置圖像處理裝置100以將其配置成具有根據(jù)當(dāng)圖像處理裝置被配置為以上裝置之一時(shí)的每個(gè)裝置的功能。
[0599]例如，將攝像裝置配置成具有從不同視角拍攝L和R圖像來(lái)作為圖像的成像單元，并利用從成像單元輸入的L和R圖像來(lái)生成多視角圖像。
[0600][7.本公開的配置的總結(jié)]
[0601]上文中，已參照具體示例詳細(xì)描述了本公開的實(shí)施例。然而，本領(lǐng)域的技術(shù)人員顯然可以在不脫離本公開的要旨的范圍內(nèi)修改或替換示例。換言之，本公開是以范例的形式公開的，并且不應(yīng)當(dāng)被局限性地解釋。當(dāng)確定本公開的要旨時(shí)，應(yīng)當(dāng)考慮權(quán)利要求。
[0602]此外，也可以如下來(lái)配置本技術(shù)。
[0603](I) 一種圖像處理裝置，包括:
[0604]左視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)；
[0605]右視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于右眼的圖像信號(hào)的右視角圖像(R圖像)；
[0606]視差估計(jì)單元，被配置為根據(jù)所述左視角圖像(L圖像)和所述右視角圖像(R圖像)生成視差信息；
[0607]可靠性計(jì)算單元，被配置為計(jì)算所述視差估計(jì)單元生成的所述視差信息的可靠性；以及
[0608]虛擬視角圖像生成單元，被配置為通過(guò)接收所述左視角圖像(L圖像)、所述右視角圖像(R圖像)、所述視差信息和所述可靠性的輸入來(lái)生成包括除了輸入的L圖像和R圖像的視角之外的視角圖像的虛擬視角圖像，
[0609]其中，所述虛擬視角圖像生成單元生成所述虛擬視角圖像，以使得待生成的所述虛擬視角圖像的視差間隔在所述可靠性高時(shí)被設(shè)置得寬以及在所述可靠性低時(shí)設(shè)置得窄。
[0610](2)根據(jù)(I)所述的圖像處理裝置，其中，所述可靠性計(jì)算單元通過(guò)多個(gè)不同的可靠性計(jì)算處理來(lái)計(jì)算多個(gè)可靠性信息，然后通過(guò)對(duì)多個(gè)計(jì)算的可靠性信息的加權(quán)相加來(lái)計(jì)算最終可靠性。
[0611](3)根據(jù)(I)或(2)所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)殘差分量的量來(lái)執(zhí)行可靠性計(jì)算，所述殘差分量的量由輸入的圖像和根據(jù)所述視差估計(jì)單元所估計(jì)的所述視差信息而由視差補(bǔ)償生成的視差補(bǔ)償圖像之間的差的計(jì)算所獲得。
[0612](4)根據(jù)(3)所述的圖像處理裝置，其中，所述可靠性計(jì)算單元在根據(jù)所述殘差分量的可靠性計(jì)算處理中，根據(jù)所述左視角圖像(L圖像)或所述右視角圖像(R圖像)的以像素區(qū)域?yàn)閱挝坏目臻g活動(dòng)性而改變可靠性計(jì)算的方面。
[0613](5)根據(jù)(3)所述的圖像處理裝置，其中，所述可靠性計(jì)算單元在根據(jù)所述殘差分量的可靠性計(jì)算處理中，根據(jù)所述左視角圖像(L圖像)或所述右視角圖像(R圖像)的以像素區(qū)域?yàn)閱挝坏膭?dòng)態(tài)范圍而改變可靠性計(jì)算的方面。
[0614](6)根據(jù)(I)至(5)中的任意一項(xiàng)所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)所述視差估計(jì)單元所估計(jì)的所述視差信息的水平相鄰像素的視差之差來(lái)執(zhí)行可靠性計(jì)算。
[0615](7)根據(jù)(I)至(6)中的任意一項(xiàng)所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)所述視差估計(jì)單元所估計(jì)的所述視差信息的垂直相鄰像素的視差之差來(lái)執(zhí)行可靠性計(jì)算。
[0616](8)根據(jù)(I)至(7)中的任意一項(xiàng)所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)所述視差估計(jì)單元所估計(jì)的所述視差信息是否達(dá)到預(yù)設(shè)的上限值或下限值來(lái)執(zhí)行可靠性計(jì)算。
[0617](9)根據(jù)(I)至(8)中的任意一項(xiàng)所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)所述視差估計(jì)單元基于從所述左視角圖像(L圖像)輸入單元輸入的所述左視角圖像(L圖像)估計(jì)的所述視差信息和所述視差估計(jì)單元基于從所述右視角圖像(R圖像)輸入單元輸入的所述右視角圖像(R圖像)估計(jì)的所述視差信息的匹配來(lái)執(zhí)行可靠性計(jì)算。
[0618](10)根據(jù)(I)至(9)中的任意一項(xiàng)所述的圖像處理裝置，其中，所述虛擬視角圖像生成單元具有視差調(diào)節(jié)部和圖像合成部，所述視差調(diào)節(jié)部被配置為確定所述虛擬視角圖像的視差位置，以使得根據(jù)所述可靠性計(jì)算單元計(jì)算的所述可靠性、要生成的虛擬視角圖像的視差間隔在所述可靠性高時(shí)被設(shè)置得寬以及在所述可靠性低時(shí)被設(shè)置得窄，以及所述圖像合成部被配置為根據(jù)所述視差調(diào)節(jié)部所確定的所述視差位置生成所述虛擬視角圖像。
[0619](11)根據(jù)(10)所述的圖像處理裝置，
[0620]其中，所述虛擬視角圖像生成單元具有其中存儲(chǔ)所述可靠性和最佳視差量的對(duì)應(yīng)信息的可靠性數(shù)據(jù)庫(kù)，以及
[0621]其中，所述視差調(diào)節(jié)部根據(jù)從所述可靠性計(jì)算單元輸入的所述可靠性，通過(guò)應(yīng)用存儲(chǔ)在所述可靠性數(shù)據(jù)庫(kù)中的所述可靠性和最佳視差量的對(duì)應(yīng)信息來(lái)獲取所述最佳視差量，然后根據(jù)所獲取的視差量來(lái)確定虛擬視角圖像位置。
[0622]( 12 )根據(jù)(I)至(11)中的任意一項(xiàng)所述的圖像處理裝置，其中，對(duì)于下列兩個(gè)視差息(a)和(b):
[0623](a)所述視差估計(jì)單元所估計(jì)的所述視差信息；以及
[0624](b)被配置成作為對(duì)被配置為將所述視差信息表示為圖像的視差圖應(yīng)用低通濾波器(LPF)的結(jié)果的應(yīng)用LPF的視差信息，
[0625]所述虛擬視角圖像生成單元還具有視差信息選擇部和圖像合成部，所述視差信息選擇部被配置為對(duì)具有高可靠性的像素選擇所述視差信息以及對(duì)具有低可靠性的像素選擇所述應(yīng)用LPF的視差信息，所述圖像合成部被配置為基于所述視差信息選擇部所選擇的所述視差信息來(lái)生成虛擬視角圖像。
[0626](13)根據(jù)(I)至(12)中的任意一項(xiàng)所述的圖像處理裝置，其中，對(duì)于下列兩個(gè)虛擬視角圖像(a)和(b):
[0627](a)所述圖像合成部所生成的虛擬視角圖像；以及
[0628](b)被配置成作為對(duì)所述圖像合成部生成的所述虛擬視角圖像應(yīng)用LPF的結(jié)果的應(yīng)用低通濾波器(LPF)的虛擬視角圖像，
[0629]所述虛擬視角圖像生成單元還具有虛擬視角圖像選擇部，所述虛擬視角圖像選擇部被配置為對(duì)于具有高可靠性的像素選擇所述虛擬視角圖像以及對(duì)于具有低可靠性的像素選擇所述應(yīng)用LPF的虛擬視角圖像。
[0630](14) 一種圖像處理裝置，包括:
[0631]左視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)；
[0632]右視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于右眼的圖像信號(hào)的右視角圖像(R圖像)；
[0633]第一視差估計(jì)單元，被配置為根據(jù)所述左視角圖像(L圖像)和所述右視角圖像(R圖像)生成視差信息；
[0634]第一可靠性計(jì)算單元，被配置為計(jì)算所述第一視差估計(jì)單元生成的所述視差信息的第一可靠性；
[0635]分辨率轉(zhuǎn)換單元，被配置為執(zhí)行對(duì)所述左視角圖像(L圖像)和所述右視角圖像(R圖像)的分辨率轉(zhuǎn)換；
[0636]第二視差估計(jì)單元，被配置為基于從所述分辨率轉(zhuǎn)換單元輸出的具有低分辨率的左視角圖像(L圖像)和右視角圖像(R圖像)來(lái)執(zhí)行對(duì)視差信息的估計(jì)；
[0637]第二可靠性計(jì)算單元，被配置為計(jì)算所述第二視差估計(jì)單元生成的第二視差信息的第二可靠性；[0638]分辨率逆轉(zhuǎn)換單元，被配置為執(zhí)行所述分辨率轉(zhuǎn)換的逆轉(zhuǎn)換；
[0639]可靠性選擇單元，被配置為選擇并輸出通過(guò)將所述第一可靠性與所述第二可靠性進(jìn)行比較而獲得的較高的可靠性，來(lái)作為最終可靠性；以及
[0640]虛擬視角圖像生成單元，被配置為通過(guò)接收所述左視角圖像(L圖像)、所述右視角圖像(R圖像)、所述視差信息和所述最終可靠性的輸入來(lái)生成包括除了輸入的L和R圖像的視角之外的視角圖像的虛擬視角圖像，
[0641]其中，所述虛擬視角圖像生成單元生成所述虛擬視角圖像，以使得要生成的所述虛擬視角圖像的視差間隔在所述最終可靠性高時(shí)被設(shè)置得寬以及在所述最終可靠性低時(shí)被設(shè)置得窄。
[0642]此外，由以上描述的裝置等所執(zhí)行的處理的方法以及使得處理被執(zhí)行的程序也包括在本公開的配置中。
[0643]此外，說(shuō)明書中所說(shuō)明的處理序列可以通過(guò)硬件、通過(guò)軟件以及通過(guò)組合了硬件和軟件的配置來(lái)實(shí)現(xiàn)。在通過(guò)軟件來(lái)實(shí)現(xiàn)處理的情況下，可以在合并到專用硬件中的計(jì)算機(jī)內(nèi)的存儲(chǔ)器中安裝其中編碼有處理序列的程序并執(zhí)行該程序。也可以在能夠執(zhí)行各種類型的處理的通用計(jì)算機(jī)中安裝程序并執(zhí)行該程序。例如，程序可以預(yù)先安裝在存儲(chǔ)介質(zhì)中。除了從存儲(chǔ)介質(zhì)安裝在計(jì)算機(jī)中之外，程序也可以通過(guò)諸如局域網(wǎng)(LAN)或互聯(lián)網(wǎng)的網(wǎng)絡(luò)來(lái)接收，以及可以被安裝在諸如內(nèi)置在計(jì)算機(jī)中的硬盤等的存儲(chǔ)介質(zhì)中。
[0644]注意，該說(shuō)明書中所描述的各種類型的處理不僅可以按照如已經(jīng)描述過(guò)的時(shí)間順序來(lái)執(zhí)行，而且也可以根據(jù)執(zhí)行處理的裝置的處理能力或根據(jù)需要而并行地或單獨(dú)地執(zhí)行。此外，該說(shuō)明書中的系統(tǒng)并不限于邏輯上聚集多個(gè)裝置、且所有這些裝置都包含在相同外殼內(nèi)的配置。
[0645]工業(yè)實(shí)用性
[0646]如上文所述，根據(jù)本公開的實(shí)施例的配置，實(shí)現(xiàn)了其中基于作為三維圖像的L和R圖像而生成根據(jù)估計(jì)視差的可靠性的最佳多視角圖像的配置。
[0647]具體地，輸入要應(yīng)用于三維圖像顯示的左視角圖像(L圖像)和右視角圖像(R圖像)，基于左視角圖像(L圖像)和右視角圖像(R圖像)生成視差信息，然后計(jì)算生成的視差信息的可靠性。通過(guò)例如多個(gè)不同的分析處理計(jì)算多個(gè)不同可靠性，然后通過(guò)對(duì)多個(gè)計(jì)算的可靠性的加權(quán)相加計(jì)算最終可靠性。根據(jù)計(jì)算的可靠性改變虛擬視角圖像的生成方面。當(dāng)可靠性高時(shí)，例如，將虛擬視角圖像的視差間隔設(shè)置得寬，而當(dāng)可靠性低時(shí)，將視差間隔設(shè)置得窄。
[0648]利用這些處理，可以根據(jù)估計(jì)視差的可靠性來(lái)生成最佳多視角圖像。
[0649]附圖標(biāo)記列表
[0650]100圖像處理裝置
[0651]101左視角圖像(L圖像)輸入單元
[0652]102右視角圖像(R圖像)輸入單元
[0653]103視差估計(jì)單元
[0654]104可靠性計(jì)算單元
[0655]105虛擬視角圖像生成單元
[0656]106顯示控制單元[0657]107顯示單元
[0658]121塊
[0659]131輸入L圖像
[0660]132輸入R圖像
[0661]133虛擬視角圖像
[0662]171第一可靠性(RO)計(jì)算部
[0663]172第二可靠性(Rl)計(jì)算部
[0664]173第三可靠性(R2)計(jì)算部
[0665]174第四可靠性(R3)計(jì)算部
[0666]175第五可靠性(R4)計(jì)算部
[0667]181算術(shù)運(yùn)算部
[0668]201輸入L圖像
[0669]202估計(jì)視差信 息
[0670]203視差補(bǔ)償圖像
[0671]204輸入R圖像
[0672]205殘差圖
[0673]211輸入L圖像
[0674]212估計(jì)視差信息
[0675]213
[0676]214殘差圖
[0677]232估計(jì)視差信息
[0678]311視差調(diào)節(jié)部
[0679]312圖像合成部
[0680]313可靠性數(shù)據(jù)庫(kù)
[0681]331第一 LPF
[0682]332視差信息選擇部
[0683]333圖像合成部
[0684]334第二 LPF
[0685]335虛擬視角圖像選擇部
[0686]411分辨率轉(zhuǎn)換單元
[0687]412第二視差估計(jì)單元
[0688]413第二可靠性計(jì)算單元
[0689]414分辨率逆轉(zhuǎn)換單元
[0690]415可靠性選擇單元
【權(quán)利要求】
1.一種圖像處理裝置，包括: 左視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)； 右視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于右眼的圖像信號(hào)的右視角圖像(R圖像)； 視差估計(jì)單元，被配置為根據(jù)所述左視角圖像(L圖像)和所述右視角圖像(R圖像)生成視差息； 可靠性計(jì)算單元，被配置為計(jì)算所述視差估計(jì)單元生成的所述視差信息的可靠性；以及 虛擬視角圖像生成單元，被配置為通過(guò)接收所述左視角圖像(L圖像)、所述右視角圖像(R圖像)、所述視差信息和所述可靠性的輸入來(lái)生成包括除了輸入的L圖像和R圖像的視角之外的視角圖像的虛擬視角圖像， 其中，所述虛擬視角圖像生成單元生成所述虛擬視角圖像，以使得待生成的所述虛擬視角圖像的視差間隔在所述可靠性高時(shí)被設(shè)置得寬以及在所述可靠性低時(shí)設(shè)置得窄。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述可靠性計(jì)算單元通過(guò)多個(gè)不同的可靠性計(jì)算處理來(lái)計(jì)算多個(gè)可靠性信息，然后通過(guò)對(duì)多個(gè)計(jì)算的可靠性信息的加權(quán)相加來(lái)計(jì)算最終可靠性。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)殘差分量的量來(lái)執(zhí)行可靠性計(jì)算，所述殘差分量的量由輸入的圖像和根據(jù)所述視差估計(jì)單元所估計(jì)的所述視差信息而由視差補(bǔ)償生成的視差補(bǔ)償圖像之間的差的計(jì)算所獲得。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述可靠性計(jì)算單元在根據(jù)所述殘差分量的可靠性計(jì)算處理中，根據(jù)所述左視角圖像(L圖像)或所述右視角圖像(R圖像)的以像素區(qū)域?yàn)閱挝坏目臻g活動(dòng)性而改變可靠性計(jì)算的方面。
5.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述可靠性計(jì)算單元在根據(jù)所述殘差分量的可靠性計(jì)算處理中，根據(jù)所述左視角圖像(L圖像)或所述右視角圖像(R圖像)的以像素區(qū)域?yàn)閱挝坏膭?dòng)態(tài)范圍而改變可靠性計(jì)算的方面。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)所述視差估計(jì)單元所估計(jì)的所述視差信息的水平相鄰像素的視差之差來(lái)執(zhí)行可靠性計(jì)算。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)所述視差估計(jì)單元所估計(jì)的所述視差信息的垂直相鄰像素的視差之差來(lái)執(zhí)行可靠性計(jì)算。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)所述視差估計(jì)單元所估計(jì)的所述視差信息是否達(dá)到預(yù)設(shè)的上限值或下限值來(lái)執(zhí)行可靠性計(jì)算。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述可靠性計(jì)算單元根據(jù)所述視差估計(jì)單元基于從所述左視角圖像(L圖像)輸入單元輸入的所述左視角圖像(L圖像)估計(jì)的所述視差信息和所述視差估計(jì)單元基于從所述右視角圖像(R圖像)輸入單元輸入的所述右視角圖像(R圖像)估計(jì)的所述視差信息的匹配來(lái)執(zhí)行可靠性計(jì)算。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述虛擬視角圖像生成單元具有視差調(diào)節(jié)部和圖像合成部，所述視差調(diào)節(jié)部被配置為確定所述虛擬視角圖像的視差位置，以使得根據(jù)所述可靠性計(jì)算單元計(jì)算的所述可靠性、要生成的虛擬視角圖像的視差間隔在所述可靠性高時(shí)被設(shè)置得寬以及在所述可靠性低時(shí)被設(shè)置得窄，以及所述圖像合成部被配置為根據(jù)所述視差調(diào)節(jié)部所確定的所述視差位置生成所述虛擬視角圖像。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置， 其中，所述虛擬視角圖像生成單元具有其中存儲(chǔ)所述可靠性和最佳視差量的對(duì)應(yīng)信息的可靠性數(shù)據(jù)庫(kù)，以及 其中，所述視差調(diào)節(jié)部根據(jù)從所述可靠性計(jì)算單元輸入的所述可靠性，通過(guò)應(yīng)用存儲(chǔ)在所述可靠性數(shù)據(jù)庫(kù)中的所述可靠性和最佳視差量的對(duì)應(yīng)信息來(lái)獲取所述最佳視差量，然后根據(jù)所獲取的視差量來(lái)確定虛擬視角圖像位置。
12.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，對(duì)于下列兩個(gè)視差信息(a)和(b): (a)所述視差估計(jì)單元所估計(jì)的所述視差信息；以及 (b)被配置成作為對(duì)被配置為將所述視差信息表示為圖像的視差圖應(yīng)用低通濾波器(LPF)的結(jié)果的應(yīng)用LPF的視差信息， 所述虛擬視角圖像生成單元還具有視差信息選擇部和圖像合成部，所述視差信息選擇部被配置為對(duì)具有高可靠性的像素選擇所述視差信息以及對(duì)具有低可靠性的像素選擇所述應(yīng)用LPF的視差信息，所述圖像合成部被配置為基于所述視差信息選擇部所選擇的所述視差信息來(lái)生成虛擬視角圖像。
13.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，對(duì)于下列兩個(gè)虛擬視角圖像(a)和(b): (a)所述圖像合成部所生成的虛擬視角圖像；以及 (b)被配置成作為對(duì)所述圖像合成部生成的所述虛擬視角圖像應(yīng)用LPF的結(jié)果的應(yīng)用低通濾波器(LPF)的虛擬視角圖像， 所述虛擬視角圖像生成單元還具有虛擬視角圖像選擇部，所述虛擬視角圖像選擇部被配置為對(duì)于具有高可靠性的像素選擇所述虛擬視角圖像以及對(duì)于具有低可靠性的像素選擇所述應(yīng)用LPF的虛擬視角圖像。
14.一種圖像處理裝置，包括: 左視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)； 右視角圖像輸入單元，被配置為輸入要應(yīng)用于三維圖像顯示的作為用于右眼的圖像信號(hào)的右視角圖像(R圖像)； 第一視差估計(jì)單元，被配置為根據(jù)所述左視角圖像(L圖像)和所述右視角圖像(R圖像)生成視差信息； 第一可靠性計(jì)算單元，被配置為計(jì)算所述第一視差估計(jì)單元生成的所述視差信息的第一可靠性； 分辨率轉(zhuǎn)換單元，被配置為執(zhí)行對(duì)所述左視角圖像(L圖像)和所述右視角圖像(R圖像)的分辨率轉(zhuǎn)換； 第二視差估計(jì)單元，被配置為基于從所述分辨率轉(zhuǎn)換單元輸出的具有低分辨率的左視角圖像(L圖像)和右視角圖像(R圖像)來(lái)執(zhí)行對(duì)視差信息的估計(jì)； 第二可靠性計(jì)算單元，被配置為計(jì)算所述第二視差估計(jì)單元生成的第二視差信息的第二可靠性；分辨率逆轉(zhuǎn)換單元，被配置為執(zhí)行所述分辨率轉(zhuǎn)換的逆轉(zhuǎn)換； 可靠性選擇單元，被配置為選擇并輸出通過(guò)將所述第一可靠性與所述第二可靠性進(jìn)行比較而獲得的較高的可靠性，來(lái)作為最終可靠性；以及 虛擬視角圖像生成單元，被配置為通過(guò)接收所述左視角圖像(L圖像)、所述右視角圖像(R圖像)、所述視差信息和所述最終可靠性的輸入來(lái)生成包括除了輸入的L和R圖像的視角之外的視角圖像的虛擬視角圖像， 其中，所述虛擬視角圖像生成單元生成所述虛擬視角圖像，以使得要生成的所述虛擬視角圖像的視差間隔在所述最終可靠性高時(shí)被設(shè)置得寬以及在所述最終可靠性低時(shí)被設(shè)置得窄。
15.一種在圖像處理裝置中執(zhí)行的圖像處理方法，包括: 通過(guò)圖像輸入單元輸入要應(yīng)用于三維圖像顯示的、作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)和作為用于右眼的圖像信號(hào)的右視角圖像(R圖像)； 通過(guò)視差估計(jì)單元根據(jù)所述左視角圖像(L圖像)和所述右視角圖像(R圖像)生成視差信息； 通過(guò)可靠性計(jì)算 單元計(jì)算所述視差估計(jì)單元生成的所述視差信息的可靠性；以及通過(guò)虛擬視角圖像生成單元通過(guò)接收所述左視角圖像(L圖像)、所述右視角圖像(R圖像)、所述視差信息和所述可靠性的輸入，來(lái)執(zhí)行用于生成包括除了輸入的L圖像和R圖像的視角之外的視角圖像的虛擬視角圖像的虛擬視角圖像生成處理， 其中，所述虛擬視角圖像生成單元生成所述虛擬視角圖像，以使得要生成的所述虛擬視角圖像的視差間隔在所述可靠性高時(shí)被設(shè)置得寬以及在所述可靠性低時(shí)被設(shè)置得窄。
16.一種用于使圖像處理裝置執(zhí)行圖像處理的程序，所述圖像處理包括: 通過(guò)圖像輸入單元輸入要應(yīng)用于三維圖像顯示的、作為用于左眼的圖像信號(hào)的左視角圖像(L圖像)和作為用于右眼的圖像信號(hào)的右視角圖像(R圖像)； 在視差估計(jì)單元中根據(jù)所述左視角圖像(L圖像)和所述右視角圖像(R圖像)生成視差信息；在可靠性計(jì)算單元中計(jì)算所述視差估計(jì)單元生成的所述視差信息的可靠性；以及在虛擬視角圖像生成單元中通過(guò)接收所述左視角圖像(L圖像)、所述右視角圖像(R圖像)、所述視差信息和所述可靠性的輸入來(lái)使虛擬視角圖像生成處理被執(zhí)行，所述虛擬視角圖像生成處理包括生成包括除了輸入的L圖像和R圖像的視角之外的視角圖像的虛擬視角圖像， 其中，使所述虛擬視角圖像生成單元執(zhí)行生成所述虛擬視角圖像的處理，以使得要生成的所述虛擬視角圖像的視差間隔在所述可靠性高時(shí)被設(shè)置得寬以及在所述可靠性低時(shí)被設(shè)置得窄。
【文檔編號(hào)】H04N13/04GK103843336SQ201280049221
【公開日】2014年6月4日 申請(qǐng)日期:2012年9月13日 優(yōu)先權(quán)日:2011年10月13日
【發(fā)明者】赤尾雅人 申請(qǐng)人:索尼公司