專利名稱：視差圖像生成裝置和方法
技術(shù)領(lǐng)域：
這里所述的實(shí)施方式一般地涉及一種視差圖像生成裝置和方法。
背景技術(shù)：
已知根據(jù)二維圖像(靜止圖像、運(yùn)動圖像等)推定圖像內(nèi)的深度并且根據(jù)指示所推定的深度的信息來生成視差圖像的技術(shù)。例如，JP-A 2005-151534(公開)公開了如下方法根據(jù)圖像中的高頻分量將與多個圖像的深度(即，可感知的深度)信息項(xiàng)對應(yīng)的模型相混合，并且將作為圖像的顏色信號的紅色信號添加到所得到的深度模型，從而得到最終的深度(即，可感知的深度)信息。另外，C. -C. Cheng, C. -Τ. Li, Y. -Μ. Tsai 和 L. -G. Chen 的 “AQualitylcalable Depth-Aware Video Processing System” SID2009中公開了如下的方法通過使用3種方法進(jìn)行推定而取得整個圖像的深度(即，可感知的深度)信息項(xiàng)，對所取得的3個深度信息項(xiàng)進(jìn)行加權(quán)平均，以生成最終的深度信息。

發(fā)明內(nèi)容
一般地，根據(jù)一個實(shí)施方式，視差圖像生成裝置利用第一圖像生成與其具有視差的視差圖像。該視差圖像生成裝置包括以下單元。第一推定單元通過使用第一方法推定指示第一圖像中的第一深度的分布的分布信息項(xiàng)。所述分布信息項(xiàng)落入要再現(xiàn)的深度范圍內(nèi)。第一合成單元合成所述分布信息項(xiàng)以生成第一深度信息。第二計(jì)算單元計(jì)算指示所述第一圖像中的對象的相對起伏的第二深度信息。第三合成單元通過使用不同于所述第一方法的方法來合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。生成單元根據(jù)所述第三深度信息和所述第一圖像生成視差圖像。


圖IA和IB是分別示出根據(jù)第一實(shí)施方式的視差圖像生成裝置的框圖。圖2是用于說明第一實(shí)施方式的視差圖像生成裝置的操作的流程圖。圖3A是示出對應(yīng)于分布信息的深度模型的例子的圖。圖;3B是示出對應(yīng)于起伏信息的深度模型的例子的圖。圖4是用于說明根據(jù)深度信息計(jì)算視差向量的方法的圖。圖5是用于說明根據(jù)視差向量計(jì)算視差圖像的方法的圖。圖6A和6B是示出深度信息項(xiàng)的例子的曲線圖。圖7A和7B是示出第一和第二深度信息項(xiàng)的例子的曲線圖。圖8是示出第三深度信息的例子的曲線圖。圖9是示出用于將深度信息轉(zhuǎn)換成視差信息的模型的例子的框圖。
具體實(shí)施方式
以下參照附圖對實(shí)施方式進(jìn)行詳細(xì)說明。在實(shí)施方式中，相同的附圖標(biāo)記表示相同的要素，并且省略重復(fù)的說明。(第一實(shí)施方式)第一實(shí)施方式涉及一種利用圖像從第一二維圖像(包括靜止圖像和運(yùn)動圖像)來生成至少一個與其具有視差的視差圖像的裝置。盡管在下述實(shí)施方式中對生成兩個視差圖像的方法進(jìn)行了說明，但本實(shí)施方式不限于此。例如，當(dāng)對裸眼實(shí)現(xiàn)立體視覺時(shí)，可以生成在數(shù)量上對應(yīng)于觀察點(diǎn)的視差圖像。圖IA是示出第一實(shí)施方式的視差圖像生成裝置的框圖。如圖所示，視差圖像生成裝置包括第一深度計(jì)算單元100、第二深度計(jì)算單元200、合成單元300和生成單元400。以下的“深度”、“起伏，，等是指可感知的深度、起伏等。第一深度計(jì)算單元100包括N (彡2)個或更多的推定單元101⑴ 101 (N)和合成單元103。推定單元101⑴ 101 (N)利用不同方法推定由前側(cè)平面和后側(cè)平面限定的三維再現(xiàn)范圍中的深度分布，再現(xiàn)范圍中的深度對應(yīng)于第一圖像中的深度。然后，推定單元輸出指示所推定的分布的數(shù)據(jù)項(xiàng)。合成單元103合成數(shù)據(jù)項(xiàng)以生成第一深度信息。第二深度計(jì)算單元200計(jì)算第二深度信息，該第二深度信息指示第一圖像中的對象區(qū)域內(nèi)的相對起伏。對象區(qū)域是包括對象的第一圖像的區(qū)域。分布信息指示整個圖像的深度再現(xiàn)范圍內(nèi)的絕對深度，而起伏信息指示對象中的相對深度。即，基于分布信息再現(xiàn)的深度范圍是再現(xiàn)范圍的任何部分，而基于起伏信息再現(xiàn)的深度范圍比再現(xiàn)范圍要窄。合成單元300合成第一和第二深度信息項(xiàng)以生成第三深度信息。合成單元300利用不同于合成單元103的方法合成深度信息。后面將對此作詳細(xì)說明。生成單元400根據(jù)第三深度信息和第一圖像生成視差圖像?？梢允褂萌魏我阎募夹g(shù)來根據(jù)深度信息生成視差圖像。圖IB示出第一實(shí)施方式的視差圖像生成裝置的變形。該變形與圖IA所示的第一實(shí)施方式的不同在于，第二深度計(jì)算單元200包括MO 2)個或更多的推定單元201(1) 201 (M)和合成單元203。推定單元201 (m) (1 ^ m ^ M)檢測第一圖像中的目標(biāo)對象，推定與所檢測的對象的類型相對應(yīng)的起伏，并且輸出指示所推定的起伏的起伏信息。另外，推定單元201(1) 201 (M)可以通過M種不同的方法來檢測相同的對象，而通過相同的推定方法取得與檢測結(jié)果相關(guān)的起伏信息項(xiàng)。可替代地，推定單元201(1) 201(M)可以通過相同的方法檢測相同的對象，而通過M種不同的方法取得與檢測結(jié)果有關(guān)的起伏信息項(xiàng)。合成單元203合成從推定單元201⑴ 201 (M)輸出的起伏信息項(xiàng)。以下對第一實(shí)施方式的視差圖像生成裝置的操作進(jìn)行說明，為了便于說明，以圖 IB的結(jié)構(gòu)為例。圖2示出第一實(shí)施方式的視差圖像生成裝置的操作。這里假定通過下述步驟生成的視差圖像所實(shí)現(xiàn)的三維空間中的深度的再現(xiàn)范圍為Z，其中，ζ表示深度信息，ζ =0指示再現(xiàn)范圍的可感知的前側(cè)位置(可感知的最淺的位置)，而ζ = Z指示再現(xiàn)范圍的
5可感知的最后側(cè)位置(可感知的最深的位置)?？筛兄那皞?cè)位置和可感知的(最)后側(cè)位置以下分別簡稱為“前側(cè)位置”和“(最)后側(cè)位置”。推定單元101(1) IOl(N)通過利用不同的方法進(jìn)行推定，取得與三維再現(xiàn)范圍中的第一圖像內(nèi)的深度分布對應(yīng)的各個深度分布信息項(xiàng)(S21(l) (N))。在步驟S21(n) 中，推定單元101 (η)通過推定取得深度分布信息(1 < η < N)。為了通過推定取得深度分布信息，可以應(yīng)用準(zhǔn)備預(yù)設(shè)的深度模型并且根據(jù)第一圖像適當(dāng)?shù)厥褂玫姆椒?。圖3Α示出深度分布信息的模型。在圖3Α中，χ軸和y軸指示圖像中的位置，白色區(qū)域指示最后側(cè)區(qū)域(該最后側(cè)區(qū)域限定了再現(xiàn)范圍的后側(cè)平面)，而較黑的區(qū)域指示更靠近前側(cè)平面(即，可感知的前側(cè)平面)的區(qū)域?？商娲?，可以應(yīng)用如下方法檢測第一圖像與將要在不同于第一圖像的顯示時(shí)刻的時(shí)刻顯示的第二圖像之間的運(yùn)動，根據(jù)所檢測的運(yùn)動推定深度分布。另外可替代地，可以應(yīng)用根據(jù)特定的像素值圖案推定深度分布的方法。即，步驟21 (η)可以應(yīng)用能夠取得涉及整個第一圖像的深度分布信息的任何類型的推定方法。在第η個步驟S21 (η) (1 ^ η ^ N)中獲得的分布信息中的、像素位置(x，y)處的深度4如下所述定義。注意，0彡4(x，y)彡Ζ。合成單元103合成由推定單元101(1) IOl(N)取得的多個分布信息項(xiàng)，形成第一深度信息(S2》。在該深度信息合成步驟中，合成N個深度信息項(xiàng)來生成一個第一深度信息項(xiàng)。在計(jì)算機(jī)圖形中，當(dāng)合成兩個深度時(shí)，選擇并合成更靠近相機(jī)的深度。這是基于光線追蹤思想，即基于進(jìn)入眼睛的光是未被中斷的光的原則。同樣，在該步驟中，選擇并合成更靠近前側(cè)平面的深度。由于較淺的深度指示更靠近前側(cè)平面的位置，因此通過如下選擇最小值來取得第一深度信息zc (x, y) = min (Z1 (χ, y), . . . , zN(x, y)}其中，zc (χ, y)表示像素位置(χ, y)處的第一深度信息，min {a, b, c. . . }表示從 {a，b，c...}選擇最小值的操作。可替代地，可以通過對N個深度信息項(xiàng)進(jìn)行平均來得到第一深度信息，但這對于光線追蹤不是優(yōu)選的。推定單元201(1) 201(M)檢測第一圖像內(nèi)的目標(biāo)對象，并且通過推定來取得與所檢測的對象的類型相對應(yīng)的起伏信息(S23(l) S23(M))。在步驟S23(m)中，推定單元 201 (m)推定起伏(l<m<M)。更具體地說，每個推定單元201檢測第一圖像內(nèi)的目標(biāo)對象，并且根據(jù)對象的類型向所檢測的對象的區(qū)域分配預(yù)設(shè)的起伏模型，從而計(jì)算第二深度信息。在第一實(shí)施方式中，對如下方法進(jìn)行說明檢測存在于第一圖像內(nèi)的臉部的位置和尺寸，向所檢測的位置分配預(yù)設(shè)的相對深度模型。由此可以在對象區(qū)域中設(shè)定適當(dāng)?shù)钠鸱D:3B示出模型的例子。在該情況下，模型由人的臉部和上身形成。在圖:3B中， χ軸和y軸指示圖像中的位置，白色區(qū)域指示最后側(cè)區(qū)域，較黑的區(qū)域指示更靠近前側(cè)平面的區(qū)域。不僅是臉部，還可以檢測其它對象，并且分配與其對應(yīng)的深度模型。要檢測的對象不限于臉部，還可以是人的整個身體、動物、車輛等。在第一實(shí)施方式中，對車輛與臉部的檢測進(jìn)行說明。與像素位置(X，y)對應(yīng)的、通過步驟S23(m)中的推定而取得的起伏信息如下定義假定A<rm(x，y)彡‘其中，!"^^)指示沒有起伏的狀態(tài)，- 指示對象區(qū)域中的相對向前突起的狀態(tài)，&指示對象區(qū)域中的相對向后突起的狀態(tài)?？梢愿鶕?jù)所檢測的對象的尺寸來確定4。例如，如果對象較大，則相對深度顯得較大，從而將&設(shè)定得較大。相反，如果對象較小，則將4設(shè)定得較小。另外，可以根據(jù)與對象的位置對應(yīng)的第一深度信息來確定這種情況下，如果第一深度信息指示前側(cè)位置，則將L設(shè)定得較大，而如果第一深度信息指示后側(cè)位置，則將&設(shè)定得較小。合成單元203合成由推定單元201(1) 201 (M)生成的起伏信息，生成第二深度信息(SM)。在計(jì)算機(jī)圖形中，為了合成兩個深度，選擇并合成更靠近相機(jī)的深度。這是基于光線追蹤思想，即基于進(jìn)入眼睛的光是未被中斷的光的原則。在步驟S24中，像步驟S22 那樣，選擇并合成更靠近前側(cè)平面的深度。由于在深度信息中，較低的值指示更靠近前側(cè)平面的位置，因此可以通過如下選擇最小值來取得第二深度信息rc(x, y) = min^! (χ, y), . . . , rM(x, y)}其中，rc(X，y)表示像素位置(x，y)處的第二深度信息?？商娲?，可以通過對M 個起伏信息項(xiàng)進(jìn)行平均來得到第二深度信息，但這對于光線追蹤不是優(yōu)選的。進(jìn)一步可替代地，可以根據(jù)第一深度信息來合成起伏信息項(xiàng)。假定提供起伏信息項(xiàng)的對象的重心處的第一深度信息項(xiàng)為重心深度信息項(xiàng)，則可以選擇得到與最靠近前側(cè)平面的位置對應(yīng)的重心深度信息的起伏信息，作為對象(例如人和車輛)彼此重合的區(qū)域中包括的位置處得到的起伏信息。合成單元300合成第一和第二深度信息項(xiàng)以生成第三深度信息(S24)。為了進(jìn)行合成，合成單元300利用不同于合成單元103和203的方法。為了通過將對象區(qū)域中的相對起伏信息附加到指示第一圖像內(nèi)的絕對深度分布的第一深度信息上來表達(dá)深度信息，將第一和第二深度信息項(xiàng)相加來生成第三深度信息。zf (χ, y) = zc (χ, y) +rc (χ, y)其中，zf(x，y)表示像素位置(x，y)處的第三深度信息。另外，也可以進(jìn)行相乘來代替相加(zf (X，y) = zc (X，y) · rc (x, y))。第一和第二深度信息項(xiàng)的合成結(jié)果可能會脫離三維空間中的期望的深度再現(xiàn)范圍0 < ζ < Z。為了避免這種情況，優(yōu)選對第三深度信息進(jìn)行調(diào)整，使其不脫離期望的深度再現(xiàn)范圍。生成單元400根據(jù)第三深度信息和第一圖像生成視差圖像(S2Q。首先，根據(jù)第三深度信息計(jì)算視差向量。后面將對生成視差圖像的方法的例子作詳細(xì)說明。圖4是說明根據(jù)深度信息計(jì)算視差向量的方法的圖?？梢岳脤⒆笱?、右眼和對象彼此連接的三角形與將左視差、右視差和對象彼此連接的三角形之間的相似性來計(jì)算視差向量。最終的深度信息由zf指示，視差向量的大小由d[cm]指示。同樣，雙眼之間的距離、到屏幕的距離、屏幕與真實(shí)空間中的前側(cè)位置之間的距離、真實(shí)空間中的深度分別由 b [cm]、zs [cm]、z0[cm]禾口 Lz[cm]指示。從像素尺寸到真實(shí)空間的尺寸[cm]的變換以下述方式進(jìn)行。
dpixel =(屏幕分辨率[像素]/屏幕尺寸[cm]) · d [cm]這里假定深度信息zf指示0 Z的范圍(可以使用0 1的范圍)，0指示前側(cè)位置，Z指示最后側(cè)位置。但是，這些值是暫定的值，必須被轉(zhuǎn)換為真實(shí)距離。利用真實(shí)空間距離Lz將深度信息變換成真實(shí)空間的距離。該變換通過下述變換公式進(jìn)行y = L>max [cm]其中，Zfflax = Z0這種情況下，屏幕與對象之間的距離ζ'由下式給出
ζ' = Y Zf-Z0根據(jù)三角形之間的相似性，下述關(guān)系成立d b = (z' ) (zs+z' )(1)d(zs+z' ) = bz'(2)ζ = {(b-d)Z(1+d zs}/{Y (b_d)}(3)上述深度變換模型與視差向量成反比。但是，可以應(yīng)用例如利用正比關(guān)系來近似反比關(guān)系的一部分的函數(shù)模型。上述用于立體視覺的參數(shù)b、zs,、和Lz可以根據(jù)要提供的立體視覺而任意確定。 例如，根據(jù)屏幕的實(shí)際位置來確定zs，如果突出的程度增加，則將^設(shè)定得較大。另外，可以根據(jù)Lz來確定深度。一旦確定了用于立體視覺的參數(shù)，則可以按照由下述公式給出的深度視差向量變換模型，根據(jù)深度信息來計(jì)算視差向量，下述公式是通過修改上述公式(1) C3)而得到的 (d的單位為[cm])d b = (ζ ‘ ) (zs+z ‘)d = b{z' / (ζ+ζ ‘ )}圖5是用于說明根據(jù)所計(jì)算的視差向量來生成視差圖像的方法的圖。假定第一圖像是從位于右眼和左眼之間的觀察點(diǎn)得到的，則可以根據(jù)通過使視差向量d分別乘以-1Λ 和1/2而得到的視差向量 < 和dK，生成左視差圖像和右視差圖像。dL = (-1/2)ddE = (1/2)d可以通過按照4來移動第一圖像的像素值It (X，y)而生成左視差圖像。同樣，可以通過按照dK來移動第一圖像的像素值It (x，y)而生成右視差圖像。但是，可能會出現(xiàn)僅僅通過移動像素值無法分配像素值的區(qū)域(以下稱為孔)。對這樣的孔，例如分配周邊像素值。盡管對生成兩個視差圖像的情況進(jìn)行了說明，但在多個視差圖像的情況下，只要執(zhí)行類似的處理即可。以下將對在第一實(shí)施方式的視差圖像生成裝置中應(yīng)用的第三深度信息進(jìn)行說明。例如假定房間和其中的人的圖像為第一圖像。這種情況下，例如通過對模型分配房間的深度或者取得運(yùn)動向量，推定多個深度分布，并合成所推定的分布以生成第一深度信息。另外，通過檢測第一圖像中的人來進(jìn)行推定，取得起伏信息(第二深度信息)。這樣得到的第一和第二深度信息必須進(jìn)行合成。但是，起伏信息的再現(xiàn)范圍遠(yuǎn)遠(yuǎn)窄于整個圖像的深度分布信息的再現(xiàn)范圍。因此，如果通過與取得第一和/或第二深度信息同樣的方法來合成第一和第二深度信息項(xiàng)，則不能在圖像中保持深度分布的立體效果的同時(shí)，充分地表現(xiàn)對象(人)的起伏。在圖6 圖8中，橫軸指示像素位置，縱軸指示深度信息。圖6A和6B示出深度信息的例子。圖6A示出深度信息的測試圖案。在圖6A和6B 中，“0”指示最后側(cè)位置，“ 10”指示前側(cè)位置。在該深度信息與上述深度信息之間，前側(cè)位置和最后側(cè)位置之間的大小關(guān)系相反。分布信息1和分布信息2指示由推定單元101 (η) 生成的例子，起伏信息1和起伏信息2指示由推定單元201 (m)生成的例子。圖6B示出分布信息項(xiàng)1和2與起伏信息項(xiàng)1和2的平均信息、以及通過選擇圖6A的測試圖案中的各個位置處的最大值并將它們合成而得到的信息。在平均信息中，由分布信息項(xiàng)指示的深度動態(tài)范圍被壓縮，因此起伏信息被隱藏。相反，在最大值信息中，盡管保持了整個房間的深度動態(tài)范圍，但臉部的深度分布被完全隱藏。這是因?yàn)椋麄€圖像上的絕對深度分布信息和對象(臉部)上的相對起伏信息被一起合成。用語“絕對”是指相對于深度再現(xiàn)范圍0 < ζ < Z的絕對深度，而用語“相對”是指在整個圖像中包括的局部對象區(qū)域中的相對深度。相對深度信息的再現(xiàn)范圍不同于絕對深度信息的再現(xiàn)范圍。即，絕對深度信息的值的技術(shù)含義不同于相對深度信息的值。因此，如果利用相同的方法來合成絕對深度信息和相對深度信息，則所得到的合成值不能充分地反映圖像的細(xì)節(jié)。圖7A示出通過合成圖6A所示的分布信息項(xiàng)1和2而得到的第一深度信息。圖7B 示出通過根據(jù)圖6A所示的分布信息項(xiàng)1和2進(jìn)行合成而得到的第二深度信息。在兩種合成中，應(yīng)用了選擇相同水平位置處的最靠近前側(cè)平面的深度的信息的方法。圖8示出通過合成圖7A和圖7B所示的第一和第二深度信息項(xiàng)而得到的第三深度信息。實(shí)際上，第一和第二深度信息項(xiàng)被相加。通過利用與取得第一和第二深度信息項(xiàng)的方法不同的方法來合成第一和第二深度信息項(xiàng)，可以生成如下的視差圖像，在該視差圖像中，在保持從圖像中的深度分布得到的立體效果的同時(shí)，充分地表現(xiàn)包括在圖像中的對象的起伏。(第二實(shí)施方式)圖9示出根據(jù)第二實(shí)施方式的視差圖像生成裝置。第二實(shí)施方式的視差圖像生成裝置與圖IB所示的視差圖像生成裝置的不同在于，具有調(diào)整深度信息的功能。調(diào)整單元102(n)調(diào)整由推定單元lOl(n)生成的各個分布信息項(xiàng)。例如，當(dāng)推定單元101(1)輸出0彡ζ彡Z的范圍內(nèi)的深度信息并且推定單元101(2)輸出100彡ζ彡Z 的范圍內(nèi)的深度信息時(shí)，需要將輸出范圍調(diào)整為相同范圍。為此，調(diào)整單元102(n)例如通過(例如在Z處)固定一個點(diǎn)(以下稱為固定點(diǎn))并且加寬或縮窄深度范圍，將不同的深度范圍調(diào)整為特定范圍。另外，如果特定的推定單元101 (η)具有低可靠度，則將其深度范圍縮窄至后側(cè)，以減少低可靠度的深度信息的影響。調(diào)整單元202 (m)調(diào)整由推定單元201 (m)生成的各個第二深度信息項(xiàng)。調(diào)整單元 202 (m)可以應(yīng)用與調(diào)整單元102 (η)相同的調(diào)整方法。如果固定點(diǎn)設(shè)定在0處，則可以有效地應(yīng)用相對起伏信息的特性。以上說明了特定的實(shí)施方式，但這些實(shí)施方式僅以例子的方式提出，而并不用于限制本發(fā)明的范圍。實(shí)際上，這里所述的新穎實(shí)施方式能夠以各種其它形式具體實(shí)施，而且，在不脫離本發(fā)明的精神的情況下，可以對這里所述的實(shí)施方式的形式進(jìn)行各種省略、替換和改變。所附的權(quán)利要求及其等同方案意在覆蓋落入本發(fā)明的范圍和精神內(nèi)的上述形式或變形。
9
權(quán)利要求
1.一種視差圖像生成裝置，利用第一圖像生成與其具有視差的視差圖像，其特征在于， 包括第一計(jì)算單元，包括第一推定單元和第一合成單元，所述第一推定單元構(gòu)成為通過使用第一方法推定指示第一圖像中的第一深度的分布的分布信息項(xiàng)，所述分布信息項(xiàng)落入要再現(xiàn)的深度范圍內(nèi)，所述第一合成單元構(gòu)成為合成所述分布信息項(xiàng)以生成第一深度信息；第二計(jì)算單元，構(gòu)成為計(jì)算指示所述第一圖像中的對象的相對起伏的第二深度信息；第三合成單元，構(gòu)成為通過使用不同于所述第一方法的方法來合成所述第一深度信息和所述第二深度信息，以生成第三深度信息；和生成單元，構(gòu)成為根據(jù)所述第三深度信息和所述第一圖像來生成視差圖像。
2.根據(jù)權(quán)利要求1所述的視差圖像生成裝置，其特征在于，所述第一合成單元從所述分布信息項(xiàng)中選擇與所述第一圖像在前側(cè)平面上的第一位置對應(yīng)的第二深度中的、最靠近所述前側(cè)平面的深度，所述深度范圍由所述前側(cè)平面和后側(cè)平面限定。
3.根據(jù)權(quán)利要求2所述的視差圖像生成裝置，其特征在于，所述第一合成單元和所述第三合成單元分別在生成第一深度信息和第三深度信息之前調(diào)整深度信息。
4.根據(jù)權(quán)利要求2所述的視差圖像生成裝置，其特征在于，所述第三合成單元將對應(yīng)于所述第一位置并且由所述第一深度信息指示的第三深度與對應(yīng)于所述第一位置并且由所述第二深度信息指示的第四深度相加，生成所述第三深度 fn息ο
5.根據(jù)權(quán)利要求2所述的視差圖像生成裝置，其特征在于，所述第三合成單元將對應(yīng)于所述第一位置并且由所述第一深度信息指示的第三深度與對應(yīng)于所述第一位置并且由所述第二深度信息指示的第四深度相乘，生成所述第三深度 fn息ο
6.根據(jù)權(quán)利要求1所述的視差圖像生成裝置，其特征在于，所述第二計(jì)算單元包括第二推定單元，構(gòu)成為檢測所述第一圖像中的多種類型的對象，并且通過推定來生成與所檢測的類型的對象對應(yīng)的起伏信息項(xiàng)；和第二合成單元，構(gòu)成為合成所述起伏信息項(xiàng)。
7.根據(jù)權(quán)利要求1所述的視差圖像生成裝置，其特征在于，所述第一推定單元構(gòu)成為根據(jù)所述第一圖像和將要在不同于所述第一圖像的顯示時(shí)刻的時(shí)刻顯示的第二圖像之間的運(yùn)動，通過推定來生成所述分布信息項(xiàng)。
8.根據(jù)權(quán)利要求1所述的視差圖像生成裝置，其特征在于，所述第一推定單元確定所述第一圖像中的圖案的類型，并且根據(jù)確定結(jié)果來生成所述分布信息項(xiàng)。
9.一種視差圖像生成裝置，利用第一圖像生成與其具有視差的視差圖像，其特征在于， 包括第一計(jì)算單元，包括第一推定單元和第一合成單元，所述第一推定單元構(gòu)成為通過使用第一方法推定指示第一圖像中的第一深度的分布的分布信息項(xiàng)，所述分布信息項(xiàng)落入要再現(xiàn)的深度范圍內(nèi)，所述第一合成單元構(gòu)成為合成所述分布信息項(xiàng)以生成第一深度信息； 第二計(jì)算單元，構(gòu)成為計(jì)算指示所述第一圖像中的對象的相對起伏的第二深度信息；和第三合成單元，構(gòu)成為通過使用不同于所述第一方法的方法來合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。
全文摘要
本發(fā)明提供一種視差圖像生成裝置和方法。根據(jù)一個實(shí)施方式，視差圖像生成裝置利用第一圖像生成與其具有視差的視差圖像。該裝置包括以下單元。第一推定單元(101(1)～101(N))通過使用第一方法推定指示第一圖像中的第一深度的分布的分布信息項(xiàng)。所述分布信息項(xiàng)落入要再現(xiàn)的深度范圍內(nèi)。第一合成單元(103)合成所述分布信息項(xiàng)以生成第一深度信息。第二計(jì)算單元(200)計(jì)算指示所述第一圖像中的對象的相對起伏的第二深度信息。第三合成單元(300)通過使用不同于所述第一方法的方法來合成所述第一深度信息和所述第二深度信息，以生成第三深度信息。生成單元(400)根據(jù)所述第三深度信息和所述第一圖像生成視差圖像。
文檔編號H04N13/00GK102209248SQ201010567069
公開日2011年10月5日 申請日期2010年11月30日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者三島直, 三田雄志, 下山賢一, 平井隆介, 馬場雅裕 申請人:株式會社東芝