專利名稱：立體圖像生成裝置、立體圖像生成方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種立體圖像生成裝置，更具體地，涉及一種從非立體圖像生成立體
圖像的立體圖像生成裝置、其處理方法、以及使得計算機執(zhí)行該方法的程序。
背景技術(shù)：
近年來，顯示設(shè)備的尺寸和視角已經(jīng)增加，并且顯示比傳統(tǒng)圖像更逼真的圖像變 得可行。然而，在傳統(tǒng)顯示設(shè)備中，圖像被強制感覺位于顯示設(shè)備的顯示表面上，并且存在 阻礙通過感官立體因素(例如陰影和構(gòu)圖)生成立體感的風(fēng)險。這被認(rèn)為是受由生理立體 因素產(chǎn)生的影響而起作用的，例如當(dāng)以雙眼觀看顯示設(shè)備的顯示表面時產(chǎn)生的會聚角的改 變、以及由雙目視差引起的失真的出現(xiàn)。 用于消除由生理立體因素所產(chǎn)生的這些影響的已知光學(xué)設(shè)備是被稱為synopter 的立體鏡。synopter被設(shè)計為與半反光鏡(half mirror) —起使用，以將在相同位置處接 收到的光分別提供給雙眼。已知的是，該synopter允許雙眼的視網(wǎng)膜圖像彼此相同，使得 可以給非立體圖像增加立體深度(參見例如非專利文獻1)。
相關(guān)技術(shù)文獻
非專利文獻 非專利文獻l:Jan J Koenderink等人，"所謂的反常單目立體學(xué)(Onso-called paradoxical monocular stereoscopy) ，，， Perception, Pion出片反社(英國)，1994年，23 巻，第583-594頁
發(fā)明內(nèi)容
技術(shù)問題 以這種方式，例如synopter的光學(xué)設(shè)備可以消除由生理立體因素產(chǎn)生的影響，以 允許雙眼的視網(wǎng)膜圖像彼此相同，使得可以從非立體圖像獲得立體深度。這種光學(xué)設(shè)備可 以通過簡單的機構(gòu)來實現(xiàn)立體視覺，但另一方面，顯示設(shè)備沒有靈活性，使得難以獲得進一 步的視覺效果。 因此，本發(fā)明的目的在于通過圖像處理來消除生理立體因素的影響。
技術(shù)解決方案 為了解決上述問題，已經(jīng)做出本發(fā)明，其第一方面提供一種立體圖像生成裝置、用 于此的立體圖像生成方法、或程序，所述立體圖像生成裝置包括圓柱面投影單元，其將二 維輸入圖像投影在圓柱面上，以生成圓柱圖像，所述圓柱面包括與雙眼相切的假想圓；以及 顯示表面投影單元，其參考雙眼中的每一個將圓柱圖像投影在顯示表面上，以生成分別要 投射在雙眼上的顯示圖像。因此，可以提供的效果是，將彼此相同的視網(wǎng)膜圖像分別提供給 雙眼，以消除生理立體因素產(chǎn)生的影響。 此外，在該第一方面中，可以根據(jù)所假設(shè)的觀測距離或顯示尺寸來設(shè)置假想圓的 半徑。因此，可以提供允許顯示適合于觀測距離或顯示尺寸的圖像的效果。在此情況下，在
4該第一方面中，立體圖像生成裝置還可以包括觀測距離測量單元，其測量顯示表面與觀測 位置之間的距離，并且假想圓的半徑可以根據(jù)由觀測距離測量單元所測量的觀測距離來設(shè) 置。因此，可以提供允許顯示適合于所測量的觀測距離的圖像的效果。 此外，在該第一方面中，可以設(shè)置假想圓的半徑，使得顯示圖像中的失真程度小于 預(yù)定閾值。因此，效果是，允許在可容許的失真范圍內(nèi)顯示圖像。 此外，在該第一方面中，立體圖像生成裝置還可以包括深度程度信息生成單元， 其使用二維輸入圖像生成深度程度信息；以及深度程度信息合成單元，其將深度程度信息 與圓柱圖像進行合成，并且顯示表面投影單元可以將合成有深度程度信息的圓柱圖像投影 在顯示表面上，以生成顯示圖像。因此，可以提供允許顯示具有進一步增強的立體感的圖像 的效果。 此外，本發(fā)明的第二方面提供一種立體圖像生成裝置、用于此的立體圖像生成方 法、或程序，所述立體圖像生成裝置包括照射面投影單元，其將二維輸入圖像投影在分別 垂直于雙眼視線的二維平面上，以生成分別與雙眼相對應(yīng)的照射圖像；以及顯示表面投影 單元，其參考雙眼將對應(yīng)的照射圖像投影在顯示表面上，以生成分別要投射在雙眼上的顯 示圖像。因此，可以提供的效果是，將彼此相同的視網(wǎng)膜圖像分別提供給雙眼，以消除生理 立體因素產(chǎn)生的影響。 此外，在該第二方面中，可以根據(jù)所假設(shè)的觀測距離來設(shè)置照射圖像的位置。因 此，可以提供允許顯示適合于觀測距離的圖像的效果。在此情況下，在該第二方面中，立體 圖像生成裝置還可以包括觀測距離測量單元，其測量顯示表面與觀測位置之間的距離，并 且照射圖像的位置可以根據(jù)由觀測距離測量單元所測量的觀測距離來設(shè)置。因此，可以提 供允許顯示適合于所測量的觀測距離的圖像的效果。 此外，本發(fā)明第三方面提供一種立體圖像生成裝置，用于此的立體圖像生成方法、 或程序，所述立體圖像生成裝置轉(zhuǎn)換二維輸入圖像，使得待從顯示表面分別投影在右眼和 左眼上的視頻圖像變?yōu)楸舜讼嗤?，以分別生成右眼圖像和左眼圖像。因此，可以提供的效果 是，將彼此相同的視網(wǎng)膜圖像分別提供給雙眼，以消除生理立體因素產(chǎn)生的影響。
有益效果 根據(jù)本發(fā)明，可以實現(xiàn)的有益效果是，可以通過圖像處理來消除生理立體因素的 影響。
^wu」[圖1]圖1是示出本發(fā)明實施例中立體圖像生成裝置的示例配置的示圖；
[圖2]圖2是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例的示圖；
[圖3]圖3是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中雙眼單視界 面上的投影的一種形式的示mi口、J3X^ ^口、JTT/I>:t、[rj/Ih tsi ;[圖4]圖4是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中雙眼單視界 面上的投影的具體示例的示圖；[圖5]圖5是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中顯示表面上 的投影的一種形式的示圖；[圖6]圖6是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中顯示表面上
5-示例所執(zhí)行的示例
的投影的具體示例的示圖；[圖7]圖7是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第-性處理過程的示圖；[圖8]圖8是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第二示例的示圖；
[圖9]圖9是示出雙眼單視界圓的尺寸與會聚點的位置之間的關(guān)系的示圖；
[圖10]圖10是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第二示例中雙眼單視 界面上的投影的一種形式的示圖；[圖11]圖11是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第二示例中雙眼單視 界面上的投影的具體示例的示圖；[圖12]圖12是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第三示例的示圖；
[圖13]圖13是示出雙眼單視界圓與圖像的失真程度之間的關(guān)系的示例的示圖；
[圖14]圖14是示出角度9與圖像的失真程度Q之間的關(guān)系的示例的示圖；
[圖15]圖15是示出雙眼單視界圓與圓周角之間的關(guān)系的示例的示圖；
[圖16]圖16是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第四示例的示圖；
[圖17]圖17是示出雙眼單視界圓與顯示表面之間的關(guān)系的示例的示圖；
[圖18]圖18是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例的示圖；
[圖19]圖19是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例中移軸面上 的投影的一種形式的示圖；[圖20]圖20是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例中移軸面上 的投影的具體示例的示圖；[圖21]圖21是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例中顯示表面 上的投影的具體示例的示圖；[圖22]圖22是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例所執(zhí)行的示 例性處理過程的示圖；[圖23]圖23是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例的示圖；
[圖24]圖24是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例所執(zhí)行的處 理的概述的示圖；[圖25]圖25是示出根據(jù)本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例的雙眼單 視界面的深度映射的示例的示圖；[圖26]圖26是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例所估計的深 度程度信息的示例的示圖；[圖27]圖27是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例中深度映射 合成單元363的示例配置的示圖；[圖28]圖28是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例所生成的立 體圖像的示例的示圖；[圖29]圖29是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例所生成的立 體圖像的另一示例的示圖。
具體實施例方式
接下來，將參照附圖詳細(xì)解釋本發(fā)明的實施例。
圖1是示出本發(fā)明實施例中立體圖像生成裝置的示例配置的示圖。該立體圖像生成
裝置包括圖像信號輸入單元110、信號處理單元120、三維轉(zhuǎn)換單元130、參數(shù)設(shè)置單元140、觀
測距離測量單元150、后處理單元160、格式轉(zhuǎn)換單元170、源選擇單元180以及顯示單元190。圖像信號輸入單元110被設(shè)計為接收非立體圖像的輸入圖像信號。待輸入的非
立體圖像不限于靜止圖像，并且可以是運動圖像。假設(shè)非立體圖像的源設(shè)備是電視廣播接
收機、視頻再現(xiàn)設(shè)備(播放器)、成像設(shè)備(攝像機照相機和記錄器)等。
信號處理單元120被設(shè)計為對輸入的非立體圖像執(zhí)行預(yù)定信號處理。假設(shè)信號
處理的示例包括白平衡調(diào)整、噪聲降低處理、電平校正處理、以及伽馬校正處理。
三維轉(zhuǎn)換單元130是本發(fā)明的特征部分，并且被設(shè)計為將二維非立體圖像轉(zhuǎn)換
為三維圖像。通過三維轉(zhuǎn)換單元130的這種三維轉(zhuǎn)換處理，生成基于非立體圖像的三維圖
像。由于這種三維圖像，例如，獲得用于左眼的圖像以及用于右眼的圖像。 參數(shù)設(shè)置單元140被設(shè)計為設(shè)置對于在三維轉(zhuǎn)換單元130中執(zhí)行的三維轉(zhuǎn)換處
理必要的參數(shù)。假設(shè)這種參數(shù)是例如用于指定下面描述的雙眼單視界圓的半徑等。 觀測距離測量單元150被設(shè)計為測量顯示單元190與觀看者的觀測位置之間的
距離?；谟稍撚^測距離測量單元150所測量的觀測距離，可以在三維轉(zhuǎn)換單元130中執(zhí)
行三維轉(zhuǎn)換處理。對此，可以使用預(yù)先假設(shè)的觀測距離，而無需實際測量觀測距離。 后處理單元160被設(shè)計為對通過在三維轉(zhuǎn)換單元130中執(zhí)行的三維轉(zhuǎn)換處理所
獲得的三維圖像執(zhí)行后處理，用于防止出現(xiàn)混疊(alising)。例如，如果假設(shè)用于左眼的圖
像和用于右眼的圖像逐行交替顯示在顯示單元190上，則存在由于混疊而顯示鋸齒(梯階
邊緣(stair-st印ped edges))的風(fēng)險。為了避免這種情況，后處理單元160在垂直方向上
應(yīng)用濾波器，以對圖像的改變進行平滑。 格式轉(zhuǎn)換單元170被設(shè)計為將三維圖像轉(zhuǎn)換為顯示單元190所支持的格式。格 式轉(zhuǎn)換單元170可以執(zhí)行轉(zhuǎn)換，使得，例如，可以根據(jù)顯示單元190所支持的格式來逐行交 替布置用于左眼的圖像和用于右眼的圖像。 源選擇單元180被設(shè)計為選擇待顯示的圖像作為源。也就是說，源選擇單元180 在要無改變地顯示非立體圖像的情況下選擇信號處理單元120的輸出，而在要顯示用于立 體視覺的三維圖像的情況下選擇格式轉(zhuǎn)換單元170的輸出。 顯示單元190是顯示圖像的顯示器。雖然在此作為前提而假設(shè)顯示單元190具有 用于顯示用于立體視覺的三維圖像的功能，但并沒有具體限制用于實現(xiàn)該功能的裝置。例 如，如在日本未審查專利申請公開No. 2002-365593中所描述的，可以想到的是，每隔一行 設(shè)置分離的波長板，以將來自顯示屏的偶數(shù)行和奇數(shù)行的線性偏振光線轉(zhuǎn)換為彼此垂直的 光線，以允許不同圖像的光線進入雙眼。 圖2是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例的示圖。三維轉(zhuǎn)換單元 130的該第一實施例包括雙眼單視界面(horopter plane)圖像投影單元311、顯示表面右 眼投影單元316以及顯示表面左眼投影單元317。 雙眼單視界面圖像投影單元311被設(shè)計為將經(jīng)由信號線129從信號處理單元 120提供的非立體圖像投影在包括雙眼單視界圓(horoptercircle)(雙眼單視界)的圓柱面上。術(shù)語雙眼單視界圓是與雙眼相切的圓周，并且已知的是，關(guān)于該雙眼單視界圓上的點 的雙目視網(wǎng)膜圖像彼此相同。圓柱面被稱為雙眼單視界面，而投影在雙眼單視界面上的圖 像被稱為雙眼單視界圖像。此外，雙眼視線的交點被稱為會聚點，而由此而限定的角被稱為 圓周角的會聚角。會聚角在雙眼單視界圓上是相等的。在該第一示例中，雙眼單視界圓的 尺寸由雙眼單視界圓信息指定。此外，與雙眼的相對位置關(guān)系由兩眼間距離"2a"指定。雙 眼單視界圓信息和兩眼間距離"2a"是經(jīng)由信號線149從參數(shù)設(shè)置單元140提供的。注意， 雖然下面使用半徑"r"作為雙眼單視界圓信息來指定雙眼單視界圓的尺寸，但可以使用從 雙眼的中心到雙眼單視界圓的頂點的距離、圓周角等來指定雙眼單視界圓的尺寸。注意，雙 眼單視界面圖像投影單元311是權(quán)利要求中描述的圓柱面投影單元的示例。
顯示表面右眼投影單元316被設(shè)計為將雙眼單視界圖像投影到用于右眼的顯示 表面上。顯示表面左眼投影單元317被設(shè)計為將雙眼單視界圖像投影到用于左眼的顯示 表面上。顯示表面右眼投影單元316和顯示表面左眼投影單元317基于兩眼間距離"2a"、 雙眼單視界圓的半徑"r"以及所假設(shè)的觀測距離"d"執(zhí)行在用于右眼和左眼的顯示表面上 的投影。投影在用于右眼的顯示表面上的圖像被稱為右眼圖像，投影在用于左眼的顯示表 面上的圖像被稱為左眼圖像。右眼圖像和左眼圖像經(jīng)由信號線139被提供給后處理單元 160。注意，顯示表面右眼投影單元316和顯示表面左眼投影單元317是權(quán)利要求中描述的 顯示表面投影單元的示例。 圖3是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中雙眼單視界面上的 投影的一種形式的示圖。雙眼單視界圓520是穿過右眼511、左眼512和會聚點531 (頂點) 或532的圓。在此，假設(shè)右眼511和左眼512與雙眼的中心均相距"a"。也就是說，兩眼間 距離是"2a"。此外，雙眼單視界圓520的半徑是"r"。 右眼511和左眼512相對于雙眼單視界圓520上的點的雙目視網(wǎng)膜圖像彼此相 同。這是因為，在將雙眼單視界圓520上的點設(shè)置為會聚點的情況下，會聚角總是相等。例 如，相對于會聚點531的會聚角533以及相對于會聚點532的會聚角534彼此相等。非立 體圖像被投影在包括雙眼單視界圓520的圓柱面(雙眼單視界面)上作為雙眼單視界圖像 530。因此，彼此相同并且沒有雙目視差的視網(wǎng)膜圖像可以形成在右眼511和左眼512上。
圖4是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中雙眼單視界面上的 投影的具體示例的示圖。 圖4的部分(a)示出經(jīng)由信號線129從信號處理單元120提供的輸入圖像I(p， q)的坐標(biāo)系。由于輸入圖像是非立體圖像，因此使用二維坐標(biāo)系。坐標(biāo)系的原點被設(shè)置為 輸入圖像的中心點。此外，假設(shè)輸入圖像尺寸(寬度)是"2L"。 圖4的部分(b)示出其上投影了雙眼單視界圖像530的雙眼單視界面的坐標(biāo)系。 由于雙眼單視界面是三維的，因此在此使用三維(x，y，z)坐標(biāo)系。坐標(biāo)系的原點被設(shè)置為 雙眼單視界圓520的中心。圖4的部分(b)是從垂直于雙眼單視界面的方向、即垂直于y 軸的方向觀看的圖。 此時，雙眼單視界圖像H(x， y， z)是通過將輸入圖像I (p， q)投影在具有半徑r的 雙眼單視界圓上而獲得的，并且表示為以下等式
H(x， y， z) = I (O/2-V) Xr， y)
其中，
z2+x2 = r2
￥ = tan—1 (z/x) 注意，雖然在此假設(shè)輸入圖像尺寸(寬度)"2L"與顯示表面尺寸(寬度)相同，
但可以在前級提供用于放大或者縮小輸入圖像的功能，從而改變圖像的物理尺寸。 圖5是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中顯示表面上的投影
的一種形式的示圖。 在此，所考慮的是，將雙眼單視界圓520上的會聚點532投影在顯示表面540上。 相對于會聚點532形成在右眼511上的圖像顯示在顯示表面540上的顯示位置541處。另 一方面，相對于會聚點532形成在左眼512上的圖像顯示在顯示表面540上的顯示位置542 處。也就是說，即使對于相同的雙眼單視界圖像530，要顯示在顯示表面540上的圖像對于 右眼511和左眼512基本上是不同的圖像。 圖6是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中顯示表面上的投影 的具體示例的示圖。 圖6的部分(a)示出雙眼單視界面和顯示表面上的坐標(biāo)系。雖然在此使用三維(x， y， z)坐標(biāo)系，但與圖4的部分(a)中的情況不同，xy平面上原點的位置被設(shè)置為右眼511 與左眼512之間的中間點。在此，該坐標(biāo)系中的原點與雙眼單視界圓520的中心之間的距 離c表示為
c = (r2_a2)1/2 圖6的部分(b)示出顯示表面上投影的顯示圖像J(s，t)的坐標(biāo)系。對于右眼511 和左眼512分別獲得顯示圖像。由于每個圖像是二維圖像，因此使用二維坐標(biāo)系。坐標(biāo)系 的原點被設(shè)置為顯示圖像的中心點。 此時，由以下等式給出從右眼511通過雙眼單視界圖像上的位置H(x。，y。，z。)投影
的、顯示表面540上的位置D(xK， yK， zK): D(xK， yK， zK) = J(xK， yK) = H(x0， y0， z0) 此夕卜，由于距觀看者的觀測位置的距離等于觀測距離d，因此，獲得zR = d，并且以 下表達式成立 (x0-a) / (xK_a) = y0/= z0/d
x02+ (z0_c)2 = r2
z0 > 0 因此，可以使用位置H(x。， y。， z。)來確定要投影在顯示表面540上的位置D (xK， yK， zK)處的圖像。也就是說，從{xK， yK， zK}獲得{x。， y。， z。}。 注意，雖然在此已經(jīng)解釋了從右眼511投影的位置D(&， yK， z》，但也可以通過類 似的方式，確定從左眼512通過雙眼單視界圖像上的位置H(x。， y。， z。)投影的顯示表面540 上的位置D(XL，yL， zj。 此外，雖然已經(jīng)通過示例的方式給出了由半徑"r"指定雙眼單視界圓的尺寸的示 例的解釋，如上所述，但可以使用從雙眼的中心到雙眼單視界圓的頂點的距離、圓周角等來
指定雙眼單視界圓的尺寸。從雙眼的中心到會聚點的距離f由以下等式給出
f = r+c
= r+ (r2_a2)1/2
將r移到左邊，并且對兩邊進行平方，得到
f2-2rf+r2 = r2_a2
r = (f2+a2) /2f 因此，可以使用從雙眼的中心到會聚點的距離"f"以及兩眼間距離"2a"來確定半 徑"r"。在以下示例(圖15)中將解釋圓周角與半徑之間的關(guān)系。 圖7是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例所執(zhí)行的示例性處理 過程的示圖。 首先，當(dāng)輸入圖像I(p，q)經(jīng)由信號線129從信號處理單元120輸入(步驟S911) 時，輸入圖像I (P， q)投影在雙眼單視界面上作為雙眼單視界圖像H(x， y， z)(步驟S912)。 注意，步驟S912是權(quán)利要求中所描述的圓柱面投影過程的示例。 然后，按照以下方式對于右眼和左眼分別生成顯示圖像(循環(huán)L901)。首先，對于 圖像要從右眼511通過雙眼單視界圖像上的位置H(x。， y。， z。)投影在其上的顯示表面540 執(zhí)行透視變換，以獲得三維位置D(^，h，z》(步驟S913)。然后，從該三維位置獲得用于顯 示表面的二維顯示圖像J(xK，yK)(步驟S914)。類似地，對于圖像要從左眼512通過雙眼單 視界圖像上的位置H(x。， y。， z。)投影在其上的顯示表面540執(zhí)行透視變換，以獲得三維位置 D(^，h，zJ (步驟S913)。然后，從該三維位置獲得用于顯示表面的二維顯示圖像J(&，yJ (步驟S914)。注意，步驟S913和S914是權(quán)利要求中描述的顯示表面投影過程的示例。
以此方式，在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第一示例中，非立體圖像被投 影在由雙眼單視界圓信息所指定的雙眼單視界圓520上作為雙眼單視界圖像。然后，雙眼 單視界圖像被投影在位于實際測量或估計的觀測距離處的顯示表面上。因此，可以生成用 于右眼511和左眼512的立體圖像。 圖8是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第二示例的示圖。三維轉(zhuǎn)換單元 130的第二示例包括雙眼單視界面圖像投影單元321、會聚點設(shè)置單元322、顯示表面右眼 投影單元326以及顯示表面左眼投影單元327。 像雙眼單視界面圖像投影單元311 —樣，雙眼單視界面圖像投影單元321被設(shè)計 為將經(jīng)由信號線129從信號處理單元120提供的非立體圖像投影在包括雙眼單視界圓的 圓柱面上。在該第二示例中，使用基于由會聚點設(shè)置單元322設(shè)置的會聚點的半徑"r"來 指定雙眼單視界圓。注意，雙眼單視界面圖像投影單元321是權(quán)利要求中描述的圓柱面投 影單元的示例。 會聚點設(shè)置單元322被設(shè)計為設(shè)置會聚點，并且提供基于該會聚點的半徑"r"。 會聚點設(shè)置單元322使用兩眼間距離"2a"、觀測距離"d"、顯示表面尺寸"2M"和輸入圖像 尺寸"2L"來設(shè)置會聚點。 與第一示例類似，顯示表面右眼投影單元326和顯示表面左眼投影單元327被設(shè) 計為將雙眼單視界圖像投影在用于右眼或左眼的顯示表面上。注意，顯示表面右眼投影單 元326和顯示表面左眼投影單元327是權(quán)利要求中描述的顯示表面投影單元的示例。
圖9是示出雙眼單視界圓的尺寸與會聚點的位置之間的關(guān)系的示圖。雙眼單視界 圓由兩眼間距離和半徑唯一地指定。因此，在半徑?jīng)]有固定的情況下，如在同一圖中那樣， 可以假設(shè)穿過雙眼的多個雙眼單視界圓。 一般來說，到會聚點的距離越小，會聚角越大，因 此半徑越小。
10
在此，應(yīng)理解，如果輸入圖像投影在具有固定的輸入圖像尺寸的雙眼單視界圓上， 如在同一圖中那樣，則其在顯示表面上的尺寸(寬度) 一個雙眼單視界圓不同于另一雙眼 單視界圓。也就是說，如在雙眼單視界圓521中那樣，到會聚點的距離越小，顯示表面的尺 寸(寬度)越大。如在雙眼單視界圓522中那樣，到會聚點的距離越大，顯示表面的尺寸 寬度)越小。因此，在第二示例中，為了穿過整個顯示表面而顯示輸入圖像，從顯示表面上 的投影尺寸反向計算并設(shè)定雙眼單視界圓上的會聚點。
0105] 圖10是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第二示例中雙眼單視界面上 的投影的一種形式的示圖。在此，首先，設(shè)輸入圖像尺寸(寬度)是"2L"，給出對表示顯示 表面上投影的圖像的尺寸(寬度)"2m"的等式的考慮。
0106] 假設(shè)在雙眼單視界圓內(nèi)部由長度為p、 q和r的各邊限定直角三角形，則p和q表 示為以下等式
0107] p = r sin 4>
0108] q = r cos 4>
0109] 其中，小是由長度為q和r的各邊所限定的角的角度。角度小表示為以下等式 0110] (J) = (L/(2Jir)) *2ji = L/r
0111] 此外，假設(shè)在顯示表面上投影的圖像的尺寸(寬度)"2m"內(nèi)，與上述直角三角形 g疊的部分是x，并且其右部分是y。根據(jù)直角三角形的相似性，獲得以下關(guān)系式
0112] p:x = q:(d_C)
0113] 因此，X由以下等式給出
0114] x = p (d-c)/q
0115] 此外，根據(jù)具有頂點T的直角三角形的相似性，獲得以下關(guān)系
0116] t :a = (t+C) :S
0117] t :a = (t+C+q) :p
0118] 因此，S由以下等式給出
0119] s= ((p_a)/(a (c+q))) ((a (c+q) / (p_a))+c)"
0120] = (a q_c p) / (c+q)
0121] 此外，根據(jù)由長度s和半徑r的各邊所形成的三角形的相似性，獲得以下關(guān)系式
0122] s :y = q :(q-(d-c))
0123] 因此，y由以下等式給出
0124] y = ((q-d+c)/q) s
0125] = ((q-d+c) (a q-c p))/(q (c+q))
0126] 以此方式獲得的x和y之和等于顯示表面上投影的圖像的尺寸(寬度)的一半 m，，。
0127] m = x+y
0128] = p (d-c)/q+( (q-d+c) (a q_c p)) / (q (c+q))
0129] 圖11是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第二示例中雙眼單視界面上 的投影的具體示例的示圖。在第二示例中，如上所述，設(shè)置會聚點，使得可以使顯示表面540 上的投影寬度延伸穿過整個顯示表面540。因此，如同一圖所示，使得顯示表面540自身的 寬度"2M"匹配于通過上述等式獲得的顯示表面投影寬度"2m"。
由于對會聚點設(shè)置單元322給定顯示表面540的尺寸(寬度)"2M"、輸入圖像尺 寸(寬度)"2L"、兩眼間距離"2a"以及觀測距離"d"，因此可以確定雙眼單視界圓半徑r， 從而可以使得通過上述等式所獲得的顯示表面投影尺寸(寬度)"2m"匹配于"2M"。
以此方式，在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第二示例中，通過預(yù)先假設(shè)顯 示表面540的尺寸，可以設(shè)置會聚點，使得顯示表面540上的投影的圖像可以顯示在整個顯 示表面540上，并且可以唯一地指定雙眼單視界圓。 圖12是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第三示例的示圖。三維轉(zhuǎn)換單 元130的該第三示例被設(shè)計為確定會聚點，使得抑制顯示表面上圖像的失真程度的增加。 與雙眼中的每個的正前面的偏差越大，圖像的中心與邊緣之間的失真程度就越大。因此，設(shè) 置會聚點，使得該失真程度可以落入可接受的范圍內(nèi)。三維轉(zhuǎn)換單元130的第三示例包括 雙眼單視界面圖像投影單元331、會聚點設(shè)置單元332、顯示表面右眼投影單元336以及顯 示表面左眼投影單元337。 像雙眼單視界面圖像投影單元311—樣，雙眼單視界面圖像投影單元331被設(shè)計 為將經(jīng)由信號線129從信號處理單元120提供的非立體圖像投影在包括雙眼單視界圓的 圓柱面上。在該第三示例中，使用基于由會聚點設(shè)置單元332設(shè)置的會聚點的圓周角"t " 來指定雙眼單視界圓。注意，雙眼單視界面圖像投影單元331是權(quán)利要求中描述的圓柱面 投影單元的示例。 會聚點設(shè)置單元332被設(shè)計為設(shè)置會聚點，并且提供基于該會聚點的圓周角 "t "。會聚點設(shè)置單元332使用兩眼間距離"2a"、觀測距離"d"、最大失真程度"Qmax"和 微小角度"S "來設(shè)置會聚點。將參照以下附圖解釋設(shè)置的細(xì)節(jié)。 與第一示例類似，顯示表面右眼投影單元336和顯示表面左眼投影單元337被設(shè) 計為將雙眼單視界圖像投影在用于右眼或左眼的顯示表面上。注意，在此雖然使用從會聚 點設(shè)置單元332提供的圓周角"t "執(zhí)行顯示表面上的投影，但第一示例中的半徑"r"以及 該示例中的圓周角"t "就設(shè)置會聚點而言彼此等同。因此，二者可以按照需要，彼此替換 地使用。注意，顯示表面右眼投影單元336和顯示表面左眼投影單元337是權(quán)利要求中描 述的顯示表面投影單元的示例。 圖13是示出雙眼單視界圓與圖像的失真程度之間的關(guān)系的示例的示圖。雖然在 此對于左眼512確定失真程度，但類似情況適用于右眼511。 在左眼512的正前面觀看的雙眼單視界圓上的位置535和相對于該位置旋轉(zhuǎn)角度 9的位置536各偏離微小角度"S "的情況下，比較顯示表面540上的距離。在位置535偏 離微小角度"S "的情況下，雙眼單視界圓的中心點o的視角是"2S "。因此，"2Sr"的偏 離出現(xiàn)在雙眼單視界圓上的位置535處。在此，在位置536偏離微小角度"S "的情況下， 雙眼單視界圓的中心點o的視角也是"2 S "。因此，類似地，"2 S r"的偏離出現(xiàn)在雙眼單視 界圓上的位置536處。 在與雙眼單視界圓上的位置535相對應(yīng)的顯示表面540上的位置545處，假設(shè)直 角三角形每個邊具有觀測距離"d"和角度"S/2"，則偏離寬度Q1表示為以下等式
Ql = 2d tan( S/2) 在與雙眼單視界圓上的位置536相對應(yīng)的顯示表面546上的位置546處，另一方 面，假設(shè)直角三角形每個邊具有觀測距離"d"和角度"e "，則偏離寬度Q2表示為以下等式 Q2 = 2d (tan 9-tan( 9 - S/2))
因此，通過以下等式獲得失真程度Q :
Q = Q2/Q1 = (2d (tan 9 —tan ( 9 - S /2") / (2d tan ( S /2)) = (tan 9 -tan ( 9 - S /2)) /tan ( S /2) 圖14是示出圖像的角度e與失真程度Q之間的關(guān)系的示例的示圖。在此，在圖 13中將微小角度S設(shè)置為"0.01"并且角度e從"-70° "改變?yōu)?+70° "的情況下，獲得 失真程度Q。 從該示例也可見，與雙眼的正前方的偏離越大，圖像的中心與邊緣之間的失真程 度Q就越大。因此，在該第三示例中，給出最大失真程度"Qmax"作為失真程度的閾值，并且
設(shè)置角度e，使得失真程度變?yōu)樾∮陂撝怠?圖15是示出雙眼單視界圓與圓周角之間的關(guān)系的示例的示圖。如果假設(shè)圓周角 是"t "，則從右眼511和左眼512觀看雙眼單視界圓520的中心點o的角度是"2 t "。該 角度由從中心點o到雙眼的中心的垂線被相等地劃分為兩個部分，每個部分產(chǎn)生"t "。在 該圖中，示出參照左眼512的"t "。 關(guān)注右眼511和左眼512之間的中心線與雙眼單視界圓520的交點537、左眼512、 以及雙眼單視界圓520的中心點o所限定的三角形，在交點537和左眼512處的兩個角都 是"t /2"。由于連接在左眼512正前面觀看的雙眼單視界圓上的位置535和左眼512的直 線平行于右眼511與左眼512之間的中心線，因此交點537和輸入圖像的端點538在左眼 512處形成的角度表示為"e-T/2"。在此，角度9是位置535與輸入圖像的端點538在 左眼512處形成的角度。因此，從交點537和輸入圖像的端點538觀看雙眼單視界圓520 的中心點o的角度表示為"2 ( e - t /2)"。在此情況下，圓弧的長度匹配于輸入圖像的尺 寸(寬度)"L"。因此，以下等式成立
2 ( 9 - t /2) r = L 此外，關(guān)注于由右眼511與左眼512之間的中心點、雙眼單視界圓520的中心點o 以及左眼512所限定的直角三角形，半徑r表示為以下等式。也就是說，應(yīng)理解，可以使用 圓周角"t "和兩眼間距離"2a"的角度來確定半徑"r"。
r = a/sin ( t ) 因此，從上述兩個等式消去半徑r得到以下等式
2 ( 9 - t /2) (a/sin( t )) = L 從以上等式應(yīng)理解，如果角度"9 "、兩眼間距離的一半"a"以及輸入圖像的尺寸 "L"是已知的，則可以獲得圓周角"t "。 以此方式，在本發(fā)明實施例的三維轉(zhuǎn)換單元130的第三示例中，通過給定微小角 度"S "以及最大失真程度"Qmax"，可以設(shè)置會聚點，從而可以使得屏幕的中心與邊緣之間 的失真等于或小于最大失真程度，并且可以指定雙眼單視界圓。 圖16是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第四示例的示圖。三維轉(zhuǎn)換單 元130的該第四示例被設(shè)計為確定會聚點，使得抑制顯示表面上圖像失真的增加，并且對 輸入圖像的尺寸(寬度)進行放大或者縮小，使得輸入圖像可以顯示在整個顯示表面上。三維轉(zhuǎn)換單元130的該第四示例包括雙眼單視界面圖像投影單元341、會聚點設(shè)置單元342、 縮放單元343、顯示表面右眼投影單元346以及顯示表面左眼投影單元347。
會聚點設(shè)置單元342被設(shè)計為設(shè)置會聚點，并且提供基于該會聚點的半徑"r" 和角度"e "。會聚點設(shè)置單元342使用兩眼間距離"2a"、觀測距離"d"、最大失真程度 "Qmax"、微小角"S "以及顯示表面尺寸"2M"來設(shè)置會聚點。 縮放單元343被設(shè)計為根據(jù)會聚點設(shè)置單元342所設(shè)置的會聚點增大或者減小
(放大或者縮小)經(jīng)由信號線129從信號處理單元120提供的非立體圖像。 雙眼單視界面圖像投影單元341被設(shè)計為將縮放單元343所放大或者縮小的非
立體圖像投影在包括雙眼單視界圓的圓柱面上。注意，雙眼單視界面圖像投影單元341是
權(quán)利要求中描述的圓柱面投影單元的示例。 與第一示例類似，顯示表面右眼投影單元346和顯示表面左眼投影單元347被設(shè) 計為將雙眼單視界圖像投影在用于右眼或左眼的顯示表面上。注意，顯示表面右眼投影單 元346和顯示表面左眼投影單元347是權(quán)利要求中描述的顯示表面投影單元的示例。
圖17是示出雙眼單視界圓與顯示表面之間的關(guān)系的示例的示圖。在該第四示例 中，與第三示例類似，確定角度"e "，從而可以使得相對于微小角度"S "的失真程度小于 最大失真程度"Qmax"。于是，基于角度"9 "，確定雙眼單視界圓，此外，確定輸入圖像的尺 寸。 由于輸入圖像的端點538位于雙眼單視界圓520上，因此從右眼511和左眼512 觀看輸入圖像的端點538的角度是"t "。此外，關(guān)注于由連接左眼512和輸入圖像的端點 538的直線與顯示表面540之間的交點548、連接左眼512和位于左眼正前面的點535的直 線與顯示表面540之間的交點545、以及左眼512的位置所限定的直角三角形，從左眼512 在交點548處限定的角度表示為"Ji /2- e "。此外，關(guān)注于包括頂點T的直角三角形，從頂 點T在交點549處限定的角度是"tan—1 (x/a)"。
在此，x滿足以下關(guān)系
x : a = (x+d) : M
并且因此由下式給出
x = a*d/(M_a) 因此，在交點549處的內(nèi)角表示為"Ji-tan—、x/a)"。因此，角度"t "由以下等式 給出。也就是說，通過設(shè)置t來確定雙眼單視界圓，使得以下等式成立
t = 9 _ (ji/2)+tan—1 (x/a) 此外，如在第三示例中計算的那樣，從交點537和輸入圖像的端點538觀看雙眼單 視界圓520的中心點o的角度表示為"2 ( e - t /2)"。在此情況下，圓弧的長度匹配于輸 入圖像的尺寸(寬度)"L"。因此，以下等式成立
L = 2 ( 9 - t /2) r 在第三示例中，輸入圖像的尺寸是固定的，而在該第四示例中，輸入圖像的尺寸是
可變的，并且由縮放單元343對輸入圖像進行放大或者縮小，從而滿足上述等式。 以此方式，在本發(fā)明實施例的三維轉(zhuǎn)換單元130的第四示例中，可以設(shè)置會聚點，
從而可以使得屏幕的中心與邊緣之間的失真等于或小于最大失真程度，并且可以指定雙眼
單視界圓。此外，可以對輸入圖像進行放大或者縮小，使得輸入圖像可以顯示在整個顯示表面上。 圖18是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例的示圖。三維轉(zhuǎn)換單 元130的該第五示例被設(shè)計為不執(zhí)行將非立體圖像投影在雙眼單視界圓上的過程，而是 通過將非立體圖像投影在與各個眼睛相對應(yīng)的移軸面上，此后將所得圖像投影在顯示表面 上，來生成立體圖像。對此，如下所示，根據(jù)該第五示例所顯示的圖像等同于通過關(guān)于第一 示例至第四示例解釋的雙眼單視界圓顯示的圖像。因此，在此假設(shè)，為了生成立體圖像，假 設(shè)雙眼單視界圓，并且給出該雙眼單視界圓的半徑作為參數(shù)。三維轉(zhuǎn)換單元130的該第五 示例包括移軸面右眼設(shè)置單元354、移軸面左眼設(shè)置單元355、顯示表面右眼投影單元356 以及顯示表面左眼投影單元357。 移軸面右眼設(shè)置單元354被設(shè)計為假設(shè)從右眼觀看距雙眼等距的會聚點的視點 的延伸，設(shè)置與視點的這種延伸垂直相交的移軸面，并且將經(jīng)由信號線129從信號處理單 元120提供的非立體圖像投影作為用于右眼的移軸圖像。移軸面左眼設(shè)置單元355被設(shè)計 為假設(shè)從左眼觀看距雙眼等距的會聚點的視點的延伸，設(shè)置與視點的這種延伸垂直相交 的移軸面，并且將經(jīng)由信號線129從信號處理單元120提供的非立體圖像投影作為用于左 眼的移軸圖像。移軸面右眼設(shè)置單元354和移軸面左眼設(shè)置單元355基于兩眼間距離"2a"、 雙眼單視界圓的半徑"r"、所假設(shè)的觀測距離"d"以及移軸面距離"k"來執(zhí)行在用于右眼和 左眼的移軸面上的投影。注意，每個移軸面是權(quán)利要求中描述的照射面的示例。此外，移軸 面右眼設(shè)置單元354和移軸面左眼設(shè)置單元355是權(quán)利要求中描述的照射面投影單元的示 例。 顯示表面右眼投影單元356被設(shè)計為將用于右眼的移軸圖像投影在用于右眼的 顯示表面上。顯示表面左眼投影單元357被設(shè)計為將用于左眼的移軸圖像投影在用于左 眼的顯示表面上。顯示表面右眼投影單元356和顯示表面左眼投影單元357基于兩眼間距 離"2a"、雙眼單視界圓的半徑"r"以及所假設(shè)的觀測距離"d"來執(zhí)行在用于右眼和左眼的 顯示表面上的投影。投影在用于右眼的顯示表面上的圖像被稱為右眼圖像，投影在用于左 眼的顯示表面上的圖像被稱為左眼圖像。右眼圖像和左眼圖像經(jīng)由信號線139而被提供給 后處理單元160。注意，顯示表面右眼投影單元356和顯示表面左眼投影單元357是權(quán)利要 求中描述的顯示表面投影單元的示例。 圖19是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例中移軸面上的投影 的一種形式的示圖。 右眼511與左眼512之間的中心線與雙眼單視界圓520的交點是距雙眼等距的會 聚點527。右眼移軸面550是在點551處與從右眼511觀看會聚點527的視點的延伸垂直 相交的面。左眼移軸面560是在點561處與從左眼512觀看會聚點527的視點的延伸垂直 相交的面。假設(shè)連接右眼511的位置和左眼512的位置的線段與連接點551和561的線段 之間的距離被假設(shè)為移軸面距離"k"。 在此考慮右眼移軸面550和左眼移軸面560上的圖像投影在顯示表面570上。假 設(shè)右眼511和左眼512與顯示表面570之間的距離被假設(shè)為觀測距離"d"。在距右眼移軸 面550上的點551距離"S"的點552處形成的圖像顯示在顯示表面570上的顯示位置571 處。在距左眼移軸面560上的點561距離"S"的點562處形成的圖像顯示在顯示表面570 上的顯示位置572處。此時，連接右眼511和點571的直線與連接左眼512和點572的直線在雙眼單視界圓520上的交點522處彼此相交。也就是說，根據(jù)該第五示例所顯示的圖
像等同于通過關(guān)于第一示例至第四示例解釋的雙眼單視界圓而顯示的圖像。 圖20是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例中移軸面上的投影
的具體示例的示圖。 圖20的部分(a)示出經(jīng)由信號線129從信號處理單元120提供的輸入圖像I (p， q)的坐標(biāo)系。由于輸入圖像為非立體圖像，因此使用二維坐標(biāo)系。坐標(biāo)系的原點被設(shè)置為 輸入圖像的中心點。此外，假設(shè)輸入圖像尺寸(寬度)是"2L"。 圖20的部分(b)示出其上投影了移軸圖像的移軸面的坐標(biāo)系。由于移軸面是三 維的，因此在此使用三維(x， y， z)坐標(biāo)系。坐標(biāo)系的原點被設(shè)置為右眼511與左眼512之 間的中心。圖20的部分(b)是從垂直于移軸面的方向，即垂直于y軸的方向觀看的圖。
假設(shè)從右眼511和左眼512觀看雙眼單視界圓520上的會聚點的角是會聚角 "t "，則右眼移軸面550和左眼移軸面560中的每個具有距水平線的角度"t /2"。
關(guān)注于從左眼移軸面560上的點561垂直下落到連接雙眼的直線的交點582，左眼 512與交點582之間的距離之間表示為"k *tan( t /2)"。因此，沿著z軸距原點移軸面距離 "k"的位置處的點589與左眼移軸面560上的點561之間的距離表示為"a-k *tan( t /2)"。 因此，左眼移軸面560上的左眼移軸圖像L(x，y，z)與輸入圖像I(p，q)之間的關(guān)系表示為 以下等式 "x， y， z) = I ((x+a_k tan ( t /2)) / (cos ( t /2)) ， y)
其中，在左眼移軸圖像L(x，y，z)中，以下等式成立
z = k_ ((x+a_k tan ( t /2)) /sin ( t /2)) 此外，類似地，右眼移軸面550上的右眼移軸圖像R(x，y，z)與輸入圖像I(p，q)之 間的關(guān)系表示為以下等式 R (x， y， z) = I ((x_a+k tan ( t /2)) / (cos ( t /2)) ， y)
其中，在該右眼移軸圖像R(x，y，z)中，以下等式成立
z = k+ ((x_a+k tan ( t /2)) /sin ( t /2)) 圖21是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例中顯示表面上的投 影的具體示例的示圖。 圖21的部分(a)示出移軸面和顯示表面的坐標(biāo)系。在此，使用三維(x，y，z)坐標(biāo) 系。 圖21的部分(b)示出顯示表面上投影的顯示圖像J(s， t)的坐標(biāo)系。對于右眼 511和左眼512分別獲得顯示圖像。由于每個圖像是二維圖像，因此使用二維坐標(biāo)系。坐標(biāo) 系的原點被設(shè)置為顯示圖像的中心點。 此時，由以下等式給出從左眼512通過L(x。，y。，z。)投影在左眼移軸圖像上的顯示
表面570上的Dl(Xl，k， zl): DL(xL， yL， zL) = J(xL， yL) = L(x0， y0， z0) 此夕卜，由于距觀看者的觀測位置的距離等于觀測距離d，因此，獲得zK = d，并且以 下表達式成立 (x。+a) / (xL+a) = y。/yL = z0/d
z0 > 0
對此，如使用圖20所解釋的那樣，以下表達式成立
z0 = k_ ((x0+a_k tan ( t /2)) /sin ( t /2)) 注意，雖然在此已經(jīng)解釋了從左眼512投影的DJ&， h， zj，也可以通過類似方式 來確定從右眼511通過R(x。， y。， z。)投影在右眼移軸圖像上的顯示表面570上的DK(xK， yK， zR)。 圖22是示出由在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第五示例所執(zhí)行的示例性 處理過程的示圖。 首先，當(dāng)經(jīng)由信號線129從信號處理單元120輸入輸入圖像I (p， q)(步驟S921) 時，輸入圖像I(P，q)分別被投影作為移軸圖像(步驟S912)。對此，不同于第一示例，對于 右眼和左眼提供分離的移軸面，并且通過以下方式生成顯示圖像(循環(huán)L902)。
當(dāng)輸入圖像I (p， q)投影在右眼移軸面550上作為右眼移軸圖像R(x， y， z)(步驟 S922)時，對顯示表面570執(zhí)行透視變換，并且獲得三維DK(xK， yK， zK)(步驟S923)。然后， 從該三維位置獲得顯示表面上的二維顯示圖像J(xK，yK)(步驟S924)。類似地，當(dāng)輸入圖像 I(P，q)投影在左眼移軸面550上作為左眼移軸圖像L(x，y，z)(步驟S922)時，對顯示表面 570執(zhí)行透視變換，并且獲得三維Dj&，h，zJ (步驟S923)。然后，從該三維位置獲得顯示 表面上的二維顯示圖像J(&， yj (步驟S924)。注意，步驟S922是權(quán)利要求中描述的照射 面投影過程的示例。此外，步驟S923和S924是權(quán)利要求中描述的顯示表面投影過程的示 例。 以此方式，在本發(fā)明實施例的三維轉(zhuǎn)換單元130的第五示例中，非立體圖像分別 投影在右眼移軸面和左眼移軸面上作為右眼移軸圖像和左眼移軸圖像。然后，右眼移軸圖 像和左眼移軸圖像投影在位于實際測量或估計的觀測距離處的顯示表面上。因此，可以生 成用于右眼511和左眼512的立體圖像。 圖23是示出本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例的示圖。該第六示例 被設(shè)計為根據(jù)基于深度程度信息的深度映射(d印th m即)生成立體圖像。三維轉(zhuǎn)換單元 130的該第六示例包括輸入圖像深度映射生成單元361、雙眼單視界面深度映射生成單元 362、深度映射合成單元363、顯示表面右眼投影單元366以及顯示表面左眼投影單元367。
輸入圖像深度映射生成單元361被設(shè)計為生成用于經(jīng)由信號線129從信號處理 單元120提供的非立體圖像(輸入圖像)的深度映射。深度映射被設(shè)計為保持關(guān)于每個像 素的深度程度的信息，并且基于例如亮度、高頻分量、運動、飽和度等來進行估計。例如，日 本未審查專利申請公開No. 2007-502454描述了一種多視像生成單元，其基于輸入圖 像中檢測到的邊緣生成深度映射。注意，輸入圖像深度映射生成單元361是權(quán)利要求中描 述的深度程度信息生成單元的示例。 雙眼單視界面深度映射生成單元362被設(shè)計為生成用于雙眼單視界面的深度映 射。與第一示例類似地，雙眼單視界面是使得雙眼單視界圓的尺寸由雙眼單視界圓信息指 定，并且與雙眼的相對位置關(guān)系由兩眼間距離"2a"指定。 深度映射合成單元363被設(shè)計為將由輸入圖像深度映射生成單元361所生成的 輸入圖像的深度映射與由雙眼單視界面深度映射生成單元362所生成的雙眼單視界面的 深度映射進行合成。注意，深度映射合成單元363是權(quán)利要求中描述的深度程度信息合成 單元的示例。
17
顯示表面右眼投影單元366被設(shè)計為對于經(jīng)由信號線129從信號處理單元120 提供的非立體圖像，通過考慮深度映射合成單元363所獲得的合成的深度映射，將用于右 眼的立體圖像投影在用于右眼的顯示表面上。此外，顯示表面左眼投影單元367被設(shè)計為 對于經(jīng)由信號線129從信號處理單元120提供的非立體圖像，通過考慮由深度映射合成單 元363所獲得的合成的深度映射，將用于左眼的立體圖像投影在用于左眼的顯示表面上。
圖24是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例所執(zhí)行的處理的概 述的示圖。 在該第六示例中，深度程度信息是由輸入圖像深度映射生成單元361估計的，并 且與雙眼單視界面合成。因此，除了使用先前解釋的雙眼單視界圓的特性來感受深度之外， 可以通過進一步增加與場景的三維結(jié)構(gòu)相對應(yīng)的深度程度信息來進一步增強立體感。
例如，由于合成之后的點621位于雙眼單視界圓的前面，因此其在顯示表面上的 投影被感覺位于更靠近的位置處。此外，由于合成之后的點622位于雙眼單視界圓之后，因 此其在顯示表面上的投影被感覺位于更遠的位置處。 圖25是示出根據(jù)本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例的雙眼單視界面 的深度映射的示例的示圖。 在此，雙眼單視界面的深度映射表示為dpH。雙眼單視界面具有包括雙眼單視界圓 的三維形狀，并且是由距x平面的距離指定的。也就是說，雙眼單視界面的深度映射是x和 y的函數(shù)，并且表示為以下等式 dpH(x， y) = z(x， y) 此時，如果假設(shè)雙眼單視界面關(guān)于坐標(biāo)(Xi，y》距x平面的距離是di，則函數(shù)z(x，
y)由以下等式給出 z(Xi， y》=di(i = 1，2， ， n) 圖26是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例所估計的深度程度 信息的示例的示圖。 在此，深度程度信息的深度映射表示為dPl。深度程度信息被設(shè)計為指示與每個 像素對應(yīng)的深度程度，并且表示為三維信息。也就是說，深度程度信息的深度映射是x和y 的函數(shù)，并且表示為以下等式
dPl(x， y) = z(x， y) 此時，如果假設(shè)深度程度信息關(guān)于坐標(biāo)(Xi，y》距x平面具有值ei，則函數(shù)z(x，y) 由以下等式給出 z(Xi， y》=e丄(i = 1，2，…，n) 圖27是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130中第六示例中深度映射合成單 元363的示例配置的示圖。如上所述，深度映射合成單元363被設(shè)計為將由輸入圖像深度 映射生成單元361所生成的輸入圖像的深度映射與由雙眼單視界面深度映射生成單元362 所生成的雙眼單視界面的深度映射進行合成。深度映射合成單元363包括平均值計算單元 3631、減法器3632以及加法器3633。 平均值計算單元3631被設(shè)計為計算用于每個輸入圖像的深度映射的平均值。減 法器3632被設(shè)計為從用于輸入圖像的每個像素的深度映射減去用于每個輸入圖像的深 度映射的平均值。從而，獲得深度映射關(guān)于作為中心值的平均值的AC分量。加法器3633被設(shè)計為將從減法器3632提供的輸入圖像的深度映射的AC分量加合到雙眼單視界面的 深度映射。從而，可以獲得雙眼單視界面上合成的深度映射。 圖28是示出在本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例所生成的立體圖像 的示例的示圖。在該示例中，輸入的非立體圖像被投影在與深度映射相對應(yīng)的曲面620上 作為用于左眼的圖像630，并且投影在與曲面620上各點相對應(yīng)的用于右眼的圖像640上。
例如，從左眼512觀看的用于左眼的圖像630上的點631投影到曲面620上的點 621。然后，當(dāng)以右眼511觀看點621時，點621投影到用于右眼的圖像640上的點641。類 似地，從左眼512觀看的用于左眼的圖像630上的點632投影到曲面620上的點622。然 后，當(dāng)以右眼511觀看點622時，點622投影到用于右眼的圖像640上的點642。
注意，雖然在該圖中為了便于解釋而將用于左眼的圖像630和用于右眼的圖像 640示出為在z方向上相對于彼此在位置上移動，但實際上，二者都位于同一平坦平面上。
圖29是示出由本發(fā)明實施例中三維轉(zhuǎn)換單元130的第六示例所生成的立體圖像 的另一示例的示圖。在該圖中，輸入的非立體圖像投影在與深度映射相對應(yīng)的曲面620上 作為從右眼與左眼之間的中心513觀看的圖像(輸入圖像650)，并且投影在與曲面620上 各點相對應(yīng)的用于左眼的圖像630和用于右眼的圖像640上。 例如，從中心513觀看的用于輸入圖像650上的點651投影到曲面620上的點621 。 然后，當(dāng)以左眼512觀看點621時，點621投影到用于左眼的圖像630上的點631。當(dāng)以右 眼511觀看點621時，點621投影到用于右眼的圖像640上的點641。類似地，當(dāng)從中心513 觀看輸入圖像650上的點652時，點652投影到曲面620上的點622。然后，當(dāng)以左眼512 觀看點622時，點622投影到用于左眼的圖像630上的點632。當(dāng)以右眼511觀看點622 時，點622投影到用于右眼的圖像640上的點642。 注意，雖然在該圖中為了便于解釋而將用于左眼的圖像630、用于右眼的圖像 640、以及輸入圖像650示出為在z方向上相對于彼此在位置上移動，但實際上，它們都位于 同一平坦平面上。 以此方式，在本發(fā)明實施例的三維轉(zhuǎn)換單元130的第六實施例中，基于深度程度 信息的深度映射與其中利用參照其它實施例所解釋的雙眼單視界面的立體視覺進行合成， 由此使得能夠生成更立體的立體圖像。 注意，本發(fā)明的實施例示出用于實現(xiàn)本發(fā)明的示例，并且如上所述，與權(quán)利要求中 所要求的具體主旨分別具有對應(yīng)關(guān)系。然而，本發(fā)明不限于實施例，并且在不脫離本發(fā)明范 圍的情況下，可以進行各種修改。 此外，在本發(fā)明實施例中解釋的處理過程可以被看作具有上述一系列過程的方
法，或者另外可以被看作用于使得計算機執(zhí)行上述一系列過程的程序、或存儲該程序的記
錄介質(zhì)?？梢允褂美鏑D(致密盤)、MD(迷你盤)、DVD(數(shù)字多功能盤)、存儲卡、藍光盤
(Blu-ray)(注冊商標(biāo))等來實現(xiàn)該記錄介質(zhì)。 附圖標(biāo)記說明 110圖像信號輸入單元 120信號處理單元 130三維轉(zhuǎn)換單元 140參數(shù)設(shè)置單元
150觀測距離測量單元160后處理單元170格式轉(zhuǎn)換單元180源選擇單元190顯示單元311、321、331、341雙眼單視界面圖像投影單元316、326、336、346、356、366顯示表面右眼投影單元317、327、337、347、357、367顯示表面左眼投影單元322、332、342會聚點設(shè)置單元343縮放單元354移軸面右眼設(shè)置單元355移軸面左眼設(shè)置單元361輸入圖像深度映射生成單元362雙眼單視界面深度映射生成單元363深度映射合成單元520雙眼單視界圓530雙眼單視界圖像540、570顯示表面620合成之后的曲面630用于左眼的圖像640用于右眼的圖像650輸入圖像
權(quán)利要求
一種立體圖像生成裝置，包括圓柱面投影單元，其將二維輸入圖像投影在圓柱面上，以生成圓柱圖像，所述圓柱面包括與雙眼相切的假想圓；以及顯示表面投影單元，其參考雙眼中的每一個將所述圓柱圖像投影在顯示表面上，以生成分別要投射在雙眼上的顯示圖像。
2. 根據(jù)權(quán)利要求1的立體圖像生成裝置，其中，所述假想圓具有根據(jù)所假設(shè)的觀測距離或顯示尺寸而設(shè)置的半徑。
3. 根據(jù)權(quán)利要求2的立體圖像生成裝置，還包括觀測距離測量單元，其測量所述顯示表面與觀測位置之間的距離，其中，所述假想圓的半徑是根據(jù)由所述觀測距離測量單元所測量的觀測距離而設(shè)置的。
4. 根據(jù)權(quán)利要求l的立體圖像生成裝置，其中，所述假想圓的半徑被設(shè)置為使得所述顯示圖像中的失真程度小于預(yù)定閾值。
5. 根據(jù)權(quán)利要求1的立體圖像生成裝置，還包括深度程度信息生成單元，其使用二維輸入圖像生成深度程度信息；以及深度程度信息合成單元，其將所述深度程度信息與所述圓柱圖像進行合成，其中，所述顯示表面投影單元將合成有所述深度程度信息的圓柱圖像投影在所述顯示表面上，以生成所述顯示圖像。
6. —種立體圖像生成裝置，包括照射面投影單元，其將二維輸入圖像投影在分別垂直于雙眼視線的二維平面上，以生成分別與雙眼相對應(yīng)的照射圖像；以及顯示表面投影單元，其參考雙眼將所述對應(yīng)的照射圖像投影在顯示表面上，以生成分別要投射在雙眼上的顯示圖像。
7. 根據(jù)權(quán)利要求6的立體圖像生成裝置，其中，所述照射圖像的位置是根據(jù)所假設(shè)的觀測距離而設(shè)置的。
8. 根據(jù)權(quán)利要求7的立體圖像生成裝置，還包括觀測距離測量單元，其測量所述顯示表面與觀測位置之間的距離，其中，所述照射圖像的位置是根據(jù)由所述觀測距離測量單元所測量的觀測距離而設(shè)置的。
9. 一種立體圖像生成裝置，其轉(zhuǎn)換二維輸入圖像，使得待從顯示表面分別投影在右眼和左眼上的視頻圖像變?yōu)楸舜讼嗤?，以分別生成右眼圖像和左眼圖像。
10. —種立體圖像生成方法，包括圓柱面投影過程將二維輸入圖像投影在圓柱面上，以生成圓柱圖像，所述圓柱面包括與雙眼相切的假想圓；以及顯示表面投影過程參考雙眼中的每一個將所述圓柱圖像投影在顯示表面上，以生成分別要投射在雙眼上的顯示圖像。
11. 一種立體圖像生成方法，包括照射面投影過程將二維輸入圖像投影在分別垂直于雙眼視線的二維平面上，以生成分別與雙眼相對應(yīng)的照射圖像；以及顯示表面投影過程參考雙眼將所述對應(yīng)的照射圖像投影在顯示表面上，以生成分別要投射在雙眼上的顯示圖像。
12. —種用于使得計算機執(zhí)行以下過程的程序圓柱面投影過程將二維輸入圖像投影在圓柱面上，以生成圓柱圖像，所述圓柱面包括與雙眼相切的假想圓；以及顯示表面投影過程參考雙眼中的每一個將所述圓柱圖像投影在顯示表面上，以生成分別要投射在雙眼上的顯示圖像。
13. —種用于使得計算機執(zhí)行以下過程的程序照射面投影過程將二維輸入圖像投影在分別垂直于雙眼視線的二維平面上，以生成分別與雙眼相對應(yīng)的照射圖像；以及顯示表面投影過程參考雙眼將所述對應(yīng)的照射圖像投影在顯示表面上，以生成分別要投射在雙眼上的顯示圖像。
全文摘要
通過使用投影變換的圖像處理來消除生理立體因素的影響。雙眼單視界面圖像投影單元311被設(shè)計為將經(jīng)由信號線129提供的非立體圖像投影在包括雙眼單視界圓的圓柱面(雙眼單視界面)上。雙眼單視界圓的尺寸是使用例如半徑作為雙眼單視界圓信息而指定的。此外，與雙眼的關(guān)系是根據(jù)兩眼間距離而指定的。顯示表面右眼投影單元316被設(shè)計為將雙眼單視界面上投影的圖像投影在用于右眼的顯示表面上。顯示表面左眼投影單元317被設(shè)計為將雙眼單視界面上投影的圖像投影在用于左眼的顯示表面上。因此，彼此相同的視網(wǎng)膜圖像被提供給雙眼，以消除生理立體因素的影響，并且給出立體深度。
文檔編號G02B27/22GK101796548SQ200980100046
公開日2010年8月4日 申請日期2009年6月2日 優(yōu)先權(quán)日2008年6月6日
發(fā)明者上田和彥, 中村雄介, 五味信一郎, 畠澤泰成, 緒形昌美 申請人:索尼公司