專利名稱：圖像生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種生成表示3維物體的圖像的圖像生成裝置。
背景技術(shù)：
以前，已知使用OpenGL 等 API (Application Programming Interface :應(yīng)用程序接口)群進行的3維計算機圖形處理技術(shù)、使用多視點圖像的自由視點圖像生成技術(shù)(例如參照專利文獻I)等、生成從指定的觀察位置觀察的表示3維物體的圖像的技術(shù)。另外，已知一種自由視點電視，對觀察顯示了表示3維物體的圖像的顯示畫面的觀察者，檢測該觀察者位置，并生成應(yīng)從該檢測的位置觀察到的、表示該3維物體的圖像，顯示在顯示畫面中。根據(jù)現(xiàn)有的自由視點電視，觀察者通過相對顯示畫面移動，能觀察應(yīng)從移動位置看到的、顯示3維物體的圖像?，F(xiàn)有技術(shù)文獻專利文獻1:日本特開2008-21210號公報發(fā)明概要發(fā)明要解決的問題但是，根據(jù)現(xiàn)有的自由視點電視，觀察者對于當(dāng)前正在觀察的圖像中表示的物體，為了從角度與當(dāng)前的觀察角度大不相同的觀察角度進行觀察，必需較大地移動。

發(fā)明內(nèi)容
因此，本發(fā)明鑒于上述問題而做出，其目的在于提供一種生成圖像的圖像生成裝置，在要變更圖像中表示的物體的觀察角度的情況下，觀察者的移動量比以前少。為了解決上述課題，涉及本發(fā)明一方式的圖像生成裝置，將表示3維物體的圖像輸出到外部顯示設(shè)備，其特征在于具備檢測部件，對觀察由所述顯示設(shè)備顯示的圖像的觀察者的觀察位置進行檢測；位置算出部件，算出將從與由所述顯示設(shè)備顯示的圖像的顯示區(qū)域相對置的規(guī)定基準(zhǔn)位置至由所述檢測部件檢測的觀察位置的位移量r倍而得到的虛擬視點，其中r為比I大的實數(shù)；生成部件，取得用于生成表示所述3維物體的圖像的數(shù)據(jù)，生成從由所述位置算出部件算出的虛擬視點觀察的、表示所述3維物體的圖像；和輸出部件，將由所述生成部件生成的圖像輸出到所述顯示設(shè)備。發(fā)明效果根據(jù)具備上述構(gòu)成的涉及本發(fā)明一方式的圖像生成裝置，在觀察圖像的觀察者移動的情況下，構(gòu)成生成圖像的觀察位置的虛擬觀察位置的移動量為觀察者移動量的r(r是比I大的實數(shù))倍。由此，在要變更物體的觀察角度的情況下，觀察者的移動量比現(xiàn)有技術(shù)少。


圖1是圖像生成裝置100的構(gòu)成圖。圖2是表示構(gòu)成圖像生成裝置100的主要功能塊的功能框圖。圖3是表示實空間中的坐標(biāo)系與虛擬空間中的坐標(biāo)系的關(guān)系圖。圖4是模式地表示顯示面310與基準(zhǔn)位置430的關(guān)系的模式圖。圖5(a)是用于說明陰影處理的模式圖之1，圖5(b)是用于說明陰影處理的模式圖之2。圖6是用于說明利用透視投影變換法的圖像生成的模式圖。圖7是表示右眼原圖像與左眼原圖像的關(guān)系的模式圖。圖8是圖像生成處理的流程圖。圖9是用于說明圖像生成裝置100生成的圖像的模式圖。圖10 (a)是表示設(shè)虛擬觀察位置K940為視點位置的圖像的圖，圖10 (b)是表示設(shè)虛擬視點位置J950為視點位置的圖像的圖。圖11是表示構(gòu)成圖像生成裝置1100的主要功能塊的功能框圖。圖12是用于說明圖像生成裝置1100生成的圖像的模式圖。圖13是第I變形圖像生成處理的流程圖。圖14(a)是表示設(shè)虛擬觀察位置K940為視點位置的圖像的圖，圖14(b)是表示設(shè)虛擬視點位置J950為視點位置的原圖像的圖。圖15是表示構(gòu)成圖像生成裝置1500的主要功能塊的功能框圖。圖16是用于說明圖像生成裝置1500生成的圖像的模式圖。圖17 (a)是表示設(shè)虛擬觀察位置K940為視點位置的圖像的圖，圖17 (b)是表示設(shè)虛擬視點位置J950為視點位置的原圖像的圖。圖18是表示構(gòu)成圖像生成裝置1800的主要功能塊的功能框圖。圖19是模式地表示顯示面310與基準(zhǔn)位置1930的關(guān)系的模式圖。圖20是用于說明圖像生成裝置1800生成的圖像的模式圖。圖21 (a)是表示設(shè)虛擬觀察位置K2040為視點位置的圖像的圖，圖21 (b)是表示設(shè)虛擬視點位置J2050為視點位置的圖像的圖。圖22是用于說明感應(yīng)一例的模式圖之I。圖23是用于說明感應(yīng)一例的模式圖之2。圖24是用于說明頭跟蹤一例的模式圖之I。圖25是用于說明頭跟蹤一例的模式圖之2。圖26是用于說明光源位置設(shè)定一例的模式圖之I。圖27是用于說明光源位置設(shè)定一例的模式圖之2。圖28是模式表示觀測者與對象的位置關(guān)系的模式圖。圖29是用于說明設(shè)置側(cè)面屏幕時的一例的模式圖。圖30是用于說明形成橢圓形狀時的一例的模式圖。圖31是用于說明I平面+偏移方式的模式圖。圖32用于說明使用I平面+偏移方式的一例的模式圖。圖33是用于說明實物大小縮放系數(shù)的模式圖。圖34是模式地表示顯示器旋轉(zhuǎn)類型的圖像生成裝置的模式圖。
圖35是用于說明圖像生成裝置100中的應(yīng)用一例的模式圖。圖36是模式地表示用戶進入屏幕的狀態(tài)的模式圖之I。圖37是模式地表示用戶進入屏幕的方法的模式圖之2。圖38是用于說明使聽障者與健全者的通信圓滑化的系統(tǒng)的模式圖之I。圖39是用于說明使聽障者與健全者的通信圓滑化的系統(tǒng)的模式圖之2。圖40是表示圖像生成裝置4000的構(gòu)成的框圖。
具體實施例方式〈想到本發(fā)明方式的實施方式的過程〉現(xiàn)有的自由視點電視能讓觀察自由視點電視的顯示畫面中表示的物體的觀察者感到好像實際觀察具有立體構(gòu)造的物體。但是，發(fā)明者注意到，在要對當(dāng)前正在觀察的圖像中表示的物體從角度與當(dāng)前的觀察角度大不相同的觀察角度進行觀察的情況下，觀察者必需相對顯示畫面較大地移動，所以在這種情況下，觀察者對較大的移動感到煩惱。因此，發(fā)明者通過開發(fā)生成圖像的圖像生成裝置，在要變更圖像中表示的物體的觀察角度的情況下，觀察者相對顯示畫面的移動量比現(xiàn)有技術(shù)少即可，由此認(rèn)為能降低上述觀察者感到的煩惱。另外，發(fā)明者為了實現(xiàn)該想法，想到一種圖像生成裝置，在檢測觀察者的觀察位置的情況下，生成從虛擬觀察位置看到的圖像，該虛擬觀察位置是將從規(guī)定的基準(zhǔn)位置至觀察位置的位移量Hr為比I大的實數(shù))倍后的位置。<實施方式1>< 概要 >下面，作為涉及本發(fā)明方式的圖像生成裝置的一實施方式，說明圖像生成裝置100，該圖像生成裝置100生成對虛擬空間中虛擬存在的立體物的3DCG(3維計算機圖形)圖像，輸出到外部顯示器。圖2是表示構(gòu)成圖像生成裝置100的主要功能塊的功能框圖。如圖所示，圖像生成裝置100具備檢測觀察者的觀察位置的檢測部210 ;算出將從基準(zhǔn)位置至觀察位置的位移量Hr為比I大的實數(shù))倍后的視點位置的位置算出部220 ；生成從視點位置觀察的3DCG圖像的生成部230 ;和將生成的圖像輸出到外部顯示器的輸出部 240。首先，參照

該圖像生成裝置100的硬件構(gòu)成。<硬件構(gòu)成>圖1是圖像生成裝置100的構(gòu)成圖。如圖所示，圖像生成裝置100由集成電路110、攝像機130、硬盤裝置140、光盤裝置150與輸入裝置160構(gòu)成，連接于外部顯示器190。集成電路110是集成了處理器111、存儲器112、右眼幀緩沖器113、左眼幀緩沖器
114、選擇器115、總線116、第I接口 121、第2接口 122、第3接口 123、第4接口 124、第5接口 125與第6接口的LSI (Large ScaleIntegration :大規(guī)模集成電路)，連接于攝像機130、硬盤裝置140、光盤裝置150、輸入裝置160與顯示器190。
存儲器112 連接于總線 116,由 RAM (Random Access Memory)與 ROM (Read OnlyMemory)構(gòu)成，存儲規(guī)定處理器111的動作的程序。存儲器112的存儲區(qū)域中的部分區(qū)域被處理器111用作主存儲區(qū)域。右眼幀緩沖器113是連接于總線116與選擇器115的RAM，用于存儲右眼圖像(后述)。左眼幀緩沖器114是連接于總線116與選擇器115的RAM，用于存儲左眼圖像(后述)。選擇器115連接于總線116、處理器111、右眼幀緩沖器113、左眼幀緩沖器114與第6接口 126，由處理器111控制，具有以規(guī)定周期(例如1/120秒周期)交替選擇右眼幀緩沖器113中存儲的右眼圖像與左眼幀緩沖器114中存儲的左眼圖像后輸出到第6接口126的功能。總線116連接于處理器111、存儲器112、右眼幀緩沖器113、左眼幀緩沖器114、選擇器115、第I接口 121、第2接口 122、第3接口 123、第4接口 124與第5接口 125，具有傳遞所連接的電路間的信號的功能。第I接口 121、第2接口 122、第3接口 123、第4接口 124與第5接口 125分別連接于總線116，分別具有對攝像裝置132(后述)與總線116間的信號交換進行中介的功能、對測距裝置131與總線116間的信號交換進行中介的功能、交換總線116與硬盤裝置140間的信號的功能、交換總線116與光盤裝置150間的信號的功能、交換輸入裝置160與總線116間的信號的功能。第6接口 126連接于選擇器115，具有交換選擇器115與外部顯示器190間的信號的功能。處理器111連接于總線116，通過執(zhí)行存儲器112中存儲的程序，實現(xiàn)控制選擇器
115、測距裝置131、攝像裝置132、硬盤裝置140、光盤裝置150與輸入裝置160的功能。另夕卜，處理器111具有如下功能，即通過執(zhí)行存儲器112中存儲的程序，控制這些裝置，使圖像生成裝置100執(zhí)行圖像生成處理。在后面的〈圖像生成處理 > 項目中用流程圖來詳細(xì)說明該圖像生成處理。攝像機130由測距裝置131與攝像裝置132構(gòu)成。該攝像機130安裝在顯示器190的顯示面?zhèn)壬喜浚哂袑︼@示器190的顯示面附近的被攝體進行攝影的功能。攝像裝置132連接于第I接口 121，由處理器111控制，具備固體攝像元件(例如CMOS (Complementary Metal Oxide Semiconductor)圖象傳感器)、與將外部光聚光于固體攝像元件的透鏡群，具有如下功能，即以規(guī)定的幀速率(例如30fps)來攝影外部的被攝體，生成由規(guī)定數(shù)量(例如640X480)象素構(gòu)成的圖像并輸出。測距裝置131連接于第2接口 122，由處理器111控制，具有以象素單位測定至被攝體的距離的功能。該測距裝置131的測距方法例如利用T0F(Time Of Flight :飛行時間)測距方式實現(xiàn)，即通過向被攝體照射紅外線等激光，測定來自該被攝體的反射光再次返回前的時間，算出距離。硬盤裝置140連接于第3接口 123，由處理器111控制，具有內(nèi)置硬盤并向內(nèi)置的硬盤中寫入數(shù)據(jù)的功能、和從內(nèi)置的硬盤中讀出數(shù)據(jù)的功能。光盤裝置150連接于第4接口 124，由處理器111控制，具有能裝拆地安裝作為數(shù)據(jù)記錄介質(zhì)的光盤(例如Blu-ray (注冊商標(biāo))盤)、并從安裝的光盤中讀出數(shù)據(jù)的功能。
輸入裝置160連接于第5接口 125，由處理器111控制，具有受理來自用戶的操作、將受理到的操作變換為電信號后發(fā)送給處理器111的功能。該輸入裝置160例如由鍵盤與鼠標(biāo)實現(xiàn)。顯示器190連接于第6接口 126，是液晶顯示器，具有顯示基于從圖像生成裝置100發(fā)送來的信號的圖像的功能，例如具有水平方向為890mm、垂直方向為500mm構(gòu)成的長方形顯示面。下面，參照附圖來說明具備上述硬件構(gòu)成的圖像生成裝置100中從功能面看的各構(gòu)成要素。<功能構(gòu)成>如圖2所示，圖像生成裝置100由檢測部210、位置算出部220、生成部230與輸出部240構(gòu)成。檢測部210連接于位置算出部220，由采樣圖像保持部211與頭跟蹤部212構(gòu)成，具有檢測觀察顯示器190的圖像顯示面的觀察者的觀察位置的功能。頭跟蹤部212連接于采樣圖像保持部211與坐標(biāo)變換部222 (后述)，通過執(zhí)行程序的處理器111控制測距裝置131與攝像裝置132來實現(xiàn)，具有以下4個功能。攝影功能以規(guī)定的幀速率(例如30fps)對存在于顯示器190的顯示面附近的被攝體進行攝影、生成由規(guī)定數(shù)量(例如640X480)象素構(gòu)成的圖像的功能。測距功能以規(guī)定的幀速率(例如30fps)測定至存在于顯示器190的顯示面附近的被攝體的距離的功能。臉檢測功能通過執(zhí)行利用采樣圖像保持部211中存儲的采樣圖像的匹配處理、檢測所攝影的被攝體中包含的臉的區(qū)域的功能。眼位置算出功能在檢測到臉的區(qū)域的情況下，通過進一步執(zhí)行利用采樣圖像保持部211中存儲的采樣圖像的匹配處理，確定右眼位置與左眼位置，算出實空間中右眼坐標(biāo)與左眼坐標(biāo)的功能。另外，下面在不區(qū)別左右地表現(xiàn)右眼位置與左眼位置的情況下，僅表現(xiàn)為觀察位置。圖3是表示實空間中的坐標(biāo)系(以下稱為“實坐標(biāo)系”)、與虛擬空間中的坐標(biāo)系(以下稱為“虛擬坐標(biāo)系”)的關(guān)系的圖。所謂實坐標(biāo)系是設(shè)置顯示器190的現(xiàn)實世界中的坐標(biāo)系，所謂虛擬坐標(biāo)系是為了圖像生成裝置100生成3DCG圖像而虛擬構(gòu)筑的虛擬空間中的坐標(biāo)系。如圖所示，實坐標(biāo)系與虛擬坐標(biāo)系均以顯示器190的顯示面310的中央為原點，以水平方向為X軸、垂直方向為Y軸、進深方向為Z軸。這里，從觀察顯示面310的觀察者300看，以右方向為X軸的正方向、上方向為Y軸的正方向、顯示面310的近前方向為Z軸的正方向。從由實坐標(biāo)系表示的實坐標(biāo)向由虛擬坐標(biāo)系表示的虛擬坐標(biāo)的變換通過向?qū)嵶鴺?biāo)乘以作為坐標(biāo)變換系數(shù)的RealToCG系數(shù)來算出。例如圖3所示，在實空間中的顯示面310的高度為500mm、虛擬空間中的屏幕區(qū)域的高度為100. O的情況下，RealToCG系數(shù)為100. 0/500=0. 20。再返回圖2，接著說明圖像生成裝置100的功能構(gòu)成。采樣圖像保持部211連接于頭跟蹤部212，作為存儲器112的存儲區(qū)域的一部分實現(xiàn)，具有存儲頭跟蹤部212執(zhí)行的用于檢測臉區(qū)域的匹配處理中所利用的采樣圖像、與頭跟蹤部212執(zhí)行的用于算出右眼坐標(biāo)與左眼坐標(biāo)的匹配處理中所利用的采樣圖像的功能。位置算出部220連接于檢測部210與生成部230，由參數(shù)保持部221與坐標(biāo)變換部222構(gòu)成，具有算出將從基準(zhǔn)位置至觀察位置的位移量r倍后的視點位置的功能。坐標(biāo)變換部222連接于頭跟蹤部212、參數(shù)保持部221、視點變換部235 (后述)與對象數(shù)據(jù)保持部231 (后述)，由執(zhí)行程序的處理器111實現(xiàn)，具有以下3個功能。基準(zhǔn)位置計算功能對由頭跟蹤部212確定的右眼位置與左眼位置分別算出包含眼位置的、與顯示器190的顯示面平行的基準(zhǔn)平面，計算所算出的基準(zhǔn)平面中與顯示器190的顯示面中央相對置的位置作為基準(zhǔn)位置的功能。這里，所謂基準(zhǔn)平面中與顯示面中央相對置的位置是指基準(zhǔn)平面上的點中、至顯示面中央的距離為最短的點的位置。圖4是模式地表示從Y軸(參照圖3)的正方向俯視顯示器190的情況下、顯示器190的顯示面310與基準(zhǔn)位置430的關(guān)系的模式圖。這里，顯示面310與Z軸垂直。圖中，位置K440表示由頭跟蹤部212確定的觀察位置。位置J450如后所述?；鶞?zhǔn)平面420是包含位置K440的、與顯示面310平行的平面?；鶞?zhǔn)位置430是基準(zhǔn)平面420上的點中、至顯示面中央410的距離最短的點的位置。接著說明坐標(biāo)變換部222具有的功能。視點位置算出功能對于由頭跟蹤部212確定的右眼位置與左眼位置各自，分別算出各自的基準(zhǔn)平面中、將距各自的基準(zhǔn)位置的位移量r倍后的右眼視點位置與左眼視點位置的功能。這里，所謂算出基準(zhǔn)平面中將位移量r倍后的視點位置是對以基準(zhǔn)位置作為起點、以眼的位置作為終點的基準(zhǔn)平面上的矢量、維持矢量的方向不變、算出將矢量的大小r倍后得到的矢量的終點位置，作為視點位置。另外，該r值也可由利用圖像生成裝置100的用戶使用輸入裝置160自由設(shè)定。下面，在不區(qū)別左右地表現(xiàn)右眼視點位置與左眼視點位置的情況下，僅表現(xiàn)為視點位置。圖4中，位置J450表示由頭跟蹤部212確定的眼的位置是位置K440的情況下、坐標(biāo)變換部222算出的視點位置。位置J450為基準(zhǔn)平面420中將從基準(zhǔn)位置430至位置K440的位移量r倍后的位置。接著，說明坐標(biāo)變換部222具有的功能。坐標(biāo)變換功能將算出的、表示右眼視點位置的坐標(biāo)(下面稱為“右眼視點坐標(biāo)”。)與表示左眼視點位置的坐標(biāo)(下面稱為“左眼視點坐標(biāo)”。)分別變換為虛擬坐標(biāo)系中的虛擬右視點坐標(biāo)與虛擬左視點坐標(biāo)的功能。作為從實坐標(biāo)至虛擬坐標(biāo)的變換系數(shù)的RealToCG系數(shù)，通過從對象數(shù)據(jù)保持部231 (后述)中讀出屏幕區(qū)域的高度并從參數(shù)保持部221 (后述)中讀出顯示面310的高度后、將讀出的屏幕區(qū)域的高度除以讀出的顯示面310的高度來算出。例如圖3所示，在實空間中顯示面310的高度為500mm、虛擬空間中的屏幕區(qū)域的高度為100. O的情況下，當(dāng)觀察者300存在于Z軸上距顯示面310的中央IOOOmm的位置時，該觀察者300在虛擬坐標(biāo)系中的Z坐標(biāo)為1000X (100. 0/500) =200。這里，將由虛擬右視點坐標(biāo)表示的虛擬空間上的位置稱為虛擬右視點位置,將由虛擬左視點坐標(biāo)表示的虛擬空間上的位置稱為虛擬左視點位置。另外，下面以不區(qū)別左右地表現(xiàn)虛擬右視點位置與虛擬左視點位置的情況下，僅表現(xiàn)為虛擬視點位置。再次返回圖2，繼續(xù)說明圖像生成裝置100的功能構(gòu)成。參數(shù)保持部221連接于坐標(biāo)變換部222，作為存儲器112的存儲區(qū)域的一部分來實現(xiàn)，具有存儲坐標(biāo)變換部222為了算出實空間中的坐標(biāo)而利用的信息與表示實空間中顯示面310的尺寸的信息的功能。生成部230連接于位置算出部220與輸出部240，由對象數(shù)據(jù)保持部231、3維對象構(gòu)筑部232、光源設(shè)定部233、陰影處理部234、視點變換部235與光柵化部236構(gòu)成，具有實現(xiàn)生成從視點位置觀察的3DCG圖像的、所謂圖形流水線(graphics pipeline)處理的功倉泛。對象數(shù)據(jù)保持部231連接于3維對象構(gòu)筑部232、光源設(shè)定部233、視點變換部235與坐標(biāo)變換部222，作為內(nèi)置于硬盤裝置140中的硬盤的存儲區(qū)域及安裝在光盤裝置150中的光盤中的存儲區(qū)域來實現(xiàn)，具有存儲涉及作為虛擬空間中虛擬存在的立體物的對象的位置與形狀的信息、涉及虛擬空間中虛擬存在的光源的位置與光源特性的信息、與涉及屏幕區(qū)域的位置與形狀的信息的功能。3維對象構(gòu)筑部232與對象數(shù)據(jù)保持部231與陰影處理部234連接，由執(zhí)行程序的處理器111實現(xiàn)，具有從對象數(shù)據(jù)保持部231中讀出涉及虛擬空間中虛擬存在的對象的位置與形狀的信息后將這些對象展開到虛擬空間的功能。這里，該對象向虛擬空間的展開例如通過就構(gòu)成目標(biāo)的對象、對表示該對象形狀的信息進行旋轉(zhuǎn)、移動、放大、縮小等處理等來實現(xiàn)。光源設(shè)定部233連接于對象數(shù)據(jù)保持部231與陰影處理部234，由執(zhí)行程序的處理器111實現(xiàn)，具有從對象數(shù)據(jù)保持部231中讀出涉及虛擬空間中虛擬存在的光源的位置與光源特性的信息后、將該光源設(shè)定在虛擬空間的功能。陰影處理部234連接于3維對象構(gòu)筑部232、光源設(shè)定部233與視點變換部235，由執(zhí)行程序的處理器111實現(xiàn)，具有執(zhí)行對由3維對象構(gòu)筑部232展開的對象中的每個對象附加基于由光源設(shè)定部233設(shè)定的光源的陰影的陰影處理的功能。圖5(a)、(b)是用于說明陰影處理部234執(zhí)行的陰影處理的模式圖。圖5(a)是表示在球形對象A502的上部設(shè)定光源A501時的實例的模式圖。此時，對對象A502附加陰影，使上部反射大，下部反射少。之后,計算由對象A502生成的、至對象X503上的影區(qū)域，向該計算出的影區(qū)域附加影。圖5(b)是表示在球形對象B512的左上部設(shè)定光源B511時的實例的模式圖。此時，對對象B512附加陰影，使左上部反射大，右下部反射少。之后，計算由對象B512生成的、至對象Y513上的影區(qū)域，向該計算出的影區(qū)域附加影。視點變換部235連接于坐標(biāo)變換部222、對象數(shù)據(jù)保持部231與陰影處理部234，由執(zhí)行程序的處理器111實現(xiàn)，具有如下功能，利用透視投影變換法，生成對由陰影處理部234進行陰影處理后的對象的、從由坐標(biāo)變換部222算出的虛擬右眼視點位置看到的、至屏幕區(qū)域的投影圖像(以下稱為“右眼原圖像”。)、與從由坐標(biāo)變換部222算出的虛擬左眼視點位置看到的、至屏幕區(qū)域的投影圖像(以下稱為“左眼原圖像”。)。這里，該利用透視投影變換法生成圖像通過指定視點位置、前裁剪(clipping)區(qū)域、后裁剪區(qū)域與屏幕區(qū)域來進行。圖6是用于說明利用視點變換部235利用的透視投影變換法的圖像生成的模式圖。圖中，視錐臺區(qū)域610是分別連結(jié)所指定的前裁剪區(qū)域602的端點與所指定的后裁剪區(qū)域的端點的線段(圖6中的粗線)所包圍的區(qū)域。該利用透視投影變換法的圖像生成是在屏幕區(qū)域604中生成對從指定的視點位置601看到的視錐臺區(qū)域610中包含的對象依據(jù)遠近法的2維投影圖像的圖像生成方法。根據(jù)該透視投影變換法，在連結(jié)視點位置、前裁剪區(qū)域的各個端點、后裁剪區(qū)域的各個端點的直線上配置屏幕區(qū)域的各個端點，所以能生成讓觀察顯示所生成的圖像的顯示器顯示面的觀察者宛如經(jīng)由該顯示面觀看對象的圖像。圖7是表示視點變換部235生成的右眼原圖像與左眼原圖像的關(guān)系的模式圖。如圖所示，在觀察者以站立姿勢觀察顯示器190的顯示面310的情況下，因為右眼的位置與左眼的位置在X軸(參照圖3)方向上彼此為不同坐標(biāo)，所以右眼原圖像與左眼原圖像的關(guān)系是彼此在X軸方向上產(chǎn)生視差的圖像關(guān)系。另外，在觀察者以橫臥姿勢觀察顯示器190的顯示面310的情況下，因為右眼的位置與左眼的位置在Y軸方向上彼此為不同的坐標(biāo)，所以右眼原圖像與左眼原圖像的關(guān)系是彼此在Y軸方向上產(chǎn)生視差的圖像關(guān)系。這樣，視點變換部235生成右眼原圖像與左眼原圖像，使彼此在對應(yīng)于觀察者姿勢的方向之方向上產(chǎn)生視差。再次返回圖2，接著說明圖像生成裝置100的功能構(gòu)成。光柵化部236連接于視點變換部235、左眼幀緩沖部241 (后述)與右眼幀緩沖部242 (后述)，由執(zhí)行程序的處理器111實現(xiàn)，具有以下2個功能。紋理貼附功能在由視點變換部235生成的右眼原圖像與左眼原圖像中進行紋理貼附的功能。光柵化處理功能從貼附了紋理的右眼原圖像與左眼原圖像分別生成光柵形式的右眼圖像與光柵形式的左眼圖像的功能。這里生成的光柵(raster)形式的圖像例如是位圖形式的圖像。另外，在該光柵化處理中決定構(gòu)成所生成的圖像的象素的象素值。輸出部240連接于生成部230，由右眼幀緩沖部242、左眼幀緩沖部241與選擇部243構(gòu)成，具有將由生成部230生成的圖像輸出到顯示器190的功能。右眼幀緩沖部242連接于光柵化部236與選擇部243，由執(zhí)行程序的處理器111與右眼幀緩沖器113實現(xiàn)，具有在由光柵化部236生成右眼圖像的情況下、將生成的右眼圖像存儲在構(gòu)成本單元的右眼幀緩沖器113中的功能。左眼幀緩沖部241連接于光柵化部236與選擇部243，由執(zhí)行程序的處理器111與左眼幀緩沖器114實現(xiàn)，具有在由光柵化部236生成左眼圖像的情況下、將生成的左眼圖像存儲在構(gòu)成本單元的左眼幀緩沖器114中的功能。選擇部243連接于右眼幀緩沖部242與左眼幀緩沖部241，通過執(zhí)行程序的處理器111控制選擇器115來實現(xiàn)，具有以規(guī)定周期(例如1/120秒周期)交替選擇右眼幀緩沖部242中存儲的右眼圖像與左眼幀緩沖部241中存儲的左眼圖像后輸出到顯示器190的功能。觀察顯示器190的觀察者通過佩戴與該規(guī)定周期同步動作的主動式(active)快門眼鏡，可觀察具有進深感的立體圖像。
下面，參照附圖，說明上述構(gòu)成的圖像生成裝置100執(zhí)行的動作。〈動作〉這里，說明圖像生成裝置100執(zhí)行的動作中、作為特征動作的圖像生成處理。〈圖像生成處理〉圖像生成處理是圖像生成裝置100生成對應(yīng)于觀察顯示器190的顯示面310的觀察者的觀察位置的、該顯示面310中顯示的圖像的處理。在該圖像生成處理中，圖像生成裝置100與頭跟蹤部212執(zhí)行的攝影的幀速率同步地，重復(fù)進行右眼圖像與左眼圖像這2個圖像的生成。圖8是圖像生成處理的流程圖。圖像生成處理通過利用圖像生成裝置的用戶操作輸入裝置160、向圖像生成裝置100輸入開始圖像生成處理的命令來開始。若開始圖像生成處理，則頭跟蹤部212對存在于顯示器190的顯示面310附近的被攝體進行攝影，嘗試攝影到的被攝體中包含的臉區(qū)域的檢測(步驟S800)。接著，在臉區(qū)域的檢測成功的情況下(步驟S810:是)，頭跟蹤部212確定右眼位置與左眼位置(步驟S820)，算出右眼位置的右眼坐標(biāo)與左眼位置的左眼坐標(biāo)。若算出右眼坐標(biāo)與左眼坐標(biāo)，則坐標(biāo)變換部222從算出的右眼坐標(biāo)與左眼坐標(biāo)分別算出右視點坐標(biāo)與左視點坐標(biāo)(步驟S830)。在步驟S810的處理中，在臉區(qū)域的檢測失敗的情況下(步驟S810 :否)，坐標(biāo)變換部222向右視點坐標(biāo)與左視點坐標(biāo)分別代入事先設(shè)定的各自的規(guī)定值(步驟S840)。在步驟S830的處理終止的情況下，或在步驟S840的處理終止的情況下，坐標(biāo)變換部222將右視點坐標(biāo)與左視點坐標(biāo)分別變換為虛擬右視點坐標(biāo)與虛擬左視點坐標(biāo)(步驟S850)。若將右視點坐標(biāo)與左視點坐標(biāo)分別變換為虛擬右視點坐標(biāo)與虛擬左視點坐標(biāo)，則視點變換部235生成從該虛擬右視點坐標(biāo)看到的右眼原圖像、與從該虛擬左視點坐標(biāo)看到的左眼原圖像(步驟S860)。若生成右眼原圖像與左眼原圖像，則光柵化部236對這些右眼原圖像與左眼原圖像分別進行紋理貼附處理與光柵化處理，生成各個右眼圖像與左眼圖像。之后，將生成的右眼圖像存儲在右眼幀緩沖部242中，將生成的左眼圖像存儲在左眼幀緩沖部241中(步驟S870)。若存儲右眼圖像與左眼圖像，則圖像生成裝置100在待機直到頭跟蹤部212下次對被攝體進行攝影的規(guī)定時間之后，再次重復(fù)步驟S800以下的處理(步驟S880)?！纯疾臁迪旅妫疾炀邆渖鲜鰳?gòu)成的圖像生成裝置100生成的圖像由觀察該圖像的觀察者如何觀察。圖9是用于說明圖像生成裝置100生成的圖像的模式圖，表示虛擬空間中對象、屏幕區(qū)域與虛擬視點位置的位置關(guān)系。圖中，屏幕區(qū)域604與Z軸垂直，該圖是從虛擬空間內(nèi)Y軸(參照圖3)的正方向俯視屏幕區(qū)域604的圖。虛擬觀察位置K940是對應(yīng)于圖4中位置K440的虛擬空間上的位置。即，是對應(yīng)于由頭跟蹤部212確定的觀察位置的虛擬空間上的位置。虛擬視點位置J950是對應(yīng)于圖4中位置J450的虛擬空間上的位置。S卩，是由坐標(biāo)變換部222算出的虛擬視點位置。虛擬基準(zhǔn)平面920是對應(yīng)于圖4中基準(zhǔn)平面420的虛擬空間上的平面。虛擬基準(zhǔn)位置930是對應(yīng)于圖4中基準(zhǔn)位置430的虛擬空間上的位置。圖10(a)是設(shè)透視投影變換法中的屏幕區(qū)域為屏幕區(qū)域604時、設(shè)虛擬觀察位置K940為視點位置的、包含對象900的圖像，圖10(b)是設(shè)透視投影變換法中的屏幕區(qū)域為屏幕區(qū)域604時、設(shè)虛擬視點位置J950 為視點位置的、包含對象900的圖像。如圖9所示，虛擬視點位置J950從虛擬基準(zhǔn)位置930的位移量為虛擬觀察位置K940從虛擬基準(zhǔn)位置930的位移量的r倍。由此，如圖10(a)、(b)所示，在從虛擬視點位置J950看對象900的情況下，與比虛擬觀察位置K940看對象900的情況相比，更象從對象900的側(cè)面?zhèn)仍诳础＿@樣，從圖4中的位置K440的位置觀察顯示器190的觀察者，宛如從將自基準(zhǔn)位置430的位移量r倍后的位置J450觀察顯示器190的角度來觀察圖像。如圖9所示，虛擬視點位置J950中屏幕區(qū)域604的視角比虛擬觀察位置K940中屏幕區(qū)域604的視角小。〈變形例1>下面，作為涉及本發(fā)明方式的圖像生成裝置的一實施方式，說明變形涉及實施方式I的圖像生成裝置100的一部分的圖像生成裝置1100。〈概要〉圖像生成裝置1100的硬件構(gòu)成與涉及實施方式I的圖像生成裝置100相同，但所執(zhí)行的程序的一部分與涉及實施方式I的圖像生成裝置100不同。涉及實施方式I的圖像生成裝置100是如下實例，在檢測到觀察顯示器190的顯示面310的觀察者的觀察位置的情況下，生成從將從基準(zhǔn)位置至觀察位置的位移量r倍后的視點位置看到的圖像。此時，視點位置下顯示面310的視角比觀察位置下顯示面310的視角小。相反，涉及變形例I的圖像生成裝置1100與涉及實施方式I的圖像生成裝置100一樣，是在檢測到觀察者的觀察位置的情況下，生成從將從基準(zhǔn)位置至觀察位置的位移量r倍后的視點位置看到的圖像的構(gòu)成實例，但是將生成的圖像設(shè)為視角與觀察位置下顯示面310的視角相等的圖像的構(gòu)成實例。下面，對于涉及本變形例I的圖像生成裝置1100的構(gòu)成，主要參照附圖來說明與涉及實施方式I的圖像生成裝置100的不同之處。< 構(gòu)成 ><硬件構(gòu)成>圖像生成裝置1100的硬件構(gòu)成與涉及實施方式I的圖像生成裝置100的構(gòu)成相同。從而省略說明。〈功能構(gòu)成〉圖11是表示構(gòu)成圖像生成裝置1100的主要功能塊的功能框圖。如圖所示，圖像生成裝置1100與涉及實施方式I的圖像生成裝置100相比，坐標(biāo)變換部222變形為坐標(biāo)變換部1122，視點變換部235變形為視點變換部1135。伴隨這些變形，位置算出部220變形為位置算出部1120，生成部230變形為生成部1130。坐標(biāo)變換部1122從涉及實施方式I的坐標(biāo)變換部222變形了其功能的一部分，連接于頭跟蹤部212、參數(shù)保持部221、視點變換部1135與對象數(shù)據(jù)保持部231，由執(zhí)行程序的處理器111實現(xiàn)，除涉及實施方式I的坐標(biāo)變換部222具有的基準(zhǔn)位置計算功能、視點位置算出功能、坐標(biāo)變換功能外，還具有以下的追加坐標(biāo)變換功能。追加坐標(biāo)變換功能將由頭跟蹤部212算出的右眼坐標(biāo)與左眼坐標(biāo)分別變換為虛擬坐標(biāo)系中的虛擬右觀察坐標(biāo)與虛擬左觀察坐標(biāo)的功能。視點變換部1135從涉及實施方式I的視點變換部235變形其功能的一部分，連接于坐標(biāo)變換部1122、對象數(shù)據(jù)保持部231、陰影處理部234與光柵化部236，由執(zhí)行程序的處理器111實現(xiàn)，具有以下4個功能。視角算出功能算出從由視點變換部1135算出的虛擬右觀察坐標(biāo)所示的虛擬右觀察位置看到的屏幕區(qū)域視角(以下稱為“右觀察位置視角”。)、與從由視點變換部1135算出的虛擬左觀察坐標(biāo)所示的虛擬左觀察位置看到的屏幕區(qū)域視角(以下稱為“左觀察位置視角”。)的功能。以下，在不區(qū)別左右地表現(xiàn)左觀察位置視角與右觀察位置視角的情況下，僅表現(xiàn)為觀察位置視角。放大屏幕區(qū)域算出功能算出包含屏幕區(qū)域的平面中、具有從虛擬右眼視點位置看到的右觀察位置視角的區(qū)域，作為右放大屏幕區(qū)域，算出包含屏幕區(qū)域的平面中、具有從虛擬左眼視點位置看到的左觀察位置視角的區(qū)域，作為左放大屏幕區(qū)域的功能。這里，視點變換部1135算出所算出的右放大屏幕區(qū)域，使右放大屏幕區(qū)域的中央與屏幕區(qū)域的中央一致，算出所算出的左放大屏幕區(qū)域，使左放大屏幕區(qū)域的中央與屏幕區(qū)域的中央一致。圖12是表示虛擬空間中對象、屏幕區(qū)域、放大屏幕區(qū)域、虛擬觀察位置與虛擬視點位置的關(guān)系的模式圖。圖中，視角K1260是從虛擬觀察位置K940看到的屏幕區(qū)域604的視角。視角J1270是構(gòu)成與視角K1260相等的角度的角。放大屏幕區(qū)域1210是包含屏幕區(qū)域604的平面中、具有從虛擬視點位置J950看到的視角J1270的區(qū)域。另外，放大屏幕區(qū)域1210的中央為與屏幕區(qū)域中央910 —致的位置。接著說明視點變換部1135具有的功能。放大原圖像生成功能利用透視投影變換法、生成關(guān)于由陰影處理部234執(zhí)行陰影處理后的對象的、從坐標(biāo)變換部1122算出的虛擬右眼視點位置看到的向放大屏幕區(qū)域的投影圖像(以下稱為“右眼放大原圖像”。)、與從坐標(biāo)變換部222算出的虛擬左眼視點位置看到的向放大屏幕區(qū)域的投影圖像(以下稱為“左眼放大原圖像”。)的功能。以下，在左眼放大原圖像與右眼放大原圖像不區(qū)別左右表現(xiàn)的情況下，僅表現(xiàn)為放大原圖像。圖像縮小功能縮小修正右眼放大原圖像，使右眼放大原圖像的尺寸與屏幕區(qū)域的尺寸相等，生成右眼原圖像，并且縮小修正左眼放大原圖像，使左眼放大原圖像的尺寸與屏幕區(qū)域的尺寸相等，生成左眼原圖像的功能。以下，參照附圖來說明上述構(gòu)成的圖像生成裝置1100進行的動作。〈動作〉
這里，說明圖像生成裝置1100執(zhí)行的動作中、作為特征動作的第I變形圖像生成處理。<第I變形圖像生成處理>第I變形圖像生成處理是圖像生成裝置1100生成對應(yīng)于觀察顯示器190的顯示面310的觀察者的觀察位置的、該顯示面310中顯示的圖像的處理，從實施方式I中的圖像生成處理(參照圖8)變形該處理的一部分。圖13是第I變形圖像生成處理的流程圖。如圖所示，第I變形圖像生成處理是如下處理，即相對于實施方式I中的圖像生成處理(參照圖8)，在步驟S850的處理與步驟S860的處理之間，追加步驟S1354的處理與步驟S1358的處理，在步驟S860的處理與步驟S870的處理之間追加步驟S1365的處理，還將步驟S840的處理變形為步驟S1340的處理，將步驟S860的處理變形為步驟S1360的處理。因此，這里說明步驟S1340的處理、步驟S1354的處理、步驟S1358的處理、步驟S1360的處理與步驟S1365的處理。在步驟S810的處理中，在臉區(qū)域的檢測失敗的情況下(步驟S810 :否)，坐標(biāo)變換部222向右眼坐標(biāo)、左眼坐標(biāo)、右視點坐標(biāo)與左視點坐標(biāo)分別代入事先設(shè)定的各個規(guī)定值(步驟 S1340)。在步驟S850的處理中，若將右視點坐標(biāo)與左視點坐標(biāo)分別變換為虛擬右視點坐標(biāo)與虛擬左視點坐標(biāo)，則坐標(biāo)變換部1122將右眼坐標(biāo)與左眼坐標(biāo)分別變換為虛擬坐標(biāo)系中的虛擬右觀察坐標(biāo)與虛擬左觀察坐標(biāo)(步驟S1354)。若將右眼坐標(biāo)與左眼坐標(biāo)分別變換為虛擬坐標(biāo)系中的虛擬右觀察坐標(biāo)與虛擬左觀察坐標(biāo)，則視點變換部1135算出從視點變換部1135算出的虛擬右觀察坐標(biāo)所示的虛擬右觀察位置看到的、作為屏幕區(qū)域視角的右觀察位置視角、與從視點變換部1135算出的虛擬左觀察坐標(biāo)所示的虛擬左觀察位置看到的、作為屏幕區(qū)域視角的左觀察位置視角(步驟S1358)。若算出右觀察位置視角與左觀察位置視角，則視點變換部1135生成具有右觀察位置視角的右放大原圖像、與具有左觀察位置視角的左放大原圖像(步驟S1360)。若生成右放大原圖像與左放大原圖像，則由生成的右放大原圖像與左放大原圖像分別生成右眼原圖像與左眼原圖像(步驟S1365)。< 考察 >以下，考察具備上述構(gòu)成的圖像生成裝置1100生成的圖像由觀察該圖像的觀察者如何進行觀察。圖14(a)是設(shè)透視投影變換法下的屏幕區(qū)域為屏幕區(qū)域604 (參照圖12)時、以虛擬觀察位置K940為視點位置的、包含對象900的圖像，圖14(b)是通過對設(shè)透視投影變換法下的屏幕區(qū)域為屏幕區(qū)域604時、以虛擬視點位置J950為視點位置的、包含對象900的圖像進行縮小修正所得到的圖像(以下稱為“縮小修正圖像”。)、即原圖像。如圖12所示，虛擬視點位置J950從虛擬基準(zhǔn)位置930的位移量是將虛擬觀察位置K940從虛擬基準(zhǔn)位置930的位移量的r倍后的位移量。由此，如圖14(a)、(b)所示，在從虛擬視點位置J950看對象900的情況下，與從虛擬觀察位置K940看對象900的情況相t匕，更象從對象900的側(cè)面?zhèn)仍诳?。并且，顯示器190的顯示面310中顯示的圖像，是關(guān)于具有從虛擬視點位置J950看到的屏幕區(qū)域604的視角的區(qū)域的圖像。因此，變形例I中，從圖4中的位置K440的位置觀察顯示器190的觀察者所觀察的圖像(參照圖14(b))在實施方式I中與從圖4中位置K440的位置觀察顯示器190的觀察者所觀察的圖像(參照圖10(b))相比，為不適感更少的圖像。<變形例2>以下，作為本發(fā)明方式中的圖像生成裝置的一實施方式，說明進一步變形涉及變形例I的圖像生成裝置1100的一部分的圖像生成裝置1500?！锤乓祱D像生成裝置1500的硬件構(gòu)成與涉及變形例I的圖像生成裝置1100相同，實行的程序的一部分與涉及變形例I的圖像生成裝置1100不同。涉及變形例I的圖像生成裝置1100是執(zhí)行放大屏幕區(qū)域的算出、使放大屏幕區(qū)域的中央與屏幕區(qū)域的中央一致的構(gòu)成實例。相反，涉及變形例2的圖像生成裝置1500是執(zhí)行放大屏幕區(qū)域的算出、使放大屏幕區(qū)域中位移方向側(cè)的邊與屏幕區(qū)域的位移方向側(cè)的邊彼此一致。以下，就涉及本變形例2的圖像生成裝置1500的構(gòu)成，參照附圖，主要說明與涉及變形例I的圖像生成裝置1100的不同點?！礃?gòu)成〉〈硬件構(gòu)成〉圖像生成裝置1500的硬件構(gòu)成與涉及變形例I的圖像生成裝置1100的構(gòu)成相同。由此,省略說明?！垂δ軜?gòu)成〉圖15是表示構(gòu)成圖像生成裝置1500的主要功能塊的功能框圖。如圖所示，圖像生成裝置1500與涉及變形例I的圖像生成裝置1100相比，將視點變換部1135變形為視點變換部1535。另外，伴隨該變形，將生成部1130變形為生成部1530。視點變換部1535從涉及變形例I的視點變換部1135變形其功能的一部分，連接于坐標(biāo)變換部1122、對象數(shù)據(jù)保持部231、陰影處理部234與光柵化部236，由執(zhí)行程序的處理器111實現(xiàn)，除涉及變形例I的視點變換部1135具有的視角算出功能、放大原圖像生成功能、圖像縮小功能外，還具有變形放大屏幕區(qū)域算出功能。變形放大屏幕區(qū)域算出功能算出包含屏幕區(qū)域的平面中、具有從虛擬右眼視點位置看到的右觀察位置視角的區(qū)域，作為右放大屏幕區(qū)域，算出包含屏幕區(qū)域的平面中、具有從虛擬左眼視點位置看到的左觀察位置視角的區(qū)域，作為左放大屏幕區(qū)域的功能。這里，視點變換部1535算出所算出的右放大屏幕區(qū)域，使右放大屏幕區(qū)域中位移方向側(cè)的邊與屏幕區(qū)域的位移方向側(cè)的邊一致，算出所算出的左放大屏幕區(qū)域，使左放大屏幕區(qū)域中位移方向側(cè)的邊與屏幕區(qū)域的位移方向側(cè)的邊一致。圖16是表示虛擬空間中對象、屏幕區(qū)域、放大屏幕區(qū)域、虛擬觀察位置與虛擬視點位置的關(guān)系的模式圖。圖中，視角K1670是構(gòu)成與視角K1260相等的角度的角。
放大屏幕區(qū)域1610是包含屏幕區(qū)域604的平面中、具有從虛擬視點位置J950看到的視角J1670的區(qū)域。另外，放大屏幕區(qū)域中位移方向側(cè)的邊與屏幕區(qū)域的位移方向側(cè)的邊一致。< 考察 >以下，考察具備上述構(gòu)成的圖像生成裝置1500生成的圖像由觀察該圖像的觀察者如何進行觀察。圖17(a)是設(shè)透視投影變換法下的屏幕區(qū)域為屏幕區(qū)域604 (參照圖12)時、以虛擬觀察位置K940為視點位置的、包含對象900的圖像，圖17(b)是通過對設(shè)透視投影變換法下的屏幕區(qū)域為屏幕區(qū)域604時、以虛擬視點位置J950為視點位置的、包含對象900的圖像進行縮小修正所得到的縮小修正圖像、即原圖像。如圖17(b)所示，變形例2中，從圖4中的位置K440的位置觀察顯示器190的觀察者的圖像與變形例I中從圖4中的位置K440的位置觀察顯示器190的觀察者的圖像(參照圖14(b))相比，對象900的位置向左側(cè)(位移方向側(cè))移位。<變形例3>以下，作為涉及本發(fā)明方式的圖像生成裝置的一實施方式，說明變形涉及實施方式I的圖像生成裝置100的一部分的圖像生成裝置1800?！锤乓祱D像生成裝置1800的硬件構(gòu)成與涉及實施方式I的圖像生成裝置100相同，實行的程序的一部分與涉及實施方式I的圖像生成裝置100不同。涉及實施方式I的圖像生成裝置100是在與顯示器190的顯示面310平行的平面、即基準(zhǔn)平面上算出視點位置的算出的構(gòu)成實例。相反，涉及變形例3的圖像生成裝置1800為在顯示器190的顯示面310的視角一定的曲面、即基準(zhǔn)曲面上算出視點位置的算出的構(gòu)成實例。以下，就涉及本變形例3的圖像生成裝置1800的構(gòu)成，參照附圖，主要說明與涉及實施方式I的圖像生成裝置100的不同點。〈構(gòu)成〉<硬件構(gòu)成>圖像生成裝置1800的硬件構(gòu)成與涉及變形例I的圖像生成裝置1100的構(gòu)成相同。從而省略說明。<功能構(gòu)成>圖18是表示構(gòu)成圖像生成裝置1800的主要功能塊的功能框圖。如圖所示，圖像生成裝置1800與涉及實施方式I的圖像生成裝置100相比，將坐標(biāo)變換部222變形為坐標(biāo)變換部1822。另外，伴隨該變形，將位置算出部220變形為位置算出部1820。坐標(biāo)變換部1822從涉及實施方式I的坐標(biāo)變換部222變形其功能的一部分，連接于頭跟蹤部212、參數(shù)保持部221、視點變換部235與對象數(shù)據(jù)保持部231，由執(zhí)行程序的處理器111實現(xiàn)，除涉及實施方式I的坐標(biāo)變換部222具有的坐標(biāo)變換功能外，還具有以下的變形基準(zhǔn)位置計算功能與變形視點位置算出功能。變形基準(zhǔn)位置計算功能對頭跟蹤部212確定的右眼位置與左眼位置，分別算出眼位置下對顯示器190的顯示面310的視角，并算出由對顯示面310的視角與算出的視角相等的位置的集合構(gòu)成的基準(zhǔn)曲面，計算所算出的基準(zhǔn)曲面中、與顯示面310中央相對置的位置，作為基準(zhǔn)位置的功能。這里，所謂基準(zhǔn)曲面中與顯示面中央相對置的位置是通過顯示面中央的顯示面的垂線與基準(zhǔn)曲面的交點位置。圖19是模式表不從Y軸(參照圖3)的正方向俯視顯不器190時、顯不器190的顯示面310與基準(zhǔn)位置430的關(guān)系的模式圖。這里，顯示面與Z軸垂直。圖中，位置K440表示頭跟蹤部212確定的觀察位置(參照圖4)。位置J1950如后所述。視角K1960是從位置K440看到的顯示面310的視角?；鶞?zhǔn)曲面1920是對顯示面310的視角與視角K1960相等的位置的集合構(gòu)成的曲面?；鶞?zhǔn)位置1930是基準(zhǔn)曲面1920上的點中、通過顯示面中央410的顯示面310的垂線與基準(zhǔn)曲面1920的交點位置。接著，說明坐標(biāo)變換部1822具有的功能。變形視點位置算出功能對頭跟蹤部212確定的右眼位置與左眼位置、分別算出將各個基準(zhǔn)曲面中、距各個基準(zhǔn)位置的位移量r倍后的右眼視點位置與左眼視點位置的功能。這里，所謂算出將基準(zhǔn)曲面中位移量r倍而得到的視點位置是指對于以基準(zhǔn)位置為起點、以眼的位置為終點的基準(zhǔn)曲面上的矢量，算出維持矢量方向不變、將矢量大??！■倍而得到的矢量的終點位置，作為視點位置。這里，為了使算出的視點位置不進入顯示器190的顯示面310的背后，也可將算出的視點位置限制在顯示面310的表面?zhèn)?。另外，以下在不區(qū)別左右地表現(xiàn)右眼視點位置與左眼視點位置的情況下，僅表現(xiàn)為視點位置。圖19中，位置J1950在頭跟蹤部212確定的眼的位置是位置K440的情況下，表示坐標(biāo)變換部1822算出的視點位置?！纯疾臁狄韵?，考慮具備上述構(gòu)成的圖像生成裝置1800生成的圖像由觀察該圖像的觀察者如何觀察。圖20是用于說明圖像生成裝置1800生成的圖像的模式圖，表示虛擬空間中對象、屏幕區(qū)域與虛擬視點位置的位置關(guān)系。圖中，屏幕區(qū)域604與Z軸垂直，該圖為從虛擬空間內(nèi)Y軸(參照圖3)的正方向俯視屏幕區(qū)域604的圖。虛擬觀察位置K2040是對應(yīng)于圖19中位置K440的虛擬空間上的位置。即，是對應(yīng)于頭跟蹤部212確定的觀察位置的虛擬空間上的位置。虛擬視點位置J2050是對應(yīng)于圖19中位置J1950的虛擬空間上的位置。即，是坐標(biāo)變換部1822算出的虛擬視點位置。虛擬基準(zhǔn)曲面2020是對應(yīng)于圖19中基準(zhǔn)曲面1920的虛擬空間上的曲面。虛擬基準(zhǔn)位置2030是對應(yīng)于圖19中基準(zhǔn)位置1930的虛擬空間上的位置。圖21 (a)是設(shè)透視投影變換法中的屏幕區(qū)域為屏幕區(qū)域604時、設(shè)虛擬觀察位置K2040為視點位置的、包含對象900的圖像，圖21 (b)是設(shè)透視投影變換法中的屏幕區(qū)域為屏幕區(qū)域604時、設(shè)虛擬視點位置J2050為視點位置的、包含對象900的圖像。
如圖20所示，虛擬視點位置J2050距虛擬基準(zhǔn)位置2030的位移量為虛擬觀察位置K2040距虛擬基準(zhǔn)位置2030的位移量的r倍。由此，如圖21 (a)、(b)所示，在從虛擬視點位置J2050看對象900的情況下，與從虛擬觀察位置K2040看對象900的情況相比，更象從對象900的側(cè)面?zhèn)仍诳?。這樣，從圖19中的位置K440的位置觀察顯示器190的觀察者，宛如從將自基準(zhǔn)位置1930的位移量r倍后的位置J1950觀察顯示器190的角度來觀察圖像。并且，顯示器190的顯示面310中顯示的圖像從虛擬觀察位置K2040看到的屏幕區(qū)域604的視角與從虛擬視點位置J2050看到的屏幕區(qū)域604的視角彼此相等。因此，變形例3中，從圖4 (或圖19)中的位置K440的位置觀察顯示器190的觀察者觀察的圖像(參照圖21(b))與實施方式I中從圖4中的位置K440的位置觀察顯示器190的觀察者觀察的圖像(參照圖10(b))相比，為不適感更少的圖像。<其他變形例>頭跟蹤部212因測距裝置131的精度，按照每一幀在觀察位置會發(fā)生少量的誤差。此時，也可構(gòu)成為使用低通濾波器來從多個前面的觀察位置中消除測定誤差。作為攝像機130的設(shè)置方法，考慮在顯示器190的上部配置攝像機130的方法，此時，如圖22上段所示，與顯示器190處于極近距離的區(qū)域等不進入測距裝置131或攝像裝置132的視場角，為死角，存在不能感應(yīng)的課題。因此，為了感應(yīng)位于與顯示器190極近距離的觀察者，也可如圖22下段所示，將攝像機130配置在觀察者的后方來取得。此時，使取得的X值、Y值反轉(zhuǎn)，Z值通過計測顯示器190與攝像機130的距離，從顯示器190與攝像機130的距離減去Z值后，求出值。為了取得顯示器190與攝像機130的距離關(guān)系，若在顯示器190側(cè)準(zhǔn)備構(gòu)成記號的標(biāo)記圖像，則頭跟蹤部212通過與該標(biāo)記進行圖案匹配，則能容易計測與顯示器190的距離。由此，能感應(yīng)與顯示器190極近距離的觀察者。另外，為了感應(yīng)位于與顯示器190極近距離的觀察者，也可如圖23所示，將攝像機130配置在顯示器190上部，傾斜配置，以便極近距離的觀察者能感應(yīng)。此時，使用攝像機130與顯示器190的傾角a的信息，修正坐標(biāo)。為了取得傾角a，也可在攝像機130上搭載陀螺儀傳感器。由此，能感應(yīng)與顯示器190極近距離的觀察者。另外，為了感應(yīng)處于與顯示器190極近距離的觀察者，也可構(gòu)成為將攝像機130配置在顯示器190上部，放置以追隨觀察者。構(gòu)成為使攝像機130旋轉(zhuǎn)，以便被識別臉的觀察者進入攝像機130的圖像。另外，在將攝像機130從后方裝配在顯示器190上的方式的情況下，因為不能把握攝像機130與顯示器190的位置關(guān)系，所以存在不能正確跟蹤觀察者位置的課題。在圖24上段的實例中，觀察者在X、Y軸位于中心位置，但從后方裝配的攝像機130由于不能把握與顯示器190的位置關(guān)系，所以不能修正攝像機130與顯示器190的中心的差分，在圖24上段的實例中，會將觀察者位置誤檢測為X=-200mm、Y=-300mm。因此,如圖24下段左例所示，為了使用戶的頭的中心位于顯示器190的中心，也可提示進行站立，以該位置為基準(zhǔn)來把握攝像機130與顯示器190的位置關(guān)系。例如，在圖24上段的實例中，若觀察者站立以便頭來到顯示器190的中心，則攝像機130取得用戶頭部為X=-200mm、Y=-300mm，但在之后的頭跟蹤中，修正處理，以便該地點變?yōu)橹行?X=Omm、Y=Omm)。另外，如圖25上段所示，也可在顯示器190上準(zhǔn)備有進深的虛擬盒，以⑶I等調(diào)整盒的坐標(biāo)，進行校準(zhǔn)，以便使觀察者站立在各角落(左上、右上、右下、左下)地點，在該地點，連結(jié)屏幕平面的角落與虛擬盒的角落的直線存在于觀察者的視線上。由此，在觀察者能直觀地校準(zhǔn)的同吋，能使用多個地點信息更高精度地校準(zhǔn)。作為校準(zhǔn)方法，如圖25下段左所示，也可圖像生成裝置100感應(yīng)物理尺寸已知的對象來進行。例如，也可讓圖像生成裝置100保持操作顯示器190的遙控器的形狀信息，通過如圖25下段左所示放置遙控器，進行坐標(biāo)的修正。因為圖像生成裝置100已知遙控器的形狀，所以能容易識別，另外，因為知道大小，所以能根據(jù)攝像機130上的尺寸與實際尺寸的關(guān)系來計算遙控器位置的進深。不僅遙控器，也可使用塑料瓶或智能手機等各種身旁的物品。另外，如圖25下段右所示，也可構(gòu)成為在顯示器190中顯示柵格，以便知道距中心的距離，讓觀察者輸入從中心至攝像機130的距離。由此，因為能把握攝像機130與顯示器190的位置關(guān)系，所以能修正。顯示器190的大小的信息也可根據(jù)HDMI (High-DefinitionMultimediaInterface :高清多媒體接ロ)信息設(shè)定，或由用戶通過⑶I等設(shè)定。在多個人位于顯示器190前的情況下，進行哪個人物的頭部檢測的選擇若能由“舉手”等固定姿態(tài)決定，則能簡易地選擇人物。此時，構(gòu)成為讓頭跟蹤部212具有通過對“舉手”的姿態(tài)進行圖案匹配等來識別的功能，識別該姿態(tài)，記憶執(zhí)行該姿態(tài)的人物的臉，進行頭跟蹤。另外，多個人位于電視前時的選擇不僅通過姿態(tài)，也可將拍攝了多個人物的影像移動到畫面上，由GUI等選擇進行跟蹤的人物。另外，光源位置的設(shè)定如圖26所示，若構(gòu)成為與現(xiàn)實世界的光源(例如照明)位置匹配，則現(xiàn)場感增強。在圖26上段，相對于現(xiàn)實世界的照明位置位于觀察者的上邊，CG上的光源位置位于3維模型的后方(觀察者位置的相反方向)，所以陰影或影子讓用戶感到不適。另ー方面，如圖26下段所示，若現(xiàn)實世界的照明位置與CG空間的照明位置一致，則陰影或影子無不適感，現(xiàn)場感增強。從而，要求取得現(xiàn)實世界的照明的位置信息或強度。為了取得現(xiàn)實世界的照明的位置信息及強度，如圖27所示，也可構(gòu)成為利用照度傳感器。照度傳感器是測定光量的傳感器，用于若在人們感到暗時則點亮光源，相反若感到亮則熄滅光源的用途。若如圖27所示配置多個照度傳感器，則能根據(jù)各照度傳感器的大小來確定光的方向。例如，若圖27的A、B的光量大C、D的光量小,貝U可知光從右上來。為了這樣使用傳感器來確定光源位置，也可降低顯示器190的面板亮度，抑制光的干擾。另外，為了知道現(xiàn)實世界的照明位置信息，也可由用戶利用⑶I等設(shè)定。此時，例如圖像生成裝置100指示觀察者向照明正下方移動，或指示輸入從觀察者的頭部至照明的距離。此時，圖像生成裝置100通過由頭跟蹤部212取得觀察者的狀況位置,確定位置信息，向該位置信息的Y值加上現(xiàn)實世界的照明與頭部的距離，能確定照明的位置信息。另外，為了確定現(xiàn)實世界的照明位置，也可根據(jù)由攝像機130攝影的影像的亮度信息來確定。另外，通過執(zhí)行利用采樣圖像的匹配來確定右眼位置與左眼位置的確定，但也可根據(jù)檢測的臉區(qū)域來算出臉的中心位置，再根據(jù)該臉的中心位置算出各眼的位置。例如，若臉的中心位置的坐標(biāo)為(X1、Y1、Z1)，則左眼的位置坐標(biāo)為(Xl-3cm、Yl、Zl)，右眼的位置坐標(biāo)為(Xl+3cm、Yl、Zl)。并且，虛擬右視點位置與虛擬左視點位置的算出也可在算出對應(yīng)于臉的中心位置的虛擬視點位置后，根據(jù)該虛擬視點位置，算出虛擬右視點位置與虛擬左視點位置。例如，若對應(yīng)于臉的中心位置的虛擬視點位置為(X1、Y1、Z1)，則虛擬左視點位置的坐標(biāo)為{Xl-(3cm*RealToCG系數(shù))、Yl、Z1}，虛擬右視點位置的坐標(biāo)為{XI+(3cm*RealToCG系數(shù))、Y1、Z1}。另外，為了舒適地顯示對象，也可構(gòu)成為在視錐臺的空間中，在比屏幕區(qū)域更靠近觀察者側(cè)的空間中，包含對象的坐標(biāo)。圖28的左圖是表示觀察者與對象在CG上的坐標(biāo)的關(guān)系的圖。此時，對象I與對象2全部包含在視錐臺的范圍內(nèi)，但在進行了視點移動的右圖中，對象I與對象2會超出視錐臺。這里，對象I由于進入屏幕區(qū)域中看不到的區(qū)域中，所以沒有不適感，而對象2由于原本應(yīng)看見的部分缺失，所以不適感大。因此，在CG模型的坐標(biāo)的進深位置比屏幕區(qū)域的CG上進深坐標(biāo)更靠近觀察者側(cè)的情況下，限制成其不超出比視錐臺的空間的屏幕區(qū)域更靠近觀察者側(cè)的空間(區(qū)域A)。由此，觀察者即便對位于近前的對象，也能視聽無不適感的圖像。為了對象不超出區(qū)域A，將覆蓋對象的立方體虛擬地模型化，計算該立方體與區(qū)域A的包含關(guān)系。在超出區(qū)域A的情況下，向橫向或后方(用戶的相反側(cè))移動，以不超出區(qū)域A。另外，此時也可縮小對象的比例。另外，也可始終將對象配置在區(qū)域B(視錐臺的空間中，屏幕區(qū)域內(nèi)側(cè)(觀察者位置的相反側(cè)))。另外，如圖29右所示通過左右對開地在側(cè)面設(shè)置屏幕，觀察者的視野角増加，所以如圖29左所示，位于近前的對象的可視聽區(qū)域増加。此時，視點變換部235構(gòu)成為不僅進行中心顯示器用變換，還根據(jù)觀察位置執(zhí)行對側(cè)面顯示器的透視投影變換，在側(cè)面顯示器中顯示影像。另外，如圖30所示，若是橢圓形顯示器，則只要區(qū)分成多個矩形區(qū)域，對其分別進行透視投影變換，顯示圖像即可。另外，若是使用主動式快門方式或偏光方式眼鏡的3D電視，則也可通過以圖案匹配來確定眼鏡的形狀，執(zhí)行右眼位置與左眼位置的確定。作為生成3D影像的部件，有圖31所示的I平面+偏移(lplane+offset)方式。I平面+偏移方式用于Blu-ray (注冊商標(biāo))3D等3D影像格式中、字幕或菜單等簡易的3D圖形顯示中。I平面+偏移方式相對于描繪2D圖形的平面、以指定的偏移量向左右移位平面，生成左眼用圖象(image)與右眼用圖象。通過將該圖象合成到影像等的平面，如圖31所示，能制作左眼與右眼用視差圖像，所以能對平面圖象附加深度。能對觀察者表現(xiàn)為平面圖象從顯示器突起。圖像生成裝置100的生成部230雖然使用3維計算機圖形的描繪來說明，但在由I平面+偏移方式來生成3D影像的情況下，也可構(gòu)成為求出右眼位置與左眼位置的傾角，平面移位。即，如圖32上段所示，在觀察者橫臥的姿態(tài)下，當(dāng)左眼來到下側(cè)時，向上下施加偏移，生成左右影像。這構(gòu)成為如圖32下段所示，對應(yīng)于觀察者的眼位置的角度，以大小為I的矢量值來施加偏移。由此，能在自由視點影像中對應(yīng)于觀察者的眼的位置、以最佳形式生成I平面+偏移的3D影像。為了進一步增加現(xiàn)場感，要求以實物大小來顯示描繪的對象。例如，為了在屏幕上顯示人物的模型，要求以實際的人的尺寸來顯示。參照圖33來說明該方法。如圖33所示，對象中除坐標(biāo)數(shù)據(jù)外，還包含“實物大小縮放(scaling)系數(shù)”信息。該信息是用于將對象的坐標(biāo)數(shù)據(jù)變換為現(xiàn)實世界的尺寸的信息。這里，設(shè)實物大小縮放系數(shù)是將坐標(biāo)數(shù)據(jù)的數(shù)值變換為mm的系數(shù)。由于存在該系數(shù)，例如在實物大小縮放系數(shù)為10. 0的情況下，若對象尺寸為40. 0，則能將現(xiàn)實世界尺寸變換為40. 0 X 10. 0=400 (mm)。這里，說明生成部230以真實尺寸顯示對象用的、將該對象變換為CG上的坐標(biāo)信息的方法。生成部230為了將該對象變換為CG上的坐標(biāo)信息，對該對象使用實物大小縮放系數(shù)，縮放為現(xiàn)實世界的尺寸之后，乘以RealToCG系數(shù)來求出。例如圖33中說明顯示器物理尺寸為IOOOmm的顯示器、與顯示器物理尺寸為500mm的顯示器中顯示的情況。在顯示器物理尺寸為IOOOmm的顯示器的情況下，在圖33的實例模型的情況下，CG上的坐標(biāo)因為RealToCG系數(shù)是0. 05，所以通過將該系數(shù)乘以CG模型的現(xiàn)實世界尺寸400mm，可求出CG上的坐標(biāo)20. O。另外，在顯示器物理尺寸為IOOOmm的顯示器的情況下，在圖33的實例模型的情況下，CG上的坐標(biāo)因為RealToCG系數(shù)是0. 1，所以通過將該系數(shù)乘以400mm，能求出CG上的坐標(biāo)40. O。這樣，通過將實物大小縮放系數(shù)包含在模型信息中，能以現(xiàn)實世界空間的尺寸來描繪對象。如圖34所示，也可構(gòu)成為以連結(jié)顯示器中心與觀察者的線為軸，與觀察者的運動匹配來使顯示器旋轉(zhuǎn)。此時，使顯示器旋轉(zhuǎn)，以便攝像機130始終完全正面地捕捉觀察者。通過如此構(gòu)成，觀察者能從360度觀察CG上的物體。另外，！■值也可利用顯示器的物理尺寸(英寸數(shù))來調(diào)整。在顯示器的尺寸大的情況下，若移動量不大，則因為未繞入物體，所以増大r值，若顯示器的尺寸小，則減小r值。 據(jù)此，即便用戶不調(diào)整，也能設(shè)定適當(dāng)?shù)谋堵省Ａ硗?，！■值也可根?jù)人的身高等身體尺寸來調(diào)整。也可構(gòu)成為大人相比孩子當(dāng)身體運動時的幅度大，所以孩子的r值比大人的r值大。據(jù)此，即便用戶不調(diào)整，也能設(shè)定適當(dāng)?shù)谋堵省D35表示圖像生成裝置100的應(yīng)用例(應(yīng)用)。這是用戶與CG空間上的CG角色取得聯(lián)系，進行游戲等的應(yīng)用。例如，還考慮養(yǎng)成CG角色的游戲或與CG角色成為朋友、戀愛的游戲等。另外，也可是CG角色作為用戶的代理，進行工作等。例如，若用戶說“想去夏威夷”，則CG角色從因特網(wǎng)上檢索夏威夷的旅行計劃，將結(jié)果通知給用戶。通信因自由視點3D影像的現(xiàn)場感而容易了解，用戶愛著CG角色。描述這種應(yīng)用例中的課題與對策。為了進ー步増加用戶與CG角色在相同空間中的現(xiàn)場感，也可將“溫度傳感器”搭載于圖像生成裝置100。也可通過從“溫度傳感器”取得室內(nèi)的溫度，對應(yīng)于該溫度，改變CG角色的服裝。例如，若室溫低，則CG角色穿著足夠衣服，若室溫高，則CG角色穿著少。由此，能増加與用戶的一體感。近年來，通過因特網(wǎng)，偶像等名人利用推特或博客等傳遞自身想法的情況急劇增カロ。提供將這種字符信息具有現(xiàn)場感來表現(xiàn)的方法。CG角色模仿偶像等名人，在該CG角色中組入模型化后的名人的推特或博客的URL或訪問API信息，若更新推特或博客，則再現(xiàn)裝置經(jīng)由該URL或訪問API取得推特或博客的字符信息，并象說話似地移動CG角色嘴部分的CG頂點坐標(biāo)，同時，根據(jù)該名人的聲音特性來發(fā)生字符信息。由此，因為用戶感到宛如名人實際注釋其推特或博客的內(nèi)容，所以能比僅讀字符信息更感到現(xiàn)場感。另外，為了進ー步增加現(xiàn)場感，也可從推特或博客網(wǎng)址取得該名人的推特或博客的聲音流、該聲音流中嘴的動作的運動捕捉信息。此時，再現(xiàn)裝置通過邊再現(xiàn)聲音流，邊根據(jù)嘴的動作的運動捕捉信息來移動頂點坐標(biāo)，能更自然地再現(xiàn)名人的講話。如圖36所示，若用戶自身能進入屏幕內(nèi)，則用戶與CG角色能更圓滑地通信。因此，用圖37來說明用戶與CG角色進入同一屏幕的構(gòu)成。首先，圖37左構(gòu)成中，在電視(例如顯示器190)中配置頭跟蹤設(shè)備(例如攝像機130)的情況下，頭跟蹤部212利用頭跟蹤識別用戶，同時，從畫面全體的進深信息的深度映射中抽取用戶的體部分。例如右上所示，若有深度映射，則區(qū)別背景與用戶。從攝像機攝影的圖像中切除確定的用戶區(qū)域。將其用作CG世界上的紋理。對于人類的模型而言，將該圖像作為紋理貼附，使之處于用戶位置(X，Y坐標(biāo)值、Z值反轉(zhuǎn)等)，出現(xiàn)在CG世界上，進行繪制。此時，如圖37中下所示進行顯示。但是，此時因為是來自前面的攝像機影像，所以左右相反，用戶感到不適。從而，使用戶的紋理以Y軸為軸左右反轉(zhuǎn)，如圖37右下所示顯示。這樣，期望現(xiàn)實世界的用戶與屏幕上的用戶成鏡面關(guān)系。由此，用戶能無不適感地進入屏幕上。如圖37右下所示，為了用戶的臉不超出屏幕，在屏幕側(cè)顯示用戶的背部，也可構(gòu)成為在用戶的后方保持頭跟蹤設(shè)備。另外，也可根據(jù)前方的深度映射信息生成CG模型，攝像機從后方取得照片或影像，作為紋理貼附在模型上顯示。另外，作為用戶與CG角色進入同一屏幕空間時的例，考慮在好的地理位置風(fēng)景中的散歩。此時，通過邊再現(xiàn)背景好的位置影像，邊合成CG模型與用戶，享受有現(xiàn)場感的散步。位置影像也可利用BD-ROM等光盤發(fā)布。聽障者與健全者的通信課題存在健全者不會使用手語等問題。提供解決該問題的圖像生成裝置。圖38與圖39是該系統(tǒng)構(gòu)成的概要。用戶A是聽障者，用戶B是健全者。用戶A的電視(例如顯示器190)中顯示用戶B的模型，用戶B的電視中顯示用戶A的模型。說明本系統(tǒng)中的處理步驟。首先，說明圖38中聽障者用戶A的信息發(fā)送中的處理步驟。STEP1.用戶A進行手語。STEP2.圖像生成裝置的頭跟蹤部(例如頭跟蹤部212)不僅識別用戶的頭部位置，還識別、解釋手語姿態(tài)。STEP3.圖像生成裝置將手語信息變換為字符信息，將字符信息經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)傳遞給用戶B的圖像生成裝置。STEP4.用戶B的圖像生成裝置若接受數(shù)據(jù)，則將字符信息變換為聲音，輸出到用戶B。接著，說明圖39中健全者用戶B的信息發(fā)送中的處理步驟。STEP1.健全者用戶A發(fā)音說話。STEP2.圖像生成裝置在用麥克風(fēng)取得聲音的同時，識別嘴的動作。STEP3.圖像生成裝置將聲音、聲音識別結(jié)果的字符信息、嘴的動作信息經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)傳遞給用戶A的圖像生成裝置。STEP4.用戶A的圖像生成裝置邊在畫面上顯示字符信息，邊以模型再現(xiàn)嘴的動作來顯示?；蛘咭部蓪⒆址畔⒆儞Q為手語姿態(tài)，反映到用戶A的模型動作上。由此，即便是不知手語的健全者，也能與聽障者自然交流。< 補充 >以上，作為涉及本發(fā)明的圖像生成裝置的ー實施方式，用實施方式1、變形例1、變形例2、變形例3、其他變形例來說明了多個圖像生成裝置的實例，但也可如下變形，本發(fā)明當(dāng)然不限于上述實施方式等所示的圖像生成裝置。(I)實施方式I中，圖像生成裝置100是將所生成的圖像作為虛擬空間上模型化的CG圖像來生成的構(gòu)成實例。但是，若能生成從指定的位置看到的圖像，則未必限于生成為在虛擬空間上模型化的CG圖像的構(gòu)成。作為一例，考慮利用從多個位置實際攝影的圖像間插補來生成圖像的技術(shù)(例如專利文獻I記載的自由視點圖像生成技木)來生成圖像的構(gòu)成實例等。(2)實施方式I中，圖像生成裝置100是檢測觀察者的右眼位置與左眼位置，根據(jù)檢測到的右眼位置與左眼位置，分別生成右眼圖像與左眼圖像的構(gòu)成實例。但是，若能至少檢測觀察者的位置，根據(jù)檢測的觀察者的位置生成圖像，則未必檢測觀察者的右眼位置與左眼位置，生成右眼圖像與左眼圖像。作為一例，考慮頭跟蹤部212確定觀察者的臉的中心位置，設(shè)為觀察位置，坐標(biāo)變換部222根據(jù)該觀察位置，算出虛擬視點位置，視點變換部235生成從該虛擬視點位置看到的原圖像，光柵化部236根據(jù)該原圖像生成圖像的構(gòu)成實例等。(3)實施方式I中，圖像生成裝置100是將基準(zhǔn)平面中從基準(zhǔn)位置到觀察位置的位移量的X軸分量與Y軸分量均r倍后算出視點位置的算出的構(gòu)成實例。但是，作為其他一例，考慮將基準(zhǔn)平面中從基準(zhǔn)位置至觀察位置的位移量的X軸分量rl(rl為比I大的實數(shù))倍、將Y軸分量r2 (r2為與rl不同的比I大的實數(shù))倍后算出視點位置的算出的構(gòu)成實例等。(4)實施方式I中，說明為顯示器190是液晶顯示器。但是，只要具有在顯示區(qū)域中顯示圖像的功能，則未必限于是液晶顯示器的構(gòu)成。作為一例，考慮利用墻面等作為顯示區(qū)域來顯示圖像的投影儀的構(gòu)成實例等。(5)實施方式I中，圖像生成裝置100中構(gòu)成描繪目標(biāo)的對象自身的形狀或位置既可隨時間變動，也可不隨時間變動。(6)實施方式2中，圖像生成裝置1100是視角J1270(參照圖12)為與視角K1260相等角度的構(gòu)成實例。但是，視角J1270是比從虛擬視點位置J950看到的屏幕區(qū)域604的視角大的角度，若是在視角J1270內(nèi)納入屏幕區(qū)域604的構(gòu)成，則未必限于視角J1270為與視角K1260相等的角度的構(gòu)成。(7)以下，進ー步說明涉及本發(fā)明一方式的圖像生成裝置的構(gòu)成及其變形例與各效果。(a)涉及本發(fā)明一方式的圖像生成裝置，將表示3維物體的圖像輸出到外部顯示設(shè)備，其特征在于具備檢測部件，對觀察由所述顯示設(shè)備顯示的圖像的觀察者的觀察位置進行檢測；位置算出部件，算出將從與由所述顯示設(shè)備顯示的圖像的顯示區(qū)域相對置的規(guī)定基準(zhǔn)位置至由所述檢測部件檢測的觀察位置的位移量r倍后得到的虛擬視點，其中r為比I大的實數(shù)；生成部件，取得用于生成表示所述3維物體的圖像的數(shù)據(jù)，生成從由所述位置算出部件算出的虛擬視點觀察的、表示所述3維物體的圖像；和輸出部件，將由所述生成部件生成的圖像輸出到所述顯示設(shè)備。根據(jù)具備上述構(gòu)成的涉及本發(fā)明一方式的圖像生成裝置，在觀察圖像的觀察者移動的情況下，構(gòu)成生成圖像的觀察位置的虛擬觀察位置的移動量為觀察者的移動量的r(r為比I大的實數(shù))倍。由此，在變更物體的觀察角度的情況下，觀察者相對顯示畫面的移動量比現(xiàn)有技術(shù)少即可。圖40是表示上述變形例中圖像生成裝置4000的構(gòu)成的框圖。如圖所示，圖像生成裝置4000由檢測部件4010、位置算出部件4020、生成部件4030與輸出部件4040構(gòu)成。檢測部件4010連接于位置算出部件4020，具有對觀察由外部顯示設(shè)備顯示的圖像的觀察者的觀察位置進行檢測的功能。檢測部件4010作為一例，實現(xiàn)為檢測部210 (參照圖2)。位置算出部件4020連接于檢測部件4010與生成部件4030，具有算出將從面對由外部顯示設(shè)備顯示的圖像顯示區(qū)域的規(guī)定基準(zhǔn)位置至由檢測部件4020檢測的觀察位置的位移量！'(r為從I大的實數(shù))倍而得到的虛擬視點的功能。位置算出部件4020作為一例，實現(xiàn)為位置算出部220。生成部件4030連接于位置算出部件4020與輸出部件4040，具有取得用于生成表示3維物體的圖像的3維坐標(biāo)數(shù)據(jù)，生成從由位置算出部件4020算出的虛擬視點觀察的、表示該3維物體的圖像的功能。生成部件4030作為一例，實現(xiàn)為生成部230。輸出部件4040具有將由生成部件4030生成的圖像輸出到外部顯示設(shè)備的功能。輸出部件4040作為一例，實現(xiàn)為輸出部240。(b)另外，也可以是，所述顯示區(qū)域是平面狀區(qū)域，所述基準(zhǔn)位置是包含由所述檢測部件檢測到的觀察位置的、與所述顯示區(qū)域平行的基準(zhǔn)平面中、與所述顯示區(qū)域的中央相對置的位置，所述位置算出部件進行所述虛擬視點的算出，以使得所算出的虛擬視點成為在所述基準(zhǔn)平面中將所述位移量r倍后得到的位置。通過這種構(gòu)成，能將虛擬視點設(shè)為包含觀察位置的、與顯示區(qū)域平行的平面上的點。(C)另外，也可以是，所述顯示區(qū)域是長方形，所述生成部件進行所述圖像的生成，以使得所生成的圖像成為包含所述觀察位置的水平面中所述顯示區(qū)域的幅度所成的視角以上的視場角，該視角是由所述位置算出部件算出的虛擬視點處的視角。通過這種構(gòu)成，生成的圖像為具有虛擬視點中顯示區(qū)域的幅度所成的視角以上視場角的圖像。由此，生成的圖像能讓觀察該圖像的觀察者較少感到不適。(d)另外，也可以是，具備視角算出部件，該視角算出部件算出所述觀察位置處的視角，該觀察位置處的視角是包含所述觀察位置的水平面中所述顯示區(qū)域的幅度所成的視角，所述生成部件進行所述圖像的生成，以使得所生成的圖像成為具有與由所述視角算出部件算出的視角相等的視場角的圖像。通過這種構(gòu)成，生成的圖像變?yōu)榫哂信c觀察位置下顯示區(qū)域的幅度所成的視角相等的視場角的圖像。由此，生成的圖像能讓觀察該圖像的觀察者更少感到不適。(e)也可以是，所述生成部件通過將所生成的圖像尺寸縮小修正為所述顯示區(qū)域的尺寸以使得所生成的圖像成為以由所述位置算出部件算出的虛擬視點為視點的圖像，從而來進行所述圖像的生成。通過這種構(gòu)成，能將生成的圖像尺寸收斂在能在顯示區(qū)域中顯示的尺寸中。(f)另外，也可以是，所述生成部件進行所述圖像的生成，以使得執(zhí)行所述縮小修正前的圖像的中央與所述顯示區(qū)域的中央一致。通過這種構(gòu)成，能生成縮小修正成圖像中中央位置上顯示的顯示物的位置不移動的圖像。(g)另外，也可以是，所述生成部件進行所述圖像的生成，以使得執(zhí)行所述縮小修正前的圖像中某一邊成為包含所述顯示區(qū)域某ー邊的邊。通過這種構(gòu)成，能生成縮小修正成圖像中某ー邊位置上顯示的顯示物的位置不移動的圖像。(h)另外，也可以是，所述顯示區(qū)域是長方形，具備視角算出部件，該視角算出部件算出所述觀察位置處的視角，該觀察位置處的視角是包含所述觀察位置的水平面中所述顯示區(qū)域的幅度所成的視角，
所述基準(zhǔn)位置是所述幅度所成的視角與由所述視角算出部件算出的視角相等的位置的集合所構(gòu)成的基準(zhǔn)曲面中、與所述顯示區(qū)域的中央相對置的位置，所述位置算出部件進行所述虛擬視點的算出，以使得所算出的虛擬視點在所述基準(zhǔn)曲面中將所述位移量r倍而得到的位置。通過這種構(gòu)成，虛擬視點中顯示區(qū)域的幅度所成的視角與觀察位置中顯示區(qū)域的幅度所成的視角相等。由此，生成的圖像能讓觀察該圖像的觀察者較少感到不適。(i)也可以是，具備存儲部件，該存儲部件用于存儲用于生成輸出到所述顯示設(shè)備的圖像的數(shù)據(jù)，所述生成部件通過從所述存儲部件取得用于生成輸出到所述顯示設(shè)備的圖像的數(shù)據(jù)來進行所述圖像的生成。通過這種構(gòu)成，能將用于生成輸出到顯示設(shè)備的圖像的數(shù)據(jù)存儲在本裝置內(nèi)加以利用。(j)也可以是，所述檢測部件進行所述觀察位置的檢測，以使得所述觀察者的右眼的右眼觀察位置與所述觀察者的左眼的左眼觀察位置作為所述觀察位置被算出，所述位置算出部件進行所述虛擬視點的算出，以使得將從所述基準(zhǔn)位置至由所述檢測部件檢測的右眼觀察位置的位移量r倍后的右眼虛擬視點、和將從所述基準(zhǔn)位置至由所述檢測部件檢測的左眼觀察位置的位移量r倍后的左眼虛擬視點，作為所述虛擬視點被算出，所述生成部件進行所述圖像的生成，以使得從由所述位置算出部件算出的右眼虛擬視點觀察的右眼圖像、和從由所述位置算出部件算出的左眼虛擬視點觀察的左眼圖像，作為所述圖像被生成，所述輸出部件進行所述輸出，以交替地輸出由所述生成部件生成的右眼圖像、和由所述生成部件生成的左眼圖像。通過這種構(gòu)成，例如佩戴具有讓右眼看右眼圖像、讓左眼看左眼圖像的功能的3D眼鏡的觀察者能享受有進深感的3D圖像。(k)也可以是，所述3維物體是虛擬空間中的虛擬物體，具備坐標(biāo)變換部件，該坐標(biāo)變換部件將表示由所述位置算出部件算出的虛擬視點的坐標(biāo)變換為由所述虛擬空間中的坐標(biāo)系表示的虛擬坐標(biāo)系虛擬視點坐標(biāo)，所述生成部件利用由所述坐標(biāo)變換部件變換的虛擬坐標(biāo)系虛擬視點坐標(biāo)來進行所述圖像的生成。通過這種構(gòu)成，能在圖像中表示虛擬空間中虛擬存在的虛擬物體。產(chǎn)業(yè)上的可利用性本發(fā)明能廣泛利用于具有生成圖像的功能的裝置。符號說明210檢測部211采樣圖像保持部212頭跟蹤部220位置算出部221參數(shù)保持部222坐標(biāo)變換部230生成部231對象數(shù)據(jù)保持部232 3維對象構(gòu)筑部
233光源設(shè)定部234陰影處理部235視點變換部236光柵化部240輸出部241左眼幀緩沖部242右眼幀緩沖部243選擇部
權(quán)利要求
1.一種圖像生成裝置，將表示3維物體的圖像輸出到外部顯示設(shè)備，其特征在于具備檢測部件，對觀察由所述顯示設(shè)備顯示的圖像的觀察者的觀察位置進行檢測；位置算出部件，算出將從與由所述顯示設(shè)備顯示的圖像的顯示區(qū)域相對置的規(guī)定基準(zhǔn)位置至由所述檢測部件檢測的觀察位置的位移量r倍而得到的虛擬視點，其中r為比I大的實數(shù)；生成部件，取得用于生成表示所述3維物體的圖像的數(shù)據(jù)，生成從由所述位置算出部件算出的虛擬視點觀察的、表示所述3維物體的圖像；和輸出部件，將由所述生成部件生成的圖像輸出到所述顯示設(shè)備。
2.根據(jù)權(quán)利要求1所述的圖像生成裝置，其特征在于所述顯示區(qū)域是平面狀區(qū)域，所述基準(zhǔn)位置是包含由所述檢測部件檢測到的觀察位置并與所述顯示區(qū)域平行的基準(zhǔn)平面中、與所述顯示區(qū)域的中央相對置的位置，所述位置算出部件進行所述虛擬視點的算出，以使得所算出的虛擬視點成為在所述基準(zhǔn)平面中將所述位移量r倍而得到的位置。
3.根據(jù)權(quán)利要求2所述的圖像生成裝置，其特征在于所述顯示區(qū)域是長方形，所述生成部件進行所述圖像的生成，以使得所生成的圖像成為包含所述觀察位置的水平面中所述顯示區(qū)域的幅度所成的視角以上的視場角，該視角是由所述位置算出部件算出的虛擬視點處的視角。
4.根據(jù)權(quán)利要求3所述的圖像生成裝置，其特征在于具備視角算出部件，該視角算出部件算出所述觀察位置處的視角，該觀察位置處的視角是包含所述觀察位置的水平面中所述顯示區(qū)域的幅度所成的視角，所述生成部件進行所述圖像的生成，以使得所生成的圖像成為具有與由所述視角算出部件算出的視角相等的視場角的圖像。
5.根據(jù)權(quán)利要求4所述的圖像生成裝置，其特征在于所述生成部件通過將所生成的圖像的尺寸縮小修正為所述顯示區(qū)域的尺寸以使得所生成的圖像成為以由所述位置算出部件算出的虛擬視點為視點的圖像，從而來進行所述圖像的生成。
6.根據(jù)權(quán)利要求5所述的圖像生成裝置，其特征在于所述生成部件進行所述圖像的生成，以使得執(zhí)行所述縮小修正前的圖像的中央與所述顯示區(qū)域的中央一致。
7.根據(jù)權(quán)利要求5所述的圖像生成裝置，其特征在于所述生成部件進行所述圖像的生成，以使得執(zhí)行所述縮小修正前的圖像中某一邊成為包含所述顯示區(qū)域某一邊的邊。
8.根據(jù)權(quán)利要求1所述的圖像生成裝置，其特征在于所述顯示區(qū)域是長方形，具備視角算出部件，該視角算出部件算出所述觀察位置處的視角，該觀察位置處的視角是包含所述觀察位置的水平面中所述顯示區(qū)域的幅度所成的視角，所述基準(zhǔn)位置是所述幅度所成的視角與所述視角算出部件算出的視角相等的位置的集合所構(gòu)成的基準(zhǔn)曲面中、與所述顯示區(qū)域的中央相對置的位置，所述位置算出部件進行所述虛擬視點的算出，以使得所算出的虛擬視點成為在所述基準(zhǔn)曲面中將所述位移量r倍而得到的位置。
9.根據(jù)權(quán)利要求1所述的圖像生成裝置，其特征在于具備存儲部件，該存儲部件用于存儲用于生成輸出到所述顯示設(shè)備的圖像的數(shù)據(jù)，所述生成部件通過從所述存儲部件取得用于生成輸出到所述顯示設(shè)備的圖像的數(shù)據(jù)來進行所述圖像的生成。
10.根據(jù)權(quán)利要求1所述的圖像生成裝置，其特征在于所述檢測部件進行所述觀察位置的檢測，以使得所述觀察者的右眼的右眼觀察位置與所述觀察者的左眼的左眼觀察位置作為所述觀察位置被算出，所述位置算出部件進行所述虛擬視點的算出，以使得將從所述基準(zhǔn)位置至由所述檢測部件檢測的右眼觀察位置的位移量r倍后的右眼虛擬視點、和將從所述基準(zhǔn)位置至由所述檢測部件檢測的左眼觀察位置的位移量r倍后的左眼虛擬視點，作為所述虛擬視點被算出，所述生成部件進行所述圖像的生成，以使得從由所述位置算出部件算出的右眼虛擬視點觀察的右眼圖像、和從由所述位置算出部件算出的左眼虛擬視點觀察的左眼圖像，作為所述圖像被生成，所述輸出部件進行所述輸出，以交替地輸出由所述生成部件生成的右眼圖像、和由所述生成部件生成的左眼圖像。
11.根據(jù)權(quán)利要求1所述的圖像生成裝置，其特征在于所述3維物體是虛擬空間中的虛擬物體，具備坐標(biāo)變換部件，該坐標(biāo)變換部件將表示由所述位置算出部件算出的虛擬視點的坐標(biāo)變換為由所述虛擬空間中的坐標(biāo)系表示的虛擬坐標(biāo)系虛擬視點坐標(biāo)，所述生成部件利用由所述坐標(biāo)變換部件變換的虛擬坐標(biāo)系虛擬視點坐標(biāo)來進行所述圖像的生成。
全文摘要
圖像生成裝置(100)具備檢測觀察者的觀察位置的檢測部(210)；算出將從基準(zhǔn)位置至觀察位置的位移量r(r為比1大的實數(shù))倍而得到的虛擬觀察位置的位置算出部(220)；生成從虛擬觀察位置觀察的圖像的生成部(230)；與將生成的圖像輸出到外部顯示器的輸出部(240)。
文檔編號G06T19/00GK103026388SQ20128000185
公開日2013年4月3日 申請日期2012年4月27日 優(yōu)先權(quán)日2011年4月28日
發(fā)明者佐佐木泰治, 矢羽田洋, 小川智輝 申請人:松下電器產(chǎn)業(yè)株式會社