專利名稱：圖像處理設(shè)備、圖像處理方法、以及程序和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法、以及與之一起使用的程序和記錄介質(zhì)，并且尤其涉及用于向在未指定位置上的觀察者提供自然的眼膜圖像的圖像處理設(shè)備和方法、以及與之一起使用的程序和記錄介質(zhì)。
背景技術(shù)：
為了使用大屏幕顯示其大小為觀察者的實(shí)物一樣大小或者更大的逼真視頻，通常，觀察者需要站在屏幕前面的預(yù)定位置處，或者取決于觀察者的位置而變換顯示的視頻，借此，觀看屏幕的觀察者可以獲得逼真的正確(自然)眼膜圖像。正確的眼膜圖像意味著，使觀察者觀看顯示在屏幕上的視頻而獲得的眼膜圖像基本上等同于當(dāng)觀察者位于實(shí)際場(chǎng)景中時(shí)獲得的眼膜圖像。
用于為觀察者顯示逼真視頻的技術(shù)包括例如所謂的“臨境顯示(immersive display)設(shè)備”。使用臨境顯示設(shè)備的示例是這樣的系統(tǒng)，其中通過(guò)在用戶周?chē)目臻g中布置大屏幕并且通過(guò)使用投影儀從屏幕后面投影視頻，用戶可以在該空間中具有各種虛擬體驗(yàn)。有關(guān)這個(gè)系統(tǒng)，參見(jiàn)，例如1993年的Proceedings of SIGGRAPH′93中第135-142頁(yè)的由Cruz-Neira，C.、Sandin，D.J.、和DeFanti，T.A.所著的Surround-Screen Projection-Based Virtual RealityThe Design andImplementation of the CAVE。

發(fā)明內(nèi)容
在其中如上所述使用大屏幕向觀察者提供逼真視頻的相關(guān)技術(shù)的情況下，觀察者需要站在屏幕前面的預(yù)定位置處，或者需要取決于觀察者的位置而變換顯示的視頻。換句話說(shuō)，在相關(guān)領(lǐng)域的技術(shù)中，僅僅從某一位置觀看的視頻被設(shè)計(jì)成向觀察者提供正確的眼膜圖像。因此，在相關(guān)領(lǐng)域的技術(shù)中，例如，當(dāng)多個(gè)觀察者同時(shí)觀看視頻時(shí)，難以同時(shí)向每個(gè)觀察者提供正確的眼膜圖像。
已經(jīng)鑒于這樣的情況而做出了本發(fā)明。向在所顯示的視頻或者圖像前面的未指定位置處(在與所顯示的視頻或者圖像的寬度相等的范圍內(nèi))的觀察者提供逼真的眼膜圖像，是所希望的。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了第一圖像處理設(shè)備，其用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)。該圖像處理設(shè)備包括消失點(diǎn)(vanishing point)估計(jì)裝置，用于估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)；視角估計(jì)裝置，用于估計(jì)第一平面圖像數(shù)據(jù)的視角；以及圖像生成裝置，用于基于由消失點(diǎn)估計(jì)裝置所估計(jì)的消失點(diǎn)和由視角估計(jì)裝置所估計(jì)的視角而生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與消失點(diǎn)等高的位置作為參考點(diǎn)、將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與視角相對(duì)應(yīng)的部分上。
優(yōu)選為，視角估計(jì)裝置基于由消失點(diǎn)估計(jì)裝置所估計(jì)的消失點(diǎn)而估計(jì)視角。
消失點(diǎn)估計(jì)裝置可以包括繪制裝置，用于繪制第一平面圖像數(shù)據(jù)的透視線；以及消失點(diǎn)提取裝置，用于在透視線的基礎(chǔ)上提取第一平面圖像數(shù)據(jù)的消失點(diǎn)。
消失點(diǎn)估計(jì)裝置包括特征值提取裝置，用于提取第一平面圖像數(shù)據(jù)的特征值；特征值量化裝置，用于量化由特征值提取裝置所提取的特征值；特征值分布計(jì)算裝置，用于基于由特征值量化裝置所量化的特征值，計(jì)算特征值分布，該特征值分布指示特征值在第一平面圖像數(shù)據(jù)的垂直方向中分布的梯度類(lèi)型；以及消失點(diǎn)提取裝置，用于在由特征值分布計(jì)算裝置所計(jì)算的特征值分布的基礎(chǔ)上，提取第一平面圖像數(shù)據(jù)的消失點(diǎn)。
視角估計(jì)裝置可以包括平面圖生成裝置，用于生成通過(guò)假定從上方垂直地查看由第一平面圖像數(shù)據(jù)所代表的空間而獲得的平面圖；以及視角計(jì)算裝置，用于通過(guò)在由平面圖生成裝置所生成的平面圖中檢測(cè)由第一平面圖像數(shù)據(jù)所代表的空間中的視點(diǎn)位置，來(lái)計(jì)算視角。
平面圖生成裝置可以通過(guò)計(jì)算在由第一平面圖像數(shù)據(jù)所代表的空間中的視點(diǎn)仰角，來(lái)生成平面圖。
圖像生成裝置可以基于由視角估計(jì)裝置所估計(jì)的視角以及第一平面圖像數(shù)據(jù)的圖像尺寸來(lái)確定圓柱的半徑。
圖像處理設(shè)備還可以包括顯示裝置，其用于顯示由圖像生成裝置生成的第二平面圖像數(shù)據(jù)，而且該顯示裝置可以包括平面顯示器。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了用于圖像處理設(shè)備的第一圖像處理方法，該設(shè)備用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)。該圖像處理方法包括步驟估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)；估計(jì)第一平面圖像數(shù)據(jù)的視角；以及基于由消失點(diǎn)估計(jì)裝置估計(jì)的消失點(diǎn)和由視角估計(jì)裝置估計(jì)的視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與視角相對(duì)應(yīng)的部分上。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了第一程序或者記錄在記錄介質(zhì)上的程序，其用于允許計(jì)算機(jī)執(zhí)行用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)的處理，該程序包含步驟估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)；估計(jì)第一平面圖像數(shù)據(jù)的視角；以及，基于由消失點(diǎn)估計(jì)裝置估計(jì)的消失點(diǎn)和由視角估計(jì)裝置估計(jì)的視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與視角相對(duì)應(yīng)的部分上。
在第一圖像處理設(shè)備、圖像處理方法和程序中，估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)，估計(jì)第一平面圖像數(shù)據(jù)的視角，并且基于所估計(jì)的消失點(diǎn)和視角而生成第二平面圖像數(shù)據(jù)。所生成的第二平面圖像是這樣的，即通過(guò)使用位于具有預(yù)定半徑的圓柱的中心并且與消失點(diǎn)等高的位置為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上、與視角相對(duì)應(yīng)的部分上。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了第二圖像處理設(shè)備，其用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)。該圖像處理設(shè)備包括輸入裝置，用于輸入第一平面圖像數(shù)據(jù)的消失點(diǎn)和視角；以及圖像生成裝置，用于基于由輸入裝置輸入的消失點(diǎn)和視角而生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與消失點(diǎn)等高的位置作為參考點(diǎn)、將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上、與視角相對(duì)應(yīng)的部分上。
優(yōu)選為，該圖像處理設(shè)備還包括顯示裝置，用于顯示由圖像生成裝置生成的第二平面圖像數(shù)據(jù)，而且該顯示裝置包括平面顯示器。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了用于圖像處理設(shè)備的第二圖像處理方法，其用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)。第二圖像處理方法包括步驟控制第一平面圖像數(shù)據(jù)的消失點(diǎn)和視角的輸入；以及，基于在輸入控制步驟中控制其輸入的消失點(diǎn)和視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上、與視角相對(duì)應(yīng)的部分上。
在第二圖像處理設(shè)備和圖像處理方法中，在輸入了第一平面圖像數(shù)據(jù)的消失點(diǎn)和第一平面圖像數(shù)據(jù)的視角之后，基于所輸入的消失點(diǎn)和平面圖像數(shù)據(jù)而生成第二平面圖像數(shù)據(jù)，其對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上、與該視角相對(duì)應(yīng)的部分上。
根據(jù)本發(fā)明的實(shí)施例，第一平面圖像可以變換為第二平面圖像。特別是，基于代表具有景深的空間的第一平面圖像，可以生成第二平面圖像。通過(guò)使用第二平面圖像，可以向在未指定位置上進(jìn)行觀看的觀察者提供自然的眼膜圖像。


圖1為曲面屏幕和平面屏幕的說(shuō)明；圖2為說(shuō)明其中應(yīng)用了本發(fā)明的實(shí)施例的圖像處理設(shè)備的配置示例的框圖；圖3為說(shuō)明圖2所示的消失點(diǎn)(vanishing point)估計(jì)單元的第一示例的框圖；圖4是所提供的圖像示例的說(shuō)明；圖5是在景深方向的平行線和消失點(diǎn)的說(shuō)明；圖6為說(shuō)明圖2所示的消失點(diǎn)估計(jì)單元的第二示例的框圖；圖7為垂直觀看的圖像的說(shuō)明；圖8是以預(yù)定仰角獲取的圖像的說(shuō)明；圖9是量化數(shù)據(jù)的說(shuō)明；圖10是紋理的距離平均值的說(shuō)明；圖11是說(shuō)明紋理的距離平均值的圖形；圖12為說(shuō)明在紋理的距離平均值的基礎(chǔ)上計(jì)算的消失點(diǎn)的圖形；圖13為在紋理的距離平均值的基礎(chǔ)上計(jì)算的消失點(diǎn)的說(shuō)明；圖14為說(shuō)明圖2所示的視角估計(jì)單元的配置示例的框圖；圖15是水平平行線的說(shuō)明；圖16是提取平行于對(duì)角線的、在景深方向中的平行線的說(shuō)明；圖17包含生成平鋪圖像和估計(jì)視角的說(shuō)明；圖18包含其中在景深方向中繪制平行線時(shí)出現(xiàn)錯(cuò)誤的情況的說(shuō)明；
圖19是說(shuō)明圖14所示的水平平行線繪制部分的配置示例的框圖；圖20是對(duì)象(subject)示例的說(shuō)明；圖21是圖像變換原理的說(shuō)明；圖22是對(duì)于圖20所示的對(duì)象所獲取的圖像的說(shuō)明；圖23是在所獲取的圖像和垂直觀看的圖像上的圖像變換原理的說(shuō)明；圖24是在所獲取的圖像和垂直觀看的圖像上的圖像變換原理的說(shuō)明；圖25是在所獲取的圖像和垂直觀看的圖像上的圖像變換原理的說(shuō)明；圖26是在所獲取的圖像和垂直觀看的圖像上的圖像變換原理的說(shuō)明；圖27具有在所獲取的圖像和垂直觀看的圖像上的圖像變換原理的圖示；圖28是說(shuō)明在所獲取的圖像和垂直觀看的圖像上的圖像變換原理的圖示；圖29為說(shuō)明如圖2所示的圖像變換單元的配置示例的框圖；圖30為用于普通圖像的圖像形成屏幕以及虛擬圖像形成屏幕的說(shuō)明；圖31為在兩個(gè)屏幕之間的像素位置對(duì)應(yīng)的圖示；圖32為在兩個(gè)屏幕之間的像素位置對(duì)應(yīng)的圖示；圖33為用于普通圖像的圖像形成屏幕以及虛擬圖像形成屏幕的位置的說(shuō)明；圖34為說(shuō)明圖像處理設(shè)備的處理的流程圖；圖35為說(shuō)明第一消失點(diǎn)估計(jì)處理的流程圖；圖36為說(shuō)明第二消失點(diǎn)估計(jì)處理的流程圖；圖37為說(shuō)明參考值確定處理的流程圖；圖38為在指定紋理的情況下確定參考值的說(shuō)明；
圖39為在指定紋理的情況下確定參考值的說(shuō)明；圖40為在指定紋理的情況下確定參考值的說(shuō)明；圖41為說(shuō)明視角估計(jì)處理的流程圖；圖42為說(shuō)明水平平行線繪制處理的流程圖；圖43是說(shuō)明圖像變換處理的流程圖；圖44為基于通過(guò)應(yīng)用本發(fā)明的實(shí)施例而正確估計(jì)的視角而改變的圖像的說(shuō)明；圖45A和45B為基于通過(guò)應(yīng)用本發(fā)明的實(shí)施例而正確估計(jì)的視角而改變的圖像的說(shuō)明；圖46是基于不正確估計(jì)的視角而改變的圖像的說(shuō)明；圖47是基于不正確估計(jì)的視角而改變的圖像的說(shuō)明；圖48A、48B和48C是圖44、46和47中的視角和焦距的說(shuō)明；圖49是其中在用戶周?chē)鷪?zhí)行360度圖像獲取的情況的說(shuō)明；圖50A、50B、50C和50D是通過(guò)在圖49中的四個(gè)方向執(zhí)行獲取圖像獲取而獲得的圖像的說(shuō)明；圖51是通過(guò)連接圖50A到50D所示的圖像而獲得的圖像的說(shuō)明；圖52是通過(guò)對(duì)通過(guò)在圖49中的八個(gè)方向執(zhí)行圖像獲取而獲得的圖像進(jìn)行連接而生成的圖像的說(shuō)明；圖53是通過(guò)應(yīng)用本發(fā)明的實(shí)施例而生成的圖像的說(shuō)明；以及圖54是顯示個(gè)人計(jì)算機(jī)配置的框圖。
具體實(shí)施例方式
在描述本發(fā)明的實(shí)施例之前，在下面論述在權(quán)利要求的特征與在本發(fā)明的實(shí)施例中公開(kāi)的特定單元之間的對(duì)應(yīng)關(guān)系。這個(gè)描述用于確保在這個(gè)說(shuō)明書(shū)中描述了支持所要求保護(hù)的發(fā)明的實(shí)施例。因此，即使在以下實(shí)施例中的單元未被描述為與本發(fā)明的某一特征相關(guān)，這也未必意味著該單元不與權(quán)利要求的該特征相關(guān)。相反地，即使在此處將單元描述為與權(quán)利要求中的某一特征相關(guān)，這也未必意味著該單元不與權(quán)利要求的其它特征相關(guān)。
此外，這個(gè)描述不應(yīng)當(dāng)被看作是限制在權(quán)利要求中描述了在該實(shí)施例中所公開(kāi)的本發(fā)明的所有方面。也就是說(shuō)，該描述不否認(rèn)存在實(shí)施例中描述了但是在這個(gè)申請(qǐng)的發(fā)明中未要求保護(hù)的本發(fā)明的方面，即，不否認(rèn)存在將來(lái)可以由分案申請(qǐng)要求保護(hù)或者可以通過(guò)修改另外要求保護(hù)的本發(fā)明的方面。
根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備(例如，圖2中的圖像處理設(shè)備41)獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)(例如，圖4中的圖像81)。根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備包括消失點(diǎn)估計(jì)裝置(例如，圖2中的消失點(diǎn)估計(jì)單元52)，用于估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)(例如，圖13或者圖5中的消失點(diǎn))；視角估計(jì)裝置(例如，圖2中的視角估計(jì)單元53)，用于估計(jì)第一平面圖像數(shù)據(jù)的視角；以及圖像生成裝置(例如，圖2中的圖像變換單元54)，用于基于由消失點(diǎn)估計(jì)裝置估計(jì)的消失點(diǎn)和由視角估計(jì)裝置估計(jì)的視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑(例如，圖31或者圖32中的“a”)的圓柱的中心并且與消失點(diǎn)等高的位置(例如，圖31或者圖32中的位置(0，0，-a))作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與視角相對(duì)應(yīng)的部分上。
消失點(diǎn)估計(jì)裝置(例如，圖3中的消失點(diǎn)估計(jì)單元52-1)可以包括繪制裝置(例如，圖3中的景深方向平行線提取單元71)，用于繪制第一平面圖像數(shù)據(jù)的透視線；以及消失點(diǎn)提取裝置(例如，圖3中的消失點(diǎn)計(jì)算單元72)，用于基于透視線而提取第一平面圖像數(shù)據(jù)的消失點(diǎn)。
消失點(diǎn)估計(jì)裝置(例如，圖6中的消失點(diǎn)估計(jì)單元52-2)可以包括特征值提取裝置(例如，圖6中的特征值提取部分131)，用于提取第一平面圖像數(shù)據(jù)的特征值；特征值量化裝置(例如，圖6中的量化部分132)，用于量化由特征值提取裝置所提取的特征值；特征值分布計(jì)算裝置(例如，圖6中的紋理梯度計(jì)算部分133)，用于基于由特征值量化裝置所量化的特征值，計(jì)算指示特征值在第一平面圖像數(shù)據(jù)的垂直方向中分布的梯度類(lèi)型的特征值分布(例如，紋理梯度)；以及消失點(diǎn)提取裝置(例如，圖6中的消失點(diǎn)計(jì)算部分134)，用于在由特征值分布計(jì)算裝置計(jì)算的特征值分布的基礎(chǔ)上，提取第一平面圖像數(shù)據(jù)的消失點(diǎn)。
視角估計(jì)裝置可以包括平面圖生成裝置(例如，圖14中的平鋪圖像生成部分173)，用于生成通過(guò)假定從上方垂直觀看由第一平面圖像數(shù)據(jù)所代表的空間而獲得的平面圖(例如，圖17中的平鋪圖像)；以及視角計(jì)算裝置(例如，圖14中的視角計(jì)算部分174)，用于通過(guò)在由平面圖生成裝置生成的平面圖中檢測(cè)由第一平面圖像數(shù)據(jù)代表的空間中的視點(diǎn)位置(圖17中的照相機(jī)位置)，來(lái)計(jì)算視角。
平面圖生成裝置可以通過(guò)計(jì)算在第一平面圖像數(shù)據(jù)所代表的空間中的視點(diǎn)的仰角(例如，參考圖19所述的水平平行線繪制部分171進(jìn)行的處理)，來(lái)生成平面圖。
根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備還可以包括顯示裝置，用于顯示由圖像生成裝置生成的第二平面圖像數(shù)據(jù)，而且該顯示裝置可以包括平面顯示器(例如，圖44或者圖45中的圖像顯示平面顯示器，或者用于顯示圖53中的圖像501的平面顯示器)。
根據(jù)本發(fā)明另一個(gè)實(shí)施例的圖像處理方法用于這樣一種圖像處理設(shè)備(例如，圖2中的圖像處理設(shè)備41)，該圖像處理設(shè)備獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)(例如，圖4中的圖像81)。這種圖像處理方法包括步驟估計(jì)(例如，圖34中的步驟S2)第一平面圖像數(shù)據(jù)的消失點(diǎn)(例如，圖13或者圖5中的消失點(diǎn))；估計(jì)(例如，圖34中的步驟S3)第一平面圖像數(shù)據(jù)的視角；以及基于由消失點(diǎn)估計(jì)裝置估計(jì)的消失點(diǎn)和由視角估計(jì)裝置估計(jì)的視角，生成(例如，圖34中的步驟S4)第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑(例如，圖31或者圖32中的“a”)的圓柱的中心并且與消失點(diǎn)等高的位置(例如，圖31或者圖32中的位置(0，0，-a))作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與視角相對(duì)應(yīng)的部分上。
此外，在根據(jù)本發(fā)明實(shí)施例的程序以及根據(jù)本發(fā)明的實(shí)施例、記錄在記錄介質(zhì)上的程序中，步驟所對(duì)應(yīng)的特征(的示例)類(lèi)似于根據(jù)上述實(shí)施例的圖像處理方法中的那些特征(的示例)。
根據(jù)本發(fā)明另一個(gè)實(shí)施例的圖像處理設(shè)備(例如，圖2中的圖像處理設(shè)備41)獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)(例如，圖4中的圖像81)。這個(gè)圖像處理設(shè)備包括輸入裝置，用于輸入第一平面圖像數(shù)據(jù)的消失點(diǎn)和視角；以及圖像生成裝置(例如，圖2中的圖像變換單元54)，用于基于輸入裝置輸入的消失點(diǎn)和視角生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑(例如，圖31或者圖32中的“a”)的圓柱的中心并且與消失點(diǎn)等高的位置(例如，圖31或者圖32中的位置(0，0，-a))作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與視角相對(duì)應(yīng)的部分上。
上述圖像處理設(shè)備還可以包括顯示裝置，用于顯示由圖像生成裝置生成的第二平面圖像數(shù)據(jù)，而且該顯示裝置可以包括平面顯示器(例如，圖44或者圖45中的圖像顯示平面顯示器，或者用于顯示圖53中的圖像501的平面顯示器)。
根據(jù)本發(fā)明另一個(gè)實(shí)施例的圖像處理方法用于這樣一種圖像處理設(shè)備(例如，圖2中的圖像處理設(shè)備41)，該圖像處理設(shè)備獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)(例如，圖4中的圖像81)。這種圖像處理方法包括步驟控制第一平面圖像數(shù)據(jù)的消失點(diǎn)和視角的輸入；以及，基于在輸入控制步驟中控制其輸入的消失點(diǎn)和視角，生成(例如圖34中的步驟S4)第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑(例如，圖31或者圖32中的“a”)的圓柱的中心并且與消失點(diǎn)等高的位置(例如，圖31或者圖32中的位置(0，0，-a))為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與該視角相對(duì)應(yīng)的部分上。
下面參考附圖對(duì)本發(fā)明的具體實(shí)施例進(jìn)行描述。
向其應(yīng)用了本發(fā)明的實(shí)施例的圖像處理設(shè)備在由普通照相機(jī)獲取的預(yù)定視角內(nèi)生成平面圖像或者視頻。換句話說(shuō)，圖像處理設(shè)備生成這樣的平面圖像或者視頻，其中當(dāng)觀察者從多個(gè)視點(diǎn)觀看平面圖像或者視頻時(shí)，觀察者不會(huì)注意到有任何不自然。
例如，如圖1所示，可以在包括曲面部分1的柱面上投影圖像或者視頻，以便在圓柱中心上的觀察者11水平旋轉(zhuǎn)360度時(shí)，觀察者在任何角度都不會(huì)注意到任何不自然。
在將由普通照相機(jī)獲取的平面圖像或者活動(dòng)畫(huà)面(視頻)(該活動(dòng)畫(huà)面包括多個(gè)平面圖像)變換為當(dāng)將該平面圖像或者活動(dòng)畫(huà)面投影在曲面部分1上時(shí)所獲得的圖像或者視頻之后，向其應(yīng)用了本發(fā)明實(shí)施例的圖像處理設(shè)備可以在平面2上顯示所獲得的圖像或者視頻，或者可以在類(lèi)似的平面上打印出所獲得的圖像或者視頻?；陲@示在平面2上的圖像或者視頻，當(dāng)在平面2前面的多個(gè)觀察者12到14從他們的位置觀看前方時(shí)(當(dāng)觀察者12到14的視線垂直于平面2或者每個(gè)視線都具有接近于垂直的角度時(shí))，他們可以獲得正確的眼膜圖像，這些眼膜圖像類(lèi)似于當(dāng)在包括曲面部分1的圓柱的中心處的觀察者11改變其到平面2的方向(角度)時(shí)所獲得的那些眼膜圖像。
下面舉例說(shuō)明了圖像處理。然而，顯然，通過(guò)在所有幀圖像上實(shí)現(xiàn)向其應(yīng)用了本發(fā)明實(shí)施例的處理，本發(fā)明的實(shí)施例甚至可應(yīng)用于其中顯示視頻(活動(dòng)畫(huà)面)的情況，其中假定該視頻包括多個(gè)幀圖像(靜止圖像)。
圖2為示出其中應(yīng)用了本發(fā)明實(shí)施例的圖像處理設(shè)備41的配置示例的框圖。
圖像處理設(shè)備41包括圖像數(shù)據(jù)獲取單元51、消失點(diǎn)估計(jì)單元52、視角估計(jì)單元53、圖像變換單元54和圖像數(shù)據(jù)輸出單元55。
圖像數(shù)據(jù)獲取單元51獲取由普通照相機(jī)獲取的平面圖像，也就是，與基于所謂的“針孔照相機(jī)”的原理、通過(guò)使用照相機(jī)的透鏡位置作為視點(diǎn)而獲取的普通平面圖像相對(duì)應(yīng)的圖像數(shù)據(jù)，并且將所獲取的圖像數(shù)據(jù)提供給消失點(diǎn)估計(jì)單元52。
消失點(diǎn)估計(jì)單元52檢測(cè)所提供的圖像數(shù)據(jù)的消失點(diǎn)，然后將所檢測(cè)到的消失點(diǎn)的信息和所提供的圖像數(shù)據(jù)提供給視角估計(jì)單元53。消失點(diǎn)是這樣的點(diǎn)，其中當(dāng)通過(guò)透視變換將三維空間中的平行線投影到圖像平面上時(shí)，在該圖像平面上的與平行線相對(duì)應(yīng)的直線在該點(diǎn)處會(huì)聚。換句話說(shuō)，消失點(diǎn)是在向其上投影實(shí)際具有景深的空間的平面圖像上的“無(wú)限遠(yuǎn)點(diǎn)”。消失點(diǎn)被認(rèn)為是這樣的點(diǎn)，其中在景深方向上的平行線(例如，在房間的圖像中，它的屋脊線)的延長(zhǎng)線和在景深方向上延伸的平面(例如，在房間的圖像中，與在景深方向上延伸的地板、墻、和天花板相對(duì)應(yīng)的平面)的延伸的交叉點(diǎn)在無(wú)窮方向上的會(huì)聚。從圖像中的消失點(diǎn)水平繪制的直線是地平線。因此，消失點(diǎn)的估計(jì)，換言之是地平線的估計(jì)。消失點(diǎn)估計(jì)單元52對(duì)消失點(diǎn)的估計(jì)可以通過(guò)任何方法執(zhí)行。下面參考圖3到13描述了兩種類(lèi)型的消失點(diǎn)估計(jì)方法作為具體示例。
視角估計(jì)單元53估計(jì)所提供的圖像數(shù)據(jù)的視角，即表示用于獲取圖像數(shù)據(jù)的照相機(jī)的圖像獲取范圍的角度，并且將所估計(jì)的視角和所提供的圖像數(shù)據(jù)提供給圖像變換單元54。視角估計(jì)單元53對(duì)視角的估計(jì)可以通過(guò)任何方法執(zhí)行。稍后參考圖14到28描述了該方法的一個(gè)具體示例。
圖像變換單元54基于從視角估計(jì)單元53提供的估計(jì)視角而變換所提供的圖像數(shù)據(jù)，并且將變換后的圖像數(shù)據(jù)提供給圖像數(shù)據(jù)輸出單元55。下面參考圖29到33描述圖像變換單元54的處理細(xì)節(jié)。
圖像數(shù)據(jù)輸出單元55執(zhí)行這樣的處理，諸如輸出變換后的圖像數(shù)據(jù)并且在大的平面顯示器上顯示該圖像數(shù)據(jù)，打印出變換后的圖像數(shù)據(jù)，記錄變換后的圖像數(shù)據(jù)，以及通過(guò)預(yù)定的通信介質(zhì)將變換后的圖像數(shù)據(jù)傳輸?shù)搅硪粋€(gè)設(shè)備。
當(dāng)事先已知所提供的圖像數(shù)據(jù)的消失點(diǎn)時(shí)，通過(guò)使用事先已知的消失點(diǎn)的信息用于視角的估計(jì)，可以略去消失點(diǎn)估計(jì)單元52進(jìn)行的視角估計(jì)。此外，當(dāng)事先已知所提供的圖像數(shù)據(jù)的視角時(shí)，通過(guò)使用事先已知的視角信息用于由圖像變換單元54進(jìn)行的圖像數(shù)據(jù)變換，可以略去由視角估計(jì)單元53進(jìn)行的視角估計(jì)。
在這種情況下，通過(guò)向圖2所示的圖像處理設(shè)備41提供數(shù)據(jù)輸入單元(未示出)，數(shù)據(jù)輸入單元可以接收消失點(diǎn)或者視角的輸入數(shù)據(jù)，并且可以將該輸入數(shù)據(jù)提供給圖像變換單元54。
圖3是示出消失點(diǎn)估計(jì)單元52-1的配置的框圖，該單元使用第一消失點(diǎn)估計(jì)方法來(lái)估計(jì)消失點(diǎn)，并且其是圖1所示的消失點(diǎn)估計(jì)單元52的第一示例。
通過(guò)使用例如邊緣濾波器從所提供的圖像數(shù)據(jù)中提取直線分量，景深方向平行線提取單元71提取所謂的“透視線”，其平行于地面(水平面)并且從圖像的前面延伸到后面(沿與照相機(jī)的視點(diǎn)方向相同的方向)。當(dāng)提供了與圖4所示的圖像相對(duì)應(yīng)的圖像數(shù)據(jù)時(shí)，要被提取的直線包括例如房間的屋脊線以及樓層的地板紋理。僅僅為了查找消失點(diǎn)，則僅僅需要繪制多條透視線。然而，基于所提取的直線(透視線)，景深方向平行線提取單元71繪制多條平行線，它們?cè)趯?shí)際空間中以等間隔布置在諸如地面或者地板之類(lèi)的預(yù)定平面上，以便使它們適合于處理(稍后描述)。換句話說(shuō)，景深方向平行線提取單元71以等間隔在由平面圖像所指示的空間中的預(yù)定平面上繪制平行線(透視線)。所繪制的平行線在下之中稱為“在景深方向上的平行線”。
消失點(diǎn)計(jì)算單元72查找由景深方向平行線提取單元71提取的在景深方向上的平行線的交叉點(diǎn)，并且使用該交叉點(diǎn)作為這個(gè)圖像的消失點(diǎn)。
換句話說(shuō)，當(dāng)圖像數(shù)據(jù)獲取單元51接收?qǐng)D4所示的輸入圖像81、并且將其圖像數(shù)據(jù)提供給消失點(diǎn)估計(jì)單元52-1時(shí)，如圖5所示，景深方向平行線提取單元71沿景深方向繪制多條平行線，而且在景深方向上的平行線的交叉點(diǎn)由消失點(diǎn)計(jì)算單元72用作消失點(diǎn)。例如，當(dāng)由于諸如在景深方向上的平行線提取中的錯(cuò)誤之類(lèi)的原因而提取在景深方向上的多條平行線時(shí)，消失點(diǎn)計(jì)算單元72可以使用交叉點(diǎn)的質(zhì)心作為消失點(diǎn)，并且可以使用沿景深方向上的大多數(shù)平行線相交叉處的點(diǎn)作為消失點(diǎn)。
圖6是示出消失點(diǎn)估計(jì)單元52-2的配置的框圖，該單元通過(guò)使用第二消失點(diǎn)估計(jì)方法來(lái)估計(jì)消失點(diǎn)，并且其是圖1所示的消失點(diǎn)估計(jì)單元52的示例。
參考圖6描述的消失點(diǎn)估計(jì)單元52-2通過(guò)使用所謂的“紋理梯度”從圖像數(shù)據(jù)中估計(jì)消失點(diǎn)。
通過(guò)使用照相機(jī)以預(yù)定仰角獲取這樣一個(gè)位置的圖像，在該位置中，例如圖7中所示的花園中，預(yù)定圖案(諸如顏色和亮度)以基本一致的方式在俯視圖中延伸，則可以獲得圖8所示的畫(huà)面，其中預(yù)定圖案在更接近前側(cè)的位置變粗并且在遠(yuǎn)離前側(cè)的位置變細(xì)。具有這樣的趨勢(shì)、即當(dāng)以預(yù)定仰角獲取圖案的圖像時(shí)圖案在接近圖像前側(cè)的位置處顯得粗而在遠(yuǎn)離前側(cè)的位置處顯得細(xì)的圖案單元被稱作“紋理”。該趨勢(shì)的程度被稱作“紋理梯度”。換句話說(shuō)，由圖像獲取時(shí)的仰角確定紋理梯度。
特征值提取部分131提取輸入圖像中每個(gè)像素的特征值(例如，像素的色差值或者邊緣強(qiáng)度)。當(dāng)使用邊緣強(qiáng)度作為特征值時(shí)，特征值提取部分131通過(guò)使用內(nèi)置的差動(dòng)濾波器(未示出)來(lái)增強(qiáng)輸入圖像邊緣而提取邊緣強(qiáng)度。
量化部分132基于由特征值提取部分131提取的每個(gè)像素的特征值，量化該輸入圖像。例如，當(dāng)特征值是色差值時(shí)，具有等于預(yù)定參考值的色差值的每一個(gè)像素的值被設(shè)置為一，并且將具有不同色差值的每一個(gè)像素的值設(shè)置為零。當(dāng)對(duì)圖8中的圖像的圖像數(shù)據(jù)進(jìn)行量化時(shí)，可以獲得例如圖9所示的量化數(shù)據(jù)。
紋理梯度計(jì)算部分133從由量化部分132獲得的量化數(shù)據(jù)(例如，參考圖9描述的量化數(shù)據(jù))中以線為單位計(jì)算在白色點(diǎn)(紋理)之間的距離。如例如圖10所示，當(dāng)值為一的多個(gè)像素布置在預(yù)定線中時(shí)，計(jì)算在距離a1，a2，a3，和a4之間的平均值。
通過(guò)如圖11所示在圖像數(shù)據(jù)中Y軸上的位置的基礎(chǔ)上繪制由AV代表的、以線為單位計(jì)算的平均值，如圖12所示，紋理梯度計(jì)算部分133設(shè)置回歸線。換句話說(shuō)，這條回歸線對(duì)應(yīng)于紋理梯度。紋理梯度計(jì)算部分133將所設(shè)置的回歸線提供給消失點(diǎn)計(jì)算部分134。
消失點(diǎn)計(jì)算部分134計(jì)算在所設(shè)置的回歸線和Y軸之間的交叉點(diǎn)作為消失點(diǎn)。
因?yàn)橄c(diǎn)是這樣的點(diǎn)，在該點(diǎn)處當(dāng)觀看對(duì)象時(shí)對(duì)象的平面在無(wú)限遠(yuǎn)的方向會(huì)聚，所以如圖13所示的消失點(diǎn)R所指示的，消失點(diǎn)可以存在于超過(guò)輸入圖像的圖像區(qū)域的位置處。消失點(diǎn)R的X座標(biāo)是輸入圖像的中心點(diǎn)的X坐標(biāo)。
接下來(lái)，圖14是示出圖3所示的視角估計(jì)單元53的配置示例的框圖。
視角估計(jì)單元53包括水平平行線繪制部分171、平行線提取部分172、平鋪圖像生成部分173以及視角計(jì)算部分174。
水平平行線繪制部分171繪制基線并且基于該基線沿水平方向繪制平行線，其中基線在實(shí)際的對(duì)象空間中垂直于沿景深方向所提供的平行線，并且指示獲取了其圖像的對(duì)象的寬度。這些平行線被稱為“水平平行線”。這樣繪制水平平行線，以便其具有與沿景深方向上的平行線的間隔相同的間隔。具體地說(shuō)，這樣繪制水平平行線，以便如圖15所示，在繪制了基線191之后，水平平行線平行于基線191，而且水平平行線之間的距離等于沿景深方向上的平行線之間的距離，也就是說(shuō)，以便通過(guò)沿景深方向上的平行線和水平平行線在對(duì)象空間中繪制正方形。在這時(shí)，通過(guò)僅僅繪制基線191和從其開(kāi)始的第一內(nèi)側(cè)平行線，以及另外繪制所形成的正方形的對(duì)角線，可以容易地繪制其它的水平平行線。
當(dāng)參考圖6描述的消失點(diǎn)估計(jì)單元52-2用作消失點(diǎn)估計(jì)單元52，沒(méi)有繪制沿景深方向上的平行線。因此，類(lèi)似于參考圖3描述的、消失點(diǎn)估計(jì)單元52-1中的景深方向平行線提取單元71，水平平行線繪制部分171繪制在景深方向上的平行線，并且隨后繪制水平平行線。
從景深方向的平行線和正方形的對(duì)角線中，平行線提取部分172提取在圖像中彼此平行的那些。當(dāng)從圖像中的左下角到右上角繪制正方形的對(duì)角線時(shí)，在圖像右側(cè)的任何一條對(duì)角線和沿景深方向的任何一條平行線在圖像中彼此平行。如圖16所示，對(duì)角線201和景深方向平行線202彼此平行。因此，由平行線提取部分172提取對(duì)角線201和景深方向平行線202。此外，當(dāng)從圖像的右下角到左上角繪制正方形的對(duì)角線時(shí)，在圖像左側(cè)的任何一條對(duì)角線和在圖像右側(cè)的沿景深方向的任何一條平行線在圖像中彼此平行。
平鋪圖像生成部分173基于沿景深方向的平行線和水平平行線而生成平鋪圖像。具體地說(shuō)，平鋪圖像生成部分173生成當(dāng)從頂部觀看包括對(duì)象和照相機(jī)在內(nèi)的區(qū)域時(shí)獲得的平面圖，并且如圖17所示，以平鋪(網(wǎng)格化)的形式，在平面圖中繪制沿景深方向的平行線和水平平行線。以下將其中以平鋪形式繪制沿景深方向的平行線和水平平行線的平面圖稱為“平鋪圖像”。
視角計(jì)算部分174基于由平鋪圖像生成部分173生成的平鋪圖像、由水平平行線繪制部分171繪制的基線191、以及由平行線提取部分172提取的成對(duì)的景深方向平行線和正方形的對(duì)角線，計(jì)算照相機(jī)的視角。換句話說(shuō)，如圖17所示，視角計(jì)算部分174在平鋪圖像中繪制由平行線提取部分172提取的對(duì)角線201和景深方向平行線202。在平鋪圖像中對(duì)角線201和景深方向平行線202的交叉點(diǎn)和基線191之間的距離，對(duì)應(yīng)于在用于獲取這個(gè)圖像的照相機(jī)和該照相機(jī)的焦點(diǎn)之間的距離。換句話說(shuō)，可以假定在平鋪圖像中對(duì)角線201和景深方向平行線202的交叉點(diǎn)是照相機(jī)221的位置。所假定的照相機(jī)221的位置對(duì)應(yīng)于圖像81中的視點(diǎn)(當(dāng)圖像81是正確的眼膜圖像時(shí)，為觀察者的視點(diǎn))。在平鋪圖像中，在從照相機(jī)221繪制到基線191的端點(diǎn)的直線之間的角度是所計(jì)算的視角。
在圖17的情況下，由fov所代表的視角被計(jì)算為大約為57度。
雖然水平平行線繪制部分171繪制了間隔等于沿景深方向的平行線的間隔的水平平行線，但是當(dāng)沿景深方向的平行線和水平平行線的每個(gè)間隔中出現(xiàn)錯(cuò)誤時(shí)，在由視角計(jì)算部分174計(jì)算的視角中出現(xiàn)錯(cuò)誤。
如例如圖18所示，當(dāng)以與參考圖17所述的情況中的間隔不同的間隔繪制水平平行線時(shí)，通過(guò)使用平鋪圖像計(jì)算的視角不同于在圖17的情況下獲得的視角。
在這種情況下，在基于由消失點(diǎn)估計(jì)單元52估計(jì)的消失點(diǎn)計(jì)算了上述仰角，并且生成與當(dāng)輸入圖像是從頂部獲取的一個(gè)輸入圖像時(shí)所獲得的圖像相對(duì)應(yīng)的垂直觀看圖像(例如，當(dāng)輸入圖像是圖8所示的圖像時(shí)，為圖7所示的圖像)之后，可以在該垂直觀看圖像的基礎(chǔ)上繪制水平平行線。
圖19是示出當(dāng)可以計(jì)算仰角時(shí)水平平行線繪制部分171的配置示例的框圖。
水平平行線繪制部分171可以包括仰角計(jì)算器251、垂直觀看圖像生成器252、和水平線繪制器253。
仰角計(jì)算器251使用從消失點(diǎn)估計(jì)單元52提供的消失點(diǎn)的坐標(biāo)來(lái)計(jì)算當(dāng)獲取輸入圖像時(shí)所使用的照相機(jī)的仰角，并且將所計(jì)算的仰角提供給垂直觀看圖像生成器252。
通過(guò)使用從仰角計(jì)算器251提供的所計(jì)算的仰角，垂直觀看圖像生成器252將所輸入的圖像變換為垂直觀看的圖像。
接下來(lái)，下面參考圖20到28描述由仰角計(jì)算器251和垂直觀看圖像生成器252執(zhí)行的處理。
通過(guò)使用照相機(jī)CA以預(yù)定仰角φ如圖21所示在例如其中具有等間隔孔的鐵板T上執(zhí)行圖像獲取，可以獲得具有這樣的梯度的圖像Da，其中在更接近前側(cè)的位置處孔圖案(紋理)看上去顯得粗，而在遠(yuǎn)離前側(cè)的位置處孔圖案(紋理)看上去顯得細(xì)。圖22中的標(biāo)尺M(jìn)指示孔圖案在垂直方向(紋理梯度方向)上的位置。
接下來(lái)，如圖23所示，通過(guò)使用投影儀PJ將具有上述紋理梯度的圖像Da投影在以等于照相機(jī)CA的仰角φ的角度傾斜的屏幕SC上，來(lái)顯示鐵板T的圖像Db，在該圖像中，如圖24所示，孔圖案具有類(lèi)似于實(shí)際鐵板T(圖20)的相等間隔。
圖24所示的箭頭的底部指示圖像Da的圖案中孔的預(yù)定垂直位置，而箭頭尖部指示圖像Db的圖案中孔的垂直位置，其與原始圖像Da的圖案中的孔相對(duì)應(yīng)。
換句話說(shuō)，垂直觀看圖像生成器252這樣生成垂直觀看的圖像，其通過(guò)使用圖24所示的在垂直觀看圖像(圖像Db)和輸入圖像(圖像Da)的像素位置與仰角(φ)之間的幾何關(guān)系來(lái)檢測(cè)與垂直觀看圖像的像素相對(duì)應(yīng)的、輸入圖像中的像素，并且在該垂直觀看圖像的像素中設(shè)置輸入圖像中的所檢測(cè)像素的像素值來(lái)進(jìn)行。
在圖22所示的示例中，消失點(diǎn)R(準(zhǔn)確地說(shuō)，消失點(diǎn)圖像)存在于圖像Da的上部，其中孔圖案中的垂直間隔減少了。如圖24所示，連接消失點(diǎn)R和焦點(diǎn)Q的線平行于對(duì)象平面(在圖24的示例中的屏幕表面)。因此，可以通過(guò)計(jì)算消失點(diǎn)R獲得仰角(在照相機(jī)光軸和對(duì)象平面之間的角度)。換句話說(shuō)，因此，仰角計(jì)算器251可以通過(guò)使用消失點(diǎn)R來(lái)計(jì)算仰角φ。
如圖25所示，仰角φ等于在連接消失點(diǎn)R和焦點(diǎn)Q的線和連接成像平面Z的中心點(diǎn)的線之間形成的角度。仰角φ通過(guò)下式計(jì)算φ＝tan-1(p/kh)＝tan-1(r/k) …(1)其中，p表示在圖13所示的輸入圖像中在中心位置和消失點(diǎn)R之間的距離，h表示圖13所示的輸入圖像的Y軸尺寸(高度)，r表示p/h，以及K表示預(yù)定的系數(shù)。
此外，圖25所示的幾何關(guān)系還可以如圖26所示。
在如上所述計(jì)算了仰角φ之后，垂直觀看圖像生成器252使用所計(jì)算的仰角將輸入圖像變換為垂直觀看圖像。
具體地說(shuō)，如圖27所示，對(duì)于每個(gè)像素，例如垂直觀看圖像中的像素(x1，y1)，垂直觀看圖像生成器252檢測(cè)相應(yīng)的像素(x0，y0)。
垂直觀看圖像的像素(x1，y1)、輸入圖像的像素(x0，y0)以及仰角φ具有圖28所示的幾何關(guān)系。因此，可以通過(guò)以下表達(dá)式找到與垂直觀看圖像的像素(x1，y1)相對(duì)應(yīng)的輸入圖像的像素(x0，y0)
y0=y1sinφd+y1cosφkh]]>x0=x1d+y1cosφkh---(2)]]>通過(guò)使用這些表達(dá)式，當(dāng)提供輸入圖像時(shí)，可以估計(jì)對(duì)象平面上的實(shí)際圖案。
通過(guò)在由垂直觀看圖像生成器252生成的垂直觀看圖像上繪制景深方向平行線和水平平行線，并且隨后對(duì)由垂直觀看圖像生成器252執(zhí)行的變換執(zhí)行逆變換，水平線繪制器253生成圖像(在該圖像中，如參考圖16和17所述，繪制了正確的沿景深方向的平行線和水平平行線)的圖像數(shù)據(jù)，并且將該圖像數(shù)據(jù)提供給平行線提取部分172。
接下來(lái)，圖29是示出圖2所示的圖像變換單元54的配置示例的框圖。
雖然設(shè)計(jì)了基于針孔照相機(jī)模型的普通圖像，以便可以在平面屏幕上形成圖像，但是圖像變換單元54可以執(zhí)行到這樣的圖像的變換，其中該圖像是當(dāng)在由包括在圓柱中的曲面部分形成的屏幕上形成在平面屏幕上形成的圖像時(shí)獲得的。換句話說(shuō)，圖像變換單元54可以執(zhí)行到這樣的圖像的變換，其中該圖像是當(dāng)使用作為圓柱的中心并且用作水平線高度的位置作為參考位置時(shí)、將平面屏幕上的圖像投影在由包括在圓柱中并且對(duì)應(yīng)于視角的曲面部分形成的屏蔽上時(shí)獲得的。例如，如圖30所示，將由照相機(jī)301獲取并且提供給照相機(jī)301的圖像投影在普通的成像屏幕302上。不同于此，假定其形狀為圓柱切塊的虛擬成像屏幕303。圖像變換單元54將提供給圖像處理設(shè)備41的圖像、即投影在普通成像屏幕302上的圖像變換為形成在虛擬成像屏幕303上的圖像。
源圖像數(shù)據(jù)獲取部分281獲取從視角估計(jì)單元53提供并且提供給圖像處理設(shè)備41的圖像，也就是，獲取在變換之前的圖像的圖像數(shù)據(jù)。源圖像數(shù)據(jù)獲取部分281將所獲取的圖像數(shù)據(jù)提供給相應(yīng)的像素提取部分284，并且向變換圖像表面生成部分282提供在變換之前的尺寸信息。
基于從源圖像數(shù)據(jù)獲取部分281提供的、在變換之前的圖像的尺寸信息，變換圖像表面生成部分282準(zhǔn)備尺寸上等于源圖像的輸出圖像的表面，并且將該輸出圖像的表面提供給關(guān)注像素(pixel-of-interest)提取部分283和變換圖像生成部分285。
關(guān)注像素提取部分283從由變換圖像表面生成部分282提供的變換圖像的表面中提供所關(guān)注的像素，并且將所關(guān)注像素的信息提供給相應(yīng)像素提取部分284和變換圖像生成部分285。
對(duì)于變換圖像中的、由從關(guān)注像素提取部分283提供的坐標(biāo)信息所代表的每個(gè)像素，相應(yīng)像素提取部分284基于從視角估計(jì)單元53提供的估計(jì)視角而計(jì)算在變換圖像中的相應(yīng)像素，并且將相應(yīng)像素的像素值提供給變換圖像生成部分285。
具體地說(shuō)，如圖31所示，當(dāng)具有半徑a的圓柱形屏幕緊靠平面屏幕時(shí)，相應(yīng)像素提取部分284查找平面屏幕上的下述像素位置，其中在具有半徑a的圓柱形屏幕的至少部分中形成的圖像的每一個(gè)像素與該平面屏幕上的所述像素位置相對(duì)應(yīng)。由視角和變換之前的圖像的水平寬度確定圓柱形屏幕的半徑a。換句話說(shuō)，值a是這樣的值，其中當(dāng)變換之前的圖像的水平寬度的1/2是1而且視角的1/2是θ時(shí)，tanθ＝1/a。
假定xyz坐標(biāo)系統(tǒng)中的原點(diǎn)(0，0，0)是在具有半徑a的圓柱形屏幕和平面屏幕之間的交叉線上的點(diǎn)并且是高度(即，水平線的高度)等于消失點(diǎn)的高度的坐標(biāo)，而且具有半徑a的圓柱形屏幕的中心點(diǎn)表示為(0，0，-a)。當(dāng)基于距離X-Y平面上的Z軸的角度θ以及Y軸坐標(biāo)β，將在具有半徑a的圓柱形屏幕上的一組坐標(biāo)表示為(θ，β)，并且將該組坐標(biāo)變換到xyz坐標(biāo)系統(tǒng)中時(shí)，所獲得的坐標(biāo)是(asinθ，β，A(cosθ-1))。因此，與在具有半徑a的圓柱形屏幕上形成的圖像的像素(θ，β)相對(duì)應(yīng)的一組坐標(biāo)是連接中心位置(0，0，-a)和坐標(biāo)(sinθ，β，A(cosθ-1))的直線與X-Y面交叉處的點(diǎn)，并且具有值(atanθ，β/cosθ，0)。
此外，如圖32所示，當(dāng)具有半徑a的圓柱形屏幕和平面屏幕彼此緊靠時(shí)，相應(yīng)像素提取部分284可以查找與平面屏幕上的每一像素相對(duì)應(yīng)的、在具有半徑“a”的至少部分圓柱形屏幕中的像素位置。
類(lèi)似于參考圖31描述的情況，假定xyz坐標(biāo)系統(tǒng)中的原點(diǎn)(0，0，0)是在具有半徑a的圓柱形屏幕和平面屏幕之間的交叉線上的點(diǎn)，而且是高度(即，水平線的高度)等于消失點(diǎn)的坐標(biāo)。當(dāng)具有半徑a的圓柱形屏幕的中心點(diǎn)表示為坐標(biāo)(0，0，-a)時(shí)，在圓柱形屏幕上的、與平面屏幕上的坐標(biāo)(X，Y，0)相對(duì)應(yīng)的坐標(biāo)，表示連接中心點(diǎn)(0，0，-a)和坐標(biāo)(X，Y，0)的直線與圓柱形屏幕交叉處的點(diǎn)，并且被表示為(sin-1(X/a2+X2),aY/a2+X2,a(cosθ-1))---(3)]]>變換圖像生成部分285通過(guò)使用上述方法重復(fù)地執(zhí)行將從相應(yīng)像素提取部分284提供的、源圖像的相應(yīng)像素的像素值復(fù)制到變換圖像表面的所關(guān)注像素的位置中的操作，而生成變換圖像并且將其提供給圖像數(shù)據(jù)輸出單元55。
當(dāng)比較參考圖31描述的方法和參考圖32描述的方法時(shí)，在參考圖31描述的方法中，最終生成的圖像數(shù)據(jù)不會(huì)缺少像素。讓相應(yīng)像素提取部分284使用參考圖31描述的方法為變換圖像中的每個(gè)像素查找變換圖像的相應(yīng)像素，是更可取的。
圖31和32說(shuō)明了其中作為具有半徑a的圓柱的一部分的虛擬成像屏幕303緊靠普通成像屏幕302的情況。然而，即使假定在其中虛擬成像屏幕303和普通成像屏幕302不彼此緊靠的情況下執(zhí)行變換，該變換也類(lèi)似于上述情況下的變換。換句話說(shuō)，在具有某一視角的平面屏幕上的圖像可以被投影在具有預(yù)定半徑的圓柱上的與該相同視角相對(duì)應(yīng)的區(qū)域(其中扇區(qū)的圓心角由中心點(diǎn)和屏幕形成的區(qū)域)上。圓柱的半徑由視角和屏幕之間的位置關(guān)系所確定。此外，變換圖像表面的大小也由視角和屏幕之間的位置關(guān)系確定。
換句話說(shuō)，如圖33所示，如果在普通成像屏幕302上形成的變換之前的圖像和在虛擬成像屏幕303-1到303-4上形成的每個(gè)變換圖像之間執(zhí)行圖像投影，以便具有相同的視角和視點(diǎn)(照相機(jī)301的位置，也就是與中心點(diǎn)(0，0，-a)相對(duì)應(yīng)的點(diǎn))，則即使普通成像屏幕302在包括虛擬成像屏幕303的圓柱的外側(cè)或者內(nèi)側(cè)，也可以執(zhí)行基本上與上述情況中的變換類(lèi)似的變換。
接下來(lái)，在下面參考圖34所示的流程圖描述由圖2所示的圖像處理設(shè)備41執(zhí)行的處理。
在步驟S1，圖像數(shù)據(jù)獲取單元51獲取變換之前的圖像數(shù)據(jù)，并且將所獲取的圖像數(shù)據(jù)提供給消失點(diǎn)估計(jì)單元52。
在步驟S2，消失點(diǎn)估計(jì)單元52執(zhí)行稍后參考圖35描述的第一消失點(diǎn)估計(jì)處理，或者執(zhí)行稍后參考圖36描述的第二消失點(diǎn)估計(jì)處理。
在步驟S3，視角估計(jì)單元53執(zhí)行稍后參考圖41描述的視角估計(jì)處理。
在步驟S4，圖像變換單元54執(zhí)行稍后參考圖43描述的圖像變換處理。
在步驟S1中計(jì)算消失點(diǎn)、在步驟S3中估計(jì)視角，以及在步驟S4中通過(guò)執(zhí)行變換生成變換后的圖像數(shù)據(jù)之后，在步驟S5，將所生成的變換圖像數(shù)據(jù)提供給圖像數(shù)據(jù)輸出單元55，而且圖像數(shù)據(jù)輸出單元55在處理完成之前輸出所提供的圖像數(shù)據(jù)。
如上所述，圖2中的圖像處理設(shè)備41計(jì)算消失點(diǎn)、估計(jì)視角、基于視角變換圖像數(shù)據(jù)、并且輸出變換后的圖像數(shù)據(jù)。所輸出的圖像數(shù)據(jù)被顯示在大的平面顯示器上，被打印出，被記錄在預(yù)定記錄介質(zhì)上，以及通過(guò)預(yù)定的通信介質(zhì)進(jìn)行傳送。
接下來(lái)，由參考圖3描述的消失點(diǎn)估計(jì)單元52-1在圖34的步驟S2中執(zhí)行的第一消失點(diǎn)估計(jì)處理描述如下。
在步驟S21，通過(guò)從由圖像數(shù)據(jù)獲取單元51獲取的圖像中提取與地面(水平面)平行并且從圖像的前面延伸到內(nèi)側(cè)(在與照相機(jī)視點(diǎn)的方向相同的方向上)的直線，景深方向平行線提取單元71如參考圖5所述，在景深方向以等間隔提取平行線。
在步驟S22，如參考圖5所述，消失點(diǎn)計(jì)算單元72通過(guò)計(jì)算由景深方向平行線提取單元71提取的、在景深方向上的平行線在圖像上的交叉點(diǎn)，來(lái)計(jì)算消失點(diǎn)。在那之后，處理返回到圖34中的步驟S2并且繼續(xù)到步驟S3。
在這個(gè)處理中，基于在圖像數(shù)據(jù)的景深方向上的平行線，估計(jì)消失點(diǎn)。
接下來(lái)，下面參考圖36描述由參考圖6所述的消失點(diǎn)估計(jì)單元52-2在圖34的步驟S2中執(zhí)行的第二消失點(diǎn)估計(jì)處理。
在步驟S41，特征值提取部分131提取輸入圖像中每個(gè)像素的特征值。例如，提取每個(gè)像素的色差值或者邊緣強(qiáng)度作為特征值。當(dāng)邊緣強(qiáng)度用作特征值時(shí)，圖像數(shù)據(jù)獲取單元51使用差動(dòng)濾波器(未示出)來(lái)增強(qiáng)輸入圖像的邊緣并且提取邊緣強(qiáng)度。
在步驟S42，量化部分132基于在步驟S41中提取的像素的特征值，量化輸入圖像的特征值。
當(dāng)特征值是例如色差值時(shí)，其色差值等于預(yù)定參考值的每個(gè)像素的像素值被設(shè)置為具有1，而且具有不同色差值的每個(gè)像素的像素值被設(shè)置為具有0。
例如，將圖8所示的輸入圖像量化為圖9所示的狀態(tài)。在圖9中，白點(diǎn)指示具有值1的像素，而黑點(diǎn)指示具有值0的像素。
在步驟S43，在由紋理梯度計(jì)算部分133和消失點(diǎn)計(jì)算部分134進(jìn)行的處理中，計(jì)算消失點(diǎn)。處理返回到步驟S2，并且繼續(xù)到步驟S3。
具體地說(shuō)，從在步驟S42中獲得的量化數(shù)據(jù)(圖9)中，紋理梯度計(jì)算部分133以線為單位計(jì)算在白點(diǎn)(紋理)之間的距離的平均值(紋理梯度數(shù)據(jù))。如參考圖10所述的，當(dāng)具有值1的像素布置在預(yù)定線中時(shí)，計(jì)算在距離a1、a2、a3和a4之間的平均值。
如參考圖12所述的，紋理梯度計(jì)算部分133基于以線為單位計(jì)算的平均值設(shè)置回歸線，其中該平均值由AV(圖12)所表示。換句話說(shuō)，回歸線對(duì)應(yīng)于紋理梯度。
量化部分132計(jì)算在所設(shè)置的回歸線和Y軸(在輸入圖像上的Y軸)之間的交叉點(diǎn)作為消失點(diǎn)。
在這個(gè)處理中，基于紋理梯度計(jì)算消失點(diǎn)。
在圖36的步驟S41，特征值提取部分131提取輸入圖像中每個(gè)像素的特征值。例如，提取像素的色差值和邊緣強(qiáng)度作為特征值。
當(dāng)色差值用作特征值時(shí)，由特征值提取部分131在圖36的步驟S41中執(zhí)行的參考值確定處理描述如下。
在步驟S61，特征值提取部分131從輸入圖像中生成預(yù)定特征值(在這個(gè)示例中為色差值)的直方圖。
在步驟S62，特征值提取部分131在步驟S61中所生成的直方圖中選擇n個(gè)具有高頻率的色差值。
在步驟S63，特征值提取部分131從在步驟S62中選擇的n個(gè)色差值中選擇一個(gè)色差值。在步驟S64，特征值提取部分131檢測(cè)這樣的像素的位置，其中這些像素中的每一個(gè)都具有等于選定色差值的色差值。
如圖38到40所示的示例所指示的那樣，在步驟S65，計(jì)算在步驟S64中檢測(cè)其位置的像素的水平位置(X軸坐標(biāo))的最大和最小值之間的差值，以及在步驟S64中檢測(cè)其位置的像素的垂直位置(Y軸坐標(biāo))的最大和最小值之間的差值，并且計(jì)算這兩個(gè)差值的和。
在步驟S66，特征值提取部分131確定在步驟S63中是否已經(jīng)選擇了在步驟S62中選擇的所有n個(gè)色差值。如果在步驟S66中確定存在有還沒(méi)有被選擇的色差值，則處理返回到步驟S63，并且選擇下一個(gè)色差值。重復(fù)執(zhí)行在步驟S64以及后續(xù)步驟中的處理。
如果在步驟S66確定已經(jīng)選擇了全部色差值，則在步驟S67，特征值提取部分131選擇從中獲得在步驟S65中計(jì)算的和的最大值的色差值作為參考值。
用這樣的方式，確定參考值。例如，將相對(duì)大量存在于輸入圖像中并且分布在整個(gè)輸入圖像中的顏色的色差值用作參考值，并且執(zhí)行這樣的顏色的量化。
已經(jīng)舉例說(shuō)明了其中特征值是色差值的情況。然而，對(duì)于諸如邊緣強(qiáng)度之類(lèi)的其它特征值，類(lèi)似地確定參考值。
接下來(lái)，由參考圖14描述的視角估計(jì)單元53在圖34中的步驟S3中執(zhí)行的視角估計(jì)處理描述如下。
在步驟S91，如參考圖15和16所述，當(dāng)存在有為了查找消失點(diǎn)而事先繪制的在景深方向上的平行線時(shí)，對(duì)于在景深方向上的平行線，水平平行線繪制部分171以與景深方向上的平行線的間隔相等的間隔繪制水平平行線。換句話說(shuō)，這樣繪制水平平行線以便以垂直觀看圖像的形式繪制正方形。作為選擇，當(dāng)沒(méi)有事先繪制景深方向上的平行線時(shí)，在類(lèi)似于參考圖5所述的情況、水平平行線繪制部分171繪制了景深方向上的平行線之后，對(duì)于這些在景深方向上繪制的平行線，如參考圖15和16所述，水平平行線繪制部分171以與景深方向上的平行線的間隔相等的間隔繪制水平平行線。換句話說(shuō)，這樣繪制水平平行線以便在垂直觀看圖像中繪制正方形。
在步驟S92，如參考圖16所述，平行線提取部分172從在景深方向上的平行線和所繪制正方形的對(duì)角線當(dāng)中提取平行的那些線。
在步驟S93，基于在景深方向上的平行線和水平平行線，如參考圖17所述，平鋪圖像生成部分173生成平鋪圖像。
在步驟S94，基于由平鋪圖像生成部分173生成的平鋪圖像，由水平平行線繪制部分繪制的基線，以及由平行線提取部分172提取的、成對(duì)的在景深方向上的平行線和所繪制正方形的對(duì)角線，如參考圖17所述，視角計(jì)算部分174計(jì)算視角，而且處理在繼續(xù)到步驟S4之前返回到步驟S3。
在上述處理中，可以估計(jì)用于獲取轉(zhuǎn)換之前的圖像的照相機(jī)的視角。
此外，當(dāng)難以以與景深方向上的平行線的間隔相等的間隔繪制水平平行線時(shí)，也就是當(dāng)難以這樣繪制水平平行線以便以垂直觀看的圖像形式繪制正方形時(shí)，在沿景深方向的平行線的每個(gè)間隔中以及在水平平行線的每個(gè)間隔中出現(xiàn)錯(cuò)誤，因此導(dǎo)致由視角計(jì)算部分174計(jì)算的視角中的錯(cuò)誤。
例如，如圖18所示，當(dāng)以與參考圖17描述的間隔不同的那些間隔繪制水平平行線時(shí)，通過(guò)使用平鋪圖像計(jì)算的視角不同于在圖17所示的情況下獲得的那個(gè)視角。在這種情況下，通過(guò)將水平平行線繪制部分171的配置改變?yōu)閰⒖紙D18所描述的配置，計(jì)算在當(dāng)獲取轉(zhuǎn)換之前的圖像時(shí)照相機(jī)的仰角，以及生成垂直觀看的圖像，可以這樣繪制水平平行線，以便在垂直觀看的圖像中對(duì)于景深方向上的平行線繪制正方形。
接下來(lái)，在下面參考圖42所示的流程圖描述當(dāng)計(jì)算仰角以生成垂直觀看圖像時(shí)與圖41中的步驟S91相對(duì)應(yīng)的水平平行線繪制處理。
在步驟S111，仰角計(jì)算器251基于在由消失點(diǎn)估計(jì)單元52進(jìn)行的處理中獲得的消失點(diǎn)，計(jì)算照相機(jī)的仰角。
具體地說(shuō)，可以使用表達(dá)式(1)計(jì)算仰角，這是因?yàn)槿鐖D25所示，仰角等于在連接消失點(diǎn)R和焦點(diǎn)Q的直線和連接成像平面z的中心點(diǎn)和焦點(diǎn)Q的直線之間形成的角度。
在步驟S112，垂直觀看圖像生成器252使用所計(jì)算的仰角，以便通過(guò)變換輸入圖像來(lái)生成垂直觀看的圖像。
具體地說(shuō)，如參考圖27所述，對(duì)于垂直觀看圖像中的每個(gè)像素(x1，y1)，由垂直觀看圖像生成器252檢測(cè)輸入圖像中的相應(yīng)像素(x0，y0)。
垂直觀看圖像中的像素(x1，y1)、輸入圖像中的像素(x0，y0)以及仰角φ具有圖28所示的幾何關(guān)系。因此，可以通過(guò)使用表達(dá)式(2)計(jì)算與垂直觀看圖像中的像素(x1，y1)相對(duì)應(yīng)的、輸入圖像中的像素(x0，y0)。通過(guò)使用這種方式，當(dāng)提供了輸入圖像時(shí)，可以估計(jì)在對(duì)象平面上的實(shí)際圖案。
在步驟S113，水平線繪制器253在所生成的垂直觀看圖像中水平地繪制平行線，以便以垂直觀看圖像的形式對(duì)于景深方向上的平行線繪制正方形，其中為了查找消失點(diǎn)而繪制了在景深方向上的平行線。
在垂直觀看圖像生成器252中繪制了景深方向上的平行線和水平平行線之后，通過(guò)對(duì)由垂直觀看圖像生成器252所執(zhí)行的變換執(zhí)行逆變換，水平線繪制器253生成用于指示繪制了在景深方向上的正確的平行線和正確的水平平行線的圖像數(shù)據(jù)，并且將所生成的圖像數(shù)據(jù)提供給平行線提取部分172。
因?yàn)檫@個(gè)處理基于仰角生成垂直觀看圖像，所以可以這樣繪制水平平行線，以便以垂直觀看圖像的形式對(duì)于景深方向上的平行線準(zhǔn)確地繪制正方形。因此，可以用良好的精確度估計(jì)視角。
接下來(lái)，下面參考圖43所示的流程圖描述由參考圖29所述的圖像變換單元54在圖34的步驟S4中執(zhí)行的圖像變換處理。
在步驟S131，源圖像數(shù)據(jù)獲取部分281獲取變換之前的圖像數(shù)據(jù)，并且將所獲取的圖像數(shù)據(jù)提供給變換圖像表面生成部分282和相應(yīng)像素提取部分284。
在步驟S132，變換圖像表面生成部分282準(zhǔn)備其尺寸等于變換之前的圖像數(shù)據(jù)的尺寸的變換圖像表面，并且將該圖像表面提供給關(guān)注像素提取部分283和變換圖像生成部分285。
在步驟S133，關(guān)注像素提取部分283從由變換圖像表面生成部分282提供的圖像表面中提取未處理的像素作為所關(guān)注的像素，并且將所關(guān)注像素的坐標(biāo)信息提供給相應(yīng)像素提取部分284和變換圖像生成部分285。
在步驟S134，基于從視角估計(jì)單元53提供的估計(jì)視角，通過(guò)使用參考圖31或者圖32描述的變換表達(dá)式，相應(yīng)像素提取部分284從變換之前的圖像數(shù)據(jù)的像素中提取與所提取的關(guān)注像素相對(duì)應(yīng)的像素，并且將所提取的像素提供給變換圖像生成部分285。
在步驟S135，變換圖像生成部分285將在從相應(yīng)像素提取部分284提供的、源圖像中的對(duì)應(yīng)像素的像素值復(fù)制到圖像表面中的關(guān)注像素的位置中。
在步驟S136，變換圖像生成部分285確定是否已經(jīng)為所有像素完成了像素值復(fù)制。如果在步驟S136中確定還沒(méi)有為所有像素完成像素值復(fù)制，則處理返回到步驟S133，并且重復(fù)執(zhí)行后續(xù)的步驟。如果在步驟S136中確定已經(jīng)為所有像素完成了像素值復(fù)制，則處理返回到圖34中的步驟S4并且繼續(xù)到步驟S5。
在這個(gè)處理中，基于視角和變換之前的圖像數(shù)據(jù)的大小，從預(yù)定照相機(jī)位置獲取的圖像的平面圖像數(shù)據(jù)中的每個(gè)像素由形成為圓柱的至少一部分的虛擬屏幕上的任何像素所替代，借此生成變換后的圖像數(shù)據(jù)。
圖44示出了變換后的圖像的示例，該變換后的圖像這樣生成以便基于如參考圖17所述而獲得的視角fov1＝57(度)來(lái)變換圖4所示的變換之前的圖像。然后，a＝1.086。
基于圖44所示的所獲取的“室內(nèi)空間”圖像，當(dāng)觀察者從圖45A所示的位置α向前方觀看時(shí)，如圖45B所示，觀察者可以獲得與當(dāng)處于“室內(nèi)空間”中心的觀察者351在向方向α看時(shí)所獲得的眼膜圖像相對(duì)應(yīng)的眼膜圖像?；趫D44所示的所獲取的“室內(nèi)空間”圖像，當(dāng)觀察者從圖45B所示的位置β向前方觀看時(shí)，如圖45B所示，觀察者可以獲得與當(dāng)處于“室內(nèi)空間”中心的觀察者351在向方向β看時(shí)所獲得的眼膜圖像相對(duì)應(yīng)的眼膜圖像?；趫D44所示的所獲取的“室內(nèi)空間”圖像，當(dāng)觀察者從位置γ向前方觀看時(shí)，如圖45B所示，觀察者可以獲得與當(dāng)處于“室內(nèi)空間”中心的觀察者351在向方向γ看時(shí)所獲得的眼膜圖像相對(duì)應(yīng)的眼膜圖像。換句話說(shuō)，圖44和45A所示的變換圖像使得觀察者能夠獲得正確的眼膜圖像，而不管諸如圖45A所示的位置α到γ之類(lèi)的觀察者位置如何。
當(dāng)位于“室內(nèi)空間”中心的觀察者351在將角度從方向α改變到方向γ的同時(shí)，從房間的左下角到房間的右下角觀看在房間的內(nèi)壁和地板之間的界限時(shí)，在該界限和觀察者351之間的距離對(duì)于房間的左下角(方向α)和房間的右下角(方向γ)是最大的，而對(duì)于房間的中心部分(方向β)是最小的。換句話說(shuō)，圖44和圖45A所示的變換圖像中，在房間的內(nèi)壁和地板之間的界限不是直線而是稍微向下凸的曲線，而且在比在中心部分的地板和房間內(nèi)壁之間的界限高的位置上，也就是說(shuō)，在感覺(jué)更遠(yuǎn)離觀察者351的位置上，繪制房間的左下角和右下角。
在該變換后的圖像中，會(huì)出現(xiàn)在普通圖像中不會(huì)出現(xiàn)的上下彎曲。因此，優(yōu)選為，為觀察者顯示其中如圖45A所示刪除了上下彎曲的圖像，也就是，在圖45A中的直線352-1和352-2之間的圖像部分。
圖46示出了當(dāng)tanθ2＝1.0、即視角fov2＝2tan-11.0＝90(度)以及a＝2時(shí)獲得的變換圖像的示例。
此外，圖47示出了當(dāng)tanθ2＝0.25、即視角fov3＝2tan-10.25＝28.1(度)以及a＝0.5時(shí)獲得的變換后圖像的示例。
換句話說(shuō)，基于圖48A所示的、在視角fov和在照相機(jī)與照相機(jī)焦點(diǎn)間的景深距離a之間的關(guān)系，通過(guò)變換獲得圖44所示的變換后的圖像?；?8B所示的、在視角fov和在照相機(jī)和照相機(jī)焦點(diǎn)間的景深距離a之間的關(guān)系，通過(guò)變換獲得圖46所示的變換后的圖像?；?8C所示的、在視角fov和在照相機(jī)和照相機(jī)焦點(diǎn)間的景深距離a之間的關(guān)系，通過(guò)變換獲得圖47所示的變換后的圖像。
換句話說(shuō)，如圖48B所示，生成圖46所示的變換圖像，作為以比實(shí)際更寬的視角從遠(yuǎn)程照相機(jī)獲取的、用于圖48A中正確獲得的視角fov和景深距離a(在照相機(jī)和照相機(jī)焦點(diǎn)之間的距離)的圖像。如圖48C所示，生成圖47所示的變換圖像，作為以比實(shí)際更窄的視角從近處近照相機(jī)獲取的、用于圖48A中正確獲得的視角fov和景深距離a(在照相機(jī)和照相機(jī)焦點(diǎn)之間的距離)的圖像。
如上所述，如果沒(méi)有基于正確估計(jì)的視角和焦距執(zhí)行圖像變換，則難以生成這樣的圖像，其中通過(guò)該圖像可以把正確的眼膜圖像提供給觀察者而不管觀察者的位置如何。
接下來(lái)，在下面通過(guò)舉例說(shuō)明從預(yù)定點(diǎn)獲得在整個(gè)360度的方向中、與眼膜圖像相對(duì)應(yīng)的平面圖像數(shù)據(jù)的情況，來(lái)描述當(dāng)應(yīng)用本發(fā)明的實(shí)施例時(shí)所獲得的顯著優(yōu)點(diǎn)。
例如，假定如圖49所示用戶401在線性延伸的人行道402上獲得在該用戶401周?chē)?60度的圖像數(shù)據(jù)，其中在人行道402上安裝了長(zhǎng)凳411和412，而且在人行道402的周?chē)N植了樹(shù)413-1到413-8，下面描述其優(yōu)點(diǎn)。
首先，圖50A到50D示出了當(dāng)在四個(gè)方向上執(zhí)行圖像獲取時(shí)所獲得的圖像，如圖49所示，這四個(gè)方向?yàn)樽鳛槿诵械?02的一側(cè)并且對(duì)應(yīng)于長(zhǎng)凳411和412的方向的方向a，與方向a相差90度并且對(duì)應(yīng)于樹(shù)413-8的方向的方向b，與方向a相差180度的方向c，以及與方向c相差90度并且對(duì)應(yīng)于樹(shù)413-1到413-7的方向的方向d。
如圖50A所示，圖像451是在方向a上獲取圖像的結(jié)果。圖像451包括長(zhǎng)凳411和412，并且在圖像451中，人行道402沿遠(yuǎn)側(cè)延伸，而且人行道402的邊界是會(huì)聚在消失點(diǎn)處的傾斜直線(消失點(diǎn)存在于圖像451的外面)。如圖50B所示，圖像452是在方向b上獲取圖像的結(jié)果。圖像452包括樹(shù)413-8，而且在圖像452中，人行道402的邊界看起來(lái)象是水平直線。如圖50C所示，圖像453是在方向c上獲取圖像的結(jié)果。在圖像453中，人行道402沿圖像453中的遠(yuǎn)側(cè)延伸，而且人行道402的邊界是會(huì)聚在消失點(diǎn)處的傾斜直線(消失點(diǎn)存在于圖像453的外面)。如圖50D所示，圖像454是在方向d上獲取圖像的結(jié)果。圖像454包括多顆樹(shù)413，而且在圖像454中，人行道402的邊界看起來(lái)象是水平直線。
通過(guò)簡(jiǎn)單地連接圖50A到50D所示的四個(gè)圖像451到454，可以生成圖51所示的圖像471。在圖像471中，校正存在于圖像之間的邊界部分中的一顆樹(shù)413等，以便不會(huì)看起來(lái)不自然。
在作為圖像471的組成部分的圖像451到454中，人行道402的邊界被顯示為會(huì)聚在消失點(diǎn)處的直線或者被顯示為水平直線。因此，在圖像471中，人行道402的邊界全部都由直線形成。因此，不同于當(dāng)用戶401在用戶401周?chē)?60度觀看時(shí)所獲得的眼膜圖像，圖像471形成為一個(gè)不自然的圖像，其中剛好在上述角度a到d中每一個(gè)的中間角度(圖像451到454中的每個(gè)連接部分)處，人行道402的邊界以預(yù)定角度彎曲。
相反，例如，假定通過(guò)增加在圖49所示的用戶401的位置處獲取的圖像數(shù)目，例如，通過(guò)組合并且連接雙倍數(shù)目的圖像或者八個(gè)圖像，來(lái)生成一圖像。
例如，通過(guò)將在上述角度a到d的中間角度處所獲取的圖像與參考圖51描述的、在圖像471中的圖像451到454的連接部分相連接，可以生成圖52所示的圖像481。然而，在圖像481中，人行道402的邊界也被形成為以預(yù)定角度在八個(gè)圖像的連接部分中所連接的一組直線。
換句話說(shuō)，即使通過(guò)使用基于相關(guān)技術(shù)中的針孔照相機(jī)的原理而獲得的圖像，來(lái)增加所獲取圖像(圖像獲取方向)的數(shù)目，以便獲得與當(dāng)在周?chē)?60度觀看時(shí)所獲得的眼膜圖像接近的圖像，但是，在精確的意義上說(shuō)，人行道402的邊界也被形成為連接的直線，以致所獲得的圖像不同于由作為觀察者的用戶401的眼睛所觀看到的眼膜圖像。
不同于上述情況，通過(guò)使用圖像處理設(shè)備41(其中應(yīng)用了本發(fā)明的實(shí)施例)來(lái)變換基于相關(guān)技術(shù)中的針孔照相機(jī)的原理而獲得的圖像，并且適當(dāng)?shù)剡B接這些圖像，如圖53中的圖像501所示，人行道402的邊界被變換為平滑曲線。換句話說(shuō)，即使從在圖像501前側(cè)的任何位置觀看該圖像的正面，提供給觀察者的眼膜圖像也基本上等同于當(dāng)用戶401 360度旋轉(zhuǎn)時(shí)由用戶401的眼睛所觀看到的眼膜圖像。
如上所述，通過(guò)應(yīng)用本發(fā)明的實(shí)施例，可以在多個(gè)觀察者的每個(gè)視點(diǎn)處獲得平面圖像以及通過(guò)該平面圖像獲取眼膜圖像，其中僅僅通過(guò)連接基于相關(guān)技術(shù)中的針孔照相機(jī)原理而獲得的圖像難以形成該平面圖像，而且該眼膜圖像基本上等同于由實(shí)際空間中的用戶401的眼睛所觀看到的眼膜圖像。
本發(fā)明的實(shí)施例不僅可應(yīng)用于由普通照相機(jī)獲取的圖像或者視頻的變換，而且還可以應(yīng)用于例如使用計(jì)算機(jī)圖形學(xué)創(chuàng)建圖像或者視頻的情況。換句話說(shuō)，可以通過(guò)使用本發(fā)明的實(shí)施例來(lái)變換這樣的圖像或者視頻，其中該圖像或者視頻中的景深由與用于基于針孔照相機(jī)的原理而獲取的圖像的方法相類(lèi)似的方法所表示。
此外，存在有例如這樣的應(yīng)用，其使得用戶能夠感受到其中人進(jìn)入屏幕中而且屏幕變?yōu)殓R面的虛擬感覺(jué)。特別地，存在有這樣的應(yīng)用，盡管其為二維的，但是可向用戶提供所謂的“虛擬現(xiàn)實(shí)”或者“混合現(xiàn)實(shí)”。例如，在這樣的虛擬現(xiàn)實(shí)或者混合現(xiàn)實(shí)中，將示出了小水珠以及以液態(tài)形式的那些水珠滴下的視頻投影在大屏幕上，而且在屏幕中的水珠以及以液態(tài)形式的那些擊打位于屏幕前方的用戶在屏幕上的陰影，且如同在現(xiàn)實(shí)世界中水珠以及以液態(tài)形式的那些擊打用戶那樣進(jìn)行動(dòng)作，并且此外，蝴蝶飛入屏幕并且停留在用戶在屏幕上的陰影中。
在這樣的應(yīng)用中，可應(yīng)用本發(fā)明的實(shí)施例。換句話說(shuō)，通過(guò)應(yīng)用本發(fā)明的實(shí)施例以生成顯示在屏幕上的圖像或者視頻，可以向相對(duì)于顯示在屏幕上的圖像或者視頻、存在于未指定位置處(例如，在圖45A中的每個(gè)位置α，β，和γ)的用戶提供更接近于現(xiàn)實(shí)世界中的體驗(yàn)的感覺(jué)。
通過(guò)使用通過(guò)應(yīng)用本發(fā)明的實(shí)施例以及對(duì)用普通照相機(jī)獲取的圖像執(zhí)行預(yù)定的圖像變換而生成的變換圖像，即使觀看該變換圖像的觀察者從該變換圖像前側(cè)的任何位置上觀看該觀察者的前方(換句話說(shuō)，如果觀察者的視點(diǎn)垂直于變換圖像平面或者在基本上垂直于該變換圖像平面的方向上)，也可以向觀察者提供與當(dāng)觀察者存在于現(xiàn)實(shí)世界中時(shí)所獲得的眼膜圖像類(lèi)似的眼膜圖像。
優(yōu)選為，用于對(duì)如上所述、通過(guò)應(yīng)用本發(fā)明的實(shí)施例以及對(duì)用普通照相機(jī)獲取的圖像執(zhí)行預(yù)定的圖像變換而生成的變換圖像進(jìn)行顯示的顯示器的尺寸較大。
本發(fā)明中的圖像變換不僅可應(yīng)用于利用照相機(jī)等獲取的圖像，還可應(yīng)用于通過(guò)諸如計(jì)算機(jī)圖形學(xué)之類(lèi)的技術(shù)生成的圖像。
如上所述生成的圖像或者視頻顯示在大的平面屏幕上，并且被打印出來(lái)用于由觀察者觀看。除此之外，圖像或者視頻可應(yīng)用于使用圖像或者視頻的各種類(lèi)型的應(yīng)用。
上述連續(xù)處理可通過(guò)硬件或者軟件執(zhí)行。在這種情況下，例如，圖像處理設(shè)備41由圖54所示的個(gè)人計(jì)算機(jī)901形成。
參見(jiàn)圖54，CPU(中央處理單元)921根據(jù)存儲(chǔ)在ROM(只讀存儲(chǔ)器)922中的程序或者加載到RAM(隨機(jī)存取存儲(chǔ)器)923中的程序，執(zhí)行各種類(lèi)型的處理。必要時(shí)，RAM 923還存儲(chǔ)當(dāng)CPU 921執(zhí)行各種類(lèi)型的處理時(shí)所必需的數(shù)據(jù)。
CPU 921、ROM 922、和RAM 923通過(guò)總線924彼此相連?？偩€924還連接到輸入/輸出接口925。
輸入/輸出接口925連接到包括鍵盤(pán)和鼠標(biāo)的輸入單元926、包括由CRT(陰極射線管)或者LCD(液晶顯示器)形成的顯示器以及揚(yáng)聲器的輸出單元927、包括硬盤(pán)的存儲(chǔ)單元928、以及包括調(diào)制解調(diào)器的通信單元929。通信單元929使用包括Internet在內(nèi)的網(wǎng)絡(luò)執(zhí)行通信處理。
必要時(shí)，輸入單元926還連接到驅(qū)動(dòng)器930，而且必要時(shí)，諸如磁盤(pán)、光盤(pán)、磁光盤(pán)或者半導(dǎo)體存儲(chǔ)器之類(lèi)的可移動(dòng)介質(zhì)931被加載到驅(qū)動(dòng)器930中。必要時(shí)，將從可移動(dòng)介質(zhì)931讀取的計(jì)算機(jī)程序安裝在存儲(chǔ)單元928中。
當(dāng)使用軟件來(lái)執(zhí)行上述連續(xù)處理時(shí)，構(gòu)成該軟件的程序從網(wǎng)絡(luò)或者記錄介質(zhì)中安裝到內(nèi)置了專用硬件的計(jì)算機(jī)、其中通過(guò)安裝各種程序而執(zhí)行各種功能的計(jì)算機(jī)、例如多用途個(gè)人計(jì)算機(jī)等中。
記錄介質(zhì)的類(lèi)型不僅包括可移動(dòng)介質(zhì)931，還包括ROM 922以及包括在存儲(chǔ)單元928中的硬盤(pán)，其中可移動(dòng)介質(zhì)931與個(gè)人計(jì)算機(jī)901分離地分配以便向用戶提供程序，而且其包括記錄有程序的磁盤(pán)(包括軟盤(pán))、光盤(pán)(包括CD-ROM(光盤(pán)只讀存儲(chǔ)器)以及DVD(數(shù)字通用盤(pán)))、磁光盤(pán)(包括MD(迷你盤(pán)))、或者半導(dǎo)體存儲(chǔ)器，而且其中ROM 922以內(nèi)置于個(gè)人計(jì)算機(jī)901中的狀態(tài)提供給用戶并且包含程序。
在這個(gè)說(shuō)明書(shū)中，構(gòu)成記錄在記錄介質(zhì)上的程序的步驟明確包括以給定次序按時(shí)間順序方式執(zhí)行的處理步驟，并且包括如果不必以時(shí)間順序方式執(zhí)行則并行或者單獨(dú)執(zhí)行的處理步驟。
此外，在這個(gè)說(shuō)明書(shū)中，系統(tǒng)意指多個(gè)設(shè)備(或者用于實(shí)現(xiàn)特定功能的功能模塊)的邏輯集合，并且與每個(gè)設(shè)備以及每個(gè)功能模塊是否設(shè)置在單個(gè)外殼內(nèi)無(wú)關(guān)。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求及其他因素，在所附權(quán)利要求或者其等效含義的范圍內(nèi)，可以進(jìn)行各種修改、組合、子組合以及改變。
權(quán)利要求
1.一種圖像處理設(shè)備，用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)，該圖像處理設(shè)備包括消失點(diǎn)估計(jì)裝置，用于估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)；視角估計(jì)裝置，用于估計(jì)第一平面圖像數(shù)據(jù)的視角；以及圖像生成裝置，用于基于由消失點(diǎn)估計(jì)裝置估計(jì)的消失點(diǎn)和由視角估計(jì)裝置估計(jì)的視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與所估計(jì)的消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與所估計(jì)的視角相對(duì)應(yīng)的部分上。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中視角估計(jì)裝置基于由消失點(diǎn)估計(jì)裝置所估計(jì)的消失點(diǎn)來(lái)估計(jì)視角。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中消失點(diǎn)估計(jì)裝置包括繪制裝置，用于繪制第一平面圖像數(shù)據(jù)的透視線；以及消失點(diǎn)提取裝置，用于在透視線的基礎(chǔ)上提取第一平面圖像數(shù)據(jù)的消失點(diǎn)。
4.如權(quán)利要求1所述的圖像處理設(shè)備，其中消失點(diǎn)估計(jì)裝置包括特征值提取裝置，用于提取第一平面圖像數(shù)據(jù)的特征值；特征值量化裝置，用于量化由特征值提取裝置提取的特征值；特征值分布計(jì)算裝置，用于基于由特征值量化裝置量化的特征值來(lái)計(jì)算特征值分布，該特征值分布指示特征值在第一平面圖像數(shù)據(jù)的垂直方向上分布的梯度類(lèi)型；以及消失點(diǎn)提取裝置，用于基于由特征值分布計(jì)算裝置計(jì)算的特征值分布，提取第一平面圖像數(shù)據(jù)的消失點(diǎn)。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中視角估計(jì)裝置包括平面圖生成裝置，用于生成通過(guò)假定從上方垂直地觀看由第一平面圖像數(shù)據(jù)所代表的空間而獲得的平面圖；以及視角計(jì)算裝置，用于通過(guò)在由平面圖生成裝置生成的平面圖中檢測(cè)由第一平面圖像數(shù)據(jù)所代表的空間中的視點(diǎn)位置，來(lái)計(jì)算視角。
6.如權(quán)利要求5所述的圖像處理設(shè)備，其中平面圖生成裝置通過(guò)在由第一平面圖像數(shù)據(jù)所代表的空間中計(jì)算視點(diǎn)的仰角，來(lái)生成平面圖。
7.如權(quán)利要求1所述的圖像處理設(shè)備，其中圖像生成裝置基于由視角估計(jì)裝置估計(jì)的視角以及第一平面圖像數(shù)據(jù)的圖像尺寸，來(lái)確定圓柱的半徑。
8.如權(quán)利要求1所述的圖像處理設(shè)備，還包含顯示裝置，用于顯示由圖像生成裝置生成的第二平面圖像數(shù)據(jù)；其中該顯示裝置包括平面顯示器。
9.一種用于圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)，該圖像處理方法包含步驟估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)；估計(jì)第一平面圖像數(shù)據(jù)的視角；以及基于由消失點(diǎn)估計(jì)步驟估計(jì)的消失點(diǎn)和由視角估計(jì)步驟估計(jì)的視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與所估計(jì)的消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與所估計(jì)的視角相對(duì)應(yīng)的部分上。
10.一種用于允許計(jì)算機(jī)執(zhí)行處理的程序，該處理用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)，該程序包含步驟估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)；估計(jì)第一平面圖像數(shù)據(jù)的視角；以及基于由消失點(diǎn)估計(jì)步驟估計(jì)的消失點(diǎn)和由視角估計(jì)步驟估計(jì)的視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與所估計(jì)的消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與所估計(jì)的視角相對(duì)應(yīng)的部分上。
11.一種記錄介質(zhì)，包含如權(quán)利要求10所述的程序。
12.一種圖像處理設(shè)備，用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)，該圖像處理設(shè)備包括輸入裝置，用于輸入第一平面圖像數(shù)據(jù)的消失點(diǎn)和視角；以及圖像生成裝置，用于基于由輸入裝置輸入的消失點(diǎn)和視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與所述消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與所述視角相對(duì)應(yīng)的部分上。
13.如權(quán)利要求12所述的圖像處理設(shè)備，還包含顯示裝置，用于顯示由圖像生成裝置生成的第二平面圖像數(shù)據(jù)，其中該顯示裝置包括平面顯示器。
14.一種用于圖像處理設(shè)備的圖像處理方法，該圖像處理設(shè)備用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)，該圖像處理方法包含步驟控制第一平面圖像數(shù)據(jù)的消失點(diǎn)和視角的輸入；以及基于在輸入控制步驟中控制其輸入的消失點(diǎn)和視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與所述消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與所述視角相對(duì)應(yīng)的部分上。
15.一種圖像處理設(shè)備，用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)，該圖像處理設(shè)備包括消失點(diǎn)估計(jì)部分，估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)；視角估計(jì)部分，估計(jì)第一平面圖像數(shù)據(jù)的視角；以及圖像生成部分，用于基于由消失點(diǎn)估計(jì)部分估計(jì)的消失點(diǎn)和由視角估計(jì)部分估計(jì)的視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有部分半徑的圓柱的中心并且與所估計(jì)的消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與所估計(jì)的視角相對(duì)應(yīng)的部分上。
16.一種圖像處理設(shè)備，用于獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)，該圖像處理設(shè)備包括輸入部分，輸入第一平面圖像數(shù)據(jù)的消失點(diǎn)和視角；以及圖像生成部分，用于基于由輸入部分輸入的消失點(diǎn)和視角，生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與所述消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與所述視角相對(duì)應(yīng)的部分上。
全文摘要
一種圖像處理設(shè)備獲取和變換代表具有景深的空間的第一平面圖像數(shù)據(jù)。該設(shè)備包括消失點(diǎn)估計(jì)單元，用于估計(jì)第一平面圖像數(shù)據(jù)的消失點(diǎn)；視角估計(jì)單元，用于估計(jì)第一平面圖像數(shù)據(jù)的視角；以及圖像生成單元，用于基于由消失點(diǎn)估計(jì)單元估計(jì)的消失點(diǎn)和由視角估計(jì)單元估計(jì)的視角生成第二平面圖像數(shù)據(jù)，該第二平面圖像數(shù)據(jù)對(duì)應(yīng)于這樣的情況，其中通過(guò)使用在具有預(yù)定半徑的圓柱的中心并且與所述消失點(diǎn)等高的位置作為參考點(diǎn)，將第一平面圖像數(shù)據(jù)投影在該圓柱的曲面上與所述視角相對(duì)應(yīng)的部分上。
文檔編號(hào)G06T19/00GK1855150SQ200610082530
公開(kāi)日2006年11月1日 申請(qǐng)日期2006年4月28日 優(yōu)先權(quán)日2005年4月28日
發(fā)明者近藤哲二郎, 小久保哲志, 向井仁志, 日比啟文, 田中和政, 田中健司 申請(qǐng)人:索尼株式會(huì)社