專利名稱：車輛系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及車輛系統(tǒng)，詳細(xì)而言涉及車輛用的圖像處理系統(tǒng)。
背景技術(shù)：
以往，為了在古跡、遺跡、主題樂園等廣闊的用地內(nèi)移動而使用車輛。作為該車輛，例如可例舉能夠一次性運(yùn)載多位乘客的公車、客用汽車、能夠單獨移動的自行車等。乘客在古跡、主題公園等中移動時，能夠一邊環(huán)視周圍的景色一邊移動，感受該地的風(fēng)土、或者景觀，享受與日常的生活環(huán)境不同的情景。但是，例如即使借助車輛在古跡中巡回，也終歸是歷史上的建筑物的遺址，因為還存在只不過僅僅是用地的地方，所以因人而異有感到無聊的情況。另一方面，可以考慮到，如果想借助復(fù)制品對此處進(jìn)行復(fù)元，那么不僅會花費費用還會導(dǎo)致破壞該土地的環(huán)境、古跡的情況，另外在臨時進(jìn)行修建的情況下，不容易變更，并且，還需要反復(fù)修補(bǔ)并進(jìn)行保存。然而，近年來，盛行研究提供實時融合現(xiàn)實空間和虛擬空間的混合現(xiàn)實感(MixedReality ;還包括增強(qiáng)現(xiàn)實感(Augmented Reality)、增強(qiáng)虛境感(Augmented Virtuality))的裝置(例如參照日本特開2008 - 293209號公報(以下稱為專利文獻(xiàn)I )、日本特開2008 —275391號公報(以下稱為專利文獻(xiàn)2))。提供該混合現(xiàn)實感的裝置例如是如下的裝置，即，利用照相機(jī)等拍攝裝置拍攝現(xiàn)實空間，并且在由該拍攝裝置拍攝到的圖像(實際圖像)上重疊虛擬圖像由此生成合成圖像，并輸出該合成圖像，對觀看該合成圖像的使用者能夠給予使實際圖像與虛擬圖像融合而產(chǎn)生的混合現(xiàn)實感。專利文獻(xiàn)I的裝置、專利文獻(xiàn)2的裝置構(gòu)成為，在頭部佩戴顯示器(HMD :head mount display)中安裝有拍攝裝置,在該拍攝裝置所拍攝到的實際圖像上實時地重疊虛擬圖像由此生成合成圖像，從而該頭部佩戴顯示器顯示出該合成圖像。因此，在使用者保持佩戴頭部佩戴顯示器不變地環(huán)視周圍時，在存在于該視線的前方的風(fēng)景的實際圖像上重疊虛擬圖像地進(jìn)行顯示，從而使用者能夠體會到宛如在現(xiàn)實空間中存在該虛擬圖像那樣的感受。然而，以往，即使使用了提供該混合現(xiàn)實感的裝置，使用者也僅能夠在能從當(dāng)前位置環(huán)視周圍的景色的范圍內(nèi)體驗混合現(xiàn)實感。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述情況而產(chǎn)生的，其目的在于提供一種車輛系統(tǒng)，即使實際上不設(shè)置建筑物等，該車輛系統(tǒng)也能夠使乘客觀看到設(shè)置有建筑物等的風(fēng)景作為從車輛環(huán)視的風(fēng)景，而且能夠容易地更換該乘客所能夠看到的風(fēng)景。本發(fā)明的車輛系統(tǒng)的特征在于，具備拍攝裝置，其從車輛拍攝風(fēng)景而由此生成實際圖像；顯示裝置，其配置于車輛內(nèi)；以及控制裝置，其在實際圖像的規(guī)定的位置上重疊與該位置對應(yīng)的虛擬圖像，由此生成合成圖像，并使各顯示裝置顯示該合成圖像。根據(jù)這樣的結(jié)構(gòu)，能夠使乘客觀看到在實際圖像上重疊了虛擬圖像而成的合成圖像，因此即使未在現(xiàn)實的風(fēng)景中設(shè)置建筑物等，也能夠使乘客觀看到設(shè)置了建筑物等的風(fēng)景作為從車輛環(huán)視的風(fēng)景。另外，僅通過變更虛擬圖像的內(nèi)容，就能夠容易變更使乘客能夠觀看到的圖像。另外，本發(fā)明的車輛系統(tǒng)優(yōu)選為，控制裝置是搭載于車輛的裝置。另外，本發(fā)明的車輛系統(tǒng)優(yōu)選為，上述控制裝置具備存儲部，其存儲上述虛擬圖像；圖像合成單元，其在上述實際圖像的規(guī)定的位置上重疊與該位置對應(yīng)的上述虛擬圖像，由此生成合成圖像；以及顯示單元，其使上述顯示裝置顯示上述合成圖像。另外，本發(fā)明的車輛系統(tǒng)優(yōu)選為，還具備GPS接收機(jī)，其用于接收來自GPS衛(wèi)星的GPS信號，并被設(shè)置于上述車輛，上述存儲部存儲有多個與絕對坐標(biāo)系內(nèi)的特定的位置相關(guān)聯(lián)的上述虛擬圖像，上述圖像合成單元具有坐標(biāo)分配單元，其使絕對坐標(biāo)系的位置信息對應(yīng)于上述實際圖像內(nèi)的特定的位置；和對位單元，其以絕對坐標(biāo)系的位置信息為基準(zhǔn)使上述實際圖像與上述虛擬圖像重疊。另外，本發(fā)明的車輛系統(tǒng)優(yōu)選為，還具備方向檢測單元，其檢測乘客所朝向的方向，上述顯示裝置是多個頭部佩戴型顯示裝置，上述拍攝裝置是全方位照相機(jī)，上述顯示單元具有顯示圖像決定單元，其提取上述合成圖像中的由上述方向檢測單元檢測到的與乘客所朝向的方向?qū)?yīng)的區(qū)域，由此決定使各頭部佩戴型顯示裝置顯示的顯示圖像；和圖像顯示單元，其使頭部佩戴型顯示裝置顯示上述顯示圖像。另外，本發(fā)明的車輛系統(tǒng)優(yōu)選為，上述方向檢測單元被設(shè)置于上述頭部佩戴型顯
示裝置。另外，本發(fā)明的車輛系統(tǒng)優(yōu)選為，上述虛擬圖像是模擬了與現(xiàn)在不同的時代的風(fēng)景的計算機(jī)圖形圖像。


圖1是本發(fā)明的實施方式I的車輛系統(tǒng)的立體圖。圖2是說明該實施方式的乘客的視野的圖，圖2 Ca)是表示現(xiàn)實的風(fēng)景的圖，圖2(b)是表示在實際圖像上重疊了虛擬圖像而成的合成圖像的圖。圖3是該實施方式的框圖。圖4是表示該實施方式的動作的流程圖。圖5是實施方式2的框圖。圖6是實施方式3的框圖。
具體實施例方式以下，結(jié)合附圖對本發(fā)明的實施方式進(jìn)行說明。實施方式I的車輛系統(tǒng)是一種使乘客9乘坐巡回于一定的區(qū)域內(nèi)的車輛1，并對該乘客9給予混合現(xiàn)實感(還包括增強(qiáng)現(xiàn)實感、增強(qiáng)虛境感)的車輛用圖像處理系統(tǒng)。尤其是在本實施方式的車輛系統(tǒng)中，使車輛I巡回于有古跡、遺跡的區(qū)域內(nèi)，并在拍攝現(xiàn)實的風(fēng)景而成的實際圖像20上重疊由模擬歷史上的建筑物、風(fēng)景的CG圖像構(gòu)成的虛擬圖像21，并使車輛I的乘客9看到該合成圖像。本實施方式的車輛系統(tǒng)連續(xù)進(jìn)行上述處理，由此能夠?qū)Τ丝?給予宛如身臨那個時代那樣的感覺。本實施方式的車輛I是在路上以低速(約l(T20km/h)自動行駛的汽車(公車)，并以發(fā)動機(jī)、馬達(dá)等為驅(qū)動源。如圖1所示，在車輛I的內(nèi)部的前部設(shè)有駕駛席，在駕駛席的后方設(shè)有能夠供多位乘客9乘車的多個座位12。車輛I構(gòu)成為，側(cè)面以及后面的上半部敞開且前面的上半部由透明的玻璃16構(gòu)成，乘客9在就坐于座位12的狀態(tài)下，能夠環(huán)視水平方向的大致整周。車輛I具備拍攝裝置13，其設(shè)置于頂棚的上表面并且拍攝周圍的風(fēng)景；顯示裝置3，其配置于車輛I內(nèi)部；控制裝置5，其搭載于車輛I并且控制顯示裝置3的顯示；以及GPS接收機(jī)4,其用于接收來自GPS (全球定位系統(tǒng)Global Positioning System)衛(wèi)星的GPS信號由此測定車輛I的位置。本實施方式的顯示裝置3由配置于車輛I內(nèi)的多個頭部佩戴型顯示裝置31構(gòu)成。該頭部佩戴型顯示裝置31是所謂頭部佩戴顯示器(HMD :Head Mounted Display),構(gòu)成為在乘客9佩戴顯示器時，顯示器遮擋乘客9的視線方向。該頭部佩戴型顯示裝置31具備檢測乘客9所朝向的方向的方向檢測單元32。該方向檢測單元32例如優(yōu)選使用3軸的地磁傳感器、陀螺儀傳感器等傳感器。由該方向檢測單元32檢測到的檢測信號(附帶了乘客9所朝向的方向的信息的檢測信號)被發(fā)送至后述的控制裝置5的顯示單元54。拍攝裝置13由全方位照相機(jī)14構(gòu)成，例如在鉛垂方向120° (相對于水平方向從一 60°到+60°的范圍)的范圍以環(huán)繞水平方向整周的方式拍攝風(fēng)景。該拍攝裝置13載置并固定于基臺15，該基臺15磁性附著于車輛I頂棚的上表面。該拍攝裝置13拍攝以該拍攝裝置13為中心的一定范圍的區(qū)域內(nèi)的風(fēng)景，由此生成實際圖像20。根據(jù)GPS接收機(jī)4的定位信息，對由該拍攝裝置13拍攝到的實際圖像20賦予區(qū)域內(nèi)的位置坐標(biāo)(絕對坐標(biāo)，所謂世界坐標(biāo))信息。由該拍攝裝置13拍攝到的車輛I周圍的風(fēng)景的信息被發(fā)送至控制裝置5。控制裝置5是應(yīng)用了在由拍攝裝置13所拍攝到的實際圖像20內(nèi)的規(guī)定的位置上重疊與該位置對應(yīng)的特定的虛擬圖像21，由此生成合成圖像，并使顯示裝置3顯示所生成的合成圖像的所謂混合現(xiàn)實感(還包括增強(qiáng)現(xiàn)實感、增強(qiáng)虛境感)技術(shù)的裝置。如圖3所示，本實施方式的控制裝置5具備存儲部51，其存儲虛擬圖像21 ；圖像變形單元52，其根據(jù)車輛I與虛擬圖像21的相對位置使該虛擬圖像21變形以使虛擬圖像21與實際圖像20相適合；圖像合成單元53，其使通過圖像變形單元52而變形了的虛擬圖像21重疊于實際圖像20上；以及顯示單元54，其使顯示裝置3顯示由該圖像合成單元53生成的合成圖像。控制裝置5由以微處理器為主要構(gòu)成元件的計算機(jī)構(gòu)成。本實施方式的控制裝置5被收納于車輛I內(nèi)。換言之，控制裝置5搭載于車輛I。由此，控制裝置5構(gòu)成為能夠與車輛I 一起移動。存儲部51由虛擬圖像存儲器構(gòu)成，并使虛擬圖像21和應(yīng)與該虛擬圖像21重疊的位置的位置坐標(biāo)(絕對坐標(biāo))信息建立關(guān)聯(lián)地進(jìn)行預(yù)先存儲。對位單元以儲存于該虛擬圖像存儲器的位置坐標(biāo)(絕對坐標(biāo))信息、和對實際圖像20賦予了的位置坐標(biāo)(絕對坐標(biāo))信息為基準(zhǔn)重疊虛擬圖像21和實際圖像20。如圖2所示，本實施方式的虛擬圖像21是模擬歷史上的風(fēng)景(例如都市、城堡)而形成的計算機(jī)圖形圖像(以下稱為CG圖像)。此外，對虛擬圖像21賦予的位置坐標(biāo)信息優(yōu)選為多個位置的坐標(biāo)。圖像變形單元52根據(jù)車輛I的位置使存儲于存儲部51的虛擬圖像21的大小、姿態(tài)變化。圖像變形單元52具備虛擬圖像變形單元55，該虛擬圖像變形單元55計算虛擬圖像21相對于車輛I的相對位置以及相對角度，并根據(jù)該計算出的值使虛擬圖像21變形。虛擬圖像變形單元55根據(jù)設(shè)置在車輛I上的GPS接收機(jī)4所獲得的車輛I的位置坐標(biāo)(絕對坐標(biāo))、對虛擬圖像21賦予的位置坐標(biāo)(絕對坐標(biāo))，計算虛擬圖像21相對于車輛I的相對距離和相對角度。而且，虛擬圖像變形單元55在計算出上述距離以及相對角度的值后，根據(jù)計算出的距離決定虛擬圖像21的大小，并且根據(jù)計算出的相對角度決定虛擬圖像21的姿態(tài)，從而使虛擬圖像變形。換言之，本實施方式的虛擬圖像變形單元55根據(jù)計算出的距離以及相對角度的值，仿射變換二維的虛擬圖像21以便與實際圖像20相適合。此外，基于使存儲于存儲部51的二維圖像變形而生成作為目標(biāo)的圖像的圖像基礎(chǔ)法對本實施方式的圖像變形單元52進(jìn)行了說明，但作為圖像變形單元52，還可以使用模型基礎(chǔ)法，即根據(jù)保持于存儲部51的三維虛擬物體來取得任意視點的虛擬圖像由此生成作為目標(biāo)的圖像。另外，圖像變形單元52還具有修正單元56，在使虛擬圖像21的大小、姿態(tài)變形的基礎(chǔ)上，該修正單元56根據(jù)當(dāng)前的時刻、風(fēng)景的亮度對該虛擬圖像21添加陰影并修正亮度。換句話說，通過該修正單元56，能夠更協(xié)調(diào)地進(jìn)行在實際圖像20上的虛擬圖像21的重疊。此外，涉及該陰影、亮度的修正單元56使用“角田哲也、大石岳史、池內(nèi)克史，“使用了描影平面的混合現(xiàn)實感的高速陰影表現(xiàn)手法”，映像信息媒體學(xué)會雜志62 (5)，2008年5月I日，p. 788 - 795”中記載的方法。這樣，通過虛擬圖像變形單元55而變形了的虛擬圖像21被發(fā)送至圖像合成單元53。圖像合成單元53使由通過圖像變形單元52而變形了的虛擬圖像21重疊在實際圖像20上。圖像合成單元53在取得由拍攝裝置13拍攝到的實際圖像20后，使用該實際圖像20來在主存儲器內(nèi)描繪現(xiàn)實空間圖像。然后，在從圖像變形單元52取得虛擬圖像21的信息后，根據(jù)實際圖像20的絕對坐標(biāo)和對虛擬圖像21賦予的位置坐標(biāo)，將虛擬圖像21重疊描繪在先前描繪出的現(xiàn)實空間圖像上，從而生成新的圖像(合成圖像)。這里生成的合成圖像的信息被發(fā)送至顯示單元54。顯示單元54使顯示裝置3顯示由圖像合成單元53生成的圖像。顯示單元54具備顯示圖像決定單元57，其根據(jù)方向檢測單元32的信息，根據(jù)在主存儲器內(nèi)描繪出的合成圖像決定顯示區(qū)域；以及圖像顯示單元58，其使各頭部佩戴型顯示裝置31顯示由該顯示圖像決定單元57決定的顯示區(qū)域的圖像。顯示圖像決定單元57根據(jù)設(shè)置于頭部佩戴型顯示裝置31的方向檢測單元32檢測到的乘客9所朝向的方向計算乘客9的視野區(qū)域，并將該計算出的視野區(qū)域作為顯示區(qū)域從合成圖像中剪下并提取出來，從而決定對頭部佩戴型顯示裝置31輸出的圖像。顯示圖像決定單元57按頭部佩戴型顯示裝置31進(jìn)行處理，并計算分別不同的視野區(qū)域，并且決定與該視野區(qū)域?qū)?yīng)的圖像。由該顯示圖像決定單元57決定的信息被發(fā)送至圖像顯示單元58。圖像顯示單元58使各頭部佩戴型顯示裝置31顯示由顯示圖像決定單元57決定的合成圖像。圖像顯示單元58在接收到來自顯示圖像決定單元57的圖像信息后，使配置于車輛I內(nèi)的各頭部佩戴型顯示裝置31顯示該合成圖像。對這樣構(gòu)成的車輛系統(tǒng)的動作進(jìn)行說明。圖4中示出了表示該車輛系統(tǒng)的動作的一個例子的流程圖。
若使車輛I行駛、并使控制裝置5的處理開始(SI)，則控制裝置5使拍攝裝置13動作以便拍攝車輛I周圍的圖像(S2)。拍攝裝置13拍攝車輛I周圍的風(fēng)景的圖像，幾乎與此同時，利用GPS接收機(jī)4測定車輛I的位置，由此控制裝置5取得車輛I的位置信息
(S3)。接下來，控制裝置5根據(jù)車輛I的位置信息，利用圖像變形單元52使虛擬圖像21的大小、姿態(tài)變形(S4)。圖像合成單元53在主存儲器內(nèi)根據(jù)實際圖像20描繪現(xiàn)實空間圖像
(S5)，并在此基礎(chǔ)上，根據(jù)對虛擬圖像21賦予的位置坐標(biāo)信息在現(xiàn)實空間圖像上重疊描繪虛擬圖像21 (S6)。接下來，控制裝置5利用方向檢測單元32取得各顯示裝置3的姿態(tài)信息(S7)，并根據(jù)該方向檢測單元32計算乘客9的視野區(qū)域，從而決定與該視野區(qū)域?qū)?yīng)的顯示區(qū)域(S8)。然后，控制裝置5使各頭部佩戴型顯示裝置31顯示由顯示圖像決定單元57決定的圖像(S9)。接下來，控制裝置5判斷有無處理結(jié)束的信號(S10)，在未接收到處理結(jié)束的信號的情況下，返回步驟SI的處理，并反復(fù)步驟SfSlO的處理。在接收到處理結(jié)束的信號的情況下，使拍攝裝置13結(jié)束圖像的拍攝，從而控制裝置5的處理也結(jié)束(S11)。這樣的結(jié)構(gòu)的車輛系統(tǒng)中，根據(jù)行駛的車輛I的移動和乘客9的視野的移動使顯示裝置3顯示的圖像連續(xù)變化，并能夠宛如存在于現(xiàn)實的風(fēng)景內(nèi)那樣地表現(xiàn)虛擬圖像21，因此與以往那樣從所處位置僅移動視野而無法獲得混合現(xiàn)實感的情況相比，能夠進(jìn)一步對乘客9給予現(xiàn)實的感覺。并且，相對于混合了車輛I的移動和乘客9的自由的視野的變化的視點的移動而使虛擬圖像21變化，因此能夠進(jìn)一步給予身臨其境的感覺。而且，本實施方式的車輛系統(tǒng)構(gòu)成為，拍攝裝置13由全方位照相機(jī)14構(gòu)成，在生成車輛I周圍的合成圖像的基礎(chǔ)上決定顯示區(qū)域，因此即使在使用了多個頭部佩戴型顯示裝置31的情況下，也不必按頭部佩戴型顯示裝置31配備CCD照相機(jī)，能夠?qū)崿F(xiàn)大幅度地降低成本。車輛I的行駛速度是緩慢的速度且?guī)缀鹾愣?，與此相對，乘客9的視野的移動速度不恒定，但在進(jìn)行了對處理帶來負(fù)擔(dān)的重疊處理的基礎(chǔ)上，根據(jù)該合成圖像決定使各頭部佩戴型顯示裝置31顯示的顯示區(qū)域，因此能夠盡量減少帶來負(fù)擔(dān)的處理。換句話說，對于按頭部佩戴型顯示裝置31安裝CCD照相機(jī)的情況而言，需要按該顯示裝置3高速地進(jìn)行重疊處理，因此負(fù)擔(dān)較重，但在本實施方式的車輛系統(tǒng)中，能夠避免該重負(fù)擔(dān)。另外，由顯示裝置3所顯示的圖像是虛擬圖像21與拍攝現(xiàn)實的風(fēng)景所得的實際圖像20重疊而形成的圖像，因此保持原樣不變地反映天氣、亮度等周圍的環(huán)境。由此，例如，與配合車輛I的運(yùn)動而簡單地放映預(yù)先收錄的錄像圖像的情況相比，能夠進(jìn)一步增強(qiáng)身臨其境的感覺。另外，本實施方式的車輛系統(tǒng)中，高速進(jìn)行上述那樣的處理的控制裝置5相當(dāng)大，但因為該控制裝置5搭載于車輛1，所以能夠使控制裝置5與車輛I 一起移動，并能夠一邊移動一邊進(jìn)行更高速的處理。另外，本實施方式的車輛系統(tǒng)中，在內(nèi)容的變更時，僅修正、變更存儲于存儲部51的虛擬圖像21即可，因此通過定期進(jìn)行內(nèi)容的變更，也能夠期待獲得循環(huán)(repeater)。作為該虛擬圖像21的內(nèi)容，例如可舉有以下例子。不限定于本實施方式的虛擬圖像21這樣的歷史上的風(fēng)景，可例舉模擬預(yù)想未來的風(fēng)景的CG圖像、模擬戰(zhàn)國時代的戰(zhàn)斗的場面的CG圖像。在該情況下，還能夠?qū)?zhàn)斗的場面表現(xiàn)為動畫，由此能夠進(jìn)一步賦予身臨其境的感覺和樂趣。另外，還可以將石器時代的住所等表現(xiàn)為CG圖像。
另外，相對于古墓、塔等，可例舉記載著名稱、觀光信息、說明文字的虛擬圖像21。由此，能夠?qū)@示裝置3的顯示用作為視頻指南。另外，作為虛擬圖像21還能夠利用在建筑物前顯示企業(yè)名、或在浮向空中的廣告氣球上記載特定的企業(yè)名、商品名、品牌名的所謂數(shù)字標(biāo)牌(電子廣告)。此外，對于虛擬圖像21而言，可以利用CG圖像制作以透過的方式表現(xiàn)地下或建筑物的內(nèi)部的圖像，也可以利用CG圖像制作極光、閃電、宇宙、星座之類的圖像作為在夜間使用的圖像。另外，控制裝置5也可以應(yīng)用3D方式用以使乘客9對于顯示裝置3所顯示的內(nèi)容能夠感受到深入、立體感。即，也可以在控制裝置5中設(shè)置3D圖像形成單元，該3D圖像形成單元中，利用由右眼能夠觀察到的內(nèi)容和由左眼能夠觀察到的內(nèi)容生成不同的圖像，并生成用于使乘客9感受到顯示裝置3的顯示內(nèi)容為立體的內(nèi)容的圖像。由此能夠進(jìn)一步提供富含身臨其境的感覺的內(nèi)容。接下來，基于圖5對實施方式2進(jìn)行說明。此外，本實施方式的大部分與實施方式I相同，因此對相同的部分標(biāo)注相同的符號并省略說明，主要對不同的部分進(jìn)行說明。本實施方式的車輛I系統(tǒng)與實施方式I相同，是搭載于車輛I進(jìn)行使用的車輛用圖像處理系統(tǒng)。本實施方式的車輛系統(tǒng)具備拍攝裝置13、顯示裝置3以及控制裝置5。拍攝裝置13從車輛I拍攝該車輛I外的風(fēng)景，由此生成實際圖像20。拍攝裝置13安裝于車輛I。詳細(xì)而言，拍攝裝置13設(shè)置于車輛I的頂棚上。拍攝裝置13由全方位照相機(jī)14構(gòu)成。在拍攝裝置13與車輛I外的風(fēng)景之間設(shè)定有投影面，對該投影面投影車輛I外的風(fēng)景。投影面設(shè)定于從拍攝裝置13離開了一定距離的位置。對于拍攝裝置13而言，可以遍及全方位形成投影面，也可以僅在規(guī)定的區(qū)域形成投影面。實際圖像20是在投影面上投影車輛I外的風(fēng)景的圖像。換言之，實際圖像20由二維平面構(gòu)成，該二維平面上投影有由車輛I外的風(fēng)景構(gòu)成的三維物體。從GPS接收機(jī)4對拍攝裝置13輸入GPS信號。拍攝裝置13將實際圖像20的圖像數(shù)據(jù)以及GPS信號輸出至控制裝置5的圖像合成單元53?？刂蒲b置5具備車輛位置識別單元61、圖像變形單元52、存儲部51、圖像合成單元53、以及顯示單元54。控制裝置5搭載于車輛I。對車輛位置識別單元61輸入從GPS接收機(jī)4輸出的GPS信號。車輛位置識別單元61根據(jù)GPS信號識別絕對坐標(biāo)系(所謂世界坐標(biāo)系)內(nèi)的當(dāng)前的車輛I的位置。車輛位置識別單元61將車輛I位置的識別信息輸出至圖像變形單元52。存儲部51由虛擬圖像存儲器510構(gòu)成。存儲部51存儲有多個與世界坐標(biāo)系內(nèi)的規(guī)定的位置相關(guān)聯(lián)的虛擬圖像21的數(shù)據(jù)。換言之，存儲部51存儲有多個與絕對坐標(biāo)系內(nèi)的特定的位置相關(guān)聯(lián)的虛擬圖像21。存儲部51接收來自虛擬圖像取得單元63的信號，并將一組虛擬圖像21的各數(shù)據(jù)輸出至虛擬圖像取得單元63。這里，一組虛擬圖像21由多個虛擬圖像21構(gòu)成。該一組虛擬圖像21是由車輛I的位置決定的多個虛擬圖像21。圖像變形單元52具備虛擬圖像取得單元63、修正單元56、以及虛擬圖像變形單元55。修正單元56與實施方式I中的修正單元56相同，因此省略說明。
虛擬圖像取得單元63在被輸入來自車輛位置識別單元61的信號后，將輸出與世界坐標(biāo)系內(nèi)的車輛I的位置對應(yīng)的多個虛擬圖像21的組的主旨的信號輸出至存儲部51。存儲部51接收該信號并對虛擬圖像取得單元63輸出一組虛擬圖像21的組。虛擬圖像取得單元63在被輸入多個虛擬圖像21的圖像數(shù)據(jù)時，將該數(shù)據(jù)輸出至修正單元56。修正單元56在接收到來自虛擬圖像取得單元63的數(shù)據(jù)時，與實施方式I相同地進(jìn)行修正。修正單元56將修正后的數(shù)據(jù)輸出至虛擬圖像變形單元55。虛擬圖像變形單元55根據(jù)分別與各虛擬圖像21相關(guān)聯(lián)的特定的位置和車輛I的位置，計算上述虛擬圖像21相對于車輛I的距離以及相對角度。虛擬圖像變形單元55根據(jù)該計算出的信息變換虛擬圖像21。換言之，虛擬圖像變形單元55根據(jù)車輛I在世界坐標(biāo)系內(nèi)的位置信息、與各虛擬圖像21相關(guān)聯(lián)的世界坐標(biāo)系內(nèi)的位置信息，計算車輛I與虛擬圖像21在世界坐標(biāo)系內(nèi)的距離和相對角度。虛擬圖像變形單元55在計算出車輛I與虛擬圖像21在世界坐標(biāo)系內(nèi)的距離和相對角度后，根據(jù)該值使虛擬圖像21變形。虛擬圖像變形單元55根據(jù)計算車輛I與虛擬圖像21之間的距離和相對角度而得的值，對本地坐標(biāo)系內(nèi)的虛擬圖像21進(jìn)行仿射變換、射影變換等，由此變換虛擬圖像21。此外，相對角度是相對于基準(zhǔn)的角度。換言之，相對角度是相對于在世界坐標(biāo)系中以車輛I為原點的情況下的軸的角度。存儲部51以及虛擬圖像變形單元55可以如下地構(gòu)成。存儲部51存儲多個三維虛擬物體。虛擬圖像變形單元55根據(jù)車輛I與虛擬圖像21之間的距離和相對角度，使本地坐標(biāo)系內(nèi)的三維虛擬物體旋轉(zhuǎn)，由此生成虛擬圖像21。換言之，虛擬圖像變形單元55根據(jù)車輛I與虛擬圖像21之間的距離和相對角度，將被存儲于存儲部51的虛擬圖像21變換為用于重疊在實際圖像20上的圖像。虛擬圖像變形單元55在使虛擬圖像21變形后，將該圖像數(shù)據(jù)輸出至圖像合成單元53。圖像合成單元53具備坐標(biāo)分配單元59和對位單元60。坐標(biāo)分配單元59根據(jù)從拍攝裝置13輸入的實際圖像20的圖像數(shù)據(jù)和GPS信號，使實際圖像20內(nèi)的坐標(biāo)系(所謂屏幕坐標(biāo)系)與世界坐標(biāo)系相關(guān)聯(lián)。坐標(biāo)分配單元59將屏幕坐標(biāo)系坐標(biāo)變換為世界坐標(biāo)系。換言之，坐標(biāo)分配單元59使世界坐標(biāo)系的位置信息與實際圖像20內(nèi)的特定的位置建立關(guān)聯(lián)。坐標(biāo)分配單元59將使世界坐標(biāo)系的位置信息與實際圖像20內(nèi)的特定的位置建立關(guān)聯(lián)的信號輸出至對位單元60。對位單元60以世界坐標(biāo)系的位置信息為基準(zhǔn)，使實際圖像20與虛擬圖像21 (包括通過虛擬圖像變形單元55變換后的圖像)重疊。換言之,對位單元60以絕對坐標(biāo)系的位置信息為基準(zhǔn)使實際圖像20與虛擬圖像21重疊。由此，對位單元60生成合成圖像。對位單元60將合成圖像的圖像數(shù)據(jù)輸出至顯示單元54。顯示單元54具備顯示圖像決定單元57和圖像顯示單元58。顯示圖像決定單元57接收從頭部佩戴型顯示裝置31的方向檢測單元32輸出的信號。另外，顯示圖像決定單元57接收從對位單元60輸出的信號。顯示圖像決定單元57根據(jù)來自方向檢測單元32的信號計算乘客的視野區(qū)域。顯示圖像決定單元57提取相當(dāng)于該視野區(qū)域的合成圖像的位置，由此決定對頭部佩戴型顯示裝置31輸出的圖像(顯示圖像)。顯示圖像決定單元57按頭部佩戴型顯示裝置31進(jìn)行處理，分別計算不同的視野區(qū)域，并提取與該視野區(qū)域?qū)?yīng)的圖像，由此決定顯示圖像。該顯示圖像決定單元57將顯示圖像的數(shù)據(jù)輸出至圖像顯示單元58。圖像顯示單元58根據(jù)由顯示圖像決定單元57輸出的合成圖像的數(shù)據(jù)，使各頭部佩戴型顯示裝置31進(jìn)行顯示。圖像顯示單元58在從顯示圖像決定單元57被輸入數(shù)據(jù)時，輸出用于使顯示裝置3顯示合成圖像的數(shù)據(jù)。接下來，對實施方式3進(jìn)行說明。此外，本實施方式的大部分與實施方式I相同，因此對相同的部分省略說明，主要對不同的部分進(jìn)行說明。本實施方式的車輛I系統(tǒng)與實施方式I相同，是搭載于車輛I進(jìn)行使用的車輛用圖像處理系統(tǒng)。本實施方式的車輛系統(tǒng)具備拍攝裝置13、顯示裝置3以及控制裝置5。本實施方式的車輛系統(tǒng)中，拍攝裝置13和顯示裝置3的結(jié)構(gòu)與實施方式I相同?？刂蒲b置5是應(yīng)用了標(biāo)記識別型的混合現(xiàn)實感(還包括增強(qiáng)現(xiàn)實感、增強(qiáng)虛境感)技術(shù)的裝置?？刂蒲b置5具備標(biāo)記識別單元62、圖像變形單元52、存儲部51、圖像合成單元53以及顯示單元54?？刂蒲b置5通過在實際圖像20的規(guī)定的位置上重疊與該位置對應(yīng)的虛擬圖像21來生成合成圖像，并使顯示裝置3顯示該合成圖像?？刂蒲b置5搭載于車輛I。標(biāo)記具備形成為俯視時為正方形的框形的第一識別部、和形成于第一識別部的內(nèi)部的第二識別部。第一識別部在整周上以一定寬度形成，并由黑框形成。第二識別部按虛擬圖像21由不同的標(biāo)記構(gòu)成。第二識別部形成于作為第一識別部的黑框內(nèi)。標(biāo)記識別單元62識別由拍攝裝置13生成的實際圖像20內(nèi)的標(biāo)記的存在。標(biāo)記識別單元62檢測標(biāo)記的第一識別部，由此識別標(biāo)記的存在。標(biāo)記識別單元62檢測第二識別部，并使其與存儲于存儲部51的標(biāo)記存儲器511的標(biāo)記進(jìn)行比較，從而識別第二識別部。標(biāo)記識別單元62根據(jù)第一識別部和第二識別部的投影于投影面的形狀，識別標(biāo)記的大小和角度。標(biāo)記識別單元62將實際圖像20的屏幕坐標(biāo)系內(nèi)的標(biāo)記的位置信息輸出至圖像合成單元53。另外，標(biāo)記識別單元62將與存儲部51進(jìn)行了比較的第二識別部的信息、以及標(biāo)記的大小和角度輸出至圖像變形單元52。圖像變形單元52具備虛擬圖像取得單元63、修正單元56以及虛擬圖像變形單元55。虛擬圖像取得單元63根據(jù)由標(biāo)記識別單元62輸入的信息，從虛擬圖像存儲器510取得虛擬圖像21。存儲部51具備虛擬圖像存儲器510和標(biāo)記存儲器511。虛擬圖像存儲器510存儲多個與第二識別部的標(biāo)記相關(guān)聯(lián)的虛擬圖像21的數(shù)據(jù)。虛擬圖像存儲器510接收來自虛擬圖像取得單元63的信號，并將虛擬圖像21的各數(shù)據(jù)輸出至虛擬圖像取得單元63。標(biāo)記存儲器511存儲有多個與配置于世界坐標(biāo)系內(nèi)的第二識別部的標(biāo)記對應(yīng)的標(biāo)記。虛擬圖像變形單元55接收由標(biāo)記識別單元62輸入的標(biāo)記的大小和角度，并根據(jù)該標(biāo)記的大小和角度，將虛擬圖像21變換為應(yīng)重疊在實際圖像20上的形狀。虛擬圖像變形單元55將該變換后的圖像數(shù)據(jù)輸出至圖像合成單元53。圖像合成單元53在由標(biāo)記識別單元62識別到的標(biāo)記的位置上重疊變換后的虛擬圖像21，由此生成合成圖像。換言之，在實際圖像20的規(guī)定的位置上重疊與該位置對應(yīng)的虛擬圖像21，由此生成合成圖像。圖像合成單元53向顯示單元54輸出合成圖像的數(shù)據(jù)。顯示單元54使顯示裝置3顯示合成圖像。顯示單元54與實施方式2相同地具備顯示圖像決定單元57和圖像顯示單元58。顯示單元54與實施方式2的結(jié)構(gòu)相同，因此省略說明。此外，標(biāo)記也可以是存在于車輛I的外側(cè)的特定的三維物體。對于三維物體，可例舉呈特定的形狀的石頭、石碑、植物、建造物等。在該情況下，標(biāo)記識別單元62識別標(biāo)記上的多個特征點，由此識別特定的標(biāo)記。對于標(biāo)記上的特征點可例舉標(biāo)記的角部、直線部等。此外，實施方式f 3的車輛I由能夠搭乘多位乘客的汽車構(gòu)成,但本發(fā)明的車輛例如可以是將多臺車輛連結(jié)而成的列車、供單獨的乘客騎乘的自行車那樣的輕型車輛，而不是僅限定于汽車。另外，本實施方式的車輛系統(tǒng)利用有線進(jìn)行控制裝置5、顯示裝置3以及拍攝裝置13之間的信息的輸出和輸入，但本發(fā)明的顯示裝置也可以利用無線通信。換句話說，控制裝置5也可以設(shè)于車輛I之外。在該情況下，在控制裝置5、拍攝裝置13以及顯示裝置3中設(shè)置無線通信用的信號收發(fā)部。附圖標(biāo)記說明

I…車輛；11…駕駛席；12...座位；13…拍攝裝置；14…全方位照相機(jī)；15...基臺；16…玻璃；20…實際圖像；21…虛擬圖像；3…顯不裝置；31…頭部佩戴型顯不裝置；32...方向檢測單元；4…GPS裝置；5…控制裝置；51...存儲部；52...圖像變形單元；53…圖像合成單元；54…顯示單元；55…位置、姿態(tài)計算單元；56…修正單元；57…顯示圖像決定單元；58…圖像顯示單元；9…乘客。
權(quán)利要求
1.一種車輛系統(tǒng)，其是在車輛中使用的車輛系統(tǒng)，該車輛系統(tǒng)的特征在于，具備: 拍攝裝置，其從所述車輛拍攝風(fēng)景而由此生成實際圖像； 顯示裝置，其配置于所述車輛內(nèi)；以及 控制裝置，其在所述實際圖像的規(guī)定的位置上重疊與該位置對應(yīng)的虛擬圖像，由此生成合成圖像，并使顯示裝置顯示該合成圖像。
2.根據(jù)權(quán)利要求1所述的車輛系統(tǒng)，其特征在于， 所述控制裝置是搭載于所述車輛的裝置。
3.根據(jù)權(quán)利要求1或2所述的車輛系統(tǒng)，其特征在于， 所述控制裝置具備: 存儲部，其存儲所述虛擬圖像； 圖像合成單元，其在所述實際圖像的規(guī)定的位置上重疊與該位置對應(yīng)的所述虛擬圖像，由此生成合成圖像；以及 顯示單元，其使所述顯示裝置顯示所述合成圖像。
4.根據(jù)權(quán)利要求3所述的車輛系統(tǒng)，其特征在于， 還具備GPS接收機(jī)，其用于接收來自GPS衛(wèi)星的GPS信號，并被設(shè)置于所述車輛， 所述存儲部存儲有多個與絕對坐標(biāo)系內(nèi)的特定的位置相關(guān)聯(lián)的所述虛擬圖像， 所述圖像合成單元具有: 坐標(biāo)分配單元，其使絕對坐標(biāo)系的位置信息對應(yīng)于所述實際圖像內(nèi)的特定的位置；以及 對位單元，其以絕對坐標(biāo)系的位置信息為基準(zhǔn)使所述實際圖像與所述虛擬圖像重疊。
5.根據(jù)權(quán)利要求4所述的車輛系統(tǒng)，其特征在于， 所述控制裝置具備: 車輛位置識別單元，其根據(jù)所述GPS接收機(jī)識別所述車輛當(dāng)前在絕對坐標(biāo)系內(nèi)的位置；以及 虛擬圖像變形單元，其根據(jù)分別與所述各虛擬圖像相關(guān)聯(lián)的特定的位置和所述車輛的位置，計算所述虛擬圖像相對于所述車輛的距離以及相對角度，并根據(jù)該距離以及相對角度變換所述虛擬圖像， 通過所述對位單元而與所述實際圖像重疊的所述虛擬圖像，是由所述虛擬圖像變形單元生成的圖像。
6.根據(jù)權(quán)利要求5所述的車輛系統(tǒng)，其特征在于， 還具備方向檢測單元，其檢測乘客所朝向的方向， 所述顯示裝置是多個頭部佩戴型顯示裝置， 所述拍攝裝置是全方位照相機(jī)， 所述顯示單元具有:顯示圖像決定單元，其提取所述合成圖像中的由所述方向檢測單元檢測到的與乘客所朝向的方向?qū)?yīng)的區(qū)域，由此決定使各頭部佩戴型顯示裝置顯示的顯示圖像；以及圖像顯示單元，其使頭部佩戴型顯示裝置顯示所述顯示圖像。
7.根據(jù)權(quán)利要求6所述的車輛系統(tǒng)，其特征在于， 所述方向檢測單元被設(shè)置于 所述頭部佩戴型顯示裝置。
8.根據(jù)權(quán)利要求廣7中任一項所述的車輛系統(tǒng)，其特征在于，所述虛擬圖像是模擬了與 現(xiàn)在不同的時代的風(fēng)景的計算機(jī)圖形圖像。
全文摘要
本發(fā)明提供一種車輛系統(tǒng)，其中，即使實際上未設(shè)置建筑物等，也能夠使乘客觀看到設(shè)置了建筑物等的風(fēng)景作為從車輛環(huán)視的風(fēng)景，而且能夠容易地更換該乘客所能夠看到的風(fēng)景。本發(fā)明的車輛系統(tǒng)具備拍攝裝置，其從車輛拍攝風(fēng)景由此生成實際圖像；顯示裝置，其配置于車輛內(nèi)；以及控制裝置，其在上述實際圖像的規(guī)定的位置上重疊與該位置對應(yīng)的虛擬圖像，由此生成合成圖像，并使各顯示裝置顯示該合成圖像。
文檔編號G06T3/00GK103080983SQ20118004235
公開日2013年5月1日 申請日期2011年9月6日 優(yōu)先權(quán)日2010年9月6日
發(fā)明者池內(nèi)克史, 牧野浩志, 大石岳史, 角田哲也, 山田三郎, 片岡輝義, 加藤昌哉, 西井信裕 申請人:國立大學(xué)法人東京大學(xué), 泉陽興業(yè)株式會社, 株式會社飛鳥研究所