專利名稱：圖像顯示裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將虛擬空間的影像信息重疊到任意視點的現(xiàn)實空間的影像信息上，并提示給觀察者的復(fù)合現(xiàn)實感系統(tǒng)中的圖像顯示裝置和方法。
背景技術(shù)：
所謂復(fù)合現(xiàn)實感系統(tǒng)，是指向用戶提供通過合成現(xiàn)實空間影像，和根據(jù)用戶的視點位置、視線方向等生成的虛擬空間影像，而獲得的合成影像。在復(fù)合現(xiàn)實感系統(tǒng)中，能夠向觀察者提示虛擬物體真實地存在于現(xiàn)實空間中那樣的感覺，同以往的虛擬現(xiàn)實感系統(tǒng)(VR系統(tǒng))相比，可以更加真實地進行符合實際尺寸感覺的觀察(參照日本特開平11-136706號公報)。
另一方面，以往，在設(shè)計·制造領(lǐng)域中使用了3維CAD的設(shè)計(形狀、外觀)正成為主流。作為評價用3維CAD設(shè)計出的物體的方法，將用3維CAD生成的數(shù)據(jù)(solid type立體形式)作為3維計算機圖形(以下稱作3D-CG)顯示在計算機的畫面上來進行視覺的評價的方法、通過快速成型(Rapid Prototyping)裝置等做出簡易試制品(簡易模型)，在視覺的基礎(chǔ)上再加上觸覺地進行評價的方法等是主流。
但是，在將3維CAD數(shù)據(jù)作為3D-CG顯示到計算機的畫面上的方法中，是在虛擬空間內(nèi)的評價，無法以現(xiàn)實空間內(nèi)的實際尺寸感覺來評價物體。另外，通過快速成型裝置等做出簡易試制品(簡易模型)的方法，由于受到加工精度、原材料等的制約，對于把握大致的形狀是有效的，但無法再現(xiàn)圖案(design)及形狀的詳細情況、色彩等在3D-CAD上設(shè)計出的詳細信息。因此，需要一種以更接近完成品的狀態(tài)來評價設(shè)計數(shù)據(jù)的方法。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述課題而完成的，目的在于雖然使用簡單地試制出的模型，仍能夠以接近于完成品的狀態(tài)來進行設(shè)計評價。
用于實現(xiàn)上述目的的本發(fā)明的圖像顯示方法，是一種圖像顯示方法，將虛擬空間的影像信息重疊到任意視點的現(xiàn)實空間的影像信息上，并提示給觀察者，其特征在于，包括攝像步驟，由攝像裝置取入包括基于3維CAD數(shù)據(jù)做成的模型的現(xiàn)實空間的影像信息；測量步驟，測量上述攝像裝置和上述模型的位置與姿勢，并取得表示由上述攝像步驟得到的影像中的該模型的位置和姿勢的位置/姿勢信息；合成步驟，根據(jù)上述位置/姿勢信息和上述3維CAD數(shù)據(jù)，描繪3維計算機圖形圖像并使其與由上述攝像步驟得到的影像中的上述模型重疊，合成該影像和該3維計算機圖形圖像。
另外，根據(jù)用于實現(xiàn)上述目的的本發(fā)明的其他方式的圖像顯示裝置具有以下的結(jié)構(gòu)。即，一種圖像顯示裝置，將虛擬空間的影像信息重疊到任意視點的現(xiàn)實空間的影像信息上，并提示給觀察者，其特征在于，包括攝像單元，可取入包含基于3維CAD數(shù)據(jù)做成的模型的現(xiàn)實空間的影像信息；測量單元，測量上述攝像單元和上述模型的位置與姿勢，并取得表示由上述攝像單元得到的影像中的該模型的位置和姿勢的位置/姿勢信息，合成單元，根據(jù)上述位置/姿勢信息和上述3維CAD數(shù)據(jù)，描繪3維計算機圖形圖像并使其與由上述攝像單元得到的影像中的上述模型重疊，由此合成該影像和該3維計算機圖形圖像。
本發(fā)明的其他特征和優(yōu)點可以通過下面的參照附圖進行的說明得到明確，對附圖中的相同或類似的部分附加相同的參考標(biāo)號。


附圖構(gòu)成本說明書的一部分，用于說明本發(fā)明的實施例，并與該說明一起用于闡明本發(fā)明的原理。
圖1是表示基于第1實施方式的復(fù)合現(xiàn)實感系統(tǒng)的概略結(jié)構(gòu)的圖。
圖2是表示頭部佩戴式影像輸入輸出裝置(HMD)的結(jié)構(gòu)的圖。
圖3是表示基于第1實施方式的信息處理裝置的結(jié)構(gòu)的框圖。
圖4是表示基于第1實施方式的信息處理裝置的處理的流程的圖。
圖5A、5B是說明基于第1實施方式的處理結(jié)果的圖。
圖6是表示第2實施方式中的附加在簡易試制品上的標(biāo)志的例子的圖。
圖7是說明基于特征點的位置、姿勢測量的修正的圖。
圖8是表示基于第2實施方式的信息處理裝置的結(jié)構(gòu)的框圖。
圖9是表示基于第2實施方式的信息處理裝置的處理的流程的圖。
圖10A～10D是說明基于手區(qū)域的抽取的CG圖像的修正方法的圖。
圖11是表示基于第3實施方式的信息處理裝置的結(jié)構(gòu)的框圖。
圖12是表示基于第3實施方式的信息處理裝置的處理的流程的圖。
圖13是表示基于第4實施方式的信息處理裝置的結(jié)構(gòu)的框圖。
圖14是表示基于第4實施方式的信息處理裝置的處理的流程的圖。
圖15A～15D是說明影像輸入系統(tǒng)的畸變的影響的圖。
圖16是表示基于第5實施方式的信息處理裝置的結(jié)構(gòu)的框圖。
圖17是表示基于第5實施方式的信息處理裝置的處理的流程的圖。
具體實施例方式
下面將結(jié)合附圖詳細說明本發(fā)明的優(yōu)選實施例。
第1實施方式在以下說明的本實施方式的復(fù)合現(xiàn)實感系統(tǒng)中，使用復(fù)合現(xiàn)實感系統(tǒng)，使位置、姿勢方向一致地將變換了同樣的3維CAD數(shù)據(jù)而生成的3維CG(3D-CG)數(shù)據(jù)，重疊顯示在用快速成型裝置根據(jù)3維CAD數(shù)據(jù)做成的簡易試制品(簡易模型)的攝影影像中。由此，能夠同時實現(xiàn)視覺性評價和觸覺性評價，能夠以更接近于完成品狀態(tài)來進行評價。
圖1表示基于第1實施方式的系統(tǒng)結(jié)構(gòu)。
在圖1中，100是觀察者佩戴于頭部、用于觀察合成了現(xiàn)實空間和虛擬空間的影像的頭部佩戴式影像輸入輸出裝置(被稱作頭部佩戴式顯示裝置(Head Mounted Display)等。以下稱HMD)。另外，200是產(chǎn)生磁場的磁發(fā)生器，201、202是用于測量磁發(fā)生器200產(chǎn)生的磁場的變化的磁傳感器。205是位置·姿勢測量裝置，根據(jù)磁傳感器201、202的測量結(jié)果測量各磁傳感器的位置、姿勢。磁傳感器201安裝在HMD100上，用于算出觀察者的視點位置、視線方向。300是觀察者用手拿著、操作的簡易試制品(簡易模型)。在簡易試制品300上，與HMD100同樣地組裝有磁傳感器202。磁傳感器202在簡易試制品300上的位置、姿勢是已知的。因此，位置·姿勢測量裝置205根據(jù)磁傳感器202的測量結(jié)果，算出簡易試制品300的位置、姿勢。另外，磁傳感器202的位置、姿勢，假定是預(yù)先進行了物理測量并輸入到信息處理裝置400中的。301是用于觀察簡易試制品的臺子。
101是組裝在HMD100上的影像顯示裝置，102是組裝在HMD100上的影像輸入裝置，分別組裝有供右眼、左眼用的2套。400是信息處理裝置，生成符合由位置·姿勢測量裝置205算出的位置、姿勢信息的CG影像，并重疊到由HMD100的影像輸入裝置102輸入的影像上，將得到的合成影像朝HMD100的影像顯示裝置101輸出。
接著，參照圖2對HMD100的具體結(jié)構(gòu)進行說明。圖2中的101是在圖1中也表示了的影像顯示裝置，由0.5～數(shù)英寸左右的小型液晶顯示設(shè)備等構(gòu)成。103是發(fā)揮放大影像顯示裝置101的影像的透鏡作用的自由曲面棱鏡。通過這些結(jié)構(gòu)，在影像顯示裝置101上顯示的影像，被提示為對于觀察者而言在例如2m開外的相當(dāng)于90英寸的影像。
102是在圖1中也表示了的影像輸入裝置，由CCD攝像機、CMOS攝像機等攝像設(shè)備構(gòu)成。104是發(fā)揮用于使現(xiàn)實空間的光聚集到影像輸入裝置102的透鏡作用的攝像系統(tǒng)棱鏡。攝像系統(tǒng)棱鏡104被配置成在自由曲面棱鏡103的外側(cè)使兩棱鏡的光軸一致，由此能夠消除由影像輸入裝置102輸入的影像，和在影像顯示裝置101上顯示的影像的視差，能夠自然和諧地再現(xiàn)現(xiàn)實空間的影像。
接著，使用圖3對圖1的信息處理裝置400的具體結(jié)構(gòu)進行說明。
401L、R是影像捕捉部，獲取由影像輸入裝置102輸入的影像數(shù)據(jù)，變換成數(shù)字信號提供至信息處理裝置400內(nèi)。404是位置·姿勢信息輸入部，將由位置·姿勢測量裝置205傳送來的HMD100和簡易試制品300的位置、姿勢數(shù)據(jù)取至信息處理裝置400內(nèi)。405是位置·姿勢計算部，根據(jù)來自位置·姿勢輸入部404的輸入數(shù)據(jù)，算出HMD100和簡易試制品300的相對的位置關(guān)系。
406是用于重疊到簡易試制品300的影像上的3DCG描繪數(shù)據(jù)。407是CG繪制(rendering)部，根據(jù)由位置·姿勢計算部405算出的HMD100和簡易試制品300的相對的位置關(guān)系，計算右眼用、左眼用的各自應(yīng)描繪CG數(shù)據(jù)的位置、大小、角度(perspective)等，并根據(jù)該計算結(jié)果繪制3DCG描繪用數(shù)據(jù)406。
402L、R是影像合成部，將由CG繪制部407生成的CG影像，重疊到由影像捕捉部401L、R取入的現(xiàn)實空間的影像數(shù)據(jù)上。403L、R是影像生成部，將合成了的影像變換成模擬數(shù)據(jù)，并輸出到影像顯示裝置101上。
使用圖4對基于上述結(jié)構(gòu)的本實施方式的處理的流程進行說明。首先，按圖4左側(cè)的處理步驟，對從3D-CAD數(shù)據(jù)生成簡易試制品300和3DCG描繪用數(shù)據(jù)406的步驟進行說明。
通常，使用3維CAD系統(tǒng)進行形狀、外觀等的設(shè)計業(yè)務(wù)(1010)時，設(shè)計數(shù)據(jù)一般都作為各自的3維CAD系統(tǒng)固有的立體數(shù)據(jù)(soliddata)進行保存。簡易試制品300，由該立體數(shù)據(jù)，使用光成型等快速成型裝置來制作(1110)。另一方面，3D立體數(shù)據(jù)以各設(shè)計部件的幾何學(xué)參數(shù)的集合來表現(xiàn)，不能就此作為CG進行描繪。在這里，將3D立體數(shù)據(jù)變換成適合于3DCG描繪的數(shù)據(jù)形式(例如VRML等)(1210)。
在本實施方式的復(fù)合現(xiàn)實感系統(tǒng)中，使用這樣變換后的3DCG描繪用數(shù)據(jù)406來生成虛擬空間。
接著，按圖4右側(cè)的處理步驟，對本實施方式中的復(fù)合現(xiàn)實感系統(tǒng)的處理步驟進行說明。
使用磁發(fā)生器200和磁傳感器202的數(shù)據(jù)，位置·姿勢測量裝置205測量簡易試制品300在現(xiàn)實空間中的位置、姿勢(2010)。同樣地，使用磁發(fā)生器200和磁傳感器201的數(shù)據(jù)，位置·姿勢測量裝置205測量觀察者佩戴著的HMD100在現(xiàn)實空間中的位置、姿勢(2020)。由位置·姿勢測量裝置205得到的測量數(shù)據(jù)，通過位置·姿勢信息輸入部404被取入到信息處理裝置400中。然后，在位置·姿勢測量裝置405中計算HMD100和簡易試制品300的相對的位置·姿勢關(guān)系(2030)。
另一方面，同上述處理2010、2020、2030并行地，將來自HMD裝置100的影像輸入裝置101的現(xiàn)實空間的影像，通過影像捕捉部401取入到信息處理裝置400中(3010)。在CG繪制部407中，使用在處理2030中算出的相對的位置關(guān)系和3DCG描繪用數(shù)據(jù)406描繪CG，并展開到視頻緩沖器等存儲器(未圖示)中(2040)。
另一方面，在處理3010中取入的現(xiàn)實空間的影像數(shù)據(jù)也展開到視頻緩沖器等存儲器中(3020)。影像合成部402L、R將在上述處理2040中生成的CG影像，重疊到在處理3020中展開了的影像數(shù)據(jù)上(4010)。合成后的影像由影像生成部403變換成模擬等的視頻信號，顯示在HMD100的影像顯示裝置101上(4020)。
通過按影像顯示裝置101中的影像更新間隔或CG描繪2040中的更新間隔，反復(fù)進行從上述2010到4020的處理，進行實時地信息提示。圖5A、5B表示基于該系統(tǒng)的處理結(jié)果的一個例子。
在圖5A中，表示了由安裝于HMD100上的影像輸入裝置102輸入的現(xiàn)實空間的影像(簡易試制品300的實際影像)。在圖5B中，表示了在現(xiàn)實空間的簡易試制品300的位置上，重疊了基于CG數(shù)據(jù)的CG圖像的圖像，即顯示在安裝于HMD100上的影像顯示裝置101上的影像。
另外，在第1實施方式中，作為測量位置、姿勢的裝置，以使用磁的裝置為例進行了說明，但本發(fā)明并不限于此，顯然能夠通過光學(xué)的位置·姿勢測量裝置等其他裝置來實現(xiàn)。
第2實施方式在第1實施方式中，以利用磁的位置、姿勢測量為例進行了說明。但是，在利用磁的位置、姿勢測量中，有時會由于環(huán)境而造成測量精度不穩(wěn)定。例如當(dāng)在磁發(fā)生器的附近存在金屬物體時，會造成磁場紊亂、磁傳感器的輸出值變得不穩(wěn)定。另外，存在磁發(fā)生器與磁傳感器之間的距離越遠，測量精度就越低等問題。這樣的測量精度的問題，不限于利用磁的傳感器，在各種方式的位置·姿勢測量裝置中都會發(fā)生。例如有光學(xué)的測量位置、姿勢的裝置，但此時如果發(fā)射光的裝置和接受光的裝置之間存在遮擋物等，則存在測量變得不穩(wěn)定、產(chǎn)生誤差等問題。
在這里，在第2實施方式的復(fù)合現(xiàn)實感系統(tǒng)中，使用取入到信息處理裝置400內(nèi)的現(xiàn)實空間的影像數(shù)據(jù)來修正位置、姿勢，提高其測量精度。例如，如圖6所示，在簡易試制品300上附加圖像識別用的標(biāo)志，將其作為特征點來使用。作為標(biāo)志，根據(jù)位置、測量修正的算法，可以考慮形狀標(biāo)志301或顏色標(biāo)志302等各種各樣的標(biāo)志。
在這里，對使用了特征點的位置、姿勢的修正方法進行說明。此處，作為一般的修正方法，對根據(jù)特征點1點來修正影像輸入部(攝像機)的外部參數(shù)的方法進行說明。另外，這里所謂的特征點，可以使用人工地將具有特定的顏色、形狀信息的封簽(seal)狀的東西等粘貼在現(xiàn)實空間中的簡易試制品上的標(biāo)志，也可以將簡易試制品的形狀的特征性部分作為特征點。
圖7是說明影像輸入裝置(攝像機)的外部參數(shù)(表示位置、姿勢的參數(shù))的一般的修正方法的示意圖。在圖7中，點A表示根據(jù)影像輸入裝置(攝像機)和簡易試制品300的位置、姿勢而預(yù)測出的特征點的位置，點B表示該特征點的實際位置，點C表示影像輸入裝置(攝像機)視點的位置。另外在這里，點A、點B所表示的位置是攝像機坐標(biāo)系中的位置，點C是影像輸入裝置(攝像機)坐標(biāo)系的原點。另外，點P表示點A在攝像面上的位置，點Q表示點B在攝像面上的位置。此處，如圖7所示那樣，將點P、Q的坐標(biāo)分別設(shè)為(xp、yp)、(xq、yq)，將攝像面的寬、高分別設(shè)為w、h，將攝像機的焦點距離(從攝像面到影像輸入裝置的距離)設(shè)為d，v1設(shè)為從點C向點Q的矢量，v2設(shè)為從點C向點P的矢量，θ設(shè)為v1和v2構(gòu)成的角度。
首先，對使用特征點1點、僅按θ從點B方向到點A方向使姿勢發(fā)生變化的方法(基于影像輸入裝置的旋轉(zhuǎn)的修正方法)進行說明。
如果以上述設(shè)定來求v1、v2，則各自的成分成為以下式(1)所示這樣。
v1=(xq-w2,yq-h2,-d)]]>v2=(xp-w2,yp-h2,-d)---(1)]]>接著，將各自的矢量，根據(jù)以下的式(2)歸一化為大小為1的矢量。另外，|v|代表矢量v的大小。
v1′=v1|v1|]]>v2′=v2|v2|---(2)]]>
在這里，在使影像輸入裝置(攝像機)旋轉(zhuǎn)時，該旋轉(zhuǎn)軸成為與由v1、v2構(gòu)成的平面正交，并穿過攝像機視點位置(點C)的直線。該旋轉(zhuǎn)軸的方向矢量，如式(3)所示，可以通過矢量v1、v2的外積求取(實際上使用歸一化后的(v1′、v2′))。
vx=v1′×v2′---(3)]]>在這里，vx是旋轉(zhuǎn)軸的方向矢量，其成為設(shè)為(l，m，n)。而且，由于旋轉(zhuǎn)角θ是矢量v1、v2構(gòu)成的角度，因此可以如下式(4)這樣求取。
θ=arccos(v1′·v′2)---(4)]]>因此，基于影像輸入裝置的旋轉(zhuǎn)的修正所使用的修正矩陣ΔMc，如下式(5)這樣計算。
ΔMc=ll(1-cosθ)+cosθml(1-cosθ)+nsinθnl(1-cosθ)+msinθ0lm(1-cosθ)+nsinθmm(1-cosθ)+cosθnm(1-cosθ)+lsinθ0ln(1-cosθ)+msinθmn(1-cosθ)+lsinθnn(1-cosθ)+cosθ00001---(5)]]>通過使該修正矩陣乘以表示影像輸入裝置的位置·姿勢的矩陣，影像輸入裝置的位置、姿勢就被修正。即，點P被顯示在點Q的位置，攝像面上的界標(biāo)(landmark)的、從位置姿勢參數(shù)預(yù)測的位置與實際的位置相一致。另外，在上述說明中，對使用了影像輸入裝置(攝像機)的旋轉(zhuǎn)的修正方法進行了說明，但也可以使用通過影像輸入裝置的平行移動來修正誤差的方法等。而且，通過使用了多個特征點的修正方法也能夠得到同樣的效果，其具體方法通過上述說明對于本領(lǐng)域人員來說是顯而易見的，因此省略其說明。
接著，參照圖8和圖9，對第2實施方式的系統(tǒng)中的信息處理裝置400的結(jié)構(gòu)圖和處理流程進行說明。如圖8所示，在第2實施方式中，設(shè)置有用于從由影像捕捉部401L、R得到的圖像數(shù)據(jù)中檢測出標(biāo)志的標(biāo)志檢測部410。而且，標(biāo)志檢測部410的標(biāo)志檢測結(jié)果、即圖7中的點Q的坐標(biāo)值被傳送到位置·姿勢計算部405。在位置·姿勢計算部405中使用該點Q的坐標(biāo)值，如參照圖7說明過的那樣修正位置、姿勢。其他結(jié)構(gòu)與第1實施方式(圖3)相同。
使用圖9對第2實施方式的處理的流程進行說明。另外，對于與第1實施方式(圖4)相同的處理賦予了相同的參考標(biāo)號。
在處理1110中，對根據(jù)3D立體數(shù)據(jù)由光成型等快速成型裝置做成的簡易試制品300，附加標(biāo)志(1120)。進而，記錄附加了標(biāo)志的位置信息(1130)。另外，標(biāo)志的位置信息，使用另外由測量裝置測量出的3維信息即可。而且，在使用特征點時，可以從CAD數(shù)據(jù)取得該特征點的位置。進而，只要生成CAD數(shù)據(jù)使得在簡易試制品上形成能夠指示標(biāo)志的附加位置的標(biāo)志，就可以從CAD數(shù)據(jù)取得標(biāo)志的位置信息。
另一方面，在復(fù)合現(xiàn)實感系統(tǒng)的處理中，在處理3010中將現(xiàn)實空間的影像數(shù)據(jù)取入到信息處理裝置400內(nèi)之后，通過標(biāo)志檢測部410，從現(xiàn)實空間的影像數(shù)據(jù)中抽取出附加到簡易試制品300上的標(biāo)志的位置(3011)。使用預(yù)先在處理1130中記錄了的標(biāo)志位置信息、和在處理3011中從影像數(shù)據(jù)中抽取出的標(biāo)志位置，根據(jù)位置·測量裝置205的測量結(jié)果，對在處理2030中算出的HMD100和簡易試制品300的相對位置·姿勢關(guān)系進行修正(2031)。而后，在處理2040中，用修正后的數(shù)據(jù)進行CG的描繪。
第3實施方式在上述第1、第2實施方式中，影像合成部402將虛擬空間的影像(CG影像)重疊(蓋寫)到現(xiàn)實空間的影像數(shù)據(jù)上，由此生成合成影像。在這種情況下，有時由于原本應(yīng)該比CG影像更靠近自己的部分也被CG影像蓋寫掉了，因而CG影像和現(xiàn)實物體的縱深感產(chǎn)生矛盾。對于這種情況參照圖10A～10D進行詳細說明。
圖10A是由影像輸入裝置102輸入的現(xiàn)實空間的影像數(shù)據(jù)的一個例子，是由觀察者的手拿著簡易試制品的影像。手的一部分(拇指附近)存在于比簡易試制品更靠近自己一邊。如果將對應(yīng)于簡易試制品的CG影像重疊到該影像上，就成為圖10B這樣的合成影像。即，應(yīng)該存在于比簡易試制品更靠近自己一邊的手的一部分，被CG影像所遮檔，成為在縱深感上產(chǎn)生矛盾，對觀察者而言存在不和諧的感覺的影像。
在這里，在第3實施方式的復(fù)合現(xiàn)實感系統(tǒng)中，使用取入到信息處理裝置400內(nèi)的現(xiàn)實空間的影像數(shù)據(jù)，通過圖像處理消除上述那樣的縱深感上的矛盾。即，根據(jù)從影像輸入裝置102得到的影像數(shù)據(jù)(圖10A)，用圖像處理只抽取出手的區(qū)域。根據(jù)抽取出的手的區(qū)域生成掩模(mask)圖像(圖10C)，對于由該掩模圖像指定的手區(qū)域以外的區(qū)域，生成CG影像，重疊到現(xiàn)實空間的影像上。這樣，使得手的區(qū)域顯示在比簡易試制品更靠近自己這一邊，如圖10D所示的那樣，消除了在縱深感上的不和諧的感覺。
使用圖11和圖12，對以上這樣的第3實施方式的系統(tǒng)的構(gòu)成和處理的流程進行說明。如圖11所示，在第3實施方式中，在第1實施方式(圖3)的結(jié)構(gòu)上增加了手區(qū)域抽取部420和手顏色信息登錄數(shù)據(jù)421。手區(qū)域抽取部420從由影像捕捉部401L、R得到的影像數(shù)據(jù)中，將登錄在手顏色信息登錄數(shù)據(jù)421中的顏色的區(qū)域作為手區(qū)域來抽取。CG繪制部407禁止對由手區(qū)域抽取部420抽取出的手區(qū)域部分進行CG圖像的描繪。其他同第1實施方式(圖3)相同。
圖12是說明第3實施方式的處理的流程的圖。在第1實施方式(圖4)的處理上，追加了處理5010和5020。
在處理3010中由信息處理裝置400的影像捕捉部401取入現(xiàn)實空間的影像數(shù)據(jù)后，手區(qū)域抽取部420將各像素的顏色信息，與預(yù)先登錄在手顏色信息登錄數(shù)據(jù)421中的手區(qū)域的顏色信息進行比較。然后，當(dāng)與手區(qū)域的顏色信息一致時，判斷為該像素的顏色是人的皮膚的顏色，判斷為該像素是手區(qū)域(5010)。通過對所有的像素進行是否是手區(qū)域的判斷，并只抽取出判斷為是手區(qū)域的像素，只將手區(qū)域的數(shù)據(jù)記錄到視頻緩沖器等存儲器中，由此生成掩模圖像(5020)。在CG繪制部407中，生成用在處理5020中生成的掩模圖像掩模后的區(qū)域的CG影像(2040)，在影像合成部403中，將在處理2040中生成的CG影像重疊到現(xiàn)實空間的影像數(shù)據(jù)上(4011)。
通過這樣生成合成影像，能夠?qū)⒃緫?yīng)該比CG數(shù)據(jù)更靠近自己的現(xiàn)實空間的影像，顯示在比CG數(shù)據(jù)更靠近自己這一邊，消除了在縱深感上的不和諧的感覺。
第4實施方式在第1～第3實施方式中，基于3DCAD數(shù)據(jù)生成的CG的亮度、色調(diào)，是根據(jù)3DCAD數(shù)據(jù)所包含的光源信息等決定的。然而，CAD數(shù)據(jù)的光源信息并非都適合于現(xiàn)實空間。例如，在現(xiàn)實空間較暗時，如果不將CG的亮度也降暗，就會造成CG浮在現(xiàn)實空間中，不成為自然的合成圖像。這里，在第4實施方式中，在將CG重疊到現(xiàn)實空間的影像上時，根據(jù)取入到信息處理裝置400內(nèi)的現(xiàn)實空間的影像數(shù)據(jù)，設(shè)定用于CG描繪的各種參數(shù)。通過這樣做，能夠使CG的亮度、色調(diào)等符合現(xiàn)實空間的環(huán)境，生成自然和諧的合成影像。以下，參照圖13、圖14對第4實施方式中的結(jié)構(gòu)和處理的流程進行說明。
如圖13所示，在第4實施方式中，在第1實施方式(圖3)的結(jié)構(gòu)上增加了CG參數(shù)抽取部430。而且，如圖14所示，在第4實施方式的處理中，在第1實施方式的處理(圖4)上增加了CG參數(shù)設(shè)定處理3012。CG參數(shù)抽取部430根據(jù)通過影像捕捉部401L、R輸入的現(xiàn)實空間的影像數(shù)據(jù)，設(shè)定在掌握現(xiàn)實空間的環(huán)境并描繪CG時的亮度、色調(diào)等參數(shù)(3012)。然后，在CG繪制部407中，根據(jù)由CG參數(shù)抽取部430取得的參數(shù)和3DCG數(shù)據(jù)來描繪CG(2040)，在影像合成部402中重疊到現(xiàn)實空間的影像數(shù)據(jù)上(420)。
所謂描繪CG時的亮度、色調(diào)等的參數(shù)的設(shè)定，具體地說，是CG數(shù)據(jù)的屬性的值的變更。例如，在繪制CG數(shù)據(jù)時，需要設(shè)定對該物體從哪里、投射什么樣的照明(虛擬空間的光的參數(shù)的設(shè)定)。此時，通過設(shè)定CG物體的材質(zhì)、照射到CG物體上的光源的位置、強度、顏色等參數(shù)，能夠調(diào)整描繪CG時的亮度、色調(diào)等。另外，在MR的情況下，需要配合所輸入的現(xiàn)實空間的亮度，而調(diào)整CG的亮度。例如，如果現(xiàn)實空間較暗，也要對CG物體進行較暗的設(shè)定。如果該平衡較差，就會造成或者只有CG物體被突出地顯示，或者反之CG物體沉下去。在本實施方式中，由于將現(xiàn)實空間影像作為視頻影像而取入，因此，例如求取所取入的影像的亮度和色調(diào)的平均(或者，也可以是某確定的區(qū)域的亮度、色調(diào))，通過按照該值調(diào)整上述照明(lighting)參數(shù)，來調(diào)整描繪CG時的亮度、色調(diào)等。
這樣，根據(jù)第4實施方式，可以從現(xiàn)實空間的數(shù)據(jù)中抽取出CG繪制時的參數(shù)，生成符合現(xiàn)實空間的環(huán)境的合成影像。
第5實施方式由于由影像輸入裝置102輸入的現(xiàn)實空間的影像，通過攝像系統(tǒng)棱鏡104而被輸入，因此可能含有光學(xué)畸變。例如，圖15A所表示的是放置在實際的現(xiàn)實空間中的簡易試制品300。如果使該簡易試制品透過具有如圖15B所示那樣的畸變量的攝像系統(tǒng)棱鏡104，就會如圖15C那樣作為畸變了的物體而由影像輸入裝置輸入。如果將CG重疊到該影像上，就會如圖15D那樣，CG與現(xiàn)實空間中的簡易試制品不重疊，成為嚴重缺乏和諧感的合成影像。
在第5實施方式的復(fù)合現(xiàn)實感系統(tǒng)中，通過圖像處理去除取入到信息處理裝置400內(nèi)的現(xiàn)實空間的影像數(shù)據(jù)的畸變，能夠提供更為和諧自然的合成影像。參照圖16、圖17，對第5實施方式的信息處理裝置400的結(jié)構(gòu)和處理的流程進行說明。
如圖16所示，在第5實施方式中，在第1實施方式(圖3)的結(jié)構(gòu)上增加了現(xiàn)實空間影像畸變修正部440和畸變量數(shù)據(jù)441。而且，如圖17所示，在第5實施方式的處理中，在第1實施方式的處理(圖4)中增加了畸變修正處理3013。
現(xiàn)實空間影像畸變修正部440修正現(xiàn)實空間的影像數(shù)據(jù)的畸變，使用預(yù)先測量并保存著的影像輸入系統(tǒng)中的畸變量數(shù)據(jù)441，對由影像捕捉部401L、R輸入的影像數(shù)據(jù)進行修正(3013)。由此，CG與現(xiàn)實空間中的簡易試制品準確地重疊，所以觀察者能夠觀察自然的合成影像。即，由于將現(xiàn)實空間作為影像數(shù)據(jù)取入到系統(tǒng)中，將現(xiàn)實空間的影像變換處理成適合于合成虛擬空間的影像(CG)的影像，因此能夠生成對于觀察者來說更為自然的復(fù)合現(xiàn)實感影像。
另外，上述說明的各實施方式是可以獨立地實現(xiàn)的，或者也可以適當(dāng)?shù)亟M合起來實現(xiàn)。
如以上說明的那樣，在上述各實施方式的復(fù)合現(xiàn)實感系統(tǒng)中，使用復(fù)合現(xiàn)實感系統(tǒng)，能夠在用快速成型裝置根據(jù)3維CAD數(shù)據(jù)做成的簡易試制品(簡易模型)上，將變換相同的3維CAD數(shù)據(jù)而生成的3D-CG數(shù)據(jù)，使位置、姿勢方向相一致重疊地顯示。因此，可同時實現(xiàn)視覺的評價和觸覺的評價，能夠以更接近于完成品狀態(tài)進行評價。進而，由于將現(xiàn)實空間作為影像數(shù)據(jù)取入到系統(tǒng)中，因此能夠?qū)F(xiàn)實空間的影像變換處理成適合于與虛擬空間的影像合成的影像，能夠生成對于觀察者來說不會產(chǎn)生不和諧的感覺的影像。
另外，顯然本發(fā)明的目的還可以這樣來實現(xiàn)將記錄了實現(xiàn)上述實施方式的功能的軟件的程序代碼的存儲介質(zhì)，提供給系統(tǒng)或者裝置，通過該系統(tǒng)或者裝置的計算機(或者CPU、MPU)讀出并執(zhí)行存儲在存儲介質(zhì)中的程序代碼。
在這種情況下，從存儲介質(zhì)中讀出的程序代碼本身就實現(xiàn)上述實施方式的功能，存儲了該程序代碼的存儲介質(zhì)就構(gòu)成本發(fā)明。
作為用于提供程序代碼的存儲介質(zhì)，可以使用例如軟盤、硬盤、光盤、光磁盤、CD-ROM、CD-R、磁帶、非易失性存儲卡、ROM等。
而且，不僅通過計算機執(zhí)行讀出的程序代碼，能夠?qū)崿F(xiàn)上述實施方式的功能，根據(jù)該程序代碼的指示，在計算機上運行的OS(操作系統(tǒng))等進行實際處理的一部分或全部，通過該處理實現(xiàn)上述實施方式的情況顯然也包含在本發(fā)明的范圍內(nèi)。
并且，從存儲介質(zhì)讀出的程序代碼，在被寫入到插在計算機中的功能擴充卡或連接在計算機上的功能擴充單元所具備的存儲器中后，根據(jù)該程序代碼的指示，該功能擴充卡或功能擴充單元所具有的CPU等進行實際處理的一部分或全部，通過該處理來實現(xiàn)上述實施方式的情況顯然也包含在本發(fā)明的范圍內(nèi)。
通過上述結(jié)構(gòu)，能夠在基于3維CAD數(shù)據(jù)生成的簡易模型的實際拍攝的影像部分上，重疊顯示基于該3維CAD數(shù)據(jù)的計算機圖形圖像，因此能夠以更接近于完成品的狀態(tài)來評價設(shè)計數(shù)據(jù)。
權(quán)利要求
1.一種圖像顯示方法，將虛擬空間的影像信息重疊到任意視點的現(xiàn)實空間的影像信息上，并提示給觀察者，其特征在于，包括攝像步驟，由攝像裝置取入包括基于3維CAD數(shù)據(jù)做成的模型的現(xiàn)實空間的影像信息；測量步驟，測量上述攝像裝置和上述模型的位置與姿勢，并取得表示由上述攝像步驟得到的影像中的該模型的位置和姿勢的位置/姿勢信息；合成步驟，根據(jù)上述位置/姿勢信息和上述3維CAD數(shù)據(jù)，描繪3維計算機圖形圖像并使其與由上述攝像步驟得到的影像中的上述模型重疊，合成該影像和該3維計算機圖形圖像。
2.根據(jù)權(quán)利要求1所述的圖像顯示方法，其特征在于還包括生成步驟，根據(jù)上述3維CAD數(shù)據(jù)生成3維計算機圖形數(shù)據(jù)，并保存，上述合成步驟使用上述3維計算機圖形數(shù)據(jù)，描繪3維計算機圖形圖像。
3.根據(jù)權(quán)利要求1所述的圖像顯示方法，其特征在于還包括特征點抽取步驟，從在上述攝像步驟得到的影像中，抽取出上述模型上的3維位置已知的特征點，上述測量步驟，根據(jù)在上述特征點抽取步驟抽取出的特征點的位置，對在上述攝像步驟得到的影像中的上述模型和上述攝像裝置的相對位置/姿勢信息進行修正。
4.根據(jù)權(quán)利要求1所述的圖像顯示方法，其特征在于還包括區(qū)域抽取步驟，從在上述攝像步驟得到的影像中，抽取出包含預(yù)定的顏色信息的區(qū)域，上述合成步驟，禁止對由上述區(qū)域抽取步驟抽取出的區(qū)域進行上述3維計算機圖形圖像的描繪。
5.根據(jù)權(quán)利要求1所述的圖像顯示方法，其特征在于還包括參數(shù)生成步驟，根據(jù)由上述攝像步驟得到的影像，生成用于3維計算機圖形圖像的描繪參數(shù)，上述合成步驟，使用由上述生成步驟生成的描繪參數(shù)，描繪上述3維計算機圖形圖像。
6.根據(jù)權(quán)利要求1所述的圖像顯示方法，其特征在于還包括影像修正步驟，根據(jù)預(yù)先保存的上述攝像裝置的畸變量，修正由上述攝像步驟取得的現(xiàn)實空間的影像信息。
7.一種圖像顯示裝置，將虛擬空間的影像信息重疊到任意視點的現(xiàn)實空間的影像信息上，并提示給觀察者，其特征在于，包括攝像單元，可取入包含基于3維CAD數(shù)據(jù)做成的模型的現(xiàn)實空間的影像信息；測量單元，測量上述攝像單元和上述模型的位置與姿勢，并取得表示由上述攝像單元得到的影像中的該模型的位置和姿勢的位置/姿勢信息，合成單元，根據(jù)上述位置/姿勢信息和上述3維CAD數(shù)據(jù)，描繪3維計算機圖形圖像并使其與由上述攝像單元得到的影像中的上述模型重疊，由此合成該影像和該3維計算機圖形圖像。
8.根據(jù)權(quán)利要求7所述的圖像顯示裝置，其特征在于還包括特征點抽取單元，從由上述攝像單元得到的影像中，抽取出上述模型上的3維位置已知的特征點，上述測量單元，根據(jù)由上述特征點抽取單元抽取出的特征點的位置，對由上述攝像單元得到的影像中的上述模型和上述攝像裝置的相對位置/姿勢信息進行修正。
9.根據(jù)權(quán)利要求7所述的圖像顯示裝置，其特征在于還包括區(qū)域抽取單元，從由上述攝像單元得到的影像中，抽取出包含預(yù)定的顏色信息的區(qū)域，上述合成單元，禁止對由上述區(qū)域抽取單元抽取出的區(qū)域進行上述3維計算機圖形圖像的描繪。
10.根據(jù)權(quán)利要求7所述的圖像顯示裝置，其特征在于還包括參數(shù)生成單元，根據(jù)由上述攝像單元得到的影像，生成用于3維計算機圖形圖像的描繪參數(shù)，上述合成單元，使用由上述生成單元生成的描繪參數(shù)，描繪上述3維計算機圖形圖像。
11.根據(jù)權(quán)利要求7所述的圖像顯示裝置，其特征在于還包括影像修正單元，根據(jù)預(yù)先保存的上述攝像單元的畸變量，對由上述攝像單元取得的現(xiàn)實空間的影像信息進行修正。
全文摘要
本發(fā)明提供一種將虛擬空間的影像信息重疊到任意視點的現(xiàn)實空間的影像信息上，并將此提示給觀察者的圖像顯示方法。在該圖像顯示方法中，通過攝像裝置取入包括基于3維CAD數(shù)據(jù)做成的模型的現(xiàn)實空間的影像信息后，測量攝像裝置和模型的位置和姿勢，取得表示影像中的該模型的位置和姿勢的位置/姿勢信息。根據(jù)該位置/姿勢信息和3維CAD數(shù)據(jù)，描繪3維計算機圖形圖像并使其與影像中的模型重疊，合成該影像和該3維計算機圖形圖像，并顯示。
文檔編號G06T7/00GK1604014SQ20041008066
公開日2005年4月6日 申請日期2004年9月29日 優(yōu)先權(quán)日2003年9月30日
發(fā)明者麻生隆, 佐藤宏明, 鈴木雅博, 中澤壽弘 申請人:佳能株式會社