專利名稱：用于立體觀察的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于立體觀察的系統(tǒng)。
背景技術(shù)：
VR(Virtual Reality,虛擬現(xiàn)實)系統(tǒng)向用戶呈現(xiàn)由計算4幾創(chuàng) 作的三維(3D)CG(Computer Graphic,計算機(jī)繪圖)圖像以使他或 她感受虛擬空間，如同其為現(xiàn)實空間(physical space)。
近年來，已經(jīng)開發(fā)了用于通過在現(xiàn)實空間的圖像上合成3D CG來向用戶呈現(xiàn)現(xiàn)實空間上實際不存在的信息的技術(shù)。此種技 術(shù)被稱為MR(Mixed Reality,復(fù)合現(xiàn)實)系統(tǒng)。作為目標(biāo)在于僅 在與現(xiàn)實空間分離的條件下可以感受到的虛擬空間和現(xiàn)實空間 的共存，并增強(qiáng)虛擬空間的一種才支術(shù)，MR系統(tǒng)引起了關(guān)注。
作為實現(xiàn)允許虛擬和現(xiàn)實空間共存的系統(tǒng)(VR/MR系統(tǒng))的 代表設(shè)備，已知頭戴式顯示器(head mounted display, HMD)。在 該VR/MR系統(tǒng)中，通過在HMD上顯示虛擬或者現(xiàn)實空間，可以 向佩戴該HMD的用戶呈現(xiàn)虛擬空間和復(fù)合現(xiàn)實感空間(參見日 本特開2002-159019)。
圖1示出用戶^f風(fēng)戴立體件見頻透牙見 (stereoscopic video see-through ) HMD 100(下文簡稱為HMD IOO)的狀態(tài)。HMD 100 具有與眼鏡或護(hù)目鏡類似的外觀形狀，并且在HMD 100中布置 如LCD等右眼用的顯示裝置102R和左眼用的顯示裝置102L。下 文中，將右眼用的顯示裝置102R稱為右顯示裝置102R，將左眼 用的顯示裝置102L稱為左顯示裝置102L。在通過HMD 100中配 備的攝像機(jī)獲取立體視頻畫面時，將右眼用的立體攝像機(jī)101R 和左眼用的立體攝像機(jī)101L布置在例如用戶(佩戴者)的視點(diǎn)(viewpoint)位置的附近。下文中，將右眼用的立體攝像機(jī)101R 稱為右照相機(jī)101R，將左眼用的立體攝像機(jī)101L稱為左照相機(jī) 101L。
為了實現(xiàn)立體觀察(向用戶呈現(xiàn)立體圖像)，需要生成一對 如右眼和左眼的圖像那樣具有視差(disparity)的圖像、并將其顯 示在右眼和左眼用的顯示裝置上。為了生成具有視差的圖像， 需要計算右眼和左眼之間的視差，即，從一個照相機(jī)觀察到的
另 一 照相機(jī)的位置和方向(orientation)。作為計算這個的方法， 已知一種通過右眼和左眼用的照相機(jī)捕沖足多個測試圖像、并根 據(jù)該多個測試圖像來計算照相機(jī)之間的位置和方向關(guān)系的方法。
傳統(tǒng)地，使用 一 個圖像處理設(shè)備生成右眼和左眼用的圖像。 然而，為了加速圖像生成，可以通過獨(dú)立的圖像處理設(shè)備來生 成右眼和左眼用的圖像。在這種配置中，為了計算右眼和左眼 用的照相機(jī)的位置和方向，用戶必須提前定義連接到這些照相 機(jī)的圖像處理設(shè)備之間的連接關(guān)系。然而，在實際連接圖像處 理設(shè)備時用戶定義錯的連接關(guān)系時，所連接的圖像處理設(shè)備不 能正確地計算右眼和左眼用的照相機(jī)的位置和方向。

發(fā)明內(nèi)容
考慮到上述問題而作出本發(fā)明，本發(fā)明的目的在于提供這 樣一種技術(shù)該技術(shù)用于簡單地獲得分別連接至右眼和左眼用 的照相機(jī)的圖像處理設(shè)備之間的連接關(guān)系，并使用所獲得的連 接關(guān)系來向用戶呈現(xiàn)虛擬空間和現(xiàn)實空間的合成圖像。
根據(jù)本發(fā)明的第一方面， 一種用于立體觀察的系統(tǒng)，包括 接收由頭戴式顯示裝置的第 一 照相機(jī)捕捉的現(xiàn)實空間的圖像的 第 一 圖像處理設(shè)備，以及接收由所述頭戴式顯示裝置的第二照相機(jī)捕捉的所述現(xiàn)實空間的圖像的第二圖像處理設(shè)備， 所述第一圖像處理設(shè)備包括
判斷單元，用于判斷所述第一照相機(jī)是否是主裝置； 用于在所述判斷單元判斷為所述第 一照相機(jī)是主裝置時、 獲取所述第一照相機(jī)的位置和方向信息，并用于在所迷判斷單 元判斷為所述第 一照相機(jī)不是主裝置時、從所述第二圖像處理 設(shè)備獲取所屬第二照相機(jī)的位置和方向信息的單元；
用于在所述判斷單元判斷為所述第一照相機(jī)是主裝置時， 將所述第一照相機(jī)的位置和方向信息輸出至所述第二圖像處理 設(shè)備的單元；
用于在所述判斷單元判斷為所述第 一 照相機(jī)不是主裝置 時，獲取表示所述第 一照相機(jī)和所述第二照相機(jī)之間的位置和 方向關(guān)系的位置和方向關(guān)系信息的單元；
用于在所述判斷單元判斷為所述第 一照相機(jī)不是主裝置 時，基于所述第二照相機(jī)的位置和方向信息以及所述位置和方 向關(guān)系信息來計算所述第一照相機(jī)的位置和方向信息的單元；
用于基于所述第一照相機(jī)的位置和方向信息來生成虛擬空 間圖像的單元；
用于獲取由所述第 一 照相機(jī)捕捉的所述現(xiàn)實空間的圖像的 單元；
生成單元，用于生成通過合成所述現(xiàn)實空間的圖像和所述 虛擬空間圖像所形成的合成圖像；以及
用于向所述頭戴式顯示裝置輸出所述合成圖像的單元，以
及
所述第二圖像處理設(shè)備包括
第二判斷單元，用于判斷所述第二照相機(jī)是否是主裝置； 用于在所述第二判斷單元判斷為所述第二照相機(jī)是主裝置時、獲取所述第二照相機(jī)的位置和方向信息，并用于在所述第 二判斷單元判斷為所述第二照相機(jī)不是主裝置時、從所述第一
圖像處理設(shè)備獲取第 一 照相機(jī)的位置和方向信息的單元；
用于在所述第二判斷單元判斷為所述第二照相機(jī)是主裝置 時，將所述第二照相機(jī)的位置和方向信息輸出至所述第一圖像
處理設(shè)備的單元；
用于在所述第二判斷單元判斷為所述第二照相機(jī)不是主裝 置時，獲取表示所述第 一 照相機(jī)和所述第二照相機(jī)之間的位置 和方向關(guān)系的位置和方向關(guān)系信息的單元；
用于在所述第二判斷單元判斷為所述第二照相機(jī)不是主裝 置時，基于所述第 一 照相機(jī)的位置和方向信息以及所述位置和 方向關(guān)系信息來計算所述第二照相機(jī)的位置和方向信息的單 元；
用于基于所述第二照相機(jī)的位置和方向信息來生成虛擬空 間圖像的單元；
用于獲取由所述第二照相機(jī)捕捉的所述現(xiàn)實空間的圖像的
單元；
第二生成單元，用于生成通過合成由所述第二照相機(jī)捕捉 的所述現(xiàn)實空間的圖像和基于所述第二照相機(jī)的位置和方向信
息生成的所述虛擬空間圖像所形成的合成圖像；以及 用于向所述頭戴式顯示裝置輸出所述合成圖像的單元。
根據(jù)下面參考附圖對典型實施例的說明，本發(fā)明的其它特 征將顯而易見。


圖l是示出用戶佩戴立體視頻透視HMD 100的狀態(tài)的圖； 圖2是示出根據(jù)本發(fā)明第 一 實施例的系統(tǒng)的功能配置的框圖3是示出圖像處理設(shè)備205和206的功能配置的框圖； 圖4是示出由圖像處理設(shè)備205和206分別執(zhí)行的處理的流 程圖；以及
圖5是示出可應(yīng)用于圖像處理設(shè)備205和206的計算機(jī)的硬
件配置的框圖。
具體實施例方式
下文將參考附圖詳細(xì)說明本發(fā)明的優(yōu)選實施例。注意，將 這些實施例作為在權(quán)利要求書的范圍中描述的本發(fā)明的優(yōu)選配 置的例子說明，并且本發(fā)明不限于下文要說明的實施例。
第一實施例
圖2是示出根據(jù)本實施例的系統(tǒng)的功能配置的框圖。如圖2 所示，根據(jù)該實施例的系統(tǒng)包括作為頭戴式顯示裝置的HMD 100、以及圖像處理設(shè)備205和206。用戶通過線纜將圖像處理設(shè) 備205連接至HMD IOO的右眼單元。類似地，用戶通過線纜將 圖像處理設(shè)備206連接至HMD IOO的左眼單元。即，在圖2的配 置中，圖像處理設(shè)備205是右眼用的圖像處理設(shè)備，圖像處理設(shè) 備206是左眼用的圖像處理設(shè)備。連接圖像處理設(shè)備205和206 以能夠通過如LAN、因特網(wǎng)等網(wǎng)絡(luò)202相互通信。
首先將說明HMDIOO。 HMD IOO具有右眼單元，該右眼單 元包括右照相機(jī)(右眼用的照相機(jī))101R、右顯示裝置102R、捕 捉圖像輸出單元203R、以及顯示圖像輸入單元204R。同樣， HMD IOO具有左眼單元，該左眼單元包括左照相機(jī)(左眼用的照 相機(jī))101L、左顯示裝置102L、捕捉圖像輸出單元203L、以及 顯示圖像輸入單元204L。
右照相機(jī)101R是捕捉從佩戴HMD IOO的用戶的右眼位置附近看到的現(xiàn)實空間的動畫(movie)的攝像機(jī)，如在圖1中所示。 通過捕捉圖像輸出單元203R和I/F(接口 )201將由右照相機(jī)101R 捕捉的各幀的圖像(下文中稱之為捕捉圖像或現(xiàn)實空間圖像)的 數(shù)據(jù)輸出至圖像處理設(shè)備205。注意，在本實施例中，右照相機(jī) IOIR用作第一照相機(jī)。
左照相機(jī)101L是捕捉從佩戴HMD IOO的用戶的左眼位置 附近看到的現(xiàn)實空間的動畫(movie)的攝像機(jī)，如在圖1中所示。 通過捕捉圖像輸出單元203L和I/F(接口 )20l將由左照相機(jī)101L 捕捉的各幀的圖像(下文中稱之為捕捉圖像或現(xiàn)實空間圖像)的 數(shù)據(jù)輸出至圖像處理設(shè)備206。注意，在本實施例中，左照相機(jī) IOIL用作第二照相機(jī)。
MPU 200包括CPU、 ROM、和RAM等，并對構(gòu)成HMDIOO 的各單元的操作進(jìn)行控制。ROM登記表示右照相機(jī)101R和左照 相機(jī)101L之間的位置和方向關(guān)系的位置和方向關(guān)系信息?？梢?將該位置和方向關(guān)系信息保存在圖像處理設(shè)備2 0 5和/或2 0 6中。 MPU 200根據(jù)需要向圖像處理設(shè)備205和206輸出位置和方向關(guān) 系信息。
右顯示裝置102R是如LCD顯示器、有機(jī)EL顯示器等小型、 重量輕的顯示裝置(右眼用的顯示裝置)，；陂安裝到HMD IOO以 使右顯示裝置102R位于佩戴HMD IOO的用戶的右眼的前面。注 意，在該實施例中，右顯示裝置102R用作第一顯示裝置。
左顯示裝置102L是如LCD顯示器、有機(jī)EL顯示器等小型、 重量輕的顯示裝置(左眼用的顯示裝置)，被安裝到HMD IOO以 使左顯示裝置102L位于佩戴HMD IOO的用戶的左眼的前面。注 意，在該實施例中，左顯示裝置102L用作第二顯示裝置。
捕捉圖像輸出單元2 0 3 R通過I / F 2 01將從右照相機(jī)101R接 收的捕捉圖像的數(shù)據(jù)輸出至圖像處理設(shè)備205 。捕捉圖^f象輸出單元203L通過I/F 201將從左照相機(jī)101L接 收的捕捉圖像的數(shù)據(jù)輸出至圖像處理設(shè)備206。
顯示圖像輸入單元204R將通過I/F 201從圖像處理設(shè)備205 接收的圖像輸出至右顯示裝置102R。
顯示圖像輸入單元204L將通過I/F 201從圖像處理設(shè)備206 接收的圖像輸出至左顯示裝置102L。
I/F 201包括如DVI、 S-VIDEO、和IEEE1394等視頻圖像輸 入/輸出端，用于將圖像處理設(shè)備205和206連接至HMD 100。
下面將說明圖像處理設(shè)備205。圖像處理設(shè)備205通過I/F 205a與HMD IOO進(jìn)行數(shù)據(jù)通信。圖像處理設(shè)備205通過后面要說 明的處理來生成從右照相機(jī)IOIR看到的現(xiàn)實空間的圖像和虛 擬空間的圖像的合成圖像(右眼用的合成圖像)，并將所生成的 合成圖像輸出至HMD 100。注意，在本實施例中，圖像處理設(shè) 備205用作第 一 圖像處理設(shè)備。
下面將說明圖像處理設(shè)備206。圖像處理設(shè)備206通過I/F 206a與HMD IOO進(jìn)行數(shù)據(jù)通信。圖像處理設(shè)備206通過后面要說 明的處理來生成從左照相機(jī)101L看到的現(xiàn)實空間的圖像和虛 擬空間的圖像的合成圖像(左眼用的合成圖像)，并將所生成的 合成圖像輸出至HMD 100。注意，在本實施例中，圖像處理設(shè) 備206用作第二圖像處理設(shè)備。
在下面的說明中，例如，定義右照相機(jī)101R為"主(master) 照相機(jī)"，定義左照相機(jī)101L為"從(slave)照相機(jī)"。并且，將 為包括主照相機(jī)的右眼單元布置的圖像處理設(shè)備205定義為"主 圖像處理設(shè)備，，，將為包括從照相機(jī)的左眼單元布置的圖像處理 設(shè)備206定義為"從圖像處理設(shè)備"。在下面的說明中，定義右 眼的配置為"主(master)",定義左眼的配置為"從(slave)"。 然而，即使當(dāng)顛倒這些定義時，系統(tǒng)的操作實際上也相同。用戶通過線纜連4妻HMD 100和圖^象處理i殳備205和206,并 且在他或她使用該系統(tǒng)時，接通系統(tǒng)的電源。在通電后的啟動 處理中，HMD 100的右眼單元和左眼單元向所連4^的圖<象處理 設(shè)備分別發(fā)送表示右眼單元和左眼單元的多條信息。在接收到 這些多條信息時，圖像處理設(shè)備205和206利用下面的功能配置 進(jìn)行操作。
圖3是示出圖像處理設(shè)備205和206的功能配置的框圖。注 意，圖3示出主圖像處理設(shè)備205和從圖像處理設(shè)備206具有不同 的配置。然而，在某些情況下，圖像處理設(shè)備206可以連接至右 眼單元，圖像處理設(shè)備205可以連接至左眼單元。即使在這種情 況下，圖像處理設(shè)備具有允許它們相應(yīng)的操作的配置。
首先將說明圖像處理設(shè)備205。
識別信息獲取單元317從所連接的右照相機(jī)101R獲取識另寸 信息。將所獲取的識別信息輸出至控制單元303。
位置和方向信息獲取單元301通過網(wǎng)絡(luò)202獲取由連接至網(wǎng) 絡(luò)202的外部傳感器系統(tǒng)(未示出)所測量的表示右照相機(jī)101R 的位置和方向的數(shù)據(jù)(位置和方向信息)。作為該傳感器系統(tǒng)， 可以應(yīng)用如磁傳感器、光學(xué)傳感器、和超聲傳感器等各種傳感 器，并且只要其可以測量右照相機(jī)101R的位置和方向，可以使 用任意傳感器。由于用于測量照相機(jī)的位置和方向的傳感器系 統(tǒng)是當(dāng)前技術(shù)(state-of-the-art technique),因此將不給出其說 明。位置和方向信息獲取單元301將所獲取的位置和方向信息輸 出至后續(xù)的位置和方向計算單元304。
現(xiàn)實圖像輸入單元302獲取從右照相機(jī)101R順序輸出的各 幀的捕捉圖像，并將該圖像輸出至圖像合成單元307。
位置和方向計算單元304將從位置和方向信息獲取單元301 接收的位置和方向信息輸出至位置和方向信息發(fā)送單元305和虛擬圖像生成單元306。注意，還可以使用由現(xiàn)實圖像輸入單元
302輸入的捕捉圖像一起來計算右照相機(jī)IOIR的位置和方向信 息。在這種情況下，現(xiàn)實圖像輸入單元302還將輸入的捕捉圖像 輸出至位置和方向計算單元304。因此，位置和方向計算單元304 可以按原樣使用從傳感器系統(tǒng)獲取的位置和方向信息，或者可 以使用捕捉圖像來校正位置和方向信息。即，只要位置和方向 計算單元304可以獲耳又右照相才幾IOIR的位置和方向信息，位置 和方向計算單元304可以使用任意方法。注意，基于由右照相機(jī) IOIR捕捉到的捕捉圖像來估計右照相機(jī)IOIR的位置和方向的 技術(shù)是當(dāng)前技術(shù)，因而將不給出對該技術(shù)的說明。
與右照相機(jī)101R的位置和方向信息的獲取方法無關(guān)，位置 和方向計算單元3 0 4將位置和方向信息輸出至位置和方向信息 發(fā)送單元305和虛擬圖像生成單元306。
控制單元303基于從識別信息獲取單元317接收的識別信息 來判斷連接狀態(tài)，并基于該判斷結(jié)果來判定是作為主圖像處理 設(shè)備還是從圖像處理設(shè)備?？刂茊卧?03對構(gòu)成圖像處理設(shè)備 205的各單元的操作進(jìn)行控制，并控制與圖像處理設(shè)備206的數(shù) 據(jù)通信。
位置和方向信息發(fā)送單元305將^v位置和方向計算單元304 接收的位置和方向信息發(fā)送至圖像處理設(shè)備2 0 6側(cè)。
虛擬圖像生成單元306生成從如下的視點(diǎn)看到的虛擬空間 的圖像(虛擬空間圖像)該視點(diǎn)具有由從位置和方向計算單元 304接收的位置和方向信息所表示的位置和方向。由于該生成虛 擬空間圖像的方法是當(dāng)前技術(shù)，因此將省略對該技術(shù)的說明。 將所生成的虛擬空間圖像輸出至后續(xù)的圖像合成單元307。
圖像合成單元307通過將從虛擬圖像生成單元306接收的虛 擬空間圖像疊加(合成)在從現(xiàn)實圖像輸入單元302接收的現(xiàn)實空間的圖像上來生成合成圖像(右眼用的合成圖像)。已經(jīng)提出 了各種技術(shù)用于通過合成現(xiàn)實空間的圖像和虛擬空間圖像來生 成合成圖像的方法，圖像合成單元307可以使用任意技術(shù)來生成
合成圖像。圖像合成單元307將所生成的合成圖像輸出至后續(xù)的 圖像輸出單元308。
圖像輸出單元308將從圖像合成單元307接收的合成圖像輸 出至HMD 100的I/F 201。通過I/F 201和顯示圖像輸入單元204R 將該合成圖像輸出至右顯示裝置102R,并將該合成圖像顯示在 右顯示裝置102R上。以這種方式，將合成圖像顯示在頭部佩戴 HMD IOO的用戶的右眼的前面。
下面將說明圖像處理設(shè)備206。
識別信息獲取單元318從所連接的左照相機(jī)101L獲取識另'J 信息。將所獲取的識別信息輸出至控制單元312。
在接收到從位置和方向信息發(fā)送單元305發(fā)送來的位置和 方向信息時，位置和方向信息接收單元310將所接收的位置和方 向信息輸出至后續(xù)的位置和方向計算單元313。在通過I/F 201 從MPU 200接收到由MPU 200保持的位置和方向關(guān)系信息時， 位置和方向信息接收單元310將該信息輸出至位置和方向計算 單元313。
現(xiàn)實圖像輸入單元311獲取從左照相機(jī)101L順序輸出的各 幀的捕捉圖像，并將該圖像輸出至圖像合成單元315。
位置和方向計算單元3 13使用從位置和方向信息接收單元 3 IO接收的位置和方向信息以及位置和方向關(guān)系信息來計算左 照相機(jī)101L的位置和方向。然后，位置和方向計算單元313將 表示計算出的左照相機(jī)101L的位置和方向的數(shù)據(jù)輸出至后續(xù) 的虛擬圖像生成單元314。當(dāng)將捕捉圖像用于計算位置和方向 (例如，使用捕捉圖像來校正由位置和方向計算單元313計算出的位置和方向)時，基于與圖像處理設(shè)備205側(cè)相同的原因，現(xiàn) 實圖像輸入單元311還將輸入的捕捉圖像輸出至位置和方向計
算單元313。
與左照相機(jī)101L的位置和方向的計算方法無關(guān)，位置和方 向計算單元3 13將表示計算出的位置和方向的數(shù)據(jù)輸出至虛擬 圖像生成單元314。
控制單元312基于從識別信息獲取單元318接收的識別信息 來判斷連接狀態(tài)，并基于該判斷結(jié)果來判定是用作主圖像處理 設(shè)備還是作為從圖像處理設(shè)備?？刂茊卧?12對構(gòu)成圖像處理設(shè) 備206的各單元的操作進(jìn)行控制，并控制與圖像處理設(shè)備205進(jìn) 行的數(shù)據(jù)通信。
虛擬圖像生成單元314生成從如下浮見點(diǎn)看到的虛擬空間的 圖像(虛擬空間圖像)該視點(diǎn)具有由從位置和方向計算單元313 接收的數(shù)據(jù)所表示的位置和方向。由于生成虛擬空間圖像的方 法是當(dāng)前技術(shù)，因此將省略對其的說明。將所生成的虛擬空間 圖像輸出至后續(xù)的圖像合成單元315。
圖像合成單元315通過將從虛擬圖像生成單元314接收的虛 擬空間圖像疊加(合成)在從現(xiàn)實圖像輸入單元3 11接收的現(xiàn)實 空間的圖像上來生成合成圖像(左眼用的合成圖像)。已經(jīng)出現(xiàn) 了各種技術(shù)用于通過合成現(xiàn)實空間的圖像和虛擬空間圖像來生 成合成圖像的方法，圖像合成單元315可以使用任意技術(shù)來生成 合成圖像。圖像合成單元315將生成的合成圖像輸出至后續(xù)的圖 像輸出單元316。
圖像輸出單元316將從圖像合成單元315接收的合成圖像輸 出至HMD 100的I/F 201。通過I/F 201和顯示圖像輸入單元204L 將該合成圖像輸出至左顯示裝置102L，并將該合成圖像顯示在 左顯示裝置102L上。以這種方式，將合成圖像顯示在頭部佩戴HMD IOO的用戶的左眼前面。
圖4是示出由圖像處理設(shè)備205和206分別執(zhí)行的處理的流 程圖。由于上面說明了在各步驟中要執(zhí)行的處理的細(xì)節(jié)，因此 下面將給出筒單的說明。
在步驟S 4 01 ，識別信息獲取單元3 17從所連接的右照相機(jī) IOIR獲取識別信息。然后，識別信息獲取單元317將所獲取的 識別信息輸出至控制單元303。控制單元303纟僉查連接狀態(tài)，并 判斷后續(xù)的操作。在該例子中，控制單元303判斷為本圖像處理 設(shè)備用作主圖像處理設(shè)備。
在步驟S402,位置和方向信息獲取單元301獲取表示照相 機(jī)101R的位置和方向的位置和方向信息。位置和方向信息獲取 單元3 01將所獲取的位置和方向信息輸出至后續(xù)的位置和方向 計算單元304。
在步驟S403 ，位置和方向計算單元304將從位置和方向信 息獲取單元301接收的位置和方向信息或者通過任意方法計算 出的位置和方向信息輸出至位置和方向信息發(fā)送單元305和虛 擬圖像生成單元306。位置和方向信息發(fā)送單元305將從位置和 方向計算單元304接收的位置和方向信息發(fā)送至圖像處理設(shè)備 206側(cè)。
在步驟S404，現(xiàn)實圖像輸入單元302獲取從右照相機(jī)101R 順序輸出的各幀的捕捉圖像，并將該圖像輸出至圖像合成單元 307。由于可以在步驟S403之前執(zhí)行步驟S404中的處理，因此 當(dāng)在步驟S403中執(zhí)行例如使用捕捉圖像來校正位置和方向信 息的處理時，還將捕捉圖像輸出至位置和方向計算單元304。以 這種方式，可以在步驟S403中使用捕捉圖像來計算位置和方向 信息。
在步驟S405中，虛擬圖像生成單元306生成從如下視點(diǎn)看到的虛擬空間的圖像(虛擬空間圖像)該視點(diǎn)具有由從位置和
方向計算單元3 04接收的位置和方向信息所表示的位置和方向。 然后，虛擬圖像生成單元306將所生成的虛擬空間圖像輸出至后 續(xù)的圖像合成單元307。
在步驟S406，圖像合成單元307通過將從虛擬圖像生成單 元306接收的虛擬空間圖像疊加(合成)在從現(xiàn)實圖像輸入單元 302接收的現(xiàn)實空間的圖像上來生成合成圖傳"右眼的合成圖 像)。然后，圖像合成單元307將生成的合成圖像輸出至后續(xù)的 圖像輸出單元308。
在步驟S407,圖像輸出單元308將從圖像合成單元307接收 的合成圖像輸出至HMD 100的I/F 201。
最終，控制單元303在步驟S408中檢查是否滿足該處理的 結(jié)束條件，或者是否從外部輸入了該處理的結(jié)束指令。作為該 檢查的結(jié)果，如果滿足了該處理的結(jié)束條件，或者如果從外部 輸入了該處理的結(jié)束指令，則該處理結(jié)束。另一方面，如果不 滿足該處理的結(jié)束條件，并且沒有從外部輸入該處理的結(jié)束指 令，則該處理返回至步驟S402以執(zhí)行下 一 幀的后續(xù)處理。
在步驟S451 ,識別信息獲取單元3 18從所連接的左照相機(jī) IOIL獲取識別信息。然后，識別信息獲取單元318將所獲取的 識別信息輸出至控制單元312。控制單元312檢查連接狀態(tài)，并 判斷后續(xù)的操作。在該例子中，控制單元312判斷為自身的圖像 處理設(shè)備用作從圖像處理設(shè)備。
在S452中，在通過I/F 201從MPU 200接收(獲取)由MPU 200 保持的位置和方向關(guān)系信息時，位置和方向信息接收單元310 將該信息輸出至位置和方向計算單元313。
在步驟S453,在接收到從位置和方向信息發(fā)送單元305發(fā) 送來的位置和方向信息時，位置和方向信息接收單元310將該信息輸出至后續(xù)的位置和方向計算單元313。
在步驟S454,位置和方向計算單元313使用從位置和方向 信息接收單元310接收的位置和方向信息以及位置和方向關(guān)系 信息來計算左照相機(jī)101L的位置和方向。然后，位置和方向計 算單元313將表示計算出的左照相機(jī)101L的位置和方向的數(shù)據(jù) 輸出至后續(xù)的虛擬圖像生成單元314。
在步驟S455，現(xiàn)實圖像輸入單元311獲取/人左照相機(jī)101L 順序輸出的各幀的捕捉圖像，并將該圖像輸出至圖像合成單元 315。由于可以在步驟S454之前執(zhí)行步驟S455中的處理，因此 當(dāng)在步驟S 4 5 4中執(zhí)行例如使用捕捉圖像來校正位置和方向的 處理時，還將捕捉圖像輸出至位置和方向計算單元313。以這種 方式，可以在步驟S454中使用捕捉圖像來計算位置和方向。
在步驟S456,虛擬圖像生成單元314生成從如下視點(diǎn)看到 的虛擬空間的圖像(虛擬空間圖像)該視點(diǎn)具有由從位置和方 向計算單元313接收的數(shù)據(jù)所表示的位置和方向。然后，虛擬圖 像生成單元314將生成的虛擬空間圖像輸出至后續(xù)的圖像合成 單元315。
在步驟S457,圖像合成單元315通過將從虛擬圖像生成單 元3 14接收的虛擬空間圖像疊加(合成)在從現(xiàn)實圖像輸入單元 311接收的現(xiàn)實空間的圖像上來生成合成圖像(左眼的合成圖 像)。然后，圖像合成單元315將所生成的合成圖像輸出至后續(xù) 的圖像輸出單元316。
在步驟S458，圖像輸出單元316將從圖像合成單元315接收 的合成圖傳4敘出至HMD 100的I/F 201。
最終，控制單元312在步驟S 4 5 9檢查是否滿足該處理的結(jié) 束條件，或者是否從外部輸入了該處理的結(jié)束指令。作為該檢 查的結(jié)果，如果滿足了該處理的結(jié)束條件，或者如果從外部輸入了該處理的結(jié)束指令，則該處理結(jié)束。另一方面，如果不滿 足該處理的結(jié)束條件，并且沒有從外部輸入該處理的結(jié)束指令，
則該處理返回至步驟S 4 5 3 ,以執(zhí)行下 一 幀的后續(xù)處理。
如上所述，根據(jù)該實施例，當(dāng)計算了右照相機(jī)101R的位置 和方向時，使用這些位置和方向以及位置和方向關(guān)系信息可以 計算左照相機(jī)101R的位置和方向。因此，由于由各圖像處理設(shè) 備來計算各照相機(jī)的位置和方向，因此可以提高各照相機(jī)的位 置和方向的精確度，并且可以降低測量的工作量。根據(jù)該實施 例，可以計算右照相坤幾和左照相沖幾的^立置和方向以比傳統(tǒng)系統(tǒng) 具有更高的精確度，并且可以向用戶呈現(xiàn)具有更高精確度的立 體觀察。用戶可以連接圖像處理設(shè)備而不考慮它們之間的關(guān)系。 變形例1
在該實施例的說明中，發(fā)送表示右眼單元和左眼單元的多 條信息。作為這種信息的詳細(xì)內(nèi)容，右眼單元和左眼單元的每 個向相應(yīng)的圖像處理設(shè)備發(fā)送該單元獨(dú)有的識別信息(裝置名 稱等)。圖像處理設(shè)備側(cè)保持表示具有該識別信息的裝置是主裝 置還是從裝置的多個組的識別信息和標(biāo)志信息。
因此，在接收到所發(fā)送的識別信息時，圖像處理設(shè)備205 參考與該識別信息相對應(yīng)的標(biāo)志信息，識別所連接的照相機(jī)是 主照相機(jī)還是從照相機(jī)。如果圖像處理i殳備2 0 5識別為所連接的 照相機(jī)是主照相機(jī)，則該圖像處理設(shè)備205用作主圖像處理設(shè) 備。另一方面，如果圖像處理設(shè)備205識別為所連接的照相機(jī)是 從照相機(jī)，則該圖像處理設(shè)備2 0 5用作從圖像處理設(shè)備。
變形例2
在第一實施例中，將表示右照相機(jī)101R和左照相機(jī)101L之 間的位置和方向關(guān)系的位置和方向關(guān)系信息保持在HMD 100 側(cè)。然而，可以將位置和方向關(guān)系信息保持在圖像處理設(shè)備205和206側(cè)。在這種情況下，如果用作從圖像處理設(shè)備的圖像處理 設(shè)備需要位置和方向關(guān)系信息，則其可以從自身或者其它圖像 處理設(shè)備獲取位置和方向關(guān)系信息 第二實施例
在第一實施例的說明中，由硬件組件來配置構(gòu)成圖3中示出 的圖像處理設(shè)備205和206的所有各單元。然而，可以由計算機(jī) 程序來實現(xiàn)一些單元，并且可以由普通PC(個人計算機(jī))來執(zhí)行 這種計算機(jī)程序，從而獲得相同的結(jié)果。
圖5是示出可應(yīng)用于圖像處理設(shè)備205和206的計算機(jī)的硬 件配置的框圖。
CPU 50H吏用存儲在RAM 502和ROM 503中的計算機(jī)程序 和數(shù)據(jù)來控制整個計算機(jī)，并執(zhí)行要由應(yīng)用了計算機(jī)的圖像處 理設(shè)備205和206實現(xiàn)的前述處理。例如，在將該計算機(jī)應(yīng)用于 圖像處理設(shè)備205時，CPU 501用作控制單元303。例如，在將 該計算機(jī)應(yīng)用于圖像處理設(shè)備206時，CPU 501用作控制單元 312。
RAM 502具有用于臨時存儲從外部存儲裝置506加載的計 算機(jī)程序和數(shù)據(jù)、通過I/F 507從外部接收的數(shù)據(jù)等的區(qū)域。此 外，RAM 502還具有在CPU 501執(zhí)行各種處理時使用的工作區(qū) 域。即，RAM 502根據(jù)需要可以提供各種區(qū)域。
ROM 503存儲計算機(jī)的引導(dǎo)(boot)程序、設(shè)置數(shù)據(jù)等。
操作單元504包括鍵盤、鼠標(biāo)等。該計算機(jī)的操作者通過操 作該操作單元504可以向CPU 501輸入各種指令。
顯示單元505包括CRT、液晶顯示器等。顯示單元505可以 以圖像、字符等形式顯示CPU 501的處理結(jié)果。
外部存儲裝置506是由硬盤驅(qū)動器表示的大容量信息存儲 裝置。外部存儲裝置506保存OS(操作系統(tǒng))、使CPU501執(zhí)行要由圖像處理設(shè)備2 0 5和2 0 6實現(xiàn)的各處理的計算機(jī)程序和數(shù)據(jù)。例如，在將該計算機(jī)應(yīng)用于圖像處理設(shè)備205時，計算機(jī)程 序包括下面的計算機(jī)程序用于使CPU 501執(zhí)行位置和方向計 算單元304、虛擬圖像生成單元306、以及圖像合成單元307的功 能的計算機(jī)程序。例如，在將該計算機(jī)應(yīng)用于圖像處理設(shè)備206時，計算機(jī)程 序包括下面的計算機(jī)程序用于使CPU 501執(zhí)行位置和方向計 算單元313、虛擬圖像生成單元314、以及圖像合成單元315的功 能的計算機(jī)程序。外部存儲裝置5 0 6中保存的數(shù)據(jù)包括生成虛擬空間圖像所 需要的數(shù)據(jù)以及描述為給定數(shù)據(jù)的數(shù)據(jù)。根據(jù)需要，在CPU 501的控制下，將保存在外部存儲裝置 506中的計算機(jī)程序和數(shù)據(jù)加載至RAM 502,并將由CPU 501來 執(zhí)行。I/F 507用于將該計算機(jī)連接至外部設(shè)備。例如，將網(wǎng)絡(luò)202 和I/F 201連接至I/F 507。在將該計算機(jī)應(yīng)用于圖像處理設(shè)備205 時，I/F 507對應(yīng)于位置和方向信息獲耳又單元301、現(xiàn)實圖像輸入 單元302、位置和方向信息發(fā)送單元305、以及圖像輸出單元308。 在將該計算機(jī)應(yīng)用于圖像處理設(shè)備206時，I/F 507對應(yīng)于位置和 方向信息接收單元310、現(xiàn)實圖像輸入單元311、以及圖像輸出 單元316。附圖標(biāo)記508表示使前述單元互相連4妻的總線。 注意，將具有相同的硬件配置的計算機(jī)應(yīng)用于圖像處理設(shè) 備205和206,但可以將具有不同的硬件配置的計算機(jī)應(yīng)用于它們。其它實施例本發(fā)明的目的可以如下實現(xiàn)。即，向系統(tǒng)或設(shè)備提供記錄有可以實現(xiàn)上述實施例的功能的軟件的程序代碼的記錄介質(zhì) (或者存儲介質(zhì))。當(dāng)然，這種存儲介質(zhì)是計算機(jī)可讀存儲介質(zhì)。 該系統(tǒng)或設(shè)備的計算機(jī)(或CPU或MPU)讀取并執(zhí)行存儲在記錄 介質(zhì)中的程序代碼。在這種情況下，從存儲介質(zhì)讀取的程序代 碼自身實現(xiàn)了上述實施例的功能，并且記錄有程序代碼的記錄 介質(zhì)構(gòu)成本發(fā)明。當(dāng)計算機(jī)執(zhí)行所讀出的程序代碼時，基于該程序代碼的指令，運(yùn)行在計算機(jī)上的操作系統(tǒng)(os)等執(zhí)行實際處理操作的一 些或者全部。本發(fā)明還包括這種情況，在該情況中，由該處理 來實現(xiàn)上述實施例的功能。此外，假定將從存儲介質(zhì)讀取的程序代碼寫入插入至或者 連接至計算機(jī)的功能擴(kuò)展卡或者功能擴(kuò)展單元的存儲器中。之 后，基于該程序代碼的指令，通過由布置在功能擴(kuò)展卡或功能擴(kuò)展單元中的CPU等執(zhí)行實際處理操作的 一些或全部來實現(xiàn)上述實施例的功能。這種情況也包括在本發(fā)明中。當(dāng)將本發(fā)明應(yīng)用于記錄介質(zhì)時，該記錄介質(zhì)存儲對應(yīng)于前述流程圖的程序代碼。盡管已經(jīng)參考典型實施例說明了本發(fā)明，但應(yīng)當(dāng)理解，本發(fā)明不限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1. 一種用于立體觀察的系統(tǒng)，包括接收由頭戴式顯示裝置的第一照相機(jī)捕捉的現(xiàn)實空間的圖像的第一圖像處理設(shè)備，以及接收由所述頭戴式顯示裝置的第二照相機(jī)捕捉的現(xiàn)實空間的圖像的第二圖像處理設(shè)備，所述第一圖像處理設(shè)備包括判斷單元，用于判斷所述第一照相機(jī)是否是主照相機(jī)；用于在所述判斷單元判斷為所述第一照相機(jī)是主照相機(jī)時，獲取所述第一照相機(jī)的位置和方向信息，并用于在所述判斷單元判斷為所述第一照相機(jī)不是主照相機(jī)時，從所述第二圖像處理設(shè)備獲取所述第二照相機(jī)的位置和方向信息的單元；用于在所述判斷單元判斷為所述第一照相機(jī)是主照相機(jī)時，將所述第一照相機(jī)的位置和方向信息輸出至所述第二圖像處理設(shè)備的單元；用于在所述判斷單元判斷為所述第一照相機(jī)不是主照相機(jī)時，獲取表示所述第一照相機(jī)和所述第二照相機(jī)之間的位置和方向關(guān)系的位置和方向關(guān)系信息的單元；用于在所述判斷單元判斷為所述第一照相機(jī)不是主照相機(jī)時，基于所述第二照相機(jī)的位置和方向信息以及所述位置和方向關(guān)系信息來計算所述第一照相機(jī)的位置和方向信息的單元；用于基于所述第一照相機(jī)的位置和方向信息來生成虛擬空間圖像的單元；用于獲取由所述第一照相機(jī)捕捉的所述現(xiàn)實空間的圖像的單元；生成單元，用于生成通過合成所述現(xiàn)實空間的圖像和所述虛擬空間圖像所形成的合成圖像；以及用于向所述頭戴式顯示裝置輸出所述合成圖像的單元，以及所述第二圖像處理設(shè)備包括第二判斷單元，用于判斷所述第二照相機(jī)是否是主照相機(jī)；用于在所述第二判斷單元判斷為所述第二照相機(jī)是主照相機(jī)時，獲取所述第二照相機(jī)的位置和方向信息，并用于在所述第二判斷單元判斷為所述第二照相機(jī)不是主照相機(jī)時，從所述第一圖像處理設(shè)備獲取所述第一照相機(jī)的位置和方向信息的單元；用于在所述第二判斷單元判斷為所述第二照相機(jī)是主照相機(jī)時，將所述第二照相機(jī)的位置和方向信息輸出至所述第一圖像處理設(shè)備的單元；用于在所述第二判斷單元判斷為所述第二照相機(jī)不是主照相機(jī)時，獲取表示所述第一照相機(jī)和所述第二照相機(jī)之間的位置和方向關(guān)系的位置和方向關(guān)系信息的單元；用于在所述第二判斷單元判斷為所述第二照相機(jī)不是主照相機(jī)時，基于所述第一照相機(jī)的位置和方向信息以及所述位置和方向關(guān)系信息來計算所述第二照相機(jī)的位置和方向信息的單元；用于基于所述第二照相機(jī)的位置和方向信息來生成虛擬空間圖像的單元；用于獲取由所述第二照相機(jī)捕捉的所述現(xiàn)實空間的圖像的單元；第二生成單元，用于生成通過合成由所述第二照相機(jī)捕捉的所述現(xiàn)實空間的圖像和基于所述第二照相機(jī)的位置和方向信息生成的所述虛擬空間圖像所形成的合成圖像；以及用于向所述頭戴式顯示裝置輸出所述合成圖像的單元。
2.根據(jù)權(quán)利要求l所述的用于立體觀察的系統(tǒng)，其特征在 于，所述頭戴式顯示裝置包括第一顯示裝置，用于顯示由所述第一圖像處理設(shè)備的所述 生成單元所生成的所述合成圖像；以及第二顯示裝置，用于顯示由所述第二圖像處理設(shè)備的所述 第二生成單元所生成的所述合成圖像。
3.根據(jù)權(quán)利要求l所述的用于立體觀察的系統(tǒng)，其特征在于，基于從所述第 一照相機(jī)和所述第二照相機(jī)發(fā)送來的識別信 息，所述第一圖像處理設(shè)備的所述判斷單元和所述第二圖像處 理設(shè)備的所述第二判斷單元分別判斷所述第一照相機(jī)和所述第 二照相才凡中的一個是主照相機(jī)。
全文摘要
本發(fā)明涉及一種用于立體觀察的系統(tǒng)。單元(317、318)從照相機(jī)(101R)(左照相機(jī)101L)獲取識別信息。單元(303、312)基于該識別信息檢查連接狀態(tài)，并判斷后續(xù)的操作。單元(305)向設(shè)備(206)發(fā)送照相機(jī)(101R)的位置和方向信息。單元(308)將基于位置和方向信息生成的虛擬空間圖像和由單元(302)輸入的捕捉圖像的合成圖像輸出至HMD(100)。單元(313)使用位置和方向關(guān)系信息以及位置和方向信息來計算照相機(jī)(101L)的位置和方向。單元(316)將基于照相機(jī)(101L)的位置和方向生成的虛擬空間圖像和由單元(311)輸入的捕捉圖像的合成圖像輸出至HMD(100)。
文檔編號G02B27/01GK101295206SQ20081008925
公開日2008年10月29日 申請日期2008年4月25日 優(yōu)先權(quán)日2007年4月25日
發(fā)明者前田苑子 申請人:佳能株式會社