本發(fā)明涉及信息處理裝置、信息處理裝置的控制方法以及圖像處理系統(tǒng)，尤其涉及使用頭戴型顯示裝置(即HMD(Head Mounted Display，頭戴顯示器))的圖像處理技術(shù)。

背景技術(shù)：

近年來，作為用于將現(xiàn)實世界與虛擬世界實時進(jìn)行無縫融合的技術(shù)，已知所謂的混合現(xiàn)實(MR)技術(shù)。一種已知的MR技術(shù)涉及使用視頻透視HMD(頭戴顯示器)，通過使用視頻攝像機(jī)等拍攝與從HMD用戶的瞳孔位置觀察到的被攝體大致相匹配的被攝體，并且HMD用戶觀察通過將CG(計算機(jī)圖形)疊加到拍攝圖像上而獲得的顯示圖像。

視頻透視HMD具有如下的構(gòu)造：用于使用諸如CCD等的電荷耦合元件拍攝被攝體，獲取被攝體的數(shù)字圖像數(shù)據(jù)，并且經(jīng)由諸如液晶顯示器或有機(jī)EL顯示器等的顯示設(shè)備向其佩戴者，顯示通過將CG圖像疊加到數(shù)字圖像上而獲得的MR圖像(混合現(xiàn)實圖像)。

圖15是當(dāng)由HMD用戶佩戴時的HMD 2501的圖。存在除HMD 2501之外的外部裝置(未示出)，并且由HMD 2501拍攝的拍攝圖像從HMD 2501被發(fā)送到外部裝置。外部裝置由從HMD接收到的拍攝圖像，計算HMD 2501的位置和姿勢，基于計算結(jié)果，將CG圖像疊加到拍攝圖像上，并且將圖像發(fā)送到HMD。HMD 2501顯示從外部裝置接收到的疊加后的圖像。HMD用戶能夠通過使用HMD 2501來體驗MR空間。

還存在如下的HMD，該HMD除了配備有用于拍攝現(xiàn)實世界并疊加CG圖像以體驗MR空間的圖像傳感器之外，還配備有用于獲得HMD 2501的位置和姿勢的圖像傳感器。將用于體驗MR的圖像傳感器與用于獲得位置和姿勢的圖像傳感器分立的一個原因是：通過加寬用于獲得位置和姿勢的圖像傳感器的視角，從而加寬攝像范圍以拍攝大量的用于獲 得位置和姿勢的特征點(diǎn)，能夠獲得更精確的位置和姿勢。

一般而言，攝像單元具有稱為自動曝光的功能。這是通過控制快門速度、增益等，使從攝像單元輸出的圖像的亮度恒定的功能(參見日本特開2006-295506號公報)。

在此，圖16中的附圖標(biāo)記16001表示當(dāng)由攝像單元拍攝時的桌子的圖像。通過計算置于桌子上的標(biāo)記的特征，能夠獲得HMD的位置和姿勢。附圖標(biāo)記16002表示當(dāng)現(xiàn)實世界變得更亮?xí)r，作為使用攝像單元進(jìn)行圖像拍攝的結(jié)果而獲得的圖像，并且所拍攝的物體由于現(xiàn)實世界已變得更亮而被曝光過度。現(xiàn)實世界的亮度，根據(jù)例如進(jìn)入窗口的陽光的強(qiáng)度而改變。附圖標(biāo)記16003表示，由于在圖像16002之后，攝像單元的自動曝光功能進(jìn)行操作，因此在被攝像單元拍攝之后的拍攝圖像類似于圖像16001。

在日本特開2006-295506號公報中描述的自動曝光功能中，用于體驗MR的攝像和用于獲得位置和姿勢的攝像，在彼此之間不區(qū)分地進(jìn)行。因此，存在例如從圖像16001至圖像16002以及從圖像16002至圖像16003那樣發(fā)生改變的可能性。即，當(dāng)外部環(huán)境的亮度改變時(在圖像16002的時候)，拍攝圖像被曝光過度，因此存在如下問題，并非必然能夠以高精確度獲得HMD的位置和姿勢。

技術(shù)實現(xiàn)要素：

鑒于上述問題，提出了本發(fā)明。本發(fā)明提供如下的技術(shù)，即，在存在多個攝像單元的情況下，即使外部環(huán)境的亮度改變，也以高精確度進(jìn)行使用各個攝像單元的圖像拍攝。

根據(jù)本發(fā)明的一個方面，提供一種信息處理裝置，所述信息處理裝置包括：輝度值獲得單元，其被構(gòu)造為獲得物理空間的第一拍攝圖像的第一輝度值以及物理空間的第二拍攝圖像的第二輝度值，其中，所述第一拍攝圖像由第一攝像單元拍攝，并且所述第二拍攝圖像由第二攝像單元拍攝；參數(shù)獲得單元，其被構(gòu)造為獲得用于所述第一攝像單元的、與 物理空間的亮度的改變相對應(yīng)的自動曝光控制的第一追蹤參數(shù)，以及用于所述第二攝像單元的、與物理空間的亮度的改變相對應(yīng)的自動曝光控制的第二追蹤參數(shù)；以及設(shè)定單元，其被構(gòu)造為基于所述第一輝度值和所獲得的第一追蹤參數(shù)，設(shè)置用于所述第一攝像單元的第一攝像參數(shù)，并且基于所述第二輝度值和所獲得的第二追蹤參數(shù)，設(shè)置用于所述第二攝像單元的第二攝像參數(shù)。

根據(jù)本發(fā)明的一個方面，提供一種圖像處理系統(tǒng)，所述圖像處理系統(tǒng)包括信息處理裝置和有線連接或無線連接到所述信息處理裝置的圖像處理裝置，所述信息處理裝置包括：輝度值獲得單元，其被構(gòu)造為獲得物理空間的第一拍攝圖像的第一輝度值以及物理空間的第二拍攝圖像的第二輝度值，其中，所述第一拍攝圖像由第一攝像單元拍攝，并且所述第二拍攝圖像由第二攝像單元拍攝；參數(shù)獲得單元，其被構(gòu)造為獲得用于所述第一攝像單元的、與物理空間的亮度的改變相對應(yīng)的自動曝光控制的第一追蹤參數(shù)，以及用于所述第二攝像單元的、與物理空間的亮度的改變相對應(yīng)的自動曝光控制的第二追蹤參數(shù)；以及設(shè)定單元，其被構(gòu)造為基于所述第一輝度值和所獲得的第一追蹤參數(shù)，設(shè)置用于所述第一攝像單元的第一攝像參數(shù)，并且基于所述第二輝度值和所獲得的第二追蹤參數(shù)，設(shè)置用于所述第二攝像單元的第二攝像參數(shù)。

根據(jù)本發(fā)明的一個方面，提供一種信息處理裝置的控制方法，所述控制方法包括以下步驟：獲得物理空間的第一拍攝圖像的第一輝度值以及物理空間的第二拍攝圖像的第二輝度值，其中，所述第一拍攝圖像由第一攝像單元拍攝，并且所述第二拍攝圖像由第二攝像單元拍攝；獲得用于所述第一攝像單元的、與物理空間的亮度的改變相對應(yīng)的自動曝光控制的第一追蹤參數(shù)，以及用于所述第二攝像單元的、與物理空間的亮度的改變相對應(yīng)的自動曝光控制的第二追蹤參數(shù)；以及基于所述第一輝度值和所獲得的第一追蹤參數(shù)，設(shè)置用于所述第一攝像單元的第一攝像參數(shù)，并且基于所述第二輝度值和所獲得的第二追蹤參數(shù)，設(shè)置用于所述第二攝像單元的第二攝像參數(shù)。

通過以下參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。

附圖說明

圖1是示出第一實施例的圖像處理系統(tǒng)的構(gòu)造示例的圖。

圖2是根據(jù)第一實施例的功能框圖。

圖3是根據(jù)第一實施例的拍攝圖像處理單元的詳細(xì)框圖。

圖4A至圖4C是示出根據(jù)第一實施例的、用于獲得位置和姿勢的攝像單元的姿勢與測光方法(photometric method)之間的關(guān)系的圖。

圖5A和圖5B是根據(jù)第一實施例的用于確定追蹤時間的表。

圖6是示出根據(jù)第一實施例的自動曝光控制的示例的圖。

圖7是示出根據(jù)第一實施例的自動曝光控制的示例的圖。

圖8是根據(jù)第一實施例的整體自動曝光控制的流程圖。

圖9是根據(jù)第一實施例的自動曝光控制的流程圖。

圖10A至圖10C是示出根據(jù)第二實施例的用于獲得位置和姿勢的攝像單元的姿勢的圖。

圖11是根據(jù)第二實施例的功能框圖。

圖12是根據(jù)第二實施例的拍攝圖像處理單元的詳細(xì)框圖。

圖13是根據(jù)第二實施例的整體自動曝光控制的流程圖。

圖14A和圖14B是根據(jù)第二實施例的自動曝光控制的流程圖。

圖15是示出用戶佩戴HMD的狀態(tài)的圖。

圖16是示出當(dāng)外部環(huán)境的亮度改變時的物體的狀態(tài)的圖。

具體實施方式

現(xiàn)在，將參照附圖詳細(xì)描述本發(fā)明的示例性實施例。應(yīng)當(dāng)指出的是，在這些實施例中闡述的組件的相對布置、數(shù)值表達(dá)以及數(shù)值不限制本發(fā)明的范圍，除非另有具體聲明。

第一實施例

在本實施例中，將描述分立控制作為信息處理裝置的頭戴顯示裝置(在下文中被稱為HMD)的用于體驗MR的攝像單元的Auto Exposure(也稱為自動曝光)功能、與用于獲得位置和姿勢的攝像單元的自動曝光功能，以及如下的示例，在該示例中，進(jìn)行控制，使得用于獲得位置和姿勢的攝像單元的自動曝光功能對外部環(huán)境的亮度的改變快速地響應(yīng)。

圖1是示出根據(jù)本實施例的圖像處理系統(tǒng)的構(gòu)造示例的圖。在圖1中，圖像處理系統(tǒng)配設(shè)有HMD 1101、控制器1102以及具有顯示單元1103的圖像處理裝置1104。

HMD 1101配設(shè)有圖像顯示單元11010、與控制器1102進(jìn)行通信的通信單元11011以及控制這些單元的控制單元11012，HMD 1101被用戶佩戴在他或她的頭上。圖像顯示單元11010顯示由圖像處理裝置1104生成的圖像。圖像顯示單元11010在用戶的各個眼睛的前方，附裝有包括光學(xué)系統(tǒng)的構(gòu)造。

HMD 1101與構(gòu)成小規(guī)模網(wǎng)絡(luò)(例如WLAN(無線局域網(wǎng))或WPAN(無線個人局域網(wǎng)))的控制器1102進(jìn)行通信。在HMD 1101與控制器1102之間，通信不限于無線通信系統(tǒng)，并且可以使用有線通信系統(tǒng)。此外，HMD 1101配備有攝像單元1105。攝像單元1105拍攝外部環(huán)境，以獲得HMD 1101的位置和姿勢。

有線連接到控制器1102的圖像處理裝置1104，具有用于再現(xiàn)圖像的再現(xiàn)單元和用于存儲要再現(xiàn)的圖像的存儲單元。圖像處理裝置1104經(jīng)由控制器1102與HMD 1101進(jìn)行通信。另外，圖像處理裝置1104配設(shè)有用于輸入數(shù)據(jù)、指令等的鍵盤等，并且輸入的數(shù)據(jù)、指令的結(jié)果等被顯示在顯示單元1103上。

注意，在圖1的例示中，圖像處理裝置1104和控制器1102具有分立的硬件構(gòu)造。然而，也能夠在圖像處理裝置1104中實現(xiàn)控制器1102的所有功能并且集成這些硬件構(gòu)造，或者能夠集合圖像處理裝置1104的功能和控制器1102的功能并且構(gòu)成專用的圖像處理裝置。

圖2是根據(jù)本實施例的、具有HMD和圖像處理裝置的圖像處理系統(tǒng)的功能框圖。HMD 1201配設(shè)有用于獲得位置和姿勢的攝像單元1202(第一攝像單元)、用于體驗MR的攝像單元1203(第二攝像單元)、顯示單元1204、控制單元1205、拍攝圖像處理單元1206、圖像處理裝置I/F通信單元1207以及其他功能單元(未示出)。HMD 1201對應(yīng)于HMD 1101。

用于獲得位置和姿勢的攝像單元1202拍攝外部環(huán)境并獲得HMD的位置和姿勢。用于體驗MR的攝像單元1203拍攝外部環(huán)境并且以體驗混合現(xiàn)實。顯示單元1204顯示圖像?？刂茊卧?205控制HMD 1201。拍攝圖像處理單元1206對由用于體驗MR的攝像單元1203以及用于獲得位置和姿勢的攝像單元1202拍攝的圖像進(jìn)行圖像處理。圖像處理裝置I/F通信單元1207發(fā)送/接收圖像以及控制信號。

另一方面，由與HMD 1201不同的外部裝置，諸如PC(個人計算機(jī))或WS(工作站)等，構(gòu)成圖像處理裝置1210。圖像處理裝置1210配設(shè)有HMD I/F通信單元1211、位置和姿勢獲得單元1212、內(nèi)容數(shù)據(jù)庫(DB)1213、CG渲染單元1214以及其他功能單元(未示出)。圖像處理裝置1210對應(yīng)于圖像處理裝置1104。

HMD I/F通信單元1211發(fā)送/接收圖像，控制信號等。位置和姿勢獲得單元1212根據(jù)從HMD 1201接收到的用于獲得位置和姿勢的拍攝圖像，獲得HMD 1201的位置和姿勢。內(nèi)容數(shù)據(jù)庫(DB)1213存儲虛擬圖像的CG內(nèi)容。CG渲染單元1214將存儲在內(nèi)容DB 1213中的CG圖像，疊加在由用于體驗MR的攝像單元1203拍攝的拍攝圖像上。

注意，在本實施例中，拍攝圖像被從HMD 1201發(fā)送到圖像處理裝置1210，圖像處理裝置1210獲得位置和姿勢并將虛擬圖像的CG疊加到拍攝圖像上，但是構(gòu)造不限于該示例。例如，可以采用如下的構(gòu)造，即，將位置和姿勢獲得單元1212安裝到HMD 1201，并且將HMD 1201的位置和姿勢信息發(fā)送到圖像處理裝置1210。在這種構(gòu)造中，接下來，僅虛擬圖像的CG圖像被從圖像處理裝置1210發(fā)送到HMD 1201，并且在HMD 1201中疊加拍攝圖像與CG圖像。

利用上述的構(gòu)造，由用于體驗MR的攝像單元1203以及用于獲得HMD 1201的位置和姿勢的攝像單元1202所拍攝的外部環(huán)境的圖像，通過拍攝圖像處理單元1206來處理。拍攝圖像處理單元1206的處理內(nèi)容包括拍攝圖像的色調(diào)校正、用于自動曝光的處理等。然后，處理后的拍攝圖像經(jīng)由圖像處理裝置I/F通信單元1207，被發(fā)送到圖像處理裝置1210。

圖像處理裝置1210的位置和姿勢獲得單元1212基于接收到的用于獲得位置和姿勢的拍攝圖像，獲得HMD 1201的位置和姿勢。CG渲染單元1214基于由位置和姿勢獲得單元1212獲得的HMD 1201的位置和姿勢來繪制CG，并且將該CG疊加在由用于體驗MR的攝像單元1203所拍攝的拍攝圖像上。然后，疊加后的圖像經(jīng)由HMD I/F通信單元1211，被發(fā)送到HMD 1201。HMD 1201在顯示單元1204上，顯示從圖像處理裝置1210接收到的圖像。上述構(gòu)造使得用戶能夠通過佩戴HMD 1201，來觀察通過將由圖像處理裝置1210繪制的CG疊加在拍攝圖像上而獲得的疊加后的圖像。

接下來，圖3是HMD 1201的拍攝圖像處理單元1206的詳細(xì)框圖，并且特別地，是用于實現(xiàn)自動曝光功能的功能框圖。拍攝圖像處理單元1206配設(shè)有輝度轉(zhuǎn)換單元1301、輝度積分值獲得單元1302、測光方法確定單元1303、參數(shù)設(shè)定單元1304(設(shè)定單元)以及追蹤參數(shù)確定單元1305。

由用于體驗MR的攝像單元1203或用于獲得位置和姿勢的攝像單元1202拍攝的物理空間的拍攝圖像，被發(fā)送到輝度轉(zhuǎn)換單元1301。輝度轉(zhuǎn)換單元1301針對各個像素，將拍攝圖像從紅色(R)、綠色(G)和藍(lán)色(B)轉(zhuǎn)換成輝度值(獲得輝度值)。使用下面的一般表達(dá)式等，進(jìn)行從R、G和B至輝度(Y)的轉(zhuǎn)換。

Y＝0.299×R+0.587×G+0.114×B (1)

由輝度轉(zhuǎn)換單元1301轉(zhuǎn)換成輝度值的數(shù)據(jù)，被發(fā)送到輝度積分值獲得單元1302。輝度積分值獲得單元1302基于從輝度轉(zhuǎn)換單元1301發(fā)送的輝度值和從測光方法確定單元1303發(fā)送的測光方法，獲得針對各個區(qū) 域加權(quán)的輝度積分值，并且將輝度積分值發(fā)送到參數(shù)設(shè)定單元1304。

在此，將描述由測光方法確定單元1303確定的測光方法。當(dāng)確定測光方法時，將拍攝圖像分割成3×3區(qū)域、5×5區(qū)域等，并且確定要主要使用哪個區(qū)域的輝度值。圖4A至圖4C各自示出了當(dāng)將拍攝圖像分割成4×4區(qū)域時的測光方法的示例。

圖4A中的附圖標(biāo)記1701表示要體驗MR的人，并且附圖標(biāo)記1702表示用于獲得位置和姿勢的攝像單元。圖4A中的用于獲得位置和姿勢的攝像單元1702，被安裝為與MR體驗人1701的視線大致面向相同的方向。在這種情況下，關(guān)于拍攝圖像的中心的區(qū)域1703的輝度積分值的權(quán)重增大。

另一方面，圖4B中的用于獲得位置和姿勢的攝像單元1702面向略微向上的方向。在這種情況下，可能需要去除附裝到天花板的照明，因此與圖4A的情況相比，要加權(quán)的位置改變?yōu)閰^(qū)域1704。類似地，在圖4C的情況下，用于獲得位置和姿勢的攝像單元面向略微向下的方向。在這種情況下，可能需要消除在地板上映出的陰影，因此要加權(quán)的位置類似地改變?yōu)閰^(qū)域1705。

依據(jù)用于體驗MR的位置，改變用于獲得位置和姿勢的攝像單元1702的姿勢，以面向最佳方向。例如，在地板上存在用于獲得位置和姿勢的大量信息的情況下，以如圖4C所示的方式，使用用于獲得位置和姿勢的攝像單元1702。

追蹤參數(shù)確定單元1305將當(dāng)外部環(huán)境的亮度改變時的時間、與當(dāng)進(jìn)行自動曝光控制時的時間之間的時間差的程度，確定為追蹤參數(shù)，并且將該信息發(fā)送到參數(shù)設(shè)定單元1304。

在此，將描述由追蹤參數(shù)確定單元1305確定的追蹤參數(shù)。追蹤參數(shù)表示當(dāng)外部環(huán)境的亮度改變時的時間、與當(dāng)自動曝光控制追蹤該改變時的時間之間的時間差。圖5A和圖5B示出了示出相對于外部環(huán)境的亮度的改變、進(jìn)行自動曝光控制的追蹤的時間差的程度的示例。圖5A示出了用于獲得位置和姿勢的攝像的追蹤參數(shù)的示例，并且圖5B示出了用于體 驗MR的攝像的追蹤參數(shù)的示例。

在圖5A和圖5B的示例中，進(jìn)行控制，使得來自用于獲得位置和姿勢的攝像單元1202的輸出圖像，例如在1fps內(nèi)達(dá)到目標(biāo)輝度，或在5fps內(nèi)達(dá)到目標(biāo)輝度。另一方面，圖5B示出了用于體驗MR的攝像單元1203的追蹤參數(shù)的示例，并且進(jìn)行控制以便以1秒達(dá)到目標(biāo)輝度，或以5秒達(dá)到目標(biāo)輝度。因此，用于獲得位置和姿勢的追蹤參數(shù)，是比用于體驗MR的追蹤參數(shù)更早達(dá)到目標(biāo)輝度的參數(shù)。

基于從輝度積分值獲得單元1302接收到的針對各個區(qū)域的輝度積分值，以及從追蹤參數(shù)確定單元1305接收到的追蹤參數(shù)，參數(shù)設(shè)定單元1304推導(dǎo)諸如快門速度和增益等的攝像參數(shù)，所述攝像參數(shù)為用于體驗MR的攝像單元1203和用于獲得位置和姿勢的攝像單元1202而設(shè)置，使得拍攝圖像的亮度恒定，并且參數(shù)設(shè)定單元1304將攝像參數(shù)發(fā)送到用于體驗MR的攝像單元1203和用于獲得位置和姿勢的攝像單元1202。

注意，在本實施例中，將描述控制快門速度和增益中的至少一個以改變拍攝圖像的輝度的方法，但本發(fā)明不限于此。

接下來，將描述由參數(shù)設(shè)定單元1304進(jìn)行的用于改變快門速度的方法。圖6中的附圖標(biāo)記601至605表示示出外部環(huán)境的亮度的改變、基于該改變的各種控制定時、以及通過這種控制輸出的拍攝圖像的輝度的圖。圖601是示出外部環(huán)境的亮度的改變的圖?？v軸表示亮度，橫軸表示時間，并且亮度被示出為從時刻t1至?xí)r刻t2增加而從時刻t3至?xí)r刻t4減少。

圖602示出了在外部環(huán)境的亮度如圖601中所示改變的情況下，用于體驗MR的攝像單元1203的自動曝光控制的開/關(guān)控制。在從時刻t1起經(jīng)過了一定量的時間時的時刻t5開始自動曝光控制，并且在從時刻t2起歷過了一定量的時間時的時刻t6結(jié)束控制。類似地，在從時刻t3起歷過了一定量的時間時的時刻t7開始自動曝光控制，并且在從時刻t4起歷過了一定量的時間時的時刻t8結(jié)束控制。

圖603示出了在進(jìn)行圖602中所示的開/關(guān)控制的情況下，從用于體 驗MR的攝像單元1203輸出的拍攝圖像的輝度信息。所述控制以小的延遲追蹤外部環(huán)境的亮度的改變，并且通常保持拍攝圖像的亮度恒定?？焖夙憫?yīng)于外部環(huán)境的亮度的改變，對MR體驗人而言感覺不自然，因此，所述控制以小的延遲追蹤外部環(huán)境的亮度的改變。

圖604示出了用于獲得位置和姿勢的攝像單元1202的自動曝光控制的開/關(guān)控制?？刂圃跁r刻t9開始，時刻t9是比用于體驗MR的攝像單元1203的開/關(guān)控制的開始時刻t5更早的定時，而控制在時刻t10結(jié)束，這意味著，控制在比當(dāng)用于體驗MR的攝像單元1203的開/關(guān)控制結(jié)束時的時刻t6更早的定時結(jié)束。

圖605示出了當(dāng)進(jìn)行圖604中所示的開/關(guān)控制時，從用于獲得位置和姿勢的攝像單元輸出的拍攝圖像的輝度信息。如圖605中所示，控制沒有延遲地追蹤外部環(huán)境的亮度的改變，以便保持亮度恒定。

注意，替代圖601至圖605中所示的控制，可以進(jìn)行圖7中的圖701至圖705所示的控制。圖701是示出外部環(huán)境的亮度的改變的圖，并且類似于圖601。在圖601至圖605與圖701至圖705當(dāng)中，圖602與圖702是不同的。具體而言，用于體驗MR的攝像單元1203的自動曝光控制開(ON)的開始時刻不同。圖702中的開始時刻t5在時刻t1與時刻t2之間，但是它比圖602中的開始時刻t5更早。類似地，圖702中的開開始時刻t7在時刻t3與時刻t4之間，但它比圖602中的開始時刻t7更早。

控制用于體驗MR的攝像單元1203的自動曝光控制的開始和結(jié)束，使得從用于體驗MR的攝像單元1203輸出的拍攝圖像的輝度信息，以小的延遲對外部環(huán)境的亮度的改變進(jìn)行追蹤即可，并且可以使用除圖6和圖7中所示的控制方法之外的方法。即使當(dāng)外部環(huán)境的亮度如在圖16中所示的情況下改變時，通過進(jìn)行如圖6等中所示的、用于獲得位置和姿勢的攝像單元1202的自動曝光控制，來自用于獲得位置和姿勢的攝像單元1202的輸出圖像，不是以圖16中的16001至16002的方式，而是以圖16中的16001至16003的方式改變。

圖8是示出根據(jù)本實施例的由拍攝圖像處理單元1206進(jìn)行的自動曝光控制的處理過程的流程圖。在步驟S1801中，輝度轉(zhuǎn)換單元1301確定拍攝圖像是用于獲得位置和姿勢的拍攝圖像，還是用于體驗MR的拍攝圖像。在用于獲得位置和姿勢的拍攝圖像的情況下，操作前進(jìn)到步驟S1802。另一方面，在用于體驗MR的拍攝圖像的情況下，操作前進(jìn)到步驟S1805。

在步驟S1802中，測光方法確定單元1303檢測用于獲得位置和姿勢的攝像單元1202的姿勢。注意，關(guān)于用于獲得位置和姿勢的攝像單元1202的姿勢，可以將用于獲得位置和姿勢的攝像單元1202的姿勢預(yù)先存儲在安裝到HMD 1201的ROM中。作為選擇，可以從圖像處理裝置1210接收數(shù)據(jù)，或者通過HMD 1201拍攝特定圖表，HMD 1201可以獲得用于獲得位置和姿勢的攝像單元1202的姿勢。

在步驟S1803中，測光方法確定單元1303基于用于獲得位置和姿勢的攝像單元1202的姿勢，確定測光方法。如參照圖4A至圖4C所描述的，基于用于獲得位置和姿勢的攝像單元1202的姿勢，來確定測光方法。在步驟S1804中，追蹤參數(shù)確定單元1305確定用于追蹤外部環(huán)境的亮度的改變的參數(shù)。追蹤參數(shù)的確定可以由圖像處理裝置1210來進(jìn)行，或者可以在HMD 1201與圖像處理裝置1210之間的連接序列中確定。

在步驟S1805中，測光方法確定單元1303確定測光方法。例如，主要使用中央?yún)^(qū)域的方法，被確定為關(guān)于用于體驗MR的拍攝圖像的測光方法。在步驟S1806中，追蹤參數(shù)確定單元1305確定關(guān)于用于體驗MR的拍攝圖像的、用于追蹤外部環(huán)境的亮度的改變的參數(shù)。在步驟S1807中，拍攝圖像處理單元1206進(jìn)行自動曝光控制(稍后將參照圖9詳細(xì)描述)，并且圖8的流程圖的處理結(jié)束。

下面，將參照圖9中的流程圖詳細(xì)描述步驟S1807的處理。在步驟S1901中，輝度轉(zhuǎn)換單元1301對獲得的拍攝圖像進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換成輝度值。如上所述進(jìn)行從紅色、綠色和藍(lán)色至輝度值的轉(zhuǎn)換。在步驟S1902中，輝度積分值獲得單元1302基于從輝度轉(zhuǎn)換單元1301發(fā)送的針對各 個像素的輝度值，以及由測光方法確定單元1303確定的測光方法，獲得針對各個區(qū)域的輝度積分值。

在步驟S1903中，追蹤參數(shù)確定單元1305獲得在步驟S1804或步驟S1806中確定的追蹤參數(shù)。在步驟S1904中，參數(shù)設(shè)定單元1304確定自外部環(huán)境的亮度改變以來，是否經(jīng)過了與在步驟S1903中獲得的追蹤參數(shù)相對應(yīng)的預(yù)定時間。在經(jīng)過了預(yù)定時間的情況下，操作前進(jìn)到步驟S1905。另一方面，在未經(jīng)過預(yù)定時間的情況下，操作結(jié)束。

在步驟S1905中，參數(shù)設(shè)定單元1304根據(jù)由輝度積分值獲得單元1302獲得的針對各個區(qū)域的輝度積分值，確定要為各個攝像單元(用于獲得位置和姿勢的攝像單元1202和用于體驗MR的攝像單元1203)設(shè)置的攝像參數(shù)(快門速度、增益等)。在步驟S1906中，參數(shù)設(shè)定單元1304為各個攝像單元設(shè)置在步驟S1905中確定的攝像參數(shù)。然后，圖9中的流程圖的處理結(jié)束。

如上所述，在本實施例中，在用于體驗MR的攝像單元以及用于獲得位置和姿勢的攝像單元中的各個被最優(yōu)化之后，進(jìn)行對用于體驗MR的攝像單元的自動曝光控制，以及對用于獲得位置和姿勢的攝像單元的自動曝光控制，因此，即使在外部環(huán)境的亮度改變的情況下，也能夠獲得更精確的位置和姿勢。

第二實施例

在第一實施例中，使用一個用于獲得位置和姿勢的攝像單元，但在本實施例中，將描述在存在多個用于獲得位置和姿勢的攝像單元的情況下的處理。

圖10A示出了在第一實施例中使用的、并配備有一個用于獲得位置和姿勢的攝像單元2001的HMD 1101。與此相反，圖10B示出了在本實施例中使用的、并配備有兩個用于獲得位置和姿勢的攝像單元2002和2003的HMD 2010。在圖10B中，將用于獲得位置和姿勢的攝像單元2002和2003連接到HMD，以便面對相同的方向，但是可以采用如下的構(gòu)造，即，如圖10C中所示，將用于獲得位置和姿勢的攝像單元2005連接到 HMD，以便面對向上的方向，而將用于獲得位置和姿勢的攝像單元2004連接到HMD，以便面對向下的方向。

圖11是根據(jù)本實施例的具有HMD和圖像處理裝置的圖像處理系統(tǒng)的功能框圖。不同于圖2，安裝有用于獲得位置和姿勢的攝像單元(B)2101，并且拍攝圖像處理單元2102被構(gòu)成為能夠處理三個攝像機(jī)。在本實施例中，將描述存在兩個用于獲得位置和姿勢的攝像單元的示例，但是用于獲得位置和姿勢的攝像單元的數(shù)量為兩個或更多個即可，并且不特別地限于兩個。

圖12是HMD 1201的拍攝圖像處理單元2102的詳細(xì)框圖，并且尤其是用于實現(xiàn)自動曝光功能的功能框圖。不同于圖3，能夠由拍攝圖像處理單元2102，來接收由用于獲得位置和姿勢的攝像單元2101所拍攝的拍攝圖像。用于處理接收到的拍攝圖像的處理單元的構(gòu)造，與圖3中的類似。

接下來，圖13是示出根據(jù)本實施例的由拍攝圖像處理單元2102進(jìn)行的自動曝光控制的處理過程的流程圖。下面將著重于與第一實施例的圖8中的流程圖的各個處理的差異，來給出描述。

在步驟S1801中，輝度轉(zhuǎn)換單元1301確定拍攝圖像是用于獲得位置和姿勢的拍攝圖像，還是用于體驗MR的拍攝圖像。在用于獲得位置和姿勢的拍攝圖像的情況下，代替步驟S1802，操作前進(jìn)到步驟S2301。然而，在用于體驗MR的拍攝圖像的情況下，類似于第一實施例，操作前進(jìn)到步驟S1805。

在步驟S2301中，測光方法確定單元1303對用于獲得位置和姿勢的攝像單元的方向以及用于獲得位置和姿勢的攝像單元之間的關(guān)系進(jìn)行檢測。類似于第一實施例，對攝像單元的方向進(jìn)行檢測以確定測光方法。

下面，將描述攝像單元之間的關(guān)系。如在圖10B和圖10C中，檢測用于獲得位置和姿勢的攝像單元的姿勢的關(guān)系。在圖10B的示例的情況下，用于獲得位置和姿勢的攝像單元2002和2003面向相同的方向，但是在圖10C的示例的情況下，用于獲得位置和姿勢的攝像單元2005面向 上，而用于獲得位置和姿勢的攝像單元2004面向下。在如圖10C所示，用于獲得位置和姿勢的攝像單元面向的方向不同的情況下，優(yōu)選分立地控制自動曝光控制，而不是同步自動曝光控制。這是因為在大多數(shù)情況下，由面向上的攝像單元拍攝的照明環(huán)境的改變，與由面向下的攝像單元拍攝的照明環(huán)境的改變并不相同。

然而，在如圖10B所示的安裝位置的情況下，用于獲得位置和姿勢的攝像單元2002與用于獲得位置和姿勢的攝像單元2003二者面向相同的方向，因此，由用于獲得位置和姿勢的攝像單元2002拍攝的照明環(huán)境的改變、與由用于獲得位置和姿勢的攝像單元2003拍攝的照明環(huán)境的改變大致相同。因此，優(yōu)選同步自動曝光控制。

關(guān)于用于檢測安裝攝像單元的姿勢的關(guān)系的方法，可以采用如下的構(gòu)造，即，將攝像單元之間的關(guān)系預(yù)先存儲在安裝到HMD 1201的ROM中，然后讀出。作為選擇，可以從圖像處理裝置1210接收數(shù)據(jù)，或者可以根據(jù)由HMD 1201拍攝的圖像的輝度分布來估計所述關(guān)系。例如，使用獲得針對畫面的各個區(qū)域的輝度積分值的事實，在針對各個區(qū)域的輝度積分值在攝像單元之間差大于或等于閾值的量的情況下，可以估計出各攝像單元面向的方向不同。然而，如果差小于或等于閾值，則可以估計出各攝像單元面向的方向相同。

圖13中的其他處理類似于第一實施例中的，但是步驟S2302的自動曝光控制的處理內(nèi)容與第一實施例中的不同。

下面，將參照圖14A至圖14B中的流程圖，著重于與圖9中的流程圖的處理的差異，來詳細(xì)描述步驟S2302的處理。在步驟S2401中，輝度轉(zhuǎn)換單元1301確定接收到的拍攝圖像是用于獲得位置和姿勢的拍攝圖像，還是用于體驗MR的拍攝圖像。在用于獲得位置和姿勢的拍攝圖像的情況下，操作前進(jìn)到步驟S2402。另一方面，在用于體驗MR的拍攝圖像的情況下，操作前進(jìn)到步驟S1901。

在步驟S2402中，輝度轉(zhuǎn)換單元1301使用在步驟S2301中檢測到的用于獲得位置和姿勢的攝像單元的姿勢，確定用于獲得位置和姿勢的攝 像單元的姿勢是否相同。在各攝像單元面向的方向相同的情況下，操作前進(jìn)到步驟S2403。然而，在各攝像單元面向的方向不同的情況下，操作前進(jìn)到步驟S1901。

在步驟S2403中，輝度轉(zhuǎn)換單元1301將用于獲得位置和姿勢的攝像單元的所有圖像，轉(zhuǎn)換成輝度值。在步驟S2404中，輝度積分值獲得單元1302基于從輝度轉(zhuǎn)換單元1301發(fā)送的輝度值和由測光方法確定單元1303確定的測光方法，獲得與用于獲得位置和姿勢的攝像單元中的各個有關(guān)的、針對各個區(qū)域的輝度積分值。

在步驟S2405中，輝度積分值獲得單元1302基于在步驟S2404中獲得的、用于獲得位置和姿勢的攝像單元中的各個的輝度積分值，獲得平均輝度積分值。在步驟S2406中，追蹤參數(shù)確定單元1305確定用于追蹤外部環(huán)境的亮度的改變的參數(shù)。在步驟S2407中，參數(shù)設(shè)定單元1304確定自外部環(huán)境的亮度改變以來，是否歷過了與在步驟S2406中獲得的追蹤參數(shù)相對應(yīng)的預(yù)定時間。在歷過了預(yù)定時間的情況下，操作前進(jìn)到步驟S2408。另一方面，在未歷過預(yù)定時間的情況下，操作結(jié)束。

在步驟S2408中，參數(shù)設(shè)定單元1304基于由輝度積分值獲得單元1302獲得的針對各個區(qū)域的輝度積分值，確定要為各個攝像單元設(shè)置的攝像參數(shù)(快門速度、增益等)。在步驟S2409中，參數(shù)設(shè)定單元1304設(shè)置在步驟S2408中確定的、要為攝像單元設(shè)置的參數(shù)，并且為各個攝像單元設(shè)置所述參數(shù)。

另一方面，當(dāng)在步驟S2401中確定拍攝圖像不是用于獲得位置和姿勢的拍攝圖像，或者在步驟S2402中確定用于獲得位置和姿勢的攝像單元面向不同方向的情況下，操作前進(jìn)到步驟S1903至步驟1906的處理。然后進(jìn)行與存在一個攝像單元的情況下的自動曝光控制相同的控制。

在本實施例中，描述了存在兩個用于獲得位置和姿勢的攝像單元的示例，但是可以存在三個或更多個用于獲得位置和姿勢的攝像單元。在這種情況下，針對面向相同方向的用于獲得位置和姿勢的攝像單元中的各個，進(jìn)行自動曝光控制即可。

如上所述，根據(jù)本實施例，在存在多個用于獲得位置和姿勢的攝像單元的情況下，即使外部環(huán)境的亮度改變，也能夠更精確地獲得位置和姿勢。

根據(jù)本發(fā)明，在存在多個攝像單元的情況下，即使外部環(huán)境的亮度改變，也能夠以高精確度進(jìn)行各個攝像單元的圖像拍攝。

其他實施例

還可以通過讀出并執(zhí)行記錄在存儲介質(zhì)(也可更完整地稱為“非暫時性計算機(jī)可讀存儲介質(zhì)”)上的計算機(jī)可執(zhí)行指令(例如，一個或更多個程序)以執(zhí)行上述實施例中的一個或更多個的功能、并且/或者包括用于執(zhí)行上述實施例中的一個或更多個的功能的一個或更多個電路(例如，專用集成電路(ASIC))的系統(tǒng)或裝置的計算機(jī)，來實現(xiàn)本發(fā)明的實施例，并且，可以利用通過由系統(tǒng)或裝置的計算機(jī)例如讀出并執(zhí)行來自存儲介質(zhì)的計算機(jī)可執(zhí)行指令以執(zhí)行上述實施例中的一個或更多個的功能、并且/或者控制一個或更多個電路以執(zhí)行上述實施例中的一個或更多個的功能的方法，來實現(xiàn)本發(fā)明的實施例。計算機(jī)可以包括一個或更多個處理器(例如，中央處理單元(CPU)，微處理單元(MPU))，并且可以包括分立的計算機(jī)或分立的處理器的網(wǎng)絡(luò)，以讀出并執(zhí)行計算機(jī)可執(zhí)行指令。計算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲介質(zhì)被提供給計算機(jī)。存儲介質(zhì)可以包括例如硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、分布式計算系統(tǒng)的存儲器、光盤(諸如壓縮光盤(CD)、數(shù)字通用光盤(DVD)或藍(lán)光光盤(BD)^TM)、閃存裝置以及存儲卡等中的一個或更多個。

本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲介質(zhì)將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機(jī)或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。

雖然參照示例性實施例對本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開的示例性實施例。應(yīng)當(dāng)對所附權(quán)利要求的范圍給予最寬 的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)和功能。