本發(fā)明涉及頭戴式顯示設(shè)備。

背景技術(shù)：

存在一種已知的稱(chēng)為增強(qiáng)現(xiàn)實(shí)(AR)的技術(shù)，用于使用計(jì)算機(jī)來(lái)呈現(xiàn)附加于真實(shí)對(duì)象的信息，真實(shí)對(duì)象即存在于真實(shí)世界中的對(duì)象。在增強(qiáng)現(xiàn)實(shí)中，附加于真實(shí)對(duì)象而顯示的信息也稱(chēng)為“虛擬對(duì)象”。增強(qiáng)現(xiàn)實(shí)的功能被安裝在頭戴式顯示器(以下稱(chēng)為“HMD”或“頭戴式顯示設(shè)備”)上。

HMD利用攝相機(jī)來(lái)拍攝外部場(chǎng)景的圖像、識(shí)別通過(guò)圖像拍攝而獲得的圖像并且生成或獲取虛擬對(duì)象。在HMD的安裝狀態(tài)下不阻擋用戶(hù)視場(chǎng)的透射式HMD使用戶(hù)僅視覺(jué)地識(shí)別包括虛擬對(duì)象的虛擬圖像。用戶(hù)可以通過(guò)觀看真實(shí)世界中的真實(shí)對(duì)象以及由虛擬圖像所表示的虛擬對(duì)象二者來(lái)體驗(yàn)增強(qiáng)現(xiàn)實(shí)。PTL 1描述了一種用于在透射式HMD中對(duì)虛擬圖像的顯示區(qū)和攝相機(jī)的圖像拍攝區(qū)進(jìn)行對(duì)準(zhǔn)的技術(shù)，以減少用戶(hù)在實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)時(shí)所感覺(jué)到的不適感。

引用列表

專(zhuān)利文獻(xiàn)

PTL 1:JP-A-2013-186641

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問(wèn)題

例如當(dāng)在汽車(chē)經(jīng)銷(xiāo)商中使用增強(qiáng)現(xiàn)實(shí)來(lái)確定要訂購(gòu)的汽車(chē)的顏色和配件時(shí)、或者當(dāng)在房屋展示場(chǎng)所中使用增強(qiáng)現(xiàn)實(shí)來(lái)確定要訂購(gòu)的房屋的墻紙和地板材料時(shí)，至少一部分虛擬對(duì)象有時(shí)被疊加顯示在真實(shí)對(duì)象上。在這種情況下，在真實(shí)對(duì)象的顏色與虛擬對(duì)象的顏色疊加的狀態(tài)下，用戶(hù)在視覺(jué)上識(shí)別的顏色是很重要的。PTL1中描述的技術(shù)沒(méi)有考慮到這種與顏色有關(guān)的問(wèn)題。

因此，需要一種能夠在真實(shí)對(duì)象的顏色與虛擬對(duì)象的顏色疊加的狀態(tài)下控制用戶(hù)在視覺(jué)上識(shí)別的顏色的頭戴式顯示設(shè)備。

問(wèn)題的解決方案

本發(fā)明的一些方面的優(yōu)點(diǎn)是解決至少一部分上述問(wèn)題，并且本發(fā)明可以實(shí)現(xiàn)為以下方面。

(1)本發(fā)明的一個(gè)方面提供了一種頭戴式顯示設(shè)備，用戶(hù)利用該頭戴式顯示設(shè)備可以在視覺(jué)上識(shí)別虛擬圖像和外部場(chǎng)景。頭戴式顯示設(shè)備包括：圖像顯示單元，該圖像顯示單元被配置成使用戶(hù)在視覺(jué)上識(shí)別虛擬圖像；增強(qiáng)現(xiàn)實(shí)處理單元，該增強(qiáng)現(xiàn)實(shí)處理單元被配置成使圖像顯示單元形成包括虛擬對(duì)象的虛擬圖像，虛擬圖像的至少一部分被疊加顯示在存在于真實(shí)世界中的真實(shí)對(duì)象上；顏色檢測(cè)單元，該顏色檢測(cè)單元被配置成檢測(cè)真實(shí)對(duì)象顏色，真實(shí)對(duì)象顏色是真實(shí)對(duì)象的顏色；以及顏色調(diào)整單元，該顏色調(diào)整單元被配置成利用檢測(cè)到的真實(shí)對(duì)象顏色來(lái)使視覺(jué)觀察顏色接近目標(biāo)顏色，該視覺(jué)觀察顏色是通過(guò)將虛擬對(duì)象的顏色疊加在真實(shí)對(duì)象顏色上而獲得的顏色。

利用該方面的頭戴式顯示設(shè)備，顏色調(diào)整單元可以利用由顏色檢測(cè)單元所檢測(cè)到的真實(shí)對(duì)象顏色來(lái)控制視覺(jué)觀察顏色，視覺(jué)觀察顏色是通過(guò)將真實(shí)對(duì)象的顏色(真實(shí)對(duì)象顏色)與虛擬對(duì)象的顏色疊加而獲得的顏色，換言之，視覺(jué)觀察顏色是用戶(hù)在視覺(jué)上識(shí)別出的顏色。

(2)在一個(gè)方面的頭戴式顯示設(shè)備中，顏色調(diào)整單元可以通過(guò)調(diào)整虛擬對(duì)象的顏色使得通過(guò)對(duì)檢測(cè)到的真實(shí)對(duì)象顏色和虛擬對(duì)象的顏色進(jìn)行加色混合而獲得的顏色接近目標(biāo)顏色，來(lái)使視覺(jué)觀察顏色接近目標(biāo)顏色。

利用該方面的頭戴式顯示設(shè)備，顏色調(diào)整單元可以通過(guò)調(diào)整虛擬對(duì)象的顏色來(lái)使視覺(jué)觀察顏色接近目標(biāo)顏色。也就是說(shuō)，可以在不向包括在頭戴式顯示設(shè)備中的現(xiàn)有部件添加專(zhuān)用部件的情況下控制目標(biāo)顏色。

(3)在一個(gè)方面的頭戴式顯示設(shè)備中，圖像顯示單元還能夠針對(duì)每個(gè)像素來(lái)改變外部場(chǎng)景的透明度，以及顏色調(diào)整單元可以通過(guò)使圖像顯示單元改變外部場(chǎng)景的透明度來(lái)使視覺(jué)觀察顏色接近目標(biāo)顏色。

利用該方面的頭戴式顯示設(shè)備，顏色調(diào)整單元可以通過(guò)在圖像顯示單元中改變外部場(chǎng)景的透明度來(lái)使視覺(jué)觀察顏色接近目標(biāo)顏色。也就是說(shuō)，可以在頭戴式顯示設(shè)備中控制視覺(jué)觀察顏色而無(wú)需進(jìn)行專(zhuān)門(mén)的圖像處理。

(4)在一個(gè)方面的頭戴式顯示設(shè)備中，顏色調(diào)整單元可以使圖像顯示單元在所檢測(cè)到的真實(shí)對(duì)象顏色的色度等于或高于預(yù)定色度時(shí)改變外部場(chǎng)景的透明度，并且可以在所檢測(cè)到的真實(shí)對(duì)象顏色的色度低于預(yù)定色度時(shí)調(diào)整虛擬對(duì)象的顏色使得通過(guò)對(duì)所檢測(cè)到的真實(shí)對(duì)象顏色和虛擬對(duì)象的顏色進(jìn)行加色混合而獲得的顏色接近目標(biāo)顏色。

利用該方面的頭戴式顯示設(shè)備，顏色調(diào)整單元根據(jù)真實(shí)對(duì)象顏色的色度(亮度)來(lái)適當(dāng)?shù)貐^(qū)分是通過(guò)改變外部場(chǎng)景的透明度來(lái)控制視覺(jué)觀察顏色還是通過(guò)調(diào)整虛擬對(duì)象的顏色來(lái)控制視覺(jué)觀察顏色。當(dāng)真實(shí)對(duì)象顏色的色度高(真實(shí)對(duì)象顏色亮)時(shí)，有效的措施例如是通過(guò)減少外部場(chǎng)景的透明度來(lái)突出虛擬對(duì)象的顏色使得明亮的真實(shí)對(duì)象顏色本身更不易被用戶(hù)看到。另一方面，當(dāng)真實(shí)對(duì)象顏色的色度低(真實(shí)對(duì)象顏色暗)時(shí)，如果使用通過(guò)利用加色混合對(duì)虛擬對(duì)象的顏色進(jìn)行調(diào)整而獲得的經(jīng)調(diào)色顏色，則可以擴(kuò)展可表現(xiàn)的色域。由于可以實(shí)現(xiàn)精細(xì)顏色再現(xiàn)，因此以這種方式可以有效地改進(jìn)顏色的分辨率。因此，顏色調(diào)整單元可以根據(jù)真實(shí)對(duì)象顏色的色調(diào)適當(dāng)?shù)厥褂酶线m的方法來(lái)控制視覺(jué)觀察顏色。

(5)在一個(gè)方面的頭戴式顯示設(shè)備中，顏色調(diào)整單元可以針對(duì)虛擬對(duì)象的每個(gè)像素來(lái)執(zhí)行用于使視覺(jué)觀察顏色接近目標(biāo)顏色的處理。

利用該方面的頭戴式顯示設(shè)備，顏色調(diào)整單元針對(duì)虛擬對(duì)象的每個(gè)像素來(lái)執(zhí)行對(duì)視覺(jué)觀察顏色的控制(用于使視覺(jué)觀察顏色接近目標(biāo)顏色的處理)。因此，可以容易地執(zhí)行對(duì)視覺(jué)觀察顏色的控制。即使當(dāng)多個(gè)顏色混合在虛擬對(duì)象中時(shí)，也可以控制視覺(jué)觀察顏色。

(6)在一個(gè)方面的頭戴式顯示設(shè)備中，顏色調(diào)整單元可以針對(duì)每個(gè)n*m(n和m是等于或大于2的整數(shù))像素塊來(lái)執(zhí)行用于使視覺(jué)觀察顏色接近目標(biāo)顏色的處理，其中該像素塊是虛擬對(duì)象的像素之中的多個(gè)相鄰像素的集合。

利用該方面的頭戴式顯示設(shè)備，顏色調(diào)整單元針對(duì)虛擬對(duì)象的每個(gè)像素塊來(lái)執(zhí)行對(duì)視覺(jué)觀察顏色的控制(用于使視覺(jué)觀察顏色接近目標(biāo)顏色的處理)。因此，可以抑制對(duì)視覺(jué)觀察顏色的控制的結(jié)果對(duì)于每個(gè)像素的波動(dòng)。即使當(dāng)多個(gè)顏色混合在虛擬對(duì)象中時(shí)，也可以控制視覺(jué)觀察顏色。

(7)在一個(gè)方面的頭戴式顯示設(shè)備中，顏色調(diào)整單元可以基于真實(shí)對(duì)象處于其中的真實(shí)光環(huán)境來(lái)確定目標(biāo)顏色。

利用該方面的頭戴式顯示設(shè)備，顏色調(diào)整單元基于真實(shí)對(duì)象處于其中的真實(shí)光環(huán)境來(lái)確定目標(biāo)顏色。因此，可以將目標(biāo)顏色設(shè)置成例如與真實(shí)環(huán)境匹配的顏色。顏色調(diào)整單元可以將目標(biāo)顏色設(shè)置成例如在真實(shí)環(huán)境中顯眼的顏色。

(8)在一個(gè)方面的頭戴式顯示設(shè)備中，顏色調(diào)整單元還可以通過(guò)在考慮虛擬光環(huán)境的情況下對(duì)虛擬對(duì)象的顏色進(jìn)行轉(zhuǎn)換來(lái)改變視覺(jué)觀察顏色。

利用該方面的頭戴式顯示設(shè)備，顏色調(diào)整單元在考慮虛擬光環(huán)境的情況下改變視覺(jué)觀察顏色。因此，增加了頭戴式顯示設(shè)備中的視覺(jué)觀察顏色的再現(xiàn)的范圍?？梢愿倪M(jìn)用戶(hù)的便利性。

(9)在一個(gè)方面的頭戴式顯示設(shè)備中，顏色檢測(cè)單元可以是用于獲取表示外部場(chǎng)景的外部場(chǎng)景圖像的攝相機(jī)。

利用該方面的頭戴式顯示設(shè)備，可以利用普遍的攝相機(jī)作為標(biāo)準(zhǔn)功能來(lái)檢測(cè)真實(shí)對(duì)象顏色。

包括在本發(fā)明的上述各方面中的所有多個(gè)部件并不都是必要的。為了解決上述問(wèn)題中的一部分或全部、或者為了實(shí)現(xiàn)本說(shuō)明書(shū)中描述的部分或全部效果，可以對(duì)多個(gè)部件中的一部分適當(dāng)?shù)貓?zhí)行改變、刪除、用新部件替換以及對(duì)限制內(nèi)容的部分刪除。為了解決上述問(wèn)題的一部分或全部、或者為了實(shí)現(xiàn)本說(shuō)明書(shū)中描述的部分或全部效果，還可以將包括在本發(fā)明的一個(gè)方面中的部分或全部技術(shù)特征與包括在本發(fā)明的其它方面中的技術(shù)特征進(jìn)行組合以形成本發(fā)明的另一個(gè)方面。

例如，本發(fā)明的一個(gè)方面可以實(shí)現(xiàn)為包括四個(gè)部件即圖像顯示單元、增強(qiáng)現(xiàn)實(shí)處理單元、顏色檢測(cè)單元和顏色調(diào)整單元中的部分或全部的設(shè)備。也就是說(shuō)，該設(shè)備可以包括或者不包括圖像顯示單元。該設(shè)備可以包括或者不包括增強(qiáng)現(xiàn)實(shí)處理單元。該設(shè)備可以包括或者不包括顏色檢測(cè)單元。該設(shè)備可以包括或者不包括顏色調(diào)整單元。該設(shè)備可以實(shí)現(xiàn)為例如頭戴式顯示設(shè)備。該設(shè)備還可以實(shí)現(xiàn)為頭戴式顯示設(shè)備之外的設(shè)備?？梢詫⒏鞣矫嬷械念^戴式顯示設(shè)備的部分或全部技術(shù)特征應(yīng)用于該設(shè)備。例如，本發(fā)明的一個(gè)方面中的設(shè)備具有以下目的：在真實(shí)對(duì)象的顏色與虛擬對(duì)象的顏色疊加的狀態(tài)下控制由用戶(hù)在視覺(jué)上識(shí)別的顏色。然而，除此之外，對(duì)于設(shè)備而言，設(shè)備尺寸的減小、便利性的改進(jìn)、設(shè)備制造成本的降低、資源節(jié)約、制造便利性等也是期望的。

注意，本發(fā)明可以以各種形式實(shí)現(xiàn)。本發(fā)明可以以例如以下形式實(shí)現(xiàn)：頭戴式顯示設(shè)備、用于頭戴式顯示設(shè)備的控制方法、包括頭戴式顯示設(shè)備的系統(tǒng)、用于實(shí)現(xiàn)方法、設(shè)備和系統(tǒng)的功能的計(jì)算機(jī)程序、用于分發(fā)計(jì)算機(jī)程序的設(shè)備以及存儲(chǔ)有計(jì)算機(jī)程序的存儲(chǔ)介質(zhì)。

附圖說(shuō)明

[圖1]圖1是示出本發(fā)明的實(shí)施方式中的頭戴式顯示設(shè)備的示意性配置的說(shuō)明圖；

[圖2]圖2是示出頭戴式顯示設(shè)備在功能方面的配置的框圖；

[圖3A]圖3A是示出由用戶(hù)在視覺(jué)上識(shí)別的虛擬圖像的示例的說(shuō)明圖；

[圖3B]圖3B是示出由用戶(hù)在視覺(jué)上識(shí)別的虛擬圖像的示例的說(shuō)明圖；

[圖4]圖4是用于說(shuō)明顏色調(diào)整處理的過(guò)程的流程圖；

[圖5]圖5是用于說(shuō)明顏色調(diào)整處理的示例的圖示；

[圖6]圖6是用于說(shuō)明顏色調(diào)整處理的另一示例的圖示；

[圖7]圖7是示出第二實(shí)施方式中的頭戴式顯示設(shè)備在功能方面的配置的框圖；

[圖8]圖8是用于說(shuō)明第二實(shí)施方式中的顏色調(diào)整處理的圖示；

[圖9]圖9是用于說(shuō)明顏色轉(zhuǎn)換處理的過(guò)程的流程圖；

[圖10]圖10是示出環(huán)境對(duì)應(yīng)關(guān)系表的示例的圖示；

[圖11A]圖11A是示出在修改例中的頭戴式顯示設(shè)備的外觀的配置的說(shuō)明圖；

[圖11B]圖11B是示出在修改例中的頭戴式顯示設(shè)備的外觀的配置的說(shuō)明圖。

具體實(shí)施方式

A.實(shí)施方式

A-1.頭戴式顯示設(shè)備的配置

圖1是示出本發(fā)明的一個(gè)實(shí)施方式中的頭戴式顯示設(shè)備的示意性配置的說(shuō)明圖。本實(shí)施方式中的頭戴式顯示設(shè)備100是被安裝在頭部的顯示設(shè)備，也稱(chēng)為頭戴式顯示器(HMD)。HMD 100是光學(xué)透射式頭戴式顯示器，用戶(hù)利用HMD 100可以在視覺(jué)上識(shí)別虛擬圖像，并且同時(shí)直接在視覺(jué)上識(shí)別外部場(chǎng)景。

本實(shí)施方式中的HMD 100可以使用HMD 100的CPU來(lái)執(zhí)行用于向“真實(shí)對(duì)象”添加信息的增強(qiáng)現(xiàn)實(shí)(AR)處理，所述“真實(shí)對(duì)象”是存在于真實(shí)世界中的對(duì)象。對(duì)象可以是指任何人、任何動(dòng)物或植物、任何物體(包括人造物體和自然物體)等。在增強(qiáng)現(xiàn)實(shí)處理中，附加于真實(shí)對(duì)象而顯示的信息稱(chēng)為“虛擬對(duì)象”。在增強(qiáng)現(xiàn)實(shí)處理中，本實(shí)施方式中的HMD 100使用戶(hù)僅在視覺(jué)上識(shí)別包括虛擬對(duì)象的虛擬圖像。用戶(hù)可以通過(guò)觀看從HMD 100透射的真實(shí)對(duì)象和由虛擬圖像所表示的虛擬對(duì)象二者來(lái)體驗(yàn)增強(qiáng)現(xiàn)實(shí)。在這樣的虛擬現(xiàn)實(shí)處理中，本實(shí)施方式中的HMD 100可以對(duì)通過(guò)將真實(shí)對(duì)象的顏色與虛擬對(duì)象的顏色疊加而獲得的顏色進(jìn)行控制，即對(duì)用戶(hù)在視覺(jué)上識(shí)別的顏色(以下還簡(jiǎn)稱(chēng)為“視覺(jué)觀察顏色”)進(jìn)行控制。

注意，本實(shí)施方式中的真實(shí)對(duì)象包括“真實(shí)感興趣的對(duì)象”和“真實(shí)背景對(duì)象”二者，“真實(shí)感興趣的對(duì)象”是用戶(hù)所感興趣的對(duì)象(即用戶(hù)正在看的對(duì)象)，“真實(shí)背景對(duì)象”是用戶(hù)不感興趣的對(duì)象(例如盡管處于用戶(hù)的視場(chǎng)內(nèi)但用戶(hù)沒(méi)有在看的對(duì)象)。在該實(shí)施方式中，包括真實(shí)感興趣的對(duì)象和真實(shí)背景對(duì)象二者的真實(shí)對(duì)象可以是增強(qiáng)現(xiàn)實(shí)處理的處理目標(biāo)。

HMD 100包括圖像顯示單元20以及控制單元(控制器)10，圖像顯示單元20使用戶(hù)在用戶(hù)頭部安裝有HMD 100的狀態(tài)下在視覺(jué)上識(shí)別虛擬圖像，控制單元10對(duì)圖像顯示單元20進(jìn)行控制。注意，為了方便起見(jiàn)，在以下說(shuō)明中，使用HMD 100的用戶(hù)在視覺(jué)上識(shí)別的虛擬圖像還被稱(chēng)為“被顯示圖像”。HMD 100發(fā)出基于圖像數(shù)據(jù)而生成的圖像光還被稱(chēng)為“對(duì)圖像進(jìn)行顯示”。

A-1-1.圖像顯示單元的配置

圖2是示出HMD 100在功能方面的配置的框圖。圖像顯示單元20是戴在用戶(hù)頭部的穿戴體。在本實(shí)施方式中，圖像顯示單元20具有眼鏡的形狀(圖1)。圖像顯示單元20包括右保持單元21、右顯示驅(qū)動(dòng)單元22、左保持單元23、左顯示驅(qū)動(dòng)單元24、右光學(xué)圖像顯示單元26、左光學(xué)圖像顯示單元28、攝相機(jī)61和九軸傳感器66。下面將說(shuō)明在用戶(hù)戴著圖像顯示單元20的狀態(tài)下圖像顯示單元20中的各單元的位置關(guān)系和功能。

如圖1所示，右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28被設(shè)置成分別位于用戶(hù)的右眼的前方和左眼的前方。右光學(xué)圖像顯示單元26的一端和左光學(xué)圖像顯示單元28的一端在與用戶(hù)前額的中間對(duì)應(yīng)的位置處連接。如圖2所示，右光學(xué)圖像顯示單元26包括右導(dǎo)光板261、右電子遮擋件261s和調(diào)光板(未圖示)。右導(dǎo)光板261由透光樹(shù)脂材料等形成。右導(dǎo)光板261將從右顯示驅(qū)動(dòng)單元22輸出的圖像光引導(dǎo)到用戶(hù)的右眼RE同時(shí)沿著預(yù)定的光路反射圖像光。

右電子遮擋件261s是在其上以矩陣形狀布置有多個(gè)像素的透射式液晶面板。右電子遮擋件261s根據(jù)像素單元中的供給電壓的增加或降低來(lái)增加或減少?gòu)耐獠恳龑?dǎo)到用戶(hù)的右眼RE的外部光的透射率。在本實(shí)施方式的右電子遮擋件261s中，在沒(méi)有供給電壓的情況下，外部光的透射率為100％。在供給電壓為最大的狀態(tài)下，外部光的透射率為0％(外部光被阻擋)。注意，圖2中的電子遮擋件的設(shè)置是示例。僅需要將右電子遮擋件261s設(shè)置在右LCD 241與用戶(hù)右眼RE之間的光路上。右電子遮擋件261s可以設(shè)置在右LCD 241與用戶(hù)右眼RE之間的光路以外，使得被并入到從右LCD 24導(dǎo)向右眼RE的光中的外部光通過(guò)右電子遮擋件261s增加或減少。調(diào)光板是薄的板狀光學(xué)設(shè)備，并且被設(shè)置成覆蓋在圖像顯示單元20的前側(cè)(與用戶(hù)的眼睛側(cè)相對(duì)的一側(cè))。調(diào)光板保護(hù)右導(dǎo)光板261和右電子遮擋件261s，并且抑制例如污漬對(duì)右導(dǎo)光板261和右電子遮擋件261s的損壞和附著。通過(guò)調(diào)整調(diào)光板的光透射率，可以調(diào)整外部光進(jìn)入用戶(hù)眼睛的量，并且調(diào)整在視覺(jué)上識(shí)別虛擬圖像的容易程度。注意，可以省略調(diào)光板。

左光學(xué)圖像顯示單元28包括左導(dǎo)光板262、左電子遮擋件262s和調(diào)光板(未圖示)。左導(dǎo)光板262、左電子遮擋件262s和調(diào)光板的細(xì)節(jié)與右光學(xué)圖像顯示單元26的右導(dǎo)光板261、右電子遮擋件261s和調(diào)光板相同。注意，右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28還被統(tǒng)一簡(jiǎn)稱(chēng)為“光學(xué)圖像顯示單元”。右電子遮擋件261s和左電子遮擋件262s還被統(tǒng)一簡(jiǎn)稱(chēng)為“電子遮擋件”。光學(xué)圖像顯示單元可以采用任何系統(tǒng)，只要光學(xué)圖像顯示單元能在用戶(hù)的眼睛前方形成虛擬圖像即可。例如，可以使用衍射光柵來(lái)實(shí)現(xiàn)光學(xué)圖像顯示單元，或者可以使用穿透反射式膜來(lái)實(shí)現(xiàn)光學(xué)圖像顯示單元。

如圖1所示，右保持單元21被設(shè)置成從右光學(xué)圖像顯示單元26的另一端ER延伸到與用戶(hù)的太陽(yáng)穴區(qū)域?qū)?yīng)的位置。左保持單元23被設(shè)置成從左光學(xué)圖像顯示單元28的另一端EL延伸到與用戶(hù)的太陽(yáng)穴區(qū)域?qū)?yīng)的位置。右保持單元21和左保持單元23像眼鏡的鏡腿一樣將圖像顯示單元20保持在用戶(hù)的頭部。注意，右保持單元21和左保持單元23還被統(tǒng)一簡(jiǎn)稱(chēng)為“保持單元”。

如圖1所示，右顯示驅(qū)動(dòng)單元22被設(shè)置在右保持單元21的內(nèi)側(cè)(與用戶(hù)的頭部相對(duì)的一側(cè))。左顯示驅(qū)動(dòng)單元24被設(shè)置在左保持單元23的內(nèi)側(cè)。如圖2所示，右顯示驅(qū)動(dòng)單元22包括接收單元(Rx)53、用作光源的右背光(BL)221和右背光(BL)控制單元201、用作顯示設(shè)備的右LCD液晶顯示器)241和右LCD(控制單元211、以及右投影光學(xué)系統(tǒng)251。注意，右背光控制單元201、右LCD控制單元211、右背光221和右LCD 241還被統(tǒng)稱(chēng)為“圖像光生成單元”。

接收單元53用作用于控制單元10與圖像顯示單元20之間的串行傳輸?shù)慕邮掌鳌Ｓ冶彻饪刂茊卧?01基于輸入控制信號(hào)來(lái)驅(qū)動(dòng)右背光221。右背光221是發(fā)光體，諸如LED(發(fā)光二極管)或電致發(fā)光(EL)器件。右LCD控制單元221基于時(shí)鐘信號(hào)PCLK、垂直同步信號(hào)VSync、水平同步信號(hào)HSync、經(jīng)由接收單元53輸入的用于右眼的圖像數(shù)據(jù)Data來(lái)驅(qū)動(dòng)右LCD 241。右LCD 241是在其上以矩陣形狀布置有多個(gè)像素的透射式液晶面板。右投影光學(xué)系統(tǒng)251是用于將從右LCD 241射出的圖像光變成平行狀態(tài)的光束的準(zhǔn)直透鏡。

左顯示驅(qū)動(dòng)單元24包括接收單元(Rx)54、用作光源的左背光(BL)222和左背光(BL)控制單元202、用作顯示設(shè)備的左LCD 242和左LCD控制單元212、以及左投影光學(xué)系統(tǒng)252。這些部件的細(xì)節(jié)與右顯示驅(qū)動(dòng)單元22的對(duì)應(yīng)部件相同。注意，右顯示驅(qū)動(dòng)單元22和左顯示驅(qū)動(dòng)單元24還被統(tǒng)一簡(jiǎn)稱(chēng)為“顯示驅(qū)動(dòng)單元”。

如圖1所示，攝相機(jī)61被設(shè)置在與用戶(hù)右眼的外眼角的上部對(duì)應(yīng)的位置處。在安裝有HMD 100的狀態(tài)下，攝相機(jī)61拍攝圖像顯示單元20前方的圖像，也就是說(shuō)在用戶(hù)視場(chǎng)方向上的外部場(chǎng)景(外部的場(chǎng)景)的圖像，并且獲取外部場(chǎng)景圖像。攝相機(jī)61是所謂的可見(jiàn)光攝相機(jī)。因此，外部場(chǎng)景圖像是利用從對(duì)象輻射的可見(jiàn)光來(lái)表示對(duì)象形狀的圖像。本實(shí)施方式中的攝相機(jī)61是單目攝相機(jī)。然而，也可采用所謂的立體攝相機(jī)。攝相機(jī)61用作“顏色檢測(cè)單元”。

如圖1所示，九軸傳感器66被設(shè)置在與用戶(hù)右側(cè)的鏡腿對(duì)應(yīng)的位置處。九軸傳感器66是用于檢測(cè)加速度(三軸)、角速度(三軸)和地磁(三軸)的運(yùn)動(dòng)傳感器。由于九軸傳感器66設(shè)置在圖像顯示單元20中，因此當(dāng)用戶(hù)頭上戴有圖像顯示單元20時(shí)，九軸傳感器66用作檢測(cè)頭戴式顯示器100的用戶(hù)的頭部運(yùn)動(dòng)的運(yùn)動(dòng)檢測(cè)單元。頭部運(yùn)動(dòng)包括頭部的速度、加速度、角速度、方向和方向的改變。

如圖1所示，圖像顯示單元20包括用于將圖像顯示單元20連接至控制單元10的連接單元40。連接單元40包括：連接至控制單元10的主體線(xiàn)48、從主體線(xiàn)48分支的右線(xiàn)42和左線(xiàn)44以及設(shè)置在分支點(diǎn)處的耦接構(gòu)件46。耦接構(gòu)件46中設(shè)置有用于連接耳機(jī)插頭30的插孔。右耳機(jī)32和左耳機(jī)34從耳機(jī)插頭30延伸。圖像顯示單元20和控制單元10經(jīng)由連接單元40執(zhí)行各種信號(hào)的傳輸。作為連接單元40的線(xiàn)，可以采用例如金屬線(xiàn)纜和光纖。

A-1-2.控制單元的配置

控制單元10是用于控制HMD 100的設(shè)備。如圖1所示，控制單元10包括：確定鍵11、照明單元12、顯示切換鍵13、觸控板14、亮度切換鍵15、方向鍵16、菜單鍵17和電源開(kāi)關(guān)18。確定鍵11對(duì)按壓操作進(jìn)行檢測(cè)并且輸出用于確定控制單元10中的工作內(nèi)容的信號(hào)。照明單元12通過(guò)例如LED來(lái)實(shí)現(xiàn)，并且利用LED的發(fā)光狀態(tài)來(lái)通知HMD 100的工作狀態(tài)(例如光源的接通/斷開(kāi))。顯示切換鍵13對(duì)按壓操作進(jìn)行檢測(cè)，并且輸入例如用于將內(nèi)容移動(dòng)圖像的顯示模式切換為3D和2D的信號(hào)。

觸控板14檢測(cè)用戶(hù)的手指在觸控板14的操作表面上進(jìn)行的操作，并且輸出與檢測(cè)到的內(nèi)容對(duì)應(yīng)的信號(hào)。作為觸控板14，可以采用各種類(lèi)型，諸如靜電型、壓力型和光學(xué)型。亮度切換鍵15對(duì)按壓操作進(jìn)行檢測(cè)并且輸出用于增加或減少圖像顯示單元20的亮度的信號(hào)。方向鍵16檢測(cè)鍵上的與上、下、左和右方向?qū)?yīng)的按壓操作，并且輸出與檢測(cè)到的內(nèi)容對(duì)應(yīng)的信號(hào)。電源開(kāi)關(guān)18檢測(cè)開(kāi)關(guān)的滑動(dòng)操作，以切換HMD 100的電源狀態(tài)。

如圖2所示，控制單元10包括：輸入信息獲取單元110、存儲(chǔ)單元120、電源130、無(wú)線(xiàn)電通信單元132、GPS模塊134、CPU 140、接口180、發(fā)送單元(Tx)51和發(fā)送單元(Tx)52。各單元之間通過(guò)未示出的總線(xiàn)相互連接。

輸入信息獲取單元110獲取與確定鍵11、顯示切換鍵13、觸控板14、亮度切換鍵15、方向鍵16、菜單鍵17和電源開(kāi)關(guān)18的操作輸入對(duì)應(yīng)的信號(hào)。輸入信息獲取單元110可以獲取通過(guò)除上述操作輸入之外的各種方法實(shí)現(xiàn)的操作輸入。例如，輸入信息獲取單元110可以獲取通過(guò)腳踏開(kāi)關(guān)(通過(guò)用戶(hù)的腳來(lái)操作的開(kāi)關(guān))而實(shí)現(xiàn)的操作輸入。例如，輸入信息獲取單元110可以獲取通過(guò)視線(xiàn)檢測(cè)單元(未圖示)檢測(cè)到的用戶(hù)的視線(xiàn)以及通過(guò)與眼睛的移動(dòng)相關(guān)聯(lián)的命令而實(shí)現(xiàn)的操作輸入。命令可以被設(shè)置成能夠由用戶(hù)來(lái)添加。例如，可以使用攝相機(jī)61來(lái)檢測(cè)用戶(hù)姿態(tài)。可以獲取通過(guò)與該姿態(tài)相關(guān)聯(lián)的命令所實(shí)現(xiàn)的操作輸入。在姿態(tài)檢測(cè)中，可以使用用戶(hù)的指尖、用戶(hù)手上戴的戒指、用戶(hù)持有的醫(yī)療儀器等作為用于運(yùn)動(dòng)檢測(cè)的標(biāo)記。如果可以獲取通過(guò)這些方法所實(shí)現(xiàn)的操作輸入，則即使在用戶(hù)難以解放雙手的工作中，輸入信息獲取單元110也可以獲取來(lái)自用戶(hù)的操作輸入。

存儲(chǔ)單元120通過(guò)ROM、RAM、DRAM、硬盤(pán)等來(lái)被配置。存儲(chǔ)單元120中存儲(chǔ)有各種計(jì)算機(jī)程序，諸如操作系統(tǒng)(OS)。在存儲(chǔ)單元120中存儲(chǔ)有色度參考122。

在色度參考122中，預(yù)先存儲(chǔ)作為在下面說(shuō)明的顏色調(diào)整處理中使用的色度參考的值。在本實(shí)施方式中，使用RGB顏色空間或HSB顏色空間中的“S值”作為色度參考。色度參考122的值用來(lái)適當(dāng)?shù)厥褂每刂埔曈X(jué)觀察顏色的方法。注意，色度參考122的值能夠由用戶(hù)適當(dāng)?shù)馗淖儭?/p>

電源130向HMD 100的各單元提供電力。作為電源130，例如可以使用二次電池。

無(wú)線(xiàn)電通信單元132根據(jù)預(yù)定的無(wú)線(xiàn)電通信標(biāo)準(zhǔn)與外部裝置進(jìn)行無(wú)線(xiàn)電通信。預(yù)定的無(wú)線(xiàn)電通信標(biāo)準(zhǔn)例如是以紅外線(xiàn)和藍(lán)牙(注冊(cè)商標(biāo))為示例的短距離無(wú)線(xiàn)電通信，或者以IEEE802.11為示例的無(wú)線(xiàn)LAN。

GPS模塊134接收來(lái)自GPS衛(wèi)星的信號(hào)從而檢測(cè)HMD 100的用戶(hù)的當(dāng)前位置，并且生成表示用戶(hù)當(dāng)前位置信息的當(dāng)前位置信息。當(dāng)前位置信息可以通過(guò)例如表示經(jīng)度和緯度的坐標(biāo)來(lái)實(shí)現(xiàn)。

CPU 140讀取并執(zhí)行被存儲(chǔ)在存儲(chǔ)單元120中的計(jì)算機(jī)程序，從而用作增強(qiáng)現(xiàn)實(shí)處理單元142、顏色調(diào)整單元144、OS 150、圖像處理單元160、聲音處理單元170和顯示控制單元190。

增強(qiáng)現(xiàn)實(shí)處理單元142執(zhí)行增強(qiáng)現(xiàn)實(shí)處理。增強(qiáng)現(xiàn)實(shí)處理是用于向?qū)嶋H存在于真實(shí)世界中的真實(shí)對(duì)象添加虛擬對(duì)象并且顯示虛擬對(duì)象的處理。增強(qiáng)現(xiàn)實(shí)處理包括下面說(shuō)明的過(guò)程a1至a6。

(a1)增強(qiáng)現(xiàn)實(shí)處理單元142獲取由攝相機(jī)61拍攝的外部場(chǎng)景圖像。

(a2)增強(qiáng)現(xiàn)實(shí)處理單元142從在過(guò)程a1中獲取的外部場(chǎng)景圖像所包括的真實(shí)對(duì)象之中指定一個(gè)真實(shí)對(duì)象集作為虛擬對(duì)象的添加目標(biāo)(以下還稱(chēng)為“目標(biāo)對(duì)象”)。

(a3)增強(qiáng)現(xiàn)實(shí)處理單元142獲取目標(biāo)對(duì)象關(guān)于HMD 100的位置以及目標(biāo)對(duì)象與HMD 100之間的距離。在獲取位置和距離時(shí)，增強(qiáng)現(xiàn)實(shí)處理單元142可以使用通過(guò)立體攝相機(jī)獲取的兩個(gè)或更多個(gè)外部場(chǎng)景圖像來(lái)計(jì)算位置和距離。增強(qiáng)現(xiàn)實(shí)處理單元142可以使用未示出的各種傳感器(例如深度傳感器和測(cè)距傳感器)來(lái)計(jì)算位置和距離。

(a4)增強(qiáng)現(xiàn)實(shí)處理單元142獲取或生成表示虛擬對(duì)象的圖像、字符、圖形符號(hào)等。增強(qiáng)現(xiàn)實(shí)處理單元142可以將虛擬對(duì)象預(yù)先存儲(chǔ)在存儲(chǔ)單元120中，或者可以經(jīng)由網(wǎng)絡(luò)從連接至HMD 100的另一設(shè)備獲取虛擬對(duì)象。

(a5)增強(qiáng)現(xiàn)實(shí)處理單元142生成附加圖像數(shù)據(jù)，在該附加圖像數(shù)據(jù)中，過(guò)程a4中的虛擬對(duì)象是按照在過(guò)程a3中獲取的目標(biāo)對(duì)象的位置和距離來(lái)布置的，并且在其他單元中布置成黑色。在該對(duì)準(zhǔn)中，增強(qiáng)現(xiàn)實(shí)處理單元142可以使用目標(biāo)對(duì)象的特征或特性部分(邊緣等)，或者可以使用標(biāo)記，諸如附加到目標(biāo)對(duì)象的標(biāo)記。在布置虛擬對(duì)象時(shí)，增強(qiáng)現(xiàn)實(shí)處理單元142可以對(duì)虛擬對(duì)象應(yīng)用圖像處理，諸如放大、縮小、旋轉(zhuǎn)或顏色轉(zhuǎn)換。

(a6)增強(qiáng)現(xiàn)實(shí)處理單元142將附加圖像數(shù)據(jù)發(fā)送至圖像處理單元160。圖像處理單元160對(duì)接收到的附加圖像數(shù)據(jù)執(zhí)行下面說(shuō)明的顯示處理。

顏色調(diào)整單元144執(zhí)行用于控制視覺(jué)觀察顏色的顏色調(diào)整處理。顏色調(diào)整處理是在過(guò)程a5和過(guò)程a6之間執(zhí)行的處理，作為增強(qiáng)現(xiàn)實(shí)處理的子例程。下面將對(duì)顏色調(diào)整處理的細(xì)節(jié)進(jìn)行說(shuō)明。

圖像處理單元160執(zhí)行用于圖像顯示的信號(hào)處理。具體地，當(dāng)內(nèi)容(視頻)經(jīng)由接口180或無(wú)線(xiàn)電通信單元132被輸入時(shí)，圖像處理單元160基于該內(nèi)容生成圖像數(shù)據(jù)Data。當(dāng)從HMD 100的另一功能單元接收到圖像數(shù)據(jù)時(shí)，圖像處理單元160將接收到的圖像數(shù)據(jù)設(shè)置為圖像數(shù)據(jù)Data。注意，圖像處理單元160可以對(duì)圖像數(shù)據(jù)Data執(zhí)行圖像處理，諸如分辨率轉(zhuǎn)換處理、各種類(lèi)型的色調(diào)校正處理諸如亮度和色度調(diào)整、以及梯形失真校正處理。圖像處理單元160經(jīng)由發(fā)送單元51和發(fā)送單元52向圖像顯示單元20發(fā)送圖像數(shù)據(jù)Data、時(shí)鐘信號(hào)PCLK、垂直同步信號(hào)VSync和水平同步信號(hào)HSync。

顯示控制單元190生成用于控制右顯示驅(qū)動(dòng)單元22和左顯示驅(qū)動(dòng)單元24的控制信號(hào)。具體地，顯示控制單元190使用控制信號(hào)通過(guò)右LCD控制單元211和左LCD控制單元212分別控制右LCD 241和左LCD242的驅(qū)動(dòng)的接通/斷開(kāi)、通過(guò)右背光控制單元201和左背光控制單元202分別控制右背光221和左背光222的驅(qū)動(dòng)的接通/斷開(kāi)，從而通過(guò)右顯示驅(qū)動(dòng)單元22和左顯示驅(qū)動(dòng)單元24控制圖像光的生成和發(fā)射。顯示控制單元190經(jīng)由發(fā)送單元51和發(fā)送單元52將控制信號(hào)發(fā)送至圖像顯示單元20。

聲音處理單元170獲取包括在內(nèi)容中的聲音信號(hào)、放大所獲取的聲音信號(hào)并且將經(jīng)放大的聲音信號(hào)提供給右耳機(jī)32的未示出的揚(yáng)聲器和左耳機(jī)34的未示出的揚(yáng)聲器。

接口180根據(jù)預(yù)定的有線(xiàn)通信標(biāo)準(zhǔn)與外部裝置OA進(jìn)行通信。預(yù)定的有線(xiàn)通信標(biāo)準(zhǔn)例如是Micro USB(通用串行總線(xiàn))、USB、HDMI(高清晰度多媒體接口；HDMI是注冊(cè)商標(biāo))、DVI(數(shù)字視頻接口)、VGA(視頻圖像陣列)、復(fù)合視頻端子(composite)、RS-232C(推薦標(biāo)準(zhǔn)232)或以IEEE802.3為示例的有線(xiàn)LAN。作為外部裝置OA，可以使用例如個(gè)人計(jì)算機(jī)PC、蜂窩電話(huà)終端和游戲終端。

圖3A和圖3B是示出用戶(hù)在視覺(jué)上識(shí)別的虛擬圖像的示例的說(shuō)明圖。圖3A示出在未執(zhí)行增強(qiáng)現(xiàn)實(shí)處理時(shí)獲得的用戶(hù)視場(chǎng)VR。如上所述，被引導(dǎo)至HMD 100的用戶(hù)雙眼的圖像光聚焦在用戶(hù)的視網(wǎng)膜上，由此用戶(hù)在視覺(jué)上識(shí)別虛擬圖像VI。在圖3A所示的示例中，虛擬圖像VI是HMD 100的OS 150的待機(jī)畫(huà)面。用戶(hù)通過(guò)右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28在視覺(jué)上識(shí)別外部場(chǎng)景SC。以這種方式，在虛擬圖像VI被顯示在視場(chǎng)VR中的部分中，在該實(shí)施方式中的HMD 100的用戶(hù)可以觀看到虛擬圖像VI以及該虛擬圖像后方的外部場(chǎng)景SC。在虛擬圖像VI未被顯示在視場(chǎng)VR中的單元中，用戶(hù)可以通過(guò)光學(xué)圖像顯示單元直接觀看到外部場(chǎng)景SC。

圖3B示出在執(zhí)行增強(qiáng)現(xiàn)實(shí)處理時(shí)所獲得的用戶(hù)視場(chǎng)VR。通過(guò)執(zhí)行增強(qiáng)現(xiàn)實(shí)處理，用戶(hù)在視覺(jué)上識(shí)別包括虛擬對(duì)象VO的虛擬圖像VI。虛擬對(duì)象VO是被布置成與外部場(chǎng)景SC中的山腳交疊的蘋(píng)果的圖像。以這種方式，用戶(hù)可以通過(guò)觀看到包括在虛擬圖像VI中的虛擬對(duì)象VO以及穿過(guò)虛擬圖像VI看到后面的外部場(chǎng)景SC中的真實(shí)對(duì)象二者來(lái)體驗(yàn)增強(qiáng)現(xiàn)實(shí)。

A-2.顏色調(diào)整處理

顏色調(diào)整處理是用于在增強(qiáng)現(xiàn)實(shí)處理期間控制視覺(jué)觀察顏色的處理。視覺(jué)觀察顏色是指將真實(shí)對(duì)象的顏色與虛擬對(duì)象的顏色疊加而得到的顏色，換言之，是用戶(hù)實(shí)際在視覺(jué)上識(shí)別的顏色。顏色調(diào)整處理在增強(qiáng)現(xiàn)實(shí)處理的過(guò)程a5和過(guò)程a6之間執(zhí)行，作為增強(qiáng)現(xiàn)實(shí)處理的子例程。注意，在下面說(shuō)明的顏色調(diào)整處理中，使用RGB顏色空間中的“RGB值”或HSB顏色空間中的“HSB值”來(lái)指定“顏色”。也就是說(shuō)，在該實(shí)施方式中的“顏色”包括色相、色度和亮度。

圖4是用于說(shuō)明顏色調(diào)整處理的過(guò)程的流程圖。圖5是用于說(shuō)明顏色調(diào)整處理的示例的圖示。在圖5所示的示例中，在汽車(chē)經(jīng)銷(xiāo)商中，用戶(hù)UR在確定要訂購(gòu)的汽車(chē)的車(chē)身顏色時(shí)使用增強(qiáng)現(xiàn)實(shí)處理。圖6是用于說(shuō)明顏色調(diào)整處理的另一示例的圖示。在圖6所示的示例中，在汽車(chē)經(jīng)銷(xiāo)商中，用戶(hù)UR在確定給要訂購(gòu)的汽車(chē)添加的配件時(shí)使用增強(qiáng)現(xiàn)實(shí)處理。

在顏色調(diào)整處理(圖4)的步驟S100中，顏色調(diào)整單元144獲取虛擬對(duì)象。具體地，顏色調(diào)整單元144從增強(qiáng)現(xiàn)實(shí)處理單元獲取包括虛擬圖像的附加圖像數(shù)據(jù)。附加圖像數(shù)據(jù)是在增強(qiáng)現(xiàn)實(shí)處理的過(guò)程a5中生成的數(shù)據(jù)。顏色調(diào)整單元144使用諸如特征部分提取(邊緣提取)這樣的方法從所獲取的附加圖像數(shù)據(jù)中提取虛擬對(duì)象。

在圖5所示的示例中，顏色調(diào)整單元144從增強(qiáng)現(xiàn)實(shí)處理單元142獲取附加圖像數(shù)據(jù)Data1，并且提取表示車(chē)身的虛擬對(duì)象VO1。在圖6所示的示例中，顏色調(diào)整單元144從增強(qiáng)現(xiàn)實(shí)處理單元142獲取附加圖像數(shù)據(jù)Data2，并且提取表示前擾流板的虛擬對(duì)象VO2。

在圖4所示的步驟S102中，顏色調(diào)整單元144從外部場(chǎng)景圖像中獲取目標(biāo)對(duì)象。目標(biāo)對(duì)象是要向其添加虛擬對(duì)象的真實(shí)對(duì)象。具體地，顏色調(diào)整單元144使攝相機(jī)61拍攝外部場(chǎng)景圖像并且從攝相機(jī)61獲取外部場(chǎng)景圖像。顏色調(diào)整單元144使用諸如特征部分提取(邊緣提取)這樣的方法從所獲取的外部場(chǎng)景圖像中提取目標(biāo)對(duì)象。

在圖5所示的示例中，顏色調(diào)整單元144從攝相機(jī)61獲取外部場(chǎng)景圖像IM1并且提取表示汽車(chē)的目標(biāo)對(duì)象(真實(shí)對(duì)象)FO。類(lèi)似地，在圖6所示的示例中，顏色調(diào)整單元144從攝相機(jī)61獲取外部場(chǎng)景圖像IM2并且提取表示汽車(chē)的目標(biāo)對(duì)象FO。

在圖4的步驟S104中，顏色調(diào)整單元144將在顏色調(diào)整處理中使用的變量x和變量y設(shè)置為1。變量x和變量y二者用來(lái)指定一個(gè)像素。

在步驟S106中，顏色調(diào)整單元144確定虛擬對(duì)象的(x,y)像素的目標(biāo)顏色。根據(jù)使用增強(qiáng)現(xiàn)實(shí)處理的場(chǎng)景并且依據(jù)下面說(shuō)明的參考b1和參考b2中的一個(gè)來(lái)確定目標(biāo)顏色。

(b1)目錄顏色

在不考慮目標(biāo)對(duì)象所處的真實(shí)環(huán)境(特別是光環(huán)境)的情況下決定目標(biāo)顏色。顏色調(diào)整單元144可以直接將在步驟S100中提取的虛擬對(duì)象的(x,y)像素的顏色設(shè)置為目標(biāo)顏色，或者可以直接將用戶(hù)指定的顏色設(shè)置為目標(biāo)顏色。注意，虛擬對(duì)象的(x,y)像素的顏色是虛擬對(duì)象的原始顏色、用于表示虛擬對(duì)象的紋理的顏色、用于表示照射到虛擬對(duì)象上的光的顏色和用于表示在虛擬對(duì)象中產(chǎn)生的陰影的顏色中的任一種顏色。因此，例如，即使虛擬對(duì)象是“紅色汽車(chē)”，虛擬對(duì)象的(x,y)像素的顏色根據(jù)x和y的值(根據(jù)像素的位置)也可以是各種顏色，例如紅色、白色、棕色。當(dāng)用戶(hù)希望用虛擬對(duì)象替換目標(biāo)對(duì)象的至少一部分時(shí)，期望采用參考b1。用戶(hù)例如在模擬如圖5所示的經(jīng)銷(xiāo)商中的車(chē)體顏色的情況下、或者在模擬房屋展示場(chǎng)所中的墻紙和地板材料的情況下期望替換目標(biāo)的至少一部分。

(b2)匹配顏色

在考慮到目標(biāo)對(duì)象所處的真實(shí)環(huán)境(特別是光環(huán)境)的情況下決定目標(biāo)顏色(例如，目標(biāo)顏色可以與真實(shí)環(huán)境匹配或者可以在真實(shí)環(huán)境中顯眼)。具體地，顏色調(diào)整單元144可以根據(jù)下面說(shuō)明的方法b2-1或方法b2-2來(lái)決定目標(biāo)顏色。在用戶(hù)希望向目標(biāo)對(duì)象添加虛擬對(duì)象時(shí)，期望采用參考b2。用戶(hù)在例如模擬如圖6所示的經(jīng)銷(xiāo)商中的配件的情況下、或者在模擬房屋展示場(chǎng)所中的家具的情況下期望添加虛擬對(duì)象。

(b2-1)顏色調(diào)整單元144計(jì)算在步驟S102中獲取的目標(biāo)對(duì)象(真實(shí)對(duì)象)的顏色的統(tǒng)計(jì)顏色(例如中間顏色或平均顏色)。顏色調(diào)整單元144將計(jì)算出的統(tǒng)計(jì)顏色設(shè)置為目標(biāo)顏色。

(b2-2)顏色調(diào)整單元144對(duì)在步驟S102中獲取的外部場(chǎng)景圖像進(jìn)行圖像識(shí)別，從而收集目標(biāo)對(duì)象(真實(shí)對(duì)象)的各區(qū)域的亮度信息(與陰影區(qū)域有關(guān)的信息、與鏡面反射有關(guān)的信息、與漫反射有關(guān)的信息等)。顏色調(diào)整單元144基于所收集的亮度信息來(lái)確定要被添加到虛擬對(duì)象上的光源類(lèi)型(點(diǎn)光源、聚光燈、平行光源、環(huán)境光、天光、IBL等)、光源的色溫、光源的強(qiáng)度等中的至少一個(gè)。顏色調(diào)整單元144將具有確定的類(lèi)型、色溫、強(qiáng)度等的光源與在步驟S100中獲取的虛擬對(duì)象進(jìn)行組合。顏色調(diào)整單元144在組合光源之后將虛擬對(duì)象的(x,y)像素的顏色設(shè)置為目標(biāo)顏色。

注意，在步驟S106中，可以經(jīng)由網(wǎng)絡(luò)將用戶(hù)指定為虛擬對(duì)象的原始顏色的顏色存儲(chǔ)在另一設(shè)備的存儲(chǔ)設(shè)備中。存儲(chǔ)在另一設(shè)備中的顏色可以用于各種用途。例如，存儲(chǔ)在另一設(shè)備中的顏色可以用于具有用戶(hù)所指定顏色的產(chǎn)品(例如汽車(chē)或墻紙和地板材料)的訂購(gòu)和制造，或者可以用于進(jìn)行掌握用戶(hù)品味的分析。

在圖4的步驟S108中，顏色調(diào)整單元144獲取目標(biāo)對(duì)象的(x,y)像素的真實(shí)對(duì)象顏色。真實(shí)對(duì)象顏色是目標(biāo)對(duì)象(要向其添加虛擬對(duì)象的真實(shí)對(duì)象)的真實(shí)顏色。具體地，顏色調(diào)整單元144獲取在步驟S102中獲取的目標(biāo)對(duì)象的(x,y)像素的顏色作為真實(shí)對(duì)象顏色。以這種方式，在本實(shí)施方式中，將通過(guò)攝相機(jī)61拍攝的外部場(chǎng)景圖像中的目標(biāo)對(duì)象的顏色視為真實(shí)對(duì)象顏色。因此，可以使用普遍使用的攝相機(jī)61作為標(biāo)準(zhǔn)功能來(lái)檢測(cè)真實(shí)對(duì)象顏色。

在步驟S110中，顏色調(diào)整單元144確定在步驟S108中獲取的目標(biāo)對(duì)象的(x,y)像素的真實(shí)對(duì)象顏色的色度(S值)是否等于或高于存儲(chǔ)在色度參考122中的參考(S值)。當(dāng)真實(shí)對(duì)象顏色的色度等于或高于色度參考122時(shí)(步驟S110中為是)，在步驟S112及隨后步驟的處理中，顏色調(diào)整單元144使用電子遮擋件來(lái)改變外部場(chǎng)景的透明度以控制視覺(jué)觀察顏色。另一方面，當(dāng)真實(shí)對(duì)象顏色的色度低于色度參考122時(shí)(步驟S110中為否)，在步驟S118中的處理中，顏色調(diào)整單元144調(diào)整虛擬對(duì)象的顏色以控制視覺(jué)觀察顏色。

以上對(duì)通過(guò)使用電子遮擋件來(lái)改變外部場(chǎng)景的透明度從而控制視覺(jué)觀察顏色進(jìn)行了說(shuō)明。在圖4的步驟S112中，顏色調(diào)整單元144在與目標(biāo)對(duì)象的(x,y)像素對(duì)應(yīng)的單元中打開(kāi)電子遮擋件。具體地，顏色調(diào)整單元114將電壓提供給圖2所示的光電子遮擋件261s的與目標(biāo)對(duì)象的(x,y)像素對(duì)應(yīng)的像素和圖2所示的左電子遮擋件262s與目標(biāo)對(duì)象的(x,y)像素對(duì)應(yīng)的像素，以減少外部光在該像素單元中的透射率。在這種情況下，顏色調(diào)整單元144可以將提供給電子遮擋件的供給電壓設(shè)置成最大(100％)并且阻擋外部光。從而，簡(jiǎn)化了顏色調(diào)整單元144中的控制。顏色調(diào)整單元144可以與目標(biāo)對(duì)象的(x,y)像素的色度成比例地、在1％到100％的范圍內(nèi)調(diào)整提供給電子遮擋件的供給電壓以阻擋至少一部分外部光。從而，顏色調(diào)整單元144可以精細(xì)地控制視覺(jué)觀察顏色。

在步驟S114中，顏色調(diào)整單元144不做改變并且保持虛擬對(duì)象的(x,y)像素的CG顏色。CG顏色是包括在圖像數(shù)據(jù)中的虛擬對(duì)象的顏色。

以上對(duì)通過(guò)調(diào)整虛擬對(duì)象的顏色來(lái)控制視覺(jué)觀察顏色進(jìn)行了說(shuō)明。在圖4的步驟S118中，當(dāng)對(duì)真實(shí)對(duì)象顏色i和CG顏色ii進(jìn)行加色混合時(shí)，顏色調(diào)整單元114計(jì)算作為(或接近)目標(biāo)顏色iii的顏色。顏色調(diào)整單元144將虛擬對(duì)象的(x,y)像素的CG顏色改變成計(jì)算出的顏色。

(i)在步驟S108中獲取的目標(biāo)對(duì)象的(x,y)像素的真實(shí)對(duì)象顏色

(ii)CG顏色

(iii)在步驟S106中確定的虛擬對(duì)象的(x,y)像素的目標(biāo)顏色

在圖4的步驟S116中，顏色調(diào)整單元144控制用于將處理推進(jìn)到下一個(gè)像素的變量。具體地，當(dāng)變量x不是虛擬對(duì)象的最終像素時(shí)，顏色調(diào)整單元144遞增變量x并且將處理移至步驟S106。從而，處理目標(biāo)移至右側(cè)的像素。當(dāng)變量x是最終像素而變量y不是最終像素時(shí)，顏色調(diào)整單元144遞增變量y，將變量x設(shè)置為1，并且將處理移至步驟S106。從而，處理目標(biāo)移至緊接著的像素行。當(dāng)變量x和變量y都是最終像素時(shí)，顏色調(diào)整單元144結(jié)束處理并且在調(diào)整CG顏色之后將包括虛擬對(duì)象的附加圖像數(shù)據(jù)發(fā)送到增強(qiáng)現(xiàn)實(shí)處理單元142。之后，顏色調(diào)整單元144結(jié)束處理。

作為圖4所示的顏色調(diào)整處理的結(jié)果，如圖5和圖6所示，用戶(hù)UR在視覺(jué)上識(shí)別處于視場(chǎng)VR中的、包括其CG顏色已調(diào)整的虛擬對(duì)象VO1和VO2的虛擬圖像V1。用戶(hù)UR在視覺(jué)上識(shí)別通過(guò)圖像顯示單元20透射的外部場(chǎng)景SC中的真實(shí)對(duì)象FO(目標(biāo)對(duì)象)。圖5所示的虛擬對(duì)象VO1被顯示成疊加在真實(shí)對(duì)象FO的車(chē)身單元的整個(gè)區(qū)域上。因此，用戶(hù)UR可以觀看好像汽車(chē)的顏色已經(jīng)改變了一樣的圖像。圖6所示的虛擬對(duì)象VO2的一部分被顯示成疊加在真實(shí)對(duì)象FO的車(chē)身的下部上。因此，用戶(hù)UR可以觀看好像給汽車(chē)添加了前擾流板的圖像。

如上所述，在顏色調(diào)整處理中，顏色調(diào)整單元144可以使用由顏色檢測(cè)單元(攝相機(jī)61)所檢測(cè)到的真實(shí)對(duì)象顏色來(lái)控制視覺(jué)觀察顏色，視覺(jué)觀察顏色是通過(guò)將真實(shí)對(duì)象FO的顏色(真實(shí)對(duì)象顏色)與虛擬對(duì)象VO的顏色(CG顏色)疊加而獲得的顏色，換言之，視覺(jué)觀察顏色是用戶(hù)在視覺(jué)上識(shí)別的顏色。因此，本實(shí)施方式中的頭戴式顯示設(shè)備(HMD 100)可以在圖5和圖6所示的各種場(chǎng)景中在考慮實(shí)際外觀的情況下為用戶(hù)UR執(zhí)行更合適的顏色表示。

此外，在步驟S110及隨后步驟中的顏色調(diào)整處理中，顏色調(diào)整單元144根據(jù)真實(shí)對(duì)象顏色的色度(亮度)來(lái)適當(dāng)?shù)貐^(qū)分是通過(guò)改變外部場(chǎng)景SC的透明度來(lái)控制視覺(jué)觀察顏色還是通過(guò)調(diào)整虛擬對(duì)象VO的顏色來(lái)控制視覺(jué)觀察顏色。當(dāng)真實(shí)對(duì)象顏色的色度高(真實(shí)對(duì)象顏色亮)時(shí)，有效的措施例如是通過(guò)減少外部場(chǎng)景SC的透明度來(lái)突出虛擬對(duì)象VO的顏色使得明亮的真實(shí)對(duì)象顏色本身更不易被用戶(hù)看到。另一方面，當(dāng)真實(shí)對(duì)象顏色的色度低(真實(shí)對(duì)象顏色暗)時(shí)，如果通過(guò)利用加色混合對(duì)虛擬對(duì)象VO的顏色進(jìn)行調(diào)整而獲得調(diào)色顏色，則可以擴(kuò)展可表現(xiàn)的色域。由于可以進(jìn)行精細(xì)顏色再現(xiàn)，因此以這種方式可以有效地改進(jìn)顏色的分辨率。因此，顏色調(diào)整單元144可以根據(jù)真實(shí)對(duì)象顏色的色調(diào)適當(dāng)?shù)厥褂酶线m方法來(lái)控制視覺(jué)觀察顏色。

此外，在顏色調(diào)整處理中，顏色調(diào)整單元144針對(duì)虛擬對(duì)象VO的每個(gè)像素來(lái)執(zhí)行對(duì)視覺(jué)觀察顏色的控制。

因此，可以容易地執(zhí)行對(duì)視覺(jué)觀察顏色的控制。即使當(dāng)虛擬對(duì)象VO中混合有多個(gè)顏色時(shí)，也可以對(duì)視覺(jué)觀察顏色進(jìn)行控制。注意，除了虛擬對(duì)象VO具有多個(gè)原始顏色(例如具有藍(lán)色主體和白帆的游艇)的情況以外，也在虛擬對(duì)象的原始顏色、用于表示虛擬對(duì)象的紋理的顏色、用于表示照射到虛擬對(duì)象上的光的顏色和用于表示在虛擬對(duì)象中產(chǎn)生的陰影的顏色被混合在一個(gè)虛擬對(duì)象VO中的情況下(例如紅色汽車(chē)的前擾流板)，在虛擬對(duì)象VO中混合有多個(gè)顏色。

A-3.顏色調(diào)整處理的變型

注意，在顏色調(diào)整處理(圖4)中，可以將下面說(shuō)明的變型1至變型3應(yīng)用于顏色調(diào)整處理(圖4)?？梢元?dú)立地或組合地采用變型1至變型3。

A-3-1.變型1

在變型1中，省略了根據(jù)真實(shí)對(duì)象顏色的色度對(duì)視覺(jué)觀察顏色的控制。

在一個(gè)示例中，顏色調(diào)整單元144在不需要考慮真實(shí)對(duì)象顏色的色度的情況下、通過(guò)使用電子遮擋件均勻地改變外部場(chǎng)景的透明度來(lái)控制視覺(jué)觀察顏色。具體地，只需省略圖4中的步驟S110和步驟S118。從而，可以通過(guò)改變圖像顯示單元20中的外部場(chǎng)景SC的透明度來(lái)使視覺(jué)觀察顏色接近目標(biāo)顏色。因此，可以在頭戴式顯示設(shè)備(HMD 100)中對(duì)視覺(jué)觀察顏色進(jìn)行控制而無(wú)需專(zhuān)門(mén)的圖像處理。

在另一示例中，顏色調(diào)整單元144在不需要考慮真實(shí)對(duì)象顏色的色度的情況下通過(guò)均勻地調(diào)整虛擬對(duì)象的顏色來(lái)控制視覺(jué)觀察顏色。具體地，只需省略圖4中的步驟S110、步驟S112和步驟S114。從而，可以通過(guò)調(diào)整虛擬對(duì)象VO的顏色(CG顏色)來(lái)使視覺(jué)觀察顏色接近目標(biāo)顏色。因此，可以在不向包括在頭戴式顯示設(shè)備(HMD 100)中的現(xiàn)有部件添加專(zhuān)用部件(右電子遮擋件261s和左電子遮擋件262s)的情況下對(duì)視覺(jué)觀察顏色進(jìn)行控制。

A-3-2.變型2

在變型2中，針對(duì)虛擬對(duì)象VO的每個(gè)像素塊來(lái)執(zhí)行對(duì)視覺(jué)觀察顏色的控制。像素塊是虛擬對(duì)象VO的像素之中的相鄰的n*m(n和m是等于或大于2的整數(shù))個(gè)像素的集合。“相鄰的像素”是指彼此鄰接的多個(gè)像素。

在圖4的步驟S104中，顏色調(diào)整單元144將在顏色調(diào)整處理中使用的變量x和變量y設(shè)置為2。變量x和變量y二者都用于指定由3×3個(gè)像素所構(gòu)成的像素塊。

在對(duì)步驟S106、步驟S108和步驟S112進(jìn)行的說(shuō)明中，將表述“(x,y)像素”替換成“以(x,y)像素為中心的像素塊”。將表述“(x,y)像素的顏色”替換成“以(x,y)像素為中心的像素塊的顏色”。顏色調(diào)整單元144可以根據(jù)構(gòu)成像素塊的像素的統(tǒng)計(jì)顏色(例如中間顏色或平均顏色)來(lái)計(jì)算像素塊的顏色。

在對(duì)步驟S116的說(shuō)明中，將表述“增量”替換成“原始值加3”。將表述“將變量x設(shè)置為1”替換成“將變量x設(shè)置為2”。

注意，在上面說(shuō)明的示例中，采用了由n＝3和m＝3的3*3個(gè)像素構(gòu)成的像素塊。然而，可以可選地決定n和m的值。n的值可以設(shè)置為與m的值不同的值。

根據(jù)變型2，由于顏色調(diào)整單元144針對(duì)虛擬對(duì)象VO的每個(gè)像素塊執(zhí)行視覺(jué)觀察顏色的控制，因此可以抑制對(duì)視覺(jué)觀察顏色的控制的結(jié)果對(duì)于每個(gè)像素的波動(dòng)。即使在虛擬對(duì)象VO中混合有多個(gè)顏色的情況下，也可以對(duì)視覺(jué)觀察顏色進(jìn)行控制。

A-3-3.變型3

在變型3中，執(zhí)行顯示系統(tǒng)的對(duì)準(zhǔn)(校準(zhǔn))。

在HMD 100中，對(duì)由光學(xué)圖像顯示單元(左顯示驅(qū)動(dòng)單元24和右光學(xué)圖像顯示單元26)、攝相機(jī)61和普通用戶(hù)的眼睛所構(gòu)造的顯示系統(tǒng)進(jìn)行對(duì)準(zhǔn)。在變型3中，可以根據(jù)HMD 100的用戶(hù)的個(gè)體差異以及HMD 100的個(gè)體差異來(lái)改變?cè)撝付▽?duì)準(zhǔn)的內(nèi)容。具體地，CPU 140執(zhí)行下面說(shuō)明的過(guò)程c1和過(guò)程c2。從改進(jìn)對(duì)準(zhǔn)精度的角度出發(fā)，期望以組合的方式執(zhí)行過(guò)程c1和過(guò)程c2，并且以先過(guò)程c1然后過(guò)程c2的順序執(zhí)行。然而，可以獨(dú)立地執(zhí)行過(guò)程c1和過(guò)程c2。

(c1)調(diào)整用戶(hù)的瞳孔間距

CPU 140使右LCD 241和左LCD 242顯示相同的用于校準(zhǔn)的第一圖像。在本實(shí)施方式中，顯示器為無(wú)窮大。這時(shí)，CPU 140通過(guò)用戶(hù)接口(例如，觸控板14)的操作而使顯示在左LCD和右LCD之一上的用于校準(zhǔn)的第一圖像的位置移動(dòng)。用戶(hù)對(duì)用戶(hù)接口進(jìn)行操作以對(duì)準(zhǔn)用于校準(zhǔn)的左第一圖像和右第一圖像的位置。之后，用戶(hù)對(duì)用戶(hù)接口(例如確定鍵11)進(jìn)行操作以通知CPU 140已決定位置。

當(dāng)被通知已決定位置時(shí)，CPU 140將右LCD 241上的用于校準(zhǔn)的第一圖像的位置和左LCD 242上的用于校準(zhǔn)的第一圖像的位置發(fā)送至圖像處理單元160。圖像處理單元160通過(guò)參照右LCD 241上的用于校準(zhǔn)的第一圖像的位置來(lái)調(diào)整右LCD 241上的圖像的顯示范圍。類(lèi)似地，圖像處理單元160通過(guò)參照左LCD 242上的用于校準(zhǔn)的第一圖像的位置來(lái)調(diào)整左LCD 242上的圖像的顯示范圍。

(c2)由用戶(hù)來(lái)對(duì)準(zhǔn)用于校準(zhǔn)的圖像與真實(shí)對(duì)象

CPU 140在使右LCD 241和左LCD 242顯示用于校準(zhǔn)的第二圖像的同時(shí)，經(jīng)由攝相機(jī)61識(shí)別與用于校準(zhǔn)的第二圖像對(duì)應(yīng)的真實(shí)對(duì)象(例如，二維標(biāo)記)。這時(shí)，CPU 140追蹤真實(shí)對(duì)象相對(duì)于攝相機(jī)61(或光學(xué)顯示單元)的姿勢(shì)和位置。CPU 140使顯示在左LCD和右LCD上的用于校準(zhǔn)的第二圖像的位置通過(guò)用戶(hù)接口(例如觸控板14)的操作而相互關(guān)聯(lián)地移動(dòng)。在這種情況下，當(dāng)沒(méi)有用戶(hù)操作時(shí)，可以根據(jù)真實(shí)對(duì)象的軌跡來(lái)改變所顯示的用于校準(zhǔn)的第二圖像的姿勢(shì)和位置。注意，當(dāng)執(zhí)行過(guò)程c1時(shí)，用于對(duì)準(zhǔn)的第二圖像的顯示范圍是在通過(guò)過(guò)程c1進(jìn)行調(diào)整之后的范圍。當(dāng)不執(zhí)行過(guò)程c1時(shí)，用于校準(zhǔn)的第二圖像的顯示范圍為默認(rèn)范圍。用戶(hù)在用戶(hù)覺(jué)察到在視覺(jué)上識(shí)別為虛擬圖像的用于校準(zhǔn)的左圖像和右圖像與通過(guò)光學(xué)圖像顯示單元在視覺(jué)上識(shí)別的真實(shí)對(duì)象交疊(位置、大小和方向中的至少一個(gè)基本上相互一致)的情況下，對(duì)用戶(hù)接口(例如確定鍵11)進(jìn)行操作。用戶(hù)通知CPU 140已決定位置。

當(dāng)被通知已決定位置時(shí)，CPU 140獲取真實(shí)對(duì)象在通過(guò)攝相機(jī)61的圖像拍攝而獲得圖像(外部場(chǎng)景圖像)中的位置、在右LCD 241上的用于校準(zhǔn)的第二圖像的位置和在左LCD 242上的用于校準(zhǔn)的第二圖像的位置。CPU 140基于與所獲取的位置有關(guān)的信息對(duì)攝相機(jī)61的圖像拍攝范圍以及圖像在右LCD 241和左LCD 242上的顯示范圍進(jìn)行調(diào)整。注意，在過(guò)程c2中，用于校準(zhǔn)的第二圖像可以在LCD 241和LCD 242上移動(dòng)。然而，用于校準(zhǔn)的第二圖像可以以固定姿勢(shì)和固定位置顯示。在后一種情況下，用戶(hù)只需要相對(duì)于真實(shí)對(duì)象移動(dòng)使得用戶(hù)覺(jué)察到用于校準(zhǔn)的第二圖像與真實(shí)對(duì)象交疊即可。

根據(jù)變形3中的過(guò)程c1，CPU 140可以對(duì)主要對(duì)應(yīng)于用戶(hù)的個(gè)體差異的顯示系統(tǒng)執(zhí)行對(duì)準(zhǔn)。根據(jù)變形3中的過(guò)程c2，CPU 140可以對(duì)主要對(duì)應(yīng)于HMD 100的個(gè)體差異的顯示系統(tǒng)執(zhí)行對(duì)準(zhǔn)。作為對(duì)準(zhǔn)的結(jié)果，CPU 140可以在增強(qiáng)現(xiàn)實(shí)處理中更準(zhǔn)確地對(duì)準(zhǔn)真實(shí)對(duì)象的位置與虛擬對(duì)象的位置。注意，用于校準(zhǔn)的第一圖像和用于校準(zhǔn)的第二圖像可以是相同的或者可以是不同的。

B.第二實(shí)施方式

在本發(fā)明的第二實(shí)施方式中，在顏色調(diào)整處理中，在考慮除了真實(shí)光環(huán)境之外的虛擬光環(huán)境的情況下改變視覺(jué)觀察顏色。在下面的說(shuō)明中，僅說(shuō)明具有與第一實(shí)施方式中的部件不同的部件的單元和與第一實(shí)施方式中的操作不同的執(zhí)行操作。注意，在附圖中，與第一實(shí)施方式中的部件和操作相同的部件和操作是用與上面說(shuō)明的第一實(shí)施方式中的附圖標(biāo)記相同的附圖標(biāo)記來(lái)表示的，并且省略對(duì)這些部件和操作的詳細(xì)說(shuō)明。也就是說(shuō)，下面未說(shuō)明的部件和操作與第一實(shí)施方式中的部件和操作相同。

B-1.頭戴式顯示設(shè)備的配置

圖7是示出第二實(shí)施方式中的HMD 100a在功能方面的配置的框圖。HMD 100a包括控制單元10a以替代控制單元10。控制單元10a包括顏色調(diào)整單元144a以替代顏色調(diào)整單元144并且包括存儲(chǔ)單元120a以替代存儲(chǔ)單元120。在顏色調(diào)整單元144a中，顏色調(diào)整處理中的一部分處理內(nèi)容與第一實(shí)施方式中的處理內(nèi)容不同。

存儲(chǔ)單元120a除了色度參考122之外還包括環(huán)境對(duì)應(yīng)關(guān)系表124和預(yù)設(shè)置組126。在環(huán)境對(duì)應(yīng)關(guān)系表124中存儲(chǔ)有用于指定多個(gè)預(yù)設(shè)置(預(yù)設(shè)置組126)中的一個(gè)預(yù)設(shè)置的信息。預(yù)設(shè)置組126由多個(gè)預(yù)設(shè)置構(gòu)成。在相應(yīng)的預(yù)設(shè)置中存儲(chǔ)有用于使附加圖像數(shù)據(jù)進(jìn)行顏色轉(zhuǎn)換的信息。用于執(zhí)行顏色轉(zhuǎn)換的信息包括例如用于白平衡調(diào)整的信息(具體地，例如，每個(gè)RGB的色調(diào)曲線(xiàn)的調(diào)整內(nèi)容、色溫的調(diào)整內(nèi)容、顏色偏差的調(diào)整內(nèi)容中的至少一部分)。

B-2.顏色調(diào)整處理

圖8是用于說(shuō)明第二實(shí)施方式中的顏色調(diào)整處理的圖示。在第一實(shí)施方式的顏色調(diào)整處理中，在不考慮目標(biāo)對(duì)象所處的真實(shí)光環(huán)境的情況下(圖4的步驟S106，b1：目錄顏色)或者在考慮真實(shí)光環(huán)境的情況下(圖4的步驟S106，b2：匹配顏色)，對(duì)視覺(jué)觀察顏色進(jìn)行控制(圖8中的虛線(xiàn)框)。在第二實(shí)施方式中，可以在進(jìn)一步考慮除了這種真實(shí)光環(huán)境之外的虛擬光環(huán)境的情況下改變視覺(jué)觀察顏色。注意，“真實(shí)光環(huán)境”是指顏色調(diào)整處理的目標(biāo)對(duì)象所處的真實(shí)光環(huán)境?！疤摂M光環(huán)境”是指HMD 100a的用戶(hù)在視覺(jué)上識(shí)別的虛擬光環(huán)境。

當(dāng)考慮虛擬光環(huán)境時(shí)，在圖4所示的顏色調(diào)整處理的步驟S116中，顏色調(diào)整單元144a在將附加圖像數(shù)據(jù)發(fā)送到增強(qiáng)現(xiàn)實(shí)處理單元142之前進(jìn)行下面說(shuō)明的顏色轉(zhuǎn)換處理(圖8中的實(shí)線(xiàn)框)。另一方面，當(dāng)不考慮虛擬光環(huán)境時(shí)，顏色調(diào)整單元144a直接執(zhí)行圖4所示的顏色調(diào)整處理(圖8中的虛線(xiàn)框)。因此，顏色調(diào)整單元144a可以執(zhí)行圖8所示的四種處理模式。注意，顏色調(diào)整單元144a可以例如通過(guò)參照被預(yù)先存儲(chǔ)在存儲(chǔ)單元120a中的設(shè)置的內(nèi)容來(lái)確定是否考慮虛擬光環(huán)境。設(shè)置內(nèi)容可由用戶(hù)改變。

B-2-1.顏色轉(zhuǎn)換處理

圖9是用于說(shuō)明顏色轉(zhuǎn)換處理的過(guò)程的流程圖。顏色轉(zhuǎn)換處理是用于在考慮虛擬光環(huán)境的情況下通過(guò)使附加圖像數(shù)據(jù)進(jìn)行顏色轉(zhuǎn)換來(lái)改變視覺(jué)觀察顏色的處理。在步驟S200中，顏色調(diào)整單元144a獲取目標(biāo)對(duì)象所處的真實(shí)光環(huán)境。顏色調(diào)整單元144a可以例如使用與顏色調(diào)整處理(圖4)的步驟S106中的參考b2-2相同的方法來(lái)獲取真實(shí)光環(huán)境。

在步驟S202中，顏色調(diào)整單元144a獲取虛擬光環(huán)境?？梢酝ㄟ^(guò)例如參照被預(yù)先存儲(chǔ)在存儲(chǔ)單元120a中的設(shè)置的內(nèi)容來(lái)確定虛擬光環(huán)境。設(shè)置內(nèi)容可由用戶(hù)改變。

在步驟S204中，顏色調(diào)整單元144a通過(guò)參照環(huán)境對(duì)應(yīng)關(guān)系表124來(lái)獲取應(yīng)該采用的預(yù)設(shè)置。

圖10是示出環(huán)境對(duì)應(yīng)關(guān)系表124的示例的圖示。在環(huán)境對(duì)應(yīng)關(guān)系表124中，為了實(shí)現(xiàn)虛擬光環(huán)境，與虛擬光環(huán)境和真實(shí)光環(huán)境相關(guān)聯(lián)地存儲(chǔ)根據(jù)真實(shí)光環(huán)境應(yīng)該采用的當(dāng)前的標(biāo)識(shí)符。在圖10所示的示例中，環(huán)境對(duì)應(yīng)關(guān)系表124指示例如為了實(shí)現(xiàn)虛擬光環(huán)境“熒光燈”，在真實(shí)光環(huán)境是“熒光燈”時(shí)不采用預(yù)設(shè)置，在真實(shí)光環(huán)境是“白熾燈”時(shí)采用預(yù)設(shè)置3，以及在真實(shí)光環(huán)境是“太陽(yáng)光”時(shí)采用預(yù)設(shè)置5。這同樣適用于虛擬光環(huán)境“白熾燈”和“太陽(yáng)光”。因此，省略與虛擬光環(huán)境“白熾燈”和“太陽(yáng)光”有關(guān)的說(shuō)明。在本實(shí)施方式中，日光的顏色被假定為熒光燈并且晴天的太陽(yáng)光被假定為太陽(yáng)光。注意，在圖10所示的示例中，示出光源的類(lèi)型作為光環(huán)境的示例。然而，作為光環(huán)境，例如可以采用場(chǎng)景類(lèi)元素，諸如晨光和晚霞。

在圖9的步驟S204中，顏色調(diào)整單元144a使用在步驟S200中獲取的真實(shí)光環(huán)境和在步驟S202中獲取的虛擬光環(huán)境作為關(guān)鍵值通過(guò)環(huán)境對(duì)應(yīng)關(guān)系表124進(jìn)行搜索，并且獲取預(yù)設(shè)置的標(biāo)識(shí)符。顏色調(diào)整單元144a從預(yù)設(shè)置組126中獲取具有所獲取的標(biāo)識(shí)符的當(dāng)前。

在步驟S206中，顏色調(diào)整單元144a將在步驟S204中獲取的預(yù)設(shè)集置應(yīng)用于附加圖像數(shù)據(jù)的所有像素(這意味著包括黑色單元的所有像素)。因此，將預(yù)先存儲(chǔ)在預(yù)設(shè)置中的每個(gè)RGB的色調(diào)曲曲線(xiàn)的調(diào)整、色溫的調(diào)整、顏色偏差的調(diào)整等應(yīng)用于整個(gè)附加圖像數(shù)數(shù)據(jù)。例如，在采用預(yù)設(shè)置5(在真實(shí)光環(huán)境是太陽(yáng)光并且虛擬光環(huán)境是熒光燈時(shí)采用的預(yù)設(shè)置)的情況下，向整個(gè)附加圖像數(shù)據(jù)應(yīng)用例如用于將色溫設(shè)置為4000K并且提升B的色調(diào)曲線(xiàn)的調(diào)整。通過(guò)使包括虛擬對(duì)象的整個(gè)附加圖像數(shù)據(jù)以該這種方式進(jìn)行顏色轉(zhuǎn)換，顏色調(diào)整單元144a可以在考慮虛擬光環(huán)境的情況下改變視覺(jué)觀察顏色。因此，在本實(shí)施方式的頭戴式顯示設(shè)備(HMD 100a)中，增加了視覺(jué)觀察顏色的再現(xiàn)范圍?？梢詾橛脩?hù)改進(jìn)便利性。

注意，在上面說(shuō)明的顏色轉(zhuǎn)換處理中，通過(guò)附加圖像數(shù)據(jù)的顏色轉(zhuǎn)換實(shí)現(xiàn)了在考慮虛擬光環(huán)境的情況下對(duì)視覺(jué)觀察顏色進(jìn)行控制。然而，通過(guò)使用電子遮擋件而不使用附加圖像數(shù)據(jù)的顏色轉(zhuǎn)換、或者在附加圖像數(shù)據(jù)的顏色轉(zhuǎn)換之外還使用電子遮擋件，顏色調(diào)整單元144a可以在考慮到虛擬光環(huán)境的情況下對(duì)視覺(jué)觀察顏色進(jìn)行改變。在這種情況下，可以將控制內(nèi)容(例如提供給電子遮擋件的供給電壓的調(diào)整內(nèi)容)存儲(chǔ)在例如預(yù)設(shè)置中。

B-3.顏色調(diào)整處理的變型

在第二實(shí)施方式的顏色調(diào)整處理中，可以采用變型1至變型3?？梢元?dú)立地或組合地采用變型1至變型3。

C.修改例

在本實(shí)施方式中，由硬件實(shí)現(xiàn)的一部分部件可以替換成軟件。相反地，由軟件實(shí)現(xiàn)的一部分部件可以替換成硬件。此外，下面說(shuō)明的修改例也是可行的。

修改例1

在本實(shí)施方式中，示出了HMD的配置。然而，在不背離本發(fā)明的精神的情況下，可以可選地設(shè)置HMD的配置。例如可以執(zhí)行對(duì)各部件的添加、刪除、轉(zhuǎn)換等。

控制單元和圖像顯示單元的部件分配僅是示例?？梢圆捎酶鞣N形式的分配。例如，可以采用下面說(shuō)明的形式。

(i)在控制單元上安裝處理功能，諸如CPU和存儲(chǔ)器，并且在圖像顯示單元上僅安裝顯示功能

(ii)在控制單元和圖像顯示單元二者上都安裝處理功能，諸如CPU和存儲(chǔ)器

(iii)整合控制單元與圖像顯示單元(例如，控制單元包含于圖像顯示單元中并且用作眼鏡型可穿戴計(jì)算機(jī))

(iv)使用智能電話(huà)或者便攜式游戲機(jī)以替代控制單元

(v)將控制單元和圖像顯示單元經(jīng)由無(wú)線(xiàn)信號(hào)傳輸線(xiàn)連接，諸如無(wú)線(xiàn)LAN、紅外通信或藍(lán)牙，并且移除連接單元(線(xiàn))。注意，在這種情況下，可以對(duì)控制單元或圖像顯示單元進(jìn)行無(wú)線(xiàn)電力供應(yīng)。

例如，可以可選地改變?cè)诒緦?shí)施方式中示出的控制單元和圖像顯示單元的配置。具體地，例如，控制單元的發(fā)送單元(Tx)和圖像顯示單元的接收單元(Rx)二者可以包括能夠執(zhí)行雙向通信的功能并且可以用作發(fā)送單元和接收單元。例如，可以省略包括在控制單元中的一部分操作接口(鍵、觸控板等)?？梢栽诳刂茊卧邪ㄓ弥T如桿這樣的其他操作接口。例如，可以將諸如鍵盤(pán)和鼠標(biāo)這樣的設(shè)備連接到控制單元使得控制單元從鍵盤(pán)和鼠標(biāo)接收輸入。例如，使用二次電池作為電源。然而，電源并不限于二次電池?？梢允褂酶鞣N電池。例如，可以使用原電池、燃料電池、太陽(yáng)能電池或熱電池。

圖11A和圖11B是示出在修改例中的HMD的外觀的配置的說(shuō)明圖。圖11A所示的圖像顯示單元20x包括右光學(xué)圖像顯示單元26x和左光學(xué)圖像顯示單元28x。右光學(xué)圖像顯示單元26x和左光學(xué)圖像顯示單元28x形成得比本實(shí)施方式中的光學(xué)構(gòu)件更小并且在用戶(hù)戴著HMD的情況下被分別傾斜地布置在用戶(hù)的右眼和左眼之上。圖11B所示的圖像顯示單元20y包括右光學(xué)圖像顯示單元26y和左光學(xué)圖像顯示單元28y。右光學(xué)圖像顯示單元26y和左光學(xué)圖像顯示單元28y形成得比本實(shí)施方式中的光學(xué)構(gòu)件更小并且在用戶(hù)戴著HMD的情況下被分別傾斜地布置在用戶(hù)的右眼和左眼之下。以這種方式，只需要將光學(xué)圖像顯示單元布置在用戶(hù)雙眼的附近。形成光學(xué)圖像顯示單元的光學(xué)構(gòu)件的大小可以是任意的。光學(xué)圖像顯示單元可以為光學(xué)圖像顯示單元只覆蓋用戶(hù)雙眼中的一個(gè)單元的形式，即光學(xué)圖像顯示單元不完全覆蓋用戶(hù)雙眼的形式。

例如，可以使用被設(shè)計(jì)用來(lái)實(shí)現(xiàn)多種功能的ASIC(專(zhuān)用集成電路)來(lái)配置包括在控制單元中的處理單元(例如，圖像處理單元、顯示控制單元、增強(qiáng)現(xiàn)實(shí)處理單元)。

例如，HMD是雙目型的透射式HMD。然而，HMD可以是單目型的HMD。例如，HMD可以被配置成在用戶(hù)戴著HMD的狀態(tài)下阻擋外部場(chǎng)景的透射的非透射式HMD，或者可以被配置成將攝相機(jī)安裝在非透射式HMD上的視頻透視裝置。例如，作為耳機(jī)，可以采用耳鉤型或頭帶型?？梢允÷远鷻C(jī)。

例如，可以采用普通的平面顯示設(shè)備(液晶顯示設(shè)備、等離子體顯示設(shè)備、有機(jī)EL顯示設(shè)備等)來(lái)代替像眼鏡那樣佩戴的圖像顯示單元。在這種情況下，控制單元和圖像顯示單元可以通過(guò)有線(xiàn)或者無(wú)線(xiàn)電進(jìn)行連接。從而，控制單元還可以用作普通平面顯示設(shè)備的遙控器。

例如，替代像眼鏡那樣佩戴的圖像顯示單元，可以采用其他形式的圖像顯示單元，諸如像帽子那樣佩戴的圖像顯示單元以及并入諸如頭盔這樣的身體保護(hù)器中的圖像顯示單元。例如，圖像顯示單元可以被配置成安裝在諸如機(jī)動(dòng)車(chē)輛和飛機(jī)的交通工具或其他運(yùn)輸工具上的平視顯示器(HUD)。

例如，圖像光生成單元除了各部件(背光、背光控制單元、LCD和LCD控制單元)之外或者替代各部件還可以包括用于實(shí)現(xiàn)另一系統(tǒng)的部件。例如，圖像光生成單元可以包括有機(jī)EL(有機(jī)電致發(fā)光)顯示器和有機(jī)EL控制單元。例如，圖像生成單元可以包括數(shù)字微反射鏡器件等以替代LCD。例如，本發(fā)明還可以應(yīng)用于激光視網(wǎng)膜投影型的頭戴式顯示設(shè)備。

修改例2

在本實(shí)施方式中，對(duì)增強(qiáng)現(xiàn)實(shí)處理和顏色調(diào)整處理的示例進(jìn)行說(shuō)明。然而，在本實(shí)施方式中說(shuō)明的這幾種處理的過(guò)程僅是示例。對(duì)過(guò)程的各種修改都是可行的。例如，可以省略一部分步驟或者也可以增加其他步驟?？梢愿淖円獔?zhí)行的步驟的順序。

例如，顏色調(diào)整處理(圖4)可以在增強(qiáng)現(xiàn)實(shí)處理的過(guò)程a4和過(guò)程a5之間執(zhí)行。例如，顏色調(diào)整單元可以?xún)H對(duì)“顏色”的構(gòu)成元素之中的色相、色度和亮度中的至少一個(gè)進(jìn)行顏色調(diào)整處理。

例如，在顏色調(diào)整處理的步驟S106中，顏色調(diào)整單元針對(duì)每個(gè)像素(或者每個(gè)像素塊)來(lái)確定目標(biāo)顏色。然而，顏色調(diào)整單元可以在虛擬對(duì)象單元中確定目標(biāo)顏色。在虛擬對(duì)象單元中確定目標(biāo)顏色的情況下，虛擬對(duì)象具有單一顏色。在這種情況下，在步驟S116結(jié)束之后，顏色調(diào)整單元只需要將處理移至步驟S108。

例如，在顏色調(diào)整處理的步驟S108中，在HMD包括諸如顏色傳感器這樣的其他顏色檢測(cè)裝置的情況下，顏色調(diào)整單元可以使用其他顏色檢測(cè)裝置來(lái)獲取真實(shí)對(duì)象顏色。

例如，可以對(duì)于第一像素(或第一像素塊)僅執(zhí)行一次顏色調(diào)整處理的步驟S110中的確定。之后，由于是重復(fù)相同的處理，因此可以省略該確定。從而，可以減少顏色調(diào)整單元中的處理量。

例如，在顏色調(diào)整處理的步驟S110中的確定中，可以同時(shí)地使用不同的多個(gè)色度參考(第一色度參考和第二色度參考；滿(mǎn)足關(guān)系：第一色度參考>第二色度參考)。例如，顏色調(diào)整單元可以在真實(shí)對(duì)象顏色的色度等于或高于第一色度參考的情況下執(zhí)行步驟S112及隨后步驟中的處理，在真實(shí)對(duì)象顏色的色度等于或低于第二色度參考的情況下執(zhí)行步驟S118及隨后步驟中的處理，以及在真實(shí)對(duì)象顏色的色度低于第一色度參考但高于第二色度參考的情況下同時(shí)使用步驟S112及隨后步驟中的處理以及步驟S118及隨后步驟中的處理。從而，顏色調(diào)整單元可以更精細(xì)地控制視覺(jué)觀察顏色。

例如，在顏色調(diào)整處理的步驟S112中，顏色調(diào)整單元可以獲取真實(shí)對(duì)象附近的紫外線(xiàn)、紅外線(xiàn)等，并且根據(jù)所獲取的紫外線(xiàn)和紅外線(xiàn)的狀態(tài)來(lái)確定電子遮擋件的透射率。

例如，在顏色調(diào)整處理的步驟S118中，除了基于真實(shí)對(duì)象顏色的色度和真實(shí)對(duì)象附近的紫外線(xiàn)和紅外線(xiàn)中的任一種對(duì)虛擬對(duì)象的CG顏色進(jìn)行調(diào)整之外，顏色調(diào)整單元還可以同時(shí)使用電子遮擋件。

例如，可以可選地改變本實(shí)施方式中所說(shuō)明的真實(shí)對(duì)象和虛擬對(duì)象。例如，可以將“真實(shí)背景對(duì)象”用作真實(shí)對(duì)象。真實(shí)對(duì)象可以是平面的(例如，墻壁或屏幕)。虛擬對(duì)象也可以是平面的(例如，看起來(lái)好像是附著在作為真實(shí)對(duì)象而提供的墻壁上的廣告的圖像)。

例如，在增強(qiáng)現(xiàn)實(shí)處理中形成在用戶(hù)雙眼前方的虛擬圖像可以?xún)H包括虛擬對(duì)象，或者可以包括虛擬對(duì)象之外的信息(例如，菜單欄和時(shí)鐘)。

修改例3

本發(fā)明不限于上述實(shí)施方式、示例和修改例，而是可以在不背離本發(fā)明的精神的情況下被實(shí)現(xiàn)為各種配置。例如，為了解決部分或全部問(wèn)題或者實(shí)現(xiàn)部分或者全部效果，可以適當(dāng)?shù)靥鎿Q或組合與在發(fā)明內(nèi)容中描述的各方面中的技術(shù)特征對(duì)應(yīng)的實(shí)施方式、示例和修改例中的技術(shù)特征。可以適當(dāng)?shù)貏h除技術(shù)特征，除非該技術(shù)特征在本說(shuō)明書(shū)中被描述為必要技術(shù)特征。

附圖標(biāo)記列表

10、10a 控制單元

11 確定鍵

12 照明單元

13 顯示切換鍵

14 觸控板

15 亮度切換鍵

16 方向鍵

17 菜單鍵

18 電源開(kāi)關(guān)

20 圖像顯示單元

21 右保持單元

22 右顯示驅(qū)動(dòng)單元

23 左保持單元

24 左顯示驅(qū)動(dòng)單元

26 右光學(xué)圖像顯示單元

28 左光學(xué)圖像顯示單元

30 耳機(jī)插頭

32 右耳機(jī)

34 左耳機(jī)

40 連接單元

42 右線(xiàn)

44 左線(xiàn)

46 耦接構(gòu)件

48 主體線(xiàn)

51 發(fā)送單元

52 發(fā)送單元

53 接收單元

54 接收單元

61 攝相機(jī)(顏色檢測(cè)單元)

66 九軸傳感器

110 輸入信息獲取單元

100 HMD(頭戴式顯示設(shè)備)

120、120a 存儲(chǔ)單元

122 色度參考

124 環(huán)境對(duì)應(yīng)關(guān)系表

126 預(yù)設(shè)置組

130 電源

132 無(wú)線(xiàn)電通信單元

140 CPU

142 增強(qiáng)現(xiàn)實(shí)處理單元

144、144a 顏色調(diào)整單元

160 圖像處理單元

170 聲音處理單元

180 接口

190 顯示控制單元

201 右背光控制單元

202 左背光控制單元

211 右LCD控制單元

212 左LCD控制單元

221 右背光

222 左背光

241 右LCD

242 左LCD

251 右投影光學(xué)系統(tǒng)

252 左投影光學(xué)系統(tǒng)

261 右導(dǎo)光板

262 左導(dǎo)光板

261s 右電子遮擋件

261s 左電子遮擋件

PCLK 時(shí)鐘信號(hào)

VSync 垂直同步信號(hào)

HSync 水平同步信號(hào)

Data 圖像數(shù)據(jù)

Data1 附加圖像數(shù)據(jù)

Data2 附加圖像數(shù)據(jù)

OA 外部裝置

PC 個(gè)人計(jì)算機(jī)

SC 外部場(chǎng)景

VI 虛擬圖像

VR 視場(chǎng)

RE 右眼

LE 左眼

ER 端

EL 端

VO 虛擬對(duì)象

VO1 虛擬對(duì)象

VO2 虛擬對(duì)象

FO 目標(biāo)對(duì)象(真實(shí)對(duì)象)