專利名稱：增強(qiáng)現(xiàn)實(shí)感提供設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)感提供設(shè)備，其為用戶和用戶以外的第三方提供增強(qiáng)現(xiàn)實(shí)感。
背景技術(shù)：
已經(jīng)公開(kāi)了一種圖像顯示設(shè)備，其中將虛擬對(duì)象圖像疊加在通過(guò)相機(jī)拍攝的圖像(拍攝圖像)上的合成圖像顯示在顯示單元上，以為顯示單元的觀看者提供增強(qiáng)現(xiàn)實(shí)感。關(guān)于這樣的設(shè)備，我們已經(jīng)知道了一種使用附帶有相機(jī)的頭戴式顯示器(HMD)的裝置(例如，見(jiàn)專利文獻(xiàn)I)。專利文獻(xiàn)I公開(kāi)了一種系統(tǒng)，其通過(guò)HMD和顯示器為戴有具有相機(jī)的HMD的觀看者和觀看與HMD分開(kāi)提供的固定型顯示器的第三方提供增強(qiáng)現(xiàn)實(shí)感。該系統(tǒng)顯示了將虛擬對(duì)象圖像疊加在通過(guò)提供在HMD上的相機(jī)拍攝的圖像上的合成圖像，將該合成圖像傳輸至外部顯示器，并且使該合成圖像顯示在外部顯示器上。在這樣的系統(tǒng)內(nèi)，戴有HMD的觀看者可以觀看到響應(yīng)其頭部運(yùn)動(dòng)的圖像。因此，即使當(dāng)顯示在HMD上的圖像抖動(dòng)或傾斜時(shí),觀看者也沒(méi)有不適感。然而，由于通過(guò)顯示器觀看相同圖像的第三方可能感覺(jué)圖像不是按照他的意圖來(lái)變化的，因此可能使第三方感覺(jué)到圖像暈動(dòng)病(image motion sickness)。因此,在該系統(tǒng)內(nèi)，當(dāng)在顯示在HMD上的圖像內(nèi)存在傾斜時(shí)，校正要顯示在顯示器上的圖像的傾斜，以為第三方提供不會(huì)導(dǎo)致不適感的圖像。同樣，專利文獻(xiàn)2公開(kāi)了一種方法，該方法根據(jù)輸入圖像計(jì)算出運(yùn)動(dòng)向量，并且為了減輕圖像暈動(dòng)病，當(dāng)運(yùn)動(dòng)向量的大小或方向很大時(shí)，保持向外輸出的圖像。引用列表專利文獻(xiàn)專利文獻(xiàn)1JP-A-2007-299326專利文獻(xiàn)2:JP-A-2010_5064
發(fā)明內(nèi)容
技術(shù)問(wèn)題在專利文獻(xiàn)I中描述的系統(tǒng)內(nèi)，當(dāng)出現(xiàn)觀看者的頭部劇烈運(yùn)動(dòng)等情況時(shí)，合成虛擬對(duì)象圖像所需的位置測(cè)定信息的可靠性降低，使得可能存在虛擬對(duì)象圖像的合成失敗的情況。因此，還存在這樣一個(gè)待解決的問(wèn)題:虛擬對(duì)象圖像從在顯示在HMD或顯示器上的圖像上消失或出現(xiàn)在顯示在HMD或顯示器上的圖像上，減小了增強(qiáng)現(xiàn)實(shí)感。在專利文獻(xiàn)I內(nèi)，沒(méi)有具體地考慮所述待解決的問(wèn)題。同樣，由于專利文獻(xiàn)2沒(méi)有涉及提供增強(qiáng)現(xiàn)實(shí)感的技術(shù)，因此不存在對(duì)上述問(wèn)題的描述。在可以在HMD和外部顯示器之間共享增強(qiáng)現(xiàn)實(shí)感的系統(tǒng)內(nèi)，如何減小觀看外部顯示器的第三方的不適感是很重要的，并且僅通過(guò)傳統(tǒng)的方法不足以減小不適感。
考慮到上述問(wèn)題和目的，做出本發(fā)明以提供能夠防止第三方的圖像暈動(dòng)病出現(xiàn)并且防止第三方的增強(qiáng)現(xiàn)實(shí)感降低的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備。技術(shù)手段本發(fā)明的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備具有針對(duì)每個(gè)幀周期捕獲圖像的圖像捕獲單元，所述設(shè)備包括:全局坐標(biāo)計(jì)算單元，其根據(jù)利用圖像捕獲單元進(jìn)行圖像捕獲而得到的現(xiàn)實(shí)圖像，計(jì)算出指示虛擬對(duì)象要求被疊加在全局坐標(biāo)系統(tǒng)內(nèi)的位置，該全局坐標(biāo)系統(tǒng)定義了與現(xiàn)實(shí)世界相對(duì)應(yīng)的虛擬空間；虛擬圖像合成單元，其生成使用從全局坐標(biāo)計(jì)算單元計(jì)算出的全局坐標(biāo)將虛擬對(duì)象圖像與現(xiàn)實(shí)圖像結(jié)合起來(lái)的虛擬合成圖像；顯示單元，其顯示現(xiàn)實(shí)圖像和虛擬合成圖像中的任何一個(gè)圖像；移動(dòng)量檢測(cè)單元，其檢測(cè)增強(qiáng)現(xiàn)實(shí)感提供設(shè)備的移動(dòng)量；以及輸出控制單元，在通過(guò)全局坐標(biāo)計(jì)算單元計(jì)算出的全局坐標(biāo)的可靠度為第一閾值或更大且通過(guò)移動(dòng)量檢測(cè)單元檢測(cè)到的移動(dòng)量小于第二閾值的幀周期(在下文中，稱為第一幀周期)內(nèi)，該輸出控制單元進(jìn)行正常輸出控制，該正常輸出控制使得在第一幀周期內(nèi)通過(guò)虛擬圖像合成單元生成的虛擬合成圖像被輸出至設(shè)置在外部的外部顯示裝置，并且在全局坐標(biāo)的可靠度變得小于第一閾值或所述移動(dòng)量變得大于第二閾值的幀周期(在下文中，稱為第二幀周期)內(nèi)，該輸出控制單元進(jìn)行保持輸出控制，該保持輸出控制使得已經(jīng)在第二幀周期之前的幀周期內(nèi)被虛擬圖像合成單元生成且存儲(chǔ)了的前一個(gè)虛擬合成圖像輸出至設(shè)置在外部的外部顯示裝置。發(fā)明的有益效果根據(jù)本發(fā)明，可以提供能夠防止第三方的圖像暈動(dòng)病出現(xiàn)及增強(qiáng)現(xiàn)實(shí)感降低的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備。


圖1是示出了作為增強(qiáng)現(xiàn)實(shí)感提供設(shè)備的頭戴式顯示器(HMD)IOO的外觀的視圖，其用于解釋本發(fā)明的一個(gè)實(shí)施例。圖2是示出了圖1所示的HMD的內(nèi)部結(jié)構(gòu)的框圖。圖3是用于解釋在圖1所示的HMD100的單個(gè)幀周期內(nèi)HMD100的操作的流程圖。圖4是用于解釋圖1所示的HMD100的操作的狀態(tài)轉(zhuǎn)換圖。圖5是用于解釋圖1所示的HMD100的操作的狀態(tài)轉(zhuǎn)換圖。圖6是用于解釋圖1所示的HMD100的操作的狀態(tài)轉(zhuǎn)換圖。圖7是用于解釋圖1所示的HMD100的操作的狀態(tài)轉(zhuǎn)換圖。圖8是示出了 HMD100的第一變形示例中的輸出控制單元15的內(nèi)部結(jié)構(gòu)的框圖。圖9是用于解釋在HMD100的第一變形示例的單個(gè)幀周期內(nèi)的操作的流程圖。圖10是用于解釋HMD100的第一變形示例的操作的狀態(tài)轉(zhuǎn)換圖。圖11是示出了 HMD100的第二變形示例內(nèi)的輸出控制單元15的內(nèi)部結(jié)構(gòu)的框圖。圖12是用于解釋在HMD100的第二變形示例的單個(gè)幀周期內(nèi)的操作的流程圖。圖13是用于解釋HMD100的第二變形示例的操作的狀態(tài)轉(zhuǎn)換圖。圖14是用于解釋HMD100的第二變形示例的操作的狀態(tài)轉(zhuǎn)換圖。圖15是用于解釋HMD100的第三變形示例的操作的狀態(tài)轉(zhuǎn)換圖。圖16是用于解釋HMD100的第三變形示例的操作的狀態(tài)轉(zhuǎn)換圖。
具體實(shí)施例方式在下文中，將會(huì)參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行描述。圖1是示出了作為增強(qiáng)現(xiàn)實(shí)感提供設(shè)備的頭戴式顯示器(HMD)IOO的外觀的視圖，其用于解釋本發(fā)明的一個(gè)實(shí)施例。圖1所示的HMD100包括:眼鏡型殼體1、設(shè)置在殼體I上的右眼用圖像捕獲單元2R和左眼用圖像捕獲單元2L、以及右眼用顯示單元3R和左眼用顯示單元3L，顯示單元3R提供在與戴著HMD100的人的右眼相對(duì)的一部分殼體4R上，顯示單元3L提供在與戴著HMD100的人的左眼相對(duì)的一部分殼體4L上。圖2是示出了圖1所示的HMD100的內(nèi)部結(jié)構(gòu)的框圖。除了圖像捕獲單元2R、2L和顯示單元3R、3L以外，HMD100還包括:現(xiàn)實(shí)圖像處理單元10RU0L ;位置測(cè)定單元11 ;虛擬圖像存儲(chǔ)單元12 ;虛擬圖像處理單元13 ;虛擬圖像合成單元14R、14L ;輸出控制單元15 ;檢測(cè)HMD100的移動(dòng)量的角速度傳感器16 ;以及圖像存儲(chǔ)單元17。圖像捕獲單元2R、2L對(duì)捕獲的圖像信號(hào)進(jìn)行模擬處理，該捕獲圖像信號(hào)可以利用圖像捕獲元件進(jìn)行捕獲而得到；模擬處理后對(duì)捕獲圖像信號(hào)進(jìn)行數(shù)字轉(zhuǎn)換；以及將數(shù)字化后的捕獲圖像信號(hào)輸出至現(xiàn)實(shí)圖像處理單元10R、10L?，F(xiàn)實(shí)圖像處理單元IOR對(duì)從圖像捕獲單元2R輸出的捕獲圖像信號(hào)進(jìn)行已知的數(shù)字信號(hào)處理，以生成右眼用捕獲圖像數(shù)據(jù)(右眼用現(xiàn)實(shí)圖像)?，F(xiàn)實(shí)圖像處理單元IOL對(duì)從圖像捕獲單元2L輸出的捕獲圖像信號(hào)進(jìn)行已知的數(shù)字信號(hào)處理，以生成左眼用捕獲圖像數(shù)據(jù)(左眼用現(xiàn)實(shí)圖像)。位置測(cè)定單元11利用現(xiàn)實(shí)圖像處理單元IOR生成的右眼用現(xiàn)實(shí)圖像和現(xiàn)實(shí)圖像處理單元IOL生成的左眼用現(xiàn)實(shí)圖像來(lái)計(jì)算全局坐標(biāo)，該全局坐標(biāo)指示了在定義了與現(xiàn)實(shí)世界對(duì)應(yīng)的虛擬空間的全局坐標(biāo)系內(nèi)虛擬對(duì)象被疊加的位置。例如，位置測(cè)定單元11提取出通常包含在右眼用現(xiàn)實(shí)圖像和左眼用現(xiàn)實(shí)圖像中的特征點(diǎn)，并根據(jù)所提取的特征點(diǎn)來(lái)計(jì)算全局坐標(biāo)。另一種方式，位置測(cè)定單元11檢測(cè)通常包含在右眼用現(xiàn)實(shí)圖像和左眼用現(xiàn)實(shí)圖像中的標(biāo)志物，并根據(jù)所檢測(cè)到的標(biāo)志物的位置來(lái)計(jì)算全局坐標(biāo)。位置測(cè)定單元11在計(jì)算全局坐標(biāo)的同時(shí)，還判定所計(jì)算出的全局坐標(biāo)的計(jì)算精度(可靠度)是否為第一閾值或更大。例如，在根據(jù)特征點(diǎn)來(lái)計(jì)算全局坐標(biāo)的情況下，將特征點(diǎn)的數(shù)量設(shè)置為用于估計(jì)可靠度的估計(jì)值。在根據(jù)標(biāo)志物來(lái)計(jì)算全局坐標(biāo)的情況下，進(jìn)行圖案匹配時(shí)的誤差平方和設(shè)置為用于估計(jì)可靠度的估計(jì)值。位置測(cè)定單元11將可靠度的判定結(jié)果輸入到虛擬圖像處理單元13和輸出控制單元15。虛擬圖像存儲(chǔ)單元12存儲(chǔ)要被結(jié)合至現(xiàn)實(shí)圖像處理單元10RU0L生成的現(xiàn)實(shí)圖像的多種三維虛擬對(duì)象圖像。虛擬圖像處理單元13根據(jù)位置測(cè)定單元11中計(jì)算出的全局坐標(biāo)，將從虛擬圖像存儲(chǔ)單元12中讀取的任意三維虛擬對(duì)象圖像變成二維圖像。這時(shí)，虛擬圖像處理單元13根據(jù)每個(gè)顯示單元3R、3L的視點(diǎn)，進(jìn)行二維操作。當(dāng)在位置測(cè)定單元11內(nèi)計(jì)算出的全局坐標(biāo)的可靠度(與估計(jì)值的意思相同)為第一閾值或更大時(shí)，虛擬圖像處理單元13將被轉(zhuǎn)化為二維的右眼用虛擬對(duì)象圖像輸出至虛擬圖像合成單元14R，并將被轉(zhuǎn)化為二維的左眼用虛擬對(duì)象圖像輸出至虛擬圖像合成單元14L。同時(shí)，當(dāng)在位置測(cè)定單元11內(nèi)計(jì)算出的全局坐標(biāo)的可靠度小于第一閾值時(shí)，虛擬圖像處理單元13不會(huì)將被轉(zhuǎn)化為二維的虛擬對(duì)象圖像輸出至虛擬圖像合成單元14R、14L。當(dāng)虛擬圖像處理單元13輸出了右眼用二維虛擬對(duì)象圖像時(shí)，虛擬圖像合成單元14R將從現(xiàn)實(shí)圖像處理單元IOR輸出的右眼用現(xiàn)實(shí)圖像與右眼用虛擬對(duì)象圖像結(jié)合，生成右眼用虛擬合成圖像，并將該虛擬合成圖像輸出至顯示單元3R和輸出控制單元15。同時(shí)，當(dāng)虛擬圖像處理單元13沒(méi)有輸出右眼用二維虛擬對(duì)象圖像時(shí)，虛擬圖像合成單元14R不會(huì)生成虛擬合成圖像，而是將現(xiàn)實(shí)圖像輸出至顯示單元3R和輸出控制單元15。當(dāng)虛擬圖像處理單元13輸出了左眼用二維虛擬對(duì)象圖像時(shí)，虛擬圖像合成單元14L將從現(xiàn)實(shí)圖像處理單元IOL輸出的左眼用現(xiàn)實(shí)圖像與左眼用虛擬對(duì)象圖像結(jié)合，生成左眼用虛擬合成圖像，并將該虛擬合成圖像輸出至顯示單元3L和輸出控制單元15。同時(shí)，當(dāng)虛擬圖像處理單元13沒(méi)有輸出左眼用二維虛擬對(duì)象圖像時(shí)，虛擬圖像合成單元14L不會(huì)生成虛擬合成圖像，而是將現(xiàn)實(shí)圖像輸出至顯示單元3L和輸出控制單元15。顯示單元3R顯示從虛擬圖像合成單元14R輸出的現(xiàn)實(shí)圖像或虛擬合成圖像。顯示單元3L顯示從虛擬圖像合成單元14L輸出的現(xiàn)實(shí)圖像或虛擬合成圖像。輸出控制單元15將虛擬合成圖像輸出至設(shè)置在HMD100外部的外部顯示裝置。為了使觀看者看到立體圖像，外部顯示裝置被構(gòu)造為顯示右眼用圖像和左眼用圖像。輸出控制單元15將輸出至外部顯示裝置的虛擬合成圖像存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)。只有最新的虛擬合成圖像被覆寫并存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)。當(dāng)有必要根據(jù)角速度傳感器16檢測(cè)到的HMD100的移動(dòng)量進(jìn)行判定時(shí)，輸出控制單元15停止覆寫(更新)存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像。輸出控制單元15根據(jù)位置測(cè)定單元11得到的全局坐標(biāo)可靠度的判定結(jié)果以及角速度傳感器16檢測(cè)到的HMD100的移動(dòng)量在正常輸出控制和保持輸出控制之間進(jìn)行可切換操作，正常輸出控制使由虛擬圖像合成單元14R、14L生成的虛擬合成圖像輸出至外部顯示裝置，而保持輸出控制使存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像輸出至外部顯示裝置。圖3是用于解釋在圖1所示的HMD100的單個(gè)幀周期內(nèi)HMD100的操作的流程圖。在步驟SI，當(dāng)圖像捕獲單元2R、2L捕獲了圖像時(shí)，輸出控制單元15使用來(lái)自角速度傳感器16的信息，檢測(cè)HMD100的移動(dòng)量(當(dāng)前的幀周期與前一個(gè)幀周期之間的移動(dòng)量)(步驟S2)。其后，在現(xiàn)實(shí)圖像處理單元10RU0L內(nèi)生成從各捕獲單元2R、2L輸出的捕獲圖像數(shù)據(jù)(現(xiàn)實(shí)圖像)(步驟S3)。其后，在位置測(cè)定單元11內(nèi)根據(jù)在步驟S3中生成的兩個(gè)現(xiàn)實(shí)圖像來(lái)進(jìn)行全局坐標(biāo)計(jì)算(位置測(cè)定)(步驟S4)。其后，在位置測(cè)定單元11內(nèi)判定全局坐標(biāo)可靠度(位置測(cè)定可靠度)。當(dāng)位置測(cè)定可靠度為第一閾值或更大(步驟S5中為“是”)時(shí)，進(jìn)行步驟S6的處理，而當(dāng)位置測(cè)定可靠度小于第一閾值(在步驟S5中為“否”)時(shí)，進(jìn)行步驟S12的處理。在步驟S6，根據(jù)在步驟S4中計(jì)算出的全局坐標(biāo)來(lái)將虛擬對(duì)象圖像變成二維的，生成由二維虛擬對(duì)象圖像和在步驟S3中生成的現(xiàn)實(shí)圖像結(jié)合而成的虛擬合成圖像(步驟S7)，以及將該虛擬合成圖像顯示在顯示單元3R、3L上(步驟S8)。在步驟S8后，輸出控制單元15判定在步驟S2中檢測(cè)到的移動(dòng)量是否為第二閾值或更大，當(dāng)移動(dòng)量為第二閾值或更大時(shí)進(jìn)行步驟S13，而當(dāng)移動(dòng)量小于第二閾值時(shí)進(jìn)行步驟S10。在步驟SlO中，輸出控制單元15將在步驟S8中顯示在顯示單元3R、3L上的虛擬合成圖像存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)(存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬圖像被覆寫，從而進(jìn)行更新)。其后，輸出控制單元15將在步驟S8中顯示在顯示單元3R、3L上的虛擬合成圖像輸出至外部顯示裝置(步驟S11)，并終止單個(gè)幀周期內(nèi)的處理。在步驟S13中，輸出控制單元15不將在步驟S8中顯示在顯示單元3R、3L上的虛擬合成圖像存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)(不對(duì)存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像進(jìn)行更新)，讀取存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像以及然后將所讀取的虛擬合成圖像輸出至外部顯示裝置(步驟S14)，由此終止單個(gè)幀周期內(nèi)的處理。回到步驟S5的描述，當(dāng)位置測(cè)定可靠度小于第一閾值(在步驟S5中為“否”)時(shí)，將在步驟S3中生成的現(xiàn)實(shí)圖像顯示在顯示單元3R、3L上(步驟S12)。在步驟S12后，進(jìn)行步驟S13和步驟S14，并將存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像顯示在外部顯示裝置上。盡管以上描述解釋了在HDM100的單個(gè)幀周期內(nèi)的操作，但下面將參照?qǐng)D4至圖7來(lái)描述HMD100的多個(gè)幀周期內(nèi)的操作。圖4是用于解釋圖1所示的HMD100的操作的狀態(tài)轉(zhuǎn)換圖。圖4示出了一種狀態(tài)轉(zhuǎn)換的操作，該狀態(tài)轉(zhuǎn)換為從位置測(cè)定可靠度為第一閾值或更大并且移動(dòng)量小于第二閾值的狀態(tài)轉(zhuǎn)換至位置測(cè)定可靠度為第一閾值或更大并且移動(dòng)量為第二閾值或更大的狀態(tài)。在圖4內(nèi)，橫坐標(biāo)軸表示幀周期的開(kāi)始時(shí)間。在時(shí)間TO至T5中的每個(gè)時(shí)間的上方，示出了顯示在顯示單元3R上的虛擬合成圖像(顯示在HMD上的圖像)、存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像(存儲(chǔ)圖像)、以及在完成了在每個(gè)時(shí)間處開(kāi)始的幀周期之后輸出到外部顯示裝置上的用于外部輸出的圖像。在圖4內(nèi)，在顯示在HMD上的每個(gè)圖像、存儲(chǔ)圖像和用于外部輸出的圖像內(nèi)標(biāo)注有參考符號(hào)，并且對(duì)相同的圖像給出相同的符號(hào)。此外，在圖4中僅示出了對(duì)應(yīng)于右眼的圖像。在時(shí)間TO至T2中的每個(gè)時(shí)間處開(kāi)始的幀周期內(nèi)，由于HMD100的移動(dòng)量小于第二閾值，因此在捕獲了圖像后生成的虛擬合成圖像顯示在顯示單元3R上，該虛擬合成圖像被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)，并且該虛擬合成圖像被存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)。因此，在TO至T2的時(shí)間段內(nèi)，與顯示在HMD100的顯示單元上的圖像相同的圖像被顯示在外部顯示裝置上，使得戴著HMD100的人和觀看外部顯示裝置的人可以共享增強(qiáng)現(xiàn)實(shí)感，其中星星的虛擬圖像疊加在人的現(xiàn)實(shí)圖像上。當(dāng)在時(shí)間T3處HMD100的移動(dòng)量為第二閾值或更大時(shí)，在時(shí)間T3開(kāi)始的幀周期內(nèi)，在捕獲了圖像后生成的虛擬合成圖像4被顯示在顯示單元3R上，但是虛擬合成圖像4沒(méi)有被輸出至外部顯示裝置。相反，存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的存儲(chǔ)圖像3被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。
同樣，在時(shí)間T4和T5處，由于HMD100的移動(dòng)量不小于第二閾值，因此存儲(chǔ)圖像3被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。因此，在時(shí)間T3后，虛擬合成圖像4至6依次被切換并顯示在HMD100的顯示單元上，但是就在HMD100的移動(dòng)量達(dá)到第二閾值或更大之前顯示的虛擬合成圖像3繼續(xù)被顯示在外部顯示裝置上。因此，觀看外部顯示裝置的人可以跳過(guò)諸如大幅度變化的虛擬合成圖像4至6之類的圖像，使得能夠防止出現(xiàn)圖像暈動(dòng)病。圖5是用于解釋圖1所示的HMD100的操作的狀態(tài)轉(zhuǎn)換圖。圖5示出了一種狀態(tài)轉(zhuǎn)換的操作，該狀態(tài)轉(zhuǎn)換為從位置測(cè)定可靠度為第一閾值或更大且移動(dòng)量為第二閾值或更大的狀態(tài)轉(zhuǎn)換至位置測(cè)定可靠度為第一閾值或更大且移動(dòng)量小于第二閾值的狀態(tài)。圖5中表不的符號(hào)與圖4中表不的符號(hào)相同。在時(shí)間TlO和Tll中的每個(gè)時(shí)間處開(kāi)始的幀周期內(nèi)，由于HMD100的移動(dòng)量為第二閾值或更大，因此在捕獲了圖像后生成的虛擬合成圖像顯示在顯示單元3R上。但是，該虛擬合成圖像沒(méi)有被輸出至外部顯示裝置并且取而代之的是，存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的存儲(chǔ)圖像A被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。當(dāng)在時(shí)間T12處HMD100的移動(dòng)量小于第二閾值時(shí)，在時(shí)間T12開(kāi)始的幀周期內(nèi)，在捕獲了圖像后生成的虛擬合成圖像3被顯示在顯示單元3R上，虛擬合成圖像3被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)，并且該虛擬合成圖像3被存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)。同樣，在時(shí)間T13至T15中的各個(gè)時(shí)間處，由于HMD100的移動(dòng)量小于第二閾值，因此在每個(gè)幀周期內(nèi)生成的虛擬合成圖像4至6被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)。因此，即使輸出至外部顯示裝置的圖像被保持，當(dāng)HMD100的移動(dòng)量變得較小時(shí)，在外部顯示裝置上也可以顯示與顯示在HMD100內(nèi)的圖像相同的虛擬合成圖像。圖6是用于解釋圖1所示的HMD100的操作的狀態(tài)轉(zhuǎn)換圖。圖6示出了一種狀態(tài)轉(zhuǎn)換的操作，該狀態(tài)轉(zhuǎn)換從位置測(cè)定可靠度為第一閾值或更大并且所述移動(dòng)量小于第二閾值的狀態(tài)轉(zhuǎn)換至位置測(cè)定可靠度小于第一閾值的狀態(tài)。圖6中表示的符號(hào)與圖4中表示的符號(hào)相同。在時(shí)間TO至T2中的每個(gè)時(shí)間處開(kāi)始的幀周期內(nèi)，由于位置測(cè)定可靠度為第一閾值或更大，因此在捕獲了圖像后生成的虛擬合成圖像顯示在顯示單元3R上，該虛擬合成圖像被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)，并且該虛擬合成圖像被存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)。因此，在TO至T2的時(shí)間段內(nèi)，與顯示在HMD100的顯示單元上的圖像相同的圖像被顯示在外部顯示裝置上，使得戴著HMD100的人和觀看外部顯示裝置的人可以共享增強(qiáng)現(xiàn)實(shí)感，其中星星的虛擬圖像疊加在人的現(xiàn)實(shí)圖像上。當(dāng)在時(shí)間T3處位置測(cè)定可靠度小于第一閾值時(shí)，在T3開(kāi)始的幀周期內(nèi)，在捕獲了圖像后生成的現(xiàn)實(shí)圖像4被顯示在顯示單元3R上，但是該現(xiàn)實(shí)圖像4沒(méi)有被輸出至外部顯示裝置。相反，存儲(chǔ)在存儲(chǔ)單元17內(nèi)的存儲(chǔ)圖像3被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。同樣，在時(shí)間T4和T5處，由于位置測(cè)定可靠度不小于第一閾值，因此存儲(chǔ)圖像3被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。因此，在時(shí)間T3后，現(xiàn)實(shí)圖像4至6被依次切換并顯示在HMD100的顯示單元上，但是就在位置測(cè)定可靠度變成小于第一閾值之前顯示的虛擬合成圖像3繼續(xù)被顯示在外部顯示裝置上。由于這些操作，消除了在時(shí)間T3后顯示在外部顯示裝置上的星星的虛擬圖像會(huì)頻繁地突然消失的情況。由此，可以防止觀看外部顯示裝置的人感覺(jué)到由于虛擬圖像的突然消失導(dǎo)致的增強(qiáng)現(xiàn)實(shí)感降低。此外，戴著HMD100的人可以通過(guò)顯示在顯示單元3R、3L上的現(xiàn)實(shí)圖像來(lái)保證視場(chǎng)，所以可以確保安全。圖7是用于解釋圖1所示的HMD100的操作的狀態(tài)轉(zhuǎn)換圖。圖7示出了一種狀態(tài)轉(zhuǎn)換的操作，該狀態(tài)轉(zhuǎn)換從位置測(cè)定可靠度小于第一閾值的狀態(tài)轉(zhuǎn)換至位置測(cè)定可靠度為第一閾值或更大并且所述移動(dòng)量小于第二閾值的狀態(tài)。圖7中表示的符號(hào)與圖4中表示的符號(hào)相同。在時(shí)間TlO和Tll中的每個(gè)時(shí)間處開(kāi)始的幀周期內(nèi)，由于位置測(cè)定可靠度小于第一閾值，因此在捕獲了圖像后生成的現(xiàn)實(shí)圖像被顯示在顯示單元3R上，但是，該現(xiàn)實(shí)圖像沒(méi)有被輸出至外部顯示裝置。取而代之的是，存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的存儲(chǔ)圖像A被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。當(dāng)在時(shí)間T12處位置測(cè)定可靠度為第一閾值或更大并且所述移動(dòng)量小于第二閾值時(shí)，在時(shí)間T12開(kāi)始的幀周期內(nèi)，在捕獲了圖像后生成的虛擬合成圖像3被顯示在顯示單元3R上，虛擬合成圖像3被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)，并且虛擬合成圖像3被存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)。同樣，在時(shí)間T13至T15的各個(gè)時(shí)間處，由于位置測(cè)定可靠度為第一閾值或更大并且HMD100的移動(dòng)量小于第二閾值，因此在各幀周期內(nèi)生成的虛擬合成圖像4至6被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)。如上所述，根據(jù)HMD100，當(dāng)位置測(cè)定可靠度為第一閾值或更大并且HMD100的移動(dòng)量小于第二閾值時(shí)，輸出控制單元15進(jìn)行正常輸出控制。為此，在這種情況下，可以在戴著HMD100的人和觀看外部顯示裝置的人之間共享增強(qiáng)現(xiàn)實(shí)感。此外，根據(jù)HMD100，當(dāng)在位置測(cè)定可靠度小于第一閾值而不管移動(dòng)量如何的情況下虛擬合成圖像的生成不可能成功時(shí)，輸出控制單元15進(jìn)行保持輸出控制。為此，同樣在該情況下，繼續(xù)將存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像顯示在外部顯示裝置上。因此，可以防止減小帶給觀看外部顯示裝置的人的增強(qiáng)現(xiàn)實(shí)感。此外，根據(jù)HMD100，即使位置測(cè)定可靠度為第一閾值或更大，當(dāng)HMD100的移動(dòng)量為第二閾值或更大時(shí)，輸出控制單元15也進(jìn)行保持輸出控制，使得繼續(xù)將存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像顯示在外部顯示裝置上。因此，可以防止觀看外部顯示裝置的人遭受圖像暈動(dòng)病。下面，將描述HMD100的變形示例。(第一變形示例)除了在輸出控制單元15的結(jié)構(gòu)方面的差異外，HMD100的第一變形示例的內(nèi)部模塊構(gòu)造與圖2所示的相同。圖8是示出了 HMD100的第一變形示例內(nèi)的輸出控制單元15的內(nèi)部結(jié)構(gòu)的框圖。
圖8中示出的輸出控制單元15包括加權(quán)平均單元151、輸出判定單元152和格式轉(zhuǎn)換單元153。加權(quán)平均單元151對(duì)在虛擬圖像合成單元14R、14L內(nèi)生成的虛擬合成圖像(顯示在HMD上的圖像)和存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像(存儲(chǔ)圖像)進(jìn)行加權(quán)平均，以生成要輸出至外部顯示裝置的用于外部輸出的圖像。具體來(lái)說(shuō)，進(jìn)行{(顯示在HMD上的圖像)Xa + (存儲(chǔ)圖像)Χβ}/(α + β)運(yùn)算來(lái)生成用于外部輸出的圖像。輸出判定單元152根據(jù)來(lái)自位置測(cè)定單元11的位置測(cè)定可靠度的判定結(jié)果和通過(guò)角速度傳感器16檢測(cè)到的HMD100的移動(dòng)量，在三種控制之間進(jìn)行可切換操作。第一種控制是正常輸出控制，其使得由虛擬圖像合成單元14R、14L生成的虛擬合成圖像通過(guò)格式轉(zhuǎn)換單元153輸出至外部顯示裝置。第二種控制是保持輸出控制，其使得存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像通過(guò)格式轉(zhuǎn)換單元153輸出至外部顯示裝置。第三種控制是遷移輸出控制，其使得在加權(quán)平均單元151內(nèi)生成的用于外部輸出的圖像被輸出至外部顯示裝置。當(dāng)進(jìn)行保持輸出控制時(shí)，輸出判定單元152將表示外部顯示裝置的顯示被固定(保持)的保持標(biāo)志存儲(chǔ)在內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)進(jìn)行正常輸出控制時(shí)，輸出判定單元152清除所有存儲(chǔ)在內(nèi)部存儲(chǔ)器內(nèi)的標(biāo)志。另外，當(dāng)進(jìn)行遷移輸出控制時(shí)，輸出判定單元152存儲(chǔ)表示外部顯示裝置正在從固定顯示遷移至正常顯示的保持退出進(jìn)行中標(biāo)志。每當(dāng)進(jìn)行遷移輸出控制時(shí)，輸出判定單元152則增加保持退出進(jìn)行中標(biāo)志的數(shù)量。每次進(jìn)行正常輸出控制時(shí)，輸出判定單元152不會(huì)增加保持標(biāo)志的數(shù)量。格式轉(zhuǎn)換單元153將輸入圖像轉(zhuǎn)變?yōu)橛糜谕獠匡@示裝置的數(shù)據(jù)，并將輸入圖像發(fā)送至外部顯示裝置。圖9是用于解釋在單個(gè)幀周期內(nèi)HMD100的第一變形示例的操作的流程圖。在圖9中，相同的標(biāo)記對(duì)應(yīng)圖3中相同的處理。步驟S9、步驟S10、步驟S11、步驟S13、以及步驟S14的處理由輸出判定單元152執(zhí)行。在步驟S14后，輸出判定單元152將保持標(biāo)志存儲(chǔ)在內(nèi)部存儲(chǔ)器內(nèi)(步驟S22)，然后結(jié)束該處理。此外，在步驟Sll后，輸出判定單元152清除所有存儲(chǔ)在內(nèi)部存儲(chǔ)器內(nèi)的標(biāo)志(標(biāo)志S21),然后結(jié)束該處理。在步驟S9的判定中，當(dāng)HMD100的移動(dòng)量小于第二閾值(在步驟S9中為“否”)時(shí)，輸出判定單元152判定保持標(biāo)志是否存儲(chǔ)在內(nèi)部存儲(chǔ)器內(nèi)(步驟S23)。若保持標(biāo)志沒(méi)有存儲(chǔ)在其內(nèi)，輸出判定單元152則進(jìn)行步驟SlO的處理。若保持標(biāo)志存儲(chǔ)在其內(nèi)，輸出判定單元152則進(jìn)行步驟S24的處理。在步驟S24，輸出判定單元152判定在內(nèi)部存儲(chǔ)器內(nèi)是否存儲(chǔ)有η (η是大于等于I的自然數(shù))個(gè)保持退出進(jìn)行中標(biāo)志。其后，當(dāng)存在η個(gè)保持退出進(jìn)行中標(biāo)志時(shí)，輸出判定單元152進(jìn)行步驟SlO的處理。當(dāng)保持退出進(jìn)行中標(biāo)志的個(gè)數(shù)小于η時(shí)，輸出判定單元152進(jìn)行步驟S25的處理(遷移輸出控制)。在步驟S25，輸出判定單元152使得在加權(quán)平均單元151內(nèi)生成通過(guò)對(duì)在步驟S8中顯示的虛擬合成圖像和存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像進(jìn)行加權(quán)平均而形成的用于外部輸出的圖像，使得用于外部輸出的圖像在格式轉(zhuǎn)換單元153內(nèi)進(jìn)行格式轉(zhuǎn)換，以及然后將用于外部輸出的圖像輸出至外部顯示裝置。當(dāng)結(jié)束了步驟S25時(shí)，輸出判定單元152將單個(gè)保持退出進(jìn)行中標(biāo)志存儲(chǔ)在內(nèi)部存儲(chǔ)器內(nèi)(步驟S26)，并結(jié)束該處理。以上描述了在HMD100的第一變形示例的一個(gè)幀周期內(nèi)進(jìn)行的操作。在下文中，將參照?qǐng)D10來(lái)描述在HMD100的第一變形示例的多個(gè)幀周期內(nèi)的操作。圖10是用于解釋HMD100的第一變形示例的操作的狀態(tài)轉(zhuǎn)換圖。圖10示出了一種狀態(tài)轉(zhuǎn)換的操作，該狀態(tài)轉(zhuǎn)換從位置測(cè)定可靠度為第一閾值或更大并且移動(dòng)量為第二閾值或更大的狀態(tài)轉(zhuǎn)換至位置測(cè)量可靠度為第一閾值或更大并且所述移動(dòng)量小于第二閾值的狀態(tài)。此外，圖10中表不的符號(hào)與圖4中表不的符號(hào)相同。另外，圖10中僅不出了對(duì)應(yīng)于右眼的圖像。圖10中示出了當(dāng)n=3并且加權(quán)系數(shù)α，β =1/2時(shí)的操作。此外，從位置測(cè)定可靠度小于第一閾值的狀態(tài)至位置測(cè)定可靠度為第一閾值或更大并且移動(dòng)量小于第二閾值的狀態(tài)的狀態(tài)轉(zhuǎn)換對(duì)應(yīng)于這樣一種狀態(tài)轉(zhuǎn)換:圖4和圖10之間的差異僅僅是以下情況，其中在時(shí)間Τ12處，位置測(cè)定可靠度變?yōu)榈谝婚撝祷蚋蟛⑶乙苿?dòng)量變?yōu)樾∮诘诙撝担约霸跁r(shí)間TIO、11處顯示在HMD上的圖像變?yōu)椴皇翘摂M合成圖像而是現(xiàn)實(shí)圖像，并且他們的基本操作相同。此外，從位置測(cè)定可靠度為第一閾值或更大并且所述移動(dòng)量小于第二閾值的狀態(tài)至位置測(cè)定可靠度小于第一閾值并且所述移動(dòng)量為第二閾值或更大的狀態(tài)轉(zhuǎn)換操作與圖4和圖6所不的操作相同。在時(shí)間TlO和Tll中的每個(gè)時(shí)間處開(kāi)始的幀周期內(nèi)，由于HMD100的移動(dòng)量為第二閾值或更大，因此在捕獲了圖像后生成的虛擬合成圖像被顯示在顯示單元3R上，但是虛擬合成圖像沒(méi)有被輸出至外部顯示裝置，而存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的存儲(chǔ)圖像A代替虛擬合成圖像被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。在從時(shí)間Τ10、Τ11中的每個(gè)時(shí)間開(kāi)始的巾貞周期結(jié)束后，輸出判定單兀152的內(nèi)部存儲(chǔ)器內(nèi)僅存儲(chǔ)保持標(biāo)志。當(dāng)在時(shí)間Τ12處HMD100的移動(dòng)量小于第二閾值時(shí)，在時(shí)間Τ12存儲(chǔ)保持標(biāo)志，但是在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)沒(méi)有存儲(chǔ)任何保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間Τ12開(kāi)始的幀周期內(nèi)，通過(guò)將正顯示在HMD上的虛擬合成圖像(I)與存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像A相加并將它們的和除以2而生成的圖像B被輸出至外部顯示裝置(進(jìn)行了第一遷移輸出控制)。當(dāng)圖像B被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。在接下來(lái)的時(shí)間Τ13處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間Τ13開(kāi)始的幀周期內(nèi)，通過(guò)將正顯示在HMD上的虛擬合成圖像(2)與存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像A相加并將他們的和除以2而生成的圖像C被輸出至外部顯示裝置(進(jìn)行了第二遷移輸出控制)。當(dāng)圖像C被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。在接下來(lái)的時(shí)間Τ14處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)保持標(biāo)志和2個(gè)保持退出進(jìn)行中標(biāo)志。
為此，在時(shí)間T14處開(kāi)始的幀周期內(nèi)，通過(guò)將正顯示在HMD上的虛擬合成圖像(3)與存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像A相加并將它們的和除以2而生成的圖像D被輸出至外部顯示裝置(進(jìn)行了第三移動(dòng)輸出控制)。當(dāng)圖像D被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。在接下來(lái)的時(shí)間T15處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和三個(gè)(等于η)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間Τ15處開(kāi)始的幀周期內(nèi)，正顯示在HMD上的虛擬合成圖像(4)被覆寫到圖像存儲(chǔ)單元17內(nèi)，并且虛擬合成圖像(4)被輸出至外部顯示裝置(進(jìn)行了正?？刂?。當(dāng)虛擬合成圖像(4)被輸出至外部顯示裝置時(shí)，存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)的所有保持標(biāo)志和保持退出進(jìn)行中標(biāo)志均被清除。為此，在時(shí)間Τ15后，顯示在HMD上的虛擬合成圖像如實(shí)地被顯示在外部顯示裝置上。因此，在第一變形示例中，當(dāng)出現(xiàn)從HMD的移動(dòng)量為第二閾值或更大的狀態(tài)改變?yōu)镠MD的移動(dòng)量小于第二閾值的狀態(tài)的狀態(tài)轉(zhuǎn)換時(shí)，輸出控制單元15進(jìn)行的控制不會(huì)直接從保持輸出控制切換到正常輸出控制，而是在進(jìn)行了 η次遷移輸出控制后切換到正常輸出控制，所述遷移輸出控制使得通過(guò)對(duì)在圖像合成單元14R、14L中生成的虛擬合成圖像和存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像進(jìn)行加權(quán)平均而得到的用于外部輸出的圖像被輸出至外部顯示裝置。通過(guò)進(jìn)行遷移輸出控制，顯示在外部顯示裝置上的圖像不會(huì)突然從虛擬合成圖像A變?yōu)樘摂M合成圖像(4)，而是能夠逐漸地從虛擬合成圖像A變?yōu)樘摂M合成圖像(4)。為此，可以防止給觀看外部顯示裝置的人帶來(lái)由于較大的圖像變化而導(dǎo)致的圖像刺激。此外，如圖10所示，在遷移輸出控制過(guò)程中顯示在外部顯示裝置上的圖像B、C、D變?yōu)榕c在保持輸出控制和正常輸出控制過(guò)程中顯示的圖像A和圖像4在外觀上完全不同的圖像，所以容易知道從保持狀態(tài)返回至正常狀態(tài)的時(shí)刻。此外，在上述描述中，在進(jìn)行η次遷移輸出控制中，在加權(quán)平均單元151內(nèi)使用的加權(quán)系數(shù)均相同，但是加權(quán)系數(shù)并不局限于此。例如，顯示在HMD上的虛擬合成圖像的加權(quán)系數(shù)可以與存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)的保持退出進(jìn)行中標(biāo)志的數(shù)量成比例地增長(zhǎng)。具體地說(shuō)，從圖10的時(shí)間Τ13處開(kāi)始的幀周期內(nèi)，將顯示在HMD上的圖像的加權(quán)系數(shù)設(shè)置為三分之二(2/3)而將存儲(chǔ)圖像的加權(quán)系數(shù)設(shè)置為三分之一(1/3)，并且在圖10的時(shí)間Τ14開(kāi)始的幀周期內(nèi)，將顯示在HMD上的圖像的加權(quán)系數(shù)設(shè)置為四分之三(3/4)而將存儲(chǔ)圖像的加權(quán)系數(shù)設(shè)置為四分之一(1/4)。通過(guò)這樣做，可以逐步地減小包含在顯示在外部顯示裝置上的圖像內(nèi)的存儲(chǔ)圖像的比例，使得圖像可以更加自然地變化。(第二變形示例)HMD100的第二變形示例具有與第一變形示例相同的結(jié)構(gòu)，除了以下方面:在圖9所示的步驟S25內(nèi)的加權(quán)平均圖像生成方法與第一變形示例不同，圖像存儲(chǔ)單元17被構(gòu)造為存儲(chǔ)多個(gè)虛擬合成圖像，以及在圖9所示的步驟S12后的處理與第一變形示例不同。圖11是示出了 HMD100的第二變形示例內(nèi)的輸出控制單元15的內(nèi)部結(jié)構(gòu)的框圖。除了加權(quán)平均單元151被加權(quán)平均單元151a取代以外，圖11所示的輸出控制單元15具有與圖8所示的輸出控制單元15相同的結(jié)構(gòu)。加權(quán)平均單元151a要么對(duì)存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像和通過(guò)虛擬圖像合成單元14R、14L生成的虛擬合成圖像進(jìn)行加權(quán)平均來(lái)生成用于外部輸出的圖像，要么對(duì)存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的多個(gè)虛擬合成圖像進(jìn)行加權(quán)平均來(lái)生成用于外部輸出的圖像。圖12是用于解釋在HMD100的第二變形示例的單個(gè)幀周期內(nèi)的操作的流程圖。在圖12內(nèi)，相同的附圖標(biāo)記與圖9中相同的處理對(duì)應(yīng)。圖12示出了流程圖，其中圖9中的步驟S25由步驟S35取代，添加步驟S30至S33來(lái)作為當(dāng)在步驟S9中的判定結(jié)果為“是”時(shí)要進(jìn)行的步驟，并且當(dāng)在步驟S30或S31中的判定結(jié)果為“是”時(shí)進(jìn)行步驟S13的處理。在步驟S35，輸出判定單元152進(jìn)行第一遷移輸出控制，使得在加權(quán)平均單元151a內(nèi)生成通過(guò)對(duì)在虛擬圖像合成單元14R、14L內(nèi)生成的虛擬合成圖像和在比這些虛擬合成圖像更早生成的至少一個(gè)虛擬合成圖像進(jìn)行加權(quán)平均而形成的用于外部輸出的圖像，并將用于外部輸出的圖像通過(guò)格式轉(zhuǎn)換單元153輸出至外部顯示裝置。在步驟S30，輸出判定單元152判定在內(nèi)部存儲(chǔ)器內(nèi)是否存儲(chǔ)有保持標(biāo)志。若其中沒(méi)有存儲(chǔ)保持標(biāo)志，該處理進(jìn)行至步驟S31。否則，該處理進(jìn)行至步驟S13。在步驟S31，輸出判定單元152判定內(nèi)部存儲(chǔ)器內(nèi)是否存儲(chǔ)有η個(gè)保持退出進(jìn)行中標(biāo)志。若在步驟S31中的判定結(jié)果為“是”，輸出判定單元152則進(jìn)行步驟S13的處理。若在步驟S31中的判定結(jié)果為“否”，輸出判定單元152則進(jìn)行步驟S32的處理。在步驟S32中，輸出判定單元152進(jìn)行第二遷移輸出控制，使得在加權(quán)平均單元151a內(nèi)生成通過(guò)對(duì)在虛擬圖像合成單元14R、14L內(nèi)生成的虛擬合成圖像和從比這些虛擬合成圖像更早生成的虛擬合成圖像中選擇的多個(gè)虛擬合成圖像進(jìn)行加權(quán)平均而形成的用于外部輸出的圖像，并將用于外部輸出的圖像通過(guò)格式轉(zhuǎn)換單元153輸出至外部顯示裝置。在步驟S32后，輸出判定單元152將一個(gè)保持進(jìn)入進(jìn)行中標(biāo)志存儲(chǔ)在內(nèi)部存儲(chǔ)器內(nèi)(步驟S33)，并結(jié)束處理。在下文中，將參照附圖13對(duì)在第一遷移輸出控制的過(guò)程中在加權(quán)平均單元151a內(nèi)生成用于外部輸出的圖像的方法的細(xì)節(jié)，以及參照附圖14對(duì)在第二遷移輸出控制過(guò)程中在加權(quán)平均單元151a內(nèi)生成用于外部輸出的圖像的方法的細(xì)節(jié)進(jìn)行描述。圖13是用于解釋HMD100的第二變形示例的操作的狀態(tài)轉(zhuǎn)換圖。圖13示出了一種狀態(tài)轉(zhuǎn)換的操作，該狀態(tài)轉(zhuǎn)換為從位置測(cè)定可靠度為第一閾值或更大且移動(dòng)量為第二閾值或更大的狀態(tài)轉(zhuǎn)換至位置測(cè)定可靠度為第一閾值或更大且移動(dòng)量小于第二閾值的狀態(tài)。在圖13中表不的符號(hào)與圖4中表不的符號(hào)相同。此外,在圖13內(nèi)僅不出了對(duì)應(yīng)于右眼的圖像。圖13內(nèi)示了當(dāng)n=5時(shí)的操作。此外，從位置測(cè)定可靠度小于第一閾值的狀態(tài)向位置測(cè)定可靠度為第一閾值或更大并且移動(dòng)量小于第二閾值的狀態(tài)的狀態(tài)轉(zhuǎn)換對(duì)應(yīng)于圖4和圖13之間的差異僅為以下情況的狀態(tài)轉(zhuǎn)換:在時(shí)間T12處，位置測(cè)定可靠度變?yōu)榈谝婚撝祷蚋笄乙苿?dòng)量變?yōu)樾∮诘诙撝担⑶以跁r(shí)間TlO和Tll處顯示在HMD上的圖像沒(méi)有變成虛擬合成圖像，而是變成現(xiàn)實(shí)圖像，并且它們的基本操作相同。在時(shí)間TlO和Tll的每個(gè)時(shí)間處，HMD100的移動(dòng)量為第二閾值或更大，并且在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志。為此，在時(shí)間TlO和Tll中的每個(gè)時(shí)間處開(kāi)始的幀周期內(nèi)，在捕獲了圖像后生成的虛擬合成圖像被顯示在顯示單元3R上，但是該虛擬合成圖像沒(méi)有被輸出至外部顯示裝置。存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的“存儲(chǔ)區(qū)域I”內(nèi)的存儲(chǔ)圖像A取代虛擬合成圖像被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。當(dāng)在時(shí)間T12處HMD100的移動(dòng)量小于第二閾值時(shí)，在時(shí)間T12處在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志但是沒(méi)有存儲(chǔ)任何保持退出進(jìn)行中標(biāo)志。為此,在時(shí)間T12處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第一次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(I)與存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像A相加，并將它們的和除以2而生成的圖像B被輸出至外
部顯示裝置。當(dāng)圖像B被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像B被輸出至外部顯示裝置時(shí)，虛擬合成圖像(I)被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)。在接下來(lái)的時(shí)間T13處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和一個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T13處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第二次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(2)、存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像A以及存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(I)相加，并將這些圖像的和除以3而生成的圖像C被輸出至外部顯示裝置。當(dāng)圖像C被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像C被輸出至外部顯示裝置時(shí)，虛擬合成圖像(2)被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域3”內(nèi)。在接下來(lái)的時(shí)間T14處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和兩個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T14開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第三次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(3)、存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像A、存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(I)、存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的“存儲(chǔ)區(qū)域3”內(nèi)的虛擬合成圖像(2)相加，并將這些圖像的和除以4而生成的圖像D被輸出至外部顯示裝置。當(dāng)圖像D被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像D被輸出至外部顯示裝置時(shí)，虛擬合成圖像(3)被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域4”內(nèi)。在接下來(lái)的時(shí)間T15處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和三個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T15處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第四次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(4)、存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域3”內(nèi)的虛擬合成圖像(2)、存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域4”內(nèi)的虛擬合成圖像(3)相加，并將這些圖像的和除以3而生成的圖像E輸出至外部顯示裝置。當(dāng)圖像E被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像E被輸出至外部顯示裝置時(shí)，虛擬合成圖像(4)被覆寫到圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)，并且存儲(chǔ)在“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(I)被清除。在接下來(lái)的時(shí)間T16處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和四個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T16處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第五次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(5)和存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像(4)相加，并將它們的和除以2而生成的圖像F輸出至外
部顯示裝置。當(dāng)圖像F被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像F被輸出至外部顯示裝置時(shí)，存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域3”和“存儲(chǔ)區(qū)域4”內(nèi)的虛擬合成圖像(2)和(3)被分別清除。在接下來(lái)的時(shí)間T17處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和五個(gè)保持退出進(jìn)行中標(biāo)志。為此，顯示在HMD上的虛擬合成圖像(6)被覆寫到圖像存儲(chǔ)器17的“存儲(chǔ)區(qū)域I”內(nèi)，并且虛擬合成圖像(6 )被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)。當(dāng)虛擬合成圖像(6)被輸出至外部顯示裝置時(shí)，存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)的保持標(biāo)志和所有的保持退出進(jìn)行中標(biāo)志被清除。為此，在時(shí)間T17以后，顯示在HMD上的虛擬合成圖像被直接輸出至外部顯示裝置。圖14是用于解釋HMD100的第二變形示例的操作的狀態(tài)轉(zhuǎn)換圖。圖14示出了一種狀態(tài)轉(zhuǎn)換的操作，該狀態(tài)轉(zhuǎn)換從位置測(cè)定可靠度為第一閾值或更大并且移動(dòng)量小于第二閾值的狀態(tài)轉(zhuǎn)換至位置測(cè)定可靠度為第一閾值或更大且移動(dòng)量為第二閾值或更大的狀態(tài)。圖14中表不的符號(hào)與圖4中表不的符號(hào)相同。此外,在圖14內(nèi)僅不出了對(duì)應(yīng)于右眼的圖像。而且，圖14內(nèi)示了當(dāng)n=5時(shí)的操作。此外，從位置測(cè)定可靠度為第一閾值或更大且移動(dòng)量小于第二閾值的狀態(tài)到位置測(cè)定可靠度小于第一閾值的狀態(tài)的狀態(tài)轉(zhuǎn)換的操作與圖6所示的操作相同。在時(shí)間TO處開(kāi)始的幀周期內(nèi)，位置測(cè)定可靠度為第一閾值或更大且移動(dòng)量小于第二閾值，并且沒(méi)有存儲(chǔ)保持標(biāo)志。為此，在捕獲了圖像后生成的虛擬合成圖像A被顯示在顯示單元3R上，虛擬合成圖像A被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)，并且虛擬合成圖像A被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)。當(dāng)在時(shí)間Tl處位置測(cè)定可靠度為第一閾值或更大且HMD100的移動(dòng)量為第二閾值或更大時(shí)，在時(shí)間Tl處在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)沒(méi)有存儲(chǔ)任何保持退出進(jìn)行中標(biāo)志(hold-out in-progress flag)。為此,在Tl開(kāi)始的巾貞周期內(nèi)，利用加權(quán)平均處理生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第一次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(I)與存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像A相加，并將這些圖像的和除以2而生成的圖像B被輸出至外部顯示裝置。當(dāng)圖像B被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像B被輸出至外部顯示裝置時(shí)，虛擬合成圖像(I)被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)。在下一個(gè)時(shí)間T2處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有一個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T2開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第二次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(2)乘以二分之一(1/2)后生成的圖像、存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像A乘以四分之一(1/4)后生成的圖像、以及存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(I)乘以四分之一(1/4)后生成的圖像相加而生成的圖像C被輸出至外部顯示裝置。當(dāng)圖像C被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像C被輸出至外部顯示裝置時(shí)，虛擬合成圖像(2)被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域3內(nèi)”。在接下來(lái)的時(shí)間T3處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有兩個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T3處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第三次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(3)乘以二分之一(1/2)后生成的圖像、存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像A乘以八分之一(1/8)后生成的圖像、存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(I)乘以八分之一(1/8)后生成的圖像、存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的“存儲(chǔ)區(qū)域3”內(nèi)的虛擬合成圖像(2)乘以四分之一(1/4)后生成的圖像相加而生成的圖像D被輸出至外部顯示裝置。當(dāng)圖像D被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像D被輸出至外部顯示裝置時(shí)，虛擬合成圖像(3)被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域4”內(nèi)。在接下來(lái)的時(shí)間T4處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有三個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T4處開(kāi)始的幀周期內(nèi)，利用平均加權(quán)處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第四次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域3”內(nèi)的虛擬合成圖像(2)乘以四分之一(1/4)后生成的圖像、存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域4”內(nèi)的虛擬合成圖像(3)乘以四分之三(3/4)后生成的圖像相加而生成的圖像E輸出至外部顯示裝置。當(dāng)圖像E被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像E被輸出至外部顯示裝置時(shí)，存儲(chǔ)在“存儲(chǔ)區(qū)域I”和“存儲(chǔ)區(qū)域2”內(nèi)的數(shù)據(jù)被清除。在接下來(lái)的時(shí)間T5處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有四個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T5處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第五次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域3”內(nèi)的虛擬合成圖像(2)乘以八分之一(1/8)后生成的圖像和存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域4”內(nèi)的虛擬合成圖像(3)乘以八分之七(7/8)后生成的圖像相加而生成的圖像F輸出至外部顯示裝置。當(dāng)圖像F被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像F被輸出至外部顯示裝置時(shí)，存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域3”內(nèi)的數(shù)據(jù)被清除。在接下來(lái)的時(shí)間T6處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有五(等于η)個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間Τ6開(kāi)始的幀周期內(nèi)，存儲(chǔ)在圖像存儲(chǔ)器17的“存儲(chǔ)區(qū)域4”內(nèi)的虛擬合成圖像(3)被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。同樣，在時(shí)間Τ6之后，外部顯示裝置上繼續(xù)顯示存儲(chǔ)在“存儲(chǔ)區(qū)域4”內(nèi)的虛擬合成圖像(3)。如上所述，在第二變形示例中，當(dāng)出現(xiàn)從HMD100的移動(dòng)量為第二閾值或更大的狀態(tài)至HMD100的移動(dòng)量小于第二閾值的狀態(tài)的狀態(tài)轉(zhuǎn)換時(shí)，輸出控制單元15進(jìn)行的控制沒(méi)有直接從保持輸出控制切換至正常輸出控制，而是在進(jìn)行η次第一遷移輸出控制以后切換至正常輸出控制。第一遷移輸出控制是這樣一種控制:其使得將通過(guò)對(duì)在圖像合成單元14R、14L內(nèi)生成的虛擬合成圖像和存儲(chǔ)在圖像存儲(chǔ)單元17內(nèi)的虛擬合成圖像進(jìn)行加權(quán)平均而得到的用于外部輸出的圖像輸出至外部顯示裝置。同樣，在第二變形示例中，在進(jìn)行第一遷移輸出控制的每個(gè)幀周期內(nèi)設(shè)置的加權(quán)系數(shù)對(duì)于每個(gè)幀周期都發(fā)生變化，這樣可以在逐漸減小包含在用于外部輸出的圖像內(nèi)的虛擬合成圖像A的比例的同時(shí)，在時(shí)間序列上逐漸增大新的虛擬合成圖像被包含在用于外部輸出的圖像內(nèi)的比例。通過(guò)進(jìn)行第一遷移輸出控制，顯示在外部顯示裝置上的圖像不會(huì)突然從虛擬合成圖像A變?yōu)樘摂M合成圖像(6)，而是可以逐漸地從虛擬合成圖像A變?yōu)樘摂M合成圖像(6)。為此，可以防止給觀看外部顯示裝置的人帶來(lái)由于較大的圖像變化而導(dǎo)致的圖像刺激。此外，如圖13所示，在遷移輸出控制過(guò)程中顯示在外部顯示裝置上的圖像B、C、D、E、F變成了與在保持輸出控制和正常輸出控制過(guò)程中顯示的圖像A和圖像6在外觀上完全不同的圖像，所以容易知道從保持狀態(tài)返回至正常狀態(tài)的時(shí)間。此外，在第二變形示例中，當(dāng)出現(xiàn)從HMD100的移動(dòng)量小于第二閾值的狀態(tài)變化為HMD100的移動(dòng)量為第二閾值或更大的狀態(tài)的狀態(tài)轉(zhuǎn)換時(shí)，輸出控制單元15進(jìn)行的控制不會(huì)直接從正常輸出控制切換至保持輸出控制，而是在進(jìn)行η次第二遷移輸出控制以后切換至保持輸出控制。第二遷移輸出控制使得對(duì)在虛擬圖像合成單元14R、14L內(nèi)生成的虛擬合成圖像和選自比在虛擬圖像合成單元14R、14L內(nèi)生成的虛擬合成圖像更早生成的虛擬合成圖像中的多個(gè)虛擬合成圖像進(jìn)行加權(quán)平均，以生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置。在圖14的示例中，在進(jìn)行第二遷移輸出控制的五個(gè)幀周期中的第三幀周期(在時(shí)間T3處開(kāi)始的幀周期)被設(shè)置為保持幀周期，并且在該保持幀周期內(nèi)的虛擬合成圖像被設(shè)置為在進(jìn)行正常輸出控制的幀周期(在時(shí)間T6開(kāi)始的幀周期)內(nèi)要輸出至外部顯示裝置的圖像。同樣，在該保持幀周期以前的幀周期(從時(shí)間Tl至T3中的每個(gè)時(shí)間處開(kāi)始的幀周期)內(nèi)，對(duì)在該幀周期內(nèi)生成的虛擬合成圖像和在對(duì)應(yīng)于該幀周期之前的至少一個(gè)幀周期的周期內(nèi)通過(guò)虛擬圖像合成單元14R、14L生成的至少一個(gè)虛擬合成圖像進(jìn)行加權(quán)平均處理，以生成用于外部輸出的圖像。同樣，在該保持幀周期之后的幀周期(在圖14所示的時(shí)間T4和T5處開(kāi)始的幀周期)內(nèi)對(duì)在該保持幀周期內(nèi)生成的虛擬合成圖像(3)和在該保持幀周期之前的一個(gè)幀周期內(nèi)生成的虛擬合成圖像(2)進(jìn)行加權(quán)平均處理，以生成用于外部輸出的圖像。在η個(gè)幀周期內(nèi)，各幀周期的加權(quán)系數(shù)均發(fā)生變化，以逐漸增加新的虛擬合成圖像在對(duì)應(yīng)于進(jìn)行加權(quán)平均的目標(biāo)圖像的虛擬合成圖像中的比例。通過(guò)進(jìn)行η次第二遷移輸出控制，顯示在外部輸出裝置上的圖像不會(huì)突然從虛擬合成圖像A變化為虛擬合成圖像(3)，而是能夠逐漸從虛擬合成圖像A變化為虛擬合成圖像(3)。通過(guò)這樣做，可以消除由于要顯示的圖像從虛擬合成圖像A突變?yōu)樘摂M合成圖像(3)而導(dǎo)致的不適感。同樣，當(dāng)控制從保持輸出控制切換至正常輸出控制時(shí)所進(jìn)行的控制的次數(shù)η需要是大于等于2的自然數(shù)。此外，需要將進(jìn)行第二遷移輸出控制的η個(gè)幀周期中的第一至第η-1個(gè)幀周期中的任何一個(gè)幀周期設(shè)置為保持幀周期。(第三變形示例)在下文中將參照附圖15來(lái)描述圖13中的Τ12至Τ16中的每個(gè)時(shí)間處HMD100的操作的變形示例，并且參照?qǐng)D16來(lái)描述圖14中的Tl至Τ5的每個(gè)時(shí)間處HMD100的操作的
變形示例。圖15是用于解釋HMD100的第三變形示例的操作的狀態(tài)轉(zhuǎn)換圖。在圖15中，除了在時(shí)間Τ12至Τ16處的狀態(tài)以外的狀態(tài)均與圖13所示的相同。當(dāng)在時(shí)間Τ12處HMD100的移動(dòng)量小于第二閾值時(shí)，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志，而沒(méi)有存儲(chǔ)任何保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間Τ12處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第一次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(I)與存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像A相加，并將它們的和除以2而生成的圖像B被輸出至外
部顯示裝置。
當(dāng)圖像B被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像B被輸出至外部顯示裝置時(shí)，圖像B被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)。在下一個(gè)時(shí)間T13處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和一個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T13開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第二次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(2)和存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像B相加，并將這些圖像的和除以2而生成的圖像C被輸出至外部顯示裝置。當(dāng)圖像C被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像C被輸出至外部顯示裝置時(shí)，圖像C被覆寫到圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)。在接下來(lái)的時(shí)間T14處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和兩個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T14處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第三次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(3)和存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像C相加，并將它們的和除以2而生成的圖像D被輸出至外
部顯示裝置。當(dāng)圖像D被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像D被輸出至外部顯示裝置時(shí)，圖像D被覆寫到圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)。在接下來(lái)的時(shí)間T15處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和三個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T15處開(kāi)始的幀周期內(nèi)，利用平均加權(quán)處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第四次進(jìn)行第一遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(4)乘以三分之二( 2/3)后生成的圖像和存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像D乘以三分之一(1/3)后生成的圖像相加而得到的圖像E被輸出至外部顯示裝置。當(dāng)圖像E被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像E被輸出至外部顯示裝置時(shí)，圖像E被覆寫到圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)。在接下來(lái)的時(shí)間T16處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和四個(gè)保持退出進(jìn)行中標(biāo)志。為此，在時(shí)間T16處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第五次進(jìn)行第一遷移輸出控制)。具體地講，通過(guò)將顯示在HMD上的虛擬合成圖像(5)乘以四分之三(3/4)后生成的圖像和存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像E乘以四分之一(1/4)后生成的圖像相加而得到的圖像F輸出至外部顯示裝置。當(dāng)圖像F被輸出至外部顯示裝置時(shí)，一個(gè)保持退出進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像F被輸出至外部顯示裝置時(shí)，存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)的圖像D被清除。在接下來(lái)的時(shí)間T17處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有保持標(biāo)志和五個(gè)保持退出進(jìn)行中標(biāo)志。為此，顯示在HMD上的虛擬合成圖像(6)被覆寫到圖像存儲(chǔ)器17的“存儲(chǔ)區(qū)域I”內(nèi)，并且虛擬合成圖像(6 )被輸出至外部顯示裝置(進(jìn)行了正常輸出控制)。當(dāng)虛擬合成圖像(6)被輸出至外部顯示裝置時(shí)，存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)的所有保持標(biāo)志和保持退出進(jìn)行中標(biāo)志被清除。為此，在時(shí)間T17后，顯示在HMD上的虛擬合成圖像如實(shí)地被直接輸出至外部顯示裝置。圖16是用于解釋HMD100的第三變形示例的操作的狀態(tài)轉(zhuǎn)換圖。在圖16中，除了在時(shí)間Tl至T5處的狀態(tài)以外的狀態(tài)都與圖14中的相同。當(dāng)在時(shí)間Tl處HMD100的移動(dòng)量為第二閾值或更大時(shí)，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)沒(méi)有存儲(chǔ)保持標(biāo)志和任何保持進(jìn)入進(jìn)行中標(biāo)志。為此，在Tl開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第一次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(I)與存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像A相加，并將這些圖像的和除以2而生成的圖像B被輸出至外部顯示裝置。當(dāng)圖像B被輸出至外部顯示裝置時(shí)，一個(gè)保持進(jìn)入進(jìn)行中標(biāo)志被存儲(chǔ)在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像B被輸出至外部顯示裝置時(shí)，圖像B被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)。在下一個(gè)時(shí)間T2處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有一個(gè)保持進(jìn)入進(jìn)行中標(biāo)志。為此，在時(shí)間T2開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第二次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(2)和存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)的圖像B相加，并將這些圖像的和除以2而生成的圖像C被輸出至外部顯
示裝置。當(dāng)圖像C被輸出至外部顯示裝置時(shí)，一個(gè)保持進(jìn)入進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像C被輸出至外部顯示裝置時(shí)，圖像C被覆寫到圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)。在接下來(lái)的時(shí)間T3處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有兩個(gè)保持進(jìn)入進(jìn)行中標(biāo)志。為此，在時(shí)間T3處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第三次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將顯示在HMD上的虛擬合成圖像(3)和存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的圖像C相加，并將它們的和除以2而生成的圖像D被輸出至外部顯示裝置。當(dāng)圖像D被輸出至外部顯示裝置時(shí)，一個(gè)保持進(jìn)入進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像D被輸出至外部顯示裝置時(shí)，虛擬合成圖像(3)被存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)。在接下來(lái)的時(shí)間T4處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)三個(gè)保持進(jìn)入進(jìn)行中標(biāo)志。為此，在時(shí)間T4處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第四次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像C乘以四分之一(1/4)后生成的圖像和存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(3)乘以四分之三(3/4)后生成的圖像相加而生成的圖像E被輸出至外部顯示裝置。當(dāng)圖像E被輸出至外部顯示裝置時(shí)，一個(gè)保持進(jìn)入進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。在接下來(lái)的時(shí)間T5處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有四個(gè)保持進(jìn)入進(jìn)行中標(biāo)志。為此，在時(shí)間T5處開(kāi)始的幀周期內(nèi)，利用加權(quán)平均處理來(lái)生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置(第五次進(jìn)行第二遷移輸出控制)。具體來(lái)說(shuō)，通過(guò)將存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域I”內(nèi)的虛擬合成圖像C乘以八分之一(1/8)后生成的圖像和存儲(chǔ)在圖像存儲(chǔ)裝置17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(3)乘以八分之七(7/8)后生成的圖像相加而生成的圖像F被輸出至外部顯示裝置。當(dāng)圖像F被輸出至外部顯示裝置時(shí)，一個(gè)保持進(jìn)入進(jìn)行中標(biāo)志被添加至輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)。此外，當(dāng)圖像F被輸出至外部顯示裝置時(shí)，存儲(chǔ)在“存儲(chǔ)區(qū)域I”內(nèi)的數(shù)據(jù)被清除。在接下來(lái)的時(shí)間T6處，在輸出判定單元152的內(nèi)部存儲(chǔ)器內(nèi)存儲(chǔ)有五(等于η)個(gè)保持進(jìn)入進(jìn)行中標(biāo)志。為此，在時(shí)間Τ6開(kāi)始的幀周期內(nèi)，存儲(chǔ)在圖像存儲(chǔ)單元17的“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(3 )被輸出至外部顯示裝置(進(jìn)行了保持輸出控制)。而且，在時(shí)間Τ6之后，外部顯示裝置上繼續(xù)顯示存儲(chǔ)在“存儲(chǔ)區(qū)域2”內(nèi)的虛擬合成圖像(3)。在圖15所示的時(shí)間Τ12至Τ16中的各時(shí)間處開(kāi)始的幀周期內(nèi)進(jìn)行的第一遷移輸出控制是這樣一種控制:其使得要對(duì)在該幀周期內(nèi)生成的虛擬合成圖像和在該幀周期的前一個(gè)幀周期內(nèi)顯示在外部顯示裝置上的虛擬合成圖像進(jìn)行加權(quán)平均處理，以生成用于外部輸出的圖像，并將生成的用于外部輸出的圖像輸出至外部顯示裝置。根據(jù)第一遷移輸出控制，在圖像存儲(chǔ)單元17內(nèi)可以包括存儲(chǔ)區(qū)域I和存儲(chǔ)區(qū)域2這兩個(gè)區(qū)域，與第二變形示例的情況相比可以減小存儲(chǔ)器容量。在從圖16所示的時(shí)間Tl至Τ5的每個(gè)時(shí)間處開(kāi)始的幀周期內(nèi)進(jìn)行的第二遷移輸出控制是這樣一種控制:其使得對(duì)在該幀周期內(nèi)生成的虛擬合成圖像、在該幀周期之前的前一個(gè)幀周期內(nèi)生成的前一個(gè)虛擬合成圖像和選自在該幀周期之前的幀周期內(nèi)輸出至外部顯示裝置的虛擬合成圖像中的多個(gè)虛擬合成圖像進(jìn)行加權(quán)平均處理，以生成用于外部輸出的圖像，并將用于外部輸出的圖像輸出至外部顯示裝置。在圖16的示例中，輸出控制單元15將在進(jìn)行第二遷移輸出控制過(guò)程中的η個(gè)幀周期中的第三幀周期(在時(shí)間Τ3處開(kāi)始的幀周期)設(shè)置為保持幀周期，并且在該保持幀周期及其之前的幀周期(從時(shí)間Tl至Τ3中的每處開(kāi)始的幀周期)內(nèi)，對(duì)在該幀周期內(nèi)生成的虛擬合成圖像和在該幀周期之前的前一幀周期內(nèi)輸出至外部顯示裝置的虛擬合成圖像進(jìn)行加權(quán)平均，以生成用于外部輸出的圖像。此外，在該保持幀周期之后的幀周期(在時(shí)間Τ4和Τ5中的每個(gè)時(shí)間處開(kāi)始的幀周期)內(nèi)，輸出控制單元15對(duì)在該保持幀周期內(nèi)生成的虛擬合成圖像和在該保持幀周期之前的前一個(gè)幀周期內(nèi)輸出至外部顯示裝置的虛擬合成圖像進(jìn)行加權(quán)平均，以生成用于外部輸出的圖像。此外，在該保持幀周期之后的幀周期內(nèi)，加權(quán)系數(shù)對(duì)于每個(gè)幀周期都發(fā)生變化，使得虛擬合成圖像(3)包含在用于外部輸出的圖像中的比例隨著幀周期趨近于進(jìn)行正常輸出控制的幀周期而增大。根據(jù)進(jìn)行η次的第二遷移輸出控制，圖像存儲(chǔ)單元17內(nèi)可以存在存儲(chǔ)區(qū)域I和存儲(chǔ)區(qū)域2這兩個(gè)區(qū)域，比第二變形示例的情況進(jìn)一步減小了存儲(chǔ)器容量。此外，同樣在第三變形示例中，當(dāng)控制從保持輸出控制切換至正常輸出控制時(shí)進(jìn)行的第二遷移輸出控制的次數(shù)(η)需要設(shè)置為大于等于2的自然數(shù)，并且需要將進(jìn)行第二遷移輸出控制的η個(gè)幀周期中的第一至第η-1個(gè)幀周期中的任何一個(gè)幀周期設(shè)置為保持幀周期。如上所述，在本說(shuō)明書(shū)中公開(kāi)了以下事項(xiàng)。公開(kāi)的具有針對(duì)每個(gè)幀周期捕獲圖像的圖像捕獲單元的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備包括:全局坐標(biāo)計(jì)算單元，其根據(jù)利用圖像捕獲單元的圖像捕獲而得到的現(xiàn)實(shí)圖像，計(jì)算出指示在全局坐標(biāo)系內(nèi)虛擬對(duì)象被要求疊加在的位置，該全局坐標(biāo)系定義了與現(xiàn)實(shí)世界相對(duì)應(yīng)的虛擬空間；虛擬圖像合成單元，其使用從全局坐標(biāo)計(jì)算單元計(jì)算出的全局坐標(biāo)，生成合成了虛擬對(duì)象圖像與現(xiàn)實(shí)圖像的虛擬合成圖像；顯示單元，其顯示現(xiàn)實(shí)圖像和虛擬合成圖像中的任何一個(gè)圖像；移動(dòng)量檢測(cè)單元，其檢測(cè)增強(qiáng)現(xiàn)實(shí)感提供設(shè)備的移動(dòng)量；以及輸出控制單元，在通過(guò)全局坐標(biāo)計(jì)算單元計(jì)算出的全局坐標(biāo)的可靠度為第一閾值或更大且通過(guò)移動(dòng)量檢測(cè)單元檢測(cè)到的移動(dòng)量小于第二閾值的幀周期(在下文中，稱為第一幀周期)內(nèi)，該輸出控制單元進(jìn)行正常輸出控制，使得在第一幀周期內(nèi)通過(guò)虛擬圖像合成單元生成的虛擬合成圖像被輸出至設(shè)置在外部的外部顯示裝置，并且在全局坐標(biāo)的可靠度變?yōu)榈陀谒龅谝婚撝祷蛩鲆苿?dòng)量變?yōu)榇笥诘诙撝档膸芷?在下文中，稱為第二幀周期)內(nèi)，輸出控制單元進(jìn)行保持輸出控制，使得在第二幀周期之前的幀周期內(nèi)已由虛擬圖像合成單元生成且存儲(chǔ)的前一個(gè)虛擬合成圖像被輸出至設(shè)置在外部的外部顯示裝置。在公開(kāi)的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備中，當(dāng)已從第二幀周期遷移至第一幀周期時(shí)，在轉(zhuǎn)換后執(zhí)行的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期在內(nèi)的至少一個(gè)連續(xù)的幀周期中的每個(gè)幀周期內(nèi)，輸出控制單元進(jìn)行控制，使得通過(guò)對(duì)從虛擬圖像合成單元生成的虛擬合成圖像和在第二幀周期內(nèi)輸出至外部顯示裝置的虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至外部顯示裝置，并且進(jìn)行所述控制之后，在所述至少一個(gè)幀周期之后的幀周期內(nèi)進(jìn)行正常輸出控制。在公開(kāi)的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備中，隨著幀周期趨近至少一個(gè)幀周期之后的幀周期，輸出控制單元增大要進(jìn)行加權(quán)平均處理且從所述虛擬圖像合成單元生成的目標(biāo)虛擬合成圖像的加權(quán)系數(shù)。在公開(kāi)的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備中，當(dāng)已從第二幀周期遷移至第一幀周期時(shí)，在轉(zhuǎn)換后進(jìn)行的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期在內(nèi)的多個(gè)連續(xù)的幀周期中的每個(gè)幀周期內(nèi)，輸出控制單元進(jìn)行控制，使得通過(guò)對(duì)從虛擬圖像合成單元生成的虛擬合成圖像和在該幀周期之前的至少一個(gè)幀周期中的每個(gè)幀周期內(nèi)通過(guò)虛擬圖像合成單元生成的至少一個(gè)虛擬合成圖像進(jìn)行加權(quán)平均而得到的圖像被輸出至外部顯示裝置，并且進(jìn)行所述控制之后，在所述多個(gè)幀周期之后的幀周期內(nèi)進(jìn)行正常輸出控制。在公開(kāi)的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備中，輸出控制單元針對(duì)每個(gè)幀周期改變加權(quán)平均處理期間的加權(quán)系數(shù)，使得逐漸增大被包括在加權(quán)平均處理后的圖像內(nèi)并且生成時(shí)間較新的虛擬合成圖像的比例。在公開(kāi)的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備中，當(dāng)已從第一幀周期遷移至可靠度為第一閾值或更大且所述移動(dòng)量為第二閾值或更大的幀周期時(shí)，在轉(zhuǎn)換后的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期在內(nèi)的多個(gè)連續(xù)的幀周期之后的幀周期內(nèi)，輸出控制單元進(jìn)行保持輸出控制，在保持輸出控制中，在所述多個(gè)幀周期中的除了最后一個(gè)幀周期之外的幀周期中的任何一個(gè)幀周期(在下文中，稱為第三幀周期)內(nèi)，從虛擬圖像合成單元生成的虛擬合成圖像被輸出至外部顯示裝置，在所述多個(gè)幀周期中的第三幀周期之前的幀周期內(nèi)，通過(guò)對(duì)從虛擬圖像合成單元生成的虛擬合成圖像和在所述幀周期之前的至少一個(gè)幀周期中的每個(gè)幀周期內(nèi)通過(guò)所述虛擬圖像合成單元生成的至少一個(gè)虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至外部顯示裝置，并且在第三幀周期之后的幀周期內(nèi)，通過(guò)對(duì)在第三幀周期內(nèi)從虛擬圖像合成單元生成的虛擬合成圖像和在第三幀周期的前一幀周期內(nèi)從虛擬圖像合成單元生成的虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至外部顯示裝置。在公開(kāi)的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備中，當(dāng)已從第二幀周期遷移至第一幀周期時(shí)，在轉(zhuǎn)換后執(zhí)行的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期的多個(gè)連續(xù)的幀周期中的每個(gè)幀周期內(nèi)，輸出控制單元進(jìn)行控制，使得通過(guò)對(duì)從虛擬圖像合成單元生成的虛擬合成圖像和在所述幀周期的前一幀周期內(nèi)輸出至外部顯示裝置的虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至外部顯示裝置，并且在進(jìn)行了所述控制后，在所述多個(gè)幀周期后的幀周期內(nèi)，輸出控制單元進(jìn)行正常輸出控制。在公開(kāi)的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備中，當(dāng)已從第一幀周期遷移至可靠度為第一閾值或更大且移動(dòng)量為第二閾值或更大的幀周期時(shí)，在轉(zhuǎn)換后的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期在內(nèi)的多個(gè)連續(xù)的幀周期之后的幀周期內(nèi)，輸出控制單元進(jìn)行保持輸出控制，在保持輸出控制中，在所述多個(gè)幀周期中的除了最后一個(gè)幀周期之外的幀周期中的任何一個(gè)幀周期(在下文中，稱為第三幀周期)內(nèi)，從虛擬圖像合成單元生成的虛擬合成圖像被輸出至外部顯示裝置，在所述多個(gè)幀周期中的第三幀周期之前的一個(gè)幀周期內(nèi)，通過(guò)對(duì)從虛擬圖像合成單元生成的每個(gè)幀周期的虛擬合成圖像和在所述幀周期的前一個(gè)幀周期內(nèi)輸出至所述外部顯示裝置的圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至外部顯示裝置，并且在第三幀周期之后的幀周期內(nèi)，通過(guò)對(duì)在第三幀周期內(nèi)從虛擬圖像合成單元生成的虛擬合成圖像和在第三幀周期的前一幀周期內(nèi)輸出至外部顯示裝置的虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至外部顯示裝置。在公開(kāi)的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備中，輸出控制單元為每個(gè)幀周期改變?cè)诘谌龓芷谥蟮膸芷趦?nèi)進(jìn)行的加權(quán)平均處理時(shí)的加權(quán)系數(shù)，使得逐漸增大在第三幀周期內(nèi)從虛擬圖像合成單元生成并且被包括在加權(quán)平均處理后生成的圖像內(nèi)的虛擬合成圖像的比例。工業(yè)實(shí)用性根據(jù)本發(fā)明，可以提供能夠防止第三方的圖像暈動(dòng)病和增強(qiáng)現(xiàn)實(shí)感降低的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備。盡管已經(jīng)參照具體的實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)描述，但對(duì)本領(lǐng)域的技術(shù)人員顯而易見(jiàn)的是，可以在不偏離本發(fā)明的精神和范圍的情況下做出各種修改或更正。本申請(qǐng)要求于2010年11月9日在日本提交的專利申請(qǐng)N0.2010-251304的優(yōu)先權(quán)，其所有內(nèi)容通過(guò)引用方式并入本文。附圖標(biāo)記列表100 HMD3R、3L顯示單元11位置測(cè)定單元16角速度傳感器
權(quán)利要求
1.一種增強(qiáng)現(xiàn)實(shí)感提供設(shè)備，其配備有針對(duì)每個(gè)幀周期捕獲圖像的圖像捕獲單元，所述增強(qiáng)現(xiàn)實(shí)感提供設(shè)備包括: 全局坐標(biāo)計(jì)算單元，其根據(jù)利用所述圖像捕獲單元進(jìn)行圖像捕獲而得到的現(xiàn)實(shí)圖像，計(jì)算指示在全局坐標(biāo)系內(nèi)虛擬對(duì)象被要求疊加在的位置，該全局坐標(biāo)系定義了與現(xiàn)實(shí)世界相對(duì)應(yīng)的虛擬空間； 虛擬圖像合成單元，其使用從所述全局坐標(biāo)計(jì)算單元計(jì)算出的全局坐標(biāo)，生成其中合成了虛擬對(duì)象圖像與所述現(xiàn)實(shí)圖像的虛擬合成圖像； 顯示單元，其顯示所述現(xiàn)實(shí)圖像和所述虛擬合成圖像中的任何一個(gè)圖像； 移動(dòng)量檢測(cè)單元，其檢測(cè)所述增強(qiáng)現(xiàn)實(shí)感提供設(shè)備的移動(dòng)量；以及 輸出控制單兀， 在通過(guò)所述全局坐標(biāo)計(jì)算單元計(jì)算出的全局坐標(biāo)的可靠度為第一閾值或更大且通過(guò)所述移動(dòng)量檢測(cè)單元檢測(cè)到的移動(dòng)量小于第二閾值的幀周期(在下文中，稱為第一幀周期)內(nèi)，該輸出控制單元進(jìn)行正常輸出控制，使得在所述第一幀周期內(nèi)通過(guò)所述虛擬圖像合成單元生成的 虛擬合成圖像被輸出至設(shè)置在外部的外部顯示裝置，并且 在所述全局坐標(biāo)的可靠度變?yōu)榈陀谒龅谝婚撝祷蛩鲆苿?dòng)量變?yōu)榇笥谒龅诙撝档膸芷?在下文中，稱為第二幀周期)內(nèi)，所述輸出控制單元進(jìn)行保持輸出控制，使得在第二幀周期之前的幀周期內(nèi)已由所述虛擬圖像合成單元生成且存儲(chǔ)的在前虛擬合成圖像被輸出至設(shè)置在外部的外部顯示裝置。
2.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備， 其中，當(dāng)已從所述第二幀周期遷移至所述第一幀周期時(shí)，在轉(zhuǎn)換后執(zhí)行的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期在內(nèi)的至少一個(gè)連續(xù)的幀周期中的每個(gè)幀周期內(nèi)，所述輸出控制單元進(jìn)行控制，使得通過(guò)對(duì)從所述虛擬圖像合成單元生成的虛擬合成圖像和在第二幀周期內(nèi)輸出至所述外部顯示裝置的虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至所述外部顯示裝置，并且進(jìn)行所述控制之后，在至少一個(gè)幀周期之后的幀周期內(nèi)進(jìn)行正常輸出控制。
3.如權(quán)利要求2所述的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備， 其中，隨著幀周期趨近至少一個(gè)幀周期之后的幀周期，所述輸出控制單元增大要進(jìn)行加權(quán)平均處理的且從所述虛擬圖像合成單元生成的目標(biāo)虛擬合成圖像的加權(quán)系數(shù)。
4.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備， 其中，當(dāng)已從所述第二幀周期遷移至所述第一幀周期時(shí)，在轉(zhuǎn)換后執(zhí)行的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期在內(nèi)的多個(gè)連續(xù)幀周期中的每個(gè)幀周期內(nèi)，所述輸出控制單元進(jìn)行控制，使得通過(guò)對(duì)從所述虛擬圖像合成單元生成的虛擬合成圖像和在該幀周期之前的至少一個(gè)幀周期中的每個(gè)幀周期內(nèi)通過(guò)所述虛擬圖像合成單元生成的至少一個(gè)虛擬合成圖像進(jìn)行加權(quán)平均而得到的圖像被輸出至所述外部顯示裝置，并且進(jìn)行所述控制之后，在所述多個(gè)幀周期之后的幀周期內(nèi)進(jìn)行正常輸出控制。
5.如權(quán)利要求4所述的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備， 其中，所述輸出控制單元針對(duì)每個(gè)幀周期改變加權(quán)平均處理期間的加權(quán)系數(shù)，使得逐漸增大被包括在加權(quán)平均處理后的圖像內(nèi)并且生成時(shí)間較新的虛擬合成圖像的比例。
6.如權(quán)利要求1、4或5所述的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備，其中，當(dāng)已從所述第一幀周期遷移至所述可靠度為第一閾值或更大且所述移動(dòng)量為第二閾值或更大的幀周期時(shí)，在轉(zhuǎn)換后的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期在內(nèi)的多個(gè)連續(xù)的幀周期之后的幀周期內(nèi)，所述輸出控制單元進(jìn)行保持輸出控制， 在所述保持輸出控制中，在所述多個(gè)幀周期中的除了最后一個(gè)幀周期之外的幀周期中的任何一個(gè)幀周期(在下文中，稱為第三幀周期)內(nèi)，從所述虛擬圖像合成單元生成的虛擬合成圖像被輸出至外部顯示裝置， 在所述多個(gè)幀周期中的所述第三幀周期之前的幀周期內(nèi)，通過(guò)對(duì)從所述虛擬圖像合成單元生成的虛擬合成圖像和在所述幀周期之前的至少一個(gè)幀周期中的每個(gè)幀周期內(nèi)通過(guò)所述虛擬圖像合成單元生成的至少一個(gè)虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至所述外部顯示裝置，并且 在所述第三幀周期之后的幀周期內(nèi)，通過(guò)對(duì)在所述第三幀周期內(nèi)從所述虛擬圖像合成單元生成的虛擬合成圖像和在所述第三幀周期的前一幀周期內(nèi)從虛擬圖像合成單元生成的虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至所述外部顯示裝置。
7.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備， 其中，當(dāng)已從所述 第二幀周期遷移至所述第一幀周期時(shí)，在轉(zhuǎn)換后執(zhí)行的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期的多個(gè)連續(xù)的幀周期中的每個(gè)幀周期內(nèi)，所述輸出控制單元進(jìn)行控制，使得通過(guò)對(duì)從所述虛擬圖像合成單元生成的虛擬合成圖像和在所述幀周期的前一幀周期內(nèi)輸出至外部顯示裝置的虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至所述外部顯示裝置，并且在進(jìn)行了所述控制后，在所述多個(gè)幀周期后的幀周期內(nèi)，所述輸出控制單元進(jìn)行正常輸出控制。
8.如權(quán)利要求1或7所述的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備， 其中，當(dāng)已從所述第一幀周期遷移至可靠度為第一閾值或更大且移動(dòng)量為第二閾值或更大的幀周期時(shí)，在轉(zhuǎn)換后的幀周期中的包括緊接著轉(zhuǎn)換之后的一個(gè)幀周期在內(nèi)的多個(gè)連續(xù)的幀周期之后的幀周期內(nèi)，所述輸出控制單元進(jìn)行保持輸出控制， 在所述保持輸出控制中，在所述多個(gè)幀周期中的除了最后一個(gè)幀周期之外的幀周期中的任何一個(gè)幀周期(在下文中，稱為第三幀周期)內(nèi)，從所述虛擬圖像合成單元生成的虛擬合成圖像被輸出至所述外部顯示裝置， 在所述多個(gè)幀周期中的所述第三幀周期之前的幀周期內(nèi)，通過(guò)對(duì)從所述虛擬圖像合成單元針對(duì)每個(gè)幀周期生成的虛擬合成圖像和在所述幀周期的前一個(gè)幀周期內(nèi)輸出至所述外部顯示裝置的圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至所述外部顯示裝置，并且在所述第三幀周期之后的幀周期內(nèi)，通過(guò)對(duì)在所述第三幀周期內(nèi)從所述虛擬圖像合成單元生成的虛擬合成圖像和在所述第三幀周期的前一幀周期內(nèi)輸出至所述外部顯示裝置的虛擬合成圖像進(jìn)行加權(quán)平均處理而得到的圖像被輸出至所述外部顯示裝置。
9.如權(quán)利要求8所述的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備， 其中，所述輸出控制單元針對(duì)每個(gè)幀周期改變?cè)谒龅谌龓芷谥蟮膸芷趦?nèi)進(jìn)行的加權(quán)平均處理時(shí)的加權(quán)系數(shù)，使得逐漸增大在所述第三幀周期內(nèi)從所述虛擬圖像合成單元生成并且被包括在所述加權(quán)平均處理后生成的圖像內(nèi)的虛擬合成圖像的比例。
全文摘要
本發(fā)明提供了能夠防止第三方的圖像暈動(dòng)病及增強(qiáng)現(xiàn)實(shí)感降低的增強(qiáng)現(xiàn)實(shí)感提供設(shè)備。當(dāng)通過(guò)位置測(cè)定單元(11)計(jì)算出的全局坐標(biāo)的位置測(cè)定可靠度為第一閾值或更大且通過(guò)角速度傳感器(16)檢測(cè)出的HMD(100)的移動(dòng)量小于第二閾值時(shí)，HMD(100)將與顯示在顯示單元(3R、3L)上圖像相同的虛擬合成圖像輸出至外部顯示裝置。當(dāng)位置測(cè)定可靠度小于第一閾值或HMD(100)的移動(dòng)量為第二閾值或更大時(shí)，HMD(100)不向外部顯示裝置輸出與顯示在顯示單元(3R、3L)上的圖像相同的虛擬合成圖像，而將已存儲(chǔ)在圖像存儲(chǔ)單元(17)內(nèi)并且先前顯示在顯示單元(3R、3L)上的虛擬合成圖像輸出至外部顯示裝置。
文檔編號(hào)H04N5/225GK103202010SQ20118005413
公開(kāi)日2013年7月10日 申請(qǐng)日期2011年9月6日 優(yōu)先權(quán)日2010年11月9日
發(fā)明者田丸雅也 申請(qǐng)人:富士膠片株式會(huì)社