專利名稱：信息處理設(shè)備及其控制方法和圖像處理設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備及其控制方法和圖像處理設(shè)備。更具體地，本發(fā)明涉及混合現(xiàn)實技術(shù)。
背景技術(shù)：
有許多已知的基于混合現(xiàn)實技術(shù)的系統(tǒng)(MR系統(tǒng)或混合現(xiàn)實系統(tǒng))，該技術(shù)以一種自然方式合并真實世界和虛擬世界而不會引起任何不適。這種MR系統(tǒng)在顯示設(shè)備如HMD上顯示混合現(xiàn)實圖像，通過合并由成像設(shè)備如照相機獲取的實像(實際感測圖像)和使用CG(計算機圖形)繪制的虛擬空間圖像(虛像)來創(chuàng)建該混合現(xiàn)實圖像。通過此過程，MR系統(tǒng)向它的用戶提供混合現(xiàn)實。在上面的描述中，CG代表計算機圖形，而HMD代表頭戴式顯示器。
由于這種MR系統(tǒng)創(chuàng)建虛像以跟蹤實像中的變化，所以需要實時地捕獲用戶觀察點的位置和取向。6-自由度位置和取向傳感器設(shè)備被廣泛用于捕獲位置和取向。MR系統(tǒng)將用戶觀察點的位置和取向，如6-自由度位置和取向傳感器設(shè)備所測量的，轉(zhuǎn)換成虛擬空間中虛擬的觀察點位置和取向，使用CG繪制虛像，并且合并所述虛像與實像。因此，MR系統(tǒng)的用戶將能夠觀察在其上描繪虛擬對象的圖像，就好像它們真實地存在于真實空間中。
MR系統(tǒng)的用戶一般使用頭部固定型顯示設(shè)備，如HMD。HMD裝備有與觀察者的觀察點的位置和取向近似光學一致配置的視頻照相機。使用HMD的MR系統(tǒng)從佩戴HMD的用戶(觀察者)的觀察點的位置和取向獲取實像，并且創(chuàng)建從相同的位置和取向觀察到的虛擬空間圖像。結(jié)果，這種MR圖像能增強觀察者沉浸其中的感覺。
另一方面，有了使用HMD的MR系統(tǒng)，僅有佩戴HMD的觀察者能觀察到混合現(xiàn)實圖像，并且不佩戴HMD的第三人不能觀察到混合現(xiàn)實圖像。為此原因，被呈現(xiàn)給所述觀察者的相同混合現(xiàn)實圖像被顯示在固定顯示設(shè)備如CRT、投影儀或大顯示器上，以呈現(xiàn)給非特定的第三人。因此，甚至不佩戴HMD的第三人能體驗佩戴HMD的觀察者所體驗的相同混合現(xiàn)實。
在此情況下，第三人將觀察從所述觀察者的觀察點創(chuàng)建的混合現(xiàn)實圖像。如果觀察者移動或傾斜他的/她的頭，即使第三人保持固定，對應于所述觀察者的位置和取向中的變化的混合現(xiàn)實圖像將被呈現(xiàn)給第三人。因此，例如，當觀察者為了向下注視目標而傾斜他的/她的頭時，傾斜的混合現(xiàn)實圖像將呈現(xiàn)在觀察者的HMD上，并且同時，傾斜的混合現(xiàn)實圖像將呈現(xiàn)在第三人看到的固定顯示設(shè)備上。由于混合現(xiàn)實圖像被創(chuàng)建以顯示在觀察者的HMD上，因此，明顯地，該混合現(xiàn)實圖像對于觀察者是合適的。但是，由于第三人觀看所述固定顯示器時不會以與觀察者相同的方式傾斜，所以第三人將不可避免地感覺到呈現(xiàn)的混合現(xiàn)實圖像以與他/她自己的頭傾斜不一致的角度不自然地傾斜。此外，由于佩戴HMD的觀察者的頭的位置和取向不斷變化，上面提及的觀察固定顯示設(shè)備的第三人感覺的不自然將增加。因此，當觀察所呈現(xiàn)的混合現(xiàn)實圖像時，第三人可能最終覺得不適。
換句話說，使用如上所述MR系統(tǒng)，存在這樣的情況適于傾斜他/她的頭的觀察者的混合現(xiàn)實圖像可能不適于第三人，該第三人具有的觀察點的位置和取向不同于該觀察者的觀察點位置和取向。因此，要求對應于觀察者的位置和取向中變化的混合現(xiàn)實圖像被呈現(xiàn)給觀察者，同時不具有由所述觀察者的位置和取向中的變化導致的傾斜的混合現(xiàn)實圖像被呈現(xiàn)給第三人。
在公開號為10-164426的日本專利中公開的電子照相機控制將被記錄的圖像，以通過檢測成像平面的取向來維持恒定的垂直取向。
但是，公開號為10-164426的日本專利中公開的電子照相機執(zhí)行的處理被局限在檢測成像單元的旋轉(zhuǎn)方向和角度以及基于所述檢測結(jié)果的圖像旋轉(zhuǎn)。因此，上述發(fā)明既不能向佩戴HMD的觀察者也不能向沒佩戴HMD的第三人呈現(xiàn)合適的混合現(xiàn)實圖像。

發(fā)明內(nèi)容
考慮到上述問題作出本發(fā)明，并且它的目標是提供能夠向佩戴HMD的觀察者和沒佩戴HMD的第三人呈現(xiàn)合適的混合現(xiàn)實圖像的技術(shù)。
為了實現(xiàn)以上目標，信息處理設(shè)備連接到顯示設(shè)備，信息處理設(shè)備包括獲取單元，適合獲取由成像設(shè)備捕獲的實像；生成單元，適合基于成像設(shè)備的取向生成虛像；檢測單元，適合檢測實像的傾斜；校正單元，適合基于所檢測到的實像的傾斜校正實像；合成單元，適合基于校正的實像和虛像生成合成圖像；輸出單元，適合向顯示設(shè)備輸出校正的合成圖像。
此外，根據(jù)本發(fā)明另一個信息處理設(shè)備被配置如下。即，信息處理設(shè)備連接到顯示設(shè)備，信息處理設(shè)備包括獲取單元，適合獲取由成像設(shè)備捕獲的實像；生成單元，適合基于成像設(shè)備的取向生成虛像；合成單元，適合基于實像和虛像生成合成圖像；檢測單元，適合檢測實像的傾斜；校正單元，適合基于所檢測到的實像傾斜校正合成圖像；和輸出單元，適合向顯示設(shè)備輸出校正的合成圖像。
此外，一種圖像處理設(shè)備，包括圖像獲取單元，適合獲取圖像；檢測單元，適合檢測圖像的傾斜；圖像生成單元，適合生成圖像，以用該圖像生成合成圖像；校正單元，適合基于檢測單元的檢測結(jié)果校正圖像獲取單元獲取的圖像；第一合成單元，適合基于由圖像生成單元生成的圖像和校正單元校正的圖像生成合成圖像；第一輸出單元，適合輸出第一合成單元生成的合成圖像。
此外，根據(jù)本發(fā)明另一個圖像處理設(shè)備被配置如下。即，一種圖像處理設(shè)備，包括圖像獲取單元，適合獲取圖像；檢測單元，適合檢測所述圖像的傾斜；圖像生成單元，適合生成圖像，以用該圖像生成合成圖像；合成單元，適合基于由圖像獲取單元獲取的圖像和圖像生成單元生成的圖像生成合成圖像；校正單元，適合基于檢測單元的檢測結(jié)果校正由圖像合成單元生成的合成圖像；和第一輸出單元，適合輸出校正單元校正的圖像。
此外，根據(jù)本發(fā)明用于信息處理設(shè)備控制方法配置如下。即，一種用于信息處理設(shè)備的控制方法，該控制方法包括獲取圖像的圖像獲取步驟；檢測圖像傾斜的檢測步驟；生成圖像的圖像生成步驟，用該圖像生成合成圖像；基于檢測步驟的檢測結(jié)果來校正在圖像獲取步驟獲取的圖像的校正步驟；基于在圖像生成步驟中生成的圖像和在校正步驟中校正的圖像，生成合成圖像的第一合成步驟；和輸出在第一合成步驟中生成的合成圖像的第一輸出步驟。
此外，根據(jù)本發(fā)明用于信息處理設(shè)備的另一個控制方法配置如下。即，一種用于信息處理設(shè)備的控制方法，控制方法包括獲取圖像的圖像獲取步驟；檢測所述圖像傾斜的檢測步驟；生成圖像的圖像生成步驟，使用該圖像生成合成圖像；基于在圖像捕獲步驟中捕獲的圖像和在圖像生成步驟中生成的圖像，生成合成圖像的第一合成步驟；基于檢測步驟的檢測結(jié)果來校正在圖像合成步驟中生成的合成圖像的校正步驟；和輸出在校正步驟中校正的圖像的第一輸出步驟。
此外，根據(jù)本發(fā)明的另一個信息處理設(shè)備配置如下。即，一種圖像處理設(shè)備，具有顯示設(shè)備、第二顯示設(shè)備、及連接到顯示設(shè)備和第二顯示設(shè)備的信息處理設(shè)備，該圖像處理設(shè)備包括獲取單元，適合獲取由成像設(shè)備捕獲的實像；檢測單元，適合檢測實像的傾斜；校正單元，適合基于所檢測到的實像傾斜校正所述實像；和輸出單元，適合向顯示設(shè)備輸出校正的實像，并且向第二顯示設(shè)備輸出獲取單元獲取的所述實像。
根據(jù)下面參考附圖的示范實施例的描述，本發(fā)明的更多特征將變得明顯。


圖1是框圖，示出根據(jù)第一實施例的圖像處理設(shè)備的功能配置的概要；圖2是圖像旋轉(zhuǎn)單元執(zhí)行的處理的解釋示意圖；圖3是流程圖，示出了由圖像處理設(shè)備執(zhí)行的處理流程；圖4是方框圖，示出了根據(jù)第二個實施例的圖像處理設(shè)備的功能配置的概要；圖5是示出了根據(jù)第三個實施例的圖像處理設(shè)備的功能配置概要的框圖；圖6是示出了根據(jù)第四個實施例的圖像處理設(shè)備的功能配置概要的框圖；圖7是示出由圖像處理設(shè)備執(zhí)行的處理流程的流程圖；圖8是示出了根據(jù)第五個實施例的圖像處理設(shè)備的功能配置概要的框圖；
圖9是示出了根據(jù)第六個實施例的圖像處理設(shè)備的功能配置概要的框圖；圖10是示出了圖像處理設(shè)備的硬件配置概要的框圖；圖11是示出了根據(jù)第七個實施例的圖像處理設(shè)備的功能配置概要的框圖；圖12是示出了根據(jù)第八個實施例的圖像處理設(shè)備的功能配置概要的框圖；圖13是示出了根據(jù)第九個實施例的圖像處理設(shè)備的功能配置概要的框圖；圖14是描繪旋轉(zhuǎn)之后圖像中出現(xiàn)缺陷的示意圖；和圖15是修整處理的解釋示意圖。
具體實施例方式
現(xiàn)在將參考附圖詳細描述本發(fā)明的優(yōu)選實施例。但是，應注意的是，結(jié)合實施例描述的部件僅是解釋性的，并且不限制本發(fā)明的范圍。
(圖像處理設(shè)備的概要配置)在第一個實施例中，將給出如下配置的描述，在該配置中由佩戴HMD并且體驗混合現(xiàn)實的觀察者觀察的圖像被輸出到HMD和固定顯示器。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD上，同時校正傾斜的混合現(xiàn)實圖像被顯示在固定顯示器上。
圖10是示出了根據(jù)本發(fā)明圖像處理設(shè)備的硬件配置概要的框圖。圖10中示出的矩形表示實現(xiàn)根據(jù)本發(fā)明配置的模塊。箭頭表示模塊之間圖像或信號的流動。
混合現(xiàn)實呈現(xiàn)設(shè)備(信息處理設(shè)備)100是執(zhí)行根據(jù)本發(fā)明的圖像處理設(shè)備主要功能的模塊?；趶腍MD 200上提供的成像單元101以及位置和取向測量單元102的輸出，混合現(xiàn)實呈現(xiàn)設(shè)備100創(chuàng)建混合現(xiàn)實圖像，并且在HMD 200和固定顯示設(shè)備300上顯示所創(chuàng)建的圖像。稍后將描述HMD 200的成像單元101以及位置和取向測量單元102。
實際上，可由信息處理設(shè)備(如個人計算機或工作站)實現(xiàn)混合現(xiàn)實呈現(xiàn)設(shè)備100。在這種情況下，混合現(xiàn)實呈現(xiàn)設(shè)備100包括CPU，CPU控制整個設(shè)備和存儲裝置(如RAM、ROM或(硬)盤)，并且通過執(zhí)行程序代碼控制處理。但是，實現(xiàn)所述混合現(xiàn)實呈現(xiàn)設(shè)備100的方法不限于這種布置，并且所述混合現(xiàn)實呈現(xiàn)設(shè)備100可配置為執(zhí)行相同處理的半導體集成電路。
如下面詳細的描述，混合現(xiàn)實呈現(xiàn)設(shè)備100從成像單元101獲取被捕獲的實像，基于HMD200(成像單元101)的取向創(chuàng)建虛像，并且檢測實像的傾斜。此外，混合現(xiàn)實呈現(xiàn)設(shè)備100基于檢測的實像傾斜校正所述實像和虛像，基于被分別校正的實像和虛像創(chuàng)建合成圖像，并且在固定顯示設(shè)備300上輸出所述合成圖像。
HMD 200(根據(jù)本發(fā)明的第二顯示設(shè)備)是一個顯示設(shè)備，比如觀察者安裝或固定在他/她的頭上的HMD。HMD 200在觀察者的眼前光學顯示輸入到HMD 200的圖像。在本實施例中，HMD 200裝備有內(nèi)置視頻照相機，該照相機被安裝為與觀察者的觀察點的位置和取向近似光學一致。內(nèi)置于HMD200的視頻照相機獲取從觀察者的觀察點位置觀察到的實像，并且向混合現(xiàn)實呈現(xiàn)設(shè)備100輸出所述圖像。此外，HMD 200具有測量觀察者的觀察點的位置和取向的功能，并且向混合現(xiàn)實呈現(xiàn)設(shè)備100輸出所測量的位置和取向信息。注意到HMD200不需限制為被配置安裝在觀察者的頭上的顯示設(shè)備。例如，被配置為握在觀察者的手里等的顯示設(shè)備可執(zhí)行與HMD200相同的功能。
固定顯示設(shè)備(顯示設(shè)備)300是一個大屏幕顯示設(shè)備，如等離子顯示器，并且在屏幕上顯示從混合現(xiàn)實呈現(xiàn)設(shè)備100輸出的圖像。固定顯示設(shè)備300允許不同于使用HMD 200的觀察者的第三人能觀看混合現(xiàn)實圖像。
實現(xiàn)等價于上述每個設(shè)備的那些功能的軟件可被配置為替換所述硬件設(shè)備。
此外，雖然為了易于解釋本實施例的圖像處理設(shè)備被描述為特征在于上面三個模塊的配置，但是圖像處理設(shè)備的配置不限于這個例子。例如，可配置上面三個模塊以便通過單個設(shè)備實現(xiàn)。例如，可替換地，本實施例可配置為由內(nèi)置于HMD 200或固定顯示設(shè)備300的混合現(xiàn)實呈現(xiàn)設(shè)備100而實現(xiàn)。例如，可替換選地，通過將所述混合現(xiàn)實呈現(xiàn)設(shè)備100的功能分布到多個信息處理設(shè)備上虛擬實現(xiàn)的部件并使用所述信息處理設(shè)備執(zhí)行平行處理，來配置并實現(xiàn)本實施例。
(圖像處理設(shè)備的功能配置)現(xiàn)在將參考圖1描述根據(jù)本實施例的圖像處理設(shè)備的功能配置。圖1是示出根據(jù)本實施例的圖像處理設(shè)備的功能配置概要的框圖。
在圖1中，成像單元101獲取從觀察者的觀察點觀察的實際感測圖像(實像)。在本實施例中，內(nèi)置于HMD200中的視頻照相機實現(xiàn)成像單元101的功能。由成像單元101獲取的實像被輸出到圖像旋轉(zhuǎn)單元106a和第一圖像合成單元107。
HMD 200上提供的位置和取向測量單元102在三維空間中測量觀察者的觀察點的位置和取向，并且向傾斜檢測單元104和虛像生成單元105輸出所述位置和取向。所述位置和取向測量單元102是由測量裝置例如6-自由度傳感器(但不限于它)實現(xiàn)。例如，可替換地，通過設(shè)置成像單元101捕獲被布置在空間中的指示符(標記)并且從捕獲的圖像中檢測所述指示符的坐標來估計位置和取向，所述空間具有已知的三維位置。以此方式計算的位置和取向可被輸出到傾斜檢測單元104和虛像生成單元105。這樣，將從成像單元101輸出的實像被輸入到位置和取向測量單元102。
虛擬信息存儲單元103存儲用于生成虛像的虛像生成單元105所使用的虛像空間信息。當生成虛像時，虛擬信息存儲單元103向虛像生成單元105提供虛擬空間信息。在本實施例中，將虛擬空間呈現(xiàn)為三維CG圖像必須的信息，例如關(guān)于在虛擬世界中放置的CG目標的三維形狀信息、布置信息、光源信息、對象合成和紋理圖像，被保存作為虛擬空間信息。關(guān)于三維形狀的信息包括頂點坐標、關(guān)于表面配置的信息、法向矢量等等。
傾斜檢測單元104從位置和取向測量單元102接收關(guān)于佩戴HMD200的觀察者的觀察點取向的信息作為輸入，并且基于取向信息檢測實像的傾斜，并且向圖像旋轉(zhuǎn)單元106a和106b輸出檢測的傾斜。在本實施例中，通過從安裝在HMD200中的位置和取向測量單元102輸出的取向信息中提取一個滾轉(zhuǎn)角(roll angle)來檢測實像的傾斜，當觀察點給定為所述旋轉(zhuǎn)軸時，滾轉(zhuǎn)角是一個旋轉(zhuǎn)角。通過從位置和取向測量單元102輸出的取向信息計算在三維空間中的旋轉(zhuǎn)矩陣，并且將矩陣分解為滾轉(zhuǎn)角(roll angle)、俯仰角(pitch angle)和偏轉(zhuǎn)角(yaw angle)的各個分量，來執(zhí)行滾轉(zhuǎn)角的提取。傾斜檢測單元104向圖像旋轉(zhuǎn)單元106a和106b輸出提取的滾轉(zhuǎn)角。當滾轉(zhuǎn)角被包括在由位置和取向測量單元102測量的取向中，并且位置和取向測量單元102能直接輸出滾轉(zhuǎn)角時，傾斜檢測單元104輸出所輸入的滾轉(zhuǎn)角而不用修改圖像旋轉(zhuǎn)單元106a和106b。本實施例提供了兩個圖像旋轉(zhuǎn)單元，并且傾斜檢測單元104向兩個圖像旋轉(zhuǎn)單元106a和106b輸出滾轉(zhuǎn)角。
基于來自位置和取向測量單元102和虛擬信息存儲單元103的信息，虛像生成單元105執(zhí)行CG繪制以生成虛像。虛像生成單元105向圖像旋轉(zhuǎn)單元106b和圖像合成單元107輸出生成的虛像。更具體地，虛像生成單元105將從位置和取向測量單元102輸出的位置和取向設(shè)置為一個觀察點，從該觀察點觀察虛擬空間。基于此觀察點將保存在虛擬信息存儲單元103中的CG對象布置在虛擬空間中之后，虛像生成單元105通過執(zhí)行CG繪制來生成虛像。
基于從傾斜檢測單元104輸出的圖像傾斜，各個圖像旋轉(zhuǎn)單元106a和106b在從成像單元101或虛像生成單元105輸出的圖像上施加旋轉(zhuǎn)變換，以抵消所述圖像傾斜。在本實施例中，由于從傾斜檢測單元104輸出來自觀察者的觀察點的滾轉(zhuǎn)角(當觀察點給定為旋轉(zhuǎn)軸時是旋轉(zhuǎn)角)，將以所述滾轉(zhuǎn)角的相反方向旋轉(zhuǎn)所述輸入圖像。
圖2是由圖像旋轉(zhuǎn)單元106執(zhí)行的處理的解釋框圖。例如，假定旋轉(zhuǎn)之前的圖像10和-45度的滾轉(zhuǎn)角已輸入到圖像旋轉(zhuǎn)單元106。圖像旋轉(zhuǎn)單元106對圖2所示的旋轉(zhuǎn)之前的圖像10執(zhí)行旋轉(zhuǎn)變換，以抵消-45度的滾轉(zhuǎn)角。換句話說，圖像旋轉(zhuǎn)單元10將旋轉(zhuǎn)之前的圖像10旋轉(zhuǎn)+45度，并且輸出旋轉(zhuǎn)之后的圖像20。
當用(u，v)T表示旋轉(zhuǎn)之前的圖像10中每個像素的坐標，當用(u′，v′)T表示旋轉(zhuǎn)之后的圖像20中每個像素的坐標，并且輸入的滾轉(zhuǎn)角用θ表示時，可用下面的公式表示旋轉(zhuǎn)之后的圖像20中每個像素，這里旋轉(zhuǎn)中心給定為(u，v)T＝(0，0)T。
u′v′=cosθ-sinθsinθcosθuv]]>例如，可使用圖像中心、或圖像中相應于成像單元101等的光學中心的點坐標作為旋轉(zhuǎn)中心。可由成像單元101等的校準來計算成像單元101的光學中心。由于計算光學中心的具體方法已經(jīng)是公知常識，將省略它的描述。
根據(jù)本發(fā)明的圖像處理設(shè)備包括兩個圖像旋轉(zhuǎn)單元106a和106b(它們將共同標注為106)。第一圖像旋轉(zhuǎn)單元(根據(jù)本發(fā)明的第一圖像旋轉(zhuǎn)單元)106a接收從成像單元101輸出的實像和從傾斜檢測單元104輸出的滾轉(zhuǎn)角作為輸入，并且向第二圖像合成單元108輸出旋轉(zhuǎn)20之后的圖像。第二圖像旋轉(zhuǎn)單元(根據(jù)本發(fā)明的第二圖像旋轉(zhuǎn)單元)106b接收從虛像生成單元105輸出的虛像和從傾斜檢測單元104輸出的滾轉(zhuǎn)角作為輸入，并且向第二圖像合成單元108輸出旋轉(zhuǎn)20之后的圖像。
第一圖像合成單元(根據(jù)本發(fā)明的第二合成單元)107把虛像生成單元105生成的虛像疊加到成像單元101捕獲的實像上，以生成混合現(xiàn)實圖像。第二圖像合成單元108把第二圖像旋轉(zhuǎn)單元106b輸出的旋轉(zhuǎn)后的虛像疊加到第一圖像旋轉(zhuǎn)單元106a輸出的旋轉(zhuǎn)后的實像上，以生成混合現(xiàn)實圖像。由第一圖像合成單元107生成的混合現(xiàn)實圖像輸出到第一顯示單元109上，而由第二圖像合成單元108生成的混合現(xiàn)實圖像輸出到第二顯示單元110上。
如上所述，根據(jù)本發(fā)明的圖像處理設(shè)備包括兩個圖像合成單元107和108。第一圖像合成單元107接收從成像單元101輸出的實像和從虛像生成單元105輸出的虛像作為輸入，并且向第一顯示單元109輸出生成的混合現(xiàn)實圖像。第二圖像合成單元108(根據(jù)本發(fā)明的第一合成單元)分別接收從兩個圖像旋轉(zhuǎn)單元106a和106b輸出的旋轉(zhuǎn)20后的圖像作為輸入，并且向第二顯示單元110輸出所生成的混合現(xiàn)實圖像。在本實施例中，第一圖像合成單元107和第二圖像合成單元108首先將虛像疊加到實像上。對虛像的背景部分不執(zhí)行疊加處理。實像被疊加到虛像的除了所述背景外的部分。疊加處理的結(jié)果是，在第一圖像合成單元107和第二圖像合成單元108生成的混合現(xiàn)實圖像中，虛像將僅被部分地疊加到所述實像中的存在虛擬空間CG的部分。
也可將存在虛擬空間CG的虛像的部分任意地設(shè)置為不執(zhí)行疊加的部分，以便創(chuàng)造特殊效果。例如，通過執(zhí)行處理使得虛像不被疊加到包括特定顏色的實像的部分，可避免總是在真實對象前面觀察到虛擬空間CG的現(xiàn)象。例如使用公開號為2003-296759的日本專利中公開的方法可執(zhí)行這種處理。本實施例中，第一圖像合成單元107和第二圖像合成單元108之間的僅有區(qū)別是，向圖像合成單元輸入圖像的源模塊和從圖像合成單元輸出圖像的目的模塊。另外，第一圖像合成單元107和第二圖像合成單元108執(zhí)行的處理內(nèi)容是相同的。
第一顯示單元(根據(jù)本發(fā)明的第二輸出單元)109接收從第一圖像合成單元107輸出的混合現(xiàn)實圖像作為輸入，并且顯示所輸入的混合現(xiàn)實圖像。第二顯示單元(根據(jù)本發(fā)明的第一輸出單元)110接收從第二圖像合成單元108輸出的混合現(xiàn)實圖像作為輸入，并且顯示所輸入的混合現(xiàn)實圖像。在HMD200提供第一顯示單元109，并且該顯示單元顯示從使用HMD200的觀察者的觀察點中觀察的混合現(xiàn)實圖像。換句話說，第一顯示單元109顯示圖像旋轉(zhuǎn)單元106尚未將旋轉(zhuǎn)變換施加到其上的混合現(xiàn)實圖像。在固定顯示設(shè)備300上提供第二顯示單元110，并且該顯示單元顯示從使用HMD200的觀察者的觀察點中觀察的混合現(xiàn)實圖像，其中圖像傾斜已從混合現(xiàn)實圖像上除去。換句話說，第二顯示單元110顯示圖像旋轉(zhuǎn)單元106已將旋轉(zhuǎn)變換施加到其上的混合現(xiàn)實圖像。本實施例中，具有屏幕的顯示設(shè)備用作第二顯示單元110，該屏幕比第一顯示單元109的屏幕大。這允許將佩戴HMD200的觀察者所觀察的混合現(xiàn)實圖像呈現(xiàn)給未佩戴HMD200的第三人。
(基本處理)現(xiàn)在將參考圖3給出根據(jù)本實施例的圖像處理設(shè)備執(zhí)行的控制的描述，如上所述配置該設(shè)備。圖3示出了根據(jù)本實施例的圖像處理設(shè)備執(zhí)行的處理流程的流程圖。根據(jù)流程圖示出的程序代碼存儲于未示出的存儲裝置，比如在圖像處理設(shè)備中提供的盤裝置或RAM，并且由CPU讀取和執(zhí)行。
首先，在步驟S1010中，激活根據(jù)本實施例的圖像處理設(shè)備，并且執(zhí)行必要的初始化。必要的初始化包括CPU執(zhí)行的從盤裝置讀取程序代碼或虛擬空間信息的處理，并將其存儲在RAM中。
在步驟S1020中，成像單元101從佩戴HMD200的觀察者的觀察點獲取實像。
在步驟S1030中，位置和取向測量單元102測量佩戴HMD200的觀察者的觀察點的位置和取向。
在步驟S1040中，傾斜檢測單元104檢測在步驟S1020中獲取的實像傾斜。
在步驟S1050中，虛像生成單元105使用在步驟S1030中測量的位置和取向作為觀察點來執(zhí)行虛擬空間的CG繪制，并且生成虛像。
在步驟S1060中，圖像旋轉(zhuǎn)單元106將旋轉(zhuǎn)變換施加到步驟S1020中獲取的實像和步驟S1050中生成的虛像。
在步驟S1070中，第一圖像合成單元107和第二圖像合成單元108接收實像和虛像作為輸入，并且生成混合現(xiàn)實圖像，其中虛像被疊加到實像上。如上所述，本實施例包括兩個圖像合成單元107和108。第一圖像合成單元107形成步驟S1020中獲取的實像和步驟S1050中生成的虛像的合成圖像，并且向第一顯示單元109輸出合成圖像。第二圖像合成單元108形成步驟S1020中獲取的實像和在步驟S1060中已將旋轉(zhuǎn)變換應用到其上的虛像的合成圖像，并且向第二顯示單元110輸出合成圖像。
在步驟S1080中，確定關(guān)于是否終止本處理。如果是，結(jié)束根據(jù)實施例的處理。相反地，如果否，處理返回步驟S1020，從那里繼續(xù)。
應注意到在本實施例中，在短的時間周期執(zhí)行步驟S1020到S1080的一系列處理。完成單程的這一系列處理需要時間通常在數(shù)毫秒到數(shù)百毫秒之內(nèi)。因此，通過重復執(zhí)行步驟S1020到S1080的處理，根據(jù)本實施例的圖像處理設(shè)備連續(xù)地顯示在短時間周期內(nèi)變化的混合現(xiàn)實圖像。因此，觀察者和第三人將所述混合現(xiàn)實圖像識別為一系列移動圖像。
雖然上面已經(jīng)提供了根據(jù)本發(fā)明的控制流程的描述，但是描述的順序僅是示例性的，并且可修改部分處理的順序。例如，可任意地修改處理的次序，只要在步驟S1060的處理之前執(zhí)行步驟S1020的處理，在步驟S1040的處理之前執(zhí)行步驟S1030的處理，以及在步驟S1060的處理之前執(zhí)行步驟S1040的處理。但是，不可改變步驟S1010、S1070和S1080的次序。
如上所述，混合現(xiàn)實呈現(xiàn)設(shè)備100從成像單元101獲取已捕獲的實像，基于HMD200(成像單元101)的取向創(chuàng)建虛像，并且檢測實像的傾斜。此外，混合現(xiàn)實呈現(xiàn)設(shè)備100基于檢測的實像傾斜來校正實像和虛像，基于各自校正的實像和虛像創(chuàng)建合成圖像，并且將合成圖像輸出到固定顯示設(shè)備300上。因此，基于檢測的實像傾斜，向固定顯示設(shè)備300輸出校正的圖像。因此，根據(jù)第一個實施例的配置能分別向佩戴頭部固定型顯示設(shè)備(HMD)的觀察者和不佩戴頭部固定型顯示設(shè)備的第三人呈現(xiàn)合適的混合現(xiàn)實圖像。
根據(jù)第二個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD上，而傾斜校正的混合現(xiàn)實圖像被顯示在固定顯示器300上。雖然在第二個實施例的配置和控制與第一個實施例的配置和控制之間存在許多相似，但是在用于檢測實像中傾斜的方法上，第二個實施例不同于第一個實施例。在根據(jù)第一個實施例的配置中，使用由在HMD200中提供的位置和取向測量單元102獲取的位置和取向來檢測實像的傾斜。但是，在根據(jù)第二個實施例的配置中，使用由成像單元101獲取的實像來檢測傾斜。
圖4是方框圖，示出了根據(jù)本實施例的圖像處理單元功能配置的概要。與根據(jù)第一個實施例的功能配置(圖1)比較，傾斜檢測單元104與其區(qū)別在于，取代了輸入從位置和取向測量單元102輸出的取向，它輸入從成像單元101輸出的實像。關(guān)于本實施例的配置，現(xiàn)在僅將描述它的不同于第一個實施例的部分。
在本實施例中，成像單元101向圖像旋轉(zhuǎn)單元106a、圖像合成單元107和傾斜檢測單元104輸出所獲取的實像。此外，在本實施例中，位置和取向測量單元102向虛像生成單元105輸出測量的位置和取向信息。
在本實施例中，傾斜檢測單元104接收來自成像單元101的實像作為輸入，并且檢測該圖像的傾斜。傾斜檢測單元104向圖像旋轉(zhuǎn)單元106輸出檢測的傾斜。傾斜檢測單元104為成像單元101輸出的圖像計算一個滾轉(zhuǎn)角，當觀察點給定為旋轉(zhuǎn)軸時，所述滾轉(zhuǎn)角是旋轉(zhuǎn)角。傾斜檢測單元104向圖像旋轉(zhuǎn)單元106輸出所提取的滾轉(zhuǎn)角。
下面將描述根據(jù)本實施例的傾斜檢測單元104所執(zhí)行的計算滾轉(zhuǎn)角的處理。傾斜檢測單元104計算來自從成像單元101輸出的實像的光流。光流指示圖像上每個點的移動速度。多個方法是計算光流的已知方法，比如基于梯度的方法或塊匹配方法。在本實施例中，當光流的位移矢量的原點由A表示，它的終點由B表示，并且圖像的中心由O表示時，為每個位移矢量計算表示為∠AOB的角，并且向圖像旋轉(zhuǎn)單元106輸出其平均值作為一個滾轉(zhuǎn)角。
在上面的描述中，雖然基于圖像中的光流由傾斜檢測單元104計算滾轉(zhuǎn)角，但是本實施例不限于這個設(shè)置。只要可從成像單元101獲取的圖像得到觀察者的視線周圍的旋轉(zhuǎn)角，任何方法都可用于實現(xiàn)傾斜檢測單元104的功能。
如上所述，根據(jù)本實施例的配置分析獲取的實像以檢測傾斜。因此，即使HMD200不能檢測取向，仍可檢測實像的傾斜，以便以恰當方式校正圖像。因此，根據(jù)第二個實施例配置能將恰當?shù)幕旌犀F(xiàn)實圖像呈現(xiàn)給佩戴頭部固定型顯示設(shè)備(HMD)的觀察者和不佩戴頭部固定型顯示設(shè)備的第三人。顯然，結(jié)合本實施例描述的檢測實像傾斜的方法可不僅應用于根據(jù)第一實施例的配置，而且應用于根據(jù)下面將描述的第三個實施例的配置。
根據(jù)第三個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD200上，而校正傾斜的混合現(xiàn)實圖像被顯示在固定顯示器300上。雖然在第三個實施例的配置和控制與第一個實施例的配置和控制之間存在許多相似，但是在用于檢測虛像中傾斜的方法上第三個實施例不同于第一個實施例。根據(jù)第一個實施例的配置通過旋轉(zhuǎn)所生成的虛像來執(zhí)行校正。相反地，根據(jù)第三個實施例的配置校正呈現(xiàn)虛擬空間的取向，并且據(jù)此生成虛像。換句話說，根據(jù)第三個實施例的配置在校正傾斜狀態(tài)下生成虛像。
圖5是示出了根據(jù)本實施例的圖像處理設(shè)備的功能配置概要的框圖。與根據(jù)第一個實施例的功能配置(圖1)比較，現(xiàn)在僅有一個圖像旋轉(zhuǎn)單元106，并且新增加第二虛像生成單元111。
在本實施例中，混合現(xiàn)實呈現(xiàn)設(shè)備100獲取由成像單元101捕獲的實像，檢測實像的傾斜，并且基于檢測的實像傾斜校正實像。此外，混合現(xiàn)實呈現(xiàn)設(shè)備100基于成像單元101(HMD200)的取向和檢測的實像傾斜來生成虛像，基于校正的實像和虛像生成合成圖像，并且向固定顯示設(shè)備300輸出合成圖像。
關(guān)于本實施例的配置與控制，現(xiàn)在僅將描述它不同于第一個實施例的部分。在本實施例中，位置和取向測量單元102向傾斜檢測單元104、虛像生成單元105和第二虛像生成單元111輸出測量的位置和取向信息。此外，在本實施例中，傾斜檢測單元104向圖像旋轉(zhuǎn)單元106和第二虛像生成單元111輸出所檢測的傾斜。
基于來自位置和取向測量單元102、虛擬信息存儲單元103和傾斜檢測單元104的信息，第二虛像生成單元111執(zhí)行CG繪制以生成虛像。生成的虛像被送到第二圖像合成單元108。以與虛像生成單元105相同的方式，在基于觀察者的觀察點把保存在虛擬信息存儲單元103中CG對象放置虛擬空間中之后，第二虛像生成單元111執(zhí)行CG繪制以生成虛像。此時，基于來自傾斜檢測單元104的滾轉(zhuǎn)角，從位置和取向測量單元102輸出的取向中移除滾轉(zhuǎn)角分量。更具體地，從表示所述取向的三維旋轉(zhuǎn)矩陣R計算滾轉(zhuǎn)角、俯仰角和偏轉(zhuǎn)角。隨后，使用俯仰角和偏轉(zhuǎn)角執(zhí)行另一個計算，以獲得三維旋轉(zhuǎn)矩陣R′。換句話說，在從R獲得的角中，僅丟棄滾轉(zhuǎn)角(滾轉(zhuǎn)角分量被設(shè)置為0)來構(gòu)建R′。結(jié)果，第二虛像生成單元111生成虛像，從該虛像中移除觀察者的視線(在虛像的像平面上)周圍的旋轉(zhuǎn)。
當滾轉(zhuǎn)角被包括在位置和取向測量單元102測量的取向中，以及位置和取向測量單元102能直接輸出所述滾轉(zhuǎn)角時，第二虛像生成單元111僅需將輸入的滾轉(zhuǎn)角設(shè)置為0度并執(zhí)行CG繪制。在此情況下，將不需要從傾斜檢測單元104輸出。
在本實施例中，第二圖像合成單元108接收由成像單元106輸出的實像和由第二虛像生成單元111輸出的虛像的旋轉(zhuǎn)20后的圖像作為輸入，并且向第二顯示單元110輸出生成的混合現(xiàn)實圖像。
在圖3所示的步驟S1050中，使用根據(jù)本實施例的圖像處理設(shè)備，虛像生成單元105和第二虛像生成單元111生成虛像。
如上所述，在本實施例中，混合現(xiàn)實呈現(xiàn)設(shè)備100獲取由成像單元101捕獲的實像，檢測實像的傾斜，并且基于檢測的實像傾斜來校正實像。此外，混合現(xiàn)實呈現(xiàn)設(shè)備100基于成像單元101(HMD200)的取向及檢測的實像傾斜來生成虛像，基于校正的實像和虛像生成合成圖像，并且向固定顯示設(shè)備300輸出合成圖像。
因此，不同于第一個實施例，根據(jù)本實施例的配置旋轉(zhuǎn)觀察點(從該觀察點執(zhí)行CG繪制)，并且不旋轉(zhuǎn)虛像本身。因此，由于旋轉(zhuǎn)導致的缺陷在不出現(xiàn)在虛像中。因此，根據(jù)第三個實施例配置能向佩戴頭部固定型顯示設(shè)備(HMD)的觀察者和不佩戴頭部固定型顯示設(shè)備的第三人呈現(xiàn)合適的混合現(xiàn)實圖像。
根據(jù)第四個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD200上，而校正傾斜的混合現(xiàn)實圖像被顯示在固定顯示器300上。雖然第四個實施例的配置和控制與第一個實施例的配置和控制之間存在許多相似，但是取代了在第一個實施例中都校正所述實像和虛像，根據(jù)第四個實施例的配置在將虛像疊加到實像之后校正圖像的傾斜。
圖6是示出了根據(jù)本實施例的圖像處理設(shè)備的功能配置概要的框圖。與第一個實施例比較，現(xiàn)在僅有一個圖像旋轉(zhuǎn)單元106，并且省略了第二圖像合成單元108。
在本實施例中，混合現(xiàn)實呈現(xiàn)設(shè)備100獲取來自成像單元101的捕獲的實像，基于成像單元101(HMD200)的取向創(chuàng)建虛像，基于實像和虛像生成合成圖像，并且檢測實像的傾斜。此外，混合現(xiàn)實呈現(xiàn)設(shè)備100基于檢測的實像傾斜校正合成圖像，并且向固定顯示設(shè)備300輸出合成圖像。
關(guān)于本實施例的配置與控制，現(xiàn)在僅將描述它的不同于第一個實施例的部分。在本實施例中，虛像生成單元105向第一圖像合成單元107a輸出生成的虛像。此外，在本實施例中，第一圖像合成單元107a接收從成像單元101輸出的實像和從虛像生成單元105輸出的虛像作為輸入，并且向第一顯示單元109和圖像旋轉(zhuǎn)單元106輸出生成的混合現(xiàn)實圖像。此外，在本實施例中，圖像旋轉(zhuǎn)單元106接收從第一圖像合成單元107a輸出的混合現(xiàn)實圖像和從圖像旋轉(zhuǎn)單元104輸出的滾轉(zhuǎn)角作為輸入，并且向第二顯示單元110輸出旋轉(zhuǎn)20之后的圖像。
現(xiàn)在將描述如上所述配置的本實施例的控制。圖7是示出根據(jù)本實施例的圖像處理設(shè)備執(zhí)行的處理流程的流程圖。與第一個實施例的控制(圖3)相比較，已刪除步驟S1060的處理并增加步驟S1075的處理。
在步驟S1070中，第一圖像合成單元107接收實像和虛像作為輸入，生成其中虛像被疊加到實像上的混合現(xiàn)實圖像，并且向圖像旋轉(zhuǎn)單元106和第一顯示單元109輸出生成的混合現(xiàn)實圖像。
在步驟S1075中，圖像旋轉(zhuǎn)單元106將旋轉(zhuǎn)變換應用到步驟S1070中生成的混合現(xiàn)實圖像，并且向第二顯示單元110輸出圖像。接下來處理進行到步驟S1080。
如上所述，在本實施例中，混合現(xiàn)實呈現(xiàn)設(shè)備100獲取來自成像單元101的捕獲的實像，基于成像單元101(HMD200)的取向創(chuàng)建虛像，且基于實像和虛像生成合成圖像。此外，混合現(xiàn)實呈現(xiàn)設(shè)備100檢測實像的傾斜，基于檢測的實像傾斜來校正合成圖像，并且向固定顯示設(shè)備300輸出合成圖像。
如根據(jù)本實施例的配置中所見，由于僅對從第一圖像合成單元107輸出的虛像執(zhí)行圖像校正處理，可使用相對簡單的設(shè)置實現(xiàn)根據(jù)本實施例的配置。因此，如上所述，根據(jù)第四個實施例配置能夠向佩戴頭部固定型顯示設(shè)備(HMD)的觀察者和不佩戴頭部固定型顯示設(shè)備的第三人呈現(xiàn)合適的混合現(xiàn)實圖像。
根據(jù)第五個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD200上，而普通的混合現(xiàn)實圖像、或校正傾斜的混合現(xiàn)實圖像被顯示在固定顯示器300上。雖然第五個實施例的配置和控制與第一個實施例的配置和控制之間存在許多相似，但是第五個實施例不同于第一個實施例在于被增加到其上的功能配置，它允許用戶選擇是否對第二顯示單元110顯示的混合現(xiàn)實圖像執(zhí)行傾斜校正。
圖8是示出了根據(jù)本實施例的圖像處理設(shè)備的功能配置概要的框圖。與第一個實施例相比較，第五個實施例增加了選擇單元112。關(guān)于本實施例的配置與控制，現(xiàn)在僅將描述它的不同于第一個實施例的部分。
選擇單元112功能是作為由用戶使用的用戶接口，該接口用于啟動或禁止傾斜檢測單元104的處理。選擇單元112向傾斜檢測單元104輸出指示選擇結(jié)果的控制信號。在本實施例中，由用戶操作的輸入裝置(如開關(guān)、鍵盤或鼠標)連接到圖像處理設(shè)備。提供給用戶兩個選擇，即“校正圖像傾斜”和“不校正圖像傾斜”?；谟脩粝蜉斎胙b置的輸入，選擇單元112啟動或禁止傾斜檢測單元104的處理。選擇單元112在顯示器上顯示這些選擇，并且接受用戶的選擇。當用戶選擇“校正圖像傾斜”時，選擇單元112輸出控制信號以啟動傾斜檢測單元104的處理。當用戶選擇“不校正圖像傾斜”時，選擇單元112輸出控制信號以禁止傾斜檢測單元104的處理。
在本實施例中，傾斜檢測單元104接收來自選擇單元112的控制信號作為輸入，并且向圖像旋轉(zhuǎn)單元106和第二虛像生成單元111輸出檢測的圖像傾斜。當將從選擇單元112輸出的控制信號設(shè)置為禁止傾斜檢測單元104的處理時，傾斜檢測單元104向圖像旋轉(zhuǎn)單元106輸出0度的滾轉(zhuǎn)角。否則，傾斜檢測單元104執(zhí)行與在其它實施例中相同的處理。
如上所述，根據(jù)第五個實施例的配置允許用戶任意地選擇是否對第二顯示單元110上顯示的混合現(xiàn)實圖像執(zhí)行傾斜校正。雖然已給出本實施例的示例描述，其中將選擇單元112增加到根據(jù)第一個實施例的配置，但是可選地將選擇單元112添加到其它實施例的配置，并且僅當用戶選擇執(zhí)行這種校正處理時才設(shè)置執(zhí)行上述的校正處理。
根據(jù)第六個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像顯示在HMD200上，而普通的混合現(xiàn)實圖像、或校正傾斜的混合現(xiàn)實圖像顯示在固定顯示器300上。在第六個實施例的配置和控制與第一個和第五個實施例的配置和控制之間存在許多相似。但是，不同于第一個實施例，一個功能配置已被增加到第六個實施例上，其允許用戶選擇是否對第二顯示單元110顯示的混合現(xiàn)實圖像執(zhí)行傾斜校正。此外，雖然第五個實施例被設(shè)置為切換是否通過控制傾斜校正單元104對圖像執(zhí)行傾斜校正，第六個實施例被設(shè)置為在校正傾斜的圖像輸出和沒校正傾斜的圖像輸出之間切換，由此選擇是否對圖像執(zhí)行傾斜校正。
圖9是示出了根據(jù)本實施例的圖像處理設(shè)備的功能配置概要的框圖。與第一個實施例相比較，第六個實施例增加了選擇單元112。關(guān)于本實施例的配置與控制，現(xiàn)在僅將描述它的不同于第一個實施例的部分。
在本實施例中，選擇單元112接收來自兩個圖像合成單元107和108的混合現(xiàn)實圖像作為輸入，并且選擇混合現(xiàn)實圖像的任意之一，并且向第二顯示單元110輸出選擇的圖像。在這種情況下，基于用戶輸入的指令執(zhí)行混合現(xiàn)實圖像的選擇。
換句話說，選擇單元112也是作為由用戶使用的用戶接口，以選擇是否對圖像執(zhí)行校正。
在本實施例中，用戶操作的輸入裝置(如開關(guān)、鍵盤或鼠標)被連接到圖像處理設(shè)備。提供給用戶兩個選擇，即“校正圖像傾斜”和“不校正圖像傾斜”?；谟脩粝蜉斎胙b置的輸入，選擇單元112選擇混合現(xiàn)實圖像的任意一個。選擇單元112在顯示器上顯示這些選擇，并且接受用戶的選擇。當用戶選擇“校正圖像傾斜”時，選擇單元112輸出從第二圖像合成單元108輸出的混合現(xiàn)實圖像。當用戶輸入“不校正圖像傾斜”時，選擇單元112輸出從第一圖像合成單元107輸出的混合現(xiàn)實圖像。
如上所述，根據(jù)第六個實施例的配置允許用戶任意地選擇是否對第二顯示單元110上顯示的混合現(xiàn)實圖像執(zhí)行傾斜校正。雖然已給出本實施例的示例描述，其中將選擇單元112增加到根據(jù)第一個實施例的配置，但是可替換地可以把選擇單元112增加到其它實施例的配置，并且僅當用戶選擇執(zhí)行這種校正處理時才設(shè)置執(zhí)行上面描述的校正處理。
根據(jù)第七個實施例的設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD200上，而普通的混合現(xiàn)實圖像、或校正傾斜的混合現(xiàn)實圖像被顯示在固定顯示器300上。在第七個實施例的配置和控制與第五個實施例的配置和控制之間存在許多相似。但是，不同于第五個實施例，一個功能配置被增加到第七個實施例上，其根據(jù)保存在虛擬信息存儲單元103中CG的屬性來自動控制是否對第二顯示單元110顯示的混合現(xiàn)實圖像執(zhí)行傾斜校正。
圖11是示出了根據(jù)本實施例的圖像處理設(shè)備的功能配置概要的框圖。與第五個實施例相比較，選擇單元112與其的區(qū)別在于接受來自虛擬信息存儲單元103的輸出。關(guān)于本實施例的配置與控制，現(xiàn)在僅將描述它的不同于第五個實施例的部分。
選擇單元112選擇啟動或禁止傾斜檢測單元104的處理。選擇單元112向傾斜檢測單元104輸出指示選擇結(jié)果的控制信號。在本實施例中，根據(jù)虛擬信息存儲單元103的內(nèi)容，選擇單元112選擇啟動/禁止傾斜檢測單元104的處理。本實施例中，如果虛擬信息存儲單元103向虛像生成單元105輸出包括字符信息的CG對象，禁止傾斜檢測單元104的處理。否則，啟動傾斜檢測單元104的處理?；谥T如存儲在虛擬信息存儲單元103中的根據(jù)虛擬信息指示對象類型的信息，可設(shè)置進行啟動或禁止傾斜檢測單元104處理的決定，該決定由選擇單元112執(zhí)行?？商鎿Q地，例如，使用已知的字符識別技術(shù)可分析虛擬信息，從而當字符可識別時禁止傾斜檢測單元104的處理，以及當字符不能識別時啟動該處理。
本實施例中，即使在涉及觀察點移動時，虛像生成單元105總是使用第一顯示單元109上顯示的圖像中的方向來生成字符信息的虛像，使得字符信息不會隨著佩戴HMD200的觀察者移動。因此，在本實施例中，當虛擬信息存儲單元103向虛像生成單元105輸出包括字符信息的CG對象時，通過不校正圖像的傾斜來合適地控制在第二顯示單元110上顯示包括字符信息的混合現(xiàn)實圖像。以與第一個實施例相同的方式來校正不包括字符信息的混合現(xiàn)實圖像的傾斜。
本實施例中，如果虛擬信息存儲單元103向虛像生成單元105輸出包括字符信息的CG對象，選擇單元112進行選擇，該選擇禁止傾斜檢測單元104的處理。但是，本實施例不限于這個設(shè)置。例如，可依照字符以外的屬性來進行啟動或禁止傾斜校正的選擇。
此外，可設(shè)置第六個實施例的選擇單元112接受來自虛擬信息存儲單元103的輸出，使得選擇單元112分別接收來自兩個圖像合成單元107的混合現(xiàn)實圖像作為輸入，選擇混合現(xiàn)實圖像，并且向第二顯示單元110輸出選擇的圖像。在這種情況下，將如結(jié)合本實施例所描述的，進行關(guān)于啟動和禁止校正圖像傾斜處理的控制。顯然，在這種情況下可實現(xiàn)相似的優(yōu)點。
如上所述，根據(jù)第七個實施例，現(xiàn)在可以根據(jù)保存在虛擬信息存儲單元103中的CG的屬性來自動控制切換是否對圖像執(zhí)行傾斜校正。雖然已給出本實施例的示例描述的將選擇單元112增加到根據(jù)第一個實施例的配置，但是可替換地可將選擇單元112增加到其它實施例的配置，并且僅當用戶選擇執(zhí)行這種校正處理時才設(shè)置執(zhí)行上述的校正處理。
根據(jù)第八個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD200上，而普通的混合現(xiàn)實圖像、或校正傾斜的混合現(xiàn)實圖像被顯示在固定顯示器300上。雖然第八個實施例的配置和控制與第三個實施例的配置和控制之間存在許多相似，但是不同于第三個實施例，第八個實施例根據(jù)保存在虛擬信息存儲單元103中的CG的屬性對具有特定屬性的CG的部分不執(zhí)行傾斜校正。
圖12是示出了根據(jù)本實施例的圖像處理設(shè)備的功能配置概要的框圖。與第三個實施例相比較，第三虛像生成單元113被進一步加入到第八個實施例。關(guān)于本實施例的配置與控制，現(xiàn)在僅將描述它的不同于第三個實施例的部分。
基于來自位置和取向測量單元102和虛擬信息存儲單元103的信息，第三虛像生成單元113執(zhí)行CG繪制以生成虛像。第三虛像生成單元113向第二圖像合成單元108輸出生成的虛像。盡管第三虛像生成單元113的處理的具體細節(jié)與虛像生成單元105的相同，但在本實施例中，第三虛像生成單元113僅對被保存在虛擬信息存儲單元103的CG對象中的包括字符信息的CG對象執(zhí)行呈現(xiàn)。
在本實施例中，第二虛像生成單元111僅對被保存在虛擬信息存儲單元103的CG對象中的不包括字符信息的CG對象執(zhí)行呈現(xiàn)。其它處理的細節(jié)與第三個實施例相同。可使用結(jié)合第七個實施例描述的方法執(zhí)行字符信息是否存在的確定。
第二圖像合成單元108分別接收從成像單元106輸出的實像旋轉(zhuǎn)20得到的圖像、從第二虛像生成單元111輸出的校正傾斜的虛像、及從第三虛像生成單元113輸出的未校正傾斜的虛像作為輸入。第二圖像合成單元108向第二顯示單元110輸出生成的混合現(xiàn)實圖像。
配置本實施例使得對被保存的CG對象中的不包括字符信息的CG對象執(zhí)行傾斜校正，而對包括字符信息的CG對象不執(zhí)行傾斜校正。但是，本實施例不限于這個設(shè)置。例如，可使用字符信息以外的屬性將CG對象分類成為對其執(zhí)行傾斜校正的那些對象和對其不執(zhí)行傾斜校正的那些對象。
如上所述，根據(jù)第八個實施例，依照保存在虛擬信息存儲單元103中的CG對象的屬性來自動執(zhí)行確定是否對圖像執(zhí)行傾斜校正，并根據(jù)這種確定結(jié)果控制校正處理。換句話說，在期望對圖像不執(zhí)行傾斜校正的CG，對圖像將不執(zhí)行傾斜校正，而校正傾斜的混合現(xiàn)實圖像將被呈現(xiàn)給其它CG。因此，依照CG的屬性，可將合適的圖像提供給固定顯示設(shè)備300。雖然已給出本實施例的示例描述中將選擇單元112增加到根據(jù)第一個實施例的配置，但是可替換地將選擇單元112增加到其它實施例的配置，并且僅當用戶選擇執(zhí)行這種校正處理時才設(shè)置執(zhí)行上述的校正處理。
根據(jù)第九個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD200上，而校正傾斜的混合現(xiàn)實圖像被顯示在固定顯示器300上。雖然在第九個實施例的配置和控制與第一個實施例的配置和控制之間存在許多相似，但是不同于第一個實施例，設(shè)置第九個實施例使得僅對實像執(zhí)行傾斜校正，并且對虛像不執(zhí)行傾斜校正。例如，當確定保存在虛擬信息存儲單元103中的CG對象全部由字符信息組成時，僅對實像執(zhí)行傾斜校正。
圖13是示出了根據(jù)本實施例的圖像處理設(shè)備的功能配置概要的框圖。與第一個實施例相比較，第九個實施例區(qū)別在于現(xiàn)在僅有一個圖像旋轉(zhuǎn)單元106。關(guān)于本實施例的配置，現(xiàn)在僅將描述它的不同于第一個實施例的部分。
在本實施例中，混合現(xiàn)實呈現(xiàn)設(shè)備100從成像單元101獲取捕獲的實像，基于HMD200的取向(成像單元101)創(chuàng)建虛像，檢測實像的傾斜，并且基于檢測的實像傾斜校正實像。此外，混合現(xiàn)實呈現(xiàn)設(shè)備100基于傾斜校正的實像和所述虛像生成合成圖像，并且向固定顯示設(shè)備300輸出校正的合成圖像。
在本實施例中，基于來自位置和取向測量單元102和虛擬信息存儲單元103的信息，虛像生成單元105執(zhí)行CG繪制以生成虛像。虛像生成單元105向第一圖像合成單元107輸出生成的虛像。
在本實施例中，第二圖像合成單元108將虛像生成單元105輸出的未校正的虛像疊加到從圖像旋轉(zhuǎn)單元106輸出的旋轉(zhuǎn)后的實像。第二圖像合成單元108生成的混合現(xiàn)實圖像被輸出到第二顯示單元110。
如上所述，在CG對象被限定為全部由字符信息構(gòu)成的情況下，根據(jù)第九個實施例的配置使得僅對實像執(zhí)行傾斜校正。
根據(jù)第十個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像被顯示在HMD200上，而校正傾斜的混合現(xiàn)實圖像被顯示在固定顯示器300上。雖然第十個實施例的配置和控制與第一個實施例的配置和控制之間存在許多相似，但是不同于第一個實施例，第十個實施例被設(shè)置為對傾斜校正已應用于其上的混合現(xiàn)實圖像執(zhí)行有效區(qū)域的修整。通過這種執(zhí)行，本實施例的配置能阻止混合現(xiàn)實圖像中出現(xiàn)缺陷。
根據(jù)本實施例的圖像處理設(shè)備的功能配置具有與第一個實施例的功能配置(圖1)相同的概要。關(guān)于本實施例的配置，現(xiàn)在僅將描述它的不同于第一個實施例的部分。
在本實施例中，第二圖像合成單元108在從兩個圖像旋轉(zhuǎn)單元106輸出的旋轉(zhuǎn)后的實像上疊加從其它圖像旋轉(zhuǎn)單元106輸出的旋轉(zhuǎn)后的虛像，此外還執(zhí)行修整，并且生成混合現(xiàn)實圖像。第二圖像合成單元108向第二顯示單元110輸出生成的混合現(xiàn)實圖像?，F(xiàn)在將描述根據(jù)本實施例的第二圖像合成單元108執(zhí)行的修整。
在本實施例中，在從圖像旋轉(zhuǎn)單元106輸出的旋轉(zhuǎn)后的混合現(xiàn)實圖像中已出現(xiàn)缺陷。圖14是描述旋轉(zhuǎn)后的圖像21中出現(xiàn)缺陷的示意圖，其是通過旋轉(zhuǎn)在旋轉(zhuǎn)之前的圖像11而創(chuàng)建的圖像。由于旋轉(zhuǎn)之后的圖像21中陰影區(qū)表示的區(qū)域不存在于旋轉(zhuǎn)之前的圖像11中，所以旋轉(zhuǎn)之后的圖像21中不能表示這區(qū)域。因此，在旋轉(zhuǎn)之后的圖像21中出現(xiàn)了缺陷。
在本實施例中，如圖15所示，對旋轉(zhuǎn)之后的圖像20的有效區(qū)域執(zhí)行修整，以獲得修整圖像30。圖15是由第二圖像合成單元108執(zhí)行的修整的解釋示意。在這種情況下，修整是指在輸出到固定顯示單元300的圖像和固定顯示單元300的顯示區(qū)的重疊部分中包括的矩形圖像中的處理。注意的是，矩形圖像的邊平行于顯示區(qū)的各個邊的任何一個。
一般地，根據(jù)圖像以其旋轉(zhuǎn)的角度(滾轉(zhuǎn)角)，旋轉(zhuǎn)之后的圖像20的有效區(qū)域不同。在本實施例中，對于旋轉(zhuǎn)之后的圖像20，不管旋轉(zhuǎn)角是多少總以90度的滾轉(zhuǎn)角執(zhí)行有效區(qū)域的修整。結(jié)果，對任意角度都可獲得沒有缺陷的修整圖像30。
此外，在本實施例中，雖然除了根據(jù)第一個實施例的圖像處理設(shè)備的配置之外還執(zhí)行混合現(xiàn)實圖像的修整，但是修整也可應用于根據(jù)第二和第四到第九實施例的配置。但是，當將上述的修整應用到根據(jù)第四個實施例的配置時，將由圖像旋轉(zhuǎn)單元106執(zhí)行修整。
如上所述，在根據(jù)本實施例的配置中，提取并輸出在輸出圖像和固定顯示單元300的顯示區(qū)的疊加部分中包括的矩形圖像，使得矩形圖像的各邊之一平行于顯示區(qū)的任何一邊。因此，根據(jù)本實施例的配置允許呈現(xiàn)沒有由于旋轉(zhuǎn)所導致的缺陷的混合現(xiàn)實圖像。
根據(jù)第十一個實施例的圖像處理設(shè)備向HMD200和固定顯示器300輸出由佩戴HMD并體驗混合現(xiàn)實的觀察者所看到的圖像。在這種情況下，普通的混合現(xiàn)實圖像顯示在HMD200上，而校正傾斜的混合現(xiàn)實圖像顯示在固定顯示器300上。雖然第十一個實施例的配置和控制與第一個實施例的配置和控制之間存在許多相似，但是不同于第一個實施例，第十一個實施例被設(shè)置為檢測相對于某個參考值的圖像的相對傾斜以進行校正。現(xiàn)在可將佩戴HMD200觀察者的頭傾斜的狀態(tài)(例如，當向下注視一個對象時)用作一個參考，來校正在固定設(shè)備300上顯示的混合現(xiàn)實圖像的傾斜。換句話說，保持其中固定顯示設(shè)備300上顯示的混合現(xiàn)實圖像被所述參考值傾斜這一狀態(tài)不變。
根據(jù)本實施例的功能配置的概要與第一個實施例的(圖1)相同。關(guān)于本實施例的配置，現(xiàn)在僅將描述它的不同于第一個實施例的部分。
在本實施例中，傾斜檢測單元104接收來自位置和取向測量單元102的關(guān)于佩戴HMD200的觀察者的觀察點取向的信息作為輸入，檢測實像的傾斜，并且向圖像旋轉(zhuǎn)單元106輸出檢測的傾斜。在本實施例中，通過從安裝在HMD200中的位置和取向測量單元102輸出的取向提取一個滾轉(zhuǎn)角來檢測所述實像的傾斜，其中當所述觀察點為旋轉(zhuǎn)軸時所述滾轉(zhuǎn)角是一個旋轉(zhuǎn)角。此時，從提取的滾轉(zhuǎn)角中減去一個旋轉(zhuǎn)參考值，并且減后的值被傳送給圖像旋轉(zhuǎn)單元106。所述旋轉(zhuǎn)參考值保存在混合現(xiàn)實呈現(xiàn)設(shè)備100中提供的未顯示的盤設(shè)備或RAM等中，并且根據(jù)本實施例在圖像處理設(shè)備的初始化過程中被設(shè)置。在替換設(shè)置中，可通過圖像處理設(shè)備中單獨提供的輸入單元的用戶操作來修改所述旋轉(zhuǎn)參考值。
如上所述，使用根據(jù)第十一個實施例的配置，現(xiàn)在可以保持固定顯示設(shè)備300上顯示的混合現(xiàn)實圖像由參考值傾斜這一狀態(tài)不變。
雖然上面已詳細描述本發(fā)明的示例可仿效的實施例，但是本發(fā)明可采取形式為例如系統(tǒng)、設(shè)備、方法、程序或存儲媒介。更具體地，本發(fā)明可應用于由多個裝置構(gòu)成的系統(tǒng)或由單個裝置構(gòu)成的設(shè)備。
本發(fā)明也包括這樣一些情況，在這里實現(xiàn)上述實施例功能的軟件程序被直接或遠程提供給系統(tǒng)或設(shè)備，并且所述功能由讀取和執(zhí)行提供的系統(tǒng)或設(shè)備程序代碼的計算機實現(xiàn)。
因此，程序代碼本身(其將被安裝到計算機以使得計算機能實現(xiàn)本發(fā)明的功能和處理)也被包括在本發(fā)明的技術(shù)范圍。換句話說，本發(fā)明也包括實現(xiàn)本發(fā)明的功能和處理的計算機程序本身。
在這種情況下，只要保留程序功能，程序可采取的形式例如為目標代碼、編譯器可執(zhí)行程序、或供給OS的用于執(zhí)行的腳本數(shù)據(jù)。
例如，提供程序的記錄媒介包括軟(注冊商標)盤、硬盤、光盤、磁光盤、MO、CD-ROM、CD-R、CD-RW，磁帶、非易失性存儲卡、ROM、DVD(DVD-ROM、DVD-R)等。
提供程序的其它方法可包括這些情況，其中客戶計算機的瀏覽器用于連接因特網(wǎng)主頁，以將根據(jù)本發(fā)明的計算機程序或具有自動安裝功能的壓縮文件下載進記錄媒介如硬盤。此外，也可通過將包括本發(fā)明程序的程序代碼劃分為多個文件和并且從不同的主頁下載每個文件來實現(xiàn)本發(fā)明。換句話說，WWW服務器也包括于本發(fā)明，WWW服務器允許由多個用戶在計算機上下載實現(xiàn)本發(fā)明的功能和處理的程序代碼。
此外，也可以通過首先編碼根據(jù)本發(fā)明的程序并且將編碼程序存儲于將分配給用戶的存儲媒介如CD-ROM來提供程序。隨后，將允許滿足某種條件的用戶通過因特網(wǎng)從主頁下載解碼的關(guān)鍵信息。所述關(guān)鍵信息可用于執(zhí)行所述編碼程序以在計算機上安裝它，以實現(xiàn)本發(fā)明。
通過由計算機執(zhí)行讀取程序也可實現(xiàn)上述實施例的功能。換句話說，通過由在計算機上運行的OS等執(zhí)行的處理，可實現(xiàn)上述實施例的功能，其中OS等基于來自程序的指令執(zhí)行部分的或所有的實際處理。
此外，通過使所述程序從存儲媒介讀出、寫入到被插入計算機或連接到計算機的功能擴展單元的功能擴展主板上提供的存儲器，也可實現(xiàn)上述實施例的功能。換句話說，通過功能擴展板或功能擴展單元上提供的CPU等基于程序指令來執(zhí)行部分的或所有的實際處理，也可完成上述實施例的功能。
根據(jù)本發(fā)明，可提供一種技術(shù)，能夠向佩戴HMD的觀察者和不佩戴HMD的第三人分別呈現(xiàn)合適的混合現(xiàn)實圖像。
雖然參考示例實施例描述本發(fā)明，但是將理解的是，本發(fā)明不限于公開的示例實施例。將給予下面的權(quán)利要求的范圍最寬廣的解釋，以便包括所有這種修改和等價結(jié)構(gòu)和功能。
權(quán)利要求
1.一種連接到顯示設(shè)備的信息處理設(shè)備，所述信息處理設(shè)備包括獲取單元，適合獲取由成像設(shè)備捕獲的實像；生成單元，適合基于所述成像設(shè)備的取向生成虛像；檢測單元，適合檢測所述實像的傾斜；校正單元，適合基于檢測到的所述實像的傾斜來校正所述實像；合成單元，適合基于所述校正的實像和所述虛像生成合成圖像；和輸出單元，適合向所述顯示設(shè)備輸出所述校正的合成圖像。
2.根據(jù)權(quán)利要求1的信息處理設(shè)備，其中所述校正單元基于所述實像的傾斜來校正由所述生成單元生成的所述虛像，和所述合成單元使用校正的實像和校正的虛像生成合成圖像。
3.根據(jù)權(quán)利要求1的信息處理設(shè)備，其中所述生成單元基于所述成像設(shè)備的取向和所述實像的傾斜來生成所述虛像，和所述合成單元使用所述校正的實像以及基于所述成像設(shè)備的取向和所述實像的傾斜生成的所述虛像來生成合成圖像。
4.根據(jù)權(quán)利要求1的信息處理設(shè)備，進一步包括第二合成單元，適合基于未校正的實像和所述虛像生成合成圖像；其中所述第二合成單元生成的合成圖像被輸出到第二顯示設(shè)備。
5.根據(jù)權(quán)利要求4的信息處理設(shè)備，其中所述顯示設(shè)備是固定顯示器，并且所述第二顯示設(shè)備是便攜的顯示器。
6.根據(jù)權(quán)利要求1的信息處理設(shè)備，其中所述檢測單元基于由6-自由度傳感器測量的所述成像設(shè)備的取向、基于包括在所述實像中的標記圖像的分析、或基于所述實像計算的光流中至少一個來執(zhí)行所述檢測。
7.根據(jù)權(quán)利要求1的信息處理設(shè)備，進一步包括確定單元，適合確定所述虛像是否包括字符；其中當確定單元確定所述虛像不包括字符時，所述校正單元執(zhí)行所述校正。
8.根據(jù)權(quán)利要求1的信息處理設(shè)備，其中所述校正涉及圖像旋轉(zhuǎn)。
9.一種連接到顯示設(shè)備的信息處理設(shè)備，該信息處理設(shè)備包括獲取單元，適合獲取由成像設(shè)備捕獲的實像；生成單元，適合基于所述成像設(shè)備的取向生成虛像；合成單元，適合基于所述實像和所述虛像生成合成圖像；檢測單元，適合檢測所述實像的傾斜；校正單元，適合基于檢測到的實像的傾斜來校正所述合成圖像；和輸出單元，適合向所述顯示設(shè)備輸出所述校正的合成圖像。
10.一種圖像處理設(shè)備，包括圖像獲取單元，適合獲取圖像；檢測單元，適合檢測所述圖像的傾斜；圖像生成單元，適合生成用于生成一個合成圖像的圖像；校正單元，適合基于所述檢測單元的檢測結(jié)果校正由所述圖像獲取單元獲取的所述圖像；第一合成單元，適合基于由所述圖像生成單元生成的所述圖像和由所述校正單元校正的圖像生成所述合成圖像；第一輸出單元，適合輸出由所述第一合成單元生成的所述合成圖像。
11.根據(jù)權(quán)利要求10的信息處理設(shè)備，進一步包括第二合成單元，適合基于由所述圖像生成單元生成的所述圖像和由所述圖像獲取單元獲取的所述圖像生成合成圖像；和第二輸出單元，適合輸出由所述第二合成單元生成的所述合成圖像。
12.根據(jù)權(quán)利要求10的信息處理設(shè)備，進一步包括第二校正單元，適合基于所述檢測單元的檢測結(jié)果校正所述圖像生成單元生成的所述圖像；和第二輸出單元，適合基于由所述圖像獲取單元獲取的圖像和由所述校正單元校正的圖像生成合成圖像，并且輸出所述合成圖像。
13.一種圖像處理設(shè)備，包括圖像獲取單元，適合獲取圖像；檢測單元，適合檢測所述圖像的傾斜；圖像生成單元，適合生成用于生成一個合成圖像的圖像；合成單元，適合基于由所述圖像獲取單元獲取的圖像和由所述圖像生成單元生成的圖像生成所述合成圖像；校正單元，適合基于所述檢測單元的檢測結(jié)果校正由所述圖像合成單元生成的合成圖像；和第一輸出單元，適合輸出由所述校正單元校正的圖像。
14.根據(jù)權(quán)利要求13的信息處理設(shè)備，進一步包括第二輸出單元，適合輸出由所述合成單元生成的所述合成圖像。
15.一種用于信息處理設(shè)備的控制方法，該控制方法包括獲取圖像的圖像獲取步驟；檢測所述圖像的傾斜的檢測步驟；生成圖像的圖像生成步驟，該圖像被用于生成一個合成圖像；基于所述檢測步驟的檢測結(jié)果，校正所述圖像獲取步驟中獲取的圖像的校正步驟；基于在所述圖像生成步驟中生成的圖像和在所述校正步驟中校正的圖像，生成所述合成圖像的第一合成步驟；和輸出在所述第一合成步驟中生成的所述合成圖像的第一輸出步驟。
16.一種用于信息處理設(shè)備的控制方法，該控制方法包括獲取圖像的圖像獲取步驟；檢測所述圖像的傾斜的檢測步驟；生成圖像的圖像生成步驟，該圖像被用于生成一個合成圖像；基于在所述圖像獲取步驟中獲取的圖像和在所述圖像生成步驟中生成的圖像，生成所述合成圖像的合成步驟；基于所述檢測步驟的檢測結(jié)果，校正在所述圖像合成步驟中生成的合成圖像的校正步驟；和輸出在所述校正步驟中校正的圖像的第一輸出步驟。
17.一種圖像處理設(shè)備，其具有顯示設(shè)備、第二顯示設(shè)備、和連接到所述顯示設(shè)備和所述第二顯示設(shè)備的信息處理設(shè)備，所述信息處理設(shè)備包括獲取單元，適合獲取由成像設(shè)備捕獲的實像；檢測單元，適合檢測所述實像的傾斜；校正單元，適合基于檢測到的實像的傾斜來校正所述實像；和輸出單元，適合向所述顯示設(shè)備輸出所述校正的實像，并且向所述第二顯示設(shè)備輸出所述獲取單元獲取的所述實像。
全文摘要
一種連接到顯示設(shè)備的信息處理設(shè)備包括獲取單元，適合獲取由成像設(shè)備捕獲的實像；生成單元，適合基于所述成像設(shè)備的取向生成虛像；檢測單元，適合檢測實像的傾斜；校正單元，適合基于所述檢測到的實像傾斜校正所述實像；合成單元，適合基于校正的實像和所述虛像生成合成圖像；和輸出單元，適合向所述顯示設(shè)備輸出校正的合成圖像。
文檔編號G06T19/00GK101067762SQ20071010219
公開日2007年11月7日 申請日期2007年4月29日 優(yōu)先權(quán)日2006年5月2日
發(fā)明者小林俊廣, 大島登志一 申請人:佳能株式會社