圖像顯示裝置、圖像顯示方法和計算機程序的制作方法
【專利摘要】本發(fā)明公開了一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置、圖像顯示方法和計算機程序，通過與現(xiàn)實世界風(fēng)景重合能夠觀看假想的顯示圖像。所述圖像顯示裝置包括顯示圖像的顯示單元；保持所述使用者的使用者信息的信息保持單元；基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域的區(qū)域指定單元；對所述關(guān)注區(qū)域進行圖像處理的圖像處理單元；和在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制單元。
【專利說明】圖像顯示裝置、圖像顯示方法和計算機程序
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2012年11月6日提交的日本在先專利申請JP2012-244878的權(quán)益，其全部內(nèi)容以引用的方式并入本文。
【技術(shù)領(lǐng)域】
[0003]本說明書公開的技術(shù)涉及一種使用者佩戴在面部或頭部上并且用來觀看圖像的圖像顯示裝置、圖像顯示方法和計算機程序。特別地，本技術(shù)涉及一種其中通過與現(xiàn)實世界風(fēng)景重合來觀看假想的顯示圖像的圖像顯示裝置、圖像顯示方法和計算機程序。
【背景技術(shù)】
[0004]佩戴在頭部并且用來觀看圖像的頭戴式圖像顯示裝置是已知的，S卩，頭戴式顯示器。頭戴式圖像顯示裝置具有例如左眼和右眼用的各圖像顯示單元，并且被構(gòu)造成當(dāng)與頭戴式耳機一起使用時能夠控制視覺和聽覺。此外，頭戴式圖像顯示裝置可以向左眼和右眼示出不同的圖像，并且還可以在利用左眼和右眼的視差顯示圖像時提供三維圖像。
[0005]頭戴式圖像顯示裝置還可以分類為遮光型和透過型的。遮光型頭戴式圖像顯示裝置被構(gòu)造成當(dāng)佩戴在頭部上時直接覆蓋使用者的眼睛，并且在視聽圖像時使用者的沉浸感增強。另一方面，在透過型頭戴式圖像顯示裝置的情況下，在裝置佩戴在頭部上以顯示圖像的同時，使用者能夠透過圖像觀看風(fēng)景(即，穿過)。因此，通過使圖像與現(xiàn)實世界風(fēng)景重合，可以顯示假想的顯示圖像。當(dāng)然，在遮光型頭戴式圖像顯示裝置中，當(dāng)進行合成處理使得拍攝外面風(fēng)景的相機的圖像與假想的顯示圖像重合時，可以向使用者顯示相同的圖像。
[0006]例如，已經(jīng)提出了以下這種頭戴式顯示裝置，其中，從當(dāng)使用者利用視線在現(xiàn)實圖像上移動光標(biāo)指定的指定區(qū)域提取字符數(shù)據(jù)，并且基于字符數(shù)據(jù)的翻譯結(jié)果生成的字符顯示在諸如假想屏幕的右上角或左下角的指定部位(例如，參見日本未審查專利申請公開N0.2001-56446)。然而，在這種頭戴式顯示裝置中，使用者自己應(yīng)該對應(yīng)用于諸如字符數(shù)據(jù)等的目標(biāo)語言的類型、字符類型和字符樣式等指定區(qū)域進行輸入操作。此外，由于作為處理結(jié)果的翻譯后的字符在原來的指定區(qū)域以外的地方配置，因此，如果使用者的視線在指定區(qū)域之外，那么使用者不能觀看處理結(jié)果。此外，當(dāng)翻譯后的字符串與現(xiàn)實圖像的指定區(qū)域不同的地方重合時，預(yù)計現(xiàn)實感降低。
[0007]此外，已經(jīng)提出了一種眼鏡型顯示裝置，其中，基于成像視野內(nèi)的說話者的面部圖像數(shù)據(jù)、面部特征數(shù)據(jù)和周圍聲音的聲音信號指定并提取說話者的聲音信號，其文本數(shù)據(jù)被翻譯成另一種語言，并且在視野內(nèi)重合地顯示(例如，參見日本未審查專利申請公開N0.2012-59121)。
[0008]此外，已經(jīng)提出了一種望遠鏡型混合現(xiàn)實感呈現(xiàn)裝置，其中，模擬在眼睛前方的風(fēng)景中的假想建筑物的景色的假想空間圖像數(shù)據(jù)被合成，而沒有偏離現(xiàn)實空間圖像(例如，參見日本未審查專利申請公開N0.2003-215494)。
[0009]如上所述，現(xiàn)有技術(shù)的頭戴式圖像顯示裝置能夠向使用者呈現(xiàn)假想的信息(如從現(xiàn)實圖像、說話者的聲音等提取的文本數(shù)據(jù)的翻譯后的句子)和通過計算機圖形學(xué)模擬的假想的空間圖像等。然而，佩戴裝置的使用者要求的或使用者需要的信息多種多樣。在視野中，使用者不需要對呈現(xiàn)使用者需要的信息的對象緊密注視。此外，針對對象呈現(xiàn)的信息或呈現(xiàn)方法在每個使用者中不同，并且即使在同一使用者中，根據(jù)周圍環(huán)境或使用者的狀態(tài)，也可能會變化。

【發(fā)明內(nèi)容】

[0010]希望提供一種當(dāng)使用者佩戴在頭部上并用來觀看圖像時使用的能夠通過與現(xiàn)實世界風(fēng)景重合來顯示假想的顯示圖像的優(yōu)異的圖像顯示裝置、圖像顯示方法和計算機程序。
[0011]根據(jù)本技術(shù)實施方案的佩戴在使用者的頭部或面部上使用的圖像顯示裝置包括顯示圖像的顯示單元；保持所述使用者的使用者信息的信息保持單元；基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域的區(qū)域指定單元；對所述關(guān)注區(qū)域進行圖像處理的圖像處理單元；和在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制單元。
[0012]在根據(jù)本實施方案的圖像顯示裝置中，當(dāng)所述顯示單元是透過型的時，所述顯示控制單元在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域并且與在使用者的視野中透過的現(xiàn)實關(guān)注區(qū)域重合。此外，當(dāng)所述顯示單元是遮光型的時，所述圖像顯示裝置還包括獲取使用者的視野圖像的圖像獲取單元，并且所述顯示控制單元在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域并且與在所述視野圖像內(nèi)的關(guān)注區(qū)域重合。
[0013]在根據(jù)本實施方案的圖像顯示裝置中，所述信息保持單元可以保持所述使用者的視線位置作為所述使用者信息，和其中所述區(qū)域指定單元可以基于所述使用者的視線位置指定所述關(guān)注區(qū)域。
[0014]在根據(jù)本實施方案的圖像顯示裝置中，所述區(qū)域指定單元可以指定源語言書寫的并在使用者的視線的前方的字符串作為關(guān)注區(qū)域，所述圖像處理單元可以將所述字符串翻譯成基于所述使用者信息確定的語言，和所述顯示控制單元可以通過替換成翻譯后的字符串而顯示在所述關(guān)注區(qū)域內(nèi)的原來的字符串。
[0015]在根據(jù)本實施方案的圖像顯示裝置中，通過將翻譯后的字符串貼附到在其上使用周圍顏色或紋理涂抹翻譯前的字符串的背景圖像上，所述圖像處理單元可以在原來的關(guān)注區(qū)域中生成替換圖像，和所述顯示控制單元可以顯示在所述圖像處理單元中生成的圖像并且與所述使用者的視野內(nèi)的原來的關(guān)注區(qū)域重合。
[0016]在根據(jù)本實施方案的圖像顯示裝置中，所述圖像處理單元可以通過在所述背景圖像上提供具有翻譯后的字符、翻譯前的字符的顏色、字體的樣式和傾斜的替換圖像而在所述關(guān)注區(qū)域中生成所述替換圖像。
[0017]在根據(jù)本實施方案的圖像顯示裝置中，所述圖像處理單元可以調(diào)節(jié)翻譯后的字符串的字體大小以嵌合到原來的關(guān)注區(qū)域內(nèi)。
[0018]在根據(jù)本實施方案的圖像顯示裝置中，所述顯示控制單元可以通過在字符的排列方向上滾動字符串而順次顯示未嵌合到原來的關(guān)注區(qū)域內(nèi)的翻譯后的字符串。
[0019]在根據(jù)本實施方案的圖像顯示裝置中，所述圖像處理單元可以基于所述使用者的來自國家、所述使用者的居住地、所述使用者可以理解的語言或所述使用者的每種語言的熟練程度確定目標(biāo)語言。
[0020]在根據(jù)本實施方案的圖像顯示裝置中，所述圖像保持單元可以保持所述使用者的當(dāng)前位置信息，和在當(dāng)前位置被確定為居住國以外的其他國家時進行所述區(qū)域指定單元、所述圖像處理單元和所述顯示控制單元的各單元的處理。
[0021]在根據(jù)本實施方案的圖像顯示裝置中，當(dāng)前位置的官方語言可以被設(shè)定為源語言，并且所述使用者的最高熟練程度的語言可以被設(shè)定為目標(biāo)語言。
[0022]在根據(jù)本實施方案的圖像顯示裝置中，所述信息保持單元可以保持所述使用者的行動歷史或備忘錄作為所述使用者信息，和所述區(qū)域指定單元可以基于所述使用者的行動歷史或備忘錄確定所述使用者的重要信息，并且根據(jù)在所述使用者的視野中發(fā)現(xiàn)的重要信息的類型指定所述關(guān)注區(qū)域。
[0023]在根據(jù)本實施方案的圖像顯示裝置中，所述圖像處理單元可以對所述關(guān)注區(qū)域應(yīng)用對應(yīng)于所述重要信息的類型的圖像處理。
[0024]在根據(jù)本實施方案的圖像顯示裝置中，當(dāng)所述使用者正往目的地移動并且不具有當(dāng)前位置的地方感知度時，所述區(qū)域指定單元可以根據(jù)所述使用者的當(dāng)前交通手段確定當(dāng)前位置和目的地之間的主要標(biāo)志的名稱和標(biāo)記作為重要信息。
[0025]在根據(jù)本實施方案的圖像顯示裝置中，所述信息保持單元可以保持所述使用者的工作狀態(tài)作為所述使用者信息，和其中所述區(qū)域指定單元可以基于所述使用者的工作狀態(tài)指定所述關(guān)注區(qū)域。
[0026]在根據(jù)本實施方案的圖像顯示裝置中，在所述使用者正在解決練習(xí)本上的問題的工作狀態(tài)下，所述區(qū)域指定單元可以在所述關(guān)注區(qū)域中指定所述使用者的視野內(nèi)的問題句子；所述圖像處理單元可以生成所述問題句子的答案用圖像；和所述顯示控制單元可以通過從所述問題句子移動答案位置而不與現(xiàn)實世界的問題句子重合來顯示所述答案用圖像。
[0027]在根據(jù)本實施方案的圖像顯示裝置中，所述顯示單元可以設(shè)置在所述使用者的左眼和右眼的每一個中。此外，所述顯示控制單元可以僅在左右顯示單元的一個中重合地顯示所述答案用圖像。
[0028]在根據(jù)本實施方案的圖像顯示裝置中，所述顯示單元可以設(shè)置在所述使用者的左眼和右眼的每一個中。此外，當(dāng)所述問題句子存在于所述使用者的左眼和右眼的一個的視野中時，所述顯示控制單元可以在左右兩個顯示單元上重合地顯示所述答案用圖像。
[0029]在根據(jù)本實施方案的圖像顯示裝置中，所述顯示控制單元可以向所述答案用圖像被重合的圖像的中央附近的注視點區(qū)域以外的區(qū)域施加模糊或馬賽克。
[0030]根據(jù)本技術(shù)另一個實施方案的對于在頭部或面部上佩戴圖像顯示裝置的使用者顯示圖像的圖像顯示方法，包括:保持所述使用者的使用者信息；基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域；對所述關(guān)注區(qū)域進行圖像處理；和對于所述使用者顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制。
[0031]根據(jù)本技術(shù)另一個實施方案的以計算機可讀格式寫成而使用計算機控制佩戴在使用者的頭部或面部上使用的圖像顯示裝置的計算機程序，所述程序使得所述計算機具有以下功能:顯示圖像的顯示單元；保持所述使用者的使用者信息的信息保持單元；基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域的區(qū)域指定單元；對所述關(guān)注區(qū)域進行圖像處理的圖像處理單元；和在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制單元。
[0032]根據(jù)本實施方案的計算機程序被定義作以計算機可讀格式寫成而在計算機上執(zhí)行預(yù)定處理的計算機程序。換句話說，當(dāng)根據(jù)本實施方案的計算機程序安裝到計算機中時，在計算機上執(zhí)行協(xié)作操作，從而可以獲得與在根據(jù)本實施方案的圖像顯示裝置中相同的操作效果。
[0033]根據(jù)本說明書公開的技術(shù)，可以提供一種對于使用者在視野中注意的關(guān)注區(qū)域能夠重合地顯示使用者所需的信息的頭戴式圖像顯示裝置、圖像顯示方法和計算機程序。
[0034]根據(jù)本說明書公開的技術(shù)，在越過頭戴式圖像顯示裝置觀看的使用者的視野內(nèi)，由于以另一種語言書寫的關(guān)注區(qū)域內(nèi)的字符串被翻譯成諸如母語等可以理解的語言或者容易被忽略的關(guān)注區(qū)域被強調(diào)或放大顯示，因此即使在陌生的地方使用者也能夠順利行動。
[0035]此外，根據(jù)所述本說明書公開的技術(shù)，當(dāng)使用者越過頭戴式圖像顯示裝置觀看問題句子時，通過當(dāng)使用者正在解決問題時不顯示答案和通過當(dāng)使用者正在核查答案時重合地顯示答案，可以進行順利地學(xué)習(xí)。
[0036]本說明書公開的技術(shù)的其他目的、特征或優(yōu)點從基于以下實施方案和附圖的更詳細說明將變得很明顯。
【專利附圖】

【附圖說明】
[0037]圖1是示出其中從正面觀看佩戴透過型頭戴式圖像顯示裝置的使用者的狀態(tài)的圖；
[0038]圖2是示出其中從上方觀看佩戴圖1所示的圖像顯示裝置的使用者的狀態(tài)的圖；
[0039]圖3是示出其中從正面觀看佩戴遮光型頭戴式圖像顯示裝置的使用者的狀態(tài)的圖；
[0040]圖4是示出其中從上方觀看佩戴圖3所示的圖像顯示裝置的使用者的狀態(tài)的圖；
[0041]圖5是示出圖像顯示裝置的內(nèi)部構(gòu)成例的圖；
[0042]圖6是示意性地示出圖像顯示裝置的提供信息提示服務(wù)的功能構(gòu)成的圖；
[0043]圖7是例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看英語書寫的菜單時的圖像的圖；
[0044]圖8是示出由圖像顯示裝置提供上述翻譯服務(wù)的處理過程的流程圖；
[0045]圖9A是例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看火車站的站臺中的導(dǎo)向板時的圖像的圖；
[0046]圖9B是例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看火車站的站臺中的導(dǎo)向板時的圖像的圖；
[0047]圖9C是例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看火車站的站臺中的導(dǎo)向板時的圖像的圖；
[0048]圖1OA是例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看出口引導(dǎo)時的圖像的圖；
[0049]圖1OB是例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看出口引導(dǎo)時的圖像的圖；[0050]圖1OC是例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看出口引導(dǎo)時的圖像的圖；
[0051]圖1lA是例示學(xué)校道路或通勤道路的風(fēng)景的圖；
[0052]圖1lB是示出當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看圖1lA所示的風(fēng)景的圖像的圖；
[0053]圖12是例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看書店的書架時的圖像的圖；
[0054]圖13是示出由圖像顯示裝置提供上述導(dǎo)向指示和信息強調(diào)服務(wù)的處理過程的流程圖；
[0055]圖14A是示出重要信息確定處理的詳細處理過程的流程圖；
[0056]圖14B是示出重要信息確定處理的詳細處理過程的流程圖；
[0057]圖15是例示使用著色玻璃紙片的附有答案的練習(xí)本的圖；
[0058]圖16是用于說明使用圖像顯示裝置通過與答案重合顯示現(xiàn)實世界的問題句子的第一方法的圖；
[0059]圖17是用于說明使用圖像顯示裝置通過與答案重合顯示現(xiàn)實世界的問題句子的第一方法的圖；
[0060]圖18是用于說明使用圖像顯示裝置通過與答案重合顯示現(xiàn)實世界的問題句子的第一方法的圖；
[0061]圖19是用于說明使用圖像顯示裝置通過與答案重合顯示現(xiàn)實世界的問題句子的第二方法的圖；
[0062]圖20是用于說明使用圖像顯示裝置通過與答案重合顯示現(xiàn)實世界的問題句子的第二方法的圖；
[0063]圖21是示出通過圖像顯示裝置提供附有答案的問題句子的圖像的處理過程的流程圖；和
[0064]圖22是示出通過圖像顯示裝置提供附有答案的問題句子的圖像的處理過程的流程圖。
【具體實施方式】
[0065]下面將參照附圖詳細說明根據(jù)本說明書公開的技術(shù)的實施方案。
[0066]A.裝置構(gòu)成
[0067]圖1是示出其中從正面觀看佩戴透過型(S卩，看穿式)頭戴式圖像顯示裝置I的使用者的狀態(tài)的圖。圖示的圖像顯示裝置I具有類似于視力矯正用的眼鏡的結(jié)構(gòu)。裝置I的主體在與使用者的左眼和右眼相對的位置配置有由透明的導(dǎo)光單元形成的虛像光學(xué)單元，并且在虛像光學(xué)單元的內(nèi)側(cè)顯示由使用者觀看到的圖像。虛像光學(xué)單元由例如具有眼鏡框形狀的支撐體支撐。
[0068]具有眼鏡框形狀的支撐體在其大致中央處具有用于輸入周圍圖像(使用者的視野)的相機。此外，支撐體的左右兩端附近具有麥克風(fēng)。由于設(shè)置有兩個麥克風(fēng)，因此通過只認出定位于中央的聲音(使用者的聲音)，可以與周圍噪音或其他人的說話聲分離，并且可以防止例如在聲音輸入的操作過程中的誤操作。[0069]圖2是示出其中從上方觀看由使用者佩戴的圖像顯示裝置I的狀態(tài)的圖。如圖所示，圖像顯示裝置I在其左右兩端配置有用于顯示和輸出左眼用的圖像和右眼用的圖像的顯示面板。各顯示面板由諸如液晶顯示器或有機EL元件等微顯示器構(gòu)成。從顯示面板輸出的左右顯示圖像由虛像光學(xué)單元光學(xué)引導(dǎo)到左眼和右眼的附近，并且放大的虛像在使用者的瞳孔上成像。
[0070]另一方面，圖3示出其中從正面觀看佩戴遮光型頭戴式圖像顯示裝置I的使用者的狀態(tài)。圖示的圖像顯示裝置I是具有類似于帽舌形狀的結(jié)構(gòu)體并且被構(gòu)造成直接覆蓋佩戴該裝置的使用者的左眼和右眼。在位于裝置I的主體的內(nèi)側(cè)并且與左眼和右眼相對的位置配置有由使用者觀看的顯示面板(圖3未示出)。顯示面板例如由諸如有機EL元件或液晶顯示器等微顯示器構(gòu)成。
[0071]帽舌形狀的裝置I的主體在其前面的大致中央具有用于輸入周圍圖像(使用者的視野)的相機。此外，支撐體的左右兩端附近具有麥克風(fēng)。由于設(shè)置有兩個麥克風(fēng)，因此通過只認出定位于中央的聲音(使用者的聲音)，可以與周圍噪音或其他人的說話聲分離，并且可以防止例如在聲音輸入的操作過程中的誤操作。
[0072]圖4示出其中從上方觀看佩戴圖3所示的圖像顯示裝置I的使用者的狀態(tài)。圖示的圖像顯示裝置I在與使用者的面部相對的側(cè)面具有左眼用和右眼用的顯示面板。顯示面板例如由諸如有機EL元件或液晶顯示器等微顯示器構(gòu)成。顯示面板的顯示圖像通過虛像光學(xué)單元，作為放大虛像由使用者觀看。此外，由于每個使用者的眼睛的高度和寬度彼此不同，因此必須在左右顯示系統(tǒng)與使用者的眼睛之間進行定位。在圖4所示的例子中，在左眼用顯示面板和右眼用顯示面板之間設(shè)置有眼睛寬度調(diào)節(jié)機構(gòu)。
[0073]圖5示出圖像顯示裝置I的內(nèi)部構(gòu)成的例子。下面將說明各個單元。
[0074]控制單元501包括只讀存儲器(ROM) 501A和隨機存取存儲器(RAM) 501B。R0M501A在其中存儲由控制單元501執(zhí)行的程序代碼或各種數(shù)據(jù)?？刂茊卧?01通過執(zhí)行加載到RAM501B中的程序來綜合控制圖像顯示裝置I的全體操作，包括對在顯示面板509上顯示的圖像進行控制。作為控制單元501執(zhí)行的程序，包括各種應(yīng)用程序，如翻譯程序、引導(dǎo)和信息強調(diào)程序、教育/學(xué)習(xí)程序等，它們與使用者在視野中注意的關(guān)注區(qū)域中使用者所需的信息重合顯示。然而，這種類型的應(yīng)用程序?qū)⒃诤竺嬖敿氄f明。
[0075]輸入操作單元502包括諸如鍵、按鈕和開關(guān)等使用者用其進行輸入操作的一個或多個操作元件，并且經(jīng)由操作元件接收使用者指示，將指示輸出到控制單元501。此外，類似地，輸入操作單元502接收由遙控接收單元503接收的遙控指令發(fā)布的使用者指示，并將指示輸出到控制單元501。
[0076]環(huán)境信息獲取單元504獲取關(guān)于圖像顯示裝置I外的周圍環(huán)境的環(huán)境信息，并將環(huán)境信息輸出到控制單元501。由環(huán)境信息獲取單元504獲取的環(huán)境信息的例子包括環(huán)境光強度、聲音強度、位置或場所、溫度、天氣、時間和周圍的圖像。環(huán)境信息獲取單元504可以具有各種環(huán)境傳感器，例如光強度傳感器、麥克風(fēng)、全球定位系統(tǒng)(GPS)傳感器、溫度傳感器、濕度傳感器、時鐘、指向外側(cè)以拍攝外部風(fēng)景(在使用者的視野內(nèi)的圖像)的外側(cè)相機和輻射傳感器(這些都未在圖5中示出)?？蛇x擇地，圖像顯示裝置I可以被構(gòu)造成本身不具有環(huán)境傳感器并且環(huán)境信息獲取單元504從配備有環(huán)境傳感器的外部裝置(未示出)獲取環(huán)境信息。獲取的環(huán)境信息臨時地存儲在例如RAM501B中，作為當(dāng)在使用者的視野內(nèi)指定關(guān)注區(qū)域或者處理關(guān)注區(qū)域內(nèi)的圖像或關(guān)注區(qū)域附近的圖像時使用的使用者信息。
[0077]狀態(tài)信息獲取單元505獲取關(guān)于使用圖像顯示裝置I的使用者的狀態(tài)的狀態(tài)信息，并將狀態(tài)信息輸出到控制單元501。狀態(tài)信息獲取單元505獲取例如使用者的工作狀態(tài)(例如，使用者是否佩戴裝置I)、使用者的動作狀態(tài)(例如，佩戴有裝置的使用者的頭部的姿勢、視線的移動、諸如步行等的移動以及眼瞼的開/閉狀態(tài))、精神狀態(tài)(例如，興奮度、覺醒度和情緒與感受，例如，使用者是否沉浸在或集中在觀看內(nèi)側(cè)圖像)以及生理狀態(tài)。此夕卜，狀態(tài)信息獲取單元505可以具有各種狀態(tài)傳感器，例如具有機械開關(guān)的連接傳感器、GPS傳感器、陀螺儀傳感器、加速度傳感器、速度傳感器、壓力傳感器、體溫傳感器、出汗傳感器、肌電傳感器、眼電傳感器、腦波傳感器、指向內(nèi)側(cè)(即，指向使用者的面部)的內(nèi)側(cè)相機以及用于輸入使用者發(fā)出的聲音的麥克風(fēng)(這些都未在圖5中示出)。例如，根據(jù)從肌電傳感器、眼電傳感器或內(nèi)側(cè)相機輸出的信息，狀態(tài)信息獲取單元505可以獲取在頭部上佩戴圖像顯示裝置I的使用者的視線(眼球移動)。此外，狀態(tài)信息獲取單元505可以基于經(jīng)由麥克風(fēng)輸入的聲音獲取諸如目的地等使用者的行動計劃或備忘錄的項目等。獲取的狀態(tài)信息臨時地存儲在例如RAM501B中，作為當(dāng)在使用者的視野內(nèi)指定關(guān)注區(qū)域或者處理關(guān)注區(qū)域內(nèi)的圖像或關(guān)注區(qū)域附近的圖像時使用的使用者信息。
[0078]通訊單元506進行與另一個單元的通訊處理以及對通訊信號的調(diào)制/解調(diào)和編碼/解碼處理。例如，通訊單元506從作為圖像源的外部設(shè)備(未示出)接收通過顯示面板509顯示和輸出的圖像信號。當(dāng)然，通訊單元506對接收的圖像數(shù)據(jù)進行解調(diào)和解碼處理，并將圖像數(shù)據(jù)或其他接收的數(shù)據(jù)供給到控制單元501。此外，控制單元501經(jīng)由通訊單元506將發(fā)送數(shù)據(jù)發(fā)送到外部設(shè)備。
[0079]通訊單元506可以具有任意的構(gòu)成。例如，通訊單元506可以根據(jù)在與作為通訊伙伴的外部設(shè)備的發(fā)送和接收操作中使用的通訊標(biāo)準(zhǔn)構(gòu)成。通訊標(biāo)準(zhǔn)可以是任意的有線和無線通訊用的標(biāo)準(zhǔn)。作為這里使用的通訊標(biāo)準(zhǔn)，包括移動高清鏈接(Mobile High-def initionLink) (MHL)、通用串行總線(Universal Serial Bus) (USB)、高清晰度多媒體接口 (HighDefinition Multimedia Interface) (HDMI)、藍牙(注冊商標(biāo))通訊、紅外線通訊、W1-Fi (注冊商標(biāo))和以太網(wǎng)(注冊商標(biāo))等。此外，圖像顯示裝置I也可以使用經(jīng)由通訊單元506連接到諸如因特網(wǎng)等廣域網(wǎng)的云計算機(未示出)。
[0080]圖像處理單元507對從控制單元501輸出的圖像信號進行諸如圖像質(zhì)量校正等信號處理，并且還將圖像信號的分辨率轉(zhuǎn)換成適于顯示面板509的屏幕的分辨率。此外，顯示驅(qū)動單元508逐行順次選擇顯示面板509中的像素，進行線順次掃描，并且基于對圖像信號進行信號處理，供給像素信號。
[0081]顯示面板509例如由諸如有機EL元件或液晶顯示器等微顯示器構(gòu)成。虛像光學(xué)單元510將在顯示面板509上的顯示圖像放大和投影，因此使用者觀看到的圖像為放大的虛像。
[0082]在圖像顯示裝置I是透過型的情況下，虛像光學(xué)單元510由例如衍射光學(xué)元件等構(gòu)成。在圖像顯示裝置I是遮光型的情況下，虛像光學(xué)單元510由眼用光學(xué)透鏡構(gòu)成。
[0083]B.關(guān)注區(qū)域中的信息提示服務(wù)
[0084]根據(jù)本實施方案的圖像顯示裝置I可以以例如其中控制單元501執(zhí)行預(yù)定的應(yīng)用程序的形式例如通過重合顯示使用者在視野中注意的關(guān)注區(qū)域中使用者所需的信息等而提供呈現(xiàn)信息的接口。
[0085]圖6示意性地示出其中圖像顯示裝置I提供信息提示服務(wù)的功能構(gòu)成。
[0086]圖像輸入單元601由例如在環(huán)境信息獲取單元504中包含的外側(cè)相機構(gòu)成，并輸入對應(yīng)于佩戴圖像顯示裝置I的使用者的視野的周圍圖像。
[0087]使用者信息保持單元602保持從使用者的視野圖像指定關(guān)注區(qū)域所需的使用者信息或者對指定的關(guān)注區(qū)域進行圖像處理所需的使用者信息。使用者信息保持單元602可以獲取必要的使用者信息，例如，從環(huán)境信息獲取單元504獲取的環(huán)境信息、從狀態(tài)信息獲取單元505獲取的狀態(tài)信息、通過通訊單元506獲取的網(wǎng)絡(luò)信息等。
[0088]關(guān)注區(qū)域指定單元603基于來自在圖像輸入單元601中輸入的使用者的視野圖像的使用者信息指定關(guān)注區(qū)域。關(guān)注區(qū)域指定單元603基于使用者信息(例如，使用者的視線的位置、使用者的行動歷史、備忘錄、使用者的工作狀態(tài)等)指定作為處理目標(biāo)的關(guān)注區(qū)域，然而，處理的細節(jié)將在后面說明。
[0089]關(guān)注區(qū)域圖像處理單元604對由關(guān)注區(qū)域指定單元603指定的關(guān)注區(qū)域進行圖像處理。關(guān)注區(qū)域圖像處理單元604基于在使用者信息保持單元602中保持的使用者信息確定將對關(guān)注區(qū)域進行什么樣的處理。作為圖像處理，例如，包括替換關(guān)注區(qū)域為另一個圖像、關(guān)注區(qū)域的突出顯示、關(guān)注區(qū)域的隱匿處理和關(guān)注區(qū)域的修飾處理等。使用者信息保持單元602從環(huán)境信息獲取單元504獲取的環(huán)境信息或從狀態(tài)信息獲取單元505獲取的狀態(tài)信息來獲取確定關(guān)注區(qū)域的處理方法所需的使用者信息。此外，關(guān)注區(qū)域圖像處理單元604在本地存儲當(dāng)對關(guān)注區(qū)域進行圖像處理時使用的圖像素材等數(shù)據(jù)?？蛇x擇地，關(guān)注區(qū)域圖像處理單元604可以經(jīng)由通訊單元506從網(wǎng)絡(luò)獲取圖像素材。
[0090]顯示控制單元605控制進行圖像處理后的關(guān)注區(qū)域在顯示面板509上的顯示和輸出。當(dāng)圖像顯示裝置I是透過型的時，在顯示面板509上的顯示和輸出被控制成使得圖像處理后的關(guān)注區(qū)域與原來的關(guān)注區(qū)域在使用者的視野內(nèi)重合。此外，當(dāng)圖像顯示裝置I是遮光型的時，圖像處理后的關(guān)注區(qū)域在使用外側(cè)相機拍攝的周圍圖像上合成的圖像將被顯示在顯示面板509上，就好像圖像是原來的周圍圖像。
[0091]圖像顯示裝置I可以實現(xiàn)自然的接口，從而產(chǎn)生一種錯覺，就好像使用者所需的信息從一開始就存在于視野內(nèi)。
[0092]B-1.翻譯應(yīng)用程序
[0093]例如，當(dāng)使用者訪問外國時，存在其中外國語到處出現(xiàn)并且使用者難以立即記住意思的情況。根據(jù)本說明書公開的技術(shù)，圖像顯示裝置I指定例如在使用者的視線前方并且以諸如英語等外國語言書寫的字符串，基于諸如使用者的母語等使用者的信息確定將外國語翻譯成的語言，并通過替換成翻譯后的字符串顯示關(guān)注區(qū)域內(nèi)的原來的字符串。
[0094]圖7例示當(dāng)佩戴透過型圖像顯示裝置的使用者正觀看英語書寫的菜單時的圖像。在圖中，左側(cè)表示初始狀態(tài)，右側(cè)表示顯示關(guān)注區(qū)域內(nèi)的字符串的翻譯結(jié)果的狀態(tài)。
[0095]當(dāng)使用者越過圖像顯示裝置I觀看英語書寫的菜單時，視線前方的英語單詞或英語句子被指定為關(guān)注區(qū)域。在圖7的左側(cè)，基于使用者的視線方向，在英語菜單上包括"Spinach Salad"的區(qū)域被指定作為關(guān)注區(qū)域。此外，當(dāng)基于使用者信息將目標(biāo)語言確定為日語時，圖像顯示裝置I將英語句子"Spinach Salad"自動翻譯為日語單詞"H0URENS0USALADA〃，并顯示日語單詞，從而與翻譯前的視野內(nèi)的關(guān)注區(qū)域"Spinach Salad"重合。按這種方式，可以實現(xiàn)自然的接口，從而產(chǎn)生一種錯覺，就好像使用者從一開始就在觀看日語書寫的菜單。
[0096]當(dāng)獲取當(dāng)前視線的位置作為來自使用者信息保持單元602的使用者信息時，關(guān)注區(qū)域指定單元603指定與視線交叉的字符串"Spinach Salad"的顯示區(qū)域作為關(guān)注區(qū)域。
[0097]此外，使用者信息保持單元602保持用于確定目標(biāo)語言的使用者信息。當(dāng)基于使用者信息將目標(biāo)語言確定為日語時，關(guān)注區(qū)域圖像處理單元604將關(guān)注區(qū)域內(nèi)的字符串"Spinach Salad〃翻譯成日語單詞〃H0URENS0U SALADA"。此外，關(guān)注區(qū)域圖像處理單元604通過使用周圍顏色或紋理涂抹翻譯前的字符串生成背景圖像，并將翻譯后的日語字符串"H0URENS0U SALADA〃貼在背景圖像上。
[0098]此外，顯示控制單元605在顯示面板509上顯示在關(guān)注區(qū)域圖像處理單元604中生成的圖像并與使用者的視野內(nèi)的原來的關(guān)注區(qū)域重合。
[0099]關(guān)注區(qū)域圖像處理單元604通過在其上涂抹翻譯前的字符串的背景圖像上提供具有翻譯后的字符、翻譯前的字符的顏色、字體的樣式和傾斜的替換圖像而在關(guān)注區(qū)域中生成替換圖像。當(dāng)該替換圖像被顯示而與使用者的視野中的原來的關(guān)注區(qū)域重合時，可以實現(xiàn)自然的接口，從而產(chǎn)生一種錯覺，就好像翻譯后的日語字符串"H0URENS0U SALADA"從一開始就存在于視野中。
[0100]此外，用于涂抹背景的周圍顏色或紋理的圖像數(shù)據(jù)、翻譯后的字符的字體數(shù)據(jù)等可以經(jīng)由通訊單元506從網(wǎng)絡(luò)獲取，而沒有保持在圖像顯示裝置I中。此外，用于翻譯原始字符的翻譯處理也可以使用例如在網(wǎng)絡(luò)上的云計算機(未示出)上的詞典或者通過經(jīng)由通訊單元506接收翻譯結(jié)果(通過使云計算機進行翻譯處理)來進行，而無需在圖像顯示裝置I中進行。
[0101]此外，存在即使當(dāng)詞語具有相同含義時語言之間的字符數(shù)相當(dāng)不同的情況。當(dāng)字符數(shù)由于翻譯處理而顯著增加并且不能嵌合在與原字符具有相同尺寸的關(guān)注區(qū)域內(nèi)時，關(guān)注區(qū)域圖像處理單元604可以通過縮小字體大小而嵌合到關(guān)注區(qū)域內(nèi)來顯示翻譯后的字符?？蛇x擇地，由于當(dāng)字體大小縮小時難以觀看字符，因此，在保持翻譯后的字符串的字體大小的同時，通過在水平方向(或字符的排列方向)上滾動字符串，顯示控制單元605可以順次顯示未嵌合到原來的關(guān)注區(qū)域內(nèi)的翻譯后的字符串。另一方面，當(dāng)字符數(shù)顯著減少并且使用同樣的字體大小時，在關(guān)注區(qū)域內(nèi)存在多余的區(qū)域，翻譯后的字符的字體大小可以被放大而填充關(guān)注區(qū)域來顯示。
[0102]為了進行未被使用者指定的自然翻譯，通過在使用者信息保持單元602中預(yù)先注冊以下使用者屬性作為使用者信息，關(guān)注區(qū)域圖像處理單元604可以基于使用者屬性確定目標(biāo)語言。
[0103](I)使用者的來自國家
[0104](2)使用者的居住國家、居住城市
[0105](3)使用者可以理解的語言
[0106](4)使用者的每種語言的程度
[0107]上述的使用者屬性可以由使用者經(jīng)由輸入操作單元502輸入?？蛇x擇地，通過保持輸入到屬于使用者的另一個單元或輸入到網(wǎng)絡(luò)上的云計算機中的網(wǎng)站的使用者屬性，使用者信息保持單元602可以經(jīng)由通訊單元506從云計算機獲取使用者屬性。使用者信息保持單元602可以從由狀態(tài)信息獲取單元505基于GPS傳感器的輸出信息獲取的行動歷史信息來自動地設(shè)定使用者的居住國家或居住城市。此外，使用者理解的語言或每種語言的熟練程度可以由狀態(tài)信息獲取單元505基于從麥克風(fēng)輸入的使用者的對話聲音識別結(jié)果自動地設(shè)定。
[0108]此外，根據(jù)使用者的來自國家、居住的國家和居住區(qū)，可以自動地設(shè)定使用者理解的語言。當(dāng)居住區(qū)和使用者理解的語言彼此不匹配時，例如，在海外派駐后的情況下，基于使用者的輸入來設(shè)定可理解的語言。
[0109]當(dāng)存在多個使用者理解的語言時，可以針對每種語言設(shè)定語言熟練程度。這里所指的熟練程度可以以多個階段設(shè)定，如母語程度、日常會話程度、初學(xué)者程度等。
[0110]當(dāng)基于GPS傳感器的輸出信息等獲取使用者的當(dāng)前位置信息時，通過將當(dāng)前位置與上述的使用者屬性作比較，可以確定使用者是否去過居住國以外的地方。此外，圖像顯示裝置I自動地進入翻譯模式，并且在當(dāng)前位置被確定為另一個國家而不是居住國時，開始圖7所示的信息提示服務(wù)。例如，當(dāng)前位置的官方語言被設(shè)定為源語言，使用者最高熟練程度的語言(通常是母語)被設(shè)定為目標(biāo)語言。然而，當(dāng)源語言是使用者可以理解的語言并且熟練程度足夠高時，可以略去翻譯模式。
[0111]當(dāng)圖像顯示裝置I以這種方式自動地轉(zhuǎn)移到翻譯模式時，使用者沒有必要明顯進行語言的切換，并且當(dāng)使用者看到不理解的單詞時，該單詞自動地切換到可以理解的語言，并且通過與使用者的視野圖像重合而呈現(xiàn)出來。因此，當(dāng)使用者在頭部上佩戴圖像顯示裝置I時，可以在極其自然的接口中使用翻譯功能。
[0112]圖8使用流程圖示出由圖像顯示裝置I提供上述翻譯服務(wù)的處理過程?？梢岳缈刂茊卧?01執(zhí)行翻譯應(yīng)用程序的形式執(zhí)行處理過程。例如，在當(dāng)前位置被確定為另一個國家而不是居住國時進行處理過程。
[0113]首先，從使用者信息保持單元602獲取使用者信息，如佩戴圖像顯示裝置I的使用者的居住國、語言的熟練程度等(步驟S801)。
[0114]此外，使用在環(huán)境信息獲取單元504中包含的外側(cè)相機等獲取使用者的視野圖像，并且基于狀態(tài)信息獲取單兀505中的肌電傳感器、眼電傳感器或內(nèi)側(cè)相機的輸出信息檢測使用者的視線的位置。此外，關(guān)注區(qū)域指定單元603基于檢測到的使用者的視線的位置從使用者的視野圖像指定關(guān)注區(qū)域，作為繪制處理的目標(biāo)(步驟S802)。此外，關(guān)注區(qū)域指定單元603可以基于使用者的視線外的使用者信息指定關(guān)注區(qū)域。
[0115]當(dāng)從指定的關(guān)注區(qū)域提取字符串時(步驟S803)，關(guān)注區(qū)域圖像處理單元604檢測提取的字符串的顏色、字體的樣式、傾斜(步驟S804)，并保持信息。
[0116]然后，關(guān)注區(qū)域圖像處理單元604在詞典中搜索從關(guān)注區(qū)域提取的字符串，并指定源語言(步驟S805)。
[0117]此外，關(guān)注區(qū)域圖像處理單元604基于在使用者信息保持單元602中預(yù)先注冊的使用者屬性確定目標(biāo)語言。具體而言，關(guān)注區(qū)域圖像處理單元核查源語言是否是使用者可以理解的語言(步驟S806)。
[0118]當(dāng)目標(biāo)語言是使用者可以理解的語言時(在步驟S806中的否)，由于不需要對當(dāng)前關(guān)注區(qū)域進行翻譯處理，所以處理返回到步驟S802。此外，該過程進入等待狀態(tài)，直到使用者的視線的位置移動并且指定后續(xù)的關(guān)注區(qū)域。[0119]另一方面，當(dāng)源語言不是使用者可以理解的語言時(在步驟S806中的是)，關(guān)注區(qū)域圖像處理單元604設(shè)定使用者最高熟練程度的語言(通常是母語)作為目標(biāo)語言，并且進行字符串的翻譯(步驟S807)
[0120]然后，關(guān)注區(qū)域圖像處理單元604使用周圍顏色和紋理涂抹關(guān)注區(qū)域內(nèi)的翻譯前的字符串生成背景圖像(步驟S808)。
[0121]此外，當(dāng)由原語言構(gòu)成的字符串被翻譯成在步驟S807中設(shè)定的目標(biāo)語言時，關(guān)注區(qū)域圖像處理單元604使用與原來的字符串相同的字符串的顏色、相同的字體樣式、相同的傾斜在步驟S808中生成的背景圖像上繪制目標(biāo)語言(步驟S809)。顯示控制單元605在顯示面板509上顯示在關(guān)注區(qū)域圖像處理單元604中生成的圖像，以與使用者的視野內(nèi)的原來的關(guān)注區(qū)域重合。
[0122]其后，圖像顯示裝置I核查翻譯模式是否結(jié)束(步驟S810)。例如，在當(dāng)前位置變成居住國時，翻譯模式自動結(jié)束(在步驟S810中的是)?？蛇x擇地，翻譯模式根據(jù)由使用者對輸入操作單元502進行的結(jié)束翻譯模式的指示操作而結(jié)束。此外，當(dāng)翻譯模式未結(jié)束時(在步驟S810中的否)，該過程返回到步驟S802，并進入等待狀態(tài)，直到使用者的視線的位置移動并且指定后續(xù)的關(guān)注區(qū)域。
[0123]B-2.信息強調(diào)應(yīng)用程序
[0124]在現(xiàn)實生活中，使用者通過以其自己的方式注意視野來觀看視野，然而，存在其中使用者錯過想要的事物并且很難找到事物的情況。根據(jù)本說明書公開的技術(shù)，圖像顯示裝置I可以基于使用者的當(dāng)前行動計劃、曾經(jīng)的行動歷史、生活習(xí)慣和除此之外的各種使用者信息指定視野內(nèi)包含的重要信息作為關(guān)注區(qū)域，通過強調(diào)使得背景和除了背景之外的事物區(qū)別開來而顯示該信息，并且使得使用者可靠地獲得重要信息。
[0125]B-2-1.導(dǎo)航中的應(yīng)用
[0126]例如，當(dāng)使用者訪問未知的地方時，可以使用地圖或呈現(xiàn)換乘導(dǎo)向的軟件預(yù)先核查到目的地的途徑。然而，使用者難于在使用者首次訪問的地方順利行動，就好像該地方與日常生活的區(qū)域相同。在實踐中當(dāng)?shù)竭_換乘站時很復(fù)雜并且很難換乘，并且通常當(dāng)場復(fù)核換乘。還存在其中使用者為乘坐下次列車?yán)速M時間和車費或乘坐錯誤列車的情況。
[0127]與此相反，根據(jù)本說明書公開的技術(shù)，圖像顯示裝置I在使用者的視野內(nèi)對于使用者所需的信息可以進行突出顯示，如用紅色框包圍、改變字符的顏色或大小等，使信息引起注意。
[0128]圖9A?9C示出當(dāng)佩戴透過型圖像顯示裝置I的使用者正觀看火車站的站臺中的導(dǎo)向板時的圖像。
[0129]導(dǎo)向板900以多個階段顯示關(guān)于從站臺發(fā)車的多個列車的信息，包括例如關(guān)于先發(fā)列車(最接近于當(dāng)前時間發(fā)車的列車)的信息901和關(guān)于下一列車的信息902。在各階段中，列車的名稱、列車的出發(fā)時間、諸如“預(yù)留座位”或“自由座位”等車輛類別、吸煙信息、車輛序號等被顯示出來。一般地，導(dǎo)向板由支撐體903懸掛在站臺的天花板上(參照圖9A)。
[0130]在圖像顯示裝置I中，使用者信息保持單元602保持諸如使用者的行動歷史、日程安排、備忘錄(提醒本)、當(dāng)前行動目標(biāo)(到達時間和地點等)等重要的使用者信息。當(dāng)通過使用這樣的使用者信息估計使用者應(yīng)該乘坐的列車是Hikari N0.503并核查當(dāng)前時間或當(dāng)前位置時，關(guān)注區(qū)域指定單元603指定在使用者的視野內(nèi)并顯示對應(yīng)的列車信息的導(dǎo)向板900中的階段902作為關(guān)注區(qū)域。此外，當(dāng)關(guān)注區(qū)域圖像處理單元604生成通過用框904包圍而突出顯示關(guān)注區(qū)域902的圖像時,顯示控制單元605在顯示面板509上顯示在關(guān)注區(qū)域圖像處理單元604中生成的圖像，并且與由使用者觀看的透過圖像內(nèi)的導(dǎo)向板900的對應(yīng)階段902精確地重合(參照圖9B)。多個階段的列車信息901和902在導(dǎo)向板900上顯示，然而，由于用框904包圍的階段902引起注意，因此使用者可以乘坐應(yīng)該乘坐的車輛，而不會忽略車輛。
[0131]導(dǎo)向板900是反轉(zhuǎn)上下移動式的(inversion flap type)或電光公告式的，當(dāng)時間推移且先發(fā)列車發(fā)車時，下次列車的信息顯示902移動到上一個階段。其后，根據(jù)顯示的變化，圖像顯示裝置I移動到通過在由使用者觀看的透過圖像內(nèi)用框904包圍而突出顯示的地方(參照圖9C)。
[0132]圖1OA?IOC例示當(dāng)佩戴透過型圖像顯示裝置I的使用者正觀看地鐵站等內(nèi)的出口引導(dǎo)1000時的圖像。通常，在站內(nèi)存在多個出口，并且也設(shè)置多個出口引導(dǎo)。
[0133]在圖像顯示裝置I中，使用者信息保持單元602保持諸如使用者的行動歷史、日程安排、備忘錄(提醒本)、當(dāng)前行動目標(biāo)(到達時間和地點等)等重要的使用者信息。關(guān)注區(qū)域指定單元603利用這樣的使用者信息，并且通過核查當(dāng)前時間或當(dāng)前位置而估計最佳的出口或換乘路徑，當(dāng)對應(yīng)于使用者的視野的出口引導(dǎo)指示1001進入時，該出口引導(dǎo)指示被指定作為關(guān)注區(qū)域(參照圖10A)。此外，關(guān)注區(qū)域圖像處理單元604生成通過用框1002包圍關(guān)注區(qū)域1001而突出顯示的圖像(參照圖10B)?？蛇x擇地，關(guān)注區(qū)域圖像處理單元604生成放大顯示關(guān)注區(qū)域(即，出口引導(dǎo))的圖像1003。顯示控制單元605在顯示面板509上顯示在關(guān)注區(qū)域圖像處理單元604中生成的圖像1003，并且與由使用者觀看的透過圖像內(nèi)的對應(yīng)出口引導(dǎo)指示1001精確地重合(參照圖10C)。由于用框包圍或放大顯示的出口引導(dǎo)1002或1003引起注意，因此使用者可以通過更接于目的地的出口，而不會忽略出□。
[0134]此外，作為突出顯示關(guān)注區(qū)域的方法，除了用框包圍關(guān)注區(qū)域的方法(參照圖10B)和放大顯示關(guān)注區(qū)域的方法(參照圖10C)之外，存在各種方法，例如通過使用不同于周圍的顏色使得關(guān)注區(qū)域弓丨起注意。
[0135]此外，通過將使用者信息中的居住城市與當(dāng)前位置作比較并且通過從行動歷史核查使用者是否已經(jīng)訪問過某地方多次(即使該地方不是居住城市)，可以確定使用者是否熟悉該地方。例如，當(dāng)使用者一年訪問該地方多次時，與使用者處于新地方相比，使用者不會迷路，引導(dǎo)指示可能是沒有必要的。與語言的熟練程度類似地，通過在使用者的當(dāng)前位置設(shè)定地方感知度并且根據(jù)地方感知度控制將被突出顯示的信息的量，可以抑制在熟悉地方的多余突出顯示，并且進行更加自然和舒適的信息呈現(xiàn)。
[0136]一般地，由于在站中或道路上的導(dǎo)向板針對每個人顯示信息并且包括使用者不需要的許多信息，因此使用者難以找到被埋在似乎需要的信息中的必需信息。根據(jù)本說明書公開的技術(shù)，由于圖像顯示裝置I針對佩戴裝置I的每個使用者基于使用者指定關(guān)注區(qū)域并且突出顯示，因此在針對每個人的引導(dǎo)指示中，使用者可以保持眼睛只在需要的信息上。即，可以提供對應(yīng)于使用者個人的引導(dǎo)指示，可以順利地引導(dǎo)每個使用者至不同的目的地。
[0137]B-2-2.備忘錄中的應(yīng)用
[0138]使用者容易在通勤或上學(xué)的途中忘記差事，例如，買牛奶、發(fā)信等。即使當(dāng)寫了備忘錄時，使用者也會忘記查看備忘錄。作為舊習(xí)慣，容易忘記的東西直接寫在手掌，然而，存在其中汗水模糊文字而不可讀或者使用者回家而由于用手帶著袋子沒有看到文字的情況。
[0139]與此相反，根據(jù)本說明書公開的技術(shù)，圖像顯示裝置I基于在提醒本中注冊的內(nèi)容突出顯示在使用者的視野內(nèi)被忘記的事物，并使得使用者記得差事。
[0140]圖1lA和圖1lB例示當(dāng)佩戴透過型圖像顯示裝置I的使用者正觀看學(xué)校道路或通勤道路時的圖像。在圖示的例子中，情況被假定是想要投寄郵件的使用者接近街角的郵局1100。
[0141]在圖像顯示裝置I中，使用者信息保持單元602保持使用者的備忘錄作為使用者信息。關(guān)注區(qū)域指定單元603分析視野圖像，并且當(dāng)涉及備忘錄中注冊的事項的信息進入時，關(guān)注區(qū)域指定單元指定該信息作為關(guān)注區(qū)域。在圖1lA所示的例子中，存在于視野內(nèi)的郵局1100的看板1101、郵箱1102和郵政標(biāo)志1103被指定作為關(guān)注區(qū)域。此外，當(dāng)關(guān)注區(qū)域圖像處理單元604生成通過用框包圍關(guān)注區(qū)域1101、1102和1103而突出顯示的圖像時，顯示控制單元605在顯示面板509上顯示在關(guān)注區(qū)域圖像處理單元604中生成的圖像，并且分別與由使用者觀看的透過圖像中的郵局1100的看板1101、郵箱1102和郵政標(biāo)志1103精確地重合(參照圖11B)。當(dāng)觀看其中郵局1100的看板1101、郵箱1102和郵政標(biāo)志1103被突出顯示的圖像時，使用者有更多的機會記住想要郵寄郵件的事實。由于實現(xiàn)諸如差事等目的的商店或設(shè)施附近在當(dāng)前位置的可能性高，因此使用者能夠采取行動，例如郵寄郵件。
[0142]此外，通過處理使用者當(dāng)前希望注意的關(guān)鍵字或標(biāo)記等而不是備忘錄作為使用者信息，圖像顯示裝置I可以突出顯示對于使用者可能有用的信息(商店內(nèi)建議購買的商品)°
[0143]圖12例示當(dāng)佩戴透過型圖像顯示裝置I的使用者正觀看書店的書架1200時的圖像。
[0144]在圖像顯示裝置I中，使用者信息保持單元602保持使用者當(dāng)前希望注意的關(guān)鍵字或標(biāo)記等作為使用者信息。關(guān)注區(qū)域指定單元603分析視野圖像(書架的書店)，并且當(dāng)命中關(guān)鍵字等的標(biāo)題的書脊1201進入時，關(guān)注區(qū)域指定單元指定書脊作為關(guān)注區(qū)域。此夕卜，當(dāng)關(guān)注區(qū)域圖像處理單元604生成通過用框1202包圍關(guān)注區(qū)域而突出顯示的圖像時，顯示控制單元605在顯示面板509上顯示在關(guān)注區(qū)域圖像處理單元604中生成的圖像，并且與由使用者觀看的透過圖像中的命中關(guān)鍵字檢索的書籍的書脊1201精確地重合。當(dāng)觀看指定書籍的書脊被突出顯示的圖像時，使用者嘗試拿起書并意欲購買書，從而讀這本書。
[0145]此外，在基于使用者當(dāng)前希望注意的關(guān)鍵字等進行的書檢索處理中，圖像顯示裝置I可以經(jīng)由通訊單元506請求關(guān)鍵字檢索，可以向包含大量書籍的數(shù)據(jù)庫云計算機委托檢索處理。此外，使用者的讀書歷史也用作使用者信息，并且即使當(dāng)某書命中關(guān)鍵字時，通過排除使用者預(yù)先讀出的該書進行搜索。
[0146]圖13以流程圖的形式示出由圖像顯示裝置I提供上述導(dǎo)向指示或信息強調(diào)服務(wù)的處理過程。可以以例如當(dāng)圖像顯示裝置I移到信息突出顯示時控制單元501執(zhí)行引導(dǎo)指示和信息突出顯示應(yīng)用程序的形式執(zhí)行處理過程。例如，當(dāng)使用者確定不熟悉當(dāng)前位置時開始引導(dǎo)指示的處理過程。
[0147]首先，從使用者信息保持單元602獲取諸如佩戴圖像顯示裝置I的使用者的當(dāng)前日程安排、行動目標(biāo)、備忘錄等使用者信息(步驟S1301)。
[0148]然后，在從使用者信息保持單元602獲取的當(dāng)前日程安排、行動目標(biāo)、備忘錄等中確定對于使用者的重要信息(步驟S1302)。后面說明重要信息的確定處理的細節(jié)。
[0149]然后，使用在環(huán)境信息獲取單元504中包含的外側(cè)相機等獲取使用者的視野圖像(步驟S1303)。此外，從使用者的視野圖像搜索在步驟S1302中指定的重要信息(步驟S1304)。
[0150]當(dāng)從使用者的視野圖像中沒有發(fā)現(xiàn)重要信息時(在步驟S1305中的否)，重復(fù)執(zhí)行使用者的重要信息的指定處理(步驟S1302)、使用者的視野圖像的獲取(步驟S1303)和從視野圖像的重要信息的搜索處理(步驟S1304)。假設(shè)在重復(fù)重要信息的搜索處理的同時，使用者移動并且視野圖像變化。
[0151]另一方面，當(dāng)從使用者的視野圖像中發(fā)現(xiàn)重要信息時(在步驟S1305中的是)，關(guān)注區(qū)域指定單元603根據(jù)發(fā)現(xiàn)的重要信息的類型指定作為繪制處理的目標(biāo)的關(guān)注區(qū)域(步驟 SI306)。
[0152]此外，關(guān)注區(qū)域圖像處理單元604對關(guān)注區(qū)域進行圖像處理，例如箭頭、框線、顏色突出顯示等，即，根據(jù)發(fā)現(xiàn)的重要信息的類型繪制(步驟S1307)。顯示控制單元605在顯示面板509上顯示在關(guān)注區(qū)域圖像處理單元604中生成的圖像，以與使用者的視野內(nèi)的原來的關(guān)注區(qū)域重合。
[0153]上述的在關(guān)注區(qū)域中的繪制過程被重復(fù)執(zhí)行，直到在圖像顯示裝置I中的信息突出顯示模式結(jié)束(步驟S1308)。
[0154]圖14A和圖14B以流程圖的形式示出在圖13的流程圖的步驟S1302中進行的重要信息確定處理的詳細處理過程。重要信息確定處理是由關(guān)注區(qū)域指定單元603基于使用者信息或狀態(tài)信息進行的處理。
[0155]首先，關(guān)注區(qū)域指定單元603基于來自狀態(tài)信息獲取單元505中包含的GPS傳感器或加速度傳感器的輸出信息確定使用者(即，圖像顯示裝置I)是否移動到目的地(步驟S1401)。
[0156]這里，當(dāng)使用者移動到目的地時(在步驟S1401中的是)，關(guān)注區(qū)域指定單元603基于來自狀態(tài)信息獲取單元505中包含的GPS傳感器的輸出信息獲取使用者的當(dāng)前位置(步驟S1411)。此外，關(guān)注區(qū)域指定單元603從使用者信息保持單元602獲取使用者的當(dāng)前位置的居住信息以及訪問次數(shù)，計算相對于使用者的當(dāng)前位置的地方感知度(步驟S1412)，并且核查地方感知度是否超過預(yù)定的閾值(步驟S1413)。
[0157]當(dāng)相對于使用者的當(dāng)前位置的地方感知度低于預(yù)定的閾值并且需要引導(dǎo)當(dāng)前位置時(在步驟S1413中的否)，關(guān)注區(qū)域指定單元603指定使用者的當(dāng)前交通手段(步驟S1414)。當(dāng)前交通手段由使用者預(yù)先設(shè)定在使用者信息保持單元602中，或者根據(jù)從GPS傳感器獲取的位置信息和從速度傳感器獲取的移動速度等自動確定為步行、汽車和火車中的任一種。
[0158]此外，關(guān)注區(qū)域指定單元603根據(jù)交通手段確定當(dāng)前位置和目的地之間的主要標(biāo)志的名稱和標(biāo)記作為重要信息(步驟S1415)。例如，在當(dāng)前交通手段是火車的情況下，換乘站、站臺號、出口號碼等被指定作為重要信息。此外，在當(dāng)前交通手段是步行或汽車的情況下，交叉點的名稱、商店的標(biāo)識或看板等被指定作為重要信息。[0159]此外，當(dāng)使用者沒有移動到目的地(在步驟S1401中的否)、使用者熟悉當(dāng)前位置、不需要引導(dǎo)使用者(在步驟S1413中的是)并且關(guān)于移動到目的地的使用者重要信息完成確定時(步驟S1415)，關(guān)注區(qū)域指定單元603核查項目是否在備忘錄中(步驟S1402)。當(dāng)項目不在備忘錄中時(在步驟S1402中的否)，處理程序結(jié)束。
[0160]當(dāng)項目在備忘錄中時(在步驟S1402中的是)，關(guān)注區(qū)域指定單元603核查項目是否涉及到人(步驟S1403)。此外，當(dāng)備忘錄中的項目涉及到人時(在步驟S1403中的是)，關(guān)注區(qū)域指定單元603指定人的名字、面部照片、居住地作為重要信息(步驟S1421)。
[0161]然后，關(guān)注區(qū)域指定單元603核查該項目是否是備忘錄中的項目或者是涉及物或動作的項目(步驟S1404)。此外，當(dāng)備忘錄中的項目涉及物或人時(在步驟S1404中的是)，關(guān)注區(qū)域指定單元603指定涉及物或動作的標(biāo)記、關(guān)鍵字和聲音作為重要信息(步驟S1422)。
[0162]當(dāng)以這種方式基于使用者的目的地或備忘錄確定重要信息時，關(guān)注區(qū)域指定單元603依照接近于時間限制的順序?qū)Ω髦匾畔⑦M行加權(quán)(步驟S1405)。此外，當(dāng)存在具有優(yōu)先級的重要信息時，依照優(yōu)先級順序進行各重要信息的加權(quán)(步驟S1406)。
[0163]B-3.教育/學(xué)習(xí)應(yīng)用
[0164]如圖15所示，其中使用著色玻璃紙片1503的附有答案的練習(xí)本1500已被使用。在練習(xí)本中，問題句子1501以黑色印刷，答案1502在同一頁上以紅色或綠色印刷，通過移動問題句子和相同著色的玻璃紙片1503，使得通過用玻璃紙片1503覆蓋答案1502而看不見答案，并且通過從答案1502移除玻璃紙片1503可以看見答案，從而學(xué)習(xí)者能夠進行順利的學(xué)習(xí)
[0165]然而，對于這種類型的練習(xí)本，學(xué)習(xí)者應(yīng)該同時攜帶書和玻璃紙片。即，因為學(xué)習(xí)者雙手都被占用，所以在采用告示貼、參考詞典或參考書或者操作設(shè)備的同時不容易學(xué)習(xí)。此外，由于使用者應(yīng)該準(zhǔn)備專用的學(xué)習(xí)書作為內(nèi)容，使用者不可能使用喜愛的外國書或外國雜志來學(xué)習(xí)。
[0166]與此相反，根據(jù)本說明書公開的技術(shù)，當(dāng)在實踐中使用者觀看沒有印刷答案的書時圖像顯示裝置I可以通過與答案重合來顯示問題句子。即，通過當(dāng)使用者正在核查答案時重合顯示答案，可以使學(xué)習(xí)者進行與使用著色玻璃紙片1503的附有答案的練習(xí)本1500類似的順利學(xué)習(xí)，而不會當(dāng)使用者正在解決問題時顯示答案。此外，可以通過在圖像顯示裝置I顯示使用者喜愛的外國書或外國雜志使使用者進行學(xué)習(xí)。此外，由于佩戴圖像顯示裝置I的使用者的雙手自由，所以在采用告示貼、參考諸如詞典或參考書等其他書籍或者操作設(shè)備的同時容易學(xué)習(xí)。
[0167]作為使用圖像顯示裝置I通過與答案重合顯示現(xiàn)實世界的問題句子的方法，舉出兩個例子。
[0168]作為第一方法，如圖16所示，當(dāng)使用者越過透過型圖像顯示裝置觀看現(xiàn)實世界中的練習(xí)本時，答案用圖像僅在左右顯示面板中的一個上重合地顯示。然而，在圖示的例子中，假設(shè)答案用圖像在左側(cè)顯示面板上重合。此時，答案用圖像的位置在垂直方向上移動，使得答案在垂直方向上移動一行，從而不會與問題句子重合。
[0169]在這種情況下，當(dāng)使用者使用眼睛觀看練習(xí)本時，如圖17所示，由于答案通過從問題句子移動一行而被重合觀看，因此可以形成與圖16的上段相同的狀態(tài)。此外，當(dāng)使用者通過閉上顯示答案那側(cè)的眼睛而僅使用一只眼睛觀看練習(xí)本時，如圖18所示，由于只有問題句子被觀看，因此形成與當(dāng)圖16的下段示出的玻璃紙片重合時相同的狀態(tài)。
[0170]此外，作為第二方法，如圖19所示，僅當(dāng)問題句子進入佩戴圖像顯示裝置I的使用者的左右視野的一個上時才顯示答案用圖像。在圖示的例子中，示出其中當(dāng)問題句子出現(xiàn)在使用者的視野的左側(cè)上時答案被重合顯示的狀態(tài)。與上述第一方法不同的是，答案用圖像可以顯示在左右兩個顯示面板上。
[0171]如上所述，在其中當(dāng)問題句子出現(xiàn)在使用者的視野的左側(cè)上時答案被重合顯示的情況下，如果預(yù)先觀看在另一行(即，使用者目前沒有解決的問題句子)上的答案，則是不便的。因此，在答案用圖像被重合的圖像的中央附近的注視點區(qū)域2001以外的區(qū)域(即，使用者沒有觀看的區(qū)域)中，進行諸如圖20所示的施加模糊、施加馬賽克等處理，并且使得附有答案的問題句子的整體圖像不可見。
[0172]圖21以流程圖的形式示出使用上述第一方法通過圖像顯示裝置I提供附有答案的問題句子的圖像的處理過程。例如，根據(jù)使用者的工作狀態(tài)(例如，在使用外側(cè)相機拍攝的使用者的視野圖像中發(fā)現(xiàn)問題句子)的檢測結(jié)果，圖像顯示裝置I轉(zhuǎn)移到教育/學(xué)習(xí)模式。當(dāng)圖像顯示裝置I轉(zhuǎn)移到教育/學(xué)習(xí)模式時，例如可以以其中控制單元501執(zhí)行教育/學(xué)習(xí)應(yīng)用程序的形態(tài)執(zhí)行圖21示出的處理過程。
[0173]首先，使用在環(huán)境信息獲取單元504中包含的外側(cè)相機獲取使用者的視野圖像(步驟 S2101)。
[0174]然后，關(guān)注區(qū)域指定單元603從使用者的視野提取作為問題句子應(yīng)用的語言的字符串作為關(guān)注區(qū)域(步驟S2102)。
[0175]當(dāng)作為問題句子被提取的語言的字符串被翻譯成答案語言時(步驟S2103)，關(guān)注區(qū)域圖像處理單元604生成答案用圖像，使得通過答案的位置在垂直方向上移動一行而在問題句子之間呈現(xiàn)答案，而沒有與現(xiàn)實世界的問題句子重合(步驟S2104)。
[0176]此外，顯示控制單元605在顯示面板509的左右中的一個上顯示在關(guān)注區(qū)域圖像處理單元604中生成的答案用圖像，從而與使用者的視野內(nèi)的原來的關(guān)注區(qū)域重合(參照圖 19)(步驟 S2105)。
[0177]此外，圖22以流程圖的形式示出使用上述第二方法由圖像顯示裝置I進行的提供附有答案的問題句子的圖像的處理過程。當(dāng)圖像顯示裝置I轉(zhuǎn)移到教育/學(xué)習(xí)模式時，例如可以以其中控制單元501執(zhí)行教育/學(xué)習(xí)應(yīng)用程序的形態(tài)執(zhí)行處理過程。
[0178]首先，使用在環(huán)境信息獲取單元504中包含的外側(cè)相機獲取使用者的視野圖像(步驟 S2201)。
[0179]然后，關(guān)注區(qū)域指定單元603從使用者的視野提取作為問題句子應(yīng)用的語言的字符串作為關(guān)注區(qū)域(步驟S2202)。
[0180]當(dāng)作為問題句子被提取的語言的字符串被翻譯成答案語言時(步驟S2203)，關(guān)注區(qū)域圖像處理單元604生成答案用圖像，使得通過答案的位置在垂直方向上移動一行而在問題句子之間呈現(xiàn)答案，而沒有與現(xiàn)實世界的問題句子重合(步驟S2204)。
[0181]這里，關(guān)注區(qū)域圖像處理單元604核查問題句子的圖像是否僅存在于視野的左半部分內(nèi)(步驟S2205)。
[0182]當(dāng)問題句子的圖像存在于左眼和右眼的視野上時(在步驟S2205中的否)，處理過程結(jié)束。
[0183]另一方面，當(dāng)問題句子的圖像僅存在于視野內(nèi)的左半部分上時(在步驟S2205中的是)，關(guān)注區(qū)域圖像處理單元604生成其中視野圖像與答案用圖像重合的圖像(步驟S2206)。此外，當(dāng)基于狀態(tài)信息獲取單元505中包含的肌電傳感器、眼電傳感器或內(nèi)側(cè)相機的輸出信息提取使用者的左眼的注視點時(步驟S2207)，關(guān)注區(qū)域圖像處理單元604在視野圖像的注視點區(qū)域的外側(cè)上施加模糊(參照圖20)(步驟S2208)。
[0184]此外，顯示控制單元605在左右兩個顯示面板509上顯示在關(guān)注區(qū)域圖像處理單元604中生成的答案用圖像(參照圖20)(步驟S2209)。
[0185]如上所述，根據(jù)本說明書公開的技術(shù)，提供了通過佩戴在使用者的頭部上使用的圖像顯示裝置1，從而在使用者的生活中被經(jīng)常使用，如外語的翻譯、引導(dǎo)指示、信息的突出顯示、教育和學(xué)習(xí)等，除了內(nèi)容視聽，還可以獲取很大的附加價值。此外，由于圖像顯示裝置I使用其中僅有進入使用者的視野的關(guān)注區(qū)域的顯示變化的方法呈現(xiàn)信息，因此可以稱作自然的使用者接口，并且其中機器和人之間的接口是無意識的。例如，當(dāng)圖像顯示裝置I具備諸如智能電話等多功能終端的功能時，還可以預(yù)期到圖像顯示裝置被智能手機替換而廣泛使用。
[0186]此外，本說明書公開的技術(shù)也可以具有以下構(gòu)成。
[0187](I) 一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置，所述裝置包括:顯示圖像的顯示單元；保持所述使用者的使用者信息的信息保持單元；基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域的區(qū)域指定單元；對所述關(guān)注區(qū)域進行圖像處理的圖像處理單元；和在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制單元。
[0188](2)根據(jù)(I)所述的圖像顯示裝置，其中所述顯示單元是透過型的，和所述顯示控制單元在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域并且與在使用者的視野中透過的現(xiàn)實關(guān)注區(qū)域重合。
[0189](3)根據(jù)(I)所述的圖像顯示裝置，其中所述顯示單元是遮光型的，還包括獲取使用者的視野圖像的圖像獲取單元，并且所述顯示控制單元在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域并且與在所述視野圖像內(nèi)的關(guān)注區(qū)域重合。
[0190](4)根據(jù)(I)所述的圖像顯示裝置，其中所述信息保持單元保持所述使用者的視線位置作為所述使用者信息，和其中所述區(qū)域指定單元基于所述使用者的視線位置指定所述關(guān)注區(qū)域。
[0191](5)根據(jù)(I)所述的圖像顯示裝置，其中所述信息保持單元保持所述使用者的行動歷史或備忘錄作為所述使用者信息，和所述區(qū)域指定單元基于所述使用者的行動歷史或備忘錄指定所述關(guān)注區(qū)域。
[0192](6)根據(jù)(I)所述的圖像顯示裝置，其中所述信息保持單元保持所述使用者的工作狀態(tài)作為所述使用者信息，和其中所述區(qū)域指定單元基于所述使用者的工作狀態(tài)指定所述關(guān)注區(qū)域。
[0193](7)根據(jù)⑴所述的圖像顯示裝置，其中所述圖像處理單元進行以下處理:替換所述關(guān)注區(qū)域為另一個圖像、所述關(guān)注區(qū)域的突出顯示、所述關(guān)注區(qū)域的隱匿處理或所述關(guān)注區(qū)域的修飾。
[0194](8)根據(jù)(I)所述的圖像顯示裝置，其中所述信息保持單元保持所述使用者的視線位置作為所述使用者信息，所述區(qū)域指定單元指定源語言書寫的并在使用者的視線的前方的字符串作為關(guān)注區(qū)域，所述圖像處理單元將所述字符串翻譯成基于所述使用者信息確定的語言，和所述顯示控制單元通過替換成翻譯后的字符串而顯示在所述關(guān)注區(qū)域內(nèi)的原來的字符串。
[0195](9)根據(jù)(8)所述的圖像顯示裝置，其中通過將翻譯后的字符串貼附到在其上使用周圍顏色或紋理涂抹翻譯前的字符串的背景圖像上，所述圖像處理單元在原來的關(guān)注區(qū)域中生成替換圖像，和所述顯示控制單元顯示在所述圖像處理單元中生成的圖像并且與所述使用者的視野內(nèi)的原來的關(guān)注區(qū)域重合。
[0196](10)根據(jù)⑶所述的圖像顯示裝置，其中所述圖像處理單元通過在所述背景圖像上提供具有翻譯后的字符、翻譯前的字符的顏色、字體的樣式和傾斜的替換圖像而在所述關(guān)注區(qū)域中生成所述替換圖像。
[0197](11)根據(jù)(8)所述的圖像顯示裝置，其中所述圖像顯示裝置的圖像處理單元調(diào)節(jié)翻譯后的字符串的字體大小以嵌合到原來的關(guān)注區(qū)域內(nèi)。
[0198](12)根據(jù)(8)所述的圖像顯示裝置，其中所述顯示控制單元通過在字符的排列方向上滾動字符串而順次顯示未嵌合到原來的關(guān)注區(qū)域內(nèi)的翻譯后的字符串。
[0199](13)根據(jù)(8)所述的圖像顯示裝置，其中所述圖像處理單元基于所述使用者的來自國家、所述使用者的居住地、所述使用者可以理解的語言或所述使用者的每種語言的熟練程度確定目標(biāo)語g。
[0200](14)根據(jù)(8)所述的圖像顯示裝置，其中所述信息保持單元保持所述使用者的當(dāng)前位置信息，和在當(dāng)前位置被確定為居住國以外的其他國家時進行所述區(qū)域指定單元、所述圖像處理單元和所述顯示控制單元的各單元的處理。
[0201](15)根據(jù)⑶所述的圖像顯示裝置，其中當(dāng)前位置的官方語言被設(shè)定為源語言，并且所述使用者的最高熟練程度的語言被設(shè)定為目標(biāo)語言。
[0202](16)根據(jù)(5)所述的圖像顯示裝置，其中所述區(qū)域指定單元基于所述使用者的行動歷史或備忘錄確定所述使用者的重要信息，并且根據(jù)在所述使用者的視野中發(fā)現(xiàn)的重要信息的類型指定所述關(guān)注區(qū)域。
[0203](17)根據(jù)(16)所述的圖像顯示裝置，其中所述圖像處理單元對所述關(guān)注區(qū)域應(yīng)用對應(yīng)于所述重要信息的類型的圖像處理。
[0204](18)根據(jù)(16)所述的圖像顯示裝置，其中當(dāng)所述使用者正往目的地移動并且不具有當(dāng)前位置的地方感知度時，所述區(qū)域指定單元根據(jù)所述使用者的當(dāng)前交通手段確定當(dāng)前位置和目的地之間的主要標(biāo)志的名稱和標(biāo)記作為重要信息。
[0205](19)根據(jù)(16)所述的圖像顯示裝置，其中所述區(qū)域指定單元在所述關(guān)注區(qū)域中指定所述使用者的視野內(nèi)的問題句子；所述圖像處理單元生成所述問題句子的答案用圖像；和所述顯示控制單元通過從所述問題句子移動答案位置而不與現(xiàn)實世界的問題句子重合來顯示所述答案用圖像。
[0206](20)根據(jù)(19)所述的圖像顯示裝置，其中所述顯示單元設(shè)置在所述使用者的左眼和右眼的每一個中，和其中所述顯示控制單元僅在左右顯示單元的一個中重合地顯示所述答案用圖像。
[0207](21)根據(jù)(19)所述的圖像顯示裝置，其中所述顯示單元設(shè)置在所述使用者的左眼和右眼的每一個中，和其中當(dāng)所述問題句子存在于所述使用者的左眼和右眼的一個的視野中時，所述顯示控制單元在左右兩個顯示單元上重合地顯示所述答案用圖像。
[0208](22)根據(jù)(21)所述的圖像顯示裝置，其中所述顯示控制單元向所述答案用圖像被重合的圖像的中央附近的注視點區(qū)域以外的區(qū)域施加模糊或馬賽克。
[0209](23) 一種對于在頭部或面部上佩戴圖像顯示裝置的使用者顯示圖像的圖像顯示方法，包括:保持所述使用者的使用者信息；基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域；對所述關(guān)注區(qū)域進行圖像處理；和對于所述使用者顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制。
[0210](24) 一種以計算機可讀格式寫成而使用計算機控制佩戴在使用者的頭部或面部上使用的圖像顯示裝置的計算機程序，所述程序使得所述計算機具有以下功能:顯示圖像的顯示單元；保持所述使用者的使用者信息的信息保持單元；基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域的區(qū)域指定單元；對所述關(guān)注區(qū)域進行圖像處理的圖像處理單元；和在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制單元。
[0211]基本上，以上通過舉例的方式說明了本說明書公開的技術(shù)，本說明書的內(nèi)容不應(yīng)被解釋為對本發(fā)明的限制，并且應(yīng)該考慮權(quán)利要求的范圍來確定本說明書公開的技術(shù)的范圍。
【權(quán)利要求】
1.一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置，所述裝置包括: 顯示圖像的顯示單元； 保持所述使用者的使用者信息的信息保持單元； 基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域的區(qū)域指定單元； 對所述關(guān)注區(qū)域進行圖像處理的圖像處理單元；和 在所述顯示單元上顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制單元。
2.根據(jù)權(quán)利要求1所述的圖像顯示裝置， 其中所述信息保持單元保持所述使用者的視線位置作為所述使用者信息，和 其中所述區(qū)域指定單元基于所述使用者的視線位置指定所述關(guān)注區(qū)域。
3.根據(jù)權(quán)利要求2所述的圖像顯示裝置， 其中所述區(qū)域指定單元指定源語言書寫的并在使用者的視線的前方的字符串作為關(guān)注區(qū)域， 其中所述圖像處理單元將所述字符串翻譯成基于所述使用者信息確定的語言，和其中所述顯示控制單元通過替換成翻譯后的字符串而顯示在所述關(guān)注區(qū)域內(nèi)的原來的字符串。
4.根據(jù)權(quán)利要求3所述的圖像顯示裝置， 其中通過將翻譯后的字符串貼附到在其上使用周圍顏色或紋理涂抹翻譯前的字符串的背景圖像上，所述圖像處 理單元在原來的關(guān)注區(qū)域中生成被替換的圖像，和 其中所述顯示控制單元顯示在所述圖像處理單元中生成的圖像并且與所述使用者的視野內(nèi)的原來的關(guān)注區(qū)域重合。
5.根據(jù)權(quán)利要求3所述的圖像顯示裝置， 其中所述圖像處理單元通過在所述背景圖像上提供具有翻譯后的字符、翻譯前的字符的顏色、字體的樣式和傾斜的替換圖像而在所述關(guān)注區(qū)域中生成被替換的圖像。
6.根據(jù)權(quán)利要求3所述的圖像顯示裝置， 其中所述圖像顯示裝置的圖像處理單元調(diào)節(jié)翻譯后的字符串的字體大小以嵌合到原來的關(guān)注區(qū)域內(nèi)。
7.根據(jù)權(quán)利要求3所述的圖像顯示裝置， 其中所述顯示控制單元通過在字符的排列方向上滾動字符串而順次顯示未嵌合到原來的關(guān)注區(qū)域內(nèi)的翻譯后的字符串。
8.根據(jù)權(quán)利要求3所述的圖像顯示裝置， 其中所述圖像處理單元基于所述使用者的來自國家、所述使用者的居住地、所述使用者可以理解的語言或所述使用者的每種語言的熟練程度確定目標(biāo)語言。
9.根據(jù)權(quán)利要求3所述的圖像顯示裝置， 其中所述信息保持單元保持所述使用者的當(dāng)前位置信息，和 其中在當(dāng)前位置被確定為居住國以外的其他國家時進行所述區(qū)域指定單元、所述圖像處理單元和所述顯示控制單元的各單元的處理。
10.根據(jù)權(quán)利要求3所述的圖像顯示裝置， 其中當(dāng)前位置的官方語言被設(shè)定為源語言，并且所述使用者的最高熟練程度的語言被設(shè)定為目標(biāo)語言。
11.根據(jù)權(quán)利要求1所述的圖像顯示裝置， 其中所述信息保持單元保持所述使用者的行動歷史或備忘錄作為所述使用者信息，和其中所述區(qū)域指定單元基于所述使用者的行動歷史或備忘錄確定所述使用者的重要信息，并且根據(jù)在所述使用者的視野中發(fā)現(xiàn)的重要信息的類型指定所述關(guān)注區(qū)域。
12.根據(jù)權(quán)利要求11所述的圖像顯示裝置， 其中所述圖像處理單元對所述關(guān)注區(qū)域應(yīng)用對應(yīng)于所述重要信息的類型的圖像處理。
13.根據(jù)權(quán)利要求11所述的圖像顯示裝置， 其中當(dāng)所述使用者正往目的地移動并且不具有當(dāng)前位置的地方感知度時，所述區(qū)域指定單元根據(jù)所述使用者的當(dāng)前交通手段確定當(dāng)前位置和目的地之間的主要標(biāo)志的名稱和標(biāo)記作為重要信息。
14.根據(jù)權(quán)利要求1所述的圖像顯示裝置， 其中所述信息保持單元保持所述使用者的工作狀態(tài)作為所述使用者信息，和 其中所述區(qū)域指定單元基于所述使用者的工作狀態(tài)指定所述關(guān)注區(qū)域。
15.根據(jù)權(quán)利要求14所述的圖像顯示裝置， 其中，在所述使用者正在解決練習(xí)本上的問題時的工作狀態(tài)中， 所述區(qū)域指定單元在所述關(guān)注區(qū)域中指定所述使用者的視野內(nèi)的問題句子； 所述圖像處理單元生成所述問題句子的答案用圖像；和 所述顯示控制單元通過從所述問題句子移動答案位置而不與現(xiàn)實世界的問題句子重合來顯示所述答案用圖像。
16.根據(jù)權(quán)利要求14所述的圖像顯示裝置， 其中所述顯示單元設(shè)置在所述使用者的左眼和右眼的每一個中，和 其中所述顯示控制單元僅在左右顯示單元的一個中重合地顯示所述答案用圖像。
17.根據(jù)權(quán)利要求14所述的圖像顯示裝置， 其中所述顯示單元設(shè)置在所述使用者的左眼和右眼的每一個中，和其中當(dāng)所述問題句子存在于所述使用者的左眼和右眼的一個的視野中時，所述顯示控制單元在左右兩個顯示單元上重合地顯示所述答案用圖像。
18.根據(jù)權(quán)利要求17所述的圖像顯示裝置， 其中所述顯示控制單元向所述答案用圖像被重合的圖像的中央附近的注視點區(qū)域以外的區(qū)域施加模糊或馬賽克。
19.一種對于在頭部或面部上佩戴圖像顯示裝置的使用者顯示圖像的圖像顯示方法，所述方法包括: 保持所述使用者的使用者信息； 基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域； 對所述關(guān)注區(qū)域進行圖像處理；和 對于所述使用者顯示進行所述圖像處理后的關(guān)注區(qū)域的顯示控制。
20.一種以計算機 可讀格式寫成而使用計算機控制佩戴在使用者的頭部或面部上使用的圖像顯示裝置的計算機程序，所述程序使得所述計算機具有以下功能: 顯示圖像的顯示單元； 保持所述使用者的使用者信息的信息保持單元；基于所述使用者信息從使用者的視野指定關(guān)注區(qū)域的區(qū)域指定單元；對所述關(guān)注區(qū)域進行圖像處理的圖像處理單元；和在所述顯示單元上顯示進 行所述圖像處理后的關(guān)注區(qū)域的顯示控制單元。
【文檔編號】G02B27/01GK103809744SQ201310487576
【公開日】2014年5月21日 申請日期:2013年10月17日 優(yōu)先權(quán)日:2012年11月6日
【發(fā)明者】宮島靖, 佐古曜一郎, 高井基行, 武川洋, 楢原立也, 武田正資, 小川浩明, 和田成司, 早川莓, 丹下明, 谷亀貴央, 劔持一英 申請人:索尼公司