顯示裝置、圖像顯示系統(tǒng)以及信息處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明的實施形態(tài)涉及顯示裝置、圖像顯示系統(tǒng)以及信息處理方法。
【背景技術(shù)】
[0002]近年來，手表型終端、眼鏡型終端等可穿戴裝置引人注目。能夠佩戴于用戶頭部、且能夠通過將小型顯示器上顯示的圖像投射于用戶眼前的光學(xué)系統(tǒng)向用戶提示該圖像的眼鏡型終端，分為非透射型和透射型兩種。非透射型適合使用于籠罩穿戴者的全部視野，顯示臨場感好的視像的用途。現(xiàn)有已知的頭戴式顯示器(Head Mounted Display ；HMD)多數(shù)分屬非透射型。另一方面，透射型則適用于不遮住穿戴者的視野地顯示輔助信息的用途，與非透射型相比，較小而且較輕。
[0003]這樣的可穿戴裝置有即時性和可搬動的優(yōu)點，穿戴者在任何時間任何地方都可以免提就看到信息。但是，由于是免提(/、>J 一)，就有難于操作的問題。雖然用語音指令進行操作的技術(shù)、以觸摸方式操作裝入眼鏡型終端的腳絲(temple ;鏡腿)的觸摸面板的技術(shù)已經(jīng)實用化，但是別人看來不自然，公共場合難于使用。
[0004]為了解決這個問題，提出了通過便攜式電話、智能手機、平板電腦等便攜式終端對可穿戴裝置(典型的例如眼鏡型終端)進行操作的技術(shù)。例如，作為已有技術(shù)，已知有利用組裝于眼鏡型終端的攝像機對便攜式終端的畫面進行攝影，以覆蓋拍攝到圖像中的便攜式終端的畫面的周圍的方式，將在便攜式終端的畫面沒有顯示完的外側(cè)區(qū)域的圖像合成，相互連接構(gòu)成一個大畫面，用眼鏡型終端顯示的技術(shù)。這種技術(shù)中，用戶通過觸摸便攜式終端的畫面，能夠指示眼鏡型終端所提示的大畫面中顯示便攜式終端的畫面的區(qū)域的特定處所。而且根據(jù)用戶的觸摸操作，能夠控制眼鏡型終端顯示的圖像。
[0005]現(xiàn)有技術(shù)文獻
[0006]非專利文獻1:N.Sakata et al: A Tablet interface for laying out ARobjects-Outlook of relat1nship with smart phone and AR-, IDW13, INP2/DES2-2.

【發(fā)明內(nèi)容】

[0007]發(fā)明要解決的課題
[0008]但是，上述現(xiàn)有技術(shù)以非透射型的眼鏡型終端為前提，不能夠用佩帶者自己的眼睛把握周圍的狀況。雖然能夠通過裝入眼鏡型終端的攝像機拍攝的圖像把握周圍的狀況，但是考慮到電池用完或發(fā)生故障時什么也看不見，從安全考慮，在室外使用是不合適的。從而，現(xiàn)有的技術(shù)其使用環(huán)境受到限制，存在用戶使用不太方便的問題。
[0009]本發(fā)明想要解決的課題是提供用戶使用方便、操作性能優(yōu)異的顯示裝置、圖像顯示系統(tǒng)以及信息處理方法。
[0010]解決課題用的手段
[0011]實施形態(tài)的顯示裝置具備投射部、光學(xué)構(gòu)件、以及第I獲取部。投射部投射包含投射用圖像的信息的光。光學(xué)構(gòu)件使來自信息處理裝置的光透過，另一方面使入射的包含投射用圖像的信息的光反射，所述信息處理裝置具備能夠檢測出對顯示面的觸摸操作的第I檢測部、以及根據(jù)檢測到的觸摸操作，將顯示用圖像中的至少一部分的第I圖像加以顯示的顯示部。第I獲取部對于包含顯示用圖像中與第I圖像的至少一部分不重疊的非重疊區(qū)域的第2圖像，獲取通過實施基于顯示部的位置的變換而得到的投射用圖像，以根據(jù)透過光學(xué)構(gòu)件的來自信息處理裝置的光和由光學(xué)構(gòu)件反射的包含投射用圖像的信息的光，觀察在顯示部的周圍配置非重疊區(qū)域的狀態(tài)。
【附圖說明】
[0012]圖1是表示實施形態(tài)的圖像顯示系統(tǒng)的結(jié)構(gòu)例的圖。
[0013]圖2是表示第I實施形態(tài)的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0014]圖3是表示第I實施形態(tài)的第I圖像與第2圖像之一例的圖。
[0015]圖4是表示第I實施形態(tài)的眼鏡型終端的各構(gòu)成要素的配置之一例的圖。
[0016]圖5是第I實施形態(tài)的檢測部的檢測方法的說明圖。
[0017]圖6是表示通過第I實施形態(tài)的光學(xué)構(gòu)件觀察到的外側(cè)區(qū)域的反射像的圖。
[0018]圖7是表示第I實施形態(tài)的便攜式終端的硬件結(jié)構(gòu)之一例的圖。
[0019]圖8是表示第I實施形態(tài)的便攜式終端的動作例的流程圖。
[0020]圖9是表示第I實施形態(tài)的眼鏡型終端的動作例的流程圖。
[0021]圖10是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0022]圖11是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0023]圖12是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0024]圖13是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0025]圖14是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0026]圖15是表示第2實施形態(tài)的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0027]圖16是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0028]圖17是表示第3實施形態(tài)的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0029]圖18是表示第3實施形態(tài)的邊飾區(qū)域之一例的圖。
[0030]圖19是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0031]圖20是表示第4實施形態(tài)的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0032]圖21是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0033]圖22是表示第5實施形態(tài)的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
[0034]圖23是表示變形例的圖像顯示系統(tǒng)的功能結(jié)構(gòu)之一例的圖。
【具體實施方式】
[0035]以下參照附圖對本發(fā)明的顯示裝置、圖像顯示系統(tǒng)以及信息處理方法的實施形態(tài)進行詳細說明。
[0036]第I實施形態(tài)
[0037]圖1是表示本實施形態(tài)的圖像顯示系統(tǒng)I的大概結(jié)構(gòu)例的方框圖。如圖1所示，圖像顯示系統(tǒng)I具備便攜式終端2、以及眼鏡型終端3。便攜式終端2與眼鏡型終端3能夠以有線或無線方式，直接或間接地相互通信。便攜式終端2與眼鏡型終端3之間的通信方法是任意的，用任意一種通信方法都可以。
[0038]便攜式終端2是至少具有能夠?qū)嵤┯|摸操作的下述觸摸面板4的終端，可由例如便攜式電話、智能手機、平板電腦等移動裝置、手表型終端、項鏈型終端等可穿戴裝置等用戶可攜帶的終端構(gòu)成。在這個例子中，便攜式終端2可以認為是與權(quán)利要求中的“信息處理裝置”對應(yīng)的。
[0039]眼鏡型終端3是佩戴于用戶頭部、且能夠通過將小型顯示器上顯示的圖像投射于用戶眼前的光學(xué)系統(tǒng)來將該圖像提示給用戶的顯示裝置。眼鏡型終端3大致分為非透射型和透射型兩種，在這里，限定于后者即透射型。透射型大多為小型，但是也可以是大型的。又，眼鏡型終端3有只對一眼顯示信息的單眼型和對兩眼顯示信息的兩眼型，在這里，使用哪一種都沒關(guān)系。在這個例子中，可以認為眼鏡型終端3對應(yīng)于權(quán)利要求中的“顯示裝置”。
[0040]圖2是表示便攜式終端2以及眼鏡型終端3各自的功能結(jié)構(gòu)之一例的圖。如圖2所示，便攜式終端2具備觸摸面板4、生成部22、以及變換部23。
[0041]觸摸面板4具備第I檢測部50、以及顯示部60。第I檢測部50能夠檢測對顯示面(觸摸面板4(顯示部60)所具有的、顯示圖像的面)的觸摸操作。在這個例子中，第I檢測部50對應(yīng)于權(quán)利要求中的“第I檢測部”或“檢測部”。顯示部60根據(jù)第I檢測部50檢測到的觸摸操作，顯示顯示用圖像中的至少一部分的第I圖像。顯示部60的顯示方式是任意的，例如顯示部60不僅可以是液晶、有機EL等直視型顯示裝置，也可以是投影機等投射型的顯示裝置。又，觸摸操作的檢測方法可以是任意方法，不限于電容方式、電阻膜方式(感壓式)，也可以采用利用其他檢測方法的檢測裝置。觸摸面板4(第I檢測部50)在檢測出用戶的觸摸操作的情況下，將表示該檢測到的觸摸操作的操作信息提供給生成部22。
[0042]還有，本說明書中的“觸摸操作”不僅包含用戶用自己的指頭接觸顯示面的操作，也可包含用筆等輸入器件接觸顯示面的操作。
[0043]生成部22基于從第I檢測部50接收到操作信息以及預(yù)先準(zhǔn)備的顯示用圖像，生成第I圖像及包含顯示用圖像中不與第I圖像的至少一部分重疊的非重疊區(qū)域的第2圖像。在本實施形態(tài)中，所謂非重疊區(qū)域，是顯示用圖像中第I圖像外側(cè)的區(qū)域(顯示用圖像中第I圖像以外的區(qū)域，在以下的說明中，有時候稱為“外側(cè)區(qū)域”)。生成部22生成的第I圖像被提供給觸摸面板4 (顯示部60)。然后，顯示部60將生成部22生成的第I圖像加以顯不O
[0044]還有，在這個例子中，以顯示用圖像是顯示部60顯示不完的尺寸的圖像為前提進行說明。生成部22獲取顯示用圖像的方法是任意的，例如生成部22可以從服務(wù)器裝置等外部裝置獲取顯示用圖像，也可以訪問預(yù)先存儲有顯示用圖像的未圖示的存儲器獲取顯示用圖像。
[0045]例如，在第I檢測部50檢測出的觸摸操作表示為使顯示部60顯示不完的部分顯示于顯示部60而使顯示用圖像向上下左右某一方向移動的滾動的情況下，生成部22根據(jù)該操作信息使顯示用圖像滾動，生成應(yīng)該顯示于顯示部60的圖像(第I圖像)。又，例如第I檢測部50檢測出的觸摸操作表示當(dāng)前在顯示部60顯示的圖像的放大、縮小的情況下，生成部22根據(jù)檢測出的觸摸操作，將當(dāng)前顯示部60顯示的圖像放大或縮小，生成應(yīng)該在顯示部60顯示的圖像(第I圖像)。而在例如第I檢測部50檢測出的觸摸操作