圖像顯示裝置、圖像顯示方法和計(jì)算機(jī)程序的制作方法
【專利摘要】本發(fā)明公開了一種可以以簡(jiǎn)易的方式和低成本地進(jìn)行使用者識(shí)別和認(rèn)證處理的佩戴在使用者的頭部或面部上使用的圖像顯示裝置、圖像顯示方法和計(jì)算機(jī)程序，所述圖像顯示裝置包括構(gòu)造成顯示從使用者側(cè)看得見的內(nèi)側(cè)圖像的顯示單元；構(gòu)造成從所述使用者輸入識(shí)別模式的輸入單元；構(gòu)造成核查所述識(shí)別模式的核查單元；以及構(gòu)造成基于所述核查單元所核查的結(jié)果來(lái)控制所述圖像顯示裝置的控制單元。
【專利說(shuō)明】圖像顯示裝置、圖像顯示方法和計(jì)算機(jī)程序
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2012年11月2日提交的日本在先專利申請(qǐng)JP2012-243184的權(quán)益，其全部?jī)?nèi)容以引用的方式并入本文。
【技術(shù)領(lǐng)域】
[0003]本技術(shù)涉及一種使用者佩戴在他或她的頭部或面部上并且用來(lái)觀看圖像的圖像顯示裝置、圖像顯示方法和計(jì)算機(jī)程序。特別地，本技術(shù)涉及一種進(jìn)行例如在他或她的頭部或面部上佩戴圖像顯示裝置的使用者的認(rèn)證的圖像顯示裝置、圖像顯示方法和計(jì)算機(jī)程序。
【背景技術(shù)】
[0004]佩戴在頭部并且用來(lái)觀看圖像的頭戴式圖像顯示裝置是已知的(該裝置統(tǒng)稱為“頭戴式顯示器”)。頭戴式圖像顯示裝置具有例如左眼和右眼用的各圖像顯示單元，并且被構(gòu)造成當(dāng)與頭戴式耳機(jī)一起使用時(shí)能夠控制視覺(jué)和聽覺(jué)。頭戴式圖像顯示裝置可以向左眼和右眼示出不同的圖像，并且還可以通過(guò)向左眼和右眼顯示它們之間具有視差的圖像來(lái)呈現(xiàn)二維圖像。
[0005]頭戴式圖像顯示裝置還可以分類為遮光型和透過(guò)型的。遮光型頭戴式圖像顯示裝置被設(shè)計(jì)為當(dāng)佩戴在他或她的頭部上時(shí)直接覆蓋使用者的眼睛，并且在觀看圖像時(shí)為使用者提供更大的沉浸感。另一方面，在透過(guò)型頭戴式圖像顯示裝置的情況下，即使當(dāng)佩戴在使用者的頭部上以顯示圖像時(shí)，他或她仍然可以透過(guò)所顯示的圖像觀看現(xiàn)實(shí)世界的風(fēng)景(即，可以穿過(guò)顯示器)。因此，透過(guò)型頭戴式圖像顯示裝置可以以重合的方式在現(xiàn)實(shí)世界的風(fēng)景上示出假想的顯示圖像。
[0006]在未來(lái)幾年里，頭戴式圖像顯示裝置有望配備諸如智能手機(jī)等多功能終端的功能，并且有望導(dǎo)入涉及增強(qiáng)現(xiàn)實(shí)感等的多種應(yīng)用。一旦頭戴式圖像顯示裝置提供內(nèi)容觀看外的更大附加價(jià)值，并且目的是使用者在生活中常用，那么將在其中存儲(chǔ)諸如機(jī)密信息等各種信息。因此，當(dāng)使用者開始使用頭戴式圖像顯示裝置時(shí)，涉及例如核查使用者的真實(shí)性的安全控制將變得更為重要。
[0007]在信息處理領(lǐng)域，基于使用者密碼輸入的認(rèn)證方法已經(jīng)廣泛使用。然而，對(duì)于佩戴在使用者的頭部或面部上使用的圖像顯示裝置，很難為該圖像顯示裝置的主體配備用于輸入密碼的設(shè)備(例如，鍵盤)。還有一個(gè)問(wèn)題在于，佩戴圖像顯示裝置的使用者不得不在基本上蒙住眼睛的狀態(tài)下進(jìn)行鍵輸入操作。
[0008]例如，日本未審查專利申請(qǐng)公開N0.2003-167855公開了一種信息終端系統(tǒng)，其中當(dāng)信息終端裝置的主體開始操作時(shí)，設(shè)置在頭戴式顯示器中的檢測(cè)設(shè)備讀出使用者個(gè)人的眼球內(nèi)的視網(wǎng)膜或虹膜等的生物學(xué)特征信息以對(duì)使用者進(jìn)行認(rèn)證。一旦確立使用者認(rèn)證，就允許使用者進(jìn)行與使用者的權(quán)限相對(duì)應(yīng)的信息終端裝置的操作，并且在頭戴式顯示器上顯示所希望的信息，只要他或她不摘掉頭戴式顯示器，那么就不需要每次使用前進(jìn)行使用者認(rèn)證。
[0009]例如，日本未審查專利申請(qǐng)公開N0.2007-322769公開了一種獲取佩戴視頻顯示裝置的使用者的虹膜、視網(wǎng)膜或面部的生物信息并且基于生物信息驗(yàn)證是否是使用者本人的視頻顯示系統(tǒng)。
[0010]基于視網(wǎng)膜和虹膜等的生物學(xué)特征信息進(jìn)行個(gè)人認(rèn)證的技術(shù)已經(jīng)被建立并且廣泛用于各種工業(yè)領(lǐng)域。為了從使用者讀出視網(wǎng)膜和虹膜等的生物學(xué)特征信息，一般使用高成本的專用設(shè)備。因此，在目的是使用者生活中常用的信息設(shè)備中安裝這種認(rèn)證用設(shè)備在成本方面具有非常大的缺點(diǎn)。用于讀取視網(wǎng)膜和虹膜等的設(shè)備除了認(rèn)證之外幾乎沒(méi)有發(fā)現(xiàn)其他的用途，并且一旦確立了認(rèn)證，它們很少用來(lái)執(zhí)行日常的應(yīng)用。

【發(fā)明內(nèi)容】

[0011]本文公開的技術(shù)的目的是提供一種使用者佩戴在他或她的頭部或面部上并用來(lái)觀看圖像的改進(jìn)的圖像顯示裝置、改進(jìn)的圖像顯示方法和改進(jìn)的計(jì)算機(jī)程序。
[0012]本文公開的技術(shù)的另一個(gè)目的是提供一種可以優(yōu)選對(duì)在他或她的頭部或面部上佩戴圖像顯示裝置的使用者進(jìn)行認(rèn)證的改進(jìn)的圖像顯示裝置、改進(jìn)的圖像顯示方法和改進(jìn)的計(jì)算機(jī)程序。
[0013]鑒于上述情況構(gòu)想出了本文公開的技術(shù)，并且提供了一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置。所述圖像顯示裝置包括:構(gòu)造成顯示從所述使用者側(cè)看得見的內(nèi)側(cè)圖像的顯示單元；構(gòu)造成從所述使用者輸入識(shí)別模式的輸入單元；構(gòu)造成核查所述識(shí)別模式的核查單元；以及構(gòu)造成基于由所述核查單元所核查的結(jié)果來(lái)控制所述圖像顯示裝置的控制單元。
[0014]所述核查單元可以核查所述使用者的真實(shí)性，以及基于所述使用者是否是真實(shí)的，所述控制單元可以確定是否在所述圖像顯示裝置上執(zhí)行預(yù)定的處理。
[0015]所述圖像顯示裝置還可以包括構(gòu)造成預(yù)先注冊(cè)真實(shí)的使用者經(jīng)由所述輸入單元輸入的認(rèn)證模式的認(rèn)證模式注冊(cè)單元。所述核查單元可以基于所述使用者經(jīng)由所述輸入單元輸入的識(shí)別模式和在所述認(rèn)證模式注冊(cè)單元中預(yù)先注冊(cè)的認(rèn)證模式之間的匹配度核查所述使用者的真實(shí)性。
[0016]所述圖像顯示裝置還可以包括構(gòu)造成檢測(cè)所述使用者的視線的視線檢測(cè)單元。所述輸入單元可以輸入基于從所述視線檢測(cè)單元獲取的所述使用者的注視點(diǎn)位置或注視點(diǎn)的移動(dòng)的識(shí)別模式。
[0017]所述視線檢測(cè)單元可以包括能夠拍攝所述使用者的眼睛的內(nèi)側(cè)相機(jī)、肌電傳感器和眼電傳感器中的至少一個(gè)。
[0018]所述圖像顯示裝置還可以包括構(gòu)造成檢測(cè)佩戴所述圖像顯示裝置的使用者的頭部或身體的移動(dòng)的運(yùn)動(dòng)檢測(cè)單元。所述輸入單元可以輸入基于從所述運(yùn)動(dòng)檢測(cè)單元獲取的所述使用者的頭部或身體的移動(dòng)的識(shí)別模式。
[0019]在所述圖像顯示裝置中的所述運(yùn)動(dòng)檢測(cè)單元可以包括加速度傳感器、陀螺儀傳感器和相機(jī)中的至少一個(gè)。
[0020]所述圖像顯示裝置還可以包括構(gòu)造成檢測(cè)所述使用者發(fā)出的聲音的聲音檢測(cè)單元。所述輸入單元可以輸入基于從所述聲音檢測(cè)單元獲取的聲音的識(shí)別模式。[0021]所述圖像顯示裝置還可以包括構(gòu)造成檢測(cè)所述使用者發(fā)聲時(shí)產(chǎn)生的語(yǔ)音骨傳導(dǎo)信號(hào)的骨傳導(dǎo)信號(hào)檢測(cè)單元。所述輸入單元可以基于所述骨傳導(dǎo)信號(hào)檢測(cè)單元獲取的語(yǔ)音骨傳導(dǎo)信號(hào)而輸入識(shí)別模式。
[0022]所述圖像顯示裝置還可以包括構(gòu)造成檢測(cè)所述使用者的面部或面部部分的形狀特征的特征檢測(cè)單元。所述輸入單元可以輸入基于所述使用者的面部或面部部分的形狀特征的識(shí)別模式。
[0023]在所述圖像顯示裝置中的所述特征檢測(cè)單元可以檢測(cè)所述使用者的眼睛形狀、眼間距離、鼻子形狀、嘴巴形狀、嘴巴開/閉操作、眼睫毛、眉毛和耳垂的形狀特征中的至少一個(gè)。
[0024]所述圖像顯示裝置還可以包括構(gòu)造成檢測(cè)所述使用者的眨眼動(dòng)作的眨眼檢測(cè)單元。所述輸入單元可以輸入基于從所述眨眼檢測(cè)單元獲取的所述使用者的眨眼的識(shí)別模式。
[0025]在所述圖像顯示裝置中的所述眨眼檢測(cè)單元可以包括能夠拍攝所述使用者的眼睛的內(nèi)側(cè)相機(jī)、肌電傳感器和眼電傳感器中的至少一個(gè)。
[0026]所述圖像顯示裝置還可以包括構(gòu)造成檢測(cè)所述使用者的手、手指或指紋的形狀特征的特征檢測(cè)單元。所述輸入單元可以輸入基于所述使用者的手、手指或指紋的形狀特征的識(shí)別模式。
[0027]所述圖像顯示裝置還可以包括構(gòu)造成與由所述使用者佩戴或攜帶在他或她身上的經(jīng)認(rèn)證的設(shè)備進(jìn)行人體通訊并且從所述經(jīng)認(rèn)證的設(shè)備讀取信息的人體通訊單元。所述輸入單元可以輸入基于由所述人體通訊單元從所述經(jīng)認(rèn)證的設(shè)備讀取的信息的識(shí)別模式。
[0028]所述圖像顯示裝置還可以包括構(gòu)造成在所述顯示單元上顯示為所述使用者經(jīng)由所述輸入單元輸入識(shí)別模式的操作提供引導(dǎo)的引導(dǎo)信息的引導(dǎo)信息顯示單元。
[0029]所述圖像顯示裝置還可以包括構(gòu)造成當(dāng)所述使用者在所述認(rèn)證模式注冊(cè)單元中預(yù)先注冊(cè)認(rèn)證模式時(shí)在所述顯示單元上顯示為輸入認(rèn)證模式的操作提供引導(dǎo)的引導(dǎo)信息的引導(dǎo)信息顯示單元。
[0030]所述圖像顯示裝置還可以包括構(gòu)造成在所述顯示單元上顯示所述使用者經(jīng)由所述輸入單元輸入識(shí)別模式的結(jié)果的輸入結(jié)果顯示單元。
[0031]根據(jù)本文公開的技術(shù)，提供了一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置的圖像顯示方法。所述圖像顯示方法包括從所述使用者輸入識(shí)別模式；核查所述識(shí)別模式；以及基于核查的結(jié)果來(lái)控制所述圖像顯示裝置。
[0032]根據(jù)本文公開的技術(shù)，提供了一種以計(jì)算機(jī)可讀格式寫成而在計(jì)算機(jī)上控制佩戴在使用者的頭部或面部上使用的圖像顯示裝置的操作的計(jì)算機(jī)程序。所述計(jì)算機(jī)程序使得所述計(jì)算機(jī)具有以下功能:顯示從所述使用者側(cè)看得見的內(nèi)側(cè)圖像的顯示單元；從所述使用者輸入識(shí)別模式的輸入單元；核查所述識(shí)別模式的核查單元；以及基于由所述核查單元所核查的結(jié)果來(lái)控制所述圖像顯示裝置的控制單元。
[0033]本文公開的計(jì)算機(jī)程序以計(jì)算機(jī)可讀格式寫成而在計(jì)算機(jī)上實(shí)現(xiàn)預(yù)定的處理。換句話說(shuō)，本文公開的計(jì)算機(jī)程序安裝到計(jì)算機(jī)中以在計(jì)算機(jī)上提供協(xié)作效應(yīng)，從而使得可以提供類似于本文公開的圖像顯示裝置的那些優(yōu)點(diǎn)。
[0034]本文公開的技術(shù)可以提供一種改進(jìn)的圖像顯示裝置、改進(jìn)的圖像顯示方法和改進(jìn)的計(jì)算機(jī)程序，其可以以更簡(jiǎn)易的方式和低成本地實(shí)現(xiàn)對(duì)在他或她的頭部或面部上佩戴圖像顯示裝置的使用者的認(rèn)證處理。
[0035]根據(jù)本文公開的技術(shù)，基于可以從圖像顯示裝置中通常包含的設(shè)備輸入的使用者的識(shí)別模式，可以以簡(jiǎn)易的方式和低成本地進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0036]本文公開的技術(shù)的其他目的、特征和優(yōu)點(diǎn)從基于以下實(shí)施方案和附圖的更詳細(xì)說(shuō)明將變得很明顯。
【專利附圖】

【附圖說(shuō)明】
[0037]圖1是示出佩戴透過(guò)型頭戴式圖像顯示裝置的使用者的狀態(tài)的正視圖；
[0038]圖2是示出佩戴圖1所示的圖像顯示裝置的使用者的狀態(tài)的俯視圖；
[0039]圖3是示出佩戴遮光型頭戴式圖像顯示裝置的使用者的狀態(tài)的正視圖；
[0040]圖4是示出佩戴圖3所示的圖像顯示裝置的使用者的狀態(tài)的俯視圖；
[0041]圖5示出圖像顯示裝置的內(nèi)部構(gòu)成的例子；
[0042]圖6示意性地示出圖像顯示裝置基于使用者操作的信息用其進(jìn)行使用者識(shí)別和認(rèn)證處理的功能構(gòu)成；
[0043]圖7示意性地示出圖像顯示裝置基于使用者操作的信息用其進(jìn)行使用者識(shí)別和認(rèn)證處理的功能構(gòu)成(圖6的變形例)；
[0044]圖8示出由使用者識(shí)別和認(rèn)證單元處理的識(shí)別模式和用于輸入識(shí)別模式的環(huán)境傳感器和狀態(tài)傳感器的組合的例子；
[0045]圖9A示出當(dāng)使用者輸入涉及他或她的注視點(diǎn)的移動(dòng)的識(shí)別模式時(shí)顯示的引導(dǎo)信息的例子；
[0046]圖9B示出使用者經(jīng)由圖9A所示的引導(dǎo)信息的顯示屏幕通過(guò)使用他或她的視線輸入個(gè)人識(shí)別碼的狀態(tài)；
[0047]圖1OA是圖9A所示的引導(dǎo)信息顯示的變形例；
[0048]圖1OB示出使用者經(jīng)由圖1OA所示的引導(dǎo)信息的顯示屏幕通過(guò)使用他或她的視線輸入個(gè)人識(shí)別碼的狀態(tài)；
[0049]圖1OC是圖1OA所示的引導(dǎo)信息顯示的變形例；
[0050]圖1lA示出作為設(shè)定視線的目標(biāo)的多個(gè)圖像對(duì)象被分散在其中的引導(dǎo)信息的例子;
[0051]圖1lB示出其中使用者經(jīng)由圖1lA所示的引導(dǎo)信息的顯示屏幕通過(guò)移動(dòng)他或她的視線繪制所希望的注視點(diǎn)的軌跡的狀態(tài)；
[0052]圖12是其中大量的面部圖像隨機(jī)配置的引導(dǎo)信息的顯示例子；
[0053]圖13A示出當(dāng)使用者輸入他或她的頭部的識(shí)別模式時(shí)顯示的引導(dǎo)信息的例子；
[0054]圖13B示出當(dāng)以重合的方式在圖13A所示的引導(dǎo)信息上顯示檢測(cè)到的頭部移動(dòng)的信息時(shí)屏幕的例子；
[0055]圖13C示出當(dāng)以重合的方式在圖13A所示的引導(dǎo)信息上顯示檢測(cè)到的頭部移動(dòng)的信息時(shí)屏幕的例子；
[0056]圖13D示出當(dāng)以重合的方式在圖13A所示的引導(dǎo)信息上顯示檢測(cè)到的頭部移動(dòng)的信息時(shí)屏幕的例子；[0057]圖14A示出當(dāng)由使用者發(fā)出的聲音或語(yǔ)音骨傳導(dǎo)信號(hào)(語(yǔ)音骨傳導(dǎo)信號(hào))用作使用者識(shí)別和認(rèn)證用的識(shí)別模式時(shí)顯示的引導(dǎo)信息的例子；
[0058]圖14B示出在圖14A所示的引導(dǎo)信息中檢測(cè)到的聲音信息顯示在其上的屏幕的例子;
[0059]圖15A示出當(dāng)由使用者進(jìn)行的眨眼動(dòng)作作為使用者識(shí)別和認(rèn)證用的識(shí)別模式被輸入時(shí)引導(dǎo)信息的例子；
[0060]圖15B示出當(dāng)在圖15A所示的引導(dǎo)信息中顯示表示檢測(cè)到的眨眼動(dòng)作的圖標(biāo)時(shí)屏.的例子；
[0061]圖16示出在經(jīng)由圖1lA所示的引導(dǎo)信息的顯示屏幕通過(guò)移動(dòng)他或她的視線繪制所希望的注視點(diǎn)的軌跡的同時(shí)使用者進(jìn)行眨眼動(dòng)作的狀態(tài)；
[0062]圖17示出用于提示使用者擁有認(rèn)證設(shè)備(手表)的引導(dǎo)信息的例子；
[0063]圖18示出用于提示使用者擁有認(rèn)證設(shè)備(戒指)的引導(dǎo)信息的例子；
[0064]圖19示出用于提示使用者擁有認(rèn)證設(shè)備(卡)的引導(dǎo)信息的例子；
[0065]圖20是示出在圖像顯示裝置中預(yù)先注冊(cè)使用者識(shí)別和認(rèn)證處理用的認(rèn)證模式的處理過(guò)程的流程圖；以及
[0066]圖21是示出圖像顯示裝置進(jìn)行使用者識(shí)別和認(rèn)證處理的處理過(guò)程的流程圖。【具體實(shí)施方式】
[0067]下面將參照附圖詳細(xì)說(shuō)明根據(jù)本文公開的技術(shù)的實(shí)施方案。
[0068]A.裝置構(gòu)成
[0069]圖1是示出佩戴透過(guò)型頭戴式圖像顯示裝置I的使用者的狀態(tài)的正視圖。圖示的圖像顯示裝置I具有類似于視力矯正用的眼鏡的結(jié)構(gòu)。圖像顯示裝置I的主體在與使用者的左眼和右眼相對(duì)的位置配置有包括透明的導(dǎo)光單元等的虛像光學(xué)單元。在虛像光學(xué)單元的內(nèi)側(cè)顯示由使用者觀看到的圖像。虛像光學(xué)單元由例如具有眼鏡框形狀的支撐體支撐。
[0070]具有眼鏡框形狀的支撐體在其大致中央處具有用于輸入周圍圖像(在使用者的視野內(nèi))的相機(jī)。支撐體的左右兩端附近還具有麥克風(fēng)。由于設(shè)置有兩個(gè)麥克風(fēng)，所以只可以認(rèn)出定位于中央的聲音(使用者的聲音)，并因而可以將其與周圍噪音和其他人的說(shuō)話聲分離。因此，可以最小化例如基于聲音輸入的操作過(guò)程中的誤操作。
[0071]圖2是當(dāng)由使用者佩戴時(shí)圖像顯示裝置I的俯視圖。如圖所示，圖像顯示裝置I在其左右兩端配置有用于顯示左眼用和右眼用的圖像的顯示面板。各顯示面板由諸如液晶顯示器或有機(jī)EL元件等微顯示器構(gòu)成。從顯示面板輸出的左右顯示圖像由虛像光學(xué)單元引導(dǎo)到左眼和右眼的附近，并且放大的虛像在使用者的瞳孔上成像。
[0072]圖3是示出佩戴遮光型頭戴式圖像顯示裝置I的使用者的狀態(tài)的正視圖。圖3所示的圖像顯示裝置I具有類似于帽舌形狀的結(jié)構(gòu)并且被構(gòu)造成直接覆蓋佩戴圖像顯示裝置I的使用者的左眼和右眼。圖3所示的圖像顯示裝置I在位于圖像顯示裝置I的主體的內(nèi)側(cè)并且與使用者的左眼和右眼相對(duì)的位置配置有由使用者觀看的顯示面板(圖3未示出)。顯示面板例如由諸如有機(jī)EL元件或液晶顯示器等微顯示器構(gòu)成。
[0073]具有類似于帽舌形狀的圖像顯示裝置I的主體在其前面的大致中央具有用于輸入周圍圖像(在使用者的視野內(nèi))的相機(jī)。圖像顯示裝置I的主體在其左右兩端附近還具有麥克風(fēng)。由于設(shè)置有兩個(gè)麥克風(fēng)，所以只可以認(rèn)出定位于中央的聲音(使用者的聲音)，并因而可以與周圍噪音和其他人的說(shuō)話聲分離。因此，可以最小化例如基于聲音輸入的操作過(guò)程中的誤操作。
[0074]圖4是示出佩戴圖3所示的圖像顯示裝置I的使用者的狀態(tài)的俯視圖。圖示的圖像顯示裝置I在與使用者的面部相對(duì)的位置處具有左眼用和右眼用的顯示面板。顯示面板例如由諸如有機(jī)EL元件或液晶顯示器等微顯示器構(gòu)成。在顯示面板上顯示的圖像通過(guò)對(duì)應(yīng)的虛像光學(xué)單元，使得作為放大虛像由使用者觀看到所產(chǎn)生的圖像。由于每個(gè)使用者的眼睛的高度和瞳孔間距彼此不同，因此將左右顯示系統(tǒng)與使用者的眼睛對(duì)齊很重要。在圖4所示的例子中，在左眼用顯示面板和右眼用顯示面板之間設(shè)置有瞳孔間距調(diào)節(jié)機(jī)構(gòu)。
[0075]圖5示出圖像顯示裝置I的內(nèi)部構(gòu)成的例子。下面將說(shuō)明包含在圖像顯示裝置I中的各個(gè)單元。
[0076]控制單元501包括只讀存儲(chǔ)器(ROM) 501A和隨機(jī)存取存儲(chǔ)器(RAM) 501B。R0M501A在其中存儲(chǔ)由控制單元501執(zhí)行的程序代碼和各種數(shù)據(jù)?？刂茊卧?01執(zhí)行加載到RAM501B中的程序，從而對(duì)將在顯示面板509上顯示的內(nèi)容開始重放控制并且綜合控制圖像顯示裝置I的全體操作。由控制單元501執(zhí)行的程序的例子包括用于顯示內(nèi)容觀看的圖像的各種應(yīng)用程序，以及當(dāng)使用者開始使用圖像顯示裝置I時(shí)執(zhí)行的使用者識(shí)別和認(rèn)證程序。下面稍后說(shuō)明由使用者識(shí)別和認(rèn)證程序進(jìn)行的處理操作的細(xì)節(jié)。R0M501A是電可擦可編程只讀存儲(chǔ)器(EEPROM)設(shè)備，可以將諸如用于使用者識(shí)別和認(rèn)證處理的識(shí)別模式等重要數(shù)據(jù)寫入其中。
[0077]輸入操作單元502包括諸如鍵、按鈕和開關(guān)等使用者用其進(jìn)行輸入操作的一個(gè)或多個(gè)操作元件。當(dāng)經(jīng)由操作元件接收使用者指示時(shí)，輸入操作單元502將指示輸出到控制單元501。類似地，當(dāng)接收包含由遙控指令接收單元503接收的遙控指令的使用者指示時(shí)，輸入操作單元502將指示輸出到控制單元501。
[0078]環(huán)境信息獲取單元504獲取關(guān)于圖像顯示裝置I的周圍環(huán)境的環(huán)境信息，并將環(huán)境信息輸出到控制單元501。由環(huán)境信息獲取單元504獲取的環(huán)境信息的例子包括環(huán)境光強(qiáng)度、聲音強(qiáng)度、位置或場(chǎng)所、溫度、天氣、時(shí)間和周圍的圖像。為了獲取這些環(huán)境信息，環(huán)境信息獲取單兀504可以具有各種環(huán)境傳感器,例如光強(qiáng)度傳感器、麥克風(fēng)、全球定位系統(tǒng)(GPS)傳感器、溫度傳感器、濕度傳感器、時(shí)鐘、指向外側(cè)以拍攝外部風(fēng)景(在使用者的視野內(nèi)的圖像)的外側(cè)相機(jī)和輻射傳感器(這些都未在圖5中示出)?？蛇x擇地，其構(gòu)成可以使得圖像顯示裝置I本身不具有環(huán)境傳感器并且環(huán)境信息獲取單元504從配備有環(huán)境傳感器的外部裝置(未示出)獲取環(huán)境信息。獲取的環(huán)境信息可以用于當(dāng)使用者開始使用圖像顯示裝置I時(shí)執(zhí)行的使用者識(shí)別和認(rèn)證處理。環(huán)境信息可以臨時(shí)地存儲(chǔ)在例如RAM501B中。
[0079]狀態(tài)信息獲取單元505獲取關(guān)于使用圖像顯示裝置I的使用者的狀態(tài)的狀態(tài)信息，并將狀態(tài)信息輸出到控制單元501。由狀態(tài)信息獲取單元505獲取的狀態(tài)信息的例子包括使用者的工作狀態(tài)(例如，關(guān)于使用者是否佩戴圖像顯示裝置I)、由使用者進(jìn)行的操作和動(dòng)作的狀態(tài)(例如，佩戴有圖像顯示裝置I的使用者的頭部的姿勢(shì)、使用者的視線的移動(dòng)、諸如步行等的移動(dòng)以及眼瞼的開/閉狀態(tài))、使用者的精神狀態(tài)(例如，興奮度、覺(jué)醒度和情緒與感受，例如，使用者是否沉浸在或集中在觀看在顯示面板509上顯示的內(nèi)側(cè)圖像)以及使用者的生理狀態(tài)。為了獲取使用者的這些狀態(tài)信息，狀態(tài)信息獲取單元505可以具有各種狀態(tài)傳感器，例如GPS傳感器、陀螺儀傳感器、加速度傳感器、速度傳感器、壓力傳感器、體溫傳感器、出汗傳感器、肌電傳感器、眼電傳感器、腦波傳感器、指向內(nèi)側(cè)(即，指向使用者的面部)的內(nèi)側(cè)相機(jī)、用于輸入使用者發(fā)出的聲音的麥克風(fēng)以及具有機(jī)械開關(guān)的連接傳感器(這些都未在圖5中示出)。例如，根據(jù)從肌電傳感器、眼電傳感器或內(nèi)側(cè)相機(jī)輸出的信息，狀態(tài)信息獲取單元505可以獲取在他或她的頭部上佩戴圖像顯示裝置I的使用者的視線(眼球移動(dòng))。獲取的狀態(tài)信息可以用于當(dāng)使用者開始使用圖像顯示裝置I時(shí)執(zhí)行的使用者識(shí)別和認(rèn)證處理。狀態(tài)信息可以臨時(shí)地存儲(chǔ)在例如RAM501B中。
[0080]通訊單元506進(jìn)行與另一個(gè)單元的通訊處理以及對(duì)通訊信號(hào)的調(diào)制/解調(diào)和編碼/解碼處理。例如，通訊單元506從作為圖像源的外部設(shè)備(未示出)接收通過(guò)顯示面板509顯示和輸出的圖像信號(hào)。通訊單元506對(duì)接收的圖像信號(hào)進(jìn)行解調(diào)和解碼處理以獲取圖像數(shù)據(jù)。通訊單元506將圖像數(shù)據(jù)或其他接收的數(shù)據(jù)供給到控制單元501?？刂茊卧?01也可以經(jīng)由通訊單元506將數(shù)據(jù)發(fā)送到外部設(shè)備。
[0081]通訊單元506可以具有任意的構(gòu)成。例如，通訊單元506可以按照用其進(jìn)行通訊的用于將數(shù)據(jù)發(fā)送到外部設(shè)備/從外部設(shè)備接收數(shù)據(jù)的操作的通訊標(biāo)準(zhǔn)構(gòu)成。通訊標(biāo)準(zhǔn)可以是任意的有線和無(wú)線通訊用的標(biāo)準(zhǔn)。這里使用的“通訊標(biāo)準(zhǔn)”的例子包括移動(dòng)高清鏈接(Mobile High-def inition Link) (MHL)、通用串行總線(Universal Serial Bus) (USB)、高清晰度多媒體接口 (High Definition Multimedia Interface) (HDMI)、藍(lán)牙(注冊(cè)商標(biāo))通訊、紅外線通訊、W1-Fi (注冊(cè)商標(biāo))、以太網(wǎng)(注冊(cè)商標(biāo))、由近場(chǎng)通訊(NFC)代表的非接觸式通訊和人體通訊用的標(biāo)準(zhǔn)。圖像顯示裝置I也可以使用經(jīng)由通訊單元506連接到諸如因特網(wǎng)等廣域網(wǎng)的云計(jì)算機(jī)(未示出)。例如，當(dāng)在云計(jì)算機(jī)上執(zhí)行使用者識(shí)別和認(rèn)證處理的一部分或全部時(shí)，控制單元501將用于處理的信息經(jīng)由通訊單元506發(fā)送到云計(jì)算機(jī)。
[0082]圖像處理單元507對(duì)從控制單元501輸出的圖像信號(hào)進(jìn)行諸如圖像質(zhì)量校正等信號(hào)處理，并且還將圖像信號(hào)的分辨率轉(zhuǎn)換成適于顯示面板509的屏幕的分辨率。顯示驅(qū)動(dòng)單元508逐行順次選擇顯示面板509中的像素，進(jìn)行線順次掃描，對(duì)圖像信號(hào)進(jìn)行信號(hào)處理，并且供給生成的圖像信號(hào)。
[0083]顯示面板509例如由諸如有機(jī)EL元件或液晶顯示器等微顯示器構(gòu)成，并且顯示可以從以圖2或圖4所示的方式佩戴圖像顯示裝置I的使用者側(cè)看見的內(nèi)側(cè)圖像。虛像光學(xué)單元510將顯示在對(duì)應(yīng)的顯示面板509上的圖像放大和投影，因此使用者觀察到的圖像為放大的虛像。
[0084]在透過(guò)型圖像顯示裝置I的情況下，虛像光學(xué)單元510包括例如衍射光學(xué)元件(參見例如日本未審查專利申請(qǐng)公開N0.2012-88715)。在遮光型圖像顯示裝置I的情況下，虛像光學(xué)單元510包括例如眼用光學(xué)透鏡(參見例如日本未審查專利申請(qǐng)公開N0.2012-141461)。
[0085]當(dāng)圖像顯示裝置I是雙目型時(shí)，顯示面板509和虛像光學(xué)單元510分別針對(duì)左眼和右眼設(shè)置，當(dāng)圖像顯示裝置I是單目型時(shí)，顯示面板509和虛像光學(xué)單元510僅針對(duì)一只眼睛設(shè)置。
[0086]B.使用者識(shí)別和認(rèn)證處理
[0087]盡管圖5中未示出，但是圖像顯示裝置I可以具有諸如智能手機(jī)等多功能終端的功能，并且具有內(nèi)容觀看外的更大附加價(jià)值，目的是使用者在他或她的生活中常用。在這種情況下，假定諸如機(jī)密信息等各種信息存儲(chǔ)在圖像顯示裝置I中，那么涉及例如核查使用者的真實(shí)性的安全控制將變得更為重要。
[0088]在使用者佩戴在他或她的頭部或面部上而使用圖像顯示裝置I的情況下，當(dāng)他或她試圖進(jìn)行基于密碼的認(rèn)證處理時(shí)，他或她不得不在基本上蒙住眼睛的狀態(tài)下(或當(dāng)圖像顯示裝置I是單目型時(shí)用一只眼睛)進(jìn)行輸入操作。佩戴在使用者的頭部或面部上的圖像顯示裝置I還具有容易直接獲取使用者的信息的特征。盡管利用諸如視網(wǎng)膜或虹膜等生物信息的認(rèn)證處理也是可想到的，但是這種認(rèn)證處理涉及導(dǎo)致裝置成本增加的讀取專用設(shè)備。
[0089]因此，在本實(shí)施方案中，圖像顯示裝置I被構(gòu)造成:基于并利用從圖像顯示裝置I中通常包括的設(shè)備任意輸入的使用者的識(shí)別模式，而不依賴于指紋認(rèn)證或虹膜認(rèn)證等任何復(fù)雜的系統(tǒng)，從而以更簡(jiǎn)易的方式和低成本地進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0090]圖6示意性地示出圖像顯示裝置I基于使用者操作的信息用其進(jìn)行使用者識(shí)別和認(rèn)證處理的功能構(gòu)成。
[0091]當(dāng)開始使用圖像顯示裝置I時(shí)，向操作輸入單元601輸入由佩戴圖像顯示裝置I的使用者提供的識(shí)別模式。
[0092]基于從操作輸入單元601輸入的使用者的識(shí)別模式，使用者識(shí)別和認(rèn)證單元602進(jìn)行使用者識(shí)別和認(rèn)證處理，即，核查使用者的真實(shí)性。
[0093]例如，基于將要進(jìn)行使用者識(shí)別和認(rèn)證處理的識(shí)別模式可以針對(duì)每個(gè)使用者預(yù)先注冊(cè)，并且在使用者識(shí)別和認(rèn)證單元602可以在預(yù)先注冊(cè)的識(shí)別模式和在使用開始時(shí)經(jīng)由操作輸入單元601輸入的識(shí)別模式之間進(jìn)行匹配的情況下，進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0094]當(dāng)利用預(yù)先注冊(cè)的識(shí)別模式進(jìn)行使用者識(shí)別和認(rèn)證處理時(shí)，認(rèn)證模式注冊(cè)單元603將從操作輸入單元601輸入的用于預(yù)先注冊(cè)的認(rèn)證模式預(yù)先存儲(chǔ)在與每個(gè)使用者的使用者識(shí)別信息相關(guān)聯(lián)的認(rèn)證模式存儲(chǔ)單元604中。使用者識(shí)別和認(rèn)證單元602當(dāng)開始使用圖像顯示裝置I時(shí)查詢關(guān)于從操作輸入單元601輸入的識(shí)別模式的認(rèn)證模式注冊(cè)單元603，以獲取表明試圖開始使用圖像顯示裝置I的使用者是否是預(yù)先注冊(cè)的合法使用者以及使用者對(duì)應(yīng)于哪個(gè)注冊(cè)的合法使用者的信息(即，使用者識(shí)別信息)。
[0095]不必說(shuō)，使用圖像顯示裝置I的所有使用者都使用相同的認(rèn)證模式的情況也是可想到的。在這種情況下，其構(gòu)成可以是:認(rèn)證模式存儲(chǔ)單元604在其中存儲(chǔ)圖像顯示裝置I使用的認(rèn)證模式，并且在使用者識(shí)別和認(rèn)證處理過(guò)程中，使用者識(shí)別和認(rèn)證單元602經(jīng)由認(rèn)證模式注冊(cè)單元603從認(rèn)證模式存儲(chǔ)單元604讀取認(rèn)證模式。
[0096]當(dāng)使用者將識(shí)別模式輸入到操作輸入單元601中時(shí)，使用者識(shí)別和認(rèn)證單元602可以指示顯示控制單元607，從而在顯示面板509上顯示示出為使用者輸入識(shí)別模式提供引導(dǎo)的引導(dǎo)信息和識(shí)別模式的輸入結(jié)果的屏幕。類似地，當(dāng)使用者預(yù)先注冊(cè)他或她的使用者識(shí)別和認(rèn)證用的識(shí)別模式時(shí)，認(rèn)證模式注冊(cè)單元603可以指示顯示控制單元607，從而在顯示面板509上顯示示出為使用者輸入識(shí)別模式提供引導(dǎo)的信息和識(shí)別模式的輸入結(jié)果的屏幕。使用這種配置，使用者可以按照在顯示面板509上顯示的引導(dǎo)信息沒(méi)有錯(cuò)誤地輸入識(shí)別模式。通過(guò)觀看在顯示面板509的屏幕上的目前輸入結(jié)果，使用者也可以核查識(shí)別模式是否按他或她本來(lái)想輸入的那樣。由于顯示面板509指向圖像顯示裝置I的內(nèi)側(cè)，SP，指向面對(duì)使用者面部的位置的側(cè)面，所以從外側(cè)看不見在顯示面板509上顯示的內(nèi)容。因此，即使當(dāng)顯示引導(dǎo)信息和識(shí)別模式時(shí)，也沒(méi)有泄漏到外部的風(fēng)險(xiǎn)。后面說(shuō)明用于顯示引導(dǎo)信息的方法的細(xì)節(jié)。
[0097]當(dāng)使用者識(shí)別和認(rèn)證處理成功時(shí)，使用者識(shí)別和認(rèn)證單元602向應(yīng)用程序執(zhí)行允許單元605報(bào)告表明使用者識(shí)別和認(rèn)證處理已經(jīng)成功的結(jié)果。為了識(shí)別開始使用圖像顯示裝置I的個(gè)人使用者，使用者識(shí)別和認(rèn)證單元602可以向應(yīng)用程序執(zhí)行允許單元605輸出包含使用者識(shí)別信息的結(jié)果。
[0098]在從使用者識(shí)別和認(rèn)證單元602接收表明使用者識(shí)別和認(rèn)證處理已經(jīng)成功的結(jié)果后，應(yīng)用程序執(zhí)行允許單元605允許執(zhí)行與由使用者隨后給出的應(yīng)用程序執(zhí)行指令相關(guān)的應(yīng)用程序。
[0099]當(dāng)圖像顯示裝置I針對(duì)每個(gè)使用者設(shè)定了應(yīng)用程序的執(zhí)行權(quán)限時(shí)，使用者權(quán)限存儲(chǔ)單元606在其中預(yù)先存儲(chǔ)與對(duì)應(yīng)的使用者識(shí)別信息相關(guān)聯(lián)的每個(gè)使用者的權(quán)限信息。基于從使用者識(shí)別和認(rèn)證單元602通過(guò)的使用者識(shí)別信息，應(yīng)用程序執(zhí)行允許單元605查詢使用者權(quán)限存儲(chǔ)單元606以獲取給予使用者的權(quán)限信息。關(guān)于由使用者隨后給出的應(yīng)用程序執(zhí)行指令，應(yīng)用程序執(zhí)行允許單元605允許在由獲取的權(quán)限信息限定的范圍內(nèi)執(zhí)行應(yīng)用程序。
[0100]作為圖6所示的功能構(gòu)成的變形例，也可以想到將一些功能設(shè)置在圖像顯示裝置I的外部的構(gòu)造。例如，如圖7所示，認(rèn)證模式注冊(cè)單元603、認(rèn)證模式存儲(chǔ)單元604和使用者權(quán)限存儲(chǔ)單元606的功能可以設(shè)置在網(wǎng)絡(luò)上的云計(jì)算機(jī)701中。在這種情況下，使用者用在云計(jì)算機(jī)701中的認(rèn)證模式注冊(cè)單元603將使用者識(shí)別和認(rèn)證用的他或她的認(rèn)證模式預(yù)先注冊(cè)在認(rèn)證模式存儲(chǔ)單元604中。當(dāng)使用者開始使用圖像顯示裝置I時(shí)，使用者識(shí)別和認(rèn)證單元602可以經(jīng)由通訊單元506查詢?cè)朴?jì)算機(jī)701關(guān)于從操作輸入單元601輸入的識(shí)別模式，以進(jìn)行使用者認(rèn)證并獲取對(duì)應(yīng)的使用者識(shí)別信息。當(dāng)使用者認(rèn)證成功并且使用者給出執(zhí)行應(yīng)用程序的指令時(shí)，應(yīng)用程序執(zhí)行允許單元605經(jīng)由通訊單元506查詢?cè)朴?jì)算機(jī)701關(guān)于從使用者識(shí)別和認(rèn)證單元602通過(guò)的使用者識(shí)別信息，以獲取給予使用者的權(quán)限信息。關(guān)于由使用者隨后給出的應(yīng)用程序執(zhí)行指令，應(yīng)用程序執(zhí)行允許單元605允許在由獲取的權(quán)限信息限定的范圍內(nèi)執(zhí)行應(yīng)用程序。
[0101]根據(jù)圖7所示的構(gòu)造例子，其中使用者認(rèn)證用的識(shí)別模式(注冊(cè)在一個(gè)圖像顯示裝置I中的識(shí)別模式)和針對(duì)每個(gè)使用者設(shè)定的應(yīng)用程序權(quán)限信息與另一個(gè)圖像顯示裝置(未示出)共享的情況也是可想到的。
[0102]操作輸入單元601由在圖像顯示裝置I中作為環(huán)境信息獲取單元504包含的環(huán)境傳感器和作為狀態(tài)信息獲取單元505包含的狀態(tài)傳感器構(gòu)成。使用者識(shí)別和認(rèn)證單元602可以通過(guò)使用可以使用環(huán)境傳感器和狀態(tài)傳感器從佩戴圖像顯示裝置I的使用者直接輸入的識(shí)別模式來(lái)進(jìn)行使用者識(shí)別和認(rèn)證處理。圖像顯示裝置I具有多種類型的環(huán)境傳感器和狀態(tài)傳感器，并且可以處理各種識(shí)別模式。
[0103]圖8示出由使用者識(shí)別和認(rèn)證單元602處理的識(shí)別模式與用于輸入識(shí)別模式的環(huán)境傳感器和狀態(tài)傳感器的組合的例子。
[0104]操作輸入單元601可以通過(guò)使用指向使用者的面部的內(nèi)側(cè)相機(jī)和當(dāng)與使用者的頭部或面部接觸時(shí)分別檢測(cè)肌電位和眼電位的肌電傳感器和眼電傳感器中的任意一種來(lái)檢測(cè)佩戴圖像顯示裝置I的使用者的注視位置或注視點(diǎn)的移動(dòng)。通過(guò)使用涉及使用者的注視位置或注視點(diǎn)的移動(dòng)的識(shí)別模式，使用者識(shí)別和認(rèn)證單元602可以基于與預(yù)先存儲(chǔ)的涉及注視位置或注視點(diǎn)的移動(dòng)的認(rèn)證模式的匹配度進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0105]當(dāng)圖像顯示裝置I是遮光型的時(shí)，由于使用者處于蒙住眼睛的狀態(tài)，或者相反，由于使用者的眼睛從外部隱藏起來(lái)，所以在輸入涉及注視位置或注視點(diǎn)的移動(dòng)的識(shí)別模式過(guò)程中沒(méi)有其他人通過(guò)其可以窺視的縫隙。即使當(dāng)圖像顯示裝置I是透過(guò)型的時(shí)，在輸入識(shí)別模式過(guò)程中使得顯示單元不透明也允許不向外部泄漏地輸入涉及注視位置或注視點(diǎn)的移動(dòng)的識(shí)別模式。即使當(dāng)在使用者的注視位置或注視點(diǎn)的移動(dòng)過(guò)程中更機(jī)密信息作為引導(dǎo)信息顯示在顯示面板509上時(shí)，也沒(méi)有泄漏引導(dǎo)信息的風(fēng)險(xiǎn)。
[0106]通過(guò)使用加速度傳感器、陀螺儀傳感器或指向使用者面部的相對(duì)側(cè)(即，指向外側(cè))的外側(cè)相機(jī)，操作輸入單元601還可以檢測(cè)使用者的頭部和身體的動(dòng)作，例如點(diǎn)頭、左右搖頭、前后移動(dòng)和跳動(dòng)等。通過(guò)使用涉及使用者的注視位置或注視點(diǎn)的移動(dòng)的識(shí)別模式，使用者識(shí)別和認(rèn)證單元602可以基于與預(yù)先存儲(chǔ)的頭部和身體的認(rèn)證模式的匹配度進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0107]操作輸入單元601還可以通過(guò)使用麥克風(fēng)檢測(cè)使用者的聲音。通過(guò)使用涉及使用者的聲音的識(shí)別模式，使用者識(shí)別和認(rèn)證單元602可以基于與預(yù)先存儲(chǔ)的聲音的認(rèn)證模式的匹配度進(jìn)行使用者識(shí)別和認(rèn)證處理。在本實(shí)施方案中，由于設(shè)置有兩個(gè)麥克風(fēng)，即，一個(gè)在圖像顯示裝置I的主體的左端附近，另一個(gè)在其右端附近，所以如上所述，通過(guò)與周圍噪音和其他人的說(shuō)話聲的分離而只可以認(rèn)出定位在中央的聲音(使用者的聲音)。
[0108]通過(guò)使用麥克風(fēng)，操作輸入單元601還可以以骨傳導(dǎo)信號(hào)的形式檢測(cè)使用者的說(shuō)話產(chǎn)生的聲音信息。通過(guò)使用涉及語(yǔ)音骨傳導(dǎo)信號(hào)的識(shí)別模式，使用者識(shí)別和認(rèn)證單元602可以基于與預(yù)先存儲(chǔ)的骨傳導(dǎo)信號(hào)的認(rèn)證模式的匹配度進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0109]通過(guò)使用指向使用者的面部的內(nèi)側(cè)相機(jī)，操作輸入單元601可以捕捉使用者的面部部分，例如眼睛、鼻子、嘴巴、眉毛和耳垂等。通過(guò)使用經(jīng)由對(duì)捕捉到的眼睛形狀、眼間距離、鼻子形狀、嘴巴形狀、嘴巴開/閉操作、眼睫毛、眉毛或耳垂等的使用者面部部分圖像進(jìn)行圖像處理而提取的面部部分識(shí)別模式(包含面部模式本身的模式)，使用者識(shí)別和認(rèn)證單元602基于與預(yù)先注冊(cè)的認(rèn)證模式的匹配度進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0110]操作輸入單元601也可以通過(guò)使用指向使用者的面部的內(nèi)側(cè)相機(jī)和當(dāng)與佩戴有圖像顯示裝置I的使用者的頭部或面部接觸時(shí)分別檢測(cè)肌電位和眼電位的肌電傳感器和眼電傳感器來(lái)檢測(cè)使用者的眨眼動(dòng)作。通過(guò)利用使用者的眨眼動(dòng)作模式(例如眨眼的次數(shù)、眨眼的頻率、眨眼間隔模式和左右眨眼的組合)，使用者識(shí)別和認(rèn)證單元602可以基于與預(yù)先存儲(chǔ)的認(rèn)證模式的匹配度進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0111]通過(guò)使用指向使用者的面部的相對(duì)側(cè)(即，指向外側(cè))的外側(cè)相機(jī)等，操作輸入單元601可以捕捉使用者的手、手指和指紋。通過(guò)使用涉及使用者的手或手指的形狀特征、手或手指的移動(dòng)(例如符號(hào)或姿勢(shì))或指紋的形狀特征的識(shí)別模式，使用者識(shí)別和認(rèn)證單元602可以基于與預(yù)先存儲(chǔ)的頭部和身體的認(rèn)證模式的匹配度進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0112]當(dāng)使用者具有手表、諸如戒指等飾品或卡等形式的經(jīng)認(rèn)證的設(shè)備時(shí)，操作輸入單元601可以例如通過(guò)使用非接觸式通訊或人體通訊接入經(jīng)認(rèn)證的設(shè)備，并且使用者識(shí)別和認(rèn)證單元602可以基于涉及從經(jīng)認(rèn)證的設(shè)備讀取的信息的認(rèn)證模式進(jìn)行使用者識(shí)別和認(rèn)證處理。[0113]圖8個(gè)別地示出在具有典型構(gòu)造的圖像顯示裝置I可以用于使用者識(shí)別和認(rèn)證處理的識(shí)別模式和用于獲取識(shí)別模式的傳感器類之間的對(duì)應(yīng)關(guān)系。然而，不僅是其中一個(gè)識(shí)別模式可以用于進(jìn)行使用者識(shí)別和認(rèn)證處理，而且兩個(gè)或更多個(gè)識(shí)別模式可以組合起來(lái)以實(shí)現(xiàn)更靈活和更高精度的使用者識(shí)別和認(rèn)證處理，從而可以提高安全性。
[0114]例如，涉及注視點(diǎn)移動(dòng)和眨眼動(dòng)作的組合的識(shí)別模式也可以用于使用者識(shí)別和認(rèn)證處理。例如，使用者通過(guò)將在他或她的視野內(nèi)從點(diǎn)A到點(diǎn)B的注視點(diǎn)的移動(dòng)與在點(diǎn)A和B之間的中間點(diǎn)C處的眨眼動(dòng)作組合創(chuàng)建識(shí)別模式。這種識(shí)別模式區(qū)別于單是從點(diǎn)A到點(diǎn)B的注視點(diǎn)移動(dòng)。因此，即使簡(jiǎn)單的注視點(diǎn)移動(dòng)模式被在使用者的后面或周圍的第三者識(shí)破，眨眼動(dòng)作插入移動(dòng)模式也可以使得難以假冒。從圖8可以看出，由于同一個(gè)傳感器設(shè)備可以用于檢測(cè)注視點(diǎn)和眨眼動(dòng)作，因此這兩種類型的組合也可以簡(jiǎn)化使用者識(shí)別和認(rèn)證處理。
[0115]圖像顯示裝置I的制造商或供貨商可以預(yù)先設(shè)置圖像顯示裝置I用于使用者識(shí)別和認(rèn)證處理的識(shí)別模式的類型，或者圖像顯示裝置I可以被構(gòu)造成使得使用者可以在購(gòu)買后在初始設(shè)置期間任意指定識(shí)別模式的類型。
[0116]用于輸入識(shí)別模式的一種可能的變形例是將只有使用者可以知道答案的測(cè)驗(yàn)或問(wèn)題呈現(xiàn)給使用者并且使用者通過(guò)輸入圖8所示的任意的識(shí)別模式回答的方法。即使當(dāng)測(cè)驗(yàn)顯示在顯示面板509上時(shí)，由于不能從外部看見測(cè)驗(yàn)的詳細(xì)內(nèi)容，所以也可以保持高的安全性。
[0117]C.引導(dǎo)信息的顯示
[0118]如上所述，當(dāng)使用者在使用圖像顯示裝置I的開始輸入識(shí)別模式時(shí)和當(dāng)使用者預(yù)先注冊(cè)使用者識(shí)別和認(rèn)證用的他或她的認(rèn)證模式時(shí)，為使用者輸入識(shí)別模式提供引導(dǎo)的引導(dǎo)信息顯示在顯示面板509上。因此，按照在顯示面板509上顯示的引導(dǎo)信息，使用者可以沒(méi)有錯(cuò)誤地進(jìn)行模式輸入操作。
[0119]涉及使用數(shù)字小鍵盤輸入個(gè)人識(shí)別碼的使用者認(rèn)證已經(jīng)被廣泛使用。然而，當(dāng)使用者在數(shù)字小鍵盤暴露到外面的機(jī)器(例如銀行或商店的自動(dòng)取款機(jī)(ATM))上進(jìn)行個(gè)人識(shí)別碼的輸入操作時(shí)，他或她通常不得不用他或她的身體遮住數(shù)字小鍵盤，或優(yōu)選安裝覆蓋數(shù)字小鍵盤的部件，從而使用者后面或周圍的第三者不能窺見個(gè)人識(shí)別碼。在任一種情況下，使用者都不得不以不自然的姿勢(shì)進(jìn)行個(gè)人識(shí)別碼的輸入操作，這很不方便并且可能導(dǎo)致錯(cuò)誤的輸入。
[0120]相比之下,根據(jù)本實(shí)施方案,如圖9A所示,顯示控制單元607在顯示面板509上顯示例如模擬數(shù)字小鍵盤的引導(dǎo)信息。然后，使用者可以通過(guò)順次按照他或她預(yù)先注冊(cè)的個(gè)人識(shí)別碼凝視引導(dǎo)信息中對(duì)應(yīng)的數(shù)字進(jìn)行輸入操作。圖9B示出其中使用者經(jīng)由圖9A所示的引導(dǎo)信息的顯示屏幕通過(guò)使用他或她的視線輸入個(gè)人識(shí)別碼的狀態(tài)。在圖示的例子中，使用者按O — 5 — O — 7的順序凝視這些數(shù)字以輸入個(gè)人識(shí)別碼“0507”。通過(guò)使用內(nèi)側(cè)相機(jī)、肌電傳感器或眼電傳感器，操作輸入單元601可以通過(guò)檢測(cè)使用者的注視點(diǎn)以什么順序通過(guò)數(shù)字小鍵盤來(lái)識(shí)別個(gè)人識(shí)別碼“0507”。
[0121]在本實(shí)施方案中，由于在顯示面板509上顯示的數(shù)字小鍵盤和使用者的視線從外部隱藏起來(lái)了，所以使用者后面或周圍的第三者不可能窺見個(gè)人識(shí)別碼的詳細(xì)內(nèi)容。
[0122]在圖9B中，使用內(nèi)側(cè)相機(jī)、肌電傳感器或眼電傳感器等檢測(cè)到的使用者的注視點(diǎn)移動(dòng)由虛線箭頭表示。如圖9B所示，顯示控制單元607可以適于以重合的方式在引導(dǎo)信息上顯示檢測(cè)到的使用者的注視點(diǎn)移動(dòng)。使用這種配置，通過(guò)觀看在顯示面板509的屏幕上的目前輸入結(jié)果，使用者可以核查識(shí)別模式是否如他或她本來(lái)想的適宜輸入那樣。
[0123]除了如圖9A所示的以矩陣狀按升序或降序規(guī)則地排列數(shù)字O?9之外，還可以如圖1OA所示的按基于數(shù)字的大小關(guān)系的數(shù)字順序或位置不規(guī)則地排列這些數(shù)字。圖1OB還示出其中使用者經(jīng)由圖1OA所示的引導(dǎo)信息的顯示屏幕通過(guò)使用他或她的視線輸入個(gè)人識(shí)別碼的狀態(tài)。在圖示的例子中，使用者按O — 5 — O — 7的順序凝視這些數(shù)字以輸入個(gè)人識(shí)別碼“0507”。由于使用者的視線從外部隱藏起來(lái)了并且各數(shù)字的位置不規(guī)則，所以這使得使用者后面或周圍的第三者更難窺見個(gè)人識(shí)別碼。
[0124]在圖1OB中，使用內(nèi)側(cè)相機(jī)、肌電傳感器或眼電傳感器等檢測(cè)到的使用者的注視點(diǎn)移動(dòng)由虛線箭頭表示。如圖1OB所示，顯示控制單元607還可以以重合的方式在引導(dǎo)信息上顯示使用者的注視點(diǎn)的移動(dòng)。使用這種配置，通過(guò)觀看在顯示面板509的屏幕上的輸入結(jié)果，使用者可以核查識(shí)別模式是否如他或她本來(lái)想的適宜輸入那樣。
[0125]作為圖1OA所示的引導(dǎo)信息的變形例，如圖1OC所示，不僅是數(shù)字順序或位置，而且字體大小也可以不規(guī)則。
[0126]對(duì)于ATM或門禁系統(tǒng)，為了最小化個(gè)人識(shí)別碼被使用者后面的人盜取或從使用者的移動(dòng)和姿勢(shì)被識(shí)破的可能性，存在一種其中數(shù)字鍵的位置可被移動(dòng)或可被改變的技術(shù)(參見例如日本未審查專利申請(qǐng)公開N0.6-318186)。在這種情況下，每隔預(yù)定次數(shù)更新數(shù)字鍵的位置的模式使得可以降低隨著重復(fù)輸入操作而識(shí)破個(gè)人識(shí)別碼的風(fēng)險(xiǎn)。然而，在位置的模式更新后，使用者不得不找到他或她希望輸入的數(shù)字鍵的新的位置，這非常麻煩。相比之下，在頭戴式圖像顯示裝置I的情況下，如圖1OA所示的數(shù)字的位置模式從外部隱藏起來(lái)了，并且利用使用者的視線的輸入操作也從外部隱藏起來(lái)了。因此，第三者非常難于識(shí)破個(gè)人識(shí)別碼，并且可以不更新數(shù)字的位置模式。此外，使用者也可以通過(guò)使用他或她常用的視線移動(dòng)(即，通過(guò)每次重復(fù)相同的注視點(diǎn)的移動(dòng)模式)進(jìn)行成功的認(rèn)證處理。
[0127]除了使用者通過(guò)以上述方式順次凝視對(duì)應(yīng)的數(shù)字來(lái)輸入個(gè)人識(shí)別碼之外，使用者通過(guò)在他或她的視野內(nèi)移動(dòng)他或她的視線任意地繪制的軌跡也可以用來(lái)進(jìn)行使用者識(shí)別和認(rèn)證處理。然而，對(duì)于任何使用者來(lái)說(shuō)，每次他或她進(jìn)行使用者識(shí)別和認(rèn)證處理時(shí)，一般很難通過(guò)移動(dòng)他或她的視線而在空白區(qū)中繪制相同的軌跡。因此，也可以顯示作為設(shè)定視線的目標(biāo)的多個(gè)圖像對(duì)象被分散在其中的引導(dǎo)信息。
[0128]圖1lA示出包括諸如水果、蔬菜和面包等食物、動(dòng)物、昆蟲和電子設(shè)備等的多個(gè)圖像對(duì)象被分散在其中的引導(dǎo)信息的例子。圖1lB示出使用者經(jīng)由圖1lA所示的引導(dǎo)信息的顯示屏幕通過(guò)移動(dòng)他或她的視線繪制所希望的軌跡的狀態(tài)。在圖示的例子中，使用者通過(guò)按大象一桃子一甜瓜一草莓一胡蘿卜的順序移動(dòng)他或她的視線來(lái)繪制大致M狀的軌跡?；谶@種軌跡模式，使用者識(shí)別和認(rèn)證單元602可以進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0129]使用圖1lA所示的引導(dǎo)信息的顯示屏幕，使用者可以通過(guò)按大象、桃子、甜瓜、草莓和胡蘿卜的順序以各圖像對(duì)象為目標(biāo)移動(dòng)他或她的視線而每次都繪制具有基本上相同大小的字母“M”。另一方面，在沒(méi)有作為視線目標(biāo)的圖像對(duì)象存在的空白視野內(nèi)，不論是字母“M”還是任意其他字母，使用者都很難通過(guò)移動(dòng)他或她的注視點(diǎn)來(lái)繪制所希望的形狀。使用者也可以使用跟蹤利用只有他或她可以知道的判定標(biāo)準(zhǔn)(例如，他或她喜歡的物、圖或出現(xiàn)在某個(gè)故事中的物，或通過(guò)他或她自己的聯(lián)想容易記起的物)選擇的圖像對(duì)象的跟蹤模式。通過(guò)這樣做，與使用沒(méi)有生機(jī)的密碼的情況相比，更難忘記跟蹤模式(或者，即使忘記也更容易記起)。如圖1lA和圖1lB所示的引導(dǎo)圖像(即，引導(dǎo)信息)從外部隱藏起來(lái)，因而使用者后面或周圍的第三者很難識(shí)破，并且使用者通過(guò)他或她的視線繪制的跟蹤模式也難以識(shí)破。
[0130]在圖1lB中，使用內(nèi)側(cè)相機(jī)、肌電傳感器或眼電傳感器等檢測(cè)到的使用者的注視點(diǎn)移動(dòng)由虛線箭頭表示。如圖1lB所示，顯示控制單元607也可以以重合的方式在引導(dǎo)信息上顯示使用者的注視點(diǎn)的移動(dòng)。使用這種配置，通過(guò)觀看目前在顯示面板509的屏幕上的目前輸入結(jié)果，使用者可以核查識(shí)別模式是否如他或她本來(lái)想的適宜輸入那樣。
[0131]在圖1lA所示的引導(dǎo)信息中，如上所述，包括諸如水果、蔬菜和面包等食物、動(dòng)物、昆蟲和電子機(jī)器等的圖像對(duì)象作為視線的目標(biāo)排列在使用者的視野中。然而，也可以使用其他各種圖像對(duì)象。例如，可以使用字母表、平假名、片假名和日本漢字等隨機(jī)排列的引導(dǎo)信息(未示出)。在這種情況下，使用者可以例如通過(guò)利用他或她的視線跟蹤表示他或她喜歡的話或容易記起的詞的字符串來(lái)輸入注視點(diǎn)的軌跡模式?？蛇x擇地，如圖12所示，可以使用其中隨機(jī)地(或規(guī)則地)排列有大量面部圖像的引導(dǎo)信息。在這種情況下，使用者可以例如通過(guò)利用他或她的視線跟蹤他或她喜歡的面部來(lái)輸入注視點(diǎn)的軌跡模式。可選擇地，如果使用者的熟人、親戚或家庭成員的面部圖像隨機(jī)地插入到引導(dǎo)信息中，那么更容易記起注視點(diǎn)的軌跡模式。
[0132]在多功能信息終端(例如，智能手機(jī))中，例如，圖鎖技術(shù)是已知的(參見例如美國(guó)專利N0.8，136，053)。在這種技術(shù)中，例如，使用者在以矩陣狀顯示在觸摸板上的各點(diǎn)之間以優(yōu)選的順序移動(dòng)他或她的手指，并且存儲(chǔ)手指是如何移動(dòng)的。隨后，當(dāng)再現(xiàn)相同的手指移動(dòng)時(shí)，允許使用者使用該設(shè)備。然而，由于在觸摸板上顯示的各點(diǎn)和使用者在觸摸板上的移動(dòng)動(dòng)作都暴露到外部，所以使用者后面或周圍的第三者窺見和識(shí)破相同移動(dòng)的可能性仍然存在。相比之下，根據(jù)本實(shí)施方案，由于在顯示面板509上顯示的引導(dǎo)信息(作為使用者視線的目標(biāo)的排列的各圖像對(duì)象)和使用者的視線的位置都從外部隱藏起來(lái)了，所以沒(méi)有第三者可以通過(guò)其窺視的縫隙。因此，使用者識(shí)別和認(rèn)證處理可以以安全的方式進(jìn)行。
[0133]到目前為止，說(shuō)明了當(dāng)將涉及注視位置或注視點(diǎn)的移動(dòng)等的使用者的視線用作使用者識(shí)別和認(rèn)證處理的識(shí)別模式時(shí)的引導(dǎo)信息的例子。當(dāng)使用可以由圖像顯示裝置I獲取的其他類型的識(shí)別模式時(shí)，顯示引導(dǎo)信息也使得使用者更容易沒(méi)有錯(cuò)誤地輸入識(shí)別模式。
[0134]例如，當(dāng)輸入使用者的頭部的識(shí)別模式，例如他或她的頭部左右搖動(dòng)時(shí)，如圖13A所示，人頭部的模型作為引導(dǎo)信息顯示在顯示面板509上。當(dāng)通過(guò)使用加速度傳感器、陀螺儀傳感器或外側(cè)相機(jī)等檢測(cè)到使用者向前歪他或她的頭部(即，點(diǎn)頭)時(shí)，如圖13B所示，由附圖標(biāo)記1301表示的向前歪頭的姿勢(shì)和由附圖標(biāo)記1302表示的歪頭的方向由虛線箭頭表示。當(dāng)檢測(cè)到使用者向右歪他或她的頭部時(shí)，如圖13C所示，由附圖標(biāo)記1303表示的向右歪頭的姿勢(shì)和由附圖標(biāo)記1304表示的歪頭的方向由虛線箭頭表示。當(dāng)檢測(cè)到使用者繞著其偏航軸逆時(shí)針轉(zhuǎn)動(dòng)他或她的頭部時(shí)，如圖13D所示，由附圖標(biāo)記1305表示的繞著偏航軸轉(zhuǎn)動(dòng)頭部的姿勢(shì)和由附圖標(biāo)記1306表示的頭部繞著偏航軸轉(zhuǎn)動(dòng)的方向由虛線箭頭表示。通過(guò)觀看在顯示面板509的屏幕上的目前輸入結(jié)果，使用者可以核查識(shí)別模式是否如他或她本來(lái)想的輸入那樣。[0135]當(dāng)由使用者輸出的聲音或語(yǔ)音骨傳導(dǎo)信號(hào)作為使用者識(shí)別和認(rèn)證的識(shí)別模式輸入時(shí)，如圖14A所示，由使用者預(yù)先注冊(cè)的的語(yǔ)音文本和包括假想文本的多個(gè)文本作為引導(dǎo)信息顯示在顯示面板509上。當(dāng)經(jīng)由麥克風(fēng)輸入的聲音被認(rèn)出時(shí)，認(rèn)出語(yǔ)音的文本如圖14B中的附圖標(biāo)記1401表示那樣突出(或以強(qiáng)調(diào)方式顯示)，從而表明已經(jīng)認(rèn)出涉及使用者的聲音的識(shí)別模式。通過(guò)觀看在顯示面板509的屏幕上的目前輸入結(jié)果，使用者可以核查聲音是否如他或她本來(lái)想的認(rèn)出那樣。
[0136]當(dāng)使用者的左眼和右眼的其中一個(gè)或兩個(gè)的眨眼動(dòng)作作為使用者識(shí)別和認(rèn)證的識(shí)別模式輸入時(shí)，如圖15A所示，顯示雙眼打開的初始狀態(tài)的圖像1501作為引導(dǎo)信息顯示在顯示面板509上。然后，使用內(nèi)側(cè)相機(jī)、肌電傳感器或眼電傳感器等每次檢測(cè)到使用者眨動(dòng)左眼和右眼的其中一個(gè)或兩個(gè)的動(dòng)作時(shí)，如圖15B所示，表示檢測(cè)到眨眼動(dòng)作的圖標(biāo)1502按時(shí)間順序顯示。在圖15B所示的例子中，紙面的上下方向?qū)?yīng)于時(shí)間軸的方向，并且圖15B表明檢測(cè)到按眨動(dòng)左眼、眨動(dòng)右眼和眨動(dòng)雙眼的順序的眨眼動(dòng)作。使用這種配置，通過(guò)觀看在顯示面板509的屏幕上的目前輸入結(jié)果，使用者可以核查眨眼的識(shí)別模式是否如他或她本來(lái)想的適宜輸入那樣。
[0137]如上所述，涉及注視點(diǎn)移動(dòng)和眨眼動(dòng)作的組合的識(shí)別模式也可以用來(lái)進(jìn)行使用者識(shí)別和認(rèn)證處理。在這種情況下，如圖16中的附圖標(biāo)記1601、1602和1603所示，可以沿著注視點(diǎn)的軌跡模式在檢測(cè)到眨動(dòng)雙眼、眨動(dòng)左眼和眨動(dòng)右眼的動(dòng)作的位置顯示表示眨眼動(dòng)作的圖標(biāo)，從而表明檢測(cè)到眨眼動(dòng)作。
[0138]在其中圖像顯示裝置I使用具有使用者佩戴或攜帶的手表、戒指或卡形式的經(jīng)認(rèn)證的設(shè)備的人體通訊進(jìn)行使用者識(shí)別和認(rèn)證處理的情況下，當(dāng)使用者沒(méi)有佩戴或沒(méi)有攜帶它時(shí)，如圖17中的附圖標(biāo)記1701、圖18中的附圖標(biāo)記1801或圖19中的附圖標(biāo)記1901所示，在顯示面板509上顯示用于提示使用者佩戴或攜帶經(jīng)認(rèn)證的設(shè)備的引導(dǎo)信息。
[0139]因此，根據(jù)本實(shí)施方案，使用者在他或她的頭部或面部上佩戴圖像顯示裝置I以進(jìn)行使用者識(shí)別和認(rèn)證處理的識(shí)別模式可以從通常包含在圖像顯示裝置I中的設(shè)備輸入，從而可以以簡(jiǎn)易的方式和低成本地進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0140]圖20是示出在圖像顯示裝置I中預(yù)先注冊(cè)用于使用者識(shí)別和認(rèn)證處理的認(rèn)證模式的處理過(guò)程的流程圖。圖示的過(guò)程自動(dòng)地或基于使用者設(shè)定的操作啟動(dòng)，例如，當(dāng)圖像顯示裝置I第一次通電時(shí)(或者，當(dāng)沒(méi)有注冊(cè)識(shí)別模式時(shí)每次通電時(shí))。
[0141]首先，使用者識(shí)別和認(rèn)證單元602指示顯示控制單元607在顯示面板509上顯示核查使用者是否開始注冊(cè)用于使用者識(shí)別和認(rèn)證處理的認(rèn)證模式的確認(rèn)屏幕。然后，處理進(jìn)入步驟S2001。當(dāng)使用者不想注冊(cè)認(rèn)證模式(在步驟S2001中的否)時(shí)，所有的后續(xù)處理步驟都跳過(guò)并且本處理過(guò)程結(jié)束。
[0142]另一方面，當(dāng)使用者想注冊(cè)認(rèn)證模式(在步驟S2001中的是)時(shí)，在步驟S2002中顯示認(rèn)證模式注冊(cè)開始屏幕(未示出)。配置也可以是:使得使用者可以在認(rèn)證模式注冊(cè)開始屏幕上選擇將用于使用者識(shí)別和認(rèn)證處理的識(shí)別模式的類型。
[0143]在步驟S2003中，使用者識(shí)別和認(rèn)證單元602指示顯示控制單元607在顯示面板509上顯示對(duì)應(yīng)于識(shí)別模式的類型的引導(dǎo)信息。在步驟S2004中，使用者識(shí)別和認(rèn)證單元602指示操作輸入單元601接收對(duì)應(yīng)于識(shí)別模式的類型的傳感器的輸入，從而開始接收由使用者輸入的認(rèn)證模式。[0144]使用者向圖像顯示裝置I輸入他或她想注冊(cè)的認(rèn)證模式。當(dāng)開始輸入接收的傳感器檢測(cè)到使用者輸入的認(rèn)證模式時(shí)(在步驟S2005中)，操作輸入單元601向使用者識(shí)別和認(rèn)證單元602輸出檢測(cè)的結(jié)果。
[0145]在步驟S2006中，使用者識(shí)別和認(rèn)證單元602在顯示有引導(dǎo)信息的顯示面板509的屏幕上顯示從操作輸入單元601輸入的認(rèn)證模式。通過(guò)顯示屏幕，使用者可以核查他或她想注冊(cè)的認(rèn)證模式是否如本來(lái)想的輸入那樣。
[0146]當(dāng)使用者給出表明通過(guò)使用輸入操作單元502等完成認(rèn)證模式的輸入的通知時(shí)或者當(dāng)在使用者停止輸入后經(jīng)過(guò)預(yù)定量的時(shí)間并且認(rèn)出輸入操作完成時(shí)(在步驟S2007中的是)，使用者識(shí)別和認(rèn)證單元602指示認(rèn)證模式注冊(cè)單元603注冊(cè)從操作輸入單元601輸入的認(rèn)證模式。在步驟S2008中，使用者識(shí)別和認(rèn)證單元602指示顯示控制單元607在顯示面板509上顯示表明認(rèn)證模式注冊(cè)處理完成的信息。此后，本處理過(guò)程結(jié)束。
[0147]圖21是示出圖像顯示裝置I進(jìn)行的使用者識(shí)別和認(rèn)證處理的過(guò)程的流程圖。例如，一旦認(rèn)證模式注冊(cè)在圖像顯示裝置I中，那么圖像顯示裝置I每次通電或每次檢測(cè)到使用者在他或她的頭部或面部上佩戴圖像顯示裝置I時(shí)自動(dòng)地啟動(dòng)圖示的過(guò)程。
[0148]首先,在步驟S2101中，使用者識(shí)別和認(rèn)證單元602指示顯示控制單元607在顯示面板509上顯示表明認(rèn)證開始的屏幕。
[0149]認(rèn)證開始屏幕未示出。例如，當(dāng)使用者已經(jīng)注冊(cè)多種類型的識(shí)別模式時(shí)，圖像顯示裝置I可以被構(gòu)造成允許使用者在認(rèn)證開始屏幕上選擇將要用于使用者識(shí)別和認(rèn)證處理的識(shí)別模式的類型。
[0150]在步驟S2102中，使用者識(shí)別和認(rèn)證單元602指示顯示控制單元607在顯示面板509上顯示對(duì)應(yīng)于識(shí)別模式的類型的引導(dǎo)信息。
[0151]在步驟S2103中，使用者識(shí)別和認(rèn)證單元602指示操作輸入單元601接收對(duì)應(yīng)于識(shí)別模式的類型的傳感器的輸入，從而開始接收由使用者輸入的識(shí)別模式。
[0152]在利用顯示的引導(dǎo)信息的同時(shí)，使用者基于他或她的記憶輸入識(shí)別模式。當(dāng)檢測(cè)到由使用者從已經(jīng)開始輸入接收的傳感器輸入的識(shí)別模式時(shí)(在步驟S2104中)，操作輸入單元601向使用者識(shí)別和認(rèn)證單元602輸出檢測(cè)的結(jié)果。
[0153]在步驟S2105中，使用者識(shí)別和認(rèn)證單元602在顯示有引導(dǎo)信息的顯示面板509的屏幕上顯示從操作輸入單元601輸入的識(shí)別模式。通過(guò)顯示屏幕，使用者可以核查他或她記憶的識(shí)別模式是否如本來(lái)想的輸入那樣。
[0154]在步驟S2106中，使用者識(shí)別和認(rèn)證單元602將輸入的識(shí)別模式與通過(guò)圖20所示的過(guò)程預(yù)先注冊(cè)的認(rèn)證模式作比較，并且基于輸入的識(shí)別模式是否與認(rèn)證模式匹配來(lái)核查使用者的真實(shí)性。
[0155]在步驟S2106中制定的確定用的閾值可以在一定程度上是大概的范圍。例如，該閾值可以調(diào)節(jié)到可以制定家庭中的確定或可以制定使用者是成人或小孩的確定的程度。當(dāng)閾值設(shè)定為大概的值時(shí)，安全性降低，但是優(yōu)點(diǎn)在于，例如，可以降低直到使用者識(shí)別和認(rèn)證處理完成時(shí)花費(fèi)的時(shí)間。
[0156]當(dāng)在輸入的識(shí)別模式和預(yù)先注冊(cè)的認(rèn)證模式之間的匹配度超出預(yù)定的閾值時(shí)(在步驟S2106中的是)，使用者識(shí)別和認(rèn)證單元602認(rèn)為使用者識(shí)別或認(rèn)證處理是成功的，并且在步驟S2107中顯示認(rèn)證完成屏幕(未示出)。此后，本處理過(guò)程結(jié)束。[0157]當(dāng)使用者識(shí)別和認(rèn)證處理成功時(shí)，使用者識(shí)別和認(rèn)證單元602向應(yīng)用程序執(zhí)行允許單元605報(bào)告結(jié)果。在從使用者識(shí)別和認(rèn)證單元602接收表明使用者識(shí)別和認(rèn)證處理已經(jīng)成功的結(jié)果后，應(yīng)用程序執(zhí)行允許單元605允許執(zhí)行關(guān)于使用者隨后給出的應(yīng)用程序執(zhí)行指令的應(yīng)用程序。
[0158]表明認(rèn)證是成功的結(jié)果在使用者在他或她的頭部或面部上持續(xù)佩戴圖像顯示裝置I的同時(shí)可以保持有效?？蛇x擇地，即使在使用者持續(xù)佩戴圖像顯示裝置I時(shí)，每次經(jīng)過(guò)一定時(shí)間或到達(dá)視聽內(nèi)容分?jǐn)?，仍然可以再次發(fā)出輸入識(shí)別模式的要求以進(jìn)行使用者識(shí)別和認(rèn)證處理。
[0159]當(dāng)在輸入的識(shí)別模式和預(yù)先注冊(cè)的認(rèn)證模式之間的匹配度低于預(yù)定的閾值時(shí)(在步驟S2106中的否)，使用者識(shí)別和認(rèn)證單元602認(rèn)為使用者識(shí)別或認(rèn)證處理是不成功的，并且在步驟S2108中顯示認(rèn)證失敗屏幕(未示出)。隨后，處理回到再次接收由使用者輸入的識(shí)別模式的步驟S2104，并且重復(fù)執(zhí)行使用者識(shí)別和認(rèn)證處理。然而，當(dāng)認(rèn)證處理的失敗次數(shù)到達(dá)預(yù)定次數(shù)時(shí)或者當(dāng)圖21所示的過(guò)程開始后在預(yù)定時(shí)間內(nèi)沒(méi)有完成認(rèn)證處理時(shí)，認(rèn)為使用者的認(rèn)證失敗，并且本處理過(guò)程結(jié)束。
[0160]當(dāng)使用者識(shí)別和認(rèn)證處理失敗時(shí)，使用者識(shí)別和認(rèn)證單元602向應(yīng)用程序執(zhí)行允許單元605報(bào)告結(jié)果。在從使用者識(shí)別和認(rèn)證單元602接收表明使用者識(shí)別和認(rèn)證處理失敗的結(jié)果后，應(yīng)用程序執(zhí)行允許單元605拒絕執(zhí)行關(guān)于使用者隨后給出的應(yīng)用程序執(zhí)行指令的應(yīng)用程序。
[0161]因此，根據(jù)本實(shí)施方案，基于由使用者直接輸入的識(shí)別模式，圖像顯示裝置I以簡(jiǎn)易的方式和低成本地進(jìn)行使用者識(shí)別和認(rèn)證處理，并且基于使用者識(shí)別和認(rèn)證處理的結(jié)果，圖像顯示裝置I可以允許或拒絕執(zhí)行應(yīng)用程序。
[0162]本文公開的技術(shù)也可以具有以下構(gòu)成。
[0163](I) 一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置，所述圖像顯示裝置包括:
[0164]構(gòu)造成顯示從所述使用者側(cè)看得見的內(nèi)側(cè)圖像的顯示單元；
[0165]構(gòu)造成從所述使用者輸入識(shí)別模式的輸入單元；
[0166]構(gòu)造成核查所述識(shí)別模式的核查單元；以及
[0167]構(gòu)造成基于由所述核查單元所核查的結(jié)果來(lái)控制所述圖像顯示裝置的控制單元。
[0168](2)根據(jù)(I)所述的圖像顯示裝置，其中所述核查單元核查所述使用者的真實(shí)性，以及
[0169]基于所述使用者是否是真實(shí)的，所述控制單元確定是否在所述圖像顯示裝置上執(zhí)行預(yù)定的處理。
[0170](3)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成預(yù)先注冊(cè)真實(shí)的使用者經(jīng)由所述輸入單元輸入的認(rèn)證模式的認(rèn)證模式注冊(cè)單元，
[0171]其中所述核查單元基于所述使用者經(jīng)由所述輸入單元輸入的識(shí)別模式和在所述認(rèn)證模式注冊(cè)單元中預(yù)先注冊(cè)的認(rèn)證模式之間的匹配度核查所述使用者的真實(shí)性。
[0172](4)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成檢測(cè)所述使用者的視線的視線檢測(cè)單元，
[0173]其中所述輸入單元輸入基于從所述視線檢測(cè)單元獲取的所述使用者的注視點(diǎn)位置或注視點(diǎn)的移動(dòng)的識(shí)別模式。
[0174](5)根據(jù)(4)所述的圖像顯示裝置，其中所述視線檢測(cè)單元包括能夠拍攝所述使用者的眼睛的內(nèi)側(cè)相機(jī)、肌電傳感器和眼電傳感器中的至少一個(gè)。
[0175](6)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成檢測(cè)佩戴所述圖像顯示裝置的使用者的頭部或身體的移動(dòng)的運(yùn)動(dòng)檢測(cè)單元，
[0176]其中所述輸入單元輸入基于從所述運(yùn)動(dòng)檢測(cè)單元獲取的所述使用者的頭部或身體的移動(dòng)的識(shí)別模式。
[0177](7)根據(jù)(6)所述的圖像顯示裝置，其中所述運(yùn)動(dòng)檢測(cè)單元包括加速度傳感器、陀螺儀傳感器和相機(jī)中的至少一個(gè)。
[0178](8)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成檢測(cè)所述使用者發(fā)出的聲音的聲音檢測(cè)單元，
[0179]其中所述輸入單元輸入基于從所述聲音檢測(cè)單元獲取的聲音的識(shí)別模式。
[0180](9)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成檢測(cè)所述使用者發(fā)聲時(shí)產(chǎn)生的語(yǔ)音骨傳導(dǎo)信號(hào)的骨傳導(dǎo)信號(hào)檢測(cè)單元，
[0181]其中所述輸入單元輸入基于從所述骨傳導(dǎo)信號(hào)檢測(cè)單元獲取的語(yǔ)音骨傳導(dǎo)信號(hào)的識(shí)別模式。
[0182](10)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成檢測(cè)所述使用者的面部或面部部分的形狀特征的特征檢測(cè)單元，
[0183]其中所述輸入單元輸入基于所述使用者的面部或面部部分的形狀特征的識(shí)別模式。
[0184](11)根據(jù)(10)所述的圖像顯示裝置，其中所述特征檢測(cè)單元檢測(cè)所述使用者的眼睛形狀、眼間距離、鼻子形狀、嘴巴形狀、嘴巴開/閉操作、眼睫毛、眉毛和耳垂的形狀特征中的至少一個(gè)。
[0185](12)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成檢測(cè)所述使用者的眨眼動(dòng)作的眨眼檢測(cè)單元，
[0186]其中所述輸入單元輸入基于從所述眨眼檢測(cè)單元獲取的所述使用者的眨眼的識(shí)別模式。
[0187](13)根據(jù)(12)所述的圖像顯示裝置，其中所述眨眼檢測(cè)單元包括能夠拍攝所述使用者的眼睛的內(nèi)側(cè)相機(jī)、肌電傳感器和眼電傳感器中的至少一個(gè)。
[0188](14)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成檢測(cè)所述使用者的手、手指或指紋的形狀特征的特征檢測(cè)單元，
[0189]其中所述輸入單元輸入基于所述使用者的手、手指或指紋的形狀特征的識(shí)別模式。
[0190](15)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成與由所述使用者佩戴或攜帶在他或她身上的經(jīng)認(rèn)證的設(shè)備進(jìn)行人體通訊并且從所述經(jīng)認(rèn)證的設(shè)備讀取信息的人體通訊單元，
[0191]其中所述輸入單元輸入基于由所述人體通訊單元從所述經(jīng)認(rèn)證的設(shè)備讀取的信息的識(shí)別模式。
[0192](16)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成在所述顯示單元上顯示為所述使用者經(jīng)由所述輸入單元輸入識(shí)別模式的操作提供引導(dǎo)的引導(dǎo)信息的引導(dǎo)信息顯示單元。
[0193](17)根據(jù)(3)所述的圖像顯示裝置，還包括構(gòu)造成當(dāng)所述使用者在所述認(rèn)證模式注冊(cè)單元中預(yù)先注冊(cè)認(rèn)證模式時(shí)在所述顯示單元上顯示為輸入認(rèn)證模式的操作提供引導(dǎo)的引導(dǎo)信息的引導(dǎo)信息顯示單元。
[0194](18)根據(jù)(I)所述的圖像顯示裝置，還包括構(gòu)造成在所述顯示單元上顯示所述使用者經(jīng)由所述輸入單元輸入識(shí)別模式的結(jié)果的輸入結(jié)果顯示單元。
[0195](19) 一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置的圖像顯示方法，所述圖像顯示方法包括:
[0196]從所述使用者輸入識(shí)別模式；
[0197]核查所述識(shí)別模式；以及
[0198]基于核查的結(jié)果來(lái)控制所述圖像顯示裝置。
[0199](20) 一種以計(jì)算機(jī)可讀格式寫成而在計(jì)算機(jī)上控制佩戴在使用者的頭部或面部上使用的圖像顯示裝置的操作的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序使得所述計(jì)算機(jī)具有以下功倉(cāng)泛:
[0200]顯示從所述使用者側(cè)看得見的內(nèi)側(cè)圖像的顯示單元；
[0201]從所述使用者輸入識(shí)別模式的輸入單元；
[0202]核查所述識(shí)別模式的核查單元；以及
[0203]基于由所述核查單元所核查的結(jié)果來(lái)控制所述圖像顯示裝置的控制單元。
[0204]以上通過(guò)舉例的方式說(shuō)明了本文公開的技術(shù)，并且本文說(shuō)明的內(nèi)容不應(yīng)被解釋為對(duì)本發(fā)明的限制。應(yīng)該為了理解本文公開的技術(shù)的實(shí)質(zhì)而解釋所附權(quán)利要求的范圍。
[0205]本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依據(jù)設(shè)計(jì)要求和其他因素，可以在本發(fā)明所附的權(quán)利要求書或其等同物的范圍內(nèi)進(jìn)行各種修改、組合、次組合以及改變。
【權(quán)利要求】
1.一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置，所述圖像顯示裝置包括: 構(gòu)造成顯示從所述使用者側(cè)看得見的內(nèi)側(cè)圖像的顯示單元； 構(gòu)造成從所述使用者輸入識(shí)別模式的輸入單元； 構(gòu)造成核查所述識(shí)別模式的核查單元；以及 構(gòu)造成基于由所述核查單元所核查的結(jié)果來(lái)控制所述圖像顯示裝置的控制單元。
2.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其中 所述核查單元核查所述使用者的真實(shí)性，以及 基于所述使用者是否是真實(shí)的，所述控制單元確定是否在所述圖像顯示裝置上執(zhí)行預(yù)定的處理。
3.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成預(yù)先注冊(cè)真實(shí)的使用者經(jīng)由所述輸入單元輸入的認(rèn)證模式的認(rèn)證模式注冊(cè)單元， 其中所述核查單元基于所述使用者經(jīng)由所述輸入單元輸入的識(shí)別模式和在所述認(rèn)證模式注冊(cè)單元中預(yù)先注冊(cè)的認(rèn)證模式之間的匹配度核查所述使用者的真實(shí)性。
4.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成檢測(cè)所述使用者的視線的視線檢測(cè)單元， 其中所述輸入單元輸入基于從所述視線檢測(cè)單元獲取的所述使用者的注視點(diǎn)位置或注視點(diǎn)的移動(dòng)的識(shí)別模式。
5.根據(jù)權(quán)利要求4所述的圖像顯示裝置，其中 所述視線檢測(cè)單元包括能夠拍攝所述使用者的眼睛的內(nèi)側(cè)相機(jī)、肌電傳感器和眼電傳感器中的至少一個(gè)。
6.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成檢測(cè)佩戴所述圖像顯示裝置的使用者的頭部或身體的移動(dòng)的運(yùn)動(dòng)檢測(cè)單元，其中所述輸入單元輸入基于從所述運(yùn)動(dòng)檢測(cè)單元獲取的所述使用者的頭部或身體的移動(dòng)的識(shí)別模式。
7.根據(jù)權(quán)利要求6所述的圖像顯示裝置，其中 所述運(yùn)動(dòng)檢測(cè)單元包括加速度傳感器、陀螺儀傳感器和相機(jī)中的至少一個(gè)。
8.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成檢測(cè)所述使用者發(fā)出的聲音的聲音檢測(cè)單元， 其中所述輸入單兀輸入基于從所述聲音檢測(cè)單兀獲取的聲音的識(shí)別模式。
9.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成檢測(cè)所述使用者發(fā)聲時(shí)產(chǎn)生的語(yǔ)音骨傳導(dǎo)信號(hào)的骨傳導(dǎo)信號(hào)檢測(cè)單元， 其中所述輸入單元輸入基于從所述骨傳導(dǎo)信號(hào)檢測(cè)單元獲取的語(yǔ)音骨傳導(dǎo)信號(hào)的識(shí)別模式。
10.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成檢測(cè)所述使用者的面部或面部部分的形狀特征的特征檢測(cè)單元， 其中所述輸入單元輸入基于所述使用者的面部或面部部分的形狀特征的識(shí)別模式。
11.根據(jù)權(quán)利要求10所述的圖 像顯示裝置，其中 所述特征檢測(cè)單元檢測(cè)所述使用者的眼睛形狀、眼間距離、鼻子形狀、嘴巴形狀、嘴巴開/閉操作、眼睫毛、眉毛和耳垂的形狀特征中的至少一個(gè)。
12.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成檢測(cè)所述使用者的眨眼動(dòng)作的眨眼檢測(cè)單元， 其中所述輸入單元輸入基于從所述眨眼檢測(cè)單元獲取的所述使用者的眨眼的識(shí)別模式。
13.根據(jù)權(quán)利要求12所述的圖像顯示裝置，其中 所述眨眼檢測(cè)單元包括能夠拍攝所述使用者的眼睛的內(nèi)側(cè)相機(jī)、肌電傳感器和眼電傳感器中的至少一個(gè)。
14.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成檢測(cè)所述使用者的手、手指或指紋的形狀特征的特征檢測(cè)單元， 其中所述輸入單元輸入基于所述使用者的手、手指或指紋的形狀特征的識(shí)別模式。
15.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成與由所述使用者佩戴或攜帶在他或她身上的經(jīng)認(rèn)證的設(shè)備進(jìn)行人體通訊并且從所述經(jīng)認(rèn)證的設(shè)備讀取信息的人體通訊單元， 其中所述輸入單元輸入基于由所述人體通訊單元從所述經(jīng)認(rèn)證的設(shè)備讀取的信息的識(shí)別模式。
16.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成在所述顯示單元上顯示為所述使用者經(jīng)由所述輸入單元輸入識(shí)別模式的操作提供引導(dǎo)的引導(dǎo)信息的引導(dǎo)信息顯示單元。
17.根據(jù)權(quán)利要求3所述的圖像顯示裝置，還包括 構(gòu)造成當(dāng)所述使用者在所述認(rèn)證模式注冊(cè)單元中預(yù)先注冊(cè)認(rèn)證模式時(shí)在所述顯示單元上顯示為輸入認(rèn)證模式的操作提供引導(dǎo)的引導(dǎo)信息的引導(dǎo)信息顯示單元。
18.根據(jù)權(quán)利要求1所述的圖像顯示裝置，還包括 構(gòu)造成在所述顯示單元上顯示所述使用者經(jīng)由所述輸入單元輸入識(shí)別模式的結(jié)果的輸入結(jié)果顯示單元。
19.一種佩戴在使用者的頭部或面部上使用的圖像顯示裝置的圖像顯示方法，所述圖像顯示方法包括: 從所述使用者輸入識(shí)別模式； 核查所述識(shí)別模式；以及 基于核查的結(jié)果來(lái)控制所述圖像顯示裝置。
20.—種以計(jì)算機(jī)可讀格式寫成而在計(jì)算機(jī)上控制佩戴在使用者的頭部或面部上使用的圖像顯示裝置的操作的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序使得所述計(jì)算機(jī)具有以下功能: 顯示從所述使用者側(cè)看得見的內(nèi)側(cè)圖像的顯示單元； 從所述使用者輸入識(shí)別模式的輸入單元； 核查所述識(shí)別模式的核查單元；以及 基于由所述核查單元所核查的結(jié)果來(lái)控制所述圖像顯示裝置的控制單元。
【文檔編號(hào)】G06F3/01GK103809743SQ201310487409
【公開日】2014年5月21日 申請(qǐng)日期:2013年10月17日 優(yōu)先權(quán)日:2012年11月2日
【發(fā)明者】高井基行, 佐古曜一郎, 宮島靖, 武川洋, 楢原立也, 武田正資, 小川浩明, 和田成司, 早川莓, 丹下明, 谷亀貴央, 劔持一英 申請(qǐng)人:索尼公司