基于眼睛跟蹤的可見度提高方法和電子裝置制造方法
【專利摘要】本發(fā)明提供一種基于眼睛跟蹤的可見度提高方法和電子裝置。利用凝視跟蹤的可見度提高方法包括：通過相機檢測用戶的凝視；從通過電子裝置的顯示單元查看的至少一個對象中確定用戶凝視的聚焦對象；在顯示單元上顯示與聚焦對象相應(yīng)的并且比聚焦對象具有更高可見度的具有高可見度的圖像。
【專利說明】基于眼睛跟蹤的可見度提高方法和電子裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體上涉及一種用于處理由相機所拍攝的圖像的方法，更具體地講，涉及一種用于基于用戶的凝視來處理圖像的方法。

【背景技術(shù)】
[0002]通常，隨著使用相機的凝視跟蹤技術(shù)的發(fā)展，出現(xiàn)了如下技術(shù):通過跟蹤用戶的凝視以放大或縮小顯示在屏幕上且正被聚焦的對象或者在正被聚焦的對象周圍顯示相關(guān)信息，來提供針對用戶的興趣定制的信息。
[0003]例如，可以存在如下技術(shù):當用戶凝視屏幕上的預定部分時，跟蹤用戶的凝視，并放大或縮小該預定部分。
[0004]作為另一示例，當用戶凝視運動場上的運動員時，可顯示與每個運動員相關(guān)聯(lián)的信息，或者可在歷史古跡中顯示與古文物相關(guān)聯(lián)的信息。當用戶聚焦于預定區(qū)域時，傳統(tǒng)技術(shù)通過放大預定區(qū)域或顯示相關(guān)文本信息而向用戶提供詳細信息。然而，當在屏幕上顯示的圖像或在用戶實際上通過附著到面部上的相機而凝視對象的環(huán)境中拍攝的圖像等具有低分辨率，或者由于不足的環(huán)境光量而導致圖像較暗，或者由于不足的曝光而導致圖像不清晰，或者距諸如符號等期望對象的距離較遠時，傳統(tǒng)技術(shù)即使放大圖像也難以向用戶提供期望的視覺信息。
[0005]此外，通過文本顯示與目標對象相關(guān)聯(lián)的信息的技術(shù)可提供在視覺信息中未出現(xiàn)的詳細信息，但是不可提供實際對象的詳細視覺信息(諸如外觀、顏色等)。


【發(fā)明內(nèi)容】

[0006]做出本發(fā)明以至少部分地解決、減小或去除與現(xiàn)有技術(shù)相關(guān)的問題和/或缺點中的至少一個，并至少提供下面描述的優(yōu)點。
[0007]因此，本發(fā)明的一方面在于改進放大現(xiàn)有圖像并顯示文本信息的信息提供方法，并通過跟蹤用戶的凝視，確定聚焦對象，再現(xiàn)圖像或使用相關(guān)圖像替代圖像等來提供高可見度圖像，以使用戶能夠容易地識別對象并向用戶提供豐富視覺信息。
[0008]根據(jù)本發(fā)明的一方面，提供一種利用凝視跟蹤提高可見度的方法，所述方法包括:通過相機檢測用戶的凝視；從通過電子裝置的顯示單元查看的至少一個對象或在透明顯示器中在用戶的凝視的延長線上的對象等中確定用戶凝視的聚焦對象；在顯示單元上顯示與聚焦對象對應(yīng)的并且比聚焦對象具有更高可見度的具有高可見度的圖像。例如，具有更高可見度的圖像(即，與聚焦對象對應(yīng)的高可見度圖像)可比具體地講先前顯示的與聚焦對象對應(yīng)的圖像(例如，檢索到的或先前拍攝的圖像)具有更高的分辨率、更高的清晰度和更高的亮度中的至少一個。
[0009]根據(jù)本發(fā)明的另一方面，提供一種電子裝置，包括:相機，拍攝用戶的眼睛；顯示單元，顯示至少一個對象；控制器，從拍攝的用戶的眼睛檢測用戶的凝視，從所述至少一個對象中確定用戶凝視的聚焦對象，并通過顯示單元顯示與聚焦對象對應(yīng)的并且比聚焦對象具有更高可見度的具有高可見度的圖像。
[0010]根據(jù)本發(fā)明的另一方面，提供一種其上記錄有程序的機器可讀存儲介質(zhì)，其中，當所述程序被執(zhí)行時，執(zhí)行使用凝視跟蹤提高可見度的方法，所述方法包括:通過相機檢測用戶的凝視；從通過電子裝置的顯示單元查看的至少一個對象中確定用戶凝視的聚焦對象；在顯示單元上顯示與聚焦對象對應(yīng)的并且比聚焦對象具有更高可見度的具有高可見度的圖像。
[0011]根據(jù)本發(fā)明的另一方面，提供一種包括其上記錄有程序的機器可讀存儲介質(zhì)的電子裝置，其中，當所述程序被執(zhí)行時，執(zhí)行使用凝視跟蹤提高可見度的方法，所述方法包括:通過相機檢測用戶的凝視；從通過電子裝置的顯示單元查看的至少一個對象中確定用戶凝視的聚焦對象；在顯示單元上顯示與聚焦對象對應(yīng)的并且比聚焦對象具有更高可見度的具有聞可見度的圖像。
[0012]根據(jù)本發(fā)明的另一方面，提供一種可佩戴電子裝置，包括:用于將可佩戴電子裝置布置在用戶的身體上的裝置；至少一個相機，拍攝用戶的眼睛；至少一個顯示單元，顯示至少一個對象；控制器，被配置為從拍攝的用戶的眼睛檢測凝視，從所述至少一個對象中確定用戶凝視的聚焦對象，并通過顯示單元顯示與聚焦對象對應(yīng)的并且比聚焦對象具有更高可見度的具有高可見度的圖像。

【專利附圖】

【附圖說明】
[0013]從下面結(jié)合附圖進行的詳細描述，本發(fā)明的上述和其他方面、特征和優(yōu)點將更加清楚，在附圖中:
[0014]圖1是示出根據(jù)本發(fā)明的第一實施例的第一電子裝置的框圖；
[0015]圖2是根據(jù)本發(fā)明的第一實施例的第一電子裝置的前側(cè)透視圖；
[0016]圖3是根據(jù)本發(fā)明的第一實施例的第一電子裝置的后側(cè)透視圖；
[0017]圖4是根據(jù)本發(fā)明的第二實施例的從外側(cè)查看的第二電子裝置的透視圖；
[0018]圖5是從內(nèi)側(cè)查看的第二電子裝置的透視圖；
[0019]圖6是第二電子裝置的電路構(gòu)造的框圖；
[0020]圖7是示出根據(jù)本發(fā)明的第一實施例的使用凝視跟蹤的可見度提高方法的流程圖；
[0021]圖8A和圖8B示出用戶的眼睛；
[0022]圖9A和圖9B示出基于面部表情確定用戶是否聚焦于對象的方法；
[0023]圖10是示出根據(jù)本發(fā)明的第一實施例的檢測聚焦對象的方法的示圖；
[0024]圖11是示出根據(jù)本發(fā)明的第二實施例的檢測聚焦對象的方法的示圖；
[0025]圖12是示出根據(jù)本發(fā)明的第三實施例的檢測聚焦對象的方法的示圖；
[0026]圖13A至圖13C示出根據(jù)本發(fā)明的第一實施例的顯示高可見度圖像的方法；
[0027]圖14A至圖14C示出根據(jù)本發(fā)明的第二實施例的顯示高可見度圖像的方法；
[0028]圖15A和圖15B示出根據(jù)本發(fā)明的第三實施例的顯示高可見度圖像的方法；
[0029]圖16A至圖16C示出根據(jù)本發(fā)明的第四實施例的顯示高可見度圖像的方法；
[0030]圖17是示出服務(wù)器的配置的框圖；
[0031]圖18A至圖18B以及圖19A至圖19B示出根據(jù)本發(fā)明的第五實施例的顯示高可見度圖像的方法；
[0032]圖20A和圖20B示出根據(jù)本發(fā)明的第六實施例的顯示高可見度圖像的方法；
[0033]圖21A和圖21B示出根據(jù)本發(fā)明的實施例的中斷高可見度圖像的顯示的方法；
[0034]圖22是示出根據(jù)本發(fā)明的第二實施例的使用凝視跟蹤的可見度提高方法的流程圖；
[0035]圖23是示出根據(jù)本發(fā)明的第三實施例的使用凝視跟蹤的可見度提高方法的流程圖；
[0036]圖24A至圖24C示出聚焦對象的改變。

【具體實施方式】
[0037]本發(fā)明可具有各種修改和各種實施例，現(xiàn)在將參照附圖更充分地描述特定實施例。然而，應(yīng)當理解，不意圖將本發(fā)明限制于所述特定實施例，而是相反，本發(fā)明覆蓋落入在此描述的范圍內(nèi)的所有修改、等同形式和替代形式。
[0038]雖然包括諸如第一、第二等序數(shù)的術(shù)語可用于描述各種元件，但是這些元件不受這些術(shù)語限制。這些術(shù)語僅用于區(qū)分一個元件與另一個元件。例如，在不脫離本發(fā)明的范圍的情況下，第一結(jié)構(gòu)元件可被稱為第二結(jié)構(gòu)元件。類似地，第二結(jié)構(gòu)元件也可被稱為第一結(jié)構(gòu)元件。如在此使用的，術(shù)語“和/或”包括相關(guān)列出項中的一個或更多個的任何和所有組合。
[0039]在本申請中使用的術(shù)語僅為了描述具體實施例的目的，而不意圖限制本發(fā)明。除非上下文另外清楚地指示，否則單數(shù)形式意圖包括復數(shù)形式。在描述中，應(yīng)當理解，術(shù)語“包括”或“具有”指示存在特征、數(shù)字、步驟、操作、結(jié)構(gòu)元件、部件或其組合，并且不預先排除存在一個或更多個其他特征、數(shù)字、步驟、操作、結(jié)構(gòu)元件、部件或其組合，或者不預先排除添加一個或更多個其他特征、數(shù)字、步驟、操作、結(jié)構(gòu)元件、部件或其組合的可能性。
[0040]除非不同地定義，否則在此使用的包括技術(shù)術(shù)語或科學術(shù)語的所有術(shù)語具有與本發(fā)明所屬領(lǐng)域的技術(shù)人員所理解的含義相同的含義。除非在本說明書中清楚地定義，否則如在通用字典中定義的這樣的術(shù)語應(yīng)被解釋為具有與相關(guān)【技術(shù)領(lǐng)域】中的上下文含義等同的含義，并且不應(yīng)被解釋為具有理想或過于正式的含義。
[0041]本發(fā)明的電子裝置可以是特定裝置，并且可被稱為便攜式裝置、移動終端、通信終端、便攜式通信終端、便攜式移動終端等。
[0042]例如，電子裝置可以是智能電話、便攜式電話、游戲機、電視、顯示單元、用于車輛的平視顯示單元、筆記本電腦、膝上型計算機、平板個人計算機(PC)、個人媒體播放器(PMP)、個人數(shù)字助理(PDA)等。電子裝置可被實現(xiàn)為包括無線通信功能的附接式通信終端或超小型便攜式通信終端。此外，電子裝置可以是柔性裝置、柔性顯示裝置、透明顯示裝置坐寸ο
[0043]根據(jù)本發(fā)明的實施例的電子裝置可以是便攜式終端，并且必要時，可在電子裝置的代表性配置中省略或改變一些組成元件。
[0044]圖1是示出根據(jù)本發(fā)明的第一實施例的第一電子裝置的框圖，圖2是根據(jù)本發(fā)明的第一實施例的第一電子裝置的前側(cè)透視圖(在本申請中前側(cè)表示在正常使用中面向用戶的側(cè))，圖3是根據(jù)本發(fā)明的第一實施例的第一電子裝置的后側(cè)透視圖(在本申請中后側(cè)表示在正常使用中與面向用戶的側(cè)相對的側(cè))。
[0045]參照圖1，第一電子裝置100可通過通信模塊120、連接器等連接到外部電子裝置。外部電子裝置可包括可無線地連接的藍牙通信單元、近場通信(NFC)單元、WiFi直連通信單元和無線接入點(AP)。此外，第一電子裝置100可以以有線或無線方式與另一便攜式終端或另一電子裝置(例如，便攜式電話、智能電話、平板個人計算機(PC)、臺式PC和服務(wù)器之一)連接。
[0046]參照圖1，第一電子裝置100包括至少一個觸摸屏190。此外，第一電子裝置100包括控制器110、通信模塊120、相機模塊150、輸入/輸出模塊160、第一傳感器模塊170和存儲單元175。
[0047]控制器110可包括CPU111、R0M112和RAMl 13，其中，在ROMl 12中存儲用于控制第一電子裝置100的控制程序，RAMl 13存儲從第一電子裝置100的外部輸入的信號或數(shù)據(jù)或者用作用于由第一電子裝置100執(zhí)行的操作的存儲區(qū)域。CPUlll可包括單核、雙核、三核或四核。CPU111、R0M112和RAMl 13可通過內(nèi)部總線彼此連接。
[0048]此外,控制器110控制通信模塊120、相機模塊150、輸入/輸出模塊160、傳感器模塊170、存儲單元175和觸摸屏190。
[0049]控制器110檢測使用輸入裝置(例如，用戶的手指)輸入的用戶輸入，其中，所述用戶輸入觸摸或接近觸摸屏190上的對象，或者在多個對象或項目顯示在觸摸屏190上的狀態(tài)下被定位為靠近對象。控制器110識別與觸摸屏190上產(chǎn)生用戶輸入的位置相應(yīng)的對象。通過觸摸屏190作出的用戶輸入包括直接觸摸輸入和與間接觸摸輸入相應(yīng)的懸停輸入之一，其中，直接觸摸輸入直接地觸摸對象，間接觸摸輸入接近對象到預設(shè)識別范圍內(nèi)，但是不直接觸摸對象。根據(jù)本發(fā)明，除了通過觸摸屏190作出的用戶輸入之外，用戶輸入還包括通過相機模塊150作出的手勢輸入、通過按鈕161作出的開關(guān)/按鈕輸入、通過麥克風162作出的語音輸入等。
[0050]在第一電子裝置100的觸摸屏190上顯示或者可顯示對象或項目(或功能項)。例如，對象或項目指示圖像、應(yīng)用、菜單、文檔、微件、圖片、視頻、電子郵件、短消息服務(wù)(SMS)消息和多媒體消息服務(wù)(MMS)消息中的至少一種，并可通過用戶輸入裝置被選擇、執(zhí)行、刪除、取消、存儲或改變。術(shù)語“項目”具有包含性含義，并包括按鈕、圖標(或快捷圖標)、縮略圖圖像和在便攜式終端中存儲至少一個對象的文件夾。此外，項目可以以圖像、文本等形式來顯不。
[0051]快捷圖標是在第一電子裝置100的觸摸屏190上顯示的用于快速執(zhí)行在第一電子裝置100中基本提供的各個應(yīng)用或語音呼叫、地址、菜單等的圖像，并且當輸入了用于執(zhí)行快捷圖標的命令或選擇時，快捷圖標執(zhí)行相應(yīng)應(yīng)用。
[0052]當針對預設(shè)項目或?qū)ο蠡蛘呋陬A定方案產(chǎn)生了用戶輸入事件時，第一控制器110執(zhí)行與用戶輸入事件相應(yīng)的預定程序操作。
[0053]第一電子裝置100根據(jù)其性能而包括移動通信模塊121、無線LAN模塊131和短距離通信模塊132中的至少一個。
[0054]移動通信模塊121在控制器110的控制下通過使用一個天線或多個天線而使第一電子裝置100能夠經(jīng)由移動通信與外部電子裝置連接。移動通信模塊121通過由通信公司提供的通信網(wǎng)絡(luò)，將用于語音呼叫、視頻呼叫、SMS或MMS的無線信號發(fā)送到具有可輸入到第一電子裝置100中的電話號碼的便攜式電話、智能電話、平板PC或另一裝置，和/或從上述裝置接收所述無線信號。
[0055]子通信模塊130包括無線LAN模塊131和短距離通信模塊132中的至少一個。例如，子通信模塊130可僅包括無線LAN模塊131，或僅包括短距離通信模塊132?？蛇x地，子通信模塊130還可包括無線LAN模塊131和短距離通信模塊132兩者。子通信模塊130還可包括多個短距離通信模塊。
[0056]無線LAN模塊131可根據(jù)控制器110的控制在安裝了無線接入點(AP)的地方連接到互聯(lián)網(wǎng)。無線LAN模塊131支持電氣和電子工程師協(xié)會(IEEE)的無線LAN標準(IEEE802.1lx)。短距離通信模塊132在控制器110的控制下無線地執(zhí)行第一電子裝置100和外部電子裝置之間的短距離通信。短距離通信方案可包括藍牙通信、紅外數(shù)據(jù)協(xié)會(IrDA)方案、W1-Fi直連通信方案、近場通信(NFC)方案等。
[0057]相機模塊150包括第一相機151和第二相機152中的至少一個,第一相機151和第二相機152根據(jù)控制器110的控制來拍攝靜止圖像或視頻。此外，相機模塊150還可包括提供拍攝對象所需的輔助光源的閃光燈153。第一相機151可布置在第一電子裝置100的前側(cè)上，第二相機152可布置在第一電子裝置100的后側(cè)上。
[0058]第一相機151和第二相機152中的每一個可包括透鏡系統(tǒng)、圖像傳感器等。第一相機151和第二相機152中的每一個將通過透鏡系統(tǒng)輸入的(或拍攝的)光學信號轉(zhuǎn)換為電圖像信號(或數(shù)字圖像)，并將轉(zhuǎn)換的電圖像信號輸出到控制器110。隨后，用戶通過第一相機151和第二相機152拍攝視頻或靜止圖像。
[0059]輸入/輸出模塊160包括連接器和至少一個按鈕161、至少一個麥克風162、至少一個揚聲器163。
[0060]按鈕161可以形成在電子裝置100的外殼(或殼體)的前側(cè)、側(cè)面或后側(cè)上，并可包括電源/鎖定按鈕、音量按鈕、菜單按鈕、主屏幕按鈕、返回按鈕和搜索按鈕中的至少一個。
[0061]麥克風162根據(jù)控制器110的控制接收語音或聲音,并產(chǎn)生電信號。
[0062]揚聲器163在控制器110的控制下將與各種信號或數(shù)據(jù)(例如，無線數(shù)據(jù)、廣播數(shù)據(jù)、數(shù)字音頻數(shù)據(jù)、數(shù)字視頻數(shù)據(jù)等)相應(yīng)的聲音輸出到第一電子裝置100的外部。連接器可用作將第一電子裝置100與外部電子裝置或電源連接的接口?？刂破?10可通過經(jīng)由導線連接到連接器的線纜，將存儲在第一電子裝置100的存儲單元175中的數(shù)據(jù)發(fā)送到外部電子裝置，或者可從外部電子裝置接收數(shù)據(jù)。
[0063]傳感器模塊170包括檢測第一電子裝置100的狀態(tài)或周圍環(huán)境狀態(tài)的至少一個傳感器。例如，傳感器模塊170可包括以下傳感器中的至少一個傳感器:檢測用戶是否接近第一電子裝置100的接近傳感器，檢測第一電子裝置100周圍的光量的照度傳感器，檢測第一電子裝置備100的運動(例如，第一電子裝置100的旋轉(zhuǎn)、加速度或振動)的運動傳感器，檢測第一電子裝置100的旋轉(zhuǎn)運動的陀螺儀，檢測第一電子裝置100的加速運動的加速計，通過使用地球的磁場檢測第一電子裝置100的羅盤的指向的地磁傳感器，檢測重力的牽引的方向的重力傳感器，測量大氣壓以檢測高度的高度計，GPS模塊157，等。
[0064]此外,第一傳感器模塊170包括第一生物度量傳感器(b1metric sensor) 171和第二生物度量傳感器176。
[0065]參照圖2，第一生物度量傳感器171布置在第一電子裝置100的前側(cè)上，并且第一生物度量傳感器171包括第一紅外線光源172和第一紅外線相機173。第一紅外線光源172輸出紅外線，第一紅外線相機173檢測從對象反射的紅外線。例如，第一紅外線光源172可由矩陣結(jié)構(gòu)的LED陣列形成。
[0066]例如，第一紅外線相機可包括使紅外光通過并阻擋除紅外光的波長帶以外的波長帶中的光的濾波器、聚焦通過濾波器的紅外光的透鏡系統(tǒng)以及將透鏡系統(tǒng)所形成的光學圖像轉(zhuǎn)換成電圖像信號的圖像傳感器。例如，圖像傳感器可以以矩陣結(jié)構(gòu)的ro陣列形成。
[0067]參照圖3，第二生物度量傳感器176布置在第一電子裝置100的后側(cè)上，并且第二生物度量傳感器176具有與第一生物度量傳感器171相同的構(gòu)造，包括第二紅外線光源177和第二紅外線相機178。
[0068]GPS模塊157從位于地球軌道中的多個GPS衛(wèi)星接收電磁波，并通過使用從GPS衛(wèi)星到第一電子裝置100的到達時間來計算第一電子裝置100的位置。
[0069]此外，存儲單元175基于控制器110的控制，存儲根據(jù)通信模塊120、相機模塊150、輸入/輸出模塊160、傳感器模塊170和觸摸屏190的操作而輸入/輸出的信號或數(shù)據(jù)。存儲單元175存儲用于第一電子裝置100或控制器110的控制的控制程序和應(yīng)用。
[0070]此外，存儲單元175可存儲:諸如導航、視頻呼叫、游戲、基于時間的告警應(yīng)用等的各種應(yīng)用；用于提供與這些應(yīng)用相關(guān)的圖形用戶界面(GUI)的圖像；與用戶信息、文檔和使用凝視跟蹤的可見度提高方法相關(guān)的數(shù)據(jù)庫或數(shù)據(jù)；背景圖像(諸如菜單屏幕、空閑屏幕等)或用于操作第一電子裝置100的操作程序；由相機模塊150拍攝的圖像等。
[0071]此外，存儲單元175存儲根據(jù)本發(fā)明的用于使用凝視跟蹤實現(xiàn)可見度提高方法的程序和相關(guān)數(shù)據(jù)。
[0072]存儲單元175是機器(例如，計算機)可讀介質(zhì)，術(shù)語“機器可讀介質(zhì)”可被定義為用于將數(shù)據(jù)提供給機器使得機器可執(zhí)行特定功能的介質(zhì)。存儲單元175可包括非易失性介質(zhì)和易失性介質(zhì)。所有這些介質(zhì)應(yīng)當是有形實體，使得介質(zhì)所傳輸?shù)拿羁捎蓹C器讀取命令所用的物理儀器檢測。
[0073]計算機可讀存儲介質(zhì)包括但不限于以下項中的至少一個:軟盤、柔性盤、硬盤、磁帶、致密盤只讀存儲器(CD-ROM)、光盤、打孔卡、紙帶、RAM、可編程只讀存儲器(PROM)、可擦除 PROM(EPROM)和閃速 EPROM。
[0074]此外，第一電子裝置100包括至少一個觸摸屏190，觸摸屏190向用戶提供與各種服務(wù)(例如，電話呼叫、數(shù)據(jù)傳輸、廣播和拍攝)相應(yīng)的用戶圖形界面。
[0075]觸摸屏190接收通過用戶身體(例如，手指)或輸入單元(例如，觸控筆、電子筆等)作出的至少一個用戶輸入。
[0076]觸摸屏190可接收一次觸摸中的連續(xù)運動(即，拖曳輸入)。在本說明書中使用的術(shù)語“觸摸”不限于觸摸屏190與手指或輸入單元之間的接觸，并可包括非接觸(例如，用戶輸入裝置位于用戶輸入裝置在不直接接觸觸摸屏190的情況下可被檢測到的識別距離(例如，Icm)內(nèi)的情況)。
[0077]觸摸屏190可被實現(xiàn)為電阻型、電容型、紅外型、聲波型、電磁諧振(EMR)型或其組八口 ο
[0078]參照圖2和圖3，觸摸屏190布置在第一電子裝置100的前側(cè)101的中心。觸摸屏190可具有大尺寸以占據(jù)第一電子裝置100的前側(cè)101的大部分。
[0079]觸摸鍵(諸如主屏幕按鈕161a、菜單按鈕161b、返回按鈕161c等)、機械鍵或其組合可布置在觸摸屏190的底部。此外，觸摸鍵可被形成為觸摸屏190的一部分。
[0080]主頁屏幕通過主屏幕按鈕161a顯示在觸摸屏190上。
[0081]菜單按鈕161b提供可在觸摸屏190上顯示的連接菜單。連接菜單包括微件添加菜單、背景改變菜單、搜索菜單、編輯菜單、配置設(shè)置菜單等。
[0082]后退按鈕161c可用于顯示剛好在當前執(zhí)行的屏幕之前執(zhí)行的屏幕或者終止最后使用的應(yīng)用。
[0083]第一相機151、照度傳感器170a、接近傳感器170b和第一生物度量傳感器171可布置在第一電子裝置100的前側(cè)101的上部(即，在正常使用中的上部)。第二相機152、閃光燈153、揚聲器163和第二生物度量傳感器176可布置在第一電子裝置100的后側(cè)103上。
[0084]第一電子裝置100的側(cè)面102可包括例如電源/鎖定按鈕、包括音量增大按鈕161f和音量減小按鈕161g的音量按鈕161e、一個或多個麥克風162等。
[0085]此外，連接器可形成在第一電子裝置100的側(cè)面的底端。多個電極形成在連接器上，并可通過導線連接到外部裝置。
[0086]本發(fā)明提供一種使用凝視跟蹤的可見度提高方法，并且該使用凝視跟蹤的可見度提高方法可應(yīng)用于一般觸摸屏上的對象、通過透明觸摸屏、增強現(xiàn)實、頭戴式顯示器(HMD)裝置查看的環(huán)境對象等。
[0087]控制器110控制第一電子裝置100的總體操作，并且控制器110控制第一電子裝置100中的其他組成元件以執(zhí)行根據(jù)本公開的使用凝視跟蹤的可見度提高方法。
[0088]圖4是根據(jù)本發(fā)明的第二實施例的從外側(cè)查看的第二電子裝置的透視圖(在本申請中外側(cè)表示在正常使用中與面向用戶的側(cè)相對的側(cè))，圖5是從內(nèi)側(cè)查看的第二電子裝置的透視圖(在本申請中內(nèi)側(cè)表示在正常使用中面向用戶的側(cè))。根據(jù)第二實施例的第二電子裝置200是頭戴式顯示器(HMD)。
[0089]第二電子裝置200的形狀如一副眼鏡，對應(yīng)于便攜式終端(或便攜式通信終端)，并包括殼體10和殼體10中所包含的電路。
[0090]殼體10包括前框15以及第一支框(first temple frame) 20和第二支框(secondtemple frame) 21，其中，在前框15中固定有分別與左眼和右眼對應(yīng)的第一窗口 280和第二窗口 285 (例如，窗格或眼鏡鏡片)，第一支框20和第二支框21通過第一鉸合部和第二鉸合部向內(nèi)折疊或向外展開。下文中，左眼和右眼可被稱為第一眼睛和第二眼睛，第一窗口 280和第二窗口 285可被分別稱為第一窗口面板和第二窗口面板。
[0091]第三相機260布置在前框15( S卩，將在用戶頭部的前面布置的框)的內(nèi)側(cè)上，第四相機265布置在前框15的外側(cè)上。第三相機260和第四相機265布置在前框15的第一窗口 280與第二窗口 285之間的部分(即，一般眼鏡的鼻架)上。
[0092]麥克風212布置在前框15的外側(cè)上，觸摸傳感器250布置在前框15的外側(cè)上。
[0093]從布置在殼體10中的第一投影儀270輸出的第一投影光310輸出到前框15的外部所通過的第一孔徑11布置在前框15的內(nèi)側(cè)上。此外，從布置在殼體10中的第二投影儀275輸出的第二投影光320輸出到前框15的外部所通過的第二孔徑12布置在前框15的內(nèi)側(cè)上。
[0094]至少一個按鈕213布置在第一支框20的外側(cè)上。
[0095]至少一個揚聲器211布置在第一支框20和第二支框21的內(nèi)側(cè)上。
[0096]第一投影儀270輸出用于形成第一虛擬圖像的第一投影光310，從第一投影儀270輸出的第一投影光310被聚焦并被第一窗口 280反射,被聚焦和反射的第一投影光312在用戶的左眼330的視網(wǎng)膜上形成第一虛擬圖像。在此示例中，術(shù)語“聚焦”表示聚集光，并具有如下含義:包括將光聚集在一點的收斂性，減小光的光斑等。期望地，反射的第一入射光312聚集在左眼330的晶狀體或瞳孔中。
[0097]第二投影儀275輸出用于形成第二虛擬圖像的第二投影光320，從第二投影儀275輸出的第二投影光320被聚焦并被第二窗口 285反射，被聚焦和反射的第二投影光322在用戶的右眼335的視網(wǎng)膜上形成第二虛擬圖像。期望地，反射的第二入射光322聚集在右眼335的晶狀體或瞳孔中。雖然本示例闡述了兩個投影儀的情況，但是可使用單個投影儀。
[0098]在以下描述中，除了分別顯示在左眼和右眼中，第一虛擬圖像和第二虛擬圖像相同。然而，本發(fā)明不限于此，可僅顯示第一虛擬圖像和第二虛擬圖像之一。
[0099]圖6是第二電子裝置的電路構(gòu)造的示圖。第二電子裝置200的電路構(gòu)造與第一電子裝置100的電路構(gòu)造類似，因此，將省略重復描述。
[0100]第二電子裝置200包括輸入/輸出模塊210、存儲單元220、傳感器模塊225、通信模塊240、觸摸傳感器250、第三相機260和第四相機265、第一投影儀270和第二投影儀275、第一窗口 280和第二窗口 285以及控制器290。
[0101]輸入/輸出模塊210包括至少一個按鈕213、至少一個麥克風212、至少一個揚聲器211、連接器、鍵區(qū)或其組合，作為接收用戶輸入、告知用戶信息、從外部接收數(shù)據(jù)和/或向外部輸出數(shù)據(jù)的裝置。
[0102]麥克風212可布置在前框15的外側(cè)上。在本描述中，術(shù)語“信號”和“數(shù)據(jù)”可以互換，同樣，術(shù)語“數(shù)據(jù)”和“數(shù)據(jù)信號”可以互換。
[0103]按鈕213被提供用于接收用戶輸入，并用于打開或關(guān)閉第二電子裝置200，選擇和/或搜索菜單項或項目等。按鈕213可布置在第一支框20的外側(cè)上。
[0104]傳感器模塊225包括檢測第二電子裝置200的狀態(tài)或周圍環(huán)境狀態(tài)的至少一個傳感器。
[0105]通信模塊240可以是有線通信單元、無線通信單元或有線/無線通信單元，通過外部通信網(wǎng)絡(luò)或空氣將數(shù)據(jù)從控制器290有線地或無線地發(fā)送到外部電子裝置，或者通過外部通信網(wǎng)絡(luò)或空氣從外部電子裝置有線地或無線地接收數(shù)據(jù)并將接收的數(shù)據(jù)傳送到控制器 290。
[0106]觸摸傳感器250將與至少一個觸摸輸入相應(yīng)的信號發(fā)送到控制器290。控制器290從觸摸輸入信息識別用戶輸入信息(諸如對菜單項或項目的選擇或移動，手寫輸入等)，并執(zhí)行與用戶輸入信息相應(yīng)的功能(呼叫連接、使用相機拍攝、編寫消息/查看消息、發(fā)送數(shù)據(jù)等)。
[0107]第三相機260和第四相機265中的每一個可包括透鏡系統(tǒng)和圖像傳感器，并可另外包括閃光燈等。第三相機260和第四相機265中的每一個將通過相應(yīng)透鏡系統(tǒng)輸入的(或拍攝的)光轉(zhuǎn)換成電圖像信號，并將圖像信號輸出到控制器290。用戶可通過第三相機260和第四相機265拍攝靜止圖像或錄制視頻。
[0108]控制器290處理從相機260和265輸入的圖像、存儲在存儲單元220中的圖像或由控制器290使用存儲在存儲單元220中的數(shù)據(jù)形成的圖像，并通過第一投影儀270和/或第二投影儀275將轉(zhuǎn)換的適合于第一投影儀270和/或第二投影儀275的屏幕輸出屬性(尺寸、清晰度、分辨率等)的圖像輸出到外部。
[0109]控制器290通過第一投影儀270和/或第二投影儀275將與各種服務(wù)(例如，電話呼叫、數(shù)據(jù)傳輸、廣播、拍攝等)相應(yīng)的圖像提供給用戶。
[0110]用戶可查看如下圖像，在該圖像中，通過環(huán)境光獲得的周圍景觀圖像和通過從投影儀270和275輸入的光獲得的虛擬圖像重疊，并且用戶可以以仿佛透明層被層疊在周圍景觀上的樣子查看虛擬圖像。
[0111]控制器290控制第二電子裝置200的總體操作，并控制第二電子裝置200中的其他組成元件以執(zhí)行使用凝視的可見度提高方法。
[0112]控制器290通過第一投影儀270和/或第二投影儀275向用戶顯示存儲在存儲單元220中的圖像數(shù)據(jù)、通過通信模塊240接收的圖像數(shù)據(jù)或由控制器290根據(jù)用戶命令、對菜單項或圖標的選擇或事件信息基于存儲在存儲單元220中的數(shù)據(jù)所形成的圖像數(shù)據(jù)，其中，所述用戶命令、對菜單項或圖標的選擇或事件信息通過傳感器模塊225、輸入/輸出模塊210、第三相機260或第四相機265或觸摸傳感器250輸入。在此示例中，圖像可以是靜止圖像或視頻。
[0113]存儲單元220根據(jù)控制器290的控制存儲信號或數(shù)據(jù)。存儲單元220可存儲用于第二電子裝置200或控制器290的控制的控制程序和應(yīng)用。
[0114]下文中，將參照第一電子裝置描述使用凝視跟蹤的可見度提高方法。
[0115]圖7是示出根據(jù)本發(fā)明的第一實施例的使用凝視跟蹤的可見度提高方法的流程圖。
[0116]作為用戶檢測步驟，在步驟S110，控制器110通過第一相機151或第一生物度量傳感器171檢測用戶?？刂破?10確定在第一相機151所拍攝的圖像中包括的對象是否包括面部。
[0117]例如，通?；诿娌孔R別方法執(zhí)行面部識別，并且可使用存儲在存儲單元175中的使用面部輪廓線、面部皮膚的顏色和/或紋理、模板等的面部識別技術(shù)。例如，控制器110通過多個用戶的面部圖像學習面部，并可基于面部學習從輸入圖像識別面部。面部學習信息被存儲在存儲單元175中。
[0118]此外，控制器110可確定從第一相機151所輸入的圖像中是否檢測到預先與第一電子裝置100注冊的用戶?？赏ㄟ^將用于檢測用戶的信息存儲在存儲單元175的數(shù)據(jù)庫中來執(zhí)行用戶的注冊。用于檢測注冊用戶的信息可包括用戶的面部圖像、用戶的面部圖像的特征點(或者被稱為特征圖像、特征模式等)等。特征點可以是邊緣、角落、圖像樣式或輪廓線。
[0119]例如，控制器110可通過將注冊用戶圖像的特征點和從輸入圖像檢測到的特征點進行匹配來確定輸入圖像中的用戶是否與注冊用戶相同。
[0120]控制器110確定在第一相機151所拍攝的圖像中包括的對象是否包括身體部分。
[0121]身體部分可包括眼睛、虹膜、面部、血管(例如，靜脈)等。
[0122]圖8A和圖8B示出用戶的眼睛。
[0123]參照圖8A，用戶的眼睛400包括瞳孔410、虹膜420和鞏膜430。第一紅外線光源172將紅外線發(fā)射到用戶的眼睛400，第一紅外線相機173拍攝用戶的眼睛400以輸出眼睛圖像。
[0124]例如，基于一般的眼睛識別方法執(zhí)行眼睛識別，并且可使用存儲在存儲單元175中的基于眼睛輪廓線、模板等的眼睛識別技術(shù)。例如，控制器110通過多個用戶的眼睛圖像學習眼睛，并可基于眼睛學習從輸入圖像識別眼睛。眼睛學習信息被存儲在存儲單元175中。
[0125]此外，控制器110將存儲在存儲單元175中的用戶的虹膜信息(例如，虹膜圖像、特征點信息等)和輸入圖像進行比較，以識別用戶的虹膜，并確定輸入圖像中的用戶是否與注冊用戶相同。
[0126]如上所述，控制器290也可通過第三相機260檢測用戶。
[0127]作為凝視檢測步驟，在步驟S120，控制器110從輸入圖像檢測用戶的凝視?？刂破?10可基于一般的眼睛跟蹤技術(shù)從輸入圖像檢測用戶的凝視。
[0128]參照圖SB，控制器110從瞳孔410的位姿(位置和/或方向)檢測用戶的凝視(凝視的方向)。
[0129]作為聚焦狀態(tài)確定步驟，在步驟S130，控制器110確定用戶是否聚焦于(在本申請中，這可表示例如用戶穩(wěn)定地凝視)對象。例如，控制器110可基于輸入圖像中的面部表情、凝視時間或瞳孔410的變化來確定用戶是否聚焦于對象。
[0130]圖9A和圖9B不出基于面部表情確定用戶是否聚焦于對象的方法。
[0131]圖9A示出用戶沒有聚焦于對象時的面部表情，并顯示出兩只眼睛400、兩條眉毛440、眉間部分450中的兩條眉毛440之間的皺眉肌460 (corrugator supercilii muscle)以及眉間部分450中的兩只眼睛400之間的降眉間肌470。
[0132]圖9B示出用戶聚焦于對象時的面部表情。當用戶聚焦于對象時，用戶通常皺眉，并且用戶是否聚焦于對象可基于眉間部分450的肌肉的變化來確定。例如，當用戶聚焦于對象時，皺眉肌移動，因此兩條眉毛440之間的距離變窄。相應(yīng)地，眉間部分450中出現(xiàn)皺紋480，并且由于降眉間肌470的移動，鼻子向上抽，因此鼻梁上出現(xiàn)皺紋480。
[0133]此外，控制器110基于凝視時間確定用戶是否聚焦于對象，當檢測到用戶的凝視時，設(shè)置包括預定時限(即，閾值時間)的定時器。例如，定時器的時限可以是I秒。定時器從I秒到O秒倒計時，并且當定時器的剩余時間是O秒時向控制器110通知定時器的終止，或者控制器110可感測定時器的終止?？蛇x地，定時器可從O秒開始計時，并且當過去時間為I秒時向控制器110通知定時器的終止，或者控制器110感測定時器的終止。當凝視在定時器的時限期間沒有變化時，控制器110確定用戶聚焦于對象。
[0134]可選地，控制器110基于用戶的瞳孔410的變化來確定用戶是否聚焦于對象。即，基于當用戶聚焦于對象時瞳孔410放大的現(xiàn)象來確定用戶是否聚焦于對象。
[0135]當用戶聚焦于對象時，控制器110執(zhí)行步驟S140，并且在用戶沒有聚焦于任何對象時周期性地或持續(xù)地監(jiān)視用戶是否聚焦于對象，具體地講，直到檢測到用戶聚焦于對象為止。
[0136]作為聚焦對象/區(qū)域檢測步驟，在步驟S140，控制器110確定用戶的凝視與圖像表面相交的區(qū)域(即，聚焦區(qū)域)，并檢測位于聚焦區(qū)域中的對象。
[0137]圖10是示出根據(jù)本發(fā)明的第一實施例的檢測聚焦對象的方法的示圖。本實施例描述了觸摸屏190是非透明觸摸屏的情況。
[0138]圖像表面510是觸摸屏190的屏幕或表面，并且用戶眼睛400的凝視440與圖像表面510相交的區(qū)域是聚焦區(qū)域520。控制器110確定聚焦區(qū)域520中的對象530。
[0139]圖11是示出根據(jù)本發(fā)明的第二實施例的檢測聚焦對象的方法的示圖。本實施例描述了觸摸屏190是非透明觸摸屏的情況。
[0140]由第二相機152的視角620限制的(例如，裝置和/或用戶周圍的)周圍景觀(即，由第二相機152拍攝的周圍景觀的圖像)是圖像表面630，并且用戶眼睛610的凝視612與圖像表面630相交的區(qū)域是聚焦區(qū)域640。
[0141]圖12是示出根據(jù)本發(fā)明的第三實施例的檢測聚焦對象的方法的示圖。本實施例描述了第二電子裝置200檢測聚焦對象的情況。聚焦對象包括包含在周圍景觀中的人、動物、植物、物體、建筑物、山等。
[0142]由第四相機265的視角限制的周圍景觀720 (即，由第四相機265拍攝的周圍景觀區(qū)域720的圖像)是圖像表面730，并且用戶眼睛400的凝視440與圖像表面730相交的區(qū)域是聚焦區(qū)域732?？刂破?90確定包括在聚焦區(qū)域732中的與周圍景觀720中的樹722對應(yīng)的樹圖像734是聚焦對象。即，在透明窗口 280和285中或通過透明窗口 280和285位于用戶的凝視的延長線上的區(qū)域或?qū)ο罂梢允蔷劢箙^(qū)域或聚焦對象。換言之，在透明顯示器(諸如透明觸摸屏190、透明窗口 280和285等)中或通過透明顯示器位于用戶的凝視的延長線上的區(qū)域或?qū)ο罂梢允蔷劢箙^(qū)域或聚焦對象。
[0143]返回參照圖7，作為圖像搜索和顯示步驟，在步驟S150，控制器110搜索與聚焦對象相應(yīng)的具有高可見度的圖像，并顯示檢索到的圖像。
[0144]具有高可見度的圖像包括高分辨率(或高清晰度)圖像、具有增強可見度的圖像、矢量圖形圖像、短距離圖像、當提供大量光時拍攝的圖像(即，在環(huán)境照度高的狀態(tài)下拍攝的圖像)等?；谙嗤叽?，具有高可見度的圖像比聚焦對象具有更高的分辨率、清晰度或亮度。
[0145]控制器110可在存儲單元175中搜索與具有低可見度的聚焦對象相應(yīng)的具有高可見度的圖像，并且例如，控制器110通過圖像匹配處理確定存儲在存儲單元175中的具有高可見度的圖像。
[0146]可選地，控制器110可在外部服務(wù)器中搜索具有高可見度的圖像。例如，控制器110將包括具有低可見度的聚焦對象(或聚焦對象的圖像和位置信息)的圖像和/或與聚焦對象相關(guān)聯(lián)的信息發(fā)送到服務(wù)器，并接收從服務(wù)器檢索到的具有高可見度的圖像。與聚焦對象相關(guān)聯(lián)的信息可包括在拍攝聚焦對象時第一電子裝置100的位置信息、第一電子裝置100的位姿(羅盤方向或方向)信息、圖像源信息(圖像相關(guān)程序、下載圖像的web地址坐、坐寸/ 寸ο
[0147]圖13A至圖13C示出根據(jù)本發(fā)明的第一實施例的顯示具有高可見度的圖像的方法。
[0148]參照圖13A，用戶的眼睛400聚焦于顯示在第一電子裝置100的觸摸屏190上的縮略圖圖像810，并被第一相機151捕捉到。
[0149]圖13B是本發(fā)明的比較示例，示出了具有低分辨率的縮略圖圖像的放大圖像812。
[0150]參照圖13C，控制器110確定縮略圖圖像810的相關(guān)信息(即，原始圖像的位置信息)，并在觸摸屏190上顯示放大的原始圖像814。
[0151]如圖13B中所示，當具有低分辨率的縮略圖圖像被放大時，顯示具有低清晰度的不清晰圖像812。相反，如圖13C中所不，當使用與縮略圖圖像相關(guān)聯(lián)的原始圖像時，顯不具有高清晰度的清晰圖像814。
[0152]圖14A至圖14C示出根據(jù)本發(fā)明的第二實施例的顯示具有高可見度的圖像的方法。
[0153]參照圖14A，通過拍攝放置在桌子上的第一盒子至第三盒子830、832和834所獲得的圖像820被顯示在第一電子裝置100的觸摸屏190上?？刂破?10基于用戶的凝視確定包括第一盒子830的聚焦區(qū)域840。
[0154]參照圖14B，第一控制器110將聚焦區(qū)域圖像840發(fā)送到服務(wù)器。
[0155]參照圖14C，第一控制器110從服務(wù)器接收與包括在聚焦區(qū)域中的第一盒子相關(guān)聯(lián)的具有聞可見度的圖像830,并在觸摸屏190上顯不具有聞可見度的圖像830a。
[0156]圖15A和圖15B示出根據(jù)本發(fā)明的第三實施例的顯示具有高可見度的圖像的方法。
[0157]參照圖15A，通過拍攝鳥獲得的具有低可見度的圖像850被顯示在第一電子裝置100的觸摸屏190上。控制器110基于用戶的凝視將具有低可見度的圖像850確定為聚焦對象。
[0158]參照圖15B，當未檢索到與聚焦對象相應(yīng)的具有高可見度的圖像時，控制器110通過圖像濾波或應(yīng)用視覺效果產(chǎn)生具有高清晰度的圖像，并在觸摸屏190上顯示產(chǎn)生的高清晰度圖像852。
[0159]此外，用于拍攝的相機的參數(shù)是可調(diào)節(jié)的。例如，當鳥周圍的光量過度或不足時，由于相機光圈或白平衡值，導致無法很好地捕捉聚焦的對象。在該示例中，為了顯示具有高可見度的圖像，檢查聚焦的對象，并基于對象調(diào)節(jié)相機的參數(shù)。
[0160]圖16A至圖16C示出根據(jù)本發(fā)明的第四實施例的顯示具有高可見度的圖像的方法。
[0161]參照圖16A，用戶聚焦于顯示在第一電子裝置100的觸摸屏190上的字符870，控制器110基于用戶的凝視確定聚焦區(qū)域860，并將因其大小而具有低可見度的字符870確定為聚焦對象。
[0162]圖16B是本發(fā)明的比較示例，示出了當表示較小字符的光柵圖形圖像或位圖圖像被放大時產(chǎn)生難以識別的圖像872。
[0163]參照圖16C，控制器110通常通過字符識別方法識別位圖圖像中作為聚焦對象的字符，在存儲單元175中搜索與聚焦對象相應(yīng)的矢量圖像，并放大檢索到的矢量圖像874以進行顯示。此外，當作為聚焦對象的字符是矢量圖像時，可通過增大字符的尺寸來顯示字符。
[0164]圖17是示出服務(wù)器的配置的框圖。
[0165]服務(wù)器900包括通信模塊920、存儲單元930和控制器910。
[0166]通信模塊920執(zhí)行與第一電子裝置100或第二電子裝置200的有線或無線通信。
[0167]存儲單元930包括包含如下指令的程序，所述指令指示第一電子裝置100或第二電子裝置200執(zhí)行顯示具有高可見度的圖像的方法，更新程序的信息、圖像數(shù)據(jù)庫、街道全景數(shù)據(jù)庫、二維(2D)地圖等。
[0168]街道全景數(shù)據(jù)庫包括映射到多個不同位置的街道視圖圖像。街道全景數(shù)據(jù)庫是地圖數(shù)據(jù)庫，并存儲由通過經(jīng)由相機拍攝城市或街道所獲得的實際圖像形成的實際三維(3D)地圖。這里，實際3D地圖表示通過使用車輛、飛機等拍攝實際街道并使用拍攝的實際圖像所實現(xiàn)的3D地圖。通過使用安裝在車輛等上的立體相機拍攝城市或街道來獲得這樣的實際3D地圖。因此，不僅可以獲得包括在拍攝的圖像中的對象的三維坐標(X坐標、y坐標和z坐標)，而且可以獲得與在拍攝中使用的相機和對象之間的距離相應(yīng)的深度信息。另外，可通過使用飛機拍攝寬范圍的多個2D圖像，在拍攝的圖像中提取兩個相鄰2D圖像之間的重疊區(qū)域中的深度信息，并通過3D映射執(zhí)行3D建模，來實現(xiàn)這樣的3D地圖。另外，包括在實際3D地圖中的每個對象具有多個3D信息和深度信息項。例如，表示每個對象的多個像素中的每一個可具有3D信息和深度信息。結(jié)果，實際3D地圖可不僅區(qū)分特定建筑物的位置，而且區(qū)分建筑物的輪廓(例如，特定建筑物的前視圖、后視圖和側(cè)視圖)，并且還可區(qū)分建筑物的各個樓層。相反，現(xiàn)有2D地圖與上述3D的不同之處在于，由于從2D地圖僅使用GPS信息，因此針對特定建筑物僅可提供單個位置信息項，而不可詳細地區(qū)分建筑物的各個樓層或前側(cè)和后側(cè)。
[0169]控制器910自動地或者響應(yīng)于第一電子裝置100或第二電子裝置200的請求，將程序或更新信息發(fā)送到第一電子裝置100或第二電子裝置200。
[0170]此外，控制器910將從第一電子裝置100或第二電子裝置200接收到的聚焦對象圖像(和/或相關(guān)信息)與存儲在圖像數(shù)據(jù)庫或街道全景數(shù)據(jù)庫中的圖像進行匹配，并將具有高可見度的匹配圖像發(fā)送到第一電子裝置100或第二電子裝置200。控制器910基于從第一電子裝置100或第二電子裝置200接收到的與聚焦對象相關(guān)聯(lián)的信息來提高匹配速度和精度。每個數(shù)據(jù)庫可存儲圖像，并還存儲與圖像相應(yīng)的位置信息(包括位置、位姿(羅盤方向)等)、圖像源信息(諸如圖像相關(guān)程序和下載圖像的web地址)等。
[0171]雖然已經(jīng)使用第一電子裝置100作為示例描述了以上實施例，但是本發(fā)明的實施例可以以相同或相似的方式應(yīng)用于第一電子裝置100或第二電子裝置200。下文中，將提供使用第二電子裝置200顯示具有高可見度的圖像的方法的其他示例。
[0172]圖18A、圖18B、圖19A和圖19B不出根據(jù)本發(fā)明的第五實施例的顯不具有聞可見度的圖像的方法。
[0173]當在用戶的凝視方向上存在多個聚焦對象時，控制器290可基于用戶的命令虛擬地移動用戶的視點。在描述的示例中，視點的移動對應(yīng)于放大聚焦對象以進行顯示，或者可對應(yīng)于縮小聚焦對象。
[0174]參照圖18A，當在用戶眼睛1010的凝視的方向1020上存在第一聚焦對象1030和第二聚焦對象1040時，雖然控制器290顯示與距用戶最近的第一聚焦對象1030相關(guān)聯(lián)的具有高可見度的圖像，但是控制器290可基于用戶的命令沿凝視方向來回移動虛擬視點。
[0175]圖18B示出用戶通過第二電子裝置200的第二窗口 285查看第一聚焦對象1030和第二聚焦對象1040。
[0176]參照圖18A和圖19A，通過第二窗口 285顯示在用戶和第一聚焦對象1030之間的第一虛擬視點1012處的放大的第一聚焦對象1032(即，具有高可見度的圖像)。以這種方式，通過第二窗口 285顯不放大的第一聚焦對象1032。
[0177]參照圖18A和圖19B，在第二窗口 285上顯示在第一聚焦對象1030和第二聚焦對象1040之間的第二虛擬視點1014處的放大的第二聚焦對象1042(即，具有高可見度的圖像)。
[0178]控制器290將聚焦對象的圖像和相關(guān)信息(例如，第二電子裝置200的位置信息、第二電子裝置200的位姿(或羅盤方向或方向)信息等)發(fā)送到服務(wù)器900，并且接收和顯示從服務(wù)器900接收的聚焦對象的具有高可見度的圖像?？赏ㄟ^用戶的命令(語音、手勢或觸摸)切換虛擬視點。此外，可通過用戶的面部表情的變化切換提供的圖像(當聚焦保持時提供遠距離對象的圖像)。
[0179]圖24A至圖24C示出聚焦對象的改變。
[0180]當具有高可見度的圖像被顯示在第二窗口 285上時，由于檢測到的凝視的角度的誤差，可能會顯示位于與用戶意圖不同的位置中的圖像。當顯示具有高可見度的圖像時，檢測到用戶凝視的移動，并且聚焦對象發(fā)生改變以顯示滿足用戶意圖的圖像。
[0181]參照圖24A，即使用戶的凝視1072實際上指向第二對象1060，由于聚焦對象確定的誤差，也會錯誤地確定用戶的凝視1071指向第一對象1050。
[0182]參照圖24B，控制器290錯誤地測量出用戶聚焦于第一對象1050，并在第二窗口285的中心顯示第一對象1050的具有高可見度的圖像1052。
[0183]隨后，控制器290跟蹤用戶的凝視，確定用戶的凝視1073指向第二對象1060的具有高可見度的圖像1062，并改變聚焦對象。
[0184]參照圖24C，控制器290改變聚焦對象，并在第二窗口 285的中心顯示第二對象1060的具有高可見度的圖像1062。
[0185]雖然本實施例跟蹤用戶的凝視，并基于在提供的圖像中被用戶聚焦的對象來校正提供的對象圖像，但是除了感測用戶的凝視之外，還可基于用戶的命令(手勢、語音、觸摸等)進行對提供的圖像的詳細調(diào)節(jié)。
[0186]圖20A和圖20B示出根據(jù)本發(fā)明的第六實施例的顯示具有高可見度的圖像的方法。
[0187]圖20A示出用戶1010在黑夜通過第二電子裝置200的第二窗口 285凝視較暗的聚焦對象1040。
[0188]參照圖20B，在第二窗口 285上顯示聚焦對象1040的明亮的放大圖像1044( S卩，具有聞可見度的圖像)。
[0189]控制器290將聚焦對象1040的圖像和相關(guān)信息(例如，第二電子裝置200的位置信息和第二電子裝置200的位姿(或羅盤方向或方向)信息等)發(fā)送到服務(wù)器900，并顯示從服務(wù)器900接收的聚焦對象1040的具有高可見度的圖像1044。
[0190]在以上描述的示例中，在向用戶顯示具有高可見度的圖像之后，可通過取消聚焦狀態(tài)來執(zhí)行返回到先前屏幕的操作。例如，當用戶不再凝視相應(yīng)對象時(諸如當用戶的凝視改變時，當用戶不再皺眉時等)，控制器110和290可顯示在顯示具有高可見度的圖像之前剛剛顯示的屏幕。在透明觸摸屏或第二電子裝置200的情況下，控制器110和290可中斷具有高可見度的圖像的顯示。
[0191]圖21A和圖21B示出根據(jù)本發(fā)明的實施例的中斷具有高可見度的圖像的顯示的方法。
[0192]圖21A示出顯示在第一電子裝置100的觸摸屏190上的且作為具有高可見度的圖像的放大網(wǎng)頁1110。
[0193]參照圖21B，當用戶1120嘆氣1122并發(fā)出諸如“唷”的聲音時，控制器110顯示在顯示具有高可見度的圖像之前剛剛顯示的屏幕，即，被放大之前的網(wǎng)頁1112?？刂破?10使用當用戶的呼吸通過圖3中示出的麥克風162時產(chǎn)生的擦音聲來確定是否取消聚焦狀態(tài)。
[0194]雖然在以上描述的示例中控制器110和290確定用戶是否聚焦于(或穩(wěn)定地凝視)對象，但是除了基于面部表情和凝視時間進行確定之外，還可基于直接來自用戶的命令來確定用戶是否聚焦于對象。可以視為確定是否接收到用戶命令，而非確定用戶是否聚焦于對象。
[0195]圖22是示出根據(jù)本發(fā)明的第二實施例的使用凝視跟蹤的可見度提高方法的流程圖。
[0196]作為用戶檢測步驟，在步驟S210，控制器110通過第一相機151或第一生物度量傳感器171檢測用戶。控制器110確定在第一相機151或第一生物度量傳感器171所拍攝的圖像中包括的對象是否包括面部或身體部分。
[0197]作為凝視檢測步驟，在步驟S220，控制器110從輸入圖像檢測用戶的凝視。
[0198]作為用戶命令確定步驟，在步驟S230，控制器110確定是否接收到用戶命令。
[0199]可通過傳輸用戶意圖的任何方法(諸如語音、觸摸、通過物理鍵/按鈕作出的輸入、用戶手勢、第一電子裝置100的運動、用戶的面部表情、用戶的呼吸、腦波等)來提供命令。
[0200]例如，用戶可輸入諸如“放大”、“縮小”、“變亮”等的語音命令，控制器110通過麥克風162接收語音命令以將用于顯示的具有高可見度的圖像進行放大、縮小或變亮。對于縮小，控制器110通過將具有高可見度的圖像縮小為小于相應(yīng)對象來顯示具有高可見度的圖像，或者縮小當前顯示的具有高可見度的圖像并顯示縮小后的圖像。對于放大，控制器110另外放大當前顯示的具有高可見度的圖像并顯示放大后的圖像。
[0201]例如，控制器110可顯示用于指示在觸摸屏190上顯示具有高可見度的圖像的按鈕，或者可將“放大”和“縮小”功能映射到是物理鍵的音量增大按鈕161f和音量減小按鈕161g。
[0202]例如，控制器290可監(jiān)視是否通過第四相機265檢測到預先設(shè)置的手勢。手勢的示例包括例如:通過使用手指指示經(jīng)由窗口 280和285查看的對象的動作來指定聚焦對象，通過手指的捏合動作(關(guān)閉或打開手指的動作)放大或縮小聚焦對象，以及通過來回移動手指的動作(移動手指接近或遠離第二電子裝置200的動作)移動虛擬視點。
[0203]例如，用戶做出來回移動第一電子裝置100的動作或使第一電子裝置100傾斜的動作?？刂破鱅1可通過第一傳感器模塊170感測第一電子裝置100的運動。當?shù)谝浑娮友b置100沿正向(即，面對用戶的方向)移動或傾斜時，控制器110放大具有高可見度的圖像并顯示放大后的圖像，當?shù)谝浑娮友b置100沿反向(即，遠離用戶的方向)移動或傾斜時，控制器110縮小具有高可見度的圖像并顯示縮小后的圖像。
[0204]例如，第一控制器110可基于用戶面部上皺眉的程度來確定具有高可見度的圖像的放大的程度?？蛇x地，當具有高可見度的圖像已經(jīng)顯示時，第一控制器110在用戶進一步皺眉時另外放大具有高可見度的圖像，并且在用戶不再皺眉時縮小具有高可見度的圖像。
[0205]可基于面部上皺眉的程度來確定虛擬視點。在具有高可見度的圖像已經(jīng)顯示的情況下，當用戶進一步皺眉時，第二控制器290移動虛擬視點以比之前更近或更遠。
[0206]當接收到用戶命令時，控制器110執(zhí)行步驟S240，并且當未接收到用戶命令時，控制器110周期性地或持續(xù)地監(jiān)視是否接收到用戶命令。
[0207]作為聚焦對象/區(qū)域檢測步驟，在步驟S240，控制器110確定用戶的凝視與圖像表面相交的區(qū)域(即，聚焦區(qū)域)，并檢測位于聚焦區(qū)域中的對象。
[0208]作為圖像搜索和顯示步驟，在步驟S250，第一控制器110搜索與聚焦對象相應(yīng)的具有高可見度的圖像，并顯示檢索到的圖像。在該示例中，控制器110基于步驟S230的用戶命令顯示檢索到的圖像。
[0209]圖23是示出根據(jù)本發(fā)明的第三實施例的使用凝視跟蹤的可見度提高方法的流程圖。
[0210]作為用戶命令接收步驟，在步驟S310，控制器110通過傳輸用戶意圖的任何方法(諸如語音、觸摸、通過物理鍵/按鈕作出的輸入、用戶手勢、第一電子裝置100的運動、用戶的面部表情、用戶的呼吸、腦波等)接收用戶命令。
[0211]作為用戶檢測步驟，在步驟S320，控制器110通過第一相機151或第一生物度量傳感器171檢測用戶。
[0212]作為凝視檢測步驟，在步驟S330，控制器110從輸入圖像檢測用戶的凝視。
[0213]作為聚焦對象/區(qū)域檢測步驟，在步驟S340，控制器110確定用戶的凝視與圖像表面相交的區(qū)域(即，聚焦區(qū)域)，并檢測位于聚焦區(qū)域中的對象。
[0214]作為圖像搜索和顯示步驟，在步驟S350，控制器110搜索與聚焦對象相應(yīng)的具有高可見度的圖像，并顯示檢索到的圖像。在該示例中，第一控制器110基于步驟S310的用戶命令顯示檢索到的圖像。
[0215]雖然在上述實施例中已經(jīng)示出了觸摸屏作為顯示屏幕的顯示單元的代表性示例，但是也可使用不具有觸摸檢測功能的一般的顯示單元或透明顯示器(諸如液晶顯示器(LCD)、有機發(fā)光二極管(OLED)和發(fā)光二極管(LED))來替代觸摸屏。
[0216]此外，第二電子裝置200的第一窗口 280和第二窗口 285可以是顯示單元或透明顯示器。
[0217]將認識到，本發(fā)明的實施例可以以軟件、硬件或其組合實現(xiàn)。任何這樣的軟件可被存儲在例如易失性或非易失性存儲裝置(諸如ROM、諸如RAM的存儲器、存儲芯片、存儲裝置或IC)中，或者被存儲在光或磁可記錄和機器(例如，計算機)可讀介質(zhì)(諸如CD、DVD、磁盤或磁帶)中，而不管其被擦除的能力或其被重新記錄的能力如何。應(yīng)認識到，包括在電子裝置中的存儲單元是適合于存儲程序或包括用于實現(xiàn)本發(fā)明的各種實施例的命令的程序的機器可讀存儲介質(zhì)的一個示例。因此，本發(fā)明包括包含用于實現(xiàn)在本說明書的任何權(quán)利要求中限定的方法或設(shè)備的代碼的程序以及存儲這樣的程序的機器可讀存儲介質(zhì)。此外，可通過預定介質(zhì)(諸如通過有線或無線連接所傳輸?shù)耐ㄐ判盘?以電的方式傳輸程序，并且本發(fā)明適當?shù)匕ǔ绦虻牡韧铩?br> [0218]雖然在本發(fā)明的以上描述中描述了特定實施例，但是在不脫離本發(fā)明的范圍的情況下，可進行各種修改。因此，本發(fā)明的范圍將不由上述實施例確定，而應(yīng)由權(quán)利要求及其等同物確定。
【權(quán)利要求】
1.一種利用凝視跟蹤提高可見度的方法，所述方法包括: 通過相機檢測用戶的凝視； 從通過電子裝置的顯示單元查看的至少一個對象中確定用戶凝視的聚焦對象； 在顯示單元上顯示與聚焦對象對應(yīng)的并且比聚焦對象具有更高可見度的圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中，基于相同尺寸，所述具有更高可見度的圖像比聚焦對象具有更高的分辨率、更高的清晰度和更高的亮度中的至少一個。
3.根據(jù)權(quán)利要求1所述的方法，還包括: 通過相機檢測用戶的面部或眼睛。
4.根據(jù)權(quán)利要求1所述的方法，其中，基于用戶的瞳孔的位置檢測凝視。
5.根據(jù)權(quán)利要求1所述的方法，還包括: 確定用戶是否聚焦于通過顯示單元查看的對象。
6.根據(jù)權(quán)利要求5所述的方法，其中，基于用戶的面部表情、凝視時間和用戶眼睛的瞳孔的變化中的一項來確定用戶是否聚焦在對象上。
7.根據(jù)權(quán)利要求1所述的方法，還包括:將包括聚焦對象的圖像和與聚焦對象相關(guān)聯(lián)的信息發(fā)送到服務(wù)器； 從服務(wù)器接收所述具有更高可見度的圖像。
8.根據(jù)權(quán)利要求7所述的方法，其中，與聚焦對象相關(guān)聯(lián)的信息包括以下信息中的至少一個:在拍攝聚焦對象的時間點電子裝置的位置信息、電子裝置的方向信息以及與聚焦對象的源相關(guān)聯(lián)的源信息。
9.根據(jù)權(quán)利要求1所述的方法，其中，聚焦對象是顯示在屏幕上的圖像、顯示在屏幕上的字符和周圍景觀中的對象中的一種。
10.根據(jù)權(quán)利要求1所述的方法，還包括: 基于用戶的命令，移動凝視聚焦對象的用戶的虛擬視點。
11.根據(jù)權(quán)利要求1所述的方法，還包括: 當用戶停止聚焦于聚焦對象時，中斷所述具有更高可見度的圖像的顯示。
12.根據(jù)權(quán)利要求1所述的方法，還包括: 接收用戶的命令； 基于用戶的命令執(zhí)行凝視的檢測。
13.根據(jù)權(quán)利要求1所述的方法，還包括: 接收用戶的命令； 基于用戶的命令執(zhí)行聚焦對象的確定。
14.一種電子裝置，包括: 相機，拍攝用戶的眼睛； 顯示單元，顯示至少一個對象； 控制器，被配置為從拍攝的用戶的眼睛檢測凝視，從所述至少一個對象中確定用戶凝視的聚焦對象，并通過顯示單元顯示與聚焦對象對應(yīng)的并且比聚焦對象具有更高可見度的圖像。
15.根據(jù)權(quán)利要求14所述的電子裝置，其中，基于相同尺寸，所述具有更高可見度的圖像比聚焦對象具有更高的分辨率、更高的清晰度和更高的亮度中的至少一個。
16.根據(jù)權(quán)利要求14所述的電子裝置，其中，聚焦對象是顯示在屏幕上的圖像、顯示在屏幕上的字符和周圍景觀中的對象中的一種。
17.根據(jù)權(quán)利要求14所述的電子裝置，其中，控制器被配置為確定用戶是否聚焦于通過顯示單元查看的對象。
18.根據(jù)權(quán)利要求14所述的電子裝置，其中，控制器被配置為將包括聚焦對象的圖像和與聚焦對象相關(guān)聯(lián)的信息發(fā)送到服務(wù)器，并從服務(wù)器接收所述具有更高可見度的圖像。
19.一種可佩戴電子裝置，包括: 殼體，用于將可佩戴電子裝置定位在用戶的身體上； 至少一個相機，拍攝用戶的眼睛； 至少一個顯示單元，顯示至少一個對象； 控制器，被配置為從拍攝的用戶的眼睛檢測凝視，從所述至少一個對象中確定用戶凝視的聚焦對象，并通過顯示單元顯示與聚焦對象對應(yīng)的并且比聚焦對象具有更高可見度的圖像。
【文檔編號】H04M1/725GK104238739SQ201410257721
【公開日】2014年12月24日 申請日期:2014年6月11日 優(yōu)先權(quán)日:2013年6月11日
【發(fā)明者】金明植, 金昌容, 韓益祥, 金俊佑, 金珍湖, 吳潤濟, 鄭善太 申請人:三星電子株式會社