本文所公開的主題涉及音頻讀出,并且更具體地涉及管理在電子裝置上的音頻讀出和可視通知。
背景技術:
相關技術的描述
隨著在計算機系統(tǒng)中的語音合成和話音識別的進步,用戶僅僅利用口語輸入和音頻輸出來與諸如智能手機移動裝置的交互是可行的。然而,雖然人們理解何時暫停對話,但是計算機無法確定何時應該呈現(xiàn)或者不應該呈現(xiàn)音頻讀出。當前,音頻讀出對于用戶而言可能是冗長和繁瑣的,并且有時是不合適的。冗長的音頻讀出也不向用戶提供中斷讀出的機會。
技術實現(xiàn)要素:
公開了一種用于管理音頻讀出和可視通知的方法。公開了一種實施該方法的功能的設備。
該方法可以包括:通過使用電子裝置來將音頻讀出呈現(xiàn)給用戶。該方法還可以包括:確定用戶關注狀態(tài)。該方法可以進一步包括:響應于用戶關注狀態(tài)是用戶感興趣的狀態(tài),在與音頻讀出對應的可視通知中呈現(xiàn)可視提示。
在一個實施例中,可視提示指示在可視通知中與音頻讀出的當前位置對應的位置。在某些實施例中,確定用戶關注狀態(tài)包括:接收用戶的圖像數(shù)據(jù)。確定用戶關注狀態(tài)還可以包括:基于圖像數(shù)據(jù)來確定用戶是否正看著電子裝置。確定用戶關注狀態(tài)可以進一步包括:響應于用戶正看著電子裝置來將用戶關注狀態(tài)確定為用戶感興趣的狀態(tài)。
在某些實施例中,在可視通知中呈現(xiàn)可視提示包括:在通信地耦合至電子裝置的外部裝置上顯示可視通知,以及在顯示在外部裝置上的可視通知上呈現(xiàn)可視提示。在某些實施例中,確定用戶關注狀態(tài)包括:接收傳感器數(shù)據(jù),以及基于該傳感器數(shù)據(jù)來確定用戶是否正拿著電子裝置。確定用戶關注狀態(tài)還可以包括:響應于用戶正拿著電子裝置來將用戶關注狀態(tài)確定為用戶感興趣的狀態(tài)。
在某些實施例中,該方法包括:響應于確定用戶正拿著電子裝置來接收圖像數(shù)據(jù),以及基于該圖像數(shù)據(jù)來確定正拿著電子裝置的用戶是否是電子裝置的授權用戶。該方法可以進一步包括:響應于正拿著電子裝置的用戶不是音頻讀出的授權收件人來暫停音頻讀出,以及響應于正拿著電子裝置的用戶不是電子裝置的授權用戶來限制對電子裝置的訪問。
在某些實施例中,該方法包括:響應于確定用戶正拿著電子裝置來接收圖像數(shù)據(jù),以及基于該圖像數(shù)據(jù)來確定用戶是否正看著電子裝置。該方法可以進一步包括:響應于用戶正看著電子裝置來呈現(xiàn)與音頻讀出對應的可視通知,其中,在可視通知中呈現(xiàn)可視提示包括:響應于用戶正看著電子裝置來在可視通知中呈現(xiàn)可視提示。
在某些實施例中,該方法包括:響應于用戶關注狀態(tài)是用戶分心的狀態(tài)來暫停音頻讀出,響應于暫停音頻讀出來重新確定用戶關注狀態(tài),以及響應于用戶關注狀態(tài)不再是用戶分心的狀態(tài)來恢復音頻讀出。在某些實施例中,恢復音頻讀出包括:獲取對音頻讀出的先前呈現(xiàn)給用戶的部分的概述,提醒用戶是否呈現(xiàn)該概述,以及響應于對提醒的肯定響應來呈現(xiàn)該概述。
在某些實施例中,確定用戶關注狀態(tài)包括:測量在電子裝置處的環(huán)境噪聲等級,以及將環(huán)境噪聲等級與不可聽狀態(tài)閾值(inaudiblestatethreshold)進行比較。確定用戶關注狀態(tài)還可以包括:響應于環(huán)境噪聲等級高于不可聽狀態(tài)閾值來將用戶關注狀態(tài)確定為用戶分心的狀態(tài)。在某些實施例中,重新確定用戶關注狀態(tài)包括:測量在電子裝置處的環(huán)境噪聲等級,將環(huán)境噪聲等級與可聽狀態(tài)閾值(audiblestatethreshold)進行比較,以及響應于環(huán)境噪聲等級返回到低于可聽狀態(tài)閾值達閾值時間量,來將用戶關注狀態(tài)確定為不再是用戶分心的狀態(tài)。
在某些實施例中,該方法包括:確定環(huán)境噪聲等級是否保持高于可聽狀態(tài)閾值達預定時間幀,以及響應于環(huán)境噪聲等級保持高于可聽狀態(tài)閾值達預定時間幀,呈現(xiàn)可視通知和可視提示,其中,可視提示指示在可視通知中與音頻讀出的當前位置對應的位置。該方法可以進一步包括:接收通知,以及接收讀取該通知的用戶命令,其中,呈現(xiàn)音頻讀出包括:響應于用戶命令來將音頻讀出呈現(xiàn)給用戶,音頻讀出與接收到的通知對應。
在某些實施例中,該方法包括:確定通知的長度,以及響應于該長度超過預定長度來提醒用戶是否呈現(xiàn)通知的概述讀出,其中,呈現(xiàn)音頻讀出包括:響應于對提醒的肯定響應來呈現(xiàn)概述讀出。在其它實施例中,該方法包括:確定通知的長度,其中,呈現(xiàn)音頻讀出包括:響應于該長度超過預定長度來呈現(xiàn)通知的概述讀出,以及提醒用戶是否呈現(xiàn)整個通知,其中,呈現(xiàn)音頻讀出進一步包括:響應于對提醒的肯定響應來呈現(xiàn)與整個通知對應的完整讀出。
該設備包括音頻輸出裝置、顯示裝置、處理器、和存儲器,該存儲器存儲可由處理器執(zhí)行的代碼。當執(zhí)行代碼時,處理器經(jīng)由音頻輸出裝置將音頻讀出呈現(xiàn)給設備的用戶,確定用戶關注狀態(tài),并且響應于用戶關注狀態(tài)是用戶感興趣的狀態(tài),經(jīng)由顯示裝置在與音頻讀出對應的可視通知中呈現(xiàn)可視提示。
在某些實施例中,該設備包括被配置為捕捉圖像數(shù)據(jù)的圖像傳感器。確定用戶關注狀態(tài)可以包括:接收用戶的圖像數(shù)據(jù),基于該圖像數(shù)據(jù)來確定用戶是否正看著顯示裝置,以及響應于用戶正看著顯示裝置來將用戶關注狀態(tài)確定為用戶感興趣的狀態(tài),其中,可視提示指示在可視通知中與音頻讀出的當前位置對應的位置。
在某些實施例中,存儲器進一步包括代碼,該代碼可由處理器執(zhí)行以響應于呈現(xiàn)可視提示來終止音頻讀出。在某些實施例中,確定用戶關注狀態(tài)包括:接收傳感器數(shù)據(jù),基于該傳感器數(shù)據(jù)來確定用戶是否正拿著設備,以及響應于用戶正拿著設備來將用戶關注狀態(tài)確定為用戶感興趣的狀態(tài)。
在某些實施例中,該設備包括環(huán)境噪聲傳感器,其中,存儲器進一步包括代碼,該代碼可由處理器執(zhí)行以:測量在設備處的環(huán)境噪聲等級,將環(huán)境噪聲等級與不可聽狀態(tài)閾值進行比較,響應于環(huán)境噪聲等級高于不可聽狀態(tài)閾值來暫停音頻讀出,響應于暫停音頻讀出來重新測量在用戶裝置處的環(huán)境噪聲等級,將重新測量得到的環(huán)境噪聲等級與可聽狀態(tài)閾值進行比較,響應于重新測量得到的環(huán)境噪聲等級低于可聽狀態(tài)閾值達閾值時間量來恢復音頻讀出,并且響應于環(huán)境噪聲等級在預定時間幀內(nèi)保持高于可聽狀態(tài)閾值來呈現(xiàn)可視通知和可視提示。
附圖說明
將參照在附圖中示出的具體實施例來提供對上面簡要描述過的實施例的更具體的描述。要理解,這些附圖僅僅描繪了某些實施例,并且因此不被認為是對范圍的限制,將通過使用附圖,以附加特異性和細節(jié)來描述和闡釋實施例。
圖1是示出了用于管理音頻讀出和可視通知的系統(tǒng)的一個實施例的示意框圖;
圖2是示出了用于管理音頻讀出和可視通知的設備的一個實施例的示意框圖;
圖3是示出了用于管理音頻讀出和可視通知的設備的另一實施例的示意框圖;
圖4是示出了用于管理音頻讀出和可視通知的方法的一個實施例的示意流程圖;
圖5是示出了用于基于環(huán)境噪聲等級來管理音頻讀出和可視通知的方法的一個實施例的示意流程圖;以及
圖6是示出了用于基于傳感器數(shù)據(jù)來管理音頻讀出和可視通知的方法的一個實施例的示意流程圖。
具體實施方式
如本領域的技術人員所了解到的,實施例的方面可以體現(xiàn)為系統(tǒng)、方法、或者程序產(chǎn)品。因此,實施例可以采取如下形式:完全硬件實施例、完全軟件實施例(包括固件、常駐軟件、微代碼等)或者將在本文中一般都可以被稱為“電路”、“模塊”、或者“系統(tǒng)”的軟件方面和硬件方面組合在一起的實施例。此外,實施例可以采取程序產(chǎn)品的形式,該程序產(chǎn)品體現(xiàn)為一個或者多個計算機可讀存儲裝置,該一個或者多個計算機可讀存儲裝置存儲機器可讀代碼、計算機可讀代碼、和/或程序代碼,以下將其簡稱為代碼。存儲裝置可以是有形的、非暫時性的、和/或非傳輸?shù)?。存儲裝置可以不包含信號。在某些實施例中,存儲裝置僅僅采用用于訪問代碼的信號。
在本說明書中描述的許多功能單元已經(jīng)被標記為模塊,以更具體地強調(diào)其實施獨立性。例如,模塊可以被實施為硬件電路,該硬件電路包括定制vlsi電路或者門陣列、諸如邏輯芯片的現(xiàn)有半導體、晶體管、或者其它離散組件。模塊也可以被實施在可編程硬件裝置中,諸如,現(xiàn)場可編程門陣列、可編程陣列邏輯、可編程邏輯裝置等。
也可以用由各種類型的處理器執(zhí)行的代碼和/或軟件來實施模塊。識別到的代碼模塊可以,例如,包括一個或者多個物理或者邏輯可執(zhí)行代碼塊,該一個或者多個物理或者邏輯可執(zhí)行代碼塊可以,例如,被組織為對象、過程、或者函數(shù)。然而,識別到的模塊的可執(zhí)行體不需要在物理上位于一起,而是可以包括存儲在不同位置中的不同的指令,當該不同的指令在邏輯上被連接在一起時,其包括模塊并且實現(xiàn)對模塊的陳述目的。
事實上,代碼模塊可以是單個指令、或者許多指令,并且甚至可以分布在若干不同的代碼段上、分布在不同的程序中、并且跨若干存儲裝置分布。相似地,操作數(shù)據(jù)在本文中可以在模塊內(nèi)被識別和示出,并且可以按照任何合適的形式被體現(xiàn),并且被組織在任何合適的類型的數(shù)據(jù)結構內(nèi)。操作數(shù)據(jù)可以作為單個數(shù)據(jù)集被采集,或者可以分布在不同的位置上,包括在不同的計算機可讀存儲裝置上。在模塊或者模塊的部分被實施在軟件中的情況下,將軟件部分存儲在一個或者多個計算機可讀存儲裝置上。
可以利用一個或者多個計算機可讀介質(zhì)的任何組合。計算機可讀介質(zhì)可以是計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)可以是存儲代碼的存儲裝置。存儲裝置可以是,例如,但不限于,電子、磁、光學、電磁、紅外線、全息、微機械、或者半導體系統(tǒng)、設備、或者裝置、或者上述的任何合適的組合。
存儲裝置的更具體的示例(非詳盡的清單)包括以下:具有一條或者多條線的電氣連接、便攜式計算機軟盤、硬盤、隨機存取存儲器(ram)、只讀存儲器(rom)、可擦可編程只讀存儲器(eprom或者閃存)、便攜式壓縮盤只讀存儲器(cd-rom)、光學存儲裝置、磁存儲裝置、或者上述的任何合適的組合。在該文件的場境下,計算機可讀存儲介質(zhì)可以是任何有形介質(zhì),該任何有形介質(zhì)可以包含或者存儲由指令執(zhí)行系統(tǒng)、設備、或者裝置使用或者與該指令執(zhí)行系統(tǒng)、設備、或者裝置結合使用的程序。
按照一種或者多種編程語言的任何組合來編寫用于執(zhí)行實施例的操作的代碼,該一種或者多種編程語言包括:諸如python、ruby、java、smalltalk、c++等的面向?qū)ο缶幊陶Z言、諸如“c”編程語言等的常規(guī)程序編程語言、和/或諸如匯編語言的機器語言。代碼可以全部在用戶的計算機上執(zhí)行,部分在用戶的計算機上執(zhí)行,作為獨立的軟件包部分在用戶的計算機上執(zhí)行并且部分在遠程計算機上執(zhí)行,或者全部在遠程計算機或者服務器上執(zhí)行。在后一種情況下,遠程計算機可以通過任何類型的網(wǎng)絡連接至用戶的計算機,該任何類型的網(wǎng)絡包括局域網(wǎng)(lan)或者廣域網(wǎng)(wan),或者建立至外部計算機的連接(例如,通過使用互聯(lián)網(wǎng)服務提供商來經(jīng)由互聯(lián)網(wǎng))。
貫穿本說明書,對“一個實施例”、“實施例”、或者相似的語言的提及是指結合該實施例描述的特定特征、結構或者特性被包括在至少一個實施例中。因此,貫穿本說明書,短語“在一個實施例中”、“在實施例中”、和相似的語言的出現(xiàn)可能并不一定全部指相同的實施例,而是指“一個或者多個實施例,但不是全部的實施例”,除非另有明確規(guī)定。術語“包括(including)”、“包括(comprising)”、“具有”、和其變型意為“包括但不限于”,除非另有明確規(guī)定。項的枚舉列表并不意味著項中的任何一個或者全部相互排斥,除非另有明確規(guī)定。術語“一個(a)”、“一個(an)”、和“該”也指“一個或者多個”,除非另有明確規(guī)定。
此外,可以按照任何合適的方式組合實施例的所描述的特征、結構、或者特性。在以下描述中,提供了許多具體細節(jié)諸如編程、軟件模塊、用戶選擇、網(wǎng)絡事務、數(shù)據(jù)庫查詢、數(shù)據(jù)庫結構、硬件模塊、硬件電路、硬件芯片等示例,以提供對實施例的透徹理解。然而,相關領域中的技術人員要意識到,可以在沒有具體細節(jié)中的一個或者多個的情況下或者利用其它方法、組件、材料等來實踐實施例。在其它情況下,未詳細地示出或者描述已知結構、材料、或者操作以避免使實施例的方面模糊。
下面參照根據(jù)實施例的方法、設備、系統(tǒng)和程序產(chǎn)品的示意流程圖和/或示意框圖來描述實施例的方面。要理解,可以通過代碼實施示意流程圖和/或示意框圖的每個框以及在示意流程圖和/或示意框圖中的框的組合。這些代碼可以被提供至通用計算機和專用計算機的處理器、或者其它可編程數(shù)據(jù)處理設備以產(chǎn)生機器,從而使經(jīng)由計算機的處理器或者其它可編程數(shù)據(jù)處理設備執(zhí)行的指令創(chuàng)建用于在示意流程圖和/或示意框圖的(多個)框中指定的功能/動作的構件。
也可以將代碼存儲在存儲裝置中,該存儲裝置可以指示計算機、其它可編程數(shù)據(jù)處理設備、或者其它裝置以特定方式運行,從而使存儲在存儲裝置中的指令產(chǎn)生制品,該制品包括實施在示意流程圖和/或示意框圖的(多個)框中指定的功能/動作的指令。
代碼也可以被加載到計算機、其它可編程數(shù)據(jù)處理設備、或者其它裝置上,使得在計算機、其它可編程數(shù)據(jù)處理設備、或者其它裝置上執(zhí)行一系列的操作步驟以生成計算機所實施的過程,從而使在計算機或者其它可編程數(shù)據(jù)處理設備上執(zhí)行的代碼提供用于實施在示意流程圖和/或示意框圖的(多個)框中指定的功能/動作的過程。
附圖中的示意流程圖和/或示意框圖示出了根據(jù)各種實施例的設備、系統(tǒng)、方法、和程序產(chǎn)品的可能的實施方式的架構、功能、和操作。在這方面,在示意流程圖和/或示意框圖中的每個框可以表示包括用于實施(多種)指定邏輯功能的代碼的一個或者多個可執(zhí)行指令的模塊、段、或者代碼部分。
還應該注意,在某些替代實施方式中,在框中指出的功能可能不會按照附圖中所指出的順序發(fā)生。例如,根據(jù)所涉及的功能,連續(xù)地示出的兩個框?qū)嶋H上可以大體上同時被執(zhí)行或者有時可以按照相反的順序被執(zhí)行。可以設想,其它步驟和方法在功能、邏輯、或者效果方面對所示的附圖的一個或者多個框或者其部分而言是等同物。
雖然在流程圖和/或框圖中可以采用各種箭頭類型和線類型,但是不應該將它們理解為是對對應實施例的范圍的限制。事實上,可以僅僅使用某些箭頭或者其它連接物來指示所描繪的實施例的邏輯流程。例如,箭頭可以指示在所描繪的實施例的枚舉步驟之間的未指定的持續(xù)時間的等待或者監(jiān)控時期。也要注意,可以通過執(zhí)行指定功能或者動作的專用的基于硬件的系統(tǒng)、或者專用硬件和代碼的組合實施框圖和/或流程圖的每個框、以及在框圖和/或流程圖中的框的組合。
對在每個附圖中的元件的描述可以指繼續(xù)該附圖的元件。在所有附圖中,相同的數(shù)字指相同的元件,包括相同的元件的替代實施例。
圖1是示出了根據(jù)本公開的實施例的用于管理音頻讀出和可視通知的系統(tǒng)100的示意框圖。系統(tǒng)100包括電子裝置105。在一個實施例中,電子裝置105包括處理器110、存儲器115、通知模塊120、輸入裝置125、音頻輸出裝置130、和顯示裝置135,這些裝置經(jīng)由計算機總線140彼此通信地耦合。
電子裝置105可以是能夠呈現(xiàn)音頻讀出和可視通知的任何數(shù)字裝置,包括但不限于:通用計算裝置、專用(專用型)計算裝置等。在某些實施例中,電子裝置105可以是個人計算機,包括但不限于:移動電話、智能電話、平板計算機、膝上型計算機、手持式計算機、可穿戴計算機、臺式計算機、游戲控制臺等。
在一個實施例中,處理器110可以包括能夠執(zhí)行計算機可讀指令并且/或者能夠執(zhí)行邏輯操作的任何已知的控制器。例如,處理器110可以是微控制器、微處理器、中央處理單元(cpu)、圖形處理單元(gpu)、輔助處理單元、fpga、或者相似的可編程控制器。在某些實施例中,處理器110可以包括多個處理單元,諸如,多個處理核心、多個cpu、多個微控制器等。在某些實施例中,處理器110執(zhí)行存儲在存儲器115中的、用于執(zhí)行本文所描述的方法和例程的指令。處理器110通信地耦合至存儲器115、通知模塊120、輸入裝置125、音頻輸出裝置130、和顯示裝置135。
在一個實施例中,存儲器115是計算機可讀存儲介質(zhì)。在某些實施例中,存儲器115包括易失性計算機存儲介質(zhì)。例如,存儲器115可以包括隨機存取存儲器(ram),包括動態(tài)ram(dram)、同步動態(tài)ram(sdram)、和/或靜態(tài)ram(sram)。在某些實施例中,存儲器115包括非易失性計算機存儲介質(zhì)。例如,存儲器115可以包括硬盤驅(qū)動器、閃存、或者任何其它合適的非易失性計算機存儲裝置。在某些實施例中,存儲器115包括易失性和非易失性計算機存儲介質(zhì)。
在一個實施例中,通知模塊120被配置為將音頻讀出呈現(xiàn)給用戶。例如,通知模塊120可以控制音頻輸出裝置130以呈現(xiàn)音頻讀出。通知模塊120可以進一步被配置為確定用戶關注狀態(tài),諸如,感興趣的狀態(tài)、分心的狀態(tài)、或者既不是感興趣也不是分心的的中立狀態(tài)。基于確定的用戶關注狀態(tài),通知模塊120可以繼續(xù)呈現(xiàn)音頻讀出,可以暫停音頻讀出,并且/或者可以在與音頻讀出對應的可視通知上呈現(xiàn)可視提示。
在一個實施例中,通知模塊120響應于用戶關注狀態(tài)是用戶感興趣的狀態(tài),在與音頻讀出對應的可視通知中呈現(xiàn)可視提示。例如,通知模塊120可以控制顯示裝置135以顯示可視提示和可視通知??梢酝ㄟ^用戶正拿著電子裝置105和/或正看著顯示裝置135來確定用戶感興趣的狀態(tài)。在一個實施例中,可視提示可以指示在可視通知中與音頻讀出的當前位置對應的位置。在另一實施例中,可視提示可以指示在可視通知中與音頻讀出的最后呈現(xiàn)的部分對應的位置。
在某些實施例中,通知模塊120可以響應于確定用戶關注狀態(tài)是分心的狀態(tài)來暫停音頻讀出。例如,如果環(huán)境噪聲等級超過一定閾值,則由于用戶正被環(huán)境噪聲分心并且/或者因環(huán)境噪聲而無法聽到音頻讀出,通知模塊可以暫停音頻讀出。在進一步的實施例中,通知模塊120可以響應于用戶關注狀態(tài)不再是分心的狀態(tài)來恢復音頻讀出。例如,如果環(huán)境噪聲等級低于可聽閾值達閾值時間量,那么通知模塊120可以恢復音頻讀出。在這種實施例中,通知模塊120通過只有當噪聲等級下降至可聽等級達持續(xù)的時間段(例如,2-3秒)時才恢復音頻讀出,來防止過早地恢復音頻讀出,在過早地恢復音頻讀出的情況下,噪聲等級波動。
在某些實施例中,通知模塊120可以確定用戶是否正拿著電子裝置105并且然后確定用戶是否正看著顯示裝置135。響應于用戶正拿著電子裝置105并且正看著顯示裝置135,通知模塊120可以呈現(xiàn)可視提示和可視通知,并且也可以抓住呈現(xiàn)音頻讀出的時機。下面特別通過參照圖2和圖3來討論通知模塊120的進一步的細節(jié)和能力。通知模塊120可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在一個實施例中,輸入裝置125可以包括任何已知的計算機輸入裝置,包括觸摸屏、按鍵、鍵盤等。進一步地,輸入裝置125可以包括麥克風或者用于接收可聽輸入的其它裝置。在某些實施例中,輸入裝置125可以包括用于接收壓力數(shù)據(jù)、溫度數(shù)據(jù)、加速度數(shù)據(jù)、接近度數(shù)據(jù)、圖像數(shù)據(jù)等的各種傳感器。例如,輸入裝置125可以包括接近傳感器(例如,光電傳感器或者電容式傳感器)、溫度傳感器(例如,熱電偶或者紅外線傳感器)、壓力傳感器、加速器、攝像頭等中的一個或者多個。
在某些實施例中,輸入裝置125可以與顯示裝置135集成。例如,輸入裝置125和顯示裝置135可以組合為觸摸屏或者相似的觸摸敏感顯示器。在某些實施例中,輸入裝置125包括兩個或者更多個不同的裝置,諸如,觸控面板和攝像頭(或者其它傳感器)。
在一個實施例中,音頻輸出裝置130可以包括能夠?qū)⒖陕犅曇糨敵鲋劣脩舻娜魏我阎难b置。具體地,音頻輸出裝置130可以包括揚聲器、話音合成器等。音頻輸出裝置130可以接收例如來自處理器110、存儲器115、和/或通知模塊120的音頻讀出,其中,音頻輸出裝置130將音頻讀出呈現(xiàn)為可聽聲音。
在一個實施例中,顯示裝置135可以包括能夠?qū)⒖梢晹?shù)據(jù)輸出至用戶的任何已知的電子顯示器。例如,顯示裝置135可以是lcd顯示器、led顯示器、oled顯示器、投影儀、或者能夠?qū)D像、文本、和其它可視數(shù)據(jù)輸出至用戶的相似的顯示裝置。在某些實施例中,顯示裝置135可以與輸入裝置125集成,例如,作為觸摸屏或者相似的觸摸敏感顯示器。
在一個實施例中,顯示裝置135可以包括外部顯示器,該外部顯示器雖然在物理上仍然獨立于電子裝置105的剩余部分,但通信地耦合至其。例如,顯示裝置135可以包括智能手表、智能電話、平板計算機、電視機、智能眼鏡、虛擬現(xiàn)實的護目鏡、可穿戴顯示器、或者通信地耦合至電子裝置105的其它電子顯示器。顯示裝置135可以接收來自處理器110和/或來自通知模塊120的數(shù)據(jù)以進行顯示。
圖2描繪了根據(jù)本公開的實施例的包括通知模塊120的通知設備200。上面可以參照圖1大體上描述了通知模塊120。進一步地,如圖所示,通知模塊120可以包括讀出模塊205、關注狀態(tài)模塊210、和可視提示模塊215。模塊205-215和305-355可以彼此通信耦合。通知模塊120可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在一個實施例中,讀出模塊205經(jīng)由電子裝置105將音頻讀出呈現(xiàn)給用戶。具體地,讀出模塊205可以控制音頻輸出裝置130以呈現(xiàn)音頻讀出。在一個實施例中,音頻讀出與通知對應。例如,電子裝置105可以接收諸如輸入消息、對查詢的響應等的通知,其中,音頻讀出與接收到的通知對應??梢詮脑陔娮友b置105上執(zhí)行的應用接收通知。
在某些實施例中,讀出模塊205可以響應于用戶命令來呈現(xiàn)音頻讀出。例如,電子裝置105可以提醒用戶是否讀出接收到的通知,其中,讀出模塊205可以響應于對該提醒的肯定響應來呈現(xiàn)音頻讀出。在其它實施例中,讀出模塊205可以響應于電子裝置105正處于音頻讀出模式下來自動呈現(xiàn)音頻讀出(例如,無需等待用戶命令)。例如,用戶可以將電子裝置105置于免提模式下,并且讀出模塊205在處于音頻讀出模式下時可以響應于接收到通知來自動呈現(xiàn)與傳入的通知對應的音頻讀出。
在一個實施例中,讀出模塊205可以響應于來自關注狀態(tài)模塊210的指示來暫停音頻讀出。例如,如下面進一步詳述的,用戶關注狀態(tài)模塊210可以確定用戶是否分心,并且當用戶分心時,讀出模塊205可以暫停音頻讀出。響應于用戶關注狀態(tài)模塊210確定用戶不再是分心的,讀出模塊205可以恢復音頻讀出。
在另一實施例中,讀出模塊205可以響應于可視提示模塊215正在呈現(xiàn)可視提示來終止音頻讀出。例如,可視提示模塊215可以響應于呈現(xiàn)可視提示來觸發(fā)從音頻讀出模式中退出,其中,讀出模塊205響應于觸發(fā)來中止呈現(xiàn)音頻讀出。讀出模塊205可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在一個實施例中,關注狀態(tài)模塊210確定用戶關注狀態(tài)。如本文所使用的,“用戶關注狀態(tài)”是指預測的用戶針對通知的感興趣的狀態(tài)或者關注狀態(tài)。例如,關注狀態(tài)模塊210可以確定用戶的關注狀態(tài)是感興趣的狀態(tài)(例如,用戶感興趣的狀態(tài))或者分心的狀態(tài)(例如,用戶分心的狀態(tài))。作為另一示例,關注狀態(tài)模塊210可以確定用戶的關注狀態(tài)是中立狀態(tài)——既不是感興趣的狀態(tài),也不是分心的狀態(tài)。在某些實施例中,關注狀態(tài)模塊210通過收集傳感器輸入并且將傳感器輸入與一個或者多個關注狀態(tài)閾值進行比較,來確定用戶關注狀態(tài)。
在一個實施例中,關注狀態(tài)模塊210接收指示用戶是否正拿著電子裝置的傳感器數(shù)據(jù)。已經(jīng)接收到指示用戶是否正拿著電子裝置的傳感器數(shù)據(jù)后,在一個實施例中,關注狀態(tài)模塊210響應于用戶正拿著電子裝置來將用戶關注狀態(tài)確定為用戶感興趣的狀態(tài)??梢詮囊韵轮械囊粋€或者多個接收指示用戶是否正拿著電子裝置的傳感器數(shù)據(jù):接近傳感器(例如,光電傳感器或者電容式傳感器)、溫度傳感器(例如,熱電偶或者紅外線傳感器)、壓力傳感器、加速器、攝像頭等。
例如,關注狀態(tài)模塊210可以接收來自電子裝置105的主體的表面的溫度數(shù)據(jù)和/或壓力,并且響應于溫度數(shù)據(jù)和/或壓力數(shù)據(jù)超過閾值來確定電子裝置105正被拿著。作為另一示例,關注狀態(tài)模塊210可以接收指示用戶是否正拿著電子裝置105的陀螺儀數(shù)據(jù)和/或加速度數(shù)據(jù)。在又一示例中,關注狀態(tài)模塊210可以接收諸如來自電容式傳感器的指示用戶是否正拿著電子裝置105的接近度數(shù)據(jù)。更進一步地,關注狀態(tài)模塊210可以接收不同類型的數(shù)據(jù)(例如,壓力數(shù)據(jù)、溫度數(shù)據(jù)、加速度數(shù)據(jù)、接近度數(shù)據(jù)等)的組合,并且基于組合的數(shù)據(jù)來確定電子裝置105是否正被用戶拿著。
在進一步的實施例中,關注狀態(tài)模塊210可以響應于將用戶關注狀態(tài)設置為用戶感興趣的狀態(tài)來監(jiān)控用戶關注狀態(tài)的變化。例如,響應于用戶正表現(xiàn)出的興趣(例如,響應于關注狀態(tài)模塊210將用戶關注狀態(tài)確定為用戶感興趣的狀態(tài))用戶可能會瞥一眼呈現(xiàn)的可視通知,但是用戶可能很快就會移開目光。因此,關注狀態(tài)模塊210可以將用戶關注狀態(tài)確定為不再是用戶感興趣的狀態(tài),而是分心的狀態(tài)或者中立狀態(tài)(例如,既不專注也不分心)。在一個實施例中,關注狀態(tài)模塊210可以響應于用戶在先前拿著和/或看著電子裝置105之后將目光從電子裝置105移開(例如,表現(xiàn)出不感興趣),來用信號通知可視提示模塊215移除可視提示和/或可視通知。在進一步的實施例中,在響應于用戶關注狀態(tài)是感興趣的狀態(tài)(例如,響應于用戶正看著電子裝置105)而暫停音頻讀出的情況下,可選地在提醒用戶是否繼續(xù)音頻讀出之后,讀出模塊205可以恢復音頻讀出。
在某些實施例中,關注狀態(tài)模塊210接收指示在電子裝置105處的環(huán)境噪聲等級的傳感器數(shù)據(jù)。例如,關注狀態(tài)模塊210可以接收來自麥克風的音頻輸入。作為另一示例,關注狀態(tài)模塊210可以通過使用輸入裝置125來測量噪聲等級,其中,輸入裝置125包括麥克風、噪聲計、或者用于測量環(huán)境噪聲等級的其它裝置。在已經(jīng)接收到指示電子裝置105的環(huán)境噪聲等級的數(shù)據(jù)之后,關注狀態(tài)模塊210可以將接收到的數(shù)據(jù)與一個或者多個噪聲等級閾值進行比較。
在一個實施例中,關注狀態(tài)模塊210可以將測量得到的環(huán)境噪聲等級與不可聽狀態(tài)閾值進行比較,該不可聽狀態(tài)閾值與正常對話(例如,正常語音等級的對話)對用戶而言變得不可聽的噪聲等級對應??梢灶A設和/或可由用戶調(diào)整不可聽狀態(tài)閾值。響應于環(huán)境噪聲等級超過不可聽狀態(tài)閾值,關注狀態(tài)模塊210可以將用戶關注狀態(tài)確定為用戶分心的狀態(tài)。
在另一實施例中,關注設置模塊210將測量得到的環(huán)境噪聲等級與可聽狀態(tài)閾值進行比較,其中,可聽狀態(tài)閾值低于不可聽狀態(tài)閾值??陕牋顟B(tài)閾值與對話(例如,正常語音等級)對用戶而言是可聽的噪聲等級對應。可聽狀態(tài)閾值可以以足夠的程度低于不可聽狀態(tài)閾值,以許可不費力地對話。也可以預設和/或可由用戶調(diào)整可聽狀態(tài)閾值。響應于環(huán)境噪聲等級低于可聽狀態(tài)閾值,關注狀態(tài)模塊210可以將用戶關注狀態(tài)確定為不再是用戶分心的狀態(tài)。例如,關注狀態(tài)模塊210可以響應于環(huán)境噪聲等級低于可聽狀態(tài)閾值(例如,在首先超過不可聽狀態(tài)閾值之后),來將用戶關注狀態(tài)確定為中立狀態(tài)。
在其它實施例中,關注狀態(tài)模塊210可以接收指示用戶是否正看著電子裝置105的用戶圖像數(shù)據(jù)。例如,關注狀態(tài)模塊210可以接收來自諸如在輸入裝置125內(nèi)的攝像頭的攝像頭的圖像數(shù)據(jù)?;趫D像數(shù)據(jù),關注狀態(tài)模塊210可以確定用戶是否正看著電子裝置105。例如,攝像頭可以是前置攝像頭,并且關注狀態(tài)模塊210可以執(zhí)行眼睛追蹤和/或凝視檢測,以確定用戶是否正看著電子裝置105。響應于用戶正看著電子裝置105,關注狀態(tài)模塊210可以確定用戶關注狀態(tài)是用戶感興趣的狀態(tài)。
在已經(jīng)確定了用戶關注狀態(tài)之后,關注狀態(tài)模塊210將確定的用戶關注狀態(tài)指示給讀出模塊205和/或可視提示模塊215。讀出模塊205和/或可視提示模塊215可以響應于接收到用戶關注狀態(tài)來執(zhí)行具體動作。例如,讀出模塊205可以響應于關注狀態(tài)模塊210將用戶關注狀態(tài)指示為用戶分心的狀態(tài)來中止呈現(xiàn)音頻讀出。作為另一示例,可視提示模塊215可以響應于關注狀態(tài)模塊210將用戶關注狀態(tài)指示為用戶感興趣的狀態(tài),來在顯示裝置135上呈現(xiàn)可視提示。
在一個實施例中,關注狀態(tài)模塊210將確定的用戶關注狀態(tài)傳輸至讀出模塊205和/或可視提示模塊215。在另一實施例中,關注狀態(tài)模塊210可以將用戶關注狀態(tài)存儲到存儲器115中的位置,其中,讀出模塊205和/或可視提示模塊215可以從存儲器115中的位置檢索用戶關注狀態(tài)。在又一實施例中,關注狀態(tài)模塊210可以設置一個或者多個標記以指示確定的用戶關注狀態(tài)。關注狀態(tài)模塊210可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在一個實施例中,可視提示模塊120響應于用戶關注狀態(tài)是用戶感興趣的狀態(tài)來在可視通知中呈現(xiàn)可視提示,其中,可視通知與音頻讀出對應。在一個實施例中,音頻讀出是通知的可聽實施例,并且可視通知是相同的通知的可顯示實施例。例如,通知可以是傳入的消息,其中,可視通知是消息的可視組件(例如,文本和可選的圖像),并且音頻讀出是消息的文本至語音轉(zhuǎn)換(例如,讀取該通知的計算機生成的話音)。
在從在電子裝置105上運行的具體應用接收到通知的情況下,可視提示模塊215可以打開該應用的窗口,該窗口顯示從具體應用接收到的通知??梢曁崾灸K215然后可以在窗口內(nèi)顯示可視提示,該可視提示標記從具體應用接收到的通知。在一個示例中,可視提示指示音頻讀出的當前位置,其中,音頻讀出與從具體應用接收到的通知對應。
在某些實施例中,可視提示指示在可視通知中與音頻讀出的當前位置對應的位置。例如,通知可以包括多個單詞、字符、行、句子、段落等,其中,可視提示指示當前在音頻讀出中讀取的單詞、字符、行、句子、段落等。在某些實施例中,當繼續(xù)呈現(xiàn)(讀出)音頻讀出時,可視提示繼續(xù)。
可視提示可以是被配置為將用戶的注意力吸引到在可視通知中與音頻讀出的當前位置對應的位置的任何提示。在一個非限制性示例中,可視提示可以是與音頻讀出的當前呈現(xiàn)的部分對應的高亮顯示的單詞、字符、行、句子、段落等。作為另一非限制性示例,可以使可視通知的已讀部分淡化或者灰化,而可視通知的未讀部分可以是正常字體顏色(例如,未變淡的)。上述示例是說明性的,并不用于限制可視提示的范圍。
在某些實施例中,可視提示模塊215響應于用戶關注狀態(tài)是用戶感興趣的狀態(tài)來呈現(xiàn)可視通知。例如,通知可以是在電子裝置105處于音頻讀出模式下時接收到的傳入的消息。因此,電子裝置105可以在不顯示消息的可視組件的情況下讀出該消息(例如,呈現(xiàn)與該消息對應的音頻讀出)??商娲兀娮友b置105可以讀出消息,而將可視組件顯示在用戶界面的背景中或者在用戶界面內(nèi)的大小減小的窗口中。
響應于關注狀態(tài)模塊確定用戶關注狀態(tài)是用戶感興趣的狀態(tài)(例如,由于用戶正拿起電子裝置105、正看著電子裝置105等),可視提示模塊215可以顯示消息的可視組件,在前景窗口中顯示可視組件,并且/或者擴大顯示可視組件的窗口(例如,可視通知)。進一步的,可視提示模塊215在消息的可視組件中顯示可視提示,該可視提示指示與音頻讀出的當前位置對應的位置??梢曁崾灸K215可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在某些實施例中,可視提示模塊215可以在通信地耦合至電子裝置105的外部裝置上呈現(xiàn)可視通知。例如,電子裝置105可以是連接(例如,經(jīng)由有線連接或者無線連接)至外部裝置的智能電話、平板計算機、膝上型計算機等。外部裝置可以是在包括電子顯示器的電子裝置105的外部的任何裝置。外部裝置的示例包括但不限于:智能手表、可穿戴顯示器、電視機等。在進一步的實施例中,可視提示模塊215可以在顯示在外部裝置上的可視通知上呈現(xiàn)可視提示。
在一個實施例中,可視提示模塊215可以響應于用戶正關注外部裝置(例如,用戶正看著無線連接至外部裝置105的智能手表),來在顯示在外部裝置上的可視通知上呈現(xiàn)可視提示。在另一實施例中,當用戶關注狀態(tài)是中立狀態(tài)時,可視提示模塊215可以在外部裝置上呈現(xiàn)作為默認動作的可視通知和/或可視提示。
模塊205-215允許通知模塊120將音頻讀出呈現(xiàn)給用戶,以確定用戶關注狀態(tài),并且響應于用戶關注狀態(tài)是感興趣的狀態(tài),在與音頻讀出對應的可視通知中呈現(xiàn)可視提示。例如,關注狀態(tài)模塊210可以響應于諸如用戶正拿著電子裝置105和/或正看著電子裝置105)的某些預定提示,來確定用戶關注狀態(tài)是感興趣的狀態(tài)。響應于用戶感興趣,可視提示模塊215在可視通知上呈現(xiàn)可視提示。在某些實施例中,音頻讀出模塊205可以響應于可視提示模塊215正呈現(xiàn)可視提示來終止音頻讀出。在其它實施例中,音頻讀出模塊205可以在可視提示模塊215呈現(xiàn)可視提示時繼續(xù)呈現(xiàn)音頻讀出。例如,可視提示模塊215可以調(diào)整可視提示的位置,使得可視提示隨著音頻讀出的進行追蹤音頻讀出的當前位置。
圖3描繪了根據(jù)本公開的實施例的包括通知模塊120的通知設備300。上面可以參照圖1和圖2大體上描述了通知模塊120。如圖所示,通知模塊120可以包括讀出模塊205、關注狀態(tài)模塊210、和可視提示模塊215。通知模塊120可以進一步包括概述模塊305、提醒模塊310、安全模塊315、讀出模式模塊320、語音合成模塊325、回放模塊330、用戶掌握情況模塊335、用戶凝視情況模塊340、噪聲模塊345、可視位置模塊350、和可視通知模塊355。模塊205-215和305-355可以彼此通信耦合。通知模塊120可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在一個實施例中,概述模塊305被配置為生成接收到的通知的概述讀出。在某些實施例中,接收到的通知可能比閾值長度更長。概述模塊305可以進一步被配置為確定接收到的通知的長度。響應于通知超過閾值長度,概述模塊305可以生成接收到的通知的概述讀出。
在一個實施例中,概述模塊305響應于接收到的通知超過閾值長度,來控制提醒模塊310提醒用戶是否呈現(xiàn)接收到的通知的概述讀出。用戶對該提醒做出肯定響應(例如,指示出對概述讀出的期望),概述模塊305可以生成接收到的通知的概述讀出,其中,讀出模塊205將概述讀出呈現(xiàn)給用戶。
在另一實施例中,概述模塊305可以響應于接收到的通知超過閾值長度來自動生成概述讀出。概述模塊305可以進一步自動用信號通知讀出模塊205以呈現(xiàn)概述讀出。在讀出模塊205完成呈現(xiàn)概述讀出之后,提醒模塊310然后可以提醒用戶是否呈現(xiàn)整個通知(例如,接收到的通知的完整版本)。
在某些實施例中,概述模塊305進一步被配置為生成對先前呈現(xiàn)給用戶的音頻讀出的部分的概述。例如,如果讀出模塊205必須暫停音頻讀出(例如,響應于環(huán)境噪聲等級超過閾值、響應于更高優(yōu)先權的傳入的通知、或者響應于用戶命令),那么概述模塊305可以生成對已經(jīng)呈現(xiàn)的音頻讀出的部分的概述。將對已經(jīng)呈現(xiàn)的音頻讀出的部分的概述設計為向用戶給出上下文,從而刷新用戶對已經(jīng)呈現(xiàn)的音頻讀出的部分的記憶。概述模塊305可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在一個實施例中,提醒模塊310被配置為提醒用戶是否呈現(xiàn)通知的音頻讀出。提醒模塊310可以進一步收聽來自用戶的響應。在一個實施例中,用戶可以做出肯定響應或者否定響應。在另一實施例中,用戶可以對用戶命令做出響應,例如,呈現(xiàn)音頻讀出的命令?;谟脩繇憫?,提醒模塊310可以控制讀出模塊205以呈現(xiàn)音頻讀出。
在某些實施例中,提醒模塊310可以提醒用戶是否呈現(xiàn)對接收到的通知的概述。例如,如果接收到的通知是冗長的(例如,大于閾值量),那么提醒模塊310可以詢問用戶是否要呈現(xiàn)接收到的通知的概述版本或者接收到的通知的完整版本。響應于用戶指示出對概述版本的期望,提醒模塊310可以控制概述模塊305以生成對接收到的通知的概述,并且然后可以控制讀出模塊205以呈現(xiàn)與接收到的通知的概述版本對應的音頻讀出。否則,響應于用戶指示出對完整版本的期望,提醒模塊310可以控制讀出模塊205以呈現(xiàn)與接收到的通知的完整版本對應的音頻讀出。
在另一實施例中,提醒模塊310可以響應于讀出模塊205呈現(xiàn)通知的概述讀出,來提醒用戶是否呈現(xiàn)接收到的通知的完整版本。例如,在接收到的通知超過閾值長度的情況下,概述模塊305可以自動生成概述讀出(與接收到的通知的概述版本對應),并且讀出模塊205可以呈現(xiàn)該概述讀出。在讀出模塊205已經(jīng)呈現(xiàn)了概述讀出之后,提醒模塊310可以提醒用戶是否呈現(xiàn)接收到的通知的完整版本。響應于對提醒的肯定響應(例如,指示出用戶對完整版本的期望的響應),提醒模塊310可以控制讀出模塊205以呈現(xiàn)與接收到的通知的完整版本對應的音頻讀出。
在某些實施例中,提醒模塊310可以響應于讀出模塊205恢復音頻讀出,來提醒用戶是否呈現(xiàn)對音頻讀出的已讀部分的概述。例如,讀出模塊205可以暫停音頻讀出并且然后稍后恢復音頻讀出,其中,提醒模塊310可以提醒用戶是否呈現(xiàn)對音頻讀出的已讀部分的概述。如果用戶做出肯定響應,那么提醒模塊310可以控制概述模塊305以生成對音頻讀出的已讀部分的概述,并且然后控制讀出模塊205以在恢復音頻讀出之前在音頻讀出被暫停的點處呈現(xiàn)概述。
在一個實施例中,提醒模塊310可以提醒用戶是否進入音頻讀出模式。響應于來自用戶的肯定響應,提醒模塊310可以控制讀出模式模塊320以開始讀出模式。提醒模塊310可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在一個實施例中,安全模塊315控制對電子裝置105的訪問。在一個實施例中,安全模塊315被配置為響應于未授權用戶正拿著電子裝置105和/或正看著顯示裝置130,來限制對電子裝置105的訪問。安全模塊315可以接收例如來自前置攝像頭的圖像數(shù)據(jù),并且對該圖像數(shù)據(jù)進行分析以識別正拿著電子裝置105的用戶。在一個實施例中,安全模塊315可以利用面部識別例程來確定正拿著電子裝置105的用戶是否是電子裝置105的授權用戶。
響應于正拿著電子裝置105的用戶是授權用戶,安全模塊315可以允許對電子裝置105的訪問。例如,安全模塊315可以允許讀出模塊205繼續(xù)呈現(xiàn)音頻讀出。在進一步的示例中,安全模塊315也可以允許顯示裝置135顯示與音頻讀出對應的可視通知,并且/或者允許可視提示模塊215在可視通知內(nèi)呈現(xiàn)可視提示。
然而,安全模塊315可以響應于正拿著電子裝置105的用戶不是授權用戶來限制對電子裝置的訪問。例如,如果正拿著電子裝置105的用戶不是授權用戶,則安全模塊315可以使讀出模塊205暫停和/或終止音頻讀出。在進一步的示例中,安全模塊315也可以鎖定電子裝置105的屏幕,從而防止未授權用戶查看可視通知。在某些實施例中,響應于正拿著電子裝置105的用戶不是授權用戶,安全模塊315可以防止顯示可視通知和在可視通知內(nèi)呈現(xiàn)可視提示。
在某些實施例中,安全模塊315響應于未授權用戶正拿起電子裝置105來限制未授權用戶對電子裝置105的訪問。在其它實施例中,安全模塊315響應于未授權用戶正拿起電子裝置105并且正看著顯示裝置130,來限制未授權用戶對電子裝置105的訪問。安全模塊315可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
在一個實施例中,讀出模式模塊320控制電子裝置105的讀出模式。在一個實施例中,讀出模式模塊320響應于用戶命令將電子裝置105置于讀出模式下。在另一實施例中,讀出模式模塊320可以響應于電子裝置105正處于特定位置中(例如,在家中、在工作、在車里等)并且/或者響應于一天中的時間,來將電子裝置105置于讀出模式下。讀出模式模塊320包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。
如本文所使用的,“讀出模式”指電子裝置105的免提模式,其中,電子裝置按照可聽格式(例如,音頻讀出)將信息呈現(xiàn)給用戶,以及其中,用戶經(jīng)由語音命令與電子裝置105交互。因此,當電子裝置105不在讀出模式下時,對于人機交互而言不需要顯示裝置130。然而,在某些實施例中,電子裝置105在處于讀出模式下時可以使用顯示裝置130來將補充信息(例如,一天中的時間、電量指示、信號強度計等)被動地呈現(xiàn)給用戶。
在一個實施例中,讀出模式模塊320可以將電子裝置105設置為讀出模式,其中,當電子裝置105處于讀出模式時,讀出模塊205經(jīng)由音頻讀出將任何新的通知呈現(xiàn)給用戶。例如,讀出模塊205可以生成和呈現(xiàn)與諸如電子郵件消息、文本消息、sms消息等的最新接收到的消息對應的音頻讀出。作為另一示例,用戶可以查詢電子裝置105,并且電子裝置105可以響應于用戶查詢來返回通知,其中,讀出模塊205可以自動生成和呈現(xiàn)與對用戶查詢的響應對應的音頻讀出。
在某些實施例中,讀出模式模塊320可以響應于用戶正拿著和正看著顯示裝置130來使電子裝置105退出讀出模式。例如,當電子裝置105處于讀出模式時,用戶可能會變得對經(jīng)由音頻讀出呈現(xiàn)的通知感興趣。因此,用戶可以拿起并且看著電子裝置105。關注狀態(tài)模塊210可以解釋這些動作,并且確定用戶關注狀態(tài)是用戶感興趣的狀態(tài),其中,可視提示模塊215可以呈現(xiàn)可視提示。進一步地,讀出模式模塊320可以響應于關注狀態(tài)模塊210確定用戶關注狀態(tài)是用戶感興趣的狀態(tài),來使電子裝置105從讀出模式退出。在一個實施例中,當用戶正拿著電子裝置105但沒有看著電子裝置105時,讀出模式模塊320可以將電子裝置105維持在讀出模式下。
在某些實施例中,讀出模式模塊320可以響應于環(huán)境噪聲等級高于閾值達預定時間幀,來使電子裝置105退出讀出模式。例如,噪聲模塊345可以監(jiān)控環(huán)境噪聲等級,并且確定環(huán)境噪聲等級已經(jīng)超過閾值等級達預定時間幀,從而指示環(huán)境噪聲正阻止用戶收聽和/或理解音頻讀出。作為響應,噪聲模塊345可以用信號通知讀出模式模塊320退出讀出模式,可視提示模塊215可以在與音頻讀出對應的可視通知上呈現(xiàn)可視提示,該可視提示被呈現(xiàn)在與音頻讀出的最后呈現(xiàn)的部分對應的位置處。
在一個實施例中,語音合成模塊325根據(jù)接收到的通知生成音頻讀出。例如,語音合成模塊325可以使用文本轉(zhuǎn)語音例程來將接收到的通知的文本部分轉(zhuǎn)換為音頻讀出。在一個實施例中,語音合成模塊325可以生成對接收到的通知的概述的音頻讀出。例如,如果接收到的通知超過一定長度,則概述模塊305可以創(chuàng)建對接收到的通知的概述,并且語音合成模塊325可以根據(jù)該概述生成音頻讀出。
語音合成模塊325可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路系統(tǒng)和程序代碼的組合。如所示,語音合成模塊325可以是讀出模塊205的組件。例如,語音合成模塊325可以是讀出模塊205的硬件組件。作為另一示例,語音合成模塊325可以是讀出模塊205的子例程。然而,在其它實施例中,語音合成模塊325可以是通信地耦合至讀出模塊205的獨立組件。
在一個實施例中,回放模塊330被配置為控制音頻讀出的回放。例如,回放模塊330可以響應于用戶命令來開始播放音頻讀出。作為另一示例,回放模塊330可以響應于接收到通知來開始自動播放音頻讀出,該音頻讀出與接收到的通知對應。
在某些實施例中,回放模塊330基于電子裝置105是否處于音頻讀出模式來控制音頻讀出的回放。在一個實施例中,回放模塊330可以響應于電子裝置105處于音頻讀出模式來自動播放音頻讀出。在另一實施例中,回放模塊330可以響應于電子裝置105退出音頻讀出模式來自動停止音頻讀出。
在某些實施例中,回放模塊330可以響應于關注狀態(tài)模塊210確定用戶關注狀態(tài)是用戶分心的狀態(tài)來暫停音頻讀出。例如,回放模塊330可以響應于環(huán)境噪聲等級超過不可聽狀態(tài)閾值來暫停音頻讀出,環(huán)境噪聲等級指示用戶由于環(huán)境噪聲而被分心并且/或者無法關注音頻讀出。在一個實施例中,回放模塊330可以響應于關注狀態(tài)模塊210稍后確定用戶關注狀態(tài)不再是用戶分心的狀態(tài)來恢復音頻讀出。例如,回放模塊330可以響應于環(huán)境噪聲等級下降到低于可聽狀態(tài)閾值來恢復音頻讀出。
在某些實施例中,回放模塊330確定音頻讀出的當前位置。例如,回放模塊330可以追蹤音頻讀出的當前位置,以便在停止讀出的位置處恢復音頻讀出。進一步地,回放模塊330可以識別音頻讀出的已經(jīng)呈現(xiàn)的部分,其中,當音頻讀出恢復時,概述模塊305可以創(chuàng)建對音頻讀出的已經(jīng)呈現(xiàn)的部分的概述。
回放模塊330可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路系統(tǒng)和程序代碼的組合。如所示,回放模塊330可以是讀出模塊205的組件。例如,回放模塊330可以是讀出模塊205的硬件組件。作為另一示例,回放模塊330可以是讀出模塊205的子例程。然而,在其它實施例中,回放模塊330可以是通信地耦合至讀出模塊205的獨立組件。
在一個實施例中,用戶掌握情況模塊335確定用戶是否正拿著電子裝置105。例如,用戶掌握情況模塊335可以包括確定電子裝置105是否正被用戶掌握的硬件和/或軟件。在某些實施例中,用戶掌握情況模塊335接收指示用戶是否正拿著電子裝置105的傳感器數(shù)據(jù)。例如,電子裝置105可以包括嵌入電子裝置105的主體中的一個或者多個傳感器,所述傳感器被配置為測量電子裝置105的表面處的溫度和/或壓力。作為另一示例,電子裝置105可以測量加速度數(shù)據(jù)和/或接近度數(shù)據(jù)。基于接收到的傳感器數(shù)據(jù),用戶掌握情況模塊335可以確定用戶是否正拿著電子裝置105。
在一個實施例中,用戶掌握情況模塊335響應于用戶正拿著電子裝置105來用信號通知關注狀態(tài)模塊210。由于用戶正拿著電子裝置105,關注狀態(tài)模塊210然后可以確定用戶關注狀態(tài)是用戶感興趣的狀態(tài)。然而,用戶可能正拿著電子裝置105,但是沒有關注電子裝置105的顯示器。例如,用戶可能正將電子裝置105從一個位置移動到另一個位置。因此,用戶可能不希望暫停音頻讀出。
因此,在另一實施例中,用戶掌握情況模塊335向關注狀態(tài)模塊210指示用戶正拿著電子裝置105,其中,關注狀態(tài)模塊210請求用戶凝視情況模塊340確定用戶是否正看著電子裝置。如果用戶正拿著電子裝置105并且正看著電子裝置105,那么關注狀態(tài)模塊210可以確定用戶關注狀態(tài)是用戶感興趣的狀態(tài)。否則,關注狀態(tài)模塊210可以確定用戶關注狀態(tài)不是用戶感興趣的狀態(tài),而是中立狀態(tài)。
在一個實施例中,用戶掌握情況模塊335可以響應于確定用戶正拿著電子裝置105來觸發(fā)安全模塊315。安全模塊315然后可以確定正拿著電子裝置105的用戶是否是電子裝置105的授權用戶,并且響應于未授權用戶正拿著裝置來限制對電子裝置105的訪問。在一個實施例中,用戶掌握情況模塊335和/或安全模塊315可以進一步觸發(fā)用戶凝視情況模塊340,以確定正拿著電子裝置105的用戶是否正看著裝置。響應于未授權用戶正看著裝置,安全模塊315可以可選地限制對電子裝置105的訪問,諸如,鎖定屏幕、暫停/終止音頻讀出、阻止呈現(xiàn)可視通知和可視提示等。
用戶掌握情況模塊335可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路系統(tǒng)和程序代碼的組合。如所示,用戶掌握情況模塊335可以是關注狀態(tài)模塊210的組件。例如,用戶掌握情況模塊335可以是關注狀態(tài)模塊210的硬件組件。作為另一示例,用戶掌握情況模塊335可以是關注狀態(tài)模塊210的子例程。然而,在其它實施例中,用戶掌握情況模塊335可以是通信地耦合至語音狀態(tài)模塊210的獨立組件。
在一個實施例中,用戶凝視情況模塊340確定用戶是否正看著電子裝置105。例如,用戶凝視情況模塊340可以包括:確定用戶的凝視相對于電子裝置105的位置(例如確定用戶正看向哪兒)的硬件和/或軟件。在某些實施例中,用戶凝視情況模塊345接收來自前置攝像頭的圖像數(shù)據(jù),該圖像數(shù)據(jù)包括用戶的面部和/或眼睛的圖像?;谟脩舻拿娌亢?或眼睛的位置,用戶凝視情況模塊340可以確定用戶是否正看著電子裝置105。
在某些實施例中,用戶凝視情況模塊340響應于用戶正看著電子裝置105來用信號通知關注狀態(tài)模塊210。由于用戶正看著電子裝置105,關注狀態(tài)模塊210然后可以確定用戶關注狀態(tài)是用戶感興趣的狀態(tài)。此后,關注狀態(tài)模塊210可以用信號通知可視提示模塊215,其中,由于用戶正看著電子裝置105(例如,如用戶關注狀態(tài)所指示的),可視提示模塊215可以呈現(xiàn)可視提示。
在一個實施例中,用戶凝視情況模塊340繼續(xù)監(jiān)控圖像數(shù)據(jù)(例如,從前置攝像頭接收到的)以確定用戶是否正看著電子裝置105。然而,在另一實施例中,用戶凝視情況模塊340可以僅僅響應于觸發(fā)來獲取圖像數(shù)據(jù)(例如,請求來自前置攝像頭的圖像數(shù)據(jù))。在一個實施例中,觸發(fā)可以是:接近傳感器確定用戶在電子裝置105的預定接近度內(nèi)。在另一實施例中,觸發(fā)可以是:用戶掌握情況模塊335確定用戶正拿著電子裝置105。
用戶凝視情況模塊340可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路系統(tǒng)和程序代碼的組合。如所示,用戶凝視情況模塊340可以是關注狀態(tài)模塊210的組件。例如,用戶凝視情況模塊340可以是關注狀態(tài)模塊210的硬件組件。作為另一示例,用戶凝視情況模塊340可以是關注狀態(tài)模塊210的子例程。然而,在其它實施例中,噪聲模塊345可以是通信地耦合至語音狀態(tài)模塊210的獨立組件。
在一個實施例中,噪聲模塊345基于環(huán)境噪聲等級來確定用戶關注狀態(tài)。在某些實施例中,噪聲模塊345測量環(huán)境噪聲等級,并且將測量得到的噪聲等級與一個或者多個閾值進行比較?;谠摫容^,噪聲模塊345可以確定用戶關注狀態(tài)是否是用戶分心的狀態(tài)。進一步地,在已經(jīng)將用戶關注狀態(tài)識別為用戶分心的狀態(tài)之后,噪聲模塊345可以繼續(xù)監(jiān)控環(huán)境噪聲等級,并且將其與一個或者多個噪聲閾值進行比較,以便確定用戶關注狀態(tài)是否返回到非分心狀態(tài)。
在一個實施例中,噪聲模塊345可以通信地耦合至環(huán)境噪聲傳感器,諸如,麥克風或者噪聲計。在一個實施例中,噪聲模塊345通過使用環(huán)境噪聲傳感器來測量噪聲等級。在另一實施例中,噪聲模塊345接收由環(huán)境噪聲傳感器測量得到的噪聲等級。如上所述,輸入裝置125可以包括麥克風和噪聲計中的一個或者多個。噪聲模塊345可以對接收到的聲音數(shù)據(jù)進行分析以識別環(huán)境噪聲等級。
在某些實施例中,噪聲模塊345將環(huán)境噪聲等級與不可聽狀態(tài)閾值進行比較。不可聽狀態(tài)閾值可以是與噪聲等級對應的、由操作者定義的和/或用戶定義的閾值,在該噪聲等級中,正常音量等級的對話是不可聽的和/或難以理解的。響應于環(huán)境噪聲等級超過不可聽狀態(tài)閾值,噪聲模塊345可以將用戶關注狀態(tài)確定為用戶分心的狀態(tài)。關注狀態(tài)模塊210然后可以向讀出模塊205指示用戶分心的狀態(tài),其中,當用戶關注狀態(tài)是用戶分心的狀態(tài)時,讀出模塊205暫停音頻讀出。
在某些實施例中,噪聲模塊345可以將環(huán)境噪聲等級與可聽狀態(tài)閾值進行比較。響應于由于環(huán)境噪聲等級(例如,由于環(huán)境噪聲等級超過不可聽狀態(tài)閾值)而暫停音頻讀出,噪聲模塊345可以將環(huán)境噪聲等級與可聽狀態(tài)閾值進行比較。因此,噪聲模塊345可以使用可聽狀態(tài)閾值來確定環(huán)境噪聲等級何時被減小到足以恢復和/或重新開始音頻讀出。在某些實施例中,可聽狀態(tài)閾值是與不可聽狀態(tài)閾值相同的值,然而,在其它實施例中,可聽狀態(tài)閾值可以是具有低于不可聽狀態(tài)閾值的值的噪聲閾值。在一個實施例中,可聽狀態(tài)閾值比不可聽狀態(tài)閾值低預定量。在另一實施例中,可聽狀態(tài)閾值可以比不可聽狀態(tài)閾值低用戶定義量。
在一個實施例中,噪聲模塊345可以響應于環(huán)境噪聲等級下降到低于可聽狀態(tài)閾值,來將用戶關注狀態(tài)確定為不再是用戶分心的狀態(tài)(例如,確定為中立狀態(tài))。在進一步的實施例中,噪聲模塊345可以響應于環(huán)境噪聲等級下降到低于可聽狀態(tài)閾值達閾值時間量,來將用戶關注狀態(tài)確定為不再是用戶分心的狀態(tài)。可以由操作者定義和/或用戶定義環(huán)境噪聲等級必須低于可聽狀態(tài)閾值的閾值時間量。
作為一個示例,如果用戶在火車站,則火車可能會經(jīng)過用戶附近,從而提高環(huán)境噪聲等級。如超過不可聽狀態(tài)閾值的環(huán)境噪聲等級所指示的,來自正經(jīng)過的火車的環(huán)境噪聲可能較大聲,足以妨礙和/或阻止用戶收聽音頻讀出。因此,噪聲模塊345可以確定用戶關注狀態(tài)是由于經(jīng)過的火車的噪聲而導致的用戶分心的狀態(tài),并且讀出模塊205可以暫停音頻讀出。
噪聲模塊345可以繼續(xù)監(jiān)控環(huán)境噪聲等級(例如,以諸如每一秒鐘或者每不到一秒鐘的定期間隔來對環(huán)境噪聲等級進行測量(取樣))。在一個實施例中,只要環(huán)境噪聲等級下降到低于可聽狀態(tài)閾值,噪聲模塊345就將用戶狀態(tài)確定為不再是分心的狀態(tài)(從而觸發(fā)音頻讀出的恢復)。然而,在火車包括多節(jié)車廂的情況下,噪聲等級可能會隨著每節(jié)車廂的經(jīng)過而波動。因此,在另一實施例中,在將用戶關注狀態(tài)確定為不再是用戶分心的狀態(tài)(由于經(jīng)過的火車)之前,噪聲模塊345可以等待,直到環(huán)境噪聲等級下降到低于可聽狀態(tài)閾值達閾值時間量。
在某些實施例中,在環(huán)境噪聲等級超過不可聽狀態(tài)閾值之后,噪聲模塊345可以監(jiān)控時間的推移。例如,噪聲模塊345可以追蹤噪聲等級需要多長時間才能下降到低于可聽狀態(tài)閾值。響應于環(huán)境噪聲等級保持高于可聽狀態(tài)閾值達預定時間幀,噪聲模塊345可以用信號通知電子裝置105從音頻讀出模式退出,其中,讀出模塊205停止音頻讀出,并且可視提示模塊215呈現(xiàn)可視提示和可視通知。
在某些實施例中,與退出音頻讀出模式相關聯(lián)的預定時間幀可以是和如上所討論的與恢復音頻讀出相關聯(lián)的閾值時間量相同的時間量。然而,在其它實施例中,與退出音頻讀出模式相關聯(lián)的預定時間幀可以是和與恢復音頻讀出相關聯(lián)的閾值時間量不同的時間量。例如,如果環(huán)境噪聲等級保持低于可聽狀態(tài)閾值達2秒鐘,則讀出模塊205可以恢復音頻讀出,然而,如果環(huán)境噪聲等級保持高于可聽狀態(tài)閾值達5秒鐘,則噪聲模塊345可以用信號通知電子裝置105從音頻讀出模式退出。在該示例中的時間量是說明性的,而不是限制性的。其它實施例可以包括更短的和/或更長的時間量。
噪聲模塊345可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路系統(tǒng)和程序代碼的組合。如所示,噪聲模塊345可以是關注狀態(tài)模塊210的組件。例如,噪聲模塊345可以是關注狀態(tài)模塊210的硬件組件。作為另一示例,噪聲模塊345可以是關注狀態(tài)模塊210的子例程。然而,在其它實施例中,噪聲模塊345可以是通信地耦合至關注狀態(tài)模塊210的獨立組件。
在某些實施例中,可視位置模塊350將音頻讀出的當前位置與在可視通知中的位置相關聯(lián)。例如,可視位置模塊350可以追蹤音頻讀出的當前位置,并且識別在可視通知內(nèi)的對應位置。作為另一示例,響應于觸發(fā)(例如,響應于關注狀態(tài)模塊210將用戶關注狀態(tài)確定為感興趣的狀態(tài))來識別音頻讀出的當前位置,并且識別在可視通知內(nèi)的對應位置。
在已經(jīng)識別到在可視通知中與音頻讀出的當前位置對應的位置之后,可視位置模塊350可以將在可視通知內(nèi)的識別到的位置通信至可視提示模塊215,其中,可視提示模塊215在識別到的位置處呈現(xiàn)可視提示??梢曃恢媚K350可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路系統(tǒng)和程序代碼的組合。如所示,可視位置模塊350可以是可視提示模塊215的組件。例如,可視位置模塊350可以是可視提示模塊215的硬件組件。作為另一示例,可視位置模塊350可以是可視提示模塊215的子例程。然而,在其它實施例中,可視位置模塊350可以是通信地耦合至可視提示模塊215的獨立組件。
在某些實施例中,可視通知模塊355響應于關注狀態(tài)模塊210將用戶關注狀態(tài)確定為感興趣的狀態(tài)來在顯示裝置135上呈現(xiàn)可視通知。如上面所討論的,可視通知與音頻讀出對應。在一個實施例中,可視通知和音頻讀出均基于相同的通知,諸如,傳入的消息、對查詢的響應等。在某些實施例中,呈現(xiàn)可視通知包括:生成窗口并且在其中顯示可視通知,將包含可視通知的窗口帶至用戶界面的前臺,并且/或者擴大包含可視通知的窗口。
在一個實施例中,響應于用戶正拿著電子裝置105來將用戶關注狀態(tài)確定為感興趣的狀態(tài),其中,可視通知模塊355響應于用戶正拿著電子裝置105來在顯示裝置135上呈現(xiàn)可視通知。在另一實施例中,響應于用戶正看著電子裝置105來將用戶關注狀態(tài)確定為感興趣的狀態(tài),其中,可視通知模塊355響應于用戶正看著電子裝置105來在顯示裝置135上呈現(xiàn)可視通知。在進一步的實施例中,可視通知模塊355響應于用戶正拿著裝置并且正看著裝置來在顯示裝置135上呈現(xiàn)可視通知和位置。
在某些實施例中,可視通知模塊355響應于環(huán)境噪聲等級高于不可聽狀態(tài)閾值達大于預定時間幀,也在顯示裝置135上呈現(xiàn)可視通知。例如,如果環(huán)境噪聲等級超過不可聽狀態(tài)閾值并且不會下降到低于可聽狀態(tài)閾值達預定時間幀,那么電子裝置105可以從讀出模式退出,并且可視通知模塊355可以在顯示裝置135上呈現(xiàn)可視通知。進一步地,可視提示模塊215可以響應于環(huán)境噪聲等級高于不可聽狀態(tài)閾值達大于預定時間幀,來在可視通知中呈現(xiàn)可視提示,該可視提示指示暫停音頻讀出時在可視通知中與音頻讀出的當前位置對應的位置。
在某些實施例中,可視通知模塊355可以在通信地耦合至電子裝置105的外部裝置上呈現(xiàn)可視通知。例如,電子裝置105可以是連接(例如,經(jīng)由有線連接或者無線連接)至外部裝置的智能電話、平板計算機、膝上型計算機等。外部裝置可以是在包括電子顯示器的、電子裝置105的外部的任何裝置。外部裝置的示例包括但不限于:智能手表、可穿戴顯示器、電視機等。
在一個實施例中,可視通知模塊355可以響應于用戶正關注外部裝置(例如,用戶正看著無線連接至外部裝置105的智能手表),來在外部裝置上呈現(xiàn)可視通知。在另一實施例中,當用戶關注狀態(tài)是中立狀態(tài)時,可視通知模塊355可以在外部裝置上呈現(xiàn)可視通知,以作為默認動作。
可視通知模塊355可以包括硬件電路、在處理裝置上運行的程序代碼、或者硬件電路和程序代碼的組合。如所示,可視通知模塊355可以是可視提示模塊215的組件。例如,可視通知模塊355可以是可視提示模塊215的硬件組件。作為另一示例,可視通知模塊355可以是可視提示模塊215的子例程。然而,在其它實施例中,可視通知模塊355可以是通信地耦合至可視提示模塊215的獨立組件。
圖4是示出了根據(jù)本公開的實施例的用于管理音頻讀出和可視通知的方法400的示意流程圖。在一個實施例中,由電子裝置105執(zhí)行方法400。在另一實施例中,可以由通知設備200和/或300執(zhí)行方法400??商娲兀梢杂商幚砥?10和諸如存儲器115的計算機可讀存儲介質(zhì)執(zhí)行方法400。計算機可讀存儲介質(zhì)可以存儲在處理器110上被執(zhí)行以執(zhí)行方法400的功能的代碼。
方法400開始并且通過使用電子裝置來將音頻讀出呈現(xiàn)給用戶(405)。電子裝置可以是上面參照圖1至圖4來描述的電子裝置105。在一個實施例中,讀出模塊205將音頻讀出呈現(xiàn)給用戶(405)。在某些實施例中,將音頻讀出呈現(xiàn)給用戶(405)包括:控制音頻輸出裝置125以播放音頻讀出。
方法400確定用戶關注狀態(tài)(410)。在一個實施例中,關注狀態(tài)模塊210確定用戶關注狀態(tài)(410)。例如,關注狀態(tài)模塊210可以使用傳感器輸入來確定用戶關注狀態(tài)。在某些實施例中,確定用戶關注狀態(tài)(410)包括:處理來自多個傳感器的傳感器數(shù)據(jù),以確定用戶關注狀態(tài),該傳感器數(shù)據(jù)包括壓力數(shù)據(jù)、溫度數(shù)據(jù)、接近度數(shù)據(jù)、圖像數(shù)據(jù)、和/或噪聲等級數(shù)據(jù)。在某些實施例中,用戶關注狀態(tài)可以是用戶感興趣的狀態(tài)、用戶分心的狀態(tài)、或者既不是感興趣也不是分心的中立狀態(tài)。
方法400然后響應于用戶關注狀態(tài)是用戶感興趣的狀態(tài)來呈現(xiàn)可視提示(415)。方法400結束。在一個實施例中,可視提示模塊215響應于用戶關注狀態(tài)是用戶感興趣的狀態(tài)來呈現(xiàn)可視提示(415)。在與音頻讀出對應的可視通知內(nèi)呈現(xiàn)可視提示。在某些實施例中,可視提示指示在可視通知中與音頻讀出的當前位置對應的位置。在其它實施例中,可視提示指示在可視通知中與音頻讀出的最后呈現(xiàn)的位置對應的位置。
在某些實施例中,呈現(xiàn)可視提示(415)包括:驗證正拿著(或者正看著)電子裝置的用戶是電子裝置的授權用戶。例如,安全模塊315可以驗證用戶是授權用戶,并且允許可視提示模塊215響應于用戶是授權用戶來呈現(xiàn)可視提示(415)。驗證用戶是授權用戶可以包括:捕捉用戶的圖像數(shù)據(jù),并且執(zhí)行面部識別以確定用戶是否是授權用戶。
圖5是示出了根據(jù)本公開的實施例的用于管理音頻讀出和可視通知的方法500的示意流程圖。在一個實施例中,由電子裝置105執(zhí)行方法500。在另一實施例中,可以由通知設備200和/或300執(zhí)行方法500??商娲兀梢杂商幚砥?10和諸如存儲器115的計算機可讀存儲介質(zhì)執(zhí)行方法500。計算機可讀存儲介質(zhì)可以存儲在處理器110上被執(zhí)行以執(zhí)行方法500的功能的代碼。
方法500開始并且通過使用電子裝置來將音頻讀出呈現(xiàn)給用戶(505)。電子裝置可以是上面參照圖1至圖4來描述的電子裝置105。在一個實施例中,讀出模塊205將音頻讀出呈現(xiàn)給用戶(505)。在某些實施例中,將音頻讀出呈現(xiàn)給用戶(505)包括:控制音頻輸出裝置125以回放音頻讀出。
方法500測量在電子裝置處的環(huán)境噪聲等級(510)。在一個實施例中,噪聲模塊345測量環(huán)境噪聲等級(510)。在某些實施例中,測量環(huán)境噪聲等級(510)包括:接收來自麥克風、噪聲計、或者用于測量環(huán)境噪聲的其他裝置的數(shù)據(jù)。方法500然后確定環(huán)境噪聲等級是否超過不可聽狀態(tài)閾值(515)。在一個實施例中,噪聲模塊345確定環(huán)境噪聲等級是否超過不可聽狀態(tài)閾值(515)。
響應于環(huán)境噪聲等級超過不可聽狀態(tài)閾值,方法500然后將用戶關注狀態(tài)設置為用戶分心的狀態(tài)(520)。在一個實施例中,關注狀態(tài)模塊210將用戶關注狀態(tài)設置為用戶分心的狀態(tài)(520)。否則,響應于環(huán)境噪聲等級不超過不可聽閾值,方法500返回測量在電子裝置處的環(huán)境噪聲等級(510)。
方法500響應于將用戶關注狀態(tài)設置為用戶分心的狀態(tài)(由于環(huán)境噪聲等級超過不可聽閾值)(520),來監(jiān)控環(huán)境噪聲等級(525)。在一個實施例中,噪聲模塊345響應于關注狀態(tài)模塊210將用戶關注狀態(tài)設置為用戶分心的狀態(tài)(520),來監(jiān)控環(huán)境噪聲等級(525)。在某些實施例中,監(jiān)控環(huán)境噪聲等級(525)包括:以定期間隔對在電子裝置處的環(huán)境噪聲等級進行取樣,例如,每一秒鐘或者每不到一秒鐘進行一次取樣。
此外,方法500響應于將用戶關注狀態(tài)設置為用戶分心的狀態(tài)(520),來設置計時器(530)。在一個實施例中,噪聲模塊345設置計時器(530)。在某些實施例中,設置計時器(530)包括:設置預定時間量(例如,如上面參照圖3所討論的,等于預定時間幀)的計時器。
方法500確定環(huán)境噪聲等級是否下降到低于可聽閾值達閾值時間量(535)。在一個實施例中,噪聲模塊345確定環(huán)境噪聲等級是否下降到低于可聽閾值達閾值時間量(535)。在某些實施例中,可聽閾值低于不可聽閾值。在進一步的實施例中,可聽閾值可以比不可聽閾值低了由用戶指定的量。在一個實施例中,確定環(huán)境噪聲等級是否下降到低于可聽閾值達閾值時間量(535)包括:設置第二計時器,以及確定直到第二計時器期滿環(huán)境噪聲等級是否保持低于可聽狀態(tài)閾值。在進一步的實施例中,響應于用戶關注狀態(tài)是用戶分心的狀態(tài),可以設置其時間量比第一計時器更短的第二計時器。
響應于環(huán)境噪聲等級下降到低于可聽閾值達預定時間量,方法500然后恢復音頻讀出(540)。在一個實施例中,讀出模塊205響應于環(huán)境噪聲等級下降到低于可聽閾值來恢復音頻讀出(540),并且方法500結束。否則,響應于環(huán)境噪聲等級未下降到低于可聽閾值,方法500確定是否已經(jīng)過去了預定時間量(例如,計時器是否已經(jīng)期滿)(545)。在一個實施例中,噪聲模塊345確定是否已經(jīng)過去了預定時間量(545)。
響應于正在過去預定時間量(例如,響應于環(huán)境噪聲等級保持高于可聽狀態(tài)閾值達預定時間幀),方法500在與音頻讀出對應的可視通知中呈現(xiàn)可視提示(550),并且方法500結束。在一個實施例中,可視提示模塊215響應于環(huán)境噪聲等級保持高于可聽狀態(tài)閾值達預定時間量,來在可視通知中呈現(xiàn)可視提示(550)。否則,方法500返回到確定環(huán)境噪聲等級是否下降到低于可聽閾值達閾值時間量(535)。
圖6是示出了根據(jù)本公開的實施例的用于管理音頻讀出和可視通知的方法600的示意流程圖。在一個實施例中,由電子裝置105執(zhí)行方法600。在另一實施例中,可以由通知設備200和/或300執(zhí)行方法600。可替代地,可以由處理器110和諸如存儲器115的計算機可讀存儲介質(zhì)執(zhí)行方法600。計算機可讀存儲介質(zhì)可以存儲在處理器110上被執(zhí)行以執(zhí)行方法600的功能的代碼。
方法600開始并且通過使用電子裝置來將音頻讀出呈現(xiàn)給用戶(605)。電子裝置可以是上面參照圖1至圖4來描述的電子裝置105。在一個實施例中,讀出模塊205將音頻讀出呈現(xiàn)給用戶(605)。在某些實施例中,將音頻讀出呈現(xiàn)給用戶(605)包括:控制音頻輸出裝置125以播放音頻讀出。
方法600接收指示用戶是否正拿著電子裝置的傳感器數(shù)據(jù)(610)。在某些實施例中,傳感器數(shù)據(jù)可以包括壓力數(shù)據(jù)、溫度數(shù)據(jù)、加速度數(shù)據(jù)、接近度數(shù)據(jù)等。在一個實施例中,用戶掌握情況模塊335接收傳感器數(shù)據(jù)(610)。
方法600基于接收到的傳感器數(shù)據(jù)來確定用戶是否正拿著電子裝置(615)。在一個實施例中,用戶掌握情況模塊335基于接收到的傳感器數(shù)據(jù)來確定用戶是否正拿著電子裝置(615)。在一個實施例中,基于接收到的傳感器數(shù)據(jù)來確定用戶是否正拿著電子裝置(615)包括:將接收到的傳感器數(shù)據(jù)與一個或者多個閾值進行比較。
響應于用戶正拿著裝置,方法600將用戶關注狀態(tài)設置為用戶感興趣的狀態(tài)(620)。在一個實施例中,關注模塊210響應于用戶正拿著裝置來將用戶關注狀態(tài)設置為用戶感興趣的狀態(tài)(620)。否則,響應于用戶沒有正拿著電子裝置,方法600繼續(xù)呈現(xiàn)音頻讀出(655)。
方法600響應于用戶關注狀態(tài)是用戶感興趣的狀態(tài),來在與音頻讀出對應的可視通知中呈現(xiàn)可視提示(625)。在一個實施例中,可視提示模塊210在可視通知中呈現(xiàn)可視提示(625)。在某些實施例中,呈現(xiàn)可視提示(625)包括:在顯示裝置135上呈現(xiàn)可視通知,以及在視覺上指示在可視通知內(nèi)與音頻讀出的當前位置對應的位置。
方法600接收圖像數(shù)據(jù)(630)。在一個實施例中,用戶凝視情況模塊340接收例如來自前置攝像頭的圖像數(shù)據(jù)(630)。方法600確定正拿著電子裝置的用戶是否是授權用戶(635)。在一個實施例中,安全模塊315確定授權用戶是否正拿著電子裝置(635)。在某些實施例中,確定正拿著電子裝置的用戶是否是授權用戶(635)包括:分析圖像數(shù)據(jù)以確定授權用戶是否正拿著電子裝置。
響應于確定正拿著裝置的用戶是電子裝置的授權用戶(635),方法600確定用戶是否正看著電子裝置(640)。否則,響應于確定正拿著電子裝置的用戶不是電子裝置的授權用戶(635),方法600限制對電子裝置的訪問(655),并且方法600結束。在一個實施例中,安全模塊315限制對電子裝置的訪問(655)。在某些實施例中,限制對電子裝置的訪問(655)包括鎖定電子裝置。
方法600結束。在一個實施例中,確定用戶是否正看著電子裝置(640)包括:用戶凝視情況模塊340確定用戶是否正看著電子裝置(例如,看著電子裝置的顯示屏幕)(640)。在某些實施例中,確定用戶是否正看著電子裝置(640)包括:確定相對于電子裝置的面部位置和/或眼睛位置。
響應于確定用戶正看著電子裝置(640),方法600停止音頻讀出(650)并且方法600結束。在一個實施例中,讀出模塊205響應于用戶正看著電子裝置來停止音頻讀出(650)。否則,響應于確定用戶沒有正看著電子裝置(640),方法600繼續(xù)呈現(xiàn)音頻讀出(655)并且方法600結束。
可以按照其它具體形式來實踐實施例。所描述的實施例被認為在各方面都僅僅是說明性的,而非限制性的。因此,本發(fā)明的范圍由隨附的權利要求書指示,而不是由前述描述來指示。在權利要求書的等同物的意義和范圍內(nèi)的所有變化都在其范圍內(nèi)。