用于利用智能模板掩模與觸摸屏界面交互的系統(tǒng)和方法
【專利摘要】本發(fā)明涉及用于利用智能模板掩模與觸摸屏界面交互的系統(tǒng)和方法。提供了用于采用智能模板掩模與觸摸屏界面進(jìn)行交互并從而減少意外控制功能激活的可能性的系統(tǒng)和方法。飛機(jī)上的觸摸屏界面被耦合到處理器并被配置為產(chǎn)生具有第一區(qū)域和第二區(qū)域的第一虛擬掩模。然后，檢測與所述第一區(qū)域和所述第二區(qū)域中的一個(gè)的用戶交互。如果用戶與所述第二區(qū)域進(jìn)行交互，則產(chǎn)生第一重新配置的虛擬掩模。然而，如果用戶與所述第一區(qū)域進(jìn)行交互，則激活飛機(jī)控制功能。
【專利說明】用于利用智能模板掩模與觸摸屏界面交互的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本文所描述的主題的實(shí)施例總體上涉及觸摸屏界面。更特別地，本文所描述的主題的實(shí)施例涉及用于使用智能模板掩模與觸摸屏界面進(jìn)行交互并從而減少意外控制功能激活的可能性的系統(tǒng)和方法。
【背景技術(shù)】
[0002]觸摸屏界面正被采用作為各種工業(yè)、商業(yè)、航空和消費(fèi)電子應(yīng)用中的主要輸入設(shè)備。然而，它們在這些市場中的增長受與無意的交互相關(guān)的問題制約，該無意的交互可以被定義為在沒有用戶的操作許可的情況下發(fā)布至觸摸屏界面的任何系統(tǒng)可檢測交互。也就是說，無意的交互可能是碰撞、振動或其他物體引起的，從而導(dǎo)致可能的系統(tǒng)故障或操作錯(cuò)誤。例如，無意的交互的潛在來源包括但不限于用戶的手或其他物理對象的意外掠過。意外的交互也可以由用戶的非交互的手指或手部引起。此外，取決于所采用的技術(shù)，環(huán)境因素也可能導(dǎo)致無意的交互，如昆蟲、陽光、筆、剪貼板等。除了與重要的控制功能相關(guān)聯(lián)的上述副作用，較不重要的控制功能的激活可能使觸摸屏界面的總體功能降級。
[0003]一種已知的用于減少觸摸屏界面上的無意交互的方法包括:通過分析與觸摸屏界面的接觸的大小和持續(xù)時(shí)間，估計(jì)用戶的激活特定控制功能的意圖。不幸的是，這樣的系統(tǒng)不在具有不同操作重要性水平的功能之間進(jìn)行區(qū)分。例如，關(guān)于航空電子系統(tǒng)，某些控制功能操作重要的航空電子功能(例如接合自動油門)，而其他控制功能與較不重要的功能(例如攝像機(jī)視頻顯示)相關(guān)聯(lián)。簡單地說，受無意觸摸影響的功能的重要性的范圍可以從單純的不方便到可能的安全問題。
[0004]鑒于上述內(nèi)容，將期望提供一種用于與觸摸屏界面交互的系統(tǒng)和方法，其通過利用上下文敏感的智能掩模系統(tǒng)來減少無意的用戶交互。

【發(fā)明內(nèi)容】

[0005]提供了本
【發(fā)明內(nèi)容】
來以簡化的形式介紹一系列概念，這些概念下面在詳細(xì)描述中被進(jìn)一步描述。本
【發(fā)明內(nèi)容】
并不旨在標(biāo)識出要求保護(hù)的主題的關(guān)鍵或必要特征，也不旨在被用來幫助確定所附權(quán)利要求的范圍。
[0006]提供了一種用于操作觸摸屏界面的方法。該方法包括:產(chǎn)生具有第一區(qū)域在其上的第一虛擬掩模；以及響應(yīng)于與該第一區(qū)域的用戶交互產(chǎn)生第一重新配置的虛擬掩模。
[0007]還提供了 一種用于操作飛機(jī)觸摸屏控制器上的觸摸屏界面的方法。該方法包括產(chǎn)生具有第一區(qū)域和第二區(qū)域的第一虛擬掩模。然后，檢測與所述第一區(qū)域和所述第二區(qū)域中的一個(gè)的用戶交互。如果用戶與所述第二區(qū)域進(jìn)行交互，則產(chǎn)生第一重新配置的虛擬掩模。然而，如果用戶與所述第一區(qū)域進(jìn)行交互，則激活飛機(jī)控制功能。
[0008]此外，提供了一種用于飛機(jī)上的系統(tǒng)。該系統(tǒng)包括耦合至處理器的觸摸屏界面，該處理器被配置為:在具有第一區(qū)域在其上的觸摸屏界面上產(chǎn)生第一虛擬掩模；以及響應(yīng)于檢測到與該第一區(qū)域的用戶交互，在觸摸屏上產(chǎn)生重新配置的虛擬掩模。【專利附圖】

【附圖說明】
[0009]圖1足包含觸摸屏顯示器和觸摸屏控制器的飛機(jī)駕駛艙顯示系統(tǒng)的框圖；
[0010]圖2是根據(jù)示例性實(shí)施例的軟件掩模控制器的框圖；
[0011]圖3示出了被轉(zhuǎn)換成多個(gè)區(qū)域以提供用戶交互意向簡檔的示例性用戶交互；
[0012]圖4是根據(jù)示例性實(shí)施例的軟件掩?？刂品椒ǖ牧鞒虉D；
[0013]圖5和圖6分別是第一虛擬掩模和與包含在用戶界面(UI)圖像中的每個(gè)元素相關(guān)的特性的電子表格的說明性示例性實(shí)施方式；
[0014]圖7是根據(jù)示例性實(shí)施例的虛擬掩模產(chǎn)生過程的流程圖；和
[0015]圖8是根據(jù)示例性實(shí)施例的任務(wù)上下文評估引擎過程的流程圖。
【具體實(shí)施方式】
[0016]以下【具體實(shí)施方式】在本質(zhì)上僅僅是說明性的，并不旨在限制本主題的實(shí)施例或這些實(shí)施例的應(yīng)用和使用。本文中描述為示例性的任何實(shí)施方式不必然被理解為與其他實(shí)施方式相比優(yōu)選或有利。此外，并不意圖由在前面的【技術(shù)領(lǐng)域】、【背景技術(shù)】、
【發(fā)明內(nèi)容】
或下面的【具體實(shí)施方式】中提出的任何明示或暗示理論來約束。
[0017]工藝和技術(shù)可以依據(jù)功能和/或邏輯塊部件并參照操作的符號表示、處理任務(wù)以及可通過各種計(jì)算部件或裝置執(zhí)行的功能在此加以說明。這樣的操作、任務(wù)和功能有時(shí)被稱為是計(jì)算機(jī)執(zhí)行的、計(jì)算機(jī)化的、軟件實(shí)現(xiàn)的或計(jì)算機(jī)實(shí)現(xiàn)的。在實(shí)踐中，一個(gè)或多個(gè)處理器設(shè)備可以通過操縱表示系統(tǒng)存儲器中的存儲位置處的數(shù)據(jù)位的電信號以及對信號的其他處理來執(zhí)行所描述的操作、任務(wù)和功能。數(shù)據(jù)位被保持的存儲位置是具有對應(yīng)于數(shù)據(jù)位的特定電、磁、光或有機(jī)特性的物理位置。應(yīng)當(dāng)理解的是，附圖中所示的各個(gè)塊部件可以由被配置成執(zhí)行指定功能的任意數(shù)量的硬件、軟件和/或固件部件來實(shí)現(xiàn)。例如，系統(tǒng)或部件的實(shí)施例可以使用各種集成電路部件，例如，存儲元件、數(shù)字信號處理元件、邏輯元件、查找表等，其可以在一個(gè)或多個(gè)微處理器或其他控制裝置的控制下執(zhí)行各種功能。
[0018]為了簡便起見，有關(guān)圖形和圖像處理、觸摸屏顯示器和某些系統(tǒng)和子系統(tǒng)(及具各個(gè)操作部件)的其他功能方面的常規(guī)技術(shù)可能不會在本文中詳細(xì)描述。此外，本文所包含的各個(gè)附圖中所示的連接線意在表示各元件之間的示例性功能關(guān)系和/或物理耦合。應(yīng)當(dāng)注意的是，許多替代或額外的功能關(guān)系或物理連接可以存在于本主題的實(shí)施例中。
[0019]本文公開了用于與觸摸屏界面交互的新型智能模板掩模系統(tǒng)和方法，其減少了無意的用戶交互的可能性。這是通過使用上下文敏感軟件定義的智能模板掩模來完成的。智能模板掩模(以下稱作“虛擬掩?！?是被放置在用戶界面圖像層之上的軟件層，其防止了直接用戶交互或需要額外的處理以實(shí)現(xiàn)用戶交互。虛擬掩模系統(tǒng)使用戶或開發(fā)者能夠定義針對觸摸屏界面的交互需求，該需求擴(kuò)展超出用戶的輸入被定向至的特定操作系統(tǒng)或應(yīng)用的限制。本文中出于闡釋的目的而提出了可如何在特定設(shè)備上采用虛擬掩模層系統(tǒng)的某些示例性實(shí)施例。例如，將討論適用于航空應(yīng)用中的界面的實(shí)施例。然而，應(yīng)當(dāng)理解的是，這個(gè)所闡釋的示例實(shí)施例僅僅是示例和用于在任何工業(yè)、商業(yè)、航空或消費(fèi)電子應(yīng)用中在任何觸摸屏界面上實(shí)現(xiàn)本文的新型系統(tǒng)和方法的向?qū)АＲ虼?，本文提出的示例旨在為非限制性的。[0020]圖1示出了駕駛艙顯示系統(tǒng)100，包括用戶界面102、處理器104、一個(gè)或多個(gè)地形數(shù)據(jù)庫106 (有時(shí)被稱為地形回避和預(yù)警系統(tǒng)(TAWS))、一個(gè)或多個(gè)導(dǎo)航數(shù)據(jù)庫108、傳感器112、外部數(shù)據(jù)源114以及一個(gè)或多個(gè)顯示設(shè)備116。用戶界面102與處理器104可操作地通信，并且被配置為從用戶109(例如，飛行員)接收輸入，并響應(yīng)于用戶輸入，提供命令信號給處理器104。用戶界面102可以是各種公知的用戶界面設(shè)備中的任一種或其組合，包括但不限于一個(gè)或多個(gè)按鈕、開關(guān)或旋鈕(未示出)。在所描繪的實(shí)施例中，用戶界面102包括觸摸屏顯示器107和觸摸屏控制器(TSC) 111。TSClll還包含軟件掩模控制器200，這將結(jié)合圖2加以充分描述。TSClll提供驅(qū)動信號113至觸摸屏顯示器107，并且，從觸摸屏顯示器107提供感測信號115至觸摸屏控制器111，觸摸屏控制器111周期性地提供觸摸的確定的控制信號117至處理器104。處理器104解釋該控制信號117，確定觸摸屏107上數(shù)字的應(yīng)用，并提供例如控制器信號117到觸摸屏控制器111且提供信號119到顯示裝置116。因此，用戶109使用觸摸屏107來提供輸入，并且該輸入的處理在下文中被更充分地描述。
[0021]處理器104可以利用下述各項(xiàng)實(shí)施或?qū)崿F(xiàn):通用處理器、內(nèi)容可尋址存儲器、數(shù)字信號處理器、專用集成電路、現(xiàn)場可編程門陣列、任何合適的可編程邏輯器件、分立門或晶體管邏輯、分立的硬件部件、或者被設(shè)計(jì)為執(zhí)行本文所述功能的任意組合。處理器裝置可以被實(shí)現(xiàn)為微處理器、控制器、微控制器或狀態(tài)機(jī)。此外，處理器裝置可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如，數(shù)字信號處理器和微處理器的組合、多個(gè)微處理器、一個(gè)或多個(gè)微處理器與數(shù)字信號處理器核心相結(jié)合、或任何其他此類配置。在所描繪的實(shí)施例中，處理器104包括機(jī)載RAM(隨機(jī)存取存儲器)103和機(jī)載ROM(只讀存儲器)105?？刂圃撎幚砥?04的程序指令可以存儲在RAM103或R0M105中的任一個(gè)中或者同時(shí)存儲在這兩者中。例如，操作系統(tǒng)軟件可以存儲在R0M105中，而各種操作模式軟件例程和各種操作參數(shù)可以被存儲在RAM103中。執(zhí)行示例性實(shí)施例的軟件存儲在R0M105或RAM103中。將理解的是，這僅僅是用于存儲操作系統(tǒng)軟件和軟件例程的一個(gè)示例性方案，且可以實(shí)現(xiàn)各種其他存儲方案。
[0022]存儲器103、105可以被實(shí)現(xiàn)為RAM存儲器、閃存、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移除盤、CD-ROM或本領(lǐng)域中已知的任何其他形式的存儲介質(zhì)。在這方面，存儲器103、105可以被耦合到處理器104，使得處理器104可以從存儲器103、105讀取信息并將信息寫入到存儲器103、105?？商鎿Q地，存儲器103、105可以是處理器104的組成部分。作為示例，處理器104和存儲器103、105可以駐留在ASIC中。在實(shí)踐中，顯示系統(tǒng)100的功能或邏輯模塊/部件可能使用被保持在存儲器103、105中的程序代碼實(shí)現(xiàn)。例如，存儲器103、105可以用來存儲用于支持顯示系統(tǒng)100的操作的數(shù)據(jù)，如通過以下描述將變得顯而易見。
[0023]不管處理器104是如何具體實(shí)現(xiàn)的，其是與地形數(shù)據(jù)庫106、導(dǎo)航數(shù)據(jù)庫108和顯示裝置116可操作地通信，并被耦合以接收來自傳感器112的各種類型的慣性數(shù)據(jù)以及來自外部數(shù)據(jù)源114的各種其他航空電子學(xué)相關(guān)數(shù)據(jù)。處理器104被配置成響應(yīng)于慣性數(shù)據(jù)和航空電子學(xué)相關(guān)數(shù)據(jù)，選擇性地獲取來自一個(gè)或多個(gè)地形數(shù)據(jù)庫106的地形數(shù)據(jù)和來自一個(gè)或多個(gè)導(dǎo)航數(shù)據(jù)庫108的導(dǎo)航數(shù)據(jù)，并提供適當(dāng)?shù)娘@示命令到顯示設(shè)備116。顯示設(shè)備116響應(yīng)于所述顯示命令，選擇性地呈現(xiàn)各種類型的文本、圖形和/或圖標(biāo)信息。
[0024]地形數(shù)據(jù)庫106包括表示飛機(jī)正在其之上飛行的地形的各種類型的數(shù)據(jù)，并且導(dǎo)航數(shù)據(jù)庫108包括各種類型的導(dǎo)航相關(guān)數(shù)據(jù)。傳感器112可以使用現(xiàn)在已知的或未來開發(fā)的各種類型的慣性傳感器、系統(tǒng)和/或子系統(tǒng)實(shí)現(xiàn)，該慣性傳感器、系統(tǒng)和/或子系統(tǒng)用于提供例如表示包括飛機(jī)速度、航向、高度和姿態(tài)的飛機(jī)狀態(tài)的各種類型的慣性數(shù)據(jù)。ILSl 18僅在著陸之前和期間給飛機(jī)提供水平(或定位器)和垂直(或滑翔道)引導(dǎo)，并在某些固定點(diǎn)處指示離在特定跑道上著陸的參考點(diǎn)的距離。GPS接收器124是多信道接收器，其中每個(gè)信道被調(diào)諧以接收由在繞地球的軌道上運(yùn)行的GPS衛(wèi)星(未示出)的星座發(fā)送的一個(gè)或多個(gè)GPS廣播信號。
[0025]顯示設(shè)備116如上所述響應(yīng)于從處理器104提供的顯示命令，選擇性地呈現(xiàn)各種文本、圖形和/或圖標(biāo)信息，并由此提供視覺反饋給用戶109。將理解的足，顯示裝置116可以使用適合于以可被用戶109查看的格式呈現(xiàn)文本、圖形和/或圖標(biāo)信息的多種已知顯示設(shè)備中的任一種實(shí)現(xiàn)。這種顯示設(shè)備的非限制性示例包括各種陰極射線管(CRT)顯示器以及各種平坦屏幕顯示器，例如各種類型的LCD (液晶顯示器)和TFT (薄膜晶體管)顯示器。顯示設(shè)備116還可以被實(shí)現(xiàn)為屏幕安裝顯示器或多種已知技術(shù)中的任一種。另外指出的是，顯示設(shè)備116可以被配置為多種類型的飛機(jī)駕駛艙顯示器中的任一種。例如，它可以被配置為多功能顯示器、水平情形指示器或垂直情形指示器，僅舉幾例。然而，在所描繪的實(shí)施例中，顯示設(shè)備116中的一個(gè)被配置為主飛行顯示器(PFD)。
[0026]在操作中，顯示設(shè)備116也被配置為針對主飛機(jī)處理當(dāng)前飛行狀態(tài)數(shù)據(jù)。在這方面，飛行狀態(tài)數(shù)據(jù)的源產(chǎn)生、測量和/或提供與主飛機(jī)的操作狀態(tài)、該主飛機(jī)操作于其中的環(huán)境、飛行參數(shù)等相關(guān)的不同類型的數(shù)據(jù)。在實(shí)踐中，飛行狀態(tài)數(shù)據(jù)的源可以使用航線可更換單元(LRU)、換能器、加速度計(jì)、儀器、傳感器和其他公知的設(shè)備實(shí)現(xiàn)。由飛行狀態(tài)數(shù)據(jù)的源提供的數(shù)據(jù)可以包括但不限于:空速數(shù)據(jù)；地面速度數(shù)據(jù)；高度數(shù)據(jù)；姿態(tài)數(shù)據(jù)，包括俯仰數(shù)據(jù)和橫滾數(shù)據(jù)；偏航數(shù)據(jù)；地理位置數(shù)據(jù)，例如GPS數(shù)據(jù)，時(shí)間/日期信息；航向信息；天氣信息；飛行路徑數(shù)據(jù)；跟蹤數(shù)據(jù)；雷達(dá)高度數(shù)據(jù)；幾何高度數(shù)據(jù)；風(fēng)速數(shù)據(jù)；風(fēng)向數(shù)據(jù)；等等。顯示設(shè)備116被適當(dāng)?shù)卦O(shè)計(jì)為以本文中更詳細(xì)描述的方式處理從飛行狀態(tài)數(shù)據(jù)的源獲得的數(shù)據(jù)。
[0027]存在多種類型的觸摸屏感測技術(shù)，包括電容性、電阻性、紅外、表面聲波和嵌入式光學(xué)。所有這些技術(shù)感測屏幕上的用戶交互。公開了一種觸摸屏，其顯示包含多個(gè)元素的UI圖像。每個(gè)元素被配置為顯示描述該元素的功能(例如，自動駕駛儀)的一個(gè)或多個(gè)符號。如本文所使用的元素是在觸摸屏上所定義的包含(一個(gè)或多個(gè))符號的可見位置。如本文所用的符號被定義為單獨(dú)或者組個(gè)地包括字母數(shù)字字符、圖標(biāo)、符號、單詞、術(shù)語和短語。通過感測接觸觸摸屏界面的用戶交互(例如，數(shù)字位或樣式)來選擇特定的元素。
[0028]無意的用戶交互可能由飛行員的手或任何能夠向觸摸傳感器發(fā)出可檢測交互的物理對象的意外掠過引起。在用戶在駕駛艙上移動式或者由于紊流所誘發(fā)的抖動，可能發(fā)出這些類型的無意交互。一些無意交互由環(huán)境因素引起，該環(huán)境因素依賴于在系統(tǒng)中所使用的觸摸技術(shù)；例如，昆蟲、陽光、筆等。理想地，非飛行員或機(jī)組成員故意發(fā)出的所有觸摸應(yīng)該被拒絕；然而，這將不實(shí)用。實(shí)用的解決方案應(yīng)該考慮無意交互和控制功能的后續(xù)激活的可能后果；一些可能具有相對較小的影響，而其他可能具有更顯著的影響。此外，控制功能界面交互特性(任務(wù)上的時(shí)間、工作量、可訪問性、易用性等)應(yīng)該保持等效于在非觸摸屏駕駛艙中或通過交替控制面板可用的界面。以下軟件掩?？刂破鹘Y(jié)合觸摸屏界面解決了上述問題，并提供了用于減少無意的用戶交互的手段。[0029]圖2是根據(jù)示例性實(shí)施例的軟件掩?？刂破?00的框圖。觸摸屏界面102響應(yīng)于所檢測到的觸摸而產(chǎn)生用戶交互。所產(chǎn)生的用戶交互被發(fā)送到觸摸事件預(yù)處理器202，以用于根據(jù)存儲在動態(tài)掩模定義數(shù)據(jù)庫217中的第一虛擬掩模204進(jìn)行處理。如果觸摸事件預(yù)處理器202確定用戶交互位于第一虛擬掩模的第一區(qū)域內(nèi)，那么觸摸事件預(yù)處理器202傳遞該用戶交互至意向識別器208。然而，如果觸摸事件預(yù)處理器202確定該用戶交互位于第一虛擬掩模的第二區(qū)域內(nèi)，則該用戶交互將被傳遞至軟件接口 206。
[0030]意向識別器208利用交互意向方法，將該用戶交互意向與存儲在意向描述符數(shù)據(jù)庫210中的預(yù)定用戶交互意向描述符進(jìn)行比較。該比較可以使用各種方法實(shí)現(xiàn)，包括但不限于下面描述的方法或者在2012年8月28日提交的名稱為“System and Method forReducing The Probability of Accidental Activation of Control Functions on aTouch Screen”且被轉(zhuǎn)讓給相同受讓人的美國專利申請13 / 597，021中描述的那些方法。
[0031]意向識別器208從觸摸事件預(yù)處理器202接收與在用戶交互中涉及的多個(gè)觸摸傳感器參數(shù)相對應(yīng)的信號流，并在離散的時(shí)間段內(nèi)采樣信號以將信號分離到多個(gè)區(qū)域(例如219,221)中。所述多個(gè)區(qū)域中的每一個(gè)的幅度被加權(quán)，以產(chǎn)生如圖3中所示的用戶交互意向簡檔。將新構(gòu)造的用戶交互意向與存儲在意向描述符數(shù)據(jù)庫210中的對應(yīng)預(yù)定用戶交互意向描述符進(jìn)行比較。將在創(chuàng)建預(yù)定用戶交互意向時(shí)計(jì)及各種因素，包括環(huán)境條件、觸摸屏技術(shù)和用戶交互需求。
[0032]意向識別器208確定是否意向簡檔的預(yù)定義特性滿足與預(yù)定義意向簡檔相關(guān)聯(lián)的預(yù)定特性。如果意向簡檔滿足預(yù)定特性，則用戶交互被接受并被發(fā)送到任務(wù)上下文評估引擎212。然而，如果意向簡檔不滿足預(yù)定特性，則用戶交互被拒絕和忽視。
[0033]任務(wù)上下文評估引擎212接受來自意向識別器208的用戶交互，并評估用戶與之交互的元素和附加元素之間的關(guān)系。這可以使用在任務(wù)上下文語法數(shù)據(jù)庫214中存儲具有相同用戶交互的所有附加元素的第一模式或使用在任務(wù)上下文語法數(shù)據(jù)庫214中存儲僅有的控制功能的第二模式實(shí)現(xiàn)，同時(shí)需要對與非控制功能的所有用戶交互的進(jìn)一步分析。
[0034]掩模產(chǎn)生器引擎216從任務(wù)上下文語法數(shù)據(jù)庫214接收用戶交互以及與用戶交互相關(guān)聯(lián)的活動任務(wù)上下文。掩模產(chǎn)生器引擎216具有:第一輸出，耦合到動態(tài)掩模定義數(shù)據(jù)庫217以存儲虛擬掩模；和第二輸出，耦合到軟件接口 206以傳遞用戶交互到下層的軟件應(yīng)用。掩模產(chǎn)生引擎216基于從應(yīng)用UI布局和功能重要性映射數(shù)據(jù)庫215接收到的數(shù)據(jù)來產(chǎn)生第一虛擬掩模。重新配置的虛擬掩模還由掩模產(chǎn)生器引擎216基于與每個(gè)用戶交互相關(guān)聯(lián)的接收到的活動任務(wù)上下文來產(chǎn)生，如下面更詳細(xì)地描述。這些虛擬掩模中的每一個(gè)將被存儲在可由觸摸事件預(yù)處理器202訪問的動態(tài)掩模定義數(shù)據(jù)庫217中。
[0035]圖4是根據(jù)示例性實(shí)施例的軟件掩?？刂破鞣椒ǖ牧鞒虉D250。該過程開始于產(chǎn)生第一虛擬掩模(步驟252)。然后在觸摸屏界面上檢測用戶交互(102，圖2)，并且將該位置與所述第一虛擬掩模進(jìn)行比較(步驟254)。如果用戶交互位于虛擬掩模的第二區(qū)域內(nèi)，則會將該用戶交互傳遞到下層軟件接口(步驟256)。然而，如果用戶交互位于虛擬掩模的第一區(qū)域內(nèi)，則在步驟258中確定用戶交互意向。在步驟260中，將該用戶交互意向與對應(yīng)預(yù)定用戶交互意向進(jìn)行比較。如果用戶交互意向不滿足與預(yù)定義意向簡檔相關(guān)聯(lián)的預(yù)定特性，則丟棄該用戶交互，并且登記無效結(jié)果(步驟262)。然而，如果用戶交互意向滿足與預(yù)定義交互簡檔相關(guān)聯(lián)的預(yù)定特性，則將識別和評估活動任務(wù)上下文(步驟264)。隨后在步驟266中根據(jù)活動任務(wù)上下文來重新配置第一虛擬掩模。在步驟268中，軟件掩?？刂破鞔_定活動任務(wù)上下文是否已過期。如果活動任務(wù)上下文已過期，那么用戶將在步驟254處在該過程的開始處開始。然而，如果活動任務(wù)上下文尚未過期，那么用戶交互將被傳遞到下層軟件接口。
[0036]圖5是第一虛擬掩模204的說明性示例性實(shí)施例，并且圖6是與被包含在UI圖像502中的每個(gè)元素相關(guān)聯(lián)的特性的電子表格600。UI圖像502包含多個(gè)被顯示在觸摸屏界面102上的元素。這些元素可以被分類為控制功能(例如，504-09和511-16)或非控制功能(例如，510)?？刂乒δ芸梢约せ顧C(jī)器的功能，(例如，飛機(jī)上的自動駕駛儀)，而非控制功能允許用戶更改Π圖像502 (例如改變被包含在滾動列表內(nèi)部的顯示元素)。雖然在該實(shí)施例中示出了示例性UI圖像502，但是將理解的是，本文所公開的概念可以擴(kuò)展到多種其他UI元素502，包括但不限于下拉文件和其他元素。還應(yīng)該理解的是，在Π圖像502上顯示的某些非控制功能元素可能要求用戶與多個(gè)元素進(jìn)行交互來選擇控制功能。例如，滾動列表510可能要求用戶滾動通過元素列表以顯示所期望的元素513，并且然后，用戶將必須通過敲擊對象513來選擇該元素。
[0037]電子表格600列出了在圖5中示出的多個(gè)元素以及每個(gè)元素的關(guān)聯(lián)特性。電子表格600的列包含元素的特性(例如，頁面ID602、圖形元素ID604、布局定義606、承擔(dān)特質(zhì)(Affordance)類型608和重要性水平610)，而電子表格600的行包含元素(例如，ScrollListl (滾動列表 I) 620 和 Buttonl (按鈕 I) 624_Button6 (按鈕 6) 629)。頁面 ID602標(biāo)識元素被顯示在其上的頁面，而該圖形元素ID604是被顯示在每個(gè)元素上的符號。布局定義606包含每個(gè)元素的位置和大小，并且承擔(dān)特質(zhì)類型包含元素的激活所需的用戶交互類型。例如，TAP會要求用戶接觸觸摸屏較短時(shí)間段，同時(shí)保持在基本上相同的位置中。重要性水平610由用戶或設(shè)計(jì)者定義，并基于各種參數(shù)，包括但不限于該元素所控制的功能(例如，自動駕駛儀、機(jī)艙照明等)、Π圖像上的位置、元素的尺寸、其他關(guān)聯(lián)元素、接近的其他元素等。
[0038]被包含在電子表格600中且在UI圖像502上顯示的每個(gè)元素可以具有各種關(guān)聯(lián)的特性。例如，在列604中顯示的ScrollListl允許兩個(gè)不同的承擔(dān)特質(zhì)類型608(例如，List_Scroll列608、行620和Item_Select列608、行622)。這是由于下述事實(shí):用戶可能必須執(zhí)行與ScrollListl的兩個(gè)不同交互(例如，滾動通過所顯示的元素并選擇所期望的元素)。與分配有重要性水平“8”的Item_Select承擔(dān)特質(zhì)類型相比，用戶或設(shè)計(jì)者可以分配較低的重要性水平“4”到List_SCix)ll承擔(dān)特質(zhì)類型。這可能是所期望的，因?yàn)椴淮嬖跓o意激活具有該List_Scroll承擔(dān)特質(zhì)類型的控制功能的風(fēng)險(xiǎn),而存在無意激活I(lǐng)tem_Select承擔(dān)特質(zhì)類型的風(fēng)險(xiǎn)。這允許用戶或設(shè)計(jì)者修改系統(tǒng)以滿足特定設(shè)計(jì)要求。應(yīng)當(dāng)理解的是，虛擬掩?？梢跃哂卸嘤趦蓚€(gè)區(qū)域，每個(gè)區(qū)域與不同的準(zhǔn)則相關(guān)聯(lián)。虛擬掩模區(qū)域的數(shù)目及具關(guān)聯(lián)的準(zhǔn)則可以被更改以滿足該系統(tǒng)的設(shè)計(jì)要求。
[0039]在UI圖像502上覆蓋第一虛擬掩模層204。所不實(shí)施例將第一虛擬掩模204顯不為具有由多個(gè)封閉區(qū)域518組成的第一區(qū)域和由多個(gè)開放區(qū)域520組成的第二區(qū)域。第一虛擬掩模204是通過將每個(gè)元素的關(guān)聯(lián)重要性水平610與用戶確定的閾值水平進(jìn)行比較來產(chǎn)生的。如果重要性水平低于閾值水平，那么由元素界定的虛擬掩模的區(qū)域被移除，從而創(chuàng)建開放區(qū)域。然而，如果重要性水平大于閾值水平，則該區(qū)域?qū)⒈３譃榉忾]區(qū)域。例如，圖6中所示的示例性列表用于創(chuàng)建圖5中所示的第一虛擬掩模204。在本實(shí)施例中，用戶或設(shè)計(jì)者設(shè)定閾值水平為“3”，在行629中的Button6和行628中的Button5上創(chuàng)建開放區(qū)域。這是由于其重要性水平(列610)低于“3”。被包含在電子表格中的所有其他元素具有高于“3”的重要性水平，從而需要這些元素之上的虛擬掩模的區(qū)域保持封閉。
[0040]圖7是根據(jù)示例性實(shí)施例的虛擬掩模產(chǎn)生過程的流程圖700。從應(yīng)用UI布局和功能重要性映射數(shù)據(jù)庫中檢索軟件應(yīng)用的Π圖像和每個(gè)元素的關(guān)聯(lián)重要性水平(步驟702)。分析每個(gè)元素的重要性水平(步驟704)并將其與閾值水平進(jìn)行比較(步驟706)。如果重要性水平高于閾值水平，那么該虛擬掩模的封閉區(qū)域保持在該元素上(步驟708)。然而，如果重要性水平低于閾值水平，那么在虛擬以掩模中創(chuàng)建開放區(qū)域(步驟710)。
[0041]圖8是根據(jù)示例性實(shí)施例的任務(wù)上下文評估引擎過程的流程圖800。任務(wù)上下文評估引擎(圖2中的122)接受來自意向識別器(圖2中的208)的用戶交互，并評估用戶與之交互的元素與Π圖像的附加元素之間的關(guān)系。這個(gè)過程開始于檢測用戶與之交互的第一元素(步驟802)。在步驟804中，發(fā)現(xiàn)包含第一元素作為開始狀態(tài)的對應(yīng)任務(wù)。然后，找到與第一元素進(jìn)行交互的附加元素(步驟806)。如果沒有找到(步驟808)，那么將第一元素存儲在任務(wù)上下文語法數(shù)據(jù)庫(圖2中的214)中，并將其確定為控制功能。然而，如果找到附加元素(步驟808)，那么檢測在第一元素上執(zhí)行的用戶交互類型(步驟810)。如果附加元素存在相同用戶交互類型，則將它們存儲在任務(wù)上下文數(shù)據(jù)庫中。然而，用戶可以選擇兩種不同模式之一，用于確定哪些附加元素被存儲(步驟812)。第一模式存儲在任務(wù)上下文數(shù)據(jù)庫中具有相同用戶交互的所有附加元素(步驟814)。第二模式存儲所有附加元素到臨時(shí)數(shù)據(jù)庫中(步驟816)。在步驟818中，分析存儲在臨時(shí)數(shù)據(jù)庫中的所有附加元素以確定它們是否為控制功能。如果附加元素被確定為控制功能，那么將它們存儲在任務(wù)上下文數(shù)據(jù)庫中(步驟820)。在步驟822中，如果附加元素不是控制功能，那么檢測用戶交互類型(步驟810)、比較與附加元素的用戶交互(步驟812)、存儲所有附加元素到臨時(shí)數(shù)據(jù)庫中(步驟816)以及確定所述附加元素是否為控制功能(步驟818)的步驟被重復(fù)，直到所有的附加元素是控制功能為止。
[0042]返回參照圖2，掩模產(chǎn)生器引擎216按照用于分析結(jié)合圖8描述的活動任務(wù)上下文的第一或第二模式，產(chǎn)生第一重新配置的虛擬掩模。如果用于分析所述活動任務(wù)上下文的第一模式被選擇，則重新配置該虛擬掩模，以只允許與存儲在任務(wù)上下文數(shù)據(jù)庫214中的元素的用戶交互。例如，如果檢測到與包含元素列表的滾動列表的用戶交互。在任務(wù)上下文評估引擎212中分析滾動列表的活動任務(wù)上下文，并且僅找到滾動列表內(nèi)部的元素列表與滾動列表交互。因此，第一重新配置的虛擬掩模僅打開掩模上的由被包含在滾動列表中的元素界定的區(qū)域。此外，第一重新配置的虛擬掩模只允許與掩模的開放區(qū)域的用戶交互，以減少無意的用戶交互。
[0043]如果在圖8中選擇了用于分析活動任務(wù)上下文的第二模式，則可以響應(yīng)于每個(gè)用戶交互來創(chuàng)建隨后的重新配置的虛擬掩模；例如，如果用戶期望改變飛機(jī)的航線航向。用戶可以首先與被包含在Π圖像中的激活包含數(shù)字鍵區(qū)的菜單的元素進(jìn)行交互?；顒尤蝿?wù)上下文被任務(wù)上下文評估引擎212評估，并確定被包含在數(shù)字鍵區(qū)中的元素是與菜單交互的僅有元素。因此，第一重新配置的虛擬掩模儀打開由被包含在數(shù)字鍵區(qū)中的元素界定的區(qū)域。如果檢測到與輸入期望航向相關(guān)聯(lián)的第二用戶交互，那么顯示構(gòu)造元素，并且再次產(chǎn)生第二重新配置的虛擬掩模，以阻止所有與除該構(gòu)造元素外的其他元素的用戶交互。
[0044]因此，已經(jīng)提供了一種用于與觸摸屏界面進(jìn)行交互的新型軟件掩?？刂破骱头椒?，其減少了無意的用戶交互。這是通過使用智能虛擬模板掩模來實(shí)現(xiàn)的。該實(shí)用解決方案評估每個(gè)元素的重要性以采用虛擬掩模系統(tǒng)，其防止某些區(qū)域中的用戶交互并需要對其他區(qū)域中的用戶交互的附加處理。這種方法減少了無意的交互，同時(shí)，控制功能界面交互特性(任務(wù)上的時(shí)間、工作量、可訪問性、易用性等)保持等效于在非觸摸屏駕駛艙中或通過交替控制面板可用的界面。
[0045]雖然至少一個(gè)示例性實(shí)施例已經(jīng)在前面的【具體實(shí)施方式】中被提出，但是應(yīng)當(dāng)理解的是，存在巨大量的變形。還應(yīng)該理解的是，一個(gè)或多個(gè)示例性實(shí)施例儀僅是示例，并不旨在以任何方式限制本發(fā)明的范圍、適用性或的配置。更確切地，前面的【具體實(shí)施方式】將給本領(lǐng)域技術(shù)人員提供用于實(shí)現(xiàn)本發(fā)明示例性實(shí)施例的方便的指導(dǎo)方針，應(yīng)該理解，在不脫離如所附權(quán)利要求中闡述的本發(fā)明的范圍的情況下，可用在示例性實(shí)施例中描述的元素的功能和布置中作出各種改變。
【權(quán)利要求】
1.一種用于操作觸摸屏界面的方法，該方法包括: 產(chǎn)生具有第一區(qū)域在其上的第一虛擬掩模；和 響應(yīng)于與所述第一區(qū)域的用戶交互，產(chǎn)生第一重新配置的虛擬掩模。
2.如權(quán)利要求1所述的方法，其中所述第一區(qū)域具有大于閾值水平的重要性水平。
3.如權(quán)利要求2所述的方法，進(jìn)一步包括: 檢測與所述第一區(qū)域的用戶交互； 產(chǎn)生用戶交互意向簡檔；和 將該用戶交互意向簡檔與預(yù)定的用戶交互意向簡檔進(jìn)行比較。
4.如權(quán)利要求3所述的方法，其中所述產(chǎn)生用戶交互意向簡檔的步驟包括: 分離該用戶交互到多個(gè)區(qū)域中；和 加權(quán)該多個(gè)區(qū)域的幅度。
5.如權(quán)利要求3所述的方法，進(jìn)一步包括: 如果該用戶意向簡檔的預(yù)定義特性不滿足與預(yù)定義的意向簡檔相關(guān)聯(lián)的預(yù)定準(zhǔn)則，則拒絕該用戶交互意向簡檔；和 如果該用戶意向簡檔滿足預(yù)定準(zhǔn)則，則激活與所述第一區(qū)域相關(guān)聯(lián)的控制功能。
6.如權(quán)利要求1所述的方法，進(jìn)一步包括: 檢索與第二區(qū)域相關(guān)聯(lián)的重要性水平； 確定所述第二區(qū)域的顯著性水平是否小于閾值水平；以及 在所述第一虛擬掩模上產(chǎn)生第二區(qū)域。
7.如權(quán)利要求6所述的方法，進(jìn)一步包括: 檢測與所述第二區(qū)域的用戶交互；和 響應(yīng)于該用戶交互，激活控制功能。
8.如權(quán)利要求1所述的方法，其中所述產(chǎn)生該第一重新配置的虛擬掩模的步驟包括: 在該第一重新配置的虛擬掩模上產(chǎn)生與所述第一虛擬掩模的第一區(qū)域交互的第二區(qū)域。
9.如權(quán)利要求8所述的方法，進(jìn)一步包括使用戶僅與所述第一重新配置的虛擬掩模上的第二區(qū)域進(jìn)行交互。
10.一種用于操作飛機(jī)觸摸屏控制器上的觸摸屏界面的方法，包括: 產(chǎn)生具有第一區(qū)域和第二區(qū)域的第一虛擬掩模； 檢測與所述第一區(qū)域和所述第二區(qū)域中的一個(gè)的用戶交互； 響應(yīng)于與所述第二區(qū)域的用戶交互，激活飛機(jī)控制功能；和 響應(yīng)于與所述第一區(qū)域的用戶交互，產(chǎn)生第一重新配置的虛擬掩模。
【文檔編號】G06F3/041GK103870059SQ201310757284
【公開日】2014年6月18日 申請日期:2013年12月6日 優(yōu)先權(quán)日:2012年12月7日
【發(fā)明者】A·N·卡瓦爾卡, H·羅思 申請人:霍尼韋爾國際公司