專利名稱：用于重疊窗口的音頻標(biāo)識(shí)符的數(shù)據(jù)處理器控制的顯示系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用戶交互計(jì)算機(jī)支持顯示技術(shù)，特別是涉及對(duì)用戶友好并通過易于使用的接口環(huán)境提供交互用戶的圖形用戶界面。
20世紀(jì)90年代已被認(rèn)為是由數(shù)據(jù)處理工業(yè)與消費(fèi)電子工業(yè)共同驅(qū)動(dòng)的技術(shù)革命。在過去兩年通過因特網(wǎng)所包含的擴(kuò)展消費(fèi)者和商業(yè)進(jìn)一步推動(dòng)了這一進(jìn)步。作為這種變化的結(jié)果，似乎可以認(rèn)為在工業(yè)化世界內(nèi)人類努力的所有方面實(shí)際上都需要人-機(jī)接口。存在這樣-種要求，即，必須使得計(jì)算機(jī)所涉及的活動(dòng)對(duì)世界人口的絕大部分來說是易于接近的，其中，直到幾年前，該世界人口的絕大部分為計(jì)算機(jī)盲，或充其量，對(duì)計(jì)算機(jī)無興趣。為使大量計(jì)算機(jī)支持的市場(chǎng)繼續(xù)存在并且具有商業(yè)生產(chǎn)性，對(duì)于大量計(jì)算機(jī)，不同的消費(fèi)者會(huì)涉及在計(jì)算機(jī)接口中。
隨著計(jì)算機(jī)功能的提高，大大增加了交互用戶可用的功能和資源。然而，伴隨這種功能增加所帶來的是用戶在顯示屏幕界面可用的窗口的數(shù)量和種類的增加。自然，這使得界面更為復(fù)雜，界面具有數(shù)十，甚至數(shù)百個(gè)包含諸如圖標(biāo)之類的交互數(shù)據(jù)元素的可用窗口。這些窗口設(shè)置在重疊窗口的堆棧內(nèi)，通過多-排列顯示或諸如美國專利5，241，656中所述的深度緩沖器之類的幀緩沖器控制和跟蹤重疊窗口的顯示。
事實(shí)上，窗口的多-排列分級(jí)結(jié)構(gòu)已經(jīng)變得很普通，以致其經(jīng)常用于多個(gè)桌面對(duì)話級(jí)。一個(gè)桌面對(duì)話常常由幾個(gè)重疊窗口層構(gòu)成，由深度幀緩沖器索引和跟蹤重疊窗口層。另外，創(chuàng)建窗口界面以處理未激活并存儲(chǔ)在幀緩沖器外部，但是當(dāng)激活對(duì)話時(shí)其可以交互地移入和移出到幀緩沖器的附加的分級(jí)窗口的桌面對(duì)話。使用這樣復(fù)雜的結(jié)構(gòu)，在任何給定時(shí)間多個(gè)窗口將被重疊窗口整體或部分地掩蓋或隱藏，這是顯而易見的。
在最初開發(fā)窗口操作環(huán)境時(shí)，交互用戶僅僅必須處理少數(shù)的窗口。從那時(shí)起，使用一個(gè)包括窗口的名稱或標(biāo)題的標(biāo)題條識(shí)別每個(gè)窗口已成為慣例。對(duì)于較少的窗口，即使存在某些重疊，用戶使用其光標(biāo)移動(dòng)窗口以便暴露標(biāo)題條和識(shí)別窗口，也是比較簡單的?，F(xiàn)在，對(duì)于上述窗口的數(shù)量和復(fù)雜的分級(jí)結(jié)構(gòu)，用戶移動(dòng)或拖拉顯示窗口以暴露足夠的標(biāo)題條以識(shí)別相應(yīng)的窗口，常常是一個(gè)繁重和困難的任務(wù)。本發(fā)明提出一種改進(jìn)以簡化這種窗口識(shí)別。
本發(fā)明提供一種用于復(fù)雜窗口分級(jí)圖形用戶界面內(nèi)窗口的交互處理和分類的用戶友好顯示界面系統(tǒng)。該系統(tǒng)提供可以以選擇的順序顯示以相互重疊的窗口分級(jí)的存儲(chǔ)，從而多個(gè)所述窗口為部分可視。提供用于在顯示屏幕顯示多個(gè)部分重疊窗口的裝置，提供并存儲(chǔ)用于這些窗口中的每一個(gè)的不同音頻標(biāo)識(shí)符。提供與響應(yīng)指向設(shè)備組合的用于來回移動(dòng)并定位一個(gè)指向設(shè)備，例如顯示屏幕上的一個(gè)光標(biāo)的裝置，指向設(shè)備用于通知所述指向設(shè)備輸入的每個(gè)窗口的音頻標(biāo)識(shí)符的裝置。指向設(shè)備可以是一個(gè)用戶控制光標(biāo)，一個(gè)觸針，甚至為觸摸敏感顯示系統(tǒng)內(nèi)的一個(gè)手指。音頻標(biāo)識(shí)符可以方便地作為窗口的標(biāo)題條內(nèi)的名稱。
參照下面結(jié)合附圖所作的描述，本發(fā)明將更加易于理解，其各種目的和優(yōu)點(diǎn)對(duì)本領(lǐng)域技術(shù)人員來說更為顯而易見，其中

圖1是一個(gè)交互數(shù)據(jù)處理器控制顯示系統(tǒng)的方框圖，該系統(tǒng)包括一個(gè)能夠?qū)崿F(xiàn)本發(fā)明的音頻窗口識(shí)別和通知的中央處理單元；圖2是表示用于顯示本發(fā)明的窗口堆棧或分級(jí)結(jié)構(gòu)的顯示屏幕的概略圖，本發(fā)明包括堆棧內(nèi)的每個(gè)窗口的音頻標(biāo)識(shí)符并表示指向設(shè)備，即，在一個(gè)窗口內(nèi)的光標(biāo)；圖3是與圖2的顯示屏幕相同的概略圖，其中光標(biāo)移入另一個(gè)窗口；圖4是與圖3的顯示屏幕相同的概略圖，其中光標(biāo)移入再一個(gè)窗口；圖5是使圖3的每個(gè)窗口與其存儲(chǔ)的音頻標(biāo)識(shí)符相關(guān)的存儲(chǔ)表的概略原理圖；圖6是創(chuàng)建本發(fā)明的音頻窗口識(shí)別系統(tǒng)所包含的程序步驟的流程圖；和圖7是示出圖6的程序所創(chuàng)建的運(yùn)行步驟的流程圖。
參照?qǐng)D1，示出一個(gè)一般的數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)可用于控制根據(jù)本發(fā)明處理的窗口堆棧分級(jí)結(jié)構(gòu)并提供窗口的音頻存儲(chǔ)和通知作為由指向設(shè)備輸入的窗口的計(jì)算機(jī)控制顯示終端。提供一個(gè)中央處理單元(CPU)10，例如由國際商業(yè)機(jī)器公司(IBM)推出的，一個(gè)PC微處理器，或工作站，例如，從IBM可得到的RISC系統(tǒng)／6000(TM)序列(RS／6000)(RISC系統(tǒng)／6000是國際商業(yè)機(jī)器公司的商標(biāo))并將其通過系統(tǒng)總線12互連到各種其他部件。操作系統(tǒng)41運(yùn)行在CPU10，并提供控制及用于協(xié)調(diào)圖1的各種部件的功能。操作系統(tǒng)41可以是諸如從IBM可得到的AIX6000(TM)操作系統(tǒng)或OS／2(TM)操作系統(tǒng)之類的商業(yè)可用操作系統(tǒng)窗口類型之一(AIX6000和0S／2是國際商業(yè)機(jī)器公司的商標(biāo))；微軟的Windows98(TM)或Windows NT(TM)，以及UNIX和AIX操作系統(tǒng)。由系統(tǒng)控制的應(yīng)用程序40移入和移出主存儲(chǔ)器，隨機(jī)存取存儲(chǔ)器(RAM)14。這些程序包括后續(xù)所述的提供窗口音頻標(biāo)識(shí)符內(nèi)的本發(fā)明的程序。只讀存儲(chǔ)器(ROM)16經(jīng)總線12連接到CPU10并包括控制基本的計(jì)算機(jī)功能的基本輸入／輸出系統(tǒng)(BIOS)。RAM14，I／O適配器18和通信適配器34也互連到系統(tǒng)總線12。應(yīng)該注意到包括操作系統(tǒng)41和應(yīng)用程序40的軟件組件加載到RAM14，RAM14為計(jì)算機(jī)系統(tǒng)的主存儲(chǔ)器。I／O適配器18可以是一個(gè)與盤存儲(chǔ)設(shè)備20，即，硬盤通信的較小計(jì)算機(jī)系統(tǒng)適配器。通信適配器34通過使數(shù)據(jù)處理系統(tǒng)與其他這樣的系統(tǒng)通信的一個(gè)外部網(wǎng)絡(luò)互連總線12。在當(dāng)前系統(tǒng)，從網(wǎng)絡(luò)，例如因特網(wǎng)內(nèi)的其他的計(jì)算機(jī)站發(fā)送窗口數(shù)據(jù)。
I／O設(shè)備經(jīng)用戶接口適配器22和顯示適配器36也連接到系統(tǒng)總線12。鍵盤24，跟蹤球32，鼠標(biāo)26和揚(yáng)聲器28通過用戶接口適配器22全部互連到總線12?？赏ㄟ^這樣的輸入設(shè)備實(shí)現(xiàn)本發(fā)明顯示內(nèi)所包含的用戶交互功能。顯示適配器36包括一個(gè)幀緩沖器39，該幀緩沖器39為一個(gè)保留顯示屏幕38上的每個(gè)像素顯示的存儲(chǔ)設(shè)備。圖像可以保留在用于通過各種部件，例如，數(shù)字到模擬轉(zhuǎn)換器(未示出)以及類似部件在監(jiān)視器38上顯示的幀緩沖器39。如前所述，為適應(yīng)重疊和隱藏窗口的分級(jí)結(jié)構(gòu)，幀緩沖器應(yīng)為一個(gè)深度緩存器，例如，美國專利5，241，565的深度緩存器。通過使用前述的I／O設(shè)備，用戶能夠?qū)⑿畔⑼ㄟ^鍵盤24，跟蹤球32或鼠標(biāo)26輸入到系統(tǒng)并從系統(tǒng)經(jīng)揚(yáng)聲器28和顯示器38接收輸出信息。自然，是通過揚(yáng)聲器28將指向設(shè)備或光標(biāo)輸入的窗口通知給交互用戶的。
現(xiàn)在將描述參照?qǐng)D2到4的顯示屏幕的本發(fā)明的一個(gè)簡單示例。當(dāng)描述顯示圖像時(shí)，應(yīng)該理解，可以通過諸如圖1系統(tǒng)中的RAM14內(nèi)的任何常規(guī)窗口操作系統(tǒng)內(nèi)的存儲(chǔ)圖像和文本創(chuàng)建程序來描繪這些圖像。作為操作系統(tǒng)41在圖1概略地示出了該操作系統(tǒng)。圖2到圖4的顯示屏幕展示給圖1的顯示監(jiān)視器38的收看者。根據(jù)常規(guī)技術(shù)，用戶可以控制通過諸如圖1的鼠標(biāo)26之類的常規(guī)I／O設(shè)備交互的屏幕，其中鼠標(biāo)26通過用戶界面22與操作系統(tǒng)41協(xié)同操作以調(diào)用RAM14內(nèi)的程序來創(chuàng)建控制監(jiān)視器38上的顯示的顯示適配器36的幀緩沖器39內(nèi)的圖像。如前所述，特定窗口I．D．的音頻通告通過揚(yáng)聲器28實(shí)現(xiàn)。
參照?qǐng)D2，一個(gè)重疊窗口的分級(jí)結(jié)構(gòu)，或堆棧占據(jù)屏幕，很多重疊窗口被部分隱藏。為表示方便，已經(jīng)從底層窗口移走某些對(duì)象或圖標(biāo)和文本，并且僅有一部分圖標(biāo)顯示在最上面的窗口50。堆棧內(nèi)剩余的部分可視窗口為窗口51，52，53，54，55和56。可以通過位于相應(yīng)窗口上部的其標(biāo)題條內(nèi)的其名稱可視識(shí)別這些窗口中的每一個(gè)。根據(jù)本發(fā)明，窗口的名稱被記錄在計(jì)算機(jī)視頻系統(tǒng)并存儲(chǔ)為圖5所示的表60，其中各個(gè)窗口50到56的名稱被存儲(chǔ)為被通知為首先進(jìn)入每個(gè)窗口的光標(biāo)57的相應(yīng)的多個(gè)通告61。這樣，在圖2，由于窗口53內(nèi)的光標(biāo)57，當(dāng)光標(biāo)第一次進(jìn)入該窗口時(shí)，音頻通告為“搜索幫助”。接著，如圖3所示，當(dāng)光標(biāo)57第一次進(jìn)入窗口52時(shí)，通告將為“控制面板”，并且如圖4所示，當(dāng)光標(biāo)57第一次進(jìn)入窗口56時(shí)，通告將為“無標(biāo)題顯示”。
現(xiàn)在，參照?qǐng)D6，將描述根據(jù)本發(fā)明的程序所實(shí)現(xiàn)的一種處理，該處理用于每次光標(biāo)進(jìn)入窗口分級(jí)結(jié)構(gòu)內(nèi)的一個(gè)窗口時(shí)動(dòng)態(tài)進(jìn)行窗口名稱的音頻通告。由圖6的處理創(chuàng)建的程序例行測(cè)試實(shí)現(xiàn)參照?qǐng)D2到5所述的操作。在圖6的流程圖，在步驟71，使用管理窗口分級(jí)結(jié)構(gòu)的任何操作系統(tǒng)，例如，Windows 95(TM)，OS／2(TM)和用于Unix或AIX的Motif，建立一個(gè)基本類型的操作系統(tǒng)。接著，在步驟72，提供用于將每個(gè)窗口的音頻標(biāo)識(shí)符記錄和存儲(chǔ)在窗口分級(jí)結(jié)構(gòu)的處理。一般地，該標(biāo)識(shí)符可以為窗口標(biāo)題框內(nèi)出現(xiàn)的相應(yīng)窗口的名稱。接著，在步驟73，建立用于進(jìn)行所記錄的每個(gè)標(biāo)識(shí)符的音頻通告的處理。在步驟74建立一種處理，該處理響應(yīng)于進(jìn)入已進(jìn)入的窗口的音頻I．D．的音頻通告的窗口的光標(biāo)移動(dòng)。在步驟75，該通告來自并由存儲(chǔ)音頻I．D．’s的更新表支持。
既然已描述并示出了基本程序，參照?qǐng)D7將描述給出如何運(yùn)行程序用于多個(gè)窗口的相應(yīng)I．D．’s的音頻通告的簡單操作的流程圖。首先，在步驟81，顯示一個(gè)窗口的分級(jí)結(jié)構(gòu)，其中很多窗口被部分重疊和可視。在步驟82，已由用于該目的的窗口操作系統(tǒng)使用的處理跟蹤光標(biāo)或其他指向設(shè)備。在步驟83，就該光標(biāo)是否已進(jìn)入一個(gè)新的窗口作出確定。如果為否，則處理返回步驟82并繼續(xù)光標(biāo)的跟蹤。如果為是，則在步驟84，在圖5的表內(nèi)查詢進(jìn)入窗口的音頻I．D．，并在步驟85，通告該音頻I．D．．接著，在步驟86，就對(duì)話期是否結(jié)束作出確定。如果為是，則結(jié)束對(duì)話期。如果為否，則處理返回步驟82并如上所述繼續(xù)光標(biāo)的跟蹤。
當(dāng)窗口的文本名稱被直接轉(zhuǎn)換為由直接讀取文本的代碼表示并將這樣的代碼轉(zhuǎn)換為音頻輸出的常規(guī)可用系統(tǒng)輸出的語音輸出時(shí)，可獲得最好的結(jié)果。在Coker等人的美國專利3，704，345，Lin等人的美國專利4，398，058，；Anotov等人的美國專利4，278，838，描述了這樣的文本到音頻輸出系統(tǒng)。通過這樣的系統(tǒng)，當(dāng)窗口被啟動(dòng)時(shí)，讀取并動(dòng)態(tài)轉(zhuǎn)換各個(gè)窗口內(nèi)的標(biāo)題框或其他文本標(biāo)識(shí)符。作為一種替換，圖5表內(nèi)的文本可以根據(jù)需要讀取并轉(zhuǎn)換為語音輸出。
本發(fā)明的一個(gè)優(yōu)選實(shí)現(xiàn)方式是在計(jì)算機(jī)操作期間，構(gòu)成駐留在RAM14，圖1的編程步驟或指令的操作系統(tǒng)內(nèi)的一個(gè)例行程序。在計(jì)算機(jī)系統(tǒng)需要程序指令之前，程序指令可以存儲(chǔ)在例如，盤驅(qū)動(dòng)器20這樣的另一個(gè)可讀介質(zhì)，或者諸如用于CD ROM計(jì)算機(jī)輸入的光盤或用于軟盤驅(qū)動(dòng)計(jì)算機(jī)輸入的軟盤之類的一個(gè)可移動(dòng)存儲(chǔ)器。進(jìn)一步，當(dāng)本發(fā)明的用戶需要時(shí)，在用于本發(fā)明的系統(tǒng)并經(jīng)一個(gè)局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)，例如，因特網(wǎng)發(fā)送之前程序指令可以存儲(chǔ)在另一個(gè)計(jì)算機(jī)的存儲(chǔ)器內(nèi)。
本領(lǐng)域技術(shù)人員應(yīng)該認(rèn)識(shí)到能夠以各種形式的計(jì)算機(jī)可讀介質(zhì)的形式分布控制本發(fā)明的程序。
盡管已示出和描述了確定的優(yōu)選實(shí)施例，應(yīng)該明白在不脫離附屬權(quán)利要求的范圍和目的情況下，可以作出很多變化和修改。
權(quán)利要求
1．一種計(jì)算機(jī)控制的交互顯示系統(tǒng)，包括用于在顯示屏幕顯示相互重疊的窗口的分級(jí)結(jié)構(gòu)，從而多個(gè)所述窗口為部分可視的裝置，用于提供所述分級(jí)結(jié)構(gòu)內(nèi)的每個(gè)窗口的音頻標(biāo)識(shí)符的裝置，用于在所述顯示器屏幕定位一個(gè)指向設(shè)備的裝置，和響應(yīng)所述指向設(shè)備用于通告所述指向設(shè)備輸入的每個(gè)窗口的音頻標(biāo)識(shí)符的裝置。
2．如權(quán)利要求1所述的顯示器系統(tǒng)，其中所述指向設(shè)備為一個(gè)用戶控制光標(biāo)。
3．如權(quán)利要求1所述的顯示系統(tǒng)，其中所述指向設(shè)備為一個(gè)觸針。
4．如權(quán)利要求1所述的顯示系統(tǒng)，其中所述音頻標(biāo)識(shí)符至少包括在窗口的標(biāo)題條內(nèi)出現(xiàn)的窗口名稱部分。
5．一種識(shí)別計(jì)算機(jī)控制的交互顯示內(nèi)的部分隱藏窗口的方法，包括在顯示屏幕顯示相互重疊的窗口的分級(jí)結(jié)構(gòu)，從而多個(gè)所述窗口為部分可視，提供所述分級(jí)結(jié)構(gòu)內(nèi)的每個(gè)窗口的音頻標(biāo)識(shí)符，在所述顯示器屏幕定位一個(gè)指向設(shè)備，和響應(yīng)所述指向設(shè)備，通告所述指向設(shè)備輸入的每個(gè)窗口的音頻標(biāo)識(shí)符。
6．如權(quán)利要求5所述的方法，其中所述指向設(shè)備的所述定位通過一個(gè)用戶控制光標(biāo)完成。
7．如權(quán)利要求5所述的方法，其中所述指向設(shè)備的所述定位通過為一個(gè)用戶觸針完成。
8．如權(quán)利要求1所述的方法，其中所述音頻標(biāo)識(shí)符至少包括在窗口的標(biāo)題條內(nèi)出現(xiàn)的窗口名稱部分。
9．一種具有包括在計(jì)算機(jī)可讀介質(zhì)的用于顯示系統(tǒng)的交互控制的程序代碼的計(jì)算機(jī)控制顯示程序，包括用于在顯示屏幕顯示相互重疊的窗口的分級(jí)結(jié)構(gòu)，從而多個(gè)所述窗口為部分可視的裝置，用于提供所述分級(jí)結(jié)構(gòu)內(nèi)的每個(gè)窗口的音頻標(biāo)識(shí)符的裝置，用于在所述顯示器屏幕定位一個(gè)指向設(shè)備的裝置，和響應(yīng)所述指向設(shè)備用于通告所述指向設(shè)備輸入的每個(gè)窗口的音頻標(biāo)識(shí)符的裝置。
10．如權(quán)利要求9所述的計(jì)算機(jī)程序，其中所述指向設(shè)備為一個(gè)用戶控制光標(biāo)。
11．如權(quán)利要求9所述的計(jì)算機(jī)程序，其中所述指向設(shè)備為一個(gè)觸針。
12．如權(quán)利要求9所述的計(jì)算機(jī)程序，其中所述音頻標(biāo)識(shí)符至少包括在窗口的標(biāo)題條內(nèi)出現(xiàn)的窗口名稱部分。
全文摘要
提供一種用于復(fù)雜窗口分級(jí)結(jié)構(gòu)圖形用戶界面內(nèi)的窗口的交互處理和分類的用戶友好顯示接口系統(tǒng)。該系統(tǒng)提供在顯示屏幕顯示這些多個(gè)部分重疊窗口的裝置。提供并存儲(chǔ)用于這些窗口中的每一個(gè)的不同音頻標(biāo)識(shí)符。提供進(jìn)一步的裝置,響應(yīng)指向設(shè)備并與用于通告所述指向設(shè)備輸入的每個(gè)窗口的音頻標(biāo)識(shí)符的裝置協(xié)同,用于來回移動(dòng)并定位一個(gè)指向設(shè)備。指向設(shè)備可以是一個(gè)用戶控制的光標(biāo),一個(gè)觸針,甚至為觸摸敏感顯示系統(tǒng)內(nèi)的一個(gè)手指。
文檔編號(hào)G09G5/00GK1291741SQ00117980
公開日2001年4月18日 申請(qǐng)日期2000年6月2日 優(yōu)先權(quán)日1999年6月3日
發(fā)明者小J·馬達(dá)洛茲佐, G·F·麥布里蒂, J·M·H·希赫 申請(qǐng)人:國際商業(yè)機(jī)器公司