專利名稱：幫助弱視計(jì)算機(jī)用戶選用顯示圖形物象的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及一種對(duì)于弱視用戶提高數(shù)據(jù)處理系統(tǒng)可用性的方法和系統(tǒng)，更具體地涉及一種允許弱視用戶使用圖形用戶接口的方法和系統(tǒng)。
近年來，計(jì)算機(jī)應(yīng)用軟件有一種向圖形用戶接口過渡的趨勢(shì)。在圖形用戶接口中，諸如文件柜、文件夾、文件和打印機(jī)這樣的物體以小型圖形或圖符的形式在計(jì)算機(jī)屏幕上加以顯示。這些物象包括一組在屏幕上的象素，用于模仿實(shí)際物體，并具有和實(shí)際計(jì)算機(jī)環(huán)境中所顯示具體物體的類似功能。這些物象不應(yīng)和“基于對(duì)象”或“面向?qū)ο蟆本幊陶Z言中所用“對(duì)象碼”或“對(duì)象”相混淆。在圖形用戶接口中，用戶可以操縱這些物象，正像在工作場(chǎng)所他們操縱這些物體一樣。用戶可以使用鼠標(biāo)或其他圖形指示裝置來操縱物象，以完成所需計(jì)算機(jī)操作。
例如，在工作場(chǎng)所內(nèi)要將文件歸檔，放入位于文件柜內(nèi)的文件夾中時(shí)，用戶會(huì)打開文件柜，找到所需文件夾并打開它，將文件放入。相似地，在圖形用戶接口的“電子工作場(chǎng)所”內(nèi)，用戶在計(jì)算機(jī)屏幕上完成此過程。于是，用戶將打開文件柜圖符，找到所需文件夾圖符，以及然后將文件圖符放入找到的文件夾圖符中。用戶就能利用他們?cè)趯?shí)際工作場(chǎng)所的知識(shí)來在計(jì)算機(jī)中完成類似操作。
視力正常的人們發(fā)現(xiàn)圖形用戶接口直觀和易于使用。然而，除偶而發(fā)出“比比”聲或類似聲響外，圖形用戶接口實(shí)際上是靜默的，而這類接口向用戶提供的極大部分信息是視覺的。例如，物象或圖符的外表能向用戶傳遞關(guān)于物象所代表的數(shù)據(jù)或此物象如何和其他物象交互工作的信息。代表應(yīng)用程序的物象可以具有與該應(yīng)用程序功能有關(guān)的外觀，例如，繪圖應(yīng)用程序可以由一個(gè)像丁字尺和鉛筆的物象或圖符來代表。類似地，由應(yīng)用程序建立的文件可由一種物象代表，該物象看上去像代表父應(yīng)用程序的物象，因此傳遞了有關(guān)文件格式的信息。
其他物象可能接收和包含一些物象，例如，模仿文件夾的物象可用來包含其他代表應(yīng)用程序和由這類應(yīng)用程序建立的文件的物象，以助于對(duì)盤驅(qū)動(dòng)器內(nèi)數(shù)據(jù)的填入和組織。還有一些物象可在數(shù)據(jù)處理系統(tǒng)內(nèi)完成一些功能，例如，模仿廢紙簍的物象可以用來完成將所選文件從盤驅(qū)動(dòng)器中刪除的功能。
當(dāng)操作計(jì)算機(jī)使用圖形用戶接口時(shí)，將物象加以分類可能對(duì)用戶有幫助，例如可將它們劃分為裝置、數(shù)據(jù)和容器類。通過利用這種分類，想尋找某一特定數(shù)據(jù)文件的用戶能夠在每個(gè)窗口物象內(nèi)尋找此特定數(shù)據(jù)文件，因用戶能夠?qū)渌锵蟮娜萜魑锵笸瑪?shù)據(jù)物象或者不包含其他物象的裝置物象區(qū)別開。因此，如用戶能認(rèn)識(shí)和區(qū)別物象的類別，則用戶即可用更有效方式找到所需數(shù)據(jù)文件，或完成類似的計(jì)算機(jī)操作。
由于弱視用戶不能通過視覺認(rèn)識(shí)和區(qū)別計(jì)算機(jī)屏幕上顯示的物象類別，嚴(yán)重弱視的人就無法使用圖形用戶接口。此外，即使弱視者能在圖形用戶接口內(nèi)找到物象，這類用戶不大可能像視力正常者那樣利用通過圖象傳遞出來的大量信息。
雖然弱視計(jì)算機(jī)用戶現(xiàn)在可利用適應(yīng)性技術(shù)的許多形式，包括語音合成、大號(hào)鉛字印刷處理、桌上凸字出版、和聲音識(shí)別，但差不多沒有一項(xiàng)上述工具適用于圖形用戶接口。然而曾有一些建議，試圖將這類適應(yīng)性技術(shù)用于圖形用戶接口。例如，Byte Magazine中刊登一篇文章，建議編程人員在編寫軟件時(shí)可為圖符配上附帶的聲音標(biāo)記，這篇由Lazzaro撰寫的名為易失性窗口的文章刊登在Byte Magazine雜志1991年6月的416頁。在另一例中，在IBM技術(shù)公開月報(bào)第26卷第10B號(hào)第5633-5636頁(1984年3月)上Golding等人建議使用各種合成的或記錄的聲音使計(jì)算機(jī)的顯示內(nèi)容可供弱視者使用;IBM技術(shù)公開月報(bào)第26卷第10A號(hào)第4950-4951頁(1984年3月)上Barnett等人也作了類似建議。在這些例子中，并不打算讓弱視者在計(jì)算機(jī)顯示上找到物象。這些例子也不建議讓用戶在計(jì)算機(jī)顯示屏上確定哪種物象是可用的。
此外，還建議過采用一些系統(tǒng)，后者包括一個(gè)帶有凸字傳感器的鼠標(biāo)，以使鼠標(biāo)的盲人用戶可以從這類鼠標(biāo)讀取正文和獲得某些觸覺上的位置反饋信息，這些都刊登在IBM技術(shù)公開月報(bào)第28卷第3號(hào)第1343頁上的(1985年8月)Comeford的文章和IBM技術(shù)公開月報(bào)第31卷第12號(hào)第386頁上的(1989年5月)Affinito等人的文章中。然而，當(dāng)這類系統(tǒng)或者通過聲音或者利用鼠標(biāo)中的凸字傳感器宣告各種文字項(xiàng)目，和可能向弱視用戶提供一些信息時(shí)，這類系統(tǒng)并不能幫助用戶在計(jì)算機(jī)顯示屏上瀏覽和尋找物象。這類系統(tǒng)也無法幫助用戶確定例如有多少個(gè)盤驅(qū)動(dòng)器接至計(jì)算機(jī)系統(tǒng)。
另外還建議使用帶響聲的光標(biāo)定位機(jī)構(gòu)和象素(圖象元素)狀態(tài)標(biāo)識(shí)機(jī)構(gòu)來幫助交互式計(jì)算機(jī)圖形系統(tǒng)的用戶使用聲響反饋以加強(qiáng)視覺反饋的效果，從而找到數(shù)據(jù)。在這類系統(tǒng)中，當(dāng)光標(biāo)越過屏幕時(shí)，就產(chǎn)生可聞的喀嚦聲，它的聲調(diào)隨著所遇到的每個(gè)象素的目前狀態(tài)不同而變化。依靠這種可聞的和可見的光標(biāo)反饋信息的組合，通過留意光標(biāo)移動(dòng)時(shí)聲調(diào)的變化，要識(shí)別所需要的線條將會(huì)容易得多。對(duì)于彩色顯示應(yīng)用例講，每種顏色由一個(gè)明確的聲調(diào)所代表，以使任何單一的象素可和周圍不同顏色的象素區(qū)別開。IBM技術(shù)公開月報(bào)第27卷第48號(hào)第25-28頁(1984年9月)上Drumm等人認(rèn)為這類系統(tǒng)對(duì)弱視或無法學(xué)習(xí)的用戶特別有用。然而，上面的公開所提供的裝置并不能幫助弱視用戶在計(jì)算機(jī)顯示屏上瀏覽并尋找圖形用戶接口中的物象，也不能幫助用戶在眾多物象類別中區(qū)別不同物象。
近年來，在1991年8月19日遞交的美國專利申請(qǐng)系列號(hào)07/746838的名稱為“幫助盲人計(jì)算機(jī)用戶處理圖形用戶接口中信息盒的方法和系統(tǒng)”的專利申請(qǐng)中，提出了一種系統(tǒng)，允許弱視用戶與圖形用戶接口內(nèi)的所謂“信息盒”進(jìn)行交互操作。正如熟悉技術(shù)的人們所知道的，每個(gè)信息盒包括一個(gè)圖符、解釋文字、和一個(gè)或更多個(gè)“按鈕”。圖符用于幫助用戶用視覺識(shí)別信息類別。文字用于解釋狀況，并可能提供幫助。文字內(nèi)容可能是一個(gè)問題或一條陳述。信息盒內(nèi)提供的按鈕一般情況下供用戶和信息盒進(jìn)行交互操作。
所建議的系統(tǒng)允許弱視用戶宣告信息盒的文字內(nèi)容，從而為信息盒開辟一個(gè)位置。接著，可用來對(duì)信息盒響應(yīng)的按鈕按照由左到右的順序加以宣告。提供了一個(gè)到達(dá)信號(hào)，用于尋找信息盒，當(dāng)鼠標(biāo)接近信息盒時(shí)，該到達(dá)信號(hào)的音調(diào)即變高。當(dāng)箭頭進(jìn)入信息盒后，信息盒正文和可用的按鈕即被重新宣告，同時(shí)箭頭指向省卻的按鈕。弱視用戶可以使用這類系統(tǒng)尋找計(jì)算機(jī)顯示系統(tǒng)內(nèi)的信息盒;然而，該系統(tǒng)無法向弱視用戶提供建議如何去選擇性地尋找圖形用戶接口物象和如何在圖形用戶接口內(nèi)將屬于一個(gè)類別的物象和屬于其他類別的物象區(qū)別開。
在1991年8月19日遞交的美國專利申請(qǐng)序列號(hào)07/746840的名稱為“具有立體聲和過濾音響效果的音響用戶接口”的專利申請(qǐng)中最近建議了另一個(gè)方法和系統(tǒng)，后者提供了立體聲音響系統(tǒng)，當(dāng)鼠標(biāo)箭頭移動(dòng)時(shí)，從左到右的音響通道的強(qiáng)度就改變，這就允許弱視用戶能在圖形用戶接口的窗口的顧客區(qū)域內(nèi)找到鼠標(biāo)箭頭或其他圖形指示裝置。該系統(tǒng)還建議提高相關(guān)音響的音調(diào)，以標(biāo)志箭頭位置在窗口的顧客區(qū)別的頂部或底部。雖然此系統(tǒng)允許弱視用戶在圖形用戶接口內(nèi)操縱鼠標(biāo)箭頭，但它無法提供或建議任何技術(shù)，供這樣的用戶選擇所顯示圖形物象組中特定的一個(gè)，或是將一個(gè)類別的物象和另一類別的物象區(qū)別開。
在1991年12月5日遞交的美國專利申請(qǐng)序列號(hào)07/802956的名稱為“幫助盲人或弱視計(jì)算機(jī)用戶選擇顯示圖形單元的方法和系統(tǒng)”的專利申請(qǐng)中建議了又一個(gè)方法和系統(tǒng)，其中圍繞箭頭頂點(diǎn)選用一個(gè)半徑來限定一塊有用區(qū)域，而這是由鼠標(biāo)或其他圖形指示裝置所控制的，同時(shí)還產(chǎn)生混合音響信號(hào)，后者包括與計(jì)算機(jī)顯示的每一個(gè)圖形單元相關(guān)連的可識(shí)別的音響信號(hào)，這些可幫助弱視用戶在計(jì)算機(jī)顯示內(nèi)找到圖形單元。通過產(chǎn)生混合信號(hào)，或周期地產(chǎn)生混合信號(hào)，而這個(gè)混合信號(hào)的每個(gè)可識(shí)別的音響信號(hào)又都和一個(gè)圖形物象相關(guān)連，同時(shí)該圖形物象又在有用區(qū)域的可轉(zhuǎn)動(dòng)的扇區(qū)內(nèi)具有圖形單元，就可以使弱視用戶快速而有效地在計(jì)算機(jī)顯示內(nèi)找到所選物象。雖然這類方法和系統(tǒng)允許弱視用戶在計(jì)算機(jī)顯示內(nèi)找到圖形用戶接口物象，但它無法提出或建議任何技術(shù)，供用戶將一類物象和另一類物象區(qū)別開。
因此本發(fā)明的一個(gè)目的是提供一種對(duì)弱視用戶加強(qiáng)數(shù)據(jù)處理系統(tǒng)可用性的方法和系統(tǒng)。
本發(fā)明的另一個(gè)目的提供一個(gè)改進(jìn)的方法和系統(tǒng)，供弱視用戶使用計(jì)算機(jī)系統(tǒng)內(nèi)的圖形用戶接口。
本發(fā)明的又一個(gè)目的是提供一個(gè)改進(jìn)的方法和系統(tǒng)，供弱視用戶在圖形用戶接口內(nèi)可以識(shí)別、區(qū)別和選用屬于眾多物象類別中的一類的物象。
上述目的將如下所述來加以完成。本發(fā)明的方法和系統(tǒng)可用于供弱視用戶在圖形用戶接口環(huán)境內(nèi)在眾多物象類別中清楚地識(shí)別劃分出來的個(gè)別物象。在圖形用戶接口環(huán)境內(nèi)，圖形用戶接口物象在眾多物象類別中加以分類。在一個(gè)物象類別中每個(gè)物象都和一個(gè)具有至少兩個(gè)音響特征的音響信號(hào)相關(guān)連。第一音響特征在一個(gè)物象類別中的所有物象間是共同的，但在其他物象類別的所有物象間是獨(dú)特的。第二音響特征在一個(gè)物象類別中所有物象間是獨(dú)特的。因此，為每個(gè)顯示的物象都產(chǎn)生混合音響信號(hào)，后者包括由這兩個(gè)音響特征組成的音響信號(hào)，通過聽取和特定類別中所有物象關(guān)連的第一個(gè)音響特征，弱視用戶能確定有多少物象類別顯示出來，并能在物象類別之間加以區(qū)別。通過聽取與同一類別中所有其他物象相關(guān)連的音響特征都不同的第二音響特征，弱視用戶能確定該特定類別中有多少物象顯示出來，并能將這些物象互相之間加以區(qū)別。由于能在不同物象類別之間和在同一特定類別中的不同物象之間加以區(qū)別，弱視用戶即能更加有效地完成計(jì)算機(jī)操作和利用圖形用戶接口。
在所附權(quán)利要求書中提出體現(xiàn)本發(fā)明新特征的特點(diǎn)，在結(jié)合附圖閱讀以下描述后，將能了解本發(fā)明的其他目的和優(yōu)點(diǎn)，附圖中

圖1是用于實(shí)現(xiàn)本發(fā)明的方法和系統(tǒng)的數(shù)據(jù)處理系統(tǒng)的圖形表示;
圖2是圖1的數(shù)據(jù)處理系統(tǒng)的簡(jiǎn)要框圖;
圖3是用于解釋本發(fā)明的方法和系統(tǒng)的顯示內(nèi)容的圖形表示;
圖4是用于實(shí)現(xiàn)本發(fā)明的方法和系統(tǒng)的音響發(fā)生系統(tǒng)的簡(jiǎn)要框圖;以及圖5a和5b描述了用于解釋本發(fā)明的方法和系統(tǒng)的最佳軟件實(shí)現(xiàn)的簡(jiǎn)要流程圖。
現(xiàn)在參照附圖，具體參照?qǐng)D1，其中描述了可用于實(shí)現(xiàn)本發(fā)明的方法和系統(tǒng)的數(shù)據(jù)處理系統(tǒng)10。如所描述那樣，數(shù)據(jù)處理系統(tǒng)10最好包括處理器模塊12和顯示14。鍵盤16以大家熟知的方式接至處理器模塊12。接至處理器模塊12的還有鼠標(biāo)20。
如所描述那樣，顯示14包括顯示屏22和至少一個(gè)揚(yáng)聲器50，熟悉技術(shù)的人知道數(shù)據(jù)處理系統(tǒng)10可利用數(shù)種已知個(gè)人計(jì)算機(jī)系統(tǒng)之一來加以實(shí)現(xiàn)。然而，最佳實(shí)施例使用國際商業(yè)機(jī)器公司所賣的商標(biāo)為“ValuePoint”的個(gè)人計(jì)算機(jī)。
現(xiàn)參照?qǐng)D2，這是圖1的數(shù)據(jù)處理系統(tǒng)10的簡(jiǎn)要框圖。如所描述那樣，處理器模塊12中的中央處理單元硬件由虛線長方形所代表，也標(biāo)以12。在中央處理單元硬件中運(yùn)行的操作系統(tǒng)52最好包括顯示邏輯54。眾多應(yīng)用程序56在操作系統(tǒng)52上運(yùn)行，視頻接口邏輯和硬件58從顯示邏輯54接收信息，后者以大家熟知的方式在視頻顯示14上顯示出來。如圖2所示，鼠標(biāo)20和鍵盤16以個(gè)人計(jì)算機(jī)技術(shù)中眾所周知的方式接至操作系統(tǒng)52。
數(shù)據(jù)處理系統(tǒng)10最好包括從顯示邏輯54接收信息的詢問碼60，所接受的信息包括視頻顯示14內(nèi)所顯示窗口的類別，其中有窗口的位置和大小，以及由鼠標(biāo)20決定的當(dāng)前箭頭位置。詢問碼60最好向音響硬件62的音響發(fā)生軟件64提供信息，以提供包括不同音響單元的混合音響信號(hào)，這些音響單元可供弱視用戶用于對(duì)視頻顯示14內(nèi)所選圖形物象的類別進(jìn)行定位和識(shí)別。如此產(chǎn)生的混合音響信號(hào)送至音響輸出裝置，如揚(yáng)聲器50，其使用方式將在下面更詳細(xì)地解釋。
現(xiàn)參照?qǐng)D3，其中是用于解釋本發(fā)明的方法和系統(tǒng)的圖形顯示。如所解釋那樣，在顯示屏22內(nèi)顯示了圖形用戶接口。熟悉技術(shù)的人能認(rèn)出，圖形用戶接口環(huán)境內(nèi)顯示的物象能分成多個(gè)物象類別裝置、數(shù)據(jù)和容器類別。當(dāng)然，也可使用其他分類方法，對(duì)于完成不同任務(wù)可能會(huì)更有用。劃分為容器的工作場(chǎng)所24是一個(gè)由圖形用戶接口提供的空間，用戶可在其中完成全部任務(wù)，同時(shí)所有用戶物象都駐留其中。本例中，顯示屏22的面積實(shí)際上等于工作場(chǎng)所24。
在工作場(chǎng)所24內(nèi)驅(qū)動(dòng)器A26、驅(qū)動(dòng)器B27、和窗口30都顯示出來。打印機(jī)28是裝置物象的一例。裝置物象是一個(gè)代表物理或邏輯裝置的物象，這些裝置例如是打印機(jī)、鼠標(biāo)或掃描器，它們都和用戶系統(tǒng)相關(guān)連。用戶通過將物象“拉出”或“投入”裝置的物象圖符，即可在實(shí)際上訪問或向這類裝置傳送數(shù)據(jù)。
驅(qū)動(dòng)器A26、驅(qū)動(dòng)器B27和窗口30是容器物象的例子，它們的用途是容納其他物象。窗口30可包括眾多特征和/或指示器，它們包括窗口名、系統(tǒng)菜單符、和位于名條內(nèi)的決定窗口大小的按鈕;位于名條下的菜單條，后者包括各種用于顯示下拉菜單的選擇;用于顯示標(biāo)志物象狀態(tài)或物象的特定視圖狀態(tài)的信息的狀態(tài)區(qū);垂直和水平滾動(dòng)條、滾動(dòng)盒、滾動(dòng)鈕，和分盒指示器;以及用于顯示有關(guān)物象或有關(guān)箭頭所在處所選擇的信息的信息區(qū)。
窗口30確定工作區(qū)31，后者是一個(gè)用于將窗口和物象加以組合以完成任務(wù)的容器。如所描述那樣，工作區(qū)31包括文件32、文件33、文件34、文件夾35、和文件夾36。文件32-34是數(shù)據(jù)物象的典型例子。文件32-34所代表的數(shù)據(jù)文件可能由一個(gè)應(yīng)用程序所建立，后者例如是字處理應(yīng)用程序、數(shù)據(jù)庫應(yīng)用程序、空白表格應(yīng)用程序、或類似應(yīng)用程序。文件夾35和文件夾36是容器物象，用于容納和便于組織數(shù)據(jù)處理系統(tǒng)10內(nèi)的其他物象。
工作區(qū)31內(nèi)顯示的還有箭頭37。箭頭37是一個(gè)可移動(dòng)的、可見的標(biāo)記，用于指示一個(gè)位置，在該位置上可能會(huì)在工作場(chǎng)所24內(nèi)進(jìn)行操作。諸如鼠標(biāo)20那樣的指示裝置用于在工作場(chǎng)所24內(nèi)移動(dòng)箭頭37。
根據(jù)本發(fā)明的最佳實(shí)施例，工作場(chǎng)所24內(nèi)所顯示的每一個(gè)物象都和一個(gè)音響信號(hào)相關(guān)連。隨后產(chǎn)生一個(gè)混合音響信號(hào)，后者包括和每個(gè)顯示的物象相關(guān)連的每個(gè)音響信號(hào)單元。這類混合音響信號(hào)的產(chǎn)生將在下面更詳細(xì)地描述。
現(xiàn)參照?qǐng)D4，其中有用于實(shí)現(xiàn)本發(fā)明的方法和系統(tǒng)的音響發(fā)生系統(tǒng)的簡(jiǎn)要框圖。這類音響發(fā)生系統(tǒng)可利用市場(chǎng)上能買到的個(gè)人計(jì)算機(jī)的插入式音響板。這類插入式音響板的例子是“M-Audio Capture & Playback Adapter”，它是由國際商用機(jī)器公司制造以供銷售，用于以注冊(cè)商標(biāo)“ValuePoint”發(fā)售的個(gè)人計(jì)算機(jī)。如所描述那樣，所描述系統(tǒng)包括4個(gè)信號(hào)源72-75。每個(gè)信號(hào)源72-75產(chǎn)生一個(gè)由至少兩個(gè)音響特征組成的音響信號(hào)。這類音響特征將在下面更詳細(xì)地加以描述。信號(hào)源72-75可利用振蕩器來產(chǎn)生音響信號(hào)，例如，可以將從存儲(chǔ)器調(diào)出的數(shù)字化音響數(shù)據(jù)加以轉(zhuǎn)換而產(chǎn)生音響信號(hào)。根據(jù)本發(fā)明的方法和系統(tǒng)，由信號(hào)源72-75產(chǎn)生的每個(gè)音響信號(hào)和工作場(chǎng)所24內(nèi)顯示的一個(gè)物象相關(guān)連。熟悉技術(shù)的人知道，可能需要更多的諸如信號(hào)源72-75那樣的信號(hào)源，以便將音響信號(hào)和工作場(chǎng)所24內(nèi)的每一個(gè)顯示的物象相關(guān)連。
如圖4所示，每個(gè)信號(hào)源72-75的輸出端分別連至音量控制76-79。音量控制76-79最好用來隨著箭頭37和與音響信號(hào)相關(guān)連的物象之間距離的改變而將由相關(guān)連的信號(hào)源所產(chǎn)生的音響信號(hào)的音量加以改變。詢問碼60向距離修正器76提供距離信息。詢問碼60從顯示邏輯54接收信息，后者包括和鼠標(biāo)20相關(guān)連的當(dāng)前箭頭位置。例如，如圖3所示，如箭頭37離文件32比離文件33更近些，則與文件32相關(guān)連的音響信號(hào)將比與文件33相關(guān)連的音響信號(hào)發(fā)出更響的音響。
在和每個(gè)顯示的物象相關(guān)連的音響信號(hào)的音量被修正后，每個(gè)音量控制76-79的輸出被送至方向修正器80-83。方向修正器80-83用于為每個(gè)相關(guān)連的顯示的物象產(chǎn)生一個(gè)左音響信號(hào)和一個(gè)右音響信號(hào)。聽到適當(dāng)建立并修正過的左的和右的音響信號(hào)時(shí)，用戶能夠感覺到在二度或三度空間內(nèi)這類音響信號(hào)的方向。例如，如用戶左耳比右耳略早一些到音響信號(hào)，則用戶可以感覺到音響信號(hào)是從用戶左側(cè)來的。通過改變諸如音響信號(hào)強(qiáng)度、音響信號(hào)延遲時(shí)間、音響信號(hào)相位、音響信號(hào)的頻譜分量、和音響信號(hào)的反響這樣的特性，可以產(chǎn)生左的和右的通道的音響信號(hào)的組合，使傾聽者能感覺到從相對(duì)于用戶的一個(gè)特定方向發(fā)來的聲音，包括上、下方向。
最后，每個(gè)方向修正器80-83的輸出端連到相加線路84和85，每個(gè)左音響信號(hào)連到加法器84，而每個(gè)右音響信號(hào)則連到加法器85。加法器84和85用于產(chǎn)生左的和右的混合音響信號(hào)，后者包括與工作場(chǎng)所24內(nèi)每個(gè)顯示的物象相關(guān)連的每個(gè)音響信號(hào)單元。這些左的和右的混合音響信號(hào)然后接到音響輸出裝置86和87。音響輸出裝置86和87可利用諸如圖1的揚(yáng)聲器50那樣的一對(duì)揚(yáng)聲器來實(shí)現(xiàn)。
熟悉技術(shù)的人知道，用于產(chǎn)生左和右的混合音響信號(hào)的加法器84和85可以同時(shí)也可以串連地產(chǎn)生這類混合音響信號(hào)。一個(gè)同時(shí)產(chǎn)生的混合音響信號(hào)包含所有和一個(gè)顯示的物象相關(guān)連的音響信號(hào)，后者由相關(guān)的音量控制和方向修正器所處理并同時(shí)加起來，使用戶能夠同時(shí)聽到所有這些修正過的音響信號(hào)。另一方案是，加法器84和85可用順序或串連方式將所連接的和適當(dāng)修正過的音響信號(hào)加起來。也卻，在一個(gè)周期內(nèi)用戶能在短時(shí)間內(nèi)聽到和顯示的物象相關(guān)連的單獨(dú)的適當(dāng)修正過的音響信號(hào)。這種周期可以無限地重復(fù)，而當(dāng)箭頭在工作場(chǎng)所24內(nèi)移動(dòng)時(shí)可對(duì)音響信號(hào)做適當(dāng)修正。
熟悉技術(shù)的人也應(yīng)知道，加法器84和85可對(duì)用戶輸入做出響應(yīng)，有選擇地消除或?yàn)V去和所選顯示的物象相關(guān)連的音響信號(hào)。這將在下面更詳細(xì)地描述。
最后，參照?qǐng)D5a和5b，其中是用于解釋本發(fā)明的最佳軟件實(shí)施例的簡(jiǎn)要流程圖。圖5a描述初始化過程，從塊100開始，再過渡到塊102。塊102描述圖形用戶接口環(huán)境物象的顯示。這些物象可包括盤驅(qū)動(dòng)器、文件夾、應(yīng)用程序、文件和數(shù)據(jù)文件、打印機(jī)和其他外設(shè)、以及在圖形用戶接口環(huán)境內(nèi)使用的類似物象。
其次，該過程過渡到塊104，它解釋這類圖形用戶接口環(huán)境物象的分類。以前討論過的一種分類系統(tǒng)將物象劃分為三類裝置、數(shù)據(jù)、和容器。下面的物象類別清單是分類系統(tǒng)的另一個(gè)例子，該分類系統(tǒng)能讓弱視用戶見到或建立起圖形用戶接口環(huán)境的思維圖象。例如，物象類別包括應(yīng)用程序、文件或數(shù)據(jù)文件、盤驅(qū)動(dòng)器、文件夾、網(wǎng)絡(luò)連結(jié)器、打印機(jī)或外設(shè)、和廢紙簍(或其他用于刪除文件的這類物象)。
熟悉技術(shù)的人知道這個(gè)類別內(nèi)的物象還可進(jìn)一步再分類。例如，文件或數(shù)據(jù)文件類別可按照建立這類文件的應(yīng)用程序進(jìn)行再分類。因此，文件或數(shù)據(jù)文件可進(jìn)一步再分類為由注冊(cè)商標(biāo)為“MI-CROSOFT WORD”的字處理程序建立的文件類，或?yàn)橛勺?cè)商標(biāo)為’WORDPERFECT”的字處理程序建立的文件類，或與其他字處理程序相關(guān)連的類似的物象類別?；蛘哳愃频?，由所選文件夾的內(nèi)容所決定的類別中的文件可按照大小、建立日期、或最后一次修改日期來再分類。
其次，如塊106所描述的，該過程對(duì)每個(gè)類別的全部物象賦予不同于其他物象類別的第一音響特征。此后，如塊108所描述，過程對(duì)每個(gè)類別中所有物象賦予不同于同一類別中所有其他物象的第二音響特征。這類第一和第二音響特征可包括音調(diào)，音質(zhì)(也即由所選陪音的不同組合所決定的特定歌聲或樂器的聲調(diào)品質(zhì))、音步(也即每個(gè)周期的音節(jié)長短、重音、和節(jié)拍的基本循環(huán)律格式)、音量、和相對(duì)于用戶所在地的聲音方向。第一音響特征將一個(gè)類別的所有物象同其他類別的物象區(qū)分開。第二音響特征將同一類別中的一個(gè)物象同其他物象區(qū)分開。
例如，賦予代表盤驅(qū)動(dòng)器的物象類別中每個(gè)物象的第一音響特征可以是“鼓”聲。這鼓聲可將“盤驅(qū)動(dòng)器”類中所有物象同例如作為“文件夾”類的成員的物象區(qū)別開，后一類別可能賦予“動(dòng)物”聲。賦予盤驅(qū)動(dòng)器類中每個(gè)物象的第二音響特征可以是特定的鼓聲，例如網(wǎng)底罩鼓、耳鼓、或低音鼓。因此第二音響特征可用于將一類中的個(gè)別物象與同一類中所有其他物象區(qū)域開。
熟悉技術(shù)的人知道，只要第一音響特征用于在圖形用戶接口環(huán)境內(nèi)將一個(gè)物象標(biāo)識(shí)為一個(gè)類別的成員，并用于將該物象的類別同其他所有類別區(qū)分開，則第一音響特征可以是音調(diào)、音質(zhì)、音步、音量和聲音方向的許多組合中的任何一種。因此第一音響特征可以是具有特定音調(diào)和持續(xù)時(shí)間(音步)的簡(jiǎn)單音，或第一音響特征可以是一個(gè)復(fù)合音，例如普通的鼓聲，它可用于標(biāo)識(shí)用戶可能非常熟悉的物象的類別，例如一種稱為鼓的樂器的類別。
相類似，只要第二音響特征用于將一個(gè)特定類別內(nèi)所賦予音響特征的物象同該特定類別中所有其他物象區(qū)域開，則第二音響特征可以包括音調(diào)、音質(zhì)、音步、音量和聲音方向的眾多組合中的一個(gè)。因此第二音響特征可以是一個(gè)可同相關(guān)連的第一音響特征區(qū)別開的簡(jiǎn)單音，或者第二音響特征可以是例如網(wǎng)底罩鼓聲音那樣的復(fù)合音，用于將聲音像其他鼓聲的特定物象類別中的一個(gè)物象區(qū)別出來。
其次，如塊110所描述，過程為每個(gè)顯示的物象產(chǎn)生一個(gè)包括第一和第二音響特征的音響信號(hào)，隨后如塊111所描述那樣，初始化過程停止。
現(xiàn)參照?qǐng)D5b，用于將圖形用戶接口物象定位的過程在塊112處開始，然后繼續(xù)下去到塊114。塊114解釋了對(duì)顯示內(nèi)箭頭位置的詢問。這種對(duì)箭頭位置的詢問可產(chǎn)生一個(gè)象素行/象素列地址，用于描述顯示內(nèi)箭頭的位置。如上面所討論過的，詢問碼60可從顯示邏輯54獲得和鼠標(biāo)20相關(guān)連的當(dāng)前箭頭位置。
接著如塊116所描述，按照工作場(chǎng)所24內(nèi)相對(duì)于箭頭位置的物象位置，過程為每個(gè)和顯示的物象相關(guān)連的音響信號(hào)計(jì)算位置修正值。如上面所討論過的，如選用信號(hào)音量和信號(hào)方向作為設(shè)計(jì)參量，用于向用戶傳遞相對(duì)于箭頭位置的其他顯示的物象的位置，則由過程計(jì)算的這種位置修正值在后面可用于修正與每個(gè)顯示的物象相關(guān)連的音響信號(hào)的音量和方向特性。
其次，如塊118所解釋，這種位置修正值用來修正與每個(gè)顯示的物象相關(guān)連的每個(gè)音響信號(hào)，作為例子，考慮下列情況物象在顯示的遠(yuǎn)左側(cè)而箭頭則在顯示的遠(yuǎn)右側(cè)。在此情況下，用戶可以聽見與位于屏幕左側(cè)的物象相關(guān)連的音響信號(hào)，它是一個(gè)來自左方的弱音。如用戶接著將光標(biāo)向左移動(dòng)，趨向位于屏幕左側(cè)的物象，則與位于屏幕左側(cè)的物象相關(guān)連的音響信號(hào)的音量隨著光標(biāo)移近物象而增強(qiáng)。
如果用戶接著將箭頭移至屏幕上位于物象左方的位置，與該物象相關(guān)連的音響信號(hào)也會(huì)改變，初始時(shí)它聽起來是來自左方，而當(dāng)用戶將箭頭移動(dòng)繞過物象時(shí)，該聲音明顯地從左方向改變?yōu)橛曳较颉?br> 其次，如塊120所描述，過程確定用戶是否已選擇了用戶希望聽見的物象類別。通過選擇一個(gè)物象類別，用戶可以消除與屬于其他類別的顯示的物象相關(guān)連的音響信號(hào)，因而使用戶可以將注意力集中在屬于所選類別的成員的音響信號(hào)上。因此，當(dāng)工作場(chǎng)所24內(nèi)顯示許多物象時(shí)，對(duì)于那些用戶暫時(shí)還不想進(jìn)行交互操作的顯示的物象所關(guān)連的音響信號(hào)，用戶可以將它們消除或?yàn)V去。用戶想要選擇需要聽的物象時(shí)，可以使用鍵盤16按指定敲鍵順序輸入，或在鼠標(biāo)20上按指定順序按下按鈕。
如用戶已選擇了要聽的物象的類別，如塊122所解釋，過程將與所選的顯示的物象的類別相關(guān)連的修正過的音響信號(hào)加以組合或相加。如用戶沒有選擇要聽的物象類別，則過程將與每個(gè)顯示的物象相關(guān)連的所有修正過的音響信號(hào)都加以組合或相加。因此，決定于用戶是否選擇了要聽的物象類別，用戶可能聽到相加的或混合的音響信號(hào)，它包括或與一個(gè)特定的顯示的物象類別或與所有顯示的物象類別相關(guān)連的音響信號(hào)，其中與每個(gè)物象相關(guān)連的音響信號(hào)的音量和感覺到的方向決定于顯示中該物象相對(duì)于箭頭位置的距離和方向。如前所討論的，用于產(chǎn)生混合音響信號(hào)的加法操作可以串連地或順序地加以實(shí)現(xiàn)。
因此，如塊126所描述的，過程利用音響輸出裝置，例如音響耳機(jī)或揚(yáng)聲器來輸出可能包括左和右的混合音響信號(hào)的這種混合音響信號(hào)。
如塊128所描述，過程確定箭頭是否在顯示內(nèi)移動(dòng)過。如箭頭已移動(dòng)過，過程過渡到塊114，其中過程確定顯示內(nèi)箭頭的新位置，并如上面所描述那樣，產(chǎn)生一個(gè)對(duì)顯示內(nèi)箭頭新位置作出響應(yīng)的新的組合的音響信號(hào)。
如箭頭沒有移動(dòng)過，過程過渡到塊130。塊130要確定用戶是否已選擇要聽的不同物象類別。如用戶沒有選擇要聽的不同的物象類別，過程通過“否”分支從塊130回至塊128。如用戶選擇了要聽的不同物象類別，過程過渡到塊122，因此如上所描述，產(chǎn)生一個(gè)新的混合音響信號(hào)。
通過參照上面各點(diǎn)，熟悉技術(shù)的人將知道，申請(qǐng)人提供了一種技術(shù)，供弱視用戶通過將恰當(dāng)?shù)匦拚^的音響信號(hào)加以關(guān)連，從而將計(jì)算機(jī)顯示內(nèi)的圖形用戶接口物象加以定位，該修正過的音響信號(hào)具有多重音響特性，能夠?qū)⒁粋€(gè)類別內(nèi)的顯示的物象加以區(qū)別，并將物象劃分為一個(gè)可加區(qū)別的物象類別的成員。
雖然本發(fā)明參照了最佳實(shí)施例具體地顯示和描述過，但熟悉技術(shù)的人知道，可以在不背離本發(fā)明的精神和范圍的情況下在形式和細(xì)節(jié)上進(jìn)行不同修改。
權(quán)利要求
1.一種在數(shù)據(jù)處理系統(tǒng)中幫助弱視用戶在圖形用戶接口環(huán)境內(nèi)在眾多的顯示的的物象類別中清楚地識(shí)別個(gè)別顯示的物象的方法，所述數(shù)據(jù)處理系統(tǒng)具有一個(gè)和一個(gè)移動(dòng)的光標(biāo)單元相關(guān)連的顯示指示裝置、一個(gè)用戶輸入裝置、和一個(gè)音響輸出裝置，所述方法包括以下步驟將具有至少兩個(gè)音響特征的音響信號(hào)與所述圖形用戶接口環(huán)境內(nèi)顯示的物象類別中的每一個(gè)物象相互關(guān)連，其中所述至少兩個(gè)音響特征中的第一個(gè)在所述圖形用戶接口環(huán)境內(nèi)在一個(gè)物象類別中的所有物象間是共同的，而在所有所述眾多物象類別間是獨(dú)特的，以及所述至少兩個(gè)音響特征中的第二個(gè)在一個(gè)物象類別內(nèi)的所有物象間是獨(dú)特的；以及產(chǎn)生一個(gè)包括與在所述圖形用戶接口環(huán)境內(nèi)每個(gè)所述顯示的物象相關(guān)連的每個(gè)音響信號(hào)單元的混合音響信號(hào)，其中用戶可以確定在所述圖形用戶接口環(huán)境內(nèi)顯示了多少物象類別，以及在每個(gè)所述眾多物象類別內(nèi)顯示了多少物象。
2.根據(jù)權(quán)利要求1的方法，其特征在于所述至少兩個(gè)音響特征中的所述第一個(gè)包括音質(zhì)，而所述至少兩個(gè)音響特征中的所述第二個(gè)包括音調(diào)。
3.根據(jù)權(quán)利要求1的方法，其特征在于所述至少兩個(gè)音響特征中的所述第一個(gè)包括一個(gè)普通鼓的音響特征，而所述至少兩個(gè)音響特征中的所述第二個(gè)包括一個(gè)特種鼓的音響特征。
4.根據(jù)權(quán)利要求1的方法，其特征在于所述至少兩個(gè)音響特征中的所述第一個(gè)包括音色，而所述至少兩個(gè)音響特征中的所述第二個(gè)包括周期性。
5.根據(jù)權(quán)利要求1的方法，其特征在于還包括用于確定從所述可移動(dòng)光標(biāo)到每個(gè)所述顯示的物象的方向的步驟，以及所述用于產(chǎn)生包括與所述圖形用戶接口環(huán)境內(nèi)每個(gè)所述顯示的物象相關(guān)連的每個(gè)音響信號(hào)單元的混合音響信號(hào)的步驟還包括用于產(chǎn)生左的混合音響信號(hào)和右的混合音響信號(hào)的步驟。
6.根據(jù)權(quán)利要求5的方法，其特征在于還包括用于確定從所述可移動(dòng)光標(biāo)到每個(gè)所述顯示的物象的距離的步驟，以及所述用于產(chǎn)生左的混合音響信號(hào)和右的混合音響信號(hào)的步驟還包括用于按照從所述可移動(dòng)光標(biāo)單元到每個(gè)所述顯示的物象的距離來成比例地改變每個(gè)相關(guān)連的音響信號(hào)強(qiáng)度的步驟。
7.根據(jù)權(quán)利要求1的方法，其特征在于所述用于產(chǎn)生包括與所述圖形用戶接口環(huán)境內(nèi)每個(gè)所述顯示的圖象相關(guān)連的每個(gè)音響信號(hào)單元的混合音響信號(hào)的步驟還包括對(duì)利用所述用戶輸入裝置的用戶輸入操作做出響應(yīng)，用于產(chǎn)生包括每個(gè)音響信號(hào)單元的混合音響信號(hào)的步驟，其中所述音響信號(hào)單元與在所述圖形用戶接口環(huán)境內(nèi)所述顯示的物象的所選類別相關(guān)連。
8.一種用于幫助弱視用戶在圖形用戶接口環(huán)境內(nèi)眾多顯示的物象類別中清楚地識(shí)別個(gè)別顯示的物象的數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)具有與可移動(dòng)光標(biāo)單元相關(guān)連的顯示指示裝置、一個(gè)用戶輸入裝置、和一個(gè)音響輸出裝置，所述數(shù)據(jù)處理系統(tǒng)包括用于將一個(gè)具有至少兩個(gè)音響特征的音響信息與所述圖形用戶接口環(huán)境內(nèi)顯示的物象類別中每個(gè)物象相互加以關(guān)連的裝置，其中所述至少兩個(gè)音響特征中的第一個(gè)在所述圖形用戶接口環(huán)境內(nèi)一個(gè)物象類別中所有物象間是共同的，而在所有所述眾多物象類別中是獨(dú)特的，而所述至少兩個(gè)音響特征中的第二個(gè)在一個(gè)物象類別中的所有物象間是獨(dú)特生;以及用于產(chǎn)生包括與所述圖形用戶接口環(huán)境內(nèi)每個(gè)所述顯示的物象相關(guān)連的每個(gè)音響信號(hào)單元的混合音響信號(hào)的裝置，其中用戶能確定在所述圖形用戶接口環(huán)境內(nèi)顯示了多少物象類別，以及在所述眾多物象類別的每個(gè)類別中顯示了多少物象。
9.根據(jù)權(quán)利要求8的數(shù)據(jù)處理系統(tǒng)，其特征在于所述至少兩個(gè)音響特征中的所述第一個(gè)包括音質(zhì)，而所述至少兩個(gè)音響特征中的所述第二個(gè)包括音調(diào)。
10.根據(jù)權(quán)利要求8的數(shù)據(jù)處理系統(tǒng)，其特征在于所述至少兩個(gè)音響特征中的所述第一個(gè)包括普通鼓的音響特征，而所述至少兩個(gè)音響特征中的所述第二個(gè)包括特種鼓的音響特征。
11.根據(jù)權(quán)利要求8的數(shù)據(jù)處理系統(tǒng)，其特征在于所述至少兩個(gè)音響特征中的所述第一個(gè)包括音色，而所述至少兩個(gè)音響特征中的所述第二個(gè)包括周期性。
12.根據(jù)權(quán)利要求8的數(shù)據(jù)處理系統(tǒng)，其特征在于還包括用于確定從所述可移動(dòng)光標(biāo)單元到每個(gè)所述顯示的物象的方向的裝置，而所述用于產(chǎn)生包括與所述圖形用戶接口環(huán)境內(nèi)每個(gè)所述顯示的物象相關(guān)連的每個(gè)音響信號(hào)單元的混合音響信號(hào)的裝置還包括用于產(chǎn)生左的混合音響信號(hào)和右的混合音響信號(hào)的裝置。
13.根據(jù)權(quán)利要求12的數(shù)據(jù)處理系統(tǒng)，其特征在于還包括用于確定從所述可移動(dòng)光標(biāo)單元到每個(gè)所顯示物象的距離的裝置，而所述用于產(chǎn)生左的混合音響信號(hào)和右的混合音響信號(hào)的裝置還包括用于按照從所述可移動(dòng)光標(biāo)單元到每個(gè)所述顯示的物象的所確定的距離來成比例地改變每個(gè)相關(guān)連的音響信號(hào)的強(qiáng)度的裝置。
14.根據(jù)權(quán)利要求8的數(shù)據(jù)處理系統(tǒng)，其特征在于所述用于產(chǎn)生包括與所述圖形用戶接口環(huán)境內(nèi)每個(gè)所述顯示的物象相關(guān)連的每個(gè)音響信號(hào)單元的混合音響信號(hào)的裝置還包括對(duì)利用所述用戶輸入裝置的用戶輸入操作做出響應(yīng)，用于產(chǎn)生包括與在所述圖形用戶接口環(huán)境內(nèi)所述顯示的物象的所選類別相關(guān)連的每個(gè)音響信號(hào)單元的混合音響信號(hào)的裝置。
全文摘要
用于幫助弱視計(jì)算機(jī)用戶清楚地識(shí)別圖形用戶接口環(huán)境內(nèi)在眾多物象類別間分類的個(gè)別物象的方法及裝置。在圖形用戶接口環(huán)境內(nèi)，在眾多物象類別間將圖形用戶接口物象加以分類。一個(gè)具有至少兩個(gè)音響特征的音響信號(hào)與一個(gè)物象類別內(nèi)的每個(gè)物象相關(guān)連。第一音響特征在一個(gè)物象類別內(nèi)的所有物象間是共同的，而在其他物象類別內(nèi)的所有物象間是獨(dú)特的。第二音響特征在一個(gè)物象類別內(nèi)的所有物象間是獨(dú)特的。
文檔編號(hào)G06F3/01GK1111772SQ9411922
公開日1995年11月15日 申請(qǐng)日期1994年12月22日 優(yōu)先權(quán)日1993年12月23日
發(fā)明者布瑞恩·J·柯瑞根 申請(qǐng)人:國際商業(yè)機(jī)器公司