專利名稱：一種手機終端上的自動化操作系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及手機，特別是一種手機終端上的自動化操作系統(tǒng)。
背景技術：
在通用的手機中，功能操作大部分是通過圖形界面提示下，用戶通過一步步的按鍵 操作或觸摸操作來完成指定的功能操作。這種逐步按鍵操作來完成指定功能的方式是一 種原始的操作方法。該方法無記憶功能，每次要完成相應的功能都得重復相同的復雜按 鍵。為尋求更快捷的功能操作，通過程序的定制，實現(xiàn)了以下的幾種操作方法
1、 快捷方式是使操作更加快捷的一種方式?？旖莘绞娇梢钥醋魇侵赶蚰硞€對象(程 序或文件)的指針，當你點擊的時候，系統(tǒng)就根據(jù)快捷方式里記錄的信息找到這個對象， 再執(zhí)行相應的操作(運行某個程序或者打開某個文件)。
2、 快捷鍵它可以使你僅通過按少數(shù)按鍵就對復雜的菜單進行控制和操作，從而完 成一項功能。
上述快捷方式雖然使運行一個程序或者打開一個文件變得簡單，而且可以定制自己 的快捷方式，但是可定制內(nèi)容非常有限?？旖萱I方法可以通過少數(shù)按鍵來完成一項功能， 比如，可以用來啟動某個程序，或者替代菜單項方式來執(zhí)行應用程序操作過程中的某項 功能?？旖莘绞胶涂旖萱I目前得到了普遍應用，也在某種成度上方便了用戶對手機功能 的使用。但是兩種方法一般都是手機軟硬件的內(nèi)部實現(xiàn)，用戶無法自己定義，即使可以 自定義快捷方式和快捷鍵，但是定義的功能也是有限的。只能針對某個應用或某人文件， 或某個應用的一個功能操作進行定義。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術之不足，提供一種手機終端上的自動化操作系統(tǒng)， 以實現(xiàn)手機操作的自動化。通過使手機的功能操作可記憶和回放來實現(xiàn)手機的自動化操 作。該操作系統(tǒng)可以記憶對手機應用程序所做的操作序列，并可以回放。從而使原有的 快捷方式或者快捷鍵的可定制內(nèi)容更加豐富；不僅可以定制靜態(tài)的對象或是單一的功能 操作而且可以定義一系列的功能操作?？傮w來講，本發(fā)明所述方法使手機的操作過程更 加簡化和有效，以及達到批處理的功效。
為了實現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術方案是 一種手機終端上的自動化操作 系統(tǒng)，包括可以接收用戶指令的硬件和軟件兩部分，其特征是將現(xiàn)有PC系統(tǒng)上已有
的七款軟件AT-SPI enabled desktop、 Python 2,3或更高版本、Rpm-python或 python-apt、 Xorg-x11隱xinit、 Gnome-python2-gconf、 Pygtk2以及Xorg-x11-server-Xvfb
在手機操作系統(tǒng)中編譯和安裝后，用python腳本語言實現(xiàn)腳本生成器，腳本生成器通過 無障礙技術Accessibility technologies軟件和桌面應用進行通信，從而在操作桌面應 用程序的時候生成可以執(zhí)行的pythhon腳本文件，記錄應用相關的系統(tǒng)事件和信息；在 執(zhí)行腳本文件的時候，腳本生成器和桌面應用進行通信，將所記錄的系統(tǒng)事件發(fā)送給應 用，對桌面應用程序進行回放，實現(xiàn)手機的"識別記憶"和"回放"的自動化操作。所說自動化操作系統(tǒng)的手機終端界面上設有功能區(qū)和腳本顯示區(qū)，功能區(qū)包含錄制/停止、播放、清除和保存按鍵.錄制鍵按下后，腳本生成器就成記錄狀態(tài)，對手機應用的任何操作都會被腳本生成器記錄，并把同步生成的腳本文件的內(nèi)容在腳本顯示區(qū)顯示出來；當所要記錄的操作完成之后，按下停止鍵，結束本次記錄工作；此操作之后，點擊播放鍵來重復剛才的應用操作或者點擊保存鍵來保存所生成的腳本文件(用戶可以通過"播放"來檢驗自動化操作內(nèi)容是否和之前的錄制操作一致。如果一致可以保存該執(zhí)行腳本；如果不一致，可以刪除該腳本并退出)。
獲取腳本文件后，用戶利用當前手機上普遍存在的快捷鍵、快捷方式設置功能將腳本文件映射到該快捷鍵、快捷方式上或者設置為菜單項，從而達到快捷啟動腳本文件，執(zhí)行定制操作。
本發(fā)明的優(yōu)點及有益效果本發(fā)明是構建在已有的相關手機技術基礎上而提出的一種手機自動化操作，能更加有效的發(fā)揮已有技術的應用，使手機功能操作可記憶，可重復和可定制，從而使手機應用的操作更加簡化和有效。
通過使手機的功能操作"可記憶"和"回放"來實現(xiàn)手機上的自動化操作。"可記憶"是指系統(tǒng)可以對應用信息及用戶對應用程序的操作所產(chǎn)生的事件進行識別和記憶，并以可執(zhí)行的腳本文件為載體進行記錄。"回放"是指系統(tǒng)執(zhí)行所得的腳本文件，通過啟動應用并將所記錄的信息和事件發(fā)送給應用，完成相應的功能操作?？墒故謾C原有的快捷方式或者快捷鍵的可定制內(nèi)容更加豐富；不僅可以定制靜態(tài)的對象或是單一的功能操作而且可以定義一系列的功能操作。編輯者如果具備腳本語言相關的知識，還可以針對腳本文件的內(nèi)容做出修改，從而達到定制的功效，使操作過程更加簡化和有效。本發(fā)明也可應用于掌上電腦、個人數(shù)碼助理等各種移動終端。
本發(fā)明應用到智能手機中，可以使一個有著復雜按鍵操作的功能項得以簡單操作實現(xiàn)；使經(jīng)常被執(zhí)行的手機功能得以快捷化；使手機操作手冊得以以真實過程展現(xiàn)。


圖l是Gnome無障礙技術體系結構圖；圖2是實現(xiàn)本發(fā)明的軟件結構體系；圖3是本發(fā)明中所闡述的腳本生成器的一個界面模型；圖4是本發(fā)明的一個實例操作流程圖。
具體實施例方式
本發(fā)明系統(tǒng)包括硬件(鍵盤或者觸摸屏)和軟件兩部分，其中硬件部分為現(xiàn)有技術。
軟件部分的需求如下
體系結構Noarch操作系統(tǒng)Linux
所需要的軟件包
1. AT隱SPI enabled desktop
2. Python 2.3或者更高的版本
3. Rpm-python或者python-apt
4. Xorg-x11-xinit5. Gnome隱python2-gconf
6. Xorg-x11陽server-Xvfb
7. Pygtk2
以上軟件包都是PC系統(tǒng)上己經(jīng)具備的，需要完全應用(在手機操作系統(tǒng)中成功編譯和安裝這些軟件，獲取這些軟件所實現(xiàn)的功能)到手機操作系統(tǒng)上。本發(fā)明系統(tǒng)包含以上軟件包，用python實現(xiàn)腳本生成器，腳本生成器通過Accessibility technologies (無障礙技術)來和桌面應用進行通信(接收信息和事件)從而在操作桌面應用程序的時候生成可以執(zhí)行的python腳本記錄應用相關的信息和事件(錄制過程)；同理，在執(zhí)行腳本文件的時候，腳本生成器通過Accessibility technologies和桌面應用進行通信(發(fā)送信息和事件)，從而對桌面應用程序進行指定的操作(回放過程)。具備以上要求的手機操作系統(tǒng)可以記憶對手機應用程序所做的操作序列，并可以回放。操作方法是
(1) 啟動腳本生成器的錄制功能。
(2) 用戶在啟動腳本生成器錄制功能后，就可以執(zhí)行對指定程序(用戶指定)的操作。
(3) 當操作結束之后，腳本生成器根據(jù)用戶的操作自動生成了相應的腳本文件(該腳本文件是用一種具體的動態(tài)類型腳本語言編寫，比如python)。執(zhí)行該腳本文件將重復從腳本生成器錄制功能啟動到結束期間用戶所做的操作。用戶還可以通過'播放'來檢驗自動化操作內(nèi)容是否和啟動腳本生成器錄制功能后對指定應用所做的操作一致。如果一致可以保存該腳本文件。如果不一致，可以重新執(zhí)行步驟2或者選擇刪除該腳本文件并退出。
(4) 編輯者如果具備腳本語言相關的知識，還可以針對腳本文件的內(nèi)容做出修改，從而達到定制的功效。
(5) 獲取腳本文件后，用戶可以利用當前手機上普遍存在的快捷鍵、快捷方式設置功能將腳本文件映射到該快捷鍵、快捷方式上或者設置為菜單項從而達到快捷啟動腳本文件，執(zhí)行定制操作的功能。
下面結合附圖對本發(fā)明作進一步詳細的描述。手機操作自動化的方法在不同的應用中(通訊錄，通話，文件瀏覽器，短消息等)可以得到不同的采用形式。在下面的描述中給出了該操作方法的通用模式以及在某個特定的應用中如何采用這種操作方法。
圖1是對Gnome Accessibility體系結構的一個描述，它是本發(fā)明所依賴的現(xiàn)有技術。該體系結構的目的是在無障礙技術(對應圖中AT client)和系統(tǒng)桌面及桌面應用程序(對應圖中GTK+/Gnome application)之間提供標準接口。 Gtk應用程序依賴于GTK工具包，而GTK工具包通過加載GAIL來和ATK通信。ATK與AT-SPI通過一個動態(tài)庫來通信。Accessibility Broker是一個守護進程，協(xié)調(diào)識別AT-SPI協(xié)議的應用程序和無障礙技術之間的通信。每個識別AT-SPI協(xié)議的應用程序通過向broker注冊來提供自身的信息。無障礙技術向broker添加事件監(jiān)聽器以便應用信息改變時得到通知或觸發(fā)應用程序的某種行為(鍵盤事件、鼠標事件等)。圖中，GAIL-GNOME Accessibility ImplementationLibrary (GNOME無障礙技術實現(xiàn)庫)，ATK - Accessibility Toolkit (無障礙工具集)，AT-SPI-Assistive Technology Service Provider Interface (輔助技術提供者界面)。
圖2是實現(xiàn)本發(fā)明的軟件結構體系。圖中腳本生成器是用Python語言實現(xiàn)，主要由兩部分組成Python modules和PYSPI modules。 Python module部分主要實現(xiàn)功能界面和捕獲應用中的可識別界面元素和鍵盤、鼠標事件，并用python腳本描述。PYSPI modules部分負責和AT-SPI進行通信。這樣腳本生成器經(jīng)由中間件(發(fā)明內(nèi)容中所述的七個軟件包)和應用程序進行交互，從而捕獲應用操作過程中的鍵盤事件或鼠標點擊事件及應用中的可識別界面元素，并生成可執(zhí)行的腳本文件描述記錄；反過來執(zhí)行腳本文件，啟動應用，發(fā)送鍵盤或鼠標點擊事件給應用。
圖3是本發(fā)明中所闡述的腳本生成器的一個手機界面模型。圖中所示圖形界面由兩大部分組成，上面是功能按鈕，下面是腳本顯示區(qū)。功能按鍵包含四個按鈕，分別為錄制，播放，清除和保存.錄制鍵按下后，腳本生成器就成記錄狀態(tài)(此時錄制按鈕的顯示文本由錄制變成停止，請參看圖a、圖b)，這個時候，當你對手機應用的任何操作都會被腳本生成器記錄，并把同步生成的腳本文件的內(nèi)容在下方的腳本顯示區(qū)顯示出來。當所要記錄的操作完成之后，就可以按下停止鍵，結束本次記錄工作。此操作之后，你可以選擇點擊播放鍵來重復剛才的應用操作，或者點擊保存鍵來保存所生成的腳本文件。
圖4是本發(fā)明的一個實施例，說明了本發(fā)明的通用模式。當手機用戶在主屏幕的頂層菜單(301)里選擇腳本生成器菜單項(321)的話，腳本生成器應用程序(302)將會啟動起來。如果用戶按下記錄按鈕(322)的話，腳本生成器應用程序界面將隱藏，并開始執(zhí)行記錄功能。這個時候主界面(303)將顯示出來，這個時候就可以執(zhí)行用戶想要錄制的操作過程(包括鍵盤和觸摸事件)，啟動某個應用程序，執(zhí)行某個功能(304)。當所要錄制的操作結束的時候，通過切換程序把腳本生成器應用程序界面(305)調(diào)出來,并激活停止按鈕(323)結束錄制過程。這個時候用戶可以選擇保存操作(306， 324)，將彈出一對話框(307)，叫用戶選擇腳本保存方式(326)(是保存在菜單里還是保存為快捷方式)和填入腳本的名字(325)，并點擊確定左軟鍵結束操作?；蛘哌x擇播放操作(306)系統(tǒng)將自動執(zhí)行剛才錄制期間所進行的全部操作。
應用1:該實例將該操作方法用到了設置應用啟動的快捷方式。譬如用戶會經(jīng)常用手機來收聽廣播。那么收音機這個應用就會經(jīng)常被啟動。在普通的操作模式下，用戶需要進入菜單列表，然后導航到收音機圖標，從而啟動收音機程序，并選擇想要收聽的頻道。當采用本發(fā)明所述的方法之后，用戶可以將上面所述的一系列操作錄制成腳本文件，然后可以通過一鍵撥號功能將該腳本文件映射到鍵盤的某個鍵上。這樣，用戶就只需要按該鍵來啟動收音機，收聽自己設定的頻道。
應用2:。該實例是將本發(fā)明所述操作方法應用到盲人對手機的一種應用上的具體描述。盲人在無人協(xié)助的情況下外出，容易迷失道路。當其不知道身在何處，而當場又沒人求救的情況下，盲人就需要通過手機來獲得救助。首先盲人可以通過手機的GPS裝置獲得GPS坐標，然后進入短消息，粘貼坐標信息到短消息中，并把該求助短消息發(fā)送給能夠求助的人，等待救援。該過程需要多步操作，對盲人來說無法完成一系列操作，從而無法得到救助。當采用本發(fā)明所述的方法把該系列的操作記錄為腳本文件，就可以在幾步操作或一鍵的操作下完成該任務。
權利要求
1、一種手機終端上的自動化操作系統(tǒng)，包括可以接收用戶指令的硬件和軟件兩部分，其特征是將現(xiàn)有PC系統(tǒng)上已有的七款軟件AT-SPI enabled desktop、Python 2.3或更高版本、Rpm-python或python-apt、Xorg-x11-xinit、Gnome-python2-gconf、Pygtk2以及Xorg-x11-server-Xvfb在手機操作系統(tǒng)中編譯和安裝后，用python腳本語言實現(xiàn)腳本生成器，腳本生成器通過無障礙技術Accessibility technologies軟件和桌面應用進行通信，從而在操作桌面應用程序的時候生成可以執(zhí)行的pythhon腳本文件，記錄應用相關的系統(tǒng)事件和信息；在執(zhí)行腳本文件的時候，腳本生成器和桌面應用進行通信，將所記錄的系統(tǒng)事件發(fā)送給應用，對桌面應用程序進行回放，實現(xiàn)手機的“識別記憶”和“回放”的自動化操作。
2、 根據(jù)權利要求l所述的手機終端上的自動化操作系統(tǒng)，其特征是手機界面上設有 功能區(qū)和腳本顯示區(qū)，功能區(qū)包含錄制/停止、播放、清除和保存按鍵.錄制鍵按下后， 腳本生成器就成記錄狀態(tài)，對手機應用的任何操作都會被腳本生成器記錄，并把同步生成 的腳本文件的內(nèi)容在腳本顯示區(qū)顯示出來；當所要記錄的操作完成之后，按下停止鍵，結 束本次記錄工作；此操作之后，點擊播放鍵來重復剛才的應用操作或者點擊保存鍵來保存 所生成的腳本文件。
3、根據(jù)權利要求2所述的手機終端上的自動化操作系統(tǒng)，其特征是獲取腳本文件后， 用戶利用當前手機上普遍存在的快捷鍵、快捷方式設置功能將腳本文件映射到該快捷鍵、 快捷方式上或者設置為菜單項，從而達到快捷啟動腳本文件，執(zhí)行定制操作。
全文摘要
一種手機終端上的自動化操作系統(tǒng)，包括可以接收用戶指令的硬件和軟件兩部分，其特征是將現(xiàn)有PC上已經(jīng)存在的軟件在手機操作系統(tǒng)中編譯和安裝后，用python腳本語言實現(xiàn)腳本生成器，腳本生成器通過Accessibility technologies軟件和桌面應用進行通信，在操作桌面應用程序的時候生成可以執(zhí)行的pythhon腳本文件，記錄應用相關的系統(tǒng)事件和信息；在執(zhí)行腳本文件的時候，腳本生成器和桌面應用進行通信，將所記錄的系統(tǒng)事件發(fā)送給應用，對桌面應用程序進行回放，實現(xiàn)手機的“識別記憶”和“回放”的自動化操作。該系統(tǒng)能夠簡化手機的功能操作尤其適合在盲人手機上采用，可以降低盲人在使用手機過程中操作出錯的概率，使操作更加簡化和有效。
文檔編號H04M1/725GK101645966SQ20091003473
公開日2010年2月10日 申請日期2009年9月4日 優(yōu)先權日2009年9月4日
發(fā)明者杜玉強, 趙永良 申請人:三星電子(中國)研發(fā)中心;三星電子株式會社