專利名稱：信息處理裝置和對原稿數(shù)據(jù)進行顯示操作的方法
技術領域：
本發(fā)明涉及一種信息處理裝置和一種用于對原稿數(shù)據(jù)進行顯示操作的圖形用戶界面(GUI)組件顯示方法。
背景技術：
迄今為止，已經存在具有數(shù)字轉換器的個人計算機(personalcomputer，PC)、個人數(shù)字助理(personal digital assistance，PDA)、或大屏幕顯示設備等具有手寫輸入單元的信息處理裝置。通常，在這種信息處理裝置中，使用鍵盤或鼠標來操作顯示在屏幕上的GUI。一個這樣的信息處理裝置具有給GUI指令以執(zhí)行手寫輸入命令的功能。這樣的信息處理裝置使用于會議系統(tǒng)中。
例如，日本特開2004-342024號公報論述了一種適用于通過在寫字板上利用記錄筆等筆型指示設備描繪圖形或字符，在監(jiān)視器的屏幕上繪制圖形、輸入字符和選擇項目的裝置。
另外，已經開發(fā)出了在會議上使用通過掃描普通文檔或原稿計算機化的數(shù)據(jù)進行演示的相關技術。例如，在根據(jù)使用通過掃描原稿獲得的原稿數(shù)據(jù)的相關技術進行演示的情況下，演示者可以從容地選擇表示進行操作的指令。另外，也出現(xiàn)了通過盡可能放大所顯示的圖像來顯示由原稿數(shù)據(jù)所表示的圖像的需求。

發(fā)明內容
本發(fā)明一方面是克服上述問題，并且例如增強對于表示當前所顯示的原稿的圖像的原稿數(shù)據(jù)的可操作性。
根據(jù)本發(fā)明的一個方面，一種信息處理裝置包括解釋單元，用于解釋寫在計算機化原稿數(shù)據(jù)上的命令；創(chuàng)建單元，用于創(chuàng)建圖形用戶界面組件，該圖形用戶界面組件用于進行由該解釋單元所解釋的該命令的執(zhí)行；以及顯示控制單元，用于使顯示裝置顯示與表示執(zhí)行的目標的目標數(shù)據(jù)相對應的原稿數(shù)據(jù)，并在與該原稿數(shù)據(jù)上所的命令相對應的位置處顯示該圖形用戶界面組件。
根據(jù)本發(fā)明的另一方面，一種用于在信息處理裝置中進行顯示原稿數(shù)據(jù)的操作的方法包括解釋寫在原稿數(shù)據(jù)上的命令；創(chuàng)建圖形用戶界面組件，該圖形用戶界面組件用于進行所解釋的該命令的執(zhí)行；以及使顯示裝置顯示與表示該執(zhí)行的目標的目標數(shù)據(jù)相對應的原稿數(shù)據(jù)，并在與寫在該原稿數(shù)據(jù)上的該命令相對應的位置處顯示所創(chuàng)建的該圖形用戶界面組件。
根據(jù)本發(fā)明的另一方面，一種存儲有計算機可讀的指令的存儲介質，該計算機可讀的指令用于執(zhí)行在信息處理裝置中進行顯示原稿數(shù)據(jù)的操作的方法，由存儲在該計算機可讀的介質上的該計算機可讀的指令所執(zhí)行的方法包括解釋寫在原稿數(shù)據(jù)上的命令；創(chuàng)建圖形用戶界面組件，該圖形用戶界面組件用于進行所解釋的該命令的執(zhí)行；以及使顯示裝置顯示與表示該執(zhí)行的目標的目標數(shù)據(jù)相對應的原稿數(shù)據(jù)，并在與寫在該原稿數(shù)據(jù)上的該命令相對應的位置處顯示該圖形用戶界面組件。
通過以下結合附圖對典型實施例的詳細說明，本發(fā)明的進一步的特征和方面是顯而易見的。


包括在說明書中并構成說明書的一部分的附圖，示出了本發(fā)明的典型實施例，并與說明書一起用來解釋本發(fā)明的原理。
圖1是示出顯示裝置的典型硬件結構的框圖；圖2是示出顯示系統(tǒng)的典型結構的框圖；圖3是示出該顯示系統(tǒng)的典型功能結構的框圖；
圖4是更詳細地示出該顯示系統(tǒng)的典型功能結構的框圖；圖5是示出第一典型實施例中其上寫有手寫命令的待掃描的原稿的例子的圖；圖6是示出在根據(jù)第一典型實施例的顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖7是示出關于在根據(jù)第一典型實施例的顯示裝置中所顯示的GUI組件的數(shù)據(jù)的例子的表；圖8是示出由根據(jù)第一典型實施例的顯示裝置進行的全部處理的例子的流程圖；圖9是示出所掃描原稿解釋處理的例子的流程圖；圖10是示出手寫命令定義數(shù)據(jù)的例子的表；圖11是示出手寫命令去除處理的流程圖；圖12是示出GUI組件創(chuàng)建處理的流程圖；圖13是示出所掃描原稿顯示處理的流程圖；圖14是示出GUI組件顯示處理的流程圖；圖15是示出執(zhí)行處理的流程圖；圖16是示出在第二典型實施例中其上寫有手寫命令的待掃描的原稿的例子的圖；圖17是示出在根據(jù)第二典型實施例的顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖18是示出關于在根據(jù)第二典型實施例的顯示裝置中所顯示的GUI組件的數(shù)據(jù)的例子的表；圖19是示出指令目標指定處理的例子的流程圖；圖20是示出可執(zhí)行處理定義數(shù)據(jù)的例子的表；圖21是示出相應的對象指定處理的流程圖；圖22是示出在第二典型實施例中其上寫有手寫命令的待掃描的原稿的另一例子的圖；
圖23是示出在根據(jù)第二典型實施例的顯示裝置中所顯示的顯示屏幕圖像的另一例子的圖；圖24是示出關于在根據(jù)第二典型實施例的顯示裝置中所顯示的GUI組件的數(shù)據(jù)的另一例子的表；圖25是示出在第三典型實施例中其上寫有手寫命令的待掃描的原稿的例子的圖；圖26是示出在根據(jù)第三典型實施例的顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖27是示出關于在根據(jù)第三典型實施例的顯示裝置中所顯示的GUI組件的數(shù)據(jù)的例子的表；圖28是示出在根據(jù)第三典型實施例的顯示裝置中所顯示的GUI組件改變操作屏幕圖像的圖；圖29是示出對圖26所示的顯示屏幕進行圖28所示的GUI組件改變操作之后，在顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖30是示出關于在根據(jù)第三典型實施例的顯示裝置中所顯示的GUI組件的數(shù)據(jù)的另一例子的表；圖31是示出GUI組件改變處理的例子的流程圖；圖32是示出有效GUI組件列表顯示處理的例子的流程圖；圖33是示出在根據(jù)第三典型實施例的顯示裝置中所顯示的GUI組件改變操作屏幕圖像的圖；圖34是示出對圖33所示的顯示屏幕進行GUI組件改變操作之后，在顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖35是示出關于對圖33所示的顯示屏幕進行GUI組件改變操作之后，在顯示裝置中所顯示的GUI組件的數(shù)據(jù)的例子的表；圖36是示出在根據(jù)第四典型實施例的顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖37是示出由根據(jù)第四典型實施例的顯示裝置進行的全部處理的例子的流程圖；圖38是示出關于在根據(jù)第四典型實施例的顯示裝置中所顯示的GUI組件的數(shù)據(jù)的例子的表；圖39是示出GUI組件改變處理的另一例子的流程圖；圖40是示出在根據(jù)第五典型實施例的顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖41是示出執(zhí)行允許判斷處理的例子的流程圖；圖42是示出其上寫有手寫命令和手寫操作內容的原稿的例子的圖；圖43是示出在根據(jù)第六典型實施例的顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖44是示出關于在根據(jù)第六典型實施例的顯示裝置中所顯示的GUI組件的數(shù)據(jù)的例子的表；圖45是示出操作指定處理的例子的流程圖；圖46是示出操作關聯(lián)處理的例子的流程圖；圖47是示出其上寫有手寫命令且其中嵌入表示操作內容的電子水印的原稿的例子的圖；圖48是示出其上寫有手寫命令的原稿和用戶通過輸入單元用來定義與該原稿或該手寫命令相對應的操作的定義數(shù)據(jù)中的每一個的例子的圖；圖49是示出在具有數(shù)字轉換器的顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖50是示出在具有麥克風的顯示裝置中所顯示的顯示屏幕圖像的例子的圖；圖51是示出在具有照相機的顯示裝置中所顯示的顯示屏幕圖像的例子的圖。
具體實施例方式
以下將參照附圖對本發(fā)明的典型實施例進行說明。
圖1是示出用作信息處理裝置的顯示裝置的典型硬件結構的框圖。
圖1中所示的輸入單元1通過網(wǎng)絡接收表示由多功能外圍設備掃描的原稿的原稿數(shù)據(jù)。中央處理單元(CPU)2對各種處理進行計算和邏輯判斷。CPU 2控制與總線6連接的顯示裝置的各組件。CPU 2還根據(jù)存儲在在后面說明的程序存儲器4中的程序提供后面說明的功能并進行在流程圖中所說明的處理。
輸出單元3輸出數(shù)據(jù)。輸出單元3是液晶顯示器(liquid crystaldisplay，LCD)或陰極射線二極管(cathode ray tube，CRT)等顯示設備。程序存儲器4存儲程序，并且其既可以是只讀存儲器(read-only memory，ROM)也可以是將程序從外部存儲設備或介質裝載到其中的隨機存取存儲器(random access memory，RAM)。
數(shù)據(jù)存儲器5存儲在各種處理中生成的數(shù)據(jù)。被存儲在數(shù)據(jù)存儲器5中的電子數(shù)據(jù)的例子有如下數(shù)據(jù)將在后面說明的表示所掃描原稿的數(shù)據(jù)；表示與該掃描原稿有關的GUI組件的GUI組件數(shù)據(jù)；表示將手寫命令從中去除的原稿的數(shù)據(jù)；以及注冊數(shù)據(jù)。數(shù)據(jù)存儲器5是例如RAM。輔助存儲設備7是硬盤驅動設備等非易失性存儲設備。數(shù)據(jù)存儲器5適于在處理前預先從輔助存儲設備7中裝載處理所需的數(shù)據(jù)?？蛇x地，每當需要數(shù)據(jù)時，數(shù)據(jù)存儲器5參照存儲在輔助存儲設備7中的數(shù)據(jù)?？偩€6傳送用于指定由CPU 2所控制的各組件的地址信號、CPU 2所用來控制各組件的控制信號、以及在組件間傳送的數(shù)據(jù)。
圖2是示出顯示系統(tǒng)的典型結構的框圖。
如圖2所示，通過圖像形成裝置22(多功能外圍設備)掃描紙原稿21。將用作與紙原稿21相對應的計算機化原稿數(shù)據(jù)的所掃描原稿數(shù)據(jù)24顯示在顯示裝置23的屏幕上。另外，如圖2所示，將寫在原稿21上的手寫命令25和26的識別結果顯示為在顯示裝置23的屏幕上可操作的GUI組件27和28。GUI組件27和28分別與手寫命令25和26相對應。根據(jù)本典型實施例，GUI是被可視呈現(xiàn)的且使得用戶(操作者)可以使用指示設備等直觀地進行操作的圖形用戶界面。
圖3是示出圖2中所示的顯示系統(tǒng)的功能結構的框圖。為了簡化說明，圖3示出了根據(jù)功能將該圖像系統(tǒng)分成原稿讀取裝置31、顯示裝置32、以及記錄裝置33的例子。圖2中所示的圖像形成裝置22包括圖3中所示的原稿讀取裝置31。圖2中所示的顯示裝置23對應于圖3中所示的顯示裝置32。記錄裝置33對應于圖1中所示的數(shù)據(jù)存儲器5。數(shù)據(jù)庫35對應于圖1中所示的輔助存儲設備7。也就是說，根據(jù)本典型實施例，將數(shù)據(jù)庫35結合在顯示裝置23中。然而，數(shù)據(jù)庫35可以是外部設備。
通過原稿讀取裝置31的掃描單元掃描圖3中所示的原稿21。所掃描原稿解釋單元解釋所掃描原稿。GUI組件創(chuàng)建單元根據(jù)由所掃描原稿解釋單元進行的解釋結果，創(chuàng)建GUI組件。將表示所掃描原稿和所創(chuàng)建的GUI組件的數(shù)據(jù)通過網(wǎng)絡34發(fā)送給顯示裝置32和記錄裝置33。
顯示裝置32同時顯示由原稿讀取裝置31掃描的原稿和GUI組件，并接受由用戶進行的操作。記錄裝置33在發(fā)送給其的所掃描原稿與GUI組件之間進行關聯(lián)，并將相互關聯(lián)的所掃描原稿和GUI組件記錄在數(shù)據(jù)庫35中。響應于用戶所進行的操作讀取所記錄的數(shù)據(jù)。
圖4是更詳細地示出顯示系統(tǒng)的功能結構的框圖。通過圖2中所示的圖像形成裝置22和顯示裝置23的硬件來實現(xiàn)該顯示系統(tǒng)的功能。
如圖4所示，顯示系統(tǒng)包括掃描和顯示單元41、執(zhí)行單元42、以及GUI組件改變單元43，作為主要功能組件。掃描和顯示單元41掃描原稿并將所掃描原稿顯示在顯示屏幕上。執(zhí)行單元42根據(jù)顯示在顯示屏幕上的GUI組件和使用菜單項的用戶操作指令執(zhí)行處理。GUI組件改變單元43改變顯示在其上的GUI組件。
掃描和顯示單元41包括掃描單元48、所掃描原稿解釋單元49、以及所掃描原稿顯示單元4g。掃描單元48掃描原稿。所掃描原稿解釋單元49將由掃描單元48生成的數(shù)據(jù)解釋為表示由掃描單元48掃描的原稿44的計算機化數(shù)據(jù)。所掃描原稿顯示單元4g顯示通過去除手寫命令獲得的所掃描原稿45和GUI組件46，其中所掃描原稿45和GUI組件46是由所掃描原稿解釋單元49進行分析的結果。
所掃描原稿解釋單元49包括指令解釋單元4a、指令目標指定單元4b、手寫命令去除單元4c、操作指定單元4d、操作關聯(lián)單元4e、以及GUI組件創(chuàng)建單元4f。指令解釋單元4a解釋在所掃描原稿44上所寫的手寫命令，并指定由該手寫命令所指定的處理。由該手寫命令指定的處理包括打印處理、再現(xiàn)處理、下一頁處理、音量改變處理、以及發(fā)送處理。指令目標指定單元4b通過參照可執(zhí)行的處理定義數(shù)據(jù)47指定表示由該手寫命令指定的對象(指令目標對象)的數(shù)據(jù)。指令目標對象是表示指令目標的數(shù)據(jù)，例如運動圖像、靜止圖像、所掃描原稿本身(或整個所掃描原稿)。
手寫命令去除單元4c從所掃描原稿中去除手寫命令以生成剩余所掃描原稿45。操作指定單元4d指定與由手寫命令所指定的處理相對應的操作。操作關聯(lián)單元4e將手寫命令與對應于由該手寫命令所指定的處理的操作進行關聯(lián)。GUI組件創(chuàng)建單元4f創(chuàng)建與手寫命令相對應的GUI組件46，還創(chuàng)建與GUI組件46相對應的GUI組件數(shù)據(jù)。例如，GUI組件創(chuàng)建單元4f根據(jù)由指令解釋單元4a指定的手寫命令所指定的處理和由指令目標指定單元4b所指定的命令目標對象，創(chuàng)建GUI組件46和與GUI組件46相對應的GUI組件數(shù)據(jù)。
所掃描原稿顯示單元4g包括剩余所掃描原稿顯示單元4h和GUI組件顯示單元4i。剩余所掃描原稿顯示單元4h顯示剩余所掃描原稿45。GUI組件顯示單元4i顯示GUI組件46。
執(zhí)行單元42包括菜單執(zhí)行指令解釋單元4m、GUI組件執(zhí)行指令解釋單元4n、執(zhí)行允許判斷單元4o、以及處理執(zhí)行單元4p。菜單執(zhí)行指令解釋單元4m解釋由菜單項所給出的指令以執(zhí)行處理。GUI組件執(zhí)行指令解釋單元4n解釋由GUI組件所給出的指令以執(zhí)行處理。執(zhí)行允許判斷單元4o判斷所指定的處理是否是可執(zhí)行的。處理執(zhí)行單元4p執(zhí)行所指定的處理。
GUI組件改變單元43包括有效GUI組件列表單元4j、GUI組件替換單元4k、以及可選目標指定單元4l。有效GUI組件列表單元4j顯示可變的有效GUI組件的列表。GUI組件替換單元4k用另一GUI組件替換所指定的GUI組件。當所指定的GUI組件46沒有出現(xiàn)在由有效GUI組件列表單元4j所顯示的列表中時，可選目標指定單元41指定可選指令目標。
第一典型實施例參照圖5～15說明第一典型實施例，該第一典型實施例適用于根據(jù)由圖像形成裝置22所掃描的其上寫有手寫命令的原稿，將與該手寫命令相對應的GUI組件與該原稿一起顯示在顯示裝置23的顯示屏幕上。另外，以下說明顯示裝置23通過從中去除解釋為手寫命令的部分顯示所掃描原稿的例子。
圖5是示出在第一典型實施例中其上寫有手寫命令的待掃描的紙原稿的例子的圖。圖5中所示的原稿51包括文本區(qū)52和圖像區(qū)53。將命令54手寫在原稿51上。
圖6是示出在根據(jù)第一典型實施例的顯示裝置23中所顯示的顯示屏幕圖像的例子的圖。將由與圖5中所示的原稿51相對應的計算機化數(shù)據(jù)表示的所掃描原稿24顯示在顯示裝置23的屏幕上。所掃描原稿24包括文本區(qū)62和圖像區(qū)63。將與通過圖5中所示的手寫命令54創(chuàng)建的“打印按鈕”相對應的GUI組件64顯示在顯示裝置23的屏幕上。
圖7是示出關于在根據(jù)第一典型實施例的顯示裝置23中所顯示的GUI組件的數(shù)據(jù)(附屬信息)的例子的表。GUI組件數(shù)據(jù)71包括關于與GUI組件相對應的功能的信息和關于GUI組件的相對顯示位置和大小的信息。例如，圖7中所示的GUI組件數(shù)據(jù)71對應于圖6中所示的GUI組件64。根據(jù)圖7中所示的GUI組件數(shù)據(jù)71，將“打印”功能記錄為與將對指令目標進行的處理相對應的功能。將數(shù)據(jù)(70，10)和(90，25)記錄為GUI組件的相對顯示位置和大小。將圖7中所示的數(shù)據(jù)存儲在數(shù)據(jù)存儲器5中。
圖8是示出由根據(jù)第一典型實施例的顯示系統(tǒng)進行的全部處理的例子的流程圖。假定以下處理由顯示裝置23的CPU 2或圖像形成裝置22的CPU(未示出)根據(jù)預先存儲在顯示裝置23或圖像形成裝置22中的程序來執(zhí)行。
在步驟S801，圖像形成裝置22或顯示裝置23進行初始化，例如，顯示操作屏幕的操作。隨后，在步驟S802，圖像形成裝置22或顯示裝置23進行用戶操作并接受用戶操作(或事件)。
然后，在步驟S803，圖像形成裝置22或顯示裝置23判斷事件。如果圖像形成裝置22檢測到用戶給出的掃描和顯示指令，則系統(tǒng)進入步驟S804?？蛇x地，如果顯示裝置23檢測到執(zhí)行指令，則系統(tǒng)進入步驟S807?？蛇x地，如果顯示裝置23檢測到GUI組件改變指令，則系統(tǒng)進入到步驟S808。
在步驟S804，圖像形成裝置22掃描其上寫有手寫命令的原稿以獲取表示所掃描原稿的計算機化數(shù)據(jù)。然后，圖像形成裝置22將所獲取的數(shù)據(jù)傳送給顯示裝置23。隨后，在步驟S805，顯示裝置23進行所掃描原稿解釋處理，并將寫在所掃描原稿上的手寫命令解釋為例如GUI組件。后面將參照圖9詳細說明由顯示裝置23進行的所掃描原稿解釋處理。然后，在步驟S806，顯示裝置23進行所掃描原稿顯示處理以將GUI組件與從中去除了手寫命令的所掃描原稿一起進行顯示。然后，系統(tǒng)返回到步驟S802。將GUI組件顯示在與寫有手寫命令的位置相對應的位置處。后面將參照圖13詳細說明由顯示裝置23進行的所掃描原稿顯示處理。
在步驟S807，響應于執(zhí)行指令，顯示裝置23進行與由用戶指定的菜單項或GUI組件相對應的處理。然后，系統(tǒng)返回到步驟S802。下面將參照圖15說明由顯示裝置23進行的執(zhí)行處理。在步驟S808，響應于GUI組件改變指令，顯示裝置23進行GUI組件改變(或替換)處理，以將當前顯示的GUI組件改變成指定的GUI組件。然后，系統(tǒng)返回到步驟S802。后面將參照圖31詳細說明由顯示裝置23進行的GUI組件改變處理。
圖9是示出由顯示裝置23進行的所掃描原稿解釋處理的例子的流程圖。以下對圖9中所示的處理進行說明，假定通過作為顯示裝置23的功能組件的、圖4中所示的所掃描原稿解釋單元49進行該處理(順便提及，適用于進行該處理的硬件為CPU 2)。
在步驟S901，所掃描原稿解釋單元49進行指令解釋處理以解釋由計算機化數(shù)據(jù)表示的寫在所掃描原稿上的手寫命令。因此，所掃描原稿解釋單元49指定由該手寫命令所指定的處理。隨后，在步驟S902，所掃描原稿解釋單元49根據(jù)在步驟S901中所進行的解釋結果判斷是否存在由該手寫命令給出的指令。如果所掃描原稿解釋單元49判斷出存在由該手寫命令所給出的指令，則處理進入步驟S903。如果所掃描原稿解釋單元49判斷出沒有由該手寫命令給出的指令，則所掃描原稿解釋處理結束。
在步驟S903，所掃描原稿解釋單元49進行指令目標指定處理以指定由該手寫命令給出的指令的指令目標。后面將參照圖19詳細說明指令目標指定處理。隨后，在步驟S904，所掃描原稿解釋單元49判斷在步驟S903中由該手寫命令給出的指令的指令目標的指定是否成功。如果所掃描原稿解釋單元49判斷出在步驟S903中由該手寫命令給出的指令的指令目標的指定成功，則處理進入步驟S905。如果所掃描原稿解釋單元49判斷出該指令目標的指定未成功，則所掃描原稿解釋處理結束。
在步驟S905，所掃描原稿解釋單元49進行手寫命令去除處理以從所掃描原稿中去除手寫命令。后面將參照圖11詳細說明手寫命令去除處理。隨后，在步驟S906，所掃描原稿解釋單元49進行操作指定處理。因此，所掃描原稿解釋單元49根據(jù)寫在該原稿上的字符串、嵌入該原稿中的電子水印、和用戶所確定(或輸入)的定義數(shù)據(jù)，指定與該手寫命令所指定的處理相對應的操作。后面將參照圖45詳細說明操作指定處理。
隨后，在步驟S907，所掃描原稿解釋單元49進行操作關聯(lián)處理以將該手寫命令與在由該手寫命令所指定的和在步驟S906中所指定的處理中所進行的操作進行關聯(lián)。后面將參照圖46詳細說明操作關聯(lián)處理。
在步驟S908，所掃描原稿解釋單元49根據(jù)在步驟S907中相互關聯(lián)的手寫命令和在由該手寫命令所指定的處理中所進行的操作，以及根據(jù)在后面將說明的圖10中所示的手寫命令定義數(shù)據(jù)，進行GUI組件創(chuàng)建處理。作為GUI組件創(chuàng)建處理的結果，所掃描原稿解釋單元49創(chuàng)建與在步驟S907中相互關聯(lián)的手寫命令和在由該手寫命令所指定的處理中進行的操作相對應的GUI組件。然后，所掃描原稿解釋單元49完成所掃描原稿解釋處理。后面將參照圖12詳細說明GUI組件創(chuàng)建處理。
圖10是示出手寫命令定義數(shù)據(jù)的例子的表。如圖10所示，手寫命令定義數(shù)據(jù)包括表示手寫命令的筆劃信息、關于執(zhí)行指令的功能命令、以及顯示在顯示裝置23的顯示屏幕上的GUI組件。例如，手寫命令定義數(shù)據(jù)101定義與寫在圖5中所示的所掃描原稿上的手寫命令54的筆劃信息相同的筆劃信息。手寫命令定義數(shù)據(jù)101還定義與寫在圖5中所示的所掃描原稿上的手寫命令相對應的“打印”命令。手寫命令定義數(shù)據(jù)101還定義與圖6中所示的“打印按鈕”相對應的GUI組件64相同的GUI組件。手寫命令定義數(shù)據(jù)被存儲在數(shù)據(jù)存儲器5中。
圖11是示出手寫命令去除處理的流程圖。以下對圖11中所示的處理進行說明，假定由圖4中所示的所掃描原稿解釋單元49的手寫命令去除單元4c進行該處理。
在步驟S1101中，手寫命令去除單元4c在例如變量“處理目標”中設置用于識別所提取的手寫命令的值，以初始化變量“處理目標”。例如，在存在兩個所提取的手寫命令的情況下，手寫命令去除單元4c設置表示變量“處理目標”中的兩個手寫命令中的第一個的值。
在步驟S1102，手寫命令去除單元4c判斷是否存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令。如果手寫命令去除單元4c判斷出具有與在變量“處理目標”中所設置的值相對應的所提取的手寫命令(步驟S1102為“是”)，則處理進入步驟S1103。相反，如果手寫命令去除單元4c判斷出不存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令(步驟S1102為“否”)，則手寫命令去除處理結束。
在步驟S1103，手寫命令去除單元4c進行相應的筆劃去除處理，以刪除與在變量“處理目標”中所設置的值相對應的手寫命令。也就是說，手寫命令去除單元4c從所掃描原稿中去除對應于與在變量“處理目標”中所設置的值相對應的手寫命令的筆劃。隨后，在步驟S1104，手寫命令去除單元4c增加在變量“處理目標”中所設置的值，例如加1。然后，處理返回到步驟S1102。
圖12是示出GUI組件創(chuàng)建處理的流程圖。以下對圖12中所示的處理進行說明，假定由圖4中所示的所掃描原稿解釋單元49的GUI組件創(chuàng)建單元4f進行該處理。
在步驟S1201，GUI組件創(chuàng)建單元4f在變量“處理目標”中設置用于識別所提取的手寫命令的值，以初始化變量“處理目標”。例如，在存在兩個所提取的手寫命令的情況下，GUI組件創(chuàng)建單元4f在變量“處理目標”中設置表示兩個手寫命令中的第一個的值。
在步驟S1202，GUI組件創(chuàng)建單元4f判斷是否存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令。如果GUI組件創(chuàng)建單元4f判斷出存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令(步驟S1202為“是”)，則處理進入步驟S1203。相反，如果GUI組件創(chuàng)建單元4f判斷出不存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令(步驟S1202為“否”)，則GUI組件創(chuàng)建處理結束。
在步驟S1203，GUI組件創(chuàng)建單元4f進行相對位置大小確定處理，以相對于該所掃描原稿，確定對應于與在“處理目標”中所設置的值相對應的手寫命令的筆劃的相對位置和大小。隨后，在步驟S1204，GUI組件創(chuàng)建單元4f進行GUI組件創(chuàng)建處理以在步驟S1203中獲得的相對位置(相對顯示位置)處創(chuàng)建具有在步驟S1203中獲得的大小的GUI組件。
隨后，在步驟S1205，GUI組件創(chuàng)建單元4f增加在變量“處理目標”中所設置的值，例如加1。然后，處理返回到步驟S1202。
圖13是示出所掃描原稿顯示處理的例子的流程圖。以下對圖13中所示的處理進行說明，假定由作為顯示裝置23的功能組件的圖4中所示的所掃描原稿顯示單元4g進行該處理。
在步驟S1301，所掃描原稿顯示單元4g進行剩余所掃描原稿顯示處理，以在顯示裝置23中顯示處于從中去除了手寫命令的狀態(tài)下的所掃描原稿。隨后，在步驟S1302，所掃描原稿顯示單元4g根據(jù)寫在當前顯示的所掃描原稿中的手寫命令的解釋結果，判斷是否存在與該手寫命令相對應的指令。如果所掃描原稿顯示單元4g判斷出存在與該手寫指令相對應的指令，則處理進入步驟S1303。如果所掃描原稿顯示單元4g判斷出不存在與該手寫指令相對應的指令，則處理完成所掃描原稿顯示處理。
在步驟S1303，所掃描原稿顯示單元4g進行GUI組件顯示處理以顯示與由該手寫命令所表示的指令相對應的GUI組件。以下參照圖14詳細說明GUI組件顯示處理。
圖14是示出GUI組件顯示處理的例子的流程圖。以下對圖14所示的處理進行說明，假定由圖4中所示的所掃描原稿顯示單元4g的GUI組件顯示單元4i進行該處理。
在步驟S1401，GUI組件顯示單元4i在變量“處理目標”中設置用于識別所提取的手寫命令的值，以初始化變量“處理目標”。例如，在存在兩個所提取的手寫命令的情況下，GUI組件顯示單元4i在變量“處理目標”中設置表示兩個手寫命令中的第一個的值。
在步驟S1402，GUI組件顯示單元4i判斷是否存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令。如果GUI組件顯示單元4i判斷出存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令(步驟S1402為“是”)，則處理進入步驟S1403。相反，如果GUI組件顯示單元4i判斷出不存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令(步驟S1402為“否”)，則GUI組件顯示處理結束。
在步驟S1403，GUI組件顯示單元4i進行絕對位置大小確定處理，以根據(jù)在圖12中所示的步驟S1204中所創(chuàng)建的GUI組件(或表示GUI組件的GUI組件數(shù)據(jù))確定在顯示裝置23的屏幕上的GUI組件的絕對位置和大小。隨后，在步驟S1404，GUI組件顯示單元4i進行GUI組件顯示處理，以在步驟S1403中所確定的位置處顯示對應于與在“處理目標”中所設置的值相對應的手寫命令且具有在步驟S1403所獲得的大小的GUI組件。
隨后，在步驟S1405，GUI組件顯示單元4i增加在變量“處理目標”中所設置的值例，如加1。然后，處理返回到步驟S1402。
另外，GUI組件顯示單元4i直接顯示手寫命令，而不是圖12中的生成的GUI組件。
圖15是示出執(zhí)行處理的例子的流程圖。以下對圖15中所示的處理進行說明，假定由圖4中所示的顯示裝置23的執(zhí)行單元42進行該處理。
在步驟S1501，執(zhí)行單元42判斷用戶所進行的操作是否是用以執(zhí)行通過菜單項所指定的處理的指令。如果執(zhí)行單元42判斷出用戶所進行的操作是用以執(zhí)行通過菜單項所指定的處理的指令，則處理進入步驟S1502。如果執(zhí)行單元42判斷出用戶所進行的操作與用以執(zhí)行通過菜單項所指定的處理的指令不同，則處理進入步驟S1503。
在步驟S1502，執(zhí)行單元42進行菜單驅動的指令解釋處理，以解釋用以執(zhí)行通過菜單項所指定的處理的指令。另一方面，在步驟S1503，執(zhí)行單元42進行GUI組件執(zhí)行指令解釋處理，以解釋用以執(zhí)行與該GUI組件相對應的處理的指令。例如，執(zhí)行單元42根據(jù)與用戶所操作的GUI組件相對應的GUI組件數(shù)據(jù)，指定處理(或與該處理相對應的功能)、在該處理中所進行的操作、以及與該處理相對應的指令目標。
在步驟S1504，執(zhí)行單元42進行執(zhí)行允許判斷處理，以判斷用以執(zhí)行處理的用戶指令是否是可執(zhí)行的。后面將參照圖41詳細說明執(zhí)行允許判斷處理。隨后，如果執(zhí)行單元42在步驟S1505根據(jù)在步驟S1504中的判斷結果判斷出允許執(zhí)行，則處理進入步驟S1506。如果執(zhí)行單元42判斷出不允許執(zhí)行，則處理完成執(zhí)行處理。
在步驟S1506，執(zhí)行單元42發(fā)出指令以進行處理執(zhí)行。從而，進行各處理。
如上所述，根據(jù)第一典型實施例，顯示裝置23使得表示手寫命令的識別結果的GUI組件顯示在該顯示裝置的屏幕上。這消除了對用以防止錯誤識別的發(fā)生所進行的專門確認步驟的需要。同時，可以降低故障發(fā)生的風險。另外，可以增強對于表示當前所顯示的原稿的數(shù)據(jù)的可操作性。
根據(jù)第一典型實施例，如圖6所示，顯示裝置23使得GUI組件位于其屏幕上。因此，用戶可以通過使用該GUI組件對于該原稿數(shù)據(jù)進行任意次數(shù)的處理。從而，可以加強對于表示當前所顯示的原稿的數(shù)據(jù)的可操作性。
根據(jù)第一典型實施例，顯示裝置23識別寫在普通原稿上的手寫命令，并通過使GUI組件出現(xiàn)在其屏幕上來顯示識別結果。這消除了對使用專用紙張的需要。因此，可以更加容易地增強對于表示當前所顯示的原稿的數(shù)據(jù)的可操作性。
根據(jù)第一典型實施例，顯示裝置23通過使GUI組件出現(xiàn)在其屏幕上與手寫命令相對應的位置處，來顯示手寫命令的識別結果。另外，顯示裝置23還將所掃描原稿顯示在其屏幕上。因此，在通過顯示裝置檢查所掃描原稿之后或同時，用戶可以使用GUI組件指示執(zhí)行打印處理等處理。因此，可以增強對于表示當前所顯示的原稿的數(shù)據(jù)的可操作性。
根據(jù)第一典型實施例，顯示裝置23通過將所掃描原稿與GUI組件關聯(lián)，將表示所掃描原稿的數(shù)據(jù)和與其相對應的GUI組件存儲在圖3中所示的數(shù)據(jù)庫35中。因而，當再次利用所掃描原稿時，還可以再次利用相應的GUI組件。因此，可以增強對于表示當前所顯示的原稿的數(shù)據(jù)的可操作性。
盡管在第一典型實施例的說明中已經說明了在顯示裝置23的屏幕上顯示從中去除了手寫命令的所掃描原稿的例子，但是可以不從中去除手寫命令而顯示所掃描原稿?？蛇x地，通過在數(shù)據(jù)存儲器5中搜索表示與所掃描原稿相對應的原始原稿的數(shù)據(jù)，可以顯示該原始原稿。
第二典型實施例接著參照圖16～24說明第二典型實施例，在第二典型實施例中，在原稿的特定區(qū)包括指令目標的情況下，顯示裝置23顯示GUI組件。包括圖像形成裝置22和顯示裝置23的顯示系統(tǒng)的結構與根據(jù)第一典型實施例的顯示系統(tǒng)類似。因此，不再重復對該顯示系統(tǒng)的說明。
圖16是示出在第二典型實施例中其上寫有手寫命令的待掃描的紙原稿例子的圖。圖16中所示的原稿161包括文本區(qū)162和圖像區(qū)163。將命令164手寫在原稿161上以與圖像區(qū)163重疊。
圖17是示出在根據(jù)第二典型實施例的顯示裝置23中所顯示的顯示屏幕圖像的圖。將由與圖16中所示的原稿161相對應的計算機化數(shù)據(jù)表示的所掃描原稿171顯示在顯示裝置23的屏幕上。所掃描原稿171包括文本區(qū)172和圖像區(qū)173。與由圖16中所示的手寫命令164創(chuàng)建的“再現(xiàn)按鈕”相對應的GUI組件174被顯示在顯示裝置23的屏幕上。圖像區(qū)173與包括在與所掃描原稿171相對應的且通過顯示裝置23搜索的原始原稿中的運動圖像相關聯(lián)。“再現(xiàn)按鈕”意味著可以進行對該運動圖像的操作。
圖18是示出關于在根據(jù)第二典型實施例的顯示裝置23中所顯示的GUI組件的數(shù)據(jù)的表。GUI組件數(shù)據(jù)181包括關于與GUI組件相對應的功能的信息、關于該GUI組件的相對顯示位置和大小的信息、以及關于指令目標對象的信息。圖18中所示的GUI組件數(shù)據(jù)181對應于例如圖17中所示的GUI組件174。根據(jù)圖18中所示的GUI組件數(shù)據(jù)181，將“運動圖像對象173”記錄為指令目標。將“再現(xiàn)”功能記錄為與對該指令目標將進行的處理相對應的功能。數(shù)據(jù)(50，85)和(60，95)被記錄為GUI組件的相對顯示位置和大小。GUI組件數(shù)據(jù)181被存儲在數(shù)據(jù)存儲器5中。
圖19是示出指令目標指定處理的例子的流程圖。以下對圖19中所示的處理進行，說明假定由圖4中所示的并且用作顯示裝置23的功能組件的所掃描原稿解釋單元49的指令目標指定單元4b進行該處理。
在步驟S1901，指令目標指定單元4b進行原始原稿搜索處理，以搜索與所掃描原稿相對應的原始原稿。隨后，如果指令目標指定單元4b在步驟S1902根據(jù)在步驟S1901中的搜索結果判斷出存在原始原稿，則處理進入步驟S1904。如果指令目標指定單元4b判斷出不存在原始原稿，則處理進入步驟S1903。
在步驟S1903，指令目標指定單元4b進行對象提取處理，以通過對所掃描原稿進行圖像分析來提取文本、圖形以及圖像等對象。隨后，處理進入步驟S1904。
在步驟S1904，指令目標指定單元4b在例如變量“處理目標”中設置用于識別所提取的手寫命令的值，以初始化變量“處理目標”。例如，在存在兩個所提取的手寫命令的情況下，指令目標指定單元4b在變量“處理目標”中設置表示兩個手寫命令中的第一個的值。
在步驟S1905，指令目標指定單元4b判斷是否存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令。如果指令目標指定單元4b判斷出存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令(步驟S1905為“是”)，則處理進入步驟S1906。如果指令目標指定單元4b判斷出不存在與在變量“處理目標”中所設置的值相對應的所提取的手寫命令(步驟S1905為“否”)，則指令目標指定處理結束。
在步驟S1906，指令目標指定單元4b使用與圖4中所示種類的指令目標相對應的可執(zhí)行處理定義數(shù)據(jù)47進行相應對象指定處理。指令目標指定單元4b在原始原稿中或在步驟S1903所提取的對象中，指定由作為處理目標的手寫命令所指定的指令目標的對象。以下參照圖20詳細說明可執(zhí)行處理定義數(shù)據(jù)47。以下將參照圖21詳細說明相應對象指定處理。
隨后，在步驟S1907，指令目標指定單元4b判斷在步驟S1906所進行的相應對象指定處理中，對由作為處理目標的手寫命令所指定的指令目標的對象的指定是否成功。如果指令目標指定單元4b判斷出對象指定成功，則處理進入步驟S1908。如果指令目標指定單元4b判斷出對象指定不成功，則處理進入步驟S1909。
在步驟S1908，指令目標指定單元4b采用在步驟S1906中指定的對象作為由作為處理目標的手寫命令所指定的指令目標。另一方面，在步驟S1909，指令目標指定單元4b判斷出在例如圖9所示的步驟S901中所進行的將對象識別為手寫命令是錯誤的。然后，指令目標指定單元4b從所掃描原稿中刪除當前用作處理目標的手寫命令。隨后，處理進入步驟S1910。
在步驟S1910，指令目標指定單元4b增加在變量“處理目標”中所設置的值，例如加1。然后，處理返回到步驟S1905。
圖20是示出與圖4中所示的指令目標種類相對應的可執(zhí)行處理定義數(shù)據(jù)的例子的表。由數(shù)據(jù)存儲器5保持這些數(shù)據(jù)。圖20所示的可執(zhí)行處理定義數(shù)據(jù)包括指令目標種類數(shù)據(jù)和表示對應于各目標種類數(shù)據(jù)的可執(zhí)行處理列表的可執(zhí)行處理列表數(shù)據(jù)。例如，可執(zhí)行處理定義數(shù)據(jù)201將指令目標種類定義為與圖17中所示的運動圖像對象173相對應的“運動圖像”?？蓤?zhí)行處理定義數(shù)據(jù)201將與指令目標種類“運動圖像”相對應的可執(zhí)行處理列表定義為包括“打印”處理、“再現(xiàn)”處理、“音量改變”處理、以及“發(fā)送”處理的列表。可執(zhí)行處理定義數(shù)據(jù)202將與指令目標種類“靜止圖像”相對應的可執(zhí)行處理列表定義為包括“打印”處理和“發(fā)送”處理的列表。可執(zhí)行處理定義數(shù)據(jù)203將與指令目標種類“所掃描原稿本身”相對應的可執(zhí)行處理列表定義為包括“打印”處理、“下一頁”處理、以及“發(fā)送”處理的列表。
圖21是示出相應對象指定處理的例子的流程圖。以下對圖21中所示的處理進行說明，假定由圖4中所示的指令目標指定單元4b進行該處理。
在步驟S2101中，指令目標指定單元4b在變量“目標解釋”中設置用于識別在圖9所示的步驟S901中的指令解釋處理中進行的手寫命令的解釋結果的值，以初始化變量“目標解釋”。例如，在存在兩個手寫命令的解釋結果的情況下，指令目標指定單元4b在變量“目標解釋”中設置表示手寫命令的兩個解釋結果中的第一個的值。
在步驟S2102，指令目標指定單元4b判斷是否存在與在變量“目標解釋”中所設置的值相對應的手寫命令的解釋結果。如果指令目標指定單元4b判斷出存在與在變量“目標解釋”中所設置的值相對應的手寫命令的解釋結果(步驟S2102為“是”)，則處理進入步驟S2103。如果指令目標指定單元4b判斷出不存在與在變量“目標解釋”中所設置的值相對應的手寫命令的解釋結果(步驟S2102為“否”)，則指令目標指定處理結束。
在步驟S2103，指令目標指定單元4b在變量“指令目標對象”中設置用于識別位于手寫命令附近的對象的值，以初始化變量“指令目標對象”。例如，在手寫命令附近存在兩個對象的情況下，指令目標指定單元4b在變量“指令目標對象”中設置表示兩個對象中最接近該手寫命令的那個對象的值。
在步驟S2104，指令目標指定單元4b判斷是否存在位于該手寫命令附近且對應于在變量“指令目標對象”中所設置的值的對象。如果指令目標指定單元4b判斷出存在位于該手寫命令附近且對應于在變量“指令目標對象”中所設置的值的對象(步驟S2104為“是”)，則處理進入步驟S2105。如果指令目標指定單元4b判斷出不存在位于該手寫命令附近且對應于在變量“指令目標對象”中所設置的值的對象(步驟S2104為“否”)，則處理進入步驟S2108。
在步驟S2105，指令目標指定單元4b通過參照圖20中所示的可執(zhí)行處理定義數(shù)據(jù)進行有效性判斷處理。指令目標指定單元4b判斷由例如在圖9所示的步驟S901中所進行的指令解釋處理中進行的手寫命令所指定的指令的解釋(即，由手寫命令所指定的處理)對于指令目標對象是否是有效處理。
在步驟S2106，如果指令目標指定單元4b判斷出由該手寫命令所指定的指令的解釋所表示的處理對于該指令目標對象是無效處理，則處理進入步驟S2107。如果指令目標指定單元4b判斷出由該手寫命令所指定的指令的解釋所表示的處理對于指令目標對象是有效處理，則相應對象指定處理結束。
在步驟S2107，指令目標指定單元4b增加在變量“指令目標對象”中所設置的值，例如加1。然后，處理返回到步驟S2104。在步驟S2108，指令目標指定單元4b增加將在變量“目標解釋”中所設置的值，例如加1。然后，處理返回到步驟S2102。
在步驟S2105中所進行的有效性判斷處理中，指令目標指定單元4b可以通過參照圖20中所示的可執(zhí)行處理定義數(shù)據(jù)，并通過例如判斷對同一指令目標對象進行的功能(或處理)是否相互重疊，來判斷該有效性。也就是說，在對原稿中的同一指令目標對象寫有類似的兩個手寫命令的情況下，對同一指令目標對象進行的功能(或處理)相互重疊。因而，指令目標指定單元4b可以判斷出由該手寫命令所表示的指令的解釋是無效的?？蛇x地，在上述情況下，指令目標指定單元4b可以判斷出該解釋不是無效的。也就是說，指令目標指定單元4b可以將兩個手寫命令解釋為分別具有不同功能的命令，而不是具有相同功能的命令。因而，指令目標指定單元4b可以判斷出該解釋是有效的。
圖22是示出在第二典型實施例中其上寫有手寫命令的待掃描的原稿221的另一例子的圖。圖22中所示的原稿221包括文本區(qū)222和表區(qū)223。用手寫命令224以與表區(qū)223重疊。
圖23是示出在根據(jù)第二典型實施例的顯示裝置23中所顯示的顯示屏幕圖像的另一例子的圖。將通過與圖22中所示的原稿221相對應的計算機化數(shù)據(jù)表示的所掃描原稿231顯示在顯示裝置23的屏幕上。所掃描原稿231包括文本區(qū)232和表區(qū)233。表區(qū)233與如下表相關聯(lián)，該表包括在與通過顯示裝置23在所掃描原稿231中搜索的原始原稿相對應的區(qū)域中。
將與處理目標是所掃描原稿本身的“下一頁按鈕”相對應的GUI組件234顯示在顯示裝置23的屏幕上。這是因為在使用與圖22中所示的手寫命令224相對應的“再現(xiàn)按鈕”的情況下，不能對作為指令目標的表進行處理。因而，顯示裝置23改變指令目標和GUI組件。
圖24是示出關于在根據(jù)第二典型實施例的顯示裝置23中所顯示的GUI組件的數(shù)據(jù)的另一例子的表。GUI組件數(shù)據(jù)241包括關于與該GUI組件相對應的功能的信息、關于該GUI組件的相對顯示位置和大小的信息、以及關于指令目標對象的信息。圖24中所示的GUI組件數(shù)據(jù)241對應于例如圖23中所示的GUI組件234。圖24中所示的GUI組件數(shù)據(jù)241意味著將“所掃描原稿本身”231記錄為指令目標；將“下一頁”功能記錄為將對該指令目標進行的功能；以及將值(50，85)和(60，95)記錄為該GUI組件的相對顯示位置和大小。將GUI組件數(shù)據(jù)241保持在數(shù)據(jù)存儲器5中。
如上所述，根據(jù)第二典型實施例，顯示裝置23適當?shù)刂付ㄅcGUI組件相對應的指令目標。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。另外，根據(jù)第二典型實施例，顯示裝置23僅創(chuàng)建有效GUI組件。
因此，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
第三典型實施例通過參照圖25～35說明第三典型實施例，在第三典型實施例中，顯示裝置23改變被錯誤識別的GUI組件。包括圖像形成裝置22和顯示裝置23的顯示系統(tǒng)的結構與根據(jù)第一典型實施例的顯示系統(tǒng)類似。因而，不再重復對該顯示系統(tǒng)的說明。
圖25是示出在第三典型實施例中其上寫有手寫命令的待掃描的紙原稿251的例子的圖。圖25中所示的原稿251包括文本區(qū)252和圖像區(qū)253。將命令254和255用手寫在原稿251上。
圖26是示出在根據(jù)第三典型實施例的顯示裝置23中所顯示的顯示屏幕圖像的圖。將由與圖25中所示的原稿251相對應的計算機化數(shù)據(jù)表示的所掃描原稿261顯示在顯示裝置23的屏幕上。所掃描原稿261包括文本區(qū)262和圖像區(qū)263。分別與由圖25中所示的手寫命令254和255創(chuàng)建的“再現(xiàn)按鈕”相對應的GUI組件264和265被顯示在顯示裝置23的屏幕上。圖像區(qū)263與包括在與所掃描原稿261相對應的且通過顯示裝置23搜索的原始原稿中的運動圖像相關聯(lián)。“再現(xiàn)按鈕”意味著可以進行對該運動圖像的操作。
圖27是示出關于在根據(jù)第三典型實施例的顯示裝置23中所顯示的GUI組件的數(shù)據(jù)的例子的表。GUI組件數(shù)據(jù)包括關于與GUI組件相對應的功能的信息、關于該GUI組件的相對顯示位置和大小的信息、以及關于指令目標對象的信息。將GUI組件數(shù)據(jù)271保持在數(shù)據(jù)存儲器5中。圖27中所示的GUI組件數(shù)據(jù)271對應于例如圖26中所示的GUI組件264。
根據(jù)圖27中所示的GUI組件數(shù)據(jù)271，將“運動圖像對象263”記錄為指令目標。將“再現(xiàn)”功能記錄為與將對該指令目標進行的處理相對應的功能。將數(shù)據(jù)(50，55)和(60，65)記錄為該GUI組件的相對顯示位置和大小。假定本典型實施例允許對同一指令目標進行同一功能(或對其進行相同處理)的GUI組件相互重疊，因而設有兩個“再現(xiàn)按鈕”。在禁止對同一指令目標進行同一功能(或對其進行相同處理)的GUI組件相互重疊的情況下，設有具有不同功能的GUI組件。
圖28是示出在根據(jù)第三典型實施例的顯示裝置23中所示出的GUI組件改變操作屏幕圖像的圖。將與圖25中所示的原稿251相對應的所掃描原稿261顯示在圖28中所示的顯示裝置23的顯示屏幕上。另外，在圖28中所示的顯示裝置23的顯示屏幕上顯示有文本區(qū)262、圖像區(qū)263、以及表示根據(jù)圖25中所示的手寫命令254和255創(chuàng)建的“再現(xiàn)按鈕”的GUI組件264和265。
圖28示出響應于通過用戶指定與“再現(xiàn)按鈕”相對應的GUI組件265所進行的有效GUI列表窗口顯示指令操作而顯示有效GUI列表窗口281的例子。在該例子的有效GUI列表窗口281中，使得與“音量改變按鈕”相對應的GUI組件282處于被選中狀態(tài)。另外，在該例子中，用粗線框表示包括與有效GUI列表中的GUI組件相對應的指令目標對象的區(qū)263，以便用戶可辨別。
例如，當通過用戶使用指示設備按壓與GUI組件相對應的按鈕至少預定時間段時，顯示裝置23判斷出用戶進行有效GUI列表窗口顯示指令操作。然后，如圖28所示，顯示裝置23在其屏幕上顯示有效GUI列表窗口281。
圖29是示出對圖26所示的顯示屏幕進行圖28所示的GUI組件改變操作之后在顯示裝置中所顯示的顯示屏幕圖像的例子的圖。圖29中所示的顯示屏幕圖像與圖26中所示的顯示屏幕圖像的不同之處在于與“再現(xiàn)按鈕”相對應的GUI組件265被改變成與“音量改變按鈕”相對應的GUI組件291。
圖30是示出關于在根據(jù)第三典型實施例的顯示裝置23中所顯示的GUI組件的數(shù)據(jù)的表。在圖30中所示的GUI組件數(shù)據(jù)與圖27中所示的GUI組件數(shù)據(jù)的不同之處在于將GUI組件數(shù)據(jù)272改變成(或替換成)GUI組件數(shù)據(jù)301。將圖30中所示的GUI組件數(shù)據(jù)保持在數(shù)據(jù)存儲器5中。
圖31是示出GUI組件改變處理的例子的流程圖。以下對圖31中所示的處理進行說明，假定由用作顯示裝置23的功能組件的圖4中所示的GUI組件改變單元43進行該處理。
在步驟S3101，GUI組件改變單元43進行有效GUI組件列表處理。GUI組件改變單元43顯示例如通過指示設備的按壓從當前所顯示的GUI組件中選擇的且與可用作指令目標的指令目標對象相對應的GUI組件的列表(或有效GUI列表窗口)。下面將參照圖32詳細說明有效GUI組件列表處理。
在步驟S3102，GUI組件改變單元43進行用戶操作處理并接受用戶操作(或事件)。在步驟S3103，如果GUI組件改變單元43判斷出用戶指示顯示可選GUI組件列表，則處理進入步驟S3104。在步驟S3103，如果GUI組件改變單元43判斷出用戶指示選擇可選的GUI組件，則處理進入步驟S3106。
在步驟S3104，GUI組件改變單元43進行可選的指令目標指定處理，以指定可選的指令目標對象，而不是與當前在所掃描原稿中選擇的GUI組件相對應的指令目標的指令目標對象。隨后，在步驟S3105，GUI組件改變單元43進行有效GUI組件列表處理，并顯示與在步驟S3104中所指定的可選的指令目標對象有關的有效GUI組件的列表(即，有效GUI列表窗口)。然后，處理返回到步驟S3102。
在步驟S3106，GUI組件改變單元43進行GUI組件替換處理。GUI組件改變單元43利用從有效GUI列表窗口中選擇的GUI組件(例如，圖28中所示的GUI組件282)替換當前在所掃描原稿中選擇的GUI組件(例如，圖28中所示的GUI組件265)。
圖32是示出有效GUI組件列表處理的例子的流程圖。以下對圖32中所示的處理進行說明，假定由圖4中所示的GUI組件改變單元43的有效GUI組件列表單元4j進行該處理。
在步驟S3201，有效GUI組件列表單元4j初始化有效GUI組件列表。隨后，在步驟S3202，有效GUI組件列表單元4j進行處理以獲取表示與指令目標種類相對應的可執(zhí)行處理的數(shù)據(jù)。有效GUI組件列表單元4j從圖20中所示的可執(zhí)行處理定義數(shù)據(jù)中獲取與當前指令目標對象(例如，運動圖像、靜止圖像、以及所掃描原稿本身)相對應的可執(zhí)行處理的可執(zhí)行處理列表。例如，在當前指令目標對象是運動圖像的情況下，有效GUI組件列表單元4j獲取包括“打印”處理、“再現(xiàn)”處理、“音量改變”處理、以及“發(fā)送”處理的可執(zhí)行處理列表。
在步驟S3203，有效GUI組件列表單元4j在變量“處理目標”中設置用于識別包括在步驟S3202中所獲取的可執(zhí)行處理列表中的可執(zhí)行處理的值，以初始化變量“處理目標”。例如，在可執(zhí)行處理列表中存在四個可執(zhí)行處理的情況下，有效GUI組件列表單元4j在變量“處理目標”中設置表示記錄在可執(zhí)行處理列表的開頭單元格中的可執(zhí)行處理的值。
在步驟S3204，有效GUI組件列表單元4j判斷是否存在與在變量“處理目標”中所設置的值相對應的可執(zhí)行處理。如果有效GUI組件列表單元4j判斷出存在與在變量“處理目標”中所設置的值相對應的可執(zhí)行處理(步驟S3204為“是”)，則處理進入步驟S3205。如果有效GUI組件列表單元4j判斷出不存在與在變量“處理目標”中所設置的值相對應的可執(zhí)行處理(步驟S3204為“否”)，則有效GUI組件列表處理結束。
在步驟S3205，有效GUI組件列表單元4j進行相應GUI組件列表添加處理，以將與對要處理的指令目標對象所進行的可執(zhí)行處理相對應的GUI組件添加到有效GUI組件的列表。然后，有效GUI組件列表單元4j顯示該列表。
隨后，在步驟S3206，有效GUI組件列表單元4j增加在變量“處理目標”中所設置的值，例如加1。然后，處理返回到步驟S3204。
在有效GUI組件列表處理中，有效GUI組件列表單元4j可以顯示有效GUI組件列表，在有效GUI組件列表中，按照由圖20中所示的可執(zhí)行處理定義數(shù)據(jù)所定義的順序排列GUI組件。可選地，在有效GUI組件列表處理中，有效GUI組件列表單元4j可以根據(jù)通過例如所掃描原稿解釋單元49所進行的手寫命令的解釋結果，顯示有效GUI組件列表，在有效GUI組件列表中，按照形狀的相似程度從形狀最接近手寫命令的GUI組件開始排列GUI組件。因而，用戶可以通過從列表的頂端開始連續(xù)檢查列表的單元格以搜索GUI組件的列表，發(fā)現(xiàn)形狀與用戶所寫的手寫命令最接近的有效GUI組件。
可選地，在有效GUI組件列表處理中，有效GUI組件列表單元4j可以從有效GUI組件列表中排除每個形狀不同于手寫命令的形狀的量等于或大于閾值的GUI組件。因而，可以從有效GUI組件列表中刪除每個形狀不同于手寫命令的形狀的量等于或大于閾值的GUI組件。因此，可以顯示適當?shù)腉UI組件的列表。
圖33是示出在根據(jù)第三典型實施例的顯示裝置23中所顯示的GUI組件改變操作屏幕圖像的例子的圖。圖33示出如下例子，在該例子中，作為用戶進行可選GUI組件列表指令操作的結果，將與可選指令目標對象相對應的有效GUI組件的列表331顯示在圖28中所示的GUI組件改變操作屏幕上。用戶所進行的可選GUI組件列表指令操作是例如按下可選GUI組件列表顯示按鈕283的操作。圖33還示出在有效GUI組件列表331中由用戶選擇與“下一頁按鈕”相對應的GUI組件332的例子。
響應于與GUI組件265相對應的指令目標對象263向可選指令目標對象261的改變，將圖33中所示的有效GUI組件列表331顯示在顯示裝置23中。將圖33中所示的有效GUI組件列表331顯示在顯示裝置23中，使得可以看見與GUI組件265相對應的指令目標對象的改變。
圖34是示出在對圖33中所示的GUI組件改變操作顯示屏幕進行GUI組件改變操作之后在顯示裝置23中所顯示的顯示屏幕圖像的例子的圖。圖34中所示的顯示屏幕圖像與圖33中所示的顯示屏幕圖像的不同之處在于用與“下一頁按鈕”相對應的GUI組件341替換了與“再現(xiàn)按鈕”相對應的GUI組件265。
圖35是示出關于在對圖33中所示的GUI組件改變操作顯示屏幕進行GUI組件改變操作之后在顯示裝置23中所顯示的GUI組件的數(shù)據(jù)的表。圖35中所示的GUI組件數(shù)據(jù)與圖27中所示的GUI組件數(shù)據(jù)的不同之處在于將GUI組件272改變成GUI組件351。
根據(jù)圖27中所示的GUI組件數(shù)據(jù)272，將“再現(xiàn)”功能記錄為在對指令目標的處理中進行的功能。將“運動圖像263”記錄為指令目標。同時，根據(jù)圖35中所示的GUI組件數(shù)據(jù)351，將“下一頁”功能記錄為在對指令目標的處理中進行的功能。將“所掃描原稿本身261”記錄為指令目標。將圖35中所示的GUI組件數(shù)據(jù)保持在數(shù)據(jù)存儲器5中。
如上所述，根據(jù)第三典型實施例，顯示裝置23根據(jù)來自用戶的指令將錯誤識別的GUI組件改變成適當?shù)腉UI組件。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
根據(jù)第三典型實施例，顯示裝置23根據(jù)來自用戶的指令顯示與指令目標相對應的有效GUI組件的列表。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
根據(jù)第三典型實施例，顯示裝置23可以反復進行用于指定可選指令目標的處理。因而，例如，在有效GUI列表窗口中不包括有效GUI組件的情況下，用戶可以重新指定指令目標。因此，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
第四典型實施例通過參照圖36～39說明第四典型實施例，在第四典型實施例中，當顯示所掃描原稿時，顯示裝置23在顯示與不顯示與所掃描原稿相對應的相關GUI組件之間進行切換。包括圖像形成裝置22和顯示裝置23的顯示系統(tǒng)的結構與根據(jù)第一典型實施例的顯示系統(tǒng)類似。因而，不再重復對該顯示系統(tǒng)的說明。
圖36是示出在根據(jù)第四典型實施例的顯示裝置23中所顯示的顯示屏幕圖像的例子的圖。將由計算機化數(shù)據(jù)表示的所掃描原稿261和GUI組件264和341顯示在顯示裝置23的屏幕上。
圖36中所示的顯示裝置23具有GUI組件顯示切換按鈕361。例如，當接收用戶通過按下GUI組件切換按鈕361發(fā)出的GUI組件切換指令時，顯示裝置23在顯示與不顯示每一GUI組件264和341之間進行切換。
圖37是示出由根據(jù)第四典型實施例的顯示系統(tǒng)進行的全部處理的例子的流程圖。在步驟S3701，圖像形成裝置22和顯示裝置23進行初始化處理，以進行如顯示操作屏幕圖像的操作等初始化操作。隨后，在步驟S3702，圖像形成裝置22和顯示裝置33接受用戶操作(或事件)。
隨后，在步驟S3703，圖像形成裝置22和顯示裝置23判斷事件。如果圖像形成裝置22判斷出用戶指示掃描和顯示，則處理進入步驟S3704。如果顯示裝置23判斷出用戶指示執(zhí)行處理，則處理進入步驟S3707。如果顯示裝置23判斷出用戶指示改變GUI組件，則處理進入步驟S3708。如果顯示裝置23判斷出用戶指示切換GUI組件的顯示，則處理進入步驟S3709。
在步驟S3704，通過圖像形成裝置22掃描其上寫有手寫命令的原稿。因而，圖像形成裝置22獲取表示所掃描原稿的計算機化數(shù)據(jù)。隨后，在步驟S3705，顯示裝置23進行所掃描原稿解釋處理，以將例如將寫在所掃描原稿上的手寫命令解釋為GUI組件。然后，在步驟S3706，顯示裝置23進行所掃描原稿顯示處理，以將GUI組件與從中去除了手寫命令的所掃描原稿一起進行顯示。
在步驟S3707，顯示裝置23進行執(zhí)行處理。因而，顯示裝置23進行由用戶指示的且與菜單項或GUI組件相對應的處理。在步驟S3708，顯示裝置23進行GUI組件改變(或替換)處理。因而，顯示裝置23將當前所顯示的GUI組件改變成所指定的GUI組件。在步驟S3709，顯示裝置23進行GUI組件顯示切換處理。因而，顯示裝置23在顯示與不顯示GUI組件之間進行切換。下面參照圖39詳細說明GUI組件顯示切換處理。
在處理事件(掃描和顯示指令的步驟S3704-S3706、執(zhí)行指令的步驟S3707、GUI組件改變指令的步驟S3708、或組件顯示改變指令的步驟S3709)之后，處理返回到步驟S3702。
圖38是示出根據(jù)第四典型實施例的GUI組件數(shù)據(jù)的例子的表。GUI組件數(shù)據(jù)包括表示識別GUI組件數(shù)據(jù)的ID的信息、關于與該GUI組件相對應的功能的信息、關于該GUI組件的相對顯示位置和大小的信息、關于用于識別相應的所掃描原稿的所掃描原稿ID的信息、以及關于指令目標對象的信息。將圖38中所示的GUI組件數(shù)據(jù)保持在數(shù)據(jù)存儲器5中。根據(jù)GUI組件數(shù)據(jù)382，記錄表示GUI組件數(shù)據(jù)的ID“115”。將“下一頁”功能記錄為與指令目標相對應的功能。將數(shù)據(jù)(60，85)和(70，95)記錄為該GUI組件的相對顯示位置和大小。根據(jù)GUI組件數(shù)據(jù)382，記錄所掃描原稿ID“file021”(例如，對應于圖36中所示的所掃描原稿261)。另外，將表示“所掃描原稿本身261”的信息記錄為表示指令目標的信息。
圖39是示出GUI組件改變處理的例子的流程圖。在步驟S3901，顯示裝置23判斷GUI組件的當前顯示狀態(tài)。如果顯示裝置23判斷出當前顯示了GUI組件，則處理進入步驟S3902。如果顯示裝置23判斷出GUI組件當前處于不顯示狀態(tài)，則處理進入步驟S3903。
在步驟S3902，顯示裝置23進行GUI組件不顯示處理，以使當前所顯示的GUI組件處于不顯示狀態(tài)。然后，顯示裝置23結束GUI組件顯示切換處理。另一方面，在步驟S3903，顯示裝置23進行相應GUI組件獲取處理，以在圖38中所示的GUI組件數(shù)據(jù)中搜索與當前顯示在顯示裝置23中的所掃描原稿相對應的GUI組件。
隨后，在步驟S3904，顯示裝置23進行GUI組件顯示處理。然后，顯示裝置23在其屏幕上顯示在步驟S3903中獲得的所有GUI組件。隨后，顯示裝置23終止GUI組件顯示切換處理。
在上述說明中，已經說明了如果顯示裝置23判斷出用戶指示切換GUI組件的顯示，則顯示裝置23在顯示與不顯示GUI組件之間進行切換。然而，如果顯示裝置23判斷出用戶指示切換GUI組件的顯示，則可以切換顯示模式。另外，顯示裝置23可以在切換顯示模式之后，在所掃描原稿顯示處理中根據(jù)顯示模式進行GUI組件的顯示和不顯示。
如上所述，根據(jù)第四典型實施例，顯示裝置23將所掃描原稿與相應的GUI組件關聯(lián)，并存儲和管理所掃描原稿和相應的GUI組件。另外，顯示裝置23根據(jù)來自用戶的指令進行GUI組件的顯示和不顯示。因而，顯示裝置23可以僅在需要時才顯示GUI組件。因此，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
第五典型實施例以下，參照圖40和41說明第五典型實施例，在第五典型實施例中，顯示裝置23可以禁止除了執(zhí)行與GUI組件相對應的處理以外的處理。包括圖像形成裝置22和顯示裝置23的顯示系統(tǒng)的結構與根據(jù)第一典型實施例的顯示系統(tǒng)類似。因而，不再重復對該顯示系統(tǒng)的說明。
圖40是示出在根據(jù)第五典型實施例的顯示裝置23中所顯示的顯示屏幕圖像的例子的圖。由計算機化數(shù)據(jù)、GUI組件264和341、以及菜單欄401表示的所掃描原稿261被顯示在顯示裝置23的屏幕上。在圖40所示的例子中，菜單項402的子菜單405從菜單欄401展開而顯示，并且用戶選擇了子菜單項407的“打印”處理。
圖41是示出執(zhí)行允許判斷處理的例子的流程圖。以下對圖41中所示的處理進行說明，假定由圖4中所示的執(zhí)行單元42進行該處理。在步驟S4101，執(zhí)行單元42判斷當前的執(zhí)行模式。如果執(zhí)行單元42判斷出當前的執(zhí)行模式是執(zhí)行限制模式，則處理進入步驟S4102。如果執(zhí)行單元42判斷出當前的執(zhí)行模式是無限制模式，則處理允許執(zhí)行，并完成執(zhí)行允許判斷處理。
在步驟S4102，執(zhí)行單元42進行當前所顯示的GUI組件搜索處理，以判斷與用戶通過使用菜單項指示執(zhí)行的處理相對應的GUI組件是否被顯示在顯示裝置23中。在步驟S4103，如果執(zhí)行單元42判斷出與用戶通過使用菜單項指示執(zhí)行的處理相對應的GUI組件被顯示在顯示裝置23中，則執(zhí)行單元42允許執(zhí)行該處理。然后，執(zhí)行單元42完成執(zhí)行允許判斷處理。在步驟S4103，如果執(zhí)行單元42判斷出沒有與用戶通過使用菜單項指示執(zhí)行的處理相對應的GUI組件被顯示在顯示裝置23中，則執(zhí)行單元42禁止執(zhí)行該處理。然后，執(zhí)行單元42完成執(zhí)行允許判斷處理。
如上所述，根據(jù)第五典型實施例，顯示裝置23可以禁止除了與創(chuàng)建且顯示的GUI組件相對應的處理的執(zhí)行以外的處理的執(zhí)行。因而，可以防止故障?？梢栽鰪妼τ诒硎井斍八@示的原稿的原稿數(shù)據(jù)的可操作性。因為可以防止故障，因而可確保安全性(即，可以增強安全性)。
第六典型實施例通過參照圖42～48說明以下處理，在該處理中，顯示裝置23指定與手寫命令相對應的操作并將該操作與該手寫命令相關聯(lián)。
圖42是示出其上寫有手寫命令和手寫操作內容的原稿的例子的圖。圖42中所示的原稿51包括文本區(qū)52和圖像區(qū)53。另外，在原稿51上還寫有手寫命令421、手寫操作內容422、以及手寫命令關聯(lián)指令423。
圖43是示出在根據(jù)第六典型實施例的顯示裝置23中所顯示的顯示屏幕圖像的例子的圖。將由與在圖42中所示的原稿51相對應的計算機化數(shù)據(jù)表示的所掃描原稿261顯示在顯示裝置23的屏幕上。另外，與根據(jù)圖42中所示的手寫命令421創(chuàng)建的“發(fā)送”相對應的GUI組件431和根據(jù)圖42中所示的手寫操作內容422創(chuàng)建的操作氣球幫助432被顯示在顯示裝置23的屏幕上。GUI組件431和操作氣球幫助432通過手寫命令關聯(lián)指令423相互關聯(lián)。當將指示設備置于GUI組件431上時，操作氣球幫助432可以通過顯示裝置23顯示。
圖44是示出關于在根據(jù)第六典型實施例的顯示裝置23中所顯示的GUI組件的數(shù)據(jù)的例子的表。GUI組件數(shù)據(jù)包括關于與GUI組件相對應的功能的信息、關于該GUI組件的相對顯示位置和大小的信息、關于指令目標對象的信息、以及關于與該GUI組件相對應的操作的信息。將圖44中所示的GUI組件數(shù)據(jù)保持在數(shù)據(jù)存儲器5中。例如，根據(jù)GUI組件數(shù)據(jù)441，將“發(fā)送”記錄為與指令目標相對應的功能。將數(shù)據(jù)(70，10)和(90，25)分別記錄為GUI組件的相對顯示位置和大小。根據(jù)GUI組件數(shù)據(jù)441，將“所掃描原稿本身261”記錄為指令目標。另外，將符號“Yamada”記錄為表示操作的數(shù)據(jù)。也就是說，當用戶按下與GUI組件數(shù)據(jù)441相對應的GUI組件時，執(zhí)行單元42根據(jù)GUI組件數(shù)據(jù)441將表示整個所掃描原稿261的數(shù)據(jù)發(fā)送給“Yamada”。
圖45是示出操作指定處理的例子的流程圖。以下對圖45中所示的處理進行說明，假定由圖4中所示的所掃描原稿解釋單元49的操作指定單元4d進行該處理。
在步驟S4501，操作指定單元4d進行字符識別處理，以識別寫在所掃描原稿上的字符。隨后，在步驟S4502，操作指定單元4d判斷在步驟S4501中所進行的字符識別是否成功。如果操作指定單元4d判斷出在步驟S4501中所進行的字符識別成功，則處理進入步驟S4503。如果操作指定單元4d判斷出在步驟S4501中所進行的字符識別不成功，則操作指定處理結束。
在步驟S4503，操作指定單元4d進行相應數(shù)據(jù)提取處理，以從所掃描原稿中提取與在步驟S4501中識別出的字符或字符串相對應的數(shù)據(jù)(例如，圖42中所示的手寫操作內容422)。然后，處理完成操作指定處理。
圖46是示出操作關聯(lián)處理的例子的流程圖。以下對圖46中所示的處理進行說明，假定由圖4中所示的所掃描原稿解釋單元49的操作關聯(lián)單元4e進行該處理。
在步驟S4601，操作關聯(lián)單元4e進行關聯(lián)提取處理，以從寫在所掃描原稿上的手寫命令關聯(lián)指令(例如，圖42中所示的手寫命令關聯(lián)指令423)中提取關于手寫命令與操作之間的關聯(lián)的信息。隨后，在步驟S4602，操作關聯(lián)單元4e判斷在步驟S4601中所進行的關于關聯(lián)的信息的提取是否成功。如果操作關聯(lián)單元4e判斷出在步驟S4601中所進行的關于關聯(lián)的信息的提取成功，則處理進入步驟S4603。如果操作關聯(lián)單元4e判斷出在步驟S4601中所進行的關于關聯(lián)的信息的提取不成功，則操作關聯(lián)處理結束。
在步驟S4603，操作關聯(lián)單元4e進行數(shù)據(jù)提煉處理，以從關于在步驟S4601中所提取的關聯(lián)的信息中提煉該手寫命令與該操作之間的組合。
圖47是示出其上寫有手寫命令且其中嵌入了表示操作內容的電子水印的原稿的例子的圖。圖47中所示的原稿51包括文本區(qū)52和圖像區(qū)53。另外，手寫命令421被寫在原稿51上。電子水印操作內容471被嵌入原稿51中。盡管在圖4中未示出，但是，顯示裝置23可具有作為功能組件的用于打印的打印單元。因而，例如，圖47中所示的原稿51可被打印或輸出?？蛇x地，可以將待打印的數(shù)據(jù)輸出給圖像形成裝置22。
例如，在表示操作內容的數(shù)據(jù)被作為電子水印嵌入原稿中的情況下，操作指定單元4d在圖45中所示的操作指定處理中識別嵌入原稿中的電子水印。操作指定單元4d從所掃描原稿中提取與所識別的電子水印相對應的數(shù)據(jù)。與其對應的數(shù)據(jù)為例如圖47中所示的電子水印操作內容471。
圖48是示出其上寫有手寫命令的原稿和用戶通過輸入單元用來定義與原稿或手寫命令相對應的操作的定義數(shù)據(jù)中的每一個的例子的圖。圖48中所示的原稿51包括文本區(qū)52和圖像區(qū)53。另外，將手寫命令421寫在原稿51上。例如，當將原稿51讀入顯示裝置23時，用戶在顯示裝置23中定義與圖48中所示的原稿51或手寫命令421相對應的定義操作的定義數(shù)據(jù)481。
如上所述，根據(jù)第六典型實施例，顯示裝置23基于手寫命令、手寫操作內容、以及寫在原稿上的手寫命令關聯(lián)指令，將手寫命令(或GUI組件)與操作內容相關聯(lián)。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
根據(jù)第六典型實施例，顯示裝置23通過使用電子水印將寫在原稿上的手寫命令與對應于嵌入其中的手寫命令的操作內容相關聯(lián)。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
根據(jù)第六典型實施例，顯示裝置23基于寫在原稿上的手寫命令和用戶通過輸入單元定義操作內容的定義數(shù)據(jù)，將手寫命令(或GUI組件)與操作內容相關聯(lián)。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
第七典型實施例參照圖49～51說明第七典型實施例，在第七典型實施例中，顯示裝置23根據(jù)除寫在所掃描原稿上的手寫命令以外的數(shù)據(jù)來創(chuàng)建GUI組件。
圖49是示出在具有數(shù)字轉換器的顯示裝置23中所顯示的顯示屏幕圖像的例子的圖。通過使用數(shù)字轉換器(坐標輸入裝置)在顯示屏幕上進行筆輸入操作，寫手寫命令491。因而，可以實現(xiàn)與在上述典型實施例中所執(zhí)行的操作類似的操作。
圖50是示出在具有麥克風的顯示裝置23中所顯示的顯示屏幕圖像的例子的圖。通過使用麥克風502進行聲音輸入操作將聲音命令501寫到顯示裝置23。因而，可以實現(xiàn)與在上述典型實施例中所進行的操作類似的操作。為了使顯示裝置23指定GUI組件的相對顯示位置和大小，與上述典型實施例類似，用戶可以使用聲音發(fā)出相應的指令。
圖51是示出在具有照相機的顯示裝置23中所顯示的顯示屏幕圖像的例子的圖。通過使用照相機512進行圖像輸入操作將手勢命令511寫到顯示裝置23。因而，可以實現(xiàn)與在上述典型實施例中所進行的操作類似的操作。為了使顯示裝置23指定GUI組件的相對顯示位置和大小，與上述典型實施例類似，用戶可以通過打手勢發(fā)出相應的指令。
如上所述，根據(jù)第七典型實施例，顯示裝置23可以基于通過進行筆輸入操作輸入的手寫命令，進行創(chuàng)建和顯示GUI組件等與在上述典型實施例中所進行的操作類似的操作。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
根據(jù)第七典型實施例，顯示裝置23可以基于通過使用麥克風輸入的聲音命令，進行創(chuàng)建和顯示GUI組件等與在上述典型實施例中所進行的操作類似的操作。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
根據(jù)第七典型實施例，顯示裝置23可以基于通過使用照相機輸入的手勢命令，進行創(chuàng)建和顯示GUI組件等與在上述典型實施例中所進行的操作類似的操作。因而，可以增強對于表示當前所顯示的原稿的原稿數(shù)據(jù)的可操作性。
因而，如上所述，根據(jù)本發(fā)明的典型實施例，可以增強對于表示當前所顯示的原稿的圖像的原稿數(shù)據(jù)的可操作性。
本發(fā)明可應用于包括多個設備(例如，顯示設備和復合設備)的系統(tǒng)。另外，本發(fā)明可應用于單個裝置設備(例如，具有掃描功能的顯示設備、具有監(jiān)控器等的顯示單元的多功能外圍設備、或能夠在觸摸式面板上顯示所掃描原稿的多功能外圍設備)。
盡管參考典型實施例說明了本發(fā)明，但應當理解，本發(fā)明不局限于所公開的實施例。以下權利要求書的范圍符合最寬的解釋，以包含所有這類修改和等同結構和功能。
權利要求
1.一種信息處理裝置，其包括解釋單元，用于解釋寫在原稿數(shù)據(jù)上的命令；創(chuàng)建單元，用于創(chuàng)建圖形用戶界面組件，該圖形用戶界面組件用于進行由該解釋單元解釋的該命令的執(zhí)行；以及顯示控制單元，用于使顯示裝置顯示與表示該執(zhí)行的目標的目標數(shù)據(jù)相對應的原稿數(shù)據(jù)，并在與寫在該原稿數(shù)據(jù)上的該命令相對應的位置處顯示該圖形用戶界面組件。
2.根據(jù)權利要求1所述的信息處理裝置，其特征在于，該解釋單元用于將由用戶輸入的手寫指令數(shù)據(jù)解釋為寫在該原稿數(shù)據(jù)上的該命令。
3.根據(jù)權利要求1所述的信息處理裝置，其特征在于，該顯示控制單元用于在顯示與不顯示該圖形用戶界面組件之間進行切換。
4.根據(jù)權利要求1所述的信息處理裝置，其特征在于，還包括處理執(zhí)行單元，該處理執(zhí)行單元用于對該目標數(shù)據(jù)執(zhí)行與該命令相對應的處理。
5.根據(jù)權利要求4所述的信息處理裝置，其特征在于，該處理執(zhí)行單元用于判斷是否允許執(zhí)行該處理，并且該處理執(zhí)行單元被配置成不執(zhí)行除了與由該顯示控制單元所顯示的該圖形用戶界面組件相對應的處理以外的處理。
6.根據(jù)權利要求1所述的信息處理裝置，其特征在于，由該顯示控制單元所顯示的該圖形用戶界面組件是寫在該原稿數(shù)據(jù)上的命令。
7.一種用于在信息處理裝置中進行顯示原稿數(shù)據(jù)的操作的方法，該方法包括解釋寫在原稿數(shù)據(jù)上的命令；創(chuàng)建圖形用戶界面組件，該圖形用戶界面組件用于進行所解釋的該命令的執(zhí)行；以及使顯示裝置顯示與表示該執(zhí)行的目標的目標數(shù)據(jù)相對應的原稿數(shù)據(jù)，并在與寫在該原稿數(shù)據(jù)上的該命令相對應的位置處顯示所創(chuàng)建的該圖形用戶界面組件。
8.根據(jù)權利要求7所述的方法，其特征在于，解釋該命令包括將由用戶輸入的手寫指令數(shù)據(jù)解釋為寫在該原稿數(shù)據(jù)上的命令。
9.根據(jù)權利要求7所述的方法，其特征在于，使該顯示裝置顯示原稿數(shù)據(jù)包括在顯示與不顯示該圖形用戶界面組件之間進行切換。
10.根據(jù)權利要求7所述的方法，其特征在于，還包括對該目標數(shù)據(jù)執(zhí)行與該命令相對應的處理。
11.根據(jù)權利要求10所述的方法，其特征在于，對該目標數(shù)據(jù)執(zhí)行與該命令相對應的處理包括判斷是否允許執(zhí)行該處理，并且不執(zhí)行除了與所顯示的圖形用戶界面組件相對應的處理以外的處理。
12.根據(jù)權利要求7所述的方法，其特征在于，由該顯示控制單元所顯示的該圖形用戶界面組件是寫在該原稿數(shù)據(jù)上的命令。
全文摘要
本發(fā)明提供一種信息處理裝置和對原稿數(shù)據(jù)進行顯示操作的方法。該信息處理裝置包括解釋單元，用于解釋寫在計算機化的原稿數(shù)據(jù)上的命令；創(chuàng)建單元，用于創(chuàng)建圖形用戶界面組件，即GUI組件，該GUI組件用于進行由該解釋單元解釋的該命令的執(zhí)行；以及顯示控制單元，用于使顯示裝置顯示與表示該執(zhí)行的目標的目標數(shù)據(jù)相對應的原稿數(shù)據(jù)，并在與寫在該原稿數(shù)據(jù)上的命令相對應的位置處顯示所創(chuàng)建的GUI組件。
文檔編號G06F9/44GK1928851SQ200610127798
公開日2007年3月14日 申請日期2006年9月8日 優(yōu)先權日2005年9月8日
發(fā)明者若井圣范 申請人:佳能株式會社