本發(fā)明涉及適于編輯在電子白板上渲染的標(biāo)志圖像的圖像處理裝置和圖像處理方法和計算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

在現(xiàn)有技術(shù)中，在企業(yè)、教育機(jī)構(gòu)、行政機(jī)關(guān)等中的會議等中，使用電子信息板，通過該電子信息板，用戶可以在大的顯示器上顯示的背景圖像上繪制比如字符、數(shù)字和圖形的筆劃圖像。

當(dāng)個人計算機(jī)連接到這種電子信息板時，所連接的個人計算機(jī)的屏幕可以以大尺寸投射到電子信息板上。這種電子信息板用于企業(yè)或者行政機(jī)關(guān)或者教育機(jī)構(gòu)中的會議中的演示。提供(1)使用電子信息板上安裝的觸摸板功能，而經(jīng)由用于代替鼠標(biāo)操作而直接觸摸所投射的屏幕來操作顯示所述屏幕的個人計算機(jī)的觸摸板而操作個人計算機(jī)的功能。還提供與這種設(shè)備一起在所連接的個人計算機(jī)上操作的電子白板應(yīng)用軟件。該應(yīng)用軟件提供(2)經(jīng)由觸摸板的手寫功能，比如提供用作白板的屏幕和經(jīng)由觸摸板在屏幕上渲染手寫字符等的功能，和接收向其提供本應(yīng)用的個人計算機(jī)的屏幕并在其上疊加手寫圖像以渲染的功能。

通過使用這種手寫功能在其上操作的電子信息板，用戶可以在操作所顯示的材料的同時按照需要直接在屏幕上書寫所指出的主題等以用于辦公室中的會議場景等中的說明，且可以按照需要記錄包括所書寫的圖像的屏幕內(nèi)容。結(jié)果，當(dāng)會議結(jié)束時，可以期望通過回顧和重新使用屏幕內(nèi)容而有效地獲得結(jié)論。

還開發(fā)了能夠存儲手寫信息的電子信息板，通過該電子信息板，可以通過讀取存儲的信息在日后繼續(xù)會議。

作為這種電子信息板的示例，專利文獻(xiàn)1公開了用于通過執(zhí)行由層創(chuàng)建裝置創(chuàng)建的層上的手寫渲染而存儲筆劃圖像以容易地處理包括多個層的手寫文檔的裝置。

技術(shù)實現(xiàn)要素：

技術(shù)問題

在上面描述的電子信息板上，安裝識別手寫字符的功能和渲染圖形(線、方形和圓形)或者圖像(svg圖像)的功能。但是，存在的問題在于，在存儲了通過識別手寫字符的功能或者渲染功能而渲染的文本、圖形、圖像等之后，不能再次讀取存儲的字符、圖形和圖像以進(jìn)行編輯。

專利文獻(xiàn)1公開了創(chuàng)建層和存儲通過手寫繪制的筆劃圖像的點。但是，未解決上面描述的問題，即在存儲了字符、圖形和圖像之后不能再次讀取存儲的字符、圖形和圖像以進(jìn)行編輯的問題。

也就是，存在的問題在于，在存儲了表示字符、符號、圖形或者標(biāo)志圖像的組合的字符、符號、圖形或者標(biāo)志圖像之后，即使再次讀取也不能編輯它們。

考慮這種情形做出本發(fā)明，且本發(fā)明提供以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以便使用，并再次讀取該標(biāo)志圖像以進(jìn)行編輯的方法。

技術(shù)方案

根據(jù)實施例，一種圖像處理裝置包括：手寫圖像渲染器，配置為在第一層上渲染筆劃；標(biāo)志圖像渲染器，配置為在低于第一層的第二層上渲染表示字符、符號、圖形或者其組合的標(biāo)志圖像；外部圖像渲染器，配置為在低于第二層的第三層上渲染外部地獲取的外部圖像；串行器，配置為串行化在第一層上渲染的筆劃、在第二層上渲染的標(biāo)志圖像和在第三層上渲染的外部圖像以轉(zhuǎn)換為以文本格式的數(shù)據(jù)；和文檔創(chuàng)建器，配置為創(chuàng)建與基于由以串行器轉(zhuǎn)換的文本格式的數(shù)據(jù)的一個頁面對應(yīng)的文檔數(shù)據(jù)。

技術(shù)效果

根據(jù)本發(fā)明，以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以便使用，且可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

附圖說明

圖1是根據(jù)實施例的圖像處理系統(tǒng)的整體配置圖。

圖2是電子白板的硬件配置圖。

圖3是電子白板的功能框圖。

圖4是文件處理器的功能框圖。

圖5是服務(wù)器單元和傳輸控制器的功能框圖。

圖6是圖示頁面數(shù)據(jù)的概念圖。

圖7是圖示筆劃數(shù)據(jù)的概念圖。

圖8是圖示坐標(biāo)布置數(shù)據(jù)的概念圖。

圖9是圖示媒體數(shù)據(jù)的概念圖。

圖10是圖示遠(yuǎn)程許可管理表的概念圖。

圖11是圖示地址簿管理表的概念圖。

圖12是圖示備份數(shù)據(jù)的概念圖。

圖13是圖示連接目的地管理表的概念圖。

圖14是圖示參與地點管理表的概念圖。

圖15是圖示操作數(shù)據(jù)的概念圖。

圖16是圖像層的配置圖。

圖17是圖示電子白板中的處理的序列圖。

圖18是圖示電子白板中的處理的序列圖。

圖19是圖3中圖示的文件處理器的具體功能框圖。

圖20是圖像層的配置圖。

圖21是圖示根據(jù)本發(fā)明實施例的pdf創(chuàng)建器的操作的存儲流程圖。

圖22是圖示根據(jù)本發(fā)明實施例的pdf讀取器的操作的讀取流程圖。

圖23是圖示字符拼接單元的操作的字符拼接流程圖。

圖24圖示日語句子中的字符拼接的示例。

圖25圖示英語句子中的字符拼接的示例。

具體實施方式

以下將參考附圖詳細(xì)描述本發(fā)明的示例性實施例。

系統(tǒng)的概述

圖1是根據(jù)實施例的圖像處理系統(tǒng)的整體配置圖。為了簡化描述，圖1僅圖示兩個電子白板2a和2b、與其對應(yīng)的電子筆4a和4b等等。替代地，可以使用三個或更多電子白板或者電子筆。

如圖1所示，圖像處理系統(tǒng)1包括多個電子白板2a和2b、多個電子筆4a和4b、usb存儲器5a和5b、筆記本個人計算機(jī)(pc)6a和6b、電視(視頻)會議終端7a和7b以及pc8。電子白板2a和2b與pc經(jīng)由通信網(wǎng)絡(luò)9彼此可通信地連接。分別向電子白板2a和2b提供顯示器3a和3b。

電子白板2a可以在顯示器3a上顯示由于由電子筆4a引起的事件(顯示器3a由電子筆4a的尖端觸碰，或者由電子筆4a的后部觸碰)造成的繪制圖像。電子白板2a還可以基于不僅由電子筆4a而且由用戶的手ha等(比如放大、縮小和翻頁的姿勢)引起的事件，改變在顯示器3a上顯示的圖像。

usb存儲器5a可以連接到電子白板2a。電子白板2a可以從usb存儲器5a讀取比如pdf的電子文件，或者可以在usb存儲器5a中記錄電子文件。筆記本pc6a經(jīng)由線纜10a1連接到電子白板2a，該線纜10a1使能基于比如displayport(顯示端口)、數(shù)字視覺接口(dvi)、高分辨率多媒體接口(hdmi)(注冊商標(biāo))和視頻圖形陣列(vga)之類的標(biāo)準(zhǔn)的通信。當(dāng)觸碰顯示器3a時電子白板2a引起事件，并且與來自比如鼠標(biāo)或者鍵盤之類的輸入裝置的事件類似地，電子白板2a將表示事件的事件信息發(fā)送到筆記本pc6a。類似地，電視(視頻)會議終端7a經(jīng)由使能基于以上標(biāo)準(zhǔn)的通信的線纜10a2連接到電子白板2a。筆記本pc6a和視頻會議終端7a可以通過符合比如藍(lán)牙(注冊商標(biāo))的各種無線通信協(xié)議的無線通信而與電子白板2a通信。

另一方面，在布置電子白板2b的另一地點，與以上類似地使用包括顯示器3b、電子筆4b、usb存儲器5b、筆記本pc6b、視頻會議終端7b、線纜10b1和線纜10b2的電子白板2b。在顯示器3b上顯示的圖像還可以基于由用戶的手hb等引起的事件而改變。

因此，在一個地點處的電子白板2a的顯示器3a上渲染的圖像還顯示在在另一地點處的電子白板2b的顯示器3b上。相反地，在另一地點處的電子白板2b的顯示器3b上渲染的圖像還顯示在前一地點處的電子白板2a的顯示器3a上。以這種方式，圖像處理系統(tǒng)1可以執(zhí)行用于在遠(yuǎn)程位置之間共享同一圖像的遠(yuǎn)程共享處理，以使得圖像處理系統(tǒng)1在用于在遠(yuǎn)程位置的會議等時非常方便。

在下文中，多個電子白板當(dāng)中的任意電子白板表示為“電子白板2”。多個顯示器當(dāng)中的任意顯示器表示為“顯示器3”。多個電子筆當(dāng)中的任意電子筆表示為“電子筆4”。多個usb存儲器當(dāng)中的任意usb存儲器表示為“usb存儲器5”。多個筆記本pc當(dāng)中的任意筆記本pc表示為“筆記本pc6”。多個視頻會議終端當(dāng)中的任意視頻會議終端表示為“視頻會議終端7”。用戶的多只手當(dāng)中的任意手表示為“手h”。多條線纜當(dāng)中的任意線纜表示為“線纜10”。

在該實施例中，描述電子白板作為圖像處理裝置的示例。但是，實施例不限于此。圖像處理裝置的示例也可以包括電子布告板(數(shù)字標(biāo)牌)，體育運動、天氣預(yù)報等中使用的繪制工具(telestrator)，或者遠(yuǎn)程圖像(視頻)診斷裝置。將筆記本pc6描述為信息處理終端的示例，但是實施例不限于此。信息處理終端的示例也可以包括可以提供圖像幀的終端，比如臺式pc或者平板pc、pda、攝像機(jī)、數(shù)碼相機(jī)和游戲機(jī)。通信網(wǎng)絡(luò)還包括因特網(wǎng)、局域網(wǎng)(lan)、移動電話通信網(wǎng)絡(luò)等。在實施例中，將usb存儲器描述為存儲介質(zhì)的示例。但是，實施例不限于此。存儲介質(zhì)的示例也可以包括比如sd卡的各種存儲介質(zhì)。

電子白板的硬件配置

以下參考圖2描述根據(jù)實施例的電子白板的硬件配置。圖2是電子白板的硬件配置圖。

如圖2所示，電子白板2包括配置為控制電子白板2的整體操作的cpu101、配置為存儲比如ipl的用于驅(qū)動cpu101的計算機(jī)程序的rom102、用作cpu101的工作區(qū)的ram103、配置為存儲用于電子白板2的比如計算機(jī)程序的各種數(shù)據(jù)的ssd104、配置為控制與通信網(wǎng)絡(luò)9的通信的網(wǎng)絡(luò)控制器105和配置為控制與usb存儲器5的通信的外部存儲控制器106。

電子白板2包括配置為在筆記本pc6的顯示器上將視頻信息顯示為靜態(tài)圖像或者運動圖像的捕獲裝置111、配置為專用于圖形的圖形處理單元(gpu)112和配置為控制和管理屏幕顯示以用于從gpu向顯示器3或者視頻會議終端7輸出圖像的顯示控制器113。

電子白板2進(jìn)一步包括配置為控制觸摸傳感器115的處理的傳感器控制器114，該觸摸傳感器115檢測顯示器3由電子筆4、用戶的手h等觸碰。觸摸傳感器115使用紅外線阻塞系統(tǒng)來輸入坐標(biāo)并檢測坐標(biāo)。輸入坐標(biāo)和檢測坐標(biāo)的方法是接收光的方法，該光是從平行于顯示器3而在顯示器3的上部的兩端上布置的兩個光接收和發(fā)射裝置(未示出)發(fā)出的多條紅外線，由布置在顯示器3周圍的反射部件反射，且通過與從光接收元件發(fā)出的光相同的光路徑返回。觸摸傳感器115將由對象阻擋的從兩個光接收和發(fā)射裝置發(fā)出的紅外線的標(biāo)識(id)輸出到傳感器控制器114，且傳感器控制器114將坐標(biāo)位置識別為對象的接觸位置。以下描述的全部id中的每一個是標(biāo)識信息的示例。

作為觸摸傳感器115，不限于紅外線阻擋系統(tǒng)，可以使用各種檢測裝置，比如配置為通過檢測電容變化而識別接觸位置的靜電電容型觸摸板，配置為由于兩個相對電阻薄膜的電壓改變而識別接觸位置的電阻薄膜型觸摸板，和配置為通過檢測由接觸對象與顯示器單元接觸引起的電磁感應(yīng)而識別接觸位置的電磁感應(yīng)型觸摸板。

電子白板2還包括電子筆控制器116。電子筆控制器116與電子筆4通信以確定顯示器3由筆的尖端或者后部觸碰。電子筆控制器116可以確定除電子筆4的尖端和后部之外，顯示器3由用戶緊握的電子筆4的一部分或者其他部分觸碰。

電子白板2進(jìn)一步包括比如地址總線和數(shù)據(jù)總線的總線120，該總線120用于將如圖2所示cpu101、rom102、ram103、ssd104、網(wǎng)絡(luò)控制器105、外部存儲控制器106、捕獲裝置111、gpu112、傳感器控制器114和電子筆控制器116彼此電氣地連接。

用于電子白板2的計算機(jī)程序可以存儲在比如cd-rom的計算機(jī)可讀存儲介質(zhì)中以進(jìn)行分發(fā)。

電子白板的功能配置

以下參考圖3到圖16描述電子白板的功能配置。首先，以下參考圖3描述電子白板2的整體功能配置。圖3是電子白板的功能框圖。

電子白板2由于圖2中圖示的硬件配置和計算機(jī)程序而具有圖3中圖示的功能配置。電子白板2可以是首先開始遠(yuǎn)程共享處理的“主機(jī)裝置”，且可以是之后參與已經(jīng)開始的遠(yuǎn)程共享處理的“參與裝置”。電子白板2可以大致地劃分為客戶端單元20和服務(wù)器單元90?？蛻舳藛卧?0和服務(wù)器單元90是在電子白板2的殼體的內(nèi)部實現(xiàn)的功能。當(dāng)電子白板2是主機(jī)裝置時，客戶端單元20和服務(wù)器單元90在電子白板2中實現(xiàn)。當(dāng)電子白板2是參與裝置時，實現(xiàn)客戶端單元20，但是不在電子白板2中實現(xiàn)服務(wù)器單元90。也就是，在圖1中，當(dāng)電子白板2a是主機(jī)裝置且電子白板2b是參與裝置時，電子白板2a的客戶端單元20經(jīng)由在同一電子白板2a中實現(xiàn)的服務(wù)器單元90與電子白板2b的客戶端單元20通信。另一方面，電子白板2b的客戶端單元20經(jīng)由在電子白板2a中實現(xiàn)的服務(wù)器單元90與電子白板2a的客戶端單元通信。

客戶端單元20的功能配置

隨后，以下主要參考圖3到圖5描述客戶端單元20的功能配置?？蛻舳藛卧?0包括視頻獲取器21、坐標(biāo)檢測器22、自動校準(zhǔn)器23、接觸檢測器24、事件識別器25、操作處理器26、姿勢處理器27、視頻疊加單元28、圖像處理器30和通信控制器60。

其中，視頻獲取器21從連接到線纜10的視頻輸出裝置獲取輸出視頻。當(dāng)從視頻輸出裝置接收圖像信號時，視頻獲取器21分析圖像信號以導(dǎo)出比如作為由圖像信號形成的視頻輸出裝置的顯示器圖像的圖像幀的分辨率以及圖像幀的更新頻率的圖像信息，并將圖像信息輸出到圖像獲取器31。

坐標(biāo)檢測器22檢測在顯示器3上由用戶引起的事件(例如，顯示器3由用戶的手h觸摸)的坐標(biāo)位置。坐標(biāo)檢測器22還檢測觸摸區(qū)域。

自動校準(zhǔn)器23在啟動電子白板2時啟動，并以觸摸傳感器115的光學(xué)傳感器系統(tǒng)調(diào)整由傳感器相機(jī)執(zhí)行的圖像處理的參數(shù)，以使得觸摸傳感器115可以輸出適當(dāng)?shù)闹档阶鴺?biāo)檢測器22。

接觸檢測器24檢測由用戶引起的事件(例如，顯示器3由電子筆4的尖端或者電子筆4的后部按壓(觸碰))。

事件識別器25將由坐標(biāo)檢測器22檢測到的事件的坐標(biāo)位置和由接觸檢測器24檢測到的檢測結(jié)果分發(fā)到包括筆劃繪制、ui操作和姿勢操作的事件。

在該情況下，“筆劃繪制”表示其中當(dāng)在顯示器3上顯示(之后描述的)圖16中圖示的筆劃(b)時，用戶將電子筆4按壓到顯示器3上并在正在按壓的狀態(tài)下移動電子筆4，且最終從顯示器3抬起電子筆4的事件。由于筆劃繪制，因此例如，在顯示器3上繪制比如“s”和“t”的字母。除繪制圖像的事件之外，“筆劃繪制”還包括刪除已經(jīng)渲染的圖像或者編輯渲染的圖像的事件。

“ui操作”表示其中當(dāng)在顯示器3上顯示(之后描述的)圖16中圖示的ui圖像(a)時，用戶以電子筆4或者手h按壓預(yù)定位置的事件。由于ui操作，因此例如，設(shè)置由電子筆4繪制的線的顏色、寬度等。

“姿勢操作”表示其中當(dāng)在顯示器3上顯示(之后描述的)圖16中圖示的筆劃(b)時，用戶以手h觸摸顯示器3或者移動手h的事件。由于姿勢操作，因此例如，當(dāng)用戶在由手h觸摸顯示器3的狀態(tài)下移動手h時，可以放大(或者縮小)圖像，可以改變顯示器區(qū)域，可以切換頁面，等等。

操作處理器26從由事件識別器25確定的ui操作，根據(jù)引起事件的ui元件執(zhí)行各種操作。ui元件的示例包括按鈕、列表、復(fù)選框和文本框。

姿勢處理器27執(zhí)行與由事件識別器25確定的姿勢操作對應(yīng)的操作。

視頻疊加單元28在視頻輸出裝置(比如顯示器3)上顯示由(之后描述的)顯示疊加單元36疊加的圖像作為視頻。視頻疊加單元28使用畫中畫方案在來自視頻輸出裝置(比如筆記本pc6)的視頻上覆蓋從其他視頻輸出裝置(比如視頻會議終端7)發(fā)送的視頻。視頻疊加單元28在整個顯示器3上使用畫中畫方案來執(zhí)行到顯示在部分顯示器3上顯示的視頻的切換。

圖像處理器30執(zhí)行如圖16所示的圖像層的疊加處理等。圖像處理器30包括圖像獲取器31、筆劃處理器32、ui圖像發(fā)生器33、背景發(fā)生器34、布局管理器35、顯示疊加單元36、頁面處理器37、文件處理器40、頁面數(shù)據(jù)存儲單元300和遠(yuǎn)程許可管理表310。

其中，圖像獲取器31從由視頻獲取器21獲取的視頻獲取每個幀作為圖像。圖像獲取器31輸出圖像的數(shù)據(jù)到頁面處理器37。該圖像對應(yīng)于來自圖16中圖示的視頻輸出裝置(比如筆記本pc6)的輸出圖像(c)。

筆劃處理器32基于與由事件識別器25識別出的與筆劃繪制有關(guān)的事件來渲染筆劃、刪除渲染的筆劃或者編輯渲染的筆劃。通過筆劃繪制獲得的圖像對應(yīng)于圖16中圖示的筆劃(b)。基于筆劃繪制的圖像的渲染、刪除和編輯的結(jié)果作為之后描述的操作數(shù)據(jù)存儲在操作數(shù)據(jù)存儲單元840中。

ui圖像發(fā)生器33生成在電子白板2中預(yù)先設(shè)置的用戶界面(ui)圖像。該ui圖像對應(yīng)于圖16中圖示的ui圖像(a)。

背景發(fā)生器34從頁面處理器37接收由頁面處理器37從頁面數(shù)據(jù)存儲單元300讀取的頁面數(shù)據(jù)中的一條媒體數(shù)據(jù)。背景發(fā)生器34將所接收的媒體數(shù)據(jù)輸出到顯示疊加單元36?；诿襟w數(shù)據(jù)的圖像對應(yīng)于圖16中圖示的背景圖像(d)。背景圖像(d)的圖案的示例包括明文和網(wǎng)格基準(zhǔn)。

布局管理器35管理關(guān)于從圖像獲取器31、筆劃處理器32和ui圖像發(fā)生器33(或者背景發(fā)生器34)輸出到顯示疊加單元36的每個圖像的布局的布局信息。因此，布局管理器35可以指示顯示疊加單元36在ui圖像(a)和背景圖像(d)中的任意點處顯示輸出圖像(c)和筆劃(b)，或不顯示它們。

顯示疊加單元36基于從布局管理器35輸出的布局信息，布局從圖像獲取器31、筆劃處理器32和ui圖像發(fā)生器33(背景發(fā)生器34)輸出的每個圖像。

頁面處理器37將筆劃圖像(b)的數(shù)據(jù)和輸出圖像(c)的數(shù)據(jù)放在一起作為一條頁面數(shù)據(jù)，并在頁面數(shù)據(jù)存儲單元300中存儲數(shù)據(jù)。筆劃(b)的數(shù)據(jù)是用作由圖6中圖示的筆劃布置數(shù)據(jù)id指示的筆劃布置數(shù)據(jù)(每條筆劃數(shù)據(jù))的頁面數(shù)據(jù)的一部分。輸出圖像(c)的數(shù)據(jù)是用作由圖6中圖示的媒體數(shù)據(jù)id指示的媒體數(shù)據(jù)的頁面數(shù)據(jù)的一部分。媒體數(shù)據(jù)在從頁面數(shù)據(jù)存儲單元300讀取時被處理為背景圖像(d)的數(shù)據(jù)。

當(dāng)頁面處理器37將以臨時存儲的頁面數(shù)據(jù)中的媒體數(shù)據(jù)經(jīng)由背景發(fā)生器34發(fā)送到顯示疊加單元36時，視頻疊加單元28可以再次在顯示器3上顯示背景圖像(d)。頁面處理器37將在頁面數(shù)據(jù)中的筆劃布置數(shù)據(jù)(每條筆劃數(shù)據(jù))返回到筆劃處理器32以再次使能筆劃的編輯。頁面處理器37還可以刪除或者復(fù)制頁面數(shù)據(jù)。

也就是，在頁面處理器37在頁面數(shù)據(jù)存儲單元300中存儲頁面數(shù)據(jù)的時間點在顯示器3上顯示的輸出圖像(c)的數(shù)據(jù)臨時存儲在頁面數(shù)據(jù)存儲單元300中，且在此后從頁面數(shù)據(jù)存儲單元300讀取時作為表示背景圖像(d)的媒體數(shù)據(jù)讀取。頁面處理器37然后將從頁面數(shù)據(jù)存儲單元300讀取的頁面數(shù)據(jù)中表示筆劃(b)的筆劃布置數(shù)據(jù)輸出到筆劃處理器32。頁面處理器37還將從頁面數(shù)據(jù)存儲單元300讀取的頁面數(shù)據(jù)中表示背景圖像(d)的媒體數(shù)據(jù)輸出到背景發(fā)生器34。

顯示疊加單元36根據(jù)由布局管理器35指定的布局，疊加來自圖像獲取器31的輸出圖像(c)、來自筆劃處理器32的筆劃(b)、來自ui圖像發(fā)生器33的ui圖像(a)和來自背景發(fā)生器34的背景圖像(d)。因此，如圖16所示，各層配置為以ui圖像(a)、筆劃(b)、輸出圖像(c)和背景圖像(d)的次序布置，即使圖像重疊用戶也可以看到該次序。

顯示疊加單元36可以切換圖16中圖示的圖像(c)和圖像(d)以排他地疊加在圖像(a)和圖像(b)上。例如，最初，當(dāng)在顯示圖像(a)、圖像(b)和圖像(c)的狀態(tài)下拔出電子白板2與視頻輸出裝置(如筆記本pc6)之間的線纜10時，根據(jù)來自布局管理器35的指定而從疊加的目標(biāo)中排除圖像(c)，并且可以顯示圖像(d)。在該情況下，顯示疊加單元36還放大顯示、縮小顯示和執(zhí)行移動顯示區(qū)域的處理。

頁面數(shù)據(jù)存儲單元300存儲如圖6所示的頁面數(shù)據(jù)。圖6是圖示頁面數(shù)據(jù)的概念圖。頁面數(shù)據(jù)是與顯示器3上顯示的一個頁面(筆劃布置數(shù)據(jù)(每條筆劃數(shù)據(jù))和媒體數(shù)據(jù))對應(yīng)的數(shù)據(jù)。頁面數(shù)據(jù)包括許多類型的參數(shù)，以使得在這里對于圖6到圖9中的每一個分開地描述頁面數(shù)據(jù)的內(nèi)容。

如圖6所示，在頁面數(shù)據(jù)中，用于標(biāo)識任意頁面的頁面數(shù)據(jù)id、指示當(dāng)開始顯示頁面時的時間的開始時間、指示當(dāng)不再以筆劃、姿勢等重寫頁面的內(nèi)容時的時間的結(jié)束時間、用于標(biāo)識由以電子筆4或者用戶的手h的筆劃生成的筆劃布置數(shù)據(jù)的筆劃布置數(shù)據(jù)id和用于標(biāo)識媒體數(shù)據(jù)的媒體數(shù)據(jù)id彼此相關(guān)聯(lián)以進(jìn)行存儲。筆劃布置數(shù)據(jù)是用于在顯示器3上顯示(之后描述的)圖16中圖示的筆劃(b)的數(shù)據(jù)。媒體數(shù)據(jù)是用于在顯示器3上顯示(之后描述的)圖16中圖示的背景圖像(d)的數(shù)據(jù)。

由于這種頁面數(shù)據(jù)，例如，當(dāng)用戶以電子筆4繪制字母“s”時，需要單個筆劃，從而使用一個筆劃數(shù)據(jù)id表示一個字母“s”。但是，當(dāng)用戶以電子筆4繪制字母“t”時，需要兩個筆劃，從而使用兩個筆劃數(shù)據(jù)id表示一個字母“t”。

如圖7所示，筆劃布置數(shù)據(jù)表示詳細(xì)信息。圖7是圖示筆劃布置數(shù)據(jù)的概念圖。如圖7所示，一條筆劃布置數(shù)據(jù)以多條筆劃數(shù)據(jù)表示。一條筆劃數(shù)據(jù)表示用于標(biāo)識筆劃數(shù)據(jù)的筆劃數(shù)據(jù)id、指示當(dāng)開始渲染一個筆劃時的時間的開始時間、指示當(dāng)結(jié)束繪制一個筆劃時的時間的結(jié)束時間、筆劃的顏色、筆劃的寬度和用于標(biāo)識筆劃的經(jīng)過點的布置的坐標(biāo)布置數(shù)據(jù)id。

坐標(biāo)布置數(shù)據(jù)表示如圖8所示的詳細(xì)信息。圖8是圖示坐標(biāo)布置數(shù)據(jù)的概念圖。如圖8所示，坐標(biāo)布置數(shù)據(jù)表示各條信息，包括顯示器3上的點(x坐標(biāo)值、y坐標(biāo)值)、從當(dāng)通過該點時的筆劃的開始時間起的時間差(毫秒)和在該點的電子筆4的書寫壓力。也就是，圖8中圖示的一組點表示為圖7中圖示的一條坐標(biāo)布置數(shù)據(jù)。例如，當(dāng)用戶以電子筆4繪制字母“s”時，需要單個筆劃，但是電子筆4通過多個經(jīng)過點直到結(jié)束繪制“s”，從而坐標(biāo)布置數(shù)據(jù)表示關(guān)于經(jīng)過點的信息。

圖6中圖示的頁面數(shù)據(jù)中的媒體數(shù)據(jù)圖示如圖9所示的詳細(xì)信息。圖9是圖示媒體數(shù)據(jù)的概念圖。如圖9所示，在媒體數(shù)據(jù)中，圖6中圖示的頁面數(shù)據(jù)中的媒體數(shù)據(jù)id、媒體數(shù)據(jù)的數(shù)據(jù)類型、當(dāng)從頁面處理器37在頁面數(shù)據(jù)存儲單元300中存儲頁面數(shù)據(jù)時的記錄時間、基于頁面數(shù)據(jù)在顯示器3上顯示的圖像的位置(x坐標(biāo)值、y坐標(biāo)值)、圖像的大小(寬度和高度)和表示媒體數(shù)據(jù)的內(nèi)容的數(shù)據(jù)彼此相關(guān)聯(lián)地表示。其中，基于頁面數(shù)據(jù)在顯示器3上顯示的圖像的位置指示基于頁面數(shù)據(jù)顯示的圖像的左上端的位置，假定顯示器3的左上端的坐標(biāo)是(x坐標(biāo)值，y坐標(biāo)值)＝(0,0)。

返回到圖3，遠(yuǎn)程許可管理表310管理執(zhí)行遠(yuǎn)程共享處理所需的許可數(shù)據(jù)。在遠(yuǎn)程許可管理表310中，如圖10所示，電子白板2的產(chǎn)品id、用于驗證的許可id和許可的到期日期彼此相關(guān)聯(lián)地管理。

文件處理器40的功能配置

隨后，以下參考圖4描述圖3中圖示的文件處理器40的功能配置。圖4是文件處理器的功能框圖。

文件處理器40包括恢復(fù)處理器41、文件輸入單元42a、文件輸出單元42b、文件轉(zhuǎn)換器43、文件發(fā)送器44、地址簿輸入單元45、備份處理器46、備份輸出單元47、設(shè)置管理器48、設(shè)置文件輸入單元49a和設(shè)置文件輸出單元49b。文件處理器40進(jìn)一步包括地址簿管理表410、備份數(shù)據(jù)存儲單元420、設(shè)置文件存儲單元430和連接目的地管理表440。

其中，在電子白板2異常地終止之后，恢復(fù)處理器41檢測異常終止并恢復(fù)還未存儲的頁面數(shù)據(jù)。例如，在正常終止的情況下，頁面數(shù)據(jù)經(jīng)由文件處理器40存儲為usb5中的pdf文件。但是，在電源關(guān)閉等的異常終止的情況下，頁面數(shù)據(jù)保持存儲在頁面數(shù)據(jù)存儲單元300中。因此，當(dāng)電源再次接通時，恢復(fù)處理器41從頁面數(shù)據(jù)存儲單元300讀出頁面數(shù)據(jù)以進(jìn)行恢復(fù)。

文件輸入單元42a從usb存儲器5讀取pdf文件，并在頁面數(shù)據(jù)存儲單元300中將每個頁面存儲為頁面數(shù)據(jù)。

文件轉(zhuǎn)換器43將頁面數(shù)據(jù)存儲單元300中存儲的頁面數(shù)據(jù)轉(zhuǎn)換為pdf文件。

文件輸出單元42b在usb存儲器5中存儲從文件轉(zhuǎn)換器42輸出的pdf文件。

文件發(fā)送器44將由文件轉(zhuǎn)換器43生成的pdf文件附加到電子郵件以發(fā)送。當(dāng)顯示疊加單元36在顯示器3上顯示地址簿管理表410的內(nèi)容時確定文件的傳輸目的地，且文件發(fā)送器44通過用戶的比如觸摸板的輸入裝置的操作來接收目的地的選擇。在地址簿管理表410中，如圖11所示，目的地的名稱和目的地的電子郵件地址彼此相關(guān)聯(lián)地管理。文件發(fā)送器44還可以通過用戶的比如觸摸板的輸入裝置的操作來接收電子郵件地址的輸入作為目的地。

地址簿輸入單元45從usb存儲器5讀取電子郵件地址的列表文件以在地址簿管理表410中管理。

備份處理器46在備份數(shù)據(jù)存儲單元420中存儲從文件輸出單元42b輸出的文件或者由文件發(fā)送器44發(fā)送的文件以進(jìn)行備份。當(dāng)用戶不設(shè)置備份時，不執(zhí)行備份處理。備份數(shù)據(jù)如圖12所示以pdf格式存儲。

備份輸出單元47在usb存儲器5中存儲備份的文件。當(dāng)存儲備份的文件時，通過用戶的比如觸摸板的輸入裝置的操作來為了安全性而輸入密碼。

設(shè)置管理器48通過在設(shè)置文件存儲單元430中存儲電子白板2的各條設(shè)置信息或者將它們讀出來管理它們。各條設(shè)置信息的示例包括網(wǎng)絡(luò)設(shè)置、日期與時間的設(shè)置、區(qū)域和語言的設(shè)置、電子郵件服務(wù)器的設(shè)置、地址簿的設(shè)置、連接目的地列表的設(shè)置和與備份有關(guān)的設(shè)置。網(wǎng)絡(luò)設(shè)置的示例包括電子白板2的ip地址的設(shè)置、網(wǎng)絡(luò)掩碼的設(shè)置、缺省網(wǎng)關(guān)的設(shè)置或者域名系統(tǒng)(dns)的設(shè)置。

設(shè)置文件輸出單元49b使得usb存儲器5將電子白板2的各條設(shè)置信息存儲為設(shè)置文件。為了安全性原因，用戶不能看到設(shè)置文件的內(nèi)容。

設(shè)置文件輸入單元49a讀取usb存儲器5中存儲的設(shè)置文件，且在電子白板的各種設(shè)置中反映各條設(shè)置信息。

地址簿輸入單元50從usb存儲器5讀取遠(yuǎn)程共享處理的連接目的地ip地址的列表文件以在連接目的地管理表440中管理。如圖13所示，連接目的地管理表440是用于預(yù)先管理連接目的地的表，當(dāng)電子白板2是意在參與遠(yuǎn)程共享處理的參與裝置時，用以減少由參與裝置的用戶輸入用作主機(jī)裝置的電子白板的ip地址的工作。在連接目的地管理表440中，布置用作主機(jī)裝置的電子白板2(其中其他裝置可以參與)的地點的名稱和用作主機(jī)裝置的電子白板2的ip地址彼此相關(guān)聯(lián)地管理。

可以省略連接目的地管理表440。但是，在這種情況下，參與裝置的用戶需要經(jīng)由比如觸摸板的輸入裝置來輸入主機(jī)裝置的ip地址以開始參與裝置和主機(jī)裝置之間的遠(yuǎn)程請求處理。因此，參與裝置的用戶使用電話、電子郵件等從主機(jī)裝置的用戶獲取主機(jī)裝置的ip地址。

通信控制器60的功能配置

接下來，以下參考圖5描述通信控制器60的功能配置。

通信控制器60控制與其他電子白板2的通信和經(jīng)由通信網(wǎng)絡(luò)9與服務(wù)器單元90中的(之后描述的)通信控制器70的通信。為了該目的，通信控制器60包括遠(yuǎn)程啟動處理器61、遠(yuǎn)程參與處理器62、遠(yuǎn)程圖像發(fā)送器63、遠(yuǎn)程圖像接收器64、遠(yuǎn)程操作發(fā)送器65、遠(yuǎn)程操作接收器66和參與地點管理表610。

其中，遠(yuǎn)程啟動處理器61向同一電子白板2的服務(wù)器單元90做出請求以再次開始遠(yuǎn)程共享處理，并從服務(wù)器單元90接收請求結(jié)果。在該情況下，遠(yuǎn)程啟動處理器61參考遠(yuǎn)程許可管理表310，且如果在其中管理許可信息(產(chǎn)品id、許可id和到期日期)則可以做出用于開始遠(yuǎn)程共享處理的請求。但是，如果不在其中管理許可信息，則不能做出用于開始遠(yuǎn)程共享處理的請求。

當(dāng)電子白板是主機(jī)裝置時，參與地點管理表610是用于管理用作當(dāng)前參與遠(yuǎn)程共享處理的參與裝置的電子白板的表。如圖14所示，在參與地點管理表610中，布置參與電子白板2的地點的名稱和電子白板2的ip地址彼此相關(guān)聯(lián)地管理。

遠(yuǎn)程參與處理器62經(jīng)由通信網(wǎng)絡(luò)9向用作已經(jīng)開始遠(yuǎn)程共享處理的主機(jī)裝置的電子白板2的服務(wù)器單元90中的遠(yuǎn)程連接請求接收器71做出用于參與遠(yuǎn)程共享處理的請求。在該情況下，遠(yuǎn)程參與處理器62也參考遠(yuǎn)程許可管理表310。為了參與已經(jīng)開始的遠(yuǎn)程共享處理，遠(yuǎn)程參與處理器62參考連接目的地管理表440以獲取作為參與目的地的電子白板2的ip地址。遠(yuǎn)程參與處理器62不是必須參考連接目的地管理表。可以通過用戶的比如觸摸板的輸入裝置的操作來輸入作為參與目的地的電子白板2的ip地址。

遠(yuǎn)程圖像發(fā)送器63將經(jīng)由圖像獲取器31從視頻獲取器21發(fā)送的輸出圖像(c)發(fā)送到服務(wù)器單元90。

遠(yuǎn)程圖像接收器64從服務(wù)器單元90接收來自與其他電子白板2連接的視頻輸出裝置的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)輸出到顯示疊加單元36以使能遠(yuǎn)程共享處理。

遠(yuǎn)程操作發(fā)送器65將遠(yuǎn)程共享處理所需的各條操作數(shù)據(jù)發(fā)送到服務(wù)器單元90。各條操作數(shù)據(jù)的示例包括與筆劃的添加、筆劃的刪除、筆劃的編輯(放大、縮小和移動)、頁面數(shù)據(jù)的存儲、頁面數(shù)據(jù)的創(chuàng)建、頁面數(shù)據(jù)的復(fù)制、頁面數(shù)據(jù)的刪除和顯示頁面的切換有關(guān)的數(shù)據(jù)。遠(yuǎn)程操作接收器66從服務(wù)器單元90接收輸入到其他電子白板2的操作數(shù)據(jù)，并將操作數(shù)據(jù)輸出到圖像處理器30以執(zhí)行遠(yuǎn)程共享處理。

服務(wù)器單元的功能配置

隨后，以下參考圖5描述服務(wù)器單元90的功能配置。將服務(wù)器單元90提供給每個電子白板2，且可以用作任意電子白板2中的服務(wù)器單元。因此，服務(wù)器單元90包括通信控制器70和數(shù)據(jù)管理器80。

通信控制器70的功能配置

接下來，以下參考圖5描述通信控制器70的功能配置。

通信控制器70控制經(jīng)由同一電子白板2中的客戶端單元20的通信控制器70和通信網(wǎng)絡(luò)9與其他電子白板2中的客戶端單元20的通信控制器70的通信。數(shù)據(jù)管理器80管理操作數(shù)據(jù)、圖像數(shù)據(jù)等。

更具體地，通信控制器70包括遠(yuǎn)程連接請求接收器71、遠(yuǎn)程連接結(jié)果發(fā)送器72、遠(yuǎn)程圖像接收器73、遠(yuǎn)程圖像發(fā)送器74、遠(yuǎn)程操作接收器75和遠(yuǎn)程操作發(fā)送器76。

其中，遠(yuǎn)程連接請求接收器71從遠(yuǎn)程啟動處理器61接收用于開始遠(yuǎn)程共享處理的請求，并從遠(yuǎn)程參與處理器62接收用于參與遠(yuǎn)程共享處理的請求。遠(yuǎn)程連接結(jié)果發(fā)送器72將用于開始遠(yuǎn)程共享處理的請求結(jié)果發(fā)送到遠(yuǎn)程啟動處理器61，且將用于參與遠(yuǎn)程共享處理的請求結(jié)果發(fā)送到遠(yuǎn)程參與處理器62。

遠(yuǎn)程圖像接收器73從遠(yuǎn)程圖像發(fā)送器63接收圖像數(shù)據(jù)(輸出圖像(c)的數(shù)據(jù))，并將圖像數(shù)據(jù)發(fā)送到之后描述的遠(yuǎn)程圖像處理器82。遠(yuǎn)程圖像發(fā)送器74從遠(yuǎn)程圖像處理器82接收圖像數(shù)據(jù)，并將圖像數(shù)據(jù)發(fā)送到遠(yuǎn)程圖像接收器64。

遠(yuǎn)程操作接收器75從遠(yuǎn)程操作發(fā)送器65接收操作數(shù)據(jù)(比如筆劃(b)的數(shù)據(jù))，并將操作數(shù)據(jù)發(fā)送到之后描述的遠(yuǎn)程操作處理器83。遠(yuǎn)程操作發(fā)送器76從遠(yuǎn)程操作處理器83接收操作數(shù)據(jù)，并將操作數(shù)據(jù)發(fā)送到遠(yuǎn)程操作接收器66。

數(shù)據(jù)管理器的功能配置

接下來，以下參考圖5描述數(shù)據(jù)管理器80的功能配置。

數(shù)據(jù)管理器80包括遠(yuǎn)程連接處理器81、遠(yuǎn)程圖像處理器82、遠(yuǎn)程操作處理器83、操作合成處理器84和頁面處理器85。服務(wù)器單元90進(jìn)一步包括密碼管理器810、參與地點管理表820、圖像數(shù)據(jù)存儲單元830、操作數(shù)據(jù)存儲單元840和頁面數(shù)據(jù)存儲單元850。

其中，遠(yuǎn)程連接處理器81開始遠(yuǎn)程共享處理并結(jié)束遠(yuǎn)程共享處理。遠(yuǎn)程連接處理器81基于由遠(yuǎn)程連接請求接收器71從遠(yuǎn)程啟動處理器61與用于開始遠(yuǎn)程共享處理的請求一起接收的許可信息，或者與用于參與遠(yuǎn)程共享處理的請求一起從遠(yuǎn)程參與處理器62接收的許可信息，檢查是否存在許可或者許可周期是否未期滿。遠(yuǎn)程連接處理器81還檢查來自用作客戶端單元的其他電子白板2的參與請求的數(shù)目是否超過能夠參與處理的裝置的預(yù)定數(shù)目。

遠(yuǎn)程連接處理器81確定當(dāng)其他電子白板2做出用于參與遠(yuǎn)程共享處理的請求時發(fā)送的密碼是否與由密碼管理器810管理的密碼相同。如果密碼相同，則遠(yuǎn)程連接處理器81允許參與遠(yuǎn)程共享處理。當(dāng)開始新的遠(yuǎn)程共享處理時由遠(yuǎn)程連接處理器81發(fā)布密碼，且使用電話、電子郵件等從用作主機(jī)裝置的電子白板2的用戶發(fā)送到用作意在參與遠(yuǎn)程共享處理的參與裝置的電子白板2的用戶。因此，當(dāng)意在參與遠(yuǎn)程共享處理的參與裝置的用戶以比如觸摸板的輸入裝置將密碼輸入到參與裝置以做出參與請求時，允許參與。為了優(yōu)先考慮用戶的可用性而非安全性，可以僅檢查許可狀態(tài)，且可以省略密碼的檢查。

當(dāng)電子白板2是主機(jī)裝置時，遠(yuǎn)程連接處理器81在服務(wù)器單元90的參與地點管理表820中存儲經(jīng)由通信網(wǎng)絡(luò)9從用作參與裝置的遠(yuǎn)程參與處理器62發(fā)送的參與請求中包括的參與地點信息。遠(yuǎn)程連接處理器81然后讀出參與地點管理表820中存儲的遠(yuǎn)程地點信息，并將遠(yuǎn)程地點信息輸出到遠(yuǎn)程連接結(jié)果發(fā)送器72。遠(yuǎn)程連接結(jié)果發(fā)送器72將遠(yuǎn)程地點信息發(fā)送到同一主機(jī)裝置中的客戶端單元20的遠(yuǎn)程啟動處理器61。遠(yuǎn)程啟動處理器61在參與地點管理表610中存儲遠(yuǎn)程地點信息。因此，在主機(jī)裝置中，客戶端單元20和服務(wù)器單元90兩者管理遠(yuǎn)程地點信息。

遠(yuǎn)程圖像處理器82在遠(yuǎn)程共享處理期間從連接到每個電子白板2的客戶端單元(包括作為用作主機(jī)裝置的電子白板2的電子白板的客戶端單元)的視頻輸出裝置(比如筆記本pc6)接收圖像數(shù)據(jù)(輸出圖像(c))，在圖像數(shù)據(jù)存儲單元830中存儲圖像數(shù)據(jù)，并基于到達(dá)用作主機(jī)裝置的電子白板2的服務(wù)器單元90的時間次序來確定顯示應(yīng)該執(zhí)行遠(yuǎn)程共享處理的圖像數(shù)據(jù)的次序。遠(yuǎn)程圖像處理器82參考參與地點管理表820，并以確定的次序?qū)D像數(shù)據(jù)經(jīng)由通信控制器70(遠(yuǎn)程圖像發(fā)送器74)發(fā)送到參與遠(yuǎn)程共享處理的全部電子白板2的客戶端單元20(包括作為用作主機(jī)裝置的電子白板2的電子白板的客戶端單元)。

遠(yuǎn)程操作處理器83在遠(yuǎn)程共享處理期間接收由每個電子白板2的客戶端單元(包括作為用作主機(jī)裝置的電子白板2的電子白板的客戶端單元)渲染的比如筆劃(例如，筆劃(b))的各條操作數(shù)據(jù)，并基于到達(dá)用作主機(jī)裝置的電子白板2的服務(wù)器單元90的時間的次序確定顯示應(yīng)該執(zhí)行遠(yuǎn)程共享處理的圖像的次序。各條操作數(shù)據(jù)與上面描述的各條操作數(shù)據(jù)相同。遠(yuǎn)程操作處理器83參考參與地點管理表820，并在遠(yuǎn)程共享處理期間將操作數(shù)據(jù)發(fā)送到全部電子白板2的客戶端單元20(包括作為用作主機(jī)裝置的電子白板2的電子白板的客戶端單元)。

操作合成處理器84合成從遠(yuǎn)程操作處理器83輸出的電子白板2的各條操作數(shù)據(jù)，并在操作數(shù)據(jù)存儲單元840中將操作數(shù)據(jù)存儲為合成結(jié)果以返回到遠(yuǎn)程操作處理器83。當(dāng)操作數(shù)據(jù)從遠(yuǎn)程操作發(fā)送器76發(fā)送到用作主機(jī)裝置的電子白板的客戶端單元和用作參與裝置的電子白板的客戶端單元時，在每個電子白板2上顯示與相同操作數(shù)據(jù)有關(guān)的圖像。為了該目的，如圖15所示，在操作數(shù)據(jù)中，序列(seq)、操作數(shù)據(jù)的操作名稱、發(fā)送操作數(shù)據(jù)的電子白板2的ip地址和客戶端單元(服務(wù)器單元)的端口號、向其發(fā)送操作數(shù)據(jù)的電子白板2的ip地址和客戶端單元(服務(wù)器單元)的端口號、操作數(shù)據(jù)的操作類型、操作數(shù)據(jù)的操作目標(biāo)和表示操作數(shù)據(jù)的內(nèi)容的數(shù)據(jù)彼此相關(guān)聯(lián)地表示。例如，seq1示出當(dāng)在用作主機(jī)裝置的電子白板(ip地址：192.0.0.1)的客戶端單元(端口號：50001)中渲染筆劃時，將操作數(shù)據(jù)發(fā)送到作為同一主機(jī)裝置的電子白板(ip地址：192.0.0.1)的服務(wù)器單元(端口號：50000)。在該情況下，操作類型是“筆劃(stroke)”，操作目標(biāo)是頁面數(shù)據(jù)id“p005”，且表示操作數(shù)據(jù)的內(nèi)容的數(shù)據(jù)是表示筆劃的數(shù)據(jù)。seq2示出了從用作主機(jī)裝置的電子白板(ip地址：192.0.0.1)的服務(wù)器單元(端口號：50000)將操作數(shù)據(jù)發(fā)送到用作參與裝置的其他電子白板(ip地址：192.0.0.2)的客戶端單元(端口號：50001)。

操作合成處理器84以輸入到操作合成處理器84的操作數(shù)據(jù)的輸入次序執(zhí)行合成，以使得由每個電子白板2的用戶以筆劃的次序在遠(yuǎn)程共享處理期間在全部電子白板2的顯示器3上顯示筆劃(b)，除非通信網(wǎng)絡(luò)9擁塞。

頁面處理器85具有與客戶端單元20的圖像處理器30中的頁面處理器37相同的功能，且服務(wù)器單元90還在頁面數(shù)據(jù)存儲單元850中存儲圖6到圖8中圖示的頁面數(shù)據(jù)。頁面數(shù)據(jù)存儲單元850與圖像處理器30中的頁面數(shù)據(jù)存儲單元300相同，從而將不重復(fù)其描述。

根據(jù)實施例的處理或操作

隨后，以下參考圖17和圖18描述根據(jù)實施例的處理或者操作。圖17和圖18是圖示每個電子白板中的處理的序列圖。

圖17和圖18中圖示的實施例描述電子白板2a用作主管遠(yuǎn)程共享處理的主機(jī)裝置(服務(wù)器單元和客戶端單元)，且電子白板2b和2c用作參與遠(yuǎn)程共享處理的參與裝置(客戶端單元)的情況。在該情況下，顯示器3a、3b和3c連接到電子白板2a、2b和2c，且筆記本pc6a、6b和6c也連接到其。在電子白板2a、2b和2c中，使用電子筆4a、4b和4c。

參與處理

首先，以下參考圖17描述用于電子白板2b和2c參與遠(yuǎn)程共享處理的處理。

當(dāng)用戶接通電子白板2a的電源開關(guān)時，啟動電子白板2a的客戶端單元20。當(dāng)用戶執(zhí)行經(jīng)由比如觸摸板的輸入裝置而啟動服務(wù)器單元90的操作時，用于服務(wù)器單元90的啟動處理的指令從客戶端單元20的遠(yuǎn)程啟動處理器61輸出到同一電子白板2a的服務(wù)器單元90中的遠(yuǎn)程連接請求接收器71。因此，在電子白板2a中，除客戶端單元20之外，服務(wù)器單元90也可以啟動各條處理(步驟s21)。

接下來，電子白板2a的客戶端單元20中的ui圖像發(fā)生器33生成用于建立到電子白板2a的連接的連接信息，且視頻疊加單元28經(jīng)由顯示疊加單元36使得顯示器3a顯示從ui圖像發(fā)生器33獲得的連接信息(步驟s22)。該連接信息包括主機(jī)裝置的ip地址和用于此時的遠(yuǎn)程共享處理而生成的密碼。在該情況下，在密碼管理器810中存儲的密碼由圖5中圖示的遠(yuǎn)程連接處理器81讀出，且依次發(fā)送到遠(yuǎn)程連接結(jié)果發(fā)送器72和遠(yuǎn)程啟動處理器61。密碼進(jìn)一步從包括遠(yuǎn)程啟動處理器61的通信控制器60發(fā)送到圖3中圖示的圖像處理器30，且最終輸入到ui圖像發(fā)生器33。因此，連接信息包括密碼。連接信息然后由電子白板2a的用戶使用電話或者電子郵件發(fā)送到電子白板2b和2c的用戶。即使連接信息不包括主機(jī)裝置的ip地址，只要存在連接目的地管理表440，參與裝置也可以做出參與請求。

接下來，當(dāng)電子白板2b和2c中的每一個通過每個用戶的比如觸摸板的輸入裝置的操作而接收到連接信息的輸入時，電子白板2a和2b中的每一個的客戶端單元20中的遠(yuǎn)程參與處理器62基于連接信息的ip地址經(jīng)由通信網(wǎng)絡(luò)9將密碼發(fā)送到電子白板2a的服務(wù)器單元90中的通信控制器70以做出參與請求(步驟s23和s24)。因此，通信控制器70的遠(yuǎn)程連接請求接收器71從電子白板2b和2c中的每一個接收參與請求(包括密碼)，并將密碼輸出到遠(yuǎn)程連接處理器81。

隨后，遠(yuǎn)程連接處理器81使用密碼管理器810中管理的密碼，驗證從電子白板2b和2c中的每一個接收到的密碼(步驟s25)。遠(yuǎn)程連接結(jié)果發(fā)送器72然后向電子白板2b和2c中的每一個的客戶端單元20通知驗證結(jié)果(步驟s26和s27)。當(dāng)通過在步驟s25的驗證確定電子白板2b和2c中的每一個是有效電子白板時，在用作主機(jī)裝置的電子白板2a和用作參與裝置的電子白板2b和2c之間建立遠(yuǎn)程共享處理的通信，且電子白板2b和2c中的每一個的客戶端單元20中的遠(yuǎn)程參與處理器62使得能夠在電子白板中的每一個和其他電子白板之間開始遠(yuǎn)程共享處理(步驟s28和s29)。

輸出圖像的顯示

隨后，以下參考圖17描述在遠(yuǎn)程共享處理中顯示輸出圖像(c)的處理。

首先，電子白板2b在顯示器3b上顯示輸出圖像(c)(步驟s30)。特別地，電子白板2b的圖像獲取器31從筆記本pc6b經(jīng)由視頻獲取器21接收由筆記本pc6b顯示的輸出圖像(c)的數(shù)據(jù)，并經(jīng)由顯示疊加單元36和視頻疊加單元28將該數(shù)據(jù)發(fā)送到顯示器3b以在顯示器3b上顯示輸出圖像(c)。

接下來，當(dāng)電子白板2b的包括圖像獲取器31的圖像處理器30將輸出圖像(c)的數(shù)據(jù)發(fā)送到遠(yuǎn)程圖像發(fā)送器63時，包括遠(yuǎn)程圖像發(fā)送器63的通信控制器60經(jīng)由通信網(wǎng)絡(luò)9將輸出圖像(c)的數(shù)據(jù)發(fā)送到用作主機(jī)裝置的電子白板2a的通信控制器70(步驟s31)。因此，電子白板2a的遠(yuǎn)程圖像接收器73接收要輸出到遠(yuǎn)程圖像處理器82的輸出圖像(c)的數(shù)據(jù)，且遠(yuǎn)程圖像處理器82在圖像數(shù)據(jù)存儲單元830中存儲輸出圖像(c)的數(shù)據(jù)。

接下來，用作主機(jī)裝置的電子白板2a在顯示器3a上顯示輸出圖像(c)(步驟s32)。特別地，電子白板2a的遠(yuǎn)程圖像處理器82將從遠(yuǎn)程圖像接收器73接收到的輸出圖像(c)的數(shù)據(jù)輸出到遠(yuǎn)程圖像發(fā)送器74。遠(yuǎn)程圖像發(fā)送器74將輸出圖像(c)的數(shù)據(jù)輸出到用作主機(jī)裝置的同一電子白板2a的客戶端單元20中的遠(yuǎn)程圖像接收器64。遠(yuǎn)程圖像接收器64將輸出圖像(c)的數(shù)據(jù)輸出到顯示疊加單元36。顯示疊加單元36將輸出圖像(c)的數(shù)據(jù)輸出到視頻疊加單元28。視頻疊加單元28將輸出圖像(c)的數(shù)據(jù)輸出到顯示器3a。結(jié)果，顯示器3a顯示輸出圖像(c)。

接下來，用作主機(jī)裝置的電子白板2a的服務(wù)器單元90中的包括遠(yuǎn)程圖像發(fā)送器74的通信控制器70經(jīng)由通信網(wǎng)絡(luò)9將輸出圖像(c)的數(shù)據(jù)發(fā)送到除了作為輸出圖像(c)的數(shù)據(jù)的傳輸源的電子白板2b之外的電子白板2c的通信控制器60(步驟s33)。因此，用作參與裝置的電子白板2c的遠(yuǎn)程圖像接收器64接收輸出圖像(c)的數(shù)據(jù)。

接下來，電子白板2c在顯示器3c上顯示輸出圖像(c)(步驟s34)。特別地，電子白板2c的遠(yuǎn)程圖像接收器64將在步驟s33接收到的輸出圖像(c)的數(shù)據(jù)輸出到電子白板2c的顯示疊加單元36。顯示疊加單元36將輸出圖像(c)的數(shù)據(jù)輸出到視頻疊加單元28。視頻疊加單元28將輸出圖像(c)的數(shù)據(jù)輸出到顯示器3c。結(jié)果，顯示器3c顯示輸出圖像(c)。

當(dāng)除輸出圖像(c)的數(shù)據(jù)之外，將ui圖像(a)和筆劃(b)的各條數(shù)據(jù)輸入到視頻疊加單元28時，顯示疊加單元36生成疊加圖像(a、b、c)，且視頻疊加單元28將疊加圖像(a、b、c)的數(shù)據(jù)輸出到顯示器3c。當(dāng)用于視頻會議的視頻(e)的數(shù)據(jù)從視頻會議終端7發(fā)送到視頻疊加單元28時，視頻疊加單元28使用畫中畫方案在疊加圖像(a、b、c)上疊加用于視頻會議的視頻(e)的數(shù)據(jù)，并將該數(shù)據(jù)輸出到顯示器3c。

疊加圖像的顯示

隨后，以下參考圖18描述在遠(yuǎn)程共享處理中顯示疊加圖像的處理。

首先，用戶使用電子筆4b在電子白板2b上繪制筆劃(b)(步驟s41)。

接下來，如圖16所示，電子白板2b的顯示疊加單元36在ui圖像(a)和輸出圖像(c)上疊加筆劃(b)，且視頻疊加單元28在電子白板2b的顯示器3b上顯示疊加圖像(a、b、c)(步驟s42)。特別地，電子白板2b的筆劃處理器32經(jīng)由事件識別器25從坐標(biāo)檢測器22和接觸檢測器24接收筆劃圖像(b)的數(shù)據(jù)作為操作數(shù)據(jù)，并將該數(shù)據(jù)發(fā)送到顯示疊加單元36。結(jié)果，顯示疊加單元36可以在ui圖像(a)和輸出圖像(c)上疊加筆劃(b)，且視頻疊加單元28可以在電子白板2b的顯示器3b上顯示疊加圖像(a、b、c)。

接下來，當(dāng)電子白板2b的包括筆劃處理器32的圖像處理器30將筆劃(b)的數(shù)據(jù)發(fā)送到遠(yuǎn)程操作發(fā)送器65時，電子白板2b的遠(yuǎn)程操作發(fā)送器65將筆劃(b)的數(shù)據(jù)經(jīng)由通信網(wǎng)絡(luò)9發(fā)送到用作主機(jī)裝置的電子白板2a的通信控制器70(步驟s43)。因此，電子白板2a的遠(yuǎn)程操作接收器75接收要輸出到遠(yuǎn)程操作處理器83的筆劃(b)的數(shù)據(jù)，且遠(yuǎn)程操作處理器83將筆劃(b)的數(shù)據(jù)輸出到操作合成處理器84。以這種方式，每次渲染筆劃時，在電子白板2b中渲染的筆劃(b)的各條數(shù)據(jù)連續(xù)地發(fā)送到用作主機(jī)裝置的電子白板2a的遠(yuǎn)程操作處理器83。筆劃(b)的數(shù)據(jù)是對于圖7中圖示的每個筆劃數(shù)據(jù)id表示的數(shù)據(jù)。因此，例如，如上所述，當(dāng)用戶以電子筆4繪制字母“t”時需要兩個筆劃，從而連續(xù)地發(fā)送由兩個筆劃數(shù)據(jù)id表示的筆劃(b)的各條數(shù)據(jù)。

接下來，用作主機(jī)裝置的電子白板2a在顯示器3a上顯示包括從電子白板2b發(fā)送的筆劃(b)的數(shù)據(jù)的疊加圖像(a、b、c)(步驟s44)。特別地，電子白板2a的操作合成處理器84合成經(jīng)由遠(yuǎn)程操作處理器83連續(xù)地發(fā)送的筆劃(b)的多條數(shù)據(jù)以存儲在操作數(shù)據(jù)存儲單元840中，且將該數(shù)據(jù)返回到遠(yuǎn)程操作處理器83。因此，遠(yuǎn)程操作處理器83將從操作合成處理器84接收到的筆劃(b)的合成數(shù)據(jù)輸出到遠(yuǎn)程操作發(fā)送器76。遠(yuǎn)程操作發(fā)送器76將筆劃(b)的合成數(shù)據(jù)輸出到用作主機(jī)裝置的同一電子白板2a的客戶端單元20中的遠(yuǎn)程操作接收器66。遠(yuǎn)程操作接收器66將筆劃(b)的合成數(shù)據(jù)輸出到圖像處理器30中的顯示疊加單元36。因此，顯示疊加單元36在ui圖像(a)和輸出圖像(c)上疊加合成的筆劃(b)。最終，視頻疊加單元28在顯示器3a上顯示由顯示疊加單元36疊加的疊加圖像(a、b、c)。

接下來，用作主機(jī)裝置的電子白板2a的服務(wù)器單元90中的包括遠(yuǎn)程操作發(fā)送器76的通信控制器70將筆劃(b)的合成數(shù)據(jù)經(jīng)由通信網(wǎng)絡(luò)9發(fā)送到除了作為筆劃(b)的數(shù)據(jù)的傳輸源的電子白板2b之外的電子白板2c的通信控制器60(步驟s45)。因此，用作參與裝置的電子白板2c的遠(yuǎn)程操作接收器66接收筆劃(b)的合成數(shù)據(jù)。

隨后，電子白板2c在顯示器3c上顯示疊加圖像(a、b、c)(步驟s46)。特別地，電子白板2c的遠(yuǎn)程操作接收器66將在步驟s45接收到的筆劃(b)的合成數(shù)據(jù)輸出到電子白板2c的圖像處理器30。圖像處理器30的顯示疊加單元36在筆劃(b)的合成數(shù)據(jù)上疊加ui圖像(a)和輸出圖像(c)的各條數(shù)據(jù)，并將疊加圖像(a、b、c)的數(shù)據(jù)輸出到視頻疊加單元28。視頻疊加單元28將疊加圖像(a、b、c)的數(shù)據(jù)輸出到顯示器3c。結(jié)果，顯示器3c顯示疊加圖像(a、b、c)。

在以上處理中，在顯示器3上顯示輸出圖像(c)。替代地，可以代替輸出圖像(c)顯示背景圖像(d)。代替輸出圖像(c)和背景圖像(d)之間的排它關(guān)系，可以同時在顯示器3上顯示輸出圖像(c)和背景圖像(d)兩者。

參與的終止

隨后，以下參考圖18描述參與裝置結(jié)束參與遠(yuǎn)程共享處理的處理。圖18中圖示的實施例描述電子白板2c結(jié)束參與的處理。

首先，當(dāng)電子白板2c通過用戶的比如觸摸板的輸入裝置的操作而接收到結(jié)束參與的請求時，遠(yuǎn)程參與處理器62向用作主機(jī)裝置的電子白板2a的服務(wù)器單元90中的通信控制器70做出結(jié)束參與的請求(步驟s47)。因此，通信控制器70的遠(yuǎn)程連接請求接收器71從電子白板2c接收結(jié)束參與的請求，并將結(jié)束參與的請求與電子白板2c的ip地址一起輸出到遠(yuǎn)程連接處理器81。電子白板2a的遠(yuǎn)程連接處理器81然后基于從遠(yuǎn)程連接請求接收器71發(fā)送的ip地址，從參與地點管理表820中刪除做出結(jié)束參與的請求的電子白板2c的ip地址和布置電子白板2c的地點的名稱，并將電子白板2c的ip地址和刪除ip地址的通知輸出到遠(yuǎn)程連接結(jié)果發(fā)送器72。

接下來，包括遠(yuǎn)程連接結(jié)果發(fā)送器72的通信控制器70經(jīng)由通信網(wǎng)絡(luò)9指示電子白板2c的客戶端單元20中的通信控制器60結(jié)束參與(步驟s48)。因此，電子白板2c中的通信控制器60的遠(yuǎn)程參與處理器62斷開遠(yuǎn)程共享處理的通信以執(zhí)行結(jié)束參與的處理，從而結(jié)束參與(步驟s49)。

以下描述本發(fā)明的實施例。實施例包括在電子信息板中存儲信息的處理中的以下特征。

實施例具有用于以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以進(jìn)行使用以及再次讀取和編輯標(biāo)志圖像的以下配置。

也就是，根據(jù)實施例的圖像處理裝置包括：手寫圖像渲染器，配置為在第一層上繪制筆劃；標(biāo)志圖像渲染器，配置為在低于第一層的第二層上渲染表示字符、符號、圖形或者其組合的標(biāo)志圖像；和外部圖像渲染器，配置為在低于第二層的第三層上繪制外部地獲取的外部圖像。根據(jù)實施例的圖像處理裝置還包括：串行化單元，配置為串行化在第一層上渲染的筆劃、在第二層上渲染的標(biāo)志圖像和在第三層上渲染的外部圖像以轉(zhuǎn)換為以文本格式的數(shù)據(jù)；和文檔創(chuàng)建器，配置為基于由串行化單元轉(zhuǎn)換的以文本格式的數(shù)據(jù)來創(chuàng)建與一個頁面對應(yīng)的文檔數(shù)據(jù)。

通過上面描述的配置，可以以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以進(jìn)行使用，且可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

以下將參考附圖具體地描述實施例的特征。

參考圖19，以下描述圖3中圖示的文件處理器40的具體功能框圖。

如圖19所示，文件處理器40包括手寫圖像渲染器201、手寫識別器203、標(biāo)志圖像渲染器205、外部圖像渲染器207、頁面管理器209、串行器211、解串行器213、pdf創(chuàng)建器215、pdf存儲單元217和pdf讀取器219。

手寫圖像渲染器201在筆劃層(a)上渲染從筆劃處理器32獲取的手寫筆劃(信息)。

手寫識別器203使用已知的字符識別技術(shù)，從由之后描述的筆劃層(a)上渲染的筆劃形成的字符圖像執(zhí)行字符識別。手寫識別器203執(zhí)行手寫字符圖像的字符識別以獲取比如字符碼、字符碼類型、字符圖像的大小和字符圖像的顯示位置之類的字符信息，并作為執(zhí)行多個字符的字符識別的結(jié)果，生成包括多條字符信息的字符列表。

標(biāo)志圖像渲染器205在之后描述的標(biāo)志層(b)上渲染標(biāo)志圖像，比如字符、圖形、線、方形和圓形。也就是，標(biāo)志圖像渲染器205在低于筆劃層(a)的標(biāo)志層(b)(第二層)上渲染表示字符、符號、圖形或者其組合的標(biāo)志圖像。

外部圖像渲染器207在外部圖像層(c)上渲染jpeg圖像、可擴(kuò)展矢量圖(svg)圖像等。

頁面管理器209保存頁面數(shù)據(jù)的列表，并執(zhí)行用于添加或者刪除頁面的處理。

串行器211串行化頁面數(shù)據(jù)以轉(zhuǎn)換為文本格式。作為文本格式，使用可擴(kuò)展標(biāo)注語言(xml)、java腳本(注冊商標(biāo))對象注釋(json)等。

串行化處理是用于將在一個計算機(jī)程序的執(zhí)行期間涉及的多個對象轉(zhuǎn)換為可以轉(zhuǎn)移到其他計算機(jī)程序的數(shù)據(jù)格式的處理。通過執(zhí)行串行化處理，多個對象可以轉(zhuǎn)換為可以存檔的數(shù)據(jù)格式。解串行化處理指的是這種串行化的逆轉(zhuǎn)換。

pdf存儲單元217存儲在頁面上渲染的信息(頁面數(shù)據(jù))。在存儲信息時，pdf存儲單元217使用串行器211串行化頁面數(shù)據(jù)以轉(zhuǎn)換為文本格式。

pdf創(chuàng)建器215使用串行化的數(shù)據(jù)創(chuàng)建pdf文檔，并在pdf文檔的頁面上繪制手寫筆劃和標(biāo)志圖像。pdf創(chuàng)建器215使用比如zip的壓縮處理軟件來壓縮串行化的數(shù)據(jù)，并在頁面中嵌入數(shù)據(jù)以在usb存儲器5中作為pdf文檔存儲(圖3)。

解串行器213將通過串行化處理轉(zhuǎn)換為唯一格式并在文件中存儲的數(shù)據(jù)恢復(fù)為初始數(shù)據(jù)格式。

pdf讀取器219基于添加到所獲取的pdf文檔的pdf摘要信息，確定從usb存儲器5(圖3)獲取的pdf文檔是否是由pdf創(chuàng)建器215創(chuàng)建的pdf文檔。如果該文檔是pdf文檔，則pdf讀取器219提取附加到頁面的外部圖像，并提取嵌入在頁面中的壓縮的串行化數(shù)據(jù)以進(jìn)行解壓縮。pdf讀取器219還對串行化數(shù)據(jù)進(jìn)行解串行化以串行化并恢復(fù)為初始數(shù)據(jù)格式，并創(chuàng)建頁面以添加到頁面管理器209。

隨后，參考圖20，以下描述通用文件的層配置。在實施例中，代替圖16中圖示的通用文件的層配置，可以使用圖20中圖示的層配置。

pdf文檔從上層向著下層依次包括筆劃層(a)、標(biāo)志層(b)和外部圖像層(c)。

筆劃層(a)是用于繪制手寫筆劃的層。筆劃層(a)布置在最前面的表面上以增強(qiáng)手寫圖像。

標(biāo)志層(b)是用于繪制識別為手寫的字符、符號和圖形、在文本框中輸入的字符和以工具條選擇的圖形(比如線、圓形、正方形和三角形)等的層。

外部圖像層(c)是用于在中心顯示經(jīng)由視頻獲取器21和圖像獲取器31從圖3中圖示的筆記本pc6捕獲的pc屏幕作為外部圖像的層。

相同的層配置也應(yīng)用于白板側(cè)的頁面。

隨后，參考圖21，以下描述表示根據(jù)本發(fā)明實施例的pdf創(chuàng)建器215的操作的存儲過程。

在存儲電子白板2的信息(電子白板數(shù)據(jù))時，串行器211首先對于每個頁面串行化包括筆劃、標(biāo)志圖像和外部圖像的每條數(shù)據(jù)。串行器211將頁面信息轉(zhuǎn)換為json格式。要采用的格式取決于實現(xiàn)。

將比如xml和json的以文本格式的串行化數(shù)據(jù)輸出到pdf創(chuàng)建器215(s101)。

該文本文件以zip壓縮且嵌入在pdf文檔的頁面中(參考圖20)。pdf創(chuàng)建器215獲取與電子白板2的頁面的數(shù)目對應(yīng)的文件。

將從串行器211輸出的串行化數(shù)據(jù)與摘要信息和對pdf文檔設(shè)置的密碼一起傳遞到pdf創(chuàng)建器215。密碼僅當(dāng)必要時傳遞到其。

pdf創(chuàng)建器215創(chuàng)建pdf文檔(s103)。

pdf創(chuàng)建器215對pdf文檔設(shè)置pdf密碼(s105)，設(shè)置pdf摘要信息(s107)，并創(chuàng)建外部圖像層(c)(s109)。pdf創(chuàng)建器215還創(chuàng)建標(biāo)志層(b)(s111)，并創(chuàng)建筆劃層(a)(s113)。

隨后，pdf創(chuàng)建器215對存儲器設(shè)置頁面號碼p＝1作為處理號碼(s115)。

pdf創(chuàng)建器215然后從usb存儲器5讀取筆記本pc6的外部圖像和微軟powerpoint(注冊商標(biāo))的文件等，并獲取通過成像文件而獲得的圖像(s117)。

接下來，pdf創(chuàng)建器215將所獲取的外部圖像粘貼到外部圖像層(c)(s119)。

pdf創(chuàng)建器215然后根據(jù)串行化的數(shù)據(jù)在標(biāo)志層(b)上渲染標(biāo)志圖像(s121)。

類似地，pdf創(chuàng)建器215根據(jù)串行化的數(shù)據(jù)在筆劃層(a)上渲染筆劃(s123)。

pdf創(chuàng)建器215還以zip等壓縮串行化的數(shù)據(jù)以嵌入在頁面中，并在usb存儲器5(圖3)中存儲數(shù)據(jù)作為pdf文檔(s125)。

隨后，pdf創(chuàng)建器215確定是否滿足頁面號碼p＝n作為對存儲器設(shè)置的處理號碼(s127)。在該情況下，如果滿足頁面號碼p＝n，則pdf創(chuàng)建器215結(jié)束該處理。另一方面，如果未達(dá)到頁面號碼p＝n，則處理進(jìn)行到步驟s129。

在步驟s129，pdf創(chuàng)建器215向存儲器設(shè)置頁面號碼p＝p+1(遞增)作為處理號碼，且處理返回到步驟s117。

以這種方式，串行化筆劃、標(biāo)志圖像、外部圖像等以轉(zhuǎn)換為以文本格式的數(shù)據(jù)，且基于以文本格式的轉(zhuǎn)換的數(shù)據(jù)來創(chuàng)建與一個頁面對應(yīng)的文檔數(shù)據(jù)。因此，以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以進(jìn)行使用，且可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

通過將pdf文檔創(chuàng)建為文檔數(shù)據(jù)，可以以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以進(jìn)行使用，且可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

隨后，參考圖22，以下描述表示根據(jù)本發(fā)明實施例的pdf讀取器219的操作的讀取過程。

首先，pdf讀取器219從usb存儲器5(圖3)獲取pdf文檔(s141)，并讀取添加到pdf文檔的pdf摘要信息(s143)。pdf讀取器219基于讀取的pdf摘要信息，確定所獲取的pdf文檔是否是由pdf創(chuàng)建器215使用上面描述的方法創(chuàng)建的pdf文檔(s145)。如果所獲取的pdf文檔是由pdf創(chuàng)建器215使用上面描述的方法創(chuàng)建的pdf文檔，則處理進(jìn)行到s149。另一方面，如果所獲取的pdf文檔不是由pdf創(chuàng)建器215使用上面描述的方法創(chuàng)建的pdf文檔，則處理進(jìn)行到s147。

如果所獲取的pdf文檔不是使用以上方法創(chuàng)建的pdf文檔(在s145的“否”)，則pdf讀取器219讀取pdf文檔作為圖像(s147)。

另一方面，如果所獲取的pdf文檔是使用以上方法創(chuàng)建的pdf文檔(在s145的“是”)，則pdf讀取器219對存儲器設(shè)置頁面號碼p＝1作為處理號碼(s149)。

隨后，pdf讀取器219提取附加到頁面的外部圖像(s151)，并提取嵌入在頁面中的壓縮的串行化數(shù)據(jù)(s153)。

接下來，pdf讀取器219對經(jīng)壓縮的串行化數(shù)據(jù)進(jìn)行解壓縮(s155)。

pdf讀取器219然后使用解串行器213串行化和恢復(fù)串行化數(shù)據(jù)以恢復(fù)為初始數(shù)據(jù)格式，并創(chuàng)建頁面(s157)。

也就是，解串行器213首先[1]從pdf文件提取zip文件。結(jié)果，提取與頁面的數(shù)目對應(yīng)的zip文件。接下來，解串行器213[2]解壓縮zip文件以獲取文本文件。解串行器213然后[3]解串行化文本文件中的信息以創(chuàng)建頁面對象。解串行器213然后[4]添加頁面對象到頁面管理器209。隨后，解串行器213[5]執(zhí)行與頁面的數(shù)目對應(yīng)的[2]到[4]中描述的各條處理。

pdf讀取器219然后將在步驟s151提取的筆劃和外部圖像添加到恢復(fù)的頁面(s159)。

接下來，pdf讀取器219將所創(chuàng)建的頁面添加到目標(biāo)頁面的結(jié)尾(s161)。以該方式，當(dāng)添加頁面對象時，頁面對象被添加到頁面列表的結(jié)尾。

隨后，pdf讀取器219確定是否滿足頁面號碼p＝n作為對存儲器設(shè)置的處理號碼(s163)。在該情況下，如果滿足頁面號碼p＝n，則pdf讀取器219結(jié)束該處理。另一方面，如果未達(dá)到頁面號碼p＝n，則處理進(jìn)行到步驟s165。

在步驟s165，pdf讀取器219向存儲器設(shè)置頁面號碼p＝p+1(遞增)作為處理號碼，且處理返回到步驟s151。

以這種方式，從文檔數(shù)據(jù)中的以文本格式的數(shù)據(jù)串行化和恢復(fù)一個頁面，從而在電子白板上渲染的標(biāo)志圖像可以以通用文件格式存儲以進(jìn)行使用，且可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

接下來，參考圖23，以下描述表示字符拼接單元203a的操作的字符拼接過程。

圖19中圖示的手寫識別器203包括字符拼接單元203a。關(guān)于由手寫識別器203識別的字符信息，字符拼接單元203a關(guān)于可以拼接字符的部分執(zhí)行字符拼接。

由手寫識別器203生成的字符列表包括如上所述的多條字符信息，且每條字符信息包括比如字體名稱、字體尺寸、區(qū)域、顏色、創(chuàng)建日期和字符顯示區(qū)域的位置和大小之類的各條信息。另一方面，當(dāng)輸入與兩個字符對應(yīng)的筆劃時，例如，可以在其間插入單倍間距(enspace)。作為字符識別的結(jié)果，可以包括識別為至少一個單倍間距的字符碼。當(dāng)輸入雙倍間距(emspace)時，很可能用戶有意地書寫雙倍間距，從而在該處理中不刪除雙倍間距。

在該實施例中，刪除這種單倍間距且拼接各條字符信息以獲得易讀的文檔信息。

首先，字符拼接單元203a在上面描述的字符列表中包括的處理下，對存儲器設(shè)置字符信息的索引號＝0(s181)。

接下來，字符拼接單元203a確定是否檢查全部各條字符信息(s183)。在該情況下，如果檢查了全部各條字符信息，則字符拼接單元203a結(jié)束該處理。另一方面，如果未檢查全部各條字符信息，則處理進(jìn)行到s185。

對于與一個字符對應(yīng)的每條字符信息，字符拼接單元203a檢查各條字符信息是否可以拼接到相鄰的各條字符信息(s185)。在步驟s185，字符拼接單元203a確定是否存在由單倍間距表示的一條字符信息。如果存在單倍間距，則字符拼接單元203a確定可以拼接字符，且刪除相鄰的各條字符信息之間的單倍間距以拼接字符。通過遞歸地執(zhí)行連接處理，可以拼接相鄰的各條字符信息的位置(s187)。從字符列表刪除當(dāng)拼接字符時刪除的單倍間距。

字符拼接單元203a確定是否拼接了各條字符信息(s189)。

當(dāng)拼接了各條字符信息時，字符拼接單元203a將在檢查中的字符信息的索引號遞減一(-1)(s191)。隨后，處理進(jìn)行到步驟s193。字符拼接單元203a將在檢查中的字符信息的索引號遞增一(+1)(s193)，將處理返回到步驟s183，并重復(fù)上面描述的處理直到檢查了字符列表中的全部各條字符信息為止。

以這種方式，關(guān)于由筆劃表示的字符圖像執(zhí)行字符識別處理以獲取字符信息的字符串，且當(dāng)關(guān)于獲取的字符串在相鄰的各條字符信息之間存在不必要的間隔時，刪除該間隔從而拼接相鄰的各條字符信息，并輸出該字符串。因此，可以編輯從筆劃識別的字符。

從筆劃識別的字符可以在標(biāo)志圖像層(b)上渲染。

隨后，以下參考圖24描述日語句子中的字符拼接。

由手寫識別器203識別的字符在電子白板2中以字符為單位管理以應(yīng)付僅刪除或者移動一個字符的處理。

但是，當(dāng)它作為文檔管理時，一個字符沒有意義，從而拼接相鄰的各條字符信息為容易管理的字符串。該拼接促進(jìn)字符串檢索等。在pdf文檔中存儲字符信息時，可以拼接各條字符信息以渲染為字符串以便改進(jìn)檢索精確性。

在拼接字符時，檢查相鄰字符的包括字體名稱、字體尺寸、顏色、高度、雙倍或者單倍、區(qū)域(比如ja_jp、en_us和de_de)之類的多條信息是否是共同的，且包括共同的多條信息的一組字符集成為字符串。

短語“多條字符信息彼此相鄰”指的是一個字符的上側(cè)、下側(cè)、左側(cè)和右側(cè)中的任何一個與下一字符的上側(cè)、下側(cè)、左側(cè)和右側(cè)中的任何一個相接觸。作為字符拼接的結(jié)果，在圖24的(b)中圖示的示例中，是一個字符串。

在該情況下，在圖24的(a)中圖示的字符串的開始存在與一個字符對應(yīng)的縮進(jìn)(縮排)。為表示該縮進(jìn)，如圖24中的(b)所示，將兩個單倍間距插入到字符串的開始?？梢愿鶕?jù)第一字符的位置和存儲拼接的字符串的文本框的位置來計算要插入的單倍間距的數(shù)目。

隨后，以下參考圖25描述英語句子中的字符拼接。

與上面描述的日語句子類似地在英語文檔中拼接字符。由手寫識別器203識別為手寫的英語句子在電子白板2中以字為單位管理。如圖25a所示，如果字之后的間隔假定為字的部分，則與日語句子中的字符拼接類似地如圖25b所示拼接字符。

結(jié)果，可以增強(qiáng)文檔中的字符串檢索的性能。

根據(jù)實施例，將手寫筆劃、字符、圖形和圖像轉(zhuǎn)換為文本格式，且基于文本信息以通用文件渲染。在該情況下，將相鄰字符渲染為拼接的字符串。然后，執(zhí)行在頁面中嵌入文本的處理，以使得手寫筆劃、識別為手寫的標(biāo)志圖像和附加的外部圖像以通用文件存儲，且可以檢索文檔中的字符?？梢栽俅巫x取該文件以進(jìn)行編輯。

實施例的各方面的配置、功能、效果

第一方面

根據(jù)該方面的電子白板2包括：手寫圖像渲染器201，配置為在筆劃層(a)(第一層)上渲染筆劃；標(biāo)志圖像渲染器205，配置為在低于筆劃層(a)的標(biāo)志層(b)(第二層)上渲染表示字符、符號、圖形或者其組合的標(biāo)志圖像；和外部圖像渲染器207，配置為在低于標(biāo)志層(b)的外部圖像層(c)(第三層)上渲染外部地獲取的背景圖像。電子白板2還包括：串行器(串行化單元)211，配置為串行化在筆劃層(a)上渲染的筆劃、在標(biāo)志層(b)上渲染的標(biāo)志圖像和在外部圖像層(c)上渲染的背景圖像以轉(zhuǎn)換為以文本格式的數(shù)據(jù)；和pdf創(chuàng)建器(文檔創(chuàng)建器)215，配置為基于由串行器211轉(zhuǎn)換的以文本格式的數(shù)據(jù)，創(chuàng)建與一個頁面對應(yīng)的文檔數(shù)據(jù)。

根據(jù)該方面，串行化筆劃、標(biāo)志圖像和外部圖像以轉(zhuǎn)換為以文本格式的數(shù)據(jù)，且基于以文本格式的轉(zhuǎn)換的數(shù)據(jù)創(chuàng)建與一個頁面對應(yīng)的文檔數(shù)據(jù)，以使得可以以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以進(jìn)行使用，且可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

第二方面

根據(jù)該方面的電子白板2包括解串行器213，該解串行器213從文檔數(shù)據(jù)中的以文本格式的數(shù)據(jù)解串行化和恢復(fù)一個頁面。

根據(jù)該方面，從文檔數(shù)據(jù)中的以文本格式的數(shù)據(jù)串行化和恢復(fù)一個頁面，以使得在電子白板上渲染的標(biāo)志圖像可以以通用文件格式存儲以進(jìn)行使用，且可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

第三方面

根據(jù)該方面的pdf創(chuàng)建器215創(chuàng)建pdf文檔作為文檔數(shù)據(jù)。

根據(jù)該方面，創(chuàng)建pdf文檔作為文檔數(shù)據(jù)，以使得可以以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以進(jìn)行使用，和可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

第四方面

根據(jù)該方面的電子白板2包括：手寫識別器203，配置為關(guān)于由筆劃表示的字符圖像執(zhí)行字符識別處理以獲取字符信息的字符串；和字符拼接單元203a，當(dāng)關(guān)于由手寫識別器203獲取的字符串在相鄰的各條字符信息之間存在不必要間隔時，刪除間隔從而拼接相鄰的各條字符信息，并輸出該字符串。

根據(jù)該方面，關(guān)于由筆劃表示的字符圖像執(zhí)行字符識別處理以獲取字符信息的字符串，且當(dāng)關(guān)于所獲取的字符串在相鄰的各條字符信息之間存在不必要的間隔時，刪除該間隔從而拼接相鄰的各條字符信息，并輸出該字符串。因此，可以編輯從筆劃識別的字符。

第五方面

根據(jù)該方面的標(biāo)志圖像渲染器205在標(biāo)志層(b)(第二層)上繪制由字符拼接單元203a拼接的字符串。

根據(jù)該方面，從筆劃識別的字符可以在標(biāo)志層(b)上渲染。

第六方面

根據(jù)該方面的圖像處理方法以根據(jù)第一方面到第五方面中的任何一個的電子白板2執(zhí)行，并包括：串行化步驟(s101)，用于串行化在筆劃層(a)(第一層)上渲染的筆劃、在標(biāo)志層(b)(第二層)上渲染的標(biāo)志圖像和在外部圖像層(c)(第三層)上渲染的外部圖像以轉(zhuǎn)換為以文本格式的數(shù)據(jù)；和文檔創(chuàng)建步驟(s103)，用于基于在串行化步驟轉(zhuǎn)換的以文本格式的數(shù)據(jù)創(chuàng)建與一個頁面對應(yīng)的文檔數(shù)據(jù)。

根據(jù)該方面，串行化筆劃、標(biāo)志圖像和外部圖像以轉(zhuǎn)換為以文本格式的數(shù)據(jù)，且基于以文本格式的轉(zhuǎn)換的數(shù)據(jù)創(chuàng)建與一個頁面對應(yīng)的文檔數(shù)據(jù)，以使得可以以通用文件格式存儲在電子白板上渲染的標(biāo)志圖像以進(jìn)行使用，且可以再次讀取標(biāo)志圖像以進(jìn)行編輯。

第七方面

根據(jù)該方面的計算機(jī)程序可以存儲在計算機(jī)可讀存儲介質(zhì)中，使得處理器執(zhí)行第六方面中描述的每一個步驟。

根據(jù)該方面，每一個步驟可以由處理器執(zhí)行。

附圖標(biāo)記列表

1圖像處理系統(tǒng)

2電子白板

3顯示器

4電子筆

5usb存儲器

6筆記本pc

7視頻會議終端

8pc

9通信網(wǎng)絡(luò)

20客戶端單元

21視頻獲取器

22坐標(biāo)檢測器

23自動校準(zhǔn)器

24接觸檢測器

25事件識別器

26操作處理器

27姿勢處理器

28視頻疊加單元

30圖像處理器

31圖像獲取器

36顯示疊加單元

32筆劃處理器

33ui圖像發(fā)生器

34背景發(fā)生器

35布局管理器

37頁面處理器

40文件處理器

41恢復(fù)處理器

43文件轉(zhuǎn)換器

44文件發(fā)送器

45地址簿輸入單元

46備份處理器

47備份輸出單元

48設(shè)置管理器

60通信控制器

61遠(yuǎn)程啟動處理器

62遠(yuǎn)程參與處理器

63遠(yuǎn)程圖像發(fā)送器

64遠(yuǎn)程圖像接收器

63遠(yuǎn)程操作發(fā)送器

66遠(yuǎn)程操作接收器

71遠(yuǎn)程連接請求接收器

72遠(yuǎn)程連接結(jié)果發(fā)送器

80數(shù)據(jù)管理器

81遠(yuǎn)程連接處理器

82遠(yuǎn)程圖像處理器

83遠(yuǎn)程操作處理器

84操作合成處理器

90服務(wù)器單元

101cpu

102rom

103ram

104ssd

105網(wǎng)絡(luò)控制器

106外部存儲控制器

111捕獲裝置

105顯示控制器

115觸摸傳感器

114傳感器控制器

116電子筆控制器

112gpu

120總線

201圖像渲染器

203識別器

205標(biāo)志圖像渲染器

207外部圖像渲染器

209頁面管理器

211串行器

213解串行器

215pdf創(chuàng)建器

217pdf存儲單元

300頁面數(shù)據(jù)存儲單元

310遠(yuǎn)程許可管理表

410地址簿管理表

420備份數(shù)據(jù)存儲單元

430設(shè)置文件存儲單元

440連接目的地管理表

610參與地點管理表

810密碼管理器

830圖像數(shù)據(jù)存儲單元

840操作數(shù)據(jù)存儲單元

引文列表

專利文獻(xiàn)

ptl1

日本特開專利公開no.2014-52873