本發(fā)明涉及電子黑板和圖像處理方法。
背景技術:
近年來,在普通會議或遠程會議中經(jīng)常使用被稱之為電子信息板的電子黑板,該電子黑板的液晶顯示器等平板顯示器或投影儀的投影屏幕搭載觸摸面板。無論是召集會議的電子黑板還是參加會的電子黑板,均與網(wǎng)絡連接,能夠通過網(wǎng)絡互相通信,共享顯示器上的顯示圖像。
專利文獻1(特開2015-069284號公報)公開了一種圖像處理裝置,其中的顯示裝置不僅顯示背景圖像,而且還將重現(xiàn)通過用戶輸入操作描繪的筆畫的筆畫圖像重疊在背景圖像上后顯示到顯示裝置上。
目前的圖像處理裝置在顯示裝置上顯示的圖像的編輯處理中,用戶使用性能上尚存改善余地。尤其是在對遠程會議中各電子黑板共享的圖像,例如通過用戶通過操作面板或電子筆、手勢等輸入的筆畫圖像進行編輯時,編輯功能少,無法進行復制、剪切、粘貼,而且寫入效率十分低。專利文獻1公開的圖像處理裝置雖然能夠進行復制、剪切、粘貼,但是編輯效率依然未獲得改善。
技術實現(xiàn)要素:
本發(fā)明提供一種電子黑板,其通過網(wǎng)絡與其他電子黑板共享顯示畫面,其中具備以下各部:制作部,用于根據(jù)用戶通過輸入操作輸入的筆畫,制作筆畫數(shù)據(jù);顯示控制部,用于控制將所述制作部制作的筆畫數(shù)據(jù)顯示到所述顯示畫面上;選擇部,用于通過用戶的輸入操作,選擇所述顯示畫面上顯示的筆畫數(shù)據(jù);編輯部,用于編輯所述選擇部選擇的筆畫數(shù)據(jù);保持部,用于暫時保存經(jīng)過所述編輯部編輯的筆畫數(shù)據(jù);粘貼部,用于使用所述保持部保持的筆畫數(shù)據(jù),在所述顯示畫面上進行粘貼;以及,通信部,用于收發(fā)由所述保持部保持的筆畫數(shù)據(jù)。
本發(fā)明的圖像處理裝置的效果在于,電子黑板能夠在遠程共有處理中對顯示裝置上顯示的筆畫圖像實行復制、剪切、以及粘貼的處理,并能夠通過網(wǎng)絡與其他電子黑板共享這些處理,改善用戶使用性能。
附圖說明
圖1是一種實施方式涉及的圖像處理系統(tǒng)1的基本構(gòu)成示意圖。
圖2是電子黑板的一例硬件結(jié)構(gòu)圖。
圖3是電子黑板的功能模塊圖。
圖4是活動分配部中處理的流程圖。
圖5用按鈕進行筆畫圖像的復制、剪切、粘貼的操作示意圖。
圖6是用來說明筆畫圖像的選擇的示意圖。
圖7是副菜單的示意圖。
圖8是用來說明剪切筆畫圖像的示意圖。
圖9是用來說明粘貼被剪切的筆畫圖像的示意圖其一。
圖10是用來說明粘貼被剪切的筆畫圖像的示意圖其二。
圖11是用來說明粘貼被復制的筆畫圖像的示意圖其一。
圖12是用來說明粘貼被復制的筆畫圖像的示意圖其二。
圖13是用來說明粘貼被復制的筆畫圖像的示意圖其三。
圖14是用來說明使用便捷菜單進行筆畫圖像的復制、剪切、粘貼的示意圖。
圖15是用來說明使用便捷菜單進行筆畫圖像的復制和粘貼的示意圖其一。
圖16是用來說明使用便捷菜單進行筆畫圖像的復制和粘貼的示意圖其二。
圖17是用來說明使用便捷菜單進行筆畫圖像的復制和粘貼的示意圖其三。
圖18是用來說明頁數(shù)據(jù)的示意圖。
圖19是用來說明多個圖像重疊的示意圖。
圖20是用來說明筆畫圖像的示意圖。
圖21是用來說明坐標排列數(shù)據(jù)的示意圖。
圖22是用來說明媒體數(shù)據(jù)的示意圖。
圖23是遠程協(xié)議管理表。
圖24是文件處理部的功能模塊圖。
圖25是地址管理表。
圖26是備份數(shù)據(jù)的示意圖。
圖27是連接對象管理數(shù)據(jù)的示意圖。
圖28是服務器部和送信控制部的功能模塊圖。
圖29是參加地點管理表的示意圖。
圖30是操作數(shù)據(jù)的示意圖。
圖31是遠程共有處理的時序圖之一。
圖32是遠程共有處理的時序圖之二。
圖33是遠程共有處理的時序圖之三。
圖34是遠程共有處理的時序圖之四。
具體實施方式
以下參考圖1至圖34,詳述本發(fā)明的實施方式。圖1顯示一種實施方式涉及的圖像處理系統(tǒng)1的基本構(gòu)成。
圖像處理系統(tǒng)1包括通過通信網(wǎng)絡9互相連接并可以通信的多臺電子黑板、以及個人計算機8等。在此出于方便,以兩臺電子黑板為代表來描述多臺電子黑板,但是本發(fā)明不受此限制,多臺電子黑板也可以是三臺以上電子黑板。同時設多臺電子黑板各處于互不相同的地點。此外,個人計算機8用于閱覽共有的圖像。
電子黑板2a通過導線10a1和10a2分別與筆記本計算機6a和電視會議終端7a相連接。同樣,電子黑板2b通過導線10b1和10b2分別與筆記本計算機6bb和電視會議終端7a相連接。
上述導線均能夠按照displayport、dvi(digitalvisualinterface)、hdmi(注冊商標)(high-definitionmultimediainterface)、vga(videographicsarray)等規(guī)格通信。
各臺筆記本計算機和各臺電視會議終端也可以通過基于bluetooth(注冊商標)等規(guī)格的無線通信與對應的電子黑板相連接。
電子黑板2a和3a分別具有顯示器3a和3b。
進而,圖像處理系統(tǒng)1還包含與電子黑板2a對應的電子筆4a和usb存儲器5a、以及與電子黑板2b對應的電子筆4b和usb存儲器5b。
電子筆的筆尖按壓在顯示器上后,顯示器產(chǎn)生反作用力將筆尖推入電子筆中。各電子筆在其筆尖被推入后,通知對應的電子黑板。在此,電子筆與對應的電子黑板之間用紅外線通信。圖1中的標記ha和hb分別為電子黑板2a和2b的用戶的手。
用戶可以用電子筆4a在電子黑板2a的顯示器3a上進行描繪。同樣,用戶可以用電子筆4b在電子黑板2b的顯示器3b上進行描繪。
處于某一地點的電子黑板2a的顯示器3a上描繪的圖像也可以顯示到位于其他地點的電子黑板2b的顯示器3b上。相反,位于其他地點的電子黑板2b的顯示器3b上描繪的圖像也可以位于某一地點的電子黑板2a的顯示器3a上。這樣,圖像處理系統(tǒng)1能夠?qū)嵭羞h程共有處理,使得互相分開一定距離的不同地點共有相同的圖像。為此,圖像處理系統(tǒng)1在遠程會議等中的利用十分方便。進而,共有的圖像也可以顯示在個人計算機8的顯示器上。
各臺電子黑板可以按照用戶用手作的放大、縮小、翻頁等手勢,來改變顯示器上顯示的圖像。
電子黑板2a可以與usb存儲器5a連接,從usb存儲器5a中讀取電子文件,或者將電子文件保存到usb存儲器5a中。
同樣,電子黑板2b也可以與usb存儲器5b連接,從usb存儲器5b中讀取電子文件,或者將電子文件保存到usb存儲器5b中。
由于電子黑板2a和2b具有相同構(gòu)成和功能,為此在以下的描述中,如果不需要區(qū)別電子黑板2a和2b,則統(tǒng)稱為“電子黑板2”。此時,將與該電子黑板2對應的顯示器稱為“顯示器3”,對應的電子筆稱為“電子筆4”,對應的usb存儲器稱為“usb存儲器5”,對應的筆記本計算機稱為“筆記本計算機6”,對應的電視會議終端稱為“電視會議終端7”,對應的手稱為“手h”,對應的導線稱為“導線10”。
以下描述電子黑板2的硬件構(gòu)成。圖2顯示電子黑板2的一例硬件構(gòu)成。
電子黑板2具備顯示器3、cpu101、rom102、ram103、ssd(solidstatedrive)104、網(wǎng)絡控制器105、外設存儲控制器106、捕獲器件111、gpu(graphicsprocessingunit)112、顯示控制器113、傳感控制器114、接觸傳感器115、以及電子筆控制器116等。接觸傳感器115與顯示器3一體形成。
cpu101執(zhí)行ssd104中保存的程序,控制整個電子黑板的動作。rom102是用于保存多個程序和各種數(shù)據(jù)的內(nèi)存。多個程序和各種數(shù)據(jù)中通過cpu101執(zhí)行的程序以及該程序中使用的數(shù)據(jù)在cpu101執(zhí)行之際,被從rom102復制到ssd104中。ram103是作業(yè)是使用的內(nèi)存。
網(wǎng)絡控制器105經(jīng)由通信網(wǎng)絡9控制與其他電子黑板等的通信。外設存儲控制器106控制與usb存儲器5的通信。捕獲器件111用于取得筆記本6的顯示器上顯示的影像信息,作為靜畫或動畫。gpu112實行關于圖形的數(shù)據(jù)處理。
顯示控制器113實行顯示器3的顯示畫面的控制和管理,在顯示器3上顯示gpu112輸出的圖像以及電視會議終端7輸出的圖像。
接觸傳感器115是紅外線遮擋方式的觸摸面板,用于檢測電子筆4或用戶的手h等在顯示器3上的接觸。同時,接觸傳感器115還檢測關于顯示器3上接觸位置的信息。而紅外線遮擋方式中,設置在顯示器3的上方兩端的兩個受光發(fā)光裝置(未圖示)發(fā)射平行于顯示器3的多條紅外線,并接受受到顯示器3周圍的反射部件的反射后返回的光。
接觸傳感器115將電子筆4或用戶的手h接觸顯示器3而遮擋紅外線的id(identification)作為有關接觸位置信息,輸出傳感控制器114。而后,傳感控制器114根據(jù)接觸傳感器115發(fā)送的關于接觸位置的信息,確定電子筆4或用戶的手h的接觸位置的坐標。
作為接觸傳感器115,并不局限于紅外線遮擋方式的觸摸面板,通過檢測靜電容量變化來確定接觸位置的靜電容量方式觸摸面板、通過相對設置得兩個阻抗膜的電壓變化來確定接觸位置的阻抗膜方式觸摸面板、通過檢測接觸物體接觸顯示部而生成的電磁感應來確定接觸位置的電磁感應方式的觸摸面板等各種檢測方式均可使用。此外,接觸傳感器115還可以使用觸摸面板以外的輸入方式。
電子筆控制器116與電子筆4通信,判斷電子筆4是否受到顯示器3推壓。
上述各構(gòu)成部中的cpu101、rom102、ram103、ssd104、網(wǎng)絡控制器105、外設存儲控制器106、捕獲器件111、gpu112、傳感控制器114、以及電子筆控制器116與包含地址主線和數(shù)據(jù)主線在內(nèi)的主線120相連接。
電子黑板2既可以是最早開始遠程共有處理的“召集裝置“,也可以是參加由“召集裝置”開啟的遠程共有處理的“參加裝置”。
其次描述電子黑板2的功能。電子黑板2的功能通過上述硬件、多個程序以及各種數(shù)據(jù)實現(xiàn)。
圖3顯示電子黑板2的功能。電子黑板2的功能可主要分為客戶部20和服務器部90。
當電子黑板2為“召集裝置”時,該電子黑板2中的客戶部20和服務器部90雙方均運行。而當電子黑板2為“參加裝置”時,該電子黑板2中的客戶部20運行,而服務器部90不運行。
例如,當電子黑板2a為“召集裝置”,而電子黑板2b為“參加裝置”時,電子黑板2a的客戶部20通過其中的服務器部90與電子黑板2b的客戶部20通信。另一方面,電子黑板2b的客戶部20通過電子黑板2a的服務器部90與電子黑板2a的客戶部20通信。
客戶部20的功能如圖3所示,客戶部20具有影像取得部21、坐標檢測部22、自動調(diào)整部23、接觸檢測部24、活動分配部25、操作處理部26、手勢處理部27、影像重疊部28、圖像處理部30、以及通信控制部60。
圖像處理部30具有圖像取得部31、筆畫處理部32、ui圖像生成部33、背景生成部34、布置管理部35、顯示重疊部36、頁處理部37、頁數(shù)據(jù)存儲部300、遠程協(xié)議管理表310以及文件處理部40。
影像取得部21用于取得與電子黑板2連接的筆記本計算機6輸出的影像(以下稱為“計算機輸出影像”)。影像取得部21還對取得的計算機輸出影像進行解析,提取筆記本計算機6上顯示的包含圖像的分辨率以及更新頻率等在內(nèi)的圖像信息。在此取得的計算機輸出影像和圖像信息被輸出到圖像取得部31。
坐標檢測部22在電子筆4或用戶的手h接觸到顯示器3后,檢測該接觸的位置坐標。坐標檢測部22還檢測顯示器3中受到接觸的區(qū)域面積。該檢測結(jié)果被輸出到活動分配部25。
自動調(diào)整部23在電子黑板2接通電源時啟動,用于調(diào)整接觸傳感器115中的各種參數(shù),使得接觸傳感器115能夠向坐標檢測部22輸出恰當?shù)闹怠?/p>
接觸檢測部24通過與電子筆4的通信,檢測電子筆4是否受到顯示器3推壓。該檢測結(jié)果被輸出到活動分配部25。
活動分配部25根據(jù)坐標檢測部22檢測到的位置坐標和接觸檢測部24的檢測結(jié)果,判斷活動的種類。在此的活動為“筆畫描繪”、“ui(用戶接口)操作”以及“手勢操作”。以下也將坐標檢測部22檢測到的位置坐標和接觸檢測部24的檢測結(jié)果也稱為“活動信息”。
“筆畫描繪”是從用戶把電子筆4按壓到顯示器3上并以此狀態(tài)移動電子筆4,直到電子筆4離開顯示器3為止的活動。通過該筆畫描繪,顯示器3上便會畫出例如字母“s”以及“t”等。
“筆畫描繪”不僅描繪筆畫圖像,而且還包含刪除已經(jīng)描繪了的筆畫圖像,或編輯筆畫圖像的活動。
“ui操作”是顯示器3上顯示ui(用戶接口)圖像時,用戶用電子筆4或手h觸摸ui的要素(例如,鍵鈕、名單、復選框、文本框等)的活動。通過“ui操作”,例如可設定描繪的線的顏色和粗細等。
“手勢操作”是用戶用手h接觸顯示器3或在顯示器3上移動手h的活動。例如,用戶在手h觸摸顯示器3的狀態(tài)下移動手h,來進行圖像的放大或縮小、顯示區(qū)域的改變,或者換頁等。
活動分配部25根據(jù)該判斷結(jié)果將活動信息輸出到筆畫處理部32、操作處理部26、以及手勢處理部27中的任意一個。
用圖4的流程圖來描述活動分配部25中的處理(以下也稱為”活動分配處理“)。
首先在步驟s401,從坐標檢測部22取得位置坐標。
在下一個步驟s403,判斷位置是否與ui區(qū)域重疊。ui區(qū)域是指顯示器畫面上顯示ui的要素的區(qū)域(參見圖19)。如果位置不與ui區(qū)域重疊,則此處判斷為否定,移動到步驟s405。
在步驟s405,根據(jù)接觸檢測部24的檢測結(jié)果,判斷電子筆4是否受到推壓。如果電子筆4受到推壓,則此處判斷為肯定,移動到步驟s407。
在步驟s407,判斷活動是“筆畫描繪”。
在下一個步驟s409,將活動信息輸出到筆畫處理部32。而后結(jié)束活動分配處理。
在上述步驟s405中,如果電子筆4未受到推壓,則步驟s405的判斷為否定,移動到步驟s411。
在步驟s411,判斷活動為“手勢操作”。
在下一個步驟s413,將活動信息輸出到手勢處理部27。而后結(jié)束活動分配處理。
如果在上述步驟s403中,位置與ui區(qū)域重疊,則步驟s403的判斷為肯定,移動到步驟s415。
在步驟s415,判斷活動為“ui操作”。
在下一個步驟s417,將活動信息輸出到操作處理部26。而后結(jié)束活動分配處理。
返回圖3,操作處理部26收到被活動分配部25判斷為“ui操作”的活動信息,實行與發(fā)生該活動的ui的要素相對應的操作?!皍i操作”包含復制(copy)、剪切(cut)、粘貼(paste)操作,復印、剪切、粘貼的操作被通知到圖像處理部30。
手勢處理部27收到被活動分配部25判斷為“手勢操作”的活動信息,實行與此相對應的操作。
筆畫處理部32收到被活動分配部25判斷為“筆畫描繪”的活動信息,實行描繪筆畫圖像、刪除已經(jīng)繪制的筆畫圖像、以及編輯已經(jīng)繪制的筆畫圖像。筆畫處理部32在接受了復制、剪切、粘貼的操作后,實行這些處理。
將筆畫圖像的描繪、刪除、編輯、復制、剪切、粘貼的各項結(jié)果輸出到顯示重疊部36以及頁處理部37,同時作為操作數(shù)據(jù),保存到數(shù)據(jù)管理部80的操作數(shù)據(jù)存儲部840(參見圖15)。
在此詳述復制、剪切、粘貼的操作以及處理。圖5顯示一例,其中設定顯示器3上顯示筆畫圖像401以及ui的一個要素即按鈕402。顯示器3上還可以顯示多個筆畫圖像。在此為了方便,省略顯示ui中除按鈕402以外的其他要素。
用戶選擇筆畫圖像401后,用虛線包圍筆畫圖像401,表明受到選擇(參見圖6)。用戶可以通過點擊或包圍筆畫圖像401來選擇筆畫圖像401。
而后,用戶按動按鈕402后,作為一例,如圖7所示,顯示副菜單403。而后,用戶按動副菜單403中的“剪切”鍵405后,頁處理部37將筆畫圖像401的數(shù)據(jù)(筆畫數(shù)據(jù))保存到頁數(shù)據(jù)存儲部300,同時刪除顯示器3上顯示的筆畫圖像401(參見圖8)。
接著,用戶按動副菜單403中的“粘貼”鍵406,點擊顯示器3上需要的粘貼位置9(參見圖9)后,通過頁處理部37讀取保存在頁存儲部300中的筆畫圖像401的數(shù)據(jù)。而后,根據(jù)該數(shù)據(jù)生成筆畫圖像,并以點擊位置作為中心位置,粘貼該筆畫圖像(參見圖10)。從坐標檢測部22的檢測結(jié)果獲知受到點擊的位置。
圖7中用戶按動副菜單403中的“復制”鍵404后,頁處理部37將筆畫圖像401的數(shù)據(jù)保存到頁數(shù)據(jù)存儲部300中。此時筆畫圖像401未被刪除。
接著,用戶按動副菜單403中的“粘貼”鍵406,點擊顯示器3上需要粘貼的位置(參見圖11)后,頁處理部37讀取保存在頁數(shù)據(jù)存儲部300中的筆畫圖像401的數(shù)據(jù)。根據(jù)該數(shù)據(jù)生成筆畫圖像,并以點擊位置作為中心位置,粘貼該筆畫圖像(參見圖12)。也就是說,顯示器3上顯示筆畫圖像401的復制件(參見圖13)。
可以用快捷菜單來取代按鈕402。此時,在用戶選擇筆畫圖像401后,例如顯示圖14所示的快捷菜單413。在此,以設定筆畫圖像被選擇后快捷菜單自動顯示為例進行描述,但是本發(fā)明不受此限制。
當用戶選擇快捷菜單413中的“復制”后,頁處理部37將筆畫圖像401的數(shù)據(jù)保存到頁數(shù)據(jù)存儲部300中。
接著,用戶長按顯示器3上需要粘貼的位置后,該位置附近便會顯示快捷菜單413(參見圖15)。而選擇了快捷菜單413中的“粘貼”416后,通過頁處理部37從頁數(shù)據(jù)存儲部300讀取據(jù)保存在其中的筆畫圖像401的數(shù)據(jù)。而后根據(jù)該數(shù)據(jù)生成筆畫圖像,并以點擊位置作為中心位置,粘貼該筆畫圖像(參見圖17)。關于粘貼位置的指定,除了長按需要粘貼位置以外,還可以使用其他方法,例如二次點擊粘貼位置。此外,還可以預設指定粘貼位置的手勢。
影像重疊部28在顯示器3上顯示經(jīng)過顯示重疊部36重疊的圖像(以下簡稱為“重疊圖像“)。影像重疊部28不僅可以把顯示重疊圖像顯示到整個顯示器3上,而且還將電視會議終端7發(fā)送的影像另外顯示在顯示器3的一部分上(圖中圖)。影像重疊部28能夠?qū)嵭酗@示切換,將另外顯示的影像顯示到整個顯示器3上。
圖像取得部31將來自影像取得部21的計算機輸出影像中包含的幀信息作為圖像來取得,并輸出到顯示重疊部36和頁處理部37。以下出于方便,將圖像取得部31取得的圖像稱為“計算機輸出圖像”。
ui圖像生成部33生成預設的ui圖像,并輸出到顯示重疊部36。
背景生成部34從頁處理部37接收頁處理部37從頁數(shù)據(jù)存儲部300讀取的頁數(shù)據(jù)中包含的媒體數(shù)據(jù),并將該媒體數(shù)據(jù)輸出到顯示重疊部36。背景圖像的圖案為白底、方格等。
布置管理部35管理關于圖像取得部31輸出的圖像、筆畫處理部32輸出的圖像、ui圖像生成部33或背景生成部34輸出的圖像的布置信息(以下稱為“布置信息”)。該布置信息被輸出到顯示重疊部36。
據(jù)此,布置管理部35能夠向顯示重疊部36發(fā)出在ui圖像以及背景圖像中的哪一個位置顯示或者非顯示計算機輸出圖像以及筆畫圖像的指示。
顯示重疊部36根據(jù)來自布置管理部35的布置信息,實行圖像取得部31輸出的圖像、筆畫圖像處理部32輸出的圖像、ui圖像生成部33或背景生成部輸出的圖像的布置。
頁處理部36將有關筆畫圖像的數(shù)據(jù)和關于計算機輸出圖像的數(shù)據(jù)歸納為一頁數(shù)據(jù),保存到業(yè)數(shù)據(jù)存儲部300中。
圖18顯示一例頁數(shù)據(jù)。業(yè)數(shù)據(jù)包含頁數(shù)據(jù)id、開始時刻、結(jié)束時刻、筆畫排列數(shù)據(jù)id、以及媒體數(shù)據(jù)id。
頁數(shù)據(jù)id用于識別頁。開始時刻是表示該頁開始顯示的時刻。結(jié)束時刻表示頁數(shù)據(jù)更新結(jié)束的時刻。筆畫排列數(shù)據(jù)id用于識別由“筆畫描繪”活動生成的筆畫排列數(shù)據(jù)。
媒體數(shù)據(jù)id用于識別媒體數(shù)據(jù)。筆畫排列數(shù)據(jù)用于在顯示器3上顯示筆畫圖像。媒體數(shù)據(jù)用于在顯示器3上顯示背景圖像。
有關于筆畫圖像的數(shù)據(jù),作為與筆畫排列數(shù)據(jù)id相關聯(lián)的筆畫排列數(shù)據(jù),構(gòu)成頁數(shù)據(jù)的一部分。有關于計算機輸出圖像的數(shù)據(jù),作為與媒體數(shù)據(jù)id相關聯(lián)的媒體數(shù)據(jù),構(gòu)成頁數(shù)據(jù)的一部分。該媒體數(shù)據(jù)被從業(yè)數(shù)據(jù)存儲部300中讀取后,被當作背景圖像的數(shù)據(jù)來處理。
頁處理部37將暫時保存的頁數(shù)據(jù)中的媒體數(shù)據(jù)通過背景生成部34送往顯示重疊部36后,影像重疊部28能夠在顯示器3上再現(xiàn)背景圖像。
頁處理部37將暫時保存的頁數(shù)據(jù)中的筆畫排列數(shù)據(jù)送回到筆畫處理部32后,便處于能夠重新編輯筆畫圖像的狀態(tài)。進而頁處理部37還能夠刪除或復制頁數(shù)據(jù)。
換言之,在頁處理部37將頁數(shù)據(jù)保存到頁數(shù)據(jù)存儲部300中的時間點開始,顯示器3上顯示的計算機輸出圖像的數(shù)據(jù)便被保存到頁數(shù)據(jù)存儲部300,而后,在從頁數(shù)據(jù)存儲部300中讀取該數(shù)據(jù)之際,將該數(shù)據(jù)作為表示背景圖像的媒體數(shù)據(jù)來讀取。
而后,頁處理部37將從頁數(shù)據(jù)存儲部300讀取的頁數(shù)據(jù)中的筆畫排列數(shù)據(jù)輸出到筆畫處理部32。另外,頁處理部37還將從頁數(shù)據(jù)存儲部300讀取的頁數(shù)據(jù)中的媒體數(shù)據(jù)輸出到背景生成部34。
顯示重疊部36按照布置管理部35指定的布置重疊來自圖像取得部31的計算機輸出圖像、來自筆畫處理部32的筆畫圖像、來自ui圖像生成部33的ui圖像、以及來自背景生成部34的背景圖像。
在此,如圖19所示,設有用于ui圖像的布置、用于筆畫圖像的布置、用于計算機輸出圖像的布置以及用于背景圖像的布置,從用戶一方觀察時,被重疊為ui圖像處于第一層、筆畫圖像處于第二層、計算機輸出圖像處于第三層、背景圖像處于第四層。
顯示重疊部36能夠切換計算機輸出圖像和背景圖像,對ui圖像和筆畫圖像進行排他性重疊。例如,最初在顯示ui圖像、筆畫圖像以及計算機輸出圖像的狀態(tài)下,電子黑板2和筆記本計算機6之間導線10被斷開,在這種情況下,根據(jù)布置管理部35的指示,從重疊對象中去掉計算機輸出圖像,顯示背景圖像。顯示重疊部36還實行顯示的放大、縮小以及顯示區(qū)域的移動的處理。
圖20顯示一例筆畫排列數(shù)據(jù)。一個筆畫排列數(shù)據(jù)由多個筆畫數(shù)據(jù)構(gòu)成。各個筆畫數(shù)據(jù)在每個“筆畫描繪”活動中生成。
例如,用戶用電子筆4描寫字母“s”時只要寫一劃,因而,可以用一個筆畫數(shù)據(jù)id表示一個文字字母“s”。再如用戶用電子筆4描寫字母“t”時,需要寫兩劃,為此需要兩個筆畫數(shù)據(jù)id表示一個文字字母“t”。
每個筆畫數(shù)據(jù)包含筆畫數(shù)據(jù)id、開始時刻、結(jié)束時刻、顏色、粗細以及坐標排列數(shù)據(jù)id。
筆畫數(shù)據(jù)id用于識別該筆畫數(shù)據(jù)。開始時刻是該筆畫開始寫的時刻。結(jié)束時刻是該筆畫結(jié)束寫的時刻。顏色是該筆畫的顏色,粗細是該筆畫的粗細。坐標排列數(shù)據(jù)id用于識別包含關于該筆畫的通過點的信息的坐標排列數(shù)據(jù)。
圖21顯示一例坐標排列數(shù)據(jù)。坐標排列數(shù)據(jù)包含通過的多個點(通過點)的每個通過點的信息,即在顯示器3上的位置(x坐標值,y坐標值)、通過該位置時與筆畫開始時刻之間的時間差(m秒)、以及該位置上電子筆4的筆壓。例如,用戶用電子筆4描寫字母“s”時雖然只要寫一劃,但是在“s”寫完之前需要通過多個通過點,為此,坐標排列數(shù)據(jù)含有這些多個通過點的信息。
圖22顯示一例媒體數(shù)據(jù)。各個媒體數(shù)據(jù)包含媒體數(shù)據(jù)id、數(shù)據(jù)種類、記錄時刻、x坐標值、y坐標值、寬度、高度以及數(shù)據(jù)。
媒體數(shù)據(jù)id用于識別媒體數(shù)據(jù)。數(shù)據(jù)的種類是媒體數(shù)據(jù)的種類。紀錄時刻是頁數(shù)據(jù)被從頁處理部37保存到頁數(shù)據(jù)存儲部300中的時刻。x坐標和y坐標是根據(jù)頁數(shù)據(jù)顯示器3上顯示的圖像的位置。寬度和高度是圖像的大小。數(shù)據(jù)表示媒體數(shù)據(jù)的內(nèi)容。
其中,顯示器3上根據(jù)頁數(shù)據(jù)顯示的圖像的位置表示,在以顯示器3左上端的坐標(x坐標,y坐標)=(0,0)時該圖像的左上端位置。
返回圖3,遠程協(xié)議管理表310管理用于實行遠程共有處理所需要的協(xié)議數(shù)據(jù)。
圖23顯示一例遠程協(xié)議管理表310。遠程協(xié)議管理表310包含產(chǎn)品id、協(xié)議id、以及有效期限。產(chǎn)品工d是電子黑板2的產(chǎn)品id。協(xié)議id是用于認證的id。有效期限是協(xié)議的有效期限。
以下描述文件處理部40的功能。圖24是文件處理部40的功能模塊圖。
該文件處理部40具有修復處理部41、文件輸入部42a、文件輸出部42b、文件轉(zhuǎn)換部43、文件送信部44、地址輸入部45、備份處理部46、備份輸出部47、設定管理部48、設定文件輸入部49a、設定文件輸出部49b、以及地址輸入部50。
文件處理部40還具有地址管理表410、備份數(shù)據(jù)存儲部420、設定文件存儲部430、以及連接對象管理表440。
修復處理部41用于在電子黑板2因電源切斷等異常結(jié)束的情況下,下一次電源接通時,檢測異常結(jié)束,恢復頁數(shù)據(jù)。
例如,在電子黑板2正常結(jié)束時,文件處理部40將頁數(shù)據(jù)作為pdf文件保存到usb存儲器5中,而在異常結(jié)束時,頁數(shù)據(jù)依然保存在頁數(shù)據(jù)存儲部300中。為此,修復處理部41在下一次電子黑板2啟動(on)時,檢測到異常結(jié)束,從頁數(shù)據(jù)存儲部300讀取頁數(shù)據(jù),對該頁數(shù)據(jù)進行修復。
文件轉(zhuǎn)換部43將頁數(shù)據(jù)存儲部300中保存的頁數(shù)據(jù)轉(zhuǎn)換為pdf文件。頁數(shù)據(jù)存儲部300中保存多個頁數(shù)據(jù)時,既可以多個頁數(shù)據(jù)分別單獨地,即以頁為單位,轉(zhuǎn)換為多個pdf文件,也可以統(tǒng)一轉(zhuǎn)換為一個pdf文件。在此,經(jīng)過轉(zhuǎn)換的pdf文件被輸出到備份處理部46和文件送信部44。
文件輸入部42a從usb存儲器中讀取pdf文件,將各頁作為頁數(shù)據(jù)保存到頁數(shù)據(jù)存儲部300中。如果usb存儲器5中保存多個pdf文件,則文件輸入部42a讀取所有文件。
文件輸出部42b將文件轉(zhuǎn)換部43輸出的pdf文件保存到usb存儲器5中。
文件送信部44將從文件轉(zhuǎn)換部43輸出的pdf文件附加在電子郵件中。用戶可以用電子筆4或者手h,通過顯示重疊部36,選擇顯示器3上顯示的地址管理表410中的文件發(fā)送對象。
圖25顯示地址管理表410。地址管理表410中相關聯(lián)地保存發(fā)送對象的名稱和發(fā)送對象的郵件地址。
此外,用戶還可以用電子筆4輸入發(fā)送對象的郵址。
地址輸入部45從usb存儲器5讀取郵址一覽表文件(郵址簿),并保存到地址管理表410中。
備份處理部46實行備份處理,將文件輸出部42b輸出的文件以及文件送信部44發(fā)送的文件保存到備份數(shù)據(jù)存儲部420。
圖26顯示一例備份數(shù)據(jù)。備份數(shù)據(jù)被保存為pdf形式的文件(pdf文件)。該備份處理在用戶設定“備份處理有效”的情況下實施,如果為設定則不實施。
備份輸出部47將備份文件保存到usb存儲器5中。存儲時,為了確保安全,向用戶要求密碼輸入。usb存儲器5中保存的文件可以通過文件輸入部42a讀取。
設定管理部48在將電子黑板2的各種設定信息保存到設定文件存儲部430中的同時,還從設定文件存儲部430中讀取各種設定信息。關于各種設定信息,例如有有關網(wǎng)絡的信息、日期和時刻、區(qū)域和語言、有關郵件服務器的信息、地址簿、連接對象名單、有關備份的信息等。有關網(wǎng)絡的信息包含例如電子黑板2的ip地址、網(wǎng)絡掩碼、默認網(wǎng)關、dns(domainnamesystem)等。
設定文件輸出部49b將電子黑板2的上述各種設定信息作為設定文件保存到usb存儲器5中。從安全保證的觀點出發(fā),用戶不能夠看到文件內(nèi)容。
設定文件輸入部49a從usb存儲器5讀取設定文件,并將該內(nèi)容輸出到設定管理部48。據(jù)此,各種設定信息便被反映到電子黑板2的各種設定內(nèi)容上。
地址輸入部50從usb存儲器5讀取遠程共有處理的連接對象ip地址的一覽表即連接對象名單(例如cvs格式的電子文件),并保存到連接對象管理表440中。
連接對象管理表440在電子黑板2為參加裝置(參加由召集裝置開啟的遠程共有處理的電子黑板)時,為了省去用戶輸入召集裝置(召集遠程共有處理的電子黑板)的ip地址的手續(xù),事先具有保存電子黑板2的ip地址的表格。
圖27顯示一例連接對象管理表440。連接對象管理表440將具有召集裝置功能的電子黑板2的名稱與ip地址相關聯(lián)。在圖27中用電子黑板2的設置場所作為該電子黑板2的名稱。
此外,參加裝置的用戶可以用電子筆4逐個輸入召集裝置的ip地址,用以取代使用連接對象管理表440。在這種情況下,參加裝置的用戶需要通過與召集裝置用戶的電話或電子郵件來了解ip地址。
以下描述通信控制部60的功能。
通信控制部60控制通過通信網(wǎng)絡9實行的與其它電子黑板2之間的通信以及與服務部90的通信控制部70之間的通信。通信控制部60如圖28所示,具有遠程開始處理部61、遠程參加處理部62、遠程圖像送信部63、遠程圖像收信部64、遠程操作送信部65、遠程操作收信部66以及參加地點管理表610。
遠程開始處理部61對同一個電子黑板2的服務器部90提出開始新的遠程共有處理的要求,并從服務器部90接收該要求的答復結(jié)果。此外,在提出要求之前,遠程開始處理部61參考遠程協(xié)議管理表310,確認協(xié)議信息(電子黑板2的產(chǎn)品id、協(xié)議id、以及有效期限)是否受到管理。而后,在協(xié)議信息受到管理的情況下,遠程開始處理部61可以提出遠程共有處理的開始要求,而如果協(xié)議信息未受到管理時,則不能夠提出遠程共有處理的開始要求。
在電子黑板2為召集裝置時,參加地點管理表610用于管理作為參加遠程共有處理的參加裝置的電子黑板2。圖29顯示一例參加地點管理表610。參加地點管理表610中參加裝置即電子黑板2的名稱與ip地址相關聯(lián)。圖29所示的例子用電子黑板2的設置場所作為電子黑板2的名稱。
遠程參加處理部62通過通信網(wǎng)絡9向召集裝置(召開遠程共有處理的電子黑板2)中服務器部90的遠程連接要求收信部71提出要求,要求其參加遠程共有處理,而后遠程參加處理部62從服務器90接收該要求的答復結(jié)果。遠程參加處理部62在提出要求之前先參考遠程協(xié)議管理表310。
對于參加已經(jīng)開始的遠程共有處理時,遠程參加處理部62參考連接對象管理表440,取得召集裝置的ip地址。此外,用戶可以用電子筆4逐個輸入召集裝置的ip地址,用以遠程參加處理部62取代參考連接對象管理表440。
遠程圖像送信部63將來自圖像取得部31的計算機輸出圖像送往服務器部90的遠程圖像收信部73。
客戶部20的遠程圖像收信部64接收來自服務器部90的遠程圖像送信部74的其他電子黑板2上的計算機輸出圖像的數(shù)據(jù),并輸出到顯示重疊部36。這樣,便能夠?qū)嵭羞h程共有處理。
遠程操作送信部65將對遠程共有處理所必需要的操作數(shù)據(jù)送往服務器部90的遠程操作收信部75。關于操作數(shù)據(jù),例如有關于加入筆畫圖像、刪除筆畫圖像、編輯筆畫圖像(放大、縮小、移動)、復制筆畫圖像、剪切筆畫圖像、粘貼筆畫圖像、保存頁數(shù)據(jù)、切換正在顯示的頁等數(shù)據(jù)。
遠程操作收信部66接收由服務器部90的遠程操作送信部76發(fā)送的被輸入其他電子黑板2的操作數(shù)據(jù),并將該操作數(shù)據(jù)輸出到圖像處理部30。這樣便能夠?qū)嵭羞h程共有處理。
以下描述服務器部90的功能。如圖28所示,服務器部90大致上可分為通信控制部70和數(shù)據(jù)管理部80。
首先描述通信控制部70的功能。通信控制部70實行以下控制,(1)與相同電子黑板2中客戶部20的通信控制部60之間的通信,(2)與其它電子黑板2中的客戶部20的通信控制部60之間經(jīng)由通信網(wǎng)絡9的通信。
通信控制部70具有遠程連接要求收信部71、遠程連接結(jié)果送信部72、遠程圖像收信部73、遠程圖像送信部74、遠程操作收信部75、遠程操作送信部76。
遠程連接要求收信部71接收遠程開始處理部61發(fā)送的遠程共有處理的開始要求,并通過通信網(wǎng)絡9接收其他電子黑板2的遠程參加處理部62發(fā)送的遠程共有處理參加要求。
遠程連接結(jié)果送信部72向遠程開始處理部61發(fā)送遠程共有處理開始要求的結(jié)果,或者經(jīng)由通信網(wǎng)絡9向其他電子黑板2的遠程參加處理部62發(fā)送遠程共有處理參加要求的結(jié)果。
遠程操作收信部75接收遠程操作送信部65發(fā)送的操作數(shù)據(jù),并送往遠程操作處理部83。遠程操作送信部76在收到遠程操作處理部83發(fā)送的操作數(shù)據(jù)后,將該操作數(shù)據(jù)送往遠程操作收信部66。
遠程操作收信部75接收遠程操作送信部65發(fā)送的操作數(shù)據(jù),并送往遠程操作處理部83。遠程操作送信部76在遠程操作處理部83收到操作數(shù)據(jù)后,向遠程操作收信部66發(fā)送該操作數(shù)據(jù)。
以下描述數(shù)據(jù)管理80的功能。數(shù)據(jù)管理部80如圖28所示,具有遠程連接處理部81、遠程圖像處理部82、遠程操作處理部83、操作合成處理部84、頁處理部85、密碼管理部810、參加地點管理表820、圖像數(shù)據(jù)存儲部830、操作數(shù)據(jù)存儲部840以及頁數(shù)據(jù)存儲部850。
遠程連接處理部81實行遠程共有處理的開始和結(jié)束。遠程連接處理部81根據(jù)遠程連接要求收信部71與遠程共有處理的開始要求一起從遠程開始處理部61收到的協(xié)議信息,或者根據(jù)從遠程參加處理部62與遠程共有處理的參加要求一起收到的協(xié)議要求,確認有無協(xié)議或是否在協(xié)議有效期限以內(nèi)。
遠程連接處理部81還針對來自其他電子黑板2的遠程共有處理的參加要求,確認是否超過預定的允許參加數(shù)量。
在沒有有效的協(xié)議或者參加要求超過允許參加數(shù)量的情況下,遠程連接處理部81否決遠程共有處理的參加要求。
遠程連接處理部81判斷其他電子黑板2與參加遠程共有處理要求一起發(fā)送的密碼,是否與密碼管理部810保管的密碼一致,只有在一致的情況下才能夠獲得遠程共有處理的參加許可。
在開始新的遠程共有處理之際,遠程連接處理部81發(fā)行密碼,該密碼由密碼管理部810保管。要求參加遠程共有處理的參加裝置的用戶,通過召集裝置的用戶的電話或電子郵件等獲得密碼。參加裝置的用戶用電子筆4輸入得到的密碼,從而能夠提出遠程共有處理的參加要求。在此,相比安全如果優(yōu)先考慮用戶的便利,則只要確認協(xié)議的狀況,可以省略確認密碼。
當電子黑板2為召集裝置時,遠程連接處理部81將參加裝置的遠程參加處理部62通過通信網(wǎng)絡9發(fā)送的參加要求中包含的參加地點信息保存到參加地點管理表820。
遠程連接處理部81讀取保管在參加地點管理表820中的遠程地點信息,并送往遠程連接結(jié)果送信部72。
遠程連接結(jié)果送信部72將遠程地點信息送往相同召集裝置的客戶部20中的遠程開始處理部61。而后,遠程開始處理部61將收到的遠程地點信息保存到參加地點管理表610中。這樣,召集裝置中客戶部20和服務器部90雙方均保管了遠程地點信息。
遠程圖像處理部82在收到加入遠程共有處理的電子黑板2(包含召集裝置和參加裝置雙方)的計算機輸出圖像的數(shù)據(jù)后,保存到圖像數(shù)據(jù)存儲部830中,同時按照被送到召集裝置即自己的電子黑板2的服務器部90的時間順序,判斷需要實行遠程共有處理的圖像數(shù)據(jù)的顯示順序。
遠程圖像處理部82參考參加地點管理表820,通過通信控制部70的遠程圖像送信部74,按照上述判斷的順序,向參加遠程共有處理的所有電子黑板2的客戶部20(包括召集裝置即自己的電子黑板的客戶部)發(fā)送圖像數(shù)據(jù)。
遠程操作處理部83接收加入遠程共有處理的電子黑板2(包含召集裝置和參加裝置雙方)中的操作數(shù)據(jù),按照被送到召集裝置即自己的電子黑板2的服務器部90的時間順序,判斷需要實行遠程共有處理的圖像數(shù)據(jù)的顯示順序。
操作數(shù)據(jù)與上述操作數(shù)據(jù)相同。遠程操作處理部83參考參加地點管理表820,向加入遠程共有處理的所有電子黑板2的客戶部20(包括召集裝置和參加裝置雙方)發(fā)送操作數(shù)據(jù)。
操作合成處理部84合成遠程操作處理部83輸出的各種電子黑板的操作數(shù)據(jù),在將作為合成結(jié)果的操作數(shù)據(jù)保存到操作數(shù)據(jù)存儲部840中的同時,還送回到遠程操作處理部83。被送回遠程操作處理部83的操作數(shù)據(jù)經(jīng)由遠程操作送信部76,分別被送往召集裝置和參加裝置中的客戶部20。這樣,各臺電子黑板上便能夠顯示基于相同的操作數(shù)據(jù)的圖像。
圖30顯示一例操作數(shù)據(jù)。操作數(shù)據(jù)中包含被相關聯(lián)的seq(sequence)、操作數(shù)據(jù)的操作名、發(fā)送操作數(shù)據(jù)的電子黑板2的ip地址以及該電子黑板2的客戶部或服務器部的端口編號、接收操作數(shù)據(jù)的電子黑板2的ip地址以及該電子黑板2的客戶部或服務器部的端口編號、操作數(shù)據(jù)的操作種類、操作數(shù)據(jù)的操作對象、以及表示操作內(nèi)容的數(shù)據(jù)。
操作名為add、updata、delete、copy、paste、cut等。add是指新描繪的筆畫畫,updata是指編輯已經(jīng)描繪了的筆畫畫。delete是指刪除已經(jīng)描繪了的筆畫畫。copy是指復制已經(jīng)描繪了的筆畫畫。paste是指粘貼被保持的描繪了的筆畫畫。cut是指剪切已經(jīng)描繪了的筆畫畫。copy和cut中被選筆畫畫的數(shù)據(jù)受到保持。
例如,關于操作數(shù)據(jù)seq1,表示在召集裝置即電子黑板(ip地址為“192.0.0.1”)的客戶部(端口編號為“50001”)上描繪筆畫畫,操作數(shù)據(jù)被送往相同召集裝置即即電子黑板(ip地址為“192.0.0.1”)的服務器部(端口編號為“50000”)。此時的操作名為“add”,操作種類為“stroke”,操作對象為“id為p005的頁數(shù)據(jù)”,表示操作內(nèi)容的數(shù)據(jù)為“筆畫數(shù)據(jù)”。
關于操作數(shù)據(jù)seq2,表示從召集裝置即電子黑板(ip地址為“192.0.0.1”)的客戶部(端口編號為“50001”)向參加裝置即其他電子黑板(ip地址為“192.0.0.2)的客戶部(端口編號為“50001”)發(fā)送操作數(shù)據(jù)。此時的操作名為“add”,操作種類為“stroke”,操作對象為“id為p005的頁數(shù)據(jù)”,表示操作內(nèi)容的數(shù)據(jù)為“筆畫數(shù)據(jù)”。
操作合成處理部84為了按照輸入順序合成操作數(shù)據(jù),如果通信網(wǎng)絡9不擁擠,則按照個電子黑板2的用戶的筆畫順序,在所有加入遠程共有處理的電子黑板2的顯示器3上顯示筆畫圖像。
頁處理部85具有與客戶部20的圖像處理部30中的頁處理部37相同的功能。將頁數(shù)據(jù)保存到頁數(shù)據(jù)存儲部850。頁數(shù)據(jù)存儲部850與圖像處理部30內(nèi)的頁數(shù)據(jù)存儲部300具有相同功能,在此省略描述。
以下參考圖31至圖34,描述在本實施方式涉及的圖像處理系統(tǒng)1包含的多個電子黑板之間實施的遠程共有處理中,各臺電子黑板的動作。
在此,以圖像處理系統(tǒng)1僅包含三臺電子黑板(2a,2b,2c)為例,電子黑板2a為遠程共有處理的召集裝置,電子黑板2b和2c為參加由電子黑板2a召開的遠程共有處理的參加裝置。
電子黑板2a、2b、2c分別具有顯示器3a、3b、3c。電子黑板2a、2b、2c分別連接筆記本計算機6a、6b、6c。進而,電子黑板2a、2b、2c分別使用電子筆4a、4b、4c。
(1)參加處理
首先描述電子黑板2b、2c參加遠程共有處理。
設電子黑板2a、2b、2c的電源分別由用戶接通,為此,各臺電子黑板的客戶部20均被啟動。
首先,電子黑板2a的用戶用電子筆4a實行啟動服務器部90的操作后,客戶部20的遠程開始處理部61向同一個電子黑板2a的服務器部90中的遠程連接要求收信部71輸出要求開始服務器部90的處理的指示。據(jù)此,電子黑板2a能夠開始服務器90中的各種處理(步驟s21)。
其次,電子黑板2a中,客戶部20的ui圖像生成部33生成用于與電子黑板2a建立連接的連接信息,并輸出到顯示重疊部36。影像重疊部28通過顯示重疊部36獲得該連接信息,將該連接信息顯示到顯示器3a上(步驟s22)。該連接信息由電子黑板2a的用戶用電話或電子郵件傳送給電子黑板2b和2c的用戶。
上述連接信息中包含召集裝置的ip地址以及為本次遠程共有處理而生成的密碼。
在此,遠程連接處理部81讀取密碼管理部810保存的密碼,依次送往遠程鏈接結(jié)果送信部72和遠程開始處理部61。進而,含有遠程開始處理部61的通信控制部60將密碼送往圖像處理部30,最終輸入ui圖像生成部33。
如果具有連接對象管理表440,則即便連接信息中不包含召集裝置的ip地址,參加裝置也能夠提出參加要求。
而后,在電子黑板2b上當用戶用電子筆4b輸入連接信息后,電子黑板2b的客戶部20中,遠程參加處理部62根據(jù)連接信息的ip地址,經(jīng)由通信網(wǎng)絡9,向電子黑板2a的服務器部90中的通信控制部70發(fā)送密碼,提出參加要求(步驟s23)。
同樣,在電子黑板2c上當用戶用電子筆4c輸入連接信息后,電子黑板2c的客戶部20中,遠程參加處理部62根據(jù)連接信息的ip地址,經(jīng)由通信網(wǎng)絡9,向電子黑板2c的服務器部90中的通信控制部70發(fā)送密碼,提出參加要求(步驟s24)。
在電子黑板2a中,當通信控制部70的遠程連接要求收信部71收到電子黑板2b和2c提出的參加要求(包含密碼)后,將該密碼輸出到遠程連接處理部81。
而后,在電子黑板2a中遠程連接處理部81用密碼管理部810管理的密碼對從電子黑板2b和2c收到的密碼進行認證(步驟s25)。
而后,電子黑板2a的遠程連接結(jié)果送信部72通知電子黑板2b和2c的客戶部20關于認證結(jié)果(步驟s26、s27)。
在上述步驟s25的認證中,如果判斷電子黑板2b和2c是正當?shù)碾娮雍诎?,則建立召集裝置的電子黑板2a與參加裝置的電子黑板2b和2c之間的遠程共有處理的通信,允許電子黑板2b和2c中客戶部20的遠程參加處理部62分別開始與其他電子黑板之間的遠程共有處理(步驟s28、s29)。
(2)計算機輸出圖像的顯示
接著描述遠程共有處理中計算機輸出圖像的顯示。在此,描述一例將電子黑板2b上的計算機輸出圖像顯示到電子黑板2a的顯示器3a、以及顯示到電子黑板2c的顯示器3c上。以下出于方便,將電子黑板2b上的計算機輸出圖像表述為計算機輸出圖像2b。具體如下。
電子黑板2b的圖像取得部31從筆記本計算機6b的輸出影像(計算機輸出影像)中取得計算機輸出圖像(2b)。該計算機輸出圖像(2b)通過顯示重疊部36和影像重疊部28被送往顯示器3b,顯示在顯示器3b上。
其次,在電子黑板2b中,圖像取得部31向遠程圖像送信部63發(fā)送計算機輸出圖像(2b)。遠程圖像送信部63將該計算機輸出圖像(2b)的數(shù)據(jù)通過通信網(wǎng)絡9送往電子黑板2a的通信控制部70(步驟s31)。
在電子黑板2a中,遠程圖像收信部73收到電子黑板2b發(fā)送的計算機輸出圖像(2b)后,將該計算機輸出圖像(2b)輸出到遠程圖像處理部82,由遠程輸出圖像處理部82將該計算機輸出圖像(2b)的數(shù)據(jù)保存到圖像數(shù)據(jù)存儲部830。
其次,電子黑板2a將來自電子黑板2b的計算機輸出圖像(2b)顯示到顯示器3a上(步驟s32)。具體如下。
在電子黑板2a中,遠程圖像處理部82將遠程圖像收信部73收到的來自電子黑板2b的計算機輸出圖像(2b)輸出到遠程圖像送信部74,由該遠程圖像送信部74將該計算機輸出圖像(2b)的數(shù)據(jù)輸出到同為電子黑板2a中客戶部20的遠程圖像收信部64。
而后,電子黑板2a的遠程圖像收信部64將來自電子黑板2b的計算機輸出圖像(2b)輸出到顯示重疊部36,由顯示重疊部36將該計算機輸出圖像(2b)的數(shù)據(jù)輸出到影像重疊部28。進而,影像重疊部28將該計算機輸出圖像(2b)的數(shù)據(jù)輸出到顯示器3a。據(jù)此,顯示器3a便能夠顯示來自電子黑板2b的計算機輸出圖像(2b)。
而后,在電子黑板2a中,服務器部90的遠程圖像送信部74通過通信網(wǎng)絡9向電子黑板2c發(fā)送來自電子黑板2b的計算機輸出圖像(2b)的數(shù)據(jù)(步驟s33)。
這樣,電子黑板2c的遠程圖像收信部64收到電子黑板2b的計算機輸出圖像(2b)的數(shù)據(jù)。
而后,電子黑板2c在顯示器3c上顯示電子黑板2b的計算機輸出圖像(2b)(步驟s34)。具體如下,
電子黑板2c中,遠程圖像收信部64收到來自電子黑板2a的計算機輸出圖像(2b)的數(shù)據(jù)后,將該計算機輸出圖像(2b)的數(shù)據(jù)輸出到電子黑板2c的顯示重疊部36,由該顯示重疊部36將該計算機輸出圖像(2b)的數(shù)據(jù)輸出到影像重疊部28。
影像重疊部28向顯示器3才輸出該計算機輸出圖像(2b)的數(shù)據(jù)。據(jù)此,顯示器3c便能夠顯示來自電子黑板2b的計算機輸出圖像(2b)。
不僅計算機輸出圖像的數(shù)據(jù),如果影像重疊部28中還輸入ui圖像以及筆畫圖像的各種數(shù)據(jù),則顯示重疊部36生成ui圖像和筆畫圖像與計算機輸出圖像的重疊圖像,由影像重疊部28將該重疊圖像的數(shù)據(jù)輸出到顯示器3c。
此外,在影像重疊部28中如果輸入了來自電視會議終端7的電會議用影像(以下稱為“會議影像”)的數(shù)據(jù)的情況下,影像重疊部28用圖中圖將會議影像重疊到上述重疊圖像上,輸出到顯示器3c。
(3)重疊圖像的顯示
接著描述遠程共有處理中顯示重疊圖像的處理。在此以電子黑板2b的重疊圖像顯示到電子黑板2a和2c的顯示器3a和2c上為例進行描述。
首先,在電子黑板2b中,用戶用電子筆4b在電子黑板2b上描繪筆畫圖像(步驟s41)。以下出于方便,將在此描繪的筆畫圖像表述為“筆畫圖像(2b)”。
其次,電子黑板2b的顯示重疊部36將筆畫圖像(2b)重疊到ui圖像和計算機輸出圖像上。而后,影像重疊部28將ui圖像、筆畫圖像(2b)以及計算機輸出圖像重疊構(gòu)成的重疊圖像顯示到電子黑板2b的顯示器3b上(步驟s42)。具體如下。
首先,電子黑板2b的筆畫處理部32從活動分配部25接受筆畫圖像(2b)的數(shù)據(jù),送往顯示重疊部36。據(jù)此,顯示重疊部36便能夠?qū)⒐P畫圖像(2b)重疊到ui圖像和計算機輸出圖像上,影像重疊部28能夠?qū)⒃撝丿B圖像顯示到電子黑板2b的顯示器3b上。
其次,在電子黑板2b中,圖像處理部30向遠程操作送信部65輸出筆畫圖像(2b),由該遠程操作送信部65將筆畫圖像(2b)的數(shù)據(jù)通過網(wǎng)絡9送往電子黑板2a的通信控制部70(步驟s43)。
在電子黑板2a中,遠程操作收信部75收到來自電子黑板2b的筆畫圖像(2b)的數(shù)據(jù)后,輸出到遠程處理部83,由該遠程處理部83將該筆畫圖像(2b)的數(shù)據(jù)輸出到操作合成處理部84。
據(jù)此,每當在電子黑板2b上描繪后,召集裝置的電子黑板2a的遠程操作處理部83便會依次發(fā)送描繪的筆畫圖像(2b)的數(shù)據(jù)。該筆畫圖像(2b)的數(shù)據(jù)是以各個筆畫數(shù)據(jù)id表示的數(shù)據(jù)。據(jù)此,例如用戶用電子筆4b描繪字母“t”時,由于是二筆劃,因而依次發(fā)送以兩個筆畫數(shù)據(jù)id分別顯示的筆畫圖像(2b)的數(shù)據(jù)。
而后,電子黑板2a將電子黑板2b送來的包含筆畫圖像(2b)的數(shù)據(jù)在內(nèi)的重疊圖像顯示到顯示器3a上(步驟s44)。具體如下。
首先,電子黑板2a的操作合成處理部84通過遠程操作處理部83,合成依次送來的多個筆畫圖像(2b)的數(shù)據(jù),保存到操作數(shù)據(jù)存儲部840中,同時返回遠程操作處理部83。
這樣,遠程操作處理部83向遠程操作送信部76輸出操作合成處理部84輸出的經(jīng)過合成的筆畫圖線(2b)的數(shù)據(jù),由該遠程操作送信部76將經(jīng)過和成的筆畫圖像(2b)的數(shù)據(jù)輸出到同為電子黑板2a中客戶部20的遠程操作收信部66。
遠程操作收信部66向圖像處理部30中的顯示重疊部36輸出經(jīng)過合成的筆畫圖像(2b)的數(shù)據(jù)。而后,顯示重疊部36將經(jīng)過合成的筆畫圖像(2b)重疊到ui圖像和計算機輸出圖像上。最后,影像重疊部28將顯示重疊部36重疊的重疊圖像輸出到顯示器3a。該重疊圖像與顯示器3b上顯示的重疊圖像相同。
其次,電子黑板2a的服務器部90中的遠程操作送信部76通過通信網(wǎng)絡9將經(jīng)過合成的筆畫圖像(2b)的數(shù)據(jù)送往電子黑板2c的通信控制部60(步驟s45)。
據(jù)此,電子黑板2c的遠程操作收信部66收到經(jīng)過合成的筆畫圖像(2b)的數(shù)據(jù)。
而后,電子黑板2c在顯示器3c上顯示重疊圖像(步驟s46)。具體如下。
電子黑板2c中,遠程操作收信部66收到經(jīng)過合成的筆畫圖像(2b)的數(shù)據(jù)后,將該筆畫圖像(2b)的數(shù)據(jù)輸出到圖像處理部30。在圖像處理部30中,顯示重疊部36將ui圖像以及計算機輸出圖像的各數(shù)據(jù)與筆畫圖像(2b)的數(shù)據(jù)重疊,并將重疊圖像的數(shù)據(jù)輸出到影像重疊部28。
該影像重疊部28向顯示器3c輸出該重疊圖像的數(shù)據(jù)。據(jù)此,顯示器3c便能夠顯示重疊圖像。該重疊圖像與顯示器3a和3b上顯示的重疊圖像相同。
在上述處理中,顯示器3上顯示計算機輸出圖像,對此,也可以顯示背景圖像,用以取代計算機輸出圖像。此外,還可以排除計算機輸出圖像和背景圖像之間的排他關系,在顯示器3上同時顯示計算機輸出圖像和背景圖像的雙方。
(4)筆畫圖像的復制和粘帖
以下參考圖33,描述遠程共有處理中筆畫圖像的復制和粘帖的處理。在此,以電子黑板2c中顯示器3c上顯示的筆畫圖像的復制和粘貼為例進行描述。
電子黑板2c中,用戶復制顯示器3c上顯示的筆畫圖像(步驟s47)。
而后,在電子黑板2c中,用戶粘貼筆畫圖像(步驟s48)。據(jù)此,電子黑板2c中動畫圖象的布置上能夠增加新的筆畫圖像(復制動畫圖像)。以下為了方便起見,將新的筆畫圖像(復制或粘貼的動畫圖象)稱為“筆畫圖像c&p)。
而后,電子黑板2c的圖像處理部30向遠程操作送信部65輸出筆畫圖像c&p的數(shù)據(jù),由該遠程操作送信部65通過通信網(wǎng)絡2,向電子黑板2a的通信控制部70發(fā)送該筆畫圖像c&p的數(shù)據(jù)(步驟s49)。
而后,電子黑板2a將收到的包含筆畫圖像c&p的數(shù)據(jù)在內(nèi)的重疊圖像顯示到顯示器3a上(步驟s50)。
而后,電子黑板2a的服務器部90中的通信控制部70通過通信網(wǎng)絡9,向電子黑板2b的通信控制部60發(fā)送筆畫圖像c&p的數(shù)據(jù)(步驟51)。
這樣,電子黑板2b的遠程操作收信部66便收到筆畫圖像c&p的數(shù)據(jù)。
而后,電子黑板2b在顯示器3b上顯示由電子黑板2a發(fā)送的包含筆畫圖像c&p的數(shù)據(jù)在內(nèi)的重疊圖像(步驟s52)。
(5)結(jié)束參加
接著描述參加裝置結(jié)束參加遠程共有處理的處理。在此以電子黑板2c的結(jié)束參加為例進行描述。
首先,電子黑板2c收到用戶用電子筆4操作提出的結(jié)束參加要求后,遠程參見處理部62向電子黑板2a的服務器90中的通信控制部70提出結(jié)束參加的要求(步驟s61)。
在電子黑板2a中,通信控制部70的遠程連接要求收信部71收到電子黑板發(fā)送的結(jié)束參加要求后,將該結(jié)束要求與電子黑板2c的ip地址一起輸出到遠程連接處理部81。
該遠程連接處理部81根據(jù)遠程連接要求收信部71發(fā)送的ip地址,刪除參加地點管理表820中要求結(jié)束參加的電子黑板2c的ip地址以及設置電子黑板2c的地點名稱,向遠程連接結(jié)果送信部72輸出電子黑板2c的ip地址以及設置地點名稱已被刪除的通知。
而后,電子黑板2a的通信控制部70通過通信網(wǎng)絡9,向電子黑板2c的客戶部20中的通信控制部60發(fā)出結(jié)束參加的指示(步驟s62)。
在電子黑板2c中,通信控制部60的遠程參加處理部62收到來自電子黑板2a的參加結(jié)束指示后,切斷遠程共有處理的通信,實行結(jié)束參加處理據(jù)此,電子黑板2c結(jié)束參加遠程共有處理(步驟s63)。
如上所述,本實施方式涉及的圖像處理系統(tǒng)1具有能夠經(jīng)由通信網(wǎng)絡9互相通信連接的多個電子黑板。而且,各臺電子黑板還連接筆記本計算機6以及電視會議終端7。
電子黑板2具備顯示器3、cpu101、rom102、ram103、ssd104、網(wǎng)絡控制器105、外設存儲控制器106、捕獲器件111、gpu112、顯示控制器113、傳感控制器114、接觸傳感器115、以及電子筆控制器116等。
電子黑板2具有作為客戶部20的功能和作為服務器部90的功能。在電子黑板2為召集裝置的情況下,該電子黑板2的客戶部20和服務器部90同時運行。而在電子黑板2為參加裝置的情況下,該電子黑板2中只有客戶部20運行,而服務器部90不運行。
客戶部20可以分為影像取得部21、坐標檢測部22、自動調(diào)整部23、接觸檢測部24、活動分配部25、操作處理部26、手勢處理部27、影像重疊部28、圖像處理部30、以及通信控制部60。
其中,坐標檢測部22用于在電子筆4或者用戶的手h接觸到顯示器3時,檢測該接觸位置。接觸檢測部24用于檢測接觸的是否是電子筆4。
活動分配部25用于根據(jù)坐標檢測部22檢測到的位置坐標、以及接觸檢測部24的檢測結(jié)果,判斷活動是否是“筆畫繪圖”、“ui操作”、“手勢操作”中的哪一個活動,如果是“筆畫繪圖”,則向圖像處理部30輸出活動信息,如果是“ui操作”,則向操作處理部26輸出活動信息,如果是“手勢操作”,則向手勢操作部27輸出活動信息。
用戶能夠?qū)︼@示器3顯示的任意筆畫圖像實行復制和剪切中任意一種操作。在復制操作中,被選筆畫圖像受到保持,該筆畫圖像以原狀保留在顯示器3上。而在剪切操作中,被選筆畫圖像雖然受到保持,但被從顯示器3上刪除。在復制和剪切的任意一種操作中受到保持的筆畫圖像,在粘貼操作中,能夠顯示到顯示器3任意位置上。
也就是說,在顯示器3顯示的筆畫圖像中,用戶選擇的筆畫圖像的復制件通過復制操作或剪切操作制作,并通過粘貼操作顯示到顯示器3上。
如此,本實施方式涉及的電子黑板2能夠?qū)︼@示裝置顯示的圖像進行復制、剪切以及粘貼,從而提高了用戶使用性能。
本實施方式涉及的電子黑板2將關于復制、剪切以及粘貼的信息,通過通信網(wǎng)絡9發(fā)送到其他電子黑板,方便圖像處理系統(tǒng)1實現(xiàn)遠程共有。
在上述實施方式中,通信網(wǎng)絡9也可以是含有l(wèi)an(localareanetwork)、互聯(lián)網(wǎng)、攜帶電話通信網(wǎng)等的一部分的網(wǎng)絡。
在上述實施方式的描述中以電子黑板作為一例圖像處理裝置,但是本發(fā)明并不受此限制。本發(fā)明同樣可以用于在電子廣告、運動、天氣預報等利用的游戲臺、遠程圖像(影像)診斷裝置等
在上述實施方式的描述中設定文件、備用文件、地址簿等均被放置在usb存儲器5中,但是本發(fā)明并不受此限制,可以用sd卡等其他記錄媒體來取代usb存儲器或者與usb存儲器一起使用,放置上述各種文件。
在上述實施方式的描述中用筆記本計算機作為一例影像輸出設備,但是本發(fā)明不受此限制??梢杂门_式計算機或攜帶式計算機、pda、數(shù)碼相機、數(shù)碼錄像機、游戲機等來取代該筆記本計算機。實際上,只要是能夠輸出圖像幀的終端,均可用來作為影像輸出設備。
在上述實施方式的描述中各種程序被放置在rom102中,但是本發(fā)明并不受此限制。例如各種程序也可以放置在cd或dvd等信息記錄媒體中。此時,電子黑板需要具有用于從信息記錄媒體讀取各種程序的驅(qū)動裝置。
在上述實施方式中,一部分按照cpu101執(zhí)行程序來實現(xiàn)的處理也可以以硬件構(gòu)成。