投影儀，圖形輸入·顯示裝置，便攜終端和程序的制作方法
【專利摘要】本發(fā)明防止向白板寫入的參加者的位置妨礙白板閱覽，為了之后利用包括寫入的記錄的途中經(jīng)過的過程而保存參加者全員的寫入記錄過程。參加者全員的終端將所輸入的任意的線描分割為線段并依次發(fā)送到上述控制器，此外具有帶有觸摸面板的終端，其具有在帶有觸摸面板的終端的顯示器上顯示從上述控制器發(fā)送的線描信息的功能，此外使用內(nèi)置或能夠連接控制器的液晶投影儀，其中該控制器具有如下功能：將從各帶有觸摸面板的終端發(fā)送的線描信息依次記錄在數(shù)據(jù)庫中，并追加記錄在白板圖像的圖像存儲器中，用上述液晶投影儀在墻面上投影上述圖像存儲器內(nèi)容，同時對各帶有觸摸面板的終端發(fā)送上述數(shù)據(jù)庫。
【專利說明】投影儀，圖形輸入?顯示裝置，便攜終端和程序

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及在會議或發(fā)表會等中能夠由多名參加者同時通過手寫輸入自由地進(jìn) 行寫入或修正的電子構(gòu)建的圖形輸入?顯示裝置。

【背景技術(shù)】
[0002] 通常，特別是在要求邊提出新的事項邊進(jìn)行的會議和發(fā)表會中，優(yōu)選在如黑板那 樣大尺寸的屏幕上存在能夠通過手寫直接寫入或訂正、刪除或變更等、參加者全員能夠同 時閱覽的畫面。
[0003] -般而言，小規(guī)模至中規(guī)模的會議等中有效地利用能夠在白色的面板上用水性筆 書寫或訂正、擦除的白板。該白板中，進(jìn)而具有用圖像掃描儀讀取書寫的內(nèi)容的最終結(jié)果、 印刷在紙上而保留會議結(jié)果的記錄（備忘錄）的功能的白板得到了使用。
[0004] 進(jìn)而，作為將會議結(jié)果的記錄作為電子信息保存?管理的方法，在現(xiàn)有技術(shù)文獻(xiàn)的 專利文獻(xiàn)1中，記載了如下發(fā)明：將多個具備手寫輸入裝置的終端裝置、和用各終端裝置手 寫輸入的信息集中在服務(wù)器中，對該服務(wù)器的顯示窗口內(nèi)的每個指定區(qū)域設(shè)定各終端的手 寫輸入?yún)^(qū)域，顯示用各個終端輸入的信息。
[0005] 此外，專利文獻(xiàn)2中，記載了適合由靜態(tài)圖像通信裝置以數(shù)字信號發(fā)送用電傳書 寫（Telewriting)裝置輸入的手寫線的數(shù)據(jù)格式。
[0006] 現(xiàn)有技術(shù)文獻(xiàn)
[0007] 專利文獻(xiàn)
[0008] 專利文獻(xiàn)1 :日本特開2008-269525號公報
[0009] 專利文獻(xiàn)2 :日本特開平6-296210號公報


【發(fā)明內(nèi)容】

[0010] 發(fā)明想要解決的技術(shù)問題
[0011] 本發(fā)明想要解決的技術(shù)問題在于，不會因參加者全員一同能夠閱覽的白板進(jìn)行書 寫或編輯作業(yè)而妨礙白板的閱覽。此外，還在于：設(shè)置用于之后閱覽連書寫的記錄的中途過 程也包括在內(nèi)的過程的單元，為了有效率地進(jìn)行會議和基于會議結(jié)果的活動，而提供能夠 更有效地利用會議中的議論等信息的手段（裝置、方法）。
[0012] 于是，本發(fā)明的目的在于，提高使用投影儀和終端的會議等中的用戶（使用者）的 便利性。
[0013] 用于解決問題的技術(shù)方案
[0014] 本發(fā)明的目的作為其一例能夠通過權(quán)利要求中記載的結(jié)構(gòu)達(dá)成。
[0015] 發(fā)明效果
[0016] 根據(jù)本發(fā)明，能夠提高使用投影儀和終端的會議等中的用戶的便利性。

【專利附圖】

【附圖說明】
[0017] 圖1是表示構(gòu)成圖形輸入?顯示裝置、便攜終端的各設(shè)備之間的連接和具體的動 作圖像的說明圖。
[0018] 圖2是說明圖形輸入?顯示裝置、便攜終端中用于同時輸入多條線段而顯示的數(shù) 據(jù)的處理和格式（format)的說明圖。
[0019] 圖3是表示圖形輸入?顯示裝置、便攜終端的、從各終端輸出數(shù)據(jù)包、對投影儀發(fā) 送數(shù)據(jù)、以及從投影儀對終端再次分發(fā)數(shù)據(jù)包的說明圖。
[0020] 圖4是表示圖形輸入?顯示裝置、便攜終端中對帶有觸摸面板的終端裝置輸入線 描時的顯示方法的說明圖。
[0021] 圖5是表示圖形輸入?顯示裝置、便攜終端的系統(tǒng)結(jié)構(gòu)的框圖的例子。
[0022] 圖6是表示圖形輸入?顯示裝置、便攜終端的智能液晶投影儀的系統(tǒng)結(jié)構(gòu)的框圖 的例子。
[0023] 圖7是說明圖形輸入?顯示裝置的軟件的結(jié)構(gòu)與硬件的關(guān)系的第一實施例的說明 圖。
[0024] 圖8是說明表示圖形輸入?顯示裝置、便攜終端的軟件的結(jié)構(gòu)與硬件的關(guān)系的第 二實施例的說明圖。
[0025] 圖9是說明表示使用圖形輸入?顯示裝置、便攜終端的構(gòu)成設(shè)備，在會議中僅在指 定終端彼此之間進(jìn)行會話的UI的說明圖。
[0026] 圖10是表示在圖形輸入?顯示裝置、便攜終端中，顯示正在進(jìn)行描繪的線是由哪 位用戶書寫的方法的說明圖。
[0027] 圖11是表示圖形輸入?顯示裝置、便攜終端中處理的描繪數(shù)據(jù)的流的說明圖。
[0028] 圖12是用流程圖表示圖形輸入?顯示裝置、便攜終端中對處理的描繪數(shù)據(jù)的流進(jìn) 行操作的動作的說明圖。
[0029] 圖13是表示圖形輸入?顯示裝置、便攜終端的會議進(jìn)行途中的白板圖像的倒回再 現(xiàn)動作的說明圖。
[0030] 圖14是表示在圖形輸入?顯示裝置、便攜終端中，在描繪了參加者描繪的一定單 位的全部線描之后一并顯示的方法的說明圖。
[0031] 圖15是表示圖形輸入?顯示裝置、便攜終端的終端的顯示屏幕（畫面）的例子的 說明圖。
[0032] 圖16是表示圖形輸入?顯示裝置、便攜終端的禁止利用指定終端進(jìn)行書寫?刪除 的狀態(tài)的說明圖。
[0033] 圖17是表示圖形輸入?顯示裝置、便攜終端的按照操作者的意愿暫時停止終端操 作的方法的說明圖。
[0034] 圖18是表示圖形輸入?顯示裝置、便攜終端的各終端的操作者個人記錄備忘錄的 情況的畫面的說明圖。
[0035] 圖19是表示圖形輸入?顯示裝置、便攜終端的自動謄清標(biāo)準(zhǔn)圖形的畫面的說明 圖。
[0036] 圖20是表示圖形輸入?顯示裝置、便攜終端的文字輸入時的畫面例的說明圖。
[0037] 圖21是表示圖形輸入?顯示裝置、便攜終端的顯示會議參加者的ID的例子的說 明圖。
[0038] 圖22是表示圖形輸入?顯示裝置、便攜終端的事先設(shè)定會議開始時的畫面的情況 的例子的說明圖。
[0039] 圖23是表示使用圖形輸入?顯示裝置、便攜終端的構(gòu)成設(shè)備，在會議中僅在指定 終端彼此之間進(jìn)行會話的情況下的終端內(nèi)結(jié)構(gòu)的說明圖。
[0040] 圖24是表示圖形輸入?顯示裝置、便攜終端的與自動比例尺（scale)變更相關(guān)的 動作的說明圖。
[0041] 圖25是表示圖形輸入?顯示裝置、便攜終端的使用攝像機確認(rèn)參加者的動作的說 明圖。
[0042] 圖26是表示圖形輸入?顯示裝置、便攜終端的使用攝像機確認(rèn)參加者的攝像機部 的具體動作的說明圖。

【具體實施方式】
[0043] 以下用【專利附圖】

【附圖說明】本發(fā)明的圖形輸入?顯示裝置的具體實施例。
[0044] 圖1是表示構(gòu)成本發(fā)明的圖形輸入?顯示裝置、便攜終端的各設(shè)備之間的連接和 具體動作圖像的說明圖。
[0045] 在墻面或屏幕上投影白板的裝置是智能液晶投影儀10010。它由液晶投影儀 10020和控制器10030構(gòu)成，液晶投影儀10020和控制器10030既可以內(nèi)置在同一殼體內(nèi)， 也可以是分開構(gòu)成，從控制器10030用模擬或數(shù)字信號向液晶投影儀10020傳輸投影圖像 數(shù)據(jù)的方式，可以是任意的。傳輸而來的投影圖像被投影在墻面上（10011)，成為大畫面 (大屏幕）的圖像，能夠由會議的參加者全員閱覽。
[0046] 會議的參加者各自具有使觸摸面板和同尺寸的顯示器一體化而成的帶有觸摸面 板的終端（10040?10070)，在觸摸面板上能夠用筆（10041,10042)進(jìn)行手寫線描（線條 畫）的輸入和編輯。
[0047] 在本實施例中，智能液晶投影儀10010內(nèi)的控制器與各帶有觸摸面板的終端 (10040?10070)之間，通過無線構(gòu)成的LAN(Local AreaNetwork :局域網(wǎng)）連接。該LAN環(huán) 境可以使用一般的辦公室等中共享使用的無線LAN環(huán)境，但本實施例中，由將控制器10030 作為路由器從該控制器得到IP地址僅在被連接的各帶有觸摸面板的終端（10040?10070) 之間形成閉合的連接環(huán)境的LAN構(gòu)成。會議開始時的動作是，通過已經(jīng)在控制器中注冊了 MAC地址等的多個帶有觸摸面板的終端之間分配IP地址，對于會議參加者帶來的帶有觸摸 面板的終端，利用控制器上設(shè)置的操作開關(guān)、通過從控制器對終端輸入由液晶投影儀投影 的ID碼等，由此構(gòu)建通信連接環(huán)境。
[0048] 以下說明具體動作。對各帶有觸摸面板的終端（10040?10070)用筆（10041、 10042)輸入的線，在本例中，是用帶有觸摸面板的終端（10040)和帶有觸摸面板的終端 (10070)這兩臺終端同時進(jìn)行線描的輸入的狀態(tài)。即，最終顯示的白板圖像上，兩條線描同 時持續(xù)延伸，以與猶如兩名參加者同時在以往的白板上物理書寫的情況相同的狀態(tài)顯示。
[0049] 與投影的白板圖像10011相同的圖像，同時顯示在各帶有觸摸面板的終端 (10040?10070)上，會議參加者能夠一邊觀看最新的白板圖像，一邊對其進(jìn)行加工?修正。
[0050] 在投影和帶有觸摸面板的終端（10040?10070)上顯示的圖像上，重疊顯示 有表示參加會議的參加者的各帶有觸摸面板的終端（10040?10070)的狀況的圖標(biāo) (icon) 10012。本實施例中有4個終端參加，但本例中的會議系統(tǒng)中最多能夠有6個終端參 力口，其中4號和6號是參加者缺席或者帶有觸摸面板的終端不工作的狀態(tài)。參加會議的參加 者所具有的各帶有觸摸面板的終端（10040?10070)，此處是標(biāo)識為終端ID#1 (10040)、終 端 ID#2 (10050)、終端 ID#3 (10060)、終端 ID#5 (10070)，其中 ID#1 (10040)和 ID#2 (10050) 的終端處于正在同時輸入線描的狀態(tài)。
[0051] 圖2是說明本發(fā)明的圖形輸入?顯示裝置、便攜終端中用于同時輸入并顯示多條 線段的數(shù)據(jù)的處理和格式的說明圖。
[0052] 如圖2(a)所示，用筆20001對帶有觸摸面板的終端輸入的線描（線條畫）20000， 通過終端內(nèi)的轉(zhuǎn)換處理20010,被轉(zhuǎn)換為由多條直線構(gòu)成的線段20030的集合體20020。
[0053] 各線段被作為起點Xstart (以下稱為Xs)、Ystart (以下稱為Ys)、Xend (以下稱為 Xe)、Yend (以下稱為Ye)處理。
[0054] 圖2(b)表示將輸入的線描分割而得到的各線段按每個線段作為數(shù)據(jù)包（data packet) 20040處理的數(shù)據(jù)格式。各數(shù)據(jù)包由輸入了該線段的終端的終端ID、起點和終點的 坐標(biāo)、后述的線的粗細(xì)、顏色、種類、以及根據(jù)橡皮擦、激光指示器（laser pointer)等多種 使用方法而定的線條種類的數(shù)據(jù)構(gòu)成。
[0055] 這些線段數(shù)據(jù)由各終端按照時間軸20050輸入。各終端中，在用戶看來是一筆輸 入作為一條線描（圖2(a) 20060)的，而能夠當(dāng)作書寫進(jìn)行輸入，但實際上是按以規(guī)定的 采樣時間間隔分割得到的每個線段，以來自終端1的輸入（20060)和來自終端2的輸入 (20070)混合的狀態(tài)，由上述控制器10030接收。
[0056] 接收到的包20040在控制器10030內(nèi)按接收順序保存為數(shù)據(jù)列表，由此按接收順 序時序地向構(gòu)建白板圖像的未圖示的影像存儲器、各帶有觸摸面板的終端輸出（20080)。接 收了輸出后的影像存儲器按照接收的包數(shù)據(jù)順序，在自身的影像存儲器內(nèi)將各線段數(shù)據(jù)作 為圖像數(shù)據(jù)寫入。此外，接收的各終端也同樣地在自身的影像存儲器內(nèi)將各線段構(gòu)建為圖 像數(shù)據(jù)并輸出。
[0057] 通過該方法，能夠進(jìn)行使多名參加者同時寫入的線描在外觀上看起來像是同時有 多條線在畫面（屏幕）上持續(xù)延伸的處理。
[0058] 圖3是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的、從各終端輸出數(shù)據(jù)包、對 投影儀發(fā)送數(shù)據(jù)、以及從投影儀對終端再次分發(fā)數(shù)據(jù)包的說明圖。
[0059] 從終端#1(30001)輸出的表示線段數(shù)據(jù)的數(shù)據(jù)包，在每個規(guī)定的采樣定時（時刻） 生成，如30010、30011、30012所示，按各線段單位發(fā)送到智能液晶投影儀的控制器30003。 與該發(fā)送數(shù)據(jù)非同步地，從終端#2如30020、30021所示向控制器30003發(fā)送同樣地在每個 規(guī)定的采樣定時（時刻）靜止（生成）的表示線段數(shù)據(jù)的數(shù)據(jù)包。
[0060] 控制器按接收順序接收并保存這些數(shù)據(jù)包，按照其順序在液晶投影儀上顯示，并 且再次分發(fā)到各終端30004。該分發(fā)定時（timing)可以按規(guī)定的定時間隔動作，例如以按 照投影儀或各終端的顯示部的顯示裝置的幀定時對準(zhǔn)的速度發(fā)送。
[0061] 由此，在墻面上投影的大屏幕的投影儀圖像、和各參加者的帶有觸摸面板的終端 裝置的顯示部上，用終端#1和終端#2同時寫入、并且隨著寫入而延伸的線能夠以在相同畫 面上同時延伸的方式顯示，并且能夠在外觀上看起來像是從多個終端輸入的線描同時被顯 不一樣。
[0062] 圖4是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端中對帶有觸摸面板的終端裝 置輸入線描時的顯示方法的說明圖。
[0063] 如圖3中所說明的，利用各終端的觸摸面板輸入的線段數(shù)據(jù)，先被發(fā)送到控制器， 與來自其他終端的輸入合成之后，再送到各終端并顯示。該情況下，從用筆在觸摸面板上畫 線到實際顯示為止，在用筆輸入線的時刻與實際在終端上顯示的線的顯示時刻之間，會發(fā) 生相當(dāng)于對控制器的數(shù)據(jù)的往返、以及控制器對數(shù)據(jù)合成所需的時間量的輕微延遲，畫線 并不會立刻顯示，造成使用不便。
[0064] 本實施例中，首先在圖4(a)中，帶有觸摸面板的終端裝置，基于用筆輸入的線描 數(shù)據(jù)，進(jìn)行即刻的線顯示。通過該終端內(nèi)數(shù)據(jù)顯示40000,沒有上述時間差，即刻顯示用筆描 繪的線描，所以能夠像用鉛筆直接書寫線描一般，進(jìn)行自然的輸入。
[0065] 接著，顯示從控制器再次分發(fā)而來的線段數(shù)據(jù)。接收數(shù)據(jù)顯示40010以按臨摹已 在用筆書寫時顯示的線描的方式，具有上述延遲時間差地追蹤的方式顯示線描?；旧显?線顯示與最初用筆寫入線描時相同的線，但為了與終端內(nèi)的顯示區(qū)分，用區(qū)分開顏色或粗 細(xì)等顯示格式的線顯示接收的線。從此后起顯示的接收數(shù)據(jù)顯示40010是正式向白板寫入 的線描。
[0066] 圖5是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的便攜終端的系統(tǒng)結(jié)構(gòu)的框 圖的例子。
[0067] 本實施例中，便攜終端使用一般的計算機系統(tǒng)的結(jié)構(gòu)，以CPU50000為中心，用總 線50001連接了各種硬件，各硬件內(nèi)置有未圖示的硬件接口，按照在CPU上運行的程序的控 制進(jìn)行數(shù)據(jù)的輸入、保存、輸出等控制。
[0068] 終端以CPU為核心，由作為顯示裝置的IXD50010、構(gòu)建在顯示裝置上顯示的圖像 的V-RAM(Video-RAM) 50050、以在IXD上重疊的狀態(tài)檢測筆或手指的接觸作為坐標(biāo)值的觸 摸面板50020、保存CPU50000所執(zhí)行的程序和基本數(shù)據(jù)的閃存50060、進(jìn)行終端的電源開/ 關(guān)（0N/0FF)和背光源的調(diào)整等的各種開關(guān)50030、CPU50000用作工作區(qū)的RAM50070、例如 攝像機50040等上述觸摸面板以外的圖像數(shù)據(jù)的輸入裝置、以及發(fā)送和接收對輸入的線描 進(jìn)行轉(zhuǎn)換后的線段數(shù)據(jù)的無線LAN50080構(gòu)成。各裝置中，如上所述具有未圖示的接口，通 過與CPU總線50001連接，CPU上運行的程序能夠處理各裝置的輸入輸出數(shù)據(jù)。
[0069] 圖6是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的智能液晶投影儀的系統(tǒng)結(jié) 構(gòu)的框圖的例子。
[0070] 本實施例中，智能液晶投影儀也與圖5所示的終端同樣，使用一般的計算機系統(tǒng) 的結(jié)構(gòu)，以CPU60000為中心，用總線60001連接了各種硬件，各硬件內(nèi)置有未圖示的硬件接 口，按照在CPU上運行的程序的控制進(jìn)行數(shù)據(jù)的輸入、保存、輸出等控制。
[0071] 智能液晶投影儀以CPU為核心，由內(nèi)置或外接的投影儀60010、構(gòu)建發(fā)送到投影儀 進(jìn)行顯示的圖像的V-RAM (Video-RAM) 60040、進(jìn)行電源開/關(guān)（0N/0FF)和各種操作的各種 開關(guān)60020、保存CPU60000所執(zhí)行的程序和基本數(shù)據(jù)的閃存60050、CPU60000用作工作區(qū) 的RAM60060、以及對各帶有觸摸面板的終端賦予IP地址而構(gòu)建LAN并進(jìn)行從各終端發(fā)送的 線段包的接收的再次發(fā)送的無線LAN路由器60030構(gòu)成。各裝置中，如上所述具有未圖示 的接口，通過與CPU總線60001連接，CPU上運行的程序能夠處理各裝置的輸入輸出數(shù)據(jù)。
[0072] 圖7是說明表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的軟件的結(jié)構(gòu)與硬件的 關(guān)系的第一實施例的說明圖。
[0073] 圖7(a)表示終端裝置的結(jié)構(gòu)，在操作系統(tǒng)（以下稱為0S) 70010的整體控制下工 作，在該0S的管理下，執(zhí)行白板應(yīng)用（application)70000。白板應(yīng)用與0S之間，每個硬件 通過應(yīng)用接口（以下稱為4?1)70001、70002、70003連接，白板應(yīng)用經(jīng)由05與各硬件進(jìn)行數(shù) 據(jù)的發(fā)送和接收。
[0074] 構(gòu)成利用觸摸面板70021輸入的手寫線描的數(shù)據(jù)，通過觸摸面板驅(qū)動器70011被 輸入到0S，經(jīng)由API70001被輸入到白板應(yīng)用。此時，圖3中說明的采樣定時（時刻）按照 指示將觸摸面板上的坐標(biāo)從白板應(yīng)用導(dǎo)入到0S的定時（時刻）進(jìn)行，導(dǎo)入筆或手指是接 觸還是離開了觸摸面板、和接觸的情況下的坐標(biāo)，轉(zhuǎn)換為圖2中說明的每個線段的包數(shù)據(jù)， 經(jīng)由 API70002、0S70010、LCD 驅(qū)動器 70013,在 LCD 上顯示（70023)。同時經(jīng)由 API70002、 0S70010、無線LAN驅(qū)動器70012,由無線LAN70022向智能液晶投影儀發(fā)送。
[0075] 圖7(b)表示智能液晶投影儀的結(jié)構(gòu)，特別是控制器的結(jié)構(gòu)，在0S70050的整體控 制下工作，在該0S的管理下執(zhí)行白板應(yīng)用70040。白板應(yīng)用與0S之間，每個硬件通過應(yīng)用 接口（以下稱為API)70041、70042連接，白板應(yīng)用經(jīng)由0S與各硬件進(jìn)行數(shù)據(jù)的發(fā)送和接 收。
[0076] 無線LAN路由器80062中，與各終端連接，從連接的終端發(fā)送的構(gòu)成輸入的手寫線 描的線段數(shù)據(jù)，通過無線LAN驅(qū)動器70052輸入到0S，經(jīng)由API70042輸入到白板應(yīng)用。該 數(shù)據(jù)從多個終端發(fā)送，但對其按接收的時間序列順序進(jìn)行數(shù)據(jù)列表化，用白板應(yīng)用進(jìn)行保 存，同時經(jīng)由API70041、0S70050通過液晶投影儀驅(qū)動器70051發(fā)送到液晶投影儀硬件，作 為投影畫面70061顯示。
[0077] 同時，從多個終端接收的線段數(shù)據(jù)的集合，經(jīng)由API70042、0S70050,通過無線LAN 驅(qū)動器70052利用來自無線LAN路由器70062的電波發(fā)射（發(fā)送），向各終端再次分發(fā)。
[0078] 轉(zhuǎn)換為圖2中說明的每個線段的包數(shù)據(jù)，經(jīng)由API70003、0S70010、IXD驅(qū)動器 70013,在 LCD 上顯示（70023)。同時，經(jīng)由 API70002、0S70010、無線 LAN 驅(qū)動器 70012,由 無線LAN70022向智能液晶投影儀發(fā)送。
[0079] 此處，在圖7(b)中保存的數(shù)據(jù)包，在液晶投影儀進(jìn)行了顯示或向各終端進(jìn)行了再 次發(fā)送的時刻可以丟棄，但通過保存會議中的所有數(shù)據(jù)，能夠保留為按時序（時間序列）保 存會議中對白板寫入的內(nèi)容的會議記錄，此外有會議途中參加的終端的情況下，也能夠通 過發(fā)送從會議開始時起的數(shù)據(jù)包，用白板書寫信息確認(rèn)參加時刻以前的議論（內(nèi)容）。這通 過在圖7(a)所示的各終端上也進(jìn)行保存，能夠在會議途中隨時重新確認(rèn)從會議開始時起 的議事進(jìn)程，并且還能夠按每個終端保留會議記錄。
[0080] 圖8是表示示出本發(fā)明的圖形輸入?顯示裝置、便攜終端的軟件結(jié)構(gòu)與硬件的關(guān) 系的第二實施例的說明圖。
[0081] 圖8(a)示出圖7(b)的智能液晶投影儀、特別是控制部的結(jié)構(gòu)，其結(jié)構(gòu)與圖7(b) 的結(jié)構(gòu)相同，省略詳細(xì)說明。
[0082] 本實施例中，特征在于，對在液晶投影儀上顯示的顯示圖像進(jìn)行處理的程序，不是 使用白板應(yīng)用80000,而是使用作為通用的顯示程序的web瀏覽器。
[0083] HTML5這樣的網(wǎng)頁（hom印age)描述語言中，除了迄今為止的按圖像數(shù)據(jù)顯示圖形 圖像（graph image)的功能以外，還存在如圖8(b)所示設(shè)定線段的起點和終點、顏色和寬 度等屬性而顯示任意線段的功能。使用該功能，將從白板應(yīng)用輸出的線段數(shù)據(jù)轉(zhuǎn)換為HTML5 的描述語言之后，經(jīng)由API80002、0S80010、API80031輸入到瀏覽器80030,瀏覽器80030經(jīng) 由API80031、0S80010、液晶投影儀驅(qū)動器80013,被投影作為白板圖像80023。
[0084] 雖然圖8中未圖示，但終端裝置也同樣能夠通過在圖7 (a)中加入瀏覽器和API，使 用通用的瀏覽器，特別是能夠提供不依賴于輸出設(shè)備的硬件規(guī)格的方式的設(shè)備。
[0085] 圖9是表示使用本發(fā)明的圖形輸入?顯示裝置、便攜終端的構(gòu)成設(shè)備，在會議中僅 在指定終端彼此之間進(jìn)行會話的UI的說明圖。
[0086] 雖然沒有圖示硬件和通信應(yīng)用的動作，但通過無線LAN路由器分配IP地址，具有 單獨的IP地址的終端，例如從終端1對終端5進(jìn)行會話的請求和會話的情況下，可以進(jìn)行 該IP地址之間的直接通信、或者進(jìn)行經(jīng)由白板應(yīng)用的利用通信路由（route)的通信，無論 使用哪一種方法均可。
[0087] 本實施例中示出2個終端的Π 的例子。此處表示從終端1對終端5發(fā)出呼叫的 情況的事例。
[0088] 如圖1中所說明的，在終端的畫面（屏幕）（90000)上部，參加同一會議的終端的 ID名90002以圖標(biāo)的形狀排列。各終端的區(qū)別除了編號以外，也可以用圖標(biāo)的顏色來區(qū)分， 另外沒有參加或電源關(guān)閉的終端以用X號勾去的形式顯示。然后，本終端的圖標(biāo)周圍的框 線用粗線顯示。
[0089] 圖9(a)中，左側(cè)的終端1要與終端5的用戶取得聯(lián)絡(luò)的情況下，用筆90001觸碰 終端5的圖標(biāo)。右側(cè)的終端5的畫面（屏幕）90010是還未接受呼叫的狀態(tài)，所以顯示如圖 1等中說明的與投影的白板相同的畫面（90010)。
[0090] 圖9 (b)中從終端1開始對終端5進(jìn)行呼叫時，在終端1的畫面（屏幕）上，顯示 表示正在呼叫的窗口 90020。然后，在終端5的畫面（屏幕）上，顯示表示從終端1發(fā)出了 呼叫的窗口 90021。同時，在終端1的畫面（屏幕）上，終端5的圖標(biāo)閃爍，并且在終端5的 畫面（屏幕）上，終端1的圖標(biāo)閃爍，對用戶進(jìn)行明示呼叫的發(fā)生的顯示。
[0091] 此處，終端5響應(yīng)終端1的呼叫的情況下，例如觸碰正在閃爍的終端1的圖標(biāo)即 可，此外要取消呼叫的情況下，可以觸碰終端1的呼叫窗口 90021。終端1要在中途中斷呼 叫的情況下，可以觸碰窗口 90020,此外雖然沒有圖示，但在呼叫中也可以顯示在窗口或畫 面（屏幕）的邊角等處另外顯示的表示響應(yīng)呼叫的圖標(biāo)、拒絕呼叫的圖標(biāo)、以及呼叫方中斷 呼叫的圖標(biāo)，并觸碰該圖標(biāo)。
[0092] 圖9(c)是終端5響應(yīng)終端1的呼叫，開始聯(lián)絡(luò)的畫面。兩個終端上分別顯示顯示 為CHAT-l、CHAT-5的窗口 90030、90031。該窗口也可以直接由圖9(b)的呼叫顯示窗口轉(zhuǎn) 移而成。該窗口是僅在終端1與終端5之間進(jìn)行顯示的具有與白板同樣功能的輸入畫面，2 個終端通過在該窗口中手寫輸入文字，而能夠進(jìn)行相互聯(lián)絡(luò)。此時的數(shù)據(jù)的發(fā)送和接收方 法，能夠利用與圖1、圖2所示的圖形輸入?顯示裝置的將輸入的線描分割為線段并將其發(fā) 送和接收的方法相同的方法實現(xiàn)。
[0093] 窗口 90030、90031在此處以覆蓋會議整體的白板的形式顯示，從而在兩個終端之 間聯(lián)絡(luò)時成為不能夠閱覽白板的顯示。該情況下，例如也能夠通過在用筆或手指觸碰的狀 態(tài)下拖拽（drag)位于兩個終端上顯示的窗口上部的寫作"CHAT-#5"、"CHAT-#1"的部分，移 動窗口的位置，參考背面的會議整體的白板，此外雖然未圖示，但也能夠通過使窗口成為半 透明地覆蓋觸摸面板整體的顯示方式，以在會議整體的白板上追加記錄的形式實現(xiàn)僅在兩 個終端之間進(jìn)行聯(lián)絡(luò)的動作。這些動作能夠由圖7所示的白板應(yīng)用執(zhí)行。
[0094] 圖10是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端中，顯示正在進(jìn)行描繪的線 是由哪位用戶書寫的方法的說明圖。
[0095] 圖10(a)表示終端#1的顯示畫面100000,是正在用筆100001寫入畫面（屏幕） 左側(cè)的線的狀態(tài)。
[0096] 圖10(b)是用圖形輸入?顯示裝置投影的畫面和其他終端上顯示的畫面，左側(cè)是 正在由終端#1畫線的畫面，右側(cè)是終端#1畫線完成后的畫面，具體而言是筆離開后經(jīng)過了 規(guī)定時間后的畫面。
[0097] 正在進(jìn)行描繪的線，以指示終端#1的顏色、具體而言以顯示終端#1的圖標(biāo)的顏色 進(jìn)行畫線。然后，畫線完成時，該線的顏色切換為預(yù)先由終端#1指定的顏色，通常的情況下 為物理書寫的白板上使用的筆的顏色，例如全員相同的顏色，例如使用黑色書寫的情況下， 切換為用黑色描繪的線的顏色。在該時刻，終端#1的畫線完成，在會議的議事進(jìn)程上，作為 用于議論的畫面處理。
[0098] 此處，假設(shè)有終端#1和終端#2等兩個以上的終端同時畫線的情況下，在左側(cè)的圖 中，正在分別描繪的線的顏色，以與表示正在描繪的終端ID的圖標(biāo)相同的顏色進(jìn)行，在描 繪結(jié)束并分別經(jīng)過了規(guī)定時間時，變化為各終端設(shè)定的顏色，表示描繪完成。
[0099] 圖10(c)是表示同時有多個終端進(jìn)行描繪時的，進(jìn)行描繪顯示的與圖10(b)不同 的方法的例子。畫面（屏幕）左側(cè)描繪的線表示正在用終端#1畫線，畫面右側(cè)描繪的線表 示正在用終端#2畫線。
[0100] 此時，在各所描繪的線的終點、即線隨著時間流逝按照各終端的畫線而延伸的端 點，顯示表示終端#1正在描繪的彈出消息100030和100040,隨著端點的移動，消息的位置 也移動。然后，描繪完成后，在經(jīng)過了規(guī)定時間時，與圖10(b)同樣地顏色發(fā)生變化，在會議 的議事進(jìn)程上，作為用于議論的畫面處理。
[0101] 圖11是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端中處理的描繪數(shù)據(jù)的流的說 明圖。
[0102] 本圖的說明中說明數(shù)據(jù)的流，因此該圖為數(shù)據(jù)移動的目的地中軟件和硬件混在一 起的圖。
[0103] 首先，輸入到觸摸面板110032的手寫描繪，經(jīng)由觸摸面板驅(qū)動器110030輸入到應(yīng) 用110000。此處，描繪數(shù)據(jù)被分割為圖2中說明的線段，經(jīng)由無線LAN驅(qū)動器110040,由無 線LAN110041，發(fā)送到智能液晶投影儀的控制器。
[0104] 控制器接收通過無線LAN110051發(fā)送的線段包數(shù)據(jù)，經(jīng)由無線LAN驅(qū)動器110050 輸入到應(yīng)用110010內(nèi)，在線段數(shù)據(jù)包110001中統(tǒng)一保存。所保存的線段數(shù)據(jù)包如圖2(b) 所示，以混有從多個終端輸入的線段包數(shù)據(jù)的狀態(tài)被保存。
[0105] 被保存的線段包數(shù)據(jù)按保存的順序被調(diào)用（110005)，經(jīng)由投影儀驅(qū)動器110060 輸入到投影儀110061，作為大畫面白板圖像110062投影。同時經(jīng)由無線LAN驅(qū)動器110050 和無線LAN110051，再次分發(fā)到各終端（110004)，經(jīng)由各終端的無線LAN110041和無線LAN 驅(qū)動器110040,在終端內(nèi)的線段包數(shù)據(jù)110001中統(tǒng)一保存。然后，與控制器同樣地，該數(shù)據(jù) 按輸入順序被調(diào)用，經(jīng)由顯示器驅(qū)動器110010,在終端的IXD110020上顯示。
[0106] 此處，如圖4(a)所示，手寫輸入的描繪數(shù)據(jù)先發(fā)送到控制器后，描繪再次分發(fā)的 數(shù)據(jù)的情況下，為了防止手寫的時刻（定時）與顯示的時刻（定時）中產(chǎn)生時差，描繪操作 不自然，而如虛線110002所示，將用觸摸面板110032輸入的數(shù)據(jù)發(fā)送到控制器的同時也在 IXD110020上顯示。之后，通過顯示送回的數(shù)據(jù)，如圖4(b)所示，能夠以追蹤實時描繪的線 的延伸的方式進(jìn)行描繪再次分發(fā)的描繪數(shù)據(jù)的顯示。
[0107] 圖12是用流程圖表示本發(fā)明的圖形輸入?顯示裝置、便攜終端中對處理的描繪數(shù) 據(jù)的流進(jìn)行操作的說明圖。
[0108] 圖12(a)是帶有觸摸面板的終端中進(jìn)行描繪數(shù)據(jù)的輸入和發(fā)送的部分，與圖11的 110003對應(yīng)。即，將用觸摸面板接受的描繪作為線段接收（120000)，將其按每個線段發(fā)送 (120001)。
[0109] 圖12(b)是同樣地帶有觸摸面板的終端中進(jìn)行描繪數(shù)據(jù)的輸入和發(fā)送的部分。這 是如圖4 (a)所示在終端內(nèi)先顯示描繪數(shù)據(jù)的情況，包括圖11的110002。即，將用觸摸面板 接受的描繪作為線段接收（120010)，在終端的LCD上將其顯示（120011)，然后按每個線段 發(fā)送（120012)。
[0110] 圖12(c)表示接受從投影儀再次發(fā)送而來的線段數(shù)據(jù)的終端的動作，與以圖11的 對線段包數(shù)據(jù)110001保存和讀取為中心的動作對應(yīng)。終端首先接收線段數(shù)據(jù)（120020)，將 其保存在線段包數(shù)據(jù)中（120021)，然后讀取該數(shù)據(jù)（120022)，在IXD上顯示讀取的線段數(shù) 據(jù)（120023)。
[0111] 圖12(d)是投影儀的接收動作例，與以圖11的對線段包數(shù)據(jù)110011保存和讀取 為中心的動作對應(yīng)。投影儀接收從各終端發(fā)送而來的線段數(shù)據(jù)（120030)，每次接收一個包 時，都在線段包數(shù)據(jù)中堆疊（stack、棧）保存（120031)。
[0112] 圖12(e)表示投影儀再次發(fā)送數(shù)據(jù)，與圖11的110004對應(yīng)。在線段包數(shù)據(jù)中堆疊 保存的線段數(shù)據(jù)中，混有在該時刻來自多個終端的線段數(shù)據(jù)，但按寫入順序讀?。?20040)， 然后將混有來自各終端的數(shù)據(jù)的讀取數(shù)據(jù)，再次分發(fā)到各個終端。
[0113] 圖13是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的會議進(jìn)行途中的白板圖像 的倒回再現(xiàn)動作的說明圖。
[0114] 圖7(b)中說明的線段數(shù)據(jù)包，如圖11、圖12中所說明的那樣，通過從會議最初起 全部進(jìn)行記錄，例如從會議途中參加的參加者能夠再次確認(rèn)從會議開頭起的白板寫入的進(jìn) 程，此外從最初參加的參加者也能夠回放從會議開頭起的記錄。本實施例中說明用于進(jìn)行 該操作的UI。
[0115] 圖13(a)表示圖1的各帶有觸摸面板的終端的屏幕（畫面）。此處，特征在于，在畫 面（屏幕）左下設(shè)置并顯示倒回（rewind)指示（130010)按鈕。在會議途中觸碰倒回指示 按鈕時，畫面如圖13(b)所示那樣變化。此處，在畫面（屏幕）下方顯示橫軸表示以從會議 開始到當(dāng)前為止的時間為橫軸的時間軸的條130020,在其上顯示指針（pointer) 130040。 通過用筆指定該指針并左右拖動，能夠使顯示的畫面從最新畫面變化為回溯到規(guī)定時間以 前的時刻的畫面?；厮莸臅r間如130050所示那樣顯示，此處處于顯示距最新時刻12分鐘 前的畫面（屏幕）的狀態(tài)。
[0116] 這些動作能夠通過圖7所示的白板應(yīng)用執(zhí)行。
[0117] 圖14是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端中，不是連同描繪過程也包 括在內(nèi)，實時地顯示參加者所描繪的線，而是在描繪了一定單位的全部線描之后，再一并顯 示的方法的說明圖。
[0118] 圖14(a)表示某個終端的顯示畫面140000。此處，右側(cè)描繪的線140011表示參加 者使用該終端正在用筆140011輸入線描。此處，該終端的動作模式用在圖15中后述的方 法，切換為SUBMIT模式，在該狀態(tài)下，在終端描繪的線不是即刻分割為線段并發(fā)送，而是在 終端的操作者完成了全部的描繪之后，再一并發(fā)送，在此之前終端不進(jìn)行發(fā)送。
[0119] 圖14(b)表示圖14(a)中參加者正在描繪時的投影儀的投影畫面（屏幕）140030。 如上所述，因為沒有從終端發(fā)送描繪數(shù)據(jù)，所以在投影儀上不進(jìn)行任何顯示。
[0120] 圖14(c)表示圖14(a)中操作者完成了一系列描繪，希望顯示而用筆或手指觸 碰"SUBMIT"按鈕之后的畫面（屏幕），該畫面在投影儀和其他終端上也相同，一并描繪圖 14(a)中輸入的一定端的線描（140040)并顯示。此時為了表示是終端#2的用戶輸入的，而 在此處如圖10(c)所示，在一并描繪之后的規(guī)定時間期間，顯示表示由終端#2描繪的彈出 消息140041，這與已說明的實施例同樣，在規(guī)定時間的顯示之后，彈出消息消失，顯示為預(yù) 先設(shè)定的顏色的線。
[0121] 圖15是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的終端的顯示畫面（屏幕） 的例子的說明圖。
[0122] 雖然在之前的附圖中省略，但進(jìn)行手寫描繪的帶有觸摸面板的終端裝置中，指定 手寫線的種類等的菜單畫面150010以能夠選擇的形式在屏幕（畫面）150000上顯示，本實 施例中在該屏幕的左側(cè)顯示。
[0123] 顯示的菜單的構(gòu)成元素，除了線條種類（直線、虛線2種）以外，還有橡皮擦、激光 指示器（laser pointer)模式的選擇菜單。此處，在描繪的線條的種類之外,也可以用筆代 替橡皮擦，由此能夠擦除已記載的描繪。此時，利用橡皮擦的擦除也作為線段的移動數(shù)據(jù)進(jìn) 行保存，由此能夠保存擦除以前的記述，在圖13所示的回放再現(xiàn)時，能夠再次確認(rèn)過去的 記述。此外，激光指示器模式的特征在于，在對投影儀投影圖像直接進(jìn)行激光指示器照射以 夕卜，還能夠在手邊的帶有觸摸面板的終端的屏幕（畫面）上進(jìn)行相同的操作。
[0124] 之后的構(gòu)成元素以線條的粗細(xì)和線條的顏色各有3種的情況為例進(jìn)行描述。之后 是"DRAW"模式和"SUBMIT"模式的切換按鈕，通過選擇SUBMIT模式，能夠切換為如圖14所 示的進(jìn)行一并描繪的模式。
[0125] 最后是"ENABLE"，這是在其他終端、特別是設(shè)定了主終端的情況下、和與液晶投影 儀分開，由一個帶有觸摸面板的終端構(gòu)成投影儀的控制器的情況下，該終端起到主機的作 用，通過來自它的指示能夠控制指定的終端的白板寫入?刪除的允許/禁止，"ENABLE"顯 示該狀況。
[0126] 圖16是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的用指定的終端的寫入?刪 除的禁止?fàn)顟B(tài)的說明圖。
[0127] 圖16 (a)表示圖15中對白板寫入?刪除受到禁止的終端的屏幕（畫面），圖16所 示的"ENABLE"的文字變?yōu)?DISABLE"（160030)。同時表示輸入模式的"DRAW" "SUBMIT" 按鈕也被掩蓋（mask)，表示不能夠?qū)K端輸入。
[0128] 圖16(b)表示圖16(a)中終端#2成為禁止寫入?刪除狀態(tài)時的投影儀顯示 160050，也在其他終端上顯示相同內(nèi)容。
[0129] 終端#2的圖標(biāo)被規(guī)定顏色涂暗，通過其他終端和投影儀顯示，其他參加者可以知 道終端#2處于不能夠參加寫入（寫入）的狀態(tài)。
[0130] 圖17是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的按照操作者的意愿暫時停 止終端操作的方法的說明圖。
[0131] 圖17(a)中，在會議中中途離開的操作者的終端屏幕（畫面）170000上，在菜單畫 面170010內(nèi)顯示操作者操作的項目。由操作者選擇"OFFLINE"，由此不能在該終端上進(jìn)行 寫入?刪除操作，此外進(jìn)行控制使得畫面上顯示的白板圖像也不可見。由此，操作者中途離 開而離席時，例如直接放下終端時，能夠使其他參加者不能進(jìn)行寫入、刪除等操作，或者在 操作者帶出終端，例如放置在自己的座位時，即使通信通過無線LAN處于連接，也能夠使會 議參加者以外的人不能進(jìn)行白板的閱覽和寫入、刪除。
[0132] 圖17(b)是因為在會議中中途離開而按下"OFFLINE"后的終端的屏幕（畫面）。 本實施例中，為了在每次中途離開時實現(xiàn)單獨地鎖定的功能，而顯示離席指示畫面170020， 促使參加者輸入在中途離開后返回時使用的電子簽名（sign)。通過輸入電子簽名、按下離 席指示畫面右下的"ENTER"，終端屏幕成為中途離開狀態(tài)的畫面，成為以與離席指示畫面同 樣的布局在將白板的描繪全部隱藏的位置顯示恢復(fù)指示畫面的狀態(tài)。關(guān)于所輸入的電子簽 名，檢測其特征點并保存數(shù)據(jù)，用于與圖17(c)所示的恢復(fù)指示中輸入的電子簽名對照。
[0133] 圖17(c)是表不對恢復(fù)指不畫面170040輸入電子簽名的圖，此處表不輸入了不同 的電子簽名的情況。即使輸入電子簽名并按下"ENTER"，也因為電子簽名與圖17(b)不同， 所以終端顯示為"INVALID ! "，不允許恢復(fù)。正確輸入了電子簽名的情況下，恢復(fù)指示畫面 消失，返回進(jìn)行白板顯示的離席前的畫面。
[0134] 圖18是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的各終端的操作者個人記錄 備忘錄的情況的屏幕（畫面）的說明圖。
[0135] 圖18(a)示出了在本實施例中，在菜單畫面180000的一部分設(shè)置"MEMO"按鈕，通 過按下該按鈕切換為"MEMO"模式。
[0136] 圖18(b)是"MEMO"模式下的對終端的寫入畫面（屏幕），180030中記載的線描是 僅屬于該終端的操作者的備忘錄。該備忘錄不在圖18(c)所示的投影儀畫面（屏幕）180040 和其他終端上顯示。
[0137] 雖然沒有圖示，但該備忘錄數(shù)據(jù)的格式與圖2起所示的線段包數(shù)據(jù)相同，特別在 包數(shù)據(jù)中追加保有表示是在另行保存的白板的線段包數(shù)據(jù)的哪一時刻（顯示哪個包時）進(jìn) 行了寫入的時間軸方向的關(guān)系的鏈接信息。在進(jìn)行備忘錄的顯示時，也能夠進(jìn)行與如圖13 所示的回放重合的顯示，對于會議的全員參考的白板圖像和自身的備忘錄，不僅限于現(xiàn)在 時刻的畫面（屏幕），也能夠回放過去畫面的顯示而進(jìn)行。
[0138] 圖19是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的自動謄清標(biāo)準(zhǔn)圖形的畫面 (屏幕）的說明圖。
[0139] 終端屏幕190000中，有時將會議中描繪時要關(guān)注的點用圓形記號包圍，或者在文 字的情況下用雙重下劃線等強調(diào)，存在這種使用標(biāo)準(zhǔn)的描繪形狀的線的情況。
[0140] 這類描繪并不是描繪的線的形狀的微小差異特別具有意義，反而是正確描繪的圖 形更為有效。本實施例中，對于如手寫線描190010所示的為了強調(diào)圖形的一部分而記載 的圓形記號，自動識別為不是圖形而是強調(diào)的標(biāo)記，從而改寫為準(zhǔn)確的橢圓作為謄清結(jié)果 190020,由此能夠保持白板寫入的手寫所致的布局的散亂。該謄清如圖19(c)所示也顯示 在投影儀上。
[0141] 雖然未圖示，但在保存的數(shù)據(jù)包中，除了分割為線段后保存的方法以外，也可以保 存為表達(dá)標(biāo)準(zhǔn)圖形的包括中心點坐標(biāo)值和直徑值的包數(shù)據(jù)。
[0142] 圖20是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的文字輸入時的畫面（屏 幕）例的說明圖。
[0143] 使用白板的會議中，基本上全部用手寫進(jìn)行寫入，但輸入文字的情況下，將線描作 為數(shù)字信息處理，所以能夠進(jìn)行防止書寫者的文字工整與否所引起的辨認(rèn)障礙的處理。
[0144] 圖20 (a)是首先用手寫輸入了文字（字符）的終端屏幕200000。因為用手寫線 描200010輸入文字（字符），所以會帶有書寫者的個性，大多情況下并不是易于辨認(rèn)的文字 (字符）。此處，如圖19(b)所示，通過對輸入的文字自動地或者由寫入者選擇、轉(zhuǎn)換，利用 0CR(0ptical Character Reader)附帶的線描?文字（字符）轉(zhuǎn)換功能，轉(zhuǎn)換為字符碼，謄 清與該字符碼對應(yīng)的字符串并顯示（20020)。由此，在輸入難以辨認(rèn)的文字（字符）時自動 地進(jìn)行轉(zhuǎn)換，由此能夠進(jìn)一步改善使用白板的會議的環(huán)境。
[0145] 雖然未圖示，但輸入的文字（字符）可以不是作為線描而是作為字符碼，與圖 19(c)中說明的同樣地，在保存的數(shù)據(jù)包中，以字符串的起點坐標(biāo)、文字（字符）尺寸、字符 碼串這樣的格式保存即可。
[0146] 圖20(c)表示了在輸入文字（字符）時從一開始就不使用手寫輸入，而是用軟鍵 盤直接輸入文字（字符）進(jìn)行謄清的方法。例如，特別是在該會議中使用通用的便攜終端 的情況下，如果使程序構(gòu)成為使用標(biāo)準(zhǔn)配置搭載的軟鍵盤200030,通過專用的API經(jīng)由0S 導(dǎo)入白板應(yīng)用，則能夠容易地實現(xiàn)謄清的文字（字符）的顯示（200040)。輸入的文字（字 符）數(shù)據(jù)的保存方法可以與圖20(b)中記載的相同。
[0147] 圖21是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的顯示會議參加者的ID的 例子的說明圖。
[0148] 以上說明的圖中，用終端ID編號表示了在投影儀和終端上顯示的會議參加者。在 會議開始時，或者各自攜帶并使用自身保有的便攜終端的情況下，能夠不顯示終端ID，而是 直接用個人名圖標(biāo)210010顯示參加者的姓名。這在會議開始時，能夠通過用圖20所示的 方法各自輸入姓名來實現(xiàn)。
[0149] 圖22是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的事先設(shè)定會議開始時的畫 面的情況的例子的說明圖。
[0150] 以往的使用白板的會議中，大多情況下在會議開始前由主辦者事先在白板上記載 題目和日期、議題列表等之后進(jìn)行會議。本實施例中，表示了在會議開始前，指定的參加者 (主辦者）預(yù)先使用手寫描繪和圖20等的謄清功能，事先記載議事所需的資料（220010)， 舉辦會議的功能。
[0151] 事先記載的信息，除了文字和描繪以外，也能夠準(zhǔn)備從表計算軟件的頁面復(fù)制的 工程管理表等圖。當(dāng)然也可以以繼續(xù)上次會議的形式，描繪直至上次為止保存的線段包數(shù) 據(jù)。
[0152] 此處，雖然未圖示，但如圖22所示在表中輸入個人名的情況下，因為圖21所示的 個人名圖標(biāo)中記載了姓名，所以如果還設(shè)置能夠用筆將其拖動，拖入表中的"Member"而直 接寫入的UI，則使用方便性好。這都能夠用圖形輸入?顯示裝置應(yīng)用的處理來實現(xiàn)。
[0153] 圖23是表示使用本發(fā)明的圖形輸入?顯示裝置、便攜終端的構(gòu)成設(shè)備，在會議中 僅在指定終端之間進(jìn)行會話的情況下的終端內(nèi)結(jié)構(gòu)的說明圖。
[0154] 本實施例中，表示了進(jìn)行用圖9說明的指定終端之間的會話時，終端內(nèi)的數(shù)據(jù)的 結(jié)構(gòu)和數(shù)據(jù)的流。在左側(cè)的第一終端的應(yīng)用內(nèi)，存在線段數(shù)據(jù)包1100001，在右側(cè)的第二終 端的應(yīng)用內(nèi)，存在線段數(shù)據(jù)包1100003,這是用圖11說明的控制器和所有帶有觸摸面板的 終端共享保有的保存了白板上顯示的描繪數(shù)據(jù)的數(shù)據(jù)包。
[0155] 本實施例中，在該數(shù)據(jù)包以外，第一終端和第二終端還具有與白板數(shù)據(jù)同樣地保 存圖9(c)中說明的聊天板（chat board)上記載的線描的線段數(shù)據(jù)包（230000U2300011)。 該數(shù)據(jù)包是與上述保存有白板上顯示的描繪數(shù)據(jù)的數(shù)據(jù)包獨立的數(shù)據(jù)包，該數(shù)據(jù)包記錄第 一終端和第二終端之間通過線描進(jìn)行的會話，而不在白板上顯示。
[0156] 該數(shù)據(jù)包（2300001、2300011)，在如圖9(d)的右側(cè)的終端那樣同時與多個終端進(jìn) 行會話時，保有對方終端數(shù)量的量（的數(shù)據(jù)包）。
[0157] 另外，表示該聊天板中記載的線描的線段數(shù)據(jù)包，也能夠以與圖14所示的一并描 繪的動作相同的方法，將第一終端與第二終端商討后的結(jié)果，直接發(fā)送到全員共享的白板 數(shù)據(jù)，由此在白板和全員的終端屏幕上顯示，保存在作為會議的議事數(shù)據(jù)的線段數(shù)據(jù)包中。
[0158] 圖24是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的與自動比例尺（scale)變 更相關(guān)的動作的說明圖。
[0159] 本實施例中，示出了會議的參加者全員共享的白板圖像的尺寸不是與便攜終端或 白板的尺寸對應(yīng)的固定像素數(shù)的尺寸，而是具有更大的圖像尺寸的情況下的動作。
[0160] 圖24(a)表示了以上說明的帶有觸摸面板的終端裝置的屏幕（畫面）。此處，如圖 24(b)所示進(jìn)一步畫線，描繪了伸出到圖24(a)的畫面（屏幕）外的線的情況下，帶有觸摸 面板的終端裝置的屏幕（畫面）自動地滾動，對更大圖像尺寸的白板進(jìn)行寫入。
[0161] 此時，用投影儀投影的白板圖像，如圖24(c)所示，為了顯示描繪的線描整體而自 動地進(jìn)行尺寸縮小顯示。其他終端也與白板同樣地自動轉(zhuǎn)移到縮小顯示，但也能夠從各終 端的未圖示的菜單切換為放大顯示，此外，也能夠從各終端對控制器發(fā)出放大顯示的指示， 從如圖24(c)所示的縮小顯示切換為與圖24(b)的終端顯示同樣的放大顯示。
[0162] 圖25是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的使用攝像機確認(rèn)參加者的 動作的說明圖。
[0163] 智能液晶投影儀10010和會議的參加者使用的帶有觸摸面板的終端（10040? 10070)的動作與圖1同樣，所以此處省略說明。
[0164] 本實施例中，特征在于，表示參加者250002的各帶有觸摸面板的終端（10040? 10070)的狀況的圖標(biāo)10012顯示利用各參加者使用的帶有觸摸面板的終端（10040? 10070)中內(nèi)置或安裝的攝像機250001拍攝的參加者自身的圖像。
[0165] 該圖像可以是在會議開始時一次拍攝的靜態(tài)圖像，也可以是在會議中一直拍攝的 動態(tài)圖像，會議參加者成員作為全員的共享信息顯示，全員都能夠確認(rèn)參加者是誰、以及是 否有不準(zhǔn)參加的人參加。
[0166] 圖26是表示本發(fā)明的圖形輸入?顯示裝置、便攜終端的使用攝像機確認(rèn)參加者的 攝像機部的具體動作的說明圖。
[0167] 如圖26(a)所示，本實施例中的帶有觸摸面板的終端10070中，為了能夠用于其他 用途、例如TV電話等，而在觸摸面板側(cè)內(nèi)置或能夠搭載攝像機25001。攝像機25001的朝向 通常不可動，是固定的，減少了部件數(shù)量，該情況下，為了不過度限制用攝像機25001拍攝 的范圍，其拍攝視角26001通過廣角鏡頭能夠廣范圍地拍攝。
[0168] 用該攝像機拍攝參加者時，如圖26(b)所示，相對于攝像機的拍攝區(qū)域260002,參 加者250002被拍得相當(dāng)小。本實施例中，利用作為攝像機的人臉檢測功能已知的技術(shù)，在 拍攝區(qū)域260002中，對參加者的臉部附近的影像260003進(jìn)行提取、截出，顯示在圖25所示 的圖標(biāo)10012上。由此，能夠有效地使用與畫面整體相比較小的圖標(biāo)的面積，各參加者能夠 確認(rèn)參加者的臉。
[0169] 如圖25所示，拍攝的圖像可以是靜態(tài)圖像也可以是動態(tài)圖像，如果是靜態(tài)圖像， 則通信流量（traffic)在圖像傳輸中的占有度只需要會議開始時的臨時傳輸即可。此外，動 態(tài)圖像的情況下，其他參加者能夠確認(rèn)在會議途中參加者替換、或者哪一名參加者正在注 視此時的展示（presentation)或白板寫入內(nèi)容等狀況，能夠更流暢地推進(jìn)會議。
[0170] 此外，本實施例也能夠如下所述那樣表達(dá)。即，也能夠作為如下所述的程序發(fā)揮作 用：一種程序，其安裝到便攜終端，為了與利用標(biāo)識信息確定的其他便攜終端和投影儀進(jìn)行 通信而被執(zhí)行，上述程序的特征在于：控制觸摸面板單元、顯示單元和發(fā)送和接收單元，使 得按規(guī)定的間隔將從觸摸面板輸入的線描（線條畫）信息分割成線段，與該線段的起點與 終點的坐標(biāo)值和描繪線的種類、顏色等屬性信息一同生成線段數(shù)據(jù)包，并將其發(fā)送到投影 儀，控制觸摸面板單元、顯示單元和發(fā)送和接收單元，使得在上述顯示單元顯示利用上述標(biāo) 識信息標(biāo)識的其他便攜終端的用戶信息，確定該用戶信息，按規(guī)定的間隔將從上述觸摸面 板輸入的線描信息分割成線段，與該線段的起點與終點的坐標(biāo)值和描繪線的種類、顏色等 屬性信息一同生成線段數(shù)據(jù)包，并將其發(fā)送到該其他便攜終端的用戶，控制顯示單元和發(fā) 送和接收單元，使得在上述顯示單元顯示來自利用上述標(biāo)識信息標(biāo)識的其他便攜終端的用 戶的接收數(shù)據(jù)。此外，上述程序也可以如下：在該程序中，能夠執(zhí)行如下功能：在上述多個 便攜終端上，在上述終端內(nèi)的存儲器中保存由上述其他便攜終端或投影儀分發(fā)的數(shù)據(jù)，通 過上述便攜終端的操作，沿著時間軸返回到過去，來再現(xiàn)利用線段數(shù)據(jù)包描繪的線延伸的 過程。此外，上述程序也可以如下：該程序具有發(fā)起用于僅在上述多個便攜終端中的作為 任意終端的第一便攜終端與同為任意終端的第二便攜終端之間進(jìn)行直接通信的呼叫處理 的功能，受到呼叫的第二便攜終端的程序具有對第一便攜終端的程序的呼叫處理進(jìn)行響應(yīng) 的功能，第一終端和第二終端的程序能夠執(zhí)行從上述呼叫處理和響應(yīng)完成的時刻起，使用 終端上的觸摸面板和顯示器，僅在該終端之間發(fā)送和接收上述包含文字（字符）和圖形的 起點與終點的坐標(biāo)值和描繪線的種類、顏色等屬性信息的數(shù)據(jù)并將其顯示的功能。此外，上 述程序也可以如下：上述程序能夠執(zhí)行在執(zhí)行該程序的便攜終端的屏幕上，利用ID編號、 顏色、圖案、影像中的任一個或多個來顯示連接到網(wǎng)絡(luò)的便攜終端的ID的列表的功能。此 夕卜，上述程序也可以如下：在便攜終端中在朝向使用者的方向上內(nèi)置或搭載有攝像機的情 況下，上述程序能夠執(zhí)行控制上述攝像機來拍攝能夠確定使用者的影像，并在上述顯示的 便攜終端的ID的列表中，顯示能夠確定正在使用上述觸摸面板的使用者的影像的功能。上 述程序也可以如下：能夠執(zhí)行以下處理：內(nèi)置或搭載于上述便攜終端的攝像機所拍攝的能 夠確定使用者的影像，利用從拍攝的圖像中自動檢測出能夠確定使用者的部位并將其截出 而生成的影像。此外，上述程序是本實施例的一例，執(zhí)行將本實施例的硬件結(jié)構(gòu)作為軟件結(jié) 構(gòu)的程序的結(jié)構(gòu)也包括在本實施例中。
[0171] 附圖標(biāo)記說明
[0172] 10010智能液晶投影儀
[0173] 10040帶有觸摸面板的終端
[0174] 20040線段包數(shù)據(jù)
【權(quán)利要求】
1. 一種投影儀，其能夠與多個便攜終端進(jìn)行通信，所述投影儀的特征在于，包括： 發(fā)送和接收單元，其與所述多個便攜終端進(jìn)行數(shù)據(jù)的發(fā)送和接收； 分析單元，其對從所述多個便攜終端輸入的文字和圖形進(jìn)行分析； 輸出單元，其將所述分析單元分析后的文字和圖形進(jìn)行外部輸出；和 控制器，其控制所述發(fā)送和接收單元、輸出單元和分析單元， 所述控制器接收關(guān)于從所述多個便攜終端中的一個便攜終端輸入的文字和圖像的數(shù) 據(jù)，對該接收數(shù)據(jù)中包含的文字和圖形的起點與終點的坐標(biāo)值和描繪線的種類、顏色等屬 性信息進(jìn)行分析，基于該分析數(shù)據(jù)，將從所述一個便攜終端輸入的文字和圖形依次輸出到 輸出單元，并發(fā)送到所述多個便攜終端。
2. 如權(quán)利要求1所述的投影儀，其特征在于： 所述接收到的包含文字和圖形的起點與終點的坐標(biāo)值和描繪線的種類、顏色等屬性信 息的數(shù)據(jù)，按接收的時間序列順序輸出并發(fā)送到所述多個便攜終端。
3. 如權(quán)利要求2所述的投影儀，其特征在于： 所述接收到的包含文字和圖形的起點與終點的坐標(biāo)值和描繪線的種類、顏色等屬性信 息的數(shù)據(jù)，按接收的時間序列順序輸出并發(fā)送到所述多個便攜終端，并且按接收的時間序 列順序保存所述接收到的數(shù)據(jù)。
4. 如權(quán)利要求1所述的投影儀，其特征在于： 所述多個便攜終端通過無線通信與所述控制器連接， 所述控制器賦予所述多個便攜終端的各個便攜終端以單獨的地址， 以使用所述地址在網(wǎng)絡(luò)上區(qū)別所述多個便攜終端進(jìn)行信息通信的方式，構(gòu)建僅由控制 器和所述多個便攜終端構(gòu)成的局域網(wǎng)環(huán)境。
5. 如權(quán)利要求4所述的投影儀，其特征在于： 在由進(jìn)行所述外部輸出或發(fā)送到所述便攜終端的文字和圖形構(gòu)成的畫面上，利用ID 編號、顏色、圖案、影像中的任一個或多個來顯示連接到網(wǎng)絡(luò)的便攜終端的ID的列表。
6. -種便攜終端，其能夠與利用標(biāo)識信息確定的其他便攜終端和投影儀進(jìn)行通信，所 述便攜終端的特征在于，包括： 顯示單元，其顯示文字和圖形； 觸摸面板，其接受來自用戶的指示； 發(fā)送和接收單元，其與所述其他便攜終端和投影儀進(jìn)行數(shù)據(jù)的發(fā)送和接收；和 分析單元，其進(jìn)行所述數(shù)據(jù)的分析， 所述便攜終端按規(guī)定的間隔將從所述觸摸面板輸入的線描信息分割成線段，與該線段 的起點與終點的坐標(biāo)值和描繪線的種類、顏色等屬性信息一同生成線段數(shù)據(jù)包，并將其發(fā) 送到投影儀， 所述分析單元對從所述投影儀發(fā)送來的數(shù)據(jù)中包含的文字和圖形的起點與終點的坐 標(biāo)值和描繪線的種類、顏色等屬性信息進(jìn)行分析， 在所述顯示單元，顯示基于所述分析信息的文字和線段。
7. 如權(quán)利要求6所述的便攜終端，其特征在于： 所述多個便攜終端在所述終端內(nèi)的存儲器中保存由所述其他便攜終端或投影儀分發(fā) 的數(shù)據(jù)， 通過所述便攜終端的操作，沿著時間軸返回到過去，來再現(xiàn)利用線段數(shù)據(jù)包描繪的線 延伸的過程。
8. 如權(quán)利要求6所述的便攜終端，其特征在于： 作為所述多個便攜終端中的任意終端的第一便攜終端具有對同為任意終端的第二便 攜終端發(fā)起用于僅在第一終端與第二終端之間進(jìn)行直接通信的呼叫處理的功能， 受到呼叫的第二便攜終端具有對第一便攜終端的呼叫處理進(jìn)行響應(yīng)的功能， 第一終端和第二終端具有：從所述呼叫處理和響應(yīng)完成的時刻起，使用終端上的觸摸 面板和顯示器，僅在該終端之間發(fā)送和接收所述包含文字和圖形的起點與終點的坐標(biāo)值和 描繪線的種類、顏色等屬性信息的數(shù)據(jù)并將其顯示的功能。
9. 如權(quán)利要求6所述的便攜終端，其特征在于： 在所述便攜終端的屏幕上，利用ID編號、顏色、圖案、影像中的任一個或多個來顯示連 接到網(wǎng)絡(luò)的便攜終端的ID的列表。
10. 如權(quán)利要求9所述的便攜終端，其特征在于： 所述便攜終端能夠在朝向使用者的方向上內(nèi)置或搭載攝像機，并具有利用所述攝像機 拍攝能夠確定使用者的影像，并在所述顯示的便攜終端的ID的列表中，顯示能夠確定正在 使用所述觸摸面板的使用者的影像的功能。
11. 如權(quán)利要求10所述的便攜終端，其特征在于： 內(nèi)置或搭載于所述便攜終端的攝像機所拍攝的能夠確定使用者的影像，利用從拍攝的 圖像中自動檢測出能夠確定使用者的部位并將其截出而生成的影像。
12. -種程序，其安裝到便攜終端，為了與利用標(biāo)識信息確定的其他便攜終端和投影儀 進(jìn)行通信而被執(zhí)行，所述程序的特征在于： 控制觸摸面板單元、顯示單元和發(fā)送和接收單元，使得按規(guī)定的間隔將從觸摸面板輸 入的線描信息分割成線段，與該線段的起點與終點的坐標(biāo)值和描繪線的種類、顏色等屬性 信息一同生成線段數(shù)據(jù)包，并將其發(fā)送到投影儀， 控制觸摸面板單元、顯示單元和發(fā)送和接收單元，使得在所述顯示單元顯示利用所述 標(biāo)識信息標(biāo)識的其他便攜終端的用戶信息，確定該用戶信息，按規(guī)定的間隔將從所述觸摸 面板輸入的線描信息分割成線段，與該線段的起點與終點的坐標(biāo)值和描繪線的種類、顏色 等屬性信息一同生成線段數(shù)據(jù)包，并將其發(fā)送到該其他便攜終端的用戶， 控制顯示單元和發(fā)送和接收單元，使得在所述顯示單元顯示來自利用所述標(biāo)識信息標(biāo) 識的其他便攜終端的用戶的接收數(shù)據(jù)。
13. 如權(quán)利要求12所述的程序，其特征在于，能夠執(zhí)行如下功能： 在所述多個便攜終端上，在所述終端內(nèi)的存儲器中保存由所述其他便攜終端或投影儀 分發(fā)的數(shù)據(jù)， 通過所述便攜終端的操作，沿著時間軸返回到過去，來再現(xiàn)利用線段數(shù)據(jù)包描繪的線 延伸的過程。
14. 如權(quán)利要求12所述的程序，其特征在于： 具有發(fā)起用于僅在所述多個便攜終端中的作為任意終端的第一便攜終端與同為任意 終端的第二便攜終端之間進(jìn)行直接通信的呼叫處理的功能， 受到呼叫的第二便攜終端的程序具有對第一便攜終端的程序的呼叫處理進(jìn)行響應(yīng)的 功能， 第一終端和第二終端的程序能夠執(zhí)行從所述呼叫處理和響應(yīng)完成的時刻起，使用終端 上的觸摸面板和顯示器，僅在該終端之間發(fā)送和接收所述包含文字和圖形的起點與終點的 坐標(biāo)值和描繪線的種類、顏色等屬性信息的數(shù)據(jù)并將其顯示的功能。
15. 如權(quán)利要求12所述的程序，其特征在于： 所述程序能夠執(zhí)行在執(zhí)行該程序的便攜終端的屏幕上，利用ID編號、顏色、圖案、影像 中的任一個或多個來顯示連接到網(wǎng)絡(luò)的便攜終端的ID的列表的功能。
16. 如權(quán)利要求15所述的程序，其特征在于： 在便攜終端中在朝向使用者的方向上內(nèi)置或搭載有攝像機的情況下，所述程序能夠執(zhí) 行控制所述攝像機來拍攝能夠確定使用者的影像，并在所述顯示的便攜終端的ID的列表 中，顯示能夠確定正在使用所述觸摸面板的使用者的影像的功能。
17. 如權(quán)利要求16所述的程序，其特征在于： 能夠執(zhí)行以下處理：內(nèi)置或搭載于所述便攜終端的攝像機所拍攝的能夠確定使用者的 影像，利用從拍攝的圖像中自動檢測出能夠確定使用者的部位并將其截出而生成的影像。
【文檔編號】H04N7/15GK104106037SQ201280069430
【公開日】2014年10月15日 申請日期:2012年2月13日 優(yōu)先權(quán)日:2012年2月13日
【發(fā)明者】清水宏, 吉澤和彥, 鈴木基之, 西島英男, 益岡信夫 申請人:日立麥克賽爾株式會社