專利名稱：用于實(shí)時(shí)白板流技術(shù)的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明針對(duì)一種用于在網(wǎng)絡(luò)環(huán)境中使用流技術(shù)(streaming)將白板(whiteboard)內(nèi)容傳送給計(jì)算設(shè)備的系統(tǒng)和方法。更具體地說，本發(fā)明涉及一種用于將經(jīng)增強(qiáng)的白板圖像序列實(shí)時(shí)發(fā)送給一個(gè)或多個(gè)遠(yuǎn)程會(huì)議參與者以允許在會(huì)議期間為所有會(huì)議參與者提供基于網(wǎng)絡(luò)的協(xié)作。
背景技術(shù)：
各種會(huì)議占據(jù)了許多工作人員工作時(shí)間的很大部分。如何有效地利用會(huì)議時(shí)間和節(jié)省會(huì)議期間往來的費(fèi)用被企業(yè)作為增加生產(chǎn)力和成本節(jié)約方面的有效手段而越來越重視。
許多會(huì)議組織者已經(jīng)在頭腦風(fēng)暴會(huì)議、講座、項(xiàng)目計(jì)劃會(huì)議、專利公布等會(huì)議中廣泛采用了白板技術(shù)。在這些會(huì)議期間，對(duì)寫在板上的內(nèi)容的筆記和復(fù)制經(jīng)常影響到許多參與者的積極投入和貢獻(xiàn)。因此，人們已經(jīng)在以某些自動(dòng)方式來捕獲白板內(nèi)容的技術(shù)方面花費(fèi)了一些努力。
每個(gè)企業(yè)都需要信息和意見的自由交流以改善它們的產(chǎn)品和服務(wù)。在團(tuán)隊(duì)中和團(tuán)隊(duì)外的人員之間的有效協(xié)作可以提高產(chǎn)品質(zhì)量、提升產(chǎn)品或項(xiàng)目開發(fā)的研制周期并減少成本。然而，有效的協(xié)作通常是很難實(shí)現(xiàn)的。而阻礙有效會(huì)議的一個(gè)問題就是通常人們?cè)诘赜蛏喜⒉辉谝黄?。考慮到冗長(zhǎng)的旅程的時(shí)間，參加會(huì)議的行程是非常耗費(fèi)時(shí)間和金錢的。為參加一個(gè)2到3小時(shí)會(huì)議的人可能將花費(fèi)一天時(shí)間在旅程上，還需要花費(fèi)一天時(shí)間在回程上，特別是當(dāng)召開跨國(guó)界或跨大陸會(huì)議時(shí)，該問題更加突出。
因此，人們很強(qiáng)烈地需要一種方式來使得在召開地域上不處于一起的許多人參加的會(huì)議時(shí)能更加容易輕松，以允許這些遠(yuǎn)程參與者實(shí)時(shí)參與會(huì)議并共享他們的意見。

發(fā)明內(nèi)容
本發(fā)明針對(duì)一種用于在網(wǎng)絡(luò)環(huán)境中使用流技術(shù)將白板內(nèi)容傳送給計(jì)算設(shè)備的系統(tǒng)和方法。這種稱之為實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法的發(fā)明是一種對(duì)白板圖像生成技術(shù)的擴(kuò)展，以在會(huì)議期間提供基于網(wǎng)絡(luò)的協(xié)作。在本發(fā)明的一個(gè)實(shí)施例中，網(wǎng)絡(luò)客戶可以接收會(huì)議的音頻內(nèi)容和增強(qiáng)的白板內(nèi)容(視頻圖像或快照?qǐng)D像序列)。在另一實(shí)施例中，每個(gè)聯(lián)網(wǎng)客戶可以發(fā)送音頻內(nèi)容和注解內(nèi)容，該注解內(nèi)容顯示在來自實(shí)際白板的單獨(dú)屏幕上，或由實(shí)際白板自身產(chǎn)生。該流技術(shù)內(nèi)容是建立在外部協(xié)作構(gòu)架上，例如微軟公司的Windows Messenger和Net Meeting。將白板的增強(qiáng)實(shí)況視頻以流技術(shù)傳送給遠(yuǎn)程會(huì)議參與者的個(gè)人計(jì)算機(jī)(PCs)，然后，他們可以將評(píng)論和注解再傳送回來。由此產(chǎn)生的系統(tǒng)可以為分布式會(huì)議提供了自然的協(xié)作性工具。
該系統(tǒng)的典型方案包括涉及頭腦風(fēng)暴會(huì)議。該會(huì)議涉及到在聚集在某地(典型的是在會(huì)議室中)的N個(gè)人，以及M個(gè)(通常是1到3)個(gè)人(遠(yuǎn)程用戶)，每個(gè)人可能在他們自己的辦公室中或其它遠(yuǎn)程地點(diǎn)。
聚集在會(huì)議室中的N個(gè)人配備有白板、捕獲白板內(nèi)容的攝像頭、捕獲會(huì)議音頻的麥克風(fēng)設(shè)備、會(huì)議服務(wù)器、投影儀、電視或其它顯示器，它們連接到所述會(huì)議服務(wù)器上；以及安裝在麥克風(fēng)設(shè)備上的揚(yáng)聲器。而M個(gè)個(gè)人中的每個(gè)人坐在他們自己的辦公室或其它遠(yuǎn)程地點(diǎn)，配備有桌面計(jì)算機(jī)或筆記本電腦、揚(yáng)聲器、麥克風(fēng)以及將遠(yuǎn)程個(gè)人計(jì)算機(jī)與會(huì)議服務(wù)器相連的網(wǎng)絡(luò)連接。
在會(huì)議室中的N個(gè)人使用白板作為協(xié)作空間，通過在白板上描繪來共享他們的意見。在白板上的內(nèi)容迅速被捕獲(實(shí)際上是實(shí)時(shí)捕獲)，并通過網(wǎng)絡(luò)將白板的增強(qiáng)圖像傳送給遠(yuǎn)程人員以使他們能共享內(nèi)容。而口頭上的討論將由麥克風(fēng)捕獲，并且該音頻，最好和定向信息一起，例如使用音頻指紋的音頻跟蹤一起，也通過這個(gè)裝置發(fā)送給遠(yuǎn)程人員。
而參加會(huì)議的遠(yuǎn)程人員通過在會(huì)議室中由揚(yáng)聲器播放的音頻來參與會(huì)議。遠(yuǎn)程人員可以通過在捕獲的白板幀上注解來參與會(huì)議，并且經(jīng)注解的白板幀會(huì)顯示在會(huì)議室的顯示器上以及其它遠(yuǎn)程個(gè)人計(jì)算機(jī)的屏幕上。另外，還可以使用例如蜂鳴器或某些視覺提示信號(hào)來提醒會(huì)議參與者，遠(yuǎn)程參與者已經(jīng)向白板內(nèi)容進(jìn)行輸入。
整個(gè)會(huì)議(包括注解)都能歸檔，以便在將來進(jìn)行查閱。白板和注解作了時(shí)間標(biāo)記，并與音頻同步。
如前所述，遠(yuǎn)程參與者可以在白板內(nèi)容上提供注解和口頭評(píng)論。會(huì)議室中的屏幕(它與白板不同)顯示了白板內(nèi)容和注解。一種替換的方案是將遠(yuǎn)程參與者的注解直接投影到會(huì)議室的實(shí)際白板上。該方案的好處在于遠(yuǎn)程參與者能積極參與白板內(nèi)容的進(jìn)展。
在上述的方案中，遠(yuǎn)程參與者使用的是傳統(tǒng)的PC。然而，遠(yuǎn)程參與者也可以使用平板PC(TabletPC)。微軟公司的平板PC是針對(duì)全配置個(gè)人計(jì)算機(jī)設(shè)計(jì)的，它允許用戶使用輸入筆或數(shù)字感應(yīng)觸摸屏代替鍵盤來通過自然手寫筆記。墨水(ink)技術(shù)可以使得遠(yuǎn)程參與者進(jìn)行注解(無論是公開的和/或私人的)變得更加容易。
如上所述，實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法具有基于服務(wù)器的端和基于客戶的端。在下面的段落中，將進(jìn)一步詳細(xì)描述。
實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法的服務(wù)器端通常由4個(gè)主要部分組成1)分類處理，將圖像序列單元分類成背景、前景或筆劃單元(stroke cell)；2)動(dòng)態(tài)白板背景初始化和更新處理，計(jì)算白板顏色而不包括前景對(duì)象(例如人員)和筆劃；3)有效實(shí)時(shí)處理，對(duì)輸入視頻序列中的白板區(qū)域進(jìn)行增強(qiáng)；4)分析處理，提取白板上新出現(xiàn)的筆劃。
如本發(fā)明所述的系統(tǒng)和方法最初獲取由白板圖像幀實(shí)時(shí)序列構(gòu)成的一系列快照或?qū)崨r白板視頻輸入。該快照序列或視頻以逐幀為基礎(chǔ)進(jìn)行實(shí)時(shí)處理。
白板圖像幀序列(快照或視頻)輸入給基于單元運(yùn)動(dòng)檢測(cè)的處理。在該處理中，在給定幀序列中的每個(gè)圖像幀分成了幾個(gè)單元。對(duì)每個(gè)對(duì)應(yīng)的單元位置隨時(shí)間變化進(jìn)行比較，以檢測(cè)光或色中的任何變化。如果有顯著的光照變化，就執(zhí)行白板顏色匹配處理動(dòng)作，這將隨后進(jìn)行詳細(xì)描述。如果沒有顯著的光照變化，該視頻幀的每個(gè)單元就分類成前景、白板背景或筆劃單元。在單元分類中，其主要意圖在于過濾掉遮擋白板部分的人或其它對(duì)象的圖像部分，以便在白板背景上僅顯示白板內(nèi)容的筆劃。
單元分類也用于創(chuàng)建白板視頻流，它是一種具有白板和前景對(duì)象(例如站在所顯示白板之前的人員)的增強(qiáng)的實(shí)況視頻流。還會(huì)創(chuàng)建其它數(shù)據(jù)流，如白板和僅有筆劃數(shù)據(jù)流，其中以增強(qiáng)方式在白板上僅顯示白板的筆劃，而不顯示前景對(duì)象。
為了顯示含有白板和前景對(duì)象的增強(qiáng)圖像，執(zhí)行圖像增強(qiáng)處理。在圖像增強(qiáng)處理中，白板顏色更加統(tǒng)一，而白板內(nèi)容(也就是寫在白板上的內(nèi)容)的筆劃飽和度增加以使得筆劃更加鮮明和易讀。
單元分類的另一輸出是判斷是否添加了筆劃或從白板中去除了筆劃。在這種處理動(dòng)作中，實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法確定單元中的筆劃內(nèi)容是否增加或減少了(即對(duì)應(yīng)于附加的寫或擦除白板內(nèi)容)。如果單元的筆劃內(nèi)容發(fā)生了變化，這些內(nèi)容的變化就輸出給白板數(shù)據(jù)流。
另外，在單元分類之后，系統(tǒng)判定白板顏色模型是否需要更新。白板顏色模型更新處理是對(duì)白板顏色中的逐漸變化的識(shí)別。例如，亮度條件中的這些微小變化是由于云彩從太陽(yáng)前經(jīng)過或某些東西在白板上投下陰影。如果逐漸的亮度變化被識(shí)別，則更新白板顏色模型中當(dāng)前白板顏色的模型。
如前所述，顯著的光變化在基于單元的運(yùn)動(dòng)檢測(cè)處理中被記錄，如本發(fā)明所述的系統(tǒng)或方法就判定所記錄的亮度變化是否包含在當(dāng)前白板顏色模型中。如果新亮度條件對(duì)應(yīng)于白板顏色模型數(shù)據(jù)庫(kù)中的白板顏色模型，該模型就用于后續(xù)單元分類。然而，如果沒有找到顏色模型，就初始化或估計(jì)新的顏色模型，并將其加入到白板顏色模型數(shù)據(jù)庫(kù)中。
如本發(fā)明所述的系統(tǒng)和方法具有許多優(yōu)點(diǎn)。它允許遠(yuǎn)程會(huì)議參與者積極參加會(huì)議，而不需要花費(fèi)時(shí)間和金錢去遠(yuǎn)程地點(diǎn)開會(huì)。它提供了一種具有前景對(duì)象的更加易讀的白板數(shù)據(jù)流形式，以及提供了不具有前景對(duì)象的更加易讀的白板內(nèi)容數(shù)據(jù)流。
除了上述的優(yōu)點(diǎn)之外，本發(fā)明的其它優(yōu)點(diǎn)可以從下面結(jié)合附圖的具體描述中進(jìn)一步體現(xiàn)出來。


本申請(qǐng)的文件中含有至少一張彩色的附圖。具有彩色附圖的本申請(qǐng)文本將在申請(qǐng)人請(qǐng)求并支付所需費(fèi)用后由美國(guó)專利和商標(biāo)局提供。
本發(fā)明的特定特征、方面和優(yōu)點(diǎn)將通過下述描述、權(quán)利要求和附圖變得更容易理解。
圖1是描述構(gòu)成實(shí)現(xiàn)本發(fā)明的示范系統(tǒng)的通用計(jì)算設(shè)備的框圖。
圖2是實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法的主要系統(tǒng)部件的框圖。
圖3是實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法的主要功能部分的框圖。
圖4是如本發(fā)明所述的系統(tǒng)和方法概括流程圖。
圖5是一系列輸入圖像的框圖。
圖6是如本發(fā)明所述的系統(tǒng)和方法所使用的白板圖像單元的單元分類的概括流程圖。
圖7是如本發(fā)明所述的系統(tǒng)和方法所使用的白板顏色估計(jì)處理的概括流程圖。
圖8是如本發(fā)明所述的系統(tǒng)和方法所使用的白板圖像增強(qiáng)的概括流程圖。
圖9是如本發(fā)明所述的系統(tǒng)和方法所述的筆劃識(shí)別和提取的概括流程圖。
圖A-1是用于說明如本發(fā)明所述的系統(tǒng)和方法所述的白板顏色估計(jì)和過濾的框圖。
具體實(shí)施例方式
在本發(fā)明的較佳實(shí)施例的下述描述中，參考了作為說明書一部分的附圖進(jìn)行描述，所述

了本發(fā)明可以采用的特定實(shí)施例。本領(lǐng)域技術(shù)人員應(yīng)該理解在不背離本發(fā)明精神的情況下，還可以使用其它實(shí)施例或?qū)@些實(shí)施例進(jìn)行修改。這都沒有超出本發(fā)明的公開范圍。
1.0示范工作環(huán)境圖1示出了可以實(shí)現(xiàn)本發(fā)明的一種合適的計(jì)算系統(tǒng)環(huán)境100實(shí)例。該計(jì)算系統(tǒng)環(huán)境100只是一個(gè)合適的計(jì)算環(huán)境的實(shí)例，并不是要將本發(fā)明的使用和功能范圍局限在該環(huán)境中。也不是要將計(jì)算環(huán)境100解釋為與示范工作環(huán)境100中所示部件之一或其組合具有聯(lián)系或要求。
本發(fā)明可以在許多其它通用或?qū)Ｓ糜?jì)算系統(tǒng)環(huán)境或配置中工作。這些適用于本發(fā)明的眾所周知的計(jì)算系統(tǒng)、環(huán)境和/或配置的實(shí)例可以包括(但不局限于)個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手提或膝上型設(shè)備、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程消費(fèi)類電子產(chǎn)品、網(wǎng)絡(luò)PC、微型計(jì)算機(jī)、大型機(jī)、包含上述任意系統(tǒng)和設(shè)備的分布式計(jì)算環(huán)境，等等。
本發(fā)明從計(jì)算機(jī)可執(zhí)行指令的概括角度進(jìn)行描述，例如以計(jì)算機(jī)可執(zhí)行的程序模塊來進(jìn)行描述。通常，程序模塊包括例行程序、程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)等，它們能執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型。本發(fā)明也可以在分布式計(jì)算環(huán)境中實(shí)現(xiàn)，在這種環(huán)境中，由通過通信網(wǎng)絡(luò)連接的遠(yuǎn)程處理設(shè)備來執(zhí)行任務(wù)。在分布式計(jì)算環(huán)境中，程序模塊可以位于包含存儲(chǔ)器存儲(chǔ)設(shè)備的本地和遠(yuǎn)程計(jì)算機(jī)存儲(chǔ)媒體中。
參照?qǐng)D1，一種執(zhí)行本發(fā)明的示范系統(tǒng)包括以計(jì)算機(jī)110形式出現(xiàn)的通用計(jì)算設(shè)備。該計(jì)算機(jī)110的部件包括(但不局限于)處理單元120、系統(tǒng)存儲(chǔ)器130和系統(tǒng)總線121，它將各種系統(tǒng)部件(包括系統(tǒng)存儲(chǔ)器到處理單元120)都連接在一起。系統(tǒng)總線121可以是下述幾種總線結(jié)構(gòu)類型中任意一種存儲(chǔ)器總線或存儲(chǔ)器控制器、外設(shè)總線和使用各種總線體系的局域總線。這種體系包括例如(但不局限于)工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(ISA)總線、微通道結(jié)構(gòu)(MCA)總線、擴(kuò)展ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(huì)(VESA)局域總線以及外設(shè)部件互連(PCI)總線，也稱為中層總線(Mezzanine bus)。
計(jì)算機(jī)110通常包括各種計(jì)算機(jī)可讀媒體。計(jì)算機(jī)可讀媒體包括任何可由計(jì)算機(jī)110存取的可用媒體，包括易失和非易失媒體、可移動(dòng)和非可移動(dòng)媒體。計(jì)算機(jī)可讀媒體可以包括例如(但不局限于)計(jì)算機(jī)存儲(chǔ)媒體和通信媒體。計(jì)算機(jī)存儲(chǔ)媒體包括易失和非易失、可移動(dòng)和非可移動(dòng)媒體，這些媒體可以用于任何存儲(chǔ)信息，例如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)，的方法或技術(shù)實(shí)現(xiàn)。計(jì)算機(jī)存儲(chǔ)媒體包括(但不局限于)RAM、ROM、EEPROM、閃存或其它存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字通用光盤(DVD)或其它光盤存儲(chǔ)、磁帶盒、磁帶、磁盤存儲(chǔ)或其它磁性存儲(chǔ)設(shè)備、或任意其它可用于存儲(chǔ)所需信息并可被計(jì)算機(jī)110存取的媒體。通信媒體通常包含計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它調(diào)制數(shù)據(jù)信號(hào)(例如載波)或其它傳輸機(jī)制中的數(shù)據(jù)，并且包括任何信息傳遞媒體。術(shù)語“調(diào)制數(shù)據(jù)信號(hào)”是指以對(duì)信號(hào)中信息編碼的方式使其一個(gè)或多個(gè)特性被設(shè)定或改變的信號(hào)。通信媒體包括(但不局限于)有線媒體例如有線網(wǎng)絡(luò)或直線連接、以及無線媒體例如聲音、RF、紅外線和其它無線媒體。上述媒體的任意組合也應(yīng)包含在計(jì)算機(jī)可讀媒體的范疇。
系統(tǒng)存儲(chǔ)器130包括易失和/或非易失存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)媒體，例如只讀存儲(chǔ)器(ROM)131和隨機(jī)訪問存儲(chǔ)器(RAM)132。基本輸入/輸出系統(tǒng)133(BIOS)，含有例如在啟動(dòng)期間幫助在計(jì)算機(jī)110中的元件之間傳送信息的基本例行程序，通常存儲(chǔ)在ROM 131中。RAM 132通常含有立刻就要存取和/或目前正在被處理單元120處理的數(shù)據(jù)和/或程序模塊。圖1示例出(但不局限于)操作系統(tǒng)34、應(yīng)用程序135、其它程序模塊136以及程序數(shù)據(jù)137。
計(jì)算機(jī)110可以包括其它可移動(dòng)/非可移動(dòng)、易失/非易失計(jì)算機(jī)存儲(chǔ)媒體。圖1示例出(但不局限于)可以對(duì)非可移動(dòng)、非易失磁性媒體進(jìn)行讀寫的硬盤驅(qū)動(dòng)器141，可對(duì)可移動(dòng)、非易失磁盤152進(jìn)行讀寫的磁盤驅(qū)動(dòng)器151，以及可對(duì)可移動(dòng)、非易失光盤(例如CD-ROM或其它光學(xué)媒體156)進(jìn)行讀寫的光盤驅(qū)動(dòng)器155。其它可用于示范操作環(huán)境的可移動(dòng)/非可移動(dòng)、易失/非易失計(jì)算機(jī)存儲(chǔ)媒體包括(但不局限于)磁帶盒、閃存卡、數(shù)字通用光盤、數(shù)字?jǐn)z像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅(qū)動(dòng)器141通常通過即時(shí)-可移動(dòng)(anon-removable)存儲(chǔ)器接口(例如接口140)與系統(tǒng)總線121連接，而磁盤驅(qū)動(dòng)器151和光盤驅(qū)動(dòng)器155通常通過可移動(dòng)存儲(chǔ)器接口(例如接口150)與系統(tǒng)總線121相連。
在如上所述和圖1中所示的驅(qū)動(dòng)器及其相關(guān)的計(jì)算機(jī)存儲(chǔ)媒體為計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和計(jì)算機(jī)110的其它數(shù)據(jù)提供了存儲(chǔ)。在圖1中，例如，硬盤驅(qū)動(dòng)器141如圖所示存儲(chǔ)了操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146以及程序數(shù)據(jù)147。注意這些部分可以與操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136以及程序數(shù)據(jù)137相同，也可以不同。操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146以及程序數(shù)據(jù)147在這里用不同的標(biāo)號(hào)是為了說明至少它們是不同的副本。用戶可以通過輸入設(shè)備例如鍵盤162和指點(diǎn)設(shè)備161(通常指鼠標(biāo)、軌跡球或觸摸板)將命令和信息輸入到計(jì)算機(jī)110中。其它輸入設(shè)備(未示出)可以包括麥克風(fēng)、操縱桿、游戲手柄、衛(wèi)星天線、掃描儀等。這些和其它輸入設(shè)備通常通過連接到系統(tǒng)總線12 1的用戶輸入接 160連接到處理單元120，但也可以由其它接口或總線結(jié)構(gòu)連接，例如并行口、游戲端口或通用串行總線(USB)。監(jiān)視器191或其它類型的顯示設(shè)備也通過接口(例如視頻接口190)連接到系統(tǒng)總線121。除了監(jiān)視器外，計(jì)算機(jī)還可以包括其它外圍輸出設(shè)備，例如揚(yáng)聲器197和打印機(jī)196，它們可以通過輸出外圍接口195進(jìn)行連接。而能捕獲圖像164序列的攝像頭163(例如數(shù)字/電子靜態(tài)或視頻攝像機(jī))作為本發(fā)明特別重要的設(shè)備也可作為輸入設(shè)備包括在個(gè)人計(jì)算機(jī)110中。而且，雖然只描述了采用一個(gè)攝像頭的情況，但個(gè)人計(jì)算機(jī)110也可采用多個(gè)攝像頭作為輸入設(shè)備。來自一個(gè)或多個(gè)攝像頭的圖像164通過合適的攝像頭接口165輸入到計(jì)算機(jī)110中。該接口165連接到了系統(tǒng)總線121，因而允許圖像發(fā)送并存儲(chǔ)在RAM 132或與計(jì)算機(jī)110相關(guān)的其它數(shù)據(jù)存儲(chǔ)設(shè)備中的一個(gè)中。然而，需要注意，圖像數(shù)據(jù)也可以從任意上述計(jì)算機(jī)可讀媒體中輸入到計(jì)算機(jī)110，而不需要使用攝像頭163。
計(jì)算機(jī)110可以在使用物理連接一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)(例如遠(yuǎn)程計(jì)算機(jī)180)的聯(lián)網(wǎng)環(huán)境中運(yùn)行。該遠(yuǎn)程計(jì)算機(jī)180可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對(duì)等設(shè)備或其它公共網(wǎng)絡(luò)節(jié)點(diǎn)，并且雖然在圖1中僅示出存儲(chǔ)器存儲(chǔ)設(shè)備181，但通常還包括上述有關(guān)計(jì)算機(jī)110的許多或所有元件。在圖1中所示的物理連接包括局域網(wǎng)(LAN)171和廣域網(wǎng)(WAN)173，但也可以包括其它網(wǎng)絡(luò)。這些網(wǎng)絡(luò)環(huán)境在辦公室、企業(yè)計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和互聯(lián)網(wǎng)中已經(jīng)廣泛采用。
當(dāng)在LAN網(wǎng)絡(luò)環(huán)境中使用時(shí)，計(jì)算機(jī)110通過網(wǎng)絡(luò)接口或適配器170連接到LAN 171。當(dāng)在WAN網(wǎng)絡(luò)環(huán)境中使用時(shí)，計(jì)算機(jī)110通常包括調(diào)制解調(diào)器172或其它與WAN 173，例如互聯(lián)網(wǎng)，建立通信的裝置。調(diào)制解調(diào)器172可以是內(nèi)置的，也可以是外置的，可通過用戶輸入接口160連接到系統(tǒng)總線121，或其它合適的機(jī)構(gòu)。在網(wǎng)絡(luò)環(huán)境中，有關(guān)計(jì)算機(jī)110所描繪的程序模塊或其部分可以存儲(chǔ)在遠(yuǎn)程存儲(chǔ)器存儲(chǔ)設(shè)備中。圖1示例出(但不局限于)駐留在存儲(chǔ)器設(shè)備181上的遠(yuǎn)程應(yīng)用程序185。需要注意，所示的網(wǎng)絡(luò)連接是示例性的，也可以使用其它裝置在計(jì)算機(jī)之間建立通信連接。
現(xiàn)在，已經(jīng)討論了示范操作環(huán)境，本說明書部分的剩余內(nèi)容將致力于描述實(shí)現(xiàn)本發(fā)明的程序模塊。
2.0實(shí)時(shí)白板流技術(shù)的系統(tǒng)和方法2.1概述實(shí)時(shí)白板流技術(shù)的系統(tǒng)和方法通常具有基于服務(wù)器的部件，并且能具有一個(gè)或多個(gè)安排在基于網(wǎng)絡(luò)的環(huán)境中的遠(yuǎn)程客戶機(jī)。增加的實(shí)況視頻或增強(qiáng)實(shí)時(shí)白板快照序列以流技術(shù)傳送給遠(yuǎn)程會(huì)議參與者的PC，而他們可以在白板內(nèi)容上發(fā)送回注解以及在會(huì)議進(jìn)程中進(jìn)行口頭評(píng)論。
如圖2所示，典型的這種系統(tǒng)的方案包括頭腦風(fēng)暴會(huì)議，它涉及到處于某地(例如典型的會(huì)議室202)的N個(gè)人員，以及M個(gè)(通常是1到3個(gè))遠(yuǎn)程人員204a…，204m，每個(gè)人員位于他們自己的辦公室中或其它遠(yuǎn)程地點(diǎn)。
聚集在會(huì)議室202中的N個(gè)人配備有白板206、捕獲白板內(nèi)容的攝像頭208、捕獲會(huì)議音頻的麥克風(fēng)210、會(huì)議服務(wù)器、投影儀、電視或其它顯示器212，它們連接到所述會(huì)議服務(wù)器214上；以及安裝在麥克風(fēng)設(shè)備上的揚(yáng)聲器216。而M個(gè)個(gè)人中的每個(gè)人坐在他們自己的辦公室或其它遠(yuǎn)程地點(diǎn)204a…，204m，配備有桌面計(jì)算機(jī)或筆記本電腦218、揚(yáng)聲器(未示出)、麥克風(fēng)/耳機(jī)220以及將遠(yuǎn)程個(gè)人計(jì)算機(jī)218與會(huì)議服務(wù)器214相連的網(wǎng)絡(luò)連接222。
在會(huì)議室202中的N個(gè)人使用白板206作為協(xié)作空間，通過在白板上描繪來共享他們的意見。在白板上的內(nèi)容迅速被捕獲，并通過將增強(qiáng)白板內(nèi)容傳送到遠(yuǎn)程人員的計(jì)算機(jī)218a…，218m，使得遠(yuǎn)程人員能共享內(nèi)容。而口頭上的討論將由麥克風(fēng)210捕獲，并且該音頻(最好和定向信息一起)發(fā)送給遠(yuǎn)程人員。
而參加會(huì)議的遠(yuǎn)程人員通過在會(huì)議室中由揚(yáng)聲器216播放的音頻來參與會(huì)議。遠(yuǎn)程人員也可以通過在捕獲的白板幀上注解來參與會(huì)議，并且經(jīng)注解的白板幀會(huì)顯示在會(huì)議室的顯示器212上以及其它遠(yuǎn)程個(gè)人計(jì)算機(jī)218a…，218m的屏幕上。另外，還可以使用例如蜂鳴器或某些視覺閃爍警示信號(hào)來提醒會(huì)議參與者，遠(yuǎn)程參與者已經(jīng)作出了注解。
2.2基于服務(wù)器的實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法通常，如圖3所示，實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法在功能上由4個(gè)主要部分組成1)分類處理，將圖像序列單元分類成背景、前景或筆劃單元(處理動(dòng)作302)；2)動(dòng)態(tài)白板背景初始化和更新處理，計(jì)算白板顏色而不包括前景對(duì)象(例如人員)和筆劃(處理動(dòng)作304)；3)有效實(shí)時(shí)處理，對(duì)輸入視頻序列中的白板區(qū)域進(jìn)行增強(qiáng)(處理動(dòng)作306)；4)分析處理，提取白板上新出現(xiàn)的筆劃(處理動(dòng)作308)。圖像增強(qiáng)處理的輸出是一個(gè)增強(qiáng)白板圖像序列(處理動(dòng)作310)，而筆劃分析處理的輸出僅是流技術(shù)化白板數(shù)據(jù)(處理動(dòng)作312)。
更具體地說，如圖4所示，如本發(fā)明所述的系統(tǒng)和方法最初獲取由白板圖像幀實(shí)時(shí)序列構(gòu)成的實(shí)況白板輸入，如在處理動(dòng)作402中所示。該視頻、快照或圖像序列以逐幀為基礎(chǔ)進(jìn)行實(shí)時(shí)處理。
白板圖像幀序列輸入給基于單元運(yùn)動(dòng)檢測(cè)的處理404。在該處理中，在給定幀序列中的每個(gè)圖像幀分成了幾個(gè)單元。對(duì)每個(gè)對(duì)應(yīng)的單元位置隨時(shí)間變化進(jìn)行比較，以檢測(cè)亮度中的任何變化(處理動(dòng)作406)。如果有顯著的亮度變化，就執(zhí)行白板顏色匹配處理動(dòng)作(處理動(dòng)作408)，這將隨后進(jìn)行詳細(xì)描述。如果沒有顯著的亮度變化，該視頻幀的每個(gè)單元就分類成前景、白板背景或筆劃單元(處理動(dòng)作410)。在單元分類中，其主要意圖在于過濾掉遮擋白板部分的人或其它對(duì)象的圖像部分，以便在白板背景上僅顯示白板內(nèi)容的筆劃。單元分類也用于創(chuàng)建白板圖像流，它是一種具有白板和前景對(duì)象(例如站在所顯示白板之前的人員)的增強(qiáng)的實(shí)況視頻或快照流，如處理動(dòng)作414所示。該流通過增強(qiáng)處理進(jìn)行增強(qiáng)，如處理動(dòng)作412所示。還會(huì)創(chuàng)建其它數(shù)據(jù)流(白板數(shù)據(jù)流)，其中在筆劃處理(處理動(dòng)作416)執(zhí)行之后，以增強(qiáng)方式在白板上僅顯示筆劃，而不顯示前景對(duì)象(處理動(dòng)作418)。
為了顯示含有白板和前景對(duì)象的增強(qiáng)圖像，執(zhí)行圖像增強(qiáng)處理，如處理動(dòng)作412所示。在圖像增強(qiáng)處理(處理動(dòng)作412)中，白板顏色更加統(tǒng)一，而白板內(nèi)容(也就是寫在白板上的內(nèi)容)的筆劃飽和度增加以使得筆劃更加鮮明和易讀。
單元分類的另一輸出是判斷是否添加了筆劃或從白板中去除了筆劃，如處理動(dòng)作416所示。在這種處理動(dòng)作中，實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法判定單元中的筆劃內(nèi)容是否增加或減少了。如果單元的筆劃內(nèi)容發(fā)生了變化，該內(nèi)容就輸出給白板數(shù)據(jù)流(處理動(dòng)作418)。
另外，如處理動(dòng)作420所示，在單元分類之后，系統(tǒng)判定白板顏色模型是否需要更新。白板顏色模型更新處理是對(duì)白板顏色中的逐漸變化的識(shí)別。這種變化是由于例如，光照條件中的微小變化，而這些微小變化是由于例如云彩從太陽(yáng)前經(jīng)過或某些東西在白板上投下陰影。如果變化被識(shí)別，則更新白板顏色模型數(shù)據(jù)庫(kù)422(是所有可用白板顏色模型的數(shù)據(jù)庫(kù))中當(dāng)前白板顏色的模型。
如前所述，如果顯著的光照變化在基于單元的運(yùn)動(dòng)檢測(cè)處理中被記錄(處理動(dòng)作406)，如本發(fā)明所述的系統(tǒng)或方法就判定所記錄的光照變化是否體現(xiàn)在當(dāng)前白板顏色模型中(處理動(dòng)作408)。如果新光照條件對(duì)應(yīng)于白板顏色模型數(shù)據(jù)庫(kù)中的白板顏色模型(處理動(dòng)作424)，該模型就用于后續(xù)單元分類。然而，如果沒有找到該顏色模型，就初始化新的顏色模型(處理動(dòng)作426)，并將其加入到白板顏色模型數(shù)據(jù)庫(kù)中。
上面已經(jīng)描述了根據(jù)本發(fā)明的通用系統(tǒng)和方法，隨后將詳細(xì)描述先前所述的處理動(dòng)作。
2.2.1實(shí)況白板視頻或快照序列輸入根據(jù)本發(fā)明的系統(tǒng)和方法最初獲取實(shí)況白板視頻輸入或一系列由白板圖像幀實(shí)時(shí)序列組成的快照。該視頻或快照序列以逐幀為基礎(chǔ)基本上進(jìn)行實(shí)時(shí)處理。在圖5示出的示例視頻序列中展示了一些選中的幀。有多少序列的幀可以被處理在某種程度上取決于會(huì)議服務(wù)器214的中央處理器(CPU)的利用率。一些(但不是全部)輸入幀基于CPU利用率用于后續(xù)白板背景顏色的處理。用于創(chuàng)建增強(qiáng)白板視頻流和白板數(shù)據(jù)流的前景、筆劃計(jì)算以及增強(qiáng)處理的實(shí)時(shí)處理在會(huì)議服務(wù)器處理帶寬受到限制時(shí)會(huì)比白板背景計(jì)算優(yōu)先進(jìn)行。
2.2.2基于單元的運(yùn)動(dòng)檢測(cè)和單元分類單元分類將單元分成1)前景；2)白板背景或3)寫在白板上的筆劃。實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法從輸入圖像序列中計(jì)算空白的白板顏色。該處理的難點(diǎn)在于整個(gè)白板在任意單個(gè)幀中可能是不可見的，這主要是由于在白板前的阻礙物。因此，白板背景必須通過先將圖像幀部分分類成前景或背景來構(gòu)造。僅有背景部分用于計(jì)算白板的背景色。
在根據(jù)本發(fā)明的一種系統(tǒng)和方法的工作實(shí)施例中，前景/背景的判決針對(duì)16×16像素的圖像塊進(jìn)行，該圖像塊稱之為單元。通常，有兩種主要直觀推斷用于執(zhí)行單元分類中1)由于攝像頭和白板都是固定的，白板背景單元在這個(gè)序列中也是固定的；2)雖然有時(shí)前景對(duì)象(例如站在白板前的人)會(huì)阻礙白板，但屬于白板背景的單元通常是多數(shù)。
這樣，本發(fā)明的一個(gè)實(shí)施例中，如圖6所示，輸入圖像幀單元(處理動(dòng)作602)。單元的圖像與先前幀的同一單元(例如在同一位置中的單元)的圖像進(jìn)行比較，如在處理動(dòng)作604中所示。在每個(gè)幀，所有對(duì)于超過N幀(在實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法的工作實(shí)施例中為4幀)都是固定的單元被視作是背景候選者，并饋送給白板顏色模型更新模塊(處理動(dòng)作610)。如果單元壽命沒有超過壽命閾值(在實(shí)施例中是4)，該單元就被分類為前景單元，如處理動(dòng)作608所示；而該單元的壽命重置為1。如果在單元顏色中存在任何顯著的差異，該單元分類成前景單元(處理動(dòng)作610)。該差異測(cè)試是這樣的單元顏色的Y、U、V通道必須分別位于白板顏色中它們的對(duì)應(yīng)部分的15、5和5強(qiáng)度級(jí)的范圍中。對(duì)于前景單元，為了驗(yàn)證這些單元沒有被錯(cuò)誤分類，還要執(zhí)行附加測(cè)試以判定單元是否和其它前景單元連接(處理動(dòng)作612)。如果一組前景單元是孤立的，它們的分類就還原，并且繼續(xù)分類處理。在本發(fā)明一個(gè)實(shí)施例中的孤立定義為在5×5單元的鄰域，少于6個(gè)前景單元。如果所討論的單元先前并沒有由上述的測(cè)試確定為前景單元，就判定該單元是否含有邊緣，如處理動(dòng)作614所示。如果該單元含有邊緣，就將其指派為筆劃單元(處理動(dòng)作616)。如果不具有邊緣，就將其分類為白板背景單元(處理動(dòng)作618)。
2.2.3白板顏色估計(jì)和白板顏色模型更新白板顏色模型更新(處理動(dòng)作420)尋找白板背景顏色中的逐漸變化。在一般意義上，實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法通過判斷每個(gè)單元的平均顏色來檢測(cè)是否存在逐漸變化。如果每個(gè)單元的平均顏色幾乎與先前相同，就判定逐漸變化發(fā)生了。在實(shí)施例中的系統(tǒng)也采用了在確定單元是否是背景單元中所使用的相同測(cè)試。當(dāng)記錄了逐漸變化時(shí)，就更新現(xiàn)有的白板顏色模型而不是創(chuàng)建新的白板顏色模型。在現(xiàn)有白板顏色模型中僅更新背景單元或筆劃單元的顏色模型。前景單元沒有被更新。
更具體地說，如圖7所示，在本發(fā)明的一個(gè)工作實(shí)施例中，白板圖像被分成許多單元，如處理動(dòng)作702所示。單元的大小最好大致等于白板上所預(yù)期的單個(gè)字符的大小(在本發(fā)明的工作實(shí)施例中是16×16像素)。由于墨水吸收了入射光，白板像素的亮度高于筆劃像素。在該單元中的白板顏色因而是具有最高亮度的顏色。實(shí)際上，在最高的十分之一的像素顏色被平均，以減少傳感器噪聲所引起的錯(cuò)誤。因此，通過先以亮度將(例如16×16＝256)個(gè)像素分類，再取最高亮度10％的值進(jìn)行平均以計(jì)算每個(gè)單元的顏色，如處理動(dòng)作706所示。所得到的單元顏色作為給最小中值平方誤差算法(least-median-squareerror algorithm)的輸入，該算法對(duì)顏色在全平面(globalplane)上擬合，并將含有界外顏色(前景顏色)的單元丟棄，如在處理動(dòng)作708中所示。剩余的單元就被看作是背景單元，并且使用它們的顏色來更新白板背景。為了對(duì)被前景對(duì)象阻擋的單元所產(chǎn)生的缺口進(jìn)行填充，具有已知顏色的單元也被擴(kuò)展到?jīng)]有顏色的鄰近單元。利用在附件A中所描述的顏色估計(jì)和過濾技術(shù)，將這些剩余的單元顏色和先前計(jì)算的單元顏色進(jìn)行整合。
為了執(zhí)行白板顏色模型的更新，實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法針對(duì)背景或筆劃采用了較大百分比的原始顏色模型(例如90％)和較小百分比的新顏色(例如10％)。
2.2.4顯著的亮度變化如上所述，考慮了顯著的光照變化(處理動(dòng)作406)。例如，如果關(guān)閉會(huì)議室中的一盞燈，幾乎所有的給定白板圖像中的單元都會(huì)變化。如果存在顯著的光照變化，基于單元的運(yùn)動(dòng)檢測(cè)(處理動(dòng)作404)將報(bào)告大多數(shù)的單元已經(jīng)變化(例如，在本發(fā)明的工作實(shí)施例中使用95％的單元作為閾值來表示光照的顯著變化)。隨后，重置白板背景，并初始化新的顏色模型或從白板顏色模型數(shù)據(jù)庫(kù)中提取新模型。隨后，再次開始執(zhí)行單元分類等處理。
2.2.5圖像增強(qiáng)白平衡或圖像增強(qiáng)的目的在于將輸入白板圖像轉(zhuǎn)化為在統(tǒng)一背景(通常是白色)上具有相同筆劃的圖像。對(duì)于每個(gè)像素，顏色值＝Clight，筆劃顏色＝Cpen，而白板背景顏色＝Cwb。由于白板在物理上通常由統(tǒng)一的顏色構(gòu)成，因此，可以假設(shè)Cwb對(duì)于所有像素都是常數(shù)。因此，輸入圖像的缺乏統(tǒng)一性是由于給每個(gè)像素的入射光量不同而造成的。因而，白平衡或顏色增強(qiáng)中的第一步處理是估計(jì)每個(gè)像素的Clight，其結(jié)果實(shí)際上是一幅空白白板的圖像，如圖7所示，處理動(dòng)作702，并且如前面在白板顏色估計(jì)章節(jié)所述。
一旦計(jì)算了空白白板顏色，就可將其用于使輸入視頻序列的白板區(qū)域統(tǒng)一成白色，而筆劃的顏色也能更飽和。如圖8所示，一旦計(jì)算了空白白板圖像(處理動(dòng)作802)，輸入圖像就通過下述兩個(gè)步驟進(jìn)行顏色增強(qiáng)1.使得背景統(tǒng)一成白色(處理動(dòng)作804)。對(duì)于每個(gè)單元，經(jīng)計(jì)算的白板顏色(等于入射光Clight)就用于衡量單元中每個(gè)像素的顏色Cout=min(1,CinputClight)]]>2.減少圖像噪聲，并增強(qiáng)筆劃的顏色飽和度。根據(jù)S型曲線0.5-0.5cos(Coutpπ)來重新映射每個(gè)像素每個(gè)顏色通道的值。S曲線的斜度由p控制。在本發(fā)明的工作實(shí)施例中，p設(shè)定為0.75(處理動(dòng)作806)。
2.2.6筆劃識(shí)別和提取也提取單元塊級(jí)別的筆劃以作為白板數(shù)據(jù)流輸出。筆劃具有下述屬性1)它們是固定的；2)它們具有某些邊緣。如圖9所示，為了識(shí)別邊緣和識(shí)別直線，對(duì)每個(gè)輸入幀執(zhí)行兩種Sobel濾波[-1-2-1；000；121]和[-101；-202；-101](處理動(dòng)作902到906)。執(zhí)行第一Sobel濾波以識(shí)別水平邊緣，而第二Sobel濾波則識(shí)別垂直邊緣。該處理識(shí)別了輸入圖像中存在的邊緣值(edgel)。而邊緣值定義為在兩個(gè)經(jīng)濾波的圖像中對(duì)應(yīng)的像素的絕對(duì)值的總和。對(duì)于每個(gè)單元，它必須對(duì)于N幀(本發(fā)明工作實(shí)施例中是4)是固定的，且含有一個(gè)邊緣值，其值大于閾值(本發(fā)明工作實(shí)施例中是60)，以作為筆劃單元。這些筆劃單元的邊緣值定義了這些筆劃的邊緣，如處理動(dòng)作908所示。
2.2.7白板顏色模型匹配當(dāng)系統(tǒng)開始運(yùn)行或檢測(cè)到光照變化時(shí)，就獲取N幀(例如4幀)，而在此期間的固定單元的顏色與數(shù)據(jù)庫(kù)中每個(gè)白板背景圖像進(jìn)行比較。如果固定的單元與數(shù)據(jù)庫(kù)中的一個(gè)圖像的對(duì)應(yīng)單元顏色都匹配(使用YUV顏色模型，和對(duì)于不同的測(cè)試使用15，5，5)，就存在一個(gè)匹配，系統(tǒng)就用來自匹配的圖像的顏色來初始化剩余非固定單元。一旦背景顏色更新過程穩(wěn)定，就在此對(duì)數(shù)據(jù)庫(kù)進(jìn)行匹配。如果不存在匹配，就將當(dāng)前顏色加入到數(shù)據(jù)庫(kù)中。
2.3基于客戶機(jī)的實(shí)時(shí)白板流技術(shù)系統(tǒng)和方法如前所述，在會(huì)議室中的口頭討論由麥克風(fēng)捕獲，并且該音頻(最好和定向信息一起)發(fā)送到遠(yuǎn)程人員。如前所述，增強(qiáng)白板圖像流和白板數(shù)據(jù)流發(fā)送給遠(yuǎn)程參與者。遠(yuǎn)程參與者可以選擇接收一個(gè)或另一個(gè)或都接收兩者實(shí)時(shí)數(shù)據(jù)流。
會(huì)議中的遠(yuǎn)程人員通過音頻(由會(huì)議室中的揚(yáng)聲器播放)和通過注解捕獲的白板幀來參與會(huì)議。遠(yuǎn)程參與者的注解可以包括，例如使用鼠標(biāo)或其它輸入設(shè)備在白板上加入文本、圓圈定白板上的項(xiàng)目或繪圖或作其它標(biāo)記。遠(yuǎn)程參與者所作的注解通過網(wǎng)絡(luò)使用任何適合的實(shí)時(shí)通信協(xié)議來傳送給會(huì)議服務(wù)器并顯示。由于白板信息已經(jīng)駐留，因此，只需要傳送注解，而不需要將整個(gè)白板圖像都傳送給會(huì)議服務(wù)器。這有利于使得傳送注解所需的網(wǎng)絡(luò)帶寬很小。
2.3.1給單獨(dú)顯示器的注解經(jīng)注解的白板幀顯示在會(huì)議室的顯示器上。該顯示器獨(dú)立于會(huì)議室中的實(shí)際白板，但含有白板的內(nèi)容和遠(yuǎn)程參與者的注解。遠(yuǎn)程參與者的注解也顯示在其他遠(yuǎn)程人員的桌面上。還可以使用例如蜂鳴器或閃爍屏幕這樣的信號(hào)來提醒會(huì)議參與者和遠(yuǎn)程參與者，有遠(yuǎn)程參與者已經(jīng)向白板內(nèi)容進(jìn)行注解。
2.3.2在實(shí)際白板上投影注解或者，遠(yuǎn)程參與者的注解可以顯示在會(huì)議室的實(shí)際物理白板上。這可以通過將遠(yuǎn)程客戶的注解使用投影儀投射在實(shí)際白板上來實(shí)現(xiàn)。
2.4使用平板PC注解在上述方案中，遠(yuǎn)程參與者采用的是傳統(tǒng)的PC。然而，遠(yuǎn)程參與者也可以使用平板PC。微軟公司的平板PC是針對(duì)全配置個(gè)人計(jì)算機(jī)設(shè)計(jì)的，它允許用戶使用輸入筆或數(shù)字感應(yīng)觸摸屏代替鍵盤來通過自然手寫記錄筆記。墨水(ink)技術(shù)可以使得遠(yuǎn)程參與者進(jìn)行注解(無論是公開的和/或私人的)變得更加容易。
2.5歸檔整個(gè)會(huì)議(包括注解)都能歸檔，以便在將來進(jìn)行查閱。白板和注解作了時(shí)間標(biāo)記，并與音頻同步。這樣，會(huì)議參與者可以在空閑的時(shí)間回顧該會(huì)議。另外，不能參加會(huì)議的人員也可以在隨后的時(shí)間查閱此次會(huì)議。
前面所述的本發(fā)明的內(nèi)容都是為了對(duì)本發(fā)明進(jìn)行說明和描述。這些內(nèi)容并不是要將本發(fā)明局限于前面所述的內(nèi)容中?？梢酝ㄟ^上述示例進(jìn)行修改和變化。
附頁(yè)A白板顏色估計(jì)為了對(duì)在將單元分成前景單元時(shí)出現(xiàn)白板顏色缺口進(jìn)行填充，就使用下述處理來估計(jì)要填充這些缺口的顏色。所述處理基于下述兩個(gè)觀察資料1)白板顏色填充隨單元的變化而變化，但這種變化并不劇烈。白板顏色具有平滑性和連續(xù)性。
2)由于光照條件在短周期期間通常不會(huì)變化，因此，如果沒有前景對(duì)象，就將白板顏色保持不變。
本處理的目標(biāo)是從具有變化前景但處于恒定或漸變光照條件的圖像序列中估計(jì)白板顏色。(當(dāng)光照條件突然變化，例如關(guān)閉或開啟一盞燈，的情況已經(jīng)在2.2.4節(jié)中描述過了，是通過檢測(cè)變化并使用多個(gè)顏色模型來處理)。恒定或漸變光照條件的假設(shè)是指每個(gè)白板像素的顏色只能隨時(shí)間在限定范圍內(nèi)變化，并且，在本發(fā)明的一個(gè)實(shí)施例中，這種變化已經(jīng)模型化為用零平均值和小標(biāo)準(zhǔn)偏差的隨機(jī)處理。還假設(shè)相鄰像素之間的白板反射率屬性是類似的，這意味著相鄰像素之間的白板顏色只能在限定范圍內(nèi)變化，并且，在本發(fā)明的一個(gè)實(shí)施例中，這種假設(shè)模型化為Markov隨機(jī)場(chǎng)，因此，在一個(gè)像素的白板顏色僅由相鄰像素制約。該估計(jì)處理包括下述步驟1.初始化。白板顏色需要初始化。這可以通過多種方法來實(shí)現(xiàn)。一種方法是通過利用鄰近平滑度約束僅從一個(gè)圖像來估計(jì)白板顏色。每個(gè)像素的顏色估計(jì)與協(xié)方差矩陣相關(guān)聯(lián)，該矩陣表示了這種估計(jì)的精度。
2.顏色匹配。給出一個(gè)輸入圖像，對(duì)每個(gè)像素將期待的白板顏色和實(shí)際觀測(cè)的顏色進(jìn)行比較。如果它們差異巨大，所觀測(cè)的像素不是筆劃的一部分就是前景對(duì)象的一部分，并且在下一步驟將丟棄該像素的顏色；否則，該像素的顏色就是白板顏色的觀測(cè)值，并在更新白板顏色中使用。
3.顏色更新。將輸入圖像中有效的白板顏色像素在概率性框架(probabilistic framework)下用于更新白板顏色。每個(gè)像素的白板顏色改變多少取決于當(dāng)前所觀測(cè)像素相對(duì)于所估計(jì)顏色來說有多可靠，當(dāng)前所觀測(cè)像素對(duì)于所估計(jì)顏色來說有多大不同，以及所觀測(cè)顏色與相鄰像素中的顏色有多大不同。每個(gè)像素顏色估計(jì)的協(xié)方差矩陣也會(huì)相應(yīng)更新。
步驟2和3針對(duì)每個(gè)輸入圖像進(jìn)行重復(fù)。
為了減少計(jì)算的復(fù)雜性并考慮到白板顏色實(shí)際上在空間上變化非常緩慢，白板區(qū)域可以分成一組小單元，而可以以每個(gè)單元(不是每個(gè)像素)為基礎(chǔ)來估計(jì)白板顏色。更具體地說，估計(jì)白板顏色的數(shù)學(xué)細(xì)節(jié)將在下面的章節(jié)說明。
A.1目標(biāo)該處理的目標(biāo)是從圖像系列中實(shí)時(shí)動(dòng)態(tài)估計(jì)白板顏色。在此假設(shè)亮度隨時(shí)間是恒定的。(當(dāng)光照突然變化，例如當(dāng)關(guān)閉一盞燈，就需要使用多個(gè)白板顏色模型)A.2表示參照?qǐng)DA-1，狀態(tài)變量xi，j是要估計(jì)的每個(gè)單元(i，j)白板的顏色。觀察變量zi，j是從圖像觀測(cè)的每個(gè)單元(i，j)處的白板的顏色，該變量可以通過例如直方圖(histogramming)來計(jì)算。
A.3問題陳述給出●在時(shí)間t-1，狀態(tài) 協(xié)方差矩陣 ●狀態(tài)變換xi,jt=xi,jt-1+ηi,jt,]]>即對(duì)于隨機(jī)變量ηi，jt～N(0，Ri，jt)(即以0為中心具有協(xié)方差矩陣Ri，jt的正態(tài)/高斯分布)恒定；●在時(shí)間t，觀察zi,jt=xi,jt+ζi,jt,]]>其中觀察噪聲ζi，jt～N(0，Qi，jt)；在t時(shí)的估計(jì)狀態(tài) 協(xié)方差矩陣 這是在 需要在空間上非常平滑作為限制條件下。
A.4平滑度人們可以使用4或8個(gè)鄰域來如下建立平滑度模型(xi，jt-xk，lt)～N(0，Si，jt)
其中，k∈[i-1，i+1]，而l∈[j-1，j+1]，并且(k，l)≠(i，j)。在t時(shí)間的狀態(tài)預(yù)測(cè)如下xi,jt|t-1=E[xi,jt-1+ηi,jt]=x^i,jt-1]]>P^i,jt|t-1=V[xi,jt-1+ηi,jt]=P^i,jt-1+Ri,jt]]>A.4目標(biāo)函數(shù)隨后給出試圖最小化的總體能量F=Σi,j{(xi,jt-xi,jt|t-1)T(P^i,jt|t-1)-1(xi,jt-x^i,jt|t-1)+(xi,jt-zi,jt)T(Qi,jt)-1(xi,jt-zi,jt)]]>1ΩΣ(k,l)≠(i,j){(xi,jt-xk,lt)T(Si,jt)-1(xi,jt-xk,lt)+(xi,jt-zi,jt)}]]>其中Ω是鄰域的數(shù)目。這三個(gè)項(xiàng)分別是預(yù)測(cè)、觀察和鄰域的差異。所有的差異是統(tǒng)計(jì)距離，并由協(xié)方差矩陣歸一化。
A.6解答對(duì)于 到0設(shè)定F的偏導(dǎo)數(shù)，產(chǎn)生(P^i,jt|t-1)-1(xi,jt-x^i,jt|t-1)+(Qi,jt)-1(xi,jt-zi,jt)+(Si,jt)-1(xi,jt-x‾i,jt)=0]]>其中xi，jt是鄰域中狀態(tài)的平均值，即x‾i,jt=1ΩΣ(k,l)≠(i,j)xk,lt]]>這給出了下列解答xi,jt=((P^i,jt|t-1)-1+(Qi,jt)-1+(Si,jt)-1)-1(P^i,jt|t-1)-1x^i,jt|t-1+(Qi,jt)-1zi,jt+(Si,jt)-1x‾i,jt]]>不幸地是，右側(cè)的xi，jt涉及到未知的xk，lt。因此，為了解決相互依賴的問題，使用了下述迭代處理對(duì)于第一次迭代，使用預(yù)期平均值， 作為xi，jt；并且在隨后的迭代中，我們采用來自先前迭代的估計(jì)平均值。注意，這種迭代處理是非常有效的，因?yàn)榈g唯一的修改就在于xi，jt；其它的都能被高速緩沖。同樣，給出如下xi，jt的協(xié)方差Pi,jt=((P^i,jt|t-1)-1+(Qi,jt)-1+(Si,jt)-1)-1)(2I+(Si,jt)-1P‾i,jt)]]>其中I是單位矩陣，并且
P‾i,jt=1ΩΣ(k,l)≠(i,j)Pk,lt]]>再次使用迭代過程，將預(yù)測(cè)平均值1ΩΣ(k,l)≠(i,j)P^k,lt|t-1]]>作為第一迭代中的Pi，jt。
A.7實(shí)際考慮事項(xiàng)在實(shí)現(xiàn)時(shí)，需要注意下述問題●觀測(cè)協(xié)方差Qi，jt。它應(yīng)該包括傳感器噪聲和判決的不肯定性。判決的不肯定性是我們認(rèn)為zi，jt是白板顏色的有多少可信度的倒數(shù)。如果是界外值，就設(shè)定Qi，jt＝∞(無限值)。
●狀態(tài)轉(zhuǎn)換噪聲ηi，jt和它的協(xié)方差矩陣Ri，jt。這用于說明由于燈或日光引起的光照中的小變化。(巨大的變化例如當(dāng)關(guān)閉一盞燈時(shí)需要考慮使用多個(gè)模型。)●平滑度協(xié)方差矩陣Si，jt。它應(yīng)該比協(xié)方差 的當(dāng)前估值和理想情況下期望的變量之和要小。如果期望的變量為每顏色通道5個(gè)強(qiáng)度級(jí)，就可使用Si,jt=P^k,lt|t-1+52I.]]>
權(quán)利要求
1.一種用于創(chuàng)建增強(qiáng)白板內(nèi)容的數(shù)據(jù)流的計(jì)算機(jī)可執(zhí)行處理，包括下述處理動(dòng)作輸入白板圖像幀序列；將每個(gè)所述白板的所述圖像幀分成各個(gè)單元；判斷在所述圖像序列中的所述單元內(nèi)是否存在顯著的光照變化；如果存在顯著的光照變化，就執(zhí)行白板顏色匹配處理以判定白板的顏色是否反映了在白板顏色模型數(shù)據(jù)庫(kù)中的一種白板顏色，所述白板顏色用于定義白板背景顏色；如果不存在顯著光照變化，就將圖像幀的每個(gè)單元分成前景、白板背景或?qū)懺诎装迳系膬?nèi)容的筆劃單元；對(duì)所述圖像幀序列進(jìn)行增強(qiáng)，以便在白板上的筆劃能以使用所述單元分類的增強(qiáng)形式顯示；以及以數(shù)據(jù)流形式輸出所述白板增強(qiáng)圖像幀的序列。
2.如權(quán)利要求1所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述增強(qiáng)圖像幀序列以便白板上的筆劃可以以增強(qiáng)形式顯示的處理動(dòng)作還包括下述處理動(dòng)作使得在所述圖像幀序列中顯示白板背景的單元的白板背景顏色更加統(tǒng)一；減少所述圖像幀序列中的圖像噪聲；以及增加白板內(nèi)容筆劃的飽和度，以使得所述筆劃對(duì)于筆劃單元來說更加鮮明易讀。
3.如權(quán)利要求1所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述以數(shù)據(jù)流形式輸出所述白板增強(qiáng)圖像幀的序列的處理動(dòng)作包括僅使用增強(qiáng)白板單元和增強(qiáng)筆劃單元而不使用前景單元。
4.如權(quán)利要求1所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述以數(shù)據(jù)流形式輸出所述白板增強(qiáng)圖像幀的序列的處理動(dòng)作包括使用增強(qiáng)白板單元、增強(qiáng)筆劃單元和前景單元。
5.如權(quán)利要求1所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述白板顏色匹配處理動(dòng)作包括確定在新亮度條件中的白板背景單元的顏色是否與白板顏色模型數(shù)據(jù)庫(kù)中的一種白板顏色模型匹配；如果在新亮度條件中的白板背景單元的顏色與反映所述白板顏色模型數(shù)據(jù)庫(kù)中的白板背景單元顏色的白板顏色模型相對(duì)應(yīng)，將這種白板顏色模型用于后續(xù)單元分類中；如果在新亮度條件中的白板背景單元的顏色沒有在所述白板顏色模型數(shù)據(jù)庫(kù)中找到，就創(chuàng)建新白板顏色模型以反映在新亮度條件中的白板背景單元的顏色。
6.如權(quán)利要求5所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，進(jìn)一步包括下述處理動(dòng)作將所述新白板顏色模型添加到白板顏色模型數(shù)據(jù)庫(kù)中。
7.如權(quán)利要求1所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，進(jìn)一步包括確定筆劃是否被加入白板或從白板中去除的處理動(dòng)作。
8.如權(quán)利要求7所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述確定筆劃是否加入或去除的處理動(dòng)作包括通過與所述圖像幀序列中對(duì)應(yīng)的位置的單元相比較來確定每個(gè)單元中的筆劃內(nèi)容是否增加和減少了。
9.如權(quán)利要求7所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，進(jìn)一步包括如果在所述單元中存在變化就通過僅顯示增強(qiáng)筆劃單元和增強(qiáng)白板背景而不顯示前景單元來向所述增強(qiáng)圖像序列輸出單元。
10.如權(quán)利要求9所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，直到確定已經(jīng)添加或去除了筆劃，才將增強(qiáng)白板和增強(qiáng)筆劃單元輸出到增強(qiáng)圖像序列中，并且其中當(dāng)出現(xiàn)筆劃內(nèi)容變化時(shí)，就輸出對(duì)應(yīng)于添加或去除的筆劃的增強(qiáng)筆劃單元。
11.如權(quán)利要求9所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述將每個(gè)所述白板圖像幀分成前景、白板背景或?qū)懺诎装迳系膬?nèi)容的筆劃單元的處理動(dòng)作包括下述處理動(dòng)作對(duì)于所述圖像序列中圖像幀的所有圖像幀單元輸入一個(gè)圖像幀單元；將所述圖像幀單元與先前幀中對(duì)應(yīng)位置上的單元進(jìn)行比較；如果該單元壽命不大于壽命閾值，就將該單元分類作為前景單元；所述壽命是該單元未變化的幀數(shù)；如果該單元壽命大于壽命閾值，就確定在單元顏色中是否存在任何顯著的差異，如果單元顏色中不存在顯著的差異，就將該單元分類為前景單元；如果單元顏色中存在顯著的差異，確定所述單元是否含有邊緣；如果該單元含有邊緣，將其分類為筆劃單元；并且如果該單元不含有邊緣，就將其分類為白板背景單元。
12.如權(quán)利要求11所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，進(jìn)一步包括對(duì)分類成前景單元的所述單元驗(yàn)證其為前景單元的處理動(dòng)作，所述動(dòng)作包括下述處理動(dòng)作確定所述前景單元是否與其它前景單元連接；以及如果該單元確定為前景單元，且不與其它單元相連，還原其分類為未知。
13.如權(quán)利要求11所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述確定在單元顏色中是否存在任何顯著差異的處理動(dòng)作包括下述處理動(dòng)作檢驗(yàn)單元的Y，U，V通道；如果所述單元顏色的Y，U，V通道沒有分別處于離所述白板顏色模型中對(duì)應(yīng)位置單元的15、5和5強(qiáng)度級(jí)的范圍中，說明在單元顏色中存在顯著差異。
14.如權(quán)利要求12所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，如果在5×5單元鄰域中前景單元沒有和其它前景單元相連，就說明存在少于6個(gè)的前景單元。
15.如權(quán)利要求12所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述判定所述單元是否含有邊緣的處理動(dòng)作包括下述處理動(dòng)作對(duì)于每個(gè)幀單元，使用Sobel濾波器來識(shí)別所述單元的水平邊緣以獲得第一經(jīng)濾波的Sobel圖像；使用Sobel濾波器來識(shí)別所述單元的垂直邊緣以獲得第二經(jīng)濾波的Sobel圖像；確定存在于每個(gè)幀中的邊緣值數(shù)目，其中一個(gè)邊緣值被定義為是在兩個(gè)經(jīng)Sobel濾波的圖像中對(duì)應(yīng)像素的絕對(duì)值的總和；對(duì)于每個(gè)單元，對(duì)于N幀是固定的，其中當(dāng)在幀N和N+1的單元中的所有像素都相同時(shí)，該單元對(duì)于連續(xù)幀N到N+1是固定的，并且該單元含有的邊緣值，該值大于預(yù)定閾值，將該單元考慮作為筆劃單元。
16.如權(quán)利要求15所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，如果所有像素的平均絕對(duì)差值低于預(yù)定閾值，則在幀N和N+1的單元中的所有像素是相同的。
17.如權(quán)利要求16所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述預(yù)定閾值以強(qiáng)度級(jí)來定義。
18.如權(quán)利要求15所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述筆劃單元中的所述邊緣值定義了筆劃的邊緣。
19.如權(quán)利要求1所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，進(jìn)一步包括在將圖像幀的每個(gè)單元分成前景、白板背景或?qū)懺诎装迳系膬?nèi)容的筆劃單元的處理動(dòng)作之后，確定白板背景顏色模型是否應(yīng)被更新的處理動(dòng)作。
20.如權(quán)利要求19所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，確定白板背景顏色模型是否應(yīng)被更新的處理動(dòng)作包括下述處理動(dòng)作通過檢驗(yàn)過去圖像幀序列逐漸到當(dāng)前白板幀中對(duì)應(yīng)的單元的平均顏色來識(shí)別白板顏色中的任何逐漸變化；如果在白板顏色中識(shí)別出逐漸變化，確定所有可用白板顏色模型的白板顏色模型數(shù)據(jù)庫(kù)中的當(dāng)前白板顏色模型是否更新。
21.如權(quán)利要求20所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，如果平均單元顏色幾乎相等，但與先前幀不相等，進(jìn)一步包括下述處理動(dòng)作確定發(fā)生了逐漸亮度變化；并對(duì)白板背景和具有白板背景顏色的筆劃單元更新當(dāng)前白板背景顏色模型。
22.如權(quán)利要求21所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，對(duì)白板和筆劃單元更新白板顏色模型的處理動(dòng)作包括下述處理動(dòng)作將白板圖像分成多個(gè)單元；根據(jù)像素的亮度值將每個(gè)單元中的像素分類；以及將每個(gè)單元中最高的亮度值分配作為該單元所得到的白板顏色。
23.如權(quán)利要求22所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，進(jìn)一步包括濾波單元顏色的處理動(dòng)作，它包括下述處理動(dòng)作將所得到的單元顏色施加給最小中值平方誤差處理，該算法在全平面上使顏色擬合，并將前景單元丟棄；將剩余的單元指定為白板背景單元；使用所述剩余白板背景單元來更新白板背景；并且，對(duì)在白板顏色模型中由被丟棄的前景單元所產(chǎn)生的缺口用來自具有白板背景顏色的相鄰單元的已知顏色進(jìn)行填充。
24.如權(quán)利要求22所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述單元的大小應(yīng)大致等于在白板上所期望的單個(gè)字符的大小。
25.如權(quán)利要求21所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述為白板和筆劃單元更新白板顏色模型的處理動(dòng)作包括下述處理動(dòng)作將白板圖像分成多個(gè)單元；根據(jù)像素的亮度值將每個(gè)單元中的像素分類；以及將每個(gè)單元中最高10％的亮度值進(jìn)行平均，并將該值作為該單元所得到的白板顏色。
26.如權(quán)利要求25所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，單元大小應(yīng)大致等于在白板上所期望的單個(gè)字符的大小。
27.如權(quán)利要求21所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，更新白板背景顏色的處理動(dòng)作包括取較大百分比的最近白板背景顏色模型和較小百分比的新白板背景顏色，并對(duì)它們求和以獲得新白板背景顏色。
28.如權(quán)利要求27所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，較大百分比的最近白板背景顏色模型為90％，而較小百分比的新白板背景顏色為10％。
29.如權(quán)利要求1所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，確定在所述單元中是否存在顯著光照變化的處理動(dòng)作包括下述處理動(dòng)作確定是否多數(shù)單元表現(xiàn)出顏色變化，以及如果是，就指定發(fā)生了光照變化。
30.如權(quán)利要求29所述的計(jì)算機(jī)可執(zhí)行處理，其特征在于，所述多數(shù)定義為有95％的單元表現(xiàn)出顏色變化。
31.一種用于對(duì)白板數(shù)據(jù)內(nèi)容采用流技術(shù)的系統(tǒng)，所述系統(tǒng)包括分類模塊，用于將被分成多個(gè)單元的白板圖像序列中每個(gè)單元分成筆劃單元、白板背景單元或前景單元；動(dòng)態(tài)白板背景和初始化模塊，用于確定所述單元中的白板背景顏色；圖像增強(qiáng)模塊，用于對(duì)由白板背景、前景和筆劃單元組成的圖像進(jìn)行增強(qiáng)；以及用于添加和去除白板筆劃數(shù)據(jù)的模塊，以使用白板背景和筆劃單元來創(chuàng)建白板圖像。
32.如權(quán)利要求31所述的系統(tǒng)，其特征在于，進(jìn)一步包括用于對(duì)白板圖像數(shù)據(jù)形成流的模塊，其中所述白板圖像數(shù)據(jù)由白板背景單元、前景單元和筆劃單元組成。
33.如權(quán)利要求31所述的系統(tǒng)，其特征在于，進(jìn)一步包括用于對(duì)白板內(nèi)容數(shù)據(jù)形成流的模塊，其中所述白板內(nèi)容數(shù)據(jù)由白板背景單元和筆劃單元組成。
34.如權(quán)利要求31所述的系統(tǒng)，其特征在于，所述對(duì)白板內(nèi)容數(shù)據(jù)進(jìn)行分類的模塊包括下述子模塊對(duì)所述白板圖像序列中所有的單元輸入圖像幀單元；將所述圖像幀單元與先前幀同一位置中的單元圖像進(jìn)行比較；如果單元壽命不大于壽命閾值，則將該單元分類作為前景單元；將超過N幀都保持固定的所有單元分配為背景候選者；確定在單元顏色中是否存在任何顯著差異，如果存在，將該單元分類作為前景單元；確定分類為前景單元的單元是否與其它前景單元相連；如果分類作為前景單元的單元沒有和其它單元相連，就將其分類還原為未知；確定所述單元是否含有邊緣；如果該單元含有邊緣，將其分類為筆劃單元；并且如果該單元不含有邊緣，就將其分類為白板背景單元。
35.如權(quán)利要求31所述的系統(tǒng)，其特征在于，將某些，但不是所有的，記錄在白板視頻流中的圖像用于創(chuàng)建所述圖像序列。
36.如權(quán)利要求31所述的系統(tǒng)，其特征在于，將所有記錄在白板視頻流中的圖像用于創(chuàng)建所述圖像序列。
37.一種計(jì)算機(jī)可讀媒體，具有用于傳送白板視頻流的計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令包括輸入白板圖像幀序列；將每個(gè)所述白板圖像幀分成各個(gè)單元；判斷在所述圖像序列中的所述單元內(nèi)是否存在顯著的光照變化；如果存在顯著的光照變化，就執(zhí)行白板顏色匹配處理以確定白板的顏色；如果不存在顯著光照變化，就將圖像幀的每個(gè)單元分成前景、白板背景或?qū)懺诎装迳系膬?nèi)容的筆劃單元；以及對(duì)所述圖像幀序列進(jìn)行增強(qiáng)，以便能以使用所述單元分類的增強(qiáng)形式僅顯示白板上的筆劃。
38.如權(quán)利要求37所述的計(jì)算機(jī)可讀媒體，其特征在于，進(jìn)一步包括用于僅使用所述白板背景和筆劃單元來輸出所述增強(qiáng)圖像序列的計(jì)算機(jī)可執(zhí)行指令。
39.如權(quán)利要求37所述的計(jì)算機(jī)可讀媒體，其特征在于，進(jìn)一步包括用于僅使用所述白板背景、前景單元和筆劃單元來輸出所述增強(qiáng)圖像序列的計(jì)算機(jī)可執(zhí)行指令。
40.一種用于傳送增強(qiáng)白板圖像視頻流的系統(tǒng)，所述系統(tǒng)包括發(fā)送器，包括輸入模塊，用于輸入所捕獲白板圖像序列和與所捕獲白板圖像序列同步化的音頻，并將所述每個(gè)圖像分成多個(gè)單元；分類模塊，用于將白板圖像數(shù)據(jù)分類成筆劃單元、白板背景單元或前景單元；動(dòng)態(tài)白板背景和初始化模塊；圖像增強(qiáng)模塊，用于對(duì)所述筆劃單元中的筆劃進(jìn)行增強(qiáng)，并使得白板背景單元顏色更加統(tǒng)一；以及用于添加和去除白板筆劃數(shù)據(jù)的模塊；發(fā)送模塊，用于通過網(wǎng)絡(luò)使用所述前景單元、白板背景單元和筆劃單元將包含前景對(duì)象的第一增強(qiáng)白板圖像數(shù)據(jù)流發(fā)送給接收器；以及通過網(wǎng)絡(luò)使用所述筆劃單元和白板背景單元，但不包括前景單元，將不包含前景對(duì)象的第二增強(qiáng)白板圖像數(shù)據(jù)流發(fā)送給接收器。
41.如權(quán)利要求40所述的系統(tǒng)，進(jìn)一步包括接收器，所述接收器包括接收模塊，通過網(wǎng)絡(luò)接收從所述發(fā)送器發(fā)送的所述增強(qiáng)白板圖像和同步化的音頻；揚(yáng)聲器模塊，播放所述同步化的音頻；以及顯示模塊，在接收器處顯示所述增強(qiáng)的白板圖像。
42.如權(quán)利要求41所述的系統(tǒng)，其特征在于，所述接收器進(jìn)一步包括用于選擇所述接收器是要將第一數(shù)據(jù)流還是第二數(shù)據(jù)流顯示在所述顯示模塊上的模塊。
43.如權(quán)利要求41所述的系統(tǒng)，其特征在于，所述接收器進(jìn)一步包括將給所述白板數(shù)據(jù)流的注解發(fā)送回所述發(fā)送器。
44.如權(quán)利要求43所述的系統(tǒng)，其特征在于，所述發(fā)送器通過投影儀將所述注解投射在白板上以將所述注解疊加在所述白板上，從而將所述接收機(jī)發(fā)送的所述注解顯示在所述白板上。
45.如權(quán)利要求43所述的系統(tǒng)，其特征在于，所述發(fā)送器通過將所述注解疊加在單獨(dú)顯示器的所述白板上，從而將所述注解顯示在所述白板上，其中所述白板圖像和所述注解都被顯示。
46.如權(quán)利要求40所述的系統(tǒng)，其特征在于，所述發(fā)送器進(jìn)一步包括用于將所述第一和第二數(shù)據(jù)流歸檔以供日后查閱或發(fā)送的模塊。
47.如權(quán)利要求40所述的系統(tǒng)，其特征在于，所述動(dòng)態(tài)白板背景估計(jì)和初始化模塊采用下述方式來估計(jì)白板顏色對(duì)于第一輸入圖像為每個(gè)像素初始化白板背景顏色，為每個(gè)像素關(guān)聯(lián)一個(gè)協(xié)方差估值，該估值表征了所述像素顏色的精度，將初始化的白板顏色指定為估計(jì)的白板顏色；給出輸入圖像，在每個(gè)像素處，將白板估計(jì)顏色與所述輸入圖像中實(shí)際觀測(cè)的顏色進(jìn)行比較，并且如果所估計(jì)的顏色和所觀測(cè)的顏色差異巨大，則所觀測(cè)的像素不是筆劃的一部分就是前景對(duì)象的一部分，并且丟棄該像素的顏色；否則，該像素的顏色就是白板顏色的觀測(cè)值，并在更新白板顏色中使用；并且在概率框架下將沒有被丟棄的這些像素的顏色更新，其中每個(gè)像素的改變多少取決于當(dāng)前所觀測(cè)像素對(duì)于所估計(jì)顏色來說有多可靠，當(dāng)前所觀測(cè)像素對(duì)于所估計(jì)顏色來說有多大不同，以及所觀測(cè)像素顏色與相鄰像素中的顏色有多大不同。
48.如權(quán)利要求47所述的系統(tǒng)，其特征在于，當(dāng)更新像素顏色時(shí)，每個(gè)像素的顏色估計(jì)的協(xié)方差矩陣也會(huì)更新。
49.如權(quán)利要求47所述的系統(tǒng)，其特征在于，所述動(dòng)態(tài)白板背景估計(jì)和初始化模塊通過下述方式估計(jì)白板顏色對(duì)于所述第一輸入圖像之后的后續(xù)輸入圖像對(duì)每個(gè)像素將已更新所估計(jì)的白板顏色與所述輸入圖像中實(shí)際觀測(cè)的顏色進(jìn)行比較，并且如果所更新的估計(jì)顏色和所觀測(cè)的顏色差異巨大，則所觀測(cè)的像素不是筆劃的一部分就是前景對(duì)象的一部分，并且丟棄該像素的顏色；否則，該像素的顏色就是白板顏色的觀測(cè)值，并在更新白板顏色中使用；并且在概率框架下將沒有被丟棄的這些像素的顏色更新，其中每個(gè)像素的改變多少取決于當(dāng)前所觀測(cè)像素對(duì)于所估計(jì)顏色來說有多可靠，當(dāng)前所觀測(cè)像素對(duì)于所估計(jì)顏色來說有多大不同，以及所觀測(cè)像素顏色與相鄰像素中的顏色有多大不同。
50.如權(quán)利要求40所述的系統(tǒng)，其特征在于，所述動(dòng)態(tài)白板背景估計(jì)和初始化模塊以下述方式估計(jì)白板顏色對(duì)于第一輸入圖像將白板分成各個(gè)單元；為每個(gè)單元初始化白板背景顏色，為每個(gè)單元關(guān)聯(lián)一個(gè)協(xié)方差估值，該估值表征了所述單元顏色的精度，將初始化的白板顏色指定為估計(jì)的白板顏色；給出輸入圖像，在每個(gè)單元，將白板估計(jì)顏色與所述輸入圖像中實(shí)際觀測(cè)的顏色進(jìn)行比較，并且如果所估計(jì)的顏色和所觀測(cè)的顏色差異巨大，則所觀測(cè)的單元不是筆劃的一部分就是前景對(duì)象的一部分，并且丟棄該單元的顏色；否則，該單元的顏色就是白板顏色的觀測(cè)值，并在更新白板顏色中使用；并且在概率框架下將沒有被丟棄的這些單元的顏色更新，其中每個(gè)單元的改變多少取決于當(dāng)前所觀測(cè)單元對(duì)于所估計(jì)顏色來說有多可靠，當(dāng)前所觀測(cè)單元對(duì)于所估計(jì)顏色來說有多大不同，以及所觀測(cè)單元顏色與相鄰單元中的顏色有多大不同。
51.如權(quán)利要求50所述的系統(tǒng)，其特征在于，當(dāng)更新單元顏色時(shí)，每個(gè)單元處的顏色估計(jì)的協(xié)方差矩陣也會(huì)更新。
52.如權(quán)利要求50所述的系統(tǒng)，其特征在于，所述動(dòng)態(tài)白板背景估計(jì)和初始化模塊通過下述方式估計(jì)白板顏色對(duì)于所述第一輸入圖像之后的后續(xù)輸入圖像對(duì)每個(gè)單元將已更新所估計(jì)的白板顏色與所述輸入圖像中實(shí)際觀測(cè)的顏色進(jìn)行比較，并且如果所更新的估計(jì)顏色和所觀測(cè)的顏色差異巨大，則所觀測(cè)的單元不是筆劃的一部分就是前景對(duì)象的一部分，并且丟棄該單元的顏色；否則，該單元的顏色就是白板顏色的觀測(cè)值，并在更新白板顏色中使用；并且在概率框架下將沒有被丟棄的這些單元的顏色更新，其中每個(gè)單元的改變多少取決于當(dāng)前所觀測(cè)單元對(duì)于所估計(jì)顏色來說有多可靠，當(dāng)前所觀測(cè)單元對(duì)于所估計(jì)顏色來說有多大不同，以及所觀測(cè)單元顏色與相鄰單元中的顏色有多大不同。
53.一種從圖像序列中動(dòng)態(tài)實(shí)時(shí)估計(jì)白板顏色的計(jì)算機(jī)可執(zhí)行處理，包括下述處理動(dòng)作定義狀態(tài)變量xi，j為要估計(jì)的每個(gè)單元(i，j)處的白板的顏色，而觀察變量zi，j是從圖像中觀測(cè)的每個(gè)單元(i，j)白板的顏色；如下計(jì)算每個(gè)單元的顏色xi,jt=((P^i,jt|t-1)-1+(Qi,jt)-1+(Si,jt)-1)-1(P^i,jt|t-1)-1x^i,jt|t-1+(Qi,jt)-1zi,jt+(Si,jt)-1x‾i,jt]]>對(duì)于第一次迭代，使用預(yù)期平均值，1ΩΣ(k,l)≠(i,j)xk,lt|t-1,]]>作為xi，jt，其中Ω是相鄰單元的數(shù)目，k∈[i-1，i+1]，而l∈[j-1，j+1]，并且(k，l)≠(i，j)；并且在隨后的迭代中，采用來自先前迭代的估計(jì)平均值。并且，給出如下xi，jt的協(xié)方差Pi,jt=((P^i,jt|t-1)-1+(Qi,jt)-1+(Si,jt)-1)-1)(2I+(Si,jt)-1P‾i,jt)]]>其中I是單位矩陣，并且P‾i,jt=1ΩΣ(k,l)≠(i,j)Pk,lt,]]>并將預(yù)期平均數(shù)1ΩΣ(k,l)≠(i,j)P^k,lt|t-1]]>作為第一迭代中的Pi，jt，其中觀測(cè)協(xié)方差是觀測(cè)協(xié)方差是Qi，jt，平滑度協(xié)方差矩陣是Si，jt，狀態(tài)變換噪聲ηi，jt和它的協(xié)方差矩陣是Ri，jt。
全文摘要
一種用于在網(wǎng)絡(luò)環(huán)境中使用流技術(shù)將白板內(nèi)容傳送給計(jì)算設(shè)備的系統(tǒng)和方法。本發(fā)明是一種對(duì)白板圖像生成技術(shù)的擴(kuò)展，以提供基于網(wǎng)絡(luò)的目標(biāo)會(huì)議協(xié)作。在本發(fā)明的一個(gè)實(shí)施例中，每個(gè)網(wǎng)絡(luò)客戶可以接收音頻內(nèi)容和白板內(nèi)容(視頻圖像)。在另一實(shí)施例中，每個(gè)聯(lián)網(wǎng)客戶可以發(fā)送音頻內(nèi)容和注解內(nèi)容，該注解內(nèi)容單獨(dú)顯示在白板圖像上，或由實(shí)際白板產(chǎn)生。該流技術(shù)內(nèi)容是建立在外部協(xié)作構(gòu)架上。
文檔編號(hào)G06T5/00GK1525300SQ200410007618
公開日2004年9月1日 申請(qǐng)日期2004年2月24日 優(yōu)先權(quán)日2003年2月24日
發(fā)明者張正友, 賀立為 申請(qǐng)人:微軟公司