專利名稱：與硬件和操作系統(tǒng)平臺無關(guān)的屏幕景象記錄方法
技術(shù)領(lǐng)域：
本發(fā)明屬計算機領(lǐng)域的圖像處理范疇，涉及屏幕景象記錄方法，特別是與硬件和 操作系統(tǒng)平臺無關(guān)的屏幕景象記錄方法。
(二)
背景技術(shù)：
屏幕景象記錄用于連續(xù)記錄重大使命、實時系統(tǒng)(Mission Critical ，Real time),如空中交通管制(ATC)、指揮自動化等系統(tǒng)運行過程中的屏幕上顯示的圖象， 以便于使用者對記錄的數(shù)據(jù)進行事故調(diào)查，監(jiān)督和訓(xùn)練，以及遠程監(jiān)控。
屏幕景象記錄最常見的實現(xiàn)是在以下操作平臺(1) windows平臺下的屏幕錄像 專家等屏幕錄像軟件，這些屏幕錄像軟件像錄像機一樣記錄屏幕的變化情況，并將其 壓縮存儲成通用的視頻格式，其缺點是只能在windows平臺運行，并且為有損壓縮， 記錄的數(shù)據(jù)量大。(2)在UNIX/LINUX操作系統(tǒng)XWIND0W圖形界面下也有另外一種景 象記錄方法，它通過記錄X協(xié)議數(shù)據(jù)來實現(xiàn)屏幕的景象，回放時再將X協(xié)議按順序輸 出達到還原景象的目的，但是這種技術(shù)需要專門的顯卡驅(qū)動支持，如BARCO公司的 2Kx2K圖像卡，造價昂貴，且回放時只能在UNIX平臺進行回放。
(三)

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種與硬件和平臺無關(guān)的屏幕景象記錄方法。這種方法可任 意用于記錄Unix、 Linux、 Windows各種操作系統(tǒng)平臺的屏幕景象數(shù)據(jù)，并可以在各 種操作系統(tǒng)平臺上回放，且具有支持歷史回放和實時回放兩種工作模式。同時從任何 工作站上記錄的數(shù)據(jù)，可以在任何一個工作站上進行回放，包括Unix平臺記錄數(shù)據(jù) 在Windows平臺回放，反之亦然。
本發(fā)明的目的是這樣達到的
一種與硬件和操作系統(tǒng)平臺無關(guān)的屏幕景象記錄方法，其特征在于采用動態(tài)增 量關(guān)鍵幀的方法，首先記錄屏幕的完整初始位圖數(shù)據(jù)，以后記錄發(fā)生變化的位圖數(shù)據(jù)， 釆用數(shù)據(jù)疊加的方式連續(xù)記錄屏幕圖象；屏幕數(shù)據(jù)記錄采用計算圖象變化增量的比較 算法，將全屏圖象矩形分割，用基本矩形單元數(shù)字點陣的比較算法表示圖象塊的數(shù)據(jù) 變化，本方法有記錄和回放兩個進程，其軟件存儲在四個主要的處理模塊景象記錄、 數(shù)據(jù)存儲與獲取、景象回放和景象數(shù)據(jù)實時回放模塊中。
整個記錄、回放運行的過程是系統(tǒng)啟動后自動啟動景象記錄進程，并開始記錄 屏幕景象數(shù)據(jù)，記錄完一定量的數(shù)據(jù)后，將該數(shù)據(jù)存儲到專門的數(shù)據(jù)存儲設(shè)備，并繼續(xù)記錄景象數(shù)據(jù)?；胤艜r啟動景象回放進程，然后根據(jù)時間段獲取相應(yīng)的景象數(shù)據(jù)， 從景象數(shù)據(jù)中取出第一幀圖象，并顯示出來，以后就只需要取出發(fā)生變化的圖象，疊 加顯示到第一幀圖象上，完成景象數(shù)據(jù)的回放。
景象記錄用屏幕矩形塊數(shù)據(jù)表示是指將屏幕數(shù)據(jù)記錄所有變化的圖像用(X, Y，
WIDTH, HEIGHT, data- length) +經(jīng)無損壓縮處理后的圖像
點陣數(shù)據(jù)，按3 2 x 3 2大小作為基本單元將全屏圖像進行分割，描述該塊是否有變化。
景象記錄的算法過程是
第一步記錄系統(tǒng)初始化
a) 、初始化與本地XSERVER的鏈接，以及基于共享內(nèi)存的Xll訪問方式；
b) 、獲取系統(tǒng)屏幕信息，包括屏幕窗口大小、顏色數(shù)及RGB三色分量掩碼；
c )、初始化與當(dāng)前窗口大小、顏色深度一致的內(nèi)部緩沖區(qū)，并使用XShmGetlmage (display, window, x， y， ALLPLANES)函數(shù)一次性獲取當(dāng)前屏幕內(nèi)容。 第二步對當(dāng)前系統(tǒng)進行周期性掃描
a
)、對整個屏幕按Y軸方向，以固定的步長N (缺省32像素)循環(huán)比較，即 從y -ystart (全局變量，初值為0 ，每次運算后加1 )，取當(dāng)前屏幕y-y+步長， 高度為l，寬度為屏幕寬度的矩形數(shù)據(jù)與內(nèi)部緩沖區(qū)對應(yīng)位置圖像進行比較，如果無 變化，則繼續(xù)；如果有變化，轉(zhuǎn)b);如掃描完畢，則轉(zhuǎn)第三步；
b )、對a )中有變化的行，將本行沿x軸按固定步長N (缺省32像素)循環(huán) 比較，如果數(shù)據(jù)有變化，則將該(x， y)所在矩形塊置為l;
c )、對b )處理的結(jié)果計算變化率(變化塊數(shù)/總塊數(shù))，如果在一定范圍 內(nèi)(0.15-0. 7)之間，則取y-(N-ystart) %N,重新掃描一次，算法同a),只是對于 已經(jīng)標志為1的塊不用計算，如果變化率大于0.7則將全屏設(shè)置為有變化，即屏幕發(fā) 生了很多變化，需更新全屏。
第三步對標志為1的矩形塊，進行矩形合并、孤立點和孤立線段進行合并處理， 并處理鼠標及鍵盤事件。
第四步:根據(jù)配置文件，將變化的數(shù)據(jù)經(jīng)過無損壓縮算法壓縮編碼處理后，打上 時標寫入本地文件或通過網(wǎng)絡(luò)發(fā)送到其他遠端需實時顯示的設(shè)備上。
第五步轉(zhuǎn)到第一步繼續(xù)執(zhí)行，直到程序退出。
數(shù)據(jù)存儲的程序是記錄的景象數(shù)據(jù)保存在本地磁盤上，數(shù)據(jù)存儲模塊定期檢查 該文件是否是一段完整數(shù)據(jù)，如果是則將該文件通過FTP方式上場到存儲設(shè)備指定的 目錄下，然后在本機上刪除該文件。如果FTP發(fā)送不成功，則不會刪除文件，下次執(zhí) 行時繼續(xù)判斷。這樣確保所有數(shù)據(jù)能夠完整、準確的保存起來。景象數(shù)據(jù)回放的程序是 第一步獲取屏幕景象數(shù)據(jù)
a) 、設(shè)置開始/結(jié)東時間、數(shù)據(jù)源存放位置及與記錄的話音同步回放等參數(shù)；
b) 、數(shù)據(jù)準備好后，通過FTP從存儲設(shè)備上將數(shù)據(jù)文件下載到本地目錄；
c) 、根據(jù)數(shù)據(jù)文件的時間標記，讀取數(shù)據(jù)。
第二步對數(shù)據(jù)解壓縮，將待顯示的矩形位圖快數(shù)據(jù)放入待現(xiàn)實的緩沖隊列。 第三步根據(jù)顯示時標及實時質(zhì)量控制因子及時刷新回放屏幕圖像顯示。 屏幕景象實時回放與控制程序是
a) 、記錄程序作為TCP服務(wù)端監(jiān)聽固定端口 ( 9999 )，實時回放與控制程序作 為TCP客戶端主動發(fā)起鏈接；
b) 、回放端實時接收屏幕景象實時數(shù)據(jù)，經(jīng)處理后顯示。其功能與景象數(shù)據(jù)回 放功能一樣；
c) 、其作用主要支持遠程監(jiān)視與控制。
所述無損壓縮編碼是指LZW編碼算法或RLE編碼算法或霍夫曼編碼算法。 本發(fā)明具有如下優(yōu)點 1)適合于像空中交通管制系統(tǒng)(ATC)、指揮自動化系統(tǒng)(C3ISR)等重大使命實
時系統(tǒng)的操作員操作景象記錄、回放、事故調(diào)查分析等使用。
(2) 與硬件和操作系統(tǒng)平臺的無關(guān)性。無論在unix平臺還是windows平臺下， 處理圖象的算法都是一樣的。該無關(guān)性不僅僅指景象記錄，還在于景象回放，unix 下面記錄的景象數(shù)據(jù)一樣可以在windows回放，反之亦然。
(3) 無損壓縮。記錄下來的數(shù)據(jù)都進行無損壓縮，使回放出來的數(shù)據(jù)跟原來一樣。
(4) 數(shù)據(jù)量小。由于采用關(guān)鍵幀和增量記錄的方法進行記錄，使記錄下來的數(shù)據(jù) 量小，再加上無損壓縮，數(shù)據(jù)量進一步減小。
(5) 速度快。本發(fā)明的關(guān)鍵在于計算圖象變化增量的比較算法，該算法是將全屏 圖象分割成若干個小塊后逐個進行比較，比全屏比較的速度快得多。
(6) 實時回放。在記錄進程里面加上網(wǎng)絡(luò)接口，往外發(fā)景象數(shù)據(jù)，即可實現(xiàn)景象 數(shù)據(jù)的實時回放。
(7) 支持各種顯示分辨率和顏色深度，最高可以支持2536x1600， 2048x2048等分 辨率，支持8位，16位和24位顏色。
(8) 可以實現(xiàn)遠程監(jiān)控。
(四)


圖l是record進程的記錄中記錄的第一幀圖象。 圖2是record進程的記錄中記錄的第二幀圖象。
圖3是record進程的記錄中記錄的第三幀圖象。圖1、圖2、圖3構(gòu)成景象記錄 進程。
圖4是Playback進程中回放時取出第一幀圖象。
圖5是Playback進程中將兩個增量加上后的回放圖象。圖4、圖5構(gòu)成回放進程。 圖6是實施例中安裝四個模塊后按本方法運行框圖。
(五)
具體實施例方式
由于獲取全屏圖像耗時特別長，因此本發(fā)明設(shè)計了多次、增量獲取屏幕圖像算法， 這種算法在不影響其它運行程序的基礎(chǔ)上，能夠完整、準確地記錄屏幕圖像。而發(fā)明 的重點在于計算當(dāng)前位圖與上一幀位圖的不同之處，要求該算法速度快、計算準確。 本發(fā)明釆用動態(tài)增量關(guān)鍵幀(Dynamic Incremental Snapshot)的方法，通過記錄屏 幕的完整初始位圖數(shù)據(jù)，以后記錄發(fā)生變化的增量位圖數(shù)據(jù)，達到記錄連續(xù)屏幕景象 的目的。屏幕數(shù)據(jù)記錄釆用屏幕矩形塊數(shù)據(jù)表示，即所有變化的圖像(包括全屏)用 (X， Y， WIDTH, HEIGHT, data - length) +經(jīng)無損壓縮處 理后的圖像點陣數(shù)據(jù)。按3 2 x 3 2大小作為基本單元將全屏圖像進行分割，來描述 該塊是否變化。
釆用關(guān)鍵幀和增量記錄的方法進行記錄，使記錄下來的數(shù)據(jù)量小，再加上無損壓 縮，數(shù)據(jù)量進一步減小。在UNIX下，獲取并處理一幅2Kx2K的數(shù)據(jù)圖像，大約需花2 秒鐘，而本發(fā)明由于記錄的數(shù)據(jù)量小時間大大縮短。本發(fā)明成功地實時獲取屏幕景象 的變化和操作員的人機交互數(shù)據(jù)，而不影響系統(tǒng)正常操作。同時在數(shù)據(jù)的存儲上采用 無損壓縮，所以回放出來的圖象與原始圖象一樣清晰。無損壓縮處理可采用LZW編 碼算法、RLE編碼算法和霍夫曼編碼算法中的任意一種編碼算法。
本方案包括四個主要的處理模塊景象記錄(Record )、數(shù)據(jù)存儲與獲取(Store )、 景象回放(Playback)和景象數(shù)據(jù)實時回放。具有景象記錄和景象回放兩個進程。系 統(tǒng)啟動后將自動啟動record進程，并開始記錄屏幕景象數(shù)據(jù)，記錄完一定量的數(shù)據(jù) 后，將該數(shù)據(jù)存儲到專門的數(shù)據(jù)存儲設(shè)備,并繼續(xù)記錄景象數(shù)據(jù)?；胤艜r啟動Playback 進程，然后根據(jù)時間段獲取相應(yīng)的景象數(shù)據(jù)，從景象數(shù)據(jù)中取出第一幀圖象，并顯示 出來，以后就只需要取出發(fā)生變化的圖象，疊加顯示到第一幀圖象上，從而完成景象 數(shù)據(jù)的回放。
在本實施例中，本發(fā)明的處理模塊分設(shè)在記錄工作站、存儲設(shè)備和回放工作站三 部分組成。具體方案為記錄工作站上安裝并運行record和rec — agt程序；回放工 作站上安裝并運行playback程序；存儲設(shè)備上運行ply—agt程序?；胤艜r啟動 playback程序，此時數(shù)據(jù)需要從ply-agt處進行請求，如果有數(shù)據(jù)，ply-agt將數(shù)據(jù) 準備好，并通知playback, playback將從存儲設(shè)備中取回數(shù)據(jù)，開始回放。record 進程的記錄的過程是；記錄第一幀景象，記錄增量l再記錄增量2。參見圖1圖2、 圖3。 playback進程回放過程是首先取出第一幀圖象，然后將兩個增量疊加上去。參 見圖4、圖5。
景象數(shù)據(jù)實時回放，記錄程序通過網(wǎng)絡(luò)接口實時將記錄數(shù)據(jù)發(fā)送到景象回放程 序，通過這項功能能夠?qū)⑵聊粓D像實時傳送到遠端，如大屏幕顯示、遠程監(jiān)控現(xiàn)實。
景象記錄(Record )、數(shù)據(jù)存儲與獲取(Store )、景象回放(Playback)和景象 數(shù)據(jù)實時回放均按照設(shè)定的程序進行。
權(quán)利要求
1、一種與硬件和操作系統(tǒng)平臺無關(guān)的屏幕景象記錄方法，其特征在于其特征在于采用動態(tài)增量關(guān)鍵幀的方法，首先記錄屏幕的完整初始位圖數(shù)據(jù)，以后記錄發(fā)生變化的位圖數(shù)據(jù)，采用數(shù)據(jù)疊加的方式連續(xù)記錄屏幕圖象；屏幕數(shù)據(jù)記錄采用計算圖象變化增量的比較算法，將全屏圖象按矩形分割，用基本矩形單元數(shù)字點陣的比較算法表示圖象塊的數(shù)據(jù)變化，本方法有記錄和回放兩個進程，其軟件存儲在四個主要的處理模塊景象記錄、數(shù)據(jù)存儲與獲取、景象回放和景象數(shù)據(jù)實時回放模塊中。
2、 如權(quán)利要求1所述的屏幕景象記錄方法，其特征在于整個記錄、回放進程 運行的過程是系統(tǒng)啟動后自動啟動景象記錄進程，并開始記錄屏幕景象數(shù)據(jù)，記錄 完一定量的數(shù)據(jù)后，將該數(shù)據(jù)存儲到專門的數(shù)據(jù)存儲設(shè)備，并繼續(xù)記錄景象數(shù)據(jù)；回 放時啟動景象回放進程，然后根據(jù)時間段獲取相應(yīng)的景象數(shù)據(jù)，從景象數(shù)據(jù)中取出第 一幀圖象，并顯示出來，以后就只需要取出發(fā)生變化的圖象，疊加顯示到第一幀圖象 上，完成景象數(shù)據(jù)的回放。
3、 如權(quán)利要求1所述的屏幕景象記錄方法，其特征在于所述屏幕數(shù)據(jù)記錄采用計算圖象變化增量的比較算法是指屏幕數(shù)據(jù)記錄所有變化的圖像用(X， Y, WIDTH， HEIGHT, data- length) +經(jīng)無損壓縮處理后的圖像點陣數(shù)據(jù)，按3 2 x 3 2大小作為基本單元將全屏圖像進行分割，描述該塊是否有變化。
4、如權(quán)利要求1或2或3所述的屏幕影響記錄方法，其特征在于所述屏幕景象 記錄釆用計算圖象變化增量比較算法方法的程序是 第一步記錄系統(tǒng)初始化 a )初始化與本地XSERVER的鏈接，以及基于共享內(nèi)存的Xll訪問方式； b)獲取取系統(tǒng)屏幕信息，包括屏幕窗口大小、顏色數(shù)及RGB三色分量掩碼； c )初始化與當(dāng)前窗口大小、顏色深度一致的內(nèi)部緩沖區(qū)，并使用XShmGetlmage (display, window, x， y， ALLPLANES)函數(shù)一次性獲取當(dāng)前屏幕內(nèi)容； 第二步對當(dāng)前系統(tǒng)進行周期性掃描a)、對整個屏幕按Y軸方向，以缺省32像素為固定的步長N循環(huán)比較，即從 y -ystart (全局變量，初值為0 ,每次運算后加1),取當(dāng)前屏幕y = y +步長，高 度為l,寬度為屏幕寬度的矩形數(shù)據(jù)與內(nèi)部緩沖區(qū)對應(yīng)位置圖像進行比較，如果無變 化，則繼續(xù)；如果有變化，轉(zhuǎn)b);如掃描完畢，則轉(zhuǎn)第三步；b )、對a )中有變化的行，將本行按缺省32像素沿x軸按固定步長N循環(huán)比較，如果數(shù)據(jù)有變化，則將該U, y)所在矩形塊置為l; c )、對b )處理的結(jié)果計算變化率(變化塊數(shù)/總塊數(shù)),如果在范圍0.15-0.7 內(nèi)之間，則取y-(N-ystart) %N，重新掃描一次，算法同a)，對于已經(jīng)標志為1的塊 不用計算，如果變化率大于0.7則將全屏設(shè)置為有變化，即更新全屏；第三步對標志為1的矩形塊，進行矩形合并、孤立點和孤立線段進行合并處理, 并處理鼠標及鍵盤事件；第四步:根據(jù)配置文件，將變化的數(shù)據(jù)經(jīng)過無損壓縮算法壓縮編碼處理后，打上 時標寫入本地文件或通過網(wǎng)絡(luò)發(fā)送到其他遠端需實時顯示的設(shè)備上。第五步轉(zhuǎn)到第一步繼續(xù)執(zhí)行，直到程序退出。
5、 如權(quán)利要求1或2或3所述的屏幕景象記錄方法，其特征在于數(shù)據(jù)存儲的程序是記錄的景象數(shù)據(jù)保存在本地磁盤上，數(shù)據(jù)存儲模塊定期檢査該文件是否是一 段完整數(shù)據(jù)，如果是則將該文件通過FTP方式上場到存儲設(shè)備指定的目錄下，然后在 本機上刪除該文件，如果FTP發(fā)送不成功，則不會刪除文件，下次執(zhí)行時繼續(xù)判斷。
6、 如權(quán)利要求1或2或3所述的屏幕景象記錄方法，其特征在于所述景象數(shù) 據(jù)回放的程序是第一步獲取屏幕景象數(shù)據(jù)a) 、設(shè)置開始/結(jié)東時間、數(shù)據(jù)源存放位置及與記錄的話音同步回放等參數(shù)；b) 、數(shù)據(jù)準備好后，通過FTP從存儲設(shè)備上將數(shù)據(jù)文件下載到本地目錄；c) 、根據(jù)數(shù)據(jù)文件的時間標記，讀取數(shù)據(jù)；第二步對數(shù)據(jù)解壓縮，將待顯示的矩形位圖快數(shù)據(jù)放入待現(xiàn)實的緩沖隊列； 第三步根據(jù)顯示時標及實時質(zhì)量控制因子及時刷新回放屏幕圖像顯示。
7、 如權(quán)利要求1或2或3所述的屏幕景象記錄方法，其特征在于屏幕景象實 時回放與控制程序是a) 、記錄程序作為TCP服務(wù)端監(jiān)聽固定端口 ( 9999 ),實時回放與控制程序作為 TCP客戶端主動發(fā)起鏈接；b) 、回放端實時接收屏幕景象實時數(shù)據(jù)。
8、 如權(quán)利要求3所述的屏幕景象記錄方法，其特征在于所述無損壓縮編碼處 理是指LZW算法編碼。
9、 如權(quán)利要求3所述的屏幕景象記錄方法，其特征在于所述無損壓縮編碼處 理是指RLE算法編碼。
10、 如權(quán)利要求3所述的屏幕景象記錄方法，其特征在于所述無損壓縮編碼處 理是指霍夫曼算法編碼。
全文摘要
與硬件和操作系統(tǒng)平臺無關(guān)的屏幕景象記錄方法屬計算機領(lǐng)域的圖像處理范疇。用于任意記錄各種平臺的屏幕景象數(shù)據(jù)并可以在各種硬件操作系統(tǒng)平臺上回放，具有歷史回放和實時回放兩種工作模式。采用動態(tài)增量關(guān)鍵幀的方法，首先記錄屏幕的完整初始位圖數(shù)據(jù)，以后記錄發(fā)生變化的位圖數(shù)據(jù)，采用數(shù)據(jù)疊加的方式達到連續(xù)記錄屏幕圖象。屏幕數(shù)據(jù)記錄采用計算圖象變化增量的比較算法，將全屏圖象矩形分割，用基本矩形單元數(shù)字點陣的比較算法表示圖象塊的數(shù)據(jù)變化。有記錄和回放兩個進程，其軟件存儲在四個主要的處理模塊景象記錄、數(shù)據(jù)存儲與獲取、景象回放和景象數(shù)據(jù)實時回放模塊中。具有記錄速度快、數(shù)據(jù)量小、實時回放、實現(xiàn)遠程監(jiān)控和回放清晰的特點。
文檔編號H04N5/92GK101197990SQ200610022490
公開日2008年6月11日 申請日期2006年12月13日 優(yōu)先權(quán)日2006年12月13日
發(fā)明者俞祥基, 軍 楊, 波 楊 申請人:四川川大智勝軟件股份有限公司;四川大學(xué)