專利名稱：一種屏幕廣播方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種采集屏幕圖像進(jìn)行廣播的方法。
背景技術(shù)：
屏幕廣播是視頻會(huì)議中必不可缺的功能，主要由某一與會(huì)者將自己的屏幕實(shí)時(shí)展現(xiàn)給其他與會(huì)者，使得其他與會(huì)者及時(shí)觀看了解其操作的狀況，提高會(huì)議的協(xié)同工作能力。屏幕廣播回放的實(shí)時(shí)效果主要跟幀率有關(guān)，幀率越高，越流暢。通常幀率低于24幀/秒時(shí)人眼就會(huì)感覺(jué)到有滯后現(xiàn)象。但是幀率越高對(duì)系統(tǒng)資源以及網(wǎng)絡(luò)帶寬的消耗越大。目前屏幕廣播的實(shí)現(xiàn)方法有以下幾種。
方法一單幀編碼方法。
這種方法將采集到的屏幕圖像根據(jù)不同的性能要求，將其做顏色轉(zhuǎn)換處理，降低圖片的數(shù)據(jù)量，然后采用JPEG(Joint Photographic Experts Group，聯(lián)合圖像專家組制定的一種圖像編碼標(biāo)準(zhǔn))等高效編碼器進(jìn)行壓縮，最后將圖像發(fā)送給與會(huì)各方。這種技術(shù)實(shí)現(xiàn)起來(lái)非常簡(jiǎn)單，而且每一幀圖像都可以單獨(dú)解碼。但是，由于屏幕圖像往往比較大，目前絕大多數(shù)顯示器支持的分辯率都很高，用戶使用的分辨率多數(shù)為1024*768，因此采用這種方法處理壓縮圖像對(duì)系統(tǒng)消耗非常大，而且碼率也非常高，例如按5幀/秒進(jìn)行屏幕采集，屏幕的分辨率是1024*768，將圖像顏色轉(zhuǎn)為8位色(256色)，那么壓縮前的數(shù)據(jù)量為31457280比特每秒，如果按1∶15的壓縮比進(jìn)行壓縮，壓縮后的數(shù)據(jù)將是每秒2097152比特。而現(xiàn)在寬帶網(wǎng)絡(luò)提供的帶寬十分有限，應(yīng)用最廣泛的寬帶網(wǎng)絡(luò)ADSL(Asymmetrical Digital Subscriber Line，非對(duì)稱數(shù)字用戶環(huán)路)提供的大多是512Kbits，最高也不過(guò)2Mbits。顯然，這種方法應(yīng)用在因特網(wǎng)上是不現(xiàn)實(shí)的，另外，對(duì)CPU的消耗也非常大，通常會(huì)占到整個(gè)系統(tǒng)資源的90％以上。
方法二采用視頻編解碼器進(jìn)行編碼壓縮。
目前，實(shí)時(shí)視頻編解碼器主要有H.263(由國(guó)際電聯(lián)電信標(biāo)準(zhǔn)部制定的一種視頻編碼標(biāo)準(zhǔn))，MPEG4(Moving Picture Experts Group，運(yùn)動(dòng)圖像專家組制定的一種視頻編碼標(biāo)準(zhǔn))以及H.264(由視頻聯(lián)合工作組制定的一種視頻編碼標(biāo)準(zhǔn))格式，H.264格式圖像的壓縮率最高，質(zhì)量最好，復(fù)雜度也最高，應(yīng)用上屬于起步階段。MPEG4編碼方式的編碼效率相對(duì)較高，復(fù)雜度相對(duì)較低，而且編碼后圖像質(zhì)量也較好，應(yīng)用最為廣泛。然而，采用這種編碼方式，對(duì)于對(duì)圖像質(zhì)量要求較高的視頻會(huì)議等業(yè)務(wù)來(lái)說(shuō)，其顯示效果仍然不能滿足要求，例如屏幕中的一根直線經(jīng)過(guò)編解碼處理后會(huì)變得模糊。而且本編碼方式對(duì)CPU消耗也很大，碼率也比較高。
方法三RFB(remote frame buffer，遠(yuǎn)程幀緩沖)方法。
這種方法主要應(yīng)用于Windows系統(tǒng)，利用Windows的消息機(jī)制，采用鉤子技術(shù)將系統(tǒng)上產(chǎn)生變化或者活動(dòng)狀態(tài)的窗體截獲，將截獲得到的窗體特性轉(zhuǎn)發(fā)給對(duì)方，對(duì)方得到這些參數(shù)后進(jìn)行重建窗口。RFB技術(shù)優(yōu)點(diǎn)很突出，其對(duì)CPU的消耗相對(duì)于單幀編碼方法及采用視頻編解碼器進(jìn)行編碼壓縮的方法要低，碼率也低，適用于Internet。目前，遠(yuǎn)程控制軟件主要采用這種技術(shù)，著名軟件的有Net Meeting，PC Anywhere以及VNC。然而，這種技術(shù)應(yīng)用于視頻會(huì)議有一個(gè)缺點(diǎn)，就是采集到的每一個(gè)數(shù)據(jù)都與先前數(shù)據(jù)相關(guān)聯(lián)，因此，在后進(jìn)入會(huì)議的與會(huì)者是無(wú)法看到當(dāng)前的廣播屏幕的。

發(fā)明內(nèi)容
本發(fā)明提供一種屏幕廣播方法，用以解決現(xiàn)有技術(shù)中視頻會(huì)議系統(tǒng)進(jìn)行屏幕廣播時(shí)占用大量網(wǎng)絡(luò)帶寬以及系統(tǒng)資源的問(wèn)題。
本發(fā)明方法，包括下列步驟A、發(fā)送端采集屏幕圖像，并將采集到的每一幀圖像按同一規(guī)律進(jìn)行分塊；B、將當(dāng)前幀圖像分割成的全部圖像塊與前一幀圖像對(duì)應(yīng)位置的圖像塊進(jìn)行比較，找出圖像發(fā)生變化的圖像塊；C、發(fā)送端對(duì)發(fā)生變化的圖像塊編碼，并將其在屏幕上的位置信息一起發(fā)送；D、接收端解碼接收的圖像塊，并根據(jù)其位置信息替換當(dāng)前屏幕上對(duì)應(yīng)位置的圖像塊。
步驟A中所述按同一規(guī)律進(jìn)行分塊包括將采集到的每一幀圖像分割成等大小的圖像塊。所述等大小的圖像塊為32*32像素的圖像塊。
所述圖像塊在屏幕上的位置信息用坐標(biāo)參數(shù)表示。
所述步驟A中，發(fā)送端將采集的每一幀圖像加以保存。
發(fā)送端將采集的第一幀圖像的全部圖像塊發(fā)送給接收端。
根據(jù)本發(fā)明的上述方法，還包括如下步驟發(fā)送端接收到接收端發(fā)出的告警信號(hào)；發(fā)送端將所保存的當(dāng)前幀圖像的全部圖像塊發(fā)送給發(fā)出警告信號(hào)的接收端。
所述步驟A中還包括有對(duì)鼠標(biāo)單獨(dú)進(jìn)行捕獲的步驟。
所述步驟B后還包括有將發(fā)生變化的圖像塊顏色轉(zhuǎn)換成低位色的步驟。
所述步驟C中的編碼方法為JPEG編碼。
由于本發(fā)明采用了對(duì)每一幀圖像進(jìn)行分塊的方法，再將當(dāng)前幀圖像中的每一個(gè)圖像塊與其前一幀對(duì)應(yīng)位置的圖像塊進(jìn)行比較，找出圖像發(fā)生變化的圖像塊；視頻會(huì)議系統(tǒng)只處理圖像發(fā)生變化的圖像塊，從而大大減少了視頻會(huì)議系統(tǒng)的系統(tǒng)資源消耗，并且發(fā)送端只發(fā)送圖像數(shù)據(jù)發(fā)生變化的圖像塊，從而減少了在網(wǎng)絡(luò)間傳輸?shù)臄?shù)據(jù)量。所以本發(fā)明的屏幕廣播方法可以使視頻會(huì)議系統(tǒng)資源消耗低、碼率低且圖像質(zhì)量不受影響。若后進(jìn)與會(huì)終端不能顯示完整的圖像，則可以向發(fā)送端發(fā)出告警信號(hào)，發(fā)送端收到告警信號(hào)后，將保存的當(dāng)前幀圖像全部發(fā)送給該與會(huì)終端，這樣該與會(huì)終端就可以以發(fā)送來(lái)的該幀圖像作為基礎(chǔ)，接收以后的視頻圖像，保持與視頻會(huì)議的同步，有效解決了后進(jìn)入會(huì)議的與會(huì)者無(wú)法看到完整圖像的問(wèn)題。


圖1所示為本發(fā)明方法的步驟流程圖。
具體實(shí)施例方式
本發(fā)明涉及一種屏幕廣播方法，如圖1所示為本發(fā)明方法的步驟流程圖。本發(fā)明方法的具體實(shí)施步驟如下S1、采集屏幕圖像。
通常情況下，對(duì)連續(xù)的視頻圖像的采樣率低于24幀/秒時(shí)人眼就會(huì)感覺(jué)到有滯后、停頓的現(xiàn)象。但是幀率越高對(duì)系統(tǒng)資源以及網(wǎng)絡(luò)帶寬的消耗越大。如果本發(fā)明主要應(yīng)用在因特網(wǎng)上傳輸視頻圖像，可以選擇5幀/秒的幀率進(jìn)行圖像采集。
由于屏幕上的鼠標(biāo)往往是移動(dòng)變化最大的部分，因此，在進(jìn)行屏幕圖像采集時(shí)，可以單獨(dú)對(duì)鼠標(biāo)進(jìn)行捕獲，如1秒鐘撲獲30次鼠標(biāo)的變化位置。
S2、將采集到的每一幀圖像按同一規(guī)律進(jìn)行分塊。
本步驟對(duì)采集到的一幀圖像按每個(gè)圖像塊大小為32*32像素的規(guī)律，將其分割成若干等大小的圖像塊。采用32*32像素的圖像塊是為了使圖像塊的大小適中，如果每個(gè)圖像塊的面積太大，則無(wú)法有效分辨變化區(qū)域，導(dǎo)致壓縮率降低；反之，如果每個(gè)圖像塊的面積太小，那么圖像塊的個(gè)數(shù)將增多，這樣就增加了圖像塊的處理復(fù)雜度；而且本發(fā)明方法按32*32像素進(jìn)行分塊，對(duì)任意分辨率都可以分割成整數(shù)塊，避免了屏幕死角。將當(dāng)前幀圖像分割成了若干個(gè)圖像塊后，將每一個(gè)圖像塊用一個(gè)坐標(biāo)參數(shù)表示其在屏幕上的相對(duì)位置。以后采集到的每一幀圖像都按上述規(guī)律進(jìn)行分塊，并對(duì)相同位置的圖像塊標(biāo)識(shí)相同的坐標(biāo)參數(shù)。系統(tǒng)將所有圖像塊數(shù)據(jù)及其在屏幕上的對(duì)應(yīng)位置信息進(jìn)行保存。
S3、將當(dāng)前幀圖像分割成的所有圖像塊與前一幀圖像對(duì)應(yīng)的圖像塊進(jìn)行比較，找出圖像發(fā)生變化的圖像塊。
由于對(duì)采集到的每一幀圖像都進(jìn)行了保存，根據(jù)上一步驟所述的坐標(biāo)參數(shù)，可以找到當(dāng)前幀圖像被分割成的各個(gè)圖像塊與前一幀圖像對(duì)應(yīng)位置的各個(gè)圖像塊的數(shù)據(jù)。將同一坐標(biāo)參數(shù)的圖像塊數(shù)據(jù)進(jìn)行比較，找出圖像數(shù)據(jù)發(fā)生變化的圖像塊。對(duì)于第一幀圖像，則將其所有的圖像塊即整幀圖像的數(shù)據(jù)進(jìn)行處理后發(fā)送給與會(huì)終端。
S4、將找出的圖像塊的顏色轉(zhuǎn)換成低位色。
為了進(jìn)一步降低數(shù)據(jù)量，可以將圖像的顏色轉(zhuǎn)換成更低位色。例如用于因特網(wǎng)傳輸時(shí)，轉(zhuǎn)換成8位色；用于局域網(wǎng)傳輸時(shí)，可以轉(zhuǎn)換成16位色，以獲得更高的圖像質(zhì)量。
S5、發(fā)送端對(duì)圖像塊進(jìn)行編碼后發(fā)送，接收端進(jìn)行解碼后，替換當(dāng)前屏幕相應(yīng)位置的圖像塊。
對(duì)步驟S4中經(jīng)過(guò)比較得到的發(fā)生變化的圖像塊數(shù)據(jù)，用JPEG進(jìn)行編碼，然后將圖像塊的位置信息一起發(fā)送給與會(huì)終端。與會(huì)終端將接收的圖像塊數(shù)據(jù)進(jìn)行解碼后，根據(jù)其攜帶的位置信息替換掉當(dāng)前屏幕上相應(yīng)坐標(biāo)位置的圖像塊，合成與會(huì)終端顯示的當(dāng)前圖像。
若與會(huì)終端不能顯示完整的圖像，(例如與會(huì)終端故障、網(wǎng)絡(luò)問(wèn)題、與會(huì)者遲到)則與會(huì)終端可以向發(fā)送端發(fā)出告警信號(hào)，表明與會(huì)終端由于某種原因不能顯示完整的圖像，需要發(fā)送端不僅要發(fā)送當(dāng)前幀圖像中的圖像塊與前一幀對(duì)應(yīng)的圖像塊數(shù)據(jù)不同的圖像塊，還需要發(fā)送當(dāng)前幀圖像中的圖像塊與前一幀對(duì)應(yīng)的圖像塊數(shù)據(jù)相同的圖像塊，即需要發(fā)送一個(gè)完整的當(dāng)前幀圖像；發(fā)送端收到該與會(huì)終端發(fā)來(lái)的告警信號(hào)后，將保存的當(dāng)前幀的所有圖像塊的顏色轉(zhuǎn)換成低位色，再對(duì)當(dāng)前幀所有圖像塊進(jìn)行編碼后發(fā)送給發(fā)出告警信號(hào)的與會(huì)終端，使其可以顯示完整的屏幕圖像。
權(quán)利要求
1.一種屏幕廣播方法，其特征在于包括下列步驟A、發(fā)送端采集屏幕圖像，并將采集到的每一幀圖像按同一規(guī)律進(jìn)行分塊；B、將當(dāng)前幀圖像分割成的全部圖像塊與前一幀圖像對(duì)應(yīng)位置的圖像塊進(jìn)行比較，找出圖像發(fā)生變化的圖像塊；C、發(fā)送端對(duì)發(fā)生變化的圖像塊編碼，并將其在屏幕上的位置信息一起發(fā)送；D、接收端解碼接收的圖像塊，并根據(jù)其位置信息替換當(dāng)前屏幕上對(duì)應(yīng)位置的圖像塊。
2.如權(quán)利要求1所述的方法，其特征在于，步驟A中所述按同一規(guī)律進(jìn)行分塊包括將采集到的每一幀圖像分割成等大小的圖像塊。
3.如權(quán)利要求2所述的方法，其特征在于，所述等大小的圖像塊為32*32像素的圖像塊。
4.如權(quán)利要求1所述的方法，其特征在于，所述圖像塊在屏幕上的位置信息用坐標(biāo)參數(shù)表示。
5.如權(quán)利要求1所述的方法，其特征在于，所述步驟A中，發(fā)送端將采集的每一幀圖像加以保存。
6.如權(quán)利要求5所述的方法，其特征在于，發(fā)送端將采集的第一幀圖像的全部圖像塊發(fā)送給接收端。
7.如權(quán)利要求5所述的方法，其特征在于，還包括如下步驟發(fā)送端接收到接收端發(fā)出的告警信號(hào)；發(fā)送端將所保存的當(dāng)前幀圖像的全部圖像塊發(fā)送給發(fā)出警告信號(hào)的接收端。
8.如權(quán)利要求1所述的方法，其特征在于，所述步驟A中還包括有對(duì)鼠標(biāo)單獨(dú)進(jìn)行捕獲的步驟。
9.如權(quán)利要求1所述的方法，其特征在于，所述步驟B后還包括有將發(fā)生變化的圖像塊顏色轉(zhuǎn)換成低位色的步驟。
10.如權(quán)利要求1所述的方法，其特征在于，所述步驟C中的編碼方法為JPEG編碼。
全文摘要
本發(fā)明公開(kāi)了一種屏幕廣播方法。包括A.發(fā)送端采集屏幕圖像，并將采集到的每一幀圖像按同一規(guī)律進(jìn)行分塊；B.將當(dāng)前幀圖像分割成的全部圖像塊與前一幀圖像對(duì)應(yīng)位置的圖像塊進(jìn)行比較，找出圖像發(fā)生變化的圖像塊；C.發(fā)送端對(duì)發(fā)生變化的圖像塊編碼，并將其在屏幕上的位置信息一起發(fā)送；D.接收端解碼接收的圖像塊，并根據(jù)其位置信息替換當(dāng)前屏幕上對(duì)應(yīng)位置的圖像塊。采用本發(fā)明可以使視頻會(huì)議系統(tǒng)在進(jìn)行屏幕廣播時(shí)占用資源少、碼率低且圖像質(zhì)量好。
文檔編號(hào)H04N7/15GK1622618SQ20041010254
公開(kāi)日2005年6月1日 申請(qǐng)日期2004年12月24日 優(yōu)先權(quán)日2004年12月24日
發(fā)明者施健標(biāo), 楊勁松, 傅群, 焉勇 申請(qǐng)人:北京中星微電子有限公司