一種多可視化組件屏幕共享的系統(tǒng)，裝置，和方法
【專利說明】一種多可視化組件屏幕共享的系統(tǒng)，裝置，和方法
[0001]本申請(qǐng)要求于2013年I月17日遞交的發(fā)明名稱為“一種多可視化組件屏幕共享的系統(tǒng)，裝置，和方法(SYSTEM, APPARATUS, AND METHOD FOR SHARING A SCREEN HAVINGMULTIPLE VISUAL COMPONENTS) ”的第61/753，823號(hào)美國(guó)臨時(shí)專利申請(qǐng)案的在先申請(qǐng)優(yōu)先權(quán)，該在先申請(qǐng)的內(nèi)容以引用的方式并入本文。
技術(shù)領(lǐng)域
[0002]本發(fā)明通常涉及屏幕共享技術(shù)，尤其涉及屏幕內(nèi)容從一個(gè)網(wǎng)絡(luò)設(shè)備傳輸?shù)搅硪痪W(wǎng)絡(luò)設(shè)備的屏幕共享。
【背景技術(shù)】
[0003]計(jì)算設(shè)備如電腦之間的屏幕共享為人們?cè)诓煌恢梅窒硇畔⑼瓿筛鞣N任務(wù)起到了重要的作用。例如，若遠(yuǎn)程計(jì)算設(shè)備上產(chǎn)生了一個(gè)問題，技術(shù)人員通過登錄到計(jì)算機(jī)查看所述遠(yuǎn)程計(jì)算設(shè)備的圖形用戶界面(GUI)就可在觀察設(shè)備上解決該問題。這樣，技術(shù)人員就不需要前往問題發(fā)生的地點(diǎn)了。屏幕共享同樣使工作者能夠通過家里的電腦、手提電腦、甚至是掌上電腦等任何聯(lián)網(wǎng)的設(shè)備接入他們的工作電腦。屏幕共享的另一大優(yōu)點(diǎn)是演示共享，這讓乏味的電話會(huì)議成為了引人入勝的在線演示。
[0004]為了共享屏幕內(nèi)容，顯示器上顯示的屏幕內(nèi)容需要被收集并傳輸?shù)竭h(yuǎn)程計(jì)算設(shè)備。通常，本地計(jì)算設(shè)備會(huì)以一定的速率對(duì)屏幕圖像的像素?cái)?shù)據(jù)進(jìn)行采樣，例如每秒20幀。然后，采樣得到的所述屏幕圖像的像素?cái)?shù)據(jù)經(jīng)過壓縮、打包被傳輸至所述遠(yuǎn)程計(jì)算設(shè)備。所述遠(yuǎn)程計(jì)算設(shè)備將接收到的數(shù)據(jù)進(jìn)行解壓，然后在其顯示器上顯示?；蛘?，為了降低網(wǎng)絡(luò)資源的消耗，本地計(jì)算設(shè)備會(huì)對(duì)將要顯示的屏幕圖像和之前的屏幕顯示進(jìn)行比較，然后僅將相對(duì)于之前的屏幕圖像的更新內(nèi)容發(fā)送給遠(yuǎn)程計(jì)算設(shè)備，而不是發(fā)送整個(gè)屏幕圖像。
[0005]上述傳統(tǒng)屏幕共享方法只有在屏幕內(nèi)容僅包括靜態(tài)圖像時(shí)可以使用。然而，當(dāng)屏幕內(nèi)容包括視頻圖像時(shí)，上述方法的效果則不盡如人意。當(dāng)遠(yuǎn)程計(jì)算設(shè)備基于所述共享設(shè)備發(fā)送的獲得到的屏幕像素?cái)?shù)據(jù)再現(xiàn)共享屏幕時(shí)，再現(xiàn)屏幕中的視頻圖像的質(zhì)量會(huì)大大下降。
【附圖說明】
[0006]圖1為本發(fā)明實(shí)施例提供的一種展示屏幕共享系統(tǒng)整體配置的屏幕共享系統(tǒng)的方框圖。
[0007]圖2為本發(fā)明實(shí)施例提供的一種計(jì)算設(shè)備的結(jié)構(gòu)圖。
[0008]圖3示出了一實(shí)施例提供的顯示在計(jì)算設(shè)備上的可視化組件。
[0009]圖4示出了一實(shí)施例提供的為共享給其他計(jì)算設(shè)備而被分別進(jìn)行不同處理的不同可視化組件。
[0010]圖5為本發(fā)明實(shí)施例提供的存儲(chǔ)在計(jì)算設(shè)備內(nèi)存中的屏幕共享應(yīng)用、操作系統(tǒng)以及壓縮文件的方框圖。
[0011]圖6A和6B描述了一實(shí)施例提供的實(shí)施屏幕共享的示例性步驟的流程圖。
[0012]圖7示出了一實(shí)施例提供的被分別進(jìn)行不同處理且被復(fù)用成數(shù)據(jù)流而發(fā)送的不同可視化組件。
[0013]圖8示出了一實(shí)施例提供的接收到的被分別進(jìn)行不同解碼處理的不同可視化組件。
【具體實(shí)施方式】
[0014]圖1示出了本發(fā)明實(shí)施例提供的一種屏幕共享系統(tǒng)100的整體配置。所述屏幕共享系統(tǒng)包括本地計(jì)算設(shè)備110和遠(yuǎn)程計(jì)算設(shè)備120，二者通過網(wǎng)絡(luò)連接相互連接以進(jìn)行通信。第三方內(nèi)容源130提供壓縮數(shù)據(jù)用于由本地計(jì)算設(shè)備110進(jìn)行顯示。所述壓縮數(shù)據(jù)可以是運(yùn)動(dòng)圖像專家組(MPEG)文件，聯(lián)合活動(dòng)圖像專家組(JPEG)文件，或者任何其他壓縮文件。所述本地計(jì)算設(shè)備110將用于屏幕共享的壓縮的屏幕內(nèi)容數(shù)據(jù)傳送至所述遠(yuǎn)程計(jì)算設(shè)備120，其中，所述遠(yuǎn)程計(jì)算設(shè)備120能夠接收所述壓縮的屏幕內(nèi)容數(shù)據(jù)，對(duì)所述壓縮的屏幕內(nèi)容數(shù)據(jù)進(jìn)行解壓，并在其顯示器上顯示所述屏幕內(nèi)容，從而完成屏幕共享操作。
[0015]所述網(wǎng)絡(luò)的例子包括但不限于局域網(wǎng)(LAN)、城域網(wǎng)(MAN)以及廣域網(wǎng)(WAN)，比如因特網(wǎng)或者萬(wàn)維網(wǎng)。所述本地計(jì)算設(shè)備110和所述遠(yuǎn)程計(jì)算設(shè)備120可通過一種或多種連接方式與所述網(wǎng)絡(luò)連接，比如標(biāo)準(zhǔn)電話線、數(shù)字用戶線(DSL)、異步DSL、LAN或者WAN鏈路(例如，Tl和T3)、寬帶連接(幀中繼和ATM)，以及無(wú)線連接(例如，802.11(a) ,802.11(b)和 802.11(g)) ο
[0016]如圖2所示，本地計(jì)算設(shè)備110可包括中央處理器(CPU)115，圖形處理器(GPU) 114，專用解碼器113，存儲(chǔ)器116，幀緩沖存儲(chǔ)器112和顯示器111。本領(lǐng)域技術(shù)人員應(yīng)該理解，所述本地計(jì)算設(shè)備110還可以包括其他組件，比如鼠標(biāo)、鍵盤等等。所述遠(yuǎn)程計(jì)算設(shè)備120可擁有相似或不同的配置。
[0017]所述存儲(chǔ)器116可包括非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，如只讀存儲(chǔ)器(ROM)和易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，如隨機(jī)存取存儲(chǔ)器(RAM)。通常存儲(chǔ)在ROM中的是包含程序代碼的基本輸入/輸出系統(tǒng)(B1S)，其中所述程序代碼用于控制計(jì)算系統(tǒng)的基本操作，包括啟動(dòng)計(jì)算設(shè)備和初始化硬件。在RAM中存儲(chǔ)的是程序代碼和數(shù)據(jù)。程序代碼包括但不限于應(yīng)用程序、程序模塊(例如，瀏覽器插件)以及操作系統(tǒng)(例如，Windows操作系統(tǒng))。所述存儲(chǔ)器116可包括多個(gè)物理上彼此分離的組件。例如，一部分RAM位于顯卡，另外一部分RAM通過快捷外圍部件互連標(biāo)準(zhǔn)(PCIe)接口與所述本地計(jì)算設(shè)備110的其他組件相連。總體而言，它們被稱為“存儲(chǔ)器”。
[0018]所述幀緩沖存儲(chǔ)器112可以是存儲(chǔ)器的RAM的一部分，存儲(chǔ)有CPU 115、GPU 114或?qū)Ｓ媒獯a器113生成的未經(jīng)壓縮的像素級(jí)數(shù)據(jù)，以便展現(xiàn)可顯示在所述本地計(jì)算設(shè)備110的顯示器111上的圖形內(nèi)容。典型地，所述幀緩沖存儲(chǔ)器112位于顯卡上。
[0019]所述CPU 115可以是適合進(jìn)行指令檢索和執(zhí)行的微處理器和/或能夠用于執(zhí)行功能軟件程序的電子電路。所述GPU 114是為了優(yōu)化執(zhí)行圖形渲染程序所需要的計(jì)算而開發(fā)出的專用處理器。所述GPU 114對(duì)數(shù)據(jù)進(jìn)行處理從而生成可以在顯示器111上顯示的圖形的像素?cái)?shù)據(jù)。典型地，所述GPU 114安裝在顯卡的印刷電路板上。所述專用解碼器113，如MPEG解碼器或JPEG解碼器，用于對(duì)MPEG視頻或JPEG圖像等特定壓縮數(shù)據(jù)進(jìn)行解壓。所述專用解碼器113可以并入所述GPU 114，也可以作為單獨(dú)的模塊與所述GPU 114—起安裝在顯卡上。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，所述專用解碼器113并非一定要以上述硬件的形式存在，也可以作為軟件來(lái)實(shí)現(xiàn)。為了方便說明，本專利申請(qǐng)中提到的“處理器”這一術(shù)語(yǔ)可以是所述GPU 114、所述專用解碼器113、所述CPU 115、或任何所述GPU 114、所述專用解碼器113和所述CPU 115的結(jié)合。
[0020]參見圖2和圖3，所述本地計(jì)算設(shè)備110可用于通過不同的軟件程序進(jìn)行不同的操作，例如，在Word或者電子數(shù)據(jù)表中編輯文本，使用網(wǎng)絡(luò)瀏覽器瀏覽網(wǎng)頁(yè)，玩視頻游戲，顯示圖片，觀看電影等等。相應(yīng)地，不同的可視化組件可在所述本地計(jì)算設(shè)備110的顯示器111上顯示，S卩，文本、圖形、2D/3D動(dòng)畫、圖像、視頻等等。在所述顯示器111上顯示的屏幕內(nèi)容的可視化組件可分為不同種類。所述屏幕內(nèi)容的第一可視化組件1112，即第一類，包括所述GPU 114中圖形處理器生成的一切，例如，文本、圖形、2D/3D動(dòng)畫1114、甚至還有解碼的可視化內(nèi)容等等。通常，這些第一類數(shù)據(jù)作為RGB像素保存在所述GPU 114內(nèi)的幀存儲(chǔ)器或幀緩沖存儲(chǔ)器(FB)中。第二可視化組件，即第二類，包括先前被壓縮的內(nèi)容，如所述顯示器111上顯示的視頻1111和圖像1113。典型地，所述視頻可視化組件1111和所述圖像可視化組件1113由所述GPU 114或所述專用解碼器113進(jìn)行解碼。所述壓縮數(shù)據(jù)，例如圖像文件，可以壓縮為JPEG(聯(lián)合活動(dòng)圖像專家組)文件、Exif (可交換圖像文件格式)文件、TIFF (標(biāo)簽圖像文件格式)文件、GIF (圖形交換格式)文件和PNG (便攜網(wǎng)絡(luò)圖形)文件等，所述視頻文件可被壓縮成MPEG-2、MPEG-4、AV1、和MP4等。所述視頻可視化組件1111或所述圖像可視化組件1113的像素?cái)?shù)據(jù)可以同所述第一可視化組件1112 —起保存在所述幀緩沖存儲(chǔ)器112中以組成完整的圖像在所述顯示器111上顯示，或者通過疊加一同添加到所述幀緩沖存儲(chǔ)器112的第一可視化組件的像素?cái)?shù)據(jù)以生成最終的輸出視頻信號(hào)給顯示器111。所述第一可視化組件1