屏幕共享緩存管理的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及屏幕共享，尤其是涉及屏幕共享緩存的管理。
【背景技術(shù)】
[0002]通過(guò)引進(jìn)，實(shí)時(shí)屏幕共享已經(jīng)成為多種協(xié)作產(chǎn)品必須具有的功能。隨著移動(dòng)設(shè)備的迅速發(fā)展，這種流行度已經(jīng)給協(xié)作產(chǎn)品帶來(lái)了新的挑戰(zhàn)。協(xié)作產(chǎn)品通常要求不同類(lèi)型設(shè)備、服務(wù)供應(yīng)商和產(chǎn)品的互操作性、支持多點(diǎn)通信的并發(fā)性和增強(qiáng)供應(yīng)商和客戶的商業(yè)價(jià)值的適應(yīng)性。

【發(fā)明內(nèi)容】

[0003]一種管理緩存系統(tǒng)，包括:緩存存儲(chǔ)器，用于通過(guò)上行鏈路從傳輸客戶端接收多個(gè)存儲(chǔ)單元，每個(gè)存儲(chǔ)單元包括可解碼視頻單元，每個(gè)存儲(chǔ)單元具有選自多個(gè)優(yōu)先級(jí)的優(yōu)先級(jí)，并且使存儲(chǔ)單元能夠通過(guò)多個(gè)下行鏈路下載到接收客戶端使得對(duì)于一個(gè)所述接收客戶端具有一條所述下行鏈路；和控制器處理器，用于當(dāng)滿足下列條件時(shí)，清除緩存存儲(chǔ)器中的一個(gè)存儲(chǔ)單元:所述一個(gè)存儲(chǔ)單元沒(méi)有正在下載到任何所述接收客戶端；所述一個(gè)存儲(chǔ)單元當(dāng)前未被納入清除排除；以及現(xiàn)在在所述緩存存儲(chǔ)器中駐留有在所述一個(gè)存儲(chǔ)單元之后到達(dá)所述緩存存儲(chǔ)器中的具有比所述一個(gè)存儲(chǔ)單元的優(yōu)先級(jí)更高的優(yōu)先級(jí)的另一個(gè)所述存儲(chǔ)單元。
【附圖說(shuō)明】
[0004]通過(guò)下面的詳細(xì)描述并結(jié)合附圖將更全面領(lǐng)會(huì)和理解本發(fā)明，其中:
[0005]圖1為根據(jù)本發(fā)明的實(shí)施方式構(gòu)建和操作的管理緩存系統(tǒng)的半圖示半方框圖；
[0006]圖2為示出圖1的管理緩存系統(tǒng)加入新客戶端的半圖示半方框圖；
[0007]圖3為兩個(gè)客戶端從圖1的管理緩存系統(tǒng)下載存儲(chǔ)單元的半圖示半方框圖；
[0008]圖4為示出圖1的管理緩存系統(tǒng)中視頻解碼依賴規(guī)則的半圖示半方框圖；
[0009]圖5為圖3的兩個(gè)客戶端在傳輸客戶端給圖1的管理緩存系統(tǒng)上傳存儲(chǔ)單元的同時(shí)下載兩個(gè)不同存儲(chǔ)單元的半圖示半方框圖；
[0010]圖6為示出圖1的管理緩存系統(tǒng)中清除存儲(chǔ)單元中的一個(gè)的半圖示半方框圖；
[0011]圖7為圖3的兩個(gè)客戶端在圖3的傳輸客戶端給圖1的管理緩存系統(tǒng)上傳另一存儲(chǔ)單元的同時(shí)下載兩個(gè)存儲(chǔ)單元的半圖示半方框圖；
[0012]圖8為圖3的兩個(gè)客戶端下載兩個(gè)存儲(chǔ)單元的半圖示半方框圖；
[0013]圖9為圖1的管理緩存系統(tǒng)中靜態(tài)情況的半圖示半方框圖；
[0014]圖10為圖1的管理緩存系統(tǒng)中在靜態(tài)情況過(guò)程中加入新客戶端的半圖示半方框圖；
[0015]圖11為圖10的新客戶端從圖1的管理緩存系統(tǒng)下載下一個(gè)存儲(chǔ)單元的半圖示半方框圖；
[0016]圖12為圖1的管理緩存系統(tǒng)中在靜態(tài)情況過(guò)程中加入另一新客戶端的半圖示半方框圖；
[0017]圖13為給圖1的管理緩存系統(tǒng)上傳新存儲(chǔ)單元的半圖示半方框圖；
[0018]圖14為圖1的管理緩存系統(tǒng)中清除存儲(chǔ)單元的半圖示半方框圖；
[0019]圖15為圖1的管理緩存系統(tǒng)中丟包的半圖示半方框圖；
[0020]圖16為圖1的管理緩存系統(tǒng)中進(jìn)一步清除的半圖示半方框圖；
[0021]圖17為圖1的管理緩存系統(tǒng)中上傳優(yōu)先級(jí)最高的存儲(chǔ)單元的半圖示半方框圖；
[0022]圖18為圖1的管理緩存系統(tǒng)中加入另一新客戶端的半圖示半方框圖；和
[0023]圖19為圖1的管理緩存系統(tǒng)中清除排除(exclus1n)的半圖示半方框圖。
【具體實(shí)施方式】
[0024]現(xiàn)在參照?qǐng)D1，其為根據(jù)本發(fā)明的實(shí)施方式構(gòu)建和操作的管理緩存系統(tǒng)10的半圖示半方框圖。
[0025]圖1示出了客戶端12給另外兩個(gè)客戶端14共享屏幕16。通過(guò)管理緩存系統(tǒng)10輔助實(shí)現(xiàn)屏幕共享。將理解的是，屏幕16的內(nèi)容可在很長(zhǎng)一段時(shí)間頻繁變化或保持不變。
[0026]當(dāng)使用一些類(lèi)型的標(biāo)準(zhǔn)化視頻格式來(lái)傳輸屏幕內(nèi)容時(shí)，管理緩存系統(tǒng)10可增強(qiáng)協(xié)作產(chǎn)品互操作性。標(biāo)準(zhǔn)化的視頻格式可能比個(gè)人視頻格式需要更多的帶寬。應(yīng)注意的是，管理緩存系統(tǒng)10還可使用個(gè)人視頻格式實(shí)現(xiàn)。
[0027]如將結(jié)合圖3到圖19詳細(xì)描述的那樣，管理緩存系統(tǒng)10可增強(qiáng)各種客戶端處理和上傳/下載能力的協(xié)作產(chǎn)品互操作性以及網(wǎng)絡(luò)穩(wěn)定性。
[0028]現(xiàn)在參照?qǐng)D2，其為圖1的管理緩存系統(tǒng)10加入新客戶端18的半圖示半方框圖。
[0029]如將結(jié)合圖3到圖19詳細(xì)描述的那樣，當(dāng)新客戶端18加入通信時(shí)，管理緩存系統(tǒng)10通過(guò)避免服務(wù)質(zhì)量下降精心設(shè)計(jì)的機(jī)制可增強(qiáng)協(xié)作產(chǎn)品并發(fā)性。管理緩存系統(tǒng)10通常在使協(xié)作系統(tǒng)整體用戶體驗(yàn)的下降最小化的同時(shí)，處理個(gè)人客戶端14，18的請(qǐng)求。如將結(jié)合圖3到圖19詳細(xì)描述的那樣，管理緩存系統(tǒng)10通常通過(guò)使得傳輸客戶端12盡可能少的依賴接收客戶端14，18的反饋但同時(shí)滿足個(gè)人接收客戶端14，18的請(qǐng)求,來(lái)使接收客戶端14，18和傳輸客戶端12之間的依賴性最小。
[0030]新客戶端18通常需要隨機(jī)接入點(diǎn)作為起始點(diǎn)，從起始點(diǎn)解碼表示傳輸客戶端12屏幕的視頻。對(duì)隨機(jī)接入點(diǎn)、尤其是新加入的客戶端18的快速響應(yīng)可成為協(xié)作產(chǎn)品的亮點(diǎn)。另一方面，發(fā)出新隨機(jī)接入點(diǎn)可能會(huì)對(duì)所有現(xiàn)有的參與者12，14帶來(lái)不利影響。如將結(jié)合圖3到圖19詳細(xì)描述的那樣，管理緩存系統(tǒng)10具有處理隨機(jī)接入點(diǎn)可用性的獨(dú)特方法。
[0031]現(xiàn)在參考圖3，其為兩個(gè)客戶端14從圖1的管理緩存系統(tǒng)10下載存儲(chǔ)單元20的半圖示半方框圖。
[0032]管理緩存系統(tǒng)10包括控制器處理器22和緩存存儲(chǔ)器24。
[0033]緩存存儲(chǔ)器24通常用于通過(guò)上行鏈路從傳輸客戶端12接收多個(gè)存儲(chǔ)單元(SU) 26。圖3示出通過(guò)上行鏈路從傳輸客戶端12的預(yù)先接收的兩個(gè)存儲(chǔ)單元26 (SU#1和SU#2)。每個(gè)存儲(chǔ)單元26通常包括至少一個(gè)可解碼視頻單元或視頻幀或片段。通過(guò)示例，當(dāng)采用H.264視頻編碼標(biāo)準(zhǔn)時(shí)，一個(gè)存儲(chǔ)單元26通常包括接入單元(AU)，并且如果使用RTP分包標(biāo)準(zhǔn)，每個(gè)存儲(chǔ)單元26通常包括AU的一個(gè)或多個(gè)RTP包。
[0034]每個(gè)存儲(chǔ)單元26通常具有選自多個(gè)優(yōu)先級(jí)的優(yōu)先級(jí)。圖3示出了 SU#1的優(yōu)先級(jí)P為0，SU#2的優(yōu)先級(jí)P為2。
[0035]在圖3到圖19的示例中，優(yōu)先級(jí)O為最高優(yōu)先級(jí)，優(yōu)先級(jí)I為第二高優(yōu)先級(jí)，以此類(lèi)推。
[0036]緩存存儲(chǔ)器24通常用于通過(guò)上行鏈路從傳輸客戶端12接收存儲(chǔ)單元26，其中每個(gè)存儲(chǔ)單元26已被分配存儲(chǔ)單元26的優(yōu)先級(jí)。優(yōu)先級(jí)可通過(guò)傳輸客戶端12的編碼器(未示出)或另一與編碼器操作連接的元件分配。
[0037]或者，僅出于示例，優(yōu)先級(jí)可通過(guò)管理緩存系統(tǒng)10或操作設(shè)置在傳輸單元12和管理緩存系統(tǒng)10之間的元件分配。
[0038]Koninkl飛利浦電子NV的PCT專(zhuān)利申請(qǐng)?bào)w系第W02002102083號(hào)名為“創(chuàng)建多優(yōu)先級(jí)流的系統(tǒng)和方法(System and method for creating mult1-pr1rity streams)，，描述了一種給根據(jù)MPEG-2視頻編碼標(biāo)準(zhǔn)編碼的視頻幀分配優(yōu)先級(jí)的方法。
[0039]在H.264/AVC中，分配幀優(yōu)先級(jí)的直觀方式是從映射語(yǔ)法“nal_ref_idc”的值映射優(yōu)先級(jí)。當(dāng)nal_ref_idc為O時(shí),巾貞不作為參考，因此應(yīng)分配比nal_ref_idc大于O的中貞更低的優(yōu)先級(jí)。也可使用片段類(lèi)型分配優(yōu)先級(jí)。IDR幀可分配最高優(yōu)先級(jí)，而P幀可被分配比IDR幀低但比B幀高的優(yōu)先級(jí)。優(yōu)先級(jí)可通過(guò)每個(gè)幀的臨時(shí)ID映射。
[0040]在H.265中，優(yōu)先級(jí)可通過(guò)幀的NAL類(lèi)型映射。
[0041]在H.264/H.265中，由于沒(méi)有單個(gè)語(yǔ)法以比特流表示長(zhǎng)期參考(LTR)幀，可給長(zhǎng)期參考幀分配比普通P/B幀高的優(yōu)先級(jí)。
[0042]緩存存儲(chǔ)器24通常用于可通過(guò)多個(gè)下行鏈路從緩存存儲(chǔ)器24把存儲(chǔ)單元26下載到多個(gè)接收客戶端14，以使每個(gè)接收客戶端14有一條下行鏈路。僅出于示例，緩存存儲(chǔ)器24到接收客戶端14的下行鏈路還可通過(guò)級(jí)聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)中的第二服務(wù)器或(超級(jí))節(jié)點(diǎn)。
[0043]控制器處理器22用于根據(jù)緩存存儲(chǔ)器24中接收的存儲(chǔ)單元26的接收時(shí)間存儲(chǔ)緩存存儲(chǔ)器24中接收的存儲(chǔ)單元26。
[0044]圖3示出了兩個(gè)接收客戶端14同時(shí)下載同一存儲(chǔ)單元26(SU#2)。
[0045]一旦接收客戶端14已經(jīng)完成下載特定存儲(chǔ)單元26后，其開(kāi)始下載在更新的存儲(chǔ)單元26的緩存存儲(chǔ)器24中的優(yōu)先級(jí)最高的更新的存儲(chǔ)單元26。更新的存儲(chǔ)單元26被定義為特定存儲(chǔ)單元26之后達(dá)到的存儲(chǔ)單元26。因此，如果下一個(gè)存儲(chǔ)單元26具有優(yōu)先級(jí)3并且隨后的存儲(chǔ)單元26具有優(yōu)先級(jí)2，則接收客戶端14將跳過(guò)下載優(yōu)先級(jí)為3的存儲(chǔ)單元26而下載優(yōu)先級(jí)為2的存儲(chǔ)單元26。這種行為結(jié)合圖5到圖19尤其是結(jié)合圖14和圖15變現(xiàn)得很清楚。應(yīng)注意的是，可能會(huì)在開(kāi)始下載存儲(chǔ)單元26中的一個(gè)前或甚至正在下載存儲(chǔ)單元26中的一個(gè)時(shí)跳過(guò)下載這個(gè)存儲(chǔ)單元26，以使為了下載優(yōu)先級(jí)更高的更新的存儲(chǔ)單元26，取消下載這個(gè)存儲(chǔ)單元26。
[0046]控制器處理器22用于保持駐留在緩存存儲(chǔ)器24中每個(gè)存儲(chǔ)單元26的并發(fā)下載數(shù)量計(jì)數(shù)。換言之，當(dāng)接收客戶端14開(kāi)始下載存儲(chǔ)單元26時(shí)，特定存儲(chǔ)單元26的計(jì)數(shù)增加I，當(dāng)接收客戶端14完成下載存儲(chǔ)單元26時(shí),特定存儲(chǔ)單元26的計(jì)數(shù)減少I(mǎi)。應(yīng)注意的是，完成下載并不一定意味著成功下載存儲(chǔ)單元2