專利名稱：視頻通信系統(tǒng)的幀率調(diào)節(jié)方法
技術領域：
本發(fā)明涉及視頻通信系統(tǒng)，尤其涉及視頻通信系統(tǒng)中幀頻調(diào)節(jié)方法。
背景技術：
隨著網(wǎng)絡技術及視頻技術的發(fā)展，視頻通信系統(tǒng)得到了迅猛發(fā)展。如將視頻通信系統(tǒng)應用于多視頻會議和視頻點播(或交互式電視)等業(yè)務中，以提供視頻會議、視頻電話、遠程教學和遠程醫(yī)療等各種服務。
在視頻通信系統(tǒng)中，至少包括若干視頻通信終端及連接所述視頻通信終端的網(wǎng)絡。在可視通信過程中，其中一視頻通信終端為視頻圖像數(shù)據(jù)的發(fā)送端，通常存在至少一視頻通信終端為該視頻圖像數(shù)據(jù)的接收端。對于發(fā)送端而言，主要是將視頻圖像數(shù)據(jù)進行壓縮、編碼并組織碼流后發(fā)送。對于接收端而言，主要是接收到的碼流進行解碼、解壓縮后還原成視頻圖像，以達到視頻回放的效果。
在上述視頻通信過程中，視頻圖像的壓縮率決定了視頻圖像的失真率。視頻回放的幀率決定了視頻中物體運動的連續(xù)性。并且，由上述兩個方面共同決定觀看視頻的視覺感受的好壞程度。然而，在特定的信道帶寬條件下，獲得較高的視頻幀率與較低的視頻圖像壓縮率是相互矛盾的。即，在一定的信道條件下，若接收端想獲得較佳的視覺效果，則發(fā)送端采用的視頻圖像壓縮率低，同時視頻幀率也低；若接收端要求快速獲得視頻圖像，則發(fā)送端需采用較高的視頻幀率，視頻圖像采用較高的壓縮率進行壓縮和編碼。
但是，目前多數(shù)的視頻通信系統(tǒng)中，發(fā)送端并未考慮到接收端對視頻質(zhì)量的要求，通常采用單一的視頻幀率和壓縮率處理視頻，組織碼流發(fā)送給接收端。這樣做有時無法滿足接收端用戶的需求。比如，發(fā)送端采用的視頻幀率較低，而接收端的用戶希望能獲得更快速視頻圖像，這樣就無法滿足接收端用戶的需求，而且也過多的占用了發(fā)送端處理器的處理時間，浪費了網(wǎng)絡資源。再比如，發(fā)送端采用的視頻頻率較高，而接收端用戶更加偏愛較高的視頻圖像質(zhì)量，這樣也無法滿足接收端用戶的需求，進而可能需要發(fā)送端重新進行壓縮、編碼、組織碼流等處理，由此造成資源浪費。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種視頻通信系統(tǒng)的頻率調(diào)節(jié)方法，視頻通信的發(fā)送端能夠針對接收端用戶對視頻幀率的要求，以相應的視頻幀率組織碼流，以解決現(xiàn)有技術中發(fā)送端決定視頻幀率和壓縮率處理視頻，難以滿足接收端用戶的需求，進而造成資源浪費的技術問題。
為解決上述問題，本發(fā)明公開了一種視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，所述視頻通信系統(tǒng)包括進行視頻圖像數(shù)據(jù)傳輸?shù)陌l(fā)送端和接收端，包括(1)在所述接收端和發(fā)送端分別設定相同的若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式，所述量化方式為圖像編碼過程中采用的預先設定的位平面層數(shù)進行量化編碼/解碼；(2)接收端將本終端要求的幀率模式預先發(fā)送至發(fā)送端；(3)發(fā)送端根據(jù)接收到的幀率模式，對視頻圖像按照所述幀率模式對應量化方式進行編碼后組織成碼流發(fā)送至所述接收端，以便接收端接收碼流，并還原出視頻圖像。
步驟(1)中設置的幀率模式包括清晰模式和流暢模式，其中所述清晰模式對應的視頻圖像的量化方式為在圖像編碼過程中以最大位平面層數(shù)進行量化編碼；所述流暢模式對應的視頻圖像的量化方式為根據(jù)發(fā)送端處理器每秒鐘能夠處理的最大視頻圖像幀率確定的圖像編碼過程中的位平面層數(shù)進行量化編碼。
步驟(2)進一步包括所述接收端先將用戶選擇的幀率模式寫入控制命令字，然后將所述控制命令字發(fā)送至發(fā)送端。
步驟(3)發(fā)送端對視頻圖像按照所述幀率模式對應量化方式進行編碼進一步包括將視頻圖像先進行小波變換；并對變換化的小波系數(shù)預先設定的位平面層數(shù)進行SPIHT量化編碼，從而得到二進制符號流。
所述根據(jù)處理器每秒鐘能夠處理的最大視頻圖像幀率確定的位平面層數(shù)具體為確定處理器每秒鐘能夠處理的最大視頻圖像幀數(shù)為最大幀數(shù)；根據(jù)所述最大幀率和信道當前帶寬計算每幀圖像編碼的碼流長度；根據(jù)所述碼流長度來選擇編碼的位平面層數(shù)。
步驟(1)中設置的幀率模式包括平衡模式，所述平衡模式對應的視頻圖像的量化方式為按照當前幀率和信道當前帶寬計算每幀圖像可編碼最大碼流長度，進而確定位平面層數(shù)，根據(jù)所述確定的位平面層數(shù)進行量化編碼。
若選擇平衡模式，則視頻圖像編碼時根據(jù)預先確定的位平面層數(shù)進行SPIHT編碼。
步驟(3)中還包括所述接收端將根據(jù)接收到的碼流和發(fā)送端視頻圖像的量化方式對應的方式進行解碼，還原視頻圖像。
與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點本發(fā)明中的視頻通信終端預先設置若干幀率模式，針對每種幀率模式采用不同的量化編碼方式。在視頻通信過程中，接收端將本端需要的視頻幀率要求預先發(fā)送至發(fā)送端，發(fā)送端則根據(jù)接收端的需求，對視頻圖像進行壓縮編碼。不僅滿足了用戶對視頻幀率的要求，而且也充分的利用了信道帶寬，提高了資源利用率，由此避免了下述兩種情況的發(fā)生(1)發(fā)送端采用的視頻幀率較低，而接收端的用戶更希望獲得高幀率的視頻圖像，由此造成不僅無法滿足接收端用戶的需求，而且降低了發(fā)送端的處理器的處理效率，浪費了網(wǎng)絡資源。(2)發(fā)送端采用的視頻頻率較高，圖像畫質(zhì)相對較低，而接收端用戶希望接收到較高畫質(zhì)的視頻圖像，由此造成無法滿足用戶的需求，進而可能使得發(fā)送端重新進行壓縮、編碼、組織碼流等處理，由此造成資源浪費。


圖1為視頻通信系統(tǒng)的原理結構示意圖；圖2為本發(fā)明視頻通信系統(tǒng)的幀率調(diào)節(jié)方法的流程圖；圖3為采用幀率調(diào)節(jié)的一次通信的流程示意圖；圖4為發(fā)送端的視頻壓縮過程的流程示意圖。
具體實施例方式
以下結合附圖，具體說明本發(fā)明。
請參閱圖1，視頻通信系統(tǒng)的原理結構示意圖。所述視頻通信系統(tǒng)包括若干視頻通信終端，所述視頻通信終端通過網(wǎng)絡11或其他通信通道建立傳輸連接。為了更好地說明本發(fā)明的幀率調(diào)節(jié)方法，本發(fā)明以一個可視通信過程為例。即，視頻通信終端至少包括接收視頻圖像數(shù)據(jù)的視頻通信終端12(簡稱為接收端)和發(fā)送視頻圖像數(shù)據(jù)的視頻通信終端13(簡稱為發(fā)送端)。在實際的通信過程中，經(jīng)常存在雙向通信，即接收端也做為另一次通信的發(fā)送端，而發(fā)送端是該次通信的接收端。但是，每一次通信過程幀率調(diào)節(jié)方法是相同的，因此本發(fā)明是以一個通信過程為例來說明本發(fā)明的幀率調(diào)節(jié)方法。
請參閱圖2，本發(fā)明視頻通信系統(tǒng)的幀率調(diào)節(jié)方法流程圖。該方法包括以下步驟S110在所有視頻通信終端上設定相同的若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式，所述量化方式為圖像編碼過程中采用的預先設定的位平面層數(shù)進行量化編碼/解碼；
S120接收端將本終端要求的幀率模式預先發(fā)送至發(fā)送端；S130發(fā)送端根據(jù)接收到的幀率模式，對視頻圖像按照所述幀率模式對應量化方式進行編碼后，組織碼流發(fā)送至所述接收端。
從上述步驟可知，發(fā)送端在進行視頻編碼時，預先獲知接收端發(fā)送的幀率要求，然后選擇對應的量化方式進行編碼，使得接收端能夠接收到滿足本端用戶預先設定的幀率要求的碼流。
在步驟S110中，接收端和發(fā)送端需要預先設定若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式。所述幀率模式即為用戶期望收到的視頻圖像的幀率要求，針對用戶不同的幀率要求設定不同的幀率模式。在本發(fā)明可以設置兩種幀率模式清晰模式和流暢模式，其中所述清晰模式為用戶希望收到最佳的圖像質(zhì)量，則發(fā)送端需要以最小的量化誤差進行視頻圖像的編程，使得接收端的用戶獲得最佳的圖像質(zhì)量。因此對應的視頻圖像的量化方式可以是發(fā)送端在圖像編碼過程中以最大位平面層數(shù)進行量化編碼，而接收端采用同樣的平面層數(shù)進行解碼；所述流暢模式是以視頻編解碼處理器的運算能力(每秒鐘能夠編解碼圖像的最大幀率)為標準選擇量化級數(shù)進行視頻編碼，接收端采用相同的量化級數(shù)進行視頻解碼。所述流暢模式能夠獲得當前信道帶寬條件下最高的幀率，即最大限度地利用處理器資源，進而使得接收端較快獲得視頻圖像。流暢模式對應的視頻圖像的量化方式為根據(jù)發(fā)送端處理器每秒鐘能夠處理的最大視頻圖像幀率確定的圖像編碼過程中的位平面數(shù)進行量化編碼。
由上可知，清晰模式能使得接收端獲得最佳的圖像質(zhì)量，流暢模式能使得接收端最快獲得視頻圖像。在背景技術已闡明信道帶寬受限的情況下，獲得較高的視頻幀率與低的視頻圖像壓縮率是相互矛盾的。為此，可以在清晰模式和流暢模式之間還可以設置若干模式。該些模式的視頻幀率是界于清晰模式和流暢模式之間的，同時圖像質(zhì)量也是界于清晰模式和流暢模式之間的。在本實施例中設置一平衡模式。所述平衡模式對應的視頻圖像的量化方式為按照當前幀率和信道當前帶寬計算每幀圖像編碼碼流長度，進而確定位平面層數(shù)，根據(jù)所述確定的位平面層數(shù)進行量化編碼。需要重申的是，本發(fā)明并非局限于上述公開的兩種幀率模式或三種幀率模式，首先設置的幀率模式的個數(shù)不受兩種和三種的限制，其次，劃分幀率模式的方式是不受限制。它可以在視頻幀率界于清晰模式和流暢模式之間劃分更多的幀率模式并設定對應的視頻圖像的量化方式。另外，設置的幀率模式也并非一定要包含清晰模式和流暢模式。發(fā)送端和接收端可以根據(jù)具體情況進行設定。
以下就以發(fā)送端和接收端設定三種幀率模式為例，并且以視頻壓縮編碼采用基于小波變換、SPIHT編碼的壓縮方式來具體說明幀率調(diào)節(jié)過程。請參閱圖3，其為采用幀率調(diào)節(jié)的一次通信的流程示意圖。
S210每一次需要發(fā)送端發(fā)送視頻圖像數(shù)據(jù)至接收端時，發(fā)送端預先將本終端要求的幀率模式發(fā)送至發(fā)送端。比如，接收端可以先將用戶選擇的幀率模式寫入控制命令字，然后通過所述控制命令字發(fā)送至發(fā)送端。
S220發(fā)送端接收到所述控制命令字，從中獲得幀率模式，然后找到對應的量化方式，并對視頻圖像進行壓縮后發(fā)送至接收端。
以下以圖4為例，具體說明發(fā)送端的視頻壓縮過程。
首先進行步驟S310將視頻圖像的每一幀進行格式轉換，轉換成YUV三個分量，并進行小波變換。小波變換圖像編碼過程為使用一組濾波器族對原始圖像序列進行濾波處理。首先將圖像中每行像素用低通濾波器和高通濾波器進行濾波，對濾波器的輸出結果進行隔點采樣，得到中間圖像L和H。L是原始圖像經(jīng)過低通濾波器，并在水平方向隔點采樣；H是原始圖像經(jīng)過高通濾波器，并在水平方向隔點采樣。接下來，對這兩個新產(chǎn)生的圖像的每一列像素進行低通(Ly)和高通(Hy)濾波。并且進行隔點采樣。得到四個子圖像(LL、LH、HL、HH)。這四個子圖像包含了原始圖像的全部信息，但是通過上述的濾波分解，每個子圖像包含的信息重要程度各不相同。對LL子圖像繼續(xù)施加上述操作，又將得到四個子圖像。
然后進行步驟S320，對變換化的小波系數(shù)進行SPIHT量化編碼，從而得到二進制符號流。用SPIHT算法對變換后的小波系數(shù)進行量化編碼，從而得到二進制符號流。圖像信息的損失(稱為量化誤差)主要發(fā)生在SPIHT量化編碼階段。分層樹集合分割排序SPIHT(Set Partitioning in Hierarchical Trees)的編碼量化算法，利用小波變換的系數(shù)分布特性，對小波系數(shù)進行逐次逼近的量化，量化過程中采用一個門限序列T0，T1，……TN-1，來依次確定量化門限值，其中，2T0＞＝|Xmax|，Xmax是小波變換系數(shù)中的最大絕對值，門限序列值以2的倍數(shù)依次遞減。兩個門限區(qū)間之內(nèi)的量化區(qū)間稱作一個位平面。所述SPIHT編碼的位平面數(shù)是指從最大量化門限開始，依次遞減量化門限對小波系數(shù)進行量化的次數(shù)。例如，對位平面數(shù)為“5”進行SPIHT量化時，首先以T0為量化門限值進行第一層位平面的量化；然后再以T1為量化門限進行第二層位平面的量化；……量化過程一直進行到第五層位平面，即量化門限取到T4。由此可知，五層位平面的量化門限依次為T0、T1、T2、T3、T4。通常，視頻通信終端預先設置最大位平面層數(shù)。
若接收到的幀率模式是清晰模式，則以最大位平面層數(shù)進行SPIHT編碼后得到二進制符號流；若是流暢模式，則以根據(jù)處理器每秒鐘能夠處理的最大視頻圖像幀率確定的位平面層數(shù)進行SPIHT編碼后得到二進制符號流；若選擇平衡模式，則視頻圖像編碼時根據(jù)預先確定的位平面層數(shù)進行SPIHT編碼。
事實上，在設置清晰模式、流暢模式和平衡模式時，通常設置好對應的視頻圖像的量化方式。在本實施例中，設置好對應的視頻圖像的量化方式是指設置各模式對應的編解碼過程的位平面層數(shù)。其中清晰模式將本端支持的最大位平面層數(shù)作為在本模式下編解碼過程的位平面層數(shù)；
流暢模式是根據(jù)以上步驟確定在本模式下編解碼過程的位平面層數(shù)(a)確定處理器每秒鐘能夠處理的最大視頻圖像幀數(shù)為最大幀數(shù)；(b)根據(jù)所述最大幀率和信道當前帶寬計算每幀圖像可以編碼的最大碼流長度；(c)根據(jù)所述編碼最大碼流長度來選擇SPIHT編碼的位平面層數(shù)。
以下舉個應用例，說明上述(a)(b)(c)三個步驟具體是如何確定位平面層數(shù)。
步驟(a)對一幀圖像進行編碼，在圖像編碼算法、圖像分辨率確定的情況下，處理器所需的計算指令數(shù)是可以確定的。因此，當處理器主頻也確定時，可以通過圖像編碼源程序估算出編碼時間，也可以通過在程序中設置硬件定時器來測量處理器編碼一幀圖像的耗時。
“流暢模式”下，幀頻(Hz)＝1÷編碼一幀圖像耗時；步驟(b)視頻通信的連接建立過程中，通信雙方的modem通過協(xié)商檢測信道狀況，返回信道當前帶寬。
每幀圖像可以編碼的最大碼流長度(bits)＝信道當前帶寬(bits/s)÷幀頻(Hz)步驟(c)圖像編碼算法可以通過改變圖像編碼的量化級數(shù)來調(diào)整一幀圖像的編碼碼流長度。因此，執(zhí)行完成(a)、(b)步驟之后，即確定了滿足幀頻和信道帶寬條件下的圖像編碼最大碼流長度，根據(jù)“編碼最大碼流長度”，調(diào)整圖像編碼的量化級數(shù)(SPHIT算法中的位平面數(shù))，使得圖像編碼碼流長度滿足要求。
所述平衡模式是按照當前幀率和信道當前帶寬計算每幀圖像編碼碼流長度，進而確定位平面層數(shù)。
“平衡模式”是在圖像質(zhì)量和圖像幀頻之間采取的一種折中的方案。平衡模式下的編碼最大碼流長度的確定也需要兩個參數(shù)信道當前帶寬(bits/s)和幀頻(Hz)。
“平衡模式”的“幀頻”小于“流暢模式”，幀頻的具體值地確定首先需要根據(jù)編碼圖像質(zhì)量做出主觀和客觀兩方面的評估。
圖像質(zhì)量的主觀評估需要不同的觀察者對圖像質(zhì)量做評估，“平衡模式”下，圖像質(zhì)量應當使評估者感覺較為滿意?？陀^評估需要對圖像的信噪比(PSNR)進行統(tǒng)計，本系統(tǒng)規(guī)定不低于20dB。
通過主觀和客觀兩方面的評估，可以定義“平衡模式”下的幀頻。
“清晰模式”下的編碼最大碼流長度的確定較為簡單，直接根據(jù)SPIHT量化編碼的最高位平面數(shù)對圖像進行量化編碼。用這種情況下的編碼碼流解碼重構的圖像質(zhì)量最佳。
最后進行步驟S330經(jīng)SPIHT編碼后的二進制符號流按照碼流格式組織成碼流發(fā)送至接收端。
S230所述接收端將接收到的碼流根據(jù)和發(fā)送端視頻圖像的量化方式對應的解碼方式進行解碼，還原視頻圖像。即接收端根據(jù)選擇的幀率模式對應的位平面層數(shù)進行解碼。
選擇的幀率模式若是清晰模式，則采用最大位平面層數(shù)解碼后進行小波變換，以便還原成視頻圖像；選擇的幀率模式若是流暢模式，則采用預先根據(jù)處理器能夠處理最大視頻圖像幀數(shù)設定的位平面層數(shù)解碼后進行小波變換，以便還原成視頻圖像；選擇的幀率模式若是平衡模式，則采用預先設定的位平面層數(shù)解碼后進行小波變換，以便還原成視頻圖像。
以上公開的僅為本發(fā)明的幾個具體實施例，但本發(fā)明并非局限于此，任何本領域人員能思之的變化都應落在本發(fā)明的保護范圍內(nèi)。
權利要求
1.一種視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，所述視頻通信系統(tǒng)包括進行視頻圖像數(shù)據(jù)傳輸?shù)陌l(fā)送端和接收端，其特征在于，包括(1)在所述接收端和發(fā)送端分別設定相同的若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式，所述量化方式為圖像編碼過程中采用的預先設定的位平面層數(shù)進行量化編碼/解碼；(2)接收端將本終端要求的幀率模式預先發(fā)送至發(fā)送端；(3)發(fā)送端根據(jù)接收到的幀率模式，對視頻圖像按照所述幀率模式對應量化方式進行編碼后組織成碼流發(fā)送至所述接收端，以便接收端接收碼流，并還原出視頻圖像。
2.如權利要求1所述的視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，其特征在于，步驟(1)中設置的幀率模式包括清晰模式和流暢模式，其中所述清晰模式對應的視頻圖像的量化方式為在圖像編碼過程中以最大位平面層數(shù)進行量化編碼；所述流暢模式對應的視頻圖像的量化方式為根據(jù)發(fā)送端處理器每秒鐘能夠處理的最大視頻圖像幀率確定的圖像編碼過程中的位平面層數(shù)進行量化編碼。
3.如權利要求1或2所述的視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，其特征在于，步驟(2)進一步包括所述接收端先將用戶選擇的幀率模式寫入控制命令字，然后將所述控制命令字發(fā)送至發(fā)送端。
4.如權利要求1或2所述的視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，其特征在于，步驟(3)發(fā)送端對視頻圖像按照所述幀率模式對應量化方式進行編碼進一步包括將視頻圖像先進行小波變換；并對變換化的小波系數(shù)預先設定的位平面層數(shù)進行SPIHT量化編碼，從而得到二進制符號流。
5.如權利要求2或4所述的視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，其特征在于，所述根據(jù)處理器每秒鐘能夠處理的最大視頻圖像幀率確定的位平面層數(shù)具體為確定處理器每秒鐘能夠處理的最大視頻圖像幀數(shù)為最大幀數(shù)；根據(jù)所述最大幀率和信道當前帶寬計算每幀圖像編碼的碼流長度；根據(jù)所述碼流長度來選擇編碼的位平面層數(shù)。
6.如權利要求2或4所述的視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，其特征在于，步驟(1)中設置的幀率模式包括平衡模式，所述平衡模式對應的視頻圖像的量化方式為按照當前幀率和信道當前帶寬計算每幀圖像可編碼最大碼流長度，進而確定位平面層數(shù)，根據(jù)所述確定的位平面層數(shù)進行量化編碼。
7.如權利要求6所述的視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，其特征在于，包括若選擇平衡模式，則視頻圖像編碼時根據(jù)預先確定的位平面層數(shù)進行SPIHT編碼。
8.如權利要求2或6所述的視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，其特征在于，步驟(3)中還包括所述接收端將根據(jù)接收到的碼流和發(fā)送端視頻圖像的量化方式對應的方式進行解碼，還原視頻圖像。
全文摘要
本發(fā)明公開了一種視頻通信系統(tǒng)的幀率調(diào)節(jié)方法，視頻通信系統(tǒng)包括進行視頻圖像數(shù)據(jù)傳輸?shù)陌l(fā)送端和接收端，包括(1)在接收端和發(fā)送端分別設定相同的若干幀率模式以及每一幀率模式對應的視頻圖像的量化方式；(2)接收端將本終端要求的幀率模式預先發(fā)送至發(fā)送端；(3)發(fā)送端根據(jù)接收到的幀率模式，對視頻圖像按照所述幀率模式對應量化方式進行編碼后組織成碼流發(fā)送至所述接收端，以便接收端接收碼流，并還原出視頻圖像。本發(fā)明進行通信的視頻通信終端通過預先設置若干幀率模式及對應的量化方式，然后接收端預先將本端需要的幀率要求預先發(fā)送至發(fā)送端，使得發(fā)送端根據(jù)接收端的需求壓縮視頻圖像，不僅滿足用戶需求，而且也提高了資源利用率。
文檔編號H04N7/24GK1633177SQ20041008233
公開日2005年6月29日 申請日期2004年12月31日 優(yōu)先權日2004年12月31日
發(fā)明者陳小敬, 龐潼川, 宗煒 申請人:大唐微電子技術有限公司