一種視頻編碼方法和編碼器的制造方法
【專利摘要】本發(fā)明公開一種視頻編碼方法和編碼器。一種視頻編碼方法，包括步驟：將未編碼的原始視頻的幀圖像建立起至少兩層的依賴關(guān)系，上一層依賴關(guān)系囊括的幀圖像數(shù)量少于下一層依賴關(guān)系囊括的幀圖像數(shù)量；對原始視頻的幀圖像進(jìn)行編碼，每層依賴關(guān)系對應(yīng)生成一種碼流。本發(fā)明能匹配多種帶寬的網(wǎng)絡(luò)、提供高壓縮率的碼流，具有良好的容錯性能。
【專利說明】一種視頻編碼方法和編碼器
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多媒體信號傳輸領(lǐng)域，更具體的說，涉及一種視頻編碼方法和編碼器?！颈尘凹夹g(shù)】
[0002]視音頻編解碼技術(shù)是數(shù)字視頻監(jiān)控系統(tǒng)的核心技術(shù)，其中視頻編解碼算法實現(xiàn)的優(yōu)劣直接決定了圖像的清晰度、網(wǎng)絡(luò)傳輸?shù)膸挼母叩?、所占存儲空間的大小而成為技術(shù)實現(xiàn)的關(guān)鍵。
[0003]H.264編碼標(biāo)準(zhǔn)相較于以前的編碼標(biāo)準(zhǔn)有著一些新特性，如多參考幀的運(yùn)動補(bǔ)償、變塊尺寸運(yùn)動補(bǔ)償、幀內(nèi)預(yù)測編碼等，通過利用這些新特性，H.264比其他編碼標(biāo)準(zhǔn)有著更高的視頻質(zhì)量和更低的碼率，也因此受到了人們的認(rèn)可。
[0004]H.265/HEVC的編碼架構(gòu)大致上和H.264/AVC的架構(gòu)相似，主要也包含:幀內(nèi)預(yù)測(intra prediction)、中貞間預(yù)測(inter prediction)、轉(zhuǎn)換(transform)、量化(quantization)、去區(qū)塊濾波器(deblocking filter)、熵編碼(entropy coding)等模塊。但在HEVC編碼架構(gòu)中，整體被分為了三個基本單位，分別是:編碼單位(coding unit,⑶)、預(yù)測單位(predict unit, PU)和轉(zhuǎn)換單位(transformunit, TU)。
[0005]比起H.264/AVC，H.265/HEVC提供了更多不同的工具來降低碼率，以編碼單位來說,H.264中每個宏塊(marcoblock, MB)大小都是固定的16x16像素,而H.265的編碼單位可以選擇從最小的8x8到最大的64x64。以下圖為例，信息量不多的區(qū)域(顏色變化不明顯，比如車體的紅色部分和地面的灰色部分)劃分的宏塊較大，編碼后的碼字較少，而細(xì)節(jié)多的地方(輪胎)劃分的宏塊就相應(yīng)的小和多一些，編碼后的碼字較多，這樣就相當(dāng)于對圖像進(jìn)行了有重點的編碼，從而降低了整體的碼率，編碼效率就相應(yīng)提高了。同時，H.265的幀內(nèi)預(yù)測模式支持33種方向(H.264只支持8種)，并且提供了更好的運(yùn)動補(bǔ)償處理和矢量預(yù)測方法。
[0006]不論H.264還是H.265，所有的MPEG視頻標(biāo)準(zhǔn)均采用如圖1所示的編碼過程。即當(dāng)前幀F(xiàn)_n幀間預(yù)測(ME)是用上一時刻點編碼重建幀(F’ _(n-l))做參考幀，幀間預(yù)測模式編碼過程產(chǎn)生的碼流只是包括幀間預(yù)測(ME)產(chǎn)生的殘差，其對應(yīng)的運(yùn)動矢量，模式和對應(yīng)的參考巾貞信息。
[0007]由于網(wǎng)絡(luò)服務(wù)器中的視頻媒體信息越來越豐富，因此促進(jìn)了視頻流傳輸技術(shù)的應(yīng)用。同時伴隨著移動通信和無線網(wǎng)絡(luò)的迅猛發(fā)展，如3G、WIMAX、LTE (長期演進(jìn)，即3.9G無線通信標(biāo)準(zhǔn))、4G等新的技術(shù)應(yīng)用之后，無線網(wǎng)絡(luò)為視頻應(yīng)用和信息的交互提供了新的場景和可能。通過這些應(yīng)用，人們可以使用移動設(shè)備直接瀏覽最新視頻，查詢和檢索資料，撥打可視電話，甚至進(jìn)行遠(yuǎn)程的視頻會議等等?？傊?，隨著多媒體通信技術(shù)的發(fā)展，視頻應(yīng)用的領(lǐng)域越來越廣泛。
[0008]然而，Internet是一個異構(gòu)性網(wǎng)絡(luò)，對于視頻服務(wù)而言，它體現(xiàn)在網(wǎng)絡(luò)中通信網(wǎng)絡(luò)的異構(gòu)性和接收方的異構(gòu)性。由于各子網(wǎng)的網(wǎng)絡(luò)資源(如處理能力、傳輸帶寬、存儲能力等)分布不均勻，以及服務(wù)器的傳輸吞吐量、延時、丟包率等各不相同，從而造成了通訊子網(wǎng)的異構(gòu)性。而接收方的異構(gòu)性則體現(xiàn)在用戶不同的使用偏好，以及接收和播放設(shè)備的不同的分辨率和處理器的能力上。網(wǎng)絡(luò)終端的異構(gòu)性造成了視頻形式的多樣性。因此用戶可能通過高速的以太網(wǎng)(Ethernet), WIMAX、LTE等服務(wù)的接入，也可能通過中等速度的調(diào)制解調(diào)器獲取視頻(如個域網(wǎng)，WIFI)，還有一些用戶通過低速的無線網(wǎng)絡(luò)(如3G，EDGE，GPRS)進(jìn)行視頻傳輸。這些眾多因素導(dǎo)致用戶通過不同的網(wǎng)絡(luò)所能得到的帶寬不盡相同，甚至同一個用戶所能得到的帶寬也因時而變(它可能會受到多徑衰落和快衰落等影響)。因此恒定速率的視頻流難以在帶寬波動比較大的網(wǎng)絡(luò)環(huán)境下進(jìn)行高效傳輸，網(wǎng)絡(luò)終端視頻的重構(gòu)質(zhì)量也就受到了一些影響。
[0009]網(wǎng)絡(luò)的異構(gòu)性、信道帶寬的波動和信道的誤碼等因素的存在，使得原來面向存儲的壓縮算法已經(jīng)很難滿足實時傳輸?shù)囊蟆?br>
【發(fā)明內(nèi)容】

[0010]本發(fā)明所要解決的技術(shù)問題是提供一種能適應(yīng)多種帶寬視頻編碼方法和編碼器。
[0011]本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的:
[0012]一種視頻編碼方法，包括步驟:
[0013]將未編碼的原始視頻的幀圖像建立起至少兩層的依賴關(guān)系，上一層依賴關(guān)系囊括的幀圖像數(shù)量少于下一層依賴關(guān)系囊括的幀圖像數(shù)量；
[0014]對原始視頻的幀圖像進(jìn)行編碼，每層依賴關(guān)系對應(yīng)生成一種碼流。
[0015]進(jìn)一步的，根據(jù)人類視覺敏感區(qū)域來建立幀圖像的依賴關(guān)系，在同一層依賴關(guān)系的情況下，處于敏感區(qū)域時間段的相鄰兩個幀圖像之間的間隔時間小于非敏感區(qū)域時間段的相鄰兩個幀圖像之間的間隔時間。人類視覺系統(tǒng)對勻速運(yùn)動比對加速運(yùn)動更敏感，人類視覺系統(tǒng)對前景運(yùn)動物體比對背景運(yùn)動物體敏感，人類視覺系統(tǒng)對平緩運(yùn)動比對快速運(yùn)動更敏感。本領(lǐng)域技術(shù)人員可以根據(jù)視頻幀與幀之間的全局運(yùn)動模型得出勻速運(yùn)動和加速運(yùn)動的幀圖像；由視頻處理的物體分割背景建模等方法得出幀圖像的前景和背景物體。根據(jù)這些原理，我們可以在人類視覺敏感區(qū)域時間段可伸縮運(yùn)動補(bǔ)償依賴關(guān)系更密集，而在非敏感域時間段依賴關(guān)系更稀疏。這樣解碼顯示的視覺損失最小。
[0016]進(jìn)一步的，不同依賴關(guān)系對應(yīng)碼流的數(shù)據(jù)量之間呈線性關(guān)系。依賴運(yùn)功補(bǔ)償原理的視頻編碼技術(shù)，隨著參考幀時間間隔越長，其編碼效率越差，每一幀的碼流數(shù)據(jù)越大。為了精準(zhǔn)適應(yīng)帶寬變化(如網(wǎng)絡(luò)帶寬以25%的帶寬大小降低或增加)，以線性關(guān)系方式來調(diào)節(jié)幀間依賴關(guān)系，達(dá)到層與層碼流按比例遞增，從而更好地適應(yīng)帶寬的變化。
[0017]進(jìn)一步的，第η層的依賴關(guān)系中，幀圖像的序號可以被2的η次冪整除，η為正整數(shù)。保留在基準(zhǔn)碼流中可以被2的η次冪整除的序號的幀為一種等間距的抽幀策略，每兩個保留幀之間抽離的幀數(shù)相等，保障了畫面的連續(xù)性。
[0018]進(jìn)一步的，最下層的依賴關(guān)系為基本依賴關(guān)系，基本依賴關(guān)系囊括所有的幀圖像，所述編碼器根據(jù)基本依賴關(guān)系對每個幀圖像進(jìn)行一次編碼，形成基本碼流；
[0019]直接從基本碼流中提取出跟它依賴關(guān)系一一對應(yīng)的的碼流。如果每一層的幀圖像都需要重復(fù)編碼，無疑會大幅增加編碼器的運(yùn)算量，實質(zhì)上每一層之間都有幀圖像是重復(fù)的，因此只需對基本依賴關(guān)系中的幀圖像(即所有的幀圖像)進(jìn)行一次編碼，然后根據(jù)一次編碼結(jié)果來抽取幀圖像數(shù)據(jù)進(jìn)行二次編碼，形成其它層依賴關(guān)系對應(yīng)的碼流。這樣能減少重復(fù)勞動，減輕編碼器負(fù)擔(dān)。
[0020]進(jìn)一步的，最下層的依賴關(guān)系為基本依賴關(guān)系，基本依賴關(guān)系囊括所有的幀圖像，以最下層編碼數(shù)據(jù)量最小為依據(jù)確定基本依賴關(guān)系。此為一種)最優(yōu)編碼效率的方式，通過自由建立可伸縮幀間依賴關(guān)系來選擇基本碼流最小的路徑，使可伸縮碼流與傳統(tǒng)視頻編碼效率差距縮短到最小。
[0021]進(jìn)一步的，最上層的依賴關(guān)系僅囊括采用幀內(nèi)編碼的關(guān)鍵幀圖像。此為一種僅傳遞關(guān)鍵幀的技術(shù)方案，所有的關(guān)鍵幀都只采用幀內(nèi)編碼模式而不采用幀間編碼模式；而其它非關(guān)鍵幀都是采用前一個關(guān)鍵幀或非關(guān)鍵幀作為運(yùn)動補(bǔ)償預(yù)測的參考，因此可伸縮編碼的最低限度就是僅傳關(guān)鍵幀，低于這個限度，解碼后的視頻基本無法觀看。
[0022]進(jìn)一步的，所述編碼器將每一層對應(yīng)的幀圖像間的依賴關(guān)系和其對應(yīng)的碼流一起發(fā)送到外部網(wǎng)絡(luò)。隨著時間、視頻內(nèi)容不停變換的時間軸上幀間依賴關(guān)系不停變化。碼流經(jīng)過一次可伸縮編碼后，這種幀間依賴關(guān)系和在網(wǎng)絡(luò)傳輸過程中的分層碼流必須要傳遞到下一個網(wǎng)絡(luò)中轉(zhuǎn)站(如路由器)。如編碼器到網(wǎng)絡(luò)中轉(zhuǎn)服務(wù)器A，碼流為第4層碼流，則第4層幀間依賴關(guān)系要以某種形式傳到A。網(wǎng)絡(luò)中轉(zhuǎn)服務(wù)器A到B，碼流為第3層碼流，則第3層幀間依賴關(guān)系以某種形式傳到B，以此類推。這樣每個網(wǎng)絡(luò)節(jié)點都可以按照下一級網(wǎng)絡(luò)的帶寬狀況來自動選擇相應(yīng)層級對應(yīng)的碼流來發(fā)送，能自適應(yīng)網(wǎng)絡(luò)帶寬的變化，確保大部分網(wǎng)絡(luò)都能流暢地觀看視頻。
[0023]進(jìn)一步的，所述依賴關(guān)系通過私有協(xié)議的方式跟隨碼流發(fā)出；或者所述依賴關(guān)系嵌套在標(biāo)準(zhǔn)化的碼流當(dāng)中。此為具體依賴關(guān)系的傳遞關(guān)系，解碼器可以根據(jù)接收到的碼流及其對應(yīng)的依賴關(guān)系來正確解碼幀數(shù)據(jù)。
[0024]一種編碼器,包括:
[0025]將未編碼的原始視頻的幀圖像建立起至少兩層的依賴關(guān)系的幀計算模塊；
[0026]與幀計算模塊耦合的、對原始視頻的幀圖像進(jìn)行編碼，并根據(jù)每層依賴關(guān)系對應(yīng)生成一種碼流的編碼模塊。
[0027]經(jīng)研究，現(xiàn)有視頻數(shù)據(jù)在網(wǎng)絡(luò)傳輸過程中，如果帶寬波動，丟掉任一幀圖像數(shù)據(jù)，則無法在解碼器端重建此幀，其后續(xù)的幀也都無法重建，直到接收到下一個關(guān)鍵幀圖像，才能重新解碼，這樣就造成了客戶端畫面出現(xiàn)卡頓和跳躍，嚴(yán)重影響觀看體驗。本發(fā)明由于將原始視頻的幀圖像建立了不同層級的依賴關(guān)系，每一層級依賴關(guān)系囊括的幀圖像數(shù)據(jù)都不一樣，因此對應(yīng)產(chǎn)生的碼流的數(shù)據(jù)量大小也不一樣，這樣就能匹配多種帶寬的網(wǎng)絡(luò)。依賴關(guān)系可以人為定義，可以建立起幀數(shù)量很少的依賴關(guān)系，提供高壓縮率的碼流。另外，雖然不同層級的依賴關(guān)系中一般需要丟棄部分的原始幀圖像，但保留的幀圖像之間存在依賴關(guān)系，客戶端的解碼器可以根據(jù)依賴關(guān)系按正確的順序和方式解讀幀圖像，仍然可以保障客戶端畫面的連續(xù)性，因此具有良好的容錯性能。
【專利附圖】

【附圖說明】
[0028]圖1是MPEG視頻標(biāo)準(zhǔn)采用的編碼過程；
[0029]圖2是本發(fā)明視頻編碼方法的示意圖；
[0030]圖3是本發(fā)明編碼器的示意圖；
[0031]圖4是本發(fā)明實施例以2的η次幕建立各層依賴關(guān)系的不意圖；[0032]圖5是本發(fā)明實施例以碼流數(shù)據(jù)量呈線性變化建立各層依賴關(guān)系的示意圖?！揪唧w實施方式】
[0033]如圖2所示，本發(fā)明公開一種視頻編碼方法，包括步驟:
[0034]將未編碼的原始視頻的幀圖像建立起至少兩層的依賴關(guān)系，上一層依賴關(guān)系囊括的幀圖像數(shù)量少于下一層依賴關(guān)系囊括的幀圖像數(shù)量；
[0035]對原始視頻的幀圖像進(jìn)行編碼，每層依賴關(guān)系對應(yīng)生成一種碼流。
[0036]如圖3所示，本發(fā)明還公開一種編碼器，編碼器包括:將未編碼的原始視頻的幀圖像建立起至少兩層的依賴關(guān)系的幀計算模塊；與幀計算模塊耦合的、對原始視頻的幀圖像進(jìn)行編碼，并根據(jù)每層依賴關(guān)系對應(yīng)生成一種碼流的編碼模塊。
[0037]經(jīng)研究，現(xiàn)有視頻數(shù)據(jù)在網(wǎng)絡(luò)傳輸過程中，如果帶寬波動，丟掉任一幀圖像數(shù)據(jù)，則無法在解碼器端重建此幀，其后續(xù)的幀也都無法重建，直到接收到下一個關(guān)鍵幀圖像，才能重新解碼，這樣就造成了客戶端畫面出現(xiàn)卡頓和跳躍，嚴(yán)重影響觀看體驗。本發(fā)明由于將原始視頻的幀圖像建立了不同層級的依賴關(guān)系，每一層級依賴關(guān)系囊括的幀圖像數(shù)據(jù)都不一樣，因此對應(yīng)產(chǎn)生的碼流的數(shù)據(jù)量大小也不一樣，這樣就能匹配多種帶寬的網(wǎng)絡(luò)。依賴關(guān)系可以人為定義，可以建立起幀數(shù)量很少的依賴關(guān)系，提供高壓縮率的碼流。另外，雖然不同層級的依賴關(guān)系中一般需要丟棄部分的原始幀圖像，但保留的幀圖像之間存在依賴關(guān)系，客戶端的解碼器可以根據(jù)依賴關(guān)系按正確的順序和方式解讀幀圖像，仍然可以保障客戶端畫面的連續(xù)性，因此具有良好的容錯性能。
[0038]下面結(jié)合附圖和較佳的實施例對本發(fā)明作進(jìn)一步說明。
[0039]本發(fā)明公開一種視頻編碼方法，包括步驟:將未編碼的原始視頻的幀圖像建立起至少兩層的依賴關(guān)系，上一層依賴關(guān)系囊括的幀圖像數(shù)量少于下一層依賴關(guān)系囊括的幀圖像數(shù)量；對原始視頻的幀圖像進(jìn)行編碼，每層依賴關(guān)系對應(yīng)生成一種碼流。
[0040]本發(fā)明采用時間可伸縮編碼技術(shù)，固定了時間軸上幀與幀之間運(yùn)動補(bǔ)償?shù)南嗷ヒ蕾囮P(guān)系。固定的依賴模式使編碼器設(shè)計及時間軸分層更容易及有效。以圖4為例進(jìn)行說明，采用固定跳二的運(yùn)動補(bǔ)償依賴關(guān)系，使傳統(tǒng)編碼變成可以分為4層的時間可伸縮碼流。如在這9幀視頻數(shù)據(jù)中，第一層只有2幀碼流數(shù)據(jù)，在解碼端可以完整解碼顯示。第二層碼流有3幀視頻數(shù)據(jù)，第三層碼流有5幀視頻數(shù)據(jù)；第4層有9幀視頻數(shù)據(jù)。
[0041]網(wǎng)絡(luò)帶寬好的情況下，傳輸?shù)?層視頻碼流。帶寬條件變差的情況下，可以根據(jù)帶寬傳輸?shù)?層，第2層碼流等。
[0042]在多用戶同時登陸觀看同一視頻時，按照相似的帶寬適應(yīng)原理，為每個客戶提供其帶寬條件容許情況下最佳觀看體驗的視頻碼流。
[0043]本發(fā)明在這種時間段可伸縮技術(shù)基礎(chǔ)之上，可以動態(tài)調(diào)整時間軸上的運(yùn)動補(bǔ)償依賴關(guān)系，提高視頻編碼效率，提高視頻觀看主觀效果，及更好適應(yīng)網(wǎng)絡(luò)帶寬變化，當(dāng)然，本發(fā)明的依賴關(guān)系的層次不局限于4層，可根據(jù)不同的應(yīng)用場合適當(dāng)增加或減少層次。
[0044]在視頻編碼過程中，通過前處理，多幀運(yùn)動預(yù)測，幀內(nèi)預(yù)測，頻域變化(如DCT變化)，殘差編碼等步驟，我們可以得出視頻內(nèi)容的各種信息，如運(yùn)動物體特征，運(yùn)動平緩與否，編碼數(shù)據(jù)大小等。
[0045]依賴關(guān)系可以人為定義，同樣的視頻數(shù)據(jù)可以依據(jù)不同的參考依據(jù)來建立不同的依賴關(guān)系，下面僅以三種參考依據(jù)為例進(jìn)行說明，不代表本發(fā)明構(gòu)思下的所有技術(shù)方案。
[0046]I)根據(jù)人類視覺敏感區(qū)域來建立幀圖像的依賴關(guān)系。在同一層依賴關(guān)系的情況下，處于敏感區(qū)域時間段的相鄰兩個幀圖像之間的間隔時間小于非敏感區(qū)域時間段的相鄰兩個幀圖像之間的間隔時間。人類視覺系統(tǒng)對勻速運(yùn)動比對加速運(yùn)動更敏感，人類視覺系統(tǒng)對前景運(yùn)動物體比對背景運(yùn)動物體敏感，人類視覺系統(tǒng)對平緩運(yùn)動比對快速運(yùn)動更敏感。本領(lǐng)域技術(shù)人員可以根據(jù)視頻幀與幀之間的全局運(yùn)動模型得出勻速運(yùn)動和加速運(yùn)動的幀圖像；由視頻處理的物體分割背景建模等方法得出幀圖像的前景和背景物體。根據(jù)這些原理，我們可以在人類視覺敏感區(qū)域時間段可伸縮運(yùn)動補(bǔ)償依賴關(guān)系更密集，而在非敏感域時間段依賴關(guān)系更稀疏。這樣解碼顯示的視覺損失最小。
[0047]敏感區(qū)域時間段和非敏感區(qū)域時間段可以通過二次編碼來判斷，第一次快速編碼可以得到運(yùn)動前景物體，后景物體；物體運(yùn)動的方向，速度，加速度等，根據(jù)這些信息，判斷敏感，非敏感時間段，然后做二次編碼。
[0048]2)不同依賴關(guān)系對應(yīng)碼流的數(shù)據(jù)量之間呈線性關(guān)系。如圖5所示，第4層有9幀數(shù)據(jù)，第3層有5幀數(shù)據(jù)。從第4層切換到第3層時，幀數(shù)據(jù)0，4，8保持不變，丟掉幀數(shù)據(jù)6，7，每一層的幀圖像形成碼流后，基本呈線性關(guān)系變化。依賴運(yùn)功補(bǔ)償原理的視頻編碼技術(shù)，隨著參考幀時間間隔越長，其編碼效率越差，每一幀的碼流數(shù)據(jù)越大。為了精準(zhǔn)適應(yīng)帶寬變化(如網(wǎng)絡(luò)帶寬以25%的帶寬大小降低或增加)，以線性關(guān)系方式來調(diào)節(jié)幀間依賴關(guān)系，達(dá)到層與層碼流按比例遞增，從而更好地適應(yīng)帶寬的變化，實現(xiàn)網(wǎng)絡(luò)帶寬精準(zhǔn)自適應(yīng)。
[0049]當(dāng)然，為了簡化操作，還可以采用固定間隔進(jìn)行抽幀的方式，比如在第η層的依賴關(guān)系中，幀圖像的序號可以被2的η次冪整除(參見圖4)，η為正整數(shù)。
[0050]3)最優(yōu)編碼效率方式。最下層的依賴關(guān)系為基本依賴關(guān)系，基本依賴關(guān)系囊括所有的幀圖像，以最下層編碼數(shù)據(jù)量最小為依據(jù)確定基本依賴關(guān)系。通過自由建立可伸縮幀間依賴關(guān)系來選擇基本碼流最小的路徑，使可伸縮碼流與傳統(tǒng)視頻編碼效率差距縮短到最小。
[0051]本發(fā)明將原始幀圖像建立多層依賴關(guān)系，每一層依賴關(guān)系的幀圖像都對應(yīng)產(chǎn)生一種碼流，如果每一層的幀圖像都需要重新編碼，無疑會大幅增加編碼器的運(yùn)算量，實質(zhì)上每一層之間都有幀圖像是重復(fù)的，因此只需對基本依賴關(guān)系中的幀圖像(即所有的幀圖像)進(jìn)行一次編碼，形成基本碼流；直接從基本碼流中提取出跟它依賴關(guān)系一一對應(yīng)的的增強(qiáng)碼流。這樣能減少重復(fù)勞動，減輕編碼器負(fù)擔(dān)。
[0052]最上層的依賴關(guān)系僅囊括采用幀內(nèi)編碼的關(guān)鍵幀圖像。所有的關(guān)鍵幀都采用幀內(nèi)編碼，而其它幀都是采用前一個關(guān)鍵幀作為運(yùn)動補(bǔ)償預(yù)測的參考，因此可伸縮編碼的最低限度就是僅傳關(guān)鍵幀，低于這個限度，解碼后的視頻基本無法觀看，沒有什么實用價值。
[0053]編碼器將每一層對應(yīng)的幀圖像間的依賴關(guān)系和其對應(yīng)的碼流一起發(fā)送到外部網(wǎng)絡(luò)，依賴關(guān)系可以通過私有協(xié)議的方式跟隨碼流發(fā)出；也可以嵌套在標(biāo)準(zhǔn)化的碼流當(dāng)中。隨著時間、視頻內(nèi)容不停變換的時間軸上幀間依賴關(guān)系不停變，碼流經(jīng)過一次可伸縮編碼后，這種幀間依賴關(guān)系和在網(wǎng)絡(luò)傳輸過程中的分層碼流必須要傳遞到下一個網(wǎng)絡(luò)中轉(zhuǎn)站(如路由器)。如編碼器到網(wǎng)絡(luò)中轉(zhuǎn)服務(wù)器Α，碼流為第4層碼流，則第4層幀間依賴關(guān)系要以某種形式傳到Α。網(wǎng)絡(luò)中轉(zhuǎn)服務(wù)器A到B，碼流為第3層碼流，則第3層幀間依賴關(guān)系以某種形式傳到B，以此類推。這樣每個網(wǎng)絡(luò)節(jié)點都可以按照下一級網(wǎng)絡(luò)的帶寬狀況來自動選擇相應(yīng)層級對應(yīng)的碼流來發(fā)送，能自適應(yīng)網(wǎng)絡(luò)帶寬的變化，確保大部分網(wǎng)絡(luò)都能流暢地觀看視頻。
[0054]標(biāo)準(zhǔn)解碼器會根據(jù)每個接收到幀數(shù)據(jù)包頭信息，維護(hù)一個解碼幀緩存(如H.264中的DPB buffer),保留正確的參考幀和顯示順序。如果中間缺少了 I, 3，5，7幀數(shù)據(jù)。由于不是所有解碼器會錯，取決與解碼器容錯能力有的解碼器的解碼幀緩存順序會錯，使時間順序后的解碼幀產(chǎn)生錯誤。
[0055]為了適應(yīng)所有標(biāo)準(zhǔn)解碼器，我們提出一種產(chǎn)生標(biāo)準(zhǔn)碼流的方式。即在抽掉的幀圖像數(shù)據(jù)位置處(如以上的1，3，5，7)填入一個替換幀，每個替換幀寫入NAL數(shù)據(jù)，這個很小的數(shù)據(jù)包包含準(zhǔn)確的解碼幀緩存操作指令，保證所有標(biāo)準(zhǔn)解碼器可解。如在H.264標(biāo)準(zhǔn)中，整個替換幀只有幾個到30幾個字節(jié)。
[0056]以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種視頻編碼方法，包括步驟: 將未編碼的原始視頻的幀圖像建立起至少兩層的依賴關(guān)系，上一層依賴關(guān)系囊括的幀圖像數(shù)量少于下一層依賴關(guān)系囊括的幀圖像數(shù)量； 對原始視頻的幀圖像進(jìn)行編碼，每層依賴關(guān)系對應(yīng)生成一種碼流。
2.如權(quán)利要求1所述的一種視頻編碼方法，其特征在于，根據(jù)人類視覺敏感區(qū)域來建立幀圖像的依賴關(guān)系，在同一層依賴關(guān)系的情況下，處于敏感區(qū)域時間段的相鄰兩個幀圖像之間的間隔時間小于非敏感區(qū)域時間段的相鄰兩個幀圖像之間的間隔時間。
3.如權(quán)利要求1所述的一種視頻編碼方法，其特征在于，不同依賴關(guān)系對應(yīng)碼流的數(shù)據(jù)量之間呈線性關(guān)系。
4.如權(quán)利要求1所述的一種視頻編碼方法，其特征在于，第η層的依賴關(guān)系中，幀圖像的序號可以被2的η次冪整除，η為正整數(shù)。
5.如權(quán)利要求1所述的一種視頻編碼方法，其特征在于，最下層的依賴關(guān)系為基本依賴關(guān)系，基本依賴關(guān)系囊括所有的幀圖像，以最下層編碼數(shù)據(jù)量最小為依據(jù)確定基本依賴關(guān)系。
6.如權(quán)利要求1所述的一種視頻編碼方法，其特征在于，最下層的依賴關(guān)系為基本依賴關(guān)系，基本依賴關(guān)系囊括所有的幀圖像，所述編碼器根據(jù)基本依賴關(guān)系對每個幀圖像進(jìn)行一次編碼，形成基本碼流； 直接從基本碼流中提取出跟它依賴關(guān)系一一對應(yīng)的的碼流。
7.如權(quán)利要求1所述的一種視頻編碼方法，其特征在于，最上層的依賴關(guān)系僅囊括采用幀內(nèi)編碼的關(guān)鍵幀圖像。
8.如權(quán)利要求1所述的一種視頻編碼方法，其特征在于，所述編碼器將每一層對應(yīng)的幀圖像間的依賴關(guān)系和其對應(yīng)的碼流一起發(fā)送到外部網(wǎng)絡(luò)。
9.如權(quán)利要求8所述的一種視頻編碼方法，其特征在于，所述依賴關(guān)系通過私有協(xié)議的方式跟隨碼流發(fā)出；或者所述依賴關(guān)系嵌套在標(biāo)準(zhǔn)化的碼流當(dāng)中。
10.一種編碼器，其特征在于，包括: 將未編碼的原始視頻的幀圖像建立起至少兩層的依賴關(guān)系的幀計算模塊； 與幀計算模塊耦合的、對原始視頻的幀圖像進(jìn)行編碼，并根據(jù)每層依賴關(guān)系對應(yīng)生成一種碼流的編碼模塊。
【文檔編號】H04N7/26GK103475878SQ201310404748
【公開日】2013年12月25日 申請日期:2013年9月6日 優(yōu)先權(quán)日:2013年9月6日
【發(fā)明者】史方, 金明 申請人:同觀科技（深圳）有限公司