專利名稱：應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，特別涉及基于多視點(diǎn)視頻編碼系統(tǒng)的碼率控制算法。
背景技術(shù)：
隨著無(wú)線通信網(wǎng)絡(luò)的廣泛應(yīng)用和多媒體技術(shù)的飛速發(fā)展，視頻通信技術(shù)在過(guò)去的幾十年里得到了前所未有的發(fā)展，而視頻編碼技術(shù)作為視頻通信的一個(gè)關(guān)鍵因素，在視頻信號(hào)的壓縮和傳輸過(guò)程中，起著重要作用。如今，隨著移動(dòng)設(shè)備以及通信網(wǎng)絡(luò)的不斷改進(jìn)，人們對(duì)移動(dòng)視頻通信也有了更高層次的需求，因此，多視點(diǎn)視頻編碼技術(shù)應(yīng)運(yùn)而生，多視點(diǎn)視頻通過(guò)在場(chǎng)景中放置多臺(tái)攝像機(jī)，記錄多個(gè)視點(diǎn)的數(shù)據(jù)，從而蘊(yùn)含了景物的深度信息，在自然場(chǎng)景的表征上更具有真實(shí)感，能供給用戶以視點(diǎn)選擇和場(chǎng)景漫游的交互能力，在3D電視、自由視點(diǎn)電視、沉浸式可視會(huì)議及虛擬現(xiàn)實(shí)等領(lǐng)域展現(xiàn)了廣闊的應(yīng)用前景。然而，多視點(diǎn)視頻數(shù)據(jù)量巨大，必須有一套高效的編碼壓縮機(jī)制，才能真正的使多視點(diǎn)視頻編碼從理論走向?qū)嵺`。其中，多視點(diǎn)視頻編碼碼率控制是多視點(diǎn)視頻編碼技術(shù)走向?qū)嶋H應(yīng)用的一項(xiàng)關(guān)鍵技術(shù)。只有通過(guò)一套有效的碼率控制方案，才能根據(jù)信道傳輸帶寬的特性，靈活的傳輸多視點(diǎn)視頻流，并獲得良好穩(wěn)定的視頻重建質(zhì)量。

發(fā)明內(nèi)容
技術(shù)問(wèn)題本發(fā)明的目的是公開(kāi)一種應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的碼率控制方案中的關(guān)鍵幀量化參數(shù)選擇算法，與采用已編碼幀平均量化參數(shù)值作為關(guān)鍵幀量化參數(shù)相比，該算法能在不明顯影響計(jì)算復(fù)雜度的前提下，提高圖像重建質(zhì)量，同時(shí)，進(jìn)行精確的碼率控制。技術(shù)方案本發(fā)明的一種應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法應(yīng)用于基于多視點(diǎn)視頻編碼平臺(tái)的碼率控制過(guò)程中，是基于多視點(diǎn)視頻編碼系統(tǒng)，該系統(tǒng)中一個(gè)序列編碼圖像組GGOP包括一個(gè)基本視點(diǎn)I-View，和多個(gè)輔助視點(diǎn)非I-View ;基本視點(diǎn)關(guān)鍵幀為I幀，不參考其它幀只進(jìn)行幀內(nèi)編碼，輔助視點(diǎn)的關(guān)鍵幀為P幀或者B幀，參考其它已編碼視點(diǎn)的關(guān)鍵幀進(jìn)行編碼；該方法包括基本視點(diǎn)的關(guān)鍵巾貞量化參數(shù)選擇和輔助視點(diǎn)的關(guān)鍵巾貞量化參數(shù)選擇兩個(gè)部分；基本視點(diǎn)關(guān)鍵幀量化參數(shù)的確定需要考慮到信道的傳輸碼率、幀率、當(dāng)前編碼圖像的本身特性以及同類型編碼幀間的相似性；輔助視點(diǎn)關(guān)鍵幀量化參數(shù)的確定根據(jù)同類型幀編碼的相似性，及前一個(gè)序列編碼圖像組GGOP中所有關(guān)鍵幀平均編碼量化參數(shù)值計(jì)算；根據(jù)信道的傳輸碼率、幀率及圖像幀的像素?cái)?shù)，確定每個(gè)像素所占的平均比特?cái)?shù)，以此來(lái)度量可用帶寬，通常，若當(dāng)前可用帶寬較大時(shí)，相應(yīng)的初始量化參數(shù)就會(huì)較小，反之，若當(dāng)前可用帶寬較小時(shí)，相應(yīng)的初始量化參數(shù)就會(huì)變大；圖像的本身特性通過(guò)圖像的復(fù)雜度進(jìn)行度量，由于基本視點(diǎn)的關(guān)鍵幀只進(jìn)行幀內(nèi)編碼，所以不考慮其動(dòng)態(tài)復(fù)雜度，即只考慮圖像背景的內(nèi)容復(fù)雜度，本方法中，定義為一幀圖像的平均絕對(duì)差值，對(duì)于復(fù)雜的圖像，選擇小的量化參數(shù)進(jìn)行編碼，反之，對(duì)于平坦的圖像，選擇大的量化參數(shù)進(jìn)行編碼；同類型編碼幀具有相似的編碼特性，根據(jù)前一個(gè)序列已編碼圖像組中同類型關(guān)鍵幀所占的實(shí)際編碼比特，分配當(dāng)前幀的編碼比特，根據(jù)率失真模型計(jì)算量化參數(shù)。所述的傳輸碼率、幀率，由編碼器特性和信道容量決定，本系統(tǒng)中，由人為設(shè)定目標(biāo)碼率和巾貞率。所述當(dāng)前編碼圖像的本身特性包括圖像的格式、圖像大小、圖像復(fù)雜度。 所述圖像的復(fù)雜度，只考慮靜態(tài)復(fù)雜度，即圖像背景復(fù)雜度，定義為該幀圖像的平均梯度MADs。所述的同類型編碼幀表示不同編碼圖像組GGOP中同一視點(diǎn)、同一平行位置、同種幀類型的編碼幀。所述的前一個(gè)序列編碼圖像組GGOP所有關(guān)鍵幀包括前一個(gè)已編碼GGOP中基本視點(diǎn)和所有非基本視點(diǎn)關(guān)鍵幀。有益效果本發(fā)明通過(guò)一種更精確的算法計(jì)算多視點(diǎn)視頻編碼系統(tǒng)中關(guān)鍵幀量化參數(shù)，與采用已編碼幀平均量化參數(shù)值作為關(guān)鍵幀量化參數(shù)相比，該算法能在不明顯影響計(jì)算復(fù)雜度的前提下，提高圖像質(zhì)量，同時(shí)，進(jìn)行精確的碼率控制。


圖I碼率控制基本原理圖，圖2關(guān)鍵幀量化參數(shù)確定算法流程圖。
具體實(shí)施例方式下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明做進(jìn)一步描述。本發(fā)明的應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇算法，應(yīng)用于基于多視點(diǎn)視頻編碼平臺(tái)的碼率控制過(guò)程中。該算法包括基本視點(diǎn)(I-View)的關(guān)鍵幀量化參數(shù)選擇和輔助視點(diǎn)(非Ι-View)的關(guān)鍵幀量化參數(shù)選擇兩個(gè)部分。基本視點(diǎn)關(guān)鍵幀為I幀，不參考其它巾貞只進(jìn)行巾貞內(nèi)編碼，輔助視點(diǎn)的關(guān)鍵巾貞可以為P巾貞或者B巾貞,參考其它視點(diǎn)的關(guān)鍵幀進(jìn)行編碼?；疽朁c(diǎn)關(guān)鍵幀根據(jù)信道的傳輸碼率、幀率、圖像本身特性以及同類型編碼幀間的相似性計(jì)算得到量化參數(shù)。輔助視點(diǎn)關(guān)鍵幀根據(jù)同類型幀編碼的相似性，及前一個(gè)編碼GGOP所有關(guān)鍵幀平均編碼量化參數(shù)計(jì)算得到量化參數(shù)?；疽朁c(diǎn)關(guān)鍵幀量化參數(shù)的確定需要考慮到信道的傳輸碼率、幀率、圖像本身特性以及同類型編碼幀間的相似性，通過(guò)如下算法得到關(guān)鍵幀量化參數(shù)根據(jù)信道的傳輸碼率、幀率及圖像幀的像素?cái)?shù)，確定每個(gè)像素所占的平均比特?cái)?shù)，以此來(lái)度量可用帶寬，通常，若當(dāng)前可用帶寬較大時(shí)，相應(yīng)的初始量化參數(shù)就會(huì)較小，反之，若當(dāng)前可用帶寬較小時(shí)，相應(yīng)的初始量化參數(shù)就會(huì)較大；圖像的本身特性通過(guò)圖像的復(fù)雜度進(jìn)行度量，由于基本視點(diǎn)的關(guān)鍵幀只進(jìn)行幀內(nèi)編碼，所以不考慮其動(dòng)態(tài)復(fù)雜度，即只考慮圖像背景的內(nèi)容復(fù)雜度，本方法中，定義為一幀圖像的平均絕對(duì)差值MADS。對(duì)于較復(fù)雜的圖像，選擇較小的量化參數(shù)進(jìn)行編碼，反之，對(duì)于較為平坦的圖像，選擇較大的量化參數(shù)進(jìn)行編碼；同類型編碼幀具有相似的編碼特性，根據(jù)前一個(gè)GGOP中同類型關(guān)鍵幀在實(shí)際編碼比特中所占比例，分配當(dāng)前幀的編碼比特，根據(jù)率失真模型計(jì)算量化參數(shù)；將兩次計(jì)算得到的量化參數(shù)進(jìn)行加權(quán)平均，得到最終編碼的量化參數(shù)。輔助視點(diǎn)關(guān)鍵幀量化參數(shù)的確定根據(jù)同類型幀編碼的相似性，及前一個(gè)編碼GGOP中所有關(guān)鍵幀平均編碼量化參數(shù)計(jì)算，通過(guò)如下算法得到關(guān)鍵幀量化參數(shù)同類型編碼幀具有相似的編碼特性，根據(jù)前一個(gè)GGOP中同類型關(guān)鍵幀在實(shí)際編碼比特中所占比例，分配當(dāng)前幀的編碼比特，并預(yù)測(cè)當(dāng)前幀的編碼復(fù)雜度MAD，編碼復(fù)雜度MAD定義為圖像編碼前后的平均絕對(duì)差值。最后，根據(jù)率失真模型計(jì)算量化參數(shù)。根據(jù)前一個(gè)編碼圖像組GGOP中所有關(guān)鍵幀的平均量化參數(shù)，對(duì)根據(jù)率失真模型計(jì)算得到的量化參數(shù)進(jìn)行調(diào)整，得到輔助視點(diǎn)關(guān)鍵幀的最終編碼量化參數(shù)。本發(fā)明的應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，用于基于多視點(diǎn)視頻編碼平臺(tái)的碼率控制過(guò)程中，該算法包括基本視點(diǎn)的關(guān)鍵幀量化參數(shù)選擇和輔助視點(diǎn)的關(guān)鍵巾貞量化參數(shù)選擇兩個(gè)部分；上述應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，是基于多視點(diǎn)視頻編碼系統(tǒng)，該系統(tǒng)中一個(gè)序列編碼圖像GGOP包括一個(gè)基本視點(diǎn)I-View，和多個(gè)輔助視點(diǎn)非I-View ;基本視點(diǎn)關(guān)鍵幀為I幀，不參考其它幀只進(jìn)行幀內(nèi)編碼，輔助視點(diǎn)的關(guān)鍵幀可以為P幀或者B幀，參考其它已編碼視點(diǎn)的關(guān)鍵幀進(jìn)行編碼；基本視點(diǎn)關(guān)鍵幀量化參數(shù)的確定需要考慮到信道的傳輸碼率、幀率、當(dāng)前編碼圖像的本身特性以及同類型編碼幀間的相似性，輔助視點(diǎn)關(guān)鍵幀量化參數(shù)的確定根據(jù)同類型幀編碼的相似性，及前一個(gè)序列編碼圖像組GGOP中所有關(guān)鍵幀平均編碼量化參數(shù)值計(jì)算；根據(jù)信道的傳輸碼率、幀率及圖像幀的像素?cái)?shù)，確定每個(gè)像素所占的平均比特?cái)?shù)，以此來(lái)度量可用帶寬，通常，若當(dāng)前可用帶寬較大時(shí)，相應(yīng)的初始量化參數(shù)就會(huì)較小，反之，若當(dāng)前可用帶寬較小時(shí)，相應(yīng)的初始量化參數(shù)就會(huì)變大；圖像的本身特性通過(guò)圖像的復(fù)雜度進(jìn)行度量，由于基本視點(diǎn)的關(guān)鍵幀只進(jìn)行幀內(nèi)編碼，所以不考慮其動(dòng)態(tài)復(fù)雜度，即只考慮圖像背景的內(nèi)容復(fù)雜度，本方法中，定義為一幀圖像的平均絕對(duì)差值，對(duì)于復(fù)雜的圖像，選擇小的量化參數(shù)進(jìn)行編碼，反之，對(duì)于平坦的圖像，選擇大的量化參數(shù)進(jìn)行編碼；同類型編碼幀具有相似的編碼特性，根據(jù)前一個(gè)序列已編碼圖像組中同類型關(guān)鍵幀所占的實(shí)際編碼比特，分配當(dāng)前幀的編碼比特，根據(jù)率失真模型計(jì)算量化參數(shù)。所述的傳輸碼率和幀率，由編碼器特性和信道容量決定，本系統(tǒng)中，由人為設(shè)定目標(biāo)碼率和巾貞率。所述當(dāng)前編碼圖像本身的特性包括圖像的格式、圖像大小、圖像復(fù)雜度。所述的當(dāng)前編碼圖像的復(fù)雜度只考慮靜態(tài)復(fù)雜度，即圖像背景復(fù)雜度，定義為該幀圖像的平均梯度MADs。所述的同類型編碼幀表示不同編碼圖像組GGOP中同一視點(diǎn)、同一平行位置、同種幀類型的編碼幀。所述的前一個(gè)編碼圖像組GGOP所有關(guān)鍵幀包括前一個(gè)已編碼GGOP中基本視點(diǎn)和所有非基本視點(diǎn)關(guān)鍵幀。實(shí)施例I :如圖I是碼率控制算法的基本原理，為使編碼后的碼率能與信道相匹配，一般的碼率控制在視頻編碼器和信道之間采用緩存器來(lái)平滑比特率的波動(dòng)，而碼率控制器則負(fù)責(zé)采集碼率、緩沖區(qū)狀態(tài)和圖像活動(dòng)性等信息，據(jù)此來(lái)調(diào)整編碼參數(shù)，使得性能指標(biāo)(如碼率)維持在給定的水平上。如圖2是關(guān)鍵幀量化參數(shù)的計(jì)算過(guò)程。根據(jù)碼率控制器采集到的信道傳輸碼率R、幀率F，以及圖像幀的像素?cái)?shù)N，確定每個(gè)像素所占的平均比特?cái)?shù)bpp。其中
權(quán)利要求
1.一種應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，其特征在于，該方法應(yīng)用于基于多視點(diǎn)視頻編碼平臺(tái)的碼率控制過(guò)程中，是基于多視點(diǎn)視頻編碼系統(tǒng)，該系統(tǒng)中一個(gè)序列編碼圖像組GGOP包括一個(gè)基本視點(diǎn)I-VieW，和多個(gè)輔助視點(diǎn)非I-View ;基本視點(diǎn)關(guān)鍵幀為I幀，不參考其它幀只進(jìn)行幀內(nèi)編碼，輔助視點(diǎn)的關(guān)鍵幀為P幀或者B幀，參考其它已編碼視點(diǎn)的關(guān)鍵幀進(jìn)行編碼；該方法包括基本視點(diǎn)的關(guān)鍵巾貞量化參數(shù)選擇和輔助視點(diǎn)的關(guān)鍵巾貞量化參數(shù)選擇兩個(gè)部分；基本視點(diǎn)關(guān)鍵幀量化參數(shù)的確定需要考慮到信道的傳輸碼率、幀率、當(dāng)前編碼圖像的本身特性以及同類型編碼幀間的相似性；輔助視點(diǎn)關(guān)鍵幀量化參數(shù)的確定根據(jù)同類型幀編碼的相似性，及前一個(gè)序列編碼圖像組GGOP中所有關(guān)鍵幀平均編碼量化參數(shù)值計(jì)算；根據(jù)信道的傳輸碼率、幀率及圖像幀的像素?cái)?shù)，確定每個(gè)像素所占的平均比特?cái)?shù)，以此來(lái)度量可用帶寬，通常，若當(dāng)前可用帶寬較大時(shí)，相應(yīng)的初始量化參數(shù)就會(huì)較小，反之，若當(dāng)前可用帶寬較小時(shí)，相應(yīng)的初始量化參數(shù)就會(huì)變大；圖像的本身特性通過(guò)圖像的復(fù)雜度進(jìn)行度量，由于基本視點(diǎn)的關(guān)鍵幀只進(jìn)行幀內(nèi)編碼，所以不考慮其動(dòng)態(tài)復(fù)雜度，即只考慮圖像背景的內(nèi)容復(fù)雜度，本方法中，定義為一幀圖像的平均絕對(duì)差值，對(duì)于復(fù)雜的圖像，選擇小的量化參數(shù)進(jìn)行編碼，反之，對(duì)于平坦的圖像，選擇大的量化參數(shù)進(jìn)行編碼；同類型編碼幀具有相似的編碼特性，根據(jù)前一個(gè)序列已編碼圖像組中同類型關(guān)鍵幀所占的實(shí)際編碼比特，分配當(dāng)前幀的編碼比特，根據(jù)率失真模型計(jì)算量化參數(shù)。
2.根據(jù)權(quán)利要求I所述的應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，其特征在于所述的傳輸碼率、幀率，由編碼器特性和信道容量決定，本系統(tǒng)中，由人為設(shè)定目標(biāo)碼率和巾貞率。
3.根據(jù)權(quán)利要求I所述的應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，其特征在于所述當(dāng)前編碼圖像的本身特性包括圖像的格式、圖像大小、圖像復(fù)雜度。
4.根據(jù)權(quán)利要求I所述的應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，其特征在于所述圖像的復(fù)雜度，只考慮靜態(tài)復(fù)雜度，即圖像背景復(fù)雜度，定義為該幀圖像的平均梯度M4A。
5.根據(jù)權(quán)利要求I所述的應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，其特征在于所述的同類型編碼幀表示不同編碼圖像組GGOP中同一視點(diǎn)、同一平行位置、同種幀類型的編碼幀。
6.根據(jù)權(quán)利要求I所述的應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，其特征在于，所述的前一個(gè)序列編碼圖像組GGOP所有關(guān)鍵幀包括前一個(gè)已編碼GGOP中基本視點(diǎn)和所有非基本視點(diǎn)關(guān)鍵中貞。
全文摘要
本發(fā)明提供了一種應(yīng)用于多視點(diǎn)視頻編碼系統(tǒng)的關(guān)鍵幀量化參數(shù)選擇方法，根據(jù)視頻信號(hào)的傳輸碼率、幀率、基本視點(diǎn)關(guān)鍵幀的本身復(fù)雜度，以及前一個(gè)序列已編碼圖像組GGOP中基本視點(diǎn)關(guān)鍵幀所占的實(shí)際編碼比特?cái)?shù)，確定當(dāng)前基本視點(diǎn)關(guān)鍵幀的量化參數(shù)；根據(jù)前一個(gè)序列已編碼圖像組GGOP中對(duì)應(yīng)位置的輔助視點(diǎn)關(guān)鍵幀實(shí)際編碼比特在整個(gè)序列編碼圖像組中所占的比例進(jìn)行比特分配及平均絕對(duì)差值的預(yù)測(cè)，從而利用率失真模型得到該輔助視點(diǎn)關(guān)鍵幀的量化參數(shù)，并利用前一個(gè)序列編碼圖像組所有關(guān)鍵幀的平均量化參數(shù)值進(jìn)行調(diào)整。本方法充分考慮了多視點(diǎn)視頻不同視點(diǎn)的編碼特性及其相關(guān)性，提高了碼率控制精確性并最大限度的減小了計(jì)算復(fù)雜度。
文檔編號(hào)H04N7/50GK102938840SQ201210488088
公開(kāi)日2013年2月20日 申請(qǐng)日期2012年11月26日 優(yōu)先權(quán)日2012年11月26日
發(fā)明者劉峰, 何銀環(huán) 申請(qǐng)人:南京郵電大學(xué)