專利名稱:一種基于Brew平臺(tái)的無線視頻傳輸系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種視頻傳輸系統(tǒng),尤其是涉及一種能使用Brew平臺(tái)實(shí)現(xiàn)監(jiān)控點(diǎn)到移動(dòng)終端的基于Brew平臺(tái)的無線視頻傳輸系統(tǒng)。
背景技術(shù):
視頻監(jiān)控系統(tǒng)是無線網(wǎng)絡(luò)技術(shù)應(yīng)用最多的領(lǐng)域之一。監(jiān)控系統(tǒng)主要用于對(duì)重要區(qū)域或遠(yuǎn)程地點(diǎn)的監(jiān)視和控制,視頻監(jiān)控技術(shù)在電力系統(tǒng)、電信機(jī)房、工廠、城市交通、水利系統(tǒng)、小區(qū)治安等領(lǐng)域正得到越來越廣泛的應(yīng)用。視頻監(jiān)控系統(tǒng)將被監(jiān)控點(diǎn)實(shí)時(shí)采集的視頻文件及時(shí)地傳輸給監(jiān)控中心,實(shí)時(shí)動(dòng)態(tài)地報(bào)告被監(jiān)測點(diǎn)的情況,及時(shí)發(fā)現(xiàn)問題并進(jìn)行處理。
由于現(xiàn)有的無線視頻監(jiān)控系統(tǒng)只能實(shí)現(xiàn)監(jiān)控點(diǎn)到監(jiān)控中心(point toCenter)的集中式值守監(jiān)控,該模式的監(jiān)控系統(tǒng)監(jiān)控點(diǎn)固定,監(jiān)控中心龐大,對(duì)于事故(災(zāi)情)圖像上報(bào)不及時(shí)等,缺點(diǎn)嚴(yán)重的影響了有關(guān)部門對(duì)災(zāi)害/事故的監(jiān)控、處理、善后的一系列工作。
(一)Brew平臺(tái)技術(shù)BREW平臺(tái)是一種為無線設(shè)備提供開放式標(biāo)準(zhǔn)平臺(tái)的瘦應(yīng)用程序執(zhí)行環(huán)境,是無線應(yīng)用程序開發(fā)、設(shè)備配置、應(yīng)用程序發(fā)布以及計(jì)費(fèi)和支付的完整端到端解決方案的一部分。完整的BREW解決方案包括面向開發(fā)者的BREW SDK(tm)(軟件開發(fā)包)、面向設(shè)備制造商的BREW應(yīng)用程序平臺(tái)和移植工具以及由運(yùn)營商控制和管理的BREW分發(fā)系統(tǒng)(BDS)。利用該系統(tǒng),他們可以輕松地將開發(fā)者開發(fā)的應(yīng)用程序投入市場并協(xié)調(diào)計(jì)費(fèi)和支付過程。利用運(yùn)營商基于BREW的服務(wù),用戶可以通過從運(yùn)營商的應(yīng)用程序下載服務(wù)器上無線下載應(yīng)用程序來自定義手持設(shè)備。
BREW是一種獨(dú)立于空中接口的技術(shù),可以運(yùn)行在諸多網(wǎng)絡(luò)中。但目前來講,由于CDMA2000 1X的技術(shù)在現(xiàn)有的技術(shù)標(biāo)準(zhǔn)中是在商業(yè)運(yùn)行中最為穩(wěn)定和成功,并經(jīng)過多次驗(yàn)證。BREW在CDMA2000 1X網(wǎng)絡(luò)中可以充分利用其高速的數(shù)據(jù)傳輸速率,為最終用戶帶來極具沖擊力的用戶體驗(yàn)。即與芯片級(jí)電話功能的緊密集成,更高地展現(xiàn)聲音和動(dòng)畫功能,用C/C++編寫的應(yīng)用程序,運(yùn)行起來速度更快,BREW擴(kuò)展技術(shù)支持用Java和Flash等制作的應(yīng)用程序端對(duì)端的商業(yè)模式提供透明的計(jì)費(fèi)和支付紀(jì)錄,并可通達(dá)全球市場開發(fā)商,可以通過聯(lián)通博路無線技術(shù)有限公司從高通和聯(lián)通獲得支持。
由于BREW平臺(tái)是獨(dú)立于空中接口的技術(shù),所以BREW與任何網(wǎng)絡(luò)的結(jié)合都非常平滑。同時(shí),它又是一個(gè)端到端的解決方案,特別注重滿足整個(gè)價(jià)值鏈的所有要求。BREW平臺(tái)包括針對(duì)運(yùn)營商的BREW分發(fā)系統(tǒng),針對(duì)開發(fā)商的SDK(軟件開發(fā)工具包),針對(duì)終端廠商的移植工具包,和BREW計(jì)費(fèi)系統(tǒng)。
(二)KMVC視頻編碼算法KMVC視頻編碼算法(KingTone Mobile Video coder)是我公司參照國內(nèi)AVS視頻編碼標(biāo)準(zhǔn)和MPEG-2視頻編碼標(biāo)準(zhǔn)的編碼經(jīng)驗(yàn)自主研發(fā)的在低傳輸速率下的視頻低損壓縮算法。
MPEG-2視頻編碼標(biāo)準(zhǔn)(又稱為ITU-T H.262[2])已有10年的歷史了,由MPEG-1擴(kuò)充而來,支持隔行掃描。使用十分廣泛,幾乎用于所有的數(shù)字電視系統(tǒng),適合標(biāo)清和高清電視,適合各種媒體傳輸,包括衛(wèi)星、有線、地面等,都能有效地傳輸。然而,類似xDSL、UMTS(通用移動(dòng)系統(tǒng))技術(shù)只能提供較小的傳輸速率,甚至DVB-T,也沒有足夠的頻段可用,提供的節(jié)目很有限,隨著高清電視的引入,迫切需要高壓縮比技術(shù)的出現(xiàn)。
AVS視頻標(biāo)準(zhǔn)(GB/T 20090.2)是基于我國自主創(chuàng)新技術(shù)和國際公開技術(shù)所構(gòu)建的標(biāo)準(zhǔn),主要面向高清晰度和高質(zhì)量數(shù)字電視廣播、網(wǎng)絡(luò)電視、數(shù)字存儲(chǔ)媒體和其他相關(guān)應(yīng)用,具有以下特點(diǎn)(1)性能高,編碼效率是MPEG-2的2倍以上,與H.264的編碼效率處于同一水平;(2)復(fù)雜度低,算法復(fù)雜度比H.264明顯低,軟硬件實(shí)現(xiàn)成本都低于H.264;(3)我國掌握主要知識(shí)產(chǎn)權(quán),專利授權(quán)模式簡單,費(fèi)用低。
KMVC編碼算法的基本原理是利用時(shí)間統(tǒng)計(jì)的相關(guān)性,開發(fā)幀間預(yù)測算法;利用畫面局部與起始幀對(duì)比,壓縮并減少傳輸幀的大小,采用局部變化生成方式,實(shí)現(xiàn)在惡劣的網(wǎng)絡(luò)和終端環(huán)境中的應(yīng)用。
KMVC編碼算法由視頻編碼層(Video Coding Layer,VCL)、網(wǎng)絡(luò)提取層(Network Abstraction Layer,NAL)、圖像比較層(Image Comparison Layer,ICL)三部分組成。VCL中包括VCL編碼器與VCL解碼器,主要功能是視頻數(shù)據(jù)壓縮編碼和解碼,它包括運(yùn)動(dòng)補(bǔ)償、變換編碼、熵編碼等壓縮單元。ICL主要功能是將不同幀的圖像進(jìn)行比較,區(qū)分不同的幀區(qū)塊傳入VCL進(jìn)行編碼。包括圖像分割、區(qū)塊比較、區(qū)塊選擇等單元。NAL則用于為VCL提供一個(gè)與網(wǎng)絡(luò)無關(guān)的統(tǒng)一接口,它負(fù)責(zé)對(duì)視頻數(shù)據(jù)進(jìn)行封裝打包后使其在網(wǎng)絡(luò)中傳送,它采用統(tǒng)一的數(shù)據(jù)格式,包括單個(gè)字節(jié)的包頭信息、多個(gè)字節(jié)的視頻數(shù)據(jù)與組幀、邏輯信道信令、定時(shí)信息、序列結(jié)束信號(hào)等。包頭中包含存儲(chǔ)標(biāo)志和類型標(biāo)志。存儲(chǔ)標(biāo)志用于指示當(dāng)前數(shù)據(jù)不屬于被參考的幀。類型標(biāo)志用于指示圖像數(shù)據(jù)的類型。VCL可以傳輸按當(dāng)前的網(wǎng)絡(luò)情況調(diào)整的編碼參數(shù)。
KMVC編碼算法的特點(diǎn)KMVC編碼算法是采用DCT變換編碼加DPCM的差分編碼,即混合編碼結(jié)構(gòu)。同時(shí),KMVC編碼算法在混合編碼的框架下引入了新的編碼方式,提高了編碼效率,更貼近實(shí)際應(yīng)用。KMVC編碼算法沒有繁瑣的選項(xiàng),它具有比H.263++更好的壓縮性能,又具有適應(yīng)多種信道的能力。KMVC編碼算法的應(yīng)用目標(biāo)廣泛,可滿足各種不同速率、不同場合的視頻應(yīng)用,具有較好的抗誤碼和抗丟包的處理能力。KMVC編碼算法編碼基本結(jié)構(gòu)在很多環(huán)節(jié)做了改進(jìn),現(xiàn)列舉如下1、先進(jìn)的ICLKMVC編碼算法中率先采用了ICL單元,對(duì)于畫面中長時(shí)間靜止的區(qū)塊實(shí)現(xiàn)一次傳輸多次使用。并且將每幀圖像進(jìn)行分割處理,對(duì)畫面中改變的區(qū)塊進(jìn)行編碼傳輸,降低了編碼傳輸量,實(shí)現(xiàn)畫面的低損耗壓縮。
2、多種更好的運(yùn)動(dòng)估計(jì)一是高精度估計(jì)在KMVC編碼算法中則進(jìn)一步采用1/4像素甚至1/8像素的運(yùn)動(dòng)估計(jì)。即真正的運(yùn)動(dòng)矢量的位移可能是以1/4甚至1/8像素為基本單位的。顯然,運(yùn)動(dòng)矢量位移的精度越高,則幀間剩余誤差越小,傳輸碼率越低,即壓縮比越高。在KMVC編碼算法中采用了6階FIR濾波器的內(nèi)插獲得1/2像素位置的值。當(dāng)1/2像素值獲得后,1/4像素值可通過線性內(nèi)插獲得,對(duì)于4:1:1的視頻格式,亮度信號(hào)的1/4像素精度對(duì)應(yīng)于色度部分的1/8像素的運(yùn)動(dòng)矢量,因此需要對(duì)色度信號(hào)進(jìn)行1/8像素的內(nèi)插運(yùn)算。理論上,如果將運(yùn)動(dòng)補(bǔ)償?shù)木仍黾右槐?例如從整像素精度提高到1/2像素精度),可有0.3bit/Sample的編碼增益,但實(shí)際驗(yàn)證發(fā)現(xiàn)在運(yùn)動(dòng)矢量精度超過1/8像素后,系統(tǒng)基本上就沒有明顯增益了,因此,在KMVC編碼算法中,只采用了1/4像素精度的運(yùn)動(dòng)矢量模式,而不是采用1/8像素的精度。
二是多宏塊劃分模式估計(jì)在KMVC編碼算法的預(yù)測模式中,一個(gè)宏塊(MB)可劃分成7種不同模式的尺寸,這種多模式的靈活、細(xì)微的宏塊劃分,更切合圖像中的實(shí)際運(yùn)動(dòng)物體的形狀,于是,在每個(gè)宏塊中可包含有1、2、4、8或16個(gè)運(yùn)動(dòng)矢量。
三是多參數(shù)幀估計(jì)在KMVC編碼算法中,可采用多個(gè)參數(shù)幀的運(yùn)動(dòng)估計(jì),即在編碼器的緩存中存有多個(gè)剛剛編碼好的參數(shù)幀,編碼器從其中選擇一個(gè)給出更好的編碼效果的作為參數(shù)幀,并指出是一幀被用于預(yù)測,這樣就可獲得比只用上一個(gè)剛編碼好的幀作為預(yù)測幀的更好的編碼效果。
3、更精確的幀內(nèi)預(yù)測在KMVC編碼算法中,每個(gè)4×4塊中的每個(gè)像素都可用17個(gè)最接近先前已編碼的像素的不同加權(quán)和來進(jìn)行幀內(nèi)預(yù)測。
4、統(tǒng)一的VLCKMVC編碼算法中關(guān)于熵編碼有兩種方法。
統(tǒng)一的VLC(即UVLCUniversal VLC)。UVLC使用一個(gè)相同的碼表進(jìn)行編碼,而解碼器很容易識(shí)別碼字的前綴,UVLC在發(fā)生比特錯(cuò)誤時(shí)能快速獲得重同步。
容自適應(yīng)二進(jìn)制算術(shù)編碼
(CABACContext Adaptive Binary Arithmetic Coding)其編碼性能比UVLC稍好,但復(fù)雜度較高。
發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于Brew平臺(tái)的無線視頻傳輸系統(tǒng),其整個(gè)系統(tǒng)由若干個(gè)無線監(jiān)控點(diǎn)通過移動(dòng)通訊線路連接而成,監(jiān)控部分模塊化、移動(dòng)化,數(shù)據(jù)靠加密線路和協(xié)議傳輸,系統(tǒng)加強(qiáng)了組建系統(tǒng)的靈活性和擴(kuò)充性,增加了系統(tǒng)的可靠性,具有較高的性價(jià)比。
為實(shí)現(xiàn)上述目的,本發(fā)明采用的技術(shù)方案為一種基于Brew平臺(tái)的無線視頻傳輸系統(tǒng),其特征在于系統(tǒng)由若干個(gè)無線監(jiān)控點(diǎn)通過移動(dòng)通訊線路連接而成,將所有監(jiān)控點(diǎn)由視頻采集器采集的信息通過編碼服務(wù)器編碼成為可在Brew平臺(tái)傳輸?shù)臒o線信號(hào),再通過監(jiān)控信號(hào)轉(zhuǎn)發(fā)服務(wù)器發(fā)送到移動(dòng)終端,系統(tǒng)的工作流程為(1)初始化;(2)視頻圖像采集;(3)使用KMVC編碼算法進(jìn)行編碼;(4)轉(zhuǎn)發(fā)通過無線方式傳輸;(5)支持Brew的移動(dòng)終端請(qǐng)求服務(wù)器數(shù)據(jù);(6)對(duì)數(shù)據(jù)進(jìn)行緩沖處理;(7)使用KMVC編碼算法協(xié)議進(jìn)行解碼;(8)YUV格式的圖像輸出播放;(9)請(qǐng)求下一幀圖像數(shù)據(jù)重復(fù)步驟(5)到(8)。
監(jiān)控點(diǎn)使用常規(guī)的監(jiān)控視頻頭或者是帶Brew編碼芯片支持CDMA 1X的無線監(jiān)控采集設(shè)備進(jìn)行圖像的采集和收取,對(duì)于常規(guī)的監(jiān)控視頻頭所采集的圖像,將傳輸至視頻采集/編碼服務(wù)器使用KMVC編碼算法協(xié)議進(jìn)行編碼。
使用KMVC編碼算法協(xié)議進(jìn)行編碼的過程為輸入的幀或場Fn以宏塊為單位被編碼器處理,首先,進(jìn)入ICL進(jìn)行已變化動(dòng)態(tài)塊的比較,然后按幀內(nèi)或幀間預(yù)測編碼的方法進(jìn)行處理,如果采用幀內(nèi)預(yù)測編碼,其預(yù)測值PRED是由當(dāng)前片中已編碼的參考圖像經(jīng)運(yùn)動(dòng)補(bǔ)償后得出的,其中參考圖像用F′n-1表示,為了提高預(yù)測精度,從而提高壓縮比,實(shí)際的參考圖像可在過去或未來,已編碼解碼重建和濾波的幀中進(jìn)行選擇,預(yù)測值PRED和當(dāng)前塊相減后,產(chǎn)生一個(gè)殘差塊Dn經(jīng)VCL、重排序后產(chǎn)生一組量化后的變換系數(shù)X再經(jīng)熵編碼,與解碼所需的一些邊信息一起組成一個(gè)壓縮后的碼流,經(jīng)網(wǎng)絡(luò)自適應(yīng)層供傳輸和存儲(chǔ)用,為了提供進(jìn)一步預(yù)測用的參考圖像,編碼器設(shè)置了重建圖像的功能,使殘差圖像經(jīng)反量化、反變換后得到的Dn′與預(yù)測值P相加,得到未經(jīng)濾波的幀uF′;設(shè)置了一個(gè)環(huán)路濾波器,濾波后的輸出F′n即為重建圖像,可用作參考圖像。
使用KMVC編碼算法協(xié)議進(jìn)行解碼的過程為由編碼器的NAL輸出一個(gè)壓縮后的壓縮比特流,經(jīng)熵解碼得到量化后的一組變換系數(shù)X,再經(jīng)區(qū)塊整合、運(yùn)動(dòng)補(bǔ)償、排序,得到殘差Dn′,利用從該比特流中解碼出的頭信息,解碼器就產(chǎn)生一個(gè)預(yù)測塊PRED,它和編碼器包括ICL中的原始PRED是相同的,當(dāng)該解碼器產(chǎn)生的PRED與殘差Dn′相加后,就產(chǎn)生uF′,再經(jīng)濾波后,最后就得到重建的F′,F(xiàn)′n為最后的解碼輸出圖像。
與現(xiàn)有技術(shù)相比,本發(fā)明具有的優(yōu)點(diǎn)和效果如下1)、本發(fā)明最大限度的了利用了現(xiàn)有的BREW手機(jī)終端的芯片功能,通過BREW芯片提供的開發(fā)接口(API)實(shí)現(xiàn)了隨時(shí)、隨地視頻監(jiān)控的目的;
2)、通過在BREW平臺(tái)上采用改進(jìn)的KMVC幀內(nèi)預(yù)測編碼算法克服了在普通無線通信環(huán)境下的視頻流暢傳輸?shù)募夹g(shù)難題,實(shí)現(xiàn)了低碼流下高品質(zhì)的圖像傳輸;3)、通過獨(dú)特的幀間時(shí)間戳技術(shù)克服了無線網(wǎng)絡(luò)不穩(wěn)定易中斷的缺點(diǎn),加強(qiáng)對(duì)誤碼和丟包的處理,實(shí)現(xiàn)了自適應(yīng)網(wǎng)絡(luò)狀況的視頻流傳輸,解決了網(wǎng)絡(luò)中斷帶來的圖像傳輸中斷問題;4)、在BREW平臺(tái)上采用1/4采樣精度的運(yùn)動(dòng)補(bǔ)償技術(shù)和幀間運(yùn)動(dòng)預(yù)測技術(shù)在較窄帶寬下的實(shí)現(xiàn)了較高質(zhì)量的圖像壓縮與傳輸。
四
圖1為KMVC編碼算法編碼器的組成示意圖;圖2為KMVC編碼算法解碼器的組成示意圖;五具體實(shí)施例方式本發(fā)明將所有監(jiān)控點(diǎn)的信息編碼成為可在Brew平臺(tái)傳輸?shù)臒o線信號(hào),并可以在移動(dòng)終端進(jìn)行實(shí)時(shí)監(jiān)控,系統(tǒng)包括支持視頻采集/編碼服務(wù)器,監(jiān)控信號(hào)轉(zhuǎn)發(fā)服務(wù)器,移動(dòng)終端,其工作流程為(1)初始化;(2)視頻圖像采集;(3)使用KMVC編碼算法協(xié)議進(jìn)行編碼;(4)轉(zhuǎn)發(fā)通過無線方式(CDMA 1X)傳輸;(5)支持Brew的移動(dòng)終端請(qǐng)求服務(wù)器數(shù)據(jù);(6)對(duì)數(shù)據(jù)進(jìn)行緩沖處理;(7)使用KMVC編碼算法協(xié)議進(jìn)行解碼;
(8)YUV格式的圖像輸出播放(9)請(qǐng)求下一幀圖像數(shù)據(jù)重復(fù)步驟5到8;采集點(diǎn)可以使用常規(guī)的監(jiān)控視頻頭或者是帶Brew編碼芯片支持CDMA 1X的無線監(jiān)控采集設(shè)備進(jìn)行圖像的采集和收取,對(duì)于常規(guī)的監(jiān)控視頻頭所采集的圖像,將傳輸至視頻采集/編碼服務(wù)器使用KMVC編碼算法協(xié)議進(jìn)行編碼.
KMVC編碼算法編碼器的組成如圖1所示,KMVC編碼算法解碼器的組成如圖2所示。KMVC編碼器采用的是變換和預(yù)測的混合編碼法。
在圖1中,輸入的幀或場Fn以宏塊為單位被編碼器處理。首先,進(jìn)入ICL進(jìn)行已變化動(dòng)態(tài)塊的比較,然后按幀內(nèi)或幀間預(yù)測編碼的方法進(jìn)行處理。
如果采用幀內(nèi)預(yù)測編碼,其預(yù)測值PRED(圖中用P表示)是由當(dāng)前片中已編碼的參考圖像經(jīng)運(yùn)動(dòng)補(bǔ)償(MC)后得出的,其中參考圖像用F′n-1表示。為了提高預(yù)測精度,從而提高壓縮比,實(shí)際的參考圖像可在過去或未來(指顯示次序上)已編碼解碼重建和濾波的幀中進(jìn)行選擇。
預(yù)測值PRED和當(dāng)前塊相減后,產(chǎn)生一個(gè)殘差塊Dn經(jīng)VCL、重排序后產(chǎn)生一組量化后的變換系數(shù)X再經(jīng)熵編碼,與解碼所需的一些邊信息(如預(yù)測模式量化參數(shù)、運(yùn)動(dòng)矢量等)一起組成一個(gè)壓縮后的碼流,經(jīng)NAL(網(wǎng)絡(luò)自適應(yīng)層)供傳輸和存儲(chǔ)用。
為了提供進(jìn)一步預(yù)測用的參考圖像,編碼器設(shè)計(jì)了重建圖像的功能。因此使殘差圖像經(jīng)反量化、反變換后得到的Dn′與預(yù)測值P相加,得到uF′(未經(jīng)濾波的幀)。為了去除編碼解碼環(huán)路中產(chǎn)生的噪聲,提高參考幀的圖像質(zhì)量,從而提高壓縮圖像性能,設(shè)置了一個(gè)環(huán)路濾波器,濾波后的輸出F′n即為重建圖像,可用作參考圖像。
在圖2中,由編碼器的NAL輸出一個(gè)壓縮后的壓縮比特流。在圖2中,經(jīng)熵解碼得到量化后的一組變換系數(shù)X,再經(jīng)區(qū)塊整合、運(yùn)動(dòng)補(bǔ)償、排序,得到殘差Dn′。利用從該比特流中解碼出的頭信息,解碼器就產(chǎn)生一個(gè)預(yù)測塊PRED,它和編碼器包括ICL中的原始PRED是相同的。當(dāng)該解碼器產(chǎn)生的PRED與殘差Dn′相加后,就產(chǎn)生uF′,再經(jīng)濾波后,最后就得到重建的F′,這個(gè)F′n就是最后的解碼輸出圖像。
一、KMVC編碼算法主要特性1.KMVC編碼算法C相對(duì)以前的編碼方法,以MPEG-2為例,在圖像內(nèi)容預(yù)測方面提高編碼效率,改善圖像質(zhì)量的主要特點(diǎn)如下●動(dòng)態(tài)與靜態(tài)區(qū)塊劃分KMVC編碼算法將不同幀圖像中的靜態(tài)與動(dòng)態(tài)圖像進(jìn)行自適應(yīng)區(qū)塊的劃分,選擇產(chǎn)生主要變化的區(qū)塊,進(jìn)行編碼壓縮,降低了壓縮編碼的工作量,提高編碼效率。
●可變塊大小運(yùn)動(dòng)補(bǔ)償選擇運(yùn)動(dòng)補(bǔ)償大小和形狀比以前的標(biāo)準(zhǔn)更靈活,最小的亮度運(yùn)動(dòng)補(bǔ)償塊可以小到4×4。
●1/4采樣精度運(yùn)動(dòng)補(bǔ)償以前的標(biāo)準(zhǔn)最多1/2精度運(yùn)動(dòng)補(bǔ)償,首次1/4采樣精度運(yùn)動(dòng)補(bǔ)償出現(xiàn)在MPEG-4第二部分高級(jí)類部分,但KMVC編碼算法大大減少了內(nèi)插處理的復(fù)雜度。
●運(yùn)動(dòng)矢量可跨越圖像邊界在以前的標(biāo)準(zhǔn)中,運(yùn)動(dòng)矢量限制在已編碼參考圖像的內(nèi)部。
●多參考圖像運(yùn)動(dòng)補(bǔ)償在MPEG-2及以前的標(biāo)準(zhǔn)中,P幀只使用一幀,B幀只使用兩幀圖像進(jìn)行預(yù)測。KMVC編碼算法使用高級(jí)圖像選擇技術(shù),可以用以前已編碼過且保留在緩沖區(qū)的大量的圖像進(jìn)行預(yù)測,大大提高了編碼效率。
●加權(quán)預(yù)測KMVC編碼算法采用新技術(shù),允許加權(quán)運(yùn)動(dòng)補(bǔ)償預(yù)測和偏移一定量。在淡入淡出場景中該技術(shù)極大提高編碼效率,該技術(shù)還可用于其他多種用途。
●改善“跳過”和“直接”運(yùn)動(dòng)推測在以前的標(biāo)準(zhǔn)中,預(yù)測編碼圖像的“跳過”區(qū)不能有運(yùn)動(dòng)。當(dāng)編碼有全局運(yùn)動(dòng)的圖像時(shí),該限制非常有害。KMVC編碼算法對(duì)“跳過”區(qū)的運(yùn)動(dòng)采用推測方法。對(duì)雙預(yù)測的B幀圖像,采用高級(jí)運(yùn)動(dòng)預(yù)測方法,稱為“直接”運(yùn)動(dòng)補(bǔ)償,進(jìn)一步改善編碼效率。
●幀內(nèi)編碼直接空間預(yù)測將編碼圖像邊沿進(jìn)行外推應(yīng)用到當(dāng)前幀內(nèi)編碼圖像的預(yù)測。
●循環(huán)去塊效應(yīng)濾波器基于塊的視頻編碼在圖像中存在塊效應(yīng),主要來源于預(yù)測和殘余編碼。自適應(yīng)去塊效應(yīng)濾波技術(shù)是非常著名的技術(shù),能有效消除塊效應(yīng),改善視頻的主觀和客觀質(zhì)量。
2.除改善預(yù)測方法外,其他改善編碼效率的特性如下●小塊變換以前的標(biāo)準(zhǔn)變換的塊都是8×8,KMVC編碼算法主要使用4×4塊變換,使編碼器表示信號(hào)局部適應(yīng)性更好,更適合預(yù)測編碼,減少“鈴”效應(yīng)。另外圖像邊界需要小塊變換。
●分級(jí)塊變換KMVC編碼算法通常使用小塊變換,但有些信號(hào)包含足夠的相關(guān)性,要求以大塊表示,KMVC編碼算法有兩種方式實(shí)現(xiàn)。低頻色度信號(hào)可用8×8,;對(duì)幀內(nèi)編碼,可使用特別的編碼類型,低頻亮度信號(hào)可用16×16塊。
●短字長變換所有以前標(biāo)準(zhǔn)使用的變換要求32位運(yùn)算,KMVC編碼算法只使用16位運(yùn)算。
●完全匹配反變換所有以前標(biāo)準(zhǔn)反變換和變換之間存在一定容限的誤差,因此,每個(gè)解碼器輸出視頻信號(hào)都不相同,產(chǎn)生小的漂移,最終影響圖像的質(zhì)量,KMVC編碼算法實(shí)現(xiàn)了完全匹配。
●基于上下文的熵編碼KMVC編碼算法使用兩種熵編碼方法,CAVLC(上下文自適應(yīng)的可變長編碼)和CABAC(上下文自適應(yīng)二進(jìn)制算術(shù)編碼),兩種都是基于上下文的熵編碼技術(shù)。
3.KMVC編碼算法具有強(qiáng)大的糾錯(cuò)功能和各種網(wǎng)絡(luò)環(huán)境操作靈活性,主要特性如下●參數(shù)集結(jié)構(gòu)KMVC編碼算法參數(shù)集結(jié)構(gòu)設(shè)計(jì)了強(qiáng)大、有效的傳輸頭部信息。在以前的標(biāo)準(zhǔn)中,如果少數(shù)幾位關(guān)鍵信息丟失,可能解碼器產(chǎn)生嚴(yán)重解碼錯(cuò)誤。KMVC編碼算法采用很靈活、特殊的方式,分開處理關(guān)鍵信息,能在各種環(huán)境下可靠傳送。
●NAL單元語法結(jié)構(gòu)KMVC編碼算法中的每一個(gè)語法結(jié)構(gòu)放置在稱為NAL的單元中,以前的標(biāo)準(zhǔn)采用強(qiáng)制性特定的位流接口。NAL單元語法結(jié)構(gòu)允許很自由的客戶化,幾乎適合所有的網(wǎng)絡(luò)接口。
●靈活的像條大小在MPEG-2中,規(guī)定了嚴(yán)格的像條結(jié)構(gòu),頭部數(shù)據(jù)量大,降低預(yù)測效率,編碼效率低。在KMVC編碼算法可采用非常靈活的像條大小。
●靈活宏塊排序(FMO)KMVC編碼算法可以將圖像劃分為像條組,又稱為圖像區(qū),每個(gè)像條可以獨(dú)立解碼。FMO通過管理圖像區(qū)之間的關(guān)系,具有很強(qiáng)的抗數(shù)據(jù)丟失能力。
●任意像條排序因?yàn)槊總€(gè)像條幾乎可以獨(dú)立解碼,所以像條可以按任意順序發(fā)送和接收,在實(shí)時(shí)應(yīng)用中,可以改善端到端的延時(shí)特性,特別適合于接收順序和發(fā)送順序不能對(duì)應(yīng)的網(wǎng)絡(luò)中,如使用INTERNET網(wǎng)絡(luò)協(xié)議的應(yīng)用。
●冗余圖像為提高抗數(shù)據(jù)丟失的能力,KMVC編碼算法設(shè)計(jì)中包含一種新的能力,允許編碼器發(fā)送圖像區(qū)的冗余表示,當(dāng)圖像區(qū)的主表示丟失時(shí)仍可以正確解碼。
●數(shù)據(jù)劃分視頻流中的編碼信息的重要性不同,有些信息(如運(yùn)動(dòng)矢量、預(yù)測信息等)比其他信息更為重要。KMVC編碼算法可以根據(jù)每個(gè)像條語法元素的范疇,將像條語法劃分為3部分,分開傳送。
二、網(wǎng)絡(luò)層NAL規(guī)范視頻數(shù)據(jù)的格式,主要是提供頭部信息,以適合各種媒體的傳輸和存儲(chǔ)。NAL支持各種網(wǎng)絡(luò),包括●任何使用RTP/IP協(xié)議的實(shí)時(shí)有線和無線Internet服務(wù)。
●作為MP4文件存儲(chǔ)和多媒體信息文件服務(wù)。
●MPEG-2系統(tǒng)。
●其他網(wǎng)。
1.NAL單元編碼的視頻流組織成NAL單元,視頻數(shù)據(jù)放置在網(wǎng)絡(luò)單元中傳輸,個(gè)網(wǎng)絡(luò)單元包含整數(shù)個(gè)字節(jié),第一個(gè)字節(jié)是頭部信息,指示NAL單元的數(shù)據(jù)類型,其余是凈荷。
凈荷數(shù)據(jù)與仿真預(yù)防字節(jié)做交織處理,仿真預(yù)防字節(jié)是特殊值字節(jié),防止偶然在凈荷中出現(xiàn)同步字節(jié)圖樣。
NAL規(guī)定一種通用的格式,既適合面向包傳輸,也適合流傳送。實(shí)際上,包傳輸和流傳輸?shù)姆绞绞窍嗤模煌幨橇鱾鬏斍懊嬖黾恿艘粋€(gè)起始碼前綴。
2.NAL單元在字節(jié)流中的應(yīng)用傳輸NAL作為有序連續(xù)字節(jié)或比特流,同時(shí)要依靠數(shù)據(jù)本身識(shí)別NAL單元邊界。在這樣的應(yīng)用系統(tǒng)中,KMVC編碼算法規(guī)范定義了字節(jié)流格式,每個(gè)NAL單元前面增加3個(gè)字節(jié)的前綴,即同步字節(jié)。在比特流應(yīng)用中,每個(gè)圖像需要增加一個(gè)附加字節(jié)作為邊界定位。還有一種可選特性,在字節(jié)流中增加附加數(shù)據(jù),用做擴(kuò)充發(fā)送數(shù)據(jù)量,能實(shí)現(xiàn)快速邊界定位,恢復(fù)同步。
3.NAL單元在面向包傳送中的應(yīng)用在類似Internet/RTP面向包傳送協(xié)議系統(tǒng)中,包結(jié)構(gòu)中包含包邊界識(shí)別字節(jié),在這種情況下,不需要同步字節(jié)。
4.VCL和非VCL的NAL單元NAL單元分為VCL和非VCL兩種,VCL NAL單元包含視頻圖像采樣信息,非VCL包含各種有關(guān)的附加信息,例如參數(shù)集(頭部信息,應(yīng)用到大量的VCL NAL單元)、提高性能的附加信息、定時(shí)信息等。
5.參數(shù)集參數(shù)集是很少變化的信息,用于大量VCL NAL單元的解碼,分為兩種類型●序列參數(shù)集,作用于一串連續(xù)的視頻圖像,即視頻序列。
●圖像參數(shù)集,作用于視頻序列中的一個(gè)或多個(gè)個(gè)別的圖像。
序列和圖像參數(shù)集機(jī)制,減少了重復(fù)參數(shù)的傳送,每個(gè)VCL NAL單元包含一個(gè)標(biāo)識(shí),指向有關(guān)的圖像參數(shù)集,每個(gè)圖像參數(shù)集包含一個(gè)標(biāo)識(shí),指向有關(guān)的序列參數(shù)集的內(nèi)容,因此,只用少數(shù)的指針信息,引用大量的參數(shù),大大減少每個(gè)VCL NAL單元重復(fù)傳送的信息。
序列和圖像參數(shù)集可以在發(fā)送VCL NAL單元以前發(fā)送,并且重復(fù)傳送,大大提高糾錯(cuò)能力。序列和圖像參數(shù)集可以在“帶內(nèi)”,也可以用更為可靠的其他“帶外”通道傳送。
6.存儲(chǔ)單元一組指定格式的NAL單元稱為存儲(chǔ)單元,每個(gè)存儲(chǔ)單元對(duì)應(yīng)一個(gè)圖像。每個(gè)存儲(chǔ)單元包含一組VCL NAL單元,組成一個(gè)主編碼圖像,VCL NAL單元由表示視頻圖像采樣的像條所組成。存儲(chǔ)單元前面可以加一個(gè)前綴,分界存儲(chǔ)單元,附加增強(qiáng)信息(SEI)(如圖像定時(shí)信息)也可以放在主編碼圖像的前面。
主編碼圖像后附加的VCL NAL單元,包含同一圖像的冗余表示,稱為冗余編碼圖像,當(dāng)主編碼圖像數(shù)據(jù)丟失或損壞時(shí),可用冗余編碼圖像解碼。
7.編碼視頻序列一個(gè)編碼視頻序列由一串連續(xù)的存儲(chǔ)單元組成,使用同一序列參數(shù)集。每個(gè)視頻序列可獨(dú)立解碼。編碼序列的開始是即時(shí)刷新存儲(chǔ)單元(IDR)。IDR是一個(gè)I幀圖像,表示后面的圖像不用參考以前的圖像。一個(gè)NAL單元流可包含一個(gè)或更多的編碼視頻序列。
三、視頻編碼層采用變換編碼,使用空間和時(shí)間預(yù)測的混合編碼??傊畧D像劃分成塊,一個(gè)序列的第一個(gè)圖像,即隨機(jī)存取點(diǎn),典型是幀內(nèi)編碼,幀內(nèi)每個(gè)采樣的預(yù)測只利用幀內(nèi)已編碼的空間相鄰的采樣,選擇哪些相鄰采樣進(jìn)行預(yù)測,以及如何預(yù)測,這些附加信息必須同時(shí)被傳送到解碼器同步處理。隨機(jī)存取點(diǎn)之間的圖像使用幀間編碼。
為了實(shí)現(xiàn)下一塊或下一個(gè)圖像的預(yù)測,編碼器包含一個(gè)解碼器,對(duì)量化變換系數(shù)進(jìn)行與解碼器解碼相同的反量化和反變換過程,導(dǎo)出解碼預(yù)測殘余,解碼殘余與預(yù)測相加,結(jié)果送到去塊效應(yīng)濾波器,產(chǎn)生解碼視頻輸出。
1.圖像、幀和場一個(gè)編碼視頻序列由連續(xù)的編碼圖像組成,編碼圖像可以是整個(gè)一幀圖像,也可以是一場圖像。KMVC編碼算法編碼是基于幾何概念的表示方法,而不是基于定時(shí)的概念。
2.YcbCr色度空間和4:2:0采樣人的視覺特性按照亮度和色度信息分別感知世界。視頻的傳輸可以利用該特性減少色度信息傳送。KMVC編碼算法目前采用的4:2:0采樣結(jié)構(gòu)、8比特精度,高精度顏色和高比特精度的建議正在討論中。
3.宏塊劃分每個(gè)視頻圖像幀或場都可以劃分為固定大小的宏塊,宏塊是解碼的基本模塊單元,通常是一個(gè)16×16亮度像素和兩個(gè)8×8彩色分量像素的長方型區(qū)域。所有宏塊的亮度和色度采樣在空間或時(shí)間上進(jìn)行預(yù)測,對(duì)預(yù)測殘余進(jìn)行變換編碼。
4.像條和像條組像條由宏塊組成,像條是圖像的子集,包含圖像參數(shù)集,語法元素可以被分析,圖像可以被獨(dú)立解碼。按照宏塊映射表規(guī)定的順序,在位流中安排宏塊的傳輸順序,而不是按光柵掃描順序。
利用像條組的概念,KMVC編碼算法支持靈活宏塊排序特性(FMO)。FMO改變了圖像劃分為像條和宏塊的方式。每個(gè)像條組是多個(gè)宏塊集合,通過宏塊到像條組的影射表定義,該影射表在圖像參數(shù)集中指定。每個(gè)宏塊有一個(gè)像條組標(biāo)識(shí)號(hào),所有像條組標(biāo)識(shí)號(hào)構(gòu)成宏塊到像條組影射表。每個(gè)像條組由一個(gè)或多個(gè)像條組成,因此像條是一個(gè)宏塊序列,同一像條組中的宏塊,按光柵順序處理。
利用FMO,圖像可以劃分為許多宏塊掃描圖樣,例如交織圖樣、點(diǎn)綴圖樣,一個(gè)或多個(gè)前景像條組、剩余像條組,或棋盤型圖樣影射等。每個(gè)像條組分別傳送,后兩種所示,左邊宏塊到像條組的影射證明在關(guān)注局部型的編碼應(yīng)用中非常有用。右邊宏塊到像條組的影射證明適合保密型會(huì)議系統(tǒng)等應(yīng)用。
無論是否使用FMO,KMVC編碼算法支持5種像條編碼類型I像條最簡單的編碼類型,所有的宏塊不參考視頻序列中其他的圖像。
P像條除了I像條編碼類型外,P像條的部分宏塊可以利用幀間預(yù)測,每個(gè)預(yù)測塊至多可使用一個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測信號(hào)。
B像條除了P像條編碼類型外,B像條的部分宏塊可以利用幀間預(yù)測,每個(gè)預(yù)測塊可使用兩個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測信號(hào)。
以上三種與以前的標(biāo)準(zhǔn)相似,主要是參考圖像不同,其余兩種像條類型是SP(切換P)SI(切換I),是新的類型,用于在不同位率編碼碼流之間進(jìn)行有效切換。
SP像條稱作切換P像條,能在不同編碼圖像之間有效地切換。
SI像條稱作切換I像條,允許SP像條的宏塊完全匹配,達(dá)到隨機(jī)讀取數(shù)據(jù)進(jìn)行解碼和恢復(fù)錯(cuò)誤的目的。
5.宏塊的編解碼過程所有宏塊的亮度和色度采樣要進(jìn)行空間或時(shí)間的預(yù)測,對(duì)預(yù)測的殘余進(jìn)行變換編碼,為了實(shí)現(xiàn)變換編碼,每個(gè)顏色分量的預(yù)測殘余要再劃分為更小的4×4塊,每塊利用整數(shù)變換,變換系數(shù)被量化,最后是熵編碼。
6.自適應(yīng)幀/場編碼操作在隔行掃描幀中,當(dāng)有移動(dòng)的對(duì)象或攝像機(jī)移動(dòng)時(shí),與逐行相比,兩個(gè)相鄰行傾向減少統(tǒng)計(jì)的相關(guān)性,這種情況應(yīng)比每場分別壓縮更為有效。為了達(dá)到高效率,KMVC編碼算法在編碼幀時(shí),有以下可選方案●結(jié)合兩場成一個(gè)完整幀,作為幀編碼,稱為幀模式。
●兩場分別編碼,稱為場模式。
●結(jié)合兩場成一個(gè)完整幀,作為幀壓縮。在編碼時(shí),劃分垂直相鄰的兩個(gè)宏塊對(duì)成兩個(gè)場宏塊對(duì)或幀宏塊,再進(jìn)行編碼。
每幀圖像可自適應(yīng)選擇3種模式之一進(jìn)行編碼。在前兩種之間進(jìn)行選擇稱為圖像自適應(yīng)幀/場編碼(PAFF),當(dāng)一幀作為兩場編碼時(shí),每場劃分為宏塊,編碼方式與幀編碼方式很相似,主要有下面的例外●運(yùn)動(dòng)補(bǔ)償用參考場,而不是參考幀。
●變換系數(shù)的“之字型”掃描方式不同。
●宏塊水平邊沿去塊濾波器的強(qiáng)度不選用“強(qiáng)”,因?yàn)閳鲂性诳臻g上是兩倍幀行的距離。
在研制KMVC編碼算法標(biāo)準(zhǔn)時(shí),據(jù)報(bào)道,采用ITU-601分辨率,PAFF編碼技術(shù)與幀編碼相比可減少碼率16%到20%。
如果圖像由運(yùn)動(dòng)區(qū)和非運(yùn)動(dòng)區(qū)混合組成,非運(yùn)動(dòng)區(qū)用幀模式、運(yùn)動(dòng)區(qū)用場模式是最有效的編碼方法。因此每個(gè)垂直宏塊對(duì)(16×32)可獨(dú)立選擇編碼(幀/場)模式。這種編碼選擇稱為宏塊自適應(yīng)幀/場編碼(MBAFF)。對(duì)于幀模式宏塊對(duì),每個(gè)宏塊包含幀行,對(duì)于場模式宏塊對(duì),頂部宏塊包含頂場行,底部宏塊包含底場行。
處理場宏塊對(duì)的每個(gè)宏塊與幀PAFF模式相似,然而,因?yàn)樵贛BAFF幀中發(fā)生場/幀宏塊對(duì)混合,需要修改用作下列用途的方法●之字型掃描。
●運(yùn)動(dòng)矢量預(yù)測。
●幀內(nèi)預(yù)測模式的預(yù)測。
●幀內(nèi)預(yù)測幀采樣精度。
●去塊效應(yīng)濾波器。
●上下文模型的熵編碼。
主要思想是盡可能保留多的空間一致性,MBAFF幀的空間相鄰的規(guī)范相當(dāng)復(fù)雜,下面講到的空間相鄰都是指非MBAFF幀。
MBAFF和PAFF的另一個(gè)重要區(qū)別是使用MBAFF方法,一個(gè)場不能使用同一幀的另一個(gè)場中的宏塊作為運(yùn)動(dòng)補(bǔ)償參考。這樣,有時(shí)PAFF比MBAFF編碼更有效,特別是在快速全局運(yùn)動(dòng)、變換場景、圖像刷新等情況下。
采用ITU-601分辨率,MBAFF編碼技術(shù)比PAFF相比可減少碼率14%到16%。
7.幀內(nèi)預(yù)測根據(jù)像條編碼類型,每個(gè)宏塊可以選擇幾種編碼類型之一。所有像條類型支持兩級(jí)幀內(nèi)編碼,稱為INTRA-4×4和INTRA-16×16。
INTRA-4×4模式基于分別預(yù)測每個(gè)4×4亮度塊,適合表現(xiàn)圖像細(xì)節(jié)部分。而INTRA-16×16模式將整個(gè)16×16亮度塊進(jìn)行預(yù)測,適合平滑圖像區(qū)。此外對(duì)這兩種亮度預(yù)測類型,色度單獨(dú)進(jìn)行預(yù)測。作為INTRA-4×4和INTRA-16×16的另一種選擇,I_PCM編碼類型允許編碼器簡單跳過預(yù)測和變換編碼過程,直接發(fā)送采樣值。I_PCM允許編碼器精確地表示采樣,通常表示一些反常圖像,而沒有明顯增加數(shù)據(jù)量。
8.幀間預(yù)測● p像條幀間預(yù)測除了幀內(nèi)宏塊編碼類型外,P像條宏塊使用多種預(yù)測類型,即運(yùn)動(dòng)補(bǔ)償編碼類型。為了方便運(yùn)動(dòng)描述,每個(gè)P型宏塊對(duì)應(yīng)于指定的固定大小的宏塊劃分。亮度塊的劃分大小為16×16、16×8、8×16、8×8。
語法允許運(yùn)動(dòng)矢量跨越圖像邊界,這種情況參考幀需用外插法推算出圖像外的采樣值。利用鄰近塊的平均或方向預(yù)測,用差分編碼計(jì)算運(yùn)動(dòng)矢量。
語法支持多圖像運(yùn)動(dòng)補(bǔ)償預(yù)測,以前編碼的多個(gè)圖像都可用作運(yùn)動(dòng)補(bǔ)償參考,每個(gè)運(yùn)動(dòng)補(bǔ)償需要指示參考圖像的索引。一個(gè)8×8塊劃分成的小于8×8塊的運(yùn)動(dòng)補(bǔ)償使用同一參考圖像索引,該功能要求編碼和解碼器具有多幀圖像緩沖器,解碼器通過位流中的管理控制操作信息與編碼器同步。
除了運(yùn)動(dòng)補(bǔ)償宏塊模式外,P宏塊可使用P_Skip模式,這種模式?jīng)]有量化預(yù)測誤差、不用傳送運(yùn)動(dòng)矢量和參考索引參數(shù)。信號(hào)重建與P_16×16宏塊類型預(yù)測信號(hào)類似,采用多幀緩沖區(qū)索引0的圖像作為參考圖像。重建P_Skip宏塊的運(yùn)動(dòng)矢量與16×16塊運(yùn)動(dòng)矢量預(yù)測類似。P_Skip編碼類型適合沒有變化或固定運(yùn)動(dòng)的區(qū)域,如搖鏡頭等,有極高的壓縮率。
●B像條的幀間預(yù)測B像條相對(duì)P像條的概念與以前的標(biāo)準(zhǔn)類似,但有些不同,B像條可以作為運(yùn)動(dòng)補(bǔ)償預(yù)測的參考圖像,B像條可以對(duì)兩個(gè)補(bǔ)償預(yù)測值進(jìn)行加權(quán)運(yùn)算。
9.變換和量化與以前的視頻編碼標(biāo)準(zhǔn)類似,KMVC編碼算法利用預(yù)測殘余變換編碼。然而,KMVC編碼算法變換施加4×4塊上,不用離散余弦變換(DCT),采用與離散余弦變換相似特性的整數(shù)變換。因?yàn)槭褂谜麛?shù)運(yùn)算,所以反變換沒有誤差。
10.熵編碼KMVC編碼算法支持兩種熵編碼方法,最簡單的熵編碼方法是對(duì)所有的語法元素,除了量化系數(shù)外,使用單一無限可擴(kuò)展的碼字表。這樣不必為每個(gè)語法元素設(shè)計(jì)一個(gè)專用的VLC表,只需要按照數(shù)據(jù)的統(tǒng)計(jì)特性,客戶化影射到單一碼字表。使用exp-Golomb碼建立單一碼表,具有很簡單、有規(guī)則的解碼特性。
為了有效傳送量化的變換系數(shù),CAVLC(上下文自適應(yīng)的可變長編碼)是很有效的方法。在該方案中,對(duì)于各種語法元素的VLC碼表按照已傳送的語法元素可以進(jìn)行切換。因?yàn)閂LC表設(shè)計(jì)匹配相應(yīng)的條件統(tǒng)計(jì),改善了熵編碼的性能。
在KMVC編碼算法中的算術(shù)編碼引擎,與概率相關(guān)的估計(jì)等都不使用乘法操作,而是使用簡單的移位和查找操作,與CAVLC操作相比,CABAC典型減少碼率5%~15%。在隔行掃描視頻,效果更明顯。
11.去塊循環(huán)濾波器基于塊編碼的壓縮算法的特點(diǎn)是偶爾產(chǎn)生可見的塊結(jié)構(gòu),由于塊邊沿的精度比內(nèi)部差,塊效應(yīng)是目前壓縮算法的常見人工瑕疵。KMVC編碼算法定義了一個(gè)自適應(yīng)循環(huán)濾波器,濾波的強(qiáng)度通過幾個(gè)語法元素控制。
濾波的基本思想是如果塊邊沿的絕對(duì)差值相對(duì)比較大,出現(xiàn)塊人工瑕疵的可能性就很大,因此需要進(jìn)行相應(yīng)處理。然而,如果差值幅度很大,編碼量化過程的誤差不能解釋,邊沿很可能反映了源圖像的實(shí)際樣值,不需處理。
經(jīng)過濾波處理,減少了塊效應(yīng),而圖像的質(zhì)量基本不受影響,因此主觀質(zhì)量大大改善。如果不濾波,同樣的主觀質(zhì)量,需要多出5%~10%的碼率。
12.假想?yún)⒖冀獯a器模型標(biāo)準(zhǔn)的好處在于保證所有符合標(biāo)準(zhǔn)的解碼器能夠解碼出一致的視頻質(zhì)量。要實(shí)現(xiàn)標(biāo)準(zhǔn),僅僅提供編碼算法的描述是不夠的,在實(shí)時(shí)系統(tǒng)中,指定如何饋送碼流比特給解碼器,解碼的圖像如何移出解碼器等都是很重要的。要實(shí)現(xiàn)該功能,必須指定輸入/出緩沖器模型和開發(fā)與實(shí)現(xiàn)無關(guān)的接收機(jī)模型。這樣的接收機(jī)模型稱為假想?yún)⒖寄P?HRD)。編碼器不允許產(chǎn)生假想?yún)⒖寄P筒荒芙獯a的位流。因此如果所有接收機(jī)都模擬假想?yún)⒖寄P偷男袨?,可以保證所有解碼器解出的碼流具有很好的一致性。
四、類和級(jí)及其應(yīng)用1.類和級(jí)類和級(jí)指定符合點(diǎn),這些符合點(diǎn)用于實(shí)現(xiàn)各種標(biāo)準(zhǔn)應(yīng)用之間的互操作性。類定義一組編碼工具和算法,用于產(chǎn)生一致性的比特流,級(jí)限定比特流的部分關(guān)鍵參數(shù)。
所有的解碼器符合指定的類必須支持該類定義的所有特性,編碼器不必要求使用該類支持的任何特定的特性集,但必須提供一致性的比特流,即使支持該類的解碼器能實(shí)現(xiàn)解碼。
KMVC編碼算法定義了3類基類、主類和擴(kuò)展類。
基類支持除下面兩組特性外的所有的KMVC編碼算法特性(1)B像條、加權(quán)預(yù)測、CABAC、場編碼、圖像或宏塊在幀場編碼之間自適應(yīng)切換。
(2)PI/SI像條和像條數(shù)據(jù)分割。
主類支持第一組特性,但主類不支持FMO、ASO和冗余圖像特性,擴(kuò)展類支持除CABAC外所有KMVC編碼算法特性,序列參數(shù)中包含了一些標(biāo)志指示解碼該碼流要求解碼器支持的類。
在KMVC編碼算法,所有類使用相同的級(jí)定義,但個(gè)別實(shí)現(xiàn)時(shí),可能每個(gè)支持的類支持的級(jí)不完全相同。KMVC編碼算法定義了15個(gè)級(jí)。
2.新標(biāo)準(zhǔn)類的使用領(lǐng)域KMVC編碼算法的高壓縮效率,擴(kuò)充了現(xiàn)有的應(yīng)用領(lǐng)域,至少包含以下領(lǐng)域交互視頻服務(wù),通常速率1Mbps以下,低延遲。
主要應(yīng)用如下(1)交互式視頻服務(wù),利用基于ISDN視頻會(huì)議的電路交換;(2)娛樂視頻應(yīng)用,50Kbps~80Kbps碼率,0.5到2秒中等時(shí)延。
主要應(yīng)用如下有線、衛(wèi)星、地面、DSL等廣播電視;通過各種媒體的視頻點(diǎn)播。
(3)流媒體服務(wù),30kbps到1.5Mbps,2秒以上的時(shí)延,這些應(yīng)用主要利用基類或擴(kuò)展類。有線或無線使用情況有所不同,主要應(yīng)用如下GPP流,利用IP/RTP傳輸,RTSP作會(huì)話設(shè)置,3GPP規(guī)范的擴(kuò)充部分可能僅使用基類;有線INTERNET流,利用IP/RTP傳輸,RTSP作會(huì)話設(shè)置。
(4)其他服務(wù),主要是低碼率,以文件傳送方式,不考慮時(shí)延的應(yīng)用。
權(quán)利要求
1.一種基于Brew平臺(tái)的無線視頻傳輸系統(tǒng),其特征在于系統(tǒng)由若干個(gè)無線監(jiān)控點(diǎn)通過移動(dòng)通訊線路連接而成,將所有監(jiān)控點(diǎn)由視頻采集器采集的信息通過編碼服務(wù)器編碼成為可在Brew平臺(tái)傳輸?shù)臒o線信號(hào),再通過監(jiān)控信號(hào)轉(zhuǎn)發(fā)服務(wù)器發(fā)送到移動(dòng)終端,系統(tǒng)的工作流程為1.初始化;2.視頻圖像采集;3.使用KMVC編碼算法協(xié)議進(jìn)行編碼;4.轉(zhuǎn)發(fā)通過無線方式傳輸;5.支持Brew的移動(dòng)終端請(qǐng)求服務(wù)器數(shù)據(jù);6.對(duì)數(shù)據(jù)進(jìn)行緩沖處理;7.使用KMVC編碼算法協(xié)議進(jìn)行解碼;8.YUV格式的圖像輸出播放;9.請(qǐng)求下一幀圖像數(shù)據(jù)重復(fù)步驟(5)到(8)。
2.根據(jù)權(quán)利要求1所述的一種基于Brew平臺(tái)的無線視頻傳輸系統(tǒng),其特征在于采集點(diǎn)使用常規(guī)的監(jiān)控視頻頭或者是帶Brew編碼芯片支持CDMA 1X的無線監(jiān)控采集設(shè)備進(jìn)行圖像的采集和收取,對(duì)于常規(guī)的監(jiān)控視頻頭所采集的圖像,將傳輸至視頻采集/編碼服務(wù)器使用KMVC編碼算法進(jìn)行編碼。
3.根據(jù)權(quán)利要求1所述的一種基于Brew平臺(tái)的無線視頻傳輸系統(tǒng),其特征在于使用KMVC編碼算法協(xié)議進(jìn)行編碼的過程為輸入的幀或場Fn以宏塊為單位被編碼器處理,首先,進(jìn)入ICL進(jìn)行已變化動(dòng)態(tài)塊的比較,然后按幀內(nèi)或幀間預(yù)測編碼的方法進(jìn)行處理,如果采用幀內(nèi)預(yù)測編碼,其預(yù)測值PRED是由當(dāng)前片中已編碼的參考圖像經(jīng)運(yùn)動(dòng)補(bǔ)償后得出的,其中參考圖像用F′n-1表示,為了提高預(yù)測精度,從而提高壓縮比,實(shí)際的參考圖像可在過去或未來,已編碼解碼重建和濾波的幀中進(jìn)行選擇,預(yù)測值PRED和當(dāng)前塊相減后,產(chǎn)生一個(gè)殘差塊Dn經(jīng)VCL、重排序后產(chǎn)生一組量化后的變換系數(shù)X再經(jīng)熵編碼,與解碼所需的一些邊信息一起組成一個(gè)壓縮后的碼流,經(jīng)網(wǎng)絡(luò)自適應(yīng)層供傳輸和存儲(chǔ)用,為了提供進(jìn)一步預(yù)測用的參考圖像,編碼器設(shè)置了重建圖像的功能,使殘差圖像經(jīng)反量化、反變換后得到的Dn′與預(yù)測值P相加,得到未經(jīng)濾波的幀uF′;設(shè)置了一個(gè)環(huán)路濾波器,濾波后的輸出F′n即為重建圖像,可用作參考圖像。
4.根據(jù)權(quán)利要求1所述的一種基于Brew平臺(tái)的無線視頻傳輸系統(tǒng),其特征在于使用KMVC編碼算法協(xié)議進(jìn)行解碼的過程為由編碼器的NAL輸出一個(gè)壓縮后的壓縮比特流,經(jīng)熵解碼得到量化后的一組變換系數(shù)X,再經(jīng)區(qū)塊整合、運(yùn)動(dòng)補(bǔ)償、排序,得到殘差Dn′,利用從該比特流中解碼出的頭信息,解碼器就產(chǎn)生一個(gè)預(yù)測塊PRED,它和編碼器包括ICL中的原始PRED是相同的,當(dāng)該解碼器產(chǎn)生的PRED與殘差Dn′相加后,就產(chǎn)生uF′,再經(jīng)濾波后,最后就得到重建的F′,F(xiàn)′n為最后的解碼輸出圖像。
全文摘要
本發(fā)明涉及一種基于Brew平臺(tái)的無線視頻傳輸系統(tǒng),其整個(gè)系統(tǒng)由若干個(gè)無線監(jiān)控點(diǎn)通過移動(dòng)通訊線路連接而成,監(jiān)控部分模塊化、移動(dòng)化,數(shù)據(jù)靠加密線路和協(xié)議傳輸,系統(tǒng)加強(qiáng)了組建系統(tǒng)的靈活性和擴(kuò)充性,增加了系統(tǒng)的可靠性,具有較高的性價(jià)比。本發(fā)明系統(tǒng)由若干個(gè)無線監(jiān)控點(diǎn)通過移動(dòng)通訊線路連接而成,將所有監(jiān)控點(diǎn)由視頻采集器采集的信息通過編碼服務(wù)器編碼成為可在Brew平臺(tái)傳輸?shù)臒o線信號(hào),再通過監(jiān)控信號(hào)轉(zhuǎn)發(fā)服務(wù)器發(fā)送到移動(dòng)終端。
文檔編號(hào)H04N7/18GK101094410SQ200710018138
公開日2007年12月26日 申請(qǐng)日期2007年6月28日 優(yōu)先權(quán)日2007年6月28日
發(fā)明者李濤 申請(qǐng)人:西安聯(lián)合信息技術(shù)股份有限公司