專利名稱：：對空間分層編碼視頻圖像的上采樣方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻圖像壓縮技術(shù)，特別涉及空間分層編碼視頻圖像的上采樣技術(shù)。
背景技術(shù)：
：H.264視頻壓縮編碼標(biāo)準(zhǔn)由國際電信聯(lián)盟電信標(biāo)準(zhǔn)部(InternationalTelecommunicationUnionTelecommunicationStandardizationSector,簡稱"ITU-T")聯(lián)合國際標(biāo)準(zhǔn)組織(InternationalOrganizationforStandardization,簡稱"ISO")和國際電工委員會(huì)(InternationalElectrotechnicalCommission,簡稱"IEC，，)的運(yùn)動(dòng)圖像專家組(MovingPictureExpertGroup,簡稱"MPEG，，)制定。目前，H.264已經(jīng)逐漸成為多媒體通信中的主流標(biāo)準(zhǔn)，大量采用H.264標(biāo)準(zhǔn)的多媒體實(shí)時(shí)通信產(chǎn)品，比如會(huì)議電視、可視電話、第三代(3rdGeneration,簡稱"3G，，)移動(dòng)通信終端，以及網(wǎng)絡(luò)流媒體產(chǎn)品先后問世?？梢哉f，是否支持H.264已經(jīng)成為這個(gè)市場領(lǐng)域中決定產(chǎn)品竟?fàn)幜Φ年P(guān)鍵因素。尤其是隨著3G移動(dòng)通信系統(tǒng)的出現(xiàn)和網(wǎng)際協(xié)議(InternetProtocol,簡稱"IP")網(wǎng)絡(luò)的迅速發(fā)展，視頻網(wǎng)絡(luò)通信正逐步成為通信的主要業(yè)務(wù)之一。從發(fā)展來看，ITU-T繼制定了H.261、H.263、H.263+等視頻壓縮標(biāo)準(zhǔn)后，于2003年正式發(fā)布了H.264標(biāo)準(zhǔn)，它同時(shí)也是MPEG-4第IO部分的主要內(nèi)容。H.264標(biāo)準(zhǔn)的制定更加有效地提高了視頻編碼效率和網(wǎng)絡(luò)適配性，隨著H.264的推廣和使用，IP網(wǎng)絡(luò)和移動(dòng)無線網(wǎng)絡(luò)的多媒體通信進(jìn)入了一個(gè)飛躍發(fā)展的新階段。下面簡單介紹H.264標(biāo)準(zhǔn)的消息構(gòu)成及發(fā)送^L制H.264標(biāo)準(zhǔn)采用分層模式，定義了視頻編碼層(VideoCodingLayer,簡稱"VCL")和網(wǎng)絡(luò)抽象層(NetworkAbstractionLayer，簡稱"NAL"),后者專為網(wǎng)絡(luò)傳輸設(shè)計(jì)，能適應(yīng)不同網(wǎng)絡(luò)中的視頻傳輸，進(jìn)一步提高兩絡(luò)的"親和性"。H.264引入了面向IP包的編碼機(jī)制，有利于網(wǎng)絡(luò)中的分組傳輸，支持網(wǎng)絡(luò)中視頻的流媒體傳輸；具有較強(qiáng)的抗誤碼特性，特別適應(yīng)丟包率高、干擾嚴(yán)重的無線視頻傳輸?shù)囊?。H.264的所有待傳送數(shù)據(jù)，包括圖像數(shù)據(jù)及其他消息均封裝為統(tǒng)一格式的包傳送，即網(wǎng)絡(luò)抽象層單元(NALUnit,簡稱"NALU")。每個(gè)NALU是一個(gè)一定語法元素的可變長字節(jié)字符串，包括包含一個(gè)字節(jié)的頭信息，可用來表示數(shù)據(jù)類型，以及若干整數(shù)字節(jié)的負(fù)荷數(shù)據(jù)。一個(gè)NAL單元可以攜帶一個(gè)編碼片、各自類型數(shù)據(jù)分割或一個(gè)序列或圖像參數(shù)集。為了加強(qiáng)數(shù)據(jù)可靠性，每幀圖像都被分為若干個(gè)條帶(Slice)，每個(gè)Slice由一個(gè)NALU承載，Slice又是由若干個(gè)更小的宏塊組成，即為最小的處理單元。一般的說，前后幀對應(yīng)位置的Slice相互關(guān)聯(lián)，不同位置的Slice相互獨(dú)立，這樣可以避免Slice之間發(fā)生誤碼相互擴(kuò)散。H.264數(shù)據(jù)包含非參考幀的紋理數(shù)據(jù)、序列參數(shù)、圖像參數(shù)、補(bǔ)充增強(qiáng)消息(SupplementalEnhancementInformation,簡稱"SEI")、參考幀紋理數(shù)據(jù)等。其中，SEI消息是在H.264視頻的解碼、顯示及其它方面起輔助作用的消息的統(tǒng)稱。圖1示出H.264的壓縮處理框架。H.264的基本處理單位為16xl6宏塊，采用了多幀參考、幀內(nèi)預(yù)測、多宏塊模式、4x4整數(shù)變換和量化、環(huán)濾波、VariableLengthCoding,簡稱"CAVLC")和上下文自適應(yīng)的二進(jìn)制算術(shù)編碼(Context-AdaptiveBinaryArithmeticCoding,簡稱"CABAC")熵編碼等先進(jìn)技術(shù)，因此H.264的壓縮效率比MPEG-2、H.263、MPEG-4ASP提高一倍多。從2005年1月的第MPEG71次會(huì)議到2006年6月，聯(lián)合視頻組(JointVideoTeam,簡稱"JVT")將進(jìn)行H.264分層編碼標(biāo)準(zhǔn)制定工作，基本層兼容H.264mainprofile,采用了MCTF的算法框架，由此可以較好地實(shí)現(xiàn)空間(spatial)分層、時(shí)間(temporal)分層、質(zhì)量(quality或SNR)分層、復(fù)雜度(complexity)分層等功能。其中，JVTSVC(JointVideoTeamScalablevideocoding,暫譯為"聯(lián)合視頻組視頻分層編碼")的最新參考模型為JSVM3(JointScalableVideoModel3,暫譯為"聯(lián)合視頻分層編碼模型3"),圖2示出上述SVC算法框圖。需要指出的是，時(shí)間分解過程可以采用如圖3所示的，基于B幀分解的方法，或如圖4所示的，基于MCTF分解的方法。具體地說，在幀內(nèi)預(yù)測(INTRAprediction)方面，JSVM3基本層采用H.264幀內(nèi)預(yù)測方法，增強(qiáng)層在H.264的預(yù)測模式基礎(chǔ)上增加了一種預(yù)測模式I一BL。I—BL就是將當(dāng)前層的宏塊從低層對應(yīng)宏塊逐象素進(jìn)行預(yù)測，如圖5所示。此外，對于增強(qiáng)層宏塊殘差圖像，即預(yù)測求差后的差值圖像，也可以從基本層或較低層相應(yīng)宏塊的殘差圖像進(jìn)行預(yù)測，方法與I—BL類似。對于空間分層編碼來說，在進(jìn)行增強(qiáng)層I—BL預(yù)測或者殘差圖像預(yù)測時(shí)，基本層或較低層相應(yīng)宏塊必須經(jīng)過上采樣(upsampling)過程。上采樣是重釆樣(Resampling)的一種，重采樣用于采樣信號的放大或縮小。假設(shè)原采樣點(diǎn)位于整數(shù)坐標(biāo)(O，1，2，…)，重釆樣后，新采樣點(diǎn)之間的間距為a，則當(dāng)a>l時(shí)，為下采才羊(downsampling);當(dāng)a<l時(shí)為上采樣(upsampling)。在JSVM3中，I—BL預(yù)測時(shí)的上采樣濾波器為較為復(fù)雜的[l-52020-5l]/32，殘差圖像預(yù)測時(shí)的上采樣濾波器為[ll]/2，亮度圖像和色度圖像都采用同一個(gè)濾波器。在實(shí)際應(yīng)用中，上述方案存在以下問題對色度分量采用與亮度分量相同的較為復(fù)雜的6階濾波器，使色度分量上采樣過程的計(jì)算復(fù)雜度過高。6在殘差圖像上采樣過程中，采用的濾波器[l1]/2過于簡單，從而影響編碼性能。
發(fā)明內(nèi)容有鑒于此，本發(fā)明的主要目的在于提供一種對空間分層編碼視頻圖像的上采樣方法及其系統(tǒng)，使得在上采樣過程中，可以減少計(jì)算復(fù)雜度，而編碼性能基本不變。本發(fā)明另一個(gè)發(fā)明目的是在殘差圖像上采樣過程中提高編碼性能。為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種對空間分層編碼視頻圖像的上采樣方法，其中，使用第一濾波器對圖層的亮度分量進(jìn)行上采樣，使用第二濾波器對圖層的色度分量進(jìn)行上采樣，第二濾波器比第一濾波器簡單，所述第二濾波器為對稱濾波器。其中，所述上采樣應(yīng)用于"I—BL"層間預(yù)測或殘差圖像層間預(yù)測。此外在所述方法中，"I—BL"層間預(yù)測上采樣時(shí)，所述第一濾波器是[l-52020-51]/32，所述第二濾波器是[-l55-1]/8。此外在所述方法中，殘差圖像層間預(yù)測上采樣時(shí)，所述第一濾波器是[-l55-1]/8，所述第二濾波器是[l1]/2。本發(fā)明還提供了一種對空間分層編碼視頻圖像的上采樣系統(tǒng)，其中至少包含用于對圖層的亮度分量進(jìn)行上采樣的第一濾波器，和對圖層的色度分量進(jìn)行上采樣的第二濾波器，第二濾波器比第一濾波器簡單，所述第二濾波器為對稱濾波器。其中，所述上采樣應(yīng)用于"I—BL"層間預(yù)測或殘差圖像層間預(yù)測。此外在所述系統(tǒng)中，應(yīng)用于"I—BL"層間預(yù)測上采樣時(shí)，所述第一濾波器是[l-52020-51]/32，所述第二濾波器是[-l55-1]/8。此外在所述系統(tǒng)中，應(yīng)用于殘差圖像層間預(yù)測上采樣時(shí)，所述第一濾波器是[-l55-1]/8，所述第二濾波器是[l1]/2。本發(fā)明還提供了一種對空間分層編碼視頻圖像的上采樣方法，在空間分層編碼中，對于殘差圖像層間預(yù)測，在殘差圖像上采樣過程中，亮度分量和色度分量上采樣都采用濾波器[-155-1]/8。通過比較可以發(fā)現(xiàn)，本發(fā)明的技術(shù)方案與現(xiàn)有技術(shù)的主要區(qū)別在于，利用人眼對色度分量的敏感度遠(yuǎn)遠(yuǎn)低于亮度分量的原理，在I—BL層間預(yù)測或殘差圖像層間預(yù)測的上采樣過程中，對色度分量采用較亮量分量更簡單的濾波器，從而有效減少了計(jì)算復(fù)雜度，而編碼性能基本不變。在殘差圖像上采樣過程中，本發(fā)明提出至少在亮度分量上使用較為復(fù)雜的[-l55-1]/8濾波器，從而提高編碼性能。圖1是現(xiàn)有技術(shù)中H.264壓縮處理框架的示意圖2是現(xiàn)有技術(shù)中SVC算法框圖3是現(xiàn)有技術(shù)中基于B幀的分解框圖4是現(xiàn)有技術(shù)中基于MCTF的分解框圖5是現(xiàn)有技術(shù)中增強(qiáng)層的I—BL預(yù)測模式示意圖。具體實(shí)施例方式為使本發(fā)明的目的明作進(jìn)一步地詳細(xì)描述本發(fā)明的要點(diǎn)在于、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā),基于人眼對色度分量的敏感度遠(yuǎn)遠(yuǎn)低于亮度分量的自然規(guī)律，在上采樣過程中，對亮度分量和色度分量的上采樣采用不同的濾波器，其中色度分量所用的濾波器比亮度分量所用的濾波器更為筒單。這會(huì)帶來兩個(gè)后果，一個(gè)后杲是色度分量的編碼性能不可避免地有所下降，另一個(gè)后果是色度分量的計(jì)算復(fù)雜度也相應(yīng)下降。前一個(gè)后果是不利的，但由于人眼對色度分量的敏感度遠(yuǎn)遠(yuǎn)低于亮度分量的自然規(guī)律，色度分量上性能的下降在人眼看來很不明顯，換句話說普通人幾乎察覺不出圖像在顏色上已經(jīng)發(fā)生了變化。后一個(gè)效果有有利的，實(shí)實(shí)在在地減少了運(yùn)算器件的工作量，使同樣的設(shè)備可以承載更多的業(yè)務(wù)，使處理時(shí)延更小，畫面更為流暢。下面說明一下本發(fā)明的實(shí)施方式的應(yīng)用環(huán)境。在分層編碼中，增強(qiáng)層編碼過程需要充分利用基本層或者較低層的信息，以便去除冗余性，提高編碼效率，例如，SVC分別采用了I一BL層間預(yù)測、殘差圖像層間預(yù)測、運(yùn)動(dòng)向量層間預(yù)測等技術(shù)。對于空間分層編碼來說，在進(jìn)行增強(qiáng)層I一BL預(yù)測或者殘差圖像預(yù)測時(shí)，基本層或較低層相應(yīng)宏塊必須經(jīng)過上采樣(upsampling)過程，以方便進(jìn)行求差預(yù)測。在JSVM3中，I—BL預(yù)測時(shí)的上采樣濾波器為[1-52020-51]/32,殘差圖像預(yù)測時(shí)的上采樣濾波器為[l1]/2,亮度圖像和色度圖像都釆用同一個(gè)濾波器。在本發(fā)明的第一實(shí)施方式中，在I一BL預(yù)測時(shí)，亮度分量和色度分量上采樣采用不同的濾波器，亮度分量上采樣濾波器采用[卜52020-5i]/32,色度分量上采樣濾波器采用較為簡單的[-l55-1]/8。也就是說將JSVM3中的色度分量采樣濾波器從[l-52020-51]/32改為[-l55-1]/8。使用[l-52020-51]/32濾波器時(shí)，每一個(gè)采樣點(diǎn)的計(jì)算需要作6次乘法運(yùn)算、5次加法運(yùn)算和一次除法運(yùn)算，而使用[-l55-1]/8濾波器時(shí)，每一個(gè)采樣點(diǎn)的計(jì)算需要作4次乘法運(yùn)算、3次加法運(yùn)算和一次除法運(yùn)算，大致上減少了三分之一的運(yùn)算量。而由于人眼對色度分量不太敏感，所以在實(shí)際視覺上感受不到太大的差異。在本發(fā)明的第二實(shí)施方式中，在殘差圖像上采樣過程中，亮度分量和色9度分量上采樣也采用不同的濾波器，亮度分量上采樣采用濾波器[-l55-1]/8，而色度分量上采樣采用濾波器[l1]/2。如果色度分量上也采用[-l55-1]/8濾波器，則每一個(gè)采樣點(diǎn)的計(jì)算需要作4次乘法運(yùn)算、3次加法運(yùn)算和一次除法運(yùn)算，現(xiàn)在使用[l1]/2只要做一次加法和一次除法，如果考慮到除2的整數(shù)次方可以用較快速的移位運(yùn)算代替的話，運(yùn)算量可能比[-l55-1]/8濾波器減少了一個(gè)數(shù)量級。本實(shí)施方式中，亮度分量采用了比JSVM3更高的[-155-1]/8濾波器，這可以提高編碼性能，而計(jì)算復(fù)雜度的增加則在可接受的范圍內(nèi)。在本發(fā)明的第三實(shí)施方式中，為了提高編碼性能，在殘差圖像上采樣過程中，亮度分量和色度分量上采樣都采用濾波器[-l55-1]/8。為了證明該濾波器的有效性，本發(fā)明對一些典型序列進(jìn)行了仿真測試。下表為對Harbour序列300幀圖像、QCIF和CIF兩層編碼的測試結(jié)果性能對比，其中本發(fā)明技術(shù)結(jié)果為I一BL預(yù)測中色度分量上采樣濾波器采用濾波器[-155-1]/8、殘差圖像預(yù)測中亮度分量和色度分量上采樣都采用濾波器[-l55-l]/8的測試結(jié)果。<table>tableseeoriginaldocumentpage10</column></row><table>測試結(jié)果顯示，采用本發(fā)明技術(shù)后碼流量有所下降，而亮度分量信噪比PSNR值有所增加、色度分量信噪比PSNR值基本一致，從而編碼性能有所提高。需要指出的是，以上的實(shí)施方式只是本發(fā)明技術(shù)方案的一些典型應(yīng)用，除了上述濾波器[-l55-1]/8外，在I—BL上采樣過程中，色度分量上采樣還可以采用其它濾波器；在殘差圖像上采樣過程中，亮度分量和色度分量上采樣也可以采用其它濾波器。雖然通過參照本發(fā)明的某些優(yōu)選實(shí)施方式，已經(jīng)對本發(fā)明進(jìn)行了圖示和描述，但本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，可以在形式上和細(xì)節(jié)上對其作各種改變，而不偏離本發(fā)明的精神和范圍。權(quán)利要求1.一種對空間分層編碼視頻圖像的上采樣方法，其中，使用第一濾波器對圖層的亮度分量進(jìn)行上采樣，使用第二濾波器對圖層的色度分量進(jìn)行上采樣，其特征在于，第二濾波器比第一濾波器簡單，所述第二濾波器為對稱濾波器。2.根據(jù)權(quán)利要求1所述的對空間分層編碼視頻圖像的上采樣方法，其特征在于，所述上采樣應(yīng)用于"I—BL"層間預(yù)測或殘差圖像層間預(yù)測。3.根據(jù)權(quán)利要求2所述的對空間分層編碼視頻圖像的上采樣方法，其特征在于，"I—BL"層間預(yù)測上采樣時(shí)，所述第一濾波器是[l-52020-51]/32，所述第二濾波器是[-l55-1]/8。4.根據(jù)權(quán)利要求2所述的對空間分層編碼視頻圖像的上采樣方法，其特征在于，殘差圖像層間預(yù)測上采樣時(shí)，所述第一濾波器是[-l55-1]/8，所述第二濾波器是[l1]/2。5.—種對空間分層編碼視頻圖像的上采樣系統(tǒng)，其中至少包含用于對圖層的亮度分量進(jìn)行上采樣的第一濾波器，和對圖層的色度分量進(jìn)行上采樣的第二濾波器，其特征在于，第二濾波器比第一濾波器簡單，所述第二濾波器為對稱濾波器。6.根據(jù)權(quán)利要求5所述的對空間分層編碼視頻圖像的上采樣系統(tǒng)，其特征在于，所述上采樣應(yīng)用于"I—BL"層間預(yù)測或殘差圖像層間預(yù)測。7.根據(jù)權(quán)利要求6所述的對空間分層編碼視頻圖像的上采樣系統(tǒng)，其特征在于，應(yīng)用于"I一BL"層間預(yù)測上采樣時(shí)，所述第一濾波器是[l-52020-51]/32，所述第二濾波器是[-l55-1]/8。8.根據(jù)權(quán)利要求6所述的對空間分層編碼視頻圖像的上采樣系統(tǒng)，其特征在于，應(yīng)用于殘差圖像層間預(yù)測上采樣時(shí)，所述第一濾波器是[-l55-1]/8,所述第二濾波器是[l1]/2。9.一種對空間分層編碼視頻圖像的上采樣方法，其特征在于，在空間分層編碼中，對于殘差圖像層間預(yù)測，在殘差圖像上采樣過程中，亮度分量和色度分量上采樣都釆用濾波器[-155-1]/8。全文摘要本發(fā)明涉及視頻圖像壓縮技術(shù)，公開了一種對空間分層編碼視頻圖像的上采樣方法及其系統(tǒng)，使得在上采樣過程中，可以減少計(jì)算復(fù)雜度，而編碼性能基本不變。本發(fā)明中，利用人眼對色度分量的敏感度遠(yuǎn)遠(yuǎn)低于亮度分量的原理，在IBL層間預(yù)測或殘差圖像層間預(yù)測的上采樣過程中，對色度分量采用較亮量分量更簡單的對稱濾波器，從而有效減少了計(jì)算復(fù)雜度，而編碼性能基本不變。在殘差圖像上采樣過程中，至少在亮度分量上使用較為復(fù)雜的[-155-1]/8濾波器，從而提高編碼性能。文檔編號H04N7/32GK101568036SQ20091000336公開日2009年10月28日申請日期2005年10月11日優(yōu)先權(quán)日2005年10月11日發(fā)明者劉阿軍,熊聯(lián)歡,樟王,譚毅華申請人:華為技術(shù)有限公司