專利名稱：：立體視頻圖像信號壓縮的方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種視頻圖像信號壓縮的方法，特別是涉及一種立體視頻圖像信號壓縮的方法，屬于圖像壓縮
技術(shù)領(lǐng)域：
。
背景技術(shù)：
：立體圖象將場景的三維信息完全地再現(xiàn)出來，顯示的是具有縱深感的圖像，猶如觀看立體電影那樣，觀看者可以直接看出圖像中景物的遠近、縱深，猶如身臨其境，獲得強烈的視覺沖擊。將自然的三維空間景象立體地再現(xiàn)出來，一直是人類在圖像技術(shù)方面的追求。自上個世紀(20世紀)初開始，科技界就開始了對立體圖片技術(shù)的研究，并取得一定的進展。由于歷史的原因，現(xiàn)在通行的大眾化的圖像技術(shù)體系是以平面圖像為主體的。例如電視圖像信號的記錄、傳播與顯示，網(wǎng)絡(luò)媒體圖像節(jié)目的制作、播放等，無論是軟件還是硬件，都廣泛使用平面圖像工具。在目前的現(xiàn)實情況下，如果通過對平面圖像體系進行改造的辦法，實現(xiàn)立體視頻圖像的傳播、接收與顯示，無論在技術(shù)、成本上還是社會接受能力等方面都具有很大的難度。隨著多媒體技術(shù)的迅速發(fā)展，例如MPEG視頻圖像壓縮標準的建立、寬帶網(wǎng)絡(luò)的快速建設(shè)，圖像媒體的紀錄、通信、播放得以高速發(fā)展，平面視頻圖像AV節(jié)目的實時點播(VOD)技術(shù)已經(jīng)成熟并在世界范圍內(nèi)得到迅速普及。另一方面，有關(guān)立體視頻圖像的播放、顯示技術(shù)的研究也方興未艾，成為目前國際研究熱點，形成了立體圖像的多種顯示方式并存的局面。見表1。這些立體圖像顯示方式各有優(yōu)缺點，在不同的場合有不同的應(yīng)用。表1常見的立體圖像顯示方式平面視頻圖像技術(shù)的迅速發(fā)展以及立體圖像顯示技術(shù)的發(fā)展為立體視頻圖像技術(shù)的發(fā)展奠定了軟件和硬件的基礎(chǔ)，但是，由于立體視頻圖像具有與平面圖像完全不同的信息量，一般來說，需要有別于平面視頻圖像媒介的軟硬件平臺。在以平面視頻圖像為主體的今天，要想重新構(gòu)造全新的軟件和硬件平臺專門服務(wù)于立體視頻圖像是不現(xiàn)實的。相對于平面視頻圖像而言，立體視頻圖像的信息量要大，因此，有效壓縮視頻立體圖像是立體視頻圖像記錄、傳輸、播放(顯示)的關(guān)鍵技術(shù)之一。國外在立體視頻圖像壓縮技術(shù)方面的研究如圖1所示，具有以下特點①建立有別于平面視頻圖像壓縮標準的獨立的圖像壓縮標準，由于采用雙畫面并行壓縮，其數(shù)據(jù)量大，能夠適應(yīng)不同類型的立體顯示器；②對圖像的視差信息的確認以像素為最小圖像單元；③圖像的解壓縮與合成階段由客戶端完成；④需要專門的立體顯示器。
發(fā)明內(nèi)容本發(fā)明的目的在于著眼于現(xiàn)有的平面視頻圖像軟件和硬件平臺，提出全新的立體視頻圖像幀內(nèi)壓縮方式，減少圖像的空間冗余。將圖像的最終壓縮格式采用通用的圖像壓縮標準，從而做到與平面視頻圖像兼容。若使用普通的平面視頻圖像解壓縮軟件(或解碼器)可以直接打開這個立體圖像數(shù)據(jù)，觀看平面視頻圖像；若采用立體圖像解壓縮軟件(或解碼器)可以對本發(fā)明壓縮的數(shù)據(jù)進行解壓縮，觀看立體視頻圖像。本發(fā)明采用以下的技術(shù)方案來實現(xiàn)立體視頻圖像數(shù)據(jù)壓縮的方法，來自左右視點的圖像，將其中一個視點(例如圖中的視點1)數(shù)據(jù)作為獨立圖像，另一個視點(例如圖中的視點2)數(shù)據(jù)作為參考圖像。數(shù)據(jù)壓縮過程如下(1)按照特定的計算方法，求解兩個視點數(shù)據(jù)的差值，獲得立體圖像冗余數(shù)據(jù)；(2)根據(jù)立體圖像冗余數(shù)據(jù)的空間頻率分布特性，采用相應(yīng)的離散變換算法對立體圖像冗余數(shù)據(jù)進行壓縮編碼；(3)獨立視頻圖像數(shù)據(jù)與立體圖像冗余數(shù)據(jù)合并，構(gòu)成以幀數(shù)據(jù)形式存在的完整數(shù)據(jù)，供混合編碼；(4)經(jīng)過前述提出的冗余數(shù)據(jù)合并方法獲得的圖像數(shù)據(jù)，經(jīng)壓縮后得到高度兼容的立體視頻圖像信號，該壓縮信號可以被通用解碼程序解壓縮，再現(xiàn)獨立視點1的平面視頻圖像；圖像中包含局部的噪聲，但仍然具有良好的視覺效果；(5)經(jīng)過前述提出的信號壓縮方法獲得的圖像壓縮數(shù)據(jù)，被立體圖像解碼程序解壓縮，可再現(xiàn)立體視頻圖像。本發(fā)明還可以通過以下的技術(shù)方案來進一步實現(xiàn)前述的立體視圖像信號壓縮的方法，其特征在于壓縮編碼步驟(1)所述的求解方法是采用基于最小冗余度的視點匹配算法。前述的立體視頻圖像信號壓縮的方法，其特征在于它兼容平面視頻圖像的軟件平臺和硬件平臺和具備立體顯示能力的接收端顯示出立體視頻圖像。前述的立體視頻圖像信號壓縮的方法，其特征在于所述的軟件平臺包括圖像壓縮軟件、AV節(jié)目制作軟件、解壓縮軟件、數(shù)據(jù)傳輸軟件等，這些軟件可以由個人、商業(yè)、工業(yè)計算機執(zhí)行，也可以由單片微型計算機或者數(shù)字信號處理芯片完成。此外，還可以單純地使用電子線路，通過硬件的組構(gòu)實現(xiàn)同樣的目的。前述的立體視頻圖像信號壓縮的方法，其特征在于所述的硬件平臺包括圖像記錄設(shè)備(例如光盤刻錄設(shè)備、磁帶錄制設(shè)備等)、圖像傳輸設(shè)備(如電視轉(zhuǎn)播設(shè)備)、圖像接收設(shè)備(例如電視信號接收機)和圖像再現(xiàn)設(shè)備(例如顯示器)。前述的立體視頻圖像信號壓縮的方法，其特征在于所述的圖像信號壓縮與解壓縮的實現(xiàn)途徑包括計算機程序、單純的硬件電路或集成化芯片。前述的立體圖像信號壓縮的方法，其特征在于該方法對靜態(tài)立體圖像的編碼應(yīng)用。前述的立體圖像信號壓縮的方法，其特征在于該方法對動態(tài)立體圖像的編碼應(yīng)用。本發(fā)明立體圖像信號壓縮的方法具有以下優(yōu)點①壓縮的視頻圖像信息容量與同等尺寸的平面視頻圖像相近，攜帶立體信息，并可以被通用的圖像解壓縮工具解壓縮。②圖像解壓縮之后，可以根據(jù)用戶的選擇，以不同的方式顯示圖像。例如平面視頻圖像、輔助立體顯示方式的立體圖像、自由立體顯示方式的立體圖像等，利用普通的平面顯示器或者不同類型的立體顯示器都可以獲得平面視頻圖像或者立體視頻圖像。③與AV視頻圖像標準兼容，所壓縮的圖像可以直接采用通行的AV節(jié)目編輯軟件進行立體視頻圖像的編輯和播放。這樣，既使得立體視頻節(jié)目的制作成本降低，也便于終端用戶接收和播放立體視頻節(jié)目。圖2所示信號壓縮思想依托于適當?shù)淖儞Q或編碼手段，而基于這樣的幀內(nèi)編碼方案，可以建立與平面圖像兼容的視頻立體圖像編碼，其具體步驟如下冗余圖像數(shù)據(jù)的獲得為了在空間域盡可能地減少數(shù)據(jù)容量，對于求解兩個視點數(shù)據(jù)的差值，可以采用視點匹配算法。以下為視點匹配算法的一個具體關(guān)系式設(shè)視點1、視點2的圖像像素尺寸為n×m，圖像函數(shù)分別為f1(x，y)、f2(x，y)，兩個圖像按像素逐次相減所得到的偏差值為Δi＝f1(xi，yi)-f2(xi-k，yi-l)(1)i＝0、1、2、......n×m，k、l＝0、1、2、3、......，一般k，l＜10則滿足下列條件之一者，可作為進一步計算圖像冗余數(shù)據(jù)，并記錄下滿足條件的偏移量k、l。1、存在著兩個大小相等、互為相反數(shù)的偏差值Δi的極值ΔA。2、偏差值之和ΔB小于閾值Δth。ΔB=Σi=0nΔi≤Δth---(2)]]>3、偏差值之算術(shù)平方和ΔC最小。ΔC=Σi=0nΔi2---(3)]]>冗余編碼采用高壓縮比的圖像變換算法，例如小波變換(Wavelet)對冗余圖像數(shù)據(jù)進行編碼。得到的圖像濾除高頻分量，然后獨立編碼，獲得立體圖像的冗余數(shù)據(jù)。圖像混合視點1的獨立圖像數(shù)據(jù)與立體冗余數(shù)據(jù)向混合的目的是得到一個連續(xù)的數(shù)據(jù)，該數(shù)據(jù)供后續(xù)混合編碼使用?；旌系姆绞接卸喾N，一般分為兩大類1、拼接將經(jīng)過編碼后的立體冗余數(shù)據(jù)直接接入視點1的獨立圖像數(shù)據(jù)的尾部，形成如圖3(a)所示的數(shù)據(jù)流。2、隨機將經(jīng)過編碼后的立體冗余數(shù)據(jù)以像素為單位，隨機地插入視點1的獨立圖像數(shù)據(jù)，視點1的插入點立體數(shù)據(jù)所取代，如圖3(b)。其中□為視點1的獨立圖像數(shù)據(jù)段，◆為立體冗余數(shù)據(jù)段。幀內(nèi)混合編碼將圖3所示的混合數(shù)據(jù)視為完整的圖像數(shù)據(jù)，進行幀內(nèi)編碼。視頻圖像序列編碼根據(jù)不同的平面視頻圖像編碼標準，有不同的處理步驟。以MPEG標準為例，其內(nèi)容包括離散余弦變換、Zigzag編碼、Huffman編碼、運動補償、量化、熵編碼等等。其中，立體視頻圖像碼流語法的獨特定義包括1、圖像尺寸的定義在常規(guī)的平面圖像序列頭文件中，標注兩個獨立視點圖像(例如視點1)的水平與垂直尺寸。2、立體視頻圖像標志利用標準的平面視頻圖像保留位，作為立體視頻圖像的標示位。3、立體冗余圖像數(shù)據(jù)段的處理對于拼接方式獨立視點(例如視點1)圖像的圖像碼流結(jié)束處標注結(jié)束標志，隨后是立體冗余圖像數(shù)據(jù)段，該段結(jié)束之后標注視點1的獨立圖像碼流開始標志。圖1是傳統(tǒng)的立體圖像壓縮方案其中1是視點1、2是視點2；圖2是本發(fā)明立體圖像壓縮方案其中1是視點1、2是視點2；圖3是圖像數(shù)據(jù)混合方式舉例其中1是拼接方式、2是隨機方式；具體實施例方式實施例1靜態(tài)立體圖像的壓縮本發(fā)明適合于靜態(tài)立體圖像的壓縮編碼，適合所有的靜態(tài)圖像壓縮標準，例如JPEG、PCX、GIF、TIFF等格式的靜態(tài)圖像，壓縮后的圖像可以有通用的平面圖像解壓縮方法解壓縮，得到平面的圖像。經(jīng)壓縮的圖像，可由本發(fā)明相對應(yīng)的解壓縮編碼過程解壓縮，獲得立體圖像。以800×600像素的JPEG格式的靜態(tài)立體圖像拼接壓縮過程為例。采用圖2所示的編碼方案，得到混合編碼值，然后，按照8×8分塊進行基于離散余弦變換(DCT)、量化、熵編碼。為了滿足無失真操作方式，可以用DPCM的預(yù)測編碼方法代替DCT編碼。文件頭定義，圖像尺寸800×600，立體圖像數(shù)據(jù)空間大小定義于JPEG文件頭的保留字節(jié)，一般控制在800×800以下。文件的圖像數(shù)據(jù)前段保存獨立視點1(例如右圖像)的壓縮數(shù)據(jù)，后段保存立體冗余數(shù)據(jù)。兼容JPEG標準的立體圖像壓縮文件格式定義如下1)圖像開始標志(SOI)2)APP0標志(Marker)APP0長度(length)標識符(identifier)版本號(version)密度單位(densityunit)*X方向密度(Xdensity)*Y方向密度(Ydensity)*縮略圖水平像素數(shù)目(thumbnailhorizontalpixels)*縮略圖垂直像素數(shù)(thumbnailverticalpixels)*縮略圖RGB位圖(thumbnailRGBbitmap)*3)APPn標志(Marker)APPn長度(length)詳細信息(applicationspecificinformation)4)量化表(DQT)量化表長度(quantizationtablelength)量化表數(shù)目(quantizationtablenumber)量化表(quantizationtable)5)幀圖像開始(SOF0)幀開始長度(startofframelength)精度(precision)圖像高度(imageheight)*圖像寬度(imagewidth)*顏色分量數(shù)(numberofcolorcomponents)分量ID表(foreachcomponent)—垂直方向的樣本因子(verticalsamplefactor)—水平方向的樣本因子(horizontalsamplefactor)—量化表號(quantizationtable)6)哈夫曼表(DHT)哈夫曼表長度(Huffmantablelength)類型、AC或者DC(type，ACorDC)索引(index)位表(bitstable)值表(valuetable)7)掃描開始(SOS)掃描開始長度(startofscanlength)*顏色分量數(shù)(numberofcolorcomponents)顏色分量ID表(foreachcomponent)—交流系數(shù)表號(ACtable#)—直流系數(shù)表號(DCtable#)壓縮圖像數(shù)據(jù)(compressedimagedata)**8)(EOI)*按照單視點平面圖像數(shù)據(jù)定義**壓縮數(shù)據(jù)尾部包含立體圖像壓縮數(shù)據(jù)未標注項目包含立體圖像數(shù)據(jù)實施例2動態(tài)立體圖像的壓縮本發(fā)明適合于動態(tài)立體圖像的壓縮編碼，適合所有的動態(tài)圖像壓縮標準，例如MPEG、H.261、H.263等格式的視頻圖像，壓縮后的圖像可以有通用的平面視頻圖像解壓縮方法解壓縮，得到平面的視頻圖像。經(jīng)壓縮的圖像，可由本發(fā)明相對應(yīng)的解壓縮編碼過程解壓縮，獲得立體視頻圖像。以352×244像素的MPEG-4格式的視頻立體圖像隨機壓縮過程為例。采用圖2所示的編碼方案，得到混合編碼值，然后，按照8×8分塊進行基于離散余弦變換(DCT)、量化、熵編碼。為了滿足無失真操作方式，可以用DPCM的預(yù)測編碼方法代替DCT編碼。隨后，按照MPEG-4的標準進行去空域冗余、去時域冗余獲得基本碼流。序列頭定義，序列尺寸352×244，文件的視頻碼流保存獨立視點1圖像數(shù)據(jù)(例如右圖像)的壓縮數(shù)據(jù)，其中混合保存立體冗余數(shù)據(jù)。除實施例外，凡采用等同替換或等效變換的方式所獲得的技術(shù)方案，均落在本發(fā)明的保護范圍之內(nèi)。權(quán)利要求1.立體視頻圖像信號壓縮的方法，將來自左右視點的圖像，其中一個視點I數(shù)據(jù)作為獨立圖像，另一個視點II數(shù)據(jù)作為參考圖像，然后按下列步驟進行(1)求解兩個視點數(shù)據(jù)的差值，獲得立體圖像冗余數(shù)據(jù)；(2)根據(jù)立體圖像冗余數(shù)據(jù)的空間頻率分布特性，采用相應(yīng)的離散變換算法對立體圖像冗余數(shù)據(jù)進行壓縮；(3)獨立視頻圖像數(shù)據(jù)與立體圖像冗余數(shù)據(jù)合并，構(gòu)成以幀數(shù)據(jù)形式存在的完整數(shù)據(jù)，供后續(xù)的數(shù)據(jù)混合；(4)經(jīng)過前述提出的冗余數(shù)據(jù)合并方法獲得的圖像數(shù)據(jù)，經(jīng)壓縮后得到高度兼容的立體視頻圖像信號，該壓縮信號可以被通用解碼程序解壓縮，再現(xiàn)獨立視點I的平面視頻圖像；(5)經(jīng)過前述提出的信號壓縮方法獲得的圖像壓縮數(shù)據(jù)，被立體圖像解碼程序解壓縮，可再現(xiàn)立體視頻圖像。2.根據(jù)權(quán)利要求1所述的立體視圖像信號壓縮的方法，其特征在于編碼步驟(1)所述的求解方法是采用基于最小冗余度的視點匹配算法。3.根據(jù)權(quán)利要求1所述的立體視頻圖像信號壓縮的方法，其特征在于它兼容平面視頻圖像的軟件平臺和硬件平臺和具備立體顯示能力的接收端顯示出立體視頻圖像。4.根據(jù)權(quán)利要求3所述的立體視頻圖像信號壓縮的方法，其特征在于所述的硬件平臺包括圖像記錄設(shè)備、圖像傳輸設(shè)備、圖像接收設(shè)備和圖像再現(xiàn)設(shè)備。5.根據(jù)權(quán)利要求3所述的立體視頻圖像信號壓縮的方法，其特征在于所述的圖像信號壓縮與解壓縮的實現(xiàn)途徑包括計算機程序、單純的硬件電路和集成化芯片。6.根據(jù)權(quán)利要求1所述的立體視頻圖像信號壓縮的方法，其特征在于該方法對靜態(tài)立體圖像的編碼應(yīng)用。7.根據(jù)權(quán)利要求1所述的立體視頻圖像信號壓縮的方法，其特征在于該方法對動態(tài)立體圖像的編碼應(yīng)用。全文摘要本發(fā)明公開了一種立體視頻圖像信號壓縮的方法，該方法是采用將來自左右視點的圖像，其中一個視點1數(shù)據(jù)作為獨立圖像，另一個視點2數(shù)據(jù)作為參考圖像進行編碼，獨立視頻圖像數(shù)據(jù)與立體圖像冗余數(shù)據(jù)合并，構(gòu)成以幀數(shù)據(jù)形式存在的完整數(shù)據(jù)，供混合編碼；經(jīng)過混合編碼的圖像數(shù)據(jù)，被立體圖像解碼程序解壓縮，再現(xiàn)立體視頻圖像。圖像解壓縮之后，可以根據(jù)用戶的選擇，以不同的方式顯示圖像。用普通的平面顯示器或者不同類型的立體顯示器都可以獲得平面視頻圖像或者立體視頻圖像。文檔編號H04N13/00GK1545333SQ20031010638公開日2004年11月10日申請日期2003年11月21日優(yōu)先權(quán)日2003年11月21日發(fā)明者王元慶申請人:南京大學