專利名稱：圖像信號(hào)的混合波形和基于模型的編碼和解碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對(duì)圖像信號(hào)編碼和解碼的混合波形和基于模型的編碼器和解碼器。本發(fā)明還涉及傳送圖像信號(hào)的方法。傳送在此還被理解為編碼后的圖像信號(hào)在諸如光盤或磁盤和磁帶之類的存儲(chǔ)媒介上的存儲(chǔ)。本發(fā)明特別適用于醫(yī)學(xué)X射線血管造影圖像序列的編碼和壓縮。
背景技術(shù)：
波形編碼是用于傳送視頻圖像的。一種熟知編碼技術(shù)。波形編碼的目的在于盡可能地以可用比特率對(duì)原始輸入信號(hào)的波形進(jìn)行近似。一般來說，重建信號(hào)的質(zhì)量隨著比特率的減少而下降。例如，廣泛接受的MPEG標(biāo)準(zhǔn)是先對(duì)像素塊進(jìn)行離散余弦變換(DCT)，然后對(duì)由該變換得到的系數(shù)進(jìn)行量化和可變長度編碼。其它的變換方法也正處于研究之中。例如，重疊變換，諸如疊式正交變換(LOT)，有希望適用于醫(yī)學(xué)X射線圖像的編碼和壓縮。甚至在壓縮比很高時(shí)，在壓縮后的圖像中仍存在著相關(guān)的臨床信息。
基于模型的編碼是圖像數(shù)據(jù)壓縮的一個(gè)相對(duì)較新的概念。在基于模型的編碼中，首先對(duì)原始輸入信號(hào)模型化，然后將量化后的模型參數(shù)傳送給解碼器。解碼器并不生成原始波形的復(fù)制物，而是生成一個(gè)非常類于原始信號(hào)的，但其波形完全不同的信號(hào)。采用基于模型的編碼可以獲得很高的壓縮比。
熟知的混合波形和基于模型的編碼器和解碼器公開于“對(duì)視頻電話圖像的基于模型/波形混合編碼”，國際聲學(xué)會(huì)議，語音和信號(hào)處理(ICASSP)91；1991年第4卷；第2741-2744頁。該熟知的方案采用對(duì)半身圖像進(jìn)行基于模型的編碼，而對(duì)未能被模型化的背景圖像進(jìn)行波形編碼。波形編碼也用于消除基于模型的分析系統(tǒng)的誤差。
發(fā)明目的和概要本發(fā)明的目的在于進(jìn)一步提高波形編碼后的圖像，特別是醫(yī)學(xué)X射線圖像的質(zhì)量。
根據(jù)本發(fā)明，為圖像信號(hào)的編碼提供了一個(gè)混合波形和基于模型的編碼器，該編碼器包括對(duì)圖像信號(hào)進(jìn)行波形編碼的波形編碼器和對(duì)圖像信號(hào)的一個(gè)分量進(jìn)行基于模型編碼的基于模型編碼器，至少在所說分量不存在于波形編碼后的圖像信號(hào)中。
本發(fā)明基于這樣的認(rèn)識(shí)，即在非常高的壓縮比的情況下，可以觀察到原始圖像中的特征的改變。當(dāng)圖像的高頻分量的量化非常粗糙或者這些分量被完全去除時(shí)，尤其會(huì)出現(xiàn)這種情況。根據(jù)本發(fā)明的混合編碼器提供了一個(gè)再生所說分量的特征的可行的且有效的途徑。
更具體地，圖像信號(hào)中的噪聲通過波形編碼得以減少或消除。這會(huì)導(dǎo)致清晰度下降，在醫(yī)學(xué)應(yīng)用中這一點(diǎn)是非常不可取的。盡管看起來大多數(shù)臨床信息均出現(xiàn)在壓縮后的X射線血管造影圖像中，但是心臟科專家仍偏愛清晰的圖像。由于他習(xí)慣于噪聲的存在，因此噪聲的不存在會(huì)使專家們認(rèn)為圖像嚴(yán)重失真?；谀Ｐ偷木幋a噪聲的傳送需要極低的比特率，而且該噪聲也易于在解碼器中再生。甚至在壓縮比很高時(shí)，原始的和解碼后的圖像在感覺上幾何是一樣的。
在本發(fā)明的一個(gè)實(shí)施方案中，基于模型的編碼器被安排用于對(duì)圖像信號(hào)的功率譜密度進(jìn)行編碼。在接收機(jī)端確定波形解碼信號(hào)的功率譜密度，然后對(duì)兩個(gè)譜進(jìn)行比較，其差用于控制噪聲的再生。
在另一個(gè)實(shí)施方案中，波形編碼信號(hào)在發(fā)送端解碼，并確定原始圖像信號(hào)和波形解碼信號(hào)之間的差值。然后對(duì)所說差信號(hào)進(jìn)行基于模型的編碼。
優(yōu)選對(duì)圖像信號(hào)進(jìn)行變換編碼。這是特別有吸引力的，因?yàn)橥蛔儞Q電路可用于波形編碼和基于模型編碼。
值得注意的是，上述公開文本“對(duì)視頻電話圖像的基于模型/波形混合編碼”認(rèn)為，波形編碼器的性能可以通過與基于模型編碼的結(jié)合得以提高。但是，這一點(diǎn)還有待研究。并未公開對(duì)信號(hào)分量進(jìn)行基于模型編碼的特定優(yōu)點(diǎn)，這一信號(hào)分量也許會(huì)被波形編碼和壓縮所丟失。
附圖簡述

圖1和2給出包含根據(jù)本發(fā)明的混合編碼器和解碼器的系統(tǒng)的第一和第二實(shí)施方案的簡圖。
圖3和4分別給出圖1和2所示系統(tǒng)的更為詳細(xì)的實(shí)施方案。
圖5-7給出幅值譜，以便示意說明圖3和4所示系統(tǒng)的運(yùn)作。
圖8是用于改進(jìn)圖3和4所示系統(tǒng)的亮度適應(yīng)性換算因子的圖。
優(yōu)選實(shí)施方案說明圖1給出包含根據(jù)本發(fā)明的混合編碼器和解碼器(下文有時(shí)略寫為編解碼器“codec”)的系統(tǒng)的第一實(shí)施方案的框圖。該系統(tǒng)包括一個(gè)混合編碼器1，一個(gè)傳送或存儲(chǔ)媒介2，和一個(gè)混合解碼器3。在混合編碼器中，輸入圖像信號(hào)被送往波形編碼器11和基于模型編碼器。基于模型編碼器包括一個(gè)估算電路12，用于估計(jì)代表圖像信號(hào)的全局信息的模型參數(shù)，諸如其功率譜密度的形狀或在該信號(hào)中的噪聲分量的能量，和一個(gè)編碼級(jí)13。然后，將波形編碼信號(hào)和基于模型編碼信號(hào)送往傳送或存儲(chǔ)媒介2。在混合解碼器中，波形編碼圖像信號(hào)由波形解碼器3 1解碼，而基本模型編碼信號(hào)由解碼級(jí)32解碼。波形解碼信號(hào)被送往估算電路33，該電路被安排用于對(duì)與編碼器的電路12所估計(jì)的相同的模型參數(shù)進(jìn)行估計(jì)。在比較電路34中，解碼后的模型參數(shù)與估算電路33所算得的參數(shù)進(jìn)行比較。如此得到的差值表征了不能由波形codec充分代表的信息。該信息在再生級(jí)35中重新生成，并通過加法電路36添加到波形解碼圖像信號(hào)中。
圖2給出該codec的第二實(shí)施方案的框圖。對(duì)于與圖1所示電路元件相同的元件，采用相同的參考標(biāo)號(hào)?，F(xiàn)在混合編碼器1包括一個(gè)波形解碼器14，它對(duì)波形編碼圖像信號(hào)進(jìn)行局部解碼，和一個(gè)減法器15，它將原始圖像波形減去局部解碼的波形。由估算電路12和編碼級(jí)13完成的基于模型的編碼現(xiàn)在被應(yīng)用到差值信號(hào)。該實(shí)施方案在比特率方面更為有效，因?yàn)榛谀Ｐ偷木幋a僅在相關(guān)分量實(shí)際上不存在于波形編碼信號(hào)中的情況下才進(jìn)行。此外，相應(yīng)的解碼器并不那么復(fù)雜了，這是因?yàn)楣浪汶娐泛捅容^電路(在圖1中分別為33和34)現(xiàn)在可以省去。
現(xiàn)在參照?qǐng)D3所示系統(tǒng)，詳細(xì)解釋噪聲的基于模型編碼的一個(gè)例子。在該實(shí)施方案中，圖像被成許多像素塊，然后對(duì)經(jīng)過所說像素塊變換編碼(例如DCT或LOT)后得到的變換系數(shù)進(jìn)行噪聲的基于模型編碼。該系統(tǒng)或多或少與圖1的實(shí)施方案類似，只在一點(diǎn)上不同，即模型參數(shù)是在變換域計(jì)算的。
在圖3的混合編碼器1中，波形編碼器包括一個(gè)變換電路101、一個(gè)量化器102和一個(gè)可變長度編碼器103。這樣的波形編碼器是眾所周知的經(jīng)常被描述的，例如“關(guān)于數(shù)字視頻記錄的適應(yīng)性DCT編碼技術(shù)中”，該文章刊登于IEEE Proc.，第七屆視頻、音頻及數(shù)據(jù)處理國際會(huì)議，三月22-24日，約克郡(UK)，第199-204頁。下文將采用疊式正交變換(LOT)。該LOT方法將2M*2N個(gè)像素重疊塊變換為M*N個(gè)系數(shù)塊。這樣重疊像素塊被記為Pi，j，其中i表示塊在圖像中的垂直位置(i＝1…Nv)，而j表示水平位置j(j＝1…Nh)。系數(shù)被記為Ci，j[m，n](m＝0…M-1，N＝0…N-1)。對(duì)LOT的更為完整的描述，可以參考文章“LOT沒有截?cái)嘈?yīng)的變換編碼”，IEEE聲學(xué)、語音及信號(hào)處理會(huì)刊，1989年4月第37卷第4冊(cè)。
圖5示意了原始X射線圖像的一個(gè)典型幅度譜(作為譜頻率的函數(shù)的平均能量的平方根)。變換系數(shù)的平方值代表能量，給出一個(gè)類似的分布。圖6給出經(jīng)波形編碼和解碼后的譜的情況。從中可以清楚地看到大多數(shù)高頻信息均已丟失。圖3所示系統(tǒng)用這些頻率處的丟失能量代替在解碼器端產(chǎn)生的噪聲。
圖3的基于模型編碼器包括一個(gè)變換電路101、一個(gè)估算電路104、和一個(gè)編碼級(jí)105。對(duì)于當(dāng)前的圖像，估算電路104首先根據(jù)下式計(jì)算除DC系數(shù)Ci，j
外的所有變換系數(shù)Ci，j[m，n]的能量。
這里假定Ci，j[m，n]的均值等于零。整個(gè)MN-1能量σ2[m，n]表明了原始圖像中的能量在不同空間頻率的分布情況。通過采用眾所周知的差分編碼和可變長度編碼技術(shù)，可以在編碼級(jí)105對(duì)能量σ2[m，n]進(jìn)行無損編碼。與量化的變換系數(shù)所需的所有比特?cái)?shù)相比，所需的比特率較小。對(duì)于分辨率為512*512個(gè)像素的圖像，并且M＝N＝32，應(yīng)當(dāng)傳送的量化變換系數(shù)有5122個(gè)，其中所需要的噪聲能量數(shù)僅有322-1個(gè)。這樣噪聲能量僅占參數(shù)總數(shù)的約0.4％。此外，MN-1個(gè)噪聲能量塊看起來非常光滑，如圖7所示。它們可以按變換編碼領(lǐng)域中已知的方法進(jìn)行Z字形掃描，然后進(jìn)行差分編碼。
在圖3的混合解碼器3中，波形解碼器包括周知的電路元件，諸如可變長度解碼級(jí)301、逆量化器302，和逆變換電路303?；谀Ｐ偷慕獯a器包括估算電路304，解碼級(jí)305，減法器306和噪聲生成器307。應(yīng)用于估算電路304的系數(shù)記為
估算電路304按與編碼器中的估算電路104類似的方式計(jì)算重建后的系數(shù)
的能量
。即
解碼級(jí)305對(duì)基于模型編碼器傳送的能量σ2[m，n]進(jìn)行解碼。減法器306計(jì)算差值
根據(jù)上述算得的差信號(hào)，噪聲生成電路307生成代表方差為σΔ2的隨機(jī)噪聲的系數(shù)。
其中K是常數(shù)。對(duì)于所有像素塊位置i和j，由加法器308將噪聲系數(shù)添加到變換系數(shù)
中。
可選地，噪聲的再生可以視下列條件而定p[m，n]＞t[m，n]方程5其中t[m，n]是一個(gè)預(yù)定閾值，它可與空間頻率m和n有關(guān)，而p[m，n]是損失能量的百分比，定義為
將原始的和編碼后的圖像感性一致性作為依據(jù)，可以通過實(shí)驗(yàn)求得值K和t[m，n]。對(duì)于不同的空間頻率m和n，常數(shù)K甚至可選擇為不同值。
作為加法器308的加法的結(jié)果，新的系數(shù)
根據(jù)下式生成
這里Xi，j[m，n]代表方差為σΔ2[m，n]的隨機(jī)噪聲生成器的一個(gè)樣本，其概率密度函數(shù)盡可能與原始圖像的噪聲的密度函數(shù)相同。
應(yīng)予以注意的是損失能量的計(jì)算是“非對(duì)稱的”Δ[m，n]的負(fù)值被舍入成零。這是由于量化所造成的LOT系數(shù)的能量的增加并不能通過加入隨機(jī)噪聲信號(hào)給以補(bǔ)償。
圖3所示系統(tǒng)可被轉(zhuǎn)換成與圖2所示非常相似的系統(tǒng)。另一個(gè)實(shí)施方案如圖4所示。前已討論過的估算電路104是根據(jù)方程1來計(jì)算能量σ2[m，n]。另一個(gè)估算電路106則根據(jù)方程2計(jì)算由量化器102應(yīng)用的系數(shù)
的能量
。然后用編碼器中的計(jì)算電路107而不是解碼器中的計(jì)算電路，依據(jù)方程4-6計(jì)算隨機(jī)噪聲方差σΔ2[m，n]和百分比p[m，n](如果p[m，n]＜t[m，n]則會(huì)σΔ2[m，n]＝0)。隨機(jī)噪聲方差σΔ2[m，n]經(jīng)編碼級(jí)105進(jìn)行無損編碼，并傳送給解碼器。在解碼器中，由解碼級(jí)305和噪聲生成器307進(jìn)行噪聲生成，其過程類似于圖3的系統(tǒng)。
此前對(duì)X射線圖像假定的噪聲模型是一個(gè)非常簡單的模型。實(shí)際上，在一個(gè)圖像中噪聲不一定具有平穩(wěn)統(tǒng)計(jì)特性。例如，可以看到噪聲能量與圖像的局部亮度有關(guān)。此外，也可以看到噪聲的功率譜密度也與局部亮度有關(guān)。它在低亮度區(qū)較平，而在高亮度區(qū)則呈現(xiàn)更明顯的低通特性。
在沒有噪聲再生的情況下，在低亮度區(qū)中噪聲的損失最為明顯。模擬表明噪聲編碼方法有時(shí)不能在這些區(qū)域加入足夠的噪聲，而在亮區(qū)則加入了過多的噪聲。當(dāng)然，對(duì)于每個(gè)變換系數(shù)塊，關(guān)于噪聲譜的形狀的更為詳細(xì)的信息可以傳送給解碼器。但是，這將顯著增加比特率。不需要額外比特率的相當(dāng)簡單的解決方案是，調(diào)整在解碼器內(nèi)再生的噪聲的方差與圖像內(nèi)的局部亮度相適應(yīng)。正如眾所周知的，DC系數(shù)DCi，i＝
代表相似塊Pi，j的平均亮度。這里加入的噪聲方差為s(DCi，j)·σΔ2[m，n] 方程8而不是方差為σΔ2[m，n]的噪聲。其中S(DCi，j)是取決于DCi，j的換算因子。圖8給出一個(gè)由實(shí)驗(yàn)確定的函數(shù)，它被用于將解碼器內(nèi)再生的噪聲方差調(diào)整與局部亮度相適應(yīng)。在圖8中，垂直軸表示換算因子S(DCi，j)，而水平軸表示亮度值。
總之，本文說明了一個(gè)混合波形和基于模型圖像信號(hào)編碼器和解碼器。對(duì)圖像信號(hào)進(jìn)行波形編碼，以便在壓縮之后盡可能地近似原始輸入信號(hào)的波形。為了補(bǔ)償其損失，對(duì)信號(hào)的噪聲分量(或者更一般地，波形編碼所丟失的信號(hào)分量)進(jìn)行基于模型編碼，并分開傳送或存儲(chǔ)。在解碼器中，噪聲被再生并加入到波形解碼后的圖像信號(hào)中。本發(fā)明特別適用于X射線血管造影圖像的壓縮，因?yàn)樵谶@種場合下，噪聲的丟失會(huì)使心臟科專家或放射學(xué)家認(rèn)為圖像是失真的。
權(quán)利要求
1.對(duì)圖像信號(hào)編碼的混合波形和基于模型的編碼器，包括對(duì)圖像信號(hào)進(jìn)行波形編碼的波形編碼器和至少在圖像信號(hào)的某分量不存在于波形編碼后的圖像信號(hào)的情況下，對(duì)所說分量作基于模型編碼的基于模型編碼器。
2.權(quán)利要求1所說的編碼器，其中所說分量由存在于所說圖像信號(hào)中的噪聲形成。
3.權(quán)利要求1或2所說的編碼器，其中基于模型的編碼器被安排用于對(duì)圖像信號(hào)的功率譜密度編碼。
4.權(quán)利要求1或2所說的編碼器，包括對(duì)波形編碼圖像信號(hào)解碼的波形解碼器，確定圖像信號(hào)和波形解碼后的圖像信號(hào)之間的差信號(hào)的裝置，所說差信號(hào)被送往基于模型的編碼器。
5.權(quán)利要求4所說的編碼器，其中基于模型編碼器被安排用于對(duì)所說差信號(hào)中噪聲的方差編碼。
6.權(quán)利要求1-5任何一條中所說的編碼器，包括將圖像信號(hào)變換成系數(shù)的變換裝置，其中基于模型編碼器被安排用于對(duì)所說系數(shù)作基于模型編碼。
7.對(duì)圖像信號(hào)解碼的混合波形和基于模型解碼器，包括對(duì)波形編碼后的圖像信號(hào)解碼的波形解碼器，對(duì)基于模型編碼后的圖像信號(hào)解碼的基于模型解碼器，確定圖像信號(hào)中某分量在波形解碼圖像信號(hào)中不存在的程度的裝置，將所說缺少的分量加入到波形解碼圖像信號(hào)之中的裝置。
8.對(duì)圖像信號(hào)解碼的混合波形和基于模型解碼器，包括對(duì)波形編碼圖像信號(hào)解碼的波形解碼器，對(duì)不存在于波形編碼圖像信號(hào)中的基于模型編碼分量解碼的基于模型解碼器，和將所說解碼后的分量加入到波形解碼圖像信號(hào)的裝置。
9.權(quán)利要求7或8所說的解碼器，其中所說分量代表在所說波形編碼信號(hào)中不存在的噪聲。
10.權(quán)利要求7、8或9所說的解碼器，其中基于模型解碼器安排用于對(duì)基于模型編碼圖像信號(hào)的功率譜密度解碼。
11.傳送圖像信號(hào)的方法，包括步驟對(duì)圖像信號(hào)作波形編碼，在圖像信號(hào)的某分量不存在于波形編碼圖像信號(hào)中的情況下對(duì)所說分量作基于模型編碼，傳送所說波形編碼圖像信號(hào)和所說基于模型編碼分量，對(duì)所說波形編碼圖像信號(hào)和基于模型編碼分量解碼，以及合并所說解碼圖像信號(hào)和基于模型解碼分量。
12.權(quán)利要求11所說的方法，其中所說預(yù)定分量由存在于所說圖像信號(hào)中的噪聲形成。
13.權(quán)利要求11或12所說的方法，其中基于模型編碼的步驟包括對(duì)圖像信號(hào)的功率譜密度編碼的步驟。
10.權(quán)利要求11或12所說的方法，包括步驟對(duì)波形編碼圖像信號(hào)作波形解碼，確定圖像信號(hào)和波形解碼圖像信號(hào)之間的差信號(hào)，并對(duì)所說差信號(hào)作基于模型編碼。
15.權(quán)利要求14所說的方法，其中基于模型編碼的步驟應(yīng)用于所說差信號(hào)中的噪聲方差。
16.權(quán)利要求11-15中任一條所說的方法，包括將圖像信號(hào)變換成系數(shù)的步驟，應(yīng)用于所說系數(shù)的基于模型編碼。
17.圖像信號(hào)，包括波形編碼圖像信號(hào)，和在圖像信號(hào)的至少某預(yù)定分量不存在于波形編碼圖像信號(hào)中的情況下，代表所說分量的基于模型編碼信號(hào)。
18.存儲(chǔ)媒介，其中存放了如權(quán)利要求17所說的圖像信號(hào)。
全文摘要
描述了混合波形和基于模型圖像信號(hào)編碼器和解碼器。對(duì)圖像信號(hào)作波形編碼(11)和解碼(31)，以便在壓縮之后盡可能地近似原始輸入信號(hào)的波形。為了補(bǔ)償其損失，對(duì)信號(hào)的噪聲分量(或更一般地，經(jīng)波形編碼丟失的信號(hào)分量)進(jìn)行基于模型編碼(12、13)，并分布傳送或存放。在解碼器中，噪聲被再生(32-34)并加入(36)至波形解碼圖像信號(hào)中。本發(fā)明特別應(yīng)用于醫(yī)學(xué)X射線血管造影圖像的壓縮，在此場合下噪聲的丟失會(huì)使心臟科專家或放射專家認(rèn)為該圖像是失真的。
文檔編號(hào)H04N7/30GK1165607SQ96191058
公開日1997年11月19日 申請(qǐng)日期1996年9月2日 優(yōu)先權(quán)日1995年9月12日
發(fā)明者M·布里華, P·J·范奧特魯 申請(qǐng)人:菲利浦電子有限公司