專利名稱：圖像增強裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于增強輸入圖像序列中的輸入圖像并獲取已增強輸出圖像的圖像增強裝置和對應(yīng)的方法。此外，本發(fā)明涉及ー種顯示設(shè)備、計算機程序以及計算機可讀的非暫時性介質(zhì)。
背景技術(shù)：
超分辨率(super-resolution)可以增強圖像和視頻序列中的分辨率。超分辨率的特定特征在于其能夠創(chuàng)建高分辨率幀，高分辨率幀具有在每個低分辨率輸入幀中所沒有的高空間頻率。存在如下可用于增大每個圖像的(總體)分辨率的若干可能的策略(a)添加合成細節(jié)信號以例如銳化邊緣(LTI，例如參見H. Schroder, H. Elsler和M. Fritsch,“Nonlinear Picture Enhancement Techniques for VerticailyInterpolatedTV-Signals”，EUSIPC0 Conf. Proceedings (EUSIPC0 會議集)，pp. 841-844(第 84ト844頁)，1986) ； (b)利用例如US 6，323，590中記載的圖像建模進行在線或離線優(yōu)化以創(chuàng)建具有更陸峭并具有更少階梯偽像(staircase artifact)的邊緣以及(C)如在S. Borman和R. Stevenson, “Simultaneous Multi-frame MAP Super-Resolution Video EnnancementusingSpatio-temporal Priors，，，IEEE Int. Conference on Image Processing (IEEE 圖像處理國際會議)，1999中記載的通過使用接連巾貞(consecutive frames)之間的混疊(alisa)和亞像素運動來重建高頻信息。所有這些過程都結(jié)合了 基于先前做出的假設(shè)來生成最有可能的信息。ー個具挑戰(zhàn)性的任務(wù)是檢查這些假設(shè)的正確性并確定給定輸入視頻是否合格并從新的圖像內(nèi)容中分離出由偽像引起的錯誤信息。特別是當多個輸入幀被利用時，需要用于將接連幀與ー個(錨定)幀對準的強壯運動估計。所有已知的方法(例如，如s. Farsiu,M. Elad 和 P. Milanfar, “Video-to-Video Dynamic Superresolution for Grayscale andColor Sequences，，，EURASIP Journal of Applied Signal Processing, Special IssueonSuperresolution Imaging (EURASIP應(yīng)用信號處理期刊，超分辨率成像的特殊話題)，Vol. 2006(2006卷))都主要依賴于強壯的全局運動建模，但是如果估計失敗或輸入序列例如具有若干對象的運動，則在輸出視頻中將出現(xiàn)嚴重的偽像。一種已知的圖像增強方法是例如如S. C. Park, Μ. K. Park和M. G. kang,“Super-Resolution Image Reconstruction :A Technical Overview，，，IEEESignalProcessing Magazine (IEEE 信號處通雜志),Vol. 20, No. 3, May 2003, pp. 21-36 (第20卷，第3部分，2003年5月，第21-36頁)中所記載的背向投影超分辨率。背向投影超分辨率經(jīng)由迭代處理來獲取高頻信息。在此算法中，高分辨率與低分辨率之間的退化處理通過運動補償、去模糊和下采樣來建摸。于是，在迭代環(huán)路中，當前的(接收的)低分辨率圖像被與通過對實際高分辨率圖像施加退化處理獲得的(建模后的)低分辨率幀相比較。建模后的圖像與接收的圖像之間的差被用來更新當前的高分辨率圖像。一直這樣進行直到收斂為止。高分辨率圖像的初始猜想可以通過例如標準插值技術(shù)來計算。另一種已知的圖像增強方法是例如如S. Borman和R. Stevenson, “SimultaneousMulti-frame MAP Super-Resolution Video Enhancement usingSpatio—temporalPriors”，IEEE Int. Conference on Image Processing (IEEE 圖像處理國際會議)，1999 中所記載的最大后驗(maximum-a-posteriori)超分辨率。最大后驗(MAP)超分辨率具有另外的圖像建摸，但是以其他方式與背向投影具有很強的相似性。因此，缺點也是ー樣的，需要大量輸入幀并且由于針對每幀的大量迭代而需要高計算負荷。又一種已知的圖像增強方法是例如如S. Farsiu, M. Elad和P. Milanfar, “Video-to-Viaeo Dynamic buperresolution for Grayscale ana しolor Sequences，，，EURASIP Journal of Applied Signal Processing, Special Issue onSuperresolutionImaging(EURASIP應(yīng)用信號處理期刊，超分辨率成像的特殊話題)，Vol. 2006 (第2006卷)中所記載的基于Kalman (卡爾曼)濾波器的超分辨率?；贙alman濾波器的超分辨率利用了 Kalman原理來計算超分辨率巾貞。該算法也使用時間反饋環(huán)路。另ー種已知的圖像增強方法被記載在US 2009/0245375A1中。此方法具有超分辨率處理中的綜合偽像減少。為了計算當前的高分辨率輸出幀，如下輸入信號(幀)必須是可用的當前的和下一低分辨率輸入幀，被添加到輸入來獲取前一高分辨率幀和初始高分辨率幀的前ー細節(jié)信號。然后，4個分離的主要處理塊被用來獲取下一幀的輸出信號1.通過基于運動向量和前ー細節(jié)信號掩蔽(mask)當前細節(jié)信號來進行輸出高分辨率中的偽像抑制。2.通過在經(jīng)當前運動補償后的高分辨率幀和下一低分辨率幀之間的加權(quán)來計算下ー初始高分辨率幀。3.基于對初始當前高分辨率幀和當前低分辨率幀的濾波和加權(quán)來進行針對當前幀的細節(jié)信號生成。4.將加權(quán)后的當前細節(jié)信號與當前初始高分辨率幀相加來獲得當前高分辨率輸出幀。

發(fā)明內(nèi)容
本發(fā)明的ー個目的是提供用于增強輸入圖像序列的輸入圖像(Ib)并獲得已增強輸出圖像、特別是提供増大輸入圖像的分辨率和/或暫時地減少輸入圖像中的偽像和/或噪聲的能力的圖像增強裝置和對應(yīng)的圖像增強方法。所提供的裝置和方法應(yīng)當在計算上是特別高效的，僅需要較小的存儲，從而導(dǎo)致便宜的硬件成本和對于運動估計誤差和其它副作用強壯的高圖像或視頻輸出質(zhì)量。本發(fā)明的另ー個目的是提供用于實現(xiàn)所述方法的對應(yīng)計算機程序以及計算機可讀非暫時性介質(zhì)。根據(jù)本發(fā)明的ー個方面，提供了一種用于增強輸入圖像序列的輸入圖像并獲得已增強輸出圖像的圖像增強裝置，所述裝置包括運動補償單元，被配置為通過對在前輸出圖像中的運動進行補償來生成至少ー個在前經(jīng)運動補償?shù)膱D像，加權(quán)選擇單元，被配置為從所述輸入圖像和所述在前經(jīng)運動補償?shù)膱D像生成加權(quán)選擇圖像，其中，所述輸入圖像和所述在前經(jīng)運動補償?shù)膱D像二者用各自的選擇加權(quán)因子被加權(quán)，特征分析単元，被配置為至少分析所述輸入圖像并通過將所述輸入圖像分割成具有不同特征的兩個或更多個輸入圖像區(qū)域來生成特征信息，
圖像建模單元，被配置為通過對所述輸入圖像和/或所述加權(quán)選擇圖像應(yīng)用圖像建模特別是Huber Markov圖像建模來生成經(jīng)建模圖像，時空細節(jié)信號生成単元，被配置為從所述輸入圖像和所述加權(quán)選擇圖像生成細節(jié)信號，以及組合單元，被配置為從所述輸入圖像、所述細節(jié)信號和所述經(jīng)建模圖像生成所述已增強輸出圖像。根據(jù)本發(fā)明的另ー個方面，提供 了一種用于增強輸入圖像序列的輸入圖像并獲得已增強輸出圖像的圖像增強裝置，所述裝置包括運動補償裝置，用于通過對在前輸出圖像中的運動進行補償來生成至少ー個在前經(jīng)運動補償?shù)膱D像，加權(quán)選擇裝置，用于從所述輸入圖像和所述在前經(jīng)運動補償?shù)膱D像生成加權(quán)選擇圖像，其中，所述輸入圖像和所述在前經(jīng)運動補償?shù)膱D像二者用各自的選擇加權(quán)因子被加權(quán)，特征分析裝置，用于至少分析所述輸入圖像并通過將所述輸入圖像分割成具有不同特征的兩個或更多個輸入圖像區(qū)域來生成特征信息，圖像建模裝置，用于通過對所述輸入圖像和/或所述加權(quán)選擇圖像應(yīng)用圖像建模特別是Huber Markov圖像建模來生成經(jīng)建模圖像，時空細節(jié)信號生成裝置，用于從所述輸入圖像和所述加權(quán)選擇圖像生成細節(jié)信號，以及組合裝置，用于從所述輸入圖像、所述細節(jié)信號和所述經(jīng)建模圖像生成所述已增強輸出圖像。根據(jù)本發(fā)明的又ー個方面，提供了對應(yīng)的ー種圖像增強方法，一種計算機程序(包括當計算機程序在計算機上被執(zhí)行時令計算機執(zhí)行根據(jù)本發(fā)明的方法的步驟的程序代碼裝置)以及ー種存儲了指令的計算機可讀非暫時性介質(zhì)(所述指令當在計算機上被執(zhí)行時令計算機執(zhí)行根據(jù)本發(fā)明的方法的步驟)。本發(fā)明的優(yōu)選實施例在從屬權(quán)利要求中被限定。應(yīng)當理解，所要求保護的圖像增強方法、要求保護的計算機程序以及要求保護的計算機可讀介質(zhì)具有與要求保護的圖像增強裝置類似的和/或相同的并入獨立權(quán)利要求中所限定那樣的優(yōu)選實施例。本發(fā)明提供了一種通過以計算和存儲上非常高效的方式増大(感知)分辨率并減少偽像來增強輸入視頻的裝置和方法。這通過合并多個輸入幀和/或圖像模型的信息來增大分辨率印象來實現(xiàn)，由于通過特征分析和遞歸(時間)返回環(huán)路來控制若干組合的圖像處理步驟，可以很好地控制增強的水平并且可以防止或至少較強地較少例如由于錯誤的運動估計而引起的副作用。此外，本發(fā)明被設(shè)計用于應(yīng)對具有局部或全局運動的真實視頻并且在已經(jīng)是高端輸入的情況下防止過度增強。控制特征使得其可用應(yīng)對任何類型的輸入視頻。所提供的裝置和方法在計算上是高效的，需要較低數(shù)量的幀存儲，導(dǎo)致便宜的硬件成本和針對運動估計誤差和其它副作用的強壯的高圖像或視頻輸出質(zhì)量。上述已知的方法是不同的并且不提供這些優(yōu)點。特別是，合成細節(jié)的増加需要較大的數(shù)據(jù)組，此外，細節(jié)信號不是從輸入視頻本身獲得的，因此其并不完美地匹配輸入內(nèi)容。需要多個輸入幀或中間信號的方法在硬件方面不是非常高效的。另ー缺點在于許多已知的方法需要很精確的運動向量和很平滑的向量場(通過全局運動估計提供)。上述許多已知方法不能夠應(yīng)對對象的局部運動(例如，如在本發(fā)明的優(yōu)選實施例中所提議的通過基于塊的運動估計計算出)。已知的背向投影的缺點在于，在算法中不存在圖像建模(純空間處理)來用于進一步改進當前輸出。另外，迭代處理是非常耗時的并且需要多個輸入幀(產(chǎn)生高數(shù)量的幀存儲)來實現(xiàn)良好的輸出序列。Kalman濾波超分辨率也僅應(yīng)對全局運動向量。否則，將在輸出序列中出現(xiàn)嚴重的模糊。由于該方法的內(nèi)部模型，不能很好地應(yīng)對局部對象運動。此夕卜，所描述的已知方法使用內(nèi)部的升級和降級來檢查方法的收斂，導(dǎo)致高產(chǎn)出。 本發(fā)明優(yōu)選地用在顯示設(shè)備中，諸如監(jiān)視器、視頻顯示器或電視中。這樣的顯示設(shè)備包括根據(jù)本發(fā)明提議的用于增強輸入圖像序列的輸入圖像并獲得已增強輸出圖像的圖像增強裝置和用于顯示輸出圖像的顯示器。


本發(fā)明的這些和其它目的將從參考下文中所描述的實施例而明顯并在以下被更詳細地說明。在附圖中圖I示出根據(jù)本發(fā)明的圖像增強裝置的一般布局，圖2示出根據(jù)本發(fā)明的圖像增強裝置的第一實施例，圖3示出根據(jù)本發(fā)明的圖像增強裝置的第二實施例，圖4示出加權(quán)選擇單元的實施例，圖5示出特征分析單元的實施例，圖6示出去模糊單元的實施例，圖7示出圖像建模單元的實施例，圖8示出圖像建模單元中使用的計算方案，圖9A-9B示出圖像建模單元中使用的另ー計算方案，圖10示出時空細節(jié)信號生成單元的實施例，圖11示出抖動信號生成單元的實施例，圖12示出増益因子計算單元的實施例，圖13示出根據(jù)本發(fā)明的圖像增強裝置的第三實施例，圖14示出根據(jù)本發(fā)明的圖像增強裝置的第四實施例，圖15示出根據(jù)本發(fā)明的圖像增強裝置的第五實施例，圖16示出根據(jù)本發(fā)明的圖像增強裝置的第六實施例，圖17示出組合單元的實施例，圖18示出根據(jù)本發(fā)明的圖像增強裝置的第七實施例，以及圖19示出根據(jù)本發(fā)明的圖像增強裝置的第八實施例。
具體實施例方式圖I示意性地圖示出根據(jù)本發(fā)明的圖像增強裝置100的一般布局。優(yōu)選利用例如從之前的運動估計中獲得的運動向量信息2來對輸入圖像la、lb…的輸入圖像序列I執(zhí)行自適應(yīng)時空圖像增強，來獲得已增強輸出圖像3a、3b 的輸出圖像序列3，其中，索引a、b…指示各個圖像的時間順序。所述輸出圖像3a、3b…可以以一方式被增強以相比于各個輸入圖像la、lb…具有更高分辨率、更高SNR、更少偽像和/或更少噪聲。運動向量信息優(yōu)選包括描述每個像素在X (水平)方向和y (垂直)方向上的運動的運動向量。圖2示出根據(jù)本發(fā)明的圖像增強裝置IOOa的第一實施例，其圖示出一般概念的更多細節(jié)。通過各個信號的索引a、b…指示具體的狀態(tài)和時間關(guān)系。裝置IOOa包括運動補償單元20和加權(quán)選擇單元30，運動補償單元20被配置為通過對在前輸出圖像3a中的運動進行補償來生成至少ー個在前經(jīng)運動補償?shù)膱D像4a，加權(quán)選擇単元30被配置為從所述輸入圖像Ib和所述在前經(jīng)運動補償?shù)膱D像4a生成加權(quán)選擇圖像，其中所述輸入圖像Ib和所述在前經(jīng)運動補償?shù)膱D像4a兩者以各自的選擇加權(quán)因子被加權(quán)。還提供了特征分析単元40，其被配置為至少分析輸入圖像Ib并且通過將輸入圖像Ib分割成具有不同特征的兩個或更多輸入圖像區(qū)域來生成特征信息6、6’。提供了圖像建模單元50，其被配置為通過對所 述輸入圖像Ib和/或所述加權(quán)選擇圖像5應(yīng)用圖像建模,特別是Huber Markov (休伯-馬爾可夫)圖像建模來生成經(jīng)建模圖像7，并且，提供了時空細節(jié)信號生成単元60，其被配置為從所述輸入圖像Ib和所述加權(quán)選擇圖像5a生成細節(jié)信號8。最后，提供了組合單元70，其被配置為通過組合所述輸入圖像lb、所述細節(jié)圖像8和所述經(jīng)建模圖像7來生成所述已增強輸出圖像3b。圖3示出根據(jù)本發(fā)明的圖像增強裝置IOOb的第二更詳細的實施例。輸入序列I的當前輸入圖像Ib在以下也稱為Y(t) (t是時間)，并且輸出序列3的當前輸出圖像3b在以下也稱為Z(t)。對于當前處理步驟，前一處理步驟的輸出圖像3a(也稱為Z(t-1))也要是可用的。為此，在圖像增強之后，輸出圖像3a被寫入幀緩沖器80中，以使得其可被用來處理輸入序列I中的后續(xù)輸入圖像lb。該在前輸出圖像3a在運動補償單元20中被用輸入運動向量2進行運動補償，以使得當前輸入圖像lb( = Y(t))中和經(jīng)運動補償?shù)脑谇拜敵鰣D像4a( = Zfflc(t-1))中的對象處于相同位置。如果該輸入運動向量2是亞像素精度的，則雙線性插值優(yōu)選被用于運動補償。經(jīng)運動補償?shù)脑谇拜敵鰣D像4a和當前輸入圖像Ib隨后使用加權(quán)選擇單元30被組
ム
ロ ο輸入圖像lb、經(jīng)運動補償?shù)妮敵鰣D像4a和加權(quán)選擇圖像5a的局部圖像特征(特別是描述局部特征的特征圖)在特征分析単元40內(nèi)被分析來生成特征信息6、6’。此特征信息6、6’優(yōu)選在圖像增強裝置IOOb中的一個或多個其它単元中被用來實現(xiàn)內(nèi)容自適應(yīng)圖像增強。輸入圖像Ib的特征還在加權(quán)選擇単元30內(nèi)被用來實現(xiàn)輸入圖像Ib和經(jīng)運動補償?shù)妮敵鰣D像4a的內(nèi)容自適應(yīng)加權(quán)功能。如果當前輸入圖像不具有期望的空間輸出分辨率，則初始升級(initialupscaling)在升級單元90中被用來對輸入圖像lb’進行升級并獲得具有期望輸出分辨率的經(jīng)升級圖像lb。因此，該初始升級單元是可根據(jù)輸入分辨率和期望的輸出分辨率來選擇的。對于像高分辨率樣條升級(HRS升級)之類的已知升級方法，例如可以利用插值算法或使用經(jīng)訓(xùn)練的濾波器的算法。輸入運動向量場2優(yōu)選需要具有輸出圖像3a的空間分辨率。因此，優(yōu)選地，執(zhí)行運動向量場2的初步重米樣和長度校正(未不出)。存在用于圖像增強的至少兩個主要子系統(tǒng)。第一主要子系統(tǒng)是時空圖像增強?；谳斎雸D像Ib和加權(quán)選擇圖像5a，時空細節(jié)信號生成單元60生成內(nèi)容自適應(yīng)時空細節(jié)信號?？蛇x地，提供了抖動信號(shakingsignal)生成單元110,其通過使用由加權(quán)選擇單元30提供的加權(quán)因子13來從輸入圖像Ib和經(jīng)運動補償?shù)脑谇拜敵鰣D像4a計算出受亞像素運動向量誤差影響的細節(jié)信號的分量，從而導(dǎo)致在錯誤的圖像位置處產(chǎn)生穩(wěn)定的細節(jié)。這是優(yōu)選的，如果僅像素精度的運動估計被實現(xiàn)作為預(yù)處理步驟的話。在減法單元120中，從時空細節(jié)信號8中減去該抖動信號9。隨后在乘法器130中，剰余的細節(jié)信號10與由(可選的)自適應(yīng)増益因子計算單元140優(yōu)選使用特征信息6所生成的局部內(nèi)容自適應(yīng)増益因子11相乗。在加法單元160中，所產(chǎn)生的細節(jié)信號12與輸入信號Ib相加，產(chǎn)生最終的經(jīng)時空增強的圖像信號12’。第二主要子系統(tǒng)是圖像建模(空間偽像 減少和銳度增強)。圖像建模單元50優(yōu)選基于Huber-Markov隨機場圖像建摸。使用了局部分析方法，基于該方法，執(zhí)行銳度增強或有向低通濾波，在空間上降低噪聲和階梯偽像并銳化邊緣。優(yōu)選地,提供了用于運動去模糊(motion deblurring)的第三主要子系統(tǒng)。運動去模糊単元150接收輸入圖像Ib和加權(quán)選擇圖像5a作為輸入，減少快速運動的圖像序列中存在的運動模糊。運動向量信息2被用來控制濾波器內(nèi)核，該濾波器內(nèi)核被用于圖像增強。經(jīng)去模糊的圖像14還被提供給組合単元70。在組合單元70中，基于由圖像建模單元50生成的控制因子15和運動向量長度(如果使用了運動去模糊的話)組合各個圖像增強子系統(tǒng)的結(jié)果。各個實施例中使用的圖像增強裝置的各個單元在以下被分別描述。應(yīng)當注意，以下描述和示圖應(yīng)當僅被理解成示例性實施例。圖4示出加權(quán)選擇單元30的實施例。加權(quán)選擇單元30從輸入信號Ib (Y(t))和經(jīng)運動補償?shù)那癌`輸出信號4a(Zm。(t-1))計算出組合信號5a。在可靠的運動向量的情況中，經(jīng)運動補償?shù)那癌`輸出信號4a應(yīng)當比輸入信號Ib被更強地加權(quán)，而在不可靠的運動向量的情況中，輸入信號Ib應(yīng)當被更強地加權(quán)以避免運動向量誤差對輸出的較強影響。因此，加權(quán)因子13是基于由SAD計算單元31計算出的局部加和的絕對差(SAD)(具體地在局部3x3塊區(qū)域內(nèi))被計算出的。高SAD描述輸入圖像Ib與經(jīng)運動補償?shù)那耙惠敵鰣D像4a之間的強局部差，這指示運動向量誤差。此假設(shè)沒有考慮到運動向量誤差在平坦的區(qū)域中比在紋理區(qū)域中在輸入圖像Ib與經(jīng)運動補償?shù)那耙惠敵鰣D像4a之間產(chǎn)生更小的差異。因此，在加權(quán)因子計算單元32中，平坦區(qū)域特征圖(如以下所述并被包括在特征信息6中)也優(yōu)選地被用于加權(quán)因子13的計算，以允許細節(jié)區(qū)域中比平坦區(qū)域中的更大差異來對經(jīng)運動補償?shù)那耙惠敵鰣D像4a進行較強的加權(quán)。此外，假設(shè)大的運動向量指示不可靠的或錯誤的運動向量。因此，運動向量長度特征圖(如下所述并被包括在特征信息6中)也優(yōu)選被用于加權(quán)因子計算，導(dǎo)致對輸入信號Ib的強加權(quán)。這產(chǎn)生了用于加權(quán)因子計算的如下等式
. 7 ,. J-I .7-1 j 人temp + 入temp ,adapt fldtAdo.p
L0063」 weightings actor = mvFactor---- 其中，A tMp (例如范圍從2至15)和\ temp, adapt (例如范圍從0至10)是例如由用戶設(shè)置的預(yù)先定義的控制參數(shù)。mvFactor是根據(jù)運動向量長度圖計算出的。SAD是在當前經(jīng)升級的第分辨率輸入圖像lb’和在前經(jīng)運動補償?shù)母叻直媛蕡D像4a之間的例如3x3像素的塊上計算出的加和絕對差。其在低于第一運動向量長度閾值時被設(shè)置為I并在第二閾值以上時被遞減直到O。為了計算加權(quán)選擇圖像5a，經(jīng)運動補償?shù)那癌`輸出圖像4a在第一乘法單元33中被乘以加權(quán)因子13，并且輸入信號Ib在第二乘法單元34中被乘以(I減去加權(quán)因子13)。所產(chǎn)生的經(jīng)加權(quán)信號4aw和Ibw隨后在加法單元35中被加和并被用作加權(quán)選擇單元30的加權(quán)選擇信號5a。此外，加權(quán)因子13被轉(zhuǎn)發(fā)，以使其可以被用在其它單元中。圖5示出特征分析単元40的實施例。在特征分析単元40中，優(yōu)選地，在特征圖生成単元46中基于運動向量信息2、輸入圖像lb(Y(t))、經(jīng)運動補償?shù)那耙惠敵鰣D像4a(Zfflc(t-Ι))和加權(quán)選擇圖像5a來生成作為特征信息6、6’的4個不同的特征圖，S卩，特征圖生成單元46將若干輸入圖像組合成單個級聯(lián)流(concatenated stream)。這些特征圖 是a)運動向量長度圖運動向量長度圖是從運動向量2(mvx和mvy)計算出的,運動向量2的長度是在運動向量長度計算單元41中通過如下等式計算出的
權(quán)利要求
1 ー種圖像增強裝置(100)，用于增強輸入圖像序列(I)的輸入圖像(Ib)并獲得已增強輸出圖像(3b)，所述裝置(100)包括 運動補償單元(20)，被配置為通過對在前輸出圖像(3a)中的運動進行補償來生成至少ー個在前經(jīng)運動補償?shù)膱D像(4a)， 加權(quán)選擇単元(30)，被配置為從所述輸入圖像和所述在前經(jīng)運動補償?shù)膱D像(4a)生成加權(quán)選擇圖像(5a)，其中，所述輸入圖像和所述在前經(jīng)運動補償?shù)膱D像(4a) 二者用各自的選擇加權(quán)因子被加權(quán)， 特征分析単元(40)，被配置為至少分析所述輸入圖像(Ib)并通過將所述輸入圖像(Ib)分割成具有不同特征的兩個或更多個輸入圖像區(qū)域來生成特征信息出，6’)， 圖像建模單元(50)，被配置為通過對所述輸入圖像(Ib)和/或所述加權(quán)選擇圖像 (5a)應(yīng)用圖像建模特別是Huber Markov圖像建模來生成經(jīng)建模圖像(7)， 時空細節(jié)信號生成単元(60)，被配置為從所述輸入圖像(Ib)和所述加權(quán)選擇圖像(5a)生成細節(jié)信號(8)，以及 組合單元(70)，被配置為從所述輸入圖像(lb)、所述細節(jié)信號(8)和所述經(jīng)建模圖像(7)生成所述已增強輸出圖像(3b)。
2.如權(quán)利要求I所述的圖像處理裝置(100)，還包括 去模糊単元(150)，被配置為通過對所述加權(quán)選擇圖像(5a)和/或所述輸入圖像(Ib)應(yīng)用局部模糊內(nèi)核來生成經(jīng)去模糊圖像(14)， 其中，所述組合単元(70)被配置為從所述輸入圖像(lb)、所述細節(jié)信號(8)、所述經(jīng)建模信號(8)和所述經(jīng)去模糊信號(14)來生成所述已增強輸出圖像(3b)。
3.如之前任ー權(quán)利要求所述的圖像處理裝置(100)，還包括 抖動信號生成単元(110)，被配置為從所述輸入圖像(Ib)和所述在前經(jīng)運動補償?shù)膱D像(4a)生成抖動信號(9)，所述抖動信號表示亞像素運動向量誤差，以及 加法単元(120)，被配置為在所述細節(jié)信號被所述組合単元(70)使用之前從所述細節(jié)信號(8)中減去所述抖動信號(9)。
4.如之前任ー權(quán)利要求所述的圖像處理裝置(100)，還包括 升級單元(90)，被配置為通過對所提供的圖像(lb’ )進行升級，特別是通過諸如高分辨率樣條插值之類的插值，來生成輸入圖像(lb)。
5.如之前任ー權(quán)利要求所述的圖像處理裝置(100)，還包括 幀緩沖器(80)，被配置為緩沖一個或多個在前輸出圖像(3a)以供所述運動補償單元(20)使用。
6.如之前任ー權(quán)利要求所述的圖像處理裝置(100)， 其中，所述加權(quán)選擇單元(30)被配置為基于所述特征信息和/或所述輸入圖像與所述在前經(jīng)運動補償?shù)膱D像之間的局部加和絕對差來確定所述各自的選擇加權(quán)因子。
7.如之前任ー權(quán)利要求所述的圖像處理裝置(100)， 其中，所述加權(quán)選擇單元(30)被配置為通過如下方式來生成所述加權(quán)選擇圖像(5a)將在利用第一選擇加權(quán)因子對所述輸入圖像(Ib)加權(quán)后的所述輸入圖像(Ib)與在利用第ニ選擇加權(quán)因子對所述在前經(jīng)運動補償?shù)膱D像(4a)進行加權(quán)后的所述在前經(jīng)運動補償?shù)膱D像(4a)相加。
8.如權(quán)利要求7所述的圖像處理裝置(100)， 其中，所述加權(quán)選擇單元(30)被配置為生成所述第一選擇加權(quán)因子和所述第二選擇加權(quán)因子以使得所述第一選擇因子和所述第二選擇加權(quán)因子的和是I。
9.如之前任ー權(quán)利要求所述的圖像處理裝置(100)， 其中，所述特征分析単元(40)被配置為生成一個或多個特征圖(6，6’ )來作為特征信息，所述ー個或多個特征圖包括運動向量長度圖、平坦圖、噪聲圖和邊緣增益圖中的ー個或多個。
10.如權(quán)利要求9所述的圖像處理裝置(100)， 其中，所述特征分析単元(40)被配置為從描述連續(xù)輸入圖像之間的運動的運動向量信息(2)生成所述運動向量長度圖。
11.如權(quán)利要求9所述的圖像處理裝置(100)， 其中，所述特征分析単元(40)被配置為檢測所述輸入圖像(Ib)中的平坦區(qū)域以用于生成所述平坦圖。
12.如權(quán)利要求9所述的圖像處理裝置(100)， 其中，所述特征分析単元(40)被配置為從所述輸入圖像(Ib)和所述在前經(jīng)運動補償?shù)膱D像(4a)確定組合局部標準偏差以用于生成所述噪聲圖。
13.如權(quán)利要求9所述的圖像處理裝置(100)， 其中，所述特征分析単元(40)被配置為檢測所述加權(quán)選擇圖像(5a)中的邊緣以用于生成所述邊緣増益圖。
14.如權(quán)利要求2所述的圖像處理裝置(100)， 其中，所述去模糊単元(150)被配置為對所述加權(quán)選擇圖像(5a)進行低通濾波并從所述輸入圖像(Ib)中減去它，其中，所述濾波所使用的所述局部模糊內(nèi)核是從描述連續(xù)輸入圖像之間的運動的運動向量信息(2)自適應(yīng)地確定的。
15.如之前任ー權(quán)利要求所述的圖像處理裝置(100)，其中，所述圖像建模單元(50)包括 低通濾波器組單元(51)，被配置為對所述加權(quán)選擇圖像(5a)進行低通濾波， 高頻信號生成単元(53)，被配置為從所述輸入圖像(Ib)生成拉普拉斯算子， 控制單元(54)，被配置為檢測所述輸入圖像(Ib)中的邊緣區(qū)域和方向， 選擇單元(52)，被配置為接收所述低通濾波器組單元(51)、所述高頻信號生成単元(53)和所述控制単元(54)的輸出并基于檢測到的邊緣區(qū)域和方向來選擇所述低通濾波器組單元(51)和/或所述高頻信號生成単元(53)的輸出數(shù)據(jù)，以及 圖像建模組合単元(55)，用于對所述低通濾波器組單元(51)和/或所述高頻信號生成単元(53)的選定輸出數(shù)據(jù)進行組合，特別是進行相加。
16.如之前任ー權(quán)利要求所述的圖像處理裝置(100)，其中，所述時空細節(jié)信號生成單元(60)包括低通濾波器(61)，被配置為對所述輸入圖像(Ib)進行低通濾波并從所述加權(quán)選擇圖像(5a)中減去經(jīng)低通濾波的所述輸入圖像。
17.如權(quán)利要求16所述的圖像處理裝置(100)，其中，所述時空細節(jié)信號生成単元(60)還包括 局部方差估計單元(64)，被配置為從所述輸入圖像(Ib)估計所述低通濾波器￠1)的濾波器內(nèi)核的局部方差，以及 自適應(yīng)濾波器選擇單元(65)，被配置為基于所估計的局部方差和ー組可用濾波器來選擇所述低通濾波器￠1)的最優(yōu)濾波器內(nèi)核。
18.如權(quán)利要求3所述的圖像處理裝置(100)， 其中，所述抖動信號生成単元(110)被配置為對所述輸入圖像(Ib)與所述在前經(jīng)運動補償?shù)膱D像(4a)之間的差分圖像(114)進行低通濾波并利用選擇加權(quán)因子(13)對經(jīng)低通濾波的所述差分圖像(114)進行加權(quán)來獲得所述抖動信號(9)。
19.如權(quán)利要求18所述的圖像處理裝置(100)， 其中，所述抖動信號生成単元(110)被配置為利用所述加權(quán)選擇單元(30)對所述輸入圖像(Ib)和所述在前經(jīng)運動補償?shù)膱D像(4a)進行加權(quán)所使用的相同選擇加權(quán)因子來對經(jīng) 低通濾波的所述差分圖像(114)加權(quán)。
20.如之前任ー權(quán)利要求所述的圖像處理裝置(100)，還包括 乘法單元(130)，被配置為將所述細節(jié)信號(8，10)與預(yù)定增益因子(11)相乗， 其中，所述組合単元(70)被配置為從所述輸入圖像(lb)、被乘以所述增益因子(11)的所述細節(jié)信號(8)以及所述經(jīng)建模圖像(7)生成所述已增強輸出圖像(3b)。
21.如權(quán)利要求9或20所述的圖像處理裝置(100)，還包括 増益因子計算單元(140)，被配置為從所述特征信息￠)生成所述增益因子(11)。
22.如權(quán)利要求21所述的圖像處理裝置(100)， 其中，所述增益因子計算單元(140)被配置為通過將所述平坦圖、所述噪聲圖、I減去所述邊緣增益圖和全局預(yù)定增益值(16)相乘來生成所述增益因子(11)。
23.如之前任ー權(quán)利要求所述的圖像處理裝置(100)，還包括 加法単元(160)，被配置為將所述細節(jié)信號(8)與所述輸入圖像(Ib)相加來生成高細節(jié)圖像(8，)， 其中，所述組合単元(7)被配置為通過將所述高細節(jié)圖像(8’)與所述經(jīng)建模圖像(7)組合來生成所述已增強輸出圖像(3b)。
24.如之前任ー權(quán)利要求所述的圖像處理裝置(100)， 其中，所述運動補償單元(20)被配置為使用先前獲得的和/或存儲在運動補償信息存儲裝置(200)中的運動補償信息(2)和/或運動向量(2)。
25.如權(quán)利要求I至24中任ー項所述的圖像處理裝置(100)， 其中，所述運動補償單元(20)被配置為從所述輸出圖像(3)生成運動向量(2)和/或運動補償信息(2)。
26.如權(quán)利要求15所述的圖像處理裝置(100)， 其中，所述運動補償單元(20)被配置為通過對從在當前輸入圖像(Ib)緊前的輸入圖像(Ia)轉(zhuǎn)換來的緊前輸出圖像(3a)中的運動進行補償來生成所述至少ー個在前經(jīng)運動補償?shù)膱D像(4a)。
27.ー種圖像增強方法，用于增強輸入圖像序列(I)的輸入圖像(Ib)并獲得已增強輸出圖像(3b)，所述方法包括如下步驟 通過對在前輸出圖像(3a)中的運動進行補償來生成至少ー個在前經(jīng)運動補償?shù)膱D像(4a),從所述輸入圖像和所述在前經(jīng)運動補償?shù)膱D像(4a)生成加權(quán)選擇圖像(5a)，其中，所述輸入圖像和所述在前經(jīng)運動補償?shù)膱D像(4a) 二者用各自的選擇加權(quán)因子被加權(quán)， 至少分析所述輸入圖像(Ib)并通過將所述輸入圖像(Ib)分割成具有不同特征的兩個或更多個輸入圖像區(qū)域來生成特征信息出，6’)， 通過對所述輸入圖像(Ib)和/或所述加權(quán)選擇圖像(5a)應(yīng)用圖像建模特別是HuberMarkov圖像建模來生成經(jīng)建模圖像(7)， 從所述輸入圖像(Ib)和所述加權(quán)選擇圖像(5a)生成細節(jié)信號(8)，以及從所述輸入圖像(lb)、所述 細節(jié)信號(8)和所述經(jīng)建模圖像(7)生成所述已增強輸出圖像(3b)。
28.—種顯不設(shè)備,包括 如權(quán)利要求1-24中任一項所述的用于增強輸入圖像序列(I)的輸入圖像(Ib)并獲得已增強輸出圖像(3b)的圖像增強裝置(100)，以及用于顯示所述輸出圖像(3b)的顯示器。
29.一種計算機程序，包括當所述計算機程序在計算機上被執(zhí)行時令計算機執(zhí)行如權(quán)利要求27所述的方法的步驟的程序代碼裝置。
30.一種存儲了指令的計算機可讀非暫時性介質(zhì)，所述指令當在計算機上被執(zhí)行時令計算機執(zhí)行如權(quán)利要求27所述的方法的步驟。
全文摘要
本發(fā)明公開了圖像增強裝置和方法。本發(fā)明涉及圖像增強裝置(100)，其用于增強輸入圖像序列(1)的輸入圖像(1b)并獲得已增強輸出圖像(3b)，包括運動補償單元(20)，被配置為生成至少一個在前經(jīng)運動補償圖像(4a)；加權(quán)選擇單元(30)，被配置為生成加權(quán)選擇圖像(5a)；特征分析單元(40)，被配置為生成特征信息(6，6’)；圖像建模單元(50)，被配置為通生成經(jīng)建模圖像(7)；時空細節(jié)信號生成單元(60)，被配置為生成細節(jié)信號(8)；以及組合單元(70)，被配置為生成所述已增強輸出圖像(3b)。
文檔編號G06T5/00GK102651122SQ20121004798
公開日2012年8月29日 申請日期2012年2月24日 優(yōu)先權(quán)日2011年2月24日
發(fā)明者保羅·斯普林格, 西徹, 馬丁·里克特, 麥特瑟斯·布魯格瑪尼 申請人:索尼公司