專利名稱：測量銳度增強函數(shù)的客觀質(zhì)量的成本函數(shù)的制作方法
技術(shù)領域：
本發(fā)明總體上涉及視頻圖像的銳度增強，具體而言，涉及一種計算成本函數(shù)以識別最佳增強等級的的系統(tǒng)和方法。
現(xiàn)有的許多視頻增強技術(shù)依照改善最終圖像的這種方式來修改圖像內(nèi)容。改善可以是由于圖像中某些偽跡的減弱，由于圖像中某些信息的加強，或甚至由于新的視頻數(shù)據(jù)的添加。視頻增強的一個例子是降噪函數(shù)，其中，從圖像中濾出不需要的數(shù)據(jù)以改善最后的圖像質(zhì)量。視頻增強的另一個例子是銳度改善，其中有選擇地增強已存在的高頻，或向圖像中增加新的高頻以改善所感知的銳度。
然而，因為對于相同圖像數(shù)據(jù)來說通過視頻增強算法的層疊(cascade)并非不尋常的，所以保證最佳圖像質(zhì)量是十分重要的。作為簡化的例子，可以想到降噪和銳度增強算法的層疊。所述降噪算法可以降低圖像中看起來是隨機的高頻，把它們視為噪聲，而所述銳度增強函數(shù)會放大那些頻率——把它們視為紋理。盡管人們也許期望降噪算法在降噪上能夠很好地表現(xiàn)，但是并不必要產(chǎn)生無噪聲的圖像。因而，所述銳度增強算法需要考慮“剩余”噪聲。
簡言之，用于增強圖像的函數(shù)實質(zhì)上是復雜的，對相同圖像數(shù)據(jù)操作，并且相互關聯(lián)。因此，當設計和聯(lián)系各種視頻增強函數(shù)時需要極大的小心。
當正好設計銳度增強系統(tǒng)時需要面對類似的問題，因為通常希望不止實現(xiàn)銳度增強函數(shù)。即，在利用多個銳度增強函數(shù)的系統(tǒng)中，所述函數(shù)的相互關聯(lián)性可以導致如上所述的同樣類型的問題。
銳度增強函數(shù)例如可以修改邊緣梯度以產(chǎn)生銳度增強，常常稱作‘亮度瞬態(tài)改善’(LTI)。在梯度附近增加過沖和下沖是改善所述銳度效果(即，“馬赫帶”(Mach Band)效應)的另一個方式。通過有選擇地放大圖像中的中帶和/或高帶頻率來達到此效果，并且將這種做法稱為“脈沖修尖(peaking)”。


圖1描述了銳度增強系統(tǒng)10的實現(xiàn)，所述銳度增強系統(tǒng)10使用一對算法或增強函數(shù)16(例如，脈沖修尖和LTI)來增強原始圖像12。
所述增強圖像輸出14被這樣定義Fenh(x‾,n)=F(x‾,n)+α*Fenh1(x‾,n)+β*Fenh2(x‾,n)---(1)]]>其中F(x，n)是輸入視頻信號，x‾=xy]]>是位置，n是圖像數(shù)目，F(xiàn)enh1是增強1的輸出，例如脈沖修尖，并且Fenh2是增強2的輸出，例如，LTI。系數(shù)α和β被定義為所述“增強向量”。
在常規(guī)方法中，根據(jù)輸入信號F(x，n)的特征，獨立地選擇系數(shù)α和β，同時設計增強函數(shù)16中的每一個。如圖1所示，在組合的方案中，所述參數(shù)通?？梢酝ㄟ^實驗獲得最優(yōu)以達到合理的設置。這是一項重要的任務，并且如果所述系統(tǒng)很大時它會相當?shù)娜唛L。同樣，因為系數(shù)α和β被假定為是獨立的，所以在函數(shù)中也不能明確地看出其相關性，如果沒有執(zhí)行徹底地測試，會導致偽跡。
此系統(tǒng)的另一個缺點是它不易于擴展或修改函數(shù)16的設置，這是因為需要重復‘人工的’最優(yōu)化任務。同樣，在函數(shù)16中空間的和時間的一致性不被考慮。即使在獨立算法的設計期間，也要注意一致性，算法的結(jié)合可以對其改變。
因此，存在關于執(zhí)行視頻增強的系統(tǒng)和方法的需要，所述視頻增強是完全可擴展的，考慮了各種函數(shù)的相關性，并且保證空間的和時間的一致性。
本發(fā)明通過提供一種用于計算表示銳度質(zhì)量的成本函數(shù)的系統(tǒng)和方法，來致力于解決以上及其它問題?？梢允褂贸杀竞瘮?shù)來幫助在具有多個增強函數(shù)的系統(tǒng)中從一組向量中選擇增強向量。
依照第一方面，本發(fā)明提供了一種接收輸入圖像并且輸出增強圖像的銳度增強系統(tǒng)，所述銳度增強系統(tǒng)包括增強所述輸入圖像的多個增強函數(shù)；和選擇用于多個增強函數(shù)的增強向量的圖像質(zhì)量分析器，其中根據(jù)成本函數(shù)從一組向量中選擇所述增強向量，所述成本函數(shù)包括(1)梯度分析，和(2)動態(tài)范圍分析。
依照第二方面，本發(fā)明提供了一種存儲在可記錄介質(zhì)上的程序產(chǎn)品，所述可記錄介質(zhì)接收輸入圖像并且輸出增強圖像，所述程序產(chǎn)品包括增強所述輸入圖像的多個增強函數(shù)；和選擇用于多個增強函數(shù)的增強向量的裝置，其中根據(jù)成本函數(shù)從一組向量中選擇所述增強向量，所述成本函數(shù)計算(1)梯度分析，和(2)動態(tài)范圍分析。
依照第三方面，本發(fā)明提供了增強輸入圖像的銳度以產(chǎn)生增強圖像的方法，所述方法包括提供增強所述輸入圖像的多個增強函數(shù)；選擇用于多個增強函數(shù)的增強向量，其中根據(jù)已計算的成本函數(shù)從一組向量中選擇所述增強向量，其中所述成本函數(shù)使用下列計算(1)梯度分析，和(2)動態(tài)范圍分析。
根據(jù)以下結(jié)合附圖對本發(fā)明各個方面的詳細描述，可以更容易地理解本發(fā)明的這些及其他特征，其中圖1描述了增強系統(tǒng)。
圖2描述了依照本發(fā)明的增強系統(tǒng)。
圖3描述了依照本發(fā)明的圖像質(zhì)量分析器。
圖4描述了依照本發(fā)明的計算梯度的例子。
圖5描述了依照本發(fā)明的用于分析動態(tài)范圍的圖表。
1.概述在這里描述了用于在銳度增強系統(tǒng)中改善一組增強函數(shù)性能的系統(tǒng)和方法。為達到此目的，客觀地測量輸出質(zhì)量，繼而修改與獨立增強函數(shù)相關聯(lián)的增益，以便達到最優(yōu)質(zhì)量。通過分析與所述獨立函數(shù)的輸出相反的系統(tǒng)輸出，來消除相關性的問題。
圖2示出了利用所建議技術(shù)的系統(tǒng)20的示意圖。在圖2中，包括了附加塊，即圖像質(zhì)量分析器30，并且包括一組候選向量(αi和βi)來代替僅僅具有系數(shù)α和β。如下所述，本發(fā)明提供了一種其中構(gòu)成增強向量的系數(shù)α和β不是被獨立地選擇的系統(tǒng)。更確切些，所述圖像質(zhì)量分析器30根據(jù)輸出質(zhì)量從向量(αi，βi)的候選組中選擇最佳增強向量(αopt，βopt)，所述輸出質(zhì)量是由組中的每一個向量產(chǎn)生的。為達到此目的，利用成本函數(shù)來確定應當使用來自所述增強向量組中的哪個向量。下面詳細描述所述成本函數(shù)的執(zhí)行過程。
一旦圖像質(zhì)量分析器30選擇了增強向量(αopt，βopt)，就將增強向量同增強函數(shù)一起應用到當前塊。圖像質(zhì)量分析器為圖像中的每一個塊選擇增強向量。
如下給出圖2中系統(tǒng)30的輸出
Fenh(x‾,n)=F(x‾,n)+αopt*Fenh1(x‾,n)+βopt*Fenh2(x‾,n),---(2)]]>其中從一組向量(αi，βi)中選擇構(gòu)成增強向量(αopt，βopt)的系數(shù)，其中i＝1，2...候選數(shù)目。應當認識到，所描述的系統(tǒng)并不局限于兩個增強函數(shù)26。如果存在更多的有助于圖像銳度的函數(shù)，所述增強向量可以擴展為(α，β，γ...)。
2.圖像質(zhì)量分析器現(xiàn)在參照圖3，示出了示例性的圖像質(zhì)量分析器30。所述圖像質(zhì)量分析器30包括從一組候選向量46選擇增強向量40的增強向量選擇系統(tǒng)38。使用包括梯度分析34和動態(tài)范圍控制36的成本函數(shù)32來完成所述增強向量的選擇。
來自候選組的最好或最佳增強向量的估算被定義為產(chǎn)生最小成本的那一個，即，最佳向量＝(αopt，βopt)＝{(αi，βi)|e(αi，βi)＜e(αi，βi)j，j≠i}(3)其中i＝1，2，...候選數(shù)目，并且e()是帶有向量αi，βI作為參數(shù)的成本函數(shù)。
所述成本函數(shù)32應當結(jié)合用于定義優(yōu)質(zhì)并且提供偽跡預防機制的所有因素。例如，在銳度增強函數(shù)的情況下，梯度的陡度是一個重要因素并且應當在成本函數(shù)中考慮。應當避免像由銳度改善引起的圖形失真之類的偽跡。因此，在成本函數(shù)32中也應當包括保護機制。成本函數(shù)32定義了圖像質(zhì)量改進的相對量。
注意，在成本函數(shù)32中使用αi*Fenh1(x，n)+βi*Fenh2(x，n)來測量相對質(zhì)量。這與常規(guī)方法中分別處理α和β有所不同。因此，在增強函數(shù)26中解決了相關性。
為了改善一致性并且降低計算工作量，以標準定義“SD”網(wǎng)格上的8×8像素大小的典型塊，在逐塊基礎上確定增強向量40。因此，每一個8×8大小的塊同常規(guī)方法中每一像素相比，具有與其相關聯(lián)的增強向量40(α，β)。注意，位于塊位置b＝(bxby)T的增強向量(α，β)可以被寫為E(b，n)，其中bx是幀n在x方向的塊數(shù)目，而by是幀n在y方向上的塊數(shù)目。但是為了簡便，使用了(α，β)。
3.成本函數(shù)細節(jié)依照此示例性的實施例，為圖像中每個塊的每個候選向量計算成本。然后使用具有最低值的向量，所述向量由所述成本函數(shù)確定。所建議的成本函數(shù)對此具有兩個部分(1)梯度估算，和(2)動態(tài)范圍控制。
A.梯度估算改善銳度的一個方法是使在增強圖像24中的邊緣梯度比原始圖像22中的更加陡峭。為達到此目的，必須首先定位在圖像中包括邊緣中心的邊緣位置。首先找到關于原始圖像22的每塊中對于每個邊緣的邊緣中心?？梢栽诿總€塊上使用邊緣檢測器來找到邊緣映射和對應的邊緣中心。注意，可能有不包含邊緣的塊，在這種情況下，可以跳過所述塊。一旦定位邊緣中心，就從成本函數(shù)32中減去環(huán)繞所述邊緣中心的“n”個像素對的梯度。在圖4中描述了這個例子。
圖4描述了四個邊緣映射，系列1-4，使用四個候選向量來計算。在所述塊由所述增強函數(shù)的其中一個增強之后，每個邊緣映射或“邊緣”表示將每個向量應用于視頻數(shù)據(jù)塊。每個邊緣在像素或數(shù)據(jù)點4具有一亮度值為100的邊緣中心。注意，在圖4所示的例子中，每個邊緣具有相同的高度和寬度，但梯度是不同的。一個用于在成本函數(shù)中精確地捕獲梯度信息的示例性方法是從所述成本函數(shù)中減去邊緣中心周圍的三個像素對的絕對差。使用這個公式，所述四個候選向量中每一個的成本函數(shù)如下Cost_function[1]-＝abs(170-30)+abs(180-20)+abs(190-10)＝-480Cost_function[2]-＝abs(150-50)+abs(180-20)+abs(190-10)＝-440Cost_function[3]-＝abs(140-60)+abs(170-30)+abs(190-10)＝-400Cost_function[4]-＝abs(120-80)+abs(160-40)+abs(190-10)＝-340因此，具有最陡邊緣的候選向量1有最小的值。
B.動態(tài)范圍控制如前所述，改善邊緣梯度是在圖像中改善銳度的一種方式。另一個加大銳度的方式是通過在邊緣周圍增加一定量的過沖和下沖(即，Mach-Band效應)。注意，雖然這兩種方法都加大銳度，然而最后所得到的圖像并不總能得到改善，尤其當增加過沖和下沖時。具體地說，由于所述梯度不能增加超過所述邊緣的高度，所以必須對梯度可以加大到什么程度設置界限。然而，在增加過沖和下沖的情況下，沒有界限。唯一的界限是在亮度范圍界限(用于8位亮度值的0-255)，超過其像素值被限幅。從而，每當使用“脈沖修尖”的典型方法來完成銳度加大時，需要設置關于下沖和過沖量的界限。
為了把這個分析結(jié)合到成本函數(shù)，使用下列技術(shù)來設置界限。首先，計算來自原始圖像的塊的動態(tài)范圍?？梢杂萌魏畏椒▉碛嬎銐K的動態(tài)范圍。例如，可以使用在塊中具有最高亮度值的五個像素的平均值來提供最大值。類似地，可以使用在塊中具有最低亮度值的五個像素的平均值來提供最小值。然后，所述動態(tài)范圍就是最大值-最小值。
注意，如果塊的動態(tài)范圍不是很大，那么由于它可能是有噪聲的區(qū)域，所以應該避免任何銳度加大。類似地，如果塊的動態(tài)范圍很大，也應當避免任何銳度加大，由于所述塊已經(jīng)銳利并且任何更進一步的加大只能導致限幅(clipping)。因此，只有在剩下的區(qū)域才應該增加過沖和下沖。根據(jù)在塊中的所述動態(tài)范圍和最高、最低像素的值，能夠用如下所述的方法來計算所允許的過沖和下沖。
注意，過沖和下沖的量取決于在所述塊中最高和最低像素的值。因此，如果在塊中像素的最高亮度值非常接近255(8位亮度值范圍)，繼而即使所述動態(tài)范圍不大也不應當允許過沖。類似地，如果塊中像素的最低值非常接近0，那么由于所述值將被限幅在0所以不應當允許下沖。
圖5舉例說明了上述思想，其中示出了怎樣根據(jù)塊的動態(tài)范圍和在這個塊中的最高亮度像素值來控制過沖的量。如圖5所示，所述塊的動態(tài)范圍在0-255之間。依靠最高亮度像素組和動態(tài)范圍的值，可以確定過沖的量。
參考下列例子。假定最大像素值是150，并且最小值是50，那么所述動態(tài)范圍是100。那么通過把動態(tài)范圍值100(z軸)和最大值150(x軸)插入圖5的圖表里，可以確定過沖的量(y軸)。在這個例子里，所允許過沖量大約是20。進而，所述塊的最大允許值的量或“最大控制值”就是最大像素值(150)加上允許過沖的量(20)，即170。對于下沖可以完成類似的用于確定“最小控制值”的計算。最大和最小控制值定義了“控制動態(tài)范圍”。
一旦確定了所控制的動態(tài)范圍，就可以按如下將像素信息(在由任何增強函數(shù)增強的塊之后計算)并入成本函數(shù)32。如果增強的像素在所控制的動態(tài)范圍內(nèi)，那么從成本函數(shù)中減去所述像素的值。如果所述增強像素不在所控制的動態(tài)范圍內(nèi)，那么就將所述像素的值(盈值)加到成本函數(shù)上。
因此，一旦確定所控制的動態(tài)范圍值，圖像質(zhì)量分析器30就能夠在塊中逐個移動像素，并且測試以發(fā)現(xiàn)在何處像素超出所控制的動態(tài)范圍。如果像素值超出給定范圍，將超出量添加到成本函數(shù)32，而如果在所述范圍內(nèi)，就減去該值。對所有的候選向量都這樣做。用這種方法，圖像質(zhì)量分析器可以找出哪個向量對所述塊過度銳化，而哪個向量沒有。
4.成本函數(shù)實現(xiàn)使用上述兩種方法，計算每個候選向量的成本，并且產(chǎn)生最低成本的那一個被選為最佳增強向量。具有四個候選向量的成本函數(shù)32的示例性的偽碼如下
可以理解，這里所描述的系統(tǒng)、函數(shù)、機制、電路、方法和模塊可以由硬件、軟件或硬件和軟件的結(jié)合來實現(xiàn)。它們可以由適合于執(zhí)行這里所描述的方法的任何計算機系統(tǒng)或其它設備來實現(xiàn)。代表性的硬件和軟件的結(jié)合可以是具有計算機程序的通用計算機系統(tǒng)，當加載并執(zhí)行所述計算機程序時，所述計算機程序控制計算機系統(tǒng)以使其執(zhí)行這里所描述的方法。做為選擇，可以使用專用計算機，所述專用計算機包含用于執(zhí)行一個或多個本發(fā)明可以利用的函數(shù)任務的專門硬件。本發(fā)明還可以被嵌入到計算機程序產(chǎn)品中，其包括使這里描述的方法和函數(shù)執(zhí)行的所有特征，并且當其加載到計算機系統(tǒng)中時，其能夠執(zhí)行這些方法和函數(shù)。在本文中，計算機程序、軟件程序、程序、程序產(chǎn)品或軟件意指用任何語言、代碼或符號的指令集的任何表達，所述指令集使具有信息處理能力的系統(tǒng)直接地執(zhí)行特定函數(shù)，或在下列之一情況下或均發(fā)生時執(zhí)行特定函數(shù)(a)轉(zhuǎn)換為另一種語言、代碼或符號；和/或(b)以不同的實質(zhì)形式再現(xiàn)。
前述的本發(fā)明的優(yōu)選實施例是為了舉例說明和描述的目的而示出的。它們并不意指窮舉或限制本發(fā)明為所公開的精確形式，而且顯然地，按照上述教導，許多修改和變化是可能的。這樣的修改和變化對所屬技術(shù)領域人員來說是顯而易見的，并且包括在如所附權(quán)利要求定義的本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種接收輸入圖像[22]并且輸出增強圖像[24]的銳度增強系統(tǒng)[20]，所述銳度增強系統(tǒng)[20]包括-增強所述輸入圖像[22]的多個增強函數(shù)[26]；和-為多個增強函數(shù)[26]選擇增強向量[40]的圖像質(zhì)量分析器[30]，其中根據(jù)成本函數(shù)[32]從一組向量[46]中選擇所述增強向量[40]，所述成本函數(shù)包括(1)梯度分析[34]，和(2)動態(tài)范圍分析[36]。
2.如權(quán)利要求1所述的銳度增強系統(tǒng)[20]，其中為輸入圖像[22]中的每個塊[42]選擇增強向量[40]。
3.如權(quán)利要求1所述的銳度增強系統(tǒng)[20]，其中所述動態(tài)范圍分析[36]包括-用于計算來自所述輸入圖像[22]的塊[42]的受控動態(tài)范圍的機制；和-在由至少一個增強函數(shù)增強所述塊之后，用于估算相對于受控動態(tài)范圍的塊[42]中的每一個像素。
4.如權(quán)利要求3所述的銳度增強系統(tǒng)[20]，其中根據(jù)以下計算所述受控動態(tài)范圍-塊[42]中的最大和最小像素值；和-與所述塊[42]相關聯(lián)的所允許的過沖和下沖量。
5.如權(quán)利要求3所述的銳度增強系統(tǒng)[20]，其中用于估算每一像素的機制為超出受控動態(tài)范圍的每個像素增加成本函數(shù)[32]。
6.如權(quán)利要求3所述的銳度增強系統(tǒng)[20]，其中用于估算每一像素的機制為在受控動態(tài)范圍內(nèi)的每個像素減少成本函數(shù)[32]。
7.如權(quán)利要求1所述的銳度增強系統(tǒng)[20]，其中所述梯度分析[34]包括-用于計算來自輸入圖像[22]的塊的邊緣中心的機制；和-在由至少一個增強函數(shù)增強了所述塊之后，用于計算最接近邊緣中心的梯度值的機制。
8.如權(quán)利要求7所述的銳度增強系統(tǒng)[20]，其中所述梯度值等于最接近邊緣中心的三個像素對的絕對差的總和。
9.如權(quán)利要求8所述的銳度增強系統(tǒng)[20]，其中從成本函數(shù)[32]中減去所述梯度值。
10.如權(quán)利要求1所述的銳度增強系統(tǒng)[20]，其中所述圖像質(zhì)量分析器[30]為在向量[46]組中的每一個向量計算成本函數(shù)[32]。
11.如權(quán)利要求10所述的銳度增強系統(tǒng)[20]，其中所述圖像質(zhì)量分析器[30]選擇增強向量[40]作為具有所述最低計算成本的向量。
12.一種存儲在可記錄介質(zhì)上的程序產(chǎn)品，所述程序產(chǎn)品接收輸入圖像[22]并且輸出增強圖像[24]，所述程序產(chǎn)品包括-增強輸入圖像[22]的多個增強函數(shù)[26]；和-為多個增強函數(shù)[26]選擇增強向量[40]的裝置，其中根據(jù)成本函數(shù)[32]從一組向量[46]中選擇所述增強向量[40]，所述成本函數(shù)[32]計算(1)梯度分析[34]，和(2)動態(tài)范圍分析[36]。
13.一種輸入圖像[22]的銳度增強方法，用于產(chǎn)生增強圖像[24]，所述方法包括-提供增強輸入圖像[22]的多個增強函數(shù)[26]；-為多個增強函數(shù)[26]選擇增強向量[40]，其中根據(jù)所計算的成本函數(shù)[32]從一組向量[46]中選擇增強向量[40]，其中使用下列來計算成本函數(shù)[32](1)梯度分析[34]，和(2)動態(tài)范圍分析[36]。
全文摘要
一種用于使用成本函數(shù)來選擇多個增強函數(shù)的增強向量的系統(tǒng)和方法。描述了一種接收輸入圖像(22)并且輸出增強圖像(24)的銳度增強系統(tǒng)(20)，所述銳度增強系統(tǒng)(20)包括增強輸入圖像(22)的多個增強函數(shù)(26)；和為多個增強函數(shù)(26)選擇增強向量的圖像質(zhì)量分析器(30)，其中根據(jù)成本函數(shù)從一組向量中選擇增強向量，所述成本函數(shù)包括(1)梯度分析，和(2)動態(tài)范圍分析。
文檔編號G06T5/00GK1647505SQ03808979
公開日2005年7月27日 申請日期2003年3月20日 優(yōu)先權(quán)日2002年4月22日
發(fā)明者N·R·丹特瓦拉 申請人:皇家飛利浦電子股份有限公司