專(zhuān)利名稱(chēng)：用于人類(lèi)視覺(jué)系統(tǒng)模型的自適應(yīng)時(shí)空濾波器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻處理技術(shù)，更具體的說(shuō)，涉及一種用于確定視頻服務(wù)質(zhì)量的人類(lèi)視覺(jué)系統(tǒng)模型的自適應(yīng)時(shí)空濾波器。
現(xiàn)有的人類(lèi)視覺(jué)系統(tǒng)(HVS)模型中的時(shí)空濾波通常設(shè)計(jì)有校準(zhǔn)為一組特定的參數(shù)的固定的響應(yīng)，即空間和時(shí)間響應(yīng)設(shè)計(jì)為與某一平均亮度電平的HVS的靈敏度相關(guān)。大部分HVS模型也是基于對(duì)剛剛能夠看出來(lái)的差異(JND)的閾值進(jìn)行預(yù)測(cè)的方法，如對(duì)比度檢測(cè)和識(shí)別閾值。由于HVS模型的組分基于模仿閾值的行為，因此高于閾值的行為，即閾上，不能被保證。
例如，J.Lubin在“A visual Discrimination Model for Imaging System Design andEvaluation”Vision Models for Target Detection and Recognition，ed.Eli Peli，WorldScientific Publishing，River Edge，NJ 1995，pp245-283中提出了一種模型，其具有空間濾波器，該濾波器設(shè)計(jì)為只與一個(gè)亮度水平和持續(xù)時(shí)間或時(shí)間延伸的人類(lèi)視覺(jué)響應(yīng)相匹配。沒(méi)有機(jī)械裝置導(dǎo)致時(shí)間頻率在空間頻率的峰值靈敏度上衰減，因此，這不會(huì)與人類(lèi)視覺(jué)經(jīng)驗(yàn)得到的數(shù)據(jù)相匹配。Lubin提出的模型沒(méi)有對(duì)作為亮度或其他參數(shù)的函數(shù)的空間或時(shí)間的頻率響應(yīng)的峰值的移動(dòng)作出規(guī)定。Lubin提出的模型也是基于閾值的結(jié)合或“剛剛能夠看出來(lái)的差異(JND)”。唯一修改除固定的空間和時(shí)間濾波器之外的響應(yīng)機(jī)械裝置是罩膜裝置，其是J.Foley的模型的改進(jìn)的模型，用于預(yù)測(cè)對(duì)比度辨別力(“Contrast Masking inHuman Vision”Journal of the Optical Society of America，Vol.70，No.12pp.1458-1471，Dec.1980)。然而，M.Canon示出的(“Perceived Contrast in the Fovea andPeriphery”，Journal of the Optical Society of America，Vol.2，No.10pp.1760-1768，1985)的Foley的模型在用于預(yù)測(cè)高于閾值的平均中等對(duì)比度水平的感知對(duì)比度時(shí)具有較粗的誤差。另外，Lubin提出的模型沒(méi)有考慮非線性如那些引起雙倍空間頻率和幻覺(jué)脈沖視錯(cuò)覺(jué)的因素。許多其他基于人類(lèi)視覺(jué)的模型，如S.Daly，“The Visible Differences Predictoran Algorithm for the Assessment ofImageFidelity”，Digital Images and Human Vision，ed.Andrew B.Watson，MITPress，Cambridge，MA1993，pp.162-206中提出的模型，完全沒(méi)有考慮時(shí)間因素。
因此，希望提供一種濾波器，其與高于感知參數(shù)范圍的人類(lèi)視覺(jué)系統(tǒng)響應(yīng)相匹配。
當(dāng)結(jié)合所附的權(quán)利要求和附圖對(duì)下面的詳細(xì)說(shuō)明進(jìn)行讀取時(shí)，本發(fā)明的目的、優(yōu)點(diǎn)和新穎之處將更加明顯。
圖2是根據(jù)本發(fā)明的自適應(yīng)的時(shí)空濾波器中的用作構(gòu)件塊的可調(diào)的HR LP濾波器的方框圖。
圖3是根據(jù)本發(fā)明的自適應(yīng)時(shí)空濾波器頻率響應(yīng)的曲線圖。
圖4是將HVS實(shí)驗(yàn)數(shù)據(jù)與作為本發(fā)明的空間頻率的函數(shù)的自適應(yīng)時(shí)空濾波器的響應(yīng)相比較的曲線圖。
圖5是將HVS實(shí)驗(yàn)數(shù)據(jù)與作為本發(fā)明的空間頻率的函數(shù)的自適應(yīng)時(shí)空濾波器的響應(yīng)相比較的曲線圖。
發(fā)明的詳細(xì)說(shuō)明現(xiàn)在參考

圖1所示的適應(yīng)的三維(3-D)濾波器10，其通過(guò)將HVS模型的精確度的主體與等效的非HVS模型，如根據(jù)T.Hamada等人所述的加權(quán)SNR的算法(Picture Quality Assessment System by Three-Layered Bottom-Up NoiseWeighting Considering Human Visual Perception，SMPTE journal，January1999，pgs20-26)，相結(jié)合對(duì)用于人類(lèi)視覺(jué)系統(tǒng)(HVS)模型的現(xiàn)有的濾波器進(jìn)行了改進(jìn)。濾波器10具有一對(duì)自適應(yīng)的3-D濾波器12、14，“中置”和“環(huán)繞”濾波器，其從作為系數(shù)發(fā)生器的濾波器適應(yīng)控制器16接收系數(shù)。輸入視頻信號(hào)被輸入到濾波器12、14和濾波器自適應(yīng)控制器16。濾波器12、14的輸出輸入到差分電路18。中置濾波器12或環(huán)繞濾波器14的輸出也被輸入到濾波器自適應(yīng)控制器16。濾波器自適應(yīng)控制器16從由輸入視頻信號(hào)或自適應(yīng)的3-D濾波器12、14之一的輸出中提出的感知參數(shù)中產(chǎn)生濾波器系數(shù)。每個(gè)濾波器12、14作為無(wú)限激勵(lì)響應(yīng)(IIR)時(shí)間低通濾波器(LPF)20、22的一級(jí)執(zhí)行，LPF20、22跟隨有無(wú)因果關(guān)系的二維(2-D)IIR空間濾波器24、26，該濾波器使用“未來(lái)”數(shù)據(jù)，即向前和向后過(guò)濾。差分電路18作為累加電路28和乘法電路30執(zhí)行。中置濾波器12的輸出作為累加電路28的一個(gè)輸入，而另一個(gè)輸入是環(huán)繞濾波器14與-1在乘法電路30內(nèi)相乘后的輸出。中置濾波器12具有比環(huán)繞濾波器14更寬的帶寬，具有其作為結(jié)果的差值通常具有帶通響應(yīng)的相關(guān)濾波響應(yīng)，如圖3所示。該帶通響應(yīng)首先校準(zhǔn)為特定亮度水平的HVS的對(duì)比度敏感響應(yīng)。
濾波器自適應(yīng)控制器16通過(guò)控制每個(gè)時(shí)間和空間濾波器20-26的帶寬對(duì)感知參數(shù)如亮度、對(duì)比度等的局部或全部的改變仿真HVS自適應(yīng)。這些濾波器每個(gè)都由具有適合于集成電路(IC)執(zhí)行的拓?fù)浣Y(jié)構(gòu)的普通構(gòu)件塊—第一級(jí)、統(tǒng)一DC增益、如圖2所示的可調(diào)LPF32組成。時(shí)間濾波器20、22使用兩個(gè)串聯(lián)的可調(diào)LPF32，以組成第二級(jí)LPF。空間濾波器24、26為每維(水平和垂直)使用兩個(gè)可調(diào)LPF32，以在相對(duì)方向(右、左、上、下)產(chǎn)生零相位、無(wú)因果關(guān)系的2-DIIR濾波器。示出的可調(diào)LPF32是以IIR濾波器為基礎(chǔ)的第一級(jí)離散低歸差分方程式，采用其他可調(diào)濾波器。輸入信號(hào)X在乘法電路34內(nèi)與輸入增益系數(shù)b0相乘，結(jié)果被輸入到累加電路36。累加電36的輸出在另一個(gè)乘法電路38內(nèi)與反饋系數(shù)a1相乘并由延遲電路40延遲一個(gè)采樣周期后反饋到累加電路的輸入。系數(shù)之和是1，即b0+a1＝1，因此，在不考慮b0(假設(shè)0＜b0≤1)的和a1的各自的數(shù)值的情況下，DC增益也為1。這使得濾波器10成為可控的，因?yàn)楫?dāng)差值在環(huán)繞和中置濾波器12、14中間時(shí)，DC增益是已知的。可調(diào)LPF32的帶寬和相應(yīng)的桿可以通過(guò)提高或降低b0升高或降低。
濾波器適應(yīng)控制器16在每個(gè)根據(jù)感知參數(shù)如局部平均亮度、濾波器是空間或時(shí)間、中置或環(huán)繞進(jìn)行處理的像素為可調(diào)LPF32提供適當(dāng)?shù)腷0值。b0值可以從由計(jì)算濾波器中得到的查尋表得到，以與實(shí)驗(yàn)數(shù)據(jù)相匹配?；蛘?，他們可以計(jì)算為接近該查尋表中的條目。查尋表可以通過(guò)校準(zhǔn)濾波器的系數(shù)以與實(shí)驗(yàn)數(shù)據(jù)相匹配而得到。一種方法是使用線性接近不同亮度水平的校準(zhǔn)b0值b0＝K1+K2*Lum(1)其中，Lum是以尼特(堪/平方米)局部平均亮度。
為了校準(zhǔn)0.28到91尼特的HVS響應(yīng)數(shù)據(jù)，可以使用下面的數(shù)據(jù)，假設(shè)在該實(shí)施例中，采樣速率為32.0像素每次和60采樣每秒空間中置濾波器24K1＝0.67 K2＝0.00067時(shí)間中置濾波器20K1＝0.54575K2＝0.00295空間環(huán)繞濾波器26K1＝0.225 K2＝0.00225時(shí)間環(huán)繞濾波器22K1＝0.4125 K2＝0.00375濾波器適應(yīng)控制器16決定了基于環(huán)繞濾波器14的輸入或輸出的Lum數(shù)值，如圖1所示。用于確定Lum的方法可以為特定的使用而最優(yōu)化，以平衡濾波器穩(wěn)定性、計(jì)算操作的數(shù)量和準(zhǔn)確度之間的需要。
對(duì)于基于輸入X[n]的Lum數(shù)值，對(duì)整個(gè)濾波器10，為了準(zhǔn)確度，適應(yīng)次數(shù)由另一個(gè)濾波器控制。每維的Lum通過(guò)根據(jù)下面的方程式的濾波而在濾波器適應(yīng)控制器16中得到Lum[n]＝Lb0*(X[n]-Lum[n-1])+Lum[n-1](2)其中，n是在特定維中第n次采樣，Lb0相應(yīng)于HVS模型中的b0。濾波器10的非線性通過(guò)取代用于可調(diào)濾波器32的方程式中的用于Lum的遞歸方程式而得到y(tǒng)[n]＝b0*x[n]+(1-b0)*y[n-1]＝b0*(x[n]-y[n-1])+y[n-1]＝(k1+k2*Lum)*(x[n]-y[n-1])+y[n-1]＝(k1+k2*Lb0*(x[n]-Lum[n-1])+Lum[n-1]))*(x[n]-y[n-1])+y[n-1]＝k1*x[n]+(1-k1)*y[n-1]+k2*(Lb0*x[n]*(x[n]-y[n-1])+(1-Lb0)*Lum[n-1]*(x[n]-y[n-1])) (3)＝(IIR LPF linear response)+(Input，output product terms-non-linearities)因此，每個(gè)可調(diào)第一級(jí)IIRLPF32的輸出是b0＝k1的固定線性LPF和其增益由Lb0和K2的乘積控制的非線性高通濾波器的線性組合。由于K2已經(jīng)確定，因此選擇Lb0以使視覺(jué)錯(cuò)覺(jué)非線性和適應(yīng)次數(shù)的組合最優(yōu)化匹配。對(duì)于低對(duì)比度水平和/或亮度水平，濾波器10的輸出接近線性，但是在高對(duì)比度和亮度水平，非線性組份更多，從而非線性與增強(qiáng)的感覺(jué)的亮度相一致。
為了提高速度，Lum濾波器可以被省略(Lb0＝1)，單個(gè)適應(yīng)濾波器響應(yīng)如下y[n]＝k1*x[n]+(1-k1)*y[n-1]+k2*(x[n]*(x[n]-y[n-1]))Lum數(shù)值可以基于環(huán)繞濾波器14的輸出。在速度更加理想的情況下，每個(gè)使用附加的濾波Lmm[n-1]＝y(tǒng)s[n-1]其他用于y[n]的算法可以基于將該方程式取代入方程式(3)而得到。
如果y[n]代表各環(huán)繞LPF14的濾波器輸出，那么，穩(wěn)定性考慮限制了Lb0有可能的數(shù)值。除如對(duì)比度等的局部平均亮度其他感知參數(shù)也可以被用于通過(guò)濾波器自適應(yīng)控制器16產(chǎn)生濾波器系數(shù)。
試驗(yàn)結(jié)果顯示人類(lèi)視覺(jué)系統(tǒng)響應(yīng)和自適應(yīng)時(shí)空濾波器響應(yīng)之間的匹配，如圖4和5所示，其平均亮度為20尼特。圖4是調(diào)制靈敏度對(duì)空間頻率的曲線圖，其中，圓圈或方塊表示人類(lèi)視覺(jué)系統(tǒng)模結(jié)果(Ms#Hz20尼特)，直線表示相應(yīng)的濾波器響應(yīng)(Htindex(#)，ks)。同樣，圖5是在同一亮度水平(20尼特)下調(diào)制靈敏度對(duì)空間頻率的相應(yīng)的曲線圖，其中，圓圈或菱形表示人類(lèi)視覺(jué)系統(tǒng)模結(jié)果(Ms#cpd20尼特)，直線表示相應(yīng)的濾波器響應(yīng)(Hrotsindex(#)，kt)。輸出調(diào)整也與斷續(xù)的光的光亮的增強(qiáng)相一致，結(jié)果在增加的時(shí)間頻率下在相應(yīng)的峰值下與增加的平均亮度一同增加。自適應(yīng)時(shí)空濾波器10的操作與其他人類(lèi)視覺(jué)實(shí)驗(yàn)的數(shù)據(jù)相一致，包括作為識(shí)別內(nèi)的感知閾值；超閾值時(shí)間對(duì)比感知；包括頻率混淆/加倍的感知的空間頻率；包括閃爍等的感知的時(shí)間頻率；在速度和方向上的感知的速度；包括噪聲、殘余圖像、額外/丟失脈沖等的感知的幻影噪聲；包括電壓波形等的中樞響應(yīng)；和涉及平均亮度改變的附加的靈敏度實(shí)驗(yàn)；視網(wǎng)膜上的角度延伸或目標(biāo)圖像的大?。话ㄐD(zhuǎn)的目標(biāo)圖像圖案和模板的方位；目標(biāo)和模板的空間頻率；目標(biāo)圖像圖案和模板的時(shí)間頻率；持續(xù)時(shí)間或時(shí)間延伸；和環(huán)繞或橫向屏蔽效果。
因此，本發(fā)明提供了一種用于人類(lèi)視覺(jué)系統(tǒng)模型的自適應(yīng)時(shí)空濾波器，其具有一對(duì)平行設(shè)置的時(shí)空濾波器，其具有重疊的帶寬，從而輸出的差異產(chǎn)生了帶通響應(yīng)，每個(gè)濾波器都由普通適應(yīng)的、統(tǒng)一DC增益的可調(diào)低通濾波器構(gòu)成，其具有線性低通響應(yīng)部分和非線性高通響應(yīng)部分，其濾波器系數(shù)由對(duì)如局部平均亮度、對(duì)比度等的感知參數(shù)的處理得到的每個(gè)像素確定，以產(chǎn)生與人類(lèi)視覺(jué)系統(tǒng)模型的實(shí)驗(yàn)結(jié)果相一致的結(jié)果。
權(quán)利要求
1.一種用于人類(lèi)視覺(jué)系統(tǒng)模型的自適應(yīng)時(shí)空濾波器，包括以第一帶寬低通時(shí)空濾波輸入視頻信號(hào)以產(chǎn)生第一濾波輸出的裝置；以第二帶寬低通時(shí)空濾波輸入視頻信號(hào)以產(chǎn)生第二濾波輸出的裝置；用于產(chǎn)生作為感知參數(shù)的函數(shù)的低通時(shí)空濾波裝置的自適應(yīng)濾波器系數(shù)的裝置；和用于得到第一和第二濾波輸出的差值以產(chǎn)生用于自適應(yīng)時(shí)空濾波器的輸出的裝置，該差值具有與人類(lèi)視覺(jué)系統(tǒng)模型的感知響應(yīng)校準(zhǔn)的帶通響應(yīng)。
2.如權(quán)利要求1所述的濾波器，其中，每個(gè)低通時(shí)空濾波裝置包括時(shí)間濾波器；和與時(shí)間濾波器串聯(lián)的二維空間濾波器。
3.如權(quán)利要求2所述的濾波器，其中，每個(gè)時(shí)間和空間濾波器包括至少兩個(gè)具有線性部分和非線性部分的濾波器響應(yīng)的普通構(gòu)件塊。
4.如權(quán)利要求3所述的濾波器，其中，普通構(gòu)件塊包括第一級(jí)、統(tǒng)一DC增益、可調(diào)濾波器。
5.如權(quán)利要求4所述的濾波器，其中，第一級(jí)、統(tǒng)一DC增益、可調(diào)濾波器包括用于將輸入信號(hào)與第一濾波器系數(shù)相乘以產(chǎn)生第一乘積的裝置；用于將第一級(jí)、統(tǒng)一DC增益、可調(diào)濾波器的輸出與第二濾波器系數(shù)相乘以產(chǎn)生第二乘積的裝置，第一和第二濾波器系數(shù)之和為一；和用于將第一和第二乘積相加以產(chǎn)生第一級(jí)、統(tǒng)一DC增益可調(diào)濾波器的輸出的裝置，第二乘積相對(duì)于第一乘積延遲。
6.如權(quán)利要求1所述的濾波器，其中，感知參數(shù)由輸入視頻信號(hào)得到。
7.如權(quán)利要求1所述的濾波器，其中，感知系數(shù)由第二濾波輸出得到。
8.一種用于人類(lèi)視覺(jué)系統(tǒng)模型的自適應(yīng)時(shí)空濾波方法，包括以下步驟以第一帶寬低通時(shí)空濾波輸入視頻信號(hào)以產(chǎn)生第一濾波輸出；以第二帶寬低通時(shí)空濾波輸入視頻信號(hào)以產(chǎn)生第二濾波輸出；產(chǎn)生作為感知參數(shù)的函數(shù)的低通時(shí)空濾波裝置的自適應(yīng)濾波器系數(shù)；和得到第一和第二濾波輸出的差值以產(chǎn)生用于自適應(yīng)時(shí)空濾波器的輸出，該差值具有與人類(lèi)視覺(jué)系統(tǒng)模型的感知響應(yīng)校準(zhǔn)的帶通響應(yīng)。
9.如權(quán)利要求8所述的方法，其中，每個(gè)低通時(shí)空濾波步驟包括時(shí)間濾波輸入視頻信號(hào)以產(chǎn)生時(shí)間濾波器輸出；和二維空間濾波時(shí)間濾波器輸出以產(chǎn)生第一和第二濾波輸出。
10.如權(quán)利要求9所述的方法，其中，每個(gè)時(shí)間和空間濾波步驟包括為每維使用至少兩個(gè)串聯(lián)的普通的構(gòu)件塊，每個(gè)構(gòu)件塊具有線性響應(yīng)部分和作為由自適應(yīng)濾波器系數(shù)確定的非線性響應(yīng)部分。
11.如權(quán)利要求10所述的方法，其中，普通構(gòu)件塊包括第一級(jí)、統(tǒng)一DC增益、可調(diào)濾波器。
12.如權(quán)利要求8所述的方法，其中，感知參數(shù)由輸入視頻信號(hào)得到。
13.如權(quán)利要求8所述的方法，其中，感知系數(shù)由第二濾波輸出得到。
全文摘要
一種用在基于人類(lèi)視覺(jué)系統(tǒng)模型的服務(wù)裝置的視頻質(zhì)量的自適應(yīng)時(shí)空濾波器具有一對(duì)平行的低通時(shí)空濾波器,其用于接收普通視頻輸入信號(hào)。該對(duì)低通時(shí)空濾波器的輸出被差分,以產(chǎn)生自適應(yīng)時(shí)空濾波器的輸出,該對(duì)濾波器的帶寬被設(shè)置為使產(chǎn)生大體的帶通響應(yīng)。濾波器自適應(yīng)控制器產(chǎn)生用于基于如局部平均亮度、對(duì)比度等的該對(duì)低通時(shí)空濾波器之一輸入視頻信號(hào)或輸出的感知參數(shù)處理的每個(gè)像素的自適應(yīng)濾波器的系數(shù)。
文檔編號(hào)H04N5/14GK1386020SQ02121800
公開(kāi)日2002年12月18日 申請(qǐng)日期2002年5月16日 優(yōu)先權(quán)日2001年5月16日
發(fā)明者K·M·費(fèi)爾古森 申請(qǐng)人:特克特朗尼克公司