專利名稱：評詁兩個信號序列之間差異的可視性的方法與裝置的制作方法
本申請要求1997年4月4日提交的60/043,050及1998年2月2日提交的60/073,435號美國臨時申請的權益，通過引用將它們結合在此。
本發(fā)明涉及評估與改進信號處理系統的性能的裝置及相應的方法。更具體地本發(fā)明涉及評估兩個信號序列之間的差異的可視性的方法及裝置。
背景技術：
諸如成象系統等信號處理系統的設計人員通常用諸如對比度、分辨率與/或壓縮/解壓(codec)處理中的位率效率等物理參數來評估他們的設計的性能。雖然這些參數能容易地測定，但它們不是評估性能的精確尺度。原因在于成象系統的最終用戶通常更關心諸如贗象或畸變的可見性等主觀視覺性能及在一些情況中，可揭示諸如圖象中腫瘤的存在等信息的這些圖象特征的增強，如MRI(磁共振成象)圖象或CAT(計算機輔助X線斷層)掃描圖象。
例如，能用兩種不同的codec算法處理輸入圖象以產生兩種不同的codec圖象。如果codec圖象保真度的測定是單純地基于諸如在兩個codec圖象上執(zhí)行的均方誤差(MSE)計算等參數而不考慮人的視覺心理物理性質，具有較低MSE值的codec圖象可能實際上包含比具有較高的MSE值的codec圖象更引人注意的畸變。
因此，在本技術中存在著對諸如成象系統等信號處理系統的主觀性能上的物理參數的效果進行評估的方法與裝置的需求。尤其是，存在著對評估兩個時變視覺圖象序列之間的差異的可視性的方法與裝置的需求。
發(fā)明概述本發(fā)明為評估諸如圖象序列等兩個輸入信號序列之間的差異的可視性的方法與裝置。該裝置包括具有輸入信號處理部分、亮度處理部分、色度處理部分及感覺量發(fā)生部分的感覺量發(fā)生器。
輸入信號處理部分將輸入信號變換成諸如亮度分量與色度分量等心理物理定義量。亮度處理部分將亮度分量處理成亮度感覺量，而色度處理部分則將色度分量處理成色度感覺量。最后，感覺量發(fā)生部分將亮度感覺量與色度感覺量相關成統一的感覺圖象量，例如，最小可辨差異(JND)圖。
附圖的簡要描述通過考慮下面結合附圖的詳細描述，便能容易地理解本發(fā)明的內容，附圖中
圖1展示本發(fā)明的信號處理系統的方框圖；圖2展示感覺量發(fā)生器的方框圖；圖3展示輸入信號處理部分的方框圖；圖4展示亮度處理部分的方框圖；圖5展示色度處理部分的方框圖；圖6展示亮度處理部分的詳細方框圖；圖7展示亮度量發(fā)生部分的方框圖；圖8展示色度處理部分的詳細方框圖；及圖9展示色度量發(fā)生部分的方框圖；圖10為展示亮度空間靈敏度數據的曲線；圖11為展示亮度時間靈敏度數據的曲線；圖12為展示亮度對比鑒別數據的曲線；圖13為展示圓盤檢測數據的曲線；
圖14為展示方格盤檢測數據的曲線；圖15為展示輪廓清晰鑒別數據的曲線；圖16為展示色度空間靈敏度數據的曲線；圖17為展示色度對比鑒別數據的曲線；圖18為展示額定預測數據的曲線；圖19展示亮度處理部分的另一實施例的方框圖；圖20展示圖19的亮度處理部分的另一實施例的詳細方框圖；圖21展示亮度量發(fā)生部分的另一實施例的詳細方框圖；圖22展示處理半高度圖象的亮度處理部分的方框圖；圖23展示處理半高度圖象的亮度量發(fā)生部分的方框圖；圖24展示色度處理部分的另一實施例的詳細方框圖；圖25展示色度量發(fā)生部分的另一實施例的詳細方框圖；圖26展示處理半高度圖象的色度處理部分的方框圖；圖27展示處理半高度圖象的色度量發(fā)生部分的方框圖。
圖1描繪利用本發(fā)明的信號處理系統100。信號處理系統包含信號接收部份130、信號處理部分110、輸入/輸出裝置120及受測試的系統140。
信號接收部分130用于接收輸入數據信號，例如來自成象設備的圖象序列或諸如來自麥克風或錄制的媒體的音頻信號等其它時變信號。從而，雖然下面針對圖象描述本發(fā)明，應理解本發(fā)明也能應用于上面討論的其它輸入信號。
信號接收部分130包含數據接收部分132及數據存儲部分134。數據接收部分130可包含諸如調制解調器及模數轉換器等若干裝置。調制解調器是眾所周知的裝置，它包括用于在電話線或其它通信信道上發(fā)送與接收二進制數據的調制器與解調器，而模數轉換器將模擬信號轉換成數字形式。因此，信號接收部分130可“在線”或“實時”接收輸入信號，如果必要，將它們轉換成數字形式。從而，部分130可接收來自諸如計算機、攝象機、錄象機或各種醫(yī)用成象裝置等一或多個裝置的信號。
數據存儲部分134用于存儲數據接收部分132所接收的輸入信號。數據存儲部分134包含諸如盤驅動器、半導體存儲器或其它存儲介質等一或多個裝置。這些存儲裝置提供在輸入信號上施加延遲或簡單地存儲輸入信號供以后處理的方法。
在較佳實施例中，信號處理部分110包括具有感覺量發(fā)生器(或稱作視覺鑒別測定(VDM))112、中央處理單元(CPU)114及存儲器116以提供圖象處理的通用計算機。感覺量發(fā)生器112可以是由通過通信通道耦合在CPU上的各種濾波器或處理器構成的物理裝置。作為替代，感覺量發(fā)生器112可作為軟件應用實現，它是從輸入/輸出裝置120或從存儲器116調用并由信號處理部分的CPU執(zhí)行的。這樣，可將本發(fā)明的感覺量發(fā)生器存儲在計算機可讀的介質上。
信號處理部分110還耦合在多個輸入與輸出設置120上，諸如鍵盤、鼠標器、視頻監(jiān)視器或包含但不限于磁與光盤驅動器、軟盤或磁帶、諸如硬盤驅動器或光盤驅動器等存儲設備。輸入設備用于提供輸入(控制信號及數據)給信號處理部分供處理輸入圖象，而輸出設備則用于顯示或記錄結果，如在顯示器上顯示感覺量。
使用感覺量發(fā)生器112的信號處理系統100能預測人們主觀賦予兩個信號序列的感覺額定值，如惡化的彩色序列相對于其非惡化的對等序列。感覺量發(fā)生器112評估輸入圖象的兩個序列或流之間的差異的可視性，并產生若干差異估計，包含這兩個序列之間的感覺差異的單一額定值。這些差異以模擬的人類最小可辨差異(JND)量為單位量化。這一量可表示為JND值，JND圖或概率預測。CPU可依次利用JND圖象量來優(yōu)化包含但不限于數字圖象壓縮、圖象質量測定及目標探測在內的各種處理。
為了展示，輸入圖象序列通過兩條不同的路徑或通道到達信號處理系統100。在一條路徑上(參照通道或參照圖象序列)，輸入圖象序列直接通過到信號處理部分而不處理，而同一輸入圖象序列在另一條路徑上通過受測試的系統140，在其中以某種方式處理圖象序列(受測試的通道或測試圖象序列)。信號處理系統100生成測定兩個圖象序列之間的差異的感覺量。由于經濟原因，由測試的系統140生成的畸變經常發(fā)生，例如受測試的系統140可以是音頻或視頻編碼器。事實上，受測試的系統100可以是任何數目的設備或系統，諸如解碼器、傳輸通道本身、錄音或錄象機、掃描器、顯示器或發(fā)射機。從而信號處理系統100可用于評估測試圖象序列相對于參照圖象序列的主觀質量，借此提供關于編碼過程、解碼過程、傳輸通道或任何“受測試系統”的畸變的性能的信息。通過使用感覺量發(fā)生器112，能執(zhí)行測試圖象相對于參照序列的主觀質量評估而無須使用人類觀察者。
最后，可通過路徑150利用感覺量來修正或控制受測試的系統的參數。例如，可修正編碼器的參數來產生具有諸如解碼被編碼的圖象時低可辨別的畸變等改進的感覺額定值的編碼圖象。此外，雖然受測試的系統140示出為獨立的設備，熟悉本技術的人員會理解受測試的系統可實現為位于信號處理部分的存儲器116中的軟件實現，例如，視頻編碼方法。
圖2展示感覺量發(fā)生器112的簡化方框圖。在較佳實施列中，感覺量發(fā)生器包括輸入信號處理部分210、亮度處理部分220、色度處理部分230、亮度量發(fā)生部分240、色度量發(fā)生部分250及感覺量發(fā)生部分260。
輸入信號處理部分將輸入信號205變換成心理物理學定義的量，如圖象信號的亮度分量與色度分量。輸入信號為兩個任意長度的圖象序列。雖然圖2中只示出一個輸入信號，應理解輸入信號處理部分能同時處理一個以上輸入信號。輸入信號處理部分210的目的為將輸入圖象信號變換成光輸出。然后將這些光輸出變換成分開表示亮度與色度特征的心理物理學定義的量。
更具體地，對于各輸入序列的各視場(field)，存在著從諸如D1磁帶導出的在圖2頂部標記為Y’、C’b、C’r的三個數據集。然后再將Y、Cb、Cr數據變換成產生顯示的象素值的R’、G’與B’電子槍電壓。在輸入信號處理部分中，R’、G’、B’經過進一步處理被變換成傳遞給下一處理級或部分的一個亮度及兩個色度圖象。
亮度處理部分220接受表示為顯示器的最大亮度的分數的亮度Y的兩個圖象(測試與參照)。亮度處理部分220的輸出能廣義地定義為由下述各種時間與空間處理引起的時間與/或空間特性。將這些輸出傳遞給亮度量發(fā)生部分240，在其中生成亮度JND圖。JND圖為一個圖象，其灰度級與對應的象素位置上的測試與參照圖象之間的JND的數目成正比。
類似地，色度處理部分230將輸入信號的色度分量處理成色度感覺量。即，色度處理部分230接受基于CIE L*u*v*均勻彩色空間的色度的兩個圖象(測試與參照)(針對各色度圖象u*與v*產生的)，并表示為顯示的最大色度的分數。再一次能將色度處理部分230的輸出廣義地定義為由下述各種時間與空間處理產生的時間與/或空間特性。色度量發(fā)生部分250接收與組合u*與v*處理的輸出以產生色度JND圖。
此外，色度與亮度處理都受到通過路徑225來自稱作“屏蔽”的亮度通道的輸入的影響，它取決于亮度圖象的結構使感覺到的差異或多或少地看得見。屏蔽(自身或交叉)通常指通道或鄰接通道中存在信息時的靈敏度降低。
色度、亮度及組合亮度色度JND圖各可用作對感覺量發(fā)生部分260的輸出，連同從這些圖中導出的少量概括測量。雖然單個JND值(JND概要)輸出對測試序列中的畸變的觀察者的整體額定值的模型是有用的，但JND圖給出贗象的位置與嚴重性的更詳細的視圖。感覺量發(fā)生部分(圖象量發(fā)生器)260將亮度感覺量與色度感覺量相關成統一的感覺圖象量270，如最小可辨差異(JND)圖。
應指出兩個基本假設構成本發(fā)明的基礎。第一，各象素是“正方形”且對著0.03度視角。這一數字是從480個象素的屏幕高度和4個屏幕高度的視距(“Rec.500”標準規(guī)定的最近視距)導出的。當將本感覺量發(fā)生器與長于4個屏幕高度的視距上的人類感覺比較時，本感覺量發(fā)生器可能過高估計人對空間細節(jié)的敏感度。從而，在視距上沒有硬性限制時，將感覺量發(fā)生器調節(jié)成在“Rec.500”的推薦內盡可能靈敏。然而，可為特定的應用調整感覺量發(fā)生器的靈敏度。
第二，感覺量發(fā)生器適用于.01-100ft-L的屏幕亮度(整體靈敏度是為之定標的)，但最大的精確度在大約20ft-L處(所有時空頻率是為之定標的)。還假定改變亮度在所有時空頻率上產生成比例的靈敏度改變，這一假定對20ft-L附近較不重要，其中出現附加定標。定標與實驗數據如下。
下面參照圖3、4、5、6與7更詳細地描述圖2中所示的處理部分。
圖3展示輸入信號處理部分210的方框圖。在較佳實施例中，各輸入信號是以4個視場的集合305處理的。從而，圖3頂部的標記為Y’、C’b、C’r的每個視場的棧表示來自測試或參照圖象序列之一的四個接續(xù)的視場的集合。然而，本發(fā)明不限于這一實現，也可使用其它視場組合方法。
在輸入信號處理部分120中包含多種變換。簡言之，輸入信號處理部分210首先將Y’、C’b、C’r視頻輸入信號變換成電子槍電壓，然后到三種熒光體的亮度值，及最后到分成亮度與色度分量的心理物理變量。下面計算的三色值Y取代色度處理前使用的“模型強度值”。此外，按照CIE均勻彩色規(guī)范逐個象素地生成色度分量u*與v*。
應指出，如果輸入信號己在可接受的均勻彩色空間中，能有選擇地實現輸入信號處理部分210。例如，輸入信號可能己事先處理成適當的格式并保存在諸如磁或光驅動器與盤等存儲設備上。此外，應指出雖然本發(fā)明是以映射到國際標準均勻彩色空間CIELUV中實現的，也能將本發(fā)明實現與適應成處理映射到其它空間中的輸入信號。
第一處理級310將Y’、C’b、C’r數據變換成R’、G’、B’槍電壓。更具體地，下面概括的步驟描述從Y’、C’b、C’r圖象幀到驅動CRT顯示器的R’、G’、B’電壓信號的變換。這里的撇表示輸入信號己在編碼器上γ預校正。即，變換后的這些信號能驅動共電壓電流轉換函數能用γ非線性緊密逼近的CRT顯示設備。
假定輸入數據圖象是4∶2∶2格式的在亮度相關Y’上全分辨率，而在色度相關C’b與C’r上水平半分辨率，其中假定Y’、C’b、C’r是以ANSI/SMPTE Std.125M-1992中規(guī)定的次序存儲的，即C’b0，Y’0，C’r0，Y’1，C’b1，Y’2，C’r1，Y’3，…C’bn/2-1，Y’n1，C’rn/2-1，Y’n-2，…在下面列舉的步驟中，有兩個色度上抽樣的實施例或替代方案及從Y’C’bC’r到R’G’B’的矩陣變換的三個實施例或替代方案。這些替代方案覆蓋各種應用要求，如可能在各種應用中遇到的解碼要求等。
更具體地，在第一色度上抽樣實施例中，接收來自單一幀的Y’、C’b、C’r陣列，其中將C’b或C’r陣列擴張成Y’圖象的全分辨率。初始，C’b、C’r陣列是在水平半分辨率上的，并且是隨后上抽樣以產生全分辨率視場的。即，將一行上的交錯的C’b、C’r象素分配給數據流中的偶數編號的Y’i。與偶數編號Y’I關聯的C’b、C’r對可通過如下計算(1)復制或(2)與其鄰數的平均值。
在第二色度上抽樣實施例中，將全分辨率Y’、C’b、C’r陣列分成兩個視場。在Y’的情況中，第一視場包含Y’陣列的奇數行，而第二視場包含Y’陣列的偶數行。在C’b及C’r陣列上執(zhí)行相同的處理以產生第一與第二C’b及C’r視場。
在Y’C’bC’r到R’G’B’的矩陣變換中，將對應的Y’C’bC’r值轉換成兩個視場的各個中的各象素的槍輸入值R’G’B’。用下面三種替換式之一將Y’C’bC’r值取作相關的R’G’B’值。前面兩式可在Keith Jack，的Video Demystified，High Text，San Diego 1996，第3章，p.40-42中找到。式(3)對應于C.A.Poynton的“數字視頻的技術引論”，p.176，Wiley，1996，中的式9.9(Cb替換為U及用Cr替換為V)。在較佳實施例中，將式(2)選擇為默認的，除非感興趣的顯示的測定另有所指，或
或
或
然后輸入信號處理部分210中的第二處理級320接收R’、G’與B’陣列。第二處理級320在各R’G’B’圖象上施加點-非線性。這一第二處理級建立將R’G’B’槍電壓傳送到顯示的強度(R、G、B)中的模型(最大亮度的分數)。非線性還執(zhí)行在各平面顯示中低亮度上的剪裁。
更具體地，(R’、G’、B’)與(R、G、B)之間的轉換包含兩部分，其中之一獨立地變換各象素值，而其中之一在變換過的象素值上執(zhí)行空間濾波。下面描述這兩部分。
象素值變換首先，為各象素計算與輸入R’對應的最大亮度的分數R。類似地，從輸入G’、B’中計算分數亮度G與B。假定來自各槍的最大亮度對應于輸入值255。下面的式子描述從(R’、G’、B’)到(R、G、B)的變換。R=[max(R′,td)255]γ,]]>G=[max(G′,td)255]γ,]]>B=[max(B′,td)255]γ,]]>
將默認閾值td選擇為16來與顯示的黑色級對應，并將γ默認為2.5。
td的值16是選擇為提供顯示(255/16)2.5的動態(tài)范圍的，它大約是1000∶1。這一動態(tài)范圍是相對大的，并在環(huán)境亮度大約為最大的顯示白色時可能沒有必要。因此，即使感覺發(fā)生器采用值40而不是16作為黑色級，它仍能提供100∶1的動態(tài)范圍而保持物理保真度。實際上，較低的動態(tài)范圍可節(jié)省計算周期，即在處理中節(jié)省一或兩位。
下面討論關于顯示的兩種觀察。第一種觀察涉及對絕對屏幕亮度的依賴性。感覺量發(fā)生器的預測只隱含地作用到感覺量發(fā)生器為之定標的亮度級上。
對于典型的定標數據(J.J.Koenderink與A.J.van Doorn，“時空對比度檢測閾值表面是雙態(tài)的”，光學通信4，32-34(1997))，使用直徑2mm的默認瞳孔，視網膜亮度為200托蘭(trolands)。這意味著63.66cd/m2或18.58ft-L的屏幕亮度。定標亮度是與用在主觀額定值測試中的顯示的亮度相當的。例如，雖然兩個實驗的最大白色亮度為71與97ft-L，在象素值128上的亮度分別為15與21ft-L。計入這些值及感覺量發(fā)生器的總體靈敏是從.01到100ft-L定標的這一事實(利用F.L.van Nes、J.J.Koenderink、H.Nas與M.A.Bouman的“人眼中的時空調制傳送”，J.Opt.Soc.Am.57，1082-1088(1967)中的數據)，能得出結論該感覺量發(fā)生器適用于從大約20到100ft-L的屏幕亮度。
第二種觀察涉及式(4)對其它模型的關系。偏壓td(諸如來自陰極與TV屏幕之間的柵極設定值)可用于將式(4)變換成Poynton提出的模型(C.A.Poynton，“Ganna”及其偽裝感覺中強度的非線性映射，CRT，膠片及視頻，SMPTE期刑，1993年12月，1099-1108頁)其中R＝K[R’+b]γ(類似地對G與B)。通過定義新電壓R”＝R’-td得出Poynton的模型。從而R＝K[R”+td]γ及類似地對于G與B。通過寫入式(4)而不是Poynton的公式，假定偏壓為-td。還假定沒有環(huán)境亮度。
存在環(huán)境亮度c時，電壓偏移成為可忽略不計的，而式(4)近似等價于Meyer提出的模型(“監(jiān)視器定標中槍平衡的重要性”，感覺、測定及用色(M.Brill，編輯)Proc，SPIE，卷1250，69-79頁(1990))，即R＝kR’γ+c。對G與B得出的類似的表達式。如果存在環(huán)境照明，則式(4)可用Meyer的模型R＝(1/255)γ及c＝.01替代。
本感覺量發(fā)生器為各幀(前進圖象中)及奇與偶視場(交錯圖象中)提供了用于規(guī)定(R、G、B)圖象的垂直表示的三種選擇。
選擇1.幀圖象為全高度且包含前進掃描的圖象。
選擇2.全高度交錯半高度圖象散布以空行而成為全高度，如它們在交錯屏幕中。隨后用下述內插填充空行。
選擇3.半高度交錯直接處理半高度圖象。
前兩種選擇更忠實于視頻圖象結構，而第三種選擇具有減少50％處理時間與存儲器要求的優(yōu)點。對選擇1與2，由于兩種選擇都在全高度圖象上操作，亮度與色度處理是相同的。下面詳細描述這三種選擇。
空間預濾波上面的選擇1與3不需要空間預處理。然而存在著與全高度交錯選擇2關聯的空間預濾波。
為了提供來自視場中的行到行間象素的光散布，還將R、G與B視場圖象提交給行內插過程。下面說明四種不同內插法，但本發(fā)明不限于這些內插法。在各方法中，讀取整個幀，然后用緊靠在上面與下面的象素計算出的值替代屬于不活躍視場的行上的各象素。對于方法(3)與(4)，計算也使用來自不活躍視場的象素值。
令Pinactive表示要內插的不活躍行象素，及Pabove與Pbelow分別表示Pinactive上方與下方的活躍行象素。四種方法為(1)平均Pinactive←(Pabove+Pbelow)2]]>(2)復制
(3)混合平均Pinactive←Pinactive2+(Pabove+Pbelow)4]]>(4)中位數Pinactive←median(Pinactive,Pabove,Pbelow)]]>返回至圖3，在非線性處理后面，第三處理級330通過用來自上面與下面的插入值取代視場R、G、B中的行間值建立散布到行間位置中的垂直電子束斑的模型。然后，將視場中的各象素上的矢量(R，G，B)提交給線性變換(它取決于顯示器熒光體)到CIE 1931三色坐標(X，Y，Z)。將矢量的亮度分量Y傳遞給上述亮度處理部分220。
更具體地，給定了分數亮度值R，G，B為各象素計算CIE 1931三色值X，Y，與Z。這一處理需要下述與顯示設備有關的輸入三種熒光體的色度坐標(xr，yr)、(xg，yg)、(xb，yb)及監(jiān)視器白色點的色度(xw，yw)。
將白色點選擇為對應于熒光體D65，使得(xw，yw)＝(.3128，.3292)(見G.Wyszecki與W.S.Stiles的白色科學，第二版，Wiley，1982，761頁)。對應于當前可獲得的緊密地近似NTSC熒光體的紅、綠與蘭熒光體，值(xr，yr)＝(.6245，.3581)、(xg，yg)＝(.2032，.716)及(xb，yb)＝(.1465，.0549)。然而，下面的表1展示其它顯示熒光體坐標(熒光體原色度)選項。ITU-R BT.709(Rec.709)為默認的。<
表1.顯示熒光體坐標選項利用上述參數值，用下式給出象素的值X，Y，ZXYZ=xryrY0rxgygY0gxbybY0bY0rY0gY0bzryrY0rzgygY0gzbybY0bRGB---(5)]]>其中，zr＝(1-xr-yr)，zg＝(1-xg-yg)，zb＝(1-xb-yb)，及值Y0r，Y0g，Y0b由下式給出Y0rY0gY0b=xryrxgygxbyb111zryrzgygzbyb-1xwyw1zwyw,---(6)]]>
其中，zw＝(1-xw-y)(見D.Post的自發(fā)光顯示的比色法測定、定標及特征，電子顯示中的彩色，H.Widdel與D.L.Post(編輯)，Plenum出版社，1992，306頁)。
也需要設備的白色點的三色值Xn，Yn，Zn。這些值對應于色度(xw，yw)并且使得在全熒光體激活(R’＝G’＝B’＝255)時，Y＝1。從而，白色點的三色值為(Xn，Yn，Zn)＝(xw/yw，1，zw/yw)。
作為導出值X，Y，Z中的可選用的最后一級，可進行調節(jié)來接納由來自顯示屏的遮蔽反射引起的假定的環(huán)境光。這一調節(jié)采取下述形式XYZ←XYZ+(LaLmax)XnYnZn.---(6a)]]>這里引入兩個用戶可指定的參數Lmax及La并賦于默認值。顯示的最大亮度Lmax設定為對應于銷售的顯示器的100cd/m2。遮蔽亮度La設定為與在Rec 500條件下測定的屏幕值一致的5cd/m2。
環(huán)境光的色度假定與顯示白色點的相同。應指出在只有亮度的實現選擇中，它不計算中性點(Xn，Yn，Zn)，調節(jié)Y←Y+LaLmax---(6b)]]>來替代式(6a)。這等價于式(6a)的Y分量，因為Yn永遠是1。還應指出量Lmax*Y為以cd/m2表示的顯示亮度。
返回到圖3，為了保證(各象素上)色空間的感覺均勻度逼近等照度色差，在第四處理級340中將單個象素映射到國際標準均勻色空間CIELUV中(見Wyszecki與Stiles)。將這一空間的色度分量u*，v*傳遞給色度處理部分230。
更具體地，將逐個象素的X，Y，Z值變換到1976 CIELUV均勻彩色系統(Wgszecki與Stiles，1982，165頁)L*=116(YYn)1/3-16]]>YYn>0.008856---(7)]]>L*=903.3(YYn)]]>YYn≤0.008856]]>u*＝13L*(u′-u′n) (8)v*＝13L*(v′-v′n) (9)u′=4X(X+15Y+3Z)---(10)]]>v′=9Y(X+15Y+3Z)---(11)]]>un′=4Xn(Xn+15Yn+3Zn)---(12)]]>vn′=9Yn(Xn+15Yn+3Zn)---(13)]]>應指出坐標L*不傳遞給亮度處理部分220。L*只用于計算色度坐標u*與v*。結果，只為進一步處理保留u*與v*圖象。
圖4展示亮度處理部分220的方框圖。可將圖4看成亮度處理步驟的流程圖或用于執(zhí)行這些亮度處理步驟的多個硬件部件的方框圖，例如濾波器、各種電路元件與/或應用專用的集成電路(ASIC)。
參見圖4，濾波各亮度場并在四級高斯金字塔410(金字塔發(fā)生器)中下抽樣，以便將進入視覺信號的心理物理與生理學地觀察的分解的模型建立到不同空間頻率帶412-418中。分解之后，便能執(zhí)行隨后的可選處理，如在各金字塔級上(分辨率級)上作用的定向濾波。
接著，緊接在金字塔分解之后執(zhí)行非線性運算430。這一級是根據最粗略的金字塔級內最大亮度的與時間有關的窗口平均(跨場)的增益設定運算(正規(guī)化)。這一正規(guī)化設定感覺量發(fā)生器的總體增益，并建立諸如從明亮到黑暗場景的過渡之后的視覺靈敏度損失等效應的模型。
應指出，執(zhí)行中間正規(guī)化過程420來導出中間值Inorm。利用Inorm值來定標各四個金字塔級，如下所述。
正規(guī)化后，將最低分辨率金字塔圖象418提交給時間濾波(時間濾波器)及對比度計算450，并將其它三級412-416提交給空間濾波及對比度計算440。在各情況中，對比度是適當地定標的象素值的本地差除以本地和。在感覺量發(fā)生器的形成，這建立“1 JND”的定義，將其傳遞給感覺量發(fā)生器的后面的級。(定標在中間感覺量發(fā)生器級上重復地更新1-JND解釋，下面討論這一點)。在各情況中，將對比度平方以生成所謂對比度能量。保留對比度的符號用于在緊接在圖象比較(JND圖計算)之前重新附加在上面。
下面的級460與470(對比度能量屏蔽)構成進一步的增益設定運算，在其中將各定向響應(對比度能量)除以所有對比度能量的函數。將各響應與其它本地響應地這一種組合的衰減包含進去以建立諸如對“忙”圖象區(qū)中的畸變的靈敏度下降等視覺“屏蔽”效應的模型。在感覺量發(fā)生器的這一級上，作出時間結構(閃爍)來屏蔽空間差異，并且也作出空間結構來屏蔽時間差異。還在色度側上作用亮度屏蔽，如下面所討論的。
利用屏蔽的對比度能量(連同對比度符號)生成亮度JND圖480。簡言之，亮度JND圖是用下述步驟生成的1)將各圖象分成正與負分量(半波整流)；2)執(zhí)行本地匯集(平均及下抽樣，以建立在心理物理學實驗中觀察到的本地空間求和的模型)；3)逐個通道地評估絕對圖象差異；4)設置門限(核化)；5)將核化圖象差異上升一次冪；及6)上抽樣到相同的分辨率(由于匯集級而成為原始圖象的一半分辨率)。
圖19展示亮度處理部分220的另一實施例的方框圖。更具體地，用亮度壓縮級1900來替換圖4的正規(guī)化級420與430。簡言之，首先將輸入信號中的各亮度值提交給壓縮非線性，這一點在下面詳細描述。圖19中的其它級類似于圖4。從而，上面己提供了這些類似的級的描述。對于不同的級，下面參照圖20提供圖19的亮度處理部分的詳細描述。
一般地說，圖19的亮度處理部分是較佳實施例。然而，由于兩個實施例表現不同的特征，在不同的應用下它們的性能可能不同。例如，己觀察到圖4的亮度處理部分在諸如10位輸入圖象等較高動態(tài)范圍上執(zhí)行得比在較低的動態(tài)范圍上好。
圖5展示色度處理部分230的方框圖?？蓪D5看成色度處理步驟的流程圖或用于執(zhí)行這些色度處理步驟的多個硬件元件的方框圖，諸如濾波器、各種電路元件與/或應用專用的集成電路(ASIC)。色度處理在若干方面中與亮度處理并行。利用CIELUV空間的色度(u*502及v*504)的圖象內差異來為色度運算定義檢測閾值，類似于在亮度處理部分中利用Michelson對比度(及Weber氏定律)定義檢測閾值的方式。并且，與亮度運算類似，將用u*gn v*差異定義的色度“對比度”提交給屏蔽運算。換能器非線性使一個圖象與另一圖象之間對比度增量的鑒別取決于對兩個圖象公共的對比度能量。
更具體地，如在亮度處理部分中，圖5示出各色度分量u*502、v*504提交給金字塔形分解過程510的。然而，雖然在較佳實施例中亮度處理實現四級金字塔形分解，色度處理是用7級實現的。這一實現解決色度通道是對遠遠低于亮度通道的空間頻率敏感的這一經驗性事實(K.T.Mullen，“人類彩色視覺對紅綠及蘭黃色格的對比度靈敏性”，J.Phtsiol.395，381-400，1985)。此外，這種分解考慮了能在大的均勻區(qū)中觀察到色差這一直觀事實。
下面，為了反映色度通道對閃爍的內在不靈敏性，時間處理520是通過在四個圖象視場上求平均值進行的。
然后在u*與v*上執(zhí)行用Laplacian核530的空間濾波。這一操作產生u*、v*中的色差，它(根據均勻彩色空間的定義)是在度量上與最小可辨色差相關的。取這一級上的值1來表示己達到單一的JND，類似于亮度通道中的基于Weber氏定律的角色。(如在亮度處理的情況中，1-JND色度單位必須在定標中進行重新解釋)。
將這一色差值加權、平方及(帶對比度代數符號)傳遞給對比度能量屏蔽級540。該屏蔽級執(zhí)行與亮度處理部分中相同的功能。操作是比較簡單的，因為它只從亮度通道及從己估算了其差異的色度通道接收輸入。最后，與亮度處理部分中完全相同地處理屏蔽的對比度能量，以在級550中產生色度JND圖。
對視頻序列比較中的各場，首先將亮度與色度JND圖減少到單一數的概括，即亮度與色度JND值。在各情況中，從圖減少到數是通過Minkowski加法求所有象素值之和完成的。然后，再通過Minkowski加法組合亮度與色度JND數，以產生感覺量發(fā)生部分260正在處理的視場的JND估算。在Minkowski意義上相加各場的JND估算值來確定視頻序列的許多視場的單一性能測量270。
圖6展示圖4的亮度處理部分220的詳細方框圖。輸入的測試與參照場圖象分別用Ik與Irefk表示，(R＝0，1，2，3)。Ik與Irefk中的象素值分別用Ik(i，j)與Irefk(i，j)表示。這些值為輸入信號處理部分210中計算的Y三色值605。下面只討論視場Ik，因為Irefk處理是相同的。應指出k＝3表示4視場序列中的最新視場。
四個分辨率級上的空間分解是通過稱作金字塔形處理或金字塔形分解的高效計算方法進行的，它在分辨率的各連續(xù)的粗糙級上用因子2抹掉及下抽樣圖象。原始的全分辨率圖象稱作金字塔的第零級(級0)，G0＝I3(i，j)。較低分辨率上的隨后的級是用稱作REDUCE(減少)的操作獲得的。即，將具有權重(1，2，1)/4的三抽頭低通濾波器610在圖象的各方向上順序地作用在G0上以生成弄模糊的圖象。然后用因子2子抽樣(subsample)得出的圖象(隔一個去掉一個象素)以產生下一級G1。
將濾波與下抽樣一個金字塔形級的操作記作fdsl()，REDUCE處理可表示為Gi+1＝fdsl(Gi)i＝1，2，3重復地在各新的級上作用REDUCE過程(如P.J.Burt與E.H.Adelson在“作為壓縮圖象碼的Laplacian金字塔”，IEEE通信學報，COM-31，532-540(1983)中所描述的)。
定義了用相同的3x3核上抽樣與濾波的逆操作EXPAND(擴張)。這一操作用usfl()表示并出現在下面。
各方向(水平與垂直)上的fdsl與usfl濾波器核分別是kd[1，2，1]與ku[1，2，1]，其中將常量kd與ku選擇為保持均勻場值，對于fdsl，常量kd＝0.25，而對于ufsl，常量ku＝0.5(由于上抽樣圖象中的零)。為了作為布置適當的操作實現usfl，用等效的線性內插替代核來取代零值。然而，為了簡化概念，可將它稱作“上抽樣濾波器”。
接著，采用正規(guī)化，通過求各視場(k＝0，1，2，3)的級3圖象中的四個最大象素值的平均值計算中間值(用Ilvl3表示)。這一步驟通過金字塔形分解過程中內在的平滑，減輕全分辨率(級0)圖象中的局外影響。然后將Ilvl3與前期(k＝2)中使用的正規(guī)化因子Inorm的減小的值比較。將本期(k＝3)的Inorm設定為等于這兩個值中的較大者。然后用Inorm的這一新值定標最新的視場的全體4個金字塔形級的圖象，并將其提交飽和非線性。
下面的式子描述這一過程。如果來自上面的金字塔形級為I3.1(i，j)，其中3與1分別表示最新的視場與金字塔級，則I3.1(i,j)←I3.1(i,j)mI3.1(i,j)m+Inormm+LD,---(14)]]>(620)其中Inorm＝max[αI()norm，Ilvl3]615，I()norm為在前期中正規(guī)化視場3金字塔級中使用的Inorm的值，m默認為2，及Ilvl3=14Σk=03maxi,j[I1.3(i,j)],andα=(1/2)(Δtthalf),---(15)]]>Δt為場頻的倒數，而thalf＝1/2與去掉明亮刺激后人的視覺系統的適應率相關。對于50與60Hz的值分別為0.9727與0.9772。常量LD表示在沒有光線時存在的殘留視覺反應(噪聲)，并默認為0.01的值。式(14)中的飽和非線性是從基于生理學的模型導出的(見Shapley與Enroth-Cugell，1984)。
定向空間濾波器(中心與周圍)作用在場3的級0、1與2圖象上。反之，時間濾波器作用在最低分辨率級(級3)上。即，將第一與最后的場對分別線性組合成Early與Late圖象。
中心與周圍濾波器625及627為分開的3x3濾波器并產生所有定向組合中心垂直(CV)、中心水平(CH)、周圍垂直(SV)及周圍水平(SH)。濾波器核如下CH=000242000;SH=121000121;CV=020040020;SV=101202101.---(16)]]>級3 Early 630與Late 632圖象分別為E3＝tcI3.1(i，j)+(l-tc)I3.0(i，j)， (17)L3＝tlI3.3(i，j)+(l-tl)I3.2(i，j).(18)60Hz的常量te與tl分別為0.5161與0.4848，而50Hz的則分別為0.70與0.30。
對比度計算的輸入為中心與周圍圖象CVi、CHj、SVi與SHi(對于金字塔極0、1與2，I＝0，1，2)，及早與晚圖象E3與L3(對于金字塔級3)。用于計算對比度的式子類似于Michelson對比度。對于水平與垂直朝向，逐個象素的各自對比度為(SHi-CHi)wi(CHi+SHi),]]>和(SVi-CVi)wi(CVi+SVi).---(19)]]>類似地，時間分量的對比度比為(E3-L3)w3(E3+L3).---(20)]]>通過用心理物理學測試數據定標所確定的Wi(i＝0，1，2，3)的值分別為0.015、0.0022，0.0015，及0.003。
通過將前面兩個式了所定義的象素值平方計算出水平與垂直對比度能量圖象640與642，從而得出Hi=((SHi-CHi)wi(CHi+SHi))2,Vi=((SVi-CVi)wi(CVi+SVi))2,i=0,1,2,---(21)]]>類似地，通過求象素值的平方計算出時間對比度能量圖象650T3=((E3-L3)w3(E3+L3))2.---(22)]]>保留平方以前的各對比度比象素值的代數符號供以后使用。
對比度能量屏蔽為作用在用式21與22計算出的各對比度能量或圖象上的非線性函數。屏蔽運算建立在受測試圖象序列中的畸變的鑒別上的參照圖象序列中的時空結構的效應的模型。
例如，受測試與參照圖象相差低幅空間正弦波。已知當兩個圖象都具有公共的相同空間頻率的中間對比度正弦波時比兩個圖象都包含均勻場時，這一差異更可見(Nachmias與Sansbury，1974)。然而，如果公共正弦波的對比度太大，象差變得可見性差。這也是其它空間頻率的正弦波在對比度差異的可視性上具有影響的情況。這一表現可用在低對比度能量上是S形的而對于高對比度能量為遞增的冪函數的非線性來建模。此外，在人類視覺中能近似地觀察到下述標準。各通道屏蔽自己，高空間頻率屏蔽低的(而不是反過來)，及時間閃爍屏蔽空間對比度靈敏度(反之亦然)。
根據人類視覺的這些性質，作用下述形式的非線性(逐個象素作用)660T(y,Di)=dyyβayσ+Di+c---(23)]]>這里，y為要屏蔽的對比度能量空間，Hi或Vi(式(21))或時間(T3)(式(22))。量Di指依賴于Y所屬的金字塔形級i的圖象而言(逐個象素)。感覺量發(fā)生器定標己找出量β、σ、a與c分別為1.17、1.00、0.0757與0.4753，而dy為平方以前對比度y中固有的代數符號。
Di的計算需要金字塔形構成(濾波及下抽樣)及金字塔形重構(濾波與上抽樣)。圖6中展示Di的這一計算。首先，作為H0與V0之和計算E0。通過級652濾波、下抽樣這一和，并將其加在H1+V1上給出E1。接著，進一步濾波、下抽樣E1并將其加在H2+V2上給出E2。依次，進一步濾波與下抽樣E2給出E3。同時，將時間對比度T3的圖象乘以mt并將其加到mftE3上而產生指定為D3的和。
依次，級654重復地上抽樣及濾波D3以產生T2、T1與T0。最后將圖象D1定義為Di＝mfEi+Ti，i＝0，1，2。這里，用定標將mf確定為等于0.001，mft設定為等于0.0005，而將mt設定為等于0.05。濾波、下抽樣與上抽樣步驟與前面討論的相同。
上面的處理顯示較高的空間頻率屏蔽較低的(由于Di受到小于等于i的金字塔級的影響)，而時間通道受所有空間通道的屏蔽。這一屏蔽操作總的是與心理物理學觀察相符的。量Di，i＝0，1，2，還屏蔽色度對比度(但反過來不是)，如下面討論的。
圖20示出圖19的亮度處理部分220的另一實施例的詳細方框圖。由于圖19的亮度處理部分包含許多與圖6的亮度處理部分類似的級，下面只對不同的級提供描述。
一種明顯的不同是用圖20中的亮度壓縮(壓縮非線性)級2000取代圖6的正規(guī)化級。即，非線性包括降低冪函數偏移一個常量。令來自最新的場的相對亮度陣列為Y3(i，j)，其中3表示最新的場。則I3(i,j)=[LmaxY3(i,j)]m+Ldm.---(23a)]]>將顯示的最大亮度Lmax設定為100cd/m2。本函數用8c/deg上的對比度靈敏度數據定標。從而，找出可調節(jié)的參數m與LD分別為0.65及7.5cd/m2。即，將Ld與m的值選擇為便于在從0.01到100ft-L的亮度級上與對比度檢測數據匹配(van Nes與Bouman，1967)。換言之，式(23a)允許相對于絕對亮度定標，例如，改變顯示的最大亮度將影響總亮度輸出。觀察式(23a)的另一方法為它允許感覺量發(fā)生器包含與亮度有關的對比度靈敏度函數。
作為替代，可在各金字塔形級上插入附加的亮度壓縮級2000(在圖20中示出在虛線框中)以允許現有的感覺量發(fā)生器建立作為亮度與空間頻率兩者的函數的對比度靈敏度的模型。否則，實現只有兩個參數的一個亮度壓縮級2000不足以建立其它空間頻率的模型。
更具體地，各亮度圖象金字塔形分解之后，在各金字塔形級k上作用非線性。這時，對于金字塔形級k，壓縮非線性由下式給L3(i，j；k)＝[LmaxY3(i，j；k)+La]m(k)+LD(k)m(k)， (23b)其中再一次選擇m(k)與LD(k)以便在從0.01至100ft-L的亮度級上與對比度檢測匹配(van Nes等人，1967)。值La為環(huán)境屏幕照明的偏移(據屏幕測定值設定為5cd/m2)，而Lmax為顯示的最大亮度(通常大約為100cd/m2)。
定標式(23b)的數據列表如下<
上表中各對比度調制Cm為在空間頻率fs的正弦波的最小可區(qū)別對比度及視網膜亮度I0中得出的實驗值。應指出由于在定標中采用了2mm的人工瞳孔，將視網膜亮度值(以托蘭表示的I0)乘以π以補償亮度值(以cd/m2表示的L)。用于定標的好的起始點為對所有的m(k)與LD(k)采用8c/deg正弦波檢波的默認值，對于它適當的指數m為.65而適當的LD值為7.5cd/m2。
亮度空間與時間濾波對圖6及圖20的兩種感覺量發(fā)生器相同。然而，圖20的感覺量發(fā)生器的亮度對比度計算是不用平方運算得出的。圖20中的級2040、2042及2050取代級640、642及650。
更具體地，對比度響應圖象是作為上述式(19)與(20)所定義的量的絕對值的剪裁的版本計算的。這些量計算如下Hi=max(0,|(SHi-CHi)wi(CHi+SHi)|-ϵ),Vi=max(0,|(SVi-CVi)wi(CVi+SVi)|-ϵ)---(23c)]]>i＝0，1，2，T3=max(0,|(E3-L3)w3(E3+L3)|-ϵ),whereϵ=0.75.---(23d)]]>絕對值運算之前的各對比度比象素值的代數符號也必須保留供以后使用。
圖6與圖20的感覺量發(fā)生器之間的另一明顯差別為對比度能量的實現。與圖6不同，圖20的感覺量發(fā)生器在兩個分開的級中實現對比度能量屏蔽2060對每個水平與垂直通道的一個交叉屏蔽級及一個自屏蔽級(見圖20)。自屏蔽降低在當前通道內存在信息時的靈敏度，而交叉屏蔽降低在鄰接通道中存在信息時的靈敏度。事實上，這兩個分開的屏蔽級的次序可以顛倒。這些對比度能量屏蔽級有下述形式T(y,Di)=dyziβazi+c,]]>(白屏蔽) (23e)其中zi=y[1+mf(Di-y)]]]>i＝0，1，2，及z3=y(1+D3-mty)]]>(交叉異蔽)這里，y為要屏蔽的對比度空間，Hi或Ji(式(23c))或時間(T3)(式(24d))。量Di指依賴于y所屬的金字塔級i的圖象而言(逐個象素)。量b、a、c、mf及mt是通過分別建立1.4、3/32、5/32、10/1024及50的定標模型找出的。dy為在取絕對值之前保留的對比度y的代數符號。
Di的計算類似于上面討論的圖6中的。即，fdsl()表示3×3濾波，后隨一個金字塔級的下抽樣，而usfl()表示一個金字塔形級的上抽樣后隨3x3濾波。首先，計算陣列E0如下E0＝H0+V0(23f)然后，對于i＝1，2，遞歸地計算陣列EiEi＝Hi+Vi+fdsl(Ei-1)，對于i＝1，2 (23g)E3＝fdsl(E2)(23h)然后將陣列Ei與時間對比度圖象T3及圖象Ti組合給出對比度分母陣列Di如下D3＝mtT3+mftfdsl(E2)， (23i)T2＝usfl(D3)，T1＝usfl(Ti+1)，for i＝1，0，D1＝Ei+Ti，i＝0，1，2. (23j)這里，參數mft＝3/64，調制所有空間亮度一起用它來屏蔽時間(閃爍)亮度通道的強度；而參數mt＝50，調制時間(閃爍)亮度通道用它來屏蔽各空間亮度通道的強度。
圖7展示亮度量發(fā)生部分240的詳細方框圖。再一次可將圖7看成是亮度量發(fā)生步驟的流程圖或具有用于執(zhí)行這些亮度量發(fā)生步驟的多個硬件部件的亮度量發(fā)生部分的方框圖，諸如濾波器、各種電路元件與/或應用專用的集成電路(ASIC)。下述構造適用于上面圖6中生成的所有屏蔽的對比度圖象金字塔形H與V中的圖象(即圖象H0，V0、H1、V1、H2與V2)、圖象T3(具有級3上的分辨率)及從參照序列中導出的對應圖象(用圖6與7中的上標ref表示)。
下面過程中的前四個步驟分開作用在上述圖象上。在下面的討論中X表示從測試序列中導出的任何圖象，而用Xref表示從參照序列中導出對應圖象。給定這一標記法，這些步驟如下在步驟(或級)710中，將圖象X分成兩個半波整流圖象，一個用于正在對比度712而另一個用于負對比度714。在正對比度圖象(稱作X+)中，利用來自X對比度的符號(如上面討論的分開存儲的)將零賦予X+中具有負對比度的所有象素。相反的操作出現在負對比度圖象X-中。
在步驟(或級)720中，對于各圖象X+與X-，通過應用3x3濾波器將圖象與0.25(1，2，1)的濾波器核水平及垂直卷積來執(zhí)行本地匯集操作。
此外，在步驟720中，在各方向上用因子2下抽樣得出的圖象，消除從匯集操作中導致的冗余。為對應的參照圖象Xref執(zhí)行與作用在X上相同的處理。
在步驟(或級)730中，逐個象素計算絕對差圖象|X+-X+ref|及|X--X-ref|。得出的圖象為JND圖。
在步驟(或級)740中，在JND圖上執(zhí)行核化操作。即將小于閾值tc的所有值設定為零。在較佳實施例中，tc的默認值為0.5。
在步驟(或級)750中，確定這些圖象的第Q次冪。在較佳實施例中，Q為默認值為2的正整數。
對所有的X，Xref對完成了這一處理之后，通過重復地上抽樣、濾波及將所有圖象向上相加到要求的級來確定概括測量。這是按如下進行的在步驟(或級)760中，在從T3，T3ref中導出的級3圖象上作用上抽樣與濾波以導出級2圖象。
在步驟(或級)761中，在來自步驟760的級2圖象與從H2、H2ref、V2及V2ref導出的級2圖象之和上作用上抽樣及濾波。
在步驟(或級)762中，在來自步驟761的級2圖象與從H1、H1ref、V1及V1ref導出的級2圖象之和上作用上抽樣及濾波。
在步驟(或級)763中，在來自步驟762的級2圖象與從H0、H0ref、V0及V0ref導出的級2圖象之和作用上抽樣及濾波。來自步驟(或級)763的路徑765上的輸出為亮度JND圖。
應指出在最后處理步驟763之前，得出的圖象是原始圖象的一半分辨率。類似地應指出在這一處理部分中的各金字塔形級下標是指它從其原始導出的金字塔級而言，它是與濾波/下抽樣后的級關聯的分辨率的兩倍。
還應指出通過上面的重復上抽樣、濾波及加法處理生成的所有圖象為第Q次冪JND圖象。以兩種方式使用級0圖象，在路徑764上將其直接送到概括處理，或者為顯示目的在步驟763中上抽樣及濾波到原始圖象分辨率。
圖21展示亮度量發(fā)生部分240的另一實施例的詳細方框圖。由于圖21的亮度量發(fā)生包含許多與圖7的亮度量發(fā)生類似的級，下面只對不同的級提供描述。
更具體地，用保持通道輸出的運行和與運行最大值的多個求最大值與和級取代“核化”級740及“上升到第Q次冪”級750。由于直到級750圖21所示的過程與圖7的相同，現有從己確定了絕對差圖象|X+-X+ref|及|X--X-ref|的點上開始描述圖21的過程。
接著，在為各X，Xref的對完成了該過程之后，在級2140中初始化運行和圖象以包含從T3，T3ref導出的級3圖象之和。類似地，在級2142中初始化運行最大值圖象以包含作為|T3+-T3+ref|及|T3--T3-ref|的逐點最大值的運行最大值圖象。
接著，級2140a與2142a分別上抽樣及濾波運行和與運行最大值圖象，以構成兩個級2圖象。然后級2144通過將其加到從H2、H2ref、V2及V2ref導出的級2圖象而更新運行和圖象。類似地，級2146通過將其與從H2、H2ref、V2及V2ref導出的組2圖象比較而更新運行最大值圖象。
接著，級2144a及2146a分別上抽樣及濾波運行和與運行最大值圖象來構成兩個級1圖象。然后級2148通過將其加到從H1、H1ref、V1及V1ref導出的級1圖象而更新運行和圖象。類似地，級2150通過將其與從H1、H1ref、V1及V1ref導出的級1圖象比較而更新運行最大值圖象。
接著，級2148a與2150a分別上抽樣及濾波運行和及運行最大值圖象以構成兩個級0圖象。然后級2152通過將其加到從H0、H0ref、V0及V0ref導出的級0圖象而更新運行和圖象。類似地，級2154通過將其與從H0、H0ref、V0及V0ref導出的級0圖象比較而更新運行最大值圖象。
最后，在級2160中執(zhí)行運行和與運行最大值圖象的逐點線性組合來產生按照下式的亮度JND圖JNDL(i，j)＝kLRunning_Max(i，j)+(l-kL)Running_Sum(i，j)(23k)其中kL＝0.783。k值是通過逼近Minkowski Q-norm確定的。給定Q值及要集合的圖象數目N，值kL＝[N-NI/Q]/[N-1]保證當所有比較項(在一個象素上)相同時且當只有一個非零項時，近似測定值正好與Q-norm匹配。在這一情況中，N＝14(通道數)而Q＝2。
應指出這一過程之后，得出的圖象是原始的一半分辨率。類似地，應指出這一過程中的各金字塔形級下標是指它從其原始導出的金字塔級而言，它是與濾波/下抽樣后的級關聯的分辨率的兩倍。
最后，應指出能在通過重復濾波/下抽樣與加法/求最大值過程生成的所有圖象上加上權重kL與l-kL以產生JND圖象?？捎脙煞N方式處理級0圖象，通過路徑2161將級0圖象直接送至JND概括處理或者用級2170上抽樣及濾波到原始分辨率供顯示。
通常，圖21的亮度量發(fā)生部分是較佳實施例，而圖7的亮度量發(fā)生部分是替代實施例。原因之一是求最大值、求和方法是計算上較便宜的。從而，如果希望整數實現中的動態(tài)范圍，則圖21的亮度量發(fā)生部分較佳。否則，如果采用浮點處理器，則圖7的亮度量發(fā)生部分也能一樣好地使用。
半高度亮度處理由于存儲器需求與計算周期是重要的處理問題，本發(fā)明提供能處理諸如交錯圖象的頂與底部場的半高度圖象的感覺量發(fā)生器的另一實施例。這一實施例減少存儲全高度圖象所需的存儲器空間量，同時減少計算周期數。
如果要直接傳遞通過半高度圖象而無須填充0到真實的圖象高度，則上述亮度處理部分220必須加以修改以反映固有的垂直分辨率只是固有的水平分辨率的一半。圖22與23為用于處理半高度圖象的亮度處理部分及亮度量發(fā)生部分的方框圖。
這兩個圖(圖22與23)與用于全高度交錯圖象的對應的圖(圖20與21)之間的比較揭示許多級是相同的。從而，下面對圖22與23的描述只限于兩種實現之間的差別。
首先，消除了最高分辨率水平通道H0。第二，最高分辨率圖象是用具有權重(1/8，3/4，1/8)的3×1“Kell”濾波器(垂直濾波器)2210垂直(即沿列)低通濾波的。這一濾波器是垂直尺度上的抗混淆濾波器，用于消除由于行是在一半空間頻率上抽樣的這一事實引起的影響。即它是垂直變模糊的低通濾波器。然后用1×3濾波器2220(核0.25[1，2，1])水平濾波得出的經垂直濾波的圖象L0。得出的圖象LP0為L0的水平低通型式。
接著，將L0與LP0組合以產生除以類似于其它定向通道的(S-C)/(S+C)響應的低通(LP0)定向的響應的帶通(LP0-L0)。
依次，在級2200中將圖象LP0(720×240個象素的半高度圖象)水平下抽樣到全高度半分辨率圖象(360×240)。在這一點上，縱橫比使得在這一圖象及全部剩下的三個金字塔級上的處理能象全高度方案中一樣繼續(xù)進行。
接著，分別用級2232(標記為1×3濾波器與d.s.)1×3濾波/水平下抽樣及用級2234水平上抽樣(h.u.s)/1×3濾波完成來自級0的半高度圖象與級1的全高度圖象之間的下抽樣及上抽樣。水平下抽樣在水平尺度上用因子2施加分樣(decimation)，即丟棄圖象的每隔一列。水平上抽樣在現有圖象的每兩列之間插入零的列。上抽樣后的濾波器核用0.5[1，2，1]定義，其理由如上所述。
圖23展示用于處理半高度圖象的亮度量發(fā)生部分。首先，不存在最高分辨率水平通道H0。對于V0通道，提供1×3濾波和水平下抽樣級2300來取代其它通道中使用的3×3濾波及下抽樣級。
由于沒有H0通道，修改了各種參數及運行最大值與運行和的“通路”例如，將確定k的N值從14改變到12。同一值k＝0.738用于全高度與半高度處理兩者并且是從上面給出的式子計算的全高度與半高度常量的平均值。
最后，如在全高度實施例中，在顯示以前必須將概括測量的亮度圖帶入全圖象分辨率。緊接在顯示前，在級2310中通過上抽樣及隨后用1×3濾波(核0.5[1，2，1])將最終的JND帶到全分辨率。因垂直方向上，在級2320中執(zhí)行了行加倍。
應指出由于各空間濾波器具有水平與垂直空間相關性，與其全高度對等物相比半高度實施例存在一些差別。然而，己觀察到半高度實施例在與主觀額定值的相關性中呈現少許失真。從而，可采用非交錯選擇項作為交錯選擇項的有生命力與節(jié)省時間的替代品。
圖8展示色度處理部分230的詳細方框圖。再一次可將圖8看成色度處理步驟的流程圖或具有用于執(zhí)行這些色度處理步驟的多個硬件元件的色度處理部分的方框圖，例如濾波器、各種電路元件與/或應用專用的集成電路(ASIC)。應指出除具有級0，1，2的金字塔形外，色度處理部分230為u*802與v*804兩者計算具有級0，1，…，6的金字塔形。
將色度通道的空間分辨率(即最高金字塔級的分辨率)選擇為等于亮度的分辨率的，因為分辨率是由象素間間隔而非接收器間間隔驅動的。接收器間間隔為0.007度視角，而象素間間隔為0.03度，這是從在其高度上具有480個象素及在四倍其高度處觀看而導出的。另一方面，Morgan與Aiba(1985)發(fā)現紅綠微調敏銳度在等亮度上降低因子3，這一因子要用其它類型的敏銳度的三個接收器間間隔來均衡。同時，蘭黃色度通道的分辨率受到視覺系統對于小于大約2’(0.033度)視角的光線是三型色盲(蘭色盲)的這一事實的限制(見Wyszecki與Stiles，1982，571頁)。0.03度視角的象素分辨率非常接近這些值中的最大者，使其適合于均衡亮度與色度通道的象素分辨率。
色度金字塔延伸到級6。這支持觀察者注意到大的空間均勻的彩色場之間的差異的論據。這一效應能用空間延伸的JND圖來解決。Mullen(1985)己提供這種低空間頻率對JND的影響的定量論據。
返回到圖8，類似于亮度處理，通過金字塔形分解完成在七個分辨率級上的空間分解，在各連續(xù)的較粗糙的分辨率級上用因子2弄模糊及下抽象圖象。原始的全分辨率圖象稱作金字塔的第0級(級0)。在較低分辨率上的后面的級是用稱作REDUCE(降低)的操作得到的。即，在圖象的各方向上順序地將具有權重(1，2，1)/4的三抽頭低通濾波器805作用在級0上以生成弄模糊的圖象。然后用因子2子抽樣得出的圖象以產生下一級，級1。
在步驟(或級)810中，為各分辨率級在u*圖象上并且也在v*圖象上用抽頭權重(0.25，0.25，0.25，0.25)執(zhí)行四場平均，即令ui←14Σj=03uij,vi←14Σj=03vij,---(23l)]]>其中j為場下標。這一平均運算反映彩色通道的固有低通時間濾波，并取代時間亮度通道的“early-late”處理。
在步驟(或級)820中，將非定向的Laplacian空間濾波器820作用在各u*與v*圖象上。該濾波器具有下面的3×3核1/41212-122121,---(24)]]>選擇成具有0總權重及用最大強度1來響應兩個均勻區(qū)之間的任何直邊，這兩個區(qū)之間具有單位值的差異。(最大響應是由水平或垂直邊達到的。)這將u*與v*圖象描繪到能以均勻色空間(JND)為單位估算的色度差異圖中。
在步驟(或級)830中，直接在從作為色度對比度金字塔的步驟820得出的u*與v*圖象上執(zhí)行對比度計算，將類似于亮度處理部分中計算的Michelson對比度進行解釋。與亮度對比度類似，色度對比度是通過用Laplacian金字塔實現的圖象內比較計算的。正如Laplacian差除以空間平均值表示Michelson對比度，它通過Weber氏定律假設1-JND級上(檢測閾值)的常量值，在u*與v*上操作的Laplacian金字塔具有1-JND的解釋。類似地，這一解釋在定標過程中修改。修改反映本發(fā)明的所有部分的交互作用，以及激發(fā)1-JND響應的刺激并非簡單地依據感覺量發(fā)生器這一事實。
此外在步驟(或級)830中，將對比度金字塔形圖象逐級除以七個常量qi(i＝0，…，6)，它們的值是分別通過定標成1000、125、40、12.5、10、10、10確定的。這些常量類似于亮度處理部分中的量Wi(i＝0，…，3)。
在步驟(或級)840中，確定所有u*與v*對比度的平方，但再一次保留代數符號供以后使用。符號保留防止由于在平方運算中丟失符號的二義性引起的在兩個不同圖象之間記錄0 JND的可能性。結果是兩個色度平方對比度金字塔Cu、Cv。
在步驟(或級)850中，執(zhí)行對比度能量屏蔽。首先，直接從亮度處理部分220不加改變地采用分母金字塔級Dm(m＝0，1，2)。然而，對于級3，…，6利用與亮度處理中相同的方法但不增加新項，執(zhí)行D2的順序濾波與下抽樣。在步驟840中在微擾理論的精神中使用這些Dm值，共含義為，由于亮度是JND的更重要的確定者，事先假定亮度在色度上的作用比色度在亮度上的作用更重要。即，由于在大多數情況中預期亮度作用支配色度作用，可將色度處理部分看成是亮度處理部分上的第一級微擾。因此將亮度作用(Dm)建模成屏蔽色度，而不是反過來。
屏蔽的色度對比度金字塔是通過使用亮度通道分母金字塔Dm及與用于亮度換能器相同函數形式以屏蔽色度平方對比度金字塔而生成的，對于所有金字塔級m＝0，1，2Cum←ksumCumβcacCu,σc+mcDm+cc,---(25)]]>Cvm←ksvmCvmβcacCvmσc+mcDm+cc.---(26)]]>應指出在步驟830中去掉的代數符號通過因子Sum與Svm重新加上。這一運算產生u*與v*的屏蔽對比度金字塔。定標己確定值ac＝0.15，cc＝0.3，k＝0.7，σc＝1.0及βc＝1.17。此外，將mc設定為值1在所有定標與預測中己產生足夠的性能。
圖24展示色度處理部分230的另一實施例的詳細方框圖。由于圖24的色度處理部分包含許多與圖8的色度處理部分類似的級，下面只對不同的級提供描述。
對于圖8與圖24的兩種感覺量發(fā)生器，色度空間與時間濾波是相同的。然而，圖24的感覺量發(fā)生器的色度對比度計算是不用平方運算達到的。即，用圖24中的級2400取代級830。
更具體地，在步驟(或級)830中，逐級將對比度金字塔圖象除以7個常量qi(i＝0，…，6)，它們的值是分別通過定標成384、60、24、6、4、3、3確定的。應指出這些常量與圖8的不同。這些常量類似于亮度處理部分中的量wi(i＝0，…，3)。
接著，計算所有ui與v*對比度的經過剪裁的絕對值[其中clip(x)＝max(0，x-e)]，其中e＝0.75。再一次保留代數符號及在以后使用時重新加上。這防止了由于在絕對值運算中的符號丟失的二義性而在兩個不同圖象之間記錄0 JND的可能性。結果是兩個色度對比度金字塔Cu、Cv。
圖8與圖24的感覺量發(fā)生器之間的另一明顯差異是對比度能量屏蔽的實現。與圖8不同，圖24的感覺量發(fā)生器在兩個分開的級中實現對比度能量屏蔽2410用于各水平與垂直通道的一個交叉屏蔽級及一個自屏蔽級(見圖24)。自屏蔽降低當前通道內出現信息時的靈敏度。而交叉屏蔽降低在鄰接通道中出現信息時的靈敏度。事實上，這兩個分開的屏蔽級的次序可以顛倒。
利用亮度通道分母金字塔Dm及用于亮度換能器的相同函數形式，對所有金字塔級m＝0，…，6屏蔽色度對比度金字塔Cum←sumzumβczcCum+cc,---(26a)]]>zum=Cum(1+mcDi)]]>并在i＞2時Di為D2的濾波及下抽樣的版本。類似地，Cvm←svmzvmβcacCvm+cc.---(26b)]]>zvm=Cvm(1+mcDi).]]>注意上面去掉的代數符號己通過因子sum與svm重新加上。這產生ui與vi的屏蔽的對比度金字塔。定標確定值ac＝1/2，cc＝1/2，βc＝1.4及mc＝mf＝10/1024。通常，圖24的色度處理部分為較佳實施例，而圖8的色度處理部分為替代實施例。
圖9展示色度量發(fā)生部分250的方框圖。再一次可將圖9看成是色度量發(fā)生步驟的流程或具有用于執(zhí)行這些亮度量發(fā)生步驟的多個硬件部件的色度量發(fā)生部分的方框圖，諸如濾波器、各種電路元件與/或應用專用的集成電路(ASIC)。色度JND圖的構成類似于上面對圖7討論的亮度JND圖的構成。在色度情況中，這一過程作用在上面的級840生成的所有屏蔽的對比度色度圖象(即圖象Cu0，Cv0，…，Cu6、Cv6)及從參照序列導出的對應圖象上(在圖8與9中用上標ref表示)。
下面過程中的前四個步驟分開作用在上述圖象上。在下面的討論中X表示從測試序列導出的任何圖象，而用Xref表示從參照序列導出的對應圖象。給定這一標記，步驟如下在步驟(或級)910中，將圖象X分成兩個半波整流圖象，一個用于正對比度912及另一個用于負對比度914。在正對比度圖象(稱作X+)中，利用來自X對比度(如上面討論的分開存儲的)的符號對X+中具有負對比度的所有象素賦值0。在負對比度圖象X-中發(fā)生相反的操作。
在步驟(或級)920中，通過作用3×3濾波器將圖象水平及垂直地與0.5[1，2，1]的濾波器核卷積，以執(zhí)行本地匯集操作。
此外，在步驟920中，在各方向上用因子2下抽樣得出的圖象以消除從匯集操作中導致的冗余。對對應的參照圖象Xref執(zhí)行與作用在X上相同的處理。
在步驟(或級)930中，逐個象素計算絕對差圖象|X+-X+ref|及|X--X-ref|。得出的圖象為JND圖。
在步驟(或級)940中，在J-ND圖上執(zhí)行核化操作。即將所有小于閾值tc的值設定為零。在較佳實施例中，tc的默認值為0.5。
在步驟(或級)950中，確定這些圖象的第Q次冪。在較佳實施例中，Q為默認值為2的正整數。
對所有的X，Xref對完成了這一過程之后，通過重復地上抽樣、濾波及將所有圖象加在一起到所要求的級上來確定概括測量。這是如下進行的
在步驟(或級)960中，在從Cu6、Cu6ref、Cv6、Cv6ref導出的級6圖象上作用上抽樣及濾波以導出級5圖象。
在下一步驟(或級)中，將上抽樣及濾波作用在來自具有從Cu5、Cu5ref、Cv5、Cv5ref導出的級5圖象的步驟960的級5圖象之和上。這一過程繼續(xù)進行到級0。
類似于亮度處理，應指出在最后的處理步驟963之前，得出的圖象的分辨率是原始圖象的一半。類似地，應指出這一處理部分中的各金字塔級下標是指它原來從其導出的金字塔級而言，它是與濾波/下抽樣后的級關聯的分辨率的兩倍。
應指出上面重復上抽樣、濾波及加法過程所生成的所有圖象為第Q次冪JND圖象。以兩種方式使用級0圖象，在路徑964上直接送給概括處理，或者在步驟963中上抽樣及濾波到原始圖象分辨率供顯示用。
如上面討論的，傳遞給輸出概括步驟的亮度及色度JND圖為第Q次冪JND圖象，并且是在原始圖象的半分辨率上表示的。這利用了在各屏蔽對比度級上執(zhí)行匯集中固有的冗余性。通過用Minkowski加法求所有象素的平均值能將這些半分辨率圖象中的每個減少到單個JND性能測量JNDluma=[NP-1Σi,jLJND(i,j)Q]1Q,---(27)]]>JNDchroma=[NP-1Σi,jCJND(i,j)Q]1Q.---(28)]]>NP為各個JND圖中的象素數目，JNDluminance及JNDchrominance為概括測量，而LJNDQ與CJNDQ為分別來自亮度及色度圖構造的半分辨率圖。在各情況中，該總和是在圖象中的所有象素。如上所述，Minkowski指數Q的值默認為2。
從亮度與色度概括測量中，用Minkowski加法計算場的單一性能測量，即JNDfield=[JNDlumaQ+JNDchromaQ]1Q,---(29)]]>其中Q再次默認為2。
通過再一次在Minkowski意義上將各場的JND值相加得出視頻序列的N個場的單一性能測量JNDfield。Q默認為2。JND=[1NΣmJNDfieldQ(m)]1Q.---(30)]]>圖25展示色度量發(fā)生部分250的另一實施例的詳細方框圖。因為圖25的色度量發(fā)生包含許多與圖9的色度量發(fā)生類似的級，下面只對不同的級提供描述。
更具體地，用保持通道輸出的運行和與運行最大值的多個求最大值及求和級取代“核化”級940及“升高到第Q次冪”級950。由于直到級930圖25與圖9中所示的過程相同，現在從己確定了絕對差圖象|X+-X+ref|及|X--X-ref|的點上開始描述圖25的過程。
接著，為所有的X，Xref對完成了處理之后，在級2540中初始化運行和以包含從Cu6、Cu6ref、Cv6及Cv6ref導出的級6圖象之和。類似地，在級2542中將運行最大值圖象初始化為這些相同圖象的逐點最大值。
接著，用級2540a及2542a分別上抽樣及濾波運行和及運行最大值圖象，以構成兩個級5圖象。然后級2544通過將其加到從Cu5、Cu5ref、Cv5及Cv5ref導出的級5圖象更新運行和圖象。類似地，級2546通過將其與從Cu5、Cu5ref、Cv5及Cv5ref導出的級5圖象比較而更新運行最大值圖象。這一過程向下重復到金字塔級0。
最后，執(zhí)行了上述步驟之后，執(zhí)行運行和與運行最大值圖象的逐點線性組合以產生色度JND圖JNDC(i，j)＝kCRunning_Max(i，j)+(1-kC)Running_Sum(i，j)， (30a)其中kc＝0.836。kc的值是通過逼近Minkowski Q-norm確定的。給定Q的值及要集在一起的圖象的數目N，值kc＝[N-NI/Q]/[N-1]保證近似測量在所有比較項(象素上)相同時并且在只有一個非零項時，完全與Q-norm匹配。在本例中，N＝28(通道數)及Q＝2。
和在亮度處理中一樣，這些操作之后得出的圖象在分辨率上是原始圖象的一半。應指出這一過程中的各金字塔級下標是指從其原始導出的金字塔級而言，它是與濾波/下抽樣后的級關聯的分辨率的兩倍。
還應指出可在上面的重復上抽樣/濾波與加法/求最大值過程所生成的所有圖象上加上權重kc與1-kc以產生JND圖象。以兩種方式使用級0圖象，將其直接送給概括處理或上抽樣到原始圖象分辨率及濾波供顯示用。
通常，圖25的色度量發(fā)生部分是較佳實施例，而圖9的亮度量發(fā)生部分為替代實施例。一種原因是最大值-和方法在計算上較便宜。從而，如果希望以整數實現的動態(tài)范圍，則圖25的色度量發(fā)生部分較佳。否則，如采用浮點處理器，則圖9的亮度量發(fā)生部分能同樣使用。
半高度色度處理如果直接傳遞半高度圖象而不填充零到真實圖象高度，則上面的色度處理部分230必須加以修改以反映固有的垂直分辨率只是固有的水平分辨率的一半。圖26與27為用于處理半高度圖象的色度處理部分及色度量發(fā)生部分的方框圖。
這些圖(圖26與27)與用于全高度交錯的對應的圖(圖24與25)之間的比較揭示許多級是相同的。因此，下面對圖26與27的描述限于兩種實現之間的差別。
首先，消除最高分辨率色度通道u0*與v0*。由于在高空間頻率上色度靈敏度通常是低的，損失這些通道并不重要。
第二，為了產生次最高分辨率色度圖象u1*與v1*，垂直(即沿列)作用具有權重(1/8，3/4，1/8)的核的低通“Kell”濾波器2600。這一操作對應于假設的去交錯濾波器連同全高度實施例的3×3濾波器的垂直分量所執(zhí)行的濾波的聯合濾波。然后用具有權重0.25(1，2，1)的核的1×3濾波器2610水平濾波得出的垂直濾波的圖象。u*與v*圖象的這一濾波使半高度圖象的分辨率各向同性。這一分辨率具有全高度金字塔級1。
圖27展示用于處理半高度圖象的色度量發(fā)生部分。首先，0級不存在。這樣，修改了運行最大值與運行和的各種參數及“通路”。例如，將確定k的值N從28改變到24。相同的k＝0.836用于全高與半高度處理并且是從上面給出的公式中計算出的全高與半高度常量的平均值。
由于在色度實施例中，最大值與和流是完全累積在金字塔級1上的，概括測量的色度JND圖只是全部累積的亮度圖的一關大小(在水平與垂直方向上)。從而，在組合色度與亮度圖來產生總的JND圖之前，必須首先將色度圖變成與亮度圖相同的分辨率。為了達到這一目的，執(zhí)行上抽樣后隨3×3濾波器2705，以產生概括測量的色度JND圖。
如在全高度實施例中，在顯示以前必須將概括測量的色度圖變成全圖象分辨率。為了與亮度圖中的類似操作一致，在級2710中通過上抽樣及后隨1×3濾波(核0.5[1，2，1])將色度圖在水平方向上變成全分辨率。在垂直方向上，在級2720中執(zhí)行行加倍。
JND輸出概要如上面討論的，傳遞給輸出概要步驟的亮度與色度JND圖為JND圖象，并且是在原始圖象的半分辨率上表示的。這利用己執(zhí)行匯集的各屏蔽的對比度級中固有的冗余性。
接著，將亮度與色度JND圖JNDL與JNDC組合成總視場JND圖JNDT。這一組合是用近似Minkowski加法進行的，與通道組合來產生圖JNDL與JNDC相似JNDT(i，j)＝kTmax[JNDL(i，j)，JNDC(i，j)] (30b)+(1-kT)[JNDL(i，j)+JNDC(i，j)]其中kT＝0.586。kT的選擇是通過逼近Minkowski Q-norm確定的。在本例中，max/sum中有兩項，而Q＝2。
依次，通過下述直方圖過程將各半分辨率JND圖象(各場三個亮度、色度與總視場)減少到稱作JAM的單一JND性能測量首先，制作JND值的直方圖(1/8 JND)，但不包含小于閾值級tc＝1/2的值。將大于100JND的所有的值作為100JND記錄。
第二，采用JND作為來自上面的縮略的直方圖的JND點數的第90個百分點。以這一方式為分別對應于JNDL、JNDC及JNDT的概括測量計算三個值JAMluma、JAMchroma及JAMtotal。這是為視頻序列中的各場進行的。
從視頻序列中的N個單視場JAMfield值中，取決于序列的長度，以兩種方式之一計算單一的性能測量。
對于N＞10JAMN等于JAMfield值的直方圖的第90個百分點。
對于N≤10用于N增加時提供連續(xù)度的下述過程確定JAMN。更具體地，首先制作JAMfield值的直方圖。第二，用具有與真實直方圖相同的最小值、最大值及平均值的“人造直方圖”逼近直方圖，該人造直方圖是由在最小或最大值之一上的單一侖峰值的常量構成的。
第三，采用N場JAM作為來自上述人造直方圖的JAMfield點數的第90個百分點。
應指出主觀額定數據對于短視頻序列(如小于1/2秒或15幀)是有噪聲及不可靠的。從而JAM估計與短序列的主觀額定值的相關是低劣的。
圖象邊界處理在本感覺量發(fā)生器中，己觀察到各級上的邊界反射能將贗象傳播到亮度與色度JND圖中，從而需要修剪來使這些JND圖不受這些贗象污染。為了解決這一臨界性，己研究出一種方法用無限大小但以每邊不超過6個象素增加實際圖象大小進行操作的灰色遮光板來取代屏幕邊界。這一“虛擬遮光板”的使用消除了修剪JND來避免邊界贗象的要求。無限的灰色遮光板模仿觀看條件并因此可認為不是人工的。用這一解釋，整個JND圖是不受贗象污染的。并能用畫面質量分析器顯示。
在下面的描述中，將己在所有邊上用6個象素填襯的的圖象稱作“填襯圖象”，而將未填襯的圖象或其填襯圖象內的部位稱作“圖象本體”。
由于圖象操作是本地的，能高效地實現虛擬無限遮光板。在圖象本體外側充分遠處，無限遮光板在任何給定級上得出一組相同的常量值?？墒孪扔嬎阍谶@一常量區(qū)上所執(zhí)行的諸如濾波等圖象操作的效果。從而，窄的邊界(本實現中為6個象素)能提供從圖象本體到無限遮光板的適當過渡。
在輸入端上，給予遮光板值Y’＝90，U’＝V’＝0。(Y’＝90的值對應于最大屏幕亮度的15％的Rec 500背景值的一半)。然而，直到前端處理完成為止遮光板是不需要的，由于在這一級完成之前不會出現延伸到圖象邊界以外的空間交互作用。在亮度通道中，在亮度壓縮完成之前沒有邊界(并因而沒有遮光板值)附加在圖象上。在色度通道中，前端處理之后加上邊界。
在高度通道中，亮度壓縮后的第一遮光板值是first_luma_bezel=[Lmax(90255)γ]m+Ldm,---(30c)]]>在u*與v*通道中，第一遮光板值均為0。
這些值以三種方式傳播通過后面的處理級1)逐個象素的函數在老遮光板值上運算以產生新遮光板值。例如，從1.4次冪函數得出的遮光板值為bezel_out＝(bezel_in)1.4(30d)2)其行與列之和為P的3×3空間濾波器將輸出bezel值設定為輸入bezel乘P。
3)對比度函數計數器與四視場時間濾波器(具有零抽頭和)將輸出遮光板值設定為0。
在對比度級上及以后，在亮度與色度通道中給予遮光板值0，即在空間常量陣列上用零和線性核運算的邏輯結果。
用于生成虛擬遮光板的方法公開在1997年11月23日提交的名為“生成圖象金字塔邊界的方法”的美國專利申請08/997,267中。通過引用將該美國專利申請08/997,267包含在此。
集成圖象及遮光板從模型的金字塔級開始，必須提供邊界。在N×M輸入圖象上的第一邊界操作是用具有適當的遮光板值(對于壓縮的亮度圖象的first luma bezel及對于u*與v*圖象的0)的6個象素(所有邊上)填充圖象。填充后的圖象具有尺度(N+12)×(M+12)。對于第k個金字塔級(其中k的范圍為0至7)填充后的圖象具有尺度([N/2k]+12)×([M/2k]+12)，其中“[x]”表示x中的最大整數。
所有金字塔級上的圖象都互相登記在圖象本體的左上角上。圖象本體的記號在0≤y≤高度，0≤x≤寬度上進行。圖象本體的左上角永遠具有記號(0，0)。遮光板象素取小于0的高度與寬度值。例如，左上遮光板象素為(-6，-6)。如果從寬度為w的圖象(圖象加遮光板寬度w+12)的左邊開始沿x方向看，遮光板象素是用x＝(-6，-5，…，-1)標記的，實際圖象標記為(0，1，…，w-1)而右邊遮光板標記則為(w，w+1，…，w+5)。
給定填充后的圖象，取決于以后的處理級，能發(fā)生四件事情。在描述下面的操作中，我們用單一圖象行來概括空間處理(理解類似的事件發(fā)生在垂直方向上)。
(a)對于逐個象素操作。當下一個操作是逐個象素操作時(如具有非線性)，簡單地將填充后的圖象傳遞通過該操作，并且輸出圖象尺度與輸入圖象尺度相同。當操作是在不同的場或不同的色帶中的對應象素之間時，出現相同的情況。
(b)對于3×3空間濾波器。假定(在一個尺度上)未填充的輸入圖象具有尺度Nk+12。則填充后的輸入圖象具有尺度Nk+12，而填充后的輸出圖象同樣具有尺度Nk+12。首先計算輸出遮光板值及寫入至少尚未被以后的圖象操作填充的遮光板象素中。然后從離開填充后的輸入圖象左邊1個象素開始，3×3核開始對輸入圖象運算及改寫輸出圖象的遮光板值，停止在距圖象右(或底)邊一個象素處(這里存在原始遮光板值)。事先寫入的遮光板值使核運算沒有必要進行到原始(填充后的)圖象外面去計算這些值。
(c)對于在REDUCE中的濾波及下抽樣。給定具有尺度Nk+12的輸入填充后的圖象，分配給輸出陣列尺度[Nk/2]+12。將遮光板值寫入至少后面的濾波器與下抽樣操作不填充的遮光板象素中。然后，按照上面的(b)濾波輸入圖象，濾波器作用在象素-4，-2，0，2，4上直到窮盡了輸入圖象為止，并將輸出值寫入連續(xù)的象素-2，-1，0，1，2，…中，直到輸出圖象中再也沒有它們的位置為止。注意新圖象中象素0的位置距新圖象左端7個象素。如果Nk為奇數，濾波器的最后象素應用取輸入象素Nk+3以輸出象素[Nk/2]+12，而如果Nk為偶數它取輸入象素Nk+4以輸出象素[Nk/2]+12。(這里我們稱濾波器的輸入象素為對應于3象素核的中心的象素)。
亮度定標與預測心理物理學數據用于兩種目的1)定標亮度處理部分(即為某些處理參數確定值)，及2)一旦定標以后，確認亮度處理部分的預測值。在所有情況中，將激勵作為緊接在亮度處理前面的Y值圖象注入感覺量發(fā)生器中。
定標亮度處理部分220能用兩組數據重復地定標。一組數據用于調節(jié)亮度處理部分中的步驟640、642與650中的預屏蔽常量(wi，te及tl)。另一組數據用于調節(jié)亮度處理部分的步驟660中的屏蔽級常量σ、β、a與c。由于JND值永遠是在步驟660后面估算的，用第二組數據對步驟660中的常量的調節(jié)要求用第一組數據對步驟640、642與650常量的重新調節(jié)。繼續(xù)這些常量的重新調節(jié)直到從一次迭代到下一次迭代觀察不到進一步的改變?yōu)橹?。應指出雖然上面的迭代過程通過將未屏蔽的對比度的單位值(步驟640、642與650)解釋為視覺輸出的一個JND出發(fā)，屏蔽過程還是微擾這一解釋。下面的小節(jié)中描述調節(jié)的細節(jié)。
對比度正規(guī)化常量的調節(jié)(步驟640、642及650)將屏蔽以前感覺量發(fā)生器對空間與時間對比度靈敏度的預測與Koenderink及Van Doorn(1979)提出的正弦波的對比度靈敏度數據匹配。為了生成基于感覺量發(fā)生器的曲線上的點，提供低幅值正弦波作為對感覺量發(fā)生器的測試圖象(空間或時間中的)，并估計1JND輸出的對比度閾值。在各情況中參照圖象隱含地具有與測試場相同的平均亮度的均勻場。
在感覺量發(fā)生器的步驟640、642與650中將空間對比度靈敏度對數據的擬合(見圖10的最后擬合)用于調節(jié)對比度金字塔靈敏度參數w0、w1及w2。圖10中的虛線表示構成總靈敏度(實線)的分開的金字塔通道的靈敏度。應指出與圖10符合的空間模型不延伸超過15個周期/度，與上面討論的觀察距離限制符合四個屏蔽高度的觀察距離?？蓤?zhí)行w0、w1及w2的類似調節(jié)以容納略為不同的觀察距離；更大的觀察距離可能要求較低的分辨率金字塔級，這些可在低計算費用上容易地體現。
使用時間對比度靈敏度對數據的擬合(見圖11的最后擬合)調節(jié)時間濾波器抽頭參數te及tl以及對比度金字塔靈敏度參數w3。用來擬合這些參數的方法類似于空間對比度定標。將各種時間頻率上的Van Doorn與Koenderink的最低空間頻率數據與為空間均勻的時間正弦波計算的靈敏度匹配。在各情況中，視覺模型場速率在50與60Hz抽樣時間正弦波，而這產生上面指出的不同參數值。
屏蔽常量的調節(jié)(步驟660)屏蔽參數值σ、β、a與c(感覺量發(fā)生器的步驟660中)是通過比較屏蔽的對比度分辨的預測與Carlson及Cohen(1978)獲得的數據擬合的。圖12中示出最后擬合比較的結果。從Carlson-Cohen研究中，選擇服從代表性標準并且具有足夠數據點的單個觀察者的數據。在這一情況中，感覺量發(fā)生器激勵包含測試與參照場兩者中給定的基準對比度的空間正弦波，及附加測試場正弦波的對比度增量。達到1JND所必需的對比度增量是從感覺量發(fā)生器中為各對比度基準值確定的，然后標出在圖12中。
預測感覺量發(fā)生器定標之后，將感覺量發(fā)生器預測與來自并非正弦波的激勵的檢測與分辨數據進行比較。這是為了檢驗正弦波結果到更一般的激勵的可移植性而進行的。從圖13、14與15中可見，預測不能應用在具有10個周期/度以上的標準空間頻率的圖形上。這些圖形在15個周期/度以上的空間頻率上己具有可覺察的能量，并己與象素抽樣率混淆(每度30個樣本，見上面的討論)。
在第一研究中(圖13)，相對于均勻的參照場檢測測試場中的低對比度圓盤。實驗數據來自Blackwell與Blackwell(1971)。在為這一特定研究運行感覺量發(fā)生器時，必須用最大值取代空間Q-norm概括測量。否則JND結果是對圓盤的背景的大小(即對圖象大小)敏感的。
在第二研究中(圖14)，低幅方格盤的檢測，數據是在Sarnoff的未公布的研究中采集的。
第三研究(來自Carlson與Cohen的數據，1980)與前兩個有些不同。在參照圖象中提供用erf(ax)給出的弄模糊的邊，并對照測試圖象中用erf(a’x)給出的邊試圖分辨。這里，x為以視覺度表示的視網膜距離，a＝πf/[ln(2)]0.5，a’＝π(f+Δf)/[ln(2)]0.5，而f是以周期/度表示的。這里，Δf為一個JND所需的f的改變。圖15中的曲線為Δf/f相對f。
能看出對于在4個屏幕高度視距上的顯示的空間頻率特征的范圍，感覺量發(fā)生器預測與數據很好地擬合。
色度定標如在亮度參數定標中，利用心理物理學數據來定標色度參數(即為最佳模型擬合調節(jié)它們的值)。在所有情況中，激勵是四個相等的場，它們是緊靠在轉換到CIELOV之前作為CIE X、Y與Z中的圖象引入感覺量發(fā)生器中的。
對比度正規(guī)化常量的調節(jié)(步驟830)。
將屏蔽前的色度對比度靈敏度的感覺量發(fā)生器預測與Mullen(1985)提供的對比度靈敏度數據匹配。所用的測試序列為四個相等的場，各具有作為(X，Y，Z)值引入的水平變化的空間正弦波額定值。用于定標的數據來自Mullen的圖6，對應于它，各測試圖象為紅一綠等照度正弦波。在象素i上，測試圖象正弦波具有下式給出的三色值X(i)＝(Yo/2){(xr/yr+xg/yg)+cos(2πfai)Δm(xr/yr-xg/yg)}Y(i)＝Yo， (31)Z(i)＝(Yo/2){(zr/yr+zg/yg)+cos(2πfai)Δm(zr/yr-zg/yg)}這里Δm為閾值增量分辨對比度，(xr，yr)＝(.636，.364)為紅色干擾濾波器(在602nm上)的色度，(xg，yg)＝(.122，.832)為綠色干擾濾波器(在526nm上)的色度，zr＝1-xr-yr，zg＝1-xg-yg， 而a＝.03度/象素。參照圖象為用式(28)表示的均勻場但Δm＝0。為了感覺量發(fā)生器的目的，設定Y0＝1己足夠。
為了生成基于模型的曲線上的點，在各種f值上提供上述激勵，及評估1JND輸出的對比度閾值Δm。利用建模的色度對比度靈敏度對數據的擬合(見圖16的最后擬合)來調節(jié)感覺量發(fā)生器中的參數qi(i＝0，…，6)。
屏蔽常量的調節(jié)(步驟840)將用于色度屏蔽的感覺量發(fā)生器預測與Hwitkes等人(1988)提供的數據匹配。使用的測試序列為四個相等的場，各具有作為(X，Y，Z)值引入的水平變化的空間正弦波額定值。為了與該工作(色度的色度屏蔽)的圖4對應，在象素I上，測試圖象正弦波具有下式給出的三色值X(i)＝(Yo/2){(xr/yr+xg/yg)+cos(2πfai)[(m+Δm)(xr/yr-xg/yg)]}Y(i)＝Yo(32)Z(i)＝(Yo/2){(zr/yr+zg/yg)+cos(2πfai)[(m+Δm)(zr/yr-zg/yg)]}其中Δm為閾值增量分辨對比度，(xr，yr)＝(.580，.362)為紅色熒光體的色度，(xg，yg)＝(.301，.589)為綠色熒光體的色度，zr＝1-xr-yr，zg＝1-xg-yg，及fa＝2c/deg*.03deg/pixel＝.06。參照圖象正弦波與測試圖象正弦波相同，但Δm＝0。為了感覺量發(fā)生器的目的，設定Y0＝1己足夠。
為了生成基于模型的曲線上的點，在屏蔽對比度m的各種值上提供上述激勵，及估計1JND輸出的對比度閾值Δm。利用建模的色度對比度靈敏度對數據的擬合(見圖17的最后擬合)來調節(jié)感覺量發(fā)生器中的參數σc、βc、ac、cc及k。
與額定值數據比較使用各帶有不同程度的畸變的四個圖象序列來將本感覺量發(fā)生器與DSCQS額定值數據比較。結果描繪在圖18中，并揭示感覺量發(fā)生器與數據之間的相關性0.9474。對于各該序列，感覺量發(fā)生器處理30個場(與用于測試前面發(fā)布的四個場不同)。
從曲線上去掉了若干數據點，但在前面的發(fā)布中是存在的。為了兩個原因刪除這些點(1)刪除了對應于所有主題的“熱身(warm-up)”測試的五個點。Rec 500薦議應刪除序列中的前五個點，因為它們表示主題的判斷的穩(wěn)定化。
(2)對于“Gwen”序列之一，即使在測試與參照之間前景是完全對準時，相對于出現在背景中的樹的圖象之間的參照序列，測試序列也存在小的移動。分開為測試與參照引入蘭色屏幕視頻，在這一特定情況中具有時間標準誤差。
JND圖解釋JND圖是以適合于以后的處理確定任何空間或時間窗口內的JND的形式的。如上面指出的，圖中的值是以上升到第Q次冪的JND為單位的，而不是以簡單的JND為單位的。為了獲得視頻流的任何時空區(qū)的單一JND值，只須求出來自該區(qū)中的JND圖的值之和，然后取第Q次根即可。
若干實例將澄清這一處理。為了檢索各象素的1 JND值(可能是最典型的想要的輸出)，取JND圖中各象素的第Q次根。
然而，對于典型的MPEG-2編碼器分析應用，具有各16×16個象素的宏塊而不是各象素的單個JND值可能是有用的。為了獲得每一宏塊一個JND，首先求和各宏塊內的所有JND圖輸出，然后取第Q次根。其結果將是JND值的宏塊分辨率圖。
金字塔構造圖象大小及邊界要求如果較大圖象尺度N與較小圖象尺度M滿足下述條件，金字塔法的當前實現不會遇到圖象尺度問題。
1)M必須至少1282)在它追朔到小于64的商以前，M必須是多達P次中每次都能被2除盡的。
3)N也必須是P次被2除盡的。
感覺量發(fā)生器將任何不滿足之些條件的圖象識別為非法的。作為這些規(guī)則如何工作的實例，考慮圖象尺度N＝720，M＝480。條件(a)滿足，因為M＞128。條件(b)滿足因為M能被2除3次并在除法3(從而P＝3)上遇到小于64的標準。最后，條件(c)滿足，因為N也能被2除3次得出整數。
交錯考慮以下討論的目的為澄清本感覺量發(fā)生器中的場交錯(更具體地，行間空間)處理。行間空間是人類觀察顯示看不見的，但如果它們用黑色值建模，它們的確在感覺量發(fā)生器中產生明顯的影響。作為感覺量發(fā)生器對行的可視性的結果，高頻行結構屏蔽了任何空間頻率上的垂直圖象畸變。此外，當將交錯序列與非交錯序列比較時，行結構的可視性會是JND贗象的主要原因。
對這一關鍵問題的解決方法為將顯示模型改變成包含在顯示本身中發(fā)生的空間與時間中的已知平均。這一平均使行間空間較看不見。第一步為定義這些效果的幅度來確定適當的模型。
由于熒光體具有有限的衰減時間，時間平均發(fā)生在顯示中。因此在來自場N的偶數行的最初發(fā)射的時間上永遠存在著來自場N-1的奇數行的衰減的殘余。然而，與場間間隔(16500微秒)相比，熒光體衰減時間通常是相當短的，例如對于蘭色熒光體的70微秒，對于綠色熒光體的100微秒及對于紅色熒光體的700微秒。因此，顯示模型中的時間平均對行間平滑并無明顯影響。
顯示中發(fā)生空間平均，因為來自一個象素的發(fā)射散布超出正常的象素邊界。在交錯顯示中，電子束斑結構是與交錯結構聯合設計的。結果，將象素散布在垂直方向上設計成更明顯，以便填充行間空間并從而使它們較看不見。在高束電流上散布特別明顯，這些電流對應于高亮度值并從而對應于圖象的最明顯部分。因此，從顯示的角度，空間平均是用于行間平滑的良好物理模型。
作為替代，可用某些時間平均來實現行間平滑。視覺系統本身呈現為執(zhí)行足夠的時間平均來使行間空間看不見。然而，如從下面討論中將弄清楚的，當前的感覺量發(fā)生器中缺少眼睛移動己使得感覺量發(fā)生器偏離本應存在的時間平均表現。
己觀察到人類視覺是受到具有兩種不同的時空響應級的機制促進的具有高空間但低時間分辨率的“持續(xù)的”，及具有高時間但低空間分辨率的“瞬時的”。
這一感覺量發(fā)生器的一種實現采用可分開的空間/時間濾波器來整形兩個通道的響應。這一建模選擇的直接結果便是在持續(xù)通道上的與顯示的典型的60Hz時間抽樣率相比在時間上相當低通的時間濾波器。甚至瞬時響應對60Hz抽樣率也是不敏感的。然而，并未進入持續(xù)/瞬時模型的一個因素便是眼睛移動的效果，并且特別是眼睛跟蹤圖象中移動物體的能力。這一跟蹤以忠實于具有受限制的激勵的心理物理學實驗的感覺量發(fā)生器濾波器不能捕捉的方式增進對注意的物體的細節(jié)的視覺靈敏度。
圖象序列中畸變側度上的運動效應是可觀的。如果眼睛不跟蹤圖象中的運動物體，從持續(xù)的時間響應得出的圖象中的模糊將精確地反映在具有一個通道中許多時間平均的感覺量發(fā)生器中。然而，眼睛確實跟蹤移動物體，因此圖象不是運動弄模糊的。沒有跟蹤運動物體的能力，意在量化時間視覺響應的感覺量發(fā)生器應呈現運動模糊。然而，這種模糊阻礙精確的JND圖的生成。
為了解決沒有跟蹤模型的難題，作出了下述折衷，作為在最后的場上而不是在一些場的時間平均上的操作表示空間通道(它由于對空間細節(jié)靈敏而扮演“持續(xù)的”通道的角色)。作為這一方法的結果，空間通道表現聚焦良好的JND圖，這是眼睛跟蹤圖象序列中注意的物體的運動的情況。
在保持上述折衷的精神中，仍可放松空間通道的“似是而非的存在”性質，因此它在兩個場上從而在一幀上求平均值。這一措施會降低交錯場中空行的可視性，并且比“似是而非的存在”解決方法在物理學與心理物理學上更合理。然而，在兩個場的時間平均中存在一種贗象，這便是本應是平滑的移動邊處出現“梳狀”。
為了理解為何在具有兩個場平均的模型中出現梳狀，只要觀看在偶數場(稱之為場N)與奇數場(稱之為場N+1)之間的時間間隔中移動的物體便己足夠。假定該物體具有在場之間水平移動5個象素的一條垂直邊。還假定該物體邊在場N上的偶數行的象素n上。則這邊將顯示在場N+1的奇數行的象素n+5上。如果在特定場的光柵行之間沒有“填充”，則平均場N與場N+1產生不再是垂直的而是在象素n與n+5之間交錯的邊。這便是“梳狀”效應。
為了理解視覺系統為何看不見這一梳狀效應，設想該物體令人感興趣得使眼睛緊跟蹤它。這意味著物體是在視網膜上靜止的，因為視網膜預見物體到下一場中的運動。如果物體的邊是在場N的偶數行的象素N上，它也將在場N+1的奇數行的象素n上，只是因為對物體的眼睛跟蹤己幾乎完美無缺。
為了避免梳狀及其它交錯贗象，感覺量發(fā)生器可在顯示中的各場的行之間執(zhí)行空間填充。這一垂直平均避免了梳狀效應，因為它提供了瞬時空間邊的表現(這是任何時間平均所不能的)。并且，垂直平均以與電子束斑結構的已知空間散布相一致的方式解決了交錯行結構的可視性的原始問題。
從而己展示及描述了為改進圖象保真度及視覺任務應用而估計兩個輸入圖象序列之間的差異的可視性的新穎的方法與裝置。然而，熟悉本技術的人員在考慮了本說明書及公開其實施例的附圖之后，本主題發(fā)明的許多改變、修正、變型及其它用途與應用對他們將是顯而易見的。
權利要求
1.一種用于評估具有多個輸入圖象的兩個輸入圖象序列之間的差異的可視性的方法，其中各所述輸入圖象包含色度分量，所述方法包括下述步驟(a)分解所述輸入圖象的色度分量以產生具有所述色度分量的多個分辨級的金字塔形；(b)對所述色度分量的所述金字塔形的所述級的至少一個施加時間濾波成色度時間響應；以及(c)從所述色度時間響應生成圖象量。
2.權利要求1的方法，其中各所述輸入圖象是半高度。
3.權利要求1的方法，其中各所述輸入圖象還包含亮度分量，其中所述方法還包括下述步驟(a’)分解各所述輸入圖象的亮度分量以產生具有所述亮度分量的多個分辨率級的金字塔形；(b’)對所述亮度分量的所述金字塔形的所述級的至少一個施加時間濾波成亮度時間響應；以及其中所述生成步驟(c)從來自所述亮度及所述色度響應的所述時間響應生成圖象量。
4.權利要求1的方法，還包括下述步驟(a”)在所述分解步驟(a)之前，將輸入圖象的所述色度分量變換到CIELUV均勻色空間中。
5.權利要求3的方法，還包括下述步驟(a”)在所述分解步驟(a)之前，將輸入圖象的所述亮度分量變換到CIE 1931三色值Y中。
6.權利要求3的方法，其中所述生成步驟(c)包括下述步驟(c’)從所述亮度時間響應中生成分開的亮度量；(c”)從所述色度時間響應中生成分開的色度量；(c)從所述亮度量與所述色度量中生成所述圖象量。
7.權利要求3的方法，其中所述施加步驟(b’)對所述亮度分量的所述金字塔形的最低級施加時間濾波成亮度時間響應；以及其中所述方法還包括步驟(b”)，對所述亮度分量的所述金字塔形的所述其余的級施加空間濾波成亮度空間響應。
8.權利要求6的方法，其中所述生成步驟(c”)從所述色度時間響應中生成分開的色度量，其中所述色度時間響應是用所述亮度時間響應屏蔽的。
9.一種用于評估具有多個輸入圖象的兩個輸入圖象序列之間的差異的可視性的裝置(112)，其中各所述輸入圖象包含色度分量，所述裝置包括用于分解各所述輸入圖象的色度分量以產生具有所述色度分量的多個分辨率級的金字塔形的金字塔形發(fā)生器(410、510)。耦合在所述金字塔形發(fā)生器上、用于對所述色度分量的所述金字塔形的所述級中至少一個進行時間濾波成色度時間響應的時間濾波器(520)；以及耦合在所述時間濾波器上、用于從所述色度時間響應中生成圖象量的圖象量發(fā)生器(250、550)。
10.一種上面存儲有多條指令的計算機可讀的介質，該多條指令中包含在處理器執(zhí)行時使處理器執(zhí)行下述步驟的指令(a)分解各所述輸入圖象的色度分量以產生具有所述色度分量的多個分辨率級的金字塔形；(b)對所述色度分量的所述金字塔形的所述級中的至少一個施加時間濾波成色度時間響應；以及(c)從所述色度時間響應中生成圖象量。
全文摘要
公開了用于評估諸如圖象序列等兩個輸入信號序列之間的差異的可視性的方法與裝置(110)。該裝置包括感覺量發(fā)生器(112),該發(fā)生器具有輸入信號處理部分(210)、亮度處理部分(220)、色度處理部分(230)、及感覺量發(fā)生部分(240、250、260)。
文檔編號G06T5/50GK1259216SQ98805774
公開日2000年7月5日 申請日期1998年4月6日 優(yōu)先權日1997年4月4日
發(fā)明者杰弗里·盧賓, 邁克爾·H·布里爾, 艾伯特·P·皮卡, 羅格·L·克蘭, 沃爾特·保羅, 加里·A·根德爾 申請人:薩爾諾夫公司