本申請要求來自題為“DEVICE AND METHOD FOR DEAD PIXEL DETECTION WITH VISUALLY SALIENT PIXEL TRACKING”的2015年6月11日提交的美國臨時申請62/174,400的權(quán)益，該申請的內(nèi)容被通過引用結(jié)合到本文中。本申請還要求題為“FAST RESIDUAL POINT NOISE DETECTION”的2015年5月22日提交的印度臨時申請2011/MUM/2015的優(yōu)先權(quán)，該申請的內(nèi)容被通過引用結(jié)合到本文中。

技術(shù)領(lǐng)域

本公開涉及視頻分析，并且更特別地涉及用于檢測圖像發(fā)生器或其圖像或視頻輸出的死、卡住或者另外有缺陷的像素的設(shè)備和方法。

背景技術(shù)：

死或有缺陷像素是一致地從其相鄰像素突出的視頻剪輯中的那些像素。有缺陷熱像素被卡在強(qiáng)度范圍的較亮末端，而有缺陷冷像素被卡在強(qiáng)度范圍的較暗末端，兩者都不能適當(dāng)?shù)夭蹲綀鼍吧?。本地照相機(jī)內(nèi)容中的有缺陷像素通常具有非常陡的邊緣，即與其鄰點（neighbor）具有高的對比度。本地照相機(jī)內(nèi)容中的有缺陷像素可由固態(tài)成像傳感器的特定部分存在的問題或者由傳感器表面上的灰塵或污垢引起。有時，此類有缺陷像素產(chǎn)生在一系列圖像或幀上無變化的強(qiáng)度水平，并且在記錄視頻中引起殘余點噪聲（RPN）。一般地，RPN光斑包括不能適當(dāng)?shù)卦佻F(xiàn)色彩的在水平和/或垂直方向上的多個數(shù)目的死或毀壞像素。如果對此類視頻進(jìn)行二次采樣或處理，則有缺陷像素通常是模糊的，并且不如來自本地照相機(jī)輸出的有缺陷像素那樣銳利。

理論上，此類有缺陷像素的輝度可以明顯低于或大于其相鄰像素。在暗場景中，有缺陷熱像素可能看起來明顯比其無缺陷鄰點更亮，并且在亮場景中，有缺陷冷像素可能看起來明顯比其無缺陷鄰點更暗。并且，理論上，死像素的RGB值從不改變，并且每個死像素從場景或鏡頭的最初開始至場景結(jié)束都存在。然而，在現(xiàn)實世界的視頻剪輯且尤其是用于廣播目的的視頻剪輯中，死像素的RGB值在視頻的不同部分期間可以改變或者出現(xiàn)和消失。這可能是由于轉(zhuǎn)碼操作、向上變頻（縮放）操作或視頻內(nèi)容的性質(zhì)而引起的。這還可以在從超過一個源組合視頻剪輯時發(fā)生，其中一個源具有第一組有缺陷像素且另一源具有第二組不同的有缺陷像素。在這種情況下，結(jié)果得到的視頻可能看起來具有瞬間出現(xiàn)或消失的有缺陷像素。當(dāng)具有有缺陷像素的視頻剪輯被轉(zhuǎn)碼或向上變頻時，結(jié)果得到的視頻剪輯中的內(nèi)插像素及其鄰點稍微有些模糊。內(nèi)插過程通常是加權(quán)平均過程，即通過確定內(nèi)插點的相鄰像素的平均RGB值并將此平均值分配給內(nèi)插點來計算。有時，當(dāng)有缺陷像素的背景非常亮?xí)r，則有缺陷像素難以注意到，并且可能在各時間段內(nèi)看起來不存在。

通常可將RPN檢測定義為空間離群點和時間不變性檢測問題。遍及視頻上的每個位置在每個像素位置處執(zhí)行此類計算使用過度的計算資源，尤其是鑒于與視頻中的大量像素相比通常如此少的像素是有缺陷的事實，因此以這種方式來進(jìn)行檢測RPN并不是成本有效的。

本發(fā)明的實施例解決了現(xiàn)有技術(shù)的這些及其它缺點。

附圖說明

對在附圖中可圖示出其示例的本發(fā)明的實施例進(jìn)行參考。這些圖意圖是說明性而非限制性的。雖然在這些實施例的背景下描述了本發(fā)明，但應(yīng)理解的是，本描述并不意圖使本發(fā)明的范圍局限于這些特定實施例。

圖1是圖示出根據(jù)本發(fā)明的實施例的要分析的視頻的空時表示的框圖。

圖2是圖示出根據(jù)本發(fā)明的實施例的用于檢測視頻中的殘余點噪聲（RPN）區(qū)域的示例性方法的示例性流程圖。

圖3A和3B圖示出根據(jù)本發(fā)明的實施例的圖2的RPN檢測系統(tǒng)內(nèi)的細(xì)節(jié)步驟的示例性流程圖。

圖4是圖示出根據(jù)本發(fā)明的另一實施例的用于檢測可以導(dǎo)致殘余點噪聲的有缺陷像素的另一示例性方法的示例性流程圖。

圖5A、5B、5C、5D、5E、5F、5G、5H、5I以及5J是圖示出根據(jù)本發(fā)明的實施例的用于與本地照相機(jī)內(nèi)容的一個或多個中心目標(biāo)像素相比較的各種像素層的框圖。

圖6是圖示出根據(jù)本發(fā)明的實施例的用于與二次采樣視頻內(nèi)容的中心目標(biāo)像素相比較的各種像素層的框圖。

圖7是圖示出根據(jù)本發(fā)明的實施例的示例性檢測器的功能框圖。

具體實施方式

以下詳細(xì)描述將參考一個或多個實施例，但本發(fā)明不限于此類實施例。相反地，提出的詳細(xì)描述和（一個或多個）任何實施例僅僅意圖是說明性的。本領(lǐng)域的技術(shù)人員將容易認(rèn)識到的是，在本文中相對于各圖給出的詳細(xì)描述是出于說明性目的而提供的，因為本發(fā)明延伸超過這些有限實施例。

遍及本說明書和權(quán)利要求使用某些術(shù)語以指代特定系統(tǒng)部件。在以下討論和權(quán)利要求中，以開放方式使用術(shù)語“包括”和“包含”，并且因此應(yīng)將其解釋為意指“包括但不限于...”。諸如“被耦合到”和“被連接到”等短語在本文中用來描述兩個設(shè)備、元件和/或部件之間的連接，并且（除非另外具體地限制）意圖意指被以物理方式、以光學(xué)方式和/或以電學(xué)方式直接地耦合在一起，或者例如經(jīng)由一個或多個中間元件或部件或者經(jīng)由無線或其它連接（在適當(dāng)情況下）間接地耦合在一起。術(shù)語“系統(tǒng)”寬泛地指代兩個或更多部件的集合，并且可用來指代整個系統(tǒng)（例如，通信系統(tǒng)、接收系統(tǒng)、測試系統(tǒng)、計算機(jī)系統(tǒng)或此類設(shè)備/系統(tǒng)的網(wǎng)絡(luò)）、作為較大系統(tǒng)的一部分提供的子系統(tǒng)和/或關(guān)于此類系統(tǒng)或子系統(tǒng)的操作的過程或方法。

使用特定示例性細(xì)節(jié)來解釋本文所述的發(fā)明以便更好地理解。然而，本領(lǐng)域的技術(shù)人員可以在不使用這些特定細(xì)節(jié)的情況下對公開的發(fā)明繼續(xù)工作。本發(fā)明可以用硬件來實現(xiàn)并利用軟件應(yīng)用程序。此類硬件可以是具體設(shè)計的專用集成電路（ASIC）、專用處理器或被用軟件編程的通用處理器。其它實施例可包括此類硬件和軟件的組合。本領(lǐng)域的技術(shù)人員通曉從在本文中提供的公開的水平創(chuàng)造功能設(shè)備。用框圖示出的部件和設(shè)備說明本發(fā)明的示例性實施例，并且意圖避免使本發(fā)明含糊難懂。并且，各種元件之間的連接可能不一定是直接的且各種元件之間的數(shù)據(jù)傳輸可以經(jīng)受修改。

在本說明書中對“一個實施例”或“實施例”的提及意指結(jié)合該實施例所述的特定特征、結(jié)構(gòu)、特性或功能被包括在本發(fā)明的至少一個實施例中。短語“在一個實施例中”在本說明書中的各種位置上的出現(xiàn)不一定全部指代同一實施例。

參考圖1-3給出了使用RPN來檢測有缺陷像素的第一實施例，同時參考圖4-6給出了檢測有缺陷像素的第二實施例。

圖1是圖示出根據(jù)本發(fā)明的實施例的要分析的視頻的空時表示的框圖。要分析的示例性視頻100由許多單獨幀102-108構(gòu)成。實際上，視頻100中的幀的數(shù)目可包括非常多數(shù)目的幀；圖1的視頻100僅僅是代表性的。正常地，視頻的每秒幀數(shù)約為每秒20-300幀，但是在某些專用慢動作視頻中可達(dá)到每秒數(shù)以萬計的幀。每個幀（例如幀102）包括被集合成宏塊的許多像素。幀102包括布置成行和列的十六個宏塊，其中每個宏塊包括相同數(shù)目的像素。通常，每個塊可以是16×16，但是塊中可以有其它數(shù)目的像素。對于特定幀而言存在比宏塊行更多的宏塊列也是可能的。

圖2是圖示出根據(jù)本發(fā)明的實施例的用于檢測視頻中的殘余點噪聲（RPN）區(qū)域的示例性流程200的示例性流程圖。流程200在操作205處通過輸入要分析的視頻序列（諸如圖1中所示的視頻100）開始。然后，在操作210中，從視頻中選擇單獨的幀，諸如圖1的幀102。操作215在必要時將所選幀從YUV轉(zhuǎn)換成RGB。

接下來，在操作220中將該幀劃分成宏塊（也稱為塊），如圖1中所示。在某些實施例中，對于每個色彩通道Red（紅色）、Green（綠色）和Blue（藍(lán)色）而言可存在各組宏塊，因此每個色彩通道被獨立地處理和考慮。確立幀內(nèi)的每個塊位置與數(shù)據(jù)結(jié)構(gòu)相關(guān)聯(lián)以存儲關(guān)于每個塊的特定數(shù)據(jù)。換言之，該數(shù)據(jù)結(jié)構(gòu)跨視頻的多個幀存儲用于特定塊位置的數(shù)據(jù)，使得幀的特定位置被針對RPN進(jìn)行評估。例如，數(shù)據(jù)結(jié)構(gòu)可包括指示是否要處理塊的標(biāo)志、用以存儲RPN置信度度量的字段、用以存儲嚴(yán)重性度量的字段、用以存儲強(qiáng)度窗口度量的字段以及用以存儲表現(xiàn)出RPN的像素位置列表的一個或多個字段。在某些實施例中，此數(shù)據(jù)結(jié)構(gòu)隨著過程繼續(xù)而被連續(xù)地更新和檢查。下面更詳細(xì)地闡述填充和使用數(shù)據(jù)結(jié)構(gòu)的細(xì)節(jié)。

操作225開始用以處理每個塊的循環(huán)，該循環(huán)首先檢查當(dāng)前塊的塊處理標(biāo)志的狀態(tài)，該狀態(tài)最初對于所有宏塊而言都被設(shè)置成TRUE（真）。如果用于當(dāng)前塊的塊處理標(biāo)志狀態(tài)是TRUE，則在操作235中針對RPN檢查該塊，如下面參考圖3A和3B更詳細(xì)地描述的。如果替代地，塊處理標(biāo)志狀態(tài)是FALSE（假），則流程200前進(jìn)至操作240，其獲得下一塊以進(jìn)行處理。

操作225和240之間的塊處理繼續(xù)直至在操作245中到達(dá)處理結(jié)束條件。如果例如到達(dá)視頻的結(jié)尾或者如果已經(jīng)處理了視頻的用戶指定長度，則可滿足該處理結(jié)束條件。例如，可以幀數(shù)或視頻的時間指定該長度。

操作250用特殊情況來處理各塊。特殊情況的一個示例是當(dāng)塊處理標(biāo)志遍及視頻的整個運行長度保持為TRUE時。例如，這可能在塊是幀的靜態(tài)區(qū)域（例如信箱、郵筒、色標(biāo)、黑色幀或靜態(tài)場景）的一部分時發(fā)生。當(dāng)RPN像素計數(shù)主導(dǎo)該塊時，其也可能是保持為TRUE。在這兩種情況下，操作250可調(diào)用特殊處理。在特殊處理的一個示例中，檢查遍及視頻處理的長度具有TRUE塊處理標(biāo)志的塊的連接區(qū)。將此類區(qū)域的其總面積與正在處理的幀的尺寸相比較。當(dāng)遍及視頻處理的長度具有TRUE塊處理標(biāo)志的塊的連接區(qū)域的總面積低于全幀尺寸的0.01%時，倘若未觀察到場景變化，則將該塊標(biāo)記為包含RPN。

可例如通過跟蹤塊的平均強(qiáng)度的時間變化來宣布場景變化已發(fā)生。如果平均強(qiáng)度穿過強(qiáng)度范圍（例如對于8位像素表示而言0至255）的5%，則宣布場景變化。

圖3A和3B圖示出根據(jù)本發(fā)明的實施例的用于檢測殘余點噪聲的示例性方法的示例性流程圖。換言之，圖3A和3B的流程圖中圖示出在圖2的操作235中執(zhí)行RPN檢測的某些方法。

流程300在起始操作305處開始，并且然后前進(jìn)至在操作310中確定是否發(fā)生場景變化，如上文詳細(xì)描述的。在確定場景變化之后，過程315生成用于RPN檢測的候選，這在圖3B中進(jìn)行詳述?？臻g離群點檢測過程315A可以是基于RMS（均方根）的，或者可涉及到產(chǎn)生中值濾波型式，并且然后從已濾波型式區(qū)別存在的像素。例如，在任何時刻或幀處，假設(shè)每個塊在強(qiáng)度方面具有非常小的偏差。考慮到較小的塊尺寸將使得像素表現(xiàn)出與少數(shù)相鄰像素相比在統(tǒng)計上突出的RPN（這與當(dāng)被視為較大鄰域的一部分時相反）。使用較小塊尺寸可能將導(dǎo)致更準(zhǔn)確的空間離群點檢測。然而，使用小的塊尺寸的一個風(fēng)險是RPN像素可主導(dǎo)該塊的統(tǒng)計性質(zhì)，尤其是當(dāng)在極少的情況下許多RPN像素被集束時。一般地，使用16×16的塊尺寸是有益的，因為該尺寸的塊典型用于視頻壓縮操作。

另一過程315B使用時間不變性檢測，其是基于時間差。尤其是在塊級場景變化時存在RPN像素顯得從其鄰點突出的可能性，因此在這種情況下應(yīng)用時間不變性檢測。換言之，例如使用差分化方法將穿過場景變化邊界的幀的各塊內(nèi)的像素相互比較，并搜索零或接近于零的值。RPN像素趨向于在場景變化中突出。換言之，此類像素的強(qiáng)度水平基本上不改變，即使塊中的許多其它像素由于場景變化而改變。

在某些實施例中，只有使用空間離群點檢測方法和時間不變性檢測方法兩者都被懷疑為RPN的候選才被添加到RPN候選像素列表，如用操作315C和315D舉例說明的。在其它實施例中，可使用來自空間離群點檢測模式或時間不變性檢測模式的候選，不過這種方法可能區(qū)別性較低，并且可能產(chǎn)生比前一種聯(lián)合方法更高數(shù)目的假陽性響應(yīng)。

返回參考圖3A，接下來，過程320累積數(shù)據(jù)以幫助確定塊內(nèi)的特定像素是否表現(xiàn)出RPN。上文簡要地介紹了此類數(shù)據(jù)，但在本文中進(jìn)行了更詳細(xì)的解釋?？赏ㄟ^使用等式1針對每個塊確定RPN檢測置信度度量。

等式1：Max(1, (強(qiáng)度窗口度量 / (強(qiáng)度范圍 * 強(qiáng)度窗口閾值)) 。

可通過使用等式2針對每個塊確定嚴(yán)重性度量。

等式2：檢測到的RPN像素的數(shù)目/塊中的總像素的數(shù)目。

強(qiáng)度窗口度量可跟蹤在場景變化期間由每個塊所看到的平均強(qiáng)度水平的動態(tài)范圍。如果塊被測量為已顯示出充分的動態(tài)范圍，并且還具有RPN存在，則受影響像素更有可能是RPN像素，并被照此標(biāo)志。在操作325中可確定強(qiáng)度窗口度量的一個方式是使用針對塊計算的平均強(qiáng)度水平的時間最大值和最小值的差。具有大于例如用于該塊的強(qiáng)度水平范圍的40%的強(qiáng)度窗口度量的塊使其塊處理標(biāo)志在操作345中被設(shè)置成假。

在操作325之后，流程繼續(xù)至操作330，在那里，當(dāng)前塊中的每個像素在操作335中被標(biāo)記為RPN像素或者在操作340中被標(biāo)記為不是RPN像素。為了進(jìn)行此類確定，檢查在數(shù)據(jù)結(jié)構(gòu)中累積的數(shù)據(jù)并將該數(shù)據(jù)與各種閾值相比較。當(dāng)數(shù)據(jù)超過閾值時，當(dāng)前塊內(nèi)的像素在操作335中被標(biāo)記為RPN像素，并且當(dāng)數(shù)據(jù)不超過閾值時，則像素在操作340中被標(biāo)記為不是RPN。流程然后恢復(fù)回到圖2中所示的流程200。針對被識別為是用于RPN的潛在源的每個像素，在操作255中生成報告以輸出給用戶。由操作255生成的報告可包括來自上述數(shù)據(jù)存儲器的數(shù)據(jù)，包括關(guān)于被識別為具有RPN的像素和/或用于像素的每個塊的數(shù)據(jù)。例如，該報告可包括RPN像素位置的列表、塊中的像素有多少表現(xiàn)出RPN特性的嚴(yán)重性度量、用于每個塊的RPN檢測置信度度量以及用于每個塊的強(qiáng)度窗口度量。當(dāng)然，還可向用戶提供由檢測器系統(tǒng)生成的其它數(shù)據(jù)。

圖4、5A-5J和6圖示出根據(jù)本發(fā)明的另一實施例的用于檢測可以導(dǎo)致殘余點噪聲的有缺陷像素的另一示例性方法。如上所述，死像素的最重要的兩個特征包括空間離群點特性和時間離群點特性?？臻g離群點特性表現(xiàn)出死像素與其相鄰像素之間的高對比度，而時間離群點特性通過在場景內(nèi)的大部分時間死像素保持存在來表現(xiàn)出自身。這兩個特征吸引人眼的注意，并且還被用來檢測死像素。

一般地，此檢測包括識別某些候選視覺顯著點，這被稱為1級檢測，并且然后遍及整個場景跟蹤所識別像素的顯著性，這被稱為2級。跟蹤結(jié)果被存儲在跟蹤圖中，其中視頻幀的每個像素都具有條目。在鏡頭或場景變化結(jié)束時，分析該跟蹤圖并檢查用于每個像素的視覺顯著性的發(fā)生頻率。如果像素在超過例如場景中的70%的時間內(nèi)在視覺上是顯著的，則將其標(biāo)記為死像素。該特定百分比可根據(jù)操作環(huán)境調(diào)整，并且可在例如40%-90%之間。

為了首先生成1級視覺顯著性，針對每個塊確定平均RGB和標(biāo)準(zhǔn)絕對偏差。不同于上文給出的示例，在本實施例中，將RGB通道組合而不是單獨地考慮。在一個示例中，通過首先分別地將用于每個通道（R、G、B）的色值加和以獲得和值sumR、sumG、sumB來確定塊或一組像素的平均RGB。然后，將sumR、sumG和sumB值除以塊或群組內(nèi)的像素的總數(shù)。對這些值求平均給出平均RGB值。在某些實施例中，對已被轉(zhuǎn)換成RGB24或BGR24的像素值執(zhí)行RGB計算。

可使用等式3來計算標(biāo)準(zhǔn)偏差。

Σ是標(biāo)準(zhǔn)偏差的標(biāo)量值。如果特定塊的標(biāo)準(zhǔn)偏差Σ大于異質(zhì)閾值，則可忽視該塊，因為在此值以上的標(biāo)準(zhǔn)偏差可能指示該塊在其中像素彼此差別顯著的視頻幀的異質(zhì)區(qū)中。可憑經(jīng)驗來確定該閾值。例如，異質(zhì)閾值可在24-32之間，并且更特別地為28。

針對本地照相機(jī)內(nèi)容，如果當(dāng)前塊的標(biāo)準(zhǔn)偏差Σ小于1級顯著性閾值水平（諸如20），則塊中的每個像素的1級視覺顯著性被計算為像素的特定RGB值與塊平均RGB值的絕對偏差?？梢允褂孟旅骊U述的等式5將該絕對偏差計算為像素的RGB值與塊平均RGB之間的差。可憑經(jīng)驗來確定1級顯著性閾值水平，并且該1級顯著性閾值水平可例如在從15至22的范圍。然后可對照例如3倍的塊Σ的閾值經(jīng)由閾值確定操作來重新調(diào)整實際顯著性值。該重新調(diào)整可包括如果Σ水平大于1級顯著性閾值，則將其驅(qū)動至16，否則將其驅(qū)動至0。

接下來，檢查當(dāng)前像素與其1層鄰點之間的差。參考圖5A，將此7×7塊的最中心像素視為被其周圍的像素的三個同心層圍繞的目標(biāo)像素。在本描述中，直接地圍繞目標(biāo)像素的八個像素被標(biāo)記為1層，直接地圍繞1層像素的十六個像素被標(biāo)記為2層像素，并且最外面的二十四個像素被標(biāo)記為3層像素。當(dāng)然，本發(fā)明的實施例適用于任何塊尺寸，并且圖5A僅僅是示例。如果目標(biāo)像素與其八個1層鄰點之中的至少五個差別顯著（諸如相差大于24的差值），則圖案匹配操作可以開始?？扇缭诘仁?中所闡述的那樣計算2個RGB像素P₁（r₁, g₁, b₁）和P₂（r₂, g₂, b₂）之間的差，并且可憑經(jīng)驗確定閾值差值。

在圖5A-5J中圖示出要在圖案匹配操作中檢查的圖案。上文描述了圖5A。圖案5B和5C由塊尺寸7×8構(gòu)成，其中兩個最內(nèi)側(cè)像素被突出顯示。圖案5D-5J的其余部分是塊尺寸8×8，其中兩至四個最內(nèi)側(cè)像素處于各種突出顯示組合中。對圖案匹配的檢查可包括多個子步驟。為了開始模式匹配，在某些實施例中，如果當(dāng)前像素P_cur的顯著性大于或等于64，則其被忽視，因為其已被完全處理。否則，使用上述差計算將每個1層鄰點與目標(biāo)像素相比較。如果明顯不同于目標(biāo)像素的1層鄰點的數(shù)目是八個，則那意味著其1層鄰點中沒有一個與其本身“類似”。這樣，如果八個1層像素全部明顯不同于目標(biāo)像素，則它擬合圖5A中所示的圖案。

如果明顯不同于目標(biāo)像素的1層像素的數(shù)目是七個，則它意味著其1層鄰點中的僅1個與其本身“類似”。如果標(biāo)記為P_cur的目標(biāo)像素的唯一類似鄰點是其右側(cè)鄰點像素P_righ，并且P_right明顯不同于除P_cur之外的P_right的所有鄰點，則像素群組擬合圖5B的圖案。同樣地，如果P_cur的唯一類似鄰點是其底部鄰點像素P_bottom，并且P_bottom明顯不同于除P_cur之外的P_bottom的所有鄰點，則像素群組擬合圖5C的圖案。繼續(xù)此過程以確定對于圖5D和5E中所示的圖案而言是否存在匹配。

如果明顯不同于目標(biāo)像素的1層像素的數(shù)目是六個或五個，則過程繼續(xù)，只是圖案將與圖5F-5J中所示的圖案中的一個匹配。只要該差始終大于24，如上所述，則該圖案將與圖5F-5J中的圖案中的一個匹配。

如果由當(dāng)前像素及其類似1層像素形成的像素群組明顯不同于此群組的所有鄰點，則此群組被確定為是1級顯著像素群組，其中每個像素是1級顯著像素。

接下來，中央目標(biāo)像素及其類似鄰點形成一組候選1級顯著像素，并且然后計算用于這組像素的顯著性值作為此群組與其1層/2層鄰點之間的平均差。對照24的閾值經(jīng)由閾值確定操作對此顯著性值進(jìn)行重新調(diào)整。如果顯著性值大于該閾值，則將其顯著性設(shè)置成64；否則將其設(shè)置成0。如果目標(biāo)像素的顯著性值先前已被計算為與塊平均值的RGB絕對偏差，則將兩個重新調(diào)整值中的較大的一個視為適當(dāng)?shù)闹怠?/p>

檢查二次采樣或已處理內(nèi)容可使用與檢查上述本地照相機(jī)內(nèi)容不同的技術(shù)，不過存在某些類似之處。更詳細(xì)地，如果二次采樣或已處理內(nèi)容的當(dāng)前塊的Σ（標(biāo)準(zhǔn)偏差）小于20，則可使用例如等式5將像素的1級視覺顯著性定義為像素的RGB值與塊平均RGB值的絕對偏差。

否則，如果目標(biāo)像素與如圖6中所示的其8個1層鄰點之中的至少5個明顯不同（差值大于24），則將其1級顯著性定義為目標(biāo)像素與其1層/2層鄰點之間的平均差。這可通過將差值加和并且將該值除以相加鄰點的數(shù)目來確定。

不同于上文所述的用于本地照相機(jī)內(nèi)容的方法，不需要在一次處理一組像素，即使候選像素具有與其本身非常類似的鄰點。相反地，重新調(diào)整1級顯著性值就足夠了。

可相對于1級顯著性與二次采樣內(nèi)容不同地處理本地照相機(jī)內(nèi)容，因為在本地照相機(jī)內(nèi)容中，死像素通常具有非常銳利的邊緣，而在二次采樣視頻內(nèi)容中它們通常跨邊緣是模糊的。用于本地照相機(jī)內(nèi)容的方法更加嚴(yán)格，并且因此具有較低的假陽性率。然而，其也可具有較低的真陽性率。用于二次采樣內(nèi)容的方法更加放松，以便捕捉那些模糊死像素，并且因此具有較高的真陽性率。然而，其具有較高的假陽性率。在某些實施例中，為用戶給出用以選擇的至少兩個選項。他們可以選擇前一種技術(shù)，無論是正在評估本地內(nèi)容還是二次采樣內(nèi)容，以保持假警報盡可能少，這可能意味著錯過某些死像素，或者用戶可以選擇后一種技術(shù)，如果他們想要捕捉盡可能多的死像素的話（具有可能存在增加的假警報率的警告）。

在已執(zhí)行1級視覺顯著性之后，執(zhí)行2級視覺顯著性。

2級視覺顯著性被定義為可能顯著像素區(qū)與其最近鄰點之間的RGB值的差。針對獨立候選顯著像素，2級視覺顯著性是目標(biāo)候選像素與其1層/2層鄰點之間的RGB值的差。針對分組候選顯著像素，2級視覺顯著性是候選像素與其2層/3層鄰點之間的RGB值的差。經(jīng)由上文所述的閾值確定操作對照24的閾值來重新調(diào)整所計算的顯著性值。計算兩個RGB像素P1 (r1, g1, b1)和P2 (r2, g2, b2)之間的RGB值的差的一個方法是使用如上文在等式4中闡述的均方值。

可使用PSNR（峰值信噪比）、SSIM（結(jié)構(gòu)相似性）和仿射變換來執(zhí)行場景（或鏡頭）檢測以檢測場景變化。針對每個幀，首先在標(biāo)記為幀A的當(dāng)前幀與標(biāo)記為幀B的其前一幀之間計算PSNR。如果PSNR值小于24，則計算SSIM并生成幀A與幀B之間的SSIM映射圖。SSIM映射圖是用于本地11×11圖像塊（patch）的本地SSIM值的矩陣。每個像素在SSIM映射圖中具有相應(yīng)元素，因為對于每個像素而言，針對此像素的11×11鄰域計算SSIM。如果滿足在等式6中闡述的條件，則已發(fā)現(xiàn)候選場景邊界。

等式6：(PSNRvalue < PSNR_thres1 && SSIMvalue < SSIM_thres1) ||

(PSNRvalue < PSNR_thres2 && SSIMvalue < SSIM_thres2) || (SSIMvalue < SSIM_thres3)。

用于等式6中的不等式的以下參數(shù)設(shè)置已被證明很適用：PSNR_thres1 = 14, PSNR_thres2 = 22, SSIM_thres1 = 0.64, SSIM_thres2 = 0.52以及SSIM_thres3 = 0.35。

如果將SSIM_thres1_pct定義為具有大于0.98的局部SSIM的局部圖像塊的百分比，并將SSIM_thres2_pct定義為具有大于0.85的局部SSIM的局部圖像塊的百分比，并且如果滿足在等式7中闡述的條件，則確定具有大于50的局部PSNR的局部圖像塊的百分比（用PSNR_thres1_pct來表示）。

等式7：(SSIM_thres1_pct > 0.0001 && SSIM_thres2_pct > 0.2 ) ||

(SSIM_thres1_pct > 0.003 && SSIM_thres2_pct > 0.17) ||

(SSIM_thres1_pct > 0.02 && SSIM_thres2_pct > 0.15) ||

(SSIM_thres1_pct > 0.03 && SSIM_thres2_pct > 0.12) || (SSIM_thres1_pct > 0.04) (3)。

如果PSNR_thres1_pct大于0.4，則已發(fā)生場景變化的可能性是最小的，并且處理當(dāng)前幀可以結(jié)束。在這種情況下可能場景包括人像和/或?qū)ο蟮目焖僖苿印?/p>

如果不滿足在等式7中闡述的條件，或者如果PSNR_thres1_pct不大于0.4，則進(jìn)行檢查以確定是否存在正在進(jìn)行中的快速照相機(jī)運動，這可以在幀A和幀B實際上在同一場景內(nèi)的同時導(dǎo)致PSNR和SSIM的小的值。為了執(zhí)行檢查，首先估計幀A和B之間的最佳仿射變換矩陣M。如果該估計失敗，并且產(chǎn)生空矩陣M，則非常有可能已經(jīng)發(fā)生場景邊界，并且?guī)奶幚硗瓿?。否則，使用仿射變換矩陣M對幀B進(jìn)行翹曲（warp）以獲得結(jié)果得到的圖像B'。然后在當(dāng)前幀A與圖像B'之間計算PSNR和SSIM，并且該過程針對幀A和圖像B'重復(fù)。如果滿足等式6的條件且不滿足等式7的條件，則非常有可能已經(jīng)發(fā)生場景變化邊界。

在檢測到場景變化之后，處理剛剛完成的前一場景。

為了保持低的假陽性率，最初某些類型的塊被排除。已排除塊包括在例如40%的時間閾值內(nèi)被凍結(jié)的塊。并且，其候選死像素的平均鄰域（9的核心尺寸）Σ大于30的那些塊也被排除。

為了確定場景中的在40%或更多的時間內(nèi)被凍結(jié)的塊，首先將在連續(xù)幀中計算的MSE（均方差）和MSE值相加。在場景結(jié)束時，將MSE的和除以場景長度（以幀的形式），以獲得用于每個塊的平均MSE。如果塊的平均MSE小于68，則將其視為凍結(jié)塊。為了降低計算強(qiáng)度，僅僅對包含候選死像素的塊執(zhí)行凍結(jié)塊分析。

為了確定塊是否具有大于30的其候選死像素的平均鄰域（9的核心尺寸）Σ，計算候選死像素的9×9鄰域的Σ（標(biāo)準(zhǔn)偏差）。再次地，可只有當(dāng)在塊內(nèi)發(fā)現(xiàn)候選死像素時執(zhí)行此分析以減少資源。然后，針對每個塊，添加Σ值，并且在場景結(jié)束時將該和除以當(dāng)前塊內(nèi)的候選死像素的總發(fā)生次數(shù)。此平均Σ描述塊內(nèi)的候選死像素的鄰域的平滑度。如果平滑度過大，則此塊內(nèi)的候選死像素可能在異質(zhì)區(qū)中。

最后，將具有超過場景持續(xù)時間的70%的累積視覺顯著性發(fā)生頻率的像素確定為是有缺陷像素，并且可進(jìn)行報告。

接下來，針對檢測可以導(dǎo)致殘余點噪聲的有缺陷像素描述圖4的示例性流程圖。流程圖400通過輸入視頻剪輯以用于分析而在操作405處開始。在操作410中檢索新的幀。如果按照查詢操作415中的確定其并非視頻的結(jié)尾，則查詢操作440確定該幀是否是新場景的第一幀。查詢操作可使用上述技術(shù)來進(jìn)行該確定，諸如通過使用PSNR、SSIM和仿射變換技術(shù)。

如果幀并不是新場景的開始，則在操作460中將該幀劃分成塊。塊尺寸可根據(jù)視頻的質(zhì)量和尺寸而不同。例如，針對HD和SD視頻剪輯及m×n的塊尺寸，m＝8且n＝8。針對4K視頻剪輯，m＝16、n＝16（其它塊尺寸也是可能的）。

針對每個單獨塊，首先在操作465中如上所述地識別1級視覺顯著像素。將1級顯著像素取作候選視覺顯著像素。然后，在操作470中，針對每個塊中的每個1級顯著像素，檢查2級視覺顯著性。如上所述，1級視覺顯著性是相對粗的，尤其是對于上文參考二次采樣內(nèi)容所述的方法而言，而2級視覺顯著性細(xì)得多。在操作470中，如上所述，將候選顯著像素的RGB值與其最近鄰點的RGB值相比較并計算差。如果該差在閾值以上，則將顯著性設(shè)置成1，并且否則將其設(shè)置成0。然后使用設(shè)定顯著性水平針對正在分析的塊的每個像素更新像素顯著性跟蹤圖。

在已經(jīng)分析了場景中的最后一個幀之后，查詢操作440在YES方向上退出，并且在過程445中分析最后場景的像素顯著性跟蹤圖。當(dāng)有缺陷像素的視覺顯著性發(fā)生頻率大于例如場景持續(xù)時間（以幀的形式）的70%時，在操作450中將有缺陷像素報告為錯誤像素。如果任何塊被凍結(jié)或幾乎被凍結(jié)超過場景持續(xù)時間的40%，或者如果當(dāng)前塊內(nèi)的候選死像素的平均鄰域（9的核心尺寸）Σ大于30，則終止塊處理并檢索下一塊。在操作450中報告有缺陷像素之后，在操作455中將像素映射圖重置。然后，處理繼續(xù)至下一塊。

當(dāng)已分析了視頻中的最后一幀時，查詢操作415在YES方向上退出，并在操作420、425和430中針對視頻剪輯的最終鏡頭進(jìn)行相同的報告。

可在有缺陷像素檢測器（諸如在圖7的功能框圖中所示的示例性檢測器）中體現(xiàn)如上所述的所有實施例。有缺陷像素檢測器520從視頻源510接收輸入，并生成有缺陷像素報告580作為輸出。例如，該報告可采取各種形式，諸如書面報告、有缺陷像素的映射圖或有缺陷像素列表。

在一個實施例中，檢測器520包括用以執(zhí)行上述操作的處理器522。數(shù)據(jù)存儲器523和程序存儲器524被耦合到處理器522，并且可臨時存儲關(guān)于有缺陷像素和/或程序的數(shù)據(jù)以促使處理器522在其已執(zhí)行有缺陷像素分析之后生成有缺陷像素報告580。像素檢測器520還可包括用于各種閾值530和/或數(shù)據(jù)結(jié)構(gòu)532存儲如上所述的塊數(shù)據(jù)的單獨儲存器。

在其它實施例中，用可以是專業(yè)化處理器或具體編程的處理器的專業(yè)化硬件來執(zhí)行特定功能。例如，空間離群點檢測器540可執(zhí)行上文所述的空間離群點檢測功能。時間不變性檢測器550可執(zhí)行上述時間不變性檢測。檢測器520也可包括其它專業(yè)化處理器，諸如強(qiáng)度處理器560，其可執(zhí)行強(qiáng)度窗口測量和強(qiáng)度范圍處理。強(qiáng)度處理器560還可處理強(qiáng)度窗口閾值操作。

雖然在檢測器520中圖示出許多功能塊，但在所示功能與物理硬件塊之間不一定存在一一對應(yīng)關(guān)系。一些功能可由處理器522或與處理器522相結(jié)合地操作的其它硬件塊或硬件塊的組合執(zhí)行。

用戶接口590允許用戶控制像素檢測器520的操作，包括將計算機(jī)程序加載到程序存儲器524中以及控制像素檢測器520的操作。用戶接口590通常包括諸如鍵盤和/或按鈕之類的一個或多個用戶輸入設(shè)備以及諸如顯示器之類的至少一個輸出設(shè)備。在操作中，用戶操作用戶接口590以開始有缺陷像素檢測。由用戶選擇一個或多個視頻源510，并且如上所述的像素檢測操作使用檢測器520繼續(xù)進(jìn)行以執(zhí)行上述有缺陷像素檢測操作。在所述檢測操作結(jié)束時（或在其它時間），所述像素檢測器520產(chǎn)生所述有缺陷像素報告530。

本領(lǐng)域的技術(shù)人員應(yīng)很好地理解的是，本發(fā)明不限于任何特定的一個或多個標(biāo)準(zhǔn)，而是在不違背本發(fā)明的范圍的情況下適用于具有類似架構(gòu)的系統(tǒng)。

已出于清楚和理解的目的進(jìn)行了前文的描述。鑒于對本文所述實施例的多種多樣的替換，本描述僅僅意圖是說明性的，而不應(yīng)理解為限制本發(fā)明的范圍。雖然已出于舉例說明的目的圖示出并描述了本發(fā)明的特定實施例，但在不脫離本發(fā)明的精神和范圍的情況下可進(jìn)行各種修改。因此，本發(fā)明不應(yīng)受到除所附權(quán)利要求之外的限制。