用于在視頻幀中使用空間特征檢測(cè)頻閃的系統(tǒng)和方法
【專(zhuān)利說(shuō)明】用于在視頻幀中使用空間特征檢測(cè)頻閃的系統(tǒng)和方法
[0001]相關(guān)引用
[0002]本公開(kāi)要求2015年3月15日提交的美國(guó)臨時(shí)申請(qǐng)?zhí)?1/799，839的優(yōu)先權(quán)，以及2013年4月8日提交的美國(guó)專(zhuān)利申請(qǐng)?zhí)?3/858，921的優(yōu)先權(quán)，其全部公開(kāi)內(nèi)容作為引用被并入本文中。
【背景技術(shù)】
[0003]本公開(kāi)涉及一種用于檢測(cè)視頻的圖像幀中的頻閃(strobe)的系統(tǒng)和方法。
【附圖說(shuō)明】
[0004]被并入本說(shuō)明書(shū)并且形成其一部分的附圖圖示了示例實(shí)施例并且與描述一起用于解釋其原理。在附圖中:
[0005]圖1圖示了傳統(tǒng)的視頻系統(tǒng)；
[0006]圖2圖示了兩種圖像幀；
[0007]圖3圖示了示例直方圖；
[0008]圖4圖示了示例視頻系統(tǒng)；
[0009]圖5圖示了圖4的編碼器的示例組件；
[0010]圖6圖示了操作圖4的編碼器的示例方法；
[0011]圖7圖示了示例直方圖；
[0012]圖8圖示了示例原始幀、對(duì)應(yīng)的直方圖和三個(gè)掩模；
[0013]圖9圖示了另一個(gè)示例原始幀、對(duì)應(yīng)的直方圖和四個(gè)掩模；
[0014]圖10圖不了另一個(gè)不例原始幀、對(duì)應(yīng)的直方圖和一個(gè)掩模；
[0015]圖11圖示了如被分割成多個(gè)分段的兩個(gè)示例圖像幀；
[0016]圖12圖不了另個(gè)不例視頻系統(tǒng)；
[0017]圖13圖示了圖12的編碼器的示例組件；
[0018]圖14圖示了操作圖13的編碼器的示例方法，以及
[0019]圖15A-B圖示了如被分割成多個(gè)分段的圖像幀。
【具體實(shí)施方式】
[0020]本公開(kāi)一般地描繪檢測(cè)圖像內(nèi)的頻閃的系統(tǒng)和方法。在視頻中產(chǎn)生頻閃是常見(jiàn)的。作為電影的特征，其經(jīng)常被用于標(biāo)志(signal)情感或者作為用于從一個(gè)鏡頭過(guò)渡至另一個(gè)鏡頭的分離器。有時(shí)候，由于諸如視頻源直接面對(duì)方向型光源的物理原因而產(chǎn)生頻閃。頻閃通常包括被過(guò)渡帶包圍的極其明亮的核心，過(guò)渡帶的明照度的強(qiáng)度隨著遠(yuǎn)離核心而逐漸降低并且最終融入背景。
[0021]檢測(cè)以及識(shí)別圖像幀內(nèi)的頻閃可以是有用的，其原因有很多。例如，在其中具有頻閃的圖像幀可能需要不同的編碼。因此，如果可以識(shí)別出頻閃，則可以分配合適的編碼資源。為了在其中討論的目的，將結(jié)合編碼來(lái)討論對(duì)圖像內(nèi)的頻閃的識(shí)別。然而，應(yīng)該注意的是，這樣的討論僅僅是用于解釋為目的，并且不被限制。
[0022]圖1圖示了傳統(tǒng)的視頻系統(tǒng)100。如圖中所示，傳統(tǒng)的視頻系統(tǒng)100包括視頻源102、編碼器104和存儲(chǔ)/傳輸組件106。視頻源102的非限制性示例包括媒體服務(wù)器、照相機(jī)、視頻儲(chǔ)存器、接收器和視頻解碼器(在轉(zhuǎn)碼的場(chǎng)境中，其中輸入視頻首先被解碼并且被重新編碼成不同大小、格式等)。
[0023]視頻源102能操作成向編碼器104提供圖像數(shù)據(jù)108。編碼器104能操作成向存儲(chǔ)/傳輸組件106提供編碼數(shù)據(jù)110。
[0024]在操作中，視頻源102生成圖像數(shù)據(jù)108作為一系列靜態(tài)圖像，其中每個(gè)靜態(tài)圖像稱(chēng)為一幀。每幀由多個(gè)像素組成，其中每個(gè)像素包括像素?cái)?shù)據(jù)。每個(gè)像素的像素?cái)?shù)據(jù)包括至少一個(gè)特性以及該像素的一個(gè)或多個(gè)特性(S)的關(guān)聯(lián)值。特性的非限制性示例包括色度、照度等。所述特性的關(guān)聯(lián)值可以是在預(yù)定范圍內(nèi)所檢測(cè)到的值。例如，像素?cái)?shù)據(jù)可以包括在像素中檢測(cè)到的紅色的量作為特性，而關(guān)聯(lián)值的范圍從O到255，其中零是沒(méi)有檢測(cè)到紅色的指示并且255是檢測(cè)到最大量紅色的指示。類(lèi)似地，在另一個(gè)示例中，像素?cái)?shù)據(jù)可以包括在像素中所檢測(cè)到的照度的量作為特性，而關(guān)聯(lián)值的范圍從O到255，其中零是沒(méi)有檢測(cè)到照度的指示并且255是最大照度的指示。
[0025]現(xiàn)在可以參考圖2來(lái)描述與圖像幀相關(guān)聯(lián)的像素?cái)?shù)據(jù)的示例。
[0026]圖2圖示了圖像幀200和圖像幀202。
[0027]圖像幀200包括人204、背景206和頻閃209的圖像。圖像幀202包括人212、背景214和頻閃217的第二圖像。
[0028]在圖像幀200中，頻閃209被清楚地圖示為由過(guò)渡帶210所包圍的明亮核心208，過(guò)渡帶210的照度隨著遠(yuǎn)離核心208至背景206而逐漸降低。類(lèi)似地，在圖像幀202中，頻閃217被清楚地圖示為被過(guò)渡帶218所包圍的明亮核心216，過(guò)渡帶218的照度隨著遠(yuǎn)離核心216至背景214而逐漸降低。
[0029]能夠識(shí)別幀內(nèi)的頻閃是有用的。例如前面所提到的，為了編碼的目的，可能需要附加的編碼資源對(duì)具有頻閃的幀進(jìn)行編碼。具體地，一些編碼技術(shù)依賴(lài)于對(duì)相鄰幀的比較以減少描述幀所需要的數(shù)據(jù)量。在這樣的編碼技術(shù)中，當(dāng)相鄰幀之間存在大量的差別時(shí)，要對(duì)這樣的相鄰幀進(jìn)行編碼需要更多的數(shù)據(jù)。
[0030]考慮到這一點(diǎn)，返回圖2，對(duì)圖像幀200和圖像幀202進(jìn)行比較，頻閃209可以一般地被考慮為與頻閃217的照度和位置類(lèi)似。然而頻閃209的大小比頻閃217小得多。此夕卜，頻閃209的過(guò)渡帶210比頻閃217的過(guò)渡帶218小得多。因此，不同的頻閃可能需要附加的處理資源用于編碼。至少由于這個(gè)原因，識(shí)別頻閃幀可以是重要的。
[0031]返回圖1，編碼器104對(duì)圖像數(shù)據(jù)108進(jìn)行編碼。對(duì)圖像數(shù)據(jù)進(jìn)行編碼所需要的資源量在很大程度上取決于要進(jìn)行編碼的數(shù)據(jù)的量和類(lèi)型。
[0032]為了提高圖像的質(zhì)量，多種特性可以被用于像素?cái)?shù)據(jù)。為了進(jìn)一步提高圖像的質(zhì)量，可以與每個(gè)特性相關(guān)聯(lián)地使用更大的標(biāo)度。為了再進(jìn)一步提高圖像的質(zhì)量，可以增加每幀的像素?cái)?shù)目。隨著像素?cái)?shù)目增加、隨著每像素特性的數(shù)目增加、以及隨著每特性的標(biāo)度增加，相對(duì)應(yīng)的每圖像幀的數(shù)據(jù)量增加。
[0033]圖3圖示了直方圖300。直方圖300包括y軸302、χ軸304以及函數(shù)306。
[0034]直方圖是示出數(shù)據(jù)分布的視覺(jué)印象的圖形化表示。在這個(gè)示例中，直方圖300是示出圖像幀的像素照度的分布的視覺(jué)效果的圖形化表示。y軸302測(cè)量幀內(nèi)的像素?cái)?shù)目，其中原點(diǎn)指示沒(méi)有像素并且其中I軸的最上面部分指示像素的最大數(shù)目。χ軸304測(cè)量照度，其中原點(diǎn)指示零照度(黑色)，并且χ軸304的最右邊部分指示最大照度。函數(shù)306示出該幀內(nèi)像素照度的分布。
[0035]函數(shù)306包括由橢圓308所指示的部署在y軸302的原點(diǎn)以及χ軸304的原點(diǎn)附近的部分。因此，由橢圓308所指示的函數(shù)306的部分指示了該幀內(nèi)具有低照度的像素的量。
[0036]函數(shù)306包括由橢圓310所指示的部署在y軸302上部較高處和χ軸304的原點(diǎn)右邊的部分。因此，由橢圓310所指示的函數(shù)306的部分指示了與在該幀中具有更低照度的像素?cái)?shù)目(如由橢圓308所指示的)相比，在該幀內(nèi)存在許多更多的具有更高照度的像素。
[0037]函數(shù)306包括由橢圓312所指示的部署在y軸302上與橢圓310相比下部較低處以及χ軸304上與橢圓310相比位于右邊的部分。因此，由橢圓312所指示的函數(shù)306的部分指示在該幀內(nèi)具有更高照度的像素的數(shù)目是減少的。
[0038]函數(shù)306包括由橢圓314所指示的隔離尖峰(spike)，其與橢圓306相比在y軸302上向上延伸更高并且在χ軸304上位于右側(cè)遠(yuǎn)端。因此，由橢圓314所指示的函數(shù)306的部分指示了該幀內(nèi)具有相對(duì)高照度和相對(duì)小偏差的像素的數(shù)目。如將在下面進(jìn)一步詳細(xì)討論的，諸如由橢圓314所指示的函數(shù)306的部分所指示的隔離尖峰，可以是幀中的頻閃的指示符。
[0039]圖4圖示了示例視頻系統(tǒng)400。如圖中所示，視頻系統(tǒng)400包括視頻源102、編碼器402和存儲(chǔ)/傳輸組件106。
[0040]視頻源102能操作成向編碼器402提供圖像數(shù)據(jù)108。編碼器402能操作成向存儲(chǔ)/傳輸組件106提供編碼數(shù)據(jù)404。
[0041]圖5圖示了編碼器402的示例組件。如圖中所示，編碼器402包括控制組件502、直方圖生成組件504、分析組件506、比較器508以及編碼組件510。
[0042]控制組件502能操作成:通過(guò)控制信號(hào)512來(lái)控制直方圖生成組件504的操作；通過(guò)控制信號(hào)514來(lái)控制分析組件506的操作；通過(guò)控制信號(hào)516來(lái)控制比較器508的操作；以及通過(guò)信號(hào)518來(lái)控制編碼組件510的操作。
[0043]直方圖生成組件504被配置成接收?qǐng)D像數(shù)據(jù)108和控制信號(hào)512。直方圖生成組件504能操作成基于圖像數(shù)據(jù)108生成直方圖并且通過(guò)信號(hào)520輸出直方圖數(shù)據(jù)。
[0044]分析組件506被配置成接收信號(hào)520和控制信號(hào)514。分析組件506能操作成分析該直方圖，以識(shí)別直方圖中的隔離尖峰并且通過(guò)信號(hào)522輸出頻閃參數(shù)。
[0045]比較器508被配置成接收控制信號(hào)516和信號(hào)522。比較器508能操作成:對(duì)頻閃參數(shù)和預(yù)定閾值進(jìn)行比較；當(dāng)該頻閃參數(shù)大于預(yù)定閾值時(shí)，通過(guò)信號(hào)524輸出第一指令信號(hào)；以及當(dāng)該頻閃參數(shù)小于或等于預(yù)定閾值時(shí)，通過(guò)信號(hào)524輸出第二指令信號(hào)。如將在下面更詳細(xì)地討論的，在示例實(shí)施例中，比較器508能夠?qū)υ擃l閃參數(shù)和三個(gè)預(yù)定閾值進(jìn)行比較。二進(jìn)制“是頻閃”/ “不是頻閃”的輸出僅僅被提供為以討論為目的的示例實(shí)施例。在其它實(shí)施例中，可以基于位于圖像中的頻閃多么大、或者多么明亮等來(lái)優(yōu)化視頻編碼器。
[0046]編碼組件510被配置成接收?qǐng)D像數(shù)據(jù)108、控制信號(hào)518以及接收信號(hào)524。編碼組件510能操作成基于第一指令信號(hào)以第一方式對(duì)該圖像數(shù)據(jù)進(jìn)行編碼，并且基于第二指令信號(hào)以第二方式對(duì)圖像數(shù)據(jù)進(jìn)行編碼。編碼組件510進(jìn)一步能操作成輸出所輸入的圖像數(shù)據(jù)作為編碼數(shù)據(jù)404。
[004