專(zhuān)利名稱(chēng)：一種閃爍檢測(cè)方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及感光器件行曝光模式下閃爍
(flicker)現(xiàn)象的判斷方法和裝置。
背景技術(shù)：
在數(shù)字?jǐn)z像裝置進(jìn)行工作時(shí)，為了適應(yīng)不同的頻率的人造光源和室外自 然光，都要對(duì)攝像裝置的一些參數(shù)進(jìn)行相應(yīng)的設(shè)置，其中一個(gè)比較重要的參 數(shù)是4聶像裝置的自動(dòng)曝光時(shí)間。當(dāng)感光器件是行曝光模式時(shí)，在燈光下，每 一行接收到的光能不一樣，可能出現(xiàn)flicker (閃爍)現(xiàn)象，如圖1 (a)和圖 1 (b)所示。為了消除這種閃爍，把曝光時(shí)間設(shè)置在1/100秒(50Hz)或 1/120 (60Hz)的倍數(shù)即可。
但是在實(shí)際使用的過(guò)程中，攝像裝置的參數(shù)設(shè)置和實(shí)際的環(huán)境光源經(jīng)常 有不匹配的情況發(fā)生，畫(huà)面的閃爍便會(huì)隨之發(fā)生。比如在50Hz交流電驅(qū) 動(dòng)的光源下，攝像裝置曝光時(shí)間理應(yīng)總是0.01秒的整數(shù)倍。攝像裝置的參 數(shù)設(shè)置可能會(huì)處在60Hz或者室外自然光情況下的設(shè)置狀態(tài)，此時(shí)曝光時(shí)間 并不是0.01秒的整數(shù)倍，于是攝像裝置所捕捉的圖像上就會(huì)出現(xiàn)滾動(dòng)的暗 條紋，這樣會(huì)嚴(yán)重影響圖像質(zhì)量。同理，在60Hz光源下，光源的閃爍周期 應(yīng)該是1/120秒，所以攝像裝置的自動(dòng)曝光時(shí)間理應(yīng)是1/120秒的整數(shù)倍。 但如果此時(shí)攝像裝置參數(shù)的設(shè)置卻處在50Hz光源或者室外自然光情況下 的，那么實(shí)際的曝光時(shí)間也并不是1/120秒的整數(shù)倍，同樣，在顯示的圖像 上也會(huì)出現(xiàn)滾動(dòng)的暗條紋。對(duì)于室外自然光源，不存在閃光周期，周期我們 可以認(rèn)為是無(wú)窮小，所以曝光時(shí)間為任意值時(shí)，圖像上都不會(huì)出現(xiàn)暗條紋。
在有些時(shí)候，這種暗條紋非常微弱，使用者通過(guò)肉眼很難去進(jìn)行判斷， 在對(duì)畫(huà)面質(zhì)量要求高的操作標(biāo)準(zhǔn)下，需要判斷出閃爍并對(duì)其進(jìn)行消除。
現(xiàn)有的判斷閃爍的方法是分別把曝光時(shí)間設(shè)置成1/100秒的倍數(shù)和1/120秒的倍數(shù)，每次設(shè)置完，取相鄰兩幀，并從這兩幀圖像中抽取全部或 部分行，計(jì)算出每一行的亮度差；分別對(duì)這些亮度差做低通濾波，去除掉毛 刺，再分別做自相關(guān)，尋找極大值點(diǎn)，才艮據(jù)極大值點(diǎn)的個(gè)數(shù)以及極大值點(diǎn)與 預(yù)設(shè)閾值的比較結(jié)果判斷是否有閃爍。
由于這種判斷方法需要改變曝光時(shí)間兩次，不僅耗時(shí)耗力，而且最重要 的是這種檢測(cè)方法是具有破壞性的，因?yàn)槿绻瓉?lái)是正常的沒(méi)有閃爍的圖 像，在兩次改變曝光時(shí)間的過(guò)程中，不僅圖像的亮度會(huì)發(fā)生變化，而且圖像 可能會(huì)出現(xiàn)閃爍，這會(huì)影響到圖像質(zhì)量。另外，由于該方法需要改變曝光時(shí) 間，因此該;險(xiǎn)測(cè)方法不能一直工作，從而導(dǎo)致該方法缺乏靈活性。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種閃爍檢測(cè)方法及其裝置，在保證圖 像質(zhì)量不受影響的前提下可以實(shí)時(shí)監(jiān)測(cè)。
為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種閃爍檢測(cè)方法，包括
讀取當(dāng)前幀，獲取當(dāng)前幀的垂直波形；
對(duì)垂直波形進(jìn)行頻譜分析，或者對(duì)當(dāng)前幀的垂直波形與歷史幀的垂直波 形的差即幀差波形進(jìn)行頻譜分析，如果頻鐠上有峰值，則根據(jù)峰值對(duì)應(yīng)點(diǎn)的 頻率與理i侖峰值頻率點(diǎn)的接近程度來(lái)判斷是否存在閃爍。
進(jìn)一步地，幀的垂直波形的獲取方法包括讀取一幀圖像數(shù)據(jù)，求取該 幀圖像數(shù)據(jù)每個(gè)像素的亮度；選定列數(shù)，求取選定的列數(shù)間的每行亮度的平 均值；對(duì)一幀圖像的每行亮度平均值做低通濾波和下采樣，獲取一幀圖像的 垂直波形，垂直波形數(shù)據(jù)點(diǎn)數(shù)LEN—Y-圖像的高度/垂直采樣率。
進(jìn)一步地，對(duì)一幀圖像的每行亮度平均值同時(shí)做低通濾波和下采樣。
進(jìn)一步地，所述選定列的個(gè)lt為2的n次方。
進(jìn)一步地，通過(guò)下式求耳又當(dāng)前幀k的垂直波形ynk和緊鄰前p幀ynk.p 的幀差波形diff: diff(i)=ynk(i)-ynk_p(i),其中，i的取值范圍是1 < i <LEN—Y， p的取值范圍是l《p《10。進(jìn)一步地，進(jìn)行頻語(yǔ)分析時(shí)，計(jì)算垂直波形或幀差波形的各頻率點(diǎn)上的
頻譜，根據(jù)頻i普上峰值點(diǎn)的振幅值及其對(duì)應(yīng)的頻率點(diǎn)判斷如果振幅值小于 閾值，則輸出無(wú)閃爍的結(jié)果；如果振幅值大于等于閾值，判斷峰值點(diǎn)對(duì)應(yīng)的 頻率如果滿(mǎn)足下列條件之一，則輸出有閃爍的結(jié)果，否則輸出無(wú)閃爍的結(jié)果 所述峰值點(diǎn)對(duì)應(yīng)的頻率落在以50Hz交流電的理論峰值頻率為中心的預(yù)定范 圍內(nèi)；所述峰值點(diǎn)對(duì)應(yīng)的頻率落在以60hz交流電的理論峰值頻率為中心的 預(yù)定范圍內(nèi)。
進(jìn)一步地，進(jìn)行頻謙分析時(shí)，計(jì)算以50Hz交流電的理論峰值頻率點(diǎn)為 中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn)的頻語(yǔ)，和以60hz交流電的理論峰值頻率 點(diǎn)為中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn)的頻傳，找出峰值點(diǎn)，判斷其振幅值與 鬧值的大小如果大于閾值，則輸出有閃爍的結(jié)果；如果小于閾值，則輸出 無(wú)閃爍的結(jié)果。
進(jìn)一步地，當(dāng)判斷有閃爍時(shí)，進(jìn)一步判斷如果頻譜峰值點(diǎn)對(duì)應(yīng)的頻率 與50hz交流電所對(duì)應(yīng)的理論峰值頻率之差在預(yù)定的范圍內(nèi)，則輸出閃爍是 由50hz交流電引起的判斷結(jié)果；如果頻謙峰值點(diǎn)對(duì)應(yīng)的頻率與60hz交流電 所對(duì)應(yīng)的理論峰值頻率之差在預(yù)定的范圍內(nèi)，則輸出閃爍是由60hz交流電 引起的判斷結(jié)果。
進(jìn)一步地，所述理論峰值頻率點(diǎn)為Cker=,-"腦*2/,其中，
Total—lines為一幀圖像中的所有行數(shù)；Valid—lines為一幀圖像中的有效行數(shù)； Q)s為影像傳感器輸出的圖像序列的幀率，單位為幀/秒；f為交流電的頻率。
進(jìn)一步地，所述對(duì)垂直波形進(jìn)行頻鐠分析，或者對(duì)幀差波形進(jìn)行頻譜分 析是指對(duì)垂直波形或者對(duì)幀差波形進(jìn)行傅里葉變換。
為解決上述問(wèn)題，本發(fā)明還提供了一種閃爍檢測(cè)裝置，包括波形獲取單 元、頻語(yǔ)分析單元、閃爍判斷單元，其中
所述波形獲取單元，用于讀取當(dāng)前幀，獲取當(dāng)前幀的垂直波形，將獲取 的波形發(fā)送至所述頻鐠分析單元；所述頻譜分析單元，用于對(duì)所述波形獲取單元發(fā)送的波形進(jìn)行頻譜分
析，并將分析結(jié)果發(fā)送給所述閃爍判斷單元；
所述閃爍判斷單元，用于對(duì)所述頻i普分析單元發(fā)送的頻鐠分析結(jié)果進(jìn)4亍 判斷，如果頻鐠上有峰值，則根據(jù)峰值對(duì)應(yīng)點(diǎn)的頻率與理論峰值頻率點(diǎn)的接 近程度來(lái)判斷是否存在閃爍。
進(jìn)一步地，所述波形獲取單元，還用于在獲取當(dāng)前幀的垂直波形后，計(jì) 算當(dāng)前幀的垂直波形與歷史幀的垂直波形的差即幀差波形，并將所述幀差波 形發(fā)送至所述頻譜分析單元。
進(jìn)一步地，所述波形獲取單元進(jìn)一步包括圖像讀取單元、計(jì)算單元、低 通濾波和下采樣單元，其中所述圖像讀取單元，用于以幀為單位讀取圖像 數(shù)據(jù)，將讀取后的圖像數(shù)據(jù)送至所述計(jì)算單元處理；所述計(jì)算單元，用于求 取所述圖像每個(gè)像素的亮度，以及用于求取預(yù)先選定的列數(shù)間的每行亮度的 平均值，將所述平均值送至所述低通濾波和下采樣單元處理；所述低通濾波 和下采樣單元，用于對(duì)一幀圖像的每行亮度平均值同時(shí)做低通濾波和下采 樣，獲取一幀圖像的垂直波形，垂直波形數(shù)據(jù)點(diǎn)數(shù)LEN一Y二圖像的高度/垂 直采樣率。
進(jìn)一步地，所述選定列的個(gè)數(shù)為2的n次方。
進(jìn)一步地，所述波形獲取單元通過(guò)下式求取當(dāng)前幀k的垂直波形ynk和 緊鄰前p幀yrik-p的幀差波形diff: diff(i)= ynk(i)- ynk.p(i),其中，i的取值范 圍是l《i《LEN—Y, p的取ii范圍是l《p《10。
進(jìn)一步地，所述頻譜分析單元進(jìn)行的頻譜分析為傅里葉變換。
進(jìn)一步地，所述頻譜分析單元，進(jìn)一步用于計(jì)算波形各頻率點(diǎn)上的頻譜， 找出峰值點(diǎn)的振幅值及其對(duì)應(yīng)的頻率點(diǎn)；所述閃爍判斷單元，進(jìn)一步用于根 據(jù)頻譜上峰值點(diǎn)的振幅值及其對(duì)應(yīng)的頻率點(diǎn)進(jìn)行以下判斷如果振幅值小于 閾值，則輸出無(wú)閃爍的結(jié)果；如果振幅值大于等于閾值，判斷峰值點(diǎn)對(duì)應(yīng)的 頻率如果滿(mǎn)足下列條件之一，則輸出有閃爍的結(jié)果，否則輸出無(wú)閃爍的結(jié)果 所述峰值點(diǎn)對(duì)應(yīng)的頻率落在以50Hz交流電的理論峰值頻率為中心的預(yù)定范圍內(nèi)；所述峰值點(diǎn)對(duì)應(yīng)的頻率落在以60hz交流電的理論峰值頻率為中心的 預(yù)定范圍內(nèi)。
進(jìn)一步地，所述頻譜分析單元，進(jìn)一步用于計(jì)算以50Hz交流電的理論 峰值頻率點(diǎn)為中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn)的頻語(yǔ)，和以60hz交流電的 理論峰值頻率點(diǎn)為中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn)的頻譜，找出峰值點(diǎn)對(duì)應(yīng) 的振幅值；所述閃爍判斷單元，進(jìn)一步用于判斷所述振幅值與閾值的大小， 如果判斷振幅值大于閾值，則輸出有閃爍的結(jié)果；如果判斷振幅值小于閾值， 則輸出無(wú)閃爍的結(jié)果。
本發(fā)明提供了一種非破壞性的檢測(cè)方法，利用閃爍在相鄰幀圖像間的周 期性，通過(guò)頻譜分析實(shí)現(xiàn)對(duì)閃爍在相鄰幀圖像間的周期的檢測(cè)，通過(guò)對(duì)振幅 譜的峰值的檢測(cè)來(lái)判斷有無(wú)閃爍的存在。采用本發(fā)明所述方法，不會(huì)影響圖 像質(zhì)量，而且可以進(jìn)行實(shí)時(shí)檢測(cè)，檢測(cè)時(shí)不需要改變曝光時(shí)間或其它參數(shù)， 且檢測(cè)結(jié)果不易受噪聲，場(chǎng)景和運(yùn)動(dòng)干擾。


圖1 (a)和圖1 (b)為閃爍在前后兩幀圖像上的示意圖； 圖2為求取行平均值的區(qū)域示意圖3為對(duì)一幀圖像的每行平均值做低通濾波和下采樣的示意圖4為幀差波形圖5為幀差波形的頻譜圖6為像素的時(shí)序圖7為本發(fā)明實(shí)施例的裝置結(jié)構(gòu)示意圖。
具體實(shí)施例方式
本發(fā)明的發(fā)明構(gòu)思是讀取當(dāng)前幀，獲取當(dāng)前幀的垂直波形；對(duì)垂直波 形進(jìn)行頻譜分析，或者對(duì)當(dāng)前幀的垂直波形與歷史幀的垂直波形的差即幀差波形進(jìn)行頻譜分析，如果頻語(yǔ)上有峰值，則根據(jù)峰值對(duì)應(yīng)點(diǎn)的頻率與理"i侖峰 值頻率點(diǎn)的接近程度來(lái)判斷是否存在閃爍。
優(yōu)選利用幀差波形來(lái)進(jìn)行判斷，利用圖像閃爍時(shí)兩幀圖像的幀差波形的 周期性，通過(guò)傅里葉變換，使幀差波形在頻語(yǔ)圖上表現(xiàn)為一個(gè)尖峰，根據(jù)是 否在頻譜圖上有尖峰以及尖峰的位置是否合理來(lái)判斷是否存在閃爍。
下面以利用幀差波形進(jìn)行閃爍檢測(cè)為例進(jìn)行說(shuō)明，利用垂直波形進(jìn)行閃 爍檢測(cè)的判斷方法類(lèi)似，只需省略掉其中計(jì)算幀差波形的步驟即可。閃爍檢 測(cè)主要包括以下流程
流程一，讀取當(dāng)前幀，獲取當(dāng)前幀的垂直波形；
流程二，從內(nèi)存中讀取前一幀或者前幾幀的垂直波形，取當(dāng)前幀的垂直 波形與歷史幀的垂直波形的差，得到幀差波形；
流程三，對(duì)幀差波形進(jìn)行頻譜分析(如傅立葉變換)，得到幀差波形的 頻譜；
流程四，檢測(cè)頻譜上是否有峰值，如果有的話(huà)，判斷峰值對(duì)應(yīng)點(diǎn)的頻率 是否合理，也即判斷峰值對(duì)應(yīng)點(diǎn)的頻率與理論峰值頻率點(diǎn)的接近程度，根據(jù) 接近程度來(lái)判斷是否存在閃爍。
下面對(duì)上述各流程作詳細(xì)i兌明。
*流程一中獲取當(dāng)前幀的垂直波形的步驟包括
步驟IIO，讀取一幀圖像數(shù)據(jù)；
步驟120,求取亮度平面in[則，即一幀圖像中每個(gè)像素點(diǎn)的亮度值，in[則 是一個(gè)二維矩陣，其中i表示行坐標(biāo)，j表示列坐標(biāo)；
如果是灰度圖像，則亮度就是灰度；如果是彩色圖像，則通過(guò)顏色空間 的變換，得到亮度。亮度在二維平面上的分布形成亮度平面，亮度平面可以 用矩陣in來(lái)表示，in則表示矩陣in中的第i行第j列位置的像素的亮度值。
步驟130,求取每一行像素的亮度值的平均值，包括以下步驟
(1)選定列數(shù)，求取選定的列數(shù)間的每行亮度的平均值；為了避免除法，我們選定的列數(shù)可以為2的n次方，比如512,這樣求 平均值的時(shí)候，就可以用向右移位來(lái)代替除法，降低硬件代價(jià)，減少計(jì)算量。
如圖2所示，col_start和col—end分別表示起始列和結(jié)束列，在起始列 和結(jié)束列之間的第1行(rowl )到第N行(rowN)分別用來(lái)計(jì)算各行像素 的亮度的平均值。求得各4亍亮度的平均值avg—rowl， avg—row2, avg—rowN 共HEIGHT個(gè)。
因?yàn)樵谝粠瑘D像上，閃爍只在垂直方向有強(qiáng)度的變化，在水平方向是不 變的。所以，在水平方向的累加可以增強(qiáng)閃爍信號(hào)，消除其它噪聲干擾，提 高信"朵比。
(2)對(duì)一幀圖4象的每4亍亮度平均值avg—rowl, avg—row2，…，avg—rowN 做平滑(即低通濾波)和下采樣獲取一幀圖像的垂直波形，該垂直波形的縱 坐標(biāo)為亮度，橫坐標(biāo)為垂直波形的數(shù)據(jù)點(diǎn)數(shù)(LEN_Y):
LEN一Y-HEIGHT/垂直采樣率
其中，/表示整數(shù)除法，LEN—Y為垂直波形的長(zhǎng)度，即垂直波形的數(shù)據(jù) 點(diǎn)數(shù)；HEIGHT為圖像的高度。
比如，圖像高度為HEIGHT=486,垂直采樣率=8,則LEN—Y=486/8=60。 對(duì)每行平均值做平滑可以消除波形中的毛刺，_提高信噪比。采樣率可以 取為2的m次方，就可以用向右移位來(lái)代替除法運(yùn)算。下采樣不會(huì)改變波 形，但可以減少數(shù)據(jù)量，從而減少內(nèi)存和計(jì)算量。假設(shè)垂直采樣率為8，則 每8個(gè)avg一row為一組求平均得到一個(gè)垂直向量(或垂直波形)yn(i),如 圖3所示。假設(shè)HEIGHT=480，則yn數(shù)組包含60個(gè)元素。
本實(shí)施例中是平滑和下采樣同時(shí)進(jìn)行。相對(duì)于先平滑，再下采樣的方法 可以減少內(nèi)存和提高速度。
*流程二，求幀差波形，即求當(dāng)前幀的垂直波形和歷史幀的垂直波形 之間的差值
求取當(dāng)前幀k的垂直波形yiik[l…LEN—Y]和緊鄰前p (l《p《10)幀 ynk.p[ 1..丄EN—Y]的幀差波形diff:<formula>formula see original document page 13</formula>
其中，i-l:LEN一Y。得到的幀差波形如圖4所示。
適當(dāng)?shù)倪x取p值，可以增強(qiáng)閃爍的幀差波形。但p也不能太大，否則運(yùn) 動(dòng)的干擾就有非常大的影響，因此，p值的范圍取l<p<10。當(dāng)p^時(shí)， 上式求取的是當(dāng)前幀k的垂直波形ynk[l…LEN—Y]和緊鄰前1幀 ynw [ 1..丄EN—Y]的幀差波形diff(i)= ynk(i)- ynw(i)。
求差可以消除場(chǎng)景內(nèi)容的干擾，而使得閃爍的波形突顯出來(lái)因?yàn)樵诤?短的時(shí)間內(nèi)，認(rèn)為前后幀的場(chǎng)景基本不變，而只有閃爍條紋在變化。前后幀 相減就把場(chǎng)景內(nèi)容給抵消掉了，而把條紋的閃動(dòng)給凸顯出來(lái)了。因此，該方 法適用于任何復(fù)雜場(chǎng)景中的閃爍檢測(cè)。
*流程三，對(duì)幀差波形進(jìn)行頻鐠分析(如傅立葉變換)，得到幀差波 形的頻譜
垂直波形有周期性，當(dāng)前幀的垂直波形和以前幀的垂直波形的差值形成 的幀差波形也具有周期性?？梢灾苯訖z測(cè)垂直波形的周期性，但不太可靠， 容易受圖像中場(chǎng)景內(nèi)容的干擾。而4全測(cè)幀差波形的周期性，這是比較可靠穩(wěn) 健的方法。
對(duì)一個(gè)信號(hào)檢測(cè)其周期性，可以采用的方法有過(guò)零點(diǎn)檢測(cè)方法，數(shù)波 峰波谷的方法等方法。但這些方法容易受噪聲的干擾，要做到檢測(cè)比較準(zhǔn)確 的話(huà)，需要加很多判斷條件來(lái)約束，致使邏輯復(fù)雜。而通過(guò)傅立葉頻譜分析 方法可以有效消除或減輕幀差波形中的噪聲干擾和運(yùn)動(dòng)引起的干擾(這些干 擾一般是沒(méi)有固定周期的)；而使得周期性的成分突出(閃爍引起的幀差波 形是有固定周期的)。
幀差波形經(jīng)過(guò)傅里葉變換后得到如圖5所示的頻語(yǔ)圖。由于是固定的周 期，因此在整個(gè)頻語(yǔ)上只有一個(gè)峰值，且出現(xiàn)在固定的頻率點(diǎn)上。另外，頻 譜分析不必對(duì)所有頻率點(diǎn)都進(jìn)行，只需求取某兩個(gè)頻率點(diǎn)上的頻譜或以某兩 個(gè)頻率點(diǎn)分別為中心的兩個(gè)小范圍內(nèi)的幾個(gè)頻率點(diǎn)上的頻譜就可以了 ，這是 因?yàn)橐话阒挥?0hz和60hz兩種交流電頻率的干擾，因此可以極大的減少計(jì) 流程四，檢測(cè)頻"i普上是否有峰值，如果有的話(huà)，判斷峰值對(duì)應(yīng)點(diǎn)的 頻率是否合理，也即判斷峰值對(duì)應(yīng)點(diǎn)的頻率與理論峰值頻率點(diǎn)的接 近程度，根據(jù)接近程度來(lái)判斷是否存在閃爍。
如果有閃爍存在，則幀差波形具有一個(gè)固定的周期<formula>formula see original document page 14</formula>)
其頻率為
<formula>formula see original document page 14</formula>其中
Total—lines為一幀圖像中的所有行數(shù)；
Valid—lines為一幀圖像中的有效行數(shù)；
fi s為影像傳感器輸出的圖像序列的幀率，單位為幀/秒；
f為交流電的頻率。
對(duì)于某一環(huán)境下的某一個(gè)影像傳感器，上述4個(gè)參數(shù)都是定值，因此幀 差波形的周期T—flicker和頻率F flicker也是固定值。
對(duì)于50Hz交流電來(lái)說(shuō)，其理論峰值頻率點(diǎn)為^^fi!l^;對(duì)于 60Hz交流電來(lái)說(shuō)，其理論峰值頻率點(diǎn)為
Fa//d //wes * 2 * 60
7bto/—//"ey*》s
例如，如圖1 (a)所示，從單幀圖像上來(lái)看，條紋的周期性，就是在 圖像的垂直方向，明暗相間的條紋(一明一暗的條紋構(gòu)成一個(gè)完整的波，明 的為波峰，暗的為波谷。T—flicker就是這樣一個(gè)波(所用的行數(shù))出現(xiàn)了幾 次。比如圖1 (a)中， 一個(gè)波(明的條紋和暗的條紋)的行數(shù)為140行， 則T—flicke產(chǎn)140，圖4象的valid—lines=480行，貝'J F—flicker=480/140=3.4,即 在圖像的垂直方向，出現(xiàn)了3.4個(gè)波。理論峰值頻率點(diǎn)的導(dǎo)出
1、單幀垂直波形的周期頻率^^式的導(dǎo)出
設(shè)交流電的頻率為f，則由該交流電所產(chǎn)生的燈光的亮度變化可以如下 表示",)-」sin2(2祈) (3)
其中，A是振幅，f是交流電頻率(一般是50或60hz), t是時(shí)間，L是 亮度。
在影像傳感器上的當(dāng)前幀某一行上從TO時(shí)刻開(kāi)始曝光，曝光持續(xù)時(shí)間 為IT,則在傳感器上獲得的信號(hào)g(TO)是
<formula>formula see original document page 15</formula>(4)
看等式(5)中的cos項(xiàng)
設(shè)<formula>formula see original document page 15</formula>(6)
由于TO是開(kāi)始曝光的時(shí)間，而當(dāng)前討論的影像傳感器是行曝光，因此， TO可以表示為以4于為變量的函數(shù)
<formula>formula see original document page 15</formula> (7)
其中，line表示當(dāng)前的行數(shù)，Total—lines表示一幀圖像中的所有行數(shù)； FT表示產(chǎn)生一幀圖像的時(shí)間。因此p(TO)就轉(zhuǎn)化為p(line),以行數(shù)為變量的 函數(shù)
<formula>formula see original document page 15</formula> ( 8 )
則以line為變量的cos函it的周期為 2;r
因此，閃爍在單幀垂直波形上的周期為r y/zcker =-=- ( 9 )
由于FT和fps有如下關(guān)系FT=l/fps，因此，閃爍在單幀垂直波形上的 周期為
r —，ker-一-"臘*加 (10)
T—flicker的物理單位為行。 閃爍在單幀垂直波形上的頻率為
Fjzcker二-=-=-=-^~ (11)
— 71—_/7/c ker7b to/ _ //wes *
F一flicker的物理單位為赫茲。
其中，Valid—lines表示一幀圖像中的有效行數(shù)，如圖6所示，有效行數(shù) 是指有有效像素的行的行數(shù)；垂直空(Vblank):指在垂直方向的空像素；水平 空(Hblank):指在水平方向的空像素；有效像素指有實(shí)際的像素輸出；空像素 (blank)指沒(méi)有實(shí)際的像素輸出，只是占著這一個(gè)空位置而已，作用是可以進(jìn) 行時(shí)間上的等待和延遲。
對(duì)于一定的影像傳感器，在固定幀率(Q)s)下，其Valid—lines, Total—lines 是固定值。在某個(gè)環(huán)境下，其交流電的頻率f也是固定值。因此，F(xiàn)一flicker 也是固定值。
2、閃爍在幀差波形上的周期，頻率^^式的導(dǎo)出 幀差波形可以表示如下
fi^(r0)= J"(12)
=- ~sin 2, sin 2; /FT sin 2<(2ro + + /T) (13)
其中，TO為開(kāi)始曝光的時(shí)間，IT為曝光的持續(xù)時(shí)間，F(xiàn)T為產(chǎn)生一幀數(shù) 據(jù)的時(shí)間?？搓P(guān)于T0部分的sin項(xiàng)
設(shè)戶(hù)(。=sin2求(2r。 + iT + /r) ( 14 )
因此，閃爍在幀差波形上的周期和頻率和閃爍在單幀圖像垂直波形上的 周期和頻率完全一樣
rj由，,如承加 (15) T一flicker的物理單位為行。
/*__//zc Jeer =-^-=-=- (16)
— Cc ker7b to/ —— //wey *
F flicker的物理單^f立為赫茲。
由上述推導(dǎo)結(jié)果可以看出，閃爍在單幀垂直波形的周期(公式10)與 閃爍在幀差波形上的周期(公式15)相同，閃爍在單幀垂直波形的頻率(公 式11)與閃爍在幀差波形上的周期(公式16)相同。因此既可以通過(guò)幀差 圖像的處理判斷是否有閃爍，也可以?xún)H通過(guò)單幀圖像的處理判斷是否有閃 爍。通過(guò)單幀圖像進(jìn)行判斷適用于圖像中沒(méi)有復(fù)雜背景干擾的情況，由于只 需對(duì)一幀圖像進(jìn)行處理，更加高效和節(jié)省內(nèi)存。
檢測(cè)頻譜上是否有峰值，如果沒(méi)有，就說(shuō)明沒(méi)有閃爍；如果有的話(huà)，峰 值對(duì)應(yīng)點(diǎn)的頻率是否符合理論峰值點(diǎn)的位置
方法一計(jì)算所有頻率點(diǎn)上的頻i普，找出峰值點(diǎn)的振幅值及其對(duì)應(yīng)的頻 率點(diǎn)，
(1) 如果振幅值小于閾值TH，則輸出沒(méi)有閃爍的結(jié)果；
(2) 如果振幅值大于等于TH,并且峰值點(diǎn)對(duì)應(yīng)的頻率落在對(duì)應(yīng)于由 50Hz或60hz交流電所確定的理論峰值頻率的預(yù)定范圍內(nèi)，則輸出有閃爍的 結(jié)果。
a，如果頻傳峰值點(diǎn)對(duì)應(yīng)的頻率與50hz交流電所對(duì)應(yīng)的理i侖峰值頻率之 差在預(yù)定的范圍內(nèi)，則輸出閃爍是由50hz交流電引起的判斷結(jié)果；b,如果頻譜峰值點(diǎn)對(duì)應(yīng)的頻率與60hz交流電所對(duì)應(yīng)的理論峰值頻率之 差在預(yù)定的范圍內(nèi)，則輸出閃爍是由60hz交流電引起的判斷結(jié)果；
(3 )如果振幅值大于等于TH,并且峰值點(diǎn)對(duì)應(yīng)的頻率落在對(duì)應(yīng)于50 Hz 或60hz交流電所確定的理論峰值頻率的預(yù)定范圍外，則輸出沒(méi)有閃爍的結(jié) 果。
也就是說(shuō)，如果振幅值小于閾值，則判斷為無(wú)閃爍；如果振幅值大于等 于閾值，且判斷峰值點(diǎn)對(duì)應(yīng)的頻率如果滿(mǎn)足下列條件之一，則判斷有閃爍， 否則判斷無(wú)閃爍峰值點(diǎn)對(duì)應(yīng)的頻率落在以50Hz交流電的理論峰值頻率為 中心的預(yù)定范圍內(nèi)；峰值點(diǎn)對(duì)應(yīng)的頻率落在以60hz交流電的理論峰值頻率 為中心的預(yù)定范圍內(nèi)。
方法二計(jì)算對(duì)應(yīng)于以50Hz交流電的理論峰值頻率點(diǎn)為中心的預(yù)定范 圍內(nèi)的若干頻率點(diǎn)的頻i普，和以60hz交流電的理論峰值頻率點(diǎn)為中心的預(yù) 定范圍內(nèi)的若千頻率點(diǎn)的頻譜，找出兩個(gè)范圍內(nèi)的最大值即峰值點(diǎn)即該峰值 點(diǎn)對(duì)應(yīng)的頻率，判斷其振幅值與閾值TH的大小
(1) 如果大于TH,則輸出有閃爍的結(jié)果；
a, 如果頻譜峰值點(diǎn)對(duì)應(yīng)的頻率與50hz交流電所對(duì)應(yīng)的理論峰值頻率之 差在預(yù)定的范圍內(nèi)，則輸出閃爍是由50hz交流電引起的判斷結(jié)果；
b, 如果頻譜峰值點(diǎn)對(duì)應(yīng)的頻率與60hz交流電所對(duì)應(yīng)的理論峰值頻率點(diǎn) 之差在預(yù)定的范圍內(nèi)，則輸出閃爍是由60hz交流電引起的判斷結(jié)果；
(2) 如果小于TH，則輸出沒(méi)有閃爍的結(jié)果。
TH為可設(shè)定的閾值參數(shù)，范圍的大小為可配置參數(shù)，根據(jù)經(jīng)驗(yàn)和實(shí)驗(yàn) 得到。
上述方法二是對(duì)方法一的簡(jiǎn)化，其實(shí)施起來(lái)更節(jié)省計(jì)算量和硬件代價(jià)。 但方法一比方法二的搜索范圍更大，漏判概率較小。例如，在頻譜上有峰值，i殳峰值對(duì)應(yīng)的頻率點(diǎn)fl;設(shè)50hz對(duì)應(yīng)的理 論的峰值頻率點(diǎn)(根據(jù)公式11或公式16可以計(jì)算得到)為f2;設(shè)60hz 對(duì)應(yīng)的理論的峰值頻率點(diǎn)(根據(jù)公式11或公式16可以計(jì)算得到)fi;判 斷fl是否與f2或G接近，4艮據(jù)接近程度來(lái)判斷是否存在閃爍，如果存在， 是由50Hz或60hz哪種類(lèi)型的電流引起的
如果fl與f2接近，則輸出閃爍是由50hz交流電引起的判斷結(jié)果；
如果fl與f3接近，則輸出閃爍是由60hz交流電引起的判斷結(jié)果；
如果fl與￡2或f3都不接近，則輸出沒(méi)有閃爍的結(jié)果。
如圖7所示，實(shí)現(xiàn)上述方法的裝置包括波形獲取單元、頻譜分析單元、 閃爍判斷單元，其中
波形獲取單元，用于讀取當(dāng)前幀，獲取當(dāng)前幀的垂直波形，將獲取的波 形發(fā)送至所述頻譜分析單元；
選為傅里葉變換)，并將分析結(jié)果發(fā)送給所述閃爍判斷單元；
閃爍判斷單元，用于對(duì)所述頻譜分析單元發(fā)送的頻語(yǔ)分析結(jié)果進(jìn)行判 斷，如果頻譜上有峰值，則根據(jù)峰值對(duì)應(yīng)點(diǎn)的頻率與理i侖峰值頻率點(diǎn)的接近 程度來(lái)判斷是否存在閃爍。
優(yōu)選地，波形獲取單元，還用于在獲取當(dāng)前幀的垂直波形后，計(jì)算當(dāng)前 幀的垂直波形與歷史幀的垂直波形的差即幀差波形，并將所述幀差波形發(fā)送 至所述頻譜分析單元。
該波形獲取單元進(jìn)一步包括圖像讀取單元、計(jì)算單元、低通濾波和下采 樣單元，其中所述圖像讀取單元用于以幀為單位讀取圖像數(shù)據(jù)，將讀取后 的圖像數(shù)據(jù)送所述計(jì)算單元處理；所述計(jì)算單元用于求取所述圖像每個(gè)像素 的亮度，以及用于求取預(yù)先選定的列數(shù)(優(yōu)選列數(shù)為2的n次方)間的每行 亮度的平均值，將所述平均值送所述低通濾波和下采樣單元處理；所述低通 濾波和下采樣單元用于對(duì)一幀圖像的每行亮度平均值同時(shí)做低通濾波和下 采樣，獲取一幀圖像的垂直波形，垂直波形數(shù)據(jù)點(diǎn)數(shù)LEN一Y-圖像的高度/垂直采樣率。
上述波形獲取單元通過(guò)下式求取當(dāng)前幀k的垂直波形ynk和緊鄰前p幀 ynk.p的幀差波形diff: diff(i)= ynk(i)-ynk-p(i)，其中，i=l:LEN—Y, l<p<10。
所述頻譜分析單元進(jìn)一步計(jì)算單元用于計(jì)算波形各頻率點(diǎn)上的頻鐠，找 出峰值點(diǎn)的振幅值及其對(duì)應(yīng)的頻率點(diǎn)；所述閃爍判斷單元進(jìn)一步用于根據(jù)頻 譜上峰值點(diǎn)的振幅值及其對(duì)應(yīng)的頻率點(diǎn)進(jìn)行以下判斷如果振幅值小于閾 值，則輸出無(wú)閃爍的結(jié)果；如果振幅值大于等于閾值，判斷峰值點(diǎn)對(duì)應(yīng)的頻 率如果滿(mǎn)足下列條件之一，則輸出有閃爍的結(jié)果，否則輸出無(wú)閃爍的結(jié)果 所述峰值點(diǎn)對(duì)應(yīng)的頻率落在以50Hz交流電的理論峰值頻率為中心的預(yù)定范 圍內(nèi)；所述峰值點(diǎn)對(duì)應(yīng)的頻率落在以60hz交流電的理論峰值頻率為中心的 預(yù)定范圍內(nèi)。
或者上述閃爍判斷單元采用以下方式實(shí)現(xiàn)所述頻譜分析單元用于計(jì)算 以50Hz交流電的理論峰值頻率點(diǎn)為中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn)的頻 譜，和以60hz交流電的理論峰值頻率點(diǎn)為中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn) 的頻譜，找出峰值點(diǎn)對(duì)應(yīng)的振幅值；閃爍判斷單元用于判斷所述振幅值與閾 值的大小，如果判斷振幅值大于閾值，則輸出有閃爍的結(jié)果；如果判斷振幅 值小于閾值，則輸出無(wú)閃爍的結(jié)果。
本發(fā)明所述方法是一種非破壞性的檢測(cè)方法，不需要改變參數(shù)，不會(huì)影
波形，可節(jié)省內(nèi)存和計(jì)算量。將相鄰的前后兩幀或相隔若干幀的兩幀的垂直 波形相減得到幀差波形，只需要保留前一幀或前p幀的垂直波形數(shù)據(jù)，而不 是前一幀的所有數(shù)據(jù)，可以極大的減少內(nèi)存。通過(guò)分析幀差波形從而避免單 幀圖像上的閃爍的垂直波形容易受場(chǎng)景內(nèi)容的干擾的缺點(diǎn)。對(duì)幀差波形進(jìn)行 頻譜分析，通過(guò)判斷峰值的有無(wú)，來(lái)判斷圖像序列中閃爍的有無(wú)；通過(guò)進(jìn)一 步判斷峰值所對(duì)應(yīng)頻率，判斷出是50或60hz的交流電。從而就可以通過(guò)改 變曝光為1/120s或1/100s的整數(shù)倍來(lái)消除閃爍。
權(quán)利要求
1、一種閃爍檢測(cè)方法，其特征在于，讀取當(dāng)前幀，獲取當(dāng)前幀的垂直波形；對(duì)垂直波形進(jìn)行頻譜分析，或者對(duì)當(dāng)前幀的垂直波形與歷史幀的垂直波形的差即幀差波形進(jìn)行頻譜分析，如果頻譜上有峰值，則根據(jù)峰值對(duì)應(yīng)點(diǎn)的頻率與理論峰值頻率點(diǎn)的接近程度來(lái)判斷是否存在閃爍。
2、 如權(quán)利要求l所述的方法，其特征在于，幀的垂直波形的獲取方法包括讀取一幀圖像數(shù)據(jù)，求取該幀圖像數(shù)據(jù)每個(gè)像素的亮度；選定列數(shù)，求取選定的列數(shù)間的每行亮度的平均值；對(duì)一幀圖像的每行亮度平均值做低通濾波和下采樣，獲取一幀圖像的垂直波形，垂直波形數(shù)據(jù)點(diǎn)數(shù)LEN—Y-圖像的高度/垂直采樣率。
3、 如權(quán)利要求2所述的方法，其特征在于，對(duì)一幀圖像的每行亮度平均值同時(shí)做低通濾波和下采樣。
4、 如權(quán)利要求2所述的方法，其特征在于，所述選定列的個(gè)數(shù)為2的n次方。
5、 如權(quán)利要求2所述的方法，其特征在于，通過(guò)下式求取當(dāng)前幀k的垂直波形yiik和緊鄰前p幀ynk.p的幀差波形diff: diff(i)=ynk(i)-ynk_p(i),其中，i的取值范圍是1《i《LEN_Y， p的取值范圍是l《p《10。
6、 如權(quán)利要求l所述的方法，其特征在于，進(jìn)行頻譜分析時(shí)，計(jì)算垂直波形或幀差波形的各頻率點(diǎn)上的頻譜，根據(jù)頻譜上峰值點(diǎn)的振幅值及其對(duì)應(yīng)的頻率點(diǎn)判斷如果振幅值小于閾值，則輸出無(wú)閃爍的結(jié)果；如果振幅值大于等于閾值，判斷峰值點(diǎn)對(duì)應(yīng)的頻率如果滿(mǎn)足下列條件之一，則輸出有閃爍的結(jié)果，否則輸出無(wú)閃爍的結(jié)果所述峰值點(diǎn)對(duì)應(yīng)的頻率落在以50Hz交流電的理論峰值頻率為中心的預(yù)定范圍內(nèi)；所述峰值點(diǎn)對(duì)應(yīng)的頻率落在以60hz交流電的理論峰值頻率為中心的預(yù)定范圍內(nèi)。
7、 如權(quán)利要求l所述的方法，其特征在于，進(jìn)行頻譜分析時(shí)，計(jì)算以50Hz交流電的理論峰值頻率點(diǎn)為中心的預(yù)定范圍內(nèi)的若千頻率點(diǎn)的頻譜，和以60hz交流電的理論峰值頻率點(diǎn)為中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn)的頻譜，找出峰值點(diǎn)，判斷其振幅值與閾值的大小如果大于閾值，則輸出有閃爍的結(jié)果；如果小于閾值，則輸出無(wú)閃爍的結(jié)果。
8、 如權(quán)利要求6或7所述的方法，其特征在于，當(dāng)判斷有閃爍時(shí)，進(jìn)一步判斷如果頻譜峰值點(diǎn)對(duì)應(yīng)的頻率與50hz交流電所對(duì)應(yīng)的理論峰值頻率之差在預(yù)定的范圍內(nèi)，則輸出閃爍是由50hz交流電引起的判斷結(jié)果；如果頻譜峰值點(diǎn)對(duì)應(yīng)的頻率與60hz交流電所對(duì)應(yīng)的理論峰值頻率之差在預(yù)定的范圍內(nèi)，則輸出閃爍是由60hz交流電引起的判斷結(jié)果。
9、 如權(quán)利要求1或6或7所述的方法，其特征在于，所述理論峰值頻率點(diǎn)為F — /"c ker =-=-— r。to/」/wes承加其中，Total—lines為 一 幀圖像中的所有行數(shù)；Valid—lines為 一 幀圖像中的有效行數(shù)；fps為影像傳感器輸出的圖像序列的幀率，單位為幀/秒；f為交流電的頻率。
10、 如權(quán)利要求1或6或7所述的方法，其特征在于，所述對(duì)垂直波形進(jìn)行頻譜分析，或者對(duì)幀差波形進(jìn)行頻語(yǔ)分析是指對(duì)垂直波形或者對(duì)幀差波形進(jìn)行傅里葉變換。
11、 一種閃爍檢測(cè)裝置，其特征在于，包括波形獲取單元、頻譜分析單元、閃爍判斷單元，其中所述波形獲取單元，用于讀取當(dāng)前幀，獲取當(dāng)前幀的垂直波形，將獲取 的波形發(fā)送至所述頻鐠分析單元；所述頻譜分析單元，用于對(duì)所述波形獲取單元發(fā)送的波形進(jìn)行頻譜分 析，并將分析結(jié)果發(fā)送給所述閃爍判斷單元；所述閃爍判斷單元，用于對(duì)所述頻語(yǔ)分析單元發(fā)送的頻譜分析結(jié)果進(jìn)行 判斷，如果頻語(yǔ)上有峰值，則根據(jù)峰值對(duì)應(yīng)點(diǎn)的頻率與理論峰值頻率點(diǎn)的接 近程度來(lái)判斷是否存在閃爍。
12、 如權(quán)利要求11所述的裝置，其特征在于，所述波形獲取單元，還用于在獲取當(dāng)前幀的垂直波形后，計(jì)算當(dāng)前幀的 垂直波形與歷史幀的垂直波形的差即幀差波形，并將所述幀差波形發(fā)送至所 述頻譜分析單元。
13、 如權(quán)利要求11或12所述的裝置，其特征在于，所述波形獲取單 元進(jìn)一步包括圖像讀取單元、計(jì)算單元、低通濾波和下采樣單元，其中所述圖像讀取單元，用于以幀為單位讀取圖像數(shù)據(jù)，將讀取后的圖像數(shù) 據(jù)送至所述計(jì)算單元處理；所述計(jì)算單元，用于求取所述圖像每個(gè)像素的亮度，以及用于求取預(yù)先 選定的列數(shù)間的每行亮度的平均值，將所述平均值送至所述低通濾波和下采 樣單元處理；所述低通濾波和下采樣單元，用于對(duì)一幀圖像的每行亮度平均值同時(shí)做 低通濾波和下采樣，獲取一幀圖像的垂直波形，垂直波形數(shù)據(jù)點(diǎn)數(shù)LEN—Y= 圖像的高度/垂直采樣率。
14、 如權(quán)利要求13所述的裝置，其特征在于， 所述選定列的個(gè)數(shù)為2的n次方。
15、 如權(quán)利要求12所述的裝置，其特征在于，所述波形獲取單元通過(guò)下式求取當(dāng)前幀k的垂直波形ynk和緊鄰前p幀 ynk.p的幀差波形diff: diff(i)= ynk(i)- ynk.p(i),其中，i的取值范圍是1《i < LEN—Y， p的取值范圍是l<p<10。
16、 如權(quán)利要求11或12所述的裝置，其特征在于， 所述頻譜分析單元進(jìn)行的頻譜分析為傅里葉變換。
17、 如權(quán)利要求11或12所述的裝置，其特征在于，所述頻語(yǔ)分析單元，進(jìn)一步用于計(jì)算波形各頻率點(diǎn)上的頻譜，找出峰值 點(diǎn)的振幅值及其對(duì)應(yīng)的頻率點(diǎn)；所述閃爍判斷單元，進(jìn)一步用于根據(jù)頻譜上峰值點(diǎn)的振幅值及其對(duì)應(yīng)的 頻率點(diǎn)進(jìn)行以下判斷如果振幅值小于閾值，則輸出無(wú)閃爍的結(jié)果；如果振幅值大于等于閾值，判斷峰值點(diǎn)對(duì)應(yīng)的頻率如果滿(mǎn)足下列條件之 一，則輸出有閃爍的結(jié)果，否則輸出無(wú)閃爍的結(jié)果所述峰值點(diǎn)對(duì)應(yīng)的頻率 落在以50Hz交流電的理論峰值頻率為中心的預(yù)定范圍內(nèi)；所述峰值點(diǎn)對(duì)應(yīng) 的頻率落在以60hz交流電的理"i侖峰值頻率為中心的預(yù)定范圍內(nèi)。
18、 如權(quán)利要求11或12所述的裝置，其特征在于，所述頻語(yǔ)分析單元，進(jìn)一步用于計(jì)算以50Hz交流電的理論峰值頻率點(diǎn) 為中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn)的頻譜，和以60hz交流電的理論峰值頻 率點(diǎn)為中心的預(yù)定范圍內(nèi)的若干頻率點(diǎn)的頻譜，找出峰值點(diǎn)對(duì)應(yīng)的振幅值；所述閃爍判斷單元，進(jìn)一步用于判斷所述振幅值與閾值的大小，如果判 斷振幅值大于閾值，則輸出有閃爍的結(jié)果；如果判斷振幅值小于閾值，則輸 出無(wú)閃爍的結(jié)果。
全文摘要
本發(fā)明公開(kāi)了一種閃爍檢測(cè)方法及其裝置，在保證圖像質(zhì)量不受影響的前提下可以實(shí)時(shí)監(jiān)測(cè)。所述方法包括讀取當(dāng)前幀，獲取當(dāng)前幀的垂直波形；對(duì)垂直波形進(jìn)行頻譜分析，或者對(duì)當(dāng)前幀的垂直波形與歷史幀的垂直波形的差即幀差波形進(jìn)行頻譜分析，如果頻譜上有峰值，則根據(jù)峰值對(duì)應(yīng)點(diǎn)的頻率與理論峰值頻率點(diǎn)的接近程度來(lái)判斷是否存在閃爍。
文檔編號(hào)H04N5/235GK101567977SQ20091008596
公開(kāi)日2009年10月28日 申請(qǐng)日期2009年6月9日 優(yōu)先權(quán)日2009年6月9日
發(fā)明者玉 朱, 操 沈, 浩 王, 茜 陶 申請(qǐng)人:北京中星微電子有限公司