基于拜爾顏色濾波陣列的高動態(tài)范圍視頻錄制方法和裝置制造方法
【專利摘要】本發(fā)明公開了一種基于拜爾顏色濾波陣列的高動態(tài)范圍視頻錄制方法和裝置，包括通過按照奇偶雙列配置不同的感光時間進(jìn)行曝光，獲得奇偶雙列不同曝光值的一個圖像幀；將圖像幀分解為欠曝光圖像幀和過曝光圖像幀，其中欠曝光圖像幀中欠曝光雙列與缺失雙列依次間隔分布，過曝光圖像幀中過曝光雙列與缺失雙列依次間隔分布；分別在紅綠藍(lán)通道上根據(jù)欠曝光或過曝光雙列像素點(diǎn)的像素值獲取欠曝光圖像幀和過曝光圖像幀中缺失雙列像素點(diǎn)的像素恢復(fù)值作為對應(yīng)像素點(diǎn)的像素值；根據(jù)紅綠藍(lán)通道上像素點(diǎn)的像素值合并過曝光圖像幀和欠曝光圖像幀，獲得一個高動態(tài)范圍幀，通過上述方式，本發(fā)明能夠克服高速運(yùn)動模糊問題，降低高速連拍的幀率。
【專利說明】基于拜爾顏色濾波陣列的高動態(tài)范圍視頻錄制方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及高動態(tài)范圍(high dynamic range,下文簡稱HDR)視頻錄制【技術(shù)領(lǐng)域】，特別是涉及一種基于拜爾顏色濾波陣列的高動態(tài)范圍視頻錄制方法和裝置。

【背景技術(shù)】
[0002]在數(shù)碼相機(jī)中，在大光比環(huán)境下拍攝時，普通相機(jī)因受到動態(tài)范圍的限制，不能紀(jì)錄極端亮或者暗的細(xì)節(jié)，而HDR視頻錄制在高光和低光區(qū)域都能獲得比正常拍攝更好的明暗層次。實(shí)際場景的動態(tài)范圍常常在10dB以上，傳感器是數(shù)碼影像設(shè)備成像的核心器件。傳統(tǒng)數(shù)碼相機(jī)所采用的傳感器元件有CCD (Charge-coupled Device,電荷稱合元件)或者CMOS (Complementary Metal Oxide Semiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)，一般只能有大約60dB的動態(tài)范圍，如果采用動態(tài)范圍較窄的傳感器記錄動態(tài)范圍較寬的場景，則需要多次成像。以10dB的場景為例，可以先提高快門速度，拍攝一張O?60dB的欠曝光照片，再降低快門速度，拍攝一張40?10dB的過曝光照片，最后將兩張照片融合成一張并重新計算灰階映射關(guān)系。
[0003]現(xiàn)有廠商拍攝HDR視頻采用高幀率傳感器，可高速連續(xù)拍攝若干張不同曝光值的影像，以HDR的方式合成為一張照片。不過拍攝移動中的主體時，照片就有可能出現(xiàn)殘影現(xiàn)像。在采集到多幀圖像后，需要用特殊的HDR算法將多幀圖像合并為一幀。
[0004]現(xiàn)代CMOS傳感器通常是一種顏色濾波陣列結(jié)構(gòu)，拜爾濾波陣列拍攝的圖像簡稱拜爾圖。每個像素記錄10?14比特的單色信息，RGB三原色信息需要該像素與周圍像素插值計算獲得。
[0005]現(xiàn)有的拍攝HDR視頻的方法主要包括兩個關(guān)鍵技術(shù)點(diǎn)，多曝光幀采集和HDR的幀合并算法。多曝光幀采集是以不同曝光值高速連拍獲得多幀圖片。存在兩個缺點(diǎn):一方面，如果場景中存在高速運(yùn)動的物體，則兩幀之間無法做到點(diǎn)點(diǎn)匹配，合并后的圖片很容易出現(xiàn)運(yùn)動模糊。另一方面，高速連拍需要極高的幀率，限制了視頻拍攝的快門下限。
[0006]而HDR算法是首先基于多個曝光幀估計相機(jī)的亮度響應(yīng)函數(shù)，然后采用灰階映射的方式計算新的灰階表，最后計算新的HDR圖像。由于相機(jī)的亮度響應(yīng)函數(shù)通常需要對所有灰階進(jìn)行參數(shù)估計，計算復(fù)雜度在8位圖像(256個灰階)時尚可接受，但對于拜爾圖(14比特)則計算量過于龐大，因此無法直接應(yīng)用于HDR視頻錄制。加權(quán)平均是另一種常用的幀合并方法。以兩幀圖片合并為例，合并像素值Pm可以用式(I)計算:
[0007]Pnew = ff1P1+(l+ff1)P2(I)
[0008]其中，P1, P2分別是欠曝光圖和過曝光圖上某一指定位置的像素值，W1是O?I之間的數(shù)，表示像素I在合并像素中所占的權(quán)重。傳統(tǒng)方法在分配權(quán)重時一般考慮的因素主要是像素的過曝光和欠曝光，并通常設(shè)定閾值來檢測曝光的異常。過曝光或者欠曝光的像素權(quán)重會遠(yuǎn)低于正常像素值。以8位圖像為例，采用式(2)計算權(quán)重:
[0009]

【權(quán)利要求】
1.一種基于拜爾顏色濾波陣列的高動態(tài)范圍視頻錄制方法，其特征在于，所述方法包括: 按照奇偶雙列配置不同的感光時間進(jìn)行曝光，獲得奇偶雙列不同曝光值的一個圖像幀，其中奇數(shù)雙列為所述圖像幀的總列數(shù)被4整除和余I的列，偶數(shù)雙列為所述圖像幀的總列數(shù)被4整除余2和余3的列； 將所述圖像幀分解為欠曝光圖像幀和過曝光圖像幀，其中所述欠曝光圖像幀中欠曝光雙列與缺失雙列依次間隔分布，所述過曝光圖像幀中過曝光雙列與缺失雙列依次間隔分布； 對于所述欠曝光圖像幀，分別在紅綠藍(lán)通道上根據(jù)欠曝光雙列像素點(diǎn)的像素值獲取所述欠曝光圖像幀中缺失雙列像素點(diǎn)的像素恢復(fù)值作為對應(yīng)像素點(diǎn)的像素值； 對于所述過曝光圖像幀，分別在紅綠藍(lán)通道上根據(jù)過曝光雙列像素點(diǎn)的像素值獲取所述過曝光圖像幀中缺失雙列像素點(diǎn)的像素恢復(fù)值作為對應(yīng)像素點(diǎn)的像素值； 根據(jù)所述欠曝光圖像幀和所述過曝光圖像幀中所述紅綠藍(lán)通道上像素點(diǎn)的像素值合并所述過曝光圖像幀和所述欠曝光圖像幀，獲得一個高動態(tài)范圍幀。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別在紅綠藍(lán)通道上根據(jù)欠曝光雙列像素點(diǎn)的像素值獲取所述欠曝光圖像幀中缺失雙列像素點(diǎn)的像素恢復(fù)值作為對應(yīng)像素點(diǎn)的像素值的步驟包括: 用相鄰的欠曝光雙列像素點(diǎn)的像素值計算缺失雙列像素點(diǎn)的像素估計值； 利用插值獲得綠通道上缺失像素點(diǎn)的像素恢復(fù)值； 分別計算紅藍(lán)通道上像素點(diǎn)的像素值與綠通道上的所述像素恢復(fù)值的差； 對所述紅藍(lán)通道上像素點(diǎn)的像素值與綠通道上的所述像素恢復(fù)值的差做插值計算，獲得紅/藍(lán)通道上缺失像素點(diǎn)的差的恢復(fù)值； 利用紅/藍(lán)通道上缺失像素點(diǎn)的差的恢復(fù)值與綠通道上的所述恢復(fù)像素值相加，獲得紅藍(lán)通道上的像素恢復(fù)值，以替換所述欠曝光圖像幀像幀中所述缺失雙列像素點(diǎn)的估計值，并作為對應(yīng)像素點(diǎn)的像素值。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別在紅綠藍(lán)通道上根據(jù)過曝光雙列像素點(diǎn)的像素值獲取所述過曝光圖像幀中缺失雙列像素點(diǎn)的像素恢復(fù)值作為對應(yīng)像素點(diǎn)的像素值的步驟包括: 用相鄰的過曝光雙列像素點(diǎn)的像素值計算缺失雙列像素點(diǎn)的像素估計值； 利用插值獲得綠通道上缺失像素點(diǎn)的像素恢復(fù)值； 分別計算紅藍(lán)通道上像素點(diǎn)的像素值與綠通道上的所述像素恢復(fù)值的差； 對所述紅藍(lán)通道上像素點(diǎn)的像素值與綠通道上的所述像素恢復(fù)值的差做插值計算，獲得紅/藍(lán)通道上缺失像素點(diǎn)的差的恢復(fù)值； 利用紅/藍(lán)通道上缺失像素點(diǎn)的差的恢復(fù)值與綠通道上的所述恢復(fù)像素值相加，獲得紅藍(lán)通道上的像素恢復(fù)值，以替換所述過曝光圖像幀中所述缺失雙列像素點(diǎn)的估計值，并作為對應(yīng)像素點(diǎn)的像素值。
4.根據(jù)權(quán)利要求2或3任一項(xiàng)所述的方法，其特征在于，所述插值方法包括雙線性插值、立方體插值中的至少一種。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述欠曝光圖像幀和所述過曝光圖像幀中所述紅綠藍(lán)通道上像素點(diǎn)的像素值合并所述過曝光圖像幀和所述欠曝光圖像幀，獲得一個高動態(tài)范圍幀的步驟包括: 根據(jù)所述紅綠藍(lán)通道上像素點(diǎn)的像素值分別獲取所述欠曝光圖像幀和所述過曝光圖像幀中每個像素點(diǎn)的亮度； 根據(jù)所述欠曝光圖像幀和所述過曝光圖像幀中每個像素點(diǎn)的亮度獲取每個像素點(diǎn)的權(quán)值； 根據(jù)每個像素點(diǎn)的所述權(quán)值合并所述過曝光圖像幀和所述欠曝光圖像幀，獲得一個高動態(tài)范圍幀。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述欠曝光圖像幀和所述過曝光圖像幀中每個像素點(diǎn)的亮度獲取每個像素點(diǎn)的權(quán)值的步驟包括: 根據(jù)預(yù)設(shè)的欠曝光閾值T1和過曝光閾值T2利用以下關(guān)系式計算自適應(yīng)的欠曝光閾值Tljnew和自適應(yīng)的過曝光閾值τ2，η?:
Tl.ncw _ m3.Xxfcu(Pi<rr[) P2,X，
T2,HCW _ mirixfcu(pT>rr2) Pl,X 其中，PpP2分別為所述欠曝光圖像幀和所述過曝光圖像幀中像素點(diǎn)的亮度，U (P1CT1)表示P1中所有小于T1的欠曝光像素集，U (P2)T2)表示P2中所有大于T2的過曝光像素集；根據(jù)所述自適應(yīng)的欠曝光閾值A(chǔ)mw和所述自適應(yīng)的過曝光閾值τ2，η?利用以下關(guān)系式計算所述每個像素點(diǎn)的權(quán)重:

Tl,new—Pl n ^_ 1-Tl^l l，new



X I,new
_ O 其他

_ P2 —T2'職 ρ2>τ2'-

] 255-T25new

、 O 其他 其中，CO1為所述欠曝光圖像幀中亮度為P1的像素點(diǎn)的權(quán)值，ω2為所述過曝光圖像幀中亮度為P2的像素點(diǎn)的權(quán)值。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)每個像素點(diǎn)的所述權(quán)值合并所述過曝光圖像幀和所述欠曝光圖像幀，獲得一個高動態(tài)范圍幀的步驟包括: 采用二維高斯濾波器與對每個像素點(diǎn)的所述權(quán)值做卷積； 采用以下關(guān)系式進(jìn)行幀合并計算，并做對比度拉伸:
Qnewji = (I—ω J aiqi，^ (1-co2)a2q2.^coiq2 i+CO2qi ii = 1，2，3 其中，ai = l-lPl —127丨，a2 = l-用于增強(qiáng)對比度，Q1 JP q2i分別為RGB圖的
127127’ ’三個色彩通道。
8.一種基于拜爾顏色濾波陣列的高動態(tài)范圍視頻錄制裝置，其特征在于，所述裝置包括: 傳感器模塊，用于按照奇偶雙列可配置不同的感光時間進(jìn)行曝光，獲得奇偶雙列不同曝光值的圖像幀，其中奇數(shù)雙列為所述圖像幀的總列數(shù)被4整除和余I的列，偶數(shù)雙列為所述圖像幀的總列數(shù)被4整除余2和余3的列； 分解模塊，與所述傳感器模塊連接，用于將所述圖像幀分解為欠曝光圖像幀和過曝光圖像幀，其中所述欠曝光圖像幀中欠曝光雙列與缺失雙列依次間隔分布，所述過曝光圖像幀中過曝光雙列與缺失雙列依次間隔分布； 欠曝光像素恢復(fù)模塊，與所述分解模塊連接，用于對于所述欠曝光圖像幀，分別在紅綠藍(lán)通道上根據(jù)欠曝光雙列像素點(diǎn)的像素值獲取所述欠曝光圖像幀中缺失雙列像素點(diǎn)的像素恢復(fù)值作為對應(yīng)像素點(diǎn)的像素值； 過曝光像素恢復(fù)模塊，與所述分解模塊連接，用于對于所述過曝光圖像幀，分別在紅綠藍(lán)通道上根據(jù)過曝光雙列像素點(diǎn)的像素值獲取所述過曝光圖像幀中缺失雙列像素點(diǎn)的像素恢復(fù)值作為對應(yīng)像素點(diǎn)的像素值； 合并模塊，與所述欠曝光像素恢復(fù)模塊以及所述分配曝光像素恢復(fù)模塊連接，用于根據(jù)所述欠曝光圖像幀和所述過曝光圖像幀中所述紅綠藍(lán)通道上像素點(diǎn)的像素值合并所述過曝光圖像巾貞和所述欠曝光圖像巾貞，獲得一個聞動態(tài)范圍中貞。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述欠曝光像素恢復(fù)模塊用于: 用相鄰的欠曝光雙列像素點(diǎn)的像素值計算缺失雙列像素點(diǎn)的像素估計值； 利用插值獲得綠通道上缺失像素點(diǎn)的像素恢復(fù)值； 分別計算紅藍(lán)通道上像素點(diǎn)的像素值與綠通道上的所述像素恢復(fù)值的差； 對所述紅藍(lán)通道上像素點(diǎn)的像素值與綠通道上的所述像素恢復(fù)值的差做插值計算，獲得紅/藍(lán)通道上缺失像素點(diǎn)的差的恢復(fù)值； 利用紅/藍(lán)通道上缺失像素點(diǎn)的差的恢復(fù)值與綠通道上的所述恢復(fù)像素值相加，獲得紅藍(lán)通道上的像素恢復(fù)值，以替換所述欠曝光圖像幀像幀中所述缺失雙列像素點(diǎn)的估計值，并作為對應(yīng)像素點(diǎn)的像素值。
10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述過曝光像素恢復(fù)模塊用于: 用相鄰的過曝光雙列像素點(diǎn)的像素值計算缺失雙列像素點(diǎn)的像素估計值； 利用插值獲得綠通道上缺失像素點(diǎn)的像素恢復(fù)值； 分別計算紅藍(lán)通道上像素點(diǎn)的像素值與綠通道上的所述像素恢復(fù)值的差； 對所述紅藍(lán)通道上像素點(diǎn)的像素值與綠通道上的所述像素恢復(fù)值的差做插值計算，獲得紅/藍(lán)通道上缺失像素點(diǎn)的差的恢復(fù)值； 利用紅/藍(lán)通道上缺失像素點(diǎn)的差的恢復(fù)值與綠通道上的所述恢復(fù)像素值相加，獲得紅藍(lán)通道上的像素恢復(fù)值，以替換所述過曝光圖像幀中所述缺失雙列像素點(diǎn)的估計值，并作為對應(yīng)像素點(diǎn)的像素值。
11.根據(jù)權(quán)利要求9或10任一項(xiàng)所述的裝置，其特征在于，所述插值包括雙線性插值、立方體插值中的至少一種。
12.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述合并模塊用于: 根據(jù)所述紅綠藍(lán)通道上像素點(diǎn)的像素值分別獲取所述欠曝光圖像幀和所述過曝光圖像幀中每個像素點(diǎn)的亮度； 根據(jù)所述欠曝光圖像幀和所述過曝光圖像幀中每個像素點(diǎn)的亮度獲取每個像素點(diǎn)的權(quán)值； 根據(jù)每個像素點(diǎn)的所述權(quán)值合并所述過曝光圖像幀和所述欠曝光圖像幀，獲得一個高動態(tài)范圍幀。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述合并模塊還用于: 根據(jù)預(yù)設(shè)的欠曝光閾值T1和過曝光閾值T2利用以下關(guān)系式計算自適應(yīng)的欠曝光閾值Tljnew和自適應(yīng)的過曝光閾值τ2，η?:
其中，PpP2分別為所述欠曝光圖像幀和所述過曝光圖像幀中像素點(diǎn)的亮度，U (P1CT1)表示P1中所有小于T1的欠曝光像素集，U (P2)T2)表示P2中所有大于T2的過曝光像素集；根據(jù)所述自適應(yīng)的欠曝光閾值Tuot和所述自適應(yīng)的過曝光閾值T2，n?利用以下關(guān)系式計算所述每個像素點(diǎn)的權(quán)重:
其中，Co1為所述欠曝光圖像幀中亮度為P1的像素點(diǎn)的權(quán)值，ω2為所述過曝光圖像幀中亮度為P2的像素點(diǎn)的權(quán)值。
14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述合并模塊還用于: 采用二維高斯濾波器與對每個像素點(diǎn)的所述權(quán)值做卷積； 采用以下關(guān)系式進(jìn)行幀合并計算，并做對比度拉伸:
Qnew, i = (1- ω i) i+ (1- ω 2) a2q2； i+ ω ^ ^ ω 2q1； ji = 1，2，3其中，ai = 1 -1pii^727I，a2 = I — I1"';丨27I，用于增強(qiáng)對比度，k和&分別為RGB圖的三個色彩通道。
【文檔編號】H04N9/79GK104168403SQ201410302311
【公開日】2014年11月26日 申請日期:2014年6月27日 優(yōu)先權(quán)日:2014年6月27日
【發(fā)明者】曹子晟, 俞利富, 鐘文輝, 王銘鈺 申請人:深圳市大疆創(chuàng)新科技有限公司