本發(fā)明屬于光電成像處理技術(shù)領(lǐng)域,涉及一種光電系統(tǒng)動態(tài)范圍優(yōu)化方法。
背景技術(shù):
光電系統(tǒng)對場景動態(tài)范圍的響應(yīng)是一個綜合因素,也是設(shè)計高質(zhì)量光電系統(tǒng)的關(guān)鍵技術(shù)。依據(jù)相關(guān)的技術(shù)設(shè)計一套光電系統(tǒng),使其實現(xiàn)成像功能相對容易,但如何使其擁有最佳性能卻并不容易。
目前動態(tài)范圍的研究很多,主要集中在高動態(tài)范圍到8位顯示范圍的映射。高動態(tài)范圍映射的前提是我們已經(jīng)獲取了高動態(tài)范圍圖像,而獲取高動態(tài)范圍圖像是場景不變,系統(tǒng)光學(xué)系統(tǒng)不變,采用曝光時間由短到長,獲取一些列由暗到亮的同一場景圖片,然后合成一副高動態(tài)范圍圖像。該方案的致命缺點就是在獲取一系列照片時,場景不變。這也是有些手機或者相機具有HDR功能時,要求拍攝時盡量手保持不動的原因。
在實際的應(yīng)用中,由于特定高動態(tài)場景(如爆炸)是瞬息萬變的,即使相機保持不動,場景一直在變化,獲取到的圖像也是不同的,無法合成高動態(tài)范圍圖像。
硬件研制高動態(tài)范圍相機是目前的一個比較熱的研究方向,一般采用高動態(tài)范圍傳感器,而影響最終產(chǎn)品效果涉及到很多參數(shù),這些不同的參數(shù)對于最終結(jié)果的影響目前尚未見深入的研究。
技術(shù)實現(xiàn)要素:
本發(fā)明提出一種基于硬件模型的光電系統(tǒng)動態(tài)范圍優(yōu)化方法,能夠定量分析光電系統(tǒng)中各個環(huán)節(jié)對動態(tài)范圍的影響,從而指導(dǎo)設(shè)計者快速、準(zhǔn)確地配置動態(tài)范圍輸出最佳的光電系統(tǒng)。
本發(fā)明的方案如下:
基于硬件模型的光電系統(tǒng)動態(tài)范圍優(yōu)化方法,配置模數(shù)轉(zhuǎn)換器的動態(tài)范圍大于圖像傳感器的動態(tài)范圍的2倍;根據(jù)光電系統(tǒng)的應(yīng)用需求,按照以下數(shù)學(xué)模型進行針對性的硬件優(yōu)化:
上式中,DRsys_circuit即經(jīng)過硬件電路之后的動態(tài)范圍,Vsat是圖像傳感器的飽和輸出電壓,S2是圖像傳感器的光學(xué)靈敏度,Qnoise是圖像傳感器輸出的固有噪聲,Vcircuit是傳感器的硬件電路噪聲電壓,α是模數(shù)轉(zhuǎn)換器固有的噪聲,m為模擬增益的倍數(shù),n為數(shù)字增益的倍數(shù)。
在確定硬件配置后,還可采用色調(diào)映射方式進行軟件優(yōu)化,從而全面提高優(yōu)化效果。
本發(fā)明具有以下技術(shù)效果:
動態(tài)范圍是光電系統(tǒng)的一個關(guān)鍵指標(biāo),信噪比也是光電系統(tǒng)的重要指標(biāo),這兩個指標(biāo)是相關(guān)的。本發(fā)明以動態(tài)范圍為著手點,建立了影響動態(tài)范圍的系統(tǒng)模型,從定量角度分析光電系統(tǒng)中各個環(huán)節(jié)對動態(tài)范圍的影響,根據(jù)這些定量關(guān)系,設(shè)計者可以設(shè)計與實際要求相匹配的高性能系統(tǒng)。
附圖說明
圖1為光電系統(tǒng)動態(tài)范圍的系統(tǒng)模型。
圖2為柯達全幀CCD在28M時的光子轉(zhuǎn)移曲線。
圖3為圖像傳感器光照輸出曲線。
圖4為模數(shù)轉(zhuǎn)換器工作原理。
圖5為傳感器輸出與AD輸出曲線。
圖6為數(shù)字增益輸出曲線。
圖7為模擬增益輸出曲線。
圖8為系統(tǒng)硬件輸出曲線。
圖9為伽瑪映射的曲線(線性映射和非線性映射)。
具體實施方式
本發(fā)明對光電系統(tǒng)工作流程中的各模塊進行分析,建立了光電系統(tǒng)動態(tài)范圍模型,如圖1所示。影響動態(tài)范圍的有硬件設(shè)計相關(guān)部分,如圖像傳感器、模數(shù)轉(zhuǎn)換器(AD),增益;也有軟件相關(guān)的,如映射算法等。下面分別對這些部分進行分析。
1.傳感器動態(tài)范圍分析
傳感器工作原理是光子感應(yīng)到傳感器上,在像素的成像區(qū)域產(chǎn)生相應(yīng)的光電子,光電子的數(shù)量的多少取決于光子數(shù)量的多少;光電子根據(jù)傳感器的特性,將其轉(zhuǎn)換為相應(yīng)的電壓,以電壓的形式進行輸出。
傳感器的動態(tài)范圍分有線性區(qū)域和非線性區(qū)域,以DALSA芯片為例,其飽和滿井輸出電壓(Full-well capacity saturation level)為3400mV;而其線性滿井輸出電壓(Full-well capacity linear operation)為2500mV;柯達公司(TRUESENSE)公司將飽和電子數(shù)定義在線性區(qū)域;沒有特別說明的,一般傳感器生產(chǎn)廠家給出芯片的滿井電荷都是指其在線性區(qū)域最大滿井電荷。
當(dāng)傳感器工作在非線性區(qū)域時,增加了對場景動態(tài)范圍的識別,但是降低了該區(qū)域?qū)φ斩鹊姆直媛?,一般對傳感器動態(tài)范圍的分析,不考慮其工作在非線性區(qū)域(實際上對該區(qū)域也有響應(yīng)),后面討論的都是傳感器或者光電系統(tǒng)工作于線性區(qū)域。前面介紹場景動態(tài)范圍為最亮照度與最低照度之比,這里將其轉(zhuǎn)換為傳感器能識別的動態(tài)范圍,由于傳感器存在固有噪聲,根據(jù)傳感器的工作原理,傳感器的動態(tài)范圍:
Qsat是傳感器的飽和電子數(shù);Qnoise是傳感器輸出的固有噪聲。固有噪聲由光子噪聲σshot、復(fù)位噪聲σreset、白噪聲σwhite、暗電流噪聲σdark、轉(zhuǎn)移噪聲等組成。Qnoise是與傳感器工作的溫度、頻率、信號電子數(shù)相關(guān)的一個參數(shù)。
固有噪聲是傳感器本身就有的,不管硬件電路怎么設(shè)計,由于傳感器特性,這些噪聲總是存在的。不過傳感器固有噪聲中,很多噪聲都與溫度相關(guān),如復(fù)位噪聲σreset、白噪聲σwhite與環(huán)境溫度的根方成比例關(guān)系,暗電流噪聲σdark與溫度的關(guān)系更加明顯。雖然不能改變傳感器的固有噪聲,但在硬件可通過改變傳感器布局,盡量讓發(fā)熱芯片遠離傳感器,同時采用熱設(shè)計,將傳感器產(chǎn)生的熱快速導(dǎo)入結(jié)構(gòu)殼體。對于對動態(tài)范圍或者信噪比要求很高的設(shè)計、必要時可以加入制冷模塊,以降低傳感器的固有噪聲。固有噪聲還和傳感器的輸出頻率有關(guān),如時鐘轉(zhuǎn)移噪聲(CLOCKING NOISE),與頻率一般是平方根的比例關(guān)系。還與感光區(qū)感應(yīng)到的信號電子數(shù)有關(guān)。由于固有噪聲在不同溫度時不一樣,廠家在傳感器中給的固有噪聲是在特定溫度(例如25℃)和特定頻率(例如30M)下給出的平均噪聲,不同廠家給出平均噪聲的表達方式不一樣,以讀出噪聲(Readout Noise)、黑噪聲(Dark noise)或者其他方式給出,一般以噪聲電子數(shù)量的方式給。平均噪聲各個廠家給出的方式不一樣,有的是測量出傳感器的光子轉(zhuǎn)移曲線(PHOTON TRANSFER CURVE),有的是給出噪聲的均方根誤差(RMS)誤差。是柯達的全幀CCD轉(zhuǎn)移曲線,從這個曲線可以求得在27M時,傳感器的的固有噪聲為25個電子;而該傳感器在27M兆時的飽和電子數(shù)為40000個電子,因此求得此時的傳感器的動態(tài)范圍為:
傳感器輸出時,除了固有噪聲外,還有硬件電路帶來的噪聲。硬件電路帶給傳感器的噪聲是由于硬件電路設(shè)計不佳,導(dǎo)致加載在傳感器上面的工作電源、傳感器驅(qū)動電路(CCD)、復(fù)位電平(CCD)、傳感器地信號等有噪聲,這個噪聲的結(jié)果就是在傳感器輸出時,將噪聲帶入輸出的總噪聲。比較典型的就是傳感器的供電輸出電源上有一個與傳感器輸出頻率接近的電源紋波,紋波噪聲將會帶入輸出放大電路,這樣的結(jié)果就是在最終的輸出圖像上有很多斜條紋,最終也影響了光電系統(tǒng)輸出的動態(tài)范圍。
在設(shè)計模型時,我們只關(guān)注傳感器輸出總噪聲。這個噪聲由傳感器固有噪聲和硬件噪聲組成,其固有噪聲與溫度相關(guān),且溫度越高,噪聲越大;硬件噪聲與電路設(shè)計相關(guān),最主要與電源紋波相關(guān)。這為我們設(shè)計高性能光電系統(tǒng)硬件系統(tǒng)提供參考。
在傳感器獲取一幅場景圖像時,傳感器感光區(qū)域能感知的光電子總數(shù)小于其總噪聲電荷時,傳感器不能分辨場景信息。而感知光電子總數(shù)與光學(xué)影像的強弱(光圈大小決定)和感光區(qū)域積分時間(曝光時間)相關(guān)。
為了對傳感器的特性有進一步了解這里介紹兩個概念,輸出靈敏度(OutputSensitivity)和光學(xué)靈敏度(PhotometricSensitivity)。
輸出靈敏度,單位是V/e,表示每個光電子能夠產(chǎn)生多少V的電壓輸出,光學(xué)靈敏度(Sensitivity),單位是表示,對于傳感器表面的光學(xué)影像,在單位照度(lux)和單位時間(s),傳感器能夠產(chǎn)生多少伏的電壓輸出。這兩個概念都是產(chǎn)生傳感器輸出電壓的能力,因此有些傳感器只給出光學(xué)靈敏度,將其稱之為靈敏度。因此,傳感器輸出的電壓為:
Vout=S1×I×t=S1×φ (3)
Vout=Q×S2
其中:Vout表示傳感器的模擬輸出電壓;
I表示傳感器表面感應(yīng)的照度;
S1表示輸出靈敏度,S2光學(xué)靈敏度;
t表示積分時間;
φ表示照度與時間的乘積,輻射量。
傳感器最終輸出的是電壓信號,上述表達式是通過不同的方式表達輸出電壓與光強的關(guān)系。固有噪聲和電路噪聲對應(yīng)的輸出電壓為:
Vsensor_noise=S2×Qnoise+Vcircuit; (4)
其中Vcircuit是電路帶給傳感器的噪聲,當(dāng)傳感器感應(yīng)的輻射量產(chǎn)生的輸出電壓小于Vnoise時,該能量將不能被傳感器有效的識別。
因此,我們得到傳感器輸出的動態(tài)范圍:
其中:DRsensor是傳感器輸出的動態(tài)范圍,Imax為傳感器能感應(yīng)的最大照度,Imin為最小照度;Vsat和Vnoise表示分別與Imax和Imin對應(yīng)的電壓輸出;Vsat也是飽和電荷數(shù)對應(yīng)的電壓輸出,Vnoise表示傳感器固有電荷和硬件電路帶來的噪聲對應(yīng)的噪聲電壓。
在光電系統(tǒng)工作流程中,與動態(tài)范圍相關(guān)的模塊如圖3所示;傳感器是光電系統(tǒng)的核心器件,當(dāng)其產(chǎn)生光電電荷時,電荷以電壓的形式輸出(CCD和COMS一樣),經(jīng)過模數(shù)轉(zhuǎn)化器采樣,將電壓轉(zhuǎn)換為數(shù)字圖像,數(shù)字圖像經(jīng)過伽瑪校正等圖像處理對其數(shù)字圖像進行調(diào)整。
2.模數(shù)轉(zhuǎn)換器(AD)對動態(tài)范圍的影響分析
模數(shù)轉(zhuǎn)換器(AD)是將模擬信號轉(zhuǎn)化為數(shù)字信號的關(guān)鍵系統(tǒng);其工作原理是將模擬信號量化到N位的數(shù)字信號,該轉(zhuǎn)換過程理論上是線性的。AD轉(zhuǎn)換也有動態(tài)范圍,其動態(tài)范圍定義:
其中:是模數(shù)轉(zhuǎn)換器(AD)的最大動態(tài)范圍,位數(shù)是采樣深度。以10位AD為例,其采樣的最大動態(tài)范圍為20log10210=60dB,當(dāng)傳感器輸出的動態(tài)范圍大于60dB,根據(jù)奈奎斯采樣定律,采樣頻率是被采樣頻率的兩倍,才能有效采樣到數(shù)據(jù)。因此,按照采樣定律,對于傳感器輸出頻率為60dB的信號,至少要使用大于66dB動態(tài)范圍的AD進行采樣,才能保證傳感器的有效動態(tài)范圍不損失。
對于AD動態(tài)范圍和傳感器動態(tài)范圍還有直觀上的一種理解方式,AD對傳感器模擬輸出進行采樣,采樣分辨率是1個基本單位,AD兩個基本單位能否分辨出傳感器的Vnoise是AD和傳感器輸出匹配的關(guān)鍵。如果采樣位數(shù)太少,2個基本單位分辨出n×Vnoise,將有效的(n-1)×Vnoise光電子也采樣進兩個基本單位,造成傳感器動態(tài)范圍損失。當(dāng)采樣位數(shù)太高,將Vnoise進行了n個下采樣,其中有用的采樣數(shù)只有一個,造成了AD動態(tài)范圍的浪費。
因此,選用AD時,必須依據(jù)傳感器的動態(tài)范圍進行選擇,AD的動態(tài)范圍必須大于傳感器的動態(tài)范圍,按照采樣定理2倍的采樣頻率設(shè)計。理論上來說,當(dāng)AD的采樣頻率為傳感器輸出頻率的2倍時,可以對傳感器輸出的數(shù)據(jù)進行有效采樣,也就是說,AD的動態(tài)范圍比傳感器的動態(tài)范圍大6dB,才能有效采樣傳感器的動態(tài)范圍。
目前14位、16位,甚至更高采樣深度的模數(shù)轉(zhuǎn)換器很多,14位的動態(tài)范圍可以到84dB,16位的動態(tài)范圍到96dB;對于一般的傳感器來說,該分辨率的AD能夠滿足需求。
現(xiàn)在討論AD對光電系統(tǒng)動態(tài)范圍的影響。假設(shè)理想狀態(tài),傳感器的輸出范圍與AD恰好匹配(AD的兩個單位對應(yīng)傳感器的Vnoise),AD未帶入其他噪聲,AD傳遞的最大動態(tài)范圍為:
理想狀態(tài)下,只要滿足采樣定理要求,AD可以將整個動態(tài)范圍傳遞到數(shù)字輸出。
在實際中,由于AD器件本身的特性、系統(tǒng)給AD供電電源紋波噪聲、AD時鐘頻率及量化噪聲等的影響,在AD輸出時會帶入一定的噪聲,表現(xiàn)在系統(tǒng)中為傳感器沒有輸入時,AD的低位信號也會有相應(yīng)的跳動,假設(shè)傳感器輸出的噪聲Vnoise對應(yīng)AD的m個基本單位(m大于2),AD噪聲也為m個基本單位。此時AD傳遞的動態(tài)范圍為
也就是說,當(dāng)AD帶來的噪聲與傳感器噪聲相當(dāng)時,AD輸出的動態(tài)范圍將降低6個dB,這里我們量化AD噪聲,以傳感器噪聲Vsensor_noise為基本單位,AD噪聲為ADnoise;經(jīng)過AD之后的有效動態(tài)范圍為:
其中:
α是AD噪聲與傳感器噪聲的比值,AD噪聲越大,AD輸出的動態(tài)范圍越小,AD噪聲越大,AD輸出的動態(tài)范圍越小。由公式,理論上當(dāng)AD噪聲為0時,AD輸出的動態(tài)范圍等于傳感器的動態(tài)范圍。公式是以對數(shù)關(guān)系來表達的。
3.增益對動態(tài)范圍影響分析
增益也影響光電系統(tǒng)的動態(tài)范圍,增益分為數(shù)字增益和模擬增益。數(shù)字增益有時候是在圖像處理輸出時進行處理,有時在圖像處理之前,其本質(zhì)沒有區(qū)別,為了對比數(shù)字增益和模擬增益的區(qū)別,在建模型時,將數(shù)字增益放置在AD之后,圖像處理之前。
先討論數(shù)字增益,數(shù)字增益是指將光電系統(tǒng)的輸出按照一定倍數(shù)線性放大。以圖6為例,以4倍放大系數(shù)為例,光電系統(tǒng)對照度的最低響應(yīng)值提高了4倍;同時,對最高響應(yīng)度降低了4倍。
數(shù)字增益4倍,其動態(tài)范圍降低24dB,即動態(tài)降為原來的因此,每當(dāng)數(shù)字增益增加m倍,其動態(tài)范圍降為原來動態(tài)范圍的
因此,數(shù)字圖像經(jīng)過數(shù)字增益其動態(tài)范圍為:
現(xiàn)在介紹分析一下模擬增益,模擬增益是指將傳感器的模擬輸出按照一定倍數(shù)線性放大。以圖7為例,設(shè)模擬增益系數(shù)為m,光電系統(tǒng)對照度的最低響應(yīng)值變?yōu)樵瓉淼膍倍;同時,對最高響應(yīng)度降低了m倍,即:
模擬增益后,對最低照度的響應(yīng)值對最高照度的響應(yīng)值為根據(jù)前面AD部分的結(jié)論,傳感器的輸出作為AD的輸入時,模擬增益增加了m倍數(shù),其輸出的噪聲也就增加了mVsensor_noise,而此時,AD本身的噪聲還是一個基本單元,因此,此時對應(yīng)的AD輸入的最低照度值就為(α+m)Imin,模擬增益增加m倍之后的動態(tài)范圍為:
我們將模擬增益m倍也變換為DRAD相關(guān)的表達式,由于m>1,同時α>0,(12)不等式成立。
因此有下面公式:
這就是我們在設(shè)置增益時優(yōu)先模擬增益而不是數(shù)字增益的原因,相同倍數(shù)模擬增益的動態(tài)范圍大于數(shù)字增益。
由上面兩個公式可得,圖像經(jīng)過模擬增益和數(shù)字增益之后的動態(tài)范圍為:
其中:α是AD的噪聲,m為模擬增益的倍數(shù),n為數(shù)字增益的倍數(shù)。
將模擬增益變換為對數(shù)關(guān)系:
因此,經(jīng)過增益之后的動態(tài)范圍為:
其中:m是模擬增益,n是數(shù)字增益。
4.光電系統(tǒng)硬件輸出動態(tài)范圍分析
至此,硬件電路對動態(tài)范圍的影響已經(jīng)分析結(jié)束。
由于系統(tǒng)是串聯(lián)關(guān)系,光電系統(tǒng)最終獲得的是傳感器傳遞的有效動態(tài)范圍,
因此最終得到如下硬件數(shù)學(xué)模型:
DRsys_circuit是經(jīng)過硬件電路之后的動態(tài)范圍,Vsat是傳感器的飽和輸出電壓,S2光學(xué)靈敏度,Qnoise是傳感器輸出的固有噪聲電壓;Vcircuit是傳感器的硬件電路噪聲電壓;α是AD的固有噪聲,m為模擬增益的倍數(shù),n為數(shù)字增益的倍數(shù)。
此時設(shè)計的電路有一個前提,就是AD的動態(tài)范圍大于傳感器的動態(tài)范圍的2倍,即ΔDR大于等于6dB。這也是設(shè)計動態(tài)范圍最大化的光電系統(tǒng)必須遵守的一個前提條件。
上述公式是我們設(shè)計一款高動態(tài)光電系統(tǒng)的指導(dǎo)依據(jù),即可以按照該公式進行針對性的硬件優(yōu)化。
可以看出,傳感器輸出噪聲在第一項的分母上,輸出噪聲越大,動態(tài)范圍越低,因此在設(shè)計光電系統(tǒng)時,為了提高動態(tài)范圍,首先降低傳感器輸出噪聲,一部分是固有噪聲Qnoise,該噪聲與溫度、頻率相關(guān),在設(shè)計時,需要進行相關(guān)熱設(shè)計,確保在使用條件下,固有噪聲最低;同時傳感器供電電源噪聲也在分母上,為了提高動態(tài)范圍,需要使得給CCD供電的電源噪聲最小,在設(shè)計時需要采用低噪聲LDO供電,或者采用運放供電的方式,確定電源噪聲最小化。
以AD模擬噪聲α為例,該參數(shù)也在推導(dǎo)公式的分母上,在設(shè)計時,需要使得AD模擬噪聲最小,為了使得模擬噪聲最小,在設(shè)計時,除了低噪供電設(shè)計外,還需要進行地平面分割等措施,確保數(shù)字信號影響模擬信號的影響最小化。
根據(jù)公式,實際設(shè)計一款高性能高動態(tài)范圍的光電系統(tǒng)還需要注意以下幾點:
a)首先要選擇飽和電子數(shù)多的傳感器;由公式可知,飽和電子數(shù)與動態(tài)范圍成正比關(guān)系。
b)傳感器輸出的總噪聲由電路給傳感器帶來的噪聲和傳感器本身的噪聲決定,因此要選擇一款低噪聲傳感器;同時在設(shè)計硬件電路時盡可能讓系統(tǒng)給傳感器少的噪聲干擾,使其輸出更少的噪聲,這里涉及到傳感器電源紋波、系統(tǒng)的整體熱設(shè)計(傳感器溫度越高,噪聲越大)。
c)對于AD轉(zhuǎn)換電路部分的噪聲盡量控制,其降噪原理與方法與傳感器類似。
d)盡量不用增益,增益在分母上,對動態(tài)范圍以倍數(shù)平方的速度進行進行降低,即使模擬增益略好于數(shù)字增益,但是影響也非常大。
在設(shè)計的時候我們關(guān)注各個模塊噪聲,將各個模塊的噪聲降到最小,一旦系統(tǒng)設(shè)計完成,我們只關(guān)注其系統(tǒng)噪聲Vsys_noise,在動態(tài)范圍方面,此時Vsys_noise對應(yīng)的就是最低可分辨噪聲。
其中:Vsys_noise=(1+α)Vsensor_noise
對于系統(tǒng)噪聲我們采用均方根的來估計。
我們將傳感器表面輸入為零(將鏡頭蓋蓋上),采集一張圖片,計算一幅圖片的均方根RMS,此時關(guān)閉增益。
均方根公式:
此時RMS就是系統(tǒng)噪聲Vsys_noise,輸出為AD的輸出總有效數(shù)據(jù)2位寬-1對應(yīng)的就是Vsat,因此系統(tǒng)硬件動態(tài)范圍可以定義為:
RMS就是最低照度對應(yīng)的硬件輸出噪聲位數(shù)。
當(dāng)然,通常光電系統(tǒng)輸出的動態(tài)范圍不僅由硬件電路決定,很多時候(更廣泛的范圍)光電系統(tǒng)的輸出的動態(tài)范圍還與軟件算法相關(guān)。此類軟件算法屬于常規(guī)技術(shù)手段,下面也予以說明。
目前市面上傳感器的動態(tài)范圍一般都是60dB以上,硬件電路設(shè)計的性能指標(biāo)高,此時硬件電路DRsys_circuit的動態(tài)范圍也在55dB以上,而我們?nèi)粘o@示系統(tǒng)只有8位,光電系統(tǒng)最終以8位的數(shù)據(jù)輸出,輸出時的動態(tài)范圍只有l(wèi)og102552,48dB,對硬件電路的動態(tài)范圍進行了截取。此時可以采取一定的措施,降低該步驟的影響。
5.映射函數(shù)對動態(tài)范圍的影響分析
光電系統(tǒng)在硬件輸出時獲取了N位的數(shù)據(jù),往往在終端顯示時或者在壓縮系統(tǒng)中需要將其以8位的形式輸出。將高位數(shù)據(jù)空間映射到低位數(shù)據(jù)空間上,這個過程就是色調(diào)映射,具體的映射表達式為映射函數(shù)。
色調(diào)映射一般是用在從HDR(高動態(tài)圖/輻照圖)映射到8位空間上,區(qū)別在于HDR圖像的位寬遠大于光電系統(tǒng)的硬件輸出位寬,但是色調(diào)映射原理都是相同的。
在色調(diào)映射時,我們只取有效位數(shù)(系統(tǒng)輸出總位數(shù)減去噪聲位數(shù))進行映射,前面介紹了AD輸出的位數(shù)中總會含有噪聲位,映射噪聲位失去映射意義,因此設(shè)備的動態(tài)范圍可以寫成:
DRsys_circuit=20log(2M-1) (20)
M是有效位數(shù)據(jù)。
在分析色調(diào)映射前,我們先分析從硬件電路輸出到系統(tǒng)最終輸出映射不當(dāng)時產(chǎn)生的影響。這里以12位AD轉(zhuǎn)換有效數(shù)據(jù)為例(系統(tǒng)輸出總位數(shù)可能是14位或者16位),硬件電路最終輸出了12位有效數(shù)據(jù),光電系統(tǒng)最終的輸出為8位數(shù)據(jù),如圖8所示,如果采取直接截取的方式(舍去低4位),此時光電系統(tǒng)的動態(tài)范圍:
其中:DRsys_circuit為前面推導(dǎo)的硬件系統(tǒng)動態(tài)范圍,截取高8位的動態(tài)范圍直接將系統(tǒng)的動態(tài)范圍降低了24dB。
為了保證光電系統(tǒng)輸出的動態(tài)范圍,需要將數(shù)據(jù)從12位數(shù)據(jù)映射到8位數(shù)據(jù)空間,需要進行映射運算。
DRdevice=f(DRsys_circuit) (22)
其中:f(x)為映射函數(shù),DRsys_circuit是系統(tǒng)的硬件動態(tài)范圍,DRdevice是光電系統(tǒng)輸出的動態(tài)范圍。設(shè)計者可以根據(jù)應(yīng)用需求,采用結(jié)合實際應(yīng)用的f(x)從DRsys_circuit到DRdevice進行映射。
這里我們借鑒高動態(tài)范圍圖像(HDR)映射到8位空間的思路進行色調(diào)映射,從高位空間映射到低位空間可以使用公式[28]:
這里是輸入場景的輻照能量范圍,我們在這里將其更改為
不同的映射算法對系統(tǒng)動態(tài)范圍影響是不一樣的,映射算法按照映射方式式分為線性映射和非線性映射。現(xiàn)在對這兩種方式進行分析。
(1)線性映射
線性映射是通過等比例關(guān)系對12位數(shù)據(jù)映射到8位數(shù)據(jù)上。
線性映射對輸入的12位數(shù)據(jù)除以24,再取整數(shù),其等價于將12位數(shù)據(jù)的后四位直接截取,和我們前面分析的一樣,如公式(21)所示。因此線性映射直接將原來動態(tài)范圍降低24dB。
(2)非線性映射
非線性映射是輸入位數(shù)與輸出位數(shù)不是線性關(guān)系的圖像映射,其目的是將更多的灰度空間分配給相對較低的照度空間。這樣既可以保證照度在相對低的區(qū)間(往往是人們關(guān)注的區(qū)間)保證相對高的采樣率,同時對于照度高的區(qū)域保持一定量的照度采樣。如此處理可以最大程度上減少對傳感器動態(tài)范圍的損失。
非線性的算法很多,有伽瑪映射、對數(shù)映射、Schlick映射、基于直方圖的映射等等,其本質(zhì)思想都是一樣的,這里以最常用的伽瑪映射為例,介紹非線性映射對動態(tài)范圍的影響,其他映射的推導(dǎo)方式類似。
這里介紹的伽瑪映射并不是相同位數(shù)之間的映射,而是從高位數(shù)據(jù)空間到低位數(shù)據(jù)空間的映射。
對于12位圖像的伽瑪映射過程,先將12位數(shù)據(jù)通過伽瑪映射到12位數(shù)據(jù)空間上,然后經(jīng)過線性映射(截取高8位)映射到8位數(shù)據(jù)空間上。圖9曲線可以明顯看出,映射之后的曲線對最低照度的響應(yīng)明顯低于線性映射的最低照度。
如圖9所示,映射后的8位位深圖像灰度最小值對應(yīng)的原始12位位深圖像灰度可以通過計算得出。
根據(jù)伽瑪映射公式有:
由于γ是大于1的數(shù),因此非線性映射的動態(tài)范圍大于線性映射的動態(tài)范圍,從上述公式中求得,12位映射8位數(shù)據(jù)時,理論上當(dāng)伽瑪?shù)扔?.5時,動態(tài)范圍沒有損失。
同理求得,當(dāng)16位數(shù)據(jù)映射到8位數(shù)據(jù)時,理論上最佳的伽瑪值是2。其他位數(shù)空間的伽瑪映射值可以自行推導(dǎo)。很多文獻中認為,應(yīng)該取0.45,對于不同的位數(shù)映射,這個值其實是不一樣的。