本發(fā)明涉及一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,具體涉及一種基于低分辨率超光譜圖像、相同場景高分辨率rgb圖像以及光譜響應(yīng)曲線訓(xùn)練集的相機(jī)光譜響應(yīng)曲線標(biāo)定方法,屬于計(jì)算攝像學(xué)領(lǐng)域。
背景技術(shù):
不同的彩色相機(jī)在拍攝相同場景時,得到的圖像常常會有色差,這是由于相機(jī)內(nèi)部的硬件差別所導(dǎo)致的。這些差別包括ccd圖像傳感器的感光特性差異、拜耳濾光片的差異等。這些差異可以表現(xiàn)為相機(jī)在三個通道的光譜敏感度的差異。為了描述相機(jī)的光譜敏感度,廠家常常會提供相機(jī)的光譜響應(yīng)曲線,表示相機(jī)的每個通道在整個光譜域的響應(yīng),這樣的曲線通常以波長為橫坐標(biāo),以相對響應(yīng)為縱坐標(biāo)。
彩色相機(jī)的光譜響應(yīng)曲線在一些工業(yè)應(yīng)用中有重要意義。例如,近年來興起的單次曝光的超光譜成像技術(shù)。這種技術(shù)的一種實(shí)現(xiàn)是,使用rgb彩色相機(jī)拍攝場景的高分辨率rgb圖像,同時使用超光譜相機(jī)拍攝相同場景的低分辨率超光譜圖像,使用某種方法將兩者融合,得到高分辨率超光譜圖像。這種技術(shù)要求rgb相機(jī)的光譜響應(yīng)曲線必須已知。
對rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定,傳統(tǒng)的方法會使用待標(biāo)定相機(jī)拍攝多個波長的單色光源,同時記錄相機(jī)的響應(yīng)。這種方法雖然可以得到精確的光譜響應(yīng)曲線,但是它的缺點(diǎn)是需要昂貴的設(shè)備,且標(biāo)定過程耗時長。根據(jù)超光譜成像圖像融合平臺的特點(diǎn),近年的技術(shù)中也提出了僅利用平臺拍攝的高低分辨率兩張圖像標(biāo)定rgb相機(jī)光譜響應(yīng)曲線的方法,但是這些方法在圖像中具有噪聲時,性能會急劇下降,導(dǎo)致光譜響應(yīng)曲線標(biāo)定不準(zhǔn)確,從而降低超光譜成像的精度。
技術(shù)實(shí)現(xiàn)要素:
從現(xiàn)有應(yīng)用對rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定需求出發(fā),針對傳統(tǒng)技術(shù)中rgb相機(jī)光譜曲線標(biāo)定方法存在的復(fù)雜、昂貴的缺點(diǎn),以及基于圖像融合平臺的rgb相機(jī)光譜響應(yīng)曲線標(biāo)定方法中存在的對噪聲敏感的缺點(diǎn),本發(fā)明公開的一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,要解決的技術(shù)問題是提供一種適用于超光譜成像的圖像融合平臺的rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,具有步驟簡單快速、不需要昂貴標(biāo)定設(shè)備,且在圖像具有噪聲的情況下仍能保持標(biāo)定精度的優(yōu)點(diǎn)。
為達(dá)到以上目的,本發(fā)明采用以下技術(shù)方案:
本發(fā)明公開的一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,分為訓(xùn)練階段和使用階段。訓(xùn)練階段在相機(jī)光譜響應(yīng)曲線的訓(xùn)練集中,把每個相機(jī)光譜響應(yīng)曲線分為紅色、綠色、藍(lán)色3個通道;對所述每個通道的所有光譜響應(yīng)曲線,使用字典學(xué)習(xí)方法求解稀疏字典。使用階段利用超光譜成像的圖像融合平臺,以所述待標(biāo)定rgb相機(jī)拍攝高分辨率rgb圖像,并使用超光譜相機(jī)拍攝相同場景的低分辨率超光譜圖像;根據(jù)所述兩張圖像和三通道的稀疏字典,使用稀疏編碼方法求解所述待標(biāo)定相機(jī)的光譜響應(yīng)曲線,從而完成對rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定。
本發(fā)明公開的一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,分為訓(xùn)練和使用兩個階段,包括如下步驟:
步驟一:訓(xùn)練階段用于根據(jù)rgb相機(jī)光譜響應(yīng)曲線訓(xùn)練集,使用字典學(xué)習(xí)方法得到紅色、綠色、藍(lán)色三個通道的光譜響應(yīng)稀疏字典。
步驟1.1:在相機(jī)光譜響應(yīng)曲線的訓(xùn)練集中,將每個相機(jī)光譜響應(yīng)曲線分為紅色、綠色、藍(lán)色三個顏色通道;
步驟1.2:對步驟1.1中紅色、綠色、藍(lán)色三個顏色通道的所有光譜響應(yīng)曲線,使用如公式(1)所示字典學(xué)習(xí)方法求解稀疏字典。
其中φq表示第q個通道的稀疏字典,xq表示q通道的所有原始響應(yīng)曲線,βq表示稀疏編碼,η表示稀疏項(xiàng)的權(quán)重,||·||f表示矩陣的弗羅賓尼斯(frobenius)范數(shù),||·||1表示矩陣的1-范數(shù);
求解公式(1)的方法優(yōu)選:k-svd算法,最佳方向(mod)法,在線字典學(xué)習(xí)(odl)法,主成分分析(pca)法,頂點(diǎn)成分分析(vca)法;
步驟二:使用階段根據(jù)步驟一得到的紅色、綠色、藍(lán)色三個顏色通道的稀疏字典,采集的低分辨率超光譜圖像和高分辨率rgb圖像,得到rgb相機(jī)的光譜響應(yīng)曲線。
步驟2.1:使用超光譜成像的圖像融合平臺,以待標(biāo)定rgb相機(jī)拍攝高分辨率rgb圖像,并使用已標(biāo)定的超光譜相機(jī)拍攝相同場景的低分辨率超光譜圖像;
步驟2.2:根據(jù)步驟2.1得到的高、低分辨率兩張圖像和步驟一中得到的稀疏字典,求解如公式(2)所示優(yōu)化方程得到稀疏編碼;
其中αq表示所述稀疏編碼,h表示所述低分辨率超光譜圖像的矩陣表示,mq表示所述rgb圖像的q通道的矩陣表示,s代表高分辨率圖像和低分辨率圖像之間的空間下采樣矩陣表示,η表示稀疏約束的權(quán)重;
求解公式(2)的方法,優(yōu)選正交匹配追蹤(omp)算法,最小角回歸(lars)算法,迭代軟閾值(ista)算法,交替方向乘子(admm)算法;
步驟2.3:利用步驟一得到的稀疏字典和步驟2.2得到的稀疏編碼,根據(jù)公式(3)和(4)求解所述待標(biāo)定相機(jī)的光譜響應(yīng)曲線,從而完成對rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定。
其中
有益效果:
1、現(xiàn)有技術(shù)中基于圖像融合平臺的rgb相機(jī)光譜響應(yīng)曲線標(biāo)定方法,由于僅利用了高分辨率rgb圖像和低分辨率超光譜圖像之間的相等關(guān)系,在兩張圖像中具有噪聲時會導(dǎo)致標(biāo)定不準(zhǔn)確;本發(fā)明公開的一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,由于步驟1.2中在訓(xùn)練集中使用了稀疏字典,且步驟2.2中利用稀疏字典進(jìn)行了稀疏編碼,使標(biāo)定結(jié)果對噪聲不敏感。
2、相比傳統(tǒng)的rgb相機(jī)光譜響應(yīng)曲線標(biāo)定方法需要多次曝光,本發(fā)明公開的一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,由于步驟2.1采集圖像時只需要進(jìn)行一次曝光,因此標(biāo)定速度快。
3、本發(fā)明公開的一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,標(biāo)定過程中由于步驟2.1只需要利用已有的圖像融合平臺中的設(shè)備,相比傳統(tǒng)rgb相機(jī)光譜響應(yīng)曲線標(biāo)定方法不需要額外昂貴的標(biāo)定設(shè)備,可以節(jié)省標(biāo)定成本、降低標(biāo)定過程的復(fù)雜度。
附圖說明
圖1是本發(fā)明公開的rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法的流程圖。
圖2是本發(fā)明公開的rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法使用的圖像融合平臺的示意圖。
圖3是公開的rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法標(biāo)定過程的示意圖。
具體實(shí)施方式
為了更好的說明本發(fā)明的目的和優(yōu)點(diǎn),下面結(jié)合附圖和實(shí)例對發(fā)明內(nèi)容做進(jìn)一步說明。
實(shí)施例1:
本實(shí)施例公開的一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,分為訓(xùn)練階段和使用階段。訓(xùn)練階段在相機(jī)光譜響應(yīng)曲線的訓(xùn)練集中,把每個相機(jī)光譜響應(yīng)曲線分為紅色、綠色、藍(lán)色3個通道;對所述每個通道的所有光譜響應(yīng)曲線,使用字典學(xué)習(xí)方法求解稀疏字典。使用階段利用超光譜成像的圖像融合平臺,以所述待標(biāo)定rgb相機(jī)拍攝高分辨率rgb圖像,并使用超光譜相機(jī)拍攝相同場景的低分辨率超光譜圖像;根據(jù)所述兩張圖像和三通道的稀疏字典,使用稀疏編碼方法求解所述待標(biāo)定相機(jī)的光譜響應(yīng)曲線,從而完成對rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定。本實(shí)施例中標(biāo)定方法的流程圖如圖1所示。
近幾年,基于一次曝光的超光譜成像平臺被廣泛研究(詳見kawakamir,matsushitay,wrightj,etal.high-resolutionhyperspectralimagingviamatrixfactorization[c]//computervisionandpatternrecognition(cvpr),2011ieeeconferenceon.ieee,2011:2329-2336.)。圖2是一種圖像融合平臺的示意圖,這種平臺利用分光鏡,使低分辨率超光譜相機(jī)和高分辨率相機(jī)通過一次曝光拍攝相同場景的圖像,然后通過稀疏表達(dá)技術(shù)進(jìn)行融合,從而得到高分辨率超光譜圖像。這種圖像融合技術(shù)要求rgb相機(jī)的光譜響應(yīng)曲線已知。兩臺相機(jī)拍攝的兩張圖像,應(yīng)有如下關(guān)系:ms=th,其中m表示高分辨率rgb圖像,h表示低分辨率超光譜圖像,s表示高分辨率圖像到低分辨率圖像的空間下采樣矩陣,t表示rgb相機(jī)的光譜響應(yīng)曲線。利用這個相等關(guān)系,可以在空間下采樣矩陣已知的情況下,使用圖像融合平臺采集高分辨率rgb圖像和低分辨率超光譜圖像,從而對rgb相機(jī)的光譜響應(yīng)曲線進(jìn)行標(biāo)定。
現(xiàn)有技術(shù)中基于圖像融合平臺的rgb相機(jī)光譜響應(yīng)曲線標(biāo)定方法僅利用以上關(guān)系,當(dāng)采集的rgb圖像或超光譜圖像含有噪聲時,對標(biāo)定結(jié)果影響很大(詳見veganzonesma,simoesm,licciardig,etal.hyperspectralsuper-resolutionoflocallylowrankimagesfromcomplementarymultisourcedata[j].ieeetransactionsonimageprocessing,2016,25(1):274-288.)。因此本實(shí)施例公開的標(biāo)定方法,額外使用了稀疏表達(dá)技術(shù),在求解rgb相機(jī)的光譜響應(yīng)曲線時加入了稀疏約束,從而有效降低了標(biāo)定方法對噪聲的敏感度。本實(shí)施例中標(biāo)定方法的示意圖如圖3所示。同時,本實(shí)施例公開的標(biāo)定方法也保持了基于圖像融合平臺的rgb相機(jī)光譜響應(yīng)曲線標(biāo)定方法所具有的簡單、快速的特點(diǎn),不需要額外的標(biāo)定設(shè)備。
本實(shí)施例公開的一種rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定方法,分為訓(xùn)練和使用兩個階段。本實(shí)施例中標(biāo)定方法的流程圖如圖1所示。
步驟一:訓(xùn)練階段用于根據(jù)rgb相機(jī)光譜響應(yīng)曲線訓(xùn)練集,使用字典學(xué)習(xí)方法得到紅色、綠色、藍(lán)色三個通道的光譜響應(yīng)稀疏字典。
步驟1.1:在相機(jī)光譜響應(yīng)曲線的訓(xùn)練集中,將每個相機(jī)光譜響應(yīng)曲線分為紅色、綠色、藍(lán)色三個顏色通道;
步驟1.2:對步驟1.1中紅色、綠色、藍(lán)色三個顏色通道的所有光譜響應(yīng)曲線,使用如公式(1)所示字典學(xué)習(xí)方法求解稀疏字典。
其中φq表示第q個通道的稀疏字典,xq表示q通道的所有原始響應(yīng)曲線,βq表示稀疏編碼,η表示稀疏項(xiàng)的權(quán)重,||·||f表示矩陣的弗羅賓尼斯(frobenius)范數(shù),||·||1表示矩陣的1-范數(shù);
求解公式(1)的方法優(yōu)選:k-svd算法,最佳方向(mod)法,在線字典學(xué)習(xí)(odl)法(詳見mairalj,bachf,poncej,etal.onlinedictionarylearningforsparsecoding[c]//proceedingsofthe26thannualinternationalconferenceonmachinelearning.acm,2009:689-696.),主成分分析(pca)法,頂點(diǎn)成分分析(vca)法;
步驟二:使用階段根據(jù)步驟一得到的紅色、綠色、藍(lán)色三個顏色通道的稀疏字典,采集的低分辨率超光譜圖像和高分辨率rgb圖像,得到rgb相機(jī)的光譜響應(yīng)曲線。
步驟2.1:使用超光譜成像的圖像融合平臺,以待標(biāo)定rgb相機(jī)拍攝高分辨率rgb圖像,并使用已標(biāo)定的超光譜相機(jī)拍攝相同場景的低分辨率超光譜圖像;
步驟2.2:根據(jù)步驟2.1得到的高、低分辨率兩張圖像和步驟一中得到的稀疏字典,求解公式(2)所示優(yōu)化方程得到稀疏編碼。
其中αq表示所述稀疏編碼,h表示所述低分辨率超光譜圖像的矩陣表示,mq表示所述rgb圖像的q通道的矩陣表示,s代表高分辨率圖像和低分辨率圖像之間的空間下采樣矩陣表示,η表示稀疏約束的權(quán)重;
求解公式(2)的方法,優(yōu)選正交匹配追蹤(omp)算法(詳見patiyc,rezaiifarr,krishnaprasadps.orthogonalmatchingpursuit:recursivefunctionapproximationwithapplicationstowaveletdecomposition[c]//signals,systemsandcomputers,1993.1993conferencerecordofthetwenty-seventhasilomarconferenceon.ieee,1993:40-44.),最小角回歸(lars)算法(詳見efronb,hastiet,johnstonei,etal.leastangleregression[j].theannalsofstatistics,2004,32(2):407-499.),迭代軟閾值(ista)算法,交替方向乘子(admm)算法;
步驟2.3:利用步驟一得到的稀疏字典和步驟2.2得到的稀疏編碼,根據(jù)公式(3)和(4)求解所述待標(biāo)定相機(jī)的光譜響應(yīng)曲線,從而完成對rgb相機(jī)光譜響應(yīng)曲線的標(biāo)定。
其中
以上所述的具體描述,對發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明,所應(yīng)理解的是,以上所述僅為本發(fā)明的具體實(shí)施例而已,并不用于限定本發(fā)明的保護(hù)范圍,凡在本發(fā)明的精神和原則之內(nèi),所做的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。