本發(fā)明是關(guān)于一種影像處理系統(tǒng),特別是關(guān)于一種影像校正系統(tǒng)及其方法。
背景技術(shù):
目前的影像校正,是依據(jù)現(xiàn)場光源亮度與光源中紅、綠以及藍成分的比重來進行影像校正模式的選擇。然而此種方法存在一定誤判的可能性,例如影像裝置將室外傍晚或陰天等低色溫場景誤判為室內(nèi),從而對照片進行錯誤的顏色補償或修正,不僅無法真實地還原影像場景,更可能造成影像的大幅失真。通過改善白平衡校正系統(tǒng)中的光源偵測電路,雖然可降低其誤判的可能性,但是卻也會大幅提升系統(tǒng)設(shè)計的復(fù)雜度。
因此,如何在追求影像真實還原的前提下,兼顧系統(tǒng)設(shè)計的復(fù)雜度,對于影像校正系統(tǒng)的設(shè)計是一大挑戰(zhàn)。
技術(shù)實現(xiàn)要素:
本發(fā)明揭露的一方面是關(guān)于一種影像校正系統(tǒng)包含儲存裝置以及處理器。儲存裝置儲存多個參考圖形,且每一參考圖形對應(yīng)于一色溫,處理器用以執(zhí)行以下操作:接收輸入影像,將輸入影像轉(zhuǎn)換成對應(yīng)的多個輸入色域點;依據(jù)輸入色域點的分布產(chǎn)生輸入圖形,且輸入圖形包圍此多個輸入色域點;將輸入圖形與多個參考圖形進行比對,據(jù)以產(chǎn)生比對結(jié)果;以及依據(jù)比對結(jié)果,估算輸入影像對應(yīng)的色溫,進而為輸入影像進行調(diào)整。
本發(fā)明揭露的另一方面是關(guān)于一種影像校正方法包含預(yù)載多個參考圖形,且每一參考圖形對應(yīng)于一色溫;接收輸入影像,將輸入影像轉(zhuǎn)換成對應(yīng)的多個輸入色域點;依據(jù)輸入色域點的分布產(chǎn)生輸入圖形,且輸入圖形包圍此多個輸入色域點;將輸入圖形與參考圖形進行比對,據(jù)以產(chǎn)生比對結(jié)果;以及依據(jù)比對結(jié)果,估算輸入影像對應(yīng)的色溫,進而為輸入影像進行調(diào)整。
綜上所述,本發(fā)明的技術(shù)方案與現(xiàn)有技術(shù)相比具有明顯的優(yōu)點和有益效果。通過上述技術(shù)方案,可達到相當(dāng)?shù)募夹g(shù)進步,并具有產(chǎn)業(yè)上的廣泛利用價值。本發(fā)明透過將輸入影像轉(zhuǎn)換成對應(yīng)的多個輸入色域點以及輸入圖形,并將其與多個參考圖形進行比對,通過將僅需少數(shù)參數(shù)即能表示的參考圖形作為色溫的參考基準,大幅減少儲存參考基準所需的容量。另一方面,通過將輸入影像轉(zhuǎn)換成多個輸入色域點,并以輸入圖形包圍多個輸入色域點,降低雜訊對于色溫估算的影響,且能更直覺地反應(yīng)輸入影像于色彩的運用狀況。
附圖說明
圖1為依據(jù)本發(fā)明揭露的實施例所繪制的影像校正系統(tǒng)的方塊圖;
圖2為依據(jù)本發(fā)明揭露的一實施例所繪制的影像校正的示意圖;
圖3為依據(jù)本發(fā)明揭露的實施例所繪制的影像校正系統(tǒng)加速比對的示意圖;
圖4為依據(jù)本發(fā)明揭露的實施例所繪制的影像校正系統(tǒng)加速比對的示意圖;
圖5為依據(jù)本發(fā)明揭露的實施例所繪制的影像校正方法的運作流程圖。
具體實施方式
下文是舉實施例配合所附附圖作詳細說明,以更好地理解本發(fā)明的實施方式,但所提供的實施例并非用以限制本發(fā)明所涵蓋的范圍,而結(jié)構(gòu)操作的描述非用以限制其執(zhí)行的順序,任何由元件重新組合的結(jié)構(gòu),所產(chǎn)生具有均等功效的裝置,皆為本發(fā)明所涵蓋的范圍。此外,依據(jù)業(yè)界的標(biāo)準及慣常做法,附圖僅以輔助說明為目的,并未依照原尺寸作圖,實際上各種特征的尺寸可任意地增加或減少以便于說明。下述說明中相同元件將以相同的符號標(biāo)示來進行說明以便于理解。
在全篇說明書與權(quán)利要求書所使用的用詞(terms),除有特別注明外,通常具有每個用詞使用在此領(lǐng)域中、在此揭露的內(nèi)容中與特殊內(nèi)容中的平常意義。某些用以描述本發(fā)明揭露的用詞將于下或在此說明書的別處討論,以提供本領(lǐng)域技術(shù)人員在有關(guān)本發(fā)明揭露的描述上額外的引導(dǎo)。
此外,在本發(fā)明中所使用的用詞“包含”、“包括”、“具有”、“含有” 等等,均為開放性的用語,即意指“包含但不限于”。此外,本發(fā)明中所使用的“及/或”,包含相關(guān)列舉項目中一或多個項目的任意一個以及其所有組合。
圖1為依據(jù)本發(fā)明揭露的實施例所繪制的影像校正系統(tǒng)的方塊圖。影像校正系統(tǒng)100包含處理器102以及儲存裝置104。儲存裝置104連接至處理器102,處理器102更連接至影像偵測裝置106以及顯示裝置108。
舉例而言,影像校正系統(tǒng)100可適用于數(shù)字相機、照相手機、計算機或其他電子裝置。處理器102可為中央處理器(Central Processing Unit,CPU)或圖形處理器(Graphics Processing Unit,GPU),儲存裝置104可為硬盤(Hard Disk Drive,HDD)或記憶體,影像偵測裝置106為感光元件,顯示裝置108可為液晶顯示器、發(fā)光二極管顯示器或任何可顯示影像的裝置。
儲存裝置104儲存多個參考圖形(如,圖2的參考圖形204),且每一參考圖形皆對應(yīng)于一色溫,影像偵測裝置106于偵測到影像輸入時,將此輸入影像傳送至處理器102,顯示裝置108接收并顯示由處理器102校正后的輸入影像。
具體而言,處理器102接收來自影像偵測裝置106的輸入影像,并依據(jù)預(yù)設(shè)的轉(zhuǎn)換關(guān)系,將此輸入影像轉(zhuǎn)換成對應(yīng)的多個輸入色域點(如,圖2的輸入色域點206)。處理器102依據(jù)輸入色域點的分布,為輸入影像產(chǎn)生對應(yīng)的輸入圖形(如,圖2的輸入圖形202),且輸入圖形包圍多個輸入色域點;處理器102隨后將輸入圖形與儲存裝置104中的多個參考圖形逐一進行比對,據(jù)以產(chǎn)生比對結(jié)果。處理器102依據(jù)此比對結(jié)果,估算輸入影像對應(yīng)的色溫,并依據(jù)此估算色溫為輸入影像進行調(diào)整,隨后將校正后的輸入影像輸出至顯示裝置108。于一實施例中,處理器依據(jù)此估算色溫為輸入影像進行的調(diào)整可為白平衡校正、顏色修正或任何相關(guān)于色溫的影像處理技術(shù)。
關(guān)于上述將輸入圖形與多個參考圖形進行比對的方式,于一實施例中,處理器102分析輸入圖形與儲存裝置104中的多個參考圖形的交集區(qū)域,并依據(jù)處理器102轉(zhuǎn)換輸入影像所產(chǎn)生的輸入色域點落于此交集區(qū)域內(nèi)的數(shù)量與落于此交集區(qū)域之外的另一數(shù)量計算相似度。
于一實施例中,相似度計算方法可為計算輸入色域點落于交集區(qū)域內(nèi)的數(shù)量與落于該交集區(qū)域之外的另一數(shù)量的比值、差值或任何相關(guān)于輸入色域點數(shù)量的數(shù)值關(guān)系,并于相似度計算結(jié)束后,自多個參考圖形中選擇相似度最接近輸入圖形的一個參考圖形,以此參考圖形以及其對應(yīng)的色溫作為比對結(jié)果,進 而估算輸入影像的色溫。
圖2為依據(jù)本發(fā)明揭露的一實施例所繪制的影像校正的示意圖。影像校正系統(tǒng)100中的處理器102將來自影像偵測裝置106的輸入影像轉(zhuǎn)換成對應(yīng)的多個輸入色域點206,并以輸入圖形202包圍此多個輸入色域點206,隨后處理器102將輸入圖形202與儲存裝置104中的多個參考圖形204進行比對。
于一實施例中,輸入圖形202與多個參考圖形204的形狀可為橢圓形。舉例來說,若將輸入影像劃分為16x16的座標(biāo)格顯示,處理器102即能透過下述關(guān)系式,將輸入影像轉(zhuǎn)換成多個輸入色域點206:
x=fR,Y(R,R+G+B)、
y=fB,Y(B,R+G+B)、
每一座標(biāo)格具有像素座標(biāo)(R,G,B),R、G與B分別代表子像素紅、子像素綠與子像素藍。于本發(fā)明實施例中,處理器102將輸入影像中每一座標(biāo)格的像素座標(biāo)(R,G,B)透過數(shù)學(xué)函數(shù)fR,Y與fB,Y進行轉(zhuǎn)換,借以產(chǎn)生對應(yīng)的多個色域點座標(biāo)(x,y),x與y分別代表色域點的橫軸座標(biāo)與縱軸座標(biāo),其中數(shù)學(xué)函數(shù)fR,Y為子像素紅R與子像素紅R、綠G、藍B加總的函數(shù),數(shù)學(xué)函數(shù)fB,Y為子像素藍B與子像素紅R、綠G、藍B加總的函數(shù)。
為了將轉(zhuǎn)換后的多個色域點映射到參考圖形204所在的維度,借以方便進行比對,處理器102更將多個色域點透過上述關(guān)系式轉(zhuǎn)換為輸入色域點206,與分別為輸入色域點206的橫軸座標(biāo)與縱軸座標(biāo)。于此實施例中,上述關(guān)系式中的參數(shù)θ、參數(shù)u與參數(shù)v的值域分別為
θ∈[-20,11]、
u∈[0,15]、
v∈[0,15]。
隨后處理器102再透過下述關(guān)系式,產(chǎn)生橢圓形狀的輸入圖形202包圍多個輸入色域點206,用以界定多個輸入色域點206所占據(jù)的范圍:
舉例而言,上述關(guān)系式中的參數(shù)a與參數(shù)b的值域分別為
a∈[0,7]、
b∈[0,7]。
此外,若將輸入影像劃分為128x128的座標(biāo)格顯示,并維持以橢圓形狀的輸入圖形202包圍輸入影像轉(zhuǎn)換后產(chǎn)生的多個輸入色域點206的設(shè)定,舉例而言,參數(shù)θ、參數(shù)u、參數(shù)v、參數(shù)a與參數(shù)b的值域分別為
θ∈[-20,11]、
u∈[0,127]、
v∈[0,127]、
a∈[0,63]、
b∈[0,63]。
于此實施例中,除輸入影像的轉(zhuǎn)換外,多個參考圖形204的表示亦依據(jù)上述關(guān)系式中的參數(shù)θ、參數(shù)u、參數(shù)v、參數(shù)a以及參數(shù)b進行,因此多個參考圖形204于儲存時所需的位元數(shù)可由上述參數(shù)的值域進行推算。若將輸入影像劃分為16x16的座標(biāo)格顯示,則對應(yīng)的橢圓形狀參考圖形204于儲存裝置104中即須以19位元數(shù)(即5+4+4+3+3=19)的數(shù)據(jù)形式進行儲存。若將輸入影像劃分為128x128座標(biāo)格顯示,則對應(yīng)的橢圓形狀參考圖形204于儲存裝置104中即須以31位元數(shù)(即,5+7+7+6+6=31)的數(shù)據(jù)形式進行儲存。應(yīng)了解到,上述實施例中揭露的各種參數(shù)所對應(yīng)的值域僅用以配合實施例說明,并不用以限制本發(fā)明的實施方式。
于一實施例中,色域點座標(biāo)(x,y)不需再額外透過上述關(guān)系式映射到參考圖形204所在的維度,意即色域點可直接作為輸入色域點206使用,并繼續(xù)執(zhí)行后續(xù)流程。
雖然圖2中,輸入圖形202與多個參考圖形204的形狀為橢圓形,但此不限制本發(fā)明,于另一實施例中,于本發(fā)明實施例中包圍輸入色域點206的輸入圖形202亦可為圓形狀。舉例來說,若將輸入影像劃分為16x16的座標(biāo)格顯示,處理器102即能透過下述關(guān)系式,將輸入影像轉(zhuǎn)換成多個輸入色域點206:
x=fR,Y(R,R+G+B)、
y=fB,Y(B,R+G+B)、
x’=c·x、
每一座標(biāo)格具有像素座標(biāo)(R,G,B),R、G與B分別為子像素紅、子像素綠與子像素藍,x與y分別為色域點的橫軸座標(biāo)與縱軸座標(biāo),x’為色域點的橫軸座標(biāo)x經(jīng)由縮放因子c縮放后的橫軸座標(biāo),與分別為輸入色域點206的橫軸座標(biāo)與縱軸座標(biāo)。詳細的符號意義已于先前范例說明,故于此不詳加敘述。舉例而言,上述關(guān)系式中的參數(shù)θ、參數(shù)u與參數(shù)v的值域分別為
θ∈[-20,11]、
u∈[0,15]、
v∈[0,15]。
隨后處理器102再透過下列關(guān)系式,產(chǎn)生圓形狀的輸入圖形202包圍多個輸入色域點206,用以界定多個輸入色域點206所占據(jù)的范圍:
舉例而言,上述關(guān)系式中的參數(shù)a的值域為a∈[0,7]。于此實施例中,多個參考圖形204的表示依據(jù)上述關(guān)系式中的參數(shù)u、參數(shù)v以及參數(shù)a進行,因此若將輸入影像劃分為16x16的座標(biāo)格顯示,對應(yīng)的圓形狀參考圖形204于儲存裝置104中即須以11位元數(shù)(即,4+4+3=11)的數(shù)據(jù)形式進行儲存。應(yīng)了解到,上述實施例中揭露的各種參數(shù)所對應(yīng)的值域僅用以配合實施例說明,并不用以限制本發(fā)明的實施方式。
于一實施例中,色域點座標(biāo)(x,y)不需再額外透過上述關(guān)系式映射到參考圖形204所在的維度,意即色域點可直接作為輸入色域點206使用,并繼續(xù)執(zhí)行后續(xù)流程。
隨后,處理器102將輸入圖形202與儲存裝置104中的多個參考圖形204進行比對。于一實施例中,處理器102分析輸入圖形202與多個參考圖形204中每一者的交集區(qū)域,并依據(jù)多個輸入色域點206落于此交集區(qū)域之內(nèi)的數(shù)量與落于此交集區(qū)域之外的數(shù)量,計算該相似度。因此,輸入圖形202與參考圖形204之間存在一交集區(qū)域為正響應(yīng)區(qū)域212,而輸入圖形202中未與參考圖形204有交集的另一區(qū)域則為負響應(yīng)區(qū)域214。
具體來說,處理器102依據(jù)輸入色域點206分別落于正響應(yīng)區(qū)域212與負響應(yīng)區(qū)域214的數(shù)量比值、差值或任何相關(guān)于輸入色域點206數(shù)量的數(shù)值關(guān)系,進一步計算輸入圖形202與參考圖形204之間的相似度,并于相似度計算結(jié)束后,自多個參考圖形204中選擇相似度最接近輸入圖形202的一個參考圖形 204,以此參考圖形204以及其對應(yīng)的色溫作為比對結(jié)果,進而估算輸入影像的色溫。
圖3為依據(jù)本發(fā)明揭露的實施例所繪制的影像校正系統(tǒng)加速比對的示意圖。如圖3所示,輸入圖形202與參考圖形204a、204b之間存在面積差異。于一實施例中,參考圖形204a與輸入圖形202之間的面積差異均低于預(yù)設(shè)差異范圍,此代表參考圖形204a與輸入圖形202差異較小,因此需進一步做相似度比對;輸入圖形202與參考圖形204b之間的面積差異高于預(yù)設(shè)差異范圍,此代表參考圖形204a與輸入圖形202差異較大,因此無需進一步做相似度比對。實作上,預(yù)設(shè)差異范圍為影像校正系統(tǒng)100的預(yù)設(shè)參數(shù)。于一實施例中,影像校正系統(tǒng)100可因應(yīng)室內(nèi)光、室外光的改變,動態(tài)調(diào)整該預(yù)設(shè)差異范圍。
于一實施例中,處理器102能由儲存裝置104中預(yù)先選擇一組候選參考圖形,且此組候選參考圖形中每一個參考圖形204a與輸入圖形202之間的面積差異均低于預(yù)設(shè)差異范圍,借此預(yù)先過濾掉面積差異過大的參考圖形204b。處理器102將輸入圖形202與此組候選參考圖形進行相似度比對,借以產(chǎn)生相似度比對結(jié)果。相對地,輸入圖形202與另一組非候選參考圖形(即參考圖形204b)不進行相似度比對,借以加速進行輸入圖形202與多個參考圖形204的相似度比對。關(guān)于相似度比對的進行已于先前實施例中說明,故于此不再重復(fù)贅述。
圖4為依據(jù)本發(fā)明揭露的實施例所繪制的影像校正系統(tǒng)加速比對的示意圖。如圖4所示,輸入色域點206與參考圖形204c之間存在距離402,輸入色域點206與參考圖形204d之間存在距離404。于一實施例中,距離402小于預(yù)設(shè)距離范圍,此輸入色域點206較接近或落入?yún)⒖紙D形204c,因此相關(guān)程度較高,需進一步做相似度比對;相對地,距離404大于預(yù)設(shè)距離范圍,此輸入色域點206較遠離參考圖形204d,因此相關(guān)程度較低,無需進一步做相似度比對。實作上,預(yù)設(shè)距離范圍為影像校正系統(tǒng)100的預(yù)設(shè)參數(shù)。于一實施例中,影像校正系統(tǒng)100可因應(yīng)室內(nèi)光、室外光的改變,動態(tài)調(diào)整該預(yù)設(shè)距離范圍。
于一實施例中,處理器102由儲存裝置104中預(yù)先選擇一組候選參考圖形,且此組候選參考圖形中每一個參考圖形204c與輸入色域點206之間的距離402均小于預(yù)設(shè)距離范圍,借此預(yù)先過濾掉距離較遠的參考圖形204d。處理器102 將輸入圖形202與此組候選參考圖形進行相似度比對,借以產(chǎn)生相似度比對結(jié)果。相對地,輸入圖形202與另一組非候選參考圖形(即參考圖形204d)不進行相似度比對,借以加速進行輸入圖形202與多個參考圖形204的相似度比對。關(guān)于相似度比對的進行已于先前實施例中說明,故于此不再重復(fù)贅述。
圖5為依據(jù)本發(fā)明揭露的實施例所繪制的影像校正方法的運作流程圖。于一實施例中,此影像校正方法可由上述的影像校正系統(tǒng)100執(zhí)行,但本發(fā)明不以此為限。如圖5所示,首先于步驟502中,系統(tǒng)預(yù)載多個參考圖形,這些參考圖形分別對應(yīng)于不同色溫,作為稍后進行色溫估算的參考基準。于步驟504中,系統(tǒng)接收輸入影像,并通過預(yù)設(shè)的轉(zhuǎn)換關(guān)系將輸入影像轉(zhuǎn)換成多個輸入色域點。于步驟506中,系統(tǒng)依據(jù)輸入色域點的分布,產(chǎn)生包圍此多個輸入色域點的輸入圖形。于步驟508中,系統(tǒng)將輸入圖形與預(yù)載的多個參考圖形進行比對,并產(chǎn)生比對結(jié)果,其中輸入圖形與多個參考圖形的形狀可為圓形、橢圓形或方形。最后于步驟510中,依據(jù)此比對結(jié)果,系統(tǒng)估算輸入影像所對應(yīng)的色溫,并根據(jù)此系統(tǒng)估算色溫為輸入影像進行調(diào)整。于一實施例中,系統(tǒng)依據(jù)此系統(tǒng)估算色溫為輸入影像進行的調(diào)整可為白平衡校正、顏色修正或任何相關(guān)于色溫的影像處理技術(shù)。
于一實施例中,于步驟508,系統(tǒng)將輸入圖形與預(yù)載的多個參考圖形進行比對的方法包含:分析輸入圖形與預(yù)載的每一個參考圖形的交集區(qū)域,并依據(jù)輸入色域點落于交集區(qū)域內(nèi)的數(shù)量與落于交集區(qū)域之外的另一數(shù)量計算相似度。
于一實施例中,相似度計算的方法可為計算輸入色域點落于交集區(qū)域內(nèi)的數(shù)量與落于該交集區(qū)域之外的另一數(shù)量的比值、差值或任何相關(guān)于輸入色域點數(shù)量的數(shù)值關(guān)系。隨后,自預(yù)載的多個參考圖形中選擇相似度最接近輸入圖形的一個參考圖形,以此參考圖形以及其對應(yīng)的色溫作為比對結(jié)果,進而估算輸入影像的色溫。
本發(fā)明上述的實施例中,透過將輸入影像轉(zhuǎn)換成對應(yīng)的輸入色域點以及輸入圖形,并將輸入圖形與參考圖形進行比對,借以估算輸入影像的色溫,進而為輸入影像進行白平衡校正。于本發(fā)明實施例中,通過將僅需少數(shù)參數(shù)即能表示的參考圖形作為色溫的參考基準,大幅減少儲存參考基準所需的容量。另一方面,通過將輸入影像轉(zhuǎn)換成多個輸入色域點,并以輸入圖形包圍輸入色域點, 降低雜訊對于色溫估算的影響(少數(shù)雜訊色域點不易改變輸入圖形的形成),且能更直覺地反應(yīng)輸入影像于色彩的運用狀況(輸入色域點的密集程度反應(yīng)色彩運用狀況)。
技術(shù)領(lǐng)域通常知識者可以容易理解到揭露的實施例實現(xiàn)一或多個前述舉例的優(yōu)點。閱讀前述說明書之后,技術(shù)領(lǐng)域通常知識者將有能力對如同此處揭露內(nèi)容作多種類的更動、置換、等效物以及多種其他實施例。因此本發(fā)明的保護范圍當(dāng)視權(quán)利要求書所界定的范圍與其均等范圍為主。