本發(fā)明是有關(guān)于一種圖像處理方法,且特別是有關(guān)于一種圖像合成方法與圖像處理裝置。
背景技術(shù):
隨著光學(xué)技術(shù)的進步,可調(diào)整光圈、快門甚至可更換鏡頭的數(shù)碼相機逐漸普及,數(shù)碼相機的功能也趨于多樣化。但以現(xiàn)有的光學(xué)系統(tǒng)而言,由于多個物體在立體場景中具有不同的遠近,故無法在單次拍攝圖像的過程中取得完全清晰的圖像。也即,受到鏡頭光學(xué)特性的限制,在使用數(shù)碼相機取像時只能選擇其中一個深度來進行對焦,故在成像中處于其他深度的景物會較為模糊。
然而,現(xiàn)有產(chǎn)生全清晰圖像的方法大多先將彩色的圖像檔案轉(zhuǎn)換為灰階檔案之后再進行分析與融合,但此種圖像融合方式卻忽略了色彩分量所涵帶的信息,可能導(dǎo)致融合出來的全清晰圖像不如預(yù)期或品質(zhì)不佳。此外,目前大多數(shù)的圖像合成技術(shù)是以將圖像切割為多個區(qū)塊的方式進行融合,但圖像切割對于構(gòu)圖復(fù)雜的圖像而言不僅不易實行也可能損失圖像的細節(jié)部分。再者,產(chǎn)生全清晰圖像的計算量也同為本領(lǐng)域人員所關(guān)心的議題之一。
技術(shù)實現(xiàn)要素:
有鑒于此,本發(fā)明提供一種圖像合成方法與圖像處理裝置,可通過不同拍攝條件所拍攝的圖像來產(chǎn)生全清晰圖像,并可有效提升全清晰圖像的品質(zhì)與降低計算量。
本發(fā)明提出一種圖像合成方法,適用于一圖像處理裝置且包括下列步驟:獲取關(guān)聯(lián)于同一場景的第一圖像與第二圖像;第一圖像基于第一拍照參數(shù)而產(chǎn)生,而第二圖像基于第二拍照參數(shù)而產(chǎn)生;依據(jù)第一圖像上的多個第一像素的顏色分量與亮度分量,利用自訂遮罩而分別計算第一像素的第一像素參 考值,以及依據(jù)第二圖像上的多個第二像素的顏色分量與亮度分量,利用自訂遮罩而分別計算第二像素的第二像素參考值;比較第一像素的第一像素參考值與相對應(yīng)的第二像素的第二像素參考值而獲取分別關(guān)聯(lián)于多個像素位置的多個合成權(quán)重值,并將分別關(guān)聯(lián)于各個像素位置的合成權(quán)重值記錄為合成參考遮罩圖;依據(jù)合成參考遮罩圖、第一像素以及第二像素,合成第一圖像與第二圖像而獲取融合圖像。
從另一觀點來看,本發(fā)明提出一種圖像處理裝置,其包括存儲單元與處理單元;存儲單元記錄多個模塊,而處理單元耦接存儲單元;處理單元存取并執(zhí)行存儲單元中記錄的模塊,而這些模塊包括圖像獲取模塊、參考值產(chǎn)生模塊、合成參考遮罩圖產(chǎn)生模塊以及圖像合成模塊;圖像獲取模塊獲取關(guān)聯(lián)于同一場景的第一圖像與第二圖像。第一圖像基于第一拍照參數(shù)而產(chǎn)生,而第二圖像基于第二拍照參數(shù)而產(chǎn)生;參考值產(chǎn)生模塊依據(jù)第一圖像上的多個第一像素的顏色分量與亮度分量,利用自訂遮罩而分別計算第一像素的第一像素參考值;參考值產(chǎn)生模塊依據(jù)第二圖像上的多個第二像素的顏色分量與亮度分量,利用自訂遮罩而分別計算第二像素的第二像素參考值;合成參考遮罩圖產(chǎn)生模塊比較第一像素的第一像素參考值與相對應(yīng)的第二像素的第二像素參考值而獲取分別關(guān)聯(lián)于多個像素位置的多個合成權(quán)重值,并將分別關(guān)聯(lián)于像素位置的合成權(quán)重值記錄為合成參考遮罩圖;圖像合成模塊依據(jù)合成參考遮罩圖、第一像素以及第二像素,合成第一圖像與第二圖像而獲取融合圖像。
基于上述,本發(fā)明通過焦距不同會造成圖像不同的特性,通過對同一場景以不同焦距進行拍攝所獲取的圖像進行融合而產(chǎn)生具有全清晰場景的融合圖像。再者,本發(fā)明將依據(jù)像素點的色彩飽和度與明亮度的比例而產(chǎn)生的合成參考遮罩圖作為判斷基準,以利用兩張以上的圖像而準確地合成出具有全景深效果且符合預(yù)期的融合圖像。其中,通過本發(fā)明中呈現(xiàn)星芒樣式的自訂遮罩可在不影響融合準確度的狀況下降低計算量。
為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂,下文特舉實施例,并配合附圖作詳細說明如下。
附圖說明
圖1為本發(fā)明一實施例所示出的圖像處理裝置的方塊圖;
圖2為本發(fā)明一實施例所示出的圖像融合方法的流程圖;
圖3為本發(fā)明一實施例所示出的產(chǎn)生第一像素參考值的流程圖;
圖4為本發(fā)明一實施例所示出的自訂遮罩的范例示意圖;
圖5為本發(fā)明一實施例所示出的圖像補償方法的運作示意圖;
圖6A為本發(fā)明一實施例所示出的產(chǎn)生合成參考遮罩圖的范例示意圖;
圖6B為本發(fā)明一實施例所示出的產(chǎn)生合成參考遮罩圖的范例示意圖。
附圖標記說明:
100:圖像處理裝置;
140:處理單元;
150:存儲單元;
151:圖像獲取模塊;
152:參考值產(chǎn)生模塊;
153:合成參考遮罩圖產(chǎn)生模塊;
154:圖像合成模塊;
CY0~CY24:第一飽和度-亮度比例值;
M:遮罩;
T:目標點;
R1、R2、R3:參考點;
D1:垂直方向;
D2:水平方向;
D3:雙對角線方向;
510:圖像獲取模塊;
520:位移校正模塊;
530:數(shù)據(jù)格式轉(zhuǎn)換模塊;
540:參考值產(chǎn)生模塊;
550:合成參考遮罩圖產(chǎn)生模塊;
560:圖像合成模塊;
Img1、Img11:第一圖像;
Img2、Img21:第二圖像;
Img12:第一YCbCr圖像;
Img22:第二YCbCr圖像;
Rf1:第一像素參考值;
Rf2:第二像素參考值;
map_1:合成參考遮罩圖;
Imgf:融合圖像;
P1_11、P1_12、P1_21:第一像素;
P2_11、P2_12、P2_21:第二像素;
W1、W2、W3:合成權(quán)重值;
RV1、RV3、RV5、RV7:第一像素參考值;
RV2、RV4、RV6、RV8:第二像素參考值;
I1:第一索引值;
I2:第二索引值;
I3:第三索引值;
60、61、63、64:圖像部分;
62、65:遮罩圖部分;
S201~S204、S2021~S2023:步驟。
具體實施方式
本發(fā)明同時利用像素的顏色飽和度與亮度來正確的估測出兩張圖像相對清晰的區(qū)域,從而更精準地合成出視覺效果更佳的全清晰圖像。此外,本發(fā)明的自訂遮罩不僅可降低圖像處理的計算量,還可依據(jù)兩張圖像的對焦距離的差異而彈性調(diào)整。為了使本發(fā)明的內(nèi)容更為明了,以下列舉實施例作為本發(fā)明確實能夠據(jù)以實施的范例。
圖1為本發(fā)明一實施例所示出的圖像處理裝置的方塊圖。請參照圖1,本實施例的圖像處理裝置100例如是臺式計算機、筆記本電腦或是其他手持式電子裝置,像是智能手機、平板電腦等等,不限于上述。此外,在其他實施例中,圖像處理裝置100還可以是包括圖像傳感器的圖像獲取裝置,像是數(shù)碼相機或數(shù)碼攝影機。圖像處理裝置100包括處理單元140以及存儲單元150。
處理單元140可以例如是中央處理單元(Central Processing Unit,簡稱:CPU)、微處理器(Microprocessor)、專用集成電路(Application Specific Integrated Circuits,簡稱:ASIC)、可編程邏輯裝置(Programmable Logic Device,簡稱:PLD)或其他具備運算能力的硬件裝置。存儲單元150例如是隨機存取存儲器(random access memory)、快閃存儲器(Flash)或其他的存儲器,用以存儲數(shù)據(jù)與多個模塊,而處理單元140耦接存儲單元150并用以執(zhí)行這些模塊。上述模塊包括圖像獲取模塊151、參考值產(chǎn)生模塊152、合成參考遮罩圖產(chǎn)生模塊153以及圖像合成模塊154,這些模塊例如是電腦程序,其可載入處理單元140,從而執(zhí)行圖像合成的功能。
具體來說,本發(fā)明的圖像處理裝置可依據(jù)兩張以上的圖像來合成出融合圖像,其中此融合圖像是由多種不同攝影條件進行拍攝所得的多張圖像組合而成。通過改變攝影條件中的一或多個拍照參數(shù)進而對同一場景拍攝出不同的多張圖像,再利用像素的顏色飽和度與亮度來正確的估測出各個圖像相對清晰的區(qū)域,以將這些圖像組合成一張全清晰圖像。上述的拍照參數(shù)例如是對焦值或光圈值,本發(fā)明對此并不限制。
圖2為本發(fā)明一實施例所示出的圖像融合方法的流程圖。圖2所示的方法適用于圖1的圖像處理裝置100,以下即搭配圖像處理裝置100中的各構(gòu)件說明本實施例的圖像處理方法的詳細步驟。
請參照圖1與圖2,在步驟S201,圖像獲取模塊151獲取關(guān)聯(lián)于同一場景的第一圖像與第二圖像,其中第一圖像基于第一拍照參數(shù)而產(chǎn)生,而第二圖像基于第二拍照參數(shù)而產(chǎn)生。舉例而言,第一拍照參數(shù)可以是第一焦距,而第二拍照參數(shù)可以是第二焦距。也就是說,第一圖像是利用第一焦距進行拍攝而產(chǎn)生的圖像,而第二圖像是利用第二焦距進行拍攝而產(chǎn)生的圖像,且第一焦距相異于第二焦距。在一應(yīng)用實施例中,第一圖像可以是圖像獲取模塊對焦于一拍攝人物進行拍攝而獲取的圖像,而第二圖像可以是圖像獲取模塊對焦于同一場景的背景進行拍攝而獲取的圖像。在相同條件下,以不同焦距所拍攝的畫面結(jié)果會有所不同。具體來說,就對焦于拍攝人物的第一圖像而言,其圖像中的拍攝人物是最為清晰的。
在步驟S202,參考值產(chǎn)生模塊152依據(jù)第一圖像上的多個第一像素的顏色分量與亮度分量,利用自訂遮罩而分別計算第一像素的第一像素參考值。 并且,參考值產(chǎn)生模塊152依據(jù)第二圖像上的多個第二像素的顏色分量與亮度分量,利用自訂遮罩而分別計算第二像素的第二像素參考值。進一步來說,第一圖像是由多個第一像素而組成,而第二圖像是由多個第二像素組成。在本實施例中,由于第一圖像與第二圖像是基于相似的拍攝條件與相同的圖像獲取裝置進行拍攝而獲取,第一像素的數(shù)量與第二像素的數(shù)量相同。
再者,以下將第一像素與第二像素的像素數(shù)據(jù)是基于YCbCr色彩空間而建立為例繼續(xù)進行說明。詳細來說,各個第一像素的像素數(shù)據(jù)包括顏色分量(Cb與Cr)以及亮度分量(Y)。更詳細而言,亮度分量(Y)代表單一像素的亮度,顏色分量中的第一顏色分量(Cb)代表單一像素的藍色色度,而顏色分量中的第二顏色分量(Cr)代表單一像素的紅色色度。相似地,各個第二像素的像素數(shù)據(jù)也包括顏色分量(Cb與Cr)以及亮度分量(Y)。然而,本發(fā)明并不限制于此,在另一實施例中,第一像素與第二像素的像素數(shù)據(jù)是基于YUV色彩空間而建立。
相較于現(xiàn)有的利用灰階值來產(chǎn)生全清晰圖像的方法,本實施例的參考值產(chǎn)生模塊152依據(jù)像素數(shù)據(jù)中的顏色分量來產(chǎn)生可用以辨識清晰度的第一像素參考值與第二像素參考值,以通過比較對應(yīng)到同一像素位置的第一像素參考值與第二像素參考值而判斷將第一像素還是第二像素作為融合圖像上的像素點。為了更清楚說明本發(fā)明,圖3為本發(fā)明一實施例所示出的產(chǎn)生第一像素參考值的流程圖。
在步驟S2021,參考值產(chǎn)生模塊152利用第一像素的第一顏色分量、第二顏色分量分別計算第一像素的顏色飽和度,以及將第一像素的亮度分量分別作為第一像素的明亮度。進一步來說,以YCbCr色彩空間為例,參考值產(chǎn)生模塊152可依據(jù)公式(1)計算出每一個第一像素的顏色飽和度。
其中,公式(1)中的C代表第一像素的顏色飽和度,公式(1)中的Cb代表第一像素的第一顏色分量,而公式(1)中的Cr代表第一像素的第二顏色分量。然而,本發(fā)明并不限制于此,參考值產(chǎn)生模塊152也可依據(jù)公式(2)計算出每一個第一像素的顏色飽和度。
其中,公式(2)中的C代表第一像素的顏色飽和度,公式(2)中的Cb代表 第一像素的第一顏色分量,而公式(2)中的Cr代表第一像素的第二顏色分量。
也就是說,各個第一像素的顏色飽和度可基于各個第一像素的顏色分量而產(chǎn)生。此外,以YCbCr色彩空間為例,參考值產(chǎn)生模塊152將各個第一像素的亮度分量(Y分量)作為第一像素的明亮度。也就是說,各個第一像素的明亮度為各個第一像素的亮度分量。之后,在步驟S2022,參考值產(chǎn)生模塊152分別將第一像素的色彩飽和度除以明亮度,而獲取第一像素的第一飽和度-亮度比例值。進一步來說,參考值產(chǎn)生模塊152也可依據(jù)公式(3)計算出每一個第一像素的第一飽和度-亮度比例值。
其中,公式(3)中的C代表第一像素的顏色飽和度,公式(3)中的Y代表第一像素的明亮度,而公式(3)中的CY_ratio代表第一像素的第一飽和度-亮度比例值。也就是說,第一圖像中的各個第一像素具有其第一飽和度-亮度比例值。
在步驟S2023,參考值產(chǎn)生模塊152利用自訂遮罩與第一像素各自的第一飽和度-亮度比例值進行計算,以分別獲取第一像素的第一像素參考值。簡單來說,基于自訂遮罩的涵蓋范圍,參考值產(chǎn)生模塊152可得知各個第一像素與鄰近的像素之間的變異程度,從而計算出可代表清晰程度的第一像素參考值。
詳細來說,參考值產(chǎn)生模塊152利用自訂遮罩定義出第一像素中的目標點與第一像素中的多個參考點。需特別說明的是,所述目標點位于自訂遮罩的中心,而所述參考點位于自訂遮罩的垂直方向、水平方向以及雙對角線方向上。基此,相較于利用遮罩內(nèi)每一個像素點,通過本實施例的自訂遮罩可降低計算量。于是,參考值產(chǎn)生模塊152逐一計算目標點的第一飽和度-亮度比例值與多個參考點各自的第一飽和度-亮度比例值之間的差值,并總和上述差值的絕對值而獲取目標點的第一像素參考值。
圖4為本發(fā)明一實施例所示出的自訂遮罩的范例示意圖。如圖4所示,遮罩M的大小為7*7,但本發(fā)明并不以此為限。參考值產(chǎn)生模塊152利用自訂遮罩定義出第一像素中的目標點與第一像素中的多個參考點。在圖4的范例中,目標點T為遮罩M的中心點,且多個參考點位于自訂遮罩M的垂直方向D1、水平方向D2以及雙對角線方向D3上。舉例而言,參考點R1位于 自訂遮罩M的垂直方向D1上,參考點R2位于自訂遮罩M的雙對角線方向D3上,而參考點R3位于自訂遮罩M的水平方向D2上。此外,經(jīng)過步驟S2021~S2022的計算,自訂遮罩M內(nèi)的目標點T以及多個參考點都各自具有對應(yīng)的第一飽和度-亮度比例值CY0~CY24。像是,目標點T具有對應(yīng)的第一飽和度-亮度比例值CY0,而參考點R1具有對應(yīng)的第一飽和度-亮度比例值CY24。參考點R2具有對應(yīng)的第一飽和度-亮度比例值CY2,而參考點R3具有對應(yīng)的第一飽和度-亮度比例值CY4。
基此,圖4所示的目標點T的第一像素參考值可依據(jù)公式(4)計算出來。
C/Y=|CY1-CY0|+|CY2-CY0|+|CY3-CY0|+...+|CY23-CY0|+|CY24-CY0| (4)
其中,公式(4)中的C/Y代表目標點的第一像素參考值,公式(4)中的CY0代表目標點的第一飽和度-亮度比例值,公式(4)中的CY1~CY24代表參考點的第一飽和度-亮度比例值?;?,通過自訂遮罩的移動,第一圖像上的每一個像素點都可作為目標點,而第一圖像上的每一個像素點的第一像素參考值也可依據(jù)上述的說明與公式而獲取。
另外需要說明的是,圖3雖然是以第一圖像上的第一像素為例進行說明,但相似的流程與計算方式也將實施在第二圖像上的第二像素。也就是說,第二像素各自對應(yīng)的第二像素參考值也可經(jīng)由圖3所示的流程與圖4所示的自訂遮罩而獲取。具體來說,參考值產(chǎn)生模塊152利用第二像素的第一顏色分量、第二顏色分量分別計算第二像素的顏色飽和度,以及將第二像素的亮度分量分別作為第二像素的明亮度。之后,參考值產(chǎn)生模塊152分別將第二像素的色彩飽和度除以明亮度,而獲取第二像素的第二飽和度-亮度比例值。最后,參考值產(chǎn)生模塊152利用自訂遮罩與第二像素各自的第二飽和度-亮度比例值進行計算,以分別獲取第二像素的第二像素參考值。
如此一來,回到圖2的步驟S203,合成參考遮罩圖產(chǎn)生模塊153可比較第一像素的第一像素參考值與相對應(yīng)的第二像素的第二像素參考值而獲取分別關(guān)聯(lián)于多個像素位置的多個合成權(quán)重值,并將分別關(guān)聯(lián)于這些像素位置的合成權(quán)重值記錄為合成參考遮罩圖。最后,在步驟S204,圖像合成模塊154依據(jù)合成參考遮罩圖、第一像素以及第二像素,合成第一圖像與第二圖像而獲取融合圖像。其中,對于單一像素位置來說,若第一像素值大于相對應(yīng)的第二像素值,代表第一像素的清晰程度勝于第二像素的清晰程度。相反地, 對于單一像素位置來說,若第二像素值大于相對應(yīng)的第一像素值,代表第二像素的清晰程度勝于第一像素的清晰程度?;?,基于第一像素參考值與第二像素參考值的比對結(jié)果,圖像合成模塊154可決定將第一像素或第二像素作為融合圖像上的像素點。
值得一提的是,以第一圖像與第二圖像是分別基于第一焦距與第二焦距進行拍攝的實施例中,本發(fā)明還可依據(jù)第一焦距與第二焦距之間的焦距差來設(shè)定自訂遮罩的尺寸。也就是說,在一實施例中,存儲單元150還可以包括遮罩尺寸設(shè)定模塊,遮罩尺寸設(shè)定模塊計算第一焦距與第二焦距之間的焦距差。遮罩尺寸設(shè)定模塊可依據(jù)焦距差設(shè)定自訂遮罩的尺寸。焦距差越大則自訂遮罩的尺寸越大,焦距差越小則自訂遮罩的尺寸越小。具體來說,焦距差與自訂遮罩的尺寸之間的關(guān)系可預(yù)設(shè)為線性關(guān)系。因此,自訂遮罩的尺寸可通過線性方程序的計算而決定出來。然而,遮罩尺寸設(shè)定模塊也可以是基于焦距差并通過查表的方式來決定自訂遮罩的尺寸,本發(fā)明對此并不限制。舉例而言,每當焦距差多50公尺,則自訂遮罩的長與寬可增加兩個像素單位。
然而,本發(fā)明的實現(xiàn)方式不限于上述說明,可以對于實際的需求而酌予變更上述實施例的內(nèi)容。例如,在本發(fā)明的一實施例中,圖像獲取裝置的存儲單元還可以包括位移校正模塊與數(shù)據(jù)格式轉(zhuǎn)換模塊,以利用對應(yīng)至不同拍攝參數(shù)的圖像來制作出具有全清晰場景的融合圖像。此外,在本發(fā)明的一實施例中,還可進一步判斷第一像素參考值與第二像素參考值之間的差距是否夠接近,以決定是否將第一像素與第二像素的平均結(jié)果作為融合圖像上的像素點。以下將列舉一實施例詳細說明。
圖5為本發(fā)明一實施例所示出的圖像補償方法的運作示意圖。圖像獲取模塊510、參考值產(chǎn)生模塊540、合成參考遮罩圖產(chǎn)生模塊550以及圖像合成模塊560相似或類似于圖1所示的圖像獲取模塊151、參考值產(chǎn)生模塊152、合成參考遮罩圖產(chǎn)生模塊153以及圖像合成模塊154,詳細內(nèi)容可參照前述說明。
首先,圖像獲取模塊510獲取關(guān)聯(lián)于同一場景的第一圖像Img1與第二圖像Img2,其中第一圖像Img1基于第一拍照參數(shù)而產(chǎn)生,而第二圖像Img2基于第二拍照參數(shù)而產(chǎn)生。簡單來說,第一圖像Img1與第二圖像Img2可以是基于相異的焦距或相異的光圈值對同一場景進行拍攝而產(chǎn)生的圖像。
接著,位移校正模塊520對第一圖像Img1或第二圖像Img2進行幾何校正程序,產(chǎn)生位移校正后的第一圖像Img11或位移校正后的第二圖像Img21。由于第一圖像Img1與第二圖像Img2是對同一場景連續(xù)拍攝所得,拍攝期間由于相機的晃動或移動,可能會拍攝出不同角度的圖像,即第一圖像與第二圖像會有位移的產(chǎn)生。因此位移校正模塊520對第一圖像Img1或第二圖像Img2進行幾何校正程序,換言之,幾何校正程序可使對應(yīng)至場景內(nèi)同一位置的第一像素與第二像素具有相同的像素點位置相同。舉例而言,位移校正模塊520可對第一圖像Img1與第二圖像Img2進行移動量估測,以計算出第一圖像Img1與第二圖像Img2之間的移動量,并據(jù)以對第一圖像Img1或第二圖像Img2進行移動補償。
之后,數(shù)據(jù)格式轉(zhuǎn)換模塊530對移校正后的第一圖像Img11或位移校正后的第二圖像Img21進行數(shù)據(jù)格式轉(zhuǎn)換程序,以將屬于原始數(shù)據(jù)格式的第一圖像Img11與第二圖像Img21轉(zhuǎn)換為屬于YCbCr格式的第一YCbCr圖像Img12與該第二YCbCr圖像Img22。舉例而言,原始數(shù)據(jù)格式可以是RGB色彩空間格式,而數(shù)據(jù)格式轉(zhuǎn)換模塊530可將屬于RGB色彩空間格式的第一圖像Img11與第二圖像Img21轉(zhuǎn)換為屬于YCbCr格式的第一YCbCr圖像Img12與第二YCbCr圖像Img22。然而,本發(fā)明并不限制于此,在本案其它實施例中,原始數(shù)據(jù)格式并不限于RGB色彩空間格式,而可以為其它類型的色彩空間格式,例如是印刷四分色(CMYK)色彩空間。
于是,參考值產(chǎn)生模塊540依據(jù)第一YCbCr圖像Img12上的多個第一像素的顏色分量與亮度分量,利用自訂遮罩而分別計算第一像素的第一像素參考值Rf1。并且,參考值產(chǎn)生模塊540依據(jù)第二YCbCr圖像Img22上的多個第二像素的顏色分量與亮度分量,利用自訂遮罩而分別計算第二像素的第二像素參考值Rf2。
之后,合成參考遮罩圖產(chǎn)生模塊550可比較第一像素的第一像素參考值Rf1與相對應(yīng)的第二像素的第二像素參考值Rf2而獲取分別關(guān)聯(lián)于多個像素位置的多個合成權(quán)重值,并將分別關(guān)聯(lián)于這些像素位置的合成權(quán)重值記錄為合成參考遮罩圖map_1。最后,圖像合成模塊560依據(jù)合成參考遮罩圖map_1、第一像素以及第二像素,合成第一圖像Img11與第二圖像Img21而獲取融合圖像Imgf。
在一實施例中,合成參考遮罩圖map_1記錄了各像素位置上第一像素參考值與第二像素參考值的比較結(jié)果。如此,圖像合成模塊560可依據(jù)合成參考遮罩圖map_1來決定融合圖像上Imgf上的像素點為第一像素還是第二像素,從而依據(jù)第一圖像Img11與第二圖像Img21而獲取融合圖像Imgf。更詳細來說,合成參考遮罩圖產(chǎn)生模塊550判斷第一像素的第一像素參考值是否大于相對應(yīng)的第二像素的第二像素參考值。若對應(yīng)于相同像素位置的第一像素參考值大于第二像素參考值,合成參考遮罩圖產(chǎn)生模塊550設(shè)定相對應(yīng)的合成權(quán)重值為第一取點索引。相反地,若對應(yīng)于相同像素位置的第一像素參考值不大于第二像素參考值,合成參考遮罩圖產(chǎn)生模塊550設(shè)定相對應(yīng)的合成權(quán)重值為第二取點索引。
合成參考遮罩圖產(chǎn)生模塊550逐一比對第一像素參考值與相對應(yīng)的第二像素參考值,以分別設(shè)定對應(yīng)至各個像素位置的合成權(quán)重值為第一取點索引或第二取點索引。也就是說,合成參考遮罩圖map_1記錄了對應(yīng)至各個像素位置的合成權(quán)重值,其中合成權(quán)重值為第一取點索引或第二取點索引。
于是,在圖像合成模塊560產(chǎn)生融合圖像Imgf的過程中,若合成參考遮罩圖map_1上的合成權(quán)重值為第一取點索引,圖像合成模塊560取對應(yīng)于第一取點索引的第一像素作為該融合圖像Imgf上的像素點。另一方面,若合成參考遮罩圖map_1上的合成權(quán)重值為第二取點索引,圖像合成模塊560取對應(yīng)于第二取點索引的第二像素作為融合圖像上的像素點。
圖6A為本發(fā)明一實施例所示出的產(chǎn)生合成參考遮罩圖的范例示意圖。請參照圖6A,第一圖像的圖像部分60包括第一像素P1_11、P1_12以及P1_21。經(jīng)過參考值產(chǎn)生模塊540的處理,第一像素P1_11具有對應(yīng)的第一像素參考值RV1,第一像素P1_12具有對應(yīng)的第一像素參考值RV3,而第一像素P1_21具有對應(yīng)的第一像素參考值RV5。相似的,第二圖像的圖像部分61包括第二像素P2_11、P2_12以及P2_21。經(jīng)過參考值產(chǎn)生模塊540的處理,第二像素P2_11具有對應(yīng)的第二像素參考值RV2,第二像素P2_12具有對應(yīng)的第二像素參考值RV4,而第二像素P2_21具有對應(yīng)的第二像素參考值RV6。
合成參考遮罩圖產(chǎn)生模塊550比對對應(yīng)至相同的像素位置的第一像素參考值RV1以及第二像素參考值RV2。在本范例中假設(shè)第一像素參考值RV1大于第二像素參考值RV2,因此合成參考遮罩圖產(chǎn)生模塊550設(shè)定合成權(quán)重 值W1為第一取值索引I1。另外,合成參考遮罩圖產(chǎn)生模塊550比較對應(yīng)至相同的像素位置的第一像素參考值RV3以及第二像素參考值RV4。在本范例中假設(shè)第二像素參考值RV4大于第一像素參考值RV3,因此合成參考遮罩圖產(chǎn)生模塊550設(shè)定合成權(quán)重值W2為第二取值索引I2。
相似地,合成參考遮罩圖產(chǎn)生模塊550可通過比較第一像素參考值RV5以及第二像素參考值RV6來設(shè)定合成權(quán)重值W3為第二取值索引I2。通過紀錄各個像素位置上的合成權(quán)重值,合成參考遮罩圖產(chǎn)生模塊550可產(chǎn)生合成參考遮罩圖map_1。第一取值索引I1相異于第二取值索引I2。在一實施例中,第一取值索引I1可設(shè)定為255而第二取值索引I2可設(shè)定為0,但本發(fā)明對此并不限制。此外,圖像合成模塊560可依據(jù)合成參考遮罩圖map_1的遮罩圖部分62而決定將第一像素P1_11、第二像素P2_12以及第二像素P2_21作為融合圖像Imgf上的像素點。
然而,值得一提的是,在一實施例中,當?shù)谝幌袼貐⒖贾蹬c第二像素參考值非常接近時,合成參考遮罩圖產(chǎn)生模塊550可直接將對應(yīng)的合成權(quán)重值設(shè)定為第一取值索引I1或第二取值索引I2其中之一?;蛘?,在一實施例中,當?shù)谝幌袼貐⒖贾蹬c第二像素參考值非常接近時,合成參考遮罩圖產(chǎn)生模塊550也可將對應(yīng)的合成權(quán)重值設(shè)定為第一取值索引I1與第二取值索引I2的平均值。
更詳細來說,合成參考遮罩圖產(chǎn)生模塊550判斷第一像素的第一像素參考值與相對應(yīng)的第二像素的第二像素參考值之間的差值是否小于門檻值。若第一像素參考值與第二像素參考值之間的差值小于門檻值,合成參考遮罩圖產(chǎn)生模塊550設(shè)定相對應(yīng)的合成權(quán)重值為第三取點索引?;?,若合成參考遮罩圖map_1上的合成權(quán)重值為第三取點索引,圖像合成模塊560取對應(yīng)于第三取點索引的第一像素與第二像素點的平均值作為融合圖像Imgf上的像素點。
以圖6B(圖6B為本發(fā)明一實施例所示出的產(chǎn)生合成參考遮罩圖的范例示意圖)為例進行說明,比較第一圖像的圖像部分63與第二圖像的圖像部分64,第一像素參考值RV1大于第二像素參考值RV2,因此合成參考遮罩圖產(chǎn)生模塊550設(shè)定合成權(quán)重值W1為第一取值索引I1,且圖像合成模塊560依據(jù)第一取值索引I1取第一像素P1_11作為融合圖像Imgf上的像素點。第二 像素參考值RV4大于第一像素參考值RV3,因此合成參考遮罩圖產(chǎn)生模塊550設(shè)定合成權(quán)重值W2為第二取值索引I2,且圖像合成模塊560依據(jù)第二取值索引I2取第二像素P2_12作為融合圖像Imgf上的像素點。另外,合成參考遮罩圖產(chǎn)生模塊550比較對應(yīng)至相同的像素位置的第一像素參考值RV7以及第二像素參考值RV8。在本范例中假設(shè)第一像素參考值RV7以及第二像素參考值RV8之間的差值小于門檻值,合成參考遮罩圖產(chǎn)生模塊550將設(shè)定合成權(quán)重值W3為第三取值索引I3。因此,圖像合成模塊560依據(jù)第三取值索引I3取第一像素P1_21以及第二像素P2_21的平均值作為融合圖像Imgf上的像素點。
綜上所述,本發(fā)明的實施例中,通過利用至少兩張焦距不同的圖像來計算出用以合成這些圖像的合成參考遮罩圖,并依據(jù)合成參考遮罩圖來合成出全清晰圖像。尤其是,本發(fā)明不僅是像素的亮度信息,本發(fā)明還一并將像素數(shù)據(jù)中的顏色信息作為產(chǎn)生合成參考遮罩圖的依據(jù)。如此,基于本發(fā)明的圖像處理方法,可利用多張基于不同拍攝參數(shù)所拍攝的圖像融合出一張全景清晰效果良好又自然的融合圖像。另外,基于針對各像素點進行計算的方式,本發(fā)明可避免邊緣不連續(xù)與細節(jié)喪失的問題。此外,通過利用本發(fā)明的自訂遮罩,可在不影響融合圖像的品質(zhì)的前提下降低計算量。
最后應(yīng)說明的是:以上各實施例僅用以說明本發(fā)明的技術(shù)方案,而非對其限制;盡管參照前述各實施例對本發(fā)明進行了詳細的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當理解:其依然可以對前述各實施例所記載的技術(shù)方案進行修改,或者對其中部分或者全部技術(shù)特征進行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。