量的過程與上文所述 的確定第1個圖像的位置改變量的過程相似,這里不再贅述。
[0168] 由于在通常情況下,用戶握持圖像采集裝置80時手的抖動的幅度和頻率不會過 大,因此圖像采集器83以提高的快門速度(1/30秒)所采集的3個圖像之間的位置偏移通 常也不會過大。這里為了便于描述,我們假定所采集的3個圖像之間的位置偏移不超過5 個像素的距離。因此,一方面,Λ X和Λ y均可采用像素為單位;另一方面,為了節(jié)省匹配子 模塊912確定位置改變量時的計(jì)算量,可以將Λ X和Λ y分別設(shè)定在一定范圍內(nèi)。例如,將 Λ X的范圍設(shè)定為1至5個像素,將Λ y的范圍設(shè)定為1至5個像素。如此,在圖4中所示 的情形中,第1個圖像沿右下方向逐步改變位置,將通過上述方程式1獲得25個SAD值;同 理,沿右上、左上和左下方向也分別獲得25個SAD值。通過對這100個SAD值進(jìn)行比較,將 最小的SAD值所對應(yīng)的Λ X和/或Λ y及其方向確定為所述位置改變量。應(yīng)注意的是,雖 然上文以位置偏移不超過5個像素為例進(jìn)行了說明,然而本領(lǐng)域技術(shù)人員可以理解的是, 本發(fā)明并不限于此,本領(lǐng)域技術(shù)人員可以根據(jù)提高的快門速度以及圖像采集裝置的抖動情 形調(diào)整上述Λ X和Ay的范圍,例如,Λ X和Ay的范圍可以設(shè)定為0至10個像素。
[0169] 此外,在使用圖像采集裝置80拍照時,用戶通常僅對所拍攝的圖像中的特定區(qū)域 或特定區(qū)域中的特定對象感興趣,或者特定區(qū)域或特定區(qū)域中的特定對象對用戶的意義更 大,因此匹配子模塊912還可以僅對該特定區(qū)域或該特定區(qū)域中的特定對象所對應(yīng)的區(qū)域 的像素值進(jìn)行計(jì)算,而忽略圖像中其它區(qū)域,由此可以減少匹配子模塊912的計(jì)算量。因 此,在上文所述的實(shí)施例中,匹配子模塊912可以僅對3個圖像中的一部分區(qū)域中的像素點(diǎn) 進(jìn)行計(jì)算。也就是說,匹配子模塊912基于除了所述基準(zhǔn)圖像之外的每個圖像的預(yù)定區(qū)域 的像素值以及所述基準(zhǔn)圖像的預(yù)定區(qū)域的像素值,來確定除了所述基準(zhǔn)圖像之外的每個圖 像所改變的位置。
[0170] 具體而言,匹配子模塊912可以將第1個圖像中的目標(biāo)對象31所在的區(qū)域設(shè)置為 第一預(yù)定區(qū)域,并且將第2個圖像中的目標(biāo)對象32所在的區(qū)域設(shè)置為第二預(yù)定區(qū)域,這兩 個預(yù)定區(qū)域的形狀和大小均相同,并且目標(biāo)對象31相對于第一預(yù)定區(qū)域的位置與目標(biāo)對 象32相對于第二預(yù)定區(qū)域的位置彼此相同。
[0171] 將第1個圖像的橫向位置改變Λ X,并且將第1個圖像的縱向位置改變Λ y,從而 得到第1個圖像的第一預(yù)定區(qū)域與第2個圖像的第二預(yù)定區(qū)域的交疊區(qū)域,假定該交疊區(qū) 域的大小為aXb(a、b的單位為像素,aXb小于圖4中wXh,然后通過上文所述的方程式 (1)來計(jì)算該交疊區(qū)域的SAD值。由此,能夠減少方程式(1)的計(jì)算量,從而能夠減少匹配 子模塊912的計(jì)算量。
[0172] 此外,還可以將上文所述的第一預(yù)定區(qū)域和第二預(yù)定區(qū)域進(jìn)一步縮小并使縮小后 的區(qū)域分別與目標(biāo)對象31、32相關(guān)聯(lián)。例如,匹配子模塊912可以將第1個圖像中的目標(biāo) 對象31設(shè)置為第一預(yù)定區(qū)域,并且將第2個圖像中的目標(biāo)對象32設(shè)置為第二預(yù)定區(qū)域; 或者可以將第1個圖像中的目標(biāo)對象31中的一部分區(qū)域設(shè)置為第一預(yù)定區(qū)域,并且將第2 個圖像中的目標(biāo)對象32中的一部分區(qū)域設(shè)置為第二預(yù)定區(qū)域。這樣做的好處在于,既可以 進(jìn)一步減少匹配子模塊912的計(jì)算量,而且基于目標(biāo)對象31、32來確定的第1個圖像和第 2個圖像的各自的位置改變量也有利于提高確定位置改變量的精確性并有利于后續(xù)合成模 塊92合成圖像的精確性。
[0173] 根據(jù)本發(fā)明另一優(yōu)選實(shí)施例,在上文所述的僅對3個圖像中的一部分區(qū)域中的像 素點(diǎn)進(jìn)行計(jì)算的情形中,可以對匹配子模塊912確定位置改變量的過程進(jìn)行進(jìn)一步改進(jìn)。 例如,匹配子模塊912可以先確定第1個圖像的在縱向方向的縱向位置改變量(矢量),然 后再確定第1個圖像在橫向方向的橫向位置改變量(矢量),將所述橫向位置改變量和所述 縱向位置改變量進(jìn)行矢量求和即可得出第1個圖像的位置改變量。此外,匹配子模塊912 也可以先確定第1個圖像的縱向位置改變量,再確定其橫向位置改變量。確定第3個圖像 的位置改變量的過程與此類似,不再贅述。
[0174] 下面將參照圖5A至圖f5D對根據(jù)本發(fā)明另一優(yōu)選實(shí)施例的圖像采集裝置確定位置 改變量的過程進(jìn)行詳細(xì)說明。圖5A至圖f5D是示出根據(jù)本發(fā)明另一優(yōu)選實(shí)施例的圖像采集 裝置進(jìn)行位置匹配的示意圖。為了便于表述,在圖5A至圖f5D中,以第2個圖像為基準(zhǔn)圖像 來確定第1個圖像的位置改變量。本領(lǐng)域技術(shù)人員可以根據(jù)下文的描述來將本發(fā)明的原理 應(yīng)用于確定第3個圖像的位置改變量的過程。
[0175] 如圖5A中所示,匹配子模塊912將第2個圖像中的陰影部分的區(qū)域確定為預(yù)定區(qū) 域42,并且預(yù)定區(qū)域42的長和寬分別為L和Η(單位為像素)。以預(yù)定區(qū)域42構(gòu)建X,y坐 標(biāo)系,其中,預(yù)定區(qū)域42的左下端點(diǎn)作為該坐標(biāo)系的原點(diǎn)。如上文所述,由于用戶握持圖像 采集裝置80時手的抖動的幅度和頻率不會過大,因此這里假定第1個圖像與第2個圖像之 間的位置偏移閾值是5個像素。然而本領(lǐng)域技術(shù)人員可以理解的是,本發(fā)明并不限于此,本 領(lǐng)域技術(shù)人員可以根據(jù)提高的快門速度以及圖像采集裝置的抖動情形調(diào)整上述位置偏移 閾值。
[0176] 如圖5B中所示,匹配子模塊912將第1個圖像中的陰影部分的區(qū)域確定為預(yù)定區(qū) 域41,并且預(yù)定區(qū)域41的長和寬分別為L和Η(單位為像素)。以預(yù)定區(qū)域41構(gòu)建X,y坐 標(biāo)系,其中,預(yù)定區(qū)域41的左下端點(diǎn)作為該坐標(biāo)系的原點(diǎn)。在理想情形中(圖像采集裝置 80不抖動),預(yù)定區(qū)域41和預(yù)定區(qū)域42中的圖像內(nèi)容相同,即兩個預(yù)定區(qū)域中對應(yīng)的各個 像素點(diǎn)的像素值相同。然而由于存在抖動情況,因此在第1個圖像中,與預(yù)定區(qū)域42中的 圖像內(nèi)容相同的區(qū)域可能是將預(yù)定區(qū)域41沿±x軸和/或±y軸方向移動后所確定的預(yù) 定區(qū)域。本實(shí)施例意在通過不斷調(diào)整第1個圖像中的預(yù)定區(qū)域41的位置直至尋找到與第 2個圖像中的預(yù)定區(qū)域42相匹配的位置,從而確定預(yù)定區(qū)域41的位置移動量,并根據(jù)該位 置移動量來確定第1個圖像的位置改變量。
[0177] 首先匹配子模塊912確定第1個圖像的在縱向方向的縱向位置改變量。在第1個 圖像中,以像素為單位沿+ y軸方向逐個像素移動預(yù)定區(qū)域41,共計(jì)移動5個像素,并獲得 5個新的預(yù)定區(qū)域41 ;以像素為單位沿-y軸方向逐個像素移動預(yù)定區(qū)域41,共計(jì)移動5個 像素,并獲得5個新的預(yù)定區(qū)域41 ;將這10個新的預(yù)定區(qū)域41中的各個預(yù)定區(qū)域的像素 值與預(yù)定區(qū)域42中的像素值進(jìn)行比較來確定縱向位置改變量。
[0178] 可以利用下面的方程式(2)來將+ y軸方向上5個新的預(yù)定區(qū)域41中的每個預(yù) 定區(qū)域的像素值與預(yù)定區(qū)域42中的像素值進(jìn)行比較。
[0180] 其中,Pi (x,y+Ay)表示第1個圖像中的新的預(yù)定區(qū)域41中的像素點(diǎn)(x,y+Ay) 的像素值,P2(x,y)表示第2個圖像中的預(yù)定區(qū)域42中像素點(diǎn)(x,y)的像素值。L表示橫向 方向的L個像素點(diǎn),Η表示縱向方向的Η個像素點(diǎn),LXH表示預(yù)定區(qū)域中的像素點(diǎn)的數(shù)量。 Λ y的值分別為1、2、3、4和5,對應(yīng)獲得5個SAD1。
[0181] 可以利用下面的方程式(3)來將-y方向上5個新的預(yù)定區(qū)域41中的每個預(yù)定 區(qū)域的像素值與預(yù)定區(qū)域42中的像素值進(jìn)行比較。
[0183] 其中,Pi (x,y_ Ay)表示第1個圖像中的新的預(yù)定區(qū)域41中的像素點(diǎn)(x,y-Ay) 的像素值,P2(x,y)表示第2個圖像中的預(yù)定區(qū)域42中像素點(diǎn)(x,y)的像素值。L表示橫向 方向的L個像素點(diǎn),Η表示縱向方向的Η個像素點(diǎn),LXH表示預(yù)定區(qū)域中的像素點(diǎn)的數(shù)量。 Λ y的值分別為1、2、3、4和5,對應(yīng)獲得5個SAD2。
[0184] 匹配子模塊912將上文所述的5個SAD1與5個SAD2進(jìn)行比較,其中最小的SAD1 或SAD2對應(yīng)的Ay及其+ y或-y方向即為第1個圖像中的預(yù)定區(qū)域41沿縱向方向的位 置移動量。相應(yīng)地,所述Ay及其+ y或-y方向的相反方向,即為第1個圖像的在縱向方 向的縱向位置改變量。
[0185] 此外,匹配子模塊912還可以將5個SAD1取平均值,將5個SAD2取平均值,比較 兩個平均值,將較小的平均值所對應(yīng)的方向(+ y或-y)的相反方向確定為第1個圖像的 縱向移動方向,例如5個SAD1的平均值小于5個SAD2的平均值,則-y方向是縱向移動方 向;然后對5個SAD1進(jìn)行比較,最小的SAD1對應(yīng)的Λ y為第1個圖像沿-y方向的位置改 變量,即縱向位置改變量。這樣做的好處在于,有利于減少誤判,從而提高土y方向上確定 位置改變量的精確性。
[0186] 在確定了縱向位置改變量的基礎(chǔ)上,匹配子模塊912再確定橫向位置改變量。橫 向位置改變量的確定過程與上文所述的縱向位置改變量的確定過程相似,這里僅進(jìn)行簡要 說明。這里假定,如圖5C中所示,經(jīng)過上文的計(jì)算,所確定的預(yù)定區(qū)域41沿縱向方向的位 置移動量是沿+ y方向移動1個像素,即Ay = 1,預(yù)定區(qū)域43為預(yù)定區(qū)域41沿+ y方向 移動1個像素所生成的新的預(yù)定區(qū)域,相應(yīng)地,第1個圖像的縱向位置改變量是沿-y方向 移動1個像素。
[0187] 在第1個圖像中,以像素為單位沿+ X軸方向逐個像素移動預(yù)定區(qū)域43,共計(jì)移動 5個像素,并獲得5個新的預(yù)定區(qū)域43 ;以像素為單位沿-X軸方向逐個像素移動預(yù)定區(qū)域 43,共計(jì)移動5個像素,并獲得5個新的預(yù)定區(qū)域43 ;將這10個新的預(yù)定區(qū)域43中的各個 預(yù)定區(qū)域的像素值與預(yù)定區(qū)域42中的像素值進(jìn)行比較來確定縱向位置改變量。
[0188] 可以利用下面的方程式4和5來將±7軸方向上5個新的預(yù)定區(qū)域43中的每個 預(yù)定區(qū)域的像素值與預(yù)定區(qū)域42中的像素值進(jìn)行比較。
[0191] 其中,Λ y的值分別為1、2、3、4和5,對應(yīng)獲得5個SAD3和5個SAD4。
[0192] 匹配子模塊912將上文所述的5個SAD3與5個SAD4進(jìn)行比較,其中最小的SAD3 或SAD4對應(yīng)的Λ X及其+ X或-X方向即為預(yù)定區(qū)域43沿橫向方向的位置移動量。相應(yīng) 地,所述Λ X及其+ X或-X方向的相反方向,即為第1個圖像的在橫向方向的橫向位置改 變量。
[0193] 匹配子模塊912將橫向位置改變量與上文所確定的縱向位置改變量相結(jié)合進(jìn)行 矢量運(yùn)算,即可確定第1個圖像的位置改變量。這里假定,如圖f5D中所示,經(jīng)過上文的計(jì) 算,所確定的預(yù)定區(qū)域43沿橫向方向的位置移動量是沿+ X方向移動1個像素,即Λ X = 1,相應(yīng)地,第1個圖像的橫向位置改變量是沿-X方向移動1個像素。圖f5D中所示的預(yù)定 區(qū)域44即為第1個圖像中與第2預(yù)定區(qū)域42匹配的預(yù)定區(qū)域。因此,第1個圖像的位置 改變量是沿-X方向移動1個像素,沿-y方向移動1個像素。
[0194] 此外,與上文確定縱向移動方向時類似,匹配子模塊912可以先對SAD3和SAD4取 平均數(shù),然后將+ X或-X方向確定為橫向移動方向,然后再從相應(yīng)的SAD3或SAD4中確定 Λ χ〇
[0195] 雖然上文示例性示出了匹配子模塊912首先確定縱向位置改變量,再確定橫向位 置改變量的示例,然而本發(fā)明并不限于此。根據(jù)上文描述的原理,匹配子模塊912還可以首 先確定橫向位置改變量,再確定縱向位置改變量;也可以同時確定橫向位置改變量和縱向 位置改變量。
[0196] 下面對合成模塊92進(jìn)行詳細(xì)說明。合成模塊92用于合成所匹配的各個圖像以得 到一合成圖像。
[0197] 仍以上文所述的3個圖像為例,在像素匹配模塊91確定出第1個圖像的位置改變 量之后,按照所述位置改變量改變第1個圖像的位置,使得第1個圖像與第2個圖像對應(yīng)的 像素匹配。如此,第1個圖像與第2個圖像匹配的效果應(yīng)如圖3Β中所示的那樣,即第1個 圖像與第2個圖像對應(yīng)的像素近似重合或重合。合成模塊92對第1個圖像與第2個圖像 的近似重合或重合的區(qū)域(下文簡稱匹配區(qū)域)進(jìn)行合成來得到合成圖像,而舍棄匹配區(qū) 域之外的區(qū)域。如上文所述,由于用戶握持圖像采集裝置時,手的抖動的幅度通常較小,因 此所舍棄的區(qū)域也較小,因此舍去匹配區(qū)域以外的區(qū)域并不會嚴(yán)重影響合成圖像的尺寸和 分辨率。在下文中,如果沒有特別說明,所述平均圖像和所述合成圖像均與所述匹配區(qū)域相 對應(yīng)。
[0198] 優(yōu)選地,合成模塊92包括:第一計(jì)算子模塊921和第二計(jì)算子模塊922。
[0199] 第一計(jì)算子模塊921用于計(jì)算所述基準(zhǔn)圖像和與該基準(zhǔn)圖像匹配的各個圖像的 平均圖像。
[0200] 合成模塊92生成合成圖像的過程,可以理解為將基準(zhǔn)圖像和平均圖像兩者的匹 配區(qū)域中對應(yīng)的像素點(diǎn)的像素值進(jìn)行加權(quán)計(jì)算,生成對應(yīng)的合成圖像中的像素點(diǎn)的像素 值。同理,第一計(jì)算子模塊921生成平均圖像的過程也可以理解為將基準(zhǔn)圖像和其它圖像 (例如第1個圖像)兩者的匹配區(qū)域中對應(yīng)的像素點(diǎn)的像素值進(jìn)行平均計(jì)算。
[0201] 本領(lǐng)域技術(shù)人員已知,通過獲得所采集的多個圖像的平均圖像,有利于消除圖像 的噪音,然而如果該平均圖像作為合成圖像容易使合成圖像產(chǎn)生"鬼影"現(xiàn)象。如果僅將基 準(zhǔn)圖像作為合成圖像,可以克服平均圖像所導(dǎo)致的"鬼影"現(xiàn)象,但增大了圖像的噪音。
[0202] 因此,合成模塊92可以根據(jù)拍攝場景、目標(biāo)對象等的不同而對基準(zhǔn)圖像和平均圖 像進(jìn)行加權(quán),即,賦予基準(zhǔn)圖像和平均圖像不同的權(quán)重值,并基于這些權(quán)重值來對基準(zhǔn)圖像 和平均圖像進(jìn)行合成,從而獲得較佳的合成圖像。
[0203] 例如,如果拍攝場景為靜態(tài)場景,或者目標(biāo)對象為靜態(tài)對象,則適當(dāng)增大平均圖像 的權(quán)重,并減少基準(zhǔn)圖像的權(quán)重;如果拍攝場景為動態(tài)場景,或者目標(biāo)對象為動態(tài)對象,則 適當(dāng)增大基準(zhǔn)圖像的權(quán)重,并減少平均圖像的權(quán)重。
[0204] 可以采用如下的方程式(6)來計(jì)算平均圖像中的各個像素點(diǎn)的像素值。
[0206] 其中,Pave(x,y)是平均圖像中的坐標(biāo)點(diǎn)(X,y)的像素值,Pjx,y)是第i個圖像的 坐標(biāo)點(diǎn)(x,y)的像素值。如果采集3個圖像,則N= 3,通過計(jì)算匹配區(qū)域中的各個像素點(diǎn) 的P_(x,y),即可獲得3個圖像的平均圖像。
[0207] 可以利用如下的方程式(7)來計(jì)算合成圖像中的各個像素點(diǎn)的像素值。
[0208] Pt(x, y) = ω (χ, y)P2(x, γ) + (1-ω (χ, y))Pave(x, y) (7)
[0209] 其中,Pt(x,y)是合成圖像中的坐標(biāo)點(diǎn)(x,y)的像素值,P2(x,y)是第2個圖像(即 基準(zhǔn)圖像)中的坐標(biāo)點(diǎn)(x,y)的像素值,ω (x,y)是基準(zhǔn)圖像的權(quán)重,l-ω (x,y)是平均