0097]本發(fā)明第二實施例提出一種多幀拍攝圖像合成裝置，包括：
[0098]圖像獲取模塊310,獲取拍攝的多幀圖像。
[0099]匹配像素點查找模塊320,對多幀圖像進行縮小，從縮小后的多幀圖像中查找相互 匹配的像素點，并根據(jù)縮小后的多幀圖像中相互匹配的像素點，確定縮小前的多幀圖像中 相互匹配的像素點。在本實施例中，如圖3C所示，為了加快圖像對齊速度，在滿足圖像精度 的前提下，先將圖像縮小，在小尺度空間找出稀疏匹配點的坐標，之后根據(jù)尺度變換關(guān)系將 稀疏匹配點坐標進行尺度變換從而得到大尺寸圖像稀疏匹配點坐標映射。
[0100]對齊模型計算模塊330,計算相互匹配的像素點反映的縮放與旋轉(zhuǎn)參數(shù)、位移參 數(shù)，并根據(jù)得到的縮放與旋轉(zhuǎn)參數(shù)、位移參數(shù)建立對齊模型，具體為：
[0101] 根據(jù)預設的公￥
取多幀圖像中第一幀圖像的像素點的 坐標值代入公式中的x、y，以及將相互匹配的第二幀圖像中的像素點的坐標值代入Y ， 以計算出縮放與旋轉(zhuǎn)參數(shù)aotKaoi和aio、an，以及位移參數(shù)a〇2和ah,則公式作為對多幀圖像 對齊的對齊模型。在本實施例中，上述公式實際上是仿射變換模型:一個平面內(nèi)的任意平行 四邊形可以被仿射變換映射為另一個平行四邊形，圖像的映射操作在同一個空間平面內(nèi)進 行，通過不同的變換參數(shù)使其變形而得到不同類型的平行四邊形。本實施例中，在使用仿射 變換矩陣模型時，基于縮放與旋轉(zhuǎn)參數(shù)控制圖像的縮放與旋轉(zhuǎn)，基于位置參數(shù)控制圖像的 位移。
[0102] 在另一實施例中，對齊模型計算模塊330計算相互匹配的像素點反映的縮放與旋 轉(zhuǎn)參數(shù)、位移參數(shù)、水平與垂直方向上的變形參數(shù)，并根據(jù)得到的縮放與旋轉(zhuǎn)參數(shù)、位移參 數(shù)、水平與垂直方向上的變形參數(shù)建立對齊模型，具體為：
[0103] 根據(jù)預設的公式
取多幀圖像中第一幀圖像的像素點的 坐標值代入公式中的X、y，以及將相互匹配的第二幀圖像中的像素點的坐標值代入Y ， 以計算出縮放與旋轉(zhuǎn)參數(shù)aotKaoi和aio、aii，以及位移參數(shù)a〇2和ai2,以及水平與垂直方向的 變形參數(shù)a2Q、a21，則公式作為對多幀圖像對齊的對齊模型。在本實施例中，上述公式實際上 是透射變換模型，其相比較仿射變換模型更具有靈活性:一個透射變換可以將矩形轉(zhuǎn)變成 梯形，它描述了將空間內(nèi)一個平面投影到另一個空間平面內(nèi)，仿射變換可以作為透視變換 的一個特例。考慮到手持移動設備，如手機在連續(xù)拍攝多幅圖像時，手機的抖動運動基本上 不在同一個平面，此時可以選擇透射變換模型。本實施例中，在使用透射變換矩陣模型時， 基于縮放與旋轉(zhuǎn)參數(shù)控制圖像的縮放與旋轉(zhuǎn)，基于位置參數(shù)控制圖像的位移，基于水平與 垂直方向的變形參數(shù)，控制圖像在水平、垂直方向上的變形。
[0104] 圖像對齊模塊340，使用對齊模型，對齊多幀圖像。
[0105] 圖像合成模塊350,根據(jù)當前的圖像應用場景，對多幀圖像選擇相應的合成策略進 行合成。在本實施例中，多幀圖像的各個位置的像素點都對齊后，圖像合成不會出現(xiàn)像素錯 位。不同的圖像處理應用場景下，合成策略一般不同，如多重曝光需要進行半透明融合、多 幀降噪需要進行加權(quán)平均等等。
[0106] 如圖4所示，本發(fā)明第三實施例提出一種多幀拍攝圖像合成方法，包括：
[0107] 步驟410,獲取拍攝的多幀圖像。在本實施例中，在多幀圖像的拍攝過程中，由于拍 攝過程容易受到隨機噪點、曝光時間、對焦點、測光、光照等因素的影響，使得多幀圖像之間 會出現(xiàn)圖像像素的亮度或者顏色的差異，需要對圖像進行預處理，包括:拍攝過程需要鎖定 拍攝參數(shù)，使得這樣圖像的曝光時間、對焦點、測光量保持一致;獲取圖像后，需要對圖像進 行簡單的圖像濾波和對比度增強，這些預處理措施可以有效地降低噪聲和細節(jié)模糊對于后 期圖像對齊效果的影響。
[0108] 步驟420,查找多幀圖像中相互匹配的像素點。
[0109] 圖像對齊有很多算法，主要分為基于局部特征和全局特征的方法?；诰植刻卣?的典型方法是提取和匹配圖像的關(guān)鍵特征點，然后利用這些關(guān)鍵特征點進行圖像空間對齊 模型的映射矩陣計算，最后利用映射矩陣進行圖像對齊。這類方法的配準效果一般可以滿 足很多場景的要求，如光照的變化(不同曝光圖像的合成），大范圍圖像偏移（全景圖像拼 接）、暗光圖像(噪聲加大)等各種復雜的場景。但是圖像特征點的提取和匹配一般都比較耗 時，如sift、surf特征點匹配算法。另外一類是基于全局互信息匹配的搜索對齊方法，可以 減少隨機特征點引起的匹配誤差，但是對于光照的變換和大范圍的圖像移動，速度較慢且 效果不穩(wěn)定。
[0110]光流場也是一種基于點的匹配算法，它分析空間運動物體在觀察成像平面上的像 素運動的瞬時速度，是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關(guān)性來 找到上一幀跟當前幀之間存在的對應關(guān)系，從而計算出相鄰幀之間物體的運動信息的一種 方法。研究光流場的目的就是為了從圖片序列中近似得到不能直接得到的運動場。其中，運 動場，其實就是物體在三維真實世界中的運動;光流場，是運動場在二維圖像平面上(人的 眼睛或者攝像頭)的投影。
[0111] 通過一個圖片序列，把每張圖像中每個像素的運動速度和運動方向找出來就是光 流場。如圖3A所示，第T幀的時候A點的位置是(Xl，yl)，那么我們在第T+1幀的時候再找到A 點，假如它的位置是(x2，y2)，那么我們就可以確定A點的運動向量：
[0112] V=(x2,y2)-(xl ,yl)
[0113] 問題的關(guān)鍵就是如何找到第t+1幀的時候A點的位置，這里介紹一種Lucas-Kanade 光流法，基本過程如下：
[0114] 該方法假定它假設一個物體的顏色在前后兩幀沒有巨大而明顯的變化?；谶@個 思路，可以得到圖像約束方程。不同的光流算法解決了假定了不同附加條件的光流問題。對 于空間和時間坐標使用偏導數(shù)，圖像約束方程可以寫為
[0115] I(x,yt) = I(x+dx,y+dy,t+dt)
[0116] I(x，y，t)為在圖像(x，y)位置的像素值。
[0118]我們假設移動足夠的小，那么對圖像約束方程使用泰勒公式，我們可以得到：
[0120] Η. O.T.指更高階的情況，在移動足夠小的情況下可以忽略。從這個方程中我們可
以得到：
[0124] V x，V y分別是I(x，y，t)的光流向量中x，y軸方向的運動向量。Ix和Iy則是圖像在 (x，y，t)這一點x，y軸方向上的差分值。所以就有：
[0125] Ix*Vx+Iy*Vy = -It
[0126]
[0127] 該方程中有2個未知量，至少需要兩個非相關(guān)的方程進行求解。Lucas-Kanade光流 法假定空間像素點運動一致，一個場景上鄰近的點投影到圖像上也是鄰近點，且鄰近點速 度一致。這是Lucas-Kanade光流法特有的假定，因為光流法基本方程約束只有一個，而要求 x，y方向的速度，有兩個未知變量。我們假定特征點鄰域內(nèi)做相似運動，就可以聯(lián)立η多個方 程求取x，y方向的速度(η為特征點鄰域總點數(shù)，包括該特征點）?？梢缘玫较旅娴姆匠?br>[0130] 為了解決超定問題，我們米用最小二乘法：
[0131] AV = -b
[0132] V = ( A1 AYi ￡{-b)
[0133] 繼而可以得到光流相鄰V:
[0135]前面說到了小運動這個假定，當目標速度很快這一假定會不成立，幸運的是多尺 度能解決這個問題首先，對每一幀圖像進行不同程度的縮小后，建立一個高斯金字塔，最小 尺度的圖片在最頂層，原始圖片在底層。然后，從頂層開始估計像素點在下一幀所在位置， 作為像素點在當前幀下一層的初始位置，沿著金字塔向下搜索，重復估計動作，直到到達金 字塔的底層。這樣搜索可以快速定位到像素點的運動方向和位置。
[0136]步驟430,根據(jù)多幀圖像中相互匹配的像素點，計算用于對齊多幀圖像的對齊模 型。在本實施例的技術(shù)方案中，由于相互匹配的像素點之間的運動向量反映的是多幀圖像 之間的運動，則基于相互匹配的像素點計算得到的對齊模型，可以消除多幀圖像之間的運 動關(guān)系，使得多幀圖像高質(zhì)量地合成到一起;在圖像對齊過程中，選擇正確的圖像對齊模型 很重要，本實施例中可選用的是仿射變換模型和透視變換模型。。
[0137]步驟440，使用對齊模型，對齊多幀圖像。在本實施例中，可以利用對齊模型，對多 幀圖像的像素進行對齊。
[0138] 步驟450，對對齊后的多幀圖像進行合成。如圖3B所示，為本實施例技術(shù)方案的原 理流程圖，對T幀、T+1幀圖像進行預處