圖像數(shù)據(jù)的解壓縮。進(jìn)行解壓縮時(shí)，讀出記錄在記錄介質(zhì)2225中的文件，在JPEG處理器2216 中實(shí)施了解壓縮處理后，將解壓縮的圖像數(shù)據(jù)暫時(shí)存儲(chǔ)于SDRAM2218中并在LCD2226上進(jìn)行 顯示。另外，在本實(shí)施方式中，作為圖像壓縮解壓縮方式采用的是JPEG方式，然而壓縮解壓 縮方式不限于此，當(dāng)然可以采用MPEG、TIFF、H.264等其他的壓縮解壓縮方式。
[0056] 微型計(jì)算機(jī)2217發(fā)揮作為該相機(jī)整體的控制部的功能，統(tǒng)一控制相機(jī)的各種處理 序列。微型計(jì)算機(jī)2217連接著操作單元2223和閃存2224。
[0057] 操作單元2223包括但不限于實(shí)體按鍵或者虛擬按鍵，該實(shí)體或虛擬按鍵可以為電 源按鈕、拍照鍵、編輯按鍵、動(dòng)態(tài)圖像按鈕、再現(xiàn)按鈕、菜單按鈕、十字鍵、OK按鈕、刪除按鈕、 放大按鈕等各種輸入按鈕和各種輸入鍵等操作控件，檢測(cè)這些操作控件的操作狀態(tài)，。 [0058]將檢測(cè)結(jié)果向微型計(jì)算機(jī)2217輸出。此外，在作為顯示器的IXD2226的前表面設(shè)有 觸摸面板，檢測(cè)用戶的觸摸位置，將該觸摸位置向微型計(jì)算機(jī)2217輸出。微型計(jì)算機(jī)2217根 據(jù)來(lái)自操作單元2223的操作位置的檢測(cè)結(jié)果，執(zhí)行與用戶的操作對(duì)應(yīng)的各種處理序列。 [0059]閃存2224存儲(chǔ)用于執(zhí)行微型計(jì)算機(jī)2217的各種處理序列的程序。微型計(jì)算機(jī)2217 根據(jù)該程序進(jìn)行相機(jī)整體的控制。此外，閃存2224存儲(chǔ)相機(jī)的各種調(diào)整值，微型計(jì)算機(jī)2217 讀出調(diào)整值，按照該調(diào)整值進(jìn)行相機(jī)的控制。SDRAM2218是用于對(duì)圖像數(shù)據(jù)等進(jìn)行暫時(shí)存儲(chǔ) 的可電改寫的易失性存儲(chǔ)器。該SDRAM2218暫時(shí)存儲(chǔ)從A/D轉(zhuǎn)換器2214輸出的圖像數(shù)據(jù)和在 圖像處理器2215、JPEG處理器2216等中進(jìn)行了處理后的圖像數(shù)據(jù)。
[0060] 存儲(chǔ)器接口 2219與記錄介質(zhì)2225連接，進(jìn)行將圖像數(shù)據(jù)和附加在圖像數(shù)據(jù)中的文 件頭等數(shù)據(jù)寫入記錄介質(zhì)2225和從記錄介質(zhì)2225中讀出的控制。記錄介質(zhì)2225例如為能夠 在相機(jī)主體上自由拆裝的存儲(chǔ)器卡等記錄介質(zhì)，然而不限于此，也可以是內(nèi)置在相機(jī)主體 中的硬盤等。
[0061] IXD驅(qū)動(dòng)器2210與LCD2226連接，將由圖像處理器2215處理后的圖像數(shù)據(jù)存儲(chǔ)于 SDRAM2218,需要顯示時(shí)，讀取SDRAM2218存儲(chǔ)的圖像數(shù)據(jù)并在IXD2226上顯示，或者JPEG處 理器2216壓縮過(guò)的圖像數(shù)據(jù)存儲(chǔ)于SDRAM2218,在需要顯示時(shí)，JPEG處理器2216讀取 SDRAM2218的壓縮過(guò)的圖像數(shù)據(jù)，再進(jìn)行解壓縮，將解壓縮后的圖像數(shù)據(jù)通過(guò)LCD2226進(jìn)行 顯不O
[0062] IXD1226配置在相機(jī)主體的背面進(jìn)行圖像顯示。該LCD2226IXD，然而不限于此，也 可以采用有機(jī)EL等各種顯示面板(LCD2226)，然而不限于此，也可以采用有機(jī)EL等各種顯示 面板。
[0063] 基于上述移動(dòng)終端硬件結(jié)構(gòu)以及電氣結(jié)構(gòu)框圖，提出本發(fā)明方法各個(gè)實(shí)施例。
[0064] 如圖3所示，本發(fā)明第一實(shí)施例提出一種多幀拍攝圖像合成裝置，包括：
[0065] 圖像獲取模塊310,用于獲取拍攝的多幀圖像。在本實(shí)施例中，在多幀圖像的拍攝 過(guò)程中，由于拍攝過(guò)程容易受到隨機(jī)噪點(diǎn)、曝光時(shí)間、對(duì)焦點(diǎn)、測(cè)光、光照等因素的影響，使 得多幀圖像之間會(huì)出現(xiàn)圖像像素的亮度或者顏色的差異，需要對(duì)圖像進(jìn)行預(yù)處理，包括:拍 攝過(guò)程需要鎖定拍攝參數(shù)，使得這樣圖像的曝光時(shí)間、對(duì)焦點(diǎn)、測(cè)光量保持一致;獲取圖像 后，需要對(duì)圖像進(jìn)行簡(jiǎn)單的圖像濾波和對(duì)比度增強(qiáng)，這些預(yù)處理措施可以有效地降低噪聲 和細(xì)節(jié)模糊對(duì)于后期圖像對(duì)齊效果的影響。
[0066] 匹配像素點(diǎn)查找模塊320,用于查找多幀圖像中相互匹配的像素點(diǎn)。
[0067] 圖像對(duì)齊有很多算法，主要分為基于局部特征和全局特征的方法?；诰植刻卣?的典型方法是提取和匹配圖像的關(guān)鍵特征點(diǎn)，然后利用這些關(guān)鍵特征點(diǎn)進(jìn)行圖像空間對(duì)齊 模型的映射矩陣計(jì)算，最后利用映射矩陣進(jìn)行圖像對(duì)齊。這類方法的配準(zhǔn)效果一般可以滿 足很多場(chǎng)景的要求，如光照的變化(不同曝光圖像的合成），大范圍圖像偏移（全景圖像拼 接）、暗光圖像(噪聲加大)等各種復(fù)雜的場(chǎng)景。但是圖像特征點(diǎn)的提取和匹配一般都比較耗 時(shí)，如sift、surf特征點(diǎn)匹配算法。另外一類是基于全局互信息匹配的搜索對(duì)齊方法，可以 減少隨機(jī)特征點(diǎn)引起的匹配誤差，但是對(duì)于光照的變換和大范圍的圖像移動(dòng)，速度較慢且 效果不穩(wěn)定。
[0068] 光流場(chǎng)也是一種基于點(diǎn)的匹配算法，它分析空間運(yùn)動(dòng)物體在觀察成像平面上的像 素運(yùn)動(dòng)的瞬時(shí)速度，是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性來(lái) 找到上一幀跟當(dāng)前幀之間存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間物體的運(yùn)動(dòng)信息的一種 方法。研究光流場(chǎng)的目的就是為了從圖片序列中近似得到不能直接得到的運(yùn)動(dòng)場(chǎng)。其中，運(yùn) 動(dòng)場(chǎng)，其實(shí)就是物體在三維真實(shí)世界中的運(yùn)動(dòng);光流場(chǎng)，是運(yùn)動(dòng)場(chǎng)在二維圖像平面上(人的 眼睛或者攝像頭)的投影。
[0069] 通過(guò)一個(gè)圖片序列，把每張圖像中每個(gè)像素的運(yùn)動(dòng)速度和運(yùn)動(dòng)方向找出來(lái)就是光 流場(chǎng)。如圖3A所示，第T幀的時(shí)候A點(diǎn)的位置是(xl，yl)，那么我們?cè)诘赥+1幀的時(shí)候再找到A 點(diǎn)，假如它的位置是(x2，y2)，那么我們就可以確定A點(diǎn)的運(yùn)動(dòng)向量：
[0070] V= (x2 ,y2)-(xl ,yl)
[0071]問(wèn)題的關(guān)鍵就是如何找到第t+1幀的時(shí)候A點(diǎn)的位置，這里介紹一種Lucas-Kanade 光流法，基本過(guò)程如下：
[0072] 該方法假定它假設(shè)一個(gè)物體的顏色在前后兩幀沒(méi)有巨大而明顯的變化?；谶@個(gè) 思路，可以得到圖像約束方程。不同的光流算法解決了假定了不同附加條件的光流問(wèn)題。對(duì) 于空間和時(shí)間坐標(biāo)使用偏導(dǎo)數(shù)，圖像約束方程可以寫為
[0073] I(x,y t) = I(x+dx,y+dy,t+dt)
[0074] I(x，y，t)為在圖像(x，y)位置的像素值。
[0076]我們假設(shè)移動(dòng)足夠的小，那么對(duì)圖像約束方程使用泰勒公式，我訶以得到：
[0078] H.O.T.指更高階的情況，在移動(dòng)足夠小的情況下可以忽略。從這個(gè)方程中我們可 以得到：
[0082] V x，V y分別是I(x，y，t)的光流向量中x，y軸方向的運(yùn)動(dòng)向量。Ix和Iy則是圖像在 (x，y，t)這一點(diǎn)x，y軸方向上的差分值。所以就有：
[0085] 該方程中有2個(gè)未知量，至少需要兩個(gè)非相關(guān)的方程進(jìn)行求解。Lucas-Kanade光流 法假定空間像素點(diǎn)運(yùn)動(dòng)一致，一個(gè)場(chǎng)景上鄰近的點(diǎn)投影到圖像上也是鄰近點(diǎn)，且鄰近點(diǎn)速 度一致。這是Lucas-Kanade光流法特有的假定，因?yàn)楣饬鞣ɑ痉匠碳s束只有一個(gè)，而要求 x，y方向的速度，有兩個(gè)未知變量。我們假定特征點(diǎn)鄰域內(nèi)做相似運(yùn)動(dòng)，就可以聯(lián)立η多個(gè)方 程求取x，y方向的速度(η為特征點(diǎn)鄰域總點(diǎn)數(shù)，包括該特征點(diǎn)）?？梢缘玫较旅娴姆匠?br>[0093]前面說(shuō)到了小運(yùn)動(dòng)這個(gè)假定，當(dāng)目標(biāo)速度很快這一假定會(huì)不成立，幸運(yùn)的是多尺 度能解決這個(gè)問(wèn)題首先，對(duì)每一幀圖像進(jìn)行不同程度的縮小后，建立一個(gè)高斯金字塔，最小 尺度的圖片在最頂層，原始圖片在底層。然后，從頂層開始估計(jì)像素點(diǎn)在下一幀所在位置， 作為像素點(diǎn)在當(dāng)前幀下一層的初始位置，沿著金字塔向下搜索，重復(fù)估計(jì)動(dòng)作，直到到達(dá)金 字塔的底層。這樣搜索可以快速定位到像素點(diǎn)的運(yùn)動(dòng)方向和位置。
[0094]對(duì)齊模型計(jì)算模塊330,用于根據(jù)多幀圖像中相互匹配的像素點(diǎn)，計(jì)算用于對(duì)齊多 幀圖像的對(duì)齊模型。在本實(shí)施例的技術(shù)方案中，由于相互匹配的像素點(diǎn)之間的運(yùn)動(dòng)向量反 映的是多幀圖像之間的運(yùn)動(dòng)，則基于相互匹配的像素點(diǎn)計(jì)算得到的對(duì)齊模型，可以消除多 幀圖像之間的運(yùn)動(dòng)關(guān)系，使得多幀圖像高質(zhì)量地合成到一起;在圖像對(duì)齊過(guò)程中，選擇正確 的圖像對(duì)齊模型很重要，本實(shí)施例中可選用的是仿射變換模型和透視變換模型。
[0095] 圖像對(duì)齊模塊340，用于使用對(duì)齊模型，對(duì)齊多幀圖像。在本實(shí)施例中，可以利用對(duì) 齊模型，對(duì)多幀圖像的像素進(jìn)行對(duì)齊。
[0096] 圖像合成模塊350,用于對(duì)對(duì)齊后的多幀圖像進(jìn)行合成。如圖3Β所示，為本實(shí)施例 技術(shù)方案的原理流程圖，對(duì)T幀、Τ+1幀圖像進(jìn)行預(yù)處理后，利用光流場(chǎng)計(jì)算稀疏匹配點(diǎn)（稀 疏匹配即特征匹配，用于計(jì)算匹配的像素點(diǎn)），利用匹配的像素點(diǎn)計(jì)算對(duì)齊矩陣，并進(jìn)行圖 像對(duì)齊。根據(jù)本實(shí)施例的技術(shù)方案，對(duì)于拍攝得到的多幀圖像，首先查找出多幀圖像之間相 互匹配的像素點(diǎn)，基于相互匹配的像素點(diǎn)可以計(jì)算出用于對(duì)齊多幀圖像的模型，進(jìn)而利用 對(duì)齊模型將多幀圖像對(duì)齊;根據(jù)本發(fā)明的技術(shù)方案，在不依賴固定架等設(shè)備的基礎(chǔ)上，即可 進(jìn)行多幀圖像的對(duì)齊，減少了多幀圖像合成后的像素偏差。
[