專利名稱：圖像處理裝置、圖像處理方法、其程序以及記錄媒體的制作方法
技術領域：
本發(fā)明，涉及利用多個圖像來生成一個靜止圖像的圖像處理裝置、圖像處理方法及計算機程序、記錄媒體。
背景技術：
以往，公知有將多個圖像合成，來生成一幅高分辨率的圖像的圖像處理裝置和圖像處理方法。例如，公知有以下技術從用數(shù)碼攝像機拍攝的動態(tài)圖像中決定一個場景，并生成分辨率比決定出的一幀圖像高(高像素密度)的靜止圖像。該技術中，從連續(xù)的(n+1)幅幀圖像中選擇一幅幀圖像作為基準圖像，并分別計算出其他n幅幀圖像(對象圖像)相對于該基準圖像的運動矢量，并根據(jù)各運動矢量，將(n+1)幅幀圖像合成，來生成靜止圖像(例如，參照特開2000-244851號公報)。一般認為，這樣的圖像合成處理方法，與單純對一幀圖像進行分辨率轉換的方法相比，能令圖像畫質(zhì)更好且更鮮亮。
然而，這種圖像處理技術中存在的問題是圖像的合成處理即使花費時間，也不一定就能夠生成高分辨率的靜止圖像。例如，如果在生成靜止圖像時所使用的一幀圖像本身就抖動的話，那么用它來實行圖像合成處理，即使花費再多的時間也無法得到滿意的靜止圖像。

發(fā)明內(nèi)容
本發(fā)明就是要解決這樣的問題，其目的在于在從多個圖像生成一個高分辨率的圖像時，可以執(zhí)行高效的圖像處理。
為了解決上述課題的至少一部分，本發(fā)明的第1圖像處理裝置，采用以下的手法。即，一種根據(jù)多個圖像生成像素密度高的靜止圖像的圖像處理裝置，其主旨為具備圖像抽出裝置，抽出用于生成所述靜止圖像的多個圖像；偏移量檢測裝置，檢測出所述抽出的多個圖像間的偏移量；確定裝置，根據(jù)所述檢測出的偏移量，從所述抽出的多個圖像之中確定2個以上的圖像；以及，圖像合成裝置，將所述確定的2個以上的圖像合成，來生成1個靜止圖像。
此外，本發(fā)明的第1圖像處理方法，是根據(jù)多個圖像生成像素密度高的靜止圖像的圖像處理方法，包括抽出用于生成所述靜止圖像的多個圖像；檢測出所述抽出的多個圖像間的偏移量；根據(jù)所述檢測出的偏移量，從所述抽出的多個圖像之中確定2個以上的圖像；以及，將所述確定的2個以上的圖像合成，來生成1個靜止圖像。
根據(jù)第1圖像處理裝置和圖像處理方法(稱為第1圖像處理)，可以對多個圖像間的偏移量進行檢測，并根據(jù)其偏移量，在圖像的合成處理之前，確定2個以上的圖像。也就是說，根據(jù)圖像間的偏移量，來確定供圖像合成的2個以上的圖像，能夠高效地進行圖像合成的處理。
上述圖像處理中，可以具有對成為上述1個靜止圖像的合成基準的圖像進行指定的結構，并相對于該指定的圖像，按照事先關聯(lián)的順序，抽出多個圖像。
通過該圖像處理，要在合成像素密度高的靜止圖像中使用的多個圖像，被以指定的圖像為基準，按事先關聯(lián)的順序抽出。通過指定一個圖像，要在合成中使用的多個圖像被自動抽出。因此，無需指定所有要在合成中使用的多個圖像，能夠使圖像的合成處理操作變得比較容易。
上述圖像處理中，多個圖像可為時序上連續(xù)的多個圖像，上述關聯(lián)的順序，可為從上述指定的圖像起連續(xù)的時序順序。多個圖像的抽出，可以考慮以下各種方式，即，以指定的圖像為中心、按時序在前后方向上交替的順序，或按時序、隔一選一的順序等，通過從指定的圖像起按照時序上連續(xù)的順序抽出圖像，可以使圖像的抽出處理簡化。
上述圖像處理中，也可以在生成1個靜止圖像之前，顯示用于合成上述圖像的圖像個數(shù)。根據(jù)該圖像處理，用戶可以較容易地認識到用于圖像合成處理的圖像個數(shù)。另外，可與該圖像個數(shù)一起，或者代替該圖像個數(shù)，顯示合成中不使用的圖像的個數(shù)。
在上述圖像處理中，可以在確定的2個以上的圖像沒有達到規(guī)定個數(shù)的情況下，顯示警告。此外，可以在確定的2個以上的圖像個數(shù)沒有達到規(guī)定個數(shù)的情況下，選擇是否執(zhí)行上述圖像的合成。
通過該圖像處理，可以事先向用戶發(fā)出警告，告知圖像合成處理中使用的圖像個數(shù)未達到規(guī)定個數(shù)，不能期望所生成的一個靜止圖像會被有效地鮮亮化。此外，在沒有達到規(guī)定個數(shù)的狀態(tài)下，可以讓用戶選擇是否執(zhí)行合成處理。
上述圖像處理中，可以在確定的2個以上的圖像個數(shù)沒有達到規(guī)定個數(shù)的情況下，中止上述圖像的合成。
通過該圖像處理，如果某個圖像由于超過閾值而被排除在外，結果用于合成的圖像在沒有達到2個以上、3個以上這種任意設定的規(guī)定個數(shù)，則中止合成處理本身。因此，在不能期待獲得像素密度高的靜止圖像的情況下，不進行花費處理時間的合成處理，能在早期階段就中止合成處理。例如，通過規(guī)定個數(shù)的設定，即使有一個檢測出的圖像間的偏移量超過事先制定的閾值的圖像，也可以立即中止合成處理。
此外，在確定2個以上的圖像時，可將檢測出的偏移量超過規(guī)定閾值的圖像從上述抽出的多個圖像中排除，并將被這樣排除的圖像以外的圖像，確定作為上述2個以上的圖像。這是因為，如果對檢測出的偏移量與規(guī)定閾值的大小進行判斷，就可以較為容易地找出難以用于圖像合成的圖像。
在上述圖像處理中，檢測出的偏移量，可為圖像間的平移方向的平移偏移量和/或旋轉方向的旋轉偏移量，可將該平移偏移量和/或旋轉偏移量超過規(guī)定的閾值的圖像排除。
上述圖像處理中，規(guī)定的閾值，既可以設定為特定的值，也可以對要合成的圖像的像素數(shù)作為規(guī)定比例制定。例如，可以定為縱橫的像素數(shù)的幾％到10％。當然，也可以設為固定值。例如，在平移偏移量的情況下，進行判斷的規(guī)定閾值，可設為約±16個像素，在旋轉偏移量的情況下，進行判斷的規(guī)定閾值可設為約±1°。根據(jù)該圖像處理，圖像間的平移偏移量超過±16個像素和/或旋轉偏移量超過±1°的像素，被從圖像的合成對象中排除，或中止合成處理。例如，在時序上連續(xù)的圖像間的平移偏移量超過該閾值的情況下，合成對象的圖像本身可能含有抖動。因此，通過用該閾值進行判斷，可以事先排除不太可能有助于合成的的圖像后進行合成處理，或者可以中止合成處理。
用于上述圖像處理的多個圖像，可以是包含在動態(tài)圖像中的多幅幀圖像。通常，適用于合成低分辨率的多幅幀圖像，來生成一個高分辨率的靜止圖像的情況。
用于上述圖像處理的多個圖像，可為具有隨攝影時的攝影對象的亮度變化的曝光時間的信息的多個靜止圖像，可以根據(jù)曝光時間，對每個上述靜止圖像設定上述規(guī)定的閾值。
通過該圖像處理，根據(jù)各靜止圖像所具有的攝影時的曝光時間的信息，對每一個靜止圖像設定圖像間的偏移量的閾值。也就是說，根據(jù)檢測出偏移量的成為對象的2個圖像的攝影時間間隔與曝光時間的時間比率，來制定一個靜止圖像的曝光時間內(nèi)的允許偏移量，并設定閾值。由此，閾值就不是一成不變的，可以適應地設定為與各靜止圖像相對應的閾值。
本發(fā)明，還可以作為計算機程序產(chǎn)品以及存儲計算機程序的媒體來實現(xiàn)。


圖1是表示作為本發(fā)明的第1實施例的圖像處理系統(tǒng)的說明圖。
圖2是第1實施例的圖像處理的流程圖。
圖3是表示2個圖像的位置偏移的說明圖。
圖4是表示利用斜率法的平移偏移量的計算方法的說明圖。
圖5是示意表示像素的旋轉偏移量的說明圖。
圖6是圖像的偏移量與有助于鮮亮化的范圍的關系的說明圖。
圖7是第2實施例的圖像處理的流程圖。
圖8是第2實施例中的偏移量檢測順序的說明圖。
圖9是第3實施例的圖像處理的流程圖。
圖10是靜止圖像的拍攝周期與曝光時間的關系的說明圖。
具體實施例方式
以下，根據(jù)實施例，按照一下大順序?qū)Ρ景l(fā)明的實施方式進行說明。
A.第1實施例A1.圖像處理裝置的結構A2.圖像處理A3.偏移量的檢測A4.閾值的設定B.第2實施例B1.圖像處理C.第3實施例C1.圖像處理裝置的結構C2.圖像處理C3.閾值的設定A.第1實施例A1.圖像處理裝置的結構圖1是表示本發(fā)明第1實施例的圖像處理系統(tǒng)100的說明圖。如圖所示，該圖像處理系統(tǒng)100由以下各部分等構成圖像數(shù)據(jù)庫20，提供動態(tài)圖像和靜止圖像等的圖像數(shù)據(jù)；作為圖像處理裝置的個人計算機30，對從圖像數(shù)據(jù)庫20輸入的多個圖像進行圖像處理；用戶界面40，用于讓用戶對圖像處理的執(zhí)行發(fā)出指示；以及，彩色打印機50，輸出實施了圖像處理的圖像。
圖像數(shù)據(jù)庫20，具有處理數(shù)碼攝像機21、數(shù)碼靜態(tài)相機22、DVD23、硬盤24等的圖像的機器，向個人計算機30供給圖像數(shù)據(jù)。另外，第1實施例的圖像數(shù)據(jù)庫20中保有的圖像數(shù)據(jù)，是由數(shù)碼攝像機21取得的動態(tài)圖像數(shù)據(jù)。以下，將本實施例的圖像處理中所處理的圖像數(shù)據(jù)稱為幀圖像。該幀圖像，是時序上連續(xù)配置的多幅圖像，是構成動態(tài)圖像的一部分。
個人計算機30，具有I/F電路35等，用于與執(zhí)行圖像處理的CPU31、ROM32、RAM33、裝有圖像處理的軟件的硬盤34、圖像數(shù)據(jù)庫20、用戶界面40和彩色打印機50等外部機器進行交換信息。安裝在硬盤34上的軟件的圖像處理，是將輸入的多幅幀圖像合成，來生成一幅高分辨率的靜止圖像的處理。安裝有該軟件的個人計算機30，具有作為圖像處理裝置的“圖像抽出裝置”、“偏移量檢測裝置”、“排除裝置”、“圖像合成裝置”的各個機能。另外，對該圖像處理的流程，在后面詳細說明。
用戶界面40，包括鍵盤41和鼠標器42，用戶使用它們進行圖像處理的執(zhí)行操作；以及，顯示器43，顯示執(zhí)行圖像處理之前的幀圖像和合成處理后的靜止圖像，等。
A2.圖像處理圖2是合成多個圖像數(shù)據(jù)來生成一個靜止圖像的第1實施例的圖像處理的流程圖。在具有上述硬件結構的圖像處理系統(tǒng)100中，用戶通過操作鍵盤41，開始個人計算機30中裝入的圖像處理。
圖像處理開始后，個人計算機30，從圖像數(shù)據(jù)庫20輸入作為幀圖像數(shù)據(jù)的集合的動態(tài)圖像數(shù)據(jù)，并在顯示器43上將其再生。用戶在希望作為靜止圖像輸出的一個場景，實施再生圖像的暫停操作，并對該場景(幀圖像)進行指定(步驟S200)。
個人計算機30，從指定的幀圖像中，按時序順序抽出圖像處理中使用的幀圖像(步驟S210)。本實施例中，設從指定幀圖像的操作時刻起，輸入時序上連續(xù)的4幅幀圖像。以下，將這4幅幀圖像中用戶指定的那一個(即，時序上最初的那個)稱作參照幀圖像F1，將其他的稱作對象幀圖像(F2～F4)。另外，所抽出的幀圖像的數(shù)量，可以由用戶任意設定。
個人計算機30，對這樣指定·抽出的4幅幀圖像彼此的幀圖像間的偏移量進行檢測(步驟S220)。這里，所謂檢測的偏移量，如圖3所示，是指2個圖像的“位置偏移”，由表示平移方向的偏移的平移偏移量u、v、以及表示旋轉方向的偏移的旋轉偏移量δ這3個要素表現(xiàn)。個人計算機30，檢測出參照幀圖像F1、與3幅對象幀圖像(F2～F4)的每一個之間的偏移量(u、v、δ)。另外，偏移量的檢測方法將在后面敘述。
個人計算機30，判斷時序上相鄰的幀圖像間的偏移量是否在規(guī)定的范圍(閾值)內(nèi)。例如，在對象幀圖像F2與對象幀圖像F3間的偏移量大到超過閾值的情況下，可以推定出是有意識地移動數(shù)碼攝像機21的快速搖攝，對象幀圖像F3本身產(chǎn)生抖動的可能性很高。個人計算機30實施處理，從合成的對象中，將判斷的結果為可能產(chǎn)生抖動的對象幀圖像F3排除(步驟S230)。
另外，本實施例中，對平移偏移量u、v設置下限值的閾值，對所有幀圖像間的平移偏移量u、v進行判斷。例如，即便是相鄰的對象幀圖像F2與對象幀圖像F3的偏移量、對象幀圖像F3與對象幀圖像F4的偏移量，分別都在規(guī)定的范圍內(nèi)，對象幀圖像F2與對象幀圖像F4是同一圖像，有時也無需對圖像的合成使用相同的對象幀圖像。也就是說，由于是幾乎沒有偏移的幀圖像(同一圖像)，所以圖像的合成處理中使用其中任意一方足矣。本實施例中，對幀圖像間的平移偏移量u、v設置0.1像素的閾值，當檢測出的偏移量u、v為0.1像素以下時，會被從合成的對象中排除。
個人計算機30，使用未被排除而留下的對象幀圖像和參照幀圖像F1，來進行圖像的合成處理(步驟S240)。具體講就是，將實施過位置偏移校正的對象幀圖像(例如對象幀圖像F2)重疊在參照幀圖像F1上，根據(jù)兩者的各像素的灰度值，來決定合成圖像的各像素的灰度值。合成圖像的各像素的灰度值，使用的是公知的雙線性法。另外，也可以使用其他公知的方法來代替雙線性法，例如最相鄰法或雙三次法等。順序執(zhí)行使用該雙線性法的合成處理，來生成一幅靜止圖像。
另外，本實施例中，即使根據(jù)規(guī)定的閾值將對象幀圖像排除后的結果，為合成處理中使用的對象幀圖像的數(shù)量減少，也要照常執(zhí)行合成處理。這種情況下，雖然個人計算機30，將圖像的合成中使用的數(shù)量顯示在顯示器43上，但也可以在執(zhí)行合成處理之前，顯示合成中使用的圖像個數(shù)。此外，也可以再從圖像數(shù)據(jù)庫20中抽出時序上連續(xù)的幀圖像(第5幅)作為對象幀圖像，重復步驟S220起的處理，并將合成處理中使用的對象幀圖像的數(shù)量總保持一定。另外，也可以抽出時序上位于參照幀圖像F1前面的幀圖像。
個人計算機30，將如此合成的靜止圖像顯示在顯示器43上的規(guī)定位置上，同時，結束該處理。用戶根據(jù)意愿進行操作，將該靜止圖像輸出到彩色打印機20或硬盤34等上。
在這一系列的圖像處理中，事先將對象幀圖像本身包含抖動的圖像、幾乎與參照幀圖像F1相同的對象幀圖像等這種，無助于合成圖像的高分辨率化和鮮亮化的對象幀圖像予以排除。從而，能夠進行高效的圖像處理。
A3.偏移量的檢測如上述的圖3所示，參照幀圖像F1和對象幀圖像F2的位置偏移，由3個參數(shù)(u，v，δ)表示。這里，設參照幀圖像F1，具有以圖像中心為原點、以橫向為x1軸、以縱向為y1軸的直角坐標系(x1，y1)；設對象幀圖像F2，具有以圖像中心為原點、以橫向為x2軸、以縱向為y2軸的直角坐標系(x2，y2)。圖3表示對象幀圖像F2相對于參照幀圖像F1，在橫向上產(chǎn)生u的偏移、在縱向上產(chǎn)生v的偏移、在相對對象幀圖像的中心的旋轉方向上產(chǎn)生δ的偏移的情況。
本實施例中，使用斜率法來求取幀圖像間的偏移量，該斜率法，利用幀圖像間的各像素的亮度，以比一個像素還細小的單位來推定像素的位置。圖4是表示利用該斜率法的平移偏移量的計算方法的說明圖。圖4的(a)(c)中，表示各個圖像上的像素的亮度，圖4的(b)(d)中，表示斜率法的原理。這里，(x1i，y1i)，表示參照幀圖像F1上的一個像素的坐標，B1(x1i，y1i)，表示該像素的亮度。另外這里，設對象幀圖像F2上，坐標為(x2i，y2i)的像素位于參照幀圖像F1上的坐標(x1i～x1i+1，y1i～y1i+1)之間，并設其坐標為(x1i+Δx，y1i+Δy)。
如圖4(b)(d)所示，設對象幀圖像F2中的坐標為(x2i，y2i)的像素，位于參照幀圖像F1上的坐標(x1i+Δx，y1i)，若設Px＝B1(x1i+1，y1i)-B1(x1i，y1i)…(1)則Px·Δx＝B2(x2i，y2i)-B1(x1i，y1i)…(2)成立。這時，若將B1(x1i，y1i)和B2(x2i，y2i)簡寫為B1、B2，來求出滿足式(3)的Δx，就可以求出對象幀圖像F2在x軸方向上的平移偏移量。
{Px·Δx-(B2-B1)}2＝0…(3)實際上，對各像素計算出Δx，然后再取平均。
同樣，設對象幀圖像F2中的坐標為(x2i，y2i)的像素，位于參照幀圖像F1上的坐標(x1i，y1i+Δy)，若設Py＝B1(x1i，y1i+1)-B1(x1i，y1i)…(4)則Py·Δy＝B2(x2i，y2i)-B1(x1i，y1i)…(5)
成立。這時，若將B1(x1i，y1i)和B2(x2i，y2i)簡寫為B1、B2，來求出滿足式(6)的Δy，就可以求出對象幀圖像F2在y軸方向上的平移偏移量。
{Py·Δy-(B2-B1)}2＝0…(6)實際上，對各像素計算出Δy，然后再取平均。
由于上述的式(3)是僅考慮x軸方向的情況，上述的式(6)是僅考慮y軸方向的情況，因此，將它們對x軸方向、y軸方向這兩個方向進行擴展后，只要利用最小自乘法求出令式(7)最小的Δx、Δy即可。這樣求出的Δx、Δy，就相當于平移偏移量u、v。
S2＝∑{Px·Δx+Py·Δy-(B2-B1)}2…(7)以上，是在幀圖像間只存在平移偏移量的情況下的計算，而除此之外，還要對考慮了旋轉偏移量δ的偏移量計算方法進行說明。圖5是示意表示像素的旋轉偏移量的說明圖。如圖所示，若設參照幀圖像F1的坐標(x1，y1)距原點0的距離為r，從x1軸起的旋轉角度為θ，則通過下式求出r、θ。另外，圖5中為了簡化說明，說明的是以幀圖像中心為原點O旋轉圖像的示例。
r＝(x2+y2)1/2…(8)θ＝tan-1(x/y)…(9)這里，設當以原點O為中心，將將象幀圖像的坐標(x1，y1)旋轉角度δ時，即與對象幀圖像的坐標(x2，y2)一致。該旋轉所帶來的x軸方向的移動量Δx和y軸方向的移動量Δy，可以通過下式求出。另外，設旋轉偏移量δ為微小量，使用近似式cosδ1、sinδδ。
Δx＝x2-x1-r·δ·sinδ＝-δ·y1…(10)Δy＝y(tǒng)2-y1r·δ·cosδ＝δ·x1…(11)因此，若將上述式(7)中的Δx、Δy，在平移偏移量u、v中加入旋轉偏移量δ來表示，則如下式所示。
Δx＝u-δ·y1…(12)Δy＝v+δ·x1…(13)將它們代入上述式(7)中，就會得到以下的一般式。
S2＝∑{Px·(u-δ·y)+Py·(v+δ·x)-(B2-B1)}2…(14)
也就是說，通過利用最小自乘法求出使上述式(14)的S2最小的u、v、δ，就能夠高精度地檢測幀圖像間的不到1個像素的偏移量。另外，雖然本實施例中，通過斜率法來計算偏移量，但也可以使用塊匹配法(blockmatching)或反復斜率法，以及將它們組合起來的方法等進行計算。
A4.閾值的設定下面，說明如何對如上所述檢測出的偏移量(u，v，δ)，設定有助于圖像的高分辨率化、鮮亮化的范圍(閾值)。圖6是圖像偏移量與有助于鮮亮化的范圍的關系的說明圖。如圖所示，用平移偏移量u、v表示橫軸，用旋轉偏移量δ表示縱軸，用區(qū)域(a)、(b)、(c)表示有助于高分辨率化·鮮亮化的基準。這里，區(qū)域(a)表示由通常的手抖或搖攝產(chǎn)生的相鄰幀圖像間的偏移的范圍，區(qū)域(b)表示快速搖攝或故意實施旋轉操作時的相鄰幀圖像間的偏移的范圍，區(qū)域(c)表示能夠取得平移偏移量、旋轉偏移量的范圍。
在本實施例中，設區(qū)域(a)的范圍滿足以下條件，即-16像素≤平移偏移量u、v≤16像素，-1°≤旋轉偏移量δ≤1°。如果幀圖像間的偏移量包含在區(qū)域(a)中，則判斷為是有助于圖像鮮亮化的對象幀圖像。換言之，設定±16像素、±1°為有助于圖像鮮亮化的閾值。當然，該閾值雖然可以如上所述設為固定的值，但也可以根據(jù)圖像條件和合成條件等來進行設定。例如，可以作為將要合成的圖像整體的縱橫的像素數(shù)所對應的比例(例如，幾％至十幾％)來進行設定?；蛘咭部梢愿鶕?jù)抽出圖像的原始動態(tài)圖像的光學倍率等進行設定。這是由于，如果倍率低一般就不易產(chǎn)生抖動等。另外，上述閾值可以是學習到的?？梢宰屖褂谜邔铣珊蟮膱D像的良好與否進行判定，當判定為已滿足鮮亮化的要求時提高閾值，當判定為不滿足鮮亮化的要求時降低閾值，由此逐步學習到針對該使用者所使用的圖像的閾值。
一般來說，在用通常的數(shù)碼攝像機拍攝到的動態(tài)圖像中，手抖或搖攝所造成的相鄰幀圖像間的偏移量，其平移偏移量為幾像素，旋轉偏移量為1°以下左右。因此，通過選擇幀圖像間的偏移量進入?yún)^(qū)域(a)中的幀圖像，就可以從對象幀圖像中，排除例如因快速搖攝導致幀圖像本身包含抖動的這種幀圖像。此外，可以從對象幀圖像中，排除跨場景變化的這種幀圖像。
另外，由于包含在區(qū)域(a)中的幀圖像的旋轉偏移量δ為±1°以下，所以，因此為由上述“偏移量的檢測”過程導入的近似式cosδ1、sinδδ充分成立的范圍(保證偏移量檢測精度的范圍)。因此，通過將包含在區(qū)域(a)中的幀圖像作為對象幀圖像來使用，可以排除會使偏移量檢測精度降低的幀圖像。
B.第2實施例B1.圖像處理圖7是將多個圖像數(shù)據(jù)合成來生成一個靜止圖像的第2實施例的圖像處理的流程圖。如圖所示，與圖2所示的第1實施例的不同之處在于，設置了圖像合成處理的中止判斷步驟。所以，對與第1實施例共通的處理只作簡要說明。另外，由于第2實施例的圖像處理系統(tǒng)的硬件結構與第1實施例的相同，所以在此設其符號相同，并省略說明。
如圖7所示，用戶通過鍵盤41的操作開始圖像處理后，個人計算機30，從圖像數(shù)據(jù)庫20輸入幀圖像數(shù)據(jù)(步驟S400)。本實施例中，與第1實施例相同，設用戶指定的幀圖像為參照幀圖像F1，抽出從參照幀圖像F1起時序上連續(xù)的3幅幀圖像來作為對象幀圖像(F2～F4)(步驟S410)。
個人計算機30，檢測出各幀圖像間的偏移量(u，v，δ)(步驟S420)。該偏移量檢測處理與第1實施例同樣，檢測出參照幀圖像F1、與3幅對象幀圖像(F2～F4)的每一幅幀圖像間的偏移量(u，v，δ)。以下，如圖8所示，在該幀圖像間的偏移量檢測處理內(nèi)，將參照幀圖像F1與對象幀圖像F2之間的處理稱作處理S1-2，將對象幀圖像F2與對象幀圖像F3之間的處理稱作處理S2-3，將對象幀圖像F3與對象幀圖像F4之間的處理稱作處理S3-4。
個人計算機30，判斷檢測出的幀圖像間的偏移量內(nèi)，相鄰的一個幀圖像間偏移量(u，v，δ)是否是在第1實施例的閾值內(nèi)(步驟S430)。具體講就是，將由處理S1-2檢測出的偏移量(u，v，δ)與閾值進行比較。如果在步驟S430中，偏移量不在閾值內(nèi)，就在顯示器43上顯示警告畫面，告知即使執(zhí)行圖像的合成處理也無法得到鮮亮的圖像等(步驟S460)。然后顯示選擇畫面，讓用戶選擇是否執(zhí)行合成處理(步驟S465)。如果在步驟S465中，用戶選擇了不執(zhí)行合成處理，就中止合成處理(步驟S470)，并結束這一系列的圖像處理。
另一方面，如果在步驟S430中，偏移量在閾值內(nèi)，或在步驟S465中，偏移量雖然不在閾值內(nèi)但用戶仍選擇了執(zhí)行合成處理的情況下，判斷是否對所有其他相鄰幀圖像間實施過偏移量(u，v，δ)的確認(步驟S440)。如果并未對所有相鄰幀圖像間的偏移量實施過是否在閾值內(nèi)的確認，則返回步驟S430，對下個相鄰幀圖像間的偏移量的檢測進行判斷。具體講就是，如果由處理S1-2檢測出的偏移量滿足閾值的條件，就對處理S2-3的偏移量判斷條件。如果由處理S2-3檢測出的偏移量滿足閾值的條件，就對處理S3-4的偏移量判斷條件。在這個過程中，只要有一個不滿足閾值的偏移量，就與上述同樣，實施警告顯示(步驟S460)，然后讓用戶選擇是否執(zhí)行合成處理(步驟S465)。
如果個人計算機30，在步驟S440中判斷為所有的相鄰幀圖像間的偏移量均滿足閾值的條件，則執(zhí)行圖像的合成處理(步驟S450)。另外，與第1實施例同樣，在執(zhí)行合成處理前，為了排除相同或視為相同的幀圖像，對平移偏移量u、v進行判斷。個人計算機30，在顯示器43上顯示合成后的靜止圖像，同時，結束這一系列的圖像處理。該處理與第1實施例相同。
在第2實施例的圖像處理中，在包含無助于圖像合成的高分辨率化鮮亮化的圖像的情況下顯示警告，讓用戶選擇是否執(zhí)行圖像的合成處理?？梢匀菀椎嘏袛喑鲇脩羰欠裣Ｍ寛D像鮮亮化，并僅在希望讓圖像鮮亮化的情況下，選擇執(zhí)行花費處理時間的圖像合成處理。這樣，可以高效進行圖像處理。此外，一般來說，在數(shù)碼攝像機拍攝到的動態(tài)圖像中，有助于合成圖像的鮮亮化的幀圖像的相鄰幀圖像間的偏移量不會急劇變化。在本實施例中，在檢測出的相鄰幀圖像間的偏移量內(nèi)，至少有一個不滿足條件的情況下，顯示警告。也就是說，可以在圖像處理的早期階段，判斷是否中止圖像合成。因此，能夠構筑更高效的圖像處理系統(tǒng)。
另外，雖然本實施例中，在檢測出所有的相鄰幀圖像間的偏移量之后，再對偏移量進行判斷，但也可以檢測出一個相鄰幀圖像間的偏移量后就進行判斷，并只在一個相鄰幀圖像間滿足條件的時候，檢測下個相鄰幀圖像間的偏移量。此外，雖然本實施例中，哪怕存在一個偏移量超過閾值的圖像，也會發(fā)出警告來提請中止合成處理，但也可以設定用于執(zhí)行合成處理的圖像個數(shù)的允許值，在不滿足允許值的情況下，中止合成處理。例如，如果在抽出的4幅幀圖像中，有1幅圖像超過閾值，就將超過閾值的圖像排除在外，用3幅圖像進行合成處理；如果有2幅以上的圖像超過閾值，則中止合成處理。
C.第3實施例C1.圖像處理裝置的結構雖然第3實施例的圖像處理系統(tǒng)的硬件結構與第1實施例相同，但圖像數(shù)據(jù)庫20中保有的圖像數(shù)據(jù)(即，實施圖像合成處理的素材)不相同。所以，設各裝置的符號相同并省略說明，僅對處理的圖像數(shù)據(jù)進行說明。
第3實施例中處理的圖像數(shù)據(jù)，是用數(shù)碼靜態(tài)相機的連拍模式拍攝的多個靜止圖像數(shù)據(jù)。該靜止圖像數(shù)據(jù)是Exif形式的圖像文件，是在JPEG形式的圖像數(shù)據(jù)上，附加拍攝日期、曝光時間、有無閃光燈等的攝影信息的結構所組成的圖像文件。該數(shù)碼靜態(tài)相機的連拍模式中，通過連續(xù)按動快門，可以拍攝到1/30間隔的靜止圖像。圖像數(shù)據(jù)庫20中，保有至少4個以1/30秒間隔拍攝的Exif文件。該圖像文件，是具有根據(jù)攝影對象的亮度自動改變曝光時間攝影得到的圖像數(shù)據(jù)的文件。另外，本實施例中，雖然處理的是1/30秒間隔的靜止圖像，但也可以使用例如1秒鐘4張、9張這種用通常的連拍模式拍攝到的靜止圖像。
C2.圖像處理圖9是將多個圖像數(shù)據(jù)合成來生成一個靜止圖像的第3實施例的圖像處理的流程圖。上述的硬件結構中，安裝在個人計算機30中的圖像處理，通過用戶操作鍵盤41來開始。
個人計算機30，從圖像數(shù)據(jù)庫20中讀入用連拍模式拍攝的多個靜止圖像文件，并顯示在顯示器43上。用戶從所顯示的靜止圖像中，指定所希望的一個靜止圖像(步驟S500)。該指定操作，通過用鼠標器42點擊顯示器43上的一個靜止圖像來進行。
個人計算機30接受到一個靜止圖像的指定指令后，從讀入的靜止圖像文件中，抽出對所指定的靜止圖像時序上連續(xù)的3個靜止圖像(步驟S510)，并與第1實施例同樣，實施處理來對這4幅靜止圖像的各圖像間的偏移量進行檢測(步驟S520)。另外，為了加以區(qū)別，稱指定的靜止圖像為參照圖像，稱被抽出的靜止圖像為對象圖像。
接著，個人計算機30，為了判斷各圖像是否能夠用于圖像的合成，設定偏移量的閾值(步驟S530)。第3實施例中，不像第1實施例那樣具有固定的閾值，使用包含在各圖像文件的攝影信息中的曝光時間，來對每個成為對象的靜止圖像設定閾值。另外，關于該閾值的設定，將在后面敘述。
個人計算機30，判斷各圖像間的偏移量是否處于根據(jù)曝光時間設定的閾值內(nèi)。本實施例中，由于是用數(shù)碼靜態(tài)相機連續(xù)拍攝的靜止圖像，因此旋轉偏移量δ很小，對平移偏移量u、v實施是否在閾值以內(nèi)的判斷。個人計算機30實施處理，將判斷的結果為不滿足閾值條件的對象圖像，從合成的對象中排除(步驟S540)。
個人計算機30，使用未被排除而留下的對象圖像和參照圖像，進行圖像的合成處理(步驟S550)。該處理與第1實施例相同。個人計算機30，將如此合成的靜止圖像顯示在顯示器43上，同時結束該處理。
C3.閾值的設定圖10是用連拍模式拍攝的靜止圖像的拍攝周期與曝光時間的關系的說明圖。圖10表示在每個拍攝周期Tf中時序上連續(xù)拍攝的靜止圖像(F1、F2、F3…)的曝光時間Tp。本實施例中，如上所述，拍攝周期Tf是1/30秒，為固定的間隔，各靜止圖像中的曝光時間Tp對每個靜止圖像而言是變化的。
這里，求出時序上連續(xù)的靜止圖像F1與靜止圖像F2的偏移量(u、v、δ)。若用連拍模式拍攝，設旋轉偏移量δ很小，則圖像間的被攝物體的移動量mf，由式(15)表示。
mf＝(u2+v2)1/2…(15)該移動量mf，表示拍攝周期Tf的時間內(nèi)的移動量。
另一方面，如果一個靜止圖像內(nèi)的被攝物體的移動量mp，與圖像間的移動量mf呈比例關系，那么在一個靜止圖像內(nèi)的被攝物體的移動量mp，由式(16)表示。
mp＝mf×Tp/Tf…(16)該移動量mp，表示曝光時間Tp內(nèi)的移動量。
在該移動量mp超過1個像素的情況下，可以判斷出可能在一個靜止圖像內(nèi)產(chǎn)生了抖動。如果設該抖動的允許量為1個像素以下的規(guī)定值mpt，則圖像間的移動量mf，可以由式(17)表現(xiàn)。
mf＝mpt×Tf/Tp…(17)也就是說，將滿足該條件式的范圍，設為圖像間的偏移量(u、v)的閾值。
上述式(17)中，對于曝光時間Tp較長的靜止圖像，圖像間的偏移量的允許范圍較窄；對于曝光時間Tp較短的靜止圖像，圖像間的偏移量的允許范圍較寬。因此，能對拍攝條件不同的每個靜止圖像，設定適當?shù)钠屏康拈撝怠Ａ硗?，雖然在本實施例中，拍攝周期Tf為1/30秒是固定的，但即使攝影周期變化，通過設定滿足上述式(17)的閾值，也可以檢測出有抖動的圖像。
在本實施例中，通過使用每個靜止圖像的曝光時間Tp來逐個設定閾值，能夠?qū)㈧o止圖像內(nèi)有可能產(chǎn)生抖動的靜止圖像適當?shù)嘏懦谕?。因此，可以高效地進行圖像處理。另外，雖然第3實施例中，與第1實施例同樣，將不適當?shù)膱D像排除后進行合成處理，但也可以像第2實施例那樣，中止圖像的合成。
此外，從本發(fā)明的第1實施例到第3實施例中，都說明的是將時序上連續(xù)的圖像作為素材，但本發(fā)明并不是僅限于此。例如，也可以選擇不同日、從相同角度拍攝的圖像，來作為圖像合成處理用的素材。另外，也可以將鄰近的2臺數(shù)碼攝像機、數(shù)碼靜態(tài)相機等同時拍攝的圖像，作為圖像合成處理用的素材。在這種情況下，即使2臺相機各自的分辨率都較低，但通過合成處理，也能輸出高分辨率的靜止圖像。
以上，雖然說明了本發(fā)明的實施方式，但本發(fā)明并不限定于這些實施方式，當然可以在不脫離本發(fā)明主旨的范圍內(nèi)，以各種方式來實施。
產(chǎn)業(yè)上的利用可能性本實施例中，雖然將個人計算機作為本發(fā)明的圖像處理裝置來進行說明，但也可以在例如打印機、數(shù)碼攝像機、數(shù)碼靜態(tài)相機等各種機器中實施。本發(fā)明的圖像處理裝置和圖像處理方法，既可以在計算機上單獨實現(xiàn)，也可以通過內(nèi)置于這些機器中的方式來實施。
權利要求
1.一種圖像處理裝置，根據(jù)多個圖像生成像素密度高的靜止圖像，具備圖像抽出裝置，抽出用于生成所述靜止圖像的多個圖像；偏移量檢測裝置，檢測出所述抽出的多個圖像間的偏移量；確定裝置，根據(jù)所述檢測出的偏移量，從所述抽出的多個圖像之中確定2個以上的圖像；以及，圖像合成裝置，將所述確定的2個以上的圖像合成，來生成1個靜止圖像。
2.根據(jù)權利要求1所述的圖像處理裝置，其特征在于，所述圖像抽出裝置，具備指定成為合成所述1個靜止圖像的基準的圖像的指定裝置，并相對于該指定的圖像，按照事先關聯(lián)的順序，抽出多個圖像。
3.根據(jù)權利要求2所述的圖像處理裝置，其特征在于，所述多個圖像，是時序上連續(xù)的多個圖像，所述關聯(lián)的順序，是從所述指定的圖像起連續(xù)的時序順序。
4.根據(jù)權利要求1～3的任一項所述的圖像處理裝置，其特征在于，具備合成個數(shù)顯示裝置，在生成所述1個靜止圖像之前，顯示用于合成所述圖像的圖像個數(shù)。
5.根據(jù)權利要求1～4的任一項所述的圖像處理裝置，其特征在于，具備警告裝置，在所述確定的2個以上的圖像的個數(shù)沒有達到規(guī)定的個數(shù)的情況下，顯示警告。
6.根據(jù)權利要求1～5的任一項所述的圖像處理裝置，其特征在于，具備選擇裝置，在所述確定的2個以上的圖像的個數(shù)沒有達到規(guī)定的個數(shù)的情況下，選擇是否執(zhí)行所述圖像的合成。
7.根據(jù)權利要求1～6的任一項所述的圖像處理裝置，其特征在于，具備中止裝置，在所述確定的2個以上的圖像的個數(shù)沒有達到規(guī)定的個數(shù)的情況下，中止所述圖像的合成。
8.根據(jù)權利要求1～7的任一項所述的圖像處理裝置，其特征在于，所述確定裝置，具備將所述檢測出的偏移量超出規(guī)定閾值的圖像從所述抽出的多個圖像中排除的排除裝置，并將被該排除裝置排除的圖像以外的圖像，確定為所述2個以上的圖像。
9.根據(jù)權利要求8所述的圖像處理裝置，其特征在于，所述檢測出的偏移量，是圖像間的平移方向的平移偏移量和/或旋轉方向的旋轉偏移量，所述排除裝置，將所述平移偏移量和/或所述旋轉偏移量超過所述規(guī)定的閾值的圖像排除。
10.根據(jù)權利要求9所述的圖像處理裝置，其特征在于，所述規(guī)定的閾值，是相對構成所述圖像的像素數(shù)定出規(guī)定的比例的像素數(shù)。
11.根據(jù)權利要求9所述的圖像處理裝置，其特征在于，所述平移偏移量的規(guī)定閾值是±16個像素，所述旋轉偏移量的規(guī)定閾值是±1。。
12.根據(jù)權利要求1～11的任一項所述的圖像處理裝置，其特征在于，所述多個圖像，是包含在動態(tài)圖像中的多個幀圖像。
13.根據(jù)權利要求8～11的任一項所述的圖像處理裝置，其特征在于，所述多個圖像，是具有曝光時間的信息的多個靜止圖像，該曝光時間隨攝影時的攝影對象的亮度變化，具備閾值設定裝置，根據(jù)所述曝光時間，對每個所述靜止圖像設定所述規(guī)定的閾值。
14.一種圖像處理方法，根據(jù)多個圖像生成像素密度高的靜止圖像，包括抽出用于生成所述靜止圖像的多個圖像；檢測出所述抽出的多個圖像間的偏移量；根據(jù)所述檢測出的偏移量，從所述抽出的多個圖像之中確定2個以上的圖像；以及，將所述確定的2個以上的圖像合成，來生成1個靜止圖像。
15.根據(jù)權利要求14所述的圖像處理方法，其特征在于，在所述確定的2個以上的圖像沒有達到規(guī)定的個數(shù)的情況下，中止所述圖像的合成。
16.一種圖像處理裝置，根據(jù)多個圖像生成像素密度高的靜止圖像，，具備輸出器，抽出用于生成所述靜止圖像的多個圖像；運算器，對所述抽出的多個圖像間的偏移量，根據(jù)該圖像的數(shù)據(jù)進行運算；選擇器，根據(jù)所述運算出的偏移量，從所述抽出的多個圖像之中確定2個以上的圖像；以及，圖像合成器，將所述確定的多個圖像合成，來生成1個靜止圖像。
17.一種計算機程序產(chǎn)品，讀入到計算機中，來實現(xiàn)根據(jù)多個圖像生成像素密度高的靜止圖像的處理，其中，該計算機程序產(chǎn)品，由程序代碼、和存儲該程序代碼的存儲媒體構成，所述程序代碼，具備抽出用于生成所述靜止圖像的多個圖像的第1程序代碼；檢測出所述抽出的多個圖像間的偏移量的功能；根據(jù)所述檢測出的偏移量，從所述抽出的多個圖像之中確定2個以上的圖像的第2程序代碼；以及，將所述確定的2個以上的圖像合成，來生成1個靜止圖像的第3程序代碼。
全文摘要
本發(fā)明提供一種圖像處理裝置，根據(jù)多個圖像生成像素密度高的靜止圖像，具備抽出用于生成所述靜止圖像的多個圖像的圖像抽出裝置；檢測出所述抽出的多個圖像間的偏移量的偏移量檢測裝置；將所述檢測出的偏移量超過規(guī)定閾值的圖像從所述抽出的多個圖像中排除的排除裝置；以及，將上述排除的圖像以外的多個圖像合成來生成1個靜止圖像的圖像合成裝置。能夠在根據(jù)多個圖像生成一個靜止圖像的時候，高效地實施圖像處理。
文檔編號H04N1/387GK1879401SQ20048003301
公開日2006年12月13日 申請日期2004年11月11日 優(yōu)先權日2003年11月11日
發(fā)明者相磯政司 申請人:精工愛普生株式會社