專利名稱：圖像處理系統(tǒng)、圖像處理方法和圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理系統(tǒng)、圖像處理方法和圖像處理程序，并且特別地涉及用于指定其中基于假設(shè)幾何變形模型計算的在圖像之間的像素關(guān)系由于被攝體的局部運動而變得不適當?shù)膮^(qū)域的圖像處理系統(tǒng)、圖像處理方法和圖像處理程序。
背景技術(shù)：
使用多個幀的圖像生成高分辨率圖像的方法的實例是多幀退化逆變換方法(例如，見專利文獻(PTL) 1)。通常，在利用照相機捕捉被攝體圖像的多個幀的情形中，照相機的位置或者姿態(tài)從幀到幀輕微地改變。這在不同圖像之間引起被攝體的采樣位置的子像素水平位移。這里述及的子像素水平位移意味著例如利用小于一個像素的精度表達的位移。由于這種輕微的位移，在圖像之間，被攝體的同一部分的像素在像素值方面不同。在多幀退化逆變換方法中，被攝體的位置位移是被以小于像素間隔的高精度估計的，由此從為被攝體的同一部分捕捉的多個圖像的像素值生成高分辨率圖像。這種方法包括以高精度估計被攝體的位置位移的位置位移量估計過程，和基于所獲得的位置位移量生成高質(zhì)量圖像的高質(zhì)量圖像生成過程。在下面更加詳細地描述了這些過程。圖20示出經(jīng)歷位置位移量估計的圖像的實例。圖20(a)所示圖像101是在多個輸入圖像中用作參考的參考圖像，而圖20(b)所示圖像102是除了參考圖像之外的輸入圖像。 在參考圖像101中的大樓103和房子104和在另一圖像102中的大樓105和房子106是相同的被攝體。當捕捉圖像102時照相機的位置或者姿態(tài)不同于當捕捉參考圖像101時照相機的位置或者姿態(tài)。這在圖像101和102之間在代表同一部分的像素的位置中引起位移。 于在多個圖像之間估計這種像素位置位移的情形中，預(yù)先假設(shè)幾何變形模型，并且基于變形模型對于每一個像素計算位置位移量。于在該多個輸入圖像之間估計每一個像素的位置位移量之后，基于估計位置位移量從該多個輸入圖像獲得了高分辨率圖像的像素值。例如， 作為這種技術(shù)，已知ML (最大似然)方法、MAP (最大后驗)方法等(見非專利文獻(NPL) 1)。于在被攝體中包括移動對象的情形中，移動對象不同于由假設(shè)變形模型示意的變化地移動。這引起像素的不正確的估計的位置位移量。為了從包括這種被攝體的圖像生成高分辨率圖像，帶有不正確的估計的位置位移量的像素被檢測，并且使用除了檢測到的像素之外的像素應(yīng)用ML方法或者MAP方法。在NPL 2中描述了檢測帶有不正確的估計的位置位移量的像素的方法。在NPL 2中描述的方法中，基于在圖像之間的像素差檢測帶有不正確的位置位移量的像素。而且，在PTL 2中描述了考慮圖像中的運動部分地生成高分辨率圖像的方法。在 PTL 2中描述的方法中，在于除了參考幀之外的目標圖像中經(jīng)歷運動確定的對象像素和圍繞該對象像素的、在參考幀中的像素之間計算亮度值的最大值和最小值。最大值由Vmax表示，并且最小值由Vmin表示。對象像素的亮度值由Vtest表示。閾值由Δ Vth表示。在以下兩個表達式得以滿足的情形中，對象像素被確定為不具有任何運動。否則，對象像素被確定為具有運動。
Vtest > Vmin- Δ VthVtest < Vmax+ Δ Vth引用列表專利文獻PTL 1 日本專利申請公開No. 2000-188680(第3到7頁)PTL 2 日本專利申請公開 No. 2005-130443(第 0091、0110、0112 段)非專利文獻NPL 1 :Sung Cheol Park, Min Kyu Park, Moon Gi Kang, "Super-resolution image reconstruction -.a technical overview", Signal Processing Magazine, IEEE, Volume 20，Issue 3，May 2003，p. 21 to 36( “超分辨率圖像重構(gòu)技術(shù)概述”，信號處理雜志，IEEE，卷20，期3，2003年5月，第21至36頁)NPL 2 :Zoran A. Ivanovski, Ljupcho Panovski, Lina J. Karam, "Robust super-resolution based on pixel-level selectivity", Proc. SPIE, Vol.6077,607707, 2006 ( “基于像素水平選擇性的魯棒性超分辨率”，SPIE會議錄，卷6077，607707，2006)

發(fā)明內(nèi)容
技術(shù)問題在移動對象作為被攝體存在的情形中，如果移動對象的運動未被加以考慮，則不能以高精度估計每一個像素的位置位移量。這使得從多個輸入圖像獲得高分辨率圖像是不可能的。圖21示出在不僅圖20所示大樓和房子而且還有月亮作為被攝體得以捕捉的情形中的圖像。圖21 (a)示出參考圖像201，而圖21(b)示出另一圖像202。與在圖20中的那些相同的被攝體被給予與在圖20中相同的參考符號。在參考圖像201中的大樓103和房子104被一致地變形為在另一圖像202中的大樓105和房子106。在另一方面，由月亮自身的運動引起的位置位移在參考圖像201中的月亮207和另一圖像202中的月亮208之間發(fā)生，從而月亮部分的變形并不符合于由預(yù)先假設(shè)的幾何變形模型示意的變形，即，在該實例中整個圖像的一致變形。因為這個部分的估計位置位移量是不正確的，所以獲得高質(zhì)量圖像是不可能的。在NPL 2和PTL 2中描述的技術(shù)以不正確的估計位置位移量指定這種區(qū)域。通過在排除這個區(qū)域的同時生成高質(zhì)量圖像，與在移動對象的運動未被加以考慮的情形中相比，圖像質(zhì)量能夠得以改善。然而，如在NPL 2中描述的方法中，在使用在相應(yīng)的圖像之間的簡單像素差的方法中，如果在相鄰像素之間存在大的像素值變化，則實際上適合于在高質(zhì)量圖像生成過程中使用的區(qū)域趨向于被確定為不適合于高質(zhì)量圖像生成過程的區(qū)域。因此，存在以下問題， 即，在帶有大的像素值變化的區(qū)域中，排除這種區(qū)域也導(dǎo)致圖像質(zhì)量改善效果的降低。在下面更加詳細地描述了這個問題。通常，由于在照相機的位置或者姿態(tài)中的輕微的改變，在圖像之間代表同一被攝體部分的像素在像素值方面不同。于在相鄰像素之間帶有大像素值變化的區(qū)域中，這個趨勢是特別地明顯的。相應(yīng)地，在基于在多個圖像之間相應(yīng)像素的簡單像素值差執(zhí)行不適當區(qū)域確定的情形中，即便像素代表同一部分，該區(qū)域也被確定為不適當區(qū)域。圖22示出相應(yīng)的像素的大像素值變化的實例。圖22(a)示出由黑色區(qū)域和白色區(qū)域構(gòu)成的被攝體301。假設(shè)作為利用不同的照相機位置或者姿態(tài)捕捉這個被攝體的圖像的結(jié)果獲得了圖像302和303，此時圖像302和303之間發(fā)生等價于0. 5像素的位置位移。在圖像302中的右上像素304是黑色的。同時，因為以0.5像素從圖像302 移位，在圖像303中的右上像素305是灰色的，這是在黑色和白色之間的中間顏色。雖然像素304和305這兩者都是代表圖像301的同一部分的像素，但是像素304是黑色的，而像素 305是灰色的，從而在像素304和305之間存在大的像素值差。結(jié)果，諸如實際上代表同一部分的像素304和305這樣的區(qū)域趨向于被確定為不適合于高質(zhì)量成像過程的區(qū)域，并且被從高質(zhì)量成像過程排除。在PTL 2中描述的方法中，同樣，存在應(yīng)該被確定為適合于高質(zhì)量成像過程的像素被確定為不適當?shù)南袼氐目赡苄?。圖23是示出這種情況的實例的說明圖。為了簡潔起見，在圖23中像素坐標以一維繪制。在圖23中，橫軸是像素坐標軸，并且縱軸代表像素亮度值。圓形標識參考圖像中的像素，并且正方形標識另一圖像中的像素。這里假設(shè)像素150 是對象像素，并且像素160到162是圍繞像素150的像素。圖23(b)示出被確定為不是運動圖像的區(qū)域。如在圖23(b)中所示，當像素162的亮度值是Vmin并且像素160的亮度值是Vmax時，如果對象像素的亮度值不被包括在(Vmin-AVth)到(Vmax+AVth)的范圍中， 則對象像素被確定為不適當區(qū)域的像素。因此，圖23所示對象像素150被確定為不適當區(qū)域的像素。然而，對象像素150的亮度值接近像素160的亮度值，并且從而像素150能夠被視為適合于高質(zhì)量成像過程的像素。在PTL 2中描述的方法中，即使這種像素150也被確定為不適合于高質(zhì)量成像過程的像素。以上作為實例描述了從多個輸入圖像生成高質(zhì)量圖像的情形。在其它情形中，同樣，可能需要指定并不符合于由假設(shè)幾何變形模型示意的變化的局部區(qū)域。鑒于此，本發(fā)明的一個示例性目的在于提供能夠高度準確地確定并不與假設(shè)的改變相符合的局部區(qū)域的圖像處理系統(tǒng)、圖像處理方法、和圖像處理程序。技術(shù)方案根據(jù)本發(fā)明的圖像處理系統(tǒng)包括位置位移量計算裝置，所述位置位移量計算裝置用于計算在目標圖像和參考圖像之間的位置位移的位置位移量，所述目標圖像是經(jīng)歷是否存在不與相對于所述參考圖像的假設(shè)的改變相符合的局部區(qū)域的確定的圖像；和像素操作裝置，所述像素操作裝置用于通過當所述目標圖像得以校正從而消除位置位移時指定與在所述目標圖像中的像素的位置最靠近的、在所述參考圖像中的像素，而使得在所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，計算作為相關(guān)像素的各自向量的差向量的相關(guān)像素差向量，并且基于所述相關(guān)像素差向量和在預(yù)定空間中的橢圓體，確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素，所述橢圓體與在所述參考圖像中的像素相關(guān)。根據(jù)本發(fā)明的圖像處理方法包括計算在目標圖像和參考圖像之間的位置位移的位置位移量，所述目標圖像是經(jīng)歷是否存在不與相對于所述參考圖像的假設(shè)的改變相符合的局部區(qū)域的確定的圖像；和通過當所述目標圖像得以校正從而消除位置位移時指定與在所述目標圖像中的像素的位置最靠近的、在所述參考圖像中的像素，而使得在所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，計算作為相關(guān)像素的各自向量的差向量的相關(guān)像素差向量，并且基于所述相關(guān)像素差向量和在預(yù)定空間中的橢圓體，確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素，所述橢圓體與在所述參考圖像中的像素相關(guān)。根據(jù)本發(fā)明的圖像處理程序使得計算機執(zhí)行位置位移量計算過程，所述位置位移量計算過程計算在目標圖像和參考圖像之間的位置位移的位置位移量，所述目標圖像是經(jīng)歷是否存在不與相對于所述參考圖像的假設(shè)的改變相符合的局部區(qū)域的確定的圖像；和像素操作過程，所述像素操作過程通過當所述目標圖像得以校正從而消除位置位移時指定與在所述目標圖像中的像素的位置最靠近的、在所述參考圖像中的像素，而使得在所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，計算作為相關(guān)像素的各自向量的差向量的相關(guān)像素差向量，并且基于所述相關(guān)像素差向量和在預(yù)定空間中的橢圓體，確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素，所述橢圓體與在所述參考圖像中的像素相關(guān)。技術(shù)效果根據(jù)本發(fā)明，能夠以高精度確定不與假設(shè)的改變相符合的局部區(qū)域。


圖1是示出在本發(fā)明示例性實施例1中的圖像處理系統(tǒng)的實例的框圖。圖2是示出可接受空間的實例的說明圖。圖3是每一個均示出最大變化向量的說明圖。圖4是示出經(jīng)校正目標圖像中的像素和參考圖像中的像素的說明圖。圖5是示出在示例性實施例1中的處理的實例的說明圖。圖6是示出在本發(fā)明的示例性實施例2中的圖像處理系統(tǒng)的實例的框圖。圖7是示出在經(jīng)校正目標圖像中的像素和參考高分辨率圖像中的像素的說明圖。圖8是示出在示例性實施例2中的處理的實例的流程圖。圖9是示出在本發(fā)明的示例性實施例3中的圖像處理系統(tǒng)的實例的框圖。圖10是示出在目標圖像中的像素值替代的實例的說明圖。圖11是示出在示例性實施例3中的處理的實例的流程圖。圖12是示出在本發(fā)明的示例性實施例4中的圖像處理系統(tǒng)的實例的框圖。圖13是示出混合圖像生成的實例的說明圖。圖14是示出在示例性實施例4中的處理的實例的流程圖。圖15是示出在本發(fā)明的示例性實施例5中的圖像處理系統(tǒng)的實例的框圖。圖16是示出在示例性實施例5中的處理的實例的流程圖。圖17是示出在本發(fā)明的示例性實施例6中的圖像處理系統(tǒng)的實例的框圖。圖18是示出不適當區(qū)域的實例的說明圖。圖19是示出根據(jù)本發(fā)明的最小結(jié)構(gòu)的框圖。圖20是示出經(jīng)歷位置位移量估計的圖像的實例的說明圖。圖21是示出在其中不僅圖20所示大樓和房子而且還有月亮作為被攝體得以捕捉的情形中的圖像的圖表。圖22是示出相應(yīng)的像素的大像素值變化的實例的說明圖。圖23是示出其中應(yīng)該被確定為適合于高質(zhì)量成像過程的像素的像素被確定為不適當?shù)南袼氐膶嵗恼f明圖。
具體實施例方式參考附圖在下面描述了本發(fā)明的示例性實施例。以下作為實例描述了其中輸入多個彩色圖像并且在彩色圖像中指定并不符合于由假設(shè)的幾何變形模型示意的變化的局部區(qū)域的情形。示例性實施例1圖1是示出在本發(fā)明的示例性實施例1中的圖像處理系統(tǒng)的實例的框圖。在這個示例性實施例中的圖像處理系統(tǒng)包括在程序控制下操作的計算機(CPU、處理器、數(shù)據(jù)處理器)400、圖像輸入裝置410，和圖像輸出裝置420。計算機400包括位置位移量估計裝置 401、不適當區(qū)域確定裝置402、和圖像重構(gòu)裝置403。不適當區(qū)域確定裝置402包括可接受區(qū)域計算裝置404、像素差計算裝置405、不適當區(qū)域提取裝置406、和不適當區(qū)域存儲裝置 407。圖像輸入裝置410包括參考圖像輸入裝置411和目標圖像輸入裝置412。令K是輸入到圖像輸入裝置410的圖像的數(shù)目。圖像編號k(k =1,...,K)被分配給每一個圖像， 由此通過它的圖像編號區(qū)別每一個圖像。每一個輸入圖像均具有相同數(shù)目的像素。在一個圖像中的每一個像素由像素編號i識別的情形中，由^表示其元素是在具有圖像編號k 的圖像中的像素i的像素值的向量。例如，在圖像由YUV信號表示的情形中，其元素是在具有圖像編號k的圖像中的像素i的像素值的向量^d被表達為三維向量^d = (Yki, Uki, Vki) tO Yki是第i像素的Y信號(亮度)，并且Uki和Vki是第i像素的U信號和V信號(色度信號)。同時，t表示轉(zhuǎn)置矩陣。雖然這里作為實例描述了其中圖像由YUV信號表示的情形，但是圖像可以被以其它格式表示。例如，圖像可以被以RGB格式表示。在此情形中，&是其元素是R、G和B分量的三維向量。向量^ti的維數(shù)不限于三。例如，在其中圖像被以灰度級表示的情形中，向量&是一維向量。在其中圖像是多光譜圖像或者高光譜圖像的情形中，向量&是具有比三更大的維數(shù)的多維向量。假設(shè)在輸入圖像中的每一個個體像素均由r個信號表示。貝U， 色彩空間是r維空間，并且向量&是r維向量。以下作為實例描述了其中圖像被以YUV格式表示的情形。以下描述了圖1所示的每一個裝置。這里，在位置位移量估計計算中用作參考的圖像被稱作參考圖像，并且經(jīng)歷像素從參考圖像移位多少的計算的圖像被稱作目標圖像。在輸入到圖像輸入裝置410的K個圖像中，一個圖像是參考圖像并且其余圖像中的每一個均是目標圖像。K個輸入圖像中的任何一個可以被設(shè)為參考圖像。這個示例性實施例描述了其中第一圖像(其中k = 1的圖像) 被設(shè)為參考圖像的實例。參考圖像輸入裝置411接收在位置位移量估計計算中用作參考的參考圖像的輸入，并且存儲參考圖像。目標圖像輸入裝置412接收目標圖像的輸入，并且存儲目標圖像。位置位移量估計裝置401基于輸入到參考圖像輸入裝置411的參考圖像中的像素值和輸入到目標圖像輸入裝置412的目標圖像中的像素值以子像素精度(小于一個像素的精度)計算它們的相對位置位移量，并且存儲位置位移量。這里述及的位置位移是由假設(shè)的幾何變形模型示意的改變誘發(fā)的位置位移。位置位移量估計裝置401還可以指定示意參考圖像中的像素應(yīng)該被改變?yōu)槟囊粋€位置以獲得目標圖像的變換方法。目標圖像相對于參考圖像的改變由一致幾何變形模型諸如平移或者旋轉(zhuǎn)、利用諸如B-樣條函數(shù)(B-spline)的插值函數(shù)表達的非一致幾何變形模型或者這些幾何變形模型的組合示意。即，由假設(shè)的幾何變形模型示意的改變具有包括整個圖像的一致改變和整個圖像的非一致改變的類型。位置位移量估計裝置401可以預(yù)先為這些改變類型中的每一種存儲示意圖像變換方法和改變量的參數(shù)，并且使用所存儲信息估計位置位移量。例如，位置位移量估計裝置401可以利用每一種變換方法變換參考圖像，為每一個像素計算在變換的圖像中的像素值和目標圖像中的像素值之間的差，求取計算的差的總和，并且指定對應(yīng)于最小總和的變換方法和改變量以由此確定位置位移量?？商娲兀瑤缀巫冃文Ｐ?用于參考圖像的變換方法的類型)可以是預(yù)定的，其中位置位移量估計裝置401估計在變形模型中的變換量(即位置位移的改變量)。例如，假設(shè)基于照相機位置差的、在參考圖像和目標圖像之間的位置位移能夠由預(yù)定變換方法諸如平移示意，則位置位移量估計裝置401可以估計位置位移的改變量(例如平移量)。在此情形中，位置位移量估計裝置401可以例如通過梯度方法等的使用而計算與在變換的參考圖像中的像素的像素值和目標圖像中的像素的像素值之間的差的最小平方和對應(yīng)的這種改變量，并且指定示意改變量的參數(shù)以由此確定位置位移量。在下面的參考文獻1中描述了以此方式指定位置位移量的方法。[參考文 l]Bruce D.Lucas, Takeo Kanade,"An Iterative Registration Technique with an Application to Stereo Vision，，，Proceedings of Imaging Understanding Workshop，1981，pp. 121 to 130( “應(yīng)用于立體視覺的迭代配準技術(shù)”，IUff 會議錄，1981，第121至130頁)。以下作為實例描述了其中幾何變形模型是預(yù)定的并且位置位移量估計裝置401 估計變形模型中的改變量的情形。即，在下面作為實例描述了其中從參考圖像到目標圖像的變換方法是預(yù)先已知的并且執(zhí)行與改變量有關(guān)的估計的情形。位置位移量估計裝置401對于每一個個體目標圖像估計從參考圖像的位置位移量。不適當區(qū)域確定裝置402對于每一個目標圖像，使用被存儲在參考圖像輸入裝置 411中的參考圖像中的像素值和由位置位移量估計裝置401獲得的圖像間位置位移量來指定不適合于高質(zhì)量圖像生成過程的區(qū)域，并且存儲所指定的區(qū)域。可接受區(qū)域計算裝置404使用在輸入到參考圖像輸入裝置411的參考圖像中的像素值計算可接受區(qū)域，并且存儲所計算的可接受區(qū)域。可接受區(qū)域是在色彩空間中的如下的區(qū)域，即，該區(qū)域用于確定在目標圖像中的像素是否是與由假設(shè)的幾何變形模型示意的改變相符合的區(qū)域的像素。在這個示例性實施例中，如上所述地，預(yù)先假設(shè)幾何變形模型。 為參考圖像中的每一個個體像素確定了可接受區(qū)域。假設(shè)目標圖像被校正從而消除從參考圖像的位置位移，并且最靠近經(jīng)校正的目標圖像中的像素的、在參考圖像中的像素得以指定以使得在目標圖像中的像素與在參考圖像中的像素相關(guān)。在這種情形中，如果相對于在參考圖像中的像素由目標圖像中的像素的像素值示意的在色彩空間中的位置被包括于參考圖像中的像素的可接受區(qū)域中，則目標圖像中的像素能夠被視為與由預(yù)先假設(shè)的幾何變形模型示意的改變相符合的區(qū)域的像素(換言之，不存在由固定對象的運動等引起的局部改變的區(qū)域)。可接受區(qū)域計算裝置404對于參考圖像中的每一個像素計算這種可接受區(qū)域。注意，上述目標圖像校正(用于消除位置位移的校正)被與可接受區(qū)域計算分開地執(zhí)行，并且從而在可接受區(qū)域計算中沒有使用目標圖像。圖2是示出可接受空間的實例的說明圖。在圖2所示色彩空間中，位置1403(Xli) 是由參考圖像中的像素的像素值示意的色彩空間中的位置。橢圓體1401是為參考圖像中的這個像素計算的可接受區(qū)域。位置14020 )是由目標圖像中的像素示意的色彩空間中的位置。因為位置1402處于可接受區(qū)域1401中，所以在目標圖像中的像素被確定為與由預(yù)先假設(shè)的幾何變形模型示意的改變相符合的區(qū)域。在另一方面，當圖2所示的位置 1404(xkl)是由目標圖像中的像素的像素值示意的色彩空間中的位置時，因為位置1404在可接受區(qū)域1401外，所以在目標圖像中的像素被確定為不是與由預(yù)先假設(shè)的幾何變形模型示意的改變相符合的區(qū)域?？山邮軈^(qū)域計算裝置404逐一地選擇在輸入到參考圖像輸入裝置411的參考圖像中的像素，并且為每一個像素計算可接受區(qū)域。在已經(jīng)選擇了像素之后，可接受區(qū)域計算裝置404為所選擇的像素計算最大變化向量。可接受區(qū)域計算裝置404然后設(shè)置如下的橢圓體作為可接受區(qū)域，即，該橢圓體沿著中心軸線方向的半徑(此后“中心軸線半徑”)是最大變化向量的幅度并且其中心軸線方向是與最大變化向量相同的方向。注意，雖然在η維色彩空間中的η維橢圓體具有η個主軸，但是除了中心軸線之外的(η-1)個軸線方向中的每一個的半徑均是預(yù)定的。中心軸線是在η維橢圓體的η個主軸中具有最長主軸方向半徑的軸線。在其中最大變化向量的幅度小于(η-1)個軸線方向的預(yù)定半徑的情形中，可接受區(qū)域計算裝置404設(shè)置預(yù)定半徑的最大長度作為中心軸線半徑。例如，在計算在圖2中作為實例示出的三維橢圓體的情形中，短軸半徑是預(yù)定的，并且可接受區(qū)域計算裝置404設(shè)置其長軸半徑是最大變化向量的幅度的區(qū)域作為可接受區(qū)域。這里，如果最大變化向量的幅度小于短軸半徑，則可接受區(qū)域計算裝置404設(shè)置其長軸半徑與短軸半徑相同的橢圓體作為可接受區(qū)域。圖3Α和圖;3Β是示出最大變化向量的說明圖。圖3Α示出選自參考圖像的像素i 和鄰近于像素i的周圍像素。如在圖3A中所示，存在圍繞選定像素i的八個像素?？山邮軈^(qū)域計算裝置404計算在選定像素i和它的周圍像素中的每一個之間的差向量?？山邮軈^(qū)域計算裝置404計算通過從其元素是像素i的周圍像素的像素值的向量減去其元素是像素 i的像素值的向量而獲得的向量，作為差向量。例如，當Xli和Xlj分別地表示圖3A所示像素i和j的向量時，可接受區(qū)域計算裝置404計算Xlj-Xli作為差向量。注意，在色彩空間中，從具有作為坐標值的、像素i的像素值的位置到具有作為坐標值的、像素i的周圍像素的像素值的位置的方向被稱作像素值梯度。這樣，上述差向量的方向能夠被視為像素值梯度。在其中如在圖3A中所示存在八個周圍像素的情形中，可接受區(qū)域計算裝置404計算八個差向量?？山邮軈^(qū)域計算裝置404從差向量中指定具有最大幅度的差向量。所指定的向量被稱作最大變化向量。在選定像素的周圍像素中形成最大變化向量的像素被稱作最大變化像素。由可接受區(qū)域計算裝置404計算的差向量是在參考圖像中的像素及其周圍像素之間的差向量，并且能夠被稱作相鄰像素差向量。在圖3A所示實例中，假設(shè)像素j是最大變化像素。令位置1703是由選定像素的像素值示意的色彩空間(在這個示例性實施例中YUV空間)中的位置(見圖:3B)，并且位置 1706是由最大變化像素j的像素值示意的色彩空間中的位置(見圖:3B)。這樣，圖:3B所示向量1705是最大變化向量。為參考圖像中的像素i所計算的最大變化向量由Axli表示?？山邮軈^(qū)域計算裝置404計算示意如下的橢圓體的參數(shù)，并且存儲所計算的參數(shù)，即，該橢圓體的中心是由選定像素i的像素值示意的色彩空間中的位置、其中心軸線半徑是最大變化向量Δχ 的幅度，并且其中心軸線方向是與最大變化向量相同的方向。在作為實例在圖2中示出的三維橢圓體的情形中，長軸是中心軸線?？山邮軈^(qū)域計算裝置404設(shè)置橢圓體作為可接受區(qū)域。這意味著指定如下這種可接受區(qū)域，其從作為由選定像素i的像素值示意的色彩空間中的位置的中心到可接受區(qū)域在中心軸線上的每一個頂點具有相等的距離。換言之，在沿著中心軸線方向從中心展寬橢圓體時不存在任何失衡。例如，在圖3A所示實例中，即使當在圍繞像素i的像素中除了像素j之外的像素值是接近像素i的像素值時，可接受區(qū)域計算裝置404也不將一個長軸設(shè)為長并且將另一長軸設(shè)為短。最大變化向量的方向根據(jù)選定像素而不同。此外，當在像素i及其周圍像素之間存在更大像素值變化時，最大變化向量的幅度更大。因此，對于在參考圖像中的每一個像素，可接受區(qū)域計算裝置404根據(jù)最大變化向量的方向和幅度來確定可接受范圍。以上描述了其中由選定像素i的像素值示意的色彩空間中的位置被設(shè)為橢圓體的中心并且根據(jù)最大變化向量確定橢圓體的中心軸線方向和中心軸線半徑的情形。然而， 作為可接受區(qū)域的橢圓體可以由其它方法確定。例如，可接受區(qū)域計算裝置404可以計算選定像素i及其周圍八個像素的平均像素值。作為實例，在其中像素具有YUV格式的情形中，可接受區(qū)域計算裝置404可以計算選定像素及其周圍像素的Y信號的平均值、U信號的平均值和V信號的平均值，并且然后確定由Y、U和V信號的平均值中的每一個示意的色彩空間中的位置作為橢圓體的中心位置?？山邮軈^(qū)域計算裝置404進一步計算協(xié)方差矩陣， 并且使用主分量分析指定第一主軸(中心軸線)的方向和第一主分量得分。可接受區(qū)域計算裝置404確定其中心軸線半徑是所獲得的第一主分量得分中的最大的一個的橢圓體(可接受區(qū)域)。而且，可以采用以下方法作為使用主分量分析確定可接受區(qū)域的方法。在這種方法中，如在上述情形中，可接受區(qū)域計算裝置404計算選定像素i及其周圍八個像素的平均像素值，并且設(shè)置由每一個平均值示意的色彩空間中的位置作為橢圓體的中心位置?？山邮軈^(qū)域計算裝置404然后計算協(xié)方差矩陣，使用主分量分析指定第η主軸和第η主分量得分，并且設(shè)置第η主軸的方向作為橢圓體的第η軸線的方向?？山邮軈^(qū)域計算裝置404進一步設(shè)置tn+L作為第η軸線的方向的半徑，在此處tn是第η主分量得分中的最大的一個。 在其中像素值是N維的情形中，η = 1，...，N。例如，在YUV圖像的情形中，N= 3，并且η 采取從1到3的值。L是用于確定半徑的預(yù)定常數(shù)。像素差計算裝置405校正目標圖像從而消除由位置位移量估計裝置401估計的位置位移。因為已經(jīng)通過位置位移量估計裝置401估計了位置位移量，所以像素差計算裝置 405僅僅需要執(zhí)行從參考圖像到目標圖像的變換的逆變換從而除去位置位移量，并且獲得當位置位移得以消除時的目標圖像中的像素位置。像素差計算裝置405然后指定與經(jīng)校正的目標圖像中的像素相關(guān)的參考圖像中的像素，并且計算由相關(guān)像素的像素值示意的向量(即其元素是像素值的向量)的差向量。由像素差計算裝置405計算的差向量是參考圖像和目標圖像的相關(guān)向量的差向量，并且能夠被稱作相關(guān)像素差向量。位置位移量由位置位移量估計裝置401以子像素精度估計。相應(yīng)地，當像素差計算裝置405校正目標圖像從而消除位置位移時，在經(jīng)校正的目標圖像中的像素并不總是匹配在參考圖像中的像素。圖4是示出在經(jīng)校正的目標圖像中的像素和在參考圖像中的像素的說明圖。在圖4中示出二維平面，該二維平面示意每一個像素在相關(guān)圖像中位于哪一個位置。由圓形指定的每一個像素是在參考圖像中的像素。由三角形指定的每一個像素是在經(jīng)校正的目標圖像中的像素。類似地，由正方形指定的每一個像素是在另一經(jīng)校正的目標圖像中的像素。因為每一個目標圖像均被校正從而消除以子像素精度估計的位置位移， 所以在每一個目標圖像中的像素并不是必要地匹配在參考圖像中的像素，如在圖4中所示。像素差計算裝置405指定在參考圖像中的、最靠近在經(jīng)校正的目標圖像中的像素的位置(在圖像中的位置)的像素，以使得該兩個像素相關(guān)。這限定了在目標圖像中的像素和參考圖像中的像素之間的關(guān)系。像素差計算裝置405然后計算其元素分別地是相關(guān)像素的像素值的向量(在色彩空間中的向量)的差向量。例如，像素差計算裝置405指定在參考圖像中的、最靠近在圖4所示目標圖像中的像素1501的像素1502，以使得像素1501與像素 1502相關(guān)。像素差計算裝置405然后通過從其元素是像素1501的像素值的向量減去其元素是像素1502的像素值的向量而計算差向量。像素差計算裝置405為在每一個目標圖像中的每一個像素計算差向量。注意，替代直接地計算差向量，像素差計算裝置405可以通過從在參考圖像中的像素插值而獲得在目標圖像中的像素位置處的像素值，并且計算其元素是通過插值獲得的像素值的向量和由在參考圖像中的像素的像素值示意的向量的差向量。例如，像素差計算裝置405可以通過使用參考圖像中的像素值而利用雙線性插值或者雙三次插值計算圖4所示像素1501的像素值，并且計算其元素是計算出的像素值的向量和其元素是像素1502的像素值的向量的差向量。不適當區(qū)域提取裝置406使用由像素差計算裝置405獲得的可接受區(qū)域，對于在目標圖像中的每一個像素，確定像素是否是不與由預(yù)先假設(shè)的幾何變形模型示意的改變相符合的區(qū)域的像素。更加詳細地，通過使用為與在目標圖像中的像素相關(guān)的、在參考圖像中的像素計算的可接受區(qū)域和為該兩個像素計算的差向量，不適當區(qū)域提取裝置406確定由在目標圖像中的像素的像素值示意的色彩空間中的位置是否在可接受區(qū)域外。如果由在目標圖像中的像素的像素值示意的在色彩空間中的位置在可接受區(qū)域外，則不適當區(qū)域提取裝置406確定在目標圖像中的像素是不與由預(yù)先假設(shè)的幾何變形模型示意的改變相符合的區(qū)域的像素。在另一方面，如果由在目標圖像中的像素的像素值示意的在色彩空間中的位置在可接受區(qū)域內(nèi)或者在其邊界處，則不適當區(qū)域提取裝置406確定在目標圖像中的像素是與由預(yù)先假設(shè)的幾何變形模型示意的改變相符合的區(qū)域的像素。不與由預(yù)先假設(shè)的幾何變形模型示意的改變相符合的區(qū)域是不適合于高質(zhì)量圖像生成的區(qū)域。這種區(qū)域簡單地被稱作不適當區(qū)域。同時，與由預(yù)先假設(shè)的幾何變形模型示意的改變相符合的區(qū)域是適合于高質(zhì)量圖像生成的區(qū)域。這種區(qū)域簡單地被稱作適當區(qū)域。
不適當區(qū)域存儲裝置407存儲由不適當區(qū)域提取裝置406計算的不適當區(qū)域的像素的像素編號。這個像素編號是用于識別在圖像中的像素的像素編號，并且可以為每一個像素預(yù)先設(shè)定。當確定像素作為不適當區(qū)域的像素時，不適當區(qū)域提取裝置406可以在不適當區(qū)域存儲裝置407中存儲像素的像素編號?？商娲?，用于指定不適當區(qū)域的像素的信息可以被以除了像素編號之外的形式存儲。而且，替代存儲像素編號，不適當區(qū)域提取裝置406可以對于在目標圖像中的每一個像素，基于在目標圖像中的像素是否對應(yīng)于不適當區(qū)域的計算結(jié)果而計算在目標圖像中的像素是否是將由圖像重構(gòu)裝置403使用的適當區(qū)域的可靠性水平，并且在不適當區(qū)域存儲裝置407中存儲可靠性水平。圖像重構(gòu)裝置403基于由位置位移估計裝置401計算的估計位置位移量、被存儲在不適當區(qū)域存儲裝置407中的不適當區(qū)域的像素編號和被存儲在圖像輸入裝置410中的多個圖像的像素值重構(gòu)高分辨率圖像。這個高分辨率圖像被稱作重構(gòu)圖像。在下面更加詳細地描述了圖像重構(gòu)裝置403。令I(lǐng)k是如下的列向量，其中，僅僅在K個輸入圖像中的第k 輸入圖像(k是從1到K的整數(shù))的像素值中的亮度值(在YUV格式中的Y信號)被以預(yù)定次序排列。當在每一個輸入圖像中的像素的數(shù)目由N表示時，Ik是被表達為(Ykl，Yk2，...， Yki，...，YJtW N 維向量。而且，令向量T是其中僅僅由圖像重構(gòu)裝置403獲得的重構(gòu)圖像的亮度值(在YUV 格式中的Y信號)被以預(yù)定次序排列的列向量。重構(gòu)圖像是具有比輸入圖像更高的分辨率的圖像(即具有更大的像素數(shù)目的圖像)。在重構(gòu)圖像中的像素數(shù)目由M表示，這里M > N。向量T是M維向量。用以在Ik和T中排列亮度值的次序可以例如是光柵掃描次序，或者可以是除了光柵掃描次序之外的次序。通過求取最小化由以下表達式(1)給出的評價函數(shù)E[T]的這種向量T，圖像重構(gòu)裝置403計算在重構(gòu)圖像中的每一個像素的亮度值(Y信號)。[數(shù)學式1]
權(quán)利要求
1.一種圖像處理系統(tǒng)，包括位置位移量計算裝置，所述位置位移量計算裝置用于計算在目標圖像和參考圖像之間的位置位移的位置位移量，所述目標圖像是經(jīng)歷是否存在不與相對于所述參考圖像的假設(shè)的改變相符合的局部區(qū)域的確定的圖像；和像素操作裝置，所述像素操作裝置用于通過當所述目標圖像得以校正從而消除位置位移時指定與在所述目標圖像中的像素的位置最靠近的、在所述參考圖像中的像素，而使得在所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，計算作為相關(guān)像素的各自向量的差向量的相關(guān)像素差向量，并且基于所述相關(guān)像素差向量和在預(yù)定空間中的橢圓體，確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素，所述橢圓體與在所述參考圖像中的像素相關(guān)。
2.根據(jù)權(quán)利要求1的圖像處理系統(tǒng)，其中所述像素操作裝置包括確定區(qū)域指定裝置，所述確定區(qū)域指定裝置用于按照在所述預(yù)定空間中的所述橢圓體指定確定區(qū)域，所述確定區(qū)域用于確定與在所述參考圖像中的像素相關(guān)的、在所述目標圖像中的像素是否是所述局部區(qū)域的像素；差計算裝置，所述差計算裝置用于通過當所述目標圖像得以校正從而消除在所述目標圖像和所述參考圖像之間的位置位移時指定與在所述目標圖像中的像素的位置最靠近的、 在所述參考圖像中的像素，而使得在所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，并且計算作為相關(guān)像素的各自向量的差向量的相關(guān)像素差向量；和局部區(qū)域確定裝置，所述局部區(qū)域確定裝置用于對于在所述目標圖像中的每一個像素，使用所述相關(guān)像素差向量，確定在所述目標圖像中的像素的在所述空間中的位置是否在與所述像素相關(guān)的、在所述參考圖像中的像素的所述確定區(qū)域的外部，以由此確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素。
3.根據(jù)權(quán)利要求2的圖像處理系統(tǒng)，其中當輸入所述參考圖像時，所述確定區(qū)域指定裝置逐一地選擇在所述參考圖像中的像素，計算作為選定像素和所述選定像素的每一個周圍像素的各自向量的差向量的相鄰像素差向量，指定作為具有最大幅度的相鄰像素差向量的最大變化向量，并且設(shè)置由所述最大變化向量的幅度和方向以及所述選定像素的像素值所限定的橢圓體作為所述確定區(qū)域。
4.根據(jù)權(quán)利要求2的圖像處理系統(tǒng)，其中所述確定區(qū)域指定裝置包括最大變化像素指定裝置，所述最大變化像素指定裝置用于當輸入所述參考圖像時，逐一地選擇在所述參考圖像中的像素，并且從選定像素的周圍像素當中指定對應(yīng)于具有最大幅度的相鄰像素差向量的最大變化像素，所述相鄰像素差向量是所述選定像素和所述選定像素的每一個周圍像素的各自向量的差向量；和確定區(qū)域計算裝置，所述確定區(qū)域計算裝置用于當所述局部區(qū)域確定裝置對于每一個目標圖像確定在所述目標圖像中的像素是否是不與假設(shè)的改變相符合的所述局部區(qū)域的像素時，逐一地選擇在所述參考圖像中的像素，從所述選定像素和所述選定像素的最大變化像素計算相鄰像素差向量，并且設(shè)置由所述相鄰像素差向量的幅度和方向以及所述選定像素的像素值所限定的橢圓體作為所述確定區(qū)域。
5.根據(jù)權(quán)利要求2的圖像處理系統(tǒng)，其中當輸入所述目標圖像時，所述確定區(qū)域指定裝置逐一地選擇在所述目標圖像中的像素，計算作為選定像素和所述選定像素的每一個周圍像素的各自向量的差向量的相鄰像素差向量，指定作為具有最大幅度的相鄰像素差向量的最大變化向量，并且設(shè)置由所述最大變化向量的幅度和方向以及所述選定像素的像素值所限定的橢圓體作為所述確定區(qū)域。
6.根據(jù)權(quán)利要求1的圖像處理系統(tǒng)，其中所述像素操作裝置包括差計算裝置，所述差計算裝置用于通過當所述目標圖像得以校正從而消除在所述目標圖像和所述參考圖像之間的位置位移時指定與在所述目標圖像中的像素的位置最靠近的、 在所述參考圖像中的像素，而使得在所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，并且計算作為相關(guān)像素的各自向量的差向量的相關(guān)像素差向量；和局部區(qū)域確定裝置，所述局部區(qū)域確定裝置用于使用所述相關(guān)像素差向量對于在所述目標圖像中的每一個像素計算基準指標值，并且基于所述基準指標值確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素，所述基準指標值示意以所述像素為中心的、在所述目標圖像中的多個像素的在所述預(yù)定空間中的位置分別地在所述空間中的橢圓體之中還是外部的程度，其中所述橢圓體與在所述參考圖像中的、與所述多個像素相關(guān)的像素相關(guān)。
7.根據(jù)權(quán)利要求6的圖像處理系統(tǒng)，其中當輸入所述參考圖像時，所述局部區(qū)域確定裝置逐一地選擇在所述參考圖像中的像素，計算作為選定像素和所述選定像素的每一個周圍像素的各自向量的差向量的相鄰像素差向量，指定作為具有最大幅度的相鄰像素差向量的最大變化向量，并且根據(jù)所述最大變化向量限定所述橢圓體。
8.根據(jù)權(quán)利要求6的圖像處理系統(tǒng)，其中所述局部區(qū)域確定裝置當輸入所述參考圖像時，逐一地選擇在所述參考圖像中的像素，計算作為選定像素和所述選定像素的每一個周圍像素的各自向量的差向量的相鄰像素差向量，并且指定對應(yīng)于具有最大幅度的相鄰像素差向量的最大變化像素；并且當確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素時，逐一地選擇在所述參考圖像中的像素，從所述選定像素和所述選定像素的最大變化像素計算所述相鄰像素差向量，并且根據(jù)所述相鄰像素差向量限定所述橢圓體。
9.根據(jù)權(quán)利要求1到8中任一項的圖像處理系統(tǒng)，包括圖像生成裝置，所述圖像生成裝置用于根據(jù)示意不與假設(shè)的改變相符合的所述局部區(qū)域的像素存在于何處的信息，從所述參考圖像和所述目標圖像生成一個圖像。
10.根據(jù)權(quán)利要求9的圖像處理系統(tǒng)，其中所述圖像生成裝置從所述參考圖像和所述目標圖像生成具有比所述參考圖像和所述目標圖像中的每一個更多的像素數(shù)目的高分辨率圖像。
11.根據(jù)權(quán)利要求10的圖像處理系統(tǒng)，包括像素值替代裝置，所述像素值替代裝置用于將被確定為不與假設(shè)的改變相符合的所述局部區(qū)域的像素的、在所述目標圖像中的像素的像素值替代為與所述像素相關(guān)的、在所述參考圖像中的像素的像素值，其中所述圖像生成裝置從所述參考圖像和其中像素值已經(jīng)由所述像素值替代裝置所替代的所述目標圖像來生成所述高分辨率圖像。
12.根據(jù)權(quán)利要求9的圖像處理系統(tǒng)，其中所述圖像生成裝置在從所述平均像素值的計算排除不與假設(shè)的改變相符合的所述局部區(qū)域的像素的同時，從所述參考圖像和所述目標圖像計算在所述參考圖像和所述目標圖像中的相關(guān)像素的平均像素值，并且生成利用計算出的平均像素值作為像素值的混合圖像。
13.根據(jù)權(quán)利要求9的圖像處理系統(tǒng)，包括像素值替代裝置，所述像素值替代裝置用于將被確定為不與假設(shè)的改變相符合的所述局部區(qū)域的像素的、在所述目標圖像中的像素的像素值替代為與所述像素相關(guān)的、在所述參考圖像中的像素的像素值，其中所述圖像生成裝置從所述參考圖像和其中像素值已經(jīng)由所述像素值替代裝置所替代的所述目標圖像來生成利用在所述參考圖像和所述目標圖像中的相關(guān)像素的平均像素值作為像素值的混合圖像。
14.根據(jù)權(quán)利要求1到13中任一項的圖像處理系統(tǒng)，包括參考圖像分辨率增加裝置，所述參考圖像分辨率增加裝置用于通過對所述參考圖像插值而增加所述參考圖像的分辨率，其中所述差計算裝置通過當所述目標圖像得以校正從而消除位置位移時指定與在所述目標圖像中的像素的位置最靠近的、在具有增加的分辨率的所述參考圖像中的像素而使得在所述目標圖像中的像素與在具有增加的分辨率的所述參考圖像中的像素相關(guān)，并且計算相關(guān)像素的各自向量的相關(guān)像素差向量。
15.根據(jù)權(quán)利要求1到13中任一項的圖像處理系統(tǒng)，包括目標圖像分辨率增加裝置，所述目標圖像分辨率增加裝置用于通過對所述目標圖像插值而增加所述目標圖像的分辨率，其中所述差計算裝置通過從通過校正具有增加的分辨率的所述目標圖像從而消除位置位移而獲得的圖像中的像素當中指定與在所述參考圖像中的像素的位置最靠近的像素， 而使得在具有增加的分辨率的所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，并且計算相關(guān)像素的各自向量的相關(guān)像素差向量。
16.一種圖像處理方法，包括計算在目標圖像和參考圖像之間的位置位移的位置位移量，所述目標圖像是經(jīng)歷是否存在不與相對于所述參考圖像的假設(shè)的改變相符合的局部區(qū)域的確定的圖像；和通過當所述目標圖像得以校正從而消除位置位移時指定與在所述目標圖像中的像素的位置最靠近的、在所述參考圖像中的像素，而使得在所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，計算作為相關(guān)像素的各自向量的差向量的相關(guān)像素差向量，并且基于所述相關(guān)像素差向量和在預(yù)定空間中的橢圓體，確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素，所述橢圓體與在所述參考圖像中的像素相關(guān)。
17.一種圖像處理程序，用于使得計算機執(zhí)行位置位移量計算過程，所述位置位移量計算過程計算在目標圖像和參考圖像之間的位置位移的位置位移量，所述目標圖像是經(jīng)歷是否存在不與相對于所述參考圖像的假設(shè)的改變相符合的局部區(qū)域的確定的圖像；和像素操作過程，所述像素操作過程通過當所述目標圖像得以校正從而消除位置位移時指定與在所述目標圖像中的像素的位置最靠近的、在所述參考圖像中的像素，而使得在所述目標圖像中的像素與在所述參考圖像中的像素相關(guān)，計算作為相關(guān)像素的各自向量的差向量的相關(guān)像素差向量，并且基于所述相關(guān)像素差向量和在預(yù)定空間中的橢圓體，確定在所述目標圖像中的像素是否是所述局部區(qū)域的像素，所述橢圓體與在所述參考圖像中的像素相關(guān)。
全文摘要
提供了能夠以高度準確性來確定不與假設(shè)的改變相符合的局部區(qū)域的圖像處理系統(tǒng)。位置位移量計算裝置計算在目標圖像和參考圖像之間的位置位移量。像素操作裝置當目標圖像得以校正從而消除位置位移時指定與在目標圖像中的像素的位置最靠近的、在參考圖像中的像素，提供在目標圖像中的像素與在參考圖像中的像素相關(guān)，計算作為相關(guān)像素的各自向量之間的差向量的相關(guān)像素差向量，并且基于在預(yù)定空間中的對應(yīng)于參考圖像的像素(1403)的橢圓體(1401)確定在目標圖像的像素(1402、1404)是否是局部區(qū)域的像素。
文檔編號H04N1/387GK102326183SQ201080008698
公開日2012年1月18日 申請日期2010年2月19日 優(yōu)先權(quán)日2009年2月19日
發(fā)明者柴田剛志 申請人:日本電氣株式會社