專利名稱：高分辨率化裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種高分辨率化裝置和方法，其用于將利用照相機通過拍照獲取的圖像數(shù)據(jù)或者通過電視機接收的圖像數(shù)據(jù)轉(zhuǎn)換為更高分辨率的圖像數(shù)據(jù)。
背景技術(shù)：
最近，具有大量像素，即，具有高分辨率的電視機和顯示器得到廣泛使用。當在電視機或顯示器上顯示圖像時，在圖像數(shù)據(jù)中包含的像素的數(shù)目被轉(zhuǎn)換為在畫面中包含的像素的數(shù)目。具體地，在像素的數(shù)目被增加的高分辨率化轉(zhuǎn)換中，已知一種幀退化逆轉(zhuǎn)換方法，可以獲取比通過線性插值更清晰的圖像(例如，參見JP-A 2000-188680(公開)[第3到7頁，圖22]，S.Park，et al.“Super-Resolution Image ReconstructionA TechnicalOverview”，IEEE Signal Proceeding Magazine，USA，IEEE，May 2003，pp.21-36)。
在所述幀退化逆轉(zhuǎn)換方法中，可以關(guān)注這樣的事實，在參考幀中出現(xiàn)的對象也出現(xiàn)在另一幀中，并且以比像素間距的等級更高的準確度檢測所述對象的運動，從而獲取在略微互相分開的位置檢測到的多個樣本值，其中所述對象的某局部部分位于此位置。通過此處理，獲得更高分辨率。
現(xiàn)在將更加詳細地描述所述幀退化逆轉(zhuǎn)換方法。在此方法中，當以時序方式排列低分辨率的幀時，將其依序轉(zhuǎn)換為高分辨率的幀。例如，將通過對運動汽車拍照所獲得的運動圖像的三個連續(xù)幀用作為低分辨率圖像，并且將所述三個幀中的一個用作為將被實現(xiàn)為高分辨率圖像的參考幀。例如，將所述參考幀的水平和垂直像素加倍為高分辨率圖像。關(guān)于未知的高分辨率圖像的像素，僅準備少量的低分辨率圖像的像素，即，僅準備少量的已知樣本值。即使在這種狀態(tài)下，也能夠估計高分辨率圖像的每個像素值。然而，如果增加已知樣本值的數(shù)目，能夠獲得更準確的高分辨率圖像。為此，在所述幀退化逆轉(zhuǎn)換方法中，檢測位于除所述參考幀之外的低分辨率圖像的某像素位置處的對象在所述參考幀中的位置。進一步，將所述對象的像素值用作為參考幀中對應(yīng)點的樣本值。
具體地，從低分辨率圖像中提取包含某像素作為中心的塊(幾個像素×幾個像素)，并且在參考幀中搜索與所提取的塊具有相同大小并且包含接近于所提取塊的像素值的像素值的塊。進行所述搜索的準確度等級為亞像素(例如，參見Masao Shimizu和Masatoshi Okutomi的“Significanceand Attributes of Sub-Pixel Estimation on Area-Based Matching”IEICETran.Information and Systems.PT.2，December 2002，NO.12，vol.J85-D-II，pp.1791-1800)。所搜索的塊的中心被設(shè)置為對應(yīng)于所述某個像素的點。于是，對應(yīng)于另一個幀的點A和對應(yīng)于所述參考幀的點B被作為對象的同一個部分互相關(guān)聯(lián)。通過以點A作為起點、點B作為終點的運動向量表示此關(guān)系。由于進行此搜索的準確度級別為亞像素，各個運動向量的起點通常是某個像素的位置，而所述終點是在不存在像素的位置。為所述低分辨率圖像的所有像素獲取這樣的運動向量。進一步，在另一個低分辨率圖像中檢測以各自的像素作為其起點并且與所述參考幀相關(guān)的運動向量。此后，將所述運動向量的終點和起點設(shè)置為樣本值。最后，從這樣設(shè)置的非均勻樣本值獲取在網(wǎng)格中均勻排列的高分辨率圖像的像素值。例如，利用非均勻插值或POSC方法(例如，參見JP-A 2000-188680(公開)[第3頁到第7頁，圖22]，S.Park et al.“Super-Resolution ImageReconstructionA Technical Overview”，IEEE Signal ProceedingMagazine，USA，IEEE，May 2003，pp.21-36)進行這些處理。
盡管上述幀退化逆轉(zhuǎn)換方法能夠提供清晰的高分辨率圖像，但其需要大量的低分辨率圖像來獲取足夠數(shù)目的樣本值，從而需要大存儲容量。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供了一種高分辨率化裝置，其包括獲取單元，其被配置為從圖像源獲取由指示亮度級的像素值表示的圖像；第一設(shè)置單元，其被配置為將所述圖像中包含的一個幀設(shè)置為參考幀；第二設(shè)置單元，其被配置為分別將所述圖像中包含的一個或多個幀中所包含的多個像素順序地設(shè)置為多個目標像素；第三設(shè)置單元，其被配置為分別設(shè)置包含所述目標像素的多個目標圖像區(qū)域；搜索單元，其被配置為在所述參考幀搜索在像素值的變化模式上與各個所述目標圖像區(qū)域相似的多個相似目標圖像區(qū)域；選擇單元，其被配置為從所述參考幀的所述相似目標圖像區(qū)域選擇對應(yīng)于各個所述目標像素的多個對應(yīng)點；第四設(shè)置單元，其被配置為將在所述對應(yīng)點的多個有關(guān)亮度的樣本值設(shè)置為對應(yīng)于所述對應(yīng)點的目標像素的像素值；以及計算單元，其被配置為基于所述樣本值和所述對應(yīng)點，來計算在對應(yīng)于所述參考幀的高分辨率圖像中包含的多個像素值，所述高分辨率圖像包含了比所述參考幀中包含的像素更大數(shù)目的像素。
根據(jù)本發(fā)明另一個方面，提供了一種高分辨率化裝置，其包括獲取單元，其被配置為從圖像源獲取由指示亮度級的像素值表示的圖像；分割單元，其被配置為將所述圖像中包含的一個幀分割為多個垂直或水平像素線；第一設(shè)置單元，其被配置為將所述像素線中包含的一個像素線設(shè)置為參考像素線；第二設(shè)置單元，其被配置為分別將除所述參考像素線之外的、在所述圖像中包含的一個或多個幀中包含的多個像素順序地設(shè)置為多個目標像素；第三設(shè)置單元，其被配置為分別設(shè)置包含所述目標像素的多個目標圖像區(qū)域；搜索單元，其被配置為在所述參考像素線中搜索在像素值的變化模式上與各個所述目標圖像區(qū)域相似的多個相似目標圖像區(qū)域；選擇單元，其被配置為從所述參考像素線的所述相似目標圖像區(qū)域中選擇對應(yīng)于各個所述目標像素的多個對應(yīng)點；第四設(shè)置單元，其被配置為將在所述對應(yīng)點的多個有關(guān)亮度的樣本值設(shè)置為對應(yīng)于所述對應(yīng)點的目標像素的像素值；以及計算單元，其被配置為基于所述樣本值和所述對應(yīng)點，計算對應(yīng)于所述參考像素線的高分辨率圖像中包含的多個像素值，所述高分辨率圖像包含了比所述參考像素線中包含的像素更大數(shù)目的像素。


圖1A是框圖，其闡明了根據(jù)實施例的高分辨率化裝置；圖1B是框圖，其闡明了當采用過采樣方法時的高分辨率化裝置的構(gòu)造；圖2是流程圖，其闡明了根據(jù)第一實施例的高分辨率化裝置的操作例；圖3是視圖，其用于解釋從兩個低分辨率幀生成高分辨率幀；圖4是視圖，其用于解釋從單個低分辨率幀生成高分辨率幀；圖5是視圖，其闡明了在低分辨率圖像的像素之間的位置關(guān)系；圖6是視圖，其闡明了通過增加圖5的圖像的分辨率所獲得的圖像；圖7是視圖，其闡明了通過將圖5的圖像的像素間隔調(diào)整為圖6的圖像的像素間隔而得到的低分辨率圖像；圖8是視圖，其闡明了圖5和6所示的圖像的像素的位置關(guān)系；圖9是視圖，其用于解釋圖2所示的步驟S202和S203；圖10是示圖，其闡明了在某個參考幀的水平軸位置和亮度之間的關(guān)系；圖11是示圖，其闡明了在通過將圖10所示的亮度級轉(zhuǎn)換為像素值而獲得的圖像數(shù)據(jù)中的位置坐標和像素值之間的關(guān)系；圖12是示圖，其闡明了另一幀上的水平軸位置和亮度之間的關(guān)系；圖13是示圖，其闡明了在通過將圖12所示的亮度級轉(zhuǎn)換為像素值而獲得的圖像數(shù)據(jù)中的位置坐標和像素值之間的關(guān)系；圖14是示圖，其闡明了這樣的狀態(tài)，在其中，通過將圖13的目標塊的坐標相對于圖11的參考幀移動一個像素來獲取所述誤差；圖15是示圖，其闡明了這樣的狀態(tài)，在其中，作為圖14所示的移動的結(jié)果，所述誤差最??；圖16是示圖，其闡明了這樣的狀態(tài)，在其中，所述誤差小于圖15的情況；
圖17是視圖，其闡明了在某照相數(shù)據(jù)的亮度和坐標之間的關(guān)系；圖18是視圖，其闡明了從圖9的幀中提取的目標塊；圖19是視圖，其用于解釋在其中搜索相對于圖18的目標塊的誤差的搜索范圍；圖20是視圖，其闡明了指示圖19的搜索范圍的向量搜索空間；圖21是視圖，其闡明了圖18的目標塊的變型例；圖22是視圖，其闡明了圖18的目標塊的另一種變型例；圖23是視圖，其闡明了圖18的目標塊的再一種變型例；圖24是視圖，其闡明了表達圖像空間的坐標系；圖25是視圖，其用于解釋拋物線擬合；圖26是示圖，其闡明了假設(shè)在過采樣中對圖13的幀進行線性插值時在所述坐標和像素值之間的關(guān)系；圖27是對應(yīng)于圖26的示圖，其闡明了假設(shè)在增加圖11的參考幀的數(shù)據(jù)密度時在所述坐標和像素值之間的關(guān)系；圖28是示圖，其對應(yīng)于圖16，并基于圖26和27得到；圖29是示圖，其對應(yīng)于圖15，并基于圖26和27得到；圖30是流程圖，其闡明了利用擬合獲取對應(yīng)點的操作例；圖31是流程圖，其闡明了利用過采樣獲取對應(yīng)點的操作例；圖32是視圖，其闡明了獲取對應(yīng)點的搜索范圍的例子，其在亮度在水平方向上變化時具有優(yōu)勢；圖33是視圖，其闡明了獲取對應(yīng)點的搜索范圍的另一個例子，其在亮度在水平方向上變化時具有優(yōu)勢；圖34是視圖，其闡明了獲取對應(yīng)點的搜索范圍的再一個例子，其在亮度在水平方向上變化時具有優(yōu)勢；圖35是視圖，其闡明了獲取對應(yīng)點的搜索范圍的進一步的例子，其在亮度在水平方向上變化時具有優(yōu)勢；圖36是視圖，其闡明了獲取對應(yīng)點的搜索范圍的例子，其在亮度在垂直方向上變化時具有優(yōu)勢；
圖37是視圖，其闡明了獲取對應(yīng)點的搜索范圍的例子，其在亮度在傾斜方向上變化時具有優(yōu)勢；圖38是視圖，其闡明了獲取對應(yīng)點的搜索范圍是矩形的情況；圖39是流程圖，其闡明了檢測多個對應(yīng)點的操作例；圖40是視圖，其闡明了在圖像空間中檢測到的多個對應(yīng)點；圖41是流程圖，其闡明了通過疊加獲取高分辨率圖像的像素值的操作例；圖42是視圖，其闡明了用于解釋計算臨時樣本值的方法的圖像空間、像素以及矩形部分；圖43是流程圖，其闡明了通過以樣本值為單位建立條件表達式來實現(xiàn)高分辨率的操作例；圖44是流程圖，其闡明了在接近圖像邊緣處進行的圖43的操作；圖45是流程圖，其闡明了僅在邊緣實現(xiàn)高分辨率的操作例；圖46是流程圖，其闡明了在圖45的步驟S4501進行的詳細操作的例子；圖47是視圖，其用于解釋在低分辨率幀的數(shù)目和對應(yīng)點的數(shù)目之間的關(guān)系；圖48是流程圖，其闡明了用于實現(xiàn)高分辨率運動圖像的操作例；圖49是流程圖，其闡明了實現(xiàn)依序被設(shè)置為參考幀的運動圖像幀的高分辨率的操作例；圖50是視圖，其闡明了用來描述本發(fā)明第二實施例的圖像；圖51是用于實現(xiàn)高分辨率圖像的視圖像素線；圖52A是視圖，其用于解釋圖像的自動全等(auto-congruence)；圖52B是視圖，其用于解釋如何實現(xiàn)具有自動全等的圖像部分的高分辨率；圖53是流程圖，其闡明了利用低分辨率像素線實現(xiàn)高分辨率的操作例；圖54是視圖，其闡明了低分辨率圖像；
圖55是視圖，其通過在垂直方向?qū)D54的圖像的分辨率加倍而得到；圖56是視圖，其通過在水平方向和垂直方向?qū)D54的圖像的分辨率加倍而得到；圖57是視圖，其通過在水平方向?qū)D54的圖像的分辨率加倍而得到；圖58是流程圖，其闡明了用于獲取圖56的高分辨率圖像的操作例；圖59是視圖，其闡明了用于描述第三實施例的圖像；圖60是流程圖，其闡明了通過將圖像分成塊來實現(xiàn)高分辨率的操作例；圖61是視圖，其闡明了通過常規(guī)方法所獲取的高分辨率圖像；圖62是視圖，其闡明了通過在所述實施例中使用的方法所獲取的高分辨率圖像；以及圖63是視圖，其闡明了僅對邊緣進行實現(xiàn)高分辨率的處理而獲取的高分辨率圖像。
具體實施例方式
下面將參考附圖詳細描述根據(jù)本發(fā)明實施例的高分辨率化裝置和方法。
通過注意到這樣的事實，即，在臨近對象的一部分的該對象的一部分附近存在與前述第一部分的亮度變化模式相似的亮度變化模式，已經(jīng)開發(fā)出根據(jù)本實施例的高分辨率化裝置和方法。也就是說，所述高分辨率化裝置和方法檢測在單個幀中包含的各個亮度變化模式中所包含的樣本值的位置。
根據(jù)本實施例的高分辨率化裝置和方法能夠提供一種簡單地利用小容量存儲器的清晰的高分辨率圖像。
參考圖1A，將給出根據(jù)實施例的高分辨率化裝置的描述。
根據(jù)所述實施例的高分辨率化裝置包括存儲器101、候選指定單元102、匹配誤差計算單元103、誤差比較單元104、存儲器105、高分辨率像素值計算單元106、拋物線擬合單元107和存儲器108。在以下描述中，類似的參考數(shù)字指示類似的元件。
存儲器101獲取并存儲低分辨率圖像數(shù)據(jù)。所述低分辨率圖像數(shù)據(jù)可以是運動圖像數(shù)據(jù)或靜止圖像數(shù)據(jù)，并且，其可從圖像源，即，諸如照相機或電視機的圖像數(shù)據(jù)生成單元(未示出)獲取。更具體地，所述低分辨率圖像數(shù)據(jù)是利用照相機拍照獲得的或者由電視機接收的圖像數(shù)據(jù)。進一步，存儲器101從候選指定單元102接收指示將被進行誤差計算的圖像部分的信號，以及指示目標像素的位置的信號，并且向匹配誤差計算單元103輸出在所述目標像素周圍的圖像數(shù)據(jù)以及與將被進行誤差計算的圖像部分相對應(yīng)的圖像數(shù)據(jù)。存儲器101還向高分辨率像素值計算單元106提供低分辨率圖像數(shù)據(jù)。此時，存儲器101以圖像為單位(例如，以幀為單位)(第一實施例)，或者以各圖像(幀)中的線為單位(第二實施例)，或者以各圖像(幀)中的塊為單位(第三實施例)，來提供圖像數(shù)據(jù)。在以線為單位提供圖像數(shù)據(jù)的情況下，存儲器101包括線存儲器(未示出)，并在其中存儲對應(yīng)于一幀的線圖像數(shù)據(jù)。存儲器101進一步設(shè)置參考幀，稍后描述。
候選指定單元102接收包括指定搜索范圍的數(shù)據(jù)的控制數(shù)據(jù)，然后基于所述搜索范圍，生成指示將進行誤差計算的圖像部分的信號以及指示目標像素的位置的信號，并向存儲器101和105輸出這些信號。稍后將參考圖19描述所述搜索范圍。
匹配誤差計算單元103從存儲器101獲取所述目標像素周圍的圖像數(shù)據(jù)以及與將進行誤差計算的圖像部分相對應(yīng)并且包含在所述搜索范圍中的圖像數(shù)據(jù)，以及，利用，例如，差值的絕對和或者差值的平方和來計算其間的誤差。所述目標像素周圍的圖像數(shù)據(jù)是，例如，有關(guān)目標塊的數(shù)據(jù)。匹配誤差計算單元103從一個到另一個接連改變落在所述搜索范圍之內(nèi)并且將被進行誤差計算的圖像部分，從而接連檢測在每個目標像素周圍的圖像數(shù)據(jù)和與將被進行誤差計算的圖像部分相對應(yīng)的圖像數(shù)據(jù)之間的誤差。
誤差比較單元104比較與落在所述搜索范圍以內(nèi)的多個圖像部分相對應(yīng)的誤差。例如，單元104獲取其間的誤差基本上最小的對應(yīng)于所述圖像部分的多個位置，作為多個對應(yīng)像素點。
存儲器105從候選指定單元102獲取由誤差比較單元104計算的對應(yīng)像素點。
基于所述對應(yīng)像素點，拋物線擬合單元107利用拋物線擬合進行亞像素估計，從而確定對應(yīng)點。對于各個目標像素，獲取兩個或更多對應(yīng)點。稍后將參考圖25和30描述有關(guān)拋物線擬合單元107的細節(jié)。
存儲器108存儲指示由拋物線擬合單元107獲取的對應(yīng)點的位置信息。
在確定了在低分辨率圖像中包含的預設(shè)像素的對應(yīng)點之后，高分辨率像素值計算單元106從存儲器101獲取對應(yīng)于所述低分辨率圖像的圖像數(shù)據(jù)，并從存儲器108獲取所述對應(yīng)點。例如，計算單元106以低分辨率圖像的像素為單位建立基于各個對應(yīng)點的條件表達式，然后作為聯(lián)立方程求解所有條件表達式，以確定將被實現(xiàn)的高分辨率圖像的像素值，并輸出所確定的像素值。
參考圖1B，將給出對假設(shè)使用過采樣而不是拋物線擬合時所述高分辨率化裝置的構(gòu)造的描述。
圖1B所示的構(gòu)造和圖1A所示的差別在于前者使用過采樣單元109和存儲器110，而不是拋物線擬合單元107。
過采樣單元109通過減小誤差計算的間隔來增加低分辨率數(shù)據(jù)的量。稍后將參考圖26和31描述有關(guān)過采樣的細節(jié)。
存儲器110暫時存儲由過采樣單元109采樣得到的數(shù)據(jù)，并將其提供給匹配誤差計算單元103。
(第一實施例)現(xiàn)在參考圖2，將描述根據(jù)所述實施例的高分辨率化裝置的操作例。此后將圖像稱為幀。
在步驟S201，候選指定單元102以預設(shè)順序?qū)⒌头直媛蕡D像中的像素設(shè)置為目標像素。在靜止圖像的情況下，例如，使用所謂屏面順序(rasterorder)，在其中，以從左上方像素開始到右下方像素結(jié)束的順序，通過向右掃描水平像素線來接連選擇所述目標像素。在運動圖像的情況下，接連地選擇幀，并且以上述屏面順序選擇各幀中的像素。稍后將參考圖3到圖8描述運動圖像的低分辨率幀和高分辨率幀之間的關(guān)系。
在步驟S202，匹配誤差計算單元103、誤差比較單元104和拋物線擬合單元107檢測與參考幀的圖像空間中的目標像素相對應(yīng)的點(此后稱為“對應(yīng)像素點”或“對應(yīng)點”)。
在步驟S203，匹配誤差計算單元103確定是否為目標像素獲取預設(shè)數(shù)量個對應(yīng)點。如果仍然沒有獲取到它們，則程序返回到步驟S202，檢測另一個對應(yīng)點，然而，如果已經(jīng)獲取到它們，則程序進行到步驟S204。稍后將參考圖9到17詳細描述步驟S202和S203。
在步驟S204，匹配誤差計算單元103確定是否已經(jīng)為用于實現(xiàn)高分辨率的低分辨率圖像中的所有像素獲取了對應(yīng)點。如果這個問題的答案是“否”，則程序返回步驟S201，執(zhí)行有關(guān)下一個像素的處理，然而如果答案是“是”，則程序進行到步驟S205。
在步驟S205，高分辨率像素值計算單元106利用低分辨率圖像的像素值和所獲取的對應(yīng)點，計算參考幀的高分辨率圖像的像素值，從而終止所述處理。稍后將參考圖40描述計算高分辨率圖像的像素值的方法。
現(xiàn)在參考圖3到8，給出對運動圖像中的高分辨率幀和低分辨率幀之間的關(guān)系的描述。
所述實施例的高分辨率化裝置利用輸入的低分辨率幀接連生成高分辨率幀。圖3示出了當所述高分辨率化裝置生成第5個高分辨率幀的時間。此后將此正在被處理以實現(xiàn)高分辨率的低分辨率幀，即，圖3中的第5幀稱為“參考幀”。在圖3的情況下，為了增強所述參考幀的分辨率，對所述參考幀和緊鄰所述參考幀之前生成的兩幀進行所述處理。另一方面，在圖4的情況下，僅對所述參考幀進行所述處理。進一步，在靜止圖像的情況下，由于僅輸入一個低分辨率圖像，其對應(yīng)于所述參考幀，并且受到用于實現(xiàn)高分辨率的處理。為了方便描述，將靜止圖像表述為幀。
圖5示出了作為參考幀的低分辨率圖像的圖像空間501和像素502之間的位置關(guān)系。一般而言，在圖像的圖像空間中，亮度分布是均勻的。然而，在所述實施例中處理的數(shù)字圖像的情況下，作為離散采樣點在所述圖像空間中排列像素，并且某亮度級表示其周圍的一些亮度級。在圖5的情況下，將圖像空間劃分為24(＝6[列]×4[行])個正方形，并且在該24個正方形的中心部分作為采樣點排列24個像素，用黑點指示。圖6示出了在水平和垂直方向?qū)D5的低分辨率圖像空間的分辨率加倍的情況，用白點601指示。結(jié)果，所得到的高分辨率圖像的像素間隔變?yōu)樗龅头直媛蕡D像的像素間隔的1/2。如果原始的低分辨率圖像被利用與所述高分辨率圖像相同的像素間隔來表達，如圖7所示，前者的尺寸將小于后者。
如上所述，如果所述低分辨率圖像被用與所述高分辨率圖像相同的尺寸描繪，則前者比后者具有更寬的像素間隔。相反，如果所述低分辨率圖像被用與所述高分辨率圖像相同的像素間隔描繪，則前者尺寸比后者小。這表示相同的事情。為了方便描述，如圖5或7所示描繪所述低分辨率圖像。
圖8示出了用黑點表示所述低分辨率圖像的樣本點(像素點)，以及用白點表示所述高分辨率圖像的樣本點的情況。實現(xiàn)高分辨率的處理是基于由黑點表示的樣本點的亮度級來獲取由白點表示的樣本點的亮度級。
參考圖9到17，將給出步驟S202和S203的詳細描述。盡管圖像空間904和906包含少量像素以便于觀看，它們實際上在水平和垂直方向各自包含幾百個像素。進一步，為便于觀看，將所述空間的圖像表述為數(shù)字圖像。然而，實際上，它們是密度可變的圖像。在所述高分辨率圖像的圖像空間908中，用白點表示高分辨率圖像的像素909，而用黑點表示低分辨率圖像的像素910。
在圖9的情況下，假設(shè)通過拍攝運動車輛907所獲得的運動圖像包含兩個連續(xù)幀901和903。所述高分辨率化裝置使用幀903作為參考幀，并對其進行用于實現(xiàn)高分辨率的處理。圖9示出了在幀903的圖像空間906中檢測出與幀901的圖像空間中的目標像素911相對應(yīng)的點914的情況。稍后將參考圖24描述所述圖像空間。
通過利用目標像素911作為其起點且利用對應(yīng)點914作為其終點的對應(yīng)向量915將幀901的圖像空間904中的目標像素911與參考幀903的圖像空間906中的對應(yīng)點914相關(guān)聯(lián)。為檢測所述對應(yīng)點，候選指定單元102從幀901中提取，例如，(5×5)或(3×3)個像素的正方形塊，其包含位于中心的目標像素911，并作為目標塊。匹配誤差計算單元103在參考幀903中搜索與所提取的目標塊具有相似像素值變化模式的部分。稍后將參考圖18和19描述關(guān)于所述搜索的具體細節(jié)。
然后參考圖10到13，利用假設(shè)通過拍照來獲取參考幀時的狀態(tài)作為例子，描述步驟S202和S203。在圖10中，固定圖像空間的垂直軸，從而包含所述低分辨率圖像的樣本點。水平軸指示所述圖像空間的水平軸h，而垂直軸指示亮度。進一步，虛線指示對象的亮度變化，且黑點指示在拍照期間通過像素采樣的點。將樣本點的間隔設(shè)為1。圖11示出了所述參考幀的圖像數(shù)據(jù)，其中，采樣的亮度級被獲取為像素值。在圖11所示的圖像數(shù)據(jù)中，采樣使得亮度變化比實際變化更加柔和，例如，如通過從左數(shù)的第2個和第3個樣本點之間的變化1101所指示的。這意味著僅利用參考幀像素不能生成清晰圖像。
圖12示出了這樣的狀態(tài)，其假設(shè)通過拍照獲取指示所述對象的相同部分的另一個幀，而圖13示出了對應(yīng)于此幀的圖像數(shù)據(jù)。一般而言，在不同的幀中，在發(fā)生相同的亮度改變的位置進行采樣，所述位置相互間略有偏移，在所述實施例中，相互偏移約半個像素。例如，將這種狀態(tài)稱為“異相采樣”。相反，當不同幀中的相同亮度變化發(fā)生在相同位置或者在剛好偏移一個像素的位置時，例如，將其稱為“同相采樣”。
通過計算圖11的參考幀和圖13的目標塊之間的誤差來獲得在步驟S202和S203所獲取的對應(yīng)像素點，同時將目標塊中的位置坐標對相對于所述參考幀一個一個進行移動。圖14和15示出了此處理。為簡化描述，假設(shè)所述塊具有五個像素(5×1)，并僅在x方向進行搜索。假設(shè)圖15示出了匹配誤差最小(x＝m)的情況。另一方面，圖14示出了將x設(shè)置為(m-1)的情況。“x＝m”表示對應(yīng)像素點。為了使所述目標塊和參考幀的變化模式更加準確地一致，應(yīng)該檢測提供圖16的狀態(tài)的位置，在該位置，相位被移動半個像素。拋物線擬合是用來估計亞像素點的方法(例如，參見Masao Shimizu和Masatoshi Okutomi的“Significance and Attributes ofSub-Pixel Estimation on Area-Based Matching”)。稍后將參考圖25描述拋物線擬合。注意到，如圖9所示，通過亞像素估計來確定塊913，且塊913的中心是對應(yīng)點914?；诖诵畔?，排列對應(yīng)于點914的目標像素的像素值，作為在通過擴展圖像空間906而獲得的圖像空間908中的對應(yīng)點916的樣本值。
為實現(xiàn)高分辨率，需要大量像素值，這通過異相采樣從不同幀的部分進行采樣，所述不同幀的部分示出了相同的亮度改變，如圖10和12中的虛線所指示。因此，檢測不同幀中的相同對象的相同部分(其具有相同的亮度變化)，并且使得檢測到的位置相互對應(yīng)，這是有利的。然而，可能存在所述對象的另一個部分也具有相同的亮度變化。圖17中示出了對應(yīng)于實際照片的高分辨率圖像數(shù)據(jù)。在圖17中，水平軸指示像素的x方向坐標，垂直軸指示亮度。用不同的曲線表示x方向的五個數(shù)據(jù)項。從此圖可以理解，即使x方向中的不同部分呈現(xiàn)出非常相似的亮度變化，這也是可能的?？紤]到此性質(zhì)，認為局部圖形(local pattern)具有自相關(guān)。在第二實施例中將描述使用局部圖形中的自相關(guān)的方法。
一般而言，由圖像中包含的邊緣導致亮度的空間變化，如果邊緣較長，此變化持續(xù)幾百個像素，而即使邊緣較短，此變化也持續(xù)幾個像素?？梢允褂猛ㄟ^對邊緣像素進行采樣而得到的像素值作為所述圖像中包含的、并且位于前述邊緣附近的另一個邊緣的樣本值，以實現(xiàn)高分辨率?；谕瑯拥睦碛?，當確定與參考幀中的目標像素相對應(yīng)的該參考幀中的點時，也可以使用所述目標像素來再現(xiàn)所述目標像素附近的亮度變化。據(jù)此，在所述實施例中，為一個目標像素確定位于不同位置的多個對應(yīng)點。進一步，在所述實施例中，不僅將在其檢測出最小誤差(匹配誤差)的對應(yīng)點，還將在其檢測出第二和第三最小匹配誤差的位置，設(shè)置為對應(yīng)誤差點。基于所述對應(yīng)誤差點，進行亞像素估計。稍后將參考圖32到39描述更具體的操作。
再次參考圖9，用對應(yīng)向量918表示如上所述得到的另一個對應(yīng)點917，并且相應(yīng)地安排樣本值919。當檢測到對應(yīng)點917時檢測到塊920，并且塊920的像素模式與塊913的像素模式非常相似。
參考圖18和19，將給出對這樣的方法的描述，此方法在參考幀903中搜索與所提取的目標塊具有相似像素值變化模式的部分。
首先，將更加具體地描述所述目標塊。圖18示出了從幀901中提取的(3×3)像素的目標塊，而圖19示出了參考幀903中的搜索范圍。例如，所述搜索范圍是具有預設(shè)尺寸的矩形或正方形部分，其以對應(yīng)于目標像素911的位置作為中心。匹配誤差計算單元103計算在(3×3)目標塊和每個(3×3)搜索范圍之間的誤差。此誤差(匹配誤差)是通過對目標塊中的9個像素和各個搜索范圍中的對應(yīng)像素之間的差的絕對值求和得到的差值的絕對和，或者是通過對所述差的平方求和得到的差值的平方和。具體地，首先，計算在幀901的目標塊和參考幀903中的左上搜索范圍1901之間的誤差。其次，計算在所述目標塊和與搜索范圍1901右向相鄰的搜索范圍1902之間的誤差。此后，進行相似的誤差獲取計算，同時以像素為單位以屏面順序移動搜索范圍，直到獲得所述目標塊和右下方搜索范圍1903之間的誤差。
參考圖20到23，現(xiàn)在將描述指示搜索范圍的向量搜索空間。
圖20示出了所述搜索空間。在圖20中，x軸是水平軸，y軸是垂直軸，原點表示圖19中的塊1904的中心。在搜索處理期間，可以沿著x軸設(shè)置三個與塊1904具有相同尺寸的搜索范圍，并且可以沿著y軸設(shè)置兩個與塊1904具有相同尺寸的搜索范圍。圖20中的黑點表示能夠設(shè)置的搜索范圍的中心點。位置2001指示圖19中的搜索范圍1901，而位置2002指示搜索范圍1902。在所述搜索空間中，將具有最小誤差的位置設(shè)置為對應(yīng)像素點。在此階段，對應(yīng)像素點位于參考幀上的某像素。所述搜索范圍不限于正方形或矩形。其可以是圖21所示的水平線，或者圖22所示的垂直線，或者圖23所示的斜線。
參考圖24，將描述所述圖像空間。圖24示出了用于所述圖像空間的坐標系。在圖24中，假設(shè)將所述圖像空間的左上點設(shè)置為原點，h是水平軸，v是垂直軸。如下給出由黑點表示的低分辨率圖像的樣本像素點(h，v)(h，v)＝(0.5，0.5)，(1.5，0.5)，(2.5，0.5)，...，(0.5，1.5)，...
即，h是用(*.5)(*＝0，1，2，3，...)表示的位置，且v也是用(*.5)(*＝0，1，2，3，...)表示的位置。相反，如下給出由白點表示的高分辨率圖像的樣本像素點(h，v)(h，v)＝(0.25，0.25)，(0.75，0.25)，...，(0.25，0.75)，...
即，h和v是由(*.25)或(*.75)表示的位置。
參考圖25，將描述拋物線擬合。
在圖25所示的拋物線擬合中，水平軸是x軸，垂直軸表示匹配誤差。在這種情況下，在拋物線上點示出在x方向位置(m)的最小誤差，以及在緊鄰m前后的x方向位置(m-1)和(m+1)所獲取的誤差，并且將拋物線呈現(xiàn)最小值的x的值設(shè)置為對應(yīng)點。如果存在半個像素的相移，需要在x＝m和x＝m-1獲取相同的誤差，并且假設(shè)所述最小值在這些x值的中心。然而，在圖25中，呈現(xiàn)所述最小值的位置從所述中心稍微偏移，從而實現(xiàn)對于拋物線擬合的更加普遍的解釋。
取代拋物線擬合，也可以使用等角擬合，這已經(jīng)在Masao Shimizu和Masatoshi Okutomi的“Significance and Attributes of Sub-PixelEstimation on Area-Based Matching”中公開了。
進一步，過采樣方法是另一種實現(xiàn)亞像素估計的方法。在過采樣方法中，首先，準備圖26所示的數(shù)據(jù)，其通過對圖13所示的另一個幀的塊數(shù)據(jù)進行線性插值以加倍數(shù)據(jù)密度而獲得。另一方面，如圖27所示，將圖11所示的參考幀的數(shù)據(jù)加倍。如果在此狀態(tài)下進行搜索，即使不進行擬合，也可直接計算對應(yīng)于x＝m-0.5的匹配誤差，并且其比在圖29所示的x＝m處獲取的匹配誤差低。結(jié)果，x＝m-0.5被檢測為最小誤差位置，即，對應(yīng)點。
如上所述，在所述過采樣方法中，為了將計算誤差的間隔減小到1/2，需要將數(shù)據(jù)量加倍，以及為了將計算誤差的間隔減小到1/4，需要將數(shù)據(jù)量增加到四倍。然而，可以利用簡單的算法獲得對應(yīng)點。圖30和31分別是利用擬合方法(諸如拋物線擬合或等角擬合)以及過采樣方法來獲取對應(yīng)點的流程圖。在圖30和31中，用對應(yīng)的參考數(shù)字表示與上述步驟相似的步驟，并且在此不再給出詳細描述。
在步驟S3001，當以像素為單位移動參考幀中的塊的位置時計算目標塊和參考幀中的所述塊之間的誤差，并且檢測參考幀中在其處誤差最小的對應(yīng)塊。
在步驟S3002，基于在步驟S3001的檢測結(jié)果，通過拋物線擬合或等角擬合來檢測對應(yīng)點，這是所述處理的終點。
在步驟S3101，對目標塊和參考幀進行像素插值，從而將它們的像素密度加倍。此后，程序進行到步驟S3001，然后進行到步驟S3102。
在步驟S3102，將對應(yīng)塊中存在的某點設(shè)置為對應(yīng)點，從而結(jié)束所述處理。例如，將對應(yīng)塊的中心設(shè)置為對應(yīng)點。
參考圖32到39，將給出對于用以獲取不同位置的多個對應(yīng)點的方法的描述。
在圖20所示的搜索空間中，將在其獲取了第2和第3最小匹配誤差的位置，以及在其獲取了最小匹配誤差的位置，設(shè)置為對應(yīng)誤差點，以及利用對應(yīng)誤差點進行亞像素估計。可以預設(shè)對應(yīng)點的數(shù)目?？蛇x地，可以將誤差不超過預設(shè)值的所有位置設(shè)置為對應(yīng)點。再或者，可以將搜索范圍限制為圖32中的黑點所指示的范圍，以及在該搜索范圍以內(nèi)獲取到最小誤差的位置確定第一對應(yīng)點。之后，在圖33、34和35所示的搜索范圍中獲取各個對應(yīng)點。例如，在圖17的亮度在水平方向上變化的情況下，所述當在垂直方向移動所述搜索范圍時搜索對應(yīng)點的方法特別有優(yōu)勢。
相反，在亮度在垂直方向上變化的情況下，當在水平方向上移動所述搜索范圍時搜索對應(yīng)點的方法特別有優(yōu)勢。由于此，具有優(yōu)勢的是，候選指定單元102在目標邊緣垂直地擴展時設(shè)置水平搜索范圍，并且在垂直地移動所述搜索范圍時搜索對應(yīng)點。另一方面，當所述目標邊緣水平地擴展時，具有優(yōu)勢的是，候選指定單元102設(shè)置垂直搜索范圍并且在水平地移動所述搜索范圍時搜索對應(yīng)點。再或者，可以為傾斜邊緣設(shè)置圖37所示的傾斜搜索范圍。即，檢測目標像素的像素值的梯度方向，并基于梯度方向搜索對應(yīng)點。
可選地，可以如圖38所示限制矩形搜索范圍的外形，并且當改變搜索范圍的尺寸時確定對應(yīng)點。在任何情況下，通過基于對應(yīng)誤差點進行亞像素估計來獲取對應(yīng)點。
圖39是當關(guān)于一個目標像素將搜索范圍從一個改變?yōu)榱硪粋€時檢測多個對應(yīng)點的流程圖。
在步驟S3901，當固定水平和垂直坐標之一并改變另一個坐標時檢測對應(yīng)點。
在步驟S3092，當切換所述固定的坐標時檢測對應(yīng)點。
參考圖40，將給出對于在步驟S205進行的高分辨率圖像的像素值的計算的描述。
在步驟S204之后，獲取在圖40中用標記“x”指示的這種對應(yīng)點。有很多方法從非均勻分布的對應(yīng)點(樣本點)確定在矩陣中排列的像素值。例如，當使用疊加方法(諸如S.Park等的“Super-Resolution ImageReconstructionA Technical Overview”，第25頁中描述的非均勻插值)時，并且當確定在圖9的高分辨率圖像中包含的像素921的值時，檢查位于像素921附近的樣本值919、916和922等，以檢測最接近像素921的樣本值，并將其用作為像素921的值。或者，通過向樣本值授予權(quán)重，使得當距像素921的距離變得更長時授予更大的權(quán)重，并且將所得到的樣本值的加權(quán)平均值作為像素921的值，來確定像素921的值。再或者，將落在預設(shè)距離范圍以內(nèi)的樣本值的平均值作為像素921的值。
圖41示出了利用所述疊加方法獲取高分辨率圖像的像素值的流程圖。
在步驟S4101，以像素為單位獲取目標像素和對應(yīng)于該目標像素的各個樣本點之間的距離。
在步驟S4102，將各像素值設(shè)置為樣本點的加權(quán)平均值。此時，距各像素的距離越近，各樣本值的加權(quán)越大。
如果使用POCS方法(例如，參見S.Park等的“Super-ResolutionImage ReconstructionA Technical Overview”，第29頁)而不是所述疊加方法，盡管處理很復雜，但能夠獲得更清晰的圖像。在所述POCS方法中，首先，利用，例如，雙線性插值或三階插值向高分辨率圖像908的各個像素授予臨時值。此后，假設(shè)當所述高分辨率圖像的臨時像素值時，計算樣本值(此后稱為“臨時樣本值”)。
現(xiàn)在參考圖42，將描述一種計算所述臨時樣本值的方法。如參考圖6所述，圖像空間4201被分為多個矩形部分4202。位于各矩形部分中心的像素值4203表示其亮度分布。從像素的密度確定各個矩形部分的尺寸。如果，例如，將分辨率降低為1/2，則各個矩形部分的尺寸加倍。在圖42中，白點表示高分辨率圖像的像素，黑點表示對應(yīng)于分辨率是所述高分辨率圖像一半的低分辨率圖像的樣本點。當向高分辨率圖像的像素授予臨時像素值時，獲取在樣本點4204的臨時樣本值，作為像素4205到4208的像素值的平均值。這是因為樣本點4204位于高分辨率圖像的四個像素的中心。
相反，在樣本點4209偏離所述高分辨率圖像的四個像素的中心的情況下，通過樣本點4209表示的矩形部分4210所重疊的部分的加權(quán)平均被用作為臨時樣本值。例如，授予給像素4211的權(quán)重對應(yīng)于陰影部分4212的面積。關(guān)于與矩形部分4210相重疊的九個矩形部分，成比例于重疊面積向它們授予權(quán)重，并且獲取所得到的九個像素值的加權(quán)平均值，作為所述臨時樣本值。如果所述高分辨率圖像是準確的，則所述臨時樣本值必須等于從低分辨率圖像獲取的對應(yīng)樣本值。
然而，一般而言，它們相互不相等。因此，為使它們相互相等，更新所述臨時樣本值。計算樣本值和臨時樣本值之間的差，對相對應(yīng)的臨時像素值進行加法/減法，從而消除所述差。由于存在多個像素值，向?qū)λ鰳颖局邓M行的一樣，對相對應(yīng)的差進行加權(quán)，并對像素值進行加法/減法，以消除它們各自的差。關(guān)于當前計算的樣本點，它們的樣本值和臨時樣本值互相相等。然而，在更新另一個樣本點的過程中，可以更新相同的高分辨率圖像像素。例如，如果在將圖9中的像素921更新為與樣本值916相等之后再將其更新為等于樣本值919，則其不再等于樣本值916。由于此，對于所有樣本點中的每一個，所述更新處理被反復幾次。在所述反復之后，所述高分辨率圖像接近準確的圖像。將通過以預定次數(shù)反復進行上述處理所得到的圖像作為高分辨率圖像輸出。
如上所述，所述POCS方法用來將高分辨率圖像的像素值設(shè)置為臨時樣本值，并求解這樣的條件表達式，即，所述臨時樣本值必須基本上等于從低分辨率圖像獲取的樣本值，其中從實際的照片獲取所述低分辨率圖像，從而獲得高分辨率圖像的像素值?？梢酝ㄟ^另一種方法，諸如迭代反向投影方法(例如，參見S.Park等的“Super-Resolution Image ReconstructionA Technical Overview”，第31頁)或MAP方法(例如，參見S.Park等的“Super-Resolution Image ReconstructionA Technical Overview”，第28頁)來求解所述條件表達式。
圖43是流程圖，其用于使用如上的條件表達式來實現(xiàn)高分辨率的情況。
在步驟S4301，以包含在低分辨率圖像中的像素，即，樣本值，為單位建立上述條件表達式。
在步驟S4302，作為聯(lián)立方程解決多個所得到的條件表達式，以獲取用于高分辨率圖像的像素值。
圖44是流程圖，其用于通過對圖像的邊緣周圍進行處理從而簡單地減少處理量的情況?？梢酝ㄟ^雙線性插值或三階插值主要地處理除所述邊緣之外的圖像部分，即，沒有像素值變化的部分。于是，可以在除所述邊緣之外的部分忽略利用所述條件表達式的上述處理。結(jié)果，可以降低處理量，而不會降低圖像的清晰度。
在步驟S4401，其中在步驟S4301之后進行此步驟，以像素為單位對低分辨率圖像進行邊緣檢測。例如，在Sobel濾波器的情況下，如果水平或垂直相鄰的像素的值之間的差比預設(shè)值更高，則確定存在邊緣，然而如果所述差不高于該預設(shè)值，則確定不存在邊緣。換言之，如果像素值梯度高于預設(shè)值，則確定存在邊緣，然而如果梯度不高于該預設(shè)值，則確定不存在邊緣。
在步驟S4402，求解與被確定包含在邊緣中的像素相對應(yīng)的條件表達式。例如，當采用POCS方法時，僅進行更新，其與對應(yīng)于被確定包含在邊緣中的像素的條件表達式相關(guān)。
然后參考圖45，將給出對于僅處理邊緣部分的另一個方法的描述。
在步驟S4501，其中在步驟S4401之后進行此步驟，僅檢測被確定包含在邊緣中的像素的對應(yīng)點，并建立與它們相關(guān)的條件表達式。此后，程序進行到步驟S4402。
取代執(zhí)行步驟S4501和S4402，可以采用疊加方法，在其中向更清晰的邊緣(即，更大的像素值梯度)授予更大的權(quán)重。再或者，僅對在包含目標像素的局部圖形中包含的、樣本值梯度大于預定值的樣本值進行加權(quán)平均獲取處理。
參考圖46，將詳細描述步驟S4501。
在步驟S4401，以像素為單位對低分辨率圖像進行邊緣檢測，其后是步驟S201。例如，存儲與所述低分辨率圖像具有相同尺寸的數(shù)字圖像作為檢測結(jié)果，其中，用“1”表示包含在邊緣中的像素，用“0”表示沒有包含在邊緣中的像素。
如果在步驟S4601確定邊緣中包含目標像素，程序進行到步驟S202，然而如果邊緣中不包含目標像素，程序返回步驟S201。具體地，當以數(shù)字圖像的形式存儲所述邊緣檢測結(jié)果時，如果目標像素的值是“1”，則程序進行到步驟S202，然而如果所述值是“0”，則程序返回步驟S201。
參考圖47，將給出對于在低分辨率圖像的數(shù)目與為一個目標像素獲取的對應(yīng)點的數(shù)目之間的關(guān)系的描述。
根據(jù)將被實現(xiàn)的高分辨率的放大倍率預先確定用來獲取單個高分辨率圖像的低分辨率圖像的數(shù)目N，以及一個目標像素的對應(yīng)點的數(shù)目P。例如，在以四倍同時放大所述低分辨率圖像的長度和寬度的情況下，所得到的高分辨率圖像中包含的像素的數(shù)目是所述低分辨率圖像的像素數(shù)目的16倍，并且相應(yīng)地，需要16倍的樣本點。N和P應(yīng)被確定以滿足如下條件NP＝16例如，如果存儲器能夠存儲8(＝N)個低分辨率圖像，將P設(shè)置為2，如果其僅能存儲2(＝N)個低分辨率圖像，則必須將P設(shè)置為8。注意到常規(guī)的幀退化逆變換方法對應(yīng)于P＝1且N＝16的情況。相反，在本發(fā)明的實施例中，如上所述，可以將所需要的存儲量減小為1/2(＝8/16)或1/8(＝2/16)。
圖47示出了N＝1的情況。在圖47中，參考數(shù)字4701表示相同的低分辨率幀。如果在圖像空間4705中選擇目標像素4709，在幀4701中檢測相對于目標像素周圍的塊4702具有最小匹配誤差的多個部分，從而進行亞像素估計。結(jié)果，檢測到塊4703和4704。在這種情況下，塊4702自身相對于塊4702具有為零的匹配誤差，即，最小誤差，這是當然的。因此，可以從搜索范圍中去除此塊，或者選擇具有第二或第三最小誤差的塊作為對應(yīng)點。圖47中示出了塊4704的對應(yīng)向量4708。對應(yīng)向量4708的起點和終點存在于同一幀中。圖47中未示出與塊4703相對應(yīng)的向量。結(jié)果，安排像素4709的值，作為圖像空間4710中的樣本值4706和4707。
圖48是流程圖，其用于解釋，特別是，運動圖像的具體情況。
在步驟S4801，將賦給低分辨率幀的編號n設(shè)置為1。
在步驟S4802，將第n幀中包含的一個像素設(shè)置為目標像素。
在步驟S4803，在參考幀的圖像空間中檢測對應(yīng)于所述目標像素的點。
在步驟S4804，確定所使用的低分辨率圖像的數(shù)目N是否等于n。如果答案為“否”，則程序進行到步驟S4805，然而如果答案為“是”，則程序進行到步驟S4806。
在步驟S4805，增加n，程序返回到步驟S4802。
在步驟S4806，利用低分辨率圖像的像素值和檢測到的對應(yīng)點，計算對應(yīng)于參考幀的高分辨率圖像的像素值，這是所述處理的終點。
圖49是接連利用運動圖像幀作為參考幀來實現(xiàn)高分辨率的流程圖。
在步驟S4901，將第一幀設(shè)置為參考幀。
在步驟S4902，通過在圖48中的步驟S4800的處理來生成對應(yīng)于所設(shè)置的參考幀的高分辨率圖像。
在步驟S4903，確定是否已經(jīng)生成了對應(yīng)于所有參考幀的高分辨率圖像。如果答案為“否”，程序進行到步驟S4904，然而如果答案為“是”，程序結(jié)束。
在步驟S4904，將下一幀設(shè)置為參考幀，且程序進行到步驟S4902。
(第二實施例)參考圖50到58，將給出對在其中使用局部圖形自相關(guān)的第二實施例的描述。
圖50示出了靜止圖像的一部分或運動圖像的一幀的一部分，其被輸入為用于實現(xiàn)高分辨率的低分辨率圖像5006。黑點表示像素。陰影部分表示低亮度部分，其包含從左下方延伸到右上方的邊緣5007。所述邊緣表示在采樣之前和拍攝期間獲得的亮度邊界。低分辨率圖像5006的像素僅呈現(xiàn)出亮度，這是當然的。為了盡可能準確地再現(xiàn)邊緣5007的光照和陰影，在常規(guī)技術(shù)中，從對象的不同圖像幀獲取該對象的某個部分的樣本值。然而，如上參考圖17所述，圖50中的虛線包圍的五個線5001到5005應(yīng)該具有非常相似的亮度變化。即，可以使用通過異相采樣獲得的像素值作為用于實現(xiàn)高分辨率的樣本值。
鑒于此，在所述第二實施例中，將圖像5006分割為多個線，所述線逐一被用作為參考線，并且利用每個參考線鄰近的低分辨率像素線對其實現(xiàn)高分辨率。進一步，使用每個像素線實現(xiàn)其它線的高分辨率。例如，在圖51中，像素線5102被至少用于實現(xiàn)像素線5103和5104的高分辨率。圖52A示出了自相關(guān)的具體例子，更具體地，示出了具有自動全等部分的圖像例子。圖52B是視圖，其用于解釋實現(xiàn)具有自動全等并在圖52A中示出的圖像部分的高分辨率。
參考圖50和53，將給出對利用低分辨率像素線實現(xiàn)高分辨率的操作的描述。
在步驟S5301，將圖像空間的線中所包含的端線設(shè)置為將進行高分辨率的最初實現(xiàn)的參考線。
在步驟S4801，將賦給用于實現(xiàn)所設(shè)置的參考線的高分辨率的低分辨率像素線的編號n設(shè)置為1。在圖50中，使用線5003作為參考線，并且使用像素線5001到5005來實現(xiàn)所述參考線的高分辨率。例如，首先，選擇像素線5001。
在步驟S5302，將第n個線中包含的一個像素設(shè)置為目標像素。在圖50中，假設(shè)將像素5008設(shè)置為目標像素。
在步驟S5303，在參考線的圖像空間中檢測對應(yīng)于所述目標像素的點，然后，程序進行到步驟S204。在圖50中，點5009被檢測為目標像素5008的對應(yīng)點。在圖50中，準備圖像空間5010，以便于觀看，其與圖像空間5006相同。
在步驟S204，確定是否已經(jīng)對在第n個線中包含的所有像素檢測了對應(yīng)點。如果答案為“否”，程序進行到步驟S4805，然而如果答案為“是”，程序進行到步驟S5304。
在步驟S4805，n被增加，程序進行到步驟S5304。基于位于所述邊緣附近并包含在像素線5001、5002、5004和5005中的像素，圖50僅示出了在參考線5003中檢測出的對應(yīng)點。
在步驟S5304，利用低分辨率像素線的像素值以及檢測到的對應(yīng)點，計算對應(yīng)于所述參考線的高分辨率圖像的像素值，然后，程序進行到步驟S5305。
在步驟S5305，確定是否已經(jīng)處理了將被進行高分辨率處理的所有線。如果答案為“否”，程序進行到步驟S5306，然而如果答案為“是”，程序結(jié)束。
在步驟S5306，將下一個線設(shè)置為參考線，并且程序進行到步驟S4801。
在圖53的流程圖中，在各像素線的方向上增強圖像的分辨率。具體地，在圖50中，垂直地進行高分辨率處理。例如，在輸入的低分辨率圖像是圖54所示(6×4)像素的圖像的情況下，如果利用垂直線將所述圖像的分辨率加倍，則生成如圖55中的白點指示的(6×8)像素的圖像。進一步，如果利用水平線將所得到的圖像的分辨率加倍，則生成如圖56中的白點指示的(12×8)像素的圖像。結(jié)果，所獲得的圖像是圖54所示圖像的兩倍大。另一方面，如果首先利用水平線將所述圖像的分辨率加倍，生成諸如圖57所示的(12×4)像素的圖像。此后，如果利用垂直線將所得到的圖像的分辨率加倍，生成諸如圖56所示的(12×8)像素的圖像。因而，不管高分辨率實現(xiàn)方向的順序怎樣，都能夠?qū)崿F(xiàn)相同的高分辨率。
參考圖58的流程圖，將給出對于首先在水平方向然后在垂直方向?qū)崿F(xiàn)高分辨率的處理的描述。
在步驟S5801，將分割圖像空間得到的水平線中包含的末端水平線設(shè)置為將被進行高分辨率的最初實現(xiàn)的參考線。隨后，程序進行到步驟S5802。
在步驟S5802，通過由圖53所示的步驟S4801到S5304所指示的過程來實現(xiàn)所述參考線的高分辨率。此后，程序進行到步驟S5803。
在步驟S5803，確定是否已經(jīng)處理了將被進行高分辨率處理的所有水平線。如果答案為“否”，程序進行到步驟S5804，然而如果答案為“是”，程序進行到步驟S5805。
在步驟S5804，將下一個水平線設(shè)置為參考線，并且程序進行到步驟S5802。
在步驟S5805，將分割圖像空間得到的垂直線中包含的末端垂直線設(shè)置為將被進行高分辨率的最初實現(xiàn)的參考線。隨后，程序進行到步驟S5806。
在步驟S5806，通過由圖53所示的步驟S4801到S5304所指示的過程來實現(xiàn)所述參考線的高分辨率。此后，程序進行到步驟S5807。
在步驟S5807，確定是否已經(jīng)處理了將被進行高分辨率處理的所有垂直線。如果答案為“否”，程序進行到步驟S5808，然而如果答案為“是”，程序結(jié)束。
在步驟S5808，將下一個垂直線設(shè)置為參考線，并且程序進行到步驟S5806。
(第三實施例)參考圖59和60，將給出對第三實施例的描述，在其中，在利用局部圖形自相關(guān)時，用塊來代替線。
如圖59所示，將(9×9)像素的圖像分割為(3×3)像素的塊5901，并且使用塊5901中的一個作為參考塊5902，其中，確定對應(yīng)于其它塊的像素的點(對應(yīng)點)。
參考圖60的流程圖，將描述第三實施例的操作。
在步驟S6001，將分割所述圖像空間得到的塊中包含的末端塊設(shè)置為將被進行高分辨率的最初實現(xiàn)的參考塊。然后，程序進行到步驟S4801。
在步驟S4801，將賦給用于實現(xiàn)所設(shè)置的參考塊的高分辨率的低分辨率塊的編號n設(shè)置為1。隨后，程序進行到步驟S6002。在圖59中，塊5902被設(shè)置為參考塊，并且與參考塊5902相鄰的八個塊被用于實現(xiàn)參考塊5902的高分辨率。
在步驟S6002，將第n個塊中包含的一個像素設(shè)置為目標像素，并且程序進行到步驟S6003。
在步驟S6003，在參考塊的圖像空間中檢測對應(yīng)于所述目標像素的點，然后，程序進行到步驟S204。
在步驟S204，確定是否已經(jīng)關(guān)于第n個塊中包含的所有像素檢測了對應(yīng)點。如果答案為“否”，程序返回到步驟S6002，然而如果答案為“是”，程序進行到步驟S4804。
在步驟S4804，確定所使用的低分辨率塊的數(shù)目N是否等于n。如果答案為“否”，則程序進行到步驟S4805，然而如果答案為“是”，則程序進行到步驟S6004。
在步驟S4805，增加n，程序返回到步驟S6002。
在步驟S6004，利用低分辨率圖像的像素值和檢測到的對應(yīng)點，計算對應(yīng)于參考塊的高分辨率圖像的像素值。此后，程序進行到步驟S6005。
在步驟S6005，將下一個塊設(shè)置為參考塊，并且程序進行到步驟S4801。
最后，將描述呈現(xiàn)效果的例子。圖61示出了利用常規(guī)的三階插值對靜止圖像進行實現(xiàn)高分辨率的處理而獲得的圖像。具體地，通過擴大大密度變化的圖像的黑線部分來獲取所示的圖像，并且每個小方塊部分對應(yīng)于一個像素。圖62示出了通過提高圖61的圖像的分辨率所獲得的圖像。很明顯，圖62中的黑線部分顯然比圖61中的更清晰。進一步，圖63示出了在其中僅對邊緣部分進行處理的實施例的結(jié)果。很明顯，盡管獲得圖63的圖像所需要的處理次數(shù)少于獲取圖62的圖像所需要的處理次數(shù)，但是，圖63的圖像比圖61更清晰。
在上述實施例中，可以使用低分辨率圖像中的一個像素值作為多個對應(yīng)點值，即，樣本點值。這意味著與常規(guī)技術(shù)相比，所述實施例能夠利用更少數(shù)量的低分辨率圖像提供更清晰的高分辨率圖像。于是，可以減少所需要的存儲容量。
進一步，具體地，當在一個幀進行處理時，可以縮小搜索對應(yīng)點的范圍，從而減小所需要的處理的次數(shù)。具體地，當在幀之間獲取對應(yīng)點時，由于對應(yīng)點在幀之間運動，通常需要十個到幾十個搜索范圍。相反，當在一個幀中進行處理時，由于在一個幀的相鄰線中檢測對應(yīng)點，僅準備幾個搜索范圍就足夠了。此外，雖然利用多個幀的方法不能用于靜止圖像，但是，利用單個幀的方法能夠用于諸如照片的靜止圖像。
權(quán)利要求
1.一種高分辨率化裝置，包括獲取單元，其被配置為從圖像源獲取由指示亮度級的像素值表示的圖像；第一設(shè)置單元，其被配置為將所述圖像中包含的一個幀設(shè)置為參考幀；第二設(shè)置單元，其被配置為分別將所述圖像中包含的一個或多個幀中所包含的多個像素順序地設(shè)置為多個目標像素；第三設(shè)置單元，其被配置為分別設(shè)置包含所述目標像素的多個目標圖像區(qū)域；搜索單元，其被配置為在所述參考幀搜索在像素值的變化模式與各個所述目標圖像區(qū)域相似的多個相似目標圖像區(qū)域；選擇單元，其被配置為從所述參考幀的所述相似目標圖像區(qū)域選擇對應(yīng)于各個所述目標像素的多個對應(yīng)點；第四設(shè)置單元，其被配置為將在所述對應(yīng)點的多個有關(guān)亮度的樣本值設(shè)置為與該對應(yīng)點相對應(yīng)的目標像素的像素值；以及計算單元，其被配置為基于所述樣本值和所述對應(yīng)點，計算在對應(yīng)于所述參考幀的高分辨率圖像中包含的多個像素值，所述高分辨率圖像包含了比所述參考幀中包含的像素更大數(shù)目的像素。
2.根據(jù)權(quán)利要求1所述的裝置，其中所述獲取單元被配置為獲取由多個幀形成的運動圖像，作為所述圖像；所述第一設(shè)置單元被配置為將所述幀之一設(shè)置為所述參考幀；以及所述第二設(shè)置單元被配置為將除所述參考幀之外的一個或多個幀中包含的像素設(shè)置為所述目標像素。
3.根據(jù)權(quán)利要求1所述的裝置，其中所述獲取單元被配置為獲取由多個幀形成的運動圖像，作為所述圖像；所述第一設(shè)置單元被配置為將所述幀之一設(shè)置為所述參考幀；以及所述第二設(shè)置單元被配置為將所述參考幀中包含的像素設(shè)置為多個目標像素。
4.根據(jù)權(quán)利要求1所述的裝置，其中所述獲取單元被配置為獲取由一個幀形成的靜止圖像，作為所述圖像；所述第一設(shè)置單元被配置為將所述靜止圖像設(shè)置為所述參考幀；以及所述第二設(shè)置單元被配置為將所述參考幀中包含的像素設(shè)置為多個目標像素。
5.根據(jù)權(quán)利要求1所述的裝置，其中所述第三設(shè)置單元被配置為將位于所述目標像素周圍的m×n(m和n是不小于1的整數(shù))個像素設(shè)置為各個所述目標圖像區(qū)域；所述搜索單元包括設(shè)置模塊，其被配置為設(shè)置所述參考幀中的多個m×n像素的對應(yīng)候選圖像區(qū)域；檢測模塊，其被配置為檢測所述對應(yīng)候選圖像區(qū)域中的對應(yīng)像素區(qū)域，該對應(yīng)像素區(qū)域具有在所述對應(yīng)像素區(qū)域和所述目標圖像區(qū)域之間像素值的最小誤差和，并且其對應(yīng)于所述相似目標圖像區(qū)域；擬合模塊，其被配置為在曲線上擬合從當在第一方向上將所述對應(yīng)像素區(qū)域移動幾個像素時所得到的區(qū)域獲得的所述最小誤差和，以及從當在與所述第一方向相反的第二方向上將所述對應(yīng)像素區(qū)域移動幾個像素時所得到的另一個區(qū)域獲得的另一個誤差和；以及選擇單元，其被配置為將所述曲線指示最小值的位置設(shè)置為所述對應(yīng)點之一。
6.根據(jù)權(quán)利要求1所述的裝置，其中，所述搜索單元包括生成模塊，其被配置為通過在所述圖像中包含的多個像素之間內(nèi)插多個其它像素來生成插值圖像；第一設(shè)置模塊，其被配置為將位于所述插值圖像中的目標像素周圍的m×n像素區(qū)域設(shè)置為各個所述目標圖像區(qū)域；第二設(shè)置模塊，其被配置為將各自包含m×n個像素的多個對應(yīng)候選圖像區(qū)域設(shè)置成所述插值圖像中包含的參考幀；檢測模塊，其被配置為從所述對應(yīng)候選圖像區(qū)域中檢測對應(yīng)像素區(qū)域，該對應(yīng)像素區(qū)域具有在所述對應(yīng)像素區(qū)域和所述各個目標圖像區(qū)域之間像素值的最小誤差和，并且對應(yīng)于所述相似目標圖像區(qū)域；以及所述選擇單元被配置為將與所述對應(yīng)像素區(qū)域相對應(yīng)的點設(shè)置為所述對應(yīng)點之一。
7.根據(jù)權(quán)利要求1所述的裝置，其中，所述搜索單元包括確定模塊，其被配置為，在固定水平和垂直坐標之一，并改變所述水平和垂直坐標中的另一個時，順序地確定在所述參考幀的各個圖像區(qū)域的像素值的變化模式和各個所述目標圖像區(qū)域的像素值的所述變化模式之間的差，以獲得多個差，并且確定在所述水平和垂直坐標中的所述另一個中包含的、在預設(shè)范圍內(nèi)提供所述差的最小一個的坐標是第一個所述對應(yīng)點；以及切換模塊，其被配置為在所述水平和垂直坐標之間切換被固定的坐標，并通過改變除所述被固定的坐標之外的坐標來獲取第二個所述對應(yīng)點。
8.根據(jù)權(quán)利要求1所述的裝置，其中，所述計算單元被配置為將所述高分辨率圖像的像素值設(shè)置為未知值，以所述樣本值為單位建立條件表達式，并且通過作為聯(lián)立方程求解所述條件表達式來計算所述高分辨率圖像的像素值，所述條件表達式指示從所述未知值計算得到的臨時樣本值等于所述樣本值。
9.根據(jù)權(quán)利要求8所述的裝置，其中，所述搜索單元被配置為，如果包含所述目標像素之一的局部圖形中的像素值的梯度小于預設(shè)值，則不能在所述參考幀搜索到所述相似目標圖像區(qū)域。
10.根據(jù)權(quán)利要求8所述的裝置，其中，所述計算單元被配置為使用指示包含所述目標像素之一的局部圖形中的像素值的梯度大于預設(shè)值的條件表達式作為所述條件表達式。
11.根據(jù)權(quán)利要求1所述的裝置，其中，所述計算單元被配置為作為所述樣本值的加權(quán)平均值來計算所述高分辨率圖像的各個像素的值，所述樣本值包括所述高分辨率圖像的所述各個像素，并且落在預設(shè)范圍以內(nèi)。
12.根據(jù)權(quán)利要求11所述的裝置，其中，所述搜索單元被配置為，如果包含所述目標像素之一的局部圖形中的像素值的梯度小于預設(shè)值，則不能在所述參考幀搜索到所述相似目標圖像區(qū)域。
13.根據(jù)權(quán)利要求11所述的裝置，其中，所述計算單元被配置為依照包含所述目標像素之一的局部圖形中的像素值的梯度，增加所述加權(quán)平均值的權(quán)重。
14.根據(jù)權(quán)利要求13所述的裝置，其中，所述計算單元被配置為，當所述包含所述目標像素之一的局部圖形中的像素值的梯度大于某值時，僅利用該局部圖形中包含的那些樣本值來計算所述加權(quán)平均值。
15.根據(jù)權(quán)利要求1所述的裝置，其中，所述選擇單元被配置為檢測各個所述目標像素的像素值的梯度方向，并根據(jù)所述檢測的梯度方向選擇所述對應(yīng)點。
16.一種高分辨率化裝置，包括獲取單元，其被配置為從圖像源獲取由指示亮度級的像素值表示的圖像；分割單元，其被配置為將所述圖像中包含的一個幀分割為多個垂直或水平像素線；第一設(shè)置單元，其被配置為將所述像素線中包含的一個像素線設(shè)置為參考像素線；第二設(shè)置單元，其被配置為分別將除所述參考像素線之外的、在所述圖像中包含的一個或多個幀中包含的多個像素順序地設(shè)置為多個目標像素；第三設(shè)置單元，其被配置為分別設(shè)置包含所述目標像素的多個目標圖像區(qū)域；搜索單元，其被配置為在所述參考像素線中搜索在像素值的變化模式與各個所述目標圖像區(qū)域相似的多個相似目標圖像區(qū)域；選擇單元，其被配置為從所述參考像素線的所述相似目標圖像區(qū)域中選擇對應(yīng)于各個所述目標像素的多個對應(yīng)點；第四設(shè)置單元，其被配置為將在所述對應(yīng)點的多個有關(guān)亮度的樣本值設(shè)置為對應(yīng)于該對應(yīng)點的目標像素的像素值；以及計算單元，其被配置為基于所述樣本值和所述對應(yīng)點，計算對應(yīng)于所述參考像素線的高分辨率圖像中包含的多個像素值，所述高分辨率圖像包含了比所述參考像素線中包含的像素更大數(shù)目的像素。
17.根據(jù)權(quán)利要求16所述的裝置，其中如果所述分割單元首先將所述一個幀分割為垂直像素線，則所述計算單元被配置為計算多個像素值，然后所述分割單元被配置為將所述一個幀分割為水平像素線，并且所述計算單元被配置為計算多個像素值；如果所述分割單元首先將所述一個幀分割為水平像素線，則所述計算單元被配置為計算多個像素值，然后所述分割單元被配置為將所述一個幀分割為垂直像素線，并且所述計算單元被配置為計算多個像素值。
18.一種高分辨率化方法，包括以下步驟從圖像源獲取由指示亮度級的像素值表示的圖像；將所述圖像中包含的一個幀設(shè)置為參考幀；分別將所述圖像中包含的一個或多個幀中所包含的多個像素順序地設(shè)置為多個目標像素；分別設(shè)置包含所述目標像素的多個目標圖像區(qū)域；在所述參考幀搜索在像素值的變化模式與各個所述目標圖像區(qū)域相似的多個相似目標圖像區(qū)域；從所述參考幀的所述相似目標圖像區(qū)域選擇對應(yīng)于各個所述目標像素的多個對應(yīng)點；將在所述對應(yīng)點的多個有關(guān)亮度的樣本值設(shè)置成與該對應(yīng)點相對應(yīng)的目標像素的像素值；以及基于所述樣本值和所述對應(yīng)點，計算在對應(yīng)于所述參考幀的高分辨率圖像中包含的多個像素值，所述高分辨率圖像包含了比所述參考幀中包含的像素更大數(shù)目的像素。
19.一種高分辨率化方法，包括以下步驟從圖像源獲取由指示亮度級的像素值表示的圖像；將所述圖像中包含的一個幀分割為多個垂直或水平像素線；將所述像素線中包含的一個像素線設(shè)置為參考像素線；分別將除所述參考像素線之外的、在所述圖像中包含的一個或多個幀中包含的多個像素順序地設(shè)置為多個目標像素；分別設(shè)置包含所述目標像素的多個目標圖像區(qū)域；在所述參考像素線中搜索在像素值的變化模式與各個所述目標圖像區(qū)域相似的多個相似目標圖像區(qū)域；從所述參考像素線的所述相似目標圖像區(qū)域中選擇對應(yīng)于各個所述目標像素的多個對應(yīng)點；將在所述對應(yīng)點的多個有關(guān)亮度的樣本值設(shè)置成對應(yīng)于該對應(yīng)點的目標像素的像素值；以及基于所述樣本值和所述對應(yīng)點，計算對應(yīng)于所述參考像素線的高分辨率圖像中包含的多個像素值，所述高分辨率圖像包含了比所述參考像素線中包含的像素更大數(shù)目的像素。
全文摘要
一種裝置，包括從圖像源獲取由指示亮度級的像素值表示的圖像的單元，將一個幀設(shè)置為參考幀的單元，將一個或多個幀中的各個像素順序地設(shè)置為目標像素的單元，設(shè)置包含所述目標像素的目標圖像區(qū)域的單元，在所述參考幀中搜索在像素值的變化模式上與各個所述目標圖像區(qū)域相似的相似目標圖像區(qū)域的單元，從相似目標圖像區(qū)域中選擇對應(yīng)于各個目標像素的對應(yīng)點的單元，將在對應(yīng)點的有關(guān)亮度的樣本值設(shè)置成對應(yīng)于該對應(yīng)點的目標像素的像素值的單元，以及基于所述樣本值和所述對應(yīng)點，計算對應(yīng)于所述參考幀的高分辨率圖像的像素值的單元，其中所述高分辨率圖像包含了比所述參考幀中的像素更大數(shù)目的像素。
文檔編號G06T3/40GK101079254SQ20071010483
公開日2007年11月28日 申請日期2007年5月22日 優(yōu)先權(quán)日2006年5月22日
發(fā)明者井田孝, 五十川賢造, 松本信幸, 金子敏充, 竹島秀則 申請人:株式會社東芝