圖像處理設備及控制方法

文檔序號：2540815閱讀：225來源：國知局

專利名稱：圖像處理設備及控制方法
技術領域：
本發(fā)明涉及一種用于將運動圖像數(shù)據(jù)轉(zhuǎn)換成具有更高幀速率的運動圖像數(shù)據(jù)的圖像處理設備，以及控制該圖像處理設備的方法。
背景技術：
傳統(tǒng)上，CRT已經(jīng)與例如電視用的運動圖像顯示裝置同義。然而，近年來，液晶顯示器、等離子顯示器和FED顯示器已經(jīng) 投入實際使用。也就是說，現(xiàn)在存在各種類型的顯示器。
不同類型的顯示器采用不同的顯示方法。例如，基于液晶裝置的顯示裝置(例如，直接觀看型液晶顯示裝置、液晶背投影儀(liquid crystal rear projector)和液晶前才殳影4義)可以使用許多掃描方法。在任何情況下，每個像素部的光輸出時期占據(jù)了一幀的顯示時期的大部分。因此，這種顯示裝置被稱作保持型 (hold-type)顯示裝置。
另一方面，例如在CRT或FED中，在一幀中在每個像素部中輸出一次光。發(fā)光時間遠短于幀顯示時期，并且通常是2毫秒或更短。由于這個原因，這種顯示裝置稱作^^沖型(impulse-type) 顯示裝置。
還存在與上述類別不同類型的等離子顯示器和場序顯示器 (field sequence display)。
各種類型的顯示方法具有以下特征。
n)保持型顯示裝置
這種類型的顯示裝置在大部分幀時期期間發(fā)射光。因此，
光強度的時間失衡(temporal imbalance)很小，并且?guī)缀跤^察不
到閃爍。此外，追蹤(免肉眼追蹤運動圖像中的運動部分)使得運動模糊根據(jù)幀中發(fā)光時期的長度而變得相對大。此處"運動模糊"與由顯示裝置的響應特性所造成的情況不同。
(2)脈沖型顯示裝置
這種顯示裝置在幀時期期間的很短時間內(nèi)發(fā)光。因此，光強度的時間失衡大，并觀察到與幀速率同步的閃爍。然而，幾乎觀察不到追蹤中的運動模糊。因此可以荻得幾乎與靜止部分相等的分辨率。
一般地，顯示裝置的發(fā)光時期根據(jù)顯示方法和顯示裝置而變化。上述類型(1)和(2)就發(fā)光時期而言完全相同。在每種方法中發(fā)光時期(對應于保持時間)越長，追蹤中的運動模糊越大。發(fā)光時期越短，運動模糊越小。即，發(fā)光時期和運動模糊的幅度幾乎彼此成比例。另一方面，關于與幀同步的閃爍，發(fā)光時期越長，觀察到的閃爍越少。發(fā)光時期越短，觀察到的閃爍越大。即，發(fā)光時期和閃爍具有相互平衡的關系。
這兩個問題的解決方案是將幀頻乘以N。在許多情況下， N=2。即速率加倍。當幀頻加倍時，在每個雙倍速率的幀中發(fā) 光時期減半。這還使運動模糊幾乎減半。對于閃爍，如果將60Hz 的初始幀頻加倍到120Hz,則閃爍的頻率落在人眼的響應特性以外。因此觀察不到閃爍。
如上述，使幀頻加倍(更廣義地說，將幀頻乘以N，其中N 大于l)具有很大效果，但卻造成了新問題。
例如，當原始圖像信號的幀頻是60Hz時，圖像信息以每1/60 秒為單位進行更新。如果將幀頻加倍從而以12 0 H z來顯示圖像數(shù)據(jù)，則每隔一幀丟失必要的圖像信息。作為解決方法，例如如果使幀頻加倍則顯示相同的圖像2次。這消除了閃爍但不能改善原始圖像中的運動模糊。在脈沖型顯示裝置中，通過追蹤所
觀察到雙重圖像(double image)(將這一現(xiàn)象稱作"雙重模糊 (double-blurring)")。
主要使用兩種方法來使幀頻加倍。
第一種方法^r測原始圖像中物體的運動并估計兩幀間的圖像。一般將此稱作通過運動補償?shù)闹虚g圖像生成方法。例如，在日本特開2004-159294和2004-297719中公開了這種方法。
在第二種方法中，首先，對輸入圖像的各幀進行濾波處理，以將與運動模糊有關的空間高頻分量和與閃爍有關的空間低頻
分量分離。將空間高頻分量集中于一個子幀(與原始幀相對應的兩個雙倍速率的幀中的一個)。空間^f氐頻分量分配至兩個子幀 (與原始幀相對應的兩個雙倍速率的幀雙方)。
在本說明書中，將該方法稱為"將圖像分離成空間頻率并將它們分配至子幀以進行顯示的方法"。
日本特開平6-70288和日本特開2002-351382以及美國授權前公開2006/0227249A1討論了 "將圖像分離成空間頻率并將它們分散至子幀以進行顯示的方法"。
然而，第一種和第二種方法具有以下問題。
第一種方法有兩個問題。作為一個問題，作為運動檢測的結(jié)果，在向量計算中可能出現(xiàn)誤差，且不存在對其進行校正的手段(稱作問題l-l)。另一個問題是計算量根據(jù)圖像大小而變得龐大(稱作問題1-2)。
第二種方法也有兩個問題。作為第一個問題，由于第一子幀所顯示的圖像和第二子幀所顯示的圖像未能正確反映它們之間的顯示時間差，因此追蹤圖像失真(問題2-1)。第二個問題是通過將一個子幀的分量(實際上，空間高頻分量)移動至另一子幀所造成的。更具體地說，這更容易使子幀飽合，并且因此有效動態(tài)范圍變得比顯示裝置的合適動態(tài)范圍窄(問題2-2)。

發(fā)明內(nèi)容
考慮到上述問題而作出本發(fā)明，并且本發(fā)明的目的在于提供一種通過簡單的配置來減輕一個或更多個上述問題的技術。為了解決問題，例如，本發(fā)明的圖像處理設備具有以下配置。
本發(fā)明在其第一方面提供了一種圖像處理設備，用于輸入
每單位時間包含m個幀的運動圖像數(shù)據(jù)，并輸出每單位時間包含2m個幀的運動圖像數(shù)據(jù)，所述圖像處理設備包括
輸入單元，用于輸入各幀的圖像數(shù)據(jù)；
濾波器單元，用于根據(jù)由所述輸入單元輸入的圖像數(shù)據(jù)來生成至少高頻強調(diào)圖像數(shù)據(jù)；
幀間插值單元，用于#全測輸入的當前幀和輸入的緊前一幀之間的運動，并生成位于輸入的當前幀和緊前一幀之間的時間點的中間位置處的運動補償?shù)牡皖l圖像數(shù)據(jù)；以及
輸出單元，用于輸出輸入的緊前一幀的高頻強調(diào)圖像數(shù)據(jù) 和由所述幀間插值單元所生成的低頻圖像數(shù)據(jù)中的每個作為雙倍速率的幀。
本發(fā)明在其第二方面提供了一種圖像處理設備，用于輸入每單位時間包含m個幀的運動圖像數(shù)據(jù)，并輸出每單位時間包含Nxm個幀的運動圖像數(shù)據(jù)，所述圖像處理設備包括
輸入單元，用于輸入各幀的圖像數(shù)據(jù)；濾波器單元，用于根據(jù)由所述輸入單元輸入的圖像數(shù)據(jù)來生成高頻強調(diào)圖像數(shù)據(jù)和低頻圖像數(shù)據(jù)；
縮小單元，用于從所述低頻圖像數(shù)據(jù)生成縮小圖像數(shù)據(jù)；存儲單元，用于存儲通過所述縮小單元獲得的縮小圖像數(shù)
據(jù)；
運動沖企測單元，用于檢測在由所述縮小單元獲得的幀的縮小圖像數(shù)據(jù)與存儲在所述存儲單元中的緊前一幀的縮小圖像數(shù)
據(jù)之間各像素的運動向量數(shù)據(jù)；
運動向量插值單元，用于通過對由所述運動檢測單元獲得的各像素的運動向量進行空間插值，來生成與具有由所述縮小單元縮小前的大小的圖像相對應的運動向量數(shù)據(jù)；
運動補償單元，用于基于由所述運動向量插值單元獲得的運動向量數(shù)據(jù)，來生成位于由所述濾波器單元生成的輸入幀的低頻圖像數(shù)據(jù)與緊前一幀的低頻圖像數(shù)據(jù)之間的時間點的中間位置處的(N-1)個低頻圖像數(shù)據(jù)；以及
輸出單元，用于每次輸入了由所述輸入單元輸入的一幀時，輸出由所述濾波器單元獲得的所述高頻強調(diào)圖像數(shù)據(jù)和由所述運動補償單元生成的所述(N-1)個低頻圖像數(shù)據(jù)作為N倍速率的子幀。
本發(fā)明在其第三方面提供了一種控制圖像處理設備的方法，所述圖像處理設備輸入每單位時間包含m個幀的運動圖像數(shù)據(jù)，并輸出每單位時間包含2m個幀的運動圖像數(shù)據(jù)，所述方法包括
輸入步驟，用于輸入各幀的圖像數(shù)據(jù)；
濾波步驟，用于根據(jù)在所述輸入步驟中輸入的圖像數(shù)據(jù)來生成至少高頻強調(diào)圖像數(shù)據(jù)；
幀間插值步驟，用于檢測在輸入的當前幀與輸入的緊前一幀之間的運動，并生成位于在輸入的當前幀和緊前一幀之間的時間點的中間位置處的運動補償?shù)牡皖l圖像數(shù)據(jù)；以及
輸出步驟，用于輸出輸入的緊前一幀的所述高頻強調(diào)圖像數(shù)據(jù)和在所述幀間插值步驟中生成的低頻圖像數(shù)據(jù)中的每個作為雙倍速率的幀。
本發(fā)明在其第四方面提供了一種控制圖像處理設備的方
法，所述圖像處理設備輸入每單位時間包含m個幀的運動圖像數(shù)據(jù)，并輸出每單位時間包含Nxm個幀的運動圖像數(shù)據(jù)，所
述方法包括
輸入步驟，用于輸入各幀的圖像數(shù)據(jù)；
濾波步驟，用于根據(jù)在所述輸入步驟中輸入的圖像數(shù)據(jù)來生成高頻強調(diào)圖像數(shù)據(jù)和低頻圖像數(shù)據(jù)；
縮小步驟，用于從所述低頻圖像數(shù)據(jù)生成縮小圖像數(shù)據(jù)；存儲步驟，用于存儲在所述縮小步驟中獲得的縮小圖像數(shù)
據(jù)；
運動檢測步驟，用于檢測在所述縮小步驟中獲得的幀的縮小圖像數(shù)據(jù)與在所述存儲步驟中存儲的緊前一幀的縮小圖像數(shù) 據(jù)之間各像素的運動向量數(shù)據(jù)；
運動向量插值步驟，用于通過對在所述運動檢測步驟中獲得的各像素的運動向量進行空間插值，來生成與具有由所述縮小步驟進行縮小前的大小的圖像相對應的運動向量數(shù)據(jù)；
運動補償步驟，用于基于在所述運動向量插值步驟中獲得的所述運動向量數(shù)據(jù)，來生成位于在所述濾波步驟中生成的輸入幀的低頻圖像數(shù)據(jù)和緊前一幀的低頻圖像數(shù)據(jù)之間的時間點的中間位置處的(N-1)個低頻圖像數(shù)據(jù)；以及
輸出步驟，用于每次輸入了在所述輸入步驟中輸入的一幀時，輸出在所述濾波步驟中獲得的所述高頻強調(diào)圖像數(shù)據(jù)和在所述運動補償步驟中生成的所述(N -1)個低頻圖像數(shù)據(jù)中的每個作為N倍速率的子幀。
根據(jù)本發(fā)明，可以例如通過筒單的處理來減少保持型顯示裝置中的運動模糊并減少脈沖型顯示裝置中的閃爍。還可以抑制追蹤中的如重影或拖尾模糊(tail-blurring)等失真。此外可以
防止因亮度降低或者一個子幀的水平的飽和度而對圖像質(zhì)量造成不利效果。
根據(jù)下面參考附圖對示例性實施例的說明，本發(fā)明的其它特征將顯而易見。

圖1是示出根據(jù)第一實施例的周像處理設備的配置的框圖。
圖2是示出根據(jù)第二實施例的圖像處理設備的配置的框圖。圖3是示出在實施例的配置中輸入幀和雙倍速率幀中沿時間軸的圖像信號波形的例子。
軸的圖像信號波形的例子。
圖5是示出傳統(tǒng)圖像處理設備的配置的框圖。
圖6是示出另一傳統(tǒng)圖像處理設備的配置的框圖。
圖7是示出另一傳統(tǒng)圖像處理設備的配置的框圖。
圖8是示出又一傳統(tǒng)圖像處理設備的配置的框圖。
圖9是示出在實施例中的圖像處理設備的配置的框圖。
圖IO是示出采用圖9中的配置的保持型顯示裝置中子幀SH
和SL的亮度的轉(zhuǎn)變的時序圖。
圖ll是示出傳統(tǒng)保持型顯示裝置的幀顯示定時的時序圖。圖12是示出采用圖9中的配置的脈沖型顯示裝置的幀顯示
定時的時序圖。
圖13是示出傳統(tǒng)脈沖型顯示裝置的幀顯示定時的時序圖。圖14是示出根據(jù)第一實施例的變形例的計算機程序的處理
過程的流程圖。
圖15是示出根據(jù)第三實施例的圖像處理設備的配置的框圖。
圖16是示出根據(jù)第四實施例的圖像處理設備的配置的框圖。
圖17是示出根據(jù)第五實施例的圖像處理設備的配置的框圖。
圖18是示出根據(jù)第六實施例的圖像處理設備的配置的框圖。
圖19中的A至D是用于說明在傳統(tǒng)裝置中在通過追蹤所觀察到的波形中出現(xiàn)失真的原因的圖。
圖20A至20C是用于說明在傳統(tǒng)裝置中在通過追蹤所觀察的波形中出現(xiàn)失真的原因的圖。
圖21A至21C是用于說明在傳統(tǒng)保持型顯示裝置中在通過追蹤所觀察到的波形中出現(xiàn)失真的原因的圖。
圖22中的A至C是用于說明在傳統(tǒng)保持型顯示裝置中在通過追蹤所觀察到的波形中出現(xiàn)失真的原因的圖。
圖23中的A至C是用于說明可以使用在本發(fā)明中采用的配置來抑制在保持型顯示裝置中在通過追蹤所觀察到的波形中的失真的原因的圖。
圖2 4中的A至C是用于說明根據(jù)第一實施例來改善在保持型顯示裝置中在通過追蹤所觀察到的波形中的失真的原因的圖。
圖25A至25C是用于說明在傳統(tǒng)脈沖型顯示裝置中通過追蹤所觀察到在波形中出現(xiàn)失真的原因的圖。
圖26中的A至C是用于說明在傳統(tǒng)脈沖型顯示裝置中在通過追蹤所觀察的波形中出現(xiàn)失真的原因的圖。
圖27中的A至C是用于說明可以使用在本發(fā)明中采用的配置來抑制在脈沖型顯示裝置中在通過追蹤所觀察到的波形中的失真的原因的圖。
圖28中的A至C是用于說明使用根據(jù)第一實施例的設備來改善在脈沖型顯示裝置中在通過追蹤所觀察到的波形中的失真的原因的圖。
具體實施例方式
現(xiàn)在參照附圖來詳細說明本發(fā)明的實施例。實施例提出了一種組合上述第一種和第二種方法的方法以及組合的條件。在上述"空間頻率分離法，，中，將強調(diào)和顯示空間高頻分量的子幀定義為第一子幀，并且將另一子幀定義為第二子幀。在實施例中，基于從相應的輸入圖像的單個幀中提取的空間高頻分量和空間低頻分量來生成由第一子幀顯示的圖像。由第二子幀顯示的圖像是通過根據(jù)前后幀的或其附近的空
間低頻分量來估計運動并對其進行補償來生成的空間低頻分量。
為了容易理解本發(fā)明的實施例，首先將參考圖5至8來說明現(xiàn)有技術配置。
對現(xiàn)有技術的說明
圖8示出最大程度簡化了上述第一種方法、即"通過運動補償?shù)膸逯捣?，，的設備配置。圖5至7示出與上述第二種方法、即"空間頻率分離法"有關的傳統(tǒng)設備配置。下面將說明圖8 所示的現(xiàn)有技術配置和圖5至7所示的那些現(xiàn)有技術中的每個。
對第一種方法的說明
圖8示出用于第一種方法的設備配置。該設備檢測輸入圖像中物體的運動，并估計和計算兩幀間的圖像。
參考圖8 ,輸入圖像(關注的輸入幀)A[i]的幀頻是例如 60Hz。開關SW每1/120秒交替選擇輸入端子，使得與一個輸入幀相對應地輸出兩個子幀(第一和第二子幀)。
第一子幀的圖像S1與輸入圖像相同。第二子幀的圖像S2是基于輸入圖像前后的幀通過執(zhí)行運動補償所獲得的中間圖像。
該方法的上述問題l-l是在基于圖像的運動檢測中出現(xiàn)某些估計誤差。此外，輸出基于錯誤估計的運動補償圖像作為未校正的圖像S2。問題l-2是指因為運動檢測自身的計算規(guī)模大，因此需要包括運動補償?shù)母咚偎阈g處理以及具有充足容量的高
速存儲器。
對第二種方法的說明
圖5是示出用于執(zhí)行根據(jù)上述第二種方法的處理的設備的配置。在這種情況下，輸入圖像的幀速率同樣是60Hz。每次輸入一幀時，生成兩個子幀并將它們輸出。為此，將一幀的輸入圖像暫時保存在兩個場存儲器中。開關SW0每1/120秒交替選擇輸入，以使圖像的幀速率加倍。在一個子幀(第二子幀)的生成處理中配置帶通濾波器。開關SW1根據(jù)運動檢測單元的檢測結(jié) 果來交替選擇已經(jīng)通過帶通濾波器的圖像和沒有經(jīng)過濾波處理的圖像。
結(jié)果，一個子幀(圖5中的SL)包含相對小量的高頻分量。與子幀SL相比，另一個子幀(圖5中的SH)包含大量的空間高頻分量。因此，空間高頻分量局限在輸出圖像的一個子幀中。這改善了追蹤中的運動模糊。此外，由于空間低頻分量被分配至兩個子幀，因此可防止以幀頻閃爍。
圖6是示出另一傳統(tǒng)設備的配置的框圖。參照圖6，輸入圖像的幀速率是60Hz。幀轉(zhuǎn)換器使圖像的輸入幀的速率加倍，并將其輸出至LPF(低通濾波器)/HPF(高通濾波器)濾波器單元。 LPF/HPF濾波器單元生成空間低頻分量數(shù)據(jù)"Low"和空間高頻分量數(shù)據(jù)"High"。將高頻分量數(shù)據(jù)乘以預定增益a。增益a 根據(jù)兩個子幀的輸出定時來改變正/負極性。如果運動檢測單元
已經(jīng)檢測到運動，則乘法器將增益a設置為大的值。如果運動檢測單元沒有;f企測到運動，則乘法器將增益a設置為小的值。在第一子幀的輸出定時，混和電路使用正增益a將低頻分量數(shù) 據(jù)"Low"與相乘結(jié)果相加，并輸出和。在第二子幀的輸出定時，混和電路使用負增益a將低頻成分數(shù)據(jù)"Low"與相乘結(jié)果相加，并$命出和。
結(jié)果，空間高頻分量被局限在一個雙倍速率的幀(或從輸入圖像觀看到的一個子幀)SH中。這改善了追蹤中的運動模糊。此外，由于將空間低頻分量分配至兩個子幀，因而可防止以幀頻閃爍。
圖7示出另一現(xiàn)有技術配置。參考圖7，一幀的輸入圖像A[i] 通過低通濾波器(LPF)和減法器，以生成高頻分量數(shù)據(jù)H[i]。將高頻分量數(shù)據(jù)H[i]加到輸入圖像數(shù)據(jù)以生成高頻強調(diào)圖像數(shù)據(jù) SH[i]。
每次輸入一幀的圖像數(shù)據(jù)時，開關swo交替選擇兩個輸入端子。結(jié)果，每次輸入一幀時，生成并輸出兩個子幀或高頻強
調(diào)圖像數(shù)據(jù)SH[i]和低頻圖像數(shù)據(jù)SL[i]。注意，A[i]的i表示第i幀。
這就允許輸出包含了被集中至雙倍速率幀之一的空間高頻分量在內(nèi)的雙倍速率的圖像。這改善了追蹤中的運動模糊。此外，由于將空間低頻分量分配至兩個子幀，因此可防止幀頻的閃爍。
已經(jīng)說明了第二方法的現(xiàn)有技術配置。圖5至7所示的各配置基于在每次輸入一幀的輸入圖像數(shù)據(jù)，交替輸出高頻強調(diào)圖像數(shù)據(jù)SH和低頻圖像數(shù)據(jù)SL 。當輸入圖像的幀頻是約50或 60Hz時，圖像SH和SL在人的視網(wǎng)膜上被識別為時間累積 (time-integrated)的，即相力卩的波形。然而，在追蹤運動物體時，
增加了圖像運動的時間因素。
假設輸入圖像的幀頻率是60Hz，并考查這種情況以與輸入圖像的第i幀相對應的順序來輸出并顯示圖像SH[i]和SL[i]。在這種情況下，圖像SL[i]比圖像SH[i]晚l/120秒顯示。由于這個原因，在追蹤運動物體時，在相對偏移的位置處識別出圖像 SL[i]，并且觀察到的圖像包含如過沖(overshoot)、重影或拖尾模糊(tail-blurring)等失真。注意拖尾才莫糊是在追蹤中在物體邊緣前或后出現(xiàn)痕跡的一種失真。在圖5至7所示的配置中，在物體運動方向上，在頭邊緣和尾邊緣出現(xiàn)非對稱失真。
對"空間頻率分離法"中的問題2-K波形失真)的說明為了便于說明，參考采用圖7中的傳統(tǒng)設備的圖19中的A至 D到圖23中的A至C將說明通過追蹤所觀察到的波形中出現(xiàn)失真的原因。
輸入圖像的幀速率是6 0 H z 。作為追蹤對象的物體的運動速度是每1/60秒V像素。即，物體運動速度是V[像素/(l/60秒)]。
圖19中的A至D是示出顯示脈沖寬度(顯示時期的時間長度) 和追蹤波形之間的關系的圖。圖19中的A示出原始靜止圖像的截面波形。圖19中的B示出以1/60秒的顯示脈沖寬度的截面波形。圖19中的C示出以1/120秒的顯示脈沖寬度的截面波形。圖 19中的D示出以1/1200秒的顯示脈沖寬度的截面波形。不管哪種情況下，各傾斜部分的寬度均對應于追蹤圖像中的運動模糊。
通過Tp(脈沖寬度)xV(運動速度)來得出傾斜部分的寬度。
由Tp[秒]xV[像素/(l/60秒)]來表示由運動造成模糊的圖像
的范圍(像素數(shù))。
例如，當使用保持型顯示裝置來顯示幀速率為60Hz的圖像時，Tp^l/60)秒。由此，如圖19中的B中的波形所示，與V[像素]相對應的范圍表現(xiàn)為模糊。
當使用保持型顯示裝置來顯示幀速率為120Hz的圖像時， Tp=l/120。由此，如圖19中的C中的波形所示，表現(xiàn)為模糊的區(qū)域是V/2[像素]。
在如CRT等脈沖型顯示裝置中，脈沖寬度短，并且例如 Tp:l/1200秒。在這種情況下，如圖19中的D所示，表現(xiàn)為才莫糊的區(qū)域是V/20[像素]。
注意，運動模糊并非由幀速率來確定，而是僅由顯示脈沖寬度和物體運動速度來確定。這里的"運動模糊，，不同于由顯示裝置的響應特性所造成的運動模糊。
接著參考圖20A至20C來說明當通過空間頻率來分離原始圖像A時所獲得的波形。令LPF()作為空間低通濾波器的函數(shù)，從輸入圖像A中提取的空間低頻分量數(shù)據(jù)L是L=LPF(A)，且空間高頻分量數(shù)據(jù)H是H-A-LPF(A)。低頻分量數(shù)據(jù)L是圖像數(shù)據(jù)，其由SL來表示。另一方面，高頻強調(diào)圖像數(shù)據(jù)由SH來表示。高頻強調(diào)圖像數(shù)據(jù)SH是原始圖像A和高頻分量數(shù)據(jù)H的和。因此， SH=A+H=A+A-LPF(A)=2A-L。當將高頻分量數(shù)據(jù)H加到低頻分量數(shù)據(jù)時，可以構(gòu)建原始圖像。由于這個原因，高頻強調(diào)圖像數(shù)據(jù)還可以表示為SH= {H+L} +H=2H+L 。
圖20A至20C示出靜止圖像的截面波形。圖20A示出原始圖像的截面波形。圖20B示出高頻圖像SH^2H+L)的截面波形。圖 20C示出低頻圖像SL的截面波形。當將圖20B中的波形加到圖 20C時，得到圖20A中的波形。
圖21A至21C示出通過將與顯示脈沖寬度(1/120秒的脈沖寬度)相對應的運動模糊加到圖20A至20C中示出的波形所獲得的雙倍速率的保持型顯示器中的波形或追蹤圖像波形。當將對應于V/2的模糊(即運動模糊量)加到圖20A至20C中的波形的左側(cè) 和右側(cè)時，獲得圖21A至21C所示的波形。
圖25A至25C示出通過將與1/1200秒的顯示脈沖寬度相對應的運動模糊加到圖20A至20C中示出的波形所獲得的脈沖型顯示器中的波形或追蹤圖像波形。當將對應于V/20的模糊(即運動模糊量)加到圖20A至20C中的波形的左側(cè)和右側(cè)時，獲得到圖25A至25C所示的波形。
圖22中的A至C示出使用雙倍速率的保持型顯示器的圖7所示的配置中的追蹤波形。在圖7中，以1/120秒的時間延遲來顯示根據(jù)輸入圖像的單個幀生成的高頻強調(diào)圖像SH[i]和低頻圖像SL[i]。即，低頻圖像SL[i]比高頻強調(diào)圖像SH[i]晚l/120秒顯示(輸出)。由于這個原因，在追蹤波形中，與圖像SH[i]的波形相比，在沿與運動方向相反的方向偏移了 V/2的情況下觀察到圖像SL[i]的波形。將這樣形成的圖22中的B中圖像SL的追蹤波形加到圖22中的A中的高頻強調(diào)圖像數(shù)據(jù)SH的追蹤波形，從而獲得圖22中的C所示的波形。從圖22中的C中的波形可明確看出在圖像中出現(xiàn)如過沖和拖尾模糊等失真。特別地，失真在運動方向上明顯不對稱。
圖26中的A至C示出使用脈沖型顯示器的圖7所示的配置中的追蹤波形。如在上述情形中那樣，在追蹤波形中，與圖像SH[i] 的波形相比，在沿與運動方向相反的方向偏移了 V/20的情況下觀察到圖像SL[i]的波形。將這樣形成的圖26中的B中圖像SL的追蹤波形加到圖26中的A中的高頻強調(diào)圖像數(shù)據(jù)SH的追蹤波形，從而獲得圖26中的C所示的波形。如從圖26中的C中的波形可明確看出，在圖像中出現(xiàn)如過沖和拖尾模糊等失真。特別地，失真在運動方向上明顯不對稱。
如從圖22中的A至C和圖26中的A至C之間的比較可明確看出盡管脈沖寬度對如過沖或拖尾模糊等失真的影響相對小，但脈沖寬度的不同極大地影響了運動模糊。
上面已經(jīng)說明了現(xiàn)有技術的配置和問題。對實施例中采用的設備的說明
本發(fā)明人認為圖9所示的設備配置能夠解決上述問題。假設輸入圖像的幀速率是60Hz，并將其轉(zhuǎn)換成120Hz的雙倍速率的圖像，給出如下說明。
低通濾波器(稱作LPF) 1使一幀的輸入圖像數(shù)據(jù)A[i]的低頻分量通過，以生成低頻分量數(shù)據(jù)(低頻圖像數(shù)據(jù))L[i]。減法器2 從輸入原始圖像A[i]中減去低頻分量數(shù)據(jù)L[i]以生成高頻分量數(shù)據(jù)H[i]。加法器3將高頻分量數(shù)據(jù)H[i]加到原始圖像A[i]。結(jié) 果，加法器3輸出高頻強調(diào)圖像數(shù)據(jù)SH[i](=A[i]+H[i]=L[i]+ 2H[i] (=2A[i]-L[i]))。將高頻強調(diào)圖像數(shù)據(jù)SH[i]供給至延遲電路4(由 FIFO存儲器或RAM構(gòu)成)。結(jié)果，延遲電路4輸出緊前一幀的高頻強調(diào)圖像數(shù)據(jù)SH[i-l]并將其供給至開關8。輸出緊前一幀的數(shù)據(jù)，以根據(jù)低頻圖像數(shù)據(jù)的幀延遲來調(diào)整輸出定時。
將低頻分量數(shù)據(jù)L[i]供給至加法器6和延遲電路5。加法器6 將從當前幀A [ i ]獲得的低頻分量數(shù)據(jù)L [ i ]加到根據(jù)緊前一輸入幀A[i-1 ]生成的低頻分量數(shù)據(jù)L[i-1 ]。除法器7使從加法器6輸出的數(shù)據(jù)減半。即，加法器6和除法器7計算當前幀的低頻分量數(shù) 據(jù)L [ i ]和前一幀的低頻分量數(shù)據(jù)L [ i -1 ]的平均值。輸出低頻分量的平均值作為相對于關注幀A[i]的緊前一幀的低頻圖像數(shù)據(jù) SL[i畫l]。
開關8在60Hz的一幀的輸入時期內(nèi)、即在一幀的輸入時期內(nèi)，以該次序選擇輸入端子a和b，從而輸出高頻圖像數(shù)據(jù)SH和低頻圖像數(shù)據(jù)S L這兩個子幀作為幀速率為12 0 H z的圖像。
圖23中的A至C和圖27中的A至C示出通過在圖9所示的配置中追蹤圖像所獲得的波形。圖23中的A至C示出保持型顯示裝置的情況，并且圖27中的A至C示出脈沖型顯示裝置的情況。注
意，在兩種情況下，高頻強調(diào)圖像數(shù)據(jù)SH[i]和低頻圖像數(shù)據(jù) SL[i]都具有1/120秒的時間差。
在圖23中的B的低頻圖像SL[i]的構(gòu)成要素中，L[i]是根據(jù)與 SH[i]相同的幀生成的圖像。L[i+1]是根據(jù)與SH[i+l]相同的幀 (即緊后一幀)生成的圖像。因而，比應當顯示的定時晚1/120秒顯示L[i]。另一方面，比應當顯示的定時早l/120秒顯示L[i+l]。因此，在追蹤波形中，在沿與物體運動方向相反的方向偏移了 V/2的情況下觀察到前者，并且在沿物體運動方向偏移了 V/2的情況下觀察到后者。SL[i]是它們的平均值的波形。將這樣形成的圖23中的B中的波形加到圖23中的A中的高頻強調(diào)圖像數(shù)據(jù) SH的追蹤波形，從而獲得圖23中的C中通過追蹤所觀察到的波形。該波形包含過沖和拖尾模糊，但在運動方向上是對稱的。因此可以抑制最大幅度的失真并使其不明顯。
這也適用于圖27中的A至C。獲得圖27中的C中通過追蹤所觀察到的波形。像上述情況那樣，波形包含過沖和拖尾模糊，但在運動方向上是對稱的。因此可以抑制最大幅度的失真并使其不明顯。
在本發(fā)明的實施例中，從顯示亮度(顯示光強度)的方面解釋計算和定義。在實施例中，例如，示出圖像的波形的時序圖表示了沿縱坐標的亮度。因此，當將本發(fā)明應用于定義為與顯示亮度C顯示光強度)成比例的數(shù)據(jù)的圖像數(shù)據(jù)時，本發(fā)明最有效。然而，本發(fā)明不總限于這種情況。本發(fā)明還適用于通用范圍內(nèi)的圖像數(shù)據(jù)(在數(shù)據(jù)值和顯示亮度或光強度之間具有略微非線性的圖像數(shù)據(jù))。即使在這種情況下，本發(fā)明的概念也基本成立，并提供充足的效果。
如上述，圖9所示的配置可生成具有比現(xiàn)有技術更令人滿意的波形的圖像數(shù)據(jù)。然而，在本發(fā)明中發(fā)現(xiàn)了由圖9的配置造成
的另一問題(上述問題2-2)，即更窄的動態(tài)范圍的問題。下面將說明該問題。
對"空間頻率分離法"中的問題2-2(動態(tài)范圍的劣化)的說
下面將說明圖9所示的配置中動態(tài)范圍的劣化。注意，即使在圖7的配置中，也出現(xiàn)該問題。
在"空間頻率分離法"中，空間高頻分量集中于一個子幀。例如，如果增加顯示圖像的亮度，則首先在顯示高頻強調(diào)圖像數(shù)據(jù)SH[i]的子幀中出現(xiàn)飽和。另一方面，即使在顯示高頻強調(diào) 數(shù)據(jù)的子幀飽和后，顯示低頻圖像數(shù)據(jù)SL[i]的子幀仍未達到飽和。圖IO示出在保持型顯示裝置中子幀所含的分量的分布。圖 12示出在脈沖型顯示裝置中的分布。每個陰影部分均表示高頻分量。
由于這個原因，與整個幀同時達到飽和水平的常規(guī)顯示方法(圖11中的保持型和圖13中的脈沖型)相比，最大顯示亮度變得較小。
可以使用圖3所示的實際波形來說明這點。圖3左側(cè)的波形表示輸入圖像A[i]和1/60秒后的輸入圖像A[i+l]的波形。
右側(cè)的波形表示間隔為1/120秒的SH[i]和SL[i]。人的視覺將以1/120秒切換的圖像識別為時間累積(time-integrated)的圖像。因此，至少靜止圖像的幀看起來基本相同。
高頻強調(diào)圖像SH[i]的峰值高于圖像A[i]的波形的峰值。這是因為另一子幀的高頻分量數(shù)據(jù)移至高頻強調(diào)圖像數(shù)據(jù)SH[i], 使得高頻分量的量加倍。從該波形可明確看出最大顯示水平的空白部分(圖的上側(cè))明顯小于圖像A[i]的空白部分。為了防止在輸入圖像A[i]的最大值時第一子幀飽和，必須將原始圖像信號乘以小于l的比率然后將其輸出。結(jié)果，有效動態(tài)范圍變窄。
22
即，動態(tài)范圍比顯示裝置的合適動態(tài)范圍窄。
如從圖3、 10和12可明確看出第一和第二雙倍速率子幀之間的較大的水平差，即較大的空間高頻分量，導致了更窄的動態(tài)范圍。此外，輸入圖像的空間頻率的濾波的較大常數(shù)值(距離常數(shù)值)導致較大的空間高頻分量。這表明較大的距離常數(shù)值導致較窄的動態(tài)范圍。為了僅防止動態(tài)范圍變窄，優(yōu)選距離常數(shù)值盡可能地小。這與問題2-l的趨勢矛盾。
第一實施例
以上說明了本發(fā)明的背景(問題)。實施例進一步改善圖9中
的配置。
基于通過濾波輸入圖像的一幀提取出的分量來生成由第一雙倍速率子幀要顯示的圖像。另一方面，要在第二子幀的顯示定時顯示的圖像需要從第一子幀的定時偏移了 1/120秒的時間處的圖像信息，并因此不能從通過對輸入圖像進行濾波所得的分量直接生成。通過對前后圖像的幀間插值來生成第二子幀要顯示的圖像。在本實施例中，要在第二子幀中顯示的圖像僅包含空間低頻分量。因而，從通過對輸入圖像進行濾波所獲得的前后幀的或前后幀附近的空間低頻分量，基于運動補償進行幀間插值，來生成第二子幀要顯示的圖像。空間高頻分量僅在第一子幀中顯示，且不需要幀間插值。
圖l是示出根據(jù)第一實施例的圖像處理設備的配置的框圖。在圖l中，與圖9中相同的附圖標記表示相同的組件。
參照圖l, A[i]是當前幀的輸入圖像數(shù)據(jù)。圖像數(shù)據(jù)的幀速率是60Hz。開關8每1/120秒交替選擇輸入。開關8連接至端子a 的時期是第一子幀的輸出時期。開關連接至端子b的時期是第二子幀的輸出時期。
入了幀間插值單元IO。將按次序說明圖l中配置的操作。
L P F 1是二維低通濾波器。該低通濾波器可使用例如高斯函凄丈(Gaussian function)或者運動平均或力口4又運動平均。4奪濾波器系數(shù)為最大值的l/2(中心值)處的有效距離，即與傳送系數(shù)為通帶的l/2處的空間頻率相對應的有效距離，定義為濾波器的距離常數(shù)值d。距離常數(shù)值d表示與在通過空間頻率濾波器來限制圖像的頻帶時的截止相對應的空間頻率的波長。d的單位是"像素"。距離常數(shù)值d由x和y分量的向量d—dx, dy)來表示，并對其各分量都進行濾波處理。LPF l的距離常數(shù)值是dl-(dlx, dly)。各dlx和dly的單位均是[像素]。
LPF l的輸出是輸入圖像的空間低頻分量L[i],其由下式來定義
L[i]二LPFl(A[i]) …(1-1)
將L[i]發(fā)送至減法器2。減法器2從圖像數(shù)據(jù)A[i]中減去L[i] 以生成高頻分量數(shù)據(jù)H[i]并將其輸出至加法器3。
加法器3將空間高頻分量數(shù)據(jù)H[i]加到圖像數(shù)據(jù)A[i]并輸出和作為高頻強調(diào)圖像數(shù)據(jù)SH[i]。
SH[i]=A[i]+H[i]=A[i]+A[i]-L[i]
由于A[i]^H[i]+L[i]，因而高頻強調(diào)圖像SH[i]還可表示為 SH[i]=2H[i]+L[i] …(l-2)
延遲電路4(由如FIFO存儲器或RAM等存儲單元構(gòu)成)使高頻強調(diào)圖像數(shù)據(jù)SH[i]延遲，以使其與后面說明的第二子幀同步。因此，從延遲電路4輸出的高頻圖像數(shù)據(jù)是供給至開關8的端子a作為第一子幀的SH[i-l]。
將由LPF 1生成的低頻分量數(shù)據(jù)(低頻圖像數(shù)據(jù))L[i]還發(fā)送至低頻幀間插值單元10 。低頻幀間插值單元10的輸出是第二子幀的顯示信號SL[i]，該顯示信號是通過基于針對L[i]和L[i-l]
的運動補償來進行幀間插值所獲得的，并由下式來定義 SL[i-l]=MC(L[i]， L[i-l]) …(1-3) 因為后面要說明的低頻幀間插值單元10的處理必須等待與
一個輸入幀相對應的時間(1 / 6 0秒)以參照下一幀，所以數(shù)據(jù)不是
SL[i]而是SL[i-l]。
實施例的低頻幀間插值單元10
下面將詳細說明才艮據(jù)本實施例的低頻幀間插值單元10。本實施例的低頻幀間插值單元10僅基于 <氐頻分量的運動補
償來精確地執(zhí)行幀間插值。低頻分量數(shù)據(jù)是圖像數(shù)據(jù)，并且以下將其稱作低頻圖像數(shù)據(jù)。
低頻圖像數(shù)據(jù)L[i]是被距離常數(shù)值dl頻帶分割的圖像。因此，空間頻率高于與距離dl相對應的空間頻率的頻帶的信號水平非常低(然而，平滑度取決于低通濾波器的函數(shù))。
由于這個原因，在低頻圖像數(shù)據(jù)L[i]的圖像的幀間插值中，不需要在L[i]的整個空間頻帶中，即不需要對每個像素，進行運動檢測。代替地，可以基于在預定時期采樣的信號來進行運動才全測。
下面將定義尺寸縮小比(downsize ratio)。尺寸縮小比(縮減比)是沿圖像的X方向(水平方向)和Y方向(垂直方向)的每個定義的。例如，以d2xxd2y縮小圖像尺寸等同于在原始圖像中設置d2xxd2y個像素的窗口并在該窗口的預定位置處采樣代表點的像素。在這種情況下，將圖像在水平方向上縮小至l/d2x并且在垂直方向上縮小至1 /d2y 。
由Ls[i]來表示從L[i]縮小尺寸的圖像。 Ls[i]=SizeDn(L[i]) …(1-4) 在下面對低頻幀間插值單元10的說明中，根據(jù)需要以像素坐標(x， y)來表示圖像數(shù)據(jù)。
例如，在坐標系統(tǒng)中，由如下來表示尺寸縮小前的圖像L 和尺寸縮小后的圖像Ls:
L[i〗=L[i](x， y) ... (1-5-1)
Ls[i]=Ls[i](xs, ys) …(1—5-2)
令px和py是在作為尺寸縮小的單位的d2xxd2y區(qū)域中定義的代表點的坐標。然后，L和Ls的坐標系統(tǒng)表示為 x=d2x*xs+px ...(1-5—3) y=d2y*ys+py …(l一5-4) 其中dlx、 dly、 d2x和d2y都是整數(shù)。
在本發(fā)明中，如果dl和d2都是2或更大，則這些范圍成立。實際上，假設dlx和dly處在幾個像素至幾十個像素的范圍中。當d2的范圍相對于dl滿足
0.5dlx^d2x<2dlx ... (l-5-5)
0.5dly^d2y^2dly …(l-5-6)
時，就圖像質(zhì)量而言，本發(fā)明的效果得以最大化。如果d2x太小，則效率低。如果d2x太大，則抑制低頻分量的運動的分辨能力趨于不足。然而，d2x根據(jù)處理對象圖像的類型或物體可以具有較大的值(這也適用于y方向)。
在本實施例中，將說明(11=8且(12=6的例子?！﹊設在本實施例中要處理的輸入圖像A[i]具有1920個水平像素xl080個垂直像素。低頻分量L[i]的圖像大小是1920x1080。由于d2x-d2y-6，因此縮小后的圖像Ls[i]的大小是320xl80個像素。更具體地，在本實施例中，對于1920xl080個像素，既不需要運動4全測的計算，也不需要運動補償?shù)挠嬎恪H需要沿水平方向和垂直方向在1 / 6大小的圖像中進行圖像運動檢測和運動補償。考慮到面積比，計算量可僅為1/36,并且?guī)缀跤X察不到圖像質(zhì)量的劣化。將縮小的圖像數(shù)據(jù)Ls[i]供給至運動檢測/運動補償單元13
和延遲電路12，如圖1所示。基于從當前幀生成的縮小圖像數(shù)據(jù) Ls[i]和從延遲電路12生成的前一幀的縮小圖像數(shù)據(jù)Ls[i-l],運動檢測/運動補償單元13生成位于圖像i-l和圖Y象i的顯示時間之間的中間定時處的圖像數(shù)據(jù)Ls一mc[i]。
在以上說明中，Ls—mc[i]是從時間鄰近的兩個縮小圖像數(shù) 據(jù)組生成的。然而，也可參照三個或更多個縮小圖像數(shù)據(jù)組。此處為了最小化的和必需的配置，將縮小圖像數(shù)據(jù)組的數(shù)量設為2。
實際上，在用于以上述方式在運動補償后生成圖像數(shù)據(jù) Ls—mc[i]的計算中，至少在輸入了要參照的最后一幀后必須開始運動檢測。為此，需要延遲幀。在本例子中，如上所述，由于實現(xiàn)了最小化的和必要的配置，因此處理僅需等待一幀并且然后在允許參照下一幀時開始。由此輸出圖像數(shù)據(jù)L s—m c [ i -1 ]。根據(jù)如下來生成圖像數(shù)據(jù)Ls—mc[i-l]: Ls—mc[i-l]=MC(Ls[i-l〗，Ls[i]) …(l-6-1)
下面將詳細it明生成圖像數(shù)據(jù)Ls—mc[i]的處理。為了獲得Ls—mc[i]，有必要進行運動檢測，再基于運動檢測的結(jié)果來進行運動補償。在本實施例中，運動檢測和運動補償?shù)膶ο笫荓s。
下面將說明運動檢測。與圖像Ls[i]中位置(x， y)處的各微區(qū)(microarea)相對應，在圖像Ls[i+l]中搜索近似或相符合的微區(qū)。這稱為塊匹配。搜索范圍與原始位置所采用的最大運動量相對應。假設在位置(x+mvsx, y+mvsy)處發(fā)現(xiàn)《鼓區(qū)。此時，坐標位置(x, y)處的運動向量可由下式來表示
MVs[i]-(mvsx， mvsy) …(l一6-2) 將獲得圖像Ls[i](x， y)的各像素位置(x, y)處的運動向量的處理稱作運動檢測。運動向量MVs是包含與Ls —樣多的數(shù)據(jù)的
陣列數(shù)據(jù)。與各像素相對應的數(shù)據(jù)是針對各像素位置處的X分量
和y分量獨立確定的向量數(shù)據(jù)?？梢酝ㄟ^如下使用每個分量來表示MVs:
MVs[i](x, y)=(mvsx(x， y)， mvsy(x， y)) ... (1—6—3) 接著將說明運動補償。在本實施例中，運動補償基于以上述方式獲得的運動向量來獲得與Ls[i]和Ls[i+l]之間的中間定時相對應的圖像Ls一mc[i]。通過參照位于在通過從值x和y中減去運動向量的1/2而計算出的像素位置處的Ls[i]的數(shù)據(jù)，可以獲得Ls一mc[i](x, y)。還可通過參照位于在通過將運動向量的1/2 加到值x和y而計算出的像素位置處的L s [ i +1 ]的數(shù)據(jù)，來獲得到 Ls—mc[i](x, y)。如下纟合出這些關系 Ls—mc[i](x， y)
=Ls[i](x-mvsx(x， y)/2， y-mvsy(x， y)/2) …(l-6-4) 或
Ls—mc[i](x， y)
=Ls[i+l](x+mvsx(x, y)/2, y+mvsy(x, y)/2) ...(1—6—5) 可適當?shù)剡x擇由等式所獲得的結(jié)果之一，或者可計算這兩個結(jié)果的平均值。
如果mvsx(x， y)/2或mvsy(x， y)^不是整lt,則以小凄t部分除外的最大整數(shù)來取代該值，并計算等式結(jié)果的平均值。
在本實施例中，將處理延遲一幀以獲得Ls—mc[i-l](x， y)。需要將由運動檢測和運動補償獲得的圖像數(shù)據(jù) Ls—mc[i-l](大小是320xl80個像素)尺寸放大至原始圖像大小。尺寸放大單元(SizeUp unit) 14從一個像素數(shù)據(jù)生成d2xxd2y個像素數(shù)據(jù)。在本實施例中，尺寸放大單元14在空間上進行線性插值(例如，雙線性法)以在各區(qū)域中從一個像素生成d2xxd2y像素數(shù)據(jù)，從而將縮小圖像返回到原始圖像大小。由如下給出轉(zhuǎn)
換成原始大小的圖像數(shù)據(jù)Lup[i-l]:
Lup[i-l]=SizeUp(Ls—mc[i國l]) …(1-7)
然而，這里獲得的Lup[i](-1920xl080個像素)尚不具有作為
由第二子幀要顯示的低頻分量圖像的充足特性。已經(jīng)經(jīng)過尺寸
放大單元14的線性插值的圖像Lup[i]包含不想要的高頻分量作為空間頻率分量，并且不是平滑的。
要作為第二子幀顯示(輸出)的圖像必須具有與緊在其前后
的第一子幀的低頻分量的空間頻率分布幾乎相同的空間頻率分布。更精確地說，空間頻率分布必須具有緊在其前后的那些之間的值。為此，優(yōu)選去掉不想要的高頻組分。在本實施例中，在尺寸放大單元14的后階段設置LPF 15(LPF 15的距離常數(shù)值是d3氣d3x， d3y))。通過由LPF 15去掉不想要的高頻分量來獲得足夠平滑的結(jié)果，從而獲得適合作為第二子幀的圖像數(shù)據(jù)。 SL[i-l]=LPF2(Lup[i-l〗) …(l-8)
在本實施例中，為了簡化配置，(d3x, d3y)=(dlx， dly)。這就允許單個LPF用作LPF 1和15。將由第二子幀要顯示的圖像 SL[i-l]供給至開關8的端子b。
本實施例的開關8每1/120秒交替輸出SH[i-l](=L[i-1]+2H[i畫l])和SL[i-l](^LPF2(Lup[i-l])),從而實現(xiàn)具有減少的運動模糊的圖像。
實施例的效果2-1(改善追蹤波形中的失真) 如從上述說明可明確看出通過對當前幀和緊后一幀的第一子幀的低頻圖像執(zhí)行幀間插值處理來生成作為本實施例的第二子幀而生成的圖像數(shù)據(jù)。
第一子幀所顯示的圖像和第二子幀所顯示的圖像在時間差上并無不一致。由于這個原因，在追蹤中，第二子幀的圖像的位置相對于由第一子幀顯示的圖像沒有大的偏移。因此可以通
過在視覺上對兩個圖像進行時間累積(time-integrating)即對兩個圖像進行相加來識別原始圖像。
更具體地，與圖7不同，第二子幀的低頻成分圖像SL[i]不包含基于與SH[i]相同的定時的圖像信息的低頻分量。本實施例的第二子幀也不具有圖9所示的、在基于與圖像SH[i]相同的定時的圖像信息的低頻分量和基于與高頻強調(diào)圖像SH[i+l]相同的定時的圖像信息的低頻分量之間的平均值。在保持型顯示裝置中，在圖22中的C或23中的C中不出現(xiàn)波形失真，并且可觀察到更精確的追蹤波形，如圖24中的C所示。同樣在脈沖型顯示裝置中，在圖26中的C或27中的C中不出現(xiàn)波形失真，并且如圖 28中的C所示，可觀察到更精確的追蹤波形。圖24中的A示出實施例的高頻強調(diào)圖像。圖24中的B示出本實施例的低頻圖像。圖24中的C示出通過組合它們所獲得的圖像(保持型顯示裝置)。圖28中的A示出實施例的高頻強調(diào)圖像。圖28中的B示出實施例的低頻圖像。圖28中的C示出通過組合它們所獲得的圖像(脈沖型顯示裝置)。
實施例的效果2-2(動態(tài)范圍的改善)
在圖7所示的配置中，在追蹤中，如圖22中的C或26中的C 所示，在追蹤波形中觀察到過沖失真、下沖(undershoot)失真和拖尾模糊失真。在圖9所示的配置中，一定程度地改善了過沖失真和下沖失真，并很大地改善了拖尾模糊失真。
在圖7和9中的配置中，當考慮到最大運動速度而將相對于所追蹤的物體運動速度的LPF l的距離常數(shù)值設置為足夠大的值時，動態(tài)范圍變窄。
在本實施例中，如圖24中的C或28中的C所示，在追蹤波形中沒有出現(xiàn)失真。因而不必考慮波形中的失真而設置大的距離常數(shù)值。因而，動態(tài)范圍不變窄。
即使當運動速度相對于距離常數(shù)值為高(當距離常數(shù)值相對于所采用的運動速度為小)時，也總能獲得該效果。因此可以設置比以前更小的距離常數(shù)值。
圖3示出圖9所示的配置中的波形。在圖3中，即^f吏當SL[i] 的波形在水平方向上偏移例如V/2時，也必須將用于獲得L[i]或《L[i]+L[i+l])/2的距離常數(shù)值設置為相對大的值以不會極大地改變整個波形。
圖4示出本實施例的波形。在本實施例中，基于運動補償通過幀間插值來生成SL[i]。因此，SL[i]的波形位于正確的位置。這使得圖示的峰值(即高頻分量)可以一定程度地保留。由于這個原因，將L[i]確定為基數(shù)(base)的濾波器的距離常數(shù)值可以較小。這就降低了空間高頻分量的比率、即SH[i]和SL[i]之間的水平差。因此與圖9的配置相比，可以改善顯示裝置的有效動態(tài)范圍。
實施例的效果1 - K運動檢測誤差的小的影響) 如圖l所示，本實施例通過在尺寸》文大單元14之后插入LPF 15來實現(xiàn)消除在運動檢測或尺寸放大時新生成的空間高頻分量的噪音。LPF 15還在由運動檢測/運動補償單元13進行的運動才企測中出現(xiàn)估計誤差時提供效果。如果由運動檢測中估計誤差造成的圖像噪音僅包含空間高頻分量，則極大地抑制了其幅度。即使噪因還包含空間低頻分量，則抑制其幅度，使得噪音在視覺上平滑且不易察覺。
實施例的效果1 -2(小的計算規(guī)模)
在本實施例中，運動檢測對象是以d2xxd2y尺寸縮小的縮小圖像Ls[i]。運動補償對象圖像是Ls[i-l]。計算規(guī)模取決于對象的像素數(shù)。因而，在像素數(shù)絕對地下降時，計算規(guī)模可大幅縮小。計算量的縮小比率幾乎是像素數(shù)的縮小比率的平方。
第一實施例的變形例
將說明通過計算機程序來實現(xiàn)與第一實施例等同的處理的例子。執(zhí)行計算機程序所用的設備可以是如個人計算機(以下稱
作PC)等信息處理設備。本領域的技術人員熟知PC的硬件。假設已經(jīng)將每單位時間包含m個幀的運動圖像數(shù)據(jù)文件存儲在如硬盤等存儲裝置(或存儲介質(zhì))中。將說明這一例子在該例子
轉(zhuǎn)換成要以每單位時間雙倍的幀即每單位時間2m個幀回放的運動圖像數(shù)據(jù)，并將轉(zhuǎn)換結(jié)果保存在硬盤上作為文件。將轉(zhuǎn)換對象運動圖像數(shù)據(jù)存儲在存儲裝置中。將雙倍速率轉(zhuǎn)換后的運動圖像數(shù)據(jù)也存儲在存儲裝置中。因此，應用程序不必顯示雙倍速率轉(zhuǎn)換結(jié)果。即，注意，CPU也不需要與轉(zhuǎn)換對象運動圖
像數(shù)據(jù)所表示的運動圖像的幀速率同步地執(zhí)行處理。變形例的應用程序也存儲在硬盤中。CPU將該應用程序載入RAM并執(zhí)行該應用程序。
圖14是示出該應用程序的處理過程的流程圖。下面參照圖 14來說明CPU的執(zhí)行處理過程。
在步驟S1中，CPU將一幀圖像數(shù)據(jù)A[i]從轉(zhuǎn)換對象運動圖像數(shù)據(jù)文件載入至RAM。如果該數(shù)據(jù)被編碼，則CPU執(zhí)行相應的解碼處理。
在步驟S2中，CPU使用預設的低通濾波器(表)對關注的輸入圖像數(shù)據(jù)幀A [ i ]進行濾波，以生成低頻圖像數(shù)據(jù)L [ i ]。處理進入步驟S3。 CPU生成高頻分量數(shù)據(jù)H[i]。 H[i]=A[i]-L[i]
在步驟S4中，CPU生成高頻強調(diào)圖像數(shù)據(jù)SH[i]并將其臨時存儲在RAM中。
SH[i]=A[i]+H[i]=2A[i]-L[i]
在步驟S5中，CPU從低頻分量數(shù)據(jù)L[i]來生成縮小圖像數(shù) 據(jù)Ls[i](在第一實施例中，其大小在水平方向和垂直方向上都縮小至1/6)。
Ls[i]-SizeDown(L[i])
在步驟S6中，基于從緊前一的輸入幀生成的縮小圖像數(shù)據(jù) L[i-l]和從當前幀生成的縮小圖像數(shù)據(jù)L[i]來執(zhí)行運動檢測處理。基于檢測到的運動來執(zhí)行運動補償處理，從而生成位于在輸入或者要顯示當前幀和緊前一輸入幀的時間的中間位置處的縮小圖像數(shù)據(jù)Ls—mc[i]。此時，將縮小圖像數(shù)據(jù)Ls[i]存儲在RAM 中以準備下一幀的處理。
在步驟S7中，使低頻運動補償?shù)膱D像Ls—mc[i]返回至原始大小。如果處理與第一實施例相同，則將像素數(shù)在水平方向和垂直方向上都增加6倍。
在步驟S8中，低頻運動補償?shù)膱D像Ls—mc[i]進一步通過低通濾波器以生成第二子幀SL[i]。
在步驟S9中，CPU將兩個生成的子幀SH[i]和SL[i]存儲在存儲裝置中作為輸出運動圖像數(shù)據(jù)。
處理進入步驟S10。CPU判斷是否轉(zhuǎn)換了轉(zhuǎn)換對象運動圖像數(shù)據(jù)文件的所有幀?？梢酝ㄟ^判斷是否檢測到轉(zhuǎn)換對象運動圖像數(shù)據(jù)文件的文件末尾來進行該處理。
如果在步驟S10中為"否"，則在步驟Sll中使變量i遞增"l"，并且重復從步驟S1開始的處理。
如果在步驟S10中為"是"，則CPU完成一系列的雙倍速率的轉(zhuǎn)換處理。
如上所述，與第一實施例相比，轉(zhuǎn)換處理速度取決于CPU。然而還可以創(chuàng)建與第一實施例具有相同功能和效果的雙倍速率的運動圖像數(shù)據(jù)文件。
第二實施例
接著將說明本發(fā)明的第二實施例。圖2是示出根據(jù)第二實施例的圖像處理設備的配置的框圖。
在第二實施例中，低頻幀間插值單元20不同于第一實施例的低頻幀間插值單元10(圖1)。
在第二實施例中，如第一實施例中那樣，使用尺寸縮小了與L P F 1的距離常數(shù)值相對應的值的低頻分量圖像L s來進行運動檢測。然而，運動補償單元27基于對尺寸縮小前的原始低頻圖像數(shù)據(jù)L的運動檢測結(jié)果來進行運動補償。這就避免了運動補償后的LPF或者縮小了 LPF的規(guī)模。
如第一實施例中那樣，將從LPF l輸出的低頻圖像數(shù)據(jù)L[i] 輸入至第二實施例的低頻幀間插值單元2 0 。將低頻圖像數(shù)據(jù)L [ i ] 供給至尺寸縮小單元(SizeDown unit)21,然后對其進4亍運動才僉測處理。基于運動檢測結(jié)果，運動補償單元27對對象低頻圖像數(shù)據(jù)L[i]和L[i-l]執(zhí)行運動補償以生成圖像數(shù)據(jù)MC[i-l]。為此，設置了延遲電路22和26。延遲電路22和26可由如FIFO存儲器或 RAM等存儲單元構(gòu)成。
為了容易理解第二實施例，假設dl-8且d2-6來進行說明。假設在第二實施例中要處理的輸入圖像A[i]具有1920xl080個像素。由于d2x二d2y-6，因此縮小圖像Ls[i]的大小是320xl80個像素。更具體地，在第二實施例中，對具有1920xl080個^象素的圖{象不進行運動一企測。對在水平方向和垂直方向上具有1/6 大小的圖像進行運動檢測。這就大幅減少了運動檢測的計算量。在第一實施例中，對尺寸縮小的圖像執(zhí)行運動檢測和運動補償這兩個處理。然而在第二實施例中，對尺寸縮小的圖像進行運動檢測處理，而對原始大小的圖像進行運動補償處理。
將大小縮小的縮小圖像數(shù)據(jù)Ls[i]供給至延遲電路22和運動
檢測單元23。運動檢測單元23接收來自延遲電路22的前一輸入幀的縮小圖像數(shù)據(jù)Ls[i-l]以及當前幀的縮小圖像數(shù)據(jù)Ls[i],并生成運動向量^t據(jù)MVs[i-l]。
作為對追蹤時運動圖像特性的措施，優(yōu)選使用例如當前幀以及其前后幀這總共3個幀的縮小圖像數(shù)據(jù)Ls來執(zhí)行運動檢測。然而這導致了由于計算量的增加而使得負荷增加，并還由于存儲器容量的增加而導致費用的增加?？紤]到這點，在第二實施例中設計最小化的且必要的配置，以基于作為當前子頻圖像的子幀Ls[i]和作為緊前一低頻圖像的子幀Ls[i-l]來生成運動向量數(shù)據(jù)M V s [ i ]。在運動檢測和運動補償后生成圖像數(shù)據(jù)的計算中，至少在輸入要參考的最后幀之后必須開始運動檢測用的計算。為此，需要延遲幀。在本例子中，由于實現(xiàn)了最小化的且必要的配置，因此計算處理僅需等待一幀，然后在允許參照下一幀的定時開始。由此輸出運動向量數(shù)據(jù)MVs[i-l]。
MVs[i-l]=MV(Ls[i-l]， Ls[i]) ... (2-1)
例如，如下是運動4全測單元23的詳細處理。與圖像Ls[i]中位置(x， y)處的各微區(qū)相一致，在圖像Ls[i-l] 中搜索近似或相符合的相應微區(qū)。這稱為塊匹配。搜索范圍對應于原始位置所采用的最大運動量。假設在位置(x+mvsx， y + 11^3乂)處發(fā)現(xiàn)相應纟鼓區(qū)。此時，可以如下來表示坐標位置(x, y)處的運動向量
MVs[i]=(mvsx， mvsy) ...(1-6—2)(重復)
將在圖像Ls[i](x， y)的各像素位置(x， y)處獲得運動向量的處理稱作運動4全測。運動向量MVs是包含與Ls—樣多的數(shù)據(jù)的陣列數(shù)據(jù)。與各像素對應的數(shù)據(jù)是針對各像素位置處的每個x 分量和y分量分別獨立確定的向量數(shù)據(jù)。使用x分量和y分量通過 :i口下來表示MVs:
MVs[i](x， y)=(mvsx(x, y)， mvsy(x， y))…(l—6-3)(重復)
運動檢測單元23的處理必須等待一幀，然后在允許參照下一幀的定時開始。由此輸出向量數(shù)據(jù)MVs[i-l]。
例如，基于每個均表示為包括正號或負號的4位數(shù)據(jù)(總共8 j立iU居)的x和y分量，由(mvsx， mvsy}來表示一個向量凝:才居。這可應對在各方向上的土8像素的運動距離。在本實施例中， d2x=d2y =6。因而，相對于原始圖像的最大運動距離是土48像素，這是足夠的距離。
運動檢測單元23生成針對每個像素的向量數(shù)據(jù)。因此，向量的數(shù)量等于Ls[i]的像素數(shù)。
尺寸放大單元24接收運動向量數(shù)據(jù)MVs[i-l]并進行向量插值處理，從而生成與縮小前的L[i]和L[i-l]相對應的向量數(shù)據(jù) MV[i-l]。
MV[i-l]=SizeUp(MVs[i-l]) …(2-2-1)
MV[i-l](x, y)-(mvx(x, y), mvy(x, y)) …(2—2—2) 在本實施例中，與L[i]相對應的MV[i]是包含表示運動的 1920xl080個向量的陣列數(shù)據(jù)。另一方面，與縮小了 d2x=d2y=6 的Ls[i]相對應的MVs[i]是包含表示運動的320x 180個向量的陣列數(shù)據(jù)。
為了增加MVs[i]的大小并生成MV[i],尺寸放大單元24對各 x和y分量在空間上進行線性插值(例如，使用雙線性法)，從而生成與每個區(qū)域中的d2xxd2y個像素相對應(即與各像素相對應) 的向量數(shù)據(jù)。
運動補償單元27基于來自尺寸放大單元24的向量數(shù)據(jù) MV[i-l]來生成運動補償后的低頻圖像數(shù)據(jù)MC[i-l]。運動補償后的低頻圖像數(shù)據(jù)MC[i-l]是這種圖像數(shù)據(jù)估計該圖像數(shù)據(jù)位于在輸出或要顯示的當前幀的低頻圖像數(shù)據(jù)L[i]的時間和前一
幀的低頻圖〗象數(shù)據(jù)L[i-l]的時間之間的中間時間處。
MC[i-l]=MA(L[i-l〗，L[i], MV[i陽l]) …(2-3)
在MC[i]的詳細生成處理中，進行以下兩項計算，并選擇和
利用計算結(jié)果之一?？蛇x擇地，計算平均值。 MC[i](x， y)
=L[i](x-mvx(x, y)/2， y-mvx(x， y)/2) .,.(2—4—1)
MC[i](x， y)
=L[i+l](x+mvx(x, y)/2, y+mvx(x, y)/2)…(2—4—2)
例如，如果mvx(x， y)/2或mvy(x, y)/2不是整數(shù)，則使用除小數(shù)部分以外的整數(shù)部分來計算等式(2-4-1)和(2-4-2),并計算結(jié)果的平均值。注意，從運動補償單元27的輸出實際上被延遲了一幀，輸出MC[i-l](x, y)。
將已經(jīng)經(jīng)過了運動補償?shù)膱D像數(shù)據(jù)MC[i-l]供給至開關8的端子b作為由第二子幀要顯示的圖像SL[i-l]。在第二實施例中，開關8每1/120秒交替輸出SH[i-l]和SL[i-l],從而實現(xiàn)具有減少運動模糊的圖像。
如上述，根據(jù)第二實施例，可省略圖1的配置中的LPF 15。由運動補償單元27處理的Y象素數(shù)比由第一實施例的運動4全測/ 運動補償單元13的運動補償所處理的像素數(shù)大d2x+d2y的比率。然而，因為處理負荷比運動檢測單元23的處理負荷輕得多，所以并沒有造成嚴重的問題。即使造成了任何問題，由于對原始像素數(shù)進行運動補償，因此運動補償后的精度高，并且保證圖像具有比第一實施例中的質(zhì)量高的質(zhì)量。
第三實施例
在第三實施例中，使用具有與輸入圖像相同的圖像大小的低頻圖像數(shù)據(jù)L [ i ]來進行運動檢測和運動補償。
圖15是示出根據(jù)第三實施例的圖像處理設備的配置的框圖。
參照圖15, A[i]是輸入圖像。輸入圖像的幀速率是例如 60Hz。開關8每l/120秒交替選擇輸入端子a和b。開關8選擇端子 a的時期是第一子幀的輸出時期。開關8選擇端子b的時期是第二子幀的輸出時期。從輸入圖像A[i]到端子a的處理的配置與上述相同。到開關8的端子b的處理的配置有所不同。以下將進行說明。
L P F 1是二維低通濾波器。該低通濾波器可使用例如高斯函數(shù)或者運動平均或加權運動平均。將濾波器系數(shù)為最大值的 1/2(中心值)處的有效距離，即將與傳遞因子為通帶的l/2處的空間頻率相對應的有效距離，定義為濾波器的距離常數(shù)值d。距離常數(shù)值d表示與在由空間頻率濾波器來限制圖像的頻帶時的截止相對應的空間頻率的波長。d的單位是"像素"。距離常數(shù)值d 由x和y分量的向量d-(dx， dy)來表示，并且對其各分量都進行了濾波處理。LPF l的距離常數(shù)值是dl^(dlx, dly)。 dlx和dly 中每個的單位均是[像素]。LPF l的輸出是輸入圖像的空間低頻分量數(shù)據(jù)(低頻圖像數(shù)據(jù))L[i]，其由下式來定義
L[i]=LPFl(A[i]) …(l-l)(重復) 將低頻圖像數(shù)據(jù)L [ i ]發(fā)送至減法器2 。減法器2和加法器3生成高頻強調(diào)圖像數(shù)據(jù)SH[i]。
SH[i]=2H[i]+L[i] …(l-2)(重復) 經(jīng)由延遲電路4將高頻強調(diào)圖像數(shù)據(jù)SH作為延遲了一幀的高頻強調(diào)圖像數(shù)據(jù)SH[i-l]供給至開關8的端子a。高頻強調(diào)圖像數(shù)據(jù)S H [ i -1 ]是雙倍速率的圖像的第一子幀的顯示信號。
還將低頻圖像數(shù)據(jù)L[i]發(fā)送至低頻分量運動補償單元30。低頻分量運動補償單元30對低頻圖像數(shù)據(jù)L[i]和L[i-l]進行運動補償，以生成圖像SL[i-l]并將其供給至開關8的端子b。 SL[i-l]=L—mc(L[i], L[i國l]) …(3-l) 也就是說，第三實施例可理解為通過從圖1所示的第一實施例的配置中去除尺寸縮小單元、尺寸放大單元和LPF 15所獲得的配置。然而在第三實施例中，對于與原始圖像的像素相同數(shù) 量的像素進行運動檢測，這增加了計算負荷。因此，第三實施例對于具有預定大小或更小的輸入圖像A[i]是有利的?？蛇x擇地，優(yōu)選將第三實施例應用于在不需要實時生成雙倍速率的圖像數(shù)據(jù)的情況下來將雙倍速率的圖像數(shù)據(jù)保存為文件的配置。第四實施例
圖16是示出根據(jù)第四實施例的圖像處理設備的配置的框圖。
下面參照圖16將"^兌明第四實施例的配置。
參照圖16, A[i]是輸入圖像。輸入圖像的幀速率是例如 60Hz。開關8每l/120秒交替選擇輸入端子a和b。開關8連接至端子a的時期是第一子幀的輸出時期。開關8連接至端子b的時期是第二子幀的輸出時期。從輸入圖像A[i]到開關8的端子a的處理的配置與上述實施例沒有大差別。直到開關8的端子b為止的處理有所不同。
LPF 1是二維低通濾波器。該低通濾波器可使用例如高斯函數(shù)或者運動平均或加權運動平均。將濾波器系數(shù)為最大值的 1/2(中心值)處的有效距離，即與傳遞因子為通帶的1/2處的空間頻率相對應的有效距離，定義為濾波器的距離常數(shù)值d。距離常數(shù)值d表示與在由空間頻率濾波器限制圖像的頻帶時的截止相對應的空間頻率的波長。d的單位是"像素"。距離常數(shù)值d由x 和y分量的向量d-(dx, dy)來表示，并對其各分量都進行濾波處理。LPF l的距離常數(shù)值是d卜(dlx， dly)。 dlx和dly中每個的單位是[像素]。L P F 1的輸出是輸入圖像的空間低頻分量數(shù)據(jù)(低
頻圖像數(shù)據(jù))L[i],其由下式來定義
L[i]=LPFl(A[i]) …(l —l)(重復)
將低頻圖像數(shù)據(jù)L[i]發(fā)送至減法器2。減法器2和加法器3生成高頻強調(diào)圖像數(shù)據(jù)SH[i]。經(jīng)由延遲電路4將高頻強調(diào)圖像數(shù) 據(jù)SH作為延遲了一幀的高頻強調(diào)圖像數(shù)據(jù)SH[i-l]而供給開關8 的端子a。高頻強調(diào)圖像數(shù)據(jù)SH[i-1 ]是雙倍速率圖像的第一子幀的顯示信號。
另一方面，還將輸入圖像數(shù)據(jù)A[i]發(fā)送至幀間插值單元40。幀間插值單元40進行對當前幀的輸入圖像數(shù)據(jù)A[i]和緊前一幀的圖像數(shù)據(jù)A[i-l]的運動補償處理，并輸出結(jié)果作為運動補償后的圖像數(shù)據(jù)A—mc[i;j。
A—mc[i-l]=MC(A[i-l〗，A[i〗) ".(4-1)
實際上，幀間插值單元40的處理必須等待一幀，然后在允許參照下一幀圖像的定時開始。由此輸出圖像數(shù)據(jù)八_111(^-1]。
圖像數(shù)據(jù)A—mc[i-l]的空間頻率分布幾乎等于A[i-l]或 A[i]，或取它們之間的中間值。在供給至開關8的端子a的圖像數(shù)據(jù)SH[i-l]中，強調(diào)了空間高頻分量。因此有必要抑制要供給至開關8的端子b的圖像的空間高頻分量。
圖像A—mc[i-l]的空間頻率分布接近于A[i-l]或A[i]的空間頻率分布。在第四實施例中，為了實現(xiàn)空間高頻分量的消除，在幀間插值單元的后階段中設置LPF 41。 LPF 41具有與LPF 1 相同的特性。
第四實施例具有通過提供LPF 41來/人圖像數(shù)據(jù)A—mc[i-l] 中去除不想要的空間高頻分量的效果。即使當出現(xiàn)運動檢測估計誤差或估計失敗時，在僅包含空間高頻分量的圖像數(shù)據(jù)中極大地抑制了其所造成的圖像噪音的幅度。即使估計誤差或估計失敗所造成的噪聲還包含空間低頻分兩，其幅度也一皮抑制，從
而使得該噪音在視覺上很平滑且不易察覺。第五實施例
將說明第五實施例。在第五實施例中，如上述實施例那樣，將由運動檢測處理所獲得的信息用于運動補償。此外，針對圖像的每個區(qū)域來選擇是否應用空間頻率分離法。
圖17是示出根據(jù)第五實施例的圖像處理設備的配置的框圖。
直到開關8的端子a的第五實施例的配置(與第一子幀生成關聯(lián)的配置)與上述第一至第四實施例相同。其差別在于直到開關8的端子b的配置，即與第二子幀生成關聯(lián)的配置，并且加了區(qū)域特有信號選擇單元53。
即使在第五實施例中，輸入圖像數(shù)據(jù)的幀速率也是60Hz，且每1/120秒交替輸出與一個輸入幀相對應的兩個子幀。
在本實施例中，開關8的輸出圖像表示為S[i-l]。 S[i-l]是 SH[i-1 ]和SL[i-1 ]中的一個。幀間插值單元50對前一幀的低頻圖像數(shù)據(jù)L[i-l]和當前幀的低頻圖像數(shù)據(jù)L[i]進行運動補償處理，以生成圖像數(shù)據(jù)MC(L[i-l], L[i])。幀間插值單元50將圖像數(shù)據(jù) MC(L[i-l], L[i])輸出至開關8的端子b作為第二子幀SL[i-l]。
幀間插值單元50包含運動檢測單元51。運動檢測單元51將運動判斷信號SM[i-l]和MS[i-l]輸出至區(qū)域特有信號選擇單元 53。
每1/120秒交替選擇開關8的輸出SH和SL，并將其供給至區(qū) 域特有信號選擇單元53作為信號S[i-l]。所關注的幀的圖像數(shù)據(jù) A[i-1]還經(jīng)由延遲電路52供給至區(qū)域特有信號選擇單元53。
區(qū)域特有信號選擇單元53基于運動判斷信號SM和MS的值、對圖像數(shù)據(jù)的各區(qū)域或各像素有選擇地輸出A[i-l]或S[i-l]。從區(qū)域特有信號選擇單元53有選擇地輸出的信號表達為
D[i-l]。
運動判斷信號SM和MS中的每個是包含與輸入圖像數(shù)據(jù) A[i]的像素的數(shù)量一樣多的數(shù)據(jù)項的陣列數(shù)據(jù)，并用作為用于每個像素的判斷信號。運動判斷信號SM和MS中的每個是分量為0或1的二進制信號。運動判斷信號M S在判斷為在圖像信號中有運動的區(qū)域中的像素位置處是"1"，而在其它區(qū)域(即被判斷為無運動)中的像素位置處是"0"。運動判斷信號SM的邏輯與運動判斷信號MS的邏輯相反。
接著將說明區(qū)域特有信號選擇單元53。為了便于說明，如下所示定義數(shù)據(jù)。
-圖像數(shù)據(jù)A[i-l]中坐標(x， y)處的像素值是a(x, y)。 -坐標(x， y)處運動判斷信號SM[i-l]的值是sm(x, y)。 -坐標(x, y)處運動判斷信號MS[i-l]的值是ms(x， y)。 -圖像數(shù)據(jù)S[i-l]中坐標(x, y)處的像素值是s(x, y)。 -輸出圖像D[i-l]中坐標(x, y)處的像素值是d(x, y)。
利用這些定義，可以由如下給出輸出圖《象D[i-l]的坐標(x， y)處的像素值
d(x， y)=a(x, y)*sm(x， y)+s(x， y)*ms(x, y) …(5-1) (其中"*，，不是表示矩陣運算，而是通過乘以相同像素位置(x, y)處的值來生成(x， y)處的新數(shù)據(jù))
等式(5-l)右手側(cè)的第一項表示乘法器54的運算。第二項表示乘法器55的運算。更具體地，對于sm(x, y"l的區(qū)域，即對于被判斷為無運動的區(qū)域，輸出了輸入圖像A[i-l]的輸入幀中的像素數(shù)據(jù)。對于sm(x， y卜0的區(qū)域，即對于^f皮判斷為有運動的區(qū)域，選擇并輸出S[i-l]中的像素數(shù)據(jù)即開關8的輸出。
通過使加法器56將這樣獲得的第一和第二項相加所生成的結(jié)果是等式(5-l)。乘法器54和55中的每個可由根據(jù)運動判斷信
號來使數(shù)據(jù)通過的門(例如，與門)構(gòu)成。由于僅乘法器54和55 中的一個使像素數(shù)據(jù)通過，因而可省略加法器56。
如上所述，根據(jù)第五實施例，在被判斷為有運動的圖像區(qū) 域中，選擇圖像S[i-l]中的像素數(shù)據(jù)。在被判斷為無運動的圖像區(qū)域中，選擇圖像A[i-l]。這就允許設備總是根據(jù)有無運動來有選擇地顯示針對每個區(qū)域的最合適的圖像。
第六實施例
在第一至第五實施例中，使輸入圖像的幀速率加倍。在第六實施例中，將i兌明這一例子在該例子中，輸入每單位時間具有m個幀的運動圖像數(shù)據(jù)，并將其輸出作為每單位時間具有 Nxm個幀的運動圖像數(shù)據(jù)。為了便于說明，將說明N-5的例子。
圖18是示出根據(jù)第六實施例的圖像處理設備的配置的框圖。
同樣在這種情況下，A[i]是輸入圖像。幀速率是例如 24Hz(公知為電影的幀速率)。開關70每1 /120秒順序地選擇5個端子a、 b、 c、 d和e,從而在1/24秒內(nèi)返回到開始。
開關70連接至端子a的時期是第一子幀的輸出時期。開關70 連接至端子b的時期是第二子幀的輸出時期。類似地，開關70 的端子c、 d和e的連接時期分別是第三、第四和第五子幀時期。
通過將由乘法器69放大至5倍的高頻分量數(shù)據(jù)加到輸入圖像數(shù)據(jù)A[i]來獲得供給至開關70的端子a的圖像數(shù)據(jù)SH(第一子幀)。
SH[i]=L[i]+5*H[i-l] …(6-l) 在第六實施例中，必須生成供給至開關70的其余端子b、 c、
d和e的第二至第五子幀((N-l)子幀)。以下將第二至第五子幀表
示為SLl[i國l]、 SL2[i-l]、 SL3[i畫l]和SL4[i國1]。
還將作為來自LPF l的輸出的低頻分量數(shù)據(jù)(低頻圖像數(shù)
據(jù))L[i]供給至第六實施例的幀間插值單元60。第六實施例中的運動檢測與上述第二實施例的運動檢測幾乎相同。
同樣在第六實施例中，將說明dl-8且d2-6的例子。當在第六實施例中要處理的輸入圖像A[i]具有1920x 1080個像素(低頻圖像數(shù)據(jù)L[i]當然也具有1920xl080個像素)時，dl=d2=6。也就是說，由尺寸縮小單元61生成的縮小圖像數(shù)據(jù)具有320x180個像素。因此，在第六實施例中，對于具有1920xl080個像素的圖像不進行運動檢測處理。替代地，對于在水平方向和垂直方向上具有1/6大小的圖像進行運動^r測。這就大幅減少了計算量。
運動檢測單元63接收通過縮小當前幀的圖像數(shù)據(jù)和來自延遲電路6 2的緊前一幀的低頻圖像數(shù)據(jù)L s [ i -1 ]的大小所獲得的低頻圖像數(shù)據(jù)Ls[i]，并生成向量數(shù)據(jù)MVs[i-l]。
MVs[i-l]=MV(Ls[i-l]， Ls[i]) …(2—l)(重復)
向量數(shù)據(jù)MVs[i-l]中所包含的向量對應于幀速率Ls的像素。因此，向量的總數(shù)等于低頻圖像數(shù)據(jù)Ls的像素數(shù)。
接著，尺寸放大單元64對來自運動4企測單元63的向量數(shù)據(jù) MVs[i-l]在空間上進行插值，從而生成具有與大小減小前的像素數(shù)一樣多的向量的向量數(shù)據(jù)MV[i-1 ](這一部分的空間插值與第二實施例中的相同)。
MV[i-l]=SizeUp(MVs[i-l]) ... (2—2—l)(重復)
運動4企測單元63和尺寸放大單元64的處理與上述第二實施例的相同，因此將不重復對其的說明。
運動補償單元67接收當前幀的低頻圖像數(shù)據(jù)L[i]和緊前一幀的低頻圖像數(shù)據(jù)L[i-l]。基于向量數(shù)據(jù)MVs[i-l],運動補償單元67生成通過低頻分量的運動補償所獲得的圖像MCl[i-l]至 MC4[i-l]，并且應作為第二至第五子幀而輸出。
該實施例的運動補償單元6 7線性近似從第一子幀到第五子幀的物體運動。因此，將通過運動檢測單元63獲得的運動向量 MV作為關注幀中的普通向量來處理。在本實施例中，N=5。因此，在每個子幀中，將相鄰子幀的運動向量近似MV/5。
基于該概念，將要發(fā)送至運動補償單元67的運動向量數(shù)據(jù) 可以與第二實施例中相同。因此，通過如下來生成運動補償單
元67的輸出作為第二至第五子幀的運動補償后的圖像 MCl[i-l]=MAl(L[i-l]， L[i]， MV[i-l]) …(6-2)
MC2[i-l]=MA2(L[i-l], L[i]， MV[i-l]) …(6-3)
MC3[i-l]=MA3(L[i-l]， L[i]， MV[i-l]) …(6-4)
MC4[i-l]=MA4(L[i-l]， L[i]， MV[i-l]) ... (6-5)
當使等式(6-2)至(6-5)與n==l至4相對應時，可以以下面的
方式與n相對應地重寫等式(6-2)至(6-5)。第n個等式對應于第n
個子幀。
MCn[i-l]=MAn(L[i-l]， L[i]， MV[i-l]) …(6-6)
如接下來所述，供給至本發(fā)明的運動補償單元67的運動向量數(shù)據(jù)與第二實施例相同。
MV[i-l](x， y)=(mvx(x, y), mvy(x， y)) …(2-2-2)(重復) MAn[i-l]的詳細生成處理為如下所示。
為了通過參照L s [ i ]的相應點來獲得第n個子幀，根據(jù)下式來
執(zhí)行計算處理
MAn[i](x， y)
=Ls[i](x_mvx(x， y)*n/5, y-mvy(x, y)*n/5)…(6—7) 為了通過參照Ls[i+l]的相應點來獲得第n子幀，根據(jù)下式來執(zhí)行計算處理 MAn[i](x, y)
=Ls[i+l](x+mvx(x， y)*(5-n)， y+mvy(x， y)*(5-n))..... (6—8)
可適當?shù)剡x擇和利用計算結(jié)果中的一個，或可以計算平均值。
如果各分量的第二項不是整數(shù)，則以除小數(shù)部分以外的最大整數(shù)來代替該值，并計算等式的計算結(jié)果的平均值。
將子幀供給至開關70的端子b至e。開關70輸出與一個輸入幀相一致的N倍速率的子幀(在本實施例中N=5 )。
如上所述，根據(jù)第六實施例，本發(fā)明還適用于在這樣的顯示裝置中的顯示圖像生成該顯示裝置通過N個子幀來運行，即以輸入圖像的N倍幀速率來運行。
以上已經(jīng)說明了本發(fā)明的第一至第六實施例。在實施例中，沒有提到最終獲得的N倍速率的幀中每個的輸出目的地。該輸出目的地可以是保持型或脈沖型顯示裝置。輸出目的地不限于顯示裝置。替代地，可以將數(shù)據(jù)存儲在如DVD等存儲介質(zhì)中或者如硬盤等存儲裝置中作為運動圖像文件。
如在第一實施例的上述變形例中那樣，第二和后續(xù)實施例也允許通過控制計算機程序來實施等效的處理或功能。
通常，將計算機程序存儲在如CD-ROM等計算機可讀存儲介質(zhì)中。將存儲介質(zhì)設置在計算機的讀取裝置(例如CD-ROM驅(qū) 動器)中，并且通過將程序復制或安裝在系統(tǒng)中來使該程序可執(zhí) 行。因此，這種計算機可讀存儲介質(zhì)也包含在本發(fā)明中。
盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應該理解，本發(fā)明不限于所公開的典型實施例。所附權利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同配置和功能。
權利要求
1.一種圖像處理設備，用于輸入每單位時間包含m個幀的運動圖像數(shù)據(jù)，并輸出每單位時間包含2m個幀的運動圖像數(shù)據(jù)，所述圖像處理設備包括輸入單元，用于輸入各幀的圖像數(shù)據(jù)；濾波器單元，用于根據(jù)由所述輸入單元輸入的圖像數(shù)據(jù)來生成至少高頻強調(diào)圖像數(shù)據(jù)；幀間插值單元，用于檢測輸入的當前幀和輸入的緊前一幀之間的運動，并生成位于輸入的當前幀和緊前一幀之間的時間點的中間位置處的運動補償?shù)牡皖l圖像數(shù)據(jù)；以及輸出單元，用于輸出輸入的緊前一幀的高頻強調(diào)圖像數(shù)據(jù)和由所述幀間插值單元所生成的低頻圖像數(shù)據(jù)中的每個作為雙倍速率的幀。
2. 根據(jù)權利要求l所述的圖像處理設備，其特征在于，所述濾波器單元根據(jù)各幀的輸入圖像來生成所述低頻圖像數(shù)據(jù)和所述高頻強調(diào)圖像數(shù)據(jù)，其中，所述幀間插值單元包括縮小單元，用于從所述低頻圖像數(shù)據(jù)生成縮小圖像數(shù)據(jù)；存儲單元，用于存儲由所述縮小單元獲得的縮小圖像數(shù)據(jù)；運動補償單元，用于生成位于在前幀的縮小圖像數(shù)據(jù)和當前輸入幀的縮小圖像數(shù)據(jù)之間的時間點的中間位置處的縮小圖像數(shù)據(jù)；以及放大單元，用于將由所述運動補償單元獲得的縮小圖像數(shù) 據(jù)放大至由所述縮小單元縮小前的大小，并且輸出通過》文大獲得的圖像數(shù)據(jù)作為已經(jīng)經(jīng)過了幀間插值的低頻圖像數(shù)據(jù)。
3. 根據(jù)權利要求l所述的圖像處理設備，其特征在于，所述濾波器單元從輸入圖像中提取所述低頻圖像數(shù)據(jù)和所述高頻強調(diào)圖像數(shù)據(jù)，其中，所述幀間插值單元包括縮小單元，用于從所述低頻圖像數(shù)據(jù)生成縮小圖像數(shù)據(jù)；存儲單元，用于存儲由所述縮小單元獲得的縮小圖像數(shù)據(jù)；運動4全測單元，用于^r測由所述縮小單元獲得的輸入幀的縮小圖像數(shù)據(jù)和存儲在所述存儲單元中的在前幀的縮小圖像數(shù) 據(jù)之間的各像素的運動向量；運動向量插值單元，用于通過對由所述運動檢測單元獲得的各像素的運動向量進行空間插值，來生成與具有由所述縮小單元縮小前的大小的圖像相對應的運動向量數(shù)據(jù)；以及生成單元，用于基于由所述運動向量插值單元獲得的運動向量，來生成位于在由所述濾波器單元獲得的輸入幀的低頻圖像數(shù)據(jù)與緊前一幀的低頻圖像數(shù)據(jù)之間的時間點的中間位置處的低頻圖像數(shù)據(jù)，并輸出所生成的低頻圖像數(shù)據(jù)作為幀間插值的低頻圖像數(shù)據(jù)。
4. 根據(jù)權利要求3所述的圖像處理設備，其特征在于，所述濾波器單元從所述輸入幀生成所述低頻圖像數(shù)據(jù)和所述高頻強調(diào)圖像數(shù)據(jù)，并且所述運動檢測單元輸出表示是否已經(jīng)檢測到運動的判斷信號，其中，所述圖像處理設備還包括區(qū)域特有信號選擇單元，所述區(qū)域特有信號選擇單元用于當所述判斷信號表示存在運動時有選擇地輸出來自所述輸出單元的圖像數(shù)據(jù)中的像素數(shù)據(jù)，并當所述判斷信號表示不存在運動時有選擇地輸出由所述輸入單元輸入的緊前一幀的圖像數(shù)據(jù)中的像素數(shù)據(jù)。
5. —種圖像處理設備，用于輸入每單位時間包含m個幀的運動圖像數(shù)據(jù)，并輸出每單位時間包含Nxm個幀的運動圖像數(shù) 據(jù)，所述圖像處理設備包括輸入單元，用于輸入各幀的圖像數(shù)據(jù)；濾波器單元，用于根據(jù)由所述輸入單元輸入的圖像數(shù)據(jù)來生成高頻強調(diào)圖像數(shù)據(jù)和低頻圖像數(shù)據(jù)；縮小單元，用于從所述低頻圖像數(shù)據(jù)生成縮小圖像數(shù)據(jù)；存儲單元，用于存儲通過所述縮小單元獲得的縮小圖像數(shù)據(jù)；運動檢測單元，用于檢測在由所述縮小單元獲得的幀的縮小圖像數(shù)據(jù)與存儲在所述存儲單元中的緊前一幀的縮小圖像數(shù) 據(jù)之間各像素的運動向量數(shù)據(jù)；運動向量插值單元，用于通過對由所述運動檢測單元獲得的各像素的運動向量進行空間插值，來生成與具有由所述縮小單元縮小前的大小的圖像相對應的運動向量數(shù)據(jù)；運動補償單元，用于基于由所述運動向量插值單元獲得的運動向量數(shù)據(jù)，來生成位于由所述濾波器單元生成的輸入幀的低頻圖像數(shù)據(jù)與緊前一幀的低頻圖像數(shù)據(jù)之間的時間點的中間位置處的(N-1)個低頻圖像數(shù)據(jù)；以及輸出單元，用于每次輸入了由所述輸入單元輸入的一幀時，輸出由所述濾波器單元獲得的所述高頻強調(diào)圖像數(shù)據(jù)和由所述運動補償單元生成的所述(N-1)個低頻圖像數(shù)據(jù)作為N倍速率的子幀。
6. —種控制圖像處理設備的方法，所述圖像處理設備輸入每單位時間包含m個幀的運動圖像數(shù)據(jù)，并輸出每單位時間包含2m個幀的運動圖像數(shù)據(jù)，所述方法包括輸入步驟，用于輸入各幀的圖像數(shù)據(jù)；濾波步驟，用于根據(jù)在所述輸入步驟中輸入的圖像數(shù)據(jù)來生成至少高頻強調(diào)圖像數(shù)據(jù)；幀間插值步驟，用于檢測在輸入的當前幀與輸入的緊前一幀之間的運動，并生成位于在輸入的當前幀和緊前一幀之間的時間點的中間位置處的運動補償?shù)牡皖l圖像數(shù)據(jù)；以及輸出步驟，用于輸出輸入的緊前一幀的所述高頻強調(diào)圖像數(shù)據(jù)和在所述幀間插值步驟中生成的低頻圖像數(shù)據(jù)中的每個作為雙倍速率的幀。
7. —種控制圖像處理設備的方法，所述圖像處理設備輸入每單位時間包含m個幀的運動圖像數(shù)據(jù)，并輸出每單位時間包含Nxm個幀的運動圖《象數(shù)據(jù)，所述方法包括輸入步驟，用于輸入各幀的圖像數(shù)據(jù)；濾波步驟，用于根據(jù)在所述輸入步驟中輸入的圖像數(shù)據(jù)來生成高頻強調(diào)圖像數(shù)據(jù)和低頻圖像數(shù)據(jù)；縮小步驟，用于從所述低頻圖像數(shù)據(jù)生成縮小圖像數(shù)據(jù)；存儲步驟，用于存儲在所述縮小步驟中獲得的縮小圖像數(shù)據(jù)；運動檢測步驟，用于檢測在所述縮小步驟中獲得的幀的縮小圖像數(shù)據(jù)與在所述存儲步驟中存儲的緊前一幀的縮小圖像數(shù) 據(jù)之間各像素的運動向量數(shù)據(jù)；運動向量插值步驟，用于通過對在所述運動檢測步驟中獲得的各像素的運動向量進行空間插值，來生成與具有由所述縮小步驟進行縮小前的大小的圖像相對應的運動向量數(shù)據(jù)；運動補償步驟，用于基于在所述運動向量插值步驟中獲得的所述運動向量數(shù)據(jù)，來生成位于在所述濾波步驟中生成的輸入幀的低頻圖像數(shù)據(jù)和緊前一幀的低頻圖像數(shù)據(jù)之間的時間點的中間位置處的(N-1)個低頻圖像數(shù)據(jù)；以及輸出步驟，用于每次輸入了在所述輸入步驟中輸入的一幀時，輸出在所述濾波步驟中獲得的所述高頻強調(diào)圖像數(shù)據(jù)和在所述運動補償步驟中生成的所述(N-1)個低頻圖像數(shù)據(jù)中的每個作為N倍速率的子幀。
全文摘要
本發(fā)明涉及一種圖像處理設備及控制方法。本發(fā)明能縮小保持型顯示裝置中的運動模糊，并縮小脈沖型顯示裝置中的閃爍，并且還能抑制追蹤中的如重影或拖尾模糊等失真。LPF從輸入幀生成低頻圖像數(shù)據(jù)。還使用減法器和加法器來生成高頻強調(diào)圖像數(shù)據(jù)。尺寸縮小單元縮小低頻圖像數(shù)據(jù)以降低像素數(shù)。運動檢測/運動應用單元根據(jù)關注幀的縮小圖像數(shù)據(jù)和下一幀的縮小圖像數(shù)據(jù)來進行運動檢測和運動應用，以生成位于它們之間的中間位置處的縮小圖像數(shù)據(jù)。尺寸放大單元放大所生成的縮小圖像數(shù)據(jù)。另一LPF對放大的圖像數(shù)據(jù)進行濾波并輸出該結(jié)果作為低頻圖像數(shù)據(jù)。開關以兩倍于輸入幀速率的速度來交替輸出高頻強調(diào)圖像和低頻圖像。
文檔編號G09G5/36GK101365053SQ20081013494
公開日2009年2月11日申請日期2008年8月7日優(yōu)先權日2007年8月8日
發(fā)明者小林究申請人:佳能株式會社

完整全部詳細技術資料下載