專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和程序。
背景技術(shù)：
近年來，與數(shù)字視頻數(shù)據(jù)(在下文中被稱作視頻數(shù)據(jù))的發(fā)布相關(guān)的技 術(shù)得到了極大發(fā)展。具體地，與高圖像質(zhì)量視頻數(shù)據(jù)的發(fā)布和記錄相關(guān)的技 術(shù)的發(fā)展特別突出。在這些技術(shù)中，與視頻數(shù)據(jù)的編碼和解碼相關(guān)的技術(shù)受 到了關(guān)注。具有高空間分辨率和時間分辨率的視頻數(shù)據(jù)具有非常大的數(shù)據(jù)尺 寸，因此期望在編碼之后通過有效壓縮來發(fā)布或記錄這樣的視頻數(shù)據(jù)。為此， 期望使能夠以更高壓縮率來壓縮高圖像質(zhì)量視頻數(shù)據(jù)的編碼技術(shù)和解碼高 圖像質(zhì)量視頻數(shù)據(jù)以便以更高的空間分辨率來再現(xiàn)的技術(shù)。
例如，專利文件l和2公開了用于通過將具有低空間分辨率和高時間分 辨率的第一視頻數(shù)據(jù)(例如運動圖像數(shù)據(jù)等)與具有高空間分辨率和低時間
分辨率的第二視頻數(shù)據(jù)(例如靜止圖像數(shù)據(jù)序列等)組合而生成具有高空間 分辨率和時間分辨率的視頻數(shù)據(jù)的基本技術(shù)。這樣的技術(shù)從第一視頻數(shù)據(jù)中
預(yù)測幀之間的運動向量，并且使用運動向量和第二視頻數(shù)據(jù)來補償?shù)谝灰曨l 數(shù)據(jù)的高頻成分。這樣的技術(shù)使用從第一視頻數(shù)據(jù)檢測的運動向量和在與任 意時間點接近的時間點處的第二視頻數(shù)據(jù)的幀，來生成未包含在第二視頻數(shù) 據(jù)中的該任意時間點的幀。專利文件1和2包括與用于使用上述技術(shù)生成具 有高空間分辨率和時間分辨率的視頻數(shù)據(jù)的圖像數(shù)據(jù)記錄和再現(xiàn)設(shè)備相關(guān) 的描述。
現(xiàn)有技術(shù)文件日本專利申請?zhí)亻_No.2004-312276 [專利文件2]日本專利申請?zhí)亻_No.2004-31227
發(fā)明內(nèi)容
然而，因為上述的圖像數(shù)據(jù)記錄和再現(xiàn)設(shè)備使用具有不同空間分辨率的視頻數(shù)據(jù)來執(zhí)行運動預(yù)測和運動補償，所以如果關(guān)閉運動預(yù)測，則噪聲將被 添加到通過運動補償獲得的視頻數(shù)據(jù)的高頻成分。
根據(jù)前述，期望提供新穎且改善的圖像處理裝置、圖像處理方法和程序， 它們能夠在通過具有低空間分辨率的圖像數(shù)據(jù)序列的運動預(yù)測和使用高空 間分辨率的圖像數(shù)據(jù)的運動補償來生成高空間分辨率的圖像數(shù)據(jù)時，防止將 噪聲被添加到圖像數(shù)據(jù)的高頻成分。
根據(jù)本發(fā)明的實施例，提供了一種圖像處理裝置，包括獲取單元，用 于獲取包含多個連續(xù)幀的運動圖像數(shù)據(jù)以及對應(yīng)于所述幀并具有比所述幀 高的空間分辨率的一個或多個圖像數(shù)據(jù)；運動預(yù)測單元，用于使用所述運動 圖像數(shù)據(jù)來檢測所述幀之間的運動向量；差分量計算單元，用于計算任意幀 和對應(yīng)于所述圖像數(shù)據(jù)的幀之間的差分量；以及圖像生成單元，用于基于與 所述圖像數(shù)據(jù)對應(yīng)的幀和所述運動向量來生成與所述任意幀對應(yīng)的運動補 償圖像數(shù)據(jù)。此外，如果所述差分量小于預(yù)定值，則所述圖像生成單元生成 具有與所述圖像數(shù)據(jù)相同的空間分辨率的運動補償圖傳_數(shù)據(jù)，以及如果所述 差分量大于預(yù)定值，則生成其中任意幀被放大到與所述圖像數(shù)據(jù)相同的空間 分辨率的圖像數(shù)據(jù)。
圖像處理裝置還可以包括存儲單元，用于記錄運動圖像數(shù)據(jù)以及一個或 多個圖像數(shù)據(jù)。獲取單元獲取記錄在存儲單元中的運動圖像數(shù)據(jù)和一個或多 個圖像數(shù)據(jù)。
此外，存儲單元可以記錄有作為所述運動圖像數(shù)據(jù)的、具有低空間分辨 率和高時間分辨率的第 一圖像數(shù)據(jù)序列以及作為所述一個或多個圖像數(shù)據(jù) 的、具有比所述第一圖像數(shù)據(jù)序列高的空間分辨率和低的時間分辨率以便對 應(yīng)于所述第 一 圖像數(shù)據(jù)序列中所包含的幀的第二圖像數(shù)據(jù)序列。
此外，圖像生成單元可以將包含在所述第 一 圖像數(shù)據(jù)序列中而未包含在 所述第二圖像數(shù)據(jù)序列中的幀作為所述任意幀，生成對應(yīng)于所述任意幀的圖 像數(shù)據(jù)，并增強所述第二圖像數(shù)據(jù)序列的時間分辨率。
此外，存儲單元可以記錄有通過對成像的圖像信號下采樣獲得的圖像數(shù) 據(jù)序列，作為所述運動圖像數(shù)據(jù)。
此外，如果所述差分量大于預(yù)定值，則所述圖像生成單元可以根據(jù)運動 補償中的差分量來改變將作為所述運動向量的參考源的任意幀和作為所述 運動向量的參考目的地的圖像數(shù)據(jù)相組合的比率。根據(jù)本發(fā)明的另一實施例，提供了一種圖像處理方法，包括如下步驟 獲取包含多個連續(xù)幀的運動圖像數(shù)據(jù)以及對應(yīng)于所述幀并具有比所述幀高 的空間分辨率的 一個或多個圖像數(shù)據(jù)；使用所述運動圖像數(shù)據(jù)來檢測所述幀 之間的運動向量；計算預(yù)定幀和與所述圖像數(shù)據(jù)對應(yīng)的幀之間的差分量；以 及基于與所述圖像數(shù)據(jù)對應(yīng)的幀和所述運動向量來生成與任意幀對應(yīng)的運 動補償圖像數(shù)據(jù)。此外，在圖像生成步驟中，如果所述差分量小于預(yù)定值， 則生成具有與所述圖像數(shù)據(jù)相同的空間分辨率的運動補償圖像數(shù)據(jù)，以及如 果所述差分量大于預(yù)定值，則生成其中所述任意幀4皮;故大到與所述圖像數(shù)據(jù) 相同的空間分辨率的圖像數(shù)據(jù)。
根據(jù)本發(fā)明的另一實施例，提供了一種程序，用于使計算機實現(xiàn)以下功 能獲取包含多個連續(xù)幀的運動圖像數(shù)據(jù)以及對應(yīng)于所述幀并具有比所述幀 高的空間分辨率的一個或多個圖像數(shù)據(jù)；使用所述運動圖像數(shù)據(jù)來檢測所述 幀之間的運動向量；計算任意幀和與所述圖像數(shù)據(jù)對應(yīng)的幀之間的差分量； 以及基于與所述圖像數(shù)據(jù)對應(yīng)的幀和所述運動向量來生成與任意幀對應(yīng)的 運動補償圖像數(shù)據(jù)，如果所述差分量小于預(yù)定值，則生成具有與所述圖像數(shù) 據(jù)相同的空間分辨率的運動補償圖像數(shù)據(jù)，以及如果所述差分量大于預(yù)定 值，則生成其中所述任意幀被放大到與所述圖像數(shù)據(jù)相同的空間分辨率的圖 像數(shù)據(jù)。
根據(jù)上述的本發(fā)明的實施例，當通過使用低空間分辨率的圖像數(shù)據(jù)序列 的運動預(yù)測和使用高空間分辨率的圖像數(shù)據(jù)的運動補償來生成高空間分辨 率的圖像數(shù)據(jù)時，防止噪聲被添加到相關(guān)圖像數(shù)據(jù)的高頻成分。


圖l是描述高分辨率創(chuàng)建的畫面的生成方法的說明圖2是示出根據(jù)本發(fā)明一個實施例的圖像處理裝置的裝置配置的說明
圖3是描述根據(jù)本實施例的圖像生成塊的操作的說明圖； 圖4是示出根據(jù)本實施例的差分圖像確定電路的操作流程的說明圖； 圖5是描述根據(jù)本實施例的圖像生成塊的操作的說明圖； 圖6是示出根據(jù)本實施例的能夠?qū)崿F(xiàn)圖像處理裝置的功能的信息處理設(shè) 備的硬件配置例子的說明圖；以及
6圖7是描述根據(jù)本實施例一個變型的生成高分辨率圖像的方法的說明圖。100圖像處理裝置102成像透4竟104成1象元件106圖像生成定時控制器108顯示電路110照相機信號處理塊112A/D轉(zhuǎn)換器114數(shù)字信號處理電路120再現(xiàn)塊122, 132存儲單元124運動圖像壓縮/解壓縮電路126圖像密度轉(zhuǎn)換電路130靜止圖^f象記錄和再現(xiàn)塊134靜止圖像壓縮/解壓縮電路140圖像生成塊142運動預(yù)測電^各144運動補償電路146差分圖像確定電路HRP高分辨率畫面LRP低分辨率畫面MP放大畫面CP,CP，創(chuàng)建畫面具體實施方式
下文中，將參考附圖詳細描述本發(fā)明的優(yōu)選實施例。注意，在本說明書 和附圖中，使用相同的參考標記表示具有基本相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件， 并省略這些結(jié)構(gòu)元件的重復(fù)說明。 (高分辨率圖像的生成方法)首先，在描述根據(jù)本發(fā)明實施例的圖像處理裝置和圖像處理方法之前，頻的圖像數(shù)據(jù) 序列(在下文中被稱為運動圖像數(shù)據(jù))和與包含在運動圖像數(shù)據(jù)中的適當幀(在下文中^^皮稱為LRP (低分辨率畫面))對應(yīng)地離散記錄的高空間分辨率 的圖像數(shù)據(jù)(在下文中被稱為靜止圖像數(shù)據(jù)或HRP (高分辨率畫面))來生 成與包含在運動圖像數(shù)據(jù)中的任意幀對應(yīng)的高空間分辨率的圖像數(shù)據(jù)(在下 文中被稱為CP (創(chuàng)建畫面)或高分辨率創(chuàng)建畫面)的思想。圖1是示出高 分辨率圖像的生成方法的 一個例子的說明圖。在圖1中，圖示了高分辨率畫面HRP(t)、低分辨率畫面LRP(t)、LRP(t+h)、 放大畫面MP(t)、 MP(t+h)和創(chuàng)建畫面CP(t+h)。括號中的字符代表拍攝時間。 例如，創(chuàng)建畫面CP(t+h)代表與在時間t+h時拍攝的低分辨率畫面LRP(t+h) 對應(yīng)的創(chuàng)建畫面。創(chuàng)建畫面CP是通過使用運動向量的運動補償而創(chuàng)建的圖像數(shù)據(jù)，其中 該運動向量是使用低分辨率畫面LRP和高分辨率畫面HRP檢測的。如圖1 所示，使用通過放大低分辨率畫面LRP(t)而創(chuàng)建的放大畫面MP(t)和通過放 大低分辨率畫面LRP(t+h)而創(chuàng)建的放大畫面MP(t+h)來在檢測時間t和時間 t+h之間的運動向量(MV) (Sl )。然后，基于運動向量MV來提取與低分 辨率畫面LRP(t)的參考塊(BLK)對應(yīng)的高分辨率畫面HRP(t)的參考塊。然 后以預(yù)定比率將參考塊的像素和放大畫面MP(t+h)的像素組合來創(chuàng)建該創(chuàng)建 畫面CP(t+h) (S2)。在上述的例子中，使用完全不同的圖像來執(zhí)行運動預(yù)測和運動補償。雖 然通過放大低分辨率畫面LRP創(chuàng)建的放大畫面MP將空間分辨率放大為與高 分辨率畫面HRP相同，但是與高分辨率畫面HRP相比缺少高頻成分。因此， 在使用放大畫面MP檢測的運動向量和高分辨率畫面HRP實質(zhì)上具有的運 動向量中可能出現(xiàn)偏差。如果運動預(yù)測的準確度低，則高分辨率畫面HRP 中的參考塊的位置移動，從而噪聲被添加到通過運動補償創(chuàng)建的創(chuàng)建畫面 CP的高頻成分。當基于具有互不相同的空間分辨率的多個圖像數(shù)據(jù)來執(zhí)行 運動補償時，期望抑制運動補償添加噪聲的技術(shù)。如下所述，根據(jù)本發(fā)明的一個實施例的信息處理裝置具有如下功能當 基于具有互不相同的空間分辨率的多個圖像數(shù)據(jù)執(zhí)行運動補償時，將高分辨 率畫面HRP的參考塊和在基于運動向量的運動補償中合成的放大畫面MP 的參考塊相比較，并根據(jù)比較結(jié)果來切換與運動補償有關(guān)的處理。這種功能可以預(yù)先防止通過運動補償添加噪聲。 <本發(fā)明的一個實施例>下面將詳細描述根據(jù)本發(fā)明的 一個實施例的圖像處理裝置100。[圖像處理裝置100的裝置配置]首先，將參考圖2描述根據(jù)本實施例的圖像處理裝置100的裝置配置。 圖2是示出根據(jù)本實施例的圖像處理裝置100的裝置配置的一個例子的說明圖。如圖2所示，圖像處理裝置100主要包括成像透鏡102、成像元件104、 照相機信號處理塊110、運動圖像記錄和再現(xiàn)塊120、靜止圖像記錄和再現(xiàn) 塊130、圖像生成塊140、圖像生成定時控制器106和顯示電路108。成像透鏡102是用于通過收集光而形成對象的圖像(在下文中被稱為收 集圖像)的光學(xué)透鏡。成像元件104是用于將由成像透鏡102收集的光轉(zhuǎn)換 為電信號的光電元件。諸如CCD圖像傳感器(電荷耦合器件圖像傳感器) 和CMOS圖像傳感器(互補金屬氧化物半導(dǎo)體圖像傳感器)之類的半導(dǎo)體 元件用于成像元件104。成像元件104具有比運動圖像數(shù)據(jù)的空間分辨率的 有效像素數(shù)量多的數(shù)量的像素。當記錄或再現(xiàn)圖像數(shù)據(jù)時，或當檢驗圖像數(shù) 據(jù)時，顯示電路108使顯示設(shè)備(未示出)顯示圖像數(shù)據(jù)。圖像生成定時控 制器106是用于操作者在再現(xiàn)運動圖像數(shù)據(jù)時做出獲取靜止圖像數(shù)據(jù)的指令 的設(shè)備。(照相機信號處理塊110)如圖2所示，照相機信號處理塊110包括A/D轉(zhuǎn)換器112和數(shù)字信號處 理電^各114。A/D轉(zhuǎn)換器112是用于將輸入模擬信號轉(zhuǎn)換為數(shù)字信號并將其輸出的模 擬到數(shù)字轉(zhuǎn)換器。A/D轉(zhuǎn)換器112將從成像元件104輸入的收集圖像的模擬 信號轉(zhuǎn)換為數(shù)字信號，并將該數(shù)字信號輸入到數(shù)字信號處理電路114。數(shù)字 信號處理電路114對從A/D轉(zhuǎn)換器112輸入的收集圖像的數(shù)字信號(在下文 中被稱為圖像數(shù)據(jù))執(zhí)行諸如白平衡(white balance )調(diào)整和伽馬校正(gamma correction)之類的處理。 (運動圖像記錄和再現(xiàn)塊120)如圖2所示，運動圖像記錄和再現(xiàn)塊120包括存儲單元122、運動圖 像壓縮/解壓縮電路124和圖像密度轉(zhuǎn)換電路126。當記錄運動圖像數(shù)據(jù)時，圖像密度轉(zhuǎn)換電路126對從數(shù)字信號處理電路 114輸入的圖像數(shù)據(jù)序列(運動圖像數(shù)據(jù))執(zhí)行抽取(decimation)處理(例 如幀間差分編碼等)。圖像密度轉(zhuǎn)換電路126將抽取處理后的運動圖像數(shù)據(jù) 輸入到運動圖像壓縮/解壓縮電路124。運動圖像壓縮/解壓縮電路124對從 圖像密度轉(zhuǎn)換電路126輸入的抽取后的運動圖像數(shù)據(jù)執(zhí)行壓縮處理，并將壓 縮的運動圖像數(shù)據(jù)記錄在存儲單元122中。當再現(xiàn)運動圖像數(shù)據(jù)時，運動圖像壓縮/解壓縮電路124讀出在存儲單元 122上記錄的運動圖像數(shù)據(jù)，并對其執(zhí)行解壓縮處理。運動圖像壓縮/解壓縮 電路124將解壓縮的運動圖像數(shù)據(jù)輸入到圖像密度轉(zhuǎn)換電路126。圖像密度 轉(zhuǎn)換電路126對從運動圖像壓縮/解壓縮電路124輸入的運動圖像數(shù)據(jù)執(zhí)行內(nèi) 插處理(例如恢復(fù)差分數(shù)據(jù)(differenced data ))。 (靜止圖像記錄和再現(xiàn)塊130 )如圖2所示，靜止圖像記錄和再現(xiàn)塊130包括存儲單元132和靜止圖像備來實現(xiàn)功能。當記錄靜止圖像數(shù)據(jù)時，靜止圖像壓縮/解壓縮電路134對從數(shù)字信號處 理電路114輸入的圖像數(shù)據(jù)執(zhí)行壓縮處理并記錄在存儲單元132中。當再現(xiàn) 靜止圖像數(shù)據(jù)時，靜止圖像壓縮/解壓縮電路134讀出在存儲單元122中記錄 的圖像數(shù)據(jù)并對其執(zhí)行解壓縮處理。 (圖像生成塊140)如圖2所示，圖像生成塊140主要包括運動預(yù)測電路142、運動補償 電路144和差分圖像確定電路146。運動預(yù)測電路142用作運動預(yù)測單元。 運動補償電路144用作圖像生成單元。運動預(yù)測電路142通過對從運動圖像記錄和再現(xiàn)塊120發(fā)送的運動圖像 數(shù)據(jù)執(zhí)行幀之間的運動預(yù)測，來檢測運動向量。例如，運動預(yù)測電路142選 擇在與在預(yù)定時間時記錄的幀最接近的時間時記錄的靜止圖像數(shù)據(jù)。運動預(yù) 測電路142通過執(zhí)行在靜止圖像數(shù)據(jù)對應(yīng)的幀和在預(yù)定時間時記錄的幀之間 的運動預(yù)測，來檢測幀之間的運動向量。在此情況下，運動預(yù)測電路142放 大要參考的每個幀(LRP)以轉(zhuǎn)換為放大畫面(MP),并檢測在相關(guān)的放大 畫面之間的運動向量。作為另一個例子，運動預(yù)測電路142可以提取在與在預(yù)定時間時記錄的10的多個靜止圖像數(shù)據(jù)，然后選擇與最接近于在預(yù)定時間時記錄的幀的靜止圖像數(shù)據(jù)對應(yīng)的幀。運動預(yù)測電路142可以通過執(zhí)行在與所選擇的靜止圖像數(shù)據(jù)對應(yīng)的幀和在預(yù)定時間時記錄的幀之間的運動預(yù)測，來4全測幀之間的運動向量。運動預(yù)測電路142可以檢測幀之間的運動向 量而無需放大每個幀(LRP)，并且可以放大運動向量以適應(yīng)于創(chuàng)建畫面(CP) 的空間分辨率。運動補償電路144基于從運動預(yù)測電路142輸入的運動向量的信息和從 靜止圖像記錄和再現(xiàn)塊130輸入的靜止圖像數(shù)據(jù)來執(zhí)行運動補償。例如，運 動補償電路144基于運動向量來指定與在預(yù)定時間時記錄的幀的參考塊對應(yīng) 的靜止圖像數(shù)據(jù)的參考塊。運動補償電路144通過將指定的靜止圖像數(shù)據(jù)的 參考塊和在預(yù)定時間時記錄的幀的參考塊以預(yù)定比率組合來生成圖像數(shù)據(jù) (創(chuàng)建畫面CP，)。運動補償電路144向差分圖像確定電路146輸出創(chuàng)建畫 面CP，。差分圖像確定電路146將從運動補償電路144輸入的創(chuàng)建畫面CP，與在 相關(guān)時間時記錄的放大畫面MP相比較。差分圖像確定電路146生成在放大 畫面MP和創(chuàng)建畫面CP，之間的差分畫面，或者計算代表兩畫面(MP， CP，) 的差的差值。差分圖像確定電路146用作差分量計算單元。如果兩畫面(MP, CP，)的差在可容忍的范圍內(nèi)，則差分圖像確定電路 146控制運動補償電路144以輸出通過運動補償創(chuàng)建的創(chuàng)建畫面CP，。如果 兩畫面(MP, CP，)的差超過可容忍的范圍，則差分圖像確定電路146控制 運動補償電^各144以照原樣輸出》文大畫面MP。在該情況下，差分圖像確定 電路146根據(jù)差值和預(yù)定設(shè)置值之間的量值關(guān)系來切換運動補償電路144的 控制方法。上面描述了根據(jù)本實施例的圖像處理裝置IOO的裝置配置。圖像處理裝 置100可以通過應(yīng)用上述的裝置配置來預(yù)先防止由運動向量的預(yù)測準確度引 起的噪聲的生成。 [圖像數(shù)據(jù)的記錄操作]下面將筒要描述根據(jù)本實施例的圖像處理裝置100進行的圖像數(shù)據(jù)的記 錄操作。首先，操作者指示信息處理裝置IOO開始記錄操作(SIO)。響應(yīng)于這樣 的指示，圖像處理裝置IOO開始連續(xù)記錄配置運動圖像數(shù)據(jù)的幀(S12)。圖像處理裝置100通過成像透鏡102獲得收集的圖像(S14 )。圖像處理裝置通 過成像元件104對收集的圖像執(zhí)行光電轉(zhuǎn)換以生成模擬信號(S16)。圖像處 理裝置100將模擬信號輸入到A/D轉(zhuǎn)換器112以轉(zhuǎn)換為數(shù)字信號(S18 )。然 后圖像處理裝置IOO將數(shù)字信號輸入到數(shù)字信號處理電路114,并對與這樣 的數(shù)字信號對應(yīng)的圖像數(shù)據(jù)執(zhí)行諸如白平衡調(diào)節(jié)和伽馬校正之類的處理(S20)。圖像處理裝置100累積圖像數(shù)據(jù)，從而形成運動圖像數(shù)據(jù)。圖像處理裝置IOO通過圖像密度轉(zhuǎn)換電路126對運動圖像數(shù)據(jù)執(zhí)行抽取 處理(S22 )。當執(zhí)行步驟S22時，得到在諸如NTSC (美國國家電視標準委 員會)方法、PAL (逐行倒相)方法或ISDB (綜合業(yè)務(wù)數(shù)字廣播)方法之 類的每種視頻信號格式中的有效像素數(shù)量。然后，圖像處理裝置100通過運 動圖像壓縮/解壓縮電路124來壓縮處理經(jīng)受了抽取處理的運動圖像數(shù)據(jù)(S24 )，并記錄在存儲單元122中(S25 )。圖像處理裝置100還間歇地獲取 在預(yù)定時間間隔處的圖像數(shù)據(jù)(靜止圖像數(shù)據(jù))，并通過靜止圖像壓縮/解壓 縮電路134執(zhí)行壓縮處理(S32 )，并記錄在存儲單元132中(S34 )。 [圖像數(shù)據(jù)的再現(xiàn)操作]下面將簡要描述根據(jù)本實施例的圖像處理裝置100進行的圖像數(shù)據(jù)的再 現(xiàn)操作。操作者使用圖像生成定時控制器106指示圖像處理裝置IOO開始再現(xiàn)操 作(S50)。響應(yīng)于這樣的指示，圖像處理裝置IOO開始生成具有比運動圖像 數(shù)據(jù)高的空間分辨率的、并且靜止圖像數(shù)據(jù)未被記錄的記錄時間點的高圖像 質(zhì)量圖像數(shù)據(jù)(S52)。圖像處理裝置IOO讀出記錄在存儲單元122中的壓縮 處理之后的運動圖像數(shù)據(jù)(S54),并且通過運動圖像壓縮/解壓縮電路124 執(zhí)行解壓縮處理(S56)。然后，圖像處理裝置100通過圖像密度轉(zhuǎn)換電路 126執(zhí)行對經(jīng)受了解壓縮處理的運動圖像數(shù)據(jù)的內(nèi)插處理(S58)。根據(jù)步驟 S5 8 ，運動圖像數(shù)據(jù)的每幀被轉(zhuǎn)換為具有與靜止圖像數(shù)據(jù)相同的像素數(shù)量的 圖像數(shù)據(jù)。然后運動圖像數(shù)據(jù)被發(fā)送到圖像生成塊140 (S60)。然后，圖像處理裝置100通過靜止圖像壓縮/解壓縮電路134讀出并解壓 縮記錄在存儲單元132中的靜止圖像數(shù)據(jù)(S72 ),并發(fā)送到圖像生成塊140 (S74 )。(圖像生成塊140的操作)現(xiàn)在將參考圖3描述圖像生成塊140的處理操作。圖3是描述圖像生成塊140的處理操作的說明圖。
圖3示出了高分辨率畫面HRP(t)、多個低分辨率畫面LRP(t)、 LRP( t+h) 和創(chuàng)建畫面CP(t+h)以侵一對應(yīng)于時間。圖3具體描述了用于生成與在時間t+h 時記錄的低分辨率畫面LRP(t+h)對應(yīng)的創(chuàng)建畫面CP(t+h)的處理操作。
假設(shè)高分辨率畫面HRP具有N個水平像素、M個垂直像素和1 / △ T [f ps] 的幀頻。布i設(shè)低分辨率畫面LRP具有n個水平像素、m個垂直〗象素和1/At [Q)s] 的幀頻。假設(shè)每個變量滿足關(guān)系N^n,M^n,AT^t。而且，假設(shè)變量h滿足關(guān) 系OWAT。
將參考圖3的例子描述使用時間t的高分辨率畫面HRP(t)和時間t+h的 低分辨率畫面LRP(t+h)來生成時間t+h的高分辨率創(chuàng)建畫面CP(t+h)的方法。 根據(jù)本實施例的圖像處理裝置IOO的處理方法不限于此。例如，圖像處理裝 置IOO可以同時還參考另一時間t+AT的高分辨率畫面HRP(t+AT)(未示出) 來生成創(chuàng)建畫面CP(t+h)。在該情況下，圖像處理裝置100可以根據(jù)對象的 運動的量值、速度等執(zhí)行選擇用于參考的高分辨率畫面HRP的處理。
首先，圖像處理裝置100通過運動預(yù)測電路142使用低分辨率畫面LRP(t) 和LRP(t+h)來執(zhí)行運動預(yù)測。在該情況下，運動預(yù)測電路142放大低分辨率 畫面LRP(t)和LRP(t+h)以生成放大畫面MP(t)和MP(t+h)。運動預(yù)測電路142
MV?？蓱?yīng)用的運動預(yù)測方法包括塊匹配方法、相位相關(guān)方法、光學(xué)流(optical flow)方法等。
然后，圖像處理裝置IOO通過運動補償電路144使用運動向量MV和高 分辨率畫面HRP(t)來執(zhí)行運動補償。運動補償電路144使用運動向量MV來 指定與放大畫面MP(t+h)的參考塊對應(yīng)的高分辨率畫面HRP(t)的參考塊。運 動補償電路144以預(yù)定比率來組合這樣的參考塊和》丈大畫面MP(t+h)的參考 塊，并臨時生成創(chuàng)建畫面CP，(t+h)。
如果在相同的圖像之間執(zhí)行了運動預(yù)測和運動補償，則即使將創(chuàng)建畫面 CP，(t+h)作為創(chuàng)建畫面CP(t+h)輸出，由于運動預(yù)測準確度而引起的創(chuàng)建畫面 CP(t+h)中出現(xiàn)噪聲的概率也很小。然而，因為根據(jù)本實施例的圖像處理裝置 100使用低分辨率畫面LRP來執(zhí)行運動預(yù)測，所以當使用高分辨率畫面HRP 執(zhí)行運動補償時，噪聲可能出現(xiàn)在在高分辨率畫面HRP中所包含的高頻成 分的信息中。也就是說，取決于運動預(yù)測的準確度，存在運動補償中使用的
13高分辨率畫面HRP的參考塊和與其對應(yīng)的放大畫面MP的參考塊之間的相 關(guān)性可能^M氐的可能性。
例如，即-使在相同的時間記錄了高分辨率畫面HRP和低分辨率畫面 LRP, 4氐分辨率畫面LRP也不包含在高頻率畫面HRP中所包含的高頻成分。 從而，即使利用被放大到與高分辨率畫面HRP相同的空間分辨率的低分辨 率畫面LRP來凈丸^f于運動預(yù)測，也難以準確預(yù)測通過高分辨率畫面的比l^而 獲得的運動向量。而且，即使放大通過比較低分辨率畫面LRP而沒有解壓 縮所檢測的運動向量，也難以準確預(yù)測運動向量，這是因為與高頻成分等效 的信息未被包含在低分辨率畫面LRP中。
因此根據(jù)本實施例的信息處理裝置100包括差分圖像確定電路146,用 于執(zhí)行控制使得當在運動補償中使用的高分辨率畫面HRP的參考塊和與其 對應(yīng)的放大畫面MP的相關(guān)性低時，不將經(jīng)受了運動補償?shù)膱D像用于其幀。 差分圖像確定電路146通過比較臨時生成的創(chuàng)建畫面CP，(t+h)和放大畫 面MP(t+h)來計算差分量。如果差分量大于預(yù)定值，則差分圖像確定電路146 確定畫面(CP，， MP)的相關(guān)性低，并照原樣輸出放大畫面MP(t+h)用于創(chuàng) 建畫面CP(t+h)。如果差分量小于預(yù)定值，則差分圖像確定電路146確定畫 面(CP，， MP)的相關(guān)性高，并輸出創(chuàng)建畫面CP，(t+h)用于創(chuàng)建畫面CP(t+h)。 結(jié)果，差分圖像確定電路146可以減少由于運動向量的預(yù)測準確度而在高頻 成分中出現(xiàn)的噪聲。
(差分圖像確定電路146的操作流程)
下面將參考圖4描述根據(jù)本實施例的差分圖像確定電路146的操作流 程。圖4是示出根據(jù)本實施例的差分圖像確定電路146的操作流程的說明圖。 首先，差分圖像確定電路146基于由運動預(yù)測電路142 4金測的運動向量
(參考塊O —參考塊C )來計算放大畫面MP(t+h)的參考塊O (參考值O[I, j])和高分辨率畫面HRP(t)的參考塊C (參考值C[i， j])之間的差分量D
(S102)。差分圖像確定電路146可以使用MSE方法(均方誤差方法)或 SAD方法(絕對差和方法)的方法來計算差分量D[i, j]。當使用SAD方法 時，差分圖像確定電路146根據(jù)等式(1)計算差分量D。<formula>formula see original document page 14</formula>(1)
這里，i和j是在運動預(yù)測中所參考的單元塊中所包含 、分別表示水 平和垂直方向上像素位置的標記(index)。等式(1 )的和涉及單元塊中所包含的所有像素的位置i、 j。
然后差分圖像確定電路146將預(yù)定設(shè)置的參數(shù)Th (在下文中被稱為閾 值)與差分量D相比較，并確定其量值關(guān)系(S104)。需要的話，可以改變 閾值Th。例如，當假設(shè)將快速運動對象包含在圖像數(shù)據(jù)中的情況、復(fù)雜樣 式是容器(container)的情況等時，將閾值Th設(shè)置為相對大的值。這樣的 情況是運動預(yù)測的準確度趨于降低而差分量D趨于是相對大的值的情況。從 而，在這樣的情況下，優(yōu)選將閾值Th設(shè)置得相對大，以擴大根據(jù)本實施例 的圖像處理方法的應(yīng)用范圍。
當確定結(jié)果D>Th時，該結(jié)果表明參考塊C和參考塊O有很大的不同。 當在運動預(yù)測的準確度低時執(zhí)行錯誤的運動補償時，或當在時間t時不存在 的對象出現(xiàn)在時間t+h時，出現(xiàn)這樣的差別。所以，圖像處理裝置100難以 針對放大畫面MP(t+h)補償包含在高分辨率畫面HRP(t)中的高頻成分。因此 差分圖像確定電路146將參考塊O設(shè)置為創(chuàng)建畫面CP(t+h)(參考值OUT[i, j]=0[i, j])以防止噪聲的生成(S106)。
當確定結(jié)果是D^Th時，該結(jié)果表明參考塊C與參考塊O具有高相關(guān) 性。從而，圖像處理裝置100可以使用運動補償針對放大畫面MP(t+h)補償 包含在高分辨率畫面HRP(t)中的高頻成分。因此差分圖像確定電路146使用 參考塊C來補償放大畫面MP(t+h)的參考塊O,并將補償后的圖像設(shè)置為創(chuàng) 建畫面CP(t+h)(參考塊OUT[i， j]=C[i， j])以防止噪聲的生成(S108)。
如上所述，差分圖像確定電路146可以通過預(yù)先比較和評估與參考源對 應(yīng)的參考塊和運動向量的參考目的地來防止由于運動預(yù)測的低準確度引起 的噪聲生成。結(jié)果，根據(jù)本實施例的圖像處理裝置IOO在諸如噪聲生成時之 類的運動預(yù)測的準確度低時不執(zhí)行運動補償來防止噪聲，而在其它情況下通 過執(zhí)行運動補償來生成高圖像質(zhì)量圖像數(shù)據(jù)。結(jié)果，在使用具有不同空間分 辨率的圖像數(shù)據(jù)序列執(zhí)行運動補償時，圖像處理裝置IOO可以生成更高圖像 質(zhì)量的圖像數(shù)據(jù)序列。 (圖象處理方法)
現(xiàn)在將參考圖5描述根據(jù)本實施例的圖像處理方法。圖5是描述根據(jù)本 實施例的圖像生成處理的流程的說明圖。
首先，運動預(yù)測電路142》文大低分辨率畫面LRP以生成具有與高分辨 率畫面HRP相同的空間分辨率的》文大畫面MP ( S202 )。然后初始化表示參考塊位置的參數(shù)b(S204)。然后確定參數(shù)b是否超過參數(shù)b的最大值t^max (S206)。這里，b一max是幀中所包含的塊的數(shù)量。
如果b^b一max,則圖像生成塊140終止圖像生成處理。如果b<b—max， 則運動預(yù)測電路142執(zhí)行從當前幀(MP(t))到主要幀(key frame ) ( MP(t+h)) 的運動預(yù)測(S208 )。然后圖^f象生成塊140基于預(yù)測殘差信號(residual signal) 的量值來確定是否能夠執(zhí)行運動補償(S210)。
如果在步驟S210中確定不能執(zhí)行運動補償，則運動補償電路144輸出 步驟S202的放大畫面MP(t+h)作為創(chuàng)建畫面CP(t+h) (S216)。如果在步驟 S210中確定能夠執(zhí)行運動補償，則運動補償電路144使用分辨率畫面HRP(t) 和放大畫面MP(t+h)來執(zhí)行差分信號確定("D>Th"或"D^Th"的確定)， 并確定是否能夠執(zhí)行運動補償(S212)。
如果在步驟S212中確定能夠執(zhí)行運動補償，則運動補償電路144使用 高分辨率畫面HRP(t)來執(zhí)行運動補償(S214)。在此情況下，運動補償電路 144使用在步驟S208中獲得的從當前幀到主要幀的運動向量、單元塊尺寸、 參考幀信息等。如果在步驟S212中確定不能執(zhí)行運動補償，則運動補償電 路144輸出放大畫面MP(t+h)作為創(chuàng)建畫面CP(t+h) ( S216 )。
然后圖像生成塊140遞增參數(shù)b ( S218 ),并再次執(zhí)行從步驟S206的處 理。然后，在執(zhí)行運動補償中的差分圖像確定的同時，圖像生成塊140確定 是否能夠執(zhí)行運動補償。因此圖像生成塊140可以抑制由于運動補償而在創(chuàng) 建畫面CP(t+h)中生成的噪聲。
上面描述了根據(jù)本實施例的圖像處理裝置100。如上所述，根據(jù)本實施 例的圖像處理裝置100包括差分圖像確定電路146，并且可以根據(jù)運動預(yù)測 的準確度來切換圖像數(shù)據(jù)以作為創(chuàng)建畫面CP輸出。結(jié)果，當使用具有不同 空間分辨率的圖像數(shù)據(jù)序列來執(zhí)行運動預(yù)測和運動補償時，圖像處理裝置 100可以與運動預(yù)測的準確度無關(guān)地生成高圖像質(zhì)量創(chuàng)建畫面CP。差分圖像 確定電^各146還可以用來檢測由于運動預(yù)測的準確度在創(chuàng)建畫面CP中是否 生成了噪聲。
可以使用下面描述的信息處理設(shè)備通過預(yù)定程序來實現(xiàn)由信息處理裝 置100的每個配置元件實現(xiàn)的功能。 [硬件配置]
可以由具有圖6中示出的硬件配置的信息處理裝置來實現(xiàn)圖像處理裝置100的功能。圖6是示出能夠?qū)崿F(xiàn)圖像處理裝置100的每個配置元件的功能 的信息處理裝置的硬件配置例子的說明圖。
如圖6所示，信息處理裝置主要包括CPU(中央處理單元)卯2、 ROM (只讀存儲器)904、 RAM (隨機存取存儲器)906、主機總線908、橋910、 外部總線912、接口 914、輸入單元916、輸出單元918、存儲單元920、驅(qū) 動922、連接端口 924和通信單元926。
CPU 902用作運算處理單元或控制單元，并基于記錄在ROM卯4、 RAM 906、存儲單元920或移動記錄介質(zhì)928上的各種程序來控制組成元件的全 部操:作或組成元件的一些4喿作。ROM 904存^f諸例如加載到CPU 902的程序 或在運算操作中使用的數(shù)據(jù)等。RAM 906暫時或永久存儲例如加載到CPU 902的程序或在執(zhí)行程序中任意改變的各種參數(shù)等。這些組成元件通過例如 可以執(zhí)行高速數(shù)據(jù)傳輸?shù)闹鳈C總線908彼此相連。主機總線908例如通過橋 910連接到數(shù)據(jù)傳輸速度相對低的外部總線912。
例如，輸入單元916例如是諸如鼠標、鍵盤、觸摸板、按鈕、開關(guān)或控 制桿之類的4喿作單元。輸入單元916可以是能夠通過使用紅外線或其他無線 電波發(fā)送控制信號的遠程控制單元(所謂的遙控器)。輸入單元916包括輸 入控制電路等，用于經(jīng)由輸入信號將通過使用操作單元輸入的信息發(fā)送到 CPU 902。
輸出單元918例如是可以在視覺或聽覺上通知用戶所獲取的信息的諸如 CRT (陰極射線管)、LCD (液晶顯示器)、PDP (等離子顯示板)或ELD (電 致發(fā)光顯示器)之類的顯示設(shè)備、諸如揚聲器或耳機之類的音頻輸出設(shè)備、 打印機、移動電話或傳真機。
存儲單元920是用于存儲各種數(shù)據(jù)的設(shè)備，并且包括例如諸如硬盤驅(qū)動 器(HDD;硬盤驅(qū)動器)之類的磁存儲設(shè)備、半導(dǎo)體存儲設(shè)備、光存儲設(shè)備 或磁光存儲設(shè)備等。
驅(qū)動器922是讀取記錄在諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器之類 的移動記錄介質(zhì)928上的信息或?qū)⑿畔懙揭苿佑涗浗橘|(zhì)928中的設(shè)備。移 動記錄介質(zhì)928是例如DVD介質(zhì)、藍光介質(zhì)、HD-DVD介質(zhì)、緊湊閃存(CF; CompactFlash)(注冊商標)、記憶棒或SD存儲卡(安全數(shù)字存儲卡)等。 當然，移動記錄介質(zhì)928可以是例如其上安裝了非接觸IC芯片的IC卡(集 成電路卡)、電子設(shè)備等。連接端口 924是連接到外部連接設(shè)備930的諸如USB (通用串行總線)端口、 IEEE 1394端口、 SCSI (小型計算機系統(tǒng)接口 )、 RS-232C端口或光音頻端之類的端口。外部連接設(shè)備930是例如打印機、移動音樂播放器、數(shù)字相機、數(shù)字攝像機、IC記錄器等。
通信單元926是用于連接到網(wǎng)絡(luò)932的通信設(shè)備。例如，使用用于有線或無線LAN (局域網(wǎng))、藍牙(注冊商標)或WUSB (無線USB )的通信卡、光通信路由器、ADSL (非對稱數(shù)字用戶線)路由器、各種通信調(diào)制解調(diào)器等。連接到通信單元926的網(wǎng)絡(luò)932包括有線或無線連接的網(wǎng)絡(luò)。例如，使用因特網(wǎng)、家用LAN、紅外通信、廣播、衛(wèi)星通信等。
本領(lǐng)域技術(shù)人員應(yīng)該理解，取決于設(shè)計要求和其他因素，可以實現(xiàn)各種修改、組合、子組合和替代，只要它們落入所附權(quán)利要求或其等效物的范圍內(nèi)即可。
例如，在上述實施例的描述中，描述了參考后向幀執(zhí)行運動預(yù)測和運動補償?shù)姆椒?，但是本發(fā)明的技術(shù)范圍不限于此，并且可以參考前向幀或者前向和后向幀來執(zhí)行運動預(yù)測和運動補償。[變型]
將參考圖7描述通過基于前向和后向幀執(zhí)行運動預(yù)測/運動補償?shù)奶幚韥砩筛邎D像質(zhì)量圖像的方法。圖7是描述通過基于前向和后向幀順序執(zhí)行運動預(yù)測/運動補償?shù)奶幚韥砩筛邎D像質(zhì)量圖像的方法的說明圖。如圖7所示，如果在期望的拍照時間附近記錄高分辨率畫面HRP,則可以^使用》文大畫面MP(t+h)和高分辨率畫面HRP(t)和HRP(t+h)來執(zhí)行運動補償。
然而，如果在從任一高分辨率畫面HRP生成的臨時創(chuàng)建畫面CP，(t+h)中生成噪聲，則在最終生成的創(chuàng)建畫面CP(t+h)中也生成噪聲。因此，可以僅使用與放大畫面MP(t+h)具有高相關(guān)性的臨時創(chuàng)建畫面CP，(t+h)來生成創(chuàng)建畫面CP(t+h)。從而，可以應(yīng)用運動補償?shù)那闆r增加了，使得用戶可以生成更高圖像質(zhì)量的圖像數(shù)據(jù)序列。
18
權(quán)利要求
1.一種圖像處理裝置，包括獲取單元，用于獲取包含多個連續(xù)幀的運動圖像數(shù)據(jù)以及對應(yīng)于所述幀并具有比所述幀高的空間分辨率的一個或多個圖像數(shù)據(jù)；運動預(yù)測單元，用于使用所述運動圖像數(shù)據(jù)來檢測所述幀之間的運動向量；差分量計算單元，用于計算任意幀和對應(yīng)于所述圖像數(shù)據(jù)的幀之間的差分量；以及圖像生成單元，用于基于與所述圖像數(shù)據(jù)對應(yīng)的幀和所述運動向量來生成與所述任意幀對應(yīng)的運動補償圖像數(shù)據(jù)；其中如果所述差分量小于預(yù)定值，則所述圖像生成單元生成具有與所述圖像數(shù)據(jù)相同的空間分辨率的運動補償圖像數(shù)據(jù)，以及如果所述差分量大于預(yù)定值，則生成其中任意幀被放大到與所述圖像數(shù)據(jù)相同的空間分辨率的圖像數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括存儲單元，用于記錄所述運動圖像數(shù)據(jù)以及所述一個或多個圖像數(shù)據(jù)； 其中所述獲取單元獲取記錄在所述存儲單元中的所述運動圖像數(shù)據(jù)和所述 一個或多個圖像數(shù)據(jù)。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述存儲單元記錄有作 為所述運動圖像數(shù)據(jù)的、具有低空間分辨率和高時間分辨率的第 一圖像數(shù)據(jù) 序列以及作為所述一個或多個圖像數(shù)據(jù)的、具有比所述第一圖像數(shù)據(jù)序列高 的空間分辨率和低的時間分辨率以便對應(yīng)于所述第 一圖像數(shù)據(jù)序列中所包 含的幀的第二圖像數(shù)據(jù)序列。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其中所述圖像生成單元將包 含在所述第 一 圖像數(shù)據(jù)序列中而未包含在所述第二圖像數(shù)據(jù)序列中的幀作 為所述任意幀，生成對應(yīng)于所述任意幀的圖像數(shù)據(jù)，并增強所述第二圖像數(shù) 據(jù)序列的時間分辨率。
5. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述存儲單元記錄有通過對成像的圖像信號下采樣獲得的圖像數(shù)據(jù)序列，作為所述運動圖像數(shù)據(jù)。
6. 根據(jù)權(quán)利要求1所述的圖像處理裝置，其中如果所述差分量大于預(yù) 定值，則所述圖像生成單元#4居運動補償中的差分量來改變將作為所述運動 向量的參考源的任意幀和作為所述運動向量的參考目的地的圖像數(shù)據(jù)相組 合的比率。
7. —種圖^f象處理方法，包括以下步驟獲取包含多個連續(xù)幀的運動圖像數(shù)據(jù)以及對應(yīng)于所述幀并具有比所述幀高的空間分辨率的 一個或多個圖像數(shù)據(jù)；使用所述運動圖像數(shù)據(jù)來檢測所述幀之間的運動向量； 計算預(yù)定幀和與所述圖像數(shù)據(jù)對應(yīng)的幀之間的差分量；以及 基于與所述圖像數(shù)據(jù)對應(yīng)的幀和所述運動向量來生成與任意幀對應(yīng)的運動補償圖像數(shù)據(jù)； 其中在圖像生成步驟中，如果所述差分量小于預(yù)定值，則生成具有與所述圖 像數(shù)據(jù)相同的空間分辨率的運動補償圖像數(shù)據(jù)，以及如果所述差分量大于預(yù) 定值，則生成其中所述任意幀被放大到與所述圖像數(shù)據(jù)相同的空間分辨率的 圖像數(shù)據(jù)。
8. —種程序，用于使計算機實現(xiàn)以下功能獲取包含多個連續(xù)幀的運動圖像數(shù)據(jù)以及對應(yīng)于所述幀并具有比所述 幀高的空間分辨率的一個或多個圖像數(shù)據(jù)；使用所述運動圖像數(shù)據(jù)來檢測所述幀之間的運動向量； 計算任意幀和與所述圖像數(shù)據(jù)對應(yīng)的幀之間的差分量；以及 基于與所述圖像數(shù)據(jù)對應(yīng)的幀和所述運動向量來生成與任意幀對應(yīng)的 運動補償圖像數(shù)據(jù)，如果所述差分量小于預(yù)定值，則生成具有與所述圖像數(shù) 據(jù)相同的空間分辨率的運動補償圖像數(shù)據(jù)，以及如果所述差分量大于預(yù)定 值，則生成其中所述任意幀被放大到與所述圖像數(shù)據(jù)相同的空間分辨率的圖 像數(shù)據(jù)。
全文摘要
提供了一種圖像處理裝置，包括獲取單元，用于獲取包含多個連續(xù)幀的運動圖像數(shù)據(jù)以及對應(yīng)于所述幀并具有比所述幀高的空間分辨率的一個或多個圖像數(shù)據(jù)；運動預(yù)測單元，用于使用所述運動圖像數(shù)據(jù)來檢測所述幀之間的運動向量；差分量計算單元，用于計算任意幀和對應(yīng)于所述圖像數(shù)據(jù)的幀之間的差分量；以及圖像生成單元，用于基于與所述圖像數(shù)據(jù)對應(yīng)的幀和所述運動向量來生成與所述任意幀對應(yīng)的運動補償圖像數(shù)據(jù)。
文檔編號H04N7/01GK101682717SQ20088002080
公開日2010年3月24日 申請日期2008年6月10日 優(yōu)先權(quán)日2007年6月18日
發(fā)明者中神央二, 田中潤一, 矢崎陽一 申請人:索尼株式會社