專利名稱：成像裝置、成像方法、程序以及記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及成像裝置、成像方法、程序以及記錄介質(zhì)。
背景技術(shù)：
近年來，在涉及數(shù)據(jù)視頻數(shù)據(jù)(以下稱為“視頻數(shù)據(jù)”)的分發(fā)的技術(shù)方面有了重要進展。關(guān)于這些技術(shù)，在高質(zhì)量視頻數(shù)據(jù)的分發(fā)和記錄方面的技術(shù)方面取得了顯著的進展。在這些顯著的技術(shù)中，涉及視頻數(shù)據(jù)的編碼和解碼的技術(shù)引起了高度注意。擁有高等級空間分辨率(spatial resolution)和時間分辨率(temporal resolution)的視頻數(shù)據(jù)具有極大的數(shù)據(jù)量(data size)。為此，用戶希望有效地壓縮經(jīng)編碼的視頻數(shù)據(jù)以便于將其進行分發(fā)或記錄。在這種情況下，需要允許具有更高壓縮率的高分辨視頻數(shù)據(jù)的壓縮的編碼技術(shù)的發(fā)展，以及允許以更高空間分辨率回放的最先進的解碼技術(shù)的發(fā)展。關(guān)于這些技術(shù)，例如，在日本專利申請公開第JP-A-2004-312276號和日本專利申請公開第JP-A-2004-312277提出了ー種方法，通過將第一視頻數(shù)據(jù)與第二視頻數(shù)據(jù)相結(jié)合以產(chǎn)生擁有高等級空間分辨率和時間分辨率兩者的圖像數(shù)據(jù)。該第一視頻數(shù)據(jù)具有低空間分辨率，但時間分辨率高(例如，活動圖像數(shù)據(jù)等)，而該第二視頻數(shù)據(jù)具有高空間分辨率，但時間分辨率低(例如，靜止圖像數(shù)據(jù)等)。利用這種方法，該技術(shù)涉及使用第一視頻數(shù)據(jù)的幀之間的運動矢量的預(yù)測。然后，將這些運動矢量和第二視頻數(shù)據(jù)用于校正第一視頻數(shù)據(jù)的高頻分量。利用這種技術(shù)，將起始于不包括在第二視頻數(shù)據(jù)中的所選時間點的幀，使用從第一視頻數(shù)據(jù)檢測到的運動矢量和起始于第二視頻數(shù)據(jù)中接近于所選時間點的ー個時間點的幀來產(chǎn)生。進ー步，在上述文獻中還描述了利用上述技術(shù)來產(chǎn)生擁有高空間分辨率和時間分辨率的視頻數(shù)據(jù)的視頻數(shù)據(jù)存儲與回放裝置。作為替換,眾所周知,被叫做超分辨率(super resolution)的技術(shù)是用以從多個低分辨率圖像產(chǎn)生高分辨率圖像的方法。被稱為超分辨率的技術(shù)將多個重疊的低分辨率圖像結(jié)合起來，并且計算對應(yīng)于單幀高分辨率圖像的每個像素的像素值。使用這種方法，可以以超過圖像傳感器(諸如電荷耦合裝置(CCD)或互補金屬氧化物半導(dǎo)體(CMOS))的分辨率的高分辨率來實現(xiàn)高分辨率圖像。例如，超分辨率技術(shù)用于高分辨率衛(wèi)星照片的產(chǎn)生。然而，當(dāng)與那些將包括高頻分量的高分辨率圖像數(shù)據(jù)用于校正圖像的方法進行比較時，超分辨率技術(shù)的高分辨率性能實際上差得很。

發(fā)明內(nèi)容
當(dāng)使用上述每篇文獻中所描述的方法時，存在對運動矢量估計的精度的依賴性，并且可能在高頻分量重出現(xiàn)噪聲。為此，需要允許高精度運動矢量估計的技木。此外，如果在關(guān)于所涉及到的高分辨率靜止圖像數(shù)據(jù)的照片(Shot)之間的間隔很長，則需要更精確的運動矢量估計精度。為了滿足這些必要條件，本發(fā)明的實施方式基于上述超分辨率技木，提供使用運動估計和運動補償技術(shù)來校正高分辨率靜止圖像數(shù)據(jù)的高頻分量的方法，以產(chǎn)生高分辨率圖像。本發(fā)明的一種實施方式提供允許以所選擇的定時、使用低分辨率圖像數(shù)據(jù)和高分辨率圖像數(shù)據(jù)序列，產(chǎn)生更高質(zhì)量的高分辨率圖像數(shù)據(jù)的、新的改進型圖像處理裝置、圖像處理方法和程序。根據(jù)本發(fā)明的一種實施方式，提供圖像處理裝置，其包括圖像獲取単元，其獲取包含多個幀的第一視頻數(shù)據(jù)，并獲取具有比所述第一視頻數(shù)據(jù)包含的所述多個幀更高的空間分辨率的第二視頻數(shù)據(jù)；超分辨率處理單元，其通 過使用所述圖像獲取單元獲取的第一視頻數(shù)據(jù)中包含的所述多個幀，對所述第一視頻數(shù)據(jù)的所述多個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像；運動估計單元，其檢測超分辨率處理單元產(chǎn)生的超分辨率圖像之間的運動矢量；以及圖像產(chǎn)生單元，其基于所述圖像獲取單元獲取的第二視頻數(shù)據(jù)和所述運動估計單元檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)包含的所述多個幀的運動補償圖像數(shù)據(jù)。所述圖像處理裝置還可以包括放大圖像產(chǎn)生單元，其使用所述第一視頻數(shù)據(jù)中包含的所述多個幀之一，以與所述超分辨率處理單元生成的超分辨率圖像相同的空間分辨率，產(chǎn)生放大圖像；以及相位失真檢測單元，其檢測對應(yīng)于所述第一視頻數(shù)據(jù)中包含的所述多個幀之一的超分辨率圖像和所述放大圖像產(chǎn)生單元產(chǎn)生的放大圖像之間的相位失真。所述圖像處理裝置還可以包括相位失真校正単元，其基于相位失真檢測單元所檢測到的相位失真，校正超分辨率圖像的相位失真。所述圖像處理裝置還可以包括運動矢量補償單元，其基于相位失真檢測單元所檢測到的相位失真，校正基于運動估計單元的超分辨率圖像之間的運動矢量估計的結(jié)果。所述超分辨率處理單元可以進行超分辨率處理，而不用使該第一視頻數(shù)據(jù)中包含的幀進行分辨率轉(zhuǎn)換。所述放大圖像產(chǎn)生単元可以運行來對已經(jīng)對其進行了超分辨率處理的幀進行分辨率轉(zhuǎn)換并產(chǎn)生放大圖像，而該運動估計単元可以運行來檢測放大圖像之間的運動矢量。所述圖像處理裝置還可以包括存儲單元，其存儲第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)。所述圖像獲取單元從該存儲單元中獲取第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)。第一視頻數(shù)據(jù)可以比所述第二視頻數(shù)據(jù)的時間分辨率高，而所述第二視頻數(shù)據(jù)可以比所述第一視頻數(shù)據(jù)的時間分辨率低。該圖像產(chǎn)生單元可以使用所述運動補償圖像數(shù)據(jù)改善所述第二視頻數(shù)據(jù)的時間分辨率。并且，可以對所述第一視頻數(shù)據(jù)進行下取樣(downsampling)處理。在進行運動補償?shù)臅r候，當(dāng)超分辨率圖像與圖像數(shù)據(jù)之間的差值大于預(yù)定值吋，該圖像產(chǎn)生單元可以運行來根據(jù)該差值改變合并作為運動矢量涉及者(referrer)的所選幀與作為運動矢量指向者(referent)的圖像數(shù)據(jù)的比率。根據(jù)本發(fā)明的另ー實施方式，提供成像方法，包括步驟獲取步驟，其獲取包含多個幀的第一視頻數(shù)據(jù)，并獲取具有比所述第一視頻數(shù)據(jù)包含的所述多個幀更高的空間分辨率的圖像數(shù)據(jù)；超分辨率處理步驟，其通過使用所述獲取步驟獲取的所述第一視頻數(shù)據(jù)中包含的所述多個幀，對所述第一視頻數(shù)據(jù)中包含的所述多個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像；運動估計步驟，其檢測超分辨率處理步驟產(chǎn)生的超分辨率圖像之間的運動矢量；以及圖像產(chǎn)生步驟，其基于所述獲取步驟獲取的第二視頻數(shù)據(jù)和所述運動估計步驟檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)包含的所述多個幀的運動補償圖像數(shù)據(jù)。本發(fā)明的一種實施方式提供允許以所選擇的定時、使用低分辨率圖像數(shù)據(jù)和高分辨率圖像數(shù)據(jù)序列，產(chǎn)生更高質(zhì)量的高分辨率圖像數(shù)據(jù)的、新的改進型成像裝置、成像、程序、以及記錄介質(zhì)。根據(jù)本發(fā)明的一種實施方式，提供一種成像裝置，包括成像単元，其對景物進行抓拍并產(chǎn)生成像數(shù)據(jù)；圖像處理單元，其對所述成像単元抓拍的成像數(shù)據(jù)進行規(guī)定的圖像處理并產(chǎn)生視頻數(shù)據(jù)；壓縮單元，其從所述圖像處理單元產(chǎn)生的圖像數(shù)據(jù)中，對包含多個幀的第一視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第一編碼數(shù)據(jù)，同時，對具有比所述幀更高的分辨率的第二視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第二編碼數(shù)據(jù)；存儲單元，其存儲由所述壓縮單元產(chǎn)生的所述第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)；解壓單元，其對所述存儲單元存儲的第ー編碼數(shù)據(jù)和第二編碼數(shù)據(jù)進行解壓處理并產(chǎn)生所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)；超分辨率處理單元，其通過使用所述解壓單元產(chǎn)生的第一視頻數(shù)據(jù)中包含的多個幀，對該各個 幀進行超分辨率處理，以產(chǎn)生超分辨率圖像；運動估計單元，其檢測所述超分辨率處理單元產(chǎn)生的超分辨率圖像之間的運動矢量；以及圖像產(chǎn)生單元，其基于所述解壓單元產(chǎn)生的第ニ視頻數(shù)據(jù)和所述運動估計單元檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)的幀的運動補償圖像數(shù)據(jù)。所述成像裝置中的所述圖像產(chǎn)生單元還可以被構(gòu)成為在用上述運動矢量執(zhí)行運動補償吋，參照與所述運動矢量的涉及者對應(yīng)的所述第二視頻數(shù)據(jù)，并參照與上述運動矢量的涉及者對應(yīng)的所述超分辨率圖像來產(chǎn)生所述圖像數(shù)據(jù)。所述成像裝置還可以包括放大圖像產(chǎn)生單元，其使用所述第一視頻數(shù)據(jù)中包含的一個幀，以與所述超分辨率處理單元產(chǎn)生的超分辨率圖像相同的分辨率，產(chǎn)生放大圖像；以及相位失真檢測單元，其檢測對應(yīng)于所述第一視頻數(shù)據(jù)中包含的一個幀的超分辨率圖像和所述放大圖像產(chǎn)生單元產(chǎn)生的放大圖像之間的相位失真。所述成像裝置還可以包括相位失真校正単元，其基于所述相位失真檢測單元所檢測到的所述相位失真，校正所述超分辨率圖像的相位失真。所述成像裝置還可以包括運動矢量補償單元，其基于所述相位失真檢測單元所檢測到的相位失真，校正基于所述運動估計單元的超分辨率圖像之間的運動矢量估計的結(jié)果O所述成像裝置中的所述超分辨率處理單元還可以被構(gòu)成為進行超分辨率處理，而不對所述第一視頻數(shù)據(jù)中包含的幀的分辨率進行轉(zhuǎn)換。所述第一視頻數(shù)據(jù)可以比所述第二視頻數(shù)據(jù)的時間分辨率高，所述第二視頻數(shù)據(jù)可以比所述第一視頻數(shù)據(jù)的時間分辨率低。所述圖像產(chǎn)生單元使用所述運動補償圖像數(shù)據(jù)改善所述第二視頻數(shù)據(jù)的時間分辨率。并且，可以對所述第一視頻數(shù)據(jù)進行下取樣(downsampling)處理。
所述成像裝置還可以包括解碼單元，其使用所述圖像處理單元產(chǎn)生的圖像數(shù)據(jù)，對所述第一視頻數(shù)據(jù)進行解碼。根據(jù)本發(fā)明的一種實施方式，提供一種成像方法，包括下列步驟成像步驟，其對景物進行抓拍并產(chǎn)生成像數(shù)據(jù)；圖像處理步驟，其對所述成像步驟抓拍的成像數(shù)據(jù)進行規(guī)定的圖像處理并產(chǎn)生視頻數(shù)據(jù)；壓縮步驟，其從所述圖像處理步驟產(chǎn)生的圖像數(shù)據(jù)中，對包含多個幀的第一視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第一編碼數(shù)據(jù)，同時，對具有比所述幀更高的分辨率的第二視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第二編碼數(shù)據(jù)；存儲步驟，其存儲由所述壓縮步驟產(chǎn)生的所述第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)；解壓步驟，其對所述存儲步驟存儲的第 ー編碼數(shù)據(jù)和第二編碼數(shù)據(jù)進行解壓處理并產(chǎn)生所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)；超分辨率處理步驟，其通過使用所述解壓步驟產(chǎn)生的第一視頻數(shù)據(jù)中包含的多個幀，對該各個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像；運動估計步驟，其檢測所述超分辨率處理步驟產(chǎn)生的超分辨率圖像之間的運動矢量；以及圖像產(chǎn)生步驟，其基于所述解壓步驟產(chǎn)生的第ニ視頻數(shù)據(jù)和所述運動估計步驟檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)的幀的運動補償圖像數(shù)據(jù)。根據(jù)本發(fā)明的一種實施方式，提供ー種程序，其使計算機實現(xiàn)下列功能成像功能，其對景物進行抓拍并產(chǎn)生成像數(shù)據(jù)；圖像處理功能，其對所述成像功能抓拍的成像數(shù)據(jù)進行規(guī)定的圖像處理并產(chǎn)生視頻數(shù)據(jù)；壓縮功能，其從所述圖像處理功能產(chǎn)生的圖像數(shù)據(jù)中，對包含多個幀的第一視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第一編碼數(shù)據(jù)，同時，對具有比所述幀更高的分辨率的第二視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第二編碼數(shù)據(jù)；存儲功能，其存儲由所述壓縮功能產(chǎn)生的所述第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)；解壓功能，其對所述存儲功能存儲的第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)進行解壓處理并產(chǎn)生所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)；超分辨率處理功能，其通過使用所述解壓功能產(chǎn)生的第一視頻數(shù)據(jù)中包含的多個幀，對該各個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像；運動估計功能，其檢測所述超分辨率處理功能產(chǎn)生的超分辨率圖像之間的運動矢量；以及圖像產(chǎn)生功能，其基于所述解壓功能產(chǎn)生的第二視頻數(shù)據(jù)和所述運動估計功能檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)的幀的運動補償圖像數(shù)據(jù)。根據(jù)本發(fā)明的一種實施方式，提供ー種可通過計算機讀取的記錄介質(zhì)，其記錄了使計算機實現(xiàn)下列功能的程序成像功能，其對景物進行抓拍并產(chǎn)生成像數(shù)據(jù)；圖像處理功能，其對所述成像功能抓拍的成像數(shù)據(jù)進行規(guī)定的圖像處理并產(chǎn)生視頻數(shù)據(jù)；壓縮功能，其從所述圖像處理功能產(chǎn)生的圖像數(shù)據(jù)中，對包含多個幀的第一視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第一編碼數(shù)據(jù)，同時，對具有比所述幀更高的分辨率的第二視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第二編碼數(shù)據(jù)；存儲功能，其存儲由所述壓縮功能產(chǎn)生的所述第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)；解壓功能，其對所述存儲功能存儲的第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)進行解壓處理并產(chǎn)生所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)；超分辨率處理功能，其通過使用所述解壓功能產(chǎn)生的第一視頻數(shù)據(jù)中包含的多個幀，對該各個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像；運動估計功能，其檢測所述超分辨率處理功能產(chǎn)生的超分辨率圖像之間的運動矢量；以及圖像產(chǎn)生功能，其基于所述解壓功能產(chǎn)生的第二視頻數(shù)據(jù)和所述運動估計功能檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)的幀的運動補償圖像數(shù)據(jù)。根據(jù)本發(fā)明的另ー實施方式，提供計算機程序，其包括命令計算機執(zhí)行圖像處理裝置的功能的指令。進ー步，提供在其上記錄上述程序的記錄介質(zhì)。本發(fā)明的上述實施方式，可以以所選擇的定時、與高分辨率圖像相結(jié)合地使用一系列低分辨率圖像數(shù)據(jù)產(chǎn)生更高質(zhì)量的高分辨率圖像數(shù)據(jù)。


圖I是圖解該分辨率圖像產(chǎn)生方法的解釋性圖；圖2是示出使用FIR濾波器的分辨率轉(zhuǎn)換和超分辨率處理之間的差得解釋性圖；圖3是示出根據(jù)本發(fā)明的實施方式的圖像處理裝置的結(jié)構(gòu)的解釋性圖；圖4是圖解根據(jù)本實施方式的圖像產(chǎn)生處理電路的操作的解釋性圖；圖5是圖解根據(jù)本實施方式的相位校正電路的操作的解釋性圖；圖6是示出根據(jù)本實施方式的高分辨率圖像產(chǎn)生方法的解釋性圖；圖7是示出根據(jù)本實施方式的改進型示例的高分辨率圖像產(chǎn)生方法的解釋性圖；以及圖8是示出可以實現(xiàn)根據(jù)本實施方式的圖像處理裝置的功能的信息處理裝置的硬件配置的解釋性圖。
具體實施例方式以下將參考附圖詳細描述本發(fā)明的優(yōu)選實施方式。注意，在本說明書和附圖中，具有實質(zhì)上相同功能和結(jié)構(gòu)的結(jié)構(gòu)元素用同一附圖標(biāo)記表示，并省略對這些結(jié)構(gòu)元素的重復(fù)解釋。(高分辨率圖像產(chǎn)生方法)首先，在解釋根據(jù)本發(fā)明的實施方式的圖像處理裝置和圖像處理方法之前，將參考圖1，對與高空間分辨率數(shù)據(jù)結(jié)合地使用具有低空間分辨率的連續(xù)記錄的圖像數(shù)據(jù)序列來產(chǎn)生高分辨率圖像數(shù)據(jù)的思想做出基本解釋。具有低空間分辨率的該連續(xù)記錄的圖像數(shù)據(jù)序列(以下有時稱為“視頻數(shù)據(jù)”)與對應(yīng)于包括在視頻數(shù)據(jù)中的適當(dāng)幀(以下有時稱為“低分辨率畫面(LRP) ”)的、間歇地記錄的高空間分辨率數(shù)據(jù)(以下有時稱為“畫面數(shù)據(jù)”或“高分辨率畫面(HRP) ”)相結(jié)合，產(chǎn)生對應(yīng)于包括在視頻數(shù)據(jù)中的所選幀的高分辨率圖像數(shù)據(jù)(以下稱為“所建畫面(CP) ”)。圖I是示出高分辨率圖像產(chǎn)生方法的示例的解釋性圖。圖I描述了高分辨率畫面HRP (t)、低分辨率畫面LRP (t)、低分辨率畫面LRP (t+h)、放大比例圖像(以下有時稱為“放大畫面(MP) ”)MP (t)、放大畫面MP (t+h)和所建畫面CP(t+h) ο這里，括號內(nèi)的字母指示圖像被抓拍時的時間。例如，所建畫面CP(t+h)指示對應(yīng)于在時間t+h抓拍的低分辨率畫面LRP(t+h)的所建畫面。所建畫面CP是從使用低分辨率畫面LRP檢測到的運動矢量，利用使用高分辨率畫面HRP進行的運動補償產(chǎn)生的圖像數(shù)據(jù)。例如，如圖I所示，通過放大低分辨率畫面LRP(t)產(chǎn)生的放大畫面MP(t)與通過放大低分辨率畫面LRP(t+h)產(chǎn)生的放大畫面MP(t+h)用于檢測時間t與時間t+h之間的運動矢量(MV)(步驟SI)。接下來，基于該運動矢量MV，取出對應(yīng)于低分辨率畫面LRP(t)參考塊(BLK)的高分辨率畫面HRP(t)參考塊。然后，以預(yù)定的比率將參考塊像素與放大畫面MP (t+h)像素合并以產(chǎn)生所建畫面CP (t+h)(步驟S2)。
在上述示例中，使用實質(zhì)上不同的圖像進行運動估計和運動補償。雖然與高分辨率畫面HRP相比，通過放大低分辨率畫面LRP而產(chǎn)生的放大畫面MP被放大到與高分辨率畫面HRP相同的空間分辨率，但放大畫面MP缺少高頻分量。因為這個原因，可能會在使用放大畫面MP所檢測到的運動矢量和用于高分辨率畫面HRP的原始運動矢量之間出現(xiàn)差異(discrepancy)。如果運動估計精度很低，則高分辨率畫面HRP中的參考塊的位置可能被移位。因此，噪聲變成將被加到運動補償之后產(chǎn)生的所建畫面CP的高頻分量。這里，需要抑制作為基于擁有不同空間分辨率的多個圖像數(shù)據(jù)被進行的運動補償?shù)慕Y(jié)果而變成將被加的噪聲的技術(shù)。當(dāng)抓拍高分辨率畫面HRP (t)時的時間t與要產(chǎn)生所建畫面CP(t+h)時的時間t+h之間存在間隔時，運動矢量誤差變大。因為這個原因，需要即使在時間間隔h很大的時候，也能獲得高分辨率所建畫面CP (t+h)的技木。如下面解釋的那樣，根據(jù)本發(fā)明的實施方式圖像處理裝置不使用利用有限脈沖響 應(yīng)(finite impulse response, FIR)濾波器等產(chǎn)生的放大畫面MP來進行運動估計,而是使用通過超分辨率處理產(chǎn)生的超分辨率畫面(SRP)來進行運動估計，如圖2所示。圖2是圖解使用FIR濾波器等的分辨率轉(zhuǎn)換，與通過根據(jù)本發(fā)明的超分辨率處理的分辨率轉(zhuǎn)換之間的差的解釋性圖。如圖2所示，當(dāng)使用FIR濾波器等轉(zhuǎn)換圖像分辨率時，基于單低分辨率畫面LRP進行放大處理，并產(chǎn)生放大畫面MP。利用這種方法，使用最接近的像素值來內(nèi)插像素值。該內(nèi)插過程產(chǎn)生平滑信號(smooth signal)。然而，當(dāng)使用超分辨率處理轉(zhuǎn)換圖像分辨率時，使用多個低分辨率畫面LRP來產(chǎn)生超分辨率畫面SRP。超分辨率處理是使用具有一個像素或更少的失真的多個低分辨率畫面LRP的方法，并且結(jié)合對應(yīng)于像素的像素值來重構(gòu)這些像素。與使用FIR濾波器等來產(chǎn)生放大畫面MP圖像的方法相比，使用這種方法可以顯著地改善運動矢量估計。因為這個原因，根據(jù)本實施方式的圖像處理裝置可以產(chǎn)生高分辨率所建畫面CP(t+h)。以下將解釋可以實現(xiàn)這些技術(shù)構(gòu)思的圖像處理裝置的詳細結(jié)構(gòu)示例。(本發(fā)明的實施方式)首先，將解釋根據(jù)本發(fā)明的第一實施方式的圖像處理裝置100。(圖像處理裝置100的結(jié)構(gòu))首先，將參考圖3解釋根據(jù)本實施方式的圖像處理裝置100的結(jié)構(gòu)。圖3是示出根據(jù)本實施方式的圖像處理裝置100的結(jié)構(gòu)的示例的解釋性圖。如圖3所示，圖像處理裝置100主要包括成像透鏡(imaging lens) 102、圖像傳感器104、照相機信號處理塊110、視頻記錄/回放塊120、畫面記錄/回放塊130、圖像產(chǎn)生處理電路302、相位校正電路304、超分辨率處理電路306和顯示電路108。該相位校正電路304是相位失真檢測單元、相位失真校正單元或運動矢量補償單元的ー個示例。超分辨率處理電路306也是超分辨率處理單元的ー個示例。成像透鏡102聚集(condense)光線，是形成景物的圖像(以下稱為聚集圖像(condensed image))的光透鏡。圖像傳感器104是將成像透鏡102所聚集的光線轉(zhuǎn)換成電信號的光電元件。圖像傳感器104使用半導(dǎo)體元件，諸如電荷耦合裝置(CCD)圖像傳感器或互補金屬氧化物半導(dǎo)體(CMOS)圖像傳感器。圖像傳感器104也具有比視頻數(shù)據(jù)的空間分辨率有效像素計數(shù)更大的像素計數(shù)。當(dāng)圖像數(shù)據(jù)被記錄或回放或者用戶正在檢查圖像數(shù)據(jù)時，顯示電路108在顯示裝置(未示出)上顯示圖像數(shù)據(jù)。圖像產(chǎn)生定時控制器106是允許操作者指令在正在回放視頻數(shù)據(jù)的同時獲得畫面數(shù)據(jù)的裝置。(照相機信號處理塊110)如圖3所示，照相機信號處理塊110包括A/D轉(zhuǎn)換器112和數(shù)字信號處理電路114。A/D轉(zhuǎn)換器112是轉(zhuǎn)換模擬信號到數(shù)字信號并且輸出該數(shù)字信號的模擬_數(shù)字轉(zhuǎn)換器。A/D轉(zhuǎn)換器112將從圖像傳感器104接收到的聚集圖像的模擬信號轉(zhuǎn)換成數(shù)字信號，并將該數(shù)字信號輸出到數(shù)字信號處理電路114。數(shù)字信號處理電路114對從A/D轉(zhuǎn)換器112接收到的聚集圖像數(shù)字信號(以下稱為“圖像數(shù)據(jù)”)進行白平衡調(diào)節(jié)和伽馬校正等。(視頻記錄/回放塊120)
如圖3所示，視頻記錄/回放塊120包括圖像密度轉(zhuǎn)換電路126、視頻數(shù)據(jù)壓縮/擴展電路124和存儲單元122。當(dāng)記錄視頻數(shù)據(jù)時，圖像密度(density)轉(zhuǎn)換電路126對從數(shù)字信號處理電路114接收到的圖像數(shù)據(jù)(視頻數(shù)據(jù))序列進行稀疏處理(thinning out processing)(例如,編碼幀之間的差等)。圖像密度轉(zhuǎn)換電路126將稀疏處理之后的視頻數(shù)據(jù)輸出到視頻數(shù)據(jù)壓縮/擴展電路124。視頻數(shù)據(jù)壓縮/擴展電路124壓縮從圖像密度轉(zhuǎn)換電路126接收到的變稀疏的數(shù)據(jù)，并將經(jīng)壓縮視頻數(shù)據(jù)記錄到存儲單元122。當(dāng)回放視頻數(shù)據(jù)時，視頻數(shù)據(jù)壓縮/擴展電路124首先讀取然后擴展存儲在存儲単元122中的視頻數(shù)據(jù)。然后，視頻數(shù)據(jù)壓縮擴展電路124將經(jīng)擴展的視頻數(shù)據(jù)輸入到圖像密度轉(zhuǎn)換電路126。圖像密度轉(zhuǎn)換電路126內(nèi)插從視頻數(shù)據(jù)壓縮/擴展電路124接收到的經(jīng)擴展數(shù)據(jù)(例如，重構(gòu)求差分?jǐn)?shù)據(jù)(differentiated data)等)。(畫面記錄/回放塊130)如圖3所示，畫面記錄/回放塊130包括畫面數(shù)據(jù)壓縮/擴展電路134和存儲單元132。存儲單元132也可以使用具有存儲單元122的公用存儲裝置，并且可以實現(xiàn)存儲單元132的功能。當(dāng)記錄畫面數(shù)據(jù)時，畫面數(shù)據(jù)壓縮/擴展電路134壓縮從數(shù)字信號處理電路114接收到的圖像數(shù)據(jù)，并將該數(shù)據(jù)記錄到存儲單元132。當(dāng)回放畫面數(shù)據(jù)時，畫面數(shù)據(jù)壓縮/擴展電路134首先讀取然后擴展存儲在存儲單元132中的圖像數(shù)據(jù)。(圖像產(chǎn)生處理電路302)圖像產(chǎn)生處理電路302包括運動估計單元312 (在附圖中未示出)以及運動補償単元314(在附圖中未示出)。運動估計單元312是運動估計單元的ー個示例。此外，運動補償單元314是圖像產(chǎn)生單元的ー個示例。運動估計單元312進行在從視頻記錄/回放塊120傳送來的視頻數(shù)據(jù)的幀之間的運動估計，并且檢測運動矢量。例如，運動估計單元312選擇在最接近在預(yù)定時間記錄的幀的時間點上記錄的畫面數(shù)據(jù)。然后，運動估計單元312進行在對應(yīng)于所選畫面數(shù)據(jù)的幀與在預(yù)定時間記錄的幀之間的運動估計，并檢測所述幀之間的運動矢量。在那時，運動估計單元312對其參考到的每ー幀(LRP)進行超分辨率處理，并使用分辨率經(jīng)轉(zhuǎn)換的超分辨率畫面(SRP)檢測運動矢量。作為另ー示例，運動估計單元312可以提取在接近在預(yù)定時間記錄的幀的時間點上記錄的多個畫面數(shù)據(jù)，并選擇與最相似于在預(yù)定時間記錄的幀的畫面數(shù)據(jù)對應(yīng)的幀。然后，運動估計單元312可以進行在對應(yīng)于所選畫面數(shù)據(jù)的幀與在預(yù)定時間記錄的幀之間的運動估計，并且檢測所述幀之間的運動矢量。運動補償單元314基于從運動估計単元312接收到的運動矢量數(shù)據(jù)和從畫面記錄/回放塊130接收到的畫面數(shù)據(jù)進行運動補償。例如，運動補償單元314基于運動矢量，識別對應(yīng)于在預(yù)定時間記錄的幀中的參考塊的畫面數(shù)據(jù)參考塊。運動補償單元314以預(yù)定比率合并畫面數(shù)據(jù)參考塊和在預(yù)定時間上記錄的幀的參考塊，并產(chǎn)生所建畫面(CP)。進一歩，當(dāng)產(chǎn)生所建畫面CP，圖像產(chǎn)生處理電路302監(jiān)視對應(yīng)于所建畫面CP的超分辨率畫面SRP和指向者圖像之間的差值(amount of difference)。當(dāng)高分辨率畫面HRP和超分辨率畫面SRP之間的差值很小吋，圖像產(chǎn)生處理電路302可以按原樣輸出高分辨率畫面HRP，作為所建畫面CP。這情況在抓拍完全靜止景物時出現(xiàn)。 如上所示，引起運動估計的精度變壞的一個因素是從視頻記錄/回放塊120傳送的圖像數(shù)據(jù)的低空間分辨率。與以高分辨率抓拍的畫面數(shù)據(jù)相比，分辨率轉(zhuǎn)換之后的高空間分辨率圖像數(shù)據(jù)不包含高頻分量。在這種情況下，即使當(dāng)以處于分?jǐn)?shù)像素計數(shù)(fractional-pixel count)或整像素計數(shù)(integer-pixel count)級精度進行詳細的運動估計時，其也成為不包括在圖像數(shù)據(jù)中的信號之間的比較問題。因為該原因，運動估計的精度可能依賴于放大比率而明顯變壞。(超分辨率處理電路306，相位校正電路304)根據(jù)本實施方式的圖像處理裝置100包括超分辨率處理電路306，其通過超分辨率處理，對低分辨率畫面LRP進行分辨率轉(zhuǎn)換。現(xiàn)在將更詳細地解釋涉及超分辨率處理電路306等的超分辨率處理的技術(shù)配置。首先，圖像產(chǎn)生處理電路302將從視頻記錄/回放塊120接收到的低分辨率畫面LRP,經(jīng)由相位校正電路304輸入到超分辨率處理電路306。超分辨率處理電路306使用與多個視頻數(shù)據(jù)幀對應(yīng)的低分辨率畫面LRP，利用超分辨率處理將每個低分辨率畫面LRP轉(zhuǎn)換成高分辨率圖像。然后，超分辨率處理電路306將高分辨率轉(zhuǎn)換后的超分辨率畫面SRP輸入到相位校正電路304。如圖4所示，超分辨率處理電路首先集中關(guān)于與視頻數(shù)據(jù)對應(yīng)的多個LRP幀的數(shù)據(jù)，并產(chǎn)生單高分辨率畫面。在不同的時間點抓拍被使用超分辨率處理的該多個低分辨率畫面LRP。因為那種原因，即使景物相同，也時常包括具有不同相位的信號。這里，基于超分辨率處理方法，利用相位重疊，可以重疊包括在多個LRP中的高頻分量，并改善輸出的圖像數(shù)據(jù)分辨率。輸入的LRP的數(shù)量可以是兩個或以上，一直到圖像處理裝置的存儲容量和算術(shù)處理能力的極限。即使當(dāng)使用超分辨率處理電路306時，分辨率轉(zhuǎn)換之前的低空間分辨率圖像數(shù)據(jù)也被完全重構(gòu)。然而，超分辨率處理將高頻分量校正到一定程度。因為那種原因，而顯著改善運動估計精度。換句話說，由超分辨率處理產(chǎn)生并校正高頻分量，并且可以以更大的精度進行圖像信號的比較。接下來，相位校正電路304將從圖像密度轉(zhuǎn)換電路126傳送的低分辨率畫面LRP (或者使用FIR濾波器等放大的放大畫面MP)，與從超分辨率處理電路306傳送的超分辨率畫面SRP比較，并對從超分辨率處理電路306傳送的超分辨率畫面SRP進行相位校正。然后，超分辨率處理電路306將相位被校正的超分辨率畫面SRP輸入到圖像產(chǎn)生處理電路302。圖像產(chǎn)生處理電路302基于從相位校正電路304接收到的超分辨率畫面SRP和畫面記錄/回放塊130接收到的高分辨率畫面HRP，進行運動補償，并產(chǎn)生所建畫面CP。在那以后，圖像產(chǎn)生處理電路302將所建畫面CP輸出到顯示電路108。圖像密度轉(zhuǎn)換電路126是放大圖像產(chǎn)生單元的ー個示例。按照上述方式，已經(jīng)由超分辨率處理電路306對其進行了超分辨率處理的有圖像數(shù)據(jù)(SRP)，以及已經(jīng)經(jīng)由圖像密度轉(zhuǎn)換電路126轉(zhuǎn)換過分辨率的圖像數(shù)據(jù)，被輸入到相位校正電路304。如圖5所示，前者SRP數(shù)據(jù)具有通過超分辨率處理增加的高頻分量。后者圖像數(shù)據(jù)只是已經(jīng)經(jīng)歷了使用FIR濾波器等的分辨率轉(zhuǎn)換，因此不增加高頻分量。然而，后者圖像數(shù)據(jù)對與到更高分辨率的轉(zhuǎn)換向一致地(in line with)出現(xiàn)的相位失真很少敏感。另一方面，前者SRP圖像數(shù)據(jù)包括涉及多個圖像的求和的處理，原則上，其更容易對相位失真敏感。在用在運動估計中的圖像與用在運動補償中的圖像之間的相位失真導(dǎo)致質(zhì)量變壞。這里，相位校正電路304計算在從超分辨率處理電路306接收到的超分辨率畫面SRP與從視頻記錄/回放塊120接收到的放大畫面MP之間的相位失真量。例如，可以應(yīng)用于本實施方式來計算校正量的方法包括通過相位相關(guān)法(phase correlation)、塊匹配法 (block matching)等的運動估計。這里，使用某種運動估計。如果整個圖像存在均勻相位失真，則用于上述運動估計的適當(dāng)方法是相位相關(guān)法等。另ー方面，如果相位失真量依賴于圖像中的區(qū)域而不同，則用于上述運動估計的適當(dāng)方法是塊匹配法等。如果所建的是簡化的圖像，則可以以相對容易的方式完成運動估計。接下來，相位校正電路304使用利用上述方法計算出來的相位失真量，來對從超分辨率處理電路306接收到的超分辨率畫面SRP進行相位校正。如果失真以整像素級精度出現(xiàn)，則可以通過簡單移位整個圖像來進行校正。如果失真以分?jǐn)?shù)像素級精度(例如，半像素級(half-pixel level)等)出現(xiàn)，則可以結(jié)合通過FIR濾波器的校正處理來進行校正。在這種方法中，圖像被臨時放大，并且分?jǐn)?shù)像素失真被放大來作為整像素失真處理。相位校正電路304也可以不通過校正在超分辨率畫面SRP中出現(xiàn)的相位失真，而使用用以校正諸如在超分辨率畫面SRP之間檢測到的運動矢量之類的運動數(shù)據(jù)的方法來進行相位校正。換句話說，圖像產(chǎn)生處理電路302使用從超分辨率處理電路306輸出的超分辨率畫面SRP來進行相位校正。然后，圖像產(chǎn)生處理電路302通過添加由相位校正電路304所計算出來的相位失真量來校正所檢測到的運動矢量。在那之后，圖像產(chǎn)生處理電路302使用從畫面記錄/回放塊130輸出的高分辨率畫面HRP來進行運動補償。通過這種校正處理，消除在超分辨率處理電路306中出現(xiàn)的超分辨率畫面SRP相位失真。(圖像數(shù)據(jù)的記錄)接下來，將給出通過根據(jù)本實施方式的圖像處理裝置100的圖像數(shù)據(jù)的記錄的簡
單解釋。首先，操作者指令圖像處理裝置100開始記錄(步驟S10)。圖像處理裝置100接收該指令并開始形成該視頻數(shù)據(jù)的幀的連續(xù)記錄(步驟S12)。圖像處理裝置100經(jīng)由成像透鏡102獲得聚集圖像(步驟S14)。接下來，圖像處理裝置100使用圖像傳感器104對該聚集圖像進行光電轉(zhuǎn)換并且產(chǎn)生模擬信號(步驟S16)。然后，圖像處理裝置100將該模擬信號輸入到A/D轉(zhuǎn)換器112，并且將該模擬信號轉(zhuǎn)換為數(shù)字信號(步驟S18)。接下來，圖像處理裝置100將該數(shù)字信號輸入到數(shù)字信號處理電路114并對對應(yīng)于該數(shù)字信號的圖像數(shù)據(jù)進行諸如白平衡調(diào)節(jié)和伽馬校正之類的處理(步驟S20)。圖像處理裝置100可以積累圖像數(shù)據(jù)并形成視頻數(shù)據(jù)。接下來，圖像處理裝置100使用圖像密度轉(zhuǎn)換電路126來對該視頻數(shù)據(jù)進行稀疏(步驟S22)。當(dāng)進行步驟S22時，可以關(guān)于諸如全國電視系統(tǒng)委員會制式(NTSC)、逐行倒相制式(PAL)或綜合業(yè)務(wù)數(shù)字廣播(ISDB)法之類的每種視頻信號格式獲得有效像素的數(shù)量。然后，圖像處理裝置100使用視頻數(shù)據(jù)壓縮/擴展電路124來壓縮變稀疏的的視頻數(shù)據(jù)(步驟S24)，并將該視頻數(shù)據(jù)記錄在存儲單元122 (步驟S25)。此外，圖像處理裝置100使用畫面數(shù)據(jù)壓縮/擴展電路134來以預(yù)定間隔間歇性地獲得并壓縮圖像數(shù)據(jù)(畫面數(shù)據(jù))(步驟S32)，并且將該畫面數(shù)據(jù)存儲在存儲單元132 (步驟S34)。(圖像數(shù)據(jù)的回放)接下來，將給出通過根據(jù)本實施方式的圖像處理裝置100的圖像數(shù)據(jù)的回放的簡 單解釋。操作者使用圖像產(chǎn)生定時控制器106指令圖像處理裝置100開始回放(步驟S50)。圖像處理裝置100接收指令并開始具有比視頻數(shù)據(jù)更高的空間分辨率的、關(guān)于不記錄畫面數(shù)據(jù)的時間點而記錄的高質(zhì)量圖像數(shù)據(jù)的產(chǎn)生(步驟S52)。圖像處理裝置100讀取存儲在存儲單元122中的經(jīng)壓縮視頻數(shù)據(jù)(步驟S54)，并且使用視頻數(shù)據(jù)壓縮/擴展電路124來擴展該視頻數(shù)據(jù)(步驟S56)。接下來，圖像處理裝置100使用圖像密度轉(zhuǎn)換電路126來對經(jīng)擴展的視頻數(shù)據(jù)進行校正處理(步驟S58)。在步驟S58，每ー幀視頻數(shù)據(jù)都被轉(zhuǎn)換成具有與畫面數(shù)據(jù)相同的像素數(shù)的圖像數(shù)據(jù)。然后，將該視頻數(shù)據(jù)傳送到圖像產(chǎn)生處理電路302 (步驟S60)。圖像處理裝置100使用畫面數(shù)據(jù)壓縮/擴展電路134來讀取存儲在存儲單元132中的畫面數(shù)據(jù)(步驟S72)，并將該畫面數(shù)據(jù)傳送到圖像產(chǎn)生處理電路302。(圖像產(chǎn)生處理電路302的操作)這里，將參考圖4來解釋圖像產(chǎn)生處理電路302的操作。圖4是圖解圖像產(chǎn)生處理電路302的處理操作的解釋性圖。在圖4，與圖像抓取時間相對應(yīng)地示出了高分辨率畫面HRP(t)、多個低分辨率畫面LRP (t)與低分辨率畫面LRP (t+h)等、以及所建畫面CP (t+h)。圖4是用以產(chǎn)生與在時間t+h時記錄的低分辨率畫面LRP(t+h)對應(yīng)的所建畫面CP(t+h)處理操作的圖解。對于高分辨率畫面HRP，假設(shè)水平像素的數(shù)量是N，垂直像素的數(shù)量是M，而幀速率是I/ Λ T (fps)。此外，對于低分辨率畫面LRP，假設(shè)水平像素的數(shù)量是n，垂直像素的數(shù)量是m，而幀速率是1/At(fps)。假設(shè)每個變量滿足關(guān)系N>n、M>m和ATミAt。進一歩，假設(shè)變量h滿足關(guān)系O < h < AT。將參考圖4中所示的示例來解釋用于產(chǎn)生關(guān)于時間t+h的所建畫面CP (t+h)的方法。然而，根據(jù)本實施方式的圖像處理裝置100的處理方法不限于這種示例。例如，圖像處理裝置100可以額外地參考到關(guān)于另ー時間t+ΛΤ(在附圖中未示出)的高分辨率畫面HRP (t+AT)來產(chǎn)生所建畫面CP (t+h)。在那時，圖像處理裝置100也可以進行處理來，依賴于景物的運動程度(extent)和速度等，選擇將要參考到的高分辨率畫面HRP。(步驟SI)首先，圖像處理裝置100的運動估計單元312使用超分辨率畫面SRP(t)和超分辨率畫面SRP(t+h)來進行運動估計，并且檢測在超分辨率畫面SRP(t)與超分辨率畫面SRP(t+h)之間的運動矢量(MV)。因為使用超分辨率畫面SRP來預(yù)測運動矢量MV，因而可以實現(xiàn)高度的運動估計精度?？梢詰?yīng)用于本實施方式的運動估計的方法包括塊匹配法、相位相關(guān)法或光流方法。(步驟S2)接下來，圖像處理裝置100的運動補償單元314使用運動矢量MV和高分辨率畫面HRP(t)來進行運動補償。運動補償單元314使用運動矢量MV來識別對應(yīng)于超分辨率畫面SRP(t+h)參考塊的高分辨率畫面HRP(t)參考塊。然后，運動補償單元314以預(yù)定比率合并所識別出的高分辨率畫面參考塊和超分辨率畫面SRP(t+h)參考塊，以產(chǎn)生所建畫面CP(t+h)。當(dāng)產(chǎn)生了所建畫面CP時，圖像產(chǎn)生處理電路302也可以參考到除上述圖像之外的圖像。這里的解釋通過參考定位于更晚時間期間(later in temporal term)中的圖像描述運動估計和運動補償(前向預(yù)測)，但運動估計和運動補償可以參考定位于更早時間期間(earlier in temporal term)中的圖像來進行。作為替換，可以參考更晚圖像和更早圖像來進行運動估計和運動補償。進一歩，圖像產(chǎn)生處理電路302可以通過參考定位于時間期間更早或更晚的多個圖像來產(chǎn)生所建畫面CP。在上述方式中，可以以多種方式改進根據(jù)本實施方式的圖像產(chǎn)生處理電路302。例如，如果高分辨率畫面HRP (t+AT)存在于時間t+AT(h< AT)，則圖像產(chǎn)生處理電路302可以根據(jù)上述方法，將基于高分辨率畫面HRP(t+AT)從更早點校正和產(chǎn)生的所建畫面CP，與從更晚點相繼地校正和產(chǎn)生的所建畫面CP進行比較，并且可以選擇具有更高質(zhì)量的圖像?？紤]到這種選擇應(yīng)用等，例如，圖像產(chǎn)生處理電路302可以比較關(guān)于時間t和t+ΛΤ等的超分辨率畫面SRP(t)和超分辨率畫面SRP (t+AT)等，并且監(jiān)視該差。當(dāng)進行運動估計吋，圖像產(chǎn)生處理電路302可以組合兩個方向上的預(yù)測。換句話說，圖像產(chǎn)生處理電路302基于關(guān)于多個預(yù)測源的運動矢量進行運動補償，對運動補償像素值進行加權(quán)，并使它們最終達到平衡。為了給出一個簡單的示例，可以根據(jù)公式(1)，關(guān)于預(yù)測尺寸像素A和預(yù)測尺寸像素B，計算出滿足預(yù)測的像素C。(公式I)C= (A+B) /2(I)這是用以以等加權(quán)系數(shù)獲得平均值的方法。與在ー個方向上作出的預(yù)測相比，通過進行在雙向上的預(yù)測，可以降低能量差(energy difference)。這種方法關(guān)于諸如運動畫面專家組(MPEG)技術(shù)之類的圖像壓縮技術(shù)而著稱。因為本發(fā)明的實施方式還組合在兩個方向上的預(yù)測，所以被認為可以進一歩改善所建畫面CP的質(zhì)量。進ー步，如在關(guān)于H. 264標(biāo)準(zhǔn)等的雙向預(yù)測技術(shù)中那樣，關(guān)于兩個矢量的預(yù)測方向在時間期間可以被設(shè)置在同一方向(前向方向或后向方向)上。當(dāng)產(chǎn)生所建畫面CP時，例如，相對容易的雙向預(yù)測方法可能是用以使用利用兩個高分辨率畫面HRP(t)與HRP(t+ΛΤ)之間的平均值產(chǎn)生的所建畫面CP(t+h)的方法。這種方法對衰落的靜物的圖像有效。 如果景物包括運動對象，則圖像產(chǎn)生處理電路302可以關(guān)于超分辨率畫面SRP(t+h)和超分辨率畫面SRP(t)進行雙向預(yù)測，并且可以基于高分辨率畫面HRP(t)和高分辨率畫面HRP(t+ΛΤ)進行運動補償。圖像產(chǎn)生處理電路302也可以在超分辨率畫面SRP(t+h)和超分辨率畫面SRP(t)使用景物運動，來改善所建畫面CP(t+h)的畫面質(zhì)量。(圖像處理方法)這里，參考圖6來解釋根據(jù)本實施方式的圖像處理方法。圖6是示出根據(jù)本實施方式的圖像產(chǎn)生處理的流程的解釋性圖。首先，圖像產(chǎn)生處理電路302開始關(guān)鍵幀高分辨率處理(步驟S200)。接下來，超分辨率處理電路306對低分辨率畫面LRP進行超分辨率處理，以產(chǎn)生與高分辨率畫面HRP具有相同空間分辨率的超分辨率畫面SRP (步驟S202)。接下來，初始化指示參考塊的位置的參數(shù)b (步驟S204)。然后確定參數(shù)b是否超過參數(shù)b的最大值b_max (步驟S206)。這里，b_max是包括在幀中的塊的數(shù)量。當(dāng)b彡b_max時，圖像產(chǎn)生處理電路302結(jié)束圖像產(chǎn)生過程。當(dāng)b<b_max時,運 動估計單元312從當(dāng)前幀(SRP(t+h))到關(guān)鍵幀(SRP(t))進行運動估計(步驟S208)。接下來，圖像產(chǎn)生處理電路302基于估計殘留信號的大小，確定是否進行運動補償(步驟S212)。如果在步驟S212確定不能進行運動補償，則運動補償単元314將在步驟S202放大過的超分辨率畫面SRP(t+h)作為所建畫面CP(t+h)輸出。如果在步驟S212確定可以進行運動補償，則運動補償單元314使用高分辨率畫面HRP (t)進行運動補償(步驟S214)。那時，運動補償單元314使用在步驟S208中從當(dāng)前幀到關(guān)鍵幀所獲得的運動矢量單元塊大小和和參考幀數(shù)據(jù)等。然后，圖像產(chǎn)生處理電路302遞增參數(shù)b (步驟S218)，并再次從步驟S206開始處理。以這種方式，當(dāng)進行運動補償吋，圖像產(chǎn)生處理電路302在確定圖像差的同吋，確定是否可以進行運動補償。因為那種原因，而可以使得出現(xiàn)在根據(jù)低運動估計精度產(chǎn)生的所建畫面CP(t+h)中的噪聲達到最小。(變形示例)此外,如圖7所示,可以進行連續(xù)順序(consecutive sequence)運動補償。使用高分辨率畫面HRP (t)產(chǎn)生中間所建畫面CP’(t+h”)(t < h”< h)，然后使用該中間所建畫面CP’(t+h”)產(chǎn)生所建畫面CP (t+h)。圖7是示出根據(jù)本實施方式的變形示例(deformedexample)的圖像產(chǎn)生方法的解釋性圖。如這里所示，本實施方式不限于上述描述，而是可以按照各種方式畸變。此外，像在下面所示的示例中那樣，通過使用計算機程序的信息處理裝置，可以進行由圖像處理裝置100的結(jié)構(gòu)成員所進行的功能。(硬件配置)例如，通過具有如圖8所示的硬件配置的信息處理裝置，可以進行圖像處理裝置100的功能。圖8是示出可以進行圖像處理裝置100的每個結(jié)構(gòu)成員的功能的信息處理裝置的硬件配置的示例的解釋性圖。如圖8所示，該信息處理裝置主要包括中央處理單元(CPU) 902、只讀存儲器(ROM) 904、隨機存取存儲器(RAM) 906、主總線(host bus) 908、橋接器910、外部總線912、接ロ 914、輸入單元916、輸出單元918、存儲單元920、驅(qū)動器922、連接端ロ 924以及通信單元926。例如，CPU 902作用為算術(shù)處理單元或控制單元，基于記錄在ROM 904、RAM 906、存儲單元920或可移動記錄介質(zhì)928控制每個結(jié)構(gòu)成員的全部或部分操作。例如，ROM 904存儲將要讀到CPU 902的程序或在計算時用到的數(shù)據(jù)。RAM 906臨時或永久地存儲將要讀到CPU 902的程序或當(dāng)執(zhí)行這些程序時適當(dāng)?shù)馗淖兊母鞣N參數(shù)等。例如，這些結(jié)構(gòu)成員通過允許高速數(shù)據(jù)傳輸?shù)闹骺偩€908相互連接。例如，主總線908經(jīng)由橋接器910連接到具有比較低的數(shù)據(jù)傳輸速度的外部總線912。例如，輸入單元916是諸如鼠標(biāo)、鍵盤、觸摸屏、按鈕、開關(guān)、控制桿之類的操作裝置。輸入單元916還可以是能夠使用紅外線或其他無線電波傳送控制信號的遙控裝置(所謂“遙控器”)。輸入單元916由輸入控制電路等形成，設(shè)計成使用上述操作裝置，將傳送輸入數(shù)據(jù)作為輸入信號傳送到CPU902。例如，輸出單元918為諸如陰極射線管(CRT)、液晶顯示器(IXD)、等離子體顯示板(PDP)或電致發(fā)光顯示器(ELD)之類的顯示裝置，諸如揚聲器或麥克風(fēng)之類的音頻輸出裝置，或能夠向用戶提供關(guān)于由音頻或視覺裝置等所獲得的數(shù)據(jù)的信息的打印機、蜂窩電話或傳真機等。存儲單元920是用以存儲各種數(shù)據(jù)的裝置，例如，由諸如硬盤驅(qū)動器(HDD)之類的磁存儲裝置，或半導(dǎo)體存儲裝置、光存儲裝置或磁光存儲裝置等形成。驅(qū)動器922是讀取例如存儲在可移動記錄介質(zhì)928 (即，磁盤、光盤或磁光盤等)中的數(shù)據(jù)，或?qū)憯?shù)據(jù)到可移動記錄介質(zhì)928中的裝置。例如，可移動記錄介質(zhì)928可以是DVD介質(zhì)、Blu-ray 介質(zhì)、HD-DVD介質(zhì)、CompactFlash (CF)存儲器、記憶棒或安全數(shù)字存儲卡(SD)等。當(dāng)然，作為替換，例如，可移動記錄介質(zhì)928可以是具有非接觸式IC芯片的集成電路卡(IC卡)或電子裝置等。連接部分924例如是通用串行總線(USB)、IEEE 1394端ロ、小型計算機系統(tǒng)接ロ(SCSI)、RS-232端ロ或光學(xué)音頻端ロ等，以便連接到外部連接裝置930。例如，外部連接裝置930為打印機、便攜式音樂播放器、數(shù)字照相機、數(shù)字視頻攝像機或IC記錄器等。通信単元926為用以連接到網(wǎng)絡(luò)932的通信裝置，例如，可以是有線或無線局域網(wǎng)(LAN)、Bluetooth 或無線USB(WUSB)通信卡、用于光通信的路由器、非対稱數(shù)字訂戶線路(ADSL)路由器或其他種類的通信調(diào)制解調(diào)器等。此外，連接到通信単元926的網(wǎng)絡(luò)由有線或無線連接的網(wǎng)絡(luò)形成，例如，為Internet、家庭LAN、紅外通信網(wǎng)絡(luò)、廣播網(wǎng)或衛(wèi)星通信網(wǎng)絡(luò)等。這完成了根據(jù)本實施方式的圖像處理裝置100的結(jié)構(gòu)的解釋，以及圖像處理方法的解釋。如上所示，本實施方式涉及結(jié)合地使用超分辨率技術(shù)以及運動補償技術(shù)的技木。因為使用包括高頻分量的高分辨率畫面HRP進行運動補償，所以與使用對高頻分量僅僅使用低分辨率畫面LRP進行運動補償?shù)某直媛始夹g(shù)相比，可以獲得更高質(zhì)量的圖像數(shù)據(jù)。此夕卜，由于可以改善運動估計精度，因此可以獲得不包括在普通超分辨率處理中的超分辨率有點。本領(lǐng)域普通技術(shù)人員應(yīng)該理解，依賴于設(shè)計要求和其他因素，只要它們在附屬權(quán)利要求或其等效物的范圍內(nèi)，可以出現(xiàn)各種修改、組合、部分組合和變更。例如，在本實施方式的上述解釋中，解釋了在前向(使用更晚幀)上的運動估計和運動補償，但本實施方式的技術(shù)范圍不限于這種示例，而是可以在后向(使用更早幀)上或者雙向(使用更晚幀和更早幀)上進行運動估計和運動補償。
權(quán)利要求
1.一種成像裝置，包括 成像単元，其對景物進行抓拍并產(chǎn)生成像數(shù)據(jù)； 圖像處理單元，其對所述成像単元抓拍的成像數(shù)據(jù)進行規(guī)定的圖像處理并產(chǎn)生視頻數(shù)據(jù)； 壓縮單元，其從所述圖像處理單元產(chǎn)生的圖像數(shù)據(jù)中，對包含多個幀的第一視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第一編碼數(shù)據(jù)，同時，對具有比所述幀更高的分辨率的第二視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第二編碼數(shù)據(jù)； 存儲單元，其存儲由所述壓縮單元產(chǎn)生的所述第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)； 解壓單元，其對所述存儲單元存儲的第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)進行解壓處理并產(chǎn)生所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)； 超分辨率處理單元，其通過使用所述解壓單元產(chǎn)生的第一視頻數(shù)據(jù)中包含的多個幀，對該各個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像； 運動估計單元，其檢測所述超分辨率處理單元產(chǎn)生的超分辨率圖像之間的運動矢量；以及 圖像產(chǎn)生単元，其基于所述解壓單元產(chǎn)生的第二視頻數(shù)據(jù)和所述運動估計單元檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)的幀的運動補償圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求I的成像裝置，其中 所述圖像產(chǎn)生單元，在用上述運動矢量執(zhí)行運動補償時，參照與所述運動矢量的涉及者對應(yīng)的所述第二視頻數(shù)據(jù)，并參照與上述運動矢量的涉及者對應(yīng)的所述超分辨率圖像來產(chǎn)生所述圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求I的成像裝置，進ー步包括 放大圖像產(chǎn)生單元，其使用所述第一視頻數(shù)據(jù)中包含的ー個幀，以與所述超分辨率處理單元產(chǎn)生的超分辨率圖像相同的分辨率，產(chǎn)生放大圖像；以及 相位失真檢測單元，其檢測對應(yīng)于所述第一視頻數(shù)據(jù)中包含的一個幀的超分辨率圖像和所述放大圖像產(chǎn)生單元產(chǎn)生的放大圖像之間的相位失真。
4.根據(jù)權(quán)利要求3的成像裝置，進ー步包括 相位失真校正単元，其基于所述相位失真檢測單元所檢測到的所述相位失真，校正所述超分辨率圖像的相位失真。
5.根據(jù)權(quán)利要求3的成像裝置，進ー步包括 運動矢量補償單元，其基于所述相位失真檢測單元所檢測到的相位失真，校正基于所述運動估計單元的超分辨率圖像之間的運動矢量估計的結(jié)果。
6.根據(jù)權(quán)利要求I的成像裝置，其中 所述超分辨率處理單元進行超分辨率處理，而不對所述第一視頻數(shù)據(jù)中包含的幀的分辨率進行轉(zhuǎn)換。
7.根據(jù)權(quán)利要求I的成像裝置，其中 所述第一視頻數(shù)據(jù)比所述第二視頻數(shù)據(jù)的時間分辨率高，所述第二視頻數(shù)據(jù)比所述第ー視頻數(shù)據(jù)的時間分辨率低。
8.根據(jù)權(quán)利要求7的成像裝置，其中 所述圖像產(chǎn)生單元使用所述運動補償圖像數(shù)據(jù)改善所述第二視頻數(shù)據(jù)的時間分辨率。
9.根據(jù)權(quán)利要求7的成像裝置，其中 對所述第一視頻數(shù)據(jù)進行下取樣處理。
10.根據(jù)權(quán)利要求7的成像裝置，進ー步包括 解碼單元，其使用所述圖像處理單元產(chǎn)生的圖像數(shù)據(jù)，對所述第一視頻數(shù)據(jù)進行解碼。
11.一種成像方法，包括下列步驟 成像步驟，其對景物進行抓拍并產(chǎn)生成像數(shù)據(jù)； 圖像處理步驟，其對所述成像步驟抓拍的成像數(shù)據(jù)進行規(guī)定的圖像處理并產(chǎn)生視頻數(shù)據(jù)； 壓縮步驟，其從所述圖像處理步驟產(chǎn)生的圖像數(shù)據(jù)中，對包含多個幀的第一視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第一編碼數(shù)據(jù)，同時，對具有比所述幀更高的分辨率的第二視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第二編碼數(shù)據(jù)； 存儲步驟，其存儲由所述壓縮步驟產(chǎn)生的所述第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)； 解壓步驟，其對所述存儲步驟存儲的第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)進行解壓處理并產(chǎn)生所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)； 超分辨率處理步驟，其通過使用所述解壓步驟產(chǎn)生的第一視頻數(shù)據(jù)中包含的多個幀，對該各個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像； 運動估計步驟，其檢測所述超分辨率處理步驟產(chǎn)生的超分辨率圖像之間的運動矢量；以及 圖像產(chǎn)生步驟，其基于所述解壓步驟產(chǎn)生的第二視頻數(shù)據(jù)和所述運動估計步驟檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)的幀的運動補償圖像數(shù)據(jù)。
12.—種程序，其使計算機實現(xiàn)下列功能 成像功能，其對景物進行抓拍并產(chǎn)生成像數(shù)據(jù)； 圖像處理功能，其對所述成像功能抓拍的成像數(shù)據(jù)進行規(guī)定的圖像處理并產(chǎn)生視頻數(shù)據(jù)； 壓縮功能，其從所述圖像處理功能產(chǎn)生的圖像數(shù)據(jù)中，對包含多個幀的第一視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第一編碼數(shù)據(jù)，同時，對具有比所述幀更高的分辨率的第二視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第二編碼數(shù)據(jù)； 存儲功能，其存儲由所述壓縮功能產(chǎn)生的所述第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)； 解壓功能，其對所述存儲功能存儲的第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)進行解壓處理并產(chǎn)生所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)； 超分辨率處理功能，其通過使用所述解壓功能產(chǎn)生的第一視頻數(shù)據(jù)中包含的多個幀，對該各個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像； 運動估計功能，其檢測所述超分辨率處理功能產(chǎn)生的超分辨率圖像之間的運動矢量；以及 圖像產(chǎn)生功能，其基于所述解壓功能產(chǎn)生的第二視頻數(shù)據(jù)和所述運動估計功能檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)的幀的運動補償圖像數(shù)據(jù)。
13.—種可通過計算機讀取的記錄介質(zhì),其記錄了使計算機實現(xiàn)下列功能的程序 成像功能，其對景物進行抓拍并產(chǎn)生成像數(shù)據(jù)； 圖像處理功能，其對所述成像功能抓拍的成像數(shù)據(jù)進行規(guī)定的圖像處理并產(chǎn)生視頻數(shù)據(jù)； 壓縮功能，其從所述圖像處理功能產(chǎn)生的圖像數(shù)據(jù)中，對包含多個幀的第一視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第一編碼數(shù)據(jù)，同時，對具有比所述幀更高的分辨率的第二視頻數(shù)據(jù)進行壓縮處理并產(chǎn)生第二編碼數(shù)據(jù)； 存儲功能，其存儲由所述壓縮功能產(chǎn)生的所述第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)； 解壓功能，其對所述存儲功能存儲的第一編碼數(shù)據(jù)和第二編碼數(shù)據(jù)進行解壓處理并產(chǎn)生所述第一視頻數(shù)據(jù)和第二視頻數(shù)據(jù)； 超分辨率處理功能，其通過使用所述解壓功能產(chǎn)生的第一視頻數(shù)據(jù)中包含的多個幀，對該各個幀進行超分辨率處理，以產(chǎn)生超分辨率圖像； 運動估計功能，其檢測所述超分辨率處理功能產(chǎn)生的超分辨率圖像之間的運動矢量；以及 圖像產(chǎn)生功能，其基于所述解壓功能產(chǎn)生的第二視頻數(shù)據(jù)和所述運動估計功能檢測出的運動矢量，產(chǎn)生對應(yīng)于所述第一視頻數(shù)據(jù)的幀的運動補償圖像數(shù)據(jù)。
全文摘要
提供成像裝置和方法，該成像裝置包括成像單元，圖像處理單元，壓縮單元，存儲單元，解壓單元，超分辨率處理單元，運動估計單元以及圖像產(chǎn)生單元。通過本發(fā)明，可以以所選擇的定時、與高分辨率圖像相結(jié)合地使用一系列低分辨率圖像數(shù)據(jù)產(chǎn)生更高質(zhì)量的高分辨率圖像數(shù)據(jù)。
文檔編號H04N7/01GK102685388SQ201210093229
公開日2012年9月19日 申請日期2008年6月18日 優(yōu)先權(quán)日2007年6月18日
發(fā)明者中神央二, 田中潤一, 矢崎陽一 申請人:索尼株式會社