專利名稱：學(xué)習(xí)裝置和方法、圖像處理裝置和方法、程序和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及學(xué)習(xí)裝置和方法、圖像處理裝置和方法、程序、以及記錄介質(zhì)，尤其涉及能夠高速進(jìn)行高精度分辨率插值的學(xué)習(xí)裝置和方法、圖像處理裝置和方法、程序、以及記錄介質(zhì)。
背景技術(shù)：
過去，高質(zhì)量圖像處理已經(jīng)投入實際使用。例如，當(dāng)輸入信號的分辨率不滿足屏幕的分辨率，已知用作用于補償分辨率的分辨率插值技術(shù)的超分辨率技術(shù)。如果使用超分辨率技術(shù)，當(dāng)使用全高清(full-HD)寬屏電視觀看具有標(biāo)準(zhǔn)分辨率的視頻軟件時，可以對不足的像素進(jìn)行插入(interpose)并且能夠享受到更真實的視頻。
·
現(xiàn)有技術(shù)的超分辨率技術(shù)通過反復(fù)的運算根據(jù)低分辨率圖像來估計高分辨率圖像的像素，并通常執(zhí)行以下的處理。首先，預(yù)先估計相機模型(劣化模型)和相機運動(對準(zhǔn))。另外，通過反復(fù)運算逐漸校正高分辨率圖像，從而使得通過估計模型根據(jù)高分辨率圖像獲得的估計的低分辨率圖像與實際觀測的低分辨率圖像的誤差(差分)減小，以使所述高分辨率圖像變得與理想圖像近似。例如，在相機模型(劣化模型)中，考慮模糊(光模糊、移動模糊和PSF)、像素數(shù)目變換(下變換(down conversion)和逐行-隔行變換)、以及噪聲。在對準(zhǔn)中，使用具有子像素精度的對相機運動或物體運動的估計。當(dāng)確切知道相機模型和對準(zhǔn)時，能夠恢復(fù)沒有混疊(aliasing)的高分辨率圖像。另外，提出了這樣的技術(shù)(例如，參考日本專利申請公開No2008-140012)，其中將通過超分辨率處理器計算的反饋值加上存儲在緩沖器中的高分辨率圖像，將通過第一次加法處理獲得的高分辨率圖像加上通過以下的超分辨率處理器獲得的反饋值，并且通過利用Gauss-Seidel法的超分辨率處理來生成高分辨率圖像。

發(fā)明內(nèi)容
然而，在現(xiàn)有技術(shù)中，未能完全指定相機模型或?qū)?zhǔn)，并且未能利用均一的模型來描述屏幕的內(nèi)部。如果在相機模型或?qū)?zhǔn)中產(chǎn)生估計誤差，并且未能進(jìn)行適當(dāng)?shù)母叻直媛蕡D像校正，貝1J會產(chǎn)生不良影響，諸如邊緣或細(xì)節(jié)部分的過分加強、過調(diào)節(jié)(overshoot)、以及對噪聲的加強，并且這導(dǎo)致圖像質(zhì)量的劣化?？紤]了用于根據(jù)圖像的預(yù)先(advance)信息而防止圖像質(zhì)量的劣化或加強噪聲的技術(shù)以防止不良影響(稱為重構(gòu)建型(reconstruction-type)超分辨率MAP法)。然而，該技術(shù)不足以防止不良影響，因為性能很大程度上依賴于圖像的預(yù)先信息，并且難以對混疊性能、分辨率感、抑制過調(diào)節(jié)、以及抑制噪聲全部滿足。在現(xiàn)有技術(shù)中，因為由反復(fù)運算造成的處理負(fù)荷較大，所以難以實現(xiàn)高速處理?？紤]上述情況而完成本發(fā)明，并且本發(fā)明使得能夠以高速進(jìn)行高精度的分辨率插值。根據(jù)本發(fā)明的實施例，提供了一種圖像處理裝置，其包括基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及預(yù)測運算單元，該預(yù)測運算單元基于預(yù)先存儲的參數(shù)、作為輸入的低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。預(yù)測運算單元可以讀取通過預(yù)先學(xué)習(xí)生成的存儲在學(xué)習(xí)數(shù)據(jù)庫中的所述參數(shù)，并 進(jìn)行所述預(yù)測運算。基于模型的處理單元可以包括運動補償單元，該運動補償單元對前一幀輸出的高分辨率圖像的運動進(jìn)行補償；下采樣器，該下采樣器根據(jù)所述相機模型限制前一幀輸出的運動補償后的高分辨率圖像的帶域、間隔剔除像素，而生成估計的低分辨率圖像；差分計算單元，該差分計算單元計算作為輸入的低分辨率圖像的觀測的低分辨率圖像與估計的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及上采樣器，該上采樣器對差分圖像數(shù)據(jù)的像素進(jìn)行插值，從而生成高分辨率圖像?；谀Ｐ偷奶幚韱卧梢园：砑訂卧?，該模糊添加單元對前一幀輸出的高分辨率圖像添加模糊；以及模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。還可以包括類型分類單元，該類型分類單元基于在基于模型的處理過程中計算的特征量對每種類型的關(guān)注像素進(jìn)行分類。預(yù)測運算單元還可以進(jìn)行使用預(yù)先存儲的系數(shù)作為與分類的類型相對應(yīng)的參數(shù)的預(yù)定運算，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。還可以包括抽頭(tap)提取單元，該抽頭提取單元提取作為輸入的低分辨率圖像的觀測的低分辨率圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭。預(yù)測運算單元可以基于預(yù)先存儲的參數(shù)進(jìn)行關(guān)于抽頭的預(yù)定運算，并對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。根據(jù)本發(fā)明的實施例，提供了一種圖像處理方法，其包括由基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一巾貞輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及由預(yù)測運算模型基于預(yù)先存儲的參數(shù)、作為輸入的低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。根據(jù)本發(fā)明的實施例，提供了一種用于使得計算機用作圖像處理裝置的程序。該圖像處理裝置包括基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一巾貞輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及預(yù)測運算單元，該預(yù)測運算單元基于預(yù)先存儲的參數(shù)、作為輸入的低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。根據(jù)本發(fā)明的實施例，提供了一種記錄介質(zhì)，其中記錄根據(jù)權(quán)利要求8的程序。根據(jù)本發(fā)明的另一個實施例，提供了一種學(xué)習(xí)裝置，其包括基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；抽頭提取單元，該抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的老師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及老師圖像的像素值的公式作為樣本；以及參數(shù)計算單元，該參數(shù)計算單元基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。還可以包括數(shù)據(jù)庫，該數(shù)據(jù)庫存儲所計算的參數(shù)?？梢栽趫D像處理裝置的圖像處理中使用數(shù)據(jù)庫，該圖像處理用于將輸入的低分辨率圖像轉(zhuǎn)換為高分辨率圖像?；谀Ｐ偷奶幚韱卧梢园ㄟ\動補償單元，該運動補償單元對前一幀輸出的高分辨率圖像的運動進(jìn)行補償；下采樣器，該下采樣器根據(jù)相機模型限制前一幀輸出的運動補償后的高分辨率圖像的帶域、間隔剔除像素，而生成估計的低分辨率圖像；差分計算單元，該差分計算單元計算學(xué)生圖像與估計的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及上采樣器，該上采樣器對差分圖像數(shù)據(jù)的像素進(jìn)行插值，而生成高分辨率圖像。·基于模型的處理單元可以包括模糊添加單元，該模糊添加單元對前一幀輸出的高分辨率圖像添加模糊；以及模糊去除單元，該模糊去除單元去除由模糊添加單元添加的模糊。還可以包括類型分類單元，該類型分類單元基于在基于模型的處理過程中所計算的特征量將關(guān)注像素分類為各個類型。參數(shù)計算單元可以計算對要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算時與所述抽頭相乘的系數(shù)，作為對應(yīng)于分類的類型的參數(shù)。根據(jù)本發(fā)明的另一個實施例，提供了一種學(xué)習(xí)方法，其包括通過基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；通過抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的老師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；通過樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及老師圖像的像素值的公式作為樣本；以及通過參數(shù)計算單元基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。根據(jù)本發(fā)明的實施例，提供了一種用于使得計算機用作學(xué)習(xí)裝置的程序。該學(xué)習(xí)裝置包括基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；抽頭提取單元，該抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的老師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及老師圖像的像素值的公式作為樣本；以及參數(shù)計算單元，該參數(shù)計算單元基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。根據(jù)本發(fā)明的實施例，執(zhí)行基于模型的處理，該基于模型的處理對于前一巾貞輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；提取通過轉(zhuǎn)換具有高分辨率的老師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；積蓄包括抽頭、預(yù)定參數(shù)以及老師圖像的像素值的公式作為樣本；以及基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。根據(jù)上述本發(fā)明的實施例，能夠以高速進(jìn)行高精度分辨率插值。


圖I為說明通過使用一幀的屏幕內(nèi)的像素的現(xiàn)有的上轉(zhuǎn)換(up conversion)技術(shù)獲得的圖像實例的示圖；圖2為說明SDi信號的像素和HDp信號的像素的位置的示圖；·圖3為說明通過使用過去生成的多個圖像的像素的現(xiàn)有的超分辨率技術(shù)獲得的圖像的實例的示圖；圖4為說明SDi信號的像素和HDp信號的像素的位置的示圖；圖5A至5C為說明通過使用一幀的屏幕內(nèi)的像素時和使用過去生成的多個圖像的像素時的超分辨率技術(shù)獲得的圖像的實例的示圖；圖6A至6C為說明與圖5A至5C的實例不同的圖像的實例的示圖；圖7為說明現(xiàn)有的超分辨率技術(shù)的概念圖；圖8為說明采用現(xiàn)有的超分辨率技術(shù)的圖像處理裝置的構(gòu)造實例的框圖；圖9為說明由現(xiàn)有的圖像處理裝置執(zhí)行的處理被簡化的情況的示圖；圖10說明由應(yīng)用本發(fā)明的圖像處理裝置的執(zhí)行的處理被簡化的情況的示圖；圖11為說明在本發(fā)明中系數(shù)的學(xué)習(xí)的概念圖；圖12為說明在本發(fā)明中高分辨率圖像的生成的概念圖；圖13為說明根據(jù)本發(fā)明實施例的學(xué)習(xí)裝置的構(gòu)造實例的框圖；圖14為說明根據(jù)本發(fā)明實施例的圖像處理裝置的構(gòu)造實例的框圖；圖15為說明系數(shù)學(xué)習(xí)處理的實例的流程圖；圖16為說明基于模型的處理的實例的流程圖；圖17為說明樣本積蓄處理的實例的流程圖；圖18為說明超分辨率處理的實例的流程圖；圖19為說明預(yù)測處理的實例的流程圖；以及圖20為說明個人計算機的構(gòu)造實例的框圖。
具體實施例方式下面將參考附圖詳細(xì)說明本發(fā)明的優(yōu)選實施例。應(yīng)注意，在該說明書和附圖中，以相同的附圖標(biāo)記表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明。首先，將對現(xiàn)有技術(shù)的超分辨率技術(shù)進(jìn)行說明。圖I示出圖像的實例，在所述圖像上使用現(xiàn)有的上轉(zhuǎn)換技術(shù)執(zhí)行高質(zhì)量圖像處理。在該實例中，將標(biāo)準(zhǔn)清晰度(SD)隔行(i )信號的圖像轉(zhuǎn)換為高清晰度(HD)逐行(p )信號的圖像。圖I所示的圖像是運動圖片。在該實例中，顯示了在時刻t至t+4的各個幀的圖像。在該實例中，基于在一幀的屏幕內(nèi)的像素執(zhí)行高質(zhì)量圖像處理。例如，基于多個SDi信號的像素生成一個HDp信號的像素。即，示出了對圖像進(jìn)行上轉(zhuǎn)換的情況的實例。在圖I中，在最上面的部分示出了要最初生成的作為理想圖像的HDp信號的圖像。在圖I中，從上往下順序排列和顯示時刻t至t+4的各個幀的圖像，這些圖像是通過對SDi信號執(zhí)行高質(zhì)量圖像處理獲得的圖像。在圖2中，縱軸示出垂直方向的像素位置，橫軸示出時刻，并且由圓形圖形示出SDi信號的像素和通過利用超分辨率技術(shù)執(zhí)行高質(zhì)量圖像處理生成的(插值的)HDp信號的像素。SDi信號的像素由較大的細(xì)線條(hatched)的圓形示出，并且HDp信號的像素由較小的黑色圓形示出。由于執(zhí)行高質(zhì)量圖像處理的圖像是具有運動的圖像，所以在圖I中以X標(biāo)記示出 的像素在垂直方向移動。也就是說，圖2中以圓圈圍繞的黑色圓形對應(yīng)于圖I中以X標(biāo)記示出的像素。如上所述，由于基于一幀的屏幕內(nèi)的像素執(zhí)行高質(zhì)量圖像處理，所以由位于遠(yuǎn)離SDi信號的像素的位置的位置處的HDp信號的像素構(gòu)成的圖像的像素的插值精度通常變得較低。例如，如圖2所示，在時刻t+2的幀中的以圓圈圍繞的HDp信號的像素遠(yuǎn)離SDi信號的像素的位置。因此，在圖I的時刻t+2的幀的圖像中，以X標(biāo)記示出的位置附近的圖像的像素的插值精度較低。同時，當(dāng)利用之前存在(過去)的多個時刻的幀的圖像的像素執(zhí)行高質(zhì)量圖像處理時，能夠提高由位于遠(yuǎn)離SDi信號的像素的位置的位置處的HDp信號的像素構(gòu)成的圖像的像素的插值精度。圖3示出利用現(xiàn)有的超分辨率技術(shù)執(zhí)行高質(zhì)量圖像處理的圖像的實例。在該實例中，示出將SDi信號的圖像轉(zhuǎn)換為HDp信號的圖像的情況。圖3所示的圖像是運動圖片。在該實例中，顯示時刻t至t+4的時刻的各個幀的圖像。在該實例中，基于在過去生成的多個圖像的像素執(zhí)行高質(zhì)量圖像處理。例如，基于多個SDi信號的像素生成I個HDp信號的像素。在圖3中，在最上面的部分示出了要最初生成的作為理想圖像的HDp信號的圖像。在圖3中，從上往下順序排列和顯示時刻t至t+4的各個幀的圖像，這些圖像是通過對SDi信號執(zhí)行使用現(xiàn)有的超分辨率技術(shù)的高質(zhì)量圖像處理獲得的圖像。在圖4中，縱軸示出垂直方向的像素位置，橫軸示出時刻，并且由圓圈圖形示出SDi信號的像素和通過利用超分辨率技術(shù)執(zhí)行高質(zhì)量圖像處理生成的(插值的)HDp信號的像素。SDi信號的像素由較大的細(xì)線條(hatched)的圓形示出，并且HDp信號的像素由較小的黑色圓形示出。與圖I的情況不同，在圖3所示的圖像的情況下，隨著時刻經(jīng)過清楚地顯示圖像。例如，在時刻t+4處示出的圖像中，與圖I的情況不同，遠(yuǎn)離SDi信號的像素的位置的位置處的像素被清楚地顯示，而諸如圖像的邊緣的細(xì)節(jié)部分也被清楚地顯示。圖5A至6C示出通過利用一幀的屏幕內(nèi)的像素的超分辨率技術(shù)獲得的圖像和通過利用在過去生成的多個圖像的像素的超分辨率技術(shù)獲得的圖像的另一個實例。
圖5C和6C分別示出與實際被攝體的圖像近似的理想圖像。在圖5C的情況下，顯示包括多個邊緣的圖像，并且在圖6C的情況下，顯示包括多個字符的圖像。圖5A示出通過基于一幀的屏幕內(nèi)的像素執(zhí)行高質(zhì)量圖像處理獲得的圖像的實例，并且圖5B示出通過利用在過去生成的多個圖像的像素執(zhí)行高質(zhì)量圖像處理獲得的圖像的實例。例如，在圖5A的情況下，在成為屏幕內(nèi)的邊緣的圖像的附近發(fā)生混疊畸變 (aliasing distortion)。同時,在圖5B的情況下,獲得更近似于理想圖像(參考圖5C)的圖像。在圖5B的情況下，使用多個圖像的像素，圖像質(zhì)量能夠接近理想圖像的質(zhì)量。圖6A示出通過基于一幀的屏幕內(nèi)的像素執(zhí)行的高質(zhì)量圖像處理獲得圖像的實例，并且圖6B示出通過利用在過去生成的多個圖像的像素執(zhí)行的高質(zhì)量圖像處理獲得的圖像的實例。例如，在圖6A的情況下，屏幕內(nèi)的字符的圖像未被清楚地顯示。同時，在圖6B的情況下，獲得與理想圖像(參考圖6C)更近似的圖像。在圖6B的情況下，利用將在下文說明的反復(fù)運算(repeated operation),圖像質(zhì)量能夠接近理想圖像的質(zhì)量。從而，在圖5A至6C的情況下，通過利用在過去生成的多個圖像的像素執(zhí)行高質(zhì)量圖像處理，能夠獲得與理想圖像近似的圖像。圖7和8不出現(xiàn)有的超分辨率技術(shù)。在這些實例中，聞質(zhì)量圖像處理將低分辨率圖像轉(zhuǎn)換為高分辨率圖像、并且通過利用在過去生成的多個圖像的像素而執(zhí)行。在現(xiàn)有的超分辨率技術(shù)中，如圖7所示，通過相機對被攝體拍照，并且獲得觀測的低分辨率圖像(例如，SDi信號的圖像)。同時，在通過相機拍攝被攝體時的相機模型(劣化模型)和相機運動(對準(zhǔn))被添加到前一幀的高分辨率圖像(例如，HDp信號的圖像)。例如，對前一幀的高分辨率圖像有意添加模糊并且對運動進(jìn)行補償。之后，將圖像下采樣，并且將圖像轉(zhuǎn)換為低分辨率圖像。從而，獲得估計的低分辨率圖像(例如SDi信號的圖像)。計算估計的低分辨率圖像的每個像素與觀測的低分辨率圖像的每個像素的差分(誤差)并更新高分辨率圖像以減少誤差。通過對于一幀若干次地反復(fù)上述處理而更新高分辨率圖像。高分辨率圖像的質(zhì)量逐漸接近理想圖像的質(zhì)量。從而，可以將用于反復(fù)更新高分辨率圖像的像素值的處理稱為反復(fù)運算。例如，當(dāng)將反復(fù)運算進(jìn)行三次時，相比于將反復(fù)運算進(jìn)行兩次，圖像的質(zhì)量能夠進(jìn)一步接近理想圖像。從而，如果通過反復(fù)運算更新通過最近的運算處理更新的高分辨率圖像的像素，高分辨率圖像的質(zhì)量逐漸接近理想圖像的質(zhì)量。圖8是示出采用現(xiàn)有的超分辨率技術(shù)的圖像處理裝置的構(gòu)造實例的框圖。圖8所示的圖像處理裝置10包括運動補償單元(MC) 21、模糊添加單元(模糊)22、下采樣器23、力口法器24、上采樣器25、模糊去除單元(逆模糊(InvBlur)) 26、乘法器27以及加法器28。運動補償單元21接收在最近之前的更新的高分辨率圖像，計算運動矢量，并對運動進(jìn)行補償。從運動補償單元21輸出的圖像被稱為運動補償后的最近之前的更新的高分辨率圖像。該運動補償后的最近之前的更新的高分辨率圖像被提供給模糊添加單元22。模糊添加單元22對運動補償后的最近之前的更新的高分辨率圖像添加由相機拍攝被攝體時產(chǎn)生的模糊。也就是說，估計(模擬)相機的PSF或光模糊并生成圖像。在該情況下，將基于預(yù)定圖像估計(模擬)相機的PSF或光模糊并生成圖像稱為添加模糊。添加了模糊的運動補償后的最近之前的更新的高分辨率圖像被提供給下采樣器23。下采樣器23間隔剔除(thin out)添加了模糊的運動補償后的最近之前的更新的高分辨率圖像的像素并生成低分辨率圖像。從而，生成估計的低分辨率圖像。加法器24計算估計的低分辨率圖像的每個像素與觀測的低分辨率圖像的每個像素的差分(誤差)。該計算結(jié)果被提供給上采樣器25。上采樣器25對于加法器24的計算結(jié)果的數(shù)據(jù)對像素進(jìn)行插值以生成高分辨率圖像，并將高分辨率圖像提供給模糊去除單元(逆模糊(InvBlur)) 26。模糊去除單元26去除提供的高分辨率圖像的模糊。即，執(zhí)行用于去除由模糊添加單元22添加的模糊的處理。模糊添加單元22和模糊去除單元26可以不設(shè)置?！こ朔ㄆ?7將從模糊去除單元26輸出的高分辨率圖像的每個像素的像素值與預(yù)定增益相乘并將相乘的結(jié)果輸出給加法器28。加法器28將運動補償后的最近之前的更新的高分辨率圖像的每個像素與乘法器27的計算結(jié)果相加，并將相加的結(jié)果輸出作為高分辨率圖像。S卩，如果如圖9所示簡單地說明現(xiàn)有技術(shù)的圖像處理裝置10，現(xiàn)有技術(shù)的圖像處理裝置10以模型基礎(chǔ)轉(zhuǎn)換低分辨率圖像和反饋的高分辨率圖像，并生成高分辨率圖像。即，運動補償或模糊添加或去除可以考慮基于作為相機模型提供的圖像轉(zhuǎn)換模型和作為對準(zhǔn)提供的圖像轉(zhuǎn)換模型的處理，并且該圖像轉(zhuǎn)換被稱為基于模型的處理。對于在上述實例中的反饋，最近之前的高分辨率圖像被反饋。另外，最近之前的更新的高分辨率圖像被反饋并更新。通過對于一幀若干次地反復(fù)反饋而更新高分辨率的圖像。圖9中的模型基礎(chǔ)示出處理的概念，并且對應(yīng)于圖8的運動補償單元21、模糊添加單元22和下采樣器23的處理、以及它們的逆轉(zhuǎn)換處理。然而，相機模型或?qū)?zhǔn)無法被完全指定，并且屏幕的內(nèi)部無法以均一的模型描述。即，難以適當(dāng)?shù)貥?gòu)建圖9所示的模型基礎(chǔ)。如果相機模型或者對準(zhǔn)發(fā)生估計誤差，并且無法進(jìn)行適當(dāng)?shù)母叻直媛蕡D像校正，將產(chǎn)生不良影響，諸如對邊緣或細(xì)節(jié)部分的過分加強、過調(diào)節(jié)以及對噪聲的加強，這導(dǎo)致圖像質(zhì)量的劣化?？紤]了用于根據(jù)圖像的預(yù)先信息防止對圖像質(zhì)量的劣化或?qū)υ肼暤募訌姷募夹g(shù)，以防止不良影響(稱為重構(gòu)建型超分辨率MAP法)。然而，該技術(shù)不足以防止不良影響，因為性能很大程度上依賴于圖像的預(yù)先信息，而難以對混疊性能、分辨率感、抑制過調(diào)節(jié)、以及抑制噪聲全部滿足。在現(xiàn)有技術(shù)中，如上所述，通過對于一幀反復(fù)若干次的反復(fù)運算的處理負(fù)荷較大，從而難以實現(xiàn)高速處理。從而，在本發(fā)明中，如圖10所示，對基于模型的處理添加使用學(xué)習(xí)數(shù)據(jù)庫的處理。即，將高分辨率圖像設(shè)置為教師圖像(teacher image)，并將通過劣化教師圖像而生成的低分辨率圖像設(shè)置為學(xué)生圖像(student image)，將高分辨率圖像和低分辨率圖像輸入圖像處理裝置，并且根據(jù)學(xué)生圖像生成高分辨率圖像。將生成的高分辨率圖像和教師圖像相互比較，計算(學(xué)習(xí))用于估計高分辨率圖像的像素值的參數(shù)，并將該參數(shù)存儲在學(xué)習(xí)數(shù)據(jù)庫中。
例如，如圖11所示，將作為學(xué)生圖像輸入的低分辨率圖像(例如，SDi信號的圖像)作為觀測的低分辨率圖像來處理。同時，將由相機拍攝被攝體時的相機模型(劣化模型)和相機運動(對準(zhǔn))添加到前一幀的高分辨率圖像(例如，HDp信號的圖像)。例如，有意地將模糊添加到前一幀的高分辨率圖像，并在對運動進(jìn)行補償。從而，獲得估計的低分辨率圖像(例如，SDi信號的圖像)。在該情況下，將基于預(yù)定圖像估計(模擬)相機的PSF或光模糊并生成圖像稱為添加模糊。計算估計的低分辨率圖像的每個像素與觀測的低分辨率圖像的每個像素的差分(誤差)，并通過學(xué)習(xí)用于生成高分辨率圖像所需的信息而更新高分辨率圖像。在該情況下，基于觀測的低分辨率圖像的像素和運動補償后的前一幀的高分辨率圖像的像素來學(xué)習(xí)用于估計高分辨率圖像的像素的預(yù)定系數(shù)。例如，將教師圖像的像素值設(shè)置為yt，將學(xué)生圖像的像素值設(shè)置為xi，將運動補償后的前一幀的高分辨率圖像的像素值設(shè)置為xj，并且假設(shè)通過公式I表示的線性公式?！?br> NI
yt=IwiXi + IwjXjjj
(I)在該情況下，公式I中的系數(shù)Wi示出與觀測的低分辨率圖像的像素值相乘的系數(shù)，并且系數(shù)Wj示出與運動補償后的前一幀的高分辨率圖像的像素值相乘的系數(shù)。在公式I中，N示出用于計算教師圖像的像素值的學(xué)生圖像的像素數(shù)目，并且M示出用于計算教師圖像的像素數(shù)目的運動補償后的前一幀的高分辨率圖像的像素數(shù)目。例如，使用學(xué)生圖像的像素值與估計的低分辨率圖像的像素值的差分作為特征量將關(guān)注像素分類為各個類型。在該情況下，關(guān)注像素成為要在高分辨率圖像中獲得的像素。從而，根據(jù)在對于學(xué)生圖像的像素值與估計的低分辨率圖像的像素值的差分的數(shù)據(jù)進(jìn)行通過上采樣器的像素插值之后，通過模糊去除單元去除模糊的數(shù)據(jù)的像素值來獲得對應(yīng)于實際關(guān)注像素值的特征量?？梢允褂闷渌椒▽㈥P(guān)注像素分類為各個類型。例如，可以使用自適應(yīng)動態(tài)范圍編碼(ADRC)將關(guān)注像素分類為各個類型。如上所述，在將關(guān)注像素分類為各個類型之后，對每個類型積蓄公式I的多個樣本。另外，使用最小二乘法對每個類型計算系數(shù)Wi和wj。如上所述所計算的系數(shù)Wi和Wj被存儲在學(xué)習(xí)數(shù)據(jù)庫中。當(dāng)對于實際輸入的圖像執(zhí)行高質(zhì)量圖像處理時，使用被存儲在學(xué)習(xí)數(shù)據(jù)庫中的系數(shù)wi和w j。S卩，如圖12所示，執(zhí)行下面的處理以將觀測的低分辨率圖像轉(zhuǎn)換為高分辨率圖像。由相機拍攝被攝體，并且獲得低分辨率圖像(例如，SDi信號的圖像)。同時，將在由相機拍攝被攝體時的相機模型(劣化模型)和相機運動(對準(zhǔn))添加到前一幀的高分辨率圖像(例如，HDp信號的圖像)。例如，有意地將模糊添加到前一幀的高分辨率圖像，并且對運動進(jìn)行補償。之后對圖像進(jìn)行下采樣，并且將圖像轉(zhuǎn)換為低分辨率圖像。從而，獲得估計的低分辨率圖像(例如，SDi信號的圖像)。在該情況下，將基于預(yù)定圖像估計(模擬)相機的PSF或光模糊并生成圖像稱為添加模糊。
將關(guān)注像素分類為各個類型，并使用對應(yīng)于分類的類型的系數(shù)預(yù)測(運算)高分辨率圖像的像素值。在該情況下，與在進(jìn)行學(xué)習(xí)時類似，使用學(xué)生圖像的像素值和估計的低分辨率圖像的像素值的差分作為特征量而將關(guān)注像素分類為各個類型。讀取與分類的類型相關(guān)聯(lián)并被存儲在學(xué)習(xí)數(shù)據(jù)庫中的系數(shù)Wi和Wj。例如，將要預(yù)測的高分辨率圖像的像素值設(shè)置為y，將觀測的低分辨率圖像的像素
值設(shè)置為xi，將運動補償后的前一幀的高分辨率圖像的像素值設(shè)置為xj，并且通過公式2
的運算預(yù)測(運算)高分辨率圖像的像素值。。
NI
y— > Hf - Y ， -4- > UU * V ·^ / W|A| ~ / W IA Ij j
(2)在該情況下，公式2中的系數(shù)wi示出與觀測的低分辨率圖像的像素值相乘的系數(shù)，并且系數(shù)wj示出與運動補償后的前一幀的高分辨率圖像的像素值相乘的系數(shù)，并且根據(jù)關(guān)注像素的類型從學(xué)習(xí)數(shù)據(jù)庫讀取系數(shù)。在公式2中，N示出用于計算高分辨率圖像的像素值的觀測的低分辨率圖像的像素數(shù)目，并且M示出用于計算高分辨率圖像的像素值的運動補償后的前一幀的高分辨率圖像的像素數(shù)目，并且各個像素數(shù)目等于在進(jìn)行學(xué)習(xí)時的像素數(shù)目。通過以由公式2運算的像素值替換高分辨率圖像的每個像素值而更新高分辨率圖像。根據(jù)本發(fā)明，與上述參考圖7的現(xiàn)有的超分辨率技術(shù)的情況不同，將公式2的運算對于一幀進(jìn)行一次，生成與理想圖像近似的高分辨率圖像的像素。從而，解除了通過反復(fù)運算導(dǎo)致的處理負(fù)荷，并容易地實現(xiàn)了高速處理。根據(jù)本發(fā)明，預(yù)先學(xué)習(xí)并存儲在公式2的運算中使用的系數(shù)。從而，即使在相機模型或?qū)?zhǔn)中產(chǎn)生估計誤差，仍能夠抑制產(chǎn)生不良影響，諸如對邊緣或細(xì)節(jié)部分的過分加強、過調(diào)節(jié)、以及對噪聲的加強。這是因為，即使在相機模型或?qū)?zhǔn)中產(chǎn)生估計誤差，也能夠從包括該估計誤差的狀態(tài)學(xué)習(xí)用于生成與理想圖像近似的圖像的系數(shù)。從而，根據(jù)本發(fā)明，因為不需要完美地調(diào)節(jié)相機模型或?qū)?zhǔn)，從而能夠在不復(fù)雜化裝置的結(jié)構(gòu)的情況下提高處理精度。圖13為示出根據(jù)本發(fā)明實施例的學(xué)習(xí)裝置的構(gòu)造實例的框圖。在學(xué)習(xí)裝置100中，輸入高分辨率圖像作為教師圖像，并輸入通過劣化教師圖像而生成的低分辨率圖像作為學(xué)生圖像，并且根據(jù)學(xué)生圖像生成高分辨率圖像。將生成的高分辨率圖像與教師圖像相互比較，并計算(學(xué)習(xí))用于估計高分辨率圖像的像素值的參數(shù)，并將該參數(shù)存儲在學(xué)習(xí)數(shù)據(jù)庫中。圖13所示的學(xué)習(xí)裝置100包括基于模型的處理單元111、學(xué)習(xí)處理單元112、學(xué)習(xí)數(shù)據(jù)庫113、加法器124、上采樣器125以及模糊去除單元(逆模糊(InvBlur))126?；谀Ｐ偷奶幚韱卧?11包括運動補償單元(MC)121、模糊添加單元(模糊)122以及下采樣器123。S卩，學(xué)習(xí)裝置100學(xué)習(xí)用于執(zhí)行現(xiàn)有的超分辨率技術(shù)中的基于模型的處理、并生成高分辨率圖像的預(yù)定系數(shù)。在圖13中，運動補償單元121接收前一幀的高分辨率圖像，計算運動矢量，并對運動進(jìn)行補償。運動補償后的前一幀的高分辨率圖像被提供給模糊添加單元122。
模糊添加單元122將由相機拍攝被攝體時產(chǎn)生的模糊添加到運動補償后的前一幀的高分辨率圖像。添加有模糊的運動補償后的前一幀的高分辨率圖像被提供給下采樣器123。下采樣器123間隔剔除添加有模糊的運動補償后的前一幀的高分辨率圖像的像素并生成低分辨率圖像。從而，生成估計的低分辨率圖像。加法器124計算估計的低分辨率圖像的每個像素與觀測的低分辨率圖像的每個像素的差分(誤差)。計算結(jié)果的數(shù)據(jù)被提供給上采樣器125。上采樣器125對于加法器124的計算結(jié)果對像素進(jìn)行插值以生成高分辨率圖像，并將高分辨率圖像提供給模糊去除單元(逆模糊(InvBlur)) 126。

模糊去除單元126去除提供的高分辨率圖像的模糊。即，執(zhí)行用于去除由模糊添加單元122添加的模糊的處理?？梢圆惶峁┠：砑訂卧?22和模糊去除單元126。學(xué)生圖像、教師圖像以及從模糊去除單元126輸出的數(shù)據(jù)被提供給學(xué)習(xí)處理單元112。學(xué)習(xí)處理單元112如下學(xué)習(xí)系數(shù)，該系數(shù)用于基于學(xué)生圖像的像素和運動補償后的前一幀的高分辨率圖像的像素估計高分辨率圖像的像素。例如，學(xué)習(xí)處理單元112如上所述將關(guān)注像素分類為各個類型，并對每個類型積蓄公式I的多個樣本。另外，使用最小二乘法對每個類型計算系數(shù)wi和wj。如上所述地所計算的系數(shù)wi和Wj被針對每個類型存儲在學(xué)習(xí)數(shù)據(jù)庫113中作為通過學(xué)習(xí)處理單元112的處理結(jié)果。圖14是示出根據(jù)本發(fā)明實施例的圖像處理裝置的構(gòu)造實例的框圖。圖像處理裝置200對應(yīng)于圖13的學(xué)習(xí)裝置100。圖像處理裝置200利用通過學(xué)習(xí)裝置100獲得的學(xué)習(xí)結(jié)果將低分辨率輸入圖像轉(zhuǎn)換為高分辨率輸出圖像。圖14所示的圖像處理裝置200包括基于模型的處理單元211、預(yù)測處理單元212、學(xué)習(xí)數(shù)據(jù)庫213、加法器224、上采樣器225以及模糊去除單元(逆模糊(InvBlur)) 226?；谀Ｐ偷奶幚韱卧?11包括運動補償單元(MC) 221、模糊添加單元(模糊)222以及下采樣器 223。S卩，圖像處理裝置200除了執(zhí)行現(xiàn)有的超分辨率技術(shù)中的基于模型的處理，還執(zhí)行利用學(xué)習(xí)數(shù)據(jù)庫的預(yù)測處理。通過復(fù)制存儲在學(xué)習(xí)數(shù)據(jù)庫113中的信息來生成圖像處理裝置200中的學(xué)習(xí)數(shù)據(jù)庫213。在圖14中，運動補償單元221接收前一幀的高分辨率圖像、計算運動矢量，并對運動進(jìn)行補償。運動補償后的前一幀的高分辨率圖像被提供給模糊添加單元222。模糊添加單元222將由相機拍攝被攝體時產(chǎn)生的模糊添加到運動補償后的前一幀的高分辨率圖像。添加有模糊的運動補償后的前一幀的高分辨率圖像被提供給下采樣器223。下采樣器123間隔剔除添加有模糊的運動補償后的前一幀的高分辨率圖像的像素并生成低分辨率圖像。從而，生成估計的低分辨率圖像。加法器224計算估計的低分辨率圖像的每個像素與觀測的低分辨率圖像的每個像素的差分(誤差)。計算結(jié)果被提供給上采樣器225。上采樣器225對于加法器224的計算結(jié)果將像素插值以生成高分辨率圖像，并將高分辨率圖像提供給模糊去除單元(逆模糊(InvBlur)) 226.模糊去除單元226去除提供的高分辨率圖像的模糊。即，執(zhí)行用于去除由模糊添加單元222添加的模糊的處理。作為輸入圖像的低分辨率圖像、運動補償后的前一幀的高分辨率圖像以及從模糊去除單元226輸出的數(shù)據(jù)被提供給預(yù)測處理單元212。預(yù)測處理單元212將關(guān)注像素分類為各個類型，并從學(xué)習(xí)數(shù)據(jù)庫213讀取對應(yīng)于所述類型的系數(shù)wi和系數(shù)wj。另外，預(yù)測處理單元212利用讀取的系數(shù)wi和wj進(jìn)行公式2的運算，并預(yù)測高分辨率圖像的像素值。通過以由公式2運算的像素值替換高分辨率圖像的每個像素值而更新高分辨率圖像。下面將參考圖15的流程圖說明由圖13的學(xué)習(xí)裝置100執(zhí)行的系數(shù)學(xué)習(xí)處理的實例?！ぴ诓襟ES21，由用戶輸入教師圖像和學(xué)生圖像。在步驟S22，設(shè)置關(guān)注像素。關(guān)注像素成為作為像素值的運算對象的高分辨率圖像的像素。在步驟S23，基于模型的處理單元111執(zhí)行下面參考圖16說明的基于模型的處理。下面將參考圖16的流程圖說明圖15的步驟S23的基于模型的處理的具體實例。在步驟S41，運動補償單元121接收前一幀的高分辨率圖像，計算運動矢量，并對運動進(jìn)行補償。在步驟S42，模糊添加單元122對運動補償后的前一幀的高分辨率圖像添加由相機拍攝被攝體時產(chǎn)生的模糊。在該情況下，將基于預(yù)定圖像估計(模擬)相機的PSF或光模糊并生成圖像稱為添加模糊。在步驟S43中，下采樣器123間隔剔除(下采樣)添加有模糊的運動補償后的前一幀的高分辨率圖像的像素并生成低分辨率圖像。從而，生成估計的低分辨率圖像。在步驟S44，加法器124計算估計的低分辨率圖像的每個像素與觀測的低分辨率圖像(在該情況下，為學(xué)生圖像)的每個像素的差分(誤差)。在步驟S45，上采樣器125對于加法器124在步驟S44中的計算結(jié)果將像素插值(上采樣)以生成高分辨率圖像。在步驟S46，模糊去除單元126去除提供的高分辨率圖像的模糊。即，執(zhí)行用于去除由模糊添加單元22在步驟S42的處理中添加的模糊的處理。以這樣的方式，執(zhí)行基于模型的處理。返回到圖15，在步驟S23的處理之后，在步驟S24中，學(xué)習(xí)處理單元112執(zhí)行下面將參考圖17說明的樣本積蓄處理。將參考圖17的流程圖說明圖15的步驟S24的樣本積蓄處理的詳細(xì)實例。在步驟S61中，學(xué)習(xí)處理單元112對于關(guān)注像素獲取學(xué)生圖像的像素值與估計的低分辨率圖像的像素值的差分作為特征量。在對學(xué)生圖像的像素值與估計的低分辨率圖像的像素值的差分的數(shù)據(jù)進(jìn)行通過上采樣器的像素插值之后，根據(jù)通過模糊去除單元去除模糊的數(shù)據(jù)的像素值獲得對應(yīng)于實際關(guān)注像素的特征量?？梢垣@取其他特征量。在步驟S62中，學(xué)習(xí)處理單元112基于在步驟S61中獲取的特征量將關(guān)注像素分類為各個類型。在步驟S63中，學(xué)習(xí)處理單元112提取抽頭。此時，學(xué)生圖像的N個像素和運動補償后的前一幀的高分辨率圖像的M個像素被提取作為抽頭。在步驟S64，學(xué)習(xí)處理單元112生成公式I的樣本以與通過步驟S62的處理分類的類型相關(guān)聯(lián)。即，通過以教師圖像的像素值替換公式I的yt和以在步驟S63的處理中提取的抽頭的值分別替換xi和xj而生成樣本。在步驟S65，學(xué)習(xí)處理單元112針對每個類型積蓄樣本。以這樣的方式，執(zhí)行樣本積蓄處理。返回到圖15，在步驟S24的處理之后，處理進(jìn)行到步驟S25，判斷是否有下一個關(guān)注像素。在步驟S25中，當(dāng)判定有下一個關(guān)注像素時，處理返回到步驟S22并反復(fù)執(zhí)行下面的處理?！ぴ诓襟ES25中，當(dāng)判定沒有下一個關(guān)注像素時，處理進(jìn)行到步驟S26。在步驟S26中，學(xué)習(xí)處理單元112基于在步驟S65的處理中積蓄的樣本對于每個類型利用最小二乘法計算系數(shù)wi和系數(shù)wj。在步驟S27中，學(xué)習(xí)處理單元112學(xué)習(xí)數(shù)據(jù)庫113，其中將通過步驟S26的處理所計算的系數(shù)wi和wj與類型相關(guān)聯(lián),并存儲所述系數(shù)wi和wj。以這樣的方式，執(zhí)行系數(shù)學(xué)習(xí)處理。下面，將參考圖18的流程圖說明由圖14的圖像處理裝置200執(zhí)行的超分辨率處理的實例。在超分辨率處理之前，將存儲在學(xué)習(xí)數(shù)據(jù)庫113中的信息復(fù)制到圖像處理裝置200的學(xué)習(xí)數(shù)據(jù)庫213中。在步驟SlOl中，由用戶輸入觀測的低分辨率圖像。在步驟S102中，生成最初的高分辨率圖像(進(jìn)行初始設(shè)定)。例如，通過對觀測的低分辨率圖像的第一幀的圖像進(jìn)行上采樣獲得的圖像被生成為最初的高分辨率圖像。在步驟S103中，設(shè)置關(guān)注像素。關(guān)注像素成為作為像素值的運算對象的高分辨率圖像的像素。在步驟S104，基于模型的處理單元211執(zhí)行基于模型的處理。由于在步驟S104中執(zhí)行的基于模型的處理與上述參考圖16的處理相同，從而省略對其的詳細(xì)說明。在步驟S105中，預(yù)測處理單元212執(zhí)行將在下面參考圖19說明的預(yù)測處理。將參考圖19的流程圖說明圖18的步驟S105的預(yù)測處理的詳細(xì)實例。在步驟S121中，預(yù)測處理單元212對于關(guān)注像素獲取觀測的低分辨率圖像的像素值與估計的低分辨率圖像的差分作為特征量。在對于觀測的低分辨率圖像的像素值與估計的低分辨率圖像的差分的數(shù)據(jù)進(jìn)行通過上采樣器的像素插值之后，根據(jù)由模糊去除單元去除模糊的數(shù)據(jù)的像素值獲得對應(yīng)于實際關(guān)注像素的特征量?？梢垣@取其他特征量。在步驟S122中，預(yù)測處理單元212基于在步驟S121中獲取的特征量將關(guān)注像素分類為各個類型。在步驟S123中，預(yù)測處理單元212提取抽頭。此時，觀測的低分辨率圖像的N個像素和運動補償后的前一幀的高分辨率圖像的M個像素被提取作為抽頭。在步驟S124，預(yù)測處理單元212從學(xué)習(xí)數(shù)據(jù)庫213讀取與在步驟S122的處理中分類的類型對應(yīng)的系數(shù)wi和wj。在步驟S125中，預(yù)測處理單元212進(jìn)行預(yù)測運算。即，預(yù)測處理單元利用在步驟S123的處理中提取的抽頭和在步驟S124的處理中讀取的系數(shù)wi和wj進(jìn)行公式2的運算，并預(yù)測高分辨率圖像的像素值。在步驟S126中，預(yù)測處理單元212用作為步驟S124的處理的結(jié)果而獲得的像素值替換高分辨率圖像的每個像素值。以這樣的方式，執(zhí)行預(yù)測處理。返回到圖18，在步驟S105的處理之后，處理進(jìn)行到步驟S106，判斷是否有下一個關(guān)注像素。在步驟S106中，當(dāng)判定有下一個關(guān)注像素時，處理返回到步驟S103，并且反復(fù)執(zhí)行下面的處理。同時，在步驟S106中，當(dāng)判定沒有下一個關(guān)注像素時，處理進(jìn)行到步驟S107?！ぴ诓襟ES107中，將高分辨率圖像顯示為輸出圖像。以這樣的方式，執(zhí)行超分辨率處理。在上述構(gòu)造中，學(xué)習(xí)裝置100采用這樣的學(xué)習(xí)算法，其中將關(guān)注像素分類為各個類型，并且通過最小二乘法對每個類型計算用于生成高分辨率圖像的像素所需的系數(shù)。然而，學(xué)習(xí)裝置100可以采用與上述學(xué)習(xí)算法不同的學(xué)習(xí)算法。例如，可以采用神經(jīng)網(wǎng)絡(luò)或支持向量機(SVM)作為學(xué)習(xí)算法?？赏ㄟ^硬件或軟件實行上述一系列處理。在通過軟件實行所述一系列處理的情況下，從網(wǎng)絡(luò)或記錄介質(zhì)在組裝在專用硬件中的計算機、如圖20所示的通用個人計算機等上安裝構(gòu)成軟件的程序，所述個人計算機例如能夠通過安裝各種程序而進(jìn)行各中功能。在圖20中，CPU (中央處理單元)701根據(jù)存儲在ROM (只讀存儲器)702中的程序或從存儲單元708裝載到RAM (隨機存取存儲器)703上的的程序而執(zhí)行各種處理。在需要時，CPU701執(zhí)行各種處理所需的數(shù)據(jù)也被存儲在RAM703中。CPU701、R0M702和RAM703通過總線704相互連接。輸入/輸出接口 705也被連接到該總線704。以下單元被連接到輸入/輸出接口 705 :輸入單元706，其由鍵盤、鼠標(biāo)等構(gòu)成；輸出單元707，其由諸如IXD (液晶顯示器)等的顯示器、揚聲器等構(gòu)成；存儲單元708，其由硬盤等構(gòu)成；以及通信單元709，其由諸如調(diào)制解調(diào)器或LAN卡等網(wǎng)絡(luò)接口等構(gòu)成。通信單元709通過包括因特網(wǎng)的網(wǎng)絡(luò)進(jìn)行通信處理。驅(qū)動器710也根據(jù)需要連接到輸入/輸出接口 705，根據(jù)需要，將可移動介質(zhì)711(諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器)安裝到輸入/輸出接口 705上，并且根據(jù)需要將從其讀取的計算機程序安裝在存儲單元708上。在使軟件執(zhí)行上述一系列處理的情況下，從諸如因特網(wǎng)的網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成軟件的程序，所述記錄介質(zhì)由可移動介質(zhì)711等構(gòu)成。另外，該記錄介質(zhì)可以是如圖20所示的可移動介質(zhì)711，其包括以下部件磁盤(包括軟盤(注冊商標(biāo))、光盤(包括⑶-ROM (高密度盤只讀存儲器))、以及DVD (數(shù)字多用途盤))、磁光盤(包括MD (小型盤)(注冊商標(biāo)))、半導(dǎo)體存儲器等，其上記錄有程序以用于與裝置分離地將程序提供給用戶而發(fā)布程序，然而，該記錄介質(zhì)也可以是記錄有程序的ROM 702或者存儲單元708中所包括的硬盤，其通過預(yù)先組裝在裝置中而被提供給用戶。
另外，本發(fā)明上述一系列處理顯然可以根據(jù)所述的順序按時間執(zhí)行，并且也可以不按時間地并行或單獨進(jìn)行。本領(lǐng)域技術(shù)人員可以理解，根據(jù)設(shè)計要求和其它因素，可以進(jìn)行各種修改、組合、子組合以及改變，只要其落入所附權(quán)利要求及其等同物的范圍中。另外，本發(fā)明技術(shù)可以如下構(gòu)成。(I) 一種圖像處理裝置，包括基于模型的處理單元，其執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機模型和具有對準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；以及

預(yù)測運算模型，其基于預(yù)先存儲的參數(shù)、作為輸入低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行基于模型的處理獲得的圖像對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。(2)根據(jù)(I)的圖像處理裝置，其中所述預(yù)測運算單元通過學(xué)習(xí)讀取存儲在預(yù)先生成的學(xué)習(xí)數(shù)據(jù)庫中的參數(shù)，并進(jìn)行預(yù)測運算。(3)根據(jù)(I)或(2)的圖像處理裝置，其中所述基于模型的處理單元包括運動補償單元，其對在前一幀輸出的高分辨率圖像的運動進(jìn)行補償；下采樣器，其根據(jù)相機模型限制運動補償后的在前一幀輸出的高分辨率圖像的頻帶、減少像素、并且生成估計的低分辨率圖像；差分計算單元，其計算作為輸入低分辨率圖像的觀測的低分辨率圖像與估計的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及上采樣器，其對差分圖像數(shù)據(jù)的像素進(jìn)行插值，從而生成高分辨率圖像。(4)根據(jù)(I)至(3)中任一項的圖像處理裝置，其中所述基于模型的處理單元包括模糊添加單元，其對在前一幀輸出的高分辨率圖像添加模糊；以及模糊去除單元，其去除通過所述模糊添加單元添加的模糊。(5)根據(jù)(I)至(4)中任一項的圖像處理裝置，還包括分類單元，其基于在基于模型的處理過程中計算的特征量將關(guān)注像素分類為各個類型，其中所述預(yù)測運算單元使用預(yù)先存儲的系數(shù)作為對應(yīng)于分類的類型的參數(shù)進(jìn)行預(yù)定運算，并對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。(6)根據(jù)(I)至(5)中任一項的圖像處理裝置，還包括抽頭提取單元，其提取作為輸入低分辨率圖像的觀測的低分辨率圖像的預(yù)定像素、以及通過關(guān)于在前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭，其中所述預(yù)測運算單元基于預(yù)先存儲的參數(shù)進(jìn)行關(guān)于抽頭的預(yù)定運算，并對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。(7) 一種圖像處理方法，包括通過基于模型的處理單元執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機模型和具有對準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；以及基于預(yù)先存儲的參數(shù)、作為輸入低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行基于模型的處理獲得的圖像，通過預(yù)測運算單元對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。(8) 一種用于使得計算機用作圖像處理裝置的程序，其中所述圖像處理裝置包括基于模型的處理單元，其執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機模型和具有對準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；以及預(yù)測運算單元，其基于預(yù)先存儲的參數(shù)、作為輸入低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行基于模型的處理獲得的圖像對將要輸出的高分辨率圖像的像素值進(jìn)·行預(yù)測運算。(9)—種記錄介質(zhì),其中記錄根據(jù)(8)的程序。(10)—種學(xué)習(xí)裝置，包括基于模型的處理單元，其執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機模型和具有對準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；抽頭提取單元，其提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過關(guān)于在前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；樣本積蓄單元，其積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及參數(shù)計算單元，其基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。(11)根據(jù)(10)的學(xué)習(xí)裝置，還包括數(shù)據(jù)庫，其存儲計算的參數(shù)，其中數(shù)據(jù)庫被用于圖像處理裝置的圖像處理中，用于將輸入的低分辨率圖像轉(zhuǎn)換為高分辨率圖像。(12)根據(jù)(10)或(11)的學(xué)習(xí)裝置，其中所述基于模型的處理單元包括運動補償單元，其對在前一幀輸出的高分辨率圖像的運動進(jìn)行補償；下采樣器，其根據(jù)相機模型限制運動補償后的在前一幀輸出的高分辨率圖像的頻帶、減少像素、并且生成估計的低分辨率圖像；差分計算單元，其計算學(xué)生圖像與估計的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及上采樣器，其對差分圖像數(shù)據(jù)的像素進(jìn)行插值，并生成高分辨率圖像。(13)根據(jù)(10)至(12)中任一項的學(xué)習(xí)裝置，其中所述基于模型的處理單元包括模糊添加單元，其對在前一幀輸出的高分辨率圖像添加模糊；以及模糊去除單元，其去除通過所述模糊添加單元添加的模糊。(14)根據(jù)(10)至(13)中任一項的學(xué)習(xí)裝置，還包括
分類單元，其基于在基于模型的處理過程中計算的特征量將關(guān)注像素分類為各個類型，其中所述參數(shù)計算單元計算系數(shù)，當(dāng)對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算時，將所述系數(shù)與所述抽頭相乘作為對應(yīng)于分類的類型的參數(shù)。(15) 一種學(xué)習(xí)方法，包括通過基于模型的處理單元執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機模型和具有對準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；通過抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過關(guān)于在前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；通過樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣·本；以及通過參數(shù)計算單元基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。(16) 一種用于使得計算機用作學(xué)習(xí)裝置的程序，其中所述學(xué)習(xí)裝置包括基于模型的處理單元，其執(zhí)行基于模型的處理，用于轉(zhuǎn)換分辨率，并且關(guān)于在前一幀輸出的高分辨率圖像基于相機模型和具有對準(zhǔn)的預(yù)定模型轉(zhuǎn)換圖像；抽頭提取單元，其提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過關(guān)于在前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭；樣本積蓄單元，其積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及參數(shù)計算單元，其基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。(17)—種記錄介質(zhì),其中記錄根據(jù)(16)的程序。本申請包含與在日本優(yōu)先權(quán)專利申請JP 2011-112311 (2011年5月19日在日本專利局提交)的公開相關(guān)的主題內(nèi)容，其整體內(nèi)容在此引入作為參考。
權(quán)利要求
1.一種圖像處理裝置，包括 基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及 預(yù)測運算單元，該預(yù)測運算單元基于預(yù)先存儲的參數(shù)、作為輸入的低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。
2.根據(jù)權(quán)利要求I的圖像處理裝置， 其中所述預(yù)測運算單元讀取通過預(yù)先學(xué)習(xí)生成的存儲在學(xué)習(xí)數(shù)據(jù)庫中的所述參數(shù)，并進(jìn)行所述預(yù)測運算。
3.根據(jù)權(quán)利要求I的圖像處理裝置， 其中所述基于模型的處理單元包括 運動補償單元，該運動補償單元對前一幀輸出的高分辨率圖像的運動進(jìn)行補償； 下采樣器，該下采樣器根據(jù)所述相機模型限制前一幀輸出的運動補償后的高分辨率圖像的帶域、間隔剔除像素，而生成估計的低分辨率圖像； 差分計算單元，該差分計算單元計算作為輸入的低分辨率圖像的觀測的低分辨率圖像與估計的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及 上采樣器，該上采樣器對差分圖像數(shù)據(jù)的像素進(jìn)行插值，從而生成高分辨率圖像。
4.根據(jù)權(quán)利要求I的圖像處理裝置， 其中所述基于模型的處理單元包括 模糊添加單元，該模糊添加單元對前一幀輸出的高分辨率圖像添加模糊；以及 模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。
5.根據(jù)權(quán)利要求I的圖像處理裝置，還包括 類型分類單元，該類型分類單元基于在基于模型的處理過程中所計算的特征量將關(guān)注像素分類為各個類型， 其中所述預(yù)測運算單元進(jìn)行使用預(yù)先存儲的系數(shù)作為與分類的類型相對應(yīng)的參數(shù)的預(yù)定運算，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。
6.根據(jù)權(quán)利要求I的圖像處理裝置，還包括 抽頭提取單元，該抽頭提取單元提取作為輸入的低分辨率圖像的觀測的低分辨率圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭， 其中所述預(yù)測運算單元基于預(yù)先存儲的參數(shù)進(jìn)行關(guān)于抽頭的預(yù)定運算，并對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。
7.一種圖像處理方法，包括 由基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及 由預(yù)測運算單元基于預(yù)先存儲的參數(shù)、作為輸入的低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。
8.一種用于使得計算機用作圖像處理裝置的程序， 其中所述圖像處理裝置包括 基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及 預(yù)測運算單元，該預(yù)測運算單元基于預(yù)先存儲的參數(shù)、作為輸入的低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。
9.一種記錄介質(zhì)，其中記錄了根據(jù)權(quán)利要求8的程序。
10.一種學(xué)習(xí)裝置，包括 基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像； 抽頭提取單元，該抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭； 樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及 參數(shù)計算單元，該參數(shù)計算單元基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。
11.根據(jù)權(quán)利要求10的學(xué)習(xí)裝置，還包括 數(shù)據(jù)庫，該數(shù)據(jù)庫存儲所計算的參數(shù)， 其中數(shù)據(jù)庫被用于圖像處理裝置的圖像處理中，該圖像處理用于將輸入的低分辨率圖像轉(zhuǎn)換為高分辨率圖像。
12.根據(jù)權(quán)利要求10的學(xué)習(xí)裝置， 其中所述基于模型的處理單元包括 運動補償單元，該運動補償單元對前一幀輸出的高分辨率圖像的運動進(jìn)行補償； 下采樣器，該下采樣器根據(jù)相機模型限制前一幀輸出的運動補償后的高分辨率圖像的帶域、間隔剔除像素，而生成估計的低分辨率圖像； 差分計算單元，該差分計算單元計算學(xué)生圖像與估計的低分辨率圖像之間的差分，并生成差分圖像數(shù)據(jù)；以及 上采樣器，該上采樣器對差分圖像數(shù)據(jù)的像素進(jìn)行插值，而生成高分辨率圖像。
13.根據(jù)權(quán)利要求10的學(xué)習(xí)裝置， 其中所述基于模型的處理單元包括 模糊添加單元，該模糊添加單元對前一幀輸出的高分辨率圖像添加模糊；以及 模糊去除單元，該模糊去除單元去除由所述模糊添加單元所添加的模糊。
14.根據(jù)權(quán)利要求10的學(xué)習(xí)裝置，還包括 類型分類單元，該類型分類單元基于在基于模型的處理過程中所計算的特征量將關(guān)注像素分類為各個類型，其中所述參數(shù)計算單元計算對要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算時與所述抽頭相乘的系數(shù)，作為對應(yīng)于分類的類型的參數(shù)。
15.—種學(xué)習(xí)方法,包括 通過基于模型的處理單兀執(zhí)行基于模型的處理，該基于模型的處理對于前一巾貞輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像； 通過抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭； 通過樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及 通過參數(shù)計算單元基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。
16.一種用于使得計算機用作學(xué)習(xí)裝置的程序， 其中所述學(xué)習(xí)裝置包括 基于模型的處理單元，該基于模型的處理單元執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像； 抽頭提取單元，該抽頭提取單元提取通過轉(zhuǎn)換具有高分辨率的教師圖像的分辨率而獲得的具有低分辨率的學(xué)生圖像的預(yù)定像素、以及通過對于前一幀輸出的高分辨率圖像執(zhí)行所述基于模型的處理而獲得的圖像的預(yù)定像素作為抽頭； 樣本積蓄單元，該樣本積蓄單元積蓄包括抽頭、預(yù)定參數(shù)以及教師圖像的像素值的公式作為樣本；以及 參數(shù)計算單元，該參數(shù)計算單元基于積蓄的樣本計算在對將要輸出的高分辨率圖像的像素值的預(yù)測運算中使用的預(yù)定參數(shù)。
17.—種記錄介質(zhì)，其中記錄根據(jù)權(quán)利要求16的程序。
全文摘要
本發(fā)明提供了一種學(xué)習(xí)裝置和方法、圖像處理裝置和方法、程序和記錄介質(zhì)，其中圖像處理裝置包括基于模型的處理單元，其執(zhí)行基于模型的處理，該基于模型的處理對于前一幀輸出的高分辨率圖像轉(zhuǎn)換分辨率，并且基于相機模型和具有對準(zhǔn)的預(yù)定模型來轉(zhuǎn)換圖像；以及預(yù)測運算單元，其基于預(yù)先存儲的參數(shù)、作為輸入的低分辨率圖像的觀測的低分辨率圖像、以及通過執(zhí)行所述基于模型的處理而獲得的圖像，對將要輸出的高分辨率圖像的像素值進(jìn)行預(yù)測運算。
文檔編號G06T3/40GK102789632SQ20121014544
公開日2012年11月21日 申請日期2012年5月11日 優(yōu)先權(quán)日2011年5月19日
發(fā)明者內(nèi)田真史, 松田康宏, 永野隆浩 申請人:索尼公司