專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法和程序，更具體 地，涉及一種達(dá)到用于生成高分辨率圖像的高速處理的圖像處理設(shè) 備、圖像處理方法和程序。
背景技術(shù)：
作為 一項(xiàng)用于由低分辨率圖像生成高分辨率圖像的技術(shù)，存在
超分辨率。
超分辨率是一 項(xiàng)從具有重疊部分的多個(gè)低分辨率圖^象中找到 一幀高分辨率圖像中的每個(gè)像素的4象素值，乂人而重新生成分辨率超 過(guò)成像元件(諸如CCD (電荷耦合器件)和CMOS (互補(bǔ)金屬氧化 物半導(dǎo)體))的分辨率的圖像的技術(shù)。例如，當(dāng)生成高分辨率的衛(wèi) 星相片等時(shí)使用超分辨率。
圖1和2是示出了超分辨率的原理的示圖。
在圖1和2的上部所示的參考符號(hào)a、 b、 ￡、 d、 s、 ￡表示將要 從通過(guò)成像對(duì)象所獲得的低分辨率圖像(LR (低分辨率)圖像)中
得到的高分辨率圖像(SR (超分辨率)圖像)的像素值，即，當(dāng)以 與SR圖像的分辨率相同的分辨率來(lái)像素化對(duì)象時(shí)的各個(gè)像素的像素值。
例如，在成4象元件的 一<象素的寬度等于構(gòu)成對(duì)象的兩個(gè)J象素的 寬度，并且因此不能以其分辨率來(lái)拍^l對(duì)象的情況下，如圖1所示， 在成像元件的三個(gè)像素中的左像素中，拍攝通過(guò)混合像素值^_和fe 獲得的像素值A(chǔ)，在中心像素中，拍攝通過(guò)混合像素值^和i獲得 的像素值B，以及在右像素中，拍才聶通過(guò)混合<象素值^和￡獲得的 像素值C。參考符號(hào)A、 B、 C表示構(gòu)成了通過(guò)成像獲得的LR圖像 的像素的像素值。
當(dāng)如圖2所示連同圖1的對(duì)象一起拍攝(正當(dāng)移動(dòng)時(shí)拍攝)由 于相才幾抖動(dòng)相對(duì)于圖1中的對(duì)象位置移動(dòng)了構(gòu)成該對(duì)象的l象素的 0.5 1象素的寬度的位置中的對(duì)象時(shí)，在成<象元件的三個(gè)<象素的左<象 素中，拍纟聶通過(guò)混合一半g、整個(gè)L和一半L的l象素值獲得的l象素 值D,以及在中心像素中，拍攝通過(guò)混合一半￡、整個(gè)i和一半g 的像素值獲得的像素值E。此外，在右像素中，拍纟聶通過(guò)混合一半和整個(gè)獲得的像素值F。參考符號(hào)D、 E、 F同樣表示構(gòu)成了通 過(guò)成像獲得的LR圖像的像素的像素值。
由上述LR圖像的成像結(jié)果給出以下公式(1 )。通過(guò)從公式(1 ) 中分別得出g、 b、 ^、 d、 L和f,能夠獲得分辨率比成^象元件的分
辨率高的圖像。
<formula>formula see original document page 8</formula>■ ■ (1)
圖3是示出了通過(guò)使用后方投影(backprojection)的超分辨率 處理來(lái)生成SR圖像的現(xiàn)存圖像處理設(shè)備1的配置實(shí)例的框圖。
例如，在數(shù)碼相機(jī)中設(shè)置圖3的圖像處理設(shè)備1,以執(zhí)行對(duì)通 過(guò)成像獲得的靜止圖片的處理。
如圖3所示，圖^f象處理i殳備1包括超分辨率處理器110至112、 求和電路12、加法電路13和SR圖像緩沖器14。
將LRG(通過(guò)成像獲得的LR圖像)輸入至超分辨率處理器110, 以及將LRi輸入超分辨率處理器lh。將LR2輸入超分辨率處理器 112。 LR。至LR2是通過(guò)連續(xù)成4象獲得的圖^f象，并且在其成〗象范圍內(nèi) 分別具有重疊部分。通常，當(dāng)連續(xù)執(zhí)行成像時(shí)，在成像結(jié)果的圖像 上所拍攝的對(duì)象的范圍會(huì)由于相機(jī)抖動(dòng)等而彼此稍微偏離，因而， 對(duì)象的范圍并不會(huì)完全彼此重合，從而導(dǎo)致部分重疊。
基于LRo和存儲(chǔ)在SR圖像緩沖器14中的SR圖像，超分辨率 處理器llo生成表示LRq和SR圖像之間的差異的差異圖像，然后 將反饋值輸出至求和電路12。反饋值為表示分辨率與SR圖像的分 辨率相同的差異圖像的值。
在SR圖像緩沖器14中，存儲(chǔ)通過(guò)先前剛剛執(zhí)行的超分辨率處 理生成的SR圖i象。例如，如果處理剛開(kāi)始，并且因此尚未生成4壬
一幀的SR圖像，則將通過(guò)將LRo上行取樣至分辨率與SR圖像的 分辨率相同的圖像而獲得的圖像存儲(chǔ)在SR圖像緩沖器14中。
同樣，基于LR,和存儲(chǔ)在SR圖像緩沖器14中的SR圖^f象，超 分辨率處理器11，生成表示LR!和SR圖像之間的差異的差異圖像， 并將表示所生成的差異圖像的反饋值輸出至求和電路12。
基于LR2和存儲(chǔ)在SR圖像緩沖器14中的SR圖像，超分辨率 處理器112生成表示LR2和SR圖像之間的差異的差異圖像，并將 表示所生成的差異圖像的反^t值輸出至求和電^各12。
求和電路12求出從超分辨率處理器llo至112提供的反饋值的
平均，并且將與分辨率SR圖像的分辨率相同的圖像(已通過(guò)求平 均獲得)輸出至加法電路13。
加法電路13將存儲(chǔ)在SR圖l象緩沖器14中的SR圖<象與/人求 和電路12提供的SR圖像相加，并且輸出通過(guò)加法獲得的SR圖像。 由于超分辨率處理，在圖像處理設(shè)備1的外部提供加法電路13的 輸出，同時(shí)，將該輸出提供給將要進(jìn)行存儲(chǔ)的SR圖像緩沖器14。
圖4是示出了超分辨率處理器lln (超分辨率處理器llo、 或112)的配置實(shí)例的框圖。
如圖4所示，超分辨率處理器lln包括運(yùn)動(dòng)向量^全測(cè)電^各21、 運(yùn)動(dòng)補(bǔ)償電路22、下4亍耳又才羊?yàn)V波器23、力。法電3各24、上4亍耳又才羊?yàn)V 波器25、和反向運(yùn)動(dòng)補(bǔ)償電^各26。
將從SR圖像緩沖器14中讀取的SR圖像輸入至運(yùn)動(dòng)向量檢測(cè) 電^各21和運(yùn)動(dòng)補(bǔ)償電^各22，并且將通過(guò)成^f象獲得的LRnl餘入至運(yùn) 動(dòng)向量才企測(cè)電^各21和力口法電3各24 。
基于輸入的SR圖像和LRn,運(yùn)動(dòng)向量檢測(cè)電路21使用SR圖 像作為參考來(lái)檢測(cè)運(yùn)動(dòng)向量，然后將4企測(cè)到的運(yùn)動(dòng)向量輸出至運(yùn)動(dòng) 補(bǔ)償電^各22和反向運(yùn)動(dòng)補(bǔ)償電^各26。
基于從運(yùn)動(dòng)向量檢測(cè)電路21提供的運(yùn)動(dòng)向量，運(yùn)動(dòng)補(bǔ)償電^各 22將運(yùn)動(dòng)補(bǔ)償應(yīng)用于SR圖像，然后將通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖 像輸出至下行耳又樣濾波器23。在通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償而獲得圖像上所 拍攝的對(duì)象的位置更接近于在LRn上拍攝的對(duì)象的位置。
下行取樣濾波器23通過(guò)下行取樣從運(yùn)動(dòng)補(bǔ)償電路22提供的圖 像來(lái)生成分辨率與LR。的分辨率相同的圖像，然后將所生成的圖像 輸出至加法電路24。從SR圖像和LRn得到運(yùn)動(dòng)向量，并將使用所 得到的運(yùn)動(dòng)向量通過(guò)運(yùn)動(dòng)補(bǔ)償所獲得的圖像轉(zhuǎn)換為分辨率與LR圖 像的分辨率相同的圖像對(duì)應(yīng)于基于存儲(chǔ)在SR圖像緩沖器14中的 SR圖像模擬通過(guò)成像獲得的圖像。
加法電路24生成表示LRn與以此方式模擬的圖像之間的差異 的差異圖像，然后將所生成的差異圖像輸出至上行取樣濾波器25。
上行取樣濾波器25通過(guò)下行取樣從加法電路24提供的差異圖 像來(lái)生成分辨率與SR圖像的分辨率相同的圖像，然后將所生成的 圖像輸出至反向運(yùn)動(dòng)補(bǔ)償電路26 。
基于從運(yùn)動(dòng)向量檢測(cè)電路21提供的運(yùn)動(dòng)向量，反向運(yùn)動(dòng)補(bǔ)償 電路26將反向的運(yùn)動(dòng)補(bǔ)償應(yīng)用于從上行取樣濾波器25提供的圖 像，然后將表示通過(guò)應(yīng)用反向的運(yùn)動(dòng)補(bǔ)償獲得的圖像的反饋值輸出 至求和電路12。在通過(guò)反向的運(yùn)動(dòng)補(bǔ)償獲得的圖像上拍攝的對(duì)象的 位置更接近于存儲(chǔ)在SR圖像緩沖器14中的SR圖像上所拍攝的對(duì) 象的位置。
已逐步開(kāi)始使用圖像處理來(lái)嘗試和解決已知問(wèn)題(例如，參見(jiàn)，
在以色列的91904耶路撒冷，由耶路撒冷希伯來(lái)大學(xué)的計(jì)算機(jī)科學(xué) 系MICHAL IRANI AND SHMUEL PELEG于1989年6月16日4妻 ^R的、1990年5月25日4妻受的、Rama Chellapa 4專4受的"Improving Resolution by Image Registration")。

發(fā)明內(nèi)容
足夠分辨率的一個(gè)幀的SR圖像。例如，如果通過(guò)圖3的圖^f象處理 設(shè)備1生成并從加法電路13輸出的SR圖像并不具有足夠的分辨 率，則將SR圖像存儲(chǔ)在SR圖像緩沖器14中，然后，將SR圖像 重新用作超分辨率處理器11q至112的1#入來(lái)重復(fù)超分辨率處理。
鑒于此，獲得具有充分分辨率的SR圖像會(huì)4艮費(fèi)時(shí)。
因此，需要提供一種實(shí)現(xiàn)用于生成高分辨率圖像的高速處理的 改良纟支術(shù)。
根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像處理設(shè)備，其包括 加法裝置，用于執(zhí)行將表示第 一分辨率的輸入圖像與高于第 一分辨 率的第二分辨率的圖像之間的差異的第二分辨率的差異圖像的像 素作為第二分辨率的輸入圖像的像素相加的加法處理；以及包括多 個(gè)上述加法裝置的圖像處理裝置。圖^f象處理裝置^皮配置為寺丸行第二 和以后的加法處5里，并通過(guò)予貞定次凄U也4丸4亍加法處理來(lái)生成第二分 辨率的圖 <象作為處理結(jié)果，4吏用互不相同的第 一分辨率的圖^象和通 過(guò)前一加法處理獲得的第二分辨率的圖像的輸入來(lái)執(zhí)行加法處理。
上述圖像處理設(shè)備還可以包括控制裝置，用于基于通過(guò)加法 處理獲得的第二分辨率的圖像來(lái)控制是否使用通過(guò)加法處理獲得 的第二分辨率的圖^f象的輸入來(lái)寺丸行下一加法處理。
上述圖像處理設(shè)備還可以包括調(diào)節(jié)裝置，用于執(zhí)行表示差異 圖像的信號(hào)增益的調(diào)節(jié)。
上述圖像處理設(shè)備還可以包括調(diào)節(jié)裝置，用于4丸行表示作為 用于獲得差異圖像的圖像而輸入的第二分辨率的圖像的信號(hào)增益 的調(diào)節(jié)、和表示所得到的差異圖像的信號(hào)增益的調(diào)節(jié)中的至少任一
個(gè)調(diào)節(jié)。
上述圖像處理設(shè)備還可以包括生成裝置，用于生成作為第一 加法處理的輸入的第二分辨率的原始圖<象。當(dāng)圖^f象處理裝置4吏用第 n幀的第一分辨率的拾取圖像生成第二分辨率的圖像作為第n幀的 處理結(jié)果時(shí)，生成裝置可以生成一個(gè)圖l象來(lái)作為原始圖i象，在該圖 像中，通過(guò)構(gòu)成由上行取樣第n幀的第一分辨率的圖像而獲得的圖 像的像素取代構(gòu)成第(n -1)幀的處理結(jié)果的第二分辨率的圖像的一 部分1象素。
上述生成設(shè)備還可以包括上行取樣處理裝置，用于上行取樣 通過(guò)成像獲得的第n幀的第一分辨率的圖像；校正裝置，用于使用 基于作為第(n-l)幀的處理結(jié)果的第二分辨率的圖 <象和由上4亍耳又樣 處理裝置的上行取樣而獲得的圖像檢測(cè)到的運(yùn)動(dòng)向量，將運(yùn)動(dòng)補(bǔ)償 應(yīng)用于作為第(n-1 )幀的處理結(jié)果的第二分辨率的圖像；以及圖像生 成裝置，用于通過(guò)使用在對(duì)應(yīng)位置區(qū)域中通過(guò)上行if又樣處理裝置的 上行取樣而獲得的圖像的像素，取代在校正裝置通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償 而獲得的圖像中顯示對(duì)象的區(qū)域中的像素，生成原始圖像，其中， 通過(guò)運(yùn)動(dòng)補(bǔ)償來(lái)移動(dòng)對(duì)象的位置。本發(fā)明的 一個(gè)方面的圖像處理方法或程序包括以下步驟使用
互不相同的第 一分辨率的圖^f象和通過(guò)前一加法處理獲得的第二分
辨率的圖像的輸入來(lái)執(zhí)行第二和以后的加法處理；以及通過(guò)預(yù)定次 數(shù)地執(zhí)行加法處理來(lái)生成第二分辨率的圖像作為處理結(jié)果。
在本發(fā)明的一個(gè)方面中，^吏用互不相同的第 一分辨率的圖像和 通過(guò)前一加法處理獲得的第二分辨率的圖^f象的輸入來(lái)才丸行加法處 理，以及通過(guò)預(yù)定次數(shù)地執(zhí)行加法處理來(lái)生成第二分辨率的圖^f象作 為處理結(jié)果。
根據(jù)本發(fā)明的一個(gè)方面，實(shí)現(xiàn)了用于生成高分辨率圖像的高速處理。
在以下具體實(shí)施方式
中，將參考附圖詳細(xì)買偶凄t本發(fā)明的這些 禾口其^4爭(zhēng)'l"生一口方面。


圖l是示出了超分辨率的原理的示圖。
圖2是示出了超分辨率的原理的另一個(gè)示圖。
圖3是示出了傳統(tǒng)圖像處理設(shè)備的配置實(shí)例的框圖。
圖4是示出了超分辨率處理器的配置實(shí)例的框圖。
圖5是示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的成像設(shè)備的示圖。
圖6是示出了超分辨率處理的一個(gè)實(shí)例的示圖。
圖7是示出了成像設(shè)備的配置實(shí)例的框圖。
圖8是示出了圖像處理單元的配置實(shí)例的框圖。
圖9是示出了超分辨率處理器的配置實(shí)例的框圖。
圖10是用于闡述成像設(shè)備的超分辨率處理的流程圖。
圖11是用于闡述圖10的步驟S2中所執(zhí)行的反饋值算術(shù)處理 的流程圖。
圖12是示出了圖像處理單元的另一個(gè)配置實(shí)例的框圖。
圖13是用于闡述成像設(shè)備的另一個(gè)超分辨率處理的流程圖。
圖14是示出了超分辨率處理器的另一個(gè)配置實(shí)例的框圖。
圖15A 圖15D是示出了增益調(diào)節(jié)的特性的實(shí)例的曲線圖。
圖16是用于闡述另一個(gè)反饋值算術(shù)處理的流程圖。
圖17是示出了超分辨率處理器的又一個(gè)配置實(shí)例的沖匡圖。
圖18是示出了超分辨率處理器的另 一個(gè)配置實(shí)例的框圖。
圖19是示出了 GUI的實(shí)例的示圖。
圖20A~圖20D是示出了濾波器特性的實(shí)例的曲線圖。
圖21是用于闡述又一個(gè)反饋值算術(shù)處理的流程圖。
圖22是示出了超分辨率處理器的另 一個(gè)配置實(shí)例的框圖。
圖23是示出了運(yùn)動(dòng)圖片的成4象纟既念的示圖。
圖24是示出了運(yùn)動(dòng)圖片的傳統(tǒng)成像概念的示圖。 圖25是示出了圖像處理單元的又一個(gè)配置實(shí)例的框圖。 圖26是示出了原始圖像生成電路的配置實(shí)例的框圖。 圖27A~圖27C是示出了原始圖^f象的生成實(shí)例的示圖。
圖28是示出了當(dāng)成〗象運(yùn)動(dòng)圖片時(shí)應(yīng)用處理電^各的配置實(shí)例的框圖。
圖29A~圖29C是示出了屏蔽圖像的生成實(shí)例的示圖。
圖30是用于闡述成i象運(yùn)動(dòng)圖片時(shí)的超分辨率處理的流程圖。
圖31是用于闡述在圖30的步驟S101中所執(zhí)行的原始圖像生 成處理的流禾呈圖。
圖32是用于闡述在圖30的步-驟S103中所沖丸4亍的運(yùn)動(dòng)圖片應(yīng) 用處理的流禾呈圖。
圖33是示出了運(yùn)動(dòng)圖片應(yīng)用處理電路的另一個(gè)配置實(shí)例的框圖。
圖34A~圖34C是示出了屏蔽圖像的另一個(gè)生成實(shí)例的示圖。 圖35是用于闡述另 一個(gè)運(yùn)動(dòng)圖片應(yīng)用處理的流程圖。 圖36是示出了圖l象處理單元的又一個(gè)配置實(shí)例的才匡圖。 圖37是示出了超分辨率處理的實(shí)例的示圖。圖38是示出了超分辨率處理的另 一個(gè)實(shí)例的示圖。 圖39是示出了圖像處理單元的另一個(gè)配置實(shí)例的框圖。 圖40是示出了超分辨率處理的又一個(gè)實(shí)例的圖。 圖41是示出了個(gè)人計(jì)算機(jī)的配置實(shí)例的框圖。
具體實(shí)施例方式
將在下文中說(shuō)明本發(fā)明的實(shí)施例。如下描述本發(fā)明的元素和在 說(shuō)明書或附圖中描述或示出的實(shí)施例之間的對(duì)應(yīng)關(guān)系。該描述旨在 確認(rèn)在說(shuō)明書或附圖中描述或示出了支持本發(fā)明的實(shí)施例。因此， 即 <吏存在在說(shuō)明書或附圖中進(jìn)4亍描述或示出^旦在這里沒(méi)有描述為 對(duì)應(yīng)于本發(fā)明元件的實(shí)施例的實(shí)施例，也不一定表示該實(shí)施例不對(duì) 應(yīng)于該元件。相反，即^f吏該實(shí)施例在這里纟皮描述為對(duì)應(yīng)于本發(fā)明元 件的實(shí)施例，也并不表示該實(shí)施例不對(duì)應(yīng)于除該元件之外的元件。
本發(fā)明的一個(gè)實(shí)施例的圖像處理設(shè)備(例如，圖5的成像設(shè)備 31)包括圖像處理裝置(例如，圖7的圖像處理單元42)。圖像 處理裝置包括多個(gè)加法裝置(例如，圖8中的加法電3各520)。加法 裝置執(zhí)行將表示第 一分辨率的輸入圖像與高于第 一分辨率的第二 分辨率的圖像之間的差異的第二分辨率的差異圖像的像素作為第 二分辨率的輸入圖像的像素相加的加法處理。圖像處理裝置被配置 為執(zhí)行第二和以后的加法處理，并生成互不相同的第 一分辨率的圖 像和通過(guò)前一加法處理獲得的第二分辨率的圖4象。
圖像處理設(shè)備還可以i殳置有控制裝置(例如，圖12中的環(huán)3各 控制電路71o )，用于基于通過(guò)加法處理獲得的第二分辨率的圖像來(lái)
控制是否使用通過(guò)加法處理獲得的第二分辨率的圖像的輸入來(lái)執(zhí) ^亍下一加法處理。
此外，可以設(shè)置用于執(zhí)行表示差異圖像的信號(hào)增益的調(diào)節(jié)的調(diào)
節(jié)裝置(例如，圖14的反饋增益控制電路81 )。
同樣，也可以設(shè)置用于執(zhí)行表示作為用于獲得差異圖像的圖像 而輸入的第二分辨率的圖像的信號(hào)增益的調(diào)節(jié)、和表示所得到的差 異圖像的信號(hào)增益的調(diào)節(jié)中的至少任 一 個(gè)調(diào)節(jié)的調(diào)節(jié)裝置(例如， 圖18的喜好控制電路IOI)。
還可以設(shè)置生成裝置(例如，圖25的原始圖像生成電路206)， 用于生成作為第 一加法處理的輸入的第二分辨率的原始圖 <象。
生成裝置可以i殳置有上行耳又樣處理裝置(例如，圖26的上 行耳又樣處理單元221 ),用于上4于耳又才羊通過(guò)成^f象獲纟尋的第n幀的第一 分辨率的圖像； 校正裝置(例如，圖26的運(yùn)動(dòng)校正單元222 )，用 于使用基于作為第(n-l)幀的處理結(jié)果的第二分辨率的圖像和使用 上行取樣處理裝置的上行取樣而獲得的圖像檢測(cè)到的運(yùn)動(dòng)向量來(lái)， 將運(yùn)動(dòng)補(bǔ)償應(yīng)用于作為第(n-l)幀的處理結(jié)果的第二分辨率的圖<象； 以及圖像生成裝置(例如，圖26的圖像生成單元223),用于通過(guò) 使用在對(duì)應(yīng)放置的區(qū)域中的通過(guò)上行取樣處理裝置的上行取樣而 獲得的圖像的像素，取代在校正裝置通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償而獲得的圖 像中顯示一個(gè)對(duì)象的區(qū)域中的像素，來(lái)生成原始圖像，其中，通過(guò) 運(yùn)動(dòng)補(bǔ)償來(lái)移動(dòng)對(duì)象的位置。
下文中將參考附圖來(lái)描述本發(fā)明的實(shí)施例。
圖5是示出了根據(jù)本發(fā)明的 一個(gè)實(shí)施例的成像設(shè)備31的示圖。成像設(shè)備31 (數(shù)碼相機(jī))根據(jù)用戶操作來(lái)拍攝靜止圖片并以預(yù)
定幀頻(frame rate)來(lái)拍攝運(yùn)動(dòng)圖片。此夕卜，成像設(shè)備31還使用 通過(guò)上述成像功能獲得的LR圖像通過(guò)超分辨率處理來(lái)獲得高分辨 率的SR圖4象。
圖6是示出了超分辨率處理的實(shí)例的示圖。
在圖6的實(shí)例中，基于LRo至LR2來(lái)執(zhí)行圖像的再現(xiàn) (reconstruction), LR。至LR2是通過(guò)成^象生成一個(gè)幀的SR圖<象的 而獲得的LR圖像。LRo至LR2是連續(xù)獲得的LR圖像，并因此在成 像范圍內(nèi)有重疊。為了便于描述，在圖6中給出了以使LRo至LR2 重疊的方式示出的垂直線和水平線。
如圖6所示，當(dāng)生成SR圖i象時(shí)，除LR圖J象外，成^f象i殳備31 還使用SR圖像來(lái)執(zhí)行超分辨率處理。
圖7是示出了成像設(shè)備31的配置實(shí)例的框圖。
如圖7所示，成Y象設(shè)備31由成l象單元41、圖l象處理單元42 和i己錄單元43組成。
成像單元41執(zhí)行靜止圖片或運(yùn)動(dòng)圖片的成像，并將通過(guò)成像 獲得的LR圖像輸出至圖像處理單元42。
圖像處理單元42基于從成像單元41提供的LR圖像來(lái)執(zhí)行超 分辨率處理，并將通過(guò)超分辨率處理獲得的SR圖l象輸出至記錄單 元43。 4艮據(jù)記錄單元43的控制來(lái)重復(fù)圖像處理單元42執(zhí)行的超分 辨率處理，直至生成具有對(duì)象分辨率的SR圖1象。
當(dāng)從圖像處理單元42提供的SR圖^f象具有足夠分辨率時(shí)，記錄 單元43將SR圖i象記錄到諸如閃存的預(yù)定記錄介質(zhì)中，并控制圖l象
處理單元42停止重復(fù)超分辨率處理。記錄在記錄介質(zhì)上的SR圖<象 的分辨率要高于i殳置在成^f象單元41中的成l象元件的分辨率。
圖8是圖7的圖像處理單元42的配置實(shí)例的框圖。
圖8所示的圖^f象處理單元42的配置經(jīng)過(guò)準(zhǔn)備(例如)作為一 種用于實(shí)現(xiàn)成像靜止圖片功能的配置，且該配置由超分辨率處理器 510至512、加法電^各52o至522、開(kāi)關(guān)53、原始圖^象生成電^各54和 SR圖像緩沖器55構(gòu)成。
在圖8的實(shí)例中，將超分辨率處理器5U得到的反饋值與存儲(chǔ) 在SR圖像緩沖器55中的SR圖像相加，并將通過(guò)第一加法處理獲 得的SR圖像與通過(guò)下一超分辨率處理器5h得到的反饋值相加， 另外，將通過(guò)第二加法處理獲得的SR圖像與通過(guò)下一超分辨率處 理器512得到的反饋值相加。以此方式，使用高斯-賽德?tīng)柗椒ㄍㄟ^(guò) 超分辨率處理生成SR圖4象。
雖然在圖3的配置中，在求和電路12中求基于LR圖像和SR 圖像得到的多個(gè)反饋值的平均，然后隨后將該平均與SR圖像相力口， 但是如圖8所示，通過(guò)下一超分辨率處理器得到的反饋值直接與通 過(guò)基于LR圖像和SR圖像得到的反饋值表示的SR圖^f象相力口，藉此 增加反饋的數(shù)目，從而減少了獲得具有足夠分辨率的SR圖像所需 的時(shí)間(聚合所需的時(shí)間)。即，使得用于獲得SR圖像的處理更快。
下文中，根據(jù)需要，將使用輸入的LR圖像和SR圖像得到反 饋值的處理(通過(guò)超分辨率處理器51。至512|丸4于)稱為反饋值算 術(shù)處理，以及將用于通過(guò)將由反饋值表示的圖像與SR圖像相加來(lái) 生成一個(gè)幀的SR圖Y象的處理稱為加法處理。通過(guò)重復(fù)反々貴值算術(shù) 處理和加法處理來(lái)實(shí)現(xiàn)超分辨率處理。
將LRQ (通過(guò)成像單元41獲得的LR圖4象)輸入超分辨率處理 器510，以及將LR!輸入超分辨率處理器5h。此外，將LR2輸入超 分辨率處理器512。 LRo至LR2為連續(xù)獲得的LR圖^f象，并在成像范 圍內(nèi)分別具有重疊。
超分辨率處理器510基于LRo和存儲(chǔ)在SR圖4象H沖器55中的 SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將表示分辨率與SR圖像的分辨 率相同的圖像的反饋值輸出至加法電^各520。
加法電路52o將存儲(chǔ)在SR圖像緩沖器55中的SR圖像與由從 超分辨率處理器51o提供的反饋值表示的SR圖像相加(添加包括 在由反饋值表示的SR圖像中的像素的像素值，作為存儲(chǔ)在SR圖 像緩沖器55中的SR圖像中缺少的像素的像素值)，并輸出通過(guò)加 法獲得的一個(gè)幀的SR圖像，作為第一加法處理的結(jié)果。將從加法 電路52o輸出的SR圖像輸入至超分辨率處理器5h和加法電路52！。
超分辨率處理器5h基于LRi和從加法電路52o提供的SR圖像 來(lái)沖丸行反4貴值算術(shù)處理，且將反々貴值輸出至加法電路52p
加法電路52，將從加法電路52o提供的SR圖像與由從超分辨率 處理器51,提供的反饋值表示的SR圖像相加，并輸出通過(guò)加法獲 得的一個(gè)幀的SR圖像，作為第二加法處理的結(jié)果。將從加法電路 52"lT出的SR圖4象輸入至超分辨率處理器512和加法電3各522。
超分辨率處理器512基于LR2和從加法電路52i提供的SR圖像 來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至加法電路522。
加法電路522將從力口法電路52i提供的SR圖 <象與由從超分辨率 處理器512提供的反饋值表示的SR圖像相加，并輸出通過(guò)加法獲 得的SR圖像，作為第三加法處理的結(jié)果，即，超分辨率處理的結(jié)
果。將從加法電路522輸出的SR圖^f象通過(guò)開(kāi)關(guān)53輸入至將要被存 儲(chǔ)的SR圖像緩沖器55。
當(dāng)通過(guò)原始圖^象生成電3各54生成原始圖〗象時(shí)，開(kāi)關(guān)53連4妾至 終端a^以使原始圖像能夠被存儲(chǔ)在SR圖像緩沖器55中。此外， 當(dāng)從加法電路522提供作為超分辨率處理結(jié)果而獲得的SR圖像時(shí)， 開(kāi)關(guān)53連接至終端L以使SR圖像能夠被存儲(chǔ)在SR圖像緩沖器 55中。
例如，當(dāng)開(kāi)始通過(guò)超分辨率處理生成一個(gè)幀的SR圖〗象時(shí)，原 始圖像生成電路54上行取樣LRq至分辨率與SR圖像的分辨率相同 的圖<象，,人而生成原始圖l象，并^f吏所生成的原始圖^象通過(guò)與終端a 連接的開(kāi)關(guān)53存儲(chǔ)在SR圖像緩沖器55中。
SR圖像緩沖器55存儲(chǔ)由原始圖像生成電路54生成的原始圖 像或從加法電3各522才是供的SR圖<象。
圖9是示出了超分辨率處理器51n (超分辨率處理器510、 51, 或512)的配置實(shí)例的才匡圖。
如圖9所示，超分辨率處理器51n具有類似、于圖4所示的配置， 并由運(yùn)動(dòng)向量檢測(cè)電路61、運(yùn)動(dòng)補(bǔ)償電路62、下行取樣濾波器63、 力口法電^各64、上行耳又樣濾波器65、和反向運(yùn)動(dòng)補(bǔ)償電^各66構(gòu)成。
經(jīng)過(guò)提供用作反饋值的算術(shù)的SR圖像被輸入至運(yùn)動(dòng)向量檢測(cè) 電^各61和運(yùn)動(dòng)補(bǔ)償電^各62,并且通過(guò)成l象獲得的LRj皮輸入至運(yùn) 動(dòng)向量檢測(cè)電路61和加法電路64。存儲(chǔ)在SR圖像緩沖器55中的 SR圖^f象一皮輸入至超分辨率處理器的動(dòng)向量才全測(cè)電路61和運(yùn)動(dòng) 補(bǔ)償電路62,并且從設(shè)置在前一級(jí)中的加法電路52(j、 52i中的每個(gè)
輸出的SR圖傳^皮lt入至超分辨率處理器5h或超分辨率處理器512 的運(yùn)動(dòng)向量4全測(cè)電^各61和運(yùn)動(dòng)補(bǔ)償電^各62。
基于輸入的SR圖像和LRn,運(yùn)動(dòng)向量檢測(cè)電路61使用用作參 考的SR圖〗象來(lái)4全測(cè)運(yùn)動(dòng)向量，并將4企測(cè)到的運(yùn)動(dòng)向量車lT出至運(yùn)動(dòng) 補(bǔ)償電i 各62和反向運(yùn)動(dòng)補(bǔ)償電^各66。
基于從運(yùn)動(dòng)向量檢測(cè)電路61提供的運(yùn)動(dòng)向量，運(yùn)動(dòng)補(bǔ)償電路 62對(duì)SR圖像應(yīng)用運(yùn)動(dòng)補(bǔ)償，并將通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖l象輸 出至下行取樣濾波器63。在通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖像上所獲得 的對(duì)象的位置變得更接近于在LR。上所獲得的對(duì)象的位置。
下行取樣濾波器63通過(guò)下行取樣從運(yùn)動(dòng)補(bǔ)償電路62提供的圖 像來(lái)生成分辨率與LRn的分辨率相同的圖像，并將所生成的圖像輸 出至加法電路64。根據(jù)SR圖像和LRn得到運(yùn)動(dòng)向量，并使用所得 到的運(yùn)動(dòng)向量通過(guò)運(yùn)動(dòng)補(bǔ)償獲得的圖像轉(zhuǎn)換為分辨率與LR圖像的 分辨率相同的圖像對(duì)應(yīng)于基于基于SR圖像來(lái)模擬通過(guò)成像獲得的 圖像。
力口法電路64生成表示LR。與以此方式才莫擬的圖像之間的差異 的差異圖像，并將生成的差異圖像輸出至上行取樣濾波器65。
上行取樣濾波器65通過(guò)上行取樣從加法電路64提供的差異圖 像來(lái)生成分辨率與SR圖像的分辨率相同的圖像，并將所生成的圖 像輸出至反向運(yùn)動(dòng)補(bǔ)償電路66。
基于從運(yùn)動(dòng)向量纟全測(cè)電路61提供的運(yùn)動(dòng)向量，反向運(yùn)動(dòng)補(bǔ)償 電路66向從上行耳又樣濾波器65 ^是供的圖像反向應(yīng)用運(yùn)動(dòng)補(bǔ)償，并 將表示通過(guò)反向應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖像的反饋值輸出至加法電路52n。在通過(guò)反向運(yùn)動(dòng)補(bǔ)償獲得的圖像上獲得的對(duì)象的位置變得 更接近于在SR圖像上獲得的對(duì)象的位置。
下文中，參考圖10的流程圖來(lái)描述通過(guò)具有圖8中的配置的 圖4象處理單元42 ^丸4亍的超分辨率處理。
當(dāng)通過(guò)成像單元41成像靜止圖片時(shí)，開(kāi)始此處理，并分別將 LRo輸入至超分辨率處理器51o、將LR!輸入至超分辨率處理器51,、 以及將LR2豐命入至超分辨率處理器512。
在步驟S1中，例如，原始圖像生成電^各54通過(guò)上行取樣LRo 至分辨率與SR圖像的分辨率相同的圖像來(lái)生成原始圖像，并使所 生成的原始圖像通過(guò)開(kāi)關(guān)53存儲(chǔ)在SR圖像緩沖器55中。通過(guò)成 像單元41獲得的LRo還被輸入至原始圖像生成電路54。
在步驟S2中，超分辨率處理器510基于LRo和存儲(chǔ)在SR圖像 緩沖器55中的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至 加法電路52(j。稍后將參考圖11的流程圖來(lái)描述反饋值算術(shù)處理。
在步驟S3中，加法電^各52o將存4諸在SR圖傳J爰沖器55中的 SR圖像與由通過(guò)在步驟S2中^丸行反饋值算術(shù)處理得到并從超分辨 率處理器5U提供的反饋值表示的SR圖像相加，并輸出通過(guò)加法 獲得的一個(gè)幀的SR圖《象，作為第一加法處理的結(jié)果。
在步驟S4中，超分辨率處理器51!基于LR!和從加法電路520
提供的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至加法電 路52,。
在步驟S5中，力o法電路52!將從加法電路520提供的SR圖4象 與由通過(guò)在步驟S4中沖丸行反饋值算術(shù)處理得到并乂人超分辨率處理
器5h提供的反饋值表示的SR圖像相加，并輸出通過(guò)加法獲得的 一個(gè)幀的SR圖4象，作為第二加法處理的結(jié)果。
在步驟S6中，超分辨率處理器512基于LR2和從加法電路52, 提供的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至加法電 路522。
在步驟S7中，力。法電路522將從加法電路52d是供的SR圖4象 與由通過(guò)在步驟S6中4丸行反々貴值算術(shù)處理得到并從超分辨率處理 器512提供的反饋值表示的SR圖像相加。
在步驟S8中，加法電路522將通過(guò)將從加法電路52!提供的SR 圖像與由從超分辨率處理器512提供的反饋值表示的SR圖像相加 獲得的SR圖像輸出至記錄單元43，作為超分辨率處理的結(jié)果，并 同時(shí)使該結(jié)果被存儲(chǔ)在SR圖像緩沖器55中。
此后，記錄單元43確定從加法電^各522輸出的SR圖像是否具 有足夠的分辨率，并且如果確定SR圖4象不具有足夠的分辨率，那 么處理返回至步多聚S2來(lái)重復(fù)上述處理。在重復(fù)的超分I辟率處J里的 第一反饋值算術(shù)和加法處理中，使用在步驟S8的處理中存^諸在SR 圖像緩沖器55中的SR圖<象。
另一方面，如果確定從加法電路522輸出的SR圖像具有足夠 的分辨率，則停止超分辨率處理的重復(fù)，并記錄具有足夠分辨率的圖像。
接下來(lái)參考圖11的流程圖描述在步驟S2、 S4、 S5中才丸行的反
饋值算術(shù)處理。
在步驟Sll中，運(yùn)動(dòng)向量檢測(cè)電路61基于輸入的SR圖像和 LRn使用SR圖像作為參考來(lái)檢測(cè)運(yùn)動(dòng)向量，并將檢測(cè)到的運(yùn)動(dòng)向 量輸出至運(yùn)動(dòng)補(bǔ)償電^各62和反向運(yùn)動(dòng)補(bǔ)償電^各66。
在步驟S12中，運(yùn)動(dòng)補(bǔ)償電路62基于從運(yùn)動(dòng)向量一企測(cè)電路61 才是供的運(yùn)動(dòng)向量來(lái)對(duì)SR圖^f象應(yīng)用運(yùn)動(dòng)補(bǔ)償，并將通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ) 償獲得的圖像輸出至下行取樣濾波器63。
在步驟S13中，下行耳又樣濾波器63通過(guò)下行取樣,人運(yùn)動(dòng)補(bǔ)償 電路62提供的圖像來(lái)生成分辨率與LRn的分辨率相同的圖像，并 將所生成的圖像輸出至加法電路64。
在步驟S14中，力。法電^各64生成表示在豐命入的LRn與/人下行 取樣濾波器63提供的圖像之間的差異的差異圖像，并將所生成的 差異圖像輸出至上行取樣濾波器65。
在步驟S15中，上行取樣濾波器65通過(guò)上行耳又樣從加法電路 64提供的差異圖像來(lái)生成分辨率與SR圖像的分辨率相同的圖像， 并將所生成的圖像輸出至反向運(yùn)動(dòng)補(bǔ)償電路66。
在步驟S16中，基于從運(yùn)動(dòng)向量檢測(cè)電路61^是供的運(yùn)動(dòng)向量， 反向運(yùn)動(dòng)補(bǔ)償電路66對(duì)從上行取樣濾波器65提供的圖像反向應(yīng)用 運(yùn)動(dòng)補(bǔ)償，并將表示通過(guò)反向應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖像的反饋值輸 出至加法電^各52n。然后，處理返回至圖10的步艱《S2、 S4或S6， 并且重復(fù)相關(guān)處理和后續(xù)處理。
圖12是示出了圖像處理單元42的另一個(gè)配置實(shí)例的框圖。用 相同的參考數(shù)字給出與圖8中相同的組件。適當(dāng)省略重復(fù)的描述。
圖12中的圖像處理單元42的配置與圖8中的配置的不同之處 在于，還i殳置有環(huán)^各控制電^各71o和71，、以及開(kāi)關(guān)72q和72^并 根據(jù)通過(guò)環(huán)路控制電路71o轉(zhuǎn)變開(kāi)關(guān)72o和通過(guò)環(huán)路控制電^各 轉(zhuǎn)變開(kāi)關(guān)72p控制是否將加法處理的結(jié)果輸出至記錄單元43、或 將其用于下一加法處理。
更特別，圖12的圖像處理單元42根據(jù)通過(guò)環(huán)路控制電路710 轉(zhuǎn)變開(kāi)關(guān)72o來(lái)控制是否將從加法電路52。輸出的第一加法處理的 結(jié)果用于第二加法處理、或?qū)⑵湓瓨觀T出至記錄單元43。圖^象處理 單元42還根據(jù)通過(guò)環(huán)路控制電路71，轉(zhuǎn)變開(kāi)關(guān)72，來(lái)控制是否將從 加法電路52,輸出的第二加法處理的結(jié)果用于第三加法處理或?qū)⑵?原樣輸出至記錄單元43。
例如，4又當(dāng)尚未獲得足夠分辨率的SR圖^象作為第一加法處理 的結(jié)果時(shí)，執(zhí)行第二或后續(xù)的反饋值算術(shù)處理和加法處理，且僅當(dāng) 尚未獲得足夠分辨率的SR圖^f象作為乂人加法電^各52t輸出的第二加 法處理的結(jié)果時(shí)，沖丸4亍第三反々貴值算術(shù)處理和加法處理。以此方式， 每次完成使用LRo至LR2中的每個(gè)進(jìn)行處理時(shí)，才企查SR圖像的分 辨率，并且如果尚未獲得足夠的分辨率，則才丸4于下一反々貴值算術(shù)處 理和加法處理，以及相反，如果已獲得足夠的分辨率，則終止處理。 因而，在某些情況下，可在少量重復(fù)之后終止反々^f直l喿作處理和加 法處理，這可以l吏超分辨率處理更快。
超分辨率處理器5U基于LR。和存儲(chǔ)在SR圖像緩沖器55中的 SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至加法電路520。
加法電路52o將存儲(chǔ)在SR圖像緩沖器55中的SR圖像與由從 超分辨率處理器51o提供的反饋值表示的SR圖像相加，并輸出通 過(guò)加法獲得的一個(gè)幀的SR圖像，作為第一加法處理的結(jié)果。將從 加法電路52o輸出的SR圖像提供給環(huán)路控制電路710和開(kāi)關(guān)720。
環(huán)路控制電路71o檢查從加法電路52o提供的SR圖像的分辨率 (圖像質(zhì)量)，并且如果已獲得足夠的分辨率，則將開(kāi)關(guān)72。連接至 終端g，從而使SR圖像能夠作為第一加法處理的結(jié)果輸出至記錄 單元43。此外，如果尚未獲得足夠的分辨率，則環(huán)路控制電路710 將開(kāi)關(guān)72。連4妻至終端b, /人而<吏SR圖^f象能夠作為第一加法處理的 結(jié)果輸出至超分辨率處理器5h和加法電^各52i。
例如，對(duì)環(huán)路控制電路71。提供用于檢查SR圖像的分辨率的 參考SR圖像，以基于相對(duì)于參考SR圖像的差異、最小平方、協(xié) 方差等來(lái)確定作為加法處理的結(jié)果的SR圖^f象的llT出目的地。例如， 如果與參考SR圖像的差異小于設(shè)為閾值的差異，則將作為加法處 理的結(jié)果的SR圖像輸出至記錄單元43。例如，參考SR圖像可以 是記錄在SR圖像緩沖器55中的SR圖像，或可根據(jù)需要選擇從加 法電路520至522中的任一個(gè)輸出的SR圖像。
超分辨率處理器51,基于和從加法電路52o提供的SR圖像 來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至加法電路52^
力口法電路52d夸從加法電路520通過(guò)開(kāi)關(guān)720提供的SR圖像與 由從超分辨率處理器5h提供的反饋值表示的SR圖像相加，并輸 出通過(guò)加法獲得的一個(gè)幀的SR圖像，作為第二加法處理的結(jié)果。 從加法電路52，輸出的SR圖像提供給環(huán)路控制電路和開(kāi)關(guān)72i。
環(huán)路控制電路7h檢查從加法電路52d是供的SR圖像的分辨 率，且如果已獲得足夠的分辨率，則將開(kāi)關(guān)連4妄至終端a，以 使SR圖像作為第二加法處理的結(jié)果輸出至記錄單元43。此外，如 果尚未獲得足夠的分辨率，則環(huán)路控制電路7^將開(kāi)關(guān)72，連接至 終端b,以4吏SR圖〗象作為第二加法處理的結(jié)果輸出至超分辨率處 理器512和加法電^各522。用于檢查SR圖像的分辨率的參考SR圖像還^皮施加至環(huán)路控 制電^各7h。
超分辨率處理器512基于LR2和從加法電^各52i通過(guò)開(kāi)關(guān)72j 提供的SR圖^象來(lái)執(zhí)行反饋值算術(shù)處理，并將反々貴值輸出至加法電 路522。
加法電路522將從加法電路52i通過(guò)開(kāi)關(guān)72d是供的SR圖像與 由從超分辨率處理器512提供的反饋值表示的SR圖像相加，并輸 出通過(guò)加法獲得的一個(gè)幀的SR圖像，作為超分辨率處理的結(jié)果。 從加法電路522輸出的SR圖像被提供給記錄單元43，并同時(shí)通過(guò) 開(kāi)關(guān)53提供給將進(jìn)行存儲(chǔ)的SR圖像緩沖器55。
圖12的超分辨率處理器510至512均具有與圖9所示配置相同
的配置。
此處，參考圖13的流程圖，描述通過(guò)具有圖12的配置的圖像 處理單元42沖丸4于的超分辨率處理。
同樣，當(dāng)通過(guò)成l象單元41成^f象《爭(zhēng)止圖片時(shí)，開(kāi)始這個(gè)處理， 并分別將LRo輸入至超分辨率處理器51G、將LR!llT入至超分辨率 處理器5h、以及將LR2輸入至超分辨率處理器512。
在步驟S21中，原始圖^f象生成電^各54通過(guò)上4亍取樣LRo等來(lái) 生成原始圖像，并使所生成的原始圖像通過(guò)開(kāi)關(guān)53存儲(chǔ)在SR圖像 緩沖器55中。
在步驟S22中，超分辨率處理器51o基于LRq和存儲(chǔ)在SR圖 像緩沖器55中的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出 至加法電3各520。此處，沖丸^f亍與參考圖11所述的處理相同的處理。
在步驟S23中，加法電^各52o將由在步驟S22中執(zhí)行的反饋值 算術(shù)處理得到并從超分辨率處理器51。提供的反饋值表示的SR圖 像與存儲(chǔ)在SR圖^象緩沖器55中的SR圖^f象相加，并輸出通過(guò)加法 獲得的一個(gè)幀的SR圖^f象，作為第一加法處理的結(jié)果。
在步驟S24中，環(huán)3各控制電路710檢查從加法電路52j是供的
SR圖像的圖像質(zhì)量。
在步驟S25中，環(huán)路控制電路71?；赟R圖像的圖像質(zhì)量的 檢查結(jié)果來(lái)確定是否重復(fù)反^t值算術(shù)處理等。
如果在步驟S25中確定重復(fù)反々貴值算術(shù)處理，那么在步驟S26 中，超分辨率處理器5h基于LR!和/人加法電^各520通過(guò)開(kāi)關(guān)720 提供的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至加法電 路52卜
在步驟S27中，力。法電路52d夸由在步驟S26中執(zhí)行的反饋值 算術(shù)處理得到并由從超分辨率處理器提供的反々貴值表示的SR 圖^象與AU 口法電^各52j)4是供的SR圖4象相加，并輸出通過(guò)加法獲得 的一個(gè)幀的SR圖^f象，作為第二加法處理的結(jié)果。
在步驟S28中，環(huán)路控制電路沖企查從加法電路提供的 SR圖像的圖4象質(zhì)量。
在步驟S29中，環(huán)路控制電路7h基于SR圖像的圖像質(zhì)量的 檢查結(jié)果來(lái)確定是否重復(fù)反饋值算術(shù)處理等。
如果在步驟S29中確定重復(fù)反々貴值算術(shù)處理，則在步驟S30中， 超分辨率處理器512基于LR2和從加法電路通過(guò)開(kāi)關(guān)72!提供的 SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至加法電路522。
在步驟S31中，力。法電路522將由在步驟S30中4丸4亍的反々赍<直 算術(shù)處理得到并由從超分辨率處理器512提供的反饋值表示的SR 圖像與從加法電路52^是供的SR圖像相加。
在步驟S32中，力。法電路522將從加法電路52!提供的SR圖像 與由從超分辨率處理器512提供的反饋值表示的SR圖像相加，將 將所獲得的一個(gè)幀的SR圖像作為超分辨率處理的結(jié)果輸出至記錄 單元43，同時(shí)，^吏該結(jié)果^皮存儲(chǔ)在SR圖4象緩沖器55中。然后， 處理:逸回至步4聚S22以重復(fù)上述處理。
另一方面，在步專聚S25、 S29中，如果確定不重復(fù)反々斧f直算術(shù) 處理等，則將確定具有足夠質(zhì)量的SR圖像輸出至記錄單元43，且
完成處理。
圖14是示出了超分辨率處理器51n的另 一個(gè)配置實(shí)例的框圖。 相同的參考數(shù)字給出與圖9相同的組件。適當(dāng)省略重復(fù)描述。
圖14的超分辨率處理器51n的配置與圖9配置的不同之處在 于，在反向運(yùn)動(dòng)補(bǔ)償電路66的后一級(jí)中還設(shè)置了反饋增益控制電 路81。
反饋增益控制電路81調(diào)節(jié)從反向運(yùn)動(dòng)補(bǔ)償電路66提供的反饋 值的增益，并將通過(guò)調(diào)節(jié)增益獲得的反饋值輸出至加法電路52n。 提供通過(guò)對(duì)通過(guò)取樣LRn與SR圖像之間的差異圖像獲得的圖像反 向應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖像，作為來(lái)自反向運(yùn)動(dòng)補(bǔ)償電路66的反饋值。
例如，反饋增益控制電路81通過(guò)使由從反向運(yùn)動(dòng)補(bǔ)償電路66 提供的反饋值表示的SR圖像的圖像信號(hào)的總頻率分量乘以任意值 來(lái)調(diào)節(jié)增益，或通過(guò)使每個(gè)頻率分量乘以不同值來(lái)調(diào)節(jié)增益。 此外，反々貴增益控制電^各81降^[氐頻率分量的信號(hào)的增益，有
可能會(huì)對(duì)當(dāng)對(duì)SR圖像應(yīng)用增加的增益時(shí)的圖像質(zhì)量產(chǎn)生不利影 響。例如，基于包含在從反向運(yùn)動(dòng)補(bǔ)償電路66提供的反饋值中的 噪音量、或運(yùn)動(dòng)向量4企測(cè)時(shí)得到的SAD (絕對(duì)差異的和)的運(yùn)動(dòng)向 量的可靠性等，確定頻率分量是否會(huì)對(duì)圖像質(zhì)量產(chǎn)生不利影響?？?以對(duì)整個(gè)圖像應(yīng)用、或按區(qū)域來(lái)應(yīng)用調(diào)節(jié)增益的處理。
圖15A 圖15D是示出了通過(guò)反饋增益控制電路81實(shí)現(xiàn)的增 益調(diào)節(jié)的特4正的實(shí)例的曲線圖。
水平軸表示頻率，以及垂直軸表示增益，以及圖15A所示的特 性為低頻率分量的增益的降低和高頻率分量的增益的增加。圖15B 所示的特性為低頻率分量的增益的增加和高頻率分量的增益的減 少。圖15C所示的特性為中間附近的頻率分量的增益的增加、以及 和除此之外的頻率分量的增益的降^氐。圖15D所示的特性為所有頻 率分量的降低。
此處，參考圖16的流程圖來(lái)描述由具有圖14配置的超分辨率 處理器51n執(zhí)行的反饋值算術(shù)處理。同樣在圖10的步驟S2、 S4、 S6中執(zhí)行此處理。
除了增加了用于調(diào)節(jié)增益的處理外，圖16所示的處理與參考 圖11所述的處理相同。更特別，在步艱《S41中，運(yùn)動(dòng)向量4企測(cè)電 路61基于輸入的SR圖像和LRn來(lái)檢測(cè)運(yùn)動(dòng)向量，并將檢測(cè)到的運(yùn) 動(dòng)向量輸出至運(yùn)動(dòng)補(bǔ)償電^各62和反向運(yùn)動(dòng)補(bǔ)償電^各66。
在步驟S42中，運(yùn)動(dòng)補(bǔ)償電路62基于從運(yùn)動(dòng)向量4企測(cè)電路61 提供的運(yùn)動(dòng)向量來(lái)對(duì)SR圖像應(yīng)用運(yùn)動(dòng)補(bǔ)償，并將通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ) 償獲得的圖像輸出至下行取樣濾波器63。
在步驟S43中，下行取樣濾波器63通過(guò)下行耳又樣從運(yùn)動(dòng)補(bǔ)償 電路62提供的圖像來(lái)生成與LRn的分辨率相同的分辨率的圖像， 且將所生成的圖像輸出至加法電路64。
在步驟S44中，加法電5各64生成表示在l命入的LRn與乂人下4亍 取樣濾波器63提供的圖像之間的差異的差異圖像，作為下行取樣 的結(jié)果，并將所生成的差異圖像輸出至上行取樣濾波器65。
在步驟S45中，上行取樣濾波器65通過(guò)上行取樣,人加法電路 64才是供的圖〗象來(lái)生成分辨率與SR圖^f象的分辨率相同的圖l象，并將 所生成的圖像輸出至反向運(yùn)動(dòng)補(bǔ)償電路66。
在步驟S46中，基于從運(yùn)動(dòng)向量4企測(cè)電路61提供的運(yùn)動(dòng)向量， 反向運(yùn)動(dòng)補(bǔ)償電路66對(duì)從上行取樣濾波器65 ^是供的圖像反向應(yīng)用 運(yùn)動(dòng)補(bǔ)償，并將通過(guò)反向應(yīng)用運(yùn)動(dòng)4卜償獲得的圖像輸出至反饋增益 4空制電^各81。
在步驟S47中，反饋增益控制電路81調(diào)節(jié)表示從反向運(yùn)動(dòng)補(bǔ) 償電路66提供的圖像，作為反向運(yùn)動(dòng)補(bǔ)償結(jié)果的信號(hào)的增益，并 將通過(guò)調(diào)節(jié)增益獲得的反饋值輸出至加法電^各52n。然后，處理返 回至圖10的步-驟S2、 S4或S6，并重復(fù)相關(guān)處理和后續(xù)處理。
圖17是示出了超分辨率處理器51n的另一個(gè)配置實(shí)例的^f匡圖。 相同的參考凄t字主會(huì)出與圖14中相同的組件。適當(dāng)省略重復(fù)描述。
圖17的超分辨率處理器51 的配置與圖14配置的不同之處在 于，取代在反向運(yùn)動(dòng)補(bǔ)償電路66的后一級(jí)中，在加法電路64與上 行取樣濾波器65之間設(shè)置反饋增益控制電路81。換句話說(shuō)，在圖 17的配置中，將由加法電路64得到的差異信號(hào)提供給反饋增益控 制電路81,以在此級(jí)中執(zhí)行對(duì)差異圖像的增益調(diào)節(jié)。
因此，反々貴增益控制電^各81的插入位置并不限于在反向運(yùn)動(dòng)
補(bǔ)償電路66的后一級(jí)中的位置。如圖17所示，在將反饋增益控制 電路81插入加法電路64和上4亍取才羊?yàn)V波器65之間的情況下，可 以通過(guò)一個(gè)電3各來(lái)實(shí)現(xiàn)上行取樣濾波器65的功能和反々貴增益控制 電^吝81的功能。
圖18是示出了超分辨率處理器51n的另 一個(gè)配置實(shí)例的框圖。 相同的參考數(shù)字給出與圖8相同的組件。適當(dāng)省略重復(fù)描述。
圖18的超分辨率處理器51n的配置與圖9配置的不同之處在 于，在運(yùn)動(dòng)補(bǔ)償電路62的前一級(jí)中設(shè)置了喜好控制電路IOI,并且 在反向運(yùn)動(dòng)補(bǔ)償電路66的后一級(jí)中設(shè)置了喜好控制電路102。
如圖18所示，將用于反饋值的算術(shù)的SR圖1象4是供給運(yùn)動(dòng)向量 檢測(cè)電路61和喜好控制電路101。同樣將根據(jù)用戶操作的喜好參數(shù) 提供給喜好控制電^各101。
喜好參數(shù)表示由用戶使用如圖19所示的GUI (圖形用戶界面) 調(diào)節(jié)的值，并且4艮據(jù)這個(gè)值，選沖奪將用于纟丸行處理的濾波器，并通 過(guò)超分辨率處理器51n生成具有符合所選濾波器的圖像質(zhì)量的SR 圖像。在圖19的實(shí)例中，用戶可通過(guò)滑動(dòng)滑桿111來(lái)調(diào)節(jié)這個(gè)值， 并^吏當(dāng)前調(diào)節(jié)的^直顯示在顯示單元112上。
為了返回圖18的描述，喜好控制電^各101才艮據(jù)喜好參凄t來(lái)選 擇濾波器，并使用所選濾波器來(lái)對(duì)SR圖像應(yīng)用濾波。喜好控制電 鴻^ 101將通過(guò)應(yīng)用濾波獲得的SR圖<象車#出至運(yùn)動(dòng)補(bǔ)償單元62。
在后一級(jí)中的電^各中，沖丸行與上述處理類似的處理。更特別， 在運(yùn)動(dòng)補(bǔ)償電路62中，對(duì)從喜好控制電路101提供的SR圖像應(yīng)用 運(yùn)動(dòng)補(bǔ)償，并在下行取樣濾波器63中下行取樣通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償
獲得的圖像。在加法電路64中，生成表示與LRn的差異的差異圖
像，并使通過(guò)在上行取樣濾波器65中上行取樣差異圖像獲得的圖 像經(jīng)過(guò)在反向運(yùn)動(dòng)補(bǔ)償電路66中進(jìn)行的反向運(yùn)動(dòng)補(bǔ)償。將通過(guò)反 向應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的SR圖像^是供給喜好控制電^各102。
喜好控制電路102根據(jù)喜好參數(shù)來(lái)選擇濾波器，并使用所選濾 波器來(lái)對(duì)從反向運(yùn)動(dòng)補(bǔ)償電路66提供的SR圖像應(yīng)用濾波。喜好控 制電路102將通過(guò)應(yīng)用濾波獲得的SR圖像輸出至加法電路52n,作 為反饋值。
圖20A ~圖20D是示出了在喜好控制電^各101 、 102中選才奪的 濾波器的特征的實(shí)例的曲線圖。
圖20A~圖20D所示的特征分別類似于圖15A~圖15D所示 的特征，并根據(jù)圖20A所示的喜好參凄t來(lái)調(diào)節(jié)濾波器的特征。
例如，當(dāng)從加法電路52 輸出的SR圖像的圖像質(zhì)量太刺眼， 并且用戶進(jìn)行調(diào)節(jié)以減少刺眼時(shí)，喜好控制電^各102選擇LPF (低 通濾波器)以將從加法電路52 輸出的SR圖像的圖像質(zhì)量調(diào)節(jié)為 更柔和。
此處，參考圖21的流程圖來(lái)描述通過(guò)具有圖18配置的超分辨 率處理器51n執(zhí)行的反饋值算術(shù)處理。
除增加了用于調(diào)節(jié)圖^f象質(zhì)量的處理外，圖21所示的處理與參 考圖11所述的處理等相同。
在步驟S51中，喜好控制電路101根據(jù)喜好參數(shù)選擇濾波器， 并使用選定濾波器來(lái)對(duì)所才是供的SR圖^象應(yīng)用濾波(應(yīng)用喜好控
制)。喜好控制電路101將通過(guò)應(yīng)用濾波獲得的SR圖像輸出至運(yùn)動(dòng)
補(bǔ)j嘗電^各62。
在步驟S52中，運(yùn)動(dòng)向量檢測(cè)電路61基于輸入的SR圖像和 LRn來(lái)檢測(cè)運(yùn)動(dòng)向量，并將檢測(cè)到的運(yùn)動(dòng)向量輸出至運(yùn)動(dòng)補(bǔ)償電路 62和反向運(yùn)動(dòng)補(bǔ)償電^各66。
在步驟S53中，運(yùn)動(dòng)補(bǔ)償電^各62基于乂人運(yùn)動(dòng)向量4全測(cè)電^各61 提供的運(yùn)動(dòng)向量來(lái)對(duì)SR圖像(經(jīng)過(guò)喜好控制并從喜好控制電路101 提供)應(yīng)用運(yùn)動(dòng)補(bǔ)償，并將通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖^f象輸出至下 4亍耳又一羊?yàn)V波器63。
在步驟S54中，下行取樣濾波器63通過(guò)下行取樣從運(yùn)動(dòng)補(bǔ)償 電路62提供的圖像來(lái)生成分辨率與LRn的分辨率相同的圖像，并 將所生成的圖像輸出至加法電路64。
在步驟S55中，力口法電路64生成表示在輸入的LR。與從下行 取樣濾波器63提供的圖像之間的差異的差異圖像，作為下行取樣 的結(jié)果，并將所生成的差異圖像輸出至上行取樣濾波器65。
在步驟S56中，上4亍耳又樣濾波器65通過(guò)上^f亍耳又樣乂人加法電^各 64提供的圖像來(lái)生成分辨率與SR圖像的分辨率相同的圖像，并將 所生成的圖像輸出至反向運(yùn)動(dòng)補(bǔ)償電路66。
在步驟S57中，基于從運(yùn)動(dòng)向量檢測(cè)電路61提供的運(yùn)動(dòng)向量， il向運(yùn)動(dòng)補(bǔ)償電^各66刈-乂人上4亍耳又才羊?yàn)V波器65 ^是供的圖4象反向應(yīng)用 運(yùn)動(dòng)補(bǔ)償，并將通過(guò)反向應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖像輸出至喜好控制 電路102。
在步驟S58中，喜好控制電路102根據(jù)喜好參數(shù)來(lái)選擇濾波器， 并使用所選濾波器來(lái)對(duì)從反向運(yùn)動(dòng)補(bǔ)償電路66提供的SR圖像應(yīng)用 濾波。喜好控制電路102將通過(guò)應(yīng)用濾波獲得的SR圖像作為反饋 值輸出至加法電^各52n。然后，處理返回圖10的步驟S2、 S4或S6，
并重復(fù)相關(guān)處理和后續(xù)處理。
圖22是示出了超分辨率處理器51n的另 一個(gè)配置實(shí)例的框圖。 相同的參考H字給出與圖18相同的組件。適當(dāng)省略重復(fù)描述。
圖22的超分辨率處理器51n的配置與圖18配置的不同之處在 于，取代在運(yùn)動(dòng)補(bǔ)償電路62的前一級(jí)中，在下行取樣濾波器63與 加法電路64之間設(shè)置喜好控制電路101，以及取代在反向運(yùn)動(dòng)補(bǔ)償 電路66的后一級(jí)中，在力口法電路64與上行耳又樣濾波器65之間設(shè) 置喜好控制電路102。
更特別，在圖22的配置中，將通過(guò)下4亍耳又樣濾波器63獲得的 圖像提供給喜好控制電路101 ，并使分辨率與LRn的分辨率相同的 圖像經(jīng)過(guò)濾波。此外，將通過(guò)加法電路64得到的差異圖像提供給 喜好控制電路102,以在這一級(jí)中，對(duì)該差異圖像應(yīng)用濾波。
因此，可以在超分辨率處理器51n內(nèi)的任何位置設(shè)置喜好控制 電路IOI,只要喜好控制電路101位于加法電路64 (用于得到差異 圖l象的組件)的前一^^中的4立置。此外，可以在超分辨率處理器51n 內(nèi)的任何位置設(shè)置喜好控制電路102,只要喜好控制電路102位于 力口法電^各64的后一級(jí)中的位置。例如，還可以通過(guò)具有DSF或USF 的綜合型濾波器來(lái)實(shí)現(xiàn)喜好控制電^各101、 102。
可以僅設(shè)置喜好控制電路101和喜好控制電路102中的一個(gè)。
接下來(lái)描述實(shí)現(xiàn)成 <象運(yùn)動(dòng)圖片的功能的配置。
圖23是示出了通過(guò)成像設(shè)備31執(zhí)行的運(yùn)動(dòng)圖片的成像概念的示圖。
圖23中的LRn至LR。+5是通過(guò)成像單元41獲得并用于進(jìn)行超 分辨率處理的LR圖<象。例如，在成^象單元41中，以每秒30幀的 幀頻來(lái)執(zhí)行LR圖像的成像。
如圖23所示，在除第一處理外的每個(gè)超分辨率處理中，連續(xù) 獲得三個(gè)幀的LR圖^象，并^f吏用一個(gè)幀的SR圖<象。例如，在第一 超分辨率處理中，使用LR圖像的三個(gè)幀LRn、 LRn+1和LRn+2來(lái)生 成SRn ( —個(gè)幀的SR圖像)。
此夕卜，在第二超分辨率處理中，使用LR圖像的三個(gè)幀LRn+1、 LRn+2、 LR。+3和SRn (通過(guò)第一超分辨率處理生成的SR圖像)來(lái)生 成SRn+1 ( —個(gè)幀的SR圖像)。
在第三超分辨率處理中，使用三個(gè)幀的LR圖像的LRn+2、LRn+3、 LRn+4和SRn+1(通過(guò)第二超分辨率處理生成的SR圖像)來(lái)生成SRn+2 (一個(gè)幀的SR圖像)。
以此方式，在成傳3殳備31中，在后一超分辨率處理中還4吏用 在該超分辨率處理中生成的SR圖像，這可以使得處理比僅使用LR 圖1象#^亍超分辨率處理的情況(例如，如圖24所示)更快。
圖24是示出了4吏用超分辨率處理來(lái)成<象運(yùn)動(dòng)圖片的功能的現(xiàn) 有概念的框圖，其中，在每個(gè)超分辨率處理中，仫 使用連續(xù)獲得的 三個(gè)幀的LR圖^f象。例如，在第一超分辨率處理中， -使用LR圖"f象
的三個(gè)幀LRn、 LRn+!和LRn+2生成SR。(一個(gè)幀的SR圖像)。此外，
在第二超分辨率處理中，使用LR圖像的三個(gè)幀LRn+1、 LRn+2、 LRn+3 生成SRw (—個(gè)幀的SR圖像)。
圖25是示出了使用連續(xù)獲得的三個(gè)幀的LR圖像和由前一超分 辨率處理獲得的一個(gè)幀的SR圖像來(lái)執(zhí)行超分辨率處理從而實(shí)現(xiàn)運(yùn) 動(dòng)圖片的成像(如圖23所示)的圖像處理單元42的配置實(shí)例的框圖。
圖25的圖l象處理單元42基本上是通過(guò)延長(zhǎng)圖3的配置(實(shí)現(xiàn) 靜止圖片的成像)獲得的，以便實(shí)現(xiàn)運(yùn)動(dòng)圖片的成像。
如圖25所示，圖像處理單元42由超分辨率處理器2010至2012、 運(yùn)動(dòng)圖片應(yīng)用處理電3各202p 2022、求和電^各203、力o法電3各204、 開(kāi)關(guān)205、原始圖像生成電路206、和SR圖像緩沖器207構(gòu)成。
將LRn(通過(guò)成像獲得的LR圖像)輸入至超分辨率處理器2010、 運(yùn)動(dòng)圖片應(yīng)用處理電^各202，、 2022、和原始圖像生成電路206,以 及將LRn+1輸入至超分辨率處理器20^和運(yùn)動(dòng)圖片應(yīng)用處理電^各 202i。將LRn+2輸入至超分辨率處理器2012和運(yùn)動(dòng)圖片應(yīng)用處理電 路2022。
超分辨率處理器20U基于LRn和存^f諸在SR圖^象緩沖器207中 的SR圖像來(lái)執(zhí)4亍反^t值算術(shù)處理，并將反々貴值輸出至求和電^各 203。認(rèn)為在輸入至超分辨率處理器201。的LR。與在SR圖像上得 到的內(nèi)容之間不存在4艮大的差異，以在由通過(guò)所超分辨率處理器 201o得到的反饋值表示的SR圖像中，所有像素的信息基本上都用 于進(jìn)4亍加法處理。因此，與超分辨率處理器201p 2012的1#出不同， 將超分辨率處理器20lo的#T出原才羊發(fā)送至求和電^各203 ，而無(wú)需經(jīng) 過(guò)運(yùn)動(dòng)圖片應(yīng)用處理。
超分辨率處理器20h基于LRn+!和存儲(chǔ)在SR圖像緩沖器207 中的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將表示SR圖像的反饋值 專#出至運(yùn)動(dòng)圖片應(yīng)用處理電^各202j 。
超分辨率處理器2012基于LRn+2和存儲(chǔ)在SR圖4象緩沖器207 中的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將表示SR圖像的反饋值 專IT出至運(yùn)動(dòng)圖片應(yīng)用處理電^各2022。
運(yùn)動(dòng)圖片應(yīng)用處理電3各202^又將在/人超分辨率處理器201，才是 供的SR圖像的像素中被確定為可用于與存儲(chǔ)在SR圖像緩沖器207 中的SR圖像相加的像素的信息作為反饋值輸出至求和電路203。
例如，將被認(rèn)為在與存儲(chǔ)在SR圖像緩沖器207中的SR圖像 相加時(shí)會(huì)使圖像質(zhì)量退化的區(qū)域中的j象素確定為不可用于與SR圖 像進(jìn)行相加的像素，以通過(guò)運(yùn)動(dòng)圖片應(yīng)用處理來(lái)提耳又僅被認(rèn)為當(dāng)相 加時(shí)有助于改良圖像質(zhì)量的區(qū)域中的像素。在運(yùn)動(dòng)圖片的成像中，
運(yùn)動(dòng)大的對(duì)象通常為對(duì)象，因而，當(dāng)執(zhí)行運(yùn)動(dòng)補(bǔ)償作為反々責(zé)值算術(shù) 處理中的一個(gè)處理時(shí)，可以獲得不清楚的對(duì)象圖〗象。因此，這個(gè)運(yùn) 動(dòng)圖片應(yīng)用處理去除了在不清楚拍攝對(duì)象的區(qū)域中的像素。稍后將 描述運(yùn)動(dòng)圖片應(yīng)用處理的詳情。
運(yùn)動(dòng)圖片應(yīng)用處理電路2022僅將在從超分辨率處理器2012提 供的SR圖像的像素中經(jīng)確定為可用于與存儲(chǔ)在SR圖像i爰沖器207 中的SR圖像相加的像素的信息作為反饋值輸出至求和電路203。
求和電3各203求出乂人超分辨率處理器201o和運(yùn)動(dòng)圖片應(yīng)用處理 電路202i、 2022提供的反饋值的平均，且將分辨率與SR圖像(通 過(guò)均分獲得)的分辨率相同的圖^f象l命出至加法電^各204。
力口法電路204將存儲(chǔ)在SR圖像緩沖器207中的SR圖像與從 求和電路203提供的SR圖像相加，并輸出通過(guò)加法獲得的SR圖 像。力口法電路204的輸出被提供給記錄單元43，作為超分辨率處理 的結(jié)果，并同時(shí)將其提供給將要進(jìn)行存儲(chǔ)的SR圖像緩沖器207。
當(dāng)通過(guò)原始圖像生成電路206生成原始圖像時(shí)，開(kāi)關(guān)205連接 至終端a以將原始圖像存儲(chǔ)在SR圖像緩沖器207中。此外，當(dāng)從 加法電路204提供SR圖像時(shí)，開(kāi)關(guān)205連接至終端b以將SR圖 像存儲(chǔ)在SR圖像緩沖器207中。當(dāng)執(zhí)行原始超分辨率處理時(shí)，開(kāi) 關(guān)205連4妻至終端a，而當(dāng)在重復(fù)的超分辨率處理中^M亍第二超分 辨率處理或后續(xù)超分辨率處理時(shí)，該開(kāi)關(guān)連4妄至纟冬端b。
原始圖像生成電路206基于通過(guò)成像獲得的LRn和SR^(作為 超分辨率處理的結(jié)果獲^f的前一幀的SR圖4象)來(lái)生成原始圖4象， 并使所生成的原始圖像通過(guò)與終端a連接的開(kāi)關(guān)205存儲(chǔ)在SR圖 葉象緩沖器207中。例如，當(dāng)通過(guò)超分辨率處理生成第二幀的SR圖 像時(shí)，將通過(guò)成像獲得的LR2和SR4 (作為超分辨率處理的處理結(jié) 果獲得的SR圖像)提供給原始圖像生成電路206，而當(dāng)通過(guò)超分 辨率處理生成第三幀的SR圖^f象時(shí)，纟是供通過(guò)成l象獲得的LR3和SR2 (作為超分辨率處理的處理結(jié)果獲得的SR圖^f象)。
SR圖像緩沖器207存儲(chǔ)由原始圖像生成電路206生成的原始 圖像或從加法電3各204輸出的SR圖#^。
圖26是示出了原始圖像生成電路206的配置實(shí)例的框圖。
如圖26所示，原始圖<象生成電^各206由上4亍耳又才羊處理單元221、 運(yùn)動(dòng)校正單元222、和圖像生成單元223組成。將LRn輸入至上行 取樣處理單元221,以及將SR^輸入至運(yùn)動(dòng)4交正單元222。上行取^ 樣處理單元221將LRn上4亍取才羊至分辨率與SR圖l象的分辨率相同 的圖<象，并將通過(guò)上行耳又樣獲得的圖^f象輸出至運(yùn)動(dòng)才交正單元222和 圖l象生成單元223。
基于SR^和從上行取樣處理單元221提供的LRn的上行取樣 結(jié)果，運(yùn)動(dòng)一交正單元222 4吏用LRn的上行耳又樣結(jié)果作為參考來(lái)4企測(cè)運(yùn)動(dòng)向量，并使用一全測(cè)到的運(yùn)動(dòng)向量來(lái)對(duì)SR^應(yīng)用運(yùn)動(dòng)補(bǔ)償。運(yùn)
動(dòng)才交正單元222將通過(guò)應(yīng)用運(yùn)動(dòng)補(bǔ)償獲得的圖傳_輸出至圖4象生成單 元223。
圖像生成單元223基于從上行取樣處理單元221提供的LRn的 上行耳又樣結(jié)果、和從運(yùn)動(dòng)纟交正單元222 一是供的運(yùn)動(dòng)補(bǔ)償?shù)慕Y(jié)果來(lái)生 成原始圖像，并使所生成的原始圖像存儲(chǔ)在SR圖像緩沖器207中。 例如，圖像生成單元223使用作為在不能在乂人運(yùn)動(dòng)4交正單元222才是 供的SR圖像中成功執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)膮^(qū)域中的LRn的上行取樣結(jié)果 的SR圖像的像素來(lái)取代在相同區(qū)域中的像素，從而生成原始圖像。
圖27A~圖27C是示出了原始圖像的生成實(shí)例的圖。
圖27A的左側(cè)上所示的LRn是被輸入至上行取樣處理單元221 的LR圖像，而右側(cè)上所示的SRn-!是被輸入至運(yùn)動(dòng)校正單元222的 SR圖像。LR,、與SR^的大小的差異表示分辨率的差異。由于在用 于生成SR^的LR^之后成l象LRn,所以在LRn上拍攝的汽車的位 置是從在SR^上拍攝的汽車的位置開(kāi)始沿行進(jìn)方向移動(dòng)的位置。 LRn與SR^的背景是幾乎相同的布景。
例如，上行取樣上述LRn,并使用上行耳又樣結(jié)果和SRn-!來(lái)檢測(cè) 運(yùn)動(dòng)向量。檢測(cè)到的運(yùn)動(dòng)向量是從在SR^上拍攝的汽車的位置到 在LRn的上行取樣結(jié)果上拍攝的汽車位置的向量。當(dāng)使用上述運(yùn)動(dòng) 向量對(duì)SR^應(yīng)用運(yùn)動(dòng)補(bǔ)償時(shí)，獲得圖27B所示的SR圖l象作為運(yùn)動(dòng) 補(bǔ)償?shù)慕Y(jié)果。
在圖27B所示的SR圖l象中，與圖27A的SR^相比，汽車的 位置沿行進(jìn)方向移動(dòng)。區(qū)域Ai是在SR^上沒(méi)有拍攝的背景區(qū)域， 這個(gè)區(qū)域?qū)⒈惶崛∽鳛椴荒艹晒?yīng)用運(yùn)動(dòng)補(bǔ)償?shù)膮^(qū)域。圖27C所示的SR圖〗象是^f吏用在與LRn的上4亍耳又樣結(jié)果中的區(qū) 域At相同位置中的區(qū)域中的像素來(lái)取代在圖27B所示的SR圖像中 的區(qū)域Ai中的像素的圖像。以此方式，將使用LRn的上行取樣結(jié) 果的像素來(lái)取代在不能成功應(yīng)用運(yùn)動(dòng)補(bǔ)償?shù)膮^(qū)域中的像素的SR圖 像用作原始圖像。為了方便，僅給出表示圖27C的原始圖像中所示 的區(qū)域A1的幀，并且該幀不會(huì)出現(xiàn)在實(shí)際圖l象上。
述原始圖像生成。
圖28是示出了運(yùn)動(dòng)圖片應(yīng)用處理電路202i的配置實(shí)例的框圖。
如圖28所示，運(yùn)動(dòng)圖片應(yīng)用處理電路202i由差異圖像生成單 元231、 二進(jìn)制4匕處理單元232、方文大處理單元233、和屏蔽處理單 元234構(gòu)成。
通過(guò)成像獲得的LRn和LRn+1被輸入至差異圖像生成單元231， 以及通過(guò)超分辨率處理器20h執(zhí)行反饋值算術(shù)處理獲得的SR圖像 4皮輸入至屏蔽處理單元234。
差異圖像生成單元231得到表示LR。與LR,^之間的差異的差 異圖像，并將得到的差異圖像輸出至二進(jìn)制化處理單元232。
基于從差異圖像處理單元231提供的差異圖像，二進(jìn)制化處理 單元232生成二進(jìn)制圖像，在該二進(jìn)制圖像中，例如，在LRn與LRn+1 之間具有極小差異的區(qū)域用1來(lái)表示，以及差異大于閾值的區(qū)域用 O表示，然后將生成的二進(jìn)制圖像輸出至》文大處理單元233。;故大處理單元233將由二進(jìn)制化處理單元232生成的二進(jìn)制圖 像放大成分辨率與SR圖像的分辨率相同的圖像，然后將該圖像作 為屏蔽圖像輸出至屏蔽處理單元234。
屏蔽處理單元234使用從放大處理單元233提供的屏蔽圖像來(lái) 對(duì)從超分辨率處理器201!提供的SR圖像應(yīng)用屏蔽處理，并將從屏 蔽處理得到的結(jié)果作為反饋值輸出至求和電路203 。
圖29A~圖29C是示出了屏蔽圖l象的生成的實(shí)例的圖。
圖29A的左側(cè)上所示的LRn+1和右側(cè)上所示的LRn是被輸入至 差異圖像生成單元231的LR圖像。例如，從這些LR圖像中得到 差異圖像，且將其二進(jìn)制化。
圖29B是示出了二進(jìn)制圖像的實(shí)例的圖，其中，在整個(gè)二進(jìn)制 圖像中，區(qū)域An是與在LR^和LRn上均拍攝到背景的區(qū)域相對(duì) 應(yīng)的區(qū)域，乂人而具有了4及小的差異。因此，這個(gè)區(qū)域用l來(lái)表示。
另一方面，區(qū)域A^是與分別在LRn+1上拍攝到汽車以及在 LRn+,上拍攝到背景的區(qū)域相對(duì)應(yīng)的區(qū)域，從而具有了差異，因此， 這個(gè)區(qū)域用0來(lái)表示。區(qū)域Au是與分別在LRn+!上拍攝到背景以 及在LRn上拍攝到汽車的區(qū)域相對(duì)應(yīng)的區(qū)域，從而具有了差異。因 此，這個(gè)區(qū)域也用O來(lái)表示。
圖29C所示的SR圖像是通過(guò)將圖29B所展的二進(jìn)制圖像放大 為分辨率與SR圖像的分辨率相同的圖像而獲得的屏蔽圖像。對(duì)通 過(guò)反饋算術(shù)處理獲得的SR圖像應(yīng)用使用上述屏蔽圖像的屏蔽處 理。屏蔽處理用0來(lái)取代在通過(guò)反饋值算術(shù)處理獲得的SR圖像中 與圖29C的屏蔽圖^象中的黑色部分表示的區(qū)域相對(duì)應(yīng)的區(qū)域中的像素，并將一部分已被0取代的SR圖像作為反饋值輸出至求和電
路203。
通過(guò)對(duì)反饋值算術(shù)處理的結(jié)果應(yīng)用上述屏蔽處理應(yīng)用，可以防 止顯著移動(dòng)的對(duì)象的區(qū)域中的像素的信息被反饋并與在SR圖像緩 沖器207中的SR圖^f象相加。由于在顯著移動(dòng)的對(duì)象的區(qū)域中可能 發(fā)生對(duì)象抖動(dòng)，所以可以通過(guò)避免使像素信息在此區(qū)域中的反饋來(lái) 防止SR圖像的圖像質(zhì)量的退化。
運(yùn)動(dòng)圖片應(yīng)用處理單元2022也具有與圖28的配置類似的配置。 在運(yùn)動(dòng)圖片應(yīng)用處理單元2022中，使用LR。+2取代LRn+1來(lái)執(zhí)行與 上述處理類似的處J里。
此處，參考圖30的流程圖給出當(dāng)運(yùn)動(dòng)圖片成l象時(shí)的超分辨率 處理的描述，運(yùn)動(dòng)圖片成〗象是通過(guò)具有圖25配置的圖4象處理單元 42執(zhí)行的。
當(dāng)通過(guò)成像單元41成像運(yùn)動(dòng)圖片時(shí)，開(kāi)始這個(gè)處理，將LRn 舉敘入至超分辨率處理器201，、運(yùn)動(dòng)圖片應(yīng)用處理單元202,、 2022和 原始圖像生成電路206,將LRn+1輸入至超分辨率處理器201!和運(yùn) 動(dòng)圖片應(yīng)用處理單元202,，以及將LRn+2輸入至超分辨率處理器2012 和運(yùn)動(dòng)圖片應(yīng)用處理單元2022。
在步驟S101中，原始圖像生成電^各206沖丸行原始圖像生成處 理，并使所生成的原始圖像-故存儲(chǔ)在SR圖傳J爰沖器207中。稍后 將參考圖31描述原始圖4象生成處理。
在步驟S102中，超分辨率處理器201o至2012中的每個(gè)基于 LR圖像和存儲(chǔ)在SR圖像緩沖器207中的SR圖像來(lái)執(zhí)行反饋值算 術(shù)處理，并輸出反々貴值。
基于LRn和超分辨率處理器2010中的SR圖^f象、基于LRw和 在超分辨率處理器201，中的SR圖像、以及基于LRn+2和超分辨率 處理器2012中的SR圖〗象，分別扭^亍與參考圖11所述的處理相似 的處理。將從超分辨率處理器201o輸出的反饋值輸入至求和電路 203,以及將從超分辨率處理器20^輸出的反饋值輸入至運(yùn)動(dòng)圖片 應(yīng)用處理電路202i。將從超分辨率處理器2012輸出的反饋值輸入至 運(yùn)動(dòng)圖片應(yīng)用處理電3各2022。
在步驟S103中，運(yùn)動(dòng)圖片應(yīng)用處理電路202^ 2022中的每個(gè)
執(zhí)行運(yùn)動(dòng)圖片應(yīng)用處理，并將通過(guò)運(yùn)動(dòng)圖片應(yīng)用處理獲得的反饋值 輸出至求和電^各203。稍后將參考圖32的流程圖來(lái)描述運(yùn)動(dòng)圖片應(yīng)
用處理。
在步-驟S104中，求和電^各203 ^J"/人超分I辟率處理器2010和運(yùn) 動(dòng)圖片應(yīng)用處理電路202，、 2022提供的反饋值求和，并將求和結(jié)果 車敘出至加法電3各204。
在步驟S105中，求和電^各204 一等由/人求和電^各203 4是供的反 饋值表示的SR圖像與存儲(chǔ)在SR圖像緩沖器207中的SR圖像相加。
在步驟S106中，力。法電路204將通過(guò)加法獲得的SR圖4象輸出 至記錄單元43,并同時(shí)將其提供給將要進(jìn)行存儲(chǔ)的SR圖像緩沖器 207。
重復(fù)步驟S102和稍后的處理，直至確定從圖^f象處理單元42豐lr 出的SR圖像具有了足夠的分辨率。
接下來(lái)參考圖31的流程圖描述在圖30的步驟S101中4丸行的 原始圖^f象生成處理。
在步驟Sill中，原始圖像生成電路206的上行取樣處理單元 221將LRn上行取樣至分辨率與SR圖像的分辨率相同的圖像，并 將通過(guò)上行取樣獲得的圖像輸出至運(yùn)動(dòng)4交正單元222和圖l象生成單 元223。
在步驟S112中，運(yùn)動(dòng)4交正單元222基于SRw和乂人上4亍耳又樣處 理單元221提供的LRn的上行取樣結(jié)果來(lái)4企測(cè)運(yùn)動(dòng)向量。
在步驟S113中，運(yùn)動(dòng)校正單元222使用才企測(cè)到的運(yùn)動(dòng)向量來(lái) 將對(duì)SR^應(yīng)用運(yùn)動(dòng)補(bǔ)償并將所獲得的圖像輸出至圖像生成單元 223。
在步驟S114中，圖l象生成單元223將作為從上行耳又樣處理單 元221提供的LRn的上行取樣結(jié)果的SR圖像與作為從運(yùn)動(dòng)校正單 元222提供的運(yùn)動(dòng)補(bǔ)償結(jié)果的SR圖像進(jìn)行比較，并在該SR圖像 中提取出不能應(yīng)用運(yùn)動(dòng)補(bǔ)償?shù)膮^(qū)域來(lái)作為運(yùn)動(dòng)補(bǔ)償結(jié)果。
在步驟S115中，圖〗象生成單元223使用作為在相同位置中的 區(qū)域中的LRn的上行取樣結(jié)果的SR圖像的像素取代在步驟S114中 提取出的區(qū)域中的像素來(lái)生成原始圖像。然后，處理返回至圖30 的步備聚S101來(lái)4丸4于相關(guān)處理和后續(xù)處理。
接著，參考圖32的流程圖描述在圖30的步驟S103中執(zhí)行的 運(yùn)動(dòng)圖片應(yīng)用處理。此處，給出了對(duì)通過(guò)運(yùn)動(dòng)圖片應(yīng)用處理電路 202t執(zhí)行的處理的描述。在運(yùn)動(dòng)圖片應(yīng)用處理電路2022中也執(zhí)行類 似的處理。
在步驟S121中，運(yùn)動(dòng)圖片應(yīng)用處理電路202i的差異圖像生成 單元231得到表示LR。與LRnw之間的差異的差異圖像，并將得到 的差異圖 <象輸出至二進(jìn)制化處理單元232。
在步驟S122中，二進(jìn)制化處理單元232生成二進(jìn)制圖^f象，在 該二進(jìn)制圖像中，例如，在LRn與LRnw之間具有極小差異的區(qū)域 用1來(lái)表示，差異大于闊值的區(qū)域用0來(lái)表示，然后將所生成的二 進(jìn)制圖像輸出至方文大處理單元233。
在步驟S123中，力文大處理單元233將由二進(jìn)制化處理單元232 生成的二進(jìn)制圖像放大為分辨率(尺寸)與SR圖像的分辨率(尺 寸)相同的圖像，并將其作為屏蔽圖像輸出至屏蔽處理單元234。
在步驟S124中，屏蔽處理單元234 ^吏用/人方欠大處理單元233 提供的屏蔽圖4象對(duì)乂人超分辨率處理器201^是供的SR圖l象應(yīng)用屏蔽 處理，并將從屏蔽處理得到的結(jié)果作為反饋值輸出至求和電路203。
圖33為運(yùn)動(dòng)圖片應(yīng)用處理電^各202i的另 一個(gè)配置實(shí)例的沖匡圖。
雖然在圖25的實(shí)例中，作為用于運(yùn)動(dòng)圖片應(yīng)用處理的LR圖4象， 分別將LRn輸入至運(yùn)動(dòng)圖片應(yīng)用處理電^各202^ 2022,將LRn+1輸 入至運(yùn)動(dòng)圖片應(yīng)用處理電路202p以及將LRn+2輸入至運(yùn)動(dòng)圖片應(yīng) 用處理電路2022,但是取代LRn,還可以輸入存儲(chǔ)在SR圖像緩沖 器207中的SR圖4象。
在圖33的實(shí)例中，運(yùn)動(dòng)圖片應(yīng)用處理電^各202！由上4亍取樣處 理單元241、差異圖i象生成單元242、 二進(jìn)制4b處理單元243、和屏 蔽處理單元244構(gòu)成，并且將通過(guò)成像獲得的LR。w輸入至上行取 樣處理單元241,將存儲(chǔ)在SR圖像緩沖器207中的SR圖像輸入至 差異圖像生成單元242。將通過(guò)超分辨率處理器20^執(zhí)行反饋值算 術(shù)處理獲得的SR圖l象輸入至屏蔽處理單元244。
上4亍耳又才羊處理單元241 一尋LR。+i上4亍取才羊至分辨率與SR圖<象 的分辨率相同的圖像，并將通過(guò)上行取樣獲得的圖1泉輸出至差異圖 像生成單元242。
差異圖像生成單元242得到表示在LR^與SR圖像之間的差 異的差異圖像，并將得到的差異圖像輸出至二進(jìn)制化處理單元243。
基于從差異圖像生成單元242提供的差異圖像，二進(jìn)制化處理 單元243生成二進(jìn)制圖像，其中，例如，在LRn+1與SR的取樣結(jié) 果之間具有極小差異的區(qū)域用l來(lái)表示，以及差異大于閾值的區(qū)域 用O來(lái)表示，然后將生成的二進(jìn)制圖像作為屏蔽圖像輸出至屏蔽處 理單元244。
屏蔽處理單元244使用從;改大處理單元243提供的屏蔽圖像來(lái) 對(duì)從超分辨率處理器20h提供的SR圖像應(yīng)用屏蔽處理，并將屏蔽 處理的結(jié)果作為反饋值輸出至求和電路203 。
圖34A~圖34C是示出了屏蔽圖像的生成實(shí)例的示圖。
圖34A的左側(cè)上所示的LRn+1是被輸入至上行取樣處理單元 241的LR圖像，以及右側(cè)上所示的SR圖像是被輸入至差異圖像生 成單元242的SR圖4象。例如，4吏此LR圖4象經(jīng)過(guò)上4亍耳又樣，并人人 上行耳又樣結(jié)果以及待進(jìn)行二進(jìn)制化的SR圖<象中得到差異圖<象。
圖34B是示出了二進(jìn)制圖像的實(shí)例的示圖。在整個(gè)二進(jìn)制圖^f象 中，區(qū)域A21是與在LRn+1的上行耳又樣結(jié)果和SR圖〗象上都拍才聶到背 景的區(qū)域相對(duì)應(yīng)的區(qū)域，,人而具有才及小的差異，因而這個(gè)區(qū)域可以 用1來(lái)表示。另 一方面，區(qū)域A22是與分別在LRn+1的上行取樣結(jié)果上拍招L 到汽車而在SR圖像上拍攝到背景的區(qū)域相對(duì)應(yīng)的區(qū)域，從而具有 了差異。因此，這個(gè)區(qū)域用0來(lái)表示。區(qū)域八23是與分別在LRn+1 的上行取樣結(jié)果上拍攝到背景而在SR圖像上拍攝到汽車的區(qū)域相 對(duì)應(yīng)的區(qū)域，乂人而具有了差異。因此，這個(gè)區(qū)i或也用O來(lái)表示。
圖34C所示的SR圖像是從圖34B所示的二進(jìn)制圖像獲得的屏 蔽圖像。對(duì)由超分辨率處理器20h獲得的SR圖像應(yīng)用4吏用上述屏 蔽圖像的屏蔽處理。屏蔽處理用O來(lái)取代在由反饋值算術(shù)處理獲得 的SR圖像中與圖34C的屏蔽圖像中的黑色所表示的區(qū)域相對(duì)應(yīng)的 區(qū)域中的像素，并將一部分已被0取代的SR圖像作為反饋值輸出 至求和電3各203。
通過(guò)對(duì)反々貴值算術(shù)處理的結(jié)果應(yīng)用上述屏蔽處理，還可以防止 在對(duì)象顯著移動(dòng)的區(qū)域中的像素的信息被用作反饋值。
運(yùn)動(dòng)圖片應(yīng)用處理電^各2022也可以具有與圖33的配置類似的 配置。在此情況下，在運(yùn)動(dòng)圖片應(yīng)用處理電路2022中，使用LRn+2 取代LRn+1來(lái)執(zhí)行與上述處理類似的處理。
接下來(lái)參考圖35的流程圖描述由具有與圖33的相同配置的運(yùn) 動(dòng)圖片應(yīng)用處理電路202i執(zhí)行的運(yùn)動(dòng)圖片應(yīng)用處理。
這個(gè)處理是在圖30的步驟S103中執(zhí)行的處理。此處，描述了 通過(guò)運(yùn)動(dòng)圖片應(yīng)用處理電^各202i執(zhí)行的處理。在運(yùn)動(dòng)圖片應(yīng)用處理 電^各2022中也沖丸4亍類似的處理。
在步驟S131中，上行耳又樣處理單元241將LRn+1上行耳又樣至分 辨率與SR圖像的分辨率相同的圖像，并將通過(guò)上行取樣獲得的圖 像輸出至差異圖像生成單元242。 在步驟S132中，差異圖^f象生成單元242得到表示在LRn+1的上 行取樣結(jié)果與SR圖像之間的差異的差異圖像，并將得到的差異圖 1象輸出至二進(jìn)制化處理單元243。
在步驟S133中，二進(jìn)制化處理單元243通過(guò)對(duì)/人差異圖4象生 成單元242提供的差異圖像進(jìn)行二進(jìn)制化來(lái)生成屏蔽圖像，并將生 成的屏蔽圖像輸出至屏蔽處理單元244。
在步驟S134中，屏蔽處理單元244 ^f吏用從放大處理單元243 提供的屏蔽圖〗象來(lái)對(duì)從超分辨率處理器201j是供的SR圖^f象應(yīng)用屏 蔽處理，并將乂人屏蔽處理得到的結(jié)果作為反々貴值，lT出至求和電^各 203。
圖36是示出了用于實(shí)現(xiàn)運(yùn)動(dòng)圖片的成像的圖像處理單元42的 另一個(gè)配置實(shí)例的^i圖。
在圖36的圖4象處理單元42中，4吏用連續(xù)獲4f的三個(gè)幀的LR 圖像和由前一加法處理獲得的一個(gè)幀的SR圖^象來(lái)才丸^亍每個(gè)加法處 理。相同的參考數(shù)字給出與圖25相同的組件。適當(dāng)省略重復(fù)描述。
在圖36的實(shí)例中，圖^象處理單元42由超分，辟率處理器2010 至2012、運(yùn)動(dòng)圖片應(yīng)用處理電^各202p 2022、力口法電3各251o至2512、 開(kāi)關(guān)205、原始圖像生成電路206、和SR圖像緩沖器207構(gòu)成。
圖36的圖^f象處理單元42是通過(guò)延長(zhǎng)圖8的配置(通過(guò)4吏用高 斯-賽德?tīng)柗椒ǖ某直媛侍幚韥?lái)生成SR圖像)獲得的，從而實(shí)現(xiàn) 了運(yùn)動(dòng)圖片的成像。
將LRn (從成像單元41提供的LR圖像)輸入至超分辨率處理 器20U、運(yùn)動(dòng)圖片應(yīng)用處理電^各202p 2022、和原始圖4象生成電鴻^
206,以及將LRn+1 llr入至超分辨率處理器20h和運(yùn)動(dòng)圖片應(yīng)用處 理電路202，。將LRn+2輸入至超分辨率處理器2012和運(yùn)動(dòng)圖片應(yīng)用 處理電路2022。 LRn至LRn+2是連續(xù)獲得的LR圖像。
超分辨率處理器2010基于LRn和存儲(chǔ)在SR圖像緩沖器207中 的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至加法電路 2510。
加法電路251o將存儲(chǔ)在SR圖像緩沖器207中的SR圖像與由 從超分辨率處理器2010提供的反饋值表示的SR圖像相加，并輸出 通過(guò)加法獲得的一個(gè)幀的SR圖^象作為第一加法處理的結(jié)果。將,人 加法電路251o輸出的SR圖像輸入至超分辨率處理器20^和加法電 路251"
超分辨率處理器201!基于LRn+!和從加法電路251o提供的SR 圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值輸出至運(yùn)動(dòng)圖片應(yīng)用處理 電路202"
在從超分辨率處理器201^是供的SR圖^象的^象素中，運(yùn)動(dòng)圖片 應(yīng)用處理電路202t僅將被確定為可與SR圖像相加的像素的信息作 為反々貴值輸出至加法電^各25^。
加法電路251，將從加法電路251^是供的SR圖^f象與由從運(yùn)動(dòng)圖 片應(yīng)用處理電路202^是供的反饋值表示的SR圖像相加，并輸出通 過(guò)加法獲得的一個(gè)幀的SR圖像作為第二加法處理的結(jié)果。從加法 電路25h輸出的SR圖像被輸入至超分辨率處理器2012和加法電路 251，。
超分辨率處理器2012基于LR。+2和從加法電路251,提供的SR 圖像來(lái)#1行反々貴值算術(shù)處理，并將反々貴值輸出至運(yùn)動(dòng)圖片應(yīng)用處理 電路2022。
加法電路25l2將從加法電路25^提供的SR圖像與由從運(yùn)動(dòng)圖 片應(yīng)用處理電路2022提供的反饋值表示的SR圖像相加，并輸出通 過(guò)加法獲得的一個(gè)幀的SR圖i象作為超分辨率處理的結(jié)果。,人加法 電路2512輸出的SR圖像被輸入至記錄單元43,同時(shí)，將該SR圖 像其通過(guò)開(kāi)關(guān)205沖是供給將要進(jìn)行存4諸的SR圖像緩沖器207。
當(dāng)通過(guò)原始圖像生成電路206生成原始圖4象時(shí)，開(kāi)關(guān)205連接 至終端a以將原始圖像存儲(chǔ)在SR圖像緩沖器207中。此外，當(dāng)從 加法電^各25124是供SR圖^f象時(shí)，開(kāi)關(guān)205連4妻至終端b以將SR圖 像存儲(chǔ)在SR圖像緩沖器207中。
例如，當(dāng)開(kāi)始超分辨率處理時(shí)，原始圖像生成電路206如參考 圖31所述生成原始圖像，并<吏所生成的原始圖<象通過(guò)與終端a連 接的開(kāi)關(guān)205存儲(chǔ)在SR圖像緩沖器207中。
SR圖像緩沖器207存儲(chǔ)由原始圖像生成電路206生成的原始 圖像或從加法電路2512提供的SR圖像。
雖然在圖36的實(shí)例中，4吏用一個(gè)幀的SR圖傳_和三個(gè)幀的LR 圖像來(lái)執(zhí)行一連串的超分辨率處理，但是用于超分辨率處理的LR 圖像數(shù)是任意的。
例如，如圖37所示，還可以使用通過(guò)前一超分辨率處理生成 的一個(gè)幀的SR圖〗象和兩個(gè)幀的LR圖^f象來(lái)寺丸一亍每個(gè)超分辨率處理， 或如圖38所示，還可以4吏用通過(guò)前一超分辨率處理生成的一個(gè)幀 的SR圖像、和一個(gè)幀的LR圖像來(lái)執(zhí)行每個(gè)超分辨率處理。
在圖37的實(shí)例中，使用連續(xù)獲得的兩個(gè)幀的LR圖像和一個(gè)幀 的SR圖^f象來(lái)執(zhí)行除第一處理外的每個(gè)超分辨率處理。在第一超分 辨率處理中，使用LR圖像的兩個(gè)幀LRn、 LRn+1來(lái)生成SRn ( —個(gè) 幀的SR圖卩象)。
此夕卜，在第二超分辨率處理中，4吏用LR圖像的兩個(gè)幀LRn+1、 LRn+2以及SRn(通過(guò)第 一超分辨率處理獲得的SR圖像)來(lái)生成SRn+1 (一個(gè)幀的SR圖像)。
在第三超分辨率處理中，使用LR圖像的兩個(gè)幀LRn+2、 LRn+3 以及SRn+1 (通過(guò)第二超分辨率處理獲得的SR圖像)來(lái)生成SRn+2 (一個(gè)幀的SR圖l象)。
在圖38的實(shí)例中，使用一個(gè)幀的LR圖像和一個(gè)幀的SR圖像 來(lái)寺丸4于除第一處理外的每個(gè)超分辨率處理。在第一超分辨率處理 中，使用LR圖像的一個(gè)幀LRn來(lái)生成SRn (—個(gè)幀的SR圖像)。 例如，通過(guò)將LRn上行取樣至分辨率與SR圖像的分辨率相同的圖 i象來(lái)生成SRn。
此夕卜，在第二超分辨率處理中，使用LR圖像的一個(gè)幀LRn+1 以及SRn(通過(guò)第一超分辨率處理獲得的SR圖像)來(lái)生成SRn+1( — 個(gè)幀的SR圖<象)。
在第三超分辨率處理中，使用LR圖像的一個(gè)幀LRn+2以及 SRn+1 (通過(guò)第二超分辨率處理獲得的一個(gè)幀的SR圖像)來(lái)生成 SRn+2 ( —個(gè)幀的SR圖像)。
圖39是使用 一個(gè)幀的LR圖像和一個(gè)幀的SR圖像來(lái)執(zhí)行每個(gè) 超分辨率處理以實(shí)現(xiàn)運(yùn)動(dòng)圖片的成{象(如圖38所示)的圖^f象處理
單元42的另一個(gè)配置實(shí)例的才匡圖。相同的參考凄史字主合出與圖36中 相同的^H/f牛。適當(dāng)省略重復(fù)描述。
除了被配置為執(zhí)行第二反饋值算術(shù)處理的超分辨率處理器 2011 、運(yùn)動(dòng)圖片應(yīng)用處理電^各202t和加法電^各25^以及,皮配置為才丸 行第三反々貴值算術(shù)處理的超分辨率處理器2012、運(yùn)動(dòng)圖片應(yīng)用處理 電路2022和加法電路2512外，圖39的圖像處理單元基本上具有與 圖36的配置類^f以的配置。
超分辨率處理器201o基于LR。和存儲(chǔ)在SR圖^f象緩沖器207中 的SR圖像來(lái)執(zhí)行反饋值算術(shù)處理，并將反饋值算術(shù)處理的結(jié)果輸 出至加法電^各251()。
加法電路25U將存儲(chǔ)在SR圖像緩沖器207中的SR圖像與由 從超分辨率處理器201o提供的反饋值表示的SR圖像相加，并輸出 通過(guò)加法獲得的SR圖像。從加法電路2510輸出的SR圖像作為超 分辨率處理的結(jié)果被提供給記錄單元43,并同時(shí)通過(guò)開(kāi)關(guān)205被提 供給將進(jìn)行存儲(chǔ)的SR圖像緩沖器207。
因此，用于一個(gè)超分辨率處理中的LR圖^f象凄丈的減少可使超分 辨率處j里更快。
如圖37所示，在使用一個(gè)幀的SR圖像和兩個(gè)幀的LR圖像來(lái) 執(zhí)行超分辨率處理的圖像處理單元42中，從圖36的圖像處理單元 42的配置中去除^皮配置為扭^于第三反々貴值算術(shù)處理和加法處理的 超分辨率處理器2012、運(yùn)動(dòng)圖片應(yīng)用處理電^各2022和加法電^各 2512。
雖然之前，通過(guò)前一超分辨率處理生成的LR圖像和SR圖像 用于執(zhí)行每個(gè)超分辨率處理，^f旦是在成^象單元41具有在運(yùn)動(dòng)圖片
的成像期間開(kāi)始靜止圖片的成像的功能的情況下，可以使用LR圖
像和同時(shí)成像的一個(gè)幀的靜止圖片來(lái)^vf亍超分辨率處理。在此情況
下，在運(yùn)動(dòng)圖片的成像期間成像的靜止圖片的分辨率大于LR圖像
的分辨率。
圖40是示出了使用LR圖像和在運(yùn)動(dòng)圖片的成像期間成像的一 個(gè)幀的靜止圖片進(jìn)行的超分辨率處理的概念的示圖。
在圖40的實(shí)例中，使用LR圖像的三個(gè)幀LRn+3、 LRn+4、 LRn+
和靜止圖片n+3 (在與LRn+3的成像同時(shí)成像的一個(gè)幀的靜止圖片)
來(lái)扭J于第四超分辨率處理。
可以通過(guò)硬件或軟件來(lái)寺丸行上述一連串處理。當(dāng)通過(guò)軟件來(lái)執(zhí) 行這一連串處理時(shí)，將軟件安裝到在指定硬件上安裝有用于配置軟 件的程序的計(jì)算機(jī)上，或者安裝到(例如)能夠通過(guò)程序記錄介質(zhì) 安裝各種程序等以程序來(lái)才丸行各種功能的通用個(gè)人計(jì)算才幾上。
圖4]是示出了4丸行上述一連串處理的個(gè)人計(jì)算才幾的配置的一
實(shí)例的框圖。
CPU (中央處理單元)301根據(jù)存儲(chǔ)在ROM (只讀存儲(chǔ)器)302 或存儲(chǔ)單元308中的程序來(lái)執(zhí)行各種類型的處理。將由CPU 301執(zhí) 行的程序、數(shù)據(jù)等適當(dāng)存儲(chǔ)在RAM (隨才幾存耳又存儲(chǔ)器)303中。將 CPU 301 、 ROM 302禾口 RAM 303通過(guò),悉纟戔304 4皮jt匕連才妻。
同樣將輸入/輸出接口 305通過(guò)總線304連接至CPU 301 。將由 鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入單元306和由顯示器、揚(yáng)聲器等 構(gòu)成的輸出單元307連接至輸入/輸出接口 305。 CPU301執(zhí)行與從 輸入單元306輸入的指令相對(duì)應(yīng)的各種類型的處理。CPU 301將處 理結(jié)果輸出至輸出單元307。例如，連接至輸入/輸出接口 305的存儲(chǔ)單元308由硬盤構(gòu)成， 以存儲(chǔ)由CPU 301執(zhí)行的程序和各種類型的數(shù)據(jù)。通信單元309通 過(guò)互聯(lián)網(wǎng)或諸如局域網(wǎng)的網(wǎng)絡(luò)來(lái)與外部設(shè)備通信。
連接至輸入/輸出接口 305的驅(qū)動(dòng)器310驅(qū)動(dòng)諸如萬(wàn)茲盤、光盤、 磁光盤和半導(dǎo)體存儲(chǔ)器等的可移動(dòng)介質(zhì)311。當(dāng)加載可移動(dòng)介質(zhì)311 時(shí)，需要在該可移動(dòng)介質(zhì)中存儲(chǔ)程序、數(shù)據(jù)等。根據(jù)需要，將所需 的程序或數(shù)據(jù)轉(zhuǎn)移至將要進(jìn)行存卩渚的存儲(chǔ)單元308。
如圖41所示，用于存儲(chǔ)程序的程序記錄介質(zhì)(安裝在計(jì)算枳j 上并處于可以通過(guò)計(jì)算枳4丸4亍的一犬態(tài))可以是可移動(dòng)介質(zhì)311 (由 磁盤(包括軟盤)、光盤(包括CD-ROM (緊致光盤只讀存儲(chǔ)器))、 和DVD (數(shù)字式通用盤)、磁光盤、半導(dǎo)體存儲(chǔ)器等構(gòu)成的封裝介 質(zhì))、或臨時(shí)或永久存儲(chǔ)程序的ROM 302、用于配置存儲(chǔ)單元308 的硬盤等。根據(jù)需要，通過(guò)通信單元309 (諸如路由器和調(diào)制解調(diào) 器的4妄口 )，利用有線或無(wú)線通信介質(zhì)(包括局域網(wǎng)、互耳關(guān)網(wǎng)和凄t 字衛(wèi)星廣播)來(lái)將程序存儲(chǔ)在記錄介質(zhì)的程序中。
在本說(shuō)明書中，描述程序的步驟不僅包括以所述時(shí)間順序執(zhí)行 的處理，還包4舌并4亍或單獨(dú)而非以時(shí)間順序來(lái)批J亍的處理。
本發(fā)明的實(shí)施例并不限于上述實(shí)施例。在不脫離本發(fā)明精神的 '清況下，可以進(jìn)4亍多種》務(wù)改。
權(quán)利要求
1.一種圖像處理設(shè)備，包括加法裝置，用于執(zhí)行將表示第一分辨率的輸入圖像與高于所述第一分辨率的第二分辨率的圖像之間的差異的所述第二分辨率的差異圖像的像素作為所述第二分辨率的輸入圖像的像素相加的加法處理；以及圖像處理裝置，其包括多個(gè)所述加法裝置，所述圖像處理裝置被配置為執(zhí)行第二和以后的加法處理，并通過(guò)預(yù)定次數(shù)地執(zhí)行所述加法處理來(lái)生成所述第二分辨率的圖像作為處理結(jié)果，使用互不相同的所述第一分辨率的圖像和通過(guò)前一加法處理獲得的所述第二分辨率的所述圖像的輸入來(lái)執(zhí)行所述加法處理。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括控制裝置，用 于基于通過(guò)所述加法處理獲得的所述第二分辨率的所述圖像， 控制是否4吏用通過(guò)所述加法處理獲得的所述第二分辨率的所 述圖 <象的所述輸入來(lái)扭j亍下 一加法處理。
3. 根據(jù)權(quán)利要求1所述的圖l象處理i殳備，還包括調(diào)節(jié)裝置，用 于執(zhí)行表示所述差異圖像的信號(hào)的增益的調(diào)節(jié)。
4. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括調(diào)節(jié)裝置，用 于執(zhí)行表示作為用于獲得所述差異圖像的所述圖像而輸入的 所述第二分辨率的所述圖像的信號(hào)的增益的調(diào)節(jié)、和表示所得到的所述差異圖像的信號(hào)的增益的調(diào)節(jié)中的至少任 一 個(gè)調(diào)節(jié)。
5. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括生成裝置，用 于生成作為第 一加法處理的輸入的所述第二分辨率的原始圖 像，其中，當(dāng)所述圖<象處理裝置4吏用第n幀的所述第一分辨 率的拾取圖i象生成所述第二分辨率的圖像作為第n巾貞的處理 結(jié)果時(shí)，所述生成裝置生成一個(gè)圖像作為所述原始圖像，在所述 一個(gè)圖像中，構(gòu)成第(n-1 )幀的處理結(jié)果的所述第二分辨率的圖 像的一部分像素一皮通過(guò)構(gòu)成由上^f亍取樣所述第n幀的所述第 一分辨率的所述圖像而獲得的圖像的像素取代。
6. 才艮據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述生成裝置還 包括上行耳又樣處理裝置，用于上行耳又樣通過(guò)成l象獲得的所述 第n幀的所述第一分辨率的所述圖像；才交正裝置，用于使用基于作為所述第(n-l)幀的所述處理 結(jié)果的所述第二分辨率的所述圖4象和由所述上4亍耳又樣處理裝 置的上行取樣而獲得的所述圖像纟僉測(cè)到的運(yùn)動(dòng)向量，將運(yùn)動(dòng)^卜 償應(yīng)用于作為所述第(n-l)幀的處理結(jié)果的所述第二分辨率的 所述圖Y象；以及圖像生成裝置，用于通過(guò)4吏用在對(duì)應(yīng)位置區(qū)域中通過(guò)所 述上行取樣處理裝置的所述上行取樣而獲得的所述圖^f象的l象 素，取代在所述4交正裝置通過(guò)應(yīng)用所述運(yùn)動(dòng)補(bǔ)償而獲得的所述 圖像中顯示對(duì)象的區(qū)域中的^象素，生成所述原始圖^f象，其中， 通過(guò)所述運(yùn)動(dòng)補(bǔ)償來(lái)移動(dòng)所述對(duì)象的位置。
7. —種圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括 多個(gè)加法裝置，用于執(zhí)行將表示第一分辨率的輸入圖像與高于 所述第 一分辨率的第二分辨率的圖像之間的差異的所述第二 分辨率的差異圖像的像素作為所述第二分辨率的輸入圖像的象素相加的加法處J里，所述方法包括以下步驟<吏用互不相同的所述第一分辨率的所述圖Y象和通過(guò)前一 加法處理獲得的所述第二分辨率的所述圖像的輸入來(lái)執(zhí)行第 二和以后的加法處理；以及通過(guò)預(yù)定次數(shù)地執(zhí)行于所述加法處理來(lái)生成所述第二分辨 率的圖像作為處理結(jié)果。
8. —種用于使計(jì)算機(jī)執(zhí)行圖像處理設(shè)備的圖像處理的程序，所述 圖像處理設(shè)備包括多個(gè)加法裝置，用于執(zhí)行將表示第一分辨 率的輸入圖像與高于所述第 一分辨率的第二分辨率的圖像之 間的差異的所述第二分辨率的差異圖象的象素作為所述第二 分辨率的輸入圖像的像素相加的加法處理，所述程序包括以下 步驟使用互不相同的所述第 一分辨率的所述圖像和通過(guò)前一 加法處理獲得的所述第二分辨率的所述圖像的輸入來(lái)執(zhí)行第 二和以后的加法處理；以及通過(guò)預(yù)定次數(shù)地執(zhí)行所述加法處理來(lái)生成所述第二分辨 率的圖象作為處理結(jié)果。
9. 一種圖像處理設(shè)備，包括加法器，用于執(zhí)行將表示第一分辨率的輸入圖像與高于 所述第 一分辨率的第二分辨率的圖像之間的差異的所述第二 分辨率的差異圖像的像素作為所述第二分辨率的輸入圖像的 ^象素相加的力P法處理；以及處理器，包括多個(gè)所述加法器，所述處理器^皮配置為凈丸 行第二和以后的加法處理，并通過(guò)預(yù)定次數(shù)地執(zhí)行所述加法處 理來(lái)生成所述第二分辨率的圖4象作為處理結(jié)果，4吏用互不相同 的所述第 一分辨率的圖像和通過(guò)前一加法處理獲得的所述第 二分辨率的圖像的輸入來(lái)執(zhí)行所述加法處理。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備、圖像處理方法和程序，其中，該圖像處理設(shè)備包括多個(gè)加法裝置和一個(gè)圖像處理裝置。加法裝置執(zhí)行將表示第一分辨率的輸入圖像與高于第一分辨率的第二分辨率的圖像之間的差異的第二分辨率的差異圖像的像素作為第二分辨率的輸入圖像的像素相加的加法處理。圖像處理裝置被配置為執(zhí)行第二和以后的加法處理，并通過(guò)預(yù)定次數(shù)地執(zhí)行加法處理來(lái)生成第二分辨率的圖像作為處理結(jié)果。使用互不相同的第一分辨率的圖像和通過(guò)前一加法處理獲得的第二分辨率的圖像的輸入來(lái)執(zhí)行加法處理。
文檔編號(hào)G09G5/391GK101192400SQ200710195480
公開(kāi)日2008年6月4日 申請(qǐng)日期2007年11月30日 優(yōu)先權(quán)日2006年11月30日
發(fā)明者名云武文 申請(qǐng)人:索尼株式會(huì)社