專(zhuān)利名稱(chēng)：圖像處理裝置及方法以及攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種進(jìn)行圖像處理的圖像處理裝置以及圖像處理方法還 有利用圖像處理裝置及圖像處理方法的攝像裝置。
10
背景技術(shù)：
作為對(duì)低分辨率圖像進(jìn)行高分辨率化的圖像處理技術(shù)，提出了一種超 分辨處理。進(jìn)行超分辨處理的裝置，參照存在位置偏離的多個(gè)低分辨率圖 像，基于多個(gè)低分辨率圖像之間的位置偏離量與多個(gè)低分辨率圖像的圖像 數(shù)據(jù)，進(jìn)行低分辨率圖像的高分辨率化，從而生成一張高分辨率圖像。該 15高分辨率化，是以從多個(gè)低分辨率圖像中選擇的基準(zhǔn)圖像為基準(zhǔn)進(jìn)行的， 位置偏離量計(jì)算等，是以基準(zhǔn)圖像為基準(zhǔn)進(jìn)行的。因此，所得到的高分辨 率圖像的內(nèi)容(包含畫(huà)質(zhì)或構(gòu)圖)，很大程度依賴于基準(zhǔn)圖像。另外，基 準(zhǔn)圖像，也稱(chēng)為基準(zhǔn)幀、目標(biāo)幀或?qū)ο髨D像等。
一般而言，基準(zhǔn)圖像成為通過(guò)連續(xù)攝影所得到的按時(shí)序排列的圖像列 20 內(nèi)最早生成的圖像。
如上述，由于通過(guò)高分辨率化所得到的高分辨率圖像的內(nèi)容很大程度 依賴于基準(zhǔn)圖像，因此為了得到更優(yōu)選的高分辨率圖像，需要在基準(zhǔn)圖像 的選擇方法上下功夫。
25

發(fā)明內(nèi)容
本發(fā)明的圖像處理裝置，是一種根據(jù)多個(gè)低分辨率圖像生成具有比上 述低分辨率圖像的分辨率高的分辨率的高分辨率圖像的圖像處理裝置，其 特征在于，具備基準(zhǔn)圖像設(shè)置部，其基于上述多個(gè)低分辨率圖像的圖像信 息從上述多個(gè)低分辨率圖像中選擇基準(zhǔn)圖像，將上述基準(zhǔn)圖像作為基準(zhǔn)， 30通過(guò)對(duì)上述多個(gè)低分辨率圖像執(zhí)行使分辨率增大的高分辨率化處理，從而
6生成上述高分辨率圖像。
具體而言，例如，該圖像處理裝置，還具備模糊量推定部，其基于上 述圖像信息推定各低分辨率圖像中包含的模糊的大小，上述基準(zhǔn)圖像設(shè)置 部，基于上述模糊量推定部的推定結(jié)果選擇上述基準(zhǔn)圖像。 5 進(jìn)一步具體而言，例如，上述模糊量推定部，基于各低分辨率圖像中
的高頻成分的量，推定各低分辨率圖像中所含的模糊的大小。
或者具體而言，例如，上述多個(gè)低分辨率圖像，形成采用攝像裝置通 過(guò)依次攝影所得到的按時(shí)序排列的低分辨率圖像列，上述模糊量推定部， 基于上述低分辨率圖像列中的在時(shí)間上鄰接的低分辨率圖像之間的位置 10偏離量，檢測(cè)上述低分辨率圖像列的攝影期間內(nèi)上述攝像裝置的抖動(dòng)狀 態(tài)，并根據(jù)上述抖動(dòng)狀態(tài)的檢測(cè)結(jié)果推定上述多個(gè)低分辨率圖像之間的上 述模糊的大小的大小關(guān)系。
然后，例如，上述基準(zhǔn)圖像設(shè)置部，將上述多個(gè)低分辨率圖像內(nèi)所推 定的模糊的大小為最小的低分辨率圖像選擇作為上述基準(zhǔn)圖像。 15 然后，例如，各低分辨率圖像是通過(guò)攝像裝置的攝影得到的，上述圖
像信息，包含對(duì)在各低分辨率圖像的曝光期間內(nèi)的上述攝像裝置的抖動(dòng)狀 態(tài)進(jìn)行檢測(cè)的傳感器的檢測(cè)數(shù)據(jù)，上述基準(zhǔn)圖像設(shè)置部，基于上述傳感器 的檢測(cè)數(shù)據(jù)選擇上述基準(zhǔn)圖像。
然后，例如，上述基準(zhǔn)圖像設(shè)置部，將上述多個(gè)低分辨率圖像中在曝 20光期間內(nèi)上述攝像裝置的抖動(dòng)大小為最小的低分辨率圖像選擇作為上述 基準(zhǔn)圖像。
并且，例如，該圖像處理裝置，還具備被攝體大小檢測(cè)部，其基于上 述圖像信息，對(duì)各低分辨率圖像中包含的特定被攝體在圖像上的大小進(jìn)行 檢測(cè)，上述基準(zhǔn)圖像設(shè)置部，也可以基于所檢測(cè)的上述特定被攝體的大小 25 選擇上述基準(zhǔn)圖像。
或者，例如，該圖像處理裝置，還具備臉狀態(tài)檢測(cè)部，其基于上述圖 像信息從各低分辨率圖像中檢測(cè)人物的臉，并且檢測(cè)上述臉的狀態(tài)，上述 基準(zhǔn)圖像設(shè)置部，基于上述臉狀態(tài)檢測(cè)部的檢測(cè)結(jié)果選擇上述基準(zhǔn)圖像。 另外，具體而言，例如上述基準(zhǔn)圖像設(shè)置部，將上述多個(gè)低分辨率圖 30 像內(nèi)除上述基準(zhǔn)圖像以外的低分辨率圖像設(shè)置作為參照?qǐng)D像，該圖像處理裝置，進(jìn)一步具備位置偏離檢測(cè)部，其以比上述基準(zhǔn)圖像的像素間隔高 的辨析率求出上述基準(zhǔn)圖像與上述參照?qǐng)D像之間的位置偏離量；和高分辨 率圖像生成部，其采用所求出的位置偏離量與上述多個(gè)低分辨率圖像，通 過(guò)以上述基準(zhǔn)圖像為基準(zhǔn)進(jìn)行上述高分辨率化處理，從而生成上述高分辨 5 率圖像。
本發(fā)明的第一攝像裝置，其特征在于，包含攝像部，其通過(guò)依次攝 影得到按時(shí)序排列的多個(gè)低分辨率圖像；和上述圖像處理裝置，其通過(guò)對(duì) 上述多個(gè)低分辨率圖像的高分辨率化處理，從而生成高分辨率圖像。
本發(fā)明的第二攝像裝置，具備攝像部，其具有攝像元件以及用于將 10與被攝體相應(yīng)的光學(xué)像成像在上述攝像元件上的光學(xué)系統(tǒng)，通過(guò)攝影得到 攝影圖像；和焦點(diǎn)評(píng)價(jià)值導(dǎo)出部，其基于在上述攝影圖像內(nèi)設(shè)置的焦點(diǎn)評(píng) 價(jià)區(qū)域的影像信號(hào)，導(dǎo)出焦點(diǎn)評(píng)價(jià)值；該攝像裝置基于上述焦點(diǎn)評(píng)價(jià)值對(duì)
上述光學(xué)系統(tǒng)迸行驅(qū)動(dòng)控制以進(jìn)行自動(dòng)聚焦控制，其特征在于，進(jìn)一步具 備圖像處理裝置，其將從上述攝像部所得到的多個(gè)攝影圖像作為多個(gè)低分
15辨率圖像來(lái)參照，根據(jù)上述多個(gè)低分辨率圖像生成具有比上述低分辨率圖
像的分辨率高的分辨率的高分辨率圖像，上述圖像處理裝置，具有基準(zhǔn)圖 像設(shè)置部，其基于對(duì)各低分辨率圖像導(dǎo)出的上述焦點(diǎn)評(píng)價(jià)值從上述多個(gè)低 分辨率圖像中選擇基準(zhǔn)圖像，上述圖像處理裝置，以上述基準(zhǔn)圖像為基準(zhǔn)， 通過(guò)對(duì)上述多個(gè)低分辨率圖像執(zhí)行使分辨率增大的高分辨率化處理，從而
20 生成上述高分辨率圖像。
具體而言，例如，在上述自動(dòng)聚焦控制中，按照上述焦點(diǎn)評(píng)價(jià)值取極 大值的方式對(duì)上述光學(xué)系統(tǒng)迸行驅(qū)動(dòng)控制，上述基準(zhǔn)圖像設(shè)置部，將上述 多個(gè)低分辨率圖像內(nèi)與最大焦點(diǎn)評(píng)價(jià)值對(duì)應(yīng)的低分辨率圖像選擇作為上 述基準(zhǔn)圖像。
25 另外，具體而言，例如在第二攝像裝置中，上述基準(zhǔn)圖像設(shè)置部，將
上述多個(gè)低分辨率圖像內(nèi)除上述基準(zhǔn)圖像以外的低分辨率圖像設(shè)置作為 參照?qǐng)D像，上述圖像處理裝置，進(jìn)一步具備位置偏離檢測(cè)部，其以比上 述基準(zhǔn)圖像的像素間隔高的辨析率求出上述基準(zhǔn)圖像與上述參照?qǐng)D像之 間的位置偏離量；以及高分辨率圖像生成部，其采用所求出的位置偏離量
30和上述多個(gè)低分辨率圖像，通過(guò)以上述基準(zhǔn)圖像為基準(zhǔn)進(jìn)行上述高分辨率化處理，從而生成上述高分辨率圖像。
本發(fā)明的圖像處理方法，根據(jù)多個(gè)低分辨率圖像生成具有比上述低分 辨率圖像的分辨率高的分辨率的高分辨率圖像，其特征在于，基于上述多 個(gè)低分辨率圖像的圖像信息從上述多個(gè)低分辨率圖像中選擇基準(zhǔn)圖像，以 5上述基準(zhǔn)圖像為基準(zhǔn)，通過(guò)對(duì)上述多個(gè)低分辨率圖像執(zhí)行使分辨率增大的 高分辨率化處理，從而生成上述高分辨率圖像。
另外，本發(fā)明的低分辨率圖像的圖像信息，包含低分辨率圖像的各像 素的亮度以及/或者表示顏色的圖像數(shù)據(jù)，進(jìn)而還能包含上述檢測(cè)數(shù)據(jù)。
本發(fā)明的意義以及效果，通過(guò)以下所示的實(shí)施方式的說(shuō)明能夠進(jìn)一步 10明確。但是，以下的實(shí)施方式只是本發(fā)明的一個(gè)實(shí)施方式，本發(fā)明乃至各 構(gòu)成要件的用語(yǔ)的意義，并非限定于以下實(shí)施方式的記載。


圖1是本發(fā)明的實(shí)施方式的攝像裝置的整體框圖。
15 圖2是采用MAP方式的超分辨處理的概念圖。
圖3是表示本發(fā)明的實(shí)施方式的超分辨處理的流程的流程圖。
圖4是本發(fā)明的第一實(shí)施例的承擔(dān)超分辨處理的超分辨部的內(nèi)部框圖。
圖5是按時(shí)序表示圖4的各部件的動(dòng)作流程的圖。 20 圖6是本發(fā)明的第一實(shí)施例的模糊量推定部的內(nèi)部框圖。
圖7是表示作為圖6的高通濾波器(HPF)的一例的拉普拉斯濾波器 的圖。
圖8是圖4的超分辨處理部的內(nèi)部框圖。
圖9 (a)以及(b)是說(shuō)明本發(fā)明的第一實(shí)施例的試驗(yàn)內(nèi)容的圖，分 25別表示試驗(yàn)所采用的模糊量大的圖像和模糊量小的圖像的圖。
圖10 (a)以及(b)分別為表示圖9 (a)以及(b)的圖像的高頻域 提取圖像的圖。
圖11是表示本發(fā)明的第一實(shí)施例的試驗(yàn)所涉及的、超分辨運(yùn)算處理 的反復(fù)次數(shù)、與通過(guò)試驗(yàn)所得到的高分辨率圖像和理想的高分辨率圖像之 30 間的PSNR的關(guān)系的圖。圖12是表示本發(fā)明的第一實(shí)施例所涉及的、關(guān)于圖像數(shù)據(jù)的讀寫(xiě)時(shí) 刻所特別關(guān)注的超分辨處理的動(dòng)作流程的流程圖。
圖13是表示本發(fā)明的第二實(shí)施例所涉及的、位置偏離量的大小的變 化的情況的圖。
5 圖14是表示本發(fā)明的第二實(shí)施例所涉及的、位置偏離量的大小的變
化的情況的圖。
圖15 (a)以及(b)為本發(fā)明的第三實(shí)施例所涉及的用于說(shuō)明抖動(dòng)量
推定方法的圖，分別為表示模糊小的圖像和模糊大的圖像(b)的圖。
圖16 (a)以及(b)分別為圖15 (a)以及(b)所示的圖像的亮度 io 直方圖的圖。
圖17為本發(fā)明的第四實(shí)施例所涉及的承擔(dān)超分辨處理的超分辨部的 內(nèi)部框圖。
圖18為本發(fā)明的第四實(shí)施例所涉及的在攝像裝置中設(shè)置的傳感器部 的內(nèi)部框圖。
15 圖19為表示由圖18的傳感器部所檢測(cè)的攝像裝置的抖動(dòng)大小的圖。
圖20為明示圖像信息包含圖像數(shù)據(jù)和傳感器檢測(cè)數(shù)據(jù)的圖。 圖21為本發(fā)明的第五實(shí)施例所涉及的承擔(dān)超分辨處理的超分辨部的 內(nèi)部框圖。
圖22是表示本發(fā)明的第五實(shí)施例所涉及的三張觀測(cè)低分辨率圖像的 20 第一例的圖。
圖23是表示本發(fā)明的第五實(shí)施例所涉及的三張觀測(cè)低分辨率圖像的 第二例的圖。
圖24是表示本發(fā)明的第六實(shí)施例所涉及的承擔(dān)超分辨處理的超分辨 部的內(nèi)部框圖。 25 圖25是圖1的攝像部的內(nèi)部結(jié)構(gòu)圖。
圖26為在圖1的影像信號(hào)處理部?jī)?nèi)設(shè)置的AF評(píng)價(jià)部的內(nèi)部框圖。
圖27 (a)為表示由圖26的AF評(píng)價(jià)部在幀圖像內(nèi)定義的AF評(píng)價(jià)區(qū) 域的圖，圖27 (b)為表示AF評(píng)價(jià)值計(jì)算時(shí)設(shè)置的加權(quán)系數(shù)的圖。
圖28為本發(fā)明的第七實(shí)施例的承擔(dān)超分辨處理的超分辨部的內(nèi)部框
30 圖。
10圖29為表示本發(fā)明的第七實(shí)施例的3張的觀測(cè)低分辨率圖像的一例 的圖。
圖30 (a)、 (b)以及(c)分別為表示本發(fā)明的第八實(shí)施例涉及的第 一觀測(cè)低分辨率圖像的像素排列、第二觀測(cè)低分辨率圖像的像素排列以及
5高分辨率圖像的像素排列的圖。
圖31 (a)以及(b)為本發(fā)明的第八實(shí)施例所涉及的通過(guò)拋物線近似 以亞像素(subpixd)精度計(jì)算位置偏離量的情況的圖。
圖32是表示本發(fā)明的第八實(shí)施例所涉及的根據(jù)第一觀測(cè)低分辨率圖 像生成初始高分辨率圖像的情況的圖。 io 圖33 (a)以及(b)是表示本發(fā)明的第八實(shí)施例所涉及的、為了根據(jù)
高分辨率圖像重新構(gòu)成低分辨率圖像，使空間濾波器作用于高分辨率圖像 的情況的圖。
圖34是表示本發(fā)明的第八實(shí)施例所涉及的用于根據(jù)高分辨率圖像重 新構(gòu)成低分辨率圖像的矩陣的例子的圖。 15 圖35是表示本發(fā)明的第八實(shí)施例所涉及的應(yīng)新的高分辨率圖像的
像素排列、與其更新所采用的低分辨率圖像的像素排列之間的關(guān)系的圖。 圖36 (a)以及(b)分別是表示本發(fā)明的第八實(shí)施例涉及的計(jì)算反饋 值時(shí)所使用的轉(zhuǎn)置矩陣W,T以及W2T中的點(diǎn)擴(kuò)散函數(shù)(point spread flmction)的圖。 20 圖37是表示圖34的矩陣的轉(zhuǎn)置矩陣的圖。
具體實(shí)施例方式
以下，針對(duì)本發(fā)明的實(shí)施方式，參照附圖具體進(jìn)行說(shuō)明。在所參照的 各圖中，對(duì)相同的部分附加相同的符號(hào)，關(guān)于相同的部分的重復(fù)說(shuō)明原則
25上省略。之后對(duì)第一 第八實(shí)施例進(jìn)行說(shuō)明，但首先針對(duì)各實(shí)施例中共同 的事項(xiàng)或者各實(shí)施例中參照的事項(xiàng)進(jìn)行說(shuō)明。
圖1是本發(fā)明的實(shí)施方式涉及的攝像裝置1的整體框圖。攝像裝置1， 例如是數(shù)碼攝像機(jī)。攝像裝置1，能夠?qū)\(yùn)動(dòng)畫(huà)面以及靜止畫(huà)面進(jìn)行攝影， 并且還能夠在運(yùn)動(dòng)畫(huà)面攝影過(guò)程中同時(shí)對(duì)靜止畫(huà)面進(jìn)行攝影。另外，還可
30 以省略運(yùn)動(dòng)畫(huà)面攝影功能，將攝像裝置1作為僅可對(duì)靜止畫(huà)面進(jìn)行攝影的數(shù)字靜態(tài)相機(jī)(digital still camera)。 [基本結(jié)構(gòu)的說(shuō)明]
攝像裝置l,具有攝像部ll、 AFE (Analog Front End,模擬前端) 12、影像信號(hào)處理部13、麥克14、聲音信號(hào)處理部15、壓縮處理部16、 5SDRAM(Synchronous Dynamic Random Access Memory)等內(nèi)部存儲(chǔ)器17、 SD (Secure Digital)卡或磁盤(pán)等外部存儲(chǔ)器18、展開(kāi)處理部19、 VRAM (Video Random Access Memory) 20、聲音輸出電路21、 TG (定時(shí)發(fā)生器 timing generator) 22、 CPU (Central Processing Unit) 23、總線24、總線 25、操作部26、顯示部27、和揚(yáng)聲器28。操作部26，具有錄像按鈕26a、 io快門(mén)按鈕26b以及操作鍵26c等。攝像裝置1內(nèi)的各部位，經(jīng)由總線24 或25進(jìn)行各部位之間的信號(hào)(數(shù)據(jù))的交換。
TG22，生成用于對(duì)攝像裝置1整體的各動(dòng)作的計(jì)時(shí)進(jìn)行控制的計(jì)時(shí)控 制信號(hào)，并將所生成的計(jì)時(shí)控制信號(hào)提供給攝像裝置l內(nèi)的各部件。計(jì)時(shí) 控制信號(hào)，包含垂直同步信號(hào)Vsync和水平同步信號(hào)Hsync。 CPU23，對(duì) 15 攝像裝置1內(nèi)的各部件的動(dòng)作進(jìn)行統(tǒng)一控制。操作部26，受理用戶的操作。 對(duì)操作部26提供的操作內(nèi)容，被傳達(dá)給CPU23。攝像裝置1內(nèi)的各部件， 根據(jù)需要在信號(hào)處理時(shí)暫時(shí)將各種數(shù)據(jù)(數(shù)字信號(hào))記錄在內(nèi)部存儲(chǔ)器17 中。
攝像部11，除攝像元件(圖像傳感器)33以外，還具備光學(xué)系統(tǒng)、 20 光圈以及驅(qū)動(dòng)器(在圖1中未圖示)。來(lái)自被攝體的入射光，經(jīng)由光學(xué)系 統(tǒng)以及光圈，入射向攝像元件33。構(gòu)成光學(xué)系統(tǒng)的各透鏡，使被攝體的光 學(xué)像在攝像元件33上成像。TG22，生成與上述計(jì)時(shí)控制信號(hào)同步的、用 于對(duì)攝像元件33進(jìn)行驅(qū)動(dòng)的驅(qū)動(dòng)脈沖，并將該驅(qū)動(dòng)脈沖提供給攝像元件 33。
25 攝像元件33，由例如CCD (Charge Coupled Devices)或CMOS
(Complementary Metal Oxide Semiconductor)圖像傳感器等構(gòu)成。攝像元 件33，對(duì)經(jīng)由光學(xué)系統(tǒng)以及光圈入射的光學(xué)像進(jìn)行光電變換，并將通過(guò)該 光電變換所得到的電信號(hào)向AFE12輸出。更具體而言，攝像元件33，具 備以矩陣狀二維排列的多個(gè)像素(受光像素未圖示)，在各次攝影中，
30各像素對(duì)與曝光時(shí)間相應(yīng)的電荷量的信號(hào)電荷進(jìn)行儲(chǔ)存。來(lái)自具有與所儲(chǔ)存的信號(hào)電荷的電荷量成比例大小的各像素的電信號(hào)，依據(jù)來(lái)自TG22的
驅(qū)動(dòng)脈沖，被依次輸出給后段的AFE12。
AFE12，對(duì)從攝像元件33輸出的模擬信號(hào)進(jìn)行放大，并將放大后的 模擬信號(hào)變換成數(shù)字信號(hào)后輸出給影像信號(hào)處理部13。 AFE12中的信號(hào) 5 放大的放大程度由CPU23控制。影像信號(hào)處理部13，對(duì)由AFE12的輸出 信號(hào)表示的圖像實(shí)施各種圖像處理，生成針對(duì)圖像處理后的圖像的影像信 號(hào)。影像信號(hào)，由表示圖像亮度的亮度信號(hào)Y、和表示圖像顏色的色差信 號(hào)U以及V構(gòu)成。
麥克14，將攝像裝置1的周邊聲音變換成模擬的聲音信號(hào)，聲音信號(hào) io處理部15，將該模擬的聲音信號(hào)變換成數(shù)字的聲音信號(hào)。
壓縮處理部16，采用規(guī)定的壓縮方式對(duì)來(lái)自影像信號(hào)處理部13的影 像信號(hào)進(jìn)行壓縮。在運(yùn)動(dòng)畫(huà)面或者靜止畫(huà)面的攝影以及記錄時(shí)，所壓縮的 影像信號(hào)被記錄在外部存儲(chǔ)器18中。并且，壓縮處理部16，采用規(guī)定的 壓縮方式對(duì)來(lái)自聲音信號(hào)處理部15的聲音信號(hào)進(jìn)行壓縮。在運(yùn)動(dòng)畫(huà)面攝 15影以及記錄時(shí)，來(lái)自影像信號(hào)處理部13的影像信號(hào)和來(lái)自聲音信號(hào)處理 部15的聲音信號(hào)，通過(guò)壓縮處理部16 —邊在時(shí)間上相互建立關(guān)聯(lián)一邊被 壓縮，壓縮后的信號(hào)被記錄在外部存儲(chǔ)器18中。
錄像按鈕26a，是用于指示運(yùn)動(dòng)畫(huà)面的攝影以及記錄的開(kāi)始/結(jié)束的按 鈕開(kāi)關(guān)，快門(mén)按鈕26b，是用于指示靜止畫(huà)面的攝影以及記錄的按鈕開(kāi)關(guān)。 20 攝像裝置1的工作模式，包括能夠進(jìn)行運(yùn)動(dòng)畫(huà)面以及靜止畫(huà)面的攝影
的攝影模式、和將在外部存儲(chǔ)器18中保存的運(yùn)動(dòng)畫(huà)面以及靜止畫(huà)面再生 顯示在顯示部27上的再生模式。根據(jù)對(duì)操作鍵26c的操作，執(zhí)行各模式 之間的轉(zhuǎn)化。在攝影模式中，以規(guī)定的幀周期依次進(jìn)行攝影，從攝像元件 33取得按時(shí)序排列的圖像列。將形成該圖像列的各圖像稱(chēng)作"幀圖像"。 25 在攝影模式中，當(dāng)用戶按下錄像按鈕26a時(shí)，在CPU23的控制下，
與該按下之后所得到的各幀圖像的影像信號(hào)以及與之對(duì)應(yīng)的聲音信號(hào)，依 次經(jīng)由壓縮處理部16記錄在外部存儲(chǔ)器18中。在開(kāi)始運(yùn)動(dòng)畫(huà)面攝影之后， 當(dāng)用戶再次按下錄像按鈕26a時(shí)，結(jié)束將影像信號(hào)以及聲音信號(hào)向外部存 儲(chǔ)器18的記錄，完成一次運(yùn)動(dòng)畫(huà)面的攝影。另外，在攝影模式中，當(dāng)用 30戶按下快門(mén)按鈕26b時(shí)，進(jìn)行靜止畫(huà)面的攝影以及記錄。在再生模式中，當(dāng)用戶對(duì)操作鍵26c實(shí)施規(guī)定的操作時(shí)，表示在外部 存儲(chǔ)器18中記錄的運(yùn)動(dòng)畫(huà)面或者靜止畫(huà)面的被壓縮后的影像信號(hào)，在通
過(guò)展開(kāi)處理部19進(jìn)行展開(kāi)之后寫(xiě)入VRAM20中。另外，在攝影模式中， 通常，與對(duì)錄像按鈕26a以及快門(mén)按鈕26b的操作內(nèi)容無(wú)關(guān)地，逐次進(jìn)行 5采用影像信號(hào)處理部13生成影像信號(hào)，該影像信號(hào)被依次寫(xiě)入VRAM20 中。
顯示部27，是液晶顯示器等顯示裝置，并對(duì)與寫(xiě)入VRAM20中的影 像信號(hào)相應(yīng)的圖像進(jìn)行顯示。另外，在再生模式中對(duì)運(yùn)動(dòng)畫(huà)面進(jìn)行再生時(shí)， 與記錄在外部存儲(chǔ)器18中的運(yùn)動(dòng)畫(huà)面對(duì)應(yīng)的被壓縮后的聲音信號(hào)，也被 io 送入展開(kāi)處理部19中。展開(kāi)處理部19，對(duì)所接受的聲音信號(hào)進(jìn)行展開(kāi)后 送入聲音輸出電路21中。聲音輸出電路21，將所提供的數(shù)字聲音信號(hào)變 換成可由揚(yáng)聲器28輸出的形式的聲音信號(hào)(例如模擬聲音信號(hào))后輸出 至揚(yáng)聲器28中。揚(yáng)聲器28，將來(lái)自聲音輸出電路21的聲音信號(hào)作為聲音 (音)向外部輸出。
15 影像信號(hào)處理部13，被形成為能夠一邊與CPU23 —起協(xié)同工作一邊
實(shí)施超分辨處理。通過(guò)超分辨處理，由多張低分辨率圖像生成一張高分辨 率圖像。能夠?qū)⒃摳叻直媛蕡D像的影像信號(hào)經(jīng)由壓縮處理部16記錄在外 部存儲(chǔ)器18中。高分辨率圖像的分辨率，比低分辨率圖像的分辨率高， 高分辨率圖像的水平方向以及垂直方向的像素?cái)?shù)，比低分辨率圖像的像素
20數(shù)多。例如，在形成靜止畫(huà)面的攝影指示時(shí)，取得作為多張低分辨率圖像 的多幀圖像，通過(guò)對(duì)這些圖像實(shí)施超分辨處理從而生成高分辨率圖像?；?者例如，對(duì)于作為在運(yùn)動(dòng)畫(huà)面攝影時(shí)得到的多張低分辨率圖像的多幀圖 像，實(shí)施超分辨處理。
針對(duì)超分辨處理的基本概念簡(jiǎn)單進(jìn)行說(shuō)明。作為一例，對(duì)采用重新構(gòu)
25成型方式的超分辨處理進(jìn)行說(shuō)明。圖2表示采用作為重新構(gòu)成型方式的一 種的MAP (Maximum A Posterior)方式的超分辨處理的概念圖。在該超分 辨處理中，根據(jù)由實(shí)際的攝影所得到的多張低分辨率圖像推定一張高分辨 率圖像，通過(guò)使該所推定的高分辨率圖像劣化從而推定原始的多張低分辨 率圖像。將通過(guò)實(shí)際的攝影所得到的低分辨率圖像特別稱(chēng)為"觀測(cè)低分辨
30率圖像"，并將所推定的低分辨率圖像特別稱(chēng)為"推定低分辨率圖像"。之后，按照觀測(cè)低分辨率圖像與推定低分辨率圖像之間的誤差成為最小的方 式，反復(fù)推定高分辨率圖像和低分辨率圖像，并輸出最終取得的高分辨率 圖像。
圖3以流程圖表示超分辨處理的流程。首先，在步驟S11中生成初始 5高分辨率圖像。該初始高分辨率圖像，是根據(jù)后述的基準(zhǔn)圖像生成的。在 后繼步驟S12中，推定構(gòu)筑當(dāng)前時(shí)刻的高分辨率圖像的原始的觀測(cè)低分辨
率圖像。如上述將所推定的圖像稱(chēng)作推定低分辨率圖像。在后繼步驟S13
中，基于觀測(cè)低分辨率圖像和推定低分辨率圖像之間的差分圖像，導(dǎo)出對(duì)
當(dāng)前時(shí)刻的高分辨率圖像的更新量。該更新量，通過(guò)步驟S12 S14的各
io 處理的反復(fù)執(zhí)行按照觀測(cè)低分辨率圖像和推定低分辨率圖像之間的誤差 被最小化的方式被導(dǎo)出。然后，在后繼步驟S14中，采用該更新量對(duì)當(dāng)前 時(shí)刻的高分辨率圖像進(jìn)行更新，生成新的高分辨率圖像。之后，返回步驟 S12，將新生成的高分辨率圖像獲取作為當(dāng)前時(shí)刻的高分辨率圖像，反復(fù) 執(zhí)行步驟S12 S14的各處理?；旧希襟ES12 S14的各處理的反復(fù)次
15數(shù)越增大，所得到的高分辨率圖像的分辨率實(shí)質(zhì)上越提高，得到越接近理 想的高分辨率圖像。
以上述動(dòng)作流程為基礎(chǔ)的超分辨處理是在攝像裝置1內(nèi)實(shí)施的。由攝 像裝置1實(shí)施的超分辨處理，可以是任何方式的超分辨處理，但本實(shí)施方 式中對(duì)采用重新構(gòu)成型方式的超分辨處理的情況進(jìn)行說(shuō)明。重新構(gòu)成型方
20式，包括ML (Maximun-Likelihood) 去、MAP (Maximum A Posterior) 法、POCS (Projection Onto Convex Set)法、IBP (Iterative Back Projection) 法等，但在本實(shí)施方式中以采用MAP法的結(jié)構(gòu)為例。
作為有關(guān)超分辨處理的實(shí)施例，以下對(duì)第1 第8實(shí)施例進(jìn)行說(shuō)明。 某個(gè)實(shí)施例記載的事項(xiàng)只要不矛盾，都可以應(yīng)用到其他實(shí)施例中。
25 (第一實(shí)施例)
首先，針對(duì)第一實(shí)施例進(jìn)行說(shuō)明。圖4為負(fù)責(zé)超分辨處理的超分辨部 50的內(nèi)部框圖。符號(hào)51、 52以及54 57所參照的各部位被設(shè)置在圖1 的影像信號(hào)處理部13內(nèi)，第一、第二、第三、第四幀存儲(chǔ)器61、 62、 63 以及64被設(shè)置在圖1的內(nèi)部存儲(chǔ)器17內(nèi)?；鶞?zhǔn)圖像設(shè)置部53的功能由
30CPU23實(shí)現(xiàn)。但是，也可以使影像信號(hào)處理部13實(shí)現(xiàn)基準(zhǔn)圖像設(shè)置部53
15的功能。以下，將第一、第二、第三、第四幀存儲(chǔ)器僅簡(jiǎn)稱(chēng)為幀存儲(chǔ)器。 幀存儲(chǔ)器61 63，是用于對(duì)作為觀測(cè)低分辨率圖像的幀圖像的圖像數(shù)據(jù)進(jìn)
行記憶的存儲(chǔ)器，幀存儲(chǔ)器64，是用于對(duì)高分辨率圖像的圖像數(shù)據(jù)進(jìn)行記 憶的存儲(chǔ)器。圖5是按時(shí)序表示圖4的各部位的動(dòng)作的流程的圖，圖5的
5橫方向與時(shí)間方向?qū)?yīng)。另外，所謂所關(guān)注的圖像的圖像數(shù)據(jù)，是表示該
所關(guān)注的圖像的亮度以及顏色的數(shù)據(jù)(例如RGB信號(hào)或YUV信號(hào))。 在第一實(shí)施例中，以根據(jù)三張觀測(cè)低分辨率圖像生成一張高分辨率圖
像的情況為例。三張觀測(cè)低分辨率圖像，是連續(xù)攝影的三張幀圖像。由
L,、 L2、以及L3表示該三張觀測(cè)低分辨率圖像，以觀測(cè)低分辨率圖像L,、 ioL2以及L3的順序進(jìn)行攝影。在以下說(shuō)明中，也分別將觀測(cè)低分辨率圖像
L,、 L2以及L3簡(jiǎn)稱(chēng)為圖像L,、 L2以及L3 (后述的L4也同樣)。在圖像L,、
L2以及L3內(nèi)不同的兩張圖像之間，產(chǎn)生因手抖等而產(chǎn)生的位置偏離。
為了以圖像L,、 L2以及L3的順序進(jìn)行攝影，對(duì)選擇部51以及模糊量
推定部52，首先輸入表示圖像L,的圖像數(shù)據(jù)，接著輸入表示圖像L2的圖 15像數(shù)據(jù)，進(jìn)而接著輸入表示圖像L3的圖像數(shù)據(jù)。選擇部51，選擇記憶了
所輸入的觀測(cè)低分辨率圖像的圖像數(shù)據(jù)的幀存儲(chǔ)器。具體而言，選擇部51，
將圖像L,的圖像數(shù)據(jù)、圖像L2的圖像數(shù)據(jù)以及圖像L3的圖像數(shù)據(jù)分別發(fā)
送給幀存儲(chǔ)器61、 62以及63使之記憶。
模糊量推定部52，是用于推定所輸入的圖像中包含的模糊的大小(以 20下稱(chēng)作模糊量)的部位，計(jì)算與模糊量相應(yīng)的模糊量評(píng)價(jià)值。模糊量推定
部52，最初基于圖像L,的圖像數(shù)據(jù)計(jì)算與圖像L,的模糊量相應(yīng)的模糊量
評(píng)價(jià)值，接著基于圖像L2的圖像數(shù)據(jù)計(jì)算與圖像L2的模糊量相應(yīng)的模糊
量評(píng)價(jià)值，進(jìn)而接著基于圖像L3的圖像數(shù)據(jù)計(jì)算與圖像L3的模糊量相應(yīng) 的模糊量評(píng)價(jià)值。各模糊量評(píng)價(jià)值，依次被傳遞給基準(zhǔn)圖像設(shè)置部53。
25 在用手支持?jǐn)z像裝置l等情況下，在觀測(cè)低分辨率圖像的曝光期間，
攝像裝置1的筐體中會(huì)有所謂手抖。并且，還存在產(chǎn)生所謂被攝體抖動(dòng)的 情況。所謂被攝體抖動(dòng)，是指在曝光期間內(nèi)因被攝體在實(shí)際空間中活動(dòng)而 產(chǎn)生的在圖像上的被攝體的抖動(dòng)。關(guān)于所關(guān)注的觀測(cè)低分辨率圖像，若產(chǎn) 生手抖或被攝體抖動(dòng)，則所關(guān)注的觀測(cè)低分辨率圖像的整體或者一部分會(huì)
30因手抖或被攝體抖動(dòng)而模糊。模糊量推定部52，基于觀測(cè)低分辨率圖像的圖像數(shù)據(jù)，推定因該手抖或被攝體抖動(dòng)而引起的模糊大小。
模糊量推定部52，例如，利用當(dāng)產(chǎn)生手抖或被攝體抖動(dòng)時(shí)則圖像內(nèi)的 高頻成分衰減這樣的特性來(lái)推定模糊量。即，提取觀測(cè)低分辨率圖像中規(guī) 定的高頻成分，并基于所提取的高頻成分的量推定模糊量。高頻成分的量， 5也叫做高頻成分的強(qiáng)度。
參照?qǐng)D6說(shuō)明針對(duì)一張觀測(cè)分辨率圖像的模糊量評(píng)價(jià)值的計(jì)算方法。
圖6為可利用作為模糊量推定部52的模糊量推定部的內(nèi)部框圖。圖6的 模糊量推定部，其結(jié)構(gòu)具有提取部71、 HPF (高通濾波器)72以及累計(jì)部 73。
io 對(duì)提取部71提供觀測(cè)低分辨率圖像的影像信號(hào)。提取部71,從該影
像信號(hào)中提取在觀測(cè)低分辨率圖像內(nèi)定義的評(píng)價(jià)區(qū)域內(nèi)的亮度信號(hào)。評(píng)價(jià) 區(qū)域，例如是觀測(cè)低分辨率圖像內(nèi)的整個(gè)區(qū)域。但是，還可以將觀測(cè)低分 辨率圖像內(nèi)的一部分區(qū)域(例如，由后述的第五實(shí)施例描述的主要被攝體 區(qū)域)設(shè)置作為評(píng)價(jià)區(qū)域。HPF72，僅提取由提取部71所提取的亮度信號(hào)
15中的規(guī)定高頻成分。例如，由作為如圖7所示這樣的空間濾波器的具有3 X3的濾波器大小的拉普拉斯濾波器(Laplacian filter)形成HPF72，進(jìn)行
使該拉普拉斯濾波器作用于評(píng)價(jià)區(qū)域內(nèi)的各像素的空間濾波。這樣，便從 HPF72依次得到與該拉普拉斯濾波器的濾波特性相應(yīng)的輸出值。另外，也 可以由頻率濾波器形成HPF72，采用傅立葉變換在頻率區(qū)域上提取高頻成
20 分。
累計(jì)部73，對(duì)由HPF72所提取的高頻成分的大小(即HPF72的輸出 值的絕對(duì)值)進(jìn)行累計(jì)，并將累計(jì)值作為模糊量評(píng)價(jià)值輸出。某個(gè)觀測(cè)低 分辨率圖像對(duì)應(yīng)的模糊量評(píng)價(jià)值，隨著該觀測(cè)低分辨率圖像中的模糊量的 變小而增大。
25 在通過(guò)對(duì)三張觀測(cè)低分辨率圖像L, L3進(jìn)行高分辨率化從而生成一
張高分辨率圖像時(shí)，將三張圖像L, L3內(nèi)的一張?jiān)O(shè)置作為成為高分辨率化 的基準(zhǔn)的基準(zhǔn)圖像，將其他兩張?jiān)O(shè)置作為參照?qǐng)D像。既可以將基準(zhǔn)圖像替 換稱(chēng)做基準(zhǔn)幀或基準(zhǔn)幀圖像，也可以將參照?qǐng)D像替換稱(chēng)做參照幀或者參照 幀圖像。以基準(zhǔn)圖像為基準(zhǔn)計(jì)算出用于生成高分辨,圖像所必需的位置偏
30離量。并且，基準(zhǔn)圖像也能作為初始高分辨率圖像的生成源。因此，最終得到的高分辨率圖像的畫(huà)質(zhì)很大程度依賴于基準(zhǔn)圖像。因此，基準(zhǔn)圖像設(shè) 置部53，基于模糊量評(píng)價(jià)值進(jìn)行設(shè)置基準(zhǔn)圖像以及參照?qǐng)D像的處理。具體 而言，將觀測(cè)低分辨率圖像L, L3內(nèi)推定為模糊量最小的觀測(cè)低分辨率圖 像設(shè)置作為基準(zhǔn)圖像，并且將剩下的兩張觀測(cè)低分辨率圖像設(shè)置作為參照 5圖像。由于如果模糊量小則模糊量評(píng)價(jià)值變大，因此將模糊量評(píng)價(jià)值最大 的觀測(cè)低分辨率圖像設(shè)置作為基準(zhǔn)圖像。
現(xiàn)在，用a表示與基準(zhǔn)圖像對(duì)應(yīng)的觀測(cè)低分辨率圖像的號(hào)碼，并且， 用b以及c表示與兩張參照?qǐng)D像對(duì)應(yīng)的觀測(cè)低分辨率圖像的號(hào)碼。在基準(zhǔn) 圖像為圖像L,的情況下，a二l且b二2且c二3，基準(zhǔn)圖像為圖像L2的情
io況下，a二2且b二l且c二3，在基準(zhǔn)圖像為圖像L3的情況下，a二3且b 二l且c二2。在設(shè)置基準(zhǔn)圖像之后，圖4的基準(zhǔn)圖像設(shè)置部53，基于a、 b以及c的值，控制位置偏離檢測(cè)部54、初始高分辨率圖像生成部55以 及超分辨率處理部57應(yīng)讀出的觀測(cè)低分辨率圖像的順序。目卩，控制它們 在哪個(gè)計(jì)時(shí)讀出哪個(gè)幀存儲(chǔ)器的圖像數(shù)據(jù)。
15 位置偏離檢測(cè)部54，采用代表點(diǎn)匹配法、塊匹配法或梯度法等，計(jì)算
兩張觀測(cè)低分辨率圖像之間的位置偏離量。在此計(jì)算的位置偏離量，具有 比觀測(cè)低分辨率圖像的像素間隔辨析率高(分解能resolution)的、所謂 亞像素(subpkel)的辨析率。即，將比觀測(cè)低分辨率圖像內(nèi)鄰接的兩個(gè) 像素的間隔短的距離作為最小單位計(jì)算位置偏離量。位置偏離量是包含水
20 平成分以及垂直成分的二維量，也稱(chēng)作運(yùn)動(dòng)量或運(yùn)動(dòng)矢量。
位置偏離檢測(cè)部54，以基準(zhǔn)圖像為基準(zhǔn)，計(jì)算基準(zhǔn)圖像與各參照?qǐng)D像 之間的位置偏離量。因此，在設(shè)置基準(zhǔn)圖像之后，向位置偏離檢測(cè)部54 首先輸入觀測(cè)低分辨率圖像"以及Lb的圖像數(shù)據(jù)，計(jì)算以觀測(cè)低分辨率 圖像La為基準(zhǔn)的觀測(cè)低分辨率圖像U與Lb之間的位置偏離量Vab (參照
25圖5)。接著，向位置偏離檢測(cè)部54，輸入觀測(cè)低分辨率圖像La以及Lc 的圖像數(shù)據(jù)，計(jì)算以觀測(cè)低分辨率圖像La為基準(zhǔn)的觀測(cè)低分辨率圖像La
與Le之間的位置偏離量Vae。
另一方面，在設(shè)置基準(zhǔn)圖像之后，初始高分辨率圖像生成部55 (以下 簡(jiǎn)稱(chēng)為生成部55)，基于作為基準(zhǔn)圖像的觀測(cè)低分辨率圖像U生成初始高 30分辨率圖像Ho (參照?qǐng)D5)。該生成處理，相當(dāng)于圖3的步驟Sll的處理。初始高分辨率圖像H。，相當(dāng)于應(yīng)最終生成的高分辨率圖像的初始圖像。以
下，也將初始高分辨率圖像Ho僅稱(chēng)作高分辨率圖像Ho或者圖像Ho。例如， 將采用線性插值(linear interpolation)或雙立方插值(bicubic interpolation) 使觀測(cè)低分辨率圖像La的水平以及垂直方向的像素?cái)?shù)增大后的圖像作為 5圖像Ho。并將所生成的圖像Ho的圖像數(shù)據(jù)記憶在幀存儲(chǔ)器64中。
圖4的選擇部56，選擇在由生成部55所生成的圖像(即圖像Ho)以 及在幀存儲(chǔ)器64中記憶的圖像中的一方，并將所選擇的圖像的圖像數(shù)據(jù) 提供給超分辨處理部57。在生成圖像Ho剛剛之后，由選擇部56選擇圖像 Ho，在由超分辨處理部57生成與圖像Ho不同的高分辨率圖像之后，由選 io擇部56選擇在幀存儲(chǔ)器64中記憶的圖像。
并且，從幀存儲(chǔ)器61 63向超分辨處理部57輸入觀測(cè)低分辨率圖像 La、"以及U的圖像數(shù)據(jù)。超分辨處理部57，基于MAP法，采用圖像
Ho與觀測(cè)低分辨率圖像La、 Lb以及U位置偏離量Vab以及Vac，根據(jù)推定
低分辨率圖像的生成求出對(duì)圖像Ho的更新量。該處理，相當(dāng)于第一個(gè)步 15驟S12以及S13的處理(參照?qǐng)D3)。并且，通過(guò)以該更新量對(duì)圖像Ho進(jìn)
行更新從而生成高分辨率圖像H,(以下簡(jiǎn)稱(chēng)為圖像H。。這相當(dāng)于第一次
的步驟S14的處理(參照?qǐng)D3)。另外，在生成圖像H,之后，在圖4中只
粗線所示的線是有意識(shí)地發(fā)揮功能的。
所生成的圖像H,的圖像數(shù)據(jù)被覆蓋記憶在幀存儲(chǔ)器64上，并且經(jīng)由 20選擇部56再次輸入超分辨處理部57中。超分辨處理部57，通過(guò)以與根據(jù)
圖像Ho生成圖像Hl同樣的方法對(duì)圖像H,進(jìn)行更新，從而生成高分辨率
圖像H2 (以下簡(jiǎn)稱(chēng)為圖像H2)。圖像H2的圖像數(shù)據(jù)被覆蓋記憶在幀存儲(chǔ)
器64中。根據(jù)圖像H,生成圖像H2的處理，相當(dāng)于第二次的步驟S12 S14 的處理。
25 這樣，由超分辨處理部57反復(fù)執(zhí)行用于對(duì)高分辨率圖像進(jìn)行更新后
生成新的高分辨率圖像的、由步驟S12 S14的各處理構(gòu)成的運(yùn)算處理。 以下將該運(yùn)算處理稱(chēng)作超分辨運(yùn)算處理。在n為自然數(shù)的情況下，通過(guò)第 n次的超分辨運(yùn)算處理由高分辨率圖像Hn-,生成高分辨率圖像Hn。在以下 的說(shuō)明中，n為0以上的整數(shù)。
30 圖8表示超分辨處理部57的內(nèi)部框圖。當(dāng)前，由xn表示用矩陣表現(xiàn)10
15
20
25
的高分辨率圖像H。，用yk表示用矩陣表現(xiàn)的觀測(cè)低分辨率圖像Lk。艮P， 例如，矩陣x"表示將形成高分辨率圖像Hn的各像素的像素值排列寫(xiě)出的 形式。k取1、 2、或3的值。
這樣，高分辨率圖像^+1對(duì)應(yīng)的矩陣^+1，依據(jù)下式(A—1)導(dǎo)出， 通過(guò)該導(dǎo)出生成高分辨率圖像H。+,。式(A—1)的右邊第二項(xiàng)，應(yīng)由超分 辨處理部57計(jì)算，表示高分辨率圖像H。對(duì)應(yīng)的更新量。k皿M表示觀測(cè)低 分辨率圖像的張數(shù)，在該例中k皿M二3。通過(guò)基于式(A—1)對(duì)高分辨率 圖像進(jìn)行更新，從而下式(A—2)所表示的MAP法中的評(píng)價(jià)函數(shù)(evaluation flmction) I便被最小化。式(A—2)中的x，表示在進(jìn)行某個(gè)次數(shù)的超分 辨運(yùn)算處理時(shí)的用矩陣表現(xiàn)的高分辨率圖像。
xn+' =xn +卩
Z{wkT(yk-Wkxn)}-aCTCX。
(A—l)
30
I=I>k_WkX|| +a||Cx『……(A—2)
k = l
采用矩陣Wk與矩陣xn的積，表示作為觀測(cè)低分辨率圖像Lk的推定圖
像的推定低分辨率圖像。Wk是用于根據(jù)高分辨率圖像Hn生成觀測(cè)低分辨
率圖像Lk的推定圖像的矩陣，是包含由位置偏離檢測(cè)部54計(jì)算的位置偏 離量、表示通過(guò)從高分辨率圖像向低分辨率圖像的低分辨率化所生成的圖 像模糊的點(diǎn)擴(kuò)散函數(shù)(point spread fimction)、以及從高分辨率圖像向低分 辨率圖像的下采樣(down sampling)在內(nèi)的圖像變換矩陣。(yk—Wkxn)， 表示觀測(cè)低分辨率圖像Lk與相當(dāng)于其推定圖像的推定低分辨率圖像之間 的差分圖像。另外，附加了上標(biāo)T后的矩陣，表示原矩陣的轉(zhuǎn)置矩陣。因
此，例如，WkT表示矩陣Wk的轉(zhuǎn)置矩陣。
并且，C為用于正規(guī)化的矩陣，oc為正規(guī)化參數(shù)。矩陣C，例如基于 "高分辨率圖像中高頻域成分少"這樣的事先知識(shí)設(shè)置，由以矩陣表現(xiàn)的 拉普拉斯濾波器等形成。并且，P為用于控制反饋量的參數(shù)。
若超分辨處理部57中的超分辨運(yùn)算處理的反復(fù)次數(shù)達(dá)到規(guī)定次數(shù)， 則將通過(guò)規(guī)定次數(shù)的超分辨運(yùn)算處理所得到的最新高分辨率圖像，作為應(yīng) 最終求出的高分辨率圖像從超分辨處理部57輸出。并且，不管超分辨運(yùn)
20算處理的反復(fù)次數(shù)如何，最新的高分辨率圖像對(duì)應(yīng)的更新量都變得足夠小 且判斷更新量收斂了的情況下，也可以將該最新的高分辨率圖像作為最終 應(yīng)求出的高分辨率圖像從超分辨率處理部57輸出。
若將模糊量大的圖像設(shè)置作為基準(zhǔn)圖像，則所計(jì)算的位置偏離量的精 5度變差。在超分辨處理中，由于基于所計(jì)算的位置偏離量實(shí)現(xiàn)高分辨率化， 因此位置偏離量的精度劣化與高分辨率圖像的畫(huà)質(zhì)劣化相關(guān)。并且，若將 模糊量大的圖像設(shè)置為基準(zhǔn)圖像，則最終應(yīng)得到的高分辨率圖像的初始狀 態(tài)(即初始高分辨率圖像)的畫(huà)質(zhì)變差，難以得到理想的高分辨率圖像。 在本實(shí)施例中，由于選擇模糊量小的圖像作為基準(zhǔn)圖像，因此所得到的高 10分辨率圖像的畫(huà)質(zhì)提高。
采用模糊量比較大的圖9 (a)的圖像201和模糊量比較小的圖9 (b) 的圖像202，通過(guò)試驗(yàn)檢驗(yàn)選擇模糊量小的圖像作為基準(zhǔn)圖像的效果。在 該試驗(yàn)中，通過(guò)采用縮小率50%的像素點(diǎn)跳躍(pixel skipping)處理使所 準(zhǔn)備的理想的高分辨率圖像的分辨率降低，從而生成三張圖像，有意使三
15張圖像中的一張模糊，從而使該圖像中含有很大的模糊。然后，將模糊少 的兩張圖像作為兩張觀測(cè)低分辨率圖像，且將模糊多的一張圖像作為一張 觀測(cè)低分辨率圖像處理，通過(guò)超分辨處理重新構(gòu)成具有觀測(cè)低分辨率圖像 的2倍的分辨率的高分辨率圖像。模糊少的兩張觀測(cè)低分辨率圖像，相當(dāng) 于圖9 (b)的圖像202，模糊多的一張觀測(cè)低分辨率圖像，相當(dāng)于圖9 (a)
20的圖像201。并且，使不同的兩張觀測(cè)低分辨率圖像之間產(chǎn)生位置偏離。 圖10 (a)以及(b)，表示分別在圖像201以及202中應(yīng)用高通濾波 器(圖7的拉普拉斯濾波器)的情況下所得到的圖像201以及202的高頻 域提取圖像211以及212。圖10 (a)以及(b)中，高頻域提取圖像中的 像素值越小的像素顯示越黑。因圖像201中所含的較大模糊而導(dǎo)致高頻域
25 提取圖像211整體變黑。在將圖像201以及202提供給圖6的模糊量推定 部時(shí)，對(duì)圖像201計(jì)算的模糊量評(píng)價(jià)值(HPF累計(jì)值)，是相對(duì)圖像202 計(jì)算的1/20左右。
試驗(yàn)中，求出從圖4的超分辨處理部57輸出的高分辨率圖像和理想 的高分辨率圖像之間的PSNR (Peak Signal to Noise Ratio)。如周知，PSNR
30是表示所對(duì)比的圖像之間的類(lèi)似性的指標(biāo)，其類(lèi)似性越高PSNR越高。圖11是表示該P(yáng)SNR對(duì)超分辨運(yùn)算處理的反復(fù)次數(shù)依賴性的曲線圖。圖11
的折線221，表示在將與圖像201對(duì)應(yīng)的模糊多的觀測(cè)低分辨率圖像設(shè)置為基準(zhǔn)圖像的情況下PSNR的反復(fù)次數(shù)依賴性，圖11的折線222，表示在將與圖像202對(duì)應(yīng)的模糊少的觀測(cè)低分辨率圖像設(shè)置為基準(zhǔn)圖像的情況下5 PSNR的反復(fù)次數(shù)依賴性。與將模糊多的圖像設(shè)置為基準(zhǔn)圖像的情況相比，將模糊少的圖像設(shè)置為基準(zhǔn)圖像的情況下，PSNR高2dB左右。根據(jù)該試驗(yàn)也能理解將模糊量小的圖像選擇作為基準(zhǔn)圖像的優(yōu)越性。
另外，針對(duì)包含幀存儲(chǔ)器61 64在內(nèi)的內(nèi)部存儲(chǔ)器17對(duì)應(yīng)的圖像數(shù)據(jù)的讀寫(xiě)計(jì)時(shí)進(jìn)行補(bǔ)充說(shuō)明。參照?qǐng)D12 (也參照?qǐng)D5)。圖12是表示關(guān)于
io圖像數(shù)據(jù)的讀寫(xiě)計(jì)時(shí)所特別關(guān)注的超分辨處理的動(dòng)作流程的流程圖。
最初，在步驟S21，將觀測(cè)低分辨率圖像L, L3的圖像數(shù)據(jù)依次寫(xiě)入內(nèi)部存儲(chǔ)器17中。在從圖像L, L3中選擇基準(zhǔn)圖像之后，從步驟S21向步驟S22轉(zhuǎn)移。在步驟S22中，位置偏離檢測(cè)部54，從內(nèi)部存儲(chǔ)器17中讀出作為基準(zhǔn)圖像的圖像U以及作為參照?qǐng)D像的圖像Lb的各圖像數(shù)據(jù)并
15計(jì)算位置偏離量Vab，接著，從內(nèi)部存儲(chǔ)器17中讀出作為基準(zhǔn)圖像的圖像U以及作為參照?qǐng)D像的圖像Lc的各圖像數(shù)據(jù)并計(jì)算位置偏離量Vac。另一方面，在步驟S23中，生成部55，從內(nèi)部存儲(chǔ)器17中讀出圖像U的圖像數(shù)據(jù)生成初始高分辨率圖像。將所生成的初始高分辨率圖像的圖像數(shù)據(jù)寫(xiě)入內(nèi)部存儲(chǔ)器17中。之后，在后繼步驟S24中，從內(nèi)部存儲(chǔ)器17中讀出
20圖像L, L3和當(dāng)前時(shí)刻的高分辨率圖像的各圖像數(shù)據(jù)，通過(guò)上述的超分辨
運(yùn)算處理更新高分辨率圖像，并且，將更新后的高分辨率圖像的圖像數(shù)據(jù)寫(xiě)入內(nèi)部存儲(chǔ)器17中。在反復(fù)執(zhí)行超分辨運(yùn)算處理的情況下，重復(fù)執(zhí)行步驟S24的處理。另外，步驟S22、 S23以及S24中的從內(nèi)部存儲(chǔ)器17中讀出同一圖像數(shù)據(jù)也可以是同時(shí)執(zhí)行的。例如，還可以同時(shí)執(zhí)行步驟S22
25中的圖像La的圖像數(shù)據(jù)的讀出和步驟S23中的圖像U的圖像數(shù)據(jù)的讀出。
如上述，在從圖像L, L3中選擇基準(zhǔn)圖像之后執(zhí)行位置偏移量的計(jì)算處理的情況下，在步驟S22的階段，需要從內(nèi)部存儲(chǔ)器17中讀出4次(4張圖像)觀測(cè)低分辨率圖像的圖像數(shù)據(jù)(圖像"以及Lb的圖像數(shù)據(jù)的讀出、和圖像U以及U的圖像數(shù)據(jù)的讀出)。30 為了有利于該讀出次數(shù)的降低，也可以并行地進(jìn)行基準(zhǔn)圖像的選擇處理和位置偏離量的計(jì)算處理。這種情況下，在每次得到觀測(cè)低分辨率圖像時(shí)，按照在時(shí)間上鄰接的兩張觀測(cè)低分辨率圖像之間進(jìn)行位置偏離量(后述的V12以及V23)的計(jì)算的方式設(shè)置基準(zhǔn)圖像之后，只要將所計(jì)算的位置偏離量變換成基準(zhǔn)圖像與各參照?qǐng)D像之間的位置偏離量(上述的V化以5 及Vac)即可。
具體而言按照如下方式進(jìn)行處理。在取得圖像L,并將圖像L,的圖像數(shù)據(jù)寫(xiě)入內(nèi)部存儲(chǔ)器17中之后，若取得圖像L2，則圖像L2的圖像數(shù)據(jù)被
寫(xiě)入內(nèi)部存儲(chǔ)器17且被送入位置偏離檢測(cè)部54中。與此同時(shí)，從內(nèi)部存儲(chǔ)器17中讀出圖像L,的圖像數(shù)據(jù)并送入位置偏離檢測(cè)部54中(在該階段io 執(zhí)行第一次的圖像數(shù)據(jù)讀出)。然后，位置偏離檢測(cè)部54，計(jì)算以圖像L,為基準(zhǔn)的圖像L,和圖像L2之間的位置偏離量V12。
之后，當(dāng)取得圖像L3時(shí)，則將圖像L3的圖像數(shù)據(jù)寫(xiě)入內(nèi)部存儲(chǔ)器17中并送入位置偏離檢測(cè)部54中。與此同時(shí)，從內(nèi)部存儲(chǔ)器17中讀出圖像L2的圖像數(shù)據(jù)并送入位置偏離檢測(cè)部54中(在該階段執(zhí)行第二次的圖像15 數(shù)據(jù)讀出)。然后，位置偏離檢測(cè)部54，計(jì)算以圖像L2為基準(zhǔn)的圖像L2與圖像L3之間的位置偏離量V23。
另一方面，與位置偏離量V,2以及V23的計(jì)算并行地，通過(guò)模糊量推定部52進(jìn)行圖像L, 圖像L3對(duì)應(yīng)的模糊量評(píng)價(jià)值的計(jì)算，并基于所計(jì)算的模糊量評(píng)價(jià)值設(shè)置基準(zhǔn)圖像。位置偏離檢測(cè)部54，基于所設(shè)置的基準(zhǔn)圖
20 像是圖像L, L3中的某個(gè)，將位置偏離量V,2以及V23變換成對(duì)基準(zhǔn)圖像
而言的參照?qǐng)D像的位置偏離量Vab以及Vac。通過(guò)該變換求出Vab以及Vac之后的動(dòng)作與上述相同。例如，當(dāng)V12= (0.5， 0.5)且V23= (—0.25，—0.25)，并且a二3， b=l， c二2時(shí)，Vab=V31=V32+V21 = —V23—V12 =(0.25， 0.25) _ (0.5， 0.5) = (—0.25， 一0.25)，求出Vab。根據(jù)Vac
25=V32==—V23= (0.25， 0.25)求出Vac。
這樣，通過(guò)并行地進(jìn)行基準(zhǔn)圖像的選擇處理和位置偏離量的計(jì)算處理，從而雖然因需要位置偏離量的變換處理會(huì)導(dǎo)致位置偏離量Vab以及Vac的檢測(cè)精度劣化一些，然而能將圖像數(shù)據(jù)的讀出次數(shù)降低兩次，實(shí)現(xiàn)消耗電力的降低。另外，并行進(jìn)行基準(zhǔn)圖像的選擇處理和位置偏離量的計(jì)算處
30理，還可以應(yīng)用于后述的其他實(shí)施例中。(第二實(shí)施例)
接著，說(shuō)明第二實(shí)施例。在第二實(shí)施例中雖然也可以采用圖4的超分辨部50，但第一以及第二實(shí)施例之間模糊量的推定方法不同。關(guān)于該不同點(diǎn)進(jìn)行說(shuō)明。在第二實(shí)施例中未特別描述的事項(xiàng)，應(yīng)用第一實(shí)施例記載的5事項(xiàng)。
為了便于說(shuō)明，第二實(shí)施例中，以根據(jù)四張觀測(cè)低分辨率圖像生成一張高分辨率圖像的情況為例。四張觀測(cè)低分辨率圖像，是連續(xù)攝影的四張
幀圖像。以L,、 L2、 L3以及L4表示該四張觀測(cè)低分辨率圖像，以圖像Lj、L2、 L3以及L4的順序進(jìn)行攝影。另外，鑒于利用于超分辨處理的觀測(cè)低io分辨率圖像的張數(shù)為四張，超分辨部50的幀存儲(chǔ)器的個(gè)數(shù)由圖4的個(gè)數(shù)進(jìn)行變更。
在第二實(shí)施例中，圖4的位置偏離撿測(cè)部54，依次計(jì)算在時(shí)間上鄰接的兩張觀測(cè)低分辨率圖像之間的位置偏離量(所謂幀間運(yùn)動(dòng)矢量)。艮P，計(jì)算第一實(shí)施例中也描述過(guò)的位置偏離量V12以及V23、和以圖像L3為基
15準(zhǔn)的圖像L3與圖像L4之間的位置偏離量V34。模糊量推定部52，基于所計(jì)算的位置偏離量V12、 V23以及V34，推定在圖像列L, L4的攝影期間作用于攝像裝置1的手抖狀態(tài)(換言之?dāng)z像裝置1的抖動(dòng)狀態(tài))，基于該推定結(jié)果推定觀測(cè)低分辨率圖像L, L4的模糊量的大小關(guān)系?；鶞?zhǔn)圖像設(shè)置部53，基于模糊量推定部52的推定結(jié)果，將與最小的模糊量對(duì)應(yīng)的觀測(cè)
20低分辨率圖像設(shè)置作為基準(zhǔn)圖像，將剩下的三張觀測(cè)低分辨率圖像設(shè)置作為參照?qǐng)D像。
參照?qǐng)D13等更具體地進(jìn)行說(shuō)明。圖13的曲線240，表示第一具體例中的位置偏離量的大小的變化的情況。在圖13以及后述的圖14的曲線圖中，橫軸表示時(shí)間，且縱軸表示位置偏離量的大小，橫軸還與幀號(hào)碼對(duì)應(yīng)。25圖像L, L4的幀號(hào)碼分別為1 4。
點(diǎn)241、 242以及243，分別為表示第一具體例中的位置偏離量V12、V23以及V34的大小的點(diǎn)。將作為二維量的位置偏離量V12、 V23以及V34的大小分別以IV,J、 |V23|、 lvj來(lái)表現(xiàn)。按照點(diǎn)241 243位于曲線240上的方式采用插值法(interpolation)形成曲線240。曲線240這樣的采用30插值法使位置偏離量V12、 V23以及V34的大小連接所形成的線稱(chēng)作手抖動(dòng)
24量軌跡。手抖動(dòng)量軌跡，可以解釋為表示在圖像" L4的攝影期間(包含其曝光期間)內(nèi)作用于攝像裝置1的手抖的大小(換言之因手抖而引起的攝像裝置1的抖動(dòng)的大小)的時(shí)間的變化。如圖13所示的例子那樣，在
不等式"|V,」> |V2」< I V3」"成立的情況下，采用樣條插值(spline5interpolation)等描繪手抖動(dòng)量軌跡。
另外，在采用插值法形成手抖動(dòng)量軌跡時(shí)，除位置偏離量V12、 V23以及V34的大小之外，還利用在圖像L,的攝影剛剛之前攝影的幀圖像Lo和圖像L,之間的位置偏離量VQ1、以及在圖像U與在圖像L4的攝影剛剛之后所攝影的幀圖像L5之間的位置偏離量V45。
io 點(diǎn)245，表示手抖動(dòng)量軌跡240上的位置偏離量的大小變成極小的點(diǎn)。
模糊量推定部52，將該極小點(diǎn)245在時(shí)間方向的位置最近的幀號(hào)碼確定作為最小手抖動(dòng)幀號(hào)碼。然后，在與最小手抖動(dòng)幀號(hào)碼對(duì)應(yīng)的觀測(cè)低分辨率圖像的曝光期間作用的手抖動(dòng)的大小，比其他任一觀測(cè)低分辨率圖像的手抖動(dòng)的大小要小，結(jié)果，推定與最小手抖動(dòng)幀號(hào)碼對(duì)應(yīng)的觀測(cè)低分辨率圖
15像的模糊量(因手抖動(dòng)引起的模糊量)比其它任一觀測(cè)低分辨率圖像的模糊量都小。
基準(zhǔn)圖像設(shè)置部53，將與最小手抖動(dòng)幀號(hào)碼對(duì)應(yīng)的觀測(cè)低分辨率圖像設(shè)置作為基準(zhǔn)圖像，且將剩下的三張觀測(cè)低分辨率圖像設(shè)置作為參照?qǐng)D像。在圖13的例子中，點(diǎn)245位于點(diǎn)242和點(diǎn)243之間，因此最小手抖20動(dòng)幀號(hào)碼為"3"，并且與最小手抖動(dòng)幀號(hào)碼對(duì)應(yīng)的觀測(cè)低分辨率圖像為L(zhǎng)3。因此，將圖像L3設(shè)置為基準(zhǔn)圖像，圖像L!、 L2以及L4設(shè)置為參照?qǐng)D像。
針對(duì)在不等式"I v12l > I v23l < I v34l"不成立的情況下的最小手抖動(dòng)幀
號(hào)碼的決定方法進(jìn)行說(shuō)明。圖14的手抖動(dòng)量軌跡250，表示第二具體例中25位置偏離量的大小的變化的情況。點(diǎn)251、 252以及253分別是表示第二
具體例中的位置偏離量V,2、 V23以及V34的大小的點(diǎn)，通過(guò)采用插值法連
接點(diǎn)251 253連接從而形成手抖動(dòng)量軌跡250。
在圖14對(duì)應(yīng)的第二具體例中，由于不等式"|V|2|> |V23I> |V34| "成立，因此可知在圖像L, L4的攝影期間(包括其曝光期間)內(nèi)作用于攝像30裝置1的手抖動(dòng)的大小慢慢減少。這種情況下，決定最小手抖動(dòng)幀號(hào)碼為"4"。相反，在不等式"|V12i<|V23|<|V34|"成立的情況下，決定最小手
抖動(dòng)幀號(hào)碼為"r，。另外，在不等式"lv12l<lv23l〉lv34|"以及"|V12|>|
V34|"成立的情況下，決定最小手抖動(dòng)幀號(hào)碼為"4"，在不等式"|V12I<I V23l > I V34l "以及"I V12| < I V34| "成立的情況下，決定最小手抖動(dòng)幀號(hào)碼
5為"1"即可。決定最小手抖動(dòng)幀號(hào)碼后的處理內(nèi)容與上述相同。
另外，也可以按照以下方式?jīng)Q定最小手抖動(dòng)幀號(hào)碼。分別與幀號(hào)碼1、
2、 3以及4對(duì)應(yīng)地求出位置偏離量V(M以及V,2的大小的和、位置偏離量
Vu以及V23的大小的和、位置偏離量V23以及V34的大小的和、以及位置
偏離量V34以及V45的大小的和，將與這四個(gè)和內(nèi)的最小值對(duì)應(yīng)的幀號(hào)碼
10 決定為最小手抖動(dòng)幀號(hào)碼。
(第三實(shí)施例)
第一以及第二實(shí)施例所描述的模糊量的推定方法是一例，也可以以與其不同的方法進(jìn)行模糊量的推定。作為表示模糊量的推定方法的變形例說(shuō)明第三實(shí)施例。第三實(shí)施例是與第一實(shí)施例組合來(lái)實(shí)施的。
15 例如，也可以基于觀測(cè)低分辨率圖像的亮度值的直方圖中的方差進(jìn)行
模糊量的推定。在采用該方法的情況下，圖4的模糊量推定部52，提取觀測(cè)低分辨率圖像的各像素的亮度信號(hào)生成觀測(cè)低分辨率圖像的亮度值(即亮度信號(hào)值)的直方圖。然后，計(jì)算該直方圖的方差作為模糊量評(píng)價(jià)值。直方圖的生成以及方差的計(jì)算，是按每個(gè)觀測(cè)低分辨率圖像進(jìn)行的。另外，
20形成直方圖的亮度信號(hào)，可以從觀測(cè)低分辨率圖像的整個(gè)區(qū)域中提取，也
可以從觀測(cè)低分辨率圖像的一部分區(qū)域中提取。
三張觀測(cè)低分辨率圖像L, L3是連續(xù)攝影的三張幀圖像，因此基本上這些構(gòu)圖相同。如果是相同構(gòu)圖的圖像，則在曝光期間產(chǎn)生的手抖動(dòng)越大鄰接像素之間的亮度越被平滑化，中間灰度的像素的比例增加，亮度值的
25直方圖中的分布集中化在中間灰度。上述的平滑化的程度越大，直方圖中
的方差越小，模糊量評(píng)價(jià)值越小，因此可以推定模糊量評(píng)價(jià)值越大，與其
對(duì)應(yīng)的觀測(cè)低分辨率圖像的模糊量越小。因此，圖4的基準(zhǔn)圖像設(shè)置部53，基于直方圖的方差，將觀測(cè)低分辨率圖像L, L3中的與模糊量評(píng)價(jià)值內(nèi)最大的模糊量評(píng)價(jià)值所對(duì)應(yīng)的觀測(cè)低分辨率圖像設(shè)置作為基準(zhǔn)圖像，將剩下
30 的兩張觀測(cè)低分辨率圖像設(shè)置作為參照?qǐng)D像。
26作為觀測(cè)低分辨率圖像的例子，在圖15 (a)中表示圖像261，并且在圖15 (b)中表示圖像262。圖像261為鮮明的圖像，另一方面，因圖像262的曝光期間產(chǎn)生大的手抖動(dòng)，從而圖像262中含有很大模糊。并且，圖16 (a)以及(b)分別表示對(duì)圖像261以及262生成的直方圖。在與圖5 像261的直方圖的對(duì)比中(參照?qǐng)D16 (a))，在圖像262的直方圖(參照?qǐng)D16 (b))中可見(jiàn)分布向中間灰度集中化。因該集中化，方差會(huì)變小。
此外，還可采用推定圖像的模糊量的任意方法。例如，也可以采用JP特開(kāi)平11 一27574號(hào)公報(bào)中記載的方法，推定觀測(cè)低分辨率圖像的模糊量。這種情況下，通過(guò)將所關(guān)注的觀測(cè)低分辨率圖像進(jìn)行傅立葉變換，從而生io 成二維頻率區(qū)域上的變換圖像，在以頻率坐標(biāo)的原點(diǎn)為中心的圓上投影變換圖像。然后，根據(jù)該投影數(shù)據(jù)推定所關(guān)注的觀測(cè)低分辨率圖像的模糊量。另外，JP特開(kāi)平11一27574號(hào)公報(bào)中的"手抖動(dòng)的大小"相當(dāng)于模糊量。(第四實(shí)施例)
接著，說(shuō)明第四實(shí)施例。圖17為第四實(shí)施例涉及的超分辨部50a的
15 內(nèi)部框圖。設(shè)置在超分辨部50a中的由符號(hào)51、 54 57以及61 64所參照的各部位，與圖4的部位相同。設(shè)置在超分辨部50a中的基準(zhǔn)圖像設(shè)置部53a的功能，由圖1的CPU23或者影像信號(hào)處理部13實(shí)現(xiàn)。除了基準(zhǔn)圖像的設(shè)置方法不同這點(diǎn)以外，超分辨部50a與第一實(shí)施例涉及的超分辨部50 (圖4)相同。因此，以下，對(duì)第四實(shí)施例涉及的基準(zhǔn)圖像的設(shè)置方
20 法進(jìn)行說(shuō)明。第四實(shí)施例中，與第一實(shí)施例同樣地，假設(shè)根據(jù)三張觀測(cè)低分辨率圖像L, L3生成一張高分辨率圖像。
在第四實(shí)施例中，在攝像裝置1中設(shè)置圖18的傳感器部75?；鶞?zhǔn)圖像設(shè)置部53a，基于從傳感器部75輸出的傳感器檢測(cè)數(shù)據(jù)，從觀測(cè)低分辨率圖像L, L3中設(shè)置基準(zhǔn)圖像。傳感器部75，對(duì)因手抖動(dòng)等引起的攝像
25裝置1的抖動(dòng)(攝像裝置1的筐體的抖動(dòng))進(jìn)行檢測(cè)。具體而言，傳感器部75，具備角速度傳感器75A,其對(duì)攝像裝置1的偏轉(zhuǎn)(Yaw)方向(水平方向)的角速度進(jìn)行檢測(cè)，并輸出表示其檢測(cè)結(jié)果的信號(hào)；和角速度傳感器75B，其對(duì)攝像裝置l的俯仰(Pitch)方向(垂直方向)的角速度進(jìn)行檢測(cè)，并輸出表示其檢測(cè)結(jié)果的信號(hào)；上述傳感器部75將角速度傳感
30器75A以及75B的輸出信號(hào)作為傳感器檢測(cè)數(shù)據(jù)輸出。根據(jù)傳感器檢測(cè)數(shù)據(jù)表示攝像裝置1的抖動(dòng)(攝像裝置1的筐體的抖
動(dòng))的大小以及方向?；鶞?zhǔn)圖像設(shè)置部53a，基于觀測(cè)低分辨率圖像L,
L3各自的曝光期間的傳感器檢測(cè)數(shù)據(jù)設(shè)置基準(zhǔn)圖像。具體而言，根據(jù)圖像
L, L3各自的曝光期間的傳感器檢測(cè)數(shù)據(jù)，求出圖像Lj的曝光期間內(nèi)攝5像裝置1的抖動(dòng)大小Q，、圖像L2的曝光期間內(nèi)攝像裝置1的抖動(dòng)大小Q2以及圖像L3的曝光期間內(nèi)攝像裝置1的抖動(dòng)大小Q3，將與大小Q, Q3內(nèi)的最小的大小對(duì)應(yīng)的觀測(cè)低分辨率圖像設(shè)置為基準(zhǔn)圖像，并且將剩下的兩張觀測(cè)低分辨率圖像設(shè)置為參照?qǐng)D像。例如，如圖19所示，在不等式"Q^QpQ2"成立的情況下，將圖像L2設(shè)置為基準(zhǔn)圖像，并且將圖像L,
io以及L3設(shè)置為參照?qǐng)D像。
大小Q,表示例如在實(shí)際空間上來(lái)自靜止的點(diǎn)光源的光形成的點(diǎn)像因在圖像L,的曝光期間內(nèi)攝像裝置1的抖動(dòng)而在圖像L,上描繪的軌跡的長(zhǎng)
度(或者該軌跡的始點(diǎn)與終點(diǎn)之間的距離)。關(guān)于大小Q2以及Q3也同樣。
另外，還考慮超分辨部50a中內(nèi)置模糊量推定部(未圖示)的情況。15 這種情況下，超分辨部50a中的模糊量推定部，根據(jù)圖像Li L3的各個(gè)曝光期間的傳感器檢測(cè)數(shù)據(jù)求出攝像裝置1的抖動(dòng)大小Qi Q3，推定為攝像裝置1的抖動(dòng)的大小越大對(duì)應(yīng)的觀測(cè)低分辨率圖像的模糊量越大，將該推定結(jié)果提供給基準(zhǔn)圖像設(shè)置部53a?；鶞?zhǔn)圖像設(shè)置部53a，基于該推定結(jié)果能夠設(shè)置基準(zhǔn)圖像。因此例如在不等式"Q,>Q3>Q2"成立的情況下，推20定為圖像L, L3的模糊量中圖像L,的模糊量最大且圖像L2的模糊量最小，通過(guò)將該推定結(jié)果提供給基準(zhǔn)圖像設(shè)置部53a，從而將圖像L2設(shè)置為基準(zhǔn)圖像，并且將圖像L,以及L3設(shè)置為參照?qǐng)D像。
并且，上述雖然是由角速度傳感器構(gòu)成傳感器部75的例子，但也可以由對(duì)表示攝像裝置1的抖動(dòng)的除角速度以外的物理量進(jìn)行檢測(cè)的傳感器25構(gòu)成傳感器部75。例如，也可以由對(duì)攝像裝置1的加速度進(jìn)行檢測(cè)的加速度傳感器或者對(duì)攝像裝置1的角加速度進(jìn)行檢測(cè)的角加速度傳感器形成傳感器部75。
然而，在對(duì)圖像L,進(jìn)行攝影的情況下，取得表示圖像L,的亮度以及顏色的圖像數(shù)據(jù)同時(shí)還有在圖像L,的曝光期間的傳感器檢測(cè)數(shù)據(jù),將這些30數(shù)據(jù)相互關(guān)聯(lián)，并根據(jù)需要記錄在外部存儲(chǔ)器18 (參照?qǐng)D1)中。在將關(guān)于圖像L,的這些數(shù)據(jù)記錄在外部存儲(chǔ)器18中的情況下，例如將由主體區(qū)域和標(biāo)題區(qū)域構(gòu)成的一個(gè)圖像文件設(shè)置在外部存儲(chǔ)器18內(nèi)，在該圖像文件的主體區(qū)域保存圖像數(shù)據(jù)，并且在標(biāo)題區(qū)域保存?zhèn)鞲衅鳈z測(cè)數(shù)據(jù)?？梢?br> 認(rèn)為圖像L,的傳感器檢測(cè)數(shù)據(jù)，是圖像L,的圖像數(shù)據(jù)所附帶的表示圖像5 L,的攝影條件的信息。關(guān)于圖像L,以外的圖像(L2等)也同樣。
在本說(shuō)明書(shū)中，如圖20所示，將包含圖像數(shù)據(jù)以及傳感器檢測(cè)數(shù)據(jù)在內(nèi)的信息稱(chēng)作圖像信息。圖像L,的圖像信息，表示還包含圖像L,的攝影條件在內(nèi)的圖像L,的特征(關(guān)于圖像L2等也同樣)。(第五實(shí)施例)
io 接著，對(duì)第五實(shí)施例進(jìn)行說(shuō)明。攝影者所關(guān)注的主要被攝體在圖像上
的大小越大，在圖像上越能夠更加詳細(xì)表現(xiàn)主要被攝體。因此，優(yōu)選將主要被攝體顯得更大的圖像提供給包含攝影者在內(nèi)的用戶。另一方面，通過(guò)超分辨處理所得到的高分辨率圖像，是以作為基準(zhǔn)圖像的觀測(cè)低分辨率圖像為基準(zhǔn)生成的，因此如果基準(zhǔn)圖像上的主要被攝體的大小比較大，則高
15分辨率圖像上的主要被攝體的大小也比較大?？紤]這個(gè)，在第五實(shí)施例中，
將主要被攝體顯得更大的觀測(cè)低分辨率圖像設(shè)置作為基準(zhǔn)圖像。
圖21為第五實(shí)施例的超分辨部50b的內(nèi)部框圖。設(shè)置在超分辨部50b中的由符號(hào)51、 54 57以及61 64所參照的各部位，與圖4的部位相同。設(shè)置在超分辨部50b中的基準(zhǔn)圖像設(shè)置部53b以及被攝體大小檢測(cè)部7620 的功能，由圖1的CPU23或者影像信號(hào)處理部13實(shí)現(xiàn)。除了基準(zhǔn)圖像的設(shè)置方法不同這點(diǎn)以外，超分辨部50b與第一實(shí)施例涉及的超分辨部50(圖4)相同。因此，以下，對(duì)基準(zhǔn)圖像的設(shè)置有關(guān)的基準(zhǔn)圖像設(shè)置部53b以及被攝體大小檢測(cè)部76的功能進(jìn)行說(shuō)明。第五實(shí)施例中，與第一實(shí)施例同樣地，假設(shè)根據(jù)三張觀測(cè)低分辨率圖像L, L3生成一張高分辨率圖
25 像。
被攝體大小檢測(cè)部76，按每個(gè)觀測(cè)低分辨率圖像，基于觀測(cè)低分辨率
圖像的圖像數(shù)據(jù)對(duì)觀測(cè)低分辨率圖像上的主要被攝體的大小進(jìn)行檢測(cè)?；?br> 準(zhǔn)圖像設(shè)置部53b，將觀測(cè)低分辨率圖像L, L3內(nèi)主要被攝體的大小最大的觀測(cè)低分辨率圖像設(shè)置為基準(zhǔn)圖像，并且將其他兩張觀測(cè)低分辨率圖像30 設(shè)置為參照?qǐng)D像。列舉具體例對(duì)被攝體大小檢測(cè)部76的檢測(cè)方法進(jìn)行說(shuō)明。首先，作為第一檢測(cè)方法，對(duì)被攝體大小檢測(cè)部76可執(zhí)行臉檢測(cè)處理的情況進(jìn)行說(shuō)明。臉檢測(cè)處理，是基于觀測(cè)低分辨率圖像的圖像數(shù)據(jù)將存在人物臉的圖像數(shù)據(jù)的圖像區(qū)域作為臉區(qū)域從觀測(cè)低分辨率圖像的整個(gè)圖像區(qū)域中
5 提取的處理。第一檢測(cè)方法中，被攝體大小檢測(cè)部76，通過(guò)對(duì)圖像1^ L3分別執(zhí)行臉檢測(cè)處理從而從各個(gè)圖像L, L3中提取臉區(qū)域。臉區(qū)域的大小，是隨著存在于該臉區(qū)域內(nèi)的臉的大小的增大而增大的。
第一檢測(cè)方法中，被攝體大小檢測(cè)部76，將含有表示臉區(qū)域的大小的信息的臉檢測(cè)結(jié)果發(fā)送給基準(zhǔn)圖像設(shè)置部53b，基準(zhǔn)圖像設(shè)置部53b，基
io 于該臉檢測(cè)結(jié)果，將提取了最大臉區(qū)域的觀測(cè)低分辨率圖像設(shè)置為基準(zhǔn)圖像。例如，取得圖22的圖像301 303作為圖像L, L3，并且從圖像301 303中提取臉區(qū)域311 313，在圖像上的臉區(qū)域312的大小比臉區(qū)域311以及313的大小大的情況下，將與圖像302以及臉區(qū)域312對(duì)應(yīng)的圖像L2設(shè)置為基準(zhǔn)圖像。在上述例子中，考慮人物的臉或者人物本身是主要被
15 攝體。
然而，作為取得圖像301 303這樣的臉區(qū)域的大小不一致的圖像列的一個(gè)原因，認(rèn)為是在圖像301 303的攝影期間內(nèi)攝像裝置1沿著攝影方向活動(dòng)(即前后活動(dòng))。這樣的情況下，在圖像301 303之間按照臉區(qū)域的大小一致的方式對(duì)圖像301 303整體實(shí)施線性變換(所謂電子變焦)，
20 采用線性變換后的圖像301 303作為參照?qǐng)D像進(jìn)行超分辨處理。
但是，還考慮在圖像301 303的攝影期間內(nèi)不是攝像裝置1而是與臉區(qū)域311 313對(duì)應(yīng)的人物在攝影方向活動(dòng)。即使這樣的情況下，只要采用上述線性變換后的圖像301 303作為參照?qǐng)D像進(jìn)行超分辨處理即可，但在人物活動(dòng)的情況下，在作為基準(zhǔn)圖像的圖像302與線性變換后的圖像
25301以及303之間，臉區(qū)域的大小一致的圖像的背景區(qū)域的大小不一致。若采用背景區(qū)域的大小不一致的圖像列進(jìn)行超分辨處理，則背景區(qū)域中會(huì)產(chǎn)生雙重像。
另一方面，若產(chǎn)生這樣的不一致則由位置偏離檢測(cè)部54產(chǎn)生的位置偏離量的可靠度降低，因此如果與位置偏離量一起計(jì)算該可靠度，則可檢30測(cè)上述不一致的發(fā)生。例如，如公知，可根據(jù)在位置偏離量計(jì)算時(shí)生成的數(shù)據(jù)(例如在采用塊匹配法求出位置偏離量時(shí)導(dǎo)出的SSD (Sum of squared difference)的值)求出上述可靠度。
因此，當(dāng)檢測(cè)到上述不一致的情況下，判斷為人物活動(dòng)了，只要不將 作為線性變換后的圖像301以及303內(nèi)的圖像區(qū)域且除臉區(qū)域(或者存在 5人物的圖像數(shù)據(jù)的圖像區(qū)域)以外的圖像區(qū)域用于超分辨處理中即可。例 如，僅采用圖像302的整個(gè)圖像區(qū)域和線性變換后的圖像301以及303的 臉區(qū)域311以及313生成高分辨率圖像。這樣，由三張低分辨率圖像的臉 區(qū)域生成高分辨率圖像內(nèi)的臉區(qū)域，另一方面，僅由圖像302生成高分辨 率圖像內(nèi)除臉區(qū)域以外的部分，但為了實(shí)現(xiàn)作為主要被攝體的臉的高分辨
io率化是十分有用的。另外，高分辨率圖像的生成所需要的、在圖像302的 臉區(qū)域311和線性變換后的圖像301以及303的臉區(qū)域311以及313之間 的位置偏離量，可以由在臉檢測(cè)處理的執(zhí)行時(shí)所求出的各臉區(qū)域的位置決 定。這樣的不將線性變換后的觀測(cè)低分辨率圖像內(nèi)的一部分圖像區(qū)域用于 超分辨處理的方法，也可以應(yīng)用于后述的第二檢測(cè)方法中。
15 對(duì)采用被攝體大小檢測(cè)部76的第二檢測(cè)方法進(jìn)行說(shuō)明。在第二檢測(cè)
方法中，被攝體大小檢測(cè)部76，對(duì)各觀測(cè)低分辨率圖像設(shè)置主要被攝體區(qū) 域。所謂主要被攝體區(qū)域，是觀測(cè)低分辨率圖像的一部分圖像區(qū)域且推測(cè) 為存在主要被攝體的圖像數(shù)據(jù)的圖像區(qū)域。例如， 一般而言鑒于主要被攝 體存在于圖像的中央附近的可能性高，可以將位于觀測(cè)低分辨率圖像的中
20央附近的、預(yù)先設(shè)置的圖像區(qū)域用作主要被攝體區(qū)域?；蛘?，也可以采用 后述的第七實(shí)施例所述的AF評(píng)價(jià)區(qū)域作為主要被攝體區(qū)域。進(jìn)而或者還 可以采用存在處于焦點(diǎn)的被攝體的圖像數(shù)據(jù)的圖像區(qū)域作為主要被攝體 區(qū)域。可以根據(jù)觀測(cè)低分辨率圖像的高頻成分決定存在處于焦點(diǎn)的被攝體 的圖像數(shù)據(jù)的圖像區(qū)域的位置。
25 當(dāng)前，考慮取得圖23的圖像321 323作為圖像L, L3，并且對(duì)圖像
321 323設(shè)置主要被攝體區(qū)域331 333的情況。被攝體大小檢測(cè)部76， 在主要被攝體區(qū)域331 333的中央附近分別設(shè)置基準(zhǔn)區(qū)域341 343。主 要被攝體區(qū)域的位置以及大小還有基準(zhǔn)區(qū)域的位置以及大小，在圖像 321 323之間是相同的。
30 被攝體大小檢測(cè)部76，基于圖像321 323的圖像數(shù)據(jù)，分別求出圖
31像321的基準(zhǔn)區(qū)域341內(nèi)的顏色、圖像322的基準(zhǔn)區(qū)域342內(nèi)的顏色以及 圖像323的基準(zhǔn)區(qū)域343內(nèi)的顏色作為第一 第三基準(zhǔn)顏色?；鶞?zhǔn)區(qū)域341 內(nèi)的顏色，是例如屬于基準(zhǔn)區(qū)域341內(nèi)的各像素的平均顏色(關(guān)于基準(zhǔn)區(qū) 域342內(nèi)的顏色以及基準(zhǔn)區(qū)域343內(nèi)的顏色也同樣)。在圖像數(shù)據(jù)由RGB 5形式的信號(hào)表示的情況下，只要根據(jù)作為屬于基準(zhǔn)區(qū)域341內(nèi)的各像素的 顏色信號(hào)的R、 G以及B信號(hào)求出第一基準(zhǔn)顏色即可，在由YUV形式的 信號(hào)表示圖像數(shù)據(jù)的情況下，只要根據(jù)作為屬于基準(zhǔn)區(qū)域341內(nèi)的各像素 的色差信號(hào)即U及V信號(hào)求出第一基準(zhǔn)顏色即可(關(guān)于第二以及第三基 準(zhǔn)顏色也同樣)。有關(guān)某個(gè)像素，R、 G以及B信號(hào)表示該像素的紅色、綠 io色以及藍(lán)色的強(qiáng)度。另外，可以將第一 第三基準(zhǔn)顏色全部設(shè)置為相同顏 色。這種情況下，可以將第一 第三基準(zhǔn)顏色設(shè)置為基準(zhǔn)區(qū)域341、 342 或者343內(nèi)的顏色。
被攝體大小檢測(cè)部76，通過(guò)按每個(gè)觀測(cè)低分辨率圖像，對(duì)在主要被攝 體區(qū)域內(nèi)存在幾個(gè)與基準(zhǔn)顏色相同或類(lèi)似的像素進(jìn)行計(jì)數(shù)，從而對(duì)觀測(cè)低 15分辨率圖像上的主要被攝體的大小進(jìn)行檢測(cè)。
具體而言，按每個(gè)觀測(cè)低分辨率圖像進(jìn)行以下處理。將基準(zhǔn)顏色在 RGB顏色空間上的位置設(shè)置作為基準(zhǔn)位置，另一方面，對(duì)屬于主要被攝體 區(qū)域內(nèi)的各像素的顏色在RGB顏色空間上的位置進(jìn)行檢測(cè)，求出前者的 位置(基準(zhǔn)位置)與后者的位置之間的歐氏距離(Euclidean distance)。然
20后，檢測(cè)主要被攝體區(qū)域內(nèi)的像素內(nèi)歐氏距離處于規(guī)定的閾值DTH以下的
像素的個(gè)數(shù)作為主要被攝體的大小。如圖23所示的情況下，對(duì)圖像L2計(jì) 數(shù)的上述個(gè)數(shù)，比對(duì)圖像L,以及L3計(jì)數(shù)的上述個(gè)數(shù)大，結(jié)果，圖像L2被 設(shè)置為基準(zhǔn)圖像。
根據(jù)第五實(shí)施例，可生成主要被攝體表現(xiàn)大的對(duì)用戶而言優(yōu)選的高分 25 辨率圖像。
(第六實(shí)施例)
接著，說(shuō)明第六實(shí)施例。若選擇對(duì)用戶而言非優(yōu)選的、閉眼的圖像或 表情不好的圖像作為基準(zhǔn)圖像，則高分辨率圖像也不能成為優(yōu)選圖像。因 此，第六實(shí)施例中，考慮臉的狀態(tài)進(jìn)行基準(zhǔn)圖像的設(shè)置。 30 圖24為第六實(shí)施例涉及的超分辨部50c的內(nèi)部框圖。由設(shè)置在超分辨部50c中的由符號(hào)51、 54 57以及61 64所參照的各部位，與圖4的 各部位相同。設(shè)置在超分辨部50c中的基準(zhǔn)圖像設(shè)置部53c以及臉狀態(tài)檢 測(cè)部77的功能，由圖1的CPU23或者影像信號(hào)處理部13實(shí)現(xiàn)。除了基 準(zhǔn)圖像的設(shè)置方法不同這點(diǎn)以外，超分辨部50c與第一實(shí)施例涉及的超分 5辨部50 (圖4)同樣。因此，以下，對(duì)基準(zhǔn)圖像的設(shè)置有關(guān)的基準(zhǔn)圖像設(shè) 置部53c以及臉狀態(tài)檢測(cè)部77的功能進(jìn)行說(shuō)明。第六實(shí)施例中，與第一 實(shí)施例同樣地，假設(shè)根據(jù)三張觀測(cè)低分辨率圖像L, L3生成一張高分辨率 圖像。
臉狀態(tài)檢測(cè)部77，對(duì)各觀測(cè)低分辨率圖像執(zhí)行第五實(shí)施例所述的臉檢 io測(cè)處理，提取觀測(cè)低分辨率圖像上的人物的臉區(qū)域。之后，臉狀態(tài)檢測(cè)部 77，基于觀測(cè)低分辨率圖像的圖像數(shù)據(jù)，從臉區(qū)域內(nèi)提取存在眼睛的眼睛 區(qū)域，進(jìn)而執(zhí)行檢測(cè)眼睛的開(kāi)閉狀態(tài)的眨眼檢測(cè)處理。眨眼檢測(cè)處理，可 利用包含公知的方法在內(nèi)的任意方法。例如，通過(guò)進(jìn)行采用表示標(biāo)準(zhǔn)瞳孔 的圖像作為模板的模板匹配，從而對(duì)眼睛區(qū)域內(nèi)的瞳孔的有無(wú)進(jìn)行檢測(cè)， 15 可以根據(jù)該有無(wú)檢測(cè)結(jié)果檢測(cè)眼睛是否打開(kāi)著。
基準(zhǔn)圖像設(shè)置部53c，將觀測(cè)低分辨率圖像L, L3內(nèi)通過(guò)眨眼檢測(cè)處 理判斷為眼睛打開(kāi)著的觀測(cè)低分辨率圖像設(shè)置為基準(zhǔn)圖像。例如，在判斷 為圖像L2以及L3上的眼睛打開(kāi)且圖像"上的眼睛閉著的情況下，將圖像 L2或者L3設(shè)置為基準(zhǔn)圖像，并且將剩下的兩張(圖像u以及L2、或者圖 20像L,以及L3)設(shè)置為參照?qǐng)D像。
另外，在判斷為圖像L2以及L3上的眼睛打開(kāi)且圖像L,上的眼睛閉著 的情況下，為了防止高分辨率圖像上出現(xiàn)雙重像，不將圖像L,的眼睛區(qū)域 (或者整個(gè)臉區(qū)域)用于超分辨處理較好。這種情況下，高分辨率圖像的
除眼睛區(qū)域(或者整個(gè)臉區(qū)域)以外的部分由圖像I^ L3生成，另一方面， 25 高分辨率圖像的眼睛區(qū)域(或者整個(gè)臉區(qū)域)僅由圖像L2以及L3生成。
也可以在提取觀測(cè)低分辨率圖像上的臉區(qū)域之后使臉狀態(tài)檢測(cè)部77 執(zhí)行笑臉檢測(cè)處理而非眨眼檢測(cè)處理。笑臉檢測(cè)處理，是按每個(gè)觀測(cè)低分 辨率圖像執(zhí)行的。在笑臉檢測(cè)處理中，基于觀測(cè)低分辨率圖像的圖像數(shù)據(jù)， 判斷臉區(qū)域內(nèi)的臉是否為笑臉。笑臉檢測(cè)處理中可利用包含公知的方法在 30 內(nèi)的任意方法。
33在執(zhí)行笑臉檢測(cè)處理的情況下，基準(zhǔn)圖像設(shè)置部53c，將觀測(cè)低分辨 率圖像L, L3內(nèi)通過(guò)笑臉檢測(cè)處理判斷為臉區(qū)域內(nèi)的臉為笑臉的觀測(cè)低 分辨率圖像設(shè)置為基準(zhǔn)圖像。例如，在判斷為圖像L2以及L3上的臉為笑
臉且圖像L,上的臉?lè)切δ樀那闆r下，將圖像L2或者L3設(shè)置為基準(zhǔn)圖像， 5并且將剩下的兩張(圖像L,以及L2，或者，圖像L,以及L3)設(shè)置為參照 圖像。
另外，在判斷為圖像L2以及L3上的臉為笑臉且圖像L,上的臉?lè)切δ?的情況下，為了防止高分辨率圖像上出現(xiàn)雙重像，不將圖像L,的整個(gè)臉區(qū) 域用于超分辨處理較好。這種情況下，根據(jù)圖像L, L3生成高分辨率圖像 io的臉區(qū)域以外的部分，另一方面僅由圖像L2以及L3生成高分辨率圖像的 臉區(qū)域。
另外，還可采用上述的眨眼檢測(cè)處理和笑臉檢測(cè)處理雙方設(shè)置基準(zhǔn)圖 像。這種情況下，將通過(guò)眨眼處理判斷為眼睛打開(kāi)著且通過(guò)笑臉檢測(cè)處理 判斷為臉區(qū)域內(nèi)的臉為笑臉的觀測(cè)低分辨率圖像設(shè)置為基準(zhǔn)圖像。 15 根據(jù)第六實(shí)施例，可生成臉的狀態(tài)良好且對(duì)用戶而言優(yōu)選的高分辨率圖像。
(第七實(shí)施例)
接著說(shuō)明第七實(shí)施例。在第七實(shí)施例中，基于自動(dòng)聚焦控制所采用的 AF評(píng)價(jià)值設(shè)置基準(zhǔn)圖像。
20 首先，參照?qǐng)D25，詳細(xì)說(shuō)明圖1的攝像部11的內(nèi)部結(jié)構(gòu)。圖25為攝
像部ll的內(nèi)部結(jié)構(gòu)圖。攝像部ll，具有光學(xué)系統(tǒng)35、光圈32、攝像元 件33和驅(qū)動(dòng)器34。光學(xué)系統(tǒng)35，其結(jié)構(gòu)具備包含變焦透鏡30以及聚 焦透鏡31的多枚透鏡。變焦透鏡30以及聚焦透鏡31可在光軸方向移動(dòng)。 驅(qū)動(dòng)器34，基于來(lái)自CPU23的控制信號(hào)，控制變焦透鏡30以及聚焦
25 透鏡31的移動(dòng)，控制光學(xué)系統(tǒng)35的變焦倍率和焦點(diǎn)位置。并且，驅(qū)動(dòng)器 34，基于來(lái)自CPU23的控制信號(hào)，控制光圈32的開(kāi)度(開(kāi)口部的大小)。 來(lái)自被攝體的入射光，經(jīng)由構(gòu)成光學(xué)系統(tǒng)35的各透鏡以及光圈32，入射 向攝像元件33。構(gòu)成光學(xué)系統(tǒng)35的各透鏡，使被攝體的光學(xué)像在攝像元 件33上成像。從TG22提供用于對(duì)攝像元件33進(jìn)行驅(qū)動(dòng)的驅(qū)動(dòng)脈沖。
30 在攝像裝置1中，進(jìn)行采用TTL (Through The Lens)方式的自動(dòng)聚焦控制。為了進(jìn)行該自動(dòng)聚焦控制，在圖1的影像信號(hào)處理部13中設(shè)置
AF評(píng)價(jià)部(焦點(diǎn)評(píng)價(jià)值導(dǎo)出部)。圖26為設(shè)置在影像信號(hào)處理部13中的 AF評(píng)價(jià)部80的內(nèi)部框圖。
AF評(píng)價(jià)部80，具有提取部81、 HPF (高通濾波器)82以及累計(jì)部 583。 AF評(píng)價(jià)部80，針對(duì)一個(gè)幀圖像計(jì)算一個(gè)AF評(píng)價(jià)值(焦點(diǎn)評(píng)價(jià)值)。 對(duì)提取部81提供幀圖像的影像信號(hào)。提取部81，從該影像信號(hào)中提 取在幀圖像內(nèi)定義的AF評(píng)價(jià)區(qū)域(焦點(diǎn)評(píng)價(jià)區(qū)域)內(nèi)的亮度信號(hào)。AF 評(píng)價(jià)區(qū)域，由相互分離的多個(gè)要素區(qū)域形成。圖27 (a)表示AF評(píng)價(jià)區(qū) 域的設(shè)置例。例如，通過(guò)將幀圖像分別在垂直方向和水平方向三等分，從
io 而在幀圖像內(nèi)定義9個(gè)分割區(qū)域。然后，如圖27 (a)所示，將該9個(gè)分 割區(qū)域內(nèi)位于幀圖像中央的分割區(qū)域的整體或者一部分作為要素區(qū)域 AR1 ，將位于要素區(qū)域AR1的上下左右的分割區(qū)域的整體或者一部分作為 要素區(qū)域AR2 AR5。這種情況下，要素區(qū)域AR1 AR5的總計(jì)區(qū)域相當(dāng) 于AF評(píng)價(jià)區(qū)域。另外，還可由一個(gè)要素區(qū)域形成AF評(píng)價(jià)區(qū)域。例如，15可以將要素區(qū)域AR1本身作為AF評(píng)價(jià)區(qū)域。在以下說(shuō)明中，假設(shè)由要素 區(qū)域AR1 AR5形成AF評(píng)價(jià)區(qū)域。
HPF82，只提取由提取部81所提取的亮度信號(hào)中的規(guī)定高頻成分。例 如，由具有如圖7所示這樣的3X3的濾波器大小的拉普拉斯濾波器形成 HPF82，進(jìn)行使該拉普拉斯濾波器作用于AF評(píng)價(jià)區(qū)域內(nèi)的各要素的空間
20 濾波。這樣，由HPF82依次得到與該拉普拉斯濾波器的濾波特性相應(yīng)的輸 出值。
累計(jì)部83，對(duì)通過(guò)HPF82所提取的高頻成分的大小(即，HPF82的 輸出值的絕對(duì)值)進(jìn)行累計(jì)。該累計(jì)，是按每個(gè)要素區(qū)域分別進(jìn)行的。因 此，計(jì)算關(guān)于要素區(qū)域AR1 AR5的各累計(jì)值。累計(jì)部83，通過(guò)依據(jù)事
25先決定的加權(quán)系數(shù)對(duì)各累計(jì)值進(jìn)行加權(quán)相加從而計(jì)算AF評(píng)價(jià)值。假設(shè)要 素區(qū)域AR1對(duì)應(yīng)的加權(quán)系數(shù)比其他要素系數(shù)對(duì)應(yīng)的加權(quán)系數(shù)更高。例如， 如圖27 (b)所示，考慮要素區(qū)域AR1對(duì)應(yīng)的加權(quán)系數(shù)為2.0且其他要素 區(qū)域AR2 AR5對(duì)應(yīng)的加權(quán)系數(shù)為l.O的情況。這樣，計(jì)算將對(duì)要素區(qū)域 AR1計(jì)算的累計(jì)值乘以2所得到的值、與對(duì)要素區(qū)域AR2 AR5計(jì)算的
30累計(jì)值之間的總和作為AF評(píng)價(jià)值。對(duì)依次得到的幀圖像計(jì)算的各AF評(píng)價(jià)值，逐次被傳遞給圖1的
CPU23。關(guān)于某幀圖像的AF評(píng)價(jià)值，與該幀圖像的AF評(píng)價(jià)區(qū)域內(nèi)的高 頻成分的量大概成比例，且隨著該量的增大而增大。高頻成分的量也叫做 高頻成分的強(qiáng)度。
5 在自動(dòng)聚焦控制的執(zhí)行時(shí)， 一邊使聚焦透鏡31 —點(diǎn)一點(diǎn)移動(dòng)一邊依
次求出AF評(píng)價(jià)值，求出AF評(píng)價(jià)值為最大(或者極大)的聚焦透鏡31的 位置作為調(diào)焦透鏡位置。然后，例如將在將聚焦透鏡31配置在調(diào)焦透鏡 位置的狀態(tài)下連續(xù)攝影的三張幀圖像作為上述的觀測(cè)低分辨率圖像L,
L3處理。
io 該觀測(cè)低分辨率圖像L, L3也被提供給AF評(píng)價(jià)部80，觀測(cè)低分辨率
圖像L, L3各自對(duì)應(yīng)的AF評(píng)價(jià)值也如上述方式求出。然后，在第七實(shí)施 例中，將觀測(cè)低分辨率圖像L, L3的AF評(píng)價(jià)值中最大的AF評(píng)價(jià)值所對(duì) 應(yīng)的觀測(cè)低分辨率圖像設(shè)置作為基準(zhǔn)圖像。
圖28為第七實(shí)施例涉及的實(shí)施超分辨處理的超分辨部50d的內(nèi)部框
15 圖。超分辨部50d，其構(gòu)成具備由符號(hào)51、 80、 53d以及54 57所參照 的各部分、和幀存儲(chǔ)器61 64。即，通過(guò)將圖4的超分辨部50中的模糊 量推定部52以及基準(zhǔn)圖像設(shè)置部53調(diào)換成AF評(píng)價(jià)部80以及基準(zhǔn)圖像設(shè) 置部53d從而形成超分辨部50d。超分辨部50d內(nèi)除AF評(píng)價(jià)部80以及基 準(zhǔn)圖像設(shè)置部50d以外的部位的動(dòng)作，與圖4的超分辨部50的該部位的
20 動(dòng)作相同，因此省略對(duì)相同部位的重復(fù)說(shuō)明。基準(zhǔn)圖像設(shè)置部53d，由 CPU23實(shí)現(xiàn)。但是，也可以由影像信號(hào)處理部13實(shí)現(xiàn)基準(zhǔn)圖像設(shè)置部53d 的功能。
AF評(píng)價(jià)值80，將關(guān)于觀測(cè)低分辨率圖像L, L3的AF評(píng)價(jià)值發(fā)送給 基準(zhǔn)圖像設(shè)置部53d?；鶞?zhǔn)圖像設(shè)置部53d，基于關(guān)于圖像Li U的AF
25 評(píng)價(jià)值進(jìn)行設(shè)置基準(zhǔn)圖像以及參照?qǐng)D像的處理。具體而言，確定對(duì)圖像 L, L3所求出的3個(gè)AF評(píng)價(jià)值內(nèi)最大的AF評(píng)價(jià)值，將該最大的AF評(píng) 價(jià)值對(duì)應(yīng)的觀測(cè)低分辨率圖像設(shè)置作為基準(zhǔn)圖像，另一方面設(shè)置剩下的兩 張觀測(cè)低分辨率圖像作為參照?qǐng)D像。設(shè)置基準(zhǔn)圖像以及參照?qǐng)D像之后的動(dòng) 作，與第一實(shí)施例相同。
30 當(dāng)前，考慮攝像裝置1的視野內(nèi)包含運(yùn)動(dòng)被攝體的情況。所謂運(yùn)動(dòng)被攝體，是指在實(shí)際空間上移動(dòng)的被攝體。然后，取得圖29的幀圖像361、
362以及363，假設(shè)幀圖像361、 362以及363分別為觀測(cè)低分辨率圖像 M、 L2以及L3的情況。幀圖像361 363中包含作為運(yùn)動(dòng)被攝體的運(yùn)動(dòng)物 體，因該運(yùn)動(dòng)物體相對(duì)攝像裝置1相對(duì)地移動(dòng)，從而該運(yùn)動(dòng)物體在幀圖像 5 361內(nèi)由右側(cè)描繪，在幀圖像362內(nèi)描繪在大約中央，在幀圖像363內(nèi)由 左側(cè)描繪。并且，在幀圖像361 363的攝影時(shí)，按照對(duì)該運(yùn)動(dòng)物體對(duì)焦 的方式固定聚焦透鏡31的透鏡位置。
這種情況下，由AF評(píng)價(jià)值的計(jì)算方法能理解，若圖像L,、 L2以及 L3對(duì)應(yīng)的AF評(píng)價(jià)值內(nèi)圖像L2對(duì)應(yīng)的AF評(píng)價(jià)值成為最大的可能性高。然 io后，若實(shí)際上圖像L2對(duì)應(yīng)的AF評(píng)價(jià)值變得最大，則由于將圖像L2設(shè)置 為基準(zhǔn)圖像進(jìn)行超分辨處理，因此與圖像L2同樣地，在所得到的高分辨率 圖像內(nèi)所關(guān)注的運(yùn)動(dòng)物體位于大約中央。
根據(jù)本實(shí)施例，便得到攝影者所關(guān)注的運(yùn)動(dòng)被攝體(即處于焦點(diǎn)的運(yùn) 動(dòng)被攝體)配置在中央的高分辨率圖像。即，可自動(dòng)得到與攝影者的意圖 15 —致的優(yōu)選構(gòu)圖的高分辨率圖像。
另外，在本實(shí)施方式的超分辨處理中，采用線性插值等由基準(zhǔn)圖像生 成初始高分辨率圖像。并且，依據(jù)以基準(zhǔn)圖像為基準(zhǔn)的基準(zhǔn)圖像與各參照 圖像之間的位置偏離量，根據(jù)高分辨率圖像(最初為初始高分辨率圖像) 生成推定低分辨率圖像，按照該推定低分辨率圖像與觀測(cè)低分辨率圖像之 20間的誤差被最小化的方式對(duì)高分辨率圖像更新。因此，最終得到的高分辨 率圖像，叫做使基準(zhǔn)圖像的分辨率提高的圖像(參照?qǐng)D像是為了提高其分 辨率所參照的圖像)。因此，若設(shè)置圖29的幀圖像362作為基準(zhǔn)圖像，則 在所得到的高分辨率圖像內(nèi)，所關(guān)注的運(yùn)動(dòng)物體位于大約中央。 (第八實(shí)施例)
25 接著說(shuō)明第八實(shí)施例。第八實(shí)施例中，詳細(xì)說(shuō)明根據(jù)多張觀測(cè)低分辨
率圖像得到高分辨率圖像的要素技術(shù)?？梢詫⒌诎藢?shí)施例中記載的事項(xiàng)應(yīng) 用于上述第一 第七實(shí)施例中。
在第八實(shí)施例中，為了簡(jiǎn)化說(shuō)明，以根據(jù)具有3X3的圖像大小的兩 張觀測(cè)低分辨率圖像具有生成6X6的圖像大小的一張高分辨率圖像的情
30況為例。將兩張觀測(cè)低分辨率圖像內(nèi)的一張稱(chēng)作第一觀測(cè)低分辨率圖像，將另一張稱(chēng)作第二觀測(cè)低分辨率圖像。將第一觀測(cè)低分辨率圖像設(shè)置作為 基準(zhǔn)圖像，將第二觀測(cè)低分辨率圖像設(shè)置作為參照?qǐng)D像。另外，在以下說(shuō) 明中，分別將第一以及第二觀測(cè)低分辨率圖像簡(jiǎn)稱(chēng)為第一以及第二觀測(cè)圖 像。
5 圖30 (a)以及(b)表示第一以及第二觀測(cè)圖像的像素排列，圖30
(c)表示高分辨率圖像的像素排列。圖30 (c)的像素排列是包含初始高 分辨率圖像HQ的高分辨率圖像Hn的像素排列(n為0以上的整數(shù))。并且， 雖然在超分辨運(yùn)算處理的過(guò)程中根據(jù)高分辨率圖像生成推定低分辨率圖 像以及差分圖像(參照?qǐng)D8)，但與第k觀測(cè)圖像對(duì)應(yīng)的推定低分辨率圖像
io以及差分圖像的像素排列也與第k觀測(cè)圖像的像素排列相同(第八實(shí)施例 中k為1或2)。以下將與第k觀測(cè)圖像對(duì)應(yīng)的推定低分辨率圖像以及差分 圖像分別稱(chēng)作第k張推定低分辨率圖像以及差分圖像。
圖30 (a) (c)以及后述的圖32、圖33 (a)以及(b)還有圖35 中，涂黑的四角形表示配置第一觀測(cè)圖像或者第一推定分辨率圖像或者第
15 —差分圖像的像素的點(diǎn)，涂黑的三角形表示配置第二觀測(cè)圖像或者第二推 定低分辨率圖像或者第二差分圖像的像素的點(diǎn)，涂黑的圓點(diǎn)表示配置高分 辨率運(yùn)動(dòng)圖像的像素的點(diǎn)。
在各圖像中將像素配置成矩陣狀。采用0Si蕓2且0蕓j^2的范圍內(nèi) 的i以及j以(i， j)示出表示一張觀測(cè)圖像(或者推定低分辨率圖像或者
20 差分圖像)中的總計(jì)9個(gè)像素的位置的坐標(biāo)。但是，i以及j為整數(shù)。采用 0^iS5且0^j^5的范圍內(nèi)的i以及j以(i， j)示出表示高分辨率圖像 中的總計(jì)36個(gè)像素的位置的坐標(biāo)。i表示行方向(換言之垂直方向)的坐 標(biāo)值，j表示列方向(換言之水平方向)的坐標(biāo)值。
進(jìn)而，分別以y,以及y2表示表現(xiàn)為矩陣的第一以及第二觀測(cè)圖像。
25并且，如第一實(shí)施例所描述那樣，以x"表示表現(xiàn)為矩陣的高分辨率圖像 Hn。然后，以y, (i， j)表示第一觀測(cè)圖像內(nèi)的坐標(biāo)(i， j)中的像素的像 素值，且以》(i， j)表示第二觀測(cè)圖像內(nèi)的坐標(biāo)(i， j)中的像素的像素 值，以x11 (i， j)表示高分辨率圖像Hn內(nèi)的坐標(biāo)(i， j)中的像素的像素 值。這樣，y"》以及x"由式(B —1)、 (B—2)以及(B —3)表示。另
30夕卜，如上述，附加了上標(biāo)T的矩陣表示原矩陣的轉(zhuǎn)置矩陣。y' 二[y,(0,0),y,(0，l),…,y,(2，2)]T……(B—l) y2 = [y2(O，O),y2(0,1 ),…，y2(2,2)f…...(B—2) x'1 "xn(0,0),x"(0,l),…,x'1(5,5)]1...... (B —3)
5
(亞像素精度的位置偏離量的計(jì)算方法) 首先，針對(duì)以作為基準(zhǔn)圖像的第一觀測(cè)圖像為基準(zhǔn)的第一以及第二觀 測(cè)圖像之間的位置偏離量的計(jì)算方法進(jìn)行說(shuō)明。如第一實(shí)施例所描述，采 用代表點(diǎn)匹配法或塊匹配法、梯度法等，按照具有亞像素的辨析率的方式 10計(jì)算位置偏離量。作為例子，對(duì)采用代表點(diǎn)匹配法的情況進(jìn)行說(shuō)明。
第一觀測(cè)圖像中設(shè)置的代表點(diǎn)為坐標(biāo)(0， 0)中的像素，在設(shè)代表點(diǎn) 匹配法中的檢測(cè)塊大小為1X1的情況下，與位置(i， j)對(duì)應(yīng)的相關(guān)值E (i， j)由式(B—4)表示。針對(duì)(i， j) = (0， 0)、 (0， 1)、…(2， 2) 分別求出相關(guān)值E (i， j)，對(duì)所得到的總計(jì)9個(gè)相關(guān)值E (0， 0) E (2， 152)內(nèi)最小的相關(guān)值進(jìn)行確定。若以E (i。， j。)表示該最小的相關(guān)值，則 由i。及j。決定第一以及第二觀測(cè)圖像之間的整數(shù)精度的位置偏離量。
E(i,j) = |yi(0,0)-y2(i，j)|
(B_4)
20 位置偏離量的小數(shù)點(diǎn)部分，基于提供最小相關(guān)值E (i。， j。)的像素的
上下左右像素所對(duì)應(yīng)的相關(guān)值以及相關(guān)值E (i。， j。)，例如利用圖31 (a) 以及(b)所示這樣的拋物線近似進(jìn)行計(jì)算。例如，在i。二l且j。二l的情 況下，位置偏離量的小數(shù)點(diǎn)部分的行方向成分iSUB以及列方向成分jSUB， 是根據(jù)下式(B —5)以及(B —6)求出的。但是，也可以采用線性近似等
25采用公知的任意方法導(dǎo)出小數(shù)點(diǎn)部分的位置偏離量。
工SUB =-
E(0，l)-E(2，l)
2E(0，1)_4E(1,1) + 2E(2,1)
(B_5)
30
Js
E(l，0)-E(l,2)
UB
2E(1,0)-4E(1,1) + 2E(1,2)
(B—6)10
15
20
25
最終第一以及第二觀測(cè)圖像之間的位置偏離量，由i。及j。、和isuB及 JSUB表現(xiàn)。即，該位置偏離量的行方向成分以及列方向成分(換言之垂直 成分以及水平成分)，分別以(i。+isuB)以及(j。+jSUB)表示。
(初始高分辨率圖像的生成方法) 初始高分辨率圖像H。，采用線性插值或雙立方插值，根據(jù)作為基準(zhǔn)圖
像的第一觀測(cè)圖像生成。例如，令y, (0， 0) =xQ (0， 0)，采用線性插 值通過(guò)以2倍的放大率對(duì)第一觀測(cè)圖像進(jìn)行放大生成初始高分辨率圖像 Ho的情況下，以圖32的星形標(biāo)記表示的圖像Ho內(nèi)的坐標(biāo)(1， 3)中的像 素值X() (1， 3)，根據(jù)下式(B — 7)計(jì)算。
::0 y,(0,l) + y,(0，2) + y,(l,l) + y,(1，2)……(B —"
4
(推定低分辨率圖像以及差分圖像的生成方法) 在以圖4等的超分辨處理部57執(zhí)行的超分辨運(yùn)算處理中，通過(guò)對(duì)高 分辨率圖像作用矩陣Wk重新構(gòu)成低分辨率圖像(上述的推定低分辨率圖 像)(參照?qǐng)D8)。矩陣Wk，如上述，是包含由位置偏離檢測(cè)部54所計(jì)算 的位置偏離量、表示通過(guò)從高分辨率圖像向低分辨率圖像的低分辨率化所 產(chǎn)生的圖像模糊的點(diǎn)擴(kuò)散函數(shù)(point spread function)、以及從高分辨率圖 像向低分辨率圖像的下采樣(down sampling)在內(nèi)的圖像變換矩陣。作為 該矩陣Wk中所包含的點(diǎn)擴(kuò)散函數(shù)，例如采用由下式(B — 8)所表示的高 斯函數(shù)PSFk (i， j)。
PSFk(i,j) = ~^.eXp
(i-sx -vkx)2+G'-sv-vky)2、
2a2
(B — 8)
30
在此，vkx以及Vky表示第k觀測(cè)圖像相對(duì)高分辨率圖像的位置偏離量 的小數(shù)點(diǎn)部分，vkx以及Vky分別為其位置偏離量的行方向成分以及列方向 成分的小數(shù)點(diǎn)部分。但是，VkX以及Vky表現(xiàn)為高分辨率圖像上的值。艮p，
例如，以vkx=0.5表示在高分辨率圖像上行方向成分的0.5像素的位置偏
40離。
SX以及Sy表示在由高分辨率圖像生成推定低分辨率圖像時(shí)作用于高分
辨率圖像的空間濾波器的大小(濾波器寬度的大小)。Sx以及Sy取整數(shù)值。 在該例中，Sx = Sy = 2。當(dāng)《以及V的值不含小數(shù)部分時(shí)，該空間濾波器
5在行方向以及列方向的抽頭數(shù)分別為(2sx+l)以及(2Sy+l)，當(dāng)VfcX以
及Vky的值含小數(shù)部分時(shí)，該空間濾波器在行方向以及列方向的抽頭數(shù)分
別為3sx以及3sy。并且，c^表示高斯函數(shù)的方差。
作為例子，考慮在第一以及第二觀測(cè)圖像相對(duì)高分辨率圖像的位置偏
離量的整數(shù)部分為零，且v,x二0、 Vly=0、 v2x=0.5、 V2^0.5的情況下， io根據(jù)高分辨率圖像生成第一以及第二推定低分辨率圖像的坐標(biāo)(1， 1)的 像素的情況。
這種情況下，關(guān)于第一推定低分辨率圖像，由于Vlx=0、 Vly=0，因 此作用于高分辨率圖像的空間濾波器在行方向以及列方向的抽頭數(shù)均為5 (=2X2 + 1)。圖33 (a)的正方形411，表示為了生成第一推定低分辨 15率圖像內(nèi)的坐標(biāo)(1， 1)的像素412而應(yīng)作用于高分辨率圖像的空間濾波 器的濾波器寬度(濾波器的脈沖響應(yīng)不是零的范圍)。為了通過(guò)重新構(gòu)成 來(lái)生成像素412，參照位于濾波器寬度411內(nèi)的高分辨率圖像的25個(gè)像素
(即坐標(biāo)(0， 0) (4， 4)的像素)的像素值。在圖33 (a)的下側(cè)， 表示作用于該25個(gè)像素的矩陣W,的點(diǎn)擴(kuò)散函數(shù)(以低分辨率圖像為基準(zhǔn) 20 的點(diǎn)擴(kuò)散函數(shù))。
并且，關(guān)于第二推定低分辨率圖像，由于v/二0.5、 v/=0.5，因此作 用于高分辨率圖像的空間濾波器在行方向以及列方向的抽頭數(shù)均為6(=3 X2)。圖33 (b)的正方形421，表示為了生成第二推定低分辨率圖像內(nèi) 的坐標(biāo)(1， 1)的像素422而應(yīng)作用于高分辨率圖像的空間濾波器的濾波 25 器寬度。為了通過(guò)重新構(gòu)成而生成像素422，參照位于濾波器寬度421內(nèi) 的高分辨率圖像的36個(gè)像素(即坐標(biāo)(0， 0) (5， 5)的像素)的像 素值。在圖33 (b)的下側(cè)，表示作用于該36個(gè)像素的矩陣W2的點(diǎn)擴(kuò)散 函數(shù)(以低分辨率圖像為基準(zhǔn)的點(diǎn)擴(kuò)散函數(shù))。
Wkxn以矩陣表現(xiàn)由高分辨率圖像Hn重新構(gòu)成的第k推定低分辨率圖 30像，由下式(B—9)表示。圖34表示矩陣W,的例子。在本例的情況下，矩陣W,為9X36的矩陣。然后，通過(guò)從第k觀測(cè)圖像的各像素值中減去 第k推定低分辨率圖像的各像素值從而生成第k差分圖像(參照?qǐng)D8)。表
示第k差分圖像的矩陣(yk—Wkxn)，由下式(B—IO)表示。
5 Wk,"(WkX，),(WkX，,l),…,(WkX"(2,2)f……(B —9)
yk—WkX、[dk(0，0),dk(0，l),…,d"2,2)r……(B —10)
(基于差分圖像的高分辨率圖像的更新) 10 在得到各低分辨率圖像對(duì)應(yīng)的差分圖像之后，通過(guò)將各差分圖像反饋
在高分辨率圖像的坐標(biāo)面上從而對(duì)高分辨率圖像進(jìn)行更新。
例如，如圖35所示，反饋在高分辨率圖像上的坐標(biāo)(2、 3)的像素 432的第一差分圖像內(nèi)的像素是四角形框431內(nèi)的6個(gè)像素(黑色四角形 的像素)，反饋在像素432的第二差分圖像內(nèi)的像素是四角形框431內(nèi)的9 15 個(gè)像素(黑色三角形的像素)。但是，如上述，第一以及第二觀測(cè)圖像相 對(duì)高分辨率圖像的位置偏離量的整數(shù)部分是零，且v,x = 0、 Vly=0、 v2x =0.5、 v/=0.5。
與像素432對(duì)應(yīng)的反饋值error (2， 3)，由下式(B—ll)表示。在此， PSF, (0， 1)等的值依據(jù)上述式(B —8)。圖36 (a)以及(b)表示在計(jì) 20算error (2， 3)時(shí)使用的轉(zhuǎn)置矩陣W,T以及W2T的點(diǎn)擴(kuò)散函數(shù)(以高分辨 率圖像為基準(zhǔn)的點(diǎn)擴(kuò)散函數(shù))。
e麗(2,3) = PSF, (1,0)d, (0,1) + PSF, (3,0)d, (0,2) + PSF, (1,2)d， (1,1) + PSF, (3,2)d, (1,2) + PSF' (1,4)d, (2,1) + PSF, (3,4)d, (2,2) + PSF2 (0,1 )d2 (0，0) + PSF2 (2， 1 )d2 (0,1) + PSF2 (4,1 )d2 (0,2) + PSF2 (0,3)d2 (1,0) + PSF2 (2，3)d2 (1,1) + PSF2 (4,3)d2 (1,2)
+ PSF2(0,5)d2(2,0) + PSF2(2，5)d2(2,l) + PSF2(4,5)d2(2,2) ...... (B_ll)
反饋值是對(duì)形成高分辨率圖像的各像素求出的。表示所求出的所有反 25饋值的矩陣error,是通過(guò)如下式(B —12)所示的表示第k差分圖像的矩 陣(yk—Wkxn)與Wk的轉(zhuǎn)置矩陣之間的積和運(yùn)算所求出的。另外，圖37
42表示圖34的矩陣W,的轉(zhuǎn)置矩陣。在求出矩陣error之后，根據(jù)式(B—13) 對(duì)矩陣&進(jìn)行更新后生成矩陣&+1。即，對(duì)高分辨率圖像Hn進(jìn)行更新后 生成高分辨率圖像Hn+,。式(B—13)與第一實(shí)施例所述的式(A—l)等 /乂
效
error = ￡]WkT(yk _Wkxn)
"' ......(B —12)
xn+1 = xn+(3Lerror-aCTCxn」......(B—13)
10 (變形等)
上述說(shuō)明中所示的具體數(shù)值只是例示，當(dāng)然也可以將他們變更為各種 數(shù)值。作為上述實(shí)施方式的實(shí)施例或者注釋事項(xiàng)，以下記做注釋1 注釋
6。各注釋所記載的內(nèi)容，只要不矛盾都可以任意組合。 (注釋1)
is 上述是根據(jù)2張、3張或4張低分辨率圖像生成一張高分辨率圖像的
例子，但如果用于生成高分辨率圖像的低分辨率圖像的張數(shù)是2以上則可 以是任意值。 (注釋2)
在上述實(shí)施方式中，作為超分辨處理例示了采用作為重新構(gòu)成型方式 20的一種的MAP方式的超分辨處理，但本發(fā)明可利用的超分辨處理可以是 任何方式的超分辨處理。雖然在上述實(shí)施方式中，在生成初始高分辨率圖 像之后，反復(fù)執(zhí)行包括更新量的計(jì)算以及基于該更新量的高分辨率圖像的 更新在內(nèi)的超分辨運(yùn)算處理，但該超分辨運(yùn)算處理的反復(fù)并不是必須的， 也可以將僅進(jìn)行一次超分辨運(yùn)算處理所得到的高分辨率圖像H,作為應(yīng)最 25終求出的高分辨率圖像進(jìn)行處理。 (注釋3)
在上述各實(shí)施例中，對(duì)基準(zhǔn)圖像的選擇所采用的各種指標(biāo)單獨(dú)進(jìn)行了 說(shuō)明。例如，作為該指標(biāo)，在第一 第三實(shí)施例中采用低分辨率圖像的模 糊量，在第四實(shí)施例中采用傳感器檢測(cè)數(shù)據(jù)，在第五實(shí)施例中采用圖像上 30的主要被攝體的大小，在第六實(shí)施例中采用臉區(qū)域內(nèi)的臉的狀態(tài)(眼睛的開(kāi)閉狀態(tài)或臉的表情)。
還可以將這些各種指標(biāo)內(nèi)的任意兩個(gè)以上的指標(biāo)組合使用來(lái)進(jìn)行基 準(zhǔn)圖像的選擇。例如，也可以基于模糊量和臉區(qū)域內(nèi)的臉的狀態(tài)進(jìn)行基準(zhǔn) 圖像的選擇。更具體而言，例如在存在多個(gè)通過(guò)眨眼檢測(cè)處理判斷為眼睛 5打開(kāi)的觀測(cè)低分辨率圖像的情況下，也可以將判斷為眼睛打開(kāi)的多個(gè)觀測(cè) 低分辨率圖像內(nèi)模糊量最少的觀測(cè)低分辨率圖像設(shè)置為基準(zhǔn)圖像。基于模 糊量和臉區(qū)域內(nèi)的臉的狀態(tài)進(jìn)行基準(zhǔn)圖像的選擇的方法，當(dāng)然可以是基于 模糊量進(jìn)行基準(zhǔn)圖像的選擇的方法，也可以是基于臉區(qū)域內(nèi)的臉的狀態(tài)進(jìn) 行基準(zhǔn)圖像的選擇的方法。 10 (注釋4)
圖1的攝像裝置1，可通過(guò)硬件、或硬件與軟件的組合來(lái)實(shí)現(xiàn)。尤其，
還可以釆用軟件實(shí)現(xiàn)在圖4、圖17、圖21、圖24或圖28的超分辨部50、 50a、 50b、 50c或50d內(nèi)執(zhí)行的運(yùn)算處理的一部分或者全部。當(dāng)然，也可 以僅由硬件形成超分辨部50、 50a、 50b、 50c或50d。在采用軟件構(gòu)成攝 15像裝置1的情況下，關(guān)于由軟件實(shí)現(xiàn)的部位的框圖，表示該部位的功能框 圖。
(注釋5)
還可以由與攝像裝置l不同的外部機(jī)器(例如個(gè)人計(jì)算機(jī)未圖示) 實(shí)現(xiàn)超分辨部50、 50a、 50b、 50c或50d的功能。這種情況下，按照在該 20 外部機(jī)器內(nèi)設(shè)置與超分辨部50、 50a、 50b、 50c或50d等同的超分辨部的 方式，在釆用攝像裝置l取得多個(gè)低分辨率圖像之后，可以將該多個(gè)低分 辨率圖像的圖像信息通過(guò)無(wú)線或者有線或者經(jīng)由記錄介質(zhì)提供給上述外 部裝置。
(注釋6)
25 例如，還可以按照如下方式進(jìn)行考慮。還可以將超分辨部50、 50a、
50b、 50c或50d稱(chēng)作圖像處理裝置。超分辨處理部57，作為高分辨率圖 像生成部發(fā)揮功能。還可以考慮該高分辨率圖像生成部中包含生成部55。
30
權(quán)利要求
1. 一種圖像處理裝置，根據(jù)多個(gè)低分辨率圖像生成具有比上述低分辨率圖像的分辨率高的分辨率的高分辨率圖像，上述圖像處理裝置具備基準(zhǔn)圖像設(shè)置部，其基于上述多個(gè)低分辨率圖像的圖像信息從上述多個(gè)低分辨率圖像中選擇基準(zhǔn)圖像，將上述基準(zhǔn)圖像作為基準(zhǔn)，通過(guò)對(duì)上述多個(gè)低分辨率圖像執(zhí)行使分辨率增大的高分辨率化處理，從而生成上述高分辨率圖像。
2. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于，10 還具備模糊量推定部，其基于上述圖像信息推定各低分辨率圖像中包含的模糊的大小，上述基準(zhǔn)圖像設(shè)置部，基于上述模糊量推定部的推定結(jié)果選擇上述基 準(zhǔn)圖像。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，15 上述模糊量推定部，基于各低分辨率圖像中的高頻成分的量，推定各低分辨率圖像中所含的模糊的大小。
4. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 上述多個(gè)低分辨率圖像，形成采用攝像裝置通過(guò)依次攝影所得到的按時(shí)序排列的低分辨率圖像列， 20 上述模糊量推定部，基于上述低分辨率圖像列中的在時(shí)間上鄰接的低分辨率圖像之間的位置偏離量，檢測(cè)在上述低分辨率圖像列的攝影期間內(nèi) 上述攝像裝置的抖動(dòng)狀態(tài)，并根據(jù)上述抖動(dòng)狀態(tài)的檢測(cè)結(jié)果推定上述多個(gè) 低分辨率圖像之間的上述模糊的大小的大小關(guān)系。
5. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于，25 上述基準(zhǔn)圖像設(shè)置部，將上述多個(gè)低分辨率圖像內(nèi)所推定的模糊的大小為最小的低分辨率圖像選擇作為上述基準(zhǔn)圖像。
6. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于， 各低分辨率圖像是通過(guò)攝像裝置的攝影得到的，上述圖像信息，包含對(duì)在各低分辨率圖像的曝光期間內(nèi)上述攝像裝置30的抖動(dòng)狀態(tài)進(jìn)行檢測(cè)的傳感器的檢測(cè)數(shù)據(jù)，上述基準(zhǔn)圖像設(shè)置部，基于上述傳感器的檢測(cè)數(shù)據(jù)選擇上述基準(zhǔn)圖像。
7. 根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于， 上述基準(zhǔn)圖像設(shè)置部，將上述多個(gè)低分辨率圖像中在曝光期間內(nèi)的上5述攝像裝置的抖動(dòng)大小為最小的低分辨率圖像選擇作為上述基準(zhǔn)圖像。
8. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于， 還具備被攝體大小檢測(cè)部，其基于上述圖像信息，對(duì)各低分辨率圖像中包含的特定被攝體在圖像上的大小進(jìn)行檢測(cè)，上述基準(zhǔn)圖像設(shè)置部，基于檢測(cè)的上述特定被攝體的大小選擇上述基 10 準(zhǔn)圖像。
9. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于，還具備臉狀態(tài)檢測(cè)部，其基于上述圖像信息從各低分辨率圖像中檢測(cè) 人物的臉，并且檢測(cè)上述臉的狀態(tài)，上述基準(zhǔn)圖像設(shè)置部，基于上述臉狀態(tài)檢測(cè)部的檢測(cè)結(jié)果選擇上述基15 準(zhǔn)圖像。
10. 根據(jù)權(quán)利要求l所述的圖像處理裝置，其特征在于，上述基準(zhǔn)圖像設(shè)置部，將上述多個(gè)低分辨率圖像內(nèi)除上述基準(zhǔn)圖像以 外的低分辨率圖像設(shè)置作為參照?qǐng)D像，該圖像處理裝置，進(jìn)一步具備 20 位置偏離檢測(cè)部，其以比上述基準(zhǔn)圖像的像素間隔高的辨析率求出上述基準(zhǔn)圖像與上述參照?qǐng)D像之間的位置偏離量；和高分辨率圖像生成部，其采用所求出的位置偏離量與上述多個(gè)低分辨 率圖像，通過(guò)以上述基準(zhǔn)圖像為基準(zhǔn)進(jìn)行上述高分辨率化處理，從而生成 上述高分辨率圖像。
11. —種攝像裝置，包括攝像部，其通過(guò)依次攝影得到按時(shí)序排列的多個(gè)低分辨率圖像；和權(quán)利要求1所述的圖像處理裝置，其通過(guò)對(duì)上述多個(gè)低分辨率圖像的 高分辨率化處理，從而生成高分辨率圖像。.
12. —種攝像裝置，具備' 30 攝像部，其具有攝像元件以及用于將與被攝體相應(yīng)的光學(xué)像成像在上述攝像元件上的光學(xué)系統(tǒng)，通過(guò)攝影得到攝影圖像；和焦點(diǎn)評(píng)價(jià)值導(dǎo)出部，其基于在上述攝影圖像內(nèi)設(shè)置的焦點(diǎn)評(píng)價(jià)區(qū)域的 影像信號(hào)，導(dǎo)出焦點(diǎn)評(píng)價(jià)值，該攝像裝置基于上述焦點(diǎn)評(píng)價(jià)值對(duì)上述光學(xué)系統(tǒng)進(jìn)行驅(qū)動(dòng)控制以進(jìn) 行自動(dòng)聚焦控制，該攝像裝置進(jìn)一步具備圖像處理裝置，其將從上述攝像部所得到的多 個(gè)攝影圖像作為多個(gè)低分辨率圖像來(lái)參照，根據(jù)上述多個(gè)低分辨率圖像生 成具有比上述低分辨率圖像的分辨率高的分辨率的高分辨率圖像，上述圖像處理裝置，具有基準(zhǔn)圖像設(shè)置部，其基于對(duì)各低分辨率圖像 10導(dǎo)出的上述焦點(diǎn)評(píng)價(jià)值從上述多個(gè)低分辨率圖像中選擇基準(zhǔn)圖像，以上述 基準(zhǔn)圖像為基準(zhǔn)，通過(guò)對(duì)上述多個(gè)低分辨率圖像執(zhí)行使分辨率增大的高分 辨率化處理，從而生成上述高分辨率圖像。
13. 根據(jù)權(quán)利要求12所述的攝像裝置，其特征在于，在上述自動(dòng)聚焦控制中，按照上述焦點(diǎn)評(píng)價(jià)值取極大值的方式對(duì)上述15光學(xué)系統(tǒng)進(jìn)行驅(qū)動(dòng)控制，上述基準(zhǔn)圖像設(shè)置部，將上述多個(gè)低分辨率圖像內(nèi)與最大焦點(diǎn)評(píng)價(jià)值 對(duì)應(yīng)的低分辨率圖像選擇作為上述基準(zhǔn)圖像。
14. 根據(jù)權(quán)利要求12所述的攝像裝置，其特征在于，上述基準(zhǔn)圖像設(shè)置部，將上述多個(gè)低分辨率圖像內(nèi)除上述基準(zhǔn)圖像以 外的低分辨率圖像設(shè)置作為參照?qǐng)D像， 上述圖像處理裝置，進(jìn)一步具備位置偏離檢測(cè)部，其以比上述基準(zhǔn)圖像的像素間隔高的辨析率求出上述基準(zhǔn)圖像與上述參照?qǐng)D像之間的位置偏離量；以及高分辨率圖像生成部，其采用所求出的位置偏離量和上述多個(gè)低分辨 率圖像，通過(guò)以上述基準(zhǔn)圖像為基準(zhǔn)進(jìn)行上述高分辨率化處理，從而生成 上述高分辨率圖像。
15. —種圖像處理方法，根據(jù)多個(gè)低分辨率圖像生成具有比上述低分辨率圖像的分辨率高的分辨率的高分辨率圖像，基于上述多個(gè)低分辨率圖像的圖像信息從上述多個(gè)低分辨率圖像中 選擇基準(zhǔn)圖像，以上述基準(zhǔn)圖像為基準(zhǔn)，通過(guò)對(duì)上述多個(gè)低分辨率圖像執(zhí)行使分辨率 增大的高分辨率化處理，從而生成上述高分辨率圖像。
全文摘要
本發(fā)明涉及圖像處理裝置及方法以及攝像裝置。本發(fā)明提供的圖像處理裝置中，根據(jù)多個(gè)低分辨率圖像生成具有比上述低分辨率圖像的分辨率高的分辨率的高分辨率圖像，具備基于上述多個(gè)低分辨率圖像的圖像信息從上述多個(gè)低分辨率圖像中選擇基準(zhǔn)圖像的基準(zhǔn)圖像設(shè)置部，將上述基準(zhǔn)圖像作為基準(zhǔn)，通過(guò)對(duì)上述多個(gè)低分辨率圖像執(zhí)行使分辨率增大的高分辨率化處理從而生成上述高分辨率圖像。
文檔編號(hào)G06T3/40GK101488216SQ20091000270
公開(kāi)日2009年7月22日 申請(qǐng)日期2009年1月19日 優(yōu)先權(quán)日2008年1月18日
發(fā)明者岡田誠(chéng)司, 竹內(nèi)悟 申請(qǐng)人:三洋電機(jī)株式會(huì)社