攝像裝置及其控制方法
【專利摘要】?jī)H在需要進(jìn)行超分辨率處理的情況下，可靠地生成進(jìn)行了超分辨率處理的圖像數(shù)據(jù)。如果變焦倍率落在Z1至Z2的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則將通過變焦透鏡放大后的圖像數(shù)據(jù)記錄在記錄介質(zhì)中。如果變焦倍率落在Z2至Z3的電子變焦應(yīng)用縮放范圍內(nèi)，則對(duì)圖像數(shù)據(jù)進(jìn)行超分辨率處理，通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)合成后的圖像數(shù)據(jù)進(jìn)行電子變焦處理并記錄。如果變焦倍率超過Z3，則記錄對(duì)超分辨率圖像數(shù)據(jù)進(jìn)行了電子變焦處理后的圖像數(shù)據(jù)。
【專利說明】攝像裝置及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及攝像裝置及其控制方法，特別是涉及具有光學(xué)變焦功能和電子變焦功能這兩種功能的攝像裝置及其控制方法。
【背景技術(shù)】
[0002]已知如果對(duì)變焦開關(guān)進(jìn)行操作，則在光學(xué)變焦之后轉(zhuǎn)換為電子變焦，并將超過光學(xué)變焦最大倍率的放大圖像顯示在顯示裝置上的技術(shù)。也存在在分段變化的光學(xué)變焦倍率之間顯示電子變焦圖像的技術(shù)(專利文獻(xiàn)1、2)。
[0003]與光學(xué)變焦圖像相比，電子變焦圖像的分辨率通常較差。還存在為了在電子變焦圖像中保持分辨率(例如輪廓部分的清晰度)，對(duì)應(yīng)于變焦倍率進(jìn)行圖像輪廓校正的技術(shù)(專利文獻(xiàn)3、4、5)。
[0004]專利文獻(xiàn)1:日本特開2006 - 32576號(hào)公報(bào)
[0005]專利文獻(xiàn)2:日本特開2005 - 62633號(hào)公報(bào)
[0006]專利文獻(xiàn)3:日本特開2005 — 20061號(hào)公報(bào)
[0007]專利文獻(xiàn)4:日本特開平11 - 168653號(hào)公報(bào)
[0008]專利文獻(xiàn)5:日本特開平3 - 218173號(hào)公報(bào)
[0009]在專利文獻(xiàn)3至5中，對(duì)應(yīng)于電子變焦的倍率而對(duì)針對(duì)圖像數(shù)據(jù)所進(jìn)行的輪廓校正處理的強(qiáng)度、或輪廓校正處理的頻率波段進(jìn)行變更。但是，如果對(duì)于沒有進(jìn)行電子變焦甚至是具有足夠分辨率的圖像數(shù)據(jù)，進(jìn)行例如適合于電子變焦圖像的輪廓校正處理，則可能會(huì)產(chǎn)生偽像(artifact)和模糊等,反而使畫質(zhì)特性惡化。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的在于，僅在需要進(jìn)行圖像校正處理特別是后述的超分辨率處理的情況下，生成進(jìn)行了超分辨率處理的圖像數(shù)據(jù)。
[0011]本發(fā)明的目的另一在于，能夠生成在整個(gè)變焦操作的范圍內(nèi)表示分辨率良好的圖像的圖像數(shù)據(jù)。
[0012]第I發(fā)明所涉及的攝像裝置具有:攝像單元，其通過能夠?qū)鈭D像進(jìn)行光學(xué)縮放的變焦透鏡，對(duì)被攝體進(jìn)行攝像，輸出用于表示被攝體像的圖像數(shù)據(jù)；電子變焦單元，其對(duì)通過上述攝像單元而獲得的圖像數(shù)據(jù)進(jìn)行電子縮放；變焦操作單元，其用于進(jìn)行使變焦透鏡及電子變焦單元的變焦倍率變更的操作；變焦控制單元，如果變焦倍率落在直至變焦透鏡位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元僅使用變焦透鏡對(duì)圖像數(shù)據(jù)進(jìn)行縮放，而如果變焦倍率落在超過光學(xué)最大變焦倍率的電子變焦應(yīng)用縮放范圍內(nèi)，則同時(shí)使用電子變焦單元對(duì)圖像數(shù)據(jù)進(jìn)行縮放；超分辨率處理單元，其針對(duì)上述圖像數(shù)據(jù)進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的超分辨率處理，生成超分辨率圖像數(shù)據(jù)；以及加權(quán)合成單元，其在變焦倍率落在上述電子變焦應(yīng)用縮放范圍內(nèi)時(shí)，通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)所生成的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成。
[0013]第I發(fā)明也提供適合于上述攝像裝置的控制的方法。第I發(fā)明所涉及的方法是一種攝像裝置的控制方法，該攝像裝置具有:攝像單元，其通過能夠?qū)鈭D像進(jìn)行光學(xué)縮放的變焦透鏡，對(duì)被攝體進(jìn)行攝像，輸出用于表示被攝體像的圖像數(shù)據(jù)；電子變焦單元，其對(duì)通過上述攝像單元而獲得的圖像數(shù)據(jù)進(jìn)行電子縮放；變焦操作單元，其用于進(jìn)行使變焦透鏡及電子變焦單元的變焦倍率變更的操作；變焦控制單元，如果變焦倍率落在直至變焦透鏡位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率為止的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元僅使用變焦透鏡對(duì)圖像數(shù)據(jù)進(jìn)行縮放，而如果變焦倍率落在超過光學(xué)最大變焦倍率的電子變焦應(yīng)用縮放范圍內(nèi)，則同時(shí)使用電子變焦單元對(duì)圖像數(shù)據(jù)進(jìn)行縮放；以及超分辨率處理單元，其針對(duì)上述圖像數(shù)據(jù)進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的超分辨率處理，生成超分辨率圖像數(shù)據(jù)，在該攝像裝置的控制方法中，在變焦倍率落在上述電子變焦應(yīng)用縮放范圍內(nèi)時(shí)，通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)所生成的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成。
[0014]如果使用變焦操作單元開始進(jìn)行被攝體像的變焦操作，則首先進(jìn)行變焦透鏡的光學(xué)變焦(焦距變更)。直至攝像裝置所具有的變焦透鏡位于長(zhǎng)焦端時(shí)的變焦倍率(光學(xué)最大變焦倍率、變焦透鏡的最大焦距)為止，僅進(jìn)行光學(xué)變焦。在進(jìn)行了直至超過光學(xué)最大變焦倍率的變焦倍率為止的變焦操作之后，開始進(jìn)行電子變焦處理，即，通過像素插補(bǔ)處理而對(duì)圖像數(shù)據(jù)進(jìn)行電子縮放?；诔^變焦透鏡最大變焦倍率的變焦倍率而繼續(xù)進(jìn)行變焦。
[0015]在本說明書中，所謂的超分辨率處理，是指針對(duì)圖像數(shù)據(jù)進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的處理。即，所謂的超分辨率處理，是一種提高在由處理對(duì)象的圖像數(shù)據(jù)所表示的圖像中肉眼觀察的圖像的分辨率的圖像處理，表示至少包含降噪(抑制、去除)處理及輪廓強(qiáng)調(diào)處理在內(nèi)的圖像處理。例如，上述超分辨率處理是降噪處理和輪廓強(qiáng)調(diào)處理的組合，其中，降噪處理基于使用平滑化過濾器的平滑化處理，輪廓強(qiáng)調(diào)處理用于提高圖像中的輪廓成分的亮度值增益。通過對(duì)圖像數(shù)據(jù)進(jìn)行超分辨率處理，從而與沒有進(jìn)行超分辨率處理圖像的圖像相比，能夠使變焦處理后圖像的分辨率提高(輪廓更加清晰且噪聲不明顯的圖像)。
[0016]根據(jù)第I發(fā)明，在變焦倍率落在電子變焦應(yīng)用縮放范圍內(nèi)時(shí)進(jìn)行加權(quán)合成處理，即，通過變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成。能夠生成下述加權(quán)合成圖像數(shù)據(jù)，即，在電子變焦應(yīng)用縮放范圍內(nèi)變焦倍率較小時(shí)，使沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)的權(quán)重(比例)較大，而隨著變焦倍率的增大，使進(jìn)行了超分辨率處理的圖像數(shù)據(jù)的權(quán)重逐漸增大。如上所述，在電子變焦應(yīng)用縮放范圍內(nèi)，變焦倍率越大，圖像的分辨率越差。通過使進(jìn)行了超分辨率處理的圖像數(shù)據(jù)的權(quán)重隨著變焦倍率的增大而逐漸增大，從而能夠在整個(gè)變焦操作的范圍內(nèi)抑制分辨率的惡化，能夠使拍攝者肉眼觀察到分辨率比較恒定的圖像。另外，不會(huì)在從光學(xué)變焦應(yīng)用縮放范圍切換至電子變焦應(yīng)用縮放范圍的定時(shí)，生成進(jìn)行了超分辨率處理的圖像數(shù)據(jù)的權(quán)重突然很大的加權(quán)合成圖像數(shù)據(jù)，從而能夠還能夠緩和分辨率的急劇變化。
[0017]優(yōu)選上述攝像裝置具有記錄控制單元，如果變焦倍率落在光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該記錄控制單元將光學(xué)地縮放為該變焦倍率而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中，如果變焦倍率落在電子變焦應(yīng)用縮放范圍內(nèi)，則該記錄控制單元將使上述加權(quán)合成而得到的圖像數(shù)據(jù)中電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。能夠?qū)⒂涗浻谟涗泦卧械膱D像數(shù)據(jù)，用于顯示裝置上的圖像顯示。可以通過電子變焦處理而將加權(quán)合成后的圖像數(shù)據(jù)縮放為變焦倍率，也可以通過電子變焦處理而將加權(quán)合成前的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)縮放為變焦倍率，之后進(jìn)行加權(quán)合成。如果變焦倍率已達(dá)到光學(xué)最大變焦倍率(光學(xué)變焦應(yīng)用縮放范圍)，則將進(jìn)行了光學(xué)變焦而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中。另一方面，在變焦倍率超過光學(xué)最大變焦倍率，處于應(yīng)該按照上述方式進(jìn)行針對(duì)圖像數(shù)據(jù)的電子變焦處理的變焦倍率時(shí)(電子變焦應(yīng)用縮放范圍)，將包含超分辨率圖像數(shù)據(jù)在內(nèi)的圖像數(shù)據(jù)記錄在記錄單元中。
[0018]如上所述，如果變焦倍率落在光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則將光學(xué)地縮放為該變焦倍率而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中。在一個(gè)實(shí)施方式中，還具有超分辨率處理控制單元，其按照如果變焦倍率落在上述光學(xué)變焦應(yīng)用縮放范圍內(nèi)不進(jìn)行超分辨率處理，而在變焦倍率落在上述電子變焦應(yīng)用縮放范圍內(nèi)時(shí)對(duì)圖像數(shù)據(jù)進(jìn)行超分辨率處理的方式，對(duì)上述超分辨率處理單元進(jìn)行控制。在光學(xué)變焦應(yīng)用縮放范圍內(nèi)，攝像裝置的資源不會(huì)被超分辨率處理占用，至圖像顯示為止的時(shí)間也不會(huì)增長(zhǎng)。
[0019]在其他實(shí)施方式中，上述加權(quán)合成單元在變焦倍率落在從上述光學(xué)最大變焦倍率到超過上述光學(xué)最大變焦倍率的第I變焦倍率為止的范圍內(nèi)時(shí)，對(duì)超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行加權(quán)處理，對(duì)于上述記錄控制單元，如果變焦倍率落在從上述光學(xué)最大變焦倍率到第I變焦倍率為止的范圍內(nèi)，則將使加權(quán)合成而得到的圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中，而在變焦倍率超過上述第I變焦倍率的情況下，將使上述超分辨率圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。
[0020]也可以使超分辨率處理單元進(jìn)行程度不同的2段超分辨率處理。在第I發(fā)明所涉及的其他實(shí)施方式中，上述超分辨率處理單元執(zhí)行超分辨率處理程度不同的第1、第2的超分辨率處理，對(duì)于上述加權(quán)合成單元，如果變焦倍率落在從上述光學(xué)最大變焦倍率到超過上述光學(xué)最大變焦倍率的第I變焦倍率為止的范圍內(nèi)，則上述加權(quán)合成單元通過上述變焦倍率越大、超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，將第I超分辨率處理的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行加權(quán)合成，如果變焦倍率落在從超過上述第I變焦倍率的第2變焦倍率到超過上述第2變焦倍率的第3變焦倍率為止的范圍內(nèi)，則上述加權(quán)合成單元通過上述變焦倍率越大、第2超分辨率處理的超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，將第I超分辨率處理的超分辨率圖像數(shù)據(jù)和與第I超分辨率處理相比程度強(qiáng)的第2超分辨率處理的超分辨率圖像數(shù)據(jù)進(jìn)行加權(quán)合成。關(guān)于上述記錄控制單元，如果變焦倍率落在從上述光學(xué)最大變焦倍率到第I變焦倍率為止的范圍內(nèi)，則將使第I超分辨率處理的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)加權(quán)合成而得到的圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中，如果變焦倍率落在從上述第I變焦倍率到第2變焦倍率為止的范圍內(nèi)，則將使第I超分辨率處理的超分辨率圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中，如果變焦倍率落在從第2變焦倍率到第3變焦倍率為止的范圍內(nèi)，則將使第I超分辨率處理的超分辨率圖像數(shù)據(jù)和第2超分辨率處理的超分辨率圖像數(shù)據(jù)加權(quán)合成而得到的圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中，在變焦倍率超過第3變焦倍率的情況下，將使第2超分辨率處理的超分辨率圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。
[0021]開始進(jìn)行超分辨率處理(超分辨率圖像數(shù)據(jù)的合成)的變焦倍率，也可以是電子變焦應(yīng)用縮放范圍的最低變焦倍率(光學(xué)變焦應(yīng)用縮放范圍和電子變焦應(yīng)用縮放范圍的邊界)。但是，也不一定是從電子變焦應(yīng)用縮放范圍的最低變焦倍率開始超分辨率處理。在一個(gè)實(shí)施方式中，上述攝像裝置還具有加權(quán)合成控制單元，該加權(quán)合成控制單元按照下述方式控制上述加權(quán)合成單元，即，如果變焦倍率小于或等于規(guī)定的變焦倍率，則即使落在上述電子變焦應(yīng)用縮放范圍內(nèi)也不對(duì)超分辨率圖像數(shù)據(jù)進(jìn)行合成，而在變焦倍率比上述規(guī)定的變焦倍率大時(shí)合成圖像數(shù)據(jù)。在變焦倍率逐漸增大時(shí)，在超過光學(xué)變焦應(yīng)用縮放范圍和電子變焦應(yīng)用縮放范圍的邊界而達(dá)到電子變焦應(yīng)用縮放范圍內(nèi)的上述規(guī)定的變焦倍率時(shí)，對(duì)超分辨率圖像數(shù)據(jù)進(jìn)行合成。其理由在于，雖然落在電子變焦應(yīng)用縮放范圍內(nèi)，但如果是變焦倍率很小的范圍，則即使進(jìn)行電子變焦處理，圖像的分辨率有時(shí)也并不很差。
[0022]上述規(guī)定的變焦倍率是事先確定的基準(zhǔn)空間頻率處的空間頻率響應(yīng)達(dá)到規(guī)定值時(shí)的變焦倍率。例如，能夠使用下述變焦倍率，即，關(guān)于事先確定的基準(zhǔn)空間頻率，根據(jù)上述攝像裝置的特性及變焦倍率而確定的空間頻率響應(yīng)達(dá)到N% (N為任意正值)響應(yīng)。另外，作為上述規(guī)定的變焦倍率，也可以使用下述變焦倍率，即，達(dá)到事先確定的基準(zhǔn)空間頻率響應(yīng)N %響應(yīng)的空間頻率小于或等于基準(zhǔn)空間頻率的變焦倍率。
[0023]在第I發(fā)明所涉及的其他實(shí)施方式中，上述超分辨率處理單元包含:分離單元，其將由圖像數(shù)據(jù)表示的圖像分離為該圖像的輪廓成分和非輪廓成分；輪廓成分處理單元，其針對(duì)通過上述分離單元而分離的輪廓成分，進(jìn)行降噪處理及強(qiáng)調(diào)處理；以及合成單元，其將進(jìn)行了降噪處理及強(qiáng)調(diào)處理后的輪廓成分與上述非輪廓成分合成。通過將輪廓成分設(shè)為超分辨率處理的對(duì)象，從而實(shí)現(xiàn)超分辨率處理的處理時(shí)間縮短。另外，還能夠抑制假輪廓的產(chǎn)生。
[0024]第2發(fā)明所涉及的攝像裝置具有:攝像單元，其通過能夠?qū)鈭D像進(jìn)行光學(xué)縮放的變焦透鏡而對(duì)被攝體進(jìn)行攝像，并輸出用于表示被攝體像的圖像數(shù)據(jù)；電子變焦單元，其對(duì)通過上述攝像單元而獲得的圖像數(shù)據(jù)進(jìn)行電子變焦；變焦操作單元，其用于進(jìn)行使變焦透鏡及電子變焦單元的變焦倍率變更的操作；變焦控制單元，如果變焦倍率落在直至變焦透鏡位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元僅使用變焦透鏡對(duì)圖像數(shù)據(jù)進(jìn)行縮放，而如果變焦倍率落在超過光學(xué)最大變焦倍率的電子變焦應(yīng)用縮放范圍內(nèi)，則同時(shí)使用電子變焦單元對(duì)圖像數(shù)據(jù)進(jìn)行縮放；超分辨率處理單元，其針對(duì)上述圖像數(shù)據(jù)，進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的超分辨率處理，生成超分辨率圖像數(shù)據(jù)；加權(quán)合成單元，其在變焦倍率落在上述電子變焦應(yīng)用縮放范圍內(nèi)時(shí)，通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)所生成的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成；以及記錄控制單元，如果變焦倍率小于或等于下述變焦倍率，即，關(guān)于事先確定的基準(zhǔn)空間頻率，根據(jù)上述攝像裝置的特性及變焦倍率而確定的空間頻率響應(yīng)達(dá)到規(guī)定值的變焦倍率，則將縮放為該變焦頻率而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中，在變焦倍率比上述空間頻率響應(yīng)達(dá)到上述規(guī)定值的變焦倍率大的情況下，將使上述超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)加權(quán)合成而得到的圖像數(shù)據(jù)縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。例如，能夠使用關(guān)于事先確定的基準(zhǔn)空間頻率，根據(jù)上述攝像裝置的特性及變焦倍率而確定的空間頻率響應(yīng)達(dá)到N% (N為任意正值)響應(yīng)的變焦倍率，作為上述空間頻率響應(yīng)達(dá)到規(guī)定值的變焦倍率。另外，也可以使用下述變焦頻率，即，達(dá)到事先確定的基準(zhǔn)空間頻率響應(yīng)N %的空間頻率小于或等于基準(zhǔn)空間頻率的變焦頻率。
[0025]對(duì)第2發(fā)明所涉及的攝像裝置進(jìn)行控制的方法為，該攝像裝置具有:攝像單元，其通過能夠?qū)鈭D像進(jìn)行光學(xué)縮放的變焦透鏡，對(duì)被攝體進(jìn)行攝像，輸出用于表示被攝體像的圖像數(shù)據(jù)；電子變焦單元，其對(duì)通過上述攝像單元而獲得的圖像數(shù)據(jù)進(jìn)行電子縮放；變焦操作單元，其用于進(jìn)行使變焦透鏡及電子變焦單元的變焦倍率變更的操作；變焦控制單元，如果變焦倍率落在直至變焦透鏡位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率為止的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元僅使用變焦透鏡對(duì)圖像數(shù)據(jù)進(jìn)行縮放，而如果變焦倍率落在超過光學(xué)最大變焦倍率的電子變焦應(yīng)用縮放范圍內(nèi)，則同時(shí)使用電子變焦單元對(duì)圖像數(shù)據(jù)進(jìn)行縮放；以及超分辨率處理單元，其針對(duì)上述圖像數(shù)據(jù)，進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的超分辨率處理，生成超分辨率圖像數(shù)據(jù)，在該攝像裝置的控制方法中，通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)所生成的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成，如果變焦倍率小于或等于下述變焦倍率，即，關(guān)于事先所規(guī)定的基準(zhǔn)空間頻率，根據(jù)上述攝像裝置的特性及變焦倍率而確定的空間頻率響應(yīng)變達(dá)到成規(guī)定值的變焦倍率，則將縮放為該變焦頻率而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)在記錄單元記錄中,在變焦倍率比上述空間變焦頻率響應(yīng)達(dá)到上述規(guī)定值的變焦倍率大的情況下，將使上述超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)加權(quán)合成而得到的圖像數(shù)據(jù)縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在單元記錄中。
[0026]根據(jù)第2發(fā)明，使用表示圖像分辨率的空間頻率響應(yīng)作為判斷基準(zhǔn)，判斷是將沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中，還是將上述超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行加權(quán)合成后的圖像數(shù)據(jù)記錄在記錄單元中。上述空間頻率響應(yīng)是根據(jù)攝像裝置的特性(變焦透鏡的光學(xué)特性、攝像單元的特性、電子變焦時(shí)的圖像處理特性等)及變焦倍率而確定的。另外，空間頻率響應(yīng)隨著變焦倍率增大而降低。關(guān)于事先確定的基準(zhǔn)空間頻率，使用上述空間頻率達(dá)到規(guī)定值例如N%響應(yīng)(N為任意正值)的變焦倍率(以下稱為“N%響應(yīng)變焦倍率”)，如果變焦倍率小于或等于上述N%響應(yīng)變焦倍率，則由于空間頻率響應(yīng)大于或等于N%，因此，考慮具有能夠接受的分辨率而將沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中。另一方面，如果變焦倍率比上述N%響應(yīng)變焦倍率大，則對(duì)于此時(shí)的圖像數(shù)據(jù)，由于空間頻率響應(yīng)低于N%，因此，考慮沒有達(dá)到能夠接受的分辨率而將上述超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)加權(quán)合成后的圖像數(shù)據(jù)記錄在記錄單元中。能夠使拍攝者在整個(gè)變焦操作的范圍內(nèi)肉眼觀察到分辨率良好的圖像。如上所述，也可以使用下述變焦倍率，即，達(dá)到事先確定的基準(zhǔn)空間頻率響應(yīng)N %的空間頻率小于或等于基準(zhǔn)空間頻率的變焦倍率。
【專利附圖】

【附圖說明】
[0027]圖1是表示第I實(shí)施例的數(shù)字照相機(jī)的電氣結(jié)構(gòu)的框圖。
[0028]圖2是表示第I實(shí)施例的數(shù)字照相機(jī)的動(dòng)作流程的流程圖。[0029]圖3使用多個(gè)圖像表示圖像處理的流程。
[0030]圖4表示變焦倍率與進(jìn)行了超分辨率處理的圖像(有超分辨率處理圖像)和沒有進(jìn)行超分辨率處理的圖像(無超分辨率處理圖像)的合成處理之間的關(guān)系。
[0031]圖5是表示第2實(shí)施例的數(shù)字照相機(jī)的動(dòng)作流程的流程圖。
[0032]圖6是表示數(shù)字照相機(jī)的空間頻率響應(yīng)的曲線圖。
[0033]圖7表示第3實(shí)施例，表示變焦倍率與進(jìn)行了超分辨率處理的圖像(有超分辨率處理圖像)和沒有進(jìn)行超分辨率處理的圖像(無超分辨率處理圖像)的合成處理之間的關(guān)系O
[0034]圖8表示第4實(shí)施例，表示變焦倍率與進(jìn)行了超分辨率處理的圖像(有超分辨率處理圖像)和沒有進(jìn)行超分辨率處理的圖像(無超分辨率處理圖像)的合成處理之間的關(guān)系O
【具體實(shí)施方式】
[0035]下面，參照附圖，說明應(yīng)用了本發(fā)明的數(shù)字照相機(jī)的實(shí)施例。
[0036]實(shí)施例1
[0037]圖1是表示第I實(shí)施例的數(shù)字照相機(jī)的電氣結(jié)構(gòu)的框圖。
[0038]數(shù)字照相機(jī)I的整體動(dòng)作由CPU2統(tǒng)一控制。
[0039]CPU2所執(zhí)行的控制程序、控制所需的各種數(shù)據(jù)、照相機(jī)設(shè)定值等被存儲(chǔ)于存儲(chǔ)器14(R0M區(qū)域)中。存儲(chǔ)器14還被用作CPU2的工作用區(qū)域、圖像數(shù)據(jù)的暫時(shí)存儲(chǔ)區(qū)域(RAM區(qū)域)。
[0040]操作器25包含模式選擇盤、快門釋放按鈕、變焦按鈕等。在通過操作器25中包含的模式選擇盤而設(shè)定了攝像模式后，表示被攝體像的光束經(jīng)由變焦透鏡3及聚焦透鏡4射入至(XD5的受光面。從(XD5以一定周期輸出用于表示被攝體像的影像信號(hào)。如果將變焦按鈕向廣角側(cè)或者長(zhǎng)焦側(cè)操作，則變焦透鏡3由電動(dòng)機(jī)驅(qū)動(dòng)器21控制，進(jìn)行光學(xué)變焦。
[0041]從CCD5輸出的影像信號(hào)在模擬/數(shù)字轉(zhuǎn)換電路6中被轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)。從模擬/數(shù)字轉(zhuǎn)換電路6輸出的圖像數(shù)據(jù)，輸入至圖像輸入控制器7。從圖像輸入控制器7輸出的圖像數(shù)據(jù)，輸入至圖像信號(hào)處理電路8，在此進(jìn)行了 Y校正、白平衡調(diào)整等規(guī)定的圖像處理后，輸入至顯示電路10。
[0042]圖像信號(hào)處理電路8還具有進(jìn)行電子變焦處理(像素插補(bǔ)處理)的功能。電子變焦也對(duì)應(yīng)于上述的變焦按鈕操作而進(jìn)行。
[0043]通過顯示電路10而對(duì)圖像顯示裝置(例如液晶顯示器)11進(jìn)行控制，從而將通過變焦透鏡3及聚焦透鏡4而攝像得到的被攝體像(所謂的實(shí)時(shí)取景圖像)顯示在圖像顯示裝置11的顯示畫面上。
[0044]從圖像輸入控制器7輸出的圖像數(shù)據(jù)也輸入至AE(自動(dòng)曝光)/AF(自動(dòng)聚焦)檢測(cè)電路12?；谠贏E檢測(cè)中輸入的圖像數(shù)據(jù)計(jì)算被攝體亮度，基于計(jì)算出的亮度計(jì)算光圈(圖示略)的光圈值及快門(圖示略)的快門速度，對(duì)光圈及快門進(jìn)行控制?；谠贏F檢測(cè)中輸入的圖像數(shù)據(jù)的對(duì)比度等，計(jì)算聚焦透鏡4的透鏡位置。通過電動(dòng)機(jī)驅(qū)動(dòng)器22而控制聚焦透鏡4，以使該聚焦透鏡4位于所計(jì)算出的透鏡位置。
[0045]如果在模式選擇盤上設(shè)定了攝像模式時(shí)按下快門釋放按鈕，則表示被攝體像的圖像信號(hào)從CCD5輸出，圖像信號(hào)通過模擬/數(shù)字轉(zhuǎn)換電路6轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)，經(jīng)由圖像輸入控制器7輸入至圖像信號(hào)處理電路8，在此進(jìn)行規(guī)定的圖像處理。從圖像信號(hào)處理電路8輸出的圖像數(shù)據(jù)被暫時(shí)存儲(chǔ)于存儲(chǔ)器14中。從存儲(chǔ)器14中讀取的圖像數(shù)據(jù)，輸入至圖像壓縮/展開處理電路9而被壓縮。通過介質(zhì)控制器15，將壓縮后的圖像數(shù)據(jù)記錄于存儲(chǔ)卡等記錄介質(zhì)16中。
[0046]如果在模式選擇盤中設(shè)定了再生模式，則通過介質(zhì)控制器15而讀取在記錄介質(zhì)16中記錄的壓縮圖像數(shù)據(jù)，向圖像壓縮/展開處理電路9施加。展開后的圖像數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器14中?；谠诖鎯?chǔ)器14中存儲(chǔ)的圖像數(shù)據(jù)的圖像，顯示在由顯示電路10控制的圖像顯示裝置11上。
[0047]數(shù)字照相機(jī)I還具有超分辨率處理電路13。超分辨率處理電路13進(jìn)行針對(duì)圖像數(shù)據(jù)的降噪處理及輪廓強(qiáng)調(diào)處理。例如，在超分辨率處理電路13中執(zhí)行降噪處理和輪廓強(qiáng)調(diào)處理，其中，該降噪處理基于使用了平滑化過濾器的平滑化處理，該輪廓強(qiáng)調(diào)處理用于提高圖像中的輪廓成分的亮度值增益。對(duì)于包含超分辨率處理電路13的圖像處理在內(nèi)的數(shù)字照相機(jī)I的動(dòng)作，如后所述。
[0048]圖2是表示數(shù)字照相機(jī)I的動(dòng)作流程的流程圖。圖3是根據(jù)圖像例而表示圖2中示出的流程圖中的圖像處理流程。圖4示出使用變焦按鈕的變焦處理而得到的的變焦倍率、與通過后述的超分辨率處理電路13進(jìn)行超分辨率處理后的圖像(有超分辨率圖像)和沒有進(jìn)行超分辨率處理的圖像(無超分辨率圖像)的合成處理之間的關(guān)系。下面，適當(dāng)參照?qǐng)D3及圖4,說明圖2所不的流程圖。
[0049]如上所述，如果包含于操作器25中的模式選擇盤被設(shè)定為攝像模式，則對(duì)被攝體進(jìn)行攝像(步驟31)。
[0050]通過變焦按鈕而進(jìn)行被攝體像的變焦。在變焦倍率沒有達(dá)到位于變焦透鏡3的長(zhǎng)焦端(tele端)時(shí)的變焦倍率(光學(xué)最大變焦倍率)的情況下，即，參照?qǐng)D4，如果當(dāng)前的變焦倍率在位于變焦透鏡3的廣角端(wide端)時(shí)的變焦倍率Z1和位于長(zhǎng)焦端(tele端)時(shí)的光學(xué)最大變焦倍率Z2之間，則不進(jìn)行特殊的處理。通過攝像所獲得的圖像數(shù)據(jù)被記錄在存儲(chǔ)器14(在按下快門釋放按鈕的情況下為記錄介質(zhì)16)中(在步驟32中為“否”，步驟38)。如上所述，記錄于存儲(chǔ)器14中的圖像數(shù)據(jù)所表示的圖像，能夠顯示在圖像顯示裝置11上。如果是沒有達(dá)到長(zhǎng)焦端(tele端)的變焦倍率，則不進(jìn)行上述的圖像信號(hào)處理電路8的電子變焦處理。當(dāng)前(當(dāng)前時(shí)刻)的變焦倍率，按照操作器25所包含的變焦按鈕的按下時(shí)間而由CPU2檢測(cè)。
[0051 ] 如果變焦倍率超過變焦透鏡3位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率Z2 (在步驟32中為“是”)，則在變焦透鏡3的光學(xué)變焦的基礎(chǔ)上進(jìn)行電子變焦處理。進(jìn)入以下處理。
[0052]首先對(duì)電子變焦區(qū)域(對(duì)應(yīng)于當(dāng)前的變焦倍率進(jìn)行放大及縮小的范圍)內(nèi)的圖像數(shù)據(jù)進(jìn)行裁切處理(步驟33)。參照?qǐng)D3，將表示圖像12(以下稱為裁切圖像I2)的圖像數(shù)據(jù)，從表示圖像I1的圖像數(shù)據(jù)中裁切出來，其中，該圖像I2表示電子變焦區(qū)域51，該電子變焦區(qū)域51包含在表示整個(gè)攝像區(qū)域的圖像I1中。
[0053]表示裁切圖像I2的圖像數(shù)據(jù)被分支為2個(gè)(拷貝)，其中一個(gè)表示裁切圖像I2的數(shù)據(jù)被賦予給超分辨率處理電路13，在此進(jìn)行超分辨率處理(降噪處理和輪廓強(qiáng)調(diào)處理組合的圖像處理)(步驟34)。生成進(jìn)行超分辨率處理后的圖像(超分辨率處理接通圖像)13。[0054]判斷當(dāng)前的變焦倍率是否落在加權(quán)合成范圍內(nèi)(步驟35)。
[0055]參照?qǐng)D4，在當(dāng)前的變焦倍率大于或等于變焦倍率Z3時(shí)，有超分辨率處理圖像本身成為顯示處理的對(duì)象，其中，變焦倍率Z3以大于或等于規(guī)定值超過上述的變焦透鏡3位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率Z2。有超分辨率處理圖像被放大處理(插補(bǔ)處理)為攝像區(qū)域(原被攝體像)的圖像尺寸(電子變焦處理)，將表示放大后的有超分辨率處理圖像的數(shù)據(jù)記錄在存儲(chǔ)器14中(在步驟35中為“否”，步驟37、步驟38)。沒有進(jìn)行超分辨率處理的裁切圖像(無超分辨率處理圖像)I2不記錄在存儲(chǔ)器14中。
[0056]另一方面，如果當(dāng)前的變焦倍率處于變焦倍率Z2至Z3之間(加權(quán)合成范圍)，則將對(duì)應(yīng)于變焦倍率而加權(quán)的有超分辨率處理圖像I3以及無超分辨率處理圖像I2進(jìn)行合成(在步驟35中為“是”，步驟36)。參照?qǐng)D4，有超分辨率處理圖像I3的權(quán)重大小(合成比例)隨著變焦倍率從Z2向Z3增大而成正比地增加(參照點(diǎn)劃線)。在這里，權(quán)重的大小是成正比地增加，但也可以是非線性增加。另一方面，無超分辨率處理圖像I2的權(quán)重大小隨著變焦倍率從Z2向Z3增大而成正比地減小(參照實(shí)線)。權(quán)重的大小也可以是非線性減小。圖4所示的加權(quán)合成范圍、及表示該范圍內(nèi)的變焦倍率與權(quán)重大小(合成比例)之間的關(guān)系的數(shù)據(jù)、應(yīng)用光學(xué)變焦的縮放范圍、應(yīng)用電子變焦的縮放范圍，被存儲(chǔ)于存儲(chǔ)器14中，它們用于判斷是否應(yīng)該進(jìn)行上述的加權(quán)合成處理等。
[0057]如果以變焦倍率Z2為閾值，簡(jiǎn)單地對(duì)光學(xué)變焦圖像和進(jìn)行了超分辨率處理的電子變焦圖像進(jìn)行切換顯示，則無法保持肉眼觀察到的圖像分辨率的連續(xù)性。在這里，如圖4所示，通過在變焦倍率從Z2至Z3之間顯示加權(quán)合成的圖像，且隨著變焦倍率增大而使有超分辨率處理圖像的權(quán)重逐漸增大(無超分辨率處理圖像的權(quán)重逐漸減小)，從而抑制分辨率的突然變動(dòng)。能夠使攝影者在變焦操作中肉眼觀察到具有連續(xù)性分辨率的變焦圖像。另外，通過在加權(quán)合成圖像中使有超分辨率處理圖像的權(quán)重逐漸增大，從而對(duì)隨著變焦倍率增大而惡化的分辨率作出補(bǔ)償，因此，能夠使攝影者肉眼觀察到分辨率在整個(gè)變焦操作范圍內(nèi)比較穩(wěn)定的圖像。
[0058]在進(jìn)行了加權(quán)合成處理的情況下(圖3所示的圖像I4)，也對(duì)合成圖像進(jìn)行放大處理(電子變焦處理)，將表示放大后的合成圖像(圖3的圖像I5)的數(shù)據(jù)記錄在存儲(chǔ)器14中(步驟37、步驟38)。
[0059]實(shí)施例2
[0060]圖5是表示第2實(shí)施例的數(shù)字照相機(jī)的動(dòng)作流程的流程圖。對(duì)于與第I實(shí)施例的數(shù)字照相機(jī)I的流程圖(圖2)相同的處理標(biāo)記同一標(biāo)號(hào)，省略重復(fù)說明。第2實(shí)施例及后述的其他實(shí)施例的數(shù)字照相機(jī)的硬件結(jié)構(gòu)與第I實(shí)施例(圖1)相同。
[0061]上述的第I實(shí)施例中超分辨率處理電路13的超分辨率處理，以通過攝像所獲得的圖像數(shù)據(jù)為處理對(duì)象。在第2實(shí)施例中，在超分辨率處理之前事前進(jìn)行輪廓提取處理，僅將提取出的輪廓部分作為超分辨率處理電路13的處理對(duì)象。
[0062]參照?qǐng)D5，在超分辨率處理電路13中針對(duì)裁切圖像進(jìn)行輪廓提取處理(輪廓成分分離處理)(步驟41)，生成用于表示輪廓成分的圖像數(shù)據(jù)(步驟42)及表示非輪廓成分的圖像數(shù)據(jù)(步驟43)。
[0063]超分辨率處理電路13僅以輪廓成分的圖像數(shù)據(jù)作為處理對(duì)象，進(jìn)行超分辨率處理(步驟34)。如果當(dāng)前的變焦倍率落在加權(quán)合成范圍內(nèi)(圖4:變焦倍率Z2至Z3)，則進(jìn)行有超分辨率處理圖像和無超分辨率處理圖像的加權(quán)合成(在步驟35中為“是”，步驟36)。如果當(dāng)前的變焦倍率超過加權(quán)合成范圍(大于或等于變焦倍率Z3),則不進(jìn)行加權(quán)合成(在步驟35中為“否”)。
[0064]將進(jìn)行了超分辨率處理的輪廓成分的圖像數(shù)據(jù)或加權(quán)合成后的輪廓成分的圖像數(shù)據(jù)，與非輪廓成分的圖像數(shù)據(jù)合成(步驟44)。在圖像放大處理后，將所合成的圖像數(shù)據(jù)記錄在存儲(chǔ)器14中(步驟37、38)。
[0065]由于在超分辨率處理電路13中僅對(duì)輪廓成分的圖像數(shù)據(jù)進(jìn)行分辨率處理，因此，與第I實(shí)施例相比較，能夠縮短超分辨率處理電路13中的處理時(shí)間。另外，由于能夠僅對(duì)輪廓成分進(jìn)行超分辨率處理，因此，與對(duì)整個(gè)圖像進(jìn)行超分辨率處理的情況相比，還具有不會(huì)產(chǎn)生或難以產(chǎn)生假輪廓的優(yōu)點(diǎn)。
[0066]實(shí)施例3
[0067]在上述的第I實(shí)施例及第2實(shí)施例中，將變焦透鏡3位于長(zhǎng)焦端(tele端)時(shí)的光學(xué)最大變焦倍率Z2設(shè)為開始進(jìn)行加權(quán)合成處理的變焦倍率(加權(quán)合成范圍的最小變焦倍率)。但是，也存在即使進(jìn)行電子變焦處理，在變焦倍率小的狀態(tài)下仍能夠保持充分的分辨率的情況。如下所述，在第3實(shí)施例中，取代將變焦透鏡位于長(zhǎng)焦端(tele端)時(shí)的光學(xué)最大變焦倍率Z2設(shè)為 開始進(jìn)行加權(quán)合成處理的變焦倍率，考慮空間頻率響應(yīng)而確定開始進(jìn)行加權(quán)合成處理的變焦倍率。
[0068]圖6是將橫軸設(shè)為空間頻率，將縱軸設(shè)為空間頻率響應(yīng)，表示數(shù)字照相機(jī)I的空間頻率響應(yīng)特性的曲線圖。空間頻率響應(yīng)根據(jù)數(shù)字照相機(jī)I的特性(變焦透鏡3的光學(xué)特性、CCD2的特性、電子變焦時(shí)的圖像處理特性等)和變焦倍率而確定。在圖6中，示出分別表示變焦倍率為Z1、z2、z3以及zjz^zzzyz,)時(shí)的空間頻率響應(yīng)特性的曲線。
[0069]參照?qǐng)D6可知，在任意的變焦倍率時(shí)，均為圖像的空間頻率越高而空間頻率響應(yīng)越小。
[0070]在圖6中示出對(duì)于變焦倍率分別為21、22、23及2,時(shí)，空間頻率響應(yīng)達(dá)到50%響應(yīng)的空間頻率Fp F2, F3、Fn(F1>F2>F3>Fn)?？芍兘贡堵试酱蠖_(dá)到50%響應(yīng)的空間頻率越低。
[0071]圖7是在表不變焦倍率和加權(quán)合成之間的關(guān)系的圖中追加用于表不空間頻率響應(yīng)達(dá)到50%響應(yīng)的空間頻率的曲線(參照細(xì)虛線)。如圖7所示，空間頻率響應(yīng)達(dá)到50%響應(yīng)的空間頻率隨著變焦倍率增大而降低。
[0072]參照?qǐng)D7，例如，考慮作為達(dá)到50%響應(yīng)的空間頻率，以空間頻率F3為基準(zhǔn)。在關(guān)于基準(zhǔn)空間頻率F3,具有大于或等于50%響應(yīng)的空間頻率響應(yīng)的情況下，只要變焦倍率小于或等于比光學(xué)最大變焦倍率Z2大的變焦倍率Z。即可(參照表示空間頻率響應(yīng)達(dá)到50%響應(yīng)的空間頻率的曲線上的點(diǎn)C)。
[0073]在以高于空間頻率F3的空間頻率F2為基準(zhǔn)空間頻率，關(guān)于基準(zhǔn)空間頻率F2具有大于或等于50%響應(yīng)的空間頻率響應(yīng)的情況下，只要變焦倍率比光學(xué)最大變焦倍率Z2大，且小于或等于比上述變焦倍率Zc小的變焦倍率Zb即可(參照點(diǎn)B)。
[0074]此外，在以高于空間頻率F2高的空間頻率F1為基準(zhǔn)空間頻率，關(guān)于基準(zhǔn)空間頻率F1具有大于或等于50%響應(yīng)的空間頻率響應(yīng)的情況下，必須使變焦倍率小于或等于比光學(xué)最大變焦倍率Z2小的變焦倍率Za (參照點(diǎn)A)。[0075]在第3實(shí)施例(圖7)中，取代采用變焦透鏡3位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率Z2作為開始進(jìn)行加權(quán)合成的變焦倍率，事先確定空間頻率響應(yīng)達(dá)到50%響應(yīng)的空間頻率(基準(zhǔn)空間頻率)，將關(guān)于該基準(zhǔn)空間頻率，表示上述空間頻率響應(yīng)達(dá)到50%響應(yīng)的變焦倍率的數(shù)據(jù)，事先存儲(chǔ)在存儲(chǔ)器14中。在所檢測(cè)的變焦倍率大于或等于上述空間頻率響應(yīng)達(dá)到50%響應(yīng)的變焦倍率時(shí)，進(jìn)行超分辨率處理(加權(quán)合成)。
[0076]在檢測(cè)出的變焦倍率落在電子變焦應(yīng)用縮放范圍內(nèi)時(shí)進(jìn)行超分辨率處理(加權(quán)合成)，而如果落在光學(xué)變焦應(yīng)用縮放范圍內(nèi)時(shí)不進(jìn)行超分辨率處理(加權(quán)合成)，則只要將較低的空間頻率確定為基準(zhǔn)空間頻率(例如圖7的&{3)，將關(guān)于該基準(zhǔn)空間頻率，表示空間頻率響應(yīng)達(dá)到50%響應(yīng)的變焦倍率(ZB、Zc)的數(shù)據(jù)事前存儲(chǔ)在存儲(chǔ)器14中即可。當(dāng)然也可以從光學(xué)變焦應(yīng)用縮放范圍開始進(jìn)行超分辨率處理。在這種情況下，只要預(yù)先將較高的空間頻率確定為基準(zhǔn)空間頻率(例如，圖7的F1)，將比光學(xué)最大變焦倍率Z2小的變焦倍率ZA(關(guān)于基準(zhǔn)空間頻率F1，空間頻率響應(yīng)達(dá)到50%響應(yīng)的變焦倍率)設(shè)為開始進(jìn)行超分辨率處理(加權(quán)合成)的變焦倍率，并存儲(chǔ)于存儲(chǔ)器14中即可。
[0077]實(shí)施例4
[0078]圖8表示第4實(shí)施例，表示使用變焦按鈕的變焦處理的變焦倍率與進(jìn)行了超分辨率處理的圖像(有超分辨率處理圖像)和沒有進(jìn)行超分辨率處理的圖像(無超分辨率處理圖像)的合成處理之間的關(guān)系的其他例子。
[0079]超分辨率處理能夠通過改變降噪處理所使用的濾波器的濾波系數(shù)及輪廓強(qiáng)調(diào)處理所使用的增益值而調(diào)整其強(qiáng)度(程度)。在第4實(shí)施例中，使用程度不同的2個(gè)超分辨率處理。
[0080]參照?qǐng)D8，例如，如果當(dāng)前的變焦倍率落在從變焦透鏡3位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率Z2到變焦倍率Z3為止的范圍(加權(quán)合成范圍I)內(nèi)，則在超分辨率處理電路13中進(jìn)行程度較弱的超分辨率處理(有超分辨率處理(弱))。對(duì)無超分辨率處理圖像(實(shí)線)和有超分辨率處理(弱)圖像(單點(diǎn)劃線)加權(quán)合成后的圖像進(jìn)行放大處理，并記錄在存儲(chǔ)器14中。
[0081 ] 如果當(dāng)前的變焦倍率落在從Z3至Z4為止的范圍內(nèi)，則對(duì)程度較弱的有超分辨率處理圖像進(jìn)行放大處理，并記錄在存儲(chǔ)器14中。
[0082]如果當(dāng)前的變焦倍率落在從Z4至Z5的范圍(加權(quán)合成范圍II)內(nèi)，則超分辨率處理電路13生成2個(gè)超分辨率圖像，并將它們加權(quán)合成，這2個(gè)超分辨率圖像是進(jìn)行了程度較弱的超分辨率處理后的圖像(有超分辨率處理(弱)圖像)(點(diǎn)劃線)和進(jìn)行了程度較強(qiáng)的超分辨率處理后的圖像(有超分辨率處理(強(qiáng))圖像)(雙點(diǎn)劃線)。有超分辨率處理(強(qiáng))圖像的權(quán)重大小隨著變焦倍率從Z4向Z5增大而成正比地增加。另一方面，有超分辨率處理(弱)圖像的大小隨著變焦倍率從Z4向254增大而成正比地減小。對(duì)有超分辨率處理(弱)圖像和有超分辨率處理(強(qiáng))圖像加權(quán)合成后的圖像進(jìn)行放大處理并記錄在存儲(chǔ)器14中。
[0083]如果當(dāng)前的變焦倍率大于或等于Z5,則對(duì)有超分辨率處理(強(qiáng))圖像進(jìn)行放大處理，并記錄在存儲(chǔ)器14中。
[0084]標(biāo)號(hào)的說明
[0085]I數(shù)字照相機(jī)(攝像裝置)[0086]2 CPU
[0087]3變焦透鏡
[0088]5 CCD (攝像單元)
[0089]8圖像信號(hào)處理電路(電子變焦處理單元)
[0090]13超分辨率處理電路
[0091]16記錄介質(zhì)
[0092]25操作器
【權(quán)利要求】
1.一種攝像裝置，其中，具有: 攝像單元，其通過能夠?qū)鈭D像進(jìn)行光學(xué)縮放的變焦透鏡，對(duì)被攝體進(jìn)行攝像，輸出用于表示被攝體像的圖像數(shù)據(jù)； 電子變焦單元，其對(duì)通過上述攝像單元而獲得的圖像數(shù)據(jù)進(jìn)行電子縮放； 變焦操作單元，其用于進(jìn)行使變焦透鏡及電子變焦單元的變焦倍率變更的操作； 變焦控制單元，如果變焦倍率落在直至變焦透鏡位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率為止的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元僅使用變焦透鏡對(duì)圖像數(shù)據(jù)進(jìn)行縮放，而如果變焦倍率落在超過光學(xué)最大變焦倍率的電子變焦應(yīng)用縮放范圍內(nèi)，則同時(shí)使用電子變焦單元對(duì)圖像數(shù)據(jù)進(jìn)行縮放； 超分辨率處理單元，其針對(duì)上述圖像數(shù)據(jù)進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的超分辨率處理，生成超分辨率圖像數(shù)據(jù)；以及 加權(quán)合成單元，其在變焦倍率落在上述電子變焦應(yīng)用縮放范圍內(nèi)時(shí)，通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)所生成的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成。
2.根據(jù)權(quán)利要 求1所述的攝像裝置，其中， 還具有記錄控制單元，如果變焦倍率落在光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該記錄控制單元將光學(xué)地縮放為該變焦倍率而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中，如果變焦倍率落在電子變焦應(yīng)用縮放范圍內(nèi)，則該記錄控制單元將使上述加權(quán)合成而得到的圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。
3.根據(jù)權(quán)利要求1或2所述的攝像裝置，其中， 還具有超分辨率處理控制單元，其按照如果變焦倍率落在上述光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則不進(jìn)行超分辨率處理，而在變焦倍率落在上述電子變焦應(yīng)用縮放范圍內(nèi)時(shí)，對(duì)圖像數(shù)據(jù)進(jìn)行超分辨率處理的方式，對(duì)上述超分辨率處理單元進(jìn)行控制。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其中， 上述超分辨率處理控制單元，按照在大于或等于上述電子變焦應(yīng)用縮放范圍的最低變焦倍率時(shí)，對(duì)圖像數(shù)據(jù)進(jìn)行超分辨率處理的方式，對(duì)上述超分辨率處理單元進(jìn)行控制。
5.根據(jù)權(quán)利要求1所述的攝像裝置，其中， 還具有加權(quán)合成控制單元，其按照下述方式對(duì)對(duì)上述超分辨率處理單元進(jìn)行控制，即，如果其變焦倍率小于或等于規(guī)定的變焦倍率，則即使落在上述電子變焦應(yīng)用縮放范圍內(nèi)也不對(duì)超分辨率圖像數(shù)據(jù)進(jìn)行合成，而在變焦倍率比上述規(guī)定的變焦倍率大時(shí)，對(duì)超分辨率圖像數(shù)據(jù)進(jìn)行合成。
6.根據(jù)權(quán)利要求5所述的攝像裝置，其中， 上述規(guī)定的變焦倍率是事先確定的基準(zhǔn)空間頻率處的空間頻率響應(yīng)達(dá)到規(guī)定值的變焦倍率。
7.根據(jù)權(quán)利要求2所述的攝像裝置，其中， 上述加權(quán)合成單元為，在變焦倍率落在從上述光學(xué)最大變焦倍率到超過上述光學(xué)最大變焦倍率的第I變焦倍率為止的范圍內(nèi)時(shí)，對(duì)超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行加權(quán)處理， 上述記錄控制單元為，如果變焦倍率落在從上述光學(xué)最大變焦倍率到第I變焦倍率為止的范圍內(nèi)，則將使加權(quán)合成而得到的圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中，在變焦倍率超過上述第I變焦倍率的情況下，將使上述超分辨率圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。
8.根據(jù)權(quán)利要求2所述的攝像裝置，其中， 上述超分辨率處理單元是用于執(zhí)行第1、第2的超分辨率處理的的單元，關(guān)于上述第1、第2的超分辨率處理，它們的超分辨率處理程度不同， 關(guān)于上述加權(quán)合成單元，如果變焦倍率落在從上述光學(xué)最大變焦倍率到超過上述光學(xué)最大變焦倍率的第I變焦倍率為止的范圍內(nèi)，則上述加權(quán)合成單元通過上述變焦倍率越大、超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)第I超分辨率處理的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行加權(quán)合成，如果變焦倍率落在從超過上述第I變焦倍率的第2變焦倍率到超過上述第2變焦倍率的第3變焦倍率為止的范圍內(nèi)，則上述加權(quán)合成單元通過上述變焦倍率越大、第2超分辨率處理的超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)第I超分辨率處理的超分辨率圖像數(shù)據(jù)、和與第I超分辨率處理相比程度高的第2超分辨率處理的超分辨率圖像數(shù)據(jù)進(jìn)行加權(quán)合成， 關(guān)于上述記錄控制單元，如果變焦倍率落在從上述光學(xué)最大變焦倍率到第I變焦倍率為止的范圍內(nèi)，則將使第I超分辨率處理的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)加權(quán)合成而得到的圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中，如果變焦倍率落在從上述第I變焦倍率到第2變焦倍率為止的范圍內(nèi)，則將使第I超分辨率處理的超分辨率圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中，如果變焦倍率落在從第2變焦倍率到第3變焦倍率為止的范圍內(nèi)，則將使第I超分辨率處理的超分辨率圖像數(shù)據(jù)和第2超分辨率處理的超分辨率圖像數(shù)據(jù)加權(quán)合成而得到的圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中，在變焦倍率超過第3變焦倍率的情況下，將使第2超分辨率處理的超分辨率圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。
9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的攝像裝置，其中， 上述超分辨率處理單元包含: 分離單元，其將由圖像數(shù)據(jù)表示的圖像分離為該圖像的輪廓成分和非輪廓成分； 輪廓成分處理單元，其針對(duì)通過上述分離單元而分離出的輪廓成分，進(jìn)行降噪處理及強(qiáng)調(diào)處理；以及 合成單元，其對(duì)執(zhí)行了降噪處理及強(qiáng)調(diào)處理后的輪廓成分和上述非輪廓成分進(jìn)行合成；
10.一種攝像裝置，其中，具有: 攝像單元，其通過能夠?qū)鈭D像進(jìn)行光學(xué)縮放的變焦透鏡，對(duì)被攝體進(jìn)行攝像，輸出用于表示被攝體像的圖像數(shù)據(jù)； 電子變焦單元，其對(duì)通過上述攝像單元而獲得的圖像數(shù)據(jù)進(jìn)行電子縮放；變焦操作單元，其用于進(jìn)行使變焦透鏡及電子變焦單元的變焦倍率變更的操作；變焦控制單元，如果變焦倍率落在直至變焦透鏡位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率為止的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元僅使用變焦透鏡對(duì)圖像數(shù)據(jù)進(jìn)行縮放，而如果變焦倍率落在超過光學(xué)最大變焦倍率的電子變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元同時(shí)使用電子變焦單元對(duì)圖像數(shù)據(jù)進(jìn)行縮放； 超分辨率處理單元，其針對(duì)上述圖像數(shù)據(jù)，進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的超分辨率處理，生成超分辨率圖像數(shù)據(jù)；以及 加權(quán)合成單元，其通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)所生成的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成；以及 記錄控制單元，如果變焦倍率小于或等于下述變焦倍率，即，關(guān)于事先確定的基準(zhǔn)空間頻率，根據(jù)上述攝像裝置的特性及變焦倍率而確定的空間頻率響應(yīng)達(dá)到規(guī)定值的變焦倍率，則將縮放為該變焦倍率而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中，在變焦倍率比上述空間頻率響應(yīng)達(dá)到上述規(guī)定值的變焦倍率大的情況下,將使上述超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)加權(quán)合成而得到的圖像數(shù)據(jù)縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。
11.一種攝像裝置的控制方法，該攝像裝置具有:攝像單元，其通過能夠?qū)鈭D像進(jìn)行光學(xué)縮放的變焦透鏡，對(duì)被攝體進(jìn)行攝像，輸出用于表示被攝體像的圖像數(shù)據(jù)；電子變焦單元，其對(duì)通過上述攝像單元而獲得的圖像數(shù)據(jù)進(jìn)行電子縮放；變焦操作單元，其用于進(jìn)行使變焦透鏡及電子變焦單元的變焦倍率變更的操作；變焦控制單元，如果變焦倍率落在直至變焦透鏡位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率為止的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元僅使用變焦透鏡對(duì)圖像數(shù)據(jù)進(jìn)行縮放，而如果變焦倍率落在超過光學(xué)最大變焦倍率的電子變焦應(yīng)用縮放范圍內(nèi)，則同時(shí)使用電子變焦單元對(duì)圖像數(shù)據(jù)進(jìn)行縮放；以及超分辨率處理單元，其針對(duì)上述圖像數(shù)據(jù)，進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的超分辨率處理，生成超分辨率圖像數(shù)據(jù)， 在該攝像裝置的控制方法中， 在變焦倍率落在上述電子變焦應(yīng)用放大范圍內(nèi)時(shí)，通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)所生成的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成。
12.根據(jù)權(quán)利要求11所述的攝像裝置的控制方法，其中， 如果變焦倍率落在光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則將光學(xué)地縮放為該變焦倍率而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中，如果變焦倍率落在電子變焦應(yīng)用縮放范圍內(nèi)，則將使上述加權(quán)合成而得到的圖像數(shù)據(jù)電子地縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元中。
13.一種攝像裝置的控制方法，該攝像裝置具有:攝像單元，其通過能夠?qū)鈭D像進(jìn)行光學(xué)縮放的變焦透鏡，對(duì)被攝體進(jìn)行攝像，輸出用于表示被攝體像的圖像數(shù)據(jù)；電子變焦單元，其對(duì)通過上述攝像單元而獲得的圖像數(shù)據(jù)進(jìn)行電子縮放；變焦操作單元，其用于進(jìn)行使變焦透鏡及電子變焦單元的變焦倍率變更的操作；變焦控制單元，如果變焦倍率落在直至變焦透鏡位于長(zhǎng)焦端時(shí)的光學(xué)最大變焦倍率為止的光學(xué)變焦應(yīng)用縮放范圍內(nèi)，則該變焦控制單元僅使用變焦透鏡對(duì)圖像數(shù)據(jù)進(jìn)行縮放，而如果變焦倍率落在超過光學(xué)最大變焦倍率的電子變焦應(yīng)用縮放范圍內(nèi)，則同時(shí)使用電子變焦單元對(duì)圖像數(shù)據(jù)進(jìn)行縮放；以及超分辨率處理單元，其針對(duì)上述圖像數(shù)據(jù)，進(jìn)行抑制噪音強(qiáng)調(diào)并強(qiáng)調(diào)輪廓的超分辨率處理，生成超分辨率圖像數(shù)據(jù)， 在該攝像裝置的控制方法中，通過上述變焦倍率越大則超分辨率圖像數(shù)據(jù)的權(quán)重越大的加權(quán)處理，對(duì)所生成的超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)進(jìn)行合成， 如果變焦倍率小于或等于下述變焦倍率，即，關(guān)于事先確定的基準(zhǔn)空間頻率，根據(jù)上述攝像裝置的特性及變焦倍率而確定的空間頻率響應(yīng)達(dá)到規(guī)定值的變焦倍率，則將縮放為該變焦倍率而沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)記錄在記錄單元中，在變焦倍率比上述空間頻率響應(yīng)達(dá)到上述規(guī)定值的變焦倍率大的情況下，將使上述超分辨率圖像數(shù)據(jù)和沒有進(jìn)行超分辨率處理的圖像數(shù)據(jù)加權(quán)合成而得到的圖像數(shù)據(jù)縮放為該變焦倍率后的圖像數(shù)據(jù)記錄在記錄單元 中。
【文檔編號(hào)】H04N5/232GK103918251SQ201280054940
【公開日】2014年7月9日 申請(qǐng)日期:2012年11月2日 優(yōu)先權(quán)日:2011年11月8日
【發(fā)明者】遠(yuǎn)藤麻依子 申請(qǐng)人:富士膠片株式會(huì)社