專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法，尤其涉及一種適用于從所拍攝圖 像檢測模糊狀態(tài)的技術(shù)。
背景技術(shù)：
已知當(dāng)經(jīng)由包括變焦透鏡的光學(xué)系統(tǒng)在圖像傳感器的攝像面上對被攝體進(jìn)行成 像時(shí)，不同于原始被攝體，由圖像傳感器所拍攝的圖像在光學(xué)系統(tǒng)的像差的影響下模糊，由 此降低了圖像質(zhì)量。已知當(dāng)經(jīng)由焦平面位于相對于要進(jìn)行成像的被攝體的位置的偏移位置的光學(xué)系 統(tǒng)、在圖像傳感器的攝像面上對被攝體進(jìn)行成像時(shí)，由圖像傳感器所拍攝的圖像變得模糊。 因此，所拍攝圖像的圖像質(zhì)量劣化。一種用于防止圖像質(zhì)量下降的技術(shù)是反卷積(deconvolution)。該技術(shù)通過從包 含模糊的一個(gè)所拍攝圖像檢測模糊狀態(tài)來生成無模糊的清晰的所拍攝圖像。作為卷積的逆 運(yùn)算的反卷積根據(jù)輸出函數(shù)和加權(quán)函數(shù)求出輸入函數(shù)。特別地，編碼孔徑技術(shù)(coded aperture technique)使得能夠利用不同模糊函數(shù) 進(jìn)行反卷積。由此，將極大影響模糊狀態(tài)的光圈設(shè)置成特殊形狀，并且將用于檢測模糊狀態(tài) 的指標(biāo)嵌入所拍攝圖像中。根據(jù)非專利文獻(xiàn)1所述的技術(shù)，將在經(jīng)由特殊固定光圈所拍攝的圖像中產(chǎn)生的模 糊嵌入在所拍攝圖像中作為用于檢測模糊狀態(tài)的指標(biāo)。所拍攝圖像中產(chǎn)生的模糊函數(shù)具有 寬的特征頻率分布，并且允許檢測根據(jù)被攝體的各部分的深度而改變的模糊狀態(tài)。根據(jù)非專利文獻(xiàn)2所述的技術(shù)，將使用特殊光圈所產(chǎn)生的模糊類似地嵌入所拍攝 圖像中作為用于檢測模糊狀態(tài)的指標(biāo)。該技術(shù)意圖減少模糊函數(shù)中的特定頻率成分，以檢 測根據(jù)被攝體的各部分的深度而改變的模糊狀態(tài)。[非專禾丨J 文獻(xiàn) 1]Veeraraghavan, A. , Raskar, R. , Agrawal, A. , Tumblin, J. (2007)， “ Dappled Photography :Mask Enhanced Cameras for Heterodyned Light Fields and Coded Aperture Refocusing " , ACM Transactions on Graphics (Proc. SIGGRAPH)[非專利文獻(xiàn) 2] Levin, Α.，F(xiàn)ergus, R.，Durand, F.，F(xiàn)reeman, B. (2007)，“ Image and Depth from a Conventional Camera with a Coded Aperture" ,ACM Transactions on Graphics (Proc. SIGGRAPH)然而，非專利文獻(xiàn)1和2中的技術(shù)采用固定形狀的光圈。這限制了用于將指標(biāo)嵌 入所拍攝圖像以檢測模糊狀態(tài)的方法。

發(fā)明內(nèi)容
為解決上述問題做出了本發(fā)明，并且本發(fā)明允許通過使用可變孔徑光圈生成特征 模糊圖案，以高精度從所拍攝圖像檢測模糊狀態(tài)。
根據(jù)本發(fā)明的第一方面，一種圖像處理設(shè)備，包括圖像獲取單元，用于獲取在圖 像傳感器單元上對經(jīng)由光圈的開口從被攝體入射的光進(jìn)行成像的結(jié)果，作為圖像；控制單 元，用于在所述圖像獲取單元獲取所述圖像時(shí)，基于定義所述開口的形狀的時(shí)間變化的函 數(shù)來控制所述開口的形狀；以及檢測單元，用于基于所述函數(shù)，檢測所述圖像中的模糊狀 態(tài)。根據(jù)本發(fā)明的第二方面，一種圖像處理方法，其通過使用計(jì)算機(jī)來進(jìn)行以下步驟 獲取步驟，用于獲取在圖像傳感器單元上對經(jīng)由光圈的開口從被攝體入射的光進(jìn)行成像的 結(jié)果，作為圖像；控制步驟，用于在獲取所述圖像時(shí)，基于定義所述開口的形狀的時(shí)間變化 的函數(shù)來控制所述開口的形狀；以及檢測步驟，用于基于所述函數(shù)，檢測所述圖像中的模糊 狀態(tài)。通過以下參考附圖對典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。


圖1是舉例說明根據(jù)第一實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖；圖2A和2B是舉例說明根據(jù)第一實(shí)施例的可變孔徑光圈的結(jié)構(gòu)的圖；圖3是示出根據(jù)第一實(shí)施例的保持在光圈直徑表保持單元中的經(jīng)過時(shí)間和孔徑 直徑之間的特性的圖；圖4A 4E是示出根據(jù)第一實(shí)施例的、針對孔徑直徑rQ r4的、作為位于與攝像 鏡頭相距預(yù)定距離處的點(diǎn)光源的被攝體的模糊圖像中相對于模糊的中心的位置(bx，by)和 亮度之間的特性的圖；圖5是用于解釋根據(jù)第一實(shí)施例的攝像處理的過程的流程圖；圖6是用于解釋根據(jù)第一實(shí)施例的可變孔徑光圈和快門的控制過程的流程圖；圖7是用于解釋根據(jù)第一實(shí)施例的模糊狀態(tài)檢測單元的模糊狀態(tài)檢測過程的流 程圖；圖8A 8D是舉例說明根據(jù)第一實(shí)施例的具有特殊形狀的開口的可變孔徑光圈的 圖；圖9A和9B是示出根據(jù)第一實(shí)施例的在孔徑直徑r的變化速度連續(xù)的情況下孔徑 直徑r和從開始曝光起經(jīng)過的時(shí)間t之間的關(guān)系的特性的圖；圖10是示出根據(jù)本發(fā)明第一實(shí)施例的在使用快門時(shí)孔徑直徑和從開始曝光起經(jīng) 過的時(shí)間之間的關(guān)系的圖；圖11是舉例說明根據(jù)第二實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的框圖；圖12A 12C是舉例說明根據(jù)第二實(shí)施例的切換光圈的示意結(jié)構(gòu)的圖；圖13是示出根據(jù)第二實(shí)施例的保持在光圈圖案表保持單元中的光圈圖案編號和 曝光時(shí)間之間的關(guān)系的圖；圖14A和14B是示出根據(jù)第二實(shí)施例的在使用各光圈圖案時(shí)作為位于與攝像鏡頭 相距預(yù)定距離處的點(diǎn)光源的被攝體的模糊圖像中相對于模糊的中心的位置和亮度之間的 關(guān)系的特性的圖；圖15是用于解釋根據(jù)第二實(shí)施例的攝像處理的過程的流程圖；圖16是用于解釋根據(jù)第二實(shí)施例的切換光圈和快門的控制過程的流程圖；以及
圖17A 17C是舉例說明根據(jù)第二實(shí)施例的具有由液晶所限定的孔徑形狀的液晶 光圈的圖。
具體實(shí)施例方式下面參考附圖詳細(xì)說明本發(fā)明的實(shí)施例。這些實(shí)施例僅是所附權(quán)利要求書所述的 本發(fā)明的結(jié)構(gòu)的例子，并且本發(fā)明不局限于這些實(shí)施例。第一實(shí)施例圖1舉例說明根據(jù)應(yīng)用了本發(fā)明的第一實(shí)施例的攝像設(shè)備101的結(jié)構(gòu)。如圖1所 示，第一實(shí)施例中的攝像設(shè)備101包括圖像傳感器單元102、攝像鏡頭103、用作可變光圈的 可變孔徑光圈104以及可變光圈控制單元105。攝像設(shè)備101還包括快門106、快門控制單 元107、圖像獲取單元(所拍攝圖像生成單元)108、模糊狀態(tài)檢測單元109、清晰圖像生成單 元110、操作單元111和經(jīng)過時(shí)間測量單元112。圖像傳感器單元102通過使用沿著χ軸和y軸二維排列的元件檢測到達(dá)圖像傳感 器單元102的表面的光。圖像傳感器單元102的例子有CXD圖像傳感器和CMOS圖像傳感 器。在根據(jù)第一實(shí)施例的結(jié)構(gòu)中，圖像傳感器單元102具有平面矩形形狀，并且檢測經(jīng)由攝 像鏡頭103和可變孔徑光圈104投影的被攝體圖像的光。可以通過在元件陣列前面配置低 通濾波器或Bayer陣列顏色濾波器等獲取彩色圖像。攝像鏡頭103包括用于將被攝體圖像投影在圖像傳感器單元102上的光學(xué)系統(tǒng)。 第一實(shí)施例中的攝像鏡頭103使用單凸透鏡鏡頭。(后面說明的)可變孔徑光圈104被配 置在孔徑位置處以改變孔徑直徑。攝像鏡頭103不一定總是使用單凸透鏡鏡頭，并且可以 由多個(gè)透鏡或與反射鏡的組合所構(gòu)成，只要可以將被攝體圖像投影在圖像傳感器單元102 上，并且可以配置可變孔徑光圈104即可?？扉T106與可變孔徑光圈104協(xié)作地通過透過或遮斷從被攝體入射的光，使圖像 傳感器單元102曝光或遮光。在第一實(shí)施例中，快門106在任意時(shí)刻進(jìn)行切換以使圖像傳 感器單元102曝光于通過攝像鏡頭103所獲得的投影被攝體圖像的光或者遮光。快門106 是例如機(jī)械焦平面快門?？扉T控制單元107控制快門106的曝光/遮光定時(shí)。圖像獲取單元108包括A/D轉(zhuǎn)換器113和存儲器114。圖像獲取單元108將由圖 像傳感器單元102所感測到的投影被攝體圖像的光轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)，以生成具有2D亮度分 布的所拍攝圖像a (X，y)，并將其存儲在存儲器114中。可變孔徑光圈104改變攝像鏡頭103的孔徑直徑。圖2A和2B示出第一實(shí)施例中 的可變孔徑光圈104的示意結(jié)構(gòu)。如圖2A所示，可變孔徑光圈104包括外部框201、如圖2B 所示相對外部框201轉(zhuǎn)動(dòng)以改變孔徑直徑r的孔徑葉片202、以及驅(qū)動(dòng)孔徑葉片202的馬達(dá) 203?？勺兛讖焦馊?04可以在可變光圈控制單元105的控制下任意改變攝像鏡頭103的 孔徑直徑r?？勺児馊刂茊卧?05包括光圈直徑表保持單元115和光圈控制信號生成單元 116。光圈直徑表保持單元115保持由從攝像操作開始經(jīng)過的時(shí)間t和隨著經(jīng)過的時(shí)間t 改變的可變孔徑光圈104的孔徑直徑r的目標(biāo)值組成的表。圖3示出光圈直徑表保持單元115中保持的經(jīng)過時(shí)間t和孔徑直徑r之間的特性。 可以將圖3所示的特性準(zhǔn)備為查找表。在圖3中，孔徑直徑^對應(yīng)于第一形狀，并且孔徑
6直徑r4對應(yīng)于第二形狀?？梢酝ㄟ^下面的函數(shù)給出圖3中的經(jīng)過時(shí)間t和孔徑直徑r之 間的關(guān)系r = g(t)... (1)代替該函數(shù)中的孔徑直徑r，還可以使用孔徑面積和孔徑外周長等?？梢酝ㄟ^孔徑 直徑、孔徑面積或孔徑外周長等的變化量(速度)來定義該函數(shù)。圖4A 4E示出針對孔徑直徑rQ r4的、作為位于與攝像鏡頭103相距預(yù)定距離 處的點(diǎn)光源的被攝體的模糊圖像中相對于模糊的中心的位置(bx，by)和亮度之間的特性。 在各模糊圖像中，暗部分表現(xiàn)為高亮度區(qū)域。該特性根據(jù)如孔徑直徑A r4所表示的可變 孔徑光圈104的孔徑直徑r而改變。該特性還根據(jù)攝像鏡頭103和點(diǎn)光源之間的距離ζ而 改變?？梢詫⒃谝匀我饪讖街睆絩和相對于點(diǎn)光源的距離ζ對圖像進(jìn)行靜態(tài)拍攝時(shí)的相對 于模糊的中心的位置(bx，by)處的亮度i寫為i = f (bx, by, ζ, r)- (2) 等式( 假定點(diǎn)光源所發(fā)射的光具有相同的f (bx，by，ζ, r)，而不管該光通過攝像
鏡頭103的位置和角度如何。認(rèn)為通過根據(jù)等式( 將與圖像傳感器單元102的像素一樣
多的點(diǎn)光源卷積于所拍攝圖像a (χ, y)中，來獲得圖像傳感器單元102所感測到的投影被攝
體圖像。基于等式O)，可以按照如下給出曝光之后所生成的模糊點(diǎn)光源圖像中的、相距點(diǎn)
光源為距離ζ并且相對于模糊的中心的位置(bx，by)處的亮度j
權(quán)利要求
1.一種圖像處理設(shè)備，包括圖像獲取單元，用于獲取在圖像傳感器單元上對經(jīng)由光圈的開口從被攝體入射的光進(jìn) 行成像的結(jié)果，作為圖像；控制單元，用于在所述圖像獲取單元獲取所述圖像時(shí)，基于定義所述開口的形狀的時(shí) 間變化的函數(shù)來控制所述開口的形狀；以及檢測單元，用于基于所述函數(shù)，檢測所述圖像中的模糊狀態(tài)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述函數(shù)定義所述開口的孔徑直徑的時(shí)間變化，以及在所述圖像獲取單元獲取所述圖像期間，所述函數(shù)的二次微分取正值和負(fù)值。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述函數(shù)定義所述開口的形狀 的、除仿射變換所表示的變化以外的變化。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述函數(shù)在至少一個(gè)點(diǎn)處是不 能微分的。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述控制單元控制所述開口的 形狀，以將所述開口的形狀從所述開口在所述圖像獲取單元獲取所述圖像的開始時(shí)刻的第 一形狀改變成所述開口在所述圖像獲取單元獲取所述圖像的結(jié)束時(shí)刻的第二形狀。
6.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述函數(shù)是通過查找表而定義的。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，還包括快門控制單元，所述快門 控制單元控制快門，以在所述圖像獲取單元獲取所述圖像時(shí)，與所述控制單元的控制協(xié)作 地，通過透過或遮擋從所述被攝體入射的光，來對所述圖像傳感器單元進(jìn)行曝光或遮光。
8.一種圖像處理方法，其通過使用計(jì)算機(jī)來進(jìn)行以下步驟獲取步驟，用于獲取在圖像傳感器單元上對經(jīng)由光圈的開口從被攝體入射的光進(jìn)行成 像的結(jié)果，作為圖像；控制步驟，用于在獲取所述圖像時(shí)，基于定義所述開口的形狀的時(shí)間變化的函數(shù)來控 制所述開口的形狀；以及檢測步驟，用于基于所述函數(shù)，檢測所述圖像中的模糊狀態(tài)。
9.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，所述函數(shù)定義所述開口的孔徑直徑的時(shí)間變化，以及在獲取所述圖像期間，所述函數(shù)的二次微分取正值和負(fù)值。
10.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，所述函數(shù)定義所述開口的形狀 的、除仿射變換所表示的變化以外的變化。
11.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，所述函數(shù)在至少一個(gè)點(diǎn)處是不 能微分的。
12.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，在所述控制步驟中控制所述開 口的形狀，以將所述開口的形狀從所述開口在獲取所述圖像的開始時(shí)刻的第一形狀改變成 所述開口在獲取所述圖像的結(jié)束時(shí)刻的第二形狀。
13.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，定義所述開口的形狀的時(shí)間變 化的所述函數(shù)是通過查找表而定義的。
14.根據(jù)權(quán)利要求8所述的圖像處理方法，其特征在于，還包括控制快門，以在獲取所 述圖像時(shí)，與所述控制步驟中的控制協(xié)作地，通過透過或遮擋從所述被攝體入射的光，對所 述圖像傳感器單元進(jìn)行曝光或遮光。
全文摘要
一種圖像處理設(shè)備包括圖像獲取單元，用于獲取對經(jīng)由光圈的開口從被攝體入射的光在圖像傳感器單元上進(jìn)行成像的結(jié)果，作為圖像；控制單元，用于在所述圖像獲取單元獲取所述圖像時(shí)，基于定義所述開口的形狀的時(shí)間變化的函數(shù)來控制所述開口的形狀；以及檢測單元，用于基于所述函數(shù)，在所述圖像中檢測模糊狀態(tài)。
文檔編號G06T5/20GK102119527SQ20098013101
公開日2011年7月6日 申請日期2009年7月31日 優(yōu)先權(quán)日2008年8月4日
發(fā)明者園田哲理, 穴吹真秀 申請人:佳能株式會社