圖像處理設(shè)備和攝像設(shè)備的制造方法
【專利摘要】本發(fā)明涉及一種圖像處理設(shè)備和攝像設(shè)備。該圖像處理設(shè)備包括：圖像獲取器，用于獲取由攝像設(shè)備生成的輸入圖像，所述攝像設(shè)備用于使用快門來控制利用來自攝像光學(xué)系統(tǒng)的光束對(duì)圖像傳感器的曝光；以及處理器，用于使用基于曝光中的從所述攝像光學(xué)系統(tǒng)到所述圖像傳感器的光學(xué)傳遞函數(shù)所生成的圖像恢復(fù)濾波器，來針對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處理。在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況下，所述處理器針對(duì)所述圖像恢復(fù)濾波器，使用基于在所述機(jī)械簾對(duì)從所述攝像光學(xué)系統(tǒng)到所述圖像傳感器的光束進(jìn)行部分遮擋的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第一圖像恢復(fù)濾波器。
【專利說明】
圖像處理設(shè)備和攝像設(shè)備
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及用于將圖像恢復(fù)處理應(yīng)用于由攝像設(shè)備生成的劣化圖像的圖像處理 技術(shù)。
【背景技術(shù)】
[0002] 卷簾快門是在具有圖像傳感器(諸如CMOS傳感器等）的攝像設(shè)備(諸如數(shù)字照相機(jī) 等）中使用的電子快門系統(tǒng)。卷簾快門從圖像傳感器上的一端的像素行(開頭的像素行)到 另一端的像素行(最后的像素行），順次地控制針對(duì)各像素行的曝光的開始和結(jié)束。在針對(duì) 一幀完成了信號(hào)讀取的像素行中，立即開始針對(duì)下一幀進(jìn)行充電（曝光）。因此，在連續(xù)地重 復(fù)針對(duì)各像素行的信號(hào)讀取和接下來的充電的情況下，開頭的像素行和最后的像素行之間 的曝光開始時(shí)間和曝光結(jié)束時(shí)間發(fā)生偏移。換言之，曝光定時(shí)發(fā)生偏移。這種偏移在拍攝運(yùn) 動(dòng)被攝體時(shí)的拍攝圖像中引起失真(卷簾快門失真）。
[0003] 日本特開2012-175621公開了用于針對(duì)提供卷簾快門操作的圖像傳感器抑制拍攝 圖像中由卷簾快門的操作引起的卷簾快門失真的圖像處理方法。
[0004] 焦平面快門是機(jī)械快門。焦平面快門通過與圖像傳感器的攝像面平行地移動(dòng)前一 遮光件(前簾）和后一遮光件(后簾)來控制圖像傳感器的曝光。另外，代替焦平面快門的機(jī) 械前簾，可以使用電子前簾針對(duì)各像素行來順次地復(fù)位圖像傳感器中所存儲(chǔ)的電荷。在使 用了電子前簾的情況下，實(shí)際上僅驅(qū)動(dòng)機(jī)械后簾，并且通過根據(jù)機(jī)械后簾的驅(qū)動(dòng)特性來控 制針對(duì)圖像傳感器的各像素行的電荷的復(fù)位定時(shí)，可以使得針對(duì)所有像素行的曝光時(shí)間段 保持恒定。不過，圖像傳感器上的電子前簾與機(jī)械后簾在光軸方向上彼此遠(yuǎn)離，因此，由于 攝像光學(xué)系統(tǒng)的焦距和出射光瞳距離等的影響，機(jī)械后簾的在圖像傳感器上的遮光位置發(fā) 生改變。因此，通過簡(jiǎn)單地將電子前簾的電荷的復(fù)位定時(shí)與機(jī)械后簾的驅(qū)動(dòng)特性進(jìn)行同步， 不能避免拍攝圖像的亮度不均勻或者圖像傳感器的曝光量不均勻。
[0005] 日本特開2011-217368公開了用于減少可能由電子前簾引起的拍攝圖像中的亮度 不均勻的攝像方法。除了亮度不均勻以外，上述的電子前簾和機(jī)械后簾之間在光軸方向上 的位置差還引起其它問題。在正在驅(qū)動(dòng)電子前簾和機(jī)械后簾時(shí)，發(fā)生F值光束未被電子前簾 遮擋但被機(jī)械后簾遮擋的部分(不均勻)遮光。由此，利用F值光束中的電子前簾側(cè)的光線的 圖像傳感器的曝光時(shí)間段變得比機(jī)械后簾側(cè)的光線的曝光時(shí)間長(zhǎng)。這意味著從攝像光學(xué)系 統(tǒng)到圖像傳感器的光學(xué)傳遞函數(shù)(OTF)(或者光學(xué)像差)在一個(gè)拍攝圖像所需的攝像(曝光） 中發(fā)生改變。然后，由于攝像時(shí)的OTF的變化使得圖像劣化狀態(tài)也發(fā)生改變。
[0006] 日本特開2012-175621和日本特開2011-217368中公開的這些方法可以限制卷簾 快門失真或者減少由電子前簾引起的拍攝圖像中的亮度不均勻。然而，在使用電子前簾和 機(jī)械后簾的情況下，這些方法不能合適地校正由機(jī)械后簾的部分遮光引起的圖像劣化。
【發(fā)明內(nèi)容】
[0007] 本發(fā)明提供一種圖像處理設(shè)備，其在使用電子前簾和機(jī)械后簾的情況下，能夠通 過良好地校正由機(jī)械后簾的部分遮光引起的圖像劣化來提供輸出圖像。
[0008] 根據(jù)本發(fā)明一個(gè)方面的一種圖像處理設(shè)備，包括：圖像獲取器，用于獲取攝像設(shè)備 所生成的輸入圖像，其中所述攝像設(shè)備用于使用快門來控制利用來自攝像光學(xué)系統(tǒng)的光束 對(duì)圖像傳感器的曝光；以及處理器，用于使用基于曝光時(shí)的從所述攝像光學(xué)系統(tǒng)至所述圖 像傳感器的光學(xué)傳遞函數(shù)所生成的圖像恢復(fù)濾波器，來對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處 理，其特征在于，在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況下， 所述處理器針對(duì)所述圖像恢復(fù)濾波器，使用基于所述機(jī)械簾對(duì)從所述攝像光學(xué)系統(tǒng)至所述 圖像傳感器的光束進(jìn)行部分遮擋的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第一圖像恢復(fù)濾 波器。
[0009] 根據(jù)本發(fā)明另一方面的一種圖像處理設(shè)備，包括：圖像獲取器，用于獲取攝像設(shè)備 所生成的輸入圖像，其中所述攝像設(shè)備用于使用快門來控制利用來自攝像光學(xué)系統(tǒng)的光束 對(duì)圖像傳感器的曝光；以及處理器，用于使用基于曝光時(shí)的從所述攝像光學(xué)系統(tǒng)至所述圖 像傳感器的光學(xué)傳遞函數(shù)所生成的圖像恢復(fù)濾波器，來對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處 理，其特征在于，在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況下， 所述處理器根據(jù)曝光時(shí)的所述攝像光學(xué)系統(tǒng)的F值和所述快門的快門速度中的至少一個(gè)來 改變所述圖像恢復(fù)處理中的圖像恢復(fù)強(qiáng)度。
[0010] 根據(jù)本發(fā)明又一方面的一種攝像設(shè)備，包括：圖像傳感器;快門，用于控制利用來 自攝像光學(xué)系統(tǒng)的光束對(duì)所述圖像傳感器的曝光；以及根據(jù)所述的圖像處理設(shè)備。
[0011] 通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。
【附圖說明】
[0012] 圖1是示出根據(jù)本發(fā)明第一實(shí)施例的攝像設(shè)備的結(jié)構(gòu)的圖。
[0013] 圖2是用于說明在根據(jù)第一實(shí)施例的攝像設(shè)備中使用電子前簾和機(jī)械后簾的情況 下的快門操作的圖。
[0014] 圖3是示出根據(jù)第一實(shí)施例的電子前簾和機(jī)械后簾的曝光量和速度之間的關(guān)系的 圖。
[0015] 圖4A至4C是用于說明在快門操作中的遮光變化的圖。
[0016] 圖5是示出根據(jù)第一實(shí)施例的圖像恢復(fù)處理的流程圖。
[0017] 圖6是示出根據(jù)本發(fā)明第二實(shí)施例的圖像恢復(fù)處理的流程圖。
[0018] 圖7A和7B是正常的點(diǎn)擴(kuò)散函數(shù)（"PSF"）和部分遮擋PSF。
【具體實(shí)施方式】
[0019]現(xiàn)在參考附圖，將給出對(duì)本發(fā)明的實(shí)施例的說明。
[0020] 第一實(shí)施例
[0021] 圖1是作為根據(jù)本發(fā)明第一實(shí)施例的攝像光學(xué)系統(tǒng)的數(shù)字單鏡頭反光照相機(jī)（以 下稱作"照相機(jī)"）1以及可拆卸地安裝在照相機(jī)1上的可更換鏡頭單元15。
[0022] 設(shè)置在照相機(jī)1中的照相機(jī)微計(jì)算機(jī)9向照相機(jī)1中的各電子部件指示各種操作和 處理，以控制照相機(jī)1中的所有操作。照相機(jī)微計(jì)算機(jī)9具有內(nèi)置存儲(chǔ)器9a。存儲(chǔ)器9a存儲(chǔ)與 從將在后面說明的攝像透鏡(攝像光學(xué)系統(tǒng)）15a到圖像傳感器26的光學(xué)傳遞函數(shù)（"0TF"） 有關(guān)的信息或者基于與OTF有關(guān)的信息所生成的圖像校正信息。存儲(chǔ)器9a還存儲(chǔ)與攝像有 關(guān)的各種設(shè)置值、以及照相機(jī)1的操作所需的參數(shù)。
[0023]照相機(jī)微計(jì)算機(jī)9連接至鏡驅(qū)動(dòng)器10、快門控制器11、圖像校正電路12和切換檢測(cè) 電路13,各部件與照相機(jī)微計(jì)算機(jī)9進(jìn)行通信，并且接收和發(fā)送操作所用的信息。
[0024] 照相機(jī)微計(jì)算機(jī)9經(jīng)由安裝觸點(diǎn)14與可更換鏡頭單元15中的鏡頭微計(jì)算機(jī)16進(jìn)行 通信。鏡頭微計(jì)算機(jī)16根據(jù)來自照相機(jī)微計(jì)算機(jī)9的調(diào)焦驅(qū)動(dòng)命令和光圈驅(qū)動(dòng)命令，經(jīng)由AF 驅(qū)動(dòng)器18和光圈驅(qū)動(dòng)器19來控制攝像透鏡15a的調(diào)焦驅(qū)動(dòng)和光圈17的驅(qū)動(dòng)。除了攝像透鏡 15a，圖1還示出了光圈17,但是，光圈17是攝像透鏡15a的一部分。
[0025] 照相機(jī)1具有能夠相對(duì)于攝像透鏡15a的光學(xué)路徑（以下將被稱作"攝像光學(xué)路 徑"）插入或者退出的主鏡20和副鏡21。根據(jù)來自照相機(jī)微計(jì)算機(jī)9的鏡控制信號(hào)而由包括 致動(dòng)器的鏡驅(qū)動(dòng)器10來驅(qū)動(dòng)主鏡20和副鏡21。
[0026]在主鏡20位于攝像光學(xué)路徑（以下被稱作"光學(xué)取景器狀態(tài)"）的情況下，主鏡20反 射來自攝像透鏡15a的光束或來自被攝體的光束的一部分，并在聚焦板22上形成被攝體圖 像。觀看目鏡24的拍攝者經(jīng)由五棱鏡23和目鏡24來觀察聚焦板22上的被攝體圖像。副鏡21 將光學(xué)取景器中透過主鏡20的光束進(jìn)行反射，并將光束引導(dǎo)至焦點(diǎn)檢測(cè)單元25。在攝像中， 主鏡20和副鏡21從攝像光學(xué)路徑退出，并且使得來自攝像透鏡15a的光束到達(dá)焦平面快門 27和圖像傳感器26。
[0027]焦平面快門27具有諸如相對(duì)于攝像光學(xué)路徑向圖像傳感器26來回移動(dòng)的機(jī)械前 簾和機(jī)械后簾等的遮光件。機(jī)械前簾在光學(xué)取景器狀態(tài)中關(guān)閉，并遮擋來自攝像光學(xué)路徑 的入射光束。在攝像中根據(jù)來自照相機(jī)微計(jì)算機(jī)9的釋放控制信號(hào)來使機(jī)械前簾移動(dòng)以從 攝像光學(xué)路徑退出，并開始曝光圖像傳感器26。隨后使機(jī)械后簾移動(dòng)以與機(jī)械前簾形成狹 縫。由此，控制了圖像傳感器26的曝光。圖像傳感器26可以用作為電子前簾，在這種情況下， 電子前簾和機(jī)械后簾形成用于控制圖像傳感器26的曝光的快門（以下稱作"電子前簾/機(jī)械 后簾快門"）。
[0028]圖像傳感器26可以使用諸如CMOS傳感器等的二維攝像裝置。
[0029] 圖像校正電路12將作為從圖像傳感器26讀取的模擬信號(hào)的拍攝信號(hào)經(jīng)由未示出 的A/D轉(zhuǎn)換器轉(zhuǎn)換成數(shù)字拍攝信號(hào)。通過進(jìn)行伽馬/拐點(diǎn)處理、濾波處理、監(jiān)視器顯示信息合 成處理和將在后面說明的圖像恢復(fù)處理，來生成輸出圖像(監(jiān)視器顯示圖像和記錄圖像）。 圖像校正電路12與圖像處理設(shè)備相對(duì)應(yīng)。圖像校正電路12可以與照相機(jī)微計(jì)算機(jī)9設(shè)置在 同一基板上。照相機(jī)微計(jì)算機(jī)9可以讀取存儲(chǔ)在存儲(chǔ)器9a中的程序代碼、根據(jù)程序代碼來進(jìn) 行計(jì)算處理、以及執(zhí)行圖像校正電路12的全部或部分功能。
[0030] 切換檢測(cè)電路13根據(jù)設(shè)置在照相機(jī)1上的各開關(guān)的操作狀態(tài)來輸出操作信號(hào)。開 關(guān)SW l(30a)根據(jù)快門按鈕30的第一行程(半按下）來輸出SWl信號(hào)。開關(guān)SW 2(30b)根據(jù)快 門按鈕30的第二行程(全按下）來輸出SW2信號(hào)。照相機(jī)微計(jì)算機(jī)9根據(jù)SWl信號(hào)開始諸如AF 和測(cè)光等的攝像準(zhǔn)備處理，并且根據(jù)SW2信號(hào)開始攝像處理(或者記錄圖像的生成）。
[0031] 現(xiàn)在將給出對(duì)通過圖像校正電路12進(jìn)行的圖像恢復(fù)處理的基本結(jié)構(gòu)的說明。通過 利用諸如數(shù)字照相機(jī)等的攝像設(shè)備來拍攝被攝體而獲得的圖像包含作為由攝像光學(xué)系統(tǒng) 的諸如球面像差、彗星像差、像場(chǎng)彎曲和像散等的光學(xué)像差引起的圖像劣化成分的模糊成 分。在不存在像差以及沒有衍射影響的情況下，盡管從被攝體上一個(gè)點(diǎn)發(fā)出的光束再次會(huì) 聚在攝像面上的一個(gè)點(diǎn)處，但是該光束形成具有一定擴(kuò)散的圖像，從而產(chǎn)生該模糊成分。
[0032]這里使用的模糊成分由點(diǎn)擴(kuò)散函數(shù)（"PSF"）來光學(xué)地表示，并且該模糊成分與由 散焦引起的模糊不同。在由光學(xué)系統(tǒng)的軸上色像差、顏色球面像差和顏色彗星像差引起彩 色圖像中的彩色邊紋(color fringing)的情況下，可以將該彩色邊紋認(rèn)為是針對(duì)光的各波 長(zhǎng)的模糊差。在由光學(xué)系統(tǒng)的倍率色像差引起經(jīng)向（橫向）上的顏色偏移的情況下，可以將 該顏色偏移認(rèn)為是針對(duì)光的各波長(zhǎng)的攝像倍率差所引起的位置偏移或者相位偏移。
[0033]通過對(duì)PSF進(jìn)行傅里葉變換而獲得的光學(xué)傳遞函數(shù)（"0TF"）表示像差的頻率成分 信息，并且由復(fù)數(shù)來表示該光學(xué)傳遞函數(shù)。將OTF的絕對(duì)值或者振幅成分稱作為調(diào)制傳遞函 數(shù)（"MTF"），并且將相位成分稱作為相位傳遞函數(shù)（"PTF"）ITF和PTF是由像差引起的圖像 劣化的振幅成分和相位成分的頻率特性。這里，通過以下表達(dá)式來表達(dá)相位成分的相位角， 其中，Re(OTF)和Im(OTF)是OTF的實(shí)部和虛部。
[0034] PTF = tan-1 (Im (OTF) /Re (OTF)) (11)
[0035] 光學(xué)系統(tǒng)的OTF使得圖像的振幅成分和相位成分劣化，并且劣化圖像中的被攝體 的各個(gè)點(diǎn)如彗星像差那樣不對(duì)稱模糊。
[0036] 在由針對(duì)光的各波長(zhǎng)的成像倍率差引起成像位置偏移的情況下產(chǎn)生倍率色像差， 并且根據(jù)攝像設(shè)備的光譜特性針對(duì)諸如RGB等的各顏色成分來獲得該倍率色像差。因此，成 像位置在RGB中發(fā)生偏移，并且相同顏色成分的成像位置在波長(zhǎng)或者相位中發(fā)生偏移。結(jié) 果，圖像發(fā)生擴(kuò)散。嚴(yán)格地說，倍率色像差不是簡(jiǎn)單的平行顏色偏移，但是這里將倍率色像 差分類為顏色偏移。
[0037]作為用于校正劣化圖像(輸入圖像）中的振幅成分(MTF)和相位成分(PTF)的劣化 的方法，已知使用光學(xué)系統(tǒng)的OTF的信息的方法。將該方法稱作圖像恢復(fù)或者圖像復(fù)原，并 且本實(shí)施例是指用于使用光學(xué)系統(tǒng)的OTF的信息來校正劣化圖像（用于使得劣化圖像接近 原始圖像)的處理作為圖像恢復(fù)處理。圖像恢復(fù)處理的一個(gè)公知方法是用于將具有OTF的反 向特性的實(shí)空間中的圖像恢復(fù)濾波器與輸入圖像進(jìn)行卷積的方法。
[0038] 建立以下表達(dá)式，其中，g(x，y)是通過攝像而生成的輸入圖像(劣化圖像），f(x，y) 是原始圖像(未劣化圖像），h(x，y)是作為OTF的傅里葉對(duì)的PSF，*表示卷積，（x，y)是輸入圖 像上的坐標(biāo)(位置）。
[0039] g(x,y)=h(x,y)*f(x,y) (12)
[0040] 在將這個(gè)表達(dá)式轉(zhuǎn)換成頻率面上的顯示形式的情況下，如下表達(dá)式那樣建立針對(duì) 各頻率的積的形式。H是(PSF)h的傅里葉變換，并且與OTF相對(duì)應(yīng)。G和F分別是g和f的傅里葉 變換。(u，V)表示二維頻率面上的坐標(biāo)或者頻率。
[0041] G(u,v)=H(u,v) · F(u,v) (13)
[0042] 為了根據(jù)由攝像設(shè)備生成的劣化圖像來獲得原始圖像，可以如下將上述表達(dá)式中 的兩側(cè)都除以H。
[0043] G(u, v)/H(u, v) =F(u, v) (14)
[0044] 通過F(u，v)或者G(u，v)/H(u，v)的逆傅里葉變換以返回到實(shí)平面，可以獲得作為 原始圖像f(x，y)的恢復(fù)圖像。
[0045] 在假設(shè)!T1表示R的逆傅里葉變換的情況下，通過對(duì)在實(shí)平面中的圖像的卷積處理 可以獲得作為原始圖像f(x，y)的恢復(fù)圖像。
[0046] g(x,y)*R(x,y)=f(x,y) (15)
[0047] R(x，y)是圖像恢復(fù)濾波器。在輸入圖像是二維的情況下，圖像恢復(fù)濾波器通常變 成具有與二維圖像中的各像素相對(duì)應(yīng)的抽頭(單元)的二維濾波器。
[0048]實(shí)際圖像具有噪聲成分。在使用由OTF的完全倒數(shù)產(chǎn)生的圖像恢復(fù)濾波器的情況 下，噪聲成分與劣化圖像一起被放大，通常不能獲得良好的圖像。這里，例如，已知存在用于 根據(jù)如Weiner濾波器那樣的圖像信號(hào)和噪聲信號(hào)之間的強(qiáng)度比來抑制圖像的高頻帶上的 恢復(fù)比的方法。例如，在模糊量在圖像的顏色成分中變得均勻的情況下，上述模糊成分的校 正可以用作用于校正圖像中的彩色邊紋成分的劣化的方法。
[0049]由于OTF根據(jù)諸如光學(xué)系統(tǒng)(鏡頭)的變焦?fàn)顟B(tài)、光圈值(F值)和攝像距離等的攝像 光學(xué)系統(tǒng)的條件（以下也稱作"鏡頭條件"）而改變，因此需要相應(yīng)地改變圖像恢復(fù)處理所用 的圖像恢復(fù)濾波器。
[0050] 在電子前簾/機(jī)械后簾快門用在根據(jù)本實(shí)施例的照相機(jī)1中的情況下，如后面所 述，通過不規(guī)則遮擋向圖像傳感器的光束或者改變PSF使得圖像劣化。然而，日本特開2012-175621和日本特開2011-217368中公開的用于校正卷簾式快門失真和不均勻亮度的圖像處 理不能校正這種圖像劣化。
[0051] 圖2示出根據(jù)本實(shí)施例的電子前簾/機(jī)械后簾快門的結(jié)構(gòu)和F值光束。更具體地，圖 2示出包括電子前簾1113和機(jī)械后簾1114的快門、圖像傳感器1115(與圖1中的附圖標(biāo)記26 相對(duì)應(yīng)）、以及F值光束的上光線1111和下光線1112。在下述說明中，將圖1中示出的攝像透 鏡15a的光軸稱作攝像光軸，并且將攝像光軸延伸的方向稱作攝像光軸方向。
[0052] 這里，S表示電子前簾1113和機(jī)械后簾1114的簾速度，Tv表示快門速度，H是圖像傳 感器1115在簾移動(dòng)方向上的長(zhǎng)度。然后，如下表示電子前簾1113和機(jī)械后簾1114之間形成 的狹縫寬度L:
[0053] 表達(dá)式1
[0054]
( 1 )
[0055] 假設(shè)R是圖像傳感器1115和機(jī)械后簾1114之間在攝像光軸方向上的距離，F(xiàn)是攝像 透鏡15a的F值。然后，可以如下表示在攝像光軸方向上的機(jī)械后簾1114的位置處F值光束的 軸上光線(攝像光軸上的光線)與F值光束的下光線1112之間的高度Δ L:
[0056] 表達(dá)式2
[0057]
(2)：
[0058] 如下表示利用F值光束的上光線1111的圖像傳感器1115的曝光時(shí)間段Tu:
[0059] 表達(dá)式3
[0060]
(3)
[0061] 如下表示利用F值光束的下光線1112的圖像傳感器1115的曝光時(shí)間段Td:
[0062] 表達(dá)式4
[0063]
(4)
[0064] 將給出對(duì)上光線1111和下光線1112之間的曝光時(shí)間段的Td/Tu比的說明?；诒?達(dá)式(3)和(4)來計(jì)算上光線1111和下光線1112的曝光時(shí)間段。圖3示出在快門速度Tv是1/ 4000秒、F值F是1.2的情況下Tu和Td之間的比Td/Tu。該圖中的縱軸是Td/Tu，橫軸表示簾速 度S。根據(jù)該圖可以理解，隨著簾速度S變得較低，Td/Tu比減小。換言之，隨著簾速度S變得較 低，上光線111的曝光時(shí)間段Tu與下光線1112的曝光時(shí)間段Td之間的差增大，并且機(jī)械后簾 1114部分地遮擋F值光束而對(duì)拍攝圖像產(chǎn)生的影響增大。
[0065] 現(xiàn)在將給出對(duì)通過上光線1111和下光線1112來改變曝光時(shí)間段Tu和Td的說明。圖 4A至4C示出電子前簾/機(jī)械后簾快門的操作與F值光束之間的關(guān)系。圖4A示出在電子前簾 1113停止遮擋F值光束并開始曝光圖像傳感器1115的時(shí)刻的上述關(guān)系。在該時(shí)刻，在電子前 簾1113和機(jī)械后簾1114之間形成使用于曝光圖像傳感器1115的光穿過的狹縫。不遮擋F值 光束的上光線1111和下光線1112中的任何一個(gè)。圖7A示出攝像透鏡15a的示例性的PSF。 [0066]圖4B示出在從圖4A起經(jīng)過了一定時(shí)間段、并且機(jī)械后簾1114開始遮擋F值光束的 時(shí)刻的上述關(guān)系。與圖4A的時(shí)刻同樣地，在電子前簾1113和機(jī)械后簾1114之間形成使用于 曝光圖像傳感器1115的光穿過的狹縫。狹縫的寬度（高度）與圖4A的狹縫的寬度（高度）相 同。由于在圖4B的時(shí)刻機(jī)械后簾1114開始遮擋F值光束的下光線1112，因而F值光束中的PSF 形狀與在圖4A中的時(shí)刻的PSF形狀不同。
[0067]圖4C示出從圖4B起經(jīng)過了一定時(shí)間段之后、正好在機(jī)械后簾1114完全遮擋F值光 束之前的時(shí)刻的上述關(guān)系。與圖4A和4B同樣地，在電子前簾1113和機(jī)械后簾1114之間形成 使用于曝光圖像傳感器1115的光穿過的狹縫。狹縫的寬度(高度)與圖4A和4B的狹縫的寬度 (高度)相同。由于在圖4C示出的狀態(tài)中機(jī)械后簾1114幾乎遮擋了F值光束的下光線1112,因 此F值光束中的PSF形狀與圖4A的PSF形狀或者圖4B的狀態(tài)中的PSF形狀顯著不同。圖7B示出 以一定快門速度和F值的、圖4C的狀態(tài)中的示例性的PSF。圖7B中示出的PSF相對(duì)于圖7A中示 出的PSF顯著變形。
[0068]結(jié)果，即使在將根據(jù)F值光束沒有被遮擋的圖4A的狀態(tài)中的PSF所準(zhǔn)備的圖像恢復(fù) 濾波器應(yīng)用到F值光束幾乎都被遮擋的圖4C的狀態(tài)中所獲得的劣化圖像的情況下，也不能 獲得圖像恢復(fù)處理的良好結(jié)果。
[0069] 現(xiàn)在參考圖5,將給出對(duì)根據(jù)本實(shí)施例的通過圖像校正電路12進(jìn)行的圖像恢復(fù)處 理的說明，在使用了電子前簾/機(jī)械后簾快門的情況下該圖像恢復(fù)處理可以應(yīng)對(duì)PSF的變 化。作為計(jì)算機(jī)的圖像校正電路12根據(jù)作為計(jì)算機(jī)程序的圖像恢復(fù)程序來執(zhí)行該處理。圖 像校正電路12用作圖像獲取單元、濾波器獲取單元和處理單元。
[0070] 在步驟Sll中，圖像校正電路12基于釋放控制信號(hào)來檢測(cè)攝像(曝光）。在步驟S12 中，圖像校正電路12獲得作為輸入圖像的拍攝圖像。另外，圖像校正電路12從照相機(jī)微計(jì)算 機(jī)9獲得攝像所用的快門的信息（以下稱作"實(shí)際快門信息"）。實(shí)際快門信息表示使用機(jī)械 前簾和機(jī)械后簾的焦平面快門或者表示電子前簾/機(jī)械后簾快門。另外，圖像校正電路12從 照相機(jī)微計(jì)算機(jī)9獲得諸如攝像所用的攝像透鏡15a的變焦?fàn)顟B(tài)、F值和攝像距離等的鏡頭 條件的信息。
[0071] 接著，在步驟S13中，圖像校正電路12判斷實(shí)際快門信息是否表示電子前簾/機(jī)械 后簾快門。在"是"的情況下，流程移動(dòng)至步驟S14,在"否"的情況下，流程移動(dòng)至步驟S22。
[0072] 在步驟S14中，圖像校正電路12從照相機(jī)微計(jì)算機(jī)9獲得在攝像中設(shè)置的快門速度 和F值。
[0073]在步驟S15中，圖像校正電路12判斷步驟S14中獲得的快門速度是否高于諸如1/ 2000秒等的預(yù)定快門速度。在快門速度高于預(yù)定快門速度的情況下，流程移動(dòng)至步驟S17， 在快門速度等于或低于預(yù)定快門速度的情況下，流程移動(dòng)至步驟S16。
[0074] 在步驟S17中，圖像校正電路12判斷步驟S14中獲得的F值是否比諸如F2.8等的預(yù) 定F值更亮。在F值比預(yù)定F值亮的情況下，流程移動(dòng)至步驟S19,在F值等于或暗于預(yù)定F值的 情況下，流程移動(dòng)至步驟S18。
[0075] 圖1示出的照相機(jī)微計(jì)算機(jī)9中的存儲(chǔ)器9a存儲(chǔ)兩種類型的PSF的信息，作為與上 述OTF相關(guān)的信息。第一種類型的PSF是可以與是否使用了電子前簾/機(jī)械后簾快門無關(guān)地 選擇的PSF，其包括根據(jù)諸如變焦?fàn)顟B(tài)、F值和攝像距離等的多個(gè)鏡頭條件而改變的多個(gè) PSF。第一類型的PSF是在圖4A的狀態(tài)中的PSF，以下將稱作"正常PSF"。
[0076] 第二類型的PSF包括使用了電子前簾/機(jī)械后簾快門的情況下與多個(gè)快門速度和 多個(gè)F值的組合相對(duì)應(yīng)的多個(gè)PSF。換言之，第二類型的PSF包括與從攝像透鏡15a經(jīng)由電子 前簾/機(jī)械后簾快門到圖像傳感器26的OTF相對(duì)應(yīng)的、并且根據(jù)快門速度和F值而改變的 PSF。第二類型的PSF還包括根據(jù)除F值之外的上述多個(gè)鏡頭條件而改變的多個(gè)PSF。第二類 型的PSF是與如圖4C示出的由機(jī)械后簾將部分F值光束遮擋的狀態(tài)相對(duì)應(yīng)的PSF，以下將稱 作"部分遮擋PSF"。
[0077] 在步驟S19中，圖像校正電路12在存儲(chǔ)在存儲(chǔ)器9a中的多個(gè)部分遮擋PSF中選擇出 與步驟S14中獲得的快門速度和F值相對(duì)應(yīng)的PSF，并基于所選擇的PSF產(chǎn)生將被稱作部分遮 擋圖像恢復(fù)濾波器的(第一)圖像恢復(fù)濾波器。
[0078]在步驟S20中，獲得(生成）了部分遮擋圖像恢復(fù)濾波器的圖像校正電路12使用所 獲得的部分遮擋圖像恢復(fù)濾波器來向拍攝圖像(劣化圖像)提供圖像恢復(fù)處理，并生成恢復(fù) 圖像。
[0079]在步驟S21中，圖像校正電路12將所生成的恢復(fù)圖像顯示在彩色液晶顯示單元29 上，或者將該恢復(fù)圖像記錄在未示出的記錄介質(zhì)中。
[0080]在步驟S22、S16和S18的各個(gè)步驟中，圖像校正電路12在存儲(chǔ)器9a中存儲(chǔ)的多個(gè)正 常PSF中選擇出與攝像時(shí)的鏡頭條件相對(duì)應(yīng)的正常PSF，并基于所選擇的正常PSF產(chǎn)生將被 稱作正常圖像恢復(fù)濾波器的（第二）圖像恢復(fù)濾波器。另外，圖像校正電路12通過使用該正 常圖像恢復(fù)濾波器而向拍攝圖像(劣化圖像)進(jìn)行正常圖像恢復(fù)處理來生成恢復(fù)圖像，并將 恢復(fù)圖像顯示在彩色液晶顯示單元29上或者將該恢復(fù)圖像記錄在記錄介質(zhì)中。
[0081 ]存儲(chǔ)器9a可以存儲(chǔ)基于多個(gè)正常PSF而預(yù)先準(zhǔn)備的多個(gè)正常圖像恢復(fù)濾波器以及 基于多個(gè)部分遮擋PSF而預(yù)先準(zhǔn)備的多個(gè)部分遮擋圖像恢復(fù)濾波器，作為上述圖像校正信 息。在該情況下，在步驟S19中，圖像校正電路12選擇存儲(chǔ)器9a中的與步驟S14中獲得的快門 速度和F值相對(duì)應(yīng)的部分遮擋圖像恢復(fù)濾波器。另外，在步驟S16和S18中，圖像校正電路12 從存儲(chǔ)器9a中選擇與攝像中的鏡頭條件相對(duì)應(yīng)的正常圖像恢復(fù)濾波器。
[0082] 如所說明的，在使用了電子前簾和機(jī)械后簾的情況下，通過針對(duì)由于光束被機(jī)械 后簾部分遮擋而劣化的圖像應(yīng)用使用了合適的圖像恢復(fù)濾波器的圖像恢復(fù)處理，本實(shí)施例 可以獲得良好的恢復(fù)圖像。
[0083] 將1/2000秒作為預(yù)定快門速度以及將F2.8作為預(yù)定F值僅是示例性的，預(yù)定快門 速度可以等于或高于1/4000秒，并且預(yù)定F值可以等于或低于FI. 4。在滿足該條件的情況 下，通過機(jī)械后簾進(jìn)行的部分遮擋而對(duì)拍攝圖像產(chǎn)生的影響增大，因此，圖像恢復(fù)處理所需 的圖像恢復(fù)濾波器與應(yīng)用于沒有進(jìn)行部分遮擋的拍攝圖像的正常圖像恢復(fù)濾波器顯著不 同。因此，本實(shí)施例中說明的圖像恢復(fù)處理變得較有效。另外，在滿足上述的預(yù)定條件的情 況下，根據(jù)是否使用了電子前簾和機(jī)械后簾或者前簾和后簾兩者是否都是電子的或者機(jī)械 的來選擇圖像恢復(fù)濾波器。
[0084]盡管本實(shí)施例說明了基于快門速度和F值來判斷是使用正常圖像恢復(fù)濾波器還是 使用部分遮擋圖像恢復(fù)濾波器來進(jìn)行圖像恢復(fù)處理，然而還可以根據(jù)快門速度和F值中的 一個(gè)來選擇是使用正常圖像恢復(fù)濾波器還是使用部分遮擋圖像恢復(fù)濾波器。
[0085] 第二實(shí)施例
[0086] 圖6中的流程圖示出根據(jù)本發(fā)明第二實(shí)施例的圖像恢復(fù)處理。第一實(shí)施例說明了 在攝像(曝光）中快門速度高并且F值亮的情況下使用與正常圖像恢復(fù)濾波器不同的部分遮 擋圖像恢復(fù)濾波器的圖像恢復(fù)處理。另一方面，本實(shí)施例根據(jù)攝像中的快門速度(和F值)來 改變用于正常恢復(fù)濾波器的圖像恢復(fù)處理的圖像恢復(fù)強(qiáng)度。
[0087] 本實(shí)施例在圖1示出的存儲(chǔ)器9a中存儲(chǔ)與第一實(shí)施例說明的多個(gè)鏡頭條件相對(duì)應(yīng) 的正常PSF的信息作為與OTF有關(guān)的信息。
[0088] 從SI 11至Sl 18和S122的處理與第一實(shí)施例（圖5)中從Sll至S18和S22的處理相對(duì) 應(yīng)，將省略對(duì)其的說明。
[0089] 在判斷為攝像中的快門速度高于預(yù)定快門速度（SI 15)并且F值亮于預(yù)定F值 (S117)的情況下，在步驟S119中，圖像校正電路12從存儲(chǔ)器9a選擇出與攝像中的鏡頭條件 相對(duì)應(yīng)的正常PSF。然后，圖像校正電路12根據(jù)所選擇的正常PSF來準(zhǔn)備正常圖像恢復(fù)濾波 器。
[0090] 接著，在步驟Sl20中，圖像校正電路12通過使用步驟SI 19中所產(chǎn)生的正常圖像恢 復(fù)濾波器而向拍攝圖像（劣化圖像）應(yīng)用圖像恢復(fù)處理，來生成恢復(fù)圖像。與步驟S116和 S118中進(jìn)行的正常圖像恢復(fù)處理相比，圖像校正電路12使得圖像恢復(fù)處理中的圖像恢復(fù)強(qiáng) 度減弱。更具體地，計(jì)算將PSF進(jìn)行傅里葉變換后得到的OTF的倒數(shù)的最大值，并將OTF的倒 數(shù)與增益相乘以減小該OTF的倒數(shù)的最大值。然后，將通過與增益相乘后的OTF的倒數(shù)進(jìn)行 逆傅里葉變換到實(shí)平面，可以得到使得圖像恢復(fù)強(qiáng)度減弱的圖像恢復(fù)濾波器。
[0091] 在步驟S121中，圖像校正電路12將生成的恢復(fù)圖像顯示在彩色液晶顯示單元29 上，或者將該恢復(fù)圖像記錄在記錄介質(zhì)中。
[0092]存儲(chǔ)器9a可以存儲(chǔ)基于多個(gè)正常PSF而預(yù)先準(zhǔn)備的多個(gè)正常圖像恢復(fù)濾波器，作 為圖像校正信息。在這種情況下，在步驟S119中，圖像校正電路12從存儲(chǔ)器9a中選擇與步驟 S114中獲得的快門速度和F值相對(duì)應(yīng)的正常圖像恢復(fù)濾波器。
[0093]如上所述，本實(shí)施例通過與正常圖像恢復(fù)處理相比使得圖像恢復(fù)強(qiáng)度減弱，來向 在使用了電子前簾和機(jī)械后簾的情況下光束被機(jī)械后簾部分遮擋而影響的劣化圖像提供 圖像恢復(fù)處理。因此，本實(shí)施例可以避免通過使用正常圖像恢復(fù)處理的強(qiáng)圖像恢復(fù)來生成 不好的恢復(fù)圖像，并且可以獲得一定程度的圖像恢復(fù)效果。
[0094]盡管本實(shí)施例說明了根據(jù)快門速度和F值這兩者來改變圖像恢復(fù)強(qiáng)度，但是還可 以根據(jù)快門速度和F值中的一個(gè)來改變圖像恢復(fù)強(qiáng)度。
[0095]盡管第一實(shí)施例和第二實(shí)施例說明了在使用了電子前簾和機(jī)械后簾的情況下的 圖像恢復(fù)處理，但是還可以使用機(jī)械前簾和電子后簾的組合。即使在這種情況下，也發(fā)生與 使用電子前簾和機(jī)械后簾的情況同樣的問題，并且通過應(yīng)用同樣的圖像恢復(fù)處理可以獲得 良好的恢復(fù)圖像。換言之，前簾或者后簾中的一個(gè)可以是電子簾，另一個(gè)可以是機(jī)械簾。 [0096]盡管第一實(shí)施例和第二實(shí)施例說明了照相機(jī)1中的圖像校正電路12用作圖像處理 設(shè)備，但是除照相機(jī)1之外的個(gè)人計(jì)算機(jī)也可以被配置為圖像處理設(shè)備。在這種情況下，個(gè) 人計(jì)算機(jī)可以根據(jù)圖像處理程序來針對(duì)從照相機(jī)1獲得的拍攝圖像(輸入圖像)進(jìn)行圖5和 圖6示出的圖像恢復(fù)處理。
[0097] 其它實(shí)施例
[0098] 本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì) 將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中 央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。
[0099]盡管已經(jīng)參考典型實(shí)施例描述了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開 的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬泛的解釋，以包含所有這類修改、等同結(jié)構(gòu) 和功能。
【主權(quán)項(xiàng)】
1. 一種圖像處理設(shè)備，包括： 圖像獲取器，用于獲取攝像設(shè)備所生成的輸入圖像，其中所述攝像設(shè)備用于使用快門 來控制利用來自攝像光學(xué)系統(tǒng)的光束對(duì)圖像傳感器的曝光；以及 處理器，用于使用基于曝光時(shí)的從所述攝像光學(xué)系統(tǒng)至所述圖像傳感器的光學(xué)傳遞函 數(shù)所生成的圖像恢復(fù)濾波器，來對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處理， 其特征在于，在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況 下，所述處理器針對(duì)所述圖像恢復(fù)濾波器，使用基于所述機(jī)械簾對(duì)從所述攝像光學(xué)系統(tǒng)至 所述圖像傳感器的光束進(jìn)行部分遮擋的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第一圖像恢 復(fù)濾波器。2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，根據(jù)曝光時(shí)的所述快門的快門速 度，所述處理器針對(duì)所述圖像恢復(fù)濾波器來選擇所述第一圖像恢復(fù)濾波器或者基于所述機(jī) 械簾未遮擋所述光束的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第二圖像恢復(fù)濾波器。3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于，在所述快門速度高于預(yù)定快門速 度的情況下，所述處理器使用所述第一圖像恢復(fù)濾波器，以及 在所述快門速度等于或低于所述預(yù)定快門速度的情況下，所述處理器使用所述第二圖 像恢復(fù)濾波器。4. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，根據(jù)曝光時(shí)的所述攝像光學(xué)系統(tǒng) 的F值，所述處理器針對(duì)所述圖像恢復(fù)濾波器來選擇所述第一圖像恢復(fù)濾波器或者基于所 述機(jī)械簾未遮擋所述光束的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第二圖像恢復(fù)濾波器。5. 根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，在所述F值小于預(yù)定F值的情況 下，所述處理器使用所述第一圖像恢復(fù)濾波器，以及 在所述F值等于或大于所述預(yù)定F值的情況下，所述處理器使用所述第二圖像恢復(fù)濾波 器。6. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，根據(jù)曝光時(shí)的所述快門的快門速 度以及所述攝像光學(xué)系統(tǒng)的F值，所述處理器針對(duì)所述圖像恢復(fù)濾波器來選擇所述第一圖 像恢復(fù)濾波器或者基于所述機(jī)械簾未遮擋所述光束的狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成 的第二圖像恢復(fù)濾波器。7. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，在所述快門速度高于預(yù)定快門速 度并且所述F值小于預(yù)定F值的情況下，所述處理器使用所述第一圖像恢復(fù)濾波器，以及 在所述快門速度等于或低于所述預(yù)定快門速度的情況下或者在所述F值等于或大于所 述預(yù)定F值的情況下，所述處理器使用所述第二圖像恢復(fù)濾波器。8. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，除非所述快門的前簾和后簾中的 一個(gè)是電子簾且另一個(gè)是機(jī)械簾，否則所述處理器使用基于所述機(jī)械簾未遮擋所述光束的 狀態(tài)中的所述光學(xué)傳遞函數(shù)所生成的第二圖像恢復(fù)濾波器。9. 一種圖像處理設(shè)備，包括： 圖像獲取器，用于獲取攝像設(shè)備所生成的輸入圖像，其中所述攝像設(shè)備用于使用快門 來控制利用來自攝像光學(xué)系統(tǒng)的光束對(duì)圖像傳感器的曝光；以及 處理器，用于使用基于曝光時(shí)的從所述攝像光學(xué)系統(tǒng)至所述圖像傳感器的光學(xué)傳遞函 數(shù)所生成的圖像恢復(fù)濾波器，來對(duì)所述輸入圖像進(jìn)行圖像恢復(fù)處理， 其特征在于，在所述快門的前簾和后簾中的一個(gè)是電子簾且另一個(gè)是機(jī)械簾的情況 下，所述處理器根據(jù)曝光時(shí)的所述攝像光學(xué)系統(tǒng)的F值和所述快門的快門速度中的至少一 個(gè)來改變所述圖像恢復(fù)處理中的圖像恢復(fù)強(qiáng)度。10. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其特征在于，所述處理器將在所述快門速度 高于預(yù)定快門速度的情況下的圖像恢復(fù)強(qiáng)度設(shè)置得低于在所述快門速度等于或低于所述 預(yù)定快門速度的情況下的圖像恢復(fù)強(qiáng)度。11. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其特征在于， 所述處理器將在所述F值小于預(yù)定F值的情況下的圖像恢復(fù)強(qiáng)度設(shè)置得低于在所述F值 等于或大于所述預(yù)定F值的情況下的圖像恢復(fù)強(qiáng)度。12. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其特征在于， 所述處理器將在所述快門速度高于預(yù)定快門速度并且所述F值小于預(yù)定F值的情況下 的圖像恢復(fù)強(qiáng)度設(shè)置得低于在所述快門速度等于或低于所述預(yù)定快門速度的情況下或者 在所述F值等于或大于所述預(yù)定F值的情況下的圖像恢復(fù)強(qiáng)度。13. -種攝像設(shè)備，包括： 圖像傳感器； 快門，用于控制利用來自攝像光學(xué)系統(tǒng)的光束對(duì)所述圖像傳感器的曝光；以及 根據(jù)權(quán)利要求1至12中任一項(xiàng)所述的圖像處理設(shè)備。
【文檔編號(hào)】H04N5/235GK106067945SQ201610258488
【公開日】2016年11月2日
【申請(qǐng)日】2016年4月22日 公開號(hào)201610258488.7, CN 106067945 A, CN 106067945A, CN 201610258488, CN-A-106067945, CN106067945 A, CN106067945A, CN201610258488, CN201610258488.7
【發(fā)明人】和智史仁
【申請(qǐng)人】佳能株式會(huì)社