元的配置和操作〉
[0061] 圖6是例示圖像處理單元的圖像緩沖器單元的配置的示例的圖。圖7是例示將從圖 像捕捉設(shè)備輸出的像素輸入到圖像緩沖器單元中的操作的時序圖。參考圖6和7描述圖像處 理單元14的圖像緩沖器單元141的配置和操作。
[0062] 如圖6例示，圖像緩沖器單元141包括寄存器Hlla至Hlld以及行（line)緩沖器 1412a至1412d。從圖像捕捉設(shè)備12輸出的像素從輸入部分1410被輸入到圖像緩沖器單元 141中，并且圖像緩沖器單元141從輸出部分1413a至1413e輸出緩沖的像素。按照由圖像捕 捉設(shè)備12檢測到的圖像的640X480像素，假設(shè)X方向上的第X個且Y方向上的第Y個像素為像 素(X，Y)。
[0063] 如圖6中例示，寄存器1411a的輸入側(cè)連接到輸入部分1410和輸出部分1413a。寄存 器1411a至Hlld的輸出側(cè)分別連接到行緩沖器1412a至1412d的輸入側(cè)。行緩沖器1412a至 1412c的輸出側(cè)分別連接到寄存器1411b至Hlld的輸入側(cè)。行緩沖器1412a至1412d的輸出 側(cè)分別連接到輸出部分1413b至1413e。
[0064] 接下來，參考圖7描述由圖像捕捉設(shè)備12檢測到的圖像的輸出操作。圖像捕捉設(shè)備 12在以X方向上的一個水平行為單位掃描檢測到的像素的同時，輸出在每個水平行中包括 的像素。具體地，圖像捕捉設(shè)備12依次從X方向上的第一像素到第640像素輸出在Y方向上的 第一水平行中包括的像素。圖像捕捉設(shè)備12執(zhí)行以上操作，以輸出直到Y(jié)方向上的第480個 水平行的水平行中包括的像素。
[0065] 基于圖7中例示的時序圖描述以上操作。如圖7中例示，當(dāng)有效幀信號處于開啟 (on)時，圖像捕捉設(shè)備12輸出一個幀的像素，也就是一個圖像的像素。在圖像捕捉設(shè)備12 中，在自從有效信號已經(jīng)被開啟起經(jīng)過幀開始時段A之后，開啟指示允許輸出在Y方向上的 第一水平行中的像素的有效行信號L1。當(dāng)有效行信號Ll開啟時圖像捕捉設(shè)備12在有效數(shù)據(jù) 時段T期間掃描在Y方向上的第一水平行，并且依次輸出第一水平行中包括的X方向上的第 一至第640像素(像素（1，1)至(640，1))。在由圖像捕捉設(shè)備12輸出Y方向上的第一水平行中 的像素之后，有效行信號Ll被關(guān)閉。
[0066] 在圖像捕捉設(shè)備12中，在自從有效行信號Ll已經(jīng)被開啟起經(jīng)過水平消隱時段B之 后，開啟指示允許輸出Y方向上的第二水平行中的像素的有效行信號L2。當(dāng)有效行信號L2處 于開啟時，圖像捕捉設(shè)備12在有效數(shù)據(jù)時段T期間掃描Y方向上的第二水平行，并且依次輸 出在第二水平行中包括的X方向上的第一至第640像素(像素（1，2)至(640,2))。在由圖像捕 捉設(shè)備12輸出Y方向上的第二水平行中的像素之后，有效行信號L2被關(guān)閉。
[0067] 圖像捕捉設(shè)備12執(zhí)行以上操作，直至當(dāng)有效行信號L480處于開啟時在有效數(shù)據(jù)時 段T時段期間輸出Y方向上的第480水平行中包括的X方向上的第一至第640像素（像素（1， 480)至(640，480))為止。在圖像捕捉設(shè)備12中，在自從有效行信號L480已經(jīng)被關(guān)閉起經(jīng)過 幀結(jié)束時段C之后，關(guān)閉有效幀信號。利用以上操作，由圖像捕捉設(shè)備12對一幀的像素的輸 出結(jié)束。此外，在圖像捕捉設(shè)備12中，在自從有效幀信號已經(jīng)被關(guān)閉起經(jīng)過垂直消隱時段D 之后，再次開啟有效幀信號，并且下一幀的像素的輸出開始。
[0068] 接下來，參考圖6給出在圖像緩沖器單元141中的從圖像捕捉設(shè)備12輸出的像素的 緩沖處理的描述。從圖像捕捉設(shè)備12輸出的像素從輸入部分1410被輸入到圖像緩沖器單元 141中。具體地，按照在Y方向上的第一水平行，首先，圖像緩沖器單元141從輸出部分1413a 輸出從圖像捕捉設(shè)備12輸入的像素(1，1)，并且將像素(1，1)存儲在寄存器1411a中。
[0069] 圖像緩沖器單元141在下一定時將在寄存器1411a中存儲的像素存儲在行緩沖器 1412a的存儲區(qū)域Ia中。然后，圖像緩沖器單元141從輸出部分1413a輸出下一個從圖像捕捉 設(shè)備12輸入的像素(2，1)，并且將像素(2，1)存儲在寄存器1411a中。
[0070] 在下一定時，圖像緩沖器單元141將在存儲區(qū)域Ia中存儲的像素移動到行緩沖器 1412a的存儲區(qū)域2a以將其存儲在那里，并且將在寄存器141 Ia中存儲的像素存儲在存儲區(qū) 域Ia中。然后，圖像緩沖器單元141從輸出部分1413a輸出下一個從圖像捕捉設(shè)備12輸入的 像素(3，1)，并且將像素(3，1)存儲在寄存器1411a中。
[0071] 圖像緩沖器單元141重復(fù)以上操作，以從輸出部分1413a輸出從圖像捕捉設(shè)備12輸 入的Y方向上的第一水平行的像素。同時，圖像緩沖器單元141將Y方向上的第一水平行的第 一至第639像素分別存儲在行緩沖器1412a的存儲區(qū)域639a至Ia中，并且將第640個像素存 儲在寄存器1411a中。
[0072]接下來，圖像緩沖器單元141將行緩沖器1412a的存儲區(qū)域Ia至639a中存儲的像素 移動到存儲區(qū)域2a至640a，以將它們存儲在那里，并且將寄存器1411a中存儲的像素存儲在 存儲區(qū)域Ia中。圖像緩沖器單元141從輸出部分1413b輸出存儲區(qū)域640a中存儲的像素（1， 1)，并且將像素（1，1)存儲在寄存器1411b中。按照Y方向上的第二水平行，圖像緩沖器單元 141從輸出部分1413a輸出從圖像捕捉設(shè)備12輸入的像素（1，2)，并且將像素（1，2)存儲在寄 存器1411a中。換言之，圖像緩沖器單元141分別從輸出部分1413b和1413a輸出作為具有相 同的X方向值的像素(1，1)和(1，2)。
[0073] 圖像緩沖器單元141在下一定時將在寄存器1411b中存儲的像素存儲在行緩沖器 1412b的存儲區(qū)域Ib中。圖像緩沖器單元141將在行緩沖器1412a的存儲區(qū)域Ia至639a中存 儲的像素移動到存儲區(qū)域2a至640a，以將它們存儲在那里，并且將在寄存器141 Ia中存儲的 像素存儲在存儲區(qū)域Ia中。圖像緩沖器單元141從輸出部分1413b輸出在存儲區(qū)域640a中存 儲的像素(2,1)，并且將像素(2,1)存儲在寄存器1411b中。圖像緩沖器單元141然后從輸出 部分1413a輸出下一個從圖像捕捉設(shè)備12輸入的像素(2,2)，并且將像素(2,2)存儲在寄存 器1411a中。
[0074] 在下一定時，圖像緩沖器單元141將在存儲區(qū)域Ib中存儲的像素移動到行緩沖器 1412b的存儲區(qū)域2b，以將其存儲在那里，并且將寄存器1411b中存儲的像素存儲在存儲區(qū) 域Ib中。圖像緩沖器單元141將行緩沖器1412a的存儲區(qū)域Ia至639a中存儲的像素移動到存 儲區(qū)域2a至640a，以將它們存儲在那里，并且將寄存器1411a中存儲的像素存儲在存儲區(qū)域 Ia中。圖像緩沖器單元141從輸出部分1413b輸出在存儲區(qū)域640a中存儲的像素(3，1)，并且 將像素(3，1)存儲在寄存器1411b。圖像緩沖器141然后從輸出部分1413a輸出下一從圖像捕 捉設(shè)備12輸入的像素(3,2)，并且將像素(3,2)存儲在寄存器1411a中。
[0075] 圖像緩沖器單元141重復(fù)以上操作，以在相同的定時從輸出部分1413a和1413b輸 出從圖像捕捉設(shè)備12輸入的Y方向上的第一和第二水平行中的像素之中具有相同的X方向 值的像素。同時，圖像緩沖器單元141將Y方向上的第一水平行中的第一至第639像素分別存 儲在行緩沖器1412b的存儲區(qū)域639b至Ib中，并且將第640像素存儲在寄存器1411b。另外， 圖像緩沖器單元141將Y方向上的第二水平行中的第一至第639像素分別存儲在行緩沖器 1412a的存儲區(qū)域639a至Ia中，并且將第640像素存儲在寄存器1411a中。
[0076] 如以上操作中，圖像緩沖器單元141將從圖像捕捉設(shè)備12輸入的每個水平行中的 像素緩沖在行緩沖器1412a至1412d中。同時，圖像緩沖器單元141在相同的定時分別從輸出 部分1413a至1413e輸出具有相同的X方向值的像素，換言之輸出像素(X，Y-4)、(X，Y-3)、(X， Υ-2)、（Χ，Υ-1)和(Χ，Υ)。
[0077] 圖6例示圖像緩沖器單元141的配置的示例。圖像緩沖器單元141不限于此配置，而 是僅需要具有實現(xiàn)與上面提及的圖像緩沖器單元141的緩沖處理類似的效果的配置。
[0078]〈逆變換濾波器的頻率特性R的導(dǎo)出（derivation)〉
[0079] 接下來，給出方法的描述，該方法用于以由作為預(yù)定聚焦位置處的光學(xué)系統(tǒng)的透 鏡單元11對一個點收集光斑擴(kuò)散這樣的方式導(dǎo)出用于恢復(fù)的逆變換處理的逆變換濾波器 的頻率特性。也是FIR(有限脈沖響應(yīng))濾波器的二維線性濾波器適合于實現(xiàn)上面提及的頻 率特性。
[0080] 首先，光學(xué)系統(tǒng)對由圖像捕捉設(shè)備12捕捉的圖像的影響的模型由下面公式（1)中 描繪的二維卷積運算(卷積運算)的公式來表達(dá)。
[0081] imagecaptured(x,y) = iJimageideai(x-x，,y-y') · h(x,y,x' ,y' )dx,dy, (I)
[0082] 這里，imagecaptured是通過光學(xué)系統(tǒng)檢測到的二維被捕捉的圖像的像素 ，imageideai 是代表被攝體4本身的理想圖像的像素，并且h指示光學(xué)系統(tǒng)的PSF。
[0083]在下文中，設(shè)想最小化在逆變換處理之后的圖像的每個像素與理想圖像的每個像 素之間的誤差的均方差的逆變換濾波器的頻率特性的導(dǎo)出，考慮添加到圖像處理系統(tǒng)（圖 像捕捉設(shè)備12和圖像處理單元14)的噪聲的影響。均方差由下面的公式(2)表達(dá)。
[0084] E[ I imageideai(n)-imagePr0cessed(n) |2] (2)
[0085] 這里，E[]指示期望值(均值），n指示圖像上的位置，以及imageprcicessed(n)指示通過 對image captUred執(zhí)行逆變換處理獲得的圖像的像素。應(yīng)當(dāng)考慮到imagecapt Ured包含噪聲。
[0086] 依據(jù)帕塞瓦爾定理(Parseval ' s theorem)，其中由波形x(n)關(guān)于η的整個區(qū)域保 持的所有能量的總和等于波形x(n)關(guān)于所有頻率分量的能量的傅立葉變換Χ( ω )的總和， 公式(2)通過下面的公式(3)表達(dá)為頻域中的均方差。
[0087] E[ I IMAGEideai( ω )-IMAGEPr0cessed( ω ) 12] (3)
[0088] 這里，IMAGEideai( ω )指示imageideai(n)的頻率特性，IMAGEPr〇cessed( ω )指示 imageprocessecKn)的頻率特性，并且ω指示空間頻率。
[0089] 假定逆變換濾波器的頻率特性是R( ω )，發(fā)現(xiàn)給出以下公式(4)的最小值的頻率特 性R( ω )是最佳逆變換濾波器。
[0090] E[ I IMAGEideai( ω )-R( ω ) · IMAGEcaptured( ω ) |2] (4)
[0091 ]這里，IMAGEcaptured( ω )是的imagecaptured(n)的頻率特性。
[0092]在公式(4)中，當(dāng)表達(dá)頂AGEideai( ω ) = S( ω )和頂AGEcaptured( ω )=Χ( ω )，并且由 R*對公式(4)求微分以獲得公式(4)的最小值時，可以獲得以下公式(5)。 (5)
[0093]
[0094] 這里，E[ I Χ( ω ) 12]是包括噪聲的捕捉圖像的功率譜，并且E[S( ω ) · Χ( ω )*]是包 含噪聲的捕捉圖像和理想圖像的互功率譜。
[0095] 假定公式(5)的最右側(cè)是0以獲得公式(4)的最小值，可以獲得以下公式(6)。
[0096] R(co) .E[|X(co)|2]-E[S(co) ·Χ(ω)*]=〇 (6)
[0097] 可以從公式(6)獲得以下公式(7)。
[0098]
(7)
[0099] 基于公式(7)中描繪的頻率特性R( ω )的逆變換濾波器是最小化在上面提及的公 式(2)中描繪的均方差的最佳濾波器。
[0100] 這里，當(dāng)假設(shè)噪聲的頻率特性是W( ω )，h的頻率特性是光學(xué)系統(tǒng)的PSF是Η( ω )，并 且在頻率空間中描繪上面提及的公式(1)，由下面的公式(8)描繪。
[0101] χ( ω )=Η( ω )s( ω )+ff( ω ) (8)
[0102] 假定噪聲的頻率特性W( ω )和頻率特性S( ω )不相關(guān)，則E[S( ω ) · W( ω )*]=〇。因 此，如果公式(8)被代入上面提及