本發(fā)明的實(shí)施例涉及用于記錄圖像的設(shè)備及方法。具體來(lái)說(shuō),實(shí)施例涉及那些有利于對(duì)光學(xué)像差進(jìn)行計(jì)算校正的設(shè)備及方法。
背景技術(shù):
現(xiàn)代光學(xué)系統(tǒng)應(yīng)滿足在圖像品質(zhì)方面越來(lái)越嚴(yán)格的要求。為此,可利用高精度及高品質(zhì)光學(xué)單元。另一選擇為,可利用更具成本效益的光學(xué)單元,并將此與隨后進(jìn)行的后處理相組合。
可使用較高品質(zhì)的光學(xué)單元來(lái)產(chǎn)生高品質(zhì)圖像。然而,除成本方面的缺點(diǎn)以外,此也可能會(huì)引起大的安裝空間及高的重量。此外,大量的透鏡可能會(huì)提高系統(tǒng)的易反射性(reflectionsusceptibility)及/或降低透射性。對(duì)于許多應(yīng)用來(lái)說(shuō),例如在昂貴專業(yè)器具的領(lǐng)域中,此可能是不利的。
將成本較低的光學(xué)單元與隨后進(jìn)行的后處理相組合的設(shè)備及方法可在進(jìn)一步的數(shù)字處理中包含去卷積技術(shù)。此類技術(shù)常常與高計(jì)算成本有關(guān)。此可被認(rèn)為是不利的,尤其是需要對(duì)圖像進(jìn)行快速計(jì)算時(shí),例如在顯微鏡系統(tǒng)中實(shí)時(shí)地顯示記錄樣品區(qū)域。調(diào)制傳遞函數(shù)(mtf)的低對(duì)比度及/或圖像的不良信噪比(snr)可使得使用去卷積技術(shù)所確定的某些空間頻率不能被重建或者只能在某些額外假設(shè)下被重建。舉例來(lái)說(shuō),對(duì)于其中由于像差而使mtf具有0的空間頻率區(qū)域,情況即可如此。舉例來(lái)說(shuō),在發(fā)生像散或散焦的情況下,mtf中可能會(huì)出現(xiàn)這些0。縱向色像差可能不能通過(guò)去卷積技術(shù)來(lái)輕易地進(jìn)行補(bǔ)償。
技術(shù)實(shí)現(xiàn)要素:
需要改善用于將物體成像的技術(shù)。具體來(lái)說(shuō),需要允許使用具成本效益的成像光學(xué)單元且與去卷積技術(shù)相比可在進(jìn)一步數(shù)字處理中降低計(jì)算復(fù)雜性的設(shè)備及方法。具體來(lái)說(shuō),需要可用以校正縱向色像差及/或像散的設(shè)備及方法。
根據(jù)實(shí)施例,詳細(xì)說(shuō)明其中以多個(gè)照明角度對(duì)物體進(jìn)行照明且在每種情況下記錄圖像的設(shè)備及方法。通過(guò)計(jì)算來(lái)進(jìn)一步處理所述多個(gè)圖像。在所述過(guò)程中,可對(duì)所述多個(gè)圖像中的至少一些應(yīng)用位移,所述位移取決于照明角度??墒褂盟鑫灰剖箞D像區(qū)域在空間中移置。在應(yīng)用所述位移之后,可將圖像進(jìn)行求和或以不同的方式進(jìn)行進(jìn)一步處理。
對(duì)于不同色彩通道,位移可不同,以校正色像差。例如在像散校正的范圍內(nèi),所述位移可以是場(chǎng)點(diǎn)相關(guān)的,以將圖像平面中局部變化的影響考慮在內(nèi)。
在根據(jù)實(shí)施例的設(shè)備及方法中,可以計(jì)算高效的方式來(lái)實(shí)施圖像校正,而無(wú)需通過(guò)相應(yīng)的點(diǎn)擴(kuò)散函數(shù)(psf)來(lái)將圖像去卷積。可通過(guò)以下方式來(lái)減少傳統(tǒng)上與使mtf出現(xiàn)0有關(guān)的問(wèn)題:以多個(gè)照明角度進(jìn)行照明并在對(duì)圖像進(jìn)行計(jì)算處理時(shí)將照明角度考慮在內(nèi)??赏ㄟ^(guò)將以多個(gè)照明角度捕獲的圖像相組合來(lái)減少信息損失??赏ㄟ^(guò)例如位移及加法等運(yùn)算來(lái)實(shí)施所述組合,所述運(yùn)算可以計(jì)算高效方式來(lái)實(shí)施且可滿足實(shí)時(shí)狀態(tài)。
根據(jù)一個(gè)實(shí)施例,一種圖像記錄設(shè)備包括照明裝置,所述照明裝置是可控的,以設(shè)定用于對(duì)物體進(jìn)行照明的多個(gè)照明角度。所述圖像記錄設(shè)備包括檢測(cè)器,所述檢測(cè)器包括圖像傳感器,所述圖像傳感器用以針對(duì)所述多個(gè)照明角度而捕獲物體的多個(gè)圖像。所述圖像記錄設(shè)備包括電子評(píng)估裝置,所述電子評(píng)估裝置用于處理所述多個(gè)圖像且耦合至所述圖像傳感器。所述電子評(píng)估裝置用以對(duì)所述多個(gè)圖像中的至少一些應(yīng)用圖像校正,所述圖像校正包括位移,其中所述位移取決于在記錄相應(yīng)圖像時(shí)所使用的照明角度。所述電子評(píng)估裝置用以在所述圖像校正之后將所述多個(gè)圖像相組合。
所述電子評(píng)估裝置可用以通過(guò)所述處理來(lái)校正色像差。
所述電子評(píng)估裝置可用以通過(guò)所述處理來(lái)校正縱向色像差。
所述電子評(píng)估裝置可用以使圖像的不同色彩通道相對(duì)于彼此局部地移置,其中位移取決于在記錄圖像時(shí)的照明角度。
所述圖像傳感器可包括多個(gè)色彩通道。所述位移可取決于相應(yīng)色彩通道、以及在記錄相應(yīng)圖像時(shí)的照明角度。
對(duì)于一個(gè)色彩通道,在坐標(biāo)空間中所使用的位移可取決于所述色彩通道的焦點(diǎn)位置與另一色彩通道的另一焦點(diǎn)位置之間的距離。因此,可將色彩通道之間的散焦考慮在內(nèi),并且可隨之減輕物體邊緣的色彩相關(guān)幾何模糊。
至少兩個(gè)色彩通道的焦點(diǎn)位置之間的距離可以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中。另一選擇為或另外,色彩通道的焦點(diǎn)位置可以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中。所述電子評(píng)估裝置可用以通過(guò)計(jì)算而根據(jù)上述信息來(lái)為所述色彩通道判定取決于照明角度的位移。
所述檢測(cè)器可具有比不同色彩通道的焦點(diǎn)位置之間的距離大的檢測(cè)器場(chǎng)深。
另一選擇為或另外,所述電子評(píng)估裝置可用以校正像散。出于校正像散的目的,所述位移可取決于照明角度與像散的一個(gè)或多個(gè)平面的相對(duì)關(guān)系。所述位移可取決于對(duì)物體進(jìn)行照明的照明角度與第一平面的相對(duì)關(guān)系,所述第一平面由光學(xué)組件的子午線(被指派給第一焦距)及光學(xué)軸形成。所述位移可取決于對(duì)物體進(jìn)行照明的照明角度與第二平面的相對(duì)關(guān)系,所述第二平面不同于所述第一平面且由光學(xué)組件的另一子午線(被指派給第二焦距)及光學(xué)軸形成。
所述位移可取決于成像光學(xué)單元不同平面的焦點(diǎn)位置的距離。
所述電子評(píng)估裝置可用以確定圖像平面中的位移沿著兩個(gè)正交方向的分量,在每種情況下,所述分量均取決于照明角度。
對(duì)以一個(gè)照明角度捕獲的圖像應(yīng)用的位移可取決于以所述照明角度入射的光束相對(duì)于由成像光學(xué)單元的像散軸及光學(xué)軸界定的平面的位置。
對(duì)以一個(gè)照明角度捕獲的圖像應(yīng)用的位移可取決于以所述照明角度入射的光束相對(duì)于由第一像散軸及光學(xué)軸界定的第一平面以及相對(duì)于由第二像散軸及光學(xué)軸界定的第二平面的位置。
所述位移沿著第一坐標(biāo)軸的分量可取決于以所述照明角度入射的光束在第一平面中的投影。
所述位移沿著第二坐標(biāo)軸的另一分量可取決于以所述照明角度入射的光束在第二平面中的投影,所述第二坐標(biāo)軸正交于所述第一坐標(biāo)軸。
所述檢測(cè)器可具有比像散不同平面的焦點(diǎn)位置之間的距離大的檢測(cè)器場(chǎng)深。
另一選擇為或另外,所述電子評(píng)估裝置可用以校正場(chǎng)曲率。
所述檢測(cè)器可具有比由縱向色像差、像散及場(chǎng)曲率的組合引起的散焦大的檢測(cè)器場(chǎng)深。
由電子評(píng)估裝置應(yīng)用的位移可以是場(chǎng)點(diǎn)不相關(guān)的??蓪?duì)圖像的每一像素或?qū)λ鰣D像的色彩通道的每一像素應(yīng)用相同位移,以使所述圖像或所述圖像的色彩通道在圖像平面中移置。
由電子評(píng)估裝置應(yīng)用的位移可以是場(chǎng)點(diǎn)相關(guān)的。因此,也可校正例如由場(chǎng)曲率或像散引起的失真。
對(duì)于多個(gè)照明角度,所述位移可分別以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中。另一選擇為或另外,關(guān)于像散的不同色彩通道或不同平面的散焦的信息可以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中,所述電子評(píng)估裝置根據(jù)所述信息來(lái)計(jì)算位移。
圖像或圖像的色彩通道的位移可包括將所述位移舍入成整數(shù)像素間隔。
圖像或圖像的色彩通道的位移可包括:在位移不等于圖像傳感器的整數(shù)像素間隔時(shí),在多個(gè)像素值之間進(jìn)行內(nèi)插。
所述電子評(píng)估裝置可用以在圖像校正之后將多個(gè)圖像相加,以計(jì)算結(jié)果圖像。
所述電子評(píng)估裝置可用以在圖像校正之后使用所述多個(gè)圖像來(lái)進(jìn)行傅里葉疊層成像(fourierptychography)。所述電子評(píng)估裝置可用以計(jì)算物體的相位及幅值分布。所述電子評(píng)估裝置可用以根據(jù)通過(guò)圖像校正而校正的多個(gè)圖像在坐標(biāo)空間中重建所述物體的光譜并通過(guò)傅里葉變換來(lái)確定物體的相位及幅值分布。所述電子評(píng)估裝置可用以在所述圖像校正之后根據(jù)多個(gè)圖像來(lái)計(jì)算物體的相位對(duì)比圖像。
所述電子評(píng)估裝置可用以在圖像校正之后將多個(gè)圖像用于自動(dòng)地確定焦點(diǎn)位置及/或用于相位對(duì)比方法。
所述電子評(píng)估裝置可用以對(duì)針對(duì)一個(gè)照明角度捕獲的圖像應(yīng)用圖像校正,同時(shí)所述檢測(cè)器針對(duì)另一照明角度捕獲另一圖像。通過(guò)使圖像校正及以不同照明角度對(duì)其他圖像的記錄并行化,直至提供結(jié)果圖像時(shí)所需的時(shí)間可進(jìn)一步減少。
所述圖像記錄設(shè)備可以是顯微鏡系統(tǒng)??梢酝干錁?gòu)造來(lái)捕獲所述圖像??梢苑瓷錁?gòu)造來(lái)捕獲所述圖像。
根據(jù)一個(gè)實(shí)施例,一種用于記錄圖像的方法包括在以多個(gè)照明角度對(duì)物體進(jìn)行照明時(shí)捕獲多個(gè)圖像。所述方法包括處理所述多個(gè)圖像。此處,對(duì)所述多個(gè)圖像中的至少一些應(yīng)用圖像校正,其中所述圖像校正包括位移,所述位移取決于在記錄相應(yīng)圖像時(shí)的照明角度。在應(yīng)用所述圖像校正之后將所述多個(gè)圖像相組合。
根據(jù)一個(gè)實(shí)施例,所述方法可由所述圖像記錄設(shè)備自動(dòng)地實(shí)施。
在所述方法中,可通過(guò)所述處理來(lái)校正色像差。
在所述方法中,可通過(guò)所述處理來(lái)校正縱向色像差。
可使圖像的不同色彩通道相對(duì)于彼此移置,其中位移取決于在記錄圖像時(shí)的照明角度。
用于捕獲圖像的圖像傳感器可包括多個(gè)色彩通道。所述位移可取決于相應(yīng)色彩通道、以及在記錄相應(yīng)圖像時(shí)的照明角度。
對(duì)于一個(gè)色彩通道,所述位移可取決于所述色彩通道的焦點(diǎn)位置與另一色彩通道的另一焦點(diǎn)位置之間的距離。
至少兩個(gè)色彩通道的焦點(diǎn)位置之間的距離可以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中。另一選擇為或另外,色彩通道的焦點(diǎn)位置可以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中。可通過(guò)計(jì)算關(guān)于焦點(diǎn)位置的信息來(lái)為所述色彩通道判定取決于照明角度的位移。
另一選擇為或另外,在所述方法中,可通過(guò)所述處理來(lái)校正像散。出于校正像散的目的,所述位移可取決于照明角度與像散的一個(gè)或多個(gè)平面的相對(duì)關(guān)系。
所述位移可取決于成像光學(xué)單元不同平面的焦點(diǎn)位置的距離。
在所述方法中,可確定圖像平面中的位移沿著兩個(gè)正交方向的分量,在每種情況下,所述分量均取決于照明角度。
在所述方法中,對(duì)以一個(gè)照明角度捕獲的圖像應(yīng)用的位移可取決于以所述照明角度入射的光束相對(duì)于由成像光學(xué)單元的像散軸及光學(xué)軸界定的平面的位置。
在所述方法中,對(duì)以一個(gè)照明角度捕獲的圖像應(yīng)用的位移可取決于以所述照明角度入射的光束相對(duì)于由第一像散軸及光學(xué)軸界定的第一平面以及相對(duì)于由第二像散軸及光學(xué)軸界定的第二平面的位置。
在所述方法中,所述位移沿著第一坐標(biāo)軸的分量可取決于以所述照明角度入射的光束在第一平面中的投影。
在所述方法中,所述位移沿著第二坐標(biāo)軸的另一分量可取決于以所述照明角度入射的光束在第二平面中的投影,所述第二坐標(biāo)軸正交于所述第一坐標(biāo)軸。
另一選擇為或另外,所述方法可校正場(chǎng)曲率。
出于圖像校正目的而應(yīng)用的位移可以是場(chǎng)點(diǎn)不相關(guān)的??蓪?duì)圖像的每一像素或?qū)λ鰣D像的色彩通道的每一像素應(yīng)用相同位移,以使所述圖像或所述圖像的色彩通道在圖像平面中移置。
出于圖像校正目的而應(yīng)用的位移可以是場(chǎng)點(diǎn)相關(guān)的。因此,也可校正例如由場(chǎng)曲率或像散引起的失真。
對(duì)于多個(gè)照明角度,所述位移可分別以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中且出于圖像校正目的而被檢索。另一選擇為或另外,關(guān)于像散的不同色彩通道或不同平面的散焦的信息可以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中,所述電子評(píng)估裝置根據(jù)所述信息來(lái)計(jì)算位移。
在所述方法中,圖像或圖像的色彩通道的位移可包括將所述位移舍入成整數(shù)像素間隔。
在所述方法中,圖像或圖像的色彩通道的位移可包括:在位移不等于圖像傳感器的整數(shù)像素間隔時(shí),在多個(gè)像素值之間進(jìn)行內(nèi)插。
所述方法可包括在圖像校正之后將多個(gè)圖像相加,以計(jì)算結(jié)果圖像。
所述方法可包括在圖像校正之后使用多個(gè)圖像來(lái)進(jìn)行傅里葉疊層成像。所述方法可包括計(jì)算物體的相位及幅值分布。所述方法可包括根據(jù)通過(guò)圖像校正而校正的圖像在坐標(biāo)空間中重建所述物體的光譜,其中通過(guò)傅里葉變換來(lái)確定物體的相位及幅值分布。
所述方法可包括自動(dòng)確定焦點(diǎn)位置及/或?qū)⒔?jīng)校正圖像用于相位對(duì)比方法。
在所述方法中,可對(duì)針對(duì)一個(gè)照明角度捕獲的圖像應(yīng)用圖像校正,而同時(shí)使檢測(cè)器針對(duì)另一照明角度捕獲另一圖像。通過(guò)使圖像校正及以不同照明角度對(duì)其他圖像的記錄并行化,直至提供結(jié)果圖像時(shí)所需的時(shí)間可進(jìn)一步減少。
所述方法可由顯微鏡系統(tǒng)自動(dòng)地實(shí)施??梢酝干錁?gòu)造來(lái)捕獲所述圖像??梢苑瓷錁?gòu)造來(lái)捕獲所述圖像。
根據(jù)實(shí)施例的設(shè)備及方法允許使用具成本效益的光學(xué)單元。可以快速、能維持分辨率且能減輕輕偽影的方式來(lái)處理記錄圖像??蓪?duì)縱向色像差或像散進(jìn)行場(chǎng)點(diǎn)相關(guān)校正。
上文所述的特征及下文所述的特征不僅可以明確陳述的對(duì)應(yīng)組合形式使用,而且可以其他組合形式或以獨(dú)立形式使用,此并不背離本發(fā)明的保護(hù)范圍。
附圖說(shuō)明
結(jié)合以下對(duì)實(shí)施例的說(shuō)明,本發(fā)明的上述性質(zhì)、特征及優(yōu)點(diǎn)以及實(shí)現(xiàn)這些性質(zhì)、特征及優(yōu)點(diǎn)的方式將變得更加清楚且被更清楚地理解,將結(jié)合圖式來(lái)更詳細(xì)地解釋這些實(shí)施例。
圖1是根據(jù)一個(gè)實(shí)施例的圖像記錄設(shè)備的示意圖;
圖2是根據(jù)一個(gè)實(shí)施例的方法的流程圖;
圖3例示在根據(jù)實(shí)施例的設(shè)備及方法中對(duì)多個(gè)圖像的處理;
圖4例示根據(jù)實(shí)施例的圖像記錄設(shè)備及方法對(duì)于縱向色像差校正的應(yīng)用;
圖5例示通過(guò)根據(jù)實(shí)施例的圖像記錄設(shè)備及方法來(lái)校正的因色像差引起的點(diǎn)擴(kuò)散函數(shù);
圖6及圖7例示判定為對(duì)色彩通道的像素進(jìn)行縱向色像差校正而應(yīng)用的位移;
圖8例示在根據(jù)實(shí)施例的圖像記錄設(shè)備及方法的情況下針對(duì)一個(gè)照明角度進(jìn)行縱向色像差校正時(shí)用于不同色彩通道的像素的位移場(chǎng);
圖9例示在根據(jù)實(shí)施例的圖像記錄設(shè)備及方法的情況下針對(duì)另一照明角度進(jìn)行縱向色像差校正時(shí)用于不同色彩通道的像素的位移場(chǎng);
圖10是根據(jù)一個(gè)實(shí)施例用于縱向色像差校正的方法的流程圖;
圖11例示根據(jù)實(shí)施例的圖像記錄設(shè)備及方法對(duì)于像散校正的應(yīng)用;
圖12是根據(jù)一個(gè)實(shí)施例用于像散校正的方法的流程圖;
圖13例示根據(jù)實(shí)施例的圖像記錄設(shè)備及方法中的場(chǎng)點(diǎn)相關(guān)位移場(chǎng);
圖14是根據(jù)一個(gè)實(shí)施例的圖像記錄設(shè)備的框圖;以及
圖15例示用于對(duì)圖像或圖像的色彩通道應(yīng)用位移的各種技術(shù)。
具體實(shí)施方式
下文將參照?qǐng)D式基于優(yōu)選實(shí)施例來(lái)更詳細(xì)地解釋本發(fā)明。在各圖中,相同的參考符號(hào)表示相同或類似的元件。各圖均是本發(fā)明各種實(shí)施例的示意圖。各圖中所示的元件未必是按照真實(shí)比例進(jìn)行繪示。而是,各圖中所示的不同元件是以使得其功能及用途變得可由所屬領(lǐng)域的技術(shù)人員理解的方式進(jìn)行重現(xiàn)。
如圖中所示各功能單元及元件之間的連接及耦合也可被實(shí)施為間接連接或耦合。可以有線或無(wú)線方式來(lái)實(shí)施連接或耦合。
下文將描述可用以通過(guò)計(jì)算來(lái)校正由對(duì)物體的照明的散焦引起的光學(xué)像差的技術(shù)。此處,對(duì)光學(xué)像差的“校正(correction及correcting)”被理解為意指可用以改善所產(chǎn)生結(jié)果圖像的品質(zhì)且可減輕至少某些光學(xué)像差(例如,縱向色像差及/或像散)的措施。
如下文將更詳細(xì)描述,在本發(fā)明的實(shí)施例中,循序地記錄物體的多個(gè)圖像。將用于對(duì)物體進(jìn)行照明的照明角度設(shè)定成各種值,以記錄多個(gè)圖像。對(duì)所述圖像中的全部或一些應(yīng)用圖像校正。所述圖像校正可包括像素在圖像平面中的位移。可通過(guò)所述位移來(lái)減輕圖像平面中由散焦引起的不清晰度,所述不清晰度是例如由色像差或像散引起。
所述圖像校正可包括一個(gè)圖像相對(duì)于另一圖像或者一個(gè)色彩通道相對(duì)于另一色彩通道的位移。所述圖像校正可與整個(gè)圖像有關(guān)或僅與個(gè)別圖像區(qū)域有關(guān)。所述圖像校正可包括一個(gè)圖像的所有像素相對(duì)于另一圖像的所有像素的位移,其中所述位移取決于在記錄所述圖像時(shí)的照明角度。所述位移在圖像平面中可以是局部恒定的或者局部可變的。所述圖像校正可包括一個(gè)圖像的一個(gè)色彩通道的像素相對(duì)于同一圖像的另一色彩通道的像素的位移,其中所述位移取決于在記錄所述圖像時(shí)的照明角度。
通過(guò)計(jì)算來(lái)處理包括圖像校正的捕獲圖像可以非易失性方式存儲(chǔ)在圖像記錄設(shè)備中的存儲(chǔ)媒體上的數(shù)據(jù)為基礎(chǔ)。所述數(shù)據(jù)可包括針對(duì)各種照明角度在每種情況下將要被應(yīng)用的位移。另一選擇為或另外,所述數(shù)據(jù)可包含電子評(píng)估裝置用以判定將要被應(yīng)用的位移的信息。
可通過(guò)計(jì)算預(yù)先確定出在圖像記錄設(shè)備進(jìn)行計(jì)算性圖像校正的操作期間所使用的數(shù)據(jù)并將其存儲(chǔ)在存儲(chǔ)媒體中。另一選擇為或另外,也可通過(guò)使用參考物體在圖像記錄設(shè)備上進(jìn)行校準(zhǔn)測(cè)量來(lái)產(chǎn)生所述數(shù)據(jù)并將其以非易失性方式進(jìn)行存儲(chǔ)。
通過(guò)在圖像校正之后將所述多個(gè)圖像相組合,所述電子評(píng)估裝置能夠自動(dòng)地產(chǎn)生結(jié)果圖像,所述結(jié)果圖像包含來(lái)自所述多個(gè)圖像的信息。所述結(jié)果圖像可以使得其包含對(duì)圖像的位移及求和的方式來(lái)產(chǎn)生,而不需要通過(guò)圖像的點(diǎn)擴(kuò)散函數(shù)(psf)對(duì)所述圖像中的任一個(gè)進(jìn)行去卷積。
圖1是根據(jù)一個(gè)實(shí)施例的圖像記錄設(shè)備1的示意圖。圖像記錄設(shè)備1可用以自動(dòng)地實(shí)施根據(jù)實(shí)施例的方法。圖像記錄設(shè)備1可以是顯微鏡系統(tǒng)或者可包括顯微鏡,并且具備可控照明裝置(下文將更詳細(xì)地加以描述)、照相機(jī)及電子評(píng)估裝置,所述照相機(jī)包括圖像傳感器,所述電子評(píng)估裝置用于校正圖像。
圖像記錄設(shè)備1包括照明裝置,所述照明裝置包括光源11。聚光透鏡12可以本身公知的方式使由光源11發(fā)射的光偏轉(zhuǎn)至將要被成像的物體2上。所述照明裝置是以使得光可以多個(gè)不同照明角度4輻射至物體2上的方式來(lái)配置。舉例來(lái)說(shuō),出于此種目的,光源11可包括具有多個(gè)發(fā)光二極管(led)的led構(gòu)造,所述多個(gè)led可以是可個(gè)別致動(dòng)的。所述led構(gòu)造可以是led環(huán)形構(gòu)造。另一選擇為,可在傳統(tǒng)光源被以放大方式成像至其中的中間圖像平面中布置可控元件,以提供不同的照明角度。所述可控元件可包括可移動(dòng)小孔、微鏡構(gòu)造、液晶矩陣、或空間光調(diào)制器。
照明裝置可以使得包括光學(xué)軸5的照明角度4的絕對(duì)值可被修改的方式來(lái)配置。照明裝置可以使得可以照明角度4對(duì)物體進(jìn)行照明的光束3的方向也可在極方向上圍繞光學(xué)軸5移動(dòng)的方式來(lái)配置。
在每種情況下,圖像記錄設(shè)備1的檢測(cè)器14針對(duì)物體2被照明的多個(gè)照明角度中的每一個(gè)而捕獲物體2的至少一個(gè)圖像。舉例來(lái)說(shuō),檢測(cè)器14的圖像傳感器15可被配置為ccd傳感器、cmos傳感器、或tdi(“時(shí)間延遲與積分”)ccd傳感器。成像光學(xué)單元(例如,僅被示意性繪示的顯微鏡物鏡13)可在圖像傳感器15處產(chǎn)生物體2的放大圖像。
圖像記錄設(shè)備1包括電子評(píng)估裝置20。所述電子評(píng)估裝置進(jìn)一步處理針對(duì)多個(gè)照明角度為物體2捕獲的多個(gè)圖像。電子評(píng)估裝置20對(duì)所述多個(gè)圖像中的一些或全部應(yīng)用圖像校正。如參照?qǐng)D2至圖15更詳細(xì)地描述,在每種情況下,圖像校正均包含取決于記錄圖像時(shí)的照明角度的位移。出于圖像校正目的而進(jìn)行的位移可減小圖像平面中的橫向偏移,所述橫向偏移是由照明裝置在圖像平面或中間圖像平面中的縱向色像差引起。為此,可根據(jù)針對(duì)多個(gè)波長(zhǎng)出現(xiàn)的散焦來(lái)設(shè)定圖像平面中的位移。可以不同的位移向量使不同色彩通道的像素在圖像平面中移置,以產(chǎn)生經(jīng)校正圖像。另一選擇為或另外,圖像平面中的位移可減小圖像平面中由照明裝置的像散引起的橫向偏移。為此,可根據(jù)針對(duì)像散的不同平面出現(xiàn)的各焦點(diǎn)位置之間的距離來(lái)設(shè)定圖像平面中的位移。
圖像記錄設(shè)備1包括具有校正信息的存儲(chǔ)媒體21。電子評(píng)估裝置20耦合至所述存儲(chǔ)媒體或可包括所述存儲(chǔ)媒體。電子評(píng)估裝置20可根據(jù)存儲(chǔ)媒體中的校正信息來(lái)判定針對(duì)每一照明角度將分別應(yīng)用的圖像校正。
可以不同方式將分別指派給多個(gè)照明角度中每一個(gè)的經(jīng)校正圖像相組合。舉例來(lái)說(shuō),可在圖像校正之后將各圖像相加。為重建物體2的幅值及相位信息,可將圖像用于傅里葉疊層成像算法中??墒褂媒?jīng)校正圖像來(lái)判定焦點(diǎn)位置、或以任一其他方式自動(dòng)地對(duì)圖像記錄設(shè)備1進(jìn)行設(shè)定??捎呻娮釉u(píng)估裝置20自動(dòng)地實(shí)施對(duì)應(yīng)的處理。
由于電子評(píng)估裝置20能夠通過(guò)對(duì)圖像的像素或?qū)D像的色彩通道應(yīng)用位移來(lái)實(shí)施圖像校正,因而處理能夠?qū)崟r(shí)地進(jìn)行。圖像記錄設(shè)備1可包括由光學(xué)輸出裝置實(shí)現(xiàn)的用戶界面,電子評(píng)估裝置20可在運(yùn)作期間在所述用戶界面上輸出所產(chǎn)生的結(jié)果圖像。通過(guò)個(gè)別圖像的點(diǎn)擴(kuò)散函數(shù)對(duì)所述圖像進(jìn)行去卷積不再是必須進(jìn)行的,此去卷積運(yùn)算從計(jì)算觀點(diǎn)來(lái)看是復(fù)雜的。通過(guò)將來(lái)自在以多個(gè)照明角度進(jìn)行照明的情況下捕獲的各圖像的信息相組合,也可獲得關(guān)于物體2的那些使照明角度中的其中一個(gè)的mtf具有0的坐標(biāo)空間頻率的信息。
參照?qǐng)D2至圖15更詳細(xì)地描述根據(jù)實(shí)施例的圖像記錄設(shè)備的功能。
圖2是根據(jù)一個(gè)實(shí)施例的方法30的流程圖。所述方法可由圖像記錄設(shè)備1自動(dòng)地實(shí)施。
在步驟31中,以第一照明角度對(duì)物體進(jìn)行照明。舉例來(lái)說(shuō),電子評(píng)估裝置20可以用物體被以第一照明角度進(jìn)行照明的方式來(lái)致動(dòng)照明裝置。圖像傳感器15捕獲第一圖像。
在步驟32中,以不同于第一照明角度的第二照明角度對(duì)物體進(jìn)行照明。為此,可相應(yīng)地致動(dòng)照明裝置。圖像傳感器15捕獲第二圖像。
可重復(fù)以不同照明角度循序地對(duì)物體進(jìn)行照明并進(jìn)行圖像記錄的步驟。
在步驟33中,以第n照明角度對(duì)物體進(jìn)行照明,其中n是>1的整數(shù)。為此,可相應(yīng)地致動(dòng)照明裝置。圖像傳感器15捕獲第n圖像。
在步驟34中,對(duì)所有n個(gè)圖像或所述n個(gè)圖像中的至少一些應(yīng)用圖像校正。所述圖像校正包括像素在圖像平面中的位移,對(duì)于不同圖像,所述位移能夠不同。對(duì)于圖像傳感器的不同色彩通道,所述位移可不同。對(duì)圖像校正的應(yīng)用在對(duì)其他圖像的捕獲可在時(shí)間上重疊。舉例來(lái)說(shuō),可通過(guò)對(duì)第一圖像的圖像校正來(lái)判定經(jīng)校正第一圖像,而同時(shí),以步驟32或33進(jìn)行對(duì)下一圖像的記錄。
在步驟35中,可通過(guò)計(jì)算將在以不同照明角度進(jìn)行物體照明時(shí)所捕獲的圖像相組合。為此,可將各圖像相加??蛇M(jìn)行更復(fù)雜的處理。舉例來(lái)說(shuō),可根據(jù)多個(gè)圖像通過(guò)計(jì)算來(lái)確定物體2的相位信息。
圖3是用于更詳細(xì)地解釋圖像記錄設(shè)備1的操作模式的示意圖。
當(dāng)以第一照明角度對(duì)物體進(jìn)行照明時(shí)捕獲第一圖像41。當(dāng)以第二照明角度對(duì)物體進(jìn)行照明時(shí)捕獲第二圖像42。當(dāng)以第三照明角度對(duì)物體進(jìn)行照明時(shí)捕獲第三圖像43。
電子評(píng)估裝置20通過(guò)變換t1來(lái)使第一圖像41移置,以產(chǎn)生經(jīng)校正第一圖像44。變換t1可包含所有像素在圖像平面中的位移。對(duì)于第一圖像41的不同色彩通道,所述位移可不同,如下文將基于圖4至圖10更詳細(xì)地進(jìn)行描述。
電子評(píng)估裝置20通過(guò)變換t3來(lái)使第三圖像43移置,以產(chǎn)生經(jīng)校正第三圖像46。變換t3可包含所有像素在圖像平面中的位移。對(duì)第三圖像43應(yīng)用的位移可不同于對(duì)第一圖像41應(yīng)用的位移。對(duì)于第三圖像44的不同色彩通道,所述位移可不同,如下文將基于圖4至圖10更詳細(xì)地進(jìn)行描述。
也可使第二圖像42經(jīng)受圖像校正,以產(chǎn)生經(jīng)校正第二圖像45。
可將經(jīng)校正圖像44-46彼此相組合。舉例來(lái)說(shuō),可通過(guò)將經(jīng)校正圖像44-46相加來(lái)判定結(jié)果圖像47。所述加法可用于將經(jīng)校正圖像44-46平均化。
另一選擇為或另外,也可根據(jù)經(jīng)校正圖像44-46來(lái)判定關(guān)于被成像物體的相位及/或幅值信息??蓪?shí)施對(duì)物體的自動(dòng)聚焦。為此,舉例來(lái)說(shuō),可根據(jù)針對(duì)不同照明角度確定的視差來(lái)判定物體相對(duì)于檢測(cè)器14的焦平面的距離及位置。
如參照?qǐng)D4至圖10更詳細(xì)地描述,可通過(guò)根據(jù)實(shí)施例的圖像記錄設(shè)備及方法來(lái)校正例如由檢測(cè)器系統(tǒng)的色像差或物體照明引起的縱向色像差。
出于縱向色像差校正的目的,電子評(píng)估裝置20可用以使不同色彩通道的像素相對(duì)于彼此局部地移置。圖像平面中位移的至少一個(gè)方向可取決于照明方向。不必使圖像校正范圍內(nèi)的所有色彩通道的像素均局部地移置。舉例來(lái)說(shuō),可以使得波長(zhǎng)與色彩通道中的一個(gè)對(duì)應(yīng)的光的焦點(diǎn)位置被設(shè)定為z平面的方式來(lái)實(shí)施系統(tǒng)的聚焦。在發(fā)生縱向色像差的情況下,另一或另一些色彩通道的焦點(diǎn)位置因散焦而相對(duì)于此z平面移置。中間圖像平面中或圖像傳感器的平面中發(fā)生散焦可引起橫向模糊,例如,引起物體邊緣處的偽影(artifact)。
舉例來(lái)說(shuō),所述不同色彩通道可以是rgb傳感器的r通道、g通道及b通道??墒褂闷渌渲?。舉例來(lái)說(shuō),在專業(yè)應(yīng)用中,可使用在界定波長(zhǎng)或界定波長(zhǎng)范圍下具有兩個(gè)、三個(gè)或多于三個(gè)色彩通道的圖像傳感器。所述圖像傳感器可包括由對(duì)不同波長(zhǎng)敏感的像素形成的構(gòu)造。色彩通道中的每一個(gè)可在某一波長(zhǎng)范圍中敏感,其中不同色彩通道的波長(zhǎng)范圍彼此不同。也可使用多個(gè)單獨(dú)的圖像傳感器,以捕獲各種色彩通道。可使用濾光片或使用圖像傳感器的半導(dǎo)體區(qū)域的本征性質(zhì)(例如基于半導(dǎo)體的圖像傳感器的帶隙)來(lái)設(shè)定色彩通道的波長(zhǎng)。針對(duì)色彩通道所敏感的且為色彩通道所特有的波長(zhǎng)或波長(zhǎng)范圍的光而出現(xiàn)的焦點(diǎn)位置在本文以縮略方式被稱為色彩通道的焦點(diǎn)位置。舉例來(lái)說(shuō),色彩通道的焦點(diǎn)位置可以是針對(duì)對(duì)應(yīng)色彩通道的敏感范圍的質(zhì)心波長(zhǎng)出現(xiàn)的焦點(diǎn)位置。
所述電子評(píng)估裝置使用關(guān)于不同色彩通道的焦點(diǎn)位置之間的距離的信息來(lái)校正縱向色像差。對(duì)于圖像記錄設(shè)備1來(lái)說(shuō),可通過(guò)計(jì)算來(lái)判定此信息。為此,可使用已知技術(shù)來(lái)模擬光學(xué)系統(tǒng)。另一選擇為或另外,也可測(cè)量不同光波長(zhǎng)的焦點(diǎn)位置及/或其距離??墒褂脜⒖嘉矬w,以通過(guò)測(cè)量來(lái)判定關(guān)于焦點(diǎn)位置或至少關(guān)于不同色彩通道的兩個(gè)焦點(diǎn)位置之間的距離的信息。此信息可以非易失性方式存儲(chǔ)在顯微鏡系統(tǒng)的存儲(chǔ)媒體中。
關(guān)于焦點(diǎn)位置及/或其距離的信息是在將物體成像之前判定。隨后,可使用存儲(chǔ)在圖像記錄設(shè)備中的關(guān)于焦點(diǎn)位置及/或其距離的信息來(lái)將大量物體成像??芍辽籴槍?duì)每一色彩通道的檢測(cè)光譜的質(zhì)心來(lái)判定焦點(diǎn)位置及/或關(guān)于其距離的信息??墒褂锰娲ㄩL(zhǎng),例如對(duì)應(yīng)色彩通道的敏感度最大時(shí)的波長(zhǎng)。
作為通過(guò)模擬光學(xué)性質(zhì)及/或通過(guò)校準(zhǔn)而根據(jù)照明角度通過(guò)計(jì)算來(lái)判定位移的替代方案或除此種方式以外,也可通過(guò)將不同色彩通道或不同圖像彼此對(duì)齊來(lái)判定位移。為此,可利用本身公知的各種對(duì)齊方法。舉例來(lái)說(shuō),為實(shí)施對(duì)齊并判定位移,可利用ssim(“結(jié)構(gòu)相似性”)指數(shù)。
出于縱向色像差校正的目的,可針對(duì)在以多個(gè)照明角度進(jìn)行的物體照明下捕獲的多個(gè)圖像中的每一個(gè)實(shí)施以下程序:將圖像的個(gè)別色彩通道指派給不同波長(zhǎng)。舉例來(lái)說(shuō),所述色彩通道可在檢測(cè)光譜中具有不同質(zhì)心。因此,可給色彩通道中的每一個(gè)指派針對(duì)相應(yīng)波長(zhǎng)出現(xiàn)的焦點(diǎn)位置。
以取決于一個(gè)色彩通道的焦點(diǎn)位置與另一色彩通道的焦點(diǎn)位置之間的距離的方式來(lái)判定跨越光學(xué)軸的局部位移。所述位移是因z散焦以及以所述照明角度進(jìn)行的照明而出現(xiàn)。視照明方向而定,所述位移可在圖像平面中具有不同方向。位移的方向可取決于色彩通道相對(duì)于另一色彩通道是以焦內(nèi)還是焦外方式移置。舉例來(lái)說(shuō),在以下情況時(shí),rgb圖像傳感器的三個(gè)色彩通道中的兩個(gè)的位移可呈現(xiàn)出相反方向:所述色彩通道中的一個(gè)相對(duì)于聚焦是在圖像傳感器的平面上實(shí)施的另一色彩通道具有焦內(nèi)位移,且所述色彩通道中的另一個(gè)相對(duì)于聚焦是在圖像傳感器的平面上實(shí)施的另一色彩通道具有焦外位移。
根據(jù)所判定位移來(lái)使圖像的一個(gè)或多個(gè)色彩通道(即,一個(gè)或多個(gè)圖像通道)移置。這樣一來(lái),可補(bǔ)償各色彩通道之間由散焦引起的橫向偏移。為此,在計(jì)算性處理的范圍內(nèi),可使對(duì)應(yīng)色彩通道的所有像素相對(duì)于另一色彩通道的像素局部地移置。不必使所有圖像通道均移置。舉例來(lái)說(shuō),可存在r、g、b三個(gè)圖像通道??梢允沟盟錾释ǖ乐械囊粋€(gè)被精確地聚焦至圖像傳感器的平面上的方式來(lái)自動(dòng)地對(duì)圖像記錄系統(tǒng)的光學(xué)單元進(jìn)行設(shè)定。隨后,出于縱向色像差校正的目的,可僅使另兩個(gè)色彩通道相對(duì)于此色彩通道移置。
如果每一圖像存在總共m個(gè)色彩通道,則在縱向色像差校正期間可使m-1個(gè)色彩通道移置。此處,位移可對(duì)于不同色彩通道而不同且在每種情況下可取決于對(duì)應(yīng)色彩通道的z散焦??赏ㄟ^(guò)縱向色像差校正來(lái)校正散焦對(duì)照明的影響。
可在圖像校正之后進(jìn)一步處理所述多個(gè)圖像。舉例來(lái)說(shuō),可將所述多個(gè)圖像進(jìn)行求和,以產(chǎn)生結(jié)果圖像。
圖4及圖5例示進(jìn)行縱向色像差校正所使用的變量。色像差對(duì)于具有第一波長(zhǎng)的光51引起第一焦點(diǎn)位置52、對(duì)于具有第二波長(zhǎng)的光53引起不同于第一焦點(diǎn)位置52的第二焦點(diǎn)位置54、且對(duì)于具有第三波長(zhǎng)的光55引起不同于第一焦點(diǎn)位置52及第二焦點(diǎn)位置54的第三焦點(diǎn)位置56。在使用圖像記錄設(shè)備1將物體成像之前,可測(cè)量或通過(guò)計(jì)算來(lái)判定焦點(diǎn)位置52、54、56。舉例來(lái)說(shuō),所述焦點(diǎn)位置可以是位于圖像傳感器的附近或位于中間圖像平面中的焦點(diǎn)位置。
引起第一焦點(diǎn)位置52的第一波長(zhǎng)可以是圖像傳感器15的第一色彩通道的檢測(cè)帶的質(zhì)心波長(zhǎng)。另一選擇為,第一波長(zhǎng)也可以是第一色彩通道的檢測(cè)帶的不同特性波長(zhǎng),例如敏感度最大時(shí)的波長(zhǎng)。引起第二焦點(diǎn)位置54的第二波長(zhǎng)可以是圖像傳感器15的第二色彩通道的檢測(cè)帶的質(zhì)心波長(zhǎng)。另一選擇為,第二波長(zhǎng)也可以是第二色彩通道的檢測(cè)帶的不同特性波長(zhǎng),例如,敏感度最大時(shí)的波長(zhǎng)。引起第三焦點(diǎn)位置56的第三波長(zhǎng)可以是圖像傳感器15的第三色彩通道的檢測(cè)帶的質(zhì)心波長(zhǎng)。另一選擇為,第三波長(zhǎng)也可以是第三色彩通道的檢測(cè)帶的不同特性波長(zhǎng),例如,敏感度最大時(shí)的波長(zhǎng)。
圖5例示由于照明裝置的縱向色像差針對(duì)不同波長(zhǎng)引起的點(diǎn)擴(kuò)散函數(shù)。具有第一波長(zhǎng)的光的點(diǎn)擴(kuò)散函數(shù)61在z平面60中具有最小直徑。舉例來(lái)說(shuō),z平面60可以是圖像傳感器的平面、或系統(tǒng)的中間圖像平面。具有第二波長(zhǎng)的光的點(diǎn)擴(kuò)散函數(shù)63在平面62中具有最小直徑。也就是說(shuō),存在與平面60、62之間的距離對(duì)應(yīng)的z散焦66。具有第三波長(zhǎng)的光的點(diǎn)擴(kuò)散函數(shù)65在平面64中具有最小直徑。也就是說(shuō),存在與平面60、64之間的距離對(duì)應(yīng)的z散焦67。
當(dāng)以不同照明角度進(jìn)行照明時(shí),z散焦66、67使得不同色彩通道相對(duì)于彼此具有橫向位移??赏ㄟ^(guò)使一個(gè)或多個(gè)色彩通道的數(shù)據(jù)在圖像平面中相對(duì)于另一色彩通道的數(shù)據(jù)移置來(lái)減輕光學(xué)像差。
檢測(cè)器14是以檢測(cè)器場(chǎng)深大于z散焦66、67的方式來(lái)配置。隨后,可實(shí)施下文更詳細(xì)描述的圖像校正,以通過(guò)計(jì)算高效地減輕縱向色像差。
圖6及圖7例示確定色彩通道的像素的位移,此位移可在圖像校正的范圍內(nèi)實(shí)施。由縱向色像差針對(duì)某一波長(zhǎng)引起的散焦δz可通過(guò)使對(duì)對(duì)應(yīng)波長(zhǎng)敏感的一個(gè)色彩通道的像素如下移置來(lái)校正
在x方向上,δxj=sf·tan(θx)·δzj(1)
以及
在y方向上,δyj=sf·tan(θy)·δzj(2)
此處,j表示色彩通道的索引。值δzj表示如下兩個(gè)焦點(diǎn)位置之間的距離:可例如是色彩通道j及不同于色彩通道j的參考色彩通道的質(zhì)心波長(zhǎng)的波長(zhǎng)的焦點(diǎn)位置、以及可對(duì)應(yīng)于z平面而選擇的焦點(diǎn)位置。因數(shù)sf是換算因數(shù)。可使用所述換算因數(shù)來(lái)實(shí)施從由檢測(cè)器成像于圖像傳感器的平面中的中間圖像平面中的距離至圖像傳感器平面中的距離的轉(zhuǎn)換。所述換算因數(shù)可具有負(fù)號(hào)。出于重建物體的目的,所述換算因數(shù)也可具有等于1的絕對(duì)值。
角度θx表示xz平面中的照明角度。舉例來(lái)說(shuō),可根據(jù)以照明角度入射的光束在xz平面上的投影來(lái)確定角度θx。角度θx可界定以照明角度入射的光束在xz平面上的投影與界定光學(xué)軸的z軸之間的角度。角度θy表示yz平面中的照明角度。舉例來(lái)說(shuō),可根據(jù)以照明角度入射的光束在yz平面上的投影來(lái)確定角度θy。角度θy可界定以照明角度入射的光束在yz平面上的投影與界定光學(xué)軸的z軸之間的角度。
如果圖像傳感器具有多于兩個(gè)色彩通道,則第一色彩通道及第三色彩通道的特性波長(zhǎng)的焦點(diǎn)位置可排列在垂直于光學(xué)軸且其中排列有第二色彩通道的特性波長(zhǎng)的焦點(diǎn)的平面的不同側(cè)上。在此種情況下,可以使得第二色彩通道的特性波長(zhǎng)的焦點(diǎn)位置界定被聚焦至圖像傳感器上的z=0平面的方式來(lái)對(duì)圖像記錄設(shè)備進(jìn)行設(shè)定。在每種情況下,可使第一色彩通道的像素及第三色彩通道的像素相對(duì)于第二色彩通道的像素在圖像傳感器的xy平面中移置。在此種情況下,如圖4及圖5中以實(shí)例性方式所示,散焦δzj對(duì)于第一色彩通道(j=1)及第三色彩通道(j=3)具有不同正負(fù)號(hào)??墒乖诘谝簧释ǖ乐兴东@的圖像及在第三色彩通道中所捕獲的圖像沿相反方向移置,以校正縱向色像差。在每種情況下,位移的方向可取決于由角度θx及θy界定的照明方向。如果第一色彩通道的散焦絕對(duì)值與第三色彩通道的散焦絕對(duì)值不同,則位移的絕對(duì)值可不同。在此種情況下,可根據(jù)相應(yīng)色彩通道的散焦來(lái)成比例地設(shè)定位移的絕對(duì)值。
圖8示意性顯示針對(duì)第一照明角度對(duì)圖像的一個(gè)色彩通道的像素應(yīng)用的位移場(chǎng)75??墒顾邢袼卦趚方向及y方向上移置相同的位移。電子評(píng)估裝置可對(duì)同一圖像的不同色彩通道的像素應(yīng)用不同位移場(chǎng)76。如果另一色彩通道的散焦等于0,則此另一色彩通道的像素可保持不移置。位移場(chǎng)75及另一位移場(chǎng)76可界定在方向上旋轉(zhuǎn)180°的位移。尤其在一個(gè)波長(zhǎng)的色像差引起以焦內(nèi)方式移置的中間圖像且另一波長(zhǎng)的色像差引起以焦外方式移置的中間圖像時(shí),情況即可如此。
圖9示意性顯示在以不同照明角度進(jìn)行的照明下記錄圖像時(shí)所應(yīng)用的位移場(chǎng)77、78。位移隨著照明角度而改變。對(duì)于不同照明角度,位移的方向及絕對(duì)值可不同。
盡管圖8及圖9示意性繪示在圖像傳感器的平面中恒定的位移場(chǎng)(即,其將色彩通道的所有像素的位移界定為取決于照明角度的同一向量),但位移也可在空間中變化。舉例來(lái)說(shuō),也可通過(guò)此種在空間上變化的位移場(chǎng)來(lái)校正像散或場(chǎng)曲率,所述位移場(chǎng)界定對(duì)圖像的像素或圖像的色彩通道的像素應(yīng)用的變換。
圖10是用于校正縱向色像差的方法80的流程圖。所述方法可由電子評(píng)估裝置20自動(dòng)地實(shí)施。檢測(cè)器可具有m個(gè)色彩通道??梢允沟脤?duì)于色彩通道中的一個(gè)不存在散焦的方式來(lái)對(duì)圖像記錄設(shè)備進(jìn)行設(shè)定。
在步驟81中,可確定使其中散焦不等于0的至少m-1個(gè)色彩通道中的每一個(gè)的數(shù)據(jù)移置的偏移。所述偏移取決于在記錄圖像時(shí)的照明角度。舉例來(lái)說(shuō),可根據(jù)方程式(1)及(2)來(lái)界定所述偏移。
可以不同方式來(lái)判定由縱向色像差及用于通過(guò)計(jì)算再次校正縱向色像差的位移產(chǎn)生的偏移。在一種配置中,可將關(guān)于被指派給不同色彩通道的波長(zhǎng)的焦點(diǎn)位置的信息以非易失性方式存儲(chǔ)在圖像記錄設(shè)備的存儲(chǔ)媒體中。隨后,電子評(píng)估裝置能夠計(jì)算位移。在另一種配置中,可能已在特性場(chǎng)基礎(chǔ)上存儲(chǔ)了位移本身??纱嬖谄渲惺闺娮釉u(píng)估裝置使用預(yù)先判定的關(guān)于色像差的信息來(lái)實(shí)施圖像校正的眾多其他配置。舉例來(lái)說(shuō),可以非易失性方式存儲(chǔ)線性映射,在每種情況下,所述線性映射針對(duì)多個(gè)色彩通道及多個(gè)照明角度界定所記錄圖像的像素如何被映射至經(jīng)校正圖像的像素。
在步驟82中,使多個(gè)色彩通道移置。舉例來(lái)說(shuō),可使r圖像通道、g圖像通道及b圖像通道中的兩個(gè)相對(duì)于這些圖像通道中的一個(gè)移位。此處,舉例來(lái)說(shuō),可使r圖像通道的所有像素在x方向及y方向上相對(duì)于g圖像通道的像素移置相同數(shù)目個(gè)像素。可使b圖像通道的所有像素在x方向及y方向上相對(duì)于g圖像通道的像素移置相同數(shù)目個(gè)像素。r圖像通道及b圖像通道的位移可在方向及/或絕對(duì)值上不同。所述移置可以如下方式來(lái)實(shí)施:除圖像邊緣上的像素以外,將來(lái)自被移置圖像通道的像素在圖像平面中再次與未移置圖像通道的像素一致地排列。為此,可例如實(shí)施舍入及/或內(nèi)插,如也將基于圖15更詳細(xì)地進(jìn)行描述。
在步驟83中,可判定針對(duì)所述照明方向而產(chǎn)生的經(jīng)校正圖像。
可對(duì)n個(gè)圖像中的每一個(gè)實(shí)施步驟81至83,所述n個(gè)圖像是針對(duì)n個(gè)不同照明角度而捕獲,其中n>2、且尤其n>>2可適用。
在步驟84中,可在圖像校正之后將n個(gè)圖像相組合。可將所述圖像進(jìn)行求和。可在坐標(biāo)空間中或在傅里葉空間中判定幅值及/或相位信息圖像。
作為縱向色像差校正的替代方案或除縱向色像差校正以外,也可使用根據(jù)實(shí)施例的圖像記錄設(shè)備及方法來(lái)校正其他光學(xué)像差,例如校正像散,如基于圖11至圖13更詳細(xì)地描述。
圖11顯示根據(jù)一個(gè)實(shí)施例的圖像記錄設(shè)備的局部視圖,其中照明裝置的例如僅被示意性繪示的光學(xué)單元具有像散。第一子午線91在像散的第一平面中延伸。像散的第一平面可界定第一焦點(diǎn)位置92。第二子午線96在像散的第二平面中延伸。像散的第二平面可界定第二焦點(diǎn)位置97。第一平面可以是最小焦距出現(xiàn)的平面。第二平面可以是最大焦距出現(xiàn)的平面。
焦點(diǎn)位置92、97中的一個(gè)或多個(gè)可相對(duì)于由檢測(cè)器對(duì)焦地成像的z=0平面移置。焦點(diǎn)位置92、97可沿著光學(xué)軸具有z散焦106、107。z散焦可以場(chǎng)點(diǎn)相關(guān)方式變化。
當(dāng)以某一照明角度對(duì)物體進(jìn)行照明時(shí),光可沿著光束90入射,光束90的方向是由被分別設(shè)定的照明角度決定。出于校正像散的目的,可向像散的平面中進(jìn)行投影。在每種情況下,這些平面可由光學(xué)組件的子午線及光學(xué)軸來(lái)界定,其中給不同的焦平面指派不同的子午線。以照明角度入射的光束90在第一平面中的投影93與光學(xué)軸5成角度94。角度94也可被表示為角度θa。以照明角度入射的光束90在第二平面中的投影98與光學(xué)軸5成角度99。角度99也可被表示為角度θb。由像散的第一平面界定的平面無(wú)需與圖像傳感器的x軸或y軸重合。然而,通過(guò)本身公知的在圖像傳感器的平面中進(jìn)行的坐標(biāo)變換,也可將坐標(biāo)軸界定成例如使得像散的第一平面與圖像傳感器的平面的相交線對(duì)應(yīng)于x軸且像散的第一平面與圖像傳感器的平面的相交線對(duì)應(yīng)于y軸。
出于校正像散的目的,可使一個(gè)圖像的像素相對(duì)于另一圖像的像素移置某一位移。所述位移可取決于照明角度。所述位移可取決于針對(duì)像散的多個(gè)平面出現(xiàn)的z散焦106、107。
舉例來(lái)說(shuō),圖像傳感器的平面中的位移可由以下界定
在由像散的第一平面與傳感器平面的相交線界定的方向上:
sf·tan(θa)·δza(3)
以及
在由像散的第二平面與傳感器平面的相交線界定的方向上:
f·tan(θb)·δzb(4)
此處,δza表示像散的第一平面的z散焦106,zb表示像散的第二平面的z散焦,且sf表示用于將中間圖像平面中由z散焦引起的位移轉(zhuǎn)換成圖像傳感器平面中的位移的換算因數(shù)。換算因數(shù)sf是由圖像記錄設(shè)備決定且可例如通過(guò)計(jì)算或以校準(zhǔn)測(cè)量方式來(lái)判定。
如果像散的平面相對(duì)于圖像傳感器的x坐標(biāo)軸及y坐標(biāo)軸而傾斜,則可通過(guò)適當(dāng)變換來(lái)判定圖像傳感器的x坐標(biāo)軸及y坐標(biāo)軸上的位移。舉例來(lái)說(shuō),如果像散的第一平面的相交線與圖像傳感器的x軸成角度φ且像散的第一平面的相交線與圖像傳感器的y軸成角度φ,則可如下來(lái)判定位移的坐標(biāo):
在x方向上:
δx=cos(φ)·sf·tan(θa)·δza+sin(φ)·sf·tan(θb)·δzb(5)
以及
在y方向上:
δy=cos(φ)·sf·tan(θb)·δzb-sin(φ)·sf·tan(θa)·δza(6)
可對(duì)所有色彩通道的相同像素應(yīng)用相同位移。如果色像差也被校正,則對(duì)于不同色彩通道,位移可不同,如參照?qǐng)D3至圖10所述。
可通過(guò)像素的場(chǎng)點(diǎn)相關(guān)位移而將像散的場(chǎng)點(diǎn)相關(guān)性考慮在內(nèi)。用以使像素值在圖像傳感器的平面中移置的位移向量場(chǎng)可在圖像傳感器的平面中改變。
圖12是方法100的流程圖。方法100可由圖像記錄設(shè)備1自動(dòng)地實(shí)施。
在步驟101中,判定出于像散校正目的而將要對(duì)在以某一照明角度進(jìn)行照明的情況下捕獲的圖像的像素應(yīng)用的位移。
為判定所述位移,可將所述照明角度投影至由像散界定的平面中,如參照?qǐng)D11所述??筛鶕?jù)像散性系統(tǒng)距檢測(cè)器所聚焦至的平面的最小焦距及最大焦距的焦點(diǎn)位置的距離并結(jié)合照明角度在相關(guān)聯(lián)像散平面中的投影來(lái)判定將要對(duì)圖像應(yīng)用的位移。
進(jìn)行圖像校正所需的信息可以不同方式非易失性地存儲(chǔ)在圖像記錄設(shè)備中。將要被應(yīng)用的位移可作為取決于照明角度的特性場(chǎng)來(lái)存儲(chǔ)。關(guān)于具有像散的光學(xué)系統(tǒng)的焦距的信息可與關(guān)于像散平面的位置的信息相組合地被存儲(chǔ)。電子評(píng)估裝置可通過(guò)計(jì)算來(lái)進(jìn)一步處理此信息,以確定在圖像校正期間將如何使圖像的像素移置。也可針對(duì)多個(gè)照明角度中的每一個(gè)存儲(chǔ)線性映射,所述線性映射界定如何將以某一照明角度記錄的圖像的像素映射至經(jīng)校正圖像的像素。
可針對(duì)在以n個(gè)不同照明角度進(jìn)行的照明下捕獲的n個(gè)圖像中的每一個(gè)來(lái)實(shí)施步驟101。
在步驟102中,對(duì)圖像應(yīng)用在每種情況下所判定的位移。所述位移可以如下方式來(lái)實(shí)施:除圖像邊緣上的像素以外,將來(lái)自被移置圖像的像素在圖像平面中再次與圖像傳感器的像素一致地排列。為此,可例如實(shí)施舍入及/或內(nèi)插,如也將基于圖15更詳細(xì)地進(jìn)行描述??梢匀缦路绞絹?lái)實(shí)施步驟102:對(duì)于n個(gè)圖像中的每一個(gè),出于像散校正目的而實(shí)施被指派給照明角度的圖像校正。
在步驟103中,可在圖像校正之后將n個(gè)圖像相組合。可將所述圖像進(jìn)行求和??稍谧鴺?biāo)空間中或在傅里葉空間中判定幅值及/或相位信息圖像。
圖13例示一位移場(chǎng)110,所述位移場(chǎng)110可用以使圖像的像素在圖像平面中移置以例如校正具有像散的光學(xué)系統(tǒng)中不同焦距的影響。
位移場(chǎng)110可界定在圖像的平面中以空間相關(guān)方式改變的位移。位移向量的方向及/或絕對(duì)值可局部地改變。因此,也可校正由像散引起的空間相關(guān)可變失真。
盡管參照?qǐng)D1至圖13以實(shí)例性方式描述了可用以實(shí)施縱向色像差校正及像散校正的圖像記錄設(shè)備及方法,然而,本文所述的技術(shù)也可用于校正其他光學(xué)像差,例如用于校正場(chǎng)曲率。
圖14是根據(jù)一個(gè)實(shí)施例的圖像記錄設(shè)備的框圖120。所述圖像記錄設(shè)備可用以進(jìn)行自動(dòng)縱向色像差校正及/或像散校正。
所述圖像記錄設(shè)備包括可控照明裝置121。可通過(guò)照明裝置121以多個(gè)不同照明角度循序地對(duì)物體進(jìn)行照明。照明控制器122可控制被循序設(shè)定的照明角度。照明裝置121可包括led構(gòu)造。照明裝置121可包括位于中間圖像平面中的可控光學(xué)元件,所述可控光學(xué)元件例如能夠包括可移動(dòng)小孔、微鏡構(gòu)造、液晶矩陣、或空間光調(diào)制器。
圖像傳感器123針對(duì)物體被照明的照明角度中的每一個(gè)捕獲至少一個(gè)圖像。所述圖像可包括多個(gè)色彩通道中的信息。圖像傳感器123可包括至少一個(gè)ccd芯片或cmos芯片。
圖像校正模塊124可實(shí)施圖像校正。所述圖像校正可取決于在圖像記錄期間所使用的照明角度。所述圖像校正可包括使圖像的一個(gè)、數(shù)個(gè)或全部色彩通道中的像素進(jìn)行的位移。所述位移可對(duì)于所有被移置像素相同、或者可在圖像平面中局部地變化。
具有校正信息的存儲(chǔ)媒體125可以各種形式存儲(chǔ)由圖像校正模塊124使用的信息。所述校正信息可包含關(guān)于不同波長(zhǎng)及/或不同像散平面的焦點(diǎn)位置的信息,圖像校正模塊124根據(jù)所述信息來(lái)計(jì)算將要被應(yīng)用的位移。所述校正信息可規(guī)定針對(duì)不同照明角度的位移。所述校正信息可例如以成像矩陣的形式來(lái)界定線性映射,在圖像校正期間,根據(jù)所述線性映射將原始圖像的像素映射至經(jīng)校正圖像的像素。
圖像校正模塊124可被配置為應(yīng)用專用專業(yè)電路、控制器、微控制器、處理器、或微處理器。圖像校正模塊124可與圖像傳感器123組合成一個(gè)結(jié)構(gòu)單元,所述結(jié)構(gòu)單元會(huì)自動(dòng)地計(jì)算經(jīng)校正圖像。因此,可將圖像校正編碼在硬件中。
所述圖像記錄設(shè)備可以用校正信息是通過(guò)在圖像記錄設(shè)備本身上進(jìn)行測(cè)量而判定的方式來(lái)配置。所述圖像記錄設(shè)備可包括校準(zhǔn)模塊128,校準(zhǔn)模塊128自動(dòng)地判定校正信息。為此,可記錄并通過(guò)計(jì)算來(lái)進(jìn)一步處理多個(gè)已知參考物體,以確定為重建物體需要如何對(duì)圖像進(jìn)行校正。
所述圖像記錄設(shè)備可包括圖像組合模塊126,可通過(guò)圖像組合模塊126將n個(gè)經(jīng)校正圖像相組合??蓪⒃趫D像校正之后所判定的圖像進(jìn)行求和或以任一其他方式來(lái)進(jìn)行進(jìn)一步處理,以確定結(jié)果圖像。
所述圖像記錄設(shè)備可包括其他單元。舉例來(lái)說(shuō),可存在用于設(shè)定自動(dòng)聚焦的單元。用于設(shè)定自動(dòng)聚焦的單元可使用針對(duì)不同照明角度而產(chǎn)生的視差來(lái)作為輸入變量。
一般來(lái)說(shuō),出于位移目的,根據(jù)圖像i來(lái)判定經(jīng)校正圖像ic,其中
ic(u,v;j)=i(u-δxj,v-δyj;j)(7)
此處,u及v表示圖像傳感器中沿著x方向及y方向的像素坐標(biāo)。索引j可表示色彩通道。如果希望校正色像差,則位移可取決于色彩通道,或者所述位移可與色彩通道無(wú)關(guān)。
由于根據(jù)方程式(1)至(6)所判定的位移未必將位移界定為整數(shù)個(gè)像素,因而可實(shí)施舍入或內(nèi)插運(yùn)算,以確保對(duì)不同的圖像及/或不同的色彩通道使用一致的像素坐標(biāo)系統(tǒng)。
舉例來(lái)說(shuō),可提供舍入運(yùn)算,以此
ic(u,v;j)=i(u-round(δxj),v-round(δyj);j)(8)
確定經(jīng)校正圖像。此處,round(·)表示舍入函數(shù)。在方程式(8)中,也可使用下取整函數(shù)
也可在不同像素值之間實(shí)施內(nèi)插。此處,舉例來(lái)說(shuō),為在圖像校正期間判定被移置圖像,也可對(duì)四個(gè)像素值、抑或多于四個(gè)像素值進(jìn)行內(nèi)插。
圖15例示在圖像校正期間像素的位移。圖像傳感器具有像素構(gòu)造130。例如根據(jù)方程式(1)至(6)所判定的位移向量136可使得在兩個(gè)坐標(biāo)方向137、138上,位移向量136的分量均不是像素距離的整數(shù)倍。舉例來(lái)說(shuō),當(dāng)應(yīng)用舍入運(yùn)算時(shí),像素131可移置至像素132。在內(nèi)插期間,可對(duì)像素132-135的像素值進(jìn)行線性內(nèi)插,以判定經(jīng)校正圖像中像素131的像素值。
盡管已參照各圖描述了各實(shí)施例,但也可在其他實(shí)施例中實(shí)現(xiàn)多種開(kāi)發(fā)形式。盡管根據(jù)實(shí)施例的圖像記錄設(shè)備具體來(lái)說(shuō)可以是顯微鏡系統(tǒng),但所述技術(shù)也可用于其他成像系統(tǒng)中。盡管可使用所述技術(shù)來(lái)進(jìn)行縱向色像差校正及/或像散校正,但另一選擇為或另外,也可校正其他光學(xué)像差??梢远喾N不同方式將經(jīng)校正圖像彼此相組合。舉例來(lái)說(shuō),可將經(jīng)校正圖像用于傅里葉疊層成像,或者可將經(jīng)校正圖像相加以判定結(jié)果圖像。