專(zhuān)利名稱(chēng)：用于具有增強(qiáng)景深的成像的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例涉及成像，并且更具體地涉及具有增強(qiáng)景深的圖像的構(gòu)建。
背景技術(shù)：
例如癌癥、傳染病和其他病癥等生理狀況的預(yù)防、監(jiān)測(cè)和治療要求這些生理狀況 的及時(shí)診斷。一般，來(lái)自患者的生物樣本用于疾病的分析和識(shí)別。顯微鏡分析是在這些樣 品的分析和評(píng)估中廣泛使用的技術(shù)。更具體地，樣品可研究以檢測(cè)可指示疾病狀態(tài)的異常 數(shù)量或類(lèi)型的細(xì)胞和/或組織的存在。自動(dòng)化顯微鏡分析系統(tǒng)已經(jīng)開(kāi)發(fā)以便于這些樣品的 快速分析并且具有超過(guò)人工分析(其中技術(shù)人員可能隨時(shí)間而感到疲勞從而導(dǎo)致樣品的 誤讀)的準(zhǔn)確性的優(yōu)勢(shì)。典型地，在載玻片上的樣品裝載到顯微鏡上。該顯微鏡的透鏡或 物鏡可聚焦到樣品的特定區(qū)域上。然后樣品的一個(gè)或多個(gè)感興趣對(duì)象被掃描?？勺⒁獾竭m 當(dāng)?shù)鼐劢箻悠?物鏡以便于高質(zhì)量圖像的采集是最重要的。數(shù)字光學(xué)顯微鏡用于觀察很多種樣品。景深限定為沿視軸的對(duì)應(yīng)于正由透鏡系統(tǒng) 成像到圖像平面的三維(3D)場(chǎng)景的焦點(diǎn)對(duì)準(zhǔn)部分的深度范圍的度量。通過(guò)使用數(shù)字顯微 鏡采集的圖像典型地以高數(shù)值孔徑采集。以高數(shù)值孔徑獲得的圖像一般對(duì)從樣品到物鏡的 距離高度敏感。甚至幾微米的偏差可足夠使樣品立即處于離焦。另外，甚至在顯微鏡的單 個(gè)視場(chǎng)內(nèi)，僅通過(guò)調(diào)節(jié)光學(xué)系統(tǒng)使整個(gè)樣品一次聚焦可能是不可能的。此外，該問(wèn)題在掃描顯微鏡的情況下進(jìn)一步擴(kuò)大，其中要采集的圖像從多個(gè)視場(chǎng) 合成。除樣品的變化外，顯微鏡載玻片具有它的表面形貌上的變化。當(dāng)提升、降低和傾轉(zhuǎn)載 玻片時(shí)，用于在垂直于顯微鏡的光軸的平面上平移載玻片的機(jī)構(gòu)也可在圖像質(zhì)量中引入不 完美，由此導(dǎo)致在采集的圖像中的不完美聚焦。另外，不完美聚焦的問(wèn)題在設(shè)置在載玻片上 的樣品在顯微鏡的單個(gè)視場(chǎng)內(nèi)不是充分平坦的情況下進(jìn)一步惡化。具體地，設(shè)置在載玻片 上的這些樣品可具有可觀數(shù)量的在非載玻片平面內(nèi)的材料。許多技術(shù)已經(jīng)開(kāi)發(fā)用于成像，其解決與將具有可觀數(shù)量的在非平面內(nèi)的材料的樣 品成像關(guān)聯(lián)的問(wèn)題。這些技術(shù)一般需要捕捉顯微鏡的整個(gè)視場(chǎng)并且將它們縫合在一起。然 而，當(dāng)樣品的深度在單個(gè)視場(chǎng)內(nèi)顯著變化時(shí)這些技術(shù)的使用引起聚焦不足。共焦顯微鏡已 經(jīng)被采用以獲得三維(3D)顯微鏡場(chǎng)景的深度信息。然而，這些系統(tǒng)趨向于是復(fù)雜并且昂貴 的。同樣，因?yàn)楣步癸@微鏡典型限制于顯微鏡樣本的成像，它們對(duì)于將宏觀場(chǎng)景成像一般是 不實(shí)用的。某些其他技術(shù)通過(guò)采集并且保留在多個(gè)焦平面的圖像來(lái)解決當(dāng)樣品的深度在單 個(gè)視場(chǎng)內(nèi)顯著變化時(shí)的自動(dòng)聚焦的問(wèn)題。盡管這些技術(shù)提供顯微鏡的操作者熟悉的圖像， 這些技術(shù)要求保留3-4倍的數(shù)據(jù)量，并且對(duì)于高吞吐量?jī)x器這很可能是成本不允許的。另外，某些其他當(dāng)前可用的技術(shù)牽涉將圖像分成固定區(qū)域并且基于在這些區(qū)域中 獲得的對(duì)比度選擇源圖像。不幸地，這些技術(shù)的使用在產(chǎn)生的圖像中引入不滿(mǎn)意的偽像。此 外，這些技術(shù)趨向于產(chǎn)生具有有限聚焦質(zhì)量的圖像(特別當(dāng)面對(duì)在單個(gè)視場(chǎng)內(nèi)不是充分平 坦的設(shè)置在載玻片上的樣品時(shí))，由此限制這些顯微鏡在病理實(shí)驗(yàn)室中用于診斷這樣的樣品中的異常情況(特別在該診斷要求高放大率情況下)(如關(guān)于骨髓抽出物)。開(kāi)發(fā)配置成構(gòu)建具有有利地增強(qiáng)圖像質(zhì)量的增強(qiáng)景深的圖像的健全技術(shù)和系統(tǒng) 因此可是可取的。此外，需要有配置成將具有可觀的在非載玻片平面內(nèi)的材料的樣品準(zhǔn)確 成像的系統(tǒng)。

發(fā)明內(nèi)容
根據(jù)本技術(shù)的方面，提供用于成像的方法。該方法包括在多個(gè)樣品距離處采集對(duì) 應(yīng)于至少一個(gè)視場(chǎng)的多個(gè)圖像。此外，該方法包括確定對(duì)應(yīng)于在該多個(gè)采集的圖像的每個(gè) 中的每個(gè)像素的品質(zhì)因數(shù)。該方法還包括對(duì)于在該多個(gè)采集的圖像的每個(gè)中的每個(gè)像素， 識(shí)別該多個(gè)圖像中產(chǎn)生該像素的最好品質(zhì)因數(shù)的圖像。此外，該方法包括產(chǎn)生該多個(gè)圖像 中的每個(gè)圖像的陣列。另外，該方法包括基于確定的最好品質(zhì)因數(shù)填充陣列以產(chǎn)生填充的 陣列集。同樣，該方法包括使用位屏蔽處理該填充陣列集中的每個(gè)填充陣列以產(chǎn)生位屏蔽 濾波陣列。另外，該方法包括基于該位屏蔽濾波陣列從該多個(gè)圖像中的每個(gè)圖像選擇像素。 該方法還包括使用雙三次濾波器處理位屏蔽陣列以產(chǎn)生濾波輸出。此外，該方法包括按基 于該濾波輸出的橫跨該多個(gè)圖像的對(duì)應(yīng)像素的加權(quán)平均值來(lái)混合選擇的像素以產(chǎn)生具有 增強(qiáng)景深的復(fù)合圖像。根據(jù)本技術(shù)的另一個(gè)方面，提供成像裝置。該裝置包括物鏡。此外，該裝置包括配 置成產(chǎn)生樣品的多個(gè)圖像的初級(jí)圖像傳感器。另外，該裝置包括配置成沿光軸調(diào)節(jié)物鏡和 樣品之間的樣品距離以將樣品成像的控制器。該裝置還包括掃描臺(tái)以支撐樣品并且至少在 大致上正交于光軸的橫向上移動(dòng)樣品。此外，該裝置包括處理子系統(tǒng)以在多個(gè)樣品距離處 采集對(duì)應(yīng)于至少一個(gè)視場(chǎng)的多個(gè)圖像，確定對(duì)應(yīng)于在該多個(gè)采集的圖像的每個(gè)中的每個(gè)像 素的品質(zhì)因數(shù)，對(duì)于在該多個(gè)采集的圖像的每個(gè)中的每個(gè)像素，識(shí)別該多個(gè)圖像中產(chǎn)生該 像素的最好品質(zhì)因數(shù)的圖像，產(chǎn)生該多個(gè)圖像中的每個(gè)圖像的陣列，基于確定的最好品質(zhì) 因數(shù)填充陣列以產(chǎn)生填充的陣列集，使用位屏蔽處理該填充陣列集中的每個(gè)填充陣列以產(chǎn) 生位屏蔽濾波陣列，基于該位屏蔽濾波陣列從該多個(gè)圖像中的每個(gè)圖像選擇像素，使用雙 三次濾波器處理該位屏蔽陣列以產(chǎn)生濾波輸出，以及按基于該濾波輸出的橫跨該多個(gè)圖像 的對(duì)應(yīng)像素的加權(quán)平均值來(lái)混合選擇的像素以產(chǎn)生具有增強(qiáng)景深的復(fù)合圖像。


當(dāng)下列詳細(xì)說(shuō)明參照附圖(其中相似的符號(hào)在整個(gè)附圖中代表相似的部件)閱讀 時(shí)，本發(fā)明的這些和其他的特征、方面和優(yōu)勢(shì)將變得更好理解，其中圖1是例如數(shù)字光學(xué)顯微鏡等成像裝置的框圖，其包含本技術(shù)的方面；圖2是具有可觀的設(shè)置在非載玻片上平面內(nèi)的材料的樣品的圖解圖示；圖3-4是根據(jù)本技術(shù)的方面的多個(gè)圖像的采集的圖解圖示；圖5是圖示根據(jù)本技術(shù)的方面將例如在圖2中圖示的樣品等樣品成像的示范性過(guò) 程的流程圖；圖6是根據(jù)本技術(shù)的方面用于在圖5的成像的過(guò)程中使用的采集的圖像的部分的 圖解圖示；圖7-8是根據(jù)本技術(shù)的方面的圖6的采集的圖像的部分的分段的圖解圖示；以及
圖9A-9B是圖示根據(jù)本技術(shù)的方面合成復(fù)合圖像的方法的流程圖。
具體實(shí)施例方式如將在下文中詳細(xì)描述的，提供用于將例如具有可觀的在非載玻片平面內(nèi)的材料 的樣品等樣品成像、同時(shí)增強(qiáng)圖像質(zhì)量并且優(yōu)化掃描速度的方法和系統(tǒng)。通過(guò)采用在下文 中描述的方法和裝置，可獲得增強(qiáng)的圖像質(zhì)量和相當(dāng)大地增加的掃描速度，同時(shí)簡(jiǎn)化樣品 掃描的臨床工作流程。盡管，在下文中圖示的示范性實(shí)施例在數(shù)字顯微鏡的上下文中描述，將意識(shí)到成 像裝置在例如但不限于望遠(yuǎn)鏡、照相機(jī)或醫(yī)療掃描儀(例如X射線(xiàn)計(jì)算機(jī)斷層攝影術(shù)(CT) 成像系統(tǒng)等)等其他應(yīng)用中的使用也與本技術(shù)結(jié)合考慮。圖1圖示例如數(shù)字光學(xué)顯微鏡等成像裝置10的一個(gè)實(shí)施例，其包含本發(fā)明的方 面。該成像裝置10包括物鏡12、初級(jí)圖像傳感器16、控制器20和掃描臺(tái)22。在該圖示的 實(shí)施例中，樣品M設(shè)置在蓋玻片沈和載玻片觀之間，并且樣品對(duì)、蓋玻片沈和載玻片觀 由掃描臺(tái)22支撐。蓋玻片沈和載玻片觀可由例如玻璃等透明材料制成，同時(shí)樣品M可 代表很多種對(duì)象或樣品，包括生物樣品。例如，樣品M可代表例如集成電路芯片或微機(jī)電 系統(tǒng)(MEMQ等工業(yè)對(duì)象和例如包括肝或腎細(xì)胞的活體檢視組織等生物樣品。在非限制性 示例中，這樣的樣品可具有平均從大約5微米到大約7微米并且變化若干微米的厚度，并且 可具有大約15X15毫米的橫向表面積。更特別地，這些樣品可具有大量在非載玻片觀平 面內(nèi)的材料。物鏡12從樣品M分隔開(kāi)一樣品距離，其沿Z(豎直)方向上的光軸延伸，并且物 鏡12具有在大致上正交于Z或豎直方向的X-Y平面(橫向或水平方向)中的焦平面。物 鏡12采集從特定視場(chǎng)中的樣品M發(fā)射的光30，將該光30放大并且將該光30引導(dǎo)到初級(jí) 圖像傳感器16。物鏡12可根據(jù)例如應(yīng)用和待成像的樣品特征的尺寸而在放大倍率上變化。 通過(guò)非限制性示例，在一個(gè)實(shí)施例中，物鏡12可以是提供20X或更大放大率并且具有0. 5 或大于0. 5 (小焦深)的數(shù)值孔徑的高倍率物鏡。物鏡12可根據(jù)物鏡12的設(shè)計(jì)工作距離 從樣品M分隔開(kāi)一樣品距離(范圍在從大約200微米到大約幾毫米之間)，并且可從例如 在焦平面中的750X750微米的視場(chǎng)采集光30。然而，工作距離、視場(chǎng)和焦平面還可根據(jù)顯 微鏡配置或待成像的樣品M的特性而變化。此外，在一個(gè)實(shí)施例中，物鏡12可耦合于例如 壓力致動(dòng)器等位置控制器以向物鏡12提供精準(zhǔn)電動(dòng)機(jī)控制和快速微小視場(chǎng)調(diào)節(jié)。在一個(gè)實(shí)施例中，初級(jí)圖像傳感器16可使用例如初級(jí)光路32產(chǎn)生對(duì)應(yīng)于至少一 個(gè)視場(chǎng)的樣品M的一個(gè)或多個(gè)圖像。初級(jí)圖像傳感器16可代表例如基于從市場(chǎng)獲得的電 荷耦合器件(CCD)的圖像傳感器等任意數(shù)字成像裝置。此外，成像裝置10可使用包括明場(chǎng)、相位襯度(phase contrast)、微分干涉襯度 和熒光的很多種成像模式照射樣品24。從而，光30可使用明場(chǎng)、相位襯度或微分干涉襯度 從樣品M透射或反射，或光30可使用熒光從樣品M (熒光標(biāo)記的或固有的)發(fā)射。另外， 光30可使用透射型照射(其中光源和物鏡12在樣品M的相反側(cè)上)或反射型照射(其 中光源和物鏡12在樣品M的相同側(cè)上)產(chǎn)生。如此，成像裝置10可進(jìn)一步包括光源(例 如高強(qiáng)度LED或水銀或氙弧或金屬鹵化物燈等)，其為了圖示方便從圖中省略。此外，在一個(gè)實(shí)施例中，成像裝置10可以是配置成快速捕捉樣品M的大量原始數(shù)字圖像的高速成像裝置，其中每個(gè)初級(jí)圖像代表在特定視場(chǎng)的樣品M的快照。在某些實(shí)施 例中，該特定視場(chǎng)可以是整個(gè)樣品M的僅一小部分的代表。該原始數(shù)字圖像中的每個(gè)然后 可數(shù)字結(jié)合或縫合在一起以形成整個(gè)樣品M的數(shù)字表示。如之前提到的，初級(jí)圖像傳感器16可使用初級(jí)光路32產(chǎn)生對(duì)應(yīng)于至少一個(gè)視場(chǎng) 的樣品M的大量圖像。然而，在某些其他實(shí)施例中，初級(jí)圖像傳感器16可使用初級(jí)光路32 產(chǎn)生對(duì)應(yīng)于多個(gè)重疊視場(chǎng)的樣品M的大量圖像。在一個(gè)實(shí)施例中，成像裝置10捕捉并且 利用這些在變化的樣品距離獲得的樣品M的圖像以產(chǎn)生具有增強(qiáng)景深的樣品M的復(fù)合圖 像。此外，在一個(gè)實(shí)施例中，控制器20可調(diào)節(jié)物鏡12和樣品M之間的距離以便于與至少 一個(gè)視場(chǎng)關(guān)聯(lián)的多個(gè)圖像的采集。同樣，在一個(gè)實(shí)施例中，成像裝置10可存儲(chǔ)該多個(gè)采集 的圖像在數(shù)據(jù)存儲(chǔ)庫(kù)34和/或存儲(chǔ)器38中。根據(jù)本技術(shù)的方面，成像裝置10還可包括用于將例如具有在非載玻片觀平面內(nèi) 的材料的樣品M等樣品成像的示范性處理子系統(tǒng)36。特別地，該處理子系統(tǒng)36可配置成 確定對(duì)應(yīng)于在多個(gè)采集的圖像的每個(gè)中的每個(gè)像素的品質(zhì)因數(shù)。該處理子系統(tǒng)36還可配 置成基于確定品質(zhì)因數(shù)合成復(fù)合圖像。該處理子系統(tǒng)36的工作將參照?qǐng)D5-9更詳細(xì)地描 述。在目前考慮的配置中，盡管存儲(chǔ)器38示為從該處理子系統(tǒng)36分開(kāi)的，在某些實(shí)施例中， 該處理子系統(tǒng)36可包括存儲(chǔ)器38。另外，盡管目前考慮的配置描繪該處理子系統(tǒng)36為從 控制器20分開(kāi)的，在某些實(shí)施例中，該處理子系統(tǒng)36可與控制器20結(jié)合。精準(zhǔn)聚焦一般通過(guò)用致動(dòng)器在Z方向上調(diào)節(jié)物鏡12的位置達(dá)到。具體地，該致動(dòng) 器配置成在大致上垂直于載玻片觀的平面的方向上移動(dòng)物鏡12。在一個(gè)實(shí)施例中，該致動(dòng) 器可包括用于高速采集的壓電換能器。在某些其他實(shí)施例中，該致動(dòng)器可包括齒條-齒輪 傳動(dòng)機(jī)構(gòu)(rack and pinion mechanism)，其具有用于大范圍運(yùn)動(dòng)的電動(dòng)機(jī)和減速傳動(dòng)器 (motor and reduction drive)?？勺⒁獾匠上駟?wèn)題一般在設(shè)置在載玻片28上的樣品M在顯微鏡的單個(gè)視場(chǎng)內(nèi)不 是平的情況下出現(xiàn)。特別地，樣品M可具有在非載玻片觀平面內(nèi)的材料，由此產(chǎn)生聚焦欠 佳的圖像?，F(xiàn)在參照?qǐng)D2，描繪載玻片觀和設(shè)置在其上的樣品M的圖解圖示40。如在圖 2中描繪的，在某些情況下，設(shè)置在載玻片觀上的樣品M可不是平的。通過(guò)示例，當(dāng)樣品 M被去物質(zhì)形態(tài)時(shí)，樣品M的材料膨脹由此致使樣品在顯微鏡的單個(gè)視場(chǎng)內(nèi)具有在非載 玻片觀平面內(nèi)的材料。因此，樣品的某些區(qū)域可能對(duì)于給定的樣品距離是離焦的。因此， 如果物鏡12聚焦在關(guān)于樣品M的第一樣品距離處，例如在較低的成像平面A42處等，那么 樣品M的中心將是離焦的。相反，如果物鏡12聚焦在第二樣品距離，例如在較高成像平面 B44處等，那么樣品M的邊緣將是離焦的。更具體地，可能不存在其中整個(gè)樣品M處于可 接受的聚焦的折衷樣品距離。術(shù)語(yǔ)“樣品距離”在下文中用于指物鏡12和待成像的樣品M 之間的分開(kāi)距離。同樣，術(shù)語(yǔ)“樣品距離”和“焦距”可交換地使用。根據(jù)本技術(shù)的示范性方面，成像裝置10可配置成提高景深，由此允許具有實(shí)質(zhì)表 面形貌的樣品被準(zhǔn)確成像。為此，成像裝置10可配置成采集對(duì)應(yīng)于至少一個(gè)視場(chǎng)的多個(gè)圖 像同時(shí)物鏡12放置在離樣品M —系列樣品距離處，確定對(duì)應(yīng)于在該多個(gè)圖像中的每個(gè)像 素的品質(zhì)因數(shù)并且基于確定的品質(zhì)因數(shù)合成復(fù)合圖像。因此，在一個(gè)實(shí)施例中，多個(gè)圖像可通過(guò)將物鏡12放置在離樣品M的多個(gè)對(duì)應(yīng)樣 品距離(Z高度)處采集，同時(shí)掃描臺(tái)22和樣品M留在固定X-Y位置。在某些其他實(shí)施例中，多個(gè)圖像可通過(guò)在Z方向上移動(dòng)物鏡12和在X-Y方向上移動(dòng)掃描臺(tái)22 (和樣品24)采集。圖3是通過(guò)將物鏡12放置在離樣品M的多個(gè)對(duì)應(yīng)的樣品距離(Z高度)處同時(shí) 掃描臺(tái)22和樣品M留在固定X-Y位置來(lái)采集多個(gè)圖像的方法的圖解圖示50。具體地，對(duì) 應(yīng)于單個(gè)視場(chǎng)的多個(gè)圖像可通過(guò)將物鏡12放置在關(guān)于樣品M的多個(gè)樣品距離處采集。如 本文使用的，術(shù)語(yǔ)“視場(chǎng)”用于指來(lái)自其中的光到達(dá)初級(jí)圖像傳感器16的工作表面上的載 玻片觀的區(qū)域。標(biāo)號(hào)5254和56分別是通過(guò)將物鏡12分別放置在關(guān)于樣品M的第一樣 品距離、第二樣品距離和第三樣品距離處獲得的第一圖像、第二圖像和第三圖像的代表。同 樣，標(biāo)號(hào)53是對(duì)應(yīng)于物鏡12的單個(gè)視場(chǎng)的第一圖像52的部分的代表。相似地，標(biāo)號(hào)55是 對(duì)應(yīng)于物鏡12的單個(gè)視場(chǎng)的第一圖像M的部分的代表。此外，標(biāo)號(hào)57是對(duì)應(yīng)于物鏡12 的單個(gè)視場(chǎng)的第三圖像52的部分的代表。通過(guò)示例，當(dāng)物鏡12分別放置在關(guān)于樣品M的第一、第二和第三樣品距離處時(shí)成 像裝置10可使用初級(jí)圖像傳感器16捕捉第一圖像52、第二圖像M和第三圖像56?？刂?器20或致動(dòng)器可在第一方向上移置物鏡12。在一個(gè)實(shí)施例中，第一方向可包括Z方向。因 此，控制器20可在Z方向上關(guān)于樣品M移置或豎直移位物鏡12以獲得在多個(gè)樣品距離處 的多個(gè)圖像。在圖3中圖示的示例中，控制器20可在Z方向上關(guān)于樣品M豎直移位物鏡 12同時(shí)保持掃描臺(tái)22在固定X-Y位置以獲得在多個(gè)樣品距離處的多個(gè)圖像52、54、56，其 中多個(gè)圖像52、54、56對(duì)應(yīng)于單個(gè)視場(chǎng)。備選地，控制器20可豎直移位掃描臺(tái)22和樣品M 同時(shí)物鏡12留在固定豎直位置，或控制器20可豎直移位掃描臺(tái)22 (和樣品24)和物鏡12 兩者。這樣采集的圖像可存儲(chǔ)在存儲(chǔ)器38 (參見(jiàn)圖1)中。備選地，圖像可存儲(chǔ)在數(shù)據(jù)存儲(chǔ) 庫(kù)34(參見(jiàn)圖1)中。根據(jù)本技術(shù)的另外方面，可采集對(duì)應(yīng)多個(gè)視場(chǎng)的多個(gè)圖像。具體地，可采集對(duì)應(yīng)于 重疊視場(chǎng)的多個(gè)圖像?，F(xiàn)在轉(zhuǎn)向圖4，描繪當(dāng)物鏡12在第一方向(Z方向)上移動(dòng)并且掃 描臺(tái)22(和樣品24)在第二方向上移動(dòng)時(shí)多個(gè)圖像的采集的圖解圖示60?？勺⒁獾皆谀?些實(shí)施例中，第二方向可大致上正交于第一方向。同樣，在一個(gè)實(shí)施例中，第二方向可包括 X-Y方向。更特別地，描繪對(duì)應(yīng)于多個(gè)重疊視場(chǎng)的多個(gè)圖像的采集。標(biāo)號(hào)62、64和66分別 是通過(guò)將物鏡12分別放置在關(guān)于樣品M的第一樣品距離、第二樣品距離和第三樣品距離 處同時(shí)掃描臺(tái)22在X-Y方向上移動(dòng)時(shí)獲得的第一圖像、第二圖像和第三圖像的代表?？勺⒁獾轿镧R12的視場(chǎng)隨掃描臺(tái)22在X-Y方向上運(yùn)動(dòng)而移位。根據(jù)本技術(shù)的方 面，可評(píng)價(jià)多個(gè)采集的圖像之間的大致上相似的區(qū)域。因此，與掃描臺(tái)22的運(yùn)動(dòng)同步移位 的區(qū)域可選擇使得相同的區(qū)域在每個(gè)樣品距離處評(píng)價(jià)。標(biāo)號(hào)63、65和67可分別是在第一 圖像62、第二圖像64和第三圖像66中與掃描臺(tái)22的運(yùn)動(dòng)同步移位的區(qū)域的代表。在圖4中圖示的示例中，控制器20可豎直移位物鏡12同時(shí)還在X_Y方向上移動(dòng) 掃描臺(tái)22 (和樣品24)以便于在不同樣品距離處對(duì)應(yīng)于重疊視場(chǎng)的圖像的采集使得每個(gè)視 場(chǎng)的每個(gè)部分在不同的樣品距離處采集。具體地，可采集多個(gè)圖像62、64和66使得對(duì)于掃 描臺(tái)22的任何給定X-Y位置，存在多個(gè)圖像62、64和66之間的大量重疊。因此，在一個(gè)實(shí) 施例中，可對(duì)樣品M掃描超出感興趣區(qū)并且對(duì)應(yīng)于不具有圖像平面之間的重疊的區(qū)域的 圖像數(shù)據(jù)可隨后被丟棄。這些圖像可存儲(chǔ)在存儲(chǔ)器38中。備選地，這些采集的圖像可存儲(chǔ) 在數(shù)據(jù)存儲(chǔ)庫(kù)；34中。
再次參照?qǐng)D1，根據(jù)本技術(shù)的示范性方面，一旦對(duì)應(yīng)于至少一個(gè)視場(chǎng)的多個(gè)圖像被 采集，成像裝置10可確定在多個(gè)樣品距離處捕捉的樣品M的相應(yīng)多個(gè)采集的圖像的定量 特性。定量特性代表圖像質(zhì)量的定量測(cè)量并且還可稱(chēng)為品質(zhì)因數(shù)。在一個(gè)實(shí)施例中，品質(zhì) 因數(shù)可包括梯度矢量的離散近似。更特別地，在一個(gè)實(shí)施例中，品質(zhì)因數(shù)可包括綠色通道的 強(qiáng)度關(guān)于綠色通道的空間位置的梯度矢量的離散近似。因此，在某些實(shí)施例中，成像裝置10 并且更特別地處理子系統(tǒng)36可配置成確定多個(gè)采集圖像的每個(gè)中的每個(gè)像素的采用以下 形式的品質(zhì)因數(shù)對(duì)綠色通道的強(qiáng)度關(guān)于綠色通道的空間位置的梯度矢量的離散近似。在 某些實(shí)施例中，低通濾波器可應(yīng)用于梯度以在梯度的計(jì)算期間消除任何噪音?？勺⒁獾奖M 管品質(zhì)因數(shù)描述為綠色通道的強(qiáng)度關(guān)于綠色通道的空間位置的梯度矢量的離散近似，使用 例如但不限于拉普拉斯算子濾波器、Sobel濾波器、Canny邊緣檢測(cè)器或局部圖像對(duì)比度的 估計(jì)等其他品質(zhì)因數(shù)也與本技術(shù)結(jié)合考慮。每個(gè)采集的圖像可由成像裝置10處理以通過(guò)確定對(duì)應(yīng)于圖像中的每個(gè)像素的品 質(zhì)因數(shù)提取關(guān)于聚焦質(zhì)量的信息。更特別地，處理子系統(tǒng)36可配置成確定對(duì)應(yīng)于在多個(gè)采 集的圖像的每個(gè)中的每個(gè)像素的品質(zhì)因數(shù)。如之前提到的，在某些實(shí)施例中，對(duì)應(yīng)于每個(gè)像 素的品質(zhì)因數(shù)可包括對(duì)梯度矢量的離散近似。具體地，在一個(gè)實(shí)施例中，品質(zhì)因數(shù)可包括對(duì) 綠色通道的強(qiáng)度關(guān)于綠色通道的空間位置的梯度矢量的離散近似。備選地，品質(zhì)因數(shù)可包 括拉斯算子濾波器、Sobel濾波器、Canny邊緣檢測(cè)器或局部圖像對(duì)比度的估計(jì)。隨后，根據(jù)本技術(shù)的方面，對(duì)于在每個(gè)采集的圖像中的每個(gè)像素，處理子系統(tǒng)36 可配置成在多個(gè)圖像中找出產(chǎn)生對(duì)應(yīng)于橫跨多個(gè)采集的圖像的該像素的最好品質(zhì)因數(shù)的 圖像。如本文使用的，術(shù)語(yǔ)“最好品質(zhì)因數(shù)”可用于指在空間位置產(chǎn)生最好聚焦質(zhì)量的品質(zhì) 因數(shù)。此外，對(duì)于在每個(gè)圖像中的每個(gè)像素，處理子系統(tǒng)36可配置成指派第一值給該像素 (如果對(duì)應(yīng)圖像產(chǎn)生最好品質(zhì)因數(shù))。另外，處理子系統(tǒng)36還可配置成指派第二值給像素 (如果在多個(gè)圖像中的另一個(gè)圖像產(chǎn)生最好品質(zhì)因數(shù))。在某些實(shí)施例中，第一值可以是 “1”，而第二值可以是“O”。這些指派值可存儲(chǔ)在數(shù)據(jù)存儲(chǔ)庫(kù)34和/或存儲(chǔ)器38中。根據(jù)本技術(shù)的另外的方面，處理子系統(tǒng)36還可配置成基于確定的品質(zhì)因數(shù)合成 復(fù)合圖像。更特別地，該復(fù)合圖像可基于指派給像素的值合成。在一個(gè)實(shí)施例中，這些指派 值可采用陣列的形式存儲(chǔ)?？勺⒁獾奖M管本技術(shù)描述使用陣列以存儲(chǔ)指派值，還設(shè)想用于 存儲(chǔ)指派值的其他技術(shù)。因此，處理子系統(tǒng)36可配置成產(chǎn)生對(duì)應(yīng)于多個(gè)采集的圖像中的每 個(gè)的陣列。同樣，在一個(gè)實(shí)施例中，這些陣列可具有與對(duì)應(yīng)采集的圖像的尺寸大致上相似的 尺寸。一旦這些陣列產(chǎn)生，可填充在每個(gè)陣列中的每個(gè)元素。根據(jù)本技術(shù)的方面，在陣列 中的元素可基于對(duì)應(yīng)于該像素的品質(zhì)因數(shù)填充。更特別地，如果在圖像中的像素被指派第 一值，那么在對(duì)應(yīng)陣列中的對(duì)應(yīng)元素可被指派第一值。采用相似的方式，在對(duì)應(yīng)于像素的陣 列中的元素可被指派第二值(如果在對(duì)應(yīng)圖像中的該像素被指派第二值)。處理子系統(tǒng)36 可配置成基于指派給在采集的圖像中的像素的值填充所有陣列。在該處理之后，可產(chǎn)生填 充陣列集。填充的陣列也可存儲(chǔ)在例如數(shù)據(jù)存儲(chǔ)庫(kù)34和/或存儲(chǔ)器38中。在某些實(shí)施例中，處理子系統(tǒng)36還可通過(guò)位屏蔽(bit mask)處理填充的陣列集 以產(chǎn)生位屏蔽濾波陣列。通過(guò)示例，通過(guò)位屏蔽濾波器處理填充陣列可便于產(chǎn)生僅包括具 有第一值的元素的位屏蔽濾波陣列。
另外，處理子系統(tǒng)36可基于位屏蔽濾波陣列從多個(gè)采集的圖像中的每個(gè)選擇像 素。具體地，在一個(gè)實(shí)施例中，可選擇對(duì)應(yīng)于在關(guān)聯(lián)的位屏蔽濾波陣列中具有第一值的元素 的在采集的圖像中的像素。此外，處理子系統(tǒng)36可使用選擇的像素混合采集的圖像以產(chǎn)生 復(fù)合圖像。然而，這樣的多個(gè)采集的圖像的混合可在復(fù)合圖像中產(chǎn)生不期望的混合偽像。在 某些實(shí)施例中，不期望的混合偽像可包括條帶的形成，例如在復(fù)合圖像中的馬赫帶等。根據(jù)本技術(shù)的方面，采用條帶形式的不期望的混合偽像可通過(guò)對(duì)位屏蔽濾波陣列 應(yīng)用濾波器使得平滑從一個(gè)圖像到下一個(gè)的轉(zhuǎn)變而相當(dāng)大地最小化。更特別地，根據(jù)本技 術(shù)的方面，條帶可通過(guò)使用雙三次低通濾波器平滑從一個(gè)圖像到下一個(gè)的轉(zhuǎn)變而相當(dāng)大地 最小化。通過(guò)雙三次濾波器處理位屏蔽濾波陣列引起濾波輸出的產(chǎn)生。在某些實(shí)施例中， 濾波輸出可包括對(duì)應(yīng)于多個(gè)圖像的雙三次濾波陣列。處理子系統(tǒng)36然后可配置成使用該 濾波輸出作為α通道以將圖像混合在一起以產(chǎn)生復(fù)合圖像。特別地，在α混合中，一般在 從大約0到大約1的范圍中的權(quán)重可指派給在多個(gè)圖像的每個(gè)中的每個(gè)像素。該指派的權(quán) 重一般可命名為α。具體地，在最終復(fù)合圖像中的每個(gè)像素可通過(guò)對(duì)在采集的圖像中的像 素值和它們的對(duì)應(yīng)α值的乘積求和并且將該總和除以α值的總和來(lái)計(jì)算。在一個(gè)實(shí)施例 中，在復(fù)合圖像中的每個(gè)像素(Rc，Gc，Bc)可計(jì)算為
權(quán)利要求
1.一種用于成像的方法，其包括在多個(gè)樣品距離處采集對(duì)應(yīng)于至少一個(gè)視場(chǎng)的多個(gè)圖像； 確定對(duì)應(yīng)于在所述多個(gè)采集的圖像的每個(gè)中的每個(gè)像素的品質(zhì)因數(shù)； 對(duì)于在所述多個(gè)采集的圖像的每個(gè)中的每個(gè)像素，識(shí)別所述多個(gè)圖像中產(chǎn)生該像素的 最好品質(zhì)因數(shù)的圖像；產(chǎn)生所述多個(gè)圖像中的每個(gè)圖像的陣列；基于所述確定的最好品質(zhì)因數(shù)填充所述陣列以產(chǎn)生填充的陣列集； 使用位屏蔽處理所述填充陣列集中的每個(gè)填充陣列以產(chǎn)生位屏蔽濾波陣列； 基于所述位屏蔽濾波陣列從所述多個(gè)圖像中的每個(gè)圖像選擇像素； 使用雙三次濾波器處理所述位屏蔽陣列以產(chǎn)生濾波輸出；以及 按基于所述濾波輸出的橫跨所述多個(gè)圖像的對(duì)應(yīng)像素的加權(quán)平均值來(lái)混合選擇的像 素以產(chǎn)生具有增強(qiáng)景深的復(fù)合圖像。
2.如權(quán)利要求1所述的方法，其中所述品質(zhì)因數(shù)包括對(duì)梯度向量的離散近似。
3.如權(quán)利要求2所述的方法，其中對(duì)所述梯度向量的所述離散近似包括對(duì)綠色通道的 強(qiáng)度關(guān)于所述綠色通道的空間位置的梯度矢量的離散近似。
4.如權(quán)利要求1所述的方法，其中在多個(gè)樣品距離處采集對(duì)應(yīng)于所述至少一個(gè)視場(chǎng)的 所述多個(gè)圖像包括沿第一方向移置所述物鏡。
5.如權(quán)利要求4所述的方法，進(jìn)一步包括沿第二方向移動(dòng)所述掃描臺(tái)。
6.如權(quán)利要求5所述的方法，其中所述第一方向包括Z方向，并且其中所述第二方向包 括X-Y方向。
7.如權(quán)利要求1所述的方法，其中識(shí)別所述多個(gè)圖像中產(chǎn)生該像素的最好品質(zhì)因數(shù)的 圖像包括如果對(duì)應(yīng)于像素的圖像產(chǎn)生最好品質(zhì)因數(shù)，指派第一值給該像素， 如果在另一個(gè)圖像中的對(duì)應(yīng)像素產(chǎn)生最好品質(zhì)因數(shù)，指派第二值給所述像素。
8.如權(quán)利要求7所述的方法，其中填充所述陣列包括如果所述多個(gè)圖像中的一個(gè)中對(duì)應(yīng)于像素的品質(zhì)因數(shù)確定為比在其他圖像中的每個(gè) 中對(duì)應(yīng)于所述像素的每個(gè)品質(zhì)因數(shù)更好，指派第一值給陣列中與該像素關(guān)聯(lián)的對(duì)應(yīng)元素； 以及如果對(duì)應(yīng)于所述像素的品質(zhì)因數(shù)沒(méi)有產(chǎn)生橫跨所述多個(gè)圖像的最好品質(zhì)因數(shù)，指派第 二值給所述陣列中與所述像素關(guān)聯(lián)的對(duì)應(yīng)元素。
9.如權(quán)利要求8所述的方法，進(jìn)一步包括在顯示器上顯示所述復(fù)合圖像。
10.一種成像裝置(10)，其包括 物鏡(12)；配置成產(chǎn)生樣品04)的多個(gè)圖像的初級(jí)圖像傳感器(16)；配置成沿光軸調(diào)節(jié)所述物鏡(1 和所述樣品04)之間的樣品距離以將所述樣品04) 成像的控制器OO)；掃描臺(tái)02)以支撐所述樣品04)并且至少在大致上正交于所述光軸的橫向上移動(dòng)所 述樣品(24)；處理子系統(tǒng)(36)，其用于在多個(gè)樣品距離處采集對(duì)應(yīng)于至少一個(gè)視場(chǎng)的多個(gè)圖像； 確定對(duì)應(yīng)于所述多個(gè)采集的圖像的每個(gè)中的每個(gè)像素的品質(zhì)因數(shù)； 對(duì)于在所述多個(gè)采集的圖像的每個(gè)中的每個(gè)像素，識(shí)別所述多個(gè)圖像中產(chǎn)生該像素的 最好品質(zhì)因數(shù)的圖像；產(chǎn)生所述多個(gè)圖像中的每個(gè)圖像的陣列； 基于所確定的最好品質(zhì)因數(shù)填充所述陣列以產(chǎn)生填充的陣列集； 使用位屏蔽處理所述填充陣列集中的每個(gè)填充陣列以產(chǎn)生位屏蔽濾波陣列； 基于所述位屏蔽濾波陣列從所述多個(gè)圖像中的每個(gè)圖像選擇像素； 使用雙三次濾波器處理所述位屏蔽陣列以產(chǎn)生濾波輸出；以及 按基于所述濾波輸出的橫跨所述多個(gè)圖像的對(duì)應(yīng)像素的加權(quán)平均值來(lái)混合選擇的像 素以產(chǎn)生具有增強(qiáng)景深的復(fù)合圖像。
全文摘要
提供用于成像的方法。該方法包括在多個(gè)樣品距離處采集對(duì)應(yīng)于至少一個(gè)視場(chǎng)的多個(gè)圖像；確定對(duì)應(yīng)于在該多個(gè)采集的圖像的每個(gè)中的每個(gè)像素的品質(zhì)因數(shù)；對(duì)于在該多個(gè)采集的圖像的每個(gè)中的每個(gè)像素識(shí)別在該多個(gè)圖像中產(chǎn)生該像素的最好品質(zhì)因數(shù)的圖像；產(chǎn)生在該多個(gè)圖像中的每個(gè)圖像的陣列；基于確定的最好品質(zhì)因數(shù)填充陣列以產(chǎn)生填充的陣列集；使用位屏蔽處理在該填充陣列集中的每個(gè)填充陣列以產(chǎn)生位屏蔽濾波陣列；基于該位屏蔽濾波陣列從在該多個(gè)圖像中的每個(gè)圖像選擇像素；使用雙三次濾波器處理該位屏蔽陣列以產(chǎn)生濾波輸出；按基于該濾波輸出的橫跨該多個(gè)圖像的對(duì)應(yīng)像素的加權(quán)平均值來(lái)混合選擇的像素以產(chǎn)生具有增強(qiáng)景深的復(fù)合圖像。
文檔編號(hào)G02B21/36GK102053357SQ201010522468
公開(kāi)日2011年5月11日 申請(qǐng)日期2010年10月15日 優(yōu)先權(quán)日2009年10月15日
發(fā)明者D·L·亨德森, K·B·肯尼 申請(qǐng)人:通用電氣公司