專利名稱：一種基于顯微成像檢測(cè)的高動(dòng)態(tài)圖像獲取裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明屬高精度顯微成像檢測(cè)技術(shù)領(lǐng)域，特別是涉及一種基于顯微成像檢測(cè)的高動(dòng)態(tài) 圖像獲取裝置及其方法。在激光束精細(xì)加工領(lǐng)域、半導(dǎo)體微電子行業(yè)、光通訊、光存儲(chǔ)、 航天工業(yè)、生物芯片及生物細(xì)胞自動(dòng)識(shí)別等方面有廣泛應(yīng)用。
背景技術(shù)：
隨著科學(xué)技術(shù)的高速發(fā)展，精細(xì)加工的精度不斷提高和加工對(duì)象的不斷變化，對(duì)顯微 圖像幾何量的檢測(cè)提出了越來(lái)越高的要求,尤其在激光束精細(xì)加工領(lǐng)域，其產(chǎn)品己深入影 響到全球經(jīng)濟(jì)發(fā)展的各大領(lǐng)域，另外在半導(dǎo)體微電子行業(yè)、光通訊、光存儲(chǔ)、航天工業(yè)、 生物芯片等產(chǎn)品的顯微圖像檢測(cè)也顯得越來(lái)越重要。精細(xì)加工的高精度檢測(cè)一直是工業(yè)生 產(chǎn)和科學(xué)研究的重要部分。
在顯微成像檢測(cè)中，目前通常廣泛地采用顯微鏡、數(shù)字CCD及計(jì)算機(jī)和應(yīng)用軟件等構(gòu) 成觀察、檢測(cè)系統(tǒng)。由于在目前的制造技術(shù)條件下，CCD圖像傳感器的動(dòng)態(tài)范圍是由它的 信號(hào)飽和電平和噪聲電平?jīng)Q定。它反映了器件在不同光照度下的工作范圍。其數(shù)值可以用 輸出端的信號(hào)峰值電壓與均方根噪聲電壓的比值來(lái)表示，其單位符號(hào)通常為d5， 一般為 60~8(k/5，而人眼在觀察目標(biāo)時(shí)，可以看清目標(biāo)的最低照度為l/x，在夏天的中午，當(dāng)目
標(biāo)照度達(dá)到3xl()S/x時(shí)，人眼仍可以看清目標(biāo)。由此可知，通過(guò)眼睛瞳孔的自動(dòng)調(diào)節(jié)，人
眼分辨物體的動(dòng)態(tài)范圍大致為110t^，所以用動(dòng)態(tài)范圍較小的圖像傳感器記錄動(dòng)態(tài)范圍較 高的圖像，總會(huì)有圖像信息的丟失。對(duì)高動(dòng)態(tài)范圍的圖像的顯示也碰到同樣的困難， 一般 需進(jìn)行對(duì)數(shù)變換后進(jìn)行顯示。為了提高檢測(cè)的精度，現(xiàn)有的圖像處理方法是對(duì)某一幀圖像 進(jìn)行處理，如圖像的增強(qiáng)、校正和變換等處理，但其能力有限，對(duì)記錄時(shí)就已經(jīng)丟失的信 息是很難或根本不可能在后續(xù)的處理過(guò)程中得到恢復(fù)。如圖2 (a)為圖像傳感器動(dòng)態(tài)的動(dòng) 態(tài)響應(yīng)曲線，其響應(yīng)范圍為sr，而圖2 (b)表示的是待記錄的輸入顯微圖像的灰度直方 圖，灰度分布的動(dòng)態(tài)范圍為mv。由于只要s:t〈mv，用具有圖2 (a)的響應(yīng)特性的傳感 器就不可能把具有直方圖為圖2 (b)的圖像真實(shí)地記錄下來(lái)。對(duì)于一個(gè)特定的傳感器的動(dòng)
態(tài)響應(yīng)范圍sr是固定不變的，待記錄圖像的灰度級(jí)范圍Mv雖然不能改變，但是可以通過(guò)
改變圖像的光照強(qiáng)度來(lái)移動(dòng)，比如可使圖像整體變暗或整體變亮。圖像灰度范圍一旦進(jìn)入 傳感器線性響應(yīng)范圍內(nèi)，相應(yīng)的這一部分的結(jié)構(gòu)信息就能被真實(shí)地記錄下來(lái)。因此，從理 論說(shuō)，可以通過(guò)改變輸入圖像的光照強(qiáng)度來(lái)記錄下同一視場(chǎng)多幀圖像的方法，就可以實(shí)現(xiàn)記錄場(chǎng)景全部信息。
目前傳統(tǒng)顯微圖像檢測(cè)系統(tǒng)，其成像質(zhì)量受成像環(huán)境的影響大，當(dāng)光照一定的條件下， 通過(guò)CCD所獲取的顯微圖像的所攝取的動(dòng)態(tài)范圍較窄，特別是光照過(guò)亮或過(guò)暗，無(wú)法記錄 或表達(dá)檢測(cè)場(chǎng)景中亮區(qū)和暗區(qū)的場(chǎng)景的圖像信息，難以在滿足特定檢測(cè)環(huán)境下對(duì)微細(xì)精密 加工產(chǎn)品檢測(cè)質(zhì)量的要求，嚴(yán)重地影響其檢測(cè)的精確性與可靠性。為了得到工件加工清晰 顯微圖像，實(shí)現(xiàn)對(duì)加工效果進(jìn)行客觀分析、科學(xué)評(píng)判和精確測(cè)量，急需在觀察、檢測(cè)前提 高顯微圖像的動(dòng)態(tài)范圍，以獲取檢測(cè)場(chǎng)景的豐富信息。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是(l)顯微成像系統(tǒng)同一場(chǎng)景不同曝光的多幀圖像序列獲 取方法；(2)同一場(chǎng)景不同曝光顯微圖像序列的預(yù)處理和配準(zhǔn)技術(shù)；(3)高動(dòng)態(tài)圖像的合成算 法。本發(fā)明解決上述技術(shù)問(wèn)題，可獲取檢測(cè)過(guò)程中被檢視野的高動(dòng)態(tài)范圍顯微圖像，為集 成電路、激光精細(xì)加工及醫(yī)療生物的顯微檢測(cè)提供一個(gè)高精度檢測(cè)平臺(tái)。
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是提供一種基于顯微成像檢測(cè)的高動(dòng)態(tài)圖 像獲取裝置，包括顯微鏡和計(jì)算機(jī)系統(tǒng)，所述的顯微鏡的光源和載物平臺(tái)之間加裝由控制 電機(jī)和圓盤型光學(xué)梯度衰減器組成的光強(qiáng)控制裝置，并通過(guò)數(shù)字CCD圖像傳感器與計(jì)算機(jī) 系統(tǒng)相連，所述的計(jì)算機(jī)系統(tǒng)包括
(1) 顯微圖像光強(qiáng)控制及圖像獲取模塊由計(jì)算機(jī)控制圓盤型光學(xué)梯度衰減器旋轉(zhuǎn) 定位到不同的位置并進(jìn)行顯微圖像采集，以獲取同一視場(chǎng)不同光強(qiáng)度的顯微圖 像序列供后續(xù)處理，實(shí)現(xiàn)顯微圖像動(dòng)態(tài)范圍的擴(kuò)展；
(2) 圖像預(yù)處理和配準(zhǔn)模塊通過(guò)顯微圖像預(yù)處理消除成像過(guò)程中引入的噪聲；由 于在成像過(guò)程中，同一視場(chǎng)多幀不同曝光圖像之間可能存在平移和旋轉(zhuǎn)，對(duì)其 進(jìn)行精確配準(zhǔn)，以保證合成高質(zhì)量高動(dòng)態(tài)范圍顯微圖像；
(3) 高動(dòng)態(tài)顯微圖像合成處理模塊對(duì)同一視場(chǎng)多幀不同曝光的顯微圖像進(jìn)行分塊 處理，在圖像塊間設(shè)置重疊緩沖區(qū)；采用評(píng)價(jià)函數(shù)實(shí)現(xiàn)對(duì)同一位置不同光強(qiáng)的 圖像幀進(jìn)行塊的選擇，并利用圖像塊的統(tǒng)計(jì)特征生成調(diào)整因子對(duì)合成的顯微圖 像進(jìn)行灰度調(diào)整，對(duì)塊間的緩沖區(qū)像素進(jìn)行融合處理，實(shí)現(xiàn)同一視場(chǎng)多幀不同 曝光顯微圖像合成為一幀更高動(dòng)態(tài)范圍的顯微圖像。
所述的光學(xué)梯度衰減器，是由六個(gè)不同光強(qiáng)透過(guò)率的光學(xué)衰減片構(gòu)成，包括全透檔在 內(nèi)一共七檔，其實(shí)現(xiàn)光的透過(guò)率分別為100%, 80%， 60%， 40%， 20%， 10%，及1%。所述的顯微圖像光強(qiáng)控制及圖像獲取模塊采用計(jì)算機(jī)控制圓盤型光學(xué)梯度衰減器旋 轉(zhuǎn)定位至不同的位置以控制檢測(cè)系統(tǒng)顯微成像時(shí)不同光強(qiáng)，并在保證相機(jī)曝光時(shí)間相等的 條件下進(jìn)行顯微成像，以獲取同一視場(chǎng)不同光強(qiáng)多幀顯微圖像序列。
一種高動(dòng)態(tài)范圍顯微成像檢測(cè)系統(tǒng)的圖像獲取方法，包括下列步驟
(1) 首先通過(guò)計(jì)算機(jī)控制電機(jī)使圓盤型梯度衰減器旋轉(zhuǎn)定位至不同位置，以控制顯 微鏡視場(chǎng)的光強(qiáng)，并在保證曝光時(shí)間不變，利用數(shù)字CCD在不同光強(qiáng)條件下 成像，獲取同一視場(chǎng)7幀不同曝光強(qiáng)度的圖像序列；
(2) 對(duì)同一場(chǎng)景7幀不同曝光強(qiáng)度的顯微圖像序列先進(jìn)行高斯濾波后，再拉普拉斯 邊緣增強(qiáng)處理，實(shí)現(xiàn)濾除噪聲、強(qiáng)化圖像的邊緣特征；
(3) 以第4幀圖像為參考幀，并將其分成6個(gè)垂直的區(qū)間，每個(gè)區(qū)間選取一個(gè)特征 點(diǎn)，每一部分將從上到下進(jìn)行搜索，選擇灰度最大的點(diǎn)作為該區(qū)域上的特征點(diǎn)； 并根據(jù)所選取的特征點(diǎn)在其它圖像幀的對(duì)應(yīng)區(qū)域搜尋對(duì)應(yīng)的特征點(diǎn)，分別確定 其它的圖像幀相對(duì)于參考圖像在各區(qū)的局部運(yùn)動(dòng)矢量；
(4) 分別將各自局部運(yùn)動(dòng)矢量代入圖像運(yùn)動(dòng)模型，計(jì)算各幀與選定的參考幀的全局 運(yùn)動(dòng)矢量，其中包括平移量和旋轉(zhuǎn)量，并以之進(jìn)行同一場(chǎng)景7顯微圖像配準(zhǔn)；
(5) 從給定的CCD參數(shù)中，獲取其光照響應(yīng)曲線，或利用獲取的不同曝光圖像序列， 由Debevec算法，計(jì)算相機(jī)的光照響應(yīng)曲線；并對(duì)獲取的光照響應(yīng)曲線進(jìn)行變 換，得到一條光滑單調(diào)的反函數(shù)響應(yīng)曲線；
(6) 對(duì)同一視場(chǎng)的7幀己配準(zhǔn)的不同曝光的圖像進(jìn)行分塊，利用顯微圖像的點(diǎn)梯度 算法計(jì)算圖像的清晰度，CCD的光照響應(yīng)曲線的反函數(shù)估算圖像的信息量，并 在對(duì)其進(jìn)行歸一化處理基礎(chǔ)上，綜合圖像塊的清晰度和信息量，構(gòu)建出圖像評(píng)
價(jià)函數(shù)<formula>formula see original document page 6</formula>用于選擇不同曝光顯微圖像幀相同位置的相應(yīng)塊參
與最終顯微圖像的合成；
(7) 對(duì)已選定參與合成的顯微圖像塊，劃分塊間重疊緩沖區(qū)，分別采用左塊和上塊 的統(tǒng)計(jì)參數(shù)均值和方差構(gòu)成的調(diào)整因子來(lái)調(diào)整右塊和下塊圖像的整體灰度，以 解決圖像塊間的光照變化問(wèn)題；其處理的順序是先處理行塊，從左到右，再處 理列塊，從上到下；
(8) 將圖像重疊緩沖區(qū)域的像素進(jìn)行融合處理，融合因子采用圖像灰度位置線形平 滑過(guò)渡算法確定。采用像素值按一定的權(quán)值進(jìn)行融合相加，可使灰度逐漸過(guò)渡，避免顯微圖像變得模糊或出現(xiàn)明顯的邊界。 (9)最后輸出合成高動(dòng)態(tài)圖像/(X，力。
本發(fā)明利用VC++6.0開發(fā)器編程軟件，實(shí)現(xiàn)對(duì)光學(xué)梯度衰減片旋轉(zhuǎn)定位、數(shù)字CCD圖
像采集和數(shù)字圖像處理，包括圖像序列預(yù)處理、圖像配準(zhǔn)和高動(dòng)態(tài)圖像合成與顯示。
圓盤型光學(xué)梯度衰減器，是利用多片不同透過(guò)率的光學(xué)衰減片組合而成。光學(xué)衰減片 是利用物質(zhì)對(duì)光的吸收特性，制成片狀，放在光路上，實(shí)現(xiàn)將光強(qiáng)衰減。本發(fā)明的圓盤型
光學(xué)梯度衰減器是采用型號(hào)為ND80, ND60， ND40， ND20， ND10, ND1的光學(xué)衰減片 自制而成，包括全透檔在內(nèi)一共七檔，其實(shí)現(xiàn)光的透過(guò)率分別為100%， 80%， 60%， 40%， 20%, 10%及1%。經(jīng)測(cè)試，上述各種型號(hào)的光學(xué)衰減片對(duì)不同光譜的透過(guò)率如圖3所示。 首先，在保證CCD圖像傳感器曝光時(shí)間不變的條件下，由計(jì)算機(jī)系統(tǒng)控制光學(xué)梯度衰 減片到位置l，并通過(guò)數(shù)字CCD采集圖像到計(jì)算機(jī)內(nèi)存中，然后控制光學(xué)梯度衰減片到位 置2，通過(guò)數(shù)字CCD再采集同一視場(chǎng)的不同灰度另一幀圖像到計(jì)算機(jī)內(nèi)存中，......連續(xù)的
采集7幀不同灰度強(qiáng)度的同一場(chǎng)景圖像，它們包含了場(chǎng)景的豐富圖像信息，然后由后續(xù)的
處理合成一幀高動(dòng)態(tài)范圍輸出。
由于顯微成像設(shè)備在序列圖像成像過(guò)程中，不可避免地會(huì)出現(xiàn)抖動(dòng)或旋轉(zhuǎn)等情況，特 別是圓盤型光學(xué)梯度衰減器的旋轉(zhuǎn)會(huì)導(dǎo)致同一場(chǎng)景圖像間產(chǎn)生小的平移或旋轉(zhuǎn)，致使合成 的顯微圖像質(zhì)量下降，因此在圖像合成前，應(yīng)該先進(jìn)行不同曝光顯微圖像序列的配準(zhǔn)，同 一場(chǎng)景顯微圖像序列的配準(zhǔn)是保證合成高動(dòng)態(tài)圖像質(zhì)量的關(guān)鍵。本發(fā)明采用灰度特征點(diǎn)配 準(zhǔn)技術(shù)實(shí)現(xiàn)圖像序列的配準(zhǔn)。
由于顯微成像系統(tǒng)攝取的視頻圖像序列往往存在隨機(jī)分布的噪聲，即高斯噪聲，為了 能準(zhǔn)確地選取每一幀不同灰度圖像的特征點(diǎn)，則必須對(duì)圖像進(jìn)行預(yù)處理。L鄰lacian邊緣 檢測(cè)算子是對(duì)二維函數(shù)進(jìn)行運(yùn)算的二階微分算子，是偏導(dǎo)數(shù)運(yùn)算的線性組合。它將可在邊 緣處產(chǎn)生一個(gè)陡峭的零交叉。Laplacian檢測(cè)算子能增強(qiáng)所圍特征點(diǎn)所在的區(qū)域，同時(shí)能 減弱灰度變化小的區(qū)域，通常這些區(qū)域包圍著邊緣。另外Laplacian變換還具有旋轉(zhuǎn)不變 性，對(duì)于邊緣，不同的方向都能同等的被增強(qiáng)，所以經(jīng)過(guò)Laplacian變換后的圖像不會(huì)被 輸入圖像可能的旋轉(zhuǎn)所影響。因此可選擇Laplacian邊緣檢測(cè)算子進(jìn)行圖像進(jìn)行預(yù)處理， 有利于特征的提取。值得注意的是L即lacian算子不僅對(duì)像素灰度梯度變化很敏感同時(shí)對(duì) 噪聲也非常敏感，由于顯微系統(tǒng)所攝取的視頻圖像往往存在一些雜亂無(wú)章、隨機(jī)分布的噪 聲即高斯噪聲，為了能準(zhǔn)確地選取一幀圖像的特征點(diǎn)，本發(fā)明采用把高斯平滑濾波器和拉普拉斯銳化濾波器結(jié)合了起來(lái)的方法，先平滑掉噪聲，后進(jìn)行邊緣檢測(cè)，獲得了效果較好。
為了減小誤差，配準(zhǔn)的基本思想是把同一場(chǎng)景不同曝光圖像序列的中間幀(第4幀) 選為參考圖像幀或基準(zhǔn)圖像幀，而其它圖像幀與其配準(zhǔn)。
本發(fā)明提出一種利用特征點(diǎn)進(jìn)行圖像匹配的算法。其實(shí)現(xiàn)時(shí)先把圖像分成若干子區(qū)， 并在各個(gè)子區(qū)內(nèi)選取灰度最大值點(diǎn)作為特征點(diǎn)，用于子區(qū)局部運(yùn)動(dòng)矢量的計(jì)算，然后將算 出的局部運(yùn)動(dòng)矢量，代入給定的變換模型對(duì)當(dāng)前圖像進(jìn)行仿射變換，求出全局運(yùn)動(dòng)矢量， 包括平移矢量和旋轉(zhuǎn)矢量，最后實(shí)現(xiàn)圖像序列的配準(zhǔn)。
為了提高特征點(diǎn)的匹配運(yùn)算速度，本發(fā)明提出利用多分辨率匹配技術(shù)。單幀多分辨率 結(jié)構(gòu)，底層為最高分辨率(即原始圖像)。層越高，圖像分辨率越低。用不同的低通濾波 器或二次抽樣就可獲得相應(yīng)的低分辨率的圖像。多分辨率匹配的思想是從最低分辨率級(jí)開 始，逐次地，在每一層進(jìn)行運(yùn)動(dòng)估計(jì)，由較低分辨率級(jí)確定位移粗估計(jì)。這樣，在較高分 辨率級(jí)下，用前一較低分辨率級(jí)位移矢量作為起始估計(jì)進(jìn)行匹配，可使位移矢量估計(jì)得到 精細(xì)的調(diào)整，不僅有一較理想的初始值，還可以實(shí)現(xiàn)用較小的搜索窗達(dá)到較大的搜索范圍。 可用高斯多分辨率錐形層次圖或拉普拉斯多分辨率錐形層次圖實(shí)現(xiàn)特征點(diǎn)的匹配。
在求出局部運(yùn)動(dòng)矢量后，本發(fā)明采用以下二維的運(yùn)動(dòng)模型，來(lái)確定表征圖像幀間的平 移量和旋轉(zhuǎn)矢量。這種變換模型可定義如下-
<formula>formula see original document page 8</formula>
(1)
在這里，(X,.,")和(Z,")是在不同時(shí)間/,和。.時(shí)，所攝取同一視場(chǎng)兩幀顯微圖像像素
的坐標(biāo)，其中(Z,^)是參考圖像，(AZ，Ayy是在參考幀圖像坐標(biāo)系下所測(cè)的平移矢量，0
是兩幀圖像的旋轉(zhuǎn)角度。通過(guò)代入N個(gè)匹配的特征點(diǎn)即可得一個(gè)線性方程組。每一對(duì)特征 點(diǎn)可得到兩個(gè)方程，因此，線形系統(tǒng)共有2N個(gè)方程、3個(gè)未知量，B卩O、 AZ和AF。
通過(guò)解線形方程組，可以得到兩幀圖像間的旋轉(zhuǎn)和平移的運(yùn)動(dòng)參數(shù)P和Ax、 Ay。最后利
用所得的運(yùn)動(dòng)參數(shù)對(duì)當(dāng)前圖像進(jìn)行平移和旋轉(zhuǎn)，實(shí)現(xiàn)其與參考圖像的配準(zhǔn)。
本申請(qǐng)所述的圖像合成模塊，主要包括實(shí)現(xiàn)以下兩個(gè)方面的處理。 一是對(duì)同一視場(chǎng)配 準(zhǔn)的多幀不同光強(qiáng)的顯微圖像幀進(jìn)行分塊處理，并利用顯微圖像的點(diǎn)梯度能量和CCD的光 照響應(yīng)曲線構(gòu)建出判決函數(shù)，確定不同曝光顯微圖像幀相同位置的相應(yīng)塊參與最終顯微圖 像的合成。二是由于所選擇用于圖像合成的圖像塊可能來(lái)自不同圖像幀，直接對(duì)圖像塊進(jìn)行拼接，其圖像的灰度變化和塊效應(yīng)將會(huì)過(guò)于明顯，采用圖像塊間設(shè)置重疊緩沖區(qū)方法， 如圖5所示，對(duì)塊間的灰度處理，采用左塊和上塊的統(tǒng)計(jì)參數(shù)均值和方差構(gòu)成的調(diào)整因子， 調(diào)整右塊和下塊圖像的整體亮度，以解決光照變化問(wèn)題；采用融合算法實(shí)現(xiàn)塊間重疊緩沖 區(qū)圖像信息融合，以消除其塊效用。
首先要求知道數(shù)字CCD的光照響應(yīng)曲線，即輻照度響應(yīng)函數(shù)。CCD的光照響應(yīng)曲線可 以從給定的CCD參數(shù)中獲取，或利用獲取的不同曝光圖像序列，根據(jù)Debevec算法，計(jì)算 相機(jī)的光照響應(yīng)曲線；該光照響應(yīng)曲線函數(shù)表達(dá)了相機(jī)接收到的場(chǎng)景光照輻射度與所成像 圖像中像素值的關(guān)系。在這里我們表達(dá)為尸-g(Z)。響應(yīng)函數(shù)事實(shí)上是相機(jī)成像過(guò)程中
受到的各種線性和非線性作用因素的綜合。F和丄是非線性的關(guān)系，但g為單調(diào)增函數(shù)，
其反函數(shù)存在。對(duì)于相機(jī)的響應(yīng)函數(shù)g的曲線，兩端切線斜率比較小，即光強(qiáng)輻射度信息 壓縮比較大，像素值趨于截止或飽和，而中間部分切線的斜率比較大，信息壓縮比小，包 含的信息較豐富。其相應(yīng)的反函數(shù)g—1則對(duì)應(yīng)于切線斜率較小的部分，最終成像包含的原始
圖像信息較多，而對(duì)斜率較大的部分，圖像信息較少。因此可用g—'函數(shù)進(jìn)行圖像塊的信息
含量進(jìn)行評(píng)價(jià)。本發(fā)明采用如下方法對(duì)圖像塊所含的信息進(jìn)行評(píng)價(jià)對(duì)已經(jīng)配準(zhǔn)的7幀不 同曝光的顯微圖像進(jìn)行分塊，設(shè)圖像塊大小為MxiV，每幀圖像共分"個(gè)塊，用 《，/; = 1，...7; / = 1，...")表示第；幀的第_/塊圖像，如圖4所示。對(duì)同一視場(chǎng)位置r的7個(gè)圖
像塊A // = 1，....7;1S ")，分別求其平均亮度值Z;"G = 1，....7)并代入g-1中，得到 A=gH)，則其值越小，該圖像塊所包含的信息越豐富。在這里我們令^^^max(X," 并進(jìn)行歸一化處理，則有
『,(^nax—義,，》/X鵬……(1)
^值越大，表明其對(duì)應(yīng)的幀塊所含的信息就越豐富。
另外所選取的塊不僅要含有豐富的信息，且要求圖像清晰，本發(fā)明采用圖像點(diǎn)梯度 算法計(jì)算圖像的清晰度。對(duì)于同一位置的不同幀塊尺,,,(/ = 1，...7; _/ = 1，...")表示第/幀的
第_/塊圖像，其公式如下(X—、。)
其算法描述為逐個(gè)對(duì)圖像中的每點(diǎn)取8鄰域點(diǎn)與之相減，先求8個(gè)差值的加權(quán)和，其中權(quán)
的大小取決于兩像素點(diǎn)的距離，距離遠(yuǎn)，則權(quán)小，在這里與參考像素成00， 90Q， 1800和 270°方向四個(gè)點(diǎn)的差，其權(quán)值為l，而與參考像素成450， 135 2250和3150方向四個(gè)點(diǎn) 差的絕對(duì)值，其權(quán)值為&。再將所有點(diǎn)所得值相加除以像素總個(gè)數(shù)作為圖像的清晰評(píng)價(jià)
指數(shù)。本發(fā)明采用l(/(x,)-y(;0)/(x,-&)|來(lái)代替邊緣銳度算法的平方(/(;0-/(;0)2是
考慮到整幅圖像的8鄰域梯度差值之和己足夠反映圖像的灰度分布情況，若加上平方的放 大作用，反而會(huì)因噪聲等眾多因素而造成該參數(shù)的波動(dòng)。 并令r^^max")，做歸一化處理，則有
Cax……(2) 根據(jù)公式(1)和(2)，則可以構(gòu)建以下的評(píng)價(jià)函數(shù)
<formula>formula see original document page 10</formula>(3)
其中A為一個(gè)權(quán)系數(shù)，可以根據(jù)實(shí)驗(yàn)來(lái)確定，實(shí)驗(yàn)時(shí)取0.6。
綜合上述，選取圖像塊的原則，既要考慮圖像塊所含的信息量，又要考慮圖像的清晰 度，所以采用Q(O值的大小進(jìn)行圖像塊的選取，Q(O值最大時(shí)所對(duì)應(yīng)的圖像幀"就是我們 所要選取的圖像塊。
對(duì)于已選定的圖像塊，考慮到它們來(lái)自不同的曝光圖像幀，由于光照條件不同，雖然 它們質(zhì)量最好(所含有的信息量和清晰度綜合評(píng)價(jià)指數(shù)最高)，但采集的原始圖像在亮度 上會(huì)有較大變化，因此直接拼接會(huì)使圖像產(chǎn)生亮度的跳變，給人不真實(shí)的感覺(jué)。為了在最 終合成的圖像中得到流暢的效果，采用在圖像塊之間設(shè)置重疊區(qū)域的方法對(duì)圖像進(jìn)行處理 如圖(5)所示。首先，對(duì)選擇參與合成的圖像塊，進(jìn)行灰度調(diào)整；第二，圖像的重疊區(qū) 的像素采用圖像數(shù)據(jù)融合算法進(jìn)行處理，保證圖像塊之間圖像灰度過(guò)度自然、流暢。
由于光照條件不同，圖像塊之間的灰度變化會(huì)引起合成的高動(dòng)態(tài)顯微圖像塊效應(yīng)明 顯，因此必須對(duì)其進(jìn)行灰度處理。本發(fā)明采用圖像塊像素的均值和方差兩個(gè)統(tǒng)計(jì)參數(shù)，對(duì) 參與合成的圖像塊進(jìn)行調(diào)整。分別采用左塊和上塊的統(tǒng)計(jì)參數(shù)均值和方差構(gòu)成的調(diào)整因子來(lái)調(diào)整右塊和下塊圖像的整體亮度，最終使合成顯微圖像整體亮度一致，以解決光照突變 而引起的塊效應(yīng)問(wèn)題。其算法如下
設(shè)待拼接左、右圖像分別為A(x,力和厶(x，力，而左、右圖像的重疊區(qū)域分別為 A(x,力和A(x，力，A(x,力和A(;c,力的均值和方差分別為J^、 J^和0"。 ov并設(shè) &=[^(^)-Mw!K+^，其均值為&，則由/^,力對(duì)/w(x,力的調(diào)整方法為<formula>formula see original document page 11</formula>4)。
依次用左塊圖像調(diào)整右塊圖像的灰度，其上、下顯微圖像塊的調(diào)整也做類似處理，其 調(diào)整順序如圖4所示。
對(duì)于上述處理后的中間結(jié)果圖像，雖然考慮了顯微圖像塊灰度的連續(xù)性約束條件，但 是圖塊邊緣仍然會(huì)有不連續(xù)的現(xiàn)象，因此需要進(jìn)一步處理來(lái)消除塊與塊之間由于曝光不同 而產(chǎn)生的塊效應(yīng)。對(duì)于重疊區(qū)域的待合成的像素點(diǎn)，雖然它們?cè)谖恢蒙舷鄬?duì)應(yīng)，但由于其 像素值并不完全相同，因此，為了克服和消除圖像光強(qiáng)的不連續(xù)性，還需要對(duì)顯微圖像重 疊區(qū)域的像素進(jìn)行融合處理，讓顯微圖像在拼接處的光強(qiáng)平滑過(guò)渡以消除光強(qiáng)的突變，提 高圖像質(zhì)量。
本發(fā)明對(duì)顯微圖像塊間的重疊過(guò)度區(qū)，采用圖像灰度位置線形平滑過(guò)渡算法，使灰度 逐漸過(guò)渡，以免圖像變得模糊或出現(xiàn)明顯的邊界。在重疊部分由左顯微圖像塊慢慢過(guò)渡到 右微圖像塊(上下圖像也做類似的處理)，其算法思想是通過(guò)將圖像重疊區(qū)域的像素值按 一定的權(quán)值相加，合成新的圖像。設(shè)對(duì)應(yīng)的左、右兩圖像塊重疊部分中線對(duì)應(yīng)坐標(biāo)為1 = 0， 其重疊區(qū)左、右斷點(diǎn)的坐標(biāo)為x = ±5，則重疊區(qū)圖像像素融合可用如下公式表示
<formula>formula see original document page 11</formula>
在式中，融合因子w(x,力是用來(lái)平滑圖像的灰度，產(chǎn)生加權(quán)平均值的作用，其取值范 圍應(yīng)該限制在(O， l)之間。在圖像重疊區(qū)域中，隨著對(duì)應(yīng)像素點(diǎn)的位置變化，參數(shù)w(x,力 融合因子也在不斷地變化。參數(shù)w(jc,力采用圖像灰度位置線形平滑過(guò)渡算法確定，其值隨
著對(duì)應(yīng)像素點(diǎn)位置而線形變化的過(guò)程如圖6所示。
本發(fā)明采用同一場(chǎng)景連續(xù)采集七幀不同灰度的顯微圖像，通過(guò)圖像的合成算法，實(shí)現(xiàn)高動(dòng)態(tài)顯微圖像的輸出，增加觀察檢測(cè)場(chǎng)景的細(xì)節(jié)特征，滿足特定檢測(cè)環(huán)境下微細(xì)精密加 工產(chǎn)品檢測(cè)要求。
有益效果
本申請(qǐng)發(fā)明是通過(guò)對(duì)現(xiàn)有顯微成像檢測(cè)系統(tǒng)進(jìn)行改進(jìn)，來(lái)實(shí)現(xiàn)提高顯微成像檢測(cè)精度 的要求。采用將光學(xué)成像系統(tǒng)、機(jī)器視覺(jué)和數(shù)字圖像處理技術(shù)相結(jié)合的方法，對(duì)同一視場(chǎng) 采集多幀光強(qiáng)度的圖像，合成高動(dòng)態(tài)范圍的顯微圖像，提高檢測(cè)對(duì)象顯微圖像的清晰度， 以便通過(guò)編制軟件的方法，提高顯微圖像檢測(cè)精度，為激光束精細(xì)加工、集成電路及生物 醫(yī)學(xué)檢測(cè)等提供更高水平的檢測(cè)手段。該發(fā)明在生產(chǎn)、科研、教學(xué)等領(lǐng)域也有重要的實(shí)際 應(yīng)用價(jià)值。


圖1高動(dòng)態(tài)顯微成像檢測(cè)裝置示意圖。
圖中l(wèi)一顯微成像系統(tǒng) 2 —被檢測(cè)器件 3 —載物平臺(tái) 4一梯度衰減片 5 —光源6 —數(shù)字CCD圖像傳感器 7 —步進(jìn)電機(jī)8 —計(jì)算機(jī)系統(tǒng) 圖2傳感器動(dòng)態(tài)響應(yīng)范圍與實(shí)際場(chǎng)景圖像灰度直方圖。 圖3所選光學(xué)衰減片其透過(guò)率與光波長(zhǎng)關(guān)系。 圖4不同光強(qiáng)度顯微圖像分塊及灰度調(diào)整順序。 圖5顯微圖像塊緩沖區(qū)劃分示意圖。 圖6圖像塊緩沖重疊區(qū)像素融合因子生成示意圖。 圖7高動(dòng)態(tài)顯微圖像檢測(cè)流程圖。
具體實(shí)施例方式
下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說(shuō)明本發(fā)明 而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù) 人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等價(jià)形式同樣落于本申請(qǐng)所附權(quán)利要求書所限 定的范圍。
在實(shí)施過(guò)程中，采用下列器材
(1) CCD型號(hào)為HV1303UM主要參數(shù)分辨率為1280*1024的CMOS CCD,;光學(xué)尺 寸為1/1. 8〃 ；最高130萬(wàn)像素；最高的水平分辨率為1280;數(shù)模轉(zhuǎn)換精度為10bit ; 45dB 的高信噪比(AGC0FF);可開/關(guān)的自動(dòng)增益控制(AGC)，數(shù)字增益倍數(shù)是*2、 *1、 *0. 5、*0.25;對(duì)于550nm的光源，其靈敏度為2. 1V/Lux-s;可自動(dòng)跟蹤(ATW) /手動(dòng)設(shè)定的 黑白電平衡校正方式；可接受24V AC及12V DC兩種電源供應(yīng)。
(2)顯微成像系統(tǒng)型號(hào)為Nikon E200光學(xué)系統(tǒng)CFI60無(wú)限遠(yuǎn)光學(xué)系統(tǒng)，齊焦距離 60mm放大倍數(shù)40—1500X，目鏡筒三目鏡筒，目鏡CFIE 10X (視場(chǎng)直徑20mm)， CFIE 15x (視場(chǎng)直徑12mm)物鏡CFIE平場(chǎng)消色差物鏡4X、 IOX、 40X、 IOOX，也可選其它較高 級(jí)物鏡，照明6V20W鹵素?zé)簟?br> (3)圓盤型光學(xué)梯度衰減器。利用多片不同透過(guò)率的光學(xué)衰減片組合而成。釆用型 號(hào)為ND80， ND60， ND40， ND20， ND10， ND1的光學(xué)衰減片，其光的透過(guò)率分別為 80%, 60%， 40%， 20%， 10%， 1%及100%。
(4) 步進(jìn)控制電機(jī)型號(hào)42HSM02,兩相步進(jìn)電機(jī)，步距角0. 9分，額定電流0. 87A， 轉(zhuǎn)子慣量38g，步進(jìn)精度為+—5%，溫升80C (max)，環(huán)境溫度-10到+50，絕緣電阻為100M 歐min， 500VDC，耐.壓500VACfor one minute,徑向跳動(dòng)0. 06Max(450g-load),軸向跳動(dòng) 0. 08Max(450g-load)。
(5) 步進(jìn)電機(jī)控制器型號(hào)M420，高性能的步進(jìn)電機(jī)驅(qū)動(dòng)器，適合任何的兩相2.0 或3.5A項(xiàng)電流的混合式步進(jìn)電機(jī)，單電源供電、光隔離輸入，細(xì)分精度可選。供電電壓 典型值為32V，輸出電流0.25-2A，邏輯輸入電流為6-16Ma，歩進(jìn)脈沖響應(yīng)頻率最大為 200KHz，脈沖低電平時(shí)間最小5us。
(6) 計(jì)算機(jī)系統(tǒng)聯(lián)想啟天M4880(P4631 512s80VN(XP))，處理器類型Penti咖4 631，標(biāo)稱主頻(MHz) 3000 ，配置內(nèi)存容量(MB)512，硬盤容量80GB，顯示器類型lenovo， 顯示器尺寸17英寸。
如圖7所示為其實(shí)施流程圖，首先通過(guò)計(jì)算機(jī)控制電機(jī)使圓盤型梯度衰減器的旋轉(zhuǎn)定 位至不同位置，以控制顯微鏡視場(chǎng)的光強(qiáng)，并在保證CCD曝光時(shí)間不變條件下，利用數(shù) 字CCD在不同光強(qiáng)條件下成像，獲取同一視場(chǎng)7幀不同曝光強(qiáng)度的圖像序列。對(duì)同一場(chǎng) 景7幀不同曝光強(qiáng)度的顯微圖像序列先進(jìn)行高斯濾波后，再拉普拉斯邊緣增強(qiáng)處理，實(shí)現(xiàn) 濾除噪聲、強(qiáng)化圖像的邊緣特征。以第4幀圖像為參考幀，并將其分成6個(gè)垂直的區(qū)間， 每個(gè)區(qū)間選取一個(gè)特征點(diǎn)，每一部分將從上到下進(jìn)行搜索，選擇灰度最大的點(diǎn)作為該區(qū)域 上的特征點(diǎn)，并根據(jù)所選取的特征點(diǎn)在其它圖像幀的對(duì)應(yīng)區(qū)域搜尋對(duì)應(yīng)的特征點(diǎn)，分別確 定其它的圖像幀相對(duì)于參考圖像在各區(qū)的局部運(yùn)動(dòng)矢量。分別將各自局部運(yùn)動(dòng)矢量代入圖 像運(yùn)動(dòng)模型，計(jì)算各幀與選定的參考幀的全局運(yùn)動(dòng)矢量，其中包括平移量和旋轉(zhuǎn)量，并以 之進(jìn)行同一場(chǎng)景7顯微圖像配準(zhǔn)。從給定的CCD參數(shù)中，獲取其光照響應(yīng)曲線，或利用獲取的不同曝光圖像序列，根據(jù)Debevec算法，計(jì)算相機(jī)的光照響應(yīng)曲線，對(duì)獲取的光照響 應(yīng)曲線進(jìn)行反變換，得到一條光滑單調(diào)的反函數(shù)響應(yīng)曲線。對(duì)同一視場(chǎng)的7幀已配準(zhǔn)的不 同曝光的圖像進(jìn)行分塊，利用顯微圖像的點(diǎn)梯度算法計(jì)算圖像的清晰度，CCD的光照響應(yīng) 曲線的反函數(shù)估算圖像的信息量，并在綜合圖像塊的清晰度和信息量基礎(chǔ)上，構(gòu)建出圖像 評(píng)價(jià)函數(shù)，用于選擇不同曝光顯微圖像幀相同位置的相應(yīng)塊參與最終顯微圖像的合成。為 了消除塊效應(yīng)在參與合成的顯微圖像塊間設(shè)置重疊緩沖區(qū)，分別采用左塊和上塊的統(tǒng)計(jì)參 數(shù)均值和方差構(gòu)成的調(diào)整因子來(lái)調(diào)整右塊和下塊圖像的整體亮度，以解決圖像塊間的光照 變化問(wèn)題。并且對(duì)所有的塊做類似的處理，其處理的順序是先處理行塊，從左到右，再處 理列塊，從上到下，如圖4所示。將圖像重疊緩沖區(qū)域的像素值按一定的權(quán)值相加，進(jìn)行
圖像數(shù)據(jù)融合，其融合因子w(X力采用圖像灰度位置線形平滑過(guò)渡算法確定，并按下公式 處理進(jìn)行像素灰度融合<formula>formula see original document page 14</formula>上、下圖像塊間重疊緩沖區(qū)域的合成也做類似的處理。最后輸出合成高動(dòng)態(tài)圖像/(x，力
權(quán)利要求
1. 一種基于顯微成像檢測(cè)的高動(dòng)態(tài)圖像獲取裝置，包括顯微鏡和計(jì)算機(jī)系統(tǒng)，其特征在于所述的顯微鏡光源和載物平臺(tái)之間加裝由控制電機(jī)和圓盤型光學(xué)梯度衰減器組成的光強(qiáng)控制裝置，并通過(guò)數(shù)字CCD圖像傳感器與計(jì)算機(jī)系統(tǒng)相連，所述的計(jì)算機(jī)系統(tǒng)包括(1)顯微圖像光強(qiáng)控制及圖像獲取模塊由計(jì)算機(jī)控制圓盤型光學(xué)梯度衰減器旋轉(zhuǎn)定位到不同的位置并進(jìn)行顯微圖像采集，以獲取同一視場(chǎng)不同光強(qiáng)度的顯微圖像序列供后續(xù)處理，實(shí)現(xiàn)顯微圖像動(dòng)態(tài)范圍的擴(kuò)展；(2)圖像預(yù)處理和配準(zhǔn)模塊通過(guò)顯微圖像預(yù)處理消除成像過(guò)程中引入的噪聲；由于在成像過(guò)程中，同一視場(chǎng)多幀不同曝光圖像之間可能存在平移和旋轉(zhuǎn)，對(duì)其進(jìn)行精確配準(zhǔn)，以保證合成高質(zhì)量高動(dòng)態(tài)范圍顯微圖像；(3)高動(dòng)態(tài)顯微圖像合成處理模塊對(duì)同一視場(chǎng)多幀不同曝光的顯微圖像進(jìn)行分塊處理，在圖像塊間設(shè)置重疊緩沖區(qū)；采用評(píng)價(jià)函數(shù)實(shí)現(xiàn)對(duì)同一位置不同光強(qiáng)的圖像幀進(jìn)行塊的選擇，并利用圖像塊的統(tǒng)計(jì)特征生成調(diào)整因子對(duì)合成的顯微圖像進(jìn)行灰度調(diào)整，對(duì)塊間的緩沖區(qū)像素進(jìn)行融合處理，實(shí)現(xiàn)同一視場(chǎng)多幀不同曝光顯微圖像合成為一幀更高動(dòng)態(tài)范圍的顯微圖像。
2. 根據(jù)權(quán)利要求1所述的一種基于顯微成像檢測(cè)的高動(dòng)態(tài)圖像獲取裝置，其特征在于 所述的光學(xué)梯度衰減器，是由六個(gè)不同光強(qiáng)透過(guò)率的光學(xué)衰減片構(gòu)成，包括全透檔在內(nèi)一共七檔，其實(shí)現(xiàn)光的透過(guò)率分別為100%, 80%, 60%， 40%， 20%, 10%，及 1%。
3. 根據(jù)權(quán)利要求1所述的一種基于顯微成像檢測(cè)的高動(dòng)態(tài)圖像獲取裝置，其特征在于 所述的顯微圖像光強(qiáng)控制及圖像獲取模塊采用計(jì)算機(jī)控制圓盤型光學(xué)梯度衰減片旋轉(zhuǎn) 定位至不同的位置以控制檢測(cè)系統(tǒng)顯微成像時(shí)不同光強(qiáng)，并在保證相機(jī)曝光時(shí)間相等 的條件下進(jìn)行顯微成像，以獲取同一視場(chǎng)不同光強(qiáng)多幀顯微圖像序列。
4. 根據(jù)權(quán)利要求1所述的一種基于顯微成像檢測(cè)的高動(dòng)態(tài)圖像獲取方法，包括下列步驟(1) 首先通過(guò)計(jì)算機(jī)控制電機(jī)使圓盤型梯度衰減器旋轉(zhuǎn)定位至不同位置，以控制顯微鏡視場(chǎng)的光強(qiáng)，并在保證曝光時(shí)間不變，利用數(shù)字CCD在不同光強(qiáng)條件下成像，獲取同一視場(chǎng)7幀不同曝光強(qiáng)度的圖像序列；(2) 對(duì)同一場(chǎng)景7幀不同曝光強(qiáng)度的顯微圖像序列先進(jìn)行高斯濾波后，再拉普拉斯 邊緣增強(qiáng)處理，實(shí)現(xiàn)濾除噪聲、強(qiáng)化圖像的邊緣特征；(3) 以第4幀圖像為參考幀，并將其分成6個(gè)垂直的區(qū)間，每個(gè)區(qū)間選取一個(gè)特征點(diǎn)，每一部分將從上到下進(jìn)行搜索，選擇灰度最大的點(diǎn)作為該區(qū)域上的特征點(diǎn); 并根據(jù)所選取的特征點(diǎn)在其它圖像幀的對(duì)應(yīng)區(qū)域搜尋對(duì)應(yīng)的特征點(diǎn)，分別確定 其它的圖像幀相對(duì)于參考圖像在各區(qū)的局部運(yùn)動(dòng)矢量；(4) 分別將各自局部運(yùn)動(dòng)矢量代入圖像運(yùn)動(dòng)模型，計(jì)算各幀與選定的參考幀的全局 運(yùn)動(dòng)矢量，其中包括平移量和旋轉(zhuǎn)量，并以之進(jìn)行同一場(chǎng)景7顯微圖像配準(zhǔn)；(5) 從給定的CCD參數(shù)中，獲取其光照響應(yīng)曲線，或利用獲取的不同曝光圖像序列， 由Debevec算法，計(jì)算相機(jī)的光照響應(yīng)曲線；并對(duì)獲取的光照響應(yīng)曲線進(jìn)行變 換，得到一條光滑單調(diào)的反函數(shù)響應(yīng)曲線；(6) 對(duì)同一視場(chǎng)的7幀已配準(zhǔn)的不同曝光的圖像進(jìn)行分塊，利用顯微圖像的點(diǎn)梯度 算法計(jì)算圖像的清晰度，CCD的光照響應(yīng)曲線的反函數(shù)估算圖像的信息量，并 在對(duì)其進(jìn)行歸一化處理基礎(chǔ)上，綜合圖像塊的清晰度和信息量，構(gòu)建出圖像評(píng)價(jià)函數(shù)q(/)-;i巧+(i-;i)K，用于選擇不同曝光顯微圖像幀相同位置的相應(yīng)塊參與最終顯微圖像的合成；(7) 對(duì)已選定參與合成的顯微圖像塊，劃分塊間重疊緩沖區(qū)，分別采用左塊和上塊 的統(tǒng)計(jì)參數(shù)均值和方差構(gòu)成的調(diào)整因子來(lái)調(diào)整右塊和下塊圖像的整體灰度，以 解決圖像塊間的光照變化問(wèn)題；處理的順序是先處理行塊，從左到右，再處理 列塊，從上到下；(8) 將圖像重疊緩沖區(qū)域的像素進(jìn)行融合處理，融合因子采用圖像灰度位置線形平 滑過(guò)渡算法確定；采用像素值按一定的權(quán)值進(jìn)行融合相加的方法，可使灰度逐 漸過(guò)渡，避免顯微圖像變得模糊或出現(xiàn)明顯的邊界；(9) 最后輸出合成高動(dòng)態(tài)圖像/(JC,力。
全文摘要
本發(fā)明涉及一種基于顯微成像檢測(cè)的高動(dòng)態(tài)圖像獲取方法及其裝置，包括顯微鏡和計(jì)算機(jī)系統(tǒng)，并在顯微鏡上加裝數(shù)字CCD圖像傳感器，在物鏡下方加裝圓盤型光學(xué)梯度衰減器和控制器件。在保持CCD曝光時(shí)間不變的條件下，通過(guò)計(jì)算機(jī)控制圓盤型光學(xué)梯度衰減片旋轉(zhuǎn)定位的方法，攝取同一視場(chǎng)多幀不同曝光量的顯微圖像，從而獲取該場(chǎng)景高動(dòng)態(tài)范圍圖像信息。利用計(jì)算機(jī)圖像處理技術(shù)對(duì)不同曝光的顯微圖像序列幀進(jìn)行預(yù)處理和分塊處理，選擇序列顯微圖像相同位置不同幀的相應(yīng)塊參與高動(dòng)態(tài)顯微圖像的合成，最后對(duì)合成圖像進(jìn)行平滑和融合處理，實(shí)現(xiàn)高動(dòng)態(tài)顯微圖像輸出。本發(fā)明可以有效地表達(dá)亮區(qū)和暗區(qū)的場(chǎng)景信息，提高顯微成像檢測(cè)系統(tǒng)的檢測(cè)精度。
文檔編號(hào)G01N21/88GK101441320SQ20081020419
公開日2009年5月27日 申請(qǐng)日期2008年12月9日 優(yōu)先權(quán)日2008年12月9日
發(fā)明者宋辰杰, 平 鐘, 鐘建軍 申請(qǐng)人:東華大學(xué)