本發(fā)明屬于結構光編碼、計算攝像、顯微成像領域，具體涉及一種寬視場高分辨顯微成像中像感器陣列標定方法。

背景技術：

隨著顯微生物學的發(fā)展，人們對顯微成像技術的要求日益提高。獲取寬視場、高分辨、實時性的顯微圖像，是開深入展很多顯微生物學研究的先決條件。例如對于癌癥的研究，觀察癌細胞的增殖過程需要高分辨圖像，而觀察癌細胞的轉移則依賴與寬視場。再者觀察神經元上信號的快速傳遞，則要求高速實時地獲取顯微圖像。

通過一系列物鏡組，可以將顯微鏡目鏡看到的像轉換為寬視場曲面中間像，像感器陣列對曲面像進行分視場采集可以獲取子視場高分辨圖像。將眾多高分辨子圖拼實時地接成寬視場高分辨大圖，則依賴于顯微視場下像中像感器陣列的標定。

與傳統(tǒng)宏觀場景成像條件不同，顯微視場下的相機陣列標定更具挑戰(zhàn)性。首先顯微物鏡淺景深的限制，使得標定物不能通過變換姿態(tài)獲取三維信息；其次包含曲面像多級物鏡成像系統(tǒng)，使得逐級標定難以實施。因此，亟需一種應用于寬視場高分辨顯微視場下相機陣列標定方法，以滿足獲取寬視場、高分辨、實時性顯微圖像的需求。

技術實現(xiàn)要素：

本發(fā)明旨在至少解決上述技術問題之一。

為此，本發(fā)明的目的在于提出一種寬視場高分辨顯微成像中像感器陣列標定方法，滿足獲取寬視場、高分辨、實時性顯微圖像的需求。

為了實現(xiàn)上述目的，本發(fā)明的實施例公開了一種寬視場高分辨顯微成像中像感器陣列標定方法，包括以下步驟：S1：對像感器陣列進行漸暈效應標定與校正，以使所述像感器陣列中所有子視場像感器以相同輻射出度的場景時獲得的各像素具有相同的灰度值；S2：使用空間光調制器對時空聯(lián)合結構進行光編碼，以建立多個特征點在圖像空間與物理空間之間的對應關系；S3：對所述時空聯(lián)合結構進行光解碼，以獲取所述多個特征點在圖像平面的像素坐標和所述多個特征點在空間光調制器平面的物理坐標；S4：根據(jù)所述多個特征點在圖像平面的像素坐標和所述多個特征點在空間光調制器平面的物理坐標得到單應性關系，并根據(jù)所述單應性關系得到全局坐標映射。

進一步地，通過以下公式對像感器陣列進行漸暈效應標定與校正：

Pix'(x,y)＝f(f^-1(Pix(x,y))·S(Dis(x,y)))

其中，Pix'(x,y)為校正后灰度，Pix(x,y)為原始灰度，f為相機響應函數(shù)，S(Dis(x,y))為離心距離相關的補償系數(shù)。

進一步地，所述空間光調制器包括膠片、DMD、LCD和LCOS。

進一步地，步驟S3進一步包括：提取所述多個特征點在圖像平面的像素坐標，以及根據(jù)編碼方式解碼得到所述多個特征點在空間光調制器平面的物理坐標。

進一步地，所述包括S4進一步包括：在求取每個子視場像感器平面到空間光調制器平面的單應性矩陣后，利用各自的單應性矩陣，可以建立任意物理位置到子視場圖像像素位置的映射；根據(jù)總體物理視場對應的總像素數(shù)，獲取總圖的每個像素對應的物理尺度，從而建立任意物理位置到總視場圖像像素位置的映射；將所述子視場圖像像素位置的映射和所述總視場圖像像素位置的映射融合為總視場圖像像素位置到子視場圖像像素位置的映射。

根據(jù)本發(fā)明實施例的寬視場高分辨顯微成像中像感器陣列標定方法，滿足獲取寬視場、高分辨、實時性顯微圖像的需求

本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

附圖說明

本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：

圖1是本發(fā)明實施例的寬視場高分辨顯微成像中像感器陣列標定方法的流程圖。

具體實施方式

下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。

在本發(fā)明的描述中，需要理解的是，術語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內”、“外”等指示的方位或位置關系為基于附圖所示的方位或位置關系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發(fā)明的限制。此外，術語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。

在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術語“安裝”、“相連”、“連接”應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對于本領域的普通技術人員而言，可以具體情況理解上述術語在本發(fā)明中的具體含義。

參照下面的描述和附圖，將清楚本發(fā)明的實施例的這些和其他方面。在這些描述和附圖中，具體公開了本發(fā)明的實施例中的一些特定實施方式，來表示實施本發(fā)明的實施例的原理的一些方式，但是應當理解，本發(fā)明的實施例的范圍不受此限制。相反，本發(fā)明的實施例包括落入所附加權利要求書的精神和內涵范圍內的所有變化、修改和等同物。

以下結合附圖描述本發(fā)明。

圖1是本發(fā)明實施例的寬視場高分辨顯微成像中像感器陣列標定方法的流程圖。如圖1所示，

S1：對像感器陣列進行漸暈效應標定與校正，以使像感器陣列中所有子視場像感器以相同輻射出度的場景時獲得的各像素具有相同的灰度值。

具體的，使同一像感器拍攝相同輻射出度的場景時，可獲得各像素灰度值的一致性。考慮相機響應非線性的漸暈校正模型可表述為如下形式：

Pix'(x,y)＝f(f^-1(Pix(x,y))·S(Dis(x,y)))

其中Pix'(x,y)為校正后灰度，Pix(x,y)為原始灰度，f為相機響應函數(shù)，S(Dis(x,y))為離心距離相關的補償系數(shù)。

S2：使用空間光調制器對時空聯(lián)合結構進行光編碼，以建立多個特征點在圖像空間與物理空間之間的對應關系。

具體地，空間光調制器可以主動控制下，通過調制光場的某個參量，例如通過調制光場的振幅，通過折射率調制相位，通過偏振面的旋轉調制偏振態(tài)等，從而將一定的信息寫入光波中，達到光波調制的目的。

在本發(fā)明的一個實施例中，空間光調制器包括膠片、數(shù)據(jù)微鏡裝置(Digital Micromirror Device，DMD)、液晶顯示器(Liquid Crystal Display，LCD)、硅基液晶(Liquid Crystal on Silicon，LCOS)等。面以LCD的分色二進制時空聯(lián)合強度編碼進行舉例說明。本領域人員可以理解，使用膠片、DMD和LCOS同樣可以完成時空聯(lián)合強度編碼。

首先對相關術語進行如下約定：

LCD亞像素單元：LCD面板在顯微觀察下，可以看到原本的一個像素由R、G、B三個亞像素單元構成，每個亞像素單元被相機拍攝后會在圖像上成為一個區(qū)域。

區(qū)域(Region)：每個LCD亞像素單元在拍攝圖像中成像的范圍稱為區(qū)域。區(qū)域具有顏色、位置等屬性。

區(qū)域屬性：Region＝{color(R/G/B)，pixelcount，center(u，v)，code(code_x，code_y)，x，y}，分別指區(qū)域對應亞像素單元種類(紅/綠/藍)，區(qū)域包含像素數(shù)，區(qū)域中心的圖像坐標，區(qū)域對應LCD亞像素單元的行列編號，區(qū)域對應LCD亞像素單元的物理坐標。

該方法編碼原則為由位置到強度編碼，根據(jù)LCD亞像素單元所在位置的行列編號，制定強度編碼方案。編碼方案中對RGB三種亞像素區(qū)域分開編碼，根據(jù)亞像素單元所在位置的行列編號的二進制0/1，生成多組行列分離強度編碼圖像。

步驟201，區(qū)域識別編碼。LCD分別顯示3張純紅、純綠、純藍圖像，用作紅、綠、藍三種區(qū)域識別。

步驟202，坐標到階碼的拆分。定義LCD屏幕從左到右為x方向，從上到下為y方向。則每個亞像素單元都有其物理坐標(x,y)以及所在行列編號(y’行，x’列)。將行列編號轉換為二進制數(shù)，即為該亞像素單元階碼code_x，code_y。根據(jù)LCD標定面板的分辨率，假設至少需要m為和n位二進制階碼才能表示全部亞像素單元的列編號和行編號，則code_x，code_y分別為m位和n位。

步驟203，階碼到圖像的生成。R/G/B區(qū)域列編碼：需要m幅圖，每幅圖的某列全暗或全紅/綠/藍。具體來說，對于第i幅圖的第j列，若j二進制數(shù)(code_x)的第i位為1，則該列全紅/綠/藍，反之，該列全暗。

R/G/B區(qū)域行編碼：需要n幅圖，每幅圖的某行全暗或全紅/綠/藍。具體來說，對于第i幅圖的第j行，若j二進制數(shù)(code_y)的第i位為1，則該行全紅/綠/藍，反之，該行全暗。

S3：對時空聯(lián)合結構進行光解碼，以獲取多個特征點在圖像平面的像素坐標和多個特征點在空間光調制器平面的物理坐標。

具體地，下面以LCD的分色二進制時空聯(lián)合強度解碼進行舉例說明。本領域人員可以理解，使用膠片、DMD和LCOS同樣可以完成時空聯(lián)合強度解碼。

步驟301，圖像預處理。理想狀態(tài)下，拍攝的圖像中LCD的GAP區(qū)與設定為暗的亞像素區(qū)的灰度值為CV0，設定為亮的亞像素區(qū)的灰度值為CV1。實際拍攝時，由于噪聲、畸變等因素影響，圖像的灰度值并不與理想狀態(tài)完全吻合。需要對依次圖像進行如下預處理：1)自適應二值化，將GAP區(qū)與設定為暗的亞像素區(qū)的灰度值置為0，設定為亮的亞像素區(qū)的灰度值置為1。2)膨脹腐蝕與腐蝕膨脹，清除GAP區(qū)與設定為暗的亞像素區(qū)的0值和設定為亮的亞像素區(qū)的1值。3)剔除圖像邊緣未完整包括LCD亞像素單元的區(qū)域。

步驟302，區(qū)域表征、識別、計數(shù)與中心提取，目標是求取特征點在圖像平面的像素坐標。

將每個LCD亞像素單元成像后的圖像區(qū)域稱為Region＝{color(R/G/B)，pixelcount，center(center_u，center_v)，code(code_x，code_y)，x，y}，它的各項屬性含義參見步驟S3。通過三幅區(qū)域識別編碼圖像，何以知道Region對應于紅色、綠色還是藍色亞像素單元，從而獲取color值。統(tǒng)計區(qū)域內像素數(shù)即為pixelcount。區(qū)域內全部像素x坐標值得均值為區(qū)域的center_u，區(qū)域內全部像素y坐標值得均值為區(qū)域的center_v。

這里的center_u與center_v即為特征點在圖像平面的像素坐標。

步驟303，階碼識別與物理坐標提取。

除去3張區(qū)域識別圖像，將拍攝到的編碼圖像分為6組，分別為R/G/B的行/列編碼圖像。以n幅R區(qū)域行編碼為例，通過對這n幅圖像進行解碼，可以獲取任意color＝R的區(qū)域的行編號階碼。具體來說，按編碼拍攝順序，讀取該區(qū)域在n幅圖(已經過二值化等預處理)中灰度值0/1，將這樣的0/1值依次串寫為n位二進制數(shù)即為該區(qū)域的行編號階碼code_y。用同樣的方法對其余5組圖進行解碼，則可獲取每個區(qū)域的行、列編號階碼code_y、code_x。

至此，已經解碼出每個區(qū)域的color(R/G/B)，pixelcount，center(center_u，center_v)，code(code_x，code_y)屬性，并且假設LCD亞像素單元尺寸長×寬為aμm*bμm，因此可以求解區(qū)域對應的物理坐標x，y。令code_x’，code_y’分別為code_x，code_y對應的十進制數(shù)，則：

y＝code_y'*aμm

其中，x與y即為特征點在空間光調制器平面的物理坐標。

S4：根據(jù)多個特征點在圖像平面的像素坐標和多個特征點在空間光調制器平面的物理坐標得到單應性關系，并根據(jù)單應性關系得到全局坐標映射。

具體地，在計算機視覺中，平面的單應性被定義為一個平面到另外一個平面的投影映射。因此一個二維平面上的點映射到攝像機成像儀上的映射就是平面單應性的例子。若將點Q到成像儀上的點q表示為齊次坐標，即

則這種映射可以用矩陣相乘的方式表示：

其中s為任意尺度的比例，目的是使得單應性定義到該尺度比例。H有兩部分組成：用于定位觀察的物體平面的物理變換和使用攝像機內參數(shù)矩陣的投影。

物理變換包括旋轉變換R和部分平移變換t，可表示為：

W＝[R t]

其中R為3*3矩陣，t為三維列矢量。相機內參矩陣用M表示，則單應性關系可重寫為：

由于的研究目標為空間光調制器平面上到像感器平面的二維映射，則上述公式中的可簡化為平面坐標中即令Z＝0。將旋轉矩陣寫為列向量形式R＝[r₁ r₂ r₃]，則

故最終的單應性矩陣可表示為：

單應性矩陣H為3*3矩陣。一般地，求解H需要兩個平面四對獨立的對應點。在步驟S3中獲取了足夠多的對應點(center_u，center_u)和(x，y)。帶入平面單應性模型，即可求取單應性矩陣H。魯棒地求取單應性矩陣算法包括RANSAC等。

在求取每個子視場像感器平面到空間光調制器平面的單應性矩陣后，利用各自的單應性矩陣，可以建立任意物理位置到子視場圖像像素位置的映射map1。另一方面，可以根據(jù)總體物理視場對應的總像素數(shù)，獲取總圖的每個像素對應的物理尺度；從而建立任意物理位置到總視場圖像像素位置的映射map2。借助物理位置的唯一性，可以將map1和map2融合為總視場圖像像素位置到子視場圖像像素位置的映射map，也就完成了顯微視場相機陣列的標定。這一映射表表明了總視場每個像素置對應于哪些子視場的像素位置。根據(jù)映射表，通過子視場內像素差值和子視場間重疊區(qū)域像素加權疊加，即可完整地拼接出總的寬視場高分辨顯微視場圖像。

另外，本發(fā)明實施例的寬視場高分辨顯微成像中像感器陣列標定方法的其它構成以及作用對于本領域的技術人員而言都是已知的，為了減少冗余，不做贅述。

在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特征、結構、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。

盡管已經示出和描述了本發(fā)明的實施例，本領域的普通技術人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由權利要求及其等同限定。