本發(fā)明涉及觀測對象物和投射結(jié)構(gòu)照明的光學(xué)系統(tǒng)或具有結(jié)構(gòu)的檢測系統(tǒng)相對位移的動態(tài)高速高靈敏度成像技術(shù)。

本申請基于2015年2月24日在日本申請的日本特愿2015-033520號要求優(yōu)先權(quán)，其內(nèi)容援用于本文。

背景技術(shù)：

日本特開2014-175819號公報(專利文獻1)公開了包括排列成二維陣列狀的電磁波檢測元件的成像系統(tǒng)。使用了陣列型檢測元件的成像裝置存在如下問題：因使元件動作的電性限制而造成拍攝速度有限，且價格昂貴，尺寸也大。

日本特表2006-520893號公報(專利文獻2)公開了單一像素檢測裝置。另外，日本專利3444509號公報(專利文獻3)公開了具有一個像素檢測單元的圖像讀取裝置。進行一個像素檢測的成像裝置需要在時間空間上使照明光結(jié)構(gòu)化以拍攝圖像。因此，進行一個像素檢測的成像裝置隨著在時間空間上改變照明光而產(chǎn)生機械/電性限制，從而在成像速度方面有限。

例如，共聚焦顯微鏡機械地空間掃描激光的速度有限，不能高速地拍攝像。鬼成像(ghostimaging)是使用空間光調(diào)制器等照射數(shù)量不同的大量結(jié)構(gòu)化照明，重復(fù)檢測而重構(gòu)圖像的方法。對于該方法而言，由于受到照射照明的速度的限制，所以成像的速度很低。

日本特開2013-15357號公報(專利文獻4)公開了使用連續(xù)時間編碼振幅顯微鏡法(steam)的流式細胞儀。在該公報中，從激光照射部以恒定時間間隔射出波長寬度足夠?qū)挼募す饷}沖，由二維空間分散器使各脈沖的波長二維分散。將由二維空間分散器分散的各波長的激光照射到試樣上的不同位置，進行反射。該被反射的各波長的激光反過來通過二維空間分散器，從而返回到一個脈沖。使該脈沖通過傅立葉變換器，將頻率分量轉(zhuǎn)換為時間后，用光電二極管檢測。由于采用連續(xù)時間編碼振幅顯微鏡法使頻率(波長)與試樣上的位置相對應(yīng)，并且采用傅立葉變換器將頻率分量變換為時間，因此，時間具有試樣上的位置信息。即，將二維的強度分布變換為時間序列。能夠從如此獲取的各脈沖的強度信號的時間變化得到被檢測粒子的表面結(jié)構(gòu)的信息。

連續(xù)時間編碼振幅顯微鏡法(steam)受到脈沖激光的重復(fù)頻率的限制。另外，使用steam的成像裝置價格非常昂貴而且尺寸也大，適用的光波長區(qū)域局限于長波長，在可見光區(qū)域難以實現(xiàn)高靈敏度。因此，steam存在不能適用于應(yīng)用到生命科學(xué)/醫(yī)療領(lǐng)域所需要的可見熒光波長區(qū)域的問題。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：日本特開2014-175819號公報

專利文獻2：日本特表2006-520893號公報

專利文獻3：日本專利3444509號公報

專利文獻4：日本特開2013-15357號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的問題

于是，本發(fā)明的目的在于，提供高速、高靈敏度、低成本且緊湊的成像裝置。

解決問題的技術(shù)方案

本發(fā)明的第一方面涉及高速成像方法。該方法使用具有結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)或具有光特性不同的多個區(qū)域的結(jié)構(gòu)化的檢測系統(tǒng)中的任一者或雙方。而且，在改變觀測對象與光學(xué)系統(tǒng)或檢測系統(tǒng)中任一者的相對位置的同時，用一個或少量像素檢測元件檢測來自觀測對象的光信號，從而得到光信號的時間序列信號信息，從時間序列信號信息重建與觀測對象相關(guān)的圖像。

本發(fā)明的第二方面涉及成像裝置。

該成像裝置的第一方式涉及具有有著結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)的成像裝置。

該成像裝置具有光學(xué)系統(tǒng)11、一個或少量像素檢測元件15、相對位置控制機構(gòu)17以及像重建部19。

光學(xué)系統(tǒng)11是具有有著光特性不同的多個區(qū)域的結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)。

一個或少量像素檢測元件15是檢測觀測對象物13接受從光學(xué)系統(tǒng)11放出的光而發(fā)出的光信號的檢測元件。

相對位置控制機構(gòu)17是使光學(xué)系統(tǒng)11與觀測對象物13的相對位置發(fā)生變動的機構(gòu)。

像重建部19是用于使用一個或少量像素檢測元件15檢測到的光信號來重建觀測對象物的像的構(gòu)件。

具有結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)11具有光特性不同的多個區(qū)域。

光信號的例子為，熒光、發(fā)光、透射光或反射光，但不限于此。

光特性的例子為，光強度、光波長和偏光中的任意一個以上的特性(例如，透射特性)，但不限于此。

相對位置控制機構(gòu)17的例子為，使觀測對象物13的位置發(fā)生變動的機構(gòu)、或者使光學(xué)系統(tǒng)11的位置發(fā)生變動的機構(gòu)。

像重建部19的例子為，使用一個或少量像素檢測元件15檢測到的光信號以及與具有結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)11中包含的多個區(qū)域相關(guān)的信息來重建觀測對象物的像的構(gòu)件。

該成像裝置的第二方式涉及一個或少量像素檢測元件55具有光特性不同的多個區(qū)域的成像裝置。

該成像裝置具有：光學(xué)系統(tǒng)51、一個或少量像素檢測元件55、相對位置控制機構(gòu)57以及像重建部59。

光學(xué)系統(tǒng)51是用于將光照射到觀測對象物的構(gòu)件。

一個或少量像素檢測元件55是檢測觀測對象物53接受從光學(xué)系統(tǒng)51放出的光而發(fā)出的光信號的構(gòu)件。

相對位置控制機構(gòu)57是使光學(xué)系統(tǒng)51與觀測對象物53的相對位置或者觀測對象物53與一個或少量像素檢測元件55的相對位置發(fā)生變動的機構(gòu)。

像重建部59是用于使用一個或少量像素檢測元件55檢測到的光信號來重建觀測對象物的像的構(gòu)件。

相對位置控制機構(gòu)57的例子為，使觀測對象物53的位置發(fā)生變動的機構(gòu)或者使一個或少量像素檢測元件55的位置發(fā)生變動的機構(gòu)。

像重建部59的例子為，使用一個或少量像素檢測元件55檢測到的光信號以及與一個或少量像素檢測元件57中包含的多個區(qū)域相關(guān)的信息來重建觀測對象物的像的構(gòu)件。

發(fā)明效果

根據(jù)本發(fā)明，能夠提供能夠在世界上首次充分利用單一或非陣列型高速/高靈敏度檢測元件的頻帶(信號檢測極限速度)(若為～ghz，則10⁹張(線)/秒)，大大超出以往的連續(xù)拍攝技術(shù)的速度界限的高速的成像裝置。

根據(jù)本發(fā)明，通過有效利用普遍的光學(xué)系統(tǒng)，能夠進行包括以往單一元件成像不能實現(xiàn)的可見熒光成像的、通用且各種高靈敏度拍攝。而且，根據(jù)本發(fā)明，由于能夠采用簡單的光學(xué)系統(tǒng)，因此，光信號難以丟失且噪聲難以進入，從而能夠進行具有高s/n比的拍攝。

根據(jù)本發(fā)明，由于使用的光學(xué)系統(tǒng)和電系統(tǒng)簡單，因此，與以往的所有成像技術(shù)相比，能夠大大降低成本，而且能夠?qū)崿F(xiàn)緊湊化。

附圖說明

圖1是表示成像裝置的第一方式中觀測對象物移動的成像裝置的概略結(jié)構(gòu)圖。

圖2是表示成像裝置的第一方式中具有使光學(xué)系統(tǒng)11的位置發(fā)生變動的機構(gòu)的成像裝置的概略結(jié)構(gòu)圖。

圖3是表示成像裝置的第二方式中觀測對象物移動的成像裝置的概略結(jié)構(gòu)圖。

圖4是表示成像裝置的第二方式中觀測對象物移動的成像裝置的概略結(jié)構(gòu)圖。

圖5是表示觀測對象物通過模式(pattern)化的照明的概念圖。

圖6是表示圖5所示的觀測對象物發(fā)出的熒光的情形的概念圖。

圖7是對圖5所示的觀測對象物發(fā)出的熒光進行檢測時的檢測信號的概念圖。

圖8是表示根據(jù)檢測信號的強度求出的熒光分子的位置和熒光強度的概念圖。

圖9是用于說明像再現(xiàn)原理的圖。

圖10是用于說明圖像再現(xiàn)工序的例子的圖。

圖11是表示圖像重建過程的例子的流程圖。

圖12是用于說明矩陣h的圖。

圖13是用于說明對象數(shù)據(jù)矢量f的結(jié)構(gòu)的圖。

圖14是表示本發(fā)明的成像裝置的某一方式的概略圖。

圖15是表示本發(fā)明的成像裝置的某一方式的概略圖。

圖16是實施例1中的裝置的概略圖。

圖17是表示通過檢測來自觀測對象的反射光來再現(xiàn)像的結(jié)構(gòu)的概略結(jié)構(gòu)圖。

圖18是表示通過檢測來自觀測對象的熒光來再現(xiàn)像的結(jié)構(gòu)的概略結(jié)構(gòu)圖。

圖19是表示將ohp片材上印有黑三角的物體作為觀測對象物并使該片材移動時的成像的圖。

圖20表示每隔一段時間觀察到的檢測結(jié)果。隨著從上向下表示時間經(jīng)過。

圖21是表示在觀測對象通過了模式照明時得到的光信號的總光量的時間變化的曲線圖。

圖22是從圖21的曲線圖重建的觀測對象的像。

具體實施方式

下面，使用附圖對用于實施本發(fā)明的方式進行說明。本發(fā)明不限于以下說明的方式，也包括本領(lǐng)域技術(shù)人員根據(jù)以下方式在顯而易見的范圍內(nèi)適當變更的方式。需要說明的是，代替以下說明的光信號，可以使用無線信號、太赫茲信號、射頻信號、音頻信號、x射線、γ射線、粒子束或電磁波。在這種情況下，代替光源，適當使用產(chǎn)生這些信號的物體，作為多個區(qū)域，可以適當使用這些透射特性、反射特性等不同的多個區(qū)域。另外，作為結(jié)構(gòu)化的照明模式、結(jié)構(gòu)化的檢測系統(tǒng)，能夠適當采用使用了下述膜的照明模式、檢測系統(tǒng)，在該膜中部分涂抹或描畫了鋁、銀或鉛等使透射性改變的物質(zhì)。

圖1是表示成像裝置的第一方式中觀測對象物移動的成像裝置的概略結(jié)構(gòu)圖。成像裝置的第一方式涉及具有有著結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)的成像裝置。結(jié)構(gòu)化的照明模式是指在照射到觀測對象物的光的區(qū)域內(nèi)存在光特性不同的多個區(qū)域。

如圖1所示，該成像裝置具有光學(xué)系統(tǒng)11、一個或少量像素檢測元件15、相對位置控制機構(gòu)17以及像重建部19。

光學(xué)系統(tǒng)11是具有結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)(系統(tǒng))，該結(jié)構(gòu)化的照明模式具有光特性不同的多個區(qū)域。光學(xué)系統(tǒng)11也可以具有未圖示的光源。即，光學(xué)系統(tǒng)的例子為，具有未圖示的光源以及用于接受來自光源的光而形成結(jié)構(gòu)化的照明模式的濾波器的光學(xué)元件組。光學(xué)系統(tǒng)的又一例為，具有構(gòu)成照明模式的多個光源的光源組(或包括光源組和光學(xué)元件的光學(xué)元件組)。例如，來自光源的光通過具有圖示的光特性的模式的濾波器，從而采用圖示那樣的光的模式照射到測定對象物。光源既可以為連續(xù)光也可以為脈沖光，但優(yōu)選為連續(xù)光。光源既可以為白色光，也可以為單色光。光特性的例子為，與光強度、光波長和偏光中的任意一項以上相關(guān)的特性(例如，透射率)，但不限于此。具有光特性不同的多個區(qū)域的結(jié)構(gòu)化的照明模式的例子為，具有有第一光強度的多個區(qū)域和有第二光強度的多個區(qū)域的照明模式。光特性不同的多個區(qū)域的例子為，具有在恒定區(qū)域內(nèi)隨機分散的光特定不同的部位的區(qū)域。另外，光特性不同的多個區(qū)域的又一例子為，存在劃分成格子狀的多個區(qū)域，且該多個區(qū)域至少具有有第一光強度的區(qū)域和有第二光強度的區(qū)域。具有該光特性不同的多個區(qū)域的結(jié)構(gòu)化的照明模式，除了實施例中說明的照明模式以外，例如能夠通過將來自光源的光照射到在透明膜上印刷有圖案的方式來得到。將上述結(jié)構(gòu)化的照明模式照射到觀測對象物上。

觀測對象物13根據(jù)用途能夠?qū)⒏鞣N物體作為觀測對象物。觀測對象物的例子為細胞、體液和眼球(可以為移動的眼球)，但不限于此。

一個或少量像素檢測元件15是檢測觀測對象物13接受從光學(xué)系統(tǒng)11放出的光而發(fā)出的光信號的檢測元件。光信號的例子為熒光、發(fā)光、透射光或反射光。一個或少量像素檢測元件的例子為光電倍增管、多通道板光電倍增管，但不限于此。由于少量像素檢測元件是緊湊的且能夠使各元件并行地高速動作，因此能夠在本發(fā)明中優(yōu)選使用。一個像素檢測元件的例子在日本專利4679507和日本專利3444509中公開。

相對位置控制機構(gòu)17是使光學(xué)系統(tǒng)11和觀測對象物13的相對位置發(fā)生變動的機構(gòu)。相對位置控制機構(gòu)17的例子為，使觀測對象物13的位置發(fā)生變動的機構(gòu)、或者使光學(xué)系統(tǒng)11的位置發(fā)生變動的機構(gòu)。使觀測對象物13的位置發(fā)生變動的機構(gòu)的例子為，具有能夠搭載觀測對象物13的載物臺和使該載物臺移動的致動器的機構(gòu)。使光學(xué)系統(tǒng)11的位置發(fā)生變動的機構(gòu)例如為，通過致動器等使光學(xué)系統(tǒng)11中形成具有多個區(qū)域的結(jié)構(gòu)化的照明模式的部分(例如為光源和濾波器、或者僅為光源)移動的機構(gòu)。具有使觀測對象物13的位置發(fā)生變動的機構(gòu)的成像裝置例如能夠用于細胞流式細胞儀。另外，該方式的成像裝置由于能夠縮小尺寸，因此能夠用作例如將移動中的人眼作為觀測對象物的穿戴設(shè)備中的成像裝置。另外，具有使光學(xué)系統(tǒng)11的位置發(fā)生變動的機構(gòu)的成像裝置能夠用作顯微鏡中的成像裝置。這種顯微鏡的例子為，點掃描型顯微鏡、共聚焦顯微鏡、電子顯微鏡、光聲顯微鏡和超聲波顯微鏡。

圖2是表示成像裝置的第一方式中具有使光學(xué)系統(tǒng)11的位置發(fā)生變動的機構(gòu)的成像裝置的概略結(jié)構(gòu)圖。在圖2所示的例子中，通過模式化的照明移動，隨著時間變化用與模式化的照明的模式相對應(yīng)的光特定來照射觀測對象物13的各部位。

像重建部19是使用一個或少量像素檢測元件15檢測到的光信號來重建觀測對象物的像的裝置。像重建部19的例子為，使用與一個或少量像素檢測元件15檢測到的熒光以及與具有結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)11中包括的多個區(qū)域相關(guān)的信息來重建觀測對象物的像的裝置。

像重建部19例如能夠通過與一個或少量像素檢測元件15連接的控制裝置(例如計算機)來實現(xiàn)。該控制裝置使輸入輸出部、存儲部、運算部和控制部通過總線等連接且能夠交換信息。另外，在存儲部存儲有各種程序、參數(shù)等數(shù)值。當從輸入輸出部輸入規(guī)定的信息時，該控制裝置從存儲部讀出需要的程序和數(shù)值，運算部根據(jù)程序進行規(guī)定的運算，并將運算結(jié)果適當?shù)卮鎯υ诖鎯Σ恳酝猓€從輸入輸出部輸出。

例如，像重建部19具有：時間序列信號信息獲取部，在恒定期間接收光信號并獲取光信號的時間序列信號信息；部分信號分離部，從時間序列信號信息中分離觀測對象的部分區(qū)域的部分時間序列信號信息；部分像重構(gòu)部，從得到的觀測對象的部分時間序列信號信息提取或重構(gòu)與觀測對象的各部分的像(發(fā)光強度等)相關(guān)的信息；以及圖像重構(gòu)部，使用部分像重構(gòu)部重構(gòu)的觀測對象的各部分的像來重建與觀測對象相關(guān)的圖像。

檢測信號包括檢測強度隨時間變化的信息。

時間序列信號信息獲取部獲取光信號的時間序列信號信息。時間序列信號信息獲取部的例子為，將一個或少量像素檢測元件15在恒定時間接收、檢測并存儲的檢測信號作為時間序列信號信息接受的構(gòu)件。時間序列信號信息獲取部獲取的時間序列信號信息可以適當存儲在存儲部。另外，可以將時間序列信號信息獲取部獲取的時間序列信號信息發(fā)送至部分信號分離部以用于部分信號分離部的運算處理。

部分信號分離部是用于從時間序列信號信息中分離觀測對象的部分區(qū)域中的部分時間序列信號信息的構(gòu)件。時間序列信號信息可以包括來自觀測對象物的各部分的檢測信號。因此，部分信號分離部從時間序列信號信息中分離作為觀測對象的各部分區(qū)域中的時間序列信號信息的部分時間序列信號信息。此時，部分信號分離部讀出存儲的與照明模式相關(guān)的信息h，使用讀出的與照明模式相關(guān)的信息h和時間序列信號信息來分離部分時間序列信號信息。即，由于時間序列信號信息存在和與照明模式相關(guān)的信息h相對應(yīng)的變動，因此，通過使用與照明模式相關(guān)的信息h，能夠?qū)r間序列信號信息分離為部分時間序列信號信息?？梢愿鶕?jù)時間序列信號信息將作為觀測對象的各部分區(qū)域中的時間序列信號信息的部分時間序列信號信息適當?shù)卮鎯υ诖鎯Σ?。另外，可以將部分時間序列信號信息發(fā)送至部分像重構(gòu)部以用于部分像重構(gòu)部的運算處理。

部分像重構(gòu)部是用于從部分時間序列信號信息提取或重構(gòu)與觀測對象的各部分的像(發(fā)光強度等)相關(guān)的信息的構(gòu)件。由于部分時間序列信號信息是各部分區(qū)域中的時間序列信號信息，因此，能夠求出與各區(qū)域的光強度相關(guān)的信息f。與觀測對象的各部分的像(發(fā)光強度等)相關(guān)的信息可以適當?shù)卮鎯υ诖鎯Σ?。另外，可以將與觀測對象的各部分的像(發(fā)光強度等)相關(guān)的信息發(fā)送至圖像重構(gòu)部以用于圖像重構(gòu)部的運算處理。

圖像重構(gòu)部是使用部分像重構(gòu)部重構(gòu)的觀測對象的各部分的像來重建與觀測對象相關(guān)的圖像的構(gòu)件。由于觀測對象的各部分的像是觀測對象物的各個區(qū)域的像，因此，通過將該像合起來能夠重建與觀測對象相關(guān)的圖像。

該成像裝置的第二方式涉及一個或少量像素檢測元件55具有光透射性能不同的多個區(qū)域的成像裝置。圖3是表示成像裝置的第二方式中觀測對象物移動的成像裝置的概略結(jié)構(gòu)圖。如圖3所示，該成像裝置具有光學(xué)系統(tǒng)51、一個或少量像素檢測元件55、相對位置控制機構(gòu)57以及像重建部59。對于光學(xué)系統(tǒng)51而言，只要能夠?qū)⒐庹丈涞接^測對象物，就能夠使用公知的光學(xué)系統(tǒng)。也可以使用前面說明的成像裝置的第一方式的光學(xué)系統(tǒng)11。

一個或少量像素檢測元件55是對觀測對象物53接受從光學(xué)系統(tǒng)51放出的光而發(fā)出的光信號進行檢測的構(gòu)件。一個或少量像素檢測元件55不僅具有前面說明的成像裝置的第一方式的一個或少量像素檢測元件15，還具有有著光透射性能不同的多個區(qū)域的部位。該光透射性能不同的多個區(qū)域例如可以由存在于檢測部的前面的光濾波器構(gòu)成。該光濾波器具有光透射性能不同的多個區(qū)域。該多個區(qū)域例如被分成格子狀，各格子的光透射性可以被分成兩個等級或兩個以上的等級。

相對位置控制機構(gòu)57是使光學(xué)系統(tǒng)51與觀測對象物53的相對位置、或者觀測對象物53與一個或少量像素檢測元件55的相對位置發(fā)生變動的機構(gòu)。相對位置控制機構(gòu)57的例子為，使觀測對象物53的位置發(fā)生變動的機構(gòu)、或者使一個或少量像素檢測元件55的位置發(fā)生變動的機構(gòu)。前者例如能夠用于細胞流式細胞儀、嵌入式微流式細胞儀和可穿戴設(shè)備。具有使一個或少量像素檢測元件55的位置發(fā)生變動的機構(gòu)的成像裝置例如能夠用作安裝于位移部分(例如，車、車的車輪)的成像裝置。

像重建部59是用于使用一個或少量像素檢測元件55檢測到的光信號來重建觀測對象物的像的構(gòu)件。像重建部59可以使用前面說明的成像裝置的第一方式的像重建部19。像重建部59的例子為，使用一個或少量像素檢測元件55檢測到的熒光以及與一個或少量像素檢測元件57中包含的多個區(qū)域相關(guān)的信息來重建觀測對象物的像的構(gòu)件。

接下來，說明本發(fā)明的成像裝置的動作例。

圖5是表示觀測對象物通過模式化的照明的概念圖。如圖5所示，觀測對象物13被相對位置控制機構(gòu)移動，通過光學(xué)系統(tǒng)中模式化的照明。該觀測對象物13具有光學(xué)空間信息，例如由f1～f4表示的熒光分子。而且，這些熒光分子根據(jù)接受到的光的強度，不發(fā)出熒光、或者發(fā)出的熒光強度不同。即，在該例子中，由f2表示的熒光分子首先發(fā)出熒光，其發(fā)光強度受到通過的模式化的照明的影響。來自觀測對象物13的光可以適當?shù)赜赏哥R等聚光。于是，來自觀測對象物13的光傳遞至一個或少量像素檢測元件。在圖5的例子中，將觀測對象物的前進方向設(shè)為x軸，在處于與x軸同一平面的垂直于x軸的方向上設(shè)置y軸。在該例子中，觀測到f1和f2為作為相同y坐標的y1上的熒光(將其表示為h(x，y1))。另外，觀測到f3和f4為作為相同y坐標的y2上的熒光(將其表示為h(x，y2))。

圖6是表示圖5所示的觀測對象物發(fā)出的熒光的情形的概念圖。如圖6所示，從各熒光分子發(fā)出熒光，例如，由于f1和f2經(jīng)歷相同的照明模式，因此認為具有類似的時間響應(yīng)模式或輸出模式。另一方面，認為f1和f2的發(fā)光強度不同。因此，f1和f2的發(fā)光強度能夠近似于作為各發(fā)光分子的特異性系數(shù)的f1和f2、與在坐標y1上共同的時間響應(yīng)模式的h(x，y1)的乘積。對于f3和f4而言，也是同樣的。

圖7是對圖5所示的觀測對象物發(fā)出的熒光進行檢測時的檢測信號的概念圖。觀測到該檢測信號為圖6所示的熒光信號的和信號。于是，該信號包括多個強度的時間變化模式h(x，yn)。于是，根據(jù)該檢測信號的強度(g(t))和h(x，yn)，能夠求出各坐標以及各坐標上的熒光系數(shù)(熒光強度)。

圖8是表示根據(jù)檢測信號的強度求出的熒光分子的位置和熒光強度的概念圖。如圖8所示，根據(jù)檢測信號g(t)能夠求出熒光系數(shù)(熒光強度)f1～f4。

更詳細地說明上述原理。圖9是用于說明像再現(xiàn)原理的圖。例如，作為對象內(nèi)坐標，存在f(1)和f(2)。而且，在時間1，第一模式的光照射到f(1)，而沒有照射到f(2)。在時間2，第二模式的光照射到f(1)，第一模式的光照射到f(2)。在時間3，光沒有照射到f(1)，而第二模式的光照射到f(2)。于是，檢測信號g(t)如下。g(1)＝f(1)h(1)，g(2)＝f(1)h(2)+f(2)h(1)，g(3)＝f(2)h(2)。若解上述式，則能夠分析f(1)和f(2)。若使用該原理，則即使對象內(nèi)坐標增加也同樣地進行分析，從而能夠求出f(1)～f(n)。

接下來，在對象為二維的情況下，將觀測對象物的內(nèi)部坐標設(shè)為f(x、y)。另一方面，模式照明也同樣地具有坐標。將觀測對象物的內(nèi)部坐標在x軸方向取值n，在y軸方向取值n時，則f(x、y)的未知數(shù)為n×n個。與上述同樣地測定信號，分析得到的信號g(t)，從而能夠重建f(x、y)(0≤x≤n，0≤y≤n)。

圖10是用于說明圖像再現(xiàn)工序的例子的圖。在該例子中，將像設(shè)為f(對象位置信息矢量)，以行列式表示。而且，將模式化的照明表現(xiàn)為h(x，y)，x用隨時間變化的變量表示。另外，將檢測到的信號強度表現(xiàn)為g(計測信號矢量)。于是，這些能夠表現(xiàn)為g＝hf。如圖10所示，為了求出f，可以將h的逆矩陣h^-1從左相乘。另一方面，有時h過大而不能容易地求出h的逆矩陣h^-1。在這種情況下，例如可以使用h的轉(zhuǎn)置矩陣h^t代替逆矩陣。使用該關(guān)系能夠求出f的初始推算值fint。接著，使用f的初始推算值fint最優(yōu)化f，從而能夠再現(xiàn)觀測對象的像。

換言之，圖10是用于說明圖像再現(xiàn)工序的例子的圖。在該例子中，將像設(shè)為f(對象位置信息矢量)，以行列式表現(xiàn)。而且，將模式化的照明表現(xiàn)為h(x，y)，x用隨時間變化的變量表示。另外，將檢測到的信號強度表現(xiàn)為g(計測信號矢量)。于是，這些能夠表現(xiàn)為g＝hf。如圖10所示，為了求出f，可以將h的逆矩陣h^-1從左相乘。另一方面，有時h過大而不能容易地求出h的逆矩陣h^-1。在這種情況下，例如能夠作為h的轉(zhuǎn)置矩陣h^t與g的相乘結(jié)果而求出f的初始推算值finit。接著，使用f的初始推算值finit最優(yōu)化f，從而能夠再現(xiàn)觀測對象的像。

圖11是表示圖像重建過程的例子的流程圖。圖12是用于說明矩陣h的圖。圖13是用于說明對象數(shù)據(jù)矢量f的結(jié)構(gòu)的圖。

本發(fā)明的另一方式涉及的成像裝置也通過應(yīng)用上述原理，從而同樣地能夠再現(xiàn)觀測對象物的像。

圖14是表示本發(fā)明的成像裝置的又一方式的圖。該成像裝置是在圖1的成像裝置中，具有在一個或少量像素檢測元件上具有光透射性能不同的多個區(qū)域的部位的成像裝置。該成像裝置能夠分配照明側(cè)和檢測器側(cè)的負擔。因此，能夠觀測例如散射過程的觀測這樣的對象特性中以往難以觀測的特性。

圖15是表示本發(fā)明的成像裝置的又一方式的圖。該成像裝置是在圖2的成像裝置中，具有在一個或少量像素檢測元件上具有光透射性能不同的多個區(qū)域的部位的成像裝置。該成像裝置能夠分配照明側(cè)和檢測器側(cè)的負擔。因此，能夠觀測例如散射過程的觀測這樣的對象特性中以往難以觀測的特性。

接下來，對壓縮傳感進行說明。

使成像裝置使用的結(jié)構(gòu)化的照明模式的光特性在各像素中不同地隨機分布，從而在減少采樣次數(shù)的同時，獲取重建觀測對象物的像所需要的信息。即，基于通過結(jié)構(gòu)化的隨機的照明模式得到的散射光和觀測對象物的稀疏性，在減少采樣次數(shù)的同時重建觀測對象物的像。

具體而言，成像裝置使用隨機分布的結(jié)構(gòu)化的照明模式對觀測對象物進行觀測，多次進行像的重建，從而掌握觀測對象物的大小的范圍。接下來，以能夠覆蓋重建觀測對象物的像所需要的區(qū)域的方式，基于測定對象物的大小的范圍來縮小結(jié)構(gòu)化的照明模式的區(qū)域?；蛘?，配合觀測對象物存在的區(qū)域而擴大成像裝置觀測的區(qū)域。

通過這樣設(shè)計結(jié)構(gòu)化的照明模式，成像裝置能夠?qū)崿F(xiàn)圖像流式細胞儀中的生產(chǎn)能力(throughput)的提高。

需要說明的是，也可以將結(jié)構(gòu)化的照明模式設(shè)計成光結(jié)構(gòu)與光結(jié)構(gòu)本身的自相關(guān)呈具有尖銳峰狀態(tài)的δ函數(shù)狀。通過設(shè)計成光結(jié)構(gòu)的自相關(guān)呈δ函數(shù)狀，唯一地確定結(jié)構(gòu)化的照明模式以及檢測到觀測對象物發(fā)出的熒光時的檢測信號，因此能夠重建觀測對象物的像。

另外，在結(jié)構(gòu)化的照明模式中，如果設(shè)計成包括大量的不透光區(qū)域，則檢測到觀測對象物發(fā)出的熒光時的檢測信號的重疊減少，能夠進行具有更高s/n比的拍攝。

實施例1

下面，使用實施例具體地說明本發(fā)明。

圖16是實施例1的裝置的概略圖。該裝置涉及一種裝置，其中，觀測對象移動，使用光源和鏡得到照射到觀測對象的照射模式，觀測透過觀測對象的光，從而再現(xiàn)觀測對象的像。

作為光源，使用m470l3-c1/藍(波長47nm)日本奧林巴斯bx&美國索雷博(thorlabs)公司制造的ix用準直led(1000ma)。此外，由于與使用激光等相干光的情況相比，使用led、燈等非相干光觀測不到斑點，因此精度提高。進一步地，使用連續(xù)光比使用脈沖光更適于高速拍攝。

作為鏡，使用索雷博(thorlabs)公司制的銀反射鏡。利用該銀反射鏡，調(diào)整去往空間調(diào)制器的入射光的光軸。作為空間調(diào)制器，使用德州儀器(texasinstrument)公司制的dmd：(數(shù)字微反射鏡裝置：digitalmicromirrordevice)dlplcr9000evm。通過該空間調(diào)制器將來自光源的光結(jié)構(gòu)化為具有照明模式的光。此外，雖然在本實施例中使用了dmd，但只要能夠進行空間調(diào)制，就可以使用除dmd以外的物體進行結(jié)構(gòu)化。例如，既可以使用對ohp片材實施印刷且按照印刷而改變光的透射性的物體，也可以是具有微細結(jié)構(gòu)的透射片材。對于該照明模式化而言，特別優(yōu)選二值(明和暗)調(diào)制。為了得到照明模式，可以使用空間光調(diào)制器，但在使用空間光調(diào)制器的情況下會產(chǎn)生零級衍射光等問題。

作為透鏡，使用索雷博(thorlabs)公司制的雙凸透鏡。使用透鏡與物鏡一同構(gòu)建4f系統(tǒng)，將空間調(diào)制器上的結(jié)構(gòu)準確地光學(xué)傳輸?shù)接^測對象物(樣品)上。后一半(觀測對象物的后方)的4f系統(tǒng)本質(zhì)上是不重要的，只要能夠以良好的s/n檢測出來自樣品的透射光即可。

作為物鏡，使用日本奧林巴斯公司制的uplsapo20x。物鏡具有使作為模式化的照明的結(jié)構(gòu)照明在觀測對象物上成像的功能和收集來自觀測對象物的光信號的功能。優(yōu)選物鏡具有高的數(shù)值孔徑(na)和廣闊的視野以使大量的結(jié)構(gòu)化照明更精細地成像。

作為用于使觀測對象物移動的樣品臺，使用西格瑪光機株式會社制的電動1軸載物臺hps60-20x-set和兩個旋轉(zhuǎn)載物臺kspb-906m-m6。使用1軸載物臺使觀測對象物移動的同時，使用兩個旋轉(zhuǎn)載物臺在三維調(diào)整觀測對象物的方向。

作為檢測器，使用日本濱松光子學(xué)株式會社scmos照相機flash4.0。用計算機累計該照相機拍攝的圖像的像素值，作為用一個像素檢測元件可以得到的透過信號。該照相機是用于原理驗證實驗的照相機，優(yōu)選使用高速的一個像素或少量檢測元件。

圖17是表示通過檢測來自觀測對象的反射光來再現(xiàn)像的結(jié)構(gòu)的概略結(jié)構(gòu)圖。圖18是表示通過檢測來自觀測對象的熒光來再現(xiàn)像的結(jié)構(gòu)的概略結(jié)構(gòu)圖。

圖19是表示將ohp片材上印有黑三角的物體作為觀測對象物并使該片材移動時的成像的圖。圖20表示每隔一段時間觀察到的檢測結(jié)果。隨著從上向下表示時間經(jīng)過。在最上面的檢測結(jié)果中，在左側(cè)部位存在黑三角。而且，越是下面的觀測結(jié)果，黑三角的位置越向右方向移動。由此可知，若觀測對象物移動，則能夠檢測隨著其位移而放出的信號。圖21是表示在觀測對象通過了模式照明時得到的光信號的總光量的時間變化的曲線圖。圖22是從圖21的曲線圖重建的觀測對象的像。由圖22示出了能夠以能夠掌握觀測對象物的形狀的方式再現(xiàn)像。

實施例2

接下來，對彩色成像進行說明。彩色成像是通過組合多個光學(xué)元件觀測由多個細胞熒光標識染色為彩色的觀察對象物來重建彩色圖像的技術(shù)。需要說明的是，觀察對象物不限于細胞。另外，觀測的光不限于熒光。進一步地，對觀察對象進行染色的方法不限于細胞熒光標識，也可以使用染料等。另外，通過彩色成像觀測的對象物不限于被染色的觀測對象，也可以為觀測對象物本身具有顏色的對象物。

進一步地，通過在上述實施例1中示出的裝置中組合使用多個細胞熒光標識、分色鏡、消色差透鏡和帶通濾波器，能夠進行在以往的熒光激活細胞分選(fluorescenceactivatedcellsorting，facs)中進行的將細胞核、細胞質(zhì)和細胞膜等染色成彩色的細胞彩色成像。此外，通過使用衍射元件等光學(xué)元件代替分色鏡，可以對來自染色成彩色的細胞的熒光發(fā)光進行分光。即，在用于彩色成像的分光中，能夠使用利用了折射、衍射的各種元件。

具體而言，實施例2中所示的裝置分別重建熒光染色為紅色的細胞膜的圖像、熒光染色為綠色的細胞質(zhì)的圖像和熒光染色為藍色的細胞核的圖像。接下來，實施例2中所示的裝置能夠通過使重建的各圖像重疊來生成染色為彩色的細胞的圖像。實施例2中所示的裝置生成的染色為彩色的細胞的圖像即使與使用能夠進行彩色拍攝的照相機拍攝的染色為彩色的細胞的圖像相比較，也是毫不遜色的圖像。

此外，到目前為止，作為成像裝置的一例，說明了下述裝置：使用具有結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)或具有光特性不同的多個區(qū)域的結(jié)構(gòu)化的檢測系統(tǒng)中的任一者或雙方，在改變觀測對象與上述光學(xué)系統(tǒng)或檢測系統(tǒng)中任一者的相對位置的同時，用一個或少量像素檢測元件檢測來自觀測對象的光信號，從而得到光信號的時間序列信號信息，從時間序列信號信息重建與觀測對象相關(guān)的圖像，但不限于此。即，成像裝置得到上述光信號的時間序列信號信息即可，不必從時間序列信號信息重建與觀測對象相關(guān)的圖像。

工業(yè)實用性

本發(fā)明基本上屬于光學(xué)設(shè)備領(lǐng)域，但可以利用于醫(yī)療設(shè)備、可穿戴設(shè)備等各種領(lǐng)域。

附圖標記說明

11具有結(jié)構(gòu)化的照明模式的光學(xué)系統(tǒng)

13觀測對象物

15一個或少量像素檢測元件

17相對位置控制機構(gòu)

19像重建部

51光學(xué)系統(tǒng)

53觀測對象物

55一個或少量像素檢測元件

57相對位置控制機構(gòu)

59像重建部