本公開涉及無透鏡顯微鏡的基于利用多個光源的多個拍攝圖像來生成假想的合焦面上的對象物的圖像的技術(shù)。

背景技術(shù)：

不對培養(yǎng)細(xì)胞實施染色而希望連續(xù)地觀察該培養(yǎng)細(xì)胞的要求，屬于治療用細(xì)胞的產(chǎn)生、藥效的試驗等將培養(yǎng)細(xì)胞用于醫(yī)療、產(chǎn)業(yè)的很多領(lǐng)域。然而，由于細(xì)胞大多都是幾乎無色透明的，因此在基于透射光的光學(xué)顯微鏡下的拍攝中，難以獲知培養(yǎng)細(xì)胞的立體構(gòu)造。

在專利文獻1中，示出了如下方法：為了評價細(xì)胞的斷面形狀，根據(jù)與物鏡平行、且相對于對象物而言焦點的高度位置不同的許多圖像(即，一邊使焦點在對象物的高度方向上挪動一邊進行拍攝而得到的許多圖像)，生成與物鏡不平行的面的合焦圖像(虛擬斷面圖像)。

可是，對于培養(yǎng)細(xì)胞的連續(xù)觀察，在用于維持培養(yǎng)細(xì)胞用的濕潤環(huán)境的恒溫箱這樣的有限空間內(nèi)進行。為了在這樣的濕潤的有限空間內(nèi)進行觀察，專利文獻2公開了不使用透鏡就能夠觀察微小細(xì)胞的無透鏡顯微鏡。公開了使通過從多個不同的位置進行照射的照明而拍攝到的多個圖像進行重疊(ptychography，疊層成像)來提高分辨率的方法。

現(xiàn)有技術(shù)文獻

專利文獻1：日本特開2013-101512號公報

專利文獻2：美國專利申請公開第2014/0133702號說明書

技術(shù)實現(xiàn)要素：

然而，在專利文獻1的方法中，在進行了拍攝之后從各高度位置的圖像中切取部分圖像，使所切取出的部分圖像接合，因此在部分圖像的接合處產(chǎn)生不連續(xù)。其結(jié)果是，虛擬斷面圖像的畫質(zhì)因不連續(xù)而發(fā)生劣化。另外，如果為了降低因不連續(xù)導(dǎo)致的畫質(zhì)劣化而對不連續(xù)部分實施模糊處理，則虛擬斷面圖像的清晰度會降低。

因此，本公開提供一種能夠使用多個拍攝圖像生成假想的焦平面上的對象物的高畫質(zhì)的合焦圖像的圖像生成系統(tǒng)等。

本公開的一個技術(shù)方案涉及的圖像生成系統(tǒng)，具備多個照明器、載置對象物的圖像傳感器和至少一個控制電路，生成位于所述多個照明器與所述圖像傳感器之間的假想的焦平面上的所述對象物的合焦圖像，所述多個照明器依次對所述對象物進行照明，每當(dāng)所述多個照明器對所述對象物進行照明時，所述圖像傳感器取得所述對象物的拍攝圖像，所述至少一個控制電路，(a)取得位于所述多個照明器與所述圖像傳感器之間的所述焦平面的信息，(b)對構(gòu)成所述合焦圖像的多個像素，分別執(zhí)行以下的(c)～(f)，(c)對所述多個照明器的位置，分別執(zhí)行以下的(d)～(f)，(d)計算對象點的位置，所述對象點是連接所述焦平面上的所述像素的位置和所述照明器的位置的直線與所述圖像傳感器的受光面交叉的交點，(e)基于所述圖像傳感器的受光面上的所述對象點的位置，計算從所述照明器的位置對所述對象物進行照明時所取得的拍攝圖像中的所述對象點的輝度值，(f)將所述對象點的輝度值適用于所述像素的輝度值，(g)使用所述多個像素各自的輝度值的適用結(jié)果，生成所述焦平面上的所述對象物的合焦圖像，(h)輸出所述生成的所述對象物的合焦圖像。

另外，本公開的一個技術(shù)方案涉及的圖像生成系統(tǒng)，具備多個照明器、載置對象物的圖像傳感器和至少一個控制電路，生成位于所述多個照明器與所述圖像傳感器之間的假想的焦平面上的所述對象物的合焦圖像，所述多個照明器依次對所述對象物進行照明，每當(dāng)所述多個照明器對所述對象物進行照明時，所述圖像傳感器取得所述對象物的拍攝圖像，所述至少一個控制電路，(a)取得位于所述多個照明器與所述圖像傳感器之間的所述焦平面的信息，(b)對多個所述拍攝圖像，分別執(zhí)行以下的(c)～(f)，(c)取得與所述拍攝圖像對應(yīng)的照明器的位置信息，(d)對所述拍攝圖像所包含的多個第1像素，分別執(zhí)行以下的(e)～(f)，(e)計算連接所述圖像傳感器的受光面上的所述第1像素的位置和所述照明器的位置的直線與所述焦平面交叉的交點的位置，(f)對構(gòu)成所述合焦圖像的多個第2像素所包含的與所述焦平面上的交點的位置對應(yīng)的一個以上的第2像素的輝度值，適用所述第1像素的輝度值，(g)使用所述多個第2像素的輝度值的適用結(jié)果，生成所述焦平面上的所述對象物的合焦圖像，(h)輸出所述生成的所述對象物的合焦圖像。

此外，這些總括性或具體的技術(shù)方案既可以通過裝置、方法、集成電路、計算機程序或計算機可讀取的記錄介質(zhì)來實現(xiàn)，也可以通過裝置、系統(tǒng)、方法、集成電路、計算機程序和記錄介質(zhì)的任意組合來實現(xiàn)。計算機可讀取的記錄介質(zhì)例如包括cd-rom(compactdisc-readonlymemory，光盤只讀存儲器)等非易失性記錄介質(zhì)。

根據(jù)本公開，能夠使用多個拍攝圖像生成假想的焦平面上的對象物的高畫質(zhì)的合焦圖像。從本說明書及附圖中可知曉本公開的一個技術(shù)方案的附加的益處及優(yōu)點。該益處和/或優(yōu)點可以單獨地由本說明書及附圖所公開的各種實施方式及特征而得到，無需為了獲得一個以上益處和/或優(yōu)點而實施所有的實施方式及特征。

附圖說明

圖1是表示實施方式1涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖2是示意性表示實施方式1涉及的照明器的構(gòu)造的一例的圖。

圖3是示意性表示實施方式1涉及的照明器的構(gòu)造的一例的圖。

圖4是示意性表示實施方式1涉及的照明器的構(gòu)造的一例的圖。

圖5是說明實施方式1涉及的照明器所包含的針孔(pinhole)應(yīng)滿足的大小條件的示意圖。

圖6是表示實施方式1涉及的存儲部存儲的內(nèi)容的一例的圖。

圖7是表示實施方式1涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖8是表示坐標(biāo)與焦平面的關(guān)系的一例的示意圖。

圖9是表示實施方式1涉及的拍攝裝置的工作的一例的流程圖。

圖10是表示實施方式1涉及的重新聚焦處理部的工作的一例的流程圖。

圖11是說明實施方式1涉及的重新聚焦(refocus)處理的具體例子的示意圖。

圖12是說明實施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖13是說明實施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖14是說明實施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖15是說明實施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖16是表示實施方式1的變形例1涉及的重新聚焦處理部的工作的一例的流程圖。

圖17是表示實施方式1的變形例2涉及的重新聚焦處理部的工作的一例的流程圖。

圖18是說明實施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖19是說明實施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖20是說明實施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖21是說明實施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖22是表示實施方式2涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖23是示意性表示實施方式2中的照明位置的范圍的一例的圖。

圖24是將透鏡的焦距和景深的關(guān)系、與進行重新聚焦時的點光源的配置和景深的關(guān)系進行關(guān)聯(lián)來表示的示意圖。

圖25是表示實施方式2涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖26是表示實施方式2的變形例涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖27是表示實施方式2的變形例涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖28是表示實施方式3涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖29是表示實施方式3涉及的胚信息表的一例的圖。

圖30是表示實施方式3涉及的焦平面確定部的工作的一例的流程圖。

圖31是表示實施方式3的變形例涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖32是表示實施方式3的變形例涉及的細(xì)胞位置判定部的詳細(xì)的功能結(jié)構(gòu)的一例的框圖。

圖33是表示實施方式3的變形例涉及的焦平面確定部的工作的一例的流程圖。

圖34是表示實施方式3的變形例涉及的與由焦平面確定部進行的細(xì)胞配置的確定有關(guān)的處理的流程圖。

圖35a是4細(xì)胞期的胚的三維模型的側(cè)視圖。

圖35b是4細(xì)胞期的胚的三維模型的側(cè)視圖。

圖35c是4細(xì)胞期的胚的三維模型的俯視圖。

圖35d是4細(xì)胞期的胚的三維模型的立體圖。

圖36a是4細(xì)胞期的胚的三維模型的斷面圖。

圖36b是4細(xì)胞期的胚的三維模型的斷面圖。

圖37是4細(xì)胞期的胚的三維模型的立體圖。

圖38是4細(xì)胞期的胚的三維模型的斷面圖。

具體實施方式

本公開的一個技術(shù)方案涉及的合焦圖像生成系統(tǒng)，具備多個照明器、載置對象物的圖像傳感器和至少一個控制電路，生成位于所述多個照明器與所述圖像傳感器之間的假想的焦平面上的所述對象物的合焦圖像，所述多個照明器依次對所述對象物進行照明，每當(dāng)所述多個照明器對所述對象物進行照明時，所述圖像傳感器取得所述對象物的拍攝圖像，所述至少一個控制電路，(a)取得位于所述多個照明器與所述圖像傳感器之間的所述焦平面的信息，(b)對構(gòu)成所述合焦圖像的多個像素，分別執(zhí)行以下的(c)～(f)，(c)對所述多個照明器的位置，分別執(zhí)行以下的(d)～(f)，(d)計算對象點的位置，所述對象點是連接所述焦平面上的所述像素的位置和所述照明器的位置的直線與所述圖像傳感器的受光面交叉的交點，(e)基于所述圖像傳感器的受光面上的所述對象點的位置，計算從所述照明器的位置對所述對象物進行照明時所取得的拍攝圖像中的所述對象點的輝度值，(f)將所述對象點的輝度值適用于所述像素的輝度值，(g)使用所述多個像素各自的輝度值的適用結(jié)果，生成所述焦平面上的所述對象物的合焦圖像，(h)輸出所述生成的所述對象物的合焦圖像。

根據(jù)本技術(shù)方案，能夠?qū)⑦B接焦平面上的像素的位置和照明器的位置的直線與圖像傳感器的受光面交叉的交點即對象點的輝度值適用于該像素的輝度值。因此，能夠在假想的焦平面上的合焦圖像的各像素上反映與該像素對應(yīng)的多個拍攝圖像的輝度值，能夠生成對象物的高畫質(zhì)的合焦圖像。

本公開的一個技術(shù)方案涉及的合焦圖像生成系統(tǒng)，具備多個照明器、載置對象物的圖像傳感器和至少一個控制電路，生成位于所述多個照明器與所述圖像傳感器之間的假想的焦平面上的所述對象物的合焦圖像，所述多個照明器依次對所述對象物進行照明，每當(dāng)所述多個照明器對所述對象物進行照明時，所述圖像傳感器取得所述對象物的拍攝圖像，所述至少一個控制電路，(a)取得位于所述多個照明器與所述圖像傳感器之間的所述焦平面的信息，(b)對多個所述拍攝圖像，分別執(zhí)行以下的(c)～(f)，(c)取得與所述拍攝圖像對應(yīng)的照明器的位置信息，(d)對所述拍攝圖像所包含的多個第1像素，分別執(zhí)行以下的(e)～(f)，(e)計算連接所述圖像傳感器的受光面上的所述第1像素的位置和所述照明器的位置的直線與所述焦平面交叉的交點的位置，(f)對構(gòu)成所述合焦圖像的多個第2像素所包含的與所述焦平面上的交點的位置對應(yīng)的一個以上的第2像素的輝度值，適用所述第1像素的輝度值，(g)使用所述多個第2像素的輝度值的適用結(jié)果，生成所述焦平面上的所述對象物的合焦圖像，(h)輸出所述生成的所述對象物的合焦圖像。

根據(jù)本技術(shù)方案，能夠?qū)εc連接圖像傳感器的受光面上的第1像素的位置和照明器的位置的直線與焦平面交叉的交點的位置對應(yīng)的合焦圖像的一個以上的第2像素的輝度值，適用拍攝圖像的第1像素的輝度值。因此，能夠?qū)⑴臄z圖像的各像素的輝度值反映于合焦圖像的像素的輝度值，能夠生成對象物的高畫質(zhì)的合焦圖像。

例如，也可以，所述多個照明器分別具備：光源；和遮光板，其位于所述光源與所述對象物之間，并具有針孔，通過所述光源經(jīng)由所述針孔對所述對象物照射漫射光。

根據(jù)本技術(shù)方案，能夠從光源經(jīng)由針孔對對象物照射漫射光。因此，能夠防止表示從照明器照射的光的多條光線發(fā)生交錯，能夠使對象物的拍攝圖像的畫質(zhì)提高，也能夠使合焦圖像的畫質(zhì)提高。

例如，也可以，所述圖像生成系統(tǒng)還具備顯示器，所述顯示器對從所述至少一個控制電路輸出的所述合焦圖像進行顯示。

根據(jù)本技術(shù)方案，能夠顯示合焦圖像。

例如，也可以，進一步，基于所述焦平面的信息，確定照明位置的范圍，所述多個照明器中的與所述照明位置的范圍對應(yīng)的照明器依次對所述對象物進行照明。

根據(jù)本技術(shù)方案，能夠基于焦平面的信息來確定照明位置的范圍，通過與所確定出的照明位置的范圍對應(yīng)的照明器依次對對象物進行照明。因此，能夠使用與焦平面上的合焦圖像的生成相適合的照明器來拍攝對象物，能夠縮短拍攝時間。

此外，這些總括性或具體的技術(shù)方案既可以通過裝置、方法、集成電路、計算機程序或計算機可讀取的cd-rom等記錄介質(zhì)來實現(xiàn)，也可以通過裝置、方法、集成電路、計算機程序或記錄介質(zhì)的任意組合來實現(xiàn)。

以下，參照附圖對本公開的一個技術(shù)方案涉及的合焦圖像生成系統(tǒng)進行具體說明。

此外，以下說明的實施方式都表示總括性或具體的例子。以下的實施方式中示出的數(shù)值、形狀、構(gòu)成要素、構(gòu)成要素的配置以及連接形態(tài)、步驟、步驟的順序等是一例，并非限定權(quán)利要求的意思。另外，關(guān)于以下的實施方式中的構(gòu)成要素中的未記載在表示最上位概念的獨立權(quán)利要求中的構(gòu)成要素，作為任意的構(gòu)成要素進行說明。

(實施方式1)

在實施方式1中，多個照明器依次對位于圖像傳感器上的對象物進行照明，使用通過在每次照明時拍攝對象物而得到的多個拍攝圖像，生成位于多個照明器與圖像傳感器之間的假想的焦平面上的對象物的圖像。以下，將該使用多個拍攝圖像生成的圖像也稱為合焦圖像。

[圖像生成系統(tǒng)的構(gòu)成]

圖1是實施方式1涉及的圖像生成系統(tǒng)的功能框圖。圖1所示的圖像生成系統(tǒng)10具備拍攝裝置100a、圖像生成裝置100b、存儲部120和顯示部150。圖像生成系統(tǒng)10還可以具有：存儲有預(yù)定的焦平面的信息的第1記錄部111、記錄重新聚焦(refocus)處理完的像素的信息的第2記錄部121、和受理用于指定焦平面的指定信息的輸入的輸入部112。

[拍攝裝置的構(gòu)成]

首先，對拍攝裝置100a的構(gòu)成進行說明。拍攝裝置100a具備多個照明器101、圖像傳感器102和拍攝控制部103。拍攝裝置100a取得對象物的拍攝圖像(photographicimage)。在此，拍攝裝置100a不具有聚焦透鏡。通常，聚焦透鏡具有多個透鏡以及反射鏡，在光軸方向上具有一定以上的長度。因此，例如，對于在培養(yǎng)細(xì)胞的恒溫箱內(nèi)配置具有聚焦透鏡的拍攝裝置，實際上是很難的。另外，培養(yǎng)細(xì)胞的環(huán)境需要高濕度。透鏡和反射鏡的材料難以在高濕度環(huán)境下進行利用。因此，在進行細(xì)胞培養(yǎng)的環(huán)境下，具有聚焦透鏡的拍攝裝置是不適合的。因此，通過不具有聚焦透鏡的拍攝裝置，例如即使在恒溫箱內(nèi)部、且進行細(xì)胞培養(yǎng)的環(huán)境下，也能夠觀察細(xì)胞。

對象物例如是配置在圖像傳感器102上的多個半透明的物質(zhì)。多個物質(zhì)以三維重疊的方式排布。物質(zhì)的具體例子是細(xì)胞。

多個照明器101分別是輸出平行光的照明器或者輸出漫射光的照明器。多個照明器101包括第1照明器和第2照明器。第1照明器和第2照明器分別照射不交錯的光。即，表示從第1照明器照射的第1光的多條第1光線互不相交。另外，表示從第2照明器照射的第2光的多條第2光線也互不相交。因此，在從第1照明器和第2照明器的某一方照射了光的情況下，來自第1照明器和第2照明器的該一方的光從單個方向到達圖像傳感器102所包含的一個像素。也就是說，不會是光從2個以上的方向到達一個像素。

以下，將這樣的照明稱為非交錯照明。非交錯照明例如能夠通過平行光或來自點光源的漫射光來實現(xiàn)。多個照明器101依次照射光。多個照明器101配置在互不相同的位置，從互不相同的方向?qū)ο笪镎丈涔狻?/p>

圖像傳感器102具有多個像素。圖像傳感器102的各像素配置于受光面，取得從多個照明器101照射的光的強度。圖像傳感器102基于由各像素取得的光的強度來取得拍攝圖像。圖像傳感器102將取得的圖像例如輸出給存儲部120。

圖像傳感器102的例子是cmos(complementarymetal-oxidesemiconductor，互補金屬氧化物半導(dǎo)體)圖像傳感器或者ccd(chargecoupleddevice)圖像傳感器。

拍攝控制部103控制由多個照明器101進行的光的照射和由圖像傳感器102進行的拍攝。具體而言，拍攝控制部103按照多個照明器101照射光的順序，控制多個照明器101照射光的時間間隔。拍攝控制部103由包括cpu(centralprocessingunit，中央處理單元)、ram(randomaccessmemory，隨機存取存儲器)、rom(read-onlymemory，只讀存儲器)等的計算機系統(tǒng)(未圖示)構(gòu)成。拍攝控制部103的構(gòu)成要素的一部分或者全部的功能可以通過cpu將ram用作工作用的存儲器并執(zhí)行rom所記錄的程序來實現(xiàn)。另外，拍攝控制部103的構(gòu)成要素的一部分或者全部的功能也可以通過專用的硬件電路來實現(xiàn)。

從相對于圖像傳感器102的受光面配置在互不相同的位置的多個照明器101照射的光，相對于受光面以不同的入射角入射。在多個照明器101照射平行光的情況下，多個照明器101照射相對于圖像傳感器102的受光面的入射角互不相同的平行光。例如，如圖2所示，平行光通過使從led光源101a經(jīng)由形成于遮光板101b的針孔101c射出的光通過準(zhǔn)直透鏡(collimatorlens)101d進行折射來得到。

圖3是說明多個照明器101的構(gòu)造的一例的示意圖。在圖3的多個照明器101的例子中，照射平行光的多個光源101e相對于圖像傳感器102的受光面以不同的角度進行固定。在圖3的例子中，多個光源101e配置于覆蓋圖像傳感器102的半球101f的內(nèi)面。從多個光源101e到達圖像傳感器102的受光面的光向受光面的入射角互不相同。

圖4是說明多個照明器101的構(gòu)造的另一例的示意圖。在圖4的多個照明器101的例子中，多個虛擬點光源101g朝向圖像傳感器102側(cè)地配置在與圖像傳感器102的受光面平行的平面101h上的不同位置。來自多個虛擬點光源101g的光相對于圖像傳感器102的受光面的各像素從不同的方向入射。多個虛擬點光源101g分別例如通過在led光源101a的附近配置具有針孔101c的遮光板101b來實現(xiàn)。針孔101c的大小通過圖像傳感器102的像素間距、圖像傳感器102與針孔101c的距離、生成合焦圖像的點距圖像傳感器102的距離來限制。

圖5是說明針孔應(yīng)滿足的大小的條件的示意圖。在此，d1表示針孔101c的直徑。h1表示從圖像傳感器102的受光面到針孔101c為止的距離。h2表示從圖像傳感器102的受光面到合焦點101j(即，合焦圖像中的任意像素的位于焦平面上的點)為止的距離。d2表示從針孔101c透過合焦點到達圖像傳感器102的受光面的光的擴展直徑。p表示圖像傳感器102的像素間距。

此時，理想的是，從針孔101c射出的光通過合焦點101j到達圖像傳感器102的受光面的一個點。即，希望從針孔101c射出的光通過合焦點101j只到達圖像傳感器102的一個像素。因此，希望d2為不超過圖像傳感器的像素間距p的大小。也就是說，如以下的式1所示，d2<p是用于實現(xiàn)非交錯照明的條件。

d1應(yīng)滿足的條件能夠通過將該式1進行變形來表示為以下的式2。

例如，在像素間距p為0.001mm、從圖像傳感器102的受光面到針孔101c為止的距離h1為2mm、從圖像傳感器102到合焦點101j為止的距離h2為0.1mm的情況下，希望針孔的直徑d1小于0.19mm。

[圖像生成裝置的構(gòu)成]

接著，對圖像生成裝置100b的構(gòu)成進行說明。圖像生成裝置100b通過至少一個控制電路來實現(xiàn)。如圖1所示，圖像生成裝置100b具備焦平面確定部110、重新聚焦處理部130和圖像生成部140。

焦平面確定部110例如通過控制電路或者處理器來實現(xiàn)，確定位于多個照明器101與圖像傳感器102之間的假想的焦平面。具體而言，焦平面確定部110例如基于記錄在第1記錄部111中的預(yù)定的焦平面的信息來確定焦平面。另外，例如，焦平面確定部110也可以按照經(jīng)由輸入部112從外部輸入的信息來確定焦平面。

存儲部120例如通過半導(dǎo)體存儲器或者硬盤驅(qū)動器等來實現(xiàn)，將由圖像傳感器102拍攝到的圖像與在該拍攝中使用的照明器的位置信息一起進行存儲。

圖6表示存儲部120存儲的內(nèi)容的一例。按由拍攝部100拍攝到的各圖像文件，存儲有在該圖像文件的取得時所使用的照明器的位置信息。在圖6的例子中，照明器的位置信息表示相對于圖像傳感器102的相對的位置。以下，將該照明器的位置信息也稱為照明位置信息。照明位置信息是與圖像文件的文件id一起存儲的，照明位置信息通過文件id與圖像數(shù)據(jù)關(guān)聯(lián)。此外，照明位置信息也可以記錄在圖像文件的一部分(例如頭信息)中。

重新聚焦處理部130例如通過控制電路或者處理器來實現(xiàn)，根據(jù)多個圖像、多個照明器101的位置信息、和假想的焦平面的信息，計算構(gòu)成該焦平面上的合焦圖像的各像素的光的強度。后面敘述該重新聚焦處理的詳細(xì)情況。

圖像生成部140例如通過控制電路或者處理器來實現(xiàn)，根據(jù)由重新聚焦處理部130計算出的各像素的輝度值來生成焦平面上的合焦圖像。

顯示部150通過顯示器來實現(xiàn)，顯示由圖像生成部140生成的合焦圖像。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)10的工作進行說明。圖7是表示實施方式1涉及的圖像生成系統(tǒng)10的工作的一例的流程圖。圖8是表示坐標(biāo)與焦平面的關(guān)系的一例的示意圖。

(步驟s1100)

首先，拍攝部100依次使用多個照明器101對對象物進行照明，拍攝該對象物的多個圖像。具體而言，每當(dāng)多個照明器101分別對對象物進行照明時，拍攝部100通過對到達了圖像傳感器102的受光面的光的強度進行記錄，由此取得對象物的圖像。所取得的圖像與拍攝時對對象物進行了照明的照明器的位置信息一起存儲于存儲部120。在此，多個照明器101的位置相對于圖像傳感器102是固定的，多個照明器101各自的位置信息被預(yù)先確定。后面敘述拍攝處理的詳細(xì)情況。

(步驟s1200)

焦平面確定部110確定焦平面。具體而言，焦平面確定部110確定焦平面相對于圖像傳感器102的位置以及傾斜(角度)。例如，焦平面確定部110可以基于存儲在第1記錄部111中的預(yù)定的焦平面的信息來確定焦平面?；蛘?，焦平面確定部110也可以基于通過輸入部112從用戶受理的指定焦平面的指定信息來確定焦平面。

焦平面相當(dāng)于可生成合焦圖像的假想的面。也就是說，焦平面上的對象物的合焦圖像所包含的多個像素與焦平面上的多個點一一對應(yīng)。

例如，焦平面確定部110使用焦平面的角度以及位置來確定焦平面。焦平面的角度以及位置例如通過圖8所示的xyz空間來定義。

在圖8中，xy平面與圖像傳感器102的受光面一致。z軸與圖像傳感器102的受光面正交。此時，焦平面的角度以在以圖像傳感器102的受光面的中心為原點的xyz空間中相對于x軸以及y軸的角度來定義。焦平面的位置由焦平面的中心點的坐標(biāo)來定義。

(步驟s1300)

重新聚焦處理部130基于多個拍攝圖像、多個照明器101的位置信息、和焦平面的信息，進行重新聚焦處理，求出焦平面上的各點的輝度。后面敘述重新聚焦處理的詳細(xì)情況。

(步驟s1400)

圖像生成部140基于通過步驟s1300進行的重新聚焦處理的結(jié)果，生成能夠向顯示器等輸出的圖像數(shù)據(jù)。圖像生成部140將生成的圖像數(shù)據(jù)輸出給顯示部150。

(步驟s1500)

顯示部150顯示通過步驟s1400生成的圖像。

[拍攝處理]

在此說明步驟s1100的拍攝部100的工作的詳細(xì)情況。圖9是表示拍攝裝置100a的工作的一例的流程圖。

(步驟s1110)

拍攝控制部103參照預(yù)定的多個照明位置、或者通過未圖示的外部輸入而指定的多個照明位置的列表(以下，稱為照明位置列表)，判定被從各照明位置進行了照明的對象物的拍攝是否已結(jié)束。

在此，在基于從照明位置列表所包含的全部照明位置進行的照明的拍攝結(jié)束的情況下(步驟s1110：是)，進入步驟s1200。另一方面，在基于從照明位置列表內(nèi)的任一個照明位置進行的照明的拍攝未結(jié)束的情況下(步驟s1110：否)，進入步驟s1120。

(步驟s1120)

拍攝控制部103從照明位置列表所包含的多個照明位置中選擇尚未進行照明的照明位置，向多個照明器101輸出控制信號。在照明位置列表中，各照明位置例如由按各照明位置分配的編號來表示?；蛘?，各照明位置例如通過圖8所示的xyz空間中的坐標(biāo)值來表示。照明位置的選擇例如按列表的升序來進行。

(步驟s1130)

多個照明器101按照通過步驟s1120從拍攝控制部103輸出的控制信號，開始向?qū)ο笪锏恼彰?。也就是說，位于通過步驟s1120選擇出的照明位置的照明器開始照射光。

(步驟s1140)

在由照明器對對象物進行照明的期間，圖像傳感器102取得通過從該照明器透過了對象物的光而形成的圖像。

(步驟s1150)

然后，拍攝控制部103向多個照明器101輸出控制信號，停止向?qū)ο笪锏恼彰?。此外，照明的停止也可以不按照來自拍攝控制部103的控制信號來進行。例如，多個照明器101也可以對從開始照明起的時間長度進行計時，在計時得到的時間長度超過了預(yù)定的時間長度之后主動停止照明?；蛘?，也可以，在步驟s1140中圖像傳感器102結(jié)束了圖像的取得之后，圖像傳感器102將用于停止照明的控制信號輸出給多個照明器101。

(步驟s1160)

接著，拍攝控制部103將通過步驟s1140取得的圖像和在步驟s1130中使用的照明器的位置信息輸出給存儲部120。并且，存儲部120將圖像數(shù)據(jù)和照明位置的信息進行關(guān)聯(lián)并存儲。在步驟s1160之后，返回到步驟s1110。

通過反復(fù)進行從步驟s1110到步驟s1160的處理，從照明位置列表所包含的全部照明位置的照明器依次對對象物照射光，每當(dāng)對對象物照射光時取得圖像。

[重新聚焦處理]

進一步，說明步驟s1300的重新聚焦處理部130的工作的詳細(xì)情況。圖10是表示實施方式1涉及的重新聚焦處理部130的工作的一例的流程圖。圖11～圖15是說明重新聚焦處理的計算方法的具體例子的示意圖。

以下，參照圖11～圖15對圖10的各步驟進行說明。

(步驟s1310)

重新聚焦處理部130從焦平面確定部110取得通過步驟s1200確定的焦平面的信息。

焦平面的信息例如包含焦平面的中心的坐標(biāo)值和表示焦平面的傾斜的值。焦平面的傾斜例如由焦平面與xz平面的交線和x軸所成的角度來表示。另外，例如，焦平面的傾斜由焦平面與yz平面的交線和y軸所成的角度來表示。焦平面的中心的坐標(biāo)值是與合焦圖像的中心的像素對應(yīng)的焦平面上的點的坐標(biāo)值。

圖11表示拍攝部100以及對象物1000的xz平面上的斷面圖的一例。對象物1000位于照明器101a、101b和圖像傳感器102之間，并且位于圖像傳感器102上。重新聚焦處理部130取得焦平面1100的信息。

(步驟s1320)

重新聚焦處理部130判定對于合焦圖像所包含的全部像素是否結(jié)束了重新聚焦處理。在此，重新聚焦處理是指從步驟s1320到步驟s1390的處理。

在對于合焦圖像所包含的全部像素都結(jié)束了重新聚焦處理的情況下(步驟s1320：是)，重新聚焦處理部130結(jié)束重新聚焦處理(進入步驟s1400)。

在對于合焦圖像所包含的任一個像素未結(jié)束重新聚焦處理的情況下(步驟s1320：否)，重新聚焦處理部130繼續(xù)進行重新聚焦處理(進入步驟s1330)。

合焦圖像包含多個像素。合焦圖像所包含的多個像素與焦平面上的多個點一一對應(yīng)。圖12表示與合焦圖像所包含的多個像素對應(yīng)的、焦平面1100上的多個點1102a～1102e。此外，圖12所示的焦平面1100上的多個點1102a～1102e是對象物1000上的點，但焦平面1100上的多個點1102a～1102e也可以不是對象物1000上或者通過對象物1000的面上的點。除對象物1000上或者通過對象物1000的面上的點以外的點也可以與合焦圖像的像素對應(yīng)。

(步驟s1330)

重新聚焦處理部130從合焦圖像所包含的多個像素中選擇一個像素。在此被選的一個像素是合焦圖像所包含的多個像素中的尚未執(zhí)行重新聚焦處理的像素。此外，合焦圖像的像素值的初始值為0。

例如，在圖1所示的第2記錄部121中，存儲有合焦圖像中的已經(jīng)執(zhí)行了重新聚焦處理的像素的信息。在后述的步驟s1390的處理之后，重新聚焦處理部130將進行了重新聚焦處理的像素的信息記錄于第2記錄部121。重新聚焦處理部130參照記錄在第2記錄部121中的像素的信息，選擇尚未執(zhí)行重新聚焦處理的像素。以下，如圖13所示，對選擇了與點1102a對應(yīng)的像素的情況進行說明。另外，將與點1102a對應(yīng)的像素也表述為選擇像素。

(步驟s1340)

重新聚焦處理部130判定對全部照明位置的加法運算處理是否已結(jié)束。

在此，在對全部照明位置的加法運算處理已結(jié)束的情況下(步驟s1340：是)，重新聚焦處理部130的處理返回到步驟s1320。

另一方面，在對任一個照明位置的加法運算處理未結(jié)束的情況下(步驟s1340：否)，重新聚焦處理部130繼續(xù)進行加法運算處理(進入步驟s1350)。在此，加法運算處理是指從步驟s1340到步驟s1390的處理。

(步驟s1350)

重新聚焦處理部130從已用于拍攝的全部照明位置中選擇尚未結(jié)束加法運算處理的照明位置。

(步驟s1360)

重新聚焦處理部130計算經(jīng)過所選擇出的照明位置和焦平面上的選擇像素的位置的直線與圖像傳感器102的受光面交叉的點的位置。

圖14表示經(jīng)過照明器101a的位置和對應(yīng)于選擇像素的點1102a的直線1200與圖像傳感器102的受光面交叉的交點1103a。以下，將交點1103a也表述為進行加法運算處理的對象的點即對象點。在此，圖14所示的照明器101a的位置例如與圖4所示的多個虛擬點光源101g的某一個光源的位置、或圖3所示的多個平行光的光源101e中的一個光源的位置對應(yīng)。更具體而言，圖14所示的照明器101a是正交于光源101e的表面且經(jīng)過點1102a的直線與光源101e的平面交叉的交點。

圖像傳感器102的受光面上的對象點例如由圖8所示的xy平面上的坐標(biāo)值來表示。

(步驟s1370)

重新聚焦處理部130從存儲部120中取得與所選擇出的照明位置對應(yīng)的圖像。也就是說，重新聚焦處理部130從存儲部120中取得使用位于所選擇出的照明位置的照明器拍攝到的圖像。具體而言，重新聚焦處理部130按照圖6所示的照明位置信息與圖像的對應(yīng)關(guān)系，取得存儲部120所存儲的圖像。例如，重新聚焦處理部130取得與圖13所示的照明器101a的位置對應(yīng)的圖像。

(步驟s1380)

重新聚焦處理部130確定通過步驟s1360計算出的圖像傳感器102上的對象點的拍攝圖像中的位置。具體而言，重新聚焦處理部130以拍攝圖像的像素的排列為基準(zhǔn)來確定拍攝圖像中的對象點的位置。

在拍攝圖像中的對象點的位置位于多個像素的中間位置的情況下，重新聚焦處理部130通過使用與對象點的位置相鄰的多個像素的輝度值進行插值處理，由此計算拍攝圖像中的對象點的輝度值。具體而言，重新聚焦處理部130例如求出與對象點相鄰的多個像素(例如4個像素)的各個像素與對象點的距離，對各像素的輝度值乘以對象點與各像素的距離之比并進行加法運算，由此求出拍攝圖像中的對象點的輝度值。

圖15是用于說明步驟s1380中的計算對象點的輝度值的示意圖。在圖15中，與對象點相鄰的4個像素即像素a～像素d與對象點的距離分別表示為a、b、c以及d。該情況下，對象點的輝度值lt通過以下的式3來求出。

在此，la、lb、lc以及l(fā)d分別表示像素a、像素b、像素c以及像素d的輝度值。

(步驟s1390)

重新聚焦處理部130對合焦圖像上的選擇像素的輝度值加上通過步驟s1380計算出的對象點的輝度值。

通過反復(fù)進行從步驟s1340到步驟s1390的處理，對于全部照明位置，對選擇像素的輝度值加上所拍攝到的圖像中的對象點的輝度值而得到的結(jié)果被計算為選擇像素的輝度值。

通過這樣的加法運算處理，對于焦平面上的各點，由透過了該點的來自多個方向的光形成的多個圖像被重疊于合焦圖像的一個像素。

在圖14中，從照明器101a照射的光透過與選擇像素對應(yīng)的焦平面1100上的點1102a到達圖像傳感器102的受光面上的對象點(交點1103a)。因此，在通過照明器101a拍攝到的圖像中的對象點(交點1103a)的位置，包含焦平面1100上的點1102a處的圖像。

另外，在圖14中，從照明器101b照射的光透過與選擇像素對應(yīng)的焦平面1100上的點1102a到達圖像傳感器102的受光面上的對象點(交點1103b)。因此，在通過照明器101b拍攝到的圖像中的對象點(交點1103b)的位置，包含焦平面1100上的點1102a處的圖像。

通過對這樣的對象點(交點1103a)處的圖像(輝度值)以及對象點(交點1103b)處的圖像(輝度值)進行加法運算，由來自多個方向的光形成的多個圖像被重疊于合焦圖像的選擇像素。

[效果]

如上所述，根據(jù)本實施方式涉及的圖像生成系統(tǒng)，能夠?qū)⑦B接焦平面上的像素的位置和照明器的位置的直線與圖像傳感器102的受光面交叉的交點即對象點的輝度值適用于該像素的輝度值。因此，能夠在假想的的焦平面上的合焦圖像的各像素上反映與該像素對應(yīng)的多個拍攝圖像的輝度值，能夠生成對象物的高畫質(zhì)的合焦圖像。

(實施方式1的變形例1)

接著，對實施方式1的變形例1進行說明。在上述實施方式1中，在圖10的步驟s1350中選擇了照明位置，而在本變形例中選擇拍攝圖像。以下，以與實施方式1不同之處為中心來說明實施方式1的變形例1。

圖16是表示實施方式1的變形例1涉及的重新聚焦處理部的工作的一例的流程圖。在圖16中，取代圖10中的步驟s1340～步驟s1390而執(zhí)行步驟s1341～步驟s1390。此外，在圖16中，對與圖10實質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號，適當(dāng)省略說明。

在圖16中，在全部拍攝圖像都被用于加法運算處理的情況下(步驟s1341：是)，返回到步驟s1320。另一方面，在拍攝圖像的任一個未被用于加法運算處理的情況下(步驟s1341：否)，進入步驟s1351。重新聚焦處理部130選擇存儲部120所存儲的拍攝圖像中的一個拍攝圖像(步驟s1351)。在此，選擇尚未被用于加法運算處理的拍攝圖像。

重新聚焦處理部130從存儲部120中取得與通過步驟s1351選擇出的拍攝圖像對應(yīng)的照明位置信息(步驟s1359)。然后，除了沒有通過步驟s1370取得圖像的工作之外，與圖10所示的工作相同。

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)，即使將照明位置的選擇替換為拍攝圖像的選擇，也能夠與實施方式1同樣地，對合焦圖像的各像素適用與該像素對應(yīng)的多個拍攝圖像的輝度值，能夠生成對象物的高畫質(zhì)的合焦圖像。

(實施方式1的變形例2)

接著，對實施方式1的變形例2進行說明。在上述實施方式1中，在圖10的步驟s1320以及步驟s1330中，依次選擇了合焦圖像內(nèi)的像素，而在本變形例中，依次選擇拍攝圖像內(nèi)的像素。也就是說，在本變形例中，與上述實施方式1不同之處在于：首先選擇拍攝圖像內(nèi)的像素，然后確定與該選擇出的像素對應(yīng)的焦平面上的點。在與如此確定出的焦平面上的點對應(yīng)的合焦圖像內(nèi)的像素上反映拍攝圖像內(nèi)被選擇出的像素的輝度值。以下，以與實施方式1不同之處為中心來說明實施方式1的變形例2。

圖17是表示實施方式1的變形例2涉及的重新聚焦處理部的工作的一例的流程圖。在圖17中，對與圖10實質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號，適當(dāng)省略說明。

(步驟s1322)

重新聚焦處理部130判定對于通過步驟s1100拍攝到的全部圖像是否結(jié)束了重新聚焦處理。重新聚焦處理是指從步驟s1322到步驟s1392的處理。在對于全部圖像都已經(jīng)結(jié)束了重新聚焦處理的情況下(步驟s1322：是)，重新聚焦處理部130進入步驟s1400。在對于通過步驟s1100拍攝到的圖像的任一個圖像未結(jié)束重新聚焦處理的情況下(步驟s1322：否)，進入步驟s1332。

(步驟s1332)

重新聚焦處理部130從存儲在存儲部120中的通過步驟s1100拍攝到的圖像中選擇一個拍攝圖像(步驟s1332)。在此被選擇的一個拍攝圖像是尚未進行重新聚焦處理的圖像。以下，將通過步驟s1332選擇出的一個圖像稱為選擇圖像。

(步驟s1333)

重新聚焦處理部130取得與選擇圖像對應(yīng)的照明位置信息。例如，重新聚焦處理部130參照圖6所示的圖像與照明位置信息的對應(yīng)關(guān)系來取得照明位置信息。在此，對取得了照明器101a的位置信息的情況進行說明。

(步驟s1342)

重新聚焦處理部130對于選擇圖像的全部像素判定是否結(jié)束了加法運算處理(步驟s1342)。在此，在對于選擇圖像的全部像素都結(jié)束了加法運算處理的情況下(步驟s1342：是)，結(jié)束加法運算處理并返回到步驟s1322。另一方面，在對于選擇圖像的任一個像素未結(jié)束加法運算處理的情況下(步驟s1342：否)，進入步驟s1352。加法運算處理是指從步驟s1342到步驟s1392的處理。

(步驟s1352)

重新聚焦處理部130對選擇圖像中的一個像素進行選擇。在此被選擇的一個像素是尚未進行加法運算處理的像素。

圖18中示出與選擇圖像所包含的多個像素對應(yīng)的受光面上的多個點1302a～1302e。在此，如圖19所示，對從選擇圖像中選擇出與受光面上的點1302a對應(yīng)的像素的情況進行說明。此外，以后，將通過步驟s1352選擇出的像素也表述為加法運算像素。

(步驟s1372)

如圖19所示，重新聚焦處理部130計算連接受光面上的點1302a和照明器101a的位置的直線與焦平面1100交叉的交點1303a的位置。以下，將交點1303a也表述為加法運算點。

(步驟s1382)

重新聚焦處理部130對與焦平面上的加法運算點(交點1303a)對應(yīng)的合焦圖像內(nèi)的一個以上的像素的輝度值加上與受光面上的點1302a對應(yīng)的選擇圖像內(nèi)的加法運算像素的輝度值。

例如，在合焦圖像中，在交點1303a的位置與任何像素(整數(shù)像素)的位置都不一致的情況下，重新聚焦處理部130分別計算用于加到在合焦圖像上與交點1303a相鄰的多個像素上的輝度值。具體而言，重新聚焦處理部130以合焦圖像的像素的排列為基準(zhǔn)，確定與通過步驟s1372計算出的焦平面上的加法運算點(交點1303a)對應(yīng)的合焦圖像內(nèi)的位置。

例如，如圖20那樣將在合焦圖像中被4個像素(像素a～像素d)包圍的位置確定為加法運算點的位置。該情況下，重新聚焦處理部130計算在合焦圖像中與加法運算點相鄰的各像素(像素a～像素d)和加法運算點之間的距離。重新聚焦處理部130使用所計算出的距離和加法運算像素的輝度值，計算用于加到與加法運算點相鄰的各像素上的輝度值。例如，重新聚焦處理部130以使得在合焦圖像內(nèi)與加法運算點相鄰的像素和加法運算點之間的距離相對越大的像素則輝度值就相對越大的方式，計算用于加到各像素上的輝度值。具體而言，重新聚焦處理部130例如根據(jù)以下的式4來計算用于加到像素a上的輝度值la。

在此，a是合焦圖像中的像素a與加法運算點之間的距離。b是合焦圖像中的像素b與加法運算點之間的距離。c是合焦圖像中的像素c與加法運算點之間的距離。d是像素d與加法運算點之間的距離。l是拍攝圖像所包含的加法運算像素的輝度值。

(步驟s1392)

重新聚焦處理部130對合焦圖像中的一個以上的像素的輝度值加上通過步驟s1382計算出的輝度值。

通過反復(fù)進行從步驟s1342到步驟s3192的處理，能夠使選擇圖像中的全部像素的輝度值反映于合焦圖像的像素的輝度值。

進一步，通過反復(fù)進行從步驟s1322到步驟s1392，對全部拍攝圖像中的全部像素進行加法運算處理，能夠生成焦平面上的合焦圖像。

參照圖21來說明圖17的流程圖中的各步驟的具體例子。在此，對圖像傳感器102以及焦平面等滿足以下條件的情況進行說明。圖像傳感器102的受光面的長邊(即與x軸平行的邊)的長度為6mm，受光面的短邊(即與y軸平行的邊)的長度為4mm。焦平面相對于x軸的傾斜為30度。焦平面相對于y軸的傾斜為0度。焦平面的面積與圖像傳感器102的受光面的面積相同。即，焦平面是6mm×4mm的矩形的平面。焦平面的一個短邊如圖21那樣位于yz平面上，與y軸平行地延伸。焦平面的另一個短邊位于xy平面上，x坐標(biāo)在約5.2mm的位置，與y軸平行地延伸。焦平面的中心的坐標(biāo)(x，y，z)為(2.6，2，1.5)。

在此，設(shè)為：通過步驟s1332選擇了圖像，通過步驟s1333取得了與圖像對應(yīng)的照明位置(7.5，2，10)，通過步驟s1352選擇了加法運算像素(1.7，2，0)。該情況下，在步驟s1372中，計算經(jīng)過加法運算像素(1.7，2，0)和照明位置(7.5，2.0，10)的直線與焦平面交叉的交點即加法運算點的坐標(biāo)(2.6，2，1.5)。然后，在步驟s1382中，對合焦圖像中的加法運算點的附近的像素的輝度值分配加法運算像素的輝度值并進行加法運算。

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)，能夠?qū)εc連接圖像傳感器102的受光面上的第1像素的位置和照明器的位置的直線與焦平面交叉的交點的位置對應(yīng)的合焦圖像的一個以上的第2像素的輝度值適用拍攝圖像的第1像素的輝度值。因此，能夠?qū)⑴臄z圖像的各像素的輝度值反映于合焦圖像的像素的輝度值，能夠生成對象物的高畫質(zhì)的合焦圖像。

(實施方式2)

接著，對實施方式2進行說明。在實施方式2中，與實施方式1不同之處在于：根據(jù)所確定出的焦平面適應(yīng)性地確定照明位置，使用位于所確定出的照明位置的照明器來拍攝對象物。以下，以與實施方式1不同之處為中心來說明實施方式2。

[圖像生成系統(tǒng)的構(gòu)成]

圖22是表示實施方式2涉及的圖像生成系統(tǒng)20的功能結(jié)構(gòu)的框圖。在圖22中，對與圖1實質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號，適當(dāng)省略說明。

圖像生成系統(tǒng)20具備拍攝裝置200a、圖像生成裝置200b、存儲部120和顯示部150。

[拍攝裝置的構(gòu)成]

拍攝裝置200a具備多個照明器101、按各像素記錄光的強度的圖像傳感器102、和拍攝控制部203。

拍攝控制部203按照從后述的照明范圍確定部211取得的照明范圍信息，控制多個照明器101以及圖像傳感器102的工作。具體而言，拍攝控制部203從位于不同位置的多個照明器101依次照射光。并且，每當(dāng)從多個照明器101的任一個照明器照射光時，使圖像傳感器102拍攝對象物的圖像。

拍攝控制部203也可以與實施方式1的拍攝控制部103同樣地，例如由包括cpu、ram、rom等的計算機系統(tǒng)(未圖示)構(gòu)成。拍攝控制部203的構(gòu)成要素的一部分或者全部的功能可以通過cpu將ram用作工作用的存儲器并執(zhí)行rom所記錄的程序來實現(xiàn)。另外，拍攝控制部203的構(gòu)成要素的一部分或者全部的功能也可以通過專用的硬件電路來實現(xiàn)。

[圖像生成裝置的構(gòu)成]

圖像生成裝置200b具備焦平面確定部210、照明范圍確定部211、重新聚焦處理部130和圖像生成部140。

焦平面確定部210例如通過控制電路或者處理器來實現(xiàn)，確定位于多個照明器101和圖像傳感器102之間的假想的焦平面。具體而言，焦平面確定部210基于預(yù)定的焦平面的信息來確定焦平面。另外，例如，焦平面確定部210也可以按照從外部輸入的信息來確定焦平面。

照明范圍確定部211確定與由焦平面確定部210確定出的焦平面對應(yīng)的照明位置。在此，參照圖23以及圖24來說明確定照明位置的具體例子。

圖23是示意性表示實施方式2中的照明位置的確定方法的說明圖。圖24是將透鏡的焦距和景深的關(guān)系、與進行重新聚焦時的點光源的配置和景深的關(guān)系進行關(guān)聯(lián)來表示的示意圖。圖24的(a)示出透鏡的焦距和景深的關(guān)系，圖24的(b)示出進行重新聚焦時的點光源的配置和景深的關(guān)系。

在圖24中，f表示透鏡的焦距。s表示被拍攝對象距離。t表示從透鏡到成像面的距離。f表示f值。ε表示焦深的1/2。δ表示彌散圓直徑。sn表示近點距離。sf表示遠(yuǎn)點距離。dn表示前景深。df表示后景深。

因重新聚焦得到的景深由照明位置的分布范圍的面積來確定。在圖24的(b)中，由虛線表示的照明位置的分布范圍與圖24的(a)的透鏡直徑對應(yīng)。在圖24的(a)所示的透鏡的情況下，在被拍攝對象(subject)表面反射的光通過透鏡并在焦平面(focalplane)上成像。景深(depthoffield)是前景深dn與后景深df之和。在本公開中，由于是透過光的拍攝下的重新聚焦，所以與圖24的(a)的被拍攝對象的位置相當(dāng)?shù)氖墙蛊矫?。在圖24的(b)中，圖像傳感器相比于焦平面位于左側(cè)。在本實施方式中，在相比于點光源的排列位于圖中右側(cè)的位置，實際上什么也沒有，但通過作為彌散圓而設(shè)定圖像傳感器的像素間距，能夠計算景深。

例如，圖23所示的用于生成焦平面的合焦圖像所需要的照明位置的范圍，如圖24所示，與平行于焦平面地設(shè)置的透鏡的大小對應(yīng)。若使用透鏡，則為了觀測放置于焦點位置的被拍攝對象，需要在與拍攝對象相距5mm的位置放置的直徑10mm的透鏡直徑的情況下的照明位置的范圍，由如下的圓來表示。也就是說，照明位置的范圍如圖23那樣由與焦平面平行、與焦平面相距5mm、且以經(jīng)過焦平面中心的焦平面的法線與平行于焦平面的平面交叉的交點為中心的直徑10mm的圓來表示。在實際的點光源的配置平面或者曲面(例如，圖3所示的曲面、圖4所示的平面)上，配置在對該照明位置的范圍進行了映射的區(qū)域內(nèi)的照明器的位置成為與由焦平面確定部210確定出的焦平面相適合的照明位置。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)20的工作進行說明。

圖25是表示實施方式2涉及的圖像生成系統(tǒng)20的工作的一例的流程圖。在圖25中，對與圖7實質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號，適當(dāng)省略說明。

如圖25所示，首先，焦平面確定部210確定焦平面(步驟s1200)。

照明范圍確定部211確定與通過步驟s1200確定出的焦平面對應(yīng)的照明位置的范圍(步驟s2200)。

拍攝裝置200a依次使用多個照明器101中的與通過步驟s2200確定出的照明位置的范圍對應(yīng)的照明器，對對象物進行照明。并且，每當(dāng)照明器對對象物進行照明時，拍攝裝置200a通過對到達了圖像傳感器102的受光面的光的強度進行記錄，由此取得對象物的圖像。所取得的圖像與拍攝時對對象物進行了照明的照明器的位置信息一起存儲于存儲部120(步驟s2300)。具體而言，拍攝裝置200a的拍攝控制部203基于通過步驟s2200確定出的照明位置的范圍，從多個照明器101中選擇包含在所確定出的照明位置的范圍內(nèi)的2個以上的照明器。并且，拍攝控制部203按預(yù)定的順序使所選擇出的2個以上的照明器照射光，使圖像傳感器102進行拍攝。拍攝裝置200a通過反復(fù)進行對對象物的照明和對象物的拍攝，使用所確定出的照明位置的范圍內(nèi)的照明器來取得對象物的圖像。這之后的工作基本上與實施方式1的圖7同樣，因此省略說明。

[效果]

如上所述，根據(jù)本實施方式涉及的圖像生成系統(tǒng)，能夠基于焦平面的信息來確定照明位置的范圍，通過與所確定出的照明位置的范圍對應(yīng)的照明器依次對對象物進行照明。因此，能夠使用與焦平面上的合焦圖像的生成相適合的照明器來拍攝對象物，能夠縮短拍攝時間。

(實施方式2的變形例)

接著，對實施方式2的變形例進行說明。在本變形例中，與實施方式2不同之處在于：使用預(yù)先取得的引導(dǎo)圖像(pilotimage)來確定對象區(qū)域，基于該對象區(qū)域來確定照明位置的范圍。以下，以與實施方式2不同之處為中心來說明實施方式2的變形例。

[圖像生成系統(tǒng)的構(gòu)成]

圖26是表示實施方式2的變形例涉及的圖像生成系統(tǒng)30的功能結(jié)構(gòu)的框圖。在圖26中，對與圖22實質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號，適當(dāng)省略說明。

圖像生成系統(tǒng)30具備拍攝裝置200a、圖像生成裝置300b、存儲部320和顯示部150。

拍攝裝置200a具備多個照明器101、圖像傳感器102和拍攝控制部203。在本變形例中，拍攝裝置200a在依次使用與所確定出的照明位置的范圍對應(yīng)的照明器來拍攝對象物之前，通過使用預(yù)定的照明器拍攝對象物來取得引導(dǎo)圖像。引導(dǎo)圖像被存儲于存儲部320，并顯示于顯示部150。圖像生成裝置300b具備焦平面確定部210、照明范圍確定部311、對象區(qū)域確定部312、處理范圍切取部313、重新聚焦處理部230和圖像生成部140。

對象區(qū)域確定部312基于通過外部輸入而指定的區(qū)域或者通過預(yù)定的方法而指定的區(qū)域，確定引導(dǎo)圖像內(nèi)的對象區(qū)域。

照明范圍確定部311基于由焦平面確定部210確定出的焦平面以及由對象區(qū)域確定部312確定出的對象區(qū)域，確定照明位置的范圍。

存儲部320將由圖像傳感器102拍攝到的圖像與在該圖像的拍攝中使用的照明器的位置信息一起進行存儲。進而，存儲部320將在由預(yù)定的照明器進行照明時所拍攝到的圖像存儲為引導(dǎo)圖像。該引導(dǎo)圖像被輸出到對象區(qū)域確定部212。

處理范圍切取部313從存儲部320所存儲的多個圖像中分別切取與由對象區(qū)域確定部312確定出的對象區(qū)域?qū)?yīng)的區(qū)域。并且，處理范圍切取部313將所切取出的圖像與照明位置信息一起輸出給重新聚焦處理部230。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)30的工作進行說明。

圖27是表示圖像生成系統(tǒng)30的工作的一例的流程圖。如圖27所示，首先，拍攝部200的拍攝控制部203使用位于預(yù)定的照明器位置(例如，坐標(biāo)(0，0)的照明器對對象物進行照明，通過檢測到達了圖像傳感器102的受光面的光的強度來取得引導(dǎo)圖像。引導(dǎo)圖像被存儲于存儲部320(步驟s2010)。存儲部320將通過步驟s2010拍攝到的引導(dǎo)圖像輸出到顯示部150，顯示部150顯示引導(dǎo)圖像(步驟s2020)。

用戶對通過步驟s2020顯示的引導(dǎo)圖像指定想要生成合焦圖像的區(qū)域。對象區(qū)域確定部212基于用戶指定的區(qū)域來確定對象區(qū)域(步驟s2030)。

此外，在本變形例中，顯示引導(dǎo)圖像并受理用戶對引導(dǎo)圖像的區(qū)域的指定輸入，但不限定于此。例如，對象區(qū)域確定部312也可以對引導(dǎo)圖像進行對象物的識別處理，基于識別結(jié)果來確定對象區(qū)域。對象物的識別處理例如基于預(yù)定的顏色和/或輪廓等特征來進行。在通過對象物的識別處理提取出了多個區(qū)域的情況下，對象區(qū)域確定部312例如可以基于圖像中的區(qū)域的位置從所提取出的多個區(qū)域中選擇至少一個區(qū)域來作為對象區(qū)域，也可以將所提取出的多個區(qū)域全部確定為對象區(qū)域。

焦平面確定部210確定焦平面(步驟s2100)。照明范圍確定部311基于通過步驟s2030確定出的對象區(qū)域和通過步驟s2100確定出的焦平面，確定照明位置的范圍(步驟s2210)。具體而言，照明范圍確定部211取代使用圖23中的焦平面的中心而使用對象區(qū)域的中心來確定照明位置的范圍。之后的步驟與圖25實質(zhì)上相同，因此省略說明。

[效果]

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)30，能夠除焦平面之外還基于對象區(qū)域來確定照明位置的范圍，能夠進一步縮短拍攝時間。

(實施方式3)

接著，對實施方式3進行說明。實施方式3與實施方式1不同之處在于：基于對象物的狀態(tài)來確定焦平面。例如，在本實施方式中，在如受精卵或初期胚那樣對象物的狀態(tài)隨著培養(yǎng)時間發(fā)生變化的情況下，基于與培養(yǎng)時間對應(yīng)的對象物的狀態(tài)來確定焦平面的數(shù)量以及角度。以下，以與實施方式1不同之處為中心來說明實施方式3。

[圖像生成系統(tǒng)的構(gòu)成]

圖28是表示實施方式3涉及的圖像生成系統(tǒng)40的功能結(jié)構(gòu)的框圖。在圖28中，對與圖1實質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號，適當(dāng)省略說明。

圖像生成系統(tǒng)40具備拍攝裝置100a、圖像生成裝置400b、存儲部120和顯示部150。圖像生成裝置400b具備焦平面確定部410、胚信息表420、計時部430、重新聚焦處理部130和圖像生成部140。

在胚信息表420中記錄有培養(yǎng)時間和與該培養(yǎng)時間對應(yīng)的胚的狀態(tài)以及焦平面的信息。圖29表示胚信息表420的一例。在圖29的例子中，在胚信息表420中，按培養(yǎng)時間記錄有胚的狀態(tài)和焦平面的數(shù)量。

計時部430對從開始對象物培養(yǎng)的時刻起的經(jīng)過時間(即培養(yǎng)時間)進行計測。

焦平面確定部410從胚信息表420中取得與由計時部430計測到的培養(yǎng)時間對應(yīng)的焦平面的數(shù)量。并且，焦平面確定部410在圖像傳感器102與多個照明器101之間確定與取得的數(shù)量相同數(shù)量的焦平面。具體而言，焦平面確定部410確定從胚信息表420得到的數(shù)量的以外部輸入的角度或者預(yù)定的角度傾斜的焦平面。在對象物為初期胚的情況下，例如確定互相平行的多個焦平面。因為初期胚的大小約為100μm，所以以使得與從胚信息表420得到的數(shù)量相同數(shù)量的焦平面對100μm的高度進行等分的方式，確定焦平面之間的距離。例如，在焦平面的數(shù)量為2的情況下，2個焦平面之間的距離被確定為33μm。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)40的工作進行說明。

圖像生成系統(tǒng)40的工作除了步驟s1200的確定焦平面的工作之外，與實施方式1的圖7實質(zhì)上相同，因此僅說明步驟s1200的詳細(xì)情況，關(guān)于其他的工作省略說明。

圖30是表示實施方式3涉及的焦平面確定部410的工作的一例的流程圖。

首先，焦平面確定部410從計時部430取得培養(yǎng)時間(步驟s1210)。接著，焦平面確定部410參照胚信息表420，取得與通過步驟s1210取得的培養(yǎng)時間對應(yīng)的焦平面的數(shù)量(步驟s1220)。焦平面確定部410基于通過步驟s1220取得的焦平面的數(shù)量，確定各焦平面的中心的高度(即如圖8那樣定義的xyz空間中的z坐標(biāo)值)(步驟s1230)。在本實施方式中，在生成多個焦平面的各焦平面上的合焦圖像時，考慮到用戶易于理解，全部焦平面都平行配置。此外，多個焦平面的角度、配置不限于此。

進一步，焦平面確定部410基于經(jīng)由未圖示的輸入單元輸入的焦平面的傾斜的信息、或預(yù)定的焦平面的傾斜的信息，確定焦平面的相對于x軸的角度和相對于y軸的角度(步驟s1240)。以通過步驟s1230確定出的焦平面的中心位置為旋轉(zhuǎn)中心，以通過步驟s1240確定出的角度傾斜地假想配置各焦平面，由此確定焦平面(步驟s1250)。

[效果]

如上所述，根據(jù)本實施方式涉及的圖像生成系統(tǒng)40，能夠根據(jù)對象物的狀態(tài)來確定焦平面的數(shù)量，能夠生成適合于觀察對象物的合焦圖像。

(實施方式3的變形例)

在實施方式3的變形例中，與上述實施方式3不同之處在于：首先，在與圖像傳感器的受光面平行的焦平面上生成合焦圖像，根據(jù)生成的合焦圖像中的對象物(例如細(xì)胞)的立體的配置，自動地確定其他焦平面。以下，以與實施方式3不同之處為中心來說明實施方式3的變形例。

圖31是表示實施方式3的變形例涉及的圖像生成系統(tǒng)50的功能結(jié)構(gòu)的框圖。此外，在圖31中，拍攝裝置100a與圖28相同，因此省略其記載。另外，在圖31中，對與圖28實質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號，適當(dāng)省略說明。

圖像生成裝置500b具備焦平面確定部510、胚信息表420、計時部430、重新聚焦處理部530和圖像生成部540。焦平面確定部510具備水平面確定部511、細(xì)胞位置判定部513和位置傾斜確定部514。

水平面確定部511參照胚信息表420，確定與從計時部430取得的培養(yǎng)時間對應(yīng)的焦平面的數(shù)量。水平面確定部511基于所確定出的焦平面的數(shù)量，確定用于確定焦平面的位置和傾斜的、與圖像傳感器102的受光面平行的水平面的數(shù)量和該水平面在z軸上的位置。

細(xì)胞位置判定部513對圖像生成部540生成的與受光面平行的水平面上的合焦圖像和根據(jù)三維模型生成的斷面圖像進行比較，根據(jù)比較結(jié)果來判定三維坐標(biāo)上的細(xì)胞的配置。

在此，參照圖32對細(xì)胞位置判定部513的詳細(xì)結(jié)構(gòu)進行說明。

圖32是表示細(xì)胞位置判定部513的詳細(xì)的功能結(jié)構(gòu)的框圖。細(xì)胞位置判定部513具備3d模型數(shù)據(jù)庫(db)521、旋轉(zhuǎn)處理部522、2d化處理部523、比較部524和存儲部525。

3d模型數(shù)據(jù)庫521保持有對象物的狀態(tài)(在此為初期胚的各細(xì)胞期的三維模型)。初期胚的三維模型示出在球狀的胚膜中包含有與細(xì)胞期對應(yīng)的數(shù)量的大致球狀的細(xì)胞的狀態(tài)。

旋轉(zhuǎn)處理部522使3d模型數(shù)據(jù)庫521所保持的三維模型以預(yù)定的角度進行旋轉(zhuǎn)。

2d化處理部523使用旋轉(zhuǎn)處理部522進行了旋轉(zhuǎn)后的三維模型，生成由水平面確定部511確定出的水平面上的斷面圖像。

比較部524對圖像生成部540生成的水平面上的合焦圖像與2d化處理部523根據(jù)三維模型生成的斷面圖像進行比較。一邊改變旋轉(zhuǎn)處理部522中的旋轉(zhuǎn)角度一邊反復(fù)進行該比較。其結(jié)果是，求出表示合焦圖像與斷面圖像的差異的值變?yōu)楸阮A(yù)定的閾值小的旋轉(zhuǎn)角度。

存儲部525存儲表示比較部524進行了比較的2個圖像的差異的值變?yōu)楸乳撝敌〉摹⑿D(zhuǎn)處理部522中的旋轉(zhuǎn)角度。

位置傾斜確定部514基于細(xì)胞位置判定部513判定出的三維坐標(biāo)上的細(xì)胞的配置和水平面確定部511確定出的焦平面的數(shù)量，確定各焦平面的中心點在z軸上的位置和各焦平面相對于x軸以及y軸傾斜的值。

重新聚焦處理部530對于由拍攝部100拍攝到的多個圖像，進行對由水平面確定部511確定出的平面或由位置傾斜確定部514確定出的焦平面的重新聚焦處理。

圖像生成部540使用重新聚焦處理部530生成的各像素的輝度值來生成合焦圖像。

[圖像生成系統(tǒng)的工作]

接著，對如上述那樣構(gòu)成的圖像生成系統(tǒng)50的工作進行說明。

圖像生成系統(tǒng)50的工作除步驟s1200之外與實施方式1的圖7實質(zhì)上相同，因此僅說明步驟s1200的詳細(xì)情況，關(guān)于其他工作省略說明。

圖33是表示實施方式3的變形例涉及的焦平面確定部510的工作的一例的流程圖。

首先，焦平面確定部510的水平面確定部511從計時部430取得培養(yǎng)時間(步驟s1210)。接著，水平面確定部511參照胚信息表420，取得與通過步驟s1210取得的培養(yǎng)時間對應(yīng)的焦平面的數(shù)量(步驟s1220)。水平面確定部511確定與通過步驟s1220取得的焦平面的數(shù)量相同數(shù)量的水平面各自的z軸位置(步驟s1231)。在本變形例中，通過將根據(jù)三維模型生成的多個斷面圖像與多個水平面上的合焦圖像進行比較，確定用于圖像生成系統(tǒng)50輸出的合焦圖像的焦平面的角度。在圖29所示的胚信息表中，作為焦平面的數(shù)量，對原核期胚和2細(xì)胞期胚記錄有“1”。因此，在步驟s1231中，確定與參照胚信息表420得到的焦平面的數(shù)量相同數(shù)量的水平面的z軸位置。

此外，水平面的數(shù)量也可以與焦平面的數(shù)量不一致。該情況下，在胚信息表420中除了焦平面的數(shù)量之外還記錄有用于判定細(xì)胞配置的水平面的數(shù)量即可。另外，也可以如實施方式2的變形例那樣取得引導(dǎo)圖像，并基于引導(dǎo)圖像的狀態(tài)來確定水平面的數(shù)量。

因為初期胚的大小為直徑約100μm，所以水平面的z軸位置例如被確定成使得100μm的高度被與從胚信息表420得到的數(shù)量相同數(shù)量的水平面等分。胚沉浸在培養(yǎng)液中，與圖像傳感器102的受光面上接觸。因此，例如在水平面的數(shù)量為2個的情況下，2個水平面的z軸位置為33μm和66μm。

重新聚焦處理部530對通過步驟s1231確定出的z軸位置處的水平面進行重新聚焦處理。圖像生成部540使用重新聚焦處理部530計算出的各像素的輝度值來生成合焦圖像(步驟s1232)。

細(xì)胞位置判定部513將通過步驟s1232生成的合焦圖像與根據(jù)初期胚的三維模型生成的斷面圖像進行比較，由此確定細(xì)胞的配置和從適合于觀察初期胚的細(xì)胞的配置(以下，稱為基準(zhǔn)位置)起的初期胚的旋轉(zhuǎn)角度(步驟s1241)。后面敘述步驟s1241的詳細(xì)情況。

位置傾斜確定部514基于通過步驟s1241確定出的細(xì)胞的配置和旋轉(zhuǎn)角度，以使焦平面與基準(zhǔn)位置處的水平面一致的方式確定焦平面的角度(步驟s1242)。例如，將以通過步驟s1241判定出的旋轉(zhuǎn)角度的反向的旋轉(zhuǎn)角度使拍攝時的坐標(biāo)上的水平面旋轉(zhuǎn)而得到的平面的角度確定為焦平面的角度。

接著，位置傾斜確定部514確定與通過步驟s1220水平面確定部511取得的數(shù)量相同數(shù)量的焦平面在z軸上的位置。z軸位置例如被確定為使得對對象物整體的z軸方向的大小進行等分。

位置傾斜確定部514使用通過步驟s1242確定出的角度和z軸位置來確定全部焦平面(步驟s1250)。

在本變形例中，全部焦平面作為互相平行的焦平面進行了說明，但也可以以不同的角度進行配置。例如，多個焦平面也可以以某坐標(biāo)點為中心點對稱地配置。也可以：根據(jù)從圖像傳感器正上方拍攝的拍攝結(jié)果，確定圖像傳感器的受光面上的胚的中心點，由于胚的直徑約為100μm，因此使用從圖像傳感器的受光面上的胚的中心點向z軸方向偏移50μm的高度位置作為旋轉(zhuǎn)中心來配置焦平面。

接著，參照圖34對圖33的步驟s1241的詳細(xì)情況進行說明。圖34是表示與實施方式3的變形例涉及的由焦平面確定部510確定細(xì)胞配置有關(guān)的處理的流程圖。

細(xì)胞位置判定部513的旋轉(zhuǎn)處理部522從水平面確定部511取得初期胚的狀態(tài)、水平面的數(shù)量、水平面的z軸位置的信息(步驟s12411)。旋轉(zhuǎn)處理部522針對3d模型數(shù)據(jù)庫521所保持的模型中的、與通過步驟s12411取得的胚的狀態(tài)的信息對應(yīng)的三維模型的全部，判定是否進行了比較處理(步驟s12412)。比較處理是指從步驟s12413到步驟s12418的一系列的處理。

在此，在對于與胚的狀態(tài)的信息對應(yīng)的三維模型全都進行了比較處理的情況下(步驟s12412：是)，進入步驟s1242。另一方面，在對于與胚的狀態(tài)的信息對應(yīng)的三維模型的某一個尚未進行比較處理的情況下(步驟s12412：否)，進入步驟s12413。

選擇與通過步驟s12411取得的胚的狀態(tài)的信息對應(yīng)的三維模型中的一個三維模型(步驟s12413)。在此被選擇的三維模型是尚未進行比較處理的三維模型。

三維模型按胚的各狀態(tài)，以三維方式來表現(xiàn)胚中的細(xì)胞的配置。三維模型以能夠旋轉(zhuǎn)的狀態(tài)進行保持，不旋轉(zhuǎn)的基準(zhǔn)位置被設(shè)定成使與xy平面即受光面平行的平面上的細(xì)胞的斷面成為最適合觀察細(xì)胞的斷面。圖35a～圖35d表示4細(xì)胞期的胚的三維模型的一例。在圖35a～圖35d的三維模型中，在z軸方向上的低的位置處2個細(xì)胞(第1細(xì)胞3501和第2細(xì)胞3502)并排，在高的位置處2個細(xì)胞(第3細(xì)胞3503和第4細(xì)胞3504)并排。連接第1細(xì)胞3501和第2細(xì)胞3502的中心點的直線與連接第3細(xì)胞3503和第4細(xì)胞3504的中心點的直線在映射到xy平面上的情況下正交。當(dāng)俯視三維模型時成為圖35d那樣。

圖36a以及圖36b是圖35a的斷面線xxviii以及圖35b的斷面線xxix處的三維模型的斷面圖。在與xy平面平行的面上并排的2個細(xì)胞的對(pair)在z軸方向上成為2層。在該例子中，經(jīng)過第1細(xì)胞3501以及第2細(xì)胞3502的中心點的直線和經(jīng)過第3細(xì)胞3503以及第4細(xì)胞3504的中心點的直線位于歪斜的位置。圖35a～圖36b示出了基準(zhǔn)位置時的三維模型。也就是說，將第1細(xì)胞3501和第2細(xì)胞3502在與xy平面平行的平面上并排、且第3細(xì)胞3503和第4細(xì)胞3504在與xy平面平行的平面上并排的位置設(shè)為基準(zhǔn)位置。

接著，旋轉(zhuǎn)處理部522針對預(yù)定的旋轉(zhuǎn)角度的全部，判定是否對通過步驟s12413選擇出的三維模型的斷面圖像與通過步驟s1232生成的水平面上的合焦圖像進行了比較(步驟s12414)。在此，在針對旋轉(zhuǎn)角度全都進行了比較的情況下(步驟s12414：是)，返回到步驟s12412。另一方面，在針對預(yù)定的旋轉(zhuǎn)角度的某一個未進行比較的情況下(步驟s12414：否)，進入步驟s12415。

旋轉(zhuǎn)處理部522以預(yù)定的旋轉(zhuǎn)角度中的尚未進行比較處理的旋轉(zhuǎn)角度，使通過步驟s12413選擇出的三維模型進行旋轉(zhuǎn)(步驟s12415)。

2d化處理部523針對通過步驟s12415旋轉(zhuǎn)后的三維模型，生成通過步驟s1231確定出的一個以上的平面上的斷面圖像(步驟s12416)。圖37是表示使圖35d所示的基準(zhǔn)位置時的三維模型以與x軸平行并經(jīng)過胚的中心的軸為旋轉(zhuǎn)中心進行了旋轉(zhuǎn)的結(jié)果的三維模型的立體圖。在圖中由虛線所示的平面上生成斷面圖像。如圖38所示，在斷面圖像中，左下的細(xì)胞的輪廓清楚，在z軸上位于最高的位置處的細(xì)胞未出現(xiàn)，中間的2個細(xì)胞的輪廓模糊。2d化處理部523針對旋轉(zhuǎn)后的三維模型，基于指定的平面和景深來生成斷面圖像。在此使用的景深等于圖像生成系統(tǒng)50的景深。

比較部524對通過步驟s1232生成的水平面上的合焦圖像和通過步驟s12416生成的斷面圖像進行比較，判定表示其差異的值是否比存儲部525所存儲的值小(步驟s12417)。在此，在表示差異的值為存儲部525所存儲的值以上的情況下(步驟s12417：否)，返回到步驟s12414。另一方面，在表示差異的值小于存儲部525所存儲的值的情況下(步驟s12417：是)，進入步驟s12418。此外，在存儲部525中，作為初始值，例如預(yù)先存儲有表示差異的值的上限值。

存儲部525存儲表示合焦圖像與斷面圖像的差異的值和在步驟s12415中的三維模型的旋轉(zhuǎn)中使用的旋轉(zhuǎn)角度(步驟s12418)。也就是說，存儲部525所存儲的值被更新為表示通過步驟s1232生成的水平面上的合焦圖像與通過步驟s12416生成的斷面圖像的差異的值。然后，返回到步驟s12414。

通過反復(fù)進行從步驟s12414到步驟s12418的比較處理，能夠求出通過步驟s1232生成的合焦圖像(即根據(jù)拍攝圖像生成的水平面上的合焦圖像)與從基準(zhǔn)位置起旋轉(zhuǎn)了多少度后的三維模型的斷面圖像接近。

[效果]

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)50，能夠根據(jù)作為對象物的初期胚中的細(xì)胞的配置來確定焦平面的位置以及角度。因此，能夠生成適合于觀察初期胚的合焦圖像。

(其他實施方式)

以上，基于實施方式對一個或多個技術(shù)方案涉及的圖像生成系統(tǒng)進行了說明，但本公開不限定于該實施方式。在不脫離本公開的主旨的范圍內(nèi)，在本實施方式中實施本領(lǐng)域技術(shù)人員能想到的各種變形而得到的方式、或組合不同實施方式中的構(gòu)成要素而構(gòu)成的方式也可以包含在一個或多個技術(shù)方案的范圍內(nèi)。

此外，在上述實施方式3及其變形例中，計時部430將從培養(yǎng)開始起的經(jīng)過時間計測為培養(yǎng)時間，但也可以計測受精后的經(jīng)過時間。該情況下，胚信息表不是保持培養(yǎng)時間而是保持從受精起的經(jīng)過時間的信息即可。

本公開能夠廣泛利用于生成培養(yǎng)中的細(xì)胞或胚等細(xì)胞簇的圖像的裝置，當(dāng)在恒溫箱內(nèi)拍攝對象物時有用。

標(biāo)號的說明

10、20、30、40、50圖像生成系統(tǒng)

100a、200a拍攝裝置

100b、200b、300b、400b、500b圖像生成裝置

101多個照明器

101a、101b照明器

101aled光源

101b遮光板

101c針孔

101d準(zhǔn)直透鏡

101e光源

101f半球

101g虛擬點光源

101h平面

101j合焦點

102圖像傳感器

103、203拍攝控制部

110、210、410、510焦平面確定部

111第1記錄部

112輸入部

120、320、525存儲部

121第2記錄部

130、230、530重新聚焦處理部

140、540圖像生成部

150顯示部

211、311照明范圍確定部

212、312對象區(qū)域確定部

213、313處理范圍切取部

420胚信息表

430計時部

511水平面確定部

513細(xì)胞位置判定部

514位置傾斜確定部

5213d模型數(shù)據(jù)庫

522旋轉(zhuǎn)處理部

5232d化處理部

524比較部

1000對象物

1100焦平面

1102a、1102b、1102c、1102d、1102e、1302a、1302b、1302c、1302d、1302e點

1103a、1103b交點

1303a交點

3501、3502、3503、3504細(xì)胞