本公開(kāi)涉及無(wú)透鏡顯微鏡的基于利用多個(gè)光源的多個(gè)拍攝圖像來(lái)生成假想的對(duì)焦面上的對(duì)象物的圖像的技術(shù)。

背景技術(shù)：

想要以不對(duì)培養(yǎng)細(xì)胞實(shí)施染色的方式連續(xù)地觀察該培養(yǎng)細(xì)胞這一要求，在治療用細(xì)胞的生成、藥效的試驗(yàn)等將培養(yǎng)細(xì)胞用于醫(yī)療、產(chǎn)業(yè)的很多領(lǐng)域中存在。然而，由于細(xì)胞大多是幾乎無(wú)色透明的，因此在基于透射光的光學(xué)顯微鏡下的拍攝中，難以獲知培養(yǎng)細(xì)胞的立體構(gòu)造。

在專利文獻(xiàn)1中，示出了如下方法：為了評(píng)價(jià)細(xì)胞的截面形狀，根據(jù)與物鏡平行、且焦點(diǎn)的高度位置相對(duì)于對(duì)象物不同的多個(gè)圖像(即，一邊使焦點(diǎn)在對(duì)象物的高度方向上挪動(dòng)、一邊進(jìn)行拍攝而得到的多個(gè)圖像)，生成與物鏡不平行的面的對(duì)焦圖像(模擬截面圖像)。

可是，對(duì)于培養(yǎng)細(xì)胞的連續(xù)觀察，是在用于維持培養(yǎng)細(xì)胞用的濕潤(rùn)環(huán)境的培養(yǎng)箱這樣的有限空間內(nèi)進(jìn)行的。為了在這樣濕潤(rùn)的有限空間內(nèi)進(jìn)行觀察，專利文獻(xiàn)2公開(kāi)了不使用透鏡就能夠觀察微小細(xì)胞的無(wú)透鏡顯微鏡。公開(kāi)了使通過(guò)從多個(gè)不同的位置進(jìn)行照射的照明而拍攝到的多個(gè)圖像進(jìn)行重合(ptychography，疊層成像)來(lái)提高分辨率的方法。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開(kāi)2013-101512號(hào)公報(bào)

專利文獻(xiàn)2：美國(guó)專利申請(qǐng)公開(kāi)第2014/0133702號(hào)說(shuō)明書(shū)

技術(shù)實(shí)現(xiàn)要素：

然而，在專利文獻(xiàn)1的方法中，存在使用者難以容易地掌握對(duì)象物的結(jié)構(gòu)這一問(wèn)題。

因此，本公開(kāi)的非限定性且例示性的一個(gè)技術(shù)方案，提供能夠供使用者容易地掌握對(duì)象物的結(jié)構(gòu)的圖像生成裝置等。

本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置，具備：多個(gè)照明器；具有載置對(duì)象物的表面的圖像傳感器；以及控制電路，其生成位于所述多個(gè)照明器與所述圖像傳感器之間的假想的焦面上的所述對(duì)象物的對(duì)焦圖像，所述控制電路，(a)使用通過(guò)每當(dāng)所述多個(gè)照明器依次照明所述對(duì)象物時(shí)由所述圖像傳感器進(jìn)行的拍攝而得到的所述對(duì)象物的多個(gè)拍攝圖像，生成預(yù)先確定的多個(gè)焦面的各焦面上的所述對(duì)象物的對(duì)焦圖像，(b)提取顯現(xiàn)在所生成的多個(gè)所述對(duì)焦圖像中的所述對(duì)象物的至少一個(gè)截面的輪廓，(c)基于所述至少一個(gè)截面的輪廓，生成至少一個(gè)圓周，(d)生成球圖像，所述球圖像是具有所生成的所述至少一個(gè)圓周的各圓周的至少一個(gè)球的立體圖像，(e)通過(guò)對(duì)所述球圖像進(jìn)行加工以使得表現(xiàn)出所述至少一個(gè)球的截面，從而生成合成圖像，使所述合成圖像顯示于顯示器。

此外，該總括性或具體的技術(shù)方案既可以通過(guò)系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)裝置、系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序和計(jì)算機(jī)可讀取的記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可讀取的記錄介質(zhì)例如包括cd-rom(compactdisc-readonlymemory，光盤(pán)只讀存儲(chǔ)器)等非易失性記錄介質(zhì)。

根據(jù)本公開(kāi)，使用者能夠容易地掌握對(duì)象物的結(jié)構(gòu)。從本說(shuō)明書(shū)及附圖中可知曉本公開(kāi)的一個(gè)技術(shù)方案的附加的益處及優(yōu)點(diǎn)。該益處和/或優(yōu)點(diǎn)可以單獨(dú)地由本說(shuō)明書(shū)及附圖所公開(kāi)的各種實(shí)施方式及特征而得到，無(wú)需為了獲得一個(gè)以上益處和/或優(yōu)點(diǎn)而實(shí)施所有的實(shí)施方式及特征。

附圖說(shuō)明

圖1是表示實(shí)施方式1涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖2是示意性表示實(shí)施方式1涉及的照明器的構(gòu)造的一例的圖。

圖3是示意性表示實(shí)施方式1涉及的照明器的構(gòu)造的一例的圖。

圖4是示意性表示實(shí)施方式1涉及的照明器的構(gòu)造的一例的圖。

圖5是說(shuō)明實(shí)施方式1涉及的照明器所包含的針孔(pinhole)應(yīng)滿足的大小條件的示意圖。

圖6是表示實(shí)施方式1涉及的存儲(chǔ)部所存儲(chǔ)的內(nèi)容的一例的圖。

圖7是表示實(shí)施方式1涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖8是表示坐標(biāo)與焦面的關(guān)系的一例的示意圖。

圖9是表示實(shí)施方式1涉及的拍攝裝置的工作的一例的流程圖。

圖10是表示實(shí)施方式1涉及的重新聚焦處理部的工作的一例的流程圖。

圖11是說(shuō)明實(shí)施方式1涉及的重新聚焦(refocus)處理的具體例子的示意圖。

圖12是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖13是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖14是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖15是說(shuō)明實(shí)施方式1涉及的重新聚焦處理的具體例子的示意圖。

圖16是表示實(shí)施方式1的變形例1涉及的重新聚焦處理部的工作的一例的流程圖。

圖17是表示實(shí)施方式1的變形例2涉及的重新聚焦處理部的工作的一例的流程圖。

圖18是說(shuō)明實(shí)施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖19是說(shuō)明實(shí)施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖20是說(shuō)明實(shí)施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖21是說(shuō)明實(shí)施方式1的變形例2涉及的重新聚焦處理的具體例子的示意圖。

圖22是表示實(shí)施方式2涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖23是示意性表示實(shí)施方式2中的照明位置的范圍的一例的圖。

圖24是將透鏡的焦距和景深的關(guān)系、與進(jìn)行重新聚焦時(shí)的點(diǎn)光源的配置和景深的關(guān)系進(jìn)行關(guān)聯(lián)來(lái)表示的示意圖。

圖25是表示實(shí)施方式2涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖26是表示實(shí)施方式2的變形例涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖27是表示實(shí)施方式2的變形例涉及的圖像生成系統(tǒng)的工作的一例的流程圖。

圖28是表示實(shí)施方式3涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖29是表示實(shí)施方式3涉及的胚信息表的一例的圖。

圖30是表示實(shí)施方式3涉及的焦面決定部的工作的一例的流程圖。

圖31是表示實(shí)施方式3的變形例涉及的圖像生成系統(tǒng)的功能結(jié)構(gòu)的一例的框圖。

圖32是表示實(shí)施方式3的變形例涉及的細(xì)胞位置判定部的詳細(xì)的功能結(jié)構(gòu)的一例的框圖。

圖33是表示實(shí)施方式3的變形例涉及的焦面決定部的工作的一例的流程圖。

圖34是表示實(shí)施方式3的變形例涉及的與由焦面決定部進(jìn)行的細(xì)胞配置的決定有關(guān)的處理的流程圖。

圖35a是4細(xì)胞期的胚的三維模型的側(cè)視圖。

圖35b是4細(xì)胞期的胚的三維模型的側(cè)視圖。

圖35c是4細(xì)胞期的胚的三維模型的俯視圖。

圖35d是4細(xì)胞期的胚的三維模型的立體圖。

圖36a是4細(xì)胞期的胚的三維模型的截面圖。

圖36b是4細(xì)胞期的胚的三維模型的截面圖。

圖37是4細(xì)胞期的胚的三維模型的立體圖。

圖38是4細(xì)胞期的胚的三維模型的截面圖。

圖39是實(shí)施方式4的圖像生成系統(tǒng)的功能框圖。

圖40是表示由實(shí)施方式4中的合成圖像生成部顯示的合成圖像的一例的圖。

圖41是表示實(shí)施方式4中的球圖像生成部的詳細(xì)的功能結(jié)構(gòu)的框圖。

圖42是表示實(shí)施方式4中的球圖像生成部的具體處理的一例的圖。

圖43是表示實(shí)施方式4中的顯示器所顯示的畫(huà)面的一例的圖。

圖44是表示實(shí)施方式4的圖像生成裝置的工作的一例的流程圖。

圖45是表示圖44的步驟s110中的球圖像的生成的詳細(xì)處理的流程圖。

圖46a是表示實(shí)施方式4的圖像生成裝置的硬件結(jié)構(gòu)的一例的圖。

圖46b是表示實(shí)施方式4的圖像生成裝置所具備的控制電路的工作的一例的流程圖。

標(biāo)號(hào)的說(shuō)明

10、20、30、40、50圖像生成系統(tǒng)；100a、200a拍攝裝置；100b、200b、300b、400b、500b圖像生成裝置；101多個(gè)照明器；101a、101b照明器；101aled光源；101b遮光板；101c針孔；101d準(zhǔn)直透鏡；101e光源；101f半球；101g近似點(diǎn)光源；101h平面；101j對(duì)焦點(diǎn)；102圖像傳感器；103、203拍攝控制部；110、210、410、510焦面決定部；111第1記錄部；112輸入部；120、320、525存儲(chǔ)部；121第2記錄部；130、230、530重新聚焦處理部；140、540圖像生成部；150顯示部；211、311照明范圍決定部；212、312對(duì)象區(qū)域決定部；213、313處理范圍切取部；420胚信息表；430計(jì)時(shí)部；511水平面決定部；513細(xì)胞位置判定部；514位置傾斜決定部；5213d模型數(shù)據(jù)庫(kù)；522旋轉(zhuǎn)處理部；5232d化處理部；524比較部；600b圖像生成裝置；610重新聚焦處理部；620球圖像生成部；621輪廓提取部；622同一性判定部；623高度決定部；624形狀決定部；625立體圖像生成部；630合成圖像生成部；710圖像取得部；720早期胚模型；730焦面輸入部；740操作部；760顯示器；1000對(duì)象物；1100焦面；1102a、1102b、1102c、1102d、1102e、1302a、1302b、1302c、1302d、1302e點(diǎn)；1103a、1103b交點(diǎn)；1303a交點(diǎn)；3501、3502、3503、3504細(xì)胞。

具體實(shí)施方式

本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成裝置，具備：多個(gè)照明器；具有載置對(duì)象物的表面的圖像傳感器；以及控制電路，其生成位于所述多個(gè)照明器與所述圖像傳感器之間的假想的焦面上的所述對(duì)象物的對(duì)焦圖像，所述控制電路，(a)使用通過(guò)每當(dāng)所述多個(gè)照明器依次照明所述對(duì)象物時(shí)由所述圖像傳感器進(jìn)行的拍攝而得到的所述對(duì)象物的多個(gè)拍攝圖像，生成預(yù)先確定的多個(gè)焦面的各焦面上的所述對(duì)象物的對(duì)焦圖像，(b)提取顯現(xiàn)在所生成的多個(gè)所述對(duì)焦圖像中的所述對(duì)象物的至少一個(gè)截面的輪廓，(c)基于所述至少一個(gè)截面的輪廓，生成至少一個(gè)圓周，(d)生成球圖像，所述球圖像是具有所生成的所述至少一個(gè)圓周的各圓周的至少一個(gè)球的立體圖像，(e)通過(guò)對(duì)所述球圖像進(jìn)行加工以使得表現(xiàn)出所述至少一個(gè)球的截面，從而生成合成圖像，使所述合成圖像顯示于顯示器。

由此，對(duì)象物被模型化為球圖像，例如包括球圖像及其截面的合成圖像被顯示于顯示器。其結(jié)果是，使用者通過(guò)觀察該合成圖像，能夠容易地掌握對(duì)象物的結(jié)構(gòu)。

另外，所述控制電路也可以，在所述(b)中，從顯現(xiàn)在所生成的多個(gè)所述對(duì)焦圖像的各對(duì)焦圖像中的所述對(duì)象物的截面的輪廓中，提取在多個(gè)所述對(duì)焦圖像的各對(duì)焦圖像中位于相同位置且尺寸以及形狀相同的多個(gè)輪廓，在所述(c)中，基于所提取出的所述多個(gè)輪廓中的具有最大邊緣強(qiáng)度的輪廓來(lái)生成圓周。例如，在所述(c)中，所述控制電路生成與具有所述最大邊緣強(qiáng)度的輪廓內(nèi)接或外接的圓周。

由此，能夠適當(dāng)?shù)靥崛?duì)象物的輪廓來(lái)適用于圓周，能夠?qū)⒃搱A周利用于對(duì)象物的模型化。

另外，所述控制電路也可以，在所述(d)中，生成包含如下球的立體圖像的所述球圖像，所述球與所生成的所述圓周具有相同的中心以及半徑。

由此，能夠針對(duì)對(duì)象物生成適當(dāng)?shù)那虻牧Ⅲw圖像。

另外，所述控制電路也可以，在所述(d)中，生成球面互不相交的多個(gè)球的立體圖像來(lái)作為所述球圖像。

由此，例如能夠?qū)⑴叩臉?gòu)造等模型化成球圖像。

另外，也可以是，所述對(duì)象物是胚，所述至少一個(gè)球包括外球和至少一個(gè)內(nèi)球，所述外球體現(xiàn)胚的外形，所述至少一個(gè)內(nèi)球內(nèi)含于所述外球且分別體現(xiàn)細(xì)胞的外形。

由此，使用者能夠容易地掌握胚的結(jié)構(gòu)。

另外，所述控制電路還可以，(f)根據(jù)使用者的操作，使正在顯示的所述合成圖像中的所述截面的位置在所述顯示器上變更，(g)根據(jù)來(lái)自使用者的請(qǐng)求，使用所述多個(gè)拍攝圖像生成與正顯示在顯示器上的所述截面對(duì)應(yīng)的焦面上的所述對(duì)象物的對(duì)焦圖像，使該對(duì)焦圖像顯示于顯示器。

由此，使用者能夠?qū)⒃摵铣蓤D像的截面變更到所希望的位置，能夠使該位置處的對(duì)焦圖像顯示。因此，根據(jù)本技術(shù)方案，能夠容易地顯示對(duì)象物的使用者希望的截面處的對(duì)焦圖像。

另外，本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成系統(tǒng)，具備多個(gè)照明器、載置對(duì)象物的圖像傳感器和控制電路，生成位于所述多個(gè)照明器與所述圖像傳感器之間的假想的焦面上的所述對(duì)象物的對(duì)焦圖像，所述多個(gè)照明器依次對(duì)所述對(duì)象物進(jìn)行照明，每當(dāng)所述多個(gè)照明器對(duì)所述對(duì)象物進(jìn)行照明時(shí)，所述圖像傳感器取得所述對(duì)象物的拍攝圖像，所述控制電路，(a)取得位于所述多個(gè)照明器與所述圖像傳感器之間的所述焦面的信息，(b)對(duì)構(gòu)成所述對(duì)焦圖像的多個(gè)像素，分別執(zhí)行以下的(c)～(f)，(c)對(duì)所述多個(gè)照明器的位置，分別執(zhí)行以下的(d)～(f)，(d)計(jì)算對(duì)象點(diǎn)的位置，所述對(duì)象點(diǎn)是連接所述焦面上的所述像素的位置和所述照明器的位置的直線與所述圖像傳感器的受光面交叉的交點(diǎn)，(e)基于所述圖像傳感器的受光面上的所述對(duì)象點(diǎn)的位置，計(jì)算從所述照明器的位置對(duì)所述對(duì)象物進(jìn)行照明時(shí)所取得的拍攝圖像中的所述對(duì)象點(diǎn)的亮度值，(f)將所述對(duì)象點(diǎn)的亮度值適用于所述像素的亮度值，(g)使用所述多個(gè)像素各自的亮度值的適用結(jié)果，生成所述焦面上的所述對(duì)象物的對(duì)焦圖像，(h)輸出所述生成的所述對(duì)象物的對(duì)焦圖像。

根據(jù)本技術(shù)方案，能夠?qū)⑦B接焦面上的像素的位置和照明器的位置的直線與圖像傳感器的受光面交叉的交點(diǎn)即對(duì)象點(diǎn)的亮度值適用于該像素的亮度值。因此，能夠在假想的焦面上的對(duì)焦圖像的各像素上反映與該像素對(duì)應(yīng)的多個(gè)拍攝圖像的亮度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的對(duì)焦圖像。

本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成系統(tǒng)，具備多個(gè)照明器、載置對(duì)象物的圖像傳感器和控制電路，生成位于所述多個(gè)照明器與所述圖像傳感器之間的假想的焦面上的所述對(duì)象物的對(duì)焦圖像，所述多個(gè)照明器依次對(duì)所述對(duì)象物進(jìn)行照明，每當(dāng)所述多個(gè)照明器對(duì)所述對(duì)象物進(jìn)行照明時(shí)，所述圖像傳感器取得所述對(duì)象物的拍攝圖像，所述控制電路，(a)取得位于所述多個(gè)照明器與所述圖像傳感器之間的所述焦面的信息，(b)對(duì)多個(gè)所述拍攝圖像，分別執(zhí)行以下的(c)～(f)，(c)取得與所述拍攝圖像對(duì)應(yīng)的照明器的位置信息，(d)對(duì)所述拍攝圖像所包含的多個(gè)第1像素，分別執(zhí)行以下的(e)～(f)，(e)計(jì)算連接所述圖像傳感器的受光面上的所述第1像素的位置和所述照明器的位置的直線與所述焦面交叉的交點(diǎn)的位置，(f)對(duì)構(gòu)成所述對(duì)焦圖像的多個(gè)第2像素所包含的與所述焦面上的交點(diǎn)的位置對(duì)應(yīng)的一個(gè)以上的第2像素的亮度值，適用所述第1像素的亮度值，(g)使用所述多個(gè)第2像素的亮度值的適用結(jié)果，生成所述焦面上的所述對(duì)象物的對(duì)焦圖像，(h)輸出所述生成的所述對(duì)象物的對(duì)焦圖像。

根據(jù)本技術(shù)方案，能夠?qū)εc連接圖像傳感器的受光面上的第1像素的位置和照明器的位置的直線與焦面交叉的交點(diǎn)的位置對(duì)應(yīng)的對(duì)焦圖像的一個(gè)以上的第2像素的亮度值，適用拍攝圖像的第1像素的亮度值。因此，能夠?qū)⑴臄z圖像的各像素的亮度值反映于對(duì)焦圖像的像素的亮度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的對(duì)焦圖像。

例如，也可以是，所述多個(gè)照明器分別具備光源和遮光板，所述遮光板位于所述光源與所述對(duì)象物之間，并具有針孔，所述多個(gè)照明器分別通過(guò)所述光源經(jīng)由所述針孔對(duì)所述對(duì)象物照射漫射光。

根據(jù)本技術(shù)方案，能夠從光源經(jīng)由針孔向?qū)ο笪镎丈渎涔?。因此，能夠防止表示從照明器照射的光的多條光線發(fā)生交錯(cuò)，能夠使對(duì)象物的拍攝圖像的畫(huà)質(zhì)提高，也能夠使對(duì)焦圖像的畫(huà)質(zhì)提高。

例如，也可以是，所述圖像生成系統(tǒng)還具備顯示器，所述顯示器對(duì)從所述控制電路輸出的所述對(duì)焦圖像進(jìn)行顯示。

根據(jù)本技術(shù)方案，能夠顯示對(duì)焦圖像。

例如，也可以是，進(jìn)一步，基于所述焦面的信息，決定照明位置的范圍，所述多個(gè)照明器中的與所述照明位置的范圍對(duì)應(yīng)的照明器依次對(duì)所述對(duì)象物進(jìn)行照明。

根據(jù)本技術(shù)方案，能夠基于焦面的信息來(lái)決定照明位置的范圍，通過(guò)與所決定出的照明位置的范圍對(duì)應(yīng)的照明器依次對(duì)對(duì)象物進(jìn)行照明。因此，能夠使用與焦面上的對(duì)焦圖像的生成相適合的照明器來(lái)拍攝對(duì)象物，能夠縮短拍攝時(shí)間。

此外，這些總括性或具體的技術(shù)方案既可以通過(guò)裝置、方法、集成電路、計(jì)算機(jī)程序或計(jì)算機(jī)可讀取的cd-rom等記錄介質(zhì)來(lái)實(shí)現(xiàn)，也可以通過(guò)裝置、方法、集成電路、計(jì)算機(jī)程序或記錄介質(zhì)的任意組合來(lái)實(shí)現(xiàn)。

以下，參照附圖對(duì)本公開(kāi)的一個(gè)技術(shù)方案涉及的圖像生成系統(tǒng)進(jìn)行具體說(shuō)明。

此外，以下說(shuō)明的實(shí)施方式都表示總括性或具體的例子。以下的實(shí)施方式中示出的數(shù)值、形狀、構(gòu)成要素、構(gòu)成要素的配置以及連接形態(tài)、步驟、步驟的順序等是一例，并非限定權(quán)利要求書(shū)的意思。另外，關(guān)于以下的實(shí)施方式中的構(gòu)成要素中的未記載在表示最上位概念的獨(dú)立權(quán)利要求中的構(gòu)成要素，作為任意的構(gòu)成要素進(jìn)行說(shuō)明。

(實(shí)施方式1)

在實(shí)施方式1中，多個(gè)照明器依次對(duì)位于圖像傳感器上的對(duì)象物進(jìn)行照明，使用通過(guò)在每次照明時(shí)拍攝對(duì)象物而得到的多個(gè)拍攝圖像，生成位于多個(gè)照明器與圖像傳感器之間的假想的焦面上的對(duì)象物的圖像。以下，將該使用多個(gè)拍攝圖像生成的圖像也稱為對(duì)焦圖像。

[圖像生成系統(tǒng)的結(jié)構(gòu)]

圖1是實(shí)施方式1涉及的圖像生成系統(tǒng)的功能框圖。圖1所示的圖像生成系統(tǒng)10具備拍攝裝置100a、圖像生成裝置100b、存儲(chǔ)部120和顯示部150。圖像生成系統(tǒng)10還可以具有：存儲(chǔ)有預(yù)先確定的焦面的信息的第1記錄部111、記錄重新聚焦(refocus)處理完的像素的信息的第2記錄部121、和受理用于指定焦面的指定信息的輸入的輸入部112。

[拍攝裝置的結(jié)構(gòu)]

首先，對(duì)拍攝裝置100a的結(jié)構(gòu)進(jìn)行說(shuō)明。拍攝裝置100a具備：多個(gè)照明器101、圖像傳感器102和拍攝控制部103。拍攝裝置100a取得對(duì)象物的拍攝圖像(photographicimage)。在此，拍攝部100不具有聚焦透鏡。

對(duì)象物例如是配置在圖像傳感器102上的多個(gè)半透明的物質(zhì)。多個(gè)物質(zhì)以三維重疊的方式排布。物質(zhì)的具體例子是細(xì)胞。

多個(gè)照明器101分別是輸出平行光的照明器或者輸出漫射光的照明器。多個(gè)照明器101包括第1照明器和第2照明器。第1照明器和第2照明器分別照射不交錯(cuò)的光。即，表示從第1照明器照射的第1光的多條第1光線互不相交。另外，表示從第2照明器照射的第2光的多條第2光線也互不相交。因此，在從第1照明器和第2照明器的某一方照射了光的情況下，來(lái)自第1照明器和第2照明器的該一方的光從單個(gè)方向到達(dá)圖像傳感器102所包含的一個(gè)像素。也就是說(shuō)，不會(huì)是光從2個(gè)以上的方向到達(dá)一個(gè)像素。

以下，將這樣的照明稱為非交錯(cuò)照明。非交錯(cuò)照明例如能夠通過(guò)平行光或來(lái)自點(diǎn)光源的漫射光來(lái)實(shí)現(xiàn)。多個(gè)照明器101依次照射光。多個(gè)照明器101配置在互不相同的位置，從互不相同的方向?qū)?duì)象物照射光。

圖像傳感器102具有多個(gè)像素。圖像傳感器102的各像素配置于受光面，取得從多個(gè)照明器101照射的光的強(qiáng)度。圖像傳感器102基于由各像素取得的光的強(qiáng)度來(lái)取得拍攝圖像。

圖像傳感器102的例子是cmos(complementarymetal-oxidesemiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器或者ccd(chargecoupleddevice)圖像傳感器。

拍攝控制部103控制由多個(gè)照明器101進(jìn)行的光的照射和由圖像傳感器102進(jìn)行的拍攝。具體而言，拍攝控制部103按照多個(gè)照明器101照射光的順序，控制多個(gè)照明器101照射光的時(shí)間間隔。拍攝控制部103由包括cpu(centralprocessingunit，中央處理單元)、ram(randomaccessmemory，隨機(jī)存取存儲(chǔ)器)、rom(read-onlymemory，只讀存儲(chǔ)器)等的計(jì)算機(jī)系統(tǒng)(未圖示)構(gòu)成。拍攝控制部103的構(gòu)成要素的一部分或者全部的功能可以通過(guò)cpu將ram用作工作用的存儲(chǔ)器并執(zhí)行rom所記錄的程序來(lái)實(shí)現(xiàn)。另外，拍攝控制部103的構(gòu)成要素的一部分或者全部的功能也可以通過(guò)專用的硬件電路來(lái)實(shí)現(xiàn)。

從相對(duì)于圖像傳感器102的受光面配置在互不相同的位置的多個(gè)照明器101照射的光，相對(duì)于受光面以不同的入射角入射。在多個(gè)照明器101照射平行光的情況下，多個(gè)照明器101照射相對(duì)于圖像傳感器102的受光面的入射角互不相同的平行光。例如，如圖2所示，平行光通過(guò)使從led光源101a經(jīng)由形成于遮光板101b的針孔101c射出的光被準(zhǔn)直透鏡(collimatorlens)101d折射來(lái)得到。

圖3是說(shuō)明多個(gè)照明器101的構(gòu)造的一例的示意圖。在圖3的多個(gè)照明器101的例子中，照射平行光的多個(gè)光源101e相對(duì)于圖像傳感器102的受光面以不同的角度進(jìn)行固定。在圖3的例子中，多個(gè)光源101e配置于覆蓋圖像傳感器102的半球101f的內(nèi)面。從多個(gè)光源101e到達(dá)圖像傳感器102的受光面的光的向受光面入射的入射角互不相同。

圖4是說(shuō)明多個(gè)照明器101的構(gòu)造的另一例的示意圖。在圖4的多個(gè)照明器101的例子中，多個(gè)近似點(diǎn)光源101g朝向圖像傳感器102側(cè)地配置在與圖像傳感器102的受光面平行的平面101h上的不同位置。來(lái)自多個(gè)近似點(diǎn)光源101g的光相對(duì)于圖像傳感器102的受光面的各像素從不同的方向入射。多個(gè)近似點(diǎn)光源101g分別例如通過(guò)在led光源101a的附近配置具有針孔101c的遮光板101b來(lái)實(shí)現(xiàn)。針孔101c的大小通過(guò)圖像傳感器102的像素間距、圖像傳感器102與針孔101c的距離、生成對(duì)焦圖像的點(diǎn)的距圖像傳感器102的距離來(lái)限制。

圖5是說(shuō)明針孔應(yīng)滿足的大小的條件的示意圖。在此，d1表示針孔101c的直徑。h1表示從圖像傳感器102的受光面到針孔101c為止的距離。h2表示從圖像傳感器102的受光面到對(duì)焦點(diǎn)101j(即，對(duì)焦圖像中的任意像素的位于焦面上的點(diǎn))為止的距離。d2表示從針孔101c透過(guò)對(duì)焦點(diǎn)到達(dá)圖像傳感器102的受光面的光的擴(kuò)散直徑。p表示圖像傳感器102的像素間距。

此時(shí)，理想的是，從針孔101c射出的光通過(guò)對(duì)焦點(diǎn)101j到達(dá)圖像傳感器102的受光面的一個(gè)點(diǎn)。即，希望從針孔101c射出的光通過(guò)對(duì)焦點(diǎn)101j只到達(dá)圖像傳感器102的一個(gè)像素。因此，希望d2為不超過(guò)圖像傳感器的像素間距p的大小。也就是說(shuō)，如以下的式1所示，d2<p是用于實(shí)現(xiàn)非交錯(cuò)照明的條件。

d1應(yīng)滿足的條件能夠通過(guò)將該式1進(jìn)行變形來(lái)表示為以下的式2。

例如，在像素間距p為0.001mm、從圖像傳感器102的受光面到針孔101c為止的距離h1為2mm、從圖像傳感器102到對(duì)焦點(diǎn)101j為止的距離h2為0.1mm的情況下，針孔的直徑d1也可以小于0.19mm。

[圖像生成裝置的結(jié)構(gòu)]

接著，對(duì)圖像生成裝置100b的結(jié)構(gòu)進(jìn)行說(shuō)明。圖像生成裝置100b通過(guò)控制電路來(lái)實(shí)現(xiàn)。如圖1所示，圖像生成裝置100b具備焦面決定部110、重新聚焦處理部130和圖像生成部140。

焦面決定部110例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)，決定位于多個(gè)照明器101與圖像傳感器102之間的假想的焦面。具體而言，焦面決定部110例如基于記錄在第1記錄部111中的預(yù)先確定的焦面的信息來(lái)決定焦面。另外，例如，焦面決定部110也可以按照經(jīng)由輸入部112從外部輸入的信息來(lái)決定焦面。

存儲(chǔ)部120例如通過(guò)半導(dǎo)體存儲(chǔ)器或者硬盤(pán)驅(qū)動(dòng)器等來(lái)實(shí)現(xiàn)，將由圖像傳感器102拍攝到的圖像與在該拍攝中使用的照明器的位置信息一起進(jìn)行存儲(chǔ)。

圖6表示存儲(chǔ)部120所存儲(chǔ)的內(nèi)容的一例。按由拍攝部100拍攝到的各圖像文件，存儲(chǔ)有在該圖像文件的取得時(shí)所使用的照明器的位置信息。在圖6的例子中，照明器的位置信息表示相對(duì)于圖像傳感器102的相對(duì)的位置。以下，將該照明器的位置信息也稱為照明位置信息。照明位置信息是與圖像文件的文件id一起存儲(chǔ)的，照明位置信息通過(guò)文件id來(lái)與圖像數(shù)據(jù)關(guān)聯(lián)。此外，照明位置信息也可以記錄在圖像文件的一部分(例如頭信息)中。

重新聚焦處理部130例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)，根據(jù)多個(gè)圖像、多個(gè)照明器101的位置信息、和假想的焦面的信息，計(jì)算構(gòu)成該焦面上的對(duì)焦圖像的各像素的光的強(qiáng)度。后面敘述該重新聚焦處理的詳細(xì)情況。

圖像生成部140例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)，根據(jù)由重新聚焦處理部130計(jì)算出的各像素的亮度值來(lái)生成焦面上的對(duì)焦圖像。

顯示部150通過(guò)顯示器來(lái)實(shí)現(xiàn)，顯示由圖像生成部140生成的對(duì)焦圖像。

[圖像生成系統(tǒng)的工作]

接著，對(duì)如上述那樣構(gòu)成的圖像生成系統(tǒng)10的工作進(jìn)行說(shuō)明。圖7是表示實(shí)施方式1涉及的圖像生成系統(tǒng)10的工作的一例的流程圖。圖8是表示坐標(biāo)與焦面的關(guān)系的一例的示意圖。

(步驟s1100)

首先，拍攝部100依次使用多個(gè)照明器101對(duì)對(duì)象物進(jìn)行照明，拍攝該對(duì)象物的多個(gè)圖像。具體而言，拍攝部100在多個(gè)照明器101的各照明器每次對(duì)對(duì)象物進(jìn)行照明時(shí)，記錄到達(dá)圖像傳感器102的受光面的光的強(qiáng)度，由此取得對(duì)象物的圖像。所取得的圖像與拍攝時(shí)對(duì)對(duì)象物進(jìn)行了照明的照明器的位置信息一起由存儲(chǔ)部120存儲(chǔ)。在此，多個(gè)照明器101的位置相對(duì)于圖像傳感器102是固定的，多個(gè)照明器101各自的位置信息被預(yù)先確定。后面敘述拍攝處理的詳細(xì)情況。

(步驟s1200)

焦面決定部110決定焦面。具體而言，焦面決定部110決定焦面相對(duì)于圖像傳感器102的位置以及傾斜(角度)。例如，焦面決定部110可以基于存儲(chǔ)在第1記錄部111中的預(yù)先確定的焦面的信息來(lái)決定焦面?；蛘撸姑鏇Q定部110也可以基于通過(guò)輸入部112從使用者受理的指定焦面的指定信息來(lái)決定焦面。

焦面相當(dāng)于生成對(duì)焦圖像的假想的面。也就是說(shuō)，焦面上的對(duì)象物的對(duì)焦圖像所包含的多個(gè)像素與焦面上的多個(gè)點(diǎn)一一對(duì)應(yīng)。

例如，焦面決定部110使用焦面的角度以及位置來(lái)決定焦面。焦面的角度以及位置，例如通過(guò)圖8所示的xyz空間來(lái)定義。

在圖8中，xy平面與圖像傳感器102的受光面一致。z軸與圖像傳感器102的受光面正交。此時(shí)，焦面的角度在以圖像傳感器102的受光面的中心為原點(diǎn)的xyz空間中，以相對(duì)于x軸以及y軸的角度來(lái)定義。焦面的位置由焦面的中心點(diǎn)的坐標(biāo)來(lái)定義。

(步驟s1300)

重新聚焦處理部130，基于多個(gè)拍攝圖像、多個(gè)照明器101的位置信息和焦面的信息，進(jìn)行重新聚焦處理，求出焦面上的各點(diǎn)的亮度。后面敘述重新聚焦處理的詳細(xì)情況。

(步驟s1400)

圖像生成部140基于通過(guò)步驟s1300進(jìn)行的重新聚焦處理的結(jié)果，生成能夠向顯示器等輸出的圖像數(shù)據(jù)。圖像生成部140將所生成的圖像數(shù)據(jù)輸出給顯示部150。

(步驟s1500)

顯示部150顯示通過(guò)步驟s1400生成的圖像。

[拍攝處理]

在此說(shuō)明步驟s1100的拍攝部100的工作的詳細(xì)情況。圖9是表示拍攝裝置100a的工作的一例的流程圖。

(步驟s1110)

拍攝控制部103參照預(yù)先確定的多個(gè)照明位置、或者通過(guò)未圖示的外部輸入指定的多個(gè)照明位置的列表(以下，稱為照明位置列表)，判定被從各照明位置進(jìn)行了照明的對(duì)象物的拍攝是否已結(jié)束。多個(gè)照明器101與照明位置列表所包含的多個(gè)照明位置一一對(duì)應(yīng)。

在此，在基于從照明位置列表所包含的全部照明位置進(jìn)行的照明的拍攝結(jié)束的情況下(步驟s1110：是)，進(jìn)入步驟s1200。另一方面，在基于從照明位置列表內(nèi)的任一個(gè)照明位置進(jìn)行的照明的拍攝未結(jié)束的情況下(步驟s1110：否)，進(jìn)入步驟s1120。

(步驟s1120)

拍攝控制部103從照明位置列表所包含的多個(gè)照明位置中選擇尚未進(jìn)行照明的照明位置，向多個(gè)照明器101輸出控制信號(hào)。此外，拍攝控制部103在存在多個(gè)尚未進(jìn)行照明的照明位置的情況下，選擇一個(gè)照明位置。在照明位置列表中，各照明位置例如由按各照明位置分配的編號(hào)來(lái)表示?；蛘撸髡彰魑恢美缤ㄟ^(guò)圖8所示的xyz空間中的坐標(biāo)值來(lái)表示。照明位置的選擇例如按列表的升序來(lái)進(jìn)行。

(步驟s1130)

多個(gè)照明器101按照在步驟s1120中從拍攝控制部103輸出的控制信號(hào)，開(kāi)始向?qū)ο笪锏恼彰?。也就是說(shuō)，位于通過(guò)步驟s1120選擇出的照明位置的照明器開(kāi)始照射光。

(步驟s1140)

在由照明器對(duì)對(duì)象物進(jìn)行照明的期間，圖像傳感器102取得通過(guò)從該照明器透過(guò)了對(duì)象物的光而形成的圖像。

(步驟s1150)

然后，拍攝控制部103向多個(gè)照明器101輸出控制信號(hào)，停止向?qū)ο笪锏恼彰鳌４送?，照明的停止也可以不按照?lái)自拍攝控制部103的控制信號(hào)來(lái)進(jìn)行。例如，多個(gè)照明器101也可以對(duì)從開(kāi)始照明起的時(shí)間長(zhǎng)度進(jìn)行計(jì)時(shí)，在計(jì)時(shí)得到的時(shí)間長(zhǎng)度超過(guò)了預(yù)先確定的時(shí)間長(zhǎng)度之后主動(dòng)停止照明?；蛘?，也可以，在步驟s1140中圖像傳感器102結(jié)束了圖像的取得之后，圖像傳感器102，將用于停止照明的控制信號(hào)輸出給多個(gè)照明器101。

(步驟s1160)

接著，拍攝控制部103將通過(guò)步驟s1140取得的圖像和在步驟s1130中使用的照明器的位置信息輸出給存儲(chǔ)部120。并且，存儲(chǔ)部120將圖像數(shù)據(jù)和照明位置的信息進(jìn)行關(guān)聯(lián)并存儲(chǔ)。在步驟s1160之后，返回到步驟s1110。

通過(guò)反復(fù)進(jìn)行從步驟s1110到步驟s1160的處理，從照明位置列表所包含的全部照明位置的照明器依次對(duì)對(duì)象物照射光，每當(dāng)對(duì)對(duì)象物照射光時(shí)取得圖像。

[重新聚焦處理]

進(jìn)一步，說(shuō)明步驟s1300的重新聚焦處理部130的工作的詳細(xì)情況。圖10是表示實(shí)施方式1涉及的重新聚焦處理部130的工作的一例的流程圖。圖11～圖15是說(shuō)明重新聚焦處理的計(jì)算方法的具體例子的示意圖。

以下，參照?qǐng)D11～圖15對(duì)圖10的各步驟進(jìn)行說(shuō)明。

(步驟s1310)

重新聚焦處理部130從焦面決定部110取得通過(guò)步驟s1200決定的焦面的信息。

焦面的信息例如包含焦面的中心的坐標(biāo)值和表示焦面的傾斜的值。焦面的傾斜例如由焦面和xz平面的交線與x軸所成的角度來(lái)表示。另外，例如，焦面的傾斜由焦面和yz平面的交線與y軸所成的角度來(lái)表示。焦面的中心的坐標(biāo)值是與對(duì)焦圖像的中心的像素對(duì)應(yīng)的焦面上的點(diǎn)的坐標(biāo)值。

圖11表示拍攝部100以及對(duì)象物1000的xz平面上的截面圖的一例。對(duì)象物1000位于照明器101a、101b和圖像傳感器102之間，并且位于圖像傳感器102上。重新聚焦處理部130取得焦面1100的信息。

(步驟s1320)

重新聚焦處理部130判定對(duì)于對(duì)焦圖像所包含的全部像素是否結(jié)束了重新聚焦處理。在此，重新聚焦處理是指從步驟s1320到步驟s1390的處理。

在對(duì)于對(duì)焦圖像所包含的全部像素都結(jié)束了重新聚焦處理的情況下(步驟s1320：是)，重新聚焦處理部130結(jié)束重新聚焦處理(進(jìn)入步驟s1400)。

在對(duì)于對(duì)焦圖像所包含的任一個(gè)像素未結(jié)束重新聚焦處理的情況下(步驟s1320：否)，重新聚焦處理部130繼續(xù)進(jìn)行重新聚焦處理(進(jìn)入步驟s1330)。

對(duì)焦圖像包含多個(gè)像素。對(duì)焦圖像所包含的多個(gè)像素與焦面上的多個(gè)點(diǎn)一一對(duì)應(yīng)。圖12表示與對(duì)焦圖像所包含的多個(gè)像素對(duì)應(yīng)的、焦面1100上的多個(gè)點(diǎn)1102a～1102e。此外，圖12所示的焦面1100上的多個(gè)點(diǎn)1102a～1102e是對(duì)象物1000上的點(diǎn)，而不在對(duì)象物1000上的點(diǎn)也可以與對(duì)焦圖像的像素對(duì)應(yīng)。

(步驟s1330)

重新聚焦處理部130從對(duì)焦圖像所包含的多個(gè)像素中選擇一個(gè)像素。在此被選的一個(gè)像素是對(duì)焦圖像所包含的多個(gè)像素中的尚未執(zhí)行重新聚焦處理的像素。此外，對(duì)焦圖像的像素值的初始值為0。

例如，在圖1所示的第2記錄部121中，存儲(chǔ)有對(duì)焦圖像中的已經(jīng)執(zhí)行了重新聚焦處理的像素的信息。在后述的步驟s1390的處理之后，重新聚焦處理部130將進(jìn)行了重新聚焦處理的像素的信息記錄于第2記錄部121。重新聚焦處理部130參照記錄在第2記錄部121中的像素的信息，選擇尚未執(zhí)行重新聚焦處理的像素。以下，如圖13所示，對(duì)選擇了與點(diǎn)1102a對(duì)應(yīng)的像素的情況進(jìn)行說(shuō)明。另外，將與點(diǎn)1102a對(duì)應(yīng)的像素也表示為選擇像素。

(步驟s1340)

重新聚焦處理部130判定對(duì)全部照明位置的加法運(yùn)算處理是否已結(jié)束。

在此，在對(duì)全部照明位置的加法運(yùn)算處理已結(jié)束的情況下(步驟s1340：是)，重新聚焦處理部130的處理返回到步驟s1320。

另一方面，在對(duì)任一個(gè)照明位置的加法運(yùn)算處理未結(jié)束的情況下(步驟s1340：否)，重新聚焦處理部130繼續(xù)進(jìn)行加法運(yùn)算處理(進(jìn)入步驟s1350)。在此，加法運(yùn)算處理是指從步驟s1340到步驟s1390的處理。

(步驟s1350)

重新聚焦處理部130從已用于拍攝的全部照明位置中選擇尚未結(jié)束加法運(yùn)算處理的照明位置。

(步驟s1360)

重新聚焦處理部130計(jì)算經(jīng)過(guò)所選擇出的照明位置和焦面上的選擇像素的位置的直線與圖像傳感器102的受光面交叉的點(diǎn)的位置。

圖14表示經(jīng)過(guò)照明器101a的位置和對(duì)應(yīng)于選擇像素的點(diǎn)1102a的直線1200與圖像傳感器102的受光面交叉的交點(diǎn)1103a。以下，將交點(diǎn)1103a也表示為進(jìn)行加法運(yùn)算處理的對(duì)象的點(diǎn)即對(duì)象點(diǎn)。

圖像傳感器102的受光面上的對(duì)象點(diǎn)例如由圖8所示的xy平面上的坐標(biāo)值來(lái)表示。

(步驟s1370)

重新聚焦處理部130從存儲(chǔ)部120中取得與所選擇出的照明位置對(duì)應(yīng)的圖像。也就是說(shuō)，重新聚焦處理部130從存儲(chǔ)部120中取得使用位于所選擇出的照明位置的照明器拍攝到的圖像。具體而言，重新聚焦處理部130按照?qǐng)D6所示的照明位置信息與圖像的對(duì)應(yīng)關(guān)系，取得存儲(chǔ)部120所存儲(chǔ)的圖像。例如，重新聚焦處理部130取得與圖13所示的照明器101a的位置對(duì)應(yīng)的圖像。

(步驟s1380)

重新聚焦處理部130決定通過(guò)步驟s1360計(jì)算出的圖像傳感器102上的對(duì)象點(diǎn)的拍攝圖像中的位置。具體而言，重新聚焦處理部130以拍攝圖像的像素的排列為基準(zhǔn)來(lái)決定拍攝圖像中的對(duì)象點(diǎn)的位置。

在拍攝圖像中的對(duì)象點(diǎn)的位置位于多個(gè)像素的中間位置的情況下，重新聚焦處理部130通過(guò)使用與對(duì)象點(diǎn)的位置相鄰的多個(gè)像素的亮度值進(jìn)行插值處理，由此計(jì)算拍攝圖像中的對(duì)象點(diǎn)的亮度值。具體而言，重新聚焦處理部130例如求出與對(duì)象點(diǎn)相鄰的多個(gè)像素(例如4個(gè)像素)的各個(gè)像素與對(duì)象點(diǎn)的距離，對(duì)各像素的亮度值乘以對(duì)象點(diǎn)與各像素的距離之比并進(jìn)行加法運(yùn)算，由此求出拍攝圖像中的對(duì)象點(diǎn)的亮度值。

圖15是用于說(shuō)明步驟s1380中的對(duì)象點(diǎn)的亮度值的計(jì)算的示意圖。在圖15中，與對(duì)象點(diǎn)相鄰的4個(gè)像素即像素a～像素d與對(duì)象點(diǎn)的距離分別表示為a、b、c以及d。該情況下，對(duì)象點(diǎn)的亮度值lt通過(guò)以下的式3來(lái)求出。

在此，la、lb、lc以及l(fā)d分別表示像素a、像素b、像素c以及像素d的亮度值。

(步驟s1390)

重新聚焦處理部130對(duì)對(duì)焦圖像上的選擇像素的亮度值加上通過(guò)步驟s1380計(jì)算出的對(duì)象點(diǎn)的亮度值。

通過(guò)反復(fù)進(jìn)行從步驟s1340到步驟s1390的處理，對(duì)于全部照明位置，將對(duì)選擇像素的亮度值加上所拍攝到的圖像中的對(duì)象點(diǎn)的亮度值而得到的結(jié)果計(jì)算為選擇像素的亮度值。

通過(guò)這樣的加法運(yùn)算處理，對(duì)于焦面上的各點(diǎn)，將通過(guò)從多個(gè)方向透過(guò)了該點(diǎn)的的光形成的多個(gè)圖像重疊于對(duì)焦圖像的一個(gè)像素。

在圖14中，從照明器101a照射的光透過(guò)與選擇像素對(duì)應(yīng)的焦面1100上的點(diǎn)1102a到達(dá)圖像傳感器102的受光面上的對(duì)象點(diǎn)(交點(diǎn)1103a)。因此，在通過(guò)照明器101a拍攝到的圖像中的對(duì)象點(diǎn)(交點(diǎn)1103a)的位置，包含焦面1100上的點(diǎn)1102a處的圖像。

另外，在圖14中，從照明器101b照射的光透過(guò)與選擇像素對(duì)應(yīng)的焦面1100上的點(diǎn)1102a到達(dá)圖像傳感器102的受光面上的對(duì)象點(diǎn)(交點(diǎn)1103b)。因此，在通過(guò)照明器101b拍攝到的圖像中的對(duì)象點(diǎn)(交點(diǎn)1103b)的位置，包含焦面1100上的點(diǎn)1102a處的圖像。

通過(guò)對(duì)這樣的對(duì)象點(diǎn)(交點(diǎn)1103a)處的圖像(亮度值)以及對(duì)象點(diǎn)(交點(diǎn)1103b)處的圖像(亮度值)進(jìn)行加法運(yùn)算，將通過(guò)來(lái)自多個(gè)方向的光形成的多個(gè)圖像重疊于對(duì)焦圖像的選擇像素。

[效果]

如上所述，根據(jù)本實(shí)施方式涉及的圖像生成系統(tǒng)，能夠?qū)⑦B接焦面上的像素的位置和照明器的位置的直線與圖像傳感器102的受光面交叉的交點(diǎn)即對(duì)象點(diǎn)的亮度值適用于該像素的亮度值。因此，能夠在假想的的焦面上的對(duì)焦圖像的各像素上反映與該像素對(duì)應(yīng)的多個(gè)拍攝圖像的亮度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的對(duì)焦圖像。

(實(shí)施方式1的變形例1)

接著，對(duì)實(shí)施方式1的變形例1進(jìn)行說(shuō)明。在上述實(shí)施方式1中，在圖10的步驟s1350中選擇了照明位置，而在本變形例中選擇拍攝圖像。以下，以與實(shí)施方式1不同之處為中心來(lái)說(shuō)明實(shí)施方式1的變形例1。

圖16是表示實(shí)施方式1的變形例1涉及的重新聚焦處理部的工作的一例的流程圖。在圖16中，取代圖10中的步驟s1340～步驟s1390而執(zhí)行步驟s1341～步驟s1390。此外，在圖16中，對(duì)與圖10實(shí)質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

在圖16中，在全部拍攝圖像都被用于加法運(yùn)算處理的情況下(步驟s1341：是)，返回到步驟s1320。另一方面，在拍攝圖像的任一個(gè)未被用于加法運(yùn)算處理的情況下(步驟s1341：否)，進(jìn)入步驟s1351。重新聚焦處理部130選擇存儲(chǔ)部120所存儲(chǔ)的拍攝圖像中的一個(gè)拍攝圖像(步驟s1351)。在此，選擇尚未被用于加法運(yùn)算處理的拍攝圖像。

重新聚焦處理部130從存儲(chǔ)部120中取得與通過(guò)步驟s1351選擇出的拍攝圖像對(duì)應(yīng)的照明位置信息(步驟s1359)。然后，除了沒(méi)有通過(guò)步驟s1370取得圖像的工作之外，與圖10所示的工作相同。

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)，即使將照明位置的選擇替換為拍攝圖像的選擇，也能夠與實(shí)施方式1同樣地，對(duì)對(duì)焦圖像的各像素適用與該像素對(duì)應(yīng)的多個(gè)拍攝圖像的亮度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的對(duì)焦圖像。

(實(shí)施方式1的變形例2)

接著，對(duì)實(shí)施方式1的變形例2進(jìn)行說(shuō)明。在上述實(shí)施方式1中，在圖10的步驟s1320以及步驟s1330中，依次選擇了對(duì)焦圖像內(nèi)的像素，而在本變形例中，依次選擇拍攝圖像內(nèi)的像素。也就是說(shuō)，在本變形例中，與上述實(shí)施方式1不同之處在于：首先選擇拍攝圖像內(nèi)的像素，然后決定與該選擇出的像素對(duì)應(yīng)的焦面上的點(diǎn)。在與如此決定出的焦面上的點(diǎn)對(duì)應(yīng)的對(duì)焦圖像內(nèi)的像素上反映拍攝圖像內(nèi)被選擇出的像素的亮度值。以下，以與實(shí)施方式1不同之處為中心來(lái)說(shuō)明實(shí)施方式1的變形例2。

圖17是表示實(shí)施方式1的變形例2涉及的重新聚焦處理部的工作的一例的流程圖。在圖17中，對(duì)與圖10實(shí)質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

(步驟s1322)

重新聚焦處理部130判定對(duì)于通過(guò)步驟s1100拍攝到的全部圖像是否結(jié)束了重新聚焦處理。重新聚焦處理是指從步驟s1322到步驟s1392的處理。在對(duì)于全部圖像都已經(jīng)結(jié)束了重新聚焦處理的情況下(步驟s1322：是)，重新聚焦處理部130進(jìn)入步驟s1400。在對(duì)于通過(guò)步驟s1100拍攝到的圖像的任一個(gè)圖像未結(jié)束重新聚焦處理的情況下(步驟s1322：否)，進(jìn)入步驟s1332。

(步驟s1332)

重新聚焦處理部130從存儲(chǔ)在存儲(chǔ)部120中的通過(guò)步驟s1100拍攝到的圖像中選擇一個(gè)拍攝圖像(步驟s1332)。在此被選擇的一個(gè)拍攝圖像是尚未進(jìn)行重新聚焦處理的圖像。以下，將通過(guò)步驟s1332選擇出的一個(gè)圖像稱為選擇圖像。

(步驟s1333)

重新聚焦處理部130取得與選擇圖像對(duì)應(yīng)的照明位置信息。例如，重新聚焦處理部130參照?qǐng)D6所示的圖像與照明位置信息的對(duì)應(yīng)關(guān)系來(lái)取得照明位置信息。在此，對(duì)取得了照明器101a的位置信息的情況進(jìn)行說(shuō)明。

(步驟s1342)

重新聚焦處理部130對(duì)于選擇圖像的全部像素判定是否結(jié)束了加法運(yùn)算處理(步驟s1342)。在此，在對(duì)于選擇圖像的全部像素都結(jié)束了加法運(yùn)算處理的情況下(步驟s1342：是)，結(jié)束加法運(yùn)算處理并返回到步驟s1322。另一方面，在對(duì)于選擇圖像的任一個(gè)像素未結(jié)束加法運(yùn)算處理的情況下(步驟s1342：否)，進(jìn)入步驟s1352。加法運(yùn)算處理是指從步驟s1342到步驟s1392的處理。

(步驟s1352)

重新聚焦處理部130對(duì)選擇圖像中的一個(gè)像素進(jìn)行選擇。在此被選擇的一個(gè)像素是尚未進(jìn)行加法運(yùn)算處理的像素。

圖18中示出與選擇圖像所包含的多個(gè)像素對(duì)應(yīng)的受光面上的多個(gè)點(diǎn)1302a～1302e。在此，如圖19所示，對(duì)從選擇圖像中選擇出與受光面上的點(diǎn)1302a對(duì)應(yīng)的像素的情況進(jìn)行說(shuō)明。此外，以后，將通過(guò)步驟s1352選擇出的像素也表示為加法運(yùn)算像素。

(步驟s1372)

如圖19所示，重新聚焦處理部130計(jì)算連接受光面上的點(diǎn)1302a和照明器101a的位置的直線與焦面1100交叉的交點(diǎn)1303a的位置。以下，將交點(diǎn)1303a也表示為加法運(yùn)算點(diǎn)。

(步驟s1382)

重新聚焦處理部130對(duì)與焦面上的加法運(yùn)算點(diǎn)(交點(diǎn)1303a)對(duì)應(yīng)的對(duì)焦圖像內(nèi)的一個(gè)以上的像素的亮度值加上與受光面上的點(diǎn)1302a對(duì)應(yīng)的選擇圖像內(nèi)的加法運(yùn)算像素的亮度值。

例如，在對(duì)焦圖像中，在交點(diǎn)1303a的位置與任何像素(整數(shù)像素)的位置都不一致的情況下，重新聚焦處理部130分別計(jì)算用于加到在對(duì)焦圖像上與交點(diǎn)1303a相鄰的多個(gè)像素上的亮度值。具體而言，重新聚焦處理部130以對(duì)焦圖像的像素的排列為基準(zhǔn)，決定與通過(guò)步驟s1372計(jì)算出的焦面上的加法運(yùn)算點(diǎn)(交點(diǎn)1303a)對(duì)應(yīng)的對(duì)焦圖像內(nèi)的位置。

例如，如圖20那樣將在對(duì)焦圖像中被4個(gè)像素(像素a～像素d)包圍的位置決定為加法運(yùn)算點(diǎn)的位置。該情況下，重新聚焦處理部130計(jì)算在對(duì)焦圖像中與加法運(yùn)算點(diǎn)相鄰的各像素(像素a～像素d)和加法運(yùn)算點(diǎn)之間的距離。重新聚焦處理部130使用所計(jì)算出的距離和加法運(yùn)算像素的亮度值，計(jì)算用于加到與加法運(yùn)算點(diǎn)相鄰的各像素上的亮度值。例如，重新聚焦處理部130以使得在對(duì)焦圖像內(nèi)與加法運(yùn)算點(diǎn)相鄰的像素和加法運(yùn)算點(diǎn)之間的距離相對(duì)越大的像素則亮度值就相對(duì)越大的方式，計(jì)算用于加到各像素上的亮度值。具體而言，重新聚焦處理部130例如根據(jù)以下的式4來(lái)計(jì)算用于加到像素a上的亮度值la。

在此，a是對(duì)焦圖像中的像素a與加法運(yùn)算點(diǎn)之間的距離。b是對(duì)焦圖像中的像素b與加法運(yùn)算點(diǎn)之間的距離。c是對(duì)焦圖像中的像素c與加法運(yùn)算點(diǎn)之間的距離。d是像素d與加法運(yùn)算點(diǎn)之間的距離。l是拍攝圖像所包含的加法運(yùn)算像素的亮度值。

(步驟s1392)

重新聚焦處理部130對(duì)對(duì)焦圖像中的一個(gè)以上的像素的亮度值加上通過(guò)步驟s1382計(jì)算出的亮度值。

通過(guò)反復(fù)進(jìn)行從步驟s1342到步驟s3192的處理，能夠使選擇圖像中的全部像素的亮度值反映于對(duì)焦圖像的像素的亮度值。

進(jìn)一步，通過(guò)反復(fù)進(jìn)行從步驟s1322到步驟s1392，對(duì)全部拍攝圖像中的全部像素進(jìn)行加法運(yùn)算處理，能夠生成焦面上的對(duì)焦圖像。

參照?qǐng)D21來(lái)說(shuō)明圖17的流程圖中的各步驟的具體例子。在此，對(duì)圖像傳感器102以及焦面等滿足以下條件的情況進(jìn)行說(shuō)明。圖像傳感器102的受光面的長(zhǎng)邊(即與x軸平行的邊)的長(zhǎng)度為6mm，受光面的短邊(即與y軸平行的邊)的長(zhǎng)度為4mm。焦面相對(duì)于x軸的傾斜為30度。焦面相對(duì)于y軸的傾斜為0度。焦面的面積與圖像傳感器102的受光面的面積相同。即，焦面是6mm×4mm的矩形的平面。焦面的一個(gè)短邊如圖21那樣位于yz平面上，與y軸平行地延伸。焦面的另一個(gè)短邊位于xy平面上，x坐標(biāo)在約5.2mm的位置，與y軸平行地延伸。焦面的中心的坐標(biāo)(x，y，z)為(2.6，2，1.5)。

在此，設(shè)為：通過(guò)步驟s1332選擇了圖像，通過(guò)步驟s1333取得了與圖像對(duì)應(yīng)的照明位置(7.5，2，10)，通過(guò)步驟s1352選擇了加法運(yùn)算像素(1.7，2，0)。該情況下，在步驟s1372中，計(jì)算通過(guò)加法運(yùn)算像素(1.7，2，0)和照明位置(7.5，2.0，10)的直線與焦面交叉的交點(diǎn)即加法運(yùn)算點(diǎn)的坐標(biāo)(2.6，2，1.5)。然后，在步驟s1382中，對(duì)對(duì)焦圖像中的加法運(yùn)算點(diǎn)的附近的像素的亮度值分配加法運(yùn)算像素的亮度值并進(jìn)行加法運(yùn)算。

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)，能夠?qū)εc連接圖像傳感器102的受光面上的第1像素的位置和照明器的位置的直線與焦面交叉的交點(diǎn)的位置對(duì)應(yīng)的對(duì)焦圖像的一個(gè)以上的第2像素的亮度值適用拍攝圖像的第1像素的亮度值。因此，能夠?qū)⑴臄z圖像的各像素的亮度值反映于對(duì)焦圖像的像素的亮度值，能夠生成對(duì)象物的高畫(huà)質(zhì)的對(duì)焦圖像。

(實(shí)施方式2)

接著，對(duì)實(shí)施方式2進(jìn)行說(shuō)明。在實(shí)施方式2中，與實(shí)施方式1不同之處在于：根據(jù)所決定出的焦面適應(yīng)性地決定照明位置，使用位于所決定出的照明位置的照明器來(lái)拍攝對(duì)象物。以下，以與實(shí)施方式1不同之處為中心來(lái)說(shuō)明實(shí)施方式2。

[圖像生成系統(tǒng)的結(jié)構(gòu)]

圖22是表示實(shí)施方式2涉及的圖像生成系統(tǒng)20的功能結(jié)構(gòu)的框圖。在圖22中，對(duì)與圖1實(shí)質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

圖像生成系統(tǒng)20具備拍攝裝置200a、圖像生成裝置200b、存儲(chǔ)部120和顯示部150。

[拍攝裝置的結(jié)構(gòu)]

拍攝裝置200a具備多個(gè)照明器101、按各像素記錄光的強(qiáng)度的圖像傳感器102、和拍攝控制部203。

拍攝控制部203按照從后述的照明范圍決定部211取得的照明范圍信息，控制多個(gè)照明器101以及圖像傳感器102的工作。具體而言，拍攝控制部203從位于不同位置的多個(gè)照明器101依次照射光。并且，每當(dāng)從多個(gè)照明器101的任一個(gè)照明器照射光時(shí)，使圖像傳感器102拍攝對(duì)象物的圖像。

拍攝控制部203也可以與實(shí)施方式1的拍攝控制部103同樣地，例如由包括cpu、ram、rom等的計(jì)算機(jī)系統(tǒng)(未圖示)構(gòu)成。拍攝控制部203的構(gòu)成要素的一部分或者全部的功能可以通過(guò)cpu將ram用作工作用的存儲(chǔ)器并執(zhí)行rom所記錄的程序來(lái)實(shí)現(xiàn)。另外，拍攝控制部203的構(gòu)成要素的一部分或者全部的功能也可以通過(guò)專用的硬件電路來(lái)實(shí)現(xiàn)。

[圖像生成裝置的結(jié)構(gòu)]

圖像生成裝置200b具備焦面決定部210、照明范圍決定部211、重新聚焦處理部130和圖像生成部140。

焦面決定部210例如通過(guò)控制電路或者處理器來(lái)實(shí)現(xiàn)，決定位于多個(gè)照明器101和圖像傳感器102之間的假想的焦面。具體而言，焦面決定部210基于預(yù)先確定的焦面的信息來(lái)決定焦面。另外，例如，焦面決定部210也可以按照從外部輸入的信息來(lái)決定焦面。

照明范圍決定部211決定與由焦面決定部210決定出的焦面對(duì)應(yīng)的照明位置。在此，參照?qǐng)D23以及圖24來(lái)說(shuō)明決定照明位置的具體例子。

圖23是示意性表示實(shí)施方式2中的照明位置的決定方法的說(shuō)明圖。圖24是將透鏡的焦距和景深的關(guān)系、與進(jìn)行重新聚焦時(shí)的點(diǎn)光源的配置和景深的關(guān)系進(jìn)行關(guān)聯(lián)來(lái)表示的示意圖。圖24的(a)示出透鏡的焦距和景深的關(guān)系，圖24的(b)示出進(jìn)行重新聚焦時(shí)的點(diǎn)光源的配置和景深的關(guān)系。

在圖24中，f表示透鏡的焦距。s表示被拍攝對(duì)象距離。t表示從透鏡到成像面的距離。f表示f數(shù)。ε表示焦深的1/2。δ表示容許彌散圓直徑。sn表示近點(diǎn)距離。sf表示遠(yuǎn)點(diǎn)距離。dn表示前景深。df表示后景深。

因重新聚焦得到的景深由照明位置的分布范圍的面積來(lái)決定。在圖24的(b)中，由虛線表示的照明位置的分布范圍與圖24的(a)的透鏡直徑對(duì)應(yīng)。在圖24的(a)所示的透鏡的情況下，在被拍攝對(duì)象(subject)表面反射的光通過(guò)透鏡并在焦面(focalplane)上成像。景深(depthoffield)是前景深dn與后景深df之和。在本公開(kāi)中，由于是透射光的拍攝下的重新聚焦，所以與圖24的(a)的被拍攝對(duì)象的位置相當(dāng)?shù)氖墙姑?。在圖24的(b)中，圖像傳感器相比于焦面位于左側(cè)。在本實(shí)施方式中，在相比于點(diǎn)光源的排列位于圖中右側(cè)的位置，實(shí)際上什么也沒(méi)有，但通過(guò)作為彌散圓而設(shè)定圖像傳感器的像素間距，能夠計(jì)算景深。

例如，圖23所示的用于生成焦面的對(duì)焦圖像所需要的照明位置的范圍，如圖24所示，與平行于焦面地設(shè)置的透鏡的大小對(duì)應(yīng)。若使用透鏡，則為了觀測(cè)放置于焦點(diǎn)位置的被拍攝對(duì)象，需要在與拍攝對(duì)象相距5mm的位置放置的直徑10mm的透鏡直徑的情況下的照明位置的范圍，由如下的圓來(lái)表示。也就是說(shuō)，照明位置的范圍如圖23那樣由與焦面平行、與焦面相距5mm、且以經(jīng)過(guò)焦面中心的焦面的法線與平行于焦面的平面交叉的交點(diǎn)為中心的直徑10mm的圓來(lái)表示。在實(shí)際的點(diǎn)光源的配置平面或者曲面(例如，圖3所示的曲面、圖4所示的平面)上，配置在對(duì)該照明位置的范圍進(jìn)行了映射的區(qū)域內(nèi)的照明器的位置成為與由焦面決定部210決定出的焦面相適合的照明位置。

[圖像生成系統(tǒng)的工作]

接著，對(duì)如上述那樣構(gòu)成的圖像生成系統(tǒng)20的工作進(jìn)行說(shuō)明。

圖25是表示實(shí)施方式2涉及的圖像生成系統(tǒng)20的工作的一例的流程圖。在圖25中，對(duì)與圖7實(shí)質(zhì)上相同的步驟標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

如圖25所示，首先，焦面決定部210決定焦面(步驟s1200)。

照明范圍決定部211決定與通過(guò)步驟s1200決定出的焦面對(duì)應(yīng)的照明位置的范圍(步驟s2200)。

拍攝裝置200a依次使用多個(gè)照明器101中的與通過(guò)步驟s2200決定出的照明位置的范圍對(duì)應(yīng)的照明器，對(duì)對(duì)象物進(jìn)行照明。并且，每當(dāng)照明器對(duì)對(duì)象物進(jìn)行照明時(shí)，拍攝裝置200a通過(guò)對(duì)到達(dá)了圖像傳感器102的受光面的光的強(qiáng)度進(jìn)行記錄，由此取得對(duì)象物的圖像。所取得的圖像與拍攝時(shí)對(duì)對(duì)象物進(jìn)行了照明的照明器的位置信息一起存儲(chǔ)于存儲(chǔ)部120(步驟s2300)。具體而言，拍攝裝置200a的拍攝控制部203基于通過(guò)步驟s2200決定出的照明位置的范圍，從多個(gè)照明器101中選擇包含在所決定出的照明位置的范圍內(nèi)的2個(gè)以上的照明器。并且，拍攝控制部203按預(yù)先確定的順序使所選擇出的2個(gè)以上的照明器照射光，使圖像傳感器102進(jìn)行拍攝。拍攝裝置200a通過(guò)反復(fù)進(jìn)行對(duì)對(duì)象物的照明和對(duì)象物的拍攝，使用所決定出的照明位置的范圍內(nèi)的照明器來(lái)取得對(duì)象物的圖像。這之后的工作基本上與實(shí)施方式1的圖7同樣，因此省略說(shuō)明。

[效果]

如上所述，根據(jù)本實(shí)施方式涉及的圖像生成系統(tǒng)，能夠基于焦面的信息來(lái)決定照明位置的范圍，通過(guò)與所決定出的照明位置的范圍對(duì)應(yīng)的照明器依次對(duì)對(duì)象物進(jìn)行照明。因此，能夠使用與焦面上的對(duì)焦圖像的生成相適合的照明器來(lái)拍攝對(duì)象物，能夠縮短拍攝時(shí)間。

(實(shí)施方式2的變形例)

接著，對(duì)實(shí)施方式2的變形例進(jìn)行說(shuō)明。在本變形例中，與實(shí)施方式2不同之處在于：使用預(yù)先取得的引導(dǎo)圖像(pilotimage)來(lái)決定對(duì)象區(qū)域，基于該對(duì)象區(qū)域來(lái)決定照明位置的范圍。以下，以與實(shí)施方式2不同之處為中心來(lái)說(shuō)明實(shí)施方式2的變形例。

[圖像生成系統(tǒng)的結(jié)構(gòu)]

圖26是表示實(shí)施方式2的變形例涉及的圖像生成系統(tǒng)30的功能結(jié)構(gòu)的框圖。在圖26中，對(duì)與圖22實(shí)質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

圖像生成系統(tǒng)30具備拍攝裝置200a、圖像生成裝置300b、存儲(chǔ)部320和顯示部150。

拍攝裝置200a具備多個(gè)照明器101、圖像傳感器102和拍攝控制部203。在本變形例中，拍攝裝置200a在依次使用與所決定出的照明位置的范圍對(duì)應(yīng)的照明器來(lái)拍攝對(duì)象物之前，通過(guò)使用預(yù)先確定的照明器拍攝對(duì)象物來(lái)取得引導(dǎo)圖像。引導(dǎo)圖像被存儲(chǔ)于存儲(chǔ)部320，并顯示于顯示部150。

圖像生成裝置300b具備焦面決定部210、照明范圍決定部311、對(duì)象區(qū)域決定部312、處理范圍切取部313、重新聚焦處理部230和圖像生成部140。

對(duì)象區(qū)域決定部312基于通過(guò)外部輸入而指定的區(qū)域或者通過(guò)預(yù)先確定的方法而指定的區(qū)域，決定引導(dǎo)圖像內(nèi)的對(duì)象區(qū)域。

照明范圍決定部311基于由焦面決定部210決定出的焦面以及由對(duì)象區(qū)域決定部312決定出的對(duì)象區(qū)域，決定照明位置的范圍。

存儲(chǔ)部320將由圖像傳感器102拍攝到的圖像與在該圖像的拍攝中使用的照明器的位置信息一起進(jìn)行存儲(chǔ)。進(jìn)而，存儲(chǔ)部320將在由預(yù)先確定的照明器進(jìn)行照明時(shí)所拍攝到的圖像存儲(chǔ)為引導(dǎo)圖像。該引導(dǎo)圖像被輸出到對(duì)象區(qū)域決定部212。

處理范圍切取部313從存儲(chǔ)部320所存儲(chǔ)的多個(gè)圖像中分別切取與由對(duì)象區(qū)域決定部312決定出的對(duì)象區(qū)域?qū)?yīng)的區(qū)域。并且，處理范圍切取部313將所切取出的圖像與照明位置信息一起輸出給重新聚焦處理部230。

[圖像生成系統(tǒng)的工作]

接著，對(duì)如上述那樣構(gòu)成的圖像生成系統(tǒng)30的工作進(jìn)行說(shuō)明。

圖27是表示圖像生成系統(tǒng)30的工作的一例的流程圖。如圖27所示，首先，拍攝部200的拍攝控制部203使用預(yù)先確定的照明器(例如，位于坐標(biāo)(0，0)的位置的照明器)對(duì)對(duì)象物進(jìn)行照明，通過(guò)檢測(cè)到達(dá)了圖像傳感器102的受光面的光的強(qiáng)度來(lái)取得引導(dǎo)圖像。引導(dǎo)圖像被存儲(chǔ)于存儲(chǔ)部320(步驟s2010)。存儲(chǔ)部320將通過(guò)步驟s2010拍攝到的引導(dǎo)圖像輸出到顯示部150，顯示部150顯示引導(dǎo)圖像(步驟s2020)。

使用者對(duì)通過(guò)步驟s2020顯示的引導(dǎo)圖像，指定想要生成對(duì)焦圖像的區(qū)域。對(duì)象區(qū)域決定部212基于由使用者指定的區(qū)域，來(lái)決定對(duì)象區(qū)域(步驟s2030)。

此外，在本變形例中，顯示引導(dǎo)圖像并從使用者受理針對(duì)引導(dǎo)圖像的區(qū)域的指定輸入，但不限定于此。例如，對(duì)象區(qū)域決定部312也可以在引導(dǎo)圖像中進(jìn)行對(duì)象物的識(shí)別處理，基于識(shí)別結(jié)果來(lái)決定對(duì)象區(qū)域。對(duì)象物的識(shí)別處理例如基于預(yù)先確定的顏色和/或輪廓等特征來(lái)進(jìn)行。在通過(guò)對(duì)象物的識(shí)別處理提取出了多個(gè)區(qū)域的情況下，對(duì)象區(qū)域決定部312例如可以基于圖像中的區(qū)域的位置，從所提取出的多個(gè)區(qū)域中選擇至少一個(gè)區(qū)域來(lái)作為對(duì)象區(qū)域，也可以將所提取出的多個(gè)區(qū)域全部決定為對(duì)象區(qū)域。

焦面決定部210決定焦面(步驟s2100)。照明范圍決定部311基于通過(guò)步驟s2030決定出的對(duì)象區(qū)域和通過(guò)步驟s2100決定出的焦面，決定照明位置的范圍(步驟s2210)。具體而言，照明范圍決定部211取代使用圖23中的焦面的中心而使用對(duì)象區(qū)域的中心來(lái)決定照明位置的范圍。之后的步驟與圖25實(shí)質(zhì)上相同，因此省略說(shuō)明。

[效果]

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)30，能夠除焦面之外還基于對(duì)象區(qū)域來(lái)決定照明位置的范圍，能夠進(jìn)一步縮短拍攝時(shí)間。

(實(shí)施方式3)

接著，對(duì)實(shí)施方式3進(jìn)行說(shuō)明。實(shí)施方式3與實(shí)施方式1不同之處在于：基于對(duì)象物的狀態(tài)來(lái)決定焦面。例如，在本實(shí)施方式中，在如受精卵或早期胚那樣對(duì)象物的狀態(tài)隨著培養(yǎng)時(shí)間發(fā)生變化的情況下，基于與培養(yǎng)時(shí)間對(duì)應(yīng)的對(duì)象物的狀態(tài)來(lái)決定焦面的數(shù)量以及角度。以下，以與實(shí)施方式1不同之處為中心來(lái)說(shuō)明實(shí)施方式3。

[圖像生成系統(tǒng)的結(jié)構(gòu)]

圖28是表示實(shí)施方式3涉及的圖像生成系統(tǒng)40的功能結(jié)構(gòu)的框圖。在圖28中，對(duì)與圖1實(shí)質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

圖像生成系統(tǒng)40具備拍攝裝置100a、圖像生成裝置400b、存儲(chǔ)部120和顯示部150。圖像生成裝置400b具備焦面決定部410、胚信息表420、計(jì)時(shí)部430、重新聚焦處理部130和圖像生成部140。

在胚信息表420中記錄有培養(yǎng)時(shí)間和與該培養(yǎng)時(shí)間對(duì)應(yīng)的胚的狀態(tài)以及焦面的信息。圖29表示胚信息表420的一例。在圖29的例子中，在胚信息表420中，按培養(yǎng)時(shí)間記錄有胚的狀態(tài)和焦面的數(shù)量。

計(jì)時(shí)部430對(duì)從開(kāi)始對(duì)象物培養(yǎng)的時(shí)刻起的經(jīng)過(guò)時(shí)間(即培養(yǎng)時(shí)間)進(jìn)行計(jì)測(cè)。

焦面決定部410從胚信息表420中取得與由計(jì)時(shí)部430計(jì)測(cè)到的培養(yǎng)時(shí)間對(duì)應(yīng)的焦面的數(shù)量。并且，焦面決定部410在圖像傳感器102與多個(gè)照明器101之間決定與取得的數(shù)量相同數(shù)量的焦面。具體而言，焦面決定部410決定從胚信息表420得到的數(shù)量的以外部輸入的角度或者預(yù)定的角度傾斜的焦面。在對(duì)象物為早期胚的情況下，例如決定互相平行的多個(gè)焦面。因?yàn)樵缙谂叩拇笮〖s為100μm，所以將焦面之間的距離決定為以與從胚信息表420得到的數(shù)量相同數(shù)量的焦面對(duì)100μm的高度進(jìn)行等分。例如，在焦面的數(shù)量為2的情況下，2個(gè)焦面之間的距離被決定為33μm。

[圖像生成系統(tǒng)的工作]

接著，對(duì)如上述那樣構(gòu)成的圖像生成系統(tǒng)40的工作進(jìn)行說(shuō)明。

圖像生成系統(tǒng)40的工作除了步驟s1200的決定焦面的工作之外，與實(shí)施方式1的圖7實(shí)質(zhì)上相同，因此僅說(shuō)明步驟s1200的詳細(xì)情況，關(guān)于其他的工作省略說(shuō)明。

圖30是表示實(shí)施方式3涉及的焦面決定部410的工作的一例的流程圖。

首先，焦面決定部410從計(jì)時(shí)部430取得培養(yǎng)時(shí)間(步驟s1210)。接著，焦面決定部410參照胚信息表420，取得與通過(guò)步驟s1210取得的培養(yǎng)時(shí)間對(duì)應(yīng)的焦面的數(shù)量(步驟s1220)。焦面決定部410基于通過(guò)步驟s1220取得的焦面的數(shù)量，決定各焦面的中心的高度(即如圖8那樣定義的xyz空間中的z坐標(biāo)值)(步驟s1230)。在本實(shí)施方式中，在生成多個(gè)焦面的各焦面上的對(duì)焦圖像時(shí)，考慮到使用者易于理解，全部焦面都平行配置。此外，多個(gè)焦面的角度、配置不限于此。

進(jìn)一步，焦面決定部410基于經(jīng)由未圖示的輸入單元輸入的焦面的傾斜的信息、或預(yù)定的焦面的傾斜的信息，決定焦面的相對(duì)于x軸的角度和相對(duì)于y軸的角度(步驟s1240)。以通過(guò)步驟s1230決定出的焦面的中心位置為旋轉(zhuǎn)中心，以通過(guò)步驟s1240決定出的角度傾斜地假想配置各焦面，由此決定焦面(步驟s1250)。

[效果]

如上所述，根據(jù)本實(shí)施方式涉及的圖像生成系統(tǒng)40，能夠根據(jù)對(duì)象物的狀態(tài)來(lái)決定焦面的數(shù)量，能夠生成適合于觀察對(duì)象物的對(duì)焦圖像。

(實(shí)施方式3的變形例)

在實(shí)施方式3的變形例中，與上述實(shí)施方式3不同之處在于：首先，在與圖像傳感器的受光面平行的焦面上生成對(duì)焦圖像，根據(jù)生成的對(duì)焦圖像中的對(duì)象物(例如細(xì)胞)的立體的配置，自動(dòng)地決定其他焦面。以下，以與實(shí)施方式3不同之處為中心來(lái)說(shuō)明實(shí)施方式3的變形例。

圖31是表示實(shí)施方式3的變形例涉及的圖像生成系統(tǒng)50的功能結(jié)構(gòu)的框圖。此外，在圖31中，拍攝裝置100a與圖28相同，因此省略其記載。另外，在圖31中，對(duì)與圖28實(shí)質(zhì)上相同的構(gòu)成要素標(biāo)注相同的標(biāo)號(hào)，適當(dāng)省略說(shuō)明。

圖像生成裝置500b具備焦面決定部510、胚信息表420、計(jì)時(shí)部430、重新聚焦處理部530和圖像生成部540。焦面決定部510具備水平面決定部511、細(xì)胞位置判定部513和位置傾斜決定部514。

水平面決定部511參照胚信息表420，決定與從計(jì)時(shí)部430取得的培養(yǎng)時(shí)間對(duì)應(yīng)的焦面的數(shù)量。水平面決定部511基于所決定出的焦面的數(shù)量，決定用于決定焦面的位置和傾斜的、與圖像傳感器102的受光面平行的水平面的數(shù)量和該水平面在z軸上的位置。

細(xì)胞位置判定部513對(duì)圖像生成部540生成的與受光面平行的水平面上的對(duì)焦圖像和根據(jù)三維模型生成的截面圖像進(jìn)行比較，根據(jù)比較結(jié)果來(lái)判定三維坐標(biāo)上的細(xì)胞的配置。

在此，參照?qǐng)D32對(duì)細(xì)胞位置判定部513的詳細(xì)結(jié)構(gòu)進(jìn)行說(shuō)明。

圖32是表示細(xì)胞位置判定部513的詳細(xì)的功能結(jié)構(gòu)的框圖。細(xì)胞位置判定部513具備3d模型數(shù)據(jù)庫(kù)(db)521、旋轉(zhuǎn)處理部522、2d化處理部523、比較部524和存儲(chǔ)部525。

3d模型數(shù)據(jù)庫(kù)521保持有對(duì)象物的狀態(tài)(在此為早期胚的各細(xì)胞期的三維模型)。早期胚的三維模型示出在球狀的胚膜中包含有與細(xì)胞期對(duì)應(yīng)的數(shù)量的大致球狀的細(xì)胞的狀態(tài)。

旋轉(zhuǎn)處理部522使3d模型數(shù)據(jù)庫(kù)521所保持的三維模型以預(yù)定的角度進(jìn)行旋轉(zhuǎn)。

2d化處理部523使用旋轉(zhuǎn)處理部522進(jìn)行了旋轉(zhuǎn)后的三維模型，生成由水平面決定部511決定出的水平面上的截面圖像。

比較部524對(duì)圖像生成部540生成的水平面上的對(duì)焦圖像與2d化處理部523根據(jù)三維模型生成的截面圖像進(jìn)行比較。一邊改變旋轉(zhuǎn)處理部522中的旋轉(zhuǎn)角度、一邊反復(fù)進(jìn)行該比較。其結(jié)果是，求出表示對(duì)焦圖像與截面圖像的差異的值變?yōu)楸阮A(yù)定的閾值小的旋轉(zhuǎn)角度。

存儲(chǔ)部525存儲(chǔ)表示比較部524進(jìn)行了比較的2個(gè)圖像的差異的值變?yōu)楸乳撝敌〉?、旋轉(zhuǎn)處理部522中的旋轉(zhuǎn)角度。

位置傾斜決定部514基于細(xì)胞位置判定部513判定出的三維坐標(biāo)上的細(xì)胞的配置和水平面決定部511決定出的焦面的數(shù)量，決定各焦面的中心點(diǎn)在z軸上的位置和各焦面相對(duì)于x軸以及y軸傾斜的值。

重新聚焦處理部530根據(jù)由拍攝部100拍攝到的多個(gè)圖像，進(jìn)行針對(duì)由水平面決定部511決定出的平面或由位置傾斜決定部514決定出的焦面的重新聚焦處理。

圖像生成部540使用重新聚焦處理部530生成的各像素的亮度值來(lái)生成對(duì)焦圖像。

[圖像生成系統(tǒng)的工作]

接著，對(duì)如上述那樣構(gòu)成的圖像生成系統(tǒng)50的工作進(jìn)行說(shuō)明。

圖像生成系統(tǒng)50的工作除步驟s1200之外與實(shí)施方式1的圖7實(shí)質(zhì)上相同，因此僅說(shuō)明步驟s1200的詳細(xì)情況，關(guān)于其他工作省略說(shuō)明。

圖33是表示實(shí)施方式3的變形例涉及的焦面決定部510的工作的一例的流程圖。

首先，焦面決定部510的水平面決定部511從計(jì)時(shí)部430取得培養(yǎng)時(shí)間(步驟s1210)。接著，水平面決定部511參照胚信息表420，取得與通過(guò)步驟s1210取得的培養(yǎng)時(shí)間對(duì)應(yīng)的焦面的數(shù)量(步驟s1220)。水平面決定部511決定與通過(guò)步驟s1220取得的焦面的數(shù)量相同數(shù)量的水平面各自的z軸位置(步驟s1231)。在本變形例中，通過(guò)將根據(jù)三維模型生成的多個(gè)截面圖像與多個(gè)水平面上的對(duì)焦圖像進(jìn)行比較，決定用于圖像生成系統(tǒng)50輸出的對(duì)焦圖像的焦面的角度。在圖29所示的胚信息表中，作為焦面的數(shù)量，對(duì)原核期胚和2細(xì)胞期胚記錄有“1”。因此，在步驟s1231中，決定與參照胚信息表420得到的焦面的數(shù)量相同數(shù)量的水平面的z軸位置。

此外，水平面的數(shù)量也可以與焦面的數(shù)量不一致。該情況下，在胚信息表420中除了焦面的數(shù)量之外還記錄有用于判定細(xì)胞配置的水平面的數(shù)量即可。另外，也可以如實(shí)施方式2的變形例那樣取得引導(dǎo)圖像，并基于引導(dǎo)圖像的狀態(tài)來(lái)決定水平面的數(shù)量。

因?yàn)樵缙谂叩拇笮橹睆郊s100μm，所以水平面的z軸位置例如被決定成使得100μm的高度被與從胚信息表420得到的數(shù)量相同數(shù)量的水平面等分。胚沉浸在培養(yǎng)液中，與圖像傳感器102的受光面上接觸。因此，例如在水平面的數(shù)量為2個(gè)的情況下，2個(gè)水平面的z軸位置為33μm和66μm。

重新聚焦處理部530針對(duì)通過(guò)步驟s1231決定出的z軸位置處的水平面進(jìn)行重新聚焦處理。圖像生成部540使用重新聚焦處理部530計(jì)算出的各像素的亮度值來(lái)生成對(duì)焦圖像(步驟s1232)。

細(xì)胞位置判定部513將通過(guò)步驟s1232生成的對(duì)焦圖像與根據(jù)早期胚的三維模型生成的截面圖像進(jìn)行比較，由此決定細(xì)胞的配置和從適合于觀察早期胚的細(xì)胞的配置(以下，稱為基準(zhǔn)位置)起的早期胚的旋轉(zhuǎn)角度(步驟s1241)。后面敘述步驟s1241的詳細(xì)情況。

位置傾斜決定部514基于通過(guò)步驟s1241決定出的細(xì)胞的配置和旋轉(zhuǎn)角度，以使焦面與基準(zhǔn)位置處的水平面一致的方式?jīng)Q定焦面的角度(步驟s1242)。例如，將以通過(guò)步驟s1241判定出的旋轉(zhuǎn)角度的反向的旋轉(zhuǎn)角度使拍攝時(shí)的坐標(biāo)上的水平面旋轉(zhuǎn)而得到的平面的角度決定為焦面的角度。

接著，位置傾斜決定部514決定與通過(guò)步驟s1220由水平面決定部511取得的數(shù)量相同數(shù)量的焦面在z軸上的位置。z軸位置例如被決定為使得對(duì)象物整體的z軸方向的大小被等分。

位置傾斜決定部514使用通過(guò)步驟s1242決定出的角度和z軸位置來(lái)決定全部焦面(步驟s1250)。

在本變形例中，全部焦面作為互相平行的焦面進(jìn)行了說(shuō)明，但也可以以不同的角度進(jìn)行配置。例如，多個(gè)焦面也可以以某坐標(biāo)點(diǎn)為中心而點(diǎn)對(duì)稱地配置。也可以：根據(jù)從圖像傳感器正上方拍攝的拍攝結(jié)果，決定圖像傳感器的受光面上的胚的中心點(diǎn)，由于胚的直徑約為100μm，因此使用從圖像傳感器的受光面上的胚的中心點(diǎn)向z軸方向偏移50μm的高度位置作為旋轉(zhuǎn)中心來(lái)配置焦面。

接著，參照?qǐng)D34對(duì)圖33的步驟s1241的詳細(xì)情況進(jìn)行說(shuō)明。圖34是表示與實(shí)施方式3的變形例涉及的由焦面決定部510決定細(xì)胞配置有關(guān)的處理的流程圖。

細(xì)胞位置判定部513的旋轉(zhuǎn)處理部522，從水平面決定部511取得早期胚的狀態(tài)、水平面的數(shù)量、水平面的z軸位置的信息(步驟s12411)。旋轉(zhuǎn)處理部522針對(duì)3d模型數(shù)據(jù)庫(kù)521所保持的模型中的、與通過(guò)步驟s12411取得的胚的狀態(tài)的信息對(duì)應(yīng)的三維模型的全部，判定是否進(jìn)行了比較處理(步驟s12412)。比較處理是指從步驟s12413到步驟s12418的一系列的處理。

在此，在對(duì)于與胚的狀態(tài)的信息對(duì)應(yīng)的三維模型全都進(jìn)行了比較處理的情況下(步驟s12412：是)，進(jìn)入步驟s1242。另一方面，在對(duì)于與胚的狀態(tài)的信息對(duì)應(yīng)的三維模型的某一個(gè)尚未進(jìn)行比較處理的情況下(步驟s12412：否)，進(jìn)入步驟s12413。

選擇與通過(guò)步驟s12411取得的胚的狀態(tài)的信息對(duì)應(yīng)的三維模型中的一個(gè)三維模型(步驟s12413)。在此被選擇的三維模型是尚未進(jìn)行比較處理的三維模型。

三維模型按胚的各狀態(tài)，以三維方式來(lái)表現(xiàn)胚中的細(xì)胞的配置。三維模型以能夠旋轉(zhuǎn)的狀態(tài)進(jìn)行保持，不旋轉(zhuǎn)的基準(zhǔn)位置被設(shè)定成使與xy平面即受光面平行的平面上的細(xì)胞的截面成為最適合觀察細(xì)胞的截面。圖35a～圖35d表示4細(xì)胞期的胚的三維模型的一例。在圖35a～圖35d的三維模型中，在z軸方向上的低的位置處2個(gè)細(xì)胞(第1細(xì)胞3501和第2細(xì)胞3502)并排，在高的位置處2個(gè)細(xì)胞(第3細(xì)胞3503和第4細(xì)胞3504)并排。連接第1細(xì)胞3501和第2細(xì)胞3502的中心點(diǎn)的直線與連接第3細(xì)胞3503和第4細(xì)胞3504的中心點(diǎn)的直線在映射到xy平面上的情況下正交。當(dāng)俯視三維模型時(shí)成為圖35d那樣。

圖36a以及圖36b是圖35a的截面線xxviii以及圖35b的截面線xxix處的三維模型的截面圖。在與xy平面平行的面上并排的2個(gè)細(xì)胞的對(duì)(pair)在z軸方向上成為2層。在該例子中，經(jīng)過(guò)第1細(xì)胞3501以及第2細(xì)胞3502的中心點(diǎn)的直線和經(jīng)過(guò)第3細(xì)胞3503以及第4細(xì)胞3504的中心點(diǎn)的直線處于扭轉(zhuǎn)的位置。圖35a～圖36b示出了基準(zhǔn)位置時(shí)的三維模型。也就是說(shuō)，將第1細(xì)胞3501和第2細(xì)胞3502在與xy平面平行的平面上并排、且第3細(xì)胞3503和第4細(xì)胞3504在與xy平面平行的平面上并排的位置設(shè)為基準(zhǔn)位置。

接著，旋轉(zhuǎn)處理部522針對(duì)預(yù)定的旋轉(zhuǎn)角度的全部，判定是否對(duì)通過(guò)步驟s12413選擇出的三維模型的截面圖像與通過(guò)步驟s1232生成的水平面上的對(duì)焦圖像進(jìn)行了比較(步驟s12414)。在此，在針對(duì)旋轉(zhuǎn)角度全都進(jìn)行了比較的情況下(步驟s12414：是)，返回到步驟s12412。另一方面，在針對(duì)預(yù)定的旋轉(zhuǎn)角度的某一個(gè)未進(jìn)行比較的情況下(步驟s12414：否)，進(jìn)入步驟s12415。

旋轉(zhuǎn)處理部522以預(yù)定的旋轉(zhuǎn)角度中的尚未進(jìn)行比較處理的旋轉(zhuǎn)角度，使通過(guò)步驟s12413選擇出的三維模型進(jìn)行旋轉(zhuǎn)(步驟s12415)。

2d化處理部523針對(duì)通過(guò)步驟s12415旋轉(zhuǎn)后的三維模型，生成通過(guò)步驟s1231決定出的一個(gè)以上的平面上的截面圖像(步驟s12416)。圖37是表示使圖35d所示的基準(zhǔn)位置時(shí)的三維模型以與x軸平行并經(jīng)過(guò)胚的中心的軸為旋轉(zhuǎn)中心進(jìn)行了旋轉(zhuǎn)的結(jié)果的三維模型的立體圖。在圖中由虛線所示的平面上生成截面圖像。如圖38所示，在截面圖像中，左下的細(xì)胞的輪廓清楚，在z軸上位于最高的位置處的細(xì)胞未顯現(xiàn)，中間的2個(gè)細(xì)胞的輪廓模糊。2d化處理部523針對(duì)旋轉(zhuǎn)后的三維模型，基于指定的平面和景深來(lái)生成截面圖像。在此使用的景深等于圖像生成系統(tǒng)50的景深。

比較部524對(duì)通過(guò)步驟s1232生成的水平面上的對(duì)焦圖像和通過(guò)步驟s12416生成的截面圖像進(jìn)行比較，判定表示其差異的值是否比存儲(chǔ)部525所存儲(chǔ)的值小(步驟s12417)。在此，在表示差異的值為存儲(chǔ)部525所存儲(chǔ)的值以上的情況下(步驟s12417：否)，返回到步驟s12414。另一方面，在表示差異的值小于存儲(chǔ)部525所存儲(chǔ)的值的情況下(步驟s12417：是)，進(jìn)入步驟s12418。此外，在存儲(chǔ)部525中，作為初始值，例如預(yù)先存儲(chǔ)有表示差異的值的上限值。

存儲(chǔ)部525存儲(chǔ)表示對(duì)焦圖像與截面圖像的差異的值和在步驟s12415中的三維模型的旋轉(zhuǎn)中使用的旋轉(zhuǎn)角度(步驟s12418)。也就是說(shuō)，存儲(chǔ)部525所存儲(chǔ)的值被更新為表示通過(guò)步驟s1232生成的水平面上的對(duì)焦圖像與通過(guò)步驟s12416生成的截面圖像的差異的值。然后，返回到步驟s12414。

通過(guò)反復(fù)進(jìn)行從步驟s12414到步驟s12418的比較處理，能夠求出通過(guò)步驟s1232生成的對(duì)焦圖像(即根據(jù)拍攝圖像生成的水平面上的對(duì)焦圖像)與從基準(zhǔn)位置起旋轉(zhuǎn)了多少度后的三維模型的截面圖像接近。

[效果]

如上所述，根據(jù)本變形例涉及的圖像生成系統(tǒng)50，能夠根據(jù)作為對(duì)象物的早期胚中的細(xì)胞的配置來(lái)決定焦面的位置以及角度。因此，能夠生成適合于觀察早期胚的對(duì)焦圖像。

(實(shí)施方式4)

實(shí)施方式4的圖像生成裝置對(duì)成為向?qū)У暮铣蓤D像進(jìn)行顯示，所述向?qū)в糜谧屖褂谜哌x擇所顯示的對(duì)焦圖像的焦面。此外，實(shí)施方式4的圖像生成裝置與上述實(shí)施方式1～3及其變形例的圖像生成裝置100b、200b、300b、400b以及500b同樣地進(jìn)行重新聚焦處理。

[圖像生成系統(tǒng)]

圖39是實(shí)施方式4的圖像生成系統(tǒng)的功能框圖。

實(shí)施方式4的圖像生成系統(tǒng)具備圖像生成裝置600b、圖像取得部710、早期胚模型720、焦面輸入部730、操作部740和顯示器760。

圖像取得部710包括實(shí)施方式1～3及其變形例中的拍攝裝置以及存儲(chǔ)部。也就是說(shuō)，圖像取得部710通過(guò)每當(dāng)多個(gè)照明器101依次照明對(duì)象物時(shí)由圖像傳感器102進(jìn)行的拍攝，取得對(duì)象物的多個(gè)拍攝圖像并保存于存儲(chǔ)部。

早期胚模型720是保持模型數(shù)據(jù)的記錄介質(zhì)。該模型數(shù)據(jù)示出早期胚的胚膜和內(nèi)含于該胚膜的與培養(yǎng)時(shí)間相應(yīng)的數(shù)量的細(xì)胞分別被模型化成球。進(jìn)而，模型數(shù)據(jù)示出胚膜的球大于細(xì)胞的球、且胚膜的球包含該細(xì)胞的球，進(jìn)而，示出胚膜的球的面與細(xì)胞的球的面不相交。在實(shí)施方式4中，對(duì)象物是胚(具體而言是早期胚)，通過(guò)早期胚模型720將該胚模型化成至少一個(gè)球。

此外，拍攝的對(duì)象物例如是配置在圖像傳感器102上的多個(gè)半透明的物質(zhì)。對(duì)象物的具體例是脊椎動(dòng)物的受精卵的早期胚、即球狀的胚。在對(duì)象物內(nèi)，有時(shí)多個(gè)物質(zhì)以三維重疊的方式排布。多個(gè)物質(zhì)的具體例子是球狀的細(xì)胞。以下，使用早期胚來(lái)說(shuō)明實(shí)施方式4。此外，拍攝的對(duì)象物的形狀不限定于球形狀，可以是任何形狀。例如，拍攝的對(duì)象物的形狀也可以是多面體。多個(gè)物質(zhì)的形狀不限定于球形狀，可以是任何形狀。例如，多個(gè)物質(zhì)的形狀也可以是多面體。拍攝的對(duì)象物優(yōu)選在被拍攝時(shí)形成為例如透明或者半透明以使得該對(duì)象物的內(nèi)部的多個(gè)物質(zhì)也被拍攝。多個(gè)物質(zhì)優(yōu)選形成為例如透明或者半透明以使得照明器101的光透射，但也可以具有透明以及半透明以外的結(jié)構(gòu)。另外，對(duì)象物也可以不包含多個(gè)物質(zhì)，還可以僅包含一個(gè)物質(zhì)。

顯示器760例如包括液晶顯示器或有機(jī)el(electroluminescence)顯示器等，對(duì)對(duì)焦圖像以及成為上述向?qū)У暮铣蓤D像進(jìn)行顯示。

焦面輸入部730受理來(lái)自使用者的重新聚焦處理的請(qǐng)求、即受理對(duì)焦圖像的生成請(qǐng)求。

操作部740受理由使用者進(jìn)行的顯示器760的畫(huà)面的操作。

如上所述，圖像生成裝置600b進(jìn)行重新聚焦處理并生成對(duì)焦圖像，并且生成成為向?qū)У暮铣蓤D像并顯示于顯示器760，所述向?qū)в糜谧屖褂谜哌x擇所顯示的對(duì)焦圖像的焦面。

[圖像生成裝置]

如圖39所示，圖像生成裝置600b具備重新聚焦處理部610、球圖像生成部620和合成圖像生成部630。此外，該圖像生成裝置600b通過(guò)控制電路來(lái)實(shí)現(xiàn)。另外，該圖像生成裝置600b也可以具備多個(gè)照明器101和具有載置對(duì)象物的表面的圖像傳感器102。

重新聚焦處理部610具有與圖像生成裝置100b、200b、300b、400b以及500b各裝置同樣的功能，進(jìn)行重新聚焦處理并生成對(duì)象物的合成圖像。也就是說(shuō)，重新聚焦處理部610使用通過(guò)每當(dāng)多個(gè)照明器101依次照明對(duì)象物時(shí)由圖像傳感器102進(jìn)行的拍攝而得到的對(duì)象物的多個(gè)拍攝圖像，生成預(yù)先確定的多個(gè)焦面的各焦面上的對(duì)象物的對(duì)焦圖像。

對(duì)象物的多個(gè)拍攝圖像由圖像取得部710取得并保存于存儲(chǔ)部。

預(yù)先確定的多個(gè)焦面分別例如是與圖像傳感器102的受光面平行、且沿著與該受光面垂直的方向(即上述的z軸的方向)隔開(kāi)等間隔而配置的面。具體而言，多個(gè)焦面分別隔開(kāi)1μm或2μm的間隔而配置。此外，以下，將這些預(yù)先確定的多個(gè)焦面也稱為初始焦面。

球圖像生成部620提取顯現(xiàn)在由重新聚焦處理部610生成的多個(gè)對(duì)焦圖像中的對(duì)象物的至少一個(gè)截面輪廓。接著，球圖像生成部620基于所提取出的至少一個(gè)截面輪廓，生成至少一個(gè)圓周。并且，球圖像生成部620生成球圖像，該球圖像是具有所生成的至少一個(gè)圓周的各圓周的至少一個(gè)球的立體圖像。在此，球圖像生成部620通過(guò)參照早期胚模型720，生成該球圖像。也就是說(shuō)，在本實(shí)施方式中，對(duì)象物是胚，上述的至少一個(gè)球包括體現(xiàn)胚的外形的外球和內(nèi)含于該外球且分別體現(xiàn)細(xì)胞的外形的至少一個(gè)內(nèi)球。

合成圖像生成部630通過(guò)以使該至少一個(gè)球的截面出現(xiàn)的方式對(duì)球圖像進(jìn)行加工來(lái)生成合成圖像，使該合成圖像顯示于顯示器760。

另外，合成圖像生成部630在使用者的畫(huà)面操作被操作部740受理時(shí)，根據(jù)該使用者的操作，使正在顯示的合成圖像中的截面的位置在顯示器760上變更。

重新聚焦處理部610在來(lái)自使用者的對(duì)焦圖像的生成請(qǐng)求被焦面輸入部730受理時(shí)，根據(jù)該來(lái)自使用者的請(qǐng)求生成對(duì)象物的對(duì)焦圖像。也就是說(shuō)，重新聚焦處理部610根據(jù)來(lái)自使用者的請(qǐng)求，使用多個(gè)拍攝圖像生成與正顯示在顯示器760上的截面對(duì)應(yīng)的焦面上的對(duì)象物的對(duì)焦圖像，使該對(duì)焦圖像顯示于顯示器760。此外，對(duì)象物的多個(gè)拍攝圖像由圖像取得部710取得并保存于存儲(chǔ)部。

圖40表示由合成圖像生成部630顯示的合成圖像的一例。

球圖像生成部620例如生成包含2個(gè)小球a2、a3的球a1來(lái)作為球圖像a0。此外，該球圖像a0形成為半透明以使得內(nèi)部可見(jiàn)。例如，球圖像生成部620在以與圖像傳感器102的受光面平行的面為xy平面且以與該xy平面垂直的方向?yàn)閦軸方向的假想空間上生成上述的球圖像a0。

合成圖像生成部630通過(guò)以使平面b0與球圖像a0相交的方式對(duì)球圖像a0進(jìn)行加工來(lái)合成合成圖像m。也就是說(shuō)，合成圖像生成部630通過(guò)以使至少一個(gè)球的截面b1出現(xiàn)的方式對(duì)球圖像a0進(jìn)行加工來(lái)生成合成圖像m，使該合成圖像m顯示于顯示器760。例如，該加工所使用的平面b0在初始狀態(tài)下與xy平面平行、且位于z坐標(biāo)＝z1的位置。由此，在合成圖像m中，出現(xiàn)與xy平面平行、且位于z坐標(biāo)＝z1的位置的截面b1。另外，在圖像傳感器102的受光面位于z坐標(biāo)＝0的情況下，z1例如為50μm。

另外，合成圖像生成部630在受理了由使用者進(jìn)行的用于變更正在顯示的截面b1(即平面b0)的位置的操作時(shí)，根據(jù)該操作，變更截面b1相對(duì)于球圖像a0的相對(duì)位置。

如此，在實(shí)施方式4中，作為對(duì)象物的胚被模型化為球圖像a0。進(jìn)而，使用者通過(guò)變更合成圖像m的截面b1的位置，能夠一邊掌握胚的概略狀態(tài)以及截面，一邊容易地選擇該胚的任何截面。

[球圖像生成部]

圖41是表示球圖像生成部620的詳細(xì)的功能結(jié)構(gòu)的框圖。

球圖像生成部620具備輪廓提取部621、同一性判定部622、高度決定部623、形狀決定部624和立體圖像生成部625。

輪廓提取部621提取顯現(xiàn)在多個(gè)初始焦面各自的對(duì)焦圖像中的對(duì)象物的截面的輪廓。具體而言，輪廓提取部621提取由具有閾值以上的對(duì)比度的邊緣構(gòu)成的輪廓。例如，在對(duì)象物是胚的情況下，該胚具有胚膜，在該胚膜中內(nèi)含有與培養(yǎng)時(shí)間相應(yīng)的數(shù)量的細(xì)胞。該胚膜以及細(xì)胞分別具有接近球的形狀。因此，輪廓提取部621從各個(gè)對(duì)焦圖像中提取接近圓的形狀的輪廓。此外，從一個(gè)對(duì)焦圖像中，有時(shí)提取到一個(gè)該輪廓，有時(shí)提取到多個(gè)輪廓，也有時(shí)未提取到輪廓。例如，輪廓提取部621從多個(gè)初始焦面上的對(duì)焦圖像中提取ka(ka為2以上的整數(shù))個(gè)輪廓。

輪廓提取部621例如從對(duì)焦圖像中提取邊緣點(diǎn)，對(duì)所提取出的邊緣點(diǎn)進(jìn)行霍夫變換(houghtransform)。此外，邊緣點(diǎn)是像素和與該像素相鄰的像素之間的亮度差較大的點(diǎn)。在霍夫變換中，將經(jīng)過(guò)與焦面對(duì)應(yīng)的正交坐標(biāo)平面上的邊緣點(diǎn)(x，y)的圓周由中心坐標(biāo)(centerx，centery)和基于半徑r的坐標(biāo)點(diǎn)(centerx，centery，r)來(lái)表示。接著，形狀決定部624求出經(jīng)過(guò)邊緣點(diǎn)的圓周的候選。也就是說(shuō)，根據(jù)r²＝(x-centerx)²+(y-centery)²的公式，若決定了centerx和centery(中心位置)，則半徑r可定。因此，形狀決定部624將正交坐標(biāo)平面上的邊緣點(diǎn)(x，y)變換為(centerx，centery，r)三維空間的面。在多個(gè)邊緣點(diǎn)的正交坐標(biāo)平面上的位置為(x1，y1)、……、(xn，yn)的情況下，形狀決定部624在(centerx，centery，r)三維空間中生成n個(gè)面。該n(n為2以上的整數(shù))個(gè)面共有的點(diǎn)位于原來(lái)的正交坐標(biāo)平面上的單個(gè)圓周上。因此，形狀決定部624決定由在(centerx，centery，r)三維空間中n個(gè)面共有的點(diǎn)所指定的原來(lái)的正交坐標(biāo)平面上的圓周。也就是說(shuō)，形狀決定部624通過(guò)從原來(lái)的多個(gè)邊緣點(diǎn)中采用被共有的頻度多的點(diǎn)來(lái)決定圓周。

同一性判定部622判定這些提取出的ka個(gè)輪廓各自是否為與對(duì)象物所包含的同一構(gòu)成要素對(duì)應(yīng)的輪廓。并且，同一性判定部622從該ka個(gè)輪廓中選擇與同一構(gòu)成要素對(duì)應(yīng)的kb(kb為2以上的整數(shù))個(gè)輪廓。在對(duì)象物包含多個(gè)構(gòu)成要素的情況下，同一性判定部622對(duì)該多個(gè)構(gòu)成要素分別選擇與同一構(gòu)成要素對(duì)應(yīng)的多個(gè)輪廓。在對(duì)象物是胚的情況下，構(gòu)成要素是胚或細(xì)胞。

是否為與同一構(gòu)成要素對(duì)應(yīng)的輪廓的判定，基于輪廓(邊緣)的形狀、尺寸以及位置來(lái)進(jìn)行。

也就是說(shuō)，本實(shí)施方式中的輪廓提取部621以及同一性判定部622從顯現(xiàn)在由重新聚焦處理部610生成的多個(gè)對(duì)焦圖像的各對(duì)焦圖像中的對(duì)象物的截面的輪廓中，提取在多個(gè)對(duì)焦圖像的各對(duì)焦圖像中位于相同位置且尺寸以及形狀相同的多個(gè)輪廓。在該多個(gè)對(duì)焦圖像的各對(duì)焦圖像中位于相同位置且尺寸以及形狀相同的多個(gè)輪廓，是與同一構(gòu)成要素對(duì)應(yīng)的多個(gè)輪廓。

高度決定部623確定具有與同一構(gòu)成要素對(duì)應(yīng)的kb個(gè)輪廓的各輪廓的對(duì)焦圖像的初始焦面的z坐標(biāo)。并且，高度決定部623從該z坐標(biāo)已被確定的kb個(gè)初始焦面中，找出位于這些初始焦面的z坐標(biāo)的中心的初始焦面。高度決定部623將該找出的初始焦面的z坐標(biāo)決定為上述的同一構(gòu)成要素的中心的高度。在對(duì)象物包含多個(gè)構(gòu)成要素的情況下，高度決定部623對(duì)該多個(gè)構(gòu)成要素分別決定該構(gòu)成要素的中心的高度。具體而言，決定胚膜的中心的高度或細(xì)胞的中心的高度。

形狀決定部624使用早期胚模型720，決定對(duì)象物的構(gòu)成要素的形狀。具體而言，早期胚模型720中的模型數(shù)據(jù)，如上所述，示出胚膜以及細(xì)胞被模型化成球等。因此，形狀決定部624將對(duì)象物的構(gòu)成要素模型化為球。也就是說(shuō)，形狀決定部624將由高度決定部623決定出的構(gòu)成要素的中心的高度設(shè)定為球的中心的z坐標(biāo)。進(jìn)而，形狀決定部624將位于該決定出的高度的沿著該構(gòu)成要素的輪廓的形狀的圓周的半徑設(shè)定為球的半徑。進(jìn)而，形狀決定部624將該圓周在初始焦面上的中心位置設(shè)定為球中心的x坐標(biāo)以及y坐標(biāo)。由此，針對(duì)對(duì)象物的構(gòu)成要素，設(shè)定球的中心坐標(biāo)(x坐標(biāo)、y坐標(biāo)以及z坐標(biāo))和半徑。在對(duì)象物包含多個(gè)構(gòu)成要素的情況下，形狀決定部624對(duì)該多個(gè)構(gòu)成要素分別設(shè)定球的中心坐標(biāo)和半徑。

換言之，形狀決定部624基于由同一性判定部622選擇出的多個(gè)輪廓中的具有最大邊緣強(qiáng)度的輪廓來(lái)生成圓周。邊緣強(qiáng)度例如作為清晰度(sharpness)來(lái)進(jìn)行比較。例如通過(guò)傅里葉變換將圖像變換到頻率，由所含的頻率分量來(lái)表示清晰度。高頻分量越大則清晰度越高。將預(yù)先確定的頻率以上的頻率分量最大的輪廓設(shè)為具有最大邊緣強(qiáng)度的輪廓。

由同一性判定部622選擇出的多個(gè)輪廓是由輪廓提取部621以及同一性判定部622提取出的與同一構(gòu)成要素對(duì)應(yīng)的多個(gè)輪廓。也就是說(shuō)，上述的高度決定部623將顯現(xiàn)出具有最大邊緣強(qiáng)度的輪廓的對(duì)焦圖像的初始焦面的z坐標(biāo)決定為同一構(gòu)成要素的中心的高度。

另外，形狀決定部624生成與該具有最大邊緣強(qiáng)度的輪廓內(nèi)接或外接的圓周。

立體圖像生成部625生成球圖像，該球圖像是與由形狀決定部624針對(duì)對(duì)象物的結(jié)構(gòu)設(shè)定的中心坐標(biāo)和半徑相應(yīng)的球的立體圖像。在對(duì)象物包含多個(gè)構(gòu)成要素的情況下，立體圖像生成部625將具有與該多個(gè)構(gòu)成要素分別對(duì)應(yīng)的球的立體圖像生成為球圖像。并且，立體圖像生成部625將該球圖像輸出給合成圖像生成部630。

也就是說(shuō)，本實(shí)施方式中的形狀決定部624以及立體圖像生成部625生成球圖像，該球圖像包含具有與所生成的圓周相同的中心以及半徑的球的立體圖像。此時(shí)，立體圖像生成部625在選擇或提取出多個(gè)圓周的情況下，將球面互不相交的多個(gè)球的立體圖像生成為上述的球圖像。

此外，對(duì)于同一構(gòu)成要素，有時(shí)存在分別顯現(xiàn)出最大邊緣強(qiáng)度的多個(gè)對(duì)焦圖像。在這樣的情況下，由形狀決定部624生成多個(gè)圓周。此時(shí)，立體圖像生成部625也可以基于這些多個(gè)圓周來(lái)生成球的立體圖像。也就是說(shuō)，立體圖像生成部625確定分別顯現(xiàn)出最大邊緣強(qiáng)度的多個(gè)對(duì)焦圖像各自的初始焦面的z坐標(biāo)。并且，立體圖像生成部625將這些z坐標(biāo)的中心決定為球的中心。進(jìn)而，立體圖像生成部625將從該球的中心到多個(gè)圓周中的任一個(gè)圓周為止的距離決定為球的半徑。或者，立體圖像生成部625將多個(gè)圓周中的任一個(gè)圓周的半徑?jīng)Q定為球的半徑。由此，由于球的中心以及半徑被決定，因此立體圖像生成部625生成具有該決定出的中心以及半徑的球的立體圖像。

圖42表示球圖像生成部620的具體處理的一例。

例如，對(duì)象物是直徑約為100μm的胚，胚具有胚膜和內(nèi)含于胚膜的2個(gè)細(xì)胞(第1細(xì)胞和第2細(xì)胞)來(lái)分別作為構(gòu)成要素。

另外，多個(gè)初始焦面分別從圖像傳感器102的受光面沿著z軸的方向每隔2μm地配置。也就是說(shuō)，由于z軸的方向是距圖像傳感器102的受光面的高度方向，因此例如55個(gè)初始焦面分別位于高度2μm、4μm、6μm、……、108μm、110μm的位置。

重新聚焦處理部610針對(duì)55個(gè)初始焦面分別生成對(duì)焦圖像。這些在初始焦面上生成的對(duì)焦圖像例如是包括260像素×260像素的圖像。

輪廓提取部621從55個(gè)初始焦面各自的對(duì)焦圖像中，提取由具有閾值以上的對(duì)比度的邊緣構(gòu)成的輪廓。例如，輪廓提取部621從對(duì)焦圖像p2、p3、p4、p5以及p6中提取輪廓p21、p31、p41、p51以及p61。在將被判斷為是對(duì)焦圖像所包含的輪廓的像素的亮度值平均設(shè)為a、并將與被判斷為是對(duì)焦圖像所包含的輪廓的像素相鄰的像素的亮度平均設(shè)為b的情況下，也可以設(shè)為(對(duì)焦圖像的輪廓對(duì)比度)＝|a-b|。

在此，同一性判定部622判定所提取出的輪廓p21、p31、p41、p51以及p61分別是否為與胚所包含的同一構(gòu)成要素對(duì)應(yīng)的輪廓。輪廓p21、p31以及p41各自的邊緣的形狀、尺寸以及位置類似，與其他的輪廓p51以及p61不同。對(duì)于邊緣的形狀以及尺寸的類似，能夠通過(guò)比較輪廓p21、p31、p41、p51、p61的半徑來(lái)判斷。例如，求出半徑的平均值和標(biāo)準(zhǔn)偏差，將半徑的值相對(duì)于平均值大到或小到標(biāo)準(zhǔn)偏差的值以上的輪廓判斷為不是與同一構(gòu)成要素對(duì)應(yīng)的輪廓。在輪廓不是圓的情況下，例如，也可以使輪廓p21、p31、p41、p51、p61的重心一致，求出2個(gè)輪廓之差，根據(jù)輪廓之差進(jìn)行聚類。在求出輪廓之差例如輪廓p21與p31之差的情況下，求出從p21上的點(diǎn)到最近的p31上的點(diǎn)為止的距離。針對(duì)預(yù)先確定的數(shù)量的p21上的點(diǎn)，求出到最近的p31的點(diǎn)為止的距離并進(jìn)行合計(jì)。同樣地，在其他的2個(gè)輪廓之間，也求出輪廓之差，根據(jù)輪廓之差來(lái)進(jìn)行分類?；蛘?，在從重心放射狀地引出直線時(shí)，求出該直線與p21的交點(diǎn)和該直線與p31的交點(diǎn)之間的距離，在該距離的方差大的情況下判斷為形狀不同，在方差小的情況下判斷為形狀類似。關(guān)于輪廓的位置，例如，通過(guò)對(duì)輪廓p21、p31、p41、p51、p61的中心位置或者重心位置進(jìn)行比較來(lái)判斷。例如，求出中心彼此之間的距離的平均值和標(biāo)準(zhǔn)偏差，在與其他中心的距離大到對(duì)所求出的中心間距離的平均值加上標(biāo)準(zhǔn)偏差而得到的值以上的情況下，判斷為輪廓的位置不同。因此，同一性判定部622從輪廓p21、p31、p41、p51、以及p61中，選擇與第1細(xì)胞對(duì)應(yīng)的3個(gè)輪廓p21、p31以及p41。

接著，高度決定部623決定具有與第1細(xì)胞對(duì)應(yīng)的3個(gè)輪廓p21、p31以及p41的各輪廓的對(duì)焦圖像p2、p3以及p4的初始焦面的z坐標(biāo)、即確定高度72μm、70μm、68μm。并且，高度決定部623從高度已被確定的3個(gè)初始焦面中找出位于中心的高度的初始焦面。也就是說(shuō)，高度決定部623找出高度70μm的初始焦面。高度決定部623將該找出的初始焦面的高度70μm決定為第1細(xì)胞的中心的高度。

另外，同一性判定部622在由輪廓提取部621從位于高度50μm前后的初始焦面的合成圖像中也提取出輪廓的情況下，與上述同樣地，將這些輪廓和輪廓p51選擇為與胚膜對(duì)應(yīng)的多個(gè)輪廓。高度決定部623確定具有這些多個(gè)輪廓的各輪廓的對(duì)焦圖像的初始焦面的高度。并且，高度決定部623從高度已被確定的多個(gè)初始焦面中，找出位于中心的高度的初始焦面。例如，高度決定部623找出高度50μm的初始焦面。高度決定部623將該找出的初始焦面的高度50μm決定為胚膜的中心的高度。

同樣地，同一性判定部622在由輪廓提取部621從位于高度20μm前后的初始焦面的合成圖像中也提取出輪廓的情況下，與上述同樣地，將這些輪廓和輪廓p61選擇為與第2細(xì)胞對(duì)應(yīng)的多個(gè)輪廓。高度決定部623確定具有這些多個(gè)輪廓的各輪廓的對(duì)焦圖像的初始焦面的高度。并且，高度決定部623從高度已被確定的多個(gè)初始焦面中，找出位于中心的高度的初始焦面。例如，高度決定部623找出高度20μm的初始焦面。高度決定部623將該找出的初始焦面的高度20μm決定為第1細(xì)胞的中心的高度。

形狀決定部624將胚的各構(gòu)成要素模型化為球。也就是說(shuō)，形狀決定部624將由高度決定部623決定出的第1細(xì)胞的中心的高度(70μm)設(shè)定為球的中心的z坐標(biāo)。進(jìn)而，形狀決定部624將針對(duì)位于該決定出的第1細(xì)胞的中心的高度(70μm)的初始焦面生成的對(duì)焦圖像p3所包含的沿著第1細(xì)胞的輪廓p31的形狀的圓周的半徑設(shè)定為球的半徑。進(jìn)而，形狀決定部624將該圓周在初始焦面上的中心位置設(shè)定為球的中心的x坐標(biāo)以及y坐標(biāo)。由此，針對(duì)胚的第1細(xì)胞，設(shè)定了球的中心坐標(biāo)(x坐標(biāo)、y坐標(biāo)以及z坐標(biāo)＝70μm)和半徑。同樣地，形狀決定部624針對(duì)胚膜以及第2細(xì)胞，也設(shè)定球的中心坐標(biāo)和半徑。

其結(jié)果是，如圖40所示，立體圖像生成部625生成包含3個(gè)球a1～a3的立體圖像即球圖像a0，所述3個(gè)球a1～a3具有如上述那樣分別對(duì)胚膜、第1細(xì)胞和第2細(xì)胞設(shè)定的中心坐標(biāo)和半徑。另外，合成圖像生成部630通過(guò)將由立體圖像生成部625生成的球圖像a0和平面b0進(jìn)行合成，生成顯現(xiàn)了截面b1的球圖像a0來(lái)作為合成圖像m。

圖43表示顯示器760所顯示的畫(huà)面的一例。

在圖40所示的例子中，合成圖像生成部630生成了示出球圖像a0的整體和截面b1的合成圖像m。但是，為了使截面b1更易于觀察，如圖43所示，合成圖像生成部630也可以生成示出球圖像a0中的由截面b1分離開(kāi)的2個(gè)部分中的僅一個(gè)部分和截面b1的合成圖像。例如，在截面b1，顯現(xiàn)上述的第1細(xì)胞被模型化后的球a3(參照?qǐng)D40)的輪廓b2。

合成圖像生成部630使上述那樣的合成圖像顯示于顯示器760。此時(shí)，合成圖像生成部630也可以顯示中心軸c。中心軸c是與截面b1垂直、且經(jīng)過(guò)該截面b1的中心的線段。

另外，合成圖像生成部630顯示軸調(diào)整框d1、截面調(diào)整框d2和重新聚焦按鈕d3。

例如，操作部740受理通過(guò)使用者的操作而輸入到軸調(diào)整框d1的x坐標(biāo)、y坐標(biāo)以及z坐標(biāo)。合成圖像生成部630改變中心軸c的朝向，以使其沿著與所受理的這些坐標(biāo)相應(yīng)的矢量的朝向。由此，如圖43的(a)以及(b)所示，包含顯示在顯示器760中的球圖像a0的合成圖像的整體的朝向被變更。或者，合成圖像生成部630也可以僅改變截面b1的朝向。也就是說(shuō)，合成圖像生成部630不將中心軸c的朝向變更為球圖像a0的中心軸的朝向而變更為截面b1的法線的朝向。由此，可不改變顯示在顯示器760中的球圖像a0的朝向而僅變更截面b1的朝向。

另外，操作部740受理通過(guò)使用者的操作而輸入到截面調(diào)整框d2的x坐標(biāo)、y坐標(biāo)以及z坐標(biāo)。合成圖像生成部630使截面b1的中心bc移動(dòng)到由所受理的這些坐標(biāo)表示的位置。在此，在截面調(diào)整框d2中僅輸入表示中心軸c上的位置的x坐標(biāo)、y坐標(biāo)以及z坐標(biāo)。因此，如圖43的(b)以及(c)所示，合成圖像生成部630根據(jù)向截面調(diào)整框d2的輸入，使顯示在顯示器760上的球圖像a0中的截面b1的位置沿著中心軸c移動(dòng)。

另外，焦面輸入部730通過(guò)使用者選擇重新聚焦按鈕d3的選擇操作，受理重新聚焦處理的請(qǐng)求。重新聚焦處理部610根據(jù)來(lái)自該使用者的請(qǐng)求，使用多個(gè)拍攝圖像生成與正顯示在顯示器760上的截面b1對(duì)應(yīng)的焦面上的對(duì)象物的對(duì)焦圖像，并使該對(duì)焦圖像顯示于顯示器760。此外，多個(gè)拍攝圖像是由圖像取得部710取得的拍攝圖像。

[圖像生成裝置的工作]

圖44是表示實(shí)施方式4涉及的圖像生成裝置600b的工作的一例的流程圖。

(步驟s100)

首先，重新聚焦處理部610使用由圖像取得部710取得的對(duì)象物的多個(gè)拍攝圖像，生成多個(gè)初始焦面各自上的對(duì)象物的對(duì)焦圖像。

(步驟s110)

接著，球圖像生成部620提取顯現(xiàn)在所生成的多個(gè)對(duì)焦圖像中的對(duì)象物的截面的輪廓，生成球圖像，該球圖像是分別具有沿著所提取出的輪廓的形狀的圓周的至少一個(gè)球的立體圖像。

(步驟s120)

接著，合成圖像生成部630通過(guò)以使該至少一個(gè)球的截面出現(xiàn)的方式對(duì)球圖像進(jìn)行加工來(lái)生成合成圖像，并使該合成圖像顯示于顯示器760。

(步驟s130)

接著，重新聚焦處理部610判定對(duì)焦圖像的請(qǐng)求、即重新聚焦處理的請(qǐng)求是否被焦面輸入部730受理。

(步驟s140)

重新聚焦處理部610在步驟s130中判定為受理了該請(qǐng)求時(shí)(步驟s130：是)，生成對(duì)焦圖像。也就是說(shuō)，重新聚焦處理部610根據(jù)來(lái)自使用者的請(qǐng)求，使用多個(gè)拍攝圖像生成與正顯示在顯示器760上的截面對(duì)應(yīng)的焦面上的對(duì)象物的對(duì)焦圖像。此外，多個(gè)拍攝圖像是由圖像取得部710取得的對(duì)象物的多個(gè)拍攝圖像。

(步驟s150)

重新聚焦處理部610使該生成的對(duì)焦圖像顯示于顯示器760。

(步驟s160)

當(dāng)在步驟s130中由重新聚焦處理部610判定為沒(méi)有受理對(duì)焦圖像的請(qǐng)求時(shí)(步驟s130：否)，合成圖像生成部630判定使用者對(duì)畫(huà)面的操作是否被操作部740受理。在此，當(dāng)由合成圖像生成部630判定為沒(méi)有受理畫(huà)面的操作時(shí)(步驟s160：否)，圖像生成裝置600b結(jié)束處理。

(步驟s170)

另一方面，合成圖像生成部630在判定為受理了畫(huà)面的操作時(shí)(步驟s160：是)，根據(jù)該操作來(lái)變更正在顯示的合成圖像。也就是說(shuō)，合成圖像生成部630根據(jù)使用者的操作來(lái)變更正在顯示的合成圖像中的截面的位置。并且，圖像生成裝置600b反復(fù)執(zhí)行從步驟s130起的處理。

圖45是表示圖44的步驟s110中的球圖像的生成的詳細(xì)處理的流程圖。

(步驟s111)

首先，球圖像生成部620的輪廓提取部621提取顯現(xiàn)在多個(gè)初始焦面各自的對(duì)焦圖像中的對(duì)象物的截面的輪廓。

(步驟s112)

同一性判定部622針對(duì)對(duì)象物所包含的至少一個(gè)構(gòu)成要素的各構(gòu)成要素，從通過(guò)步驟s111提取出的多個(gè)輪廓中選擇與同一構(gòu)成要素對(duì)應(yīng)的多個(gè)輪廓。

(步驟s113)

高度決定部623針對(duì)對(duì)象物所包含的至少一個(gè)構(gòu)成要素的各構(gòu)成要素，確定與同一構(gòu)成要素對(duì)應(yīng)的多個(gè)輪廓的高度(z坐標(biāo))。并且，高度決定部623將所決定出的多個(gè)輪廓的高度的中心決定為構(gòu)成要素的中心的高度。

(步驟s114)

形狀決定部624針對(duì)對(duì)象物所包含的至少一個(gè)構(gòu)成要素的各構(gòu)成要素，將構(gòu)成要素模型化為球。也就是說(shuō)，形狀決定部624使用早期胚模型720、構(gòu)成要素的中心的高度、和從該高度的對(duì)焦圖像提取出的輪廓，將構(gòu)成要素模型化為球。

(步驟s115)

立體圖像生成部625生成球圖像，該球圖像是包括通過(guò)對(duì)象物所包含的至少一個(gè)構(gòu)成要素各自的模型化而得到的至少一個(gè)球的立體圖像。

[實(shí)施方式4的總結(jié)]

上述實(shí)施方式4的圖像生成裝置600b通過(guò)多個(gè)照明器101和控制電路來(lái)實(shí)現(xiàn)。

圖46a是表示實(shí)施方式4的圖像生成裝置600b的硬件結(jié)構(gòu)的一例的圖。

實(shí)施方式4的圖像生成裝置600b具備多個(gè)照明器101、具有載置對(duì)象物的表面的圖像傳感器102、用于生成位于多個(gè)照明器101與圖像傳感器102之間的假想的焦面上的對(duì)象物的對(duì)焦圖像的控制電路60。并且，該控制電路60實(shí)現(xiàn)上述的重新聚焦處理部610、球圖像生成部620和合成圖像生成部630各自的功能。此外，該控制電路60也可以通過(guò)執(zhí)行記錄在非暫時(shí)性的記錄介質(zhì)中的程序或命令來(lái)實(shí)現(xiàn)這些功能。

即，控制電路60使用通過(guò)每當(dāng)多個(gè)照明器101依次照明對(duì)象物時(shí)由圖像傳感器102進(jìn)行的拍攝而得到的對(duì)象物的多個(gè)拍攝圖像，生成預(yù)先確定的多個(gè)焦面的各焦面上的對(duì)象物的對(duì)焦圖像。接著，控制電路60提取顯現(xiàn)在所生成的多個(gè)對(duì)焦圖像中的對(duì)象物的至少一個(gè)截面的輪廓。接著，控制電路60基于該至少一個(gè)截面的輪廓，生成至少一個(gè)圓周，生成具有所生成的至少一個(gè)圓周的各圓周的至少一個(gè)球的立體圖像即球圖像a0。并且，控制電路60通過(guò)以使該至少一個(gè)球的截面b1顯現(xiàn)的方式對(duì)球圖像a0進(jìn)行加工來(lái)生成合成圖像m，并使該合成圖像m顯示于顯示器760。

圖46b是表示圖像生成裝置600b所具備的控制電路60的工作的一例的流程圖。

(步驟s61)

首先，控制電路60使用通過(guò)每當(dāng)多個(gè)照明器101依次照明對(duì)象物時(shí)由圖像傳感器102進(jìn)行的拍攝而得到的對(duì)象物的多個(gè)拍攝圖像，生成預(yù)先確定的多個(gè)焦面的各焦面上的對(duì)象物的對(duì)焦圖像。

(步驟s62)

接著，控制電路60提取顯現(xiàn)在所生成的多個(gè)對(duì)焦圖像中的對(duì)象物的至少一個(gè)截面的輪廓。

(步驟s63)

接著，控制電路60基于該至少一個(gè)截面的輪廓，生成至少一個(gè)圓周。

(步驟s64)

接著，控制電路60生成具有所生成的至少一個(gè)圓周的各圓周的至少一個(gè)球的立體圖像即球圖像a0。

(步驟s65)

然后，控制電路60通過(guò)以使該至少一個(gè)球的截面b1顯現(xiàn)的方式對(duì)球圖像a0進(jìn)行加工來(lái)生成合成圖像m，并使該合成圖像m顯示于顯示器760。

由此，對(duì)象物被模型化成球圖像a0，例如包括球圖像a0和該截面b1的合成圖像m被顯示于顯示器760。其結(jié)果是，使用者通過(guò)觀察該合成圖像m，能夠容易地掌握對(duì)象物的結(jié)構(gòu)。

另外，控制電路60也可以根據(jù)使用者的操作來(lái)變更正在顯示的合成圖像m中的截面b1的位置。該情況下，控制電路60根據(jù)來(lái)自使用者的請(qǐng)求，使用多個(gè)拍攝圖像生成與正顯示在顯示器760上的截面b1對(duì)應(yīng)的焦面上的對(duì)象物的對(duì)焦圖像，并使該對(duì)焦圖像顯示于顯示器760。

由此，使用者能夠?qū)⒃摵铣蓤D像m的截面b1變更到所希望的位置，能夠顯示該位置處的對(duì)焦圖像。例如，使用者能夠一邊確認(rèn)胚內(nèi)部的結(jié)構(gòu)，一邊決定想要觀察的細(xì)胞的截面的位置。另外，能夠?yàn)榱舜_認(rèn)內(nèi)部結(jié)構(gòu)而高效地進(jìn)行截面位置的選擇。因此，能夠容易地顯示對(duì)象物的在使用者希望的截面上的對(duì)焦圖像。

此外，具備這樣的圖像生成裝置600b的圖像生成系統(tǒng)，也可以具備通過(guò)使用者的輸入來(lái)受理細(xì)胞數(shù)的細(xì)胞數(shù)輸入部。該情況下，球圖像生成部620基于被該細(xì)胞數(shù)輸入部受理的細(xì)胞數(shù)來(lái)生成球圖像a0。具體而言，球圖像生成部620基于從多個(gè)初始焦面上的合成圖像中提取出的輪廓，設(shè)定n個(gè)球的中心坐標(biāo)和半徑。但是，在被細(xì)胞數(shù)輸入部受理的細(xì)胞數(shù)為m(m<n)個(gè)的情況下，球圖像生成部620將n個(gè)球中的(n-m)個(gè)球作為噪聲來(lái)處理。該作為噪聲來(lái)處理的(n-m)個(gè)球例如是n個(gè)球中的比其余的m個(gè)球小的球。其結(jié)果是，球圖像生成部620生成包括m個(gè)球的球圖像。由此，能夠生成消除了噪聲的球圖像，能夠適當(dāng)?shù)剡M(jìn)行對(duì)象物的模型化。此外，細(xì)胞數(shù)輸入部也可以不是受理細(xì)胞數(shù)而是受理培養(yǎng)時(shí)間。該情況下，細(xì)胞數(shù)輸入部通過(guò)參照實(shí)施方式3的胚信息表420，根據(jù)所受理的培養(yǎng)時(shí)間來(lái)確定細(xì)胞數(shù)。

另外，實(shí)施方式4的形狀決定部624將沿著構(gòu)成要素的輪廓的形狀的圓周的半徑設(shè)定為球的半徑，但該圓周也可以是與輪廓內(nèi)接的圓周，還可以是與輪廓外接的圓周。

另外，實(shí)施方式4的圖像生成裝置600b，進(jìn)行圖44所示的步驟s130、s160以及s170的處理，但也可以不進(jìn)行這些處理。該情況下，圖像生成裝置600b使出現(xiàn)了預(yù)先確定的位置的截面的合成圖像顯示于顯示器760。也就是說(shuō)，在使用者希望的截面的位置被固定的情況下，圖像生成裝置600b不受理使用者的畫(huà)面操作而顯示出現(xiàn)了該固定的位置的截面的合成圖像。并且，圖像生成裝置600b生成并顯示與該截面對(duì)應(yīng)的焦面上的對(duì)焦圖像。

(其他實(shí)施方式)

以上，基于實(shí)施方式對(duì)一個(gè)或多個(gè)技術(shù)方案涉及的圖像生成系統(tǒng)進(jìn)行了說(shuō)明，但本公開(kāi)不限定于該實(shí)施方式。在不脫離本公開(kāi)的主旨的范圍內(nèi)，在本實(shí)施方式中實(shí)施本領(lǐng)域技術(shù)人員能想到的各種變形而得到的方式、或組合不同實(shí)施方式中的構(gòu)成要素而構(gòu)成的方式也可以包含在一個(gè)或多個(gè)技術(shù)方案的范圍內(nèi)。

此外，在上述實(shí)施方式3及其變形例中，計(jì)時(shí)部430將從培養(yǎng)開(kāi)始起的經(jīng)過(guò)時(shí)間計(jì)測(cè)為培養(yǎng)時(shí)間，但也可以計(jì)測(cè)受精后的經(jīng)過(guò)時(shí)間。該情況下，胚信息表不是保持培養(yǎng)時(shí)間而是保持從受精起的經(jīng)過(guò)時(shí)間的信息即可。

本公開(kāi)能夠廣泛利用于生成培養(yǎng)中的細(xì)胞或胚等細(xì)胞團(tuán)(cellmass)的圖像的裝置，當(dāng)在培養(yǎng)箱內(nèi)拍攝對(duì)象物時(shí)有用。