成像系統(tǒng)、成像裝置和圖像處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及具有把圖像拼接在一起的功能的顯微鏡成像系統(tǒng)。
【背景技術(shù)】
[0002] 近年來，為了解決諸如病理學(xué)家短缺和遠(yuǎn)程醫(yī)療之類的問題，使用病理標(biāo)本圖像 來進(jìn)行的診斷的重要性提升。病理標(biāo)本圖像是由包括電動(dòng)臺(tái)架的顯微鏡或醫(yī)學(xué)幻燈片掃描 儀（后文稱為顯微鏡成像系統(tǒng)）獲取的。但是，為了獲取適用于診斷的高準(zhǔn)確度圖像，需要 克服大量的技術(shù)問題。
[0003] 作為其中一個(gè)技術(shù)問題，有關(guān)圖像拼接的問題是已知的?？捎蓴?shù)碼顯微鏡的物鏡 成像的標(biāo)本的范圍相比于整個(gè)標(biāo)本較小，通常等于或小于整個(gè)標(biāo)本的百分之一。所以，為了 對(duì)整個(gè)標(biāo)本成像，需要捕獲不同位置中的多幅圖像并且把這些圖像拼接在一起。
[0004] -般來說，多幅圖像數(shù)據(jù)是通過在使用電動(dòng)臺(tái)架每次以固定間隔移動(dòng)標(biāo)本的同時(shí) 重復(fù)成像來獲取的（一次成像所獲取的圖像數(shù)據(jù)被稱為"拼片（tile)"）。在這種情況下， 臺(tái)架的后沖等導(dǎo)致位置偏差并且位置偏差影響圖像。結(jié)果，當(dāng)簡(jiǎn)單地排列拼片時(shí)，在接縫中 出現(xiàn)差異。無法獲取表示整個(gè)標(biāo)本的圖像數(shù)據(jù)（后文被稱為"整幅圖像")。所以一般來說， 獲得拼片使得彼此相鄰的拼片的外圍部分重疊。在進(jìn)行了位置偏差校正以匹配重疊處的形 狀之后形成整幅圖像。還進(jìn)行物鏡的畸變像差的校正和圖像的旋轉(zhuǎn)等。
[0005] 當(dāng)把大量的拼片拼接在一起時(shí)，無法僅僅根據(jù)位于附近的拼片來估計(jì)位置偏差。 需要保持相當(dāng)于寬范圍的大量拼片并且進(jìn)行位置偏差估計(jì)。這種方法被稱為全局配準(zhǔn) (globalregistration)。為了產(chǎn)生病理標(biāo)本的整體圖像，當(dāng)使用常規(guī)配置（1/1. 8英寸圖 像傳感器和20倍率物鏡）時(shí)，需要20000個(gè)或更多個(gè)拼片。為了保持和處理這么多的拼 片，顯微鏡成像系統(tǒng)需要包括具有大存儲(chǔ)容量并且能夠高速訪問的硬盤和存儲(chǔ)器以及能夠 執(zhí)行具有大計(jì)算負(fù)荷的位置偏差量估計(jì)處理的CPU。但是，從裝置的尺寸和成本的角度來 看，不期望硬件尺寸增大。
[0006] 在PCT申請(qǐng)No. 2008-511899 (W02006/028439)的日文翻譯中公開的顯微鏡成像系 統(tǒng)按順序?qū)D像條帶（在移動(dòng)臺(tái)架時(shí)由線傳感器獲取的橫向長(zhǎng)部分）成像并且在獲取相鄰 的圖像條帶的時(shí)候進(jìn)行位置偏差估計(jì)。圖像條帶相當(dāng)于具有的尺寸等于或大于由圖像傳感 器獲取的拼片的100倍的區(qū)域。當(dāng)與包括圖像傳感器的顯微鏡成像系統(tǒng)相比時(shí)，接縫的數(shù) 量大幅減少。不需要執(zhí)行全局配準(zhǔn)。結(jié)果，保持顯微鏡成像系統(tǒng)的硬件小。
[0007] 在除了顯微鏡成像系統(tǒng)以外的掃描儀裝置中，裝置的硬件尺寸有可能因?yàn)閳?zhí)行拼 接而增大。在日本專利申請(qǐng)公開No.H11-73494(US6259826B1)中公開的手持掃描儀是在紙 上移動(dòng)主體并且用在主體上安裝的線傳感器來獲取紙上描繪的圖像信息的裝置。由于手持 掃描儀是由手把持并移動(dòng)的，所以裝置主體需要形成得盡可能小。手持掃描儀把通過掃描 固定部分而獲取的數(shù)據(jù)設(shè)置為一個(gè)拼片并且在壓縮拼片后把拼片傳送到PC。手持掃描儀把 手持掃描儀的位置數(shù)據(jù)添加到拼片并且發(fā)送位置數(shù)據(jù)。PC根據(jù)位置數(shù)據(jù)來拼接拼片。通 常，在掃描儀裝置與PC之間進(jìn)行的數(shù)據(jù)通信的傳送速率低。但是，由于拼片被壓縮和發(fā)送， 所以不需要在掃描儀裝置中存儲(chǔ)拼片。在PC上執(zhí)行大計(jì)算負(fù)荷的拼接以實(shí)現(xiàn)小的硬件配 置。
[0008] 在拼接時(shí)進(jìn)行的位置偏差估計(jì)處理也用在使用多幅圖像進(jìn)行的圖像高清晰 度處理中。如在使用拼接的裝置中，有可能導(dǎo)致硬件尺寸增大。在日本專利申請(qǐng)公開 No. 2009-048487中公開的圖像處理裝置使壓縮后的高分辨率的局部圖像對(duì)齊并且把高分 辨率的局部圖像粘貼到低分辨率的整幅圖像以生成高清晰度的圖像。這些圖像在增大清晰 度之前以壓縮的狀態(tài)存儲(chǔ)和傳送，以保持存儲(chǔ)器等的硬件尺寸小。
[0009] 在說明問題之前，定義有關(guān)裝置配置的術(shù)語。顯微鏡成像系統(tǒng)需要對(duì)由圖像傳感 器成像的圖像數(shù)據(jù)進(jìn)行范圍從諸如噪聲校正處理之類的計(jì)算負(fù)荷小的輕處理到諸如拼接 之類的重處理的處理。在以下說明中，顯微鏡成像系統(tǒng)被配置為分擔(dān)處理的兩個(gè)裝置（分 別稱為成像裝置和圖像處理裝置）。成像裝置通過圖像傳感器進(jìn)行圖像數(shù)據(jù)獲取以及諸如 傳感器噪聲校正之類的相對(duì)輕的處理。圖像處理裝置進(jìn)行諸如拼接之類的相對(duì)重的處理。 作為圖像處理裝置，假定是諸如工作站或服務(wù)器之類的外部計(jì)算機(jī)和已面市母板的實(shí)施。
[0010] 在顯微鏡成像系統(tǒng)中，為了在諸如工作站之類的圖像處理裝置中執(zhí)行拼接同時(shí)又 保持成像裝置的硬件尺寸小，需要把由成像裝置獲取的拼片無延遲地傳送到圖像處理裝 置。當(dāng)圖像傳感器的像素?cái)?shù)量大時(shí)或者當(dāng)使用了多個(gè)圖像傳感器時(shí)，數(shù)據(jù)傳送速率低的數(shù) 據(jù)傳輸線（成像裝置與圖像處理裝置之間的電纜）是瓶頸。所以，需要在成像裝置側(cè)對(duì)拼 片進(jìn)行壓縮處理。由于在顯微鏡成像系統(tǒng)中待處理的數(shù)據(jù)極大，所以可達(dá)到1/10或更小的 壓縮比（當(dāng)假設(shè)壓縮前的數(shù)據(jù)量為1時(shí)壓縮后的數(shù)據(jù)量的比率）的有損壓縮是必需的。
[0011] 但是，當(dāng)經(jīng)受有損壓縮處理的拼片被解碼時(shí)，壓縮前拼片中沒有的噪聲（后文稱 為偽像（artifact))出現(xiàn)了。在位置偏差估計(jì)期間，計(jì)算冗余地成像的拼片的外圍部分與 相鄰拼片的外圍部分的重合度。但是，偽像影響該計(jì)算，并且誤差混在估計(jì)值中。在由發(fā)明 人進(jìn)行的仿真中，如果使用非壓縮拼片，則位置偏差是成功的。但是，在進(jìn)行JPEG壓縮（壓 縮比為4% )時(shí)獲取的不同的位置偏差估計(jì)結(jié)果的比值為全部試驗(yàn)的10%。作為位置偏差 估計(jì)結(jié)果的誤差，10%中有5%為大約一個(gè)像素的很小的誤差。但是，剩余的5%為相對(duì)大 的位置偏差估計(jì)誤差。在某些情況下，位置偏差估計(jì)誤差為20個(gè)像素或更大。
[0012] 為了解決這個(gè)問題，如在日本專利申請(qǐng)公開No.Hl1-73494 (US6259826B1)中公開 的方法中，也可以想到測(cè)量臺(tái)架的位置波動(dòng)并且根據(jù)位置波動(dòng)的數(shù)據(jù)來進(jìn)行拼接。但是，為 了測(cè)量臺(tái)架的位置波動(dòng)需要昂貴的測(cè)量設(shè)備。這導(dǎo)致成本增加。另外，為了測(cè)量諸如畸變 之類的變形因素，測(cè)量設(shè)備的安裝本身就有困難。
[0013] 如在日本專利申請(qǐng)公開No. 2009-048487中公開的方法中，也可以想到通過發(fā)送 拼片的縮小圖像數(shù)據(jù)而非壓縮數(shù)據(jù)來解決問題。但是，需要事先獲取整個(gè)拼片的縮小圖像。 這導(dǎo)致成本增加，因?yàn)橐胗糜诳s小圖像獲取的物鏡。圖像在縮小之前所包含的高頻分 量被從拼片的縮小圖像中去除。因此，還預(yù)見了位置偏差估計(jì)準(zhǔn)確度降低。

【發(fā)明內(nèi)容】

[0014] 鑒于所述問題已設(shè)計(jì)本發(fā)明并且本發(fā)明的一個(gè)目的是提供一種用于提高針對(duì)有 損壓縮的圖像數(shù)據(jù)的拼接的準(zhǔn)確度的技術(shù)。本發(fā)明的另一個(gè)目的是提供一種用于在不造成 成本和硬件尺寸增加的情況下提高針對(duì)有損壓縮的圖像數(shù)據(jù)的拼接的準(zhǔn)確度的技術(shù)。
[0015] 本發(fā)明的第一方面在于一種成像系統(tǒng)，包括：成像裝置；以及圖像處理裝置，其中 成像裝置包括：成像單元，對(duì)目標(biāo)的多個(gè)區(qū)域進(jìn)行成像，使得相鄰區(qū)域的端部彼此重疊；生 成單元，針對(duì)多個(gè)區(qū)域中的每一個(gè)，根據(jù)由成像單元獲得的數(shù)據(jù)來生成該區(qū)域的圖像數(shù)據(jù) 和外圍數(shù)據(jù)，所述外圍數(shù)據(jù)是該區(qū)域和與該區(qū)域相鄰的區(qū)域的重疊部分的數(shù)據(jù)；以及有損 壓縮單元，有損地壓縮圖像數(shù)據(jù)；并且圖像處理裝置包括：獲取單元，獲取多個(gè)區(qū)域中的每 一個(gè)的有損壓縮的圖像數(shù)據(jù)和外圍數(shù)據(jù)；確定單元，使用相鄰的兩個(gè)區(qū)域的外圍數(shù)據(jù)來確 定用于拼接這兩個(gè)區(qū)域的圖像數(shù)據(jù)的參數(shù)；以及合并單元，對(duì)有損壓縮的圖像數(shù)據(jù)進(jìn)行解 碼并且使用由確定單元確定的參數(shù)來拼接多個(gè)區(qū)域的經(jīng)解碼的圖像數(shù)據(jù)。
[0016] 本發(fā)明的第二方面在于一種成像裝置，包括：成像單元，對(duì)目標(biāo)的多個(gè)區(qū)域進(jìn)行成 像，使得相鄰區(qū)域的端部彼此重疊；生成單元，針對(duì)多個(gè)區(qū)域中的每一個(gè)，根據(jù)由成像單元 獲得的數(shù)據(jù)來生成該區(qū)域的圖像數(shù)據(jù)和外圍數(shù)據(jù)，所述外圍數(shù)據(jù)是該區(qū)域和與該區(qū)域相鄰 的區(qū)域的重疊部分的數(shù)據(jù)；有損壓縮單元，有損地壓縮圖像數(shù)據(jù)；以及輸出單元，輸出有損 壓縮的圖像數(shù)據(jù)和外圍數(shù)據(jù)。
[0017] 本發(fā)明的第三方面在于一種圖像處理裝置，包括：獲取單元，針對(duì)目標(biāo)的被設(shè)置為 使得相鄰區(qū)域的端部彼此重疊的多個(gè)區(qū)域中的每一個(gè)，獲取有損壓縮的圖像數(shù)據(jù)和外圍數(shù) 據(jù)，所述外圍數(shù)據(jù)是相鄰區(qū)域的重疊部分的數(shù)據(jù)；確定單元，使用相鄰的兩個(gè)區(qū)域的外圍數(shù) 據(jù)來確定用于拼接這兩個(gè)區(qū)域的圖像數(shù)據(jù)的參數(shù)；以及合并單元，對(duì)有損壓縮的圖像數(shù)據(jù) 進(jìn)行解碼并且使用由確定單元確定的參數(shù)來