圖像處理裝置、其控制方法、圖像處理系統(tǒng)和程序的制作方法
【專(zhuān)利摘要】圖像處理裝置包括：獲得單元，獲得被檢體的圖像的數(shù)據(jù)和附加到圖像的多個(gè)注釋的數(shù)據(jù)；輸入單元，接收用于放大或縮小圖像的顯示倍率的指定；以及產(chǎn)生單元，產(chǎn)生以被重疊于以指定顯示倍率放大的圖像上的方式顯示注釋的顯示數(shù)據(jù)，其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中的位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的顯示倍率的信息，以及產(chǎn)生單元產(chǎn)生使得注釋的顯示模式在其附加時(shí)的圖像的顯示倍率不同的注釋之間不同的顯示數(shù)據(jù)。
【專(zhuān)利說(shuō)明】圖像處理裝置、其控制方法、圖像處理系統(tǒng)和程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置、其控制方法、圖像處理系統(tǒng)和程序。
【背景技術(shù)】
[0002]在病理領(lǐng)域中，作為替代光學(xué)顯微鏡的病理診斷工具，使得能夠通過(guò)捕獲置于載片(slide)上的待檢查樣品(或樣本)的圖像并將圖像數(shù)字化而進(jìn)行顯示裝置上的病理診斷的虛擬(virtual)載片系統(tǒng)在近年來(lái)正受到關(guān)注。使用虛擬載片系統(tǒng)的病理診斷圖像的數(shù)字化使得能夠?qū)颖镜某Ｒ?guī)光學(xué)顯微鏡圖像作為數(shù)字?jǐn)?shù)據(jù)來(lái)操縱。因此，該系統(tǒng)有望提供諸如加快遠(yuǎn)程診斷、使用數(shù)字圖像給患者解釋、共享罕見(jiàn)病例、提高教育和實(shí)習(xí)的效率的優(yōu)點(diǎn)。
[0003]為了使得虛擬載片系統(tǒng)的可操作性與光學(xué)顯微鏡的基本上相同，必須將載片中的樣本的圖像全體數(shù)字化。樣本圖像的全體數(shù)字化使得能夠通過(guò)在個(gè)人計(jì)算機(jī)或工作站上運(yùn)行的觀察器軟件實(shí)現(xiàn)由虛擬載片系統(tǒng)產(chǎn)生的數(shù)字?jǐn)?shù)據(jù)的可視化。樣本的全體數(shù)字化圖像的像素的數(shù)量通常為幾億或幾十億，從而導(dǎo)致非常巨大的數(shù)據(jù)量。由虛擬載片系統(tǒng)產(chǎn)生的數(shù)據(jù)量的該非常巨大性使得能夠利用觀察器軟件進(jìn)行的放大和縮小來(lái)實(shí)現(xiàn)從(細(xì)節(jié)放大圖像的)微觀觀察到(整體圖像的)宏觀觀察的范圍內(nèi)的各種觀察，從而提供各種便利性。如果事先已獲得所需要的所有信息，那么可立即以用戶(hù)希望的任何分辨率和任何倍率(即，作為從低倍率圖像到高倍率圖像的范圍內(nèi)的圖像)顯示圖像。
[0004]已開(kāi)發(fā)了如下的圖像處理裝置:其在獲得醫(yī)學(xué)圖像(通過(guò)超聲成像被成像)時(shí)對(duì)該醫(yī)學(xué)圖像附加注釋(annotation),并使用注釋中的評(píng)論(comment)作為搜索關(guān)鍵字(key)來(lái)搜索該醫(yī)學(xué)圖像(專(zhuān)利文獻(xiàn)I)。
[0005]已開(kāi)發(fā)了如下的信息處理裝置:其中，向電子文檔附加注釋時(shí)的顯示倍率和顯示位置被保持，并且基于由此保持的顯示倍率和顯示位置在畫(huà)面(screen)上顯示該電子文檔(專(zhuān)利文獻(xiàn)2)。
[0006]引文列表
[0007]專(zhuān)利文獻(xiàn)
[0008]PTLl:日本專(zhuān)利申請(qǐng)公開(kāi)N0.11-353327
[0009]PTL2:日本專(zhuān)利申請(qǐng)公開(kāi)2010-61311

【發(fā)明內(nèi)容】

[0010]技術(shù)問(wèn)題
[0011]在向虛擬載片圖像附加了注釋的情況下，用戶(hù)難以知曉附加注釋時(shí)的虛擬載片圖像的倍率(即，虛擬載片圖像的向其附加注釋時(shí)的倍率)。換句話(huà)說(shuō)，用戶(hù)難以知曉他/她正觀察的圖像的倍率與圖像的向其附加注釋時(shí)的倍率之間的差異。并且，在附加時(shí)的倍率在多個(gè)注釋之間變動(dòng)的情況下，用戶(hù)難以知曉附加各注釋時(shí)的倍率與他/她觀察的圖像的倍率之間的差異。[0012]當(dāng)虛擬載片圖像是深度圖像(z疊層(stack)圖像)時(shí)也是這種情況，即用戶(hù)難以知曉附加注釋時(shí)的虛擬載片圖像的焦點(diǎn)位置(z位置)(即，虛擬載片圖像的向其附加注釋時(shí)的焦點(diǎn)位置)。換句話(huà)說(shuō)，用戶(hù)難以知曉他/她觀察的圖像的焦點(diǎn)位置與向圖像附加注釋時(shí)的焦點(diǎn)位置之間的差異。并且，在附加時(shí)的焦點(diǎn)位置在多個(gè)注釋之間變動(dòng)的情況下，用戶(hù)難以知曉附加各注釋時(shí)的焦點(diǎn)位置與他/她觀察的圖像的焦點(diǎn)位置之間的差異。
[0013]鑒于以上的情形，本發(fā)明的目的是:使得用戶(hù)能夠在顯示注釋時(shí)容易地知曉附加注釋時(shí)的虛擬載片圖像的倍率和/或焦點(diǎn)位置。
[0014]問(wèn)題的解決方案
[0015]根據(jù)本發(fā)明的一個(gè)方面，提供一種圖像處理裝置，該圖像處理裝置包括:
[0016]獲得單元，被配置為獲得被檢體的圖像的數(shù)據(jù)和附加到圖像的多個(gè)注釋的數(shù)據(jù)；
[0017]輸入單元，被配置為接收用于放大或縮小圖像的顯示倍率的指定；以及
[0018]產(chǎn)生單元，被配置為產(chǎn)生以被重疊于以指定顯示倍率放大的圖像上的方式顯示注釋的顯示數(shù)據(jù)，
[0019]其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中的位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的顯示倍率的信息，以及
[0020]產(chǎn)生單元產(chǎn)生使得注釋的顯示模式在其附加時(shí)的圖像的顯示倍率不同的注釋之間不同的顯示數(shù)據(jù)。
[0021]根據(jù)本發(fā)明的另一方面，提供一種圖像處理裝置，該圖像處理裝置包括:
[0022]獲得單元，被配置為獲得被檢體的圖像的數(shù)據(jù)和附加至圖像的多個(gè)注釋的數(shù)據(jù)，所述被檢體的圖像的數(shù)據(jù)包含通過(guò)在相對(duì)于光軸方向的不同焦點(diǎn)位置處將被檢體成像所獲得的多個(gè)深度圖像的數(shù)據(jù)；
[0023]輸入單元，被配置為接收焦點(diǎn)位置的指定；以及
[0024]產(chǎn)生單元，被配置為產(chǎn)生以被重疊于指定焦點(diǎn)位置的深度圖像上的方式顯示注釋的顯示數(shù)據(jù)，
[0025]其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中的位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的焦點(diǎn)位置的信息，以及
[0026]產(chǎn)生單元產(chǎn)生使得注釋的顯示模式在其附加時(shí)的圖像的焦點(diǎn)位置不同的注釋之間不同的顯示數(shù)據(jù)。
[0027]根據(jù)本發(fā)明的又一方面，提供一種圖像處理裝置的控制方法，該控制方法包括:
[0028]獲得步驟，獲得被檢體的圖像的數(shù)據(jù)和附加到圖像的多個(gè)注釋的數(shù)據(jù)；
[0029]輸入步驟，接收用于放大或縮小圖像的顯示倍率的指定；以及
[0030]產(chǎn)生步驟，產(chǎn)生以被重疊于以指定顯示倍率放大的圖像上的方式顯示注釋的顯示數(shù)據(jù)，
[0031]其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中的位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的顯示倍率的信息，以及
[0032]在產(chǎn)生步驟中，執(zhí)行使得注釋的顯示模式在其附加時(shí)的圖像的顯示倍率不同的注釋之間不同的顯示數(shù)據(jù)的產(chǎn)生。
[0033]根據(jù)本發(fā)明的再一方面，提供一種圖像處理裝置的控制方法，該控制方法包括:
[0034]獲得步驟，獲得被檢體的圖像的數(shù)據(jù)和附加至圖像的多個(gè)注釋的數(shù)據(jù)，所述被檢體的圖像的數(shù)據(jù)包含通過(guò)在相對(duì)于光軸方向的不同焦點(diǎn)位置處將被檢體成像所獲得的多個(gè)深度圖像的數(shù)據(jù)；
[0035]輸入步驟，接收焦點(diǎn)位置的指定；
[0036]產(chǎn)生步驟，產(chǎn)生以被重疊于指定焦點(diǎn)位置的深度圖像上的方式顯示注釋的顯示數(shù)據(jù)，
[0037]其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中的位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的焦點(diǎn)位置的信息，以及
[0038]在產(chǎn)生步驟中，執(zhí)行使得注釋的顯示模式在其附加時(shí)的圖像的焦點(diǎn)位置不同的注釋之間不同的顯示數(shù)據(jù)的產(chǎn)生。
[0039]發(fā)明的有利效果
[0040]根據(jù)本發(fā)明，當(dāng)顯示注釋時(shí)，用戶(hù)能夠易于知曉附加注釋時(shí)的虛擬載片圖像的倍率和/或焦點(diǎn)位置。
[0041]從參照附圖對(duì)示例性實(shí)施例的以下描述，本發(fā)明的進(jìn)一步的特征將變得明顯。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0042]圖1是示出根據(jù)實(shí)施例的圖像處理系統(tǒng)中的裝置的配置的總體圖。
[0043]圖2是根據(jù)實(shí)施例的圖像處理系統(tǒng)中的成像裝置的功能框圖。
[0044]圖3是根據(jù)實(shí)施例的圖像處理裝置的功能框圖。
[0045]圖4是示出根據(jù)實(shí)施例的圖像處理裝置的硬件配置的示圖。
[0046]圖5是示出分別對(duì)不同倍率事先準(zhǔn)備的圖像層的概念的示圖。
[0047]圖6是附加和呈現(xiàn)(presenting)注釋的處理的流程圖。
[0048]圖7是附加注釋的處理的詳細(xì)流程圖。
[0049]圖8是呈現(xiàn)注釋的處理的詳細(xì)流程圖。
[0050]圖9A至9F示出根據(jù)本發(fā)明的圖像處理系統(tǒng)中的顯示畫(huà)面的例子。
[0051]圖10是示出根據(jù)第二實(shí)施例的圖像處理系統(tǒng)中的裝置的配置的總體圖。
[0052]圖1lA和IlB是示出根據(jù)第二實(shí)施例的分別對(duì)不同焦點(diǎn)位置事先準(zhǔn)備的深度圖像的概念的示圖。
[0053]圖12是第二實(shí)施例中的附加注釋的處理的流程圖。
[0054]圖13是第二實(shí)施例中的呈現(xiàn)注釋的處理的流程圖。
[0055]圖14是根據(jù)第三實(shí)施例的控制注釋數(shù)據(jù)的顯示的處理的流程圖。
[0056]圖15是根據(jù)第四實(shí)施例的控制注釋數(shù)據(jù)的顯示的處理的流程圖。
[0057]圖16A至16C是示出第三和第四實(shí)施例中的深度圖像數(shù)據(jù)的例子的一維示意圖。
【具體實(shí)施方式】
[0058]以下，將參照附圖描述本發(fā)明的實(shí)施例。
[0059](第一實(shí)施例)
[0060]根據(jù)本發(fā)明的圖像處理裝置可被用于包含成像裝置和顯示裝置的圖像處理系統(tǒng)中。將參照?qǐng)D1描述這種圖像處理系統(tǒng)。
[0061](圖像處理系統(tǒng)的配置)[0062]圖1示出根據(jù)本發(fā)明的使用圖像處理裝置的圖像處理系統(tǒng)。圖像處理系統(tǒng)包括成像裝置(顯微鏡裝置或虛擬載片掃描儀)101、圖像處理裝置102和顯示裝置103。圖像處理系統(tǒng)具有捕獲作為成像對(duì)象的樣本(待檢查樣品或者被檢體)的二維圖像的功能和顯示該二維圖像的功能。成像裝置101和圖像處理裝置102通過(guò)專(zhuān)用或通用I/F線(xiàn)纜104連接，并且圖像處理裝置102和顯示裝置103通過(guò)通用I/F線(xiàn)纜105連接。
[0063]成像裝置101可以是虛擬載片裝置，其具有捕獲在關(guān)于二維平面中的方向的位置方面以及在關(guān)于與二維平面垂直的深度方向的位置方面相互不同的多個(gè)二維圖像的功能、以及輸出數(shù)字圖像的功能。諸如CCD(電荷耦合器件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)的固態(tài)成像元件被用于捕獲二維圖像。作為虛擬載片裝置的替代，成像裝置101可包含由通常的光學(xué)顯微鏡和附接于數(shù)字照相機(jī)的目鏡部的數(shù)字照相機(jī)組成的數(shù)字顯微鏡裝置。
[0064]圖像處理裝置102是具有響應(yīng)于用戶(hù)的請(qǐng)求從由成像裝置101獲得的多個(gè)捕獲圖像的數(shù)據(jù)產(chǎn)生用于在顯示裝置103上顯示的顯示數(shù)據(jù)的功能的裝置。成像裝置102是具有包括CPU (中央處理單元)、RAM、存儲(chǔ)器件和含操作單元的各種接口(I/F)的硬件資源的通用計(jì)算機(jī)或工作站。存儲(chǔ)器件是諸如硬盤(pán)驅(qū)動(dòng)器的大容量信息存儲(chǔ)器，在其中存儲(chǔ)用于實(shí)現(xiàn)后面描述的各種處理的程序和數(shù)據(jù)、以及操作系統(tǒng)(OS)。通過(guò)將必要的程序和數(shù)據(jù)從存儲(chǔ)器件加載到RAM并執(zhí)行該程序，在CPU中實(shí)現(xiàn)上述的功能。操作單元包含由操作員使用以鍵入各種命令的鍵盤(pán)106和鼠標(biāo)107。
[0065]顯示裝置103是諸如CRT或液晶顯示器的顯示器，在其上將圖像處理裝置102的處理結(jié)果顯示為待觀察圖像。
[0066]雖然在圖1所示的例示情況下圖像處理系統(tǒng)由包括成像裝置101、圖像處理裝置102和顯示裝置103的三個(gè)裝置組成，但根據(jù)本發(fā)明的系統(tǒng)的配置不限于此。例如，可以使用與顯示裝置一體化的圖像處理裝置，或者圖像處理裝置的功能可被并入在成像裝置中。作為替代方案，可在一個(gè)裝置中實(shí)現(xiàn)成像裝置、圖像處理裝置和顯示裝置的功能。相反，圖像處理裝置或其它裝置的功能可分布至多個(gè)裝置。
[0067](成像裝置的功能配置)
[0068]圖2是示出成像裝置101的功能配置的框圖。
[0069]成像裝置101基本上包含照明單元201、臺(tái)架(stage) 202、臺(tái)架控制單元205、成像光學(xué)系統(tǒng)207、成像單元210、顯影(developing)單元219、初步測(cè)量單元220、主控制系統(tǒng)221和數(shù)據(jù)輸出單元222。
[0070]照明單元201是用光均勻地照射被設(shè)置于臺(tái)架202上的載片206的單元。照明單元201包含光源、照明光學(xué)系統(tǒng)、以及用于驅(qū)動(dòng)光源的控制系統(tǒng)。臺(tái)架202在控制單元205的控制下被驅(qū)動(dòng)，以能夠沿三個(gè)軸方向或者X軸、Y軸和Z軸方向偏移。載片206是通過(guò)將作為待觀察對(duì)象的組織的薄切片或細(xì)胞涂片附在載片玻璃上并用安裝劑將其固定在蓋玻璃下所制成的部材。
[0071]臺(tái)架控制單元205包含驅(qū)動(dòng)控制系統(tǒng)203和臺(tái)架驅(qū)動(dòng)機(jī)構(gòu)204。驅(qū)動(dòng)控制系統(tǒng)203從主控制系統(tǒng)221接收指令以執(zhí)行對(duì)于臺(tái)架202的驅(qū)動(dòng)控制。臺(tái)架202的偏移方向和偏移量基于通過(guò)初步測(cè)量單元220的測(cè)量所獲得的樣本的位置信息和厚度信息(或距離信息)以及在必要時(shí)基于用戶(hù)輸入的命令被確定。臺(tái)架驅(qū)動(dòng)機(jī)構(gòu)204根據(jù)來(lái)自驅(qū)動(dòng)控制系統(tǒng)203的指令來(lái)驅(qū)動(dòng)臺(tái)架202。[0072]成像光學(xué)系統(tǒng)207是用于在成像傳感器208上形成載片206中的樣本的光學(xué)圖像的透鏡單元。
[0073]成像單元210包含成像傳感器208和模擬前端(AFE) 209。成像傳感器208是通過(guò)光電轉(zhuǎn)換將二維光學(xué)圖像轉(zhuǎn)換成物理量(即，電氣量)的一維或二維圖像傳感器208，諸如CXD或CMOS器件。在成像傳感器208是一維傳感器的情況下，通過(guò)沿掃描方向掃描獲得二維圖像。成像傳感器208輸出具有與光強(qiáng)度相關(guān)的電壓值的電信號(hào)。在需要捕獲彩色圖像的情況下，例如可以使用被附接有具有拜耳(Bayer)布置的濾色器的單個(gè)圖像傳感器。在成像單元210中，臺(tái)架202沿X軸方向和Y軸方向被驅(qū)動(dòng)以捕獲樣本的分割圖像。
[0074]AFE209是將從成像傳感器208輸出的模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的電路。AFE209包含后面描述的Η/V驅(qū)動(dòng)器、CDS (相關(guān)雙采樣)、放大器、AD轉(zhuǎn)換器和定時(shí)產(chǎn)生器。Η/V驅(qū)動(dòng)器將用于驅(qū)動(dòng)成像傳感器208的垂直同步信號(hào)和水平同步信號(hào)轉(zhuǎn)換成驅(qū)動(dòng)傳感器所需要的電壓。CDS是用于去除固定模式噪聲的相關(guān)雙采樣電路。放大器是調(diào)整已通過(guò)CDS從其去除噪聲的模擬信號(hào)的增益的模擬放大器。AD轉(zhuǎn)換器將模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。在成像裝置的最終級(jí)的輸出分辨率是8位的情況下，AD轉(zhuǎn)換器考慮后級(jí)中的處理將模擬信號(hào)轉(zhuǎn)換成一般以10至16位進(jìn)行量化(quantized)的數(shù)字?jǐn)?shù)據(jù)并且輸出它。轉(zhuǎn)換之后的傳感器輸出數(shù)據(jù)被稱(chēng)為RAW數(shù)據(jù)。RAW數(shù)據(jù)后來(lái)在顯影單元219中被顯影。定時(shí)產(chǎn)生器產(chǎn)生用于調(diào)整成像傳感器208的定時(shí)和后級(jí)中的顯影單元219的定時(shí)的信號(hào)。
[0075]雖然在CXD被用作成像傳感器208的情況下上述的AFE209是必需的，但在使用能夠輸出數(shù)字信號(hào)的CMOS圖像傳感器的情況下，上述的AFE209的功能被并入在傳感器中。雖然圖中沒(méi)有示出，但還提供了控制成像傳感器208的成像控制器。成像控制器控制成像傳感器208的操作和操作定時(shí)。成像控制器控制例如快門(mén)速度、幀速率和ROI (關(guān)注區(qū)域)
坐寸ο
[0076]顯影單元219包含黑校正單元211、白平衡調(diào)整單元212、去馬賽克(demosaicing)單元213、圖像合成(composition)單元214、分辨率轉(zhuǎn)換單元215、過(guò)濾單元216、伽馬校正單元217和壓縮單元218。黑校正單元211對(duì)于各像素執(zhí)行從RAW數(shù)據(jù)減去在遮蔽狀態(tài)中獲得的黑校正數(shù)據(jù)的處理。白平衡調(diào)整單元212執(zhí)行根據(jù)來(lái)自照明單元201的光的色溫調(diào)整紅色、綠色和藍(lán)色的各個(gè)顏色的增益以再現(xiàn)希望的白色的處理。具體而言，白平衡校正數(shù)據(jù)被相加到黑校正之后的RAW數(shù)據(jù)。在處理單色圖像的情況下，不需要白平衡調(diào)整處理。顯影單元219從通過(guò)成像單元210捕獲的樣本的分割圖像數(shù)據(jù)產(chǎn)生將在后面描述的多層圖像數(shù)據(jù)。
[0077]去馬賽克單元213執(zhí)行從拜耳布置的RAW數(shù)據(jù)產(chǎn)生紅色、綠色和藍(lán)色的各個(gè)顏色的圖像數(shù)據(jù)的處理。去馬賽克單元213通過(guò)使用RAW數(shù)據(jù)中的目標(biāo)像素附近的像素(包含相同顏色的像素和不同顏色的像素)中的值執(zhí)行插值(interpolation)來(lái)計(jì)算目標(biāo)像素中的紅色、綠色和藍(lán)色的各個(gè)值。去馬賽克單元213還對(duì)有缺陷的像素執(zhí)行校正處理(或插值)。在成像傳感器208不具有濾色器并捕獲單色圖像的情況下，不需要去馬賽克處理。
[0078]圖像合成單元214執(zhí)行將在分割的成像區(qū)域中通過(guò)成像傳感器208獲得的圖像數(shù)據(jù)拼接或接合在一起以產(chǎn)生代表希望的成像區(qū)域的大尺寸圖像數(shù)據(jù)的處理。由于樣本在其之上擴(kuò)展的區(qū)域一般比現(xiàn)有圖像傳感器在其之上可通過(guò)一次圖像捕獲而捕獲圖像的區(qū)域大，因此通過(guò)將分割的圖像數(shù)據(jù)項(xiàng)(Piece)拼接在一起來(lái)產(chǎn)生一項(xiàng)二維圖像數(shù)據(jù)。例如，如果要以0.25 μ m的分辨率將載片206上的IOmmX IOmm的正方形區(qū)域成像，那么沿一個(gè)邊的像素的數(shù)量為lOmm/U 25μπι = 40000,由此像素的總數(shù)為40 0 002 = 160 0 0 0 0 0 00。為了使用具有ΙΟΜ(ΙΟΟΟΟΟΟΟ)像素的成像傳感器208獲得1600000000像素的圖像數(shù)據(jù)，必須將區(qū)域分割成160個(gè)分割區(qū)域并在各個(gè)分割區(qū)域中捕獲圖像。示例性的拼接多項(xiàng)圖像數(shù)據(jù)的方法包括:基于關(guān)于臺(tái)架202的位置的信息通過(guò)位置對(duì)準(zhǔn)進(jìn)行拼接、在使多個(gè)分割圖像中的相應(yīng)的點(diǎn)或線(xiàn)相關(guān)聯(lián)的同時(shí)進(jìn)行拼接、以及基于分割圖像數(shù)據(jù)的位置信息進(jìn)行拼接。在拼接時(shí)使用諸如O次插值、線(xiàn)性插值或高次插值的插值處理可使得插值更平滑。在本實(shí)施例中，假定產(chǎn)生大數(shù)據(jù)量的單個(gè)圖像。但是，圖像處理裝置102可具有在產(chǎn)生用于顯示的數(shù)據(jù)時(shí)拼接分割地獲得的圖像的功能。
[0079]分辨率轉(zhuǎn)換單元215執(zhí)行事先通過(guò)分辨率轉(zhuǎn)換來(lái)產(chǎn)生具有適合于圖像顯示倍率的倍率的圖像、使得能夠以高速顯示由圖像合成單元214產(chǎn)生的大數(shù)據(jù)量的二維圖像的處理。分辨率轉(zhuǎn)換單元215產(chǎn)生從低倍率到高倍率的范圍內(nèi)的多個(gè)倍率的圖像的數(shù)據(jù)，并構(gòu)成具有其中組裝(pack)多個(gè)倍率的圖像數(shù)據(jù)的多層結(jié)構(gòu)的圖像數(shù)據(jù)。
[0080]過(guò)濾單元216是減少包含于圖像中的高頻成分從而去除噪聲并增加表觀銳度(apparent sharpness)的數(shù)字濾波器。伽馬校正單元217執(zhí)行考慮到普通顯示器件的色調(diào)再現(xiàn)特性而給圖像賦予逆特性的處理，并通過(guò)高明亮度(luminance)范圍中的色調(diào)壓縮和/或低亮度(brightness)部分中的圖像處理執(zhí)行適于人的視力特性的色調(diào)轉(zhuǎn)換。在本實(shí)施例中，為了產(chǎn)生用于形態(tài)觀察的圖像，給圖像數(shù)據(jù)施加適合于后級(jí)中的合成處理和顯示處理的色調(diào)轉(zhuǎn)換。
[0081]為了提高大尺寸二維圖像數(shù)據(jù)的傳送效率并減少用于存儲(chǔ)的數(shù)據(jù)量，壓縮單元218執(zhí)行壓縮編碼。作為用于靜止圖像的壓縮方法，諸如JPEG(聯(lián)合攝影專(zhuān)家組)以及通過(guò)改進(jìn)或增進(jìn)JPEG而開(kāi)發(fā)的JPEG2000和JPEG XR的標(biāo)準(zhǔn)化編碼系統(tǒng)是廣泛地知曉的。
[0082]初步測(cè)量單元220是為了通過(guò)計(jì)算獲得關(guān)于載片206上的樣本的位置的信息、關(guān)于到希望的焦點(diǎn)位置的距離的信息、以及與樣本厚度相關(guān)聯(lián)的用于光量調(diào)整的參數(shù)而執(zhí)行初步測(cè)量的單元。通過(guò)由初步測(cè)量單元220在圖像捕獲之前獲得信息，可有效地執(zhí)行圖像捕獲。分辨能力比成像傳感器208低的二維成像傳感器被用于獲得二維平面中的位置信息。初步測(cè)量單元220從捕獲的圖像確定樣本在X-Y平面上的位置。并且，使用激光位移計(jì)或沙克-哈特曼(Shack-Hartmann)傳感器來(lái)獲得距離信息和厚度信息。
[0083]主控制系統(tǒng)221具有控制在前面描述的單元的功能。在具有CPU、R0M和RAM的控制電路中實(shí)現(xiàn)主控制系統(tǒng)221和顯影單元219的控制功能。具體而言，程序和數(shù)據(jù)被存儲(chǔ)于ROM中，并且通過(guò)在使用RAM作為工作存儲(chǔ)器的同時(shí)執(zhí)行程序的CPU來(lái)實(shí)施主控制系統(tǒng)221和顯影單元219的功能。作為R0M，使用諸如EEPROM或閃存的器件。作為RAM，例如使用DDR3DRAM器件。作為替代方案，可在作為專(zhuān)用硬件器件的ASIC(應(yīng)用特定集成電路)中實(shí)現(xiàn)顯影單元219的功能。
[0084]數(shù)據(jù)輸出單元222是用于將由顯影單元219產(chǎn)生的RGB彩色圖像傳送到圖像處理裝置102的接口。成像裝置101和圖像處理裝置102通過(guò)光學(xué)通信線(xiàn)纜被連接。作為替代方案，使用諸如USB或Gigabit Ethernet (注冊(cè)商標(biāo))的通用接口。
[0085](圖像處理裝置的功能配置)
[0086]圖3是示出根據(jù)本發(fā)明的圖像處理裝置102的功能配置的框圖。[0087]圖像處理裝置102基本上包含圖像數(shù)據(jù)獲得單元301、存儲(chǔ)器302、用戶(hù)輸入信息獲得單元303、顯示裝置信息獲得單元304、鏈接(link)信息產(chǎn)生單元305、鏈接信息表306、顯示數(shù)據(jù)產(chǎn)生控制單元307、注釋數(shù)據(jù)產(chǎn)生單元308、圖像數(shù)據(jù)層取得(retrieving)單元309、顯示數(shù)據(jù)產(chǎn)生單元310和顯示數(shù)據(jù)輸出單元311。
[0088]圖像數(shù)據(jù)獲得單元301獲得由成像裝置101捕獲的圖像數(shù)據(jù)。
[0089]從外部裝置獲得的圖像數(shù)據(jù)通過(guò)圖像數(shù)據(jù)獲得單元301被發(fā)送到存儲(chǔ)器302并存儲(chǔ)于存儲(chǔ)器302中。存儲(chǔ)于存儲(chǔ)器302中的圖像數(shù)據(jù)可以是通過(guò)接合由樣本的分割成像所獲得的RGB顏色分割圖像數(shù)據(jù)而獲得的單個(gè)二維圖像數(shù)據(jù)。作為替代方案，存儲(chǔ)于存儲(chǔ)器302中的圖像數(shù)據(jù)可以是具有不同倍率的多個(gè)圖像的數(shù)據(jù)(多層圖像數(shù)據(jù))或由具有不同焦點(diǎn)位置的多個(gè)圖像的數(shù)據(jù)組成的多層圖像數(shù)據(jù)。
[0090]用戶(hù)輸入信息獲得單元303獲得由用戶(hù)通過(guò)諸如鼠標(biāo)或鍵盤(pán)的操作單元輸入的用于改變虛擬載片圖像的顯示狀態(tài)的命令信息和附加注釋信息。用于改變虛擬載片圖像的顯示狀態(tài)的命令的例子包含滾動(dòng)(改變顯示位置)、放大/縮小(改變顯示倍率)和旋轉(zhuǎn)(改變顯示角度)。注釋信息包含關(guān)于由用戶(hù)指定的關(guān)注區(qū)域(或注目區(qū)域)的信息和評(píng)論(或注釋)信息。
[0091]顯示裝置信息獲得單元304獲得關(guān)于顯示區(qū)域的尺寸(諸如畫(huà)面分辨率和像素?cái)?shù))的信息和關(guān)于當(dāng)前從顯示裝置103顯示的虛擬載片圖像的倍率的信息。
[0092]鏈接信息產(chǎn)生單元305基于通過(guò)用戶(hù)輸入信息獲得單元303獲得的注釋的位置信息和通過(guò)顯示裝置信息獲得單元304獲得的附加注釋時(shí)的虛擬載片圖像的顯示倍率來(lái)產(chǎn)生鏈接信息。鏈接信息是將代表與由注釋的位置信息所代表的位置對(duì)應(yīng)的圖像數(shù)據(jù)中包含的各個(gè)圖像數(shù)據(jù)層中的位置的轉(zhuǎn)換位置信息與各個(gè)圖像數(shù)據(jù)層的倍率相關(guān)聯(lián)的信息。鏈接信息是對(duì)附加于圖像數(shù)據(jù)的注釋中的每一個(gè)產(chǎn)生的。將在后面參照?qǐng)D6具體描述該處理。
[0093]鏈接信息表306是存儲(chǔ)由鏈接信息產(chǎn)生單元305產(chǎn)生的鏈接信息的表。
[0094]顯示數(shù)據(jù)產(chǎn)生控制單元307根據(jù)來(lái)自用戶(hù)輸入信息獲得單元303的指令，基于由用戶(hù)輸入的用于改變虛擬載片圖像的顯示狀態(tài)的命令和注釋信息，來(lái)控制顯示數(shù)據(jù)的產(chǎn)生。顯示數(shù)據(jù)主要由虛擬載片圖像數(shù)據(jù)和注釋顯示數(shù)據(jù)組成。顯示數(shù)據(jù)產(chǎn)生控制單元307指示圖像數(shù)據(jù)層取得單元309產(chǎn)生虛擬載片圖像數(shù)據(jù)，并指示注釋數(shù)據(jù)產(chǎn)生單元308產(chǎn)生注釋顯示數(shù)據(jù)。
[0095]注釋數(shù)據(jù)產(chǎn)生單元308在顯示數(shù)據(jù)產(chǎn)生控制單元307的控制下，基于注釋信息產(chǎn)生注釋顯示數(shù)據(jù)。
[0096]圖像數(shù)據(jù)層取得單元309在顯示數(shù)據(jù)產(chǎn)生控制單元307的控制下，從存儲(chǔ)器302取得顯示虛擬載片圖像所需要的圖像數(shù)據(jù)層。
[0097]顯示數(shù)據(jù)產(chǎn)生單元310從由注釋數(shù)據(jù)產(chǎn)生單元308產(chǎn)生的注釋顯示數(shù)據(jù)和由圖像數(shù)據(jù)層取得單元309取得的圖像數(shù)據(jù)層產(chǎn)生要在顯示裝置103上顯示的顯示數(shù)據(jù)。顯示數(shù)據(jù)產(chǎn)生單元310根據(jù)由用戶(hù)輸入的用于改變顯示狀態(tài)的命令，從多層圖像數(shù)據(jù)產(chǎn)生虛擬載片圖像，并在其上重疊注釋顯示數(shù)據(jù)以產(chǎn)生顯示數(shù)據(jù)。
[0098]顯示數(shù)據(jù)輸出單元311將由顯示數(shù)據(jù)產(chǎn)生單元310產(chǎn)生的顯示數(shù)據(jù)輸出到外部顯示裝置103。
[0099](圖像形成裝置的硬件配置)[0100]圖4是示出根據(jù)實(shí)施例的圖像處理裝置的硬件配置的框圖。例如，個(gè)人計(jì)算機(jī)(PC)被用作圖像處理裝置。
[0101]圖像處理裝置具有CPU(中央處理單元)401、RAM(隨機(jī)存取存儲(chǔ)器)402、存儲(chǔ)器件403、數(shù)據(jù)輸入/輸出接口(I/F) 405、以及互連這些塊的內(nèi)部總線(xiàn)404。
[0102]CPU401在必要時(shí)訪(fǎng)問(wèn)RAM402等，并在執(zhí)行各種計(jì)算處理的同時(shí)執(zhí)行個(gè)人計(jì)算機(jī)中的所有塊的總體控制。RAM402被用作CPU401的工作空間，并暫時(shí)存儲(chǔ)OS、執(zhí)行中的程序、以及被施加作為本發(fā)明特征的顯示數(shù)據(jù)產(chǎn)生處理等的各種數(shù)據(jù)。存儲(chǔ)器件403是可在其中存儲(chǔ)信息/從其讀出信息的輔助存儲(chǔ)器件。要被CPU401執(zhí)行的OS、程序、以及包含各種參數(shù)的固件被固定并存儲(chǔ)于存儲(chǔ)器件403中。諸如硬盤(pán)驅(qū)動(dòng)器(HDD)或固態(tài)盤(pán)(SDD)的磁盤(pán)或者使用閃存的半導(dǎo)體器件被用作存儲(chǔ)器件403。
[0103]圖像服務(wù)器1101經(jīng)由LAN接口 406與數(shù)據(jù)輸入/輸出接口 405連接，顯示裝置103經(jīng)由圖形板407與數(shù)據(jù)輸入/輸出接口 405連接，并且成像裝置101經(jīng)由外部裝置接口408與數(shù)據(jù)輸入/輸出接口 405連接。成像裝置101是虛擬載片裝置或數(shù)字顯微鏡。鍵盤(pán)410和鼠標(biāo)411經(jīng)由操作接口 409與數(shù)據(jù)輸入/輸出接口 405連接。
[0104]顯示裝置103是使用例如液晶、電致發(fā)光(EL)或陰極射線(xiàn)管(CRT)的顯示器件。雖然在本例示實(shí)施例中顯示裝置103作為外部裝置與圖像處理裝置連接，但是，如筆記本PC的情況那樣，根據(jù)本發(fā)明的圖像處理裝置可與顯示裝置一體化。
[0105]雖然作為例子鍵盤(pán)410和鼠標(biāo)411被稱(chēng)為與操作接口 409連接的器件，但諸如觸摸面板的其它輸入器件可與其連接。在觸摸面板被用作輸入器件的情況下，與圖形板407連接的顯示裝置103和與操作接口 409連接的輸入器件被集成于一個(gè)裝置中。
[0106](為多個(gè)倍率準(zhǔn)備的多層圖像的概念)
[0107]圖5示意性地示出由具有不同倍率的多個(gè)圖像數(shù)據(jù)層構(gòu)成的圖像數(shù)據(jù)的概念。這里，將描述圖2所示的成像裝置101的分辨率轉(zhuǎn)換單元215產(chǎn)生的多層圖像數(shù)據(jù)。
[0108]圖像數(shù)據(jù)層501、502、503和504是為相應(yīng)的顯示倍率準(zhǔn)備的分別具有逐漸不同的分辨率的二維圖像數(shù)據(jù)。在這里描述的例示情況中，假定沿具有不同倍率的圖像數(shù)據(jù)層的一維方向的分辨率(像素?cái)?shù))之間的關(guān)系如下:圖像層503的分辨率等于圖像層504的分辨率的一半；圖像層502的分辨率等于圖像層503的分辨率的一半；并且圖像層501的分辨率等于圖像層502的分辨率的一半。準(zhǔn)備的圖像數(shù)據(jù)層的倍率不限于圖5所示的例示情況中的那些，而可被任意地設(shè)置。
[0109]通過(guò)成像裝置101獲得的捕獲圖像數(shù)據(jù)是具有幾十億像素的高分辨率圖像數(shù)據(jù)。如果每次提出用于改變虛擬載片圖像的顯示倍率的請(qǐng)求時(shí)執(zhí)行用于放大或縮小的分辨率轉(zhuǎn)換處理，那么可存在未及時(shí)完成處理的情況。因此，事先作為多層圖像數(shù)據(jù)從高分辨率捕獲圖像數(shù)據(jù)產(chǎn)生具有不同倍率的多個(gè)圖像的數(shù)據(jù)。由此，當(dāng)提出用于改變顯示倍率的請(qǐng)求時(shí)，從所述多個(gè)圖像數(shù)據(jù)層之中選擇具有接近于請(qǐng)求的顯示倍率的倍率的圖像數(shù)據(jù)層，并且根據(jù)請(qǐng)求的顯示倍率對(duì)選擇的圖像數(shù)據(jù)層執(zhí)行分辨率轉(zhuǎn)換，以產(chǎn)生用于虛擬載片圖像的顯示數(shù)據(jù)。就圖像質(zhì)量而言希望從較高倍率的圖像數(shù)據(jù)產(chǎn)生顯示數(shù)據(jù)。
[0110]通過(guò)利用分辨率轉(zhuǎn)換來(lái)縮小高分辨率捕獲圖像，產(chǎn)生圖像數(shù)據(jù)的層。分辨率轉(zhuǎn)換的方法可以是作為二維線(xiàn)性插值的雙線(xiàn)性的，或者使用三維插值的雙三次的(bicubic)。
[0111]圖像數(shù)據(jù)的各層具有二維軸或X軸和Y軸。在圖5中，被示為垂直于X軸和Y軸取向的軸的P軸代表倍率。
[0112]在圖5中，從多個(gè)分割圖像數(shù)據(jù)或圖像數(shù)據(jù)項(xiàng)505產(chǎn)生圖像數(shù)據(jù)的一個(gè)層502。如前所述，通過(guò)拼接由分割成像獲得的圖像數(shù)據(jù)項(xiàng)產(chǎn)生高分辨率二維圖像數(shù)據(jù)。分割圖像數(shù)據(jù)505是通過(guò)捕獲可由成像傳感器208 —次捕獲的區(qū)域的圖像所獲得的圖像數(shù)據(jù)。分割圖像數(shù)據(jù)505的尺寸不限于此，而是，分割圖像數(shù)據(jù)505可以是通過(guò)任意地分割由捕獲可由成像傳感器208 —次捕獲的區(qū)域的圖像所獲得的圖像數(shù)據(jù)而獲得的圖像數(shù)據(jù)的一部分，或通過(guò)接合任意數(shù)量的各通過(guò)捕獲可由成像傳感器208 —次捕獲的區(qū)域的圖像所獲得的圖像數(shù)據(jù)項(xiàng)而獲得的圖像數(shù)據(jù)。
[0113]如上所述，希望意在通過(guò)放大和縮小以各種顯示倍率觀察的病理診斷用圖像數(shù)據(jù)作為如圖5所示的那樣具有多層結(jié)構(gòu)的圖像數(shù)據(jù)(由具有不同倍率的多個(gè)圖像數(shù)據(jù)層構(gòu)成)被產(chǎn)生及存儲(chǔ)。象這樣的圖像數(shù)據(jù)的形式可以是單個(gè)圖像數(shù)據(jù)，其中集成多層的圖像數(shù)據(jù)以使得圖像數(shù)據(jù)可被作為單個(gè)圖像數(shù)據(jù)而對(duì)待。作為替代方案，可按如下的形式準(zhǔn)備圖像數(shù)據(jù):其中，作為獨(dú)立的圖像數(shù)據(jù)項(xiàng)準(zhǔn)備各層的圖像數(shù)據(jù)，并且規(guī)定圖像數(shù)據(jù)項(xiàng)與顯示倍率之間的關(guān)系的信息可被分離地存儲(chǔ)。在以下的描述中，假定準(zhǔn)備由多層的圖像數(shù)據(jù)構(gòu)成的單個(gè)圖像數(shù)據(jù)。
[0114](附加和呈現(xiàn)注釋的方法)
[0115]將參照?qǐng)D6中的流程圖描述根據(jù)本發(fā)明的圖像處理裝置中的附加和呈現(xiàn)注釋的處理。
[0116]在步驟S601中，顯示裝置信息獲得單元304獲得關(guān)于顯示裝置103的顯示區(qū)域的尺寸(畫(huà)面分辨率和像素?cái)?shù))的信息以及關(guān)于當(dāng)前顯示的虛擬載片圖像的顯示倍率的信息。關(guān)于顯示區(qū)域尺寸的信息被顯示數(shù)據(jù)產(chǎn)生單元310使用以確定要產(chǎn)生的顯示數(shù)據(jù)的尺寸(像素?cái)?shù))。關(guān)于顯示倍率的信息被圖像數(shù)據(jù)層取得單元309使用以從存儲(chǔ)器302選擇圖像數(shù)據(jù)層，并且還被鏈接信息產(chǎn)生單元305使用以產(chǎn)生注釋的鏈接信息。將在后面描述鏈接信息的產(chǎn)生。
[0117]在步驟S602中，圖像數(shù)據(jù)層取得單元309從存儲(chǔ)器302取得與當(dāng)前在顯示裝置103上顯示的虛擬載片圖像的顯示倍率對(duì)應(yīng)的圖像數(shù)據(jù)層?？扇〉门c規(guī)定的倍率對(duì)應(yīng)的圖像數(shù)據(jù)層。
[0118]在步驟S603中，顯示數(shù)據(jù)產(chǎn)生單元310基于由圖像數(shù)據(jù)層取得單元309取得的圖像數(shù)據(jù)層產(chǎn)生要輸出到顯示裝置103的顯示數(shù)據(jù)。如果由用戶(hù)指定的虛擬載片圖像的顯示倍率與取得的圖像數(shù)據(jù)層的倍率不同，那么執(zhí)行分辨率轉(zhuǎn)換處理。由此產(chǎn)生的顯示數(shù)據(jù)被輸出到顯示裝置103，并且基于顯示數(shù)據(jù)在顯示裝置103上顯示圖像。
[0119]在步驟S604中，顯示數(shù)據(jù)產(chǎn)生控制單元307基于從用戶(hù)輸入信息獲得單元303獲得的信息，確定用戶(hù)是否輸入用于改變虛擬載片圖像的顯示狀態(tài)的命令。具體而言，這種命令包含用于偏移顯示位置(滾動(dòng))的命令和用于改變顯示倍率的命令。特別地，用于偏移顯示位置的命令是使得顯示位置偏移之后的虛擬載片圖像的顯示區(qū)域超出(fall out)被當(dāng)前的虛擬載片圖像覆蓋的區(qū)域的命令。如果用于改變顯示狀態(tài)的命令被輸入以要求虛擬載片圖像的更新，那么顯示數(shù)據(jù)產(chǎn)生單元307返回到步驟S602。之后，再次執(zhí)行取得圖像數(shù)據(jù)層的處理以及通過(guò)產(chǎn)生顯示數(shù)據(jù)來(lái)更新虛擬載片圖像的處理。如果未輸入用于改變顯示狀態(tài)的命令，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S605。[0120]在步驟S605中，顯示數(shù)據(jù)產(chǎn)生控制單元307基于通過(guò)用戶(hù)輸入信息獲得單元303獲得的信息，確定用戶(hù)是否輸入用于附加注釋的命令。如果輸入了用于附加注釋的命令，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S606。如果未輸入用于附加注釋的命令，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S607。
[0121]在步驟S606中，執(zhí)行用于向圖像數(shù)據(jù)附加注釋的各種處理。處理包括通過(guò)用戶(hù)輸入信息獲得單元303獲得注釋信息(通過(guò)諸如鍵盤(pán)410的輸入器件所輸入的注釋內(nèi)容和位置信息)、以及通過(guò)鏈接信息產(chǎn)生單元305產(chǎn)生鏈接信息。將在后面參照?qǐng)D7具體描述這種處理。
[0122]在步驟S607中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定是否輸入用于呈現(xiàn)附加注釋的請(qǐng)求。如果輸入了用于呈現(xiàn)注釋的請(qǐng)求，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S608。如果未輸入用于呈現(xiàn)注釋的請(qǐng)求，那么顯示數(shù)據(jù)產(chǎn)生控制單元307返回到步驟S604并再次執(zhí)行上述的處理。雖然出于解釋的原因已按時(shí)間順序描述了處理，但可同時(shí)地或者以與上述次序不同的次序依次地執(zhí)行用于改變顯示位置和/或顯示倍率的請(qǐng)求的接收、注釋的附加和注釋的呈現(xiàn)。
[0123]在步驟S608中，顯示數(shù)據(jù)產(chǎn)生控制單元307響應(yīng)于用于呈現(xiàn)注釋的請(qǐng)求執(zhí)行呈現(xiàn)注釋的處理。將在后面參照?qǐng)D8具體描述該處理。
[0124](注釋的附加)
[0125]圖7是具體描述圖6中的上述步驟S606中的附加注釋處理的流程圖。參照?qǐng)D7，將描述基于附加注釋的位置信息與附加注釋時(shí)的虛擬載片圖像的顯示倍率產(chǎn)生鏈接信息的處理。
[0126]在步驟S701中，顯示數(shù)據(jù)產(chǎn)生控制單元307獲得附加注釋的位置信息。顯示數(shù)據(jù)產(chǎn)生控制單元307執(zhí)行將當(dāng)前顯示的虛擬載片圖像中的注釋的相對(duì)位置轉(zhuǎn)換成圖像數(shù)據(jù)的整個(gè)區(qū)域中的位置的處理，由此獲得注釋的絕對(duì)位置信息(坐標(biāo))。
[0127]在步驟S702中，顯示數(shù)據(jù)產(chǎn)生控制單元307獲得通過(guò)鍵盤(pán)410或其它器件輸入的注釋的內(nèi)容信息。當(dāng)呈現(xiàn)注釋時(shí)，使用由此獲得的注釋內(nèi)容信息。
[0128]在步驟S703中，顯示數(shù)據(jù)產(chǎn)生控制單元307獲得關(guān)于在顯示裝置103上顯示的虛擬載片圖像的顯示倍率的信息。該顯示倍率是附加注釋時(shí)的顯示倍率。在本實(shí)施例中描述的例示情況中，顯示數(shù)據(jù)產(chǎn)生控制單元307從顯示裝置103獲得顯示倍率信息。但是，由于通過(guò)圖像處理裝置102產(chǎn)生顯示數(shù)據(jù)，因此圖像處理裝置102可被配置為獲得關(guān)于存儲(chǔ)于其中的顯示倍率的信息。
[0129]在步驟S704中，鏈接信息產(chǎn)生單元305基于步驟S701中獲得的注釋的位置信息和步驟S703中獲得的關(guān)于附加注釋時(shí)的顯示倍率的信息來(lái)產(chǎn)生鏈接信息。由于可通過(guò)參照鏈接信息確定倍率與附加注釋時(shí)的倍率不同的圖像數(shù)據(jù)層中的注釋的位置(坐標(biāo))，因此可對(duì)任何圖像數(shù)據(jù)層利用在步驟S701中附加的注釋信息。例如，考慮注釋被附加在具有20X的顯示倍率的虛擬載片圖像中的坐標(biāo)(100，100)的位置處的示例性情況。坐標(biāo)(100，100)的位置處于沿X軸和Y軸距虛擬載片圖像的整個(gè)區(qū)域的原點(diǎn)(0，0)具有100個(gè)像素的距離(以像素?cái)?shù)計(jì))的點(diǎn)處。該注釋位置在具有40X的顯示倍率的高倍率圖像中通過(guò)坐標(biāo)Pl (200，200)來(lái)表達(dá)，并在具有IOX的顯示倍率的低倍率圖像中通過(guò)坐標(biāo)P2 (50，50)來(lái)表達(dá)。具有一定的顯示倍率的圖像數(shù)據(jù)層中的注釋的位置的坐標(biāo)是通過(guò)將步驟S701中獲得的附加注釋時(shí)的注釋的坐標(biāo)乘以該顯示倍率與步驟S703中獲得的附加注釋時(shí)的顯示倍率之比獲得的。
[0130]在步驟S705中，確定自虛擬載片圖像的觀察的開(kāi)始它是否是第一次注釋附加。如果它是第一次附加，那么處理前進(jìn)到步驟S707。另一方面，如果注釋的附加在以前已被執(zhí)行至少一次，那么處理前進(jìn)到步驟S706。
[0131]在步驟S706中，使用步驟S704中產(chǎn)生的鏈接信息更新存儲(chǔ)于鏈接信息表中的鏈接信息。將在后面描述鏈接信息表。具體而言，用于存儲(chǔ)將在下面關(guān)于步驟S707描述的第一次執(zhí)行注釋附加時(shí)創(chuàng)建的鏈接信息的表中的值被更新。
[0132]在步驟S707中，創(chuàng)建鏈接信息表。鏈接信息表存儲(chǔ)步驟S704中產(chǎn)生的鏈接信息。鏈接信息是關(guān)于附加注釋的位置信息、通過(guò)轉(zhuǎn)換多個(gè)不同倍率的圖像數(shù)據(jù)層的上述位置信息所獲得的轉(zhuǎn)換位置信息、以及附加注釋時(shí)的顯示倍率之間的關(guān)聯(lián)性的信息。在這里描述的例示情況中，假定在鏈接信息中還包含注釋的文本內(nèi)容。鏈接信息是使注釋信息與要在各圖像層中以重疊方式顯示注釋的位置相關(guān)聯(lián)的信息，所述位置是基于附加注釋時(shí)的顯示倍率和圖像中的位置以及與各圖像層的分辨率對(duì)應(yīng)的顯示倍率而計(jì)算的。
[0133](注釋的呈現(xiàn))
[0134]圖8是具體描述呈現(xiàn)注釋的處理的流程圖。參照?qǐng)D8，將描述基于鏈接信息產(chǎn)生用于呈現(xiàn)注釋的顯示數(shù)據(jù)的處理。
[0135]在步驟S801中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定用戶(hù)是否提出用于改變虛擬載片圖像的顯示狀態(tài)(偏移顯示位置和/或改變倍率)的請(qǐng)求。一般以5X至IOX的范圍中的顯示倍率執(zhí)行篩選，并且一般以20X或40X的顯示倍率執(zhí)行詳細(xì)的觀察。由此，附加注釋時(shí)的虛擬載片的顯示倍率可在注釋之間變動(dòng)。因此，適合于調(diào)查附加于圖像數(shù)據(jù)的多個(gè)注釋的位置的顯示倍率依賴(lài)于附加于所述圖像數(shù)據(jù)的所述多個(gè)注釋。在步驟S801中，用戶(hù)可提出用于將虛擬載片圖像的顯示狀態(tài)變?yōu)檫m合于呈現(xiàn)附加于圖像數(shù)據(jù)的多個(gè)注釋的狀態(tài)的請(qǐng)求。如果提出了用于改變顯示狀態(tài)的請(qǐng)求，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S802。如果未提出用于改變顯示狀態(tài)的請(qǐng)求，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S803。
[0136]在步驟S802中，響應(yīng)于用于改變顯示狀態(tài)的請(qǐng)求，顯示數(shù)據(jù)產(chǎn)生控制單元307選擇適當(dāng)?shù)膱D像數(shù)據(jù)層，以實(shí)現(xiàn)適合于呈現(xiàn)注釋的虛擬載片圖像的顯示狀態(tài)。在向圖像數(shù)據(jù)附加了多個(gè)注釋的情況下，顯示數(shù)據(jù)產(chǎn)生控制單元307確定其中包含所有的所述多個(gè)注釋的位置的顯示區(qū)域，使得可在虛擬載片圖像中顯示附加到圖像數(shù)據(jù)的所有注釋的位置。然后，顯示數(shù)據(jù)產(chǎn)生控制單元307選擇適合于由此確定的顯示區(qū)域的圖像數(shù)據(jù)層。例如，如果注釋的位置被分布得太寬以至于具有40X倍率的虛擬載片圖像不能覆蓋大得足以包含所有注釋位置的區(qū)域，那么，顯示數(shù)據(jù)產(chǎn)生控制單元307選擇具有20 X倍率的圖像數(shù)據(jù)層，以便產(chǎn)生具有20X顯示倍率的虛擬載片圖像的顯示數(shù)據(jù)。
[0137]在步驟803中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定是否輸入用于改變注釋顯示樣式的命令。注釋顯示樣式包含呈現(xiàn)注釋時(shí)的文本的裝飾、幀圖像的顏色、以及關(guān)于背景圖像的透明度的設(shè)置。例如，在呈現(xiàn)注釋時(shí)的虛擬載片圖像的顯示倍率與附加注釋時(shí)的虛擬載片圖像的顯示倍率不同的情況下，諸如文本的顏色和/或字體以及幀圖像的顏色的顯示模式可通過(guò)指示該事實(shí)的方式被設(shè)置。將在后面具體描述這一點(diǎn)。如果輸入用于改變注釋顯示樣式的命令，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S804。如果否，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S805。
[0138]在步驟S804中，顯示數(shù)據(jù)產(chǎn)生控制單元307根據(jù)輸入的用于改變注釋顯示樣式的請(qǐng)求來(lái)改變注釋顯示樣式。
[0139]在步驟S805中，由于沒(méi)有輸入用于改變注釋顯示樣式的請(qǐng)求，因此顯示數(shù)據(jù)產(chǎn)生控制單元307使用注釋顯示樣式的預(yù)定初始設(shè)置作為注釋顯示樣式的設(shè)置。
[0140]在步驟S806中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定要呈現(xiàn)的注釋的數(shù)量相對(duì)于虛擬載片圖像的顯示區(qū)域的尺寸是否過(guò)大。顯示數(shù)據(jù)產(chǎn)生控制單元307計(jì)算根據(jù)在步驟S804或S805中確定的顯示樣式在虛擬載片圖像上顯示所有注釋的情況下的注釋的顯示區(qū)域的尺寸與虛擬載片圖像的顯示區(qū)域的尺寸的比例。如果該比例大于閾值，那么顯示數(shù)據(jù)產(chǎn)生控制單元307確定注釋數(shù)量太大。如果注釋數(shù)量太大，那么顯示所有注釋導(dǎo)致注釋的背景中的虛擬載片圖像被注釋覆蓋，從而使得難以觀察虛擬載片圖像。用戶(hù)可在考慮多大程度的注釋覆蓋將不干涉虛擬載片圖像的觀察的情況下自由地設(shè)置在該確定中使用的閾值。如果確定注釋的數(shù)量太大，那么顯示數(shù)據(jù)產(chǎn)生控制單元307以指針(pointer)顯示模式呈現(xiàn)注釋。指針顯示模式是使用圖標(biāo)等在虛擬載片圖像上僅顯示注釋的位置信息而不顯示注釋的文本內(nèi)容或幀圖像的模式。在指針顯示模式中，例如，僅對(duì)由用戶(hù)選擇的特定注釋顯示注釋的文本內(nèi)容。另一方面，如果未確定注釋的數(shù)量太大，那么顯示數(shù)據(jù)產(chǎn)生控制單元307以注釋顯示模式呈現(xiàn)注釋。注釋顯示模式是使用圖標(biāo)、文本和幀圖像等對(duì)于所有注釋顯示注釋的位置信息和內(nèi)容信息的模式。裝置可被配置為允許用戶(hù)基于注釋的數(shù)量來(lái)選擇是否啟用指針顯示模式與注釋顯示模式之間的切換。
[0141]在步驟S807中，注釋數(shù)據(jù)產(chǎn)生單元308產(chǎn)生要用于以指針顯示模式呈現(xiàn)注釋的注釋顯示數(shù)據(jù)。將在后面參照?qǐng)D9E描述以指針顯示模式呈現(xiàn)注釋的所顯示的虛擬載片圖像的例子。
[0142]在步驟S808中，注釋數(shù)據(jù)產(chǎn)生單元308產(chǎn)生要用于以注釋顯示模式呈現(xiàn)注釋的注釋顯示數(shù)據(jù)。將在后面參照?qǐng)D9D描述以注釋顯示模式呈現(xiàn)注釋的所顯示的虛擬載片圖像的例子。
[0143]在步驟S809中，顯示數(shù)據(jù)產(chǎn)生單元310基于在步驟S802中選擇的圖像數(shù)據(jù)層和在步驟S807或S808中產(chǎn)生的注釋顯示數(shù)據(jù)來(lái)產(chǎn)生虛擬載片圖像的顯示數(shù)據(jù)。
[0144]在步驟S810中，顯示數(shù)據(jù)輸出單元311將在步驟S809中產(chǎn)生的顯示數(shù)據(jù)輸出到顯示裝置103。
[0145]在步驟S811中，顯示裝置103顯示基于從顯示數(shù)據(jù)輸出單元311輸出的顯示數(shù)據(jù)的圖像。
[0146]在步驟S812中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定注釋的呈現(xiàn)模式是否是指針顯示模式。如果模式是指針顯示模式，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S813。另一方面，如果模式是注釋顯示模式，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S815。
[0147]在步驟S813中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定是否由用戶(hù)使用鼠標(biāo)或鍵盤(pán)選擇了指示在虛擬載片圖像上顯示的注釋的位置的指針或者由用戶(hù)將鼠標(biāo)光標(biāo)放在這種指針之上。如果指示注釋位置的指針被選擇或者鼠標(biāo)光標(biāo)被放在這種指針之上，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S814。如果否，那么顯示數(shù)據(jù)產(chǎn)生控制單元307終止用于呈現(xiàn)注釋的處理。
[0148]在步驟S814中，顯示數(shù)據(jù)產(chǎn)生控制單元307產(chǎn)生利用其以彈出框(pop-up box)顯示附加于所選指針的位置處的注釋的文本內(nèi)容的顯示數(shù)據(jù)。在指針顯示模式中，如果取消指針的選擇或者鼠標(biāo)光標(biāo)移動(dòng)離開(kāi)指針，那么顯示數(shù)據(jù)產(chǎn)生控制單元307產(chǎn)生利用其刪除注釋內(nèi)容的彈出顯示的注釋顯示數(shù)據(jù)。作為替代方案，裝置可被配置為一旦選擇指針就連續(xù)保持注釋內(nèi)容的顯示，直到輸入用于刪除注釋顯示的命令為止。
[0149]在步驟S815中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定是否由用戶(hù)使用鼠標(biāo)或鍵盤(pán)選擇在虛擬載片圖像上顯示的注釋。如果選擇了注釋?zhuān)敲达@示數(shù)據(jù)產(chǎn)生控制單元307在隨后的處理中產(chǎn)生利用其再現(xiàn)在附加所選注釋時(shí)的虛擬載片圖像的顯示倍率和顯示位置的顯示數(shù)據(jù)。如果在虛擬載片圖像上選擇了注釋?zhuān)敲达@示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S816.如果未選擇注釋?zhuān)敲唇K止呈現(xiàn)注釋的處理。
[0150]在步驟S816中，圖像數(shù)據(jù)層取得單元309基于包含于鏈接信息中的注釋的附加時(shí)的位置信息和關(guān)于顯示倍率的信息來(lái)選擇圖像數(shù)據(jù)層。
[0151]在步驟S817中，顯示數(shù)據(jù)產(chǎn)生單元310使用注釋數(shù)據(jù)產(chǎn)生單元308對(duì)在步驟S815中選擇的注釋所產(chǎn)生的注釋顯示數(shù)據(jù)和在步驟S816中選擇的圖像數(shù)據(jù)層來(lái)產(chǎn)生顯示數(shù)據(jù)。
[0152]步驟S818中的輸出顯示數(shù)據(jù)的處理和步驟S819中的基于顯示數(shù)據(jù)由顯示裝置103顯示圖像的處理分別與步驟S810和S811中的處理相同。
[0153](顯示畫(huà)面布局)
[0154]圖9示出在顯示裝置103上顯示在圖像處理裝置102中產(chǎn)生的顯示數(shù)據(jù)的例子。參照?qǐng)D9，將描述注釋顯示樣式的確定、指針顯示模式與注釋顯示模式之間的差異、以及附加注釋時(shí)的顯示位置和顯示倍率的再現(xiàn)。
[0155]圖9A示出在顯示裝置103上顯示的虛擬載片圖像的觀察器的窗口的基本配置(或布局)。觀察器的窗口具有在總體窗口 901中布置的信息區(qū)域902和縮略(thum bnail)圖像903，所述信息區(qū)域902示出顯示和操作的狀態(tài)以及關(guān)于圖像的各種信息，所述縮略圖像903 —般示出要觀察的樣本的總體圖像。在總體窗口 901中，還存在縮略圖像中指示虛擬載片圖像的顯示區(qū)域的框904、虛擬載片圖像的顯示區(qū)域905、以及在顯示區(qū)域905中顯示的虛擬載片圖像的顯示倍率信息的顯示906。觀察器的窗口配置可以是在總體窗口 901中布置用于顯示各種圖像和信息的窗口的單文檔界面、或包含分別顯示各種圖像和信息的獨(dú)立窗口的多文檔界面。在縮略圖像903中，顯示了指示在顯示區(qū)域905中顯示為虛擬載片圖像的區(qū)域在樣本的整個(gè)圖像中的位置和尺寸的框904?？赏ㄟ^(guò)使用諸如鼠標(biāo)或鍵盤(pán)的輸入器件所輸入的用戶(hù)指令改變框904的位置和尺寸。框904的位置和尺寸與用于改變?cè)陲@示區(qū)域905中顯示為虛擬載片圖像的顯示區(qū)域(即，用于偏移顯示位置和/或改變顯示倍率)的用戶(hù)操作連動(dòng)地改變。在顯示區(qū)域905中，顯示虛擬載片圖像。用戶(hù)在觀察該虛擬載片圖像的同時(shí)進(jìn)行診斷或者附加注釋。用戶(hù)可通過(guò)經(jīng)由操作鼠標(biāo)或鍵盤(pán)輸入用于改變顯示位置(偏移顯示區(qū)域)的指令和/或用于改變顯示倍率(放大/縮小)的指令來(lái)改變虛擬載片圖像的顯示狀態(tài)，以使得顯示適合于觀察的虛擬載片圖像。
[0156]圖9B示出對(duì)其執(zhí)行了附加注釋的操作的畫(huà)面顯示的例子。在圖9B所示的例示情況下，顯示倍率906被設(shè)置為20 X。用戶(hù)指定顯示區(qū)域905中的虛擬載片圖像中的關(guān)注區(qū)域(或注目區(qū)域)并輸入注釋信息。由此，注釋被附加。用于附加注釋的操作和處理基本上如下面的那樣。將參照?qǐng)D9B進(jìn)行描述。首先，用戶(hù)操縱鼠標(biāo)等以指定要附加注釋的位置907。該操作導(dǎo)致模式移轉(zhuǎn)到允許輸入注釋內(nèi)容(文本)的模式。然后，用戶(hù)操作鍵盤(pán)等以輸入注釋內(nèi)容(文本)908。此時(shí)，圖像處理裝置102組合地獲得關(guān)于附加了注釋的位置的信息和關(guān)于附加了注釋的虛擬載片圖像的顯示倍率的信息。
[0157]圖9C示出利用其設(shè)置注釋顯示樣式的畫(huà)面顯示的例子。用于設(shè)置注釋顯示樣式的畫(huà)面909可適于在附加注釋時(shí)被顯示。作為替代方案，設(shè)置畫(huà)面909可適于當(dāng)事先或者在適當(dāng)時(shí)間從菜單被調(diào)用時(shí)被顯示。在這里描述的例示情況下，假定僅當(dāng)用戶(hù)進(jìn)行附加注釋的操作時(shí)在圖9A所示的信息區(qū)域902中顯示用于設(shè)置注釋顯示樣式的畫(huà)面909。注釋顯示樣式是注釋的呈現(xiàn)的視覺(jué)樣式。在本實(shí)施例中，注釋顯示樣式可依賴(lài)于附加注釋時(shí)的虛擬載片的倍率、或附加注釋時(shí)的虛擬載片圖像的倍率與呈現(xiàn)注釋時(shí)的虛擬載片圖像的倍率之間的差值而變動(dòng)。在本實(shí)施例中，將作為例子描述包含注釋內(nèi)容(文本)顯示樣式、注釋框顯示樣式和總體注釋顯示樣式的注釋顯示樣式的三個(gè)設(shè)置項(xiàng)目。但本發(fā)明不限于此。注釋內(nèi)容(文本)顯示樣式的設(shè)置項(xiàng)目包含文本顏色、亮度、字體類(lèi)型和字體強(qiáng)調(diào)(emphasis)(例如，粗體和斜體)等。注釋框顯示樣式的設(shè)置項(xiàng)目包含框顏色、框線(xiàn)類(lèi)型(例如，實(shí)線(xiàn)/虛線(xiàn))、框形狀(例如，文本氣球(balloon)、矩形和其它)和背景顏色?？傮w注釋顯示樣式的項(xiàng)目包含向構(gòu)成背景的虛擬載片圖像施加ct混合(alpha-blending)的情況下的透明度和以閃爍方式顯示注釋的情況下的閃爍頻率。
[0158]GUI部分910是允許用戶(hù)從多個(gè)顯示樣式之中選擇他/她喜歡的顯示樣式的復(fù)選框。⑶I部分911描述注釋顯示樣式的設(shè)置項(xiàng)目的名稱(chēng)。⑶I部分912包含用于打開(kāi)其中顯示多個(gè)顏色塊914和選擇的顯示顏色915的顏色設(shè)置窗口 913的按鈕、以及用于改變亮度值和透明度的值的滑塊(slider)。例如，在可通過(guò)8位值設(shè)置文本的亮度的情況下，可根據(jù)滑塊位置來(lái)設(shè)置O至255的亮度值?？娠@示允許用于設(shè)置亮度值的直接數(shù)值輸入的⑶I部分，盡管在圖9中沒(méi)有示出這種GUI部分。
[0159]圖9D示出以注釋顯示模式顯示注釋的情況下的畫(huà)面顯示的例子。在注釋顯示模式中，通過(guò)指示注釋位置的圖標(biāo)917以及注釋文本內(nèi)容、文本氣球和框的圖像916呈現(xiàn)各注釋。圖9D示出呈現(xiàn)三個(gè)注釋的例示情況。如果附加注釋的位置被分布于寬范圍的區(qū)域之上，那么顯示倍率可被改變，使得可顯示所有注釋的位置?？苫谧⑨尩奈恢眯畔⒆詣?dòng)地實(shí)現(xiàn)顯示倍率的變化。作為替代方案，用戶(hù)可手動(dòng)改變顯示范圍和顯示倍率。在圖9D所示的例示情況下，顯示倍率是5X。假定附加各個(gè)注釋時(shí)的虛擬載片圖像的顯示倍率相互不同。例如，假定向以IOX的顯示倍率顯示的虛擬載片圖像附加了注釋1、向以20X的顯示倍率顯示的虛擬載片圖像附加了注釋2、并且向以40X的顯示倍率顯示的虛擬載片圖像附加了注釋3。在本實(shí)施例中，注釋的文本氣球和框的模式根據(jù)附加注釋時(shí)的虛擬載片圖像的顯示倍率而變動(dòng)。由此，用戶(hù)可認(rèn)識(shí)到附加各個(gè)注釋時(shí)的顯示倍率相互不同的事實(shí)。
[0160]圖9E示出以指針顯示模式顯示注釋的情況下的畫(huà)面顯示的例子。在指針顯示模式中，通過(guò)指示注釋位置的圖標(biāo)918呈現(xiàn)注釋。如果選擇指示位置的圖標(biāo)918中的一個(gè)或?qū)⑹髽?biāo)放在其上(moused over),那么如圖9E所示，以彈出919顯示與圖標(biāo)對(duì)應(yīng)的注釋內(nèi)容。圖9E示出呈現(xiàn)七個(gè)注釋的示例性情況。對(duì)于注釋中的一些，其附加時(shí)的虛擬載片圖像的顯示倍率不同，而對(duì)于其它的注釋?zhuān)涓郊訒r(shí)的虛擬圖像的顯示倍率相同。在本實(shí)施例中，如圖9E所示，指示注釋位置的圖標(biāo)918的模式根據(jù)附加注釋時(shí)的虛擬載片圖像的倍率而變動(dòng)。由此，用戶(hù)可從指示注釋位置的圖標(biāo)918的差異知曉附加注釋時(shí)的顯示倍率是不同還是相同。如圖9D中那樣，當(dāng)選擇指示位置的圖標(biāo)918或?qū)⑹髽?biāo)放在其上時(shí)所顯示的彈出919的模式也根據(jù)附加注釋時(shí)的虛擬載片圖像的顯示倍率而變動(dòng)。由此，用戶(hù)可容易地從大量的注釋之中選擇希望的注釋。
[0161]圖9F示出再現(xiàn)附加注釋時(shí)的虛擬載片圖像中的注釋位置和顯示倍率的畫(huà)面顯示的例子。當(dāng)用戶(hù)在注釋顯示模式或指針顯示模式中選擇注釋中的一個(gè)時(shí)，顯示數(shù)據(jù)產(chǎn)生控制單元307執(zhí)行以下的處理。顯示數(shù)據(jù)產(chǎn)生控制單元307參照鏈接信息，產(chǎn)生利用其再現(xiàn)附加注釋時(shí)的虛擬載片圖像的倍率和圖像中的注釋位置的顯示數(shù)據(jù)。在縮略顯示區(qū)域903中，顯示了指示可顯示圖9D或圖9E所示的所有注釋的位置信息的區(qū)域的框921、以及指示與當(dāng)前顯示的虛擬載片圖像對(duì)應(yīng)的區(qū)域的框922。
[0162](實(shí)施例的有利效果)
[0163]在本實(shí)施例中，當(dāng)向虛擬載片圖像附加注釋時(shí)，基于注釋的位置信息和關(guān)于虛擬載片圖像的倍率的信息產(chǎn)生鏈接信息。鏈接信息是對(duì)于附加的注釋中的每一個(gè)產(chǎn)生的。鏈接信息是代表構(gòu)成圖像數(shù)據(jù)的具有不同倍率的多個(gè)圖像數(shù)據(jù)層中的每一個(gè)圖像數(shù)據(jù)層的信息和代表與注釋位置對(duì)應(yīng)的各個(gè)圖像數(shù)據(jù)層中的位置的轉(zhuǎn)換位置信息之間的關(guān)聯(lián)性的信息。當(dāng)呈現(xiàn)被附加于圖像數(shù)據(jù)的多個(gè)注釋時(shí)，注釋的顯示模式根據(jù)附加注釋時(shí)的虛擬載片圖像的顯示倍率而變動(dòng)。由此，用戶(hù)可在注釋之間容易地識(shí)別附加注釋時(shí)的虛擬載片圖像的倍率的差異。
[0164](第二實(shí)施例)
[0165]將參照附圖描述根據(jù)本發(fā)明的第二實(shí)施例的圖像處理系統(tǒng)。
[0166]在第二實(shí)施例中，如下的例示系統(tǒng):其中，以使得用戶(hù)能夠識(shí)別附加注釋時(shí)的虛擬載片圖像的焦點(diǎn)位置的差異的方式，呈現(xiàn)附加到由具有不同焦點(diǎn)位置的多個(gè)圖像數(shù)據(jù)層構(gòu)成的圖像數(shù)據(jù)的多個(gè)注釋。以下，將描述與第一實(shí)施例不同的特征。與第一實(shí)施例中相同的特征將通過(guò)相同的附圖標(biāo)記來(lái)指定并通過(guò)相同的名稱(chēng)來(lái)提及，并且將不被進(jìn)一步詳細(xì)描述。
[0167](圖像處理系統(tǒng)中的裝置的配置)
[0168]圖10是構(gòu)成根據(jù)本發(fā)明的第二實(shí)施例的圖像處理系統(tǒng)的裝置的總體圖。
[0169]在圖10中，根據(jù)本發(fā)明的使用圖像處理裝置的圖像處理系統(tǒng)包括圖像服務(wù)器1101、圖像處理裝置102和顯示裝置103。圖像處理裝置102可從圖像服務(wù)器1101獲得通過(guò)捕獲樣本圖像所獲得的圖像數(shù)據(jù)，并產(chǎn)生用于在顯示裝置103上顯示圖像的顯示圖像。這里提到的圖像數(shù)據(jù)包含在第一實(shí)施例的描述中描述的通過(guò)將通過(guò)分割成像獲得的捕獲圖像數(shù)據(jù)項(xiàng)接合在一起所產(chǎn)生的高分辨率、二維圖像數(shù)據(jù)，為高速顯示準(zhǔn)備的具有不同倍率的多個(gè)圖像數(shù)據(jù)層，以及在不同的焦點(diǎn)位置處捕獲的深度圖像數(shù)據(jù)項(xiàng)。將在后面參照?qǐng)D11具體描述深度圖像數(shù)據(jù)。圖像服務(wù)器1101和圖像處理裝置102經(jīng)由網(wǎng)絡(luò)1002通過(guò)通用接口 LAN線(xiàn)纜1003被互連。圖像服務(wù)器1101是配備有存儲(chǔ)通過(guò)成像裝置捕獲的圖像數(shù)據(jù)的大容量存儲(chǔ)器件的計(jì)算機(jī)，該成像裝置是虛擬載片裝置(未示出且與第一實(shí)施例中的成像裝置101類(lèi)似)。圖像服務(wù)器1101可被配置為在與圖像服務(wù)器1101連接的本地儲(chǔ)存器中將不同焦點(diǎn)位置的多層圖像數(shù)據(jù)(深度圖像數(shù)據(jù))存儲(chǔ)為單個(gè)數(shù)據(jù)。作為替代方案，深度圖像數(shù)據(jù)中的層可相互分離，并且可在存在于網(wǎng)絡(luò)中的一組服務(wù)器(云服務(wù)器)中分離地存儲(chǔ)實(shí)體(substantial)深度圖像數(shù)據(jù)項(xiàng)和實(shí)體深度圖像數(shù)據(jù)項(xiàng)的參照信息。深度圖像數(shù)據(jù)不必存儲(chǔ)于一個(gè)服務(wù)器中，而是它可以以分布的方式被存儲(chǔ)。圖像處理裝置102和顯示裝置103與根據(jù)第一實(shí)施例的圖像處理系統(tǒng)中的那些相同。
[0170]雖然圖10所示的圖像處理系統(tǒng)由包括圖像服務(wù)器1101、圖像處理裝置102和圖像顯示裝置103的三個(gè)裝置構(gòu)成，但根據(jù)本發(fā)明的系統(tǒng)的配置不限于此。例如，可以使用具有一體化的顯示器件的圖像處理裝置，或者可在圖像服務(wù)器1101中實(shí)現(xiàn)圖像處理裝置102的功能的一部分。相反，圖像服務(wù)器1101和圖像處理裝置102的功能可被分割并在多個(gè)裝置中被實(shí)現(xiàn)。
[0171](事先為多個(gè)焦點(diǎn)位置準(zhǔn)備的多層圖像的概念)
[0172]圖11示意性地示出由具有不同焦點(diǎn)位置的多個(gè)圖像數(shù)據(jù)層構(gòu)成的深度圖像數(shù)據(jù)的概念。通過(guò)在沿深度方向(即，圖2中的Z方向、與臺(tái)架垂直的方向或光軸的方向)移動(dòng)成像裝置101的臺(tái)架202的同時(shí)多次執(zhí)行圖像捕獲，獲得具有不同焦點(diǎn)位置的多項(xiàng)圖像數(shù)據(jù)。
[0173]圖1lA是示出具有其中沿深度方向?qū)盈B在不同焦點(diǎn)位置處捕獲的二維圖像數(shù)據(jù)層的多層結(jié)構(gòu)的圖像數(shù)據(jù)的概念的示意圖。
[0174]在待觀察樣本中的某個(gè)焦平面處捕獲的二維圖像1102的數(shù)據(jù)被稱(chēng)為深度圖像數(shù)據(jù)。圖像數(shù)據(jù)組1100由沿與二維平面(XY平面)垂直的深度方向(Z方向)相互不同的焦點(diǎn)位置處捕獲的深度圖像數(shù)據(jù)1102的多個(gè)層的疊層構(gòu)成。在圖1lA所示的例示情況下，圖像數(shù)據(jù)由在不同焦點(diǎn)位置處捕獲的深度圖像數(shù)據(jù)的十個(gè)層構(gòu)成。
[0175]深度圖像數(shù)據(jù)1102的一個(gè)層由多項(xiàng)分割圖像數(shù)據(jù)1103構(gòu)成。如上所述，通過(guò)將通過(guò)分割成像獲得的多項(xiàng)圖像數(shù)據(jù)接合在一起產(chǎn)生大尺寸、高分辨率圖像數(shù)據(jù)。各項(xiàng)分割圖像數(shù)據(jù)1103可以是具有等于通過(guò)分割成像獲得的圖像數(shù)據(jù)的尺寸的圖像數(shù)據(jù)、通過(guò)分割成像獲得的圖像數(shù)據(jù)項(xiàng)的集合、或通過(guò)進(jìn)一步分割通過(guò)分割成像獲得的圖像數(shù)據(jù)所產(chǎn)生的圖像數(shù)據(jù)。換句話(huà)說(shuō)，可以采用深度圖像數(shù)據(jù)1102的任何希望的分割方式，并且分割的單位可與分割成像的單位相同或不同。
[0176]各焦點(diǎn)位置的深度圖像數(shù)據(jù)具有限定二維平面的兩個(gè)軸或X軸和Y軸。另外，深度圖像數(shù)據(jù)具有以層布置關(guān)于與X軸和Y軸垂直的Z軸方向(即，深度方向)具有不同焦點(diǎn)位置的深度圖像數(shù)據(jù)的數(shù)據(jù)格式。
[0177]為了實(shí)現(xiàn)高分辨率，虛擬載片裝置的成像光學(xué)系統(tǒng)具有大的數(shù)值孔徑(NA)，從而一般導(dǎo)致小的場(chǎng)深。雖然待觀察樣本的厚度在組織診斷的情況下約為3至5 μ m且在細(xì)胞診斷的情況下約為100 μ m，但場(chǎng)深遠(yuǎn)小于它們，具體而言約為I μ m。因此，難以產(chǎn)生樣本全部對(duì)焦的圖像。由于在一些情況下即使具有小厚度的樣本也在內(nèi)部具有諸如細(xì)胞核的結(jié)構(gòu)，因此，為了實(shí)現(xiàn)樣本的詳細(xì)檢查，需要在變動(dòng)焦點(diǎn)位置的情況下觀察樣本。以滿(mǎn)足這種需要的意圖獲得并產(chǎn)生由多項(xiàng)深度圖像數(shù)據(jù)構(gòu)成的圖像數(shù)據(jù)。
[0178]可產(chǎn)生如第一實(shí)施例中所述的出于加速顯示的目的產(chǎn)生的具有不同倍率(或分辨率)的多個(gè)圖像數(shù)據(jù)層與如本實(shí)施例中所述的具有不同焦點(diǎn)位置的多個(gè)深度圖像數(shù)據(jù)層的組合所構(gòu)成的多層圖像數(shù)據(jù)。將參照?qǐng)D1lB描述具有這種配置的圖像數(shù)據(jù)。
[0179]在圖1IB中，深度圖像數(shù)據(jù)組1104、1105、1106中的每一個(gè)是具有相同倍率和不同焦點(diǎn)位置的多個(gè)圖像數(shù)據(jù)層的集合。換句話(huà)說(shuō)，屬于同一深度圖像數(shù)據(jù)組的圖像數(shù)據(jù)層具有相同倍率和不同焦點(diǎn)位置，并且屬于不同深度圖像數(shù)據(jù)組的圖像數(shù)據(jù)層具有相互不同的倍率。
[0180]從具有根據(jù)需要選自多個(gè)圖像數(shù)據(jù)層的倍率和焦點(diǎn)位置的圖像數(shù)據(jù)層產(chǎn)生用于虛擬載片圖像的顯示圖像數(shù)據(jù)。
[0181]希望意欲在變動(dòng)焦點(diǎn)位置的情況下觀察的用于病理診斷的圖像數(shù)據(jù)作為如圖11所示的那樣具有由具有不同焦點(diǎn)位置的多個(gè)深度圖像數(shù)據(jù)層構(gòu)成的多層結(jié)構(gòu)的圖像數(shù)據(jù)被產(chǎn)生并被存儲(chǔ)。像這樣的圖像數(shù)據(jù)的形式可以是其中集成多個(gè)深度圖像數(shù)據(jù)層以使得圖像數(shù)據(jù)可被作為單個(gè)圖像數(shù)據(jù)對(duì)待的單個(gè)圖像數(shù)據(jù)。作為替代方案，可以以如下形式準(zhǔn)備圖像數(shù)據(jù):其中，分別作為獨(dú)立的圖像數(shù)據(jù)項(xiàng)準(zhǔn)備深度圖像數(shù)據(jù)層，并且指定深度圖像數(shù)據(jù)項(xiàng)與焦點(diǎn)位置之間的關(guān)系的信息可被分離地存儲(chǔ)。在以下的描述中，假定準(zhǔn)備由多個(gè)深度圖像數(shù)據(jù)層構(gòu)成的單個(gè)圖像數(shù)據(jù)。
[0182](注釋的附加)
[0183]圖12是附加注釋的處理的流程圖。參照?qǐng)D12，將描述基于附加注釋的位置信息和附加注釋時(shí)的虛擬載片圖像的焦點(diǎn)位置信息來(lái)產(chǎn)生鏈接信息的處理。
[0184]步驟701至步驟703的處理與參照?qǐng)D7在第一實(shí)施例中描述的附加注釋處理中的相同，并且將不進(jìn)一步被描述。圖12中的步驟S703的獲得顯示倍率的處理對(duì)于本實(shí)施例的配置不是必需的，并且可被跳過(guò)。
[0185]在步驟S1201中，獲得關(guān)于附加注釋時(shí)的虛擬載片圖像的焦點(diǎn)位置的信息。關(guān)于焦點(diǎn)位置的信息是指示從參照?qǐng)D11描述的多個(gè)深度圖像數(shù)據(jù)層之中的哪個(gè)深度圖像數(shù)據(jù)層產(chǎn)生虛擬載片圖像的顯示數(shù)據(jù)的信息?？扇绲谝粚?shí)施例中那樣從顯示裝置103獲得關(guān)于焦點(diǎn)位置的信息，或者可從保持在圖像處理裝置102中的關(guān)于顯示數(shù)據(jù)的產(chǎn)生的信息獲得它。
[0186]在步驟S1202中，鏈接信息產(chǎn)生單元305基于在步驟S1201中獲得的焦點(diǎn)位置信息和在步驟S701中獲得的附加注釋的位置信息來(lái)產(chǎn)生鏈接信息。鏈接信息是使轉(zhuǎn)換位置信息與各個(gè)圖像數(shù)據(jù)層的焦點(diǎn)位置相關(guān)聯(lián)的信息，所述轉(zhuǎn)換位置信息代表與由注釋的位置信息所代表的位置對(duì)應(yīng)的、構(gòu)成圖像數(shù)據(jù)的各個(gè)深度圖像數(shù)據(jù)層中的位置。鏈接信息是對(duì)附加于圖像數(shù)據(jù)的注釋中的每一個(gè)產(chǎn)生的。鏈接信息是使各個(gè)深度圖像中的要以重疊的方式顯示注釋的位置與注釋的信息相關(guān)聯(lián)的信息，所述位置是基于附加注釋時(shí)的焦點(diǎn)位置和圖像中的位置計(jì)算的。在已在步驟S703中獲得顯示倍率信息的情況下，也產(chǎn)生使代表與由注釋的位置信息所代表的位置對(duì)應(yīng)的各個(gè)圖像數(shù)據(jù)層中的位置的轉(zhuǎn)換位置信息與各個(gè)圖像數(shù)據(jù)層的倍率相關(guān)聯(lián)的在第一實(shí)施例中描述的鏈接信息。
[0187]在步驟S705中，確定自虛擬載片圖像的觀察的開(kāi)始是否已附加了注釋。該處理也與第一實(shí)施例中的相同，并且將不被進(jìn)一步描述。
[0188]在步驟S1203中，使用在步驟S1202中產(chǎn)生的鏈接信息更新存儲(chǔ)于鏈接信息表中的鏈接信息。
[0189]在步驟S1204中，創(chuàng)建鏈接信息表。在鏈接信息表中，存儲(chǔ)在步驟S1202中產(chǎn)生的鏈接信息。鏈接信息是關(guān)于附加注釋的位置信息、通過(guò)轉(zhuǎn)換多個(gè)不同焦點(diǎn)位置的深度圖像數(shù)據(jù)層的前述位置信息所獲得的轉(zhuǎn)換位置信息、以及附加注釋時(shí)的焦點(diǎn)位置之間的關(guān)聯(lián)性的信息。在已在步驟S1202中產(chǎn)生關(guān)于位置信息與倍率之間的關(guān)聯(lián)性的鏈接信息的情況下，可另外存儲(chǔ)關(guān)于為各個(gè)圖像數(shù)據(jù)層轉(zhuǎn)換的附加注釋的位置信息與圖像數(shù)據(jù)層的倍率之間的關(guān)聯(lián)性的信息。
[0190](注釋的呈現(xiàn))
[0191]圖13是呈現(xiàn)注釋的處理的流程圖。參照?qǐng)D13，將描述基于鏈接信息產(chǎn)生用于呈現(xiàn)注釋的顯示數(shù)據(jù)的處理。
[0192]注釋的初始呈現(xiàn)的處理與參照?qǐng)D8在第一實(shí)施例中描述的處理基本上相同。所不同的是:通過(guò)用于指示焦點(diǎn)位置差異的顯示樣式的選擇替代用于指示顯示倍率差異的顯示樣式的選擇。以下，將描述在注釋的初始呈現(xiàn)之后進(jìn)行顯示倍率的變化和/或焦點(diǎn)位置的變化的情況下的改變注釋呈現(xiàn)的處理。這里，將描述如下的示例性情況:其中，使用如圖1lB所示的具有多層結(jié)構(gòu)的圖像數(shù)據(jù)，所述多層結(jié)構(gòu)包含具有不同焦點(diǎn)位置的多個(gè)深度圖像數(shù)據(jù)層和具有不同倍率的多個(gè)圖像數(shù)據(jù)層。在使用這種圖像數(shù)據(jù)的圖像顯示中，可在觀察圖像的期間以高速改變倍率(不用每次改變倍率時(shí)執(zhí)行分辨率轉(zhuǎn)換)，并且可改變焦點(diǎn)位置，兩者都是通過(guò)用戶(hù)的操作。
[0193]在步驟S1301中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定用戶(hù)是否提出用于改變顯示倍率的請(qǐng)求。如果提出了用于改變顯示倍率的請(qǐng)求，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S1302。另一方面，如果沒(méi)有提出用于改變顯示倍率的請(qǐng)求，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S1303。
[0194]在步驟S1302中，圖像數(shù)據(jù)層取得單元309從多個(gè)圖像數(shù)據(jù)層之中取得具有匹配倍率改變請(qǐng)求的倍率的圖像數(shù)據(jù)層。
[0195]在步驟S1303中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定用戶(hù)是否提出用于改變焦點(diǎn)位置的請(qǐng)求。如果提出了用于改變焦點(diǎn)位置的請(qǐng)求，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S1304。另一方面，如果沒(méi)有提出用于改變焦點(diǎn)位置的請(qǐng)求，那么顯示數(shù)據(jù)產(chǎn)生控制單元307終止處理。
[0196]在步驟S1304中，圖像數(shù)據(jù)層取得單元309從多個(gè)深度圖像數(shù)據(jù)層之中取得具有匹配焦點(diǎn)位置改變請(qǐng)求的焦點(diǎn)位置的圖像數(shù)據(jù)層。
[0197]在步驟S1305中，注釋數(shù)據(jù)產(chǎn)生單元308更新注釋顯示數(shù)據(jù)。在注釋顯示模式中，產(chǎn)生利用其以根據(jù)附加注釋時(shí)的虛擬載片圖像的顯示倍率和焦點(diǎn)位置而變動(dòng)的模式來(lái)顯示附加于圖像數(shù)據(jù)的多個(gè)注釋的位置和內(nèi)容的注釋顯示數(shù)據(jù)。在指針顯示模式中，產(chǎn)生利用其以根據(jù)附加注釋時(shí)的虛擬載片圖像的顯示倍率和焦點(diǎn)位置而變動(dòng)的模式來(lái)顯示多個(gè)注釋的位置的注釋顯示數(shù)據(jù)。根據(jù)由用戶(hù)設(shè)置的注釋顯示樣式，確定諸如文本的顏色、亮度和字體，注釋顯示框的形狀和顏色，框中的背景顏色，注釋顯示區(qū)域的透明度，以及閃爍顯示的使用/不使用的注釋顯示數(shù)據(jù)的特征。
[0198]在步驟S1306中，顯示數(shù)據(jù)產(chǎn)生單元310從在步驟S1302中選擇的圖像數(shù)據(jù)層或在步驟S1304中選擇的深度圖像數(shù)據(jù)層以及在步驟S1305中產(chǎn)生的注釋顯示數(shù)據(jù)產(chǎn)生用于畫(huà)面顯示的顯示數(shù)據(jù)。
[0199]在步驟S1307中，顯示數(shù)據(jù)輸出單元311將在步驟S1306中產(chǎn)生的顯示數(shù)據(jù)輸出到顯示裝置103。
[0200]在步驟S1308中，顯示裝置103基于從顯示數(shù)據(jù)輸出單元311輸入的顯示數(shù)據(jù)在畫(huà)面上顯示圖像。
[0201](實(shí)施例的有利效果)
[0202]在本實(shí)施例中，當(dāng)向虛擬載片圖像附加注釋時(shí)，基于注釋的位置信息和虛擬載片圖像的焦點(diǎn)位置信息產(chǎn)生鏈接信息。鏈接信息是對(duì)附加的注釋中的每一個(gè)產(chǎn)生的。鏈接信息是代表構(gòu)成圖像數(shù)據(jù)的具有不同焦點(diǎn)位置的多個(gè)深度圖像數(shù)據(jù)層和代表與注釋位置對(duì)應(yīng)的各個(gè)深度圖像數(shù)據(jù)層中的位置的轉(zhuǎn)換位置信息之間的關(guān)聯(lián)性的信息。當(dāng)呈現(xiàn)附加到圖像數(shù)據(jù)的多個(gè)注釋時(shí)，注釋的顯示模式根據(jù)附加注釋時(shí)的虛擬載片圖像的焦點(diǎn)位置而變動(dòng)。由此，用戶(hù)可在注釋之間容易地識(shí)別附加注釋時(shí)的虛擬載片圖像的焦點(diǎn)位置的差異。
[0203](第三實(shí)施例)
[0204]在以下描述的實(shí)施例中，根據(jù)顯示倍率和顯示的焦點(diǎn)位置，使用附加于具有與當(dāng)前顯示的深度圖像不同的焦點(diǎn)位置的深度圖像的注釋的數(shù)據(jù)執(zhí)行顯示控制。
[0205]在高倍率的觀察中，場(chǎng)深一般是小的，并且在許多情況下必須變動(dòng)觀察期間的焦點(diǎn)位置。因此，當(dāng)顯示倍率比某一倍率高時(shí)，顯示被附加于其焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像的注釋將提供關(guān)于較淺和/或較深焦點(diǎn)位置的深度圖像的信息而不用改變焦點(diǎn)位置，這在執(zhí)行詳細(xì)的觀察時(shí)將提供有益信息(informative)。
[0206]在本實(shí)施例中，通過(guò)恰好在第二實(shí)施例中描述的圖13中的步驟S1305之前根據(jù)顯示倍率和顯示的焦點(diǎn)位置附加地執(zhí)行注釋數(shù)據(jù)控制處理(未示出)，實(shí)施上述的功能。
[0207]圖14是根據(jù)顯示倍率和顯示的焦點(diǎn)位置來(lái)控制注釋數(shù)據(jù)顯示的處理的流程圖。
[0208]首先，在步驟S1401中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定在顯示區(qū)域中的任何焦點(diǎn)位置的深度圖像中是否存在注釋。如果不存在注釋?zhuān)敲达@示數(shù)據(jù)產(chǎn)生控制單元307終止處理。另一方面，如果在顯示區(qū)域中的任何焦點(diǎn)位置的深度圖像中存在注釋?zhuān)敲达@示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S1402，在步驟S1402處，它確定顯示倍率是否等于或高于預(yù)定的倍率?？扇缦Ｍ哪菢釉O(shè)置預(yù)定的倍率。在本實(shí)施例的以下描述中，假定預(yù)定的倍率是 20X。
[0209]如果顯示倍率低于20 X，那么顯示數(shù)據(jù)產(chǎn)生控制單元307終止處理。另一方面，如果在步驟S1402中確定顯示倍率等于或高于20 X，那么顯示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S1403，在步驟S1403處，它改變被附加于焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像的注釋的顯示設(shè)置。
[0210]例如，如果當(dāng)前設(shè)置是不顯示被附加于焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像的注釋?zhuān)敲丛O(shè)置被改變以也顯示被附加于焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像的注釋。在該改變后的設(shè)置中，使得被附加于焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像的注釋在視覺(jué)上可辨別。例如，使得其顏色或透明度與原始注釋(即，被附加于當(dāng)前顯示的深度圖像的注釋)的不同。
[0211]圖16A是具有20X的倍率的五個(gè)深度圖像的一維示意圖。注釋1601、1602分別被附加于Z = I的深度圖像和Z = 4的深度圖像中的被認(rèn)為異常的部分。
[0212]當(dāng)以20X的倍率并在焦點(diǎn)位置Z = 3處觀察深度圖像時(shí)，應(yīng)用上述的注釋數(shù)據(jù)顯示控制處理。由于倍率不低于20 X，因此，盡管Z = I和Z = 4的深度圖像中的兩個(gè)注釋是附加于其焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像的注釋?zhuān)撬鼈儽淮_定為要被顯示的注釋?zhuān)⑶疫@些注釋被顯示。[0213]由此，即使當(dāng)觀察焦點(diǎn)位置Z = 3的深度圖像時(shí)，也顯示被附加到更深和更淺的焦點(diǎn)位置的深度圖像的注釋的內(nèi)容。因此，用戶(hù)可知曉附近的異常部分的存在而不用改變焦點(diǎn)位置，并可有意地執(zhí)行詳細(xì)的觀察。
[0214]另一方面，當(dāng)以5X的倍率并在焦點(diǎn)位置Z= I處執(zhí)行觀察時(shí)，由于顯示倍率低于20X，因此只顯示被附加于焦點(diǎn)位置z = I的深度圖像的注釋。在低倍率下，由于場(chǎng)深大，因此很少需要觀察期間的多個(gè)深度圖像之間的切換，并且很少需要改變焦點(diǎn)位置。因此，對(duì)用戶(hù)來(lái)說(shuō)，僅僅被附加于顯示的焦點(diǎn)位置的深度圖像的注釋的內(nèi)容被顯示就足夠了。
[0215]在高倍率下，場(chǎng)深小。于是，被應(yīng)用該處理的注釋可以不是附加于所有焦點(diǎn)位置的深度圖像的所有注釋?zhuān)鴥H僅是附加于當(dāng)前顯示的深度圖像的焦點(diǎn)位置的附近的預(yù)定焦點(diǎn)位置范圍中的深度圖像的注釋。
[0216]如上所述，通過(guò)圖14所示的處理，可根據(jù)顯示倍率和顯示的焦點(diǎn)位置來(lái)控制被附加于焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像的注釋的顯示。這在詳細(xì)的觀察中有利地增加用戶(hù)友好性。
[0217](第四實(shí)施例)
[0218]在以下描述的第四實(shí)施例中，在注釋附加于其焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像的情況下，根據(jù)這些深度圖像之間的注釋附近區(qū)域中的圖像的類(lèi)似度來(lái)控制注釋的顯示。
[0219]圖15是本實(shí)施例中的注釋數(shù)據(jù)顯示控制的流程圖。
[0220]首先，在步驟S1501中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定在焦點(diǎn)位置與當(dāng)前顯示的深度圖像的焦點(diǎn)位置不同的深度圖像中是否存在注釋。如果不存在注釋?zhuān)敲达@示數(shù)據(jù)產(chǎn)生控制單元307終止處理。另一方面，如果存在注釋?zhuān)敲达@示數(shù)據(jù)產(chǎn)生控制單元307前進(jìn)到步驟S1502。在步驟S1502中，顯示數(shù)據(jù)產(chǎn)生控制單元307獲得其中存在注釋的深度圖像中和當(dāng)前顯示圖像中的注釋位置附近的區(qū)域的圖像，并前進(jìn)到步驟S1503。
[0221]可事先在注釋中限定注釋位置附近的圖像的區(qū)域。作為替代方案，注釋位置附近的圖像的區(qū)域可以是在其中心處為注釋位置的預(yù)定矩形區(qū)域。
[0222]然后，在步驟S1503中，顯示數(shù)據(jù)產(chǎn)生控制單元307計(jì)算當(dāng)前顯示圖像中和其中存在注釋的深度圖像中的注釋位置附近的區(qū)域的圖像之間的類(lèi)似度以及偏移后的坐標(biāo)?？稍谟?jì)算類(lèi)似度和偏移后的坐標(biāo)時(shí)使用塊匹配。塊匹配是用于確定不同圖像中的相應(yīng)位置的通常方法?？稍趦?nèi)部計(jì)算中使用殘差平方和(residual sum of square)和歸一化互相關(guān)(normalize cross correlation)。
[0223]類(lèi)似度是在相對(duì)于當(dāng)前顯示的深度圖像中的注釋位置附近的區(qū)域的圖像偏移其中存在注釋的深度圖像中的注釋位置附近的區(qū)域的圖像的同時(shí)獲得的兩個(gè)圖像的相關(guān)值的最大值。偏移后的坐標(biāo)是基于使得相關(guān)值最大的偏移量而確定的坐標(biāo)。通過(guò)在注釋位置附近的預(yù)定區(qū)域中執(zhí)行匹配而不在整個(gè)顯示區(qū)域之上執(zhí)行類(lèi)似度計(jì)算，可使得處理速度更快。
[0224]然后，在步驟S1504中，顯示數(shù)據(jù)產(chǎn)生控制單元307確定在步驟S1503中計(jì)算的類(lèi)似度是否等于或高于預(yù)定的閾值。如果類(lèi)似度低于閾值，那么顯示數(shù)據(jù)產(chǎn)生控制單元307確定其中存在注釋的深度圖像中的注釋位置附近的圖像與當(dāng)前顯示的深度圖像中的注釋位置附近的圖像不同，并前進(jìn)到步驟S1305。[0225]另一方面，如果類(lèi)似度等于或高于閾值，那么顯示數(shù)據(jù)產(chǎn)生控制單元307確定其中存在注釋的深度圖像中的注釋位置附近的圖像與當(dāng)前顯示的深度圖像中的注釋位置附近的圖像基本上是同樣的，并前進(jìn)到步驟S1505。
[0226]在步驟S1505中，產(chǎn)生要被附加于當(dāng)前顯示的深度圖像的新注釋的信息。
[0227]新注釋的位置被設(shè)置于在步驟S1503中獲得的偏移后的坐標(biāo)的位置。注釋中的評(píng)論保留不變。
[0228]優(yōu)選以與原始注釋不同的模式顯示新注釋?zhuān)灾甘拘伦⑨屖腔趫D像處理而推測(cè)性地引入的注釋的事實(shí)。例如，可使得注釋的顏色或透明度不同。并且，可在注釋中另外包含關(guān)于前述的類(lèi)似度的信息以向用戶(hù)通知類(lèi)似度。
[0229]以適當(dāng)?shù)奈恢闷苼?lái)顯示被附加于焦點(diǎn)位置比顯示的焦點(diǎn)位置淺或深的深度圖像的注釋信息可如第三實(shí)施例中那樣使用戶(hù)避免在觀察期間改變焦點(diǎn)位置以檢查注釋的麻煩。并且，用戶(hù)可避免在多個(gè)焦點(diǎn)位置處附加注釋的麻煩。
[0230]以下，將參照?qǐng)D16中的示意圖描述通過(guò)參照?qǐng)D15的流程圖描述的處理所獲得的幾個(gè)示例性結(jié)果。
[0231]圖16B示出由五個(gè)焦點(diǎn)位置的深度圖像數(shù)據(jù)層構(gòu)成的示例性圖像數(shù)據(jù)。注釋1603附加于焦點(diǎn)位置Z = 3的深度圖像。假定被附加注釋的部分是樣品組織中的空腔。
[0232]在顯示的焦點(diǎn)位置是位置Z = I的情況下，雖然在與焦點(diǎn)位置Z = 3的深度圖像中的空腔的位置相同的X-Y位置處不存在空腔，但在偏移后的位置處也存在類(lèi)似的空腔。因此，在上述的注釋數(shù)據(jù)控制處理中，當(dāng)顯示焦點(diǎn)位置Z = I的深度圖像時(shí)，在步驟S1503中計(jì)算的偏移后的坐標(biāo)處創(chuàng)建新注釋。以與原始注釋1603就其顏色和/或透明度而言不同的模式顯示新注釋。
[0233]圖16C示出由五個(gè)焦點(diǎn)位置的深度圖像數(shù)據(jù)層構(gòu)成的示例性圖像數(shù)據(jù)。注釋1604附加于焦點(diǎn)位置Z = 3的深度圖像。假定被附加注釋的部分是樣品組織中的某個(gè)結(jié)構(gòu)。
[0234]在任何焦點(diǎn)位置的深度圖像中都不存在與代表注釋1604的附近的結(jié)構(gòu)的圖像類(lèi)似的圖像。因此，在顯示Z = I的深度圖像的情況下，在步驟S1503中計(jì)算的類(lèi)似度不變得等于或高于閾值，并且不創(chuàng)建新注釋。
[0235]在高倍率下，場(chǎng)深小。于是，被應(yīng)用步驟S1501至S1503的處理的注釋可不是存在于所有焦點(diǎn)位置的深度圖像中的所有注釋?zhuān)鴥H僅是存在于當(dāng)前顯示的深度圖像的焦點(diǎn)位置的附近的預(yù)定焦點(diǎn)位置范圍中的深度圖像中的注釋。
[0236]利用圖15所示的處理，即使當(dāng)注釋附加于焦點(diǎn)位置與顯示圖像的焦點(diǎn)位置不同的深度圖像時(shí)，如果兩個(gè)深度圖像中的注釋附近區(qū)域中的圖像相互類(lèi)似，那么也可顯示被附加于不同焦點(diǎn)位置的深度圖像的注釋。這有利地增加觀察中的用戶(hù)友好性。特別地，在焦點(diǎn)位置的差異使得組織中的相同特性結(jié)構(gòu)由于其配置而出現(xiàn)于二維圖像中的不同位置處的情況下，可有效地利用附加的注釋。
[0237](其它實(shí)施例)
[0238]可通過(guò)將其中存儲(chǔ)有完全或部分地實(shí)施上述實(shí)施例的功能的軟件的程序代碼的非暫態(tài)計(jì)算機(jī)可讀記錄介質(zhì)(或存儲(chǔ)介質(zhì))供給到系統(tǒng)或裝置、并使得系統(tǒng)或裝置的計(jì)算機(jī)(或CPU或MPU)讀取并執(zhí)行存儲(chǔ)于記錄介質(zhì)中的程序代碼，來(lái)實(shí)現(xiàn)本發(fā)明的目的。在這種情況下，在從記錄介質(zhì)讀出的程序代碼中實(shí)現(xiàn)上述實(shí)施例的功能，并且其中記錄有程序代碼的記錄介質(zhì)構(gòu)成本發(fā)明。
[0239]當(dāng)計(jì)算機(jī)執(zhí)行讀出程序代碼時(shí)，在計(jì)算機(jī)上運(yùn)行的操作系統(tǒng)(OS)等可基于程序代碼的指令來(lái)執(zhí)行實(shí)際處理的全部或一部分。在本發(fā)明的范圍中也可包括通過(guò)這種處理來(lái)實(shí)施上述實(shí)施例的功能的情況。
[0240]并且，從記錄介質(zhì)讀出的程序代碼可被寫(xiě)入到被插入計(jì)算機(jī)的擴(kuò)展卡、或與計(jì)算機(jī)連接的擴(kuò)展單元所具有的存儲(chǔ)器中。于是，擴(kuò)展卡或擴(kuò)展單元中的CPU等可執(zhí)行實(shí)際處理的全部或一部分，以實(shí)施上述實(shí)施例的功能。這種情況也可包含于本發(fā)明的范圍中。
[0241]在向上述的記錄介質(zhì)應(yīng)用本發(fā)明的情況下，與在以上描述的流程圖對(duì)應(yīng)的程序代碼被存儲(chǔ)于記錄介質(zhì)中。
[0242]可組合采用在第一、第二、第三和第四實(shí)施例中描述的特征中的兩個(gè)或更多個(gè)。例如，第二實(shí)施例中的指示焦點(diǎn)位置的處理可被應(yīng)用于根據(jù)第一實(shí)施例的系統(tǒng)。圖像處理裝置可與成像裝置和圖像服務(wù)器兩者連接，使得可從它們中的任一個(gè)取得要處理的圖像。在本發(fā)明的范圍中包括通過(guò)在上述實(shí)施例中使用的各種技術(shù)的可行組合所實(shí)現(xiàn)的其它布置。
[0243]雖然已參照示例性實(shí)施例描述了本發(fā)明，但要理解，本發(fā)明不限于公開(kāi)的示例性實(shí)施例。以下的權(quán)利要求的范圍要被賦予最寬的解釋?zhuān)园羞@樣的修改以及等同的結(jié)構(gòu)和功能。
[0244]本申請(qǐng)要求2011年12月26日提交的日本專(zhuān)利申請(qǐng)N0.2011-283721和2012年10月3日提交的日本專(zhuān)利申請(qǐng)N0.2012-221557的權(quán)益，在此通過(guò)引用而并入它們的全部?jī)?nèi)容。
【權(quán)利要求】
1.一種圖像處理裝置，包括: 獲得單元，被配置為獲得被檢體的圖像的數(shù)據(jù)和附加到圖像的多個(gè)注釋的數(shù)據(jù)； 輸入單元，被配置為接收用于放大或縮小圖像的顯示倍率的指定；以及 產(chǎn)生單元，被配置為產(chǎn)生以重疊于以指定顯示倍率放大的圖像上的方式顯示注釋的顯示數(shù)據(jù)， 其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的顯示倍率的信息，以及 產(chǎn)生單元產(chǎn)生使得注釋的顯示模式在其附加時(shí)的圖像的顯示倍率不同的注釋之間不同的顯示數(shù)據(jù)。
2.根據(jù)權(quán)利要求1的圖像處理裝置，其中，產(chǎn)生單元產(chǎn)生使得注釋的顯示模式在其附加時(shí)的圖像的顯示倍率與指定顯示倍率不同的注釋與其附加時(shí)的圖像的顯示倍率與指定顯示倍率相同的注釋之間不同的顯示數(shù)據(jù)。
3.根據(jù)權(quán)利要求1或2的圖像處理裝置，其中，輸入單元接收用于選擇以重疊于圖像上的方式顯示的注釋中的一個(gè)注釋的命令，以及，當(dāng)輸入單元接收到用于選擇的命令時(shí)，產(chǎn)生單元產(chǎn)生以重疊于以附加選擇的注釋時(shí)的顯示倍率放大的圖像上的方式顯示通過(guò)所述命令選擇的注釋的顯示數(shù)據(jù)。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)的圖像處理裝置，其中，通過(guò)獲得單元獲得的圖像的數(shù)據(jù)包含具有逐漸不同分辨率的同一被檢體的多個(gè)圖像層的數(shù)據(jù)，以及，產(chǎn)生單元使用具有適合于指定顯示倍率的分辨率的圖像層的數(shù)據(jù)產(chǎn)生顯示數(shù)據(jù)。
5.根據(jù)權(quán)利要求4的圖像處理裝置，還包括:存儲(chǔ)單元，被配置為基于附加注釋時(shí)的圖像的顯示倍率、被附加注釋的圖像上位置、以及與各圖像層的分辨率對(duì)應(yīng)的顯示倍率，來(lái)計(jì)算要以重疊的方式顯示注釋的各圖像層中位置，并被配置為存儲(chǔ)其中計(jì)算的位置與注釋的信息相關(guān)聯(lián)的鏈接信息，其中，產(chǎn)生單元基于鏈接信息計(jì)算與指定顯示倍率相關(guān)聯(lián)的注釋的位置，并產(chǎn)生以重疊于以指定顯示倍率放大的圖像上的方式顯示注釋的顯示數(shù)據(jù)。
6.一種圖像處理裝置，包括: 獲得單元，被配置為獲得被檢體的圖像的數(shù)據(jù)和附加至圖像的多個(gè)注釋的數(shù)據(jù)，所述被檢體的圖像的數(shù)據(jù)包含通過(guò)在相對(duì)于光軸方向的不同焦點(diǎn)位置處將被檢體成像所獲得的多個(gè)深度圖像的數(shù)據(jù)； 輸入單元，被配置為接收焦點(diǎn)位置的指定；以及 產(chǎn)生單元，被配置為產(chǎn)生以重疊于指定焦點(diǎn)位置的深度圖像上的方式顯示注釋的顯示數(shù)據(jù)， 其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的焦點(diǎn)位置的信息，以及 產(chǎn)生單元產(chǎn)生使得注釋的顯示模式在其附加時(shí)的圖像的焦點(diǎn)位置不同的注釋之間不同的顯示數(shù)據(jù)。
7.根據(jù)權(quán)利要求6的圖像處理裝置，其中，產(chǎn)生單元產(chǎn)生使得注釋的顯示模式在其附加時(shí)的圖像的焦點(diǎn)位置與指定焦點(diǎn)位置不同的注釋與其附加時(shí)的圖像的焦點(diǎn)位置與指定焦點(diǎn)位置相同的注釋之間不同的顯示數(shù)據(jù)。
8.根據(jù)權(quán)利要求7的圖像處理裝置，還包括:存儲(chǔ)單元，被配置為基于附加注釋時(shí)的圖像的焦點(diǎn)位置和附加注釋時(shí)的圖像中的注釋的位置，來(lái)計(jì)算要以重疊的方式顯示注釋的各深度圖像中位置，并被配置為存儲(chǔ)其中計(jì)算的位置與注釋的信息相關(guān)聯(lián)的鏈接信息，其中，產(chǎn)生單元基于鏈接信息計(jì)算與指定焦點(diǎn)位置相關(guān)聯(lián)的注釋的位置，并產(chǎn)生以在計(jì)算的位置處重疊于指定焦點(diǎn)位置的深度圖像上的方式顯示注釋的顯示數(shù)據(jù)。
9.根據(jù)權(quán)利要求6的圖像處理裝置，其中，如果注釋被附加至與指定焦點(diǎn)位置不同的焦點(diǎn)位置的深度圖像，那么產(chǎn)生單元產(chǎn)生以重疊于指定焦點(diǎn)位置的深度圖像上的方式顯示該注釋的顯示數(shù)據(jù)。
10.根據(jù)權(quán)利要求9的圖像處理裝置，其中，輸入單元進(jìn)一步接收用于放大或縮小深度圖像的顯示倍率的指定，以及，如果顯示倍率等于或高于閾值，那么產(chǎn)生單元產(chǎn)生以重疊于指定焦點(diǎn)位置的深度圖像上的方式顯示被附加至與指定焦點(diǎn)位置不同的焦點(diǎn)位置的深度圖像的注釋的顯示數(shù)據(jù)。
11.根據(jù)權(quán)利要求9或10的圖像處理裝置，其中，產(chǎn)生單元產(chǎn)生以不同的顯示模式來(lái)顯示被附加至指定焦點(diǎn)位置的深度圖像的注釋和被附加至與指定焦點(diǎn)位置不同的焦點(diǎn)位置的深度圖像的注釋的顯示數(shù)據(jù)。
12.根據(jù)權(quán)利要求9至11中任一項(xiàng)的圖像處理裝置，其中，如果注釋被附加至與指定焦點(diǎn)位置不同的焦點(diǎn)位置的深度圖像、并且在指定焦點(diǎn)位置的深度圖像中與該注釋的位置對(duì)應(yīng)的位置的附近的圖像和在與指定焦點(diǎn)位置不同的焦點(diǎn)位置的深度圖像中該注釋的位置的附近的圖像的類(lèi)似度等于或高于閾值，那么產(chǎn)生單元產(chǎn)生以重疊于指定焦點(diǎn)位置的深度圖像上的方式顯示該注釋的顯示數(shù)據(jù)。
13.根據(jù)權(quán)利要求1 2的圖像處理裝置，其中，產(chǎn)生單元通過(guò)在預(yù)定范圍中使在指定焦點(diǎn)位置的深度圖像中與注釋位置對(duì)應(yīng)的位置的附近的圖像和在與指定焦點(diǎn)位置不同的焦點(diǎn)位置的深度圖像中注釋位置的附近的圖像相對(duì)于彼此偏移的同時(shí)計(jì)算這些圖像的相關(guān)性，來(lái)確定這些圖像的類(lèi)似度，并且基于使得相關(guān)性最高的偏移量，確定指定焦點(diǎn)位置的深度圖像中的要顯示被附加于與指定焦點(diǎn)位置不同的焦點(diǎn)位置的深度圖像的注釋的位置。
14.一種圖像處理系統(tǒng),包括: 根據(jù)權(quán)利要求1至13中任一項(xiàng)的圖像處理裝置；以及 顯示裝置，顯示基于從圖像處理裝置輸出的圖像數(shù)據(jù)的圖像。
15.一種圖像處理裝置的控制方法，包括: 獲得步驟，獲得被檢體的圖像的數(shù)據(jù)和附加到圖像的多個(gè)注釋的數(shù)據(jù)； 輸入步驟，接收用于放大或縮小圖像的顯示倍率的指定；以及 產(chǎn)生步驟，產(chǎn)生以重疊于以指定顯示倍率放大的圖像上的方式顯示注釋的顯示數(shù)據(jù)， 其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的顯示倍率的信息，以及 在產(chǎn)生步驟中，執(zhí)行使得注釋的顯示模式在其附加時(shí)的圖像的顯示倍率不同的注釋之間不同的顯示數(shù)據(jù)的產(chǎn)生。
16.一種圖像處理裝置的控制方法，包括: 獲得步驟，獲得被檢體的圖像的數(shù)據(jù)和附加至圖像的多個(gè)注釋的數(shù)據(jù)，所述被檢體的圖像的數(shù)據(jù)包含通過(guò)在相對(duì)于光軸方向的不同焦點(diǎn)位置處將被檢體成像所獲得的多個(gè)深度圖像的數(shù)據(jù)；輸入步驟，接收焦點(diǎn)位置的指定； 產(chǎn)生步驟，產(chǎn)生以重疊于指定焦點(diǎn)位置的深度圖像上的方式顯示注釋的顯示數(shù)據(jù)， 其中，所述多個(gè)注釋的數(shù)據(jù)包含指示附加各注釋的圖像中位置的位置信息、以及關(guān)于附加各注釋時(shí)的圖像的焦點(diǎn)位置的信息，以及 在產(chǎn)生步驟中，執(zhí)行使得注釋的顯示模式在其附加時(shí)的圖像的焦點(diǎn)位置不同的注釋之間不同的顯示數(shù)據(jù)的產(chǎn)生。
17.一種存儲(chǔ)于非暫態(tài)計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序使得計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要 求15或16的圖像處理裝置的控制方法中的步驟。
【文檔編號(hào)】G09G5/36GK104011787SQ201280064064
【公開(kāi)日】2014年8月27日 申請(qǐng)日期:2012年12月6日 優(yōu)先權(quán)日:2011年12月26日
【發(fā)明者】辻本卓哉, 村上友近 申請(qǐng)人:佳能株式會(huì)社