背景
量化醫(yī)療成像是醫(yī)療成像中的相當(dāng)新近的技術(shù)。量化成像是從醫(yī)療圖像中提取可量化特征以用于評估正?;驀?yán)重性、變化程度或者疾病狀態(tài)、傷情或相對于正常的慢性病狀況。量化成像包括對解剖、機能和分子成像獲取程序、數(shù)據(jù)分析、顯示方法以及報告結(jié)構(gòu)的開發(fā)、標(biāo)準(zhǔn)化和優(yōu)化。這些特征準(zhǔn)許用包括治療反應(yīng)和結(jié)果的解剖學(xué)和生理上相關(guān)的參數(shù)來驗證準(zhǔn)確且精確獲取的圖像導(dǎo)出的度量,并且將這些度量用于研究和病患護理。
量化計算出的值通常被可視化為色彩(其它醫(yī)學(xué)圖像之上的偽色彩或者其自身上的彩色圖像)。此類圖像的示例在圖1到4中示出。圖1示出了PET SUV(正電子發(fā)射斷層攝影標(biāo)準(zhǔn)化攝取值)攝取值的圖像。正電子發(fā)射斷層攝影(PET)是產(chǎn)生身體中的機能過程的三維圖像的核醫(yī)學(xué)功能成像技術(shù)。該系統(tǒng)檢測由在生物活性分子上被引入身體中的正電子發(fā)射放射性核素(示蹤劑)間接發(fā)射的伽馬射線對。身體內(nèi)的示蹤劑濃度的三維圖像然后通過計算機分析來構(gòu)造。在現(xiàn)代PET-CT掃描儀中,三維成像經(jīng)常在同一機器中在CT X光掃描的輔助下完成,該CT X光掃描在同一環(huán)節(jié)期間對病患執(zhí)行。如果被選擇用于PET的生物活性分子是氟脫氧葡萄糖(FGD)(葡萄糖的相似體),則所成像的示蹤劑的濃度將藉由區(qū)域性葡萄糖攝取來指示組織代謝活動。使用該示蹤劑來探查癌癥轉(zhuǎn)移(即,擴散到其它部位)的可能性是標(biāo)準(zhǔn)醫(yī)療護理中最常見的PET掃描類型(當(dāng)前掃描中的90%)。然而,在少數(shù)基礎(chǔ)上,許多其它放射性示蹤劑在PET中用于對感興趣的許多其它類型的分子的組織濃度進行成像。
色彩被用來指示計算/測量出的特定數(shù)值,且在圖像近旁示出標(biāo)度以使得放射科醫(yī)師能通過將標(biāo)度與圖像中的色彩相比較來估計值。標(biāo)度中的虛線強調(diào)標(biāo)度的不同色彩。然而,只存在其中真可能從彩色圖像中推斷出量化數(shù)值的兩個范圍:值0.75左右以及1.75左右。對于其它值,在可見色彩中幾乎不存在任何可見區(qū)別,并因此難以準(zhǔn)確地以可見方式推斷出量化值。
圖2示出了用于對比度增強型MRI(磁共振成像)和CT(電腦斷層攝影)的量化動態(tài)圖像分析的計算。注意用于使得放射科醫(yī)師可能從彩色圖像中推斷出量化值的標(biāo)度。標(biāo)度中的虛線強調(diào)標(biāo)度的不同色彩。在此,標(biāo)度的藍色和綠色部分各自大于標(biāo)度的紅色部分。對于其它值,在可見色彩中幾乎不存在任何可見區(qū)別,并因此難以準(zhǔn)確地以可見方式推斷出量化值。此外,該標(biāo)度在感知上不統(tǒng)一,而是絕大部分由綠色和藍色組成。將所有色彩均等地分布在標(biāo)度上對于人類感知將會更好,這將改進可視地估計正被可視化的量化值的能力。
還有兩個示例在圖3和4中示出。這兩個圖像都是在超聲之上可視化附加量化信息的超聲圖像。在圖4中,該圖像涉及彈性影像超聲圖像。請注意在此使用的不同的色彩標(biāo)度/色彩編碼。同樣,在此標(biāo)度在感知上不是統(tǒng)一的。標(biāo)度中的虛線強調(diào)標(biāo)度的不同色彩。標(biāo)度包含比例如黃色或綠色更多的藍色和紅色。
當(dāng)前的現(xiàn)有技術(shù)使用公知的色彩編碼/色彩映射/色彩查找表(LUT)來將量化數(shù)值轉(zhuǎn)變?yōu)樯?。此類LUT的示例是火LUT、彩虹LUT、鐵水LUT、熱/加熱/黑體輻射色彩標(biāo)度……。這些圖像然后通常被存儲在特定色彩空間(CIE1931XYZ;CIELUV;CIELAB;CIEUVW;sRGB;Adobe RGB;ICC PCS;Adobe廣色域RGB;YIQ、YUV、YDbDr;YPbPr、YCbCr;xvYCC;CMYK;原始RGB三原色;……)中并且在顯示系統(tǒng)上可視化。有時(在理想情形中)存在色彩管理模塊(諸如ICC色彩管理模塊(CMM),該色彩管理模塊將處置特定色彩空間中的圖像到能在顯示系統(tǒng)上可視化的原始色值(RGB;RGBW;……)的適當(dāng)變換。但在許多情形中,生成圖像數(shù)據(jù)的應(yīng)用假定該數(shù)據(jù)將在顯示系統(tǒng)上用sRGB表現(xiàn)可視化并因此色彩數(shù)據(jù)僅僅被轉(zhuǎn)發(fā)至顯示系統(tǒng)。
被頻繁地用于可視化量化成像數(shù)據(jù)的色彩編碼/色彩映射/色彩LUT中的絕大部分在感知上不是線性的。這意味著輸入數(shù)據(jù)(正被可視化的量化值)中的相等階距將被轉(zhuǎn)換成被感知為不同幅度的階距的色值。這是不合乎需要的情況,因為這使得難以可視地從圖像中估計正在可視化的是什么確切量化值。這可以從例如圖1中觀察到,其中色彩標(biāo)度的綠色部分是主導(dǎo)的是清楚可見的,而事實上(在感知上線性的情形中)所有色彩都應(yīng)在感知上被等同地分布在標(biāo)度上以使得可視化的量化值能獨立于量化數(shù)據(jù)的確切值而被等同地、容易地、可視地估計出。此外,即使(在罕見情形中)使用將量化成像數(shù)據(jù)映射到在感知上線性的色值的合適色彩映射,在當(dāng)前的現(xiàn)有技術(shù)中甚至通常不計及顯示系統(tǒng)的(非線性)表現(xiàn),從而導(dǎo)致對可視化的色值的非線性感知。
在當(dāng)前的現(xiàn)有技術(shù)中,包括可視化應(yīng)用和顯示器的系統(tǒng)未被優(yōu)化成可視化量化色彩編碼數(shù)據(jù)。例如:
-現(xiàn)有技術(shù)未最大化地利用顯示系統(tǒng)的能力
-現(xiàn)有技術(shù)未計及人類感知以及感知到的對比度的最大化
-現(xiàn)有技術(shù)在感知上不是統(tǒng)一的,這意味著在標(biāo)度中存在比其它范圍更容易推斷出值的范圍。
已經(jīng)公開了關(guān)于以將表現(xiàn)為在其整個色域中在感知上是線性的方式校準(zhǔn)顯示器的顯示器校準(zhǔn)方法的論文,例如“Toward a Unified Colour Space for Perception-Based Image Processing”,Ingmar Lissner和Philipp Urban(關(guān)于圖像處理的IEEE學(xué)報,卷21,3期,2012年3月)。
在感知上線性的顯示系統(tǒng)的情況下,輸入信號中的相等距離也將導(dǎo)致可視化輸出的相等感知距離(例如由deltaE76、deltaE94、deltaE2000、DICOM GSDF JND、JNDMetrix等來定義)。因此在理論上,完美的感知上線性的顯示器解決了非最優(yōu)色彩標(biāo)度的問題(在使用適當(dāng)?shù)母兄暇€性的色彩標(biāo)度的條件下)。然而,在現(xiàn)有技術(shù)中,顯示器的感知線性通過限制顯示器的可尋址色域、亮度和對比度以使得能夠在這些降低的顯示器能力內(nèi)實現(xiàn)感知上線性的表現(xiàn)來實現(xiàn)。換言之:現(xiàn)有的感知上線性的彩色顯示器需要顯示器亮度、顯示器色域和顯示器對比度的嚴(yán)重妥協(xié)。實際上,更低的亮度/對比度/色域使這些顯示器不可用于許多應(yīng)用。
專利申請EP2620885A2公開了一種用于通過選擇圖像中的供改進的區(qū)域并將該區(qū)域內(nèi)的所有點映射到線性化標(biāo)度來改進醫(yī)學(xué)圖像以便于人類感知的方法。由此,EP2620885A2選擇要校準(zhǔn)的像素值范圍。該范圍之外的像素值通常被修剪為最小(黑色)或最大(白色)像素值。由此,由所選范圍之外的像素值表示的圖像特征將在應(yīng)用EP2620885A2的校準(zhǔn)后不再被可視化。EP2620885A2進一步解釋了范圍選擇可基于感興趣的特定身體部位來完成。例如,EP2620885A2描述了可選擇“血管”預(yù)設(shè)(范圍),該“血管”預(yù)設(shè)(范圍)將通過選擇對應(yīng)于“血管”的像素值范圍并將該范圍內(nèi)的像素值映射到經(jīng)優(yōu)化的標(biāo)度來增強血管的可視化。然而,當(dāng)選擇了“血管”時,感知到在所選范圍之外的圖像特征將會是不可能的,因為這些圖像特征全都將被映射到單個像素值。因此,例如當(dāng)選擇了“血管”范圍時,感知到身體中的骨頭的特征將會是不可能的(因為血管和骨頭通常由分開范圍的像素值組成)。
根據(jù)現(xiàn)有技術(shù)的色彩標(biāo)度的可視化的缺點可通過調(diào)查范圍從紅色到黃色的常用色彩標(biāo)度來闡示。常用的感知上線性的度量例如是deltaE2000。
圖5示出了當(dāng)在標(biāo)準(zhǔn)sRGB顯示器上以及在DICOM GSDF校準(zhǔn)型顯示器上可視化時的“紅色到黃色”色彩標(biāo)度的感知線性。可以看到,在整個標(biāo)度中,sRGB和DICOM GSDF校準(zhǔn)型顯示器上的可視化都未導(dǎo)致感知上線性的表現(xiàn)。這可以從deltaE2000階距不是恒定的、而是在整個色彩標(biāo)度上變化的事實中看到。請注意,這顯示不管使用DICOM GSDF校準(zhǔn)型顯示器(這意味著該顯示器已被校準(zhǔn)為具有針對灰度級的感知上線性的表現(xiàn))的事實,常用的色彩標(biāo)度的色彩表現(xiàn)仍然是高度非感知上線性的。
如果顯示器將被校準(zhǔn)(用來自現(xiàn)有技術(shù)的方法)為是完美的感知上線性的,則deltaE2000階距將在整個標(biāo)度上是恒定的,但將存在顯示系統(tǒng)的亮度、對比度和色彩飽和度的顯著損失。出現(xiàn)該損失的原因是由于以完美的感知上線性(例如,deltaE2000)的校準(zhǔn)為目標(biāo)的特質(zhì):這導(dǎo)致(當(dāng)在感知上線性的空間中可視化時)嘗試在顯示器的總色域內(nèi)定位盡可能大的立方體。這將會如同在圖6中的色彩空間中擬合立方體,并且其中顯示器表現(xiàn)然后被限于立方體內(nèi)的區(qū)域。這將導(dǎo)致色域、亮度和對比度的巨大損失。
概述
本發(fā)明的目標(biāo)是提供圖像校準(zhǔn)的替代方法,尤其是包括多個色彩標(biāo)度的圖像校準(zhǔn),以及諸如量化醫(yī)療成像之類的量化成像,或者提供用于顯示圖像的顯示設(shè)備或系統(tǒng),或者顯示器的控制器,或者用于啟用圖像校準(zhǔn)的軟件,或者可視化應(yīng)用和顯示器。
因此,本發(fā)明提供了一種用于處理圖像的方法,包括以下步驟:
-選擇色彩空間中的至少一個軌跡
-定義主要提高屬于該至少一個軌跡的連續(xù)點的感知線性的變換,以及
-對圖像應(yīng)用變換。
這具有感知線性可被限于該軌跡或主要被限于該軌跡的優(yōu)點。
“軌跡”是現(xiàn)有色彩空間內(nèi)的被選擇(例如,基于要研究的圖像)的有序路徑。以此方式,可做出線性化以對較不感興趣的色彩點具有較少的影響以使得顯示器性能(例如,(峰值)亮度)受到較少影響。
當(dāng)對圖像應(yīng)用變換時,不屬于所選的一個或多個軌跡的點可以保持不變。校準(zhǔn)將不會減小或顯著減小顯示器亮度、對比度或色域。由于該軌跡不包括色彩空間中的所有點,因此校準(zhǔn)將不會顯著地減小顯示器亮度、對比度或色域。在該一個或多個軌跡之外,顯示器可保持原生地校準(zhǔn)或根據(jù)醫(yī)療成像的常規(guī)標(biāo)準(zhǔn)校準(zhǔn)。此類標(biāo)準(zhǔn)可以例如是sRGB、DICOM GSDF……。具體而言,不屬于軌跡的點可被重新分布以降低不連續(xù)性。可使用插值(線性、雙線性、三次、雙三次、樣條……)來重新分布軌跡之外的某些點。軌跡上的重新分布的點被固定并且另外還固定某些其它點(例如,色域的外邊界上的點,或者例如屬于主色或次色的點……),并且其中通過插值來生成居間點。這將導(dǎo)致降低不連續(xù)性,因為插值還將造成平滑/過濾效果。
軌跡之外的重新分布可基于質(zhì)量彈簧系統(tǒng)(其中例如軌跡上的重新分布的點被固定,并且其中還固定色彩空間的邊界上的點)或者通過平滑/過濾操作(其中軌跡上的點的鄰域內(nèi)的點也為了線性而被稍加處理)來完成。
量化成像是從醫(yī)療圖像中提取可量化特征以用于評估正常狀況或嚴(yán)重性、變化程度或者疾病狀態(tài)、傷情或相對于正常的慢性病狀況。量化成像包括對解剖、機能和分子成像獲取程序、數(shù)據(jù)分析、顯示方法以及報告結(jié)構(gòu)的開發(fā)、標(biāo)準(zhǔn)化和優(yōu)化中的任一者。這些特征準(zhǔn)許用包括治療反應(yīng)和結(jié)果的解剖學(xué)和生理上相關(guān)的參數(shù)來驗證準(zhǔn)確且精確獲取的圖像導(dǎo)出的度量,并且將這些度量用于研究和病患護理。
至少一個軌跡可包含具有不同色點的點。色彩空間可以是任何合適的色彩空間,諸如sRGB、aRGB、原始RGB、Lab、ICC PCS之一。
至少一個軌跡可以只包含主色或次色的點。例如,至少一個軌跡可對應(yīng)于色彩標(biāo)度。
本發(fā)明在一方面涉及一種用于校準(zhǔn)顯示設(shè)備以進行量化成像的方法,所述顯示設(shè)備具有色域,
該方法包括:
選擇色彩空間中的至少一個軌跡;
定義主要提高屬于該至少一個軌跡的連續(xù)點的感知線性的變換;
對顯示設(shè)備應(yīng)用變換,
使得顯示器的色域中存在不在軌跡中但用于可視化圖像的一部分的色點。
顯示器的色域中的不在軌跡中的色點例如大部分可保持不變或者可被修改到不同于軌跡的路線,以使得較不重要(未被用來可視化量化成像數(shù)據(jù))的色彩絕大部分保持不變。
該方法可包括選擇至少一個軌跡以最大化沿該軌跡的最小可覺差的數(shù)目。該至少一個軌跡在色彩空間中是分段線性的或者在色彩空間中是非線性的。
該至少一個軌跡可包含對應(yīng)于量化值的不同層級的諸色彩。這些色彩可沿著軌跡基于量化值的升序或降序值來排序。量化值可涉及(但不必限于)分子濃度、染色反應(yīng)、示蹤劑濃度、物質(zhì)濃度、靶分子濃度、分子活性、代謝活性、材料剛度、材料強度、材料特性、生物標(biāo)記值等。對軌跡的選擇可基于基準(zhǔn)圖像或校準(zhǔn)圖像來完成。
該至少一個軌跡可針對每一圖像單獨選擇。這提供了能以最優(yōu)的方式處理每一圖像的優(yōu)點。例如,至少一個軌跡可基于圖像類型或圖像特性來選擇。這允許相對于圖像類型的優(yōu)化。例如,圖像可以是數(shù)字病理圖像,且至少一個軌跡基于該數(shù)字病理圖像中所使用的特定染色劑或者該數(shù)字病理圖像的特定次??苼磉x擇。例如,至少一個軌跡可基于將被顯示在顯示系統(tǒng)上的典型圖像的特性或類型來選擇。例如,圖像可以是數(shù)字病理圖像,且至少一個軌跡基于與對抗原的不同濃度的染色反應(yīng)相對應(yīng)的色值,或者圖像可以是醫(yī)學(xué)圖像且至少一個軌跡基于與對造影劑或示蹤劑的反應(yīng)的不同漸變相對應(yīng)的色值。
感知線性可例如通過CIE76、CIE94、CIEdeltaE2000、DICOM GSDF之一來量化。
可擴展該方法,以使得選擇至少兩個不同的軌跡,而不是一個軌跡。例如,可使用對應(yīng)于至少兩個所選軌跡的至少兩個不同的感知線性度量。然而,根據(jù)本發(fā)明的實施例,即使存在不止一個或不止兩個不同的軌跡,色域中也始終存在位于這些軌跡之外的某些部分。
作為示例,一個所選軌跡可對應(yīng)于中性灰度級,并且其中針對該中性灰度級的感知線性通過DICOM GSDF來評估。
作為進一步的優(yōu)化,變換可計及顯示系統(tǒng)的特性。
為了提供良好的性能,所定義的變換可分別保留色域和/或亮度和/或?qū)Ρ榷鹊闹辽?5%、至少90%、至少80%、至少70%。
該方法可具有各種實現(xiàn),諸如由CPU、GPU、DSP、FPGA或ASIC或等效物中的任一者或任意組合來應(yīng)用變換。為了提供對特定應(yīng)用的增加的適配,變換可以部分地在CPU上應(yīng)用且部分地在GPU或FPGA上應(yīng)用。變換可使得不是軌跡的一部分的點具有其原生顯示校準(zhǔn)或根據(jù)用于醫(yī)療成像的常規(guī)標(biāo)準(zhǔn)來校準(zhǔn)。此類標(biāo)準(zhǔn)可以例如是sRGB、DICOM GSDF……。由此,點未被迫使處于極值,諸如黑色或白色。為了提供平滑轉(zhuǎn)變,變換可適配不是軌跡的一部分的點以使得獲得增加的連續(xù)表現(xiàn)。為了允許容易且經(jīng)濟的實現(xiàn),變換可將不是軌跡的一部分的點適配成使其符合諸如伽馬或sRGB等另一標(biāo)準(zhǔn)。
為了提供良好的質(zhì)量,至少一個所選色彩標(biāo)度可以是最大化計算出的最小可覺差的數(shù)目(當(dāng)這是為沿著相同的軌跡的一組色彩標(biāo)度計算時)的色彩標(biāo)度。
至少一個所選軌跡可具有更高的維數(shù)。例如,軌跡的每一維度可對應(yīng)于不同的量化值。軌跡的每一維度可對應(yīng)于例如不同示蹤劑的濃度或染色反應(yīng)或不同分子的濃度或不同抗原的濃度或不同抗體的濃度。
本發(fā)明的一個或多個實施例的目標(biāo)是使得諸如deltaE2000值之類的感知距離對于所選標(biāo)度在整個標(biāo)度內(nèi)恒定。在所選標(biāo)度之外,諸如deltaE2000值之類的感知距離可以與顯示器的原生表現(xiàn)相類似地變化,該原生表現(xiàn)經(jīng)常類似sRGB或者可根據(jù)用于醫(yī)療成像的不同的常規(guī)標(biāo)準(zhǔn)來校準(zhǔn)。此類標(biāo)準(zhǔn)可以例如是DICOM GSDF……。換言之:根據(jù)本發(fā)明的實施例,屬于一個或多個所選色彩標(biāo)度的顏色將會是感知上線性化的,而在所選色彩標(biāo)度之外的顏色將主要保持不變。這是兩全其美的:對于正用于可視化重要信息(例如,量化成像數(shù)據(jù))的顏色,將存在所需的感知上線性的表現(xiàn),而與此同時顯示器的色域、亮度和對比度由于較不重要的顏色(未被用于可視化量化成像數(shù)據(jù))絕大部分保持不變而絕大部分被保留。
用于可視化量化色彩編碼數(shù)據(jù)的可視化應(yīng)用和/或顯示器的優(yōu)點是以下之一、某一些或全部:
-對顯示系統(tǒng)的能力的改進的使用
-計及人類感知且對感知到的對比度的改進
-圖像的至少某些部分是感知上統(tǒng)一的,這意味著在標(biāo)度中存在更少的或不存在比其它范圍更容易推斷出值的范圍。
-對顯示器的可尋址色域、亮度和對比度作更少限制以使得存在更少的顯示器能力損失,同時維持感知上線性的表現(xiàn)
-顯示器亮度、顯示器色域和/或顯示器對比度的更少損失
-由所選范圍之外(例如在一個或多個軌跡之外)的像素值表示的圖像特征仍將在校準(zhǔn)后可視化,顯示器可以保持原生校準(zhǔn)或根據(jù)用于醫(yī)療成像的常規(guī)標(biāo)準(zhǔn)來校準(zhǔn)。此類標(biāo)準(zhǔn)可以例如是sRGB、DICOM GSDF……。
-大量點未被迫使處于極值,諸如黑色或白色。
本發(fā)明還提供了如下所述的系統(tǒng)。本發(fā)明還提供了當(dāng)在合適的處理引擎上執(zhí)行時執(zhí)行如下所述的本發(fā)明的各方法實施例中的任一個的軟件。本發(fā)明提供了用于顯示圖像的顯示設(shè)備、或者顯示器的控制器、或者用于實現(xiàn)圖像校準(zhǔn)的軟件、或者可視化應(yīng)用和顯示器。本發(fā)明還提供了顯示在顯示設(shè)備上的圖像。
附圖簡述
圖1示出了常規(guī)量化成像的示例。
圖2示出了常規(guī)量化成像的示例。
圖3示出了常規(guī)量化成像的示例。
圖4示出了常規(guī)量化成像的示例。
圖5示出了根據(jù)sRGB和DICOM GSDF的常規(guī)顯示器校準(zhǔn)如何不是感知上線性的示例。
圖6示出了常規(guī)校準(zhǔn)將如何減小色域。
圖7示出了具有本發(fā)明的實施例的方法感知距離的不同步驟的流程圖。
圖8a到8e(算法)示出了本發(fā)明的實施例的方法的步驟1的更詳細的實現(xiàn)。
圖9示出了供在本發(fā)明的實施例中使用的色彩標(biāo)度和相應(yīng)軌跡的示例。
圖10示出了彩色PET/CT圖像的示例。
圖11a和11b示出了火/冰色彩標(biāo)度的特定示例。
圖12示出了數(shù)字病理學(xué)的基準(zhǔn)/校準(zhǔn)載片的示例(富上電子影像有限公司(FFEI limited)、用于校準(zhǔn)評估載片的FFEI提議;ICC MIWG,用于組織病理學(xué)任務(wù)組的校準(zhǔn)載片;Teleconference,2014年1月21日15:00(UK)/10:00(EST);http:www.color.org/groups/medical/Minutes_Jan_2014_Calibration-Slide-Histopat h.pdf)。
詳細描述
將針對具體實施例且參考特定附圖來描述本發(fā)明,但是本發(fā)明不限于此而僅由權(quán)利要求書定義。本發(fā)明的實施例找到了成像技術(shù)(例如,量化成像)中的有用應(yīng)用。
圖7示出了具有本發(fā)明的實施例的不同步驟的流程圖。作為第一步驟,選擇色彩空間中的一個或多個軌跡。色彩空間可以是例如(但不限于)CIE 1931XYZ;CIELUV;CIELAB;CIEUVW;sRGB;Adobe RGB;ICC PCS;Adobe廣色域RGB;YIQ、YUV、YDbDr;YPbPr、YCbCr;xvYCC;CMYK;原始RGB三原色;……。軌跡是經(jīng)過色彩空間的路徑。該軌跡可以是連續(xù)路徑或不連續(xù)路徑、線性路徑、分段路徑或非線性路徑、多維路徑、連續(xù)多維路徑、或分段多維路徑。在本發(fā)明的任一或某些或所有實施例中,“軌跡”是現(xiàn)有色彩空間內(nèi)的有序路徑。該軌跡可基于要研究的圖像來選擇。以此方式,線性化可針對圖像的技術(shù)要求進行適配,并且它將要傳達的信息將以更好的方式呈現(xiàn)。例如,線性化可被布置成對較不感興趣的色彩點具有較少的影響以使得顯示器性能(例如,(峰值)亮度)受到較少影響。
在圖9中示出了軌跡的一個示例。在該情形中,色彩空間是RGB圖像空間,且軌跡是從青色到黑色到黃色的曲線。軌跡可以是連續(xù)或不連續(xù)的。軌跡可以是一維的(例如,但不限于經(jīng)過色彩空間的直線或曲線),或者軌跡可以是更高維度的。在更高維度軌跡的情形中,軌跡可以具有等于色彩空間的維數(shù)的最大維度。例如:在三維色彩空間(例如,sRGB)的情形中,軌跡可以是二維對象(例如但不限于:色彩空間中的平面、色彩空間中的多個連接平面、色彩空間中的曲面等),或者軌跡可以是三維對象(例如但不限于:立方體、矩形棱柱體、三棱柱、三棱錐或四面體、正方錐、圓柱體、圓錐體、球體、具有彎曲邊界的3D對象等)。軌跡具有與其相關(guān)聯(lián)的次序,這意味著(例如,在色彩空間中的一維線的示例中)該線具有起點和終點,并且對于每一點確定一個點是否在另一點之前(或者相反)是可能的。換言之:屬于該軌跡的所有點可被排序。在更高維度軌跡的示例中,屬于該軌跡的點的這一排序可以沿著不同維度完成。例如:在三維色彩空間中的二維軌跡的情形中,軌跡本身包括兩個維度。二維軌跡上的每一點可通過對應(yīng)于該軌跡的兩個維度的兩個坐標(biāo)來標(biāo)識。換言之:二維軌跡上的每一點可由有序坐標(biāo)系中的兩個坐標(biāo)來標(biāo)識。由此,計算軌跡上的兩個點之間的距離也是可能的。如之前解釋的,可選擇多個軌跡。這些軌跡可具有相同或不同的維數(shù),并且所選軌跡可以是互斥的(非交疊)或者可以部分地交疊。每一軌跡可具有其自己的排序,這意味著如果兩個點(稱其為點1和點2)屬于兩個不同軌跡(稱其為a和b),則對于軌跡a而言點1可以在點2之前,而對于軌跡b而言點2可以同時在點1之前。
用作軌跡的色彩標(biāo)度還可基于顯示系統(tǒng)的特性來選擇,諸如舉例而言顯示系統(tǒng)的色彩表現(xiàn)的示例先驗知識。例如:一些顯示系統(tǒng)在其色域的一部分中具有比其色域的其它部分更飽和的色彩。例如對于這一顯示器,紅色和綠色主色可以比藍色主色更飽和。在這一情形中,選擇利用飽和的紅色和綠色的色彩標(biāo)度并避免使用較不飽和的藍色的標(biāo)度可以是有益的。色彩標(biāo)度的選擇能夠以最大化沿著整個軌跡的總JND(最小可覺差)的方式完成。由此,可選擇具有沿其軌跡的最高數(shù)目的JND的色彩標(biāo)度。
計算這些JND以及該選擇過程可通過例如其中計算并比較沿著大量不同的軌跡的JND的蠻力方法來完成??商砑舆吔鐥l件以避免不合適的隨機軌跡。不合適的特性可包括隨機軌跡擺動太多或者不遵循單色調(diào)方向,但應(yīng)不限于此。
圖7所示方法的第二步驟包括定義提高屬于所選軌跡的點的感知線性的變換。所定義的變換主要提高所選軌跡的感知線性,同時使得不屬于所選軌跡的點絕大部分保持不變。由此,盡管對于不屬于所選軌跡的某些點感知線性也被提高是可能的(作為所應(yīng)用的變換的副作用),但對于屬于所選軌跡的點感知線性的提高程度將或能比不屬于所選軌跡的點高得多。所定義的變換將以不屬于所選軌跡的點對應(yīng)于所需表現(xiàn)(諸如對應(yīng)于sRGB、aRGB、伽馬曲線或其它表現(xiàn))的方式改變這些點也是可能的。如上所示,絕大部分提高屬于所選軌跡的點的感知線性(且不提高或較少地提高不屬于所選軌跡的點的感知線性)的優(yōu)點在于圖像和/或顯示器的色域/對比度/亮度能被絕大部分地保留。例如:通過應(yīng)用圖7的方法,分別保留圖像和/或顯示器的例如100%、90%、85%、80%、70%的色域/對比度/亮度是可能的。保留與色域不同程度的例如不同亮度也是可能的。例如,可能保留100%的亮度,而只保留90%的色域以及95%的對比度。
所定義/應(yīng)用的確切變換并非是對本發(fā)明的限制。存在可被定義并且生成上述所需表現(xiàn)的多個可能的變換,所有這些可能的變換是本發(fā)明的實施例。一個實施例例如是在至少一個所選軌跡上重新分布點以使得感知距離(例如,以deltaE2000為單位表達)變得更均等。這能以各種方式實現(xiàn),例如通過質(zhì)量彈簧系統(tǒng)、三角測量技術(shù)、窮盡式搜索/LUT創(chuàng)建或任何其它方便的方法。用于計算感知線性的一個或多個確切度量不應(yīng)被視作對本發(fā)明的限制。示例可以是DeltaE2000、Lab空間中的距離、色彩JND距離等,或者可以是此類度量中的兩者或更多者的組合(例如,取決于顯示器或圖像色域中的確切位置)。
作為本發(fā)明的實施例的重新分布點的一種特定方式包括首先計算感知距離階距(例如,整個軌跡上可用的deltaE2000單元)的總數(shù)(通過計算每一對連續(xù)點之間的感知距離(諸如deltaE2000距離)并對這些距離求和以獲得總距離)。其次,每一對連續(xù)點之間的距離需要是什么將被計算出以獲得感知上線性的表現(xiàn)(這將例如通過將總感知距離(諸如deltaE2000距離)除以將被放置在軌跡上的“點數(shù)減一”來完成)。最后,然后將在軌跡上重新分布點以使得每一對連續(xù)點之間的感知距離(諸如deltaE2000距離)變得更均等且理想地變得完全相等。通過執(zhí)行該規(guī)程,一個或多個軌跡將表現(xiàn)得感知上線性得多,而不在該軌跡上的點例如將保持不變并因此圖像和/或顯示器的色域/亮度/對比度將(絕大部分)保持不變。這種完成方式造成軌跡的邊界/邊緣處的不連續(xù)性,因為在被變換的點與根本未被變換的其它點之間存在突變。因此,能實現(xiàn)更好的方式來避免這些不連續(xù)性,這些方式被包括為本發(fā)明的實施例。一種這樣的可能方式(即,本發(fā)明的實施例)是使用質(zhì)量彈簧系統(tǒng)。在該情形中,軌跡上的點(已經(jīng)被感知上線性化)被固定,而不屬于所選軌跡的點將使用質(zhì)量彈簧系統(tǒng)來重新分布以減少/移除不連續(xù)性。此外,為了保留圖像和/或顯示器的整個色域/亮度/對比度,圖像和/或顯示器的色域的外邊界在應(yīng)用質(zhì)量彈簧系統(tǒng)時也可被固定。通過這樣做,圖像和/或顯示器的外邊界將不改變(并因此色域/亮度/對比度將不改變),而且軌跡本身被固定,諸如以便保持提高的感知線性通過重新分布實現(xiàn),并且圖像和/或顯示器色域中的其它點也可通過質(zhì)量彈簧系統(tǒng)來重新分布以獲得更連續(xù)的表現(xiàn)。
最后,圖7所示的方法的第三步驟包括或包含對至少一個圖像應(yīng)用所定義的變換。注意,在本發(fā)明的實施例中,變換的輸入色彩空間可以是與該變換的輸出色彩空間相同或不同的。合適的變換是本發(fā)明的實施例。例如:變換可將sRGB圖像取作輸入,而該變換的輸出可以是被直接發(fā)送到顯示系統(tǒng)的原始RGB值。替換地,變換可將aRGB取作輸入和輸出色彩空間兩者。還注意,在本發(fā)明的實施例中,其中已經(jīng)定義軌跡的色彩空間可以是與變換的輸入和/或輸出色彩空間相同或不同的。例如,軌跡可以在Lab色彩空間中定義,而變換可將sRGB用作輸入和輸出色彩空間。
圖8a、8b、8c、8d和8e闡明了如何可完成對至少一個軌跡的選擇的具體實施例。
圖8a使用色彩標(biāo)度來選擇軌跡。在步驟1.1中,標(biāo)識用于需要被可視化的圖像或在該圖像中使用的至少一個色彩標(biāo)度(例如但不限于火LUT、彩虹LUT、鐵水LUT、熱/加熱/黑體輻射色彩標(biāo)度等)。該標(biāo)識可以例如通過分析/檢查該圖像并檢測哪個(哪些)色彩標(biāo)度已被用來生成該圖像來完成。尤其在色彩標(biāo)度本身是圖像的一部分時(如在其中標(biāo)度始終被示為在圖像近旁的圖1-4中那樣),本發(fā)明的實施例包括通過圖像分析自動檢測色彩標(biāo)度的存在,并標(biāo)識使用哪一個特定色彩標(biāo)度。替換地,作為附加實施例,在某些情形中即使色彩標(biāo)度本身未被顯示在圖像中也通過圖像處理來檢測圖像中使用哪一個色彩標(biāo)度是可能的。各種方法(例如,基于直方圖分析)允許檢測哪一個映射被用來將量化數(shù)據(jù)值變換成色值,并且被包括為本發(fā)明的實施例。
替換地,用戶可被請求手動選擇在圖像中使用的色彩標(biāo)度。
替換地,本發(fā)明還延伸到可以在任何合適的處理引擎上運行的軟件和軟件應(yīng)用。這一軟件應(yīng)用可通過諸如API等合適的例程來就該軟件應(yīng)用用來渲染圖像的色彩標(biāo)度進行查詢。這可以例如通過應(yīng)用編程接口(API)來完成。
替換地,可以在圖像的報頭或元數(shù)據(jù)字段中存在關(guān)于被用來渲染圖像的色彩標(biāo)度的信息。例如,一些圖像帶有包含包括例如如何渲染圖像在內(nèi)的關(guān)于圖像的附加信息的擴展報頭(例如但不限于DICOM報頭、ICC簡檔等)。該元數(shù)據(jù)或報頭信息還可以在每個設(shè)備(例如,對于生成圖像的每一特定設(shè)備)而不是在每個圖像的基礎(chǔ)上提供。檢查該報頭信息或元數(shù)據(jù)信息可揭示哪個(哪些)色彩標(biāo)度被用來渲染圖像。一旦已經(jīng)選擇色彩標(biāo)度,對于每一所選色彩標(biāo)度就(在所選色彩空間中)生成對應(yīng)于該色彩標(biāo)度的軌跡。如上所示,色彩標(biāo)度(和對應(yīng)的軌跡)可以是比單維更高的維度。這一更高維度色彩標(biāo)度的示例是二維色彩標(biāo)度,其中第一維度調(diào)制亮度,而第二維度調(diào)制色點。
另一示例在圖10中給出。圖10的右手側(cè)示出了基于兩個單獨圖像(左側(cè)的PET圖像、中間的CT圖像)創(chuàng)建的彩色醫(yī)療圖像(PET/CT融合圖像)。右側(cè)的彩色圖像是通常被可視化的圖像。圖10的右側(cè)PET/CT圖像使用二維色彩標(biāo)度,其中一個維度對應(yīng)于底層CT圖像,并且其中另一維度對應(yīng)于底層PET圖像。
圖8b描述了作為本發(fā)明的實施例的選擇一個或多個軌跡的另一特定實現(xiàn)。在該情形中,選擇將基于用于特定圖像或特定顯示器的色彩標(biāo)度的典型用途。例如,特定圖像使用特定色彩標(biāo)度是公知的。例如,一些應(yīng)用(以及由此的圖像類型)通常可使用火/冰色彩標(biāo)度,而其它應(yīng)用(以及由此的圖像類型)通常可使用彩虹色彩標(biāo)度。在這一情形中,系統(tǒng)可基于圖像或者正使用圖像的應(yīng)用的類型來確定/預(yù)測可能正在使用什么色彩標(biāo)度。該色彩標(biāo)度(或這些色彩標(biāo)度)然后可被選擇。類似的原理可用于顯示系統(tǒng)。存在專業(yè)顯示系統(tǒng)是公知的(尤其在醫(yī)療成像中),這意味著一些顯示器經(jīng)常只用于一個或有限數(shù)目的專業(yè)應(yīng)用(諸如乳腺攝影、病理學(xué)等)。在該情形中,基于顯示器針對使用的應(yīng)用(以及因此的顯示器類型),將可能使用什么色彩標(biāo)度可被確定/預(yù)測。該色彩標(biāo)度(或這些色彩標(biāo)度)然后可被選擇。
圖8c描述了根據(jù)本發(fā)明的實施例的選擇一個或多個軌跡的另一特定實現(xiàn)。在其中圖像質(zhì)量和/或圖像一致性是重要的許多應(yīng)用中,系統(tǒng)被校準(zhǔn)和/或包含特定(經(jīng)常是已知的)特征的基準(zhǔn)或測試圖像被取得。示例是數(shù)字乳腺攝影,其中周期性地取得測試圖像以驗證數(shù)字乳腺攝影檢測器仍然工作良好。這些測試圖像通常包括已知幻影或目標(biāo)的成像以使得該圖像可以與所預(yù)期的樣子相比較。另一示例是數(shù)字病理學(xué),其中周期性地掃描具有已知圖樣的“參考載片”。這一參考載片的示例在圖12中示出。圖12所示的參考載片包括多個區(qū)域或特征。最相關(guān)的是右側(cè)的“中性區(qū)域”(‘6條帶組合產(chǎn)生15個不同的中性密度區(qū)域’)以及右側(cè)的“H&E染色區(qū)域”(‘6個蘇木精和6個伊紅帶組合產(chǎn)生48個不同的H&E染色劑組合的陣列)。該“H&E染色區(qū)域”與對于數(shù)字病理學(xué)圖像是相關(guān)的二維色彩標(biāo)度相對應(yīng)。因此,通過觀察“H&E染色區(qū)域”中的色彩,能夠直接為該圖像創(chuàng)建相關(guān)的二維色彩標(biāo)度。該H&E染色區(qū)域占據(jù)了病理學(xué)載片相當(dāng)大的區(qū)域。因此,優(yōu)化可以是限制H&E染色區(qū)域中的斑塊的數(shù)目?;谠撚邢迶?shù)目的斑塊,能夠推斷出所省略的斑塊的色值、整個相關(guān)色彩標(biāo)度以及軌跡。在極端情況下,對于蘇木精只能包括單個參考斑塊,且對于伊紅只能包括單個斑塊,并將其用作生成色彩標(biāo)度和軌跡的基礎(chǔ)。所省略斑塊的色彩的生成(以及因此的色彩標(biāo)度和軌跡的生成)可通過計及關(guān)于H&E的不同濃度的色彩表現(xiàn)的已知信息來完成。因此,換言之:如果知曉(基于例如但不限于理論知識或基于先前測得的數(shù)據(jù)或先前測量的載片或染色區(qū)域)H&E的色彩如何根據(jù)濃度來表現(xiàn),則與其相對應(yīng)的一個或有限數(shù)目的所測量的色點能夠足以因變于濃度來生成色點的整個曲線。
盡管以上示例提及特定H&E染色劑,但也可以在染色區(qū)域中使用其它染色劑并且染色區(qū)域也可包括不同數(shù)目的染色劑(例如但不限于一個、兩個、三個、四個等)是清楚的。
請注意,“校準(zhǔn)或基準(zhǔn)圖像”可以是單獨圖像(如在圖12的情形中),或者它可以是作為需要被可視化的實際圖像的一部分的區(qū)域。在單獨圖像的情形中,校準(zhǔn)或基準(zhǔn)圖像可被存儲以使得該圖像可以在一時間段內(nèi)重用。例如,只能一天取得校準(zhǔn)/基準(zhǔn)圖像一次。在該情形中,圖8c的步驟1.1可對應(yīng)于從存儲中檢索基準(zhǔn)圖像。替換地,如果基準(zhǔn)/校準(zhǔn)圖像仍不可用或者如果所存儲的基準(zhǔn)/校準(zhǔn)圖像太舊,則步驟1.1可對應(yīng)于實際上取得/創(chuàng)建新基準(zhǔn)/校準(zhǔn)圖像。單個基準(zhǔn)/校準(zhǔn)圖像可包含僅僅一個或多個特征。這些特征不一定需要直接對應(yīng)于色彩標(biāo)度。相關(guān)特征需要被進一步處理以推導(dǎo)出底層色彩標(biāo)度是非常有可能的。在該情形中,圖8c的步驟1.3可被“基于所標(biāo)識的相關(guān)特征來確定相關(guān)色彩標(biāo)度”替換。還注意,圖8c的步驟1.4可涉及插值。的確,在基準(zhǔn)/校準(zhǔn)圖像中包括色彩標(biāo)度的所有可能的色彩梯度經(jīng)常是不實際的。因此,可決定只包括色彩標(biāo)度的色彩梯度的子集。丟失的色彩梯度然后能例如通過插值技術(shù)來生成以使得能生成整個色彩標(biāo)度。
圖8d描述了作為本發(fā)明的實施例的選擇一個或多個軌跡的又一特定實現(xiàn)。在該情形中,從圖像中提取對應(yīng)于量化值的不同層級的相關(guān)區(qū)域或特征。這可以在本發(fā)明的任意實施例中完成。在數(shù)字病理學(xué)圖像的情形中,這些量化值可對應(yīng)于例如特定分子、示蹤劑、抗體、抗原或物質(zhì)的濃度。在PET或SPECT圖像中,量化值可對應(yīng)于例如示蹤劑或目標(biāo)的分子活性或濃度。在一般的量化成像中,量化值可對應(yīng)于(計算出或測量出的)生物標(biāo)記值。在一般的成像中,量化值可對應(yīng)于材料、組織或物質(zhì)的剛度、強度、透射率、吸收性、溫度、濕度等。一旦對應(yīng)于量化值的不同層級的區(qū)域/特征已被標(biāo)識,這些區(qū)域/特征的色點就被觀察到。在這些色點的基礎(chǔ)上,創(chuàng)建軌跡,該軌跡以對應(yīng)于相應(yīng)量化值的遞減或遞增層級的次序包含這些色點。請注意,一個圖像可視化多個量化值(或換言之:一個圖像可視化更高維度的量化值)是可能的。在該情形中,正被創(chuàng)建的軌跡也將是更高維度的。如以上解釋的,如果只有有限數(shù)目的量化值層級被標(biāo)識,則可使用插值來生成量化值之間的色點。
最后,圖8c示出了根據(jù)本發(fā)明的實施例的能如何選擇一個或多個軌跡的最后一個示例。圖8e是圖8c和8d的變體/組合。在該情形中,對應(yīng)于量化值的不同層級的特征/區(qū)域不從圖像本身中提取,而是從基準(zhǔn)或校準(zhǔn)圖像中提取。同樣在此,基準(zhǔn)或校準(zhǔn)圖像可被存儲或檢索以供稍后使用,或者可以針對每一單獨圖像被再次取得/創(chuàng)建?;鶞?zhǔn)/校準(zhǔn)圖像在該情形中也可以是圖像本身的一部分。
實現(xiàn)的示例以及實施例
之后是本發(fā)明的實施例的實現(xiàn)的示例。
第一示例遵循圖8a或圖8b中描述的特定方法。假設(shè)圖11a中所示出的色彩標(biāo)度已被標(biāo)識為正用于圖像可視化。根據(jù)步驟1.2(圖8a和8b),然后需要標(biāo)識對應(yīng)于該色彩標(biāo)度的軌跡。這可通過檢查對應(yīng)于色彩標(biāo)度的不同梯度的色值來完成。這些色值已經(jīng)在圖11a的底部示出。這些色值在原始RGB值色彩空間中可視化。如可以看到的,這些值從青色通過黑色到黃色。通過檢查色彩標(biāo)度本身,可以清楚地看到值的次序的確是開始于青色、通過藍色、到黑色、到紅色、最后到黃色。因此,與色彩標(biāo)度相對應(yīng)的軌跡是分段線性的,且包含從青色、到藍色、到黑色、到紅色、到黃色的色值。然后選擇該軌跡。
請注意,如果該色彩標(biāo)度將通過現(xiàn)有技術(shù)可視化,則該色彩標(biāo)度將看上去像在圖11a中那樣。請注意,該標(biāo)度在感知上不是線性的。這可以例如從以下事實中看到:盡管輸入數(shù)據(jù)中的從點1到點2的距離僅僅是整個標(biāo)度的四分之一,但在感知到的標(biāo)度中該距離幾乎占據(jù)了感知到的標(biāo)度的一半。而且,可以清楚地看到可視化“青色”和“黃色”的不同陰影幾乎是不可能的,這也指示色彩標(biāo)度在感知上不是線性的。
根據(jù)圖7的步驟2,然后將定義變換以提高屬于所選色彩標(biāo)度的連續(xù)點的感知線性。這如下完成:對于所選軌跡上的每一對連續(xù)點,計算deltaE2000距離。對所有這些距離求和并且計算該軌跡的各對連續(xù)點之間的平均距離。將被定義的變換將在軌跡上重新分布點以使得軌跡上的每一對連續(xù)點具有相等的deltaE2000距離。請注意,由于位深度的限制(色彩空間的準(zhǔn)確性、量化誤差等)和/或由于顯示系統(tǒng)的限制(位深度、量化誤差),完美的等距離可能是不可行的,并且deltaE2000距離的小差別保持到重新分布后,同時提供線性化的增加。由此,在這一情形中,定義提高(例如,主要提高)屬于至少一個軌跡的連續(xù)點的感知線性的變換。該變換可采取查找表(LUT)的形式,或者可通過數(shù)學(xué)公式來定義。所定義的變換的效果在圖11b中示出。如可以看到的,軌跡上的點已經(jīng)重新分布(請注意所標(biāo)記的點1、2、3)。圖11a與11b之間的比較使得軌跡上的在RGB色彩空間中等距離的點現(xiàn)在還在感知上均等分布得多是清楚的。這可以例如從以下事實中看到:在圖11b中點2現(xiàn)在的確幾乎在視覺上位于色彩標(biāo)度的25%處(在已應(yīng)用變換后),而在圖11a中該點在感知上在標(biāo)度中太遠。
最后,根據(jù)圖7的步驟3,所定義的變換被應(yīng)用于圖像。該圖像可以是利用所選色彩標(biāo)度/軌跡的任何圖像。變換可以一次應(yīng)用于單個圖像,或者同一變換可以應(yīng)用于一系列或一堆圖像。
在該示例中,圖7的步驟1和2可以例如在CPU或DSP上執(zhí)行。步驟3可以例如在GPU內(nèi)或FPGA內(nèi)執(zhí)行。但執(zhí)行的確切位置不是對本發(fā)明的限制。不同的步驟可以在圖像處理流水線中的不同位置以及在不同種類的設(shè)備上執(zhí)行。而且,變換本身可以拆分成不同階段,其中變換的一個步驟是例如在PC內(nèi)的CPU上執(zhí)行的,而下一步驟在PC內(nèi)的GPU上執(zhí)行,又一步驟在FPGA或ASIC中的顯示器內(nèi)執(zhí)行。一個或多個步驟例如通過因特網(wǎng)或者在私有或公共云中遠程地執(zhí)行也是可能的。
作為對以上示例的進一步改進,所定義的變換可被擴展以使得還計及將被用來可視化圖像的顯示系統(tǒng)的表現(xiàn)。這將意味著當(dāng)對應(yīng)于所選色彩標(biāo)度的色值被標(biāo)識時,更進一步計及這些特定色值將由顯示系統(tǒng)以特定方式可視化。在該示例中,圖像可被轉(zhuǎn)發(fā)至aRGB顯示器,由此對于每一RGB色值能計算或測量顯示器將針對該特定RGB色值可視化什么色彩坐標(biāo)。最終將用于定義點的重新分布的是將被用作計算感知距離的起點的可視化的顯示器色彩坐標(biāo)的最終值。請注意,計及顯示系統(tǒng)可通過假定特定顯示器標(biāo)準(zhǔn)(sRGB、aRGB等)來完成,但這也可通過有效地使用將用于可視化的單獨顯示器(或顯示器類型)的特定特性來完成。因此,可能想要表征單獨顯示器(或顯示器類型)以準(zhǔn)確地計及顯示系統(tǒng)的效果。該表征是周期性地或一次性完成并且結(jié)果被存儲到簡檔(諸如ICC簡檔)是可能的。在該情形中,可能使用ICC簡檔信息來計及顯示系統(tǒng)的效果。
在以下示例性實現(xiàn)中,醫(yī)療顯示器應(yīng)被校準(zhǔn)以改進PET SUV攝取值的量化成像以及量化動態(tài)對比度增強型MRI。結(jié)論是彩虹色彩標(biāo)度是通常用于可視化這種類型的色彩信息的相關(guān)標(biāo)度。
軌跡然后可被表示為圖像空間(RGB空間)或顯示空間或感知上線性的空間內(nèi)的線。軌跡還可以是這一空間內(nèi)的分段線性軌跡,或者軌跡甚至可以是這一空間內(nèi)的任何形狀的連續(xù)或不連續(xù)軌跡。軌跡的一個示例在圖9中示出。在該情形中,色彩空間是RGB圖像空間,且軌跡是從青色到黑色到黃色的曲線。
顯示器被適配成使得顯示器表現(xiàn)變得是沿一個或多個所選色彩標(biāo)度的軌跡(或線)感知上線性的。由于該軌跡不包括色彩空間中的所有點,因此校準(zhǔn)將不會顯著地減小顯示器亮度、對比度或色域。在一條或多條軌跡之外,顯示器可被保持為原生地校準(zhǔn),或者顯示器根據(jù)用于醫(yī)療成像的常規(guī)標(biāo)準(zhǔn)來校準(zhǔn)。這一標(biāo)準(zhǔn)可以是例如sRGB、DICOM GSDF等。
另一示例性實現(xiàn)關(guān)于數(shù)字病理學(xué)圖像。在病理學(xué)中,使用特定染色劑來可視化或區(qū)別地標(biāo)識出顯微鏡結(jié)構(gòu)。蘇木精和伊紅染色劑(H&E染色劑或HE染色劑)是組織學(xué)中的主要染色劑之一。該染色劑是醫(yī)療診斷中最廣泛使用的染色劑并且經(jīng)常是黃金標(biāo)準(zhǔn)。不同的顯微鏡結(jié)構(gòu)對蘇木精和伊紅做出不同的反應(yīng),并且這在染色后導(dǎo)致一定范圍的可見色彩。由此,對于病理學(xué)家而言,感知到的色彩是理解顯微結(jié)構(gòu)如何對蘇木精和伊紅做出反應(yīng)并以此為基礎(chǔ)做出診斷的間接方式。對蘇木精和伊紅的不同程度的反應(yīng)分別可被認(rèn)為是相關(guān)的量化成像值。由此,用H&E染色的圖像可被認(rèn)為是具有相關(guān)的二維色彩標(biāo)度的成像,其中一個維度對應(yīng)于對蘇木精的反應(yīng),而另一維度對應(yīng)于對伊紅的反應(yīng)。不幸的是,迄今染色程序存在大量可變性,從而導(dǎo)致所染色圖像的色彩的顯著可變性。這對于準(zhǔn)確診斷是個問題。此外,數(shù)字病理學(xué)中的當(dāng)前工作方式是獲得所染色的載片的數(shù)字可見光圖像并將這些數(shù)字圖像可視化為它們將在光學(xué)顯微鏡下被自然地感知到。有時,應(yīng)用色彩管理以確??梢暬臄?shù)字圖像近似通過查看光學(xué)顯微鏡感知到的那些圖像。這種工作方式根本不是理想的,因為對應(yīng)于對蘇木精和伊紅的反應(yīng)/濃度的不同層級的可視化的色彩不是感知上線性的。根據(jù)本發(fā)明的實施例,這個問題將通過以下描述的實際實現(xiàn)來解決。
第一步驟(根據(jù)圖7)是選擇色彩空間中的至少一個軌跡。這可通過多種方式來完成:如在圖8b中解釋的,分析若干類似圖像(例如,給定病理學(xué)次??频膱D像、以相同方式染色的圖像、在相同的數(shù)字病理學(xué)掃描儀上獲得的圖像)以提取對應(yīng)于H&E反應(yīng)/濃度的二維色彩標(biāo)度或許是可能的。通過隨后標(biāo)識哪些色點對應(yīng)于該色彩標(biāo)度,可創(chuàng)建相關(guān)軌跡。替換地,如在圖8e中描述的,利用基準(zhǔn)或校準(zhǔn)圖像或許是可能的。一種這樣的可能圖像在圖12中示出。在圖12的右下側(cè),存在“H&E染色區(qū)域”,其對應(yīng)于48個不同的H&E組合(存在49個組合,但組合無H和E沒有意義)。這48個組合然后可被認(rèn)為是二維量化值的相關(guān)子集(量化值是(H,E))。對于這48個組合中的每一者,能夠檢索到對應(yīng)于(H,E)組合的色點。并且在這些色點的基礎(chǔ)上,能創(chuàng)建二維軌跡(一個維度對應(yīng)于“H”,另一維度對應(yīng)于“E”),該二維軌跡包含48個色點并且其中這些點例如基于H的遞增層級和E反應(yīng)的遞增層級來排序。請注意,基準(zhǔn)/校準(zhǔn)圖像可以周期性地取得、存儲并且然后每一次被重用達所定義的時間段。或者基準(zhǔn)/校準(zhǔn)圖像可以默認(rèn)是正被創(chuàng)建的任何載片圖像的一部分。數(shù)字病理學(xué)圖像例如能以原始RGB圖像的形式存儲,或者它可被存儲為伴隨有ICC簡檔的特定色彩空間中的圖像。ICC簡檔內(nèi)的信息在該情形中可用于確定屬于所選軌跡的點的色點。軌跡本身可以在用于編碼圖像的同一色彩空間或另一色彩空間中描述。
第二步驟(根據(jù)圖7)是定義提高屬于至少一個軌跡的連續(xù)點的感知線性(例如,主要提高感知線性)的變換。在數(shù)字病理學(xué)的示例中,這意味著目標(biāo)是提高屬于二維軌跡的點的感知線性(或者等效地提高二維軌跡的感知統(tǒng)一性),而不使得整個色彩空間變得感知上線性,因為這會導(dǎo)致色域/對比度/亮度的過大減小。這可例如通過主要(或僅僅)重新分布屬于二維軌跡的點來完成。重新分布將被完成以使得二維軌跡中的相鄰點之間的感知距離變得盡可能地相等。在該情形中,計算感知距離的度量的好選擇是deltaE2000。確定需要如何完成確切的重新分布可基于蠻力方法(嘗試所有可能組合并選擇導(dǎo)致最佳的總體感知統(tǒng)一性的組合)、通過其中軌跡的點的外邊界保持固定且其它點通過質(zhì)量彈簧系統(tǒng)重新分布的質(zhì)量彈簧系統(tǒng)、或者通過用于在表面上或沿著線均勻地分布點的其它已知技術(shù)。請注意,盡管可能期望沿著二維軌跡的兩個維度使用相同的感知階距大小,但嚴(yán)格來說這是不必要的。還可決定在一個方向/維度中使用比另一方向/維度中更大的階距大小。
存在避免由于已經(jīng)重新分布的點(軌跡上的點)與尚未更改的點之間的不連續(xù)性而導(dǎo)致的可視偽像的若干種方式。一種可能的方式是還(稍微)重新分布不屬于軌跡的點以降低不連續(xù)性。該重新分布可基于質(zhì)量彈簧系統(tǒng)(其中例如軌跡上的重新分布的點被固定并且其中色彩空間的邊界上的點應(yīng)被固定)或者通過其中軌跡上的點的領(lǐng)域內(nèi)的點也被稍加處理的平滑/過濾操作來完成。又一可能性是使用插值(線性、雙線性、三次、雙三次、樣條……),其中例如軌跡上的重新分布的點被固定并且另外一些其它點也被固定(例如,色域的外邊界上的點或者例如屬于主色或次色的點等),并且其中居間的點通過插值生成。這將導(dǎo)致不連續(xù)性降低,因為插值還將創(chuàng)造平滑/過濾效果。
所定義的變換還可進一步計及將用于可視化圖像的顯示系統(tǒng)的特性。在該情形中,變換將需要計及將在計算感知距離時以及在重新分布點以提高屬于軌跡的連續(xù)點的感知線性時在顯示系統(tǒng)上可視化圖像的特定方式。這一計及顯示系統(tǒng)的特性可例如通過利用顯示系統(tǒng)的ICC設(shè)備簡檔來實現(xiàn)。
最后,第三步驟(根據(jù)圖7)是將所定義的變換應(yīng)用于一個或多個圖像。如上所述,可以單獨地為每一圖像定義變換,或者可以對具有相同的類型或具有類似特性的多個圖像應(yīng)用相同的變換。軌跡的選擇可以例如在計算機內(nèi)的CPU上執(zhí)行,變換的定義可以例如在計算機內(nèi)的CPU上執(zhí)行,并且變換對圖像的應(yīng)用可以例如在計算機內(nèi)的GPU或CPU上執(zhí)行或者替換地在顯示器內(nèi)的FPGA或ASIC上執(zhí)行。上述某些或所有步驟還可通過因特網(wǎng)或者在私有或公共云基礎(chǔ)設(shè)施中遠程地執(zhí)行。
功能的配置可以例如通過查找表來完成,該查找表可位于顯示器內(nèi)、GPU(圖形處理單元)中、GPU的驅(qū)動程序中、操作系統(tǒng)中、或諸如ICC(國際色彩聯(lián)盟)框架等框架內(nèi)。適配電路系統(tǒng)的細節(jié)或者這一功能的位置不應(yīng)被視作對本發(fā)明的限制。
本發(fā)明還包括被適配成執(zhí)行本發(fā)明的任一種方法的系統(tǒng)。這一系統(tǒng)可包括諸如局域網(wǎng)或廣域網(wǎng)等網(wǎng)絡(luò),該網(wǎng)絡(luò)包括被適配成提供已經(jīng)在服務(wù)器上根據(jù)本發(fā)明的任一種方法處理的圖像的服務(wù)器以及能夠接收并顯示所處理的這些圖像的顯示設(shè)備。替換地,圖像可以是在不同于服務(wù)器的計算機或者顯示設(shè)備上根據(jù)本發(fā)明的任一種方法來處理。這一系統(tǒng)可包括處理引擎,諸如微處理器或FPGA。處理引擎可包括一個或多個中央處理器CPU或者可包括一個或多個GPU或例如一個或多個DSP、一個或多個FPGA或一個或多個ASIC以及輸入和輸出和存儲器。這些處理引擎可以是獨立的,例如在單獨單元中,諸如具有用于圖像信號的輸入以及已經(jīng)根據(jù)本發(fā)明的任一實施例來處理的經(jīng)修改圖像信號的輸出的控制器。這些處理引擎可替換地被嵌入在具有用于圖像信號的輸入以及已經(jīng)根據(jù)本發(fā)明的任一實施例來處理的經(jīng)修改圖像信號的輸出的例如顯示設(shè)備、網(wǎng)絡(luò)服務(wù)器、計算機卡等中。
根據(jù)本發(fā)明的實施例的所有方法以及根據(jù)本發(fā)明的系統(tǒng)可以在被專門適配成實現(xiàn)本發(fā)明的方法的計算機系統(tǒng)上實現(xiàn)。計算機系統(tǒng)可包括具有處理器和存儲器的計算機,并且被適配成向顯示器提供經(jīng)處理的圖像。本發(fā)明的任一種方法可基于該計算機具有用于處理和可視化圖像的裝置。每一種這樣的方法可通過提供在計算機上運行的軟件來在計算機上實現(xiàn)??商峁┯糜谠诰€或離線輸入圖像的輸入設(shè)備,例如信號存儲設(shè)備可提供這些圖像(諸如光盤(CD-ROM或DVD-ROM))或者固態(tài)存儲器或者經(jīng)由網(wǎng)絡(luò)鏈接(例如,經(jīng)由LAN或WAN)的流傳輸或存儲裝置。
計算機可包括處理器和存儲器,存儲器存儲機器可讀指令(例如,如下所述的軟件),這些指令在由處理器執(zhí)行時使得該處理器執(zhí)行所描述的方法。計算機可包括視頻顯示終端、諸如鍵盤等輸入裝置、諸如鼠標(biāo)等圖形用戶界面指示裝置。
計算機通常包括中央處理單元("CPU",例如常規(guī)的微處理器,由美國英特爾公司提供的奔騰處理器僅僅是一個示例)以及通過總線系統(tǒng)互連的多個其它單元??偩€系統(tǒng)可以是任何合適的總線系統(tǒng)。計算機包括至少一個存儲器。存儲器可以包括各種本領(lǐng)域技術(shù)人員已知的數(shù)據(jù)存儲設(shè)備中的任一種,諸如隨機存取存儲器(“RAM”)、只讀存儲器(“ROM”)和非易失性讀/寫存儲器,例如本領(lǐng)域技術(shù)人員已知的硬盤或固態(tài)存儲器。例如,計算機還可包括隨機存取存儲器(“RAM”)、只讀存儲器(“ROM”)以及用于將系統(tǒng)總線連接到視頻顯示終端的顯示適配器和用于將外圍設(shè)備(例如,盤和帶驅(qū)動器)連接到系統(tǒng)總線的可任選的輸入/輸出(I/O)適配器。視頻顯示終端可以是計算機的可視輸出,且可以是任何合適的顯示設(shè)備,諸如基于LCD或基于氣體等離子體的平板顯示器。該計算機進一步包括用于連接鍵盤、鼠標(biāo)和可任選的揚聲器的用戶接口適配器。
計算機還可以包括駐留在機器可讀介質(zhì)內(nèi)以引導(dǎo)計算機操作的圖形用戶界面。任何合適的機器可讀介質(zhì)可以保存所述圖形用戶界面,例如隨機存取存儲器(RAM)、只讀存儲器(ROM)、磁盤、磁帶或光盤(最后三個位于盤和帶驅(qū)動器中)。任何合適的操作系統(tǒng)和相關(guān)聯(lián)的圖形用戶界面(例如微軟的Windows、Linux、Android)可以引導(dǎo)CPU。另外,計算機包括駐留在計算機存儲器存儲內(nèi)的控制程序??刂瞥绦虬?dāng)在CPU上被執(zhí)行時允許計算機執(zhí)行關(guān)于本發(fā)明的任何方法所描述的操作的指令
本發(fā)明還包括當(dāng)在處理引擎上執(zhí)行時被適配成執(zhí)行本發(fā)明的任一種方法的軟件。軟件可以在諸如光盤(CDROM或DVD ROM)、磁盤、固態(tài)存儲器(諸如閃存)、只讀存儲器等合適的非瞬態(tài)信號存儲介質(zhì)上被存儲為計算機程序產(chǎn)品。
本發(fā)明提供了被適配成處理圖像的系統(tǒng)或軟件并且可包括用于選擇色彩空間中的至少一個軌跡的裝置。該系統(tǒng)或軟件還可包括用于定義提高(例如,主要提高)屬于至少一個軌跡的連續(xù)點的感知線性的變換的裝置。該系統(tǒng)或軟件還可包括用于將變換應(yīng)用于圖像的裝置。該系統(tǒng)或軟件可具有被適配成允許至少一個軌跡包含具有不同色點的點的裝置。該系統(tǒng)或軟件可具有被配置成允許色彩空間是sRGB、aRGB、原始RGB、Lab、ICC PCS之一的裝置。該系統(tǒng)或軟件可具有被適配成使得至少一個軌跡只包含主色或次色的點的裝置。該系統(tǒng)或軟件可具有被適配成允許至少一個軌跡對應(yīng)于色彩標(biāo)度的裝置。該系統(tǒng)或軟件或裝置可被配置成選擇至少一個軌跡以增加或最大化沿著軌跡的最小可覺差的數(shù)目。該系統(tǒng)或軟件或裝置可被適配成允許至少一個軌跡在色彩空間中是分段線性的或者在色彩空間中是非線性的。該系統(tǒng)或軟件或裝置可被適配成允許至少一個軌跡包含對應(yīng)于量化值的不同層級的色彩。這些色彩可沿著軌跡基于量化值的升序或降序值來排序。該系統(tǒng)或軟件或裝置可被適配成使得量化值是分子濃度、染色反應(yīng)、示蹤劑濃度、物質(zhì)濃度、靶分子濃度、分子活性、代謝活性、材料剛度、材料強度、材料特性、生物標(biāo)記值之一。該系統(tǒng)或軟件或裝置可被適配成基于基準(zhǔn)圖像或校準(zhǔn)圖像來選擇軌跡。該系統(tǒng)或軟件或裝置可被適配成允許單獨地為每一圖像選擇至少一個軌跡。該系統(tǒng)或軟件或裝置可被適配成基于圖像類型或圖像特性來選擇至少一個軌跡。該系統(tǒng)或軟件或裝置可被適配成允許圖像是數(shù)字病理學(xué)圖像并且基于在數(shù)字病理學(xué)圖像中使用的特定染色機或者數(shù)字病理學(xué)圖像的特定次專科來選擇至少一個軌跡。該系統(tǒng)或軟件或裝置可被適配成基于將被顯示在顯示系統(tǒng)上的典型圖像的特性或類型來選擇至少一個軌跡。該系統(tǒng)或軟件或裝置可被適配成使得圖像是數(shù)字病理學(xué)圖像,且至少一個軌跡基于對應(yīng)于對不同抗原濃度的染色反應(yīng)的色值。該系統(tǒng)或軟件或裝置可被適配成允許圖像是醫(yī)學(xué)圖像,且允許至少一個軌跡基于與對造影劑或示蹤劑的反應(yīng)的不同漸變相對應(yīng)的色值。該系統(tǒng)或軟件或裝置可被適配成使得感知線性通過CIE76、CIE94、CIEdeltaE2000、DICOM GSDF之一來量化。該系統(tǒng)或軟件或裝置可被適配成允許選擇至少兩個不同的軌跡。該系統(tǒng)或軟件或裝置可被適配成允許使用對應(yīng)于至少兩個所選軌跡的至少兩個不同的感知線性度量。該系統(tǒng)或軟件或裝置可被適配成允許一個所選軌跡對應(yīng)于中性灰度級,并且其中針對該中性灰度級的感知線性通過DICOM GSDF來評估。該系統(tǒng)或軟件或裝置可被適配成使得變換進一步計及顯示系統(tǒng)的特性。該系統(tǒng)或軟件或裝置可被適配成使得變換分別保留色域和/或亮度和/或?qū)Ρ榷鹊闹辽?5%、至少90%、至少80%、至少70%。該系統(tǒng)或軟件或裝置可被適配成使得變換由CPU、GPU、DSP、FPGA或ASIC來應(yīng)用。該系統(tǒng)或軟件或裝置可被適配成使得變換部分地在CPU上應(yīng)用且部分地在GPU或FPGA上應(yīng)用。該系統(tǒng)或軟件或裝置可被適配成使得變換允許不是軌跡的一部分的點具備其原生顯示器校準(zhǔn)。該系統(tǒng)或軟件或裝置可被適配成使得變換將不是軌跡的一部分的點適配成獲得增加的連續(xù)表現(xiàn)。該系統(tǒng)或軟件或裝置可被適配成使得變換將不是軌跡的一部分的點適配成遵從諸如伽馬或sRGB或例如DICOM GSDF等另一標(biāo)準(zhǔn)。該系統(tǒng)或軟件或裝置可被適配成使得至少一個所選色彩標(biāo)度是最大化計算出的最小可覺差的數(shù)目(當(dāng)這是為沿著相同軌跡的一組色彩標(biāo)度計算時)的色彩標(biāo)度。該系統(tǒng)或軟件或裝置可被適配成使得至少一個所選軌跡具有更高維度。該系統(tǒng)或軟件或裝置可被適配成使得軌跡的每一維度對應(yīng)于不同的量化值。該系統(tǒng)或軟件或裝置可被適配成使得軌跡的每一維度對應(yīng)于不同示蹤劑的濃度或染色反應(yīng)或不同分子的濃度或不同抗原的濃度或不同抗體的濃度。
如上所述的系統(tǒng)可被實現(xiàn)為控制器,例如供與顯示器或顯示系統(tǒng)聯(lián)用的分開的獨立設(shè)備。
如上所述的系統(tǒng)可被實現(xiàn)為供與顯示器或顯示系統(tǒng)聯(lián)用并且被適配成執(zhí)行本發(fā)明的任一種方法的處理器。