本發(fā)明涉及一種圖像處理設備和方法。

背景技術：

1、檢測大腦病變和其他異?？梢酝ㄟ^比較性成像來完成，其中，先前和當前大腦mr圖像被配準并可以被比較。例如，比較性大腦成像可以被用于跟蹤多發(fā)性硬化癥(ms)患者的進展，以便簡化新白質病變的視覺檢測。ms患者在患者護理期間頻繁被掃描，使得基線與后續(xù)圖像之間的差異主要與新白質病變有關。

2、除了類似多發(fā)性硬化癥或腦腫瘤的特定疾病領域之外，對象不頻繁地被掃描。因此，通常，對象的掃描歷史是稀疏的，即僅針對對象的少數掃描(在本文中也稱為“圖像”)是可用的。

3、如果基線圖像與后續(xù)圖像之間的時間差很大，例如許多年，對比度差異不僅與異常有關，而且與正常老化有關，例如在大腦老化的情況下的正常萎縮或正常血管效應。因此，發(fā)現異常是一項困難的任務，特別是在具有可用圖像之間的相當大的時間差的稀疏掃描歷史的情況下。圖像通?？梢允歉信d趣物體的任何種類的圖像，諸如x射線圖像、ct圖像、mr圖像、pet圖像、超聲圖像等。

4、tian?xia等人：“l(fā)earning?to?synthesise?the?ageing?brain?withoutlongitudinal?data"(arxiv.org、cornell?university?library、201olin?librarycornell?university?ithaca、ny?14853、2021年5月11日)公開了一種基于深度學習的方法，該方法學習模擬對象特異性大腦老化軌跡，而不依賴于縱向數據。該方法綜合了在兩個因子上調節(jié)的圖像：年齡和阿爾茨海默病的狀態(tài)。利用對抗性公式，學習大腦外觀、年齡和ad狀態(tài)的聯合分布。

5、ravidaniele等人：“degenerative?adversarial?neuroimage?nets?for?brainscan?simulations:application?in?ageing?and?dementia”(medical?image?analysis、oxford?university?press、oxofrd、gb、第75卷、2021年10月14日)公開了一種深度學習框架，即4d退行性對抗性神經影像網絡，以生成高分辨率的縱向mri掃描，其基于單個mri基線掃描和其健康狀態(tài)模擬老化和癡呆中的對象特異性神經退行性疾病。

6、wegmayr?viktor等人：“generative?aging?of?brain?mri?for?earlyprediction?of?mci-ad?conversion”(2019ieee?16th?international?symposium?onbiomedical?imaging(isbi?2019)、ieee、2019年4月8日)公開了一種基于廣泛可用的ti加權mr大腦圖像預測輕度認知障礙(mci)向阿爾茨海默病(ad)的轉變的基于深度學習的方法。給定單幅基線圖像，生成合成老化的大腦圖像。老化圖像被傳遞給mci/ad鑒別器，這決定了未來的疾病狀態(tài)。

技術實現思路

1、本發(fā)明的目的是在具有可用圖像之間的相當大的時間差的稀疏掃描歷史的情況下如何提高對異常的檢測。

2、在本發(fā)明的第一方面中，提出了一種圖像處理設備，包括：

3、輸入部，其被配置為獲得對象的感興趣物體的兩幅或更多幅圖像的系列以及所述對象的所述感興趣物體的參考圖像，其中，輸入圖像已經在不同的時間點處被采集，并且所述參考圖像已經在比所述輸入圖像更晚的時間點處被采集；

4、處理單元，其被配置為：

5、通過將經訓練的算法或計算系統應用到所述輸入圖像上來生成估計圖像，所述估計圖像表示估計時間點處的所述感興趣物體的估計表示，所述經訓練的算法或計算系統已經在多幅訓練圖像上進行了訓練，所述多幅訓練圖像示出了在不同時間點處與所述感興趣物體相同類型的物體，以讓所述輸入圖像中示出的所述感興趣物體人工老化期望的時間段，并且

6、確定所述估計圖像與所述參考圖像的偏差；以及

7、輸出部，其被配置為輸出所生成的估計圖像和所確定的偏差。

8、在本發(fā)明的另一方面中，提出了一種系統，包括：

9、圖像采集設備，其被配置為采集對象的感興趣物體的兩幅或更多幅輸入圖像的系列以及對象的感興趣物體的參考圖像，其中，所述輸入圖像在不同的時間點處被采集，并且所述參考圖像在比所述輸入圖像更晚的第二時間點處被采集；以及

10、如本文所公開的圖像處理設備。

11、在本發(fā)明的又一方面中，提供了一種對應的圖像處理方法；一種包括的程序代碼模塊計算機程序，當在計算機上執(zhí)行所述計算機程序時所述程序代碼模塊用于使所述計算機執(zhí)行本文所公開的方法的步驟；以及在其中存儲計算機程序產品的非瞬態(tài)計算機可讀記錄介質，所述計算機程序產品在由處理器運行時使得執(zhí)行本文所公開的方法。

12、在從屬權利要求中限定本發(fā)明的優(yōu)選實施例。應當理解，所要求保護的方法、系統、計算機程序和介質具有與所要求保護的系統相似和/或相同的優(yōu)選實施例，特別是如從屬權利要求中所定義的和如本文所公開的。

13、本發(fā)明基于利用經訓練的算法或計算系統(例如經訓練的模型或神經網絡)來生成所述感興趣物體(例如對象的大腦)的圖像的想法，該圖像“模擬”了在所述感興趣物體經歷正常老化而沒有異常的情況下在期望時間點處將看起來如何。例如，如果僅存在對象的稀疏掃描歷史可用，可以做出對僅包括健康老化的影響的當前假設后續(xù)圖像的估計，并且可以確定定量稀疏掃描歷史與健康老化的偏差的度量。因此，所公開的設備、系統和方法可以被用于比較性成像應用(例如用于比較性大腦成像)，其中，對假設和真實當前圖像的視覺和/或算法比較僅可以揭示異常而非正常老化的影響。此外，它們可以被用于評估對象的掃描歷史的變化是否可以通過正常老化來解釋。

14、換句話說，本發(fā)明的想法之一是基于在給定過去的兩幅或更多幅輸入圖像(在本文中也被稱為第一圖像)的情況下的個體估計老化軌跡來估計當前圖像，并且然后計算與已經比輸入圖像更晚采集的真實圖像(所述參考圖像，在本文中也被稱為第二圖像)的差異，優(yōu)選地在當前時間點或至少在最近的過去，以示出真實偏差(例如病變或其他異常)并隱藏“正?！崩匣挠绊憽?/p>

15、根據優(yōu)選實施例，所述處理單元被配置為使用學習系統、神經網絡、卷積神經網絡或u-net-like網絡作為經訓練的算法或計算系統。通常，經訓練的算法或計算系統的架構或布局不是必需的，但是例如具有已知或常規(guī)架構的學習系統或神經網絡可以用于計算第三圖像。

16、在另一實施例中，由所述處理單元將所述經訓練的算法或計算系統應用到兩幅或更多幅輸入圖像上包括：分析所述輸入圖像，特別是通過卷積神經網絡(cnn)來分析所述兩幅或更多幅輸入圖像，以導出所述感興趣物體的圖像特征；以及基于所導出的圖像特征以及這些種類的圖像特征如何隨時間演變的信息來生成所述參考圖像，特別是通過生成器網絡基于所導出的圖像特征以及這些種類的圖像特征如何隨時間演變的信息來生成所述參考圖像，所述信息特別是年齡相關的萎縮。這提供了一種簡單但有效的方法。cnn利用具有訓練權重的卷積核進行操作，但是所述方法純粹是訓練/數據驅動的。

17、所述處理單元還可以被配置為通過讓所述輸入圖像中示出的所述感興趣物體老化一時間段來生成所述參考圖像，所述時間段對應于已經采集了相應輸入圖像的時間點與已經采集了所述參考圖像的時間點之間的時間差，特別是已經采集了最后的輸入圖像的時間點與已經采集了所述參考圖像的時間點之間的時間差。因此，在示例性應用中，所述輸入圖像可以被用于生成對應于已經采集了所述參考圖像的時間點的估計時間點處的所述估計圖像。因此，所述參考圖像和所述估計圖像示出了在已經采集了所述輸入圖像的時間點之后的所述時間段處的所述感興趣物體，并且因此可以直接進行比較以識別異常。

18、根據另一實施例，由所述處理單元將所述經訓練的算法或計算系統應用到所述兩幅或更多幅第一圖像上包括：分析所述輸入圖像，特別是通過卷積神經網絡來分析所述輸入圖像，以導出老化信息，所述老化信息指示所述輸入圖像中示出的所述感興趣物體已經在由已經采集了所述輸入圖像的不同時間點所跨越的時間內如何老化；以及基于所導出的老化信息和已經采集了所述輸入圖像的時間點與已經采集了所述參考圖像的時間點之間的時間差來生成所述估計圖像，特別是通過生成器網絡基于所導出的老化信息和已經采集了所述輸入圖像的時間點與已經采集了所述參考圖像的時間點之間的時間差來生成所述估計圖像。

19、因此，從所述輸入圖像獲得的老化信息有助于理解在檢查中的特定對象，特別是其感興趣物體，在過去是如何由于“正?！崩匣呀涬S時間變化的，即，可以從所述輸入圖像中獲悉該老化信息。關于所述輸入圖像的該老化信息和時間信息，特別是何時它們已經被采集，并且特別是在不同輸入圖像的采集與參考圖像的采集之間已經經過多少時間，然后可以被用于進一步改進估計圖像的生成。例如，如果例如最后的輸入圖像(即在所述參考圖像的采集之前采集的最年輕的第一圖像)和參考圖像之間的時間差很大，則與該時間差較小的情況相比較，老化的強度/影響通常將更大。在生成估計圖像時可以考慮該時間信息。

20、根據本發(fā)明，所述處理單元被配置為確定所述參考圖像與所述估計圖像的偏差，并且所述輸出單元被配置為輸出所確定的偏差。這些偏差然后通常被解釋為異常，而不是正常老化的影響。由此，所述處理單元可以被配置為定量處理和/或定性處理所述偏差(例如相對于大小、數目、強度等)，并且所述輸出單元被配置為輸出所確定的定量結果和/或定性結果。

21、已經采集了相應輸入圖像的時間點與已經采集了所述參考圖像的時間點之間的時間差以及已經采集了相應輸入圖像的時間點與已經估計所述估計圖像的時間點之間的時間差通常是更長的時段，例如超過一周或超過一個月或超過六個月或超過一年。該時間差通?？梢匀Q于所述感興趣物體的多少圖像可用以及已經以哪些間隔采集了要比較的圖像。

22、在另一實施例中，所述處理單元被配置為在生成所述估計圖像之前執(zhí)行所述輸入圖像與所述參考圖像的配準，和/或在生成所述估計圖像之后執(zhí)行所述估計圖像與所述參考圖像的配準。這改進了異常的比較和檢測。

23、優(yōu)選地，所述處理單元可以被配置為在多幅訓練圖像上訓練所述算法或計算系統，所述訓練圖像示出了在不同時間點處與所述感興趣物體相同類型的物體，其中，所述多幅訓練圖像包括真實圖像和/或合成圖像。這樣的訓練圖像可以從可用數據庫中取得，或者可以出于訓練目的而人工創(chuàng)建。訓練優(yōu)選地提前和離線進行。估計圖像的實際生成和異常的確定，特別是如果由諸如有經驗的臨床醫(yī)師的用戶驗證，也可以被用于訓練。因此，在實施例中，所計算的估計圖像可以連同輸入圖像和參考圖像一起用于訓練所述算法或計算系統。這也可以被用于在實際使用期間對算法或計算系統進行微調。例如，任選的在線學習部件，例如作為處理單元的功能，可以被提供用于該微調。

24、在實施例中，所述處理單元可以被配置為通過分析(特別是通過卷積神經網絡)所述多幅訓練圖像來訓練所述算法或計算系統，以導出描述所述物體隨著訓練時間的正常外觀的圖像特征。由此，圖像特征可以被自動確定為用于卷積神經網絡的權重，使得存在所述圖像的隱空間表示。權重可以不僅應用于編碼部分，而且可以應用于解碼部分，即用于從其隱空間表示中重新創(chuàng)建圖像的部分。圖像特征可以包括以下各項中的一項或多項：亮度、紋理、邊緣、邊界、圖案、特性結構或點、均勻性、面積、形狀、大小，或者可以學習和用于訓練的任何其他特征。這些圖像特征(或特性)中的一個或多個的使用使能實現所公開的解決方案的實際實施方式。

25、在其他實施例中，神經網絡的第一層可以包括圖像特征，這意味著卷積濾波器的權重將構成圖像特征。在深度神經網絡中，可以跟隨具有另外的權重的另外的層，其中，所述權重不對應于圖像特征。在第一層(圖像特征)與最深層(其可以輸出圖像的隱空間表示)之間，可能存在更多既不對應于隱空間也不對應于圖像空間特征的層和權重。

26、所述處理單元還可以被配置為在生成第三圖像之前執(zhí)行用于神經網絡的通用訓練階段和個性化階段作為預處理步驟，其中，所述網絡的一部分被重新訓練，特別是基于來自感興趣對象的數據。這還改進了異常的個性化檢測。技術上，這些權重彼此沒有區(qū)別。在通用訓練階段中，所述權重被聯合優(yōu)化，并且在個性化階段中，僅使用對象的圖像作為訓練對來重新訓練權重的定義子集。這經常被表示為在訓練的特定周期期間“凍結”某些權重，即在個性化階段期間可以固定/凍結所述權重。

27、在實施例中，為了所述個性化階段中的重新訓練，所述輸入圖像可以被用于基于關于在檢查中的對象的信息來改進經訓練的網絡，因為所述網絡可以因此獲悉該對象，特別是所述對象的感興趣物體，過去已經如何老化。因此，重新訓練的網絡可以更好地預測該對象的感興趣物體如何隨時間老化，并且因此可以生成進一步改進的估計圖像，所述圖像更真實地表示所述估計時間點處的老化感興趣物體。

28、例如，在實施例中，所述處理單元被配置為額外地使用多幅訓練圖像中的相應圖像的對象的一個或多個個人特性來訓練所述算法或計算系統。這樣的個人特性可以包括年齡、性別、大小、體重、醫(yī)學史中的一項或多項。

29、通常，本發(fā)明可以在不同的背景下應用，并與不同感興趣物體一起使用。一個應用在醫(yī)學圖像處理領域中，其中，所述感興趣物體是解剖器官，例如大腦或心臟。取決于解剖結構，可以利用進一步預處理步驟，諸如目標解剖結構的剛性配準或分割。