本發(fā)明屬于醫(yī)學(xué)影像處理和深度學(xué)習(xí)技術(shù)生成式算法領(lǐng)域，具體涉及一種基于序列到序列（seq2seq）模型及血流信息的超聲圖像合成方法。

背景技術(shù)：

1、在醫(yī)學(xué)成像領(lǐng)域，超聲成像是一種重要的診斷工具，尤其在神經(jīng)疾病的診斷中扮演著關(guān)鍵角色。對比增強超聲成像技術(shù)能夠增強病變及周圍組織的可視化，提升圖像的清晰度和可視化效果，從而幫助醫(yī)生更準確地檢測病變和監(jiān)測疾病進展。然而現(xiàn)有對比增強超聲成像技術(shù)依賴于超聲造影劑的使用，這也帶來了潛在的健康風(fēng)險，例如造影劑在體內(nèi)的積累可能導(dǎo)致患者的不良反應(yīng)，以及對患者的健康造成長期影響。此外，傳統(tǒng)的超聲增強檢查需要多次注射造影劑，這不僅增加了臨床操作的復(fù)雜性和成本，還延長了檢查時間。因此，如何減少造影劑的使用，同時提高圖像質(zhì)量，成為了醫(yī)學(xué)成像領(lǐng)域的研究熱點。

2、近年來，序列到序列（sequence-to-sequence?model，簡稱seq2seq）模型因其在自然語言處理領(lǐng)域的成功應(yīng)用，逐漸被引入到醫(yī)學(xué)成像的轉(zhuǎn)換任務(wù)中。這類seq2seq模型通過采用編碼器-解碼器架構(gòu)，可以將輸入的醫(yī)學(xué)圖像轉(zhuǎn)換為高質(zhì)量的目標圖像。盡管現(xiàn)有研究表明seq2seq模型在超聲圖像生成方面具有潛力，但大多數(shù)研究主要依賴圖像自身的信息進行訓(xùn)練，缺乏對血流信息的利用，未能有效捕捉到動態(tài)生理過程中的關(guān)鍵信息，導(dǎo)致生成的對比增強超聲圖像在臨床應(yīng)用中表現(xiàn)不佳，缺乏必要的細節(jié)與結(jié)構(gòu)，影響臨床診斷的準確性。

3、現(xiàn)有的對比增強超聲圖像合成技術(shù)主要存在以下幾點問題：

4、1、依賴于圖像固有信息：許多現(xiàn)有的序列到序列（seq2seq）模型和生成對抗網(wǎng)絡(luò)（gan）方法主要依賴于輸入圖像本身的信息進行訓(xùn)練。這導(dǎo)致生成的超聲圖像往往缺乏足夠的細節(jié)和臨床相關(guān)性，難以滿足實際醫(yī)療診斷的需求。尤其在乳腺造影中，對病灶的準確檢測和定位至關(guān)重要，單靠圖像固有信息可能無法可靠地捕捉到病灶的特征，進而影響診斷的準確性。

5、2、缺乏血流信息的利用：目前的許多超聲成像技術(shù)未能將血流信息整合進超聲圖像生成過程中，血流信息通常通過多普勒超聲獲取。血流信息對于理解血管及周圍組織的功能狀態(tài)至關(guān)重要，而傳統(tǒng)的對比增強超聲成像方法往往將其忽視，并未進行充分利用。這導(dǎo)致生成的對比圖像可能缺乏重要的血流動力學(xué)特征，影響對乳腺病變的全面評估和診斷準確性。缺乏血流信息的支持，生成的圖像在臨床應(yīng)用中可能不夠可靠。

6、3、時序一致性不足：現(xiàn)有超聲成像技術(shù)在生成圖像序列時，往往難以保持時序一致性，導(dǎo)致生成的圖像在時間上缺乏連貫性。這一點在進行長時間觀察或?qū)崟r診斷時尤為重要。乳腺造影劑超聲需要對動態(tài)生理過程進行準確捕捉，而如果生成的圖像在不同時間幀之間存在明顯的不一致性，就會降低其在臨床中的實用性，影響醫(yī)師對患者病情的評估和決策。

技術(shù)實現(xiàn)思路

1、基于此，本發(fā)明提供了一種基于序列到序列（seq2seq）模型及血流信息的超聲圖像合成方法，以實現(xiàn)將原始超聲圖像直接轉(zhuǎn)換為高質(zhì)量的對比增強超聲圖像（ceus），有利于顯著提升生成的對比增強超聲圖像的圖像質(zhì)量、清晰度和時序一致性。

2、為解決上述技術(shù)問題，實現(xiàn)上述技術(shù)效果，本發(fā)明通過以下技術(shù)方案實現(xiàn)：

3、一種基于序列到序列模型及血流信息的超聲圖像合成方法，包括以下步驟：

4、步驟1）獲取若干個往期臨床患者病變部位的標準灰度超聲圖像視頻以及相應(yīng)的對比度增強超聲圖像視頻和血流圖像，并以此構(gòu)建模型訓(xùn)練用的數(shù)據(jù)集；

5、步驟2）利用所述數(shù)據(jù)集，對搭建好的超聲圖像合成模型進行訓(xùn)練，訓(xùn)練模型在對應(yīng)血流信息的指導(dǎo)下，將標準灰度超聲圖像視頻自動轉(zhuǎn)換成相應(yīng)對比度增強超聲圖像視頻的能力；

6、步驟3）采集當前臨床患者的標準灰度超聲圖像視頻以及相應(yīng)的血流圖像，并同時輸入至訓(xùn)練好的所述超聲圖像合成模型；

7、步驟4）所述超聲圖像合成模型在血流圖像中所含血流信息的引導(dǎo)下，對標準灰度超聲圖像視頻進行增強處理，從而合成相對應(yīng)的對比度增強超聲圖像視頻；

8、步驟5）輸出并顯示所合成的對比度增強超聲圖像視頻。

9、進一步的，步驟1）中，所述數(shù)據(jù)集的構(gòu)建方法為：

10、1）收集若干個往期臨床患者病變部位的標準灰度超聲圖像視頻；

11、2）收集每個往期臨床患者病變部位的對比度增強超聲圖像視頻；

12、3）收集每個往期臨床患者病變部位的血流圖像；

13、4）將屬于同一個往期臨床患者的標準灰度超聲圖像視頻、對比度增強超聲圖像視頻和血流圖像進行整理和配對，從而構(gòu)建得到所述數(shù)據(jù)集。

14、進一步的，步驟2）中，所述超聲圖像合成模型采用帶注意力機制的序列到序列（seq2seq）模型作為基礎(chǔ)架構(gòu)，其具體結(jié)構(gòu)包括：

15、帶有convlstm層的第一編碼器，負責(zé)讀取輸入的血流圖像序列，并通過其所屬的convlstm層對血流圖像序列進行時序處理，從而輸出一個附加向量，所述附加向量中包含輸入的血流圖像序列的血流信息；

16、帶有convlstm層的第二編碼器，負責(zé)讀取輸入的每張標準灰度超聲圖像序列，并通過其所屬的convlstm層對每張標準灰度超聲圖像序列進行時序處理，從而輸出一個上下文向量，所述上下文向量中包含輸入的標準灰度超聲圖像序列的超聲信息；

17、帶有convlstm層的解碼器，負責(zé)將所述第二編碼器輸出的所述上下文向量作為基礎(chǔ)輸入，將所述第一編碼器輸出的所述附加向量作為引導(dǎo)信號，并通過其所屬的convlstm層對所述上下文向量進行時序處理，最終逐步解碼并輸出與輸入的標準灰度超聲圖像序列相對應(yīng)的對比增強超聲圖像序列；

18、注意力機制，負責(zé)幫助所述解碼器在解碼所述上下文向量時，細化來自超聲信息和血流信息的編碼特征，以增強所述超聲圖像合成模型選擇性關(guān)注受血流動力學(xué)影響的相關(guān)區(qū)域的能力，從而提高生成的所述對比增強超聲圖像序列的質(zhì)量和臨床相關(guān)性。??

19、進一步的，所述第二編碼器和所述解碼器的內(nèi)部結(jié)構(gòu)分別為：

20、所述第一編碼器和所述第二編碼器中均包含依次連接的2個卷積層和5個殘差塊；

21、所述解碼器中包含依次連接的4個殘差塊和3個超卷積層，以及設(shè)置在相鄰兩個超卷積層之間的上采樣層。

22、進一步的，步驟2）中，所述超聲圖像合成模型的訓(xùn)練方法為：

23、1）數(shù)據(jù)準備；

24、在所述數(shù)據(jù)集中選取若干例標準灰度超聲圖像視頻中，并在選取的每一例標準灰度超聲圖像視頻中隨機選取一定數(shù)量比例的視頻幀，以作為用于訓(xùn)練的標準灰度超聲圖像；

25、同時，在所述數(shù)據(jù)集中，選取與已隨機挑選出的標準灰度超聲圖像相對應(yīng)的對比度增強超聲圖像和血流圖像；

26、2）數(shù)據(jù)預(yù)處理；

27、對選取的標準灰度超聲圖像、對比度增強超聲圖像以及與之相應(yīng)的血流圖像進行包括剪裁和歸一化在內(nèi)的預(yù)處理；

28、3）序列轉(zhuǎn)化；

29、將經(jīng)預(yù)處理的標準灰度超聲圖像、對比度增強超聲圖像以及與之相應(yīng)的血流圖像分別轉(zhuǎn)化為標準灰度超聲圖像序列、對比度增強超聲圖像序列以及與之相應(yīng)的血流圖像序列；

30、4）注意力機制引入；

31、通過引入注意力機制來幫助所述解碼器在解碼所述上下文向量時，細化來自超聲信息和血流信息的編碼特征，以增強所述超聲圖像合成模型選擇性關(guān)注受血流動力學(xué)影響的相關(guān)區(qū)域的能力，從而提高生成的所述對比增強超聲圖像序列的質(zhì)量和臨床相關(guān)性。?

32、5）?模型訓(xùn)練：

33、將經(jīng)預(yù)處理的標準灰度超聲圖像序列作為基礎(chǔ)輸入，將經(jīng)預(yù)處理的對比度增強超聲圖像序列作為目標輸出，將經(jīng)預(yù)處理及標注的血流圖像序列作為附加輸入，令所述超聲圖像合成模型在所述血流圖像序列的指導(dǎo)下，學(xué)習(xí)從所述標準灰度超聲圖像序列到所述對比度增強超聲圖像序列的映射關(guān)系，以實現(xiàn)所述對比度增強超聲圖像序列的預(yù)測和生成；

34、6）損失?計算?；

35、采用結(jié)構(gòu)相干損失函數(shù)，計算所述對比度增強超聲圖像序列與所述標準灰度超聲圖像序列之間的差異，并根據(jù)計算出的損失，調(diào)整所述第一編碼器、所述第二編碼器和所述解碼器的參數(shù)，以最小化損失；

36、7）評估與調(diào)整?；

37、訓(xùn)練完成后，采用特定的評估指標對所述超聲圖像合成模型進行性能評估，根據(jù)評估結(jié)果，對所述超聲圖像合成模型進行進一步的調(diào)整。?

38、進一步的，所述結(jié)構(gòu)相干損失函數(shù)綜合考慮的關(guān)鍵因素包括：

39、1）平滑和過度問題；

40、2）結(jié)構(gòu)完整性問題；

41、3）時間一致性問題。

42、7、根據(jù)權(quán)利要求5所述的基于序列到序列模型及血流信息的超聲圖像合成方法，其特征在于，所述評估指標包括：

43、1）峰值信號噪聲率；

44、2）結(jié)構(gòu)相似指數(shù)度量。

45、3）視覺檢查結(jié)果。

46、進一步的，步驟3）-步驟5）的具體方法為：

47、1）采集當前臨床患者的標準灰度超聲圖像視頻以及相應(yīng)的血流圖像，并將標準灰度超聲圖像視頻逐幀拆分成單張的標準灰度超聲圖像；

48、2）將全部標準灰度超聲圖像和血流圖像分別轉(zhuǎn)換為相應(yīng)的標準灰度超聲圖像序列和血流圖像序列，然后同時輸入訓(xùn)練好的所述超聲圖像合成模型；

49、3）所述超聲圖像合成模型中的第二編碼器讀取輸入的每張標準灰度超聲圖像序列，并通過其所屬的convlstm層對每張標準灰度超聲圖像序列進行時序處理，從而輸出一個上下文向量，所述上下文向量中包含輸入的標準灰度超聲圖像序列的超聲信息；

50、4）所述超聲圖像合成模型中的所述第一編碼器讀取血流圖像序列，并通過其所屬的convlstm層對血流圖像序列進行時序處理，從而輸出一個附加向量，所述附加向量中包含輸入的血流圖像序列的血流信息；

51、5）所述超聲圖像合成模型中的所述編碼器將所述第二編碼器輸出的所述上下文向量作為基礎(chǔ)輸入，將所述第一編碼器輸出的所述附加向量作為引導(dǎo)信號，并通過其所屬的convlstm層對所述上下文向量進行時序處理，最終逐步解碼并輸出與輸入的標準灰度超聲圖像序列相對應(yīng)的對比增強超聲圖像序列；

52、6）將合成的所有對比增強超聲圖像序列轉(zhuǎn)換為對比增強超聲圖像，并最終顯示多張對比增強超聲圖像或一段對比增強超聲圖像視頻，為醫(yī)生提供直觀的展示。

53、一種計算機裝置，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信，所述存儲器用于存放至少一條可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行上述基于序列到序列模型及血流信息的超聲圖像合成方法對應(yīng)的操作。

54、一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)中存儲有至少一個可執(zhí)行指令，所述可執(zhí)行指令使處理器執(zhí)行上述基于序列到序列模型及血流信息的超聲圖像合成方法對應(yīng)的操作。

55、本發(fā)明的有益效果為：

56、1、本發(fā)明提出了一種先進的序列到序列（seq2seq）模型，能夠?qū)⒃汲晥D像直接轉(zhuǎn)換為高質(zhì)量的對比增強超聲圖像（ceus）。該模型的設(shè)計旨在提高生成圖像的清晰度和時間一致性，確保生成的圖像在臨床診斷中具備可靠性。通過優(yōu)化編碼器和解碼器的架構(gòu)，解決了當前傳統(tǒng)seq2seq模型在生成質(zhì)量和臨床適用性方面的局限。

57、2、本發(fā)明的核心創(chuàng)新在于將患者特定的血流信息作為額外輸入引導(dǎo)整合到序列到序列（seq2seq）模型中，實現(xiàn)將原始超聲圖像直接轉(zhuǎn)換為高質(zhì)量的對比增強超聲圖像（ceus）。這一做法使得序列到序列（seq2seq）模型能夠更加準確地捕捉病灶信息，使得生成的圖像能夠更準確地反映生理動態(tài)，提高了生成圖像的臨床相關(guān)性和準確性。該創(chuàng)新技術(shù)點填補了現(xiàn)有超聲圖像生成方法中未考慮血流動態(tài)的空白，顯著提升了對血管和周圍組織的診斷能力。

58、3、本發(fā)明還引入了一種新穎的結(jié)構(gòu)一致性損失函數(shù)，旨在增強生成圖像序列的時空一致性和平滑性。該損失函數(shù)綜合考慮了平滑和過渡問題、結(jié)構(gòu)完整性問題和時間一致性問題，確保生成圖像不僅在視覺上與目標圖像相似，而且保持結(jié)構(gòu)完整性和時間一致性。這一創(chuàng)新技術(shù)點能夠有效提升圖像序列在動態(tài)監(jiān)測和比較分析中的可靠性，從而提高了生成圖像的質(zhì)量和可用性，為臨床應(yīng)用提供更高的診斷精度。這對于臨床診斷至關(guān)重要，因為醫(yī)生需要在不同幀之間保持圖像的結(jié)構(gòu)完整性。

59、4、本發(fā)明在減少對造影劑依賴方面也展現(xiàn)了巨大潛力，通過直接從常規(guī)超聲圖像生成對比增強超聲圖像，可以降低患者的風(fēng)險和檢查成本，特別是對于需要頻繁檢查的患者群體而言，具有重要的臨床價值，因此相比傳統(tǒng)方法，本發(fā)明有望為醫(yī)療成像應(yīng)用提供一個更為可靠和有效的解決方案。

60、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解發(fā)明的技術(shù)手段，并可依照說明書的內(nèi)容予以實施，以下以本發(fā)明的較佳實施例并配合附圖詳細說明如后。本發(fā)明的具體實施方式由以下實施例及其附圖詳細給出。