本發(fā)明屬于三維ct影像生成，具體涉及一種基于一致性擴(kuò)散模型的三維ct影像合成方法及系統(tǒng)。

背景技術(shù)：

1、擴(kuò)散模型在圖像和視頻生成領(lǐng)域取得了巨大進(jìn)展，為設(shè)計(jì)人員提供了極大便利。目前，在計(jì)算醫(yī)學(xué)領(lǐng)域面臨著許多挑戰(zhàn)。缺少專(zhuān)門(mén)用于訓(xùn)練的三維ct影像和配對(duì)醫(yī)學(xué)報(bào)告限制了模型的準(zhǔn)確性，同時(shí)也降低了醫(yī)學(xué)專(zhuān)家分析能力。

2、擴(kuò)散模型以其生成圖像的質(zhì)量高、多樣性和訓(xùn)練穩(wěn)定性聞名。擴(kuò)散模型的出現(xiàn)使得利用醫(yī)學(xué)報(bào)告生成三維ct影像成為可能。醫(yī)學(xué)報(bào)告通常包括患者詳細(xì)病理信息、病灶位置等關(guān)鍵醫(yī)學(xué)信息，將這些信息作為條件輸入，可以為擴(kuò)散模型提供充分生成條件。目前研究者們已經(jīng)開(kāi)始將擴(kuò)散模型應(yīng)用到醫(yī)學(xué)影像分割領(lǐng)域，但鮮有將擴(kuò)散模型應(yīng)用到醫(yī)學(xué)影像生成領(lǐng)域。通過(guò)擴(kuò)散模型生成高保真三維ct影像可以解決目前三維ct影像數(shù)據(jù)不足的問(wèn)題，基于生成的三維ct影像對(duì)模型進(jìn)行訓(xùn)練，有助于提高模型的準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為解決目前可用于模型訓(xùn)練的三維ct影像和醫(yī)學(xué)報(bào)告配對(duì)數(shù)據(jù)的數(shù)據(jù)量不足的問(wèn)題，而提出了一種基于一致性擴(kuò)散模型的三維ct影像合成方法及系統(tǒng)。

2、本發(fā)明為解決上述技術(shù)問(wèn)題所采取的技術(shù)方案是：

3、基于本發(fā)明的一個(gè)方面，一種基于一致性擴(kuò)散模型的三維ct影像合成方法，所述方法具體包括以下步驟：

4、步驟s1、獲取三維ct影像與醫(yī)學(xué)報(bào)告配對(duì)的數(shù)據(jù)集，并對(duì)獲取的數(shù)據(jù)集中的醫(yī)學(xué)報(bào)告進(jìn)行預(yù)處理，得到預(yù)處理后的三維ct影像與醫(yī)學(xué)報(bào)告配對(duì)數(shù)據(jù)集；

5、步驟s2、搭建包括預(yù)訓(xùn)練的醫(yī)學(xué)報(bào)告編碼模型、一致性擴(kuò)散模型和變分自編碼器的模型；

6、步驟s3、利用預(yù)處理后的三維ct影像與醫(yī)學(xué)報(bào)告配對(duì)的數(shù)據(jù)集對(duì)搭建的模型進(jìn)行訓(xùn)練；

7、步驟s4、獲取用于合成三維ct影像的醫(yī)學(xué)報(bào)告，對(duì)獲取的醫(yī)學(xué)報(bào)告進(jìn)行預(yù)處理后，再利用分詞器輸出預(yù)處理后醫(yī)學(xué)報(bào)告對(duì)應(yīng)的向量形式；

8、將分詞器的輸出作為預(yù)訓(xùn)練醫(yī)學(xué)報(bào)告編碼模型的輸入，得到醫(yī)學(xué)報(bào)告的文本向量；再隨機(jī)采樣一個(gè)初始的高斯噪聲向量，將采樣的高斯噪聲向量和醫(yī)學(xué)報(bào)告的文本向量輸入一致性性擴(kuò)散模型進(jìn)行逆向去噪過(guò)程，將逆向去噪過(guò)程的輸出作為變分自編碼器的解碼部分的輸入，通過(guò)vae的解碼部分輸出合成的三維ct影像。

9、基于本發(fā)明的另一個(gè)方面，一種基于一致性擴(kuò)散模型的三維ct影像合成系統(tǒng)，所述系統(tǒng)包括數(shù)據(jù)集獲取模塊、數(shù)據(jù)集預(yù)處理模塊和神經(jīng)網(wǎng)絡(luò)模型；

10、數(shù)據(jù)集獲取模塊，用于獲取三維ct影像與醫(yī)學(xué)報(bào)告配對(duì)的數(shù)據(jù)集；

11、數(shù)據(jù)集預(yù)處理模塊，用于對(duì)獲取的數(shù)據(jù)集中的醫(yī)學(xué)報(bào)告進(jìn)行預(yù)處理，得到預(yù)處理后的三維ct影像與醫(yī)學(xué)報(bào)告配對(duì)數(shù)據(jù)集；

12、神經(jīng)網(wǎng)絡(luò)模型內(nèi)包括預(yù)訓(xùn)練的醫(yī)學(xué)報(bào)告編碼模型、一致性擴(kuò)散模型和變分自編碼器；

13、且神經(jīng)網(wǎng)絡(luò)模型是利用預(yù)處理后的數(shù)據(jù)集進(jìn)行訓(xùn)練的，訓(xùn)練過(guò)程為：

14、步驟s21、對(duì)醫(yī)學(xué)報(bào)告進(jìn)行處理

15、使用分詞器在醫(yī)學(xué)報(bào)告的起始位置打上[cls]標(biāo)記，并在相鄰句子之間打上[sep]標(biāo)記作為句子分隔符，再對(duì)每句話(huà)進(jìn)行分詞處理，即將每句話(huà)分成若干個(gè)單詞，最終將處理好的句子映射為整數(shù)索引并以向量的形式輸出；

16、步驟s22、將處理后的醫(yī)學(xué)報(bào)告對(duì)應(yīng)的向量作為預(yù)訓(xùn)練的醫(yī)學(xué)報(bào)告編碼模型的輸入，通過(guò)預(yù)訓(xùn)練的醫(yī)學(xué)報(bào)告編碼模型進(jìn)行特征提取輸出醫(yī)學(xué)報(bào)告對(duì)應(yīng)的文本向量；具體為：

17、將分詞器輸出的向量分別投影到各個(gè)注意力頭的子空間中：

18、

19、其中，x是分詞器轉(zhuǎn)換后的句子向量，qi是第i個(gè)注意力頭的子空間的query向量，ki是第i個(gè)注意力頭的子空間的key向量，vi是第i個(gè)注意力頭的子空間的value向量，和為權(quán)重矩陣；

20、根據(jù)qi、ki和vi計(jì)算第i個(gè)注意力頭的注意力分?jǐn)?shù)headi：

21、

22、其中，上角標(biāo)t代表轉(zhuǎn)置，dk是特征維度；

23、拼接所有注意力頭的注意力分?jǐn)?shù)，并對(duì)拼接后的向量進(jìn)行映射：

24、ztext＝concat(head1,head2,……,headh)wo

25、其中，ztext是醫(yī)學(xué)報(bào)告對(duì)應(yīng)的文本向量，wo是投影矩陣；

26、步驟s23、將三維ct影像經(jīng)過(guò)變分自編碼器的編碼部分，得到三維ct影像的向量表示；再將三維ct影像的向量表示作為一致性擴(kuò)散模型的前向加噪過(guò)程的輸入，經(jīng)過(guò)一致性擴(kuò)散模型的前向加噪過(guò)程對(duì)三維ct影像進(jìn)行添加噪聲處理，將三維ct影像轉(zhuǎn)換為噪聲向量；

27、步驟s24、將步驟s22中獲得的文本向量和步驟s23中得到的噪聲向量作為一致性擴(kuò)散模型的逆向去噪過(guò)程的輸入，通過(guò)逆向去噪過(guò)程得到不含噪聲的影像向量x′0；

28、步驟s24的具體過(guò)程為：

29、步驟s241、初始化去噪模塊個(gè)數(shù)t＝t；

30、步驟s242、將步驟s22中獲得的文本向量和步驟s23中得到的噪聲向量作為第t個(gè)去噪模塊的輸入，得到第t個(gè)去噪模塊的輸出x′t-1；

31、步驟s243、判斷是否滿(mǎn)足t＝1；

32、若滿(mǎn)足，則結(jié)束；

33、若不滿(mǎn)足，繼續(xù)執(zhí)行步驟s244；

34、步驟s244、將第t個(gè)去噪模塊的輸出x′t-1和步驟s22中獲得的文本向量作為第t-1個(gè)去噪模塊的輸入，得到第t-1個(gè)去噪模塊的輸出x′t-2，然后令t＝t-1；

35、再返回執(zhí)行步驟s243；

36、步驟s25、根據(jù)逆向去噪結(jié)果x′0以及醫(yī)學(xué)報(bào)告所對(duì)應(yīng)的三維ct影像計(jì)算損失函數(shù)值，直至到達(dá)最大epoch或達(dá)到最大容忍度時(shí)停止訓(xùn)練，獲得訓(xùn)練好的模型；

37、訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型用于合成三維ct影像，具體過(guò)程為：

38、獲取用于合成三維ct影像的醫(yī)學(xué)報(bào)告，對(duì)獲取的醫(yī)學(xué)報(bào)告進(jìn)行預(yù)處理后，再利用分詞器輸出預(yù)處理后醫(yī)學(xué)報(bào)告對(duì)應(yīng)的向量形式；

39、將分詞器的輸出作為預(yù)訓(xùn)練醫(yī)學(xué)報(bào)告編碼模型的輸入，得到醫(yī)學(xué)報(bào)告的文本向量；

40、再隨機(jī)采樣一個(gè)初始的高斯噪聲向量，將采樣的高斯噪聲向量和醫(yī)學(xué)報(bào)告的文本向量輸入一致性性擴(kuò)散模型進(jìn)行逆向去噪過(guò)程，將逆向去噪過(guò)程的輸出作為變分自編碼器的解碼部分的輸入，通過(guò)vae的解碼部分輸出合成的三維ct影像。

41、本發(fā)明的有益效果是：

42、本發(fā)明的模型包括預(yù)訓(xùn)練的醫(yī)學(xué)報(bào)告編碼模型、一致性擴(kuò)散模型和變分自編碼器，并對(duì)組合后的模型進(jìn)行訓(xùn)練，利用訓(xùn)練好的模型和公開(kāi)的醫(yī)學(xué)報(bào)告就可以生成醫(yī)學(xué)報(bào)告對(duì)應(yīng)的三維ct影像，可以解決公開(kāi)的三維ct影像和醫(yī)學(xué)報(bào)告配對(duì)數(shù)據(jù)不足的問(wèn)題，同時(shí)允許使用醫(yī)學(xué)報(bào)告生成指定病例的三維ct影像，從而提升計(jì)算影像學(xué)對(duì)三維ct影像方面的研究能力。

技術(shù)特征：

1.一種基于一致性擴(kuò)散模型的三維ct影像合成方法，其特征在于，所述方法具體包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于一致性擴(kuò)散模型的三維ct影像合成方法，其特征在于，所述對(duì)獲取的數(shù)據(jù)集中的醫(yī)學(xué)報(bào)告進(jìn)行預(yù)處理，具體為：將醫(yī)學(xué)報(bào)告翻譯為英文。

3.根據(jù)權(quán)利要求1所述的一種基于一致性擴(kuò)散模型的三維ct影像合成方法，其特征在于，所述利用預(yù)處理后的三維ct影像與醫(yī)學(xué)報(bào)告配對(duì)的數(shù)據(jù)集對(duì)搭建的模型進(jìn)行訓(xùn)練，具體的訓(xùn)練過(guò)程為：

4.根據(jù)權(quán)利要求3所述的一種基于一致性擴(kuò)散模型的三維ct影像合成方法，其特征在于，所述將處理后的醫(yī)學(xué)報(bào)告對(duì)應(yīng)的向量作為預(yù)訓(xùn)練的醫(yī)學(xué)報(bào)告編碼模型的輸入，通過(guò)預(yù)訓(xùn)練的醫(yī)學(xué)報(bào)告編碼模型進(jìn)行特征提取輸出醫(yī)學(xué)報(bào)告對(duì)應(yīng)的文本向量；具體為：

5.根據(jù)權(quán)利要求4所述的一種基于一致性擴(kuò)散模型的三維ct影像合成方法，其特征在于，所述去噪模塊內(nèi)包括第一下采樣單元至第n下采樣單元、mid?block以及第一上采樣單元至第n上采樣單元；其中：

6.根據(jù)權(quán)利要求5所述的一種基于一致性擴(kuò)散模型的三維ct影像合成方法，其特征在于，所述mid?block的工作過(guò)程為：

7.根據(jù)權(quán)利要求6所述的一種基于一致性擴(kuò)散模型的三維ct影像合成方法，其特征在于，所述損失函數(shù)為：

8.一種基于一致性擴(kuò)散模型的三維ct影像合成系統(tǒng)，其特征在于，所述系統(tǒng)包括數(shù)據(jù)集獲取模塊、數(shù)據(jù)集預(yù)處理模塊和神經(jīng)網(wǎng)絡(luò)模型；

9.根據(jù)權(quán)利要求8所述的一種基于一致性擴(kuò)散模型的三維ct影像合成系統(tǒng)，其特征在于，所述對(duì)獲取的數(shù)據(jù)集中的醫(yī)學(xué)報(bào)告進(jìn)行預(yù)處理，具體為：將醫(yī)學(xué)報(bào)告翻譯為英文。

10.根據(jù)權(quán)利要求8所述的一種基于一致性擴(kuò)散模型的三維ct影像合成系統(tǒng)，其特征在于，所述去噪模塊內(nèi)包括第一下采樣單元至第n下采樣單元、mid?block以及第一上采樣單元至第n上采樣單元；其中：

技術(shù)總結(jié)
一種基于一致性擴(kuò)散模型的三維CT影像合成方法及系統(tǒng)，它屬于三維CT影像生成技術(shù)領(lǐng)域。本發(fā)明解決了目前可用于模型訓(xùn)練的三維CT影像和醫(yī)學(xué)報(bào)告配對(duì)數(shù)據(jù)的數(shù)據(jù)量不足的問(wèn)題。本發(fā)明搭建包括預(yù)訓(xùn)練的醫(yī)學(xué)報(bào)告編碼模型、一致性擴(kuò)散模型和變分自編碼器的模型，對(duì)獲取的三維CT影像與醫(yī)學(xué)報(bào)告配對(duì)數(shù)據(jù)集中的醫(yī)學(xué)報(bào)告進(jìn)行預(yù)處理，再利用預(yù)處理后的數(shù)據(jù)集對(duì)搭建的模型進(jìn)行訓(xùn)練，利用訓(xùn)練好的模型和公開(kāi)的醫(yī)學(xué)報(bào)告就可以生成醫(yī)學(xué)報(bào)告對(duì)應(yīng)的三維CT影像，可以解決公開(kāi)的三維CT影像和醫(yī)學(xué)報(bào)告配對(duì)數(shù)據(jù)不足的問(wèn)題，從而提升計(jì)算影像學(xué)對(duì)三維CT影像方面的研究能力。本發(fā)明方法可以應(yīng)用于三維CT影像合成領(lǐng)域。

技術(shù)研發(fā)人員：劉宇鵬,來(lái)朱俊,楊錦鋒,張曉晨,王巖松
受保護(hù)的技術(shù)使用者：哈爾濱理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/18