本發(fā)明涉及生物醫(yī)學(xué)體數(shù)據(jù)集分割領(lǐng)域與臨床醫(yī)師交互領(lǐng)域，具體而言，涉及一種基于神經(jīng)網(wǎng)絡(luò)的椎弓根釘?shù)雷灾饕?guī)劃方法及系統(tǒng)。

背景技術(shù)：

1、長期以來，如何提高椎弓根螺釘置入的安全性、準(zhǔn)確性及置入速度一直是脊柱外科的臨床痛點(diǎn)和研究熱點(diǎn)。精準(zhǔn)、快速的椎弓根螺釘術(shù)前規(guī)劃不僅能夠幫助年輕醫(yī)師順利完成手術(shù)置釘，亦對推進(jìn)多種輔助置釘技術(shù)的實(shí)際臨床應(yīng)用具有重要意義。近十余年來，人工智能和機(jī)器人技術(shù)快速演進(jìn)，賦能和驅(qū)動脊柱外科向精準(zhǔn)微創(chuàng)外科和數(shù)字化外科的方向發(fā)展，機(jī)器人能夠完成多種精密操作的能力吸引了學(xué)者的目光，機(jī)器人輔助下椎弓根螺釘置釘自然成為脊柱外科醫(yī)師新的探索方向。

2、臨床實(shí)踐中發(fā)現(xiàn)，術(shù)前規(guī)劃對機(jī)器人輔助下椎弓根螺釘置釘具有相當(dāng)程度的制約。椎弓根螺釘規(guī)劃作為整個(gè)機(jī)器人手術(shù)流程的關(guān)鍵核心步驟，需要脊柱外科醫(yī)師根據(jù)既往手術(shù)經(jīng)驗(yàn)并發(fā)揮主觀判斷能力，在術(shù)前ct影像中確定椎弓根螺釘置入路徑的入點(diǎn)、中點(diǎn)和止點(diǎn)，規(guī)劃椎弓根螺釘長度和直徑等關(guān)鍵形態(tài)學(xué)參數(shù)并在影像配準(zhǔn)后再次進(jìn)行確認(rèn)，以確保椎弓根螺釘置入的安全性和準(zhǔn)確性。該步驟通常需要手術(shù)醫(yī)師在術(shù)前ct影像上徒手測量并繪制，過程繁瑣費(fèi)時(shí)，多依賴于術(shù)者的既往手術(shù)經(jīng)驗(yàn)和主觀判斷能力，在大大消耗手術(shù)醫(yī)師精力的同時(shí)，其規(guī)劃質(zhì)量和規(guī)劃效率仍然無法得到有效保障，很大程度上制約了手術(shù)機(jī)器人發(fā)揮其精準(zhǔn)手術(shù)操作的能力。綜上所述，機(jī)器人輔助下椎弓根螺釘置釘需要手術(shù)醫(yī)師進(jìn)行術(shù)前椎弓根螺釘規(guī)劃及術(shù)中影像配準(zhǔn)確認(rèn)兩次人工定位，自動化程度仍然有進(jìn)一步提升的空間，能夠?qū)嵤┤鞒讨悄茏倒葆斨冕斒中g(shù)的機(jī)器人目前在研究領(lǐng)域以及應(yīng)用市場上仍相對空白。

3、早期對于椎弓根螺釘輔助規(guī)劃的研究主要基于脊椎解剖形態(tài)的優(yōu)化求解或利用模板匹配的方法，首先聚焦于脊椎的檢測和脊椎解剖結(jié)構(gòu)的分割與建模，但存在精確度較差、應(yīng)用條件過多等缺點(diǎn)，無法充分滿足脊柱外科醫(yī)師的實(shí)際臨床應(yīng)用需求。

4、隨著計(jì)算機(jī)科學(xué)(computer?science，cs)的發(fā)展，人工智能結(jié)合脊柱外科的“醫(yī)工融合”新方向強(qiáng)勢走進(jìn)了研究者的視野之中。在這種趨勢下，后續(xù)對于椎弓根螺釘輔助規(guī)劃的最新研究大多采用機(jī)器學(xué)習(xí)(machine?learning，ml)技術(shù)，借助計(jì)算機(jī)強(qiáng)大運(yùn)算力來提高椎弓根螺釘規(guī)劃的安全性、準(zhǔn)確性和時(shí)效性。但是，這些研究或是單純基于術(shù)前未標(biāo)注的ct影像數(shù)據(jù)進(jìn)行訓(xùn)練，無法便捷地整合到實(shí)時(shí)影像引導(dǎo)的脊柱外科手術(shù)機(jī)器人和導(dǎo)航手術(shù)規(guī)劃系統(tǒng)中；或是基于完成椎弓根螺釘置釘后的術(shù)中cbct影像數(shù)據(jù)進(jìn)行訓(xùn)練，雖然更符合脊柱外科手術(shù)機(jī)器人和導(dǎo)航手術(shù)規(guī)劃系統(tǒng)的應(yīng)用模式，但相較于更為精細(xì)的術(shù)前ct影像則會損失部分?jǐn)?shù)據(jù)。

5、當(dāng)前，以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)(deep?learning，dl)技術(shù)被認(rèn)為在醫(yī)學(xué)影像處理方面具有值得探索的研究前景，目前已有多項(xiàng)相關(guān)項(xiàng)目展開并取得了一定的研究成果。在脊柱外科方面，學(xué)者們也開展了利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)全脊柱檢測、單脊椎結(jié)構(gòu)的自動分割、骨密度計(jì)算等專門任務(wù)的研究，為后續(xù)椎弓根螺釘智能規(guī)劃方面的研究提供了一定的研究基礎(chǔ)。

6、當(dāng)前，年輕脊柱外科醫(yī)師缺乏一種高效、智能化的椎弓根螺釘輔助規(guī)劃方法幫助他們順利完成椎弓根螺釘置入手術(shù)，多種涉及醫(yī)學(xué)影像的椎弓根螺釘置入輔助技術(shù)也需要精準(zhǔn)、快速的椎弓根螺釘術(shù)前規(guī)劃優(yōu)化其臨床應(yīng)用模式；同時(shí)，采用深度學(xué)習(xí)技術(shù)研究并能夠進(jìn)一步搭載于實(shí)時(shí)影像引導(dǎo)的脊柱外科機(jī)器人和導(dǎo)航手術(shù)規(guī)劃系統(tǒng)的椎弓根螺釘輔助規(guī)劃系統(tǒng)仍然尚未有過報(bào)道。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本發(fā)明的目的是利用深度學(xué)習(xí)技術(shù)，設(shè)計(jì)一種基于神經(jīng)網(wǎng)絡(luò)的椎弓根螺釘輔助規(guī)劃技術(shù)，旨在解決脊柱后路內(nèi)固定術(shù)中椎弓根螺釘?shù)娜鞒讨悄芤?guī)劃問題，并解決在臨床實(shí)踐中，脊柱外科年輕醫(yī)師手術(shù)經(jīng)驗(yàn)、主觀判斷能力欠缺且一致性較差的問題，以及術(shù)前椎弓根螺釘規(guī)劃的規(guī)劃質(zhì)量和規(guī)劃效率無法得到有效保障從而導(dǎo)致椎弓根螺釘輔助置釘技術(shù)的實(shí)際臨床應(yīng)用困難等情況。

2、為了實(shí)現(xiàn)上述技術(shù)目的，本技術(shù)提供了一種基于神經(jīng)網(wǎng)絡(luò)的椎弓根釘?shù)雷灾饕?guī)劃方法，包括以下步驟：

3、在腰椎ct平掃+骨三維重建影像數(shù)據(jù)骨窗薄層影像序列中提取脊椎roi，生成數(shù)據(jù)集；

4、通過在3d-unet模型引入bi-conv-lstm結(jié)構(gòu)，構(gòu)建sis-3d-unet模型，并使用數(shù)據(jù)集進(jìn)行訓(xùn)練，生成第一分割規(guī)劃模型，用于進(jìn)行脊椎分割與椎弓根螺釘規(guī)劃。

5、優(yōu)選地，在生成數(shù)據(jù)集的過程中，基于挑選的影像，通過空間坐標(biāo)計(jì)算和各視角投影坐標(biāo)計(jì)算，進(jìn)行roi截取，其中，各視角包括橫截面、矢狀面和冠狀面。

6、優(yōu)選地，在構(gòu)建sis-3d-unet模型的過程中，通過3d-unet模型作為編碼器-解碼器結(jié)構(gòu)的功能，學(xué)習(xí)樣本數(shù)據(jù)的腰椎脊椎解剖結(jié)構(gòu)特征以及椎弓根螺釘規(guī)劃規(guī)律，其中，編碼器將輸入圖像逐步降采樣為更小的特征圖，解碼器則將這些特征圖上采樣至原始輸入圖像大小，同時(shí)保留空間信息。

7、優(yōu)選地，在構(gòu)建sis-3d-unet模型的過程中，通過bi-conv-lstm結(jié)構(gòu)處理輸入數(shù)據(jù)的時(shí)序信息，其中，sis-3d-unet模型用于處理序列化的影像集合，并保持影像之間的順序關(guān)，同時(shí)利用卷積操作和長短時(shí)記憶網(wǎng)絡(luò)單元來捕捉影像序列中的長期依賴關(guān)系，并在其內(nèi)部維護(hù)了一個(gè)細(xì)胞狀態(tài)和隱藏狀態(tài)。

8、優(yōu)選地，在進(jìn)行脊椎分割與椎弓根螺釘規(guī)劃的過程中，基于sis-3d-unet模型，引入sk-net結(jié)構(gòu)并在其基礎(chǔ)上加入注意力機(jī)制模塊，構(gòu)建att-sis-3d-unet模型，通過數(shù)據(jù)集進(jìn)行訓(xùn)練，生成第二分割規(guī)劃模型，用于進(jìn)行脊椎分割與椎弓根螺釘規(guī)劃。

9、優(yōu)選地，在進(jìn)行椎弓根螺釘規(guī)劃的過程中，應(yīng)用“金標(biāo)準(zhǔn)”樣本數(shù)據(jù)集對sis-3d-unet模型或att-sis-3d-unet模型進(jìn)行深度學(xué)習(xí)訓(xùn)練后使其習(xí)得相應(yīng)的椎弓根螺釘規(guī)劃規(guī)律。

10、優(yōu)選地，在生成第二分割規(guī)劃模型的過程中，基于att-sis-3d-unet模型，通過加入對抗網(wǎng)絡(luò)后，通過數(shù)據(jù)集進(jìn)行訓(xùn)練，生成第二分割規(guī)劃模型，其中，對抗網(wǎng)絡(luò)由分割網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)組成，分割網(wǎng)絡(luò)采用了全局聚合模塊的上采樣residual?blocks，判別器網(wǎng)絡(luò)則是一個(gè)二分類網(wǎng)絡(luò)，接收att-sis-3d-unet模型的分割規(guī)劃結(jié)果和ground?truth?data作為輸入，并判別其來源。

11、優(yōu)選地，在進(jìn)行脊椎分割與椎弓根螺釘規(guī)劃的過程中，利用對抗訓(xùn)練將att-sis-3d-unet模型輸出的脊椎分割結(jié)果和椎弓根螺釘規(guī)劃結(jié)果以及標(biāo)注后作為“金標(biāo)準(zhǔn)”的影像數(shù)據(jù)進(jìn)行混合并重新輸入模型，通過判別器網(wǎng)絡(luò)讓模型來判斷輸入結(jié)果，并通過反向傳播算法對att-sis-3d-unet模型的判讀結(jié)果進(jìn)行修正。

12、本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)的椎弓根釘?shù)雷灾饕?guī)劃系統(tǒng)，包括：

13、數(shù)據(jù)處理模塊，用于在腰椎ct平掃+骨三維重建影像數(shù)據(jù)骨窗薄層影像序列中提取脊椎roi，生成數(shù)據(jù)集；

14、規(guī)劃模塊，用于通過在3d-unet模型引入bi-conv-lstm結(jié)構(gòu)，構(gòu)建sis-3d-unet模型，并使用數(shù)據(jù)集進(jìn)行訓(xùn)練，生成第一分割規(guī)劃模型，用于進(jìn)行脊椎分割與椎弓根螺釘規(guī)劃。

15、優(yōu)選地，規(guī)劃模塊，還用于基于sis-3d-unet模型，引入sk-net結(jié)構(gòu)并在其基礎(chǔ)上加入注意力機(jī)制模塊，構(gòu)建att-sis-3d-unet模型，利用對抗訓(xùn)練將att-sis-3d-unet模型輸出的脊椎分割結(jié)果和椎弓根螺釘規(guī)劃結(jié)果以及標(biāo)注后作為“金標(biāo)準(zhǔn)”的影像數(shù)據(jù)進(jìn)行混合并重新輸入模型進(jìn)行訓(xùn)練，通過判別器網(wǎng)絡(luò)讓模型來判斷輸入結(jié)果，并通過反向傳播算法對att-sis-3d-unet模型的判讀結(jié)果進(jìn)行修正。

16、本發(fā)明公開了以下技術(shù)效果：

17、本發(fā)明利用對抗訓(xùn)練將att-sis-3d-unet輸出的脊椎分割結(jié)果和椎弓根螺釘規(guī)劃結(jié)果以及標(biāo)注后作為“金標(biāo)準(zhǔn)”的影像數(shù)據(jù)進(jìn)行混合并重新輸入模型，通過判別器網(wǎng)絡(luò)讓模型來判斷輸入的是醫(yī)師標(biāo)注后的ground?truth?data還是att-sis-3d-unet生成的結(jié)果，并通過反向傳播算法不斷對att-sis-3d-unet網(wǎng)絡(luò)的判讀結(jié)果進(jìn)行修正，利用樣本數(shù)據(jù)庫中腰椎脊椎解剖結(jié)構(gòu)特征明顯和椎弓根螺釘規(guī)劃具有代表性的影像，來輔助檢測特征不明顯、代表性不足的影像，有效提高了脊椎分割及椎弓根螺釘規(guī)劃的精度，進(jìn)而利用較少的腰椎ct影像數(shù)據(jù)讓深度學(xué)習(xí)模型達(dá)到脊柱外科醫(yī)師滿意的脊椎分割和椎弓根螺釘規(guī)劃效果。