本發(fā)明屬于混合現(xiàn)實領(lǐng)域，具體涉及一種具備電子標(biāo)尺和預(yù)警功能的嬰幼兒氣道顯示系統(tǒng)。

背景技術(shù)：

1、嬰幼兒氣道管理失敗，可導(dǎo)致延誤患兒救治，造成患兒氣道損傷，甚至危及患兒生命。嬰幼兒氣道管理目前對操作者和管理者來說，既是臨床重點，又是技術(shù)難點，嬰幼兒的張口度比較小，舌體在口腔內(nèi)的占比大，不容易暴露聲門；會厭與聲門呈銳角，聲門開口相對比較高，聲門下生理性狹窄，氣道手術(shù)中如果操作不當(dāng)易造成聲門下?lián)p傷，損傷后易形成斑痕；另外嬰幼兒耐受缺氧時間短，如果遇到嬰幼兒困難氣管插管，必須在保證成功率的同時，還要盡可能快速和輕柔，實施難度非常大。

2、現(xiàn)有技術(shù)中利用可視喉鏡可以看到氣道實時畫面，但是單獨的可視喉鏡提供的信息有限，目前也有一些可視喉鏡配合vr、mr技術(shù)的方案。vr、mr技術(shù)可以基于醫(yī)療dicom數(shù)據(jù)生成氣道模型，但是此類方法只能獲取靜態(tài)的關(guān)鍵部位數(shù)據(jù)，且無法獲得插管深度和兒童聲門下狹窄生理位置的相對信息，對于氣管插管操作或者氣道手術(shù)的醫(yī)生來說，這些關(guān)鍵部位情況只能憑經(jīng)驗獲得，在一些復(fù)雜情況下，顯示數(shù)據(jù)不夠精確，會提升操作風(fēng)險。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種具備電子標(biāo)尺和預(yù)警功能的嬰幼兒氣道顯示系統(tǒng)，包括：嬰幼兒專用可視喉鏡、混合現(xiàn)實三維模型生成單元、增強現(xiàn)實模型生成單元、數(shù)據(jù)處理單元和ar眼鏡；

2、所述嬰幼兒專用可視喉鏡用于獲取嬰幼兒氣道的實時內(nèi)窺影像，并將所述實時內(nèi)窺影像發(fā)送給所述數(shù)據(jù)處理單元；

3、所述混合現(xiàn)實三維模型生成單元用于基于嬰幼兒胸部ct數(shù)據(jù)，構(gòu)建包含完整解剖結(jié)構(gòu)的混合現(xiàn)實三維模型；

4、所述增強現(xiàn)實模型生成單元用于從所述混合現(xiàn)實三維模型中剝離出三維氣道模型；將對氣道中重要解剖結(jié)構(gòu)的關(guān)鍵點測量得到的氣道關(guān)鍵數(shù)據(jù)標(biāo)注到所述三維氣道模型中，生成增強現(xiàn)實模型，并將所述氣道關(guān)鍵數(shù)據(jù)發(fā)送給數(shù)據(jù)處理單元；

5、數(shù)據(jù)處理單元用于將所述氣道關(guān)鍵數(shù)據(jù)和實時內(nèi)窺影像進行融合處理，生成關(guān)鍵點位置提示信息和危險操作預(yù)警信息，發(fā)送至ar眼鏡；

6、所述ar眼鏡用于顯示所述混合現(xiàn)實三維模型、增強現(xiàn)實模型以及疊加所述關(guān)鍵點位置提示和危險操作預(yù)警信息的實時內(nèi)窺影像，用于輔助診斷和手術(shù)規(guī)劃。

7、特別地，所述氣道關(guān)鍵數(shù)據(jù)的獲取方式包括：基于嬰幼兒的胸部ct數(shù)據(jù)獲取氣道ct數(shù)據(jù)進行3d打印，得到氣道實體模型，對所述氣道實體模型進行精密標(biāo)尺測量得到所述氣道關(guān)鍵數(shù)據(jù)。

8、特別地，所述關(guān)鍵點包括聲門、氣管隆突或肺葉開口；所述關(guān)鍵數(shù)據(jù)包括聲門直徑、聲門下狹窄直徑、聲門至氣管隆突的距離或氣管隆突至右上肺葉開口的距離。

9、特別地，數(shù)據(jù)處理單元包括聲門位置提示和危險操作預(yù)警模塊，其通過自注意力機制計算氣道實時影像數(shù)據(jù)序列與所述三維氣道模型中的關(guān)鍵點數(shù)據(jù)序列之間的匹配程度，具體實現(xiàn)為：

10、

11、其中，為氣道實時影像幀與所述三維氣道模型中關(guān)鍵點的匹配權(quán)重，其中，表示氣道實時影像數(shù)據(jù)序列中的第i幀圖像數(shù)據(jù)，表示所述三維氣道模型中的第j個關(guān)鍵點數(shù)據(jù)；表示查詢向量的線性變換矩陣，用于將輸入x映射到查詢向量的空間，q表示查詢向量；鍵向量的線性變換矩陣，用于將輸入y映射到鍵向量的空間，表示鍵向量，表示縮放因子的維度，表示所述三維氣道模型中關(guān)鍵點的索引，表示所述三維氣道模型中關(guān)鍵點的總數(shù)。

12、特別地，結(jié)合所述匹配權(quán)重計算關(guān)鍵點的聚焦表示，并用于聲門位置提示和危險操作預(yù)警，具體實現(xiàn)為：

13、

14、其中，用于表示第幀氣道實時影像數(shù)據(jù)關(guān)鍵點的聚焦表示，用于實時提示聲門位置及危險操作預(yù)警，表示一個線性變換矩陣，用于將所述三維氣道模型中的第j個關(guān)鍵點數(shù)據(jù)映射到值向量空間，表示值向量。

15、特別地，數(shù)據(jù)處理單元中還包括導(dǎo)航功能模塊，用于通過基于參數(shù)化相似度的加權(quán)距離計算方法，計算導(dǎo)管軌跡點與所述三維氣道模型中所述關(guān)鍵點之間的加權(quán)匹配得分，具體實現(xiàn)為：

16、

17、其中：pf表示第f個導(dǎo)管軌跡點的坐標(biāo)向量，yg表示第g個所述三維氣道模型中的關(guān)鍵點，‖表示向量拼接操作；wγ表示可學(xué)習(xí)的權(quán)重矩陣和bγ表示可學(xué)習(xí)的偏置向量，leakyrelu是帶泄漏的修正線性單元激活函數(shù)，γfg表示導(dǎo)管軌跡點pf與所述三維氣道模型中關(guān)鍵點yg的加權(quán)匹配得分。

18、特別地，結(jié)合所述加權(quán)匹配得分計算導(dǎo)管軌跡點與所述關(guān)鍵點之間的加權(quán)距離，具體實現(xiàn)為：

19、

20、其中，df表示第f個導(dǎo)管軌跡點與所述三維氣道模型中所有關(guān)鍵點之間的加權(quán)距離，用于導(dǎo)航過程中導(dǎo)管與聲門或其他關(guān)鍵位置的距離計算；pf表示第f個導(dǎo)管軌跡點的坐標(biāo)向量，yg表示第g個所述三維氣道模型中關(guān)鍵點的坐標(biāo)向量，||pf-yg||表示第f個導(dǎo)管軌跡點pf與所述三維氣道模型關(guān)鍵點yg之間的歐氏距離。

21、特別地，所述導(dǎo)航功能模塊進一步通過路徑規(guī)劃算法動態(tài)調(diào)整導(dǎo)管插入的最佳路徑，具體包括以下步驟：基于導(dǎo)管軌跡點與所述關(guān)鍵點之間的所述加權(quán)距離，使用最短路徑搜索算法規(guī)劃出從當(dāng)前位置到所述關(guān)鍵點的最佳插入路徑；動態(tài)監(jiān)測導(dǎo)管移動，實時更新當(dāng)前位置與各所述關(guān)鍵點的距離，并重新規(guī)劃最佳路徑，以最小化插入路徑中的風(fēng)險。

22、特別地，所述混合現(xiàn)實三維模型是按照不同體重的嬰幼兒共享對應(yīng)的通用模型或者針對單個嬰幼兒的病癥建立對應(yīng)的個性化的模型。

23、有益效果：

24、（1）通過本發(fā)明的技術(shù)方案，可以實時準(zhǔn)確地檢測和定位氣道內(nèi)的關(guān)鍵位置，為手術(shù)導(dǎo)航提供精準(zhǔn)的視覺反饋，提高手術(shù)精度和安全性。

25、（2）通過本發(fā)明的技術(shù)方案，能夠?qū)崟r監(jiān)測氣道內(nèi)部的危險區(qū)域，及時預(yù)警潛在的風(fēng)險操作，有效預(yù)防手術(shù)過程中的意外傷害，保障患者安全。

26、（3）通過本發(fā)明的技術(shù)方案，可以融合多模態(tài)影像數(shù)據(jù)和先驗的三維模型信息，建立更加準(zhǔn)確和全面的氣道解剖結(jié)構(gòu)表示，為手術(shù)規(guī)劃和輔助決策提供可靠依據(jù)。

27、（4）通過本發(fā)明的技術(shù)方案，可以自適應(yīng)地關(guān)注不同時刻氣道內(nèi)的關(guān)鍵區(qū)域，動態(tài)調(diào)整注意力分配，提高了系統(tǒng)的魯棒性和適應(yīng)性，能夠應(yīng)對復(fù)雜多變的手術(shù)場景。

28、（5）通過本發(fā)明的技術(shù)方案，可以顯著減少對醫(yī)生的認(rèn)知負(fù)擔(dān)，降低手術(shù)操作的技能要求，使先進的手術(shù)技術(shù)能夠被更多醫(yī)療機構(gòu)和醫(yī)生采用，提高醫(yī)療水平的整體水平。

技術(shù)特征：

1.一種具備電子標(biāo)尺和預(yù)警功能的嬰幼兒氣道顯示系統(tǒng)，包括：嬰幼兒專用可視喉鏡、混合現(xiàn)實三維模型生成單元、增強現(xiàn)實模型生成單元、數(shù)據(jù)處理單元和ar眼鏡；

2.如權(quán)利要求1所述的嬰幼兒氣道顯示系統(tǒng)，所述氣道關(guān)鍵數(shù)據(jù)的獲取方式包括：基于嬰幼兒的胸部ct數(shù)據(jù)獲取氣道ct數(shù)據(jù)進行3d打印，得到氣道實體模型，對所述氣道實體模型進行精密標(biāo)尺測量得到所述氣道關(guān)鍵數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的嬰幼兒氣道顯示系統(tǒng)，其特征在于，所述關(guān)鍵點包括聲門、氣管隆突或肺葉開口；所述關(guān)鍵數(shù)據(jù)包括聲門直徑、聲門下狹窄直徑、聲門至氣管隆突的距離或氣管隆突至右上肺葉開口的距離。

4.根據(jù)權(quán)利要求1-3任意一項所述的嬰幼兒氣道顯示系統(tǒng)，其特征在于，數(shù)據(jù)處理單元包括聲門位置提示和危險操作預(yù)警模塊，其通過自注意力機制計算氣道實時影像數(shù)據(jù)序列與所述三維氣道模型中的關(guān)鍵點數(shù)據(jù)序列之間的匹配程度，具體實現(xiàn)為：

5.根據(jù)權(quán)利要求4所述的嬰幼兒氣道顯示系統(tǒng)，其特征在于，結(jié)合所述匹配權(quán)重計算關(guān)鍵點的聚焦表示，并用于聲門位置提示和危險操作預(yù)警，具體實現(xiàn)為：

6.根據(jù)權(quán)利要求5所述的嬰幼兒氣道顯示系統(tǒng)，其特征在于，數(shù)據(jù)處理單元中包括導(dǎo)航功能模塊，用于通過基于參數(shù)化相似度的加權(quán)距離計算方法，計算導(dǎo)管軌跡點與所述三維氣道模型中所述關(guān)鍵點之間的加權(quán)匹配得分，具體實現(xiàn)為：

7.根據(jù)權(quán)利要求6所述的嬰幼兒氣道顯示系統(tǒng)，其特征在于，結(jié)合所述加權(quán)匹配得分計算導(dǎo)管軌跡點與所述關(guān)鍵點之間的加權(quán)距離，具體實現(xiàn)為：

8.根據(jù)權(quán)利要求7所述的嬰幼兒氣道顯示系統(tǒng)，其特征在于，所述導(dǎo)航功能模塊進一步通過路徑規(guī)劃算法動態(tài)調(diào)整導(dǎo)管插入的最佳路徑，具體包括以下步驟：基于導(dǎo)管軌跡點與所述關(guān)鍵點之間的所述加權(quán)距離，使用最短路徑搜索算法規(guī)劃出從當(dāng)前位置到所述關(guān)鍵點的最佳插入路徑；動態(tài)監(jiān)測導(dǎo)管移動，實時更新當(dāng)前位置與各所述關(guān)鍵點的距離，并重新規(guī)劃最佳路徑，以最小化插入路徑中的風(fēng)險。

9.根據(jù)權(quán)利要求5-8任意一項所述的嬰幼兒氣道顯示系統(tǒng)，其特征在于，所述混合現(xiàn)實三維模型是按照不同體重的嬰幼兒共享對應(yīng)的通用模型或者針對單個嬰幼兒的病癥建立對應(yīng)的個性化的模型。

技術(shù)總結(jié)
本發(fā)明屬于混合現(xiàn)實領(lǐng)域，具體涉及一種具備電子標(biāo)尺和預(yù)警功能的嬰幼兒氣道顯示系統(tǒng)。嬰幼兒專用可視喉鏡用于獲取嬰幼兒氣道的實時內(nèi)窺影像；混合現(xiàn)實三維模型生成單元用于基于嬰幼兒胸部CT數(shù)據(jù)，構(gòu)建包含完整解剖結(jié)構(gòu)的混合現(xiàn)實三維模型；增強現(xiàn)實模型生成單元對氣道中重要解剖結(jié)構(gòu)的關(guān)鍵點測量得到的氣道關(guān)鍵數(shù)據(jù)標(biāo)注到所述三維氣道模型中，并生成增強現(xiàn)實模型；數(shù)據(jù)處理單元用于將所述氣道關(guān)鍵數(shù)據(jù)和實時內(nèi)窺影像進行融合處理，生成關(guān)鍵點位置提示信息和危險操作預(yù)警信息，發(fā)送至AR眼鏡；AR眼鏡用于顯示融合后的數(shù)據(jù)，并疊加所述關(guān)鍵點位置提示和危險操作預(yù)警信息。本方案可用于輔助診斷和手術(shù)規(guī)劃。

技術(shù)研發(fā)人員：倪鑫,趙欣,郭永麗,劉原虎,楊少鵬,孫宏宇,邢天禹,趙偉,陳蕾,張泉,郝紫旭,楊逸
受保護的技術(shù)使用者：首都醫(yī)科大學(xué)附屬北京兒童醫(yī)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19