本技術(shù)涉及醫(yī)療設(shè)備，特別是涉及一種內(nèi)窺鏡圖像的處理方法及其內(nèi)窺鏡系統(tǒng)。

背景技術(shù)：

1、醫(yī)用內(nèi)窺鏡是臨床診斷和手術(shù)中不可或缺的工具，它通過(guò)實(shí)時(shí)圖像幫助醫(yī)生觀察人體內(nèi)部組織。但內(nèi)窺鏡成像過(guò)程中，手術(shù)器械的存在可能會(huì)遮擋醫(yī)生對(duì)關(guān)鍵區(qū)域的視線，影響手術(shù)的精確性和安全性。為了解決這一問(wèn)題，一種常見(jiàn)的方法是簡(jiǎn)單地將手術(shù)器械圖像進(jìn)行去除，但這可能導(dǎo)致醫(yī)生錯(cuò)過(guò)手術(shù)器械的信息。為了看到手術(shù)器械的信息，目前也有將手術(shù)器械圖像進(jìn)行半透明處理的方案，然而，該處理方法會(huì)大大降低被遮擋圖像的顯示效果，內(nèi)窺鏡圖像顯示效果不佳。

2、目前，也有通過(guò)圖像處理算法來(lái)增強(qiáng)手術(shù)器械的可視化效果，例如在去除手術(shù)器械的圖像上疊加手術(shù)器械虛擬標(biāo)識(shí)。然而，這些標(biāo)識(shí)并不能真實(shí)反映手術(shù)器械的真實(shí)使用狀態(tài)，不便于醫(yī)生進(jìn)行手術(shù)操作。

技術(shù)實(shí)現(xiàn)思路

1、以下是對(duì)本技術(shù)詳細(xì)描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護(hù)范圍。

2、本技術(shù)實(shí)施例提供了一種內(nèi)窺鏡圖像的處理方法及其內(nèi)窺鏡系統(tǒng)，不僅能夠避免因?yàn)槭中g(shù)器械的遮擋而影響醫(yī)生觀察人體內(nèi)部組織遮擋，而且能夠保留手術(shù)器械的真實(shí)使用狀態(tài)。

3、一方面，本技術(shù)實(shí)施例提供了一種內(nèi)窺鏡圖像的處理方法，包括：

4、獲取待處理內(nèi)窺鏡圖像和至少一幀歷史內(nèi)窺鏡圖像；

5、識(shí)別待處理內(nèi)窺鏡圖像中的手術(shù)器械圖像,至少部分目標(biāo)組織被手術(shù)器械圖像遮擋；

6、在至少一幀歷史內(nèi)窺鏡圖像中確定未被手術(shù)器械遮擋的目標(biāo)組織圖像；

7、對(duì)待處理內(nèi)窺鏡圖像和目標(biāo)組織圖像進(jìn)行融合處理，得到目標(biāo)內(nèi)窺鏡圖像，在融合處理的過(guò)程中，對(duì)手術(shù)器械圖像中的不同區(qū)塊作不同程度的透明度處理，其中，越靠近手術(shù)器械邊緣的區(qū)塊的透明度越低；

8、顯示目標(biāo)內(nèi)窺鏡圖像。

9、進(jìn)一步，在一些實(shí)施例中，在至少一幀歷史內(nèi)窺鏡圖像中確定未被手術(shù)器械遮擋的目標(biāo)組織圖像，包括以下之一：

10、將至少一幀歷史內(nèi)窺鏡圖像輸入至圖像處理模型中進(jìn)行預(yù)測(cè)處理，得到未被手術(shù)器械遮擋的第一內(nèi)窺鏡圖像，第一內(nèi)窺鏡圖像包括目標(biāo)組織圖像；

11、或者，在至少一幀歷史內(nèi)窺鏡圖像中選擇未被手術(shù)器械遮擋的第一內(nèi)窺鏡圖像，第一內(nèi)窺鏡圖像包括目標(biāo)組織圖像；

12、或者，在至少一幀歷史內(nèi)窺鏡圖像中選擇未被手術(shù)器械遮擋的多幀目標(biāo)歷史內(nèi)窺鏡圖像，對(duì)多幀目標(biāo)歷史內(nèi)窺鏡圖像進(jìn)行組合處理得到第一內(nèi)窺鏡圖像，第一內(nèi)窺鏡圖像包括目標(biāo)組織圖像。

13、進(jìn)一步，在一些實(shí)施例中，對(duì)多幀目標(biāo)歷史內(nèi)窺鏡圖像進(jìn)行組合處理得到第一內(nèi)窺鏡圖像，包括以下之一：

14、將多幀目標(biāo)歷史內(nèi)窺鏡圖像進(jìn)行疊加處理，得到第一內(nèi)窺鏡圖像；

15、或者，將多幀目標(biāo)歷史內(nèi)窺鏡圖像進(jìn)行拼接處理，得到第一內(nèi)窺鏡圖像。

16、進(jìn)一步，在一些實(shí)施例中，對(duì)待處理內(nèi)窺鏡圖像和目標(biāo)組織圖像進(jìn)行融合處理，得到目標(biāo)內(nèi)窺鏡圖像，包括：對(duì)待處理內(nèi)窺鏡圖像和包含目標(biāo)組織圖像的第一內(nèi)窺鏡圖像進(jìn)行融合處理，得到目標(biāo)內(nèi)窺鏡圖像。

17、進(jìn)一步，在一些實(shí)施例中，對(duì)待處理內(nèi)窺鏡圖像和包含目標(biāo)組織圖像的第一內(nèi)窺鏡圖像進(jìn)行融合處理，得到目標(biāo)內(nèi)窺鏡圖像，包括：

18、確定手術(shù)器械圖像中各個(gè)區(qū)塊距離手術(shù)器械邊緣的目標(biāo)距離；

19、根據(jù)各個(gè)區(qū)塊的目標(biāo)距離確定各個(gè)區(qū)塊對(duì)應(yīng)的目標(biāo)權(quán)重，其中，目標(biāo)權(quán)重與區(qū)塊的透明度正相關(guān)，目標(biāo)距離與目標(biāo)權(quán)重負(fù)相關(guān)；

20、將待處理內(nèi)窺鏡圖像和第一內(nèi)窺鏡圖像進(jìn)行融合處理，其中，根據(jù)目標(biāo)權(quán)重對(duì)手術(shù)器械圖像中的區(qū)塊與目標(biāo)組織圖像進(jìn)行融合。

21、進(jìn)一步，在一些實(shí)施例中，將待處理內(nèi)窺鏡圖像和第一內(nèi)窺鏡圖像進(jìn)行融合處理，包括：根據(jù)手術(shù)器械圖像確定融合區(qū)域，并基于融合區(qū)域?qū)⒋幚韮?nèi)窺鏡圖像和第一內(nèi)窺鏡圖像進(jìn)行融合處理，其中，目標(biāo)組織圖像以及手術(shù)器械圖像位于融合區(qū)域內(nèi)。

22、進(jìn)一步，在一些實(shí)施例中，根據(jù)手術(shù)器械圖像確定融合區(qū)域，并基于融合區(qū)域?qū)⒋幚韮?nèi)窺鏡圖像和第一內(nèi)窺鏡圖像進(jìn)行融合處理，包括：

23、根據(jù)手術(shù)器械圖像的位置確定掩碼信息，其中，掩碼信息用于在融合處理過(guò)程中，確定需要進(jìn)行融合的融合區(qū)域；

24、根據(jù)掩碼信息對(duì)待處理內(nèi)窺鏡圖像和第一內(nèi)窺鏡圖像進(jìn)行融合處理，其中，對(duì)于融合區(qū)域外的圖像采用待處理內(nèi)窺鏡圖像的圖像信息，對(duì)于融合區(qū)域內(nèi)的圖像，根據(jù)各個(gè)區(qū)塊對(duì)應(yīng)目標(biāo)權(quán)重將各個(gè)區(qū)塊與目標(biāo)組織圖像進(jìn)行融合。

25、進(jìn)一步，在一些實(shí)施例中，將待處理內(nèi)窺鏡圖像和第一內(nèi)窺鏡圖像進(jìn)行融合處理，包括：通過(guò)以下公式對(duì)待處理內(nèi)窺鏡圖像和第一內(nèi)窺鏡圖像進(jìn)行融合處理，得到目標(biāo)內(nèi)窺鏡圖像：

26、k＝w*i+(1-w)*t；

27、其中，k為目標(biāo)內(nèi)窺鏡圖像,i為待處理內(nèi)窺鏡圖像，t為第一內(nèi)窺鏡圖像，w為目標(biāo)權(quán)重，目標(biāo)權(quán)重w表示為：

28、w＝1-f(d/d)；

29、其中，d為目標(biāo)距離，d為用于調(diào)節(jié)漸變范圍的漸變系數(shù)，f(d/d)為與目標(biāo)距離d相關(guān)的漸變函數(shù)，其中d與f(d/d)正相關(guān)。

30、進(jìn)一步，在一些實(shí)施例中，在至少一幀歷史內(nèi)窺鏡圖像中確定未被手術(shù)器械遮擋的目標(biāo)組織圖像，包括以下之一：

31、在至少一幀歷史內(nèi)窺鏡圖像中選擇未被手術(shù)器械遮擋的目標(biāo)歷史內(nèi)窺鏡圖像，根據(jù)手術(shù)器械圖像的位置在目標(biāo)歷史內(nèi)窺鏡圖像中提取目標(biāo)組織圖像；

32、在至少一幀歷史內(nèi)窺鏡圖像中選擇未被手術(shù)器械遮擋的多幀目標(biāo)歷史內(nèi)窺鏡圖，根據(jù)手術(shù)器械圖像的位置分別在各個(gè)目標(biāo)歷史內(nèi)窺鏡圖中提取得到多個(gè)第一目標(biāo)組織圖像，根據(jù)多個(gè)第一目標(biāo)組織圖像得到目標(biāo)組織圖像；

33、將至少一幀歷史內(nèi)窺鏡圖像輸入至圖像處理模型中進(jìn)行預(yù)測(cè)處理，得到未被手術(shù)器遮擋的第一內(nèi)窺鏡圖像，根據(jù)手術(shù)器械圖像的位置在第一內(nèi)窺鏡圖像中提取目標(biāo)組織圖像。

34、進(jìn)一步，在一些實(shí)施例中，根據(jù)多個(gè)第一目標(biāo)組織圖像得到目標(biāo)組織圖像，包括以下之一：

35、將多個(gè)第一目標(biāo)組織圖像輸入至圖像處理模型中進(jìn)行預(yù)測(cè)處理，得到目標(biāo)組織圖像；

36、或者，將多個(gè)第一目標(biāo)組織圖像進(jìn)行疊加處理，得到目標(biāo)組織圖像；

37、或者，根據(jù)預(yù)設(shè)條件在多個(gè)第一目標(biāo)組織圖像中選擇目標(biāo)組織圖像。

38、進(jìn)一步，在一些實(shí)施例中，對(duì)待處理內(nèi)窺鏡圖像和目標(biāo)組織圖像進(jìn)行融合處理，得到目標(biāo)內(nèi)窺鏡圖像，包括以下之一：

39、確定手術(shù)器械圖像中各個(gè)區(qū)塊距離手術(shù)器械邊緣的目標(biāo)距離；

40、根據(jù)各個(gè)區(qū)塊的目標(biāo)距離確定各個(gè)區(qū)塊對(duì)應(yīng)的目標(biāo)權(quán)重，其中，目標(biāo)權(quán)重與區(qū)塊的透明度正相關(guān)，目標(biāo)距離與目標(biāo)權(quán)重負(fù)相關(guān)；

41、根據(jù)手術(shù)器械圖像中各個(gè)區(qū)塊的目標(biāo)權(quán)重將區(qū)塊與目標(biāo)組織圖像進(jìn)行融合，得到手術(shù)器械融合圖像；

42、將待處理內(nèi)窺鏡圖像中的手術(shù)器械圖像替換為手術(shù)器械融合圖像，得到目標(biāo)內(nèi)窺鏡圖像。

43、進(jìn)一步，在一些實(shí)施例中，上述的內(nèi)窺鏡圖像的處理方法還包括：獲取用于調(diào)節(jié)漸變范圍的漸變系數(shù)，根據(jù)漸變系數(shù)和目標(biāo)距離設(shè)置目標(biāo)權(quán)重。

44、進(jìn)一步，在一些實(shí)施例中，漸變系數(shù)由以下至少之一的參數(shù)確定；

45、手術(shù)器械的類(lèi)型，其中，手術(shù)器械的類(lèi)型由用戶輸入設(shè)置或者根據(jù)手術(shù)器械圖像進(jìn)行識(shí)別得到；

46、手術(shù)器械的部位；

47、手術(shù)器械圖像的面積或者直徑或者長(zhǎng)度；

48、當(dāng)前拍攝待處理內(nèi)窺鏡圖像的內(nèi)窺鏡攝像頭的類(lèi)型或者拍攝放大倍率。

49、進(jìn)一步，在一些實(shí)施例中，區(qū)塊為手術(shù)器械圖像中的單個(gè)像素點(diǎn)或者由手術(shù)器械圖像中的多個(gè)像素點(diǎn)組成。

50、進(jìn)一步，在一些實(shí)施例中，確定手術(shù)器械圖像中各個(gè)區(qū)塊距離手術(shù)器械邊緣的目標(biāo)距離，包括：確定手術(shù)器械的邊緣輪廓，計(jì)算手術(shù)器械圖像中各個(gè)區(qū)塊距離邊緣輪廓的最短距離為目標(biāo)距離。

51、進(jìn)一步，在一些實(shí)施例中，在對(duì)待處理內(nèi)窺鏡圖像和目標(biāo)組織圖像進(jìn)行融合處理之前，還包括：對(duì)待處理內(nèi)窺鏡圖像和目標(biāo)組織圖像進(jìn)行亮度匹配處理，使待處理內(nèi)窺鏡圖像和目標(biāo)組織圖像的亮度相匹配。

52、進(jìn)一步，在一些實(shí)施例中，手術(shù)器械圖像包括邊緣輪廓區(qū)域和中心區(qū)域，對(duì)手術(shù)器械圖像中的不同區(qū)塊作不同程度的透明度處理，包括：

53、對(duì)邊緣輪廓區(qū)域的區(qū)塊采用第一透明度處理；

54、對(duì)中心區(qū)域的區(qū)塊采用第二透明度處理，第一透明度小于第二透明度。

55、進(jìn)一步，在一些實(shí)施例中，第一透明度為0％，第二透明度為100％。

56、另一方面，本技術(shù)實(shí)施例提供了一種內(nèi)窺鏡系統(tǒng)，其特征在于，包括：

57、內(nèi)窺鏡；

58、顯示裝置；

59、內(nèi)窺鏡主機(jī)，與內(nèi)窺鏡連接，內(nèi)窺鏡主機(jī)用于獲取內(nèi)窺鏡拍攝的內(nèi)窺鏡圖像數(shù)據(jù)，內(nèi)窺鏡主機(jī)還用于執(zhí)行上述的內(nèi)窺鏡圖像的處理方法得到目標(biāo)內(nèi)窺鏡圖像，并通過(guò)顯示裝置進(jìn)行顯示。

60、本技術(shù)實(shí)施例至少包括以下有益效果：通過(guò)獲取待處理內(nèi)窺鏡圖像和至少一幀歷史內(nèi)窺鏡圖像，然后，識(shí)別待處理內(nèi)窺鏡圖像中的手術(shù)器械圖像,其中，至少部分目標(biāo)組織被手術(shù)器械圖像遮擋，接著，在至少一幀歷史內(nèi)窺鏡圖像中確定未被手術(shù)器械遮擋的目標(biāo)組織圖像，進(jìn)而能夠在幀圖像中精細(xì)化地確定目標(biāo)組織圖像，提高了目標(biāo)組織圖像的真實(shí)性，最后，對(duì)待處理內(nèi)窺鏡圖像和目標(biāo)組織圖像進(jìn)行融合處理，得到目標(biāo)內(nèi)窺鏡圖像，并顯示目標(biāo)內(nèi)窺鏡圖像，而在融合處理的過(guò)程中，對(duì)手術(shù)器械圖像中的不同區(qū)塊作不同程度的透明度處理，其中，越靠近手術(shù)器械邊緣的區(qū)塊的透明度越低，進(jìn)而能夠清晰地觀察到手術(shù)器械的整體真實(shí)輪廓，同時(shí)，使得手術(shù)器械的中心區(qū)域比邊緣區(qū)域更能清晰、顯著地觀察到目標(biāo)組織，不僅能準(zhǔn)確地反映了手術(shù)器械的真實(shí)使用狀態(tài)而且還能兼顧顯示出目標(biāo)組織的真實(shí)情況，提高了內(nèi)窺鏡圖像的整體顯示效果。

61、本技術(shù)的其他特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本技術(shù)而了解。