本發(fā)明涉及計(jì)算機(jī)科學(xué)和口腔醫(yī)療，具體涉及一種基于深度學(xué)習(xí)的彩色圖像早期齲病診斷模型。

背景技術(shù)：

1、當(dāng)前人工智能發(fā)展迅速，深度學(xué)習(xí)作為其重要的分支，在齲病的快速自動(dòng)診斷方面也有了一定的探索。早期應(yīng)用主要集中在采用深度卷積神經(jīng)網(wǎng)絡(luò)(cnn)檢測(cè)和分割根尖周片中的齲病病變、u-net模型對(duì)咬合翼片進(jìn)行齲齒檢測(cè)、resnet模型對(duì)咬合翼片進(jìn)行齲齒分類、cnn模型對(duì)全景片和cbct圖像進(jìn)行分析等，然而，現(xiàn)有技術(shù)均是對(duì)x射線透射所得口腔放射影像進(jìn)行識(shí)別和處理，而無法對(duì)直接拍攝的口內(nèi)圖像進(jìn)行檢測(cè)，實(shí)用范圍較窄；而口腔放射影像用于診斷釉質(zhì)表面微小改變難度大，準(zhǔn)確率低，其仍然需要依賴肉眼觀察，無法實(shí)現(xiàn)對(duì)其進(jìn)行快速識(shí)別和檢測(cè)。

2、近年來，也有采用yolov3模型、u-net結(jié)構(gòu)、resnet-18和faster?r-cnn等對(duì)手機(jī)拍攝的口內(nèi)圖像進(jìn)行了自動(dòng)齲齒檢測(cè)，這雖然進(jìn)一步降低了對(duì)齲病篩查設(shè)施的要求，使該模型在低、中等收入國(guó)家的推廣成為可能。然而，現(xiàn)有技術(shù)仍然存在如下技術(shù)問題：一方面，大多數(shù)用于輔助齲齒診斷的深度學(xué)習(xí)方案都側(cè)重于齲病病變區(qū)域的檢測(cè)和分類，為了完成完整的診斷，牙醫(yī)仍需自行識(shí)別患牙的具體位置，并對(duì)這些牙齒進(jìn)行手動(dòng)編號(hào)，其對(duì)診斷效率的提升非常有限。另一方面，值得注意的是，現(xiàn)有的齲齒診斷系統(tǒng)大多采用監(jiān)督學(xué)習(xí)框架，這意味著醫(yī)生需要手動(dòng)標(biāo)注所有訓(xùn)練和測(cè)試數(shù)據(jù)，這是一項(xiàng)相當(dāng)耗時(shí)耗力的任務(wù)，從而降低診斷效率。

3、鑒于此，開發(fā)一個(gè)能夠?qū)佳肋M(jìn)行自動(dòng)分割編號(hào)的齲齒診斷模型，不僅有效彌補(bǔ)現(xiàn)有技術(shù)的不足，還能有效提升齲齒診斷效率，有效降低口腔醫(yī)生的重復(fù)勞動(dòng)量，對(duì)快速識(shí)別和診斷齲齒具有重要意義。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明意在提供基于深度學(xué)習(xí)的彩色圖像早期齲病診斷模型，以解決現(xiàn)有齲齒診斷系統(tǒng)因仍然需要醫(yī)生手動(dòng)對(duì)口內(nèi)圖像中齲齒進(jìn)行標(biāo)注或編號(hào)而降低診斷效率的技術(shù)問題。

2、為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案：基于深度學(xué)習(xí)的彩色圖像早期齲病診斷模型，包括圖像收集階段和模型構(gòu)建階段，所述圖像收集階段包括收集患者的口內(nèi)咬合面圖像；所述模型構(gòu)建階段包括深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練和齲齒診斷模型的運(yùn)行。

3、優(yōu)選的，作為一種改進(jìn)，所述深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練包括如下步驟：

4、s1、含齲圖像的篩查：訓(xùn)練圖像分類網(wǎng)絡(luò)將口內(nèi)圖像區(qū)分為健康口內(nèi)圖像及含齲口內(nèi)圖像兩組；

5、s2、齲齒檢測(cè)：訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)標(biāo)注含齲口內(nèi)圖像中的齲齒并分為早期和中晚期齲齒2類標(biāo)簽；

6、s3、牙齒分割編號(hào)：訓(xùn)練圖像分割網(wǎng)絡(luò)標(biāo)注分割含齲口內(nèi)圖像中的牙齒并進(jìn)行編號(hào)標(biāo)注。

7、優(yōu)選的，作為一種改進(jìn)，在s1中，圖像分類網(wǎng)絡(luò)的訓(xùn)練如下：選用resnet34、resnet50和resnet101網(wǎng)絡(luò)對(duì)上下頜口內(nèi)圖像進(jìn)行含齲圖像的篩查，比較三者在測(cè)試集中的各項(xiàng)指標(biāo)，選擇效果最優(yōu)的resnet34網(wǎng)絡(luò)對(duì)上下頜口內(nèi)圖像進(jìn)行含齲圖像的篩查及分組。

8、優(yōu)選的，作為一種改進(jìn)，在s2中，目標(biāo)檢測(cè)網(wǎng)絡(luò)的訓(xùn)練如下：選用yolov5s、yolov5m和yolov5x網(wǎng)絡(luò)對(duì)含齲口內(nèi)圖像的齲齒進(jìn)行檢測(cè)分類，比較三者在測(cè)試集中的各項(xiàng)指標(biāo)，選擇效果較優(yōu)的yolov5s網(wǎng)絡(luò)進(jìn)行早期齲齒和中后期齲齒的自動(dòng)識(shí)別和定位。

9、優(yōu)選的，作為一種改進(jìn)，在s2中，圖像分割網(wǎng)絡(luò)的訓(xùn)練如下：選用u-net、u-net++及mt-net網(wǎng)絡(luò)對(duì)含齲口內(nèi)圖像中齲齒進(jìn)行分割和編號(hào)，比較三者在測(cè)試集中的各項(xiàng)指標(biāo)，選擇效果較優(yōu)的mt-net網(wǎng)絡(luò)對(duì)含齲口內(nèi)圖像進(jìn)行患牙的分割和編號(hào)。

10、優(yōu)選的，作為一種改進(jìn)，還包括深度學(xué)習(xí)模型的評(píng)估階段，以口腔醫(yī)生的分類標(biāo)注結(jié)果為參照，評(píng)估本方案齲齒診斷模型的診斷性能。

11、優(yōu)選的，作為一種改進(jìn)，所述口腔醫(yī)生的分類標(biāo)注結(jié)果的獲得方法，包括口腔醫(yī)生對(duì)圖片進(jìn)行分類、標(biāo)注及分割編號(hào)，包括如下步驟：

12、步驟一、收集患者的口內(nèi)咬合面圖像；

13、步驟二、圖像中牙齒的分類：口腔醫(yī)生根據(jù)國(guó)際齲病檢測(cè)和評(píng)估系統(tǒng)(icdas)將口內(nèi)圖像中的每顆牙齒分為健康牙齒、齲病早期改變牙齒、齲病中晚期改變牙齒；

14、步驟三、圖像中牙齒的分割及編號(hào)：口腔醫(yī)生依次對(duì)口內(nèi)圖像中除第三磨牙外的每顆牙齒進(jìn)行分割，并根據(jù)國(guó)際牙科聯(lián)合會(huì)編號(hào)系統(tǒng)(fdi)對(duì)分割的牙齒進(jìn)行編號(hào)。

15、優(yōu)選的，作為一種改進(jìn)，所述齲齒診斷模型的整體運(yùn)行步驟如下：首先利用resnet34網(wǎng)絡(luò)對(duì)口內(nèi)圖像進(jìn)行圖像分類，健康的口內(nèi)圖像在分類完成后即診斷為“健康”，含齲口內(nèi)圖像則進(jìn)一步利用yolo?v5s和mt-net結(jié)構(gòu)進(jìn)行齲齒檢測(cè)及分割編號(hào)；模型提取齲齒檢測(cè)結(jié)果的像素坐標(biāo)與完成分割編號(hào)的每顆牙齒的像素坐標(biāo)依次進(jìn)行重疊對(duì)比，計(jì)算兩者的像素重疊率，提取與檢出齲齒重疊率最高的牙齒的編號(hào)結(jié)果，從而同時(shí)診斷出所有患牙的嚴(yán)重程度及牙位編號(hào)。

16、優(yōu)選的，作為一種改進(jìn)，所述像素重疊率的計(jì)算公式為：tp是真陽性像素點(diǎn)，fp是假陽性像素點(diǎn)，fn是假陰性像素點(diǎn)。

17、本方案的原理及優(yōu)點(diǎn)是：

18、1、相比于現(xiàn)有齲齒診斷系統(tǒng)只能處理口內(nèi)圖像齲齒診斷的一部分工作(如齲病病變區(qū)域的檢測(cè)和分類)，導(dǎo)致另外部分工作(如編號(hào)等)仍然需要醫(yī)生完成而降低診斷效率而言，本方案通過收集并標(biāo)注了大量口內(nèi)圖像數(shù)據(jù)，分別用于不同分類、目標(biāo)檢測(cè)及分割網(wǎng)絡(luò)的訓(xùn)練及測(cè)試，而后選出在各自任務(wù)中表現(xiàn)最佳的網(wǎng)絡(luò)用于齲齒診斷模型的構(gòu)建。最終，構(gòu)建的診斷模型進(jìn)行整體運(yùn)行并分析，從而實(shí)現(xiàn)對(duì)口內(nèi)圖像中齲病的完整診斷。

19、2、本方案在篩查過程中，resnet34網(wǎng)絡(luò)框架使用快捷連接的方式來緩解梯度消失情況，其預(yù)測(cè)層位于卷積層之后，該層使用sigmoid激活函數(shù)進(jìn)行二分類(健康的口內(nèi)圖像為0，含有齲病的口內(nèi)圖像為1)。且為了改善預(yù)測(cè)標(biāo)簽與真實(shí)標(biāo)簽間存在的差異，利用交叉熵?fù)p失為這一優(yōu)化過程提供具體目標(biāo)，使其能夠在充滿噪聲的樣本中推斷出正確類別。然后，將自適應(yīng)矩估計(jì)算法與steplr策略相結(jié)合，從而實(shí)現(xiàn)對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)的優(yōu)化，有效提升口內(nèi)圖像篩查的準(zhǔn)確率。申請(qǐng)人通過長(zhǎng)期實(shí)驗(yàn)發(fā)現(xiàn)，參考醫(yī)生標(biāo)記結(jié)果，本方案篩查階段的準(zhǔn)確率高達(dá)100％。

20、3、本方案在訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)過程中，采用非極大值抑制算法對(duì)生成的預(yù)測(cè)結(jié)果進(jìn)行后處理。通過對(duì)于置信度排序，非極大值抑制算法能夠最大限度地減少目標(biāo)檢測(cè)框的重疊，從而提高檢測(cè)精度。與含齲圖像篩選階段所使用的優(yōu)化器不同，本方案在齲齒檢測(cè)階段使用隨機(jī)梯度下降來對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)節(jié)，同時(shí)保留交叉熵?fù)p失作為損失函數(shù)，有效提升檢測(cè)準(zhǔn)確率。而在齲齒分割編號(hào)過程中，選擇的mt-net網(wǎng)絡(luò)框架同時(shí)對(duì)標(biāo)注樣本和未標(biāo)注樣本進(jìn)行訓(xùn)練，且數(shù)據(jù)集中未標(biāo)注樣本含量明顯多于標(biāo)注樣本，其教師模型的參數(shù)通過指數(shù)移動(dòng)平均進(jìn)行實(shí)時(shí)更新。它的損失函數(shù)由兩部分組成，即有監(jiān)督損失和無監(jiān)督一致性損失。有監(jiān)督損失包括交叉熵?fù)p失和dice損失，比例分別為0.999和0.001。無監(jiān)督一致性損失是均方誤差損失，本方案則計(jì)算教師模型添加噪聲后與學(xué)生模型無噪聲情況下的一致性損失，以增強(qiáng)整個(gè)框架的魯棒性。

21、4、本方案通過將模型診斷結(jié)果和醫(yī)生標(biāo)注結(jié)果進(jìn)行比對(duì)，有效對(duì)本方案中齲齒診斷模型的準(zhǔn)確性和可行性進(jìn)行評(píng)估，從而提升模型診斷結(jié)果的可信度，便于本方案基于深度學(xué)習(xí)的彩色圖像早期齲病診斷模型的泛應(yīng)用于輔助口腔醫(yī)生診斷患者情況，提升口腔醫(yī)生診斷效率，從而快速給出治療方案，減輕患者痛苦。