本發(fā)明涉及計(jì)算機(jī)視覺，更具體地，涉及一種體表三維點(diǎn)云目標(biāo)區(qū)域提取方法及系統(tǒng)。

背景技術(shù)：

1、腫瘤放射治療是利用放射線治療腫瘤的一種局部治療方法，在放射治療時(shí)需保證射線照射位置的準(zhǔn)確性，以免傷及其他組織和器官。在放射治療時(shí)，常采用一種低溫?zé)崴苣て瑏砉潭ɑ颊唧w位，并根據(jù)臨床需要對(duì)低溫?zé)崴苣て_窗。為了提高患者擺位的準(zhǔn)確性，還需要采用體表光學(xué)圖像引導(dǎo)系統(tǒng)對(duì)患者進(jìn)行三維體表掃描，獲取到患者體表三維點(diǎn)云，并對(duì)膜片開窗的區(qū)域進(jìn)行體表配準(zhǔn)，以確認(rèn)擺位的準(zhǔn)確性和提高治療的安全性。

2、目前有提出通過獲取物體在二維圖像中的位置，并生成二維邊界框，通過預(yù)測(cè)三維點(diǎn)云數(shù)據(jù)中的三維邊界框，并識(shí)別三維點(diǎn)云數(shù)據(jù)的物理中心，最后基于物理中心、三維邊界框?qū)μ摂M三維模型進(jìn)行周界檢測(cè)識(shí)別，實(shí)現(xiàn)患者體表三維點(diǎn)云中膜片開窗區(qū)域的識(shí)別。然而，由于獲取到的患者體表三維點(diǎn)云中缺乏紋理信息，無法根據(jù)膜片顏色在患者體表三維點(diǎn)云識(shí)別膜片開窗的對(duì)應(yīng)區(qū)域，同時(shí)由于膜片與患者體表貼合度較高，無法根據(jù)開窗形狀在患者體表三維點(diǎn)云識(shí)別膜片開窗的對(duì)應(yīng)區(qū)域。此外，在放射治療過程中隨著治療機(jī)架的旋轉(zhuǎn)，還存在開窗區(qū)域掃描被遮擋的問題，因此難以準(zhǔn)確識(shí)別患者體表三維點(diǎn)云中膜片開窗的目標(biāo)區(qū)域。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為克服上述現(xiàn)有技術(shù)所述難以準(zhǔn)確識(shí)別患者體表三維點(diǎn)云中膜片開窗的目標(biāo)區(qū)域的缺陷，提供及一種體表三維點(diǎn)云目標(biāo)區(qū)域提取方法及系統(tǒng)。

2、為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：

3、一種體表三維點(diǎn)云目標(biāo)區(qū)域提取方法，包括以下步驟：

4、對(duì)配置有開窗膜片的目標(biāo)患者體表進(jìn)行三維掃描和拍攝，得到目標(biāo)患者體表的三維點(diǎn)云數(shù)據(jù)和二維圖像；

5、基于所述三維點(diǎn)云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系；

6、將所述二維圖像輸入圖像分割模型中，得到二維圖像中關(guān)于膜片開窗區(qū)域外輪廓的roi識(shí)別結(jié)果；

7、遍歷所述三維點(diǎn)云數(shù)據(jù)中的三維點(diǎn)，基于所述映射關(guān)系將三維點(diǎn)映射到一二維圖像的二維點(diǎn)上，并判斷所述二維點(diǎn)是否位于其所在二維圖像中的roi識(shí)別結(jié)果內(nèi)，若是，則將該三維點(diǎn)加入目標(biāo)區(qū)域集合，否則對(duì)下一三維點(diǎn)進(jìn)行判斷；

8、完成遍歷后，將所述目標(biāo)區(qū)域集合作為目標(biāo)區(qū)域提取結(jié)果輸出。

9、進(jìn)一步地，本發(fā)明還提出了一種體表三維點(diǎn)云目標(biāo)區(qū)域提取系統(tǒng)，應(yīng)用本發(fā)明提出的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法。其中，所述系統(tǒng)包括：

10、采集模塊，用于對(duì)配置有開窗膜片的目標(biāo)患者體表進(jìn)行掃描和拍攝，得到目標(biāo)患者體表的三維點(diǎn)云數(shù)據(jù)和二維圖像；

11、映射模塊，用于基于所述三維點(diǎn)云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系；

12、roi識(shí)別模塊，其上搭載有圖像分割模型，用于將所述二維圖像輸入圖像分割模型中，輸出二維圖像中關(guān)于膜片開窗區(qū)域外輪廓的roi識(shí)別結(jié)果；

13、目標(biāo)區(qū)域提取模塊，用于遍歷所述三維點(diǎn)云數(shù)據(jù)中的三維點(diǎn)，并基于所述映射關(guān)系將三維點(diǎn)映射到一二維圖像的二維點(diǎn)上，并判斷所述二維點(diǎn)是否位于二維圖像所在視角的roi識(shí)別結(jié)果內(nèi)，若是，則將該三維點(diǎn)加入目標(biāo)區(qū)域集合，否則對(duì)下一三維點(diǎn)進(jìn)行判斷；完成遍歷后，將所述目標(biāo)區(qū)域集合作為目標(biāo)區(qū)域提取結(jié)果輸出。

14、進(jìn)一步地，本發(fā)明還提出了一種設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令，其中，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如本發(fā)明提出的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法的步驟。

15、進(jìn)一步地，本發(fā)明還提出了一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可讀指令，其中，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明提出的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法的步驟。

16、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

17、本發(fā)明通過對(duì)配置有開窗膜片的目標(biāo)患者體表進(jìn)行三維掃描及二維圖像拍攝，利用經(jīng)過訓(xùn)練的圖像分割模型精確提取膜片開窗區(qū)域外輪廓的roi識(shí)別結(jié)果，最后通過將三維點(diǎn)云映射在二維圖像中，篩選位于roi目標(biāo)區(qū)域內(nèi)的三維點(diǎn)云，有效且準(zhǔn)確地完成體表三維點(diǎn)云目標(biāo)區(qū)域提??；

18、本發(fā)明利用圖像分割模型進(jìn)行關(guān)于膜片開窗區(qū)域外輪廓的roi識(shí)別，能夠適應(yīng)不同患者、不同治療部位、不同膜片開窗大小和位置，以及不同環(huán)境光影響下的二維圖像roi識(shí)別，能夠精確提取關(guān)于膜片開窗的roi區(qū)域，進(jìn)而有效提高患者體表三維點(diǎn)云目標(biāo)區(qū)域提取準(zhǔn)確性。

技術(shù)特征：

1.一種體表三維點(diǎn)云目標(biāo)區(qū)域提取方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法，其特征在于，所述判斷其是否位于任一二維圖像中的roi識(shí)別結(jié)果內(nèi)，包括以下步驟：

3.根據(jù)權(quán)利要求1所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法，其特征在于，所述方法還包括以下步驟：

4.根據(jù)權(quán)利要求3所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法，其特征在于，所述圖像分割模型包括yolov5網(wǎng)絡(luò)模型。

5.根據(jù)權(quán)利要求1所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法，其特征在于，所述基于所述三維點(diǎn)云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系，包括以下步驟：

6.根據(jù)權(quán)利要求1~5任一項(xiàng)所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法，其特征在于，所述對(duì)配置有開窗膜片的目標(biāo)患者體表進(jìn)行三維掃描和拍攝，包括以下步驟：

7.根據(jù)權(quán)利要求6所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法，其特征在于，所述掃描設(shè)備包括三維掃描設(shè)備和二維掃描設(shè)備，或，雙目結(jié)構(gòu)光相機(jī)。

8.一種體表三維點(diǎn)云目標(biāo)區(qū)域提取系統(tǒng)，其特征在于，

9.根據(jù)權(quán)利要求8所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取系統(tǒng)，其特征在于，所述目標(biāo)區(qū)域提取模塊在判斷所述二維點(diǎn)是否位于二維圖像所在視角的roi識(shí)別結(jié)果內(nèi)時(shí)，執(zhí)行以下步驟：

10.根據(jù)權(quán)利要求8所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取系統(tǒng)，其特征在于，所述采集模塊還用于采集不同患者在進(jìn)行不同部位治療過程的二維圖像，并對(duì)二維圖像中膜片開窗區(qū)域的外輪廓進(jìn)行標(biāo)注，得到訓(xùn)練數(shù)據(jù)；

11.根據(jù)權(quán)利要求10所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取系統(tǒng)，其特征在于，所述圖像分割模型包括yolov5網(wǎng)絡(luò)模型。

12.根據(jù)權(quán)利要求8所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取系統(tǒng)，其特征在于，所述映射模塊在基于所述三維點(diǎn)云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系時(shí)，執(zhí)行以下步驟：

13.根據(jù)權(quán)利要求8~12任一項(xiàng)所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取系統(tǒng)，其特征在于，所述采集模塊在對(duì)配置有開窗膜片的目標(biāo)患者體表進(jìn)行掃描和拍攝時(shí)，執(zhí)行以下步驟：

14.根據(jù)權(quán)利要求13所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取系統(tǒng)，其特征在于，所述掃描設(shè)備包括三維掃描設(shè)備和二維掃描設(shè)備，或，雙目結(jié)構(gòu)光相機(jī)。

15.一種設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令，其特征在于，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如權(quán)利要求1~7任一項(xiàng)所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法的步驟。

16.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)可讀指令，其特征在于，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1~7任一項(xiàng)所述的體表三維點(diǎn)云目標(biāo)區(qū)域提取方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，提出一種體表三維點(diǎn)云目標(biāo)區(qū)域提取方法及系統(tǒng)，其中，所述方法包括以下步驟：對(duì)配置有開窗膜片的目標(biāo)患者體表進(jìn)行三維掃描和拍攝，得到目標(biāo)患者體表的三維點(diǎn)云數(shù)據(jù)和二維圖像；基于所述三維點(diǎn)云數(shù)據(jù)與所述二維圖像構(gòu)建映射關(guān)系；將所述二維圖像輸入圖像分割模型中，得到二維圖像中關(guān)于膜片開窗區(qū)域外輪廓的ROI識(shí)別結(jié)果；遍歷所述三維點(diǎn)云數(shù)據(jù)中的三維點(diǎn)，基于映射關(guān)系將三維點(diǎn)映射到一二維圖像的二維點(diǎn)上，并判斷其是否位于二維圖像所在視角的ROI識(shí)別結(jié)果內(nèi)，若是，則將該三維點(diǎn)加入目標(biāo)區(qū)域集合，否則對(duì)下一三維點(diǎn)進(jìn)行判斷；完成遍歷后，將所述目標(biāo)區(qū)域集合作為目標(biāo)區(qū)域提取結(jié)果輸出。

技術(shù)研發(fā)人員：龔強(qiáng),陳銘昌,藍(lán)培欽,李恒
受保護(hù)的技術(shù)使用者：廣州科萊瑞迪醫(yī)療器材股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19