本發(fā)明屬于光學、信息科學與放射物理學的交叉技術領域，具體涉及一種在放射治療中，使用單攝像模組，檢測人臉的關鍵點位置，并結(jié)合ct的三維斷層圖像，達到監(jiān)測頭部中腫瘤的三維位置，從而輔助放射治療的方法。

背景技術：

癌癥一直以來都是威脅人類健康，甚至危及生命的頑疾。癌癥的治療手段主要有手術治療、化學藥物治療以及放射治療。其中放射治療是使用放射線照射腫瘤區(qū)域的一種治療方法。放射治療用于約70％的癌癥患者的治療中，約有40％的癌癥可通過放射治療而痊愈。因此，放射治療在腫瘤的治療中，具有極其重要的應用價值。在放射治療中，如何確定病灶的位置，并指引放射治療頭將射線準確的照射到病灶的位置，是實現(xiàn)精準治療的關鍵。當前，使用三維檢測系統(tǒng)，對人體進行三維測量，獲取三維點云信息，進而輔助放射治療頭準確的將發(fā)射線照射到病灶位置，是一個主流的研究與應用方向。但是，目前的三維檢測系統(tǒng)，存在著精度與速度之間的矛盾。高精度系統(tǒng)，其速度較低；速度快的系統(tǒng)，精度較差。理論上，放射治療領域，希望實現(xiàn)高速、高精度的人體三維形貌檢測。在本方法中，我們針對頭部的放射治療，提出了一種使用單攝像模組，檢測人臉的關鍵點位置，并結(jié)合ct的三維斷層圖像，達到監(jiān)測頭部腫瘤的三維位置，從而輔助放射治療的方法。

技術實現(xiàn)要素：

1、本發(fā)明的目的。

本發(fā)明的目的是針對現(xiàn)有技術的不足，提出使用單攝像模組，檢測人臉的關鍵點位置，并結(jié)合ct的三維斷層圖像，達到監(jiān)測頭部腫瘤的三維位置，從而輔助放射治療的方法。

2、本發(fā)明所采用的技術方案。

本發(fā)明提出一種放射治療中基于單攝像模組的頭部三維檢測方法：

步驟1、在放射治療前，通過患者的ct掃描結(jié)果，獲取頭部的三維圖像；

步驟2、在放射治療時，通過攝像模組，實時獲取人臉圖像；

步驟3、通過步驟1的頭部的三維圖像與步驟2的人臉圖像，計算當前人臉與攝像模組的相對距離、傾斜角度；

步驟4、以攝像模組的攝像頭的感光芯片的中心為原點，實時構(gòu)建頭部的三維坐標點。

更進一步具體實施方式中，步驟1、在放射治療前，獲取頭部的三維圖像，具體使用的頭部三維信息為兩個眼睛的中心距離，眉心到鼻尖的距離以及頭部腫瘤三維信息；

步驟2、在放射治療過程中，實時獲取人臉圖像，利用人臉關鍵點的檢測方法，獲取人臉的眼睛輪廓、眼球位置、眉心位置與鼻尖位置信息；

步驟3、通過步驟1的頭部的三維圖像與步驟2的人臉圖像，計算當前人臉與攝像模組的相對距離、傾斜角度；具體為所述的步驟2人臉圖像中，分別連接眼球中心，眉心位置與鼻尖位置，可得到兩條相交的直線，通過使用仿射變換算法，可獲得頭部繞著x軸、y軸、z軸的旋轉(zhuǎn)角度以及平移向量；

步驟4、通過使用上述的旋轉(zhuǎn)角度構(gòu)成的旋轉(zhuǎn)矩陣與平移向量構(gòu)成的平移矩陣，作用于所述步驟1中的三維圖像中的每一個點，實時獲取當前頭部的三維數(shù)據(jù)，以攝像頭的感光芯片的中心為原點，實時構(gòu)建頭部的三維坐標點。在放射治療中，主要關注的是當前頭部中腫瘤的三維數(shù)據(jù)。

更進一步具體實施方式中，所述的步驟1：在放射治療前，獲取頭部的三維ct掃描圖像：

使用dicomrt格式保存三維影像數(shù)據(jù)，讀取其中的ct圖像以及structure數(shù)據(jù)，從ct圖像中獲取頭部的每一個點的三維位置信息；其中，提取兩個眼睛的中心距離，眉心到鼻尖的距離；從structure數(shù)據(jù)中，提取頭部腫瘤的三維信息。

更進一步具體實施方式中，所述的步驟2中：在放射治療時，通過可移動變焦攝像模組，攝像模組使用短焦模式，尋找人臉的位置，并拍攝人臉圖像；并使用dlib函數(shù)庫中的人臉68個關鍵點檢測方法，進行人臉識別與人臉關鍵點位置的提取，其中包括眼睛輪廓、眼球位置、眉心位置與鼻尖位置信息；在完成了人臉識別后，攝像模組增加鏡頭的焦距，使得人臉圖像充滿感光芯片，提高數(shù)據(jù)點的采集精度；從長焦圖像中，我們可以得到眼睛輪廓、眼球位置、眉心位置與鼻尖位置信息；該長焦圖像，定義為拍攝圖像，在攝像模組上，定義眉心位置為(ex，ey)。

更進一步具體實施方式中，所述的步驟3：將步驟1中從ct圖像中提取的兩個眼睛的中心距離，眉心到鼻尖的距離，連接眼球中心，眉心位置與鼻尖位置，可得到兩條相交的直線的圖像定義為ct抽象圖像；在步驟2中，從拍攝圖像中提取的兩個眼睛的中心距離，眉心到鼻尖的距離，連接眼球中心，眉心位置與鼻尖位置，可得到兩條相交的直線的圖像定義為拍攝抽象圖像；上述圖像通過使用仿射變換算法，可獲得頭部繞著x軸、y軸、z軸的旋轉(zhuǎn)角度θx，θy，θz，以及平移向量[tx，ty，tz]；得到θx，θy，θz后，可根據(jù)下面式子，計算三個旋轉(zhuǎn)矩陣分量：

在獲得了上述三個旋轉(zhuǎn)矩陣分量后，我們就可以得到頭部的旋轉(zhuǎn)矩陣，其計算方法是將三個矩陣依次相乘：r＝rzryrx，其中矩陣r是一個3×3的矩陣，其格式可表述如下：

更進一步具體實施方式中，所述的步驟4中：實時構(gòu)建頭部的三維坐標點，在獲得了旋轉(zhuǎn)矩陣與平移矩陣后，對dicomrt中的所有數(shù)據(jù)點，進行平移變換與旋轉(zhuǎn)變換，可以獲得實際環(huán)境中，頭部的三維數(shù)據(jù)點，三維數(shù)據(jù)點的平移變換與旋轉(zhuǎn)變換的計算步驟描述如下：

通過使用上述的旋轉(zhuǎn)矩陣與平移矩陣，作用于ct三維圖像中的每一個點，就能實時獲取當前頭部的三維數(shù)據(jù)，這些數(shù)據(jù)，將可以輔助放射治療設備，精確的將放射線照射到頭部的腫瘤處；

所述的仿射變換算法是指，將仿射變換中的三個仿射矩陣，作用于ct抽象圖，然后與拍攝抽象圖比對，獲取差值；上述計算，將結(jié)合最小二乘法，找到最優(yōu)的θx，θy，θz，使得差值最??；這個最優(yōu)解，就是頭部繞著x軸、y軸、z軸的旋轉(zhuǎn)角度；

所述三個仿射矩陣由下面3個矩陣描述：

所述平移向量，是在得到最優(yōu)的θx，θy，θz后，將其作用于ct抽象圖像，測量兩個眼球的間距，定義為eye-spc；將該數(shù)值，與拍攝圖像的兩個眼睛的中心距離相除，得到比值rio，利用rio，可以得到當前人臉的眉心的實際三維坐標位置(以攝像模組的感光芯片中心為原點)[rio×ex，rio×ey，(rio+1)f]，其中f為成像模組鏡頭的焦距，該向量可定義為平移向量，記為[tx，ty，tz]。

3、本發(fā)明的有益效果。

(1)本發(fā)明通過單攝像模組進行人臉拍照，獲取人臉關鍵點數(shù)據(jù)(包括兩個眼球位置，眉心位置與鼻尖位置)，通過仿射變換算法，得到的旋轉(zhuǎn)角度，進而得到旋轉(zhuǎn)矩陣。

(2)本發(fā)明結(jié)合dicomrt中的ct三維圖像與攝像模組拍攝的人臉圖像的比較，可以得到頭部的平移向量。

(3)本發(fā)明通過旋轉(zhuǎn)矩陣與平移向量作用于頭部的ct三維圖像，可以實時的獲得真實空間中頭部的三維數(shù)據(jù)，從而輔助放射治療設備將放射線精準的照射到腫瘤區(qū)域。

附圖說明

圖1為本方法的流程圖。

圖2為dicomrt數(shù)據(jù)格式，本方法使用到其中ct圖像數(shù)據(jù)與structure數(shù)據(jù)。

圖3為單攝像模組拍攝示意圖，其中1代表變焦鏡頭，2代表相機，3代表電動云臺。

圖4為拍攝圖像示意圖，其中①為ct圖像中的人臉示意圖，②為ct抽象圖，分別連接兩個眼球位置，眉心位置與鼻尖位置后的交叉線示意圖，l1表示ct圖像下兩個眼球的間距，l2表示眉心到鼻尖的間距，l3表示眉心到右眼球的間距，σ1表示l1線段與水平軸的夾角，σ2表示l2線段與水平軸的夾角。③為拍攝圖像示意圖，包含了旋轉(zhuǎn)與平移信息，④拍攝抽象圖，分別連接兩個眼球位置，眉心位置與鼻尖位置后的交叉線示意圖，l4表示拍攝圖像下兩個眼球的間距，l5表示眉心到鼻尖的間距，l6表示眉心到右眼球的間距，σ3表示l4線段與水平軸的夾角，σ4表示l5線段與水平軸的夾角。

具體實施方式

實施例1

下面結(jié)合附圖，以一個具體實施方式，介紹該發(fā)明。

步驟1：在放射治療前，通過患者的ct掃描結(jié)果，獲取頭部的三維ct掃描圖像

對于癌癥患者，都需要謹慎的診斷。因此，每一位癌癥患者，都有相應的三維醫(yī)學影像數(shù)據(jù)。當前，國際上主要使用dicomrt格式保存癌癥患者的信息。其信息結(jié)構(gòu)如圖2所示。其中ct圖像為三維影像數(shù)據(jù)。structure數(shù)據(jù)中保存腫瘤的位置與尺寸信息。在放射治療前，將先獲取dicomrt數(shù)據(jù)，從dicomrt中，根據(jù)其國際標準的編碼規(guī)則，讀取其中的ct圖像以及structure數(shù)據(jù)。從ct圖像中，我們可以獲取頭部的三維數(shù)據(jù)信息，這些信息包含了頭部每一個點的三維位置信息。其中，我們將主要應用的是兩個眼睛的中心距離，眉心到鼻尖的距離。從structure數(shù)據(jù)中，我們可以提取頭部腫瘤的三維信息，包括腫瘤的位置與尺寸信息。

步驟2：使用一個攝像模組，實時獲取人臉圖像，并利用人臉關鍵點的檢測方法，獲取人臉的眼睛輪廓、眼球位置、眉心位置與鼻尖位置信息

如圖3所示，一個變焦攝像模組放置在一個可移動的云臺上。在放射治療時，攝像模組使用短焦模式，通過電動云臺的運動，尋找人臉的位置，并拍攝人臉圖像。并使用當前經(jīng)典的dlib函數(shù)庫中的人臉68個關鍵點檢測方法，進行人臉識別與人臉關鍵點位置的提取。在完成了人臉識別后，攝像模組增加鏡頭的焦距，使得人臉圖像充滿感光芯片，從而能提高數(shù)據(jù)點的采集精度。從長焦圖像中，我們可以得到眼睛輪廓、眼球位置、眉心位置與鼻尖位置信息。該長焦圖像，定義為拍攝圖像。將攝像模組感光芯片的中心定義為坐標的原點，并定義眉心位置為(ex，ey，0)。

步驟3：計算當前人臉與攝像模組的相對距離、傾斜角度。

在人臉圖像中，分別連接眼球中心，眉心位置與鼻尖位置，可得到兩條相交的直線。定義為抽象圖像。

將步驟1中從ct圖像中提取的“兩個眼睛的中心距離，眉心到鼻尖的距離”，連接眼球中心，眉心位置與鼻尖位置，可得到兩條相交的直線，定義為ct抽象圖像。如圖4-②所示，兩個眼睛的中心距離定義為l1，眉心與鼻尖的距離定義為l2。眉心與右眼的距離定義為l3。線段l1與水平線的夾角定義為σ1，線段l2與水平線的夾角定義為σ2。

在步驟2中，從拍攝圖像中提取的“兩個眼睛的中心距離，眉心到鼻尖的距離”，連接眼球中心，眉心位置與鼻尖位置，可得到兩條相交的直線，定義為拍攝抽象圖像。如圖4-④所示，兩個眼睛的中心距離定義為l4，眉心與鼻尖的距離定義為l5。眉心與右眼的距離定義為l6。線段l4與水平線的夾角定義為σ3，線段l5與水平線的夾角定義為σ4。

上述圖像信息通過使用仿射變換算法，可獲得頭部繞著x軸、y軸、z軸的旋轉(zhuǎn)角度θx，θy，θz，以及平移向量[tx，ty，tz]。得到θx，θy，θz后，可根據(jù)下面式子，計算三個旋轉(zhuǎn)矩陣分量

在獲得了上述三個旋轉(zhuǎn)矩陣分量后，我們就可以得到頭部的旋轉(zhuǎn)矩陣，其計算方法是將三個矩陣依次相乘：r＝rzryrx。其中矩陣r是一個3×3的矩陣，其格式可表述如下：

步驟4：實時構(gòu)建頭部的三維坐標點

在獲得了旋轉(zhuǎn)矩陣與平移矩陣后，我們可對dicomrt中的所有數(shù)據(jù)點，進行平移變換與旋轉(zhuǎn)變換，可以獲得實際環(huán)境中，頭部的三維數(shù)據(jù)點。三維數(shù)據(jù)點的平移變換與旋轉(zhuǎn)變換的計算步驟描述如下：

通過使用上述的旋轉(zhuǎn)矩陣與平移矩陣，作用于ct三維圖像中的每一個點，就能實時獲取當前頭部的三維數(shù)據(jù)。這些數(shù)據(jù)，將可以輔助放射治療設備，精確的將放射線照射到頭部的腫瘤處。

所述的仿射變換算法是指，將仿射變換中的三個仿射矩陣，作用于ct抽象圖，并更新ct抽象圖像中的變量l1，l2，l3，σ1，σ2的數(shù)值。并計算下面向量def＝[(l1-l3)/l3，l1/l2，σ1，σ2]。同時，根據(jù)攝像抽象圖中的l3，l4，l6，σ3，σ4，也定義一個向量def2＝[(l4-l6)/l4，l4/l5，σ3，σ4]。上述計算，將結(jié)合最小二乘法，找到最優(yōu)的θx，θy，θz，使得|def-def2|最小。這個最優(yōu)解，就是頭部繞著x軸、y軸、z軸的旋轉(zhuǎn)角度。

所述三個仿射矩陣由下面3個矩陣描述：

所述平移向量，是在得到最優(yōu)的θx，θy，θz后，將其作用于ct抽象圖像，測量兩個眼球的間距，定義為eye-spc。將該數(shù)值，與拍攝圖像的眼球位置相除，得到比值rio，利用rio，可以得到當前人臉的眉心的實際三維坐標位置(以攝像模組的感光芯片中心為原點)[rio×xx，rio×ey，(rio+1)f]，其中f為成像模組鏡頭的焦距。該向量可定義為平移向量，記為[tx，ty，tz]。

以上顯示和描述了本方法的基本原理和主要特征和本方法的優(yōu)點。本行業(yè)的技術人員應該了解，本方法不受上述實施例的限制，上述實施例和說明書中描述的只是說明本方法的原理，在不脫離本方法精神和范圍的前提下，本方法還可以有各種變化和改進。