本發(fā)明涉及眼科治療技術(shù)領(lǐng)域,特別涉及一種利用裂隙燈進(jìn)行眼底全景圖成像的方法。
背景技術(shù):
隨著人們生活水平的提高,糖尿病人的數(shù)量隨之激增;隨著糖尿病情的發(fā)展,眼底疾病作為糖尿病的主要并發(fā)癥,數(shù)量越來越多;針對眼底觀察的設(shè)備也隨之發(fā)展?,F(xiàn)在大部分觀察眼底病變的儀器是用眼底照相機(jī),因?yàn)檠鄣紫鄼C(jī)的成像視角較小,因此要觀察整個(gè)眼底,需要拍攝很多的相片進(jìn)行拼接。
傳統(tǒng)的拼接方法可以實(shí)現(xiàn)全視野的觀察,但是圖像的拼接質(zhì)量很差,僅僅是簡單的將各個(gè)圖片對準(zhǔn)然后堆砌在一起,體驗(yàn)效果很差;同時(shí)較差的圖片質(zhì)量可能導(dǎo)致醫(yī)生的診斷困難甚至誤診,帶來不應(yīng)有的損失。
還沒有見到利用裂隙燈進(jìn)行眼底成像并拼接相應(yīng)圖像的相關(guān)專利文獻(xiàn)。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的就是克服現(xiàn)有技術(shù)的不足,提供了一種利用裂隙燈進(jìn)行眼底成像的方法,包括如下步驟:
步驟一、裂隙燈眼底圖像關(guān)鍵幀序列選?。?/p>
步驟二、截取出步驟一中眼底圖像關(guān)鍵幀序列中的高亮度部分,作為待拼接圖像序列;
步驟三、使用基于特征點(diǎn)匹配的方法將步驟二所得到的待拼接圖像序列配準(zhǔn),然后拼接得到初始眼底全景圖;
步驟四、將步驟三得到的初始眼底全景圖進(jìn)行圖像融合,得到無縫的眼底全景圖。
進(jìn)一步的,步驟一中裂隙燈眼底圖像關(guān)鍵幀序列選取的方法中,包括根據(jù)相機(jī)拍攝點(diǎn)位置移動(dòng)確定所拍攝圖像重疊度的步驟,具體為:
根據(jù)m1和m2之間滿足的關(guān)系:
計(jì)算出相機(jī)在O1和O2點(diǎn)2個(gè)位置上拍攝圖像之間的重疊度;其中:I1和I2為相機(jī)分別在位置O1和O2點(diǎn)對眼底進(jìn)行拍攝得到的圖像;Mc1(Xc1,Yc1,Zc1)T和Mc2(Xc2,Yc2,Zc2)T分別為眼底中同一點(diǎn)M(Xw,Yw,Zw)T在O1和O2兩個(gè)位置中對應(yīng)的相機(jī)坐標(biāo);m1(u1,v1,1)T和m2(u2,v2,1)T為M在圖像I1和I2上對應(yīng)的點(diǎn);k是相機(jī)的內(nèi)參數(shù)矩陣;R為3×3的旋轉(zhuǎn)矩陣,表示光軸相對于世界坐標(biāo)系的旋轉(zhuǎn);t表示相機(jī)坐標(biāo)系原點(diǎn)與世界坐標(biāo)系原點(diǎn)之間的三維平移量;nT為眼底的單位法向量,d為世界坐標(biāo)系原點(diǎn)到眼底平面的距離。
進(jìn)一步的,步驟一中裂隙燈眼底圖像關(guān)鍵幀序列的選取,包括采用圖像特征點(diǎn)匹配的方法得到兩幅圖像重疊度的步驟。
進(jìn)一步的,根據(jù)設(shè)定的圖像拼接應(yīng)滿足的重疊閾值,計(jì)算出滿足重疊閾值的相鄰2個(gè)拍攝點(diǎn)的位移距離;
記錄相機(jī)所拍攝圖像與相機(jī)拍攝該圖像時(shí)所在位置坐標(biāo)的對應(yīng)關(guān)系,根據(jù)所述對應(yīng)關(guān)系及所述位移距離,實(shí)現(xiàn)對裂隙燈眼底圖像關(guān)鍵幀序列的快速選取。
進(jìn)一步的,步驟一中裂隙燈眼底圖像關(guān)鍵幀序列選取的方法包括如下步驟:
步驟1、以首尾兩幅圖像作為圖像關(guān)鍵幀Il和In,在圖像Il和In之間選出圖像關(guān)鍵幀Im,使Im分別與Il和In重疊度相同或近似相同,所述重疊度記為Tm;
步驟2、比較Tm與重疊閾值T的大?。?/p>
當(dāng)Tm≤T時(shí),Il、Im、In,即為選出的裂隙燈眼底圖像關(guān)鍵幀序列;
當(dāng)Tm>T時(shí),在Il、Im之間選取圖像關(guān)鍵幀Ip1,使Ip1分別與Il和Im重疊度相同或近似相同,Ip1與Il、Im的重疊度記為Tp1;在Im、In之間選取圖像關(guān)鍵幀Ip2,使Ip2分別與Im和In重疊度相同或近似相同,Ip2與Im、In的重疊度記為Tp2;比較Tp1、Tp2與T的大?。恢貜?fù)上述過程,直到相鄰的圖像關(guān)鍵幀重疊度均小于等于T。
進(jìn)一步的,步驟二中,通過設(shè)定亮度閾值,將眼底圖像關(guān)鍵幀序列中的高亮度部分選取出來,進(jìn)行裁剪。
進(jìn)一步的,步驟三中,對所述待拼接圖像序列基于特征點(diǎn)進(jìn)行匹配,具體步驟為;
步驟A、相鄰2幅待拼接圖像特征點(diǎn)的提取;
步驟B、根據(jù)提取出的特征點(diǎn)進(jìn)行匹配,得到2幅待拼接圖像的拼接圖像;
步驟C、通過多次兩兩拼接,得到所述初始眼底全景圖。
進(jìn)一步的,步驟四中,圖像融合采用加權(quán)平均法,根據(jù)對圖像亮度的主要成分分析,確定加權(quán)系數(shù)。
進(jìn)一步的,圖像I1和圖像I2融合得到圖像Im的公式為:
Im(i,j)=aI1(i,j)+(1-a)I2(i,j)
其中i,j為坐標(biāo),a為加權(quán)系數(shù),1≥a≥0,a為常系數(shù)或漸變系數(shù),a根據(jù)經(jīng)驗(yàn)或數(shù)學(xué)模型確定。
本發(fā)明的有益效果為:采用價(jià)格便宜的普通常規(guī)眼科檢查設(shè)備-裂隙燈顯微鏡,實(shí)現(xiàn)了價(jià)格昂貴的眼底照相機(jī)的功能;搭配不同的檢眼鏡,通過裂隙燈顯微鏡掃描眼底,可獲得完整的眼底圖像,與眼底照相機(jī)相比,視野更大,畫面更完整,操作更簡便;市場應(yīng)用前景廣闊。
附圖說明
圖1所示為相機(jī)位置移動(dòng)時(shí)眼底同一點(diǎn)在不同圖像中位置變化關(guān)系示意圖。
具體實(shí)施方式
下文將結(jié)合具體附圖詳細(xì)描述本發(fā)明具體實(shí)施例。應(yīng)當(dāng)注意的是,下述實(shí)施例中描述的技術(shù)特征或者技術(shù)特征的組合不應(yīng)當(dāng)被認(rèn)為是孤立的,它們可以被相互組合從而達(dá)到更好的技術(shù)效果。在下述實(shí)施例的附圖中,各附圖所出現(xiàn)的相同標(biāo)號代表相同的特征或者部件,可應(yīng)用于不同實(shí)施例中。
本發(fā)明實(shí)施例一種利用裂隙燈進(jìn)行眼底成像的方法,包括如下步驟:
步驟一、裂隙燈眼底圖像關(guān)鍵幀序列選??;
步驟二、截取出步驟一中眼底圖像關(guān)鍵幀序列中的高亮度部分,作為待拼接圖像序列;
步驟三、使用基于特征點(diǎn)匹配的方法將步驟二所得到的待拼接圖像序列配準(zhǔn),然后拼接得到初始眼底全景圖;
步驟四、將步驟三得到的初始眼底全景圖進(jìn)行圖像融合,得到無縫的眼底全景圖。
步驟一中,需要確定任意2幅圖像之間的重疊度,重疊度的一般以2幅圖像重疊區(qū)域的面積來度量(也可以重疊區(qū)域中的特征點(diǎn)數(shù)量來度量),經(jīng)驗(yàn)表明:當(dāng)2幅圖像重疊度(重疊區(qū)域面積/整體圖像面積)為15-30%時(shí),拼接的效果較為理想。
在本發(fā)明實(shí)施例中,采用了2種不同方式計(jì)算圖像的重疊度,知道2幅圖像重疊度后可以反向估計(jì)出能滿足拼接要求的相鄰關(guān)鍵幀圖像之間的幀間隔。一種方式是根據(jù)相機(jī)拍攝點(diǎn)位置移動(dòng)確定所拍攝圖像重疊度,通過裂隙燈拍攝時(shí)的移動(dòng)速度以及相機(jī)的參數(shù)信息估計(jì)相鄰關(guān)鍵幀圖像之間的幀間隔;另一種是通過特征點(diǎn)匹配的方法得到圖像重疊度。
圖1示出了根據(jù)相機(jī)拍攝點(diǎn)位置移動(dòng)確定所拍攝圖像重疊度的工作原理:
相機(jī)在位置O1和O2對眼底進(jìn)行拍攝,得到圖像I1和I2。Mc1(Xc1,Yc1,Zc1)T和Mc2(Xc2,Yc2,Zc2)T分別為眼底中同一點(diǎn)M(Xw,Yw,Zw)T在兩個(gè)位置中對應(yīng)的相機(jī)坐標(biāo);m1(u1,v1,1)T和m2(u2,v2,1)T為M在圖像I1和I2上對應(yīng)的點(diǎn)。
根據(jù)相機(jī)成像原理可以得到m1、m2與M之間的對應(yīng)關(guān)系,即:
其中,k是相機(jī)的內(nèi)參數(shù)矩陣,R為3×3的旋轉(zhuǎn)矩陣,表示光軸相對于世界坐標(biāo)系的旋轉(zhuǎn);t表示相機(jī)坐標(biāo)系原點(diǎn)與世界坐標(biāo)系原點(diǎn)之間的三維平移量。
將O1位置的相機(jī)坐標(biāo)系視為世界坐標(biāo)系,若O2到O1之間的運(yùn)動(dòng)為[R,t],則有:
而:
設(shè)眼底平面的方程為:
nTX=d
其中X為眼底上任意一點(diǎn),nT為眼底的單位法向量,d為世界坐標(biāo)系原點(diǎn)到眼底平面的距離。可得:
綜合以上可以得到:
這樣就推導(dǎo)出了m1和m2之間應(yīng)滿足的關(guān)系,可以看出在這個(gè)公式中必須知道三個(gè)矩陣k,R和t。其中內(nèi)參數(shù)矩陣k可以通過標(biāo)定相機(jī)得到,R和t則可以由拍攝時(shí)相機(jī)的移動(dòng)參數(shù)計(jì)算得到。通常情況下裂隙燈對于眼底的拍攝都是二維的平移運(yùn)動(dòng),因此一般將R看作是單位矩陣,平移向量t也只有一個(gè)方向的移動(dòng)。
通過相機(jī)在兩個(gè)位置上拍攝的圖像坐標(biāo)之間的關(guān)系就可以計(jì)算出圖像之間的重疊區(qū)域及重疊度,根據(jù)設(shè)定的圖像拼接應(yīng)滿足的重疊閾值,計(jì)算出滿足重疊閾值的相鄰2個(gè)拍攝點(diǎn)的位移距離;記錄相機(jī)所拍攝圖像與相機(jī)拍攝該圖像時(shí)所在位置坐標(biāo)的對應(yīng)關(guān)系,根據(jù)所述對應(yīng)關(guān)系及所述位移距離,實(shí)現(xiàn)對裂隙燈眼底圖像關(guān)鍵幀序列的快速選取。
也可以采用圖像特征點(diǎn)匹配的方法得到兩幅圖像重疊度,該方法可采用任何公知的特征點(diǎn)匹配方法得到圖像重疊度。
優(yōu)選的,步驟一中裂隙燈眼底圖像關(guān)鍵幀序列選取的方法包括如下步驟:
1、以首尾兩幅圖像作為圖像關(guān)鍵幀Il和In,在圖像Il和In之間選出圖像關(guān)鍵幀Im,使Im分別與Il和In重疊度相同或近似相同,所述重疊度記為Tm;
2、比較Tm與重疊閾值T的大?。?/p>
當(dāng)Tm≤T時(shí),Il、Im、In,即為選出的裂隙燈眼底圖像關(guān)鍵幀序列;
當(dāng)Tm>T時(shí),在Il、Im之間選取圖像關(guān)鍵幀Ip1,使Ip1分別與Il和Im重疊度相同或近似相同,Ip1與Il、Im的重疊度記為Tp1;在Im、In之間選取圖像關(guān)鍵幀Ip2,使Ip2分別與Im和In重疊度相同或近似相同,Ip2與Im、In的重疊度記為Tp2;比較Tp1、Tp2與T的大??;重復(fù)上述過程,直到相鄰的圖像關(guān)鍵幀重疊度均小于等于T。
步驟二中,通過設(shè)定亮度閾值,將圖像關(guān)鍵幀序列中的高亮度部分選取出來,進(jìn)行裁剪。
步驟三中,對所述待拼接圖像序列基于特征點(diǎn)進(jìn)行匹配,具體步驟為;
A、相鄰2幅待拼接圖像特征點(diǎn)的提??;
B、根據(jù)提取出的特征點(diǎn)進(jìn)行匹配,得到2幅待拼接圖像的拼接圖像;
C、通過多次兩兩拼接,得到所述初始眼底全景圖。
步驟四中,圖像融合環(huán)節(jié)的主要任務(wù)是將配準(zhǔn)后的兩幅圖像無縫地合并成為一幅圖像。由于拍攝時(shí)的視角變化和光照強(qiáng)度不均勻等因素的影響,會(huì)造成拼接后的圖像存在明顯的接縫,為了滿足視覺上的一致性,需要進(jìn)行圖像融合來消除拼接產(chǎn)生的縫隙。本實(shí)施例采用加權(quán)平均法來進(jìn)行圖像融合,加權(quán)平均法是根據(jù)對圖像亮度的主要成分分析,確定最佳加權(quán)系數(shù)。相鄰像素亮度差越大,賦予該像素的權(quán)值就越大。該融合方法能夠充分反映邊界信息,但是當(dāng)相鄰像素亮度差較小時(shí),該像素值不能得到充分反映
圖像I1和圖像I2融合得到圖像Im的公式可以為(但不限于):
Im(i,j)=aI1(i,j)+(1-a)I2(i,j)
其中i,j為坐標(biāo),a為加權(quán)系數(shù),1≥a≥0,a為常系數(shù)或漸變系數(shù),a根據(jù)經(jīng)驗(yàn)或數(shù)學(xué)模型確定。若a=0.5則相當(dāng)于兩幅圖像取平均值;若a為漸變系數(shù),即在不同的坐標(biāo)點(diǎn)取不同值,當(dāng)a由1逐漸變?yōu)?時(shí),拼接圖像就從I1(i,j)逐漸過渡到I2(i,j)。這樣就可以實(shí)現(xiàn)拼接部分的平滑過渡,從而消除了拼接的痕跡。
本發(fā)明的有益效果為:采用價(jià)格便宜的普通常規(guī)眼科檢查設(shè)備-裂隙燈顯微鏡,實(shí)現(xiàn)了價(jià)格昂貴的眼底照相機(jī)的功能;搭配不同的檢眼鏡,通過裂隙燈顯微鏡掃描眼底,可獲得完整的眼底圖像,與眼底照相機(jī)相比,視野更大,畫面更完整,操作更簡便;市場應(yīng)用前景廣闊。
本文雖然已經(jīng)給出了本發(fā)明的幾個(gè)實(shí)施例,但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解,在不脫離本發(fā)明精神的情況下,可以對本文的實(shí)施例進(jìn)行改變。上述實(shí)施例只是示例性的,不應(yīng)以本文的實(shí)施例作為本發(fā)明權(quán)利范圍的限定。