背景技術(shù):
具有類型1或類型2糖尿病的人能夠由于有糖尿病而逐漸形成眼部疾病。最常見的糖尿病眼部疾病之一是糖尿病視網(wǎng)膜病變,其損害眼睛后部的光敏組織(稱為視網(wǎng)膜)的血管。眼睛檢查能夠產(chǎn)生眼睛后部的圖像并且受過訓(xùn)練的醫(yī)療專業(yè)人員使用那些圖像來診斷和治療糖尿病視網(wǎng)膜病變。
用來產(chǎn)生眼睛后部(稱為眼底)的圖像的許多當(dāng)前方法遭受各種不足,通常產(chǎn)生能夠使診斷程序復(fù)雜化的不完美圖像。傳統(tǒng)的成像技術(shù)使用拜爾圖案化彩色濾波器陣列成像傳感器。這類技術(shù)具有低靈敏度并且所得的圖像通常遭受由低彩色分辨率引起的去馬賽克偽影。另外,許多當(dāng)前方法要求擴(kuò)張患者的眼睛,這令人不舒服并且不方便。
技術(shù)實(shí)現(xiàn)要素:
在一個(gè)方面中,非散瞳眼底成像系統(tǒng)包含:單色互補(bǔ)金屬氧化物半導(dǎo)體圖像傳感器陣列,其中該傳感器陣列包括多個(gè)像素并且有全局電子快門操作的能力,該全局快門能夠基本上同時(shí)發(fā)起多個(gè)像素的曝光和有光電二極管的相繼讀出的能力。系統(tǒng)在一個(gè)方面中還包含照明單元,其操作地耦合于圖像傳感器陣列,其中該照明單元包含能夠被過度驅(qū)動(dòng)(overdriven)的發(fā)光二極管。
在另一個(gè)方面中,用于產(chǎn)生眼底的圖像的方法包含:照亮發(fā)光二極管;激活二維單色互補(bǔ)金屬氧化物半導(dǎo)體傳感器陣列的全局快門,其中該傳感器陣列包含能夠在全局快門激活期間基本上同時(shí)曝光來獲得眼底的圖像的多個(gè)像素;以及存儲來自多個(gè)像素的圖像讀出。
系統(tǒng)和方法都能夠用來篩選(screen for)、監(jiān)測和診斷眼睛相關(guān)疾病,例如糖尿病視網(wǎng)膜病變。
附圖說明
圖1圖示成像系統(tǒng)的一個(gè)實(shí)施例,該成像系統(tǒng)包含患者、眼底成像系統(tǒng)、網(wǎng)絡(luò)、顯示器和臨床醫(yī)生。
圖2圖示示例眼底成像系統(tǒng)的示意圖。
圖3圖示通過示例眼底成像系統(tǒng)的臨床醫(yī)生的示例使用的流程圖。
圖4圖示示例眼底成像系統(tǒng)的操作的示例方法的流程圖。
圖5圖示使用被動(dòng)眼睛跟蹤來發(fā)起眼底成像的示例方法。
具體實(shí)施方式
圖1是圖示用于記錄和查看患者眼底的圖像的示例系統(tǒng)100的示意框圖。在該示例中,系統(tǒng)100包含患者P、眼底成像系統(tǒng)102、與圖像處理器106通信105的拍攝裝置104、與圖像處理器106一起被臨床醫(yī)生C使用的顯示器108和網(wǎng)絡(luò)110。在示例系統(tǒng)中,眼底成像系統(tǒng)102和顯示器108經(jīng)由通信路徑107直接或經(jīng)由網(wǎng)絡(luò)110使用有線和/或無線通信方案處于通信中。
眼底成像系統(tǒng)102運(yùn)行以創(chuàng)建患者P的眼睛眼底的數(shù)字圖像。如本文使用的,“眼底”指眼睛眼底并且包含視網(wǎng)膜、視神經(jīng)、黃斑、玻璃體、脈絡(luò)膜和后極。
在一些實(shí)施例中,對患者P篩選眼睛疾病,例如糖尿病視網(wǎng)膜病變。在一些實(shí)施例中,系統(tǒng)102還能夠用來診斷或監(jiān)測疾?。ɡ缣悄虿∫暰W(wǎng)膜病變)的進(jìn)展。
在一些實(shí)施例中,成像系統(tǒng)102包含手持外殼,其支承系統(tǒng)的組件。外殼支承一個(gè)或多個(gè)孔徑用于每次對一或兩只眼睛成像。在一些實(shí)施例中,外殼支承用于患者P的定位導(dǎo)向裝置(positional guide),例如可調(diào)整的腮托。定位導(dǎo)向裝置或多個(gè)定位導(dǎo)向裝置幫助使患者P的一只眼睛或兩只眼睛與一個(gè)或兩個(gè)孔徑對準(zhǔn)。在一些實(shí)施例中,外殼支承用于提升和降低一個(gè)或多個(gè)孔徑以使它們與患者P的一只眼睛或兩只眼睛對準(zhǔn)的部件。一旦患者P的眼睛對準(zhǔn),臨床醫(yī)生C則通過眼底成像系統(tǒng)102發(fā)起一個(gè)或多個(gè)圖像捕捉。
用于眼底成像的大部分已知技術(shù)要求散瞳,或使患者的瞳孔擴(kuò)張,這對于患者P能夠是痛苦和/或不方便的。盡管如果已給予散瞳藥則系統(tǒng)100能夠?qū)ρ鄣壮上?,示例系統(tǒng)100不要求在成像之前對患者P給予散瞳藥。
在一些實(shí)施例中,系統(tǒng)100用來幫助臨床醫(yī)生C篩選、監(jiān)測或診斷各種眼睛疾病。在一些實(shí)施例中,操作眼底成像系統(tǒng)102的臨床醫(yī)生C與評估所得圖像的臨床醫(yī)生C不同。
在示例實(shí)施例100中,眼底成像系統(tǒng)102包含與圖像處理器106通信105的拍攝裝置104。在該實(shí)施例中,拍攝裝置104是數(shù)字拍攝裝置,其包含透鏡、孔徑、處理器和傳感器陣列。拍攝裝置104具有傳感器陣列,其配備有全局快門。在一些實(shí)施例中,拍攝裝置104配置成每次記錄一只眼睛的眼底的圖像。在其他實(shí)施例中,拍攝裝置104配置成基本上同時(shí)記錄兩只眼睛的圖像。在那些實(shí)施例中,眼底成像系統(tǒng)102能夠包含兩個(gè)單獨(dú)拍攝裝置,每只眼睛一個(gè)。
在示例系統(tǒng)100中,圖像處理器106操作地耦合于拍攝裝置104并且配置成與網(wǎng)絡(luò)110和/或顯示器108通信。在一些實(shí)施例中,圖像處理器106調(diào)節(jié)拍攝裝置104的操作。示例圖像處理器在圖2中更詳細(xì)示出,其在下文進(jìn)一步描述。
在一些實(shí)施例中,眼底成像系統(tǒng)102還連接到打印機(jī)(未在圖1中示出)。打印機(jī)能夠用來產(chǎn)生由眼底成像系統(tǒng)102產(chǎn)生的一個(gè)或多個(gè)眼底圖像的物理副本。
在示例系統(tǒng)100中,顯示器108直接107或經(jīng)由網(wǎng)絡(luò)110與眼底成像系統(tǒng)102通信。顯示器108運(yùn)行以采用由臨床醫(yī)生C可讀的大小和格式重現(xiàn)由眼底成像系統(tǒng)102產(chǎn)生的圖像。
在一些實(shí)施例中,外殼支承顯示器108,其嵌入外殼中。在其他實(shí)施例中,顯示器108是示例系統(tǒng)100的單獨(dú)組件,并且可具有它自己的外殼,比如例如移動(dòng)電話或平板計(jì)算機(jī)上的顯示器或監(jiān)測器。在另一個(gè)實(shí)施例中,顯示器108是可選的并且眼底成像系統(tǒng)102通過網(wǎng)絡(luò)110連接到云存儲裝置。在那個(gè)實(shí)施例中,眼底成像系統(tǒng)102將一個(gè)或多個(gè)眼底圖像傳送到云存儲裝置并且能夠通過訪問云存儲裝置來查看圖像。
在下文關(guān)于圖2提供示例眼底成像系統(tǒng)的更詳細(xì)論述。
在一個(gè)實(shí)施例中,眼底成像系統(tǒng)連接到網(wǎng)絡(luò)110(連接101)。該網(wǎng)絡(luò)110進(jìn)而連接到顯示器108(連接103)。連接101和103可包含任何類型的無線網(wǎng)絡(luò)、有線網(wǎng)絡(luò)或本領(lǐng)域內(nèi)已知的任何通信網(wǎng)絡(luò)。例如,無線連接能夠包含蜂窩網(wǎng)絡(luò)連接和使用諸如802.11a、b和/或g的協(xié)議進(jìn)行的連接。在其他示例中,無線連接能夠使用一個(gè)或多個(gè)有線或無線協(xié)議(例如藍(lán)牙、Wi-Fi直接、射頻識別(RFID)或Zigbee)直接在眼底成像系統(tǒng)102與顯示器108之間實(shí)現(xiàn)。其他配置是可能的。
圖2是在示例眼底成像系統(tǒng)202中的組件的框圖。示例眼底成像系統(tǒng)202包含:圖像傳感器陣列204,其包括單色光電二極管206、快門控制208和不透明的屏蔽存儲裝置210;照明單元216,其包含發(fā)光二極管218和定時(shí)單元220;計(jì)算系統(tǒng)222,其包含處理器224和存儲器226;透鏡228、可選孔徑232、聯(lián)網(wǎng)單元234和顯示器236。
圖像傳感器陣列204在示例系統(tǒng)202中是互補(bǔ)金屬氧化物半導(dǎo)體傳感器陣列。示例傳感器陣列204包含單色光電二極管206、快門控制208和不透明屏蔽存儲裝置210。示例傳感器陣列204運(yùn)行以接收和處理由患者的眼底反射的光。
圖像傳感器陣列204具有多行像素和多列像素。在一些實(shí)施例中,圖像傳感器陣列具有約1280×1024像素、約640×480像素或約1500×1152像素。
在一些實(shí)施例中,圖像傳感器陣列204中的像素大小是從約4微米×約4微米;從約2微米×約2微米;從約6微米×約6微米;或從約1微米×約1微米。
示例單色光電二極管206具有光接收表面并且具有基本上均勻的長度和寬度。在曝光期間,單色光電二極管206將入射光轉(zhuǎn)換成電荷。
快門控制208在示例系統(tǒng)202中發(fā)起光電二極管206的曝光和光電二極管206的曝光結(jié)束。在一些實(shí)施例中,在光電二極管206的曝光期結(jié)束后,電荷被傳輸?shù)讲煌该髌帘未鎯ρb置210??扉T控制208還控制光電二極管206的復(fù)位和要由計(jì)算系統(tǒng)222處理的存儲電荷的讀出。
快門控制208配置成作為全局快門來操作圖像傳感器陣列204。即,基本上所有光電二極管同時(shí)曝光并且持續(xù)基本上相同時(shí)間長度。全局曝光在曝光時(shí)間期間有效地使電荷跨圖像傳感器陣列204基本上均勻整合(integrate)。
在另一個(gè)實(shí)施例中,具有全局復(fù)位模式的單色CMOS傳感器也能夠在沒有不透明屏蔽存儲裝置的情況下使用。
如在上文參考圖1論述的,在一些實(shí)施例中,臨床醫(yī)生通過所有像素的全局復(fù)位來發(fā)起光電二極管206的曝光。然而,快門控制208配置成通過將所有像素全局傳輸?shù)剿鼈兊膶?yīng)不透明屏蔽存儲裝置來結(jié)束曝光期。例如,在一些實(shí)施例中,快門控制208使用在臨床醫(yī)生發(fā)起圖像捕捉序列時(shí)開始的預(yù)定時(shí)間段來結(jié)束曝光期。在一些實(shí)施例中,自動(dòng)曝光控制算法將根據(jù)照明條件和/或圖像對比度來動(dòng)態(tài)確定曝光期。
拜爾濾波器(未在示例系統(tǒng)202中使用)基本上阻住(block out)入射在圖像傳感器陣列上的光的三分之二。相比之下,在示例系統(tǒng)202中使用的單色光電二極管206未濾出光,這進(jìn)而提高圖像質(zhì)量。而且,因?yàn)閱紊嚵形催^濾光,示例眼底成像系統(tǒng)202有利地粗略要求由采用拜爾濾波器陣列的眼底成像系統(tǒng)所要求的光的三分之一。
另外,與使用拜爾彩色濾波器陣列的系統(tǒng)相比之下,示例眼底成像系統(tǒng)202能夠通過使假陰性的數(shù)量減少來提高糖尿病視網(wǎng)膜病變篩選靈敏度。即,示例眼底成像系統(tǒng)202能夠檢測低得多的對比度,并且由此檢測更多的異常特征,而拜爾無法這樣,因?yàn)榘轄栮嚵邢拗瞥上駥Ρ榷鹊牧?。另外,因?yàn)橄到y(tǒng)202能夠在沒有拜爾陣列去馬賽克偽影的情況下產(chǎn)生更高的均勻圖像質(zhì)量,示例眼底成像系統(tǒng)202還能夠使糖尿病視網(wǎng)膜病變假陽性減少。
照明單元216在示例眼底成像系統(tǒng)202中提供光來照亮眼底并且使定時(shí)與圖像傳感器陣列的曝光相協(xié)調(diào)。示例照明單元包含發(fā)光二極管218和定時(shí)單元220。示例發(fā)光二極管218與計(jì)算系統(tǒng)222和定時(shí)單元220操作通信。
示例發(fā)光二極管218在一些實(shí)施例中是三色發(fā)光二極管(LED),其中三色是紅色、綠色和藍(lán)色。例如,發(fā)光二極管218能夠是三通道RGB LED,其中每個(gè)管芯有獨(dú)立并且串聯(lián)操作的能力。在一些實(shí)施例中,在照明單元216中使用多于一個(gè)LED 218。LED具有例如20mA的最大標(biāo)準(zhǔn)電流抽取額定,但LED能夠被過度驅(qū)動(dòng)來抽取更多電流,例如30mA(在最大標(biāo)準(zhǔn)電流的150%)、低占空比使用中最大電流的200%、最大電流的300%和最大電流的500%。其他最大標(biāo)準(zhǔn)電流抽取是可能的。
在一些實(shí)施例中,一個(gè)或多個(gè)LED 218在照明期期間被過度驅(qū)動(dòng),該照明期在示例系統(tǒng)202中由定時(shí)單元220控制。在一些實(shí)施例中,使LED過度驅(qū)動(dòng)與全局快門操作的組合導(dǎo)致更短曝光期。該更短曝光期在一些實(shí)施例中導(dǎo)致更尖銳圖像。另外,在一些實(shí)施例中,更短照明期導(dǎo)致更少的瞳孔收縮,由此使瞳孔擴(kuò)張的需要減少。
為了使患者P的瞳孔大小維持為盡可能大而沒有擴(kuò)張,必須使用弱光。在本領(lǐng)域中已知的成像系統(tǒng)中,該弱光要求導(dǎo)致更差的圖像質(zhì)量。例如,在使用16 ms LED照明期時(shí)的圖像質(zhì)量比在現(xiàn)有技術(shù)的系統(tǒng)中使用2ms LED照明期時(shí)的要好得多。在一些實(shí)施例中,在示例系統(tǒng)202中使用的LED照明期是2 ms、3 ms或5 ms。示例眼底成像系統(tǒng)202有利地使用更弱LED光并且產(chǎn)生比本領(lǐng)域中已知的那些系統(tǒng)更高質(zhì)量的圖像。
LED 218中的每個(gè)管芯有獨(dú)立并且串聯(lián)操作的能力。例如,在一個(gè)實(shí)施例中,通過圖像傳感器陣列204捕捉三個(gè)連續(xù)幀。第一曝光在照亮紅色管芯時(shí)發(fā)生,然后第二曝光在照亮綠色管芯時(shí)發(fā)生,并且然后第三曝光在照亮藍(lán)色管芯時(shí)發(fā)生。管芯照明的順序在其他實(shí)施例中是不同的。
備選實(shí)施例對于下列顏色照明捕捉三個(gè)連續(xù)幀:紅色(僅紅色管芯接通)、黃色(基本上同時(shí)紅色和綠色管芯接通)和白色(基本上同時(shí)紅色、綠色和藍(lán)色管芯接通)。再次,照明顏色的順序在其他實(shí)施例中是不同的。在一個(gè)糖尿病視網(wǎng)膜病變實(shí)施例中,白色照明(所有管芯接通)產(chǎn)生所有特征檢測,紅色圖像(僅紅色管芯接通)在視網(wǎng)膜微動(dòng)脈瘤和出血確認(rèn)方面幫助臨床醫(yī)生,并且黃色圖像(紅色和綠色管芯接通)在滲出物確認(rèn)方面幫助臨床醫(yī)生。
在一些實(shí)施例中,定時(shí)單元220激活發(fā)光二極管218的照明定時(shí)和從發(fā)光二極管218發(fā)射的光。定時(shí)單元220在一些實(shí)施例中是單獨(dú)組件,其包含操作地耦合于計(jì)算系統(tǒng)222和圖像傳感器陣列204的處理器和存儲器。在其他實(shí)施例中,定時(shí)單元220是存儲在存儲器226上并且配置成由處理器224運(yùn)行的計(jì)算機(jī)程序。
定時(shí)單元220能夠配置成恰好在圖像傳感器陣列204發(fā)起全局快門曝光之前的時(shí)間照亮發(fā)光二極管218并且在全局快門曝光結(jié)束后不久停止照明。在其他實(shí)施例中,定時(shí)單元220能夠配置成在全局快門曝光開始后照亮發(fā)光二極管218并且在全局快門曝光結(jié)束之前停止照明。在另一個(gè)實(shí)施例中,定時(shí)單元220能夠配置成以與全局快門曝光時(shí)間段的重疊時(shí)間段照亮發(fā)光二極管218。在一些實(shí)施例中,定時(shí)單元配置成促使發(fā)光二極管218在照明期期間脈動(dòng)或產(chǎn)生類似頻閃(strobe-like)的光。
在示例眼底成像系統(tǒng)202中,計(jì)算系統(tǒng)222包含處理器224,其經(jīng)由數(shù)據(jù)總線通信連接到存儲器226。處理器224能夠是能夠運(yùn)行計(jì)算機(jī)可讀指令來執(zhí)行各種任務(wù)(例如數(shù)學(xué)和通信任務(wù))的多種類型的可編程電路中的任何。存儲器226能夠包含多種存儲器裝置例如使用各種類型的計(jì)算機(jī)可讀或計(jì)算機(jī)存儲媒體中的任何。計(jì)算機(jī)存儲媒介或計(jì)算機(jī)可讀媒介可以是任何媒介,其能夠包含或存儲程序供由指令運(yùn)行系統(tǒng)、設(shè)備或裝置使用或連同其使用。在本公開的上下文中,計(jì)算機(jī)存儲媒介包含至少一些有形組件,即,不是完全由瞬態(tài)或暫時(shí)信號組成。
示例系統(tǒng)202還包含由外殼支承的透鏡228。一些實(shí)施例具有被外殼支承的多于一個(gè)透鏡。例如,一個(gè)透鏡用來使圖像傳感器陣列204上入射的光聚焦并且另一個(gè)透鏡使來自照明單元216的光聚焦。一些實(shí)施例使用多于一個(gè)透鏡來使入射光聚焦。在一些實(shí)施例中,透鏡具有耦合于計(jì)算系統(tǒng)222的控制連接和機(jī)械功率。計(jì)算系統(tǒng)222可配置成控制透鏡或多個(gè)透鏡的位置來優(yōu)化透鏡定位用于對于圖像傳感器陣列204和照明單元216的自動(dòng)聚焦。在一些實(shí)施例中,要求透鏡聚焦,不管由于獨(dú)特的面部幾何形狀的用于患者的標(biāo)準(zhǔn)定位導(dǎo)向裝置。
示例眼底成像系統(tǒng)202可選地具有一個(gè)或多個(gè)孔徑232,其被外殼支承。在一些實(shí)施例中,孔徑232是支承透鏡228的環(huán)形件?;颊叩难劬υ趯ρ鄣壮上裰盎旧吓c孔徑232對準(zhǔn)。在一些實(shí)施例中,孔徑是機(jī)械操作蓋,其能夠基于來自計(jì)算系統(tǒng)222的信號而打開和關(guān)閉。
在一些實(shí)施例中,示例眼底成像系統(tǒng)202具有顯示器236以供臨床醫(yī)生使患者眼睛的眼底聚焦并且檢查它們。
在一些實(shí)施例中,成像系統(tǒng)202具有聯(lián)網(wǎng)單元234。聯(lián)網(wǎng)單元操作成實(shí)現(xiàn)眼底成像系統(tǒng)202與示例顯示器108或其他聯(lián)網(wǎng)裝置之間的通信。聯(lián)網(wǎng)單元234可與顯示器108或其他聯(lián)網(wǎng)裝置無線或有線通信。
另外,聯(lián)網(wǎng)單元234與網(wǎng)絡(luò)110通信。在一些實(shí)施例中,聯(lián)網(wǎng)單元234通過有線或無線連接與顯示器108通信。
在一些實(shí)施例中,眼底成像系統(tǒng)202還包含抗混疊濾波器(未在圖2中描繪)。可選的抗混疊濾波器在一些實(shí)施例中是光學(xué)低通濾波器。該濾波器是位于單色光電二極管206與入射光從其發(fā)出的方向之間的薄層。濾波器在一些實(shí)施例中防止出現(xiàn)與原始圖像不同的圖案(波紋或其他偽影)。
在一些實(shí)施例中,眼底成像系統(tǒng)202還包含反光鏡(未在圖2中示出)??蛇x的一個(gè)或多個(gè)反光鏡用來將光引導(dǎo)到圖像傳感器陣列204和引導(dǎo)來自照明單元216的光。在一些實(shí)施例中,一個(gè)或多個(gè)鏡由外殼支承并且固定到外殼。在其他實(shí)施例中,反光鏡或多個(gè)鏡由外殼支承但具有可調(diào)整位置,其中臨床醫(yī)生或計(jì)算系統(tǒng)222能夠調(diào)整鏡的定位。示例系統(tǒng)在沒有反光鏡的情況下可操作。
圖3是通過示例眼底成像系統(tǒng)的臨床醫(yī)生的示例使用300的方框流程圖。示例使用300在一些實(shí)施例中由多于一個(gè)臨床醫(yī)生執(zhí)行。示例使用300包含定位患者302、調(diào)整聚焦304、發(fā)起視網(wǎng)膜成像306和查看通過掃描創(chuàng)建的圖像308。其他實(shí)施例可省略步驟或包含附加步驟。
示例使用300在臨床醫(yī)生定位患者302時(shí)開始?;颊呖勺蛘局?。定位302包含使患者對準(zhǔn)使得患者的眼睛中的一只或多只與眼底成像系統(tǒng)的孔徑或多個(gè)孔徑對準(zhǔn)。在一些實(shí)施例中,耦合于成像系統(tǒng)的顯示器示出預(yù)覽圖像以在定位患者方面幫助指導(dǎo)臨床醫(yī)生。在一些實(shí)施例中,系統(tǒng)發(fā)出可聽聲音來通知臨床醫(yī)生患者的眼睛在正確位置。
在一些實(shí)施例中,存在定位結(jié)構(gòu)例如腮托或頭部支承結(jié)構(gòu)來幫助定位患者。在一些實(shí)施例中,定位結(jié)構(gòu)具有用于由臨床醫(yī)生在相對于外殼定位患者眼睛方面能夠使用的調(diào)整的部件。在其他實(shí)施例中,定位結(jié)構(gòu)是固定的并且外殼具有調(diào)整部件使得臨床醫(yī)生能夠重定位患者以與患者的一只眼睛或兩只眼睛對準(zhǔn)。
在定位患者后,示例使用300中的下一個(gè)步驟是臨床醫(yī)生調(diào)整眼底成像系統(tǒng)上的聚焦304。在一些實(shí)施例中,眼底成像系統(tǒng)具有一個(gè)或多個(gè)可調(diào)整焦點(diǎn)。這些焦點(diǎn)可由臨床醫(yī)生手動(dòng)調(diào)整、由臨床醫(yī)生電子調(diào)整或由眼底成像系統(tǒng)自動(dòng)調(diào)整。在一些實(shí)施例中,聚焦調(diào)整入射光經(jīng)過的透鏡的位置。在一些實(shí)施例中,聚焦調(diào)整來自照明單元的光經(jīng)過的透鏡。在一些實(shí)施例中,臨床醫(yī)生通過在圖形用戶界面上按壓按鈕或選擇圖標(biāo)來發(fā)起通過眼底成像系統(tǒng)的自動(dòng)聚焦。在一些實(shí)施例中,調(diào)整聚焦步驟304能夠被自動(dòng)聚焦算法替代而沒有人為干預(yù)。
接著,臨床醫(yī)生在示例使用300中發(fā)起視網(wǎng)膜成像306。在一些實(shí)施例中,臨床醫(yī)生通過在圖形用戶界面上按壓按鈕或選擇圖標(biāo)來發(fā)起視網(wǎng)膜成像306。在視網(wǎng)膜成像306期間眼底成像系統(tǒng)的步驟的示例在圖4中示出并且在下文詳細(xì)描述。在一些實(shí)施例中,臨床醫(yī)生可返回到步驟302來重定位患者的另一只眼睛用于成像并且重復(fù)步驟304和306。在其他實(shí)施例中,臨床醫(yī)生可查看圖像308,并且在返回到步驟302來對患者的另一只眼睛成像之前可確保圖像具有可接受質(zhì)量。
另外,在一些實(shí)施例中,發(fā)起視網(wǎng)膜成像306通過被動(dòng)眼睛跟蹤算法替代來自動(dòng)觸發(fā)圖像捕捉而沒有人為干預(yù)。被動(dòng)眼睛跟蹤在下文參考圖5描述。
在眼底成像系統(tǒng)對視網(wǎng)膜306成像后,臨床醫(yī)生在示例使用300中查看眼底圖像308。如果任何圖像令臨床醫(yī)生不滿意,臨床醫(yī)生則可重復(fù)示例使用300??稍诓襟E308中使用的顯示器類型的示例參考圖1中的框108更詳細(xì)描述。
圖4圖示眼底成像系統(tǒng)的操作的示例方法400的方框流程圖。示例操作400包含眼底成像系統(tǒng)執(zhí)行打開孔徑402、調(diào)整視網(wǎng)膜上的聚焦404、照亮發(fā)光二極管406(其包含照亮紅色發(fā)光管芯408、照亮綠色發(fā)光管芯410和照亮藍(lán)色發(fā)光管芯412)、控制全局快門414(其包含全局復(fù)位416、全局傳輸418、光電二極管的相繼讀出420)、存儲從光電二極管讀取的圖像422(可選地返回到照亮發(fā)光二極管步驟406)、處理從光電二極管讀取的圖像426、向顯示器發(fā)送處理的圖像428以及向顯示器發(fā)送初始診斷430的步驟。備選實(shí)施例可具有更少或附加步驟,或按不同順序執(zhí)行步驟。
在示例操作400中,第一步驟可選地要打開孔徑402。如在上文參考孔徑232描述的,在一些實(shí)施例中,孔徑能夠是通過電氣或機(jī)械部件打開和關(guān)閉的蓋。在一些實(shí)施例中,孔徑是框架,其在一些實(shí)施例中支承透鏡但不具有可操作蓋。打開孔徑步驟402的一個(gè)目的是要使入射光能夠朝向圖像傳感器陣列經(jīng)過一個(gè)或多個(gè)透鏡。
調(diào)整視網(wǎng)膜404上的聚焦是示例操作400中的下一個(gè)步驟。在一些實(shí)施例中,操作眼底成像系統(tǒng)的臨床醫(yī)生手動(dòng)改變一個(gè)或多個(gè)焦距。調(diào)整聚焦能夠通過例如機(jī)械部件(例如旋鈕或多個(gè)旋鈕)或通過電氣部件(例如顯示聚焦調(diào)整參數(shù)的圖形用戶界面)來實(shí)現(xiàn),其中界面操作地耦合于調(diào)整部件,該調(diào)整部件耦合于一個(gè)或多個(gè)透鏡。調(diào)整聚焦還能夠通過在沒有人為干預(yù)情況下控制機(jī)械部件的自動(dòng)聚焦算法而自動(dòng)實(shí)現(xiàn)。
示例操作400中的下一個(gè)步驟是要照亮發(fā)光二極管406。照亮發(fā)光二極管步驟406包括照亮紅色-綠色-藍(lán)色發(fā)光二極管中的彩色管芯中的一個(gè)或多個(gè):照亮二極管中的紅色管芯408、照亮二極管中的綠色管芯410以及照亮發(fā)光二極管中的藍(lán)色管芯412。顏色的其他組合是可能的,其包含例如青色-品紅色-黃色、僅僅紅色-綠色或僅僅白色-紅色。
如上文論述的,成像系統(tǒng)的一些實(shí)施例具有多于一個(gè)發(fā)光二極管。另外,在操作400的一些實(shí)施例中,照亮步驟406在全局復(fù)位步驟416后或與其并發(fā)出現(xiàn)。在一些實(shí)施例中,照亮步驟406多次、連續(xù)執(zhí)行。
如上文論述的,在一些實(shí)施例中,以照亮的全部三個(gè)管芯408、410和412來取一個(gè)圖像,從而產(chǎn)生白光。在一些實(shí)施例中,系統(tǒng)發(fā)起四個(gè)連續(xù)圖像捕捉。在那些實(shí)施例中,照明單元配置成對第一圖像捕捉產(chǎn)生白光,然后對于后續(xù)圖像步驟產(chǎn)生紅色、綠色和藍(lán)色。其他實(shí)施例中的其他序列參考圖2中的照明單元216更詳細(xì)描述。
持續(xù)短時(shí)間段地照亮發(fā)光二極管406。在一些實(shí)施例中,持續(xù)小于5毫秒、持續(xù)小于2毫秒、持續(xù)小于1毫秒或持續(xù)小于0.5毫秒地照亮二極管或多個(gè)二極管。如上文論述的,發(fā)光二極管可對一些或所有照明被過度驅(qū)動(dòng)。示例實(shí)施例的許多優(yōu)勢之一是發(fā)光二極管的強(qiáng)度或時(shí)期能夠減少到從本領(lǐng)域中使用滾動(dòng)快門/復(fù)位CMOS傳感器的那些成像系統(tǒng)的約二百分之一到約五分之一。
控制全局快門步驟414包含全局復(fù)位步驟416、全局傳輸步驟418和相繼讀出步驟420。操作地耦合于圖像傳感器陣列的計(jì)算系統(tǒng)在示例操作400中控制圖像傳感器陣列的全局快門。
全局復(fù)位步驟416在一些實(shí)施例中涉及使圖像傳感器陣列中的每個(gè)像素基本上同時(shí)復(fù)位和曝光。像素的曝光盡可能短以避免運(yùn)動(dòng)模糊并且限制必須照亮患者瞳孔的時(shí)間量。在一些實(shí)施例中,曝光時(shí)間是約2毫秒。
全局傳輸步驟418在一些實(shí)施例中涉及同時(shí)停止圖像傳感器陣列中每個(gè)像素的曝光并且將電荷從每個(gè)像素傳輸?shù)讲煌该髌帘未鎯ρb置中。示例全局快門在上文參考圖2的圖像傳感器陣列204更詳細(xì)描述。
相繼讀出步驟420在示例操作400中涉及圖像傳感器陣列中的每個(gè)像素被相繼讀出(一個(gè)像素接一個(gè)像素)。讀出步驟420在一些實(shí)施例中通過計(jì)算系統(tǒng)向圖像傳感器陣列發(fā)送讀出時(shí)鐘信號來逐個(gè)讀出像素值而實(shí)現(xiàn)。
在全局傳輸步驟418后,像素曝光在示例操作400中結(jié)束并且來自光電二極管的不透明屏蔽存儲單元的圖像讀出存儲422在存儲器中。在一些實(shí)施例中,連續(xù)捕捉多個(gè)圖像并且重復(fù)424示例操作。返回步驟424在圖4中示出為返回到步驟406,而在其他實(shí)施例中,返回步驟424通過打開孔徑402或通過調(diào)整視網(wǎng)膜404步驟上的聚焦而開始。
接著,處理器在示例操作400中處理來自光電二極管的不透明屏蔽存儲裝置的圖像讀出426。在一些實(shí)施例中,圖像的處理根據(jù)存儲在存儲器上并且在處理器中運(yùn)行的軟件程序而執(zhí)行。
在一些實(shí)施例中,處理426包含使從入射光生成的數(shù)據(jù)放大并且將生成的數(shù)據(jù)轉(zhuǎn)換成數(shù)字信號。處理426還可包含將對應(yīng)于圖像傳感器陣列的多個(gè)像素上的入射光的數(shù)字信號值集作為圖像數(shù)據(jù)幀來存儲。在一些實(shí)施例中,處理圖像步驟426未使用彩色去馬賽克算法。
處理圖像步驟426包含處理器運(yùn)行圖像處理算法以例如執(zhí)行圖像增強(qiáng)、執(zhí)行特征檢測以及識別分類來校正糖尿病視網(wǎng)膜病變。
例如,算法能夠訪問對于糖尿病視網(wǎng)膜病變的評估數(shù)據(jù)庫,例如DIARETDB0和DIARETDB1,其由芬蘭的拉普蘭塔理工大學(xué)和庫奧皮奧大學(xué)醫(yī)學(xué)院建立。那些數(shù)據(jù)庫由約219個(gè)眼底圖像組成,其由專家和醫(yī)生評估和注釋來建立那些圖像的診斷結(jié)果。在使用眼底圖像作為輸入時(shí),評估算法的示例輸出是存在小的紅點(diǎn)、存在出血以及在眼底中檢測到硬性滲出物。輸出能夠識別診斷列表和觀察的組織的數(shù)量。在一些實(shí)施例中,輸出還能夠使用例如圖形(例如圓或箭頭)來識別眼底圖像上的檢測組織。
在一些實(shí)施例中,臨床醫(yī)生能夠選擇在處理器上運(yùn)行的算法在處理步驟426期間應(yīng)識別的一個(gè)或多個(gè)問題。例如,在一個(gè)實(shí)施例中,臨床醫(yī)生在包含可能糖尿病視網(wǎng)膜病變癥狀的菜單中通過圖形用戶界面選擇“出血”。處理圖像則將包含識別標(biāo)記,例如屏幕上的箭頭、圓或其他識別圖標(biāo)。因而,在可適用的情況下,圖像在該實(shí)施例中包含標(biāo)志(flag)檢測的出血的標(biāo)記。但因?yàn)樵谠撌纠信R床醫(yī)生未選擇任何其他癥狀(例如“滲出物”),即使存在的話,圖像也將不包含標(biāo)志其他癥狀的標(biāo)記。
在備選實(shí)施例中,處理器配置成檢測所有可能癥狀并且圖像包含標(biāo)志所有檢測癥狀的標(biāo)記。然后,在一些實(shí)施例中,臨床醫(yī)生使用菜單型濾波器來選擇要在顯示器上標(biāo)志的一個(gè)或多個(gè)癥狀。
在另一個(gè)實(shí)施例中,存儲的來自光電二極管讀出的圖像被發(fā)送到遠(yuǎn)程云存儲裝置并且使用上文描述的算法在遠(yuǎn)程服務(wù)器中進(jìn)一步被處理。
在示例操作400中,計(jì)算系統(tǒng)向顯示器發(fā)送處理的圖像428和/或向顯示器發(fā)送初始診斷430。如上文論述的,在一些實(shí)施例中,系統(tǒng)產(chǎn)生原始圖像(其不包含任何診斷識別信息)428。在其他實(shí)施例中,系統(tǒng)產(chǎn)生由診斷信息伴隨的圖像430。
圖5圖示使用被動(dòng)眼睛跟蹤來發(fā)起視網(wǎng)膜成像步驟306的備選實(shí)施例。初始視網(wǎng)膜成像步驟306操作成使用被動(dòng)眼睛跟蹤對患者P的眼底成像。在發(fā)起視網(wǎng)膜成像步驟306中,眼底成像系統(tǒng)202監(jiān)測患者P的瞳孔/中央凹取向。盡管發(fā)起視網(wǎng)膜成像步驟306關(guān)于眼底成像系統(tǒng)202描述,發(fā)起視網(wǎng)膜成像步驟306可使用可穿戴或不可穿戴眼底成像系統(tǒng)(例如手持?jǐn)?shù)字眼底成像系統(tǒng))執(zhí)行。
最初,在步驟303處,監(jiān)測患者P的瞳孔或中央凹或兩者。眼底成像系統(tǒng)202采用第一圖像捕捉模式捕捉圖像。在該第一圖像捕捉模式中,眼底成像系統(tǒng)202以更高幀率捕捉圖像。在一些實(shí)施例中,在第一圖像捕捉模式中,眼底成像系統(tǒng)202以更低照明并且以更低分辨率捕捉圖像。在一些實(shí)施例中,更低照明由操作成生成更低強(qiáng)度光并且將其朝受檢者引導(dǎo)的照明單元216創(chuàng)建。在其他實(shí)施例中,更低照明由外部光源或環(huán)境光創(chuàng)建。第一圖像捕捉模式可使患者P的不適最小化、允許患者P放松并且允許更大瞳孔大小而沒有擴(kuò)張(非散瞳)。
接著,在步驟305處,計(jì)算系統(tǒng)222處理由眼底成像系統(tǒng)202捕捉的圖像的至少一部分。計(jì)算系統(tǒng)222處理圖像來識別患者P的瞳孔或中央凹或兩者的位置。使用瞳孔或中央凹或兩者在圖像中的一個(gè)中的位置,計(jì)算對應(yīng)于瞳孔/中央凹取向的矢量。在一些實(shí)施例中,瞳孔/中央凹取向基于圖像中瞳孔與中央凹之間的距離來近似。在其他實(shí)施例中,瞳孔/中央凹取向通過使用到瞳孔的距離以及瞳孔與中央凹之間的距離的估計(jì)來近似在三維中中央凹相對于瞳孔的位置而計(jì)算。在其他實(shí)施例中,瞳孔/中央凹取向單獨(dú)從瞳孔的位置近似。在又其他實(shí)施例中,使用近似瞳孔/中央凹取向的其他方法。
接著,在步驟307處,將瞳孔/中央凹取向與眼底成像系統(tǒng)202的光軸比較。如果瞳孔/中央凹取向與眼底成像系統(tǒng)202的光軸基本上對準(zhǔn),則過程行進(jìn)到步驟309來捕捉眼底圖像。如果否的話,則過程返回到步驟303來繼續(xù)監(jiān)測瞳孔或中央凹。在一些實(shí)施例中,瞳孔/中央凹取向在其與光軸之間的角度小于2至15度時(shí)與光軸基本上對準(zhǔn)。
接著,在步驟309處,捕捉眼底圖像。在一些實(shí)施例中,采用第二圖像捕捉模式捕捉眼底圖像。在一些實(shí)施例中,在第二圖像捕捉模式中,眼底成像系統(tǒng)202以更高照明并且以更高分辨率捕捉圖像。在一些實(shí)施例中,更高照明由操作成生成更高強(qiáng)度光并且將其朝受檢者引導(dǎo)的照明單元216創(chuàng)建。在其他實(shí)施例中,更高照明由外部光源或環(huán)境光創(chuàng)建。第二圖像捕捉模式可促進(jìn)捕捉清楚、照得通亮并且詳細(xì)的眼底圖像。
在一些實(shí)施例中,在步驟309后,發(fā)起視網(wǎng)膜成像步驟306返回到步驟303來繼續(xù)監(jiān)測瞳孔/中央凹取向。發(fā)起視網(wǎng)膜成像步驟306可無限地繼續(xù)收集眼底圖像或直到已收集規(guī)定數(shù)量的圖像。關(guān)于被動(dòng)眼睛跟蹤的另外的信息能夠在與其同一日期提交的題為的檢眼鏡裝置的美國專利申請14/177594、代理人案號10156.0082US01中找到,該申請因此通過引用被全部合并。
本文描繪的流程圖僅僅是示例。其中描述的這些圖或步驟(或操作)可存在許多變化而不偏離本公開的精神。例如,步驟可按不同順序執(zhí)行,或可添加、刪除或修改步驟。
盡管描述了實(shí)施例,但是將理解本領(lǐng)域中技術(shù)人員(現(xiàn)在和未來)可做出各種改進(jìn)并且能夠做出增強(qiáng)。