內(nèi)窺鏡裝置及其操作方法
內(nèi)窺鏡裝置及其操作方法
【專利摘要】一種內(nèi)窺鏡裝置，包括：光源單元，所述光源單元被構造成對于每一個幀周期重復在幀周期的前半周期期間發(fā)射照明光而在所述幀周期的后半周期期間關閉照明光的操作；緩沖存儲器，所述緩沖存儲器安裝在內(nèi)窺鏡觀測儀器中并被構造成存儲從圖像捕獲單元輸出的幀圖像信號的圖像信息；和信息傳輸單元，所述信息傳輸單元被構造成從緩沖存儲器中讀出幀圖像信號的圖像信息并將圖像信息傳輸至圖像處理單元，其中圖像捕獲單元在幀周期內(nèi)從緩沖存儲器讀出幀圖像信號的圖像信息。
【專利說明】內(nèi)窺鏡裝置及其操作方法
【技術領域】
[0001 ] 本發(fā)明涉及內(nèi)窺鏡裝置及其操作方法。
【背景技術】
[0002]電子內(nèi)窺鏡裝置包括圖像捕獲單元，其安裝在內(nèi)窺鏡觀測儀器的插入對象的體腔中的末端部處。由圖像捕獲單元捕獲的圖像信號被發(fā)送至與內(nèi)窺鏡觀測儀器連接的處理器裝置，并處理且隨后顯示在顯示單元上。
[0003]用于內(nèi)窺鏡裝置的圖像捕獲單元主要分成CXD式和CMOS式，但近年來主要使用CMOS式。在CMOS式圖像捕獲單元中讀出圖像捕獲信號到外面的驅(qū)動方法包括全局快門方法和卷簾快門方法。
[0004]全局快門方法在CMOS式圖像捕獲單元中對一個屏幕中的所有像素同時進行復位以開始曝光操作，即，使一個屏幕中的所有像素的電荷開始聚集。因此，全局快門方法的優(yōu)點在于，所有像素(光電二極管:PD)從圖像捕獲單元的聚集開始到圖像捕獲單元的聚集結(jié)束的計時和周期變得彼此相等。然而，需要提供主容量和在每一個像素的區(qū)域中傳遞主容量的FET，這可能會影響大面積的圖像捕獲單元。因此，該結(jié)構可能不利于將圖像捕獲單元安裝在具有小直徑的內(nèi)窺鏡觀測儀器中。 [0005]根據(jù)卷簾快門方法，CMOS式圖像捕獲單元對至少一條掃描線或每一個像素順序地進行曝光，使得該掃描線或像素被順序地復位，并且電荷開始聚集以讀出聚集的電荷(也被稱為局部平面快門方法)。
[0006]卷簾快門方法通常用于數(shù)字相機，但當卷簾快門方法用于內(nèi)窺鏡裝置時，可能出現(xiàn)問題。內(nèi)窺鏡觀測儀器插入黑暗部分中，如體腔的內(nèi)部，使得需要從觀測儀器的末端部照射照明光以捕獲圖像。為閃爍光的脈沖光可以用作照明光，如在專利文獻
I(JP-A-2011-30985)中描述的那樣。如果脈沖光的開/關計時與卷簾快門的順序讀出計時不同步，則照明光的量可能會導致問題。
[0007]圖7是圖示卷簾快門方法的問題的示例的示意圖。在該卷簾快門方法的情況中，即使開始電荷的聚集的計時可以大約與掃描線(水平像素行)偏離，則仍然要求為每條掃描線照射相同的光量。
[0008]照明光是脈沖調(diào)制驅(qū)動式脈沖光。因此，驅(qū)動信號的脈沖寬度、脈沖數(shù)量和脈沖密度可以被控制以彼此相同，使得各條掃描線的總光量在曝光周期期間變得相同。然而，照射的脈沖光的量需要根據(jù)至對象的距離或?qū)⒈挥^察的圖像的亮度動態(tài)地改變，使得難以在讀出順序偏移少量位的各條掃描線中均勻地分配脈沖光。如果在控制輻照量以改變的同時未控制照射的脈沖光以在各條掃描線中相同，則在將被觀察的圖像中產(chǎn)生亮度不規(guī)則性或條紋圖案，使得被捕獲的圖像的質(zhì)量惡化。
[0009]圖8是圖示卷簾快門方法的另一個問題的示意圖。圖8圖示作為示例的內(nèi)窺鏡裝置，其可選地使用具有不同發(fā)射顏色以照射脈沖光的多個光源。在圖8中圖示的示例中，交替地重復光源A的1/60秒的輻照操作兩次和光源B的1/60秒的輻照操作兩次。在卷簾快門式圖像捕獲單元中，開始電荷聚集的計時和結(jié)束電荷聚集的計時以掃描線的順序偏移，使得每一個幀產(chǎn)生無效幀圖像，在無效幀圖像中光源A的脈沖光輻射和光源B的脈沖光輻射混合。該無效幀圖像(在附圖中由“NG”表示)不用作內(nèi)窺鏡的觀察圖像，使得作為有效幀圖像(在附圖中由“0K”表示)的速率的有效幀頻降低至一半。
[0010]通過采用圖9的驅(qū)動方法可以解決這種問題。例如，1/60的幀周期被分成1/120秒的前半周期和1/120秒的后半周期，并且每條掃描線中的電荷聚集同時開始，且在第一個1/120秒周期內(nèi)照射脈沖光。隨后，在下一個1/120秒的后半周期期間可以以掃描線的順序讀出每條掃描線的聚集電荷。
[0011]圖9中圖示的驅(qū)動方法可以在內(nèi)窺鏡裝置中目前廣泛使用的具有30萬個記錄像素的圖像捕獲單元中進行，沒有任何問題。然而，難以將該驅(qū)動方法應用于提供I百萬像素或更多像素的高像素圖像捕獲單元，這種高像素圖像捕獲單元可以以高清晰度(HD)圖像質(zhì)量捕獲圖像。這是因為在提供I百萬像素或更多像素的高像素圖像捕獲單元的情況中，從所有像素中讀出的數(shù)據(jù)的量是巨大的，使得難以在幀周期為1/120秒的后半周期期間從圖像捕獲單元輸出聚集電荷的所有信號并將所述信號發(fā)送至處理器裝置。以下，將描述記錄像素的數(shù)量是一百三十萬像素的示例。
[0012]在增加傳輸速率以將圖像捕獲信號傳輸至內(nèi)窺鏡裝置的離內(nèi)窺鏡觀測儀器的末端部3至4m遠的主體以便延長傳輸信號的時間時存在限制。即使可以通過增加用于傳輸信號的信號線的數(shù)量以進行并行傳輸來解決傳輸信號的時間的問題，但如果信號線的數(shù)量增加，則內(nèi)窺鏡觀測儀器的容納信號線的插入單元的直徑增加。因此，信號線的增加與對減小插入單元的直徑的需求相違背。
【發(fā)明內(nèi)容】
[0013]已經(jīng)作出了本發(fā)明以努力提供一種內(nèi)窺鏡裝置，其能夠在安裝在內(nèi)窺鏡觀測儀器的插入單元的末端部中的圖像捕獲單元中以高質(zhì)量獲得高幀頻觀察圖像，并提供了該內(nèi)窺鏡裝置的操作方法。
[0014]本發(fā)明的說明性方面被陳述如下:
[0015](1) 一種內(nèi)窺鏡裝置，包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，所述內(nèi)窺鏡裝置包括:光源單元，所述光源單元被構造成對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間發(fā)射照明光而在所述幀周期的后半周期期間關閉照明光的操作；緩沖存儲器，所述緩沖存儲器安裝在內(nèi)窺鏡觀測儀器中并被構造成存儲從圖像捕獲單元輸出的幀圖像信號的圖像信息；和信息傳輸單元，所述信息傳輸單元被構造成從緩沖存儲器中讀出幀圖像信號的圖像信息并將圖像信息傳輸至圖像處理單元，其中圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息。
[0016](2) 一種內(nèi)窺鏡裝置的操作方法，所述內(nèi)窺鏡裝置包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，其中光源單元對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間將照明光從內(nèi)窺鏡觀測儀器照射到對象上而在所述幀周期的后半周期期間關閉照明光的操作；圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至安裝在內(nèi)窺鏡觀測儀器中的緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息并將所述圖像信息傳輸至圖像處理單元。
[0017]根據(jù)本發(fā)明的任一個方面，從圖像捕獲單元輸出的幀圖像信號的信息被臨時存儲在緩沖存儲器中，以便圖像捕獲單元開始下一次曝光。進一步，存儲在緩沖存儲器中的幀圖像信號在到達讀出下一幀圖像信號的時刻的一個幀周期內(nèi)被讀出。因而，能夠以高幀頻獲得高清晰度圖像，而不會惡化圖像質(zhì)量。
【專利附圖】
【附圖說明】
[0018]圖1是圖示本發(fā)明的一個實施例的框圖并且是內(nèi)窺鏡裝置的框圖；
[0019]圖2是作為圖1中圖示的內(nèi)窺鏡裝置的示例的外視圖；
[0020]圖3是圖示內(nèi)窺鏡觀測儀器的內(nèi)窺鏡末端部的末端表面的正視圖；
[0021]圖4是示意性地圖示具有圖像捕獲單元的半導體元件的表面的平面圖；
[0022]圖5是圖示內(nèi)窺鏡裝置的驅(qū)動方法的時序圖。
[0023]圖6是圖示照明、圖像捕獲和圖像信號的流程的時序圖；
[0024]圖7是圖示相關技術的卷簾快門方法的問題的示例的說明圖；
[0025]圖8是圖示相關技術的卷簾快門方法的另一個問題的示例的說明圖；以及
[0026]圖9是圖示以卷簾快門驅(qū)動方式高速驅(qū)動相關技術的CMOS圖像捕獲單元的驅(qū)動方法的說明圖。
[0027]【專利附圖】
【附圖說明】
[0028]以下，將參照附圖詳細描述本發(fā)明的實施例。
[0029]圖1是圖示本發(fā)明的一個實施例的框圖和內(nèi)窺鏡裝置的框圖。圖2是作為圖1中圖示的內(nèi)窺鏡裝置的一個示例的外視圖。
[0030]首先，將參照圖1和2描述內(nèi)窺鏡裝置100的結(jié)構。內(nèi)窺鏡裝置100包括內(nèi)窺鏡觀測儀器11、處理器裝置13和光源裝置15。進一步，顯示觀察圖像的顯示單元17和通過其輸入各種信息的輸入單元19連接至內(nèi)窺鏡裝置100.[0031]〈內(nèi)窺鏡觀測儀器〉
[0032]內(nèi)窺鏡觀測儀器11包括插入患者(對象)的體腔中的柔性插入單元21、緊鄰插入單元21的基端設置的操縱單元23、以及連接至處理器裝置13和光源裝置15的通用軟線25，如圖2所示。
[0033]插入單兀21包括內(nèi)規(guī)鏡末2而部27、彎曲部29和柔性部31，所述內(nèi)規(guī)鏡末2而部27、彎曲部29和柔性部31以此順序形成在末端處。內(nèi)窺鏡末端部27包括安裝在其中以捕獲體腔的內(nèi)部的CMOS圖像捕獲單元33(參見圖1)。設置在內(nèi)窺鏡末端部27的后側(cè)的彎曲部29具有彎曲機構，多個彎曲部件連接至該彎曲機構。當操縱設置在操縱單元23中的彎角鈕35時，插入插入單元21中的線(未圖示)被拉伸或拖拉以使彎曲單元29沿上、下、左和右方向彎曲。因而，內(nèi)窺鏡末端部27被引導到體腔中的期望方向。
[0034] 連接器37A和37B設置在通用軟線25的基端處。連接器37A可拆卸地連接至處理器裝置13，連接器37B可拆卸地連接至光源裝置15。連接器37A和37B可以是一體地連接至處理器裝置13和光源裝置15的組合式連接器。
[0035]處理器裝置13通過插入通用軟線25中并穿過通用軟線25的信號線將電力供給內(nèi)窺鏡觀測儀器11以控制將要被驅(qū)動的圖像捕獲單元33，接收通過信號線從圖像捕獲單元33傳輸?shù)膱D像捕獲信號，并對接收到的圖像捕獲信號進行各種信號處理以將圖像捕獲信號轉(zhuǎn)換成圖像數(shù)據(jù)。
[0036]在處理器裝置13中被轉(zhuǎn)換的圖像數(shù)據(jù)作為觀察圖像被顯示在通過電纜連接至處理器裝置13的諸如液晶監(jiān)視器之類的顯示單元17上。進一步，處理器裝置13控制包括光源裝置15的內(nèi)窺鏡裝置100的整體操作。顯示單元17不限于設置在處理器裝置13外面的顯示裝置，而是可以形成為多種類型，并且例如可以與處理器裝置13或內(nèi)窺鏡觀測儀器
11一體地形成。
[0037]圖3是圖示內(nèi)窺鏡觀測儀器11的內(nèi)窺鏡末端部27的末端表面41的正視圖。內(nèi)窺鏡末端部27的末端表面41包括通過其觀察對象的觀察窗43、通過其發(fā)射照明光的照明窗45和45、以及鉗子通道47。
[0038]照明窗45設置在觀察窗43的兩側(cè)以觀察窗43位于其間的方式大致彼此對稱，從而將照明光從光源裝置15照射到體腔中將被觀察的部分上。
[0039]鉗子通道47設置成沿著插入單元21延伸以與設置在操縱單元23中的鉗子端口49 (參見圖2)連通。其中針或透熱刀設置在末端處的各種治療工具被插入并穿過鉗子通道47，使得各種治療工具的末端從內(nèi)窺鏡末端部27的鉗子通道47被釋放到體腔中。
[0040]引導從光源裝置15發(fā)射的照明光的光導51的發(fā)射端51a設置在照明窗45中，如圖1所示。諸如透鏡或光學漫射構件之類的光學構件可以設置在光導51的發(fā)射端51a和照明窗45之間。進一步，熒光物質(zhì)可以設置在發(fā)射端51a處。
[0041]圖4是示意性地圖示具有圖像捕獲單元33的半導體元件的表面的平面圖。多個像素(光接收元件，光電二極管(PD))以二維陣列形狀設置在其中的圖像捕獲單元33形成在矩形半導體元件53的中心區(qū)域處。進一步，進行相關雙采樣處理的⑶S電路也設置在該中心區(qū)域處。
[0042]圖像捕獲單元33是具有一百三十萬個或更多個記錄像素(近似地，垂直一千個像素，水平一千三百個像素)的高像素圖像捕獲單元，并且是可以捕獲具有HD圖像質(zhì)量的高清晰度圖像的圖像捕獲元件。包括下文將描述的時序發(fā)生器(TG)、寄存器57、緩沖存儲器59 (在該結(jié)構示例中是FIFO存儲器)的驅(qū)動電路55、和用作信息傳輸單元的低壓差分信號(LVDS)轉(zhuǎn)換電路61設置在圖像捕獲單元33的外圍區(qū)域中。
[0043]這種結(jié)構的圖像捕獲單元33是用于捕獲彩色圖像的單芯片圖像捕獲單元，其中三原色，即，紅(R)，綠(G)和藍(B)濾色片層疊在每一個像素上。圖像捕獲單元33可以是單色圖像捕獲單元，其在沒有安裝濾色片的情況下通過以幀序順序地照射來自下文將被描述的光源的R、G、B色照明光捕獲圖像。進一步，濾色片可以采用R、G、B和白色(W)的組合、以及為除R、G和B三原色之外的互補顏色的C、M和Y三種顏色或C、M、Y和G四種顏色的組合中的任一種。
[0044]諸如圖像捕獲單元33、FIFO存儲器59和LVDS轉(zhuǎn)換電路61之類的元件未形成在一個芯片上，而是形成在將彼此連接以構成圖像捕獲單元模塊的單獨的芯片上。進一步，如果FIFO存儲器59和LVDS轉(zhuǎn)換電路61設置在內(nèi)窺鏡觀測儀器11中，則FIFO存儲器59和LVDS轉(zhuǎn)換電路61可以被設置成與圖像捕獲單元33間隔開。
[0045]如圖1所示，內(nèi)窺鏡觀測儀器11包括半導體元件53，其包括圖像捕獲單元33和提取控制內(nèi)窺鏡觀測儀器11的控制信號的指令解調(diào)單元65。半導體元件53包括圖像捕獲單元33、列ADC電路67、驅(qū)動電路55、緩沖存儲器(在該實施例中是在高速存取方面有利的FIFO存儲器)59和低壓差分信號(LVDS)轉(zhuǎn)換電路61。
[0046]圖像捕獲單元33輸出在多個掃描線(像素行)中將被讀出的第i條掃描線(i是指示第一至最后一條線的指數(shù))的積聚電荷的信號。輸出的圖像捕獲信號在列ADC電路67中被數(shù)字化，隨后作為幀圖像信號臨時存儲在FIFO存儲器59中。隨后，幀圖像信號被以掃描線的順序從FIFO存儲器59發(fā)送至LVDS轉(zhuǎn)換電路61。
[0047]驅(qū)動電路55基于控制信號由指令解調(diào)單元65產(chǎn)生各種驅(qū)動脈沖，指令解調(diào)單元65與下文將被描述的處理器裝置13通信。驅(qū)動脈沖包括圖像捕獲單元33的驅(qū)動脈沖(垂直/水平掃描脈沖或復位脈沖)、用于列ADC電路67的同步脈沖、和FIFO存儲器59的驅(qū)動脈沖。圖像捕獲單元33由從驅(qū)動電路55輸入的驅(qū)動脈沖被驅(qū)動，以對通過物鏡光學系統(tǒng)75聚焦在光接收表面上的光學圖像進行光電轉(zhuǎn)換，從而輸出作為圖像捕獲信號的光學圖像。
[0048]讀出圖像捕獲單元33的光電二極管(PD)的作為圖像捕獲信號的聚集電荷的信號讀出電路的結(jié)構在相關領域 中是已知的，并且例如可以采用普通電路結(jié)構，如三晶體管結(jié)構或四晶體管結(jié)構?？梢詾槊恳粋€像素設置一個信號讀出電路，或者兩個或四個像素可以共享一個信號讀出電路以減小電路的尺寸。
[0049]列ADC電路67由相關雙采樣(CDS)電路、放大單元和A/D轉(zhuǎn)換器(在圖4的實施例中是列AD轉(zhuǎn)換器)構成。CDS電路對從圖像捕獲單元33的像素輸出的圖像捕獲信號進行相關雙采樣處理以去除在圖像捕獲單元33中產(chǎn)生的復位噪聲和放大噪聲。
[0050]放大器以由指令解調(diào)單元65指定的增益(放大因子)放大通過⑶S電路從其中被去除噪聲的圖像捕獲信號。A/D轉(zhuǎn)換器將由放大器放大的圖像捕獲信號轉(zhuǎn)換成具有預定數(shù)位的數(shù)字信號并輸出所述數(shù)字信號。從A/D轉(zhuǎn)換器輸出的幀圖像信號是從第一條掃描線到最后一條掃描線的圖像信息，并被臨時存儲在FIFO存儲器59中。FIFO存儲器59中存儲的幀圖像信號的圖像信息由LVDS轉(zhuǎn)換電路61順序地讀出，并且讀出的圖像信息被轉(zhuǎn)換成低壓差分以通過信號線77被傳輸至處理器裝置13。
[0051]〈處理器裝置〉
[0052]如圖1所示，處理器裝置13包括CPU 8UR0M 83、RAM 85、圖像處理單元(DSP) 87、顯示控制電路89和接收器91，接收器91接收從內(nèi)窺鏡觀測儀器11傳輸?shù)牡蛪翰罘中盘柕膸瑘D像信號以將幀圖像信號輸出至圖像處理單元87。
[0053]如果上述LVDS轉(zhuǎn)換電路61是雙信道子LVDS轉(zhuǎn)換電路，則接收器91重新存儲被分成兩個信道的信號并將該信號傳輸至圖像處理單元87。在該情況中，插入并穿過內(nèi)窺鏡觀測儀器11的插入單元21的信號線的數(shù)量是兩個，這不會增加插入單元21的直徑。
[0054]CPU 81控制處理器裝置13中的單元，將控制信號傳輸至內(nèi)窺鏡觀測儀器11的指令解調(diào)單元65或下文將被描述的光源裝置15，并控制整個內(nèi)窺鏡裝置100。用于控制處理器裝置13的操作的各種程序或控制數(shù)據(jù)存儲在ROM 83中。進一步，由CPU 81運行的程序或各種數(shù)據(jù)被臨時存儲在RAM 85中。
[0055]圖像處理單元87基于CPU 81的控制對由接收器91接收的圖像捕獲信號進行色彩插值、色分離、色彩平衡調(diào)整、白平衡調(diào)整、灰度校正、圖像增強處理，以產(chǎn)生圖像數(shù)據(jù)。
[0056]從圖像處理單元87輸出的圖像數(shù)據(jù)被輸入至顯示控制電路89，并且顯示控制電路89將從圖像處理單元87輸入的圖像數(shù)據(jù)轉(zhuǎn)換成與顯示單元17 —致的信號格式，以在顯示單元17的屏幕上顯示轉(zhuǎn)換后的圖像數(shù)據(jù)。
[0057]選擇或切換圖像捕獲單元33的操作模式的模式切換單元或接收用戶的指令輸入的各種操縱單元設置在處理器裝置13的輸入單元19中。
[0058]<光源裝置>
[0059]光源裝置15包括光源A(93)、光源A驅(qū)動電路95、光源B (97)和光源B驅(qū)動電路99。光源裝置15還包括連接至A光源驅(qū)動電路97和光源B驅(qū)動電路99的CPU 101，以及合并從光源A (93)發(fā)射的光和從光源B (97)發(fā)射的光的光程以形成信號信道光程的多路復用單元103。
[0060]光源A (93)和光源B (97)具有不同的發(fā)射光譜。CPU 101與處理器裝置13的CPU81通信以單獨地控制光源A(93)和光源B (97)以通過光源A驅(qū)動電路95和光源B驅(qū)動電路99被驅(qū)動。
[0061]光源B驅(qū)動電路95根據(jù)CPU 101的指令對光源A(93)的驅(qū)動信號進行脈沖調(diào)制控制，以改變從光源A(93)發(fā)射的光的開/關時序和脈沖發(fā)射量。進一步，光源B驅(qū)動電路99根據(jù)CPU 101的指令對光源B (97)的驅(qū)動信號進行脈沖調(diào)制控制，以改變從光源B (97)發(fā)射的光的開/關時序和脈沖發(fā)射量。
[0062]多路復用單兀103將光源A (93)的發(fā)射光發(fā)射至光導51的入射端51b,并將光源B(97)的發(fā)射光發(fā)射至光導51的入射端51b。當光源A(93)的發(fā)射光和光源B(97)的發(fā)射光被同時發(fā)射時，發(fā)射光被多路復用(混合)以被發(fā)射到光導51的入射端51b。
[0063]諸如激光二極管(LD)或LED之類的半導體光源可以用作光源A(93)和光源B(97)。進一步，可以采用使用鹵素燈的配置?？梢愿鶕?jù)觀察目標或觀察目的適當?shù)剡x擇光源的類型。進一步，如果使用鹵素燈，則具有截光器狹縫的旋轉(zhuǎn)盤設置在光源的前表面上，并且控制旋轉(zhuǎn)盤的旋轉(zhuǎn)速度被控制以控制照明光開/關。
[0064]如果其發(fā)射波長具有窄波帶的LD用作光源A (93)和光源B (97)，例如，可以單獨地或組合地采用發(fā)射諸如近紫外光、藍光、綠光或紅外的激光的LD。例如，當近紫外光或藍光用作照明光時，身體組織的表面層的毛細管或顯微結(jié)構形狀被增強。進一步，光源A(93)和光源B (97)中的一個可以是白色光源，其采用發(fā)射藍色光的LD和熒光物質(zhì)，熒光物質(zhì)被藍色激光激發(fā)并發(fā)射綠色光至黃色光。進一步，熒光物質(zhì)可以設置在內(nèi)窺鏡觀測儀器11的末端部的光導51的發(fā)射端處。
[0065]為了檢測被捕獲的圖像中的氧飽和度，可以根據(jù)對氧血紅蛋白和還原血紅蛋白的吸收選擇性地采用中心波長近似為405nm、445nm或473nm的LD。在該情況中，具有作為照明光的相應波長的光的被捕獲圖像被運算以檢測氧飽和度水平(例如，參見JP-A-2011-92690)。[0066]當采用具有上述配置的內(nèi)窺鏡裝置100觀察體腔的內(nèi)部時，內(nèi)窺鏡觀測儀器11的插入單元21插入體腔中，從而在用來自光源裝置15的脈沖照明光照亮體腔的內(nèi)部的同時通過顯示單元17觀察體腔中由圖像捕獲單元33捕獲的圖像。
[0067]處理器裝置13的CPU 81由從圖像捕獲單元33輸出的圖像捕獲信號的亮度信息控制照明光的光量。例如，在其中觀察遠離內(nèi)窺鏡末端部的對象的長距離觀察的情況中，觀察圖像在許多情況中較暗，使得要控制照明光的量增加。相反，在其中內(nèi)窺鏡末端部靠近對象以觀察放大圖像的短距離觀察的情況中，觀察圖像太亮，使得要控制照明光的量降低。
[0068]當控制照明光的量增加或降低時，處理器裝置13的CPU 81輸出指令至光源裝置15的CPU 101，以控制光源A(93)和光源B(97)所發(fā)射的光的量(驅(qū)動信號的脈沖寬度、脈沖數(shù)量或脈沖密度)。
[0069]<圖像捕獲順序>
[0070]具有這種配置的圖像捕獲單元是如上所述具有一百萬或更多個記錄像素并以HD圖像質(zhì)量獲得高清晰度圖像的圖像捕獲單元。因此，被捕獲的圖像的數(shù)據(jù)量是廣泛用于內(nèi)窺鏡的具有三十萬個像素等級的圖像捕獲單元的數(shù)據(jù)的量的四倍或更多倍。因此，在這種配置中，設置緩沖存儲器59以沒有任何問題地讀出具有來自圖像捕獲單元33的大量數(shù)據(jù)的信號。進一步，設置LVDS轉(zhuǎn)換電路61以將具有大量數(shù)據(jù)的信號傳輸至處理器裝置13。
[0071]圖5是圖示內(nèi)窺鏡裝置的驅(qū)動方法的時序圖。具有這種配置的內(nèi)窺鏡裝置100被構造以捕獲圖像并以60幀/秒的幀頻顯示圖像。在這里，將描述具有60幀/秒的幀頻的示例。
[0072]光源裝置15以每1/60秒的幀周期交替地打開圖1中圖示的光源A(93)和光源B(97)。更具體地，作為幀周期的1/60秒周期被處于二以被分成1/120秒的前半周期和1/120秒的后半周期。當將打開A光源的周期的前半周期視為周期a，后半周期視為周期b時，在前半周期a期間僅打開A光源，在后半周期b期間關閉A光源(和B光源)。類似地，B光源的打開周期被分成前半周期c和后半周期d,在前半周期c期間僅打開B光源,在后半周期d期間關閉B光源(和A光源)。如上所述由接收來自處理器裝置13的CPU 81的指令的CPU 101控制光源。
[0073]圖像捕獲單元33的所有像素在內(nèi)窺鏡觀測儀器11中被全局復位，并且隨后在周期a期間照射A光源的照明光的脈沖。通過這樣做，圖像捕獲單元33的所有像素的電荷開始通過A光源的照明光聚集。通過在周期a的結(jié)束時關閉A光源，在相同的曝光時刻處完成圖像捕獲單元33的所有像素的曝光。
[0074]接下來，類似于圖9中圖示的驅(qū)動方法，掃描線(水平像素行)的聚集電荷被順序地讀出。讀出的聚集電荷的信號被傳遞至列CDS，以便對該信號進行相關雙采樣處理，并且列AD轉(zhuǎn)換電路將該信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)。轉(zhuǎn)換后的數(shù)字數(shù)據(jù)作為幀圖像信號被臨時存儲在FIFO存儲器59中。
[0075]參照圖9，描述了在記錄像素是I百萬或更多個像素的高像素圖像捕獲單元的情況中，當圖像捕獲單元讀出圖像捕獲信號并輸出圖像捕獲信號至處理器裝置13(參見圖1)時，1/120秒作為數(shù)據(jù)傳輸時間是不夠的。采用這種配置，聚集電荷的信號作為幀圖像信號在1/120秒的周期b內(nèi)從圖像捕獲單元33輸出至FIFO存儲器59，以將幀圖像信號完全傳輸至FIFO存儲器59。[0076]通過這樣做，圖像捕獲單元33的所有像素的聚集電荷在周期c開始之前被讀出，使得圖像捕獲單元33可以在沒有任何問題的情況下進行下一次曝光。當幀圖像數(shù)據(jù)在周期b期間被傳輸至FIFO存儲器59時，幀圖像數(shù)據(jù)被簡單地存儲在FIFO存儲器59中，但未被傳輸至處理器裝置13，以便可以高速地完成所述傳輸。
[0077]接下來，LVDS轉(zhuǎn)換電路61讀出存儲在FIFO存儲器59中的幀圖像數(shù)據(jù)以將幀圖像數(shù)據(jù)轉(zhuǎn)換成低壓差分信號，并將轉(zhuǎn)換后的信號傳輸至處理器裝置13的圖像處理單元8。在這里，所傳輸?shù)膸瑘D像數(shù)據(jù)稱為“圖像A”。
[0078]在完全存儲所有幀圖像數(shù)據(jù)之前，存儲在FIFO存儲器59中的幀圖像數(shù)據(jù)開始由已經(jīng)完全存儲在LVDS中的圖像數(shù)據(jù)轉(zhuǎn)換并被傳輸至處理器裝置13。因此，在下一個幀圖像數(shù)據(jù)開始被存儲時，存 儲在FIFO存儲器59中的幀圖像數(shù)據(jù)在周期d開始時刻之前被希望地完全傳輸至處理器裝置13。
[0079]也就是說，在半導體元件53中，幀圖像信號的圖像信息被存儲在FIFO存儲器59中，并且?guī)瑘D像信號的存儲圖像信息被讀出以傳輸至處理器裝置13。圖像信息在幀周期內(nèi)被讀出。
[0080]可以在每一個曝光周期期間，即，在將被捕獲的圖像數(shù)據(jù)存儲在FIFO存儲器59中之后且在進行圖像捕獲單元33的下一次曝光之前，全局地復位所有像素。
[0081]如上所述，F(xiàn)IFO存儲器59同時記錄和讀出數(shù)據(jù)，使得沒有必要設置對應于圖像捕獲單元33的所有像素的存儲電容器。
[0082]例如，如果記錄像素是一百三十萬個像素(水平1300個像素，垂直1000個像素)，且數(shù)據(jù)量是10比特/像素，則一個幀圖像的數(shù)據(jù)量是13M比特。
[0083]如果假設在1/120秒內(nèi)被傳輸至處理器裝置13的信號的量是10M比特，則13M比特-10M比特=3M比特是不能在1/120秒內(nèi)傳輸?shù)男盘柫俊＜矗?M比特的幀圖像信號被保留在FIFO存儲器59中并且隨后在周期b之后的周期c (聚集B光源的電荷的周期)的結(jié)束時刻之前被傳輸。
[0084]IB(字節(jié))是8比特，因此3M比特是375kB。因此，在這種配置的情況中，可以設置具有375kB最小必要的存儲容量的FIFO存儲器59。也可以設置具有大于上述容量的容量的FIFO存儲器。
[0085]接下來，將描述從FIFO存儲器59讀出的幀圖像信號傳輸至處理器裝置13的傳輸速率。
[0086]由具有一百三十萬個記錄像素的圖像捕獲單元33獲得10比特/像素的被捕獲的圖像數(shù)據(jù)，使得一幀的圖像數(shù)據(jù)的大小為13M比特。圖像被以60幀/秒被傳輸至處理器裝置13，使得每條傳輸?shù)臄?shù)據(jù)量是13M比特X60 = 780M比特。
[0087]在這種配置中使用的子LVDS的通信中，從圖像捕獲單元33至處理器裝置13的數(shù)據(jù)傳輸長度長，例如，3至4m，以便采用其工作頻率是500MHz的兩個信道(2ch)。也就是說，在這種配置中，允許1.0Gbps的數(shù)據(jù)傳輸，并且可以穩(wěn)定地建立780Mbps的數(shù)據(jù)傳輸速率。
[0088]當以120幀/秒的速率傳輸圖像時，13M比特X 120 = 1560M比特，并且不能以
1.2G比特的傳輸速率進行這種傳輸。在該情況中，例如，如果工作頻率是800MHz，則可以允許這種傳輸。
[0089]如上所述，具有這種配置的光源裝置15進行間歇光控制，在所述控制中，對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間從內(nèi)窺鏡觀測儀器11發(fā)射作為照明光的脈沖光而在所述幀周期的后半周期期間關閉所述光的操作。進一步，圖像捕獲單元33通過全局快門方法被驅(qū)動，其中進行全局復位以進行曝光操作，假設幀周期的前半周期作為曝光周期，并在后半周期內(nèi)讀出曝光信號電荷以將信號電荷作為幀圖像信號輸出至安裝在內(nèi)窺鏡觀測儀器11中的緩沖存儲器59。存儲的幀圖像信號在幀周期內(nèi)被從緩沖存儲器59讀出。
[0090]圖像捕獲單元33可以通過卷簾快門方法被驅(qū)動，其中每一個像素，每條掃描線或每幾條線被偏移以被順序地復位，從而進行曝光操作。
[0091]如上所述，圖像數(shù)據(jù)被臨時存儲在緩沖存儲器中，使得即使將被傳輸?shù)臄?shù)據(jù)量巨大時，也可以在圖像捕獲單元的下一個曝光周期完成之前采用增加像素的圖像捕獲單元完成從緩沖存儲器59至處理器裝置13的傳輸。因此，不需要降低幀頻以在幀周期的后半周期內(nèi)完成所述傳輸，使得可以進行高速傳輸。
[0092]在上述實施例中，雖然1/60秒的幀周期被分成1/120秒的前半周期和1/120秒的后半周期，并且僅在前半周期期間進行曝光和電荷聚集，且在后半周期期間將數(shù)據(jù)傳輸至FIFO存儲器59，但前半周期和后半周期的劃分類型不限于此。例如，如果需要曝光量，則1/100秒可以是前半周期，1/150秒可以是后半周期。圖1的CPU 81指示CPU 101在獲得FIFO存儲器59的足夠容量之后進行這種控制。
[0093]<圖像顯示>
[0094]接下來,將描述將幀圖像數(shù)據(jù)顯示在顯示單元17上的示例。 [0095]圖6圖示照明、捕獲和圖像信號的流程。如參考圖7和8描述的那樣，當通過采用脈沖光、脈沖熱量和光照明的卷簾快門式CMOS傳感器捕獲圖像時，諸如橫條紋之類的模糊現(xiàn)象是已知的。如圖6所示，即使在1/60秒的周期內(nèi)形成所述幀，也采用其中照明和聚集時間是幀時間的前半周期且在后半周期內(nèi)及進行高速讀出的順序，以便可以獲得不依賴于照明脈沖數(shù)量和脈沖寬度的適當同步的曝光圖像，這類似于同時曝光所有像素的CCD傳感器或全局快門式CMOS傳感器。圖像輸出由圖1的圖像處理單元87變?yōu)閹瑘D像，以在1/60秒的周期內(nèi)通過顯示控制電路89顯示在顯示單元17上。在這里，從圖像捕獲時刻至顯示時刻的延遲取決于信號處理單元的處理操作，但在圖6中未被具體限定。
[0096]在圖5中圖示的控制示例中，白色光源用作A光源，且其中心光發(fā)射波長是吸收血紅蛋白的特定波長中的一種的約470nm的LD光源用作B光源。采用來自A光源的照明光獲得的對象的圖像僅在1/60秒期間被顯示在顯示單元17(參見圖1)上。通過由圖像處理單元87在兩個屏幕中操作通過A光源獲得的幀圖像和由操作B光源獲得的幀圖像獲得的運算圖像在下一個1/60秒期間被顯示。該圖像每1/30秒(=1/60秒+1/60秒)被重復顯示，使得該運算圖像與對象的由白色光形成的圖像疊加以顯示在顯示單元17上。
[0097]該元算圖像包括其中表示氧飽和度水平的圖像、其中生物體的表層的毛細管或顯微結(jié)構形狀被增強的圖像、或熒光觀察圖像。
[0098]雖然在圖5中圖示的控制示例中A光源和B光源被交替打開，但任一個光源可以用作照明光以重復地打開或關閉。
[0099]C光源被設置以準備三種類型的光源，并且C光源也可以被控制，從而以A光源_>B光源->C光源->A光源->B光源->...的順序順序地打開這三種類型的光源。[0100]例如，代替將濾色片層疊在圖像捕獲單元33的每一個像素上，紅光源、綠光源和藍光源分別用作A光源、B光源和C光源，以便可以以幀為序獲得對象的彩色圖像。
[0101]本發(fā)明不限于上述實施例，本領域技術人員可以基于本說明書的描述和已知的技術組合、改變和應用所述實施例的相應部件，這被包括在將被保護的觀測儀器中。
[0102]在上述配置中，使用形成在半導體元件中的CMOS式圖像捕獲單元，但圖像捕獲單元不限于CMOS式。圖像捕獲單元可以采用MOS晶體管電路將圖像捕獲信號讀出到外面。進一步，例如，圖像捕獲單元可以是如在JP-B-4887079中公開的光電轉(zhuǎn)換膜層疊式圖像捕獲單元。
[0103]讀出掃描線的聚集電荷的方法不限于全局快門方法或卷簾快門方法，而是聚集電荷可以臨時存儲在存儲器中且隨后被從存儲器中被順序地提取。
[0104]實施例的描述包括下述內(nèi)容:
[0105](I) 一種內(nèi)窺鏡裝置，包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，所述內(nèi)窺鏡裝置包括:光源單元，所述光源單元被構造成對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間發(fā)射照明光而在所述幀周期的后半周期期間關閉照明光的操作；緩沖存儲器，所述緩沖存儲器安裝在內(nèi)窺鏡觀測儀器中并被構造成存儲從圖像捕獲單元輸出的幀圖像信號的圖像信息；和信息傳輸單元，所述信息傳輸單元被構造成從緩沖存儲器中讀出幀圖像信號的圖像信息并將圖像信息傳輸至圖像處理單元，其中圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集 電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息。
[0106](2)在(I)的內(nèi)窺鏡裝置中，其中圖像捕獲單元通過卷簾快門方法被驅(qū)動。
[0107](3)在(I)或⑵的內(nèi)窺鏡裝置中，其中緩沖存儲器是安裝在半導體元件中或連接到所述半導體元件的存儲器，其中所述半導體元件包括所述圖像捕獲單元。
[0108](4)在(1)-(3)中任一個的內(nèi)窺鏡裝置，其中緩沖存儲器是先進先出存儲器。
[0109](5)在(1)-(4)中任一個的內(nèi)窺鏡裝置中，其中緩沖存儲器至少包括存儲電容器，通過從幀圖像信號的信號量中減去在幀周期的前半周期期間能夠被傳輸?shù)男盘柫揩@得的信號量被存儲在所述存儲電容器中。
[0110](6)在(1)-(5)中任一個的內(nèi)窺鏡裝置中，其中信息傳輸單兀將幀圖像信號轉(zhuǎn)換成低壓差分信號以將轉(zhuǎn)換后的信號傳輸至圖像處理單元。
[0111](7)在(1)-(6)中任一個的內(nèi)窺鏡裝置中，其中光源單元包括半導體激光器元件。
[0112](8)在(1)-(7)中任一個所述的內(nèi)窺鏡裝置中，其中光源單元包括發(fā)光二極管元件。
[0113](9)在(1)-(8)中任一個所述的內(nèi)窺鏡裝置中，其中光源單元包括具有不同發(fā)射顏色的多個光源，并且所述光源被交替地或順序地打開。
[0114](10)在(9)的內(nèi)窺鏡裝置中，其中光源單元針對每一個幀周期發(fā)射不同顏色的照明光，并且
[0115]圖像捕獲單元針對每一個照明光以幀順序地捕獲對象。[0116](11)在(10)的內(nèi)窺鏡裝置中，其中照明光至少包括白色光和具有比白色光窄的可見波長帶的從藍色光至近紫外光的窄波帶光。
[0117](12) 一種內(nèi)窺鏡裝置的操作方法，所述內(nèi)窺鏡裝置包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，其中光源單元對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間將照明光從內(nèi)窺鏡觀測儀器照射到對象上而在所述幀周期的后半周期期間關閉照明光的操作；圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至安裝在內(nèi)窺鏡觀測儀器中的緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息并將所述圖像信息傳輸至圖像處理單元。
[0118](13)在(12)中的操作方法中，其中圖像捕獲單元通過卷簾快門方法被驅(qū)動。
[0119]工業(yè)應用性
[0120]根據(jù)本發(fā)明的內(nèi)窺鏡裝置可以以高幀頻、高質(zhì)量地傳輸大量圖像數(shù)據(jù)，使得本發(fā)明可以應用于其中用于捕獲高清晰度圖像的圖像捕獲單元安裝在內(nèi)窺鏡觀測儀器的插入單元的末端中的內(nèi)窺鏡裝置。
【權利要求】
1.一種內(nèi)窺鏡裝置，包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，所述內(nèi)窺鏡裝置包括: 光源單元，所述光源單元被構造成對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間發(fā)射照明光而在所述幀周期的后半周期期間關閉照明光的操作； 緩沖存儲器，所述緩沖存儲器安裝在內(nèi)窺鏡觀測儀器中并被構造成存儲從圖像捕獲單元輸出的幀圖像信號的圖 像信息；和 信息傳輸單元，所述信息傳輸單元被構造成從緩沖存儲器中讀出幀圖像信號的圖像信息并將圖像信息傳輸至圖像處理單元， 其中圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息。
2.根據(jù)權利要求1所述的內(nèi)窺鏡裝置，其中圖像捕獲單元通過卷簾快門方法被驅(qū)動。
3.根據(jù)權利要求1或2所述的內(nèi)窺鏡裝置，其中緩沖存儲器是安裝在半導體元件中或連接到所述半導體元件的存儲器，其中所述半導體元件包括所述圖像捕獲單元。
4.根據(jù)權利要求1-3中任一項所述的內(nèi)窺鏡裝置，其中緩沖存儲器是先進先出存儲器。
5.根據(jù)權利要求1-4中任一項所述的內(nèi)窺鏡裝置，其中緩沖存儲器至少包括存儲電容器，通過從幀圖像信號的信號量中減去在幀周期的前半周期期間能夠被傳輸?shù)男盘柫揩@得的信號量被存儲在所述存儲電容器中。
6.根據(jù)權利要求1-5中任一項所述的內(nèi)窺鏡裝置，其中信息傳輸單元將幀圖像信號轉(zhuǎn)換成低壓差分信號以將轉(zhuǎn)換后的信號傳輸至圖像處理單元。
7.根據(jù)權利要求1-6中任一項所述的內(nèi)窺鏡裝置，其中光源單元包括半導體激光器元件。
8.根據(jù)權利要求1-7中任一項所述的內(nèi)窺鏡裝置，其中光源單元包括發(fā)光二極管元件。
9.根據(jù)權利要求1-8中任一項所述的內(nèi)窺鏡裝置，其中光源單元包括具有不同發(fā)射顏色的多個光源，并且所述光源被交替地或順序地打開。
10.根據(jù)權利要求9所述的內(nèi)窺鏡裝置，其中光源單元針對每一個幀周期發(fā)射不同顏色的照明光，并且 圖像捕獲單元針對每一個照明光以幀順序地捕獲對象。
11.根據(jù)權利要求10所述的內(nèi)窺鏡裝置，其中照明光至少包括白色光和具有比白色光窄的可見波長帶的從藍色光至近紫外光的窄波帶光。
12.一種內(nèi)窺鏡裝置的操作方法，所述內(nèi)窺鏡裝置包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，其中光源單元對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間從內(nèi)窺鏡觀測儀器將照明光照射到對象上而在所述幀周期的后半周期期間關閉照明光的操作； 圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至安裝在內(nèi)窺鏡觀測儀器中的緩沖存儲器，并且 信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息并將所述圖像信息傳輸至圖像處理單元。
13.根據(jù)權利要求 12所述的操作方法，其中圖像捕獲單元通過卷簾快門方法被驅(qū)動。
【文檔編號】A61B1/04GK103919521SQ201410012516
【公開日】2014年7月16日 申請日期:2014年1月10日 優(yōu)先權日:2013年1月10日
【發(fā)明者】村山任 申請人:富士膠片株式會社
【專利摘要】一種內(nèi)窺鏡裝置，包括：光源單元，所述光源單元被構造成對于每一個幀周期重復在幀周期的前半周期期間發(fā)射照明光而在所述幀周期的后半周期期間關閉照明光的操作；緩沖存儲器，所述緩沖存儲器安裝在內(nèi)窺鏡觀測儀器中并被構造成存儲從圖像捕獲單元輸出的幀圖像信號的圖像信息；和信息傳輸單元，所述信息傳輸單元被構造成從緩沖存儲器中讀出幀圖像信號的圖像信息并將圖像信息傳輸至圖像處理單元，其中圖像捕獲單元在幀周期內(nèi)從緩沖存儲器讀出幀圖像信號的圖像信息。
【專利說明】內(nèi)窺鏡裝置及其操作方法
【技術領域】
[0001 ] 本發(fā)明涉及內(nèi)窺鏡裝置及其操作方法。
【背景技術】
[0002]電子內(nèi)窺鏡裝置包括圖像捕獲單元，其安裝在內(nèi)窺鏡觀測儀器的插入對象的體腔中的末端部處。由圖像捕獲單元捕獲的圖像信號被發(fā)送至與內(nèi)窺鏡觀測儀器連接的處理器裝置，并處理且隨后顯示在顯示單元上。
[0003]用于內(nèi)窺鏡裝置的圖像捕獲單元主要分成CXD式和CMOS式，但近年來主要使用CMOS式。在CMOS式圖像捕獲單元中讀出圖像捕獲信號到外面的驅(qū)動方法包括全局快門方法和卷簾快門方法。
[0004]全局快門方法在CMOS式圖像捕獲單元中對一個屏幕中的所有像素同時進行復位以開始曝光操作，即，使一個屏幕中的所有像素的電荷開始聚集。因此，全局快門方法的優(yōu)點在于，所有像素(光電二極管:PD)從圖像捕獲單元的聚集開始到圖像捕獲單元的聚集結(jié)束的計時和周期變得彼此相等。然而，需要提供主容量和在每一個像素的區(qū)域中傳遞主容量的FET，這可能會影響大面積的圖像捕獲單元。因此，該結(jié)構可能不利于將圖像捕獲單元安裝在具有小直徑的內(nèi)窺鏡觀測儀器中。 [0005]根據(jù)卷簾快門方法，CMOS式圖像捕獲單元對至少一條掃描線或每一個像素順序地進行曝光，使得該掃描線或像素被順序地復位，并且電荷開始聚集以讀出聚集的電荷(也被稱為局部平面快門方法)。
[0006]卷簾快門方法通常用于數(shù)字相機，但當卷簾快門方法用于內(nèi)窺鏡裝置時，可能出現(xiàn)問題。內(nèi)窺鏡觀測儀器插入黑暗部分中，如體腔的內(nèi)部，使得需要從觀測儀器的末端部照射照明光以捕獲圖像。為閃爍光的脈沖光可以用作照明光，如在專利文獻
I(JP-A-2011-30985)中描述的那樣。如果脈沖光的開/關計時與卷簾快門的順序讀出計時不同步，則照明光的量可能會導致問題。
[0007]圖7是圖示卷簾快門方法的問題的示例的示意圖。在該卷簾快門方法的情況中，即使開始電荷的聚集的計時可以大約與掃描線(水平像素行)偏離，則仍然要求為每條掃描線照射相同的光量。
[0008]照明光是脈沖調(diào)制驅(qū)動式脈沖光。因此，驅(qū)動信號的脈沖寬度、脈沖數(shù)量和脈沖密度可以被控制以彼此相同，使得各條掃描線的總光量在曝光周期期間變得相同。然而，照射的脈沖光的量需要根據(jù)至對象的距離或?qū)⒈挥^察的圖像的亮度動態(tài)地改變，使得難以在讀出順序偏移少量位的各條掃描線中均勻地分配脈沖光。如果在控制輻照量以改變的同時未控制照射的脈沖光以在各條掃描線中相同，則在將被觀察的圖像中產(chǎn)生亮度不規(guī)則性或條紋圖案，使得被捕獲的圖像的質(zhì)量惡化。
[0009]圖8是圖示卷簾快門方法的另一個問題的示意圖。圖8圖示作為示例的內(nèi)窺鏡裝置，其可選地使用具有不同發(fā)射顏色以照射脈沖光的多個光源。在圖8中圖示的示例中，交替地重復光源A的1/60秒的輻照操作兩次和光源B的1/60秒的輻照操作兩次。在卷簾快門式圖像捕獲單元中，開始電荷聚集的計時和結(jié)束電荷聚集的計時以掃描線的順序偏移，使得每一個幀產(chǎn)生無效幀圖像，在無效幀圖像中光源A的脈沖光輻射和光源B的脈沖光輻射混合。該無效幀圖像(在附圖中由“NG”表示)不用作內(nèi)窺鏡的觀察圖像，使得作為有效幀圖像(在附圖中由“0K”表示)的速率的有效幀頻降低至一半。
[0010]通過采用圖9的驅(qū)動方法可以解決這種問題。例如，1/60的幀周期被分成1/120秒的前半周期和1/120秒的后半周期，并且每條掃描線中的電荷聚集同時開始，且在第一個1/120秒周期內(nèi)照射脈沖光。隨后，在下一個1/120秒的后半周期期間可以以掃描線的順序讀出每條掃描線的聚集電荷。
[0011]圖9中圖示的驅(qū)動方法可以在內(nèi)窺鏡裝置中目前廣泛使用的具有30萬個記錄像素的圖像捕獲單元中進行，沒有任何問題。然而，難以將該驅(qū)動方法應用于提供I百萬像素或更多像素的高像素圖像捕獲單元，這種高像素圖像捕獲單元可以以高清晰度(HD)圖像質(zhì)量捕獲圖像。這是因為在提供I百萬像素或更多像素的高像素圖像捕獲單元的情況中，從所有像素中讀出的數(shù)據(jù)的量是巨大的，使得難以在幀周期為1/120秒的后半周期期間從圖像捕獲單元輸出聚集電荷的所有信號并將所述信號發(fā)送至處理器裝置。以下，將描述記錄像素的數(shù)量是一百三十萬像素的示例。
[0012]在增加傳輸速率以將圖像捕獲信號傳輸至內(nèi)窺鏡裝置的離內(nèi)窺鏡觀測儀器的末端部3至4m遠的主體以便延長傳輸信號的時間時存在限制。即使可以通過增加用于傳輸信號的信號線的數(shù)量以進行并行傳輸來解決傳輸信號的時間的問題，但如果信號線的數(shù)量增加，則內(nèi)窺鏡觀測儀器的容納信號線的插入單元的直徑增加。因此，信號線的增加與對減小插入單元的直徑的需求相違背。
【發(fā)明內(nèi)容】
[0013]已經(jīng)作出了本發(fā)明以努力提供一種內(nèi)窺鏡裝置，其能夠在安裝在內(nèi)窺鏡觀測儀器的插入單元的末端部中的圖像捕獲單元中以高質(zhì)量獲得高幀頻觀察圖像，并提供了該內(nèi)窺鏡裝置的操作方法。
[0014]本發(fā)明的說明性方面被陳述如下:
[0015](1) 一種內(nèi)窺鏡裝置，包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，所述內(nèi)窺鏡裝置包括:光源單元，所述光源單元被構造成對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間發(fā)射照明光而在所述幀周期的后半周期期間關閉照明光的操作；緩沖存儲器，所述緩沖存儲器安裝在內(nèi)窺鏡觀測儀器中并被構造成存儲從圖像捕獲單元輸出的幀圖像信號的圖像信息；和信息傳輸單元，所述信息傳輸單元被構造成從緩沖存儲器中讀出幀圖像信號的圖像信息并將圖像信息傳輸至圖像處理單元，其中圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息。
[0016](2) 一種內(nèi)窺鏡裝置的操作方法，所述內(nèi)窺鏡裝置包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，其中光源單元對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間將照明光從內(nèi)窺鏡觀測儀器照射到對象上而在所述幀周期的后半周期期間關閉照明光的操作；圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至安裝在內(nèi)窺鏡觀測儀器中的緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息并將所述圖像信息傳輸至圖像處理單元。
[0017]根據(jù)本發(fā)明的任一個方面，從圖像捕獲單元輸出的幀圖像信號的信息被臨時存儲在緩沖存儲器中，以便圖像捕獲單元開始下一次曝光。進一步，存儲在緩沖存儲器中的幀圖像信號在到達讀出下一幀圖像信號的時刻的一個幀周期內(nèi)被讀出。因而，能夠以高幀頻獲得高清晰度圖像，而不會惡化圖像質(zhì)量。
【專利附圖】
【附圖說明】
[0018]圖1是圖示本發(fā)明的一個實施例的框圖并且是內(nèi)窺鏡裝置的框圖；
[0019]圖2是作為圖1中圖示的內(nèi)窺鏡裝置的示例的外視圖；
[0020]圖3是圖示內(nèi)窺鏡觀測儀器的內(nèi)窺鏡末端部的末端表面的正視圖；
[0021]圖4是示意性地圖示具有圖像捕獲單元的半導體元件的表面的平面圖；
[0022]圖5是圖示內(nèi)窺鏡裝置的驅(qū)動方法的時序圖。
[0023]圖6是圖示照明、圖像捕獲和圖像信號的流程的時序圖；
[0024]圖7是圖示相關技術的卷簾快門方法的問題的示例的說明圖；
[0025]圖8是圖示相關技術的卷簾快門方法的另一個問題的示例的說明圖；以及
[0026]圖9是圖示以卷簾快門驅(qū)動方式高速驅(qū)動相關技術的CMOS圖像捕獲單元的驅(qū)動方法的說明圖。
[0027]【專利附圖】
【附圖說明】
[0028]以下，將參照附圖詳細描述本發(fā)明的實施例。
[0029]圖1是圖示本發(fā)明的一個實施例的框圖和內(nèi)窺鏡裝置的框圖。圖2是作為圖1中圖示的內(nèi)窺鏡裝置的一個示例的外視圖。
[0030]首先，將參照圖1和2描述內(nèi)窺鏡裝置100的結(jié)構。內(nèi)窺鏡裝置100包括內(nèi)窺鏡觀測儀器11、處理器裝置13和光源裝置15。進一步，顯示觀察圖像的顯示單元17和通過其輸入各種信息的輸入單元19連接至內(nèi)窺鏡裝置100.[0031]〈內(nèi)窺鏡觀測儀器〉
[0032]內(nèi)窺鏡觀測儀器11包括插入患者(對象)的體腔中的柔性插入單元21、緊鄰插入單元21的基端設置的操縱單元23、以及連接至處理器裝置13和光源裝置15的通用軟線25，如圖2所示。
[0033]插入單兀21包括內(nèi)規(guī)鏡末2而部27、彎曲部29和柔性部31，所述內(nèi)規(guī)鏡末2而部27、彎曲部29和柔性部31以此順序形成在末端處。內(nèi)窺鏡末端部27包括安裝在其中以捕獲體腔的內(nèi)部的CMOS圖像捕獲單元33(參見圖1)。設置在內(nèi)窺鏡末端部27的后側(cè)的彎曲部29具有彎曲機構，多個彎曲部件連接至該彎曲機構。當操縱設置在操縱單元23中的彎角鈕35時，插入插入單元21中的線(未圖示)被拉伸或拖拉以使彎曲單元29沿上、下、左和右方向彎曲。因而，內(nèi)窺鏡末端部27被引導到體腔中的期望方向。
[0034] 連接器37A和37B設置在通用軟線25的基端處。連接器37A可拆卸地連接至處理器裝置13，連接器37B可拆卸地連接至光源裝置15。連接器37A和37B可以是一體地連接至處理器裝置13和光源裝置15的組合式連接器。
[0035]處理器裝置13通過插入通用軟線25中并穿過通用軟線25的信號線將電力供給內(nèi)窺鏡觀測儀器11以控制將要被驅(qū)動的圖像捕獲單元33，接收通過信號線從圖像捕獲單元33傳輸?shù)膱D像捕獲信號，并對接收到的圖像捕獲信號進行各種信號處理以將圖像捕獲信號轉(zhuǎn)換成圖像數(shù)據(jù)。
[0036]在處理器裝置13中被轉(zhuǎn)換的圖像數(shù)據(jù)作為觀察圖像被顯示在通過電纜連接至處理器裝置13的諸如液晶監(jiān)視器之類的顯示單元17上。進一步，處理器裝置13控制包括光源裝置15的內(nèi)窺鏡裝置100的整體操作。顯示單元17不限于設置在處理器裝置13外面的顯示裝置，而是可以形成為多種類型，并且例如可以與處理器裝置13或內(nèi)窺鏡觀測儀器
11一體地形成。
[0037]圖3是圖示內(nèi)窺鏡觀測儀器11的內(nèi)窺鏡末端部27的末端表面41的正視圖。內(nèi)窺鏡末端部27的末端表面41包括通過其觀察對象的觀察窗43、通過其發(fā)射照明光的照明窗45和45、以及鉗子通道47。
[0038]照明窗45設置在觀察窗43的兩側(cè)以觀察窗43位于其間的方式大致彼此對稱，從而將照明光從光源裝置15照射到體腔中將被觀察的部分上。
[0039]鉗子通道47設置成沿著插入單元21延伸以與設置在操縱單元23中的鉗子端口49 (參見圖2)連通。其中針或透熱刀設置在末端處的各種治療工具被插入并穿過鉗子通道47，使得各種治療工具的末端從內(nèi)窺鏡末端部27的鉗子通道47被釋放到體腔中。
[0040]引導從光源裝置15發(fā)射的照明光的光導51的發(fā)射端51a設置在照明窗45中，如圖1所示。諸如透鏡或光學漫射構件之類的光學構件可以設置在光導51的發(fā)射端51a和照明窗45之間。進一步，熒光物質(zhì)可以設置在發(fā)射端51a處。
[0041]圖4是示意性地圖示具有圖像捕獲單元33的半導體元件的表面的平面圖。多個像素(光接收元件，光電二極管(PD))以二維陣列形狀設置在其中的圖像捕獲單元33形成在矩形半導體元件53的中心區(qū)域處。進一步，進行相關雙采樣處理的⑶S電路也設置在該中心區(qū)域處。
[0042]圖像捕獲單元33是具有一百三十萬個或更多個記錄像素(近似地，垂直一千個像素，水平一千三百個像素)的高像素圖像捕獲單元，并且是可以捕獲具有HD圖像質(zhì)量的高清晰度圖像的圖像捕獲元件。包括下文將描述的時序發(fā)生器(TG)、寄存器57、緩沖存儲器59 (在該結(jié)構示例中是FIFO存儲器)的驅(qū)動電路55、和用作信息傳輸單元的低壓差分信號(LVDS)轉(zhuǎn)換電路61設置在圖像捕獲單元33的外圍區(qū)域中。
[0043]這種結(jié)構的圖像捕獲單元33是用于捕獲彩色圖像的單芯片圖像捕獲單元，其中三原色，即，紅(R)，綠(G)和藍(B)濾色片層疊在每一個像素上。圖像捕獲單元33可以是單色圖像捕獲單元，其在沒有安裝濾色片的情況下通過以幀序順序地照射來自下文將被描述的光源的R、G、B色照明光捕獲圖像。進一步，濾色片可以采用R、G、B和白色(W)的組合、以及為除R、G和B三原色之外的互補顏色的C、M和Y三種顏色或C、M、Y和G四種顏色的組合中的任一種。
[0044]諸如圖像捕獲單元33、FIFO存儲器59和LVDS轉(zhuǎn)換電路61之類的元件未形成在一個芯片上，而是形成在將彼此連接以構成圖像捕獲單元模塊的單獨的芯片上。進一步，如果FIFO存儲器59和LVDS轉(zhuǎn)換電路61設置在內(nèi)窺鏡觀測儀器11中，則FIFO存儲器59和LVDS轉(zhuǎn)換電路61可以被設置成與圖像捕獲單元33間隔開。
[0045]如圖1所示，內(nèi)窺鏡觀測儀器11包括半導體元件53，其包括圖像捕獲單元33和提取控制內(nèi)窺鏡觀測儀器11的控制信號的指令解調(diào)單元65。半導體元件53包括圖像捕獲單元33、列ADC電路67、驅(qū)動電路55、緩沖存儲器(在該實施例中是在高速存取方面有利的FIFO存儲器)59和低壓差分信號(LVDS)轉(zhuǎn)換電路61。
[0046]圖像捕獲單元33輸出在多個掃描線(像素行)中將被讀出的第i條掃描線(i是指示第一至最后一條線的指數(shù))的積聚電荷的信號。輸出的圖像捕獲信號在列ADC電路67中被數(shù)字化，隨后作為幀圖像信號臨時存儲在FIFO存儲器59中。隨后，幀圖像信號被以掃描線的順序從FIFO存儲器59發(fā)送至LVDS轉(zhuǎn)換電路61。
[0047]驅(qū)動電路55基于控制信號由指令解調(diào)單元65產(chǎn)生各種驅(qū)動脈沖，指令解調(diào)單元65與下文將被描述的處理器裝置13通信。驅(qū)動脈沖包括圖像捕獲單元33的驅(qū)動脈沖(垂直/水平掃描脈沖或復位脈沖)、用于列ADC電路67的同步脈沖、和FIFO存儲器59的驅(qū)動脈沖。圖像捕獲單元33由從驅(qū)動電路55輸入的驅(qū)動脈沖被驅(qū)動，以對通過物鏡光學系統(tǒng)75聚焦在光接收表面上的光學圖像進行光電轉(zhuǎn)換，從而輸出作為圖像捕獲信號的光學圖像。
[0048]讀出圖像捕獲單元33的光電二極管(PD)的作為圖像捕獲信號的聚集電荷的信號讀出電路的結(jié)構在相關領域 中是已知的，并且例如可以采用普通電路結(jié)構，如三晶體管結(jié)構或四晶體管結(jié)構?？梢詾槊恳粋€像素設置一個信號讀出電路，或者兩個或四個像素可以共享一個信號讀出電路以減小電路的尺寸。
[0049]列ADC電路67由相關雙采樣(CDS)電路、放大單元和A/D轉(zhuǎn)換器(在圖4的實施例中是列AD轉(zhuǎn)換器)構成。CDS電路對從圖像捕獲單元33的像素輸出的圖像捕獲信號進行相關雙采樣處理以去除在圖像捕獲單元33中產(chǎn)生的復位噪聲和放大噪聲。
[0050]放大器以由指令解調(diào)單元65指定的增益(放大因子)放大通過⑶S電路從其中被去除噪聲的圖像捕獲信號。A/D轉(zhuǎn)換器將由放大器放大的圖像捕獲信號轉(zhuǎn)換成具有預定數(shù)位的數(shù)字信號并輸出所述數(shù)字信號。從A/D轉(zhuǎn)換器輸出的幀圖像信號是從第一條掃描線到最后一條掃描線的圖像信息，并被臨時存儲在FIFO存儲器59中。FIFO存儲器59中存儲的幀圖像信號的圖像信息由LVDS轉(zhuǎn)換電路61順序地讀出，并且讀出的圖像信息被轉(zhuǎn)換成低壓差分以通過信號線77被傳輸至處理器裝置13。
[0051]〈處理器裝置〉
[0052]如圖1所示，處理器裝置13包括CPU 8UR0M 83、RAM 85、圖像處理單元(DSP) 87、顯示控制電路89和接收器91，接收器91接收從內(nèi)窺鏡觀測儀器11傳輸?shù)牡蛪翰罘中盘柕膸瑘D像信號以將幀圖像信號輸出至圖像處理單元87。
[0053]如果上述LVDS轉(zhuǎn)換電路61是雙信道子LVDS轉(zhuǎn)換電路，則接收器91重新存儲被分成兩個信道的信號并將該信號傳輸至圖像處理單元87。在該情況中，插入并穿過內(nèi)窺鏡觀測儀器11的插入單元21的信號線的數(shù)量是兩個，這不會增加插入單元21的直徑。
[0054]CPU 81控制處理器裝置13中的單元，將控制信號傳輸至內(nèi)窺鏡觀測儀器11的指令解調(diào)單元65或下文將被描述的光源裝置15，并控制整個內(nèi)窺鏡裝置100。用于控制處理器裝置13的操作的各種程序或控制數(shù)據(jù)存儲在ROM 83中。進一步，由CPU 81運行的程序或各種數(shù)據(jù)被臨時存儲在RAM 85中。
[0055]圖像處理單元87基于CPU 81的控制對由接收器91接收的圖像捕獲信號進行色彩插值、色分離、色彩平衡調(diào)整、白平衡調(diào)整、灰度校正、圖像增強處理，以產(chǎn)生圖像數(shù)據(jù)。
[0056]從圖像處理單元87輸出的圖像數(shù)據(jù)被輸入至顯示控制電路89，并且顯示控制電路89將從圖像處理單元87輸入的圖像數(shù)據(jù)轉(zhuǎn)換成與顯示單元17 —致的信號格式，以在顯示單元17的屏幕上顯示轉(zhuǎn)換后的圖像數(shù)據(jù)。
[0057]選擇或切換圖像捕獲單元33的操作模式的模式切換單元或接收用戶的指令輸入的各種操縱單元設置在處理器裝置13的輸入單元19中。
[0058]<光源裝置>
[0059]光源裝置15包括光源A(93)、光源A驅(qū)動電路95、光源B (97)和光源B驅(qū)動電路99。光源裝置15還包括連接至A光源驅(qū)動電路97和光源B驅(qū)動電路99的CPU 101，以及合并從光源A (93)發(fā)射的光和從光源B (97)發(fā)射的光的光程以形成信號信道光程的多路復用單元103。
[0060]光源A (93)和光源B (97)具有不同的發(fā)射光譜。CPU 101與處理器裝置13的CPU81通信以單獨地控制光源A(93)和光源B (97)以通過光源A驅(qū)動電路95和光源B驅(qū)動電路99被驅(qū)動。
[0061]光源B驅(qū)動電路95根據(jù)CPU 101的指令對光源A(93)的驅(qū)動信號進行脈沖調(diào)制控制，以改變從光源A(93)發(fā)射的光的開/關時序和脈沖發(fā)射量。進一步，光源B驅(qū)動電路99根據(jù)CPU 101的指令對光源B (97)的驅(qū)動信號進行脈沖調(diào)制控制，以改變從光源B (97)發(fā)射的光的開/關時序和脈沖發(fā)射量。
[0062]多路復用單兀103將光源A (93)的發(fā)射光發(fā)射至光導51的入射端51b,并將光源B(97)的發(fā)射光發(fā)射至光導51的入射端51b。當光源A(93)的發(fā)射光和光源B(97)的發(fā)射光被同時發(fā)射時，發(fā)射光被多路復用(混合)以被發(fā)射到光導51的入射端51b。
[0063]諸如激光二極管(LD)或LED之類的半導體光源可以用作光源A(93)和光源B(97)。進一步，可以采用使用鹵素燈的配置?？梢愿鶕?jù)觀察目標或觀察目的適當?shù)剡x擇光源的類型。進一步，如果使用鹵素燈，則具有截光器狹縫的旋轉(zhuǎn)盤設置在光源的前表面上，并且控制旋轉(zhuǎn)盤的旋轉(zhuǎn)速度被控制以控制照明光開/關。
[0064]如果其發(fā)射波長具有窄波帶的LD用作光源A (93)和光源B (97)，例如，可以單獨地或組合地采用發(fā)射諸如近紫外光、藍光、綠光或紅外的激光的LD。例如，當近紫外光或藍光用作照明光時，身體組織的表面層的毛細管或顯微結(jié)構形狀被增強。進一步，光源A(93)和光源B (97)中的一個可以是白色光源，其采用發(fā)射藍色光的LD和熒光物質(zhì)，熒光物質(zhì)被藍色激光激發(fā)并發(fā)射綠色光至黃色光。進一步，熒光物質(zhì)可以設置在內(nèi)窺鏡觀測儀器11的末端部的光導51的發(fā)射端處。
[0065]為了檢測被捕獲的圖像中的氧飽和度，可以根據(jù)對氧血紅蛋白和還原血紅蛋白的吸收選擇性地采用中心波長近似為405nm、445nm或473nm的LD。在該情況中，具有作為照明光的相應波長的光的被捕獲圖像被運算以檢測氧飽和度水平(例如，參見JP-A-2011-92690)。[0066]當采用具有上述配置的內(nèi)窺鏡裝置100觀察體腔的內(nèi)部時，內(nèi)窺鏡觀測儀器11的插入單元21插入體腔中，從而在用來自光源裝置15的脈沖照明光照亮體腔的內(nèi)部的同時通過顯示單元17觀察體腔中由圖像捕獲單元33捕獲的圖像。
[0067]處理器裝置13的CPU 81由從圖像捕獲單元33輸出的圖像捕獲信號的亮度信息控制照明光的光量。例如，在其中觀察遠離內(nèi)窺鏡末端部的對象的長距離觀察的情況中，觀察圖像在許多情況中較暗，使得要控制照明光的量增加。相反，在其中內(nèi)窺鏡末端部靠近對象以觀察放大圖像的短距離觀察的情況中，觀察圖像太亮，使得要控制照明光的量降低。
[0068]當控制照明光的量增加或降低時，處理器裝置13的CPU 81輸出指令至光源裝置15的CPU 101，以控制光源A(93)和光源B(97)所發(fā)射的光的量(驅(qū)動信號的脈沖寬度、脈沖數(shù)量或脈沖密度)。
[0069]<圖像捕獲順序>
[0070]具有這種配置的圖像捕獲單元是如上所述具有一百萬或更多個記錄像素并以HD圖像質(zhì)量獲得高清晰度圖像的圖像捕獲單元。因此，被捕獲的圖像的數(shù)據(jù)量是廣泛用于內(nèi)窺鏡的具有三十萬個像素等級的圖像捕獲單元的數(shù)據(jù)的量的四倍或更多倍。因此，在這種配置中，設置緩沖存儲器59以沒有任何問題地讀出具有來自圖像捕獲單元33的大量數(shù)據(jù)的信號。進一步，設置LVDS轉(zhuǎn)換電路61以將具有大量數(shù)據(jù)的信號傳輸至處理器裝置13。
[0071]圖5是圖示內(nèi)窺鏡裝置的驅(qū)動方法的時序圖。具有這種配置的內(nèi)窺鏡裝置100被構造以捕獲圖像并以60幀/秒的幀頻顯示圖像。在這里，將描述具有60幀/秒的幀頻的示例。
[0072]光源裝置15以每1/60秒的幀周期交替地打開圖1中圖示的光源A(93)和光源B(97)。更具體地，作為幀周期的1/60秒周期被處于二以被分成1/120秒的前半周期和1/120秒的后半周期。當將打開A光源的周期的前半周期視為周期a，后半周期視為周期b時，在前半周期a期間僅打開A光源，在后半周期b期間關閉A光源(和B光源)。類似地，B光源的打開周期被分成前半周期c和后半周期d,在前半周期c期間僅打開B光源,在后半周期d期間關閉B光源(和A光源)。如上所述由接收來自處理器裝置13的CPU 81的指令的CPU 101控制光源。
[0073]圖像捕獲單元33的所有像素在內(nèi)窺鏡觀測儀器11中被全局復位，并且隨后在周期a期間照射A光源的照明光的脈沖。通過這樣做，圖像捕獲單元33的所有像素的電荷開始通過A光源的照明光聚集。通過在周期a的結(jié)束時關閉A光源，在相同的曝光時刻處完成圖像捕獲單元33的所有像素的曝光。
[0074]接下來，類似于圖9中圖示的驅(qū)動方法，掃描線(水平像素行)的聚集電荷被順序地讀出。讀出的聚集電荷的信號被傳遞至列CDS，以便對該信號進行相關雙采樣處理，并且列AD轉(zhuǎn)換電路將該信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)。轉(zhuǎn)換后的數(shù)字數(shù)據(jù)作為幀圖像信號被臨時存儲在FIFO存儲器59中。
[0075]參照圖9，描述了在記錄像素是I百萬或更多個像素的高像素圖像捕獲單元的情況中，當圖像捕獲單元讀出圖像捕獲信號并輸出圖像捕獲信號至處理器裝置13(參見圖1)時，1/120秒作為數(shù)據(jù)傳輸時間是不夠的。采用這種配置，聚集電荷的信號作為幀圖像信號在1/120秒的周期b內(nèi)從圖像捕獲單元33輸出至FIFO存儲器59，以將幀圖像信號完全傳輸至FIFO存儲器59。[0076]通過這樣做，圖像捕獲單元33的所有像素的聚集電荷在周期c開始之前被讀出，使得圖像捕獲單元33可以在沒有任何問題的情況下進行下一次曝光。當幀圖像數(shù)據(jù)在周期b期間被傳輸至FIFO存儲器59時，幀圖像數(shù)據(jù)被簡單地存儲在FIFO存儲器59中，但未被傳輸至處理器裝置13，以便可以高速地完成所述傳輸。
[0077]接下來，LVDS轉(zhuǎn)換電路61讀出存儲在FIFO存儲器59中的幀圖像數(shù)據(jù)以將幀圖像數(shù)據(jù)轉(zhuǎn)換成低壓差分信號，并將轉(zhuǎn)換后的信號傳輸至處理器裝置13的圖像處理單元8。在這里，所傳輸?shù)膸瑘D像數(shù)據(jù)稱為“圖像A”。
[0078]在完全存儲所有幀圖像數(shù)據(jù)之前，存儲在FIFO存儲器59中的幀圖像數(shù)據(jù)開始由已經(jīng)完全存儲在LVDS中的圖像數(shù)據(jù)轉(zhuǎn)換并被傳輸至處理器裝置13。因此，在下一個幀圖像數(shù)據(jù)開始被存儲時，存 儲在FIFO存儲器59中的幀圖像數(shù)據(jù)在周期d開始時刻之前被希望地完全傳輸至處理器裝置13。
[0079]也就是說，在半導體元件53中，幀圖像信號的圖像信息被存儲在FIFO存儲器59中，并且?guī)瑘D像信號的存儲圖像信息被讀出以傳輸至處理器裝置13。圖像信息在幀周期內(nèi)被讀出。
[0080]可以在每一個曝光周期期間，即，在將被捕獲的圖像數(shù)據(jù)存儲在FIFO存儲器59中之后且在進行圖像捕獲單元33的下一次曝光之前，全局地復位所有像素。
[0081]如上所述，F(xiàn)IFO存儲器59同時記錄和讀出數(shù)據(jù)，使得沒有必要設置對應于圖像捕獲單元33的所有像素的存儲電容器。
[0082]例如，如果記錄像素是一百三十萬個像素(水平1300個像素，垂直1000個像素)，且數(shù)據(jù)量是10比特/像素，則一個幀圖像的數(shù)據(jù)量是13M比特。
[0083]如果假設在1/120秒內(nèi)被傳輸至處理器裝置13的信號的量是10M比特，則13M比特-10M比特=3M比特是不能在1/120秒內(nèi)傳輸?shù)男盘柫俊＜矗?M比特的幀圖像信號被保留在FIFO存儲器59中并且隨后在周期b之后的周期c (聚集B光源的電荷的周期)的結(jié)束時刻之前被傳輸。
[0084]IB(字節(jié))是8比特，因此3M比特是375kB。因此，在這種配置的情況中，可以設置具有375kB最小必要的存儲容量的FIFO存儲器59。也可以設置具有大于上述容量的容量的FIFO存儲器。
[0085]接下來，將描述從FIFO存儲器59讀出的幀圖像信號傳輸至處理器裝置13的傳輸速率。
[0086]由具有一百三十萬個記錄像素的圖像捕獲單元33獲得10比特/像素的被捕獲的圖像數(shù)據(jù)，使得一幀的圖像數(shù)據(jù)的大小為13M比特。圖像被以60幀/秒被傳輸至處理器裝置13，使得每條傳輸?shù)臄?shù)據(jù)量是13M比特X60 = 780M比特。
[0087]在這種配置中使用的子LVDS的通信中，從圖像捕獲單元33至處理器裝置13的數(shù)據(jù)傳輸長度長，例如，3至4m，以便采用其工作頻率是500MHz的兩個信道(2ch)。也就是說，在這種配置中，允許1.0Gbps的數(shù)據(jù)傳輸，并且可以穩(wěn)定地建立780Mbps的數(shù)據(jù)傳輸速率。
[0088]當以120幀/秒的速率傳輸圖像時，13M比特X 120 = 1560M比特，并且不能以
1.2G比特的傳輸速率進行這種傳輸。在該情況中，例如，如果工作頻率是800MHz，則可以允許這種傳輸。
[0089]如上所述，具有這種配置的光源裝置15進行間歇光控制，在所述控制中，對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間從內(nèi)窺鏡觀測儀器11發(fā)射作為照明光的脈沖光而在所述幀周期的后半周期期間關閉所述光的操作。進一步，圖像捕獲單元33通過全局快門方法被驅(qū)動，其中進行全局復位以進行曝光操作，假設幀周期的前半周期作為曝光周期，并在后半周期內(nèi)讀出曝光信號電荷以將信號電荷作為幀圖像信號輸出至安裝在內(nèi)窺鏡觀測儀器11中的緩沖存儲器59。存儲的幀圖像信號在幀周期內(nèi)被從緩沖存儲器59讀出。
[0090]圖像捕獲單元33可以通過卷簾快門方法被驅(qū)動，其中每一個像素，每條掃描線或每幾條線被偏移以被順序地復位，從而進行曝光操作。
[0091]如上所述，圖像數(shù)據(jù)被臨時存儲在緩沖存儲器中，使得即使將被傳輸?shù)臄?shù)據(jù)量巨大時，也可以在圖像捕獲單元的下一個曝光周期完成之前采用增加像素的圖像捕獲單元完成從緩沖存儲器59至處理器裝置13的傳輸。因此，不需要降低幀頻以在幀周期的后半周期內(nèi)完成所述傳輸，使得可以進行高速傳輸。
[0092]在上述實施例中，雖然1/60秒的幀周期被分成1/120秒的前半周期和1/120秒的后半周期，并且僅在前半周期期間進行曝光和電荷聚集，且在后半周期期間將數(shù)據(jù)傳輸至FIFO存儲器59，但前半周期和后半周期的劃分類型不限于此。例如，如果需要曝光量，則1/100秒可以是前半周期，1/150秒可以是后半周期。圖1的CPU 81指示CPU 101在獲得FIFO存儲器59的足夠容量之后進行這種控制。
[0093]<圖像顯示>
[0094]接下來,將描述將幀圖像數(shù)據(jù)顯示在顯示單元17上的示例。 [0095]圖6圖示照明、捕獲和圖像信號的流程。如參考圖7和8描述的那樣，當通過采用脈沖光、脈沖熱量和光照明的卷簾快門式CMOS傳感器捕獲圖像時，諸如橫條紋之類的模糊現(xiàn)象是已知的。如圖6所示，即使在1/60秒的周期內(nèi)形成所述幀，也采用其中照明和聚集時間是幀時間的前半周期且在后半周期內(nèi)及進行高速讀出的順序，以便可以獲得不依賴于照明脈沖數(shù)量和脈沖寬度的適當同步的曝光圖像，這類似于同時曝光所有像素的CCD傳感器或全局快門式CMOS傳感器。圖像輸出由圖1的圖像處理單元87變?yōu)閹瑘D像，以在1/60秒的周期內(nèi)通過顯示控制電路89顯示在顯示單元17上。在這里，從圖像捕獲時刻至顯示時刻的延遲取決于信號處理單元的處理操作，但在圖6中未被具體限定。
[0096]在圖5中圖示的控制示例中，白色光源用作A光源，且其中心光發(fā)射波長是吸收血紅蛋白的特定波長中的一種的約470nm的LD光源用作B光源。采用來自A光源的照明光獲得的對象的圖像僅在1/60秒期間被顯示在顯示單元17(參見圖1)上。通過由圖像處理單元87在兩個屏幕中操作通過A光源獲得的幀圖像和由操作B光源獲得的幀圖像獲得的運算圖像在下一個1/60秒期間被顯示。該圖像每1/30秒(=1/60秒+1/60秒)被重復顯示，使得該運算圖像與對象的由白色光形成的圖像疊加以顯示在顯示單元17上。
[0097]該元算圖像包括其中表示氧飽和度水平的圖像、其中生物體的表層的毛細管或顯微結(jié)構形狀被增強的圖像、或熒光觀察圖像。
[0098]雖然在圖5中圖示的控制示例中A光源和B光源被交替打開，但任一個光源可以用作照明光以重復地打開或關閉。
[0099]C光源被設置以準備三種類型的光源，并且C光源也可以被控制，從而以A光源_>B光源->C光源->A光源->B光源->...的順序順序地打開這三種類型的光源。[0100]例如，代替將濾色片層疊在圖像捕獲單元33的每一個像素上，紅光源、綠光源和藍光源分別用作A光源、B光源和C光源，以便可以以幀為序獲得對象的彩色圖像。
[0101]本發(fā)明不限于上述實施例，本領域技術人員可以基于本說明書的描述和已知的技術組合、改變和應用所述實施例的相應部件，這被包括在將被保護的觀測儀器中。
[0102]在上述配置中，使用形成在半導體元件中的CMOS式圖像捕獲單元，但圖像捕獲單元不限于CMOS式。圖像捕獲單元可以采用MOS晶體管電路將圖像捕獲信號讀出到外面。進一步，例如，圖像捕獲單元可以是如在JP-B-4887079中公開的光電轉(zhuǎn)換膜層疊式圖像捕獲單元。
[0103]讀出掃描線的聚集電荷的方法不限于全局快門方法或卷簾快門方法，而是聚集電荷可以臨時存儲在存儲器中且隨后被從存儲器中被順序地提取。
[0104]實施例的描述包括下述內(nèi)容:
[0105](I) 一種內(nèi)窺鏡裝置，包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，所述內(nèi)窺鏡裝置包括:光源單元，所述光源單元被構造成對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間發(fā)射照明光而在所述幀周期的后半周期期間關閉照明光的操作；緩沖存儲器，所述緩沖存儲器安裝在內(nèi)窺鏡觀測儀器中并被構造成存儲從圖像捕獲單元輸出的幀圖像信號的圖像信息；和信息傳輸單元，所述信息傳輸單元被構造成從緩沖存儲器中讀出幀圖像信號的圖像信息并將圖像信息傳輸至圖像處理單元，其中圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集 電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息。
[0106](2)在(I)的內(nèi)窺鏡裝置中，其中圖像捕獲單元通過卷簾快門方法被驅(qū)動。
[0107](3)在(I)或⑵的內(nèi)窺鏡裝置中，其中緩沖存儲器是安裝在半導體元件中或連接到所述半導體元件的存儲器，其中所述半導體元件包括所述圖像捕獲單元。
[0108](4)在(1)-(3)中任一個的內(nèi)窺鏡裝置，其中緩沖存儲器是先進先出存儲器。
[0109](5)在(1)-(4)中任一個的內(nèi)窺鏡裝置中，其中緩沖存儲器至少包括存儲電容器，通過從幀圖像信號的信號量中減去在幀周期的前半周期期間能夠被傳輸?shù)男盘柫揩@得的信號量被存儲在所述存儲電容器中。
[0110](6)在(1)-(5)中任一個的內(nèi)窺鏡裝置中，其中信息傳輸單兀將幀圖像信號轉(zhuǎn)換成低壓差分信號以將轉(zhuǎn)換后的信號傳輸至圖像處理單元。
[0111](7)在(1)-(6)中任一個的內(nèi)窺鏡裝置中，其中光源單元包括半導體激光器元件。
[0112](8)在(1)-(7)中任一個所述的內(nèi)窺鏡裝置中，其中光源單元包括發(fā)光二極管元件。
[0113](9)在(1)-(8)中任一個所述的內(nèi)窺鏡裝置中，其中光源單元包括具有不同發(fā)射顏色的多個光源，并且所述光源被交替地或順序地打開。
[0114](10)在(9)的內(nèi)窺鏡裝置中，其中光源單元針對每一個幀周期發(fā)射不同顏色的照明光，并且
[0115]圖像捕獲單元針對每一個照明光以幀順序地捕獲對象。[0116](11)在(10)的內(nèi)窺鏡裝置中，其中照明光至少包括白色光和具有比白色光窄的可見波長帶的從藍色光至近紫外光的窄波帶光。
[0117](12) 一種內(nèi)窺鏡裝置的操作方法，所述內(nèi)窺鏡裝置包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，其中光源單元對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間將照明光從內(nèi)窺鏡觀測儀器照射到對象上而在所述幀周期的后半周期期間關閉照明光的操作；圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至安裝在內(nèi)窺鏡觀測儀器中的緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息并將所述圖像信息傳輸至圖像處理單元。
[0118](13)在(12)中的操作方法中，其中圖像捕獲單元通過卷簾快門方法被驅(qū)動。
[0119]工業(yè)應用性
[0120]根據(jù)本發(fā)明的內(nèi)窺鏡裝置可以以高幀頻、高質(zhì)量地傳輸大量圖像數(shù)據(jù)，使得本發(fā)明可以應用于其中用于捕獲高清晰度圖像的圖像捕獲單元安裝在內(nèi)窺鏡觀測儀器的插入單元的末端中的內(nèi)窺鏡裝置。
【權利要求】
1.一種內(nèi)窺鏡裝置，包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，所述內(nèi)窺鏡裝置包括: 光源單元，所述光源單元被構造成對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間發(fā)射照明光而在所述幀周期的后半周期期間關閉照明光的操作； 緩沖存儲器，所述緩沖存儲器安裝在內(nèi)窺鏡觀測儀器中并被構造成存儲從圖像捕獲單元輸出的幀圖像信號的圖 像信息；和 信息傳輸單元，所述信息傳輸單元被構造成從緩沖存儲器中讀出幀圖像信號的圖像信息并將圖像信息傳輸至圖像處理單元， 其中圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至緩沖存儲器，并且信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息。
2.根據(jù)權利要求1所述的內(nèi)窺鏡裝置，其中圖像捕獲單元通過卷簾快門方法被驅(qū)動。
3.根據(jù)權利要求1或2所述的內(nèi)窺鏡裝置，其中緩沖存儲器是安裝在半導體元件中或連接到所述半導體元件的存儲器，其中所述半導體元件包括所述圖像捕獲單元。
4.根據(jù)權利要求1-3中任一項所述的內(nèi)窺鏡裝置，其中緩沖存儲器是先進先出存儲器。
5.根據(jù)權利要求1-4中任一項所述的內(nèi)窺鏡裝置，其中緩沖存儲器至少包括存儲電容器，通過從幀圖像信號的信號量中減去在幀周期的前半周期期間能夠被傳輸?shù)男盘柫揩@得的信號量被存儲在所述存儲電容器中。
6.根據(jù)權利要求1-5中任一項所述的內(nèi)窺鏡裝置，其中信息傳輸單元將幀圖像信號轉(zhuǎn)換成低壓差分信號以將轉(zhuǎn)換后的信號傳輸至圖像處理單元。
7.根據(jù)權利要求1-6中任一項所述的內(nèi)窺鏡裝置，其中光源單元包括半導體激光器元件。
8.根據(jù)權利要求1-7中任一項所述的內(nèi)窺鏡裝置，其中光源單元包括發(fā)光二極管元件。
9.根據(jù)權利要求1-8中任一項所述的內(nèi)窺鏡裝置，其中光源單元包括具有不同發(fā)射顏色的多個光源，并且所述光源被交替地或順序地打開。
10.根據(jù)權利要求9所述的內(nèi)窺鏡裝置，其中光源單元針對每一個幀周期發(fā)射不同顏色的照明光，并且 圖像捕獲單元針對每一個照明光以幀順序地捕獲對象。
11.根據(jù)權利要求10所述的內(nèi)窺鏡裝置，其中照明光至少包括白色光和具有比白色光窄的可見波長帶的從藍色光至近紫外光的窄波帶光。
12.一種內(nèi)窺鏡裝置的操作方法，所述內(nèi)窺鏡裝置包括內(nèi)窺鏡觀測儀器和處理器裝置，所述內(nèi)窺鏡觀測儀器從插入對象中的插入單元的末端照射照明光并輸出由安裝在插入單元的末端中的圖像捕獲單元捕獲的幀圖像信號，所述處理器裝置連接至內(nèi)窺鏡觀測儀器并包括對幀圖像信號進行圖像處理的圖像處理單元，其中光源單元對于每一個幀周期重復在通過將幀圖像信號的幀周期除以二獲得的前半周期期間從內(nèi)窺鏡觀測儀器將照明光照射到對象上而在所述幀周期的后半周期期間關閉照明光的操作； 圖像捕獲單元將幀周期的前半周期視為曝光周期并在后半周期內(nèi)讀出被曝光的聚集電荷的信號，以將所述信號作為幀圖像信號的圖像信息輸出至安裝在內(nèi)窺鏡觀測儀器中的緩沖存儲器，并且 信息傳輸單元在幀周期內(nèi)從緩沖存儲器中讀出幀圖像信號的圖像信息并將所述圖像信息傳輸至圖像處理單元。
13.根據(jù)權利要求 12所述的操作方法，其中圖像捕獲單元通過卷簾快門方法被驅(qū)動。
【文檔編號】A61B1/04GK103919521SQ201410012516
【公開日】2014年7月16日 申請日期:2014年1月10日 優(yōu)先權日:2013年1月10日
【發(fā)明者】村山任 申請人:富士膠片株式會社
相關技術
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評論。精彩留言會獲得點贊！
1