內(nèi)窺鏡用圖像處理裝置、內(nèi)窺鏡裝置和圖像處理方法
【專利摘要】內(nèi)窺鏡用圖像處理裝置包括圖像取得部（305）和邊界區(qū)域校正部（315）。圖像取得部（305）取得將與前方視野對應(yīng)的前方圖像和與側(cè)方視野對應(yīng)的側(cè)方圖像形成為一張取得圖像而成的圖像信號。將取得圖像中的與前方視野對應(yīng)的區(qū)域作為前方區(qū)域，將取得圖像中的與側(cè)方視野對應(yīng)的區(qū)域作為側(cè)方區(qū)域。邊界區(qū)域校正部（315）進行使前方區(qū)域的圖像和側(cè)方區(qū)域的圖像中的至少一方重疊在前方區(qū)域與側(cè)方區(qū)域的邊界的區(qū)域即邊界區(qū)域上的處理。
【專利說明】內(nèi)窺鏡用圖像處理裝置、內(nèi)窺鏡裝置和圖像處理方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及內(nèi)窺鏡用圖像處理裝置、內(nèi)窺鏡裝置和圖像處理方法等。
【背景技術(shù)】
[0002]以往，在內(nèi)窺鏡診斷中具有希望提高體腔內(nèi)的病變檢測精度的要求，開發(fā)了具有170度的廣角光學(xué)系統(tǒng)的內(nèi)窺鏡鏡體。
[0003]在上述內(nèi)窺鏡鏡體中，例如如大腸這樣的具有較大褶皺的臟器的褶皺內(nèi)側(cè)等，位于側(cè)方的靠后方的區(qū)域有時未進入視野范圍，所以，有時很難取得存在于這種區(qū)域中的病變作為圖像。
[0004]現(xiàn)有技術(shù)文獻
[0005]專利文獻
[0006]專利文獻1:日本特開2010-117665號公報
【發(fā)明內(nèi)容】

[0007]發(fā)明要解決的課題
[0008]例如，為了對褶皺里側(cè)等的位于側(cè)方的靠后方的區(qū)域進行觀察，考慮使用具備魚眼透鏡的內(nèi)窺鏡鏡體的方法，該魚眼透鏡具有180度以上(包含該值)的視場角。
[0009]但是，在該方法中，由于魚眼透鏡的光學(xué)像差(特別是畸變像差)較大，所以，成為側(cè)方視野的圖像周邊部大幅變形，很難以足夠大的尺寸對褶皺里側(cè)的病變進行觀察。
[0010]在專利文獻I中公開了同時觀察前方視野和側(cè)方視野雙方的光學(xué)系統(tǒng)。在該光學(xué)系統(tǒng)中，由于能夠減小側(cè)方視野即圖像周邊部的畸變像差，所以，例如在大腸的褶皺里側(cè)觀察中是有效的。
[0011]但是，在上述光學(xué)系統(tǒng)中，攝像圖像的中央部對應(yīng)于前方視野，該中央部周邊的環(huán)狀區(qū)域?qū)?yīng)于側(cè)方視野，但是，具有在這2個視野之間形成作為死角的邊界區(qū)域的課題。例如，當(dāng)利用上述光學(xué)系統(tǒng)觀察大腸時，可能本來沒有褶皺，但是將邊界區(qū)域誤觀察為褶皺。
[0012]根據(jù)本發(fā)明的若干個方式，能夠提供可以抑制由于邊界區(qū)域而導(dǎo)致的視覺辨認性降低的內(nèi)窺鏡用圖像處理裝置、內(nèi)窺鏡裝置和圖像處理方法等。
[0013]用于解決課題的手段
[0014]本發(fā)明的一個方式涉及一種內(nèi)窺鏡用圖像處理裝置，該內(nèi)窺鏡用圖像處理裝置包括:圖像取得部，其取得將與前方視野對應(yīng)的前方圖像和與側(cè)方視野對應(yīng)的側(cè)方圖像形成為一張取得圖像而成的圖像信號；以及邊界區(qū)域校正部`，其在將所述取得圖像中的與所述前方視野對應(yīng)的區(qū)域作為前方區(qū)域、將所述取得圖像中的與所述側(cè)方視野對應(yīng)的區(qū)域作為側(cè)方區(qū)域的情況下，進行使所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的至少一方重疊在所述前方區(qū)域與所述側(cè)方區(qū)域的邊界的區(qū)域即邊界區(qū)域上的重疊處理。
[0015]根據(jù)本發(fā)明的一個方式，取得將前方圖像和側(cè)方圖像形成為一張取得圖像的圖像信號，進行將前方區(qū)域的圖像和側(cè)方區(qū)域的圖像中的一方重疊在邊界區(qū)域上的處理。由此，能夠抑制由于邊界區(qū)域而導(dǎo)致的視覺辨認性降低。
[0016]并且，本發(fā)明的另一個方式涉及一種圖像處理方法，取得將與前方視野對應(yīng)的前方圖像和與側(cè)方視野對應(yīng)的側(cè)方圖像形成為一張取得圖像而成的圖像信號，在將所述取得圖像中的與所述前方視野對應(yīng)的區(qū)域作為前方區(qū)域、將所述取得圖像中的與所述側(cè)方視野對應(yīng)的區(qū)域作為側(cè)方區(qū)域的情況下，進行使所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的至少一方重疊在所述前方區(qū)域與所述側(cè)方區(qū)域的邊界的區(qū)域即邊界區(qū)域上的重疊處理。
【專利附圖】

【附圖說明】
[0017]圖1是內(nèi)窺鏡裝置的第I結(jié)構(gòu)例。
[0018]圖2是旋轉(zhuǎn)濾色鏡的詳細結(jié)構(gòu)例。
[0019]圖3是濾色鏡的分光透射率特性的例子。
[0020]圖4 (A)、圖4 (B)是物鏡的詳細結(jié)構(gòu)例。圖4 (C)是通過物鏡進行攝像而得到的圖像的說明圖。
[0021]圖5是圖像處理部的第I詳細結(jié)構(gòu)例。
[0022]圖6 (A)~圖6 (E)是對邊界區(qū)域進行校正的處理的說明圖。
[0023]圖7 (A)~圖7 (E)是對邊界區(qū)域進行校正的處理的說明圖。
[0024]圖8 (A)~圖8 (C)是變倍處理的說明圖。
[0025]圖9是提取邊界線的設(shè)定方法的變形例的說明圖。
[0026]圖10是內(nèi)窺鏡裝置的第2結(jié)構(gòu)例。
[0027]圖11是拜耳排列中的像素排列的示意圖。
[0028]圖12是圖像處理部的第2詳細結(jié)構(gòu)例。
[0029]圖13是提取區(qū)域設(shè)定部的詳細結(jié)構(gòu)例。
[0030]圖14 (A)~圖14 (C)是陰影校正的說明圖。
【具體實施方式】
[0031]下面，對本實施方式進行說明。另外，以下說明的本實施方式并非不合理地限定權(quán)利要求范圍所記載的本發(fā)明的內(nèi)容。并且，本實施方式中說明的全部結(jié)構(gòu)不一定是本發(fā)明的必須結(jié)構(gòu)要件。
[0032]1.本實施方式的概要
[0033]如圖4 (A)等后述的那樣，在本實施方式的內(nèi)窺鏡裝置的光學(xué)系統(tǒng)中，組合了用于觀察側(cè)方視野的反射光學(xué)系統(tǒng)和用于觀察前方視野的折射光學(xué)系統(tǒng)。在利用這種光學(xué)系統(tǒng)進行攝像而得到的圖像中，在反射光學(xué)系統(tǒng)的視野與折射光學(xué)系統(tǒng)的視野的邊界區(qū)域產(chǎn)生陰影。存在如下課題:當(dāng)在這種局部存在陰影的狀態(tài)下觀察大腸時，即使在邊界區(qū)域本來沒有褶皺的狀態(tài)下，也可能將邊界區(qū)域的陰影誤觀察為褶皺導(dǎo)致的影子。
[0034]因此，在本實施方式中，如圖6 (A)~圖7 (E)等說明的那樣，進行放大與前方視野對應(yīng)的區(qū)域FR或與側(cè)方視野對應(yīng)的區(qū)域SR的處理，將該放大后的區(qū)域重疊在前方視野與側(cè)方視野的邊界區(qū)域上。由此，能夠從顯示圖像上消除光學(xué)系統(tǒng)導(dǎo)致的陰影，所以，能夠防止將邊界區(qū)域誤識別為大腸褶皺導(dǎo)致的影子，能夠?qū)崿F(xiàn)視覺辨認性較高的寬視野的內(nèi)窺鏡裝置。[0035]2.第I實施方式
[0036]2.1.內(nèi)窺鏡裝置
[0037]圖1示出內(nèi)窺鏡裝置的第I結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、攝像部200、控制裝置300 (處理器部)、顯示部400、外部I/F部500。
[0038]光源部100包括白色光源101、具有多個分光透射率的旋轉(zhuǎn)濾色鏡102、驅(qū)動旋轉(zhuǎn)濾色鏡102的旋轉(zhuǎn)驅(qū)動部103、使來自旋轉(zhuǎn)濾色鏡102的具有分光特性的光會聚到光導(dǎo)纖維201的入射端面的會聚透鏡104。
[0039]如圖2所示，旋轉(zhuǎn)濾色鏡102例如由三原色的紅色(R)的濾色鏡601、綠色(G)的濾色鏡602、藍色(B)的濾色鏡603、旋轉(zhuǎn)馬達803構(gòu)成。圖3示出這3個濾色鏡的分光特性。
[0040]旋轉(zhuǎn)驅(qū)動部103根據(jù)來自控制裝置300的控制部302的控制信號，與攝像元件209的攝像期間同步地使旋轉(zhuǎn)濾色鏡102以規(guī)定的轉(zhuǎn)速旋轉(zhuǎn)。例如，當(dāng)使濾色鏡在I秒內(nèi)旋轉(zhuǎn)20圈時，各濾色鏡以六十分之一秒的間隔對入射白色光進行橫切。該情況下，攝像元件209以六十分之一秒的間隔對3原色的各色光(R或G或B)的來自觀察對象的反射光進行攝像，完成圖像的轉(zhuǎn)送。即，在本實施方式中，進行以六十分之一秒的間隔對R圖像、G圖像、B圖像進行攝像的面順次方式的攝像，實質(zhì)的幀率為20fps (fps:frame per second)。
[0041]攝像部200形成為細長且能夠彎曲，使得例如能夠插入到大腸等體腔內(nèi)。攝像部200包括用于引導(dǎo)由光源部100會聚的光的光導(dǎo)纖維201、以及使由光導(dǎo)纖維201引導(dǎo)至前端的光擴散并對觀察對象進行照射的照明透鏡202、204。并且，攝像部200包括使從觀察對象返回的反射光會聚的物鏡203、用于檢測會聚后的成像光的攝像元件209、以及將來自攝像元件209的光電轉(zhuǎn)換后的模擬信號轉(zhuǎn)換為數(shù)字信號的A/D轉(zhuǎn)換部210。并且，攝像部200包括存儲器211、以及用于能夠相對于控制裝置300拆裝攝像部200的連接器212。
[0042]存儲器211記錄后述前方視野圖像和側(cè)方視野圖像的提取邊界線信息、前方視野圖像和側(cè)方視野圖像的顯示倍率信息、與攝像部200固有的制造偏差有關(guān)的固有信息。
[0043]攝像元件209是單色單板攝像元件，例如可以利用CXD或CMOS圖像傳感器等。
[0044]如后所述，物鏡203由通過前方觀察光學(xué)系統(tǒng)和側(cè)方觀察光學(xué)系統(tǒng)的組合而具有180度以上(包含該值)的視野角的光學(xué)系統(tǒng)構(gòu)成，例如能夠?qū)ξ挥诖竽c的褶皺里側(cè)的病變部10進行觀察。
[0045]照明透鏡202、204相對于物鏡203的光軸朝向外側(cè)配置，使得能夠均勻地對物鏡203的視野角內(nèi)的觀察對象進行照明。在本實施方式中，將數(shù)千條的光導(dǎo)纖維201分割為2個部分，但是，也可以分割為更多部分并將對應(yīng)的照明透鏡配置在內(nèi)窺鏡鏡體前端。由此，能夠更加均勻地對寬視野角的區(qū)域進行照明。并且，作為照明，也可以將LED或有機EL等多個發(fā)光元件配置在內(nèi)窺鏡鏡體前端。
[0046]控制裝置300包括進行 校正前方視野圖像與側(cè)方視野圖像的邊界區(qū)域的處理的圖像處理部301、以及進行內(nèi)窺鏡裝置各部的控制的控制部302。
[0047]顯示部400例如由CRT或液晶監(jiān)視器等能夠進行動態(tài)圖像顯示的顯示裝置構(gòu)成。
[0048]外部I/F部500是用于供用戶對該內(nèi)窺鏡裝置進行輸入等的接口。例如，外部I/F部500包括用于進行電源的接通/斷開的電源開關(guān)、用于開始進行拍攝操作的快門按鈕、用于切換拍攝模式和其他各種模式的模式切換開關(guān)(例如用于手動切換前方視野圖像和側(cè)方視野圖像的顯示面積比率的開關(guān))等。外部I/F部500將所輸入的信息輸出到控制部302。
[0049]2.2.物鏡
[0050]圖4 (A)示出對前方視野和側(cè)方視野進行觀察的物鏡的詳細結(jié)構(gòu)例。如圖4 (A)所示，來自前方視野的光入射到透鏡20的前表面，來自側(cè)方視野的光入射到透鏡20的側(cè)面。來自前方視野的光透射過透鏡20的透射部21 (折射部)并被引導(dǎo)至攝像元件209。來自側(cè)方視野的光被透鏡20的反射部26、22反射而被引導(dǎo)至攝像部200。
[0051]如圖4 (B)所示，在從光軸Z前方側(cè)觀察透鏡20的情況下，透鏡20由透射來自前方視野的光的透射部21 (透射區(qū)域)和反射來自側(cè)方視野的光線的反射部22 (反射區(qū)域)構(gòu)成。在這種光學(xué)系統(tǒng)中，在反射部22與透射部21的邊界區(qū)域中，來自前方視野的被攝體的反射光的一部分被遮擋。因此，如圖4 (C)所示，在攝像元件上成像的前方視野圖像23與側(cè)方視野圖像24的邊界區(qū)域中產(chǎn)生陰影。由于該陰影，邊界區(qū)域成為黑色帶狀的圓環(huán)區(qū)域25。
[0052]這里，前方視野是包含光軸方向的前方的視野范圍，例如相對于光軸為O度~70度的范圍。側(cè)方視野是包含與光軸正交的方向的側(cè)方的視野范圍，例如相對于光軸為70度~135度的范圍。本實施方式的物鏡203例如相對于光軸具有O度~110度的視野范圍。
[0053]并且，陰影是圖像上的陰影，在圖像上由于光學(xué)系統(tǒng)而比其他區(qū)域暗(例如亮度較小)。例如，如圖4 (A)所示，在前方視野與側(cè)方視野之間產(chǎn)生由于透鏡20而引起的死角，與該死角對應(yīng)的圖像上的影子成為陰影?；蛘撸干溥^透射部21的前方視野的光由于光學(xué)系統(tǒng)的遮光等而產(chǎn)生周邊減光，該周邊減光成為陰影。
[0054]2.3.圖像處理部
[0055]圖5示出圖像處理部301的第I詳細結(jié)構(gòu)例。圖像處理部301包括圖像取得部305、輸出圖像生成部310、邊界區(qū)域校正部315、邊界線描繪部360。邊界區(qū)域校正部315包括區(qū)域提取部320、變倍處理部325、合成部350。變倍處理部325包括第I區(qū)域倍率校正部330、第2區(qū)域倍率校正部340。
[0056]對各結(jié)構(gòu)部間的連接關(guān)系和數(shù)據(jù)流進行說明。從A/D轉(zhuǎn)換部210輸出的攝像圖像被輸入到圖像取得部305?？刂撇?02與圖像取得部305、輸出圖像生成部310、區(qū)域提取部320、第I區(qū)域倍率校正部330、第2區(qū)域倍率校正部340、邊界線描繪部360連接。對控制部302輸入存儲器211中記錄的攝像部200固有的信息(前方視野圖像和側(cè)方視野圖像的提取邊界信息、前方視野圖像和側(cè)方視野圖像的顯示倍率信息)。
[0057]圖像取得部305取得對前方視野和側(cè)方視野進行攝像而得到的一張圖像，將所取得的圖像輸出到輸出圖像生成部310。具體而言，使用上述透鏡20同時對前方視野和側(cè)方視野進行攝像而得到一張圖像，圖像取得部305取得這一張圖像。另外，也可以不是同時對前方視野和側(cè)方視野進行攝像。例如，也可以通過不同的攝像動作依次對前方視野和側(cè)方視野進行攝像，圖像取得部305對分別進行攝像而得到的前方視野圖像和側(cè)方視野圖像進行合成，作為一張圖像取得。
[0058]輸出圖像生成部310根據(jù)從控制部302輸出的輸出圖像生成參數(shù)(例如OB鉗位、白平衡、Y轉(zhuǎn)換表、強調(diào)系數(shù)、放大倍率等)將所輸入的攝像圖像轉(zhuǎn)換為能夠顯示在顯示監(jiān)視器上的圖像形式，將轉(zhuǎn)換后的圖像作為輸出圖像輸出到區(qū)域提取部320。
[0059]邊界區(qū)域校正部315進行如下處理:使前方視野圖像和側(cè)方視野圖像中的至少一方重疊在前方視野圖像與側(cè)方視野圖像的邊界區(qū)域上，進行校正以縮小邊界區(qū)域。經(jīng)由控制部302對區(qū)域提取部320輸入存儲器211中記錄的針對前方視野圖像和側(cè)方視野圖像的提取邊界線信息。區(qū)域提取部320從輸出圖像中提取出的前方視野圖像被輸入到第I區(qū)域倍率校正部330。區(qū)域提取部320從輸出圖像中提取出的側(cè)方視野圖像被輸入到第2區(qū)域倍率校正部340。
[0060]第I區(qū)域倍率校正部330根據(jù)從控制部302輸出的倍率信息對所輸入的前方視野圖像進行變倍處理，將變倍處理后的前方視野圖像輸出到合成部350。作為針對前方視野圖像的變倍處理，適當(dāng)進行基于倍率信息的放大處理、等倍處理(倍率無變化)、縮小處理中的任意一方。優(yōu)選沿著以前方視野圖像的中心為基準(zhǔn)時的徑向進行該變倍處理。
[0061]第2區(qū)域倍率校正部340根據(jù)從控制部302輸出的倍率信息對所輸入的側(cè)方視野圖像進行變倍處理，將變倍處理后的側(cè)方視野圖像輸出到合成部350。作為針對側(cè)方視野圖像的變倍處理，適當(dāng)進行基于倍率信息的放大處理、等倍處理(倍率無變化)、縮小處理中的任意一方O
[0062]合成部350以使從第I區(qū)域倍率校正部330輸出的變倍處理后的前方視野圖像和從第2區(qū)域倍率校正部340輸出的變倍處理后的側(cè)方視野圖像在邊界區(qū)域重疊的方式生成合成圖像，將合成圖像輸出到邊界線描繪部360。關(guān)于重疊的方法，存在將變倍后的前方視野圖像重疊在變倍后的側(cè)方視野圖像上的方法、將變倍后的側(cè)方視野圖像重疊在變倍后的前方視野圖像上的方法。并且，也可以在邊界區(qū)域的前方視野圖像側(cè)的區(qū)域中將變倍后的前方視野圖像重疊在變倍 后的側(cè)方視野圖像上，并且，在邊界區(qū)域的側(cè)方視野圖像側(cè)的區(qū)域中將變倍后的側(cè)方視野圖像重疊在變倍后的前方視野圖像上。
[0063]邊界線描繪部360針對從合成部350輸出的合成圖像，根據(jù)來自控制部302的前方視野圖像和側(cè)方視野圖像的重疊邊界位置信息描繪規(guī)定顏色的邊界線，將描繪后的圖像輸出到顯示部400。規(guī)定顏色例如是黑色等固定顏色或作為與周邊顏色相反顏色的顏色等。所描繪的邊界線只要是能夠識別合成后的前方視野圖像與側(cè)方視野圖像的邊界的方式即可，例如是實線、虛線或其他方式的線。
[0064]接著，使用圖6 (A)~圖6 (E)所示的示意圖，對使用前方視野圖像校正前方視野圖像與側(cè)方視野圖像的邊界區(qū)域的處理進行說明。
[0065]圖6 (A)示出從輸出圖像生成部310輸出的輸出圖像。輸出圖像包含前方視野圖像FR、側(cè)方視野圖像SR、邊界區(qū)域BR。LI表示用于提取前方視野圖像FR的提取邊界線。CP表示前方視野圖像FR的中心位置。
[0066]如圖6 (B)所示，根據(jù)來自控制部302的提取邊界線LI，區(qū)域提取部320提取前方視野圖像FR。第I區(qū)域倍率校正部330以來自控制部302的中心位置CP為基準(zhǔn)，根據(jù)來自控制部302的倍率信息，在徑向上對提取出的前方視野圖像FR進行放大處理。
[0067]如圖6(C)所示，合成部350將從第I區(qū)域倍率校正部330輸出的放大后的前方視野圖像FR’重疊在從第2區(qū)域倍率校正部340輸出的側(cè)方視野圖像SR (例如倍率無變化)上。通過重疊而合成的圖像作為合成圖像進行輸出。
[0068]如圖6 (D)所示，邊界線描繪部360在從合成部350輸出的合成圖像的重疊邊界部描繪邊界線WL。描繪后的圖像作為能夠更加明確地識別前方視野圖像和側(cè)方視野圖像的已描繪邊界線的合成圖像進行輸出。重疊邊界部例如是重疊的前方視野圖像FR’的外緣。[0069]另外，如圖6 (E)所示，上述前方視野圖像FR (前方區(qū)域的圖像)表示根據(jù)提取邊界線LI (第I邊界線)提取出的圖像，側(cè)方視野圖像SR表示通過側(cè)方觀察光學(xué)系統(tǒng)(圖4(A)的反射部22、26)進行攝像而得到的圖像。并且，邊界區(qū)域BR表示由于光學(xué)系統(tǒng)的死角或周邊減光而產(chǎn)生的陰影區(qū)域。
[0070]接著，使用圖7 (A)~圖7 (E)所示的示意圖，對使用側(cè)方視野圖像來校正前方視野圖像與側(cè)方視野圖像的邊界區(qū)域的校正處理進行說明。
[0071]如圖7 (A)所示，L2表示用于提取側(cè)方視野圖像SR的提取邊界線。SRP表示側(cè)方視野SR的外周。
[0072]如圖7 (B)所示，根據(jù)來自控制部302的提取邊界線L2，區(qū)域提取部320提取側(cè)方視野圖像SR。第2區(qū)域倍率校正部340以來自控制部302的信息即外周SRP為基準(zhǔn)，根據(jù)來自控制部302的倍率信息，朝向中心位置CP在徑向上對提取出的側(cè)方視野圖像SR進行放大處理。
[0073]如圖7(C)所示，合成部350將從第2區(qū)域倍率校正部340輸出的放大后的側(cè)方視野圖像SR’重疊在從第I區(qū)域倍率校正部330輸出的前方視野圖像FR (例如倍率無變化)上。通過重疊而合成的圖像作為合成圖像進行輸出。
[0074]如圖7 (D)所示，邊界線描繪部360在從合成部350輸出的合成圖像的重疊邊界部描繪邊界線WL。描繪后的圖像作為能夠更加明確地識別前方視野圖像和側(cè)方視野圖像的已描繪邊界線的合成圖像進行輸出。重疊邊界部例如是重疊的側(cè)方視野圖像SR’的內(nèi)緣。
[0075]另外，如圖7(E)所示，上述前方視野圖像FR表示通過前方觀察光學(xué)系統(tǒng)(圖4(A)的透射部21)進行攝像而得到的圖像，側(cè)方視野圖像SR (側(cè)方區(qū)域的圖像)表示根據(jù)提取邊界線L2 (第2邊界線)提取出的圖像。
[0076]這里，例如通過拍攝灰色標(biāo)卡等均勻的色卡來設(shè)定上述前方視野圖像的提取邊界線LI和側(cè)方視野圖像的提取邊界線L2`。具體而言，在拍攝色卡而得到的圖像中，設(shè)定屬于前方視野圖像的第I圓和屬于側(cè)方視野圖像的第2圓。第1、第2圓是共用中心的圓。在與這2個圓的圓周上的各最近點對應(yīng)的2個像素的像素值差的絕對值為規(guī)定值以內(nèi)的情況下，設(shè)定第1、第2圓的半徑差最小的第1、第2圓作為提取邊界線L1、L2。這樣，在重疊時，由于能夠使重疊邊界部中像素值的差小于規(guī)定值，所以，能夠顯示在觀察眼中沒有不舒適感的圖像。
[0077]另外，在上述中，對前方視野圖像或側(cè)方視野圖像的一方進行變倍處理，但是，在本實施方式中不限于此，也可以通過對前方視野圖像和側(cè)方視野圖像雙方進行變倍處理并進行合成，從而對邊界區(qū)域進行校正。
[0078]接著，使用圖8 (A)~圖8 (C)說明變倍處理部325進行的變倍處理。
[0079]如圖8 (A)所示，在放大前方視野圖像和側(cè)方視野圖像雙方來校正邊界區(qū)域的情況下，基于變倍處理的變位量在前方視野圖像中為正，在側(cè)方視野圖像中為負。
[0080]在圖8 (A)中，曲線圖的橫軸表示與前方視野圖像和側(cè)方視野圖像的中心(中心位置在2個視野圖像中相同)之間的距離，曲線圖的縱軸表示累計變位量。前方視野圖像中的累計變位量的起點是前方視野圖像的中心，側(cè)方視野圖像中的累計變位量的起點是側(cè)方視野圖像的外周。FL表示針對前方視野圖像的變位量的特性線，SL表示針對側(cè)方視野圖像的變位量的特性線。Dl表示從前方視野圖像的中心到提取邊界線的距離，D2表示從側(cè)方視野圖像的中心到提取邊界線的距離，D3表示從中心到側(cè)方視野圖像的外周的距離。
[0081]如圖8 (B)所示，在放大前方視野圖像、縮小側(cè)方視野圖像來校正邊界區(qū)域的情況下，基于變倍處理的變位量在前方視野圖像和側(cè)方視野圖像中為正。
[0082]如圖8 (C)所示，在縮小前方視野圖像、放大側(cè)方視野圖像來校正邊界區(qū)域的情況下，基于變倍處理的變位量在前方視野圖像和側(cè)方視野圖像中為負。
[0083]上述3個例子的變倍率和變位量的關(guān)系式如下所述。下式(I)示出相對于與中心之間的距離r的前方視野圖像的變倍率Vf Cr)的一例。
[0084]Vf 0-)=α&4+β&2+% (I)[0085]下式(2)示出前方視野圖像的變位量Df (r)。最大變位量即距離Dl的變位量為Df (Dl)0這里，f Q —r表示區(qū)間[0，r]的積分。
[0086]Df (r) = f。—rVf (x) xdx (2)
[0087]下式(3)示出相對于與中心之間的距離r的側(cè)方視野圖像的變倍率Vs Cr)的一例。
[0088]Vs (r) = a sr4+ β sr2+ y s (3)
[0089]下式(4)示出側(cè)方視野圖像的變位量Ds (r)。最大變位量即距離D2的變位量為Ds (D2)。這里，f D3 — r表示區(qū)間[D3，r]的積分。
[0090]Ds (r) = / D3^rVs (X) xdx (4)
[0091]前方視野圖像的最大變位量Df (Dl)和側(cè)方視野圖像的最大變位量Ds (D2)滿足下式(5)的關(guān)系。
[0092]Dl+Df (Dl) ^ D2+Ds (D2) (5)
[0093]例如，通過外部Ι/F部500的開關(guān)操作進行觀察模式的變更，通過變更上述變倍率參數(shù)a f、β f、Y f、a s、β s、Y s，能夠?qū)吔鐓^(qū)域進行校正，并且自由地變更前方視野圖像和側(cè)方視野圖像的全體和局部的顯示比率。由此，能夠自由地放大顯示希望觀察的病變部。
[0094]根據(jù)以上的實施方式，能夠防止將前方視野圖像與側(cè)方視野圖像的邊界區(qū)域誤識別為褶皺的影子，能夠自由地變更前方視野圖像和側(cè)方視野圖像的顯示倍率。由此，有助于提高病變部的發(fā)現(xiàn)率。
[0095]另外，在上述變倍率乂{ (r)、Vs (r)中，系數(shù)a f、β f、a s、β s也可以是零。該情況下，不依賴于與中心之間的距離r，能夠以固定的變倍率Yf、Y 3進行放大縮小。
[0096]并且，如圖9所示，也可以確保余量區(qū)域MR1、MR2來設(shè)定提取邊界線L1、L2。MRl是邊界區(qū)域BR與提取邊界線LI之間的余量區(qū)域，MR2是邊界區(qū)域BR與提取邊界線L2之間的余量區(qū)域。邊界區(qū)域BR是在光學(xué)設(shè)計上確定為不適于觀察的視野角的區(qū)域，相對于該邊界區(qū)域BR，考慮統(tǒng)計上的制造偏差，確保充分的余量區(qū)域MR1、MR2。這樣，由于可以不用準(zhǔn)備用于存儲單獨的攝像部200固有的提取邊界線L1、L2的存儲器211，所以能夠?qū)崿F(xiàn)攝像部200的成本降低。
[0097]根據(jù)以上的實施方式，如圖5所示，內(nèi)窺鏡用圖像處理裝置包括圖像取得部305和邊界區(qū)域校正部315。如圖4中說明的那樣，圖像取得部305取得將與前方視野對應(yīng)的前方圖像(前方視野圖像23)和與側(cè)方視野對應(yīng)的側(cè)方圖像(側(cè)方視野圖像24)形成為一張取得圖像的圖像信號。如圖6 (A)~圖7 (D)中說明的那樣，邊界區(qū)域校正部315在將取得圖像中的與前方視野對應(yīng)的區(qū)域作為前方區(qū)域、將取得圖像中的與側(cè)方視野對應(yīng)的區(qū)域作為側(cè)方區(qū)域的情況下，進行使前方區(qū)域的圖像FR和側(cè)方區(qū)域的圖像SR中的至少一方重疊在前方區(qū)域與側(cè)方區(qū)域的邊界的區(qū)域即邊界區(qū)域BR上的重疊處理。
[0098]這樣，能夠抑制由于邊界區(qū)域BR而導(dǎo)致的視覺辨認性降低。即，通過對邊界區(qū)域BR進行校正，能夠消除邊界區(qū)域BR的陰影，所以，能夠防止將該陰影誤識別為褶皺的影子。并且，由于能夠從顯示上刪除不需要診斷的區(qū)域，所以，能夠提高病變判定的效率。
[0099]這里，重疊處理是指相對于圖像的規(guī)定區(qū)域(在本實施方式中為邊界區(qū)域)從上面重合與該規(guī)定區(qū)域不同的圖像。例如，在存儲了圖像的圖像存儲器中，通過在與圖像的規(guī)定區(qū)域?qū)?yīng)的存儲器區(qū)域上覆蓋其他圖像(在本實施方式中為變倍后的圖像)的數(shù)據(jù)，進行重疊處理。或者，從圖像中刪除規(guī)定區(qū)域，通過將該圖像和其他圖像合成為I個圖像，進行重疊處理。
[0100]并且，邊界區(qū)域是存在于前方區(qū)域與側(cè)方區(qū)域之間的陰影區(qū)域，例如，在本實施方式中，如后所述，是由于前方觀察光學(xué)系統(tǒng)與側(cè)方觀察光學(xué)系統(tǒng)之間的死角或前方觀察光學(xué)系統(tǒng)的周邊減光而產(chǎn)生的區(qū)域?；蛘?，如圖5中說明的那樣，也可以以時間序列對前方視野和側(cè)方視野進行攝像，該情況下，邊界區(qū)域是在對前方圖像和側(cè)方圖像進行合成后的一張圖像中由于攝像光學(xué)系統(tǒng)或合成處理等而產(chǎn)生的陰影區(qū)域。
[0101]并且，在本實施方式中，如圖5所示，邊界區(qū)域校正部315包括變倍處理部325和合成部350。變倍處理部325進行變更前方區(qū)域的圖像FR和側(cè)方區(qū)域的圖像SR中的至少一方的顯示倍率的變倍處理。合成部350通過對變倍處理后的前方區(qū)域的圖像和側(cè)方區(qū)域的圖像進行合成，進行重疊處理。
[0102]更具體而言，邊界區(qū)域校正部315具有區(qū)域提取部320。如圖6 (A)~圖7 (E)中說明的那樣，區(qū)域提取部320從取得圖像中提取前方區(qū)域的圖像FR和側(cè)方區(qū)域的圖像SR中的一方作為變倍處理的對象圖像。變倍處理部325進行放大該對象圖像的變倍處理。合成部350對放大后的對象區(qū)域(FR’或SR’)與前方區(qū)域和側(cè)方區(qū)域中的另一方(SR或FR)進行合成。
`[0103]例如，如圖6 (A)或圖7 (B)中說明的那樣，變倍處理部325進行沿著以前方視野圖像FR的中心CP為基準(zhǔn)時的徑向放大對象圖像的處理作為變倍處理。這里，沿著徑向的放大處理可以是如圖6 (B)所示在遠離中心CP的方向上放大對象圖像的處理，也可以是如圖7 (B)所示在接近中心CP的方向上放大對象圖像的處理。或者,也可以是在接近中心CP的方向上放大對象圖像的中心CP側(cè)、在遠離中心CP的方向上放大對象圖像的外側(cè)的處理。
[0104]這樣，通過放大前方區(qū)域的圖像FR和側(cè)方區(qū)域的圖像SR中的一方并與另一方進行合成，能夠?qū)吔鐓^(qū)域BR進行重疊處理。由于僅對一方進行變倍處理，所以能夠節(jié)約圖像存儲器等硬件。
[0105]并且，在本實施方式中，如圖8 (A)~圖8 (C)中說明的那樣，變倍處理部325也可以進行放大前方區(qū)域的圖像FR和側(cè)方區(qū)域的圖像SR中的一方的變倍處理，進行縮小前方區(qū)域的圖像FR和側(cè)方區(qū)域的圖像SR中的另一方的變倍處理。合成部350也可以對變倍處理后的前方區(qū)域的圖像和側(cè)方區(qū)域的圖像進行合成。
[0106]這樣，通過放大前方區(qū)域的圖像FR和側(cè)方區(qū)域的圖像SR中的一方、縮小另一方并進行合成，能夠?qū)吔鐓^(qū)域BR進行重疊處理。由于能夠自由地放大縮小前方區(qū)域的圖像FR和側(cè)方區(qū)域的圖像SR，所以能夠自由地放大顯示觀察區(qū)域。例如，在要觀察視野中央部的病變部的情況下，能夠放大前方區(qū)域的圖像FR，當(dāng)要在屏幕中觀察視野側(cè)方的褶皺里側(cè)的情況下，能夠放大側(cè)方視野的圖像SR。
[0107]并且，在本實施方式中，如圖5所示，內(nèi)窺鏡用圖像處理裝置包括邊界線描繪部360。如圖6 (D)等中說明的那樣，邊界線描繪部360描繪用于能夠識別合成后的前方區(qū)域的圖像與側(cè)方區(qū)域的圖像的邊界的邊界線WL。
[0108]這樣，能夠明確地顯示前方區(qū)域的圖像與側(cè)方區(qū)域的圖像的邊界。即，如圖4(A)等中說明的那樣，由于光學(xué)系統(tǒng)而產(chǎn)生死角，通過重疊處理遮擋與該死角對應(yīng)的邊界區(qū)域BR，所以，合成后的前方區(qū)域的圖像與側(cè)方區(qū)域的圖像的邊界成為不連續(xù)的圖像。例如當(dāng)鉗子等位于邊界時，可能在視覺上帶來不舒適感，所以，通過描繪邊界線，能夠減輕該不舒適感。
[0109]并且，在本實施方式中，如圖4 (A)~圖4 (C)中說明的那樣，邊界區(qū)域是基于用于對前方視野和側(cè)方視野進行攝像的光學(xué)系統(tǒng)(透鏡20)中的光學(xué)設(shè)計值的規(guī)定視野角的環(huán)狀區(qū)域25。如圖9中說明的那樣，邊界區(qū)域BR與前方區(qū)域之間的邊界線即第I邊界線LI設(shè)定在比環(huán)狀區(qū)域BR靠內(nèi)側(cè)。邊界區(qū)域BR與側(cè)方區(qū)域之間的邊界線即第2邊界線L2設(shè)定在比環(huán)狀區(qū)域BR靠外側(cè)。
[0110]這樣，能夠提取比邊界區(qū)域BR靠內(nèi)側(cè)的前方區(qū)域和比邊界區(qū)域BR靠外側(cè)的側(cè)方區(qū)域，能夠提取除了邊界區(qū)域BR以外的區(qū)域。
[0111]并且，在本實施方式中，對規(guī)定視野角的環(huán)狀區(qū)域BR附加(加上)與統(tǒng)計上的制造偏差對應(yīng)的余量區(qū)域MRl、MR2，來設(shè)定第I邊界線LI和第2邊界線L2。
[0112]這樣，由于不需要設(shè)定考慮了制造偏差的各個鏡體中的邊界線L1、L2，所以，能夠使用共同的邊界線L1、L2。由此，例如不需要在各個鏡體中進行邊界線的設(shè)定作業(yè)。
[0113]并且，在本實施方式中，如圖4 (A)等中說明的那樣，內(nèi)窺鏡裝置包括用于對前方視野進行攝像的前方觀察光學(xué) 系統(tǒng)(透鏡20的透射部21)、以及用于對側(cè)方視野進行攝像的側(cè)方觀察光學(xué)系統(tǒng)(透鏡20的反射部22、26)。并且，如圖1所示，內(nèi)窺鏡裝置包括同時對前方視野和側(cè)方視野進行攝像的攝像元件209。
[0114]這樣，能夠同時對前方視野和側(cè)方視野進行攝像并得到I個圖像。另外，在本實施方式中，不限于上述光學(xué)系統(tǒng)，例如也可以通過前方視野用的光學(xué)系統(tǒng)和側(cè)方視野用的光學(xué)系統(tǒng)并不獨立的光學(xué)系統(tǒng)，以時間序列對前方視野和側(cè)方視野進行攝像。該情況下，如圖5中上述的那樣，通過對以時間序列進行攝像而得到的圖像進行合成，也可以作為I個圖像。
[0115]并且，在本實施方式中，如圖4 (A)等中說明的那樣，邊界區(qū)域包括與前方觀察光學(xué)系統(tǒng)得到的前方視野和側(cè)方觀察光學(xué)系統(tǒng)得到的側(cè)方視野之間的死角對應(yīng)的區(qū)域。并且，邊界區(qū)域也可以包括通過前方觀察光學(xué)系統(tǒng)的周邊減光而產(chǎn)生陰影的區(qū)域的至少一部分。例如，在對上述灰色標(biāo)卡進行攝像的狀態(tài)下，比規(guī)定亮度暗的周邊減光區(qū)域包含在邊界區(qū)域中。
[0116]3.第2實施方式
[0117]3.1.內(nèi)窺鏡裝置
[0118]圖10示出內(nèi)窺鏡裝置的第2結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、攝像部200、控制裝置300 (處理器部)、顯示部400、外部Ι/F部500。主要對與圖1中上述的第I結(jié)構(gòu)例不同的結(jié)構(gòu)要素進行說明，適當(dāng)省略相同的結(jié)構(gòu)要素的說明。[0119]光源部100包括白色光源101和使光會聚到光導(dǎo)纖維201的入射端面的會聚透鏡104。在第2結(jié)構(gòu)例中，不存在旋轉(zhuǎn)濾色鏡。
[0120]在攝像部200中，在第2結(jié)構(gòu)例中，使用原色單板攝像元件作為攝像元件209。原色單板攝像元件是所謂的拜耳(Bayer)排列的攝像元件，可以利用CCD或CMOS圖像傳感器。
[0121]3.2.圖像處理部
[0122]圖12示出圖像處理部301的第2詳細結(jié)構(gòu)例。圖像處理部301包括圖像取得部905、預(yù)處理部910、邊界區(qū)域校正部915、后處理部990、邊界線描繪部995。邊界區(qū)域校正部915包括提取區(qū)域設(shè)定部920、區(qū)域提取部940、陰影校正部950、變倍處理部955、合成部980。變倍處理部955包括校正量控制部930、第I區(qū)域倍率校正部960、第2區(qū)域倍率校正部 970。
[0123]對各結(jié)構(gòu)部間的連接關(guān)系和數(shù)據(jù)流進行說明。從A/D轉(zhuǎn)換部210輸出的攝像圖像被輸入到圖像取得部905。圖像取得部905取得的圖像被輸入到預(yù)處理部910?？刂撇?02以雙方能夠通信的狀態(tài)與圖像取得部905、預(yù)處理部910、提取區(qū)域設(shè)定部920、校正量控制部930、后處理部990、邊界線描繪部995連接。控制部302進行存儲器211中記錄的攝像部200固有的信息(前方視野圖像和側(cè)方視野圖像的提取邊界信息、前方視野圖像和側(cè)方視野圖像的顯示倍率信息)的讀入、以及存儲器211中記錄的信息的更新。
[0124]預(yù)處理部910根據(jù)從控制部302輸出的輸出圖像生成參數(shù)(例如OB鉗位、白平衡)對所輸入的攝像圖像進行校正，將校正后的攝像圖像輸出到提取區(qū)域設(shè)定部920和區(qū)域提取部940。
[0125]在來自控制部302 的提取區(qū)域設(shè)定信號“有效(0N)”的情況下，提取區(qū)域設(shè)定部920進行提取區(qū)域設(shè)定處理，將所設(shè)定的提取區(qū)域信息輸出到校正量控制部930、控制部302、區(qū)域提取部940。并且，提取區(qū)域設(shè)定部920將所設(shè)定的陰影校正系數(shù)輸出到陰影校正部950。如第I實施方式中說明的那樣，提取區(qū)域信息是前方視野圖像和側(cè)方視野圖像的中心位置的信息、前方視野圖像的提取邊界線的信息、側(cè)方視野圖像的提取邊界線的信息、側(cè)方視野圖像的外周的信息。例如，提取區(qū)域信息是中心位置CP (例如圖6 (A))的坐標(biāo)、以該中心位置CP為原點的極坐標(biāo)形式中與中心位置CP之間的距離Dl、D2、D3 (例如圖8(A))。該提取區(qū)域設(shè)定處理在后面詳細敘述。
[0126]例如，提取區(qū)域設(shè)定信號通過外部Ι/F部500的開關(guān)來進行接通/斷開控制。例如，在用戶通過外部Ι/F部500的開關(guān)選擇了白平衡系數(shù)計算模式的情況下，與該模式聯(lián)動地使提取區(qū)域設(shè)定信號“有效”，在通常的診察時，提取區(qū)域設(shè)定信號為“無效(OFF)”。
[0127]校正量控制部930與提取區(qū)域設(shè)定部920同樣，根據(jù)來自控制部302的觀察模式切換信號進行校正量控制。校正量控制部930根據(jù)從提取區(qū)域設(shè)定部920輸入的提取區(qū)域信息設(shè)定前方視野圖像的倍率校正信息和側(cè)方視野圖像的倍率校正信息，將前方視野圖像的倍率校正信息輸出到第I區(qū)域倍率校正部960，將側(cè)方視野圖像的倍率校正信息輸出到第2區(qū)域倍率校正部970。例如，根據(jù)第I實施方式中說明的上式(1)、(3)的多項式的系數(shù)值，給出倍率校正信息。
[0128]對區(qū)域提取部940輸入從預(yù)處理部910輸出的白平衡處理后的攝像圖像。區(qū)域提取部940從該輸入的攝像圖像中，根據(jù)來自提取區(qū)域設(shè)定部920的提取區(qū)域信息，分別提取前方視野圖像和側(cè)方視野圖像，將提取出的圖像輸出到陰影校正部950。[0129]陰影校正部950針對所輸入的前方視野圖像和側(cè)方視野圖像，使用從提取區(qū)域設(shè)定部920輸出的陰影校正系數(shù)進行陰影校正。陰影校正部950將校正后的前方視野圖像輸出到第I區(qū)域倍率校正部960，將校正后的側(cè)方視野圖像輸出到第2區(qū)域倍率校正部970。
[0130]第I區(qū)域倍率校正部960、第2區(qū)域倍率校正部970、合成部980進行與第I實施方式基本相同的處理。與第I實施方式不同之處在于，在第I實施方式中，攝像圖像的每個像素由3個顏色信號構(gòu)成，在第2實施方式中，攝像圖像的每個像素由I個顏色信號構(gòu)成。在第2實施方式中，進行倍率校正，使得在進行前方視野圖像和側(cè)方視野圖像的倍率校正后，也維持圖11的信號排列。即，使用相同顏色的周邊像素進行插值處理，在規(guī)定的像素位置生成規(guī)定的I個顏色信號。
[0131]對后處理部990輸入從合成部980輸出的對前方視野圖像和側(cè)方視野圖像進行合成后的攝像圖像。后處理部990對該輸入的攝像圖像進行例如去馬賽克處理、顏色校正處理、灰度轉(zhuǎn)換處理、強調(diào)處理、放大處理等，生成能夠顯示在顯示監(jiān)視器上的輸出圖像，將該輸出圖像輸出到邊界線描繪部995。
[0132]由于邊界線描繪部995進行與第I實施方式相同的處理，所以省略說明。
[0133]3.3.提取區(qū)域設(shè)定部
[0134]圖13示出提取區(qū)域設(shè)定部920的詳細結(jié)構(gòu)例。提取區(qū)域設(shè)定部920包括邊界區(qū)域檢測部710、中心計算部720、邊界線設(shè)定部730 (提取邊界線決定部)、提取區(qū)域參數(shù)設(shè)定部740、陰影校正參數(shù)設(shè)定部750。
[0135]對各結(jié)構(gòu)部間的連接關(guān)系和數(shù)據(jù)流進行說明。從預(yù)處理部910輸出的攝像圖像被輸入到邊界區(qū)域檢測部710。這里，攝像圖像的對象物為用于計算白平衡系數(shù)的白色標(biāo)卡，能夠在保持攝像部200的前端與白色標(biāo)卡的相對位置關(guān)系的狀態(tài)下進行拍攝。
[0136]控制部302以雙方能夠通信的狀`態(tài)與邊界區(qū)域檢測部710、邊界線設(shè)定部730、提取區(qū)域參數(shù)設(shè)定部740、陰影校正參數(shù)設(shè)定部750連接。
[0137]對邊界區(qū)域檢測部710輸入從預(yù)處理部910輸出的白平衡處理后的攝像圖像，在來自控制部302的提取區(qū)域設(shè)定信號為“有效”的情況下，從控制部302輸入用于檢測邊界區(qū)域的檢測區(qū)域信息和檢測閾值。邊界區(qū)域檢測部710根據(jù)檢測區(qū)域信息提取所輸入的攝像圖像，針對提取出的檢測區(qū)域進行取圖11的拜耳排列的2X2的相鄰像素(R、G、G、B)的總和的處理，生成亮度信號。邊界區(qū)域檢測部710通過所生成的亮度信號與檢測閾值的比較進行2值化處理，從2值化處理后的亮度信號中去除不需要的細線，提取邊界線。邊界區(qū)域檢測部710將提取出的邊界線信息輸出到中心計算部720，將所生成的亮度信號輸出到邊界線設(shè)定部730。
[0138]中心計算部720根據(jù)所輸入的邊界線信息計算重心位置，將該重心位置設(shè)定為前方視野圖像和側(cè)方視野圖像的中心位置，將所設(shè)定的中心位置輸出到邊界線設(shè)定部730。
[0139]邊界線設(shè)定部730根據(jù)來自控制部302的陰影容許閾值決定所輸入的亮度信號的陰影容許位置。具體而言，如圖14 (A)所示，邊界線設(shè)定部730將中心位置CP周邊的平均亮度值設(shè)為陰影基準(zhǔn)值，通過該基準(zhǔn)值去除檢測區(qū)域內(nèi)(例如整個圖像)的亮度值，計算陰影圖像。邊界線設(shè)定部730根據(jù)計算出的陰影圖像和從控制部302輸入的陰影容許閾值T，決定陰影容許位置，決定穿過最接近中心位置的位置的圓形狀的提取邊界線L1、L2。邊界線設(shè)定部730將所決定的提取邊界線L1、L2輸出到提取區(qū)域參數(shù)設(shè)定部740和陰影校正參數(shù)設(shè)定部750，將計算出的陰影圖像輸出到陰影校正參數(shù)設(shè)定部750。
[0140]更具體而言，如圖14 (B)所示，邊界線設(shè)定部730求出陰影圖像的亮度級別為閾值T的位置，計算從中心到該位置的距離。將以計算出的距離中的較小距離為半徑的圓設(shè)定為提取邊界線LI。并且，邊界線設(shè)定部730將以對計算出的距離中的較大距離加上規(guī)定距離而得到的距離為半徑的圓設(shè)定為提取邊界線L2。
[0141]提取區(qū)域參數(shù)設(shè)定部740將所輸入的提取邊界線L1、L2的半徑信息和中心坐標(biāo)設(shè)定為提取區(qū)域參數(shù)，將該提取區(qū)域參數(shù)經(jīng)由控制部302存儲在存儲器211中。并且，將提取區(qū)域參數(shù)輸出到區(qū)域提取部940。
[0142]陰影校正參數(shù)設(shè)定部750根據(jù)所輸入的提取邊界線L1、L2、中心位置和陰影圖像，計算陰影校正系數(shù)圖像或陰影校正系數(shù)。陰影校正參數(shù)設(shè)定部750將該陰影校正系數(shù)圖像或陰影校正系數(shù)設(shè)定為陰影校正參數(shù)，將所設(shè)定的參數(shù)經(jīng)由控制部302存儲在存儲器211中。并且，將所設(shè)定的參數(shù)輸出到陰影校正部。這里，陰影校正系數(shù)圖像是取以中心位置為基準(zhǔn)的陰影圖像的各像素值的倒數(shù)的圖像。并且，如圖14 (C)所示，陰影校正系數(shù)(陰影校正量)是在圓周方向上對陰影校正系數(shù)圖像的像素值進行平均計算而得到的系數(shù)，是半徑方向的I維系數(shù)。
[0143]在來自控制部302的提取區(qū)域設(shè)定信號為“無效”的情況下，提取區(qū)域設(shè)定部920將存儲器211中記錄的參數(shù)讀入到提取區(qū)域參數(shù)設(shè)定部740和陰影校正參數(shù)設(shè)定部750，將該參數(shù)輸出到區(qū)域提取部940和陰影校正部950。
[0144]另外，上述以僅對前方視野圖像進行陰影校正的情況為例進行了說明，但是，本實施方式不限于此。例如，也可以對前方視野圖像和側(cè)方視野圖像進行陰影校正。
[0145]根據(jù)以上的實施方式，如圖12、圖13所示，邊界區(qū)域校正部915包括邊界線設(shè)定部730和區(qū)域提取部940。如圖14 (A)所示，邊界線設(shè)定部730設(shè)定用于從取得圖像中提取前方區(qū)域的圖像的邊界線即第I邊界線LI和用于從取得圖像中提取側(cè)方區(qū)域的圖像的邊界線即第2邊界線L2中的至少一方。在設(shè)定了第I邊界線LI的情況下，區(qū)域提取部940根據(jù)第I邊界線LI提取前方區(qū)域的圖像。在設(shè)定了第2邊界線的情況下，區(qū)域提取部940根據(jù)第2邊界線L2提取側(cè)方區(qū)域的圖像。
[0146]更具體而言，如圖13所示，邊界區(qū)域校正部915具有檢測邊界區(qū)域的邊界區(qū)域檢測部710。如圖14 (B)中說明的那樣，邊界線設(shè)定部730根據(jù)檢測到的邊界區(qū)域，設(shè)定第I邊界線LI和第2邊界線L2中的至少一方。
[0147]這樣，能夠設(shè)定第1、第2邊界線L1、L2中的至少一方，能夠根據(jù)所設(shè)定的邊界線來設(shè)定前方區(qū)域和側(cè)方區(qū)域中的至少一方。另外，在第2實施方式中，說明了提取前方區(qū)域的圖像和側(cè)方區(qū)域的圖像雙方的情況，但是，如第I實施方式中說明的那樣，也可以提取前方區(qū)域的圖像和側(cè)方區(qū)域的圖像中的一方，進行陰影校正和重疊處理。
[0148]并且，在本實施方式中，如圖14 (B)中說明的那樣，邊界線設(shè)定部730根據(jù)表示取得圖像中的亮度級別的變化的陰影量(例如以中心周邊的亮度平均值進行歸一化后的亮度值)設(shè)定第I邊界線LI。區(qū)域提取部940提取取得圖像中的比第I邊界線LI靠內(nèi)側(cè)的區(qū)域的圖像作為前方區(qū)域的圖像。
[0149]更具體而言，如圖12所示，邊界區(qū)域校正部915具有對前方區(qū)域中的陰影量進行校正的陰影校正部950。合成部980對校正了陰影量后的前方區(qū)域的圖像和側(cè)方區(qū)域的圖像進行合成。
[0150]這樣，能夠以與沒有陰影的區(qū)域相同的明亮度來顯示由于光學(xué)系統(tǒng)而產(chǎn)生的圖像上的陰影(例如前方區(qū)域中的周邊減光)。由于產(chǎn)生了陰影的區(qū)域也能夠用作顯示圖像，所以，能夠?qū)o法觀察的死角區(qū)域抑制為極小。并且，在特定的拍攝條件下(例如白平衡鏡頭蓋拍攝時)，能夠決定提取邊界線L1、L2，所以，能夠減輕伴隨著制造偏差的調(diào)整工序，能夠?qū)崿F(xiàn)成本降低。
[0151]并且，在本實施方式中，如圖12所示，變倍處理部955具有顯示倍率設(shè)定部(校正量控制部930)。第I邊界線LI和第2邊界線L2是圓形狀的邊界線。顯示倍率設(shè)定部設(shè)定以該第I邊界線LI和第2邊界線L2的中心點CP為基準(zhǔn)的顯示倍率(例如上式(1)、(3)的變倍率Vf (r), Vs (r))。變倍處理部955根據(jù)所設(shè)定的顯示倍率進行變倍處理。
[0152]更具體而言，變倍處理部955根據(jù)基于顯示倍率設(shè)定部設(shè)定的顯示倍率的、相對于以中心點CP為基準(zhǔn)的半徑方向的距離(r)的線形或非線形的變位量(例如上式(2)、(4)的變位量Df (r)、Ds (r))，進行變倍處理。
[0153]這樣，能夠 根據(jù)自如的變倍率對前方區(qū)域和側(cè)方區(qū)域進行放大縮小。并且，由于能夠?qū)εc中心之間的距離進行線形或非線形的放大縮小，所以，能夠進行與用戶的觀察區(qū)域一致的、自由度更高的變倍處理。
[0154]這里，在上述實施方式中，以邊界線L1、L2為正圓的情況為例進行了說明，但是，本實施方式不限于此，邊界線L1、L2只要是圓形狀即可。即，在邊界線LI與L2之間存在邊界區(qū)域即可。
[0155]以上對應(yīng)用了本發(fā)明的實施方式及其變形例進行了說明，但是，本發(fā)明不限于各實施方式及其變形例，能夠在實施階段在不脫離發(fā)明主旨的范圍內(nèi)對結(jié)構(gòu)要素進行變形而具體化。并且，通過對上述各實施方式和變形例所公開的多個結(jié)構(gòu)要素進行適當(dāng)組合，能夠形成各種發(fā)明。例如，可以從各實施方式和變形例所記載的全部結(jié)構(gòu)要素中刪除若干個結(jié)構(gòu)要素。進而，也可以對不同實施方式和變形例中說明的結(jié)構(gòu)要素進行適當(dāng)組合。這樣，能夠在不脫離發(fā)明主旨的范圍內(nèi)進行各種變更和應(yīng)用。
[0156]并且，在說明書或附圖中至少一次與更加廣義或同義的不同用語一起記載的用語可以在說明書或附圖的任意位置置換為該不同的用語。
[0157]標(biāo)號說明
[0158]10:病變部；20:透鏡；21:透射部；22:反射部；23:前方視野圖像；24:側(cè)方視野圖像；25:環(huán)狀區(qū)域；26:反射部；100:光源部；101:白色光源；102:旋轉(zhuǎn)濾色鏡；103:旋轉(zhuǎn)驅(qū)動部；104:會聚透鏡；200:攝像部；201:光導(dǎo)纖維；202:照明透鏡；203:物鏡；209:攝像元件；210:A/D轉(zhuǎn)換部；211:存儲器；212:連接器；300:控制裝置；301:圖像處理部；302:控制部；305:圖像取得部；310:輸出圖像生成部；315:邊界區(qū)域校正部；320:區(qū)域提取部；325:變倍處理部；330:第I區(qū)域倍率校正部；340:第2區(qū)域倍率校正部；350:合成部；360:邊界線描繪部；400:顯示部；500:外部Ι/F部；601:紅色的濾色鏡；602:綠色的濾色鏡；603:藍色的濾色鏡；710:邊界區(qū)域檢測部；720:中心計算部；730:邊界線設(shè)定部；740:提取區(qū)域參數(shù)設(shè)定部；750:陰影校正參數(shù)設(shè)定部；803:旋轉(zhuǎn)馬達；905:圖像取得部；910:預(yù)處理部；915:邊界區(qū)域校正部；920:提取區(qū)域設(shè)定部；930:校正量控制部；940:區(qū)域提取部；950:陰影校正部；955:變倍處理部；960 --第I區(qū)域倍率校正部；970 --第2區(qū)域倍率校正部；980:合成部；990:后處理部；995:邊界線描繪部；BR:邊界區(qū)域；CP:中心位置；D1~D3:距離；FR:前方視野圖像；L1、L2:提取邊界線；MR1、MR2:余量區(qū)域；SR:側(cè)方視野圖像；SRP:外周；T:陰影容許 閾值；WL:邊界線；Z:光軸。
【權(quán)利要求】
1.一種內(nèi)窺鏡用圖像處理裝置，其特征在于，該內(nèi)窺鏡用圖像處理裝置包括: 圖像取得部，其取得將與前方視野對應(yīng)的前方圖像和與側(cè)方視野對應(yīng)的側(cè)方圖像形成為一張取得圖像而成的圖像信號；以及 邊界區(qū)域校正部，其在將所述取得圖像中的與所述前方視野對應(yīng)的區(qū)域作為前方區(qū)域、將所述取得圖像中的與所述側(cè)方視野對應(yīng)的區(qū)域作為側(cè)方區(qū)域的情況下，進行使所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的至少一方重疊在所述前方區(qū)域與所述側(cè)方區(qū)域的邊界的區(qū)域即邊界區(qū)域上的重疊處理。
2.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述邊界區(qū)域校正部具有: 變倍處理部，其進行變更所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的至少一方的顯示倍率的變倍處理；以及 合成部，其通過對所述變倍處理后的所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像進行合成，進行所述重疊處理。
3.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述邊界區(qū)域校正部具有區(qū)域提取部，該區(qū)域提取部從所述取得圖像中提取所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的一方作為所述變倍處理的對象圖像， 所述變倍處理部進行放大所述對象圖像的所述變倍處理， 所述合成部對放大后的所述對象圖像與所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的另一方進行合成。
4.根據(jù)權(quán)利要求3所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述變倍處理部進行沿著以所述前方視野圖像的中心為基準(zhǔn)時的徑向放大所述對象圖像的處理，作為所述變倍處理。
5.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述邊界區(qū)域校正部具有區(qū)域提取部，該區(qū)域提取部從所述取得圖像中提取所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像， 所述變倍處理部進行放大所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的一方的所述變倍處理，進行縮小所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的另一方的所述變倍處理， 所述合成部對所述變倍處理后的所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像進行合成。
6.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述邊界區(qū)域校正部具有: 邊界線設(shè)定部，其設(shè)定用于從所述取得圖像中提取所述前方區(qū)域的圖像的邊界線即第I邊界線和用于從所述取得圖像中提取所述側(cè)方區(qū)域的圖像的邊界線即第2邊界線中的至少一個邊界線；以及 區(qū)域提取部，其在設(shè)定了所述第I邊界線作為所述一個邊界線的情況下，根據(jù)所述第I邊界線提取所述前方 區(qū)域的圖像，在設(shè)定了所述第2邊界線作為所述一個邊界線的情況下，根據(jù)所述第2邊界線提取所述側(cè)方區(qū)域的圖像。
7.根據(jù)權(quán)利要求6所述的內(nèi)窺鏡用圖像處理裝置，其特征在于，所述邊界區(qū)域校正部具有檢測所述邊界區(qū)域的邊界區(qū)域檢測部， 所述邊界線設(shè)定部根據(jù)檢測到的所述邊界區(qū)域來設(shè)定所述第I邊界線和所述第2邊界線中的至少一方。
8.根據(jù)權(quán)利要求6所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述邊界線設(shè)定部根據(jù)表示所述取得圖像中的亮度級別的變化的陰影量來設(shè)定所述第I邊界線， 所述區(qū)域提取部提取所述取得圖像中的比所述第I邊界線靠內(nèi)側(cè)的區(qū)域的圖像作為所述前方區(qū)域的圖像。
9.根據(jù)權(quán)利要求8所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述邊界區(qū)域校正部具有對所述前方區(qū)域中的所述陰影量進行校正的陰影校正部，所述合成部對校正了所述陰影量后的所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像進行合成。
10.根據(jù)權(quán)利要求6所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述第I邊界線和所述 第2邊界線是圓形狀的邊界線， 所述變倍處理部具有顯示倍率設(shè)定部，該顯示倍率設(shè)定部設(shè)定以所述第I邊界線和所述第2邊界線的中心點為基準(zhǔn)的所述顯示倍率， 所述變倍處理部根據(jù)所設(shè)定的所述顯示倍率進行所述變倍處理。
11.根據(jù)權(quán)利要求10所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述變倍處理部根據(jù)基于所述顯示倍率設(shè)定部設(shè)定的所述顯示倍率的、相對于以所述中心點為基準(zhǔn)的半徑方向的距離的線形或非線形的變位量，進行所述變倍處理。
12.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述內(nèi)窺鏡用圖像處理裝置包括邊界線描繪部，該邊界線描繪部描繪用于使得能夠識別所述合成后的所述前方區(qū)域的圖像與所述側(cè)方區(qū)域的圖像的邊界的邊界線。
13.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述邊界區(qū)域是基于用于對所述前方視野和所述側(cè)方視野進行攝像的光學(xué)系統(tǒng)中的光學(xué)設(shè)計值的規(guī)定視野角的環(huán)狀區(qū)域， 所述邊界區(qū)域與所述前方區(qū)域之間的邊界線即第I邊界線設(shè)定在比所述環(huán)狀區(qū)域靠內(nèi)側(cè)， 所述邊界區(qū)域與所述側(cè)方區(qū)域之間的邊界線即第2邊界線設(shè)定在比所述環(huán)狀區(qū)域靠外側(cè)。
14.根據(jù)權(quán)利要求13所述的內(nèi)窺鏡用圖像處理裝置，其特征在于， 所述第I邊界線和所述第2邊界線是對所述規(guī)定視野角的環(huán)狀區(qū)域附加與統(tǒng)計上的制造偏差對應(yīng)的余量區(qū)域來設(shè)定的。
15.一種內(nèi)窺鏡裝置，其特征在于，該內(nèi)窺鏡裝置包括: 權(quán)利要求1所述的內(nèi)窺鏡用圖像處理裝置； 用于對所述前方視野進行攝像的前方觀察光學(xué)系統(tǒng)； 用于對所述側(cè)方視野進行攝像的側(cè)方觀察光學(xué)系統(tǒng)；以及 同時對所述前方視野和所述側(cè)方視野進行攝像的攝像元件。
16.根據(jù)權(quán)利要求15所述的內(nèi)窺鏡裝置，其特征在于，所述邊界區(qū)域包括與所述前方觀察光學(xué)系統(tǒng)得到的所述前方視野和所述側(cè)方觀察光學(xué)系統(tǒng)得到的所述側(cè)方視野之間的死角對應(yīng)的區(qū)域。
17.根據(jù)權(quán)利要求15所述的內(nèi)窺鏡裝置，其特征在于， 所述邊界區(qū)域包括由于所述前方觀察光學(xué)系統(tǒng)的周邊減光而產(chǎn)生了陰影的區(qū)域的至少一部分。
18.一種圖像處理方法，其特征在于， 取得將與前方視野對應(yīng)的前方圖像和與側(cè)方視野對應(yīng)的側(cè)方圖像形成為一張取得圖像而成的圖像信號， 在將所述取得圖像中的與所述前方視野對應(yīng)的區(qū)域作為前方區(qū)域、將所述取得圖像中的與所述側(cè)方視野對應(yīng)的區(qū)域作為側(cè)方區(qū)域的情況下，進行使所述前方區(qū)域的圖像和所述側(cè)方區(qū)域的圖像中的至少一方重疊在所述前方區(qū)域與所述側(cè)方區(qū)域的邊界的區(qū)域即邊界區(qū)域上的重疊處理。
【文檔編號】A61B1/04GK103841879SQ201280046804
【公開日】2014年6月4日 申請日期:2012年9月13日 優(yōu)先權(quán)日:2011年9月26日
【發(fā)明者】佐佐木寬, 本田一樹 申請人:奧林巴斯株式會社, 奧林巴斯醫(yī)療株式會社