本申請(qǐng)是申請(qǐng)日為2011年4月28日，申請(qǐng)?zhí)枮?01180021287.0，發(fā)明名稱為“用于顯示體內(nèi)圖像部分的系統(tǒng)和方法”的專利申請(qǐng)的分案申請(qǐng)。

本發(fā)明主要涉及用于顯示在體內(nèi)獲取的圖像流的方法和系統(tǒng)。尤其是，本發(fā)明涉及用于例如以陣列形式安排和顯示圖像部分的系統(tǒng)和方法。

背景技術(shù)：

體內(nèi)成像方法，例如由可吸收膠嚢攜帶的體內(nèi)成像系統(tǒng)可用于在患者體內(nèi)對(duì)體腔成像。在膠嚢穿過gi內(nèi)腔時(shí)，成像系統(tǒng)可以獲取，例如胃腸(gi)通道的圖像并傳輸?shù)酵獠坑涗浽O(shè)備。這樣的體內(nèi)成像系統(tǒng)提供這樣的平臺(tái)，從該平臺(tái)可以觀看體腔的運(yùn)動(dòng)圖像流或靜止圖像。在成像程序中，可以收集用于觀看的大量圖像，例如100000到300000幅圖像。圖像可以依次組合在一起，形成圖像流或例如30-120分鐘長(zhǎng)的電影呈現(xiàn)給用戶。

用戶，例如醫(yī)師或保健專業(yè)人員，可以觀看完整的圖像流，例如由體內(nèi)設(shè)備獲取的原始圖像流，或輕微減少的圖像流(例如，其中，類似圖像被合并或刪除)，以及呈現(xiàn)彼此不同的基本上所有圖像。當(dāng)觀看這樣的流時(shí)，用戶通?？梢允褂孟鄬?duì)快的顯示速度，例如每秒20-30幀。

用戶可能想減少圖像流的觀看時(shí)間。存在減少觀看時(shí)間的已知方法。例如，基于編輯方法，可以生成整個(gè)圖像流的摘要電影。編輯方法可以包括，例如遵循預(yù)先設(shè)定標(biāo)準(zhǔn)來選擇圖像。可以創(chuàng)建縮短的電影，輔助醫(yī)師減少觀看時(shí)間。

不過，觀看摘要電影具有某些不足或缺點(diǎn)。例如，基本上相同的圖像可能包含病理?？梢詮母乓娪斑^濾多佘的圖像，并且在某些情況下僅有包含病理的一個(gè)或少量代表性的圖像幀呈現(xiàn)在概要電影中。

向用戶，例如醫(yī)師提供不同的圖像瀏覽或顯示是理想的，其一方面能夠允許對(duì)圖像或圖像部分的更詳細(xì)檢查，另一方面不增加觀看時(shí)間，至少不明顯增加觀看時(shí)間。

技術(shù)實(shí)現(xiàn)要素：

在一個(gè)實(shí)施例中，提供了顯示體內(nèi)圖像中部分的方法和系統(tǒng)。該方法可以包括接收在體腔中獲取的體內(nèi)圖像流。例如基于一個(gè)或更多選擇標(biāo)準(zhǔn)，可以從流中選擇描述可疑病理或與可疑病理對(duì)應(yīng)的圖像部分或圖像。圖像的部分可以修剪、調(diào)整大小到恰當(dāng)?shù)某叽?，并且可以根?jù)選擇的分布或布局安排進(jìn)行空間布置，例如以矩形或六角形陣列布局進(jìn)行布置。所選擇圖像部分的行和列可以彼此毗鄰地定位，例如，毗鄰圖像部分之間沒有空白、邊界或背景。例如，一個(gè)圖像的圖像像素可以接觸或直接毗鄰另一個(gè)圖像的圖像像素，沒有中間的非圖像像素。

在某些實(shí)施例中，在矩形陣列布局中待顯示的圖像部分的數(shù)量可以是預(yù)先確定的，基于在圖像流中發(fā)現(xiàn)的可疑病理圖像部分的數(shù)量由用戶設(shè)置或調(diào)整?？梢栽诓季种写_定或選擇圖像部分的空間布置，并且可以顯示帶有光標(biāo)的時(shí)間條，其中所述光標(biāo)指示在當(dāng)前布局中顯示的圖像部分的獲取時(shí)間。

某些實(shí)施例包括確定待顯示的、所選擇圖像部分之間的相似性。類似的圖像部分可以以按時(shí)間順序布置在布局中。在另一個(gè)實(shí)施例中，所有可疑病理圖像部分可以按時(shí)間順序布置在布局中。在一個(gè)實(shí)施例中，可以在布局中顯示由用戶標(biāo)記的與圖像部分相對(duì)應(yīng)的完整圖像幀。這種選擇標(biāo)準(zhǔn)可以由，例如用戶確定或預(yù)先確定并存儲(chǔ)在系統(tǒng)中。

附圖說明

通過參考附圖和下列詳細(xì)描述，可以更好理解根據(jù)本發(fā)明的系統(tǒng)和方法的原理及其操作，不過應(yīng)當(dāng)理解，所給出的這些附圖僅用于說明目的，而不是意味著對(duì)本發(fā)明的限制，其中：

圖1示出根據(jù)本發(fā)明實(shí)施例的體內(nèi)成像系統(tǒng)的示意圖；

圖2a和2b示出根據(jù)本發(fā)明實(shí)施例的帶有可疑病理的圖像；

圖3a和3b是示范性顯示界面，其示出根據(jù)本發(fā)明實(shí)施例的一個(gè)病理幀部分的集合(陣列)對(duì)比于包含正常健康組織的另一幀部分集合的例子；

圖4a、4b和4c是示范性顯示界面，其示出根據(jù)本發(fā)明實(shí)施例的圖像部分布局的不同空間布置；

圖5a和5b示出根據(jù)本發(fā)明實(shí)施例的顯示不同布局尺寸的示范性空間陣列；

圖6是根據(jù)本發(fā)明實(shí)施例的用于顯示圖像部分陣列的方法流程圖；以及

圖7是根據(jù)本發(fā)明實(shí)施例的示例屏幕顯示。

應(yīng)當(dāng)明白，為了簡(jiǎn)化和清晰起見，在圖表中示出的構(gòu)件不是必然地按比例繪制。例如，為了清晰起見，相對(duì)其他構(gòu)件，某些構(gòu)件的尺寸和/或高寬比可能被夸大。此外，在認(rèn)為適當(dāng)?shù)那闆r下，可以在圖中重復(fù)參考數(shù)字，以便在整個(gè)系列視圖中指示相應(yīng)的或類似的構(gòu)件。

具體實(shí)施方式

在下列描述中，將描述本發(fā)明的各個(gè)方面。為了解釋目的，闡述了具體的配置和細(xì)節(jié)，以便提供對(duì)本發(fā)明的透徹理解。不過，本發(fā)明可以在沒有本文所述具體細(xì)節(jié)的情況下實(shí)踐應(yīng)用，這對(duì)于本領(lǐng)域的技術(shù)人員來說是顯而易見的。此外，忽略或簡(jiǎn)化了眾所周知的特征，從而不至于模糊本發(fā)明。

從下列討論可以看出，除非特別說明，否則應(yīng)當(dāng)明白貫穿具體討論使用的術(shù)語，例如“處理”、“計(jì)算”、“存儲(chǔ)”或其類似術(shù)語，指的是計(jì)算機(jī)或計(jì)算系統(tǒng)或類似電子計(jì)算設(shè)備的行動(dòng)和/或處理，其將在計(jì)算系統(tǒng)注冊(cè)表和/或存儲(chǔ)器內(nèi)的表示為物理的例如電子數(shù)量的數(shù)據(jù)操控和/或轉(zhuǎn)換為在計(jì)算系統(tǒng)存儲(chǔ)器、注冊(cè)表或其他信息存儲(chǔ)、傳輸或顯示設(shè)備內(nèi)的類似表示為物理數(shù)量的其他數(shù)據(jù)。

本發(fā)明的某些實(shí)施例涉及可吞服的體內(nèi)設(shè)備，例如自主吞服膠囊。其他實(shí)施例不需要是可吞服的或自主的，并且可以具有其他外形或配置。根據(jù)本發(fā)明實(shí)施例的設(shè)備，包括成像、接收、處理、存儲(chǔ)的設(shè)備和/或適用于本發(fā)明實(shí)施例的顯示單元，可以類似于下列中描述的實(shí)施例：美國(guó)專利公開號(hào)2006/0074275，名稱為“systemandmethodforeditinganimagestreamcapturedin-vivo”；idden等人的美國(guó)專利5,604,531，名稱為“in-vivovideocamerasystem”；和/或idden等人的美國(guó)專利7,009,634，名稱為“deviceforin-vivoimaging”，所有這些專利申請(qǐng)或?qū)＠績(jī)?nèi)容并入本文，供參考。當(dāng)然，本文所述設(shè)備和系統(tǒng)可以具有其他配置和其他構(gòu)件組。根據(jù)本發(fā)明某些實(shí)施例的設(shè)備、系統(tǒng)和方法可以類似于由givenimaging,ltd提供的商業(yè)sb2或colon膠囊以及相關(guān)的數(shù)據(jù)記錄器以及工作站和軟件。

在一個(gè)實(shí)施例中，用戶，例如醫(yī)師可以觀看圖像或圖像部分的布局，例如以平鋪或柵陣列布置的布局。布局可以包含來自在成像過程期間獲取的輸入圖像流的圖像子集，或圖像子集的選擇部分。陣列或柵格可以是，例如正方形或矩形或六角形陣列，并且所選擇的部分或圖像可以布置成提高用戶觀看的效率?？梢曰谝粋€(gè)或更多預(yù)先設(shè)定的標(biāo)準(zhǔn)，選擇上面的圖像或部分。通常，基于標(biāo)準(zhǔn)來選擇圖像中指示可能病理的圖像。在另一個(gè)例子中，可以基于標(biāo)準(zhǔn)來選擇在成像體腔中，例如小腸入口處、結(jié)腸入口處等指示可能標(biāo)志的圖像。陣列可以包括其預(yù)先確定數(shù)量或變化數(shù)量的圖像或部分，例如根據(jù)從原始輸入圖像流選擇的圖像的總數(shù)，可以為用戶生成多個(gè)陣列并顯示給用戶。

在用戶觀看包含正常組織以及病理的多個(gè)圖像或部分時(shí)，組織的異常可能是突出的或可能吸引用戶的眼球。類似地，如果在圖像或圖像部分中僅呈現(xiàn)正常組織，用戶可以快速確定當(dāng)前圖像布局中不存在病理，并且會(huì)滾動(dòng)到用于其檢查的下一個(gè)陣列(例如，使用促使顯示或重新顯示或運(yùn)動(dòng)的輸入設(shè)備)。用戶可以滾動(dòng)圖像或圖像部分的一個(gè)或更多陣列，所述圖像或圖像部分可以在顯示設(shè)備上空間布置，以便允許異常組織或疑似為病理組織被更容易或更快捷檢測(cè)到。與在相對(duì)短、預(yù)先設(shè)定時(shí)間段內(nèi)顯示每個(gè)幀并由連續(xù)圖像自動(dòng)替換的視頻顯示相比，這種觀看方法允許每個(gè)可疑部分具有相對(duì)長(zhǎng)的顯示時(shí)間并且用戶可以主動(dòng)滾動(dòng)到下一個(gè)陣列。此外，在視頻或圖像流顯示中，向觀看者陳列全部幀，以致要求用戶分析可疑和相似非可疑部分的內(nèi)容，而且基于可疑部分和圖像陣列的觀看方法，可以刪除非可疑的圖像部分，以便節(jié)省全幀分析需要的時(shí)間。這樣的觀看方法可以節(jié)省觀看醫(yī)師的時(shí)間，并且能夠使增加發(fā)現(xiàn)病理、可疑或異常圖像可能性的可靠診斷變得可行。

本發(fā)明的示范性實(shí)施例提供了用于顯示圖像流的系統(tǒng)和方法，該圖像流優(yōu)選由體內(nèi)成像設(shè)備，例如可吸收或可吞服的膠囊產(chǎn)生。工作站可以接受體內(nèi)圖像，并且可以顯示圖像子集或圖像幀子集的選擇部分，例如像在顯示設(shè)備或監(jiān)視器上矩形平鋪陣列或柵格的多個(gè)布局。

可以編輯和減少圖像流，或可以利用編輯方法選擇待觀看圖像子集用于初始觀看或預(yù)觀看，所述編輯方法可以包括基于預(yù)先確定幀選擇和跳幀的任何數(shù)量的方法，或基于預(yù)先確定標(biāo)準(zhǔn)算法識(shí)別，例如符合已知癥狀諸如息肉、出血和/或潰瘍等的圖像的方法。由本發(fā)明實(shí)施例使用的編輯方法可以類似于和/或可以包括在下列中描述的方法：題為“systemandmethodforeditinganimagestreamcapturedinvivo”的美國(guó)專利公開號(hào)2006/0074275和/或題為“systemandmethodforinvivofeaturedetection”的美國(guó)專利公開號(hào)2007/0078335。例如，與美國(guó)專利公開號(hào)2007/0078335圖2相對(duì)應(yīng)的實(shí)施例講授了描述病理組織諸如息肉的可疑圖像一部分的識(shí)別。

可以在根據(jù)本發(fā)明實(shí)施例的具體空間布局上生成和顯示一個(gè)或更多圖像或圖像部分陣列或柵格。在某些實(shí)施例中，其圖像或部分可以包括用于顯示的選擇圖像，例如與一個(gè)或更多預(yù)先確定標(biāo)準(zhǔn)相對(duì)應(yīng)的圖像或圖像部分。優(yōu)選地，其用于顯示的圖像或部分的選擇包括根據(jù)一個(gè)或更多預(yù)先設(shè)定的標(biāo)準(zhǔn)，由處理器或?yàn)V波器檢測(cè)或自動(dòng)過濾的被選圖像。被選圖像或被選圖像部分可以包括，例如：病理圖像(或部分)，例如由息肉探測(cè)器檢測(cè)并表示為可能包含息肉的圖像部分，由出血探測(cè)器檢測(cè)為疑似包含出血的圖像部分，由病變探測(cè)器檢測(cè)為潛在包含病變的圖像，以及由異常探測(cè)器檢測(cè)為可能包含異常組織而非期望的正常組織的圖像部分。這樣的部分可以包括比周圍組織具有更高水平發(fā)紅的組織和/或某些胃腸疾病或病理諸如浮腫、腐蝕、紅斑、炎癥、瘤形成或息肉典型的外形、圖案或質(zhì)地。

在一個(gè)例子中，選擇的圖像部分可以包含，例如，基本上包含包括檢測(cè)到的病理或可疑異常的圖像部分，或比起原始圖像更大幀部分或圖像修剪版本包含可疑異?；虿±淼膸驁D像修剪版本。例如，由息肉探測(cè)器識(shí)別的可疑息肉可以包括在選擇的圖像部分中。除了可疑息肉以外，不構(gòu)成可疑病理的某些環(huán)繞背景像素也可以包括在選擇的圖像部分中。這是主要由于觀看者查看組織區(qū)域周圍可疑病理的需要，添加某些背景像素可以允許用戶更好識(shí)別可疑病理。此外，選擇的圖像部分通常是矩形的、正方形的或六角形的，但是可疑病理邊界可以以各種不同外形形成。在另一個(gè)例子中，選擇的圖像部分可以包含由出血探測(cè)器檢測(cè)為描述可疑出血或與可疑出血相對(duì)應(yīng)的圖像部分。仍在另一個(gè)例子中，選擇的圖像部分可以包含可疑病變、潰瘍、炎癥等。幀或修剪版本可以忽略不包含檢測(cè)到的異常的圖像部分，但是既然選擇的部分或修剪版本通常是正方形的、矩形的或六角形的形式，選擇部分的某些部分或像素可以不包括異常，例如包括靠近可疑病理組織的像素可以包括在圖像的修剪版本中。

參考圖1，其簡(jiǎn)要示出根據(jù)本發(fā)明實(shí)施例的體內(nèi)成像系統(tǒng)。根據(jù)某些實(shí)施例，系統(tǒng)可以包括設(shè)備，例如膠囊40。膠囊40可以是可吞服的體內(nèi)膠囊，但是也可以使用其他種類的設(shè)備或合適的工具。根據(jù)一個(gè)實(shí)施例，膠囊40可以與外部接收和顯示系統(tǒng)通信，以便提供數(shù)據(jù)、控制或其他功能的顯示。例如，電源可以由內(nèi)部電池45或無線接收系統(tǒng)提供。其他實(shí)施例可以具有其他配置或功能。

膠囊40可以包括用于獲取圖像的一個(gè)或更多成像器46，用于照亮體腔的一個(gè)或更多照明源42，以及用于將圖像數(shù)據(jù)和可能的其他信息發(fā)送到接收設(shè)備，例如接收器12的發(fā)送器41。發(fā)送器41可以包括接收器功能，例如接收控制信息。在某些實(shí)施例中，接收器功能可以包括在單獨(dú)的構(gòu)件中。光學(xué)系統(tǒng)，包括例如鏡頭49，鏡頭架44或鏡子，可以幫助將反射光聚焦到成像器46上。鏡頭架44、照明單元42和成像器46可以安裝在基底56上。成像頭57和/或58可以包括光學(xué)系統(tǒng)、光學(xué)圓頂54、成像器46、照明單元42以及基材56。

優(yōu)選地，位于患者體外一個(gè)或更多位置的是優(yōu)選包括天線或天線陣列的圖像接收器12，圖像接收器存儲(chǔ)單元16，數(shù)據(jù)處理器14，數(shù)據(jù)處理器存儲(chǔ)單元19，以及用于顯示，例如膠囊40記錄圖像的圖像監(jiān)視器18。優(yōu)選地，圖像接收器12和圖像接收器存儲(chǔ)單元16小且便攜式的，并且在記錄圖像期間佩戴在患者身上。圖像處理器14，數(shù)據(jù)處理器存儲(chǔ)單元19以及圖像監(jiān)視器18可以包括在計(jì)算機(jī)或工作站11中。

根據(jù)本發(fā)明的實(shí)施例，數(shù)據(jù)處理器存儲(chǔ)單元19可以包括圖像數(shù)據(jù)庫10和邏輯編輯數(shù)據(jù)庫20。邏輯編輯數(shù)據(jù)庫20可以例如包括存儲(chǔ)在成像數(shù)據(jù)庫10中并向觀看者顯示的(例如，例如圖2的觀看窗口200)，例如用于選擇圖像或其部分的預(yù)定義標(biāo)準(zhǔn)和規(guī)則。在某些實(shí)施例中，可以顯示預(yù)定義標(biāo)準(zhǔn)和規(guī)則的清單用于觀看者的選擇(例如，與圖3的選擇按鈕331關(guān)聯(lián)的)。在其他實(shí)施例中，規(guī)則或標(biāo)準(zhǔn)不需要由用戶可選擇。選擇標(biāo)準(zhǔn)的例子可以包括但不限于：圖像的平均強(qiáng)度，圖像中r、b、或g像素的平均值，像素強(qiáng)度的中位值，基于hsv色彩空間的標(biāo)準(zhǔn)，以前標(biāo)準(zhǔn)的b/r、g/r、std(標(biāo)準(zhǔn)偏差)值，不同圖像之間的差異等。在某些實(shí)施例中，多個(gè)某種標(biāo)準(zhǔn)可以與規(guī)則或探測(cè)器關(guān)聯(lián)，例如，息肉探測(cè)器可以使用幾種標(biāo)準(zhǔn)以便確定候選息肉是否存在于圖像中。類似地，出血或發(fā)紅探測(cè)器可以使用不同標(biāo)準(zhǔn)以便確定圖像是否包括可疑出血或具有異常發(fā)紅水平的病理組織。在某些實(shí)施例中，用戶可以決定激活哪個(gè)規(guī)則和/或探測(cè)器。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，數(shù)據(jù)處理器14，數(shù)據(jù)處理器存儲(chǔ)單元19和監(jiān)視器18是個(gè)人計(jì)算機(jī)或工作站11的一部分，其中所述個(gè)人計(jì)算機(jī)或工作站具有標(biāo)準(zhǔn)構(gòu)件，例如處理器，存儲(chǔ)器，磁盤驅(qū)動(dòng)器，以及輸入-輸出設(shè)備，雖然可選配置是可能的，并且本發(fā)明的系統(tǒng)和方法可以在各種合適的計(jì)算系統(tǒng)上實(shí)施。輸入設(shè)備24可以接收用戶的輸入(經(jīng)指點(diǎn)設(shè)備、點(diǎn)擊輪或鼠標(biāo)、鍵盤、觸摸屏、記錄器/麥克風(fēng)、其他輸入構(gòu)件)并發(fā)送相應(yīng)的命令以觸發(fā)對(duì)計(jì)算機(jī)構(gòu)件，例如數(shù)據(jù)處理器14的控制。

數(shù)據(jù)處理器14可以包括一個(gè)或更多標(biāo)準(zhǔn)數(shù)據(jù)處理器，例如微處理器、多處理器、加速板、或任何其他串聯(lián)或并聯(lián)高性能數(shù)據(jù)處理器。圖像監(jiān)視器18可以是計(jì)算機(jī)屏幕、常規(guī)視頻顯示器，或能夠提供圖像或其他數(shù)據(jù)的任何其他設(shè)備。

優(yōu)選地，成像器46是合適的互補(bǔ)金屬氧化物半導(dǎo)體(cmos)照相機(jī)，例如由以色列的givenimagingltd.規(guī)定和美國(guó)aptinacorporationofcalifornia設(shè)計(jì)的“芯片用照相機(jī)”類型cmos成像器。在可選實(shí)施例中，成像器46可以是另一個(gè)設(shè)備，例如，電荷耦合器件(ccd)。例如，照明源42可以是一個(gè)或更多發(fā)光二極管，或另一個(gè)合適的光源。

在體內(nèi)成像過程中，成像器46可以獲取圖像并向發(fā)送器41發(fā)送表示圖像的數(shù)據(jù)，所述發(fā)送器41利用，例如電磁無線電波向圖像接收器12發(fā)送圖像。其他信號(hào)發(fā)送方法是可能到，以及可選地，在過程完成后，可以從膠囊40下載數(shù)據(jù)。圖像接收器12可以向圖像接收器存儲(chǔ)單元16轉(zhuǎn)移圖像數(shù)據(jù)。在數(shù)據(jù)收集的某個(gè)時(shí)間段后，存儲(chǔ)在存儲(chǔ)單元16中的圖像數(shù)據(jù)可以發(fā)送到數(shù)據(jù)處理器14或數(shù)據(jù)處理器存儲(chǔ)單元19中。例如，圖像接收器存儲(chǔ)單元16可以從患者身體上取下并經(jīng)由標(biāo)準(zhǔn)數(shù)據(jù)鏈接，例如已知結(jié)構(gòu)的串聯(lián)或并聯(lián)接口連接到包括數(shù)據(jù)處理器14和數(shù)據(jù)處理器存儲(chǔ)單元19的個(gè)人計(jì)算機(jī)或工作站。接著，圖像數(shù)據(jù)可以從圖像接收器存儲(chǔ)單元16轉(zhuǎn)移到數(shù)據(jù)處理器存儲(chǔ)單元19內(nèi)的圖像數(shù)據(jù)庫10。在其他實(shí)施例中，可以利用無線通信協(xié)議，例如藍(lán)牙、wlan、或其他無線網(wǎng)絡(luò)協(xié)議將數(shù)據(jù)從圖像接收器存儲(chǔ)單元16轉(zhuǎn)移到圖像數(shù)據(jù)庫10。

數(shù)據(jù)處理器14可以，例如根據(jù)邏輯編輯數(shù)據(jù)庫20分析和編輯數(shù)據(jù)，并向圖像監(jiān)視器18提供分析的和編輯的數(shù)據(jù)，用于例如保健專業(yè)人員觀看圖像數(shù)據(jù)。數(shù)據(jù)處理器14可以結(jié)合基本操作軟件，例如操作系統(tǒng)和設(shè)備驅(qū)動(dòng)器操作軟件以便控制數(shù)據(jù)處理器14的操作。根據(jù)一個(gè)實(shí)施例，控制數(shù)據(jù)處理器14的軟件可以包括例如以c++語言編寫和可能可選或另外語言編寫的代碼，并且可以以各種已知方法實(shí)施。

收集和存儲(chǔ)的圖像數(shù)據(jù)可以不確定地存儲(chǔ)，轉(zhuǎn)移到其他位置用于操控或分析。保健專業(yè)人員可以使用圖像來診斷，例如gi道的病理狀態(tài)，以及此外系統(tǒng)可以提供關(guān)于這些病理位置的信息。在利用數(shù)據(jù)處理器存儲(chǔ)單元19首先收集數(shù)據(jù)接著將數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)處理器14的系統(tǒng)的時(shí)候，圖像數(shù)據(jù)不是實(shí)時(shí)觀看的，其他配置允許實(shí)時(shí)或半實(shí)時(shí)觀看。

根據(jù)一個(gè)實(shí)施例，膠囊40可以在其穿越gi道時(shí)收集一系列靜止圖像。圖像可以在后面呈現(xiàn)為，例如圖像流或穿越gi道的運(yùn)動(dòng)圖像。在膠囊40花幾個(gè)小時(shí)穿越gi道時(shí)，一個(gè)或更多體內(nèi)成像器系統(tǒng)可以收集大量數(shù)據(jù)。成像器46可以以，例如每秒2到40張圖像的速率記錄圖像(可以使用其他速率，例如每分鐘4幀)。成像器46可以具有固定的或可變的幀獲取和/或發(fā)送速率。當(dāng)成像器46具有可變或適應(yīng)性幀速率(afr)時(shí)，成像器46可以在幀速率之間向后和向前切換，例如，基于參數(shù)，例如膠囊40速度、其估算位置、連續(xù)圖像之間的相似性或其他標(biāo)準(zhǔn)?？梢杂涗浛倲?shù)為數(shù)千張圖像，例如，超過300,000張圖像。圖像記錄速率、幀獲取速率、獲取圖像的總數(shù)、選擇用于編輯運(yùn)動(dòng)圖像的圖像總數(shù)以及編輯的運(yùn)動(dòng)圖像的觀看時(shí)間中的每個(gè)可以是固定的或變化的。

優(yōu)選地，膠囊40記錄和發(fā)送的圖像數(shù)據(jù)是數(shù)字彩色圖像數(shù)據(jù)，雖然在可選實(shí)施例中可以使用其他圖像形式。在示范性實(shí)施例中，根據(jù)已知方法，圖像數(shù)據(jù)中的每個(gè)幀包括256行，每行包括256個(gè)像素，每個(gè)像素包括用于色彩和亮度的字節(jié)。例如在每個(gè)像素中，色彩可以由4個(gè)子像素的馬賽克表示，每個(gè)子像素與例如紅色、綠色或藍(lán)色的原色相對(duì)應(yīng)(其中，一個(gè)原色表示兩次)。整體像素的亮度可以由一個(gè)字節(jié)(即，0-255)亮度值記錄。根據(jù)一個(gè)實(shí)施例，圖像可以依次存儲(chǔ)在數(shù)據(jù)處理器存儲(chǔ)單元19中。存儲(chǔ)的數(shù)據(jù)可以包括一個(gè)或更多像素屬性，包括色彩和亮度。

盡管信息采集、存儲(chǔ)和處理優(yōu)選由某些單元完成，本發(fā)明的系統(tǒng)和方法可以利用可選配置實(shí)踐。例如，采集信息的構(gòu)件不必包含在膠囊中，而是可以包含在適宜穿越人體內(nèi)腔的任何其他運(yùn)載體中，例如內(nèi)窺鏡、支架、導(dǎo)管、針等。

數(shù)據(jù)處理器存儲(chǔ)單元19可以存儲(chǔ)由膠囊40記錄的一系列圖像。在膠囊40穿過患者gi道運(yùn)動(dòng)時(shí)記錄的圖像可以連續(xù)組合在一起形成運(yùn)動(dòng)的圖像流或電影。

根據(jù)本發(fā)明的實(shí)施例，數(shù)據(jù)處理器14可以包括用于編輯運(yùn)動(dòng)圖像流的編輯濾波器22。編輯濾波器22可以是編輯濾波器處理器并可以由數(shù)據(jù)處理器14實(shí)施。雖然圖1所示編輯濾波器是獨(dú)立的并連接到處理器14，但在某些實(shí)施例中，編輯濾波器可以是由例如處理器14執(zhí)行的一組代碼或指令的集合。編輯濾波器22可以是一個(gè)或更多專用處理器或包括一個(gè)或更多專用處理器。編輯濾波器22可以生成原始輸入圖像集合的子集(可以刪除剩余圖像或隱藏不被看到)。編輯濾波器22可以評(píng)估邏輯數(shù)據(jù)庫20多個(gè)預(yù)定義標(biāo)準(zhǔn)中每個(gè)的每個(gè)幀中的程度或發(fā)生率。編輯濾波器22可以根據(jù)由邏輯數(shù)據(jù)庫20提供預(yù)定義標(biāo)準(zhǔn)、約束條件和規(guī)則，僅選擇圖像的子集以便形成感興趣圖像的子集。優(yōu)選地，編輯濾波器22可以僅選擇某些圖像的部分用于顯示，例如符合預(yù)定義標(biāo)準(zhǔn)的圖像部分，例如根據(jù)邏輯數(shù)據(jù)庫20中提供的一個(gè)或更多規(guī)則或標(biāo)準(zhǔn)，接收高得分的圖像部分。在選擇部分時(shí)，可以使該部分以擬合幀，因此該部分可以包括非選擇圖像數(shù)據(jù)。

根據(jù)一個(gè)實(shí)施例，編輯濾波器22可以從由一個(gè)或更多成像器46獲取的一個(gè)或更多圖像流中選擇圖像或圖像部分。圖像流可以被單獨(dú)處理，例如，每個(gè)流可以處理為單獨(dú)的流，以及圖像可以從單個(gè)成像器46獲取的每個(gè)流獨(dú)立選擇。在其他實(shí)施例中，可以合并流，例如兩個(gè)或更多流的圖像可以根據(jù)圖像獲取時(shí)間按時(shí)間先后順序進(jìn)行分類并合并為單個(gè)流。其他的分類方法是可能的，例如基于不同圖像參數(shù)，例如圖像之間的相似性，或基于由病理或異常探測(cè)器分配給圖像部分的得分。合并的流可以作為一個(gè)流處理(例如，編輯濾波器22可以從合并的流中選擇圖像，而不是分別從每個(gè)流選擇)。

為了有效觀看體內(nèi)圖像，有許多因素需要考慮，所述各種因素會(huì)影響用于不同實(shí)施例中的編輯。在一個(gè)實(shí)施例中，顯示的圖像集合包括盡可能多的圖像，其可能與保健專業(yè)人員形成患者狀況的正確診斷相關(guān)。從顯示的圖像集合忽略確保正確診斷的某些高信息量圖像是不可取的。人體組織中的病理或異常具有范圍很廣的表現(xiàn)，這使得他們?cè)谀承┣闆r下變得難以檢測(cè)。因此，編輯濾波器22可以基于特定的預(yù)先確定標(biāo)準(zhǔn)或多個(gè)預(yù)先確定標(biāo)準(zhǔn)的組合，選擇幀或幀的部分。

預(yù)先確定的標(biāo)準(zhǔn)可以包括，例如一個(gè)或更多病理檢測(cè)和/或解剖標(biāo)志檢測(cè)(例如，息肉探測(cè)器、出血探測(cè)器、潰瘍探測(cè)器、異常探測(cè)器，十二指腸探測(cè)器、脾臟探測(cè)器和/或結(jié)腸中的肝臟彎曲等，其基于幀中像素的顏色、質(zhì)地、結(jié)構(gòu)或圖案識(shí)別分析而確定)的度量或得分，由例如陰影或殘余物的特征失真或模糊的生物組織幀中可見性或視野的度量或得分，膠囊的估算位置或區(qū)域(例如，更高優(yōu)先級(jí)可以分配給經(jīng)估算已經(jīng)在感興趣特定部位獲取的幀)，膠囊在優(yōu)選部位的可能性(例如，在結(jié)腸成像過程中的結(jié)腸，在小腸成像過程中的小腸)，次要(非圖像)傳感器信息(例如，ph、壓力、確定膠囊臨近腸通道壁的傳感器的電感應(yīng))，膠囊運(yùn)動(dòng)或可動(dòng)性，膠囊方位，幀獲取或傳送速率，或上述的任何組合或衍生。在某些實(shí)施例中，使用的標(biāo)準(zhǔn)可以轉(zhuǎn)換為得分、數(shù)目或用其他標(biāo)準(zhǔn)評(píng)估前的等級(jí)，以便各種標(biāo)準(zhǔn)可以彼此相互比較。

編輯濾波器22可以基于一個(gè)或更多預(yù)先確定的標(biāo)準(zhǔn)，計(jì)算一個(gè)或更多度量、等級(jí)或得分或數(shù)目并向每個(gè)幀分配一個(gè)或更多度量、等級(jí)或得分或數(shù)目。

在某些實(shí)施例中，單個(gè)標(biāo)準(zhǔn)可用于選擇僅包含關(guān)于選擇標(biāo)準(zhǔn)的圖像部分的圖像子集用于顯示。例如，可以由息肉探測(cè)器掃描每個(gè)圖像的息肉。息肉探測(cè)器可以產(chǎn)生圖像中存在的息肉的可能性的得分，并且還可以在圖像中提供息肉的估算邊界?；诠浪愕倪吔?，僅有相關(guān)的圖像部分會(huì)被提取到選擇圖像的子集中用于顯示(請(qǐng)參見圖2作為例子)。

在某些實(shí)施例中，可以選擇幾個(gè)不同圖像部分子集用于顯示，每個(gè)子集符合不同的標(biāo)準(zhǔn)。例如，一個(gè)圖像子集可以包括與息肉存在高得分或可能性關(guān)聯(lián)的所有圖像或圖像部分，而圖像的另一個(gè)子集會(huì)呈現(xiàn)與圖像中出血或發(fā)紅檢測(cè)相關(guān)或關(guān)聯(lián)的所有圖像或部分。在某些實(shí)施例中，相同圖像可以是不同標(biāo)準(zhǔn)的兩個(gè)或更多子集的一部分。對(duì)于保健專業(yè)人員來說，既然這樣的觀看可以增加正確診斷的機(jī)會(huì)，那么，觀看包括符合相同癥狀或病理所有圖像部分的圖像子集是有益的，例如由濾波器22揭示快速發(fā)現(xiàn)正陽性(例如，實(shí)際的息肉)，以及容易識(shí)別假陽性(由濾波器22錯(cuò)誤檢測(cè)為息肉的圖像部分)。這樣的觀看可以增加內(nèi)窺鏡醫(yī)療過程的陽性預(yù)測(cè)值(或查準(zhǔn)率，其是正確診斷陽性測(cè)試結(jié)果的患者比率)。在濾波器22的結(jié)果未改變時(shí)，顯示的具體方法一方面可以促使醫(yī)師或保健專業(yè)人員更容易看見病理，另一方面可以快速忽略明確不是病理(假陽性)的圖像，從而提高真實(shí)陽性的檢測(cè)，并且減少花在單個(gè)病例中的整體診斷時(shí)間。

得分、等級(jí)或度量可以是更復(fù)雜圖像特性或圖像部分特性(例如，標(biāo)準(zhǔn)，諸如顏色變化，某些組織或結(jié)構(gòu)圖案的外觀，圖像或其部分上的光強(qiáng)度，出血檢測(cè)等)的簡(jiǎn)化表示(例如，衍生值或等級(jí)，例如整數(shù)0-100)。得分可以包括任何等級(jí)、級(jí)別、分級(jí)體系、刻度或特征或標(biāo)準(zhǔn)的相關(guān)值。通常得分是數(shù)值，例如從1到10的數(shù)字，但是不必局限與此。例如，得分可以包括例如字母(a、b、c、…)、標(biāo)記或符號(hào)(+、-)、計(jì)算機(jī)比特值(0、1)、一個(gè)或更多決定或狀態(tài)的結(jié)果(是、否)，例如一個(gè)或更多計(jì)算標(biāo)記的狀態(tài)所示的。得分可以是離散(非連續(xù)的)值，例如整數(shù)，a、b、c等，或可以是連續(xù)的，例如在0和1之間的任何實(shí)值(受計(jì)算機(jī)數(shù)字表示的精度影響)?？梢栽O(shè)置連續(xù)得分之間的任何間隔(例如，0.1、0.2、…，或1、2、…等)并且得分可以是標(biāo)準(zhǔn)化的或不是標(biāo)準(zhǔn)化的。

每個(gè)幀或其部分的得分可以與幀一起存儲(chǔ)在相同的數(shù)據(jù)庫(例如，圖像數(shù)據(jù)庫10)中。得分可以與在原始圖像流中的數(shù)據(jù)或與復(fù)制到第二編輯圖像流的幀一起定義在例如標(biāo)題或摘要幀信息包中?？蛇x地或附加地，得分可以與指向圖像的指針一起存儲(chǔ)在和圖像分隔的數(shù)據(jù)庫中(例如，邏輯數(shù)據(jù)庫20)。在獨(dú)立數(shù)據(jù)庫中的得分可以與關(guān)聯(lián)預(yù)定義標(biāo)準(zhǔn)、約束條件以及規(guī)則存儲(chǔ)在一起，以便形成被選圖像部分的子集。

通過使用得分，可以減少用于表示圖像復(fù)雜特性的數(shù)據(jù)量，從而同樣減少圖像比較的復(fù)雜性和計(jì)算工作量。例如，編輯濾波器22可以嘗試確定在圖像a部分中的標(biāo)準(zhǔn)或特征是否比在圖像b部分中的標(biāo)準(zhǔn)或特征更明顯，以及確定在圖像b部分中的標(biāo)準(zhǔn)或特征是否比在圖像c部分中的標(biāo)準(zhǔn)或特征更明顯。沒有得分，圖像b的內(nèi)容會(huì)評(píng)估兩次，一次用于和圖像a比較，接著再和圖像c比較。相反，利用得分，根據(jù)本發(fā)明的實(shí)施例，每個(gè)圖像內(nèi)容相對(duì)于每個(gè)標(biāo)準(zhǔn)僅需要評(píng)估一次，以便確定圖像得分。一旦得分被分配給圖像b或其部分，可以執(zhí)行得分的簡(jiǎn)單數(shù)值比較(例如，大于、小于或等于)以便比較攜帶圖像a和c的圖像幀。利用比較和選擇圖像的得分可以大大減少圖像內(nèi)容評(píng)估的次數(shù)和圖像比較的計(jì)算工作量。

在一個(gè)實(shí)施例中，編輯濾波器22可以分配單個(gè)組合得分，例如，標(biāo)量值，基于與多個(gè)預(yù)先確定標(biāo)準(zhǔn)中的兩個(gè)或更多關(guān)聯(lián)的組合幀屬性，對(duì)每個(gè)幀或每幀組分級(jí)。得分可以是，例如對(duì)于兩個(gè)或更多預(yù)先確定標(biāo)準(zhǔn)中每個(gè)的正常幀值或加權(quán)平均幀值。在一個(gè)例子中，每個(gè)幀可以具有分配給每個(gè)預(yù)先確定標(biāo)準(zhǔn)1、2、3、…的得分s1、s2、s3、…，以及組合幀得分s可以是得分的平均值，s＝(s1+s2+s3)/c，其中c是比例因子，或加權(quán)平均，s＝(w1*s1+w2*s2+w3*s3)/c，其中w1、w2和w3分別是每個(gè)預(yù)定義標(biāo)準(zhǔn)的權(quán)重。在另一個(gè)例子中，組合幀得分s可以是得分乘積，s＝(s1*s2*s3)/c或s＝(s1*s2+s2*s3+s1*s3)/c。

在另一個(gè)實(shí)施例中，編輯濾波器22可以為每個(gè)單獨(dú)標(biāo)準(zhǔn)單獨(dú)存儲(chǔ)每個(gè)得分。例如，每個(gè)幀可以具有“得分矢量，”s＝(s1、s2、s3，…)，其中得分矢量的每個(gè)坐標(biāo)提供用于每個(gè)幀的不同預(yù)定義標(biāo)準(zhǔn)值，以便每個(gè)標(biāo)準(zhǔn)可以獨(dú)立使用、評(píng)估和分析。通過分開每個(gè)標(biāo)準(zhǔn)的得分，編輯濾波器可以利用，例如矢量操作快速比較不同標(biāo)準(zhǔn)組合的得分。例如，當(dāng)選擇標(biāo)準(zhǔn)子集(例如，標(biāo)準(zhǔn)2和5)以產(chǎn)生用于顯示的圖像子集，編輯濾波器22可以快速檢索相應(yīng)的得分(例如，得分矢量s＝(s2，s5)的第二和第五坐標(biāo))。得分矢量可以參考任何表示或存儲(chǔ)，其將針對(duì)每個(gè)標(biāo)準(zhǔn)的單獨(dú)得分分開，例如諸如表格或數(shù)據(jù)陣列。在得分矢量中，得分可以是相同單位(例如，數(shù)字)，但也不必是。

編輯濾波器22可以分配幀加權(quán)得分，其中，相比其他的，較大的權(quán)重可以分配給某些預(yù)定義標(biāo)準(zhǔn)。例如，既然在診斷時(shí)大的息肉(例如，尺寸至少是6mm)比小的息肉(例如，尺寸是1mm)更加明顯，分配給大息肉的權(quán)重得分可以比分配給小息肉權(quán)重得分更大。不過在某些實(shí)施例中，在討論息肉時(shí)，還可以對(duì)其他病理和其他特征進(jìn)行檢測(cè)、分級(jí)或計(jì)分。用于每個(gè)標(biāo)準(zhǔn)的得分可以以任何合適方式加權(quán)或組合。在一個(gè)實(shí)施例中，一個(gè)得分的權(quán)重可以影響一個(gè)或更多其他得分的權(quán)重。例如，當(dāng)一個(gè)得分執(zhí)行預(yù)先確定的閥值時(shí)，其他得分的權(quán)重可以在組合得分中改變或可以在組合得分中添加(例如，權(quán)重從0改變到1或更多)或刪除(例如，權(quán)重從1改變到0)得分。在另一個(gè)實(shí)施例中，一個(gè)或更多得分的不同權(quán)重可用于gi道的不同各自區(qū)域。例如，當(dāng)膠囊(或估計(jì)在)在結(jié)腸中時(shí)(例如，由位置得分或在結(jié)腸中的可能性指示)，表示組織可見性的得分可以給予較小權(quán)重，這是因?yàn)榻Y(jié)腸相對(duì)寬的通道極少模糊組織可見性，因此使得定義特征的得分小于其他得分。

得分或度量可以是絕對(duì)的或彼此相對(duì)的。用于每個(gè)幀或幀部分的絕對(duì)得分可以是與用于單個(gè)幀的標(biāo)準(zhǔn)相關(guān)聯(lián)的值。用于每個(gè)幀或幀部分的相對(duì)值可以是與標(biāo)準(zhǔn)相關(guān)聯(lián)的值相對(duì)于與之前幀或毗鄰幀的標(biāo)準(zhǔn)相關(guān)聯(lián)的值的變化。絕對(duì)得分和相對(duì)得分兩者可以縮放(歸一化)或可以不縮放(歸一化)。得分可以用不同的比例因子縮放，例如對(duì)于gi道每個(gè)區(qū)域內(nèi)獲取或估算獲取的圖像，圖像流的每個(gè)片段或?qū)τ诿總€(gè)不同幀獲取和/或發(fā)送速率。

可以預(yù)先設(shè)置(例如，通過程序員或在工廠)特定預(yù)先確定標(biāo)準(zhǔn)和他們的度量、等級(jí)或在二維平鋪陣列布局中用于選擇用于顯示圖像子集的得分，由數(shù)據(jù)處理器14或編輯濾波器22自身自動(dòng)選擇和/或由用戶手動(dòng)選擇(例如，利用輸入設(shè)備24)。在一個(gè)實(shí)施例中，編輯濾波器22可以總是使用一個(gè)或更多缺省標(biāo)準(zhǔn)，例如除非由用戶修改。編輯圖形用戶界面(gui)可以使得用戶能夠從多個(gè)可能標(biāo)準(zhǔn)(例如，圖3的選擇按鈕331)中選擇，用戶從中可以選擇一個(gè)或更多。在另一個(gè)實(shí)施例中，預(yù)先確定標(biāo)準(zhǔn)可以由處理器半自動(dòng)選擇和/或由用戶半手動(dòng)選擇。例如，用戶可以通過選擇期望屬性或與電影相關(guān)聯(lián)的約束條件，例如最大電影長(zhǎng)度(例如，45分鐘或9000個(gè)圖像)，瀏覽模式(例如，預(yù)覽電影，快速瀏覽模式，病理檢測(cè)模式，結(jié)腸分析模式，小腸分析模式等)，或其他編輯約束條件，間接選擇預(yù)先確定的標(biāo)準(zhǔn)。這些參數(shù)可以轉(zhuǎn)而由處理器觸發(fā)滿足用戶所選約束條件的預(yù)先確定標(biāo)準(zhǔn)的自動(dòng)選擇。

編輯濾波器22可以確定幀或幀部分是否對(duì)應(yīng)于選擇標(biāo)準(zhǔn)，并且基于對(duì)應(yīng)水平分配得分。編輯濾波器22將每個(gè)圖像部分的得分與預(yù)先確定閥值或范圍作比較。編輯濾波器可以選擇得分超過(或小于)預(yù)先確定值或得分在預(yù)先確定范圍內(nèi)的每個(gè)幀用于顯示。相應(yīng)地，編輯濾波器22可以不選擇(或可以選擇刪除)得分低于預(yù)先確定值或得分在預(yù)先確定范圍外的每個(gè)幀用于顯示。在某些實(shí)施例中，得分閥值可以不是預(yù)先確定的，而是替以由編輯濾波器22和/或數(shù)據(jù)處理器14自動(dòng)計(jì)算?？梢?，例如基于原始圖像流中(以便輸入圖像的預(yù)先確定數(shù)量滿足閥值，或輸入圖像的預(yù)先確定百分比滿足閥值)圖像數(shù)量，基于所選擇圖像集合中要求的圖像數(shù)量(以便選擇圖像的預(yù)先確定數(shù)量滿足閥值)，或基于所選擇圖像集合的顯示時(shí)間限值(以便滿足閥值的圖像數(shù)量形成瀏覽時(shí)間少于或等于預(yù)先確定時(shí)間的選擇圖像集合，例如當(dāng)以標(biāo)準(zhǔn)或平均顯示速率瀏覽所選擇圖像集合時(shí))計(jì)算得分。在某些實(shí)施例中，用戶可以設(shè)置這些參數(shù)，而在其他實(shí)施例中，參數(shù)可以由編輯濾波器22預(yù)先確定或自動(dòng)生成。

在某些實(shí)施例中，編輯濾波器22可以修剪圖像，留下圖像的相關(guān)部分(可能在例如正方形或矩形的幀內(nèi))，以及將其存儲(chǔ)在空間布局中作為用于顯示的選擇部分?？梢曰诖偈箮贿x擇的病理探測(cè)器檢測(cè)的邊界或邊緣來修剪原始圖像或幀。例如，原始幀可以在接收例如由息肉探測(cè)器檢測(cè)的高得分后被選擇。息肉探測(cè)器可以在幀中檢測(cè)息肉并且確定或估算息肉的邊緣。編輯濾波器可以修剪原始圖像并在所選擇圖像部分中僅留下息肉(以及某些周邊像素)，包括由探測(cè)器確定的息肉邊緣。同樣，基于其他病理探測(cè)器接收到高得分的幀，可以根據(jù)確定的邊緣或檢測(cè)病理的估算邊界進(jìn)行修剪。在某些情況下，不止一個(gè)病理可以在單個(gè)幀中被檢測(cè)到，而且可以在空間布局中選擇同一幀的多個(gè)部分用于顯示。

在某些實(shí)施例中，編輯濾波器22可以選擇由膠囊40穿越的體腔中符合某些解剖標(biāo)志點(diǎn)的圖像，例如小腸入口、十二指腸、幽門、回腸末端、盲腸、脾曲或肝曲。其他解剖標(biāo)志可以由編輯濾波器22檢測(cè)和選擇用于顯示。

編輯濾波器22可以包括用于計(jì)算和比較得分的一個(gè)或更多執(zhí)行單元或集成在用于計(jì)算和比較得分的一個(gè)或更多執(zhí)行單元中，例如像適于執(zhí)行算術(shù)運(yùn)算，例如加、乘、除等的算術(shù)邏輯單元(alu)。編輯濾波器22可以是處理器(例如，硬件)操作軟件或集成在處理器操作軟件中。編輯濾波器22可以包括一個(gè)或更多邏輯門和編輯原始圖像流或生成編輯圖像流的其他硬件構(gòu)件?？蛇x地或附加地，編輯濾波器22可以作為存儲(chǔ)在例如邏輯數(shù)據(jù)庫20或另一個(gè)存儲(chǔ)器中的軟件文件實(shí)施，在此情況下，例如由數(shù)據(jù)處理器14執(zhí)行的指令順序產(chǎn)生本文所述的功能。

原始圖像流可以分成片段。可以基于不同參數(shù)，例如時(shí)間參數(shù)(例如，一分鐘期間獲取的片段)、幀數(shù)量(例如，1000個(gè)連續(xù)幀)、或與體腔內(nèi)檢測(cè)或估算的解剖區(qū)域或標(biāo)志點(diǎn)(食道、胃、小腸、升結(jié)腸、橫結(jié)腸、降結(jié)腸、盲腸、十二指腸、直腸、幽門等)相關(guān)聯(lián)的幀，來定義片段。在某些實(shí)施例中，可以使用不止一個(gè)參數(shù)同時(shí)定義片段。例如，原始圖像流的結(jié)腸片段可以由大于圖像子集中預(yù)先確定閥值的許多圖像來表示。結(jié)腸片段可以進(jìn)一步分成預(yù)先確定數(shù)量的圖像(例如，100)或預(yù)先確定的時(shí)間(例如，5秒鐘)的子片段。每個(gè)片段可以由空間布局中選擇用于顯示的至少預(yù)先確定數(shù)量的圖像或圖像部分(例如，一個(gè)或兩個(gè))表示。所選擇的圖像子集可以在屏幕或顯示器18的矩形平鋪陣列布局中顯示。

布局單元28可以確定由編輯濾波器22選擇的圖像部分在屏幕或顯示器18上的布置。雖然圖1中所示布局單元28是和處理器14隔離并連接于處理器14，在某些實(shí)施例中，布局單元28可以是由處理器14執(zhí)行的代碼或指令的集合。布局單元28可以是一個(gè)或更多專用處理器或包括一個(gè)或更多專用處理器。布局單元28可以選擇或生成原始圖像流子集的空間布置，包括選擇的圖像或其部分的空間布置。在顯示器18上圖像部分子集的空間布置可以是預(yù)先確定的，或可以由用戶選擇，例如利用圖3的選擇按鈕332從一系列可能的布局布置中選擇。

用戶可以優(yōu)選觀看僅包括選擇幀相關(guān)部分的布局，其符合預(yù)先確定或選擇的標(biāo)準(zhǔn)或規(guī)則，例如接收比某個(gè)閥值更高或更低得分的幀部分，其中所述閥值針對(duì)每個(gè)選擇標(biāo)準(zhǔn)類型來確定。例如，可以從原始輸入圖像流生成由100個(gè)圖像組成的矩形平鋪陣列，用于顯示，例如10行和10列的所選幀的相關(guān)部分。優(yōu)選地，所有部分布置成彼此相互毗鄰的，創(chuàng)建在幀部分之間沒有白色空間或背景空間的平鋪陣列，例如如圖3a-3b、4a-4c、以及5a-5b和7所示。如果顯示的布局中存在病理組織的話，由于平鋪陣列可以產(chǎn)生可疑圖像部分的同質(zhì)視圖并且病理在這樣的分布或布置中可以是引人注目或的突出的，這樣的布置可以增加病理組織的可見性。選擇的圖像部分可以基于選擇的布局、空間布置和/或柵格，例如由布局單元28調(diào)整大小到適當(dāng)?shù)某叽缁虼笮?。在某些?shí)施例中，選擇的圖像部分可以調(diào)整成單個(gè)統(tǒng)一的尺寸，其他實(shí)施例則允許在布局中顯示的圖像部分調(diào)整或縮放為不同的尺寸。

當(dāng)所選幀的相關(guān)部分由編輯濾波器22檢測(cè)出時(shí)，其可以由布局單元28布置成使得顯示的陣列具有最大均勻度或一致性。布局單元28可以應(yīng)用濾波器(例如，“均勻”濾波器)以刪除產(chǎn)生非平均、非均勻或噪音幀布局的幀部分，或?qū)τ脩粞劬哂懈蓴_效果的部分。例如，布局單元28可以最小化不必引起醫(yī)師注意的圖像部分的發(fā)生，例如幀的黑暗部分，或由于腸液或內(nèi)含物、渾濁介質(zhì)、膽汁、氣泡、圖像模糊或其他原因?qū)е碌目梢姸炔涣疾糠?。由于符合選擇標(biāo)準(zhǔn)已經(jīng)被編輯濾波器22檢測(cè)的圖像部分可以基于所選擇圖像部分內(nèi)可見度不良區(qū)域的檢測(cè)，經(jīng)受進(jìn)一步的處理或修剪。這樣的區(qū)域可以利用，例如本領(lǐng)域的已知方法檢測(cè)，例如如美國(guó)專利號(hào)7,577,283所公開的，其轉(zhuǎn)讓給本發(fā)明的共同受讓人并將其所有內(nèi)容合并于此，以供參考，尤其是，其圖3所公開的方法?？梢姸炔涣嫉膸糠挚梢詮娘@示的圖像部分修剪出來，或該圖像部分從顯示的布局中完全刪除。因此，可以在顯示的圖像部分陣列中最小化不明顯或不相關(guān)圖像部分的出現(xiàn)，以及可以增加膠囊程序的陽性檢測(cè)和診斷價(jià)值。

布局單元28可以包括用于計(jì)算和比較得分的一個(gè)或更多執(zhí)行單元，或集成在用于計(jì)算和比較得分的一個(gè)或更多執(zhí)行單元中，例如像適于執(zhí)行算術(shù)運(yùn)算，例如加、乘、除等的算術(shù)邏輯單元(alu)。布局單元28可以是處理器(例如，硬件)操作軟件。布局單元28可以包括一個(gè)或更多邏輯門和編輯原始圖像流或生成編輯圖像流的其他硬件構(gòu)件。布局單元28可以實(shí)施為存儲(chǔ)在例如邏輯數(shù)據(jù)庫20或另一個(gè)存儲(chǔ)器中的軟件文件，在此情況下，由例如數(shù)據(jù)處理器14執(zhí)行的指令順序產(chǎn)生本文所述的功能。

一旦編輯濾波器22選擇圖像部分，它可以由布局單元28合并以形成平鋪陣列布局或柵格。不同的觀看布置或在布局頁中的圖像部分分布例如如圖4a、4b和4c所述。布局中顯示的圖像部分分辨率或數(shù)量可以是預(yù)先確定的，或可以根據(jù)他/她的偏好由用戶選擇，例如利用圖3的選擇按鈕333。例如，顯示布局的不同尺寸如圖5a和5b所示。

布局單元28可以接收所選圖像部分的集合，以及可以確定在每個(gè)布局頁中將會(huì)顯示的所選圖像部分。例如，從原始圖像流的所選圖像部分的數(shù)量可以是5000。布局頁的生成或選擇的空間布局在每個(gè)布局頁中可以包括100個(gè)圖像部分。因此，每個(gè)包括不同所選圖像部分的50個(gè)非重疊布局頁可以，例如連續(xù)地(按時(shí)間先后地)或利用不同分類方法，例如選擇部分之間相似性得分的程度，由布局單元28生成并向用戶顯示。通常，醫(yī)師可以按時(shí)間先后次序優(yōu)選保持不同布局頁之間的順序，而部分的內(nèi)部布置在布局頁中不必是按時(shí)間先后的。在另一個(gè)實(shí)施例中，可以基于圖像之間相似性的程度，或可以基于編輯濾波器22生成的不同標(biāo)準(zhǔn)的得分，確定具體布局頁的圖像部分的分段。

在一個(gè)實(shí)施例中，布局頁可以以相反時(shí)間先后順序來顯示，從由成像器46獲取和由編輯濾波器22選擇的最近的圖像部分開始，并最終顯示包括較早按時(shí)間先后順序獲取的圖像部分的布局。由于其類似于結(jié)腸鏡檢查過程中的一般觀看的方向，這樣的布置可以易于醫(yī)師觀看(從肛門開始并最終到達(dá)盲腸區(qū)域或進(jìn)一步到達(dá)小腸)。

在一個(gè)實(shí)施例中，所選圖像部分可以包括從原始圖像流選擇的帖部分復(fù)制副本，其可以獨(dú)立于原始圖像流存儲(chǔ)在第二圖像流中。在另一個(gè)實(shí)施例中，所選擇的圖像部分可以包括指針或標(biāo)記集合，其指示原始幀的圖像和圖像部分被選擇并以圖像部分的矩形陣列形式顯示。顯示應(yīng)用可以例如通過顯示由標(biāo)記或指針指示的那些圖像部分而顯示所選圖像部分的一個(gè)或更多矩形陣列，并可以忽略非選擇的圖像或部分。

現(xiàn)參考圖2a和圖2b。圖2a示出圖像200的例子，其中所述圖像200疑為包含病理，例如由可包括在編輯濾波器22中的息肉探測(cè)器檢測(cè)的息肉。息肉探測(cè)器可以指示，圖像200的邊緣210和220是可疑息肉的邊緣。在一個(gè)實(shí)施例中，僅可以選擇疑似為病理幀的相關(guān)部分在柵格或空間布局中顯示。空間布局中的每個(gè)要素尺寸(在平鋪陣列中的每個(gè)圖像部分或每個(gè)平鋪顯示)可以是固定的并對(duì)所有要素是統(tǒng)一的，并且可以由用戶選擇或由系統(tǒng)預(yù)先確定。

優(yōu)選地，每個(gè)圖像部分是矩形、正方形或六角形的圖像部分，其包含可疑病理、可疑異常區(qū)域或由編輯濾波器22中選擇的編輯標(biāo)準(zhǔn)中至少一個(gè)接收高得分的區(qū)域。選擇用于顯示的部分像素中的實(shí)際尺寸可以基于圖像中檢測(cè)的可疑病理的尺寸進(jìn)行改變。在某些實(shí)施例中，將所有可疑部分或選擇圖像調(diào)整為統(tǒng)一尺寸是有益的，從而生成可疑圖像部分或選擇圖像的同質(zhì)顯示。例如，圖像200中由疑似病理的邊緣210、220指示的相關(guān)區(qū)域可以例如通過編輯濾波器22、處理器14和/或布局單元28從圖像幀提取。例如，圖像部分211、212可以從幀200提取，接著由布局單元28(或另一個(gè)處理器)修剪和調(diào)整大小到最終布局中的用于顯示的確定統(tǒng)一尺寸。在這個(gè)方法中，在原始圖像中可能呈現(xiàn)不同尺寸的不同病理的尺寸可以調(diào)整并顯示為近似統(tǒng)一的尺寸。既然圖像部分的修剪可以基于檢測(cè)的異常或病理邊緣完成，調(diào)整大小可以在不考慮圖像原始病理尺寸的情況下完成。在其他實(shí)施例中，圖像部分可以修剪成統(tǒng)一尺寸以及不調(diào)整大小，例如更小的息肉將利用由此產(chǎn)生圖像部分中更多周邊像素(例如，位于原始圖像中病理邊界外部的像素)來修剪。在某些實(shí)施例中，完整的圖像幀可以調(diào)整大小并在選擇的布局中顯示為縮略圖。例如，當(dāng)用戶在他希望標(biāo)記的具體圖像部分上點(diǎn)擊輸入設(shè)備，例如鼠標(biāo)時(shí)，這樣的功能是可行的。還在其他實(shí)施例中，基于布局頁的所選柵格和布置，圖像部分可以修剪和調(diào)整為不同的尺寸。

圖2b示出被例如布局單元28調(diào)整大小后的部分230。部分230與圖像200中部分211相對(duì)應(yīng)，并且包含可疑息肉的邊緣210。部分230從原始圖像200修剪為正方形或矩形的外形，以便適應(yīng)預(yù)先確定尺寸的平鋪布局(例如，圖像幀部分的9行和11列的)。同樣，其他編輯標(biāo)準(zhǔn)或方法(例如，出血或發(fā)紅探測(cè)器，潰瘍探測(cè)器等)可以確定圖像中可疑病理的不同外形和尺寸，以及可以修剪圖像的相關(guān)區(qū)域，使得僅僅圖像的可疑病理組織片段(以及可能的背景圖像部分)包括在矩形、正方形或六角形部分中并向用戶顯示。

現(xiàn)參考作為示范性圖形用戶界面的圖3a和3b，其根據(jù)本發(fā)明的實(shí)施例示出包含病理幀部分(3a)的例子布局和包含正常組織幀部分(息肉探測(cè)器的假陽性)的另一個(gè)例子布局。圖3a和3b所示的所有圖像部分由處理器(例如，處理器14或編輯濾波器22)例如基于息肉檢測(cè)標(biāo)準(zhǔn)自動(dòng)選擇。不過，圖3b所示布局350的所有部分包括正常健康組織，并且瀏覽平鋪布局350的醫(yī)師可以快速斷定其不包含病理，并且沒有在健康組織的圖像集合上花費(fèi)額外時(shí)間，繼續(xù)瀏覽下一個(gè)圖像部分布局。同樣，當(dāng)瀏覽圖3a中部分300集合時(shí)，醫(yī)師可以斷定包括在片段306中的部分也是健康組織。另一方面，圖3a中片段310的大部分明顯是包含息肉的病理，而在片段308中的圖像更加難以確定是否是病理性的。比起例如瀏覽可能僅包括少量偶爾發(fā)生的病理組織以及利用快速幀速率顯示的概要電影流，包括疑似病理的圖像部分的空間布局更加易于醫(yī)師瀏覽和診斷。

優(yōu)選地，用戶可以，例如利用(例如利用點(diǎn)擊或其他輸入設(shè)備點(diǎn)擊)“上一個(gè)”和“下一個(gè)”按鈕315和316來控制瀏覽每個(gè)布局花費(fèi)的時(shí)間。當(dāng)點(diǎn)擊按鈕316時(shí)，可以顯示由圖1布局單元28生成的圖像部分的下一個(gè)布局，而當(dāng)點(diǎn)擊按鈕315時(shí)可以顯示上一個(gè)布局?？梢越o用戶提供例如跳到最后布局、跳到第一布局或向前或向后略過幾個(gè)布局的其他按鈕330。在一個(gè)實(shí)施例中，顯示可以包括時(shí)間/組織滑條314，例如如轉(zhuǎn)讓給本發(fā)明的共同受讓人的美國(guó)專利7,215,338所述?；瑮l314可以包括光標(biāo)324，其可以指示當(dāng)前圖像部分布局采用原始圖像流獲取時(shí)間的哪個(gè)區(qū)域。這樣的指示可能是有益的，例如協(xié)助醫(yī)師評(píng)估病理位于體腔的區(qū)域或解剖范圍。光標(biāo)324可以例如根據(jù)在顯示設(shè)備上當(dāng)前顯示的圖像布局，根據(jù)當(dāng)前布局中圖像數(shù)量；或根據(jù)從中選擇顯示圖像(或部分)的圖像的數(shù)量，來改變其尺寸或?qū)挾??？梢栽谝粋€(gè)平鋪或圖像部分例如325選擇之時(shí)顯示窗口311、312和313，并且可以顯示從其修剪部分325的完整圖像幀312，以及下一個(gè)和上一個(gè)完整圖像幀311和313，正如它們出現(xiàn)在原始(輸入)圖像流中一樣，可以出現(xiàn)在選擇的圖像子集中或概要電影中。在一個(gè)例子中，例如在輸入設(shè)備(例如鼠標(biāo))在布局中一個(gè)圖像部分上運(yùn)動(dòng)時(shí)，完整圖像幀312和上一個(gè)以及下一個(gè)幀311和313可以自動(dòng)顯示給用戶。圖像部分的選擇或用鼠標(biāo)雙擊，例如，可以打開包括所選圖像部分的圖像流片段(例如，在所選圖像或提取部分的圖像之前的少量圖像和之后的少量圖像)。在某些實(shí)施例中，在布局頁標(biāo)記圖像部分可以將圖像自動(dòng)標(biāo)記為原始圖像流中的縮略圖。工作站可以接收陣列中所選圖像的用戶指示(例如，經(jīng)由點(diǎn)擊設(shè)備)和顯示與所選圖像相對(duì)應(yīng)的完整圖像幀。在一個(gè)實(shí)施例中，用戶可以選擇一個(gè)或更多幀部分325、326，并將它們標(biāo)記為例如縮略圖，并增加注解、書簽或注釋。這些選擇的縮略圖可以被存儲(chǔ)并在后面例如以自動(dòng)生成報(bào)告呈現(xiàn)給用戶，或在觀看原始電影流或概要電影流時(shí)。

選擇標(biāo)準(zhǔn)按鈕331可以包括一系列選擇標(biāo)準(zhǔn)或規(guī)則，用戶可以據(jù)此選擇確定哪些圖像部分選擇用于布局頁中顯示。選擇標(biāo)準(zhǔn)按鈕331可以包括高級(jí)別檢測(cè)選項(xiàng)，例如息肉檢測(cè)、病變檢測(cè)、炎癥檢測(cè)、出血檢測(cè)等。在一個(gè)實(shí)施例中，用戶可以選擇一個(gè)或更多規(guī)則/標(biāo)準(zhǔn)，而其他實(shí)施例則允許事先預(yù)先確定標(biāo)準(zhǔn)或預(yù)編程標(biāo)準(zhǔn)。用戶可以決定，例如僅選擇指示為可疑出血圖像的圖像部分，或可以選擇觀看由至少一個(gè)可用探測(cè)器檢測(cè)為可疑病理的所有圖像。選擇布置按鈕332使得用戶能夠在布局中選擇圖像部分的特定空間布置。圖4a-4c中圖像部分的幾個(gè)空間布局描述如下。選擇布局陣列按鈕333使得用戶能夠選擇將在陣列的行和列中出現(xiàn)的圖像部分的數(shù)量和/或尺寸。

在某些實(shí)施例中，布局單元28可以接收多個(gè)圖像流，例如由膠囊40的一個(gè)或更多成像器46獲取的圖像流，例如圖1的成像頭57和58?？梢砸詭讉€(gè)不同的顯示方法布置多個(gè)流。例如，可以選擇獨(dú)立圖像流的同時(shí)呈現(xiàn)，在單個(gè)布局中顯示每個(gè)圖像流的幾個(gè)圖像部分。在一個(gè)實(shí)施例中，布局的左邊可以包括成像頭57的所選圖像部分，而在布局的右邊，可以布置成像頭58的所選圖像部分。在另一個(gè)例子中，獨(dú)立成像頭之間的布局劃分可以是動(dòng)態(tài)的，例如基于每個(gè)成像頭57和58在某個(gè)時(shí)間段所選圖像部分的數(shù)量。例如在10分鐘的圖像獲取程序內(nèi)，從一個(gè)成像器選擇30幅圖像，而從另一個(gè)成像器選擇70幅圖像。在一個(gè)實(shí)施例中，可以在單個(gè)布局屏幕中同時(shí)顯示100幅圖像部分，成像頭57的30幅圖像部分可以位于布局的左列，而成像頭58的70幅圖像部分可以位于布局頁的剩余(右)列。用戶可以改變成像頭之間的內(nèi)部布局布置，例如將成像頭57的圖像布置在布局的頂行，以及成像頭58的圖像布置在布局的底部。在另一個(gè)實(shí)施例中，布局可以僅包括單個(gè)成像器的圖像部分。第一布局頁可以顯示由成像頭57獲取的所選圖像部分，而下一個(gè)布局頁可以顯示由成像頭58獲取的所選圖像部分。其他布置是可能的。

由單個(gè)成像程序生成的布局頁集合的空間布置可以是一致的，例如一旦用戶為第一布局頁選擇優(yōu)選的布局布置，其將會(huì)被存儲(chǔ)并用于所有布局頁。用戶眼睛對(duì)所選布局布置中圖像部分的分布會(huì)變得習(xí)慣。利用相同布局布置可以增加瀏覽過程的效率，這是由于用戶逐漸習(xí)慣該布置，并且可以更容易識(shí)別病理圖像部分，和/或可以更快速檢測(cè)解剖標(biāo)志點(diǎn)。

現(xiàn)參考圖4a、4b和4c，其是根據(jù)本發(fā)明實(shí)施例的顯示布局的不同空間布置?？梢允褂貌煌瑓?shù)定位屏幕上的圖像部分。例如，可以根據(jù)圖像(或部分)的照明度，根據(jù)獲取圖像的時(shí)間先后順序，根據(jù)圖像部分之間的相似程度，根據(jù)顏色參數(shù)(例如，在rgb部分，r像素的部分中值)或基于其他特征，例如用于從原始獲取的圖像流選擇圖像部分的標(biāo)準(zhǔn)或特征的得分，對(duì)圖像部分進(jìn)行分類。不同空間布局布置可以為用戶提供更好觀看體驗(yàn)，以及可以減少圖像部分布局和/或圖像流的整體觀看時(shí)間。用于定位幀部分的另一個(gè)參數(shù)可以是按時(shí)間順序圖像之間的相似程度，所述按時(shí)間順序圖像優(yōu)選保持連續(xù)或在柵格或陣列的相同區(qū)域，而不是在布局中是分開的。圖像可以基于得分、時(shí)間或其他標(biāo)準(zhǔn)在空間排序。

圖4a示出陣列中圖像部分空間布置的第一例子。根據(jù)預(yù)先確定的標(biāo)準(zhǔn)，圖像部分從圖像子集提取，圖像子集從原始獲取圖像集合選擇。在這個(gè)例子中的圖像部分按時(shí)間先后順序顯示，在陣列中以從左列到右列(在每列中，圖像從上到下按時(shí)間先后順序布置)布置。根據(jù)增加的獲取時(shí)間，首先通過列(例如，從上到下)，接著通過行(例如，從左到右或反之亦然)布置?？梢允褂闷渌判蚍椒ǎ缈梢愿鶕?jù)減少的獲取時(shí)間布置圖像部分，以及可以使用時(shí)間之外的標(biāo)準(zhǔn)(例如，相似性，由一個(gè)或更多探測(cè)器接收的得分或在編輯濾波器22中使用的標(biāo)準(zhǔn))。示出的圖像部分的布局可以表示，例如在某個(gè)時(shí)間幀獲取的原始圖像流的片段。例如，圖像部分1401-1488可以從膠囊穿過體腔的幾分鐘時(shí)間內(nèi)獲取的圖像中提取，例如在原始圖像流的最后10分鐘時(shí)間內(nèi)提取的圖像。部分1401從這樣的圖像提取，該圖像從原始圖像流獲取的時(shí)間比獲取部分1402-1488的圖像要早，在1401的獲取時(shí)間之后從獲取的圖像提取部分1402等。根據(jù)獲取的時(shí)間先后順序來布置選擇部分的一個(gè)優(yōu)勢(shì)是：類似的圖像部分可以一個(gè)接著一個(gè)顯示，這是由于當(dāng)膠囊在相同位置時(shí)，幾個(gè)獲取的圖像的順序以獲取時(shí)間戳的順序而顯示。例如，順序420和421是由于時(shí)間先后順序的空間布置而保持在一起的類似圖像部分的例子。

在某些實(shí)施例中，向用戶顯示的所選圖像部分的數(shù)量可以是預(yù)先確定的或由用戶選擇。標(biāo)準(zhǔn)探測(cè)器的敏感度，例如確定布局中圖像部分是否被選擇用于顯示的一個(gè)或更多閥值可以相應(yīng)調(diào)整，使得可以基于選擇標(biāo)準(zhǔn)選擇用于顯示的所需圖像數(shù)量。例如，所選圖像部分的數(shù)量可以是預(yù)先確定的常數(shù)，例如5000幅圖像或其部分，或可以是變化的參數(shù)，其可以取決于，例如通過基于選擇標(biāo)準(zhǔn)的一個(gè)或更多預(yù)先確定閥值的圖像數(shù)量。如果更多圖像被選擇，由于向用戶呈現(xiàn)更多信息，顯示布局的敏感度會(huì)增加，并且某些感興趣圖像不被顯示的可能性減少。另一方面，當(dāng)用于顯示的圖像部分的數(shù)量增加時(shí)，假陽性圖像的數(shù)量(例如，描述健康組織或與健康組織相對(duì)應(yīng)的圖像，但是無論如何通過至少一個(gè)病理檢測(cè)/選擇標(biāo)準(zhǔn)的閥值)會(huì)增加，從而減少空間布局瀏覽的效率。

圖4b示出所選圖像部分在陣列或布局中的不同空間布置，其中圖像部分2436、2437、2444、2445示出腸腔區(qū)域。腸腔區(qū)域是圖像中描述黑暗腔孔或與黑暗腔孔相對(duì)應(yīng)的圖像部分，其可以顯示開放內(nèi)腔或部分封閉或完全封閉的內(nèi)腔。在如圖4b所示的空間布置中，描述腸腔區(qū)域的部分在布局中央顯示，而包含組織壁(例如，2401、2402、2409、2486、2487、2488等)的圖像部分被定位在布局的周邊。可以由例如布局單元28，利用不同技術(shù)，例如平均圖像強(qiáng)度，圖像中黑洞的檢測(cè)，或本領(lǐng)域已知的其他方法，檢測(cè)包含腸腔部分的圖像。在一個(gè)實(shí)施例中，可以利用例如圖像強(qiáng)度值，估計(jì)從成像組織到成像設(shè)備光學(xué)系統(tǒng)的距離。在另一個(gè)例子中，圖像的黃色程度(例如，rgb圖像藍(lán)色平面的平均強(qiáng)度值或中間強(qiáng)度值，或基于藍(lán)色平面生成直方圖的最大值，或b/r的平均值或中間值)可以指示組織距離成像設(shè)備太遠(yuǎn)，例如由于可能存在于光學(xué)系統(tǒng)與組織之間的膽汁。圖像的粉紅色色度可以指示成像設(shè)備更靠近組織壁?？梢允褂萌魏纹渌嚯x評(píng)定方法，或估算膠囊40到成像組織的距離的任何方法。布局單元28可以確定例如圖像部分中藍(lán)色像素的平均值或中間值，以及基于這樣的值估算圖像部分到成像設(shè)備的大概距離。在布局中央和布局周邊的組織壁部分中的內(nèi)腔圖像部分的空間布置可以類似于膠囊40獲取的典型單個(gè)圖像的結(jié)構(gòu)。尤其當(dāng)穿過小腸時(shí)，或膠囊40在結(jié)腸中向前移動(dòng)時(shí)，膠囊成像系統(tǒng)一般可以被引導(dǎo)到腸腔區(qū)域的中央，并且獲取的圖像可以包含定位在圖像外圍的臨近組織部分和幾乎在圖像中央的開放內(nèi)腔部分。

在某些實(shí)施例中，類似圖像的順序，例如順序440、441和/或442，可以由布局單元28(或另一個(gè)處理器)檢測(cè)，并且可以保持在布置布局的連續(xù)位置，以便盡可能保持布局是統(tǒng)一的，既然病理在布置布局中會(huì)引人注意，那么這會(huì)方便或簡(jiǎn)化醫(yī)師識(shí)別病理的過程。既然在掃描布局時(shí)，多個(gè)連續(xù)病理組織部分比單個(gè)病理組織部分更加引人注意，那么以連續(xù)或在相同相鄰區(qū)域或在相同布局區(qū)域共同保持類似圖像或類似圖像部分將有助于醫(yī)師甄別健康組織和病理組織。類似地，當(dāng)觀看者瀏覽多個(gè)健康組織部分時(shí)，同質(zhì)布置可以促使健康部分與其他健康組織部分在布局中看上去混雜在一起，并且可以由醫(yī)師快速掃描，從而減少可疑圖像部分布局的整體瀏覽時(shí)間。

圖像或圖像部分之間的相似性可以利用emd(推土機(jī)距離)技術(shù)就連續(xù)幀像素的色彩值，兩個(gè)圖像之間的歐幾里德差異(或歸一化差異)，或圖像(和/或圖像部分)之間歸一化互相關(guān)聯(lián)來實(shí)施。在相似性確定之前，圖像可以例如以增益和曝光時(shí)間進(jìn)行歸一化。當(dāng)多個(gè)圖像部分被確定為相似時(shí)(例如，通過某個(gè)預(yù)先確定相似性閥值)，可以在布局中將部分保持在一起，例如在行中(例如，順序440)、在列中(例如，順序441)以連續(xù)順序相互毗鄰顯示，或以其他方式相互毗鄰顯示(例如，順序442)。一旦確定布局中待顯示圖像部分的順序，可以根據(jù)空間布置選擇通過空間布置不同順序來產(chǎn)生布局。雖然順序與它們?cè)诓季种卸ㄎ恢g的次序會(huì)改變，但是每個(gè)順序內(nèi)的次序會(huì)按時(shí)間先后保持。

圖4c示出陣列中所選圖像或圖像部分空間布置的另一個(gè)實(shí)施例。在這個(gè)陣列或布局中，描述附近組織壁的部分被定位在布局的底行中(例如，部分3408的行，部分3407的行)，而描述腸腔孔或區(qū)域(或遠(yuǎn)離膠囊40的組織)的部分被定位在布局的頂行中(例如，部分3401的行，部分3402的行)。當(dāng)用戶利用這樣的布置瀏覽圖像部分時(shí)，他的大部分精力會(huì)被引導(dǎo)到屏幕的頂部，這是由于頂部通常包括描述更多信息的圖像。其他空間布置是可能的，例如以蛇樣方式定位圖像部分。類似的部分可以以順序，例如順序450保持。

在某些實(shí)施例中，圖像部分在布局中的空間布置可以基于空間填充曲線(也稱為皮亞諾曲線)，其是范圍包含整個(gè)二維單位平方的曲線。圖像部分可以沿皮亞諾曲線布置，其中所述皮亞諾曲線可以與選擇的柵格或陣列尺寸相關(guān)聯(lián)，例如希耳伯特曲線。圖像部分可以沿皮亞諾曲線布置，例如按時(shí)間先后，或可以基于相似性或其他標(biāo)準(zhǔn)(例如，編輯濾波器22中的標(biāo)準(zhǔn))首先分類。例如，如果圖像部分基于相似性沿皮亞諾曲線布置，那么由于相似圖像部分可以相互就近布置，一個(gè)圖像部分與毗鄰或鄰近圖像部分之間沒有大的跳躍或不同，那么可以實(shí)現(xiàn)布局的更好一致性和均勻性。

現(xiàn)參考圖5a和5b，其描述用于顯示的不同圖像部分陣列或布局類型。在圖5a中，顯示圖像部分的七行和九列，其提供78％的高-寬比(行的數(shù)量除以列的數(shù)量)。在圖5b中，顯示10行和12列，其提供83％的高-寬比。其他高-寬比是可能的，并且在一個(gè)實(shí)施例中，用戶可以根據(jù)他的個(gè)人偏好，例如利用“選擇布局陣列”按鈕333，選擇和/或改變?cè)谛谢蛄兄酗@示的圖像部分?jǐn)?shù)量。在一個(gè)實(shí)施例中，可以通過用戶界面向用戶提供許多預(yù)先確定布局選項(xiàng)供其選擇，而其他實(shí)施例可以允許用戶自由選擇在單個(gè)布局中將同時(shí)顯示的圖像部分的行和列的數(shù)量。在單個(gè)屏幕上觀看更多圖像可以減少每個(gè)布局觀看時(shí)間，不過，會(huì)使觀看效率更低。在另一個(gè)例子中，選擇的陣列類型可以包含圖像部分的不同尺寸窗口。例如，頂行可以包含更大圖像部分，以及底行可以包含更小圖像部分。當(dāng)選擇或確定用于顯示的陣列時(shí)，用戶可以確定在單個(gè)陣列中顯示的圖像部分的數(shù)量，顯示的行和列的數(shù)量，和/或每個(gè)圖像部分的尺寸。

不同的參數(shù)可以影響在單個(gè)屏幕上同時(shí)顯示的所選高-寬比。例如，用戶可以在屏幕上快速瀏覽布局，并確定在當(dāng)前布局頁是否存在病理組織。高-寬比可以反映瀏覽所有圖像部分需要的觀看時(shí)間、被顯示圖像部分的尺寸以及人眼高效瀏覽沒有忽略信息的數(shù)據(jù)量之間的權(quán)衡。一個(gè)觀看者到另一個(gè)觀看者可以改變最佳高-寬比。

現(xiàn)參考圖6，其示出根據(jù)本發(fā)明實(shí)施例的顯示布置的圖像布局方法的流程圖。在步驟600，可以從體內(nèi)成像設(shè)備接收原始圖像流。原始圖像流通?？梢园ㄓ沙上裨O(shè)備在體內(nèi)成像過程中獲取的，或預(yù)過濾的或除此以外其他方式編輯的每個(gè)圖像。原始圖像流可以通過例如圖1設(shè)備12的無線接收設(shè)備接收，和/或在例如圖1工作站11的專用工作站或計(jì)算機(jī)中接收。

在步驟610，符合一個(gè)或更多預(yù)先確定標(biāo)準(zhǔn)(例如，病理或解剖標(biāo)志)或與一個(gè)或更多預(yù)先確定標(biāo)準(zhǔn)相對(duì)應(yīng)的圖像或圖像部分可以從原始圖像流選擇。標(biāo)準(zhǔn)可以由用戶確定，例如利用圖3的選擇按鈕331從列表中選擇標(biāo)準(zhǔn)，或可以是預(yù)先確定的，例如預(yù)編程并存儲(chǔ)在圖1的濾波器22中或數(shù)據(jù)處理器14中。在某些實(shí)施例中，根據(jù)選擇標(biāo)準(zhǔn)的圖像部分選擇可以指示圖像部分包括一個(gè)或更多可疑病理，例如出血、炎癥、息肉、病變、乳糜瀉、腫瘤、克羅恩病等。在另一個(gè)例子中，用戶可以希望確定圖像流的精確解剖標(biāo)志點(diǎn)，并且可以選擇符合解剖標(biāo)志檢測(cè)的標(biāo)準(zhǔn)。

在某些實(shí)施例中，所選圖像部分?jǐn)?shù)量可以預(yù)先確定，或由用戶設(shè)置，或取決于通過(例如，可調(diào)整的)選擇標(biāo)準(zhǔn)閥值的圖像部分的數(shù)量。

在步驟620，在空間布局中顯示的柵格或陣列尺寸(例如，圖像部分行的數(shù)量和列的數(shù)量)可以由用戶，例如利用按鈕333確定。在某些實(shí)施例中，柵格尺寸可以是預(yù)先選擇的，例如存儲(chǔ)在圖像布局單元28中。所選圖像部分沿布局頁的空間布置或分布可以由用戶選擇(利用按鈕332)或是預(yù)先選擇的并存儲(chǔ)在布局單元28中。例如，用戶可以在每個(gè)布局頁中選擇8行和11列圖像部分的統(tǒng)一尺寸陣列，并且圖像部分在布局中的內(nèi)部分布可以取決于獲取圖像的成像頭數(shù)量，并基于用戶的顯示偏好。布局中圖像部分不同內(nèi)部分布的例子包括但不限于沿陣列的列和/或行的按時(shí)間先后順序，所選圖像部分之間的相似程度，基于膠囊圓頂54到圖像部分中目標(biāo)估算距離的圖像部分的分布等。

可以在步驟630根據(jù)屏幕顯示器的分辨率屬性，例如基于選擇的柵格布置和尺寸或基于其他標(biāo)準(zhǔn)，將圖像部分大小調(diào)整到適當(dāng)大小或尺寸。在一個(gè)實(shí)施例中，所有圖像部分可以被調(diào)整為統(tǒng)一的尺寸，接著可以布置在矩陣布局中，例如統(tǒng)一尺寸圖像部分的矩形陣列。在另一個(gè)實(shí)施例中，用于顯示的所選陣列或布局可以包括不同尺寸的圖像部分，例如較大部分可以位于布局的中間，以及較小部分可以位于布局的周邊，或反之亦然(較小部分在陣列的中央以及較大部分在陣列的周邊)。其他布局分布也是可能的。

在某些實(shí)施例中，優(yōu)選將調(diào)整大小的圖像部分定位成它們之間是沒有空間，使得圖像部分的邊緣接觸毗鄰部分的邊緣。在某些實(shí)施例中，圖像部分在布局中呈現(xiàn)的邊緣可能是模糊的和/或褪色的，從而減少圖像部分之間的可見邊界。根據(jù)選擇的空間布局布置和柵格尺寸，可以在步驟640顯示調(diào)整大小后的圖像部分?？梢园ㄆ渌襟E，在某些實(shí)施例中，可以不執(zhí)行所有步驟。

現(xiàn)參考圖7，其示出根據(jù)本發(fā)明實(shí)施例的屏幕顯示和圖形用戶界面(gui)的例子，其中所述gui具有一組編輯工具，顯示在監(jiān)視器，例如圖1監(jiān)視器18上。

在圖7中，向用戶顯示的圖像部分或體內(nèi)圖像為一個(gè)或更多組，拼貼或布置，例如組、陣列或六角形2032的柵格2030，在這個(gè)例子中是一個(gè)接著一個(gè)接觸的。柵格或組布局可以包括六角形邊界或外形的圖像。

雖然圖7的實(shí)施例示出六角形的某些數(shù)量和布置，但是在其他實(shí)施例中，可以使用其他布置和數(shù)量。組2030可以顯示為圖像流。例如，一系列六角形組可以在相同位置串聯(lián)顯示，就如顯示圖像流或電影一樣，不同之處在于每個(gè)時(shí)間段顯示多幅圖像而不是每個(gè)時(shí)間段顯示一幅圖像。圖7中的控制或按鈕可以類似于關(guān)于圖3中所描述的。

在其他實(shí)施例中，六角形不需要接觸，或可以使用邊界。在一個(gè)實(shí)施例中，每個(gè)六角形顯示一個(gè)圖像幀或幀或其部分。

在一個(gè)實(shí)施例中，由成像器，例如設(shè)備40的光學(xué)系統(tǒng)產(chǎn)生的圖像通常是圓形的。圓形的圖像或圖像部分顯示為六角形或在六角形的窗口或部分中顯示，在將其擬合到六角形外形時(shí)，會(huì)允許刪除或切除比圖像的例如正方形外形顯示更少的圖像。六角形圖像可以比圓形圖像更好嵌入或擬合在一起，并且可以平鋪六角形以便非常高效地使用屏幕或顯示器的區(qū)域。如果圖像失真占用視窗或外形的全部區(qū)域，利用六角形作為外形比利用正方形外形或圖形允許更少的失真。在某些實(shí)施例中，正方形外形的失真會(huì)導(dǎo)致片張(patch)邊角周圍的失真，使得毗鄰片張之間的邊緣更明顯以及屏幕的觀看以及從相鄰圖像到相鄰圖像的轉(zhuǎn)移較不流暢。這樣的優(yōu)勢(shì)在某些片張基于整個(gè)或基本上整個(gè)幀而顯示時(shí)變得更加突出。

為了將圓形圖像擬合成六角形圖像或擬合在六角形圖像內(nèi)，可以修剪或切除圖像的外部區(qū)域，或圓形圖像可以翹曲或變形(例如，利用失真最小映射)成六角形外形。例如，將最有可能的六角形應(yīng)用于圖像，刪除在六角形外部的圖像像素?？梢允褂眠@些技術(shù)的組合。在優(yōu)選實(shí)施例中，使用翹曲或失真而不是修剪，以便沒有數(shù)據(jù)丟失。

在一個(gè)實(shí)施例中，由成像設(shè)備獲取的普通圖像包括包含有用信息，術(shù)語稱為有效掩模碼的內(nèi)部圓形部分，其由黑暗或除此以外其他無用部分環(huán)繞(通常從內(nèi)部圓形部分延伸到正方形邊界)。在有效掩模碼外面的最外部的部分可以放棄。減少圖像外圍的黑暗區(qū)域會(huì)導(dǎo)致更加流暢或更加連續(xù)的圖像拼貼或組裝，以及相鄰圖中之間的更流暢轉(zhuǎn)移(例如，由于昏暗照明導(dǎo)致黑暗邊界的缺失或減少)。

例如由于漸暈效應(yīng)、向視野外部的光線或照明的減少，圖像的外部區(qū)域不是那么有用。

在一個(gè)實(shí)施例中，共形映射可用于將圓形圖像翹曲成六角形幀或與之相符。共形映射可能是計(jì)算密集的，因此在某些實(shí)施例中，可以進(jìn)行一次離線共形映射計(jì)算，或在從患者收集實(shí)際圖像之前。

若使用離線計(jì)算，可以進(jìn)行一次映射，例如在收集特定患者圖像之前(以及映射可以在實(shí)際從患者收集之后應(yīng)用于圖像)，或在圖像被全部處理之前(以及可以在處理期間接著應(yīng)用映射)。映射可以從標(biāo)準(zhǔn)圓形到標(biāo)準(zhǔn)六角形計(jì)算，或從特定膠囊接收的數(shù)據(jù)定義的圓形計(jì)算。這個(gè)變換可以是共形映射。這個(gè)初始計(jì)算可以僅進(jìn)行一次(如果有效掩模碼是已知的或預(yù)先確定的，或視為對(duì)所有膠囊是有效的)，并且將結(jié)果保存在文件中(在一些分辨率中)或者是顯示軟件或顯示系統(tǒng)的一部分。這個(gè)初始計(jì)算可以對(duì)每個(gè)使用的膠囊進(jìn)行一次，并且在輸入掩模碼在視頻到視頻或在膠囊到膠囊之間改變時(shí)，將結(jié)果應(yīng)用于特定膠囊的圖像。計(jì)算可以應(yīng)用于從患者收集的每個(gè)幀。

在某些實(shí)施例中，也可以使用在線計(jì)算。

可以使用其他用戶界面功能，以及可以使用編輯工具的組合。

本發(fā)明的實(shí)施例可以包括完成本文所述操作的設(shè)備。這樣的設(shè)備可以是專門構(gòu)造用于特定目的，或可以包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序有選擇地激活或再配置的通用計(jì)算機(jī)。這樣的計(jì)算機(jī)程序可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，例如但不限于任何類型的盤，包括軟盤、光盤、cd-roms、磁光盤、只讀存儲(chǔ)器(roms)、隨機(jī)存儲(chǔ)器(rams)、電可編程只讀存儲(chǔ)器(eproms)、電可擦除和可編程只讀存儲(chǔ)器(eeproms)、磁卡或光卡，或適于存儲(chǔ)電子指令并能夠聯(lián)結(jié)到計(jì)算機(jī)系統(tǒng)總線的任何其他類型的介質(zhì)。

本文所述過程和顯示不是固有地與任何特定計(jì)算機(jī)或其他裝置相關(guān)。可以根據(jù)本文所述教導(dǎo)的程序使用各種通用系統(tǒng)，或可以構(gòu)建實(shí)施期望方法的更專用的裝置以證明其便利性。應(yīng)當(dāng)理解，可以使用各種編程語言來實(shí)施本文所述發(fā)明的教導(dǎo)。

本發(fā)明實(shí)施例的前面描述僅用于說明和描述目的。其不是為了窮舉或限制本發(fā)明于公開的精確形式。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)明白，根據(jù)上述教導(dǎo)做出的許多修改、改變、替換、變化及其等同物是可能的。因此，應(yīng)當(dāng)理解，附屬的權(quán)利要求是為了覆蓋落入本發(fā)明真正精神范圍內(nèi)的所有此類修改和變化。