專利名稱：消化道圖像二維平面表示方法
技術(shù)領(lǐng)域：
本發(fā)明涉及臨床觀察與腸道疾病診斷輔助設(shè)備技術(shù)領(lǐng)域，特別涉及一種消化道圖像二維平面表示方法。
背景技術(shù)：
近十年來(lái)，隨著微電子、微機(jī)械、信息處理、無(wú)線通信等技術(shù)的迅速發(fā)展，醫(yī)用內(nèi)窺鏡技術(shù)的發(fā)展得到了極大的推動(dòng)。以無(wú)線膠囊內(nèi)視鏡系統(tǒng)(Wireless Capsule Endoscopy) 為代表，通過(guò)被檢者吞服內(nèi)置具有無(wú)線功能微型攝像機(jī)的膠囊，可以完成對(duì)人體消化道，特別是小腸腔體的檢查。該技術(shù)的獨(dú)特優(yōu)勢(shì)在于不僅實(shí)現(xiàn)了無(wú)痛診斷，同時(shí)也突破了常規(guī)內(nèi)窺鏡無(wú)法實(shí)現(xiàn)對(duì)小腸進(jìn)行直接檢查的局限性。目前，其已被廣泛應(yīng)用于對(duì)食道與小腸進(jìn)行檢查的醫(yī)療診斷中?，F(xiàn)有無(wú)線膠囊內(nèi)視鏡由于其內(nèi)置的圖像傳感器的個(gè)數(shù)有限，且單個(gè)傳感器的拍攝視角也有限，因此造成內(nèi)視鏡檢查過(guò)程中漏拍現(xiàn)象嚴(yán)重，而在專利CN101499090、 CN101579227中提出了一種全新的無(wú)線球囊內(nèi)視鏡系統(tǒng)，內(nèi)置6個(gè)圖像傳感器，使得獲取消化道全面信息成為可能。通過(guò)對(duì)內(nèi)視鏡拍攝到的圖像進(jìn)行瀏覽與觀察，醫(yī)生可以對(duì)人體消化道病變，如出血、潰瘍或其它異常做出相應(yīng)的診斷。但是目前的情況是，從進(jìn)行患者消化道影像瀏覽和觀察開(kāi)始，到最終給出診斷結(jié)果需要花費(fèi)醫(yī)生相當(dāng)長(zhǎng)的時(shí)間，平均在2個(gè)小時(shí)左右，且很大程度上依賴于醫(yī)生的經(jīng)驗(yàn)。原因主要來(lái)自兩個(gè)方面一是進(jìn)行一次無(wú)線內(nèi)視鏡檢查所采集到的消化道影像數(shù)據(jù)量相當(dāng)大(約57，600幀影像)；另一方面，由于體腔內(nèi)膠囊的前進(jìn)動(dòng)力來(lái)自于消化道的蠕動(dòng)力和重力，造成膠囊運(yùn)動(dòng)的隨機(jī)性較大，從而使得其內(nèi)部圖像傳感器拍攝視角的隨機(jī)性也較大，這樣拍攝得到的影像與常規(guī)內(nèi)視鏡影像差別較大，不適合醫(yī)生的正常觀察。另外，采集的圖像分辨率過(guò)低(256X256)也是造成醫(yī)生閱片時(shí)間較長(zhǎng)的一個(gè)重要原因。如果能夠針對(duì)采集圖像的特點(diǎn)，將消化道管腔的圖像展開(kāi)成二維平面的顯示形式，同時(shí)丟棄那些重復(fù)的圖像內(nèi)容，將會(huì)大大提高圖像的易懂性，明顯突出病變的形態(tài)，從而減少醫(yī)生觀察瀏覽消化道圖像所需的時(shí)間，提高診斷的準(zhǔn)確率和效率。利用無(wú)線膠囊內(nèi)視鏡圖像進(jìn)行消化道腔體二維展開(kāi)的技術(shù)研究方面，在可見(jiàn)的報(bào)道中，已提出一種可變形環(huán)模型(Model of Deformable Rings，MDR)，并結(jié)合張力計(jì)算、彈性匹配、速度估計(jì)和相異測(cè)量等，最后形成基于該模型的胃腸道的二維展開(kāi)圖。但是該模型基于對(duì)膠囊內(nèi)視鏡運(yùn)動(dòng)的檢測(cè)，這種模型只能追蹤膠囊向前或向后的平穩(wěn)運(yùn)動(dòng)，當(dāng)它朝側(cè)面運(yùn)動(dòng)或翻轉(zhuǎn)時(shí)，產(chǎn)生的拼接圖則并不是胃腸道的準(zhǔn)確描述，且由于膠囊拍攝視角的問(wèn)題， 腸道的腔體對(duì)圖像的拼接造成了影響，使得最后的拼接效果圖并不理想，雖然文章中提到該模型產(chǎn)生的展開(kāi)圖能夠減少醫(yī)生診斷的時(shí)間，但是效果有限，事實(shí)上很大程度上是由于膠囊運(yùn)動(dòng)的隨機(jī)性，使獲得的展開(kāi)圖并不完全是消化道的二維展開(kāi)，其中還有很多無(wú)效信息。另外，在專利CN101716077A中提出了一種基于無(wú)線膠囊內(nèi)視鏡系統(tǒng)的圖像處理方法，但是由于其并沒(méi)有解決上述提到的拍攝視角及腸道腔體的影響，根據(jù)該方法產(chǎn)生的腸道內(nèi)壁圖也很難達(dá)到理想，同樣會(huì)出現(xiàn)上述缺陷。上文中提到采用無(wú)線球囊內(nèi)視鏡系統(tǒng)可實(shí)現(xiàn)對(duì)腸道信息的全視角采集，在現(xiàn)有技術(shù)中可利用加速度傳感器、磁阻傳感器等嵌入到球囊系統(tǒng)中以獲取其在工作過(guò)程中的姿態(tài)運(yùn)動(dòng)信息，從而獲知圖像拍攝時(shí)攝像頭的姿態(tài)信息。 并且通過(guò)在其中嵌入腸道腔識(shí)別模塊，通過(guò)對(duì)腸腔的識(shí)別結(jié)果結(jié)合攝像頭的構(gòu)成結(jié)構(gòu)確定腸道坐標(biāo)系，從而結(jié)合姿態(tài)信息可獲取圖像拍攝時(shí)攝像頭與腸道的相對(duì)位置關(guān)系。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問(wèn)題本發(fā)明要解決的技術(shù)問(wèn)題是如何在人體消化道圖像二維平面表示中減少采集圖像的冗余內(nèi)容。( 二 )技術(shù)方案為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種消化道圖像二維平面表示方法，包括以下步驟Sl 對(duì)讀取的圖像進(jìn)行分類，以區(qū)分混濁圖像和非混濁圖像；S2 將非混濁圖像根據(jù)拍攝圖像時(shí)球囊的運(yùn)動(dòng)距離信息分成若干子集；S3:根據(jù)圖像拍攝時(shí)球囊的姿態(tài)信息及消化道坐標(biāo)信息計(jì)算攝像頭與消化道壁的相對(duì)位置關(guān)系；S4:根據(jù)所述相對(duì)位置關(guān)系將讀取的圖像校正成攝像頭正視拍攝的圖像或進(jìn)行旋轉(zhuǎn)角度一致后結(jié)合球囊運(yùn)動(dòng)距離信息映射到與消化道相對(duì)應(yīng)的二維平面上的相應(yīng)位置；S5 將校正或映射后的圖像形成各個(gè)子集對(duì)應(yīng)的圖像片段；S6 根據(jù)拍攝圖像時(shí)的運(yùn)動(dòng)距離信息將所述子集對(duì)應(yīng)的圖像片段進(jìn)行合并，以形成消化道壁圖像的二維平面表示。其中，所述步驟Sl中區(qū)分混濁圖像和非混濁圖像的步驟包括在任一顏色空間中提取所述讀取的圖像的顏色直方圖；對(duì)于提取的顏色直方圖進(jìn)行量化，將量化后的顏色直方圖作為每幅圖像的特征向量；采用基于模式識(shí)別的方法對(duì)所述特征向量進(jìn)行訓(xùn)練，以對(duì)讀取的圖像進(jìn)行分類。其中，所述步驟S2具體包括根據(jù)球囊的運(yùn)動(dòng)距離信息，對(duì)相鄰兩幅圖像拍攝時(shí)球囊的位置關(guān)系進(jìn)行估計(jì)；當(dāng)相鄰圖像拍攝過(guò)程中球囊運(yùn)動(dòng)距離大于預(yù)定的門限值時(shí)，將當(dāng)前拍攝圖像之前的拍攝的圖像作為一個(gè)子集；以當(dāng)前圖像為起始圖像重新進(jìn)行上述過(guò)程，直至將所有讀取的圖像分組完畢。其中，所述步驟S3具體包括S3. 1 根據(jù)圖像拍攝時(shí)球囊的姿態(tài)信息計(jì)算拍攝該圖像的攝像頭在姿態(tài)參考坐標(biāo)系中的矢量表示；S3. 2 根據(jù)圖像拍攝時(shí)消化道坐標(biāo)信息計(jì)算姿態(tài)參考坐標(biāo)系和消化道坐標(biāo)之間的變換關(guān)系；S3. 3 根據(jù)S3. 1和S3. 2中得到的結(jié)果計(jì)算拍攝相應(yīng)圖像的攝像頭與消化道壁的相對(duì)位置關(guān)系。其中，所述步驟S3. 2中所述消化道坐標(biāo)信息的獲取方式為定時(shí)控制球囊內(nèi)視鏡的消化道腔識(shí)別模塊對(duì)拍攝圖像進(jìn)行消化道腔識(shí)別，以此確定消化道的徑向方向，再依據(jù)多個(gè)攝像頭構(gòu)成的幾何結(jié)構(gòu)確定三維坐標(biāo)系另外兩維的方向，從而獲取消化道的坐標(biāo)信息，所述消化道的坐標(biāo)信息使用識(shí)別時(shí)球囊內(nèi)視鏡的姿態(tài)信息表示。其中，所述步驟S4中采用對(duì)讀取的圖像校正的方式將讀取的圖像處理成攝像頭正視拍攝的圖像，具體為根據(jù)攝像頭與消化道壁的相對(duì)位置關(guān)系橫滾角θ、俯仰角W、及航向角α，將任意角度拍攝的消化道圖像校正為攝像頭與消化道壁垂直拍攝時(shí)的效果圖像。其中，所述步驟S4中采用對(duì)讀取的圖像進(jìn)行映射處理的方式將讀取的圖像旋轉(zhuǎn)到角度一致后結(jié)合球囊運(yùn)動(dòng)距離信息將圖像映射到與消化道壁相對(duì)應(yīng)的二維平面上的相應(yīng)位置，具體包括S4. 1 根據(jù)無(wú)線球囊內(nèi)視鏡中攝像頭的視角、圖像分辨率及球囊內(nèi)視鏡結(jié)構(gòu)尺寸、 消化道半徑信息確定最終二維平面表示圖的最大寬度，根據(jù)消化道蠕動(dòng)頻率、球囊內(nèi)視鏡運(yùn)動(dòng)的平均速度并結(jié)合球囊的運(yùn)動(dòng)距離信息估算最終二維平面表示圖的最大長(zhǎng)度；S4. 2 在確定了幾何尺寸的二維平面上進(jìn)行網(wǎng)格劃分，縱向劃分為消化道壁的徑向信息，橫向劃分為消化道壁的軸向信息；S4. 3 根據(jù)圖像拍攝時(shí)攝像頭相對(duì)消化道的姿態(tài)信息對(duì)拍攝的圖像進(jìn)行角度校正，使得拍攝的圖像間不存在旋轉(zhuǎn)關(guān)系；S4. 4 根據(jù)圖像拍攝時(shí)攝像頭相對(duì)消化道的姿態(tài)信息及球囊內(nèi)視鏡的運(yùn)動(dòng)距離信息將圖像映射到經(jīng)過(guò)網(wǎng)格劃分后的二維平面上。其中，所述步驟S5具體為采用加入相關(guān)性判定的基于相位相關(guān)的圖像配準(zhǔn)方法，若接受判定的兩幅圖像判定結(jié)果為有重疊部分，則進(jìn)行配準(zhǔn)拼接，否則，將使得圖像間相關(guān)性最大的一組圖像間的變換關(guān)系參數(shù)作為相似匹配的結(jié)果對(duì)圖像進(jìn)行標(biāo)記，子集圖像均經(jīng)過(guò)上述處理后，將配準(zhǔn)拼接形成的大的圖像片段及無(wú)法配準(zhǔn)拼接但經(jīng)過(guò)相似匹配參數(shù)標(biāo)記后的圖像按姿態(tài)信息和運(yùn)動(dòng)距離信息提供的其相對(duì)位置關(guān)系擺放，以形成子集圖像對(duì)應(yīng)的二維平面表示圖像片段。其中，所述加入相關(guān)性判定的基于相位相關(guān)的圖像配準(zhǔn)方法具體包括S5. 1 對(duì)待拼接的圖像進(jìn)行空間域增強(qiáng)處理；S5. 2 采用相位相關(guān)算法對(duì)圖像進(jìn)行拼接處理，獲得旋轉(zhuǎn)縮放處理階段的第一相關(guān)函數(shù)；S5. 3 計(jì)算所述第一相關(guān)函數(shù)的最大值與次大值之比，記最大值與次大值之比為 a = max/(sub-max)，其中max表示第一相關(guān)函數(shù)的最大值，sub-max表示第一相關(guān)函數(shù)的次大值，判斷其是否大于事先設(shè)定的第一閾值；若大于，則接受判定的兩幅圖像有重疊區(qū)域并可根據(jù)所述第一相關(guān)函數(shù)最大值的位置計(jì)算出相應(yīng)的角度和縮放因子，將圖像做相應(yīng)的旋轉(zhuǎn)縮放變換后進(jìn)入相位相關(guān)方法平移階段的處理，完成最終配準(zhǔn)；若不大于，則進(jìn)入步驟 S5. 4 ；S5. 4 對(duì)所述第一相關(guān)函數(shù)的值進(jìn)行由大至小排序，在設(shè)定的范圍內(nèi)，由排序后的最大值開(kāi)始依次針對(duì)第一相關(guān)函數(shù)的每個(gè)值對(duì)應(yīng)的角度和縮放因子進(jìn)行最優(yōu)角度和最優(yōu)縮放因子的搜索，將搜索的角度初值和角度最優(yōu)值設(shè)定為所述第一相關(guān)函數(shù)最大值對(duì)應(yīng)的角度，縮放因子初值和縮放因子最優(yōu)值設(shè)定為所述第一相關(guān)函數(shù)最大值對(duì)應(yīng)的縮放因子；S5. 5 將圖像按照當(dāng)前的角度和縮放因子做旋轉(zhuǎn)和縮放變換以消除圖像間的旋轉(zhuǎn)和縮放關(guān)系；S5. 6 計(jì)算變換后的兩圖像的第二相關(guān)函數(shù)；S5. 7 計(jì)算所述第二相關(guān)函數(shù)的最大值與最大值區(qū)域以外區(qū)域的均方差之比，記最大值與最大值區(qū)域以外區(qū)域的均方差之比為β =Peak/S.D，其中Peak表示第二相關(guān)函數(shù)的最大值，S. D表示第二相關(guān)函數(shù)最大值區(qū)域以外區(qū)域的均方差，判斷β是否大于第二閾值，若大于，則接受判定的兩幅圖像間有重疊并可根據(jù)當(dāng)前搜索到的角度和縮放因子對(duì)應(yīng)的S5. 6中的相關(guān)函數(shù)求出其最大值對(duì)應(yīng)的平移參數(shù)，完成最終的圖像配準(zhǔn)；若不大于， 則需更新角度和縮放因子的最優(yōu)值并判斷是否搜索完成S5. 4中設(shè)定的范圍，若未完成，則搜索的當(dāng)前值替換為S5. 4中范圍中的下一個(gè)值，然后回到步驟S5. 5，若完成，則進(jìn)行步驟 S5. 8 ；S5. 8 根據(jù)搜索得到的最優(yōu)角度和最優(yōu)縮放因子進(jìn)行圖像變換以消除圖像間的旋轉(zhuǎn)和縮放關(guān)系；S5. 9 計(jì)算變換后兩圖像的第三相關(guān)函數(shù)；S5. 10 計(jì)算所述第三相關(guān)函數(shù)的β = peak/S. D值，判斷β是否大于設(shè)定的第三閾值，若大于，則根據(jù)所述第三相關(guān)函數(shù)最大值位置計(jì)算平移參數(shù)，完成圖像配準(zhǔn)拼接；若不大于，則仍根據(jù)所述第三相關(guān)函數(shù)最大值位置計(jì)算平移參數(shù)，并將所述平移參數(shù)及搜索得到的最優(yōu)角度與最優(yōu)縮放因子作為相似匹配的結(jié)果。其中，所述步驟S5. 7中計(jì)算所述第二相關(guān)函數(shù)最大值與最大值區(qū)域以外區(qū)域的均方差之比及所述步驟S5. 10中計(jì)算所述第三相關(guān)函數(shù)最大值與最大值區(qū)域以外區(qū)域的均方差之比時(shí)，最大值區(qū)域的定義為以最大值為中心，邊長(zhǎng)為預(yù)定值的正方形區(qū)域。其中，所述步驟S5. 7中更新最優(yōu)值的方式為若當(dāng)前計(jì)算出的β值大于已設(shè)最優(yōu)值對(duì)應(yīng)的β值，則更新角度最優(yōu)值和縮放因子最優(yōu)值分別為當(dāng)前考察的角度和縮放因子， 否則角度最優(yōu)值和縮放因子最優(yōu)值保持不變。(三)有益效果本發(fā)明方法通過(guò)去除被腸道內(nèi)食物殘?jiān)蚧鞚嵋焊采w而導(dǎo)致無(wú)法識(shí)別腸道壁信息的圖像，再對(duì)非混濁圖像進(jìn)行校正或映射等處理后實(shí)現(xiàn)相鄰圖像間的配準(zhǔn)拼接或相似匹配，從而最終實(shí)現(xiàn)腸道內(nèi)壁的二維平面表示，由此可去除大量圖像冗余信息，包括對(duì)診斷無(wú)效的混濁圖像以及圖像間重疊部分。本發(fā)明方法利用了基于攝像頭姿態(tài)信息對(duì)圖像進(jìn)行正視校正、基于網(wǎng)格劃分的圖像映射、加入相關(guān)性判定的基于相位相關(guān)的圖像配準(zhǔn)等技術(shù)，該方法的實(shí)現(xiàn)可以大大減少采集圖像信息的冗余，方便醫(yī)生理解圖像，降低其工作難度，提高閱片效率。


圖1是本發(fā)明采用的無(wú)線球囊內(nèi)視鏡系統(tǒng)內(nèi)部圖像采集與存儲(chǔ)系統(tǒng)結(jié)構(gòu)示意圖；圖2是本發(fā)明實(shí)施例1的一種消化道圖像二維平面表示方法流程圖；圖3是圖2的方法中圖像校正示意圖4是圖2的方法中相機(jī)坐標(biāo)系與像平面坐標(biāo)系關(guān)系圖；圖5(a)-圖5(b)是圖2的方法中采用的加入相關(guān)性判定的基于相位相關(guān)的圖像配準(zhǔn)方法流程圖；圖6(a)-圖6(d)是采用圖2的方法最終形成腸道圖像二維平面表示的效果示意圖；圖7是本發(fā)明實(shí)施例2的一種消化道圖像二維平面表示方法流程圖；圖8(a)-圖8(b)是采用圖7的方法最終形成腸道圖像二維平面表示的效果示意圖。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式
作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說(shuō)明本發(fā)明，但不用來(lái)限制本發(fā)明的范圍。本發(fā)明的特點(diǎn)在于可將無(wú)線球囊內(nèi)視鏡系統(tǒng)在人體胃腸道內(nèi)采集到的帶有拍攝時(shí)攝像頭姿態(tài)運(yùn)動(dòng)信息及腸道坐標(biāo)信息的圖像進(jìn)行后處理，經(jīng)過(guò)校正或映射、配準(zhǔn)拼接或相似匹配等步驟后形成人體腸道壁的二維平面表示。本發(fā)明提出的方法基于無(wú)線球囊內(nèi)視鏡系統(tǒng)，為方便理解，下面簡(jiǎn)要介紹該無(wú)線球囊內(nèi)視鏡系統(tǒng)的內(nèi)部結(jié)構(gòu)。如圖1所示，為無(wú)線球囊內(nèi)視鏡系統(tǒng)內(nèi)部圖像采集與存儲(chǔ)系統(tǒng)結(jié)構(gòu)示意圖，其中腔內(nèi)裝置用于在生物體腔內(nèi)進(jìn)行圖像數(shù)據(jù)及信息數(shù)據(jù)的采集和存儲(chǔ)，包括圖像傳感器陣列單元，用于在生物體腔內(nèi)進(jìn)行圖像數(shù)據(jù)采集；姿態(tài)和運(yùn)動(dòng)信息感知單元，用于確定腔內(nèi)裝置的姿態(tài)和運(yùn)動(dòng)信息；腸道腔識(shí)別單元，用于判斷拍攝到的圖像是否為腸道腔圖像，從而結(jié)合攝像頭組成的幾何結(jié)構(gòu)和姿態(tài)信息確定腸道坐標(biāo)，姿態(tài)信息為物體在某一時(shí)刻相對(duì)于一參考坐標(biāo)系的姿態(tài)，可用三個(gè)角度表示，即航向角、俯仰角、橫滾角；存儲(chǔ)單元，為非易失性存儲(chǔ)單元，用于存儲(chǔ)圖像傳感器陣列單元采集的圖像數(shù)據(jù)以及姿態(tài)和運(yùn)動(dòng)感知單元采集的姿態(tài)和運(yùn)動(dòng)信息；無(wú)線通信單元，用于所述腔內(nèi)裝置與腔外裝置進(jìn)行無(wú)線通信；系統(tǒng)控制單元，當(dāng)腔內(nèi)裝置在生物體腔內(nèi)進(jìn)行圖像采集時(shí)，所述系統(tǒng)控制單元用于通過(guò)無(wú)線通信單元接收所述腔外裝置發(fā)送的指令信號(hào)，根據(jù)所述指令信號(hào)控制腔內(nèi)裝置進(jìn)行信息采集，并將采集的圖像數(shù)據(jù)、姿態(tài)和運(yùn)動(dòng)信息數(shù)據(jù)、腸道坐標(biāo)數(shù)據(jù)通過(guò)無(wú)線通信單元發(fā)送到腔外裝置或?qū)⑸鲜鰯?shù)據(jù)保存到所述第一存儲(chǔ)單元；當(dāng)腔內(nèi)裝置移出腔外時(shí)，所述控制單元用于將所述第一存儲(chǔ)單元內(nèi)的數(shù)據(jù)通過(guò)無(wú)線通信單元發(fā)送到腔外裝置；圖像傳感器控制單元，用于控制圖像采集的速率并選擇一個(gè)或多個(gè)圖像傳感器進(jìn)行圖像采集；能量單元，用于為所述腔內(nèi)裝置供電。照明陣列與驅(qū)動(dòng)單元，用于在圖像傳感器陣列單元進(jìn)行圖像數(shù)據(jù)采集時(shí)在控制單元的控制下進(jìn)行照明，優(yōu)選由LED陣列與LED驅(qū)動(dòng)電路構(gòu)成，LED均勻放置在圖像傳感器四周，保證圖像傳感器在進(jìn)行圖像采集時(shí)對(duì)腔體的照明亮度均勻；基于上述無(wú)線球囊內(nèi)視鏡系統(tǒng)，通過(guò)其內(nèi)嵌的腸道腔識(shí)別模塊、姿態(tài)與運(yùn)動(dòng)感知模塊等功能的配合，采集得到的人體腸道圖像均附有相應(yīng)的姿態(tài)運(yùn)動(dòng)信息及腸道坐標(biāo)信息。姿態(tài)運(yùn)動(dòng)信息是指拍攝該幅圖像時(shí)球囊內(nèi)視鏡系統(tǒng)的姿態(tài)及其運(yùn)動(dòng)情況。當(dāng)球囊排出體外后，利用無(wú)線功能將圖像數(shù)據(jù)上傳至計(jì)算機(jī)進(jìn)行后處理，即形成腸道二維平面表示的主要階段——圖像處理階段，該階段主要是利用球囊采集到的圖像及相應(yīng)的附加信息進(jìn)行圖像校正或映射、配準(zhǔn)拼接或相似匹配等一系列處理后最終形成腸道壁圖像的二維平面表示。以下通過(guò)實(shí)施例具體說(shuō)明。實(shí)施例1本實(shí)施例提供了一種形成腸道圖像二維平面表示的可行方法，方法流程如圖2所示。對(duì)讀取的圖像進(jìn)行分類，即將圖像分為混濁圖像與非混濁圖像，混濁圖像是那些被腸道中的食物殘?jiān)⒒鞚嵋旱雀采w住腸道壁信息的圖像，圖像分類的目的即是去除這部分圖像，因?yàn)榛鞚釄D像對(duì)醫(yī)生診斷無(wú)法帶來(lái)幫助。分類可采用基于特征的模式分類方法，方法流程如下(1)提取所述讀取的圖像的顏色直方圖。(2)對(duì)于讀取的圖像的RGB三個(gè)通道，每個(gè)通道采用8bin，得到每幅圖像的一個(gè)83 維向量作為其特征向量。(3)采用支持向量機(jī)(SVM)方法對(duì)所述特征向量進(jìn)行訓(xùn)練，以對(duì)讀取的圖像進(jìn)行分類。分類后，將非混濁圖像分成若干子集，分組的目的為便于之后的圖像處理，分組可將海量圖像分成若干較小的子集，分別處理子集圖像可大大減小運(yùn)算量，提高效率。根據(jù)球囊的運(yùn)動(dòng)狀態(tài)信息，結(jié)合球囊的運(yùn)動(dòng)速率，可對(duì)相鄰兩幅圖像拍攝時(shí)球囊的位置關(guān)系進(jìn)行估計(jì)，當(dāng)相鄰圖像拍攝過(guò)程中球囊運(yùn)動(dòng)距離大于某一門限值時(shí)，可認(rèn)為當(dāng)前拍攝圖像之前的圖像組對(duì)應(yīng)于腸道的某一段腸道壁，將其分為一組，再以當(dāng)前圖像為起始圖像重新進(jìn)行上述過(guò)程，直至將圖像分組完畢。優(yōu)選地，該門限值可選擇范圍為7mm 11mm。分組完畢后大量圖像被分成若干子集，各個(gè)圖像子集對(duì)應(yīng)于一系列不連續(xù)的腸道壁的相關(guān)圖像，不同子集間可認(rèn)為不相關(guān)，之后可以針對(duì)每個(gè)子集的圖像分別進(jìn)行下面的處理。由于球囊在腸道中是依賴重力和腸道蠕動(dòng)力向前推進(jìn)的，因此攝像頭與腸道壁的相對(duì)位置關(guān)系隨機(jī)，在多數(shù)情況下其鏡頭均為非正對(duì)腸道壁情況，如此就對(duì)觀察與圖像處理(例如配準(zhǔn)拼接)造成了不便和影響。在本實(shí)施例中更加關(guān)注的是每幅圖像在拍攝時(shí)攝像頭相對(duì)腸道壁的角度，在獲得該角度后即可對(duì)圖像進(jìn)行校正，即將其校正為正視拍攝的情況?；谌缟纤觯麑?duì)圖像進(jìn)行正視校正處理，需獲得圖像拍攝時(shí)攝像頭與腸道壁的相對(duì)位置關(guān)系，而姿態(tài)感知模塊獲取的姿態(tài)信息是相對(duì)一固定的參考坐標(biāo)系，一般為大地坐標(biāo)系，因此在該步驟中需要將姿態(tài)感知模塊提供的姿態(tài)信息表示轉(zhuǎn)換為可用于后續(xù)圖像處理的表示形式，即需要由姿態(tài)信息計(jì)算出相應(yīng)的拍攝圖像時(shí)攝像頭與腸道的相對(duì)位置關(guān)系，計(jì)算時(shí)需要結(jié)合腸道腔識(shí)別單元提供的腸道坐標(biāo)信息，方法如下(1)根據(jù)圖像拍攝時(shí)球囊的姿態(tài)信息計(jì)算拍攝該圖像的攝像頭在姿態(tài)參考坐標(biāo)系中的矢量表示；(2)根據(jù)圖像拍攝時(shí)腸道坐標(biāo)信息計(jì)算姿態(tài)參考坐標(biāo)系和腸道坐標(biāo)之間的變換關(guān)系；(3)根據(jù)⑴和⑵中得到的結(jié)果計(jì)算拍攝相應(yīng)圖像的攝像頭與腸道的相對(duì)位置關(guān)系。由于球囊在胃腸道中采集圖像，采集圖像對(duì)應(yīng)的實(shí)際物平面方向是不斷變化的，因此相對(duì)于腸道坐標(biāo)系的位置關(guān)系也是不斷變化的。因此，針對(duì)實(shí)際球囊采集圖像的情況， 需根據(jù)每一次拍攝的實(shí)際情況，計(jì)算出相應(yīng)的用于校正的“姿態(tài)角”來(lái)考慮圖像的校正公式。如圖3所示，其中將拍攝面簡(jiǎn)化為平面考慮。設(shè)相機(jī)相對(duì)于拍攝平面的參考坐標(biāo)系X-Y-Z的姿態(tài)角定義為繞X軸旋轉(zhuǎn)θ，該角度稱為橫滾角(roll)；繞Y軸旋轉(zhuǎn)Φ，該角度稱為俯仰角(Pitch)；繞Z軸旋轉(zhuǎn)α，該角度稱為航向角(yaw)。校正關(guān)系推導(dǎo)如下(1)將像點(diǎn)在成像平面坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化成在相機(jī)坐標(biāo)系下的坐標(biāo)。相機(jī)坐標(biāo)系和成像平面坐標(biāo)系的關(guān)系如圖4所示。相機(jī)坐標(biāo)系的ζ軸與像平面的交點(diǎn)為像平面坐標(biāo)系的原點(diǎn)，像平面坐標(biāo)系的X1軸和Y1軸分別與相機(jī)坐標(biāo)系的X軸和1軸平行，像平面坐標(biāo)系的Z1軸和相機(jī)坐標(biāo)系的Z軸方向相同。那么已知像點(diǎn)P1在像平面坐標(biāo)系下的坐標(biāo)(Xl，yi，0)( —般寫(xiě)成(Xl，yi))，則其在相機(jī)坐標(biāo)系下的坐標(biāo)為(Xl，Y1, f)，f為相機(jī)焦距。(2)根據(jù)已知的成像條件和像點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)，計(jì)算對(duì)應(yīng)目標(biāo)點(diǎn)ρ在參考坐標(biāo)系中的坐標(biāo)。這一步的主要任務(wù)是根據(jù)像點(diǎn)P1在相機(jī)坐標(biāo)系下的坐標(biāo)(Xl，Y1, f),計(jì)算對(duì)應(yīng)的目標(biāo)點(diǎn)P在參考坐標(biāo)系下的坐標(biāo)(x，y，z)。首先必須根據(jù)成像條件計(jì)算出相機(jī)坐標(biāo)系下坐標(biāo)和參考坐標(biāo)系下的坐標(biāo)變換關(guān)系。假設(shè)相機(jī)的位置為(a，b，C)，相機(jī)姿態(tài)航向角α，橫滾角θ，俯仰角ρ ,兩種坐標(biāo)之間的變換關(guān)系可以分解為Α)把大地坐標(biāo)系做平移變換，以(a，b，c)為原點(diǎn)構(gòu)成一個(gè)新的坐標(biāo)系，坐標(biāo)軸以 Xe，Ye, Ze表示，分析知坐標(biāo)間有如下關(guān)系:xe = x-a, ye = y-b, ze = z_c ；
權(quán)利要求
1.一種消化道圖像二維平面表示方法，其特征在于，包括以下步驟51對(duì)讀取的圖像進(jìn)行分類，以區(qū)分混濁圖像和非混濁圖像；52將非混濁圖像根據(jù)拍攝圖像時(shí)球囊的運(yùn)動(dòng)距離信息分成若干子集；S3:根據(jù)圖像拍攝時(shí)球囊的姿態(tài)信息及消化道坐標(biāo)信息計(jì)算攝像頭與消化道壁的相對(duì)位置關(guān)系；54根據(jù)所述相對(duì)位置關(guān)系將讀取的圖像校正成攝像頭正視拍攝的圖像或進(jìn)行旋轉(zhuǎn)角度一致后結(jié)合球囊運(yùn)動(dòng)距離信息映射到與消化道相對(duì)應(yīng)的二維平面上的相應(yīng)位置；55將校正或映射后的圖像形成各個(gè)子集對(duì)應(yīng)的圖像片段；56根據(jù)拍攝圖像時(shí)的運(yùn)動(dòng)距離信息將所述子集對(duì)應(yīng)的圖像片段進(jìn)行合并，以形成消化道壁圖像的二維平面表示。
2.如權(quán)利要求1所述的消化道圖像二維平面表示方法，其特征在于，所述步驟Sl中區(qū)分混濁圖像和非混濁圖像的步驟包括在任一顏色空間中提取所述讀取的圖像的顏色直方圖；對(duì)于提取的顏色直方圖進(jìn)行量化，將量化后的顏色直方圖作為每幅圖像的特征向量；采用基于模式識(shí)別的方法對(duì)所述特征向量進(jìn)行訓(xùn)練，以對(duì)讀取的圖像進(jìn)行分類。
3.如權(quán)利要求1所述的消化道圖像二維平面表示方法，其特征在于，所述步驟S2具體包括根據(jù)球囊的運(yùn)動(dòng)距離信息，對(duì)相鄰兩幅圖像拍攝時(shí)球囊的位置關(guān)系進(jìn)行估計(jì)；當(dāng)相鄰圖像拍攝過(guò)程中球囊運(yùn)動(dòng)距離大于預(yù)定的門限值時(shí)，將當(dāng)前拍攝圖像之前的拍攝的圖像作為一個(gè)子集；以當(dāng)前圖像為起始圖像重新進(jìn)行上述過(guò)程，直至將所有讀取的圖像分組完畢。
4.如權(quán)利要求1所述的消化道圖像二維平面表示方法，其特征在于，所述步驟S3具體包括S3. 1 根據(jù)圖像拍攝時(shí)球囊的姿態(tài)信息計(jì)算拍攝該圖像的攝像頭在姿態(tài)參考坐標(biāo)系中的矢量表示；S3. 2 根據(jù)圖像拍攝時(shí)消化道坐標(biāo)信息計(jì)算姿態(tài)參考坐標(biāo)系和消化道坐標(biāo)之間的變換關(guān)系；S3. 3 根據(jù)S3. 1和S3. 2中得到的結(jié)果計(jì)算拍攝相應(yīng)圖像的攝像頭與消化道壁的相對(duì)位置關(guān)系。
5.如權(quán)利要求4所述的消化道圖像二維平面表示方法，其特征在于，所述步驟S3.2中所述消化道坐標(biāo)信息的獲取方式為定時(shí)控制球囊內(nèi)視鏡的消化道腔識(shí)別模塊對(duì)拍攝圖像進(jìn)行消化道腔識(shí)別，以此確定消化道的徑向方向，再依據(jù)多個(gè)攝像頭構(gòu)成的幾何結(jié)構(gòu)確定三維坐標(biāo)系另外兩維的方向，從而獲取消化道的坐標(biāo)信息，所述消化道的坐標(biāo)信息使用識(shí)別時(shí)球囊內(nèi)視鏡的姿態(tài)信息表示。
6.如權(quán)利要求1所述的消化道圖像二維平面表示方法，其特征在于，所述步驟S4中采用對(duì)讀取的圖像校正的方式將讀取的圖像處理成攝像頭正視拍攝的圖像，具體為根據(jù)攝像頭與消化道壁的相對(duì)位置關(guān)系橫滾角θ、俯仰角W、及航向角α，將任意角度拍攝的消化道圖像校正為攝像頭與消化道壁垂直拍攝時(shí)的效果圖像。
7.如權(quán)利要求1所述的消化道圖像二維平面表示方法，其特征在于，所述步驟S4中采用對(duì)讀取的圖像進(jìn)行映射處理的方式將讀取的圖像旋轉(zhuǎn)到角度一致后結(jié)合球囊運(yùn)動(dòng)距離信息將圖像映射到與消化道壁相對(duì)應(yīng)的二維平面上的相應(yīng)位置，具體包括S4. 1 根據(jù)無(wú)線球囊內(nèi)視鏡中攝像頭的視角、圖像分辨率及球囊內(nèi)視鏡結(jié)構(gòu)尺寸、消化道半徑信息確定最終二維平面表示圖的最大寬度，根據(jù)消化道蠕動(dòng)頻率、球囊內(nèi)視鏡運(yùn)動(dòng)的平均速度并結(jié)合球囊的運(yùn)動(dòng)距離信息估算最終二維平面表示圖的最大長(zhǎng)度；S4. 2 在確定了幾何尺寸的二維平面上進(jìn)行網(wǎng)格劃分，縱向劃分為消化道壁的徑向信息，橫向劃分為消化道壁的軸向信息；S4. 3 根據(jù)圖像拍攝時(shí)攝像頭相對(duì)消化道的姿態(tài)信息對(duì)拍攝的圖像進(jìn)行角度校正，使得拍攝的圖像間不存在旋轉(zhuǎn)關(guān)系；54.4 根據(jù)圖像拍攝時(shí)攝像頭相對(duì)消化道的姿態(tài)信息及球囊內(nèi)視鏡的運(yùn)動(dòng)距離信息將圖像映射到經(jīng)過(guò)網(wǎng)格劃分后的二維平面上。
8.如權(quán)利要求1所述的消化道圖像二維平面表示方法，其特征在于，所述步驟S5具體為采用加入相關(guān)性判定的基于相位相關(guān)的圖像配準(zhǔn)方法，若接受判定的兩幅圖像判定結(jié)果為有重疊部分，則進(jìn)行配準(zhǔn)拼接，否則，將使得圖像間相關(guān)性最大的一組圖像間的變換關(guān)系參數(shù)作為相似匹配的結(jié)果對(duì)圖像進(jìn)行標(biāo)記，子集圖像均經(jīng)過(guò)上述處理后，將配準(zhǔn)拼接形成的大的圖像片段及無(wú)法配準(zhǔn)拼接但經(jīng)過(guò)相似匹配參數(shù)標(biāo)記后的圖像按姿態(tài)信息和運(yùn)動(dòng)距離信息提供的其相對(duì)位置關(guān)系擺放，以形成子集圖像對(duì)應(yīng)的二維平面表示圖像片段。
9.如權(quán)利要求8所述的消化道圖像二維平面表示方法，其特征在于，所述加入相關(guān)性判定的基于相位相關(guān)的圖像配準(zhǔn)方法具體包括55.1 對(duì)待拼接的圖像進(jìn)行空間域增強(qiáng)處理；S5. 2 采用相位相關(guān)算法對(duì)圖像進(jìn)行拼接處理，獲得旋轉(zhuǎn)縮放處理階段的第一相關(guān)函數(shù)；S5. 3 計(jì)算所述第一相關(guān)函數(shù)的最大值與次大值之比，記最大值與次大值之比為a = max/(sub-max)，其中max表示第一相關(guān)函數(shù)的最大值，sub-max表示第一相關(guān)函數(shù)的次大值，判斷其是否大于事先設(shè)定的第一閾值；若大于，則接受判定的兩幅圖像有重疊區(qū)域并可根據(jù)所述第一相關(guān)函數(shù)最大值的位置計(jì)算出相應(yīng)的角度和縮放因子，將圖像做相應(yīng)的旋轉(zhuǎn)縮放變換后進(jìn)入相位相關(guān)方法平移階段的處理，完成最終配準(zhǔn)；若不大于，則進(jìn)入步驟 S5. 4 ；S5. 4:對(duì)所述第一相關(guān)函數(shù)的值進(jìn)行由大至小排序，在設(shè)定的范圍內(nèi)，由排序后的最大值開(kāi)始依次針對(duì)第一相關(guān)函數(shù)的每個(gè)值對(duì)應(yīng)的角度和縮放因子進(jìn)行最優(yōu)角度和最優(yōu)縮放因子的搜索，將搜索的角度初值和角度最優(yōu)值設(shè)定為所述第一相關(guān)函數(shù)最大值對(duì)應(yīng)的角度，縮放因子初值和縮放因子最優(yōu)值設(shè)定為所述第一相關(guān)函數(shù)最大值對(duì)應(yīng)的縮放因子；S5. 5 將圖像按照當(dāng)前的角度和縮放因子做旋轉(zhuǎn)和縮放變換以消除圖像間的旋轉(zhuǎn)和縮放關(guān)系；S5. 6 計(jì)算變換后的兩圖像的第二相關(guān)函數(shù)；S5. 7 計(jì)算所述第二相關(guān)函數(shù)的最大值與最大值區(qū)域以外區(qū)域的均方差之比，記最大值與最大值區(qū)域以外區(qū)域的均方差之比為β =Peak/S.D，其中Peak表示第二相關(guān)函數(shù)的最大值，S. D表示第二相關(guān)函數(shù)最大值區(qū)域以外區(qū)域的均方差，判斷β是否大于第二閾值，若大于，則接受判定的兩幅圖像間有重疊并可根據(jù)當(dāng)前搜索到的角度和縮放因子對(duì)應(yīng)的S5. 6中的相關(guān)函數(shù)求出其最大值對(duì)應(yīng)的平移參數(shù)，完成最終的圖像配準(zhǔn)；若不大于，則需更新角度和縮放因子的最優(yōu)值并判斷是否搜索完成S5. 4中設(shè)定的范圍，若未完成，則搜索的當(dāng)前值替換為S5. 4中范圍中的下一個(gè)值，然后回到步驟S5. 5，若完成，則進(jìn)行步驟 S5. 8 ；S5. 8 根據(jù)搜索得到的最優(yōu)角度和最優(yōu)縮放因子進(jìn)行圖像變換以消除圖像間的旋轉(zhuǎn)和縮放關(guān)系；S5. 9 計(jì)算變換后兩圖像的第三相關(guān)函數(shù)；S5. 10:計(jì)算所述第三相關(guān)函數(shù)的β =peak/S.D值，判斷β是否大于設(shè)定的第三閾值，若大于，則根據(jù)所述第三相關(guān)函數(shù)最大值位置計(jì)算平移參數(shù)，完成圖像配準(zhǔn)拼接；若不大于，則仍根據(jù)所述第三相關(guān)函數(shù)最大值位置計(jì)算平移參數(shù)，并將所述平移參數(shù)及搜索得到的最優(yōu)角度與最優(yōu)縮放因子作為相似匹配的結(jié)果。
10.如權(quán)利要求9所述的消化道圖像二維平面表示方法，其特征在于，所述步驟S5.7中計(jì)算所述第二相關(guān)函數(shù)最大值與最大值區(qū)域以外區(qū)域的均方差之比及所述步驟S5. 10中計(jì)算所述第三相關(guān)函數(shù)最大值與最大值區(qū)域以外區(qū)域的均方差之比時(shí)，最大值區(qū)域的定義為以最大值為中心，邊長(zhǎng)為預(yù)定值的正方形區(qū)域。
11.如權(quán)利要求9所述的消化道圖像二維平面表示方法，其特征在于，所述步驟S5.7中更新最優(yōu)值的方式為若當(dāng)前計(jì)算出的β值大于已設(shè)最優(yōu)值對(duì)應(yīng)的β值，則更新角度最優(yōu)值和縮放因子最優(yōu)值分別為當(dāng)前考察的角度和縮放因子，否則角度最優(yōu)值和縮放因子最優(yōu)值保持不變。
全文摘要
本發(fā)明公開(kāi)了一種腸道圖像二維平面表示方法，該方法的實(shí)現(xiàn)基于內(nèi)嵌姿態(tài)運(yùn)動(dòng)感知模塊與腸道腔識(shí)別模塊的無(wú)線球囊內(nèi)視鏡系統(tǒng)，包括以下幾個(gè)步驟讀取圖像；將圖像集分類成混濁圖像和非混濁圖像；將非混濁圖像集分成若干子集；計(jì)算每幅圖像拍攝時(shí)，攝像頭與腸道壁的相對(duì)位置關(guān)系；將圖像作校正或映射處理；將校正或映射后的圖像進(jìn)行配準(zhǔn)拼接或相似匹配；子集合并，形成腸道壁的二維展開(kāi)圖。采用本發(fā)明提供的腸道圖像二維表示方法，可以大大減少無(wú)線內(nèi)視鏡采集圖像的冗余內(nèi)容，利于醫(yī)生對(duì)圖像的理解，可降低其工作難度，提高閱片效率。
文檔編號(hào)G06T11/00GK102436665SQ20111024673
公開(kāi)日2012年5月2日 申請(qǐng)日期2011年8月25日 優(yōu)先權(quán)日2011年8月25日
發(fā)明者孫天佳, 李國(guó)林, 王丹, 王志華, 胡軍, 謝翔, 谷熒柯 申請(qǐng)人:清華大學(xué)