本發(fā)明涉及數(shù)字圖像處理技術(shù)領(lǐng)域，具體涉及一種腹腔鏡手術(shù)視頻幀率自適應(yīng)的實(shí)時(shí)去煙霧方法。

背景技術(shù)：

腹腔鏡手術(shù)是一門新發(fā)展起來的微創(chuàng)方法，是未來手術(shù)方法發(fā)展的一個(gè)必然趨勢(shì)。它是電子、光學(xué)、攝像等高科技技術(shù)在臨床手術(shù)中應(yīng)用的典范，具有創(chuàng)傷小、并發(fā)癥少、安全、康復(fù)快的特點(diǎn)，近幾年來，外科腔鏡手術(shù)發(fā)展很快，可同時(shí)檢查和治療，是目前最先進(jìn)、最尖端的微創(chuàng)技術(shù)。在治療外科疾病中的作用已越來越受到人們的矚目。并在國(guó)際上呈風(fēng)靡性發(fā)展。腹腔鏡手術(shù)使用冷光源提供照明，將腹腔鏡鏡頭(直徑為3-10mm)插入腹腔內(nèi)，運(yùn)用數(shù)字?jǐn)z像技術(shù)使腹腔鏡鏡頭拍攝到的圖像通過光導(dǎo)纖維傳導(dǎo)至后級(jí)信號(hào)處理系統(tǒng)，并且實(shí)時(shí)顯示在專用監(jiān)視器上。然后醫(yī)生通過監(jiān)視器屏幕上所顯示患者器官不同角度的圖像，對(duì)病人的病情進(jìn)行分析判斷，并且運(yùn)用特殊的腹腔鏡器械進(jìn)行手術(shù)。而高溫切割器械是進(jìn)行腹腔鏡手術(shù)時(shí)最常見的一種器械，它在切割人體組織時(shí)會(huì)產(chǎn)生明顯的固體顆粒狀的煙，同時(shí)使腹腔內(nèi)氣體溫度上升，遇到溫度較低的腹腔鏡鏡片時(shí)，會(huì)產(chǎn)生腹腔鏡鏡片起霧(Laparoscopic lens fogging，LLF)，嚴(yán)重阻擋醫(yī)生的手術(shù)視野，常常令手術(shù)需要暫停，相當(dāng)于外科醫(yī)生突然失去視力，大大影響了手術(shù)的流暢度，甚至有時(shí)引起不必要的醫(yī)療安全問題。

目前的研究表明提高腹腔鏡視野清晰度的方法大致可分為四類：a)物理方法加溫腹腔鏡；b)防霧溶液的物理擦拭；c)腹腔鏡設(shè)備的材料技術(shù)革新；d)組織擦拭。

上述方法基本都屬于物理去霧方法，大量的時(shí)間耗費(fèi)在保持手術(shù)視野的清晰上，使手術(shù)變得冗長(zhǎng)，并且效果有限，而且往往費(fèi)時(shí)，成本高，并且沒有足夠的數(shù)據(jù)來支持其改善的效果。而將利用計(jì)算機(jī)的強(qiáng)大運(yùn)算能力，將數(shù)字圖像處理運(yùn)用于視頻去霧具有成本低、操作簡(jiǎn)單的特點(diǎn)。對(duì)于單幀圖像，暗通道先驗(yàn)去霧是數(shù)字圖像去霧的常用算法。它通過求取原圖像的暗通道矩陣、大氣光照成分，估計(jì)原圖的透射率矩陣，最后由霧圖成像模型計(jì)算求得去霧圖。為了獲取更加精細(xì)的透射率矩陣，通常采用導(dǎo)向?yàn)V波的方法。然而這個(gè)過程中包含很多浮點(diǎn)運(yùn)算，所以處理圖像的速度比較慢，難以滿足近些年腹腔鏡手術(shù)高分辨率視頻實(shí)時(shí)去霧的要求。

由于硬件設(shè)備的升級(jí)，近些年腹腔鏡手術(shù)視頻的分辨率普遍為1920*1080，所以優(yōu)化暗通道先驗(yàn)去霧算法，實(shí)現(xiàn)高分辨率視頻的實(shí)時(shí)去霧，構(gòu)建一套數(shù)字化去霧系統(tǒng)，將處理后的清晰圖像實(shí)時(shí)顯示，能夠給醫(yī)生的腹腔鏡手術(shù)帶來極大的便利，降低手術(shù)風(fēng)險(xiǎn)。因此這樣的一套實(shí)時(shí)去霧方法是很有必要的。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)腹腔鏡手術(shù)視頻的去煙霧方法中圖像處理速度慢、實(shí)時(shí)性低、且獲取的圖像精度低的問題，本申請(qǐng)?zhí)峁┮环N腹腔鏡手術(shù)視頻幀率自適應(yīng)的實(shí)時(shí)去煙霧方法，包括步驟：

獲取腹腔鏡手術(shù)視頻的幀率；

對(duì)視頻進(jìn)行幀率自適應(yīng)采樣，獲得原含霧圖像；將原含霧圖像通過暗通道先驗(yàn)去霧原理計(jì)算后獲得暗通道圖像，并根據(jù)暗通道先驗(yàn)去霧原理估計(jì)暗通道圖像的大氣光照系數(shù)和透射率圖；

利用原含霧圖像、暗通道圖、大氣光照系數(shù)和透射率圖求解霧圖成像模型方程，獲得去霧圖像；將去霧圖像實(shí)時(shí)輸出形成去霧后的視頻。

一種實(shí)施例中，對(duì)視頻進(jìn)行幀率自適應(yīng)采樣，具體是：判斷幀率是否大于25FPS，若大于，對(duì)所述幀率視頻進(jìn)行隔幀采樣，否則，對(duì)所述幀率視頻進(jìn)行逐幀采樣。

一種實(shí)施例中，通過指針操作符遍歷儲(chǔ)存在內(nèi)存空間的原含霧圖像、暗通道圖和透射率圖。

一種實(shí)施例中，將原含霧圖像通過暗通道先驗(yàn)去霧原理計(jì)算之前還包括對(duì)采樣幀的原含霧圖像進(jìn)行降采樣的步驟。

一種實(shí)施例中，將原含霧圖像通過暗通道先驗(yàn)去霧原理計(jì)算后獲得暗通道圖的過程中包括步驟：對(duì)暗通道圖進(jìn)行中值濾波處理。

一種實(shí)施例中，在多核條件下，采用多個(gè)中值濾波器對(duì)暗通道圖并行處理。

一種實(shí)施例中，中值濾波器的濾波窗口的大小為3像素*3像素。一種實(shí)施例中，獲得透射率之前還包括對(duì)透射率圖進(jìn)行歸一化處理。

一種實(shí)施例中，求解霧圖成像方程，獲得去霧圖像，包括步驟：

對(duì)原含霧圖像進(jìn)行降采樣；

將降采樣后的原含霧圖像、大氣光照系數(shù)和透射率圖通過求解霧圖成像模型方程，獲得去霧圖像。

一種實(shí)施例中，將去霧圖像實(shí)時(shí)輸出形成去霧視頻之前還包括對(duì)去霧圖像進(jìn)行放大插值處理的步驟。

依據(jù)上述實(shí)施例的實(shí)時(shí)去煙霧方法，對(duì)視頻進(jìn)行幀率自適應(yīng)采樣，對(duì)低幀率視頻進(jìn)行逐幀采樣，對(duì)高幀率視頻進(jìn)行隔幀采樣，并對(duì)采樣幀的原含霧圖像進(jìn)行降采樣，大幅減少了需要處理的數(shù)據(jù)量，進(jìn)一步，提升了去煙霧的實(shí)時(shí)性。

另外，通過指針操作符訪問儲(chǔ)存在內(nèi)存空間的圖像，能夠?qū)?shù)據(jù)進(jìn)行高速讀寫，大大降低程序運(yùn)行時(shí)間。另外，對(duì)暗通道圖進(jìn)行中值濾波處理，與最小值濾波相比，能夠更好的保存圖像邊緣，將濾波窗口設(shè)置為3像素*3像素，保證了暗通道圖的精細(xì)程度，也保證了由暗通道計(jì)算所得透射率圖的精細(xì)程度，腹腔鏡手術(shù)中手術(shù)刀高溫切割所形成的組織煙塵顆粒較小，圖像特征與椒鹽噪聲近似，可利用3像素*3像素窗口大小的中值濾波剔除。

另外，求解透射率圖后，將透射率圖歸一化到8比特灰度范圍內(nèi)，使得后續(xù)霧圖成像模型方程的求解為整型數(shù)運(yùn)算，解決了暗通道先驗(yàn)去霧方法中透射率圖大量浮點(diǎn)運(yùn)算導(dǎo)致算法時(shí)間大幅增加的問題；

附圖說明

圖1為腹腔鏡手術(shù)視頻的實(shí)時(shí)去煙霧流程圖；

圖2為腹腔鏡手術(shù)視頻幀率自適應(yīng)的實(shí)時(shí)去煙霧細(xì)節(jié)流程圖。

具體實(shí)施方式

下面通過具體實(shí)施方式結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。

本例提供一種腹腔鏡手術(shù)視頻的實(shí)時(shí)去煙霧方法，其流程圖如圖1所示，包括如下具體步驟。

S1：獲取腹腔鏡手術(shù)視頻的幀率。

醫(yī)院實(shí)際應(yīng)用的腹腔鏡手術(shù)視頻的幀率有25FPS和50FPS兩種，本例獲取腹腔鏡手術(shù)視頻的幀率后對(duì)視頻進(jìn)行幀率自適應(yīng)采樣，避免高幀率對(duì)算法耗時(shí)的大幅增加，同時(shí)也能滿足醫(yī)生手術(shù)操作的要求。

S2：對(duì)視頻進(jìn)行幀率自適應(yīng)采樣，獲得原含霧圖像。

本步驟對(duì)視頻進(jìn)行幀率自適應(yīng)采樣，具體是：判斷幀率是否大于25FPS，若大于，對(duì)該幀率視頻進(jìn)行隔幀采樣，否則，對(duì)該幀率視頻進(jìn)行逐幀采樣，即對(duì)低幀率視頻進(jìn)行逐幀采樣，對(duì)高幀率視頻進(jìn)行隔幀采樣，高幀率視頻中未采樣的幀圖像不進(jìn)行S3中的計(jì)算，而是沿用上一幀圖像的計(jì)算結(jié)果，可以使算法耗時(shí)減少50％，而實(shí)際上帶來的去霧效果的損失可以忽略不計(jì)。

S3：將原含霧圖像通過暗通道先驗(yàn)去霧原理計(jì)算后獲得暗通道圖，并根據(jù)暗通道先驗(yàn)去霧原理估計(jì)暗通道圖的大氣光照系數(shù)和透射率圖。

在絕大多數(shù)非天空的局部區(qū)域里，某一些像素總會(huì)有至少一個(gè)顏色通道具有很低的值。換言之，該區(qū)域光強(qiáng)度的最小值是個(gè)很小的數(shù)。我們給暗通道一個(gè)數(shù)學(xué)定義，對(duì)于任意的輸入圖像J，其暗通道可以用公式(1)表達(dá)：

式中J^c表示彩色圖像的每個(gè)通道，Ω(x)表示以像素x為中心的一個(gè)窗口，c表示r、g、b三通道。

暗通道先驗(yàn)的理論指出：

J^dark→0 (2)

這個(gè)結(jié)論是基于大量自然圖像暗通道圖的統(tǒng)計(jì)而得出的先驗(yàn)結(jié)論。實(shí)際生活中造成三原色中低通道值主要有三個(gè)因素：a)汽車、建筑物和城市中玻璃窗戶的陰影，或者是樹葉、樹與巖石等自然景觀的投影；b)色彩鮮艷的物體或表面，在RGB的三個(gè)通道中有些通道的值很低(比如綠色的草地、樹、植物，紅色或黃色的花朵、葉子，或者藍(lán)色的水面)；c)顏色較暗的物體或者表面，例如灰暗色的樹干和石頭?？傊匀痪拔镏械教幎际顷幱盎蛘卟噬?，這些景物的圖像的三原色低通道值總是很低的。將暗通道理論應(yīng)用于腹腔鏡手術(shù)中一樣是適用的，而在腹腔鏡鏡頭中三原色低通道值很低的則是人體器官、組織、血管等。

本步驟通過指針操作符訪問儲(chǔ)存到內(nèi)存空間的原含霧圖像、暗通道圖和透射率圖，能夠?qū)?shù)據(jù)進(jìn)行高速讀寫；

本步驟中還包括對(duì)暗通道圖進(jìn)行中值濾波處理，相比于最小值濾波，中值濾波算法能夠更好的保存暗通道圖邊緣，同時(shí)，中值濾波算法比最小值濾波更加高效；進(jìn)一步，本步驟在多核條件下，采用多個(gè)中值濾波器對(duì)暗通道圖并行處理，加速了本步驟的運(yùn)算。

本例將濾波窗口設(shè)置為3像素*3像素，保證了暗通道圖的精細(xì)程度，也保證了由暗通道圖計(jì)算所得透射率圖的精細(xì)程度，腹腔鏡手術(shù)中手術(shù)刀高溫切割所形成的組織煙塵顆粒較小，圖像特征與椒鹽噪聲相似，可利用3像素*3像素窗口大小的中值濾波剔除。

S4：利用原含霧圖像、暗通道圖像、大氣光照系數(shù)和透射率圖，求解霧圖成像方程，獲得去霧圖像。

在計(jì)算機(jī)視覺和數(shù)字圖像處理中，下述方程所描述的霧圖形成模型被廣泛使用：I(x)＝J(x)t(x)+A(1-t(x))(3)；

其中，I(x)是現(xiàn)在已經(jīng)有的圖像，本例中指原去霧圖像，J(x)是要恢復(fù)的無霧的圖像，本例中指去霧圖像，A是全球大氣光照?qǐng)D像，t(x)為透射率圖像。

將式(3)變形為下式：

其中上標(biāo)c表示r、g、b三通道。

首先，假設(shè)在每一個(gè)窗口內(nèi)透射率t(x)為常數(shù)，定義為并且A值已經(jīng)給定，然后對(duì)式(4)兩邊求兩次最小值運(yùn)算，得到下式：

其中J是待求的無霧的圖像，根據(jù)前述的暗原色先驗(yàn)理論有：

因此有：

將式(7)代入式(5)中得到：

上式中即為透射率的估計(jì)值。

在現(xiàn)實(shí)生活中，即使是晴天白云，空氣中也存在著一些顆粒，因此，看遠(yuǎn)處的物體還是能感覺到霧的影響，另外，霧的存在讓人類感到景深的存在，因此，有必要在去霧的時(shí)候保留一定程度的霧，這可以通過在式(8)中引入一個(gè)權(quán)重因子ω，式(8)修正為：

本例中，取ω＝0.75。soft matting修正算法被用于消除分塊計(jì)算產(chǎn)生的圖像鋸齒很邊緣模糊，但是由于此算法效率很低，大幅增加算法耗時(shí)，對(duì)實(shí)時(shí)處理有嚴(yán)重的不利影響，而且去霧效果上的提升并不明顯，所以本例舍棄了這一步驟。

上述推論中基于A值已知的假設(shè)。在實(shí)際操作中，確定A值的具體步驟如下：(1)從暗通道圖中按照亮度的大小取前0.1％的像素；(2)在這些位置中，在原始有霧圖像I中尋找對(duì)應(yīng)的具有最高亮度的點(diǎn)的值，作為A值。

當(dāng)投射率t的值很小時(shí)，會(huì)導(dǎo)致J的值偏大，從而使得圖像整體向白場(chǎng)過度，因此一般設(shè)置一閾值T₀＝0.1，t＜T₀時(shí)取t＝0.1。

最終的恢復(fù)公式如下：

在利用公式(10)計(jì)算之前，需要先對(duì)原含霧圖像進(jìn)行降采樣，對(duì)原含霧圖像降采樣后，可以減少需要處理的數(shù)據(jù)量。

然后，再將降采樣后的原含霧圖像、大氣光照系數(shù)和透射率圖通過霧圖成像模型(10)求解，最終，獲得去霧圖像。

本步驟通過指針操作符訪問儲(chǔ)存在內(nèi)存空間的圖像，能夠?qū)?shù)據(jù)進(jìn)行高速讀寫；

本步驟求解透射率圖后將透射率圖歸一化到8比特灰度范圍內(nèi)，保證后續(xù)霧圖成像方程的求解為整型數(shù)運(yùn)算，解決了暗通道先驗(yàn)去霧方法中透射率圖大量浮點(diǎn)運(yùn)算導(dǎo)致算法時(shí)間大幅增加的問題；

S5：將去霧圖像實(shí)時(shí)輸出形成去霧視頻。

由于步驟S3和步驟S4中均采用了降采樣處理，所以，在實(shí)時(shí)輸出形成視頻之前，還需要對(duì)去霧圖像進(jìn)行放大插值處理。

通過步驟S1～S5，本例通過對(duì)仁濟(jì)醫(yī)院提供的兩套幀率分別為25FPS和50FPS、分辨率均為1920*1080的腹腔鏡手術(shù)視頻(其中25FPS取6個(gè)視頻，50FPS取1個(gè)視頻)進(jìn)行測(cè)試，在CPU為i7 4710-MQ、編譯環(huán)境為Visual Studio 2012的條件下，輸出去霧視頻相對(duì)于原視頻的平均滯后時(shí)間為28.6ms，最大滯后時(shí)間為32ms，基本實(shí)現(xiàn)了實(shí)時(shí)去霧，且對(duì)于幀率具有自適應(yīng)處理能力。具體實(shí)驗(yàn)滯后時(shí)間統(tǒng)計(jì)結(jié)果見表1。

表1.去霧處理滯后時(shí)間統(tǒng)計(jì)表

在步驟S2中對(duì)視頻進(jìn)行幀率自適應(yīng)采樣，即對(duì)低幀率視頻進(jìn)行逐幀采樣，而對(duì)高幀率視頻進(jìn)行隔幀采樣，獲取原含霧圖像并進(jìn)行降采樣，在幾乎不影響去霧效果的前提下大幅減少了需要處理的數(shù)據(jù)量；在步驟S3中對(duì)暗通道圖像進(jìn)行中值濾波處理，與最小值濾波相比，能夠更好的保存圖像邊緣，將濾波窗口設(shè)置為3像素*3像素，保證了暗通道圖像的精細(xì)程度，也保證了由暗通道圖計(jì)算所得透射率圖的精細(xì)程度，腹腔鏡手術(shù)中手術(shù)刀高溫切割所形成的組織煙塵顆粒較小，圖像特征與椒鹽噪聲相似，可利用3像素*3像素窗口大小的中值濾波剔除。在步驟S3，S4中通過指針操作符訪問儲(chǔ)存到內(nèi)存空間的圖像，能夠?qū)?shù)據(jù)進(jìn)行高速讀寫；在步驟S4中求取透射率圖后將透射率圖歸一化到8比特灰度范圍內(nèi)，使得后續(xù)霧圖成像方程的求解為整型數(shù)運(yùn)算，解決了暗通道先驗(yàn)去霧方法中透射率圖大量浮點(diǎn)運(yùn)算導(dǎo)致算法時(shí)間大幅增加的問題。

以上應(yīng)用了具體個(gè)例對(duì)本發(fā)明進(jìn)行闡述，只是用于幫助理解本發(fā)明，并不用以限制本發(fā)明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員，依據(jù)本發(fā)明的思想，還可以做出若干簡(jiǎn)單推演、變形或替換。