本發(fā)明屬于圖像處理與智能識別領(lǐng)域，具體涉及一種基于機(jī)器視覺的靜脈注射液滴流速的測量方法。

背景技術(shù)：

迄今為止，靜脈輸液技術(shù)已發(fā)展近600年，但其真正形成一套完整的輸液體系是在20世紀(jì)，目前已成為最有效、直接和常用的臨床醫(yī)學(xué)治療手段之一。靜脈滴注是通過輸液管將大量的液體和藥物由靜脈輸入體內(nèi)的方法。對于不易吸收的藥物，以及嘔吐、昏迷的病人，均可采用靜脈滴注的方法給藥。其優(yōu)點(diǎn)是吸收迅速，劑量準(zhǔn)確，作用可靠，藥物不經(jīng)過胃腸和肝臟而直接進(jìn)入組織和體液中，作業(yè)快捷，很適用于急救和不能口服藥物的病人。

在臨床醫(yī)學(xué)中，輸液耗時(shí)較多，白天夜間都可能進(jìn)行，而輸液狀況特別是靜脈滴速，需要及時(shí)觀測，以便根據(jù)藥物類型控制滴速、更換藥物、輸液結(jié)束時(shí)及時(shí)拔針等，滴速測量醫(yī)護(hù)人員帶來了繁重的負(fù)擔(dān)，實(shí)現(xiàn)輸液的自動監(jiān)控成為臨床應(yīng)用的迫切需求。

因此，靜脈滴注測速對于臨床治療和醫(yī)學(xué)研究都有顯著意義。傳統(tǒng)的靜脈滴注測流速的方式主要有以下幾種：(1)機(jī)械稱重式輸液檢測；(2)紅外光電式輸液檢測；(3)電容計(jì)量式輸液檢測。

傳統(tǒng)的靜脈滴注測速主要依靠醫(yī)護(hù)人員人工測量，而人工測量存在許多缺點(diǎn)：(1)檢測速度過慢，需要耗費(fèi)大量人力；(2)檢測結(jié)果不精確，醫(yī)護(hù)人員往往依靠個人經(jīng)驗(yàn)或簡單的計(jì)時(shí)器檢測靜脈滴注速度，結(jié)果可能不夠準(zhǔn)確。因此，傳統(tǒng)人工檢測的方法難以適應(yīng)臨床醫(yī)學(xué)研究的發(fā)展，采用新的、自動化程度較高的檢測方法變得必要起來。

隨著數(shù)字圖像處理技術(shù)的發(fā)展，其在醫(yī)學(xué)領(lǐng)域也有著越來越廣泛的應(yīng)用，利用數(shù)字圖像處理方法來進(jìn)行靜脈滴注測速，不僅能夠提高檢測效率，增加檢測結(jié)果的精確度，同時(shí)成本低廉，自動化程度較高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的：

一種基于機(jī)器視覺的靜脈注射液滴流速測量方法，其特征在于，包括：

步驟1，拍攝樣本視頻，視頻逐幀轉(zhuǎn)為靜態(tài)圖像；

步驟2，將滴管視為運(yùn)動目標(biāo)。提取前景目標(biāo)，并進(jìn)行二值化處理；

步驟3，提取含有液滴的幀號，設(shè)置閾值th,當(dāng)某一幀像素值為255的和sum＞th，則認(rèn)為這一幀是含有液滴幀。否則認(rèn)為這一幀不存在液滴。記錄含有液滴的幀號。不同的靜脈注射，由于開關(guān)控制型號的不同，流速各不相同。所以出現(xiàn)同一滴液滴的幀不止一幀或者有漏掉的情況，記錄每一幀符合含有液滴幀閾值的編號。然后遍歷這些編號，當(dāng)出現(xiàn)編號連續(xù)情況，則認(rèn)為是同一幀，計(jì)算連續(xù)編號的均值

步驟4，根據(jù)v＝fps/δn計(jì)算流速。首先由上述步驟計(jì)算的出現(xiàn)液滴的均值幀號則液滴幀相鄰差值則幀間差的均值為δn1，δn2，δn3，…的平均值，則流速fps為視頻的幀率。

在上述的一種基于機(jī)器視覺的靜脈注射液滴流速測量方法所述步驟2的具體處理步驟基于兩種測速方法，包括：

測速方法一，模板匹配法，具體包括：

步驟2.1.1、首先要提取液滴模板，本發(fā)明采用的是霍夫變換，圓形提取的方法。液滴在滴灌中形態(tài)近似為圓形。提取到圓之后，選取圓心o坐標(biāo)為(x1,y1)，圓半徑r。則以坐標(biāo)(x1-r,y1-r)中心點(diǎn)，長寬2r截取液滴模板。

步驟2.1.2、以上一步提取的液滴為模板，對所有視頻幀逐幀進(jìn)行模板匹配。一般模板的算法思想：將搜索模板t((m×n)個像素)疊放在被搜索圖s(w×h個像素)上平移，模板覆蓋被搜索圖的那塊區(qū)域叫子圖sij。i,j為子圖左上角在被搜索圖s上的坐標(biāo)。搜索范圍是：

1≤i≤w-m

1≤j≤w-m

通過比較t和sij的相似性，完成模板匹配過程。

步驟2.1.3、匹配區(qū)域二值化，由于含液滴的幀和不含液滴的幀區(qū)別比較大，所以這里的二值化方法比較隨意?？梢允蔷植慷祷?，全局二值化也可以是自適應(yīng)二值化。二值化目的是為了更好的進(jìn)行像素的統(tǒng)計(jì)。

步驟2.1.4、目標(biāo)區(qū)域的像素值統(tǒng)計(jì)sum。從(0,0)開始從左至右，從上到下逐步遍歷圖像，進(jìn)行像素和的累加，若遍歷點(diǎn)像素值為255則加1，以此類推。計(jì)算像素值為255的總和。

測速方法二，幀差法，具體包括：

步驟2.2.1、利用gmm混合高斯模型提取前景。首先將每個高斯的均值,方差，權(quán)值都設(shè)置為0，即初始化個模型矩陣參數(shù)。采用視頻中的t幀用來訓(xùn)練gmm模型。對每一個像素而言，建立其模型個數(shù)最大gmm_max_compont個高斯的gmm模型。當(dāng)?shù)谝粋€像素來，單獨(dú)為其在程序中設(shè)置好其固定的初始均值，方差，并且權(quán)值設(shè)置為1。

非第一幀訓(xùn)練過程中，當(dāng)后面來的像素值時(shí)，與前面已有的高斯的均值比較，如果該像素點(diǎn)的值與其模型均值差在3倍的方差內(nèi)，則任務(wù)屬于該高斯。此時(shí)用如下方程進(jìn)行更新：

其中α＝1/t,

當(dāng)該像素點(diǎn)的值與均值的差不在其3倍范圍內(nèi)時(shí)取

到達(dá)訓(xùn)練的幀數(shù)t后，進(jìn)行不同像素點(diǎn)gmm個數(shù)自適應(yīng)的選擇。首先用權(quán)值除以方差對各個高斯進(jìn)行從大到小排序，然后選取最前面b個高斯，使其滿足其中cf一般為0.3

這樣就可以很好的消除訓(xùn)練過程中的噪聲點(diǎn)。在測試階段，對新來像素點(diǎn)的值與b個高斯中的每一個均值進(jìn)行比較，如果其差值在2倍的方差之間的話，則認(rèn)為是背景，否則認(rèn)為是前景。并且只要其中有一個高斯分量滿足該條件就認(rèn)為是前景。前景賦值為255，背景賦值為0。這樣就形成了一副前景二值圖。由于前景二值圖中含有很多噪聲，所以采用了形態(tài)學(xué)的開操作將噪聲縮減到0，緊接著用閉操作重建由于開操作丟失的邊緣部分的信息。消除了不連通的小噪聲點(diǎn)。

步驟2.2.2、對上一步提取的前景進(jìn)行自適應(yīng)二值化處理。

步驟2.2.3、然后對二值化圖像分別進(jìn)行水平和豎直方向的投影。選取閾值th1，分別投影圖像進(jìn)行水平和豎直方向遍歷。當(dāng)出現(xiàn)n0＜th，而n0后的連續(xù)10個像素點(diǎn)都大于th，則認(rèn)為n0為滴管的一個邊界點(diǎn)。獲取邊界點(diǎn)后，截取滴管目標(biāo)區(qū)域；同理選取閾值th2，當(dāng)出現(xiàn)n1＜th，而n1的前5個點(diǎn)都大于th，后5個點(diǎn)都小于th，則認(rèn)為n1為另一邊的界點(diǎn)。同理找到四個邊界點(diǎn)，截取目標(biāo)區(qū)域?yàn)槟０濉?/p>

步驟2.2.4、用上述模板進(jìn)行模板匹配，與2.1.2中所述實(shí)施模板匹配方法一致。

步驟2.2.5、對上述匹配的區(qū)域進(jìn)行幀差處理。這里選用每隔兩幀幀差一次的方式進(jìn)行差分，例如1、4、7、10…，這樣做的好處在于提高計(jì)算效率。

步驟2.2.6、對差分圖像，進(jìn)行開閉運(yùn)算處理，然后根據(jù)2.1.4所述方法進(jìn)行像素值和的統(tǒng)計(jì)。

在上述的一種基于機(jī)器視覺的靜脈注射液滴流速測量方法，針對靜脈注射環(huán)境背景復(fù)雜，且多樣化的特點(diǎn)，執(zhí)行步驟2時(shí)，兩種方法均對相關(guān)干擾因素進(jìn)行了處理，因此執(zhí)行步驟2時(shí)進(jìn)行隨機(jī)選擇模板匹配法或者幀差法進(jìn)行測速。

因此，本發(fā)明具有如下優(yōu)點(diǎn)：1、本發(fā)明設(shè)計(jì)了兩種不同的測量方法，各有優(yōu)點(diǎn)。使用者可以根據(jù)不同的條件、環(huán)境選擇適合的方案；2、本發(fā)明提供了詳細(xì)的算法模型，使用設(shè)備即為常見的手機(jī)等移動產(chǎn)品。便于使用者理解和實(shí)際操作；3、本發(fā)明克服了現(xiàn)有測定技術(shù)復(fù)雜、監(jiān)管不便、耗時(shí)、費(fèi)用大的不足的缺點(diǎn)。為更加準(zhǔn)確高效便捷的測量靜脈注射液滴流速，減輕醫(yī)務(wù)人員的工作量提供支持；4、本發(fā)明對視頻的抖動進(jìn)行了相關(guān)的處理，允許拍攝過程中的不穩(wěn)定，不需要刻意的固定拍攝設(shè)備。給算法移植到移動端，以及結(jié)果的準(zhǔn)確性帶來了突破。

附圖說明

附圖1為靜脈滴注流速計(jì)算系統(tǒng)的流程圖。

附圖2為視頻抖動處理的算法流程圖。

附圖3為gmm混合高斯模型提取前景流程圖。

附圖4為整個系統(tǒng)的算法完整流程圖。

具體實(shí)施方式

下面通過實(shí)施例，并結(jié)合附圖，對本發(fā)明的技術(shù)方案作進(jìn)一步具體的說明。

本發(fā)明主要包括以下步驟

第一步：獲取樣本視頻；

第二步：將滴管視為運(yùn)動目標(biāo)。利用gmm混合高斯模型，提取前景目標(biāo)；

第三步：二值化處理；

第四步：對上一步二值圖像分別進(jìn)行水平和豎直方向的積分投影。設(shè)置閾值th,分別投影圖像進(jìn)行水平和豎直方向遍歷。當(dāng)出現(xiàn)n0＜th，而n0后的連續(xù)10個像素點(diǎn)都大于th，則認(rèn)為n0為滴管的一個邊界點(diǎn)。獲取邊界點(diǎn)后，截取滴管目標(biāo)區(qū)域；

第五步：逐幀進(jìn)行模板匹配，所有幀匹配到的區(qū)域即為滴管所在位置；

作為優(yōu)選，為試用不同場景不同環(huán)境下的測量，本發(fā)明采用兩種不同思路方法進(jìn)行測量計(jì)數(shù)。

一種是模板匹配法，一種是幀差法。

模板匹配法實(shí)現(xiàn)的具體步驟是：

第一步：霍夫變換，尋找圓形。提取液滴模板；

第二步：逐幀進(jìn)行模板匹配，提取匹配區(qū)域；

第三步：對匹配區(qū)域進(jìn)行二值化以及形態(tài)學(xué)處理；

第四步：逐幀統(tǒng)計(jì)目標(biāo)區(qū)域像素值；

第五步：給定閾值th2，大于閾值的幀認(rèn)為含有液滴，記錄幀號；

第六步：根據(jù)出現(xiàn)液滴幀的差值，與視頻的幀率fps計(jì)算流速。假設(shè)連續(xù)兩滴視頻幀分別為n1，n2，則幀序號差為δn＝n1-n2。即為經(jīng)過δn幀的時(shí)間就有一滴液滴落下。則滴速v＝fps/δn。

第二種幀差法，由于拍攝過程的抖動對幀差影響比較大，所以本發(fā)明使用幀差法的時(shí)候，要先進(jìn)行防抖動處理。幀差法的具體實(shí)現(xiàn)步驟是：

第一步：利用本發(fā)明的方法，進(jìn)行防抖動處理；

第二步：幀間差分處理。由于液滴在滴管中還未落下時(shí)，液滴變化緩慢。這里采用抽幀，隔幀幀差的方式，提高檢測效率。為防止出現(xiàn)漏幀的現(xiàn)象，根據(jù)不同的型號的滴管標(biāo)準(zhǔn)，流速不同，幀間隔選取不同；

第三步：對上一步幀差的圖像，進(jìn)行形態(tài)學(xué)處理，包括開閉運(yùn)算等。

第四步：逐幀統(tǒng)計(jì)目標(biāo)區(qū)域像素值；

第五步：給定閾值th3，大于閾值的幀認(rèn)為含有液滴，記錄幀號；

第六步：根據(jù)出現(xiàn)液滴幀的差值，與視頻的幀率fps計(jì)算流速。假設(shè)連續(xù)兩滴幀分別為n1，n2，則幀序號差為δn＝n1-n2。即為經(jīng)過δn幀的時(shí)間就有一滴液滴落下。則流速v＝fps/δn。

實(shí)施例：

下面是采用上述方法的具體實(shí)施例。

如圖1，2，3，4所示，本實(shí)施例的測速方法包括以下步驟：

第一步：拍攝樣本視頻，視頻逐幀轉(zhuǎn)為靜態(tài)圖像；

第二步：選擇測速方法：

2.1、模板匹配法

2.1.1、首先要提取液滴模板，本發(fā)明采用的是霍夫變換，圓形提取的方法。液滴在滴灌中形態(tài)近似為圓形。提取到圓之后，選取圓心o坐標(biāo)為(x1,y1)，圓半徑r。則以坐標(biāo)(x1-r,y1-r)中心點(diǎn)，長寬2r截取液滴模板。

2.1.2、以上一步提取的液滴為模板，對所有視頻幀逐幀進(jìn)行模板匹配。一般模板的算法思想：將搜索模板t((m×n)個像素)疊放在被搜索圖s(w×h個像素)上平移，模板覆蓋被搜索圖的那塊區(qū)域叫子圖sij。i,j為子圖左上角在被搜索圖s上的坐標(biāo)。搜索范圍是：

1≤i≤w-m

1≤j≤w-m

通過比較t和sij的相似性，完成模板匹配過程。

2.1.3、匹配區(qū)域二值化，由于含液滴的幀和不含液滴的幀區(qū)別比較大，所以這里的二值化方法比較隨意。可以是局部二值化，全局二值化也可以是自適應(yīng)二值化。二值化目的是為了更好的進(jìn)行像素的統(tǒng)計(jì)。

2.1.4、目標(biāo)區(qū)域的像素值統(tǒng)計(jì)sum。從(0,0)開始從左至右，從上到下逐步遍歷圖像，進(jìn)行像素和的累加，若遍歷點(diǎn)像素值為255則加1，以此類推。計(jì)算像素值為255的總和。

2.2、幀差法

2.2.1、利用gmm混合高斯模型提取前景。首先將每個高斯的均值,方差，權(quán)值都設(shè)置為0，即初始化個模型矩陣參數(shù)。采用視頻中的t幀用來訓(xùn)練gmm模型。對每一個像素而言，建立其模型個數(shù)最大gmm_max_compont個高斯的gmm模型。當(dāng)?shù)谝粋€像素來，單獨(dú)為其在程序中設(shè)置好其固定的初始均值，方差，并且權(quán)值設(shè)置為1。

非第一幀訓(xùn)練過程中，當(dāng)后面來的像素值時(shí)，與前面已有的高斯的均值比較，如果該像素點(diǎn)的值與其模型均值差在3倍的方差內(nèi)，則任務(wù)屬于該高斯。此時(shí)用如下方程進(jìn)行更新：

其中α＝1/t,

當(dāng)該像素點(diǎn)的值與均值的差不在其3倍范圍內(nèi)時(shí)取

到達(dá)訓(xùn)練的幀數(shù)t后，進(jìn)行不同像素點(diǎn)gmm個數(shù)自適應(yīng)的選擇。首先用權(quán)值除以方差對各個高斯進(jìn)行從大到小排序，然后選取最前面b個高斯，使其滿足其中cf一般為0.3

這樣就可以很好的消除訓(xùn)練過程中的噪聲點(diǎn)。在測試階段，對新來像素點(diǎn)的值與b個高斯中的每一個均值進(jìn)行比較，如果其差值在2倍的方差之間的話，則認(rèn)為是背景，否則認(rèn)為是前景。并且只要其中有一個高斯分量滿足該條件就認(rèn)為是前景。前景賦值為255，背景賦值為0。這樣就形成了一副前景二值圖。由于前景二值圖中含有很多噪聲，所以采用了形態(tài)學(xué)的開操作將噪聲縮減到0，緊接著用閉操作重建由于開操作丟失的邊緣部分的信息。消除了不連通的小噪聲點(diǎn)。

2.2.2、對上一步提取的前景進(jìn)行自適應(yīng)二值化處理。

2.2.3、然后對二值化圖像分別進(jìn)行水平和豎直方向的投影。選取閾值th1，分別投影圖像進(jìn)行水平和豎直方向遍歷。當(dāng)出現(xiàn)n0＜th，而n0后的連續(xù)10個像素點(diǎn)都大于th，則認(rèn)為n0為滴管的一個邊界點(diǎn)。獲取邊界點(diǎn)后，截取滴管目標(biāo)區(qū)域；同理選取閾值th2，當(dāng)出現(xiàn)n1＜th，而n1的前5個點(diǎn)都大于th，后5個點(diǎn)都小于th，則認(rèn)為n1為另一邊的界點(diǎn)。同理找到四個邊界點(diǎn)，截取目標(biāo)區(qū)域?yàn)槟０濉?/p>

2.2.4、用上述模板進(jìn)行模板匹配，與2.1.2中所述實(shí)施模板匹配方法一致。

2.2.5、對上述匹配的區(qū)域進(jìn)行幀差處理。這里選用每隔兩幀幀差一次的方式進(jìn)行差分，例如1、4、7、10…，這樣做的好處在于提高計(jì)算效率。

2.2.6、對差分圖像，進(jìn)行開閉運(yùn)算處理，然后根據(jù)2.1.4所述方法進(jìn)行像素值和的統(tǒng)計(jì)。

第三步：提取含有液滴的幀號，設(shè)置閾值th,當(dāng)某一幀像素值為255的和sum＞th，則認(rèn)為這一幀是含有液滴幀。否則認(rèn)為這一幀不存在液滴。記錄含有液滴的幀號。不同的靜脈注射，由于開關(guān)控制型號的不同，流速各不相同。所以出現(xiàn)同一滴液滴的幀可能不止一幀，也有可能有漏掉的情況。本發(fā)明采用的方法是，記錄每一幀符合含有液滴幀閾值的編號。然后遍歷這些編號，當(dāng)出現(xiàn)編號連續(xù)情況，則認(rèn)為是同一幀，計(jì)算連續(xù)編號的均值

第四步：根據(jù)v＝fps/δn計(jì)算流速。首先由上述步驟計(jì)算的出現(xiàn)液滴的均值幀號則液滴幀相鄰差值則幀間差的均值為δn1，δn2，δn3，…的平均值。這種反復(fù)計(jì)算均值的方法，有效的解決了漏幀的情況。則流速fps為視頻的幀率。

本文中所描述的具體實(shí)施例僅僅是對本發(fā)明精神作舉例說明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代，但并不會偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。