本發(fā)明涉及輸液場景監(jiān)控，具體為一種基于ai視覺輸液場景監(jiān)控的識別系統(tǒng)及輸液監(jiān)控儀設(shè)備。

背景技術(shù)：

1、輸液監(jiān)控系統(tǒng)可以將病人輸液的進度信息同步顯示在監(jiān)控屏上，實時監(jiān)測輸液的狀態(tài)，并在輸液完畢時發(fā)出提示信息，幫助醫(yī)護人員及時準確、高效地完成對病人輸液監(jiān)管的任務(wù)，在申請?zhí)枮閏n202111551832.9發(fā)明專利中公開了“一種基于電導(dǎo)檢測可識別基礎(chǔ)輸液的輸液監(jiān)測系統(tǒng)及方法，該系統(tǒng)包括基礎(chǔ)輸液種類識別裝置、滴速監(jiān)測裝置、交流激勵源、mcu以及與mcu無線通信的監(jiān)測服務(wù)器，所述的基礎(chǔ)輸液種類識別裝置包括設(shè)置在輸液上管路或下管路外壁上的第一傳感組件，所述的滴速監(jiān)測裝置包括設(shè)置在滴壺外壁上的第二傳感組件，所述的交流激勵源分別與第一傳感組件和第二傳感組件連接用以施加激勵電壓，所述的mcu分別與第一傳感組件和第二傳感組件連接，通過采集到的信號進行處理實現(xiàn)基礎(chǔ)輸液種類識別和滴速監(jiān)測及輔助異常報警。與現(xiàn)有技術(shù)相比，本發(fā)明具有可識別基礎(chǔ)輸液種類，系統(tǒng)可復(fù)用、安裝簡單、成本低并可實現(xiàn)遠程監(jiān)護等優(yōu)點?！?；

2、上述現(xiàn)有技術(shù)解決了需要人工檢查輸液所用的藥品以及無法及時發(fā)現(xiàn)滴速異常等問題，但是系統(tǒng)在運行時，由于對不同輸液瓶的材質(zhì)未進行劃分，導(dǎo)致輸液過程對于液體的實際重量在分析時存在較大的誤差，使得在監(jiān)護時不能夠及時發(fā)現(xiàn)輸液完畢，同時該系統(tǒng)并不會對輸液的藥品名稱以及生產(chǎn)廠家進行查詢，使得醫(yī)護人員需要人工對這些藥品對應(yīng)的患者信息進行查詢。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于ai視覺輸液場景監(jiān)控的識別系統(tǒng)及輸液監(jiān)控儀設(shè)備，以解決上述背景技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于ai視覺輸液場景監(jiān)控的識別系統(tǒng)，包括文字識別單元、藥品審核單元和輸液監(jiān)測單元；

3、信息獲取單元，所述信息獲取單元獲取每個患者輸液清單中對應(yīng)的藥品名稱以及生產(chǎn)廠家，將其傳輸至數(shù)據(jù)庫中，將現(xiàn)有輸液瓶的材質(zhì)劃分為三種類型，分別是玻璃瓶、塑料瓶和塑料袋，提取不同生產(chǎn)廠家的藥品輸液瓶對應(yīng)的材質(zhì)后，統(tǒng)計每種材質(zhì)存在的容量，確定不同容量對應(yīng)的輸液瓶重量，以藥品名稱、輸液瓶材質(zhì)、容量、生產(chǎn)廠家以及重量的數(shù)據(jù)存儲形式傳輸至數(shù)據(jù)庫中；

4、圖像處理單元，所述圖像處理單元利用相機對不同材質(zhì)的輸液瓶進行拍攝，將采集到的圖像信息作為初始圖像信息傳輸至樣本數(shù)據(jù)集中，使用隨機變量對樣本數(shù)據(jù)集中的多張初始圖像信息進行處理，得到具備高斯噪聲的圖像信息，將其存儲至樣本數(shù)據(jù)集中，統(tǒng)計圖像信息中不同灰度級對應(yīng)的像素點數(shù)目，利用分布函數(shù)推算出參考灰度級，根據(jù)參考灰度級對圖像信息的灰度級進行調(diào)整，處理后的圖像信息存儲至樣本數(shù)據(jù)集中；

5、材質(zhì)分析單元，所述材質(zhì)分析單元利用alexnet神經(jīng)網(wǎng)絡(luò)構(gòu)建出輸液瓶材質(zhì)識別模型，根據(jù)預(yù)設(shè)值在訓(xùn)練集中獲取屬于同一類型的多張圖像信息，將其作為輸入傳輸至模型時，使用dropout技術(shù)在模型的兩層全連接層中隨機選擇百分之二十的神經(jīng)網(wǎng)絡(luò)進行刪除，通過余下的神經(jīng)網(wǎng)絡(luò)對圖像信息進行分析后，迭代更新模型的參數(shù)，恢復(fù)刪除的神經(jīng)網(wǎng)絡(luò)，重復(fù)操作直至完成模型訓(xùn)練，利用攝像機對當前輸液瓶進行拍攝，將采集到圖像信息傳輸至輸液瓶材質(zhì)識別模型中進行分析，將得到的結(jié)果進行輸出；

6、文字檢測單元，所述文字檢測單元從數(shù)據(jù)庫中提取當前圖像信息后，對圖像信息相應(yīng)的特征圖進行滑窗操作，在每個窗口中心區(qū)域選取十個限位框來預(yù)測文本候選區(qū)域，將特征圖中每一行對應(yīng)的特征向量傳輸至循環(huán)神經(jīng)網(wǎng)絡(luò)中，通過循環(huán)神經(jīng)網(wǎng)絡(luò)對其進行分析得到對應(yīng)的序列特征，使用softmax計算出特征圖對應(yīng)的先驗框和每個限位框之間的交集面積與并集面積之比，若得到的數(shù)據(jù)大于閾值時，則對應(yīng)的限位框判定為正樣本，利用偏移量分析算法對這些限位框進行分析，確定限位框的位置以及高度，并將相鄰距離最小的多個文本候選區(qū)域拼接生成文本行。

7、優(yōu)選的，所述圖像處理單元包括初始樣本采集模塊和第一噪聲添加模塊，所述初始樣本采集模塊利用相機對不同材質(zhì)的輸液瓶進行拍攝，將采集到的圖像信息作為初始圖像信息按照不同材質(zhì)類型傳輸至樣本數(shù)據(jù)集中，所述第一噪聲添加模塊利用隨機數(shù)生成函數(shù)計算得到兩個數(shù)值后，通過box-muller變換公式將其轉(zhuǎn)化為高斯分布的隨機變量，使用隨機變量對樣本數(shù)據(jù)集中的多張初始圖像信息進行處理，得到具備高斯噪聲的圖像信息，所述box-muller變換公式是將均勻分布的隨機數(shù)變換成服從正態(tài)分的隨機數(shù)的一種方式。

8、優(yōu)選的，所述圖像處理單元還包括第二噪聲添加模塊和灰度級分析模塊，所述第二噪聲添加模塊設(shè)定圖像對應(yīng)的信噪比，根據(jù)樣本數(shù)據(jù)集中的圖像信息所包含的像素總數(shù)以及信噪比進行推算，得到設(shè)置干擾的像素數(shù)后，利用得到的像素數(shù)確定圖像信息中像素點的指定位置，將對應(yīng)位置的像素值設(shè)定為零，得到具備脈沖噪聲的圖像信息，將其存儲至樣本數(shù)據(jù)集中，所述灰度級分析模塊統(tǒng)計圖像信息中不同灰度級對應(yīng)的像素點數(shù)目，確定每種灰度級對應(yīng)的像素比例后，根據(jù)像素比例得到該圖像信息對應(yīng)的分布函數(shù)，利用分布函數(shù)推算出參考灰度級，并對圖像信息的灰度級進行調(diào)整，得到處理后的圖像信息，將其存儲至樣本數(shù)據(jù)集中，所述分布函數(shù)具體為：

9、

10、其中，nk表示原圖像中不同灰度級的像素個數(shù)，n表示原圖像中像素總個數(shù)，k表示當前灰度級的編號，l表示灰度級個數(shù)，sk表示分布函數(shù)，j表示參數(shù)。

11、優(yōu)選的，所述材質(zhì)分析單元包括數(shù)據(jù)集劃分模塊、模型構(gòu)建模塊、模型優(yōu)化模塊、模型訓(xùn)練模塊和材質(zhì)確定模塊，所述數(shù)據(jù)集劃分模塊將樣本數(shù)據(jù)集中每種類型的圖像信息提取百分之八十傳輸至訓(xùn)練數(shù)據(jù)集中，余下的圖像信息傳輸至測試數(shù)據(jù)集中，所述模型構(gòu)建模塊利用alexnet神經(jīng)網(wǎng)絡(luò)構(gòu)建出輸液瓶材質(zhì)識別模型，所述輸液瓶材質(zhì)識別模型包含五層卷積層和三層全連接層，所述模型優(yōu)化模塊設(shè)置每次輸入的樣本數(shù)量后，根據(jù)預(yù)設(shè)值在訓(xùn)練集中獲取屬于同一類型的多張圖像信息，將其作為輸入傳輸至模型時，使用dropout技術(shù)在兩層全連接層中隨機選擇百分之二十的神經(jīng)網(wǎng)絡(luò)進行刪除，并對刪除的神經(jīng)網(wǎng)絡(luò)參數(shù)進行備份，通過余下的神經(jīng)網(wǎng)絡(luò)對圖像信息進行分析后，得到模型的預(yù)測值，所述模型訓(xùn)練模塊利用損失函數(shù)對模型生成概率與實際概率之間的差異進行分析后，設(shè)定動量參數(shù)，根據(jù)損失函數(shù)提供的對應(yīng)目標概率，對網(wǎng)絡(luò)中的梯度進行估計，迭代更新模型的參數(shù)后，恢復(fù)刪除的神經(jīng)網(wǎng)絡(luò)，重復(fù)操作直至完成模型訓(xùn)練，所述材質(zhì)確定模塊利用攝像機對當前輸液瓶進行拍攝，將采集到的圖像信息存儲至數(shù)據(jù)庫中，從數(shù)據(jù)庫中調(diào)取當前圖像信息，將其傳輸至輸液瓶材質(zhì)識別模型中進行分析，得到三種材質(zhì)對應(yīng)的概率，選取概率最高的材質(zhì)作為結(jié)果進行輸出，所述alexnet神經(jīng)網(wǎng)絡(luò)是一種深度卷積神經(jīng)網(wǎng)絡(luò)，所述dropout技術(shù)主要用于避免神經(jīng)網(wǎng)絡(luò)過擬合現(xiàn)象發(fā)生。

12、優(yōu)選的，所述文字檢測單元包括限位框選取模塊和序列特征生成模塊，所述限位框選取模塊從數(shù)據(jù)庫中提取當前圖像信息后，使用vgg16卷積神經(jīng)網(wǎng)絡(luò)對當前圖像信息進行分析，得到對應(yīng)圖像信息的特征圖，在特征圖中進行滑窗操作，先設(shè)定窗口大小為3×3，在每個窗口中心區(qū)域選取十個限位框來預(yù)測文本候選區(qū)域，所述序列特征生成模塊每個窗口中心與其周圍區(qū)域結(jié)合生成一個特征向量，將特征圖中每一行對應(yīng)的特征向量傳輸至循環(huán)神經(jīng)網(wǎng)絡(luò)中，通過循環(huán)神經(jīng)網(wǎng)絡(luò)對其進行分析得到對應(yīng)的序列特征，所述vgg16卷積神經(jīng)網(wǎng)絡(luò)是一種深度卷積神經(jīng)網(wǎng)絡(luò)。

13、優(yōu)選的，所述文字檢測單元還包括限位框位置確定模塊和文本區(qū)域拼接模塊，所述限位框位置確定模塊使用softmax函數(shù)將超出圖像信息邊界的限位框進行刪除后，計算出特征圖對應(yīng)的先驗框和每個限位框之間的交集面積與并集面積之比，若得到的數(shù)據(jù)大于閾值時，則對應(yīng)的限位框判定為正樣本，若得到的數(shù)據(jù)小于閾值但均大于其余限位框得到的數(shù)據(jù)時，也將對應(yīng)的限位框判定為正樣本，利用偏移量分析算法對其進行分析，確定限位框的位置以及高度，所述文本區(qū)域拼接模塊根據(jù)限位框的位置以及高度分析出每個文本候選區(qū)域的具體位置后，將相鄰距離最小的多個文本候選區(qū)域進行拼接生成文本行，利用邊緣細化算法對于每個文本行的周圍區(qū)域進行檢測，將剩余的鄰近文字候選區(qū)域合并至文本行中，所述偏移量分析算法具體為：

14、

15、其中，υ＝(υc,υh)表示相對預(yù)測坐標，υ′＝(υc′,υh′)表示先驗坐標，表示限位框的y軸中心，ha表示限位框的高度，cy表示輸入圖像中預(yù)測的y坐標，h表示輸入圖像中預(yù)測的高度，c′y表示先驗框中的y坐標，h′表示先驗框的高度。

16、優(yōu)選的，所述文字識別單元包括文字序列生成模塊、文字信息處理模塊和文字序列存儲模塊，所述文字序列生成模塊提取圖像信息中所有文本候選區(qū)域，將這些文本候選區(qū)域的圖像信息設(shè)置成相同的高度后，利用卷積神經(jīng)網(wǎng)絡(luò)模型對這些圖像信息進行分析，得到包含序列信息的特征向量，特征圖中的每一幀順序與文本候選區(qū)域的順序均對應(yīng)，將特征向量傳輸至循環(huán)神經(jīng)網(wǎng)絡(luò)中進行識別，得到多個連續(xù)幀對應(yīng)的文字序列，所述文字信息處理模塊利用分類器對文本序列進行檢測，將序列中含有的空格信息轉(zhuǎn)換成間隔符后，再次遍歷文本序列，一旦發(fā)現(xiàn)序列中存在重復(fù)的文字信息時，判斷重復(fù)的文本信息之間是否存在間隔符，若重復(fù)文字信息之間存在間隔符，則保留文字信息，若重復(fù)文字信息之間不存在間隔符，則保留序列靠前的文字信息，其余信息進行刪除，處理后的文本序列傳輸至數(shù)據(jù)庫中，所述文字序列存儲模塊根據(jù)識別出的文本序列確定當前圖像對應(yīng)的藥品名稱、生產(chǎn)廠家、有效期限以及藥瓶容量，將其傳輸至數(shù)據(jù)庫中。

17、優(yōu)選的，所述藥品審核單元利用數(shù)據(jù)庫查看工具根據(jù)藥品名稱以及生產(chǎn)廠家在對應(yīng)數(shù)據(jù)庫中進行查詢，若查詢到對應(yīng)的患者信息時，將其通過可視化界面進行輸出，若未查詢到對應(yīng)的患者信息時，將通過可視化界面返回不允許執(zhí)行輸液的信息，并以語音播報的形式進行提示，所述數(shù)據(jù)庫查看工具具體為navicat?for?mysql查詢器。

18、優(yōu)選的，所述輸液監(jiān)測單元包括有效期限分析模塊、重量監(jiān)測模塊、結(jié)束提示模塊和流速檢測模塊，所述有效期限分析模塊通過數(shù)據(jù)庫查看工具根據(jù)藥品名稱、輸液瓶材質(zhì)、容量、生產(chǎn)廠家在數(shù)據(jù)庫中進行查詢，得到輸液瓶對應(yīng)的重量，并利用處理器分析當前時間是否符合有效期限范圍，若符合有效期限范圍，則不執(zhí)行任何操作，反之則通過可視化界面返回不允許執(zhí)行輸液的信息，并以語音播報的形式進行提示，所述重量監(jiān)測模塊利用重量傳感器在輸液瓶使用過程中對其實際重量進行監(jiān)測，將得到的數(shù)據(jù)以及對應(yīng)時間傳輸至數(shù)據(jù)庫中，所述結(jié)束提示模塊從數(shù)據(jù)庫中獲取重量傳感器采集到的數(shù)據(jù)以及時間后，根據(jù)輸液瓶對應(yīng)的重量以及承裝液體時的完整重量分析出當前輸液瓶剩余液體重量，若剩余液體重量小于等于五克時，將通過可視化界面返回輸液即將完成的信息，并以語音播報的形式進行提示，反之則通過可視化界面返回剩余液體重量信息，所述流速檢測模塊當用戶需要確定當時輸液速度時，獲取當前承裝液體時的輸液瓶重量以及前三次采集到的當前承裝液體時的輸液瓶重量后，根據(jù)每次重量傳感器采集數(shù)據(jù)的時間間隔計算當前輸液的平均速度以及瞬時速度，將其通過可視化界面進行輸出。

19、一種輸液監(jiān)控儀設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)所述一種基于ai視覺輸液場景監(jiān)控的識別系統(tǒng)。

20、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

21、1、本發(fā)明通過圖像處理單元將采集到的多個圖像信息作為初始圖像信息傳輸至樣本數(shù)據(jù)集中，并在初始圖像信息中添加高斯噪聲和脈沖噪聲，由于這兩種噪聲在實際拍攝所產(chǎn)生的圖像信息中最為常見，因此在樣本數(shù)據(jù)集中存儲經(jīng)過處理后的圖像信息對于模型訓(xùn)練具有極大的幫助，便于模型在迭代更新參數(shù)時能夠更加準確，同時將樣本數(shù)據(jù)集中的圖像信息對應(yīng)灰度級進行調(diào)整，使得樣本數(shù)據(jù)集中包含的圖像信息具備多樣性，保證輸液瓶材質(zhì)識別模型對于不同類型的圖像信息進行分析時均能夠快速得到對應(yīng)的材質(zhì)信息；

22、2、本發(fā)明通過文字檢測單元和文字識別單元能夠準確的分析出當前圖像信息中輸液瓶表面的相關(guān)信息具體位置以及內(nèi)容，便于后續(xù)根據(jù)藥品名稱以及生產(chǎn)廠家查詢患者相關(guān)信息，避免藥品錯誤使用的情況發(fā)生，同時根據(jù)識別的文本信息以及輸液瓶材質(zhì)識別模型分析得到的輸液瓶材質(zhì)信息準確獲取當前圖像中涉及到的輸液瓶重量信息，利用重力傳感器測量輸液瓶承裝全部液體的完整重量，通過這些數(shù)據(jù)便能夠精確分析出液體的實際重量，當輸液即將完成時能夠及時提示醫(yī)護人員進行更換，并且在輸液過程中還可以實時監(jiān)測液體的流速。