一種用于皮下靜脈顯影儀的控制處理系統(tǒng)及成像方法
【專利摘要】本發(fā)明公開了一種用于皮下靜脈顯影儀的控制處理系統(tǒng)及成像方法；所述控制處理系統(tǒng)包括處理器子系統(tǒng)和可編程邏輯子系統(tǒng)，所述處理器子系統(tǒng)和可編程邏輯子系統(tǒng)通過高帶寬AXI總線互聯(lián)；所述控制處理系統(tǒng)與可見光光源驅(qū)動電路、近紅外光源驅(qū)動電路、投影成像元件驅(qū)動電路、近紅外成像元件驅(qū)動電路、顯示屏幕驅(qū)動電路以及用戶控制界面信號連接。本發(fā)明針對皮下靜脈顯影成像應(yīng)用及其成像特點，設(shè)計出皮下靜脈顯影系統(tǒng)的控制處理系統(tǒng)架構(gòu)，利用軟硬件結(jié)合方式進(jìn)行實現(xiàn)，設(shè)計出具有更高對比度、更低時延、更加智能化的皮下靜脈顯影系統(tǒng)，從而有效地輔助醫(yī)護(hù)人員對穿刺對象進(jìn)行皮下靜脈血管定位，提高皮下靜脈穿刺操作的成功率。
【專利說明】
-種用于皮下靜脈顯影儀的控制處理系統(tǒng)及成像方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于醫(yī)療器械技術(shù)領(lǐng)域，尤其是設(shè)及皮下靜脈穿刺時用于靜脈血管顯影的 控制處理系統(tǒng)和成像方法。
【背景技術(shù)】
[0002] 皮下靜脈穿刺是醫(yī)院里最常見的醫(yī)療操作之一，是臨床診斷與治療的重要手段。 而肥胖患者、嬰幼兒患者的扎針穿刺則歷來是醫(yī)護(hù)人員的頭痛問題。據(jù)統(tǒng)計，美國每年需要 皮下靜脈穿刺10億次，平均每人每年3次W上;我國則為104億瓶W上，相當(dāng)于"人均8瓶"，大 于國際上2.4~3.2瓶的次數(shù)。醫(yī)院皮下靜脈穿刺對象群體一般包括W下幾部分:一是急、重 病患者，約占40%，此類患者末梢循環(huán)差，給皮下靜脈穿刺帶來一定的困難;二是老年保健 性治療，約占50 %，老年人血管彈性差、脆性大，加之長期輸液會使血管受到破壞，成為皮下 靜脈穿刺的一大難點;=是嬰幼兒患者，約占10%，此類患者血管細(xì)、不易發(fā)現(xiàn)，給皮下靜脈 穿刺帶來極大不便。同時，患者及其家長對多次扎針、漏針，甚至扎不上針的情況變得越發(fā) 敏感。
[0003] 由此，皮下靜脈顯影系統(tǒng)也就應(yīng)運(yùn)而出。然而目前市場上的皮下靜脈顯影系統(tǒng)通 常都只使用單一的嵌入式微處理器或單一的可編程邏輯器件，由于受到所采用的控制處理 系統(tǒng)架構(gòu)的限制，對于要實現(xiàn)更復(fù)雜的處理算法或更多的處理操作來獲取更好的成像效果 時，會出現(xiàn)一些明顯的時延問題，在實時性和智能化方面均難W滿足日益增長的要求。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明為了解決現(xiàn)有產(chǎn)品存在的時延明顯、智能化不高等缺陷，同時提高系統(tǒng)的 成像質(zhì)量，設(shè)計了一種用于皮下靜脈顯影儀的控制處理處理架構(gòu)，并著重針對皮下靜脈顯 影的成像技術(shù)進(jìn)行研究和實現(xiàn)，開發(fā)了一個具有更高對比度、更低時延W及更具智能化的 皮下靜脈顯影系統(tǒng)。
[0005] 本發(fā)明設(shè)計的皮下靜脈顯影系統(tǒng)關(guān)鍵技術(shù)有:控制處理系統(tǒng)架構(gòu)、圖像對比度增 強(qiáng)處理、原位等大投影等技術(shù)。
[0006] 為了實現(xiàn)本發(fā)明的目的，本發(fā)明采用的技術(shù)方案為：
[0007] -種控制處理系統(tǒng)，包括處理器子系統(tǒng)和可編程邏輯子系統(tǒng)，所述處理器子系統(tǒng) 和可編程邏輯子系統(tǒng)通過高帶寬總線互聯(lián);所述控制處理系統(tǒng)與可見光光源驅(qū)動電路、近 紅外光源驅(qū)動電路、投影成像元件驅(qū)動電路、近紅外成像元件驅(qū)動電路、顯示屏幕驅(qū)動電路 W及用戶控制界面信號連接。
[000引所述高帶寬總線為AXI(Advanced extensible Inte;rface，先進(jìn)可擴(kuò)展接口）總 線，包括 AXI-Lite 及 AXI-Stream。
[0009] AXM-Lite接口是AXI接口的子集，用于處理器與設(shè)備(模塊）內(nèi)的控制寄存器進(jìn)行 通信。AXI4-S化earn也是AXI接口的子集，并作為一個標(biāo)準(zhǔn)的接口，用于連接需要大量交換數(shù) 據(jù)的設(shè)備(模塊KAXI-Stream接口支持很多不同的流類型，本系統(tǒng)的所有視頻處理模塊的 接口均采用基于AXI-Stream的視頻流類型接口。
[0010] 所述的控制處理系統(tǒng)，其特征是：所述可見光光源驅(qū)動電路、近紅外光源驅(qū)動電 路、投影成像元件驅(qū)動電路、近紅外成像元件驅(qū)動電路、顯示屏幕驅(qū)動電路W及用戶控制界 面與其信號連接，實現(xiàn)皮下靜脈血管近紅外圖像的數(shù)據(jù)采集和投影成像，控制處理系統(tǒng)負(fù) 責(zé)圖像數(shù)據(jù)處理及系統(tǒng)控制。
[0011] 所述的控制處理系統(tǒng)，其特征是：還包括圖像數(shù)據(jù)采集模塊、圖像裁剪與縮放模 塊、圖像曝光量統(tǒng)計模塊、圖像對比度增強(qiáng)模塊、視頻源多路復(fù)用模塊、投影輸出模塊、顯示 屏幕輸出模塊、自動曝光調(diào)節(jié)控制器模塊、圖像曝光量評價模塊、系統(tǒng)參數(shù)控制模塊及存儲 器模塊，各模塊之間信號連通。
[0012] 一種采用控制處理系統(tǒng)進(jìn)行圖像處理的方法，包括步驟：
[0013] A)皮下靜脈血管近紅外圖像數(shù)據(jù)采集，并對采集的圖像進(jìn)行裁剪、縮放及偏移調(diào) 節(jié)處理；
[0014] B)根據(jù)采集圖像的曝光情況，對皮下靜脈顯影儀系統(tǒng)內(nèi)的近紅外光源進(jìn)行調(diào)節(jié)， 為后續(xù)的圖像增強(qiáng)處理提供穩(wěn)定合適的圖像曝光狀態(tài);所述對皮下靜脈顯影儀系統(tǒng)內(nèi)的近 紅外光源進(jìn)行調(diào)節(jié)包括圖像曝光量統(tǒng)計、圖像曝光量評價及光源自動曝光調(diào)節(jié)控制；
[0015] C)對圖像的對比度進(jìn)行增強(qiáng)處理；
[0016] D)對擬輸出的結(jié)果圖像進(jìn)一步處理，實現(xiàn)投影成像元件和顯示屏幕雙路同步顯示 輸出。
[0017] 所述的圖像處理的方法，其特征是:所述A)步驟為根據(jù)投影出的圖像分別測量出 采集鏡頭和投影鏡頭實際覆蓋區(qū)域的大小，測量出投影鏡頭覆蓋區(qū)域相對采集鏡頭覆蓋區(qū) 域的位置，從而對采集的圖像進(jìn)行裁剪、縮放及偏移調(diào)節(jié)處理。
[0018] 所述的圖像處理的方法，其特征是:所述B)步驟圖像曝光量統(tǒng)計為按照用戶對不 同區(qū)域的關(guān)注程度設(shè)置不同權(quán)值，然后對每個區(qū)域的曝光量信息進(jìn)行加權(quán)平均。之后對得 出的圖像曝光量信息進(jìn)行比較及評估并實現(xiàn)近紅外光源自動曝光調(diào)節(jié)控制。
[0019] 所述的圖像處理的方法，其特征是:所述C)步驟為圖像對比度增強(qiáng)方法可為基于 變換域方法，或者直方圖均衡化方法W及由其延伸出的各類改進(jìn)方法。
[0020] 所述的圖像處理的方法，其特征是:所述改進(jìn)方法包括全局直方圖均衡化，或者亮 度保持雙直方圖均衡化，或者基于Sigmoid函數(shù)的雙直方圖均衡化，或者限制對比度受限自 適應(yīng)直方圖均衡化。
[0021] 所述的圖像處理的方法，其特征是:所述D)步驟為采用分時復(fù)用的方法對輸出視 頻進(jìn)一步處理，實現(xiàn)投影成像元件和顯示屏幕雙路同步顯示輸出。
[0022] 本發(fā)明主要有益效果
[0023] 本發(fā)明采用處理器子系統(tǒng)和可編程邏輯子系統(tǒng)協(xié)同工作的設(shè)計思路，使得皮下靜 脈血管圖像對比度增強(qiáng)技術(shù)除了能有效地對皮下靜脈血管及其周圍組織進(jìn)行對比度增強(qiáng) 夕h還能使成像過程具有實時性。
[0024] 本發(fā)明提出了基于限制對比度自適應(yīng)直方圖均衡化的改進(jìn)算法，并用本發(fā)明中提 出的控制處理系統(tǒng)架構(gòu)進(jìn)行設(shè)計實現(xiàn)，在皮下靜脈血管圖像對比度增強(qiáng)和實時性方面均取 得理想效果；
[0025] 本發(fā)明提出了一種用于皮下靜脈顯影成像的原位等大投影技術(shù)，該技術(shù)實現(xiàn)了使 投影的皮下靜脈血管圖像與實際的皮下靜脈血管在位置上相重合。
[0026] 本發(fā)明提出了一種用于皮下靜脈顯影成像的自適應(yīng)曝光控制技術(shù)，該技術(shù)自動對 皮下靜脈血管圖像的曝光情況進(jìn)行調(diào)節(jié)，使得圖像保持穩(wěn)定合適的曝光狀態(tài)，從而保證成 像效果在外界干擾時仍能保持穩(wěn)定。
[0027] 最后，本發(fā)明利用軟硬件結(jié)合方式進(jìn)行技術(shù)實現(xiàn)，設(shè)計出具有更高對比度、更低時 延、更加智能化的皮下靜脈顯影系統(tǒng)，從而有效地輔助醫(yī)護(hù)人員對穿刺對象進(jìn)行皮下靜脈 血管定位，提高了皮下靜脈穿刺操作的成功率。
【附圖說明】
[0028] 圖1為實施例控制處理系統(tǒng)結(jié)構(gòu)連接框示意圖；
[0029] 圖2為實施例圖像采集和投影光路共軸示意圖；
[0030] 圖3為實施例原位等大投影方法示意圖；
[0031 ]圖4為實施例成像方法流程結(jié)構(gòu)框圖；
[0032] 圖5為實施例成像區(qū)域劃分和權(quán)重分配示意圖；
[0033] 圖6為實施例圖像曝光量評價與自動曝光調(diào)節(jié)控制模塊抽象示意圖；
[0034] 圖7為實施例近紅外光源自適應(yīng)曝光控制算法具體流程示意圖；
[0035] 圖8為實施例圖像像素重構(gòu)映射示意圖；
[0036] 圖9為實施例圖像對比度增強(qiáng)模塊框架示意圖；
[0037] 圖10為實施例直方圖統(tǒng)計模塊框架示意圖；
[0038] 圖11為實施例映射建立/輸出模塊框架圖；
[0039] 圖12為實施例雙線性插值的流水線結(jié)構(gòu)框架示意圖；
[0040] 圖13為實施例雙路同步顯示技術(shù)實現(xiàn)框架圖。
【具體實施方式】
[0041 ]下面結(jié)合附圖和具體實施例，對本發(fā)明作進(jìn)一步詳細(xì)說明。
[0042] 本發(fā)明所描述的控制處理系統(tǒng)結(jié)構(gòu)連接框圖如圖1所示。
[0043] 如圖1所示，控制處理系統(tǒng)由處理器子系統(tǒng)、可編程邏輯子系統(tǒng)及存儲器組成。其 中，處理器子系統(tǒng)、可編程邏輯子系統(tǒng)及存儲器通過AXI總線互聯(lián)。近紅外光源驅(qū)動電路、用 戶控制界面與處理器子系統(tǒng)信號連接。近紅外成像元件驅(qū)動電路、投影成像元件驅(qū)動電路、 可見光光源驅(qū)動電路及顯示屏幕驅(qū)動電路與可編程邏輯子系統(tǒng)信號連接。
[0044] 其中，處理器子系統(tǒng)可采用ARM架構(gòu)的微處理器或其它功能相近的微處理器;可編 程邏輯子系統(tǒng)可采用FPGA(Field Programmable Gate Array,現(xiàn)場可編程口陣列）器件或 其它功能相近的可編程邏輯器件;存儲器可采用DDR(Double Data Rate,雙倍數(shù)據(jù)速率)存 儲器或其它具有相近性能的存儲器器件。
[0045] 更進(jìn)一步地，處理器子系統(tǒng)、可編程邏輯子系統(tǒng)及AXI總線可使用巧nq異構(gòu)片上系 統(tǒng)或其它功能相近的片上系統(tǒng)器件組成。
[0046] 近紅外光源驅(qū)動電路、近紅外成像元件驅(qū)動電路、投影成像元件驅(qū)動電路、可見光 光源驅(qū)動電路及顯示屏幕驅(qū)動電路分別與近紅外光源、近紅外成像元件、投影成像元件、可 見光光源及顯示屏幕信號連接。
[0047] 圖像裁剪和縮放(原位等大投影）
[0048] 為了使投影結(jié)果圖像中的皮下靜脈血管與實際感興趣區(qū)域中的皮下靜脈血管位 置相重合，需要做到原位等大投影。本系統(tǒng)的光學(xué)成像單元利用二向色鏡實現(xiàn)光路共軸，即 圖像采集光路與投影光路的中屯、是近似重合的，如圖2及圖3所示。
[0049] 雖然圖像采集和投影在光路上是共軸的，但由于采集和投影的器件分辨率和鏡頭 視場角(Field Of View,F0V)均不一致，因此，要實現(xiàn)原位等大投影，還需對采集的圖像進(jìn) 行處理，其中主要包括圖像等大縮放、偏移調(diào)節(jié)等操作。
[0050] 在有效工作高度h = 30cm平面上，設(shè)圖像采集鏡頭實際覆蓋區(qū)域大小為aXb厘米， 而投影鏡頭實際覆蓋區(qū)域大小為C Xd厘米，為了讓投影出的圖像與實際事物完全等大重 合，那么就需要從圖像傳感器采集的圖像中截取出被投影鏡頭覆蓋的區(qū)域，如圖3中第2部 分中的斜線區(qū)域，然后將其放大至投影成像器件的分辨率，再由投影成像器件投影出來，如 圖3中第3部分所示，運(yùn)時的投影成像就能在實際空間上與其覆蓋的事物等大重合。
[0051] 根據(jù)上面提出的設(shè)計方案，本發(fā)明中實現(xiàn)原位等大投影的具體步驟如下：
[0052] (1)在系統(tǒng)有效工作距離h = 30cm的平面上，將采集到的圖像先放大至投影成像器 件的分辨率大小，再由其投影出來;根據(jù)投影出的圖像分別測量出采集鏡頭和投影鏡頭實 際覆蓋區(qū)域的大小，分別記a X b和C X d為16.3 X 10.8cm、8.8 X 6.5畑1，同時還測量出投影鏡 頭覆蓋區(qū)域相對采集鏡頭覆蓋區(qū)域的偏移量x、y為3.7cm、1.3cm
[0053] (2)根據(jù)上面測量出的數(shù)據(jù)，計算出從采集圖像中需要裁剪部分的大小和偏移量。 設(shè)CMOS圖像傳感器采集的圖像分辨率為752X480像素，設(shè)需要裁剪出的部分長寬分別為纔 個像素和個像素，即有
[0054] 曼i)
[0化5] 鱗
[0056] 治偏移坐標(biāo)為C戴聚):，即有
[0057] 銷
[005引 Pi
[0059] 根據(jù)計算結(jié)果，從采集的圖像中截取出遙大小、起始偏移為保巧的區(qū)域，那么 所截取出的圖像則為被投影鏡頭覆蓋的區(qū)域。
[0060] (3)根據(jù)上一步驟確定的參數(shù)設(shè)計出裁剪和放大模塊，模塊采用基于AXI總線標(biāo)準(zhǔn) 的視頻流接口，內(nèi)部采用后向放大算法實現(xiàn)圖像的實時放大。
[0061] 在本發(fā)明中，如圖4所示，圖像裁剪與縮放模塊作為圖像數(shù)據(jù)采集后的第一級處 理，用來實現(xiàn)原位等大投影功能。
[0062] 圖像曝光量統(tǒng)計、自動曝光調(diào)節(jié)控制(近紅外光源自適應(yīng)曝光控制）
[0063] 本發(fā)明設(shè)計的皮下靜脈顯影系統(tǒng)需要采用近紅外光源進(jìn)行照明。在不同環(huán)境下， 例如在室內(nèi)或室外、白天或晚上、晴天或陰天，近紅外光的光照情況都不一樣。若近紅外光 光照不足，會嚴(yán)重影響圖像數(shù)據(jù)的采集;若近紅外光過強(qiáng)，采集的圖像出現(xiàn)過曝光現(xiàn)象，同 樣會影響后續(xù)的處理?？梢姡_保最優(yōu)的光照效果對系統(tǒng)成像質(zhì)量尤為重要。
[0064] 近紅外光源自適應(yīng)曝光控制就是為了讓系統(tǒng)圖像數(shù)據(jù)采集在不同環(huán)境下都能獲 取最優(yōu)的光照效果，為后續(xù)的圖像增強(qiáng)處理提供穩(wěn)定合適的曝光狀態(tài)。本發(fā)明設(shè)計的近紅 外光源自適應(yīng)曝光控制在本系統(tǒng)中作為圖像數(shù)據(jù)采集后的第二級處理，根據(jù)當(dāng)前獲取圖像 的曝光情況，對系統(tǒng)內(nèi)的近紅外光源進(jìn)行實時調(diào)節(jié)，其主要分為3部分：圖像曝光量統(tǒng)計、圖 像曝光量評價及近紅外光源自動曝光調(diào)節(jié)控制，如圖4所示。
[0065] 圖像曝光量統(tǒng)計
[0066] 實現(xiàn)近紅外光源自適應(yīng)曝光控制，首先需要對采集的圖像數(shù)據(jù)進(jìn)行曝光量信息統(tǒng) 計，統(tǒng)計后獲得的數(shù)據(jù)再用于對近紅外光源的調(diào)節(jié)。在成像過程中，用戶對成像不同區(qū)域的 曝光情況關(guān)屯、程度會有所不同，為了讓用戶獲得更好的使用感受，在統(tǒng)計圖像曝光量信息 時應(yīng)該按照用戶對不同區(qū)域的關(guān)注程度設(shè)置不同權(quán)值，然后對每個區(qū)域的曝光量值進(jìn)行加 權(quán)平均。一般來說，用戶習(xí)慣將注意力放在成像區(qū)域的中央位置，那么按照用戶對成像區(qū)域 的關(guān)注程度設(shè)置權(quán)重分配，成像中間區(qū)域的權(quán)重加大，四周區(qū)域的權(quán)重相對降低。成像區(qū)域 劃分和權(quán)重分配如圖5所示：
[0067] 從圖5可看出，本發(fā)明將成像區(qū)域分為16個等大的區(qū)域，然后分別計算出各區(qū)域的 曝光量均值Ii,其中，i為各區(qū)域的編號。設(shè)上圖的權(quán)重矢量為W，那么成像區(qū)域的亮度加權(quán) 均值U則為：
[006引
纖
[0069] 自動曝光調(diào)節(jié)控制
[0070] 圖像曝光量評價與自動曝光調(diào)節(jié)控制模塊可W看成為一個典型的閉環(huán)自動控制 系統(tǒng)，可W抽象為如圖6所示：
[0071] 上圖中，Ue為圖像亮度理想均值，Gc(S)為控制器的傳遞函數(shù)。AW為控制增量，在本 發(fā)明中為近紅外光源發(fā)光亮度調(diào)節(jié)量，用于調(diào)節(jié)近紅外光源的強(qiáng)弱，G(S)為被控單元的傳 遞函數(shù)，在本系統(tǒng)中為近紅外光源，H(S)則為反饋傳遞函數(shù)，U為前面介紹的成像區(qū)域的亮 度加權(quán)均值。本發(fā)明中，控制器采用PID自動控制算法來實現(xiàn)。
[0072] PID控制器是目前實際工業(yè)控制過程中應(yīng)用最廣泛、最穩(wěn)定的一種控制算法，其輸 入輸出關(guān)態(tài)加下古祈志.
[007；3]
I：送富
[0074] Kp，Kp，Kd分別為比例系數(shù)、積分系數(shù)、微分系數(shù)，通過調(diào)整運(yùn)3個系數(shù)即可獲得理想 的控制效果，具體地，Kp參數(shù)用來控制調(diào)節(jié)速度，Ki參數(shù)用來消除穩(wěn)態(tài)誤差，Kd參數(shù)用來改善 系統(tǒng)的動態(tài)性能W3"e(t)為系統(tǒng)反饋量U與系統(tǒng)理想值Ue的誤差。
[0075] 根據(jù)控制處理系統(tǒng)的特點，本發(fā)明采用在可編程邏輯子系統(tǒng)上進(jìn)行實時的圖像曝 光量信息統(tǒng)計，在處理器子系統(tǒng)上根據(jù)統(tǒng)計數(shù)據(jù)并通過PID自動控制算法進(jìn)行自動曝光調(diào) 節(jié)控制。其控制算法具體流程如圖7所示。
[0076] 皮下靜脈圖像對比度增強(qiáng)
[0077] 利用對近紅外光反射的差異來采集到的皮下靜脈圖像，其對比度通常比較低，若 直接將低對比度的皮下靜脈圖像投影顯示出來，將無法達(dá)到顯影成像的效果。因此，針對皮 下靜脈圖像的對比度增強(qiáng)技術(shù)是皮下靜脈顯影系統(tǒng)的關(guān)鍵技術(shù)，在本發(fā)明中作為圖像數(shù)據(jù) 采集后的第=級處理，如圖4所示。
[007引基于CLA肥的改進(jìn)算法
[0079] CLA皿為了在增強(qiáng)圖像細(xì)節(jié)對比度的同時盡可能減少對噪聲的放大，通過裁剪直 方圖來限制放大幅度，亦即限制了 CDF的斜率，所W該算法的截斷系數(shù)a需要在對比度增強(qiáng) 效果和噪聲抑制程度的權(quán)衡間取值。若為了獲取最大的對比度增強(qiáng)效果，截斷系數(shù)a就需要 取較大的值，那么對噪聲的抑制程度也會減弱。本發(fā)明針對靜脈圖像的特點，對原有的 CLAHE進(jìn)行改進(jìn)，目的是進(jìn)一步提高靜脈圖像對比度增強(qiáng)效果，同時兼顧圖像背景噪聲放大 的抑制。
[0080] 為了得到最大的對比度增強(qiáng)效果，本發(fā)明在原有的化A皿基礎(chǔ)上，提出了改進(jìn)，主 要包括兩點：去除直方圖的裁剪和重分配運(yùn)一步驟;對CDF映射函數(shù)進(jìn)行改進(jìn)。本發(fā)明提出 的基于CLA肥改進(jìn)算法具體步驟如下：
[0081] (1)圖像分塊
[0082] 該步驟與上一節(jié)介紹的CLA肥一致。本發(fā)明將輸入圖像分為4 X 4非重疊子塊。
[0083] (2)統(tǒng)計各子塊的直方圖
[0084] 每個子塊的直方圖分別記作出,^k),其中1〇 = 1，2,3,4。在統(tǒng)計完各子塊直方圖 后，本方法不對直方圖進(jìn)行裁剪和重分配，而是進(jìn)行下一步驟。
[00化](3)計算各子塊的混合累計分布函數(shù)（Hybrid Cumulative Distribution F^mction,肥 DF)
[0086] 在上面的分析中，皮下靜脈圖像的背景多集中在低灰度級部分，而靜脈血管則隱 藏在中高灰度級部分，因此在該步驟中需要確定一個閥值化，將直方圖分為兩部分，小于化 的屬于圖像背景部分，而大于化則為感興趣區(qū)域。由于本發(fā)明設(shè)計的近紅外光源自適應(yīng)曝 光控制能保證系統(tǒng)采集的圖像的亮度均值維持在一個穩(wěn)定狀態(tài)，因此用來劃分圖像背景和 感興趣區(qū)域的閥值化不需動態(tài)調(diào)整。為了提高算法對感興趣區(qū)域的增強(qiáng)效果，同時減少對 背景噪聲的放大，本發(fā)明對原有方法的CDF進(jìn)行改進(jìn)，設(shè)計出混合累計分布函數(shù)化ybrid Cumulative Distribution Function,HCDF)，女日下式戶Zf示：
[0087]
終稽
[0088] 該混合累計分布函數(shù)化CDF)能對圖像背景和感興趣區(qū)域起到不同的增強(qiáng)效果，其 中，
即各子塊相應(yīng)的概率密度分布函數(shù)(PDF)。我們知道累計分布函數(shù)的斜率 越大，其增強(qiáng)效果就越大；反之，斜率越小，其增強(qiáng)效果越小。CLA皿算法中累計分布函數(shù) (CD巧的斜率計算為：
[0089]
詞
[0090] 相應(yīng)地，本發(fā)明提出的混合累計分布函數(shù)化CDF)的斜率計算為：
[0092] 在處理圖像的背景部分時，即灰度級在0<k<化之間，有：
[0091]
PS
[0093] (26)
[0094] ；
[0095] p?|
[0096] 從上可見，HCDF對圖像背景部分的增強(qiáng)作用要比原有的CD巧曽強(qiáng)作用小，目陽CDF對 背景噪聲的放大起到一定抑制作用；另一方面，HCDF對圖像中的感興趣區(qū)域的增強(qiáng)作用則 比原有的CD巧曽強(qiáng)作用大，該算法的增強(qiáng)效果得到進(jìn)一步提高。在進(jìn)行到下一個步驟之前， 還須要對HrnF巧巧Ilq-化蠟化々h巧-Ilq-化處理后的HCDF表示為：
[0097] C綱
[0098] (4)建立各子塊的輸出映射函數(shù)
[0099] 運(yùn)一步驟與原有的CLA皿算法相似。設(shè)上一步驟得出的各子塊混合累計分布函數(shù) 化CD巧為Ti, j(Xk)，i、j分別為圖像分塊的縱橫編號，那么基于肥DF的輸出映射函數(shù)為：
[0100] zi,j(x)=X〇+(XL-廣 X〇)Ti,j(x)，i，j = l，2,3,4 (29)
[0101] (5)像素重構(gòu)映射
[0102] 運(yùn)一步驟與原有CLA肥算法一致，基于上一步驟得出的各子塊輸出映射函數(shù)，W各 子塊中央位置作為基點，使用雙線性插值方法重構(gòu)圖像各個像素點的灰度值。如圖8所示。
[0103] 設(shè)像素點P位于子塊Q，j)的左上方，那么根據(jù)P點與其最鄰近參考點的位置關(guān)系 確定權(quán)值，最后根據(jù)下式計算最終的加權(quán)結(jié)果：
[0104]
m
[01US」 巧化昇化的頭觀
[0106] 根據(jù)控制處理系統(tǒng)的特點，本發(fā)明設(shè)計的圖像對比度增強(qiáng)模塊按照功能劃分，可 分為4個子模塊:直方圖統(tǒng)計模塊、映射建立/輸出模塊、雙線性插值重構(gòu)模塊W及子塊偏移 量計算模塊。整體框架圖9所示。
[0107] 運(yùn)里使用了直方圖統(tǒng)計和映射輸出同步進(jìn)行的設(shè)計方法，因為視頻流是具有連續(xù) 性的，所W相鄰帖圖像的直方圖具有非常高的相似性。模塊內(nèi)部采用流水線方式設(shè)計，在第 n帖有效場期間，視頻流數(shù)據(jù)同時進(jìn)入直方圖統(tǒng)計模塊和映射建立/輸出模塊，運(yùn)樣直方圖 統(tǒng)計和映射表查找輸出操作則同時進(jìn)行。從映射建立/輸出模塊流出的數(shù)據(jù)經(jīng)過雙線性插 值模塊進(jìn)行像素重構(gòu)。在第n帖場消隱期間，視頻流數(shù)據(jù)停止傳輸，此時映射建立/輸出模塊 從直方圖統(tǒng)計模塊中讀取已統(tǒng)計好的直方圖，進(jìn)行映射表的建立，供下一帖圖像的映射輸 出使用。第n+1帖的視頻流數(shù)據(jù)將使用第n帖場消隱期間建立的映射表進(jìn)行映射輸出。
[0108] (1)子塊偏移量計算模塊
[0109] 該模塊通過對視頻流輸入的當(dāng)前像素進(jìn)行定位跟蹤，計算出當(dāng)前像素所在的子塊 編號i，j，W及像素在子塊內(nèi)的相對坐標(biāo)m，n，a，b。直方圖統(tǒng)計模塊和雙線性插值模塊則根 據(jù)運(yùn)些統(tǒng)計信息完成數(shù)據(jù)選取、權(quán)值計算等操作。
[0110] (2)直方圖統(tǒng)計模塊
[0111] 模塊內(nèi)有1個行緩沖RAM和16個直方圖統(tǒng)計RAM，具體架構(gòu)圖10所示。在有效場期 間，視頻流數(shù)據(jù)首先寫入行緩沖RAM,每一個時鐘周期寫入一個像素值。當(dāng)填滿一行數(shù)據(jù)后， 一級的視頻流暫停傳輸，此時開始讀取行緩沖RAM進(jìn)行直方圖統(tǒng)計，結(jié)合子塊偏移量計算模 塊給出的子塊編號，將計算結(jié)果輸入到相應(yīng)子塊的直方圖統(tǒng)計RAM中。從行緩沖RAM讀取像 素值后，下一個時鐘周期從相應(yīng)子塊直方圖統(tǒng)計RAM讀取數(shù)據(jù)并累加，再下一個時鐘周期將 累加結(jié)果重新寫入相應(yīng)子塊直方圖統(tǒng)計RAM,運(yùn)=個步驟總共需要=個時鐘周期。當(dāng)讀完行 緩沖RAM數(shù)據(jù)后，上一級模塊重新開始下一行數(shù)據(jù)傳輸。
[0112] 當(dāng)一帖圖像傳輸完后，進(jìn)入場消隱時間，運(yùn)時各子塊直方圖已統(tǒng)計完成，映射建 立/輸出模塊則從直方圖統(tǒng)計RAM讀取數(shù)據(jù)來建立各子塊相應(yīng)的映射表。映射表建立完成 后，直方圖統(tǒng)計RAM將會置零，然后等候下一個有效場數(shù)據(jù)。（3)映射建立/輸出模塊
[0113] 映射建立/輸出模塊架構(gòu)如圖11所示，該模塊有直方圖累加模塊，映射表建立計算 模塊和16個映射表RAM，分別對應(yīng)16個子塊。在視頻有效場期間，映射建立/輸出模塊接收視 頻流數(shù)據(jù)，并進(jìn)行映射表RAM查找輸出。在視頻場消隱期間，直方圖累加模塊從直方圖統(tǒng)計 RAM中讀取數(shù)據(jù)進(jìn)行累加，并將結(jié)果傳到映射表計算模塊。映射表計算模炔基于本文提出的 混合累計分布函數(shù)化CDF)，進(jìn)行映射表建立。具體地，公式(23)中p(Xj) X 0.2和p(Xj) X log2 (j)的乘法操作采用了查找表化OOk Up化ble，LUT)方式來實現(xiàn)，運(yùn)樣既提高了處理速度， 也節(jié)省了乘法器資源。直方圖累加模塊和映射表計算模塊的數(shù)據(jù)處理采用流水線方式設(shè) 計，最終的計算結(jié)果寫入相應(yīng)的映射表RAM中。模塊內(nèi)各子塊的計算是并行處理的，互不影 響，運(yùn)樣能大大提高算法的處理速度，滿足系統(tǒng)的實時性需求。
[0114] (4)雙線性插值模塊
[0115] 有效場期間，本模塊從映射表RAM中讀取數(shù)據(jù)，并進(jìn)行雙線性插值重構(gòu)輸出。在實
現(xiàn)雙線件陸估前化姑才"9、;曲紅從餘1:1估旱捕化立恤從餘才
[0116] (30)
[0117] 模塊設(shè)及數(shù)據(jù)選取、權(quán)值計算、插值規(guī)則選擇、加權(quán)乘累加等多個操作，因此，運(yùn)里 使用了多級流水線設(shè)計方法，使其獲得最大的數(shù)據(jù)吞吐量，計算性能達(dá)到最優(yōu)。雙線性插值 的流水線結(jié)構(gòu)框架如圖12所示。
[0118] 圖中，雙線性插值模塊采用了四級流水線設(shè)計，其中，加權(quán)乘累加模塊內(nèi)還內(nèi)嵌一 個流水線。
[0119] 雙路同步顯示(視頻源多路復(fù)用）
[0120] 如圖4所示，視頻源多路復(fù)用模塊在本發(fā)明中作為視頻輸出前最后一級處理，用來 實現(xiàn)投影成像元件和顯示屏幕雙路同步顯示輸出功能。
[0121] 雙路同步顯示功能是本發(fā)明的一個創(chuàng)新性設(shè)計，該功能使系統(tǒng)在經(jīng)過投影成像元 件投影成像的同時，能在顯示屏幕上進(jìn)行同步顯示，運(yùn)樣既能幫助醫(yī)護(hù)人員對皮下靜脈的 位置進(jìn)行雙重確認(rèn)、提高穿刺精確度，又能符合醫(yī)護(hù)人員不同的操作習(xí)慣。
[0122] 圖13中，各模塊部件均采用AXI總線接口進(jìn)行互聯(lián)，其實現(xiàn)具體流程如下：
[0123] (1)在有效場期間，視頻流數(shù)據(jù)不斷流入多路復(fù)用模塊。
[0124] (2)多路復(fù)用模塊W隔行切換模式，將輸入視頻流數(shù)據(jù)分別切換到不同的通路，例 如輸入視頻流第i行數(shù)據(jù)流入DMA(Direct Memory Access,存儲器直接訪問）0模塊，而下一 行的數(shù)據(jù)則切換到DM 1模塊。
[0125] (3)DMA 0模塊和DMA 1模塊接收上一級的視頻流數(shù)據(jù)，通過DMA將其寫入內(nèi)存中的 兩個不同塊區(qū)，并分別供投影成像元件和顯示屏幕讀取。每個模塊內(nèi)還采用了兵鳥操作的 設(shè)計，運(yùn)樣使得視頻緩存和視頻讀取能同時進(jìn)行，并使得下一級處理和上一級處理分隔開 來。
[0126] (4)兩個通路通過DMA分別讀取相應(yīng)塊區(qū)的視頻緩沖數(shù)據(jù)，然后通過圖像縮放模 塊，縮放至合適的輸出分辨率大小。
[0127] (5)輸出的兩路視頻流數(shù)據(jù)分別流向投影成像元件驅(qū)動電路模塊和顯示屏幕驅(qū)動 電路模塊，從而實現(xiàn)單一視頻源的雙路同步顯示。
【主權(quán)項】
1. 一種控制處理系統(tǒng)，包括處理器子系統(tǒng)和可編程邏輯子系統(tǒng)，所述處理器子系統(tǒng)和 可編程邏輯子系統(tǒng)通過高帶寬總線互聯(lián);所述控制處理系統(tǒng)與可見光光源驅(qū)動電路、近紅 外光源驅(qū)動電路、投影成像元件驅(qū)動電路、近紅外成像元件驅(qū)動電路、顯示屏幕驅(qū)動電路以 及用戶控制界面信號連接。 所述高帶寬總線為AXI(Advanced extensible Interface，先進(jìn)可擴(kuò)展接口）總線，包 括AXI-Lite及AXI-Stream。2. 如權(quán)利要求1所述的控制處理系統(tǒng)，其特征是:所述可見光光源驅(qū)動電路、近紅外光 源驅(qū)動電路、投影成像元件驅(qū)動電路、近紅外成像元件驅(qū)動電路、顯示屏幕驅(qū)動電路以及用 戶控制界面與其信號連接，實現(xiàn)皮下靜脈血管近紅外圖像的數(shù)據(jù)采集和投影成像，控制處 理系統(tǒng)負(fù)責(zé)圖像數(shù)據(jù)處理及系統(tǒng)控制。3. 如權(quán)利要求1所述的控制處理系統(tǒng)，其特征是:還包括圖像數(shù)據(jù)采集模塊、圖像裁剪 與縮放模塊、圖像曝光量統(tǒng)計模塊、圖像對比度增強(qiáng)模塊、視頻源多路復(fù)用模塊、投影輸出 模塊、顯示屏幕輸出模塊、自動曝光調(diào)節(jié)控制器模塊、圖像曝光量評價模塊、系統(tǒng)參數(shù)控制 模塊及存儲器模塊，各模塊之間信號連通。4. 一種采用控制處理系統(tǒng)進(jìn)行圖像處理的方法，包括步驟： A) 皮下靜脈血管近紅外圖像數(shù)據(jù)采集，并對采集的圖像進(jìn)行裁剪、縮放及偏移調(diào)節(jié)處 理； B) 根據(jù)采集圖像的曝光情況，對皮下靜脈顯影儀系統(tǒng)內(nèi)的近紅外光源進(jìn)行調(diào)節(jié)，為后 續(xù)的圖像增強(qiáng)處理提供穩(wěn)定合適的圖像曝光狀態(tài);所述對皮下靜脈顯影儀系統(tǒng)內(nèi)的近紅外 光源進(jìn)行調(diào)節(jié)包括圖像曝光量統(tǒng)計、圖像曝光量評價及光源自動曝光調(diào)節(jié)控制； C) 對圖像的對比度進(jìn)行增強(qiáng)處理； D) 對擬輸出的結(jié)果圖像進(jìn)一步處理，實現(xiàn)投影成像元件和顯示屏幕雙路同步顯示輸 出。5. 如權(quán)利要求4所述的圖像處理的方法，其特征是:所述A)步驟為根據(jù)投影出的圖像分 別測量出采集鏡頭和投影鏡頭實際覆蓋區(qū)域的大小，測量出投影鏡頭覆蓋區(qū)域相對采集鏡 頭覆蓋區(qū)域的位置，從而對采集的圖像進(jìn)行裁剪、縮放及偏移調(diào)節(jié)處理。6. 如權(quán)利要求4所述的圖像處理的方法，其特征是:所述B)步驟圖像曝光量統(tǒng)計為按照 用戶對不同區(qū)域的關(guān)注程度設(shè)置不同權(quán)值，然后對每個區(qū)域的曝光量信息進(jìn)行加權(quán)平均。 之后對得出的圖像曝光量信息進(jìn)行比較及評估并實現(xiàn)近紅外光源自動曝光調(diào)節(jié)控制。7. 如權(quán)利要求4所述的圖像處理的方法，其特征是:所述C)步驟為圖像對比度增強(qiáng)方法 可為基于變換域方法，或者直方圖均衡化方法以及由其延伸出的各類改進(jìn)方法。8. 如權(quán)利要求7所述的圖像處理的方法，其特征是:所述改進(jìn)方法包括全局直方圖均衡 化，或者亮度保持雙直方圖均衡化，或者基于Sigmoid函數(shù)的雙直方圖均衡化，或者限制對 比度受限自適應(yīng)直方圖均衡化。9. 如權(quán)利要求4所述的圖像處理的方法，其特征是:所述D)步驟為采用分時復(fù)用的方法 對輸出視頻進(jìn)一步處理，實現(xiàn)投影成像元件和顯示屏幕雙路同步顯示輸出。
【文檔編號】G06T1/00GK106023057SQ201610356998
【公開日】2016年10月12日
【申請日】2016年5月26日
【發(fā)明人】但果, 陳子豪, 易羽, 陳思平
【申請人】深圳大學(xué)