基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)系統(tǒng)及方法
【專(zhuān)利摘要】本發(fā)明涉及一種基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)系統(tǒng)及方法，在受試者自然放松的狀態(tài)下采集包含眼睛的面部視頻數(shù)據(jù)，采集原始視頻數(shù)據(jù)后選定檢測(cè)面部區(qū)域并對(duì)所選視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的六通道信號(hào)，標(biāo)記為x＝[xR1,xR2,xG1,xG2,xB1,xB2]T；使用Meanshift算法得到連續(xù)幀中的目標(biāo)區(qū)域，并以同樣的方法獲取六通道信號(hào)；將經(jīng)過(guò)預(yù)處理后的原始信號(hào)作為輸入信號(hào)，使用二階盲辨識(shí)算法進(jìn)行盲源分離，將分離后的源信號(hào)記為y＝[y1,y2,y3,y4,y5,y6]T；對(duì)上述步驟S101中得到的分離信號(hào)y進(jìn)行信號(hào)辨識(shí)與篩選，使用基于譜峭度的分離分量自動(dòng)識(shí)別方法選出所需的眨眼和BVP信號(hào)；對(duì)得到的眨眼信號(hào)進(jìn)行眨眼頻率和時(shí)長(zhǎng)計(jì)算，并對(duì)得到的BVP信號(hào)進(jìn)行功率譜譜分析，得到心率估計(jì)值，本發(fā)明具有準(zhǔn)確度高、抗干擾能力強(qiáng)、算法效率高等優(yōu)點(diǎn)。
【專(zhuān)利說(shuō)明】
基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及人體體征研究應(yīng)用技術(shù)領(lǐng)域，具體涉及一種基于二階盲辨識(shí)的非接觸 式眨眼與心率聯(lián)合檢測(cè)系統(tǒng)及方法。
【背景技術(shù)】
[0002] 眨眼和心跳作為人體的正常生理現(xiàn)象，兩者都與個(gè)體生理狀態(tài)和心理狀態(tài)密切相 關(guān)。心率是個(gè)體生理活動(dòng)的重要指標(biāo)而眨眼則能有效反映個(gè)體的心理與精神狀態(tài)。隨著技 術(shù)的不斷發(fā)展，眨眼和心率檢測(cè)早已超越早期監(jiān)測(cè)個(gè)體身心狀態(tài)的基本目的，成為了新一 代人體傳感和人機(jī)交互技術(shù)的研究熱點(diǎn)。相關(guān)的研究和工程應(yīng)用在健康管理、疾病預(yù)防、特 定場(chǎng)景下的個(gè)體狀態(tài)檢測(cè)、人機(jī)交互等方面具有廣泛的應(yīng)用前景。當(dāng)前市面上已有智能手 環(huán)等產(chǎn)品可以實(shí)現(xiàn)對(duì)個(gè)體的心率等指標(biāo)進(jìn)行接觸式監(jiān)測(cè);三星、華為等知名IT廠商也將利 用眨眼進(jìn)行手機(jī)功能控制作為特色創(chuàng)新加入新的通信產(chǎn)品之中。由此可見(jiàn)，研究眨眼和心 電信號(hào)的非接觸式采集與分析具有巨大的實(shí)際意義。
[0003] 隨著信息技術(shù)的發(fā)展，現(xiàn)今已有多種心率及眼動(dòng)監(jiān)測(cè)方法及相關(guān)的商業(yè)產(chǎn)品，如 常用的心電圖和眼動(dòng)儀等。但傳統(tǒng)檢測(cè)方法需要專(zhuān)門(mén)的設(shè)備和人員，不僅價(jià)格昂貴，人力成 本高昂，且監(jiān)測(cè)過(guò)程中給用戶(hù)帶來(lái)明顯的不適感。近年來(lái)新起的非接觸式檢測(cè)方法因其不 適感較少的優(yōu)點(diǎn)已被普遍應(yīng)用于醫(yī)學(xué)領(lǐng)域。目前，眨眼多以視頻圖像的方式進(jìn)行非接觸式 檢測(cè)而心率非接觸檢測(cè)方法大致可分為電磁式檢測(cè)方法、基于激光的檢測(cè)方法、基于圖像 的檢測(cè)方法、電阻法和超聲波法等。由于圖像處理方法的不斷和高性能圖像采集終端的日 益普及，基于圖像的檢測(cè)方法已經(jīng)日益成為主要的非接觸式生理參數(shù)檢測(cè)方法。盡管基于 圖像的非接觸式檢測(cè)方法使得檢測(cè)過(guò)程大為便捷，檢測(cè)成本也大為降低，但要檢測(cè)眨眼和 心率，目前仍需要兩套獨(dú)立的系統(tǒng)，眨眼和心率兩者至今沒(méi)有能夠合理地融入一個(gè)統(tǒng)一的 檢測(cè)框架。
[0004] PPG(PhotoPlethysmoGraphy)技術(shù)是一種用來(lái)檢測(cè)微血管中血容量變化的光學(xué)測(cè) 量技術(shù)。心臟的（準(zhǔn)）周期性搏動(dòng)會(huì)引起血管的周期性收縮與舒張，由此會(huì)產(chǎn)生與心臟跳動(dòng) 同步的血液容量變化脈沖(blood volume pulse，BVP)信號(hào)。通過(guò)對(duì)BVP信號(hào)的消噪和增強(qiáng) 處理，可進(jìn)一步獲取心率、血氧飽和度和呼吸率等重要的生命體征信息。在目前已提出的各 種基于PPG技術(shù)的BVP信號(hào)獲取方法中，基于視頻圖像序列的BVP獲取方法因其簡(jiǎn)便的使用 方法和良好的用戶(hù)體驗(yàn)受到了廣泛關(guān)注?，F(xiàn)有基于視頻圖像的PPG方法總體上可歸結(jié)為兩 類(lèi)，其一，將視頻圖像的G通道數(shù)據(jù)提取后直接進(jìn)行濾波等簡(jiǎn)單后續(xù)處理后直接得到相應(yīng)指 標(biāo)。其優(yōu)點(diǎn)在于算法復(fù)雜度小，但G分量數(shù)據(jù)容易受到面部整體或局部(眼睛和嘴部)運(yùn)動(dòng)的 影響。其二，利用其他分析處理算法對(duì)R、G、B三分量進(jìn)行處理，以期獲得更好的BVP檢測(cè)效 果。但現(xiàn)有分析處理方法僅著眼于檢測(cè)由心臟搏動(dòng)產(chǎn)生的BVP相關(guān)信號(hào)，檢測(cè)對(duì)象的類(lèi)型較 為單一，若能在統(tǒng)一的框架下進(jìn)行眨眼和心跳的同步檢測(cè)將大大提高系統(tǒng)應(yīng)用范圍和實(shí)際 效能。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明的目的是:提供一種基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)系統(tǒng) 及方法，能夠同時(shí)針對(duì)眨眼與心率進(jìn)行檢測(cè)，提高檢測(cè)的效率。
[0006] 為實(shí)現(xiàn)上述目的，本方法發(fā)明采用的技術(shù)方案是:基于二階盲辨識(shí)的非接觸式眨 眼與心率聯(lián)合檢測(cè)方法，該聯(lián)合檢測(cè)方法包括如下步驟：
[0007] S100、在受試者自然放松的狀態(tài)下采集包含眼睛的面部視頻數(shù)據(jù)，采集原始視頻 數(shù)據(jù)后選定檢測(cè)面部區(qū)域并對(duì)所選視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的六通道信號(hào)，標(biāo) i己為X = [ XRl , XR2 , XGl, XG2 , XBl, XB2 ] T ;
[0008] S101、使用Meanshift算法得到連續(xù)幀中的目標(biāo)區(qū)域，并以同樣的方法獲取六通道 信號(hào)；
[0009] S102、將經(jīng)過(guò)預(yù)處理后的原始信號(hào)作為輸入信號(hào)，使用二階盲辨識(shí)算法進(jìn)行盲源 分離，將分離后的源信號(hào)記為y = [yi，y2，y3，y4，y5，y6]T;
[0010] S103、對(duì)上述步驟S101中得到的分離信號(hào)y進(jìn)行信號(hào)辨識(shí)與篩選，使用基于譜峭度 的分離分量自動(dòng)識(shí)別方法選出所需的眨眼和BVP信號(hào)；
[0011] S104、對(duì)得到的眨眼信號(hào)進(jìn)行眨眼頻率和時(shí)長(zhǎng)計(jì)算，并對(duì)得到的BVP信號(hào)進(jìn)行功率 譜譜分析，得到心率估計(jì)值。
[0012] 本方法發(fā)明還存在以下特征：
[0013] 所述S100步驟中的視頻數(shù)據(jù)進(jìn)行預(yù)處理的方法包括幀內(nèi)空間平均的步驟及高通 濾波、標(biāo)準(zhǔn)化的步驟。
[0014] 用于進(jìn)行幀內(nèi)空間平均步驟的人臉區(qū)域是眼睛及眼周的小塊面部區(qū)域，幀內(nèi)空間 平均的步驟為：
[0015] 設(shè)選取的人臉區(qū)域圖像為彡N，1彡j彡M}，{xr，xc，xB}為圖像的R、G、B 三基色分量，對(duì)人臉視頻序列先進(jìn)行逐幀空間平均得到三通道信號(hào)，即
[0017]式(1)中N，M為選定面部圖像區(qū)域的高和寬，t為每幀圖像對(duì)應(yīng)的時(shí)間；
[0018]對(duì)每幀圖像按照視頻圖像寬度中線切分為兩部分，再分別按照上述方法對(duì)R，G，B 三分量進(jìn)行進(jìn)總體平均，得到六通道數(shù)據(jù)：
[0020]用于進(jìn)行高通濾波步驟的高通濾波器的截止頻率為0.8Hz。
[0021 ]用于進(jìn)行標(biāo)準(zhǔn)化步驟的計(jì)算過(guò)程為：
[0023]式中X為原始信號(hào)，E[x]為求均值運(yùn)算，σ為X中各分量的標(biāo)準(zhǔn)差。
[0024] 所述步驟S100中，將Χ= |^,1^,2#,1#,2^,1^,2]1'重新定義為叉=[叉1，叉2，叉3， Χ4，Χ5，Χ6]Τ，則可將混合信號(hào)生成方式表達(dá)為：
[0026]式中Α為標(biāo)量混合矩陣，8=[81，82,83,84,85,86]7代表隱含的多個(gè)源信號(hào)，其中包 含了眨眼信號(hào)分量和心跳B(niǎo)VP分量以及其他成分，式中的混合矩陣A和源s均未知，通過(guò)使用 基于二階盲辨識(shí)的盲分離算法可以得到對(duì)真實(shí)源s的估計(jì)，即滿(mǎn)足如下關(guān)系的y:
[0028]式中分離矩陣W為對(duì)f1的近似估計(jì)。
[0029]為實(shí)現(xiàn)上述目的，本系統(tǒng)發(fā)明采用的技術(shù)方案是:基于二階盲辨識(shí)的非接觸式眨 眼與心率聯(lián)合檢測(cè)系統(tǒng)，該系統(tǒng)包括視頻信號(hào)采集與預(yù)處理模塊、目標(biāo)跟蹤模塊、多通道盲 分離模塊、眨眼及BVP信號(hào)篩選模塊、眨眼頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊與心率估計(jì)模塊；
[0030] 所述視頻信號(hào)采集與預(yù)處理模塊，用于獲取人臉部圖像并使用相干平均法將采集 到的包含眼部區(qū)域的人臉視頻數(shù)據(jù)按照R，G，B三基色通道進(jìn)行空間平均，并采用圖像寬度 中值切分的方法得到六通道原始信號(hào)義=1^1?1461舊14[?2 462 4[32]1'，同時(shí)對(duì)原始信號(hào)1進(jìn)行 高通濾波以去除信號(hào)中各分量的低頻趨勢(shì)并對(duì)信號(hào)進(jìn)行去均值與方差歸一化；
[0031] 所述目標(biāo)跟蹤模塊使用Meanshift目標(biāo)跟蹤算法實(shí)現(xiàn)對(duì)選定面部區(qū)域的連續(xù)定 位；
[0032] 所述多通道盲分離模塊用于通過(guò)基于二階盲辨識(shí)的多通道盲分離算法對(duì)原始信 號(hào)X進(jìn)行分離以得到對(duì)不同源信號(hào)的估計(jì)；
[0033]所述眨眼及BVP信號(hào)篩選模塊用于從分離得到的多通道數(shù)據(jù)中辨識(shí)出眨眼和BVP 信號(hào)。
[0034]眨眼頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊與心率估計(jì)模塊用于從分離得到的眨眼和BVP信號(hào) 中計(jì)算得到眨眼時(shí)長(zhǎng)、眨眼頻率與心率。
[0035] 該系統(tǒng)還存在以下特征：
[0036]所述視頻信號(hào)采集與預(yù)處理模塊包括幀內(nèi)空間平均單元、高通濾波單元及標(biāo)準(zhǔn)化 單元。
[0037]高通濾波單元中的高通濾波器的截止頻率為0.8Hz。
[0038] 所述目標(biāo)跟蹤模塊使用Meanshift目標(biāo)跟蹤算法進(jìn)行連續(xù)幀間的眼部區(qū)域定位， 所述眨眼頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊與心率估計(jì)模塊使用計(jì)數(shù)器計(jì)算單位時(shí)間內(nèi)的眨眼次 數(shù)得到眨眼頻率，使用幅度門(mén)限得到眨眼脈沖的時(shí)長(zhǎng)，使用BVP信號(hào)的功率譜峰值X60得到 心率。
[0039] 與現(xiàn)有技術(shù)相比，本發(fā)明具備的技術(shù)效果為:本發(fā)明中借助于多通道盲分離算法 實(shí)現(xiàn)了對(duì)眨眼和BVP信號(hào)在內(nèi)的多源信號(hào)的檢測(cè)。在不增加算法復(fù)雜度的情況下實(shí)現(xiàn)了對(duì) 眨眼和BVP信號(hào)的同時(shí)提取;使用多通道盲分離算法其分離精度更高，因而可以使用僅包含 單一眼部的小塊面部區(qū)域視頻即可實(shí)現(xiàn)對(duì)心率和眨眼的聯(lián)合檢測(cè)，使得算法的計(jì)算量進(jìn)一 步降低;而且使用基于譜峭度的眨眼與BVP分量自動(dòng)識(shí)別方法，能夠從盲分離算法的輸出信 號(hào)中準(zhǔn)確的篩選出眨眼與BVP信號(hào)，解決盲分離算法排序模糊問(wèn)題;另外，使用Meanshift目 標(biāo)跟蹤算法進(jìn)行連續(xù)幀間的目標(biāo)區(qū)域定位，允許使用者在采集視頻圖像時(shí)存在一定的自然 肢體動(dòng)作，具有更強(qiáng)的抗運(yùn)動(dòng)干擾性能;采用二階盲辨識(shí)算法對(duì)信號(hào)進(jìn)行盲源分離，能起到 較明顯的眨眼與BVP信號(hào)增強(qiáng)作用，在很大程度上消除光照以及外界環(huán)境變化帶來(lái)的一些 干擾。
[0040] 除了上面所描述的目的、特征和優(yōu)點(diǎn)之外，本發(fā)明還有其它的目的、特征和優(yōu)點(diǎn)。 下面將參照?qǐng)D，對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
【附圖說(shuō)明】
[0041] 構(gòu)成本申請(qǐng)的一部分的說(shuō)明書(shū)附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，本發(fā)明的示 意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：
[0042] 圖1是基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)方法的邏輯框圖；
[0043] 圖2是基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)系統(tǒng)邏輯框圖；
[0044] 圖3是基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)方法的基本流程圖；
[0045] 圖4是本發(fā)明中選取的人臉眼部區(qū)域示意圖；
[0046] 圖5是本發(fā)明中經(jīng)過(guò)預(yù)處理模塊得到的觀測(cè)信號(hào)波形圖；
[0047] 圖6是本發(fā)明中經(jīng)過(guò)二階盲辨識(shí)算法盲源分離后的輸出信號(hào)波形圖；
[0048]圖7是本發(fā)明中自動(dòng)篩選出的眨眼和BVP信號(hào)波形圖；
[0049] 圖8是基于檢測(cè)出的眨眼波形計(jì)算眨眼時(shí)長(zhǎng)和頻率的示意圖；
[0050] 圖9是基于檢測(cè)出的BVP信號(hào)計(jì)算的功率譜幅頻特性圖.
【具體實(shí)施方式】
[0051 ]結(jié)合圖1至圖9本發(fā)明作進(jìn)一步地說(shuō)明：
[0052]基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)方法，該聯(lián)合檢測(cè)方法包括如下 步驟：
[0053] S100、在受試者自然放松的狀態(tài)下采集包含眼睛的面部視頻數(shù)據(jù)，采集原始視頻 數(shù)據(jù)后選定檢測(cè)面部區(qū)域并對(duì)所選視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的六通道信號(hào)，標(biāo) i己為X = [ XRl , XR2 , XGl, XG2 , XBl, XB2 ] T ;
[0054] S101、使用Meanshift算法得到連續(xù)幀中的目標(biāo)區(qū)域，并以同樣的方法獲取六通道 信號(hào)；
[0055] S102、將經(jīng)過(guò)預(yù)處理后的原始信號(hào)作為輸入信號(hào)，使用二階盲辨識(shí)算法進(jìn)行盲源 分離，將分離后的源信號(hào)記為y = [yi，y2，y3，y4，y5，y6]T;
[0056] S103、對(duì)上述步驟S101中得到的分離信號(hào)y進(jìn)行信號(hào)辨識(shí)與篩選，使用基于譜峭度 的分離分量自動(dòng)識(shí)別方法選出所需的眨眼和BVP信號(hào)；
[0057] S104、對(duì)得到的眨眼信號(hào)進(jìn)行眨眼頻率和時(shí)長(zhǎng)計(jì)算，并對(duì)得到的BVP信號(hào)進(jìn)行功率 譜譜分析，得到心率估計(jì)值。
[0058] 本發(fā)明實(shí)現(xiàn)了從面部有限區(qū)域視頻中同步提取出眨眼和心率信號(hào);本發(fā)明中借助 于多通道盲分離算法實(shí)現(xiàn)了對(duì)眨眼和BVP信號(hào)在內(nèi)的多源信號(hào)的檢測(cè)；眨眼作為和個(gè)體心 理狀態(tài)密切相關(guān)的生理活動(dòng)，一直以來(lái)缺乏簡(jiǎn)便高效的檢測(cè)途徑;本發(fā)明將傳統(tǒng)三通道二 階盲辨識(shí)方法擴(kuò)展到六通道，顯著提升了傳統(tǒng)PPG方法的多目標(biāo)檢測(cè)能力;在不增加算法復(fù) 雜度的情況下實(shí)現(xiàn)了對(duì)眨眼和BVP信號(hào)的同時(shí)提取;通過(guò)判讀視頻統(tǒng)計(jì)眨眼信息發(fā)現(xiàn)該方 法的眨眼檢測(cè)正確率達(dá)到95%以上，與專(zhuān)用脈搏傳感器的實(shí)際對(duì)比表明算法的心率檢測(cè)正 確率達(dá)到93%以上;表1給出了本申請(qǐng)書(shū)所提眨眼檢測(cè)方法與傳統(tǒng)基于E0G信號(hào)的眨眼檢測(cè) 方法的檢測(cè)結(jié)果正確率對(duì)比。表2給出了不同使用條件下本申請(qǐng)書(shū)所提心率檢測(cè)方法與標(biāo) 準(zhǔn)脈搏血氧儀獲取的心率結(jié)果對(duì)比。
[0059] 表 1
[0063]本發(fā)明實(shí)現(xiàn)了基于單一眼部區(qū)域的生理參數(shù)檢測(cè)，傳統(tǒng)方法檢測(cè)眨眼和BVP信號(hào) 要基于整個(gè)面部區(qū)域或者雙眼區(qū)域，而本發(fā)明使用多通道盲分離算法其分離精度更高，因 而可以使用僅包含單一眼部的小塊面部區(qū)域視頻即可實(shí)現(xiàn)對(duì)心率和眨眼的聯(lián)合檢測(cè)，使得 算法的計(jì)算量進(jìn)一步降低；
[0064]本發(fā)明具有準(zhǔn)確選擇BVP信號(hào)的能力，使用基于譜峭度的眨眼與BVP分量自動(dòng)識(shí)別 方法，能夠從盲分離算法的輸出信號(hào)中準(zhǔn)確的篩選出眨眼與BVP信號(hào)，解決盲分離算法排序 模糊問(wèn)題。
[0065]本發(fā)明具有較強(qiáng)的抗干擾能力，本發(fā)明使用Meanshift目標(biāo)跟蹤算法進(jìn)行連續(xù)幀 間的目標(biāo)區(qū)域定位，允許使用者在采集視頻圖像時(shí)存在一定的自然肢體動(dòng)作，具有更強(qiáng)的 抗運(yùn)動(dòng)干擾性能;本發(fā)明采用二階盲辨識(shí)算法對(duì)信號(hào)進(jìn)行盲源分離，能起到較明顯的眨眼 與BVP信號(hào)增強(qiáng)作用，在很大程度上消除光照以及外界環(huán)境變化帶來(lái)的一些干擾；
[0066]眨眼與心率除了與身體的健康狀態(tài)有關(guān)之外，還與個(gè)體行為動(dòng)作，情緒變化等因 素直接相關(guān)。此外，從非傳統(tǒng)生理監(jiān)護(hù)領(lǐng)域看，眨眼與心率可作為全新的人機(jī)交互的信息接 口，在游戲、虛擬視覺(jué)、安全監(jiān)控、測(cè)謊等方面都有廣泛的應(yīng)用前景。
[0067]總之，本發(fā)明具有準(zhǔn)確度高、抗干擾能力強(qiáng)、算法效率高等優(yōu)點(diǎn)，具有較為廣闊的 應(yīng)用前景。
[0068] 所述S100步驟中的視頻數(shù)據(jù)進(jìn)行預(yù)處理的方法包括幀內(nèi)空間平均的步驟及高通 濾波、標(biāo)準(zhǔn)化的步驟。
[0069] 用于進(jìn)行幀內(nèi)空間平均步驟的人臉區(qū)域是眼睛及眼周的小塊面部區(qū)域，幀內(nèi)空間 平均的步驟為：
[0070] 設(shè)選取的人臉區(qū)域圖像為Xi,j(t); Ki彡N, 1彡j彡M}，{xr，xc，xb}為圖像的R、G、B 三基色分量，對(duì)人臉視頻序列先進(jìn)行逐幀空間平均得到三通道信號(hào)，即
[0072]式(1)中N，M為選定面部圖像區(qū)域的高和寬，t為每幀圖像對(duì)應(yīng)的時(shí)間；
[0073]對(duì)每幀圖像按照視頻圖像寬度中線切分為兩部分，再分別按照上述方法對(duì)R，G，B 三分量進(jìn)行進(jìn)總體平均，得到六通道數(shù)據(jù)：
[0075]用于進(jìn)行高通濾波步驟的高通濾波器的截止頻率為0.8Hz。
[0076]用于進(jìn)行標(biāo)準(zhǔn)化步驟的計(jì)算過(guò)程為：
[0078] 式中x為原始信號(hào)，E[x]為求均值運(yùn)算，〇為1中各分量的標(biāo)準(zhǔn)差。
[0079] 所述步驟S100中，將X= |^,1^,2#,1#,2^,1^,2]1'重新定義為叉=[叉1，叉2，叉3， X4，X5，X6]T，則可將混合信號(hào)生成方式表達(dá)為：
[0081 ]式中Α為標(biāo)量混合矩陣，8=[81，82,83,84,85,86]7代表隱含的多個(gè)源信號(hào)，其中包 含了眨眼信號(hào)分量和心跳B(niǎo)VP分量以及其他成分，式中的混合矩陣A和源s均未知，通過(guò)使用 基于二階盲辨識(shí)的盲分離算法可以得到對(duì)真實(shí)源s的估計(jì)，即滿(mǎn)足如下關(guān)系的y:
[0083] 式中分離矩陣W為對(duì)f1的近似估計(jì)。
[0084] 所述眨眼及BVP信號(hào)篩選模塊使用一種基于譜峭度的信號(hào)自動(dòng)識(shí)別的方法從盲分 離算法的多通道輸出信號(hào)中自動(dòng)篩選出眨眼和BVP信號(hào)。峭度常用于信號(hào)高斯性的度量。通 過(guò)對(duì)各通道輸出信號(hào)計(jì)算自相關(guān)函數(shù)再求傅立葉變換得到各路信號(hào)的功率譜，BVP信號(hào)具 有明顯的周期性因而其功率譜譜峰明顯，眨眼信號(hào)具有一定的準(zhǔn)周期性也具有潛在的譜 峰，進(jìn)行峭度計(jì)算后其他各路信號(hào)與上述兩者差異明顯，通過(guò)簡(jiǎn)單的門(mén)限即可篩選出不同 的信號(hào)。
[0085] 下面針對(duì)基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)系統(tǒng)進(jìn)行介紹：
[0086] 基于二階盲辨識(shí)的非接觸式眨眼與心率聯(lián)合檢測(cè)系統(tǒng)，該系統(tǒng)包括視頻信號(hào)采集 與預(yù)處理模塊10、目標(biāo)跟蹤模塊20、多通道盲分離模塊30、眨眼及BVP信號(hào)篩選模塊40、眨眼 頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊50與心率估計(jì)模塊60;
[0087] 所述視頻信號(hào)采集與預(yù)處理模塊10,手機(jī)攝像頭等設(shè)備用于獲取人臉部圖像并使 用相干平均法將采集到的包含眼部區(qū)域的人臉視頻數(shù)據(jù)按照R，G，B三基色通道進(jìn)行空間平 均，并采用圖像寬度中值切分的方法得到六通道原始信號(hào)x= [XR1，XG1，XB1，XR2，XG2，XB2]T，同 時(shí)對(duì)原始信號(hào)X進(jìn)行高通濾波以去除信號(hào)中各分量的低頻趨勢(shì)并對(duì)信號(hào)進(jìn)行去均值與方差 歸一化；
[0088] 所述目標(biāo)跟蹤模塊20使用Meanshift目標(biāo)跟蹤算法實(shí)現(xiàn)對(duì)選定面部區(qū)域的連續(xù)定 位；
[0089] 所述多通道盲分離模塊30用于通過(guò)基于二階盲辨識(shí)的多通道盲分離算法對(duì)原始 信號(hào)X進(jìn)行分離以得到對(duì)不同源信號(hào)的估計(jì)；
[0090] 所述眨眼及BVP信號(hào)篩選模塊40用于從分離得到的多通道數(shù)據(jù)中辨識(shí)出眨眼和 BVP信號(hào)。
[0091] 眨眼頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊50與心率估計(jì)模塊60用于從分離得到的眨眼和BVP 信號(hào)中計(jì)算得到眨眼時(shí)長(zhǎng)、眨眼頻率與心率。
[0092]采用上述的各模塊之間的協(xié)調(diào)配合，能夠從面部有限區(qū)域視頻中同步提取出眨眼 和心率信號(hào)，同樣地，本發(fā)明具有準(zhǔn)確度高、抗干擾能力強(qiáng)、算法效率高等優(yōu)點(diǎn)，具有較為廣 闊的應(yīng)用前景。
[0093]所述視頻圖像序列采集與預(yù)處理模塊10包括幀內(nèi)空間平均單元11、高通濾波單元 12及標(biāo)準(zhǔn)化單元13。
[0094] 上述的高通濾波單元12中的高通濾波器的截止頻率為0.8Hz。
[0095]所述目標(biāo)跟蹤模塊20使用Meanshift目標(biāo)跟蹤算法進(jìn)行連續(xù)幀間的眼部區(qū)域定 位，所述眨眼頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊50與心率估計(jì)模塊60使用計(jì)數(shù)器計(jì)算單位時(shí)間內(nèi)的 眨眼次數(shù)得到眨眼頻率，使用幅度門(mén)限得到眨眼脈沖的時(shí)長(zhǎng)，使用BVP信號(hào)的功率譜峰值X 60得到心率。
[0096]下面針對(duì)附圖，對(duì)本發(fā)明的方法及系統(tǒng)進(jìn)行簡(jiǎn)要的說(shuō)明：
[0097]參見(jiàn)圖3,說(shuō)明了本實(shí)施例中采用系統(tǒng)中的視頻信號(hào)采集與預(yù)處理模塊10、目標(biāo)跟 蹤模塊20、盲源分離模塊30、眨眼與BVP信號(hào)篩選模塊40、眨眼時(shí)長(zhǎng)/頻率估計(jì)模塊50與心率 估計(jì)模塊60。采用二階盲辨識(shí)算法進(jìn)行盲源分離后，利用基于譜峭度的眨眼與BVP信號(hào)自動(dòng) 篩選方法分別得到眨眼與BVP信號(hào)，進(jìn)而求得眨眼時(shí)長(zhǎng)、頻率與心率估計(jì)值。方法主要包括 以下幾個(gè)步驟：1)采集人臉眼部視頻數(shù)據(jù)并進(jìn)行預(yù)處理;2)進(jìn)行目標(biāo)區(qū)域跟蹤在連續(xù)視頻 幀中確定目標(biāo)區(qū)域位置;3)將預(yù)處理后的六通道數(shù)據(jù)用二階盲辨識(shí)算法進(jìn)行盲源分離;4) 使用基于譜峭度的眨眼/BVP分量自動(dòng)識(shí)別方法從算法的六通道輸出信號(hào)中自動(dòng)篩選出眨 眼與BVP信號(hào)；5)對(duì)眨眼信號(hào)進(jìn)行眨眼時(shí)長(zhǎng)計(jì)算與頻率統(tǒng)計(jì);6)對(duì)BVP信號(hào)進(jìn)行功率譜分析， 最后將最大譜峰頻率X 60，得到心率估算值。
[0098]參見(jiàn)圖4,說(shuō)明了本實(shí)施例中選取的人臉眼部區(qū)域示意圖，該區(qū)域在算法運(yùn)行時(shí)手 動(dòng)從視頻第一幀中選取。
[0099]參見(jiàn)圖5,說(shuō)明了本實(shí)施例中經(jīng)過(guò)預(yù)處理模塊10后得到的觀測(cè)信號(hào)波形圖，此六通 道信號(hào)即為盲分離算法的處理對(duì)象。
[0100] 參見(jiàn)圖6,說(shuō)明了本實(shí)施例中使用二階盲辨識(shí)算法對(duì)輸入信號(hào)進(jìn)行盲源分離后的 輸出信號(hào)波形圖，從圖中可以看到，六通道輸出信號(hào)的第一個(gè)分量就是眨眼信號(hào)，第二個(gè)分 量是BVP信號(hào)，說(shuō)明了二階盲辨識(shí)算法對(duì)眨眼與BVP信號(hào)有良好的分離效果。
[0101] 參見(jiàn)圖7,說(shuō)明了本實(shí)施例中基于譜峭度的眨眼與BVP分量自動(dòng)識(shí)別得到的眨眼與 BVP信號(hào)波形圖；圖中兩通道上一通道是自動(dòng)識(shí)別的眨眼信號(hào)，下一通道的是自動(dòng)識(shí)別的 BVP信號(hào)。
[0102] 參見(jiàn)圖8,說(shuō)明了對(duì)得到的眨眼信號(hào)進(jìn)行眨眼頻率與時(shí)長(zhǎng)計(jì)算的示意圖。使用計(jì)數(shù) 器計(jì)算單位時(shí)間內(nèi)的眨眼次數(shù)得到眨眼頻率，使用幅度門(mén)限得到眨眼脈沖的時(shí)長(zhǎng)。
[0103] 參見(jiàn)圖9,說(shuō)明了由得到的BVP信號(hào)進(jìn)行功率譜分析的結(jié)果，其最大譜峰頻率X60， 就得到心率估算值。
【主權(quán)項(xiàng)】
1. 基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)方法，其特征在于:該聯(lián)合檢測(cè)方 法包括如下步驟： 5100、 在受試者自然放松的狀態(tài)下采集包含眼睛的面部視頻數(shù)據(jù)，采集原始視頻數(shù)據(jù) 后選定檢測(cè)面部區(qū)域并對(duì)所選視頻數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的六通道信號(hào)，標(biāo)記為X 二[XR1 , XR2 , XG1, XG2 , XB1, XB2 ] T ; 5101、 使用Meanshift算法得到連續(xù)幀中的目標(biāo)區(qū)域，并W同樣的方法獲取六通道信 號(hào)； 5102、 將經(jīng)過(guò)預(yù)處理后的原始信號(hào)作為輸入信號(hào)，使用二階盲辨識(shí)算法進(jìn)行盲源分離， 將分離后的源信號(hào)記為y = [yi，y2，y3，y4，y5，y6]T; 5103、 對(duì)上述步驟S101中得到的分離信號(hào)y進(jìn)行信號(hào)辨識(shí)與篩選，使用基于譜峭度的分 離分量自動(dòng)識(shí)別方法選出所需的巧眼和BVP信號(hào)； 5104、 對(duì)得到的巧眼信號(hào)進(jìn)行巧眼頻率和時(shí)長(zhǎng)計(jì)算，并對(duì)得到的BVP信號(hào)進(jìn)行功率譜譜 分析，得到屯、率估計(jì)值。2. 根據(jù)權(quán)利要求1所述的基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)方法，其特 征在于:所述S100步驟中的視頻數(shù)據(jù)進(jìn)行預(yù)處理的方法包括帖內(nèi)空間平均的步驟及高通濾 波、標(biāo)準(zhǔn)化的步驟。3. 根據(jù)權(quán)利要求2所述的基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)方法，其特 征在于：用于進(jìn)行帖內(nèi)空間平均步驟的人臉區(qū)域是眼睛及眼周的小塊面部區(qū)域，帖內(nèi)空間 平均的步驟為： 設(shè)選取的人臉區(qū)域圖像為xi,j(t);l《i《N，l《j《M}，{邸，XG，別}為圖像的R、G、Bミ基 色分量，對(duì)人臉視頻序列先進(jìn)行逐帖空間平均得到Ξ通道信號(hào)，即式中N，M為選定面部圖像區(qū)域的高和寬，t為每帖圖像對(duì)應(yīng)的時(shí)間； 對(duì)每帖圖像按照視頻圖像寬度中線切分為兩部分，再分別按照上述方法對(duì)R，G，B^分 量進(jìn)行進(jìn)總體平均，得到六通道數(shù)據(jù)：4. 根據(jù)權(quán)利要求2所述的基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)方法，其特 征在于:用于進(jìn)行高通濾波步驟的高通濾波器的截止頻率為0.細(xì)Z。5. 根據(jù)權(quán)利要求2所述的基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)方法，其特 征在于:用于進(jìn)行標(biāo)準(zhǔn)化步驟的計(jì)算過(guò)程為：式中X為原始信號(hào)，E[x]為求均值運(yùn)算，〇為^中各分量的標(biāo)準(zhǔn)差。6. 根據(jù)權(quán)利要求2所述的基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)方法，其特 征在于：所述步驟S100中，將X=[邸,1,XR,2，XG,1，XG,2，XB,1，XB,2]T重新定義為X=[X1,X2，X3，X4， X5，Χ6]Τ，則可將混合信號(hào)生成方式表達(dá)為：式中A為標(biāo)量混合矩陣，3=[31，32,33,34,3日，36]了代表隱含的多個(gè)源信號(hào)，其中包含了巧 眼信號(hào)分量和屯、跳B(niǎo)VP分量W及其他成分，式中的混合矩陣A和源S均未知，通過(guò)使用基于二 階盲辨識(shí)的盲分離算法可W得到對(duì)真實(shí)源S的估計(jì)，即滿(mǎn)足如下關(guān)系的y:式中分離矩陣W為對(duì)的近似估計(jì)。7. 基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)系統(tǒng)，其特征在于:該系統(tǒng)包括視 頻信號(hào)采集與預(yù)處理模塊（10)、目標(biāo)跟蹤模塊(20)、多通道盲分離模塊(30)、巧眼及BVP信 號(hào)篩選模塊(40)、巧眼頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊(50)與屯、率估計(jì)模塊(60); 所述視頻信號(hào)采集與預(yù)處理模塊（10)，用于獲取人臉部圖像并使用相干平均法將采集 到的包含眼部區(qū)域的人臉視頻數(shù)據(jù)按照R，G，B^基色通道進(jìn)行空間平均，并采用圖像寬度 中值切分的方法得到六通道原始信號(hào)X=[邸1，XG1，祉1，邸2，XG2，別2]T，同時(shí)對(duì)原始信號(hào)X進(jìn)行 高通濾波W去除信號(hào)中各分量的低頻趨勢(shì)并對(duì)信號(hào)進(jìn)行去均值與方差歸一化； 所述目標(biāo)跟蹤模塊（20)使用Meanshift目標(biāo)跟蹤算法實(shí)現(xiàn)對(duì)選定面部區(qū)域的連續(xù)定 位； 所述多通道盲分離模塊(30)用于通過(guò)基于二階盲辨識(shí)的多通道盲分離算法對(duì)原始信 號(hào)X進(jìn)行分離W得到對(duì)不同源信號(hào)的估計(jì)； 所述巧眼及BVP信號(hào)篩選模塊(40)用于從分離得到的多通道數(shù)據(jù)中辨識(shí)出巧眼和BVP 信號(hào)。 巧眼頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊(50)與屯、率估計(jì)模塊(60)用于從分離得到的巧眼和BVP 信號(hào)中計(jì)算得到巧眼時(shí)長(zhǎng)、巧眼頻率與屯、率。8. 根據(jù)權(quán)利要求7所述的基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)系統(tǒng)，其特 征在于:所述視頻信號(hào)采集與預(yù)處理模塊（10)包括帖內(nèi)空間平均單元（11)、高通濾波單元 (12)及標(biāo)準(zhǔn)化單元(13)。9. 根據(jù)權(quán)利要求8所述的基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)系統(tǒng)，其特 征在于:高通濾波單元(12)中的高通濾波器的截止頻率為0.細(xì)Z。10. 根據(jù)權(quán)利要求8所述的基于二階盲辨識(shí)的非接觸式巧眼與屯、率聯(lián)合檢測(cè)系統(tǒng)，其特 征在于:所述目標(biāo)跟蹤模塊(20)使用MeansMft目標(biāo)跟蹤算法進(jìn)行連續(xù)帖間的眼部區(qū)域定 位，所述巧眼頻率計(jì)算及時(shí)長(zhǎng)計(jì)算模塊(50)與屯、率估計(jì)模塊(60)使用計(jì)數(shù)器計(jì)算單位時(shí)間 內(nèi)的巧眼次數(shù)得到巧眼頻率，使用幅度口限得到巧眼脈沖的時(shí)長(zhǎng)，使用BVP信號(hào)的功率譜峰 值X 60得到屯、率。
【文檔編號(hào)】A61B5/024GK106096544SQ201610404549
【公開(kāi)日】2016年11月9日
【申請(qǐng)日】2016年6月2日
【發(fā)明人】張超, 吳小培, 何璇, 呂釗, 郭曉靜, 張磊, 高湘萍
【申請(qǐng)人】安徽大學(xué)