本實用新型屬于運動捕捉跟蹤及分析設(shè)備領(lǐng)域，涉及面部運動捕捉跟蹤及分析設(shè)備，尤其是一種面肌運動分析儀。

背景技術(shù)：

面癱不僅嚴(yán)重影響人的外觀，還會造成其社會行為、工作、生活的改變。缺乏準(zhǔn)確、客觀的面神經(jīng)功能評價系統(tǒng)制約著面癱的診療和研究。在面癱的實際臨床工作和研究之間亦存在較大差異，臨床工作一般是定性和靈活的，而臨床研究則應(yīng)是定量的和“板上釘釘”的。面肌運動分析儀基于三維動態(tài)圖像的分析方法，可提供靜態(tài)測量以及面肌運動觀察點移動距離、方向、速度、加速度等所有動態(tài)參數(shù)，通過分析這些參數(shù)可以反映面肌、面神經(jīng)的功能，在醫(yī)學(xué)研究感興趣的面肌關(guān)鍵點(如臉頰上某點)上的立體定量分析中可以發(fā)揮其優(yōu)勢，并且可以滿足對面部肌肉運動在線實時分析的實測要求，已經(jīng)被某些面癱研究者們所使用。

人臉的面部運動細(xì)微且復(fù)雜，對于面部表情的捕捉，由于傳感器尺寸和布局方式的限制，以及面部表情對細(xì)節(jié)特征跟蹤測量精度較高的要求，很多傳統(tǒng)的運動捕捉技術(shù)(如機械式、電磁式、聲學(xué)式、加速度傳感器式等)都已經(jīng)難以應(yīng)用，而光學(xué)式運動捕捉成為面部運動捕捉最為成熟和廣泛應(yīng)用的技術(shù)。其中，標(biāo)記點式面部運動捕捉技術(shù)在三維制作領(lǐng)域已經(jīng)有著成熟的應(yīng)用，該技術(shù)具有保持自然特征點形態(tài)穩(wěn)定且排除光照條件的不穩(wěn)定因素的特點。其原理是利用多相機立體視覺技術(shù)，對粘貼于被測對象表面的高亮反光標(biāo)記進(jìn)行高速同步拍攝、特征跟蹤和實時精確地三維重建，記錄和重現(xiàn)關(guān)鍵點的運動軌跡。該方法有著獨特的技術(shù)優(yōu)勢：可以靈活地對面部任何指定點或感興趣的部位進(jìn)行穩(wěn)定可靠的運動跟蹤分析；運動測量精確度高，精度可達(dá)到0.1mm/1m；可實現(xiàn)在線實時的數(shù)據(jù)自動處理分析，操作簡單便捷，無需復(fù)雜的技術(shù)操作，同時保證較高的穩(wěn)定性和可靠性。

標(biāo)記點式面部運動捕捉技術(shù)大多是肢體動作捕捉技術(shù)的延伸，原理與肢體捕捉?jīng)]有本質(zhì)區(qū)別。一些現(xiàn)有方案在面部捕捉技術(shù)上達(dá)到可觀的效果，但需要過程復(fù)雜的后處理，費用十分昂貴且有缺陷。例如，高端動作捕捉品牌Vicon和魔神采用的方案是肢體捕捉的同時，在人臉粘貼標(biāo)記點，利用高分辨率系統(tǒng)同步捕捉肢體和面部細(xì)節(jié)的運動。該技術(shù)可達(dá)到肢體和面部運動數(shù)據(jù)高度同步，缺點是由于面部細(xì)節(jié)標(biāo)記點過多，適用于肢體捕捉的大視場捕捉對面部稠密標(biāo)記點跟蹤容易失效，導(dǎo)致大量跳點問題發(fā)生，需要復(fù)雜的后處理過程，成本過高，效率較低，成為實際應(yīng)用的最大障礙。OptiTrack方案是將采用落地式動作捕捉系統(tǒng)，將捕捉有效范圍調(diào)整至人臉適合大小，固定朝向人臉進(jìn)行標(biāo)記點捕捉。該技術(shù)同樣存在丟點跳點等問題，影響最終的數(shù)據(jù)穩(wěn)定性和精確度。上述技術(shù)在對面部標(biāo)記點進(jìn)行識別的過程中還需要進(jìn)行標(biāo)記點結(jié)構(gòu)模型學(xué)習(xí)，無法自動編號標(biāo)識，需要較多的人工操作，對于捕捉結(jié)果也未給出相關(guān)的報告分析，缺少定量數(shù)據(jù)結(jié)果總結(jié)。

技術(shù)實現(xiàn)要素：

本實用新型的目的在于克服現(xiàn)有技術(shù)的不足之處，提供一種面肌運動分析儀，減少了大量的人工后處理，減少跟蹤失效和跳點問題，實現(xiàn)低成本、高效率、高可靠性和高精度的面部運動捕捉、重建和結(jié)果分析。

本實用新型解決技術(shù)問題所采用的技術(shù)方案是：

一種面肌運動分析儀，包括運動捕捉裝置、固定裝置及上位機，運動捕捉裝置通過固定裝置固定在能獲取面部觀察點的位置，所述的運動捕捉裝置包括可編程門陣列及視覺圖像傳感器，所述的上位機分別與可編程門陣列及視覺圖像傳感器連接，可編程門陣列與視覺圖像傳感器連接。

而且，所述可編程門陣列接收上位機發(fā)送的預(yù)設(shè)脈沖觸發(fā)信號和曝光時間，根據(jù)預(yù)設(shè)脈沖觸發(fā)信號和曝光時間向所述視覺圖像傳感器發(fā)送觸發(fā)信號。以使所述視覺圖像傳感器根據(jù)所述觸發(fā)信號對被測物體進(jìn)行曝光拍攝，并對拍攝圖像進(jìn)行預(yù)處理。

而且，所述的視覺圖像傳感器包括多個光學(xué)相機(至少兩個)相機，相機間的相對位置固定不變。多目相機接收FPGA發(fā)出的觸發(fā)脈沖信號，在同一時間點曝光采集圖像，每次采集的多幅圖像組成一組立體匹配圖像對，對其進(jìn)行預(yù)處理后，數(shù)據(jù)通過相機傳輸線纜傳送至上位機。

而且，上位機對數(shù)據(jù)中被測物體的表面特征點進(jìn)行提取、預(yù)測追蹤，提高追蹤準(zhǔn)確率，三維重建后，還可根據(jù)面部點的分布特征自動識別并編號，自動修補觀察點追蹤時遺漏或丟失的點及去除剛體位移，減少人工后期處理，并給出定量結(jié)果分析，生成面部觀察點三維運動捕捉的相關(guān)報告，如面部運動中某些觀察點的區(qū)間最大位移、速度、加速度等。所述上位機還用于相機自標(biāo)定，計算多目相機三維重建所需的內(nèi)外參數(shù)。

而且，所述的視覺圖像傳感器包括輔助照明設(shè)備，所述的輔助照明設(shè)備為環(huán)形LED燈，所述環(huán)形LED燈同軸安裝在相機光學(xué)鏡頭的外沿，通過相機自身的信號輸入輸出接口與相機連接，該接口輸出的閃光燈信號控制LED燈進(jìn)行與相機采集同步的頻閃工作。

所述固定裝置旨在消除或抑制由頭部或者身體輕微移動帶給捕捉結(jié)果的影響，裝置部署有兩種方式。

一種為頭戴式，包括頭盔及連接架，在頭盔的上部安裝連接架的一端，在連接架的另一端安裝運動捕捉裝置，運動捕捉裝置正對人臉，與面部相對位置不變，避免面部運動捕捉裝置和頭部相對運動帶來的系統(tǒng)誤差。

一種為落地式，包括頭盔及連接架，連接架的中部固定在地面上，連接架的一端連接頭盔的下部，連接架的另一端連接運動捕捉裝置，運動捕捉裝置正對人臉。

本實用新型的優(yōu)點和積極效果是：

本面肌運動分析儀基于可靠的預(yù)測分析技術(shù)，對該圖像對中的特征點進(jìn)行提取、追蹤及三維重建，提高了追蹤結(jié)果的正確率和可靠性，還實現(xiàn)了對被測物體表面特征點進(jìn)行自動識別并編號，減少了大量的人工后處理，提高整體效率，減少成本，采用自動修補技術(shù)對追蹤中遺漏的點進(jìn)行修補填充，在無需過多的人工處理條件下，確保數(shù)據(jù)的完整性和穩(wěn)定性，大量減少跟蹤失效和跳點問題，并輸出定量結(jié)果分析報告，為醫(yī)療面肌的運動分析研究帶來了極大的便利條件，從而完成低成本、高效率、高可靠性和高精度的面部運動捕捉、重建和結(jié)果分析。

附圖說明

圖1為本實用新型結(jié)構(gòu)示意圖；

圖2為運動捕捉裝置的結(jié)構(gòu)示意圖；

圖3為落地式固定裝置的結(jié)構(gòu)及使用方式示意圖。

具體實施方式

下面結(jié)合附圖并通過具體實施例對本實用新型作進(jìn)一步詳述，以下實施例只是描述性的，不是限定性的，不能以此限定本實用新型的保護(hù)范圍。

一種面肌運動分析儀，如圖1所示，包括運動捕捉裝置3、固定裝置2及上位機4，運動捕捉裝置通過固定裝置固定在能獲取面部1觀察點的位置，所述的運動捕捉裝置包括可編程門陣列6及視覺圖像傳感器5，所述的上位機分別與可編程門陣列及視覺圖像傳感器連接，可編程門陣列與視覺圖像傳感器連接。

可編程門陣列實現(xiàn)面部運動捕捉系統(tǒng)的精確同步和邏輯控制，如圖2所示，所述可編程門陣列與所述視覺圖像傳感器相連，接收所述上位機發(fā)送的預(yù)設(shè)脈沖觸發(fā)信號和曝光時間，并根據(jù)所述預(yù)設(shè)脈沖觸發(fā)信號和曝光時間向所述視覺圖像傳感器發(fā)送觸發(fā)信號，以使所述視覺圖像傳感器根據(jù)所述觸發(fā)信號對被測物體進(jìn)行曝光拍攝，并對拍攝圖像進(jìn)行預(yù)處理，將數(shù)據(jù)發(fā)送至上位機。

所述上位機可以理解為操控設(shè)備，例如：計算機。其具有相機自標(biāo)定、特征點提取、預(yù)測追蹤、三維重建、自動識別、剛體位移去除和輸出分析報告等功能。上位機分別與所述可編程門陣列和視覺圖像傳感器相連，上位機對所述視覺圖像傳感器拍攝的圖像對中的特征點進(jìn)行提取、預(yù)測追蹤及三維重建，對被測物體圖像對中的特征點進(jìn)行自動識別，自動修補觀察點追蹤時遺漏或丟失的點及去除剛體位移，并生成面部觀察點三維運動捕捉的相關(guān)報告，如面部運動中某些觀察點的區(qū)間最大位移、速度、加速度等。

固定裝置將面部運動捕捉裝置固定在能獲取面部觀察點的位置，使之與面部相對位置不變，避免面部運動捕捉裝置和頭部相對運動帶來的系統(tǒng)誤差。

下面分別對本實用新型中的面肌運動分析儀的各部分的功能進(jìn)行詳細(xì)說明。

可編程門陣列與視覺圖像傳感器連接。FPGA向視覺圖像傳感器發(fā)送脈沖觸發(fā)信號，精確控制視覺圖像傳感器的同步拍攝。FPGA精確同步控制的具體流程如下：上位機與視覺圖像傳感器通訊，檢測預(yù)先設(shè)定的圖像采集曝光時間；上位機將上述曝光時間發(fā)送至FPGA；FPGA根據(jù)接收到的曝光時間以及拍攝頻率設(shè)定脈沖信號輸出寬度及觸發(fā)輸出頻率，F(xiàn)PGA向視覺圖像傳感器發(fā)出脈沖觸發(fā)信號；光學(xué)元件(包括視覺圖像傳感器上可能附加的輔助照明光源等)在脈沖信號上升沿通電亮起；視覺圖像傳感器在脈沖信號上升沿開始曝光；視覺圖像傳感器曝光結(jié)束，完成一次圖像對采集；光學(xué)元件在脈沖下降沿斷電熄滅；硬件設(shè)備等待FPGA下一次觸發(fā)。

視覺圖像傳感器由多個光學(xué)相機組成，多個光學(xué)相機間的結(jié)構(gòu)相對固定，位置排列分布方式不唯一，且相機間的相對位置關(guān)系和相機內(nèi)部參數(shù)是已知的，多目相機接收FPGA發(fā)出的觸發(fā)脈沖信號，在同一時間點曝光采集圖像，每次采集的多幅圖像組成一組立體匹配圖像對，對其進(jìn)行預(yù)處理后，數(shù)據(jù)通過相機傳輸線纜傳送至上位機，進(jìn)行特征點提取、追蹤、三維重建和自動識別編號。視覺圖像傳感器包括一種輔助照明設(shè)備，用于增加圖像采集傳感器采集到的被測物體表面的反射光強度，例如，一種與圖像采集傳感器光學(xué)鏡頭外圓輪廓同心的環(huán)形LED燈，且通過相機自身的信號輸入輸出接口與相機連接，該接口輸出的閃光燈信號功能可以控制LED燈進(jìn)行與相機采集同步的頻閃工作。為便于說明，本實施例以雙相機的視覺圖像傳感器為例，如圖1所示，雙相機以上下結(jié)構(gòu)布置，故上方相機簡稱為上相機，下方相機簡稱為下相機。

攝像機定標(biāo)過程如下，使用表面有若干反光點的標(biāo)定物進(jìn)行相機標(biāo)定，標(biāo)定物呈十字架形狀，十字架的各端呈90度，拍攝十字架旋轉(zhuǎn)若干次的姿態(tài)，根據(jù)相機自標(biāo)定方法進(jìn)行多相機參數(shù)標(biāo)定。

如圖1所示，固定裝置的其中一種部署方式為頭戴式，固定裝置將面部運動捕捉裝置和頭部相連，將運動捕捉裝置固定在可以拍攝到面部觀察點的地方，使之與面部相對位置不變，避免面部運動捕捉裝置和頭部相對運動帶來的系統(tǒng)誤差。

特征觀察點捕捉的具體實現(xiàn)流程如下：FPGA發(fā)送觸發(fā)信號控制視覺圖像傳感器曝光一次采集圖像對，并對各圖像對分別進(jìn)行圖像預(yù)處理，提取所有特征觀察點的圓心位置；視覺圖像傳感器將采集圖像對中所有特征觀察點的圓心位置傳送至上位機；使用二維卡爾曼跟蹤預(yù)測所有圖像中的觀察點；根據(jù)立體視覺原理對極幾何理論，對特征觀察點進(jìn)行空間三維重構(gòu)，并進(jìn)行三維卡爾曼預(yù)測，投影到平面糾正觀察點編號并修正預(yù)測偏差；對重建的特征點進(jìn)行自動識別并編號；根據(jù)剛體約束自動修補丟失或錯誤的捕捉結(jié)果，根據(jù)相對位置固定的參考點，去除捕捉過程中不可避免由于誤差和噪聲而產(chǎn)生多余的較小剛體位移；判斷是否已完成所有跟蹤預(yù)測任務(wù)，并進(jìn)行跟蹤分析報告輸出。

上位機中的三維重建計算的功能，用于對視覺圖像傳感器采集的圖像對中的物體表面特征點進(jìn)行三維重建，即利用立體匹配圖像對中的二維特征點集基于三角測量計算法轉(zhuǎn)化為三維特征點集。本實施例中，物體表面特征觀察點是一種粘貼在物體表面的人工設(shè)計的圓形標(biāo)記，圖像處理提取的橢圓中心即為圖像上的二維特征點。根據(jù)對極幾何原理，對于上相機圖像中的每個特征觀察點，在下相機圖像的極線上尋找距離最近的二維特征觀察點，上下相機對應(yīng)的二維特征觀察點對根據(jù)三角測量法可計算出該特征點的三維空間坐標(biāo)。

上位機中的對面部觀察點的自動識別功能，用于自動識別觀察點對應(yīng)的面部固有的拓?fù)浣Y(jié)構(gòu)節(jié)點。運動分析中，觀察點模型包括左右耳、上下嘴唇、左右嘴角、左右鼻翼、鼻尖、鼻梁、眉心、左右內(nèi)眼角、左右外眼角、左右上下眼瞼等必要識別觀察點。識別原理為：

設(shè)左右耳兩點連接方向為x軸方向，該方向距離最大值的兩點為左右耳，嘴在臉部的最下方，為z軸方向，根據(jù)最大最小距離原則確認(rèn)嘴部四點分別位于長軸或短軸上。在剩下的觀察點中最低的三個點里尋找最遠(yuǎn)距離確定左右鼻翼的位置，中部為鼻尖。由耳朵兩點連線中點、鼻尖和下嘴唇三點確定的中平面，剩余點中距離最近的為鼻梁，距離第二近的為眉心。在剩余的觀察點中，距離中平面距離最近的為左右內(nèi)眼角，根據(jù)對應(yīng)的x值判斷左右。根據(jù)z方向最小值確定左右眉中，再根據(jù)對應(yīng)x值判斷左右。距離中平面的最大值為左右外眼角，根據(jù)對應(yīng)的x值判斷左右。剩下的觀察點中，以鼻尖為基準(zhǔn)，左側(cè)尋找z方向的最大最小值確定左上下眼瞼，同理右上下眼瞼。至此所有關(guān)鍵觀察點全部自動識別。

上位機中的自動修補追蹤時遺漏或丟失觀察點的功能，用于修補在捕捉的過程中由于遮擋或位置偏移導(dǎo)致觀察點的丟失和遺漏。每一個觀察點都存在于一個剛體結(jié)構(gòu)中，當(dāng)某個觀察點丟失了，基于面部的某些特定的剛體結(jié)構(gòu)相對穩(wěn)定性，可以根據(jù)其所屬的剛體結(jié)構(gòu)和結(jié)構(gòu)中其他點的三維空間坐標(biāo)將該點的三維坐標(biāo)進(jìn)行還原。

上位機中的去除剛體位移功能，用于在特征觀察點運動捕捉過程中，為了提高追蹤的準(zhǔn)確度，去除由于誤差和噪聲而產(chǎn)生多余的較小位移對追蹤預(yù)測產(chǎn)生的影響。具體方法為找尋多個觀察點作為參考基準(zhǔn)，這些觀察點會隨著頭部移動而產(chǎn)生位移，在面部運動過程中卻位置幾乎不變或者位移可以忽略不計，這些觀察點參考點可以固定在頭頂，與面部的觀察點分離，也可以在面部觀察點中挑取某些位置幾乎不變的特征點，例如左右眼角、鼻梁等。在整體產(chǎn)生位移時，由于參考點之間的相對位置變化非常小可以忽略不計，根據(jù)前后幀參考點的之間的粗略變換關(guān)系，即[R1|T1]，將整體觀察點的三維空間坐標(biāo)進(jìn)行同樣的變換，即可去除剛體位移。

上位機中的跟蹤分析報告輸出功能，用于對捕捉跟蹤的面部觀察點的運動情況做定量分析的結(jié)果輸出，作為研究參考，如某些觀察點的區(qū)間最大位移、當(dāng)前幀速度和加速度等。某編號觀察點的區(qū)間最大位移為在區(qū)間幀中，與標(biāo)準(zhǔn)幀中的對應(yīng)編號觀察點的位置偏移量最大值。在連續(xù)運動過程中，速度為位移對時間的求導(dǎo)，相機獲取的觀察點運動為時間軸上的離散運動，由于相機具有較高幀率(至少60幀/秒,推薦120幀/秒以上)，進(jìn)行高頻數(shù)據(jù)采集時，可以對速度和加速度采用差分方式計算，當(dāng)前幀的觀察點速度v＝ΔS/Δt，其中ΔS為當(dāng)前幀的該觀察點對應(yīng)于前一幀該點的位移，Δt為采集周期，以60幀/秒為例，采集周期為1/60秒，同理，加速度a＝Δv/Δt,Δv為該觀察點當(dāng)前幀的速度與前一幀的速度差。

本實用新型中的面肌運動分析儀的工作流程如下：上位機控制FPGA、視覺圖像傳感器以及上位機開啟，進(jìn)入工作狀態(tài)；FPGA發(fā)送觸發(fā)信號控制光學(xué)元件頻閃并控制視覺圖像傳感器開始曝光采集圖像對并進(jìn)行數(shù)據(jù)預(yù)處理；視覺圖像傳感器將采集圖像對的處理數(shù)據(jù)傳送至上位機；上位機對特征點進(jìn)行提取、預(yù)測追蹤及三維重建，特征點自動識別編號；上位機自動修補跟蹤過程中丟失或遺漏的特征觀察點及去除剛體位移；上位機生成面部觀察點三維運動捕捉的相關(guān)報告；等待下一次FPGA觸發(fā)信號。

如圖3所示，固定裝置的另一種部署方式為落地式，固定裝置一部分與運動捕捉裝置連接并固定在地面上可以拍攝到面部觀察點的地方，另一部分與頭部連接，從而實現(xiàn)面部運動捕捉裝置和頭部相對固定連接，避免面部運動捕捉裝置和頭部相對運動帶來的系統(tǒng)誤差。

以上所述的僅是本實用新型的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離實用新型構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本實用新型的保護(hù)范圍。