專利名稱：一種人手運(yùn)動(dòng)圖像三維實(shí)時(shí)檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人手運(yùn)動(dòng)圖像三維實(shí)時(shí)檢測方法，屬于生物醫(yī)學(xué)工程領(lǐng)域。
人手有20個(gè)自由度，是人體中運(yùn)動(dòng)最靈活的器官，其運(yùn)動(dòng)需要肌肉群、骨骼及精細(xì)控制程度比下肢等其他運(yùn)動(dòng)要復(fù)雜得多，人手是人日常生活和工作中與外界環(huán)境接觸時(shí)最重要的操作器官，帕金森氏綜合癥、腦卒中、腦外傷等許多疾病對(duì)手的運(yùn)動(dòng)功能都有一定影響，因此在臨床康復(fù)中常常把人手運(yùn)動(dòng)功能的訓(xùn)練作為某些疾病患者康復(fù)的重要手段?？梢姍z測分析人手的運(yùn)動(dòng)特征，可以幫助臨床醫(yī)生進(jìn)行疾病或康復(fù)進(jìn)程評(píng)定，為臨床提供準(zhǔn)確科學(xué)的診斷和評(píng)價(jià)手段。
人手運(yùn)動(dòng)檢測方法主要有三大類一類是利用X光、CT、MRI等設(shè)備得到人手骨骼及各斷層圖象，這類方法檢測成本較高，且一般只能檢測手靜止時(shí)的情況；第二類是利用測角儀檢測關(guān)節(jié)角度的變化，如在虛擬現(xiàn)實(shí)中被廣泛采用的數(shù)據(jù)手套，這類方法由于角度傳感器的兩端安置在骨節(jié)上，不僅與皮膚表面產(chǎn)生滑動(dòng)引入誤差，而且也影響人手的自然運(yùn)動(dòng)，即利用這類方法得到的數(shù)據(jù)誤差較大；第三類方法是利用攝像系統(tǒng)，通過攝取人手運(yùn)動(dòng)過程，然后進(jìn)行分析處理，這類方法的精度較高，是進(jìn)行人手運(yùn)動(dòng)研究及相關(guān)疾病診斷的重要工具。
本發(fā)明的目的是提出一種人手運(yùn)動(dòng)圖象三維實(shí)時(shí)檢測方法，為目前臨床普遍采用由醫(yī)生目測進(jìn)行人手運(yùn)動(dòng)功能診斷與評(píng)定提供一種科學(xué)手段。
本發(fā)明提出的一種人手運(yùn)動(dòng)圖象三維實(shí)時(shí)檢測方法，其特征在于包括以下步驟(1)在被測者待測手的關(guān)節(jié)上粘貼標(biāo)志點(diǎn)，使被測者的手按要求動(dòng)作；(2)從不同角度攝取人手運(yùn)動(dòng)過程圖像，并將圖象實(shí)時(shí)采集到計(jì)算機(jī)；(3)對(duì)圖象用中值濾波法進(jìn)行濾波，將濾波后的圖象映射為模糊矩陣，對(duì)模糊矩陣作非線性變換，進(jìn)行模糊增強(qiáng)，然后對(duì)增強(qiáng)后的圖象作逆映射，得到模糊增強(qiáng)的圖象；(4)對(duì)上述圖像進(jìn)行掃描，根據(jù)圖象灰度搜索出所有連通域；查找封閉連通域并獲取封閉連通域的外輪廓最大尺寸；對(duì)封閉連通域外輪廓尺寸進(jìn)行篩選得到與原粘貼標(biāo)志點(diǎn)尺寸范圍一致的標(biāo)志點(diǎn)；(5)對(duì)已經(jīng)查找到標(biāo)志點(diǎn)后的第1和第2幅運(yùn)動(dòng)過程圖象，從起始標(biāo)志點(diǎn)逐步外推查找動(dòng)作后與原始標(biāo)志點(diǎn)相對(duì)應(yīng)的標(biāo)志點(diǎn)，對(duì)第3幅以后的所有圖象，在前兩幅確定的標(biāo)志點(diǎn)的一階外推位置查找后續(xù)動(dòng)作后與原始標(biāo)志點(diǎn)相對(duì)應(yīng)的標(biāo)志點(diǎn)；(6)根據(jù)上述查找的標(biāo)志點(diǎn)的形狀計(jì)算標(biāo)志點(diǎn)的二維中心坐標(biāo)；(7)根據(jù)從不同角度攝取人手運(yùn)動(dòng)平面圖像得到的同一個(gè)標(biāo)志點(diǎn)的上述二維坐標(biāo)，采用直接線性變換(縮寫為DLT，Direct Linear Transformation)方法解出標(biāo)志點(diǎn)三維空間坐標(biāo)。
(8)按解剖順序連接關(guān)節(jié)或末端上標(biāo)志點(diǎn)的三維空間坐標(biāo)即可得到人手運(yùn)動(dòng)棍圖；按采樣次序連接不同圖象中同一標(biāo)志點(diǎn)的三維空間坐標(biāo)就得到關(guān)節(jié)的位移運(yùn)動(dòng)曲線；根據(jù)運(yùn)動(dòng)棍圖中的每3個(gè)點(diǎn)決定的兩條直線，可以計(jì)算出兩條直線所夾的角度，即關(guān)節(jié)彎曲的角度。根據(jù)位移和角位移，利用微分方法即可得到其運(yùn)動(dòng)的速度和角速度、加速度和角加速度的變化規(guī)律。
利用本發(fā)明提出的方法可以實(shí)時(shí)地檢測記錄人手作不同動(dòng)作時(shí)空間運(yùn)動(dòng)軌跡，并對(duì)其進(jìn)行各種統(tǒng)計(jì)，以研究人手運(yùn)動(dòng)規(guī)律及控制機(jī)理，或在醫(yī)學(xué)臨床上定量評(píng)定人手運(yùn)動(dòng)功能及其康復(fù)程度。


圖1人手對(duì)捏運(yùn)動(dòng)三維空間棍圖，圖中量鋼均為毫米。
圖2食指第2關(guān)節(jié)的角位移(標(biāo)量)曲線。
圖3食指第2關(guān)節(jié)角速度變化曲線圖4食指第2關(guān)節(jié)角加速度變化曲線下面結(jié)合附圖，詳細(xì)介紹本發(fā)明的內(nèi)容(1)實(shí)施例的標(biāo)志點(diǎn)選用黑球，粘貼位置為拇指和食指尖，拇指和食指的各關(guān)節(jié)，并使被測者作拇指和食指對(duì)捏動(dòng)作；(2)從不同角度攝取人手運(yùn)動(dòng)過程圖像，并將圖像實(shí)時(shí)采集到計(jì)算機(jī)；(3)對(duì)圖像用中值濾波法進(jìn)行濾波，將濾波后的圖象映射為模糊矩陣，對(duì)模糊矩陣作非線性變換，進(jìn)行模糊增強(qiáng)，然后對(duì)增強(qiáng)后的圖象作逆映射，得到模糊增強(qiáng)的圖象；其具體增強(qiáng)過程如下將一幅L個(gè)灰度級(jí)M×N的圖象表示為X=[lmn]，m=1、2、…M，n=1、2、…N(其中l(wèi)mn為圖象像素(m，n)的灰度級(jí))，對(duì)應(yīng)的模糊矩陣為 n=1、2、…N(其中μmn為lmn相對(duì)于某特定灰度級(jí)的隸屬度)。取隸屬度函數(shù)為 取 的模糊增強(qiáng)函數(shù)為 其中 為模糊增強(qiáng)的次數(shù)，μc為模糊增強(qiáng)的閾值，其對(duì)應(yīng)的圖象灰度值為lc。記模糊增強(qiáng)后矩陣對(duì)應(yīng)的圖象為X′=[lmn′]，m=1、2、…M，n=1、2、…N
其中l(wèi)mn′為模糊增強(qiáng)后像素(m，n)的灰度級(jí)，則 其中 由(1)、(2)兩式即可完成圖象的模糊增強(qiáng)。在算法的具體實(shí)現(xiàn)中，為減少計(jì)算量，事先將式(2)做成表格Table1、Table2如下Tablel[i]=(int)(i×i/lc+0．5) i=0、1、2、…lcTable2[i]=(int)(L-1-(L-1-i)2/(L-1-lc)+0．5) i=lc+1、lc+2、…L-11)查找標(biāo)志點(diǎn)逐點(diǎn)對(duì)圖像進(jìn)行掃描并與閾值作比較，若有滿足閾值條件的連續(xù)點(diǎn)，則記錄其參數(shù)行(行號(hào))、列(起始點(diǎn)列號(hào))和長(連續(xù)點(diǎn)數(shù)目)，這樣的連續(xù)點(diǎn)就是“條”，并按下面3個(gè)模板構(gòu)造連通域。
模板1若某“條”不與任何已有域相連，則認(rèn)為該“條”屬于新域，并建立一個(gè)新域存入該“條”參數(shù)(行、列、長)。
模板2若某“條”只與一個(gè)已有域相連，則認(rèn)為該“條”屬于與其相連的域，并將該“條”加入其相連域。
模板3若某“條”與多個(gè)已有域相連，則認(rèn)為這些域?yàn)橐粋€(gè)新域，將它們合并成一個(gè)域，其中各“條”按行、列順序重組并將該“條”加入新域同時(shí)釋放各原有域。
將掃描到的每一個(gè)“條”與上述3個(gè)模板進(jìn)行比較，找到相符模板并按模板操作，即可實(shí)現(xiàn)任意形狀連通域的自動(dòng)檢測。由于整個(gè)過程中始終保持域內(nèi)各“條”按行、列順序排列，因此作模板查找時(shí)，只需要與各域最后一行的“條”作比較，計(jì)算量很小。在算法的具體實(shí)現(xiàn)中，為進(jìn)一步減少計(jì)算量和節(jié)省內(nèi)存，對(duì)“條”的定義加了更嚴(yán)格的限制，只有那些長度超過最低限度的連續(xù)點(diǎn)才被認(rèn)為是“條”。這樣的限定可以避免圖像出現(xiàn)“麻點(diǎn)”時(shí)，識(shí)別出過多的沒意義的連通域。只要連通域外廓尺寸與已知標(biāo)志點(diǎn)外廓大小匹配，即認(rèn)為該連通域是標(biāo)志點(diǎn)。
2)跟蹤標(biāo)志點(diǎn)對(duì)第1和2幅圖象，在起始標(biāo)志點(diǎn)附近查找標(biāo)志點(diǎn)；對(duì)第3幅圖以后的圖象，在前兩幅圖中標(biāo)志點(diǎn)的一階外推位置附近查找標(biāo)志點(diǎn)，找出不同圖象中的同一個(gè)標(biāo)志點(diǎn)，即進(jìn)行標(biāo)志點(diǎn)跟蹤。
3)根據(jù)標(biāo)志點(diǎn)的形狀計(jì)算標(biāo)志點(diǎn)的幾何中心坐標(biāo)；4)三維重構(gòu)根據(jù)從不同角度攝取人手運(yùn)動(dòng)平面圖像得到的同一個(gè)標(biāo)志點(diǎn)的二維坐標(biāo)，采用直接線性變換(縮寫為DLT，Direct Linear Transformation)方法解算出標(biāo)志點(diǎn)三維空間坐標(biāo)。其原理為假設(shè)物方坐標(biāo)(X，Y，Z)與像坐標(biāo)(η，ζ)間映射關(guān)系為含若干待定系數(shù)的函數(shù)，根據(jù)一組已知的(X，Y，Z，η，ζ)即可求解出映射函數(shù)中各待定參數(shù)，從而得到(X，Y，Z)與(η，ζ)的映射關(guān)系，該步驟即為標(biāo)定。采用多部相機(jī)，分別標(biāo)定得到各自的物像映射函數(shù)，根據(jù)物方點(diǎn)(X，Y，Z)在各相機(jī)的像坐標(biāo)(η，ζ)及已標(biāo)定出的物像映射函數(shù)即可聯(lián)立解出物方坐標(biāo)(X，Y，Z)，即實(shí)現(xiàn)三維重構(gòu)。
(1)按解剖順序連接粘貼在關(guān)節(jié)或末端上標(biāo)志點(diǎn)的三維空間坐標(biāo)即可得到人手運(yùn)動(dòng)棍圖，如依次連接食指尖、食指各關(guān)節(jié)上，以及拇指尖、拇指各關(guān)節(jié)上標(biāo)志點(diǎn)的三維空間坐標(biāo)，即得到圖1的運(yùn)動(dòng)三維棍圖；按采樣次序連接食指尖標(biāo)志點(diǎn)的三維空間坐標(biāo)即可得到關(guān)節(jié)的空間位移運(yùn)動(dòng)曲線(見圖1)；根據(jù)運(yùn)動(dòng)棍圖中的每3個(gè)點(diǎn)決定的兩條直線，可以計(jì)算出兩條直線所夾的角度，如根據(jù)食指第1、2和3關(guān)節(jié)上標(biāo)志點(diǎn)的坐標(biāo)，可以計(jì)算出第2關(guān)節(jié)的角度，按采樣的時(shí)間次序等間隔連接第2關(guān)節(jié)的角度，即得到圖2第2關(guān)節(jié)角位移(標(biāo)量)變化曲線。根據(jù)位移和角位移，利用微分方法即可得到其運(yùn)動(dòng)的速度和角速度、加速度和角加速度的變化規(guī)律，例如對(duì)圖2第2關(guān)節(jié)角位移(標(biāo)量)變化曲線作微分得到圖3角速度變化曲線，對(duì)圖2第2關(guān)節(jié)角速度變化曲線作微分得到圖4角加速度變化曲線。
(2)對(duì)上述計(jì)算結(jié)果和曲線進(jìn)行統(tǒng)計(jì)處理，即可得到人手在作不同典型動(dòng)作時(shí)，不同指節(jié)的運(yùn)動(dòng)規(guī)律。通過對(duì)得到的不同計(jì)算結(jié)果和曲線進(jìn)行各種各樣的組合分析，可以定量地評(píng)定人手運(yùn)動(dòng)功能。
實(shí)施例中被測者為一健康男性，圖1-圖4為利用本發(fā)明提出的人手運(yùn)動(dòng)圖像三維實(shí)時(shí)檢測方法得到的結(jié)果。
權(quán)利要求
1.一種人手運(yùn)動(dòng)圖象三維實(shí)時(shí)檢測方法，其特征在于，該方法包括以下步驟(1)在被測者待測手的關(guān)節(jié)上粘貼標(biāo)志點(diǎn)，使被測者的手按要求動(dòng)作；(2)從不同角度攝取人手運(yùn)動(dòng)過程圖像，并將圖象實(shí)時(shí)采集到計(jì)算機(jī)；(3)對(duì)圖象用中值濾波法進(jìn)行濾波，將濾波后的圖象映射為模糊矩陣，對(duì)模糊矩陣作非線性變換，進(jìn)行模糊增強(qiáng)，然后對(duì)增強(qiáng)后的圖象作逆映射，得到模糊增強(qiáng)的圖象；(4)對(duì)上述圖像進(jìn)行掃描，根據(jù)圖象灰度搜索出所有連通域；查找封閉連通域并獲取封閉連通域的外輪廓最大尺寸；對(duì)封閉連通域外輪廓尺寸進(jìn)行篩選得到與原粘貼標(biāo)志點(diǎn)尺寸范圍一致的標(biāo)志點(diǎn)；(5)對(duì)已經(jīng)查找到標(biāo)志點(diǎn)后的第1和第2幅運(yùn)動(dòng)過程圖象，從起始標(biāo)志點(diǎn)逐步外推查找動(dòng)作后與原始標(biāo)志點(diǎn)相對(duì)應(yīng)的標(biāo)志點(diǎn)，對(duì)第3幅以后的所有圖象，在前兩幅確定的標(biāo)志點(diǎn)的一階外推位置查找后續(xù)動(dòng)作后與原始標(biāo)志點(diǎn)相對(duì)應(yīng)的標(biāo)志點(diǎn)；(6)根據(jù)上述查找的標(biāo)志點(diǎn)的形狀計(jì)算標(biāo)志點(diǎn)的二維中心坐標(biāo)；(7)根據(jù)從不同角度攝取人手運(yùn)動(dòng)平面圖像得到的同一個(gè)標(biāo)志點(diǎn)的上述二維坐標(biāo)，采用直接線性變換方法解出標(biāo)志點(diǎn)三維空間坐標(biāo)。(8)按解剖順序連接關(guān)節(jié)或末端上標(biāo)志點(diǎn)的三維空間坐標(biāo)即可得到人手運(yùn)動(dòng)棍圖；按采樣次序連接不同圖象中同一標(biāo)志點(diǎn)的三維空間坐標(biāo)就得到關(guān)節(jié)的位移運(yùn)動(dòng)曲線；根據(jù)運(yùn)動(dòng)棍圖中的每3個(gè)點(diǎn)決定的兩條直線，可以計(jì)算出兩條直線所夾的角度，即關(guān)節(jié)彎曲的角度。
全文摘要
本發(fā)明涉及一種人手運(yùn)動(dòng)圖象三維實(shí)時(shí)檢測方法,首先在被測者待測手的關(guān)節(jié)上粘貼標(biāo)志點(diǎn),使被測者的手按要求動(dòng)作,從不同角度攝取人手運(yùn)動(dòng)過程圖像,并將圖象實(shí)時(shí)采集到計(jì)算機(jī),對(duì)圖象進(jìn)行濾波,映射,非線性變換,模糊增強(qiáng),對(duì)圖像進(jìn)行掃描,查找標(biāo)志點(diǎn),計(jì)算標(biāo)志點(diǎn)的二維中心坐標(biāo),再進(jìn)行三維重構(gòu),即可得到人手運(yùn)動(dòng)圖象。本方法可以實(shí)時(shí)地檢測記錄人手作不同動(dòng)作時(shí)空間運(yùn)動(dòng)軌跡,以研究人手運(yùn)動(dòng)規(guī)律及控制機(jī)理,或用于醫(yī)學(xué)臨床。
文檔編號(hào)A61B5/11GK1285504SQ0012955
公開日2001年2月28日 申請日期2000年10月9日 優(yōu)先權(quán)日2000年10月9日
發(fā)明者黃昌華, 王人成, 廖克, 吳世波, 董華, 楊年峰 申請人:清華大學(xué)