專利名稱：三維人體運動仿真結(jié)果與錄像同屏對比方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維人體運動仿真結(jié)果與錄像同屏對比方法。
為實現(xiàn)上述目的，一種三維人體運動仿真結(jié)果與錄像同屏對比方法，包括步驟提取體育視頻首幀對應(yīng)攝像機的外參數(shù)，并據(jù)此對仿真分析系統(tǒng)中的虛擬攝像機進行視點調(diào)整；提取體育視頻首幀的后續(xù)幀的攝像機定量全局運動，并據(jù)此控制仿真分析系統(tǒng)中的虛擬攝像機的運動。
本發(fā)明針對人體運動的錄像，自動地提取攝像機所在的位置與方向，在同一屏幕上按相同的位置與方向顯示其對應(yīng)的三維人體運動仿真結(jié)果，實現(xiàn)同屏對比；因此可以快速、準確地比較運動員的完成動作與標準動作(或仿真結(jié)果)之間的差異，為運動員與教練員提出具體的改進意見和建議。
圖2是跳水項目世界坐標系的側(cè)視示意圖。
圖3是跳水項目世界坐標系的俯視示意圖。
圖4是跳水項目世界坐標系的正視示意圖。
圖5是特征點三維重構(gòu)原理示意圖。
圖6是虛擬攝像機定位階段流程示意圖。
圖7是求取攝像機定量全局運動階段流程示意圖。
圖8為蹦床運動視頻幀。
圖9為根據(jù)提取的攝像機運動對三維人體運動的仿真結(jié)果進行顯示后的效果。
上述第一階段所采用的虛擬攝像機視點定位技術(shù)，即提取體育視頻首幀對應(yīng)攝像機的外參數(shù)的標定方法是一種通用的方法，對于包含攝像機運動的體育運動視頻，都可以使用本方法；包括以下實現(xiàn)步驟1、采用基于特征點對應(yīng)的攝像機自定標方法求取體育視頻首幀對應(yīng)攝像機的內(nèi)參數(shù)；2、采用基于一定領(lǐng)域知識的特征點三維重構(gòu)方法確定體育視頻首幀對應(yīng)攝像機的外參數(shù)。
上述采用基于特征點對應(yīng)的攝像機自定標方法求取體育視頻首幀對應(yīng)攝像機的內(nèi)參數(shù)包括下列主要步驟1、在體育視頻首幀中選取特征點并在首幀的后續(xù)幀中跟蹤所選取的特征點以建立視頻流各個相鄰幀間特征點的對應(yīng)關(guān)系；2、排除相鄰幀間誤匹配的特征點，即外點；從而建立穩(wěn)定的特征點對應(yīng)關(guān)系(排除外點之后的特征點對數(shù)應(yīng)當大于等于8)；3、在體育視頻首幀k1的后續(xù)幀中選取與首幀的特征點位置相比較具有較大位移變化的視頻幀k2(k1與k2間所建立的對應(yīng)特征點對數(shù)應(yīng)該大于等于8)；并求取首幀k1與幀k2之間對應(yīng)的基本矩陣；之所以選擇計算首幀k1與k2之間的基礎(chǔ)矩陣而不是計算首幀k1與其相鄰幀的基礎(chǔ)矩陣是由于體育視頻中相鄰幀之間特征點的位移很小，會造成所求取的兩幀間的基礎(chǔ)矩陣不穩(wěn)定進而影響求取攝像機內(nèi)參數(shù)的穩(wěn)定性；4、采用分層自定標的方法即射影標定(projective calibration)→仿射標定(affine calibration)→度量標定(metric calibration)的方法來求取體育視頻首幀對應(yīng)攝像機的內(nèi)參數(shù)。
上述采用基于一定領(lǐng)域知識的特征點三維重構(gòu)方法確定體育視頻首幀對應(yīng)攝像機的外參數(shù)包括以下步驟1、根據(jù)運動項目的領(lǐng)域知識確定世界坐標系；例如對于蹦床運動項目，可以選取蹦床平面的一個頂點為世界坐標系的原點，相交于該頂點的兩條蹦床所對應(yīng)的邊為世界坐標系的X軸和Y軸；對于跳水運動項目，攝像機具有三個視角側(cè)視、俯視和正視，視角的轉(zhuǎn)換需要切換攝像機；每個視角下世界坐標系的選取類似于蹦床；2、在體育視頻的首幀k1與后續(xù)幀k2之間選取對應(yīng)于世界坐標系坐標軸原點O以及X軸和Y軸上的特征點o1、x1、y1和o2、x2、y2；并建立兩幀間三個特征點的對應(yīng)關(guān)系；3、采用已知攝像機內(nèi)參數(shù)的特征點三維重構(gòu)方法(在一個縮放比例因子意義下)得到與所選取的特征點相對應(yīng)的空間點o、x、y的三維信息(在體育視頻首幀對應(yīng)攝像機坐標系下表示的三維信息)；4、基于領(lǐng)域知識確定縮放比例因子，即確定空間點o、x、y的真實三維坐標(在體育視頻首幀對應(yīng)攝像機坐標系下表示的三維坐標)；5、由o、x、y的三維坐標確定體育視頻首幀對應(yīng)攝像機相對于世界坐標系的以歐拉角表示的旋轉(zhuǎn)矩陣和平移向量R和T。
上述的基于領(lǐng)域知識確定三維重構(gòu)的縮放比例因子，是基于體育器械都具有標準的規(guī)范這一事實；例如蹦床平面的長寬、足球場的長寬以及大小禁區(qū)的長寬、跳臺(板)的長寬都具有標準的規(guī)范；由已知兩空間點的真實距離可以唯一的確定這一縮放比例因子。
上述的由o、x、y的三維坐標確定體育視頻首幀對應(yīng)攝像機相對于世界坐標系的旋轉(zhuǎn)矩陣R和平移向量T包括如下步驟1、由重構(gòu)后空間點o、x、y的三維坐標，計算矢量 矢量 ( )與體育視頻首幀對應(yīng)攝像機坐標系中X(Y)軸的夾角即為視頻首幀攝像機坐標系的X(Y)軸與世界坐標系X(Y)軸的夾角；而矢量 與體育視頻首幀對應(yīng)攝像機坐標系Z軸的夾角即為體育視頻首幀攝像機坐標系Z軸與世界坐標系Z軸的夾角；2、對體育視頻首幀對應(yīng)攝像機坐標系坐標軸與對應(yīng)世界坐標系坐標軸的夾角進行轉(zhuǎn)換得到攝像機坐標系相對于世界坐標系的由歐拉角表示的旋轉(zhuǎn)矩陣R；3、世界坐標系的原點o在體育視頻首幀對應(yīng)攝像機坐標系上的三維坐標的三個坐標分量組成了體育視頻首幀對應(yīng)攝像機坐標系相對于世界坐標系的平移向量T。
上述的第二階段，即提取體育視頻首幀的后續(xù)幀的攝像機運動具有如下特點攝像機位置保持不變(除非切換攝像機)，即幾乎沒有平移運動，而且只有在X軸和Y軸方向上的旋轉(zhuǎn)(在Z軸方向上無旋轉(zhuǎn))和Zoom In、Zoom Out的變化，即為Pan-Tilt攝像機；我們可以假設(shè)在體育視頻中攝像機的內(nèi)參數(shù)，除了焦距的長度，都是不變的；根據(jù)體育運動視頻中攝像機運動的這個特點，選取相應(yīng)的攝像機運動模型來描述(六點或八點模型)；通過求解相鄰幀間運動模型的運動參數(shù)來計算攝像機的定量全局運動。
上述的通過求解運動模型的運動參數(shù)來計算攝像機的定量全局運動包括以下步驟
1、在體育視頻序列的相鄰兩幀間選取與跟蹤特征點以建立特征點的對應(yīng)關(guān)系；2、排除誤匹配的外點；3、使用(非)線性回歸方法計算相鄰幀間的運動參數(shù)；4、由運動參數(shù)的物理意義計算相鄰幀間的攝像機定量全局運動。
本發(fā)明所描述的三維人體運動仿真結(jié)果與錄像同屏對比方法的主要優(yōu)點為它具有通用性，凡是具有攝像機運動的體育視頻，不論視頻流中內(nèi)參數(shù)變化與否，都適用于本發(fā)明所描述的三維人體運動仿真結(jié)果與錄像同屏對比方法；例如對于跳水、蹦床、足球、體操等體育運動的仿真結(jié)果與錄像比較。
權(quán)利要求
1.一種三維人體運動仿真結(jié)果與錄像同屏對比方法，包括步驟提取體育視頻首幀對應(yīng)攝像機的外參數(shù)，并據(jù)此對仿真分析系統(tǒng)中的虛擬攝像機進行視點調(diào)整；提取體育視頻首幀的后續(xù)幀的攝像機定量全局運動，并據(jù)此控制仿真分析系統(tǒng)中的虛擬攝像機的運動。
2.如權(quán)利要求1所述的方法，其特征在于所述的提取體育視頻首幀對應(yīng)攝像機的外參數(shù)包括以下步驟采用基于特征點對應(yīng)的攝像機自定標方法求取體育視頻首幀對應(yīng)攝像機的內(nèi)參數(shù)；采用基于領(lǐng)域知識的特征點三維重構(gòu)方法確定體育視頻首幀對應(yīng)攝像機的外參數(shù)。
3.如權(quán)利要求2所述的方法，其特征在于所述的采用基于特征點對應(yīng)的攝像機自定標方法求取體育視頻首幀對應(yīng)攝像機的內(nèi)參數(shù)包括下列主要步驟a、在體育視頻首幀中選取特征點并在首幀的后續(xù)幀中跟蹤所選取的特征點以建立視頻流各個相鄰幀間特征點的對應(yīng)關(guān)系；b、排除相鄰幀間誤匹配的特征點，即外點；從而建立穩(wěn)定的特征點對應(yīng)關(guān)系；c、在體育視頻首幀k1的后續(xù)幀中選取與首幀的特征點位置相比較具有較大位移變化的視頻幀k2(k1與k2間所建立的對應(yīng)特征點對數(shù)應(yīng)該大于等于8)；并求取首幀k1與幀k2之間對應(yīng)的基本矩陣；d、采用分層自定標的方法即射影標定→仿射標定→度量標定的方法來求取體育視頻首幀對應(yīng)攝像機的內(nèi)參數(shù)。
4.如權(quán)利要求2所述的方法，其特征在于所述采用基于領(lǐng)域知識的特征點三維重構(gòu)方法確定體育視頻首幀對應(yīng)攝像機的外參數(shù)包括以下步驟a、根據(jù)運動項目的領(lǐng)域知識確定世界坐標系，并在體育視頻的首幀k1及后續(xù)幀k2中選取對應(yīng)于世界坐標系坐標軸原點O以及位于X軸和Y軸上的特征點o1、x1、y1和o2、x2、y2，并建立兩幀間三個特征點的對應(yīng)關(guān)系；b、采用已知攝像機內(nèi)參數(shù)的特征點三維重構(gòu)方法得到與所選取的特征點相對應(yīng)的空間點o、x、y的三維信息；c、基于領(lǐng)域知識確定縮放比例因子，即確定空間點o、x、y的真實三維坐標；d、由o、x、y的三維坐標確定體育視頻首幀對應(yīng)攝像機相對于世界坐標系的外參數(shù)以歐拉角表示的旋轉(zhuǎn)矩陣R和平移向量T。
5.如權(quán)利要求4所述的方法，其特征在于其中所述的由o、x、y的三維坐標確定體育視頻首幀對應(yīng)攝像機相對于世界坐標系的外參數(shù)包括以下步驟a、由o、x、y在體育視頻首幀對應(yīng)攝像機坐標系中的三維坐標，計算矢量 矢量 ( )與體育視頻首幀對應(yīng)攝像機坐標系中X(Y)軸的夾角即為體育視頻首幀攝像機坐標系X(Y)軸與世界坐標系X(Y)軸的夾角；矢量 與體育視頻首幀對應(yīng)攝像機坐標系Z軸的夾角即為體育視頻首幀攝像機坐標系Z軸與世界坐標系Z軸的夾角；b、對體育視頻首幀對應(yīng)攝像機坐標系坐標軸與對應(yīng)世界坐標系坐標軸的夾角進行轉(zhuǎn)換得到攝像機坐標系相對于世界坐標系的由歐拉角表示的旋轉(zhuǎn)矩陣R；c、世界坐標系的原點在體育視頻首幀對應(yīng)攝像機坐標系上的三維坐標o的三個坐標分量組成了體育視頻首幀對應(yīng)攝像機坐標系相對于世界坐標系的平移向量T。
6.如權(quán)利要求1所述的方法，其特征在于所述求取體育視頻首幀的后續(xù)幀的攝像機定量全局運動包括以下步驟在體育視頻中，攝像機位置保持不變，而且只有在X軸和Y軸方向上的旋轉(zhuǎn)和Zoom In、Zoom Out的變化，據(jù)此選取相應(yīng)的運動模型來描述攝像機的全局運動，通過求解相鄰幀間運動模型的運動參數(shù)來計算攝像機的定量全局運動。
7.如權(quán)利要求6所述的方法，其特征在于其中所述通過求解運動模型的運動參數(shù)來計算攝像機的定量全局運動包括以下步驟a、在體育視頻序列的相鄰兩幀間選取與跟蹤特征點以建立特征點的對應(yīng)關(guān)系；b、排除誤匹配的外點；c、使用(非)線性回歸方法計算相鄰幀間的運動參數(shù)；d、由運動參數(shù)的物理意義計算相鄰幀間的攝像機定量全局運動。
全文摘要
一種三維人體運動仿真結(jié)果與錄像同屏對比方法，包括步驟提取體育視頻首幀對應(yīng)攝像機的外參數(shù)，并據(jù)此對仿真分析系統(tǒng)中的虛擬攝像機進行視點調(diào)整；提取體育視頻首幀的后續(xù)幀的攝像機定量全局運動，并據(jù)此控制仿真分析系統(tǒng)中的虛擬攝像機的運動。本發(fā)明針對人體運動的錄像，自動地提取攝像機所在的位置與方向，在同一屏幕上按相同的位置與方向顯示其對應(yīng)的三維人體運動仿真結(jié)果。實現(xiàn)同屏對比，則可以快速、準確地比較運動員的完成動作與標準動作(或仿真結(jié)果)之間的差異，為運動員與教練員提出具體的改進意見和建議。
文檔編號G06T7/20GK1479252SQ0314755
公開日2004年3月3日 申請日期2003年7月22日 優(yōu)先權(quán)日2003年7月22日
發(fā)明者王兆其, 樊建平, 李錦濤, 錢躍良, 邱顯杰, 夏時洪 申請人:中國科學(xué)院計算技術(shù)研究所