專利名稱：一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法及系統(tǒng)。
背景技術(shù)：
近年來，人體運(yùn)動(dòng)視覺分析逐漸成為計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題。其主要的算法流程是通過攝像頭獲取視頻圖像，提取所需信息，對(duì)所需信息進(jìn)行計(jì)算機(jī)自動(dòng)分析并反饋的過程。其中包括目標(biāo)分離，動(dòng)作檢測(cè)，形態(tài)識(shí)別等。其主要研究目的是以分析人體的運(yùn)動(dòng)姿勢(shì)為目標(biāo)，為行為理解提供更多的信息，從而更好的實(shí)現(xiàn)智能判斷，并對(duì)相應(yīng)的人體行為做出應(yīng)急處理方案。在對(duì)人體姿態(tài)識(shí)別的研究過程中，有的采用模板匹配的方法，有的采用基于標(biāo)記特征點(diǎn)的方法，有的采用基于運(yùn)動(dòng)狀態(tài)空間的方法，等等。上述各種方法都有其不足之處。模板匹配的方法需要建立多個(gè)預(yù)定義的狀態(tài)模板，使之與分離出的目標(biāo)進(jìn)行模板匹配，確定出攝像頭捕獲的目標(biāo)的具體姿態(tài)?；跇?biāo)記特征點(diǎn)的方法無法實(shí)現(xiàn)實(shí)時(shí)狀態(tài)下的無標(biāo)記人體行為檢測(cè)，從而不利于視頻監(jiān)控下的姿態(tài)行為的檢測(cè)及推廣?；谶\(yùn)動(dòng)狀態(tài)空間的方法是通過隱式馬可夫模型對(duì)狀態(tài)空間進(jìn)行分析并對(duì)下一個(gè)行為狀態(tài)進(jìn)行預(yù)測(cè)，但后繼狀態(tài)預(yù)測(cè)的效果受到多方面的條件限制。

發(fā)明內(nèi)容
有鑒于此，有必要提供一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法及系統(tǒng)，能快速、實(shí)時(shí)的實(shí)現(xiàn)人體姿態(tài)識(shí)別。為此本發(fā)明提供如下技術(shù)方案:一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法，包括:分別從不同視角采集至少四個(gè)人體姿態(tài)的單視角視頻圖像；對(duì)所有單視角視頻圖像進(jìn)行預(yù)處理；對(duì)預(yù)處理后的單視角視頻圖像進(jìn)行三維輪廓重建處理，形成三維輪廓圖像；對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類；輸出姿態(tài)分類的結(jié)果。進(jìn)一步的，所述預(yù)處理包括背景分離和人體輪廓提取處理。進(jìn)一步的，所述三維輪廓重建處理包括:將每幀視頻圖像劃分為嚴(yán)格離散的多個(gè)單元；從查找表中獲取每個(gè)單元對(duì)應(yīng)的三維像素點(diǎn)；根據(jù)多角度冗余視頻圖像以及查找表反向構(gòu)建出三維圖像中各像素點(diǎn)的信息；對(duì)各像素點(diǎn)的信息進(jìn)行整合，獲得完整的三維輪廓圖像。進(jìn)一步的，對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類包括:對(duì)三維輪廓圖像進(jìn)行平均邊界空余最大化轉(zhuǎn)換處理；
通過轉(zhuǎn)換處理，獲取最適應(yīng)邊界轉(zhuǎn)換矩陣，確定相關(guān)系數(shù)；通過最近鄰分類器將處理后的三維輪廓圖像與預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)中的例子姿態(tài)進(jìn)行比較，尋找到最佳匹配，即進(jìn)行姿態(tài)分類。進(jìn)一步的，最近鄰分類器采用三維類Haar小波特征分類方法進(jìn)行姿態(tài)分類。進(jìn)一步的，還包括對(duì)最近鄰分類器進(jìn)行訓(xùn)練的步驟。一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別系統(tǒng)，其特征在于，包括:至少四個(gè)單視角視頻圖像采集模塊，用于分別從不同視角采集人體姿態(tài)的單視角視頻圖像；至少四個(gè)預(yù)處理模塊，用于對(duì)單視角視頻圖像進(jìn)行預(yù)處理；預(yù)處理模塊與單視角視頻圖像采集模塊的數(shù)量是相等的，每個(gè)預(yù)處理模塊連接一個(gè)單視角視頻圖像采集模塊；三維輪廓重建處理模塊，用于將預(yù)處理后的單視角視頻圖像進(jìn)行三維輪廓重建處理，形成三維輪廓圖像；預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)，用于存儲(chǔ)例子姿態(tài)；最近鄰分類器，用于結(jié)合預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類；輸出模塊，用于輸出姿態(tài)分類的結(jié)果。進(jìn)一步的，所述單視角視頻圖像采集模塊由終端節(jié)點(diǎn)攝像頭實(shí)現(xiàn)。進(jìn)一步的，所述預(yù)處理模塊由終端節(jié)點(diǎn)計(jì)算機(jī)實(shí)現(xiàn)。進(jìn)一步的，所述三維輪廓重建處理模塊、最近鄰分類器、預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)及輸出模塊由中央計(jì)算機(jī)實(shí)現(xiàn)。本發(fā)明通過多個(gè)終端節(jié)點(diǎn)攝像頭多角度進(jìn)行視頻圖像采集，每個(gè)終端節(jié)點(diǎn)攝像頭與一臺(tái)終端節(jié)點(diǎn)計(jì)算機(jī)連接，終端節(jié)點(diǎn)計(jì)算機(jī)對(duì)視頻圖像進(jìn)行預(yù)處理，預(yù)處理包括背景分離和人體輪廓提取處理。提取出的輪廓統(tǒng)一發(fā)送到中央處理計(jì)算機(jī)實(shí)現(xiàn)三維輪廓重建，并根據(jù)終端節(jié)點(diǎn)計(jì)算機(jī)中冗余的圖像信息，快速、實(shí)時(shí)構(gòu)建三維完整圖像。


為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法的流程圖；圖2是本發(fā)明實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法的模塊圖；圖3是獲取完整三維輪廓的原理圖；圖4是三維輪廓重建處理的原理圖。
具體實(shí)施例方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例和附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。需要說明的是，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有付出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。下面結(jié)合

本發(fā)明的具體實(shí)施方式
。請(qǐng)參閱圖1，本發(fā)明提供了一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法，包括:分別從不同視角采集至少四個(gè)人體姿態(tài)的單視角視頻圖像；對(duì)所有單視角視頻圖像進(jìn)行預(yù)處理；對(duì)預(yù)處理后的單視角視頻圖像進(jìn)行三維輪廓重建處理，形成三維輪廓圖像；對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類；輸出姿態(tài)分類的結(jié)果。本發(fā)明所采用的硬件系統(tǒng)如圖2所示，包括:至少四個(gè)單視角視頻圖像采集模塊，用于分別從不同視角采集人體姿態(tài)的單視角視頻圖像；至少四個(gè)預(yù)處理模塊，用于對(duì)單視角視頻圖像進(jìn)行預(yù)處理；預(yù)處理模塊與單視角視頻圖像采集模塊的數(shù)量是相等的，每個(gè)預(yù)處理模塊連接一個(gè)單視角視頻圖像采集模塊；三維輪廓重建處理模塊，用于將預(yù)處理后的單視角視頻圖像進(jìn)行三維輪廓重建處理，形成三維輪廓圖像；預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)，用于存儲(chǔ)例子姿態(tài)；最近鄰分類器，用于結(jié)合預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類；輸出模塊，用于輸出姿態(tài)分類的結(jié)果。所述單視角視頻圖像采集模塊由終端節(jié)點(diǎn)攝像頭實(shí)現(xiàn)。終端節(jié)點(diǎn)攝像頭從不同的視角分別獲取部分的人體3D輪廓(Hull)，即單視角視頻圖像。終端節(jié)點(diǎn)攝像頭對(duì)單視角視頻圖像做適當(dāng)?shù)奶幚?，如亮度處理，背景魯棒性處?br> 坐寸ο所述預(yù)處理模塊由終端節(jié)點(diǎn)計(jì)算機(jī)實(shí)現(xiàn)。由于三維輪廓是經(jīng)過不同點(diǎn)的不同攝像頭分別進(jìn)行采集，采集到的信息分別連接到終端計(jì)算機(jī)上進(jìn)行預(yù)處理，其預(yù)處理過程涉及背景分離與人體輪廓提取，對(duì)各個(gè)終端計(jì)算機(jī)上的預(yù)處理結(jié)果匯總到中央計(jì)算機(jī)進(jìn)行輪廓三維重建，必然需要冗余信息來完成這個(gè)操作。在輪廓分離過程中，需要構(gòu)建RGB色彩輸入向量，為了實(shí)現(xiàn)光照不變形(Robustness to Illumination),該輸入向量采用共線性標(biāo)準(zhǔn)實(shí)現(xiàn)，其具體思路如下:XF定義為3X3近鄰像素點(diǎn)中的RGB值的輸入向量。Xb定義為背景相關(guān)向量。線性相關(guān)性由向量df，db與Xf，xb的方差來描述，其中信號(hào)的方向向量u滿足df=Xf-Xf*u,然后計(jì)算方差之和:D2 = I df 12+1 db 12通過下列公式來區(qū)別前景與背景:當(dāng)D2> Ts+Tadapt時(shí)，所獲取為前景；當(dāng)D2< Ts+Tadapt時(shí)，所獲取為背景。采用D2的自適應(yīng)性閾值來實(shí)現(xiàn)分割的魯棒性，這同時(shí)也是基于三維重建的考慮。所述三維輪廓重建處理模塊、最近鄰分類器、預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)及輸出模塊由中央計(jì)算機(jī)實(shí)現(xiàn)。三維輪廓重建處理模塊通過三維像素刻畫以及固定查找表進(jìn)行三維重建。如圖3所示，單視角下的可見輪廓并不能完整的描述一個(gè)物體，一個(gè)凹面區(qū)域是無法從輪廓中精確提取的，這需要加入大量攝像頭獲得的多視角信息來精確的計(jì)算可視輪廓區(qū)域。從圖中可以看出，4-5個(gè)攝像頭即可獲得一個(gè)相對(duì)比較完整的物體輪廓信息。同時(shí)，這也使得重建工作更容易完成，用有限的攝像頭數(shù)目來近似推算可視物體輪廓。請(qǐng)參閱圖4，三維輪廓重建處理包括如下步驟:將每幀視頻圖像劃分為嚴(yán)格離散的多個(gè)單元；從查找表中獲取每個(gè)單元對(duì)應(yīng)的三維像素點(diǎn)；根據(jù)多角度冗余視頻圖像以及查找表反向構(gòu)建出三維圖像中各像素點(diǎn)的信息；對(duì)各像素點(diǎn)的信息進(jìn)行整合，獲得完整的三維輪廓圖像。以上采用的是通過三維像素點(diǎn)來重建輪廓的方法，這種方法把要完成的工作分為嚴(yán)格離散的更小一些的單元。所謂的三維像素，就是攝像頭視角下的圖像平面的投影。在重建過程中，要求各部分的三維像素點(diǎn)分布在輪廓外部，并且至少一種攝像頭視角不在其他攝像頭視角的交集中，即至少有一種視角是不能夠丟棄的視角，我們定義為關(guān)鍵視角，其他冗余信息來完成輪廓重建的邊界拼合部分。對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類包括:對(duì)三維輪廓圖像進(jìn) 行平均邊界空余最大化轉(zhuǎn)換處理；通過最近鄰分類器將處理后的三維輪廓圖像與預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)中的例子姿態(tài)進(jìn)行比較，尋找到最佳匹配，即進(jìn)行姿態(tài)分類。為了獲取平均邊界空余最大化的轉(zhuǎn)換比率Wtjpt的值，我們定義如下公式:
權(quán)利要求
1.一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法，其特征在于，包括: 分別從不同視角采集至少四個(gè)人體姿態(tài)的單視角視頻圖像； 對(duì)所有單視角視頻圖像進(jìn)行預(yù)處理； 對(duì)預(yù)處理后的單視角視頻圖像進(jìn)行三維輪廓重建處理，形成三維輪廓圖像； 對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類； 輸出姿態(tài)分類的結(jié)果。
2.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法，其特征在于，所述預(yù)處理包括背景分離和人體輪廓提取處理。
3.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法，其特征在于，所述三維輪廓重建處理包括: 將每幀視頻圖 像劃分為嚴(yán)格離散的多個(gè)單元； 從查找表中獲取每個(gè)單元對(duì)應(yīng)的三維像素點(diǎn)； 根據(jù)多角度冗余視頻圖像以及查找表反向構(gòu)建出三維圖像中各像素點(diǎn)的信息； 對(duì)各像素點(diǎn)的信息進(jìn)行整合，獲得完整的三維輪廓圖像。
4.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法，其特征在于，對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類包括: 對(duì)三維輪廓圖像進(jìn)行平均邊界空余最大化轉(zhuǎn)換處理； 通過轉(zhuǎn)換處理，獲取最適應(yīng)邊界轉(zhuǎn)換矩陣，確定相關(guān)系數(shù)； 通過最近鄰分類器將處理后的三維輪廓圖像與預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)中的例子姿態(tài)進(jìn)行比較，尋找到最佳匹配，即進(jìn)行姿態(tài)分類。
5.根據(jù)權(quán)利要求4所述的實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法，其特征在于，最近鄰分類器采用三維類Haar小波特征分類方法進(jìn)行姿態(tài)分類。
6.根據(jù)權(quán)利要求1所述的實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法，其特征在于，還包括對(duì)最近鄰分類器進(jìn)行訓(xùn)練的步驟。
7.一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別系統(tǒng)，其特征在于，包括: 至少四個(gè)單視角視頻圖像采集模塊，用于分別從不同視角采集人體姿態(tài)的單視角視頻圖像； 至少四個(gè)預(yù)處理模塊，用于對(duì)單視角視頻圖像進(jìn)行預(yù)處理；預(yù)處理模塊與單視角視頻圖像采集模塊的數(shù)量是相等的，每個(gè)預(yù)處理模塊連接一個(gè)單視角視頻圖像采集模塊； 三維輪廓重建處理模塊，用于將預(yù)處理后的單視角視頻圖像進(jìn)行三維輪廓重建處理，形成三維輪廓圖像； 預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)，用于存儲(chǔ)例子姿態(tài)； 最近鄰分類器，用于結(jié)合預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類； 輸出模塊，用于輸出姿態(tài)分類的結(jié)果。
8.根據(jù)權(quán)利要求7所述的實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別系統(tǒng)，其特征在于，所述單視角視頻圖像采集模塊由終端節(jié)點(diǎn)攝像頭實(shí)現(xiàn)。
9.根據(jù)權(quán)利要求7所述的實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別系統(tǒng)，其特征在于，所述預(yù)處理模塊由終端節(jié)點(diǎn)計(jì)算機(jī)實(shí)現(xiàn)。
10.根據(jù)權(quán)利要求7所述的實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別系統(tǒng)，其特征在于，所述三維輪廓重建處理 模塊、最近鄰分類器、預(yù)定義姿態(tài)數(shù)據(jù)庫(kù)及輸出模塊由中央計(jì)算機(jī)實(shí)現(xiàn)。
全文摘要
本發(fā)明提供一種實(shí)時(shí)三維無標(biāo)記人體姿態(tài)識(shí)別方法及系統(tǒng)，包括分別從不同視角采集至少四個(gè)人體姿態(tài)的單視角視頻圖像；對(duì)所有單視角視頻圖像進(jìn)行預(yù)處理；對(duì)預(yù)處理后的單視角視頻圖像進(jìn)行三維輪廓重建處理，形成三維輪廓圖像；對(duì)三維輪廓圖像進(jìn)行姿態(tài)分類；輸出姿態(tài)分類的結(jié)果。本發(fā)明通過多個(gè)終端節(jié)點(diǎn)攝像頭多角度進(jìn)行視頻圖像采集，每個(gè)終端節(jié)點(diǎn)攝像頭與一臺(tái)終端節(jié)點(diǎn)計(jì)算機(jī)連接，終端節(jié)點(diǎn)計(jì)算機(jī)對(duì)視頻圖像進(jìn)行預(yù)處理，預(yù)處理包括背景分離和人體輪廓提取處理。提取出的輪廓統(tǒng)一發(fā)送到中央處理計(jì)算機(jī)實(shí)現(xiàn)三維輪廓重建，并根據(jù)終端節(jié)點(diǎn)計(jì)算機(jī)中冗余的圖像信息，快速、實(shí)時(shí)構(gòu)建三維完整圖像。
文檔編號(hào)G06T17/00GK103150575SQ201310041900
公開日2013年6月12日 申請(qǐng)日期2013年1月31日 優(yōu)先權(quán)日2013年1月31日
發(fā)明者吳曉鸰, 孟振宇, 杜如虛 申請(qǐng)人:廣州中國(guó)科學(xué)院先進(jìn)技術(shù)研究所