專利名稱：：步態(tài)識別中的超分辨率圖像恢復方法
技術領域：
：本發(fā)明涉及圖像融合、人體步態(tài)識別，尤其涉及步態(tài)識別中的超分辨率圖像恢復方法。
背景技術：
：步態(tài)識別是近年來興起的研究領域，是生物特征識別與人運動視覺分析的一個結合。目前，"人的觀察"(lookingatpeople)是計算機視覺領域中最活躍的研究主題之一，其核心是利用計算機視覺技術從圖象序列中檢測、跟蹤、識別人并對其行為進行理解與描述。步態(tài)識別作為其中的一部分也成為一個研究熱點，尤其在英國、美國等國家已經開展了大量相關項目的研究，其應用范圍十分廣泛，可用于罪犯識別、疾病檢測、安全管理多方面。而運動人體檢測是步態(tài)識別中一個重要環(huán)節(jié)，它的目的是從視頻序列圖像中將運動人體區(qū)域從背景圖象中提取出來。運動區(qū)域的有效分割對于目標分類、跟蹤和識別等后期處理非常重要，然而由于背景圖象的動態(tài)變化，比如天氣的變化、光照條件的變化、背景的混亂干擾、運動目標的影子、物體與環(huán)境之間或者物體與物體之間的遮擋、甚至攝像機的運動等，使得運動人體的檢測成為一項困難的工作。
發(fā)明內容為克服現(xiàn)有技術的不足，本發(fā)明的目的在于，提供一種步態(tài)識別中的超分辨率圖像恢復方法，通過超分辨率圖象恢復來提高視頻序列圖象品質，大大減少背景圖像的變化干擾，從而降低運動人體檢測過程的計算工作量。本發(fā)明采用的技術方案是一種歩態(tài)識別中的超分辨率圖像恢復方法，其特征是，包括下列步驟-運動估計求得原低分辨率步態(tài)圖像與多幅待融合步態(tài)圖像之間的圖像運動關系^"diL，t代表第k幀圖像，K代表圖像總幀數(shù)；運用迭代后向投影算法進行處理給出一個高解析度圖像初始猜測值FW，即用固定有效網(wǎng)格劃分所有低分辨率圖像，每個在固定有效網(wǎng)格內的高分辨率像素由所有低分辨率像素的平均值堆棧得到；相應于低解析度圖像輸入i/ijj^給出一系列低解析度模擬圖像{//0)^=1;之后將求得的圖像差別{厶_//()>^=1反饋到^(())接收域；進而改進初始猜測值FW，產生新的模擬的高解析度圖像F(";之后重復該過程得到模擬的高解析度圖像尸("+1)，W為迭代次數(shù)。迭代后向投影算法，包括下列具體步驟降采樣和幾何變換；后向投影；模糊估計；插值采樣和逆幾何變換。迭代后向投影算法，包括下列具體步驟(1)從迭代"=1開始，輸入源低解析度圖像/w;(2)對低解析度圖像進行雙線性插值，獲得高解析度圖像初始猜測fw;(3)采用<formula>formulaseeoriginaldocumentpage4</formula>獲得模擬的低解析度圖像；(4)采用<formula>formulaseeoriginaldocumentpage4</formula>獲得模擬的高解析度圖像f^;尺4=1(5)之后"="+1，進行下一次的迭代；(6)如果w《JV返回步驟(3)，否則停止；前式中y;為實際觀察圖像，//")為"次迭代后模擬觀察圖像亦為低解析度模擬圖像，F(xiàn)("+1)、i^")分別為第"+l次和第"次的迭代后產生的模擬的高解析度圖像，個5和"分別為插值采樣和降采樣算子，s為相應的倍數(shù)，*為巻積符號，戶為反向投影核，&'為逆幾何變換，A是估計實際成像系統(tǒng)的傳輸函數(shù)即模糊算子，W為迭代次數(shù)。迭代次數(shù)的確定是由如下公式，使誤差最小，計算得出<formula>formulaseeoriginaldocumentpage4</formula>本發(fā)明可以帶來以下效果本發(fā)明提出提出一種新的步態(tài)識別圖象預處理方法，由于采用迭代反向投影，恢復后的圖像明顯比源圖像清晰，實現(xiàn)了多幀圖像融合，從低解析度圖像融合得到高解析度圖像，在圖像恢復過程中實現(xiàn)了線性自適應正則，驗證了迭代圖像融合算法的計算方法和實現(xiàn)步驟，實現(xiàn)迭代后向投影的圖像融合方法，并對改進方法的有效計算實驗結果也證明了該算法的可行性，圖像各方面的指標也得到了很大的提高本發(fā)明采用雙線性插值法，在不影響步態(tài)識別效果的前提下，能夠減少人體運動檢測過程的工作量。圖1迭代后向投影法圖像恢復原理圖。圖2迭代后向投影法計算流程圖。圖3圖像融合流程圖。圖4步態(tài)超分辨率圖像恢復實驗結果。具體實施例方式圖像融合是進行模式識別、遙感監(jiān)測等的關鍵技術之一。超分辨率圖像恢復是近年來才興起的圖像處理新方法。其目標是通過對低分辨圖像序列作運動估計、信息融合、去模糊和去噪聲等分析處理，恢復重建高分辨率圖像。而迭代反向投影法綜合了圖像運動和模糊估計、圖像彈性配準、圖像內插及圖像融合等處理技術，有較好的實際應用價值。該方法作為全新的圖像預處理技術，可在步態(tài)識別領域得到廣泛應用。步態(tài)超分辨率圖像恢復是從退化的步態(tài)圖像序列中求解高分辨率的步態(tài)圖像，求解的是一個典型的逆問題，對這種逆問題的求解方法是首先構造一個向前模型。在假設圖像光學系統(tǒng)的點擴展函數(shù)(PSF,pointspreadfunction)為線性位移不變的(LSI,linearshiftinvariant)時，可用公式(1)表示退化圖像向前模型&=化(^/+(1)其中矢量/，^和分別為待求高分辨率圖像F，第A幀圖像Gp^的加性噪聲的行或列矢量，矩陣A、Q和A分別為第A:幀圖像形成中的下采樣算子、模糊算子和位移算子所形成的矩陣。其中矢量,為待求高分辨率圖像F，^為第^幀圖像《，第A幀圖像^加性噪聲的行或列矢量，矩陣"、G和A分別為第^幀圖像形成中的下采樣算子、模糊算子和位移算子所形成的矩陣。在同一個圖像序列中，可假設圖像系統(tǒng)下采樣算子、模糊算子保持不變，或己預先修正為一致情況，則(1)可以表示為(2)&=臟*/+"I,..""(2)求解(2)公式，需要對其中的D、C、^噪聲等因素進行確定并消除。因此需要處理圖像序列運動估計、運動補償、去模糊和去噪聲等問題?？傮w說來，步態(tài)超分辨率圖像恢復問題的原理如圖l所示。步態(tài)超分辨率圖像恢復技術按對所對涉及重要問題的處理方式和程度不同，現(xiàn)有步態(tài)超分辨率圖像恢復方法大致可以歸為四個類型:基于頻率的方法、空域方法、基于邊緣與區(qū)域的方法、和基于學習與識別的方法。其中基于空域的步態(tài)超分辨率圖像恢復，是在空域中對低分辨率步態(tài)圖像序列的前向模型進行定義和求解，該類方法不僅能靈活處理全局及局部的運動模型、位移不變和可變的光學和運動模糊，以及圖像序列所組成的非均勻采樣以及各種模型邊界條件等，還可以在模型處理中采用高分辨率圖像、模糊和運動等的各種先驗知識，使恢復的圖像具有好的物理解釋，迭代后向投影算法是基于空域的步態(tài)超分辨率圖像恢復的重要方法之一。下面結合圖和實施例進一步詳細說明本發(fā)明。1.1迭代后向投影算法原理迭代反向投影(IBP)過程可簡述為每次迭代時將當前步態(tài)圖像退化成低分辨率步態(tài)圖像，用退化的步態(tài)圖像與實測低分辨率步態(tài)圖像的誤差和模糊矩陣構成反向投影算子來估計下次的高分辨率步態(tài)圖像。即高質圖像(HR圖像)由模擬低質圖像(LR圖像)與觀測低質圖像(LR圖像)的誤差進行反向投影得到，這一過程不斷迭代，直到誤差量達到最小。超分辨率圖像恢復的計算框架流程如圖2所示。從多個低解析度步態(tài)圖像中構建一個高解析度步態(tài)圖像，要求低解析度步態(tài)圖像源于同一個物體角度稍有不同，但不能改變物^s的全貌。在進行多低解析度步態(tài)圖像融合前，首先要評估動作計算像素變化。因此在對多幀低分辨率步態(tài)圖像進行圖像恢復之前，我們需要它們進行運動估計，即圖像配準，來丟棄不好的排列圖像，以得到更好的圖像恢復效果。通過幾何約束彈性約束方程，我們求得原低分辨率步態(tài)圖像與多幅待融合步態(tài)圖像之間的圖像運i〖假設源圖像/w(x,力，待配準圖像為y;(x,力，圖像運動可以用下式表示/(0)(x,>0=A(m,jc十w2_y+w5，w3x+w4iy+w6)(3)為了評價這些參量^，最小均方誤差計算公式為-五(m)=Z[/(0)(x,力-(附,x+w2_y+w5，w3x+附4少+附6)]2(4)Q表示整個圖像區(qū)域。為了簡化最小值，最小均方誤差用第一級縮短Taylor序列接近。下式給出了簡化后的誤差評價'其中標量A:和向量c表示如下C)義#，x/(/=/(°)"力—A"力(5)/(-/(°)-I/,(())是對對x軸方向求偏導，/)Q)是/w對y軸方向求偏導對誤差E(w)進行一階Taylor展開，就其Taylor展開式的最小值，將誤差導數(shù)^ffi(w)設為0?？汕蟮脀形式如下w=(Z(6)這也是我們在迭代公式F一、FW+丄IX—'(((/「/")個"^)中提到的幾何變換矩陣T《"i々0迭代反向投影算法計算步驟如下首先給出一個初始猜測值i^、其選擇不應影響運算法則的使用，但初始值的選擇可能會影響運算速度。比較好的選擇是使用低分辨率圖像的平均值，用固定有效網(wǎng)格劃分所有低分辨率圖像來計算。每個在固定有效網(wǎng)格內的高分辨率像素是所有低分辨率像素的平均值堆棧得到的，相應于低解析度圖像輸入{厶}:1給出了一系列低解析度圖像{//":。如果尸W是正確的高解析度圖像，其模擬圖像[/TL:應與觀察到的低解析度圖像(/^乙一致。但由于現(xiàn)在實際有的只是初始猜測值FW，所以需要將求得的圖像差別(A-""二反饋到^w接收域，進而改進初始猜測值^，并產生新的高解析度圖像W"，迭代后向投影算法原理公式如下6,(")十+ix乂("("))個力其中F(一、尸(")分別為第+1次和第"次的迭代結果；//"、[7^(FW)W]h為第w次迭代后在模擬成像過程中得到的模擬觀察圖像；個為插值采樣，氺為降采樣，s為相應的倍數(shù)，因此，個s的含義是對矩陣進行s倍的插值采樣，丄s的含義是對矩陣進行s倍的降采樣，*為巻積符號；A是估計實際成像系統(tǒng)的傳輸函數(shù)即模糊算子，可以根據(jù)具體情況通過分析鏡頭、環(huán)境等因素先驗給出，也可以由當前圖像中的點目標或鋒利的邊緣等線目標的成像結果來估計，若無法估計，大多將采用均值濾波，一般半徑采用2，本發(fā)明采用的為半徑為2的均值濾波；P為反向投影核；即反向投影過程。該公式簡單說來就是將(Ai二經反向投影、插值采樣、逆幾何變換，最后將多幀平均值后作為每次/迭代的修正值反饋到接受域。模擬采樣據(jù)配準結果計算出目標圖像每個像素在當前圖像坐標柵格中的位置，然后進行雙線性插值，從而得到各像素的灰度值。這種方法可以實現(xiàn)亞像素的模擬采樣。之所以采用雙線性插值法是均衡了計算速度和模擬采樣精度要求之后的選擇。而迭代次數(shù)的確定是由公式(8)，使誤差最小，計算得出。在得到迭代后向投影結果后，還需要對其進行模糊估計，計算公式如下i^^,"""/z。需要注意的是當場景中有與背景有相對位移的物體時，則要首先進行圖像分割，將運動圖像與背景分開分別處理。實驗中選擇了背景差別盡量小的多幀步態(tài)圖像，以減少計算。圖3為超分辨率圖像恢復全流程。1.2迭代后向投影算法具體步驟本論文采用取樣因子s-2，最初猜測F(O)是通過采用雙線性插值對低解析度圖像采樣而得到的。用4-8幀低解析度步態(tài)圖像構成一個高解析度步態(tài)圖像，高解析度步態(tài)圖像由10次迭代構成。平時常用信息融合方法主要是平均和中值兩種方法，本文中使用的是平均的方法。高解析度步態(tài)圖像建立算法輸入觀察圖像{/^=1以及相應運動估計{附丄:輸出高解析度圖像(1)從迭代"=1開始，輸入源低解析度圖像/W;(2)采用低解析度圖像進行雙線性插值，獲得高解析度圖像的初始猜測W，(3)采用厶(")^T^(i^"))^)4^獲得對應的低解析度模擬圖像；(4)采用F("+"=十丄l]7^((C/;—//"))個p)獲得改進的高解析度圖像F(1);(5)之后"="+1,進行下一次的迭代；(6)如果wSW返回步驟(3),否則停止；整個計算步驟可用流程4來直觀地表示出來。有益效果實驗中采用了中國科學院自動化研究所提供CASIA步態(tài)數(shù)據(jù)庫中的DatasetA(小規(guī)模庫)數(shù)據(jù)。數(shù)據(jù)庫中含20個人的數(shù)據(jù)，每個人有12個圖像序列，3個行走方向(與圖像平面分別成O度，45度，90度)，每個方向有4個圖像序列。每個序列的長度隨人行走的速度變換而有所不同，每個序列的幀數(shù)介于37到127之間。整個數(shù)據(jù)庫包含13139幅圖像，大小約有2.2GB。本實驗使用的是hj文件夾中的002中的部分圖像。圖像原始分辨率為352x420，專門截取人臉部分的圖像分辨率為29x24，對步態(tài)圖像中的人臉部分進行實驗。圖4為采用8幀融合的超分辨率圖像恢復典型示例。圖5中(a)為恢復前的低分辨率步態(tài)人臉圖像，(b)為恢復后分辨率得到改進的步態(tài)人臉圖像。一方面從視覺直觀效果上來說，可以看出進行圖像恢復后，其圖像質量要明顯好于源圖像，分辨率顯著提高；另一方面本文采用二階積累量和圖像熵參數(shù)作為客觀標準來評價步態(tài)超分辨率圖像恢復效果。二階積累量計算公式為(=丄(S/W)-(S/"，力)2)(9)層:Q;這是簡化計算后的二階積累量公式，原理是將某像素點(2G+l)x(2g-l)鄰域擴展為整個圖像區(qū)域，其中M，N分別為圖像像素矩陣的行數(shù)和列數(shù)。圖像的恢復效果好，二階積累量大。圖像的熵H定義為//=-|^,1戦(10)其中L為圖像的總的灰度級，pi表示灰度值為i的像素數(shù)Di與圖像總像素數(shù)D之比，即(11)戶={/7。,/71,...,/7"}反映了圖像中具有不同灰度值像素的概率分布。熵值的大小表示圖像所包含的平均信息量的多少。熵值越大，說明圖像所含信息越多，圖像分辨率越高。表l為圖4的步態(tài)超分辨率圖像恢復效果評價。由表l中的數(shù)據(jù)可以看出，步態(tài)超分辨率恢復后的圖像二階積累量大于原始低分辨率步態(tài)圖像的二階積累量，說明步態(tài)超分辨率恢復后的圖像較原圖像細節(jié)變清晰了。圖像熵變大，說明恢復后的圖像分辨率有了很大提高；從主觀視覺效果也可以看出，恢復后的圖像明顯比源圖像清晰，實現(xiàn)了多幀圖像融合，從低解析度圖像融合得到高解析度圖像。在圖像恢復過程中實現(xiàn)了線性自適應正則，驗證了迭代圖像融合算法的計算方法和實現(xiàn)步驟，實現(xiàn)迭代后向投影的圖像融合方法，并對改進方法的有效計算實驗結果也證明了該算法的可行性，圖像各方面的指標也得到了很大的提高。8表1超分辨率圖像恢復效果評價<table>tableseeoriginaldocumentpage9</column></row><table>在實驗中我們證明了該算法對于歩態(tài)圖像的人臉部分有著很好的圖像恢復效果，因此我們可以預想該算法同樣可以應用于整幅步態(tài)圖像的圖像恢復，并有很好的實際效果。本發(fā)明提出提出一種新的步態(tài)識別圖象預處理方法，在不影響步態(tài)識別效果的前提下，能夠減少人體運動檢測過程的工作量。該項發(fā)明可為步態(tài)識別提供幫助，并獲得可觀的社會效益和經濟效益。最佳實施方案擬采用專利轉讓、技術合作或產品開發(fā)。權利要求1、一種步態(tài)識別中的超分辨率圖像恢復方法，其特征是，包括下列步驟運動估計求得原低分辨率步態(tài)圖像與多幅待融合步態(tài)圖像之間的圖像運動關系{mk}k＝1K，k代表第k幀圖像，K代表圖像總幀數(shù)；運用迭代后向投影算法進行處理給出一個高解析度圖像初始猜測值F(0)，即用固定有效網(wǎng)格劃分所有低分辨率圖像，每個在固定有效網(wǎng)格內的高分辨率像素由所有低分辨率像素的平均值堆棧得到；相應于低解析度圖像輸入{fk}k＝1K給出一系列低解析度模擬圖像{fk(0)}k＝1K；之后將求得的圖像差別{fk-fk(0)}k＝1K反饋到F(0)接收域；進而改進高解析度初始猜測值F(0)，產生新的模擬的高解析度圖像F(1)；之后重復該過程得到模擬的高解析度圖像F(n+1)，n為迭代次數(shù)。2、根據(jù)權利要求l所述的一種步態(tài)識別中的超分辨率圖像恢復方法，其特征是，迭代后向投影算法，包括下列具體步驟降采樣和幾何變換；后向投影；模糊估計；插值采樣和逆幾何變換。3、根據(jù)權利要求l所述的一種步態(tài)識別中的超分辨率圖像恢復方法，其特征是，迭代后向投影算法，包括下列具體步驟(1)從迭代"=1丌始，輸入源低解析度圖像/(()):(2)對低解析度圖像進行雙線性插值，獲得高解析度圖像初始猜測F^;(3)采用=(7^(FW"/z)丄s獲得低解析度的模擬圖像；(4)采用=,)+丄|;7^(((/4-//"))個")獲得高解析度的模擬圖像F(1);《t=l(5)之后"="+1，進行下一次的迭代；(6)如果W^W返回步驟(3)，否則停止；前式中厶為低解析度模擬圖像，//")為W次迭代后模擬觀察圖像亦為低解析度模擬圖像，F(xiàn)("")、F(")分別為第w+l次和第w次的迭代后產生的模擬的高解析度圖像，卞s和h分別為插值采樣和降采樣算子，s為相應的倍數(shù)，*為巻積符號，i為反向投影核，7^為逆幾何變換，//是估計實際成像系統(tǒng)的傳輸函數(shù)即模糊算子，AA為迭代次數(shù)。4、根據(jù)權利要求3所述的一種步態(tài)識別中的超分辨率圖像恢復方法，其特征是，迭代次數(shù)的確定是由如下公式，使誤差最小，計算得出全文摘要本發(fā)明涉及圖像融合、人體步態(tài)識別，尤其涉及步態(tài)識別中的超分辨率圖像恢復方法。為提供一種步態(tài)識別中的超分辨率圖像恢復方法，通過超分辨率圖像恢復來提高視頻序列圖像品質，大大減少背景圖像的變化干擾，從而降低運動人體檢測過程的計算工作量。本發(fā)明采用的技術方案是每次迭代時將當前步態(tài)圖像退化成低分辨率步態(tài)圖像，用退化的步態(tài)圖像與實測低分辨率步態(tài)圖像的誤差和模糊矩陣構成反向投影算子來估計下次的高分辨率步態(tài)圖像。即高質圖像(HR圖像)由模擬低質圖像(LR圖像)與觀測低質圖像(LR圖像)的誤差進行反向投影得到，這一過程不斷迭代，直到誤差量達到最小。本發(fā)明主要用于通過人體步態(tài)進行身份識別。文檔編號G06T7/20GK101551903SQ20091006879公開日2009年10月7日申請日期2009年5月11日優(yōu)先權日2009年5月11日發(fā)明者萬柏坤,琳孟,東明,程龍龍,綦宏志申請人:天津大學