專利名稱：結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體的說，涉及的是一種結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法。
背景技術(shù)：
廣泛發(fā)展和采用的電視會議、可視電話、網(wǎng)絡(luò)會議以及網(wǎng)絡(luò)遠(yuǎn)程教學(xué)，實(shí)時(shí)采集現(xiàn)場主講人員的圖像，再傳輸?shù)絽⑴c的遠(yuǎn)端，客觀需要系統(tǒng)自動跟蹤主講人員，并自動進(jìn)行變焦予以拉近拉遠(yuǎn)。通常，運(yùn)動目標(biāo)自動跟蹤系統(tǒng)基于圖像分析完成，由攝像頭、圖像采集卡、計(jì)算機(jī)、云臺和跟蹤軟件組成。攝像頭獲取視頻，經(jīng)圖像采集卡轉(zhuǎn)換為圖像，計(jì)算機(jī)上的跟蹤軟件進(jìn)行分析，給云臺發(fā)出轉(zhuǎn)動命令，實(shí)現(xiàn)對移動目標(biāo)的跟蹤。但是，當(dāng)運(yùn)動目標(biāo)離攝像頭較遠(yuǎn)時(shí)，不能較好地辨認(rèn)目標(biāo)，另一方面運(yùn)動目標(biāo)自動跟蹤系統(tǒng)要實(shí)現(xiàn)實(shí)時(shí)自動跟蹤，往往比較困難。主要原因有，自動跟蹤圖像處理算法的復(fù)雜度、計(jì)算工作量大，以及外界環(huán)境存在諸多變化如開燈關(guān)燈，容易造成系統(tǒng)判斷錯誤。世界上已有不少運(yùn)動目標(biāo)自動跟蹤的方法和系統(tǒng)。
經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，中國專利申請?zhí)枮镃N02142561.2的專利描述了一種不需要補(bǔ)償攝像機(jī)運(yùn)動的自動跟蹤移動目標(biāo)的設(shè)備和方法，該移動目標(biāo)跟蹤方法包括拍攝監(jiān)視區(qū)域；通過攝像單元獲得的輸入圖像信號產(chǎn)生二進(jìn)制干擾圖像信號；通過使用移動窗口，即使用預(yù)定尺寸的原始跟蹤窗并調(diào)節(jié)原始跟蹤窗的尺寸以使二進(jìn)制干擾圖像信號包含有移動目標(biāo)，可通過二進(jìn)制干擾圖像信號獲得有關(guān)移動目標(biāo)的信息；根據(jù)目前獲得的信息和以前獲得的有關(guān)移動目標(biāo)中心的信息估計(jì)移動目標(biāo)在下一幀中的中心位置，移動跟蹤窗的中心至估計(jì)的移動目標(biāo)移動到的中心位置，獲得跟蹤窗中的有關(guān)移動目標(biāo)的實(shí)際中心和移動窗尺寸的信息；而且，把有關(guān)移動目標(biāo)的實(shí)際信息與有關(guān)移動目標(biāo)的估計(jì)信息相比較，并根據(jù)由此產(chǎn)生的誤差范圍確定跟蹤狀態(tài)，有關(guān)移動目標(biāo)的實(shí)際信息通過下一幀獲得。該方法具有一定的優(yōu)點(diǎn)，但在對外界環(huán)境的適應(yīng)性、跟蹤的實(shí)時(shí)性方面或未作說明，或未作考慮。由于實(shí)時(shí)性和精確度的原因，運(yùn)動目標(biāo)跟蹤系統(tǒng)或方法還難以商業(yè)化。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)的不足，提供一種結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，使其不僅能夠?qū)崿F(xiàn)實(shí)時(shí)地跟蹤運(yùn)動人像目標(biāo)，自動進(jìn)行變焦，而且對外界環(huán)境有較好的適應(yīng)性。
本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，包括以下步驟A、圖像采集卡采集的圖像，在低空間分辨率級別，通過時(shí)域差分處理后，在自適應(yīng)閾值作用下，經(jīng)腐蝕運(yùn)算，得到二值化差分圖。
B、在該二值化差分圖中搜尋運(yùn)動人像目標(biāo)，若找到目標(biāo)則進(jìn)行下一步。若沒有搜尋到運(yùn)動人像目標(biāo)，則提高空間分辨率，計(jì)算所增加部分的二值化差分圖，再重新進(jìn)行搜尋。如果空間分辨率已為最高分辨率，則放棄本次計(jì)算。
C、根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域，進(jìn)行轉(zhuǎn)動和變焦控制，實(shí)現(xiàn)實(shí)時(shí)跟蹤和變焦。
所述的圖像采集卡采集的圖像，在低空間分辨率級別，即對圖像采集卡采集的圖像進(jìn)行空間抽樣，例如采集的寬640像素、高480像素圖像，在采樣間隔為3時(shí)，將成為寬160像素、高120像素的圖像。
所述的時(shí)域差分處理，即將前后時(shí)間點(diǎn)上采集的兩幅圖像，進(jìn)行對應(yīng)像素點(diǎn)的差。
所述的在自適應(yīng)閾值作用下，經(jīng)腐蝕運(yùn)算，得到二值化差分圖，是指用像素點(diǎn)能量的平均值作為閾值來進(jìn)行二值化，大于等于該閾值的像素點(diǎn)置為1，小于該閾值的像素點(diǎn)置為0。像素點(diǎn)能量，即該像素點(diǎn)紅、綠、藍(lán)分量的平方和。腐蝕運(yùn)算，即若該像素點(diǎn)所在3×3矩形窗內(nèi)的所有像素點(diǎn)都為1，則該像素點(diǎn)置為1，否則該像素點(diǎn)置為0。
所述的在該二值化差分圖中搜尋運(yùn)動人像目標(biāo)，是指首先將二值化差分圖分別向橫軸和縱軸進(jìn)行投影，找出各自的最大投影值，進(jìn)而找出各自的三分之一最大投影值的相距最遠(yuǎn)的兩個點(diǎn)，確定出運(yùn)動目標(biāo)的區(qū)域。再根據(jù)運(yùn)動人像先驗(yàn)知識，即人體高寬比范圍，判斷該運(yùn)動目標(biāo)是否為運(yùn)動人像目標(biāo)區(qū)域。
所述的若沒有搜尋到運(yùn)動人像目標(biāo)區(qū)域，則提高空間分辨率，計(jì)算所增加部分的二值化差分圖，再重新進(jìn)行搜尋，即減小采樣間隔，計(jì)算新增部分和重新搜索。例如采集的寬640像素、高480像素圖像，在采樣間隔為3時(shí)，將成為寬160像素、高120像素的圖像，在提高空間分辨率，減小采樣間隔到1時(shí)，將成為寬320像素、高240像素的圖像。因?yàn)閷?60像素、高120像素的部分已經(jīng)計(jì)算，只需計(jì)算新增部分的圖像差分。再在寬320像素、高240像素的二值化差分圖上，重新進(jìn)行B1步驟。
所述的如果空間分辨率已為最高分辨率，則放棄本次計(jì)算，即空間分辨率已為圖像采集的分辨率，則放棄本次計(jì)算，等待下次圖像采集。
所述的根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域，進(jìn)行轉(zhuǎn)動控制，是指對垂直方向利用當(dāng)前的運(yùn)動人像目標(biāo)區(qū)域信息，進(jìn)行垂直轉(zhuǎn)動控制；對水平方向根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域信息，進(jìn)行預(yù)測控制，即當(dāng)前和歷史人像目標(biāo)的運(yùn)動方向相同時(shí)，預(yù)測下一水平轉(zhuǎn)動量為兩倍當(dāng)前水平轉(zhuǎn)動量減去歷史水平轉(zhuǎn)動量，當(dāng)前和歷史人像目標(biāo)的運(yùn)動方向不相同時(shí)，則預(yù)測下一水平轉(zhuǎn)動量為零，最后用當(dāng)前水平轉(zhuǎn)動量和預(yù)測下一水平轉(zhuǎn)動量的和作為水平轉(zhuǎn)動控制量進(jìn)行水平轉(zhuǎn)動控制。
所述的根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域，進(jìn)行變焦控制，是指根據(jù)變焦模型和當(dāng)前、歷史運(yùn)動人像目標(biāo)區(qū)域，判斷進(jìn)行拉近還是拉遠(yuǎn)。變焦模型，即拉近的觸發(fā)條件為連續(xù)三次運(yùn)動人像目標(biāo)區(qū)域大小都小于六分之一的總圖像大小，并且連續(xù)三次運(yùn)動人像目標(biāo)區(qū)域大小在變小，或相差不大；拉遠(yuǎn)的觸發(fā)條件為連續(xù)兩次運(yùn)動人像目標(biāo)區(qū)域的垂直分量都大于三分之二的總圖像垂直分量。
本發(fā)明提出的結(jié)合時(shí)域差分和空域分級的方法，運(yùn)動人像自動跟蹤既具有時(shí)域差分“實(shí)現(xiàn)簡單”的特點(diǎn)，又通過空域分級獲得“實(shí)時(shí)處理”的性能，綜合當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域信息進(jìn)行轉(zhuǎn)動和變焦控制，能夠?qū)崟r(shí)地跟蹤運(yùn)動人像目標(biāo)，自動進(jìn)行變焦，通過采用像素點(diǎn)能量的平均值作為自適應(yīng)閾值的二值化處理以及腐蝕處理，對外界環(huán)境具有較好的適應(yīng)性。


圖1是本發(fā)明的邏輯結(jié)構(gòu)圖。
圖2是本發(fā)明中空域分級方法的示意圖其中，(a)為采集圖像的像素；(b)為采樣間隔為3時(shí)的圖像像素點(diǎn)；(c)為采樣間隔為1時(shí)的圖像像素點(diǎn)；(d)為采樣間隔為0時(shí)的圖像像素點(diǎn)。
圖3是本發(fā)明中運(yùn)動人像目標(biāo)搜尋的示意圖其中，(a)為二值化差分圖像；(b)為縱軸方向投影；(c)為橫軸方向投影。
具體實(shí)施例方式
以下結(jié)合附圖以及本發(fā)明技術(shù)方案提供實(shí)施例如圖1所示，攝像頭獲取視頻，經(jīng)圖像采集轉(zhuǎn)換為圖像，并轉(zhuǎn)換到低空間分辨率級別，即對圖像進(jìn)行空間抽樣，例如采集的寬640像素、高480像素圖像，在采樣間隔為3時(shí)，成為寬160像素、高120像素的圖像。對低空間分辨率的圖像，進(jìn)行時(shí)域差分處理，即將前后時(shí)間點(diǎn)上采集的兩幅圖像，進(jìn)行對應(yīng)像素點(diǎn)的差。在自適應(yīng)閾值的作用下，即用像素點(diǎn)能量的平均值作為閾值來進(jìn)行二值化，大于等于該閾值的像素點(diǎn)置為1，小于該閾值的像素點(diǎn)置為0。像素點(diǎn)能量，即該像素點(diǎn)紅、綠、藍(lán)分量的平方和。再經(jīng)腐蝕運(yùn)算，即若該像素點(diǎn)所在3×3矩形窗內(nèi)的所有像素點(diǎn)都為1，則該像素點(diǎn)置為1，否則該像素點(diǎn)置為0，得到二值化差分圖。在該二值化差分圖中搜尋運(yùn)動人像目標(biāo)，確定出運(yùn)動目標(biāo)的區(qū)域，運(yùn)動人像目標(biāo)搜尋示意如圖3所示。再根據(jù)運(yùn)動人像先驗(yàn)知識，即人體高寬比范圍，判斷該運(yùn)動目標(biāo)是否為運(yùn)動人像目標(biāo)區(qū)域。若沒有搜尋到運(yùn)動人像目標(biāo)區(qū)域，則提高空間分辨率，計(jì)算所增加部分的二值化差分圖，再重新進(jìn)行搜尋運(yùn)動人像目標(biāo)，空域分級方法如圖2所示。如果空間分辨率已為圖像采集的分辨率，則放棄本次計(jì)算，等待下次圖像采集。根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域，進(jìn)行轉(zhuǎn)動和變焦控制，實(shí)現(xiàn)實(shí)時(shí)跟蹤和變焦。垂直方向利用當(dāng)前的運(yùn)動人像目標(biāo)區(qū)域信息，進(jìn)行垂直轉(zhuǎn)動控制，水平轉(zhuǎn)動控制量計(jì)算示意如表1所示。變焦控制，根據(jù)變焦模型和當(dāng)前、歷史運(yùn)動人像目標(biāo)區(qū)域，判斷進(jìn)行拉近還是拉遠(yuǎn)。變焦模型，即拉近的觸發(fā)條件為連續(xù)三次運(yùn)動人像目標(biāo)區(qū)域大小都小于六分之一的總圖像大小，并且連續(xù)三次運(yùn)動人像目標(biāo)區(qū)域大小在變小，或相差不大；拉遠(yuǎn)的觸發(fā)條件為連續(xù)兩次運(yùn)動人像目標(biāo)區(qū)域的垂直分量都大于三分之二的總圖像垂直分量。
如圖2所示，(a)為采集圖像的像素；(b)為采樣間隔為3時(shí)的圖像像素點(diǎn)；(c)為采樣間隔為1時(shí)的圖像像素點(diǎn)；(d)為采樣間隔為0時(shí)的圖像像素點(diǎn)。采集的寬5像素、高5像素圖像，在采樣間隔為3時(shí)，將成為寬2像素、高2像素的低空間分辨率圖像，在提高空間分辨率，減小采樣間隔到1時(shí)，將成為寬3像素、高3像素的中空間分辨率圖像。因?yàn)橹锌臻g分辨率圖像包含低空間分辨率圖像，其新增部分圖像的像素點(diǎn)為5個。如果繼續(xù)提高空間分辨率，減小采樣間隔到0時(shí)，將成為寬5像素、高5像素的高空間分辨率圖像。因?yàn)楦呖臻g分辨率圖像包含中空間分辨率圖像，其新增部分圖像的像素點(diǎn)為16個。
如圖3所示，(a)為二值化差分圖像；(b)為縱軸方向投影；(c)為橫軸方向投影。將二值化差分圖分別向橫軸和縱軸進(jìn)行投影，找出各自的最大投影值。投影，即統(tǒng)計(jì)某軸坐標(biāo)上的二值化差分圖中像素點(diǎn)為1的個數(shù)。進(jìn)而找出各自的三分之一最大投影值的相距最遠(yuǎn)的兩個點(diǎn)，確定出運(yùn)動目標(biāo)的區(qū)域。再根據(jù)運(yùn)動人像先驗(yàn)知識，即人體高寬比范圍，判斷該運(yùn)動目標(biāo)是否為運(yùn)動人像目標(biāo)區(qū)域。
在表1中，當(dāng)前和歷史人像目標(biāo)的運(yùn)動方向相同時(shí)，預(yù)測下一水平轉(zhuǎn)動量為兩倍當(dāng)前水平轉(zhuǎn)動量減去歷史水平轉(zhuǎn)動量，當(dāng)前和歷史人像目標(biāo)的運(yùn)動方向不相同時(shí)，則預(yù)測下一水平轉(zhuǎn)動量為零。再用當(dāng)前水平轉(zhuǎn)動量和預(yù)測下一水平轉(zhuǎn)動量的和作為水平轉(zhuǎn)動控制量進(jìn)行水平轉(zhuǎn)動控制。
表1

權(quán)利要求
1.一種結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征在于，包括以下步驟A、圖像采集卡采集的圖像，在低空間分辨率級別，通過時(shí)域差分處理后，在自適應(yīng)閾值作用下，經(jīng)腐蝕運(yùn)算，得到二值化差分圖；B、在該二值化差分圖中搜尋運(yùn)動人像目標(biāo)，若找到目標(biāo)則進(jìn)行下一步；若沒有搜尋到運(yùn)動人像目標(biāo)，則提高空間分辨率，計(jì)算所增加部分的二值化差分圖，再重新進(jìn)行搜尋，如果空間分辨率已為最高分辨率，則放棄本次計(jì)算；C、根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域，進(jìn)行轉(zhuǎn)動和變焦控制，實(shí)現(xiàn)實(shí)時(shí)跟蹤和變焦。
2.根據(jù)權(quán)利要求1所述的結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征是，所述的圖像采集卡采集的圖像，在低空間分辨率級別，即對圖像采集卡采集的圖像進(jìn)行空間抽樣。
3.根據(jù)權(quán)利要求1所述的結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征是，所述的時(shí)域差分處理，即將前后時(shí)間點(diǎn)上采集的兩幅圖像，進(jìn)行對應(yīng)像素點(diǎn)的差。
4.根據(jù)權(quán)利要求1所述的結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征是，所述的在自適應(yīng)閾值作用下，經(jīng)腐蝕運(yùn)算，得到二值化差分圖，是指用像素點(diǎn)能量的平均值作為閾值來進(jìn)行二值化，大于等于該閾值的像素點(diǎn)置為1，小于該閾值的像素點(diǎn)置為0。
5.根據(jù)權(quán)利要求4所述的結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征是，所述的像素點(diǎn)能量，即該像素點(diǎn)紅、綠、藍(lán)分量的平方和。
6.根據(jù)權(quán)利要求1所述的結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征是，所述的在該二值化差分圖中搜尋運(yùn)動人像目標(biāo)，是指首先將二值化差分圖分別向橫軸和縱軸進(jìn)行投影，找出各自的最大投影值，進(jìn)而找出各自的三分之一最大投影值的相距最遠(yuǎn)的兩個點(diǎn)，確定出運(yùn)動目標(biāo)的區(qū)域，再根據(jù)人體高寬比范圍，判斷該運(yùn)動目標(biāo)是否為運(yùn)動人像目標(biāo)區(qū)域。
7.根據(jù)權(quán)利要求1所述的結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征是，所述的如果空間分辨率已為最高分辨率，則放棄本次計(jì)算，即空間分辨率已為圖像采集的分辨率，則放棄本次計(jì)算，等待下次圖像采集。
8.根據(jù)權(quán)利要求1所述的結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征是，所述的根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域，進(jìn)行轉(zhuǎn)動控制，是指對垂直方向利用當(dāng)前的運(yùn)動人像目標(biāo)區(qū)域信息，進(jìn)行垂直轉(zhuǎn)動控制；對水平方向根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域信息，進(jìn)行預(yù)測控制，即當(dāng)前和歷史人像目標(biāo)的運(yùn)動方向相同時(shí)，預(yù)測下一水平轉(zhuǎn)動量為兩倍當(dāng)前水平轉(zhuǎn)動量減去歷史水平轉(zhuǎn)動量，當(dāng)前和歷史人像目標(biāo)的運(yùn)動方向相反時(shí)，則預(yù)測下一水平轉(zhuǎn)動量為零，最后用當(dāng)前水平轉(zhuǎn)動量和預(yù)測下一水平轉(zhuǎn)動量的和作為水平轉(zhuǎn)動控制量進(jìn)行水平轉(zhuǎn)動控制。
9.根據(jù)權(quán)利要求1所述的結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，其特征是，所述的根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域，進(jìn)行變焦控制，是指根據(jù)變焦模型和當(dāng)前、歷史運(yùn)動人像目標(biāo)區(qū)域，判斷進(jìn)行拉近還是拉遠(yuǎn)，拉近的觸發(fā)條件為連續(xù)三次運(yùn)動人像目標(biāo)區(qū)域大小都小于六分之一的總圖像大小，并且連續(xù)三次運(yùn)動人像目標(biāo)區(qū)域大小在變小，或目標(biāo)區(qū)域大小的比率在閾值范圍內(nèi)，如
；拉遠(yuǎn)的觸發(fā)條件為連續(xù)兩次運(yùn)動人像目標(biāo)區(qū)域的垂直分量都大于三分之二的總圖像垂直分量。
全文摘要
一種結(jié)合時(shí)域差分和空域分級的運(yùn)動人像實(shí)時(shí)自動跟蹤方法，屬于圖像處理技術(shù)領(lǐng)域。本發(fā)明包括以下步驟A.圖像采集卡采集的圖像，在低空間分辨率級別，通過時(shí)域差分處理后，在自適應(yīng)閾值作用下，經(jīng)腐蝕運(yùn)算，得到二值化差分圖；B.在該二值化差分圖中搜尋運(yùn)動人像目標(biāo)，若找到目標(biāo)則進(jìn)行下一步；若沒有搜尋到運(yùn)動人像目標(biāo)，則提高空間分辨率，計(jì)算所增加部分的二值化差分圖，再重新進(jìn)行搜尋，如果空間分辨率已為最高分辨率，則放棄本次計(jì)算；C.根據(jù)當(dāng)前和歷史的運(yùn)動人像目標(biāo)區(qū)域，進(jìn)行轉(zhuǎn)動和變焦控制，實(shí)現(xiàn)實(shí)時(shí)跟蹤和變焦。本發(fā)明能夠?qū)崟r(shí)地跟蹤運(yùn)動人像目標(biāo)，自動進(jìn)行變焦，而且對外界環(huán)境有較好的適應(yīng)性。
文檔編號G06T7/20GK1808498SQ20061002407
公開日2006年7月26日 申請日期2006年2月23日 優(yōu)先權(quán)日2006年2月23日
發(fā)明者陳剛, 申瑞民, 王加俊, 曾義, 童任 申請人:上海交通大學(xué)