專利名稱：物體檢測(cè)方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及圖像和視頻處理，具體地，涉及圖像和視頻的物體檢測(cè)方法和
直O(jiān)
背景技術(shù)：
精確的物體檢測(cè)技術(shù)諸如人檢測(cè)技術(shù)是多類(lèi)視頻應(yīng)用的基石，例如視頻會(huì)議系統(tǒng)，智能交通系統(tǒng)，多媒體監(jiān)控系統(tǒng)等。以物體檢測(cè)中的人檢測(cè)為例，目前已經(jīng)研究和開(kāi)發(fā)了多種人檢測(cè)技術(shù)，例如人臉檢測(cè)，膚色檢測(cè)，頭檢測(cè)，運(yùn)動(dòng)對(duì)象檢測(cè)，上半身檢測(cè)等。但對(duì)于一般應(yīng)用場(chǎng)景，例如視頻會(huì)議室，辦公室，零售商店，戶外場(chǎng)景等，僅使用某一種檢測(cè)技術(shù)很難達(dá)到高的檢測(cè)精度。對(duì)于人臉檢測(cè)，光照和人臉角度對(duì)檢測(cè)精度影響大；對(duì)于膚色檢測(cè)，光照狀況和復(fù)雜環(huán)境的顏色分布對(duì)檢測(cè)精度影響大；對(duì)于運(yùn)動(dòng)對(duì)象檢測(cè)，陰影、遮擋、粘連等問(wèn)題將影響檢測(cè)精度。因此，基于多模式的人檢測(cè)方法開(kāi)始被關(guān)注。專利US6639998 Bl提出了一種在圖像中檢測(cè)指定對(duì)象的方法。首先，使用對(duì)象的一般特征從圖像或幀中檢測(cè)對(duì)象；然后，在后續(xù)的圖像或幀中使用對(duì)象相關(guān)的同樣或類(lèi)似特征檢測(cè)對(duì)象；同時(shí)，當(dāng)檢測(cè)到多個(gè)對(duì)象或者對(duì)象的局部時(shí)，確定指定對(duì)象的全部顏色范圍，使用全部顏色范圍中的部分顏色范圍段來(lái)檢測(cè)對(duì)象。該專利僅使用相似的特征如始終用顏色(僅顏色范圍不同)來(lái)進(jìn)行后續(xù)圖像或幀中對(duì)象的檢測(cè)，沒(méi)有使用其他特征來(lái)驗(yàn)證結(jié)果。其檢測(cè)結(jié)果的誤檢率較高。專利文獻(xiàn)US20080008360 Al提出了一種在指定區(qū)域內(nèi)計(jì)數(shù)人的方法和系統(tǒng)。該系統(tǒng)包括一個(gè)攝像機(jī)來(lái)獲取指定區(qū)域的圖像，還包括一臺(tái)計(jì)算機(jī)來(lái)接收采集的圖像。計(jì)算機(jī)通過(guò)檢測(cè)頭和人臉的形狀來(lái)檢測(cè)圖像中的人，通過(guò)計(jì)數(shù)檢測(cè)到的頭或者臉形狀的個(gè)數(shù)來(lái)確定指定區(qū)域中人的數(shù)量。計(jì)算機(jī)通過(guò)判別檢測(cè)到得頭部或者臉部區(qū)域的顏色是否類(lèi)似于膚色來(lái)確定其是否是人。該方法使用了膚色來(lái)驗(yàn)證人臉和頭部的檢測(cè)結(jié)果，但是由于顏色檢測(cè)的穩(wěn)定性較差，易于引起誤檢；同時(shí)，考慮到人臉和頭的角度等問(wèn)題，該方法的檢測(cè)精度和穩(wěn)定性不高。專利文獻(xiàn)W020070^904A2提出了一種感興趣區(qū)域視頻對(duì)象分割的方法。感興趣區(qū)域可以是人臉、頭部、肩部等區(qū)域。該方法組合了感興趣區(qū)域特征檢測(cè)，區(qū)域分割和背景減除。其提供精確地前景對(duì)象生成和低復(fù)雜度地前景對(duì)象提取。該方法首先檢測(cè)前景；其次，在前景內(nèi)部使用膚色檢測(cè)人臉；然后在檢測(cè)到的人臉內(nèi)部檢測(cè)眼睛和嘴；最后利用雙眼的對(duì)稱性或嘴眼睛三級(jí)性的方向來(lái)驗(yàn)證是否是人臉。該方法使用膚色檢測(cè)人臉會(huì)導(dǎo)致誤檢率較高，同時(shí)其使用多模式信息僅進(jìn)行與運(yùn)算的驗(yàn)證，例如只有當(dāng)同時(shí)檢測(cè)出臉和頭時(shí)， 才確認(rèn)是人臉，會(huì)導(dǎo)致檢測(cè)精度的下降。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，一種檢測(cè)視頻中預(yù)定物體的物體檢測(cè)方法，包括獲取通過(guò)各種物體檢測(cè)方法對(duì)當(dāng)前幀中的預(yù)定物體的整體或者部分進(jìn)行檢測(cè)所獲得的各種檢測(cè)結(jié)果；根據(jù)每種檢測(cè)方法的預(yù)定檢測(cè)精度，設(shè)定與該種檢測(cè)方法對(duì)應(yīng)的檢測(cè)結(jié)果的初始概率；基于包含當(dāng)前幀的多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果，計(jì)算運(yùn)動(dòng)頻度分布圖，該運(yùn)動(dòng)頻度分布圖表明當(dāng)前幀圖像中各像素的運(yùn)動(dòng)頻度；根據(jù)運(yùn)動(dòng)頻度分布圖過(guò)濾在先幀中所檢測(cè)出的物體， 以得到過(guò)濾后的在先幀檢測(cè)結(jié)果；根據(jù)各種檢測(cè)結(jié)果和所述過(guò)濾后的在先幀檢測(cè)結(jié)果的交疊，更新各種檢測(cè)結(jié)果的概率；以及根據(jù)各種檢測(cè)結(jié)果的概率，確定檢測(cè)出的最后物體列表。根據(jù)本發(fā)明的另一方面，提供了一種檢測(cè)視頻中預(yù)定物體的物體檢測(cè)裝置，可以包括檢測(cè)結(jié)果獲取部件，用于獲取通過(guò)各種物體檢測(cè)方法對(duì)當(dāng)前幀中的預(yù)定物體的整體或者部分進(jìn)行檢測(cè)所獲得的各種檢測(cè)結(jié)果；初始概率設(shè)置部件，用于根據(jù)每種檢測(cè)方法的預(yù)定檢測(cè)精度，設(shè)定與該種檢測(cè)方法對(duì)應(yīng)的檢測(cè)結(jié)果的初始概率；運(yùn)動(dòng)頻度分布圖計(jì)算部件，用于基于包含當(dāng)前幀的多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果，計(jì)算運(yùn)動(dòng)頻度分布圖，該運(yùn)動(dòng)頻度分布圖表明當(dāng)前幀圖像中各像素的運(yùn)動(dòng)頻度；在先幀檢測(cè)結(jié)果過(guò)濾部件，用于根據(jù)運(yùn)動(dòng)頻度分布圖過(guò)濾在先幀中所檢測(cè)出的物體，以得到過(guò)濾后的在先幀檢測(cè)結(jié)果；時(shí)空交疊更新部件， 用于根據(jù)各種檢測(cè)結(jié)果和所述過(guò)濾后的在先幀檢測(cè)結(jié)果的交疊，更新各種檢測(cè)結(jié)果的概率；以及物體列表確定部件，用于根據(jù)各種檢測(cè)結(jié)果的概率，確定檢測(cè)出的最后物體列表。利用本發(fā)明的物體檢測(cè)方法和裝置，以概率來(lái)表征檢測(cè)正確的可能性，并根據(jù)不同檢測(cè)方法的檢測(cè)結(jié)果的交疊情況來(lái)更新有關(guān)概率，具有更強(qiáng)的靈活性，更綜合地考慮了各檢測(cè)結(jié)果，可以提高檢測(cè)精度，降低誤檢率。


圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的物體檢測(cè)方法的整體流程圖；圖2是根據(jù)本發(fā)明另一實(shí)施例的以人檢測(cè)為例的人檢測(cè)方法的整體流程圖；圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于統(tǒng)計(jì)計(jì)算的知識(shí)庫(kù)構(gòu)建的流程圖；圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于知識(shí)庫(kù)設(shè)定各種檢測(cè)結(jié)果初始概率的流程圖；圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的、根據(jù)各種檢測(cè)結(jié)果在空域的交疊情況更新各種檢測(cè)結(jié)果概率的流程圖；圖6是根據(jù)本發(fā)明一個(gè)實(shí)施例的、基于運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果計(jì)算當(dāng)前幀的運(yùn)動(dòng)頻度分布圖的流程圖；圖7是根據(jù)本發(fā)明一個(gè)實(shí)施例的、根據(jù)當(dāng)前幀的運(yùn)動(dòng)頻度分布圖過(guò)濾歷史人區(qū)域列表的流程圖；圖8是根據(jù)本發(fā)明一個(gè)實(shí)施例的、根據(jù)空域各種檢測(cè)結(jié)果同時(shí)域歷史人區(qū)域列表的交疊情況修正各類(lèi)檢測(cè)結(jié)果概率的流程圖；圖9是根據(jù)本發(fā)明一個(gè)實(shí)施例的、根據(jù)各類(lèi)檢測(cè)結(jié)果的最終概率以及預(yù)定義的規(guī)則確定最終的人區(qū)域列表的流程圖；圖10是根據(jù)本發(fā)明一個(gè)實(shí)施例的物體檢測(cè)裝置的示意性框圖；以及圖11是根據(jù)本發(fā)明一個(gè)實(shí)施例的可以實(shí)踐本發(fā)明的示例性計(jì)算機(jī)系統(tǒng)。
具體實(shí)施例方式為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。在進(jìn)行更詳細(xì)的實(shí)施例描述之前，為便于理解和閱讀，首先概述一下本發(fā)明的思想與現(xiàn)有技術(shù)不同，不是以全盤(pán)否定和全盤(pán)接受的方式來(lái)判斷某種檢測(cè)方法的檢測(cè)結(jié)果， 本發(fā)明引入概率來(lái)表征該檢測(cè)方法的檢測(cè)結(jié)果正確的可能性；而且，考慮到對(duì)于視頻而言， 歷史檢測(cè)結(jié)果，例如對(duì)0. 1秒前的幀的檢測(cè)結(jié)果對(duì)于當(dāng)前幀的檢測(cè)可以提供幫助信息，因此考察當(dāng)前幀的檢測(cè)結(jié)果與歷史幀的檢測(cè)結(jié)果的交疊情況，對(duì)于交疊的個(gè)體檢測(cè)結(jié)果，應(yīng)該提升該當(dāng)前幀的個(gè)體檢測(cè)結(jié)果的概率；在得到各種檢測(cè)結(jié)果中的各個(gè)檢測(cè)結(jié)果的概率之后，確定最終檢測(cè)出的物體列表。而且，在利用歷史幀的檢測(cè)結(jié)果時(shí)，不是對(duì)所檢測(cè)出的各個(gè)物體不加區(qū)別地采用，而是考慮到時(shí)間上某個(gè)體物體區(qū)域的整體運(yùn)動(dòng)頻度，如果其運(yùn)動(dòng)頻度很大，則歷史幀上個(gè)體檢測(cè)結(jié)果的存在可能并不能為當(dāng)前幀的檢測(cè)結(jié)果的核查提供幫助，因此考慮把這樣的歷史幀中的個(gè)體檢測(cè)結(jié)果從檢測(cè)結(jié)果中去除。在后續(xù)的描述中，為了表述方便，常常以人作為檢測(cè)物體的示例來(lái)加以描述。不過(guò)，這僅是示例性的，任何活體或者可能動(dòng)的物體都可以作為本發(fā)明的檢測(cè)對(duì)象。圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的物體檢測(cè)方法100的整體流程圖。如圖1所示，物體檢測(cè)方法100可以包括檢測(cè)結(jié)果獲得步驟S110、初始概率設(shè)置步驟S120、運(yùn)動(dòng)頻度分布圖計(jì)算步驟S130、在先幀檢測(cè)結(jié)果過(guò)濾步驟S140、概率更新步驟 S150、物體檢測(cè)列表確定步驟S160。下面對(duì)各步驟進(jìn)行具體說(shuō)明。在步驟S110，獲取通過(guò)各種物體檢測(cè)方法對(duì)當(dāng)前幀中的預(yù)定物體的整體或者部分進(jìn)行檢測(cè)所獲得的各種檢測(cè)結(jié)果。從是基于多幀間運(yùn)動(dòng)對(duì)象來(lái)檢測(cè)還是僅僅基于單幀靜止圖像來(lái)檢測(cè)的角度，所述各種物體檢測(cè)方法可以分為運(yùn)動(dòng)對(duì)象檢測(cè)方法和其他物體檢測(cè)方法。運(yùn)動(dòng)對(duì)象檢測(cè)一般指從一段視頻中提取出運(yùn)動(dòng)物體，常用的方法有背景差分法、 相鄰幀差法和光流法，這些是本領(lǐng)域公知的技術(shù)。背景差分法的關(guān)鍵在于建立精準(zhǔn)的背景模型并隨著場(chǎng)景的變化實(shí)時(shí)更新。在背景模型的建立中，基于統(tǒng)計(jì)的背景建模法能比較準(zhǔn)確地模擬真實(shí)場(chǎng)景，提取出較完整的運(yùn)動(dòng)對(duì)象。相鄰幀差法實(shí)時(shí)性好且對(duì)動(dòng)態(tài)場(chǎng)景具有魯棒性，但其不適合于檢測(cè)大的運(yùn)動(dòng)緩慢的物體。光流法在不需要背景區(qū)域的任何先驗(yàn)知識(shí)條件下就能夠?qū)崿F(xiàn)對(duì)運(yùn)動(dòng)對(duì)象的檢測(cè)和跟蹤，但其計(jì)算了大對(duì)噪聲比較敏感?？梢愿鶕?jù)需求來(lái)選擇適當(dāng)?shù)倪\(yùn)動(dòng)對(duì)象檢測(cè)方法。另外，基于多個(gè)混合高斯的背景建模法既可以檢測(cè)出運(yùn)動(dòng)對(duì)象也可以部分地檢測(cè)出臨時(shí)靜止的對(duì)象。其他檢測(cè)方法是指除上述運(yùn)動(dòng)對(duì)象檢測(cè)方法外以單幀圖像為處理對(duì)象的其他的任意與物體相關(guān)的檢測(cè)方法。例如，以各種人檢測(cè)方法為例，按照對(duì)人體的部位檢測(cè)，可以分為人臉檢測(cè)、頭部檢測(cè)、上半身檢測(cè)、全身檢測(cè)、膚色檢測(cè)等；按照具體所采用的算法，則可分為特征空間算法、神經(jīng)網(wǎng)絡(luò)算法、Adaboost算法、決策樹(shù)算法等等。這些物體的各部分的檢測(cè)方法和具體各類(lèi)算法以及其組合都可以作為本發(fā)明實(shí)施例中的其他檢測(cè)方法，比如對(duì)人臉的特征臉?biāo)惴ǎ瑢?duì)人臉的Adaboost算法、對(duì)人臉的決策樹(shù)算法、對(duì)頭部的特征空間算法、對(duì)頭部的Adaboost算法、對(duì)頭部的決策樹(shù)算法等等。物體檢測(cè)結(jié)果為在當(dāng)前幀中所檢測(cè)到的一個(gè)或多個(gè)物體的整體或部分的列表，一
6個(gè)物體的整體或部分可以用包含該物體的整體或部分的最小矩形區(qū)域來(lái)表征，具體地，例如可以用該矩形區(qū)域的左上角的坐標(biāo)和右下角的坐標(biāo)來(lái)表示。例如，對(duì)于人臉，可以利用包圍人臉的矩形框的左上角的坐標(biāo)和右下角的坐標(biāo)來(lái)表征。當(dāng)然，也可以以其他形式，例如橢圓或者圓形來(lái)表征。例如，如果從一幀圖像中檢測(cè)出3個(gè)人，可以用(XMy1^Xmylli), (x%， y2L ；χ2Ε, y2E)，(x3L' y3L ；χ3Κ，y3E)}這樣的列表來(lái)表示這樣的檢測(cè)結(jié)果。在步驟S120，根據(jù)每種檢測(cè)方法的預(yù)定檢測(cè)精度，設(shè)定與該種檢測(cè)方法對(duì)應(yīng)的檢
測(cè)結(jié)果的初始概率。檢測(cè)方法的檢測(cè)精度，例如可以定義為WOZ)= ^^^ROD表示檢測(cè)
h λ- γ
精度，H(hit)表示正確的檢測(cè)結(jié)果的數(shù)量，F(xiàn)(false)表示錯(cuò)誤的檢測(cè)結(jié)果的數(shù)量，H+F即為總的檢測(cè)結(jié)果的數(shù)量。此外，檢測(cè)精度還可以考慮定義為檢出率。檢出率即所有物體中被正確檢出的數(shù)量占所有物體的數(shù)量比率。某檢測(cè)結(jié)果的初始概率表示該檢測(cè)結(jié)果正確的可能性，例如，某頭檢測(cè)方法的初始概率可表示為P(人I頭)，意思是在該檢測(cè)方法檢測(cè)出頭的情況下該物體確實(shí)是人的可能性。這里，各種檢測(cè)方法的預(yù)定檢測(cè)精度可以是預(yù)先通過(guò)統(tǒng)計(jì)計(jì)算獲得并且存儲(chǔ)于知識(shí)庫(kù)中的，不過(guò)也可以通過(guò)自適應(yīng)學(xué)習(xí)而獲得，或者根據(jù)經(jīng)驗(yàn)設(shè)置。后面將參考圖3描述知識(shí)庫(kù)的示例性構(gòu)建方法。此外，后面將參考圖4說(shuō)明如何利用該構(gòu)建的知識(shí)庫(kù)來(lái)設(shè)定各種檢測(cè)方法所獲得的各種檢測(cè)結(jié)果的初始概率。在步驟S130，基于包含當(dāng)前幀的多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果計(jì)算運(yùn)動(dòng)頻度分布圖，該運(yùn)動(dòng)頻度分布圖表明當(dāng)前幀圖像中各像素的運(yùn)動(dòng)頻度。需要說(shuō)明的是，這里的多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果可以利用任何運(yùn)動(dòng)對(duì)象檢測(cè)方法來(lái)獲得，該任何檢測(cè)方法可以與上述步驟SllO 和S120中涉及的各種檢測(cè)結(jié)果相關(guān)的各種檢測(cè)方法是獨(dú)立的，或者也可以為上述各種檢測(cè)方法中的一部分。后面將參考圖6對(duì)如何計(jì)算運(yùn)動(dòng)頻度分布圖進(jìn)行示例性說(shuō)明。在步驟S140，根據(jù)步驟S130中計(jì)算得到的運(yùn)動(dòng)頻度分布圖過(guò)濾在先幀中所檢測(cè)出的物體，以得到過(guò)濾后的在先幀檢測(cè)結(jié)果。后面將參考圖7對(duì)如何利用運(yùn)動(dòng)頻度分布圖來(lái)對(duì)在先幀的檢測(cè)結(jié)果進(jìn)行過(guò)濾給出示例性描述。在步驟S150，根據(jù)各種檢測(cè)結(jié)果和所述過(guò)濾后的在先幀檢測(cè)結(jié)果的交疊，更新各種檢測(cè)結(jié)果的概率，后面將參考圖8就具體如何執(zhí)行此步驟加以舉例說(shuō)明。在步驟S160，根據(jù)各種檢測(cè)結(jié)果的概率，確定檢測(cè)出的最后物體列表，后面將參考圖9給出執(zhí)行該步驟的一個(gè)示例。該最后的物體檢測(cè)結(jié)果既可以直接在顯示器上顯示，也可以存儲(chǔ)，以及可以發(fā)送給在先幀檢測(cè)結(jié)果數(shù)據(jù)庫(kù)作為最新的在先幀檢測(cè)結(jié)果。此外，還可以包括根據(jù)與應(yīng)用相關(guān)而定義的去除噪聲的規(guī)則來(lái)去除最后物體列表中的作為噪聲的物體。預(yù)定義規(guī)則是指與應(yīng)用相關(guān)而定義的去除噪聲的規(guī)則。例如，在人檢測(cè)的情況下，在視頻會(huì)議場(chǎng)景中，人出現(xiàn)在視頻底部區(qū)域的可能性非常低，可設(shè)計(jì)規(guī)則去除視頻底部區(qū)域中的檢測(cè)結(jié)果，如去除在椅子面下的所檢測(cè)出的人。顯然，預(yù)定義的規(guī)則同樣也可以用于去除各種檢測(cè)結(jié)果，例如步驟SllO中的各種檢測(cè)結(jié)果。圖2示出了根據(jù)本發(fā)明另一實(shí)施例的以人檢測(cè)為例的檢測(cè)方法的整體流程圖。圖2中除了示出各個(gè)步驟外，為易于理解，還以平行四邊形的形式示出了有關(guān)步驟涉及的數(shù)據(jù)，例如作為各種檢測(cè)結(jié)果的運(yùn)動(dòng)對(duì)象列表201、人臉列表202、頭列表203、其他列表204 ；以及在設(shè)置概率以及更新概率的操作中需要參考的知識(shí)庫(kù)205、作為最后結(jié)果的人區(qū)域列表206、供后續(xù)檢測(cè)使用的歷史人區(qū)域列表207。人檢測(cè)方法200中的步驟S210、S220、S230、S240、S250、S260與圖1所示的物體檢測(cè)方法100中的步驟S110、S120、S130、S140、S150、S160類(lèi)似，其區(qū)別僅在于，在圖2中，
要檢測(cè)的物體是人。因此，不再重復(fù)敘述。人檢測(cè)方法200與物體檢測(cè)方法100的不同在于增加了步驟S270。步驟S270根據(jù)當(dāng)前幀的各種檢測(cè)結(jié)果之間的交疊情況來(lái)更新各種檢測(cè)結(jié)果的概率，例如如果對(duì)于當(dāng)前幀圖像，人臉檢測(cè)列表202中的一個(gè)人臉a與頭檢測(cè)列表203中的一個(gè)頭b交疊，則這通常暗示這里存在一個(gè)人的可能性很高，因此，應(yīng)該提升人臉檢測(cè)列表202中人臉a的正確概率和頭b的正確概率。后面將參考圖5示例性地對(duì)該步驟S270進(jìn)一步進(jìn)行具體說(shuō)明。需要說(shuō)明的是，在圖2中，步驟S270被示出在處理當(dāng)前幀檢測(cè)與歷史幀檢測(cè)的交疊的步驟S250之前，不過(guò)，這并不表示限定為步驟S270的操作必須在步驟S250之前執(zhí)行， 相反，步驟S270當(dāng)然可以在步驟S250之后進(jìn)行。圖2所示的示例性方法既考慮當(dāng)前幀的檢測(cè)結(jié)果與歷史幀的檢測(cè)結(jié)果的交疊(后文為敘述方便，有時(shí)稱之為時(shí)域交疊)，又考慮了當(dāng)前幀的各種檢測(cè)結(jié)果之間的交疊(后文為敘述方便，有時(shí)稱之為空域交疊)來(lái)更新有關(guān)當(dāng)前幀的檢測(cè)結(jié)果的概率，可以進(jìn)一步提高整體檢測(cè)方法的準(zhǔn)確度。下面仍以人檢測(cè)為例，參考圖3來(lái)示例性說(shuō)明存儲(chǔ)了各種檢測(cè)算法的各自檢測(cè)精度以及各種算法的檢測(cè)結(jié)果交疊時(shí)的檢測(cè)精度(后文為敘述方便，有時(shí)稱之為混合檢測(cè)精度)的知識(shí)庫(kù)的構(gòu)建過(guò)程，圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于統(tǒng)計(jì)計(jì)算的知識(shí)庫(kù)構(gòu)建的流程圖。在步驟S310，準(zhǔn)備含有人的多幅圖像和多個(gè)視頻片段307。在步驟S320人工地標(biāo)注人的區(qū)域，記錄標(biāo)注的區(qū)域坐標(biāo)到文件。通過(guò)此步驟來(lái)得到有關(guān)圖像和視頻片斷各幀中的人的位置和數(shù)量。在步驟S330選擇一種與人相關(guān)的檢測(cè)方法，例如運(yùn)動(dòng)對(duì)象檢測(cè)方法，人臉檢測(cè)方法，頭檢測(cè)方法，上半身檢測(cè)方法，全身檢測(cè)方法，膚色檢測(cè)方法等。本實(shí)施例假設(shè)選擇了運(yùn)動(dòng)對(duì)象檢測(cè)方法、頭檢測(cè)方法和臉檢測(cè)方法。在步驟S340使用運(yùn)動(dòng)對(duì)象檢測(cè)方法檢測(cè)運(yùn)動(dòng)和臨時(shí)靜止的人。在步驟S350使用人臉檢測(cè)方法檢測(cè)人臉。在步驟S360使用頭檢測(cè)方法檢測(cè)頭。不過(guò)，本領(lǐng)域技術(shù)人員應(yīng)該理解，所選擇的檢測(cè)方法的數(shù)量并不限于3個(gè)，以及具體所選擇的檢測(cè)方法也不局限于運(yùn)動(dòng)對(duì)象檢測(cè)方法、頭檢測(cè)方法和臉檢測(cè)方法，而是可以是任何一種與人相關(guān)的檢測(cè)方法。在步驟S370使用在步驟S320中得到的人區(qū)域標(biāo)識(shí)信息的文件和每種檢測(cè)方法的檢測(cè)結(jié)果來(lái)計(jì)算每種檢測(cè)方法的檢測(cè)精度。例如，以人臉檢測(cè)為例說(shuō)明計(jì)算人臉檢測(cè)精度的方法。當(dāng)前的檢測(cè)方法是人臉檢測(cè)方法，檢測(cè)結(jié)果是人臉。通過(guò)驗(yàn)證檢測(cè)到的人臉區(qū)域與標(biāo)識(shí)的人區(qū)域的是否交疊可以計(jì)算出檢出的正確人臉數(shù)量和錯(cuò)誤人臉數(shù)量，同時(shí)可計(jì)算出未檢測(cè)到的真實(shí)人的數(shù)量?；谏鲜鲇?jì)算得到的正確的人臉數(shù)量、錯(cuò)誤的人臉數(shù)量、漏檢的人的數(shù)量、總的標(biāo)注的人的數(shù)量，即可計(jì)算得到人臉檢測(cè)方法檢測(cè)人的精度。是否交疊可通過(guò)交疊區(qū)域的大小來(lái)判定。例如，計(jì)算交疊的人臉區(qū)域和標(biāo)識(shí)區(qū)域二者中的面積小的區(qū)域的面積值A(chǔ)rea。通過(guò)使用交疊區(qū)域的面積除以該面積值A(chǔ)rea得到交疊比率r。如果r大于給定的閾值，則該人臉區(qū)域可以被判定為正確的人臉。閾值的范圍例如為從0.6到1.0，確切的數(shù)值可以通過(guò)實(shí)驗(yàn)、經(jīng)驗(yàn)或者在閾值范圍內(nèi)隨機(jī)采值獲取。除統(tǒng)計(jì)計(jì)算諸如人臉檢測(cè)的單種檢測(cè)方法的檢測(cè)精度外，步驟S370還基于上述方法計(jì)算某幾種檢測(cè)方法的混合檢測(cè)精度，例如人臉和頭檢測(cè)的檢測(cè)精度，人臉和上半身檢測(cè)的檢測(cè)精度等。具體地，例如，關(guān)于人臉檢測(cè)方法和頭檢測(cè)方法的混合檢測(cè)精度可以如下計(jì)算例如得出人臉檢測(cè)方法的人臉檢測(cè)列表和頭檢測(cè)方法的頭檢測(cè)列表，通過(guò)檢查交疊情況，得到了既被判斷為人臉也被判定為頭的頭臉區(qū)域列表，由此可以知道該頭臉區(qū)域列表中正確的頭臉數(shù)量、錯(cuò)誤的頭臉數(shù)量，漏檢的數(shù)量、總的標(biāo)注的頭臉數(shù)量，由此例如通過(guò)以該頭臉區(qū)域列表中正確的頭臉數(shù)量除以該頭臉區(qū)域列表中正確的頭臉數(shù)量和錯(cuò)誤的頭臉數(shù)量的和來(lái)得到人臉檢測(cè)方法和頭檢測(cè)方法的混合精度。此外，步驟S370類(lèi)似地還計(jì)算時(shí)空混合檢測(cè)方法的檢測(cè)精度，例如，人臉和時(shí)域歷史檢測(cè)結(jié)果的時(shí)空混合檢測(cè)精度，頭和時(shí)域歷史檢測(cè)結(jié)果的時(shí)空混合檢測(cè)精度。時(shí)空混合檢測(cè)方法指通過(guò)將某種空域檢測(cè)方法(人臉，頭，上半身等)的檢測(cè)結(jié)果同時(shí)域歷史檢測(cè)結(jié)果(時(shí)域歷史人區(qū)域)進(jìn)行合并進(jìn)而得到人區(qū)域的方法。最終，所有單種檢測(cè)方法、混合檢測(cè)方法、時(shí)空混合檢測(cè)方法的檢測(cè)精度數(shù)據(jù)都存儲(chǔ)到知識(shí)庫(kù)205中。圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的圖1中步驟S120所可以使用的基于知識(shí)庫(kù)設(shè)定各種檢測(cè)結(jié)果初始概率的流程圖。在步驟S121獲取任意與人檢測(cè)相關(guān)的一種或者多種檢測(cè)結(jié)果。在步驟S122判定是何種檢測(cè)結(jié)果。在步驟S123、S124、S125根據(jù)檢測(cè)結(jié)果種類(lèi)從知識(shí)庫(kù)205中獲取對(duì)應(yīng)的檢測(cè)精度，并設(shè)置該檢測(cè)結(jié)果的初始概率。例如，在檢測(cè)結(jié)果是運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的情況下， 在步驟S123從知識(shí)庫(kù)205獲取對(duì)應(yīng)運(yùn)動(dòng)對(duì)象檢測(cè)方法的檢測(cè)精度，以其值設(shè)定所有運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的初始概率P (人I運(yùn)動(dòng)對(duì)象)。在檢測(cè)結(jié)果是人臉檢測(cè)結(jié)果的情況下，在步驟 S124從知識(shí)庫(kù)205中獲取對(duì)應(yīng)人臉檢測(cè)方法的檢測(cè)精度，以其值設(shè)定所有人臉檢測(cè)結(jié)果的初始概率P (人I人臉)。在檢測(cè)結(jié)果是頭檢測(cè)結(jié)果的情況下，在步驟S125從知識(shí)庫(kù)205中獲取對(duì)應(yīng)頭檢測(cè)方法的檢測(cè)精度，以其值設(shè)定所有頭檢測(cè)結(jié)果的初始概率P(人I頭)。圖4中以運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果、臉檢測(cè)結(jié)果、頭檢測(cè)結(jié)果為例說(shuō)明了初始概率的設(shè)定，不過(guò)本發(fā)明當(dāng)然不局限于此?？梢詰?yīng)用該方法設(shè)定任意種類(lèi)的檢測(cè)結(jié)果的初始概率，只要在知識(shí)庫(kù)205中已經(jīng)預(yù)先存儲(chǔ)了對(duì)應(yīng)方法的檢測(cè)精度即可。下面參考圖5來(lái)舉例說(shuō)明圖2中處理空域交疊的步驟S270的示例性具體過(guò)程。 圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的、根據(jù)各種檢測(cè)結(jié)果在空域的交疊情況更新各種檢測(cè)結(jié)果概率的流程圖。在步驟S271，獲取各種包含初始概率的檢測(cè)結(jié)果，例如設(shè)置了初始概率的臉區(qū)域列表2701、設(shè)置了初始概率的頭區(qū)域列表2702、設(shè)置了初始概率的運(yùn)動(dòng)對(duì)象區(qū)域列表 2703。在步驟S272，判定各種檢測(cè)結(jié)果的交疊類(lèi)型。例如，如果步驟S272確定作為臉檢測(cè)結(jié)果的臉區(qū)域、作為頭檢測(cè)結(jié)果的頭區(qū)域、 作為運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的運(yùn)動(dòng)對(duì)象區(qū)域三者相交疊，則在步驟S273根據(jù)人臉、頭和運(yùn)動(dòng)對(duì)象混合檢測(cè)方法的精度(例如從知識(shí)庫(kù)205中獲取)修正交疊的人臉、頭和運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的概率，例如采用下述公式來(lái)修正P(人I臉)=P(人I頭)=P(人I運(yùn)動(dòng))=P(人臉，頭，運(yùn)動(dòng))。如果步驟S272確定作為臉檢測(cè)結(jié)果的臉區(qū)域、作為頭檢測(cè)結(jié)果的頭區(qū)域兩者相交疊，則在步驟S274根據(jù)人臉、頭混合檢測(cè)方法的精度(例如從知識(shí)庫(kù)205中獲取)修正交疊的人臉、頭的概率，例如采用下述公式來(lái)修正P(人I臉)=P(人I頭)=P(人I臉， 頭)。如果步驟S272確定作為臉檢測(cè)結(jié)果的臉區(qū)域、作為運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的運(yùn)動(dòng)對(duì)象區(qū)域兩者相交疊，則在步驟S275根據(jù)人臉和運(yùn)動(dòng)對(duì)象混合檢測(cè)方法的精度(例如從知識(shí)庫(kù)205中獲取)修正交疊的人臉和運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的概率，例如采用下述公式來(lái)修正 P(人I臉)=P(人I運(yùn)動(dòng))=P(人I臉，運(yùn)動(dòng))。如果步驟S272確定作為頭檢測(cè)結(jié)果的頭區(qū)域、作為運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的運(yùn)動(dòng)對(duì)象區(qū)域兩者相交疊，則在步驟S276根據(jù)頭和運(yùn)動(dòng)對(duì)象混合檢測(cè)方法的精度(例如從知識(shí)庫(kù)205中獲取)修正交疊頭和運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的概率，例如采用下述公式來(lái)修正P (人頭)=P(人I運(yùn)動(dòng))=P(人I頭，運(yùn)動(dòng))。如果步驟S272確定作為臉檢測(cè)結(jié)果的臉區(qū)域、作為頭檢測(cè)結(jié)果的頭區(qū)域、作為運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果的運(yùn)動(dòng)對(duì)象區(qū)域不存在交疊，即三者不交疊，以及任兩個(gè)間也不交疊，則不進(jìn)行修正概率的操作。在經(jīng)過(guò)交疊類(lèi)型判斷，并根據(jù)判斷結(jié)果而執(zhí)行相應(yīng)的操作后，得到了含有最新概率值的檢測(cè)結(jié)果列表2704。然后，結(jié)束處理。需要說(shuō)明的是，上面對(duì)各種檢測(cè)結(jié)果不交疊的情況采取保持原概率不變的處理。 替代地，這種情況下，可以降低各種檢測(cè)結(jié)果的概率，即認(rèn)為應(yīng)該交疊，如果不交疊，可以采取罰則，比如將概率乘以90%。另外，上面對(duì)于例如兩種檢測(cè)結(jié)果交疊的情況，簡(jiǎn)單地以從知識(shí)庫(kù)中獲取的空域混合檢測(cè)精度來(lái)替代原來(lái)各檢測(cè)結(jié)果的概率。替代地，可以根據(jù)交疊面積的比率作為權(quán)重來(lái)更新各檢測(cè)結(jié)果。例如，如果一個(gè)頭區(qū)域和一個(gè)臉區(qū)域交疊的面積占臉區(qū)域面積的70%， 則可以利用下述公式來(lái)更新該臉區(qū)域的概率P(人I臉)=P(人I臉)*(1-70%)+Ρ(人
頭，臉)*70%。下面參考圖6來(lái)示例性描述圖1中步驟S130可以執(zhí)行的具體過(guò)程，S卩如何基于包含當(dāng)前幀的多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果來(lái)計(jì)算當(dāng)前幀的運(yùn)動(dòng)頻度分布圖。該運(yùn)動(dòng)頻度分布圖表明當(dāng)前幀圖像中各像素的運(yùn)動(dòng)頻度，即表征當(dāng)前幀中各像素的運(yùn)動(dòng)劇烈傾向。在步驟S131獲取在自當(dāng)前時(shí)間向回算的預(yù)定持續(xù)時(shí)間內(nèi)的運(yùn)動(dòng)對(duì)象檢測(cè)的結(jié)果，從而獲得了多個(gè)運(yùn)動(dòng)對(duì)象1301，該預(yù)定持續(xù)時(shí)間可以是0. 5秒、1. 0秒、2秒或者其他的時(shí)間間隔值。在步驟S132計(jì)算該指定持續(xù)時(shí)間內(nèi)每個(gè)像素點(diǎn)屬于運(yùn)動(dòng)對(duì)象的次數(shù)，計(jì)算公式如式(1)和(2)所示。
權(quán)利要求
1.一種檢測(cè)視頻中預(yù)定物體的物體檢測(cè)方法，包括獲取通過(guò)各種物體檢測(cè)方法對(duì)當(dāng)前幀中的預(yù)定物體的整體或者部分進(jìn)行檢測(cè)所獲得的各種檢測(cè)結(jié)果；根據(jù)每種檢測(cè)方法的預(yù)定檢測(cè)精度，設(shè)定與該種檢測(cè)方法對(duì)應(yīng)的檢測(cè)結(jié)果的初始概率；基于包含當(dāng)前幀的多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果，計(jì)算運(yùn)動(dòng)頻度分布圖，該運(yùn)動(dòng)頻度分布圖表明當(dāng)前幀圖像中各像素的運(yùn)動(dòng)頻度；根據(jù)運(yùn)動(dòng)頻度分布圖過(guò)濾在先幀中所檢測(cè)出的物體，以得到過(guò)濾后的在先幀檢測(cè)結(jié)果；根據(jù)各種檢測(cè)結(jié)果和所述過(guò)濾后的在先幀檢測(cè)結(jié)果的交疊，更新各種檢測(cè)結(jié)果的概率；以及根據(jù)各種檢測(cè)結(jié)果的概率，確定檢測(cè)出的最后物體列表。
2.根據(jù)權(quán)利要求1的物體檢測(cè)方法，還包括根據(jù)各種檢測(cè)結(jié)果之間的交疊來(lái)更新各種檢測(cè)結(jié)果概率。
3.根據(jù)權(quán)利要求2所述的物體檢測(cè)方法，其中所述根據(jù)各種檢測(cè)結(jié)果之間的交疊來(lái)更新各種檢測(cè)結(jié)果概率包括通過(guò)將預(yù)定數(shù)目的檢測(cè)結(jié)果對(duì)應(yīng)區(qū)域之間的重疊比例與預(yù)定閾值相比較來(lái)判定該預(yù)定數(shù)目的檢測(cè)結(jié)果是否交疊，并且如果交疊，則根據(jù)與該預(yù)定數(shù)目的檢測(cè)結(jié)果交疊對(duì)應(yīng)的預(yù)定檢測(cè)精度來(lái)更新該預(yù)定數(shù)目檢測(cè)結(jié)果中每種檢測(cè)結(jié)果的概率。
4.根據(jù)權(quán)利要求1的物體檢測(cè)方法，還包括根據(jù)與應(yīng)用相關(guān)而定義的去除噪聲的規(guī)則來(lái)去除各種檢測(cè)結(jié)果或最后物體列表中的作為噪聲的物體。
5.根據(jù)權(quán)利要求1所述的物體檢測(cè)方法，其中所述各種檢測(cè)方法的預(yù)定檢測(cè)精度、與各種檢測(cè)方法的檢測(cè)結(jié)果的交疊對(duì)應(yīng)的預(yù)定檢測(cè)精度、以及與各種檢測(cè)方法的檢測(cè)結(jié)果和在先幀檢測(cè)結(jié)果的交疊對(duì)應(yīng)的預(yù)定檢測(cè)精度預(yù)先存儲(chǔ)于知識(shí)庫(kù)中，該知識(shí)庫(kù)通過(guò)統(tǒng)計(jì)計(jì)算獲得。
6.根據(jù)權(quán)利要求1所述的物體檢測(cè)方法，其中，所述計(jì)算運(yùn)動(dòng)頻度分布圖的操作包括 根據(jù)多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果計(jì)算在自當(dāng)前時(shí)間向回算的預(yù)定持續(xù)時(shí)間內(nèi)每個(gè)像素點(diǎn)屬于運(yùn)動(dòng)對(duì)象的次數(shù)，通過(guò)將每個(gè)像素點(diǎn)屬于運(yùn)動(dòng)對(duì)象的次數(shù)除以幀數(shù)來(lái)獲得該像素點(diǎn)的運(yùn)動(dòng)頻度，從而得到當(dāng)前運(yùn)動(dòng)頻度分布圖。
7.根據(jù)權(quán)利要求6的物體檢測(cè)方法，其中所述根據(jù)運(yùn)動(dòng)頻度分布圖過(guò)濾在先幀中所檢測(cè)出的物體的操作包括計(jì)算在先幀中所檢測(cè)出的一個(gè)物體所處區(qū)域的運(yùn)動(dòng)頻度累加和；歸一化該物體所處區(qū)域的運(yùn)動(dòng)頻度累加和；如果該物體的歸一化后的累加和小于等于預(yù)定閾值，則保留該物體， 否則從在先幀中所檢測(cè)出的物體中去除該物體。
8.根據(jù)權(quán)利要求1所述的物體檢測(cè)方法，其中所述根據(jù)各種檢測(cè)結(jié)果和所述過(guò)濾后的在先幀檢測(cè)結(jié)果的交疊，更新各種檢測(cè)結(jié)果的概率的操作包括通過(guò)將一種檢測(cè)結(jié)果與所述過(guò)濾后的在先幀檢測(cè)結(jié)果對(duì)應(yīng)區(qū)域之間的重疊比例與預(yù)定閾值相比較來(lái)判定該種檢測(cè)結(jié)果與過(guò)濾后的在先幀檢測(cè)結(jié)果是否交疊，以及如果交疊， 則根據(jù)與該交疊對(duì)應(yīng)的預(yù)定檢測(cè)精度來(lái)更新該種檢測(cè)結(jié)果的概率。
9.根據(jù)權(quán)利要求1所述的物體檢測(cè)方法，其中，所述根據(jù)各種檢測(cè)結(jié)果的概率，確定檢測(cè)出的最后物體列表的操作包括由隨機(jī)數(shù)發(fā)生器產(chǎn)生位于0和1之間的隨機(jī)數(shù)；將每種檢測(cè)結(jié)果中每個(gè)檢測(cè)結(jié)果的概率同該隨機(jī)數(shù)以及設(shè)定的第一閾值和小于第一閾值的第二閾值進(jìn)行比較；如果該每個(gè)檢測(cè)結(jié)果的概率大于第一閾值或者該每個(gè)檢測(cè)結(jié)果的概率大于第二閾值且大于隨機(jī)數(shù)，則保留該每個(gè)檢測(cè)結(jié)果，否則，拋棄該每個(gè)檢測(cè)結(jié)果。
10. 一種檢測(cè)視頻中預(yù)定物體的物體檢測(cè)裝置，包括檢測(cè)結(jié)果獲取部件，用于獲取通過(guò)各種物體檢測(cè)方法對(duì)當(dāng)前幀中的預(yù)定物體的整體或者部分進(jìn)行檢測(cè)所獲得的各種檢測(cè)結(jié)果；初始概率設(shè)置部件，用于根據(jù)每種檢測(cè)方法的預(yù)定檢測(cè)精度，設(shè)定與該種檢測(cè)方法對(duì)應(yīng)的檢測(cè)結(jié)果的初始概率；運(yùn)動(dòng)頻度分布圖計(jì)算部件，用于基于包含當(dāng)前幀的多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果，計(jì)算運(yùn)動(dòng)頻度分布圖，該運(yùn)動(dòng)頻度分布圖表明當(dāng)前幀圖像中各像素的運(yùn)動(dòng)頻度；在先幀檢測(cè)結(jié)果過(guò)濾部件，用于根據(jù)運(yùn)動(dòng)頻度分布圖過(guò)濾在先幀中所檢測(cè)出的物體， 以得到過(guò)濾后的在先幀檢測(cè)結(jié)果；時(shí)空交疊更新部件，用于根據(jù)各種檢測(cè)結(jié)果和所述過(guò)濾后的在先幀檢測(cè)結(jié)果的交疊， 更新各種檢測(cè)結(jié)果的概率；以及物體列表確定部件，用于根據(jù)各種檢測(cè)結(jié)果的概率，確定檢測(cè)出的最后物體列表。
全文摘要
提供了檢測(cè)視頻中預(yù)定物體的物體檢測(cè)方法和裝置。該方法包括獲取通過(guò)各種物體檢測(cè)方法所獲得的各種檢測(cè)結(jié)果；根據(jù)每種檢測(cè)方法的預(yù)定檢測(cè)精度，設(shè)定與該種檢測(cè)方法對(duì)應(yīng)的檢測(cè)結(jié)果的初始概率；基于包含當(dāng)前幀的多幀運(yùn)動(dòng)對(duì)象檢測(cè)結(jié)果，計(jì)算運(yùn)動(dòng)頻度分布圖，該運(yùn)動(dòng)頻度分布圖表明當(dāng)前幀圖像中各像素的運(yùn)動(dòng)頻度；根據(jù)運(yùn)動(dòng)頻度分布圖過(guò)濾在先幀中所檢測(cè)出的物體，以得到過(guò)濾后的在先幀檢測(cè)結(jié)果；根據(jù)各種檢測(cè)結(jié)果和所述過(guò)濾后的在先幀檢測(cè)結(jié)果的交疊，更新各種檢測(cè)結(jié)果的概率；以及根據(jù)各種檢測(cè)結(jié)果的概率，確定檢測(cè)出的最后物體列表。本發(fā)明具有更強(qiáng)的靈活性，更綜合地考慮了各檢測(cè)結(jié)果，可以提高檢測(cè)精度，降低誤檢率。
文檔編號(hào)G06K9/00GK102236899SQ20101016523
公開(kāi)日2011年11月9日 申請(qǐng)日期2010年5月7日 優(yōu)先權(quán)日2010年5月7日
發(fā)明者伊紅, 王鑫, 范圣印, 鄧宇 申請(qǐng)人:株式會(huì)社理光