專利名稱：一種目標(biāo)碎片區(qū)域融合的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及目標(biāo)跟蹤中的目標(biāo)碎片區(qū)域融合的方法及裝置，屬于圖像處理、視頻 監(jiān)控領(lǐng)域。
背景技術(shù)：
在目標(biāo)的跟蹤過(guò)程中，當(dāng)場(chǎng)景中存在目標(biāo)中部分像素點(diǎn)的灰度值與背景相近或者 場(chǎng)景中存在較快的光影變化時(shí)，常會(huì)檢測(cè)到不完整的前景區(qū)域，即表現(xiàn)為1個(gè)真實(shí)目標(biāo)的 檢測(cè)區(qū)域碎裂成2塊或者多塊碎片區(qū)域。對(duì)于基于塊匹配的跟蹤方法/裝置，這種碎裂常 會(huì)造成跟蹤的無(wú)法延續(xù)，進(jìn)而在使用預(yù)測(cè)信息來(lái)跟蹤目標(biāo)時(shí)，會(huì)產(chǎn)生“目標(biāo)跟蹤丟失”的現(xiàn)象。綜上所述，目前迫切需要提出一種能簡(jiǎn)單、有效地進(jìn)行目標(biāo)碎片區(qū)域融合的方法 及裝置。

發(fā)明內(nèi)容
本發(fā)明的主要目的在于解決目標(biāo)跟蹤中的目標(biāo)的碎裂問(wèn)題，實(shí)現(xiàn)目標(biāo)碎片區(qū)域的融合。為達(dá)到上述目的，按照本發(fā)明的第一個(gè)方面，提供了一種目標(biāo)碎片區(qū)域融合的方 法，所述方法包括步驟101 根據(jù)前一幀圖像中的目標(biāo)預(yù)測(cè)當(dāng)前幀圖像中的當(dāng)前幀目標(biāo)，將所述當(dāng) 前幀目標(biāo)的中心作為搜索框中心，并將所述當(dāng)前幀目標(biāo)的矩形框向四周擴(kuò)展以獲得搜索 框；步驟102 根據(jù)所述搜索框，選擇碎片候選區(qū)域；步驟103 對(duì)所述碎片候選區(qū)域進(jìn)行融合處理并獲得融合區(qū)域，計(jì)算并獲得融合 區(qū)域的融合信息；步驟104 通過(guò)分別計(jì)算融合區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù)CmCTge、以及組成融合 區(qū)域的各碎片候選區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù)Ci(i = 1，K，N)，進(jìn)行融合區(qū)域可靠性判 斷；如果> CiG = 1，K，N)，則認(rèn)為融合區(qū)域可靠，進(jìn)入步驟105，否則認(rèn)為融合區(qū)域不 可靠，結(jié)束本流程，其中，i表示第i個(gè)碎片候選區(qū)域，N表示碎片候選區(qū)域的個(gè)數(shù)；和步驟105 對(duì)可靠的融合區(qū)域進(jìn)行數(shù)據(jù)更新，輸入融合區(qū)域的融合信息，同時(shí)刪除 組成該融合區(qū)域的碎片候選區(qū)域的信息。其中，所述搜索框根據(jù)目標(biāo)的大小、不同場(chǎng)景的需求，按照下述公式將當(dāng)前幀目標(biāo) 的矩形框向四周擴(kuò)展而獲得
Γ η Psearell =^argetHl +2<!
Karch= ^target *(1 + 2*α) 其中，Wta,get、Hta,get分別表示當(dāng)前幀目標(biāo)的矩形框的寬度和高度，
^searchΛ ^-search 刀力U
表示搜索框的寬度和高度，a為縮放因子，-0. 25 < a < 0. 5。
優(yōu)選地，所述步驟102中選擇碎片候選區(qū)域的步驟包括步驟1021 根據(jù)搜索框，從圖像中選擇滿足一定的面積條件的前景區(qū)域?yàn)樵撍阉?框中的候選區(qū)域；步驟1022 計(jì)算每個(gè)所述候選區(qū)域的矩形框邊緣與其他候選區(qū)域的矩形框邊緣 的最近距離，根據(jù)最近距離去除不符合一定的距離條件的候選區(qū)域；步驟1023 統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域內(nèi)前景面積之和面積，計(jì)算該 前景面積之和面積和與目標(biāo)的面積的差值，計(jì)算該差值與目標(biāo)的面積的比值，若該比值 在設(shè)定的范圍內(nèi)，則進(jìn)入步驟1024，否則結(jié)束本流程，其中該設(shè)定的范圍為[-T4，T4]， 0. 4彡T4彡0. 6 ；和步驟1024 統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域的個(gè)數(shù)，若該個(gè)數(shù)大于第五閾值 T5，則對(duì)候選區(qū)域的前景面積按由大到小排序，選擇前景面積最大的前T5個(gè)候選區(qū)域作為 碎片候選區(qū)域，否則將所有的候選區(qū)域作為碎片候選區(qū)域，其中，T5為3、4或5。優(yōu)選地，步驟1021中滿足一定的面積條件的前景區(qū)域是指同時(shí)滿足以下條件的 前景區(qū)域(1)前景區(qū)域與搜索框的交疊部分的面積與該前景區(qū)域的面積的比值大于第一 閾值Tl ;(2)前景區(qū)域內(nèi)前景面積與搜索框?qū)?yīng)的目標(biāo)面積的比值不小于第二閾值T2且小 于 1 ；其中 0. 75 ^ Tl ^ 0. 85,0. 05 彡 T2 彡 0. 2。優(yōu)選地，步驟1022中不符合一定的距離條件的候選區(qū)域是指最近距離大于第三 閾值T3的候選區(qū)域，其中T3為8-12個(gè)像素。優(yōu)選地，所述步驟103包括以下步驟步驟1031 搜索所述碎片候選區(qū)域的最左端和最右端的χ坐標(biāo)值、以及最上端和 最下端的y坐標(biāo)值，以最左端和最右端的χ坐標(biāo)值為縱線，以最上端和最下端的y坐標(biāo)值為 橫線，得到一個(gè)矩形框，該矩形框所圍成的區(qū)域?yàn)槿诤蠀^(qū)域；步驟1032 計(jì)算并獲得所述融合區(qū)域的融合信息，所述融合信息包括融合區(qū)域的 寬度、高度、目標(biāo)面積、直方圖及質(zhì)心坐標(biāo)，其中融合區(qū)域的寬度的計(jì)算公式為Ilight-XleftI JleftJright分別表示融合區(qū)域的矩形 框的最左端和最右端的X坐標(biāo)值；融合區(qū)域的高度的計(jì)算公式為I Ydmm-Yup I，Yup、Yd。m分別表示融合區(qū)域的矩形框 的最上端和最下端的1坐標(biāo)值；通過(guò)統(tǒng)計(jì)融合區(qū)域內(nèi)前景點(diǎn)的個(gè)數(shù)得到融合區(qū)域的目標(biāo)面積；分別計(jì)算融合區(qū)域內(nèi)所有前景點(diǎn)的χ坐標(biāo)、y坐標(biāo)的平均值X、Y ,得到融合區(qū)域 的質(zhì)心坐標(biāo)(X , Y )。優(yōu)選地，在所述步驟104中，所述匹配系數(shù)CmCTge和匹配系數(shù)CiG = 1，K，N)分別 通過(guò)如下公式得到C = α .Cdist+β -Chist+Y · Carea其中，Cdist為距離匹配系數(shù)，Chist為直方圖匹配系數(shù)，Cmea為面積匹配系數(shù)，α、β、 Y分別為距離匹配權(quán)值、直方圖匹配權(quán)值、面積匹配權(quán)值，α、β、Υ按照實(shí)際場(chǎng)景需求進(jìn) 行設(shè)定，且 0 < α < 1,0 < β < 1,0 < γ <1，α+β + y =1。其中，所述距離匹配系數(shù)Cdist的計(jì)算公式如下<formula>formula see original document page 7</formula>其中，xtogrt、yta_分別為預(yù)測(cè)的目標(biāo)的中心的橫坐標(biāo)和縱坐標(biāo)，xregion> Yregion分別 為融合區(qū)域或者各碎片候選區(qū)域的中心的橫坐標(biāo)和縱坐標(biāo)，width、height分別為目標(biāo)的寬 度和高度，coef是最小匹配系數(shù)。其中，所述直方圖匹配系數(shù)Chist的計(jì)算公式如下<formula>formula see original document page 7</formula>其中，R. hist、Τ. hist分別表示融合區(qū)域或者各碎片候選區(qū)域的直方圖和目標(biāo)的
直方圖。其中，所述面積匹配系數(shù)Cma的計(jì)算公式如下C - Min(R.area,Τ.area)
area Max(R. area, T. area)其中，R. area, T. area分別表示區(qū)域(融合區(qū)域或者各碎片候選區(qū)域)的面積和 目標(biāo)的面積，Max( ·，·)、Min( ，·)分別表示取最大值、最小值函數(shù)。此外，本發(fā)明還提供了一種目標(biāo)碎片區(qū)域融合的裝置，所述裝置包括如下搜索框建立單元，用于根據(jù)前一幀圖像中的目標(biāo)預(yù)測(cè)當(dāng)前幀圖像中的當(dāng)前幀目 標(biāo)，將所述當(dāng)前幀目標(biāo)的中心作為搜索框中心，并將所述當(dāng)前幀目標(biāo)的矩形框向四周擴(kuò)展 以獲得搜索框；碎片候選區(qū)域獲取單元，用于根據(jù)所述搜索框，選擇碎片候選區(qū)域；融合區(qū)域獲取單元，用于對(duì)所述碎片候選區(qū)域進(jìn)行融合處理并獲得融合區(qū)域，計(jì) 算并獲得融合區(qū)域的融合信息；融合區(qū)域可靠性判斷單元，用于分別計(jì)算融合區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù) CmCTge、以及組成融合區(qū)域的各碎片候選區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù)Ci (i = 1，K，N)，進(jìn)行 融合區(qū)域可靠性判斷；如果CmCTge > CiG = 1，K，N)，則認(rèn)為融合區(qū)域可靠，進(jìn)入步驟105，否 則認(rèn)為融合區(qū)域不可靠，結(jié)束本流程，其中，i表示第i個(gè)碎片候選區(qū)域，N表示碎片候選區(qū) 域的個(gè)數(shù)；和融合信息更新單元，用于對(duì)可靠的融合區(qū)域進(jìn)行數(shù)據(jù)更新，輸入融合區(qū)域的融合 信息，同時(shí)刪除組成該融合區(qū)域的碎片候選區(qū)域的信息。優(yōu)選地，所述碎片候選區(qū)域獲取單元包括候選區(qū)域選取模塊，用于根據(jù)搜索框，從圖像中選擇滿足一定的面積條件的前景 區(qū)域?yàn)樵撍阉骺蛑械暮蜻x區(qū)域；候選區(qū)域過(guò)濾模塊，用于計(jì)算每個(gè)所述候選區(qū)域的矩形框邊緣與其他候選區(qū)域的 矩形框邊緣的最近距離，根據(jù)最近距離去除不符合一定的距離條件的候選區(qū)域；
候選區(qū)域判斷模塊，用于統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域內(nèi)前景面積之和面積，計(jì)算該前景面積之和面積和與目標(biāo)的面積的差值，計(jì)算該差值與目標(biāo)的面積的比值，若 該比值在設(shè)定的范圍內(nèi)，則進(jìn)入步驟1024，否則結(jié)束本流程，其中，該設(shè)定的范圍為[-T4， T4]，0. 4 ≤ Τ4 ≤ 0. 6 ；和碎片候選區(qū)域選取模塊，用于統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域的個(gè)數(shù)，若該 個(gè)數(shù)大于第五閾值Τ5，則對(duì)候選區(qū)域的前景面積按由大到小排序，選擇前景面積最大的前 Τ5個(gè)候選區(qū)域作為碎片候選區(qū)域，否則將所有的候選區(qū)域作為碎片候選區(qū)域，其中，Τ5為 3、4 或 5。與現(xiàn)有技術(shù)相比，本發(fā)明所提供的目標(biāo)碎片區(qū)域融合的方法有效地解決了目標(biāo)跟 蹤中出現(xiàn)的同一目標(biāo)被碎裂成多個(gè)碎片區(qū)域的問(wèn)題，實(shí)現(xiàn)了屬于同一目標(biāo)的碎片區(qū)域的融 合，從而可以有效地減少目標(biāo)跟蹤中的丟失。


圖1示出了按照本發(fā)明的目標(biāo)碎片區(qū)域融合的方法的流程圖；圖2示出了按照本發(fā)明的建立搜索框的示意圖；圖3示出了按照本發(fā)明的步驟102的流程圖；圖4示出了按照本發(fā)明的碎片候選區(qū)域選擇的示意圖；圖5示出了按照本發(fā)明的目標(biāo)碎片區(qū)域融合的裝置的框架圖；圖6示出了按照本發(fā)明的碎片候選區(qū)域獲取單元的框架圖。
具體實(shí)施例方式為使貴審查員能進(jìn)一步了解本發(fā)明的結(jié)構(gòu)、特征及其他目的，現(xiàn)結(jié)合所附較佳實(shí) 施例詳細(xì)說(shuō)明如下，所說(shuō)明的較佳實(shí)施例僅用于說(shuō)明本發(fā)明的技術(shù)方案，并非限定本發(fā)明。本發(fā)明主要解決目標(biāo)跟蹤中出現(xiàn)的同一目標(biāo)被碎裂成多個(gè)碎片區(qū)域的問(wèn)題，實(shí)現(xiàn) 了屬于同一目標(biāo)的碎片區(qū)域的融合，可用于各種智能視頻監(jiān)控中，如人群檢測(cè)、動(dòng)目標(biāo)檢測(cè)寸。在本發(fā)明中，所述“目標(biāo)”是連續(xù)多幀匹配形成的檢測(cè)序列，例如通過(guò)跟蹤器連續(xù) 多幀匹配形成的。所述“區(qū)域”是指前景區(qū)域，即檢測(cè)器檢測(cè)出的前景所在的外接矩形區(qū)域。 所述“前景”是指檢測(cè)到的當(dāng)前幀的前景團(tuán)塊，例如通過(guò)檢測(cè)器檢測(cè)到的。本發(fā)明是基于目 標(biāo)檢測(cè)的基礎(chǔ)上，主要是對(duì)檢測(cè)的目標(biāo)、前景進(jìn)行進(jìn)一步的后期處理，因此目標(biāo)檢測(cè)不是本 發(fā)明的發(fā)明點(diǎn)，這里不再描述，具體可以參考現(xiàn)有技術(shù)。如圖1所示，圖1示出了按照本發(fā)明的目標(biāo)碎片區(qū)域融合的方法的流程圖。由圖1 可以看出，本發(fā)明的目標(biāo)碎片區(qū)域融合的方法包括步驟101、步驟102、步驟103、步驟104、 步驟105。步驟101 根據(jù)前一幀圖像中的目標(biāo)預(yù)測(cè)當(dāng)前幀圖像中的當(dāng)前幀目標(biāo)，將所述當(dāng) 前幀目標(biāo)的中心作為搜索框中心，并將所述當(dāng)前幀目標(biāo)的矩形框向四周擴(kuò)展以獲得搜索 框。步驟102 根據(jù)搜索框，選擇碎片候選區(qū)域。步驟103 對(duì)所述碎片候選區(qū)域進(jìn)行融合處理并獲得融合區(qū)域，計(jì)算并獲得融合區(qū)域的融合信息。步驟104 通過(guò)分別計(jì)算融合區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù)CmCTge、以及組成融合 區(qū)域的各碎片候選區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù)Ci(i = 1，K，N)，進(jìn)行融合區(qū)域可靠性判 斷；如果CmCTge > VCi (i = 1，K，N)，則認(rèn)為融合區(qū)域可靠，進(jìn)入步驟105，否則認(rèn)為融合區(qū)域 不可靠，結(jié)束本流程，其中，i表示第i個(gè)碎片候選區(qū)域，N表示碎片候選區(qū)域的個(gè)數(shù)。步驟105 對(duì)可靠的融合區(qū)域進(jìn)行數(shù)據(jù)更新，輸入融合區(qū)域的融合信息，同時(shí)刪除 組成該融合區(qū)域的碎片候選區(qū)域的信息。該碎片候選區(qū)域的信息即該碎片候選區(qū)域?qū)?yīng)的 位置信息，包括質(zhì)心坐標(biāo)、寬度和高度。其中，步驟101可以通過(guò)以下方法實(shí)現(xiàn)在將目標(biāo)的矩形框向四周擴(kuò)展時(shí)，由于擴(kuò) 展的大小根據(jù)目標(biāo)的大小、不同場(chǎng)景的需求而有所變化，因此，在發(fā)明中以縮放因子a來(lái)控 制矩形框的擴(kuò)展量。即，搜索框根據(jù)目標(biāo)的大小、不同場(chǎng)景的需求，按照下述公式將目標(biāo)的 矩形框向四周擴(kuò)展而獲得
<formula>formula see original document page 9</formula>其中，Wtargrt、Htargrt分別表示目標(biāo)的矩形框的寬度和高度，Wsearch^Hsearch分別表示搜 索框的寬度和高度，a的取值范圍為[-0. 25，0. 5]，即-0. 25彡a彡0. 5。如圖2所示，圖2示出了按照本發(fā)明的建立搜索框的示意圖。由圖2可以看出，圖 2中有兩個(gè)實(shí)線的矩形框，其中左邊的一個(gè)實(shí)線矩形框?yàn)楫?dāng)前幀圖像中目標(biāo)的矩形框，左邊 實(shí)線矩形框中白色團(tuán)塊即為前一幀圖像中的目標(biāo)。右邊的一個(gè)實(shí)線矩形框?yàn)轭A(yù)測(cè)的目標(biāo)在 當(dāng)前幀圖像中的矩形框，右邊實(shí)線矩形框中白色圓點(diǎn)為預(yù)測(cè)的目標(biāo)的中心，以預(yù)測(cè)的目標(biāo) 的中心為搜索框中心，將右邊實(shí)線矩形框向四周擴(kuò)展，可以獲得搜索框，即圖2中虛線矩形 框。如圖3所示，圖3示出了按照本發(fā)明的步驟102的流程圖。由圖3可以看出，按照 本發(fā)明的步驟102可以包括以下步驟步驟1021、步驟1022、步驟1023、和步驟1024。步驟1021，根據(jù)搜索框，從圖像中選擇滿足一定的面積條件的前景區(qū)域(即前景 的外接矩形)為該搜索框中的候選區(qū)域。其中，滿足一定的面積條件的前景區(qū)域是指同時(shí) 滿足以下條件的區(qū)域(1)前景區(qū)域與搜索框的交疊部分的面積與該前景區(qū)域的面積的比 值大于第一閾值Tl ； (2)前景區(qū)域內(nèi)前景面積與搜索框?qū)?yīng)的目標(biāo)面積的比值不小于第二 閾值T2且小于1。其中，0. 75 ^ Tl ^ 0. 85，優(yōu)選地Tl = 0. 8 ；0. 05彡T2彡0. 2，優(yōu)選地T2 =0. 1。前景面積為前景團(tuán)塊的面積，可以通過(guò)統(tǒng)計(jì)前景點(diǎn)的像素個(gè)數(shù)而獲得的，例如前景 區(qū)域內(nèi)有30個(gè)前景點(diǎn)，則認(rèn)為該前景區(qū)域的目標(biāo)面積為30。步驟1022，計(jì)算每個(gè)所述候選區(qū)域的矩形框邊緣與其他候選區(qū)域的矩形框邊緣的 最近距離，根據(jù)最近距離去除不符合一定的距離條件的候選區(qū)域。其中，不符合一定的距離 條件的候選區(qū)域是指最近距離大于第三閾值T3的候選區(qū)域。T3為8-12個(gè)像素，優(yōu)選為10 個(gè)像素。步驟1023，統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域內(nèi)前景面積之和面積，計(jì)算該 前景面積之和面積和與目標(biāo)的面積的差值，計(jì)算該差值與目標(biāo)的面積的比值，若該比值 在設(shè)定的范圍內(nèi)，則進(jìn)入步驟1024，否則結(jié)束本流程。其中，設(shè)定的范圍為[-T4，T4]， 0. 4 彡 T4 彡 0. 6，優(yōu)選地 T4 = 0. 5。
步驟1024，統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域的個(gè)數(shù)，若該個(gè)數(shù)大于第五閾值 T5，則對(duì)候選區(qū)域的前景面積按由大到小排序，選擇前景面積最大的前T5個(gè)候選區(qū)域作為 碎片候選區(qū)域，否則將所有的候選區(qū)域作為碎片候選區(qū)域。其中，T5為3、4或者5，優(yōu)選為4。如圖4所示，圖4示出了按照本發(fā)明的碎片候選區(qū)域選擇的示意圖。由圖4可以 看出，虛線矩形框?yàn)樗阉骺颍捎谇熬癱所在區(qū)域不能滿足步驟1021中的條件(2)，前景d 所在區(qū)域不能滿足步驟1022中的距離條件，因此前景c和d所在區(qū)域不能選為碎片候選區(qū) 域，而剩下前景a和b所在區(qū)域被選為碎片候選區(qū)域。本發(fā)明的步驟103可以包括以下步驟步驟1031和步驟1032。步驟1031 對(duì)步驟1024選擇的碎片候選區(qū)域進(jìn)行融合處理，以獲取融合區(qū)域。具 體的說(shuō)，搜索所有的碎片候選區(qū)域的最左端和最右端的X坐標(biāo)值、以及最上端和最下端的y 坐標(biāo)值，以最左端和最右端的χ坐標(biāo)值為縱線，以最上端和最下端的y坐標(biāo)值為橫線，可以 得到一個(gè)矩形框，該矩形框所圍成的區(qū)域即為融合區(qū)域。步驟1032:計(jì)算并獲得所述融合區(qū)域的融合信息，所述融合信息包括融合區(qū) 域的寬度、高度、目標(biāo)面積、直方圖及質(zhì)心坐標(biāo)。其中，融合區(qū)域的寬度的計(jì)算公式為 I Xright-Xleft I' Xleft> Xright分別表示融合區(qū)域的矩形框的最左端和最右端的X坐標(biāo)值；融合區(qū) 域的高度的計(jì)算公式為IYdtwn-YupI，Yup、Yd。wn分別表示融合區(qū)域的矩形框的最上端和最下 端的y坐標(biāo)值。通過(guò)統(tǒng)計(jì)融合區(qū)域內(nèi)前景點(diǎn)的個(gè)數(shù)可以得到融合區(qū)域的目標(biāo)面積，即融合 區(qū)域的目標(biāo)面積是根據(jù)前景點(diǎn)的個(gè)數(shù)來(lái)統(tǒng)計(jì)的，例如融合區(qū)域內(nèi)有30個(gè)前景點(diǎn)，則認(rèn)為該 融合區(qū)域的目標(biāo)面積為30。簡(jiǎn)言之，前景點(diǎn)就是屬于前景的點(diǎn)，前景是通過(guò)運(yùn)動(dòng)目標(biāo)檢測(cè)器 獲得的，因?yàn)槟繕?biāo)檢測(cè)不是本發(fā)明的發(fā)明點(diǎn)，所以在此不再具體闡述。融合區(qū)域的直方圖的 計(jì)算屬于現(xiàn)有技術(shù)，通常是統(tǒng)計(jì)直方圖。對(duì)某一物理量(區(qū)域或者目標(biāo))在相同條件下做 η次重復(fù)測(cè)量，得到一系列測(cè)量值，找出它的最大值和最小值，然后確定一個(gè)區(qū)間，使其包含 全部測(cè)量數(shù)據(jù)，將該區(qū)間分成若干小區(qū)間，統(tǒng)計(jì)測(cè)量結(jié)果出現(xiàn)在各小區(qū)間的頻數(shù)Μ，以測(cè)量 數(shù)據(jù)為橫坐標(biāo)，以頻數(shù)M為縱坐標(biāo)，劃出各小區(qū)間及其對(duì)應(yīng)的頻數(shù)高度，則可得到一個(gè)矩形 圖，即統(tǒng)計(jì)直方圖。分別計(jì)算融合區(qū)域內(nèi)所有前景點(diǎn)的χ坐標(biāo)、y坐標(biāo)的平均值又、Y ,可以 得到融合區(qū)域的質(zhì)心坐標(biāo)(X , Y )。步驟104可以通過(guò)以下方法實(shí)現(xiàn)計(jì)算融合區(qū)域與目標(biāo)的匹配系數(shù)組成融 合區(qū)域的各碎片候選區(qū)域與目標(biāo)的匹配系數(shù)Ci (i = 1，K，N)(其中i表示第i個(gè)碎片候選 區(qū)域，N表示碎片候選區(qū)域的個(gè)數(shù))，如果Cnrew > Ci (i = 1，K，N)，則認(rèn)為融合區(qū)域可靠，進(jìn) 入步驟105，否則認(rèn)為融合區(qū)域不可靠，結(jié)束本流程。匹配系數(shù)C (即融合區(qū)域與目標(biāo)的匹配系數(shù)CmCTge或者碎片候選區(qū)域與目標(biāo)的匹配 系數(shù)Ci(i = 1，K，N))的計(jì)算公式如下C = α .Cdist+β -Chist+Y · Carea其中，Cdist為距離匹配系數(shù)，Chist為直方圖匹配系數(shù)，Carea為面積匹配系數(shù)。α、 β、Y分別為距離匹配權(quán)值、直方圖匹配權(quán)值、面積匹配權(quán)值。在本發(fā)明中，α、β、Υ可以 按照實(shí)際場(chǎng)景需求進(jìn)行設(shè)定，這三者的值都在0 1之間，且滿足三者的值的和為1，即0 < α < 1，0 < β < 1，0 < γ < 1，α+β + γ = 1。例如當(dāng)場(chǎng)景為倉(cāng)庫(kù)時(shí)，α、β、γ可以分別設(shè)定為0. 5,0. 2和0. 3。距離匹配系數(shù)Cdist的計(jì)算公式如下<formula>formula see original document page 11</formula>
其中，Xtarget, ytarget分別為預(yù)測(cè)的目標(biāo)的中心(即搜索框中心)的橫坐標(biāo)和縱坐 標(biāo)；x_。n、yMgi。n分別為區(qū)域(融合區(qū)域或者各碎片候選區(qū)域)的中心的橫坐標(biāo)和縱坐標(biāo)； width、height分別為目標(biāo)的寬度和高度，目標(biāo)的寬度Width的計(jì)算公式為X，right-x' left， X' right>X' left分別表示目標(biāo)的矩形框的最左端和最右端的X坐標(biāo)值；目標(biāo)的高度height的 計(jì)算公式為:r UP-Y’ d_，Y’ up、Y’ d_分別表示目標(biāo)的矩形框的最上端和最下端的y坐標(biāo) 值。coef是最小匹配系數(shù)，在本發(fā)明中，coef可以按照實(shí)際場(chǎng)景需求進(jìn)行設(shè)定，例如當(dāng)場(chǎng)景 為倉(cāng)庫(kù)時(shí)，coef可以設(shè)定為0. 6。直方圖匹配系數(shù)Chist的計(jì)算公式如下<formula>formula see original document page 11</formula>其中，R. hist、Τ. hist分別表示區(qū)域(融合區(qū)域或者各碎片候選區(qū)域)的直方圖 和目標(biāo)的直方圖。其中，直方圖的計(jì)算屬于現(xiàn)有技術(shù)，例如可以采用在步驟1032中描述的 方法(統(tǒng)計(jì)直方圖)。面積匹配系數(shù)Carea的計(jì)算公式如下
<formula>formula see original document page 11</formula>其中，R. area, Τ. area分別表示區(qū)域(融合區(qū)域或者各碎片候選區(qū)域)的面積和 目標(biāo)的面積。其中，區(qū)域(融合區(qū)域或者各碎片候選區(qū)域)的面積是前景的外接矩形的 面積，即前景的外接矩形的寬度X前景的外接矩形的高度。目標(biāo)的面積是通過(guò)統(tǒng)計(jì)融合 區(qū)域內(nèi)前景點(diǎn)的個(gè)數(shù)獲得的，例如融合區(qū)域內(nèi)有30個(gè)前景點(diǎn)，則認(rèn)為該目標(biāo)的面積為30。 Max( ·，·)、Min( ·，·)分別表示取最大值、最小值函數(shù)。在步驟105中，對(duì)可靠的融合區(qū)域進(jìn)行數(shù)據(jù)更新，輸入融合信息，同時(shí)刪除組成該 融合區(qū)域的碎片信息。對(duì)應(yīng)于本發(fā)明的目標(biāo)碎片區(qū)域融合的方法，本發(fā)明還提供了目標(biāo)碎片區(qū)域融合的 裝置。如圖5所示，圖5示出了按照本發(fā)明的目標(biāo)碎片區(qū)域融合的裝置的框架圖。由圖5 可以看出，按照本發(fā)明的目標(biāo)碎片區(qū)域融合的裝置包括搜索框建立單元1、碎片候選區(qū)域獲 取單元2、融合區(qū)域獲取單元3、融合區(qū)域可靠性判斷單元4、和融合信息更新單元5。搜索框建立單元1，用于根據(jù)前一幀圖像中的目標(biāo)預(yù)測(cè)當(dāng)前幀圖像中的當(dāng)前幀目 標(biāo)，將所述當(dāng)前幀目標(biāo)的中心作為搜索框中心，并將所述當(dāng)前幀目標(biāo)的矩形框向四周擴(kuò)展 以獲得搜索框。
碎片候選區(qū)域獲取單元2，用于根據(jù)搜索框，選擇碎片候選區(qū)域。融合區(qū)域獲取單元3，用于對(duì)所述碎片候選區(qū)域進(jìn)行融合處理并獲得融合區(qū)域，計(jì)算并獲得融合區(qū)域的融合信息。融合區(qū)域可靠性判斷單元4，用于分別計(jì)算融合區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù) CmCTge、以及組成融合區(qū)域的各碎片候選區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù)Ci (i = 1，K，N)，進(jìn)行 融合區(qū)域可靠性判斷；如果CmCTge > CiG = 1，K，N)，則認(rèn)為融合區(qū)域可靠，進(jìn)入步驟105，否 則認(rèn)為融合區(qū)域不可靠，結(jié)束本流程，其中，i表示第i個(gè)碎片候選區(qū)域，N表示碎片候選區(qū) 域的個(gè)數(shù)。融合信息更新單元5，用于對(duì)可靠的融合區(qū)域進(jìn)行數(shù)據(jù)更新，輸入融合區(qū)域的融合 信息，同時(shí)刪除組成該融合區(qū)域的碎片候選區(qū)域的信息。如圖6所示，圖6示出了按照本發(fā)明的碎片候選區(qū)域獲取單元的框架圖。由圖6 可以看出，按照本發(fā)明的碎片候選區(qū)域獲取單元2包括候選區(qū)域選取模塊21、候選區(qū)域過(guò) 濾模塊22、候選區(qū)域判斷模塊23、和碎片候選區(qū)域選取模塊24。候選區(qū)域選取模塊21，用于根據(jù)搜索框，從圖像中選擇滿足一定的面積條件的前 景區(qū)域?yàn)樵撍阉骺蛑械暮蜻x區(qū)域。候選區(qū)域過(guò)濾模塊22，用于計(jì)算每個(gè)所述候選區(qū)域的矩形框邊緣與其他候選區(qū)域 的矩形框邊緣的最近距離，根據(jù)最近距離去除不符合一定的距離條件的候選區(qū)域。候選區(qū)域判斷模塊23，用于統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域內(nèi)前景面積之和 面積，計(jì)算該前景面積之和面積和與當(dāng)前幀目標(biāo)的面積的差值，計(jì)算該差值與當(dāng)前幀目標(biāo) 的面積的比值，若該比值在設(shè)定的范圍內(nèi)，則進(jìn)入步驟1024，否則結(jié)束本流程，其中，該設(shè)定 的范圍為[-T4，Τ4]，0· 4彡Τ4彡0. 6。碎片候選區(qū)域選取模塊24，用于統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域的個(gè)數(shù)，若 該個(gè)數(shù)大于第五閾值Τ5，則對(duì)候選區(qū)域的前景面積按由大到小排序，選擇前景面積最大的 前Τ5個(gè)候選區(qū)域作為碎片候選區(qū)域，否則將所有的候選區(qū)域作為碎片候選區(qū)域，其中，Τ5 可以選為3、4或5。在本發(fā)明的一個(gè)實(shí)施例中以倉(cāng)庫(kù)為場(chǎng)景，其中，第一閾值Tl = 0.8，第二閾值Τ2 = 0. 1，第三閾值Τ3 = 10個(gè)像素，第四閾值Τ4 = 0.5，第五閾值Τ5 = 4，a = 0. 1，α =0.5、 β = 0· 2、γ = 0· 3，coef = 0. 6。與現(xiàn)有技術(shù)相比，本發(fā)明所提供的目標(biāo)碎片區(qū)域融合的方法有效地解決了目標(biāo)跟 蹤中出現(xiàn)的同一目標(biāo)被碎裂成多個(gè)碎片區(qū)域的問(wèn)題，實(shí)現(xiàn)了屬于同一目標(biāo)的碎片區(qū)域的融 合，從而可以有效地減少目標(biāo)跟蹤中的丟失。需要聲明的是，上述發(fā)明內(nèi)容及具體實(shí)施方式
意在證明本發(fā)明所提供技術(shù)方案的 實(shí)際應(yīng)用，不應(yīng)解釋為對(duì)本發(fā)明保護(hù)范圍的限定。本領(lǐng)域技術(shù)人員在本發(fā)明的精神和原理 內(nèi)，當(dāng)可作各種修改、等同替換、或改進(jìn)。本發(fā)明的保護(hù)范圍以所附權(quán)利要求書(shū)為準(zhǔn)。
權(quán)利要求
一種目標(biāo)碎片區(qū)域融合的方法，其特征在于，所述方法包括以下步驟步驟101根據(jù)前一幀圖像中的目標(biāo)預(yù)測(cè)當(dāng)前幀圖像中的當(dāng)前幀目標(biāo)，將所述當(dāng)前幀目標(biāo)的中心作為搜索框中心，并將所述當(dāng)前幀目標(biāo)的矩形框向四周擴(kuò)展以獲得搜索框；步驟102根據(jù)所述搜索框，選擇碎片候選區(qū)域；步驟103對(duì)所述碎片候選區(qū)域進(jìn)行融合處理并獲得融合區(qū)域，計(jì)算并獲得融合區(qū)域的融合信息；步驟104通過(guò)分別計(jì)算融合區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù)Cmerge、以及組成融合區(qū)域的各碎片候選區(qū)域與當(dāng)前幀目標(biāo)的匹配系數(shù)Ci(i＝1，K，N)，進(jìn)行融合區(qū)域可靠性判斷；如果Cmerge＞Ci(i＝1，K，N)，則認(rèn)為融合區(qū)域可靠，進(jìn)入步驟105，否則認(rèn)為融合區(qū)域不可靠，結(jié)束本流程，其中，i表示第i個(gè)碎片候選區(qū)域，N表示碎片候選區(qū)域的個(gè)數(shù)；和步驟105對(duì)可靠的融合區(qū)域進(jìn)行數(shù)據(jù)更新，輸入融合區(qū)域的融合信息，同時(shí)刪除組成該融合區(qū)域的碎片候選區(qū)域的信息。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述搜索框根據(jù)目標(biāo)的大小、不同場(chǎng)景的 需求，按照下述公式將當(dāng)前幀目標(biāo)的矩形框向四周擴(kuò)展而獲得<formula>formula see original document page 2</formula>其中，Wtmgrt、Htogrt分別表示當(dāng)前幀目標(biāo)的矩形框的寬度和高度，Wsearch^Hsearch分別表示 搜索框的寬度和高度，a為縮放因子，-0. 25 < a < 0. 5。
3.根據(jù)權(quán)利要求1所述的方法，其中所述步驟102中選擇碎片候選區(qū)域的步驟包括 步驟1021 根據(jù)搜索框，從圖像中選擇滿足一定的面積條件的前景區(qū)域?yàn)樵撍阉骺蛑械暮蜻x區(qū)域；步驟1022 計(jì)算每個(gè)所述候選區(qū)域的矩形框邊緣與其他候選區(qū)域的矩形框邊緣的最 近距離，根據(jù)最近距離去除不符合一定的距離條件的候選區(qū)域；步驟1023 統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域內(nèi)前景面積之和面積，計(jì)算該前景 面積之和面積和與當(dāng)前幀目標(biāo)的面積的差值，計(jì)算該差值與當(dāng)前幀目標(biāo)的面積的比值，若 該比值在設(shè)定的范圍內(nèi)，則進(jìn)入步驟1024，否則結(jié)束本流程，其中，該設(shè)定的范圍為[-T4， Τ4]，0· 4 彡 T4 彡 0. 6 ；步驟1024 統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域的個(gè)數(shù)，若該個(gè)數(shù)大于第五閾值Τ5， 則對(duì)候選區(qū)域的前景面積按由大到小排序，選擇前景面積最大的前Τ5個(gè)候選區(qū)域作為碎 片候選區(qū)域，否則將所有的候選區(qū)域作為碎片候選區(qū)域，其中，Τ5為3、4或5。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟1021中滿足一定的面積條件的前景 區(qū)域是指同時(shí)滿足以下條件的前景區(qū)域(1)前景區(qū)域與搜索框的交疊部分的面積與該前景區(qū)域的面積的比值大于第一閾值Tl ；(2)前景區(qū)域內(nèi)前景面積與搜索框?qū)?yīng)的目標(biāo)面積的比值不小于第二閾值Τ2且小于1 ；其中 0. 75 ≤ Tl ≤ 0. 85,0. 05 ≤ Τ2 ≤ 0. 2。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟1022中不符合一定的距離條件的候選區(qū)域是指最近距離大于第三閾值T3的候選區(qū)域，其中Τ3為8-12個(gè)像素。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟103包括以下步驟步驟1031 搜索所述碎片候選區(qū)域的最左端和最右端的χ坐標(biāo)值、以及最上端和最下 端的y坐標(biāo)值，以最左端和最右端的χ坐標(biāo)值為縱線，以最上端和最下端的y坐標(biāo)值為橫 線，得到一個(gè)矩形框，該矩形框所圍成的區(qū)域?yàn)槿诤蠀^(qū)域；步驟1032 計(jì)算并獲得所述融合區(qū)域的融合信息，所述融合信息包括融合區(qū)域的寬 度、高度、目標(biāo)面積、直方圖及質(zhì)心坐標(biāo)，其中融合區(qū)域的寬度的計(jì)算公式為Ilight-XleftI，Xleft、Iight分別表示融合區(qū)域的矩形框的 最左端和最右端的χ坐標(biāo)值；融合區(qū)域的高度的計(jì)算公式為I Ydtwn-Yup I，Yup、Yd。wn分別表示融合區(qū)域的矩形框的最 上端和最下端的ι坐標(biāo)值；通過(guò)統(tǒng)計(jì)融合區(qū)域內(nèi)前景點(diǎn)的個(gè)數(shù)得到融合區(qū)域的目標(biāo)面積； 融合區(qū)域的直方圖通過(guò)計(jì)算融合區(qū)域的直方圖得到；分別計(jì)算融合區(qū)域內(nèi)所有前景點(diǎn)的χ坐標(biāo)、y坐標(biāo)的平均值t、Y,得到融合區(qū)域的質(zhì) 心坐標(biāo)(X , Y )。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述步驟104中，所述匹配系數(shù)Cmwge和 匹配系數(shù)Ci (i = 1，K，N)分別通過(guò)如下公式得到<formula>formula see original document page 3</formula>其中，Cdist為距離匹配系數(shù)，Chist為直方圖匹配系數(shù)，Carea為面積匹配系數(shù)，α、β、Y 分別為距離匹配權(quán)值、直方圖匹配權(quán)值、面積匹配權(quán)值，α、β、Υ按照實(shí)際場(chǎng)景需求進(jìn)行設(shè) 定，且 0< α < 1,0 < β < 1,0 < γ <1，α +β + y =1。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述距離匹配系數(shù)Cdist的計(jì)算公式如下<formula>formula see original document page 3</formula>其中，Xtmgrt、ytog。t分別為預(yù)測(cè)的目標(biāo)的中心的橫坐標(biāo)和縱坐標(biāo)，xregion> Yregion分別為融 合區(qū)域或者各碎片候選區(qū)域的中心的橫坐標(biāo)和縱坐標(biāo)，Width、height分別為目標(biāo)的寬度和 高度，coef是最小匹配系數(shù)。
9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述直方圖匹配系數(shù)Chist的計(jì)算公式如下<formula>formula see original document page 3</formula>其中，R. hist、Τ. hist分別表示融合區(qū)域或者各碎片候選區(qū)域的直方圖和目標(biāo)的直方圖。
10.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述面積匹配系數(shù)Cara的計(jì)算公式如<formula>formula see original document page 4</formula>其中，R. area, T. area分別表示區(qū)域(融合區(qū)域或者各碎片候選區(qū)域)的面積和目標(biāo) 的面積，Max ( ，·)、Min( ·，·)分別表示取最大值、最小值函數(shù)。
11.一種目標(biāo)碎片區(qū)域融合的裝置，所述裝置包括搜索框建立單元，用于根據(jù)前一幀圖像中的目標(biāo)預(yù)測(cè)當(dāng)前幀圖像中的當(dāng)前幀目標(biāo)，將 所述當(dāng)前幀目標(biāo)的中心作為搜索框中心，并將所述當(dāng)前幀目標(biāo)的矩形框向四周擴(kuò)展以獲得 搜索框；碎片候選區(qū)域獲取單元，用于根據(jù)所述搜索框，選擇碎片候選區(qū)域； 融合區(qū)域獲取單元，用于對(duì)所述碎片候選區(qū)域進(jìn)行融合處理并獲得融合區(qū)域，計(jì)算并 獲得融合區(qū)域的融合信息；融合區(qū)域可靠性判斷單元，用于分別計(jì)算融合區(qū)域與目標(biāo)的匹配系數(shù)CmCTge、以及組成 融合區(qū)域的各碎片候選區(qū)域與目標(biāo)的匹配系數(shù)Ci (i = 1，K，N)，進(jìn)行融合區(qū)域可靠性判斷； 如果CmCTge > CiG = 1，K，N)，則認(rèn)為融合區(qū)域可靠，進(jìn)入步驟105，否則認(rèn)為融合區(qū)域不可 靠，結(jié)束本流程，其中，i表示第i個(gè)碎片候選區(qū)域，N表示碎片候選區(qū)域的個(gè)數(shù)；和融合信息更新單元，用于對(duì)可靠的融合區(qū)域進(jìn)行數(shù)據(jù)更新，輸入融合區(qū)域的融合信息， 同時(shí)刪除組成該融合區(qū)域的碎片候選區(qū)域的信息。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述碎片候選區(qū)域獲取單元包括候選區(qū)域選取模塊，用于根據(jù)搜索框，從圖像中選擇滿足一定的面積條件的前景區(qū)域 為該搜索框中的候選區(qū)域；候選區(qū)域過(guò)濾模塊，用于計(jì)算每個(gè)所述候選區(qū)域的矩形框邊緣與其他候選區(qū)域的矩形 框邊緣的最近距離，根據(jù)最近距離去除不符合一定的距離條件的候選區(qū)域；候選區(qū)域判斷模塊，用于統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域內(nèi)前景面積之和面積， 計(jì)算該前景面積之和面積和與當(dāng)前幀目標(biāo)的面積的差值，計(jì)算該差值與當(dāng)前幀目標(biāo)的面積 的比值，若該比值在設(shè)定的范圍內(nèi)，則進(jìn)入步驟1024，否則結(jié)束本流程，其中，該設(shè)定的范圍 為[-T4, T4]，0. 4 彡 T4 彡 0. 6 ；和碎片候選區(qū)域選取模塊，用于統(tǒng)計(jì)符合一定的距離條件的候選區(qū)域的個(gè)數(shù)，若該個(gè)數(shù) 大于第五閾值T5，則對(duì)候選區(qū)域的前景面積按由大到小排序，選擇前景面積最大的前T5個(gè) 候選區(qū)域作為碎片候選區(qū)域，否則將所有的候選區(qū)域作為碎片候選區(qū)域，其中，T5為3、4或 5。
全文摘要
本發(fā)明提供了一種目標(biāo)碎片區(qū)域融合的方法，該方法包括根據(jù)前一幀圖像中的目標(biāo)預(yù)測(cè)當(dāng)前幀圖像中的目標(biāo)，將預(yù)測(cè)的目標(biāo)的中心作為搜索框中心，并將預(yù)測(cè)的目標(biāo)的矩形框向四周擴(kuò)展以獲得搜索框；根據(jù)所述搜索框，選擇碎片候選區(qū)域；對(duì)所述碎片候選區(qū)域進(jìn)行融合處理并獲得融合區(qū)域，并計(jì)算融合區(qū)域的融合信息；通過(guò)分別計(jì)算融合區(qū)域與目標(biāo)的匹配系數(shù)Cmerge、以及組成融合區(qū)域的各碎片候選區(qū)域與目標(biāo)的匹配系數(shù)Ci(i＝1，K，N)，進(jìn)行融合區(qū)域可靠性判斷，如果Cmerge＞Ci(i＝1，K，N)，則認(rèn)為融合區(qū)域可靠，進(jìn)入步驟105，否則結(jié)束本流程；和對(duì)可靠的融合區(qū)域進(jìn)行數(shù)據(jù)更新，輸入融合區(qū)域的融合信息，同時(shí)刪除組成該融合區(qū)域的碎片候選區(qū)域的信息。該方法可以有效地減少目標(biāo)跟蹤中的丟失。
文檔編號(hào)G06T7/00GK101807300SQ201010119419
公開(kāi)日2010年8月18日 申請(qǐng)日期2010年3月5日 優(yōu)先權(quán)日2010年3月5日
發(fā)明者黃建 申請(qǐng)人:北京智安邦科技有限公司