專(zhuān)利名稱(chēng)：視覺(jué)廣告效果評(píng)估系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種視覺(jué)廣告效果評(píng)估系統(tǒng)及方法。
背景技術(shù)：
在商業(yè)高度發(fā)達(dá)和商業(yè)競(jìng)爭(zhēng)日益激烈的現(xiàn)代社會(huì)中，廠家迫切需要了解廣告投放的效果。現(xiàn)有的廣告投放形式多樣，主要分為媒體廣告和非媒體廣告。媒體廣告指通過(guò)媒體來(lái)傳播信息的廣告，如電視廣告、報(bào)紙雜志廣告、網(wǎng)絡(luò)廣告等；而非媒體廣告則指直接面對(duì)受眾的廣告媒介形式，如廣告牌、平面招貼廣告、商場(chǎng)中的購(gòu)買(mǎi)點(diǎn)海報(bào)廣告等。媒體廣告的投放效果主要可通過(guò)媒體的影響力來(lái)評(píng)估，例如電視廣告投放時(shí)間段的收視率、報(bào)紙雜志廣告的發(fā)行量、網(wǎng)絡(luò)廣告的網(wǎng)頁(yè)點(diǎn)擊量等。相比于媒體廣告而言，非媒體廣告直接面向受眾，因而難以進(jìn)行投放效果的評(píng)估，更難以實(shí)現(xiàn)對(duì)于廣告設(shè)計(jì)質(zhì)量的評(píng)估并進(jìn)行后續(xù)的費(fèi)用支付。因此，發(fā)明設(shè)計(jì)非媒體廣告效果評(píng)測(cè)方法是非常有必要的。視覺(jué)廣告作為非媒體廣告的重要組成部分，在經(jīng)濟(jì)高速發(fā)展的社會(huì)不可或缺。目前的視覺(jué)廣告效果評(píng)估主要通過(guò)估計(jì)投放路段的人流量實(shí)現(xiàn)，其主要問(wèn)題有兩方面。一是目前人流量的獲取主要通過(guò)目測(cè)估計(jì)，精度差且不能把握不同時(shí)段人流量的變化；二是缺乏對(duì)廣告設(shè)計(jì)質(zhì)量的評(píng)價(jià)。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問(wèn)題本發(fā)明要解決的技術(shù)問(wèn)題是提供一種可以有效地實(shí)現(xiàn)對(duì)視覺(jué)廣告效果進(jìn)行評(píng)估，并能進(jìn)行廣告優(yōu)劣的評(píng)價(jià)，且評(píng)估精度高的視覺(jué)廣告效果評(píng)估系統(tǒng)及方法。( 二 )技術(shù)方案為解決上述問(wèn)題，本發(fā)明提供了一種視覺(jué)廣告效果評(píng)估系統(tǒng)，該系統(tǒng)包括采集模塊，用于按照設(shè)定的采集頻率，實(shí)時(shí)采集設(shè)定范圍內(nèi)經(jīng)過(guò)待評(píng)估的廣告牌的行人的視頻圖像、以及所述設(shè)定范圍內(nèi)的背景圖像；數(shù)據(jù)處理模塊，與所述采集模塊相連，用于根據(jù)計(jì)算機(jī)視覺(jué)方法及圖像處理方法，對(duì)所述采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過(guò)所述待評(píng)估的廣告牌的行人流量、行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)，并將所述數(shù)據(jù)發(fā)送至評(píng)估模塊；評(píng)估模塊，與所述數(shù)據(jù)處理模塊相連，用于根據(jù)所述行人流量、行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)評(píng)估所述待評(píng)估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。優(yōu)選地，所述數(shù)據(jù)處理模塊進(jìn)一步包括行人檢測(cè)單元，用于根據(jù)灰度和邊緣特征及區(qū)分式分類(lèi)器，并結(jié)合所述背景圖像，檢測(cè)所述視頻圖像中的行人；行人跟蹤單元，用于根據(jù)跟蹤算法框架及輸出為似然概率的行人檢測(cè)器獲取視頻圖像中的行人軌跡；流量統(tǒng)計(jì)單元，用于根據(jù)所述行人檢測(cè)單元檢測(cè)到的行人數(shù)量以及所述行人跟蹤單元獲取的行人軌跡，統(tǒng)計(jì)所述待評(píng)估廣告牌所在區(qū)域的行人流量；人臉檢測(cè)及姿態(tài)估計(jì)單元，用于根據(jù)基于灰度及邊緣特征的樹(shù)狀結(jié)構(gòu)多分類(lèi)器，并結(jié)合背景圖像，檢測(cè)不同姿態(tài)的人臉，并根據(jù)檢測(cè)結(jié)果以及回歸算法，統(tǒng)計(jì)人臉朝向；統(tǒng)計(jì)單元，用于根據(jù)所述人臉檢測(cè)及姿態(tài)估計(jì)單元的統(tǒng)計(jì)結(jié)果，以及所述采集頻率，統(tǒng)計(jì)行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)，并發(fā)送至所述評(píng)估模塊。本發(fā)明還提供了一種基于上述視覺(jué)廣告效果評(píng)估系統(tǒng)的視覺(jué)廣告效果評(píng)估方法， 該方法包括步驟SI.采集模塊按照設(shè)定采集頻率，實(shí)時(shí)采集設(shè)定范圍內(nèi)經(jīng)過(guò)待評(píng)估的廣告牌的行人的視頻圖像；S2.數(shù)據(jù)處理模塊根據(jù)計(jì)算機(jī)視覺(jué)方法及圖像處理方法，對(duì)所述采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過(guò)所述待評(píng)估的廣告牌的行人流量、行人觀看比例以及行人觀看的時(shí)間數(shù)據(jù)，并將所述數(shù)據(jù)發(fā)送至評(píng)估模塊；S3.評(píng)估模塊根據(jù)所述行人流量、行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)評(píng)估所述待評(píng)估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。優(yōu)選地,步驟S2進(jìn)一步包括S2. I根據(jù)結(jié)合灰度和邊緣特征及區(qū)分式分類(lèi)器，檢測(cè)所述視頻圖像中的行人；S2. 2結(jié)合跟蹤算法框架以及輸出為似然概率的行人檢測(cè)器，獲取視頻圖像中的行人軌跡；S2. 3根據(jù)結(jié)合灰度和邊緣特征的樹(shù)狀結(jié)構(gòu)的多分類(lèi)器檢測(cè)不同姿態(tài)的人臉，并根據(jù)檢測(cè)結(jié)果以及所述回歸算法，統(tǒng)計(jì)人臉朝向；S2. 4根據(jù)步驟S2. 3的統(tǒng)計(jì)結(jié)果以及采集頻率，統(tǒng)計(jì)行人觀看比例以及行人觀看的時(shí)間數(shù)據(jù)。優(yōu)選地,步驟S2. I進(jìn)一步包括S2. 11將行人按姿態(tài)分為正面/背面、及側(cè)面兩類(lèi)，并利用行人樣本圖像訓(xùn)練基于灰度和邊緣特征的區(qū)分行人/非行人的分類(lèi)器；S2. 12在視頻圖像中搜索子窗口并利用所述區(qū)分行人/非行人的分類(lèi)器判別所述子窗口是否為行人區(qū)域，并根據(jù)背景圖像以及運(yùn)動(dòng)目標(biāo)檢測(cè)算法，檢測(cè)所述視頻圖像中的行人。優(yōu)選地,步驟S2. 2進(jìn)一步包括S2. 21根據(jù)行人的姿態(tài)估計(jì)行人可能的運(yùn)動(dòng)方向來(lái)設(shè)置跟蹤算法框架的運(yùn)動(dòng)模型；S2. 22利用所述運(yùn)動(dòng)模型的預(yù)測(cè)姿態(tài)的行人檢測(cè)器的輸出似然概率設(shè)計(jì)跟蹤算法框架的觀測(cè)模型；S2. 23根據(jù)度量模型獲取行人軌跡，所述度量模型由所述運(yùn)動(dòng)模型及觀測(cè)模型得到的所有結(jié)果融合得到。優(yōu)選地,步驟S2. 3進(jìn)一步包括S2. 31利用人臉樣本圖像訓(xùn)練結(jié)合灰度和邊緣特征的樹(shù)狀結(jié)構(gòu)的多分類(lèi)器，以及以人臉朝向?yàn)檩敵龅碾S機(jī)回歸森林；S2. 32根據(jù)所述樹(shù)狀結(jié)構(gòu)的多分類(lèi)器檢測(cè)不同姿態(tài)下的人臉；S2. 33根據(jù)步驟S2. 32的檢測(cè)結(jié)果，從圖像中切割出人臉區(qū)域子圖像，并將其提取特征作為訓(xùn)練好的隨機(jī)回歸森林中所有回歸樹(shù)的輸入；3/6頁(yè)S2. 34平均所有回歸樹(shù)的估計(jì)姿態(tài)角，得到人臉朝向的統(tǒng)計(jì)結(jié)果。優(yōu)選地，使用窮舉搜索法進(jìn)行步驟S2. 12中的行人的檢測(cè)，以及步驟S2. 32中的人臉姿態(tài)的檢測(cè)。(三)有益效果本發(fā)明的系統(tǒng)及方法可以有效地實(shí)現(xiàn)對(duì)視覺(jué)廣告的投放效果進(jìn)行評(píng)估，并提供評(píng)價(jià)廣告優(yōu)劣的評(píng)價(jià)標(biāo)準(zhǔn)和廣告收費(fèi)參考，解決了非媒體視覺(jué)廣告效果評(píng)估難的問(wèn)題。


圖I為依照本發(fā)明一種實(shí)施方式的視覺(jué)廣告效果評(píng)估系統(tǒng)的結(jié)構(gòu)框圖；圖2為依照本發(fā)明一種實(shí)施方式的視覺(jué)廣告效果評(píng)估方法的流程圖；圖3為級(jí)聯(lián)分類(lèi)器結(jié)構(gòu)示意圖；圖4為樹(shù)結(jié)構(gòu)人臉檢測(cè)分類(lèi)器結(jié)構(gòu)示意圖；圖5為依照本發(fā)明一種實(shí)施方式的視覺(jué)廣告效果評(píng)估方法原理框圖。
具體實(shí)施例方式本發(fā)明提出的視覺(jué)廣告效果評(píng)估系統(tǒng)及方法，結(jié)合附圖及實(shí)施例詳細(xì)說(shuō)明如下。本發(fā)明針對(duì)視覺(jué)廣告提出了一種基于圖像處理和計(jì)算機(jī)視覺(jué)方法的視覺(jué)廣告效果評(píng)估系統(tǒng)。使用攝像頭對(duì)廣告牌前的路段進(jìn)行監(jiān)控，并根據(jù)采集到的視頻圖像對(duì)該路段的人流量以及廣告對(duì)行人的吸引程度進(jìn)行統(tǒng)計(jì)，最終獲取廣告效果的評(píng)估參數(shù)。本發(fā)明方法使用行人流量、駐足觀看行人比例以及行人觀看廣告時(shí)間三個(gè)參數(shù)對(duì)視覺(jué)廣告效果提供評(píng)估檢測(cè)參考。本發(fā)明系統(tǒng)可實(shí)現(xiàn)如下四個(gè)方面的用途檢測(cè)出經(jīng)過(guò)廣告牌的人數(shù)；獲取觀看廣告牌的人的個(gè)數(shù)；提取出單個(gè)人對(duì)于廣告的注意時(shí)間；定時(shí)將上述數(shù)據(jù)通過(guò)網(wǎng)絡(luò)發(fā)送回統(tǒng)計(jì)中心，并進(jìn)一步評(píng)價(jià)出廣告牌的效果。本發(fā)明的主要思路為首先在廣告牌的上方設(shè)置攝像頭實(shí)時(shí)采集視頻圖像。通過(guò)行人檢測(cè)和跟蹤算法檢測(cè)攝像頭視角內(nèi)的行人并進(jìn)一步統(tǒng)計(jì)行人流量，以此作為廣告牌安放位置是否合適的標(biāo)準(zhǔn)；對(duì)于攝像頭視角內(nèi)的行人，通過(guò)人臉檢測(cè)定位其人臉區(qū)域并利用人臉姿態(tài)估計(jì)算法獲取人臉朝向，判斷行人是否被廣告吸引并觀看廣告牌。結(jié)合圖像的采集頻率統(tǒng)計(jì)駐足行人的停留時(shí)間和觀看時(shí)間，根據(jù)停留時(shí)間評(píng)價(jià)廣告投放路段是否合理，根據(jù)觀看時(shí)間評(píng)價(jià)廣告內(nèi)容是否吸引人。綜合考慮以上各參數(shù)來(lái)實(shí)現(xiàn)對(duì)于視覺(jué)廣告效果的評(píng)估。其評(píng)估結(jié)果可作為廣告優(yōu)劣的評(píng)價(jià)標(biāo)準(zhǔn)和廣告收費(fèi)的參考。如圖I所示，依照本發(fā)明一種實(shí)施方式的視覺(jué)廣告效果評(píng)估系統(tǒng)，包括采集模塊，用于按照設(shè)定的采集頻率，實(shí)時(shí)采集設(shè)定范圍內(nèi)經(jīng)過(guò)待評(píng)估的廣告牌的行人的視頻圖像、以及設(shè)定范圍內(nèi)的背景圖像，該模塊優(yōu)選為設(shè)置在廣告牌上方的攝像頭，該設(shè)定范圍為攝像頭的視角。數(shù)據(jù)處理模塊，與采集模塊相連，用于根據(jù)計(jì)算機(jī)視覺(jué)方法及圖像處理方法，對(duì)采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過(guò)待評(píng)估的廣告牌的行人流量、行人觀看比例以及行人觀看的時(shí)間數(shù)據(jù)，并將上述數(shù)據(jù)發(fā)送至評(píng)估模塊。評(píng)估模塊，優(yōu)選通過(guò)網(wǎng)絡(luò)與數(shù)據(jù)處理模塊相連，用于根據(jù)行人流量、行人觀看比例
6以及行人觀看時(shí)間數(shù)據(jù)評(píng)估待評(píng)估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。其中，數(shù)據(jù)處理模塊進(jìn)一步包括行人檢測(cè)單元，用于根據(jù)結(jié)合灰度和邊緣特征及區(qū)分式分類(lèi)器，并結(jié)合背景圖像， 檢測(cè)視頻圖像中的行人。行人跟蹤單元，由于單個(gè)行人可能在連續(xù)幀中多次出現(xiàn)，需要對(duì)單個(gè)行人的軌跡進(jìn)行分析，因此，該模塊用于根據(jù)跟蹤算法框架及輸出為似然概率的行人檢測(cè)器獲取視頻圖像中的行人軌跡。流量統(tǒng)計(jì)單元，用于在圖像中設(shè)置感興趣區(qū)域(Region Of Interest, R0I),對(duì)于單幅圖像，根據(jù)行人檢測(cè)單元檢測(cè)到的行人數(shù)量以及行人跟蹤單元獲取的行人軌跡，統(tǒng)計(jì)待評(píng)估廣告牌所在區(qū)域的行人流量。人臉檢測(cè)及姿態(tài)估計(jì)單元，用于根據(jù)基于灰度和邊緣特征的樹(shù)狀結(jié)構(gòu)的多分類(lèi)器，并結(jié)合背景圖像，檢測(cè)不同姿態(tài)的人臉，并根據(jù)檢測(cè)結(jié)果以及回歸算法(隨機(jī)回歸森林，random forest regression),統(tǒng)計(jì)人臉朝向。由于廣告牌所在區(qū)域背景比較復(fù)雜，因此需要適合復(fù)雜背景下的人臉檢測(cè)算法，由于人臉姿態(tài)變化造成人臉樣本的類(lèi)內(nèi)方差大， 但分類(lèi)器很難解決多姿態(tài)的人臉檢測(cè)，因此，本發(fā)明的系統(tǒng)中的多姿態(tài)人臉?lè)诸?lèi)器為樹(shù)狀結(jié)構(gòu)、且結(jié)合灰度和邊緣特征。對(duì)于視頻圖像的每一幀，根據(jù)多姿態(tài)人臉檢測(cè)的結(jié)果從圖像中切割出人臉區(qū)域并將其作為訓(xùn)練好的隨機(jī)回歸森林的輸入，最終得到人臉朝向的統(tǒng)計(jì)結(jié)果。統(tǒng)計(jì)單元，用于根據(jù)人臉檢測(cè)及姿態(tài)估計(jì)單元的統(tǒng)計(jì)結(jié)果，以及采集頻率，統(tǒng)計(jì)行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)，并發(fā)送至評(píng)估模塊。如圖2所示，基于上述視覺(jué)廣告效果評(píng)估系統(tǒng)的視覺(jué)廣告效果評(píng)估方法包括步驟SI.采集模塊按照設(shè)定采集頻率，實(shí)時(shí)采集設(shè)定范圍內(nèi)經(jīng)過(guò)待評(píng)估的廣告牌的行人的視頻圖像；S2.數(shù)據(jù)處理模塊根據(jù)計(jì)算機(jī)視覺(jué)方法及圖像處理方法，對(duì)采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過(guò)待評(píng)估的廣告牌的行人流量、行人觀看比例以及行人觀看的時(shí)間數(shù)據(jù)，并將上述數(shù)據(jù)發(fā)送至評(píng)估模塊；S3.評(píng)估模塊根據(jù)行人流量、行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)評(píng)估待評(píng)估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。在本發(fā)明中，要需要采集和標(biāo)定以下三方面的樣本，以用于行人檢測(cè)、行人跟蹤、 以及多姿態(tài)人臉檢測(cè)以及姿態(tài)估計(jì)I、行人樣本圖像，包括正面/背面、側(cè)面兩類(lèi)行人樣本圖像；2、人臉樣本圖像，包括各個(gè)姿態(tài)的人臉樣本圖像以及相對(duì)應(yīng)的姿態(tài)值；3、背景圖像，其中不包含行人，用于在離線訓(xùn)練階段隨機(jī)提取負(fù)樣本圖像。步驟S2進(jìn)一步包括S2. I根據(jù)結(jié)合灰度和邊緣特征及區(qū)分式分類(lèi)器，檢測(cè)視頻圖像中的行人；S2. 2結(jié)合跟蹤算法框架以及輸出為似然概率的行人檢測(cè)器，獲取視頻圖像中的行人軌跡；S2. 3根據(jù)結(jié)合灰度和邊緣特征的樹(shù)狀結(jié)構(gòu)的多分類(lèi)器檢測(cè)不同姿態(tài)的人臉，并根據(jù)檢測(cè)結(jié)果以及回歸算法(隨機(jī)回歸森林)，統(tǒng)計(jì)人臉朝向；S2. 4根據(jù)步驟S2. 3的統(tǒng)計(jì)結(jié)果以及采集頻率，統(tǒng)計(jì)行人觀看比例以及行人觀看的時(shí)間數(shù)據(jù)。其中，步驟S2. I進(jìn)一步包括S2. 11考慮到行人姿的變化對(duì)檢測(cè)效果的影響，將行人按姿態(tài)分為正面/背面、及側(cè)面兩類(lèi)，并利用行人樣本圖像離線訓(xùn)練基于灰度和邊緣特征的分類(lèi)器。分類(lèi)器采用如圖3 所示的級(jí)聯(lián)結(jié)構(gòu)，對(duì)于級(jí)聯(lián)結(jié)構(gòu)中的每一層，在保證檢測(cè)率的條件下盡可能的降低虛警率。 僅通過(guò)前N-I層的行人/非行人樣本可作為第N層分類(lèi)器訓(xùn)練的正負(fù)樣本。對(duì)于每一層， 可訓(xùn)練基于灰度或邊緣特征的分類(lèi)器，并調(diào)整分類(lèi)器閾值以保證檢測(cè)率要求。S2. 12在視頻圖像中搜索子窗口并利用兩個(gè)分類(lèi)器判別子窗口是否為行人區(qū)域， 并根據(jù)背景圖像以及運(yùn)動(dòng)目標(biāo)檢測(cè)算法，檢測(cè)視頻圖像中的行人。通過(guò)所有的級(jí)聯(lián)分類(lèi)器的即可視作行人?？紤]到行人的運(yùn)動(dòng)變化有助于目標(biāo)檢測(cè)，因此在該步驟中，利用背景建模和前景檢測(cè)等運(yùn)動(dòng)目標(biāo)檢測(cè)算法去除背景區(qū)域以更加有效地對(duì)運(yùn)動(dòng)行人進(jìn)行檢測(cè)。優(yōu)選的行人檢測(cè)方法為窮舉搜索法首先按一定比例(如I. 25)對(duì)圖像進(jìn)行縮放， 并在縮放后的圖像中對(duì)樣本尺寸(行人樣本圖像的歸一化尺寸)的窗口進(jìn)行窮舉搜索；對(duì)于每個(gè)窗口，利用上述分類(lèi)器進(jìn)行判別是否是行人區(qū)域，若是，則保存窗口參數(shù)。最終對(duì)所有尺寸下的檢測(cè)結(jié)果進(jìn)行聚類(lèi)融合得到行人檢測(cè)的結(jié)果。由于單個(gè)行人可能在連續(xù)幀中多次出現(xiàn)，因此需要對(duì)單個(gè)行人的軌跡進(jìn)行分析。 步驟S2. 2進(jìn)一步包括S2. 21根據(jù)行人的姿態(tài)估計(jì)行人可能的運(yùn)動(dòng)方向來(lái)設(shè)置跟蹤算法框架的運(yùn)動(dòng)模型，該模型用于估計(jì)人的姿態(tài)變化并設(shè)置下一時(shí)刻的可能姿態(tài)；S2. 22利用運(yùn)動(dòng)模型的預(yù)測(cè)姿態(tài)的行人檢測(cè)器的輸出似然概率設(shè)計(jì)跟蹤算法框架的觀測(cè)模型；S2. 23根據(jù)度量模型獲取行人軌跡，度量模型由運(yùn)動(dòng)模型及觀測(cè)模型得到的所有結(jié)果融合得到。在圖像中設(shè)置R0I，對(duì)于單幅圖像，根據(jù)檢測(cè)到的行人數(shù)量來(lái)統(tǒng)計(jì)人流量?？紤]到在不同視頻幀中行人檢測(cè)的結(jié)果可能重合，為更精確地估計(jì)人流量，結(jié)合行人軌跡判斷統(tǒng)計(jì)處廣告牌所在區(qū)域來(lái)往的人流量。步驟S2. 3進(jìn)一步包括S2. 31利用人臉樣本圖像訓(xùn)練結(jié)合灰度和邊緣特征訓(xùn)練樹(shù)狀結(jié)構(gòu)的多分類(lèi)器，以及以人臉朝向?yàn)檩敵龅碾S機(jī)回歸森林。姿態(tài)變化造成人臉正樣本類(lèi)內(nèi)方差大，因而難以用單個(gè)分類(lèi)器高效地完成區(qū)分人臉/非人臉的任務(wù)。綜合考慮各個(gè)姿態(tài)人臉之間的相似點(diǎn)和人臉對(duì)稱(chēng)性，如圖4所示，各級(jí)分類(lèi)器對(duì)應(yīng)的人臉樣本如下Level 0 :左右半邊臉；Level I :右半臉及左半臉的水平鏡像；Level 2 :各個(gè)角度的人臉樣本，分別為正面人臉、左半側(cè)人臉、左全側(cè)人臉。與分類(lèi)器I類(lèi)似，分類(lèi)器2也有三個(gè)子節(jié)點(diǎn)，分別為正面人臉、右半側(cè)人臉和右全側(cè)人臉?？紤]到人臉的對(duì)稱(chēng)性，分類(lèi)器2及其子節(jié)點(diǎn)分類(lèi)器不需要特別訓(xùn)練，僅需將分類(lèi)器 I及其子節(jié)點(diǎn)分類(lèi)器做水平翻轉(zhuǎn)即可。對(duì)于每個(gè)節(jié)點(diǎn)，訓(xùn)練如圖3所示的級(jí)聯(lián)結(jié)構(gòu)分類(lèi)器， 單個(gè)節(jié)點(diǎn)的分類(lèi)器由多個(gè)級(jí)聯(lián)的分類(lèi)器串聯(lián)而成。考慮到各姿態(tài)人臉?biāo)嫉膮^(qū)域大小和形狀并不一致，識(shí)別單個(gè)姿態(tài)的有效特征在識(shí)別其他姿態(tài)時(shí)可能無(wú)效，因此選擇回歸樹(shù)算法；由于單棵回歸樹(shù)的精度不高并且不夠穩(wěn)定，因此使用Bagging策略組合多棵回歸樹(shù)，即使用回歸森林估計(jì)頭部姿態(tài)。在每棵回歸樹(shù)的非葉子節(jié)點(diǎn)存儲(chǔ)一個(gè)依賴(lài)于特征的二值判定，而在葉子節(jié)點(diǎn)則存儲(chǔ)姿態(tài)估計(jì)值。S2. 32根據(jù)所述樹(shù)狀結(jié)構(gòu)的多分類(lèi)器檢測(cè)不同姿態(tài)下的人臉。類(lèi)似于行人檢測(cè)，也使用窮舉方法結(jié)合多姿態(tài)人臉?lè)诸?lèi)器實(shí)現(xiàn)人臉檢測(cè)。為減少搜索范圍，僅在行人區(qū)域的上半部分進(jìn)行多姿態(tài)人臉檢測(cè)。注意的是在樹(shù)狀多姿態(tài)的每個(gè)節(jié)點(diǎn)的樣本尺寸并不相同，因此在通過(guò)I級(jí)分類(lèi)器后，需要將人臉窗口進(jìn)行拓展，即根據(jù)通過(guò)半臉檢測(cè)器的圖像子窗口的大小和位置估計(jì)整個(gè)人臉窗口位置及大小并將其送入子節(jié)點(diǎn)分類(lèi)器進(jìn)行進(jìn)一步的檢測(cè)。S2. 33根據(jù)步驟S2. 32的檢測(cè)結(jié)果，從圖像中切割出人臉區(qū)域子圖像，并將其提取特征作為訓(xùn)練好的隨機(jī)回歸森林中所有回歸樹(shù)的輸入；S2. 34平均所有回歸樹(shù)的估計(jì)姿態(tài)角，得到人臉朝向的統(tǒng)計(jì)結(jié)果。在步驟S3中，主要任務(wù)是根據(jù)前兩個(gè)步驟獲得的統(tǒng)計(jì)量對(duì)廣告效果進(jìn)行評(píng)估?？梢越o出如下兩個(gè)方面的視覺(jué)廣告評(píng)估參數(shù)I、廣告牌設(shè)置方位的合適程度，主要通過(guò)視頻中感興趣區(qū)域的人流量統(tǒng)計(jì)實(shí)現(xiàn)；2、廣告內(nèi)容的吸引程度，這主要通過(guò)觀看行人占所有行人的比例、行人觀看時(shí)間等統(tǒng)計(jì)量進(jìn)行評(píng)估。整個(gè)評(píng)估方法的原理框圖如圖5所示。本系統(tǒng)及方法具備以下三個(gè)方面的特點(diǎn)I、首次將圖像處理和計(jì)算機(jī)視覺(jué)技術(shù)引入視覺(jué)廣告的評(píng)價(jià)體系中。廣告投放的效果對(duì)于廠家而言非常重要，而對(duì)于廣告牌等非媒體廣告形式而言，一直缺乏一個(gè)有效的效果評(píng)價(jià)系統(tǒng)。本發(fā)明方法針對(duì)平面視覺(jué)廣告，通過(guò)在廣告牌上方設(shè)置安裝攝像頭并獲取分析視頻圖像來(lái)評(píng)估廣告投放效果。2、在根據(jù)視頻圖像獲取行人流量、行人觀看時(shí)間等參數(shù)時(shí)采用了多種計(jì)算機(jī)視覺(jué)的關(guān)鍵技術(shù)。并結(jié)合該分類(lèi)器的輸出構(gòu)建跟蹤算法模型以實(shí)現(xiàn)在視頻中的實(shí)時(shí)行人檢測(cè)， 最后綜合利用行人檢測(cè)和跟蹤算法實(shí)現(xiàn)在視頻圖像中檢測(cè)行人。3、在檢測(cè)廣告效果時(shí)，并不局限于人流量的檢測(cè)，還針對(duì)廣告牌的吸引程度進(jìn)一步提取更高層次的廣告效果評(píng)測(cè)參數(shù)。當(dāng)行人在感興趣區(qū)域中時(shí)，該系統(tǒng)檢測(cè)人臉并進(jìn)行姿態(tài)和朝向估計(jì)，從而判斷廣告牌是否引起該行人的注意。該參數(shù)的獲取可讓廠家進(jìn)一步對(duì)于廣告設(shè)計(jì)的質(zhì)量進(jìn)行評(píng)估。以上實(shí)施方式僅用于說(shuō)明本發(fā)明，而并非對(duì)本發(fā)明的限制。盡管參照實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，對(duì)本發(fā)明的技術(shù)方案進(jìn)行各種組合、修改或者等同替換，都不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
9
權(quán)利要求
1.一種視覺(jué)廣告效果評(píng)估系統(tǒng)，其特征在于，該系統(tǒng)包括采集模塊，用于按照設(shè)定的采集頻率，實(shí)時(shí)采集設(shè)定范圍內(nèi)經(jīng)過(guò)待評(píng)估的廣告牌的行人的視頻圖像、以及所述設(shè)定范圍內(nèi)的背景圖像；數(shù)據(jù)處理模塊，與所述采集模塊相連，用于根據(jù)計(jì)算機(jī)視覺(jué)方法及圖像處理方法，對(duì)所述采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過(guò)所述待評(píng)估的廣告牌的行人流量、行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)，并將所述數(shù)據(jù)發(fā)送至評(píng)估模塊；評(píng)估模塊，與所述數(shù)據(jù)處理模塊相連，用于根據(jù)所述行人流量、行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)評(píng)估所述待評(píng)估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。
2.如權(quán)利要求I所述的視覺(jué)廣告效果評(píng)估系統(tǒng)，其特征在于，所述數(shù)據(jù)處理模塊進(jìn)一步包括行人檢測(cè)單元，用于根據(jù)灰度和邊緣特征及區(qū)分式分類(lèi)器，并結(jié)合所述背景圖像，檢測(cè)所述視頻圖像中的行人；行人跟蹤單元，用于根據(jù)跟蹤算法框架及輸出為似然概率的行人檢測(cè)器獲取視頻圖像中的行人軌跡；流量統(tǒng)計(jì)單元，用于根據(jù)所述行人檢測(cè)單元檢測(cè)到的行人數(shù)量以及所述行人跟蹤單元獲取的行人軌跡，統(tǒng)計(jì)所述待評(píng)估廣告牌所在區(qū)域的行人流量；人臉檢測(cè)及姿態(tài)估計(jì)單元，用于根據(jù)基于灰度及邊緣特征的樹(shù)狀結(jié)構(gòu)多分類(lèi)器，并結(jié)合背景圖像，檢測(cè)不同姿態(tài)的人臉，并根據(jù)檢測(cè)結(jié)果以及回歸算法，統(tǒng)計(jì)人臉朝向；統(tǒng)計(jì)單元，用于根據(jù)所述人臉檢測(cè)及姿態(tài)估計(jì)單元的統(tǒng)計(jì)結(jié)果，以及所述采集頻率，統(tǒng)計(jì)行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)，并發(fā)送至所述評(píng)估模塊。
3.一種基于權(quán)利要求1-2任一項(xiàng)所述的視覺(jué)廣告效果評(píng)估系統(tǒng)的視覺(jué)廣告效果評(píng)估方法，其特征在于，該方法包括步驟51.采集模塊按照設(shè)定采集頻率，實(shí)時(shí)采集設(shè)定范圍內(nèi)經(jīng)過(guò)待評(píng)估的廣告牌的行人的視頻圖像；52.數(shù)據(jù)處理模塊根據(jù)計(jì)算機(jī)視覺(jué)方法及圖像處理方法，對(duì)所述采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過(guò)所述待評(píng)估的廣告牌的行人流量、行人觀看比例以及行人觀看的時(shí)間數(shù)據(jù)，并將所述數(shù)據(jù)發(fā)送至評(píng)估模塊;53.評(píng)估模塊根據(jù)所述行人流量、行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)評(píng)估所述待評(píng)估廣告的設(shè)置方位和適度以及內(nèi)容吸引度。
4.如權(quán)利要求3所述的視覺(jué)廣告效果評(píng)估方法，其特征在于，步驟S2進(jìn)一步包括S2. I根據(jù)結(jié)合灰度和邊緣特征及區(qū)分式分類(lèi)器，檢測(cè)所述視頻圖像中的行人；S2. 2結(jié)合跟蹤算法框架以及輸出為似然概率的行人檢測(cè)器，獲取視頻圖像中的行人軌跡；S2. 3根據(jù)結(jié)合灰度和邊緣特征的樹(shù)狀結(jié)構(gòu)的多分類(lèi)器檢測(cè)不同姿態(tài)的人臉，并根據(jù)檢測(cè)結(jié)果以及所述回歸算法，統(tǒng)計(jì)人臉朝向；S2. 4根據(jù)步驟S2. 3的統(tǒng)計(jì)結(jié)果以及采集頻率，統(tǒng)計(jì)行人觀看比例以及行人觀看的時(shí)間數(shù)據(jù)。
5.如權(quán)利要求4所述的視覺(jué)廣告效果評(píng)估方法，其特征在于，步驟S2.I進(jìn)一步包括 S2. 11將行人按姿態(tài)分為正面/背面、及側(cè)面兩類(lèi)，并利用行人樣本圖像訓(xùn)練基于灰度和邊緣特征的區(qū)分行人/非行人的分類(lèi)器；S2. 12在視頻圖像中搜索子窗口并利用所述區(qū)分行人/非行人的分類(lèi)器判別所述子窗口是否為行人區(qū)域，并根據(jù)背景圖像以及運(yùn)動(dòng)目標(biāo)檢測(cè)算法，檢測(cè)所述視頻圖像中的行人。
6.如權(quán)利要求5所述的視覺(jué)廣告效果評(píng)估方法，其特征在于，步驟S2.2進(jìn)一步包括 S2. 21根據(jù)行人的姿態(tài)估計(jì)行人可能的運(yùn)動(dòng)方向來(lái)設(shè)置跟蹤算法框架的運(yùn)動(dòng)模型；S2. 22利用所述運(yùn)動(dòng)模型的預(yù)測(cè)姿態(tài)的行人檢測(cè)器的輸出似然概率設(shè)計(jì)跟蹤算法框架的觀測(cè)模型；S2. 23根據(jù)度量模型獲取行人軌跡，所述度量模型由所述運(yùn)動(dòng)模型及觀測(cè)模型得到的所有結(jié)果融合得到。
7.如權(quán)利要求6所述的視覺(jué)廣告效果評(píng)估方法，其特征在于，步驟S2.3進(jìn)一步包括 S2. 31利用人臉樣本圖像訓(xùn)練結(jié)合灰度和邊緣特征的樹(shù)狀結(jié)構(gòu)的多分類(lèi)器，以及以人臉朝向?yàn)檩敵龅碾S機(jī)回歸森林；S2. 32根據(jù)所述樹(shù)狀結(jié)構(gòu)的多分類(lèi)器檢測(cè)不同姿態(tài)下的人臉；S2. 33根據(jù)步驟S2. 32的檢測(cè)結(jié)果，從圖像中切割出人臉區(qū)域子圖像，并將其提取特征作為訓(xùn)練好的隨機(jī)回歸森林中所有回歸樹(shù)的輸入；S2.34平均所有回歸樹(shù)的估計(jì)姿態(tài)角，得到人臉朝向的統(tǒng)計(jì)結(jié)果。
8.如權(quán)利要求7所述的視覺(jué)廣告效果評(píng)估方法，其特征在于，使用窮舉搜索法進(jìn)行步驟S2. 12中的行人的檢測(cè)，以及步驟S2. 32中的人臉姿態(tài)的檢測(cè)。
全文摘要
本發(fā)明公開(kāi)了一種視覺(jué)廣告效果評(píng)估系統(tǒng)及方法，圖像處理及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域。該系統(tǒng)包括采集模塊，用于按照設(shè)定的采集頻率，實(shí)時(shí)采集設(shè)定范圍內(nèi)經(jīng)過(guò)待評(píng)估的廣告牌的行人的視頻圖像、以及設(shè)定范圍內(nèi)的背景圖像；數(shù)據(jù)處理模塊，用于根據(jù)計(jì)算機(jī)視覺(jué)方法及圖像處理方法，對(duì)采集模塊采集到的視頻圖像進(jìn)行處理，獲取經(jīng)過(guò)待評(píng)估的廣告牌的行人流量、行人觀看比例以及行人觀看時(shí)間數(shù)據(jù)，并將數(shù)據(jù)發(fā)送至評(píng)估模塊；評(píng)估模塊，用于根據(jù)所述行人流量、行人觀看比例以及行人觀看的時(shí)間數(shù)據(jù)評(píng)估所述待評(píng)估廣告的設(shè)置方位和適度以及內(nèi)容吸引度?？梢杂行У貙?shí)現(xiàn)對(duì)視覺(jué)廣告效果進(jìn)行評(píng)估，并能進(jìn)行廣告優(yōu)劣的評(píng)價(jià)，且評(píng)估精度高。
文檔編號(hào)G06K9/00GK102542492SQ201210006449
公開(kāi)日2012年7月4日 申請(qǐng)日期2012年1月10日 優(yōu)先權(quán)日2012年1月10日
發(fā)明者丁曉青, 方馳, 李亞利, 王生進(jìn) 申請(qǐng)人:清華大學(xué)