本發(fā)明涉及圖像處理中的目標(biāo)檢測領(lǐng)域，尤其是涉及了一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法。

背景技術(shù)：

自然界的一切圖像都是連續(xù)變化的模擬圖像，在日常生活中，這些圖像中的運動目標(biāo)往往是我們比較關(guān)心的，如：行人、行駛的交通工具以及其他的物體。目標(biāo)檢測和識別是計算機(jī)視覺和數(shù)字圖像處理的一個熱門方向，廣泛應(yīng)用于機(jī)器人導(dǎo)航、智能視頻監(jiān)控、工業(yè)檢測、航空航天等諸多領(lǐng)域。因此，目標(biāo)檢測也就成為了近年來理論和應(yīng)用的研究熱點，它是圖像處理和計算機(jī)視覺學(xué)科的重要分支，也是智能監(jiān)控系統(tǒng)的核心部分。它的目的就是如何快速、準(zhǔn)確地檢測出監(jiān)控視頻中的目標(biāo)，即從序列圖像中將目標(biāo)提取出來。迄今，目標(biāo)類別檢測器的訓(xùn)練已經(jīng)存在很多方法，如何在盡量減少人的標(biāo)注工作的同時訓(xùn)練出高質(zhì)量的檢測器具有重要的現(xiàn)實意義。

本發(fā)明提出了一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法，其主要內(nèi)容包括：點擊監(jiān)督、弱監(jiān)督目標(biāo)定位、眾包架構(gòu)、點擊監(jiān)督與弱監(jiān)督目標(biāo)定位的合并，其過程為，要求標(biāo)注者去點擊緊密包圍目標(biāo)中實體的虛構(gòu)邊界框的中心，然后將這些所點擊點合并到現(xiàn)有的用于弱監(jiān)督目標(biāo)定位的多實體學(xué)習(xí)技術(shù)中，這樣就可以在所有訓(xùn)練圖像上共同進(jìn)行目標(biāo)邊界框的定位。本發(fā)明訓(xùn)練出了高質(zhì)量的目標(biāo)類別檢測器，其表現(xiàn)比用弱監(jiān)督訓(xùn)練技術(shù)所產(chǎn)生的檢測器要好得多，并且還可以進(jìn)行適度的額外標(biāo)注。這些檢測器的執(zhí)行結(jié)果實際上在一定范圍內(nèi)接近手動繪制邊界框所訓(xùn)練的結(jié)果，且由于中心點擊任務(wù)執(zhí)行的非?？?，此發(fā)明將總標(biāo)注時間縮短了9倍到18倍。

技術(shù)實現(xiàn)要素：

針對本發(fā)明訓(xùn)練出了高質(zhì)量的目標(biāo)類別檢測器，其表現(xiàn)比用弱監(jiān)督訓(xùn)練技術(shù)所產(chǎn)生的檢測器要好得多，并且還可以進(jìn)行適度的額外標(biāo)注。這些檢測器的執(zhí)行結(jié)果實際上在一定范圍內(nèi)接近手動繪制邊界框所訓(xùn)練的結(jié)果，且由于中心點擊任務(wù)執(zhí)行的非?？?，總的標(biāo)注時間縮短了9倍到18倍。

為解決上述問題，本發(fā)明提供一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法，其主要內(nèi)容包括：

(一)點擊監(jiān)督；

(二)弱監(jiān)督對象定位；

(三)眾包架構(gòu)；

(四)點擊監(jiān)督與弱監(jiān)督對象定位的合并。

其中，所述的點擊監(jiān)督，通過點擊圖像中心的方法來進(jìn)行圖像標(biāo)注，且所點擊點可以從所使用的檢測器訓(xùn)練框架中分開獨立獲取。這些所點擊點為完整的邊界框提供可靠的定位點，因為它們對邊界框的中心進(jìn)行了估計。此外，還可以要求兩個不同的標(biāo)注者對同一個目標(biāo)進(jìn)行中心點擊，即雙擊監(jiān)督。由于它們的誤差是獨立的，故可以通過對所點擊點的位置進(jìn)行平均計算以獲得目標(biāo)中心位置的更準(zhǔn)確的估計值，且兩個所點擊的點之間的距離隨物體大小增加而增加，因此這樣可以根據(jù)所點擊點之間的距離估算目標(biāo)的大小。

進(jìn)一步地，所述的弱監(jiān)督目標(biāo)定位，從一組僅僅包含一個特定目標(biāo)類別而沒有給出目標(biāo)位置的圖像來訓(xùn)練出定位方法，從而在學(xué)習(xí)一個目標(biāo)檢測器的同時在這些圖像中定位目標(biāo)，這樣就能夠在新的測試圖像中對實體進(jìn)行定位。

進(jìn)一步地，所述的眾包架構(gòu)，首先讓標(biāo)注者先讀取由圖像及其目標(biāo)類別名稱組成的指令集，然后需要通過一個交互式的訓(xùn)練階段，其中包含一個基于合成多邊形的合格性測試。在完成這個階段后，標(biāo)注者會收到一個詳細(xì)的關(guān)于他們在測試中表現(xiàn)的反饋報告，這其中通過合格性測試的標(biāo)注者就可以進(jìn)入到圖像標(biāo)注階段。這里在標(biāo)注者訓(xùn)練這個階段中，標(biāo)注者可以不斷重復(fù)合格性測試以防失敗。最后就是進(jìn)行數(shù)據(jù)收集工作，需要收集的數(shù)據(jù)包括標(biāo)注時間，標(biāo)注誤差以及標(biāo)注成本。

其中，所述的標(biāo)注者訓(xùn)練，通過合格性測試過濾掉不好的標(biāo)注者從而提高眾包數(shù)據(jù)的質(zhì)量。在合格性測試期間，標(biāo)注者需要點擊20個合成多邊形的中心。這里使用合成多邊形代替實際物體不僅保證了合格性測試的難度，還減少了標(biāo)注者的認(rèn)知負(fù)荷，從而使訓(xùn)練階段更有效率。在標(biāo)注者完成合格性測試之后，他們會收到一個反饋頁面，其中包含所有已標(biāo)注的合成多邊形實例，其中每個多邊形上都會顯示其真實中心的位置，標(biāo)注者自己點擊的位置以及這兩者之間的歐幾里得距離(誤差距離)。通過這項測試的確切標(biāo)準(zhǔn)是在測試中的所有多邊形上的平均誤差距離低于20個像素。通過合格性測試的標(biāo)注者會被記錄為合格標(biāo)注者，然后他們可以繼續(xù)進(jìn)行主要標(biāo)注任務(wù)來處理真實圖像。這里允許標(biāo)注者不斷重復(fù)合格性測試直到他們通過為止。通過把豐富的反饋結(jié)果與重復(fù)測試相結(jié)合，這個標(biāo)注者訓(xùn)練階段具備了較高的互動性與效率。

進(jìn)一步地，所述的圖像標(biāo)注，標(biāo)注者需要對20個連續(xù)出現(xiàn)的圖像進(jìn)行批量標(biāo)注，且這里每批的圖像都是單獨的目標(biāo)類別，這樣就在提高標(biāo)注準(zhǔn)確度的同時減少標(biāo)注時間。此外，此階段還采用了質(zhì)量控制方法，即在每批次的20個圖像中包含兩個隱藏了已經(jīng)標(biāo)注好邊界框的評估圖像，從而監(jiān)視標(biāo)注者的標(biāo)注準(zhǔn)確度，這里未達(dá)到所要求標(biāo)注準(zhǔn)確度的標(biāo)注者將不能提交當(dāng)前數(shù)據(jù)。

進(jìn)一步地，所述的數(shù)據(jù)收集，通過記錄從圖像出現(xiàn)開始直到標(biāo)注者進(jìn)行點擊的時間作為標(biāo)注時間，并以此體現(xiàn)標(biāo)注者的標(biāo)注效率；通過記錄標(biāo)注者的所點擊點與實際邊界框中心的距離來測得誤差距離，并以此體現(xiàn)標(biāo)注者的標(biāo)注準(zhǔn)確度；最后是通過記錄標(biāo)注者每標(biāo)注一批圖像所需支付的金額來體現(xiàn)總體的標(biāo)注成本。

進(jìn)一步地，所述的點擊監(jiān)督與弱監(jiān)督目標(biāo)定位的合并，將所點擊點合并到最初設(shè)計用于弱監(jiān)督對象檢測的參考多示例學(xué)習(xí)(mil)框架中，其中mil的輸入是一個包含目標(biāo)類別的正圖像以及不包含目標(biāo)類別的負(fù)圖像的訓(xùn)練集，這里將每個圖像表示為使用邊界框提取的一組目標(biāo)區(qū)域，然后通過一個4096維的特征向量使用cnn實現(xiàn)描述每個目標(biāo)區(qū)域，這里僅使用圖像級的標(biāo)簽在數(shù)據(jù)庫上對cnn進(jìn)行了預(yù)訓(xùn)練。進(jìn)一步的，通過交替執(zhí)行重定位與重新訓(xùn)練兩個步驟來迭代的建立svm(支持向量機(jī))表觀模型其中重定位是指在每個正圖像中選出當(dāng)前表觀模型給出最高分的正區(qū)域，重新訓(xùn)練是指使用當(dāng)前從正圖像中選擇的正區(qū)域以及負(fù)圖像的所有區(qū)域。這里進(jìn)行初始化時，需要在第一次迭代時使用完整的圖像作為正訓(xùn)練實例來訓(xùn)練分類器。

進(jìn)一步地，需要在標(biāo)準(zhǔn)mil架構(gòu)上應(yīng)用了兩個改進(jìn)方案，其一是使用多次覆蓋方法來避免局部最優(yōu)，其二是結(jié)合表觀模型給的分?jǐn)?shù)與物體的對象性的一般測量結(jié)果，而這其中物體的對象性之前在弱監(jiān)督目標(biāo)定位中用于控制定位過程朝著目標(biāo)并遠(yuǎn)離背景。在重定位過程中假設(shè)與的權(quán)重相同的情況下將其兩者的分?jǐn)?shù)進(jìn)行線性的結(jié)合，其中每個區(qū)域p的分?jǐn)?shù)可由等式(1)獲得。

在mil收斂以后，在重復(fù)訓(xùn)練步驟額外執(zhí)行兩次迭代對整個cnn神經(jīng)網(wǎng)絡(luò)進(jìn)行深度訓(xùn)練來取代基于混合特征表示法的svm，其中在迭代過程中使用快速rcnn作為表觀模型

其中，所述的單擊監(jiān)督，引入一個記分函數(shù)sbc來表示區(qū)域p可以根據(jù)對象的中心點cp及所點擊點c的位置來包含對象的可能性。等式(2)中‖cp-c‖代表cp與c之間的歐幾里德距離，標(biāo)準(zhǔn)偏差σbc可以控制當(dāng)cp離c越來越遠(yuǎn)時sbc的值下降的速度。

在mil的重定位步驟(i)中使用邊界框中心的線索sbc，其中根據(jù)記分方程的最高分sap與sbc的乘積sap(p)·sbc(p；c,σbc)來進(jìn)行區(qū)域選擇。實驗結(jié)果表明這種方法很好的改善了重定位，從而下一個重新訓(xùn)練迭代中改進(jìn)了外觀模型，也改善了最后的mil結(jié)果。此外，可以使用所點擊點的位置來改善mil的初始化，這里為了取代直接從完整圖像中初始化正面訓(xùn)練樣本的區(qū)域，現(xiàn)構(gòu)建以所點擊點為中心的窗口，且此窗口在不超過圖像邊界的同時具有最大的尺寸。這大大改進(jìn)了mil初始化過程，尤其是在所點擊位置靠近圖像邊框的情況下。

進(jìn)一步地，所述的雙擊監(jiān)督，當(dāng)使用兩個標(biāo)注者點擊兩次時與點擊一次相比總標(biāo)注時間增加了一倍，這樣能夠更準(zhǔn)確地估算目標(biāo)中心的位置。進(jìn)一步的，可以根據(jù)兩次所點擊點之間的距離來估算對象區(qū)域的面積。這里簡單地替換等式(1)中的c為兩次所點擊點c1和c2的平均值。然而，在包含目標(biāo)類別的多個實體的圖像中，兩個標(biāo)注者可能會點擊不同的目標(biāo)。為了解決這個問題，引入一個距離閾值dmax，超過這個距離閾值的所點擊點則被認(rèn)為是針對不同的目標(biāo)。而在這種情況下，保留兩個所點擊點的值并在等式(1)中使用它們。如果‖cp-c‖>dmax，那么對于每個方案p都使用最接近兩個所點擊點的中心點cp。

由于兩個標(biāo)注者的誤差是獨立的，他們的兩個所點擊點之間的距離平均上隨著對象面積的增加而增加，因此可以根據(jù)兩次所點擊點c1和c2之間的距離來估算目標(biāo)區(qū)域的面積。令μ(‖cp-c‖)為估算對象區(qū)域面積對數(shù)的函數(shù)，則對于每個區(qū)域p我們都引入一個方框面積分?jǐn)?shù)sba來根據(jù)區(qū)域p面積與所估算對象面積的比率表示區(qū)域p包含對象的可能性。

等式(2)中ap是區(qū)域p面積值的對數(shù)，(ap-μ)表示兩個區(qū)域之間的對數(shù)比，其中標(biāo)準(zhǔn)偏差σba控制sba的值隨著ap與μ差值增加而下降的速度。此外，在mil的重定位步驟過程中對區(qū)域p在最終分值函數(shù)s(p)中引用了所有的影響因子。

s(p)＝sap·sbc(p；c1,c2,σbc)·sba(p；c1,c2,σba)(4)

附圖說明

圖1是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的眾包架構(gòu)工作流程圖。

圖2是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的指令集示例圖。

圖3是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的標(biāo)注者接收反饋圖示。

圖4是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的對象區(qū)域面積平方根與誤差距離關(guān)系圖。

圖5是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的方框中心分?jǐn)?shù)示例圖。

圖6是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的方框區(qū)域分?jǐn)?shù)示例圖。

圖7是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的標(biāo)注誤差分布圖以及兩個所點擊點距離與對象相對區(qū)域面積的關(guān)系圖。

圖8是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的單次點擊和雙次點擊監(jiān)督模型訓(xùn)練示例圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進(jìn)一步詳細(xì)說明。

圖1是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的眾包架構(gòu)工作流程圖。主要包括指令讀取、標(biāo)注者訓(xùn)練、圖像標(biāo)注、數(shù)據(jù)收集。這里首先讓標(biāo)注者先讀取由圖像及其目標(biāo)類別名稱組成的指令集，然后需要通過一個交互式的訓(xùn)練階段，其中包含一個基于合成多邊形的合格性測試。在完成這個階段后，標(biāo)注者會收到一個詳細(xì)的關(guān)于他們在測試中表現(xiàn)的反饋報告，這其中通過合格性測試的標(biāo)注者就可以進(jìn)入到圖像標(biāo)注階段。這里在標(biāo)注者訓(xùn)練這個階段中，標(biāo)注者可以不斷重復(fù)合格性測試以防失敗。最后就是進(jìn)行數(shù)據(jù)收集工作，需要收集的數(shù)據(jù)包括標(biāo)注時間，標(biāo)注誤差以及標(biāo)注成本。

其中，所述的標(biāo)注者訓(xùn)練，通過合格性測試過濾掉不好的標(biāo)注者從而提高眾包數(shù)據(jù)的質(zhì)量。在合格性測試期間，標(biāo)注者需要點擊20個合成多邊形的中心。這里使用合成多邊形代替實際物體不僅保證了合格性測試的難度，還減少了標(biāo)注者的認(rèn)知負(fù)荷，從而使訓(xùn)練階段更有效率。在標(biāo)注者完成合格性測試之后，他們會收到一個反饋頁面，其中包含所有已標(biāo)注的合成多邊形實例，其中每個多邊形上都會顯示其真實中心的位置，標(biāo)注者自己點擊的位置以及這兩者之間的歐幾里得距離(誤差距離)。通過這項測試的確切標(biāo)準(zhǔn)是在測試中的所有多邊形上的平均誤差距離低于20個像素。通過合格性測試的標(biāo)注者會被記錄為合格標(biāo)注者，然后他們可以繼續(xù)進(jìn)行主要標(biāo)注任務(wù)來處理真實圖像。這里允許標(biāo)注者不斷重復(fù)合格性測試直到他們通過為止。通過把豐富的反饋結(jié)果與重復(fù)測試相結(jié)合，這個標(biāo)注者訓(xùn)練階段具備了較高的互動性與效率。

進(jìn)一步地，所述的圖像標(biāo)注，標(biāo)注者需要對20個連續(xù)出現(xiàn)的圖像進(jìn)行批量標(biāo)注，且這里每批的圖像都是單獨的目標(biāo)類別，這樣就在提高標(biāo)注準(zhǔn)確度的同時減少標(biāo)注時間。此外，此階段還采用了質(zhì)量控制方法，即在每批次的20個圖像中包含兩個隱藏了已經(jīng)標(biāo)注好邊界框的評估圖像，從而監(jiān)視標(biāo)注者的標(biāo)注準(zhǔn)確度，這里未達(dá)到所要求標(biāo)注準(zhǔn)確度的標(biāo)注者將不能提交當(dāng)前數(shù)據(jù)。

進(jìn)一步地，所述的數(shù)據(jù)收集，通過記錄從圖像出現(xiàn)開始直到標(biāo)注者進(jìn)行點擊的時間作為標(biāo)注時間，并以此體現(xiàn)標(biāo)注者的標(biāo)注效率；通過記錄標(biāo)注者的所點擊點與實際邊界框中心的距離來測得誤差距離，并以此體現(xiàn)標(biāo)注者的標(biāo)注準(zhǔn)確度；最后是通過記錄標(biāo)注者每標(biāo)注一批圖像所需支付的金額來體現(xiàn)總體的標(biāo)注成本。

進(jìn)一步地，所述的點擊監(jiān)督與弱監(jiān)督目標(biāo)定位的合并，將所點擊點合并到最初設(shè)計用于弱監(jiān)督對象檢測的參考多示例學(xué)習(xí)(mil)框架中，其中mil的輸入是一個包含目標(biāo)類別的正圖像以及不包含目標(biāo)類別的負(fù)圖像的訓(xùn)練集，這里將每個圖像表示為使用邊界框提取的一組目標(biāo)區(qū)域，然后通過一個4096維的特征向量使用cnn實現(xiàn)描述每個目標(biāo)區(qū)域，這里僅使用圖像級的標(biāo)簽在數(shù)據(jù)庫上對cnn進(jìn)行了預(yù)訓(xùn)練。進(jìn)一步的，通過交替執(zhí)行重定位與重新訓(xùn)練兩個步驟來迭代的建立svm(支持向量機(jī))表觀模型其中重定位是指在每個正圖像中選出當(dāng)前表觀模型給出最高分的正區(qū)域，重新訓(xùn)練是指使用當(dāng)前從正圖像中選擇的正區(qū)域以及負(fù)圖像的所有區(qū)域。這里進(jìn)行初始化時，需要在第一次迭代時使用完整的圖像作為正訓(xùn)練實例來訓(xùn)練分類器。

進(jìn)一步地，需要在標(biāo)準(zhǔn)mil架構(gòu)上應(yīng)用了兩個改進(jìn)方案，其一是使用多次覆蓋方法來避免局部最優(yōu)，其二是結(jié)合表觀模型給的分?jǐn)?shù)與物體的對象性的一般測量結(jié)果，而這其中物體的對象性之前在弱監(jiān)督目標(biāo)定位中用于控制定位過程朝著目標(biāo)并遠(yuǎn)離背景。在重定位過程中假設(shè)與的權(quán)重相同的情況下將其兩者的分?jǐn)?shù)進(jìn)行線性的結(jié)合，其中每個區(qū)域p的分?jǐn)?shù)可由等式(1)獲得。

在mil收斂以后，在重復(fù)訓(xùn)練步驟額外執(zhí)行兩次迭代對整個cnn神經(jīng)網(wǎng)絡(luò)進(jìn)行深度訓(xùn)練來取代基于混合特征表示法的svm，其中在迭代過程中使用快速rcnn作為表觀模型

其中，所述的單擊監(jiān)督，引入一個記分函數(shù)sbc來表示區(qū)域p可以根據(jù)對象的中心點cp及所點擊點c的位置來包含對象的可能性。等式(2)中‖cp-c‖代表cp與c之間的歐幾里德距離，標(biāo)準(zhǔn)偏差σbc可以控制當(dāng)cp離c越來越遠(yuǎn)時sbc的值下降的速度。

在mil的重定位步驟(i)中使用邊界框中心的線索sbc，其中根據(jù)記分方程的最高分sap與sbc的乘積sap(p)·sbc(p；c,σbc)來進(jìn)行區(qū)域選擇。實驗結(jié)果表明這種方法很好的改善了重定位，從而下一個重新訓(xùn)練迭代中改進(jìn)了外觀模型，也改善了最后的mil結(jié)果。此外，可以使用所點擊點的位置來改善mil的初始化，這里為了取代直接從完整圖像中初始化正面訓(xùn)練樣本的區(qū)域，現(xiàn)構(gòu)建以所點擊點為中心的窗口，且此窗口在不超過圖像邊界的同時具有最大的尺寸。這大大改進(jìn)了mil初始化過程，尤其是在所點擊位置靠近圖像邊框的情況下。

進(jìn)一步地，所述的雙擊監(jiān)督，當(dāng)使用兩個標(biāo)注者點擊兩次時與點擊一次相比總標(biāo)注時間增加了一倍，這樣能夠更準(zhǔn)確地估算目標(biāo)中心的位置。進(jìn)一步的，可以根據(jù)兩次所點擊點之間的距離來估算對象區(qū)域的面積。這里簡單地替換等式(1)中的c為兩次所點擊點c1和c2的平均值。然而，在包含目標(biāo)類別的多個實體的圖像中，兩個標(biāo)注者可能會點擊不同的目標(biāo)。為了解決這個問題，引入一個距離閾值dmax，超過這個距離閾值的所點擊點則被認(rèn)為是針對不同的目標(biāo)。而在這種情況下，保留兩個所點擊點的值并在等式(1)中使用它們。如果‖cp-c‖>dmax，那么對于每個方案p都使用最接近兩個所點擊點的中心點cp。

由于兩個標(biāo)注者的誤差是獨立的，他們的兩個所點擊點之間的距離平均上隨著對象面積的增加而增加，因此可以根據(jù)兩次所點擊點c1和c2之間的距離來估算目標(biāo)區(qū)域的面積。令μ(‖cp-c‖)為估算對象區(qū)域面積對數(shù)的函數(shù)，則對于每個區(qū)域p我們都引入一個方框面積分?jǐn)?shù)sba來根據(jù)區(qū)域p面積與所估算對象面積的比率表示區(qū)域p包含對象的可能性。

等式(2)中ap是區(qū)域p面積值的對數(shù)，(ap-μ)表示兩個區(qū)域之間的對數(shù)比，其中標(biāo)準(zhǔn)偏差σba控制sba的值隨著ap與μ差值增加而下降的速度。此外，在mil的重定位步驟過程中對區(qū)域p在最終分值函數(shù)s(p)中引用了所有的影響因子。

s(p)＝sap·sbc(p；c1,c2,σbc)·sba(p；c1,c2,σba)(4)

圖2是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的指令集示例圖。左邊圖像指令為：所期望的邊界框中心也許不在目標(biāo)上；中間圖像指令為：如果目標(biāo)對象被縮小了，則點擊可見部分的中心；右邊圖像指令為：如果呈現(xiàn)了多個實體，則點擊其中任何一個的中心。

圖3是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的標(biāo)注者接收反饋圖示。這里對于每個實例，都會提供合成多邊形的實際中心點(白色點)與標(biāo)注者自己在圖中所點擊的點(深灰色點)，且兩點之間的誤差距離也會顯示出來。

圖4是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的對象區(qū)域面積平方根與誤差距離關(guān)系圖。圖中可以基于像素點所計算的誤差距離隨著目標(biāo)區(qū)域的增加而增加，而當(dāng)目標(biāo)快要占滿整個圖像時此誤差會降低。

圖5是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的方框中心分?jǐn)?shù)示例圖。圖中以自行車作為實例，其中左圖為單擊標(biāo)注，中間圖為同一個目標(biāo)上的雙擊標(biāo)注，右圖為不同目標(biāo)上的雙擊標(biāo)注。此外，圖中的熱點圖的每個像素點的值給了sbc一個集中那個像素的目標(biāo)區(qū)域。

圖6是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的方框區(qū)域分?jǐn)?shù)示例圖。圖中顯示了sba的分?jǐn)?shù)對不同區(qū)域的影響的一個例子，這里使用的所有區(qū)域都具有固定的縱橫比，并以圖中目標(biāo)作為中心，其中當(dāng)區(qū)域p的面積與估算的對象區(qū)域相匹配時，sba的值最大。

圖7是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的標(biāo)注誤差分布圖以及兩個所點擊點距離與對象相對區(qū)域面積的關(guān)系圖。左圖中體現(xiàn)了在標(biāo)注者進(jìn)行合格性測試的過程中誤差距離的分布情況，右圖體現(xiàn)了兩個所點擊點距離與對象相對區(qū)域面積的關(guān)系，其中黑色線代表了回歸函數(shù)μ。

圖8是本發(fā)明一種基于點擊監(jiān)督訓(xùn)練的目標(biāo)類別檢測方法的單次點擊和雙次點擊監(jiān)督模型訓(xùn)練示例圖。圖中的目標(biāo)定位的例子是基于pascalvoc2007的測試訓(xùn)練集使用了本發(fā)明的單擊監(jiān)督(黑色框)以及雙擊監(jiān)督(淺灰色框)模型來獲取的，其中每個示例也都顯示了通過參考mil所完成的目標(biāo)定位(深灰色框)。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。