本發(fā)明涉及一種基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法，尤其涉及一種數(shù)字視頻信號(hào)處理和圖像識(shí)別領(lǐng)域的方法。

背景技術(shù)：

隨著大量視頻信息涌入人們的現(xiàn)實(shí)生活,視頻臺(tái)標(biāo)檢測(cè)作為對(duì)視頻來(lái)源分析的一個(gè)有效手段。通過(guò)視頻的臺(tái)標(biāo),可以相對(duì)容易的確定視頻的發(fā)布者,通過(guò)節(jié)目中的標(biāo)識(shí)又能定位到具體的節(jié)目。通過(guò)這些重要語(yǔ)義信息,可以提供精確的視頻搜索。此外,通過(guò)檢測(cè)視頻節(jié)目中的臺(tái)標(biāo)可以去除廣告片段(國(guó)外很多電視節(jié)目廣告片段中不含有臺(tái)標(biāo)),提高觀賞性。同時(shí),在視頻安全領(lǐng)域,視頻臺(tái)標(biāo)檢測(cè)技術(shù)可以有效的確定視頻來(lái)源,為過(guò)濾固定電視臺(tái)的節(jié)目提供了自動(dòng)監(jiān)測(cè)手段。

現(xiàn)有的臺(tái)標(biāo)檢測(cè)方法有提取臺(tái)標(biāo)的全局特征(顏色特征、紋理特征和梯度特征)和局部特征(SURF特征),并通過(guò)SVM模型將這些特征融合,訓(xùn)練得到一個(gè)完整的臺(tái)標(biāo)檢測(cè)模型。但是這種傳統(tǒng)的算法處理速度慢、步驟繁多且檢測(cè)準(zhǔn)確度不高。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)傳統(tǒng)臺(tái)標(biāo)檢測(cè)模型算法存在的不足，本發(fā)明一種基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法，提出一種通過(guò)對(duì)包含臺(tái)標(biāo)標(biāo)志的圖片進(jìn)行縮放、裁剪、平移、加黑邊等處理后，采用卷積、池化、全連接等技術(shù)手段對(duì)這些圖片進(jìn)行反復(fù)離線臺(tái)標(biāo)檢測(cè)訓(xùn)練，并采用GPU來(lái)完成這一訓(xùn)練過(guò)程，在訓(xùn)練中不斷調(diào)整參數(shù)使得訓(xùn)練收斂，從而獲取最優(yōu)參數(shù)配置并使用該參數(shù)集初始化臺(tái)標(biāo)檢測(cè)系統(tǒng)進(jìn)行視頻圖像的在線臺(tái)標(biāo)檢測(cè)的基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法。在訓(xùn)練時(shí)對(duì)圖像人為進(jìn)行多種變換處理可有效提高檢測(cè)結(jié)果的魯棒性，同時(shí)采用深度卷積和池化處理手段有效提高檢測(cè)的范化能力，加之采用GPU完成離線訓(xùn)練過(guò)程大大提高訓(xùn)練速度和效率，使得該方法相對(duì)傳統(tǒng)檢測(cè)方法更具高效、高速、簡(jiǎn)單和高精度的優(yōu)勢(shì)。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案包括以下步驟：

訓(xùn)練圖片輸入步驟，向離線訓(xùn)練系統(tǒng)輸入訓(xùn)練所需類型的圖片。

優(yōu)選的，所述所需類型的圖片是指包含臺(tái)標(biāo)標(biāo)志的圖片。

圖片變換處理步驟，對(duì)輸入的圖片按照特定方式進(jìn)行變換處理生成新的圖片。

優(yōu)選的，所述特定方式包括對(duì)圖片進(jìn)行縮放、平移、加黑邊和裁剪等，其目的是增強(qiáng)對(duì)臺(tái)標(biāo)圖片識(shí)別能力的魯棒性。

圖片標(biāo)注步驟，對(duì)圖片的特定信息進(jìn)行標(biāo)注。

優(yōu)選的，所述特定信息包括：臺(tái)標(biāo)的中心點(diǎn)坐標(biāo)及臺(tái)標(biāo)的寬、高等及類別信息。

離線訓(xùn)練步驟，向離線訓(xùn)練系統(tǒng)輸入特定圖片進(jìn)行檢測(cè)訓(xùn)練直到訓(xùn)練收斂。

優(yōu)選的，所述離線訓(xùn)練系統(tǒng)包括：圖像縮放單元、單卷積及池化單元、多卷積及池化單元、多卷積單元和全連接層單元，所述訓(xùn)練使用GPU處理完成。

優(yōu)選的，所述圖像縮放單元負(fù)責(zé)將輸入圖像的大小縮放為448*448大小。

優(yōu)選的，所述單卷積采用的卷積核包括：7*7、3*3和1*1三種，所述多卷積單元為多個(gè)卷積層形成的卷積單元，本離線訓(xùn)練系統(tǒng)使用了24個(gè)級(jí)聯(lián)卷積層，單卷積和多卷積處理均為局部連接。

優(yōu)選的，所述池化處理的作用是增強(qiáng)魯棒性并減少參數(shù)輸入、防止過(guò)擬合現(xiàn)象發(fā)生，其輸入為上一次卷積產(chǎn)生的結(jié)果，且不需要參數(shù)輸入。

優(yōu)選的，所述全連接層共兩個(gè)，為全網(wǎng)絡(luò)連接，負(fù)責(zé)將本層每個(gè)節(jié)點(diǎn)和上層的所有節(jié)點(diǎn)建立連接以提高特征的范化能力，且第二個(gè)全連接層維度較第一個(gè)低，作用是降維。

優(yōu)選的，所述離線訓(xùn)練步驟中，輸入訓(xùn)練圖片進(jìn)行循環(huán)檢測(cè)訓(xùn)練，結(jié)束條件為：在當(dāng)前參數(shù)配置下，訓(xùn)練收斂，凍結(jié)此時(shí)使用的參數(shù)集，用于初始化在線臺(tái)標(biāo)檢測(cè)模型。

在線檢測(cè)步驟，利用離線訓(xùn)練系統(tǒng)生成的參數(shù)集初始化在線檢測(cè)系統(tǒng)，并采用該系統(tǒng)對(duì)視頻臺(tái)標(biāo)進(jìn)行在線檢測(cè)。

采用上述技術(shù)方案，本發(fā)明具有以下優(yōu)點(diǎn)：

本發(fā)明涉及一種基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法，通過(guò)對(duì)包含臺(tái)標(biāo)標(biāo)志的圖片進(jìn)行縮放、裁剪、平移、加黑邊等處理后，采用卷積、池化、全連接等技術(shù)手段對(duì)這些圖片進(jìn)行反復(fù)離線臺(tái)標(biāo)檢測(cè)訓(xùn)練，并使用GPU來(lái)完成這一訓(xùn)練過(guò)程，在訓(xùn)練中不斷調(diào)整參數(shù)使得訓(xùn)練收斂，從而獲取最優(yōu)參數(shù)配置并使用該參數(shù)集初始化臺(tái)標(biāo)檢測(cè)系統(tǒng)進(jìn)行視頻圖像的在線臺(tái)標(biāo)檢測(cè)。在訓(xùn)練時(shí)對(duì)圖像人為進(jìn)行多種變換處理可有效提高檢測(cè)結(jié)果的魯棒性，同時(shí)采用深度卷積和池化處理手段有效提高檢測(cè)的范化能力，采用GPU完成離線訓(xùn)練過(guò)程大大提高訓(xùn)練速度和效率，使得該方法相對(duì)傳統(tǒng)檢測(cè)方法更具高效、高速、簡(jiǎn)單和高精度的優(yōu)勢(shì)。

附圖說(shuō)明

圖1為本發(fā)明較佳實(shí)施方式的一種基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法的步驟示意圖。

圖2為本發(fā)明較佳實(shí)施方式的一種基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法的詳細(xì)流程圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整的描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明的一個(gè)實(shí)施例，而不是全部實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域的一般技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)的前提下所獲得的其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明實(shí)施例公開(kāi)了一種基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法，參見(jiàn)圖1所示，該方法包括：

步驟S1：訓(xùn)練圖片輸入。

步驟S2：對(duì)目標(biāo)圖片進(jìn)行多種形式圖像變換。

步驟S3：對(duì)臺(tái)標(biāo)位置參數(shù)進(jìn)行標(biāo)注處理。

步驟S4：利用訓(xùn)練模型進(jìn)行離線訓(xùn)練獲取臺(tái)標(biāo)檢測(cè)模型初始化參數(shù)集。

步驟S5：應(yīng)用指定參數(shù)集初始化臺(tái)標(biāo)檢測(cè)模型在線檢測(cè)視頻圖片臺(tái)標(biāo)。

本發(fā)明實(shí)施例中，通過(guò)對(duì)包含臺(tái)標(biāo)標(biāo)志的圖片進(jìn)行縮放、裁剪、平移、加黑邊等技術(shù)處理后，采用卷積、池化、全連接等技術(shù)手段對(duì)這些圖片進(jìn)行反復(fù)離線臺(tái)標(biāo)檢測(cè)訓(xùn)練，并使用GPU來(lái)完成這一訓(xùn)練過(guò)程，在訓(xùn)練中不斷調(diào)整參數(shù)使得訓(xùn)練收斂，從而獲取最優(yōu)參數(shù)配置并使用該參數(shù)集初始化臺(tái)標(biāo)檢測(cè)系統(tǒng)進(jìn)行視頻圖像的在線臺(tái)標(biāo)檢測(cè)。

可見(jiàn)，本發(fā)明實(shí)施例中，在訓(xùn)練時(shí)對(duì)圖像人為進(jìn)行多種變換處理可有效提高檢測(cè)結(jié)果的魯棒性，同時(shí)采用深度卷積和池化處理手段有效提高檢測(cè)的范化能力，采用GPU完成離線訓(xùn)練過(guò)程大大提高訓(xùn)練速度和效率，使得該方法相對(duì)傳統(tǒng)檢測(cè)方法更具高效、高速、簡(jiǎn)單和高精度的優(yōu)勢(shì)。

本發(fā)明實(shí)施例公開(kāi)了一種基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法，參見(jiàn)圖2，相對(duì)上一實(shí)施例，本實(shí)施例對(duì)技術(shù)方案作了進(jìn)一步的說(shuō)明和優(yōu)化。具體的，本實(shí)施例中一種基于深度學(xué)習(xí)的臺(tái)標(biāo)檢測(cè)方法包含以下步驟：

S1：訓(xùn)練圖片輸入。

優(yōu)選的，通過(guò)所述步驟向離線訓(xùn)練系統(tǒng)輸入帶臺(tái)標(biāo)標(biāo)識(shí)的圖像。

S2：圖片變換處理。

優(yōu)選的，通過(guò)該步驟對(duì)步驟S1輸入的所有圖片進(jìn)行縮放、平移、加黑邊和裁剪等處理，形成新的圖片輸入步驟S3。

S3：圖片標(biāo)注。

優(yōu)選的，獲取圖片的臺(tái)標(biāo)標(biāo)識(shí)位置中心坐標(biāo)、臺(tái)標(biāo)的寬、高和類別信息，并將這些信息輸入步驟S4。

S4：離線訓(xùn)練。

優(yōu)選的，該步驟的目的是利用步驟S3產(chǎn)生的圖像為輸入，利用GPU進(jìn)行離線訓(xùn)練直到訓(xùn)練收斂產(chǎn)生最優(yōu)檢測(cè)參數(shù)集。

優(yōu)選的，通過(guò)步驟S41將步驟S3輸入的圖片縮放至448*448大小，并根據(jù)S3輸入的臺(tái)標(biāo)標(biāo)識(shí)位置信息確定臺(tái)標(biāo)位置區(qū)域，然后執(zhí)行步驟S42。

優(yōu)選的，通過(guò)步驟S42對(duì)步驟S41處理形成的圖片進(jìn)行連續(xù)兩次單卷積及池化處理，產(chǎn)生的輸出流入步驟S43。

優(yōu)選的，通過(guò)步驟S43對(duì)輸入的圖片進(jìn)行連續(xù)三次多卷積和池化處理，并將處理結(jié)果輸入到步驟S44。

優(yōu)選的，步驟S44為對(duì)輸入圖像進(jìn)行連續(xù)兩次多卷積處理工作，將處理結(jié)果輸入步驟S45。

優(yōu)選的，所述步驟S42中，單卷積采用的卷積核包括7*7、3*3、1*1三種，通過(guò)采用不同的卷積核，可以有效提高檢測(cè)魯棒性和精度。

優(yōu)選的，步驟S43、S44中多卷積是指多層單卷積形成的卷積單元，在步驟S4中使用了24個(gè)級(jí)聯(lián)卷積層。

優(yōu)選的，步驟S42、S43中的池化處理目的是提高檢測(cè)的范化能力，從而防止過(guò)擬合現(xiàn)象以確保檢測(cè)精度。

優(yōu)選的，所述步驟S42、S43、S44的處理過(guò)程均為局部連接處理。

優(yōu)選的，步驟S45對(duì)步驟S44產(chǎn)生的結(jié)果進(jìn)行兩次全連接處理，該處理過(guò)程為全局連接模式，將步驟S42、S43、S44處理后得到的結(jié)果進(jìn)行系統(tǒng)歸納，得出檢測(cè)結(jié)果輸入步驟S46進(jìn)行判定。

優(yōu)選的，所述步驟S45中的全局連接是指本層的每個(gè)節(jié)點(diǎn)與上層所有節(jié)點(diǎn)建立連接以提高特征的范化能力，所述第二次全連接過(guò)程較第一次全連接過(guò)程維度要小，可以實(shí)現(xiàn)降維。

優(yōu)選的，步驟S46對(duì)步驟S45輸入的檢測(cè)結(jié)果進(jìn)行判定，訓(xùn)練收斂，則凍結(jié)此時(shí)的檢測(cè)參數(shù)集并將其輸入步驟S5進(jìn)行在線臺(tái)標(biāo)標(biāo)識(shí)檢測(cè)；否則跳轉(zhuǎn)執(zhí)行步驟S41開(kāi)始新一輪離線檢測(cè)訓(xùn)練直到訓(xùn)練收斂結(jié)束離線訓(xùn)練過(guò)程。

S5：在線檢測(cè)。

優(yōu)選的，利用步驟S4訓(xùn)練得到的最優(yōu)臺(tái)標(biāo)檢測(cè)參數(shù)集對(duì)視頻圖像的臺(tái)標(biāo)標(biāo)識(shí)進(jìn)行實(shí)時(shí)在線檢測(cè)。

優(yōu)選的，通過(guò)執(zhí)行步驟S51將步驟S4產(chǎn)生的最優(yōu)檢測(cè)參數(shù)集配置到臺(tái)標(biāo)標(biāo)識(shí)檢測(cè)模型，實(shí)現(xiàn)初始化過(guò)程。

優(yōu)選的，通過(guò)執(zhí)行步驟S52將視頻圖像信息實(shí)時(shí)傳入所述檢測(cè)模型。

優(yōu)選的，通過(guò)執(zhí)行步驟S53對(duì)步驟S52輸入的圖片進(jìn)行實(shí)時(shí)臺(tái)標(biāo)標(biāo)識(shí)檢測(cè)并形成檢測(cè)結(jié)果。

綜上所述，通過(guò)執(zhí)行步驟S1向臺(tái)標(biāo)標(biāo)識(shí)離線檢測(cè)系統(tǒng)輸入包含臺(tái)標(biāo)標(biāo)識(shí)信息的圖片，并執(zhí)行步驟S2對(duì)所述圖片進(jìn)行縮放、裁剪、平移、加黑邊等處理生成新的圖片，將這些圖片注入步驟S3，步驟S3對(duì)圖片的位置信息進(jìn)行標(biāo)注，所述位置信息包括臺(tái)標(biāo)位置中心點(diǎn)坐標(biāo)信息、臺(tái)標(biāo)的寬和高以及類別信息，對(duì)經(jīng)過(guò)標(biāo)注后的圖片執(zhí)行步驟S4完利用GPU成一次或多次離線臺(tái)標(biāo)標(biāo)識(shí)檢測(cè)處理過(guò)程，具體地，首先執(zhí)行步驟S41將輸入圖片縮放至448*448大小，然后執(zhí)行步驟S42對(duì)縮放處理后的圖片執(zhí)行兩次單卷積和池化處理，卷積為局部連接的處理過(guò)程，采用的卷積核包括7*7、3*3、1*1三種，對(duì)步驟S42處理結(jié)果執(zhí)行步驟S43，完成連續(xù)三次多卷積和池化處理過(guò)程，該過(guò)程是局部連接的處理過(guò)程，其中多卷積為多層單卷積形成的卷基層，步驟S4共采用了24個(gè)級(jí)聯(lián)卷積層進(jìn)行處理，步驟S43處理的結(jié)果進(jìn)一步輸入給步驟S44完成兩個(gè)多卷積層處理過(guò)程，該過(guò)程是局部連接的處理過(guò)程，處理結(jié)果輸送至步驟S45執(zhí)行連續(xù)兩個(gè)全連接層處理過(guò)程，所述全連接是指將本層的每個(gè)節(jié)點(diǎn)跟上層的所有節(jié)點(diǎn)建立連接，以提高特征的范化能力，其中第二個(gè)全連接層為降維全連接，其執(zhí)行維度較第一個(gè)要低，對(duì)于步驟S45產(chǎn)生的結(jié)果執(zhí)行步驟S46，判斷訓(xùn)練是否收斂，若收斂則凍結(jié)當(dāng)前配置參數(shù)并傳遞個(gè)步驟S5，否則跳轉(zhuǎn)執(zhí)行步驟S41進(jìn)行新一輪離線訓(xùn)練過(guò)程，通過(guò)不斷調(diào)整參數(shù)直到步驟S45執(zhí)行的訓(xùn)練收斂，通過(guò)執(zhí)行步驟S5實(shí)現(xiàn)對(duì)視頻圖像的實(shí)時(shí)在線臺(tái)標(biāo)標(biāo)識(shí)檢測(cè)處理過(guò)程，具體的，通過(guò)執(zhí)行步驟S51來(lái)利用步驟S4產(chǎn)生的最優(yōu)檢測(cè)參數(shù)集初始化在線臺(tái)標(biāo)檢測(cè)模型，然后執(zhí)行步驟S52，向該模型實(shí)時(shí)輸入視頻圖像，最后執(zhí)行步驟S53完成對(duì)所述圖像的實(shí)時(shí)在線臺(tái)標(biāo)標(biāo)識(shí)檢測(cè)與識(shí)別處理過(guò)程。在離線訓(xùn)練時(shí)對(duì)圖像人為進(jìn)行縮放、裁剪、平移、加黑邊等變換處理可有效提高檢測(cè)結(jié)果的魯棒性，同時(shí)采用深度卷積和池化處理手段有效提高檢測(cè)的范化能力，采用GPU完成離線訓(xùn)練過(guò)程大大提高訓(xùn)練速度和效率，使得該方法相對(duì)傳統(tǒng)檢測(cè)方法更具高效、高速、簡(jiǎn)單和高精度的優(yōu)勢(shì)。

以上所述僅為舉例性，而非為限制性。本領(lǐng)域的技術(shù)人員可以對(duì)發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包括這些改動(dòng)和變型在內(nèi)。