布步驟S60:用于對最終審核通過的軟廣數據進行數據發(fā)布。
[0068]其中，特征匹配步驟S20，如圖3所示，包括:
[0069]高相似度步驟S201:如果視頻數據特征匹配相似度大于范圍A，則識別軟廣數據成功，對識別成功的軟廣數據進行相應加工處理；
[0070]疑似處理步驟S202:如果視頻數據特征匹配相似度大于范圍B，小于范圍A，則發(fā)現疑似軟廣數據，進入審核步驟S50處理；
[0071]低相似度步驟S203:如果視頻數據特征匹配相似度小于范圍B，則識別軟廣數據失敗，進入系統推薦步驟S30處理。
[0072]其中，系統推薦步驟S30，如圖3所示，包括:
[0073]全自動推薦步驟S301:用于采用視頻節(jié)目的歷史數據，作為推薦識別的軟廣數據；
[0074]半自動推薦步驟S302:用于采用根據設定的條件，根據軟廣植入形式的不同，推薦識別不同的軟廣數據；
[0075]高頻推薦步驟S303:根據軟廣數據出現的頻率高低，推薦識別軟廣數據。
[0076]其中，編輯步驟S40，如圖3所示，包括:
[0077]廣告邊界截取步驟S401:用于對視頻節(jié)目中植入廣告的開始點和結束點的廣告邊界進行定位；
[0078]推薦方式選擇步驟S402:用于根據不同的判斷條件分別選擇全自動推薦步驟S301、半自動推薦步驟S302或高頻推薦步驟S303 ;
[0079]檢索步驟S403:如果推薦方式選擇步驟S402中沒有成功識別正確數據，則在知識庫中進行信息檢索，直至成功識別軟廣數據。
[0080]以下結合附圖對本發(fā)明具體實施例進行詳細說明:
[0081]在本發(fā)明具體實施例中，如圖4所示，本發(fā)明軟廣識別方法的實施步驟包括:
[0082]S1:特征提取，運用神經網絡特征提取技術提取出節(jié)目視頻的特征。
[0083]以下闡述神經網絡特征提取方法:
[0084]在本發(fā)明具體實施例中，軟廣目前的視覺特征主要是字幕和實物圖片，字幕識別包括區(qū)域檢測和字符識別兩塊。區(qū)域檢測主要是通過sobel邊緣檢測算子提取圖片中的輪廓，然后通過FCM提取字幕區(qū)域；字符識別則采用歸一化的灰度圖像作為輸入層，然后通過卷積神經網絡方法(CNN)提取BN特征。對于實物圖片這部分，主要提取sift特征。
[0085]軟廣目前的聲音特征的主要是fb特征，即梅爾子帶能量，將音頻信號通過FFT變換到頻域，通過梅爾掩蔽效應計算出每個頻帶的能量，這樣的特征有很強的抗噪性能。然后輸入到一個經典DNN深度神經網絡得到每個發(fā)音音素的得分分布。
[0086]S2:特征匹配，讀取模板特征庫中所有的特征，讓之經過S1后獲得的特征進行匹配。
[0087]下面闡述特征匹配原理:
[0088]對于視覺特征里面的字符匹配，主要是采用貝葉斯后驗算法進行特征匹配；對于視覺特征里面的實物圖片，則采用bog(bag of words)算法進行匹配；而對于聲音特征，則通過DTW+FSN算法，檢測是音頻流里面的關鍵字(口播商品名等)
[0089]在本發(fā)明具體實施例中，獲得特征匹配結果后，根據匹配結果做以下策略處理:
[0090]如果相似度高于80 %，則根據匹配上的模板特征所對應的軟廣信息，給新識別出的數據添加軟廣信息(廣告宣傳的產品、品牌、廠商、植入時長、植入類型等信息)并持久化到軟廣數據庫中。
[0091 ] 如果相似度介于50 %到80 %之間，則表示發(fā)現一條疑似數據。這種數據由于相似度不夠理想，所以需要進行審核流程。
[0092]如果相似度低于50%，則直接視為無效識別，進入系統推薦流程。
[0093]S3:系統推薦，系統推薦分為以下幾種:
[0094](1)全自動推薦
[0095]根據該節(jié)目的歷史植入數據，從植入時間偏移量的角度尋找規(guī)律，然后根據規(guī)律算法推薦出植入信息。這里所說的歷史數據，是指該節(jié)目在某一特定時間范圍(本系統中取值90天)內的所有植入數據。設定節(jié)目的開始時間為T，需要系統推薦的節(jié)目時間段的開始時間為T1，則T1相對于節(jié)目開始點的時間偏移量Λ T = Tl-To從軟廣數據庫中統計出該欄目最近90天內所有廣告主(在該欄目投放植入投放廣告的公司、品牌、產品)的植入偏移量集合為C{AT1，Δ T2, ΛΤ3^..ΛΤη-1，Λ Τη}。再計算出C介于Δ T左右波動5分鐘范圍內的數據并按接近程度從大到小排序后取前10條數據形成集合S{ Δ S1, Δ S2, AS3^"AS9，Λ S10}。集合S即為系統全自動推薦數據。
[0096](2)半自動推薦
[0097]半自動推薦需要設定條件，根據軟廣植入的形式的不同，本系統將軟廣植入形式分為口播、角標、飛字、貼片、標版、地標、片尾鳴謝、實物擺放、壓屏條、燈箱等50多種植入類型，簡稱軟廣類型。半自動推薦在全自動推薦的基礎上加上軟廣類型的限制即可得到半自動推薦結果，即全自動推薦和半自動推薦的差別在于半自動推薦獲取的歷史數據是該欄目最近90天內擁有某一類型植入的所有廣告主植入數據。然后計算出對應的植入偏移量集合C，通過C推算出對應的推薦數據集合S。半自動推薦獲取偏移量集合C和推薦集合S的算法和全自動一致。但是半自動推薦的數據相對來說更為精確。
[0098](3)高頻推薦
[0099]前面兩種推薦方式主要適用于植入分布時間比較規(guī)律的節(jié)目，對于植入時間不規(guī)律的數據，系統采用高頻推薦。獲取該欄目最近兩期(集)所有軟廣植入數據并按廣告主分組統計每個廣告主出現的頻率，然后按頻率從高到底排序形成推薦結合C。高頻推薦不關注廣告植入時間的偏移量，只關注廣告主在歷史植入中的頻率。這種推薦思想主要是盡量減少重復操作。
[0100]對于經過特征匹配后相似度低于50%的數據。系統默認采用全自動推薦方式進行推薦，系統首先自動計算出推薦集合S，并去S中第一條數據對應的軟廣信息回填到軟廣編輯界面。然后確認正確性，如果確認無誤，則點擊保存，數據持久化入庫。反之，可選擇其他推薦方式或編輯。對于系統的默認推薦方式，可根據每個節(jié)目的植入特性設定。同一個欄目只需要設定一次，該欄目以后的節(jié)目的推薦方式自動生效。
[0101]S4:編輯
[0102]編輯主要針對未識別和系統推薦錯誤的數據進行時間(植入開始和結束時間)精確定位、廣告主信息檢索與填充，最后保存入庫。編輯步驟的詳細流程如圖5所示。
[0103]S41:廣告邊界截取
[0104]編輯過程中，系統首先加載節(jié)目視頻，然后進行植入廣告的開始點和結束點的廣告邊界定位。這一步主要確定廣告的開始時間和結束時間。系統播放器采用mediaplayer并用其視頻幀控件加以視頻輔助控制，通過視頻幀控件，可以讓視頻逐幀播放。然后調用播放器和視頻幀控件JS接口(以下簡稱API)，通過定義的快捷鍵，分別記錄開始點和結束點。根據視頻播放進度的某一位置計算廣告開始時間和結束時間的原理是:在視頻播放過程中或當視頻暫停到某一位置，當標記開始點時。通過API獲取到當前視頻播放點相對于當前視頻文件開始位置的時間偏移量，然后用該偏移量加上該視頻對應的時間即可得到廣告開始時間，同理可獲得結束時間。
[0105]S42:推薦方式選擇
[0106]完成邊界截取后，系統根據S41中取得的開始時間進行全自動推薦，并自動回填命中率最高的第一條數據。然后操作員判斷該推薦結果是否正確，如果不正確可選擇推薦集合中的其他數據，如果整個推薦集合都不正確，那么需要更換推薦方式，或者手動編輯。如果選擇半自動推薦方式，則需要選擇當前數據的軟廣植入類型。如果選擇半自動推薦和高頻推薦后，依舊找不到正確數據，則通過視頻內容確定植入信息并做廣告信息檢索。如果在全自動推薦、半自動推薦和高頻推薦中找到了正確數據，則點擊保存即可結束該條數據的編輯工作。
[0107]S43:檢索
[0108]如果所有推薦方式都不能匹配出正確數據，或者不需要系統推薦也能快速完成編輯，那么進入檢索流程。首先，需要通過系統在知識庫中對當前軟廣數據的廣告主信息進行檢索。如果能檢索到正確結果，選擇填充即可保存數據。反之，如果知識庫中不存在該廣告主信息，則需要進行互聯網檢索。確定互聯網檢索結果無誤后，需要將檢索到的信息通過系統保存到知識庫中，隨后再保存當前軟廣數據即可完成編輯工作。
[0109]S5:審核
[0110]為保證數據的精確度，系統添加了一道審核的流程。審核的數據范圍包括機器識別的疑似數據和編輯的數據。系統加載節(jié)目視頻，當點擊視頻播放后，如果當前播放點對應的時間在軟廣庫中有數據，那么系統將加載出相關數據并暫停播放視頻。核對當前視頻畫面和已保存的軟廣數據。如果存在錯誤，則將數據打回到編輯流程。如果數據正確無誤，則點擊“通過”按鈕標示數據合格。當數據被標示