本發(fā)明實施例涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種視頻圖像的處理方法、裝置和終端設(shè)備。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們越來越多地使用互聯(lián)網(wǎng)觀看視頻，由此，互聯(lián)網(wǎng)視頻為許多新的業(yè)務(wù)提供了商機。因為互聯(lián)網(wǎng)視頻可以成為重要的業(yè)務(wù)流量入口，因而被認(rèn)為是廣告植入的優(yōu)質(zhì)資源。

現(xiàn)有視頻廣告主要通過植入的方式，一種常見的植入方式是在視頻播放的區(qū)域及其周邊區(qū)域的任意位置放置廣告。

但是，這種方式植入的廣告會遮擋視頻，打擾觀眾的正常視頻觀看體驗，引起觀眾反感，不能達(dá)到預(yù)想的廣告效果。

技術(shù)實現(xiàn)要素：

本發(fā)明實施例提供了視頻圖像的處理技術(shù)方案。

根據(jù)本發(fā)明實施例的一個方面，提供了一種視頻圖像的處理方法，包括：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象；確定所述視頻圖像的背景區(qū)域；采用計算機繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對象。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述采用計算機繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對象包括：確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置和所述視頻圖像的前景區(qū)域；根據(jù)所述展示位置判斷所述業(yè)務(wù)對象與所述視頻圖像的前景區(qū)域是否存在重疊部分；若存在，則采用計算機繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對象中除所述重疊部分之外的部分。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述確定所述視頻圖像的背景區(qū)域包括：通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；對所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；對所述第一特征向量卷積結(jié)果進(jìn)行放大處理；判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；若滿足，則完成對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：按照設(shè)定規(guī)則確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置；其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對象在所述視頻圖像的設(shè)定展示位置，或者，根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，通過預(yù)先訓(xùn)練的、第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：獲取第二樣本圖像的第一特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對象的目標(biāo)對象特征向量；對所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；判斷所述第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量是否滿足目標(biāo)對象收斂條件；若均滿足，則完成對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對象的位置信息和/或置信度信息和目標(biāo)對象特征向量均滿足相應(yīng)的收斂條件。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，獲得所述業(yè)務(wù)對象在所述視頻圖像中的多個展示位置；從所述多個展示位置中選擇至少一個展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：判斷所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)是否匹配；若匹配，則從預(yù)先存儲的動作數(shù)據(jù)與展示位置的對應(yīng)關(guān)系中，獲取所述預(yù)先設(shè)定的動作數(shù)據(jù)對應(yīng)的目標(biāo)展示位置作為所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述業(yè)務(wù)對象包括包含有語義信息的特效；所述視頻圖像為直播類視頻圖像。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述直播類視頻圖像的前景區(qū)域為人物所在的區(qū)域。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述直播類視頻圖像的背景區(qū)域為除了人物所在的區(qū)域之外的至少局部區(qū)域。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理方法，其中，所述目標(biāo)對象的動作檢測數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種視頻圖像的處理裝置，包括：獲取模塊，用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象；背景區(qū)域確定模塊，用于確定所述視頻圖像的背景區(qū)域；繪制模塊，用于采用計算機繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對象。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述繪制模塊包括：展示位置確定模塊，用于確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置；前景區(qū)域確定模塊，用于確定所述視頻圖像的前景區(qū)域；判斷模塊，用于根據(jù)所述展示位置判斷所述業(yè)務(wù)對象與所述前景區(qū)域是否存在重疊部分；展示模塊，用于若所述業(yè)務(wù)對象與所述前景區(qū)域存在重疊部分，則采用計算機繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對象中除所述重疊部分之外的部分。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述背景區(qū)域確定模塊，用于通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述裝置還包括：第一訓(xùn)練模塊，用于對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練；所述第一訓(xùn)練模塊包括：第一特征向量獲取模塊，用于獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；第一卷積處理模塊，用于對所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；放大處理模塊，用于對所述第一特征向量卷積結(jié)果進(jìn)行放大處理；第一條件判斷模塊，用于判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；第一執(zhí)行模塊，用于若放大后的所述第一特征向量卷積結(jié)果滿足卷積收斂條件，則完成對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若放大后的所述第一特征向量卷積結(jié)果不滿足卷積收斂條件，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對所述第一卷積網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊，用于按照設(shè)定規(guī)則確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置；其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對象在所述視頻圖像的設(shè)定展示位置，或者，所述展示位置確定模塊根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，通過預(yù)先訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述裝置還包括：第二訓(xùn)練模塊，用于對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)先訓(xùn)練；所述第二訓(xùn)練模塊包括：第二特征向量獲取模塊，用于獲取第二樣本圖像的第一特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對象的目標(biāo)對象特征向量；第二卷積處理模塊，用于對所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；第二條件判斷模塊，用于判斷所述第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量是否滿足目標(biāo)對象收斂條件；第二執(zhí)行模塊，用于若所述第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息滿足業(yè)務(wù)對象收斂條件，且所述第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量滿足目標(biāo)對象收斂條件，則完成對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對象的位置信息和/或置信度信息和目標(biāo)對象特征向量均滿足相應(yīng)的收斂條件。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊包括：展示位置獲得模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，獲得所述業(yè)務(wù)對象在所述視頻圖像中的多個展示位置；展示位置選擇模塊，用于從所述多個展示位置中選擇至少一個展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述展示位置確定模塊包括：數(shù)據(jù)判斷模塊，用于判斷所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)是否匹配；位置獲取模塊，用于若所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)匹配，則從預(yù)先存儲的動作數(shù)據(jù)與展示位置的對應(yīng)關(guān)系中，獲取所述預(yù)先設(shè)定的動作數(shù)據(jù)對應(yīng)的目標(biāo)展示位置作為所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述業(yè)務(wù)對象包括包含有語義信息的特效；所述視頻圖像為直播類視頻圖像。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述直播類視頻圖像的前景區(qū)域為人物所在的區(qū)域。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述直播類視頻圖像的背景區(qū)域為除了人物所在的區(qū)域之外的至少局部區(qū)域。

可選地，結(jié)合本發(fā)明實施例提供的任一種視頻圖像的處理裝置，其中，所述目標(biāo)對象的動作檢測數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

根據(jù)本發(fā)明實施例的再一方面，還提供了一種終端設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行前述任一所述的視頻圖像的處理方法對應(yīng)的操作。

根據(jù)本發(fā)明實施例的又一方面，還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有：用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象的可執(zhí)行指令；用于確定所述視頻圖像的背景區(qū)域的可執(zhí)行指令；用于采用計算機繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對象的可執(zhí)行指令。

根據(jù)本發(fā)明實施例提供的技術(shù)方案，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象，確定待處理的視頻圖像的背景區(qū)域，然后采用計算機繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對象，實現(xiàn)業(yè)務(wù)對象在視頻圖像的背景區(qū)域展示，避免業(yè)務(wù)對象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗，不易引起觀眾反感，可以有效實現(xiàn)預(yù)想的效果。

附圖說明

圖1是根據(jù)本發(fā)明實施例一的一種視頻圖像的處理方法的步驟流程圖；

圖2是根據(jù)本發(fā)明實施例二的一種視頻圖像的處理方法的步驟流程圖；

圖3是根據(jù)本發(fā)明實施例三的一種視頻圖像的處理方法的步驟流程圖；

圖4是根據(jù)本發(fā)明實施例四的一種視頻圖像的處理方法的步驟流程圖；

圖5是根據(jù)本發(fā)明實施例五的一種視頻圖像的處理裝置的結(jié)構(gòu)框圖；

圖6是根據(jù)本發(fā)明實施例六的一種視頻圖像的處理裝置的結(jié)構(gòu)框圖；

圖7是根據(jù)本發(fā)明實施例七的一種終端設(shè)備的結(jié)構(gòu)示意圖。

具體實施方式

下面結(jié)合附圖(若干附圖中相同的標(biāo)號表示相同的元素)和實施例，對本發(fā)明實施例的具體實施方式作進(jìn)一步詳細(xì)說明。以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

本領(lǐng)域技術(shù)人員可以理解，本發(fā)明實施例中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同步驟、設(shè)備或模塊等，既不代表任何特定技術(shù)含義，也不表示它們之間的必然邏輯順序。

實施例一

參照圖1，示出了根據(jù)本發(fā)明實施例一的一種視頻圖像的處理方法的步驟流程圖。

本實施例的視頻圖像的處理方法包括以下步驟：

步驟s100：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象。

例如，在直播場景中，獲取當(dāng)前正在顯示的視頻圖像(即直播類視頻圖像)；再例如，在視頻錄制場景中，獲取當(dāng)前正在錄制的視頻圖像；又例如，在錄制完成的視頻中，獲取當(dāng)前播放的視頻圖像等。其中，本實施例對視頻圖像的獲取方式和具體獲取手段不作限制。

另外，本實施例中以對一張視頻圖像的處理為例，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，對于多張視頻圖像或視頻流中的視頻圖像序列均可參照本實施例進(jìn)行視頻圖像的處理。

待展示的業(yè)務(wù)對象用于在視頻圖像中展示。需要說明的是，對待展示的業(yè)務(wù)對象的獲取過程可以與待處理的視頻圖像的獲取過程同時執(zhí)行，也可以在待處理的視頻圖像的獲取過程之后或者之前執(zhí)行，本實施例對待展示的業(yè)務(wù)對象的獲取過程在本實施例中的執(zhí)行順序不做限制。

步驟s102：確定視頻圖像的背景區(qū)域。

其中，確定視頻圖像的背景區(qū)域，可以從視頻圖像中檢測視頻圖像的前景區(qū)域和背景區(qū)域；或者，可以從視頻圖像中直接檢測視頻圖像的背景區(qū)域；或者可以從視頻圖像中檢測視頻圖像的前景區(qū)域，然后將視頻圖像的前景區(qū)域以外的區(qū)域確定為視頻圖像的背景區(qū)域。本實施例對確定視頻圖像的前景區(qū)域的技術(shù)手段不做限制。

步驟s104：采用計算機繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對象。

在確定了視頻圖像的背景區(qū)域以后，采用計算機繪圖方式將業(yè)務(wù)對象繪制在視頻圖像的背景區(qū)域。需要說明的是，采用計算機繪圖方式將業(yè)務(wù)對象繪制在視頻圖像的背景區(qū)域即采用計算機繪圖方式將業(yè)務(wù)對象繪制在視頻圖像的整個背景區(qū)域或者部分背景區(qū)域。

其中，采用計算機繪圖方式在確定出的背景區(qū)域繪制業(yè)務(wù)對象可以通過適當(dāng)?shù)挠嬎銠C圖形圖像繪制或渲染等方式實現(xiàn)，包括但不限于：基于opengl圖形繪制引擎進(jìn)行繪制等。opengl定義了一個跨編程語言、跨平臺的編程接口規(guī)格的專業(yè)的圖形程序接口，其與硬件無關(guān)，可以方便地進(jìn)行2d或3d圖形圖像的繪制。通過opengl，不僅可以實現(xiàn)2d效果如2d貼紙的繪制，還可以實現(xiàn)3d特效的繪制及粒子特效的繪制等等。但不限于opengl，其它方式，如unity或opencl等也同樣適用。

通過本實施例提供的視頻圖像的處理方法，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象，確定待處理的視頻圖像的背景區(qū)域，然后采用計算機繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對象，實現(xiàn)業(yè)務(wù)對象在視頻圖像的背景區(qū)域展示，避免業(yè)務(wù)對象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗，不易引起觀眾反感，可以有效實現(xiàn)預(yù)想的效果。

實施例二

參照圖2，示出了根據(jù)本發(fā)明實施例二的一種視頻圖像的處理方法的步驟流程圖。

本實施例的視頻圖像的處理方法包括以下步驟：

步驟s200：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象。

例如，在直播場景中，獲取當(dāng)前正在顯示的視頻圖像(即直播類視頻圖像)；再例如，在視頻錄制場景中，獲取當(dāng)前正在錄制的視頻圖像；又例如，在錄制完成的視頻中，獲取當(dāng)前播放的視頻圖像等。其中，本實施例對視頻圖像的獲取方式和具體獲取手段不作限制。

另外，本實施例中以對一張視頻圖像的處理為例，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，對于多張視頻圖像或視頻流中的視頻圖像序列均可參照本實施例進(jìn)行視頻圖像的處理。

待展示的業(yè)務(wù)對象用于在視頻圖像中展示。需要說明的是，對待展示的業(yè)務(wù)對象的獲取過程可以與待處理的視頻圖像的獲取過程同時執(zhí)行，也可以在待處理的視頻圖像的獲取過程之后或者之前執(zhí)行，本實施例對待展示的業(yè)務(wù)對象的獲取過程在本實施例中的執(zhí)行順序不做限制。

步驟s202：確定視頻圖像的前景區(qū)域和背景區(qū)域，以及業(yè)務(wù)對象在視頻圖像中的展示位置。

其中，確定視頻圖像的前景區(qū)域，可以從視頻圖像中檢測視頻圖像的前景區(qū)域和背景區(qū)域；或者，可以從視頻圖像中直接檢測視頻圖像的前景區(qū)域；或者可以從視頻圖像中檢測視頻圖像的背景區(qū)域，然后將視頻圖像的背景區(qū)域以外的區(qū)域確定為視頻圖像的前景區(qū)域。本實施例對確定視頻圖像的前景區(qū)域的技術(shù)手段不做限制。同理，確定視頻圖像的背景區(qū)域可以參照上述確定視頻圖像的前景區(qū)域的內(nèi)容，在此不再贅述。

業(yè)務(wù)對象是根據(jù)一定的業(yè)務(wù)需求而創(chuàng)建的對象，例如廣告等。展示位置可以是視頻圖像中指定區(qū)域的中心位置，或者可以是上述指定區(qū)域中多個邊緣位置的坐標(biāo)等。

步驟s204：根據(jù)展示位置判斷業(yè)務(wù)對象與前景區(qū)域是否存在重疊部分，若存在，則執(zhí)行步驟s206；若不存在，則執(zhí)行步驟s208。

本步驟中，判斷業(yè)務(wù)對象與前景區(qū)域是否存在重疊部分的目的是判斷業(yè)務(wù)對象是否對視頻圖像的前景區(qū)域造成遮擋。若存在重疊部分，則表示業(yè)務(wù)對象對視頻圖像的前景區(qū)域造成遮擋；若不存在重疊部分，則表示業(yè)務(wù)對象對視頻圖像的前景區(qū)域未造成遮擋。

步驟s206：采用計算機繪圖方式，在背景區(qū)域繪制業(yè)務(wù)對象中除重疊部分之外的部分。

一種可行的方式中，例如，業(yè)務(wù)對象y與視頻圖像s的前景區(qū)域q存在重疊部分c，在視頻圖像s的背景區(qū)域b繪制業(yè)務(wù)對象y中除重疊部分c之外的部分w，其中，重疊部分c和部分w共同組成業(yè)務(wù)對象y，前景區(qū)域q和背景區(qū)域b共同組成業(yè)務(wù)對象y。

另一種可行的方式中，若業(yè)務(wù)對象對視頻圖像的前景區(qū)域造成遮擋，則可以采用調(diào)整前景區(qū)域的顯示圖層的方式將前景區(qū)域置于業(yè)務(wù)對象之上展示，或者還可以采用調(diào)整業(yè)務(wù)對象的顯示圖層的方式將業(yè)務(wù)對象置于前景區(qū)域之下展示。本實施例對將前景區(qū)域置于業(yè)務(wù)對象之上展示的技術(shù)手段不做具體限制。

步驟s208：采用計算機繪圖方式，在背景區(qū)域繪制整個業(yè)務(wù)對象。

通過本實施例提供的視頻圖像的處理方法，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象，確定待處理的視頻圖像的前景區(qū)域和背景區(qū)域，以及業(yè)務(wù)對象在視頻圖像中的展示位置，然后根據(jù)業(yè)務(wù)對象在視頻圖像中的展示位置判斷業(yè)務(wù)對象與視頻圖像的前景區(qū)域是否存在重疊部分，若存在重疊部分，表示部分或全部業(yè)務(wù)對象位于前景區(qū)域內(nèi)，則對于該重疊部分，將前景區(qū)域置于業(yè)務(wù)對象之上展示，避免業(yè)務(wù)對象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗，不易引起觀眾反感，可以有效實現(xiàn)預(yù)想的效果。

實施例三

參照圖3，示出了根據(jù)本發(fā)明實施例三的一種視頻圖像的處理方法的步驟流程圖。

本實施例的視頻圖像的處理方法可以由任意具有數(shù)據(jù)采集、處理和傳輸功能的設(shè)備執(zhí)行，包括但不限于移動終端和pc等。本實施例以移動終端為例，對本發(fā)明實施例提供的視頻圖像的處理方法進(jìn)行說明，其它設(shè)備可參照本實施例執(zhí)行。

本實施例重點強調(diào)與上述實施例的不同之處，相同之處可以參照上述實施例的介紹和說明，在此不再贅述。

本實施例的視頻圖像的處理方法包括以下步驟：

步驟s300：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象。

例如，在直播場景中，獲取當(dāng)前正在顯示的視頻圖像；再例如，在視頻錄制場景中，獲取當(dāng)前正在錄制的視頻圖像；又例如，在錄制完成的視頻中，獲取當(dāng)前播放的視頻圖像等。本實施例中的視頻圖像為直播類視頻圖像，而且，本實施例對視頻圖像的獲取方式和具體獲取手段不作限制。

待展示的業(yè)務(wù)對象用于在視頻圖像中展示。本實施例中，待展示的業(yè)務(wù)對象包括包含有語義信息的特效，具體地，業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦А⑷S特效、粒子特效。

需要說明的是，對待展示的業(yè)務(wù)對象的獲取過程可以與待處理的視頻圖像的獲取過程同時執(zhí)行，也可以在待處理的視頻圖像的獲取過程之后或者之前執(zhí)行，本實施例對待展示的業(yè)務(wù)對象的獲取過程在本實施例中的執(zhí)行順序不做限制。

步驟s302：通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定視頻圖像的背景區(qū)域。

本實施例中，使用預(yù)先訓(xùn)練好的、用于分割視頻圖像中的前景區(qū)域和背景區(qū)域的第一卷積神經(jīng)網(wǎng)絡(luò)模型，對視頻圖像進(jìn)行檢測，確定其背景區(qū)域。用于分割視頻圖像中的前景區(qū)域和背景區(qū)域的第一卷積神經(jīng)網(wǎng)絡(luò)模型通過標(biāo)注有前景區(qū)域和背景區(qū)域的樣本圖像進(jìn)行訓(xùn)練后，能夠準(zhǔn)確且高效地確定視頻圖像中的前景區(qū)域和背景區(qū)域。

當(dāng)需要預(yù)先訓(xùn)練第一卷積神經(jīng)網(wǎng)絡(luò)模型時，一種可行的訓(xùn)練方式包括以下過程：

(1)獲取第一樣本圖像的第一特征向量。

其中，第一樣本圖像為包含有前景區(qū)域和背景區(qū)域標(biāo)記信息的樣本圖像，也即，第一樣本圖像為已標(biāo)記了前景區(qū)域和背景區(qū)域的樣本圖像。本實施例中，前景區(qū)域可以為圖像主體所在區(qū)域，例如人物所在區(qū)域；背景區(qū)域可以為除了主體所在區(qū)域外的其它區(qū)域，可以是其它區(qū)域中的全部或者部分。

在一種優(yōu)選的實施方式中，第一樣本圖像可以包括至少一個視頻流的多幀樣本圖像。因此，在此方式中，在獲取待第一樣本圖像的第一特征向量之前，還需要將包括多幀樣本圖像的視頻流輸入第一卷積神經(jīng)網(wǎng)絡(luò)模型。在實現(xiàn)時，一種可行方式包括：先確定視頻流的多個關(guān)鍵幀的圖像為樣本圖像，對這些樣本圖像進(jìn)行前景區(qū)域和背景區(qū)域的標(biāo)注；在此基礎(chǔ)上，將進(jìn)行了標(biāo)注的樣本圖像進(jìn)行組合，再將組合后的包括多幀進(jìn)行了標(biāo)注的樣本圖像的視頻流輸入第一卷積神經(jīng)網(wǎng)絡(luò)模型。其中，對視頻流抽取關(guān)鍵幀，并對抽取的關(guān)鍵幀進(jìn)行標(biāo)注均可以由本領(lǐng)域技術(shù)人員采用任意適當(dāng)?shù)姆绞綄崿F(xiàn)，如通過均勻采樣的方式抽取關(guān)鍵幀等。在抽取了關(guān)鍵幀后，可以結(jié)合視頻上下文對抽取的關(guān)鍵幀標(biāo)注區(qū)分前景和背景，得到精確的標(biāo)注邊界。將進(jìn)行了標(biāo)注后的樣本圖像作為第一樣本圖像，提取其第一特征向量。此外，本步驟中，對第一特征向量的提取可以采用相關(guān)技術(shù)中的適當(dāng)方式實現(xiàn)，本實施例在此不再贅述。

(2)對第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果。

獲取的第一特征向量卷積結(jié)果中包含有用于分辨視頻圖像的前景區(qū)域和背景區(qū)域的信息。

對第一特征向量的卷積處理次數(shù)可以根據(jù)實際需要進(jìn)行設(shè)定，也即，第一卷積神經(jīng)網(wǎng)絡(luò)模型中，卷積層的層數(shù)根據(jù)實際需要進(jìn)行設(shè)置。

第一特征向量卷積結(jié)果是對第一特征向量進(jìn)行了特征提取后的結(jié)果，該結(jié)果能夠有效表征視頻圖像中前景區(qū)域和背景區(qū)域的特征和分類。

(3)對第一特征向量卷積結(jié)果進(jìn)行放大處理。

一種可行方式中，對第一特征向量卷積結(jié)果的放大可以采用線性插值的方式，包括但不限于線性插值、雙線性插值、三線性插值等。其中，具體的線性插值公式可以由本領(lǐng)域技術(shù)人員根據(jù)實際需要采用適當(dāng)?shù)墓?，本實施例對此不作限制。?yōu)選地，可以通過對第一特征向量卷積結(jié)果進(jìn)行雙線性插值來放大第一特征向量卷積結(jié)果。通過對第一特征向量卷積結(jié)果進(jìn)行放大處理，可以得到與用于訓(xùn)練的原始圖像同樣大小的輸出圖像，獲得每一個像素點的特征信息，以更為精確地確定圖像的前景區(qū)域和背景區(qū)域。同時，通過對卷積處理后的第一特征向量的放大處理，第一卷積神經(jīng)網(wǎng)絡(luò)模型可以學(xué)習(xí)到一個較為準(zhǔn)確的放大系數(shù)，基于該放大系數(shù)和放大后的第一特征向量，可以減少第一卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)調(diào)整和計算量，降低第一卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練成本，提高訓(xùn)練效率，縮短訓(xùn)練時間。

本實施例中，在獲得第一特征向量卷積結(jié)果后，通過線性插值層對第一特征向量卷積結(jié)果進(jìn)行雙線性插值，以放大卷積處理后的圖像特征，并得到的原始圖像同樣大小(圖像長寬相同)的輸出。需要說明的是，本實施例中對雙線性插值的具體實現(xiàn)手段不作限制。

(4)判斷放大后的第一特征向量卷積結(jié)果是否滿足卷積收斂條件。

其中，卷積收斂條件可以由本領(lǐng)域技術(shù)人員根據(jù)實際需求適當(dāng)設(shè)定。當(dāng)放大后的第一特征向量卷積結(jié)果滿足卷積收斂條件時，可以認(rèn)為第一卷積神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)參數(shù)設(shè)置適當(dāng)；當(dāng)放大后的第一特征向量卷積結(jié)果不能滿足卷積收斂條件時，可以認(rèn)為第一卷積神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)參數(shù)設(shè)置不適當(dāng)，需要對其進(jìn)行調(diào)整，該調(diào)整是一個迭代的過程，直至使用調(diào)整后的網(wǎng)絡(luò)參數(shù)對第一特征向量進(jìn)行卷積處理的結(jié)果滿足卷積收斂條件。

本實施例中，在通過線性插值層對第一特征向量卷積結(jié)果進(jìn)行放大后，在損失層使用損失函數(shù)對其進(jìn)行計算，進(jìn)而根據(jù)計算結(jié)果確定是否滿足卷積收斂條件。也即，使用設(shè)定的損失函數(shù)計算放大后的第一特征向量卷積結(jié)果的損失值；根據(jù)損失值判斷放大后的第一特征向量卷積結(jié)果是否滿足卷積收斂條件。其中，損失層和損失函數(shù)可以根據(jù)實際情況由本領(lǐng)域技術(shù)人員適當(dāng)設(shè)定，如通過softmax函數(shù)或者logistic函數(shù)等。通過損失函數(shù)對第一特征向量卷積結(jié)果進(jìn)行計算，獲得損失值。在獲得損失值后，一種可行方式中，可以根據(jù)該損失值確定本次訓(xùn)練結(jié)果是否滿足卷積收斂條件，如該損失值是否小于或等于設(shè)定閾值；另一種可行方式中，可判斷對該損失值的計算是否已達(dá)到設(shè)定次數(shù)，也即，在本次訓(xùn)練中對第一卷積神經(jīng)網(wǎng)絡(luò)模型的迭代訓(xùn)練次數(shù)是否已達(dá)到設(shè)定次數(shù)，如達(dá)到則滿足卷積收斂條件。

需要說明的是，當(dāng)輸入的是視頻流中的多幀圖像時，損失層的損失函數(shù)也可以同時對該視頻流中的多幀圖像進(jìn)行損失值計算，同時輸出多幀的結(jié)果，使第一卷積神經(jīng)網(wǎng)絡(luò)模型在得到視頻上更加穩(wěn)定的結(jié)果的同時，通過多幀圖像的并行計算，提升計算效率。

(5)若滿足卷積收斂條件，則完成對第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足卷積收斂條件，則根據(jù)放大后的第一特征向量卷積結(jié)果調(diào)整第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對第一卷積說明網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的第一特征向量卷積結(jié)果滿足卷積收斂條件。

通過對第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行上述訓(xùn)練，第一卷積神經(jīng)網(wǎng)絡(luò)模型可以對視頻圖像的圖像特征進(jìn)行特征提取和分類，從而具有確定視頻圖像中的前景區(qū)域和背景區(qū)域的功能。在實際應(yīng)用中，可以使用該第一卷積射精網(wǎng)絡(luò)模型識別出視頻圖像中的背景區(qū)域。

為了使訓(xùn)練的結(jié)果更為精準(zhǔn)，在一種優(yōu)選的實施方式中，可以通過測試樣本測試該訓(xùn)練出的第一卷積神經(jīng)網(wǎng)絡(luò)模型是否準(zhǔn)確，進(jìn)而根據(jù)測試結(jié)果決定使用該第一卷積神經(jīng)網(wǎng)絡(luò)模型還是對該第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再訓(xùn)練。在此方式中，在完成了對第一卷積神經(jīng)網(wǎng)絡(luò)模型的初步訓(xùn)練后，還可以獲取測試樣本圖像，使用訓(xùn)練后的第一卷積神經(jīng)網(wǎng)絡(luò)模型對測試樣本圖像進(jìn)行前背景區(qū)域的預(yù)測，其中，測試樣本圖像為未進(jìn)行任何標(biāo)注的樣本圖像；進(jìn)而，檢驗預(yù)測的前背景區(qū)域是否正確；若不正確，則對第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再次訓(xùn)練；若正確，則可以確定使用該第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行視頻圖像的前背景確定，或者，為了使第一卷積神經(jīng)網(wǎng)絡(luò)模型更為精準(zhǔn)，再獲取其它測試樣本圖像進(jìn)行測試；或者，使用與原訓(xùn)練樣本圖像不同的樣本圖像進(jìn)行再次訓(xùn)練。

當(dāng)通過測試樣本檢驗到使用第一卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測的前背景區(qū)域不正確時，需要對該第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再次訓(xùn)練。在一種再次訓(xùn)練方式中，可以僅使用從測試樣本圖像中獲取的前背景區(qū)域預(yù)測不正確的樣本圖像作為再次訓(xùn)練使用的樣本圖像；然后，使用這些預(yù)測不正確的樣本圖像對第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再次訓(xùn)練。這些進(jìn)行再次訓(xùn)練的樣本在用于訓(xùn)練前，也需進(jìn)行前背景標(biāo)注。通過這種再訓(xùn)練方式，不僅使得訓(xùn)練更有針對性，也大大節(jié)約了訓(xùn)練成本。當(dāng)然，不限于此，在實際使用中，也可以使用其它進(jìn)行了前背景標(biāo)注的樣本圖像進(jìn)行訓(xùn)練。

在視頻直播場景中，直播類視頻圖像的前景區(qū)域為人物所在的區(qū)域；直播類視頻圖像的背景區(qū)域為除了人物所在的區(qū)域之外的至少局部區(qū)域。

步驟s304：確定業(yè)務(wù)對象在視頻圖像中的展示位置。

本步驟中，可以確定業(yè)務(wù)對象在視頻圖像中的一個或者多個展示位置，可行的實現(xiàn)方式包括：

方式一、從業(yè)務(wù)對象對應(yīng)的多幀展示圖像中，確定待展示的展示圖像；確定待展示的展示圖像在視頻圖像中的展示位置。方式二、按照設(shè)定規(guī)則確定業(yè)務(wù)對象在視頻圖像中的展示位置。

以下，分別對上述兩種方式進(jìn)行詳細(xì)說明。

方式一

從業(yè)務(wù)對象對應(yīng)的具有播放順序的多幀展示圖像中，選擇首幀未被播放過的展示圖像，將選擇的展示圖像確定為待展示的展示圖像。

其中，從業(yè)務(wù)對象對應(yīng)的具有播放順序的多幀展示圖像中，選擇首幀未被播放過的展示圖像，具體可以先從業(yè)務(wù)對象對應(yīng)的具有播放順序的多幀展示圖像中，確定播放狀態(tài)為未播放的展示圖像，再選擇播放狀態(tài)為未播放的展示圖像中的首幀展示圖像。在此情況下，在選擇的首幀未被播放過的展示圖像播放完畢之后，對具有播放順序的多幀展示圖像的播放狀態(tài)進(jìn)行更新。

需要說明的是，無論業(yè)務(wù)對象為動態(tài)業(yè)務(wù)對象還是靜態(tài)業(yè)務(wù)對象，業(yè)務(wù)對象均由多幀圖像組成。視頻圖像中的每幀與業(yè)務(wù)對象的每幀保持時間對齊，在視頻圖像播放下一幀時，業(yè)務(wù)對象也可以同步展示對應(yīng)的下一幀。

方式二

按照設(shè)定規(guī)則確定業(yè)務(wù)對象在視頻圖像中的展示位置；其中，設(shè)定規(guī)則包括：設(shè)定規(guī)則1、預(yù)先設(shè)定的業(yè)務(wù)對象在視頻圖像的設(shè)定展示位置，或者，設(shè)定規(guī)則2、根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置。

設(shè)定規(guī)則1:預(yù)先設(shè)定的業(yè)務(wù)對象與其在視頻圖像中的展示位置存在對應(yīng)關(guān)系，若待展示的業(yè)務(wù)對象確定為預(yù)先設(shè)定的業(yè)務(wù)對象，則待展示的業(yè)務(wù)對象的展示位置相應(yīng)地確定為預(yù)先設(shè)定的業(yè)務(wù)對象在視頻圖像中的設(shè)定展示位置。

設(shè)定規(guī)則2：可以分別使用預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型和前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置；還可以根據(jù)業(yè)務(wù)對象的類型和前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置；或者可以根據(jù)預(yù)先設(shè)定的動作數(shù)據(jù)和前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)確定業(yè)務(wù)對象在視頻圖像中的展示位置。以下對上述三種確定業(yè)務(wù)對象在視頻圖像中的展示位置的方式進(jìn)行詳細(xì)介紹。

1)使用預(yù)先訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)模型和前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置。

其中，需要預(yù)先訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)模型(即第二卷積神經(jīng)網(wǎng)絡(luò)模型)，訓(xùn)練完成的第二卷積神經(jīng)網(wǎng)絡(luò)模型具有確定業(yè)務(wù)對象在視頻圖像中的展示位置的功能；或者，也可以直接使用第三方已訓(xùn)練完成的、具有確定業(yè)務(wù)對象在視頻圖像中的展示位置的功能的卷積神經(jīng)網(wǎng)絡(luò)模型。

當(dāng)需要預(yù)先訓(xùn)練第二卷積神經(jīng)網(wǎng)絡(luò)模型時，一種可行的訓(xùn)練方式包括以下過程：

(1)獲取第二樣本圖像的第二特征向量。

其中，第二特征向量中包含有第二樣本圖像中的業(yè)務(wù)對象的位置信息和/或置信度信息，以及第二樣本圖像中目標(biāo)對象的目標(biāo)對象特征向量。業(yè)務(wù)對象的置信度信息指示了業(yè)務(wù)對象展示在當(dāng)前位置時，能夠達(dá)到的效果(如被關(guān)注或被點擊或被觀看)的概率，該概率可以根據(jù)對歷史數(shù)據(jù)的統(tǒng)計分析結(jié)果設(shè)定，也可以根據(jù)仿真實驗的結(jié)果設(shè)定，還可以根據(jù)人工經(jīng)驗進(jìn)行設(shè)定。在實際應(yīng)用中，可以根據(jù)實際需要，僅對業(yè)務(wù)對象的位置信息進(jìn)行訓(xùn)練，也可以僅對業(yè)務(wù)對象的置信度信息進(jìn)行訓(xùn)練，還可以對二者均進(jìn)行訓(xùn)練。對二者均進(jìn)行訓(xùn)練，能夠使得訓(xùn)練后的第二卷積神經(jīng)網(wǎng)絡(luò)模型更為有效和精準(zhǔn)地確定業(yè)務(wù)對象的位置信息和置信度信息，以便為視頻圖像的處理提供依據(jù)。

第二卷積神經(jīng)網(wǎng)絡(luò)模型對大量的第二樣本圖像進(jìn)行訓(xùn)練，本實施例中，需要使用包含有業(yè)務(wù)對象的第二樣本圖像對第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了的是，用來訓(xùn)練的第二樣本圖像中，除了包含業(yè)務(wù)對象外，也應(yīng)當(dāng)包含目標(biāo)對象屬性的信息(即人臉的面部表情和/或動作、人手的手勢和/或動作等等)。此外，本實施例中的第二樣本圖像中的業(yè)務(wù)對象可以被預(yù)先標(biāo)注位置信息，或者置信度信息，或者二種信息都有。當(dāng)然，在實際應(yīng)用中，這些信息也可以通過其它途徑獲取。而通過預(yù)先在對業(yè)務(wù)對象進(jìn)行相應(yīng)信息的標(biāo)注，可以有效節(jié)約數(shù)據(jù)處理的數(shù)據(jù)和交互次數(shù)，提高數(shù)據(jù)處理效率。

將具有業(yè)務(wù)對象的位置信息和/或置信度信息，以及某種目標(biāo)對象屬性的第二樣本圖像作為訓(xùn)練樣本，對其進(jìn)行特征向量提取，獲得包含有業(yè)務(wù)對象的位置信息和/或置信度信息的業(yè)務(wù)對象特征向量，以及目標(biāo)對象屬性對應(yīng)的目標(biāo)對象特征向量。

可選地，可以使用第二卷積神經(jīng)網(wǎng)絡(luò)模型對目標(biāo)對象和業(yè)務(wù)對象同時進(jìn)行訓(xùn)練，在此情況下，第二樣本圖像的第二特征向量中，也應(yīng)當(dāng)包含目標(biāo)對象的特征。

對第二特征向量的提取可以采用相關(guān)技術(shù)中的適當(dāng)方式實現(xiàn)，本實施例在此不再贅述。

(2)對第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果。

在實施中，獲取的第二特征向量卷積結(jié)果中包含有業(yè)務(wù)對象的位置信息和/或置信度信息，目標(biāo)對象屬性對應(yīng)的目標(biāo)對象特征向量對應(yīng)的特征向量卷積結(jié)果。在對目標(biāo)對象和業(yè)務(wù)對象進(jìn)行聯(lián)合訓(xùn)練的情況下，特征向量卷積結(jié)果中還包含目標(biāo)對象信息。

對第二特征向量的卷積處理次數(shù)可以根據(jù)實際需要進(jìn)行設(shè)定，也即，第二卷積神經(jīng)網(wǎng)絡(luò)模型中，卷積層的層數(shù)根據(jù)實際需要進(jìn)行設(shè)置，在此不再贅述。

第二特征向量卷積結(jié)果是對第二特征向量進(jìn)行了特征提取后的結(jié)果，該結(jié)果能夠有效表征視頻圖像中目標(biāo)對象的特征對應(yīng)的業(yè)務(wù)對象。

本實施例中，當(dāng)?shù)诙卣飨蛄恐屑劝瑯I(yè)務(wù)對象的位置信息，又包含業(yè)務(wù)對象的置信度信息時，也即，對業(yè)務(wù)對象的位置信息和置信度信息均進(jìn)行了訓(xùn)練的情況下，該第二特征向量卷積結(jié)果在后續(xù)分別進(jìn)行收斂條件判斷時共享，無須進(jìn)行重復(fù)處理和計算，減少了由數(shù)據(jù)處理引起的資源損耗，提高了數(shù)據(jù)處理速度和效率。

(3)判斷第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對象收斂條件，并判斷第二特征向量卷積結(jié)果中對應(yīng)的目標(biāo)對象特征向量是否滿足目標(biāo)對象收斂條件。

其中，業(yè)務(wù)對象收斂條件和目標(biāo)對象收斂條件可以由本領(lǐng)域技術(shù)人員根據(jù)實際需求適當(dāng)設(shè)定。當(dāng)位置信息和/或置信度信息滿足業(yè)務(wù)對象收斂條件，且目標(biāo)對象特征向量滿足目標(biāo)對象收斂條件時，可以認(rèn)為第二卷積神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)參數(shù)設(shè)置適當(dāng)；當(dāng)位置信息和/或置信度信息不滿足業(yè)務(wù)對象收斂條件，或目標(biāo)對象特征向量不滿足目標(biāo)對象收斂條件時，可以認(rèn)為第二卷積神經(jīng)網(wǎng)絡(luò)模型中的網(wǎng)絡(luò)參數(shù)設(shè)置不適當(dāng)，需要對其進(jìn)行調(diào)整，該調(diào)整是一個迭代的過程，直至使用調(diào)整后的網(wǎng)絡(luò)參數(shù)對第二特征向量進(jìn)行卷積處理的結(jié)果滿足收斂條件。

一種可行方式中，業(yè)務(wù)對象收斂條件可以根據(jù)預(yù)設(shè)的標(biāo)準(zhǔn)位置和/或預(yù)設(shè)的標(biāo)準(zhǔn)置信度進(jìn)行設(shè)定，如，將第二特征向量卷積結(jié)果中業(yè)務(wù)對象的位置信息指示的位置與預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的距離是否滿足一定閾值作為業(yè)務(wù)對象的位置信息的收斂條件；將第二特征向量卷積結(jié)果中業(yè)務(wù)對象的置信度信息指示的置信度與預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的差別是否滿足一定閾值作為業(yè)務(wù)對象的置信度信息的收斂條件等。

其中，可選地，預(yù)設(shè)的標(biāo)準(zhǔn)位置可以是對待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對象的位置進(jìn)行平均處理后獲得的平均位置；預(yù)設(shè)的標(biāo)準(zhǔn)置信度可以是對待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對象的置信度進(jìn)行平均處理后獲取的平均置信度。因第二樣本圖像為待訓(xùn)練樣本且數(shù)據(jù)量龐大，可依據(jù)待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對象的位置和/或置信度設(shè)定標(biāo)準(zhǔn)位置和/或標(biāo)準(zhǔn)置信度，這樣設(shè)定的標(biāo)準(zhǔn)位置和標(biāo)準(zhǔn)置信度也更為客觀和精確。

在具體進(jìn)行第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對象收斂條件的判斷時，一種可行的方式包括：

獲取第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息，通過計算對應(yīng)的業(yè)務(wù)對象的位置信息指示的位置與預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的歐式距離，得到對應(yīng)的業(yè)務(wù)對象的位置信息指示的位置與預(yù)設(shè)的標(biāo)準(zhǔn)位置之間的第一距離，根據(jù)第一距離判斷對應(yīng)的業(yè)務(wù)對象的位置信息是否滿足業(yè)務(wù)對象收斂條件；和/或，

獲取第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的置信度信息，計算對應(yīng)的業(yè)務(wù)對象的置信度信息指示的置信度與預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的歐式距離，得到對應(yīng)的業(yè)務(wù)對象的置信度信息指示的置信度與預(yù)設(shè)的標(biāo)準(zhǔn)置信度之間的第二距離，根據(jù)第二距離判斷對應(yīng)的業(yè)務(wù)對象的置信度信息是否滿足業(yè)務(wù)對象收斂條件。其中，采用歐式距離的方式，實現(xiàn)簡單且能夠有效指示收斂條件是否被滿足。但不限于此，其它方式，如馬式距離，巴式距離等也同樣適用。

可選地，如前所述，預(yù)設(shè)的標(biāo)準(zhǔn)位置為對待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對象的位置進(jìn)行平均處理后獲得的平均位置；和/或，預(yù)設(shè)的標(biāo)準(zhǔn)置信度為對待訓(xùn)練的第二樣本圖像中的業(yè)務(wù)對象的置信度進(jìn)行平均處理后獲取的平均置信度。

當(dāng)?shù)诙卣飨蛄烤矸e結(jié)果中還包含目標(biāo)對象的信息時，對目標(biāo)對象的信息是否收斂的判斷可以參照相關(guān)使用第二卷積神經(jīng)網(wǎng)絡(luò)模型的收斂條件進(jìn)行判斷，在此不再贅述。若目標(biāo)對象的信息滿足收斂條件(即第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量滿足目標(biāo)對象收斂條件)，則可對目標(biāo)對象進(jìn)行分類，明確目標(biāo)對象的所屬類別，以為后續(xù)業(yè)務(wù)對象的展示位置確定提供參考和依據(jù)。

(4)若滿足收斂條件(即位置信息和/或置信度信息滿足業(yè)務(wù)對象收斂條件，且目標(biāo)對象特征向量滿足目標(biāo)對象收斂條件)，則完成對第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足收斂條件(位置信息和/或置信度信息不滿足業(yè)務(wù)對象收斂條件，或目標(biāo)對象特征向量不滿足目標(biāo)對象收斂條件)，則根據(jù)第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息，和第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量調(diào)整第二卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)并根據(jù)調(diào)整后的第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對第二卷積睡覺覺網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對象的位置信息和/或置信度信息滿足收斂條件，目標(biāo)對象特征向量滿足目標(biāo)對象收斂條件。

通過對第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行上述訓(xùn)練，第二卷積神經(jīng)網(wǎng)絡(luò)模型可以對基于業(yè)務(wù)對象的展示位置進(jìn)行特征提取和分類，從而具有確定業(yè)務(wù)對象在視頻圖像中的展示位置的功能。其中，當(dāng)展示位置包括多個時，通過上述業(yè)務(wù)對象置信度的訓(xùn)練，第二卷積神經(jīng)網(wǎng)絡(luò)模型還可以確定出多個展示位置中的展示效果的優(yōu)劣順序，從而確定最優(yōu)的展示位置。在后續(xù)應(yīng)用中，當(dāng)需要展示業(yè)務(wù)對象時，根據(jù)視頻圖像即可確定出有效的展示位置。

此外，在對第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行上述訓(xùn)練之前，還可以預(yù)先對第二樣本圖像進(jìn)行預(yù)處理，包括：獲取多個第二樣本圖像，其中，每個第二樣本圖像中包含有業(yè)務(wù)對象的標(biāo)注信息；根據(jù)標(biāo)注信息確定業(yè)務(wù)對象的位置，判斷確定的業(yè)務(wù)對象的位置與預(yù)設(shè)位置的距離是否小于或等于設(shè)定閾值；將小于或等于設(shè)定閾值的業(yè)務(wù)對象對應(yīng)的第二樣本圖像，確定為待訓(xùn)練的第二樣本圖像。其中，預(yù)設(shè)位置和設(shè)定閾值均可以由本領(lǐng)域技術(shù)人員采用任意適當(dāng)方式進(jìn)行適當(dāng)設(shè)置，如根據(jù)數(shù)據(jù)統(tǒng)計分析結(jié)果或者相關(guān)距離計算公式或者人工經(jīng)驗等，本實施例對此不作限制。

在一種可行方式中，根據(jù)標(biāo)注信息確定的業(yè)務(wù)對象的位置可以是業(yè)務(wù)對象的中心位置。在根據(jù)標(biāo)注信息確定業(yè)務(wù)對象的位置，判斷確定的業(yè)務(wù)對象的位置與預(yù)設(shè)位置的距離是否小于或等于設(shè)定閾值時，可以根據(jù)標(biāo)注信息確定業(yè)務(wù)對象的中心位置；進(jìn)而判斷該中心位置與預(yù)設(shè)位置的方差是否小于或等于設(shè)定閾值。

通過預(yù)先對第二樣本圖像進(jìn)行預(yù)處理，可以過濾掉不符合條件的樣本圖像，以保證訓(xùn)練結(jié)果的準(zhǔn)確性。

通過上述過程實現(xiàn)了第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練完成的第二卷積神經(jīng)網(wǎng)絡(luò)模型可以用來確定業(yè)務(wù)對象在視頻圖像中的展示位置。例如，在視頻直播過程中，若主播點擊業(yè)務(wù)對象指示進(jìn)行業(yè)務(wù)對象展示時，在第二卷積神經(jīng)網(wǎng)絡(luò)模型獲得了直播的視頻圖像中主播的面部特征點后，可以指示出展示業(yè)務(wù)對象的最優(yōu)位置如主播的額頭位置，進(jìn)而控制直播應(yīng)用在該位置展示業(yè)務(wù)對象；或者，在視頻直播過程中，若主播點擊業(yè)務(wù)對象指示進(jìn)行業(yè)務(wù)對象展示時，第二卷積神經(jīng)網(wǎng)絡(luò)模型可以直接根據(jù)直播的視頻圖像確定業(yè)務(wù)對象的展示位置。

2)根據(jù)業(yè)務(wù)對象的類型和前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置。

首先根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和業(yè)務(wù)對象的類型，獲得業(yè)務(wù)對象在視頻圖像中的多個展示位置；然后從多個展示位置中選擇至少一個展示位置。其中，目標(biāo)對象的類型包括但不限于：人臉類型、手部類型和動作類型。其中，人臉類型用于指示人臉在視頻圖像中占據(jù)主要部分，手部類型用于指示手部在視頻圖像中占據(jù)主要部分，而動作類型則用于指示人物進(jìn)行了某種動作。目標(biāo)對象的動作檢測數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

3)根據(jù)預(yù)先設(shè)定的動作數(shù)據(jù)和前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)確定業(yè)務(wù)對象在視頻圖像中的展示位置。

判斷前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)是否匹配；若匹配，則從預(yù)先存儲的動作數(shù)據(jù)與展示位置的對應(yīng)關(guān)系中，獲取預(yù)先設(shè)定的動作數(shù)據(jù)對應(yīng)的目標(biāo)展示位置作為業(yè)務(wù)對象在視頻圖像中的展示位置。

在實施中，可以預(yù)先設(shè)定多種不同的動作數(shù)據(jù)，并對不同的動作數(shù)據(jù)進(jìn)行相應(yīng)的標(biāo)記，如標(biāo)記為臉部的動作或者手部的動作等等。不同的動作數(shù)據(jù)對應(yīng)著不同的展示位置。將前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)進(jìn)行匹配，如果動作檢測數(shù)據(jù)與動作數(shù)據(jù)相同，則可以確定前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)進(jìn)行匹配。

為了提高匹配的準(zhǔn)確度，可以通過計算的方式確定上述匹配結(jié)果，例如，可以設(shè)置匹配算法計算動作檢測數(shù)據(jù)和動作數(shù)據(jù)之間的匹配度，例如，可以使用動作檢測數(shù)據(jù)和預(yù)先設(shè)定的動作數(shù)據(jù)進(jìn)行匹配計算，得到兩者之間的匹配度數(shù)值，通過上述方式分別計算動作檢測數(shù)據(jù)與預(yù)先設(shè)定的每一個動作數(shù)據(jù)之間的匹配度數(shù)值，從得到的匹配度數(shù)值中選取最大的匹配度數(shù)值，如果該最大的匹配度數(shù)值超過預(yù)定的匹配閾值，則可以確定最大的匹配度數(shù)值對應(yīng)的預(yù)先設(shè)定的動作數(shù)據(jù)與動作檢測數(shù)據(jù)相匹配。如果該最大的匹配度數(shù)值未超過預(yù)定的匹配閾值，則匹配失敗。

需要說明的是，上述步驟s302和步驟s304可以同時執(zhí)行，也可以按照順序執(zhí)行，例如，先執(zhí)行步驟s302，后執(zhí)行步驟s304，或者先執(zhí)行步驟s304，后執(zhí)行步驟s302，本實施例對步驟s302和步驟s304的執(zhí)行順序不做具體限定。

步驟s306：根據(jù)展示位置判斷業(yè)務(wù)對象與前景區(qū)域是否存在重疊部分，若存在，則執(zhí)行步驟s308；若不存在，則執(zhí)行步驟s310。

本步驟中，判斷業(yè)務(wù)對象與前景區(qū)域是否存在重疊部分的目的是判斷業(yè)務(wù)對象是否對視頻圖像的前景區(qū)域造成遮擋。若存在重疊部分，則表示業(yè)務(wù)對象對視頻圖像的前景區(qū)域造成遮擋；若不存在重疊部分，則表示業(yè)務(wù)對象對視頻圖像的前景區(qū)域未造成遮擋。

步驟s308：采用計算機繪圖方式，在背景區(qū)域繪制業(yè)務(wù)對象中除重疊部分之外的部分。

一種可行的方式中，例如，業(yè)務(wù)對象y與視頻圖像s的前景區(qū)域q存在重疊部分c，在視頻圖像s的背景區(qū)域b繪制業(yè)務(wù)對象y中除重疊部分c之外的部分w，其中，重疊部分c和部分w共同組成業(yè)務(wù)對象y，前景區(qū)域q和背景區(qū)域b共同組成業(yè)務(wù)對象y。

另一種可行的方式中，若業(yè)務(wù)對象對視頻圖像的前景區(qū)域造成遮擋，則可以采用調(diào)整前景區(qū)域的顯示圖層的方式將前景區(qū)域置于業(yè)務(wù)對象之上展示，或者還可以采用調(diào)整業(yè)務(wù)對象的顯示圖層的方式將業(yè)務(wù)對象置于前景區(qū)域之下展示。本實施例對將前景區(qū)域置于業(yè)務(wù)對象之上展示的技術(shù)手段不做具體限制。

本實施例中，將前景區(qū)域置于業(yè)務(wù)對象之上展示，具體可以將重疊部分對應(yīng)的前景區(qū)域置于重疊部分對應(yīng)的業(yè)務(wù)對象之上展示。

步驟s310：采用計算機繪圖方式，在背景區(qū)域繪制整個業(yè)務(wù)對象。

通過本實施例提供的視頻圖像的處理方法，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象，確定待處理的視頻圖像的前景區(qū)域和背景區(qū)域，以及業(yè)務(wù)對象在視頻圖像中的展示位置，然后根據(jù)業(yè)務(wù)對象在視頻圖像中的展示位置判斷業(yè)務(wù)對象與視頻圖像的前景區(qū)域是否存在重疊部分，若存在重疊部分，表示部分或全部業(yè)務(wù)對象位于前景區(qū)域內(nèi)，則對于該重疊部分，將前景區(qū)域置于業(yè)務(wù)對象之上展示，避免業(yè)務(wù)對象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗，不易引起觀眾反感，可以有效實現(xiàn)預(yù)想的效果。

實施例四

參照圖4，示出了根據(jù)本發(fā)明實施例四的一種視頻圖像的處理方法的步驟流程圖。

業(yè)務(wù)對象包括包含有語義信息的特效，具體地，業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。本實施例以業(yè)務(wù)對象為二維廣告貼紙?zhí)匦?，視頻圖像為直播類視頻圖像為例，對本發(fā)明實施例的視頻圖像的處理方案進(jìn)行說明。

本實施例的視頻圖像的處理方法包括以下步驟：

步驟s400：獲取待處理的直播類視頻圖像和待展示的廣告貼紙?zhí)匦А?/p>

從直播類視頻應(yīng)用中獲取待處理的直播類視頻圖像。待展示的廣告貼紙?zhí)匦Э梢詾閺V告商定制的廣告貼紙?zhí)匦?，或者可以為主播選擇的廣告貼紙?zhí)匦А?/p>

步驟s402：確定直播類視頻圖像的主播區(qū)域，以及廣告貼紙?zhí)匦г谥辈ヮ愐曨l圖像中的展示位置。

直播類視頻圖像可以劃分為兩部分區(qū)域，分別為主播區(qū)域和背景區(qū)域。其中，主播區(qū)域為主播本身的區(qū)域，背景區(qū)域為直播類視頻圖像中，主播區(qū)域以外的區(qū)域。

本步驟確定主播區(qū)域以及展示位置的具體執(zhí)行過程可以按照上述實施例中的相關(guān)內(nèi)容，在此不再贅述。

步驟s404：根據(jù)展示位置判斷廣告貼紙?zhí)匦c主播區(qū)域是否存在重疊部分，若存在，則執(zhí)行步驟s406；若不存在，則執(zhí)行步驟s408。

步驟s406：將主播區(qū)域置于廣告貼紙?zhí)匦е险故尽?/p>

步驟s408：采用計算機繪圖方式，在背景區(qū)域繪制整個業(yè)務(wù)對象。

本實施例中，當(dāng)視頻圖像的主體為主播時，觀眾主要關(guān)注的區(qū)域為主播的臉部區(qū)域和肢體動作，為了能夠既讓觀眾注意到廣告貼紙?zhí)匦У膬?nèi)容，同時不會影響到主播，可以通過增強現(xiàn)實感效果，給視頻圖像相關(guān)區(qū)域加上有語義的虛擬物品如廣告貼紙?zhí)匦?。并通過虛擬物品上的展示效果和信息達(dá)到商業(yè)價值。通過這種方式，既保留了主播的主要形象和動作，同時通過增強現(xiàn)實的特效為視頻圖像增加了趣味性，減少了觀眾對廣告投放引起的可能的反感，并能夠吸引到觀眾的注意力，形成商業(yè)的價值。例如，若廣告貼紙?zhí)匦橐粋€飛鳥貼紙?zhí)匦?，飛鳥貼紙?zhí)匦г谝曨l圖像中展示，當(dāng)飛鳥貼紙?zhí)匦У恼故疚恢门c主播區(qū)域存在重疊部分時，即飛鳥貼紙?zhí)匦д趽踔鞑^(qū)域時，將主播區(qū)域置于飛鳥貼紙?zhí)匦е险故?。具體地，若飛鳥貼紙?zhí)匦c主播區(qū)域的重疊部分為飛鳥貼紙?zhí)匦У念^部，飛鳥貼紙?zhí)匦У钠溆嗖糠植慌c主播區(qū)域重疊，則將主播區(qū)域置于飛鳥貼紙?zhí)匦У念^部之上展示，展示效果為可見飛鳥貼紙?zhí)匦С^部以外的部分和主播區(qū)域。若飛鳥貼紙?zhí)匦c主播區(qū)域的重疊部分為整個飛鳥貼紙?zhí)匦?，則將主播區(qū)域置于整個飛鳥貼紙?zhí)匦е险故荆故拘Ч麨椴豢梢娬麄€飛鳥貼紙?zhí)匦?，可見主播區(qū)域。

需要說明的是，上述廣告貼紙?zhí)匦?，以飛鳥貼紙?zhí)匦槔梢詾殪o態(tài)的廣告貼紙?zhí)匦?，也可以為動態(tài)的廣告貼紙?zhí)匦А．?dāng)廣告貼紙?zhí)匦閯討B(tài)的廣告貼紙?zhí)匦r，可以將動態(tài)的廣告貼紙?zhí)匦У拿恳粠鳛橐粋€靜態(tài)的廣告貼紙?zhí)匦нM(jìn)行處理，具體處理過程可以參照上述實施例中的相關(guān)內(nèi)容，在此不再贅述。

隨著互聯(lián)網(wǎng)直播的興起，越來越多的視頻以直播的方式出現(xiàn)。這類視頻具有場景簡單、實時、因觀眾主要在手機等移動終端上觀看而視頻圖像尺寸較小等特點。在此情況下，對于某些業(yè)務(wù)對象的投放如廣告投放來說，由于移動終端的屏幕展示區(qū)域有限，如果以傳統(tǒng)的固定位置放置廣告，則會占用主要的用戶體驗區(qū)域，甚至?xí)趽踔鞑^(qū)域，不僅容易引起用戶反感，還可能導(dǎo)致直播的主播者丟失觀眾。而通過業(yè)務(wù)對象投放廣告，將廣告投放與視頻直播內(nèi)容有效融合，方式靈活，效果生動，不僅不影響用戶的直播觀看體驗，且提升了廣告的投放效果。對于使用較小的顯示屏幕進(jìn)行業(yè)務(wù)對象展示，廣告投放等場景尤其適用。

通過本實施例提供的視頻圖像的處理方法，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象，確定待處理的視頻圖像的前景區(qū)域，以及業(yè)務(wù)對象在視頻圖像中的展示位置，然后根據(jù)業(yè)務(wù)對象在視頻圖像中的展示位置判斷業(yè)務(wù)對象與視頻圖像的前景區(qū)域是否存在重疊部分，若存在重疊部分，表示部分或全部業(yè)務(wù)對象位于前景區(qū)域內(nèi)，則對于該重疊部分，將前景區(qū)域置于業(yè)務(wù)對象之上展示，避免業(yè)務(wù)對象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗，不易引起觀眾反感，可以有效實現(xiàn)預(yù)想的效果。

此外，本實施例的視頻圖像處理方法可以在任意適當(dāng)?shù)木哂袛?shù)據(jù)采集、處理和傳輸功能的終端設(shè)備如移動終端或pc上實現(xiàn)，本發(fā)明實施例對實現(xiàn)設(shè)備不作限制。

實施例五

參照圖5，示出了根據(jù)本發(fā)明實施例五的一種視頻圖像的處理裝置的結(jié)構(gòu)框圖。

本實施例的視頻圖像的處理裝置包括：獲取模塊500，用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象；背景區(qū)域確定模塊502，用于確定視頻圖像的背景區(qū)域；繪制模塊504，用于采用計算機繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對象。

通過本實施例提供的視頻圖像的處理裝置，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象，確定待處理的視頻圖像的背景區(qū)域，然后采用計算機繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對象，實現(xiàn)業(yè)務(wù)對象在視頻圖像的背景區(qū)域展示，避免業(yè)務(wù)對象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗，不易引起觀眾反感，可以有效實現(xiàn)預(yù)想的效果。

實施例六

參照圖6，示出了根據(jù)本發(fā)明實施例六的一種視頻圖像的處理裝置的結(jié)構(gòu)框圖。

本實施例的視頻圖像的處理裝置包括：獲取模塊600，用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象；背景區(qū)域確定模塊602，用于確定視頻圖像的背景區(qū)域；繪制模塊604，用于采用計算機繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對象。

可選地，繪制模塊604包括：展示位置確定模塊6040，用于確定業(yè)務(wù)對象在視頻圖像中的展示位置；前景區(qū)域確定模塊6042，用于確定視頻圖像的前景區(qū)域；判斷模塊6044，用于根據(jù)展示位置判斷業(yè)務(wù)對象與前景區(qū)域是否存在重疊部分；展示模塊6046，用于若業(yè)務(wù)對象與前景區(qū)域存在重疊部分，則采用計算機繪圖方式，在背景區(qū)域繪制業(yè)務(wù)對象中除重疊部分之外的部分。

可選地，背景區(qū)域確定模塊602，用于通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定視頻圖像的背景區(qū)域。

可選地，本實施例的視頻圖像的處理裝置還包括：第一訓(xùn)練模塊606，用于對第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練；第一訓(xùn)練模塊606包括：第一特征向量獲取模塊6060，用于獲取第一樣本圖像的第一特征向量，其中，第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；第一卷積處理模塊6062，用于對第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；放大處理模塊6064，用于對第一特征向量卷積結(jié)果進(jìn)行放大處理；第一條件判斷模塊6066，用于判斷放大后的第一特征向量卷積結(jié)果是否滿足卷積收斂條件；第一執(zhí)行模塊6068，用于若放大后的第一特征向量卷積結(jié)果滿足卷積收斂條件，則完成對第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若放大后的第一特征向量卷積結(jié)果不滿足卷積收斂條件，則根據(jù)放大后的第一特征向量卷積結(jié)果調(diào)整第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對第一卷積網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的第一特征向量卷積結(jié)果滿足卷積收斂條件。

可選地，展示位置確定模塊6040，用于按照設(shè)定規(guī)則確定業(yè)務(wù)對象在視頻圖像中的展示位置；其中，設(shè)定規(guī)則包括：預(yù)先設(shè)定的業(yè)務(wù)對象在視頻圖像的設(shè)定展示位置，或者，展示位置確定模塊6040根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置。

可選地，展示位置確定模塊6040，用于根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，通過預(yù)先訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)模型確定業(yè)務(wù)對象在視頻圖像中的展示位置。

可選地，本實施例的視頻圖像的處理裝置還包括：第二訓(xùn)練模塊608，用于對第二卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)先訓(xùn)練；第二訓(xùn)練模塊608包括：第二特征向量獲取模塊6080，用于獲取第二樣本圖像的第一特征向量，其中，第二特征向量中包含有第二樣本圖像中的業(yè)務(wù)對象的位置信息和/或置信度信息，以及第二樣本圖像中目標(biāo)對象的目標(biāo)對象特征向量；第二卷積處理模塊6082，用于對第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；第二條件判斷模塊6084，用于判斷第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對象收斂條件，并判斷第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量是否滿足目標(biāo)對象收斂條件；第二執(zhí)行模塊6086，用于若第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息滿足業(yè)務(wù)對象收斂條件，且第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量滿足目標(biāo)對象收斂條件，則完成對第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對象的位置信息和/或置信度信息和目標(biāo)對象特征向量均滿足相應(yīng)的收斂條件。

可選地，展示位置確定模塊6040，用于根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和業(yè)務(wù)對象的類型，確定業(yè)務(wù)對象在視頻圖像中的展示位置。

可選地，展示位置確定模塊6040包括：展示位置獲得模塊60400，用于根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和業(yè)務(wù)對象的類型，獲得業(yè)務(wù)對象在視頻圖像中的多個展示位置；展示位置選擇模塊60402，用于從多個展示位置中選擇至少一個展示位置。

可選地，展示位置確定模塊6040包括：數(shù)據(jù)判斷模塊60404，用于判斷前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)是否匹配；位置獲取模塊60406，用于若前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)匹配，則從預(yù)先存儲的動作數(shù)據(jù)與展示位置的對應(yīng)關(guān)系中，獲取預(yù)先設(shè)定的動作數(shù)據(jù)對應(yīng)的目標(biāo)展示位置作為業(yè)務(wù)對象在視頻圖像中的展示位置。

可選地，業(yè)務(wù)對象包括包含有語義信息的特效；視頻圖像為直播類視頻圖像。

可選地，業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦А⑷S特效、粒子特效。

可選地，直播類視頻圖像的前景區(qū)域為人物所在的區(qū)域。

可選地，直播類視頻圖像的背景區(qū)域為除了人物所在的區(qū)域之外的至少局部區(qū)域。

可選地，目標(biāo)對象的動作檢測數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

本實施例視頻圖像的處理裝置用于實現(xiàn)前述多個方法實施例中相應(yīng)的視頻圖像的處理方法，并具有相應(yīng)的方法實施例的有益效果，在此不再贅述。

此外，本實施例的視頻圖像的處理裝置可以設(shè)置于適當(dāng)?shù)慕K端設(shè)備中，包括但不限于移動終端、pc等。

實施例七

參照圖7，示出了根據(jù)本發(fā)明實施例七的一種終端設(shè)備的結(jié)構(gòu)示意圖，本發(fā)明具體實施例并不對終端設(shè)備的具體實現(xiàn)做限定。

如圖7所示，該終端設(shè)備可以包括：處理器(processor)702、通信接口(communicationsinterface)704、存儲器(memory)706、以及通信總線708。

其中：處理器702、通信接口704、以及存儲器706通過通信總線708完成相互間的通信。

通信接口704，用于與其它設(shè)備比如其它客戶端或服務(wù)器等的網(wǎng)元通信。

處理器702，用于執(zhí)行程序710，具體可以執(zhí)行上述方法實施例中的相關(guān)步驟。

具體地，程序710可以包括程序代碼，該程序代碼包括計算機操作指令。

處理器710可能是中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實施本發(fā)明實施例的一個或多個集成電路，或者是圖形處理器gpu(graphicsprocessingunit)。終端設(shè)備包括的一個或多個處理器，可以是同一類型的處理器，如一個或多個cpu，或者，一個或多個gpu；也可以是不同類型的處理器，如一個或多個cpu以及一個或多個gpu。

存儲器706，用于存放程序710。存儲器706可能包含高速ram存儲器，也可能還包括非易失性存儲器(non-volatilememory)，例如至少一個磁盤存儲器。

程序710具體可以用于使得處理器702執(zhí)行以下操作：獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象；確定視頻圖像的背景區(qū)域；采用計算機繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對象。

在一種可選的實施方式中，程序710還用于使得處理器702在采用計算機繪圖方式在視頻圖像的背景區(qū)域繪制業(yè)務(wù)對象時，確定業(yè)務(wù)對象在視頻圖像中的展示位置和視頻圖像的前景區(qū)域；根據(jù)展示位置判斷業(yè)務(wù)對象與視頻圖像的前景區(qū)域是否存在重疊部分；若存在，則采用計算機繪圖方式，在背景區(qū)域繪制業(yè)務(wù)對象中除重疊部分之外的部分。

在一種可選的實施方式中，程序710還用于使得處理器702在確定視頻圖像的背景區(qū)域時，通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定視頻圖像的背景區(qū)域。

在一種可選的實施方式中，程序710還用于使得處理器702在對第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練時，獲取第一樣本圖像的第一特征向量，其中，第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；對第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；對第一特征向量卷積結(jié)果進(jìn)行放大處理；判斷放大后的第一特征向量卷積結(jié)果是否滿足卷積收斂條件；若滿足，則完成對第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若不滿足，則根據(jù)放大后的第一特征向量卷積結(jié)果調(diào)整第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的第一特征向量卷積結(jié)果滿足卷積收斂條件。

在一種可選的實施方式中，程序710還用于使得處理器702在確定業(yè)務(wù)對象在視頻圖像中的展示位置時，按照設(shè)定規(guī)則確定業(yè)務(wù)對象在視頻圖像中的展示位置；其中，設(shè)定規(guī)則包括：預(yù)先設(shè)定的業(yè)務(wù)對象在視頻圖像的設(shè)定展示位置，或者，根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置。

在一種可選的實施方式中，程序710還用于使得處理器702在根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置時，根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，通過預(yù)先訓(xùn)練的、第二卷積神經(jīng)網(wǎng)絡(luò)模型確定業(yè)務(wù)對象在視頻圖像中的展示位置。

在一種可選的實施方式中，程序710還用于使得處理器702在對第二卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練時，獲取第二樣本圖像的第一特征向量，其中，第二特征向量中包含有第二樣本圖像中的業(yè)務(wù)對象的位置信息和/或置信度信息，以及第二樣本圖像中目標(biāo)對象的目標(biāo)對象特征向量；對第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；判斷第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對象收斂條件，并判斷第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量是否滿足目標(biāo)對象收斂條件；若均滿足，則完成對第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對象的位置信息和/或置信度信息和目標(biāo)對象特征向量均滿足相應(yīng)的收斂條件。

在一種可選的實施方式中，程序710還用于使得處理器702在根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置時，根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和業(yè)務(wù)對象的類型，確定業(yè)務(wù)對象在視頻圖像中的展示位置。

在一種可選的實施方式中，程序710還用于使得處理器702在根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和業(yè)務(wù)對象的類型，確定業(yè)務(wù)對象在視頻圖像中的展示位置時，根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和業(yè)務(wù)對象的類型，獲得業(yè)務(wù)對象在視頻圖像中的多個展示位置；從多個展示位置中選擇至少一個展示位置。

在一種可選的實施方式中，程序710還用于使得處理器702在根據(jù)前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定業(yè)務(wù)對象在視頻圖像中的展示位置時，判斷前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)是否匹配；若匹配，則從預(yù)先存儲的動作數(shù)據(jù)與展示位置的對應(yīng)關(guān)系中，獲取預(yù)先設(shè)定的動作數(shù)據(jù)對應(yīng)的目標(biāo)展示位置作為業(yè)務(wù)對象在視頻圖像中的展示位置。

在一種可選的實施方式中，業(yè)務(wù)對象包括包含有語義信息的特效；視頻圖像為直播類視頻圖像。

在一種可選的實施方式中，業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

在一種可選的實施方式中，直播類視頻圖像的前景區(qū)域為人物所在的區(qū)域。

在一種可選的實施方式中，直播類視頻圖像的背景區(qū)域為除了人物所在的區(qū)域之外的至少局部區(qū)域。

在一種可選的實施方式中，目標(biāo)對象的動作檢測數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

程序710中各步驟的具體實現(xiàn)可以參見上述實施例中的相應(yīng)步驟和單元中對應(yīng)的描述，在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的設(shè)備和模塊的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程描述，在此不再贅述。

通過本實施例提供的終端設(shè)備，獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象，確定待處理的視頻圖像的前景區(qū)域和背景區(qū)域，以及業(yè)務(wù)對象在視頻圖像中的展示位置，然后根據(jù)業(yè)務(wù)對象在視頻圖像中的展示位置判斷業(yè)務(wù)對象與視頻圖像的前景區(qū)域是否存在重疊部分，若存在重疊部分，表示業(yè)務(wù)對象的展示位置的全部位置或者部分位置位于前景區(qū)域內(nèi)，則將前景區(qū)域置于業(yè)務(wù)對象之上展示，避免業(yè)務(wù)對象遮擋前景區(qū)域，不影響觀眾的正常視頻觀看體驗，不易引起觀眾反感，可以有效實現(xiàn)預(yù)想的效果。

需要指出，根據(jù)實施的需要，可將本發(fā)明實施例中描述的各個部件/步驟拆分為更多部件/步驟，也可將兩個或多個部件/步驟或者部件/步驟的部分操作組合成新的部件/步驟，以實現(xiàn)本發(fā)明實施例的目的。

上述根據(jù)本發(fā)明實施例的方法可在硬件、固件中實現(xiàn)，或者被實現(xiàn)為可存儲在記錄介質(zhì)(諸如cdrom、ram、軟盤、硬盤或磁光盤)中的軟件或計算機代碼，或者被實現(xiàn)通過網(wǎng)絡(luò)下載的原始存儲在遠(yuǎn)程記錄介質(zhì)或非暫時機器可讀介質(zhì)中并將被存儲在本地記錄介質(zhì)中的計算機代碼，從而在此描述的方法可被存儲在使用通用計算機、專用處理器或者可編程或?qū)Ｓ糜布?諸如asic或fpga)的記錄介質(zhì)上的這樣的軟件處理。可以理解，計算機、處理器、微處理器控制器或可編程硬件包括可存儲或接收軟件或計算機代碼的存儲組件(例如，ram、rom、閃存等)，當(dāng)所述軟件或計算機代碼被計算機、處理器或硬件訪問且執(zhí)行時，實現(xiàn)在此描述的處理方法。此外，當(dāng)通用計算機訪問用于實現(xiàn)在此示出的處理的代碼時，代碼的執(zhí)行將通用計算機轉(zhuǎn)換為用于執(zhí)行在此示出的處理的專用計算機。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實施例描述的各示例的單元及方法步驟，能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明實施例的范圍。

以上實施方式僅用于說明本發(fā)明實施例，而并非對本發(fā)明實施例的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明實施例的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明實施例的范疇，本發(fā)明實施例的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。

本發(fā)明實施例提供了a1、一種視頻圖像的處理方法，包括：

獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象；

確定所述視頻圖像的背景區(qū)域；

采用計算機繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對象。

a2、根據(jù)a1所述的方法，其中，所述采用計算機繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對象包括：

確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置和所述視頻圖像的前景區(qū)域；

根據(jù)所述展示位置判斷所述業(yè)務(wù)對象與所述視頻圖像的前景區(qū)域是否存在重疊部分；

若存在，則采用計算機繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對象中除所述重疊部分之外的部分。

a3、根據(jù)a1或a2所述的方法，其中，所述確定所述視頻圖像的背景區(qū)域包括：

通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

a4、根據(jù)a3所述的方法，其中，所述對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：

獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；

對所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；

對所述第一特征向量卷積結(jié)果進(jìn)行放大處理；

判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；

若滿足，則完成對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；

若不滿足，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

a5、根據(jù)a2-a4任一所述的方法，其中，所述確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：

按照設(shè)定規(guī)則確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置；

其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對象在所述視頻圖像的設(shè)定展示位置，或者，根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

a6、根據(jù)a5所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，通過預(yù)先訓(xùn)練的、第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

a7、根據(jù)a6所述的方法，其中，所述對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練包括：

獲取第二樣本圖像的第一特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對象的目標(biāo)對象特征向量；

對所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；

判斷所述第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量是否滿足目標(biāo)對象收斂條件；

若均滿足，則完成對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；

否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對象的位置信息和/或置信度信息和目標(biāo)對象特征向量均滿足相應(yīng)的收斂條件。

a8、根據(jù)a5所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

a9、根據(jù)a8所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：

根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，獲得所述業(yè)務(wù)對象在所述視頻圖像中的多個展示位置；

從所述多個展示位置中選擇至少一個展示位置。

a10、根據(jù)a5所述的方法，其中，所述根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置包括：

判斷所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)是否匹配；

若匹配，則從預(yù)先存儲的動作數(shù)據(jù)與展示位置的對應(yīng)關(guān)系中，獲取所述預(yù)先設(shè)定的動作數(shù)據(jù)對應(yīng)的目標(biāo)展示位置作為所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

a11、根據(jù)a1-a10任一所述的方法，其中，所述業(yè)務(wù)對象包括包含有語義信息的特效；所述視頻圖像為直播類視頻圖像。

a12、根據(jù)a11所述的方法，其中，所述業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

a13、根據(jù)a12所述的方法，其中，所述直播類視頻圖像的前景區(qū)域為人物所在的區(qū)域。

a14、根據(jù)a11-a13任一所述的方法，其中，所述直播類視頻圖像的背景區(qū)域為除了人物所在的區(qū)域之外的至少局部區(qū)域。

a15、根據(jù)a5-a14任一所述的方法，其中，所述目標(biāo)對象的動作檢測數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

本發(fā)明實施例還提供了b16、一種視頻圖像的處理裝置，包括：

獲取模塊，用于獲取待處理的視頻圖像和待展示的業(yè)務(wù)對象；

背景區(qū)域確定模塊，用于確定所述視頻圖像的背景區(qū)域；

繪制模塊，用于采用計算機繪圖方式在所述視頻圖像的背景區(qū)域繪制所述業(yè)務(wù)對象。

b17、根據(jù)b16所述的裝置，其中，所述繪制模塊包括：

展示位置確定模塊，用于確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置；

前景區(qū)域確定模塊，用于確定所述視頻圖像的前景區(qū)域；

判斷模塊，用于根據(jù)所述展示位置判斷所述業(yè)務(wù)對象與所述前景區(qū)域是否存在重疊部分；

展示模塊，用于若所述業(yè)務(wù)對象與所述前景區(qū)域存在重疊部分，則采用計算機繪圖方式，在所述背景區(qū)域繪制所述業(yè)務(wù)對象中除所述重疊部分之外的部分。

b18、根據(jù)b16或b17所述的裝置，其中，所述背景區(qū)域確定模塊，用于通過預(yù)先訓(xùn)練的第一卷積神經(jīng)網(wǎng)絡(luò)模型確定所述視頻圖像的背景區(qū)域。

b19、根據(jù)b18所述的裝置，其中，所述裝置還包括：第一訓(xùn)練模塊，用于對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)先訓(xùn)練；

所述第一訓(xùn)練模塊包括：

第一特征向量獲取模塊，用于獲取第一樣本圖像的第一特征向量，其中，所述第一樣本圖像為包含有前景標(biāo)注信息和背景標(biāo)注信息的樣本圖像；

第一卷積處理模塊，用于對所述第一特征向量進(jìn)行卷積處理，獲取第一特征向量卷積結(jié)果；

放大處理模塊，用于對所述第一特征向量卷積結(jié)果進(jìn)行放大處理；

第一條件判斷模塊，用于判斷放大后的所述第一特征向量卷積結(jié)果是否滿足卷積收斂條件；

第一執(zhí)行模塊，用于若放大后的所述第一特征向量卷積結(jié)果滿足卷積收斂條件，則完成對所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；若放大后的所述第一特征向量卷積結(jié)果不滿足卷積收斂條件，則根據(jù)放大后的所述第一特征向量卷積結(jié)果調(diào)整所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第一卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對所述第一卷積網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的所述第一特征向量卷積結(jié)果滿足所述卷積收斂條件。

b20、根據(jù)b17-b19任一所述的裝置，其中，所述展示位置確定模塊，用于按照設(shè)定規(guī)則確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置；

其中，所述設(shè)定規(guī)則包括：預(yù)先設(shè)定的所述業(yè)務(wù)對象在所述視頻圖像的設(shè)定展示位置，或者，所述展示位置確定模塊根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

b21、根據(jù)b20所述的裝置，其中，所述展示位置確定模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)，通過預(yù)先訓(xùn)練的第二卷積神經(jīng)網(wǎng)絡(luò)模型確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

b22、根據(jù)b21所述的裝置，其中，所述裝置還包括：

第二訓(xùn)練模塊，用于對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)先訓(xùn)練；

所述第二訓(xùn)練模塊包括：

第二特征向量獲取模塊，用于獲取第二樣本圖像的第一特征向量，其中，所述第二特征向量中包含有所述第二樣本圖像中的業(yè)務(wù)對象的位置信息和/或置信度信息，以及所述第二樣本圖像中目標(biāo)對象的目標(biāo)對象特征向量；

第二卷積處理模塊，用于對所述第二特征向量進(jìn)行卷積處理，獲取第二特征向量卷積結(jié)果；

第二條件判斷模塊，用于判斷所述第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息是否滿足業(yè)務(wù)對象收斂條件，并判斷所述第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量是否滿足目標(biāo)對象收斂條件；

第二執(zhí)行模塊，用于若所述第二特征向量卷積結(jié)果中對應(yīng)的業(yè)務(wù)對象的位置信息和/或置信度信息滿足業(yè)務(wù)對象收斂條件，且所述第二特征向量卷積結(jié)果中的目標(biāo)對象特征向量滿足目標(biāo)對象收斂條件，則完成對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練；否則，調(diào)整所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)并根據(jù)調(diào)整后的所述第二卷積神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)參數(shù)對所述第二卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行迭代訓(xùn)練，直至迭代訓(xùn)練后的業(yè)務(wù)對象的位置信息和/或置信度信息和目標(biāo)對象特征向量均滿足相應(yīng)的收斂條件。

b23、根據(jù)b20所述的裝置，其中，所述展示位置確定模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，確定所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

b24、根據(jù)b23所述的裝置，其中，所述展示位置確定模塊包括：

展示位置獲得模塊，用于根據(jù)所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)和所述業(yè)務(wù)對象的類型，獲得所述業(yè)務(wù)對象在所述視頻圖像中的多個展示位置；

展示位置選擇模塊，用于從所述多個展示位置中選擇至少一個展示位置。

b25、根據(jù)b20所述的裝置，其中，所述展示位置確定模塊包括：

數(shù)據(jù)判斷模塊，用于判斷所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)是否匹配；

位置獲取模塊，用于若所述前景區(qū)域中的目標(biāo)對象的動作檢測數(shù)據(jù)與預(yù)先設(shè)定的動作數(shù)據(jù)匹配，則從預(yù)先存儲的動作數(shù)據(jù)與展示位置的對應(yīng)關(guān)系中，獲取所述預(yù)先設(shè)定的動作數(shù)據(jù)對應(yīng)的目標(biāo)展示位置作為所述業(yè)務(wù)對象在所述視頻圖像中的展示位置。

b26、根據(jù)b16-b25任一所述的裝置，其中，所述業(yè)務(wù)對象包括包含有語義信息的特效；所述視頻圖像為直播類視頻圖像。

b27、根據(jù)b26所述的裝置，其中，所述業(yè)務(wù)對象包括包含廣告信息的以下至少一種形式的特效：二維貼紙?zhí)匦?、三維特效、粒子特效。

b28、根據(jù)b27所述的裝置，其中，所述直播類視頻圖像的前景區(qū)域為人物所在的區(qū)域。

b29、根據(jù)b26-b28任一所述的裝置，其中，所述直播類視頻圖像的背景區(qū)域為除了人物所在的區(qū)域之外的至少局部區(qū)域。

b30、根據(jù)b20-b29任一所述的裝置，其中，所述目標(biāo)對象的動作檢測數(shù)據(jù)包括以下至少之一：眨眼數(shù)據(jù)、張嘴數(shù)據(jù)、點頭數(shù)據(jù)、搖頭數(shù)據(jù)、親吻數(shù)據(jù)、微笑數(shù)據(jù)、揮手?jǐn)?shù)據(jù)、剪刀手?jǐn)?shù)據(jù)、握拳數(shù)據(jù)、托手?jǐn)?shù)據(jù)、大拇指數(shù)據(jù)、手槍姿勢數(shù)據(jù)、ok手?jǐn)?shù)據(jù)。

本發(fā)明實施例還提供了c31、一種終端設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如a1-a15任一所述的視頻圖像的處理方法對應(yīng)的操作。