本發(fā)明涉及直播技術領域，具體而言，涉及一種直播中打碼方法及裝置。

背景技術：

隨著直播行業(yè)的快速發(fā)展，直播的場景越來越豐富，直播的內容也越來越出現(xiàn)多樣化的形式。在主播進行直播的過程中，往往很容易出現(xiàn)有些不太合適的內容，這些內容包括但不限于：(1)某些不必要的廣告牌、商標等；(2)某些少兒不宜的暴露或者血腥內容；(3)某些不愿意將真實面目展現(xiàn)給觀眾的。這些直播內容在直播過程中，因為直播沒有后期剪輯的原因，不太方便去除。因此，提供一種能在直播過程中實時打碼的方法是十分必要的。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種直播中打碼方法，以實現(xiàn)在直播過程中實時打碼，以屏蔽用戶不想被直播的內容。

本發(fā)明的另一目的在于提供一種直播中打碼裝置，以實現(xiàn)在直播過程中實時打碼，以屏蔽用戶不想被直播的內容。

為了實現(xiàn)上述目的，本發(fā)明實施例采用的技術方案如下：

第一方面，本發(fā)明實施例提供了一種直播中打碼方法，應用于電子設備，所述方法包括：

響應用戶的滑動操作確定第一幀視頻圖像中的需打碼的區(qū)域；

提取所述需打碼的區(qū)域的顏色特征和紋理特征，生成第一特征向量；

根據(jù)所述第一特征向量將所述第一幀視頻圖像中的需打碼的區(qū)域依次與下一幀視頻圖像進行匹配，選取所述下一幀視頻圖像中與所述需打碼的區(qū)域匹配度最高的區(qū)域為區(qū)域圖像；

對所述區(qū)域圖像進行打碼，以實現(xiàn)直播中打碼。

第二方面，本發(fā)明實施例還提供了一種直播中打碼裝置，應用于電子設備，所述裝置包括確定模塊、提取模塊、匹配模塊及打碼模塊，其中，

確定模塊，用于響應用戶的滑動操作確定第一幀視頻圖像中的需打碼的區(qū)域；

提取模塊，用于提取所述需打碼區(qū)域的顏色特征和紋理特征，生成第一特征向量；

匹配模塊，用于根據(jù)所述第一特征向量將所述第一幀視頻圖像中的需打碼的區(qū)域依次與下一幀視頻圖像進行匹配，選取所述下一幀視頻圖像中與所述需打碼的區(qū)域匹配度最高的區(qū)域為區(qū)域圖像；

打碼模塊，用于對所述區(qū)域圖像進行打碼，以實現(xiàn)直播中打碼。

本發(fā)明實施例提供的一種直播中打碼方法及裝置，該直播中打碼方法及裝置應用于電子設備，該直播中打碼方法包括響應用戶的滑動操作確定第一幀視頻圖像中的需打碼的區(qū)域，提取所述需打碼區(qū)域的顏色特征和紋理特征，生成第一特征向量。根據(jù)第一特征向量將所述第一幀視頻圖像中的需打碼的區(qū)域依次與下一幀視頻圖像進行匹配，選取所述下一幀視頻圖像中與所述需打碼的區(qū)域匹配度最高的區(qū)域為區(qū)域圖像，對所述區(qū)域圖像進行打碼，以實現(xiàn)直播中打碼。通過本方案實現(xiàn)對直播過程中用戶不想出境的畫面實時打碼，以提高用戶體驗感。

為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應被看作是對范圍的限定，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關的附圖。

圖1示出了本發(fā)明實施例提供的一種直播中打碼方法的流程示意圖。

圖2示出了本發(fā)明實施例提供的一種直播中打碼方法的子步驟的流程示意圖。

圖3示出了本發(fā)明實施例提供的另一種直播中打碼方法的流程示意圖。

圖4示出了本發(fā)明實施例提供的另一種直播中打碼方法的子步驟的流程示意圖。

圖5示出了本發(fā)明實施例提供的一種直播中打碼裝置的功能模塊示意圖。

圖示：100-直播中打碼裝置；110-確定模塊；120-提取模塊；130-第一采集模塊；140-第一建立模塊；150-第二采集模塊；160-第二建立模塊；170-第一計算模塊；180-第二計算模塊；190-選取模塊；200-匹配模塊；210-打碼模塊。

具體實施方式

下面將結合本發(fā)明實施例中附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發(fā)明實施例的組件可以以各種不同的配置來布置和設計。因此，以下對在附圖中提供的本發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例?；诒景l(fā)明的實施例，本領域技術人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。同時，在本發(fā)明的描述中，術語“第一”、“第二”等僅用于區(qū)分描述，而不能理解為指示或暗示相對重要性。

本發(fā)明實施例提供的一種直播中打碼方法及裝置均應用于電子設備，該電子設備可以是，但不限于，臺式電腦、平板電腦、手機等電子設備，該電子設備上安裝有供用戶直播的應用程序，該直播中打碼方法及裝置均應用于該應用程序中，以將進行直播的用戶不想要出境的內容進行打碼，以充分保護直播用戶的隱私，進而達到吸引該主播平臺主播的目的。

請參照圖1，是本發(fā)明實施例提供的一種直播中打碼方法的流程示意圖，該直播中打碼方法包括：

步驟s110，響應用戶的滑動操作確定第一幀視頻圖像中的需打碼的區(qū)域。

當用戶開始直播時，可根據(jù)自己的需要設置需要打碼的區(qū)域。具體為，當用戶不想要廣告商標出境時，用戶可以通過在屏幕上滑動設置能夠包括該廣告商標的矩形框，該電子設備響應用戶的滑動操作，將該矩形框對應的區(qū)域設置為需打碼的區(qū)域。

步驟s120，提取所述需打碼的區(qū)域的顏色特征和紋理特征，生成第一特征向量。

將該需打碼的區(qū)域中的每一個像素點的三原色比例值(即rgb值)的維數(shù)由3維，轉換為11維，換句話說，目前每一個像素點的三原色比例值只能表征紅、綠、藍三種顏色，將三原色比例值的維數(shù)由3維轉換為11維之后，將每一個像素點的三原色比例值表征的顏色細化到11種，如黑色、藍色、黃色、灰色、粉色、紅色、白色等，以使得在提取需打碼區(qū)域的顏色特征時，能自適應地根據(jù)需打碼的區(qū)域的實際顏色分布情況進行選擇。同時通過降維的思想，自適應地將每一個像素點的三原色比例值由11維降到2維，以提取需打碼區(qū)域中的顯著顏色特征。

通過hog(histogramsoforientedgradients)特征提取方法提取該需打碼的區(qū)域的紋理特征，通過提取的該顏色特征和紋理特征，生成第一特征向量。

步驟s130，根據(jù)所述第一特征向量將所述第一幀視頻圖像中的需打碼區(qū)域依次與下一幀視頻圖像進行匹配，選取所述下一幀視頻圖像中與所述需打碼的區(qū)域匹配度最高的區(qū)域為區(qū)域圖像。

將需打碼的區(qū)域依次與下一幀視頻圖像進行滑動匹配，即將需打碼的區(qū)域在下一幀視頻圖像中從上往下，從左往右依次與下一幀視頻圖像中與需打碼的區(qū)域大小相同的區(qū)域進行匹配，該需打碼的區(qū)域在下一幀視頻圖像中滑動的長度可以根據(jù)實際需要進行設置，需要注意的是，該滑動的長度越小，則耗時更長，該滑動的長度約長，則可能導致匹配不精準。

依次提取下一幀視頻圖像中與需要打碼的區(qū)域的大小一致的圖像中顏色特征和紋理特征，生成多個第二特征向量。

具體的匹配方式為：根據(jù)第一特征向量以及第二特征向量采用標準均值相關匹配算法依次計算下一幀視頻圖像中與需打碼區(qū)域大小一致的區(qū)域與需打碼區(qū)域的匹配度，具體的標準均值相關匹配算法為：

其中，r(x,y)為下一幀視頻圖像中與需打碼的區(qū)域大小一致的區(qū)域與需打碼區(qū)域的匹配度，(x,y)為下一幀視頻圖像中的像素點的坐標，(i,j)為需打碼的區(qū)域中的像素點的坐標，t為需打碼的區(qū)域圖像的第一特征向量，i為下一幀視頻圖像中的第二特征向量，(w,h)為需打碼的區(qū)域的寬和高形成的坐標，(m,n)為需打碼的區(qū)域遍歷時用的坐標。

選取下一幀視頻圖像中與需打碼的區(qū)域大小一致的多個區(qū)域的匹配度最高的區(qū)域為區(qū)域圖像，表明該區(qū)域圖像與需打碼的區(qū)域最相關，是下一幀視頻圖像中需要打碼的區(qū)域。

步驟s140，對所述區(qū)域圖像進行打碼，以實現(xiàn)直播中打碼。

請參照圖2，是本發(fā)明實施例提供的一種直播中打碼方法的步驟s140的子步驟的流程示意圖，該步驟s140包括：

步驟s141，選取所述區(qū)域圖像中與每一像素點鄰近的多個像素點的最大像素值以及最小像素值。

選取所述區(qū)域圖像中與每一像素點鄰近的區(qū)域中的多個像素點的最大像素值和最小像素值，與每一像素點鄰近的區(qū)域的大小可根據(jù)需要進行設置。

步驟s142，設置所述像素點的像素值為所述最大像素值和所述最小像素值的均值，以實現(xiàn)直播中打碼。

將區(qū)域圖像中的每一個像素點的像素值設置為鄰近區(qū)域的最大像素值和最小像素值的均值，以將區(qū)域圖像中的每一個像素點的像素值與鄰近區(qū)域的像素點的像素值進行關聯(lián)，實現(xiàn)模糊的視覺效果，進一步實現(xiàn)直播中打碼的效果。

請參照圖3，是本發(fā)明實施例提供的另一種直播中打碼方法的流程示意圖，該直播中打碼方法包括：

步驟s210，響應用戶的滑動操作確定第一幀視頻圖像中的需打碼的區(qū)域。

當用戶開始直播時，可根據(jù)自己的需要設置需要打碼的區(qū)域。具體為，當用戶不想要廣告商標出境時，用戶可以通過在屏幕上滑動設置能夠包括該廣告商標的矩形框，該電子設備響應用戶的滑動操作，將該矩形框對應的區(qū)域設置為需打碼的區(qū)域。

步驟s220，提取所述需打碼的區(qū)域的顏色特征和紋理特征，生成第一特征向量。

將該需打碼的區(qū)域中的每一個像素點的三原色比例值(即rgb值)的維數(shù)由3維，轉換為11維，換句話說，目前每一個像素點的三原色比例值只能表征紅、綠、藍三種顏色，將三原色比例值的維數(shù)由3維轉換為11維之后，將每一個像素點的三原色比例值表征的顏色細化到11種，如黑色、藍色、黃色、灰色、粉色、紅色、白色等，以使得在提取需打碼區(qū)域的顏色特征時，能自適應地根據(jù)需打碼的區(qū)域的實際顏色分布情況進行選擇。同時通過降維的思想，自適應地將每一個像素點的三原色比例值由11維降到2維，以提取需打碼區(qū)域中的顯著顏色特征。

通過hog(histogramsoforientedgradients)特征提取方法提取該需打碼的區(qū)域的紋理特征，通過提取的該顏色特征和紋理特征，生成第一特征向量。

步驟s230，采集下一幀視頻圖像中的每一像素點的像素值。

步驟s240，依據(jù)所述下一幀視頻圖像中的每一像素點的像素值建立下一幀視頻圖像的第一直方圖。

根據(jù)下一幀視頻圖像的每一像素點的像素值以及相同像素值的像素點的個數(shù)建立第一直方圖。

步驟s250，采集所述需打碼的區(qū)域中每一像素點的像素值。

步驟s260，依據(jù)所述需打碼的區(qū)域中每一像素點的像素值建立所述需打碼的區(qū)域的第二直方圖。

根據(jù)所述需打碼的區(qū)域中每一像素點的像素值以及相同像素值的像素點的個數(shù)建立第二直方圖。

步驟s270，通過計算所述第二直方圖和第一直方圖的比率得到第三直方圖。

步驟s280，計算下一幀視頻圖像中的每一個像素點在所述第三直方圖中的分布概率。

步驟s290，選取下一幀視頻圖像中的像素點在所述第三直方圖中分布概率大于預設閾值的區(qū)域為需依次與所述需打碼的區(qū)域進行匹配的區(qū)域。

若下一幀視頻圖像中的像素點在所述第三直方圖中分布概率大于預設閾值，則表明該像素點所在的區(qū)域與需打碼的區(qū)域的顏色較為接近，則選取該下一幀視頻圖像中的像素點在第三直方圖中分布概率大于預設閾值的區(qū)域為需要與需打碼的區(qū)域進行匹配的區(qū)域，從而減少匹配運算的計算量。

步驟s310，根據(jù)所述第一特征向量將所述第一幀視頻圖像中的需打碼的區(qū)域依次與下一幀視頻圖像中的像素點在所述第三直方圖中分布概率大于預設閾值的區(qū)域進行匹配，選取所述下一幀視頻圖像中與所述需打碼的區(qū)域匹配度最高的區(qū)域為區(qū)域圖像。

將需打碼的區(qū)域依次與下一幀視頻圖像中的像素點在所述第三直方圖中分布概率大于預設閾值的區(qū)域進行滑動匹配，即將需打碼的區(qū)域在該區(qū)域中從上往下，從左往右進行匹配，該需打碼的區(qū)域在該區(qū)域的滑動的長度可以根據(jù)實際需要進行設置，需要注意的是，該滑動的長度越小，則耗時更長，該滑動的長度約長，則可能導致匹配不精準。

請參照圖4，是本發(fā)明實施例提供的另一種直播中打碼方法的步驟s310的子步驟的流程示意圖，該步驟s310包括：

步驟s311，提取所述下一幀視頻圖像中的像素點在所述第三直方圖中分布概率大于預設閾值的區(qū)域的顏色特征和紋理特征，生成第二特征向量。

即提取該區(qū)域的顏色特征和紋理特征，生成第二特征向量。

步驟s312，采用標準均值相關匹配算法對所述第一特征向量和所述第二特征向量進行匹配運算，選取所述下一幀視頻圖像中的第二特征向量與所述需打碼的區(qū)域的第一特征向量匹配度最高的區(qū)域為區(qū)域圖像。

根據(jù)第一特征向量以及第二特征向量采用標準均值相關匹配算法依次計算下一幀視頻圖像中與需打碼區(qū)域大小一致的區(qū)域與需打碼區(qū)域的匹配度，具體的標準均值相關匹配算法為：

其中，r(x,y)為下一幀視頻圖像中與需打碼的區(qū)域大小一致的區(qū)域與需打碼區(qū)域的匹配度，(x,y)為下一幀視頻圖像中的像素點的坐標，(i,j)為需打碼的區(qū)域中的像素點的坐標，t為需打碼的區(qū)域圖像的第一特征向量，i為下一幀視頻圖像中的第二特征向量，(w,h)為需打碼的區(qū)域的寬和高形成的坐標，(m,n)為需打碼的區(qū)域遍歷時用的坐標。

選取下一幀視頻圖像中與需打碼的區(qū)域大小一致的多個區(qū)域的匹配度最高的區(qū)域為區(qū)域圖像，表明該區(qū)域圖像與需打碼的區(qū)域最相關，是下一幀視頻圖像中需要打碼的區(qū)域。

步驟s320，對所述區(qū)域圖像進行打碼，以實現(xiàn)直播中打碼。

選取所述區(qū)域圖像中與每一像素點鄰近的區(qū)域中的多個像素點的最大像素值和最小像素值，與每一像素點鄰近的區(qū)域的大小可根據(jù)需要進行設置。將區(qū)域圖像中的每一個像素點的像素值設置為鄰近區(qū)域的最大像素值和最小像素值的均值，以將區(qū)域圖像中的每一個像素點的像素值與鄰近區(qū)域的像素點的像素值進行關聯(lián)，實現(xiàn)模糊的視覺效果，進一步實現(xiàn)直播中打碼的效果。

請參照圖5，是本發(fā)明實施例提供的一種直播中打碼裝置100的功能模塊示意圖，該直播中打碼裝置100包括確定模塊110、提取模塊120、第一采集模塊130、第一建立模塊140、第二采集模塊150、第二建立模塊160、第一計算模塊170、第二計算模塊180、選取模塊190、匹配模塊200、打碼模塊210，其中：

確定模塊110，用于響應用戶的滑動操作確定第一幀視頻圖像中的需打碼的區(qū)域。

在本發(fā)明實施例中，步驟s110和步驟s210可以由確定模塊110執(zhí)行。

提取模塊120，用于提取所述需打碼區(qū)域的顏色特征和紋理特征，生成第一特征向量。

在本發(fā)明實施例中，步驟s120和步驟s220可以由提取模塊120執(zhí)行。

第一采集模塊130，用于采集下一幀視頻圖像中的每一像素點的像素值。

在本發(fā)明實施例中，步驟s230可以由第一采集模塊130執(zhí)行。

第一建立模塊140，用于根據(jù)所述下一幀視頻圖像中的每一像素點的像素值建立下一幀視頻圖像的第一直方圖。

在本發(fā)明實施例中，步驟s240可以由第一建立模塊140執(zhí)行。

第二采集模塊150，用于采集所述需打碼的區(qū)域中每一像素點的像素值。

在本發(fā)明實施例中，步驟s250可以由第二采集模塊150執(zhí)行。

第二建立模塊160，用于依據(jù)所述需打碼的區(qū)域中每一像素點的像素值建立所述需打碼的區(qū)域的第二直方圖。

在本發(fā)明實施例中，步驟s260可以由第二建立模塊160執(zhí)行。

第一計算模塊170，用于通過計算所述第二直方圖和第一直方圖的比率得到第三直方圖。

在本發(fā)明實施例中，步驟s270可以由第一計算模塊170執(zhí)行。

第二計算模塊180，用于計算下一幀視頻圖像中的每一個像素點在所述第三直方圖中的分布概率。

在本發(fā)明實施例中，步驟s280可以由第二計算模塊180執(zhí)行。

選取模塊190，用于選取下一幀視頻圖像中的像素點在所述第三直方圖中分布概率大于預設閾值的區(qū)域為需依次與所述需打碼的區(qū)域進行匹配的區(qū)域。

在本發(fā)明實施例中，步驟s290可以由選取模塊190執(zhí)行。

匹配模塊200，用于根據(jù)所述第一特征向量將所述第一幀視頻圖像中的需打碼的區(qū)域依次與下一幀視頻圖像進行匹配，選取所述下一幀視頻圖像中與所述需打碼的區(qū)域匹配度最高的區(qū)域為區(qū)域圖像。

在本發(fā)明實施例中，步驟s130、s310～s312可以由匹配模塊200執(zhí)行。

打碼模塊210，用于對所述區(qū)域圖像進行打碼，以實現(xiàn)直播中打碼。

在本發(fā)明實施例中，步驟s140～s142和步驟s320可以由打碼模塊210執(zhí)行。

由于在直播打碼方法中已經詳細描述，在此不再贅述。

綜上所述，本發(fā)明實施例提供一種直播中打碼方法及裝置，該直播中打碼方法及裝置應用于電子設備，該直播中打碼方法包括響應用戶的滑動操作確定第一幀視頻圖像中的需打碼的區(qū)域，提取所述需打碼區(qū)域的顏色特征和紋理特征，生成第一特征向量。根據(jù)第一特征向量將所述第一幀視頻圖像中的需打碼的區(qū)域依次與下一幀視頻圖像進行匹配，選取所述下一幀視頻圖像中與所述需打碼的區(qū)域匹配度最高的區(qū)域為區(qū)域圖像，對所述區(qū)域圖像進行打碼，以實現(xiàn)直播中打碼。通過本方案實現(xiàn)對直播過程中用戶不想出境的畫面實時打碼，以提高用戶體驗感。

在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，也可以通過其它的方式實現(xiàn)。以上所描述的裝置實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個實施例的裝置、方法和計算機程序產品的可能實現(xiàn)的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應當注意，在有些作為替換的實現(xiàn)方式中，方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如，兩個連續(xù)的方框實際上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機指令的組合來實現(xiàn)。

另外，在本發(fā)明各個實施例中的各功能模塊可以集成在一起形成一個獨立的部分，也可以是各個模塊單獨存在，也可以兩個或兩個以上模塊集成形成一個獨立的部分。

所述功能如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解，本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分或者該技術方案的部分可以以軟件產品的形式體現(xiàn)出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領域的技術人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到變化或替換，都應涵蓋在本發(fā)明的保護范圍之內。因此，本發(fā)明的保護范圍應所述以權利要求的保護范圍為準。