本發(fā)明涉及視頻圖像處理技術(shù)領(lǐng)域，特別是涉及一種視頻圖像的標(biāo)注方法和系統(tǒng)。

背景技術(shù)：

視頻標(biāo)注是指在視頻播放過(guò)程中，為了更清晰地表達(dá)出圖像內(nèi)容的含義，在圖像上疊加顯示線條、文字等。例如在分析一段視頻時(shí)需要對(duì)視頻中的一些關(guān)鍵人物、物品圈出來(lái)以示強(qiáng)調(diào)，甚至附加一些文字說(shuō)明。

傳統(tǒng)技術(shù)中，對(duì)視頻進(jìn)行標(biāo)注時(shí)一般要先提取出每一幀圖像，由于從視頻中提取出的圖像格式往往是YUV格式，需要將YUV圖像轉(zhuǎn)成RGB圖像，再在RGB圖像上疊加標(biāo)注信息，然后把RGB圖像轉(zhuǎn)成YUV圖像，再編碼為視頻。

在對(duì)視頻進(jìn)行標(biāo)注的過(guò)程中對(duì)視頻圖像進(jìn)行了多次的格式轉(zhuǎn)換，而且在不同的視頻圖像的RGB圖像轉(zhuǎn)成YUV圖像的過(guò)程中均需要進(jìn)行標(biāo)注線條或文字的繪制，導(dǎo)致系統(tǒng)CPU的資源消耗較高。

技術(shù)實(shí)現(xiàn)要素：

基于此，有必要針對(duì)傳統(tǒng)的對(duì)視頻進(jìn)行標(biāo)注的方式對(duì)系統(tǒng)CPU的資源消耗較高的問(wèn)題，提供一種視頻圖像的標(biāo)注方法和系統(tǒng)。

一種視頻圖像的標(biāo)注方法，包括以下步驟：

創(chuàng)建畫布，確定畫布上的像素點(diǎn)與待標(biāo)注視頻圖像的像素點(diǎn)的對(duì)應(yīng)關(guān)系；

接收標(biāo)注命令，根據(jù)標(biāo)注命令和對(duì)應(yīng)關(guān)系在畫布的指定位置繪制標(biāo)注內(nèi)容；

將畫布轉(zhuǎn)換為第一格式的第一標(biāo)注圖像，第一格式為待標(biāo)注視頻圖像的圖像格式；

根據(jù)對(duì)應(yīng)關(guān)系，將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置，獲得標(biāo)注視頻圖像。

一種視頻圖像的標(biāo)注系統(tǒng)，包括：

畫布創(chuàng)建單元，用于創(chuàng)建畫布，確定畫布上的像素點(diǎn)與待標(biāo)注視頻圖像的像素點(diǎn)的對(duì)應(yīng)關(guān)系；

標(biāo)注繪制單元，用于接收標(biāo)注命令，根據(jù)標(biāo)注命令和對(duì)應(yīng)關(guān)系在畫布的指定位置繪制標(biāo)注內(nèi)容；

圖像轉(zhuǎn)換單元，用于將畫布轉(zhuǎn)換為第一格式的第一標(biāo)注圖像，第一格式為待標(biāo)注視頻圖像的圖像格式；

像素賦值單元，用于根據(jù)對(duì)應(yīng)關(guān)系，將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置，獲得標(biāo)注視頻圖像。

根據(jù)上述視頻圖像的標(biāo)注方法和系統(tǒng)，其是創(chuàng)建畫布，畫布像素點(diǎn)與待標(biāo)注視頻圖像的像素點(diǎn)相對(duì)應(yīng)，根據(jù)接收的標(biāo)注命令和像素點(diǎn)對(duì)應(yīng)關(guān)系在畫布的指定位置繪制標(biāo)注內(nèi)容，對(duì)畫布進(jìn)行格式轉(zhuǎn)換，得到第一標(biāo)注圖像，根據(jù)像素點(diǎn)對(duì)應(yīng)關(guān)系將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置，獲得標(biāo)注視頻圖像，以此完成對(duì)視頻圖像的標(biāo)注。在本方案中，利用畫布繪制標(biāo)注內(nèi)容，避免了在每一幀視頻圖像中都進(jìn)行繪制標(biāo)注內(nèi)容的操作，而且也無(wú)需對(duì)視頻圖像進(jìn)行多次的格式轉(zhuǎn)換，大大降低了視頻圖像標(biāo)注時(shí)對(duì)系統(tǒng)CPU的資源消耗。

附圖說(shuō)明

圖1為其中一個(gè)實(shí)施例的視頻圖像的標(biāo)注方法的流程示意圖；

圖2為其中一個(gè)實(shí)施例的視頻圖像的標(biāo)注系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為其中一個(gè)實(shí)施例的視頻圖像的標(biāo)注系統(tǒng)的結(jié)構(gòu)示意圖；

圖4為其中一個(gè)實(shí)施例的視頻圖像的標(biāo)注系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施方式僅僅用以解釋本發(fā)明，并不限定本發(fā)明的保護(hù)范圍。

參見圖1所示，為本發(fā)明的視頻圖像的標(biāo)注方法的流程示意圖。該實(shí)施例中的視頻圖像的標(biāo)注方法，包括以下步驟：

步驟S101：創(chuàng)建畫布，確定畫布上的像素點(diǎn)與待標(biāo)注視頻圖像的像素點(diǎn)的對(duì)應(yīng)關(guān)系；

步驟S102：接收標(biāo)注命令，根據(jù)標(biāo)注命令和對(duì)應(yīng)關(guān)系在畫布的指定位置繪制標(biāo)注內(nèi)容；

在本步驟中，標(biāo)注命令是對(duì)待標(biāo)注視頻圖像中的指定位置進(jìn)行標(biāo)注的命令，由于畫布上的像素點(diǎn)與待標(biāo)注視頻圖像的像素點(diǎn)相對(duì)應(yīng)，因此根據(jù)標(biāo)注命令和對(duì)應(yīng)關(guān)系可以確定畫布的指定位置；

步驟S103：將畫布轉(zhuǎn)換為第一格式的第一標(biāo)注圖像，第一格式為待標(biāo)注視頻圖像的圖像格式；

在本步驟中，將畫布轉(zhuǎn)換成第一標(biāo)注圖像，第一標(biāo)注圖像的圖像格式與待標(biāo)注視頻圖像的圖像格式相同，便于后續(xù)的標(biāo)注處理；

步驟S104：根據(jù)對(duì)應(yīng)關(guān)系，將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置，獲得標(biāo)注視頻圖像。

在本步驟中，將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置，相當(dāng)于在待標(biāo)注視頻圖像上的對(duì)應(yīng)位置進(jìn)行標(biāo)注；

在本實(shí)施例中，其是創(chuàng)建畫布，畫布像素點(diǎn)與待標(biāo)注視頻圖像的像素點(diǎn)相對(duì)應(yīng)，根據(jù)接收的標(biāo)注命令和像素點(diǎn)對(duì)應(yīng)關(guān)系在畫布的指定位置繪制標(biāo)注內(nèi)容，對(duì)畫布進(jìn)行格式轉(zhuǎn)換，得到第一標(biāo)注圖像，根據(jù)像素點(diǎn)對(duì)應(yīng)關(guān)系將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置，獲得標(biāo)注視頻圖像，以此完成對(duì)視頻圖像的標(biāo)注。在本方案中，利用畫布繪制標(biāo)注內(nèi)容，避免了在每一幀視頻圖像中都進(jìn)行繪制標(biāo)注內(nèi)容的操作，而且也無(wú)需對(duì)視頻圖像進(jìn)行多次的格式轉(zhuǎn)換，大大降低了視頻圖像標(biāo)注時(shí)對(duì)系統(tǒng)CPU的資源消耗。

在其中一個(gè)實(shí)施例中，將畫布轉(zhuǎn)換為第一格式的第一標(biāo)注圖像的步驟包括以下步驟：

將畫布轉(zhuǎn)換為第二格式的第二標(biāo)注圖像，第二格式為與畫布直接關(guān)聯(lián)的圖像格式；

將第二標(biāo)注圖像轉(zhuǎn)換為第一標(biāo)注圖像，第一格式的圖像與第二格式的圖像具備轉(zhuǎn)換關(guān)系。

在本實(shí)施例中，由于畫布和視頻圖像的屬性不同，畫布直接轉(zhuǎn)換后的圖像格式不是視頻圖像的圖像格式，因此在將畫布轉(zhuǎn)換為第二標(biāo)注圖像后，還需要將第二標(biāo)注圖像轉(zhuǎn)換為與視頻圖像格式相同的第一標(biāo)注圖像，便于對(duì)待標(biāo)注視頻圖像進(jìn)行標(biāo)注，雖對(duì)畫布進(jìn)行了兩次轉(zhuǎn)換，但畫布上的有效像素點(diǎn)僅為標(biāo)注內(nèi)容的像素點(diǎn)，相比于對(duì)視頻圖像全部像素點(diǎn)的轉(zhuǎn)換，對(duì)系統(tǒng)CPU的資源消耗較低。

在其中一個(gè)實(shí)施例中，畫布的尺寸與待標(biāo)注視頻圖像的尺寸大小相同。

在本實(shí)施例中，畫布的尺寸與待標(biāo)注視頻圖像的尺寸大小相同，有利于快速確定畫布上的像素點(diǎn)與待標(biāo)注視頻圖像的像素點(diǎn)的對(duì)應(yīng)關(guān)系，而且也可以快速確定標(biāo)注內(nèi)容在畫布上的指定位置。

在其中一個(gè)實(shí)施例中，將畫布轉(zhuǎn)換為第二格式的第二標(biāo)注圖像的步驟包括以下步驟：

在畫布上截取矩形圖像，矩形圖像是涵蓋標(biāo)注內(nèi)容的最小矩形圖像，將矩形圖像轉(zhuǎn)換為第二標(biāo)注圖像。

在本實(shí)施例中，一般標(biāo)注內(nèi)容并不會(huì)占滿整個(gè)視頻圖像，在畫布上的標(biāo)注內(nèi)容也是只占據(jù)了畫布的一部分，因此在獲取第二標(biāo)注圖像時(shí)，可以只針對(duì)標(biāo)注內(nèi)容，即在畫布上截取矩形圖像，該矩形圖像為涵蓋標(biāo)注內(nèi)容的最小矩形圖像，只將矩形圖像轉(zhuǎn)換為第二標(biāo)注圖像，以此可以減少轉(zhuǎn)換的計(jì)算量，進(jìn)一步降低對(duì)系統(tǒng)CPU的資源消耗。

在其中一個(gè)實(shí)施例中，創(chuàng)建畫布的步驟之后還包括以下步驟：

設(shè)置畫布的背景像素值，背景像素值與標(biāo)注內(nèi)容的像素值不同。

在本實(shí)施例中，設(shè)置與標(biāo)注內(nèi)容的像素值不同的背景像素值，有利于區(qū)分背景和標(biāo)注內(nèi)容，也便于后續(xù)的賦值處理時(shí)標(biāo)注內(nèi)容的確定。

在其中一個(gè)實(shí)施例中，將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置的步驟包括以下步驟：

在第一標(biāo)注圖像上的當(dāng)前像素點(diǎn)的像素值與第一標(biāo)注圖像的背景像素值不同時(shí)，將當(dāng)前像素點(diǎn)的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置。

在本實(shí)施例中，根據(jù)第一標(biāo)注圖像上的當(dāng)前像素點(diǎn)的像素值與第一標(biāo)注圖像的背景像素值的不同，確定標(biāo)注內(nèi)容的像素點(diǎn)，確定過(guò)程簡(jiǎn)單，可以提高賦值操作的效率。

可選的，可以將與畫布對(duì)應(yīng)的第一標(biāo)注圖像的所有像素點(diǎn)的像素值分別與第一標(biāo)注圖像的背景像素值進(jìn)行比較，也可以將與畫布上涵蓋標(biāo)注內(nèi)容的最小矩形圖像對(duì)應(yīng)的第一標(biāo)注圖像的所有像素點(diǎn)的像素值分別與第一標(biāo)注圖像的背景像素值進(jìn)行比較。

在其中一個(gè)實(shí)施例中，將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置的步驟包括以下步驟：

在第一標(biāo)注圖像上的當(dāng)前像素點(diǎn)的像素值與第一標(biāo)注圖像的背景像素值相同時(shí)，對(duì)待標(biāo)注視頻圖像上的對(duì)應(yīng)位置不作處理。

在本實(shí)施例中，根據(jù)第一標(biāo)注圖像上的當(dāng)前像素點(diǎn)的像素值與第一標(biāo)注圖像的背景像素值的相同，可以快速排除第一標(biāo)注圖像上的背景像素點(diǎn)，從而提高賦值操作的效率。

在其中一個(gè)實(shí)施例中，視頻圖像的標(biāo)注方法還包括以下步驟：

獲取待標(biāo)注視頻，對(duì)待標(biāo)注視頻進(jìn)行解碼，獲得待標(biāo)注視頻圖像；

獲得標(biāo)注視頻圖像的步驟之后還包括以下步驟：

將標(biāo)注視頻圖像編碼成標(biāo)注視頻。

在本實(shí)施例中，對(duì)待標(biāo)注視頻進(jìn)行解碼，得到待標(biāo)注視頻圖像，對(duì)待標(biāo)注視頻圖像標(biāo)注完成后，再將標(biāo)注視頻圖像編碼成標(biāo)注視頻，以完成對(duì)視頻的標(biāo)注，整個(gè)過(guò)程連貫有序，可以提高視頻標(biāo)注的效率，而且，視頻解碼后有多幀視頻圖像，在某一時(shí)段的多幀連續(xù)視頻圖像中的標(biāo)注內(nèi)容相同，由于畫布與視頻圖像是具備對(duì)應(yīng)關(guān)系的獨(dú)立對(duì)象，在對(duì)多幀連續(xù)視頻圖像進(jìn)行標(biāo)注時(shí)無(wú)需進(jìn)行多次的標(biāo)注內(nèi)容的繪制，進(jìn)一步降低了系統(tǒng)CPU的資源消耗。

在其中一個(gè)實(shí)施例中，第一格式為YUV圖像格式，第二格式為RGB圖像格式。

在本實(shí)施例中，畫布的內(nèi)容是繪制圖像數(shù)據(jù)，一般可以直接轉(zhuǎn)換成RGB圖像格式，視頻解碼后得到的視頻圖像一般是YUV圖像格式，這兩種圖像格式之間的轉(zhuǎn)換簡(jiǎn)單，對(duì)系統(tǒng)CPU的資源消耗較小。

根據(jù)上述視頻圖像的標(biāo)注方法，本發(fā)明還提供一種視頻圖像的標(biāo)注系統(tǒng)，以下就本發(fā)明的視頻圖像的標(biāo)注系統(tǒng)的實(shí)施例進(jìn)行詳細(xì)說(shuō)明。

參見圖2所示，為本發(fā)明的視頻圖像的標(biāo)注系統(tǒng)的結(jié)構(gòu)示意圖。該實(shí)施例中的視頻圖像的標(biāo)注系統(tǒng)，包括以下單元：

畫布創(chuàng)建單元210，用于創(chuàng)建畫布，確定畫布上的像素點(diǎn)與待標(biāo)注視頻圖像的像素點(diǎn)的對(duì)應(yīng)關(guān)系；

標(biāo)注繪制單元220，用于接收標(biāo)注命令，根據(jù)標(biāo)注命令和對(duì)應(yīng)關(guān)系在畫布的指定位置繪制標(biāo)注內(nèi)容；

圖像轉(zhuǎn)換單元230，用于將畫布轉(zhuǎn)換為第一格式的第一標(biāo)注圖像，第一格式為待標(biāo)注視頻圖像的圖像格式；

像素賦值單元240，用于根據(jù)對(duì)應(yīng)關(guān)系，將第一標(biāo)注圖像上的標(biāo)注內(nèi)容的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置，獲得標(biāo)注視頻圖像。

在其中一個(gè)實(shí)施例中，圖像轉(zhuǎn)換單元230將畫布轉(zhuǎn)換為第二格式的第二標(biāo)注圖像，第二格式為與畫布直接關(guān)聯(lián)的圖像格式；將第二標(biāo)注圖像轉(zhuǎn)換為第一標(biāo)注圖像，第一格式的圖像與第二格式的圖像具備轉(zhuǎn)換關(guān)系。

在其中一個(gè)實(shí)施例中，畫布的尺寸與待標(biāo)注視頻圖像的尺寸大小相同。

在其中一個(gè)實(shí)施例中，圖像轉(zhuǎn)換單元230在畫布上截取矩形圖像，矩形圖像是涵蓋標(biāo)注內(nèi)容的最小矩形圖像，將矩形圖像轉(zhuǎn)換為第二標(biāo)注圖像。

在其中一個(gè)實(shí)施例中，如圖3所示，視頻圖像的標(biāo)注系統(tǒng)還包括背景設(shè)置單元250，背景設(shè)置單元250用于設(shè)置畫布的背景像素值，背景像素值與標(biāo)注內(nèi)容的像素值不同。

在其中一個(gè)實(shí)施例中，像素賦值單元240在第一標(biāo)注圖像上的當(dāng)前像素點(diǎn)的像素值與第一標(biāo)注圖像的背景像素值不同時(shí)，將當(dāng)前像素點(diǎn)的像素值賦值到待標(biāo)注視頻圖像上的對(duì)應(yīng)位置。

在其中一個(gè)實(shí)施例中，像素賦值單元240在第一標(biāo)注圖像上的當(dāng)前像素點(diǎn)的像素值與第一標(biāo)注圖像的背景像素值相同時(shí)，對(duì)待標(biāo)注視頻圖像上的對(duì)應(yīng)位置不作處理。

在其中一個(gè)實(shí)施例中，如圖4所示，視頻圖像的標(biāo)注系統(tǒng)還包括視頻解碼單元260和視頻編碼單元270；

視頻解碼單元260用于獲取待標(biāo)注視頻，對(duì)待標(biāo)注視頻進(jìn)行解碼，獲得待標(biāo)注視頻圖像；

視頻編碼單元270用于將標(biāo)注視頻圖像編碼成標(biāo)注視頻。

在其中一個(gè)實(shí)施例中，第一格式為YUV圖像格式，第二格式為RGB圖像格式。

本發(fā)明的視頻圖像的標(biāo)注系統(tǒng)與本發(fā)明的視頻圖像的標(biāo)注方法一一對(duì)應(yīng)，在上述視頻圖像的標(biāo)注方法的實(shí)施例闡述的技術(shù)特征及其有益效果均適用于視頻圖像的標(biāo)注系統(tǒng)的實(shí)施例中。

在本發(fā)明中，“第一”、“第二”等序數(shù)詞只是為了對(duì)所涉及的對(duì)象進(jìn)行區(qū)分，并不是對(duì)對(duì)象本身進(jìn)行限定。

在一個(gè)具體的實(shí)施例中，視頻圖像的標(biāo)注方法的具體步驟可以為：

獲取視頻，對(duì)視頻進(jìn)行解碼獲得解碼后的YUV視頻圖像；

創(chuàng)建標(biāo)注畫布，為畫布設(shè)置好背景色，確定畫布上的像素點(diǎn)與待標(biāo)注的YUV視頻圖像的像素點(diǎn)的對(duì)應(yīng)關(guān)系；

以windows系統(tǒng)為例，創(chuàng)建畫布需先創(chuàng)建內(nèi)存設(shè)備上下文環(huán)境，基于上下文環(huán)境創(chuàng)建設(shè)備兼容位圖和畫圖對(duì)象。為了區(qū)分標(biāo)注的線條和背景色，還需要設(shè)置一個(gè)不用來(lái)標(biāo)注的顏色作為背景色；

接收標(biāo)注命令，將標(biāo)注繪制畫布上；經(jīng)過(guò)標(biāo)注之后，畫布上非背景色的點(diǎn)即為有標(biāo)注的點(diǎn)。

從畫布中提取標(biāo)注RGB圖像；

將標(biāo)注RGB圖像轉(zhuǎn)換為標(biāo)注YUV圖像；

對(duì)YUV視頻圖像進(jìn)行如下處理：

判斷標(biāo)注YUV圖像中的像素點(diǎn)的像素值是否為標(biāo)注YUV圖像中的背景像素值，若是則對(duì)YUV視頻圖像中對(duì)應(yīng)的像素點(diǎn)不作處理，若不是則將標(biāo)注YUV圖像中該像素點(diǎn)的像素值賦值到Y(jié)UV視頻圖像中對(duì)應(yīng)的像素點(diǎn)。

將經(jīng)過(guò)標(biāo)注處理后的YUV視頻圖像編碼成視頻，視頻畫面上可以顯示標(biāo)注內(nèi)容。

本具體實(shí)施例采用標(biāo)注畫布的方法，避免了每次在視頻變化的圖像上進(jìn)行標(biāo)注，不需要對(duì)視頻圖像進(jìn)行YUV→RGB→YUV的格式轉(zhuǎn)換，而當(dāng)標(biāo)注內(nèi)容沒(méi)有發(fā)生變化時(shí)，標(biāo)注畫布也不需要每次重繪，通過(guò)以上方法，大大降低了對(duì)系統(tǒng)CPU的資源消耗。

以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合，為使描述簡(jiǎn)潔，未對(duì)上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說(shuō)明書記載的范圍。

以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。