本申請(qǐng)涉及圖像處理技術(shù)領(lǐng)域,尤其涉及一種臺(tái)標(biāo)更換方法及裝置。
背景技術(shù):
輪播應(yīng)用,是從視頻庫中提取出多種類型的視頻資源,并進(jìn)行整合分類,形成電影、電視劇、體育、娛樂、音樂等多種類型的播放頻道(即輪播頻道)的一種應(yīng)用。其中,輪播頻道中包含多個(gè)節(jié)目單,每個(gè)節(jié)目單由多個(gè)節(jié)目組成,每個(gè)節(jié)目對(duì)應(yīng)一個(gè)片源商。一般的,部分片源商在提供節(jié)目對(duì)應(yīng)的視頻流時(shí),會(huì)在其提供的視頻流中添加該片源商的片源臺(tái)標(biāo)。而輪播應(yīng)用在使用該視頻生成節(jié)目單時(shí),會(huì)將節(jié)目對(duì)應(yīng)的視頻流中存在的臺(tái)標(biāo)圖像更換為統(tǒng)一的輪播應(yīng)用臺(tái)標(biāo)圖像,用以標(biāo)識(shí)該輪播應(yīng)用,當(dāng)然,若該節(jié)目對(duì)應(yīng)的視頻流中不存在臺(tái)標(biāo)時(shí),則不做任何處理。
目前,通常使用圖像識(shí)別技術(shù)進(jìn)行臺(tái)標(biāo)的更換,即將某一節(jié)目的第1幀與第2幀這兩幀圖像進(jìn)行對(duì)比,將兩者中包含相同圖像所在區(qū)域作為臺(tái)標(biāo)區(qū)域,并將該臺(tái)標(biāo)區(qū)域的幾何特征與臺(tái)標(biāo)模板圖像的幾何特征進(jìn)行匹配,若匹配,則將臺(tái)標(biāo)區(qū)域中的圖像顯示為輪播應(yīng)用的臺(tái)標(biāo)圖像。
但是,在實(shí)際應(yīng)用中,常存在輪播應(yīng)用包含的視頻流中存在一段時(shí)間內(nèi)保持不變的背景圖像,這樣,采用現(xiàn)有的圖像識(shí)別技術(shù)來確定臺(tái)標(biāo)區(qū)域時(shí),會(huì)將不變的背景圖像識(shí)別為臺(tái)標(biāo)圖像的一部分,或者識(shí)別為臺(tái)標(biāo),使得識(shí)別出的臺(tái)標(biāo)與臺(tái)標(biāo)模板圖像不匹配,以致臺(tái)標(biāo)識(shí)別失敗或識(shí)別不準(zhǔn)確,進(jìn)而導(dǎo)致無法準(zhǔn)確的對(duì)視頻流中的臺(tái)標(biāo)實(shí)現(xiàn)更換。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)的實(shí)施例提供一種臺(tái)標(biāo)更換方法及裝置,用以解決由于臺(tái)標(biāo)識(shí)別失敗或識(shí)別不準(zhǔn)確,而導(dǎo)致的臺(tái)標(biāo)更換準(zhǔn)確率低的問題。
為達(dá)到上述目的,本申請(qǐng)的實(shí)施例采用如下技術(shù)方案:
第一方面,提供一種臺(tái)標(biāo)更換方法,包括:
采集目標(biāo)視頻流的第1幀圖像以及所述第1幀圖像之后的M幀圖像;
計(jì)算所述第1幀圖像與所述M幀圖像中每幀圖像間的變化圖像;
確定M個(gè)變化圖像中每個(gè)變化圖像的臺(tái)標(biāo)區(qū)域;
若所述M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域相同,且所述Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域的圖像與臺(tái)標(biāo)模板圖像相匹配,則在所述目標(biāo)視頻流中每幀圖像中所述臺(tái)標(biāo)區(qū)域上顯示目標(biāo)臺(tái)標(biāo)圖像;其中,M大于等于Y,且M大于等于2。
第二方面,提供一種臺(tái)標(biāo)更換裝置,包括:
采集模塊,用于采集目標(biāo)視頻流的第1幀圖像以及所述第1幀圖像之后的M幀圖像;
計(jì)算模塊,用于計(jì)算所述采集模塊采集到的所述第1幀圖像與所述M幀圖像中每幀圖像間的變化圖像;
確定模塊,用于確定所述計(jì)算模塊計(jì)算得到的M個(gè)變化圖像中每個(gè)變化圖像的臺(tái)標(biāo)區(qū)域;
更換模塊,用于若確定模塊確定出的所述M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域相同,且所述Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域的圖像與臺(tái)標(biāo)模板圖像相匹配,則在所述目標(biāo)視頻流中每幀圖像中所述臺(tái)標(biāo)區(qū)域上顯示目標(biāo)臺(tái)標(biāo)圖像;其中,M大于等于Y,且M大于等于2。
本申請(qǐng)?zhí)峁┑姆桨?,相比于現(xiàn)有技術(shù)中采集相鄰兩幀圖像,本申請(qǐng)采集的圖像為第1幀圖像和第1幀之后的M幀圖像,由于采集的圖像增多,且采集的第1幀之后的M幀圖像可以為相鄰或不相鄰的M幀圖像,這樣,便大大降低了第1幀圖像分別與M幀圖像中存在相同圖像內(nèi)容的可能性,因此,若M個(gè)變化圖像中的后Y個(gè)變化圖像中的臺(tái)標(biāo)區(qū)域均相同,即連續(xù)多幀變化圖像的臺(tái)標(biāo)區(qū)域相同,且這些變化圖像的臺(tái)標(biāo)區(qū)域中圖像與臺(tái)標(biāo)模板圖像匹配時(shí),便可確定臺(tái)標(biāo)區(qū)域中存在臺(tái)標(biāo),降低了由于相鄰幀可能存在相同的背景圖像的概率,這樣通過本申請(qǐng)?zhí)峁┑姆桨副憧蓽?zhǔn)確的識(shí)別出目標(biāo)視頻流中是否存在臺(tái)標(biāo),并在存在時(shí),在目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域上將目標(biāo)臺(tái)標(biāo)圖像進(jìn)行準(zhǔn)確顯示,進(jìn)而提高了臺(tái)標(biāo)更換的準(zhǔn)確率。
附圖說明
為了更清楚地說明本申請(qǐng)實(shí)施例的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本申請(qǐng)實(shí)施例提供的一種臺(tái)標(biāo)更換方法的流程示意圖;
圖2為本申請(qǐng)實(shí)施例提供的一種視頻流圖像中第三區(qū)域的區(qū)域示意圖;
圖3為本申請(qǐng)實(shí)施例提供的一種存在的黑邊的圖像示意圖;
圖4為本申請(qǐng)實(shí)施例提供的另一種存在的黑邊的圖像示意圖;
圖5為本申請(qǐng)實(shí)施例提供的一種臺(tái)標(biāo)更換裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明申請(qǐng)實(shí)施例中的附圖,對(duì)本發(fā)明申請(qǐng)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明申請(qǐng)一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明申請(qǐng)中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明申請(qǐng)保護(hù)的范圍。
需要說明的是,本文中的“第一”、“第二”等字樣對(duì)功能和作用基本相同的相同項(xiàng)或相似項(xiàng)進(jìn)行區(qū)分,本領(lǐng)域技術(shù)人員可以理解“第一”、“第二”等字樣并不對(duì)數(shù)量和執(zhí)行次序進(jìn)行限定。
需要說明的是,本申請(qǐng)實(shí)施例中,“示例性的”或者“例如”等詞用于表示作例子、例證或說明。本申請(qǐng)實(shí)施例中被描述為“示例性的”或者“例如”的任何實(shí)施例或設(shè)計(jì)方案不應(yīng)被解釋為比其它實(shí)施例或設(shè)計(jì)方案更優(yōu)選或更具優(yōu)勢。確切而言,使用“示例性的”或者“例如”等詞旨在以具體方式呈現(xiàn)相關(guān)概念。
需要說明的是,本申請(qǐng)實(shí)施例中,“的(英文:of)”,“相應(yīng)的(英文:corresponding,relevant)”和“對(duì)應(yīng)的(英文:corresponding)”有時(shí)可以混用,應(yīng)當(dāng)指出的是,在不強(qiáng)調(diào)其區(qū)別時(shí),其所要表達(dá)的含義是一致的。
本申請(qǐng)實(shí)施例提供的臺(tái)標(biāo)更換方法的執(zhí)行主體可以為臺(tái)標(biāo)更換裝置,或者用于執(zhí)行上述臺(tái)標(biāo)更換方法的電子設(shè)備。其中,臺(tái)標(biāo)更換裝置可以為上述電子設(shè)備中的中央處理器(英文:Central Processing Unit,簡稱:CPU)或者可以為上述電子設(shè)備中的控制單元或者功能模塊。
基于上述內(nèi)容,本申請(qǐng)實(shí)施例提供一種臺(tái)標(biāo)更換方法,如圖1所示,該方法包括如下步驟:
101、采集目標(biāo)視頻流的第1幀圖像以及第1幀圖像之后的M幀圖像。
其中,M大于等于2。示例性的,上述采集過程可以通過視頻采集卡采集機(jī)頂盒輸出的視頻信號(hào)來獲取視頻流的圖像幀。上述的目標(biāo)視頻流為輪播應(yīng)用中包括的視頻流。
需要說明的是,上述的第1幀圖像之后的M幀圖像為連續(xù)的M幀圖像,或者不連續(xù)的M幀圖像,而后者的圖像幀中存在不變的視頻內(nèi)容的概率比前者的存在不變的視頻內(nèi)容概率更低。同時(shí),上述的第1幀圖像之后的M幀圖像,可以為從第2幀圖像開始的M幀圖像,也可以為與第一幀圖像相隔X(X大于1)幀圖像的M幀圖像,對(duì)應(yīng)的,后者的圖像存在不變的視頻內(nèi)容的概率比前者的存在不變的視頻內(nèi)容概率更低。
102、計(jì)算第1幀圖像與M幀圖像中每幀圖像間的變化圖像。
示例性的,在采集到目標(biāo)視頻流的第1幀圖像后,便可將該第1幀圖像作為基準(zhǔn)圖像,與采集到的第1幀圖像之后的M幀圖像中的每幀圖像進(jìn)行比對(duì),即將進(jìn)行對(duì)比的兩幀圖像的每個(gè)像素點(diǎn)的像素值進(jìn)行做差從而得到兩幅圖像間的變化圖像。例如,以M幀圖像中的第i幀圖像為例,第1幀圖像與第i幀圖像間的變化圖像,便可表現(xiàn)出該第1幀圖像與第i幀圖像間的圖像變化程度。
在本申請(qǐng)中視頻流的每幀圖像中任一像素點(diǎn)的像素值可以表示為:
其中,R(x,y)為紅基色色彩值,G(i,j)為綠基色色彩值,B(i,j)為藍(lán)基色色彩值,其中,x∈(1,2,……,a),y∈(1,2,……,b),該幀圖像的分辨率為a×b。
基于上述內(nèi)容,第1幀圖像與第i幀圖像間的變化圖像中像素點(diǎn)的像素值可以表示為:
其中,(x,y)表示像素點(diǎn)的坐標(biāo),1與i分別表示圖像幀號(hào),表示第1幀圖像與第i幀圖像。
在一種示例中,為了減小計(jì)算變化圖像的計(jì)算量,步驟102可以替換為如下步驟:
102a、計(jì)算第1幀圖像中第三區(qū)域的圖像與M幀圖像中每幀圖像中第三區(qū)域的圖像間的變化圖像。
其中,第三區(qū)域?yàn)榕_(tái)標(biāo)預(yù)定顯示區(qū)域,即臺(tái)標(biāo)在視頻幀圖像中通常顯示的位置,一般的,臺(tái)標(biāo)通常會(huì)顯示在視頻圖像幀的左上方或者右上方,并且臺(tái)標(biāo)的寬度通常不會(huì)超過視頻幀圖像寬度的三分之一,高度不超過視頻幀圖像高度的四分之一,因此,可以選取視頻幀圖像左上方以及右上方,且寬度為視頻幀圖像的三分之一,高度為視頻幀圖像四分之一的區(qū)域作為臺(tái)標(biāo)預(yù)設(shè)顯示區(qū)域,即第三區(qū)域,如圖2所示,圖2中的陰影部分即為第三區(qū)域。
此外,由于輪播應(yīng)用中的部分視頻流的圖像的上下邊框處存在黑邊(如圖3所示),和/或,左右邊框處存在黑邊(如圖4所示),因此,上述的第三區(qū)域應(yīng)適當(dāng)擴(kuò)大,具體的,可以可選取視頻幀圖像左上方以及右上方,且寬度為視頻幀圖像的三分之一,高度為視頻幀圖像三分之一的區(qū)域作為臺(tái)標(biāo)預(yù)設(shè)顯示區(qū)域(即上述的第三區(qū)域)。需要說明的是,上述的三分之一以及四分之一只是一種示例,這里不做限定。
103、確定M個(gè)變化圖像中每個(gè)變化圖像的臺(tái)標(biāo)區(qū)域。
其中,上述的臺(tái)標(biāo)區(qū)域?yàn)樽兓瘓D像中像素值小于等于預(yù)定閾值的像素點(diǎn)對(duì)應(yīng)的區(qū)域。示例性的,由于變化圖像為第1幀圖像與第1幀圖像之后的M幀圖像中的某一幀圖像相同位置像素點(diǎn)的像素值做差得到的,并且,當(dāng)目標(biāo)視頻流中的某一幀圖像中存在臺(tái)標(biāo)時(shí),則目標(biāo)視頻流中的每一幀圖像都存在臺(tái)標(biāo),并且臺(tái)標(biāo)的位置信息不發(fā)生改變,因此,可以將變化圖像中像素值很小的像素點(diǎn)組成的區(qū)域視為臺(tái)標(biāo)區(qū)域。
需要說明的是,由于每幀圖像中臺(tái)標(biāo)的位置不發(fā)生變化,嚴(yán)格意義上來講,上述的預(yù)定閾值為0,即臺(tái)標(biāo)區(qū)域?yàn)樽兓瘓D像中像素值等于0的像素點(diǎn)對(duì)應(yīng)的區(qū)域。但是,計(jì)算變化圖像過程中總是存在誤差的,因此,上述的預(yù)定閾值通常為大于0的值。
104、若M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域相同,且Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域的圖像與臺(tái)標(biāo)模板圖像相匹配,則在目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域上顯示目標(biāo)臺(tái)標(biāo)圖像。
其中,本申請(qǐng)中的M大于等于Y。示例性的,上述M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域相同,說明上述M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域的形狀、大小和位置相同。同時(shí),由于上述的Y個(gè)變化圖像中的臺(tái)標(biāo)區(qū)域相同時(shí),該臺(tái)標(biāo)區(qū)域內(nèi)的圖像可能為連續(xù)多幀未發(fā)生變化的背景圖像,因此,需要對(duì)該Y個(gè)變化圖像中的臺(tái)標(biāo)區(qū)域中包含的圖像進(jìn)行判定,判定是否為片源商提供的臺(tái)標(biāo)。因此,本申請(qǐng)?jiān)诖_定計(jì)算出的M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域相同,且這Y個(gè)變化圖像中的任一變化圖像中的臺(tái)標(biāo)區(qū)域的圖像與臺(tái)標(biāo)模板圖像相匹配,則可以確定該目標(biāo)視頻流中存在臺(tái)標(biāo),此時(shí),可以將Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域作為目標(biāo)視頻流的臺(tái)標(biāo)區(qū)域,并輸出的該臺(tái)標(biāo)區(qū)域的位置信息,在目標(biāo)視頻流中每幀圖像上打上統(tǒng)一的水印,即在目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域的位置上層顯示輪播應(yīng)用的目標(biāo)臺(tái)標(biāo)圖像。
當(dāng)然,若M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域不完全相同,或,Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域的圖像與臺(tái)標(biāo)模板圖像不匹配,則表明該目標(biāo)視頻流不包含臺(tái)標(biāo),對(duì)目標(biāo)視頻流不做處理。
在一種示例中,上述步驟104中,在目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域的位置上顯示目標(biāo)臺(tái)標(biāo)圖像,可以通過下述步驟實(shí)現(xiàn):
104a1、獲取Y個(gè)變化圖像中的任一變化圖像的臺(tái)標(biāo)區(qū)域的中心點(diǎn)的位置信息。
104a2、以目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域的中心點(diǎn)為中心,依次在每幀圖像的臺(tái)標(biāo)區(qū)域的圖像的上層顯示目標(biāo)臺(tái)標(biāo)圖像。
示例性的,本申請(qǐng)中的臺(tái)標(biāo)更換裝置在確定目標(biāo)視頻流中包含臺(tái)標(biāo)后,便可基于步驟103得到的臺(tái)標(biāo)區(qū)域的位置信息確定出臺(tái)標(biāo)區(qū)域的中心點(diǎn)的位置信息,例如,可以根據(jù)臺(tái)標(biāo)區(qū)域的右上角坐標(biāo)推算出該臺(tái)標(biāo)區(qū)域的中心點(diǎn)坐標(biāo)。
示例性的,本申請(qǐng)?jiān)趫?zhí)行步驟104a2時(shí)可以基于兩種實(shí)現(xiàn)方式來實(shí)現(xiàn):以第1幀圖像為例,第一種方式:按照第1幀圖像的臺(tái)標(biāo)區(qū)域的區(qū)域面積,來調(diào)整目標(biāo)臺(tái)標(biāo)圖像的大小,調(diào)整后的目標(biāo)臺(tái)標(biāo)圖像可完全覆蓋該臺(tái)標(biāo)區(qū)域,并以第1幀圖像中臺(tái)標(biāo)區(qū)域的中心點(diǎn)為中心,在第1幀圖像的臺(tái)標(biāo)區(qū)域的圖像的上層直接顯示調(diào)整后的目標(biāo)臺(tái)標(biāo)圖像;第二種方式:從臺(tái)標(biāo)模板圖像庫中存儲(chǔ)的臺(tái)標(biāo)模板圖像中選擇出面積最大的目標(biāo)臺(tái)標(biāo)模板圖像,并以該目標(biāo)臺(tái)標(biāo)模板圖像的圖像面積來調(diào)整目標(biāo)臺(tái)標(biāo)圖像的面積大小,從而使得調(diào)整后的目標(biāo)臺(tái)標(biāo)圖像可以覆蓋所有類型的臺(tái)標(biāo)圖像,并以第1幀圖像中臺(tái)標(biāo)區(qū)域的中心點(diǎn)為中心,在第1幀圖像的臺(tái)標(biāo)區(qū)域的圖像的上層顯示調(diào)整后的目標(biāo)臺(tái)標(biāo)圖像。
在一種示例中,步驟104在確定若M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域相同時(shí),還可以通過執(zhí)行下述匹配過程,來確定該變化圖像的臺(tái)標(biāo)區(qū)域的圖像是否與臺(tái)標(biāo)模板圖像是否匹配,具體的:
104b、從臺(tái)標(biāo)模板圖像庫中,檢索與Y個(gè)變化圖像中的任一變化圖像的臺(tái)標(biāo)區(qū)域的圖像相匹配的臺(tái)標(biāo)模板圖像。
其中,臺(tái)標(biāo)模板圖像庫中存儲(chǔ)一個(gè)或多個(gè)臺(tái)標(biāo)模板圖像。
示例性的,在執(zhí)行步驟104b時(shí),可以預(yù)先提取出Y個(gè)變化圖像中的任一變化圖像的臺(tái)標(biāo)區(qū)域的圖像的幾何特征,并將該任一變化圖像的臺(tái)標(biāo)區(qū)域的圖像的幾何特征依次與臺(tái)標(biāo)模板圖像庫中的臺(tái)標(biāo)模板圖像的幾何特征進(jìn)行匹配,來確定該臺(tái)標(biāo)模板圖像庫中是否包含與該任一變化圖像的臺(tái)標(biāo)區(qū)域的圖像相匹配的臺(tái)標(biāo)模板圖像。
其中,上述圖像的幾何特征為圖像中出現(xiàn)像素值急劇變化的那些像素的集合,該圖像的幾何特征包括但不限于:圖像邊緣信息和圖像細(xì)節(jié)信息。其中,上述的圖像邊緣信息包括構(gòu)成圖像輪廓像素的像素信息,上述的圖像細(xì)節(jié)信息包括圖像的角點(diǎn)信息,而上述的角點(diǎn)是指圖像中出現(xiàn)亮度變化劇烈的像素點(diǎn)或圖像邊緣曲線上曲率極大值的像素點(diǎn)。而上述的圖像幾何特征可經(jīng)過信息測度算子或者HU不變矩提取得到。
此外,為了消除圖像中無關(guān)的信息,濾除掉圖像中的干擾和噪聲,且為了恢復(fù)圖像中有用的真實(shí)信息,并增強(qiáng)有關(guān)信息的可檢測性和最大限度地簡化數(shù)據(jù),從而改進(jìn)特征抽取的可靠性。優(yōu)選的,在實(shí)現(xiàn)步驟104之前還可以對(duì)臺(tái)標(biāo)區(qū)域的圖像進(jìn)行圖像預(yù)處理操作,進(jìn)行該預(yù)處理操作時(shí),可以采用低通濾波器對(duì)其進(jìn)行去噪處理。此外,上述提取圖像邊緣信息時(shí),可通過但不限于:Roberts Cross算子,Prewitt算子,Sobel算子,Kirsch算子,羅盤算子,Canny算子,Laplacian算子和高通算子得到。
在一種實(shí)施例中,當(dāng)使用HU不變矩進(jìn)行幾何特征提取時(shí),上述步驟104中描述的匹配過程,可通過如下步驟實(shí)現(xiàn):
a1、提取臺(tái)標(biāo)區(qū)域中圖像的邊緣,做閾值分割獲取臺(tái)標(biāo)二值圖像。
a2、提取臺(tái)標(biāo)二值圖像的HU不變矩。
a3、計(jì)算臺(tái)標(biāo)二值圖像的HU不變矩與臺(tái)標(biāo)模板圖像的HU不變矩的距離。
a4、確定出最小距離,并判斷最小距離是否小于第一閾值;若判定最小距離大于等于第一閾值,則判定為不匹配。
需要說明的是,上述的所有閾值只是一種示例,具體取值視情況而定,且對(duì)上述閾值進(jìn)行更改,也在本申請(qǐng)的保護(hù)范圍之內(nèi),這里不做限定。
本申請(qǐng)?zhí)峁┑姆桨?,相比于現(xiàn)有技術(shù)中采集相鄰兩幀圖像,本申請(qǐng)采集的圖像為第1幀圖像和第1幀之后的M幀圖像,由于采集的圖像增多,且采集的第1幀之后的M幀圖像可以為相鄰或不相鄰的M幀圖像,這樣,便大大降低了第1幀圖像分別與M幀圖像中存在相同圖像內(nèi)容的可能性,因此,若M個(gè)變化圖像中的后Y個(gè)變化圖像中的臺(tái)標(biāo)區(qū)域均相同,即連續(xù)多幀變化圖像的臺(tái)標(biāo)區(qū)域相同,且這些變化圖像的臺(tái)標(biāo)區(qū)域中圖像與臺(tái)標(biāo)模板圖像匹配時(shí),便可確定臺(tái)標(biāo)區(qū)域中存在臺(tái)標(biāo),降低了由于相鄰幀可能存在相同的背景圖像的概率,這樣通過本申請(qǐng)?zhí)峁┑姆桨副憧蓽?zhǔn)確的識(shí)別出目標(biāo)視頻流中是否存在臺(tái)標(biāo),并在存在時(shí),在目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域上將目標(biāo)臺(tái)標(biāo)圖像進(jìn)行準(zhǔn)確顯示,進(jìn)而提高了臺(tái)標(biāo)更換的準(zhǔn)確率。
可選的,在實(shí)際應(yīng)用中,由于視頻流的圖像長寬尺寸比為固定值,因此,當(dāng)使用的終端屏幕的基本畫面的標(biāo)準(zhǔn)長寬尺寸比與視頻流的圖像長寬尺寸比不匹配時(shí)(如,電視屏幕的基本畫面的標(biāo)準(zhǔn)長寬尺寸比為4∶3、待顯示視頻流的圖像的長寬尺寸比為16∶9),為了適應(yīng)電視屏幕的基本畫面的標(biāo)準(zhǔn)長寬尺寸,通常會(huì)在視頻流的圖像的上下或者左右邊緣添加黑邊(黑邊區(qū)域中像素點(diǎn)的像素值為0)。具體的,參照?qǐng)D3所示,可以在視頻流的圖像的上下添加與該圖像同寬,且高度固定的黑邊;或者,參照?qǐng)D4所示,在視頻流的上下添加與該圖像同高,且寬度固定的黑邊。
但是,當(dāng)視頻流的圖像中存在黑邊時(shí),由于黑邊所處的區(qū)域不會(huì)發(fā)生改變,因此,當(dāng)使用現(xiàn)有的臺(tái)標(biāo)識(shí)別技術(shù)來識(shí)別臺(tái)標(biāo)時(shí),便會(huì)將圖像的黑邊也作為臺(tái)標(biāo)的一部分,從而導(dǎo)致臺(tái)標(biāo)識(shí)別失敗或不準(zhǔn)確,進(jìn)而導(dǎo)致無法準(zhǔn)確的對(duì)視頻流中的臺(tái)標(biāo)實(shí)現(xiàn)更換。
為了解決上述的黑邊問題,本申請(qǐng)通過將上文中的步驟103替換為下文中的步驟103b1和103b2,來將臺(tái)標(biāo)區(qū)域中的黑邊區(qū)域進(jìn)行排除。具體的,步驟103b1和103b2如下所述:
103b1、確定變化圖像中像素值小于等于預(yù)定閾值的第一區(qū)域。
103b2、在變化圖像的第一區(qū)域中包含第二區(qū)域的情況下,將變化圖像的第一區(qū)域中除第二區(qū)域外的其他區(qū)域,作為變化圖像的臺(tái)標(biāo)區(qū)域。
其中,第二區(qū)域?yàn)榕c變化圖像的寬度或高度相同,且在第1幀圖像內(nèi)對(duì)應(yīng)的像素點(diǎn)的像素值為0的區(qū)域。
需要說明的是,當(dāng)確定出變化圖像中存在黑邊時(shí),為了減少計(jì)算量,上述的第一區(qū)域可以取視頻幀圖像寬度的高度的三分之一以及高度的三分之一的區(qū)域。
此外,由于輪播應(yīng)用需要將所有存在臺(tái)標(biāo)的視頻流中的臺(tái)標(biāo)更換為目標(biāo)臺(tái)標(biāo)圖像,因此,在輪播應(yīng)用在播放視頻流時(shí),需要對(duì)視頻流的播放剩余時(shí)常進(jìn)行檢測,在剩余時(shí)長后,即在播放下一視頻流的起始時(shí)間時(shí),需要重新檢測當(dāng)前播放的視頻流中是否需要更換臺(tái)標(biāo)?;诖耍旧暾?qǐng)實(shí)施例提供的臺(tái)標(biāo)更換方法在步驟104之后還包括如下步驟:
105a、實(shí)時(shí)獲取當(dāng)前播放目標(biāo)節(jié)目的剩余時(shí)長,在剩余時(shí)長后,重新采集目標(biāo)視頻流的第1幀圖像以及第1幀圖像之后的M幀圖像。
105b、重復(fù)上述步驟102-步驟104,確定當(dāng)前目標(biāo)視頻流的下一視頻流是否更換臺(tái)標(biāo)。
通過上述步驟105a以及步驟105b,便可以對(duì)輪播應(yīng)用的所有視頻流中是否需要臺(tái)標(biāo)更換進(jìn)行判斷。
可選的,在現(xiàn)有技術(shù)中,通常會(huì)使用片源商提供的第三方臺(tái)標(biāo)識(shí)別接口來識(shí)別臺(tái)標(biāo),但識(shí)別的過程中通常會(huì)碰到如下問題:1)識(shí)別不準(zhǔn)確,即當(dāng)?shù)谌脚_(tái)標(biāo)識(shí)別接口識(shí)別出視頻流中存在臺(tái)標(biāo),但識(shí)別出的位置和大小不準(zhǔn)確,存在誤差;2)識(shí)別失敗,視頻流中存在臺(tái)標(biāo),但識(shí)別結(jié)果為視頻流中無臺(tái)標(biāo)。
針對(duì)上述問題,當(dāng)?shù)谌脚_(tái)標(biāo)識(shí)別接口識(shí)別出視頻流中存在臺(tái)標(biāo)時(shí),本申請(qǐng)通過將第三方臺(tái)標(biāo)識(shí)別接口的臺(tái)標(biāo)識(shí)別結(jié)果輸出,并提取出其識(shí)別出的臺(tái)標(biāo)區(qū)域的中心位置,并以該臺(tái)標(biāo)區(qū)域的中心位置為中心,寬度和高度為該臺(tái)標(biāo)區(qū)域的兩倍區(qū)域作為檢測區(qū)域,直接計(jì)算第1幀圖像的檢測區(qū)域與第1幀之后的M幀圖像中的每幀圖像的檢測區(qū)域之間的變化圖像,基于計(jì)算出的M個(gè)變化圖像來對(duì)臺(tái)標(biāo)進(jìn)行二次判斷。
此外,當(dāng)?shù)谌脚_(tái)標(biāo)識(shí)別接口識(shí)別出視頻流中未存在臺(tái)標(biāo)時(shí),則可以使用本申請(qǐng)?zhí)峁┑呐_(tái)標(biāo)更換方法(即步驟101-104)對(duì)臺(tái)標(biāo)進(jìn)行二次判斷,并以二次判斷的結(jié)果為準(zhǔn)。
本發(fā)明提供一種臺(tái)標(biāo)更換裝置,如圖5所示,該更換裝置包括:采集模塊21、計(jì)算模塊22、確定模塊23和更換模塊24,其中:
采集模塊21,用于采集目標(biāo)視頻流的第1幀圖像以及第1幀圖像之后的M幀圖像;
計(jì)算模塊22,用于計(jì)算采集模塊21采集到的第1幀圖像與M幀圖像中每幀圖像間的變化圖像;
確定模塊23,用于確定計(jì)算模塊22計(jì)算得到的M個(gè)變化圖像中每個(gè)變化圖像的臺(tái)標(biāo)區(qū)域;
更換模塊24,用于若確定模塊23確定出的M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域相同,且Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域的圖像與臺(tái)標(biāo)模板圖像相匹配,則在目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域上顯示目標(biāo)臺(tái)標(biāo)圖像;其中,M大于等于Y,且M大于等于2。
可選的,確定模塊23用于:
確定變化圖像中像素值小于等于預(yù)定閾值的第一區(qū)域;
在變化圖像的第一區(qū)域中包含第二區(qū)域的情況下,將變化圖像的第一區(qū)域中除第二區(qū)域外的其他區(qū)域,作為變化圖像的臺(tái)標(biāo)區(qū)域;
其中,第二區(qū)域?yàn)榕c變化圖像的寬度或高度相同,且在第1幀圖像內(nèi)對(duì)應(yīng)的像素點(diǎn)的像素值為0的區(qū)域。
可選的,計(jì)算模塊22用于:
計(jì)算第1幀圖像中第三區(qū)域的圖像與M幀圖像中每幀圖像中第三區(qū)域的圖像間的變化圖像,其中,第三區(qū)域?yàn)榕_(tái)標(biāo)預(yù)定顯示區(qū)域。
可選的,若M個(gè)變化圖像中的后Y個(gè)變化圖像的臺(tái)標(biāo)區(qū)域相同,更換模塊24用于:
從臺(tái)標(biāo)模板圖像庫中,檢索與Y個(gè)變化圖像中的任一變化圖像的臺(tái)標(biāo)區(qū)域的圖像相匹配的臺(tái)標(biāo)模板圖像;其中,臺(tái)標(biāo)模板圖像庫中用于存儲(chǔ)一個(gè)或多個(gè)臺(tái)標(biāo)模板圖像。
可選的,更換模塊24用于:
獲取Y個(gè)變化圖像中的任一變化圖像的臺(tái)標(biāo)區(qū)域的中心點(diǎn)的位置信息;
以目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域的中心點(diǎn)為中心,依次在每幀圖像的臺(tái)標(biāo)區(qū)域的圖像的上層顯示目標(biāo)臺(tái)標(biāo)圖像。
本申請(qǐng)?zhí)峁┑姆桨?,相比于現(xiàn)有技術(shù)中采集相鄰兩幀圖像,本申請(qǐng)采集的圖像為第1幀圖像和第1幀之后的M幀圖像,由于采集的圖像增多,且采集的第1幀之后的M幀圖像可以為相鄰或不相鄰的M幀圖像,這樣,便大大降低了第1幀圖像分別與M幀圖像中存在相同圖像內(nèi)容的可能性,因此,若M個(gè)變化圖像中的后Y個(gè)變化圖像中的臺(tái)標(biāo)區(qū)域均相同,即連續(xù)多幀變化圖像的臺(tái)標(biāo)區(qū)域相同,且這些變化圖像的臺(tái)標(biāo)區(qū)域中圖像與臺(tái)標(biāo)模板圖像匹配時(shí),便可確定臺(tái)標(biāo)區(qū)域中存在臺(tái)標(biāo),降低了由于相鄰幀可能存在相同的背景圖像的概率,這樣通過本申請(qǐng)?zhí)峁┑姆桨副憧蓽?zhǔn)確的識(shí)別出目標(biāo)視頻流中是否存在臺(tái)標(biāo),并在存在時(shí),在目標(biāo)視頻流中每幀圖像中臺(tái)標(biāo)區(qū)域上將目標(biāo)臺(tái)標(biāo)圖像進(jìn)行準(zhǔn)確顯示,進(jìn)而提高了臺(tái)標(biāo)更換的準(zhǔn)確率。
需要說明的是,在具體實(shí)現(xiàn)過程中,上述如圖1所示的臺(tái)標(biāo)更換方法所執(zhí)行的各步驟均可以通過硬件形式的處理器執(zhí)行存儲(chǔ)器中存儲(chǔ)的軟件形式的計(jì)算機(jī)執(zhí)行指令實(shí)現(xiàn),為避免重復(fù),此處不再贅述。而上述臺(tái)標(biāo)更換方法所執(zhí)行的動(dòng)作所對(duì)應(yīng)的程序均可以以軟件形式存儲(chǔ)于該臺(tái)標(biāo)更換方法實(shí)施的存儲(chǔ)器中,以便于處理器調(diào)用執(zhí)行以上各個(gè)模塊對(duì)應(yīng)的操作。
所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的模塊的具體工作過程,可以參考前述方法實(shí)施例中的對(duì)應(yīng)過程,在此不再贅述。
在本申請(qǐng)所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的方法和裝置,可以通過其它的方式實(shí)現(xiàn)。例如,以上所描述的實(shí)施例僅僅是示意性的,例如,所述模塊的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)模塊或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。
所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的,作為模塊顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理包括,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用硬件加軟件功能單元的形式實(shí)現(xiàn)。
最后應(yīng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。