一種基于圖像識別的電視節(jié)目識別方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于圖像識別的電視節(jié)目識別方法和系統(tǒng)，所述方法包括：S1，視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并發(fā)送到圖像處理服務(wù)器；S2，圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表；S3，移動終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識別請求和視頻圖像特征值到圖像處理服務(wù)器；S4，圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對，確定當(dāng)前電視頻道的頻道ID；S5，移動終端根據(jù)頻道ID確定當(dāng)前直播視頻所屬節(jié)目。本發(fā)明能提高圖像識別的準(zhǔn)確率和效率，抗干擾能力強(qiáng)。
【專利說明】一種基于圖像識別的電視節(jié)目識別方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于圖像識別的電視節(jié)目識別方法和系統(tǒng)，屬于圖像內(nèi)容識別和電視互動社交領(lǐng)域。

【背景技術(shù)】
[0002]隨著三網(wǎng)融合的推進(jìn)，IPTV日益普及，尤其是OTT平臺及智能電視的快速發(fā)展，觀眾收視習(xí)慣日益多樣化。為積極有效應(yīng)對全媒體多屏融合的市場競爭，廣電行業(yè)相關(guān)企事業(yè)單位正積極有效利用外部資源，充分發(fā)揮各自優(yōu)勢，開拓思路，努力創(chuàng)新，提供更多增值業(yè)務(wù)及新媒體應(yīng)用，提升現(xiàn)有用戶的ARPU值及用戶黏度，并在新業(yè)務(wù)與新運(yùn)營模式上進(jìn)行積極探索與嘗試。
[0003]電視互動社交應(yīng)用系統(tǒng)，作為以廣電有線網(wǎng)絡(luò)為基礎(chǔ)的一款服務(wù)于電視終端用戶的互聯(lián)網(wǎng)應(yīng)用業(yè)務(wù)，一方面滿足了廣電網(wǎng)絡(luò)運(yùn)營商發(fā)展基礎(chǔ)收視業(yè)務(wù)的需求，一方面滿足了用戶及時(shí)方便獲取海量電視信息資源的需求。此應(yīng)用業(yè)務(wù)可以通過手機(jī)、PAD等終端為用戶提供節(jié)目導(dǎo)視、社交、商務(wù)、娛樂等綜合信息推送與互動服務(wù)，實(shí)現(xiàn)跨屏導(dǎo)視、點(diǎn)播控制、互動共享及電視購物等手機(jī)與電視交互的業(yè)務(wù)模式，打造適合不同用戶需求的手機(jī)互動電視資訊業(yè)務(wù)，吸引更多年輕用戶回歸到電視。
[0004]目前，在用戶參與電視節(jié)目互動方面，除了傳統(tǒng)的熱線電話、短信參與等方式，還出現(xiàn)了基于聲音感知的參與方式，但是基于直播視頻識別的非現(xiàn)場互動參與方式，目前還相對缺乏。因而，如果能讓用戶通過移動終端攝像設(shè)備，拍攝并發(fā)送實(shí)時(shí)直播視頻圖像，在服務(wù)后臺進(jìn)行圖像識別，判斷用戶正在參與該節(jié)目，并且推送互動參與內(nèi)容，將極大改善用戶的互動參與體驗(yàn)。
[0005]而現(xiàn)有的電視節(jié)目圖像識別技術(shù)，一般都是提取電視畫面中的電視臺臺標(biāo)和頻道名稱來進(jìn)行識別，確定用戶正在參與的電視節(jié)目，但這種方法在實(shí)際應(yīng)用過程中很難有好的效果。根據(jù)實(shí)驗(yàn)，通常用戶與電視的距離為2-3米或更遠(yuǎn)，在這樣的距離條件下手機(jī)拍攝的電視畫面中的電視臺臺標(biāo)和頻道名稱會非常小，拍攝光線差、拍攝視角造成的偏差也會導(dǎo)致拍攝畫面不清晰，這幾種情況下采集的圖像并不適合將其與服務(wù)器后臺中的頻道數(shù)據(jù)進(jìn)行比對分析，會導(dǎo)致識別的結(jié)果不準(zhǔn)確，常常需要反復(fù)拍攝多次進(jìn)行識別。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于，提供一種基于圖像識別的電視節(jié)目識別方法和系統(tǒng)，能夠提高圖像識別的準(zhǔn)確率和效率，并且抗干擾能力強(qiáng)。
[0007]為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案:一種基于圖像識別的電視節(jié)目識別方法，包括以下步驟:
[0008]SI，視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器；
[0009]S2，圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表，所述視頻圖像特征索引表主要包含視頻圖像特征值與頻道ID的對應(yīng)關(guān)系，即采集的某張圖像特征值屬于哪個(gè)頻道的；
[0010]S3，移動終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識別請求和視頻圖像特征值到圖像處理服務(wù)器；
[0011]S4，圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對，確定當(dāng)前電視頻道的頻道ID ;
[0012]S5，移動終端根據(jù)當(dāng)前電視頻道的頻道ID確定當(dāng)前直播視頻所屬節(jié)目。
[0013]前述的基于圖像識別的電視節(jié)目識別方法中，步驟SI和步驟S3中所述提取視頻圖像特征值具體包括:
[0014]S11，利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像；
[0015]S12，利用SIFT算法對二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
[0016]前述的基于圖像識別的電視節(jié)目識別方法中，步驟S3具體包括:
[0017]S31，判斷移動終端是否有方向傳感器，若有，則轉(zhuǎn)至步驟S32 ;若沒有，則轉(zhuǎn)至步驟 S33 ；
[0018]S32，判斷移動終端是否有被舉起動作，若有，則轉(zhuǎn)至步驟S33 ;若沒有，則重復(fù)步驟S32，直到檢測到移動終端被舉起動作為止；
[0019]S33，攝像頭開始對焦，待對焦完成，獲取當(dāng)前電視頻道的視頻圖像，并提取視頻圖像特征值；
[0020]S34，發(fā)送圖像識別請求和視頻圖像特征值數(shù)據(jù)到圖像處理服務(wù)器。
[0021]前述的基于圖像識別的電視節(jié)目識別方法中，圖像處理服務(wù)器有一個(gè)圖像識別線程池，線程池中有多個(gè)功能相同的線程，稱為圖像識別線程；每個(gè)圖像識別線程在一段時(shí)間內(nèi)(比如200ms，該時(shí)間取決于圖像處理服務(wù)器CPU的處理能力，CPU能力越強(qiáng)需要的時(shí)間越短)處理一個(gè)圖像識別請求。當(dāng)圖像處理服務(wù)器接收到多個(gè)用戶并發(fā)的圖像識別請求時(shí)，先進(jìn)行調(diào)度控制，再進(jìn)行圖像識別，所述調(diào)度控制具體為:圖像處理服務(wù)器內(nèi)的調(diào)度控制算法將多個(gè)用戶并發(fā)圖像識別請求按請求時(shí)間順序放入一個(gè)請求隊(duì)列中；監(jiān)測請求隊(duì)列和圖像識別線程池，若發(fā)現(xiàn)請求隊(duì)列中有未處理的圖像識別請求并且圖像識別線程池中有狀態(tài)為空閑的圖像識別線程時(shí)，則將請求時(shí)間最早的圖像識別請求分配給狀態(tài)為空閑的圖像識別線程，從請求隊(duì)列中移除此請求，將此圖像識別線程的狀態(tài)改為忙；一旦圖像識別線程處理完請求后將立即回到圖像識別線程池，并把狀態(tài)改為“空閑”，等待調(diào)度控制算法分配新的圖像識別請求。
[0022]前述的基于圖像識別的電視節(jié)目識別方法中，步驟S4具體包括:
[0023]S41，根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8?12條候選視頻圖像特征值；
[0024]S42，根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值；
[0025]S43，根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對應(yīng)的頻道ID，返回該頻道ID到移動終端。
[0026]優(yōu)選的，所述步驟S41中，根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的10條候選視頻圖像特征值。
[0027]前述的基于圖像識別的電視節(jié)目識別方法中，步驟S5具體為:移動終端根據(jù)圖像處理服務(wù)器返回的頻道ID，確定當(dāng)前發(fā)送的視頻圖像所屬的頻道，自動調(diào)用電視節(jié)目互動服務(wù)器的電子節(jié)目菜單確定當(dāng)前直播視頻所屬節(jié)目。
[0028]一種實(shí)現(xiàn)前述方法的基于圖像識別的電視節(jié)目識別系統(tǒng)，包括:
[0029]圖像采集服務(wù)器，用于通過視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器；
[0030]圖像特征索引表模塊，用于圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表；
[0031]電視圖像采集模塊，用于移動終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識別請求和視頻圖像特征值到圖像處理服務(wù)器；
[0032]圖像識別模塊，用于圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對，確定當(dāng)前電視頻道的頻道ID ;
[0033]節(jié)目確定模塊，用于移動終端根據(jù)當(dāng)前電視頻道的頻道ID確定當(dāng)前直播視頻所屬節(jié)目。
[0034]前述的基于圖像識別的電視節(jié)目識別系統(tǒng)中，圖像采集服務(wù)器包括:
[0035]視頻卡采集模塊，用于通過視頻采集卡對各電視頻道的直播節(jié)目視頻流進(jìn)行圖像數(shù)據(jù)采集；圖像預(yù)處理模塊，用于利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像，再利用SIFT算法對二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
[0036]前述的基于圖像識別的電視節(jié)目識別系統(tǒng)中，電視圖像采集模塊包括:
[0037]方向傳感器判斷模塊，用于判斷移動終端是否有方向傳感器，若有，則轉(zhuǎn)至舉起動作判斷模塊；若沒有，則轉(zhuǎn)至圖像特征值提取模塊；
[0038]舉起動作判斷模塊，用于判斷移動終端是否有被舉起動作，若有，則轉(zhuǎn)至圖像特征值提取模塊；若沒有，則一直判斷是否有被舉起動作，直到檢測到為止；
[0039]圖像特征值提取模塊，用于攝像頭開始對焦，待對焦完成，獲取視頻圖像，并提取視頻圖像特征值；
[0040]圖像識別請求模塊，用于向圖像處理服務(wù)器發(fā)送圖像識別請求和視頻圖像特征值數(shù)據(jù)。
[0041 ] 前述的基于圖像識別的電視節(jié)目識別系統(tǒng)中，還包括識別請求控制模塊，用于圖像處理服務(wù)器接收多個(gè)并發(fā)的圖像識別請求并對其進(jìn)行調(diào)度控制，啟動圖像識別模塊；所述識別請求控制模塊包括:
[0042]隊(duì)列建立模塊，用于將多個(gè)用戶并發(fā)圖像識別請求按請求時(shí)間順序放入一個(gè)請求隊(duì)列中；
[0043]監(jiān)測模塊，用于監(jiān)測請求隊(duì)列是否有未處理的圖像識別請求，以及圖像識別線程池中是否有狀態(tài)為空閑的圖像識別線程；
[0044]請求分配模塊，用于當(dāng)發(fā)現(xiàn)請求隊(duì)列中有未處理的圖像識別請求并且圖像識別線程池中有狀態(tài)為空閑的圖像識別線程時(shí)，將請求時(shí)間最早的圖像識別請求分配給狀態(tài)為空閑的圖像識別線程，從請求隊(duì)列中移除此請求，將此圖像識別線程的狀態(tài)改為忙。
[0045]前述的基于圖像識別的電視節(jié)目識別系統(tǒng)中，圖像識別模塊包括:
[0046]粗配模塊，用于根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8?12條候選視頻圖像特征值；
[0047]精配模塊，用于根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值；
[0048]對比模塊，用于根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對應(yīng)的頻道ID，返回該頻道ID到移動終端。
[0049]前述的基于圖像識別的電視節(jié)目識別系統(tǒng)中，所述節(jié)目確定模塊，用于移動終端根據(jù)圖像處理服務(wù)器返回的頻道ID，確定當(dāng)前發(fā)送的視頻圖像所屬的頻道，自動調(diào)用電視節(jié)目互動服務(wù)器的電子節(jié)目菜單確定當(dāng)前直播視頻所屬節(jié)目。
[0050]與現(xiàn)有技術(shù)相比，本發(fā)明應(yīng)用于數(shù)字化電視領(lǐng)域，通過視頻卡實(shí)時(shí)采集電視直播節(jié)目視頻圖像，運(yùn)用局部圖像特征描述及匹配技術(shù)對圖像進(jìn)行識別，并與用戶移動終端發(fā)送的節(jié)目圖像進(jìn)行比對，來識別用戶正在觀看哪個(gè)頻道的哪個(gè)電視節(jié)目。
[0051]本發(fā)明沒有使用電視臺臺標(biāo)或頻道名稱進(jìn)行圖像比對，而是將移動終端拍攝的整幅圖像與索引表中的整幅圖像進(jìn)行對比，因此能夠抵抗以下干擾因素:1)拍攝距離遠(yuǎn)而造成的圖像??；2)拍攝時(shí)光線差造成的圖像明暗度問題；3)拍攝視角造成的圖像偏差；抗干擾能力強(qiáng)。
[0052]在圖像比對過程中，采用“粗配”和“精配”兩個(gè)階段，“粗配”耗時(shí)少，從大量后臺服務(wù)器采集到的各個(gè)電視頻道的圖像中迅速篩選出很少一部分與移動終端發(fā)送過來的圖像相似的圖像，作為候選圖像；粗配完成后，將進(jìn)行耗時(shí)較多的精配，精配即把移動終端發(fā)送來的圖像與粗選出來的多個(gè)候選圖像一一進(jìn)行精細(xì)的比對，這樣可以大大提高算法運(yùn)行的速度。在比對過程中，考慮到一張電視畫面圖像不一定能確保服務(wù)器比對成功，為此在預(yù)先設(shè)定的時(shí)間段內(nèi)(即用戶能容忍等待的時(shí)間段內(nèi))，如果一次比對不成功，移動終端還會接著發(fā)第二張電視畫面圖像給服務(wù)器用于比對，由此提高了算法的強(qiáng)壯性，使得比對成功的概率大大提高。假設(shè)有100個(gè)頻道，對于每個(gè)頻道，圖像采集服務(wù)器每秒采集8幀圖像，在I秒內(nèi)系統(tǒng)將采集800幀圖像。對于移動終端發(fā)來的一個(gè)圖像識別請求，考慮兩個(gè)延時(shí)因素:第一個(gè)延時(shí)是電視信號與圖像采集服務(wù)器的電視信號之間可能有延時(shí)；第二個(gè)延時(shí)是移動終端發(fā)送拍攝圖像到圖像處理服務(wù)器過程中的網(wǎng)絡(luò)傳輸延時(shí)(必然因素)。為了提高圖像比對成功率，圖像處理服務(wù)器必須將移動終端發(fā)來的圖像與服務(wù)器中某一段時(shí)間內(nèi)的所有圖像進(jìn)行比對，假設(shè)取時(shí)間段為60秒(根據(jù)以往的實(shí)驗(yàn)，對于國內(nèi)的電視及網(wǎng)絡(luò)狀況，延遲產(chǎn)生的時(shí)間段可能在5?70秒)，這就意味著圖像處理服務(wù)器在圖像識別時(shí)需要將一張拍攝圖像與服務(wù)器中的48000張圖像進(jìn)行比對，而對于目前市場流行的服務(wù)器而言，這樣的比對通常需要消耗至少幾十分鐘甚至更長時(shí)間。而采用本發(fā)明后，從拍攝視頻圖像到獲得確定的頻道ID —般僅需要2?5秒，因此通過這樣一個(gè)從粗到精的圖像比對過程，既保證了系統(tǒng)的執(zhí)行速度，又保證系統(tǒng)的選取準(zhǔn)確率。
[0053]本發(fā)明是一種除傳統(tǒng)的熱線電話、短信參與等方式外的電視節(jié)目非現(xiàn)場互動參與方式，它極大改善用戶的電視互動參與體驗(yàn)。用戶可以借助身邊的移動終端的攝像設(shè)備，發(fā)送實(shí)時(shí)直播視頻圖像，在服務(wù)后臺通過圖像識別，判斷用戶正在參與該節(jié)目，并且推送互動參與內(nèi)容，非現(xiàn)場實(shí)時(shí)地參與電視節(jié)目互動，拓展電視節(jié)目的有趣性和參與感，提高電視節(jié)目收視率，使其作為用戶與電視節(jié)目互動的一種現(xiàn)實(shí)和有效的實(shí)現(xiàn)途徑，可以建立一個(gè)統(tǒng)一的電視節(jié)目互動平臺，實(shí)現(xiàn)與傳統(tǒng)的電視節(jié)目對接，具有巨大的市場價(jià)值。

【專利附圖】

【附圖說明】
[0054]圖1是本發(fā)明實(shí)施例1的方法流程圖；
[0055]圖2是本發(fā)明實(shí)施例1的電視圖像采集流程圖；
[0056]圖3是本發(fā)明實(shí)施例1的移動終端圖像識別請求流程圖；
[0057]圖4是本發(fā)明實(shí)施例1的圖像識別流程圖；
[0058]圖5是本發(fā)明實(shí)施例2的系統(tǒng)結(jié)構(gòu)示意圖；
[0059]圖6是本發(fā)明實(shí)施例2的電視圖像采集模塊的結(jié)構(gòu)示意圖；
[0060]圖7是本發(fā)明實(shí)施例2的識別請求控制模塊的結(jié)構(gòu)示意圖；
[0061]圖8是本發(fā)明實(shí)施例2的圖像識別模塊的結(jié)構(gòu)示意圖。
[0062]下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明作進(jìn)一步的說明。

【具體實(shí)施方式】
[0063]本發(fā)明實(shí)施例1:一種基于圖像識別的電視節(jié)目識別方法，如圖1所示，包括以下步驟:
[0064]SI，通過視頻采集卡對各電視頻道的直播節(jié)目視頻流進(jìn)行每秒N幀的圖像采集，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器(如圖2所示)；
[0065]S2，圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表；
[0066]S3，移動終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識別請求和視頻圖像特征值到圖像處理服務(wù)器；
[0067]S4，圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對，確定當(dāng)前電視頻道的頻道ID ;
[0068]S5，移動終端根據(jù)圖像處理服務(wù)器返回的頻道ID，確定當(dāng)前發(fā)送的視頻圖像所屬的頻道，自動調(diào)用電視節(jié)目互動服務(wù)器的電子節(jié)目菜單(EPG)確定當(dāng)前直播視頻所屬節(jié)目。
[0069]所述步驟SI中N的取值根據(jù)實(shí)際需要而定，N越大則采集的圖像越密集，對后續(xù)的頻道圖像識別越有利，但N越大會消耗服務(wù)器越多的CPU和內(nèi)存資源，也為頻道圖像識別帶來更大的代價(jià)，因此在實(shí)際應(yīng)用中，必須綜合考慮可接受的頻道識別成功率和硬件代價(jià)這兩個(gè)因素，尋找一個(gè)折中的取值。假設(shè)視頻的幀率為每秒25幀，則N可以取I和25之間的任一整數(shù)。
[0070]所述步驟SI和步驟S3中所述提取視頻圖像特征值具體包括:
[0071]Sll，利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像；
[0072]S12，利用SIFT算法對二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
[0073]所述步驟S2中，索引表的更新時(shí)間與視頻采集卡采集直播節(jié)目圖像的時(shí)間是一致的，也是每秒N幀。
[0074]如圖3所示，所述步驟S3具體包括:
[0075]S31，判斷移動終端是否有方向傳感器，若有，則轉(zhuǎn)至步驟S32 ;若沒有，則轉(zhuǎn)至步驟 S33 ；
[0076]S32，判斷移動終端是否有被舉起動作，若有，則轉(zhuǎn)至步驟S33 ;若沒有，則重復(fù)步驟S32，直到檢測到移動終端被舉起動作為止；
[0077]S33，攝像頭開始對焦，待對焦完成，獲取當(dāng)前電視頻道的視頻圖像，并提取視頻圖像特征值；
[0078]S34，發(fā)送圖像識別請求和視頻圖像特征值數(shù)據(jù)到圖像處理服務(wù)器。
[0079]所述步驟S32中，移動終端是否有被舉起動作可通過移動終端中的重力傳感器輔助判斷，即:讀取重力傳感器X軸、y軸、Z軸三個(gè)方向的數(shù)據(jù)，通過這三個(gè)數(shù)據(jù)來判斷是否被舉起。
[0080]圖像處理服務(wù)器有一個(gè)圖像識別線程池，線程池中有多個(gè)功能相同的線程，稱為圖像識別線程；每個(gè)圖像識別線程在一段時(shí)間內(nèi)(比如200ms，該時(shí)間取決于圖像處理服務(wù)器CPU的處理能力，CPU能力越強(qiáng)需要的時(shí)間越短)處理一個(gè)圖像識別請求。當(dāng)圖像處理服務(wù)器接收到多個(gè)用戶并發(fā)的圖像識別請求時(shí)，先進(jìn)行調(diào)度控制，再進(jìn)行圖像識別。所述調(diào)度控制具體為:圖像處理服務(wù)器內(nèi)的調(diào)度控制算法將多個(gè)用戶并發(fā)圖像識別請求按請求時(shí)間順序放入一個(gè)請求隊(duì)列中；監(jiān)測請求隊(duì)列和圖像識別線程池，若發(fā)現(xiàn)請求隊(duì)列中有未處理的圖像識別請求并且圖像識別線程池中有狀態(tài)為空閑的圖像識別線程時(shí)，則將請求時(shí)間最早的圖像識別請求分配給狀態(tài)為空閑的圖像識別線程，從請求隊(duì)列中移除此請求，將此圖像識別線程的狀態(tài)改為忙；一旦圖像識別線程處理完請求后將立即回到圖像識別線程池，并把狀態(tài)改為“空閑”，等待調(diào)度控制算法分配新的圖像識別請求。
[0081]如圖4所示，經(jīng)過圖像識別請求調(diào)度控制處理后，啟動圖像識別模塊，所述步驟S4具體包括:
[0082]S41，根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8、9、10、11或12 (優(yōu)選是10條)條候選視頻圖像特征值；
[0083]S42，根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值；
[0084]S43，根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對應(yīng)的頻道ID，返回該頻道ID到移動終端。
[0085]所述步驟S41中，圖像粗配是為了快速查找視頻圖像特征索引表中的相似圖像集，通過將局部視覺特征集合轉(zhuǎn)化為視覺詞匯，建立樹形結(jié)構(gòu)的分層聚類模型，利用分頻詞匯關(guān)鍵詞檢索技術(shù)的特點(diǎn)，將視覺特征轉(zhuǎn)化為視覺詞匯，在匹配過程中無需遍歷所有節(jié)點(diǎn)，大大減少了查詢時(shí)間，提升了系統(tǒng)性能。
[0086]所述步驟S42中，圖像精配是利用局部特征精確匹配相似圖像集，確定最終匹配結(jié)果，即:通過兩兩比較局部特征點(diǎn)集合，計(jì)算所有視覺特征的相似度并對其進(jìn)行幾何校驗(yàn)，獲取相似度最高的圖像，并輸出結(jié)果。
[0087]本發(fā)明實(shí)施例2:—種實(shí)現(xiàn)實(shí)施例1的基于圖像識別的電視節(jié)目識別系統(tǒng)，如圖5所示，包括:
[0088]圖像采集服務(wù)器，用于通過視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器；
[0089]圖像特征索引表模塊，用于圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表；
[0090]電視圖像采集模塊，用于移動終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識別請求和視頻圖像特征值到圖像處理服務(wù)器；
[0091]圖像識別模塊，用于圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對，確定當(dāng)前電視頻道的頻道ID ;
[0092]節(jié)目確定模塊，用于終端根據(jù)圖像處理服務(wù)器返回的頻道ID，確定當(dāng)前發(fā)送的視頻圖像所屬的頻道，自動調(diào)用電視節(jié)目互動服務(wù)器的電子節(jié)目菜單確定當(dāng)前直播視頻所屬
-H-* 口
T N ο
[0093]所述圖像采集服務(wù)器包括:
[0094]視頻卡采集模塊，用于通過視頻采集卡對各電視頻道的直播節(jié)目視頻流進(jìn)行圖像數(shù)據(jù)采集；圖像預(yù)處理模塊，用于利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像，再利用SIFT算法對二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
[0095]如圖6所示，所述電視圖像采集模塊包括:
[0096]方向傳感器判斷模塊，用于判斷移動終端是否有方向傳感器，若有，則轉(zhuǎn)至舉起動作判斷模塊；若沒有，則轉(zhuǎn)至圖像特征值提取模塊；
[0097]舉起動作判斷模塊，用于判斷移動終端是否有被舉起動作，若有，則轉(zhuǎn)至圖像特征值提取模塊；若沒有，則一直判斷是否有被舉起動作，直到檢測到為止；
[0098]圖像特征值提取模塊，用于攝像頭開始對焦，待對焦完成，獲取視頻圖像，并提取視頻圖像特征值；
[0099]圖像識別請求模塊，用于向圖像處理服務(wù)器發(fā)送圖像識別請求和視頻圖像特征值數(shù)據(jù)。
[0100]系統(tǒng)還包括識別請求控制模塊，用于圖像處理服務(wù)器接收多個(gè)并發(fā)的圖像識別請求并對其進(jìn)行調(diào)度控制，啟動圖像識別模塊；如圖7所示，所述識別請求控制模塊包括:
[0101]隊(duì)列建立模塊，用于將多個(gè)用戶并發(fā)圖像識別請求按請求時(shí)間順序放入一個(gè)請求隊(duì)列中；
[0102]監(jiān)測模塊，用于監(jiān)測請求隊(duì)列是否有未處理的圖像識別請求，以及圖像識別線程池中是否有狀態(tài)為空閑的圖像識別線程；
[0103]請求分配模塊，用于當(dāng)發(fā)現(xiàn)請求隊(duì)列中有未處理的圖像識別請求并且圖像識別線程池中有狀態(tài)為空閑的圖像識別線程時(shí)，將請求時(shí)間最早的圖像識別請求分配給狀態(tài)為空閑的圖像識別線程，從請求隊(duì)列中移除此請求，將此圖像識別線程的狀態(tài)改為忙。
[0104]如圖8所示，所述圖像識別模塊包括:
[0105]粗配模塊，用于根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8?12條候選視頻圖像特征值；
[0106]精配模塊，用于根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值；
[0107]對比模塊，用于根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對應(yīng)的頻道ID，返回該頻道ID到移動終端。
[0108]其中，該系統(tǒng)的網(wǎng)絡(luò)架構(gòu)中還涉及到了以下設(shè)備:
[0109](I)圖像采集服務(wù)器
[0110]主要負(fù)責(zé)從視頻采集卡采集圖像，同時(shí)對采集的圖像進(jìn)行預(yù)處理，提取圖像特征并發(fā)送給圖像處理服務(wù)器。
[0111](2)圖像處理服務(wù)器
[0112]圖像處理服務(wù)器包括兩部分:應(yīng)用服務(wù)器和識別服務(wù)器。應(yīng)用服務(wù)器負(fù)責(zé)接收來自移動終端的圖像識別請求，解析請求并轉(zhuǎn)發(fā)給識別服務(wù)器，并接收頻道識別結(jié)果最終返回給手機(jī)用戶；識別服務(wù)器負(fù)責(zé)處理來自用戶發(fā)起的頻道識別請求并把結(jié)果返回給應(yīng)用服務(wù)器。
[0113](3)移動終端
[0114]移動設(shè)備客戶端應(yīng)用主要包括互動參模塊和電視圖像采集模塊?；訁⑴c模塊主要提供用戶與電視節(jié)目互動功能，諸如投票功能，評論和抽獎等。電視圖像采集模塊主要提供通過手機(jī)攝像頭實(shí)時(shí)拍攝電視節(jié)目視頻圖像，抽取圖像局部特征值，并且向圖像處理服務(wù)器發(fā)送圖像識別請求；并且把圖像處理服務(wù)器識別的結(jié)果告訴互動參與模塊。
[0115](4)電視節(jié)目互動內(nèi)容服務(wù)器
[0116]提供一個(gè)電視節(jié)目互動內(nèi)容平臺，為手機(jī)電視節(jié)目互動應(yīng)用提供內(nèi)容和配置服務(wù)。
[0117]通過此系統(tǒng)網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了用戶通過移動終端應(yīng)用與電視的節(jié)目實(shí)時(shí)互動。
【權(quán)利要求】
1.一種基于圖像識別的電視節(jié)目識別方法，其特征在于，包括以下步驟: 31，視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器； 32，圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表； 33，移動終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識別請求和視頻圖像特征值到圖像處理服務(wù)器； 34，圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對，確定當(dāng)前電視頻道的頻道10 ； 35，移動終端根據(jù)當(dāng)前電視頻道的頻道10確定當(dāng)前直播視頻所屬節(jié)目。
2.根據(jù)權(quán)利要求1所述的基于圖像識別的電視節(jié)目識別方法，其特征在于，步驟51和步驟33中所述提取視頻圖像特征值具體包括: 311，利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像； 312，利用31冗算法對二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
3.根據(jù)權(quán)利要求1或2所述的基于圖像識別的電視節(jié)目識別方法，其特征在于，步驟83具體包括: 3 31，判斷移動終端是否有方向傳感器，若有，則轉(zhuǎn)至步驟3 3 2 ；若沒有，則轉(zhuǎn)至步驟833 ； 332，判斷移動終端是否有被舉起動作，若有，則轉(zhuǎn)至步驟333 ；若沒有，則重復(fù)步驟332，直到檢測到移動終端被舉起動作為止； 333，攝像頭開始對焦，待對焦完成，獲取當(dāng)前電視頻道的視頻圖像，并提取視頻圖像特征值； 334，發(fā)送圖像識別請求和視頻圖像特征值數(shù)據(jù)到圖像處理服務(wù)器。
4.根據(jù)權(quán)利要求1或3所述的基于圖像識別的電視節(jié)目識別方法，其特征在于:當(dāng)圖像處理服務(wù)器接收到多個(gè)用戶并發(fā)的圖像識別請求時(shí)，先進(jìn)行調(diào)度控制，再進(jìn)行圖像識別，所述調(diào)度控制具體為:將多個(gè)用戶并發(fā)圖像識別請求按請求時(shí)間順序放入一個(gè)請求隊(duì)列中；監(jiān)測請求隊(duì)列和圖像識別線程池，若發(fā)現(xiàn)請求隊(duì)列中有未處理的圖像識別請求并且圖像識別線程池中有狀態(tài)為空閑的圖像識別線程時(shí)，則將請求時(shí)間最早的圖像識別請求分配給狀態(tài)為空閑的圖像識別線程，從請求隊(duì)列中移除此請求，將此圖像識別線程的狀態(tài)改為忙。
5.根據(jù)權(quán)利要求1所述的基于圖像識別的電視節(jié)目識別方法，其特征在于，步驟34具體包括: 341，根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出8?12條候選視頻圖像特征值； 342，根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值； 343，根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對應(yīng)的頻道10，返回該頻道10到移動終端。
6.一種實(shí)現(xiàn)權(quán)利要求1?5任意一項(xiàng)所述方法的基于圖像識別的電視節(jié)目識別系統(tǒng)，其特征在于，包括: 圖像采集服務(wù)器，用于通過視頻采集卡采集各電視頻道的直播視頻圖像，提取各電視頻道的視頻圖像特征值，并將視頻圖像特征值發(fā)送到圖像處理服務(wù)器； 圖像特征索引表模塊，用于圖像處理服務(wù)器實(shí)時(shí)建立并更新各電視頻道的視頻圖像特征索引表； 電視圖像采集模塊，用于移動終端拍攝當(dāng)前電視頻道的屏幕畫面，提取屏幕畫面的視頻圖像特征值，并發(fā)送圖像識別請求和視頻圖像特征值到圖像處理服務(wù)器； 圖像識別模塊，用于圖像處理服務(wù)器將當(dāng)前電視頻道的視頻圖像特征值與實(shí)時(shí)的視頻圖像特征索引表中的視頻圖像特征值進(jìn)行比對，確定當(dāng)前電視頻道的頻道10 ； 節(jié)目確定模塊，用于移動終端根據(jù)當(dāng)前電視頻道的頻道10確定當(dāng)前直播視頻所屬節(jié)目。
7.根據(jù)權(quán)利要求6所述的基于圖像識別的電視節(jié)目識別系統(tǒng)，其特征在于，圖像采集服務(wù)器包括: 視頻卡采集模塊，用于通過視頻采集卡對各電視頻道的直播節(jié)目視頻流進(jìn)行圖像數(shù)據(jù)采集；圖像預(yù)處理模塊，用于利用深度圖網(wǎng)格頂點(diǎn)的曲率值計(jì)算剛性變換不變性度量，并作為二維圖像上的灰度值，創(chuàng)建二維灰度圖像，再利用算法對二維灰度圖像進(jìn)行特征點(diǎn)檢測與匹配，通過映射關(guān)系建立多視圖上的特征點(diǎn)及匹配關(guān)系。
8.根據(jù)權(quán)利要求6或7所述的基于圖像識別的電視節(jié)目識別系統(tǒng)，其特征在于，電視圖像采集模塊包括: 方向傳感器判斷模塊，用于判斷移動終端是否有方向傳感器，若有，則轉(zhuǎn)至舉起動作判斷模塊；若沒有，則轉(zhuǎn)至圖像特征值提取模塊； 舉起動作判斷模塊，用于判斷移動終端是否有被舉起動作，若有，則轉(zhuǎn)至圖像特征值提取模塊；若沒有，則一直判斷是否有被舉起動作，直到檢測到為止； 圖像特征值提取模塊，用于攝像頭開始對焦，待對焦完成，獲取視頻圖像，并提取視頻圖像特征值； 圖像識別請求模塊，用于向圖像處理服務(wù)器發(fā)送圖像識別請求和視頻圖像特征值數(shù)據(jù)。
9.根據(jù)權(quán)利要求6或8所述的基于圖像識別的電視節(jié)目識別系統(tǒng)，其特征在于:還包括識別請求控制模塊，用于圖像處理服務(wù)器接收多個(gè)并發(fā)的圖像識別請求并對其進(jìn)行調(diào)度控制，啟動圖像識別模塊；所述識別請求控制模塊包括: 隊(duì)列建立模塊，用于將多個(gè)用戶并發(fā)圖像識別請求按請求時(shí)間順序放入一個(gè)請求隊(duì)列中； 監(jiān)測模塊，用于監(jiān)測請求隊(duì)列是否有未處理的圖像識別請求，以及圖像識別線程池中是否有狀態(tài)為空閑的圖像識別線程； 請求分配模塊，用于當(dāng)發(fā)現(xiàn)請求隊(duì)列中有未處理的圖像識別請求并且圖像識別線程池中有狀態(tài)為空閑的圖像識別線程時(shí)，將請求時(shí)間最早的圖像識別請求分配給狀態(tài)為空閑的圖像識別線程，從請求隊(duì)列中移除此請求，將此圖像識別線程的狀態(tài)改為忙。
10.根據(jù)權(quán)利要求6所述的基于圖像識別的電視節(jié)目識別系統(tǒng)，其特征在于，圖像識別豐吳塊包括: 粗配模塊，用于根據(jù)視頻圖像特征索引表進(jìn)行圖像粗配，在索引表中選出最有可能配準(zhǔn)的8?12條候選視頻圖像特征值； 精配模塊，用于根據(jù)選出的候選視頻圖像特征值進(jìn)行圖像精配，選出完全匹配的視頻圖像特征值； 對比模塊，用于根據(jù)選出的完全匹配的視頻圖像特征值在視頻圖像特征索引表中查找對應(yīng)的頻道10，返回該頻道10到移動終端。
【文檔編號】H04N21/258GK104506946SQ201410729624
【公開日】2015年4月8日 申請日期:2014年12月4日 優(yōu)先權(quán)日:2014年12月4日
【發(fā)明者】孔炯, 馬小駿 申請人:南京閱視網(wǎng)絡(luò)科技有限公司