本發(fā)明總體上涉及一種基于視頻關(guān)聯(lián)技術(shù)所構(gòu)建的視頻應(yīng)用系統(tǒng)和方法，特別的本發(fā)明涉及一種視頻節(jié)目中設(shè)置關(guān)聯(lián)信息以及在觀看視頻節(jié)目時(shí)，將當(dāng)前視頻中具有關(guān)聯(lián)信息的對(duì)象極其關(guān)聯(lián)信息進(jìn)行呈現(xiàn)和使用的系統(tǒng)和方法。

背景技術(shù)：

在早期的視頻應(yīng)用中，用戶只是被動(dòng)地觀看播放的視頻節(jié)目，如觀看電影或電視。錄像機(jī)的出現(xiàn)使用戶不僅可以對(duì)所觀看的視頻節(jié)目加以選擇，還可以對(duì)視頻節(jié)目進(jìn)行簡(jiǎn)單的操作如快進(jìn)，回放，停幀等。數(shù)字視頻技術(shù)的發(fā)展使得經(jīng)過(guò)編碼壓縮數(shù)字化的音視頻可以和更多的數(shù)據(jù)一起傳送給終端用戶，從而使得數(shù)字音視頻可以結(jié)合應(yīng)用數(shù)據(jù)以新的方式呈現(xiàn)給終端用戶。例如我們使用機(jī)頂盒時(shí)經(jīng)?？吹降腅PG(電子節(jié)目指南)或者主頁(yè)面入口都是數(shù)字視頻與應(yīng)用數(shù)據(jù)結(jié)合的體現(xiàn)。使得用戶與視頻節(jié)目具備了互動(dòng)的基礎(chǔ)。

現(xiàn)有的視頻交互模式是以一個(gè)節(jié)目事件(event)為基本單元，在這個(gè)時(shí)間單元上預(yù)先組織了相關(guān)的數(shù)據(jù)或應(yīng)用與用戶進(jìn)行交互活動(dòng)。例如在觀看一部電影的時(shí)候，這部影片的整個(gè)時(shí)間長(zhǎng)度為一個(gè)單元。業(yè)務(wù)開(kāi)發(fā)商或服務(wù)商可以提供影片的介紹，演員介紹，影片的花絮等服務(wù)信息，當(dāng)用戶感興趣的時(shí)候可以通過(guò)某種觸發(fā)方式獲取這些 信息。這種交互方式把節(jié)目事件和相關(guān)數(shù)據(jù)關(guān)聯(lián)在了一起，在用戶需要的時(shí)候提供固定的信息類服務(wù)。但是由于以節(jié)目時(shí)間為單元的顆粒度過(guò)大，很多基于節(jié)目?jī)?nèi)容顆粒度的需求無(wú)法實(shí)現(xiàn)。然而用戶在觀看一部影片或一個(gè)實(shí)時(shí)節(jié)目時(shí)，很有可能希望與當(dāng)時(shí)正在觀看的內(nèi)容進(jìn)行互動(dòng)或了解當(dāng)時(shí)的更多信息。例如用戶在觀看某部電影的時(shí)候，對(duì)電影的關(guān)麗的拍攝地突然產(chǎn)生了濃厚的興趣，很希望知道影片拍攝地在哪，有種旅游的愿望。這種由當(dāng)前節(jié)目?jī)?nèi)容引起用戶互動(dòng)的興趣體現(xiàn)了用戶真實(shí)的需求，基于這種真實(shí)需求提供的服務(wù)才有可能轉(zhuǎn)化為有價(jià)值的服務(wù)。同時(shí)與內(nèi)容相關(guān)聯(lián)的服務(wù)也是根據(jù)不同的客戶需求或場(chǎng)景需要?jiǎng)討B(tài)的進(jìn)行更新和變化的。但目前以節(jié)目為單元的關(guān)聯(lián)服務(wù)無(wú)法精準(zhǔn)的知道用戶正在看的內(nèi)容，也就無(wú)從解決實(shí)時(shí)節(jié)目?jī)?nèi)容相關(guān)聯(lián)服務(wù)的業(yè)務(wù)需求。

隨著用戶需求的不斷提高，簡(jiǎn)單的視頻互動(dòng)應(yīng)用已經(jīng)不能滿足終端用戶的更高要求。在一部視頻的播放過(guò)程中，用戶隨時(shí)會(huì)發(fā)現(xiàn)感興趣的內(nèi)容，而現(xiàn)有的應(yīng)用模式無(wú)法知道用戶在觀看的內(nèi)容也就無(wú)法在這個(gè)時(shí)刻與用戶產(chǎn)生交互。用戶往往在這個(gè)時(shí)刻需要視頻內(nèi)容更多信息或希望互動(dòng)時(shí)候不得不中斷觀看，用其他的應(yīng)用或工具獲取信息。這樣很大程度上阻隔了用戶潛在的興趣，很多基于視頻上下文實(shí)時(shí)的場(chǎng)景和互動(dòng)交流都沒(méi)法實(shí)現(xiàn)。在實(shí)時(shí)性/交互性和視頻本身的關(guān)聯(lián)性都已經(jīng)無(wú)法滿足更高的需求。

針對(duì)上述問(wèn)題和用戶需求，本發(fā)明提供了一種視頻關(guān)聯(lián)技術(shù)以及基于此技術(shù)所構(gòu)建的視頻應(yīng)用系統(tǒng)。不論用戶是在觀看直播電視節(jié)目 或點(diǎn)播視頻節(jié)目時(shí)，該應(yīng)用系統(tǒng)均可自動(dòng)識(shí)別出當(dāng)前畫(huà)面中具有關(guān)聯(lián)信息的對(duì)象，并將其以特定的方式呈現(xiàn)出來(lái)供用戶進(jìn)一步操作，從而提供更好的視頻服務(wù)。

技術(shù)實(shí)現(xiàn)要素：

為了便于理解，下面首先對(duì)本發(fā)明涉及的一些術(shù)語(yǔ)進(jìn)行解釋。

在本發(fā)明中，所謂“對(duì)象”是指視頻畫(huà)面中用戶所關(guān)心的任何部分或其組合，如人物，車輛，花園，或人物的服裝、飾品等。

本發(fā)明所提供的視頻關(guān)聯(lián)技術(shù)以及基于此技術(shù)所構(gòu)建的視頻應(yīng)用系統(tǒng)使得用戶不論是在觀看直播電視節(jié)目或點(diǎn)播視頻節(jié)目時(shí)，當(dāng)前畫(huà)面中具有關(guān)聯(lián)信息的對(duì)象可以被系統(tǒng)自動(dòng)檢測(cè)出來(lái)，同時(shí)以特定的方式呈現(xiàn)出來(lái)供用戶進(jìn)一步操作，從而提供更好地視頻服務(wù)。

對(duì)視頻節(jié)目中的特定對(duì)象進(jìn)行信息關(guān)聯(lián)的系統(tǒng)和方法。本發(fā)明通過(guò)實(shí)時(shí)或非實(shí)時(shí)對(duì)來(lái)自視頻節(jié)目源的視頻畫(huà)面逐幀進(jìn)行分析，從中提取預(yù)設(shè)的特定對(duì)象并將其與特定信息進(jìn)行關(guān)聯(lián)存入“對(duì)象數(shù)據(jù)庫(kù)”，并將該幀畫(huà)面的相關(guān)信息即該畫(huà)面的特征值存入“特征值數(shù)據(jù)庫(kù)”，同時(shí)將用于該對(duì)象在客戶端呈現(xiàn)方式的信息存入“對(duì)象屬性數(shù)據(jù)庫(kù)”。

具體而言，本發(fā)明提供了一種用于從視頻畫(huà)面中提取特定對(duì)象并將該對(duì)象所對(duì)應(yīng)的關(guān)聯(lián)信息和呈現(xiàn)信息及所在視頻幀(畫(huà)面)的特征值分別存入相應(yīng)數(shù)據(jù)庫(kù)的系統(tǒng)的方法。

確定所觀看視頻節(jié)目中特定的具有關(guān)聯(lián)信息的對(duì)象。本發(fā)明通過(guò)提取視頻播放器當(dāng)前視頻畫(huà)面的特征值并將其與數(shù)據(jù)庫(kù)中或服務(wù)器 上預(yù)存的節(jié)目特征信息進(jìn)行比對(duì)，從而確定當(dāng)前畫(huà)面中具有關(guān)聯(lián)信息的特定對(duì)象。

在直播節(jié)目中，由于節(jié)目安排及播出系統(tǒng)的復(fù)雜操作，使得客戶端播放器難以獲得當(dāng)前畫(huà)面的準(zhǔn)確特征信息，從而給確定視頻畫(huà)面中對(duì)象的關(guān)聯(lián)信息帶來(lái)困難。本發(fā)明通過(guò)在服務(wù)器端實(shí)時(shí)監(jiān)測(cè)所有直播頻道來(lái)對(duì)“特征數(shù)據(jù)庫(kù)”實(shí)時(shí)加以修正，從而保證了確定關(guān)聯(lián)對(duì)象的準(zhǔn)確可靠。

本發(fā)明還提供了一種將視頻節(jié)目中具有關(guān)聯(lián)信息的特定對(duì)象加以呈現(xiàn)的系統(tǒng)和方法，將具有鏈接的對(duì)象以直觀、形象的形式表現(xiàn)出來(lái)同時(shí)又盡量不影響畫(huà)面的美觀和用戶的觀看，從而既方便了用戶的操作又避免了對(duì)觀看視頻造成過(guò)多干擾。

附圖說(shuō)明

本說(shuō)明書(shū)中所參考的附圖只用于示例本發(fā)明的典型實(shí)施例，不應(yīng)該認(rèn)為是對(duì)本發(fā)明范圍的限制。

圖1示出了按照本發(fā)明的一個(gè)實(shí)施例的操作示意圖。

圖2示出了按照本發(fā)明的一個(gè)實(shí)施例的系統(tǒng)框圖。

圖3示出了按照本發(fā)明的另一個(gè)實(shí)施例的系統(tǒng)框圖。

圖4示出了本發(fā)明中對(duì)直播節(jié)目特征值進(jìn)行修正的程序框圖。

圖5示出了本發(fā)明中所用到的“特征值數(shù)據(jù)庫(kù)”、“對(duì)象數(shù)據(jù)庫(kù)”及“對(duì)象屬性數(shù)據(jù)庫(kù)”的制作過(guò)程。

圖6示出了對(duì)帶有關(guān)聯(lián)信息的特定對(duì)象加以呈現(xiàn)的示例，亦即對(duì)帶有 關(guān)聯(lián)信息的對(duì)象加以適當(dāng)標(biāo)注的過(guò)程。

具體實(shí)施方式

下列討論中，提供大量具體的細(xì)節(jié)以幫助徹底了解本發(fā)明。然而，很顯然對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，即使沒(méi)有這些具體細(xì)節(jié)，并不影響對(duì)本發(fā)明的理解。并且應(yīng)該認(rèn)識(shí)到，使用如下的任何具體術(shù)語(yǔ)僅僅是為了方便描述，因此，本發(fā)明不應(yīng)當(dāng)局限于只用在這樣的術(shù)語(yǔ)所標(biāo)識(shí)和/或暗示的任何特定應(yīng)用中。

圖1示出了按照本發(fā)明的一個(gè)實(shí)施例的操作示意圖。用戶在使用本發(fā)明所提供的視頻播放器觀看視頻節(jié)目時(shí)(步驟101)，在某一畫(huà)面時(shí)使播放器進(jìn)入暫停狀態(tài)(步驟102)，此時(shí)可根據(jù)需要進(jìn)一步選擇所需畫(huà)面(步驟103)。系統(tǒng)對(duì)所選畫(huà)面的特征值進(jìn)行提取(步驟104)，該特征值包括但不限于節(jié)目名稱，頻道等標(biāo)識(shí)以及該畫(huà)面所處時(shí)間、幀號(hào)等。然后系統(tǒng)將該特征值與數(shù)據(jù)庫(kù)中預(yù)存的信息進(jìn)行比對(duì)，從中提取出該畫(huà)面所對(duì)應(yīng)的具有鏈接的對(duì)象的信息(步驟105)。如果未在數(shù)據(jù)庫(kù)中檢索到相應(yīng)對(duì)象，系統(tǒng)將提示相應(yīng)信息(步驟106)，并提供用戶選擇選擇其它畫(huà)面或繼續(xù)觀看視頻，系統(tǒng)亦可自動(dòng)進(jìn)入步驟103，選擇當(dāng)前畫(huà)面附近的其它畫(huà)面。在步驟105中，如果系統(tǒng)檢索出一個(gè)或多個(gè)對(duì)象，將通過(guò)步驟107從數(shù)據(jù)庫(kù)中取得這些對(duì)象的屬性極其鏈接信息，并根據(jù)當(dāng)前畫(huà)面的屬性和對(duì)象的屬性對(duì)對(duì)象加以適當(dāng)?shù)臉?biāo)注(步驟108)。同時(shí)將帶有標(biāo)注對(duì)象的畫(huà)面重新加以顯示(步驟109)以供用戶進(jìn)一步操作(步驟110)。

特別地，根據(jù)客戶端及網(wǎng)絡(luò)的性能，成本等狀況，步驟105和步驟107可以選擇在客戶端實(shí)現(xiàn)，亦可選擇在服務(wù)器端實(shí)現(xiàn)。根據(jù)不同的實(shí)現(xiàn)方式，相應(yīng)采用不同的數(shù)據(jù)庫(kù)選擇及更新機(jī)制和策略(步驟111，112，113)以提高系統(tǒng)的性能及減少相應(yīng)的開(kāi)銷。進(jìn)一步，根據(jù)不同的應(yīng)用需求及系統(tǒng)性能，特征值中還可指定畫(huà)面中的特定區(qū)域，如“左上角”，位于某一坐標(biāo)指定大小的幾何區(qū)域等。

以上實(shí)施例所描述的僅為人為選擇畫(huà)面的操作步驟，事實(shí)上針對(duì)不同的應(yīng)用場(chǎng)景和系統(tǒng)性能，作為本發(fā)明的另一實(shí)施例，亦可以對(duì)實(shí)時(shí)視頻畫(huà)面由系統(tǒng)自動(dòng)進(jìn)行特征提取和對(duì)象標(biāo)注而不經(jīng)過(guò)視頻暫停(步驟102)。

圖2示出了按照本發(fā)明的一個(gè)實(shí)施例的系統(tǒng)框圖。在該實(shí)施例中，系統(tǒng)的主要功能均在客戶端實(shí)現(xiàn)。其中201為運(yùn)行于客戶端的“視頻播放器”，通過(guò)“幀選擇器”202用戶手動(dòng)或系統(tǒng)自動(dòng)選擇需要處理的視頻畫(huà)面?！疤卣髦堤崛卧?03用于將當(dāng)前畫(huà)面的特征值包括但不限于節(jié)目名稱，頻道等標(biāo)識(shí)以及該畫(huà)面所處時(shí)間、幀號(hào)等提取出來(lái)。提取出來(lái)的特征值通過(guò)“對(duì)象匹配單元”204與“特征值數(shù)據(jù)庫(kù)”205中的數(shù)據(jù)進(jìn)行比對(duì)，從而找到該畫(huà)面所包含的具有鏈接信息的對(duì)象。并從“對(duì)象數(shù)據(jù)庫(kù)”206中獲得該對(duì)象所對(duì)應(yīng)的鏈接信息或可執(zhí)行代碼?！疤卣髦禂?shù)據(jù)庫(kù)”205和“對(duì)象數(shù)據(jù)庫(kù)”206中的數(shù)據(jù)按照特定的策略如定時(shí)或頻道切換或節(jié)目變換時(shí)由“特征值數(shù)據(jù)庫(kù)更新單元”207及“對(duì)象數(shù)據(jù)庫(kù)更新單元”208從服務(wù)器進(jìn)行同步或更新。由“對(duì)象匹配單元”204獲取的帶有鏈接信息的對(duì)象，通過(guò)“對(duì)象標(biāo)注單元” 209進(jìn)行標(biāo)注。標(biāo)注的方式有兩種，一種是由“標(biāo)注方式選擇單元”210按照事先定義好的方式進(jìn)行標(biāo)注，如加陰影，加亮，加方框等。另一種是由“圖像采集單元”211從“幀選擇器”202中獲取當(dāng)前畫(huà)面的圖像并由“圖像分析單元”212根據(jù)該圖像的特征如亮度、色調(diào)等以及對(duì)象的屬性如大小、形狀、位置、類型等選擇適合的標(biāo)注方式。標(biāo)注好的對(duì)象由“對(duì)象顯示單元”213在客戶端上進(jìn)行顯示并通過(guò)“用戶響應(yīng)單元”214供用戶做進(jìn)一步操作。

圖3示出了按照本發(fā)明的另一個(gè)實(shí)施例的系統(tǒng)框圖。該實(shí)施例與上一實(shí)施例的主要區(qū)別在于將部分功能由客戶端轉(zhuǎn)移到服務(wù)器端實(shí)現(xiàn)以降低對(duì)客戶端性能的要求和資源的占用。

在該實(shí)施例中，系統(tǒng)的主要功能分別在客戶端和服務(wù)器端實(shí)現(xiàn)。其中301為運(yùn)行于客戶端的“視頻播放器”，通過(guò)“幀選擇器”302用戶手動(dòng)或系統(tǒng)自動(dòng)選擇需要處理的視頻畫(huà)面。“特征值提取單元”303用于將當(dāng)前畫(huà)面的特征值包括但不限于節(jié)目名稱，頻道等標(biāo)識(shí)以及該畫(huà)面所處時(shí)間、幀號(hào)等提取出來(lái)。提取出來(lái)的特征值通過(guò)“特征值發(fā)送單元”304發(fā)送給服務(wù)器端的“特征值接收單元”305?！皩?duì)象匹配單元”306與“特征值數(shù)據(jù)庫(kù)”307中的數(shù)據(jù)進(jìn)行比對(duì)，從而找到該畫(huà)面所包含的具有鏈接信息的對(duì)象。并從“對(duì)象數(shù)據(jù)庫(kù)”308中獲得該對(duì)象所對(duì)應(yīng)的鏈接信息或可執(zhí)行代碼。由“對(duì)象匹配單元”306獲取的帶有鏈接信息的對(duì)象，通過(guò)“對(duì)象標(biāo)注單元”309根據(jù)“對(duì)象屬性數(shù)據(jù)庫(kù)”310事先定義好的方式進(jìn)行標(biāo)注，如加陰影，加亮，加方 框等。標(biāo)注好的對(duì)象及其對(duì)應(yīng)的鏈接信息或/和執(zhí)行代碼由“對(duì)象數(shù)據(jù)發(fā)送單元”311發(fā)送給客戶端上的“對(duì)象數(shù)據(jù)接收單元”312并由“對(duì)象顯示單元”313進(jìn)行顯示并通過(guò)“用戶響應(yīng)單元”314供用戶做進(jìn)一步操作。

在直播節(jié)目中，由于節(jié)目安排及播出系統(tǒng)的復(fù)雜操作，使得客戶端播放器難以獲得當(dāng)前畫(huà)面的準(zhǔn)確特征信息，從而給確定視頻畫(huà)面中對(duì)象的關(guān)聯(lián)信息帶來(lái)困難。對(duì)于這種情況，“特征值數(shù)據(jù)庫(kù)”307中的數(shù)據(jù)需要由“直播節(jié)目特征值修正單元”315進(jìn)行實(shí)時(shí)修正，從而保證了確定關(guān)聯(lián)對(duì)象的準(zhǔn)確可靠。

圖4示出了對(duì)直播節(jié)目特征值進(jìn)行修正的程序框圖。選擇待修正直播頻道(401)后，采集該頻道的圖像序列(402)和/或一段音頻(403)。將采集到的音視頻與預(yù)存的節(jié)目數(shù)據(jù)庫(kù)(406)中音視頻進(jìn)行對(duì)比(404)、(405)，根據(jù)“預(yù)存節(jié)目數(shù)據(jù)庫(kù)”(406)匹配的節(jié)目?jī)?nèi)容及采集音視頻的時(shí)刻即可對(duì)“特征值數(shù)據(jù)庫(kù)”進(jìn)行相應(yīng)修正。

針對(duì)所有直播頻道以上過(guò)程可以逐一進(jìn)行亦可實(shí)時(shí)同步進(jìn)行。此外這一過(guò)程即可在服務(wù)器端實(shí)現(xiàn)亦可在客戶端實(shí)現(xiàn)。

本發(fā)明中所用到的“特征值數(shù)據(jù)庫(kù)”、“對(duì)象數(shù)據(jù)庫(kù)”及“對(duì)象屬性數(shù)據(jù)庫(kù)”系針對(duì)播出或庫(kù)存節(jié)目?jī)?nèi)容預(yù)先制作的，其制作過(guò)程如圖5所示。首先選擇視頻節(jié)目的某一幀圖像(步驟502)，通過(guò)圖像處理中的對(duì)象提取技術(shù)或由操作者手工指導(dǎo)獲取某一對(duì)象(步驟503)， 獲取對(duì)象時(shí)可以參考“對(duì)象數(shù)據(jù)庫(kù)”505(如果有的話)中已有對(duì)象的定義，或新定義一個(gè)全新對(duì)象。如果圖像中沒(méi)有需要的對(duì)象則選擇下一幀圖像繼續(xù)處理，直至找到有用的對(duì)象。然后或取該對(duì)象的關(guān)聯(lián)信息及標(biāo)注信息(步驟504)并分別寫入“對(duì)象數(shù)據(jù)庫(kù)”505及“對(duì)象屬性數(shù)據(jù)庫(kù)”506，獲取過(guò)程可以是手工輸入，亦可由互聯(lián)網(wǎng)檢索或?qū)D像作進(jìn)一步分析或挖掘。同時(shí)將該畫(huà)面的特征值進(jìn)行存入“特征值數(shù)據(jù)庫(kù)”508(步驟507)，該特征值包括但不限于節(jié)目名稱，頻道等標(biāo)識(shí)以及該畫(huà)面所處時(shí)間、幀號(hào)等。以上過(guò)程可重復(fù)進(jìn)行直至全部視頻處理完畢。

圖6示出了對(duì)帶有關(guān)聯(lián)信息的特定對(duì)象加以呈現(xiàn)的示例，亦即對(duì)帶有關(guān)聯(lián)信息的對(duì)象加以適當(dāng)標(biāo)注的過(guò)程。將具有鏈接的對(duì)象以直觀、形象的形式表現(xiàn)出來(lái)同時(shí)又盡量不影響畫(huà)面的美觀，從而既方便用戶的操作又避免對(duì)觀看視頻造成過(guò)多干擾，這需要對(duì)欲標(biāo)注的畫(huà)面進(jìn)行復(fù)雜的圖像分析運(yùn)算。如果由客戶端來(lái)承擔(dān)這一工作勢(shì)必對(duì)客戶端的性能及資源產(chǎn)生很高的要求，如果將畫(huà)面?zhèn)鞯椒?wù)器處理則需要消耗較多的網(wǎng)絡(luò)流量及傳輸時(shí)間。在本發(fā)明的一個(gè)具體實(shí)施中，采用了由客戶端提供畫(huà)面特征值(步驟601)通過(guò)服務(wù)器端的“特征值數(shù)據(jù)庫(kù)”603來(lái)確定準(zhǔn)確的欲標(biāo)注畫(huà)面極其所包含的具有鏈接信息的對(duì)象(步驟602)。然后從“圖像數(shù)據(jù)庫(kù)”605或其他網(wǎng)絡(luò)服務(wù)(606)得到欲標(biāo)注畫(huà)面(步驟604)以及從“對(duì)象屬性數(shù)據(jù)庫(kù)”608中獲取該對(duì)象的標(biāo)注屬性如形狀、顏色、位置等，亦可是特定的圖形，輪廓 等(步驟607)。最后根據(jù)欲標(biāo)注圖像的畫(huà)面及對(duì)象的標(biāo)注屬性計(jì)算出合適的標(biāo)注方式及所需數(shù)據(jù)(步驟609)并傳送回客戶端進(jìn)行標(biāo)注(步驟610)。