專利名稱：錄像圖像處理方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息傳媒領(lǐng)域，尤其是涉及一種錄像圖像處理方法和系統(tǒng)。
技術(shù)背景信息可以通過多種不同的形式表達(dá)，比如說圖像，文章，說明，數(shù)字，廣告，等等。 這些以不同形式表達(dá)的信息可以刊登在不同的媒體介質(zhì)上，比如說紙張或者電子顯示設(shè) 備。在目前，通用的信息顯示方法往往導(dǎo)致被顯示的'信息的相對(duì)位置比較局限，比如印在 一張報(bào)紙上的文章或者登在一個(gè)特定的互聯(lián)網(wǎng)頁上的照片。有一些信息顯示方法允許被顯 示的信息的相對(duì)位置能夠做些移動(dòng)，尤其是在電子媒體上，比如說一些互聯(lián)網(wǎng)頁上的移動(dòng) 的圖形標(biāo)志，或者一些跟著鼠標(biāo)箭頭移動(dòng)的圖形廣告。但是，這些顯示信息的方法都無法 以互動(dòng)的方式展現(xiàn)一段錄像之中各個(gè)不同的圖像元素之間的相互聯(lián)系。在目前，提供錄像信息的機(jī)構(gòu)通常將高質(zhì)量的原始錄像壓縮來生成壓縮過的錄像。這 些壓縮過的錄像通過一個(gè)通訊網(wǎng)絡(luò)傳輸給一組終端用戶使得這組終端用戶能夠用 一些設(shè) 備來接收和顯示這些錄像。這個(gè)通訊網(wǎng)絡(luò)可以是傳統(tǒng)的傳播網(wǎng)絡(luò)(無線連接的網(wǎng)絡(luò)或者通 過電纜連接的網(wǎng)絡(luò))，任何數(shù)字網(wǎng)絡(luò)(國際互連網(wǎng)，移動(dòng)網(wǎng)絡(luò)，或家庭局域網(wǎng))，正在逐 漸流行的對(duì)等網(wǎng)絡(luò)("peer to peer networks"),或者任何以上各種網(wǎng)絡(luò)的結(jié)合。終端用戶用 來顯示這些錄像的設(shè)備的屏幕可以是不同的設(shè)計(jì)和大小，比如用戶家里的大屏幕電視，或 者手持電話或其它移動(dòng)電視或多媒體設(shè)備上的液晶顯示器。終端用戶往往是一些普通用 戶，對(duì)于錄像圖像處理沒有太多的技巧和專業(yè)知識(shí)。 目前用在傳媒領(lǐng)域的錄像圖像處理方法和系統(tǒng)通常是追求一個(gè)普遍適用性的原則，也 就是不論終端用戶的設(shè)備是什么，為所有的終端用戶生成同一套錄像，并且?guī)缀醪辉试S終 端用戶對(duì)錄像圖像的處理和顯示做任何改變。比如說，當(dāng)在家里看電視的時(shí)候，不管終端 用戶有什么樣的電視，他所收到的用來在電視上播放的錄像圖像總是一樣的。在錄像圖像 的顯示方法上，終端用戶只有一些很有限的選擇，比如說是不是顯示字幕，或者是不是在 一個(gè)大的圖像里顯示一個(gè)小的圖像，也就是所謂的畫中畫。除了這些有限的選擇之外，終 端用戶對(duì)于所收到的錄像圖像的顯示并沒有太多實(shí)質(zhì)性的控制。這種追求普遍適用性的方 法往往需要滿足一個(gè)技術(shù)標(biāo)準(zhǔn)相對(duì)比較低的系統(tǒng)要求，以便減少對(duì)于錄像傳播網(wǎng)絡(luò)的帶寬 要求和減少接收顯示設(shè)備的系統(tǒng)復(fù)雜程度。盡管這種追求普遍適用性的方法對(duì)于服務(wù)提供 方來說比較方便，但是它卻不能夠?qū)λ械慕K端用戶都提供滿意的收視經(jīng)驗(yàn)，因?yàn)樵诮K端 用戶所使用的不同的接收顯示設(shè)備之間存在著巨大的不同。目前的錄像圖像處理方法還面臨著另外一個(gè)挑戰(zhàn)，也就是當(dāng)處理一個(gè)包含著小的圖像 元素的錄像圖像，并且將這個(gè)處理過的錄像圖像傳播到一個(gè)小的屏幕上顯示的時(shí)候，這個(gè) 小的圖像元素往往就變得很不清晰，有的時(shí)候甚至于會(huì)完全消失。這種情況在向手機(jī)電視 上傳送球類比賽，比如壘球或者網(wǎng)球比賽的時(shí)候就會(huì)出現(xiàn)。 一個(gè)正常壘球的直徑通常小于 三英寸， 一個(gè)正常的壘球場各個(gè)壘之間的距離通常有九十英尺。如果用一個(gè)像素來顯示壘 球，那么就需要至少360個(gè)像素來顯示兩個(gè)相鄰的壘。對(duì)于任何分辨率小于一定限度的錄 像文件，錄像中代表壘球的圖像元素就會(huì)在圖像壓縮，圖像文本格式轉(zhuǎn)換("transcoding"), 或者視頻轉(zhuǎn)碼("transcaling")的過程中消失。并且，即使使用了高清晰度的圖像格式和高 清晰度的錄像顯示設(shè)備來用更多的像素來顯示壘球，在一個(gè)小的屏幕上壘球圖像可能仍然 小于一個(gè)英寸的百分之零點(diǎn)五，很難在正常距離上被正常人的肉眼所識(shí)別。綜上所述，市場上顯然需要一個(gè)改進(jìn)的錄像圖像處理方法和系統(tǒng)來解決這些問題，并 且可以互動(dòng)性地顯示圖像信息來突出錄像圖像中不同的圖像元素之間的關(guān)系。發(fā)明內(nèi)容本發(fā)明的目的包括(但是不限于)解決上述現(xiàn)有技術(shù)中的不足，增強(qiáng)對(duì)錄像中的小圖 像元素的處理，提供一種互動(dòng)的錄像處理方法以反映用戶輸入，提供一種可以互動(dòng)性地顯
示圖像信息來突出錄像圖像中不同的圖像元素之間的關(guān)系的改進(jìn)的錄像圖像處理方法和 系統(tǒng)。本發(fā)明是通過下述技術(shù)方案予以實(shí)現(xiàn)的一種錄像圖像處理方法包括以下步驟 獲取一個(gè)具有至少一個(gè)圖像元素的第一代錄像；通過分析這個(gè)第一代錄像來取得這個(gè)至少一個(gè)圖像元素的追蹤信息； 獲取一個(gè)第二代錄像；以及通過利用取得的追蹤信息來將一個(gè)圖像元素組合到第二代錄像上。 所述的錄像圖像處理方法還包括以下步驟 通過利用取得的追蹤信息來將代表一個(gè)信息元素的圖形組合到第二代錄像的至少一 幀圖像上。本發(fā)明的另一個(gè)技術(shù)方案是-一種錄像圖像處理方法包括以下步驟 獲取一個(gè)具有至少一個(gè)圖像元素的第一代錄像；通過分析這個(gè)第一代錄像來取得這個(gè)至少一個(gè)圖像元素的追蹤信息； 獲取一個(gè)第二代錄像；以及將取得的追蹤信息和第二代錄像傳輸給一個(gè)通訊網(wǎng)絡(luò)。所述的錄像圖像處理方法還包括以下步驟如果第二代錄像是一個(gè)H.264錄像，那么就將取得的追蹤信息記錄在第二代錄像的輔助圖像成份或者主體圖像成份的前景層上，如果第二代錄像是一個(gè)MPEG4錄像，那么就將取得的追蹤信息記錄在第二代錄像的至少一幀圖像上或者至少一幀圖像所攜帶的輔助參數(shù)上。本發(fā)明的第3個(gè)技術(shù)方案是一種錄像圖像處理方法包括以下步驟從一個(gè)通訊網(wǎng)絡(luò)上接收一個(gè)錄像； 接收一個(gè)圖像元素的追蹤信息；通過利用接收的追蹤信息來將一個(gè)圖像元素組合到接收到的錄像上從而生成下一代 錄像；以及顯示下一代錄像。
所述的錄像圖像處理方法還包括以下步驟接收用戶輸入信息；以及通過利用接收到的用戶輸入信息來對(duì)追蹤信息進(jìn)行調(diào)整。通過利用接收到的的追蹤信息來將代表一個(gè)信息元素的圖形組合到接收到的錄像的至少一幀圖像上。本發(fā)明的第4個(gè)技術(shù)方案是一種錄像圖像處理方法包括以下步驟從一個(gè)通訊網(wǎng)絡(luò)上接收一個(gè)錄像； 接收一個(gè)圖像元素的追蹤信息；提取一個(gè)預(yù)設(shè)的圖形；通過利用接收到的追蹤信息來將這個(gè)預(yù)設(shè)的圖形組合到接收到的錄像上的至少一幀 圖像上從而生成下一代錄像；以及顯示下一代錄像。 所述的錄像圖像處理方法還并包括以下步驟接收用戶輸入信息；以及通過利用接收到的用戶輸入信息來對(duì)追蹤信息或者預(yù)設(shè)的圖形進(jìn)行調(diào)整。本發(fā)明的第5個(gè)技術(shù)方案是一種錄像圖像處理方法包括以下步驟從一個(gè)通訊網(wǎng)絡(luò)上接收一個(gè)具有第一系列圖像幀的錄像； 接收一個(gè)圖像元素的追蹤信息；根據(jù)接收到的一個(gè)圖像元素的追蹤信息生成第二系列圖像幀；將第一系列圖像幀的至少一部分同第二系列圖像幀的至少一部分混合排列起來；以及顯示混合排列后圖像幀系列。本發(fā)明一種錄像圖像處理系統(tǒng)，包括 第一個(gè)接收單元，用于接收錄像文件和圖像元素的追蹤信息； 第二個(gè)接收單元，用于接收用戶輸入信息；一個(gè)錄像圖像處理單元，用于使用接收到的用戶輸入信息或者接收到的圖像元素的追 蹤信息來將至少一個(gè)圖形組合到接收到的錄像文件上；以及一個(gè)顯示單元，用于顯示錄像。本發(fā)明的有益效果包括(但是不限于)當(dāng)處理一個(gè)包含著小的圖像元素的錄像圖像， 并且將這個(gè)處理過的錄像圖像傳播到一個(gè)小的屏幕上顯示的時(shí)候,這個(gè)小的圖像元素也會(huì)
很清晰，避免了現(xiàn)有技術(shù)中往往會(huì)完全消失的弊端，達(dá)到在正常距離被正常人的肉眼所能 識(shí)別的目的，提供一種互動(dòng)的錄像處理方法以反映用戶輸入，且可以互動(dòng)性地顯示圖像信 息來突出錄像圖像中不同的圖像元素之間的關(guān)系。


圖1是第一代錄像中的一幀圖像的示意圖；圖2是圖1中的一幀圖像布經(jīng)過一般的壓縮處理后的圖像示意圖，一些重要的圖像信息己 經(jīng)損失了；圖3是圖1中的一幀圖像在使用本發(fā)明所包含的改進(jìn)的錄像圖像處理方法處理后的圖像示意圖，重要的圖像信息得到了保存；圖4是實(shí)現(xiàn)本發(fā)明的一種方法的示意性流程圖；圖5是實(shí)現(xiàn)本發(fā)明的另一種方法的示意性流程圖；圖6是實(shí)現(xiàn)本發(fā)明的一種系統(tǒng)的示意圖；圖7是一幀圖像在加入一個(gè)代表信息元素的文字圖形后的示意圖。
具體實(shí)施方式
這一部分將結(jié)合附圖進(jìn)一步介紹本發(fā)明的技術(shù)內(nèi)容以及實(shí)現(xiàn)本發(fā)明的各種可能的實(shí) 現(xiàn)方法和系統(tǒng)。對(duì)于一個(gè)錄像圖像播放服務(wù)提供商來說，在一個(gè)具有多種不同技術(shù)的傳播網(wǎng)絡(luò)上向多 種不同的顯示設(shè)備同時(shí)提供高質(zhì)量的錄像圖像是一個(gè)嚴(yán)峻的挑戰(zhàn)?？陀^地來說，服務(wù)提供 商希望能夠通過釆用新的錄像圖像處理標(biāo)準(zhǔn)來有效地降低對(duì)傳送帶寬的要求并且同時(shí)保 證實(shí)現(xiàn)一定的質(zhì)量要求，比如MPEG4和H.264?？墒峭瑯拥匿浵駡D像處理、壓縮方法卻 會(huì)因所傳輸?shù)膱D像性質(zhì)的不同而產(chǎn)生完全不同的效果。圖l是第一代錄像中的一幀圖像的示意圖。在圖1中， 一個(gè)關(guān)鍵的圖像元素壘球l 被清晰地顯示出來。圖2顯示圖1中的一幀圖像在經(jīng)過一般的壓縮處理后， 一些重要的圖 像信息，在這里就是關(guān)鍵圖像元素壘球l，已經(jīng)從圖像里消失了。如果是跟據(jù)這樣的圖像 顯示，觀看者就不會(huì)知道球員正要擊打壘球l，因?yàn)樗床坏綁厩騦。與之相反，觀看者
還會(huì)以為球員正在等待壘球1的到來。圖3是顯示圖1中的同一幀圖像在使用本發(fā)明所包 含的改進(jìn)的錄像圖像處理方法處理后重要的圖像信息，比如說壘球l，得到了保存被清晰 地顯示出來。因?yàn)橛^看者現(xiàn)在能夠看到壘球l，因此也就能夠看清楚球員將要擊球的動(dòng)作 了。這一個(gè)似乎不大的區(qū)別，可以完全改變觀看者的觀看經(jīng)驗(yàn)。根據(jù)本發(fā)明的一種實(shí)現(xiàn)方法， 一個(gè)相對(duì)比較高質(zhì)量的錄像圖像文件，在它被為了向外 播放而經(jīng)過處理之前，在錄像中的特定關(guān)鍵圖像元素仍然可以被看見或被找到的時(shí)候，我 們把這個(gè)錄像圖像文件叫做第一代錄像。在第一代錄像被處理過之后，生成的錄像圖像文 件叫做第二代錄像。在第二代錄像被處理過之后，生成的錄像圖像文件叫做第三代錄像。 在第三代錄像被處理過之后，生成的錄像圖像文件叫做第四代錄像。以此類推。第一代錄像通常還保留很多圖像細(xì)節(jié)，包括那些對(duì)于錄像主題十分重要的圖像細(xì)節(jié)。 但是，第一代錄像通常是個(gè)很大的文件，很難在一般通訊系統(tǒng)的有限的帶寬上傳送。將第 一代錄像處理成第二代錄像來減少錄像文件的大小和分辨率往往需要對(duì)第一代錄像進(jìn)行 壓縮，對(duì)圖像文本格式進(jìn)行轉(zhuǎn)換，或者視頻轉(zhuǎn)碼。這一處理過程就會(huì)造成一些關(guān)鍵信息元 素變得模糊或者完全消失。根據(jù)本發(fā)明的一種實(shí)現(xiàn)方法，首先要找到關(guān)鍵圖像元素的相關(guān)信息。 一段錄像是由多 幀單獨(dú)的圖像組成的。錄像中代表一個(gè)實(shí)際物體的一個(gè)圖像元素，比如說代表壘球的壘球 圖像元素，是由存在在一個(gè)錄像的多幀圖像之上的一組或多組單獨(dú)的圖形來表現(xiàn)的。這些 代表同一個(gè)圖像元素的一組或多組單獨(dú)的圖形通過在一個(gè)錄像的多幀圖像之間的逐漸移 動(dòng)和變化來表現(xiàn)這個(gè)圖像元素在這個(gè)錄像之中的移動(dòng)和變化。關(guān)鍵圖像元素的相關(guān)信息是 指代表關(guān)鍵圖像元素的一組或多組單獨(dú)的圖形在一個(gè)錄像的多幀圖像上的信息。這些相關(guān) 信息可能包括關(guān)鍵圖像元素在錄像文件各幀圖像中的水平和豎直位置，代表關(guān)鍵圖像元素 的圖形的大小，邊界，顏色，亮度，等等。這些信息可以通過使用現(xiàn)有的錄像圖形搜尋/ 追蹤算法對(duì)一段錄像中的各幀圖像逐一進(jìn)行分析處理來取得?，F(xiàn)在有很多可以分析一段錄像并從這段錄像中找到一個(gè)特定的圖像元素的相關(guān)信息 的錄像圖形搜尋/追蹤算法。比如發(fā)表在2005年11月13至16日在韓國舉行的第6次太 平洋圈多媒體會(huì)議文集第864至875頁上的文章"在足球錄像播放中的球搜尋和追蹤算法"("A Scheme for Ball Detection and Tracking in Broadcast Soccer Video")所介紹的方法，以 及發(fā)表在2004年10月25至2 8日在韓國漢城舉行的CDMA國際會(huì)議文集上的文章"預(yù) 處理球類比賽錄像以便在移動(dòng)網(wǎng)絡(luò)上傳播"("Preprocessing of Ball Game Video Sequences for Robust Transmission Over Mobile Network")所介紹的方法。第一篇文章，"在足球錄 像播放中的球搜尋和追蹤算法"，描述了一個(gè)在一段球賽錄像中尋找到代表球的圖像元素， 并且在錄像的多幀圖像之間追蹤這一圖像元素的方法。這種方法使用錄像的多幀圖像來獲 得這一圖像元素的追蹤信息。當(dāng)在錄像中尋找圖像元素的時(shí)候，這種介紹的方法使用特定 的顏色，形狀和大小指標(biāo)來在錄像的各幀單獨(dú)的圖像之中尋找可能代表球的圖形，并且對(duì) 相鄰兩幀錄像圖像中的可能代表球的圖形的各個(gè)信息進(jìn)行比較?；谶@些信息，這一文章 介紹了一種算法來計(jì)算球圖像元素在錄像各幀圖像之間的位置和移動(dòng)變化軌跡。球圖像元素在錄像各幀圖像上的位置信息在追蹤球圖像元素的軌跡的過程中不斷地進(jìn)行更新，以便 決定何時(shí)需要對(duì)球進(jìn)行重新搜尋。比如說如果代表球圖像元素的圖形在錄像中一系列相鄰 的各幀圖像上都存在，只是位置有所改變，那么在這一系列圖像上只需要在第一幀圖像上 搜尋球圖形，在以后的各幀圖像上就可以利用前幾幀圖像上的位置信息找到代表球的圖形 的位置。如果代表球圖像元素的圖形在錄像中一系列相鄰的各幀圖像上并不都存在，有時(shí) 候出了錄像圖像有時(shí)候又重新進(jìn)入錄像圖像，那么在球圖形出了錄像圖像之后的各幀圖像 上就需要對(duì)球圖形進(jìn)行重新搜尋。第二篇文章"預(yù)處理球類比賽錄像以便在移動(dòng)網(wǎng)絡(luò)上傳 播"描述了另一個(gè)可以用來尋找和追蹤球圖像元素的方法。這種方法使用特定圖像元素的 軌跡的慣性信息和位置預(yù)測，利用一些特殊的算法來完成對(duì)一段錄像中的某一特定圖像元 素的搜尋和追蹤。這些不同的圖像元素搜尋和追蹤方法，以及其它現(xiàn)有的圖像元素搜尋和 追蹤方法，可以被用來實(shí)現(xiàn)本發(fā)明的搜尋和追蹤步驟，來取得關(guān)鍵圖像元素在某一段錄像 的各幀圖像上的各種相關(guān)信息。如上所述， 一段錄像文件是由許多幀單獨(dú)的圖像組成的。第一代錄像中會(huì)有許多幀單 獨(dú)的圖像。同一個(gè)關(guān)鍵圖像元素，比如說代表一場壘球比賽中的壘球的壘球圖像元素，會(huì) 以圖形的形式出現(xiàn)在錄像文件中的許多幀單獨(dú)的圖像之中。在每一幀有代表關(guān)鍵圖像元素 的圖形的錄像圖像中，都可以用以上所介紹的方法找到關(guān)鍵圖像元素的有關(guān)信息，比如位 置，大小，邊界，顏色，亮度，等等。而這些關(guān)鍵圖像元素的有關(guān)信息會(huì)在各幀圖像之間 改變，主要是因?yàn)殛P(guān)鍵圖像元素所代表的物體在時(shí)間和空間上的移動(dòng)。通過現(xiàn)有的搜尋和 追蹤圖像元素的方法可以找到關(guān)鍵圖像元素在一個(gè)錄像文件中各幀單獨(dú)圖像上的有關(guān)信
息。我們把在一段錄像中代表一個(gè)圖像元素的一系列或多個(gè)系列的單獨(dú)圖形在這段錄像中 的相應(yīng)的單獨(dú)幀圖像上的有關(guān)信息(比如位置，大小，邊界，顏色，亮度，等等)的綜合 叫做圖像元素的追蹤信息。 一旦有了一個(gè)圖像元素的追蹤信息，就可以利用此追蹤信息將 一個(gè)圖像元素重組到一段錄像上。根據(jù)本發(fā)明的一種實(shí)現(xiàn)方法，一旦用以上所介紹的圖像元素搜尋和追蹤方法找到第一 代錄像中的關(guān)鍵圖像元素的追蹤信息，第一代錄像就通過壓縮方法被處理生成第二代錄 像，從而減小錄像文件的大小以便于在網(wǎng)絡(luò)上傳播?？捎玫奈募嚎s格式包括H.264， MPEG4，和VC-1等標(biāo)準(zhǔn)文件格式。在某些情況下， 一個(gè)輔助攝像機(jī)可以和主攝像機(jī)同 時(shí)使用來在主攝像機(jī)攝制高清晰度的第一代錄像的時(shí)候，同時(shí)攝制一個(gè)低清晰度錄像。如 果這個(gè)低清晰度錄像同第一代錄像具有同樣的內(nèi)容，只是文件大小比較小一些，那末這個(gè) 低清晰度錄像也可以被用作第二代錄像的替代錄像。一旦獲得第二代錄像，根據(jù)本發(fā)明的一種實(shí)現(xiàn)方法，可以利用從第一代錄像中找到的 關(guān)鍵圖像元素的追蹤信息將關(guān)鍵圖像元素重組到第二代錄像上從而生成第三代錄像。為達(dá) 到這個(gè)結(jié)果，可能要對(duì)關(guān)鍵圖像元素的追蹤信息做些調(diào)整。這些調(diào)整可以是基于第一代錄 像和第二代錄像之間的相對(duì)比較關(guān)系而進(jìn)行的。比如說，關(guān)鍵圖像元素在第一代錄像各幀 圖像中的水平和豎直位置可能需要進(jìn)行調(diào)整才可以將關(guān)鍵圖像元素重組在第二代錄像所 對(duì)應(yīng)的各幀圖像的正確位置上。這種調(diào)整可以是基于對(duì)第一代錄像和第二代錄像所對(duì)應(yīng)的 各幀圖像的水平和豎直長度的比較。調(diào)整的算法可以通過對(duì)代表水平和豎直位置的數(shù)值加 一個(gè)變量來實(shí)現(xiàn)，這個(gè)變量可以取決于第二代錄像的壓縮比例。例如，如果第二代錄像的 各幀圖像的水平和豎直長度都只有第一代錄像的一半，那么代表關(guān)鍵圖像元素在第一代錄 像各幀圖像中的水平和豎直位置的數(shù)值就需要通過乘一個(gè)反應(yīng)壓縮比例的變量來對(duì)應(yīng)性 地減半。關(guān)鍵圖像元素的別的有關(guān)信息比如大小，邊界，顏色和亮度等也可以通過引進(jìn)別 的變量來改變。有些變量可以反映第一代錄像和第二代錄像之間的相對(duì)比較關(guān)系，有些變 量也可以由第二代錄像的制做者來主觀地選擇。在關(guān)鍵圖像元素的追蹤信息被適當(dāng)?shù)卣{(diào)整 之后，調(diào)整后的關(guān)鍵圖像元素的追蹤信息就可以被用來將關(guān)鍵圖像元素重組在第二代錄像 上從而生成第三代錄像。使用調(diào)整后的關(guān)鍵圖像元素的追蹤信息來將關(guān)鍵圖像元素重組在 第二代錄像上有多種不同的實(shí)現(xiàn)方法。將一個(gè)圖像元素重組或組合在一個(gè)錄像上是指將代 表一個(gè)圖像元素的一系列或若干個(gè)系列的圖形加入一個(gè)錄像的一些幀圖像上，使得錄像在
被播放時(shí)這個(gè)圖像元素能被顯現(xiàn)出來。關(guān)鍵圖像元素可以根據(jù)關(guān)鍵圖像元素的追蹤信息被 直接畫在第二代錄像的一些幀圖像上。關(guān)鍵圖像元素也可以根據(jù)關(guān)鍵圖像元素的追蹤信息 畫在一系列單獨(dú)的圖像上，然后再使用a混合處理("alphablending")的方法將這一系列 單獨(dú)的圖像與第二代錄像所對(duì)應(yīng)的各幀圖像結(jié)合起來。a混合處理是一種常用的圖像處 理方法，主要是指將多個(gè)層次的圖像重疊在一起生成一幀圖像，不同層次的圖像可以有不 同程度的透明度，從而達(dá)到不同的重疊效果。如果關(guān)鍵圖像元素的追蹤信息只包含有關(guān)鍵 圖像元素在各個(gè)幀圖像上的位置信息，關(guān)鍵圖像元素的追蹤信息可以通過任何標(biāo)準(zhǔn)的復(fù)用 ("multiplexing")方法復(fù)用("multiplex")到第二代錄像上以便于傳播。在有多個(gè)關(guān)鍵圖像 元素的時(shí)候也可以使用同樣的處理方法。在同時(shí)處理多個(gè)關(guān)鍵圖像元素的時(shí)候，可以通過 它們不同的特性比如形狀，大小，顏色，亮度，等等，或者它們不同的移動(dòng)軌跡來對(duì)它們 進(jìn)行區(qū)分。這些處理方法可以和一些流行的國際圖像標(biāo)準(zhǔn)比如H.264， MPEG4， VC-1等 相匹配。例如在使用H.264圖像標(biāo)準(zhǔn)的時(shí)候，本發(fā)明可以通過以下所介紹的步驟來利用調(diào)整后 的關(guān)鍵圖像元素的追蹤信息將關(guān)鍵圖像元素重組到第二代錄像上。在使用R264標(biāo)準(zhǔn)的時(shí)候，第二代錄像可以被制作成一個(gè)H,264錄像。 一個(gè)H.264 錄像可以有一個(gè)輔助圖像成份和一個(gè)主體圖像成份。輔助圖像成份是錄像文件的一個(gè)輔助 性元素，對(duì)輔助圖像成份的支持是有選擇性的。主體圖像成份可以有一個(gè)背景層和一個(gè)前 景層。輔助圖像成份，或者主體圖像成份的前景層都可以用來在傳播時(shí)攜帶關(guān)鍵圖像元素的 追蹤信息。這種攜帶可以有多種方式，方式之一就是把關(guān)鍵圖像元素的追蹤信息以某種方 式加入第二代錄像的輔助圖像成份，或者主體圖像成份的前景層。方式之二就是利用調(diào)整 后的關(guān)鍵圖像元素的追蹤信息將關(guān)鍵圖像元素直接畫在第二代錄像的輔助圖像成份，或者 主體圖像成份的前景層上。為解釋的目的，我們使用一場壘球比賽的錄像來作本發(fā)明各個(gè)實(shí)現(xiàn)步驟的示范說明。 在這一錄像文件中，關(guān)鍵圖像元素就是比賽中的壘球。首先，我們?nèi)∫粋€(gè)高質(zhì)量的壘球比 賽的錄像，這一初始錄像就成為第一代錄像。錄像中代表壘球的圖像元素就是關(guān)鍵圖像元 素。通過以上介紹過的圖像元素尋找和追蹤方法我們可以取得關(guān)鍵圖像元素在第一代錄像
中的追蹤信息，比如關(guān)鍵圖像元素在每一幀圖像上的空間位置和各個(gè)幀圖像之間的位置 變化的信息。第一代錄像于是被按照H.264標(biāo)準(zhǔn)進(jìn)行處理和壓縮從而生成第二代錄像。 在H.264標(biāo)準(zhǔn)下，第二代錄像具有主體圖像成份。這一主體圖像成份即可以是一個(gè)單獨(dú) 系列的錄像圖像，也可以是兩個(gè)相關(guān)系列的錄像圖像包含有一個(gè)前景層圖像系列和一個(gè)背 景層圖像系列。制作方還可以選擇另外生成一個(gè)相應(yīng)的輔助圖像成份。接下來，關(guān)鍵圖像元素(壘球)的追蹤信息，比如關(guān)鍵圖像元素在每一幀圖像上的空 間位置和各個(gè)幀圖像之間的位置變化，就被記錄在錄像主體圖像成份的前景層圖像系列 上，或者輔助圖像成份的各幀圖像上，或者既在錄像主體圖像成份的前景層圖像系列上也 在輔助圖像成份的各幀圖像上。實(shí)現(xiàn)這種記錄的一種方法就是直接利用關(guān)鍵圖像元素比如 壘球的追蹤信息將壘球圖形畫在錄像主體圖像成份的前景層圖像系列上或者輔助圖像成 份的各幀圖像上。在某種情況下，關(guān)鍵圖像元素比如壘球的追蹤信息只包含壘球中心點(diǎn)在錄像各幀圖像 上的位置。在這種情況下，我們只需要將代表壘球中心點(diǎn)的一個(gè)像素通過追蹤信息將它記 錄在錄像主體圖像成份的前景層圖像系列上，或者輔助圖像成份的各幀圖像上。在另一種可能的情況下，關(guān)鍵圖像元素比如壘球的追蹤信息除了中心點(diǎn)外還包含壘球 圖形的邊界在錄像各幀圖像上的位置。在這種情況下， 一個(gè)相對(duì)大一些的區(qū)域就需要過追 蹤信息標(biāo)志在錄像主體圖像成份的前景層圖像系列上，或者輔助圖像成份的各幀圖像上來 記錄壘球的追蹤信息。這一標(biāo)志過程也可以就是利用壘球的追蹤信息將壘球圖形直接畫在 第二代錄像的輔助圖像成份，或者主體圖像成份的前景層圖像系列上。如以上所討論過的， 這里所用到的關(guān)鍵圖像元素的追蹤信息也可能是根據(jù)第一代和第二代錄像之間的不同而 調(diào)整后的關(guān)鍵圖像元素的追蹤信息。在關(guān)鍵圖像元素的追蹤信息被記錄在第二代錄像主體圖像成份的前景層圖像系列上， 或者輔助圖像成份的各幀圖像上之后，第二代錄像就被播放到終端用戶那里。如果第二代 錄像還含有輔助圖像成份，那末輔助圖像成份也被播放到終端用戶那里。這時(shí)關(guān)鍵圖像元 素的追蹤信息，或調(diào)整后的關(guān)鍵圖像元素的追蹤信息，就已經(jīng)被記錄在錄像主體圖像成份 的前景層圖像系列上，或者輔助圖像成份的各幀圖像上。因?yàn)檫@一生成和傳輸過程是與 11.264標(biāo)準(zhǔn)相匹配的，任何與11.264標(biāo)準(zhǔn)相匹配的設(shè)備都可以接收和顯示這樣生成的錄像。 因?yàn)樵贖.264標(biāo)準(zhǔn)下對(duì)輔助圖像成份的支持是可選擇性，當(dāng)?shù)诙浵裰谱鞣竭x擇在錄像 中使用輔助圖像成份并用這一部分來記錄關(guān)鍵圖像元素的追蹤信息的情況下，制作 方可以 在適當(dāng)時(shí)候給用戶端設(shè)備送出一個(gè)信號(hào)提醒用戶端設(shè)備來處理錄像的輔助圖像成份。一旦用戶端設(shè)備接收到記錄有關(guān)鍵圖像元素的追蹤信息的第二代錄像的主體圖像成 份(以及輔助圖像成份如果第二代錄像也含有這一圖像部分)，用戶端設(shè)備就可以首先從 第二代錄像中提取出關(guān)鍵圖像元素的追蹤信息，然后就利用提取出的關(guān)鍵圖像元素(在這 里也就是壘球圖像元素)的追蹤信息將壘球圖形畫在第二代錄像相應(yīng)的各幀圖像上，從而 達(dá)到將關(guān)鍵圖像元素重組到第二代錄像上的目的。如果第二代錄像記錄壘球圖像元素的追 蹤信息的方法是將壘球圖形畫在錄像主體圖像成份的前景層圖像系列上或者輔助圖像成 份的各幀圖像上，那么用戶端設(shè)備提取關(guān)鍵圖像元素(也就是壘球圖像元素)的追蹤信息 時(shí)可以使用以上所介紹的圖像元素搜尋和追蹤方法對(duì)記錄有關(guān)鍵圖像元素的追蹤信息的 第二代錄像主體圖像成份的前景層圖像系列，或者輔助圖像成份的各幀圖像進(jìn)行處理分 析，從而找到第二代錄像所攜帶的關(guān)鍵圖像元素的追蹤信息或調(diào)整后的關(guān)鍵圖像元素的追蹤信息。如果第二代錄像記錄壘球圖像元素的追蹤信息的方法是利用調(diào)整后的關(guān)鍵圖像元素 的追蹤信息將壘球圖形直接畫在錄像主體圖像成份的前景層圖像系列上，或者輔助圖像成 份的各幀圖像上，那么用戶端設(shè)備也可以不用再一次從第二代錄像中重新提取調(diào)整后的關(guān) 鍵圖像元素的追蹤信息，而是直接用a混合處理的方法，將畫有壘球圖形的錄像主體圖 像成份的前景層圖像系列，或者錄像輔助圖像成份的各幀圖像，同錄像主體圖像成份的背 景層圖像系列相結(jié)合，從而達(dá)到將關(guān)鍵圖像元素(壘球)重組到第二代錄像上的目的。 H.264技術(shù)標(biāo)準(zhǔn)2005年3月版的第7.4.2章詳細(xì)地介紹了如何使用a混合處理來通過對(duì)兩 幅圖像的結(jié)合生成一個(gè)綜合的圖像。將關(guān)鍵圖像元素重組到第二代錄像上之后所生成的新 的錄像就成為第三代錄像。在與MPEG4標(biāo)準(zhǔn)相匹配的時(shí)候，可以使用與上類似的方法。MPEG4也支持a混 合處理。MPEG4與H.265之間的一個(gè)區(qū)別在于MPEG4錄像沒有主體圖像成份和輔助圖 像成份。與之相應(yīng)的，MPEG4錄像的各幀圖像都可以帶有一個(gè)輔助參數(shù)("grayscale shape information"或稱"灰度形狀信息")來記錄前景和背景信息的相應(yīng)透明程度。在一個(gè) MPEG4錄像之中，可以使用兩個(gè)不同系列的圖像來分別替代一個(gè)H.264錄像中的主體圖
像成份的前景層圖像系列和背景層圖像系列，或者分別替代一個(gè)H.264錄像中的輔助圖像 成份和主體圖像成份的背景層圖像系列。采用類似于以上所介紹的方法，關(guān)鍵圖像元素的 追蹤信息就可以記錄在一個(gè)MPEG4錄像之中用來替代一個(gè)H.264錄像的主體圖像成份的 前景層圖像系列，或者輔助圖像成份，的各幀圖像上。記錄方法也同以上所述的記錄方法 相類似。如果記錄關(guān)鍵圖像元素的追蹤信息的方法是通過使用關(guān)鍵圖像元素的追蹤信息把 代表關(guān)鍵圖像元素的圖形直接畫在MPEG4錄像之中用來替代一個(gè)H.264錄像的主體圖像 成份的前景層圖像系列，或者輔助圖像成份，的各幀圖像上，那么就可以使用a混合處 理的方法將這些幀圖像與MPEG4錄像之中用來替代一個(gè)H.264錄像的主體圖像成份的背 景層圖像系列的各幀圖像相結(jié)合，從而達(dá)到將關(guān)鍵圖像元素重組到第二代錄像上的目的。 最后生成的錄像就成為第三代錄像。根據(jù)本發(fā)明的另一種實(shí)現(xiàn)方法，因?yàn)镸PEG4錄像的各幀圖像可以攜帶有記錄前景和 背景信息的相應(yīng)透明程度的輔助參數(shù)，第二代錄像的每一幀圖像可以用一個(gè)MPEG4錄像 文件的一幀圖像來代表。關(guān)鍵圖像元素的追蹤信息可以記錄在MPEG4錄像的各幀圖像所 攜帶的輔助參數(shù)中。ISO/IEC 14496-2國際標(biāo)準(zhǔn)第二版第7.5.5章詳細(xì)地介紹了這個(gè)輔 助參數(shù)以及如何使用這個(gè)輔助參數(shù)來攜帶信息。存儲(chǔ)在這個(gè)輔助參數(shù)之中的關(guān)鍵圖像元素 的追蹤信息隨后就可以被提取出來，并用來將關(guān)鍵圖像元素重組到MPEG4錄像的各幀圖 像主體上，從而生成第三代錄像。以上所描述的方法謹(jǐn)代表本發(fā)明的一些可能實(shí)現(xiàn)方法。實(shí)現(xiàn)本發(fā)明并不一定要與國際 標(biāo)準(zhǔn)相匹配，而且在相匹配的同時(shí)也可以做一些變化。比如說，當(dāng)關(guān)鍵圖像元素的追蹤信 息只含有關(guān)鍵圖像元素中心點(diǎn)的位置信息的時(shí)候，錄像服務(wù)的提供方可以在播放第二代錄 像的時(shí)候同時(shí)送出一個(gè)預(yù)設(shè)的圖像元素，或者在用戶終端設(shè)備上預(yù)存一個(gè)圖像元素。用戶 終端設(shè)備可以使用這個(gè)圖像元素、第二代錄像、以及第二代錄像攜帶的關(guān)鍵圖像元素的追 蹤信息來生成第三代錄像。具體方法就是將這個(gè)圖像元素加在第二代錄像各幀圖像中關(guān)鍵 圖像元素中心點(diǎn)的位置。而且，用戶終端設(shè)備還可以利用用戶輸入的信息來改變這個(gè)圖像 元素的特性，比如它的大小，顏色，亮度，等等。如果關(guān)鍵圖像元素的追蹤信息還含有關(guān) 鍵圖像元素的大小，邊界，顏色，亮度等參數(shù)，用戶終端設(shè)備也還可以利用用戶輸入的信 息來改變這些參數(shù)，并使用根據(jù)用戶輸入的信息改變后的關(guān)鍵圖像元素來生成第三代錄 像。
以上所介紹的方法也可以在有多個(gè)關(guān)鍵圖像元素的情況下使用，因?yàn)樵谝粋€(gè)MPEG4 錄像文件的各幀圖像上，或者一個(gè)H.264錄像文件的主體圖像成份的前景層圖像系列或輔 助圖像成份上可以攜帶多個(gè)關(guān)鍵圖像元素。這些多個(gè)關(guān)鍵圖像元素可以通過它們不同的特 性，比如大小，邊界，顏色，位置，等等來區(qū)分。圖4是實(shí)現(xiàn)本發(fā)明的一種方法的示意性流程圖。首先取得含有一個(gè)或多個(gè)關(guān)鍵圖像元 素的第一代錄像。于是在下一步(步驟12)通過使用常用的圖像元素尋找和追蹤方法分 析第一代錄像以取得關(guān)鍵圖像元素的追蹤信息。在取得關(guān)鍵圖像元素的追蹤信息之前或者 之后，通過處理第一代錄像，通常是壓縮處理以便減小文件大小，來生成第二代錄像。壓 縮處理可以使用現(xiàn)有的國際錄像圖像處理標(biāo)準(zhǔn)，比如H.264， MPEG4，或VC-1。在下一 步(步驟14)，錄像服務(wù)提供方可以對(duì)取得的關(guān)鍵圖像元素的追蹤信息進(jìn)行調(diào)整。這種 調(diào)整可以基于第二代錄像相對(duì)于第一代錄像的壓縮比例，關(guān)鍵圖像元素的各種特性，或者 錄像服務(wù)提供方選擇的其他參數(shù)。接下來(步驟15)就可以利用調(diào)整后的關(guān)鍵圖像元素 的追蹤信息來將關(guān)鍵圖像元素重畫到第二代錄像上從而生成第三代錄像。生成的第三代錄 像就通過一個(gè)廣播網(wǎng)絡(luò)播放出去。根據(jù)本發(fā)明的一種實(shí)現(xiàn)方法，調(diào)整后的關(guān)鍵圖像元素的 追蹤信息與第三代錄像一起通過一個(gè)廣播網(wǎng)絡(luò)播放出去。關(guān)鍵圖像元素的追蹤信息或者調(diào) 整后的關(guān)鍵圖像元素的追蹤信息可以被記錄在第二代錄像或者第三代錄像的若干幀圖像 上。這種記錄的一種實(shí)現(xiàn)方式就是同過一種能夠反映出關(guān)鍵圖像元素的追蹤信息的方法來 在第二代錄像或者第三代錄像的若干幀圖像上畫上一系列的圖像元素。根據(jù)本發(fā)明的另一 種實(shí)現(xiàn)方法，可以生成并送出一個(gè)標(biāo)示信號(hào)來標(biāo)示調(diào)整后的關(guān)鍵圖像元素的追蹤信息和第 一代錄像，第二代錄像或者第三代錄像之間的關(guān)系。這一標(biāo)示信號(hào)可以是任何形式的數(shù)碼 信號(hào)。在下一步(步驟17)，終端用戶設(shè)備通過廣播網(wǎng)絡(luò)接收第三代錄像。如果調(diào)整 后的關(guān)鍵圖像元素的追蹤信息也被送出，那么終端用戶設(shè)備也可以接收調(diào)整后的關(guān)鍵圖像 元素的追蹤信息。如果有用戶輸入的話，終端用戶設(shè)備還可以從用戶那里接收至少一個(gè)用 戶輸入信息。根據(jù)本發(fā)明的不同實(shí)現(xiàn)方法，終端用戶設(shè)備可以直接顯示第三代錄像，也可 以利用接收到的用戶輸入信息、調(diào)整后的關(guān)鍵圖像元素的追蹤信息、以及第三代錄像來生 成一個(gè)新的錄像，第四代錄像，并顯示生成的第四代錄像。終端用戶設(shè)備可以通過任何常用的硬件或軟件設(shè)備來接收用戶輸入信息，比如說鍵盤 或者遙控接收裝置。用戶輸入信息可以用來作為一個(gè)或多個(gè)參量來進(jìn)一步調(diào)整調(diào)整后的關(guān)
鍵圖像元素的追蹤信息，比如說調(diào)整關(guān)鍵圖像元素的大小，顏色，位置，亮度等等。用戶 輸入信息也可以用來提取、調(diào)整或改變一個(gè)預(yù)先設(shè)定的圖像元素。這個(gè)預(yù)先設(shè)定的圖像元 素可以用來替代錄像中的關(guān)鍵圖像元素，通過利用關(guān)鍵圖像元素的追蹤信息，畫在關(guān)鍵圖 像元素的位置上。比如，如果關(guān)鍵圖像元素的追蹤信息只含有關(guān)鍵圖像元素的中心點(diǎn)在錄 像各幀圖像上的位置信息，那么任何一個(gè)預(yù)設(shè)的圖像元素都可以被記錄在這個(gè)中心點(diǎn)在錄 像各幀圖像上的位置上。預(yù)設(shè)的圖像元素可以由錄像服務(wù)提供方發(fā)送給終端用戶設(shè)備，也 可以預(yù)存在終端用戶設(shè)備上。用戶輸入信息可以用來提取這個(gè)預(yù)設(shè)的圖像元素，也可以用 來調(diào)整或改變這個(gè)預(yù)設(shè)的圖像元素的特性，比如大小，顏色，亮度等等。a混合處理的 方法可以用來將關(guān)鍵圖像元素或者預(yù)設(shè)的圖像元素加入到一個(gè)錄像的各幀圖像上。終端用 戶設(shè)備可以利用接收到的各種信息，比如用戶輸入信息和關(guān)鍵圖像元素的追蹤信息，對(duì)關(guān) 鍵圖像元素或者預(yù)設(shè)的圖像元素進(jìn)行調(diào)整和改變，并將改變后的關(guān)鍵圖像元素或者預(yù)設(shè)的 圖像元素加入第三代錄像。這樣生成的錄像就成為第四代錄像。終端用戶設(shè)備于是就將第 四代錄像顯示給用戶。圖5是實(shí)現(xiàn)本發(fā)明的另一種方法的示意性流程圖。根據(jù)這一實(shí)現(xiàn)方法，首先通過使用常用的圖像元素尋找和追蹤方法分析第一代錄像以取得關(guān)鍵圖像元素的追蹤信息(步驟22)。在取得關(guān)鍵圖像元素的追蹤信息之前或者之后，通過處理第一代錄像，通常是壓縮 處理以便減小文件大小，來生成第二代錄像。接下來，對(duì)取得的關(guān)鍵圖像元素的追蹤信息 進(jìn)行調(diào)整。這種調(diào)整可以基于各種參數(shù)，比如第二代錄像相對(duì)于第一代錄像的壓縮比例， 關(guān)鍵圖像元素的各種特性，或者錄像服務(wù)提供方選擇的其他參數(shù)(步驟24)。下一步通 過一個(gè)廣播網(wǎng)絡(luò)將第二代錄像和調(diào)整后的關(guān)鍵圖像元素的追蹤信息播放給終端用戶設(shè)備。 關(guān)鍵圖像元素的追蹤信息或者調(diào)整后的關(guān)鍵圖像元素的追蹤信息可以被記錄在第二代錄 像的一些幀圖像上，也可以與第二代錄像分開傳送。如果是分開傳送，那么可以生成一個(gè) 標(biāo)示信號(hào)來標(biāo)示關(guān)鍵圖像元素的追蹤信息或者調(diào)整后的關(guān)鍵圖像元素的追蹤信息和第二 代錄像之間的關(guān)系。根據(jù)本發(fā)明的一種可能的實(shí)現(xiàn)方法，錄像服務(wù)提供方將第二代錄像和 未經(jīng)調(diào)整的關(guān)鍵圖像元素的追蹤信息播放給終端用戶設(shè)備。終端用戶設(shè)備可以基于第二代 錄像相對(duì)于第一代錄像的壓縮比例，關(guān)鍵圖像元素的各種特性，用戶輸入信息，以及其他 可能的參數(shù)來對(duì)關(guān)鍵圖像元素的追蹤信息進(jìn)行調(diào)整從而生成調(diào)整后的關(guān)鍵圖像元素的追 蹤信息。在獲得調(diào)整后的關(guān)鍵圖像元素的追蹤信息和第二代錄像后，終端用戶設(shè)備就可以 利用這些信息將關(guān)鍵圖像元素重組在第二代錄像的各幀圖像上，從而生成第三代錄像。用 戶輸入信息可以用來作為一組參量來在這一過程中對(duì)關(guān)鍵圖像元素作進(jìn)一步調(diào)整和改變。 如果關(guān)鍵圖像元素的追蹤信息是與第二代錄像分開傳送的，那么就可以使用以上所描述的 標(biāo)示信號(hào)來將關(guān)鍵圖像元素的追蹤信息同第二代錄像聯(lián)系到一起。這些信息就可以被用來 將關(guān)鍵圖像元素重畫到第二代錄像上從而生成第三代錄像。如果關(guān)鍵圖像元素的追蹤信息 或者調(diào)整后的關(guān)鍵圖像元素的追蹤信息是被記錄在第二代錄像的一些幀圖像上，比如那些 帶有前景信息的圖像幀，而且采用的記錄方法是利用這一信息將關(guān)鍵圖像元素直接畫在這 些幀圖像上，那么這些幀圖像就可以通過a混合處理的方法與第二代錄像的其他幀圖像，比如說那些帶有背景信息的圖像幀，結(jié)合起來，以達(dá)到將關(guān)鍵圖像元素重組到錄像文件的 相應(yīng)位置的目的。還有一種方法是通過使用常用的圖像元素尋找和追蹤方法在第二代錄像 各幀攜帶有關(guān)鍵圖像元素信息的圖像中提取出關(guān)鍵圖像元素的追蹤信息，并利用取出的關(guān) 鍵圖像元素的追蹤信息來將關(guān)鍵圖像元素重新畫到第二代錄像中正確的圖像系列上。如以 上所介紹過的，也可以使用任何一個(gè)預(yù)設(shè)的圖像元素來替代關(guān)鍵圖像元素。終端用戶設(shè)備 還可以接收用戶輸入信息來對(duì)關(guān)鍵圖像元素或預(yù)設(shè)的圖像元素做進(jìn)一步地改變。最終生成 的錄像就被顯示在終端用戶設(shè)備上。本發(fā)明的另一種可能的實(shí)現(xiàn)方法是，遵循類似以上所討論的方法，可以用關(guān)鍵圖像元 素的追蹤信息和用戶輸入信息將關(guān)鍵圖像元素畫在一系列獨(dú)立于第二代錄像的圖像系列 上。接下來，這一獨(dú)立的圖像系列和第二代錄像的各幀圖像可以以一定的次序在終端用戶 設(shè)備上快速地交替顯示出來，以達(dá)到在視覺上混合的效果。獨(dú)立圖像系列中的各幀圖像和 第二代錄像的各幀圖像可以以某種次序交錯(cuò)地顯示。圖6是實(shí)現(xiàn)本發(fā)明的一種系統(tǒng)的示意圖。這一系統(tǒng)，或者設(shè)備，可以放在一個(gè)機(jī)殼里，也可以放在多個(gè)機(jī)殼里并通過有線或無線地方法彼此之間相互連接。這一系統(tǒng)具有多個(gè)不 同的功能單元。這些功能單元即可以是硬件，也可以是軟件，也可以是兩者皆有。錄像接收單元31的功能是從廣播網(wǎng)絡(luò)接收錄像文件和關(guān)鍵圖像元素的追蹤信息。這一功能單元 可以由天線或網(wǎng)絡(luò)調(diào)制解調(diào)器("modem")等硬件元件組成，也可以包含負(fù)責(zé)接收和處理 有線或無線電子信號(hào)的軟件。錄像文件可以是第二代錄像、第三代錄像等等。關(guān)鍵圖像元 素的追蹤信息也可以是經(jīng)過一次或多次調(diào)整過后的關(guān)鍵圖像元素的追蹤信息。錄像接收單
元31還可以包含能夠識(shí)別標(biāo)示信號(hào)的軟件，并通過標(biāo)示信號(hào)來將關(guān)鍵圖像元素的追蹤信 息同其所對(duì)應(yīng)的錄像文件聯(lián)系到一起。這一識(shí)別標(biāo)示信號(hào)的功能也可以由錄像圖像處理單元33來完成。信息接收單元32的功能是接收用戶輸入信息。這一功能單元可以包含有一個(gè)鍵盤，比如具有機(jī)械鍵的鍵盤或者在能夠感受到接觸的屏幕上顯示出的虛擬鍵盤。這一功能單元還可以包含有一個(gè)無線接收器來接收用戶輸入信息。錄像圖像處理單元33的功 能是對(duì)錄像圖像進(jìn)行處理。這一功能單元可以包含一個(gè)或一組微電子芯片以及錄像文件處 理軟件。錄像圖像處理單元33從錄像接收單元31收到錄像文件和關(guān)鍵圖像元素的追蹤信 息，從信息接收單元32收到用戶輸入信息。這一功能單元于是就可以將用戶輸入信息作 為一組參量來進(jìn)一步調(diào)整關(guān)鍵圖像元素的追蹤信息，比如說改變關(guān)鍵圖像元素在各幀圖像 中的大小，亮度，位置，顏色等等。這一功能單元于是就用關(guān)鍵圖像元素的追蹤信息或者 調(diào)整后的關(guān)鍵圖像元素的追蹤信息通過以上所介紹的方法來將關(guān)鍵圖像元素重新組合到 錄像文件上，從而生成一個(gè)新的錄像文件。錄像圖像處理單元33也可以包含有一個(gè)記憶 單元?；蛘咄粋€(gè)外部記憶單元連接在一起。這一記憶單元可以存儲(chǔ)有一個(gè)預(yù)設(shè)的圖像元 素。錄像圖像處理單元33可以提取或生成這個(gè)預(yù)設(shè)的圖像元素，用它代替關(guān)鍵圖像元素， 并利用關(guān)鍵圖像元素的追蹤信息將這個(gè)預(yù)設(shè)的圖像元素組合到錄像文件上。這一提取過程 可以通過一定的用戶輸入信息來觸發(fā)，也可以由錄像處理軟件來決定。這一預(yù)設(shè)的圖像元 素也可以由錄像服務(wù)提供方來傳送給錄像接收單元31，錄像接收單元31再將其送給錄像 圖像處理單元33。錄像圖像處理單元33還可以將用戶輸入信息作為一組參量來調(diào)整預(yù)設(shè) 的圖像元素，比如說其大小，亮度，位置，顏色等等。顯示單元34可以包含有一個(gè)顯示 屏幕，也可以包含有一個(gè)投影器，用來顯示最后接收到的或生成的錄像。根據(jù)本發(fā)明的另一種實(shí)現(xiàn)方法，錄像服務(wù)提供方或者終端用戶設(shè)備還可以取得一個(gè)信 息元素。這個(gè)信息元素可以是一段錄像， 一個(gè)圖像元素， 一段文字，或者錄像，圖像與文 字的組合。這個(gè)信息元素可以隨著時(shí)間而改變，比如說當(dāng)這個(gè)信息元素包含有一段圖像廣 告的時(shí)候，廣告的圖像可能會(huì)隨著時(shí)間而改變。又比如說當(dāng)這個(gè)信息元素包含有一段文字 的時(shí)候，文字的內(nèi)容可能會(huì)隨著時(shí)間而改變。在錄像文件之中，這個(gè)信息元素，關(guān)鍵圖像 元素，以及其它圖像元素是由多幀圖像之中的一個(gè)或多個(gè)系列的圖形來表現(xiàn)的。這些信息 元素或者圖像元素在錄像中的移動(dòng)和變化是由這些系列的圖形在多幀圖像之間的逐漸移 動(dòng)和變化來表現(xiàn)的。代表真實(shí)生活中的一個(gè)物體，比如一個(gè)壘球，的圖像元素在一個(gè)錄像
中是由多幀圖像上的一個(gè)或多個(gè)系列的單獨(dú)圖形來表現(xiàn)的。這些代表同一個(gè)圖像元素的一 個(gè)或多個(gè)系列的圖形通過在一個(gè)錄像的多幀圖像之間的逐漸移動(dòng)和變化來表現(xiàn)這個(gè)元素 在這個(gè)錄像之中的移動(dòng)和變化。在使用常用的圖像元素尋找和追蹤方法，在第一代錄像各 幀攜帶有關(guān)鍵圖像元素信息的圖像中提取出關(guān)鍵圖像元素的追蹤信息，并生成第二代錄像 之后，代表信息元素的一組或多組圖形可以被加入第二代錄像。這種加入可以是把這一組 或多組圖形直接畫在第二代錄像的相應(yīng)的各幀圖像上。這種加入也可以是把這一組或多組 圖形直接畫在別的圖像上，或者第二代錄像的輔助圖像成份或者主體圖像成份的前景層 上，再通過使用a混合處理的方法與第二代錄像的相應(yīng)的各幀圖像結(jié)合。當(dāng)把代表信息元素的一組或多組圖形加入第二代錄像的時(shí)候，這些圖形在第二代錄像的相應(yīng)的各幀圖像 中的位置可以是基于關(guān)鍵圖像元素的追蹤信息或者調(diào)整后的關(guān)鍵圖像元素的追蹤信息計(jì) 算出來的。這樣做就可以在第二代錄像中，或任何類似的錄像文件中，顯示出信息元素同 關(guān)鍵圖像元素在錄像中的位置上的相互間動(dòng)態(tài)地聯(lián)系，從而做到以互動(dòng)的方式展現(xiàn)一段錄 像之中兩個(gè)不同的元素(例如信息元素和關(guān)鍵圖像元素)之間的相互聯(lián)系。比如說，信 息元素在錄像中可以同關(guān)鍵圖像元素保持一個(gè)固定的水平或垂直距離，從而隨著關(guān)鍵圖像 元素在錄像中一起移動(dòng)。信息元素的內(nèi)容可以與關(guān)鍵圖像元素相對(duì)應(yīng)，從而進(jìn)一步地顯示 出這兩個(gè)不同的圖像元素之間的相互聯(lián)系。使用同樣的方法，多個(gè)信息元素可以被加入 同一段錄像中。同一段錄像中也可以有不限于一個(gè)的關(guān)鍵圖像元素。比如說在圖7中，信息元素2，在這里是一個(gè)文字框，被加入一段錄像中。這段錄像 中己經(jīng)存在有一個(gè)關(guān)鍵圖像元素l，在這里是代表一個(gè)壘球的圖像元素。使用常用的圖像 元素尋找和追蹤方法，可以從一段錄像中各幀攜帶有壘球信息的圖像中提取出壘球圖像的 追蹤信息，包括壘球在各幀攜帶有壘球信息的圖像中的位置、大小、邊界、明暗等信息。 通過將代表信息元素2的一組或多組圖形加入錄像的各幀圖像的方法將信息元素2加入錄 像文件。代表信息元素2的一組或多組圖形在錄像的各幀圖像中的位置可以通過使用壘球 圖像1的追蹤信息來計(jì)算出來，這樣就可以做到使得信息元素2和壘球圖像1在錄像之中 一起移動(dòng)，從而動(dòng)態(tài)地顯示出這兩個(gè)元素之間的相互關(guān)聯(lián)。信息元素2可以顯示壘球圖像 l的各種信息，比如說壘球圖像l的大小，重量，顏色，速度等等。信息元素2的各種性 質(zhì)，比如說它的文字，顏色，亮度，等等可以隨時(shí)間而改變。信息元素2也可以只顯示與 壘球圖像1完全無關(guān)的各種信息。
通過使用以上所介紹的將關(guān)鍵圖像元素重組到第二代錄像中的方法，信息元素可以在 錄像播送到終端用戶設(shè)備之前或者之后加入到錄像文件之中。根據(jù)本發(fā)明的一種實(shí)現(xiàn)方 法，終端用戶設(shè)備可以接收用戶輸入信息，并且使用接收到的用戶輸入信息作為另一個(gè)參 量，同關(guān)鍵圖像元素的追蹤信息或者調(diào)整后的關(guān)鍵圖像元素的追蹤信息一起計(jì)算出代表信 息元素的一組或多組圖形在第二代錄像的相應(yīng)的各幀圖像中的位置。這樣，終端用戶設(shè)備 就可以使用用戶輸入信息來改變信息元素同關(guān)鍵圖像元素之間的相互關(guān)系，比如它們之間 的距離。用戶輸入信息還可以被用來作為一個(gè)或一組參量來調(diào)整和改變信息元素的一些特 性，比如顏色，亮度，大小，文字等等。 一旦確定了代表信息元素的一個(gè)特定的圖形在第 二代錄像的一個(gè)特定幀圖像中的位置和其他特性，這一特定的圖形就可以被組合在第二代 錄像的這一個(gè)特定幀圖像中。終端用戶設(shè)備可以在這里使用以上所介紹的各種重組的方 法。這一方法可以被反復(fù)使用直到代表信息元素的一系列圖形都被組合在第二代錄像合適 的各個(gè)幀圖像中。代表信息元素的圖形并不需要被加入第二代錄像中每一幀有關(guān)鍵圖像元 素的圖像上。只需要對(duì)部分圖像進(jìn)行改變，最后生成的錄像就可以達(dá)到類似的效果。如果 信息元素是由錄像服務(wù)提供方播送給終端用戶設(shè)備，并由終端用戶設(shè)備處理和組合到第二 代錄像中，那么代表信息元素的各組圖形可以用同攜帶關(guān)鍵圖像元素的追蹤信息類似的方 法由第二代錄像的各幀圖像來攜帶，比如說可以將代表信息元素的各組圖形分別記錄在第 二代錄像的錄像主體圖像成份的前景層圖像系列上，或者輔助圖像成份的各幀圖像上(如 果第二代錄像使用R264標(biāo)準(zhǔn))。如果第二代錄像使用MPEG4標(biāo)準(zhǔn)，那么可以將代表信 息元素的各組圖形分別記錄在第二代錄像的一組附加幀圖像上，或者可以記錄在第二代錄 像各幀圖像所攜帶的輔助參數(shù)中。這里需要做特殊聲明的是，以上所介紹的本發(fā)明的各種實(shí)現(xiàn)方法只是為舉例說明而列 出的幾種可能的實(shí)現(xiàn)方法。這些方法可以有多種不同的調(diào)整和組合而達(dá)到同樣或類似的效 果。這些能夠達(dá)到同樣或類似的效果的多種不同的調(diào)整和組合都在本發(fā)明的范圍之內(nèi)。本 發(fā)明中所使用的各種方法的各個(gè)步驟的次序有時(shí)可以做些改變而達(dá)到同樣或類似的效果。 這些能夠達(dá)到同樣或類似效果的具有不同步驟次序的各種方法都在本發(fā)明的范圍之內(nèi)。描 述本發(fā)明時(shí)所使用的各種詞匯是為了說明目的，并不是為了限制本發(fā)明的范圍。比如說"錄 像"或"錄像文件"，"第一代錄像"，"第二代錄像"，"第三代錄像"，"第四代錄 像"以及其它類似的詞匯是為了說明目的，其含義是指含有一個(gè)系列的多幀單獨(dú)的圖像的
組合，也可以稱為"視像"。這個(gè)系列的多幀單獨(dú)的圖像的組合并不一定需要是一個(gè)儲(chǔ)存 在特定媒體上的電子文件。 一段錄像是由多幀單獨(dú)的圖像組成的。 一段錄像的多幀單獨(dú)的 圖像在同一時(shí)間可能處在本發(fā)明所描述的方法的不同的處理階段上。比如說， 一段錄像的 一幀圖像可能處在圖4的步驟18，正在被終端用戶設(shè)備顯示出來，而同一段錄像的另一 幀圖像可能處在圖4的步驟15，正在被終端用戶設(shè)備進(jìn)行圖像處理。這種情況就有可能在使用本發(fā)明的方法對(duì)一段比賽實(shí)時(shí)轉(zhuǎn)播的錄像進(jìn)行處理的時(shí)候出現(xiàn)。根據(jù)本發(fā)明的各種 不同的實(shí)現(xiàn)方法，一段錄像的各幀圖像可以在全部完成一個(gè)處理步驟后再進(jìn)入下一個(gè)處理 步驟，也可以同時(shí)處在不同的處理步驟。本發(fā)明由本專利書權(quán)利要求部分進(jìn)一歩描述說明。
權(quán)利要求
1.一種錄像圖像處理方法，其特征是，包括以下步驟獲取一個(gè)具有至少一個(gè)圖像元素的第一代錄像；通過分析這個(gè)第一代錄像來取得這個(gè)至少一個(gè)圖像元素的追蹤信息；獲取一個(gè)第二代錄像；以及通過利用取得的追蹤信息來將一個(gè)圖像元素組合到第二代錄像上。
2. 按照權(quán)利要求1所述的錄像圖像處理方法，其特征是，還包括以下步驟 通過利用取得的追蹤信息來將代表一個(gè)信息元素的圖形組合到第二代錄像的至少一幀圖像上。
3. —種錄像圖像處理方法，其特征是，包括以下步驟獲取一個(gè)具有至少一個(gè)圖像元素的第一代錄像；通過分析這個(gè)第一代錄像來取得這個(gè)至少一個(gè)圖像元素的追蹤信息； 獲取一個(gè)第二代錄像；以及 將取得的追蹤信息和第二代錄像傳輸給一個(gè)通訊網(wǎng)絡(luò)。
4. 按照權(quán)利要求3所述的錄像圖像處理方法，其特征是，還包括以下步驟 如果第二代錄像是一個(gè)H.264錄像，那么就將取得的追蹤信息記錄在第二代錄像的輔助圖像成份或者主體圖像成份的前景層上，如果第二代錄像是一個(gè)MPEG4錄像，那么就將取得的追蹤信息記錄在第二代錄像的至少一幀圖像上或者至少一幀圖像所攜帶的輔助參數(shù)上.
5. —種錄像圖像處理方法，其特征是，包括以下步驟 從一個(gè)通訊網(wǎng)絡(luò)上接收一個(gè)錄像； 接收一個(gè)圖像元素的追蹤信息；通過利用接收的追蹤信息來將一個(gè)圖像元素組合到接收到的錄像上從而生成下一代 錄像；以及顯示下一代錄像。
6. 按照權(quán)利要求5所述的錄像圖像處理方法，其特征是，還包括以下步驟 接收用戶輸入信息；以及通過利用接收到的用戶輸入信息來對(duì)追蹤信息進(jìn)行調(diào)整。
7. 按照權(quán)利要求5所述的錄像圖像處理方法，其特征是，還包括以下步驟通過利用接收到的的追蹤信息來將代表一個(gè)信息元素的圖形組合到接收到的錄像 的至少一幀圖像上。
8. —種錄像圖像處理方法，其特征是，包括以下步驟從一個(gè)通訊網(wǎng)絡(luò)上接收一個(gè)錄像； 接收一個(gè)圖像元素的追蹤信息；提取一個(gè)預(yù)設(shè)的圖形；通過利用接收到的追蹤信息來將這個(gè)預(yù)設(shè)的圖形組合到接收到的錄像上的至少一幀 圖像上從而生成下一代錄像；以及顯示下一代錄像。
9. 按照權(quán)利要求8所述的錄像圖像處理方法，其特征是，還包括以下步驟 接收用戶輸入信息；以及通過利用接收到的用戶輸入信息來對(duì)追蹤信息或者預(yù)設(shè)的圖形進(jìn)行調(diào)整。
10. —種錄像圖像處理系統(tǒng)，包括第一個(gè)接收單元，用于接收錄像文件和圖像元素的追蹤信息； 第二個(gè)接收單元，用于接收用戶輸入信息；一個(gè)錄像圖像處理單元，用于使用接收到的用戶輸入信息或者接收到的圖像元素的追 蹤信息來將至少一個(gè)圖形組合到接收到的錄像文件上；以及一個(gè)顯示單元，用于顯示錄像。
11. 一種錄像圖像處理方法，其特征是，包括以下步驟 從一個(gè)通訊網(wǎng)絡(luò)上接收一個(gè)具有第一系列圖像幀的錄像； 接收一個(gè)圖像元素的追蹤信息；根據(jù)接收到的一個(gè)圖像元素的追蹤信息生成第二系列圖像幀；將第一系列圖像幀的至少一部分同第二系列圖像幀的至少一部分混合排列起來；以及 顯示混合排列后圖像幀系列。
全文摘要
本發(fā)明提供了一種錄像圖像處理方法和系統(tǒng)，用于獲取一個(gè)具有至少一個(gè)圖像元素的第一代錄像，通過分析這個(gè)第一代錄像來取得這個(gè)至少一個(gè)圖像元素的追蹤信息，獲取一個(gè)第二代錄像，以及通過利用取得的追蹤信息來將一個(gè)圖像元素組合到第二代錄像上從而生成第三代錄像，并顯示第三代錄像。
文檔編號(hào)H04N5/92GK101212635SQ20071030148
公開日2008年7月2日 申請(qǐng)日期2007年12月28日 優(yōu)先權(quán)日2006年12月28日
發(fā)明者郎 林, 旺 蘇 申請(qǐng)人:林 朗;蘇 旺