專利名稱：視頻流中運動對象的標記的制作方法
技術領域：
本發(fā)明涉及視頻流中對象的標記。
當我們“標記”一個對象時，他就把那個對象周圍(或那個對象附近)的視頻屏幕區(qū)建成“激活區(qū)”。如果觀眾隨后點擊這個激活區(qū)，那么將調用一個鏈接?；貋韰⒄丈侠?，如果賽車之一被標記，那么，那個賽車的圖象的周圍或附近將是激活區(qū)。如果觀眾把光標移動到那個“激活區(qū)”，并在那個激活區(qū)上點擊一下，那么將會調用上述鏈接。
在賽車的視頻中，汽車不斷地運動著，并且它在視頻屏幕上的位置也在不斷地發(fā)生變化。這樣，與汽車相對應的激活區(qū)也必然不斷地變化，以“跟上”汽車。因此，必須用與那輛汽車相適應的激活區(qū)標記視頻的每一幀。這往往通過圖象識別來完成。換句話來說，在編輯處理期間，視頻編輯設備識別汽車是否已經(jīng)從視頻屏幕的右側移動到視頻屏幕的左側。如果這種情況已經(jīng)發(fā)生了，該編輯設備將為汽車在屏幕左側的那些視頻幀建立在屏幕左側的那輛汽車的新激活區(qū)。不幸的是，這種圖象識別存在著幾個問題。例如，圖象識別系統(tǒng)通常利用對象的顏色來示蹤它的位置。如果對象移動到照明發(fā)生變化的區(qū)域，例如，由于陰影投射到對象上，那就會妨礙精確的圖象識別。另外，圖象識別還存在著能夠把誤差引入到標記對象的處理中的其它問題。
圖象識別在現(xiàn)有技術中是眾所周知的，J.P.Lewis在“快速歸一化交叉相關”(“Fast Normalized Cross-Correlation”，http//www.idiom.com/～zilla/Papers/nvisionInterface/nip.htm)中；頒發(fā)給Walch等人的美國專利5,267,332；頒發(fā)給Netravali等人的美國專利4,611,347；頒發(fā)給Watson，III的美國專利4,868,871；R.O.Duda等人在由John Wiley和Sons于1973年出版的“模式分類和場景分析”(“Pattern Classfication and Scene Analysis”)中；和R.C.Gonzalez等人在由Addison-Wesley于1992出版的“數(shù)字圖象處理”(“DigitalImage Processing”)第3版中對圖象識別作了討論。把Lewis、Walch、Netravali、Watson、Duda和Gonzalez等人的著作或專利列在這里，以供參考。
我們可以不利用圖象識別設備，而是人工地標記視頻的每一幀。但是，標記視頻的每一幀是非常乏味和耗時的。需要的是能降低所需的人機交互量的、對運動對象進行標記的新方法。
概述根據(jù)本發(fā)明的方法包括用鏈接標識視頻片段的步驟。(視頻片段可以是動畫，和正如在這里所使用的，“視頻”包括動畫)。這種鏈接可以是與網(wǎng)頁或與其它信息源的鏈接，或與應用軟件的鏈接。在一個實施例中，例如，利用視頻編輯設備標識視頻片段內的第一組幀。在這個標識步驟中，每個標識幀的一部分被指定為“激活區(qū)”。這意味著，如果我們把光標移動到激活區(qū)，并在激活區(qū)內點擊，那么將執(zhí)行與激活區(qū)相關聯(lián)的鏈接。
激活區(qū)通常與一個對象的圖象，例如，沿著跑道競賽的汽車、場景中的演員、顯示在商業(yè)廣告節(jié)目中的產(chǎn)品、卡通角色、或一些其它人物或物體的圖象相關聯(lián)。這樣，在對幀進行標識時，標識視頻片段的人員將建立與那個對象相關聯(lián)的激活區(qū)的位置。(激活區(qū)通常是所考慮的對象周圍的長方形或圓形區(qū)域。)按照這種方式標識視頻片段中的每一幀是極為繁重的。因此，按照本發(fā)明，只標識幀的一個子組(例如，每隔9幀)。在其它幀中的激活區(qū)的位置通過內插方法建立。位置可以通過線性內插技術建立。或者，位置可以通過諸如樣條內插技術的生成曲線的內插技術建立。
在按照本發(fā)明的方法的另一個實施例中，人工標識幀的一個子組，例如，像幀序列的第一幀和最后一幀這樣的兩幀。接著，視頻編輯系統(tǒng)根據(jù)內插算法，計算在序列中的這些人工標識幀之間的每一幀的激活區(qū)的位置。然后，系統(tǒng)為每一幀確定激活區(qū)的內插位置與相關于激活區(qū)的對象的位置之間的差異。這個計算是基于圖象識別的。圖象識別可以通過圖象識別軟件來實現(xiàn)?；蛘撸瑘D象識別可以通過硬件和軟件的組合體來實現(xiàn)(圖象識別也可以通過硬件來實現(xiàn)。硬件和軟件之間的分配可以用不同方式進行)。此后，系統(tǒng)高亮顯示已經(jīng)由系統(tǒng)確定其呈現(xiàn)最大誤差的那些幀。即，系統(tǒng)高亮顯示激活區(qū)與相關于該激活區(qū)的對象之間的距離最大的那些幀。本領域的普通技術人員可以根據(jù)所選區(qū)域和對象內各點之間的最大、最小或平均距離，定義激活區(qū)和對象之間的距離。
在一個實施例中，系統(tǒng)用最大誤差來標志(flag)幀。在另一個實施例中，系統(tǒng)用n個最大誤差來標志n個幀，此處n是整數(shù)。在另一個實施例中，系統(tǒng)標志誤差在某一閾值以上的所有幀。
此后，標識視頻片段的那個人可以觀察受標志的幀，并決定他或她是否需要去人工標識那些幀。標識視頻片段的那個人還擁有重新計算內插值的選項。在重新計算內插值之后，用戶可以看一下可能需要人工標識的其它幀是否都得到標志。
標志可以通過在顯示器上高亮顯示標志幀來實現(xiàn)，也可以通過提供一些其它形式的輸出指示符來實現(xiàn)。
根據(jù)本發(fā)明的另一個方面，把視頻信號發(fā)送到一個或多個視頻觀看系統(tǒng)，以便一個或多個觀眾可以觀看視頻信號。視頻信號可以向許多觀眾廣播。相關于視頻信號的一些幀、但不是視頻信號的其它幀的視頻信號的一個或多個激活區(qū)的位置也被傳送到一個或多個視頻觀看系統(tǒng)。一個或多個視頻觀看系統(tǒng)通過內插法確定一個或多個其它幀的激活區(qū)的位置。這樣，無需把與每一幀的激活區(qū)位置有關的數(shù)據(jù)提供給視頻觀看系統(tǒng)，而只為所選幀提供這樣的數(shù)據(jù)，并且視頻觀看系統(tǒng)通過利用例如線性內插技術或樣條內插技術等內插法，計算其它幀的激活區(qū)應該在什么地方。由于視頻信號源不需要為信號的每一幀提供激活區(qū)信息，因此降低了傳送這個信息的帶寬要求。
在一個實施例中，不僅激活區(qū)的位置以這種方式傳送，而且激活區(qū)的尺寸也以這種方式傳送的。
根據(jù)本發(fā)明的另一個方面，包括一組幀的視頻信號與一些幀、但不是其它幀的激活區(qū)的位置一起被傳送。激活區(qū)對應于在那些幀中所描繪的對象。該對象可以是產(chǎn)品、人物、卡通角色、或可以在視頻中描繪的其它任何東西。如上所述，盡管在其它幀中也描繪了對象，但并不傳送其它幀的激活區(qū)。接收系統(tǒng)根據(jù)所述一些幀的激活區(qū)的位置，通過內插法計算激活區(qū)的位置。這樣，降低了用于傳送激活區(qū)位置的帶寬要求。
詳細描述

圖1顯示了描繪標記編輯器的典型圖形用戶界面(“GUI”)的顯示屏100。這樣的界面可以用在根據(jù)本發(fā)明的方法中。屏幕100在編輯區(qū)中顯示了一列所謂關鍵幀100a至101p。正如在現(xiàn)有技術中所知的，視頻圖象包括一列幀。對于數(shù)字視頻，每一幀對應于一個像素陣列。每個像素是與幀的一個小區(qū)的顏色、亮度和飽和度相對應的數(shù)據(jù)值。在某些視頻壓縮或加密方案中，不是存儲每一幀的每個像素陣列，而只存儲某些“關鍵幀”的整個像素陣列。對其它幀，僅存儲代表那些其它幀中的圖象與前面關鍵幀中的圖象之間的差異的數(shù)據(jù)。使用這種方案的壓縮技術的例子是MPEG-2(運動圖象專家組標準2)。
對于未經(jīng)壓縮或加密的線性數(shù)字化模擬視頻的情況，可以每隔n-1個幀(例如，每隔9個幀)選擇一幀作為關鍵幀(與場景變化相對應的幀)。如上所述，屏幕100描繪了一列關鍵幀101a至101p。
在屏幕100上沒有描繪出箭頭104a至104d。把箭頭箭頭104a至104d包括在圖1中僅僅是為了用符號表示幀的時間順序。
屏幕100包括描繪關鍵幀101a至101p之一的區(qū)域106。與在屏幕上其它地方描繪的關鍵幀101a至101p相比，區(qū)域106中的圖象被放大了，并且，它還代表當前正在編輯的幀。在圖1的例子中，正在編輯關鍵幀101g。這通過在幀101g中呈現(xiàn)的圖標或標記101g′來表示。
通常，屏幕100還描繪諸如快進、快退、新文件等功能的導航欄和工具欄。驅動顯示器100的系統(tǒng)包括用于支持導航欄和工具欄的軟件驅動程序。為了簡潔起見，在圖1未示出這些導航欄和工具欄。
在屏幕100上顯示的還有使用戶能夠選擇相關于觀眾能夠點擊的對象的激活區(qū)的形狀的菜單框100。方框100使編輯者能夠在可用于激活區(qū)的許多不同形狀中只選擇在圖1中描繪的一些形狀。如上所述，激活區(qū)是在屏幕上顯示的感興趣的對象(例如，汽車或人物)的位置。通過在與那個對象或人物相關聯(lián)的激活區(qū)內點擊，我們就可以有效地點擊在那個對象或人物上。
(當觀眾最后觀看視頻片段時，可以顯示、也可以不顯示激活區(qū)。例如，顯示視頻的系統(tǒng)可以高亮顯示激活區(qū)。或者，顯示視頻的其它系統(tǒng)也可以不高亮顯示激活區(qū)。在另一些系統(tǒng)中，觀眾可以擁有決定是否高亮顯示激活區(qū)的選項。)回來參照圖1，方框110是讓編輯者把鏈接引入圖象的菜單框，它通常是URL。但是，可以提供其它類型的鏈接，包括啟用所需應用軟件的專門鏈接。
如圖1所示，區(qū)域106描繪了一個人112，他的頭部113已經(jīng)用正方形114標記上，并且鏈接到鏈接L1(正方形形狀是從菜單框108中選擇出來的，并且鏈接L1是從菜單框110中選擇出來的)。正方形114代表激活區(qū)。在播放視頻中場景時，對象(例如，人物的頭部)通常以有限、非跳動的方式移動(在電影、電視節(jié)目或其它視頻的拍攝過程中的良好鏡頭控制，通常涉及到使屏幕上感興趣對象的任何跳動達到最小的問題。此外，當觀眾觀看經(jīng)標識的視頻時，即使密切注視著以跳動方式移動的小對象，也難以盯住目標)。
正方形114代表當觀眾想要訪問與人物112相鏈接的信息時、他將點擊的視頻屏幕的激活區(qū)。例如，如果視頻是肥皂劇，并且觀眾想要獲取有關由人物112扮演的角色的更多信息，那么，他將點擊在人物112上，具體地說，他將把光標定位在正方形114所代表的那個激活區(qū)內。
在視頻播放時，人物112通常相對于布景移動。于是，有必要讓激活區(qū)114相對于屏幕移動。這是必要的，因為如果人物112從視頻屏幕的左側行走到視頻屏幕的右側，并且觀眾想要弄清楚有關人物112的更多情況，那么，他就要點擊在人物112的當前位置上。
從原理上，我們能夠標識視頻的每一幀，以確定應該把激活區(qū)114定位在什么地方，但是，這樣做將是非常單調乏味的費時工作。于是，需要簡化這種工作。根據(jù)本發(fā)明，通過把激活區(qū)114定位在適當?shù)奈恢蒙蟻順俗R一些幀(這可以人工地或通過其它技術來完成)。其它幀則通過如下所述的內插方法來標識。
圖2顯示了對于從起始幀A到結束幀D的一系列幀的每幀視頻中頭部113沿著y方向的位置。點203代表在場景的開始處頭部113的起始位置，和點204代表在場景的結尾處頭部113的結束位置。線206隨著場景演化而示蹤頭部113在點203和204之間的位置(例如，在視頻播放時，隨著人物112相對于布景的移動，頭部113改變著它的位置)。
直線208示出了通過在兩個位置203和204之間連成一條直線得出的直接線性內插。即，不是人工地標識每一幀、而是通過在位置203和204之間進行線性內插，自動地把激活區(qū)114的位置插入到每一幀中?？梢钥闯?，這決不是標識幀的最精確方式。我們可以通過人工地標識更多的幀、并在已經(jīng)進行了人工標識的幀與幀之間進行線性內插，來改善線性內插的精度。
圖2還顯示了中間點216和218，它們分別表示幀B和C中頭部113的位置。在一個實施例中，對于一組幀，例如，幀A、B、C和D，人工地(例如，可視地)插入激活區(qū)114的位置。激活區(qū)114的位置通過在已經(jīng)人工地標識了激活區(qū)114的位置的點與點之間進行線性內插來建立。因此，在圖2中，直線224、226和228是分別在點203和216之間、點216和218之間以及點218和204之間進行線性內插的結果。
內插法的更精確方式是使用可以生成代表對象從一幀到另一幀的位置的曲線的內插技術。這樣的技術的例子有樣條內插法。當執(zhí)行樣條內插時，我們通常只需要端點和一二個中間點，并且樣條內插技術將精確地計算出對象的軌跡。樣條技術將使運動平滑化并消除經(jīng)過圖象識別?？吹降哪欠N跳動。
應該明白，我們不僅必須沿著y方向建立對象的位置，而且必須沿著x方向建立對象的位置。因此，在使用根據(jù)本發(fā)明的方法的過程中，將通過內插法在y和x方向上建立激活區(qū)的位置。另外，在視頻場景的演化過程中，能夠放大或縮小與激活區(qū)相關聯(lián)的對象，例如，因為它離攝像機更近了或離攝像機更遠了。于是，在一個實施例中，在一個場景期間中，還要為幾個幀人工標識激活區(qū)114的尺寸，并在此后，使用與用于對象位置相同的方式，內插激活區(qū)的尺寸。
圖3是顯示根據(jù)本發(fā)明第一實施例的方法的方框圖。參照圖3，該方法開始于把一塊視頻幀裝載到存儲器中(步驟301)。存儲器可以是磁性存儲器(例如，磁盤、磁帶或磁光盤)。存儲器也可以是光盤或半導體存儲器，諸如DRAM(動態(tài)隨機讀寫存儲器)、SRAM(靜態(tài)隨機讀寫存儲器)、EPROM(可擦除可編程只讀存儲器)或其它類型的存儲器。視頻信息可以是模擬形式，也可以是數(shù)字形式。
此后，我們人工地標識那些幀的一個子組(步驟302)。在這個人工標識步驟中，通常在屏幕100的部分101a至101p上顯示一組幀，并且每次可以選擇那些幀之一進行標識。所選幀顯示在屏幕100的部分106上。在正在標識的那些幀內建立激活區(qū)的位置、尺寸和形狀，并且建立與那個激活區(qū)相關聯(lián)的鏈接。人工標識可以利用鼠標、觸板、操縱桿、跟蹤球、光標控制鍵之類的輸入設備或視頻編輯系統(tǒng)的其它輸入設備進行。在這個步驟中，例如，按如下所述，把標識信息存儲在存儲器中。
對于不人工標識的幀，通過內插法進行標識(步驟303)。這可以通過如下任何步驟來執(zhí)行a)線性內插激活區(qū)的位置、和線性內插激活區(qū)的尺寸；b)線性內插激活區(qū)的位置、和激活區(qū)尺寸不變；c)樣條內插激活區(qū)的位置、和樣條內插激活區(qū)的尺寸；或d)樣條內插激活區(qū)的位置、和激活區(qū)尺寸不變。
可以用其它內插技術代替線性或樣條內插法。舉例來說，內插可以是a)在視頻片段中的起始幀和結束幀之間；或b)從每個人工標識幀到下一人工標識幀的內插(通常，片段的起始幀和結束幀都在人工標識的那些幀之內)。
參照方塊304，內插可能對激活區(qū)的位置造成誤差。即，在對象的位置和與那個對象相關聯(lián)的激活區(qū)的位置之間將存在著差異。在內插之后，標識視頻片段的人員可以觀看屏幕100的部分101a至101p上各個幀的激活區(qū)的位置。如果這些幀之一顯示出在對象113和激活區(qū)114的位置之間存在巨大差異，那么，標識視頻片段的人員可以人工標識那個幀，并讓編碼系統(tǒng)重新計算(例如，通過內插法)所有還沒有經(jīng)過人工標識的那些幀的激活區(qū)位置。
在建立了激活區(qū)114的位置之后，標識視頻片段的人員為用戶選擇所表示的鏈接的形式。除了使用方框、圓形、橢圓形或其它形狀之外，還可以把激活區(qū)描繪成標志圖(例如，GIF文件)、一段動畫(例如，畫成動畫的GIF文件)或其它視頻流片段(GIF是圖形交換格式的縮寫)。如上所述，可選地，當以后觀看經(jīng)標識的視頻片段時，可以可視地指示激活區(qū)。
參照方塊306，在進行內插之前或之后，可以將到URL的鏈接與每個激活區(qū)相關聯(lián)。因此，當觀眾點擊在那個激活區(qū)上時，將調用該URL。如上所述，該鏈接不一定是到URL的。它也可以是到應用軟件、或到存儲在特定地址上的信息源的鏈接。
圖4顯示了用于標記視頻片段的視頻編輯器/播放器的實施例的數(shù)據(jù)結構。這樣的視頻編輯器/播放器包括可以含有許多視頻片段的大型數(shù)據(jù)存儲設備406。大型數(shù)據(jù)存儲設備可以是磁盤、磁光盤、光盤、半導體存儲器、或其它類型存儲器的存儲設備。
盡管在存儲設備406中可能存儲著多于一個的視頻片段和標識文件，但為了簡潔起見，圖4只顯示了一個視頻片段420a，以及一個匹配的標識文件421a。每個視頻片段可以存在多于一個的標識文件。標識文件包含如樣條(作為公式或作為一組預定樣條類型的參考)及其相關參數(shù)、它本身的鏈接、以及激活區(qū)的標記的顏色和尺寸那樣的東西。單元450是表格或數(shù)據(jù)庫，包含幀的每個視頻序列的所有相關標號，以此作為視頻播放的目錄。當然，可以存在可能以分層結構組織的節(jié)目和標識文件的幾個數(shù)據(jù)庫，它們根據(jù)所作的編輯，可以共享文件420或421的一些文件。
在一個實施例中，在標識過程中，把數(shù)據(jù)裝載到與幀號、激活區(qū)的位置、它的形狀、它的尺寸、以及與相關于那個激活區(qū)的URL或其它鏈接相對應的存儲器中。那個數(shù)據(jù)與通常在一個獨立文件中的視頻信號將一起提供給觀眾?？梢园堰@個信息作為獨立數(shù)據(jù)流提供給觀眾。觀眾的視頻顯示系統(tǒng)跟蹤幀號，并對于每一幀，確定光標是否定位在為那一幀建立的激活區(qū)之一內。
在另一個實施例中，與激活區(qū)的位置、它的形狀、它的尺寸、和鏈接有關的信息是作為視頻信號的一部分傳送和嵌入的。這個信息可以在信號的消隱間隔之一期間或在通常不使用的信號的一些其它部分期間提供。使內插誤差達到最小或糾正內插誤差的實施例從圖2可以看出，當利用內插法在視頻屏幕上建立激活區(qū)時，在標記對象的位置和激活區(qū)的位置之間可能存在誤差。根據(jù)本發(fā)明另一個實施例，通過如下技術可以降低這些誤差或使這些誤差達到最小。
1.把一塊視頻幀裝載到存儲器中(圖3的步驟301)。
2.人工標識n個幀的第一組，此處，n大于或等于2(圖2的步驟302)。n個幀可以是視頻序列中的第一幀和最后一幀。
3.執(zhí)行內插，為視頻序列內那些沒有被人工標識的幀建立激活區(qū)的估計位置(圖3的步驟303)。內插可以通過線性內插來執(zhí)行?；蛘撸瑑炔蹇梢酝ㄟ^形成曲線的技術，例如樣條技術來執(zhí)行。如上所述，幾種內插技術可以用于生成直線或曲線，并且標識視頻片段的人員可以從中選擇。
4.對于沒有被人工標識的每一幀，視頻系統(tǒng)計算激活區(qū)和與激活區(qū)相關聯(lián)的對象之間的距離(激活區(qū)的位置通過內插法建立。對象的位置是通過，例如，如上所述的自動圖象識別技術建立的。正如前面所指出的，圖象識別可能精確，也可能不精確)。
5.系統(tǒng)對具有在激活區(qū)114和與激活區(qū)114相關聯(lián)的對象113之間的距離最大的那些幀進行標識。系統(tǒng)可以高亮顯示呈現(xiàn)出這些距離的那些幀(例如，一個或多個幀101a至101p)，并把圖標或其它標記定位在那些幀上，或者，它可以把一些其它技術用于為用戶標識這些幀。用戶可以查看這些幀，并核實激活區(qū)和與之相關聯(lián)的對象之間的距離，在事實上是否是不能接受的。
6.如果用戶認為這個距離是不能接受的，他或她就可以人工地標識呈現(xiàn)出不可接受誤差的幀(圖3的步驟304)。
7.在人工標識呈現(xiàn)不可接受的幀之后，用戶可以讓系統(tǒng)根據(jù)包括新的人工標識的數(shù)據(jù)重新計算(例如，再次通過內插法)激活區(qū)的位置。
8.可選地，用戶可以讓系統(tǒng)采用新的內插的激活區(qū)位置，并建立具有最大誤差的幀的另一個列表。如果用戶發(fā)現(xiàn)這些誤差是可以接受的，或發(fā)現(xiàn)只是與圖象識別誤差相關的假像，他或她就可以忽略它們。
9.然后，我們可以把激活區(qū)形狀(和可選地，可視指示符)及鏈接與激活區(qū)相關聯(lián)。
如上所述，在圖3的步驟304中，我們可以讓系統(tǒng)計算激活區(qū)和與那個激活區(qū)相關聯(lián)的對象之間的距離，并標志具有不能接受誤差的、如屏幕100的部分101a至101p所示的那些幀。用戶可以人工標識呈現(xiàn)如上所述的不能接受誤差的那些幀(這種處理可以用來調整激活區(qū)的位置(沿著x和y軸)和尺寸)。把與激活區(qū)相關的信息傳送給電視觀眾用與激活區(qū)相關的信息標記視頻幀之后，有必要把該信息傳送到觀眾的視頻系統(tǒng)。圖5顯示了包括大型數(shù)據(jù)存儲設備506的視頻發(fā)送系統(tǒng)500，大型數(shù)據(jù)存儲設備506包含存儲要發(fā)送的視頻節(jié)目的部分520。視頻節(jié)目可以是任何類型的節(jié)目-體育賽事、肥皂劇、教育節(jié)目、卡通和其它動畫等。此外，包含在大型數(shù)據(jù)存儲設備506中的還有含有標識信息的部分521。這個標識信息包括a)與視頻節(jié)目的各個幀相關聯(lián)的幾個激活區(qū)的位置；b)那些激活區(qū)的尺寸；和c)那些與激活區(qū)相關聯(lián)的鏈接(鏈接可以是URL的形式)。即，標識信息可以指示，在視頻節(jié)目的特定幀中，存在著位于視頻幀左上角的第一激活區(qū)，并且激活區(qū)具有一定的尺寸。如果觀眾點擊在那個激活區(qū)上，那就應該激活到特定網(wǎng)頁的鏈接。
大型存儲設備506可以是任何類型的大型存儲設備，例如，磁盤、磁帶、光或磁光介質、或其它數(shù)據(jù)存儲結構。
把來自大型存儲設備506的信息提供給數(shù)據(jù)分離電路505，該數(shù)據(jù)分離電路505分離出視頻信號并把該視頻信號提供給傳統(tǒng)發(fā)送器504(數(shù)據(jù)分離電路505通常是服務器)。電視系統(tǒng)501包括用于接收視頻信號的接收器511。雖然圖5包括指示如傳統(tǒng)電視無線電信號那樣發(fā)送和接收視頻信號的符號，但是視頻信號也可以通過其它手段傳送，例如，電纜、光纜、微波、衛(wèi)星通信、電話線、因特網(wǎng)、或其它信號通信技術。
標識信息(例如，激活區(qū)的位置和尺寸，以及與激活區(qū)相關聯(lián)的URL信息)通過通信媒體503傳送到電視系統(tǒng)501，通信媒體503可以與傳送視頻信號的媒體相同，也可以與之不同。因此，通信媒體503可以是傳統(tǒng)無線電信號、電纜、光纜、微波、衛(wèi)星通信、電話線、因特網(wǎng)、或其它信號通信技術。
標識信息由預處理單元512接收。預處理單元512通過內插技術，為其中的數(shù)據(jù)不是由發(fā)送系統(tǒng)500提供的那些幀計算每一幀的每個激活區(qū)的位置。在一個實施例中，內插技術是例如，如參照圖2所述的線性內插技術。例如，假設發(fā)送系統(tǒng)500每隔九個幀提供激活區(qū)的位置。圖6顯示了分別由點600、601、602和603指示的、幀0、10、20和30的激活區(qū)的y坐標值。如果使用了線性內插技術，那么，應該認為激活區(qū)的y坐標值將通過直線604、605和606建立?？梢允褂闷渌鼉炔寮夹g，例如，在特定點之間形成曲線而不是直線的技術。例如，可以使用樣條內插技術。如果使用了樣條內插技術，則根據(jù)樣條計算參數(shù)，應該認為激活區(qū)的y坐標將沿著曲線607。
圖6顯示了激活區(qū)的y坐標與幀號之間的關系。對于激活區(qū)的x坐標和激活區(qū)的尺寸，進行類似的計算(例如，根據(jù)與激活區(qū)相關聯(lián)的對象是靠近攝像機，還是遠離攝像機，激活區(qū)的尺寸可以擴大或縮小)。
再參照圖5，可以看出，預處理單元512向視頻顯示單元514提供視頻信號。預處理單元512與用戶接口513耦合。用戶接口513允許用戶控制顯示在顯示單元514上的圖象的某些特征，例如，屏幕上是否將顯示指示激活區(qū)位置的標記。用戶接口513也允許用戶點擊在各種激活區(qū)上，激活與之相關聯(lián)的鏈接。
用戶接口513通常擁有諸如跟蹤球、鼠標、觸板或操縱桿之類的適當控制機械裝置。這種接口用于在視頻顯示單元514上定位可視光標，以便觀眾知道他正在點擊什么對象。預處理單元512確定是否已經(jīng)把光標定位在激活區(qū)上。在一個實施例中，預處理單元512包括微處理器系統(tǒng)。
如上所述，在本發(fā)明的一個實施例中，所選幀的激活區(qū)是例如利用人工標識系統(tǒng)建立的。激活區(qū)與描繪在視頻幀中的對象相關聯(lián)。在這種方法中，為視頻片段的一些(不是全部)幀建立每個激活區(qū)的位置、尺寸和形狀。對于視頻片段的其它幀，通過在幀之間進行內插建立激活區(qū)的位置和尺寸。在一個實施例中，把人工標識的那些幀的激活區(qū)的位置和尺寸傳送到視頻系統(tǒng)501。在其它實施例中，根據(jù)其它理由選擇傳送激活區(qū)位置和尺寸的幀。例如，可以每隔九個幀把激活區(qū)的位置和尺寸傳送給視頻接收系統(tǒng)501。或者，可以只傳送視頻片段的所謂“關鍵幀”的激活區(qū)的位置和尺寸(如上所述，某些視頻壓縮算法只傳送某些關鍵幀的整個像素陣列。對于其它幀，只傳送與一個幀和下一幀之間的改變相對應的信息。關鍵幀是傳送整個像素陣列的那些幀)。
再參照圖5，在一個實施例中，工作站550可以與視頻發(fā)送系統(tǒng)500耦合。工作站550包括個人計算機(“PC”)551和本地存儲器存儲設備552(例如，磁盤)或包含編輯軟件553的非本地存儲設備(例如，服務器)。工作站550用于標識視頻片段。在這個例子中，工作站通過通信線路554與服務器505耦合，但是，可以使用許多其它方式聯(lián)網(wǎng)工作站550和服務器505。在一些實施例中，編輯軟件553可以在服務器505上運行。在其它實施例中，各種文件(視頻文件和標識文件兩者)可以駐留在本地存儲器552上。
雖然參照特定實施例已經(jīng)對本發(fā)明作了描述，但本領域的普通技術人員應該明白，可以在形式上和細節(jié)上對其作各種改變，而不偏離本發(fā)明的實質和范圍。例如，可以以RGB值的形式存儲視頻幀的像素(RGB指的是與像素相關聯(lián)的紅色、藍色和綠色分量)。或者，可以以顏色、飽和度和亮度的形式存儲像素值。屏幕100和/或視頻顯示單元514可以是CRT(陰極射線管)、LCD(液晶顯示器)、投影顯示器、或其它合適的顯示技術。不同類型的視頻編輯/標識系統(tǒng)可以用于實現(xiàn)本發(fā)明的方法。內插法可以由系統(tǒng)內的微處理器或其它計算設備執(zhí)行。
本發(fā)明的方法可以用于提供或接收視頻片段中多于一個的激活區(qū)。
可以用不同方式選擇用于人工內插的幀。例如，在一個實施例中，每隔n-1個幀人工內插一次，此處，n是整數(shù)(例如，10)。
為執(zhí)行內插和編輯而選擇的設備可以是具有執(zhí)行視頻編輯的顯示屏幕和/或圖象識別軟件程序的基于微處理器的系統(tǒng)。
在一個實施例中，不人工標識第一幀和最后一幀。因此，在這樣的實施例中，外插激活區(qū)的位置和尺寸。
當把視頻信號發(fā)送給觀眾時，可以把視頻信息和標識信息作為獨立信號發(fā)送給接收系統(tǒng)501，或可以把它們作為組合信號的組成部分來傳送。組合信息可以由發(fā)送器504通過廣播媒體502來提供。或者，組合信息可以通過上述通信媒體的任何一種，例如，光、纜線、微波傳輸、衛(wèi)星傳輸?shù)忍峁?br> 本發(fā)明的各個方面可以彼此獨立地實現(xiàn)。例如，可以使用圖1的標識設備，而不使用圖5的信號通信設備。同樣，可以利用圖4的通信設備傳送利用除了參照圖1至4所述的方法之外的方法標識的視頻片段。因此，所有這樣的改變均在本發(fā)明的范圍之內。
權利要求
1.一種在視頻片段中建立激活區(qū)的位置的方法，所述視頻片段包括一組幀，所述方法包括下列步驟(a)為所述一組幀內的第一數(shù)個幀建立所述激活區(qū)的位置；(b)根據(jù)在上面步驟(a)中建立的位置，通過內插法為所述一組幀內的第二數(shù)個幀建立所述激活區(qū)的位置。
2.根據(jù)權利要求1所述的方法，其中，在步驟(a)和(b)中建立的位置存儲在存儲設備中。
3.根據(jù)權利要求1所述的方法，其中，步驟(a)包括在顯示設備上顯示所述第一數(shù)個幀；和通過把與所述第一數(shù)個幀內所述激活區(qū)的位置相關的信息存儲在存儲器內，人工標識所述幀。
4.根據(jù)權利要求1所述的方法，其中，所述內插法是線性內插法。
5.根據(jù)權利要求1所述的方法，其中，所述內插法是樣條內插法。
6.根據(jù)權利要求1所述的方法，其中，所述第一數(shù)個幀是關鍵幀。
7.根據(jù)權利要求1所述的方法，其中，所述內插法是由編輯系統(tǒng)內的計算設備執(zhí)行的。
8.根據(jù)權利要求1所述的方法，還包括下列步驟(c)顯示所述一組幀內第三數(shù)個幀的激活區(qū)；(d)標識所述第二數(shù)個幀內的所述幀的至少一些幀；和(e)在執(zhí)行步驟(d)之后，通過內插法建立在所述第二數(shù)個幀內、但不在所述幀的所述一些幀內的所述激活區(qū)的位置。
9.一種包括下列單元的設備存儲設備，用于存儲視頻片段，所述視頻片段包括數(shù)個視頻幀；輸入設備，用于把指示所述視頻幀的一些幀內激活區(qū)的位置的信息輸入到所述設備；在所述設備內的計算設備，用于為所述數(shù)個視頻幀內的其它幀建立所述激活區(qū)的位置。
10.根據(jù)權利要求9所述的設備，其中，所述計算設備為所述數(shù)個內插幀內的所述其它幀建立所述激活區(qū)的位置。
11.一種包括下列步驟的方法提供包括一組幀的視頻片段，所述一組幀內的第一數(shù)個幀用指示激活區(qū)的位置的信息標識，所述激活區(qū)與出現(xiàn)在所述視頻片段內的對象相關聯(lián)；通過內插法，為不是在所述第一數(shù)個幀內的那些幀建立所述激活區(qū)的位置數(shù)據(jù)；利用自動圖象識別，確定與不是在所述第一數(shù)個幀內的所述幀的其它幀相比、其所述激活區(qū)和所述對象之間的距離較大的、不在所述第一數(shù)個幀內的所述幀的一個或多個幀。
12.根據(jù)權利要求11所述的方法，其中，所述自動圖象識別確定所述激活區(qū)和所述對象之間的距離超過閾值的幀。
13.根據(jù)權利要求11所述的方法，其中，所述自動圖象識別確定所述激活區(qū)和所述對象之間的距離最大的n個幀，此處，n是整數(shù)。
14.根據(jù)權利要求11所述的方法，還包括下列步驟在顯示器上顯示所述一個或多個幀，以便觀眾能夠看見在一個或多個幀中所述激活區(qū)和所述對象之間的距離。
15.根據(jù)權利要求11所述的方法，還包括下列步驟在所述利用步驟之后，標識所述一個或多個幀的至少一個幀。
16.根據(jù)權利要求15所述的方法，還包括下列步驟通過內插法，為不在所述第一數(shù)個幀內和不在所述至少一個幀內的那些幀建立所述激活區(qū)的位置數(shù)據(jù)。
17.根據(jù)權利要求16所述的方法，還包括下列步驟顯示通過內插法已經(jīng)建立了位置數(shù)據(jù)的幀，以便用戶可以看見激活區(qū)離對象有多遠。
18.根據(jù)權利要求11所述的方法，其中，操作人員在所述建立步驟之前，用所述信息標識所述第一數(shù)個幀。
19.根據(jù)權利要求18所述的方法，其中，通過把指示所述第一數(shù)個幀的所述激活區(qū)的位置的數(shù)據(jù)存儲在存儲器中，進行所述標識。
20.根據(jù)權利要求11所述的方法，其中，所述視頻片段存儲在存儲設備中。
21.根據(jù)權利要求20所述的方法，其中，指示激活區(qū)的位置的所述信息存儲在與所述視頻片段相同的存儲設備中。
22.根據(jù)權利要求21所述的方法，其中，所述視頻片段和指示激活區(qū)的位置的所述信息位于所述存儲設備內的不同文件中。
23.根據(jù)權利要求21所述的方法，其中，指示所述激活區(qū)的位置的所述信息嵌在所述視頻片段中。
24.一種包括下列步驟的方法提供視頻片段，所述視頻片段包括一組幀，所述視頻片段描繪一個對象；通過把與所述對象相關聯(lián)的所述幀的一些幀內激活區(qū)的位置存儲在存儲器中，標識所述一組幀內所述幀的一些幀，但不標識所述一組內所述幀的其它幀；通過內插法，為所述幀的所述其它幀建立所述激活區(qū)的位置；利用自動圖象識別，確定與不在所述第一數(shù)個幀內的所述幀的其它幀相比、其所述激活區(qū)和所述對象之間的距離較大的、在所述幀的所述其它幀內的那些幀。
25.一種包括下列單元的設備用于存儲視頻片段的存儲結構，所述視頻片段包括一組幀，所述一組幀內的第一數(shù)個幀用指示激活區(qū)的位置信息標識，所述激活區(qū)與出現(xiàn)在所述視頻片段中的對象相關聯(lián)；通過內插法，為不在所述第一數(shù)個幀內的那些幀建立所述激活區(qū)的位置的裝置；利用自動圖象識別、確定與不在所述第一數(shù)個幀內的所述幀的其它幀相比、其所述激活區(qū)和所述對象之間的距離較大的所述幀的一個或多個幀的裝置。
26.一種包括下列步驟的方法接收視頻圖象；把所述視頻圖象顯示成一列幀；接收與所述幀的一些幀、但不是所述幀的其它幀的至少一個激活區(qū)的位置相對應的信息；和根據(jù)所述接收信息，為所述幀的其它幀確定所述激活區(qū)的位置。
27.根據(jù)權利要求26所述的方法，其中，所述確定步驟是通過線性內插法執(zhí)行的。
28.根據(jù)權利要求26所述的方法，其中，所述確定步驟是通過樣條內插法執(zhí)行的。
29.根據(jù)權利要求26所述的方法，其中，與所述激活區(qū)的尺寸相對應的信息是為所述幀的所述一些幀、但不是所述幀的所述其它幀而接收的，所述方法還包括下列步驟通過內插法，為所述幀的所述其它幀確定所述激活區(qū)的尺寸。
30.根據(jù)權利要求26所述的方法，其中，所述激活區(qū)與一個鏈接相關聯(lián)，所述方法還包括激活所述鏈接的步驟。
31.根據(jù)權利要求26所述的方法，其中，所述鏈接是到因特網(wǎng)頁的鏈接。
32.根據(jù)權利要求26所述的方法，還包括激活所述鏈接。
33.根據(jù)權利要求32所述的方法，其中，所述顯示包括在顯示屏幕上顯示所述視頻，和所述激活包括在所述顯示屏幕上點擊激活區(qū)。
34.一種包括下列步驟的方法傳送視頻片段，所述視頻片段包括一組視頻幀，所述一組視頻幀內的一些視頻幀被標識，以便為所述視頻幀的所述一些視頻幀建立激活區(qū)；傳送所述一組視頻幀內的所述一些視頻幀的、但不是所述一組視頻幀內的所述視頻幀的其它視頻幀的所述激活區(qū)的位置。
35.根據(jù)權利要求34所述的方法，其中，所述視頻片段是通過第一通信媒體傳送的，并且所述激活區(qū)的所述位置是通過與所述第一通信媒體不同的第二通信媒體傳送的。
36.根據(jù)權利要求34所述的方法，還包括下列步驟接收所述視頻片段和所述一組視頻幀內的所述一些視頻幀的、但不是所述視頻幀的其它視頻幀的所述激活區(qū)的位置；和通過內插法，為所述視頻幀的其它視頻幀建立所述激活區(qū)的位置。
37.根據(jù)權利要求36所述的方法，其中，所述激活區(qū)與一個對象相關聯(lián)，所述對象出現(xiàn)在所述一組視頻幀內所述視頻幀的每個幀中。
38.一種包括下列單元的系統(tǒng)接收器，用于接收視頻信號；顯示器，與所述接收器耦合，用于顯示與所述視頻信號相對應的視頻圖象，所述視頻圖象包括一組幀；接收指示所述幀的一些幀的、但不是所述幀的其它幀的至少一個激活區(qū)的位置的信息的電路，所述電路根據(jù)所述幀的所述一些幀的所述激活區(qū)的位置，通過內插法確定所述幀的所述其它幀的所述激活區(qū)的位置。
39.根據(jù)權利要求38所述的系統(tǒng)，還包括發(fā)送系統(tǒng)，用于發(fā)送所述視頻信號和與所述幀的所述一個幀、但不是所述幀的所述其它幀的至少一個激活區(qū)的位置相對應的所述信息。
40.一種包括下列單元的設備第一存儲器存儲設備，用于存儲視頻信號，所述視頻信號包括一組幀；第二存儲器存儲設備，用于存儲所述幀的一些幀的激活區(qū)的位置；發(fā)送器，用于發(fā)送所述視頻信號和所述幀的所述一些幀、但不是所述幀的所述其它幀的所述激活區(qū)的所述位置，從而，接收所述視頻信號和所述幀的所述一些幀的所述激活區(qū)的所述位置的系統(tǒng)可以通過內插法，為所述幀的所述其它幀建立所述激活區(qū)的位置。
41.一種包括下列單元的設備存儲器，用于存儲視頻片段；為視頻片段的一些幀、但不是視頻片段的其它幀建立激活區(qū)的位置的結構；以及發(fā)送系統(tǒng)，用于發(fā)送視頻片段和視頻片段的所述幀的所述一些幀、但不是視頻片段的其它幀的所述激活區(qū)的位置。
42.根據(jù)權利要求41所述的設備，還包括接收單元，用于接收和顯示視頻片段，和通過內插法，為所述其它幀建立所述激活區(qū)的位置。
43.一種在圖象的一系列幀內建立激活區(qū)的位置的方法，所述方法包括下列步驟(a)為所述一系列幀內第一數(shù)個幀建立所述激活區(qū)的位置和/或尺寸；(b)根據(jù)在上述步驟(a)中建立的位置，通過計算，為所述一系列幀內所述幀的第二數(shù)個幀建立所述激活區(qū)的位置和/或尺寸。
44.根據(jù)權利要求40所述的設備，其中，所述存儲器存儲設備存儲所述幀的一些幀、但不是所述幀的其它幀的所述激活區(qū)的位置。
全文摘要
一種標識視頻圖象以含有交互式鏈接的方法，包括下列步驟在視頻圖象的幀的一個子組中，人工建立激活區(qū)(114)，和利用內插法為其余幀建立激活區(qū)。所述激活區(qū)是在屏幕(514)上的、觀眾可以把光標放在上面并進行點擊、從而激活鏈接的區(qū)域。這個鏈接可以是到URL、或一些其它類型鏈接的鏈接。內插法可以是線性內插法或樣條內插技術。視頻圖象可以與對應于視頻幀的一些幀、但不是視頻幀的其它幀的標識一起傳送到顯示系統(tǒng)。接收系統(tǒng)可以通過內插法，為所述幀的其它幀確定激活區(qū)。
文檔編號H04N7/16GK1391676SQ00812075
公開日2003年1月15日 申請日期2000年9月2日 優(yōu)先權日1999年9月3日
發(fā)明者亞科夫·卡門, 利昂·舍曼 申請人:伊瑟夫電視公司