專利名稱：動態(tài)修改數(shù)字視頻圖像的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及數(shù)字視頻圖像的傳輸，更具體地涉及一種用于動態(tài)地修改數(shù)字視頻圖像的方法和裝置。
已經(jīng)建立起視頻分配網(wǎng)來分配視頻圖像。此類視頻網(wǎng)中，通常從諸如是電視或電影數(shù)據(jù)庫之類節(jié)目源中檢索節(jié)目，比如是一部電影或一部電視片。然后，由視頻服務(wù)器通過一個網(wǎng)絡(luò)傳輸出此視頻流。
在某些情況下，視頻服務(wù)器可以從節(jié)目源中檢索出已經(jīng)對其原始的形式作了修改的一個視頻圖像。發(fā)生此種情況的一個例子是，視頻服務(wù)器對于不希望在電視屏幕上顯露面容的人通過對其臉部圖像進行數(shù)字化和加擾處理，可隱匿住臉部。第二個例子是數(shù)字廣告牌，在存儲入圖像數(shù)據(jù)庫之前可以先在圖像中插入一個數(shù)字廣告牌。視頻服務(wù)器再檢索此存儲的視頻圖像，將該視頻流分配至網(wǎng)上的所有用戶端。
這兩種情況下，都是在存儲之前先將視頻流加以修改。此后，視頻服務(wù)器不需作進一步的改變而可使該視頻流傳輸給視頻圖像的各個接收者?，F(xiàn)行的視頻分配系統(tǒng)中，系統(tǒng)內(nèi)所有用戶都接收相同的視頻圖像。
現(xiàn)行視頻分配系統(tǒng)方面的一個問題在于，將單一種視頻流通過網(wǎng)絡(luò)傳送至網(wǎng)上的所有用戶端。結(jié)果，全體用戶觀看同一個視頻流。當前，沒有辦法根據(jù)用戶的個體特性或群體特性向有關(guān)用戶提供相應(yīng)的不同視頻流。
所以，需要有一種方法和裝置用來動態(tài)地修改數(shù)字視頻圖像，以容許根據(jù)有關(guān)用戶的特性提供出相應(yīng)的數(shù)字視頻流。
本發(fā)明的目的之一是提供一種方法和裝置，用于動態(tài)地修改數(shù)字視頻圖像。
本發(fā)明的方法和裝置能根據(jù)用戶文檔(user profile)動態(tài)地修改一部分數(shù)字視頻圖像。用戶文檔中包括有屬于該用戶的一種所需特性。此類特性包括，但并不限制于人口統(tǒng)計(demographic)信息、日期時間信息、廣告信息、地區(qū)信息和父輩許可(parentalconsent)信息等。本發(fā)明的一個特點在于，根據(jù)預(yù)約用戶特性所作出的修改，每位預(yù)約用戶可接收到不同修改的圖像。
本發(fā)明的優(yōu)選實施例是對位于寬帶網(wǎng)中一個服務(wù)節(jié)點上的輸入視頻流實施修改。在優(yōu)選實施例中，該寬帶網(wǎng)內(nèi)包括服務(wù)節(jié)點、一個多播(multicast)路由器和一個寬帶接入網(wǎng)。服務(wù)節(jié)點中包括一個輸入端口、一個控制端口、連接于寬帶網(wǎng)上之每個預(yù)約用戶端用的一個輸出端口、一個主處理器和一個視頻處理器。視頻處理器中包括一個數(shù)字信號處理器(DSP)、一個控制處理器、和諸如幀緩存器之類的存儲器。
服務(wù)節(jié)點在輸入端口上接收來自一個網(wǎng)絡(luò)饋源或一個視頻服務(wù)器的數(shù)字視頻流。該數(shù)字視頻流去到視頻處理器。由視頻處理器確定出要插入數(shù)字視頻流的產(chǎn)品或替換圖像。視頻處理器根據(jù)至少一部分用戶文檔作出這種確定，而用戶文檔是服務(wù)節(jié)點利用控制端口從用戶數(shù)據(jù)庫中檢索的。服務(wù)節(jié)點中的控制處理器從連接于服務(wù)節(jié)點上的圖像數(shù)據(jù)庫中檢索替換圖像。這些圖像可取地存儲于存儲器中，諸如存儲于一個幀緩存器中。DSP以替換圖像有效地取代輸入數(shù)字視頻流中原始的元素，形成更改后的視頻流。
更改后的視頻流通過一個輸出端口傳輸至寬帶接入網(wǎng)上，寬帶接入網(wǎng)隨后將該更改后的視頻流傳輸至連接于寬帶網(wǎng)上的一個預(yù)約用戶端處。優(yōu)選實施例中，該預(yù)約用戶端連接至一個電視機之類的設(shè)備上，顯示或存儲該更改后的視頻流。
本發(fā)明的另一個實施例中，輸入數(shù)字視頻流的修改在預(yù)約用戶端上實施。在此實施例中，輸入數(shù)字視頻流從一個網(wǎng)絡(luò)饋源或視頻服務(wù)器中傳輸至一個包括有多播路由器、服務(wù)節(jié)點和寬帶接入網(wǎng)的寬帶網(wǎng)上。輸入視頻流從該寬帶網(wǎng)去到預(yù)約用戶端處。
按照該另一個實施例，預(yù)約用戶終端中包括一個用于接收原始的數(shù)字視頻流的輸入端口、一個用于向電視機之類傳輸更改后的視頻流的輸出端口和一個視頻處理器。視頻處理器中包括一個DSP、一個控制處理器以及存儲器，并實現(xiàn)象位于優(yōu)選實施例服務(wù)節(jié)點中的視頻處理器那樣相同的功能，控制決定仍然在網(wǎng)絡(luò)中作出。
應(yīng)用這另一個實施例時，在寬帶網(wǎng)上為每個輸出端口，它對應(yīng)于連接在該寬帶網(wǎng)上的每個預(yù)約用戶端，完成的圖像操作轉(zhuǎn)移到了預(yù)約用戶端。替換圖像的選擇可取地在寬帶網(wǎng)內(nèi)完成。
可以將本發(fā)明應(yīng)用于多種所需的目的。例如，能夠在視頻流中完成目標產(chǎn)品布置。產(chǎn)品布置是指將產(chǎn)品布置入一個演出、電視片或電影的景像中。此種布置有利于在廣告中推銷和宣傳產(chǎn)品。例如，如果一部電視片或電影中的一位主角其表演為飲喝一種特定的飲料，則基于對該演員或者對該電視片或電影的興趣性，那種飲料的銷量會增長。
一些公司付出了大量經(jīng)費用于使它們的產(chǎn)品放入電影或電視片中。產(chǎn)品布置方面的一個問題在于，對于各個用戶來說這種布置不能作修整。例如，觀看電影的一位主顧只飲用開胃的軟飲料，則一種非開胃軟飲料的產(chǎn)品布置對于該用戶的購買來說只會有很小的作用，或者沒有作用。利用本發(fā)明通過對一種用戶文檔所關(guān)聯(lián)的替換圖像作出布置，由此將關(guān)于一位用戶之產(chǎn)品的視頻流插入至視頻流中，能夠緩解上面的問題。
諸如一位演員在一部電影或電視片中使用的一個產(chǎn)品，用于該產(chǎn)品的替換圖像可按視頻流預(yù)定接收有關(guān)的因素，針對每位所需用戶作出修改。此類修改可依據(jù)于用戶已經(jīng)輸入的用戶偏愛，依據(jù)于該用戶之歷史上的見解愛好或購買類別，依據(jù)于該用戶關(guān)聯(lián)的人口統(tǒng)計信息，依據(jù)于該用戶關(guān)聯(lián)的地區(qū)信息，依據(jù)于日期時間，或者依據(jù)于該用戶的父輩許可。
因此，本發(fā)明提供出一種改進的方法和裝置，用于通過以數(shù)字方式修改一部分輸入視頻流，提供出按用戶修正的視頻流。


圖1示出用于處理視頻流的一個寬帶網(wǎng)，包括有按照本發(fā)明優(yōu)選實施例的一個多播路由器、一個服務(wù)節(jié)點和一個寬帶接入網(wǎng)。
圖2示出按照本發(fā)明優(yōu)選實施例之圖1中的服務(wù)節(jié)點。
圖3示出用于處理視頻流的一個寬帶網(wǎng)，包括有按照本發(fā)明另一種實施例的一個多播路由器、一個服務(wù)節(jié)點和一個寬帶接入網(wǎng)。
圖4示出按照本發(fā)明另一種實施例的一個預(yù)約用戶端。
圖5示出一個方法的流程圖，用于按照本發(fā)明的優(yōu)選實施例根據(jù)一種用戶文檔動態(tài)地修改一部分數(shù)字視頻圖像。
圖6示出一個方法的流程圖，用于按照本發(fā)明的另一種實施例動態(tài)地修改一個數(shù)字視頻圖像。
圖7示出一個方法的流程圖，用于按照本發(fā)明的另一種實施例在一個數(shù)字視頻流中提供出目標的產(chǎn)品布置。
圖8示出一個優(yōu)選方法的流程圖，用于按照本發(fā)明的優(yōu)選實施例動態(tài)地修改一部分產(chǎn)品圖像。
圖1示出按照本發(fā)明優(yōu)選實施例用于處理視頻流的一個寬帶網(wǎng)100。寬帶網(wǎng)100中包括一個多播路由器101、一個服務(wù)節(jié)點103和一個寬帶接入網(wǎng)105。
多播路由器101在接收數(shù)字視頻流上起作用。該數(shù)字視頻流可以來自諸如廣播網(wǎng)(ABC,NBC等)或有線網(wǎng)(Home Box Office,Showtime,The Learning Channel，等等)的網(wǎng)絡(luò)饋源107。數(shù)字視頻流也可以來自視頻服務(wù)器109，它諸如是一個數(shù)據(jù)庫，存儲有預(yù)先記錄的比如是電影之類的節(jié)目。視頻服務(wù)器109訪問節(jié)目源數(shù)據(jù)庫111以檢索一個預(yù)定的節(jié)目，并將數(shù)字視頻流傳輸至多播路由器101上。
多播路由器101從多個信號源視頻流中選擇出一個視頻流，供給連接于寬帶接入網(wǎng)105上的每位觀看者。
然后，多播路由器101將數(shù)字視頻流傳送至服務(wù)節(jié)點103上。本發(fā)明的優(yōu)選實施例中，服務(wù)節(jié)點103接收該數(shù)字視頻流，確定出插入至數(shù)字視頻流中的一個替換圖像，實施目標幾何變換和布光模型，通過插入替換圖像以數(shù)字方式修改數(shù)字視頻流，并將修改的視頻圖像傳輸至寬帶接入網(wǎng)105上。
圖2示出按照本發(fā)明優(yōu)選實施例的服務(wù)節(jié)點103。服務(wù)節(jié)點103中可取地包括一個輸入端口201、一個控制端口203、一個主處理器204、一個視頻處理器205和至少一個輸出端口207。
輸入端口201的作用是通過多播路由器101從網(wǎng)絡(luò)饋源107或視頻服務(wù)器109上接收數(shù)字視頻流。
控制端口203的作用是訪問廣告者數(shù)據(jù)庫113、用戶數(shù)據(jù)庫115和圖像數(shù)據(jù)庫117。要插入輸入視頻流中的替換圖像以數(shù)字形式存儲于圖像數(shù)據(jù)庫117中。
廣告者數(shù)據(jù)庫113中包括有與廣告者有關(guān)的廣告信息。此種信息的組織可取地容許從圖像數(shù)據(jù)庫117中檢索能插入至數(shù)字視頻流中的數(shù)字圖像。例如，廣告者數(shù)據(jù)庫中能包括有廣告客戶想予以利用的有關(guān)界限的信息。比如，一個廣告客戶可能只當廣告費率低于一定數(shù)據(jù)時才愿意做廣告。這種數(shù)據(jù)可以存儲入廣告者數(shù)據(jù)庫中。另一種情況，如果觀眾數(shù)目超過一定數(shù)目時廣告客戶才想做廣告，這個界限也能存儲入廣告者數(shù)據(jù)庫113中。
用戶數(shù)據(jù)庫115中可取地包括一個與第一用戶關(guān)聯(lián)的第一文檔。該第一文檔可取地包括有涉及第一用戶之所需特性所從屬的信息。優(yōu)選實施例中，第一文檔中包括有與該用戶相關(guān)的人口統(tǒng)計信息。例如，該文檔中可包括關(guān)聯(lián)于該用戶的這類信息，諸如其購買偏愛，他的地點，他的經(jīng)濟水平，或者他經(jīng)常采購的任一類貨物，比如是消費品等。
作為本發(fā)明一個實施例的例子，該文檔可包括用戶喜愛一種特定類型飲料的信息。然后，本發(fā)明的系統(tǒng)和方法可以檢索這個文檔，確定用戶喜愛的飲料類型，按照其偏愛將圖像數(shù)據(jù)庫117上來的一種產(chǎn)品圖像插入至輸入數(shù)字視頻流中。
用戶數(shù)據(jù)庫115能夠完全地包括一種文檔，其中包括人口統(tǒng)計信息。此實施例中，該信息可包括關(guān)于該用戶統(tǒng)計特點的信息。例如，該文檔可包括用戶的收入水平，關(guān)于該用戶居住地區(qū)的信息，用戶的年齡，用戶家庭狀況，用戶的孩子數(shù)目，以及在確定出插入視頻流中有效的產(chǎn)品圖像方面有益的任何其它的人口統(tǒng)計信息。然后，根據(jù)包括有人口統(tǒng)計信息的該文檔，從圖像數(shù)據(jù)庫117中檢索合適的替換圖像。
用戶數(shù)據(jù)庫115能夠完全地包括一種文檔，其中包括日期時間信息。此實施例中，可以根據(jù)日期時間選擇替換圖像。例如，如果視頻流要在白天傳送，則諸如蘇打水罐頭之一的第一圖像可從圖像數(shù)據(jù)庫117中檢索，插入至輸入視頻流中。如果視頻流要在晚上較遲地傳輸，則諸如啤酒罐之一的第二圖像可從圖像數(shù)據(jù)庫117中檢索，插入至輸入視頻流中。這樣，能夠?qū)⑤敵鲆曨l流修正得使最后的數(shù)字視頻流包括有合適的圖像，供給該視頻流的預(yù)定接收者。
用戶數(shù)據(jù)庫115能夠完全地包括一種文檔，其中包括父輩許可信息。此實施例中，可以根據(jù)父輩母贊同信息選擇替換圖像。例如，輸入視頻流中可以包括一個預(yù)定要由一個替換視頻圖像替代的區(qū)域。它可以是輸入視頻流之背景中的一塊廣告牌。此實施例中，對該視頻流在顯示上應(yīng)以什么圖像布置于背景中的廣告牌內(nèi)，可有多種選擇。選擇出來“布置”于廣告牌上的圖像，可以根據(jù)父輩許可信息來選定。
例如，如果廣告牌上原始的圖像是關(guān)于香煙的內(nèi)容，系統(tǒng)可以檢查父輩許可信息，確定出該香煙圖像對于用戶家中接收來說并不需要時，可以從圖像數(shù)據(jù)庫117中再檢索一個替換圖像，將它替代原始的香煙圖像。本實施例給予管理者一種增強的能力來管理輸入至家庭的圖像。根據(jù)在電視中預(yù)定給出之圖像的存在情況和正當?shù)摹癡-Chip”構(gòu)成，可以對父輩許可信息進行選擇。圖像修改的例子包括給演員添加衣服，對電影中的碰撞場景添加煙霧，以及所需要的任何其它修改等。
用戶數(shù)據(jù)庫115還能包括一種文檔，其中包括地區(qū)信息。此實施例中，替換圖像可以是根據(jù)用戶之地區(qū)位置的一種圖像。例如，輸入視頻流在其圖像中可包括一家商店的位置。原始圖像中的商店位置可以是一個僅位于國家某區(qū)域內(nèi)的商店。如果是這種情況，可以希望將另一個位于用戶所在地域內(nèi)的商店來替代該商店。此實施例中，可以從圖像數(shù)據(jù)庫117中檢索與該用戶所在地區(qū)相關(guān)聯(lián)的替換圖像，插入至輸入數(shù)字視頻流中，以使該視頻流能對用戶更感興趣。
視頻處理器205可取地實施將替換數(shù)字圖像插入原始的視頻流中所必需的處理。視頻處理器205可取地包括一個數(shù)字信息處理器(DSP)209、存儲器211和控制處理器213?？刂铺幚砥?13在確定出要插入的產(chǎn)品圖像上起作用，如上面所述，作出此決定中可取地至少部分地根據(jù)從用戶數(shù)據(jù)庫115中檢索的一個用戶文檔。控制處理器213還在從圖像數(shù)據(jù)庫117中檢索替換圖像上起作用，將替換圖像存儲入存儲器211。
DSP209在用替換圖像替代原始的圖像以形成一個更改后的視頻流上起作用。DSP209可取地將一般地按壓縮格式接收到的原始的圖像進行去壓縮。DSP209可取地完成下列工作通過計算替換圖像的幾何結(jié)構(gòu)來替代原始的元素；確定在原始圖像中存在的布光；確定原始圖像中替換區(qū)域的透明度；確定目標的等級和運動；以及，對包括有原始的視頻圖像的幀緩存器中所選定的部分進行覆蓋寫入。然后，DSP209可取地壓縮所形成的、更改后的圖像。
存儲器211可取地是一個幀緩存器，但也可以是能夠存儲數(shù)字圖像的另外的任一種類型的存儲媒體。
主處理器204可取地控制視頻處理器205的工作。主處理器204可取地通過下面的工作來完成這一點利用數(shù)據(jù)庫查找表；執(zhí)行算法；執(zhí)行在廣告者數(shù)據(jù)庫113、用戶數(shù)據(jù)庫115和圖像數(shù)據(jù)117上產(chǎn)生的命令消息。主處理器204將那些參數(shù)裝載入視頻處理器205中，管理帶寬，以及管理連接。
如圖2中所示明，服務(wù)節(jié)點103可取地包括多個輸入端口207。每個輸出端口在向預(yù)約用戶端119傳輸更改后的視頻流上起作用。本發(fā)明的優(yōu)選實施例中，服務(wù)節(jié)點103中包括有一個虛擬輸出端口，使用于服務(wù)節(jié)點103中所包括的每個視頻處理器。該虛擬輸出端口可以復(fù)接到較少數(shù)目的高速裝置上。
現(xiàn)在，回到圖1上，寬帶接入網(wǎng)105在從服務(wù)節(jié)點103中接收修改的視頻流上起作用。本發(fā)明的優(yōu)選實施例中，寬帶接入網(wǎng)105可取地在向預(yù)約用戶端119傳輸修改的視頻流上起作用，隨后將圖像傳輸給電視機121之類的設(shè)備，用于顯示或存儲。作為一個例子，帶寬接入網(wǎng)105可以是xDSL(“x”數(shù)字用戶線)、寬帶無線或是能運載視頻流的任何其它寬帶網(wǎng)。
圖3示出按照本發(fā)明的另一個實施例中用于處理視頻流的一個寬帶網(wǎng)300。按照圖3上示明的本發(fā)明另一個實施例，在圖1和圖2優(yōu)選實施例中由視頻處理器205實現(xiàn)的功能轉(zhuǎn)移到了預(yù)約用戶端319上。
寬帶網(wǎng)300中包括一個多播路由器301、一個服務(wù)節(jié)點303和一個寬帶接入網(wǎng)305。多播路由器301和寬帶接入網(wǎng)305實現(xiàn)的功能，與關(guān)于圖1和圖2分別說明的多播路由器101和寬帶接入網(wǎng)105所實現(xiàn)的功能實質(zhì)上相同。服務(wù)節(jié)點303對廣告者數(shù)據(jù)庫313、用戶數(shù)據(jù)庫315和圖像數(shù)據(jù)庫317進行讀出。服務(wù)節(jié)點303還匯編一個其中可取地包括幾何結(jié)構(gòu)、源圖像和布光的命令消息。并將該命令消息傳輸至預(yù)約用戶端319供呈現(xiàn)。
圖4示出按照本發(fā)明另一個實施例的一個預(yù)約用戶端319。按照此另一個實施例，預(yù)約用戶端319中包括有在本發(fā)明優(yōu)選實施例之圖1和圖2中所示服務(wù)節(jié)點103內(nèi)存在的視頻操作功能。
預(yù)約用戶端319中包括一個輸入端口401、一個視頻處理器403和一個輸出端口405。預(yù)約用戶端319內(nèi)包括一個比較小的控制處理器，用于對各種功能的簡單控制。服務(wù)節(jié)點303可取地包括一個主處理器，它在控制視頻處理器403的工作上起作用。
輸入端口401在接收一般地來自寬帶網(wǎng)300的數(shù)字視頻流上起作用。
輸出端口405在向諸如電視機321之類的輸出裝置傳輸出更改后的視頻流上起作用。輸出裝置可以另外地是一個視頻監(jiān)視器、一個視頻顯示裝置、一臺計算機、一種用于存儲更改后的視頻信號的存儲媒體，或者是能夠存儲、轉(zhuǎn)送或顯示視頻流的任何其它裝置。
視頻處理器403中包括一個數(shù)字信號處理器(DSP)409、存儲器411和控制處理器413。視頻處理器403可取地實施將替換數(shù)字圖像插入原始的視頻流中所必需的處理。服務(wù)節(jié)點303在從圖像數(shù)據(jù)庫317中檢索替換圖像上起作用，并將替換圖像傳輸至視頻處理器403上。DSP409在用替換圖像替代原始的元素以形成更改后的視頻流上起作用。存儲器411可取地是一個幀緩存器，但也可以是能夠存儲數(shù)字圖像的另外的任一種類型的存儲媒體。
服務(wù)節(jié)點303在確定出要插入的產(chǎn)品圖像上起作用。作出此決定可取地至少部分地根據(jù)從用戶數(shù)據(jù)庫315中檢索的一個用戶文檔。DSP409在用圖像數(shù)據(jù)庫317中檢索的替換圖像替代輸入視頻流中原始的元素上起作用，以形成一個更改后的視頻流。要插入至輸入視頻流中的替換圖像以數(shù)字形式存儲于圖像數(shù)據(jù)庫317中。更改后的視頻流通過輸出端口405傳輸至顯示裝置321之類的設(shè)備上。
此另一個實施例的用戶數(shù)據(jù)庫實施的功能，與上面圖1和圖2中說明的用戶數(shù)據(jù)庫的功能實質(zhì)上有相同的情況。
圖5示出一個優(yōu)選方法的流程圖500，用于根據(jù)一個用戶文檔動態(tài)地修改一部分數(shù)字視頻圖像。雖然，下面所述的實施例說明了如優(yōu)選實施例中那樣是在寬帶網(wǎng)服務(wù)節(jié)點上發(fā)生的處理，但如上面圖3和圖4中說明的另一個實施例中所述那樣，同樣的處理也能發(fā)生于預(yù)約用戶端或是其它計算裝置上。
步驟501上，服務(wù)節(jié)點接收一個數(shù)字視頻圖像。該數(shù)字視頻圖像可取地是從諸如一個視頻網(wǎng)絡(luò)之類的信息源上接收到的一個數(shù)字視頻流。
步驟502上，服務(wù)節(jié)點檢索一個與第一用戶相關(guān)聯(lián)的第一文檔。該第一文檔可取地包括有涉及該第一用戶之所需特性所從屬的信息。第一文檔中包括有與該第一用戶關(guān)聯(lián)的信息。例如，第一文檔中可以包括有與用戶在接收修改的視頻圖像上相聯(lián)系的信息。它可以是人口統(tǒng)計信息、日期時間信息、廣告信息、地區(qū)信息或父輩許可信息。該信息可取地是從用戶數(shù)據(jù)庫中檢索的。
步驟503上，服務(wù)節(jié)點隨后在廣告者數(shù)據(jù)庫中查找第一文檔。廣告者數(shù)據(jù)庫中包括有從屬于第一用戶的信息，諸如人口統(tǒng)計信息、購買信息或是有關(guān)的信息。服務(wù)節(jié)點從廣告者數(shù)據(jù)庫中確定出要從圖像數(shù)據(jù)庫內(nèi)檢索出的圖像。
步驟504上，服務(wù)節(jié)點接著自圖像數(shù)據(jù)庫中檢索一個圖像。這種檢索是基于從廣告者數(shù)據(jù)庫中得到的信息。圖像以數(shù)字形式存儲，能夠利用來覆蓋和取代原始視頻流中原始的圖像。
步驟505上，服務(wù)節(jié)點以一個替換數(shù)字圖像對一部分數(shù)字視頻圖像作數(shù)字修改。這種修改可取地基于所需的特性，產(chǎn)生出一種動態(tài)修改的視頻圖像。替換圖像可取地是從圖像數(shù)據(jù)庫中檢索的。
圖8示出一個優(yōu)選方法的流程圖505，用于按照本發(fā)明優(yōu)選實施例以數(shù)字方式修改一部分產(chǎn)品圖像。本發(fā)明的優(yōu)選實施例中，在數(shù)字方式修改圖像之前服務(wù)節(jié)點先對圖像去壓縮。
步驟801上，服務(wù)節(jié)點確定出幀緩存器中哪些像素要予以取代。做到這一點時，可取地應(yīng)用了鍵控技術(shù)，或是利用一個多邊形表的帶外幾何學(xué)。該服務(wù)節(jié)點又可取地向控制處理器傳送時間碼和節(jié)目識別。
步驟803上，服務(wù)節(jié)點確定出施加于替換圖像上的幾何變換。大部分替換圖像是以二維圖像形式存儲的。服務(wù)節(jié)點應(yīng)用幾何變換使替換圖像的呈現(xiàn)更為逼真和附加三維化。做到這一點是借助于轉(zhuǎn)換替換圖像，旋轉(zhuǎn)替換圖像，縮放替換圖像，以及確定關(guān)于被取代圖像的攝像機透視點。
步驟805上，服務(wù)節(jié)點確定出目標位置的布光模型，目標位置是指圖像中將呈現(xiàn)替換圖像的地方。做到這一點可取地是通過對原始視頻流中目標位置上與布光相關(guān)聯(lián)的圖像源、位置、亮度、彩色和散射等的確定。
步驟807上，服務(wù)節(jié)點根據(jù)前面步驟中確定的幾何結(jié)構(gòu)和布光變換計算出變換后的圖像。
步驟809上，服務(wù)節(jié)點隨后用視頻流中所通過的、變換后圖像之元素取代幀緩存器中選定的像素。那些選定的像素是處于目標位置內(nèi)的。系統(tǒng)必須能確定出替換圖像是否應(yīng)位于原始視頻流中另一個圖像的后面。如果是這樣，則服務(wù)節(jié)點不應(yīng)取代這些位置上的像素，因為它們?nèi)绻挥诰跋裰辛硪粋€圖像的后面，則它們在實際生活中將不顯示出來。
步驟811上，服務(wù)節(jié)點接著將更改后的幀傳輸至輸出端口上，該更改后的圖像將最終傳送至預(yù)約用戶端。本發(fā)明的優(yōu)選實施例中，在傳輸出更改后的圖像之前，服務(wù)節(jié)點先壓縮這更改后的圖像。
步驟801-811的處理是可取地對視頻流中的每一幀進行的，不斷重復(fù)，直至視頻流結(jié)束，或者接收到一個命令停止替換視頻流中的圖像。
現(xiàn)在，回到圖5上，步驟507中，服務(wù)節(jié)點可取地在一個寬帶網(wǎng)上傳輸出修改的視頻圖像。在另外的實施例中，預(yù)約用戶將修改的視頻流傳輸至電視機之類的設(shè)備上，用以顯示或存儲更改后的視頻流。
圖6示出一個另一種方法的流程圖，用于動態(tài)修改一個數(shù)字視頻圖像。在圖6示明的另一種實施例中，一個服務(wù)節(jié)點上發(fā)生如圖1和圖2中所示明那樣的處理。另外，該處理能夠如上面圖3和圖4中所示明那樣發(fā)生在預(yù)約用戶端上。
圖6示出本發(fā)明的一個實施例，它在標志出用于數(shù)字廣告牌或產(chǎn)品布置目的的一個圖像上起作用。按照本發(fā)明的此實施例，步驟601上，一個計算裝置在一個數(shù)字視頻圖像上標志一個原始的元素。原始的元素包括一部分數(shù)字視頻圖像。此種原始的元素可以是一個廣告牌、商店鋪面、物品或是任何其它數(shù)字圖像部分。做到這一點可以應(yīng)用鍵控技術(shù)、基準點技術(shù)或是與攝像機運動和鏡頭調(diào)整相鏈接的場景探測。
步驟603上，服務(wù)節(jié)點檢索與第一用戶相關(guān)聯(lián)的一個第一文檔。該第一文檔中包括有涉及該第一用戶之所需特性所從屬的信息。
步驟605上，服務(wù)節(jié)點根據(jù)至少一部分第一文檔選擇一個替換圖像。該替換圖像可根據(jù)各種推測來選定。選擇替換圖像的一種方法中包括了根據(jù)用戶文檔來選擇一個替換圖像。替換圖像可以根據(jù)人口統(tǒng)計信息、日期時間、父輩定額代碼(parental rating code)、廣告信息或地區(qū)信息等進行選擇。
步驟607上，參照上面對圖8所述的類同方式，服務(wù)節(jié)點通過用替換圖像取代掉原始的元素來修改數(shù)字視頻圖像，以產(chǎn)生出一個動態(tài)修改的視頻圖像。然后，動態(tài)修改的視頻圖像可取地傳輸至一個在顯示或存儲視頻圖像中起作用的裝置上。
圖7示出一個優(yōu)選方法的流程圖700，用于在一個數(shù)字視頻流中提供出目標的產(chǎn)品布置。圖7中示明的實施例是一種方法，用于以一個替換圖像替代數(shù)字視頻流中的一個原始元素。圖7中示明的方法在服務(wù)節(jié)點上可取地按圖1和圖2中所示那樣來完成，但也能另外地按圖3和圖4中所示那樣在諸如預(yù)約用戶端上完成。
步驟701上，服務(wù)節(jié)點接收一個包括有原始元素的數(shù)字視頻流。該原始元素中可取地包括一部分數(shù)字視頻流。原始元素可取地由基準點規(guī)定出。如這里所使用的，術(shù)語基準點是指應(yīng)用來標志一個離散元素的諸參考點。例如，基準點可以是一個目標各個角上的點。基準點也可以用圖像中的諸個像素位置來規(guī)定出。又，基準點可以是一種特定的彩色。例如，數(shù)字視頻圖像中的一塊背景廣告牌可以有一種特定的彩色，諸如是綠色?？梢詫⒋司G色色檢索作一種基準點，以指明廣告牌的該綠色區(qū)域上隨后要被一個替換圖像取代掉。提供出基準點的另一種方法可以利用目標位置之每個角上的灰色半球，各個灰色半球有一個預(yù)定的彩色影調(diào)，諸如是50％灰度。
步驟703上，由服務(wù)節(jié)點確定出要插入至數(shù)字視頻流中的一個替換圖像。這種確定可取地基于至少一部分用戶文檔。用戶文檔中包括有與用戶相關(guān)聯(lián)的信息，諸如人口統(tǒng)計信息、日期時間信息、廣告信息、地區(qū)信息或者父輩許可信息。
步驟705上，服務(wù)節(jié)點從圖像數(shù)據(jù)庫中檢索替換圖像，并在步驟707上，用替換圖像替代原始的元素以形成更改后的視頻流。可參照上面對圖8說明中那樣類同的方式來完成這一工作。
步驟709上，服務(wù)節(jié)點將更改后的視頻流通過一個寬帶網(wǎng)傳輸至能顯示或存儲該更改后視頻流的一個裝置上。
因此，本發(fā)明提供出一種方法和裝置，能解決先有技術(shù)中有關(guān)問題。本發(fā)明提供出了一種動態(tài)修改數(shù)字視頻圖像的方法和裝置。借助于根據(jù)與一個用戶相關(guān)聯(lián)的一種用戶文檔來修改視頻流，可以提供出為該用戶作了修正的、一個更改后的視頻流。
本發(fā)明能夠按多樣的方式來應(yīng)用，它們包括，但不限制于目標產(chǎn)品布置；目標廣告；要接收的合適圖像的父輩篩選；根據(jù)廣告費率或預(yù)約用戶數(shù)目確定的動態(tài)廣告；根據(jù)諸如人口統(tǒng)計信息或地區(qū)位置之類因素的動態(tài)廣告；以及其中需要有一部分視頻流更改的許多種其它應(yīng)用。
雖然，依據(jù)某些例子已經(jīng)說明了本發(fā)明，但并不意在限制上面的說明內(nèi)容，而是以下面權(quán)利要求書中提出的范圍為準的。
權(quán)利要求
1．一種用于根據(jù)一個用戶文檔動態(tài)修改一部分數(shù)字視頻圖像的方法，該方法包括步驟接收一個數(shù)字視頻圖像；檢索一個與第一用戶相關(guān)聯(lián)的第一文檔，該第一文檔包含涉及該第一用戶的從屬于所需特性的信息；根據(jù)該所需特性用一個替換數(shù)字圖像動態(tài)修改一部分數(shù)字視頻圖像，以產(chǎn)生一個動態(tài)修改的視頻圖像。
2．按照權(quán)利要求1的動態(tài)修改一部分數(shù)字視頻圖像的方法，該方法還包括有傳輸出修改的視頻圖像的步驟。
3．按照權(quán)利要求1的動態(tài)修改一部分數(shù)字視頻圖像的方法，其中，第一文檔中包括從屬于接收修改的視頻圖像的用戶的信息。
4．按照權(quán)利要求1的動態(tài)修改一部分數(shù)字視頻圖像的方法，其中，第一文檔中包括有人口統(tǒng)計信息。
5．按照權(quán)利要求1的動態(tài)修改一部分數(shù)字視頻圖像的方法，其中，第一文檔中包括有日期時間信息。
6．按照權(quán)利要求1的動態(tài)修改一部分數(shù)字視頻圖像的方法，其中，第一文檔中包括有廣告信息。
7．按照權(quán)利要求1的動態(tài)修改一部分數(shù)字視頻圖像的方法，其中，第一文檔中包括有地區(qū)信息。
8．按照權(quán)利要求1的動態(tài)修改一部分數(shù)字視頻圖像的方法，其中，第一文檔中包括有父輩許可信息。
9．一種動態(tài)修改一個數(shù)字視頻圖像的方法，該方法中包括有步驟標志出一個數(shù)字視頻圖像中的一個原始元素，該原始元素中包括一部分數(shù)字視頻圖像；檢索與一個第一用戶相關(guān)聯(lián)的第一文檔，該第一文檔包括有涉及該第一用戶之所需特性所從屬的特性；根據(jù)至少一部分該第一文檔選擇一個替換圖像；以及通過用替換圖像替代原始的元素以修改該數(shù)字視頻圖像，產(chǎn)生出動態(tài)修改的視頻圖像。
10．按照權(quán)利要求9的動態(tài)修改一個數(shù)字視頻圖像的方法，其中，選擇一個替換圖像的步驟中包括有根據(jù)第一文檔來選擇一個替換圖像。
11．按照權(quán)利要求9的動態(tài)修改一個數(shù)字視頻圖像的方法，其中，選擇一個替換圖像的步驟中包括有根據(jù)人口統(tǒng)計信息來選擇一個替換圖像。
12．按照權(quán)利要求9的動態(tài)修改一個數(shù)字視頻圖像的方法，其中，選擇一個替換圖像的步驟中包括有根據(jù)日期時間來選擇一個替換圖像。
13．按照權(quán)利要求9的動態(tài)修改一個數(shù)字視頻圖像的方法，其中，選擇一個替換圖像的步驟中包括有根據(jù)父輩定額代碼來選擇一個替換圖像。
14．按照權(quán)利要求9的動態(tài)修改一個數(shù)字視頻圖像的方法，其中，選擇一個替換圖像的步驟中包括有根據(jù)廣告信息來選擇一個替換圖像。
15．按照權(quán)利要求9的動態(tài)修改一個數(shù)字視頻圖像的方法，其中，選擇一個替換圖像的步驟中包括有根據(jù)地區(qū)信息來選擇一個替換圖像
16．一種在一個數(shù)字視頻流提供出目標產(chǎn)品布置的方法，該方法包括有步驟接收一個包括有原始元素的數(shù)字視頻流，該原始元素中包括一部分數(shù)字視頻流；至少部分根據(jù)與一個第一用戶相關(guān)聯(lián)的第一文檔，確定出應(yīng)插入至數(shù)字視頻流中的一個替換圖像；檢索該替換圖像；用該替換圖像替代原始的元素，以形成一個更改后的視頻流；以及將更改后的視頻流通過一個寬帶網(wǎng)進行傳輸。
17．按照權(quán)利要求16的在一個視頻流內(nèi)提供出目標產(chǎn)品布置的方法，其中，確定出應(yīng)插入的一個替換圖像的步驟中包括有至少部分根據(jù)人口統(tǒng)計信息來確定出應(yīng)插入之產(chǎn)品圖像的步驟。
18．按照權(quán)利要求16的在一個視頻流內(nèi)提供出目標產(chǎn)品布置的方法，其中，確定出應(yīng)插入的一個替換圖像的步驟中包括有至少部分根據(jù)日期時間信息來確定出應(yīng)插入之產(chǎn)品圖像的步驟。
19．按照權(quán)利要求16的在一個視頻流內(nèi)提供出目標產(chǎn)品布置的方法，其中，確定出應(yīng)插入的一個替換圖像的步驟中包括有至少部分根據(jù)廣告信息來確定出應(yīng)插入之產(chǎn)品圖像的步驟。
20．按照權(quán)利要求16的在一個視頻流內(nèi)提供出目標產(chǎn)品布置的方法，其中，確定出應(yīng)插入的一個替換圖像的步驟中包括有至少部分根據(jù)地區(qū)信息來確定出應(yīng)插入之產(chǎn)品圖像的步驟。
21．按照權(quán)利要求16的在一個視頻流提供出目標產(chǎn)品布置的方法，其中，確定出應(yīng)插入的一個替換圖像的步驟中包括有至少部分根據(jù)父輩許可信息來確定出應(yīng)插入之產(chǎn)品圖像的步驟。
22．按照權(quán)利要求16的在一個視頻流內(nèi)提供出目標產(chǎn)品布置的方法，其中，原始的元素是由基準點規(guī)定的。
23．按照權(quán)利要求22的在一個視頻流內(nèi)提供出目標產(chǎn)品布置的方法，其中，各基準點是處于數(shù)字視頻流內(nèi)的灰度半球。
24．一種用于處理一個數(shù)字視頻流的服務(wù)節(jié)點，服務(wù)節(jié)點中包括一個輸入端口，它在接收一個包括有原始元素的數(shù)字視頻流中起作用；一個控制端口，用于訪問一個用戶數(shù)據(jù)庫和一個圖像數(shù)據(jù)庫；一個視頻處理器，它包括一個數(shù)字信號處理器(DSP)、存儲器和一個控制處理器，控制處理器在根據(jù)至少一部分用戶文檔而作出從用戶數(shù)據(jù)庫中檢索要插入之產(chǎn)品圖像的決定中起作用，控制處理器又在從圖像數(shù)據(jù)庫中檢索替換圖像中起作用，DSP在計算變換和選擇性地覆寫掉原始的元素上起作用，DSP還在將替換圖像存儲入存儲器中時起作用，DSP又在用替換圖像取代原始的元素以產(chǎn)生一個更改的視頻流中起作用；以及一個輸出端口，它在傳輸出更改的視頻流中起作用。
25．按照權(quán)利要求24中處理一個數(shù)字視頻流用的服務(wù)節(jié)點，其中，存儲器是一個幀緩存器。
26．按照權(quán)利要求24中處理一個數(shù)字視頻流用的服務(wù)節(jié)點上，還包括一個在控制視頻處理器之工作中作用的主處理器。
27．按照權(quán)利要求24中處理一個數(shù)字視頻流用的服務(wù)節(jié)點，其中，用戶數(shù)據(jù)庫中包括有人口統(tǒng)計信息。
28．按照權(quán)利要求24中處理一個數(shù)字視頻流用的服務(wù)節(jié)點，其中，用戶數(shù)據(jù)庫中包括有日期時間信息。
29．按照權(quán)利要求24中處理一個數(shù)字視頻流用的服務(wù)節(jié)點，其中，用戶數(shù)據(jù)庫中包括有廣告信息。
30．按照權(quán)利要求24中處理一個數(shù)字視頻流用的服務(wù)節(jié)點，其中，用戶數(shù)據(jù)庫中包括有地區(qū)信息。
31．按照權(quán)利要求24中處理一個數(shù)字視頻流用的服務(wù)節(jié)點，其中，用戶數(shù)據(jù)庫中包括有父輩許可信息。
32．一種用于處理視頻流的寬帶網(wǎng)，該寬帶網(wǎng)包括有一個多播路由器，它在接收一個數(shù)字視頻流中起作用；一個服務(wù)節(jié)點，它包括有一個輸入端口，它在接收數(shù)字視頻流中起作用；一個控制端口，用于訪問一個用戶數(shù)據(jù)庫和一個圖像數(shù)據(jù)庫；一個視頻處理器，它包括一個數(shù)字信號處理器、存儲器和一個控制處理器，控制處理器在根據(jù)至少一部分用戶文檔而作出從用戶數(shù)據(jù)庫中檢索要插入之產(chǎn)品圖像的決定中起作用，控制處理器又在從圖像數(shù)據(jù)庫中檢索替換圖像以及將該替換圖像存儲入存儲器中起作用，數(shù)字信號處理器在用替換圖像取代原始的元素以形成一個更改的視頻流中起作用；以及一個輸出端口，它在通過一個寬帶網(wǎng)傳輸出更改的視頻流中起作用；以及一個寬帶訪問網(wǎng)，它在傳送該修改的視頻流上起作用。
33．按照權(quán)利要求32的用于處理視頻流的寬帶網(wǎng)，其中，存儲器是一個幀緩存器。
34．按照權(quán)利要求32的用于處理視頻流的寬帶網(wǎng)，還包括一個在控制視頻處理器之工作中起作用的主處理器。
35．按照權(quán)利要求32的用于處理視頻流的寬帶網(wǎng)，其中，用戶數(shù)據(jù)庫中包括有人口統(tǒng)計信息。
36．按照權(quán)利要求32的用于處理視頻流的寬帶網(wǎng)，其中，用戶數(shù)據(jù)庫中包括有日期時間信息。
37．按照權(quán)利要求32的用于處理視頻流的寬帶網(wǎng)，其中，用戶數(shù)據(jù)庫中包括有廣告信息。
38．按照權(quán)利要求32的用于處理視頻流的寬帶網(wǎng)，其中，用戶數(shù)據(jù)庫中包括有地區(qū)信息。
39．按照權(quán)利要求32的用于處理視頻流的寬帶網(wǎng)，其中，用戶數(shù)據(jù)庫中包括有父輩許可信息。
40．一種用于接收一個數(shù)字視頻流的預(yù)約用戶終端，該預(yù)約用戶終端包括有一個端口，用于接收一個數(shù)字視頻流和預(yù)約用戶數(shù)據(jù)，該預(yù)約用戶數(shù)據(jù)中包括有基于至少一部分用戶文檔得出的替換圖像；以及一個視頻處理器，它包括有一個輸入端口，它在接收一個數(shù)字視頻流中起作用；一個視頻處理器，它包括一個數(shù)字信號處理器和存儲器，該數(shù)字信號處理器在用替換圖像取代原始的元素以形成一個更改的視頻流中起作用；以及一個輸出端口，它在傳輸出更改的視頻信號上起作用。
41．按照權(quán)利要求40的用于接收一個數(shù)字視頻流的預(yù)約用戶終端，其中，存儲器是一個幀緩存器。
42．按照權(quán)利要求40的用于接收一個數(shù)字視頻流的預(yù)約用戶終端，還包括一個在控制視頻處理器之工作中起作用的主處理器。
43．按照權(quán)利要求40的用于接收一個數(shù)字視頻流的預(yù)約用戶終端，其中，用戶數(shù)據(jù)庫中包括有人口統(tǒng)計信息。
44．按照權(quán)利要求40的用于接收一個數(shù)字視頻流的預(yù)約用戶終端，其中，用戶數(shù)據(jù)庫中包括有日期時間信息。
45．按照權(quán)利要求40的用于接收一個數(shù)字視頻流的預(yù)約用戶終端，其中，用戶數(shù)據(jù)庫中包括有廣告信息。
46．按照權(quán)利要求40的用于接收一個數(shù)字視頻流的預(yù)約用戶終端，其中，用戶數(shù)據(jù)庫中包括有地區(qū)信息。
47．按照權(quán)利要求40的用于接收一個數(shù)字視頻流的預(yù)約用戶終端，其中，用戶數(shù)據(jù)庫中包括有父輩許可信息。
48．一種向一個預(yù)約用戶提供出按用戶特性修正視頻服務(wù)的方法，該方法中包括有步驟得到從屬于多個用戶的用戶信息；將多個用戶之每一個的用戶信息存儲入一個用戶數(shù)據(jù)庫中；接收一個視頻流，該視頻流中包括一個其中包括有一部分視頻流的原始元素；檢索與一個第一用戶相關(guān)聯(lián)的用戶信息，該用戶信息中包括有從屬于涉及該第一用戶的所需特性的信息；至少部分根據(jù)該用戶信息，確定出一個要插入至視頻流中的替換圖像；檢索該替換圖像；用替換圖像取代原始的元素以形成一個更改的視頻流；以及將更改的視頻流通過一個寬帶網(wǎng)傳送至第一用戶端。
全文摘要
本發(fā)明提供一種方法和裝置,用于根據(jù)一種用戶文檔動態(tài)修改一個數(shù)字視頻圖像之一部分。諸如一個網(wǎng)絡(luò)饋源或視頻服務(wù)器之類的信息源向?qū)拵ЬW(wǎng)傳送一個數(shù)字視頻圖像。寬帶網(wǎng)中包括一個多播路由器、一個服務(wù)節(jié)點和一個寬帶接入網(wǎng)。多播路由器接收該數(shù)字視頻圖像,將它傳送至一個視頻處理器上。該視頻處理器可以位于服務(wù)節(jié)點中,或是位于連接至該寬帶網(wǎng)上的一個預(yù)約用戶終端中。視頻處理器檢索與一個用戶相關(guān)聯(lián)的一個用戶文檔。
文檔編號H04N7/16GK1324185SQ0111708
公開日2001年11月28日 申請日期2001年4月24日 優(yōu)先權(quán)日2000年4月26日
發(fā)明者查爾斯·卡爾文·拜伊爾斯 申請人:朗迅科技公司