專利名稱：實(shí)時(shí)數(shù)字修改代表原始圖象的視頻數(shù)據(jù)流的方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及數(shù)字圖象處理，更確切地說(shuō)，涉及用于修改實(shí)時(shí)視頻數(shù)據(jù)流的系統(tǒng)和方法，該系統(tǒng)和方法通過(guò)刪除部分原始圖象并替換部分元素創(chuàng)建新圖象而無(wú)需采用傳統(tǒng)的藍(lán)屏技術(shù)。
在動(dòng)畫和視頻界，通常將兩幅或多幅圖象合并為一個(gè)場(chǎng)景。例如，可以將一幅氣象員圖象與另一幅氣象象結(jié)合起來(lái)表示站在氣象圖前面的氣象員。主要采用“藍(lán)屏”處理實(shí)現(xiàn)以上組合圖象技術(shù)，在藍(lán)屏處理中，以純藍(lán)為背景拍攝一幅圖象，并且以第二圖象替換藍(lán)色背景。可以電子或通過(guò)光學(xué)攝影技術(shù)實(shí)現(xiàn)以上替換。
人們對(duì)現(xiàn)有“藍(lán)屏”處理進(jìn)行了各種改進(jìn)。美國(guó)專利No.4,968,132公開(kāi)了一種產(chǎn)生陰陽(yáng)遮片(matte)的移動(dòng)遮片處理過(guò)程，該效果可以在計(jì)算機(jī)上逐幀替換或修改，同時(shí)該遮片可用于在常規(guī)電影攝制或視頻記錄中產(chǎn)生特殊效果而無(wú)需藍(lán)屏背景。此外，在美國(guó)專利No.4,800,432中，一個(gè)視頻差分鍵生成器具有一幅已存儲(chǔ)的參考視頻圖象。利用絕對(duì)差分電路比較輸入視頻圖象與參考視頻圖象，該絕對(duì)差分電路去掉兩幅視頻圖象中不同的對(duì)應(yīng)象素，即從較大的象素中去掉較小的象素，從而產(chǎn)生一幅差分視頻圖象?？梢赃^(guò)濾以上差分視頻圖象，隨后輸入到轉(zhuǎn)換函數(shù)電路以產(chǎn)生一個(gè)輸出，該輸出可以作為合成視頻圖象的關(guān)鍵信號(hào)。
如果能夠?qū)崟r(shí)執(zhí)行以上費(fèi)力費(fèi)時(shí)的功能，如果視頻幀的分析能夠更好地理解各視頻幀內(nèi)的圖象構(gòu)成，并且如果還能完全避免使用藍(lán)屏技術(shù)的話，則以上背景替換方法具有顯著優(yōu)勢(shì)。
本發(fā)明簡(jiǎn)化了從視頻圖象中刪除背景場(chǎng)景并利用備用背景替換以上背景的處理過(guò)程?？梢允褂煤?jiǎn)單PC計(jì)算機(jī)代替現(xiàn)有技術(shù)的復(fù)雜計(jì)算機(jī)系統(tǒng)。在本發(fā)明中，固定攝象機(jī)生成的一系列的視頻幀(或一幀)被拍攝下來(lái)。這些圖象和它們幀與幀之間的細(xì)微變化，諸如高度、顏色、陰影、微小的移動(dòng)以及攝象機(jī)本身產(chǎn)生的正常偏差，都會(huì)從攝象機(jī)傳送給計(jì)算機(jī)，在計(jì)算機(jī)中這些圖象被軟件以實(shí)時(shí)方式分析生成視頻的數(shù)據(jù)描述。如同它是被計(jì)算機(jī)拍攝的。
隨后使用已捕獲視頻的數(shù)學(xué)描述分析同一場(chǎng)景的新的視頻分割，以便確定該場(chǎng)景是否發(fā)生任何變化。相對(duì)于原始數(shù)學(xué)描述而言，將落在預(yù)置容差之內(nèi)的新視頻元素稱為背景。將落在預(yù)置容差以外的新視頻元素稱為前景，并且可以從背景中分離出來(lái)。對(duì)不同前景和背景視頻元素的理解和分離使得能夠修改新的視頻流。
例如，可以將背景改變?yōu)橐粋€(gè)全新圖象，而保留前景不變。背景圖象可任意為所希望的移動(dòng)視頻、位圖或動(dòng)畫之一。
因此，無(wú)須采用藍(lán)屏就能實(shí)現(xiàn)傳統(tǒng)藍(lán)屏處理的功能性。
因此，本發(fā)明的目的在于通過(guò)采用僅有軟件的程序設(shè)計(jì)機(jī)制以實(shí)時(shí)方式從實(shí)況視頻場(chǎng)景中刪除背景圖象，并且利用包含原始前景元素的備用背景圖象以實(shí)時(shí)方式替換以上背景圖象，其中僅有軟件的程序設(shè)計(jì)機(jī)制采用實(shí)況視頻場(chǎng)景元素的數(shù)學(xué)描述而并不采用傳統(tǒng)的藍(lán)屏處理。
因此，本發(fā)明涉及利用計(jì)算機(jī)系統(tǒng)以實(shí)時(shí)方式數(shù)字修改實(shí)況視頻場(chǎng)景的方法，其中計(jì)算機(jī)系統(tǒng)具有一個(gè)存儲(chǔ)器、一個(gè)可視顯示器以及一個(gè)與計(jì)算機(jī)相連的固定攝象機(jī)，以便將來(lái)自攝象機(jī)的視頻信號(hào)傳送到計(jì)算機(jī)，并在計(jì)算機(jī)中形成經(jīng)過(guò)修改的視頻場(chǎng)景。這是通過(guò)以下處理完成的，首先以數(shù)字方式捕獲并且以存儲(chǔ)器的第一數(shù)據(jù)結(jié)構(gòu)數(shù)學(xué)描述實(shí)況視頻場(chǎng)景(以下稱為“參考視圖”)的一幀或幾幀。接著，由計(jì)算機(jī)數(shù)字化并捕獲實(shí)況視頻場(chǎng)景的各后繼幀，用軟件數(shù)學(xué)描述各個(gè)新幀并存儲(chǔ)在存儲(chǔ)器的第二數(shù)據(jù)結(jié)構(gòu)中。利用熟練技術(shù)人員可用的多種信噪處理算法以實(shí)時(shí)方式比較以上第一和第二數(shù)據(jù)結(jié)構(gòu)，并且從最近捕獲的幀中數(shù)學(xué)刪除參考視圖的背景圖象。此外，在該階段中，假定存儲(chǔ)器第三數(shù)據(jù)結(jié)構(gòu)中的不同背景圖象的數(shù)學(xué)描述是可用的，如錄制的視頻、位圖或動(dòng)畫，則可以將其代入第二數(shù)據(jù)結(jié)構(gòu)代替已被刪除的參考視圖的背景圖象，從而創(chuàng)建數(shù)字化幀的新的數(shù)學(xué)描述。最后，將該幀的數(shù)學(xué)描述轉(zhuǎn)換回視頻信號(hào)并在可視顯示器上顯示，或者傳送到諸如視頻會(huì)議參與者或捕獲文件之類的任何適當(dāng)目的。因此，以上處理的結(jié)果得到以下現(xiàn)象原始視頻場(chǎng)景(參考視圖)中的任何前景元素現(xiàn)在被疊加到一個(gè)創(chuàng)建新圖象的不同背景上。
結(jié)合以下最佳實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的上述特點(diǎn)和其他特點(diǎn)將會(huì)更加顯示出來(lái)，其中相同數(shù)字表示相同元素，附圖為

圖1(A)-(D)分別表示顯示參考視圖時(shí)的顯示屏幕，顯示數(shù)學(xué)刪除參考視圖后的黑色(空白)屏幕，檢測(cè)到新前景元素的黑色屏幕，以及利用先前的前景視圖代替參考視圖形成新圖象的置換視圖；圖2概要表示獲取圖1所示屏幕的方式；圖3表示算術(shù)布爾異或運(yùn)算，該運(yùn)算匹配兩組待匹配布爾數(shù)據(jù)集之間的重復(fù)位值，布爾數(shù)據(jù)表示以標(biāo)準(zhǔn)數(shù)字?jǐn)?shù)據(jù)格式存儲(chǔ)的參考視圖，其中把參考視圖與表示實(shí)況視頻場(chǎng)景的數(shù)據(jù)進(jìn)行數(shù)字比較，以便僅留下并未在兩個(gè)場(chǎng)景中同時(shí)出現(xiàn)的數(shù)據(jù)；以及圖4是一個(gè)流程圖，該圖表示本發(fā)明的創(chuàng)新步驟。
圖1(A)-(D)表示本發(fā)明之創(chuàng)新處理中的基本步驟。在圖1(A)中，捕獲并在計(jì)算機(jī)的可視顯示器上顯示一幅參考視圖。參考視圖被定義為存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)單元之?dāng)?shù)據(jù)結(jié)構(gòu)中的一系列有限數(shù)字化視頻幀的數(shù)學(xué)描述。參考視圖被用作典型視頻場(chǎng)景，以便從隨后捕獲的數(shù)字視頻幀中分離出前景元素和背景元素。根據(jù)所選擇的算法，一幅參考視圖可以由一幅或多幅數(shù)字化視頻幀組成。
通過(guò)比較參考視圖，從已捕獲的各幀中數(shù)學(xué)刪除同一視圖的后繼視頻場(chǎng)景。如圖1(B)所示，修改算法的參數(shù)(或者手工或者利用軟件自動(dòng))直至顯示屏幕完全空白(在此案例中選擇黑色，但是可以輕而易舉地選擇白色或任何其他顏色)，空白表示以實(shí)時(shí)方式從數(shù)字化視頻流中完全刪除參考視圖。
圖1(C)所示的屏幕表示當(dāng)某人進(jìn)入攝象機(jī)捕獲的場(chǎng)景時(shí)達(dá)到的效果。由于該人并不是參考視圖的一部分，所以軟件處理認(rèn)為他是前景元素，并以疊加在黑色背景前方的方式出現(xiàn)。該軟件以實(shí)時(shí)方式從數(shù)字化視頻流中數(shù)學(xué)刪除除該人之外的所有場(chǎng)景。
圖1(D)表示利用備用視圖替換已刪除的參考視圖的能力?？梢岳糜?jì)算機(jī)圖形、動(dòng)畫或視頻數(shù)字替換參考視圖，以得到該人位于備用視圖前方的現(xiàn)像。因此，圖1(D)所示的結(jié)果表示如何數(shù)字重排前景元素和背景元素以產(chǎn)生一幅新圖象。
圖2表示用于創(chuàng)建以上新圖象的本發(fā)明的裝置。參考視圖10包括一張桌子12和一把椅子14，桌子12和椅子14被定義為攝象機(jī)16捕獲的可視圖象。為了獲得最佳效果，以上參考視圖應(yīng)沒(méi)有多余動(dòng)作并且應(yīng)利用固定的、全局強(qiáng)光照明設(shè)備照明。
必須將攝象機(jī)16安裝在一個(gè)固定位置，并且與個(gè)人計(jì)算機(jī)18相連。個(gè)人計(jì)算機(jī)18包括安裝攝象機(jī)以及攝象機(jī)運(yùn)行時(shí)所需的適當(dāng)視頻軟件和硬件。視頻軟件可以包括操作系統(tǒng)視頻驅(qū)動(dòng)程序、壓縮程序、解壓縮程序以及諸如視頻會(huì)議或視頻編輯軟件之類的應(yīng)用軟件。個(gè)人計(jì)算機(jī)18對(duì)捕獲的參考視頻進(jìn)行數(shù)字化，將其存儲(chǔ)在利用部件19示意表示的存儲(chǔ)器的第一單元，并進(jìn)行顯示。個(gè)人計(jì)算機(jī)18包含在其隨機(jī)存取存儲(chǔ)器(也利用部件19示意表示)中運(yùn)行的軟件系統(tǒng)。當(dāng)表示部分參考視圖的各幀出現(xiàn)時(shí)，軟件系統(tǒng)從攝象機(jī)16捕獲視頻信號(hào)。正如參數(shù)20所示，捕獲各后繼幀。為了獲得出眾的結(jié)果，正在被攝象機(jī)16拍攝的場(chǎng)景應(yīng)沒(méi)有移動(dòng)并有良好照明。軟件的參考階段20建立一組任何熟練技術(shù)人員均可輕易理解的數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)包含表示場(chǎng)景、照明動(dòng)力以及由攝象機(jī)接收器引起的象素值中的偏差的值。可以調(diào)整參考階段，以便表現(xiàn)最佳場(chǎng)景。
在計(jì)算機(jī)的監(jiān)視器22上顯示參考場(chǎng)景10，以方便操作員調(diào)整。該軟件也可供自動(dòng)調(diào)整之用。階段24表示軟件系統(tǒng)的刪除階段，軟件系統(tǒng)的刪除階段從捕獲的視頻信號(hào)中數(shù)學(xué)刪除參考視圖，從而在計(jì)算機(jī)的監(jiān)視器22上留下空白視圖27(這里用黑色表示)。刪除階段要求對(duì)表示視頻場(chǎng)景的各捕獲幀的數(shù)據(jù)執(zhí)行多遍信噪處理算法(周知技術(shù))，以創(chuàng)建視覺(jué)上可接受的空白視圖27?！耙曈X(jué)上可接受的”被定義為一幅穩(wěn)定的單色(這里選擇黑色)視頻圖象。
軟件的置換階段28允許以實(shí)時(shí)方式在合成的視頻信號(hào)上置換選擇的背景圖象。在用部件19示意表示的另一計(jì)算機(jī)存儲(chǔ)單元中存儲(chǔ)置換場(chǎng)景32，置換場(chǎng)景32可以為移動(dòng)視頻、位圖或動(dòng)畫?？梢詫⑷魏晤愋偷目梢晥D象或圖象組放置在空白視圖上。將置換圖象逐象素映射到刪除參考視圖時(shí)留下的空白象素。由于各象素從相同坐標(biāo)系映射到參考視圖，所以可按預(yù)期方式顯示置換圖象。如圖所示，隨后在計(jì)算機(jī)的監(jiān)視器22上顯示新的置換視圖32。
現(xiàn)在操作員34進(jìn)入攝象機(jī)的視野，從而向捕獲的視頻場(chǎng)景33增加了一個(gè)新元素。由同一攝象機(jī)16捕獲以上視頻場(chǎng)景。在部件19中的另一計(jì)算機(jī)存儲(chǔ)單元中存儲(chǔ)表示視頻場(chǎng)景33的輸入視頻信號(hào)，并在計(jì)算機(jī)18的監(jiān)視器22上顯示。該信號(hào)傳送到數(shù)字40表示的遮擋(matting)階段并被處理，從而僅在置換視圖32上顯示位于實(shí)況場(chǎng)景33與原始參考視圖10之可調(diào)容差內(nèi)的數(shù)學(xué)偏差(在此案例中，人員34)，這樣將其變換為新圖象。顯示監(jiān)視器22上顯示的新圖象包括備用場(chǎng)景32和添加的人員34。如果該操作員所穿衣服的顏色恰恰與參考視圖10中正后面的顏色不一致，則獲得最佳結(jié)果。該結(jié)果與藍(lán)屏處理的結(jié)果類似，并且可能引起漏過(guò)(bleed-through)效果。然而，與藍(lán)屏處理不同，軟件內(nèi)的某些參數(shù)(由于它理解場(chǎng)景內(nèi)的可視元素)可以計(jì)算出漏過(guò)效果的百分比并刪除它。
如前所述，可以輕而易舉地將能夠置換參考視圖的備用場(chǎng)景換入或換出視頻流。該處理可以很好地?fù)Q算到彩色視頻，盡管由于較大的顏色數(shù)據(jù)需求而要求PC的中央處理器比較大?？梢詫⒁苿?dòng)視頻背景替換到表現(xiàn)辦公會(huì)議的實(shí)況視頻場(chǎng)景中。
圖3表示所有熟練技術(shù)人員周知的過(guò)分簡(jiǎn)單化的布爾異或排列，異或排列匹配兩組待匹配二進(jìn)制數(shù)據(jù)集之間的重復(fù)位值，本處理中利用這一概念獲取空白視圖。把行A的8比特看作存儲(chǔ)的參考視圖，而把行B的8比特看作從隨后捕獲的輸入視頻中捕獲的一幀。如果行B的8比特與行A的8比特相同并須經(jīng)異或運(yùn)算，則輸出將全為零，即產(chǎn)生一空白幀。假設(shè)行B表示圖2所示的視頻場(chǎng)景33的8比特并在計(jì)算機(jī)的顯示器22上顯示，通過(guò)在行A與行B之間進(jìn)行異或運(yùn)算，得到行C。請(qǐng)注意，與參考視圖相比，視頻場(chǎng)景中存在變化的地方才存在所示數(shù)據(jù)。因此，唯一顯示的信息是由位3、位5和位8表示的數(shù)據(jù)的變化。
因此，作為總結(jié)，將參考視圖捕獲到行A內(nèi)并且以標(biāo)準(zhǔn)數(shù)字?jǐn)?shù)據(jù)格式存儲(chǔ)。然后須與行B所示的表示同一視圖之實(shí)況視頻場(chǎng)景的數(shù)據(jù)進(jìn)行異或運(yùn)算。這樣從實(shí)況視頻的各幀中去掉兩個(gè)場(chǎng)景中同時(shí)出現(xiàn)的公共數(shù)據(jù)。在理想世界中，該操作是獲取完美遮擋效果需要的唯一操作。然而，在現(xiàn)實(shí)中，由于光照、陰影隨時(shí)間變化，參考視圖中的微小移動(dòng)以及CCD攝象機(jī)在連續(xù)幀之間的象素上的數(shù)字量化結(jié)果，為了分離前景元素和背景元素，必須對(duì)該數(shù)據(jù)多次應(yīng)用一整套的高級(jí)信噪處理算法。反復(fù)使用以上一整套算法對(duì)熟練技術(shù)人員而言是眾所周知的。
圖4表示本發(fā)明的創(chuàng)新處理過(guò)程。因此，該處理在步驟46開(kāi)始。在步驟48，將表示實(shí)況視頻的數(shù)據(jù)從諸如攝象機(jī)之類的輸入設(shè)備發(fā)送到諸如PC之類的計(jì)算設(shè)備。在該P(yáng)C內(nèi)，將其轉(zhuǎn)換為表示模擬數(shù)據(jù)的數(shù)字(如果攝象機(jī)沒(méi)有進(jìn)行該轉(zhuǎn)換的話)，并傳送到存儲(chǔ)單元中的典型數(shù)據(jù)結(jié)構(gòu)中。這就是捕獲的參考視圖。
在步驟50，該步驟為判定步驟，確定是否捕獲到正確場(chǎng)景。如果沒(méi)有捕獲到正確場(chǎng)景，則該處理沿52回到步驟48，直至捕獲到正確場(chǎng)景。該處理由軟件的操作員觀察確定。
當(dāng)捕獲到正確場(chǎng)景時(shí)，在步驟54，利用在步驟48中最初存儲(chǔ)的參考視圖中的數(shù)據(jù)，對(duì)來(lái)自當(dāng)前視頻輸入的數(shù)字化的各捕獲幀應(yīng)用一連串的算法。以上算法試圖匹配各幀內(nèi)對(duì)應(yīng)位置的象素的色度和輝度值與步驟48中作為參考視圖而最初存儲(chǔ)的對(duì)應(yīng)色度和輝度象素。當(dāng)確定一個(gè)匹配時(shí)，將該幀內(nèi)的象素位置標(biāo)記為空白。
由于將模擬數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)時(shí)的光照、陰影、移動(dòng)以及量化結(jié)果內(nèi)的偏差，故與后繼各幀內(nèi)同一視圖相對(duì)應(yīng)的象素值可能改變。因此，創(chuàng)建表示以上全部信息的數(shù)據(jù)結(jié)構(gòu)，并由存儲(chǔ)器內(nèi)的軟件維護(hù)。隨后，對(duì)輸入的視頻數(shù)據(jù)應(yīng)用復(fù)雜的眾所周知的信號(hào)處理算法，即“過(guò)濾器”，以便在各幀之間進(jìn)行匹配時(shí)精確地標(biāo)識(shí)各象素，從而將其標(biāo)記為空白。用這種方法，從捕獲到的視頻場(chǎng)景中刪除了在步驟48捕獲的參考視圖。對(duì)輸入的視頻數(shù)據(jù)的各捕獲幀重復(fù)該處理。在判定步驟56，確定是否從捕獲到的視頻中完全刪除了參考視圖?？梢允止ふ{(diào)節(jié)或利用軟件自動(dòng)調(diào)節(jié)背景刪除等級(jí)，以便從當(dāng)前視頻輸入中刪除最大數(shù)量的參考視圖。如果并未完全刪除該場(chǎng)景，則該處理沿58返回到步驟54。如果軟件或操作員確定參考視圖被充分刪除，則該處理沿60移動(dòng)到步驟64，在步驟64隨著用戶進(jìn)入攝象機(jī)的視野，場(chǎng)景被改變。通常在該步驟中，某人(在攝制界中稱為人物“(talent)”)進(jìn)入攝象機(jī)正在捕獲的場(chǎng)景中。由于人物象素?cái)?shù)據(jù)并不是參考視圖的一部分，所以該軟件判明人物象素值與原始象素值不匹配，并把他們看作是前景元素。人物象素沒(méi)有被刪除，并出現(xiàn)在圖1(C)所示視頻的空白幀內(nèi)。在步驟66，可以對(duì)捕獲到的視頻輸入應(yīng)用額外的信噪處理算法，以便增強(qiáng)圖1(C)所示空白幀中的人物或“主角”圖象。這些過(guò)濾器可以是非常完善的。例如，如果人物的領(lǐng)帶與圖1(A)所示參考視圖中的背景的顏色匹配，則觀察到“漏過(guò)”。然而，通過(guò)應(yīng)用適當(dāng)?shù)倪^(guò)濾算法，根據(jù)前景元素包圍領(lǐng)帶這一事實(shí)，可以由該軟件進(jìn)行復(fù)雜推測(cè)以阻止將領(lǐng)帶標(biāo)記為空白(由于它匹配領(lǐng)帶正后面的參考視圖的象素?cái)?shù)據(jù))。這是諸如色度鍵和最終遮擋(ultimatte)之類的傳統(tǒng)廣播技術(shù)不能達(dá)到的重要特征。可以手工或利用軟件自動(dòng)實(shí)現(xiàn)以上過(guò)濾器。
在步驟68，如果人物的圖象是可以接受的，則該處理前進(jìn)到步驟72。否則，該處理沿70返回到步驟66，在步驟66繼續(xù)執(zhí)行過(guò)濾器直至在步驟68正確顯示該人物。
當(dāng)在步驟68正確顯示該人物時(shí)，該處理前進(jìn)到步驟72，在步驟72可以利用備用背景替換視頻場(chǎng)景的空白部分。以上新圖象可以為能夠在計(jì)算機(jī)系統(tǒng)內(nèi)數(shù)字表示的任何圖形圖象，并將創(chuàng)建人物在新背景之前的錯(cuò)覺(jué)。通過(guò)以逐幀為基礎(chǔ)利用新圖象的對(duì)應(yīng)象素替換對(duì)應(yīng)的空白象素，實(shí)現(xiàn)新圖象的替換。利用這種技術(shù)，如果人物移動(dòng)，則將顯示他在新背景之前移動(dòng)。背景可以為能夠逐幀處理的事先錄制的視頻。這樣得到在移動(dòng)背景之前的人物效果。
如果會(huì)話期在步驟74結(jié)束，則處理在步驟78停止。如果會(huì)話并未結(jié)束，則處理沿76移動(dòng)，回到步驟72。
因此，公開(kāi)了一種創(chuàng)新系統(tǒng)，該系統(tǒng)能利用選擇的背景實(shí)時(shí)替換輸入視頻信號(hào)的指定背景部分。該系統(tǒng)利用參考視圖的實(shí)際背景圖象作為基礎(chǔ)，創(chuàng)建一幅其最終結(jié)果可以與諸如色度鍵和最終遮擋技術(shù)之類的傳統(tǒng)藍(lán)屏處理相比的新的視頻圖象，但是只需要一臺(tái)個(gè)人計(jì)算機(jī)、一部攝象機(jī)和軟件。然而，在此案例中，背景圖象可以為攝象機(jī)捕獲的具有充足固定光源的任何合理的靜態(tài)場(chǎng)景。以實(shí)時(shí)方式修改視頻流，隨后傳送到其原始目的。
權(quán)利要求書中的相應(yīng)結(jié)構(gòu)、部件、動(dòng)作及功能或步驟加功能性描述的等同物目的在于包括用于完成這些功能的任何結(jié)構(gòu)、部件或動(dòng)作。
權(quán)利要求
1.一種用包括一個(gè)存儲(chǔ)器和一個(gè)可見(jiàn)顯示屏幕的計(jì)算機(jī)系統(tǒng)實(shí)時(shí)對(duì)代表原始圖象的視頻數(shù)據(jù)流進(jìn)行數(shù)字化替換的方法，以便去除部分原始視頻圖象并替換新元素來(lái)創(chuàng)建一個(gè)新視頻圖象，該方法包括以下步驟在所述計(jì)算機(jī)存儲(chǔ)器之第一存儲(chǔ)單元中的一個(gè)數(shù)據(jù)結(jié)構(gòu)中，至少存儲(chǔ)表示第一輸入視頻數(shù)據(jù)流中所述原始圖象的一幀數(shù)據(jù)；在所述顯示器上顯示所述已存儲(chǔ)的原始圖象；從表示后來(lái)已改變的原始圖象的第二輸入視頻數(shù)據(jù)流中捕獲實(shí)時(shí)視頻，并在所述計(jì)算機(jī)存儲(chǔ)器之第二存儲(chǔ)單元中的一個(gè)數(shù)據(jù)結(jié)構(gòu)中存儲(chǔ)表示所述已改變的原始圖象的數(shù)據(jù)；比較表示具有改變的所述原始圖象的第二視頻數(shù)據(jù)流中的數(shù)據(jù)與所述已存儲(chǔ)的原始圖象視頻數(shù)據(jù)，以區(qū)別背景元素和前景元素；刪除所述已存儲(chǔ)的原始圖象與后來(lái)已改變的原始圖象的公共背景元素，只留下所述后來(lái)已改變的原始圖象的前景元素；利用備用背景替換元素替換所述后來(lái)已改變的原始圖象的所述背景元素；以及僅在所述備用背景替換元素上顯示所述后來(lái)已改變的原始圖象中的前景元素，以形成所述新圖象。
2.權(quán)利要求1的方法還包括以下步驟利用一部固定攝象機(jī)，以所述第一輸入視頻數(shù)據(jù)的方式獲取所述原始圖象，并且以第二輸入視頻數(shù)據(jù)的方式獲取所述后來(lái)已改變的原始圖象；將所述攝象機(jī)之第一和第二輸入視頻數(shù)據(jù)耦合到所述計(jì)算機(jī)；以及將所述原始圖象的所述第一輸入視頻數(shù)據(jù)以及所述第二實(shí)時(shí)視頻數(shù)據(jù)流的所述第二輸入視頻數(shù)據(jù)數(shù)字化，以便分別在所述存儲(chǔ)器之第一存儲(chǔ)單元和第二存儲(chǔ)單元中存儲(chǔ)。
3.權(quán)利要求2的方法還包括以下步驟使所述原始圖象免于移動(dòng)；以及對(duì)所述原始圖象進(jìn)行充足照明處理，以便在比較所述數(shù)字化的第二實(shí)時(shí)輸入視頻數(shù)據(jù)流與所述已存儲(chǔ)的數(shù)字化的原始圖象時(shí)，能夠檢測(cè)和分割背景元素和前景元素。
4.權(quán)利要求3的方法還包括以下步驟利用所述攝象機(jī)中的象素接收器創(chuàng)建所述第一和第二視頻信號(hào)，一個(gè)象素接收器生成一個(gè)輸出信號(hào)，輸出信號(hào)包含表示第一輸入視頻數(shù)據(jù)流攜帶的已存儲(chǔ)的原始圖象和第二視頻數(shù)據(jù)流攜帶的已存儲(chǔ)的實(shí)時(shí)輸入原始圖象的值；以及在所述存儲(chǔ)器中創(chuàng)建第一組數(shù)據(jù)結(jié)構(gòu)，以便存儲(chǔ)來(lái)自所述象素接收器的值，該值表示原始圖象中的偏差，原始圖象照明動(dòng)力中的偏差，以及由生成表示所述原始圖象的第一輸入視頻數(shù)據(jù)流的攝象機(jī)象素接收器造成的象素信號(hào)值中的偏差。
5.權(quán)利要求4的方法，其中比較表示所述已改變的原始圖象的第二實(shí)時(shí)視頻數(shù)據(jù)流中的視頻數(shù)據(jù)與已存儲(chǔ)的原始圖象的數(shù)據(jù)的步驟還包括以下步驟在所述存儲(chǔ)器中創(chuàng)建第二組數(shù)據(jù)結(jié)構(gòu)，以便存儲(chǔ)表示以下偏差的數(shù)據(jù)，即第二實(shí)時(shí)原始圖象中的偏差，照明動(dòng)力中的偏差，以及由第二實(shí)時(shí)原始圖象的攝象機(jī)象素接收器造成的象素信號(hào)值中的信號(hào)偏差。比較存儲(chǔ)在所述第二實(shí)時(shí)原始圖象之所述第二數(shù)據(jù)結(jié)構(gòu)中的所述數(shù)據(jù)的象素值與存儲(chǔ)在所述第一數(shù)據(jù)結(jié)構(gòu)中的對(duì)應(yīng)象素?cái)?shù)據(jù)值，以便確定所述第二實(shí)時(shí)原始圖象中的前景元素和背景元素。
6.權(quán)利要求5的方法還包括以下步驟比較表示所述已改變的原始圖象的所述第二實(shí)時(shí)視頻數(shù)據(jù)流中的數(shù)據(jù)與已存儲(chǔ)的原始圖象數(shù)據(jù)；以及生成只表示所述前景元素的信號(hào)，以便在所述備用背景替換元素上顯示。
7.權(quán)利要求6的方法還包括以下步驟將一個(gè)人添加到所述第二實(shí)時(shí)視頻數(shù)據(jù)流，以便替換至少一部分所述原始圖象。
8.權(quán)利要求6的方法，其中形成所述備用替換圖象的步驟還包括以下步驟提供一段移動(dòng)視頻、一幅位圖、動(dòng)畫或者任何能夠以數(shù)字格式表示的圖象作為備用替換圖象。
9.一種通過(guò)識(shí)別并將原始圖象的所有部分分割為前景元素和背景元素、利用替換元素替換原始圖象的背景元素創(chuàng)建新圖象以實(shí)時(shí)方式數(shù)字編輯表示原始圖象的視頻數(shù)據(jù)流的計(jì)算機(jī)輔助系統(tǒng)，該系統(tǒng)包括一臺(tái)用于顯示所述視頻數(shù)據(jù)流中包含的所述原始圖象的可視顯示器；一部攝象機(jī)，該攝象機(jī)具有一個(gè)與其相連的用于對(duì)所上述攝象機(jī)捕獲的并表示所述原始圖象的視頻數(shù)據(jù)進(jìn)行數(shù)字化的設(shè)備；一臺(tái)與所述可視顯示器和所述數(shù)字化設(shè)備相連的計(jì)算機(jī)；用于存儲(chǔ)所述視頻數(shù)據(jù)流的數(shù)字化原始圖象的計(jì)算機(jī)中的第一存儲(chǔ)器；所述攝象機(jī)和數(shù)字化設(shè)備獲取包含表示原始圖象的數(shù)據(jù)的第二實(shí)時(shí)視頻數(shù)據(jù)流并對(duì)之?dāng)?shù)字化；用于存儲(chǔ)所述視頻數(shù)據(jù)流的數(shù)字化的第二實(shí)時(shí)原始圖象的計(jì)算機(jī)中的第二存儲(chǔ)器；用于存儲(chǔ)程序指令的計(jì)算機(jī)中的第三存儲(chǔ)器，其中程序指令用于比較數(shù)字化的第二實(shí)時(shí)原始圖象與已存儲(chǔ)的原始圖象，以便檢測(cè)和分割前景元素和背景元素；一幅備用替換背景圖象，存儲(chǔ)在第四存儲(chǔ)器中，可由所述已存儲(chǔ)的程序指令獲得以便在所述可視顯示器上顯示；通過(guò)利用備用替換背景圖象替換其背景元素，修改所述第二實(shí)時(shí)原始圖象；所述撮象機(jī)和相關(guān)設(shè)備獲取具有替換背景圖象的所述已修改的原始圖象并對(duì)之?dāng)?shù)字化；以及所述程序指令比較所述已修改的原始圖象與所述已存儲(chǔ)的原始圖象，以便只獲取前景元素，并且在備用替換圖象上顯示所述前景元素，從而形成新的圖象。
10.一種計(jì)算機(jī)存儲(chǔ)器產(chǎn)品，其中含有一種程序，該程序通過(guò)刪除部分原始圖象并替換該元素，以實(shí)時(shí)方式數(shù)字修改來(lái)自攝象機(jī)之象素接收器的表示原始圖象的視頻數(shù)據(jù)流，該程序包括以下步驟在第一計(jì)算機(jī)存儲(chǔ)單元中存儲(chǔ)表示原始圖象的第一視頻數(shù)據(jù)流中的視頻數(shù)據(jù)；比較表示添加有替換部分的原始圖象的實(shí)時(shí)視頻數(shù)據(jù)流與已存儲(chǔ)的原始圖象，以便只獲取替換部分；以及控制計(jì)算機(jī)響應(yīng)存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中的程序指令，以便在備用替換圖象上僅僅可視顯示原始圖象的替換部分，從而形成新的圖象。
11.權(quán)利要求10的程序還包括以下步驟訪問(wèn)存儲(chǔ)數(shù)字化視頻信號(hào)的計(jì)算機(jī)的第一存儲(chǔ)單元中的第一組數(shù)據(jù)結(jié)構(gòu)，數(shù)字化的視頻信號(hào)表示第一視頻數(shù)據(jù)流攜帶的原始圖象，包括原始圖象照明動(dòng)力、移動(dòng)中的偏差，以及攝象機(jī)象素接收器造成的象素信號(hào)值中的偏差；訪問(wèn)存儲(chǔ)數(shù)據(jù)的計(jì)算機(jī)存儲(chǔ)器中的第二組數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)表示其中具有第二實(shí)時(shí)視頻數(shù)據(jù)流中之替換部分的原始圖象的偏差，原始圖象之照明動(dòng)力、移動(dòng)中的偏差，以及的象素信號(hào)值中的信號(hào)偏差；控制計(jì)算機(jī)，以便對(duì)包括替換部分的第二實(shí)時(shí)視頻流的存儲(chǔ)數(shù)據(jù)與已存儲(chǔ)的原始圖象數(shù)據(jù)進(jìn)行比較，確定前景元素和背景元素。
全文摘要
一種可利用備用背景(72)實(shí)時(shí)替換輸入視頻信號(hào)的指定背景部分(54)的方法。該方法利用參考視圖(48)的實(shí)際背景圖象作為基礎(chǔ),測(cè)定其最終圖象內(nèi)的背景元素和前景元素,結(jié)果可以與諸如色度健和最終遮擋技術(shù)之類的傳統(tǒng)藍(lán)屏處理相比,只需要一臺(tái)個(gè)人計(jì)算機(jī)、一部攝象機(jī)和軟件。然而,在此案例中,背景圖象可以為攝象機(jī)拍攝的具有充足固定光源的任何合理的靜態(tài)場(chǎng)景。通過(guò)比較參考視圖的背景圖象,視頻流得以實(shí)時(shí)方式修改,隨后傳送到其原始目的地。以實(shí)時(shí)方式對(duì)以上信號(hào)施加多種信噪處理算法,以達(dá)到視覺(jué)上可接受的遮擋。
文檔編號(hào)G11B27/034GK1251235SQ98803459
公開(kāi)日2000年4月19日 申請(qǐng)日期1998年3月11日 優(yōu)先權(quán)日1997年3月18日
發(fā)明者邁克爾·D·斯蒂芬諾 申請(qǐng)人:麥托福集團(tuán)