專利名稱：視頻處理和遠(yuǎn)程呈現(xiàn)系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻處理，特別但非僅涉及視頻編譯碼器和視頻處理器，其用于遠(yuǎn)程 呈現(xiàn)系統(tǒng)以產(chǎn)生“實(shí)時(shí)”佩珀?duì)柣孟蠛?或從所拍攝對(duì)象后面的背景剔出(鍵出)來(lái)的該 對(duì)象的影像(以下稱為“剔出的對(duì)象影像”)。
背景技術(shù)：
在傳統(tǒng)的遠(yuǎn)程呈現(xiàn)系統(tǒng)中，把在一個(gè)位置捕捉到的、完整的在其背景內(nèi)的對(duì)象的 視頻影像通過(guò)例如互聯(lián)網(wǎng)或多協(xié)議標(biāo)記交換(MPLS)網(wǎng)傳輸至遠(yuǎn)程位置，所述對(duì)象和背景 的影像在所述遠(yuǎn)程位置以佩珀?duì)柣孟蟮男问奖煌队盎蛞云渌问奖伙@示?？蛇M(jìn)行所述傳 輸以致能在所述遠(yuǎn)程位置產(chǎn)生“實(shí)時(shí)”影像或至少假實(shí)時(shí)影像，以在該遠(yuǎn)程位置給所述對(duì)象 “遠(yuǎn)程呈現(xiàn)”。所述視頻的傳輸通常包括使用預(yù)先設(shè)定的編譯碼器在所述系統(tǒng)的各傳輸端和 接收端將視頻編碼和/或解碼。通常，編譯碼器包括的軟件將所述視頻(包括音頻)流加密并壓縮成數(shù)據(jù)包以作 傳輸。編碼方法包括接收所述視頻流并將其編碼為隔行信號(hào)(interlaced signal)或逐行 信號(hào)(progressive signal)(也可包括壓縮技術(shù))。已發(fā)現(xiàn)從逐行視頻信號(hào)產(chǎn)生的大體上靜止的對(duì)象的剔出的對(duì)象影像或佩珀?duì)柣?象產(chǎn)生清楚而仔細(xì)的影像。然而，在相等的每秒顯示幀數(shù)(fps)下，逐行信號(hào)的大小是隔 行信號(hào)大小的兩倍，并且在遠(yuǎn)程呈現(xiàn)系統(tǒng)中，在一個(gè)位置捕捉到的所述視頻影像通過(guò)有限 帶寬的通信線路傳輸至另一位置，傳輸大的逐行信號(hào)可以導(dǎo)致延時(shí)/不一致，令投影的“實(shí) 時(shí)”影像中產(chǎn)生不想要的失真。例如，如果所述視頻的對(duì)象正在移動(dòng)，則所述剔出的對(duì)象或 佩珀?duì)柣孟罂赡茱@得不流暢，所述延時(shí)可能導(dǎo)致在所述剔出的對(duì)象或佩珀?duì)柣孟笈c真人的 互動(dòng)上產(chǎn)生可察覺(jué)的延遲或者通信線路中的瓶頸可能產(chǎn)生視頻的臨時(shí)空白幀和/或音頻 丟失。這降低了所述對(duì)象的遠(yuǎn)程呈現(xiàn)的逼真感。有可能通過(guò)壓縮所述視頻流或使用隔行視頻信號(hào)去編碼來(lái)減少這種信號(hào)延遲。一 般而言，未經(jīng)處理的BP標(biāo)準(zhǔn)分辨率(SD)流是每秒270Mb并能被壓縮成每秒1. 5至2Mb、720P 能被壓縮成每秒2至3Mb之間以及1080P能被壓縮成每秒4和IOMb之間。然而，壓縮視頻流導(dǎo)致原始數(shù)據(jù)的完整性中某些部分被丟失或在某種程度上降 級(jí)。例如，壓縮HD視頻流通常致使影像顏色飽和度變淡，對(duì)比度降低并且由于鏡頭焦點(diǎn)明 顯的或可察覺(jué)到的丟失而使對(duì)象本體的周圍出現(xiàn)動(dòng)態(tài)模糊。在對(duì)象物體突然或快速地向左 或向右移動(dòng)以及視頻影像具有高對(duì)比度的情況下，這種明顯的影像柔化在影像變暗的細(xì)節(jié) 區(qū)域，例如眼窩，是最明顯的。由于隔行視頻信號(hào)在相同的幀率(fps)下使用逐行信號(hào)一半的帶寬，所以可使用 隔行信號(hào)來(lái)減少信號(hào)延時(shí)，同時(shí)保持剔出的對(duì)象或佩珀?duì)柣孟罅鲿骋苿?dòng)的表現(xiàn)。然而，隔行 視頻信號(hào)的奇數(shù)行和偶數(shù)行之間的隔行切換效應(yīng)減低了圖像的垂直分辨率(resolution) 的質(zhì)量。這能通過(guò)使影像模糊(邊緣柔化)來(lái)補(bǔ)償，然而采用這種邊緣柔化減損了影像的 清晰度。
隔行信號(hào)比逐行信號(hào)具有的優(yōu)點(diǎn)是因?yàn)楦粜行盘?hào)每幀使用兩個(gè)場(chǎng)，自隔行信號(hào) 產(chǎn)生的影像中的動(dòng)態(tài)比自逐行信號(hào)產(chǎn)生的影像中的動(dòng)態(tài)顯得更加流暢。由于減少了動(dòng)態(tài)的 捕捉以及逐行地顯示所述視頻的全幀，所以使用逐行視頻信號(hào)產(chǎn)生的剔出的對(duì)象影像或佩 珀?duì)柣孟罂磥?lái)會(huì)更扁平，因而不如使用隔行視頻信號(hào)產(chǎn)生的影像般逼真。然而，由于自逐行 信號(hào)產(chǎn)生的影像對(duì)于靜態(tài)圖像來(lái)說(shuō)具有更光滑、更清晰的輪廓邊，所以文字和圖像，尤其是 靜態(tài)圖形，能使用逐行視頻信號(hào)來(lái)產(chǎn)生而受益。因此，不管預(yù)先設(shè)定編譯碼器使用哪種編碼格式，都有可能在所產(chǎn)生的剔出的對(duì) 象或佩珀?duì)柣孟笾谐霈F(xiàn)不理想的效果。這對(duì)于在公共/大型活動(dòng)時(shí)產(chǎn)生遠(yuǎn)程呈現(xiàn)尤其是個(gè) 難題，其中要拍攝例如舞臺(tái)上的情節(jié)，以及系統(tǒng)要求都可能在整個(gè)制作過(guò)程中顯著地變化。對(duì)于某些遠(yuǎn)程呈現(xiàn)系統(tǒng)(下文稱為“擬真的遠(yuǎn)程呈現(xiàn)系統(tǒng)”)來(lái)說(shuō)，從在一個(gè)位置 捕捉的，被剔出背景的對(duì)象的視頻影像(剔出的對(duì)象影像)被發(fā)送至遠(yuǎn)程位置，在那里所述 剔出的影像被顯示為剔出的對(duì)象影像和/或佩珀?duì)柣孟?，有可能在所述遠(yuǎn)程位置的真實(shí)對(duì) 象旁。這能被用于形成所述剔出的影像的對(duì)象實(shí)際上存在于所述遠(yuǎn)程位置的幻覺(jué)。非所述 對(duì)象的影像區(qū)域包括黑色，理想的是在其最純的色(即，非灰色)。然而，所述剔出的對(duì)象影 像的處理和傳輸有可能被錯(cuò)誤的視頻信號(hào)污染所述影像的黑色區(qū)域，產(chǎn)生失真例如斑點(diǎn)、 低亮度和帶有顏色的干擾，其削弱了擬真的遠(yuǎn)程呈現(xiàn)的體驗(yàn)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，本發(fā)明提供了編譯碼器，包括接收連續(xù)的視頻流的視頻 輸入端，將所述視頻流編碼以產(chǎn)生已編碼視頻流的編碼器，傳輸所述已編碼視頻流的視頻 輸出端以及在所述視頻流編碼的過(guò)程中將所述編碼器在第一模式和第二模式之間切換的 切換裝置，在所述第一模式中所述視頻流根據(jù)第一編碼格式被編碼，在所述第二模式中所 述視頻流根據(jù)第二編碼格式被編碼。根據(jù)本發(fā)明的第二方面，本發(fā)明提供了編譯碼器，包括接收已編碼視頻流的視頻 輸入端，將所述已編碼視頻流解碼以產(chǎn)生已解碼視頻流的譯碼器，傳輸所述已解碼視頻流 的視頻輸出端以及在所述已編碼視頻流的解碼過(guò)程中將所述譯碼器在第一模式和第二模 式之間切換的切換裝置，在所述第一模式中所述已編碼視頻流根據(jù)第一編碼格式被解碼， 在所述第二模式中所述已編碼視頻流根據(jù)第二編碼格式被解碼。本發(fā)明的一個(gè)優(yōu)點(diǎn)是所述編譯碼器能夠中途進(jìn)行切換以將所述視頻流以不同的 格式編碼以適于所拍攝影片的長(zhǎng)度、網(wǎng)絡(luò)性能，例如可用帶寬，和/或其他外部因素。所述 切換裝置可對(duì)外部控制信號(hào)作出反應(yīng)以將所述編碼器/譯碼器在所述第一模式和所述第 二模式之間切換。例如，可在探測(cè)到特定條件時(shí)自動(dòng)地或者由用戶，例如主持人、演員或其 他控制員操作按鈕/開(kāi)關(guān)而產(chǎn)生所述外部控制信號(hào)。所述編譯碼器可被設(shè)置成傳輸和接收來(lái)自/到達(dá)相應(yīng)的編譯碼器的控制信息，所 述編譯碼器從所述相應(yīng)的編譯碼器接收所述已編碼視頻流/把所述已編碼視頻流傳輸至 相應(yīng)的編譯碼器，所述控制信息包括將所述視頻流編碼所用的編碼格式的指示。所述編譯 碼器可被設(shè)置成應(yīng)接收到的控制信息而在模式之間切換。所述編碼格式可將所述視頻信號(hào)編碼為逐行，例如720p、1080p，或隔行，例如 1080 ,的視頻信號(hào)，將所述視頻流以特定幀率，例如每秒M至120幀編碼，和/或?qū)⑺鲆曨l信號(hào)壓縮，例如根據(jù)某個(gè)特定的色彩壓縮標(biāo)準(zhǔn)，例如3 1 1、4 2 0、4 2 2或 4:4: 4編碼或者根據(jù)以獲得特定的輸入/輸出數(shù)據(jù)速率來(lái)編碼，例如在1.5和4Mb/s之 間。因而，所述編譯碼器可在適當(dāng)時(shí)在逐行和隔行信號(hào)、不同的幀率和/或壓縮標(biāo)準(zhǔn)之間切換。應(yīng)該理解的是，不同的位傳輸率格式，例如MPEG，在本文所用的術(shù)語(yǔ)的含義內(nèi)是單 一的編碼格式。根據(jù)本發(fā)明的第三方面，本發(fā)明提供了遠(yuǎn)程呈現(xiàn)系統(tǒng)，包括拍攝被顯示為剔出的 對(duì)象和/或佩珀?duì)柣孟蟮膶?duì)象的攝像機(jī)，接收所述攝像機(jī)產(chǎn)生的視頻流并輸出已編碼視頻 流的根據(jù)本發(fā)明第一方面的第一編譯碼器，把所述已編碼視頻流傳輸至根據(jù)本發(fā)明第二方 面在遠(yuǎn)程位置的第二編譯碼器的裝置，該第二編譯碼器被設(shè)置成將所述已編碼視頻信號(hào)解 碼并把該已解碼視頻信號(hào)輸出至裝置以基于所述已解碼視頻信號(hào)生成剔出的對(duì)象影像和/ 或佩珀?duì)柣孟螅约氨辉O(shè)置成產(chǎn)生控制信號(hào)以使得所述第一編譯碼器在所述第一模式和所 述第二模式之間切換的用戶操作切換開(kāi)關(guān)。這種系統(tǒng)允許操作員，例如導(dǎo)演、主持人、演員等基于所拍攝的情節(jié)而控制編碼方 法。例如，如果對(duì)象很少移動(dòng)，操作員可選擇提供很少壓縮或沒(méi)有壓縮的逐行信號(hào)的格式， 而當(dāng)對(duì)象顯著地移動(dòng)時(shí)，操作員可選擇提供隔行信號(hào)的格式，并可選擇地作出高壓縮。用戶操作的切換開(kāi)關(guān)可進(jìn)一步被設(shè)置成產(chǎn)生使得所述第二編譯碼器在所述第一 模式和所述第二模式之間切換的控制信號(hào)?；蛘撸龅诙幾g碼器可被設(shè)置成自動(dòng)地確 定所述已編碼視頻流的編碼格式，并進(jìn)行切換以使用正確的(第一或第二)模式將所述已 編碼視頻流解碼。根據(jù)本發(fā)明的第四方面，本發(fā)明提供了產(chǎn)生對(duì)象的遠(yuǎn)程呈現(xiàn)的方法，包括拍攝所 述對(duì)象以產(chǎn)生連續(xù)的視頻流，把所述視頻流傳輸至遠(yuǎn)程位置以及在所述遠(yuǎn)程位置根據(jù)所傳 輸?shù)囊曨l流生成剔出的影像和/或佩珀?duì)柣孟?，其中傳輸所述視頻流包括在傳輸所述視頻 流的過(guò)程中基于所拍攝的情節(jié)的變化從多個(gè)編碼格式中選擇不同的格式以及在傳輸過(guò)程 中把所述編碼格式改變?yōu)樗x擇的編碼格式。被拍攝的情節(jié)的變化可為所述對(duì)象的移動(dòng)、額外的對(duì)象進(jìn)入視頻幀、所述對(duì)象照 明的變化、所述被拍攝對(duì)象與在所述遠(yuǎn)程位置的人的互動(dòng)程度的變化、加入文字或圖像或 所拍攝/形成視頻的情節(jié)的其他合適的變化。根據(jù)本發(fā)明的第五方面，本發(fā)明提供了遠(yuǎn)程呈現(xiàn)系統(tǒng)，包括拍攝顯示為剔出的影 像和/或佩珀?duì)柣孟蟮膶?duì)象的攝像機(jī)，把已編碼視頻流和與生成剔出的影像和/或佩珀?duì)?幻象有關(guān)的更多數(shù)據(jù)傳輸至遠(yuǎn)程位置的通信線路，使用所傳輸視頻流產(chǎn)生剔出的影像和/ 或佩珀?duì)栍跋竦奈挥谒鲞h(yuǎn)程位置的裝置以及在帶寬不是用于傳輸所述更多數(shù)據(jù)時(shí)分配 所述通信線路的帶寬以傳輸所述視頻信號(hào)的切換裝置。本發(fā)明的第五方面的系統(tǒng)的優(yōu)點(diǎn)是其將可用的帶寬集中起來(lái)以獲得更逼真的剔 出的影像和/或佩珀?duì)柣孟?。例如，所述更多?shù)據(jù)可為數(shù)據(jù)，例如音頻流，其是需要給被拍 攝對(duì)象與所述遠(yuǎn)程位置的人，例如觀眾，之間互動(dòng)時(shí)用上以及所述需傳輸?shù)母鄶?shù)據(jù)的量 可隨互動(dòng)程度的變化而改變。根據(jù)本發(fā)明的第六方面，本發(fā)明提供了視頻處理器，其包括接收視頻流的視頻輸 入端，傳輸已處理的視頻流的視頻輸出端，其中所述處理器被設(shè)置成通過(guò)掃描各幀的像素以識(shí)別鄰近一些像素或像素組，而其中所述鄰近像素或像素組的屬性之間的相對(duì)差異是高 于預(yù)定水平，和把所述輪廓限定為這些像素或像素組之間的連續(xù)的線，來(lái)識(shí)別所述視頻流 的各幀中的對(duì)象的輪廓，并且使落在所述輪廓之外的像素成為預(yù)先選定的顏色，優(yōu)選為黑 色。由于所述本發(fā)明的第六方面的視頻處理器能自動(dòng)地剔出所述視頻流的各幀中的 對(duì)象而消除在所述對(duì)象的輪廓之外的噪點(diǎn)失真(noise artefact)，所以是有利的。所述視 頻處理器可被設(shè)置成大體上實(shí)時(shí)地處理所述視頻流以致能連續(xù)地傳輸(或至少顯示)所述 視頻流。所述相對(duì)差異可為亮度和/或色彩的對(duì)比度，代表所述對(duì)象的像素或像素組看起 來(lái)比代表周圍深色背景的像素或像素組為明亮。如果視頻中的對(duì)象有背光以在所述對(duì)象的 周圍形成明亮的光緣(rim of light)(這在遠(yuǎn)程呈現(xiàn)的照明布置中相當(dāng)常見(jiàn))，則可增強(qiáng)這 種對(duì)比度。所述相對(duì)差異可為在所述鄰接的像素或像素組中捕捉到的特征光譜的差異。特別 是，像素的特征光譜可為所述像素的不同頻率成分，例如紅、藍(lán)、綠(RGB)，的相對(duì)強(qiáng)度。例 如，可用燈從后面照亮所述視頻中的對(duì)象，所述燈發(fā)出的光與照亮所述對(duì)象前面的燈發(fā)出 的光帶有不同的頻率光譜。因此，各像素的頻率成分的相對(duì)強(qiáng)度將取決于該像素所代表的 區(qū)域大部分是由面光燈還是由背光燈照亮。在鄰近像素或像素組的頻率成分的相對(duì)強(qiáng)度有 高于預(yù)定水平的變化時(shí)，能識(shí)別所述對(duì)象的輪廓。例如，白色的LED可在非常特定的頻率產(chǎn) 生銳峰，從而導(dǎo)致像素的特征光譜與寬頻波段上產(chǎn)生光的光源，例如鎢絲燈，所生成的特征 光譜不同。識(shí)別所述輪廓可包括確定預(yù)先設(shè)定的連續(xù)像素?cái)?shù)量，其具有的屬性(例如亮度和 /或色彩)與鄰近的預(yù)先設(shè)定的連續(xù)像素?cái)?shù)量的屬性成對(duì)比。通過(guò)把所述預(yù)先設(shè)定的像素 數(shù)量設(shè)定為合適的閾值，所述處理器不會(huì)把零星的噪點(diǎn)錯(cuò)誤地識(shí)別為所述對(duì)象的輪廓(噪 點(diǎn)所產(chǎn)生的像素失真的數(shù)量大大少于即使是所述對(duì)象的小物體所產(chǎn)生的像素的數(shù)量)。在 一個(gè)實(shí)施例中，所述視頻處理器帶有調(diào)整預(yù)先設(shè)定數(shù)量(即調(diào)整閾值，在該閾值對(duì)比像素 被視為由所述對(duì)象的存在而非噪點(diǎn)失真導(dǎo)致)的裝置。所述處理器可被設(shè)置成修改所述幀以沿著已識(shí)別的輪廓提供帶有高相對(duì)亮度的 像素行。各高相對(duì)亮度的像素可帶有其所替代的相應(yīng)像素具有相同的色彩。由于所述對(duì)象 周圍的明亮的光緣可有助于形成所述影像是3D而非2D影像的幻覺(jué)，所以使用高亮度像素 可增強(qiáng)已處理視頻流所形成的剔出的對(duì)象影像和/或佩珀?duì)柣孟竦谋普娓?。此外，通過(guò)讓 高亮度像素使用相同的色彩，高亮度像素的應(yīng)用不會(huì)使所述影像不逼真。在一種布置中，識(shí)別所述對(duì)象的輪廓包括降低所述幀的色彩位深以生成降低了色 彩位深的幀，掃描所述降低了色彩位深的幀以識(shí)別幀中包含對(duì)比度高于預(yù)定水平的像素或 像素組的區(qū)域，在與降低了位深的幀的識(shí)別區(qū)域?qū)?yīng)的原始幀(色彩位深還未被降低的 幀)的區(qū)域內(nèi)掃描像素，以識(shí)別對(duì)比度高于預(yù)定水平的像素或像素組并把所述輪廓限定為 這些像素或像素組之間的連續(xù)的線。由于能夠首先以較低的粒度在降低了色彩位深的幀進(jìn)行掃描并且僅需要于所述 原始幀的識(shí)別區(qū)域以高粒度掃描，所以所述布置是有利的。這樣，可更快地識(shí)別出輪廓。根據(jù)本發(fā)明的第七方面，本發(fā)明提供了存儲(chǔ)有指令的數(shù)據(jù)載體，在處理器執(zhí)行所
8述指令時(shí)，所述數(shù)據(jù)載體使得所述處理器接收視頻流，通過(guò)掃描各幀的像素以識(shí)別鄰近的 像素或像素組，而其中所述鄰近的像素或像素組的屬性之間的相對(duì)差異是高于預(yù)定水平， 和把輪廓限定為這些像素或像素組之間的連續(xù)的線，來(lái)識(shí)別所述視頻流的各幀中的對(duì)象的 輪廓，并且使落在所述輪廓之外的像素成為預(yù)先選定的顏色，優(yōu)選為黑色，并且傳輸所述已 處理的視頻流。所述視頻處理器可為根據(jù)本發(fā)明第一方面的編譯碼器的一部分，所述視頻處理器 在將所述視頻流編碼之前處理所述視頻流，或者可位于將所述視頻流編碼的編譯碼器的上 游。所述將對(duì)象從背景剔出/鍵出可允許使用更多的增強(qiáng)技術(shù)用作所述編譯碼器的編碼程 序的一部分。根據(jù)本發(fā)明的第八方面，本發(fā)明提供了拍攝以佩珀?duì)柣孟竦男问奖煌队暗膶?duì)象的 方法，該方法包括在帶有照亮對(duì)象的前面的一個(gè)或多個(gè)面光燈和照亮對(duì)象的背面的一個(gè)或 多個(gè)背光燈的照明布置下拍攝所述對(duì)象，其中所述面光燈發(fā)出的光所帶有的特征頻率光譜 與所述背光燈發(fā)出的光的特征頻率光譜不同。所述面光燈可為發(fā)出寬頻帶的光的燈，例如鎢絲燈或鹵素?zé)?，或者為發(fā)出分散在 可見(jiàn)光光譜中具有許多頻率(至少多于兩個(gè))尖峰的光的燈，例如弧光燈。所述背光燈可 為在一個(gè)或兩個(gè)特定頻率發(fā)光的燈，例如LED燈。然而，可以理解的是在不同的實(shí)施例中， 所述面光燈可為L(zhǎng)ED燈，所述背光燈可為鎢絲燈、鹵素?zé)艋蚧」鉄?。在替代性?shí)施例中，所述面光燈和背光燈是同一類型的燈但被設(shè)置成發(fā)出的光帶 有以不同頻率為中心的頻率光譜。例如，所述面光燈和背光燈可為弧光燈，所述面光燈被設(shè) 置成發(fā)出白光而所述背光燈被設(shè)置成發(fā)出藍(lán)光。由于在所產(chǎn)生的片段中捕捉主要由所述背 光燈照亮的區(qū)域的像素中缺少光譜的黃色部分，這會(huì)再次在特征頻率光譜中形成差異。在另一實(shí)施例中，所述面光燈和背光燈可被設(shè)置成發(fā)出在正常人類視力范圍之外 的不同頻率的光，但所述光能在合適的裝置中被探測(cè)到，例如紅外線或紫外光。所述方法可包括對(duì)所產(chǎn)生的片段進(jìn)行光譜分析以識(shí)別所述對(duì)象的輪廓。可使用根 據(jù)本發(fā)明第六方面的視頻處理器進(jìn)行所述光譜分析。所述方法可包括在開(kāi)著所述背光燈和面光燈中其中之一盞并且關(guān)上其余的所述 面光燈和背光燈時(shí)測(cè)量存在的特征頻率光譜以及通過(guò)識(shí)別影片中的像素來(lái)識(shí)別所產(chǎn)生的 影片中對(duì)象的輪廓，其中所測(cè)量的特征頻率光譜是在預(yù)先設(shè)定的閾值之上。根據(jù)本發(fā)明的第九方面，本發(fā)明提供了視頻處理器，包括接收視頻流的視頻輸入 端，傳輸已處理視頻流的視頻輸出端，其中所述處理器被設(shè)置成通過(guò)掃描各幀的像素以識(shí) 別鄰近的像素或像素組，而其中所述鄰近的像素或像素組的屬性之間的相對(duì)差異是高于預(yù) 定水平的，并且把這些像素或像素組的其中之一或二者都更改為具有比像素或像素組的原 本亮度更高的亮度，來(lái)識(shí)別所述視頻流的各幀中對(duì)象的輪廓。根據(jù)本發(fā)明的第十方面，本發(fā)明提供了存儲(chǔ)有指令的數(shù)據(jù)載體，在處理器執(zhí)行指 令時(shí)，所述數(shù)據(jù)載體使得所述處理器接收視頻流，通過(guò)掃描各幀的像素識(shí)別鄰近的像素或 像素組，而其中所述鄰近的像素或像素組的屬性之間的相對(duì)差異由于與明亮的對(duì)象相比之 下深色的背景而高于預(yù)先設(shè)定水平，并且把這些像素或像素組的其中之一或二者都修改成 亮度比像素或像素組的原本亮度高，來(lái)識(shí)別所述視頻流的各幀中對(duì)象的輪廓。根據(jù)本發(fā)明的第十一方面，本發(fā)明提供了編譯碼器，包括接收對(duì)象的視頻流的視
9頻輸入端，將所述視頻流編碼以產(chǎn)生已編碼視頻流的編碼器以及傳輸所述已編碼視頻流的 視頻輸出端，所述編碼器被設(shè)置成通過(guò)識(shí)別所述對(duì)象的輪廓，例如以所述本發(fā)明的第六方 面的方式，來(lái)處理所述視頻流的各幀，以及將落在所述輪廓之內(nèi)的像素編碼而無(wú)需理會(huì)落 在所述輪廓之外的像素以形成所述已編碼視頻流。由于通過(guò)僅將所述對(duì)象編碼并不理會(huì)各幀的剩余部分，可減少已編碼視頻信號(hào)的 大小，所以所述本發(fā)明的第十一方面是有利的。這可有助于減少所需的帶寬和傳輸過(guò)程中 的信號(hào)延時(shí)。通過(guò)過(guò)濾帶有指定色彩或色彩范圍，例如黑色或黑色至灰色的范圍，的像素，或者 具有亮度在指定程度之下的像素，可不理會(huì)落在所述輪廓之外的像素?；蛘撸蓮南薅ㄋ?對(duì)象的輪廓的高亮度像素識(shí)別落在所述輪廓之外的像素并且無(wú)需理會(huì)所述高亮度像素的 輪廓的一側(cè)(外部)的像素。由于可保留所述對(duì)象中呈現(xiàn)為深色和/或低亮度的像素，避 免所述對(duì)象的這些部分不必要地被柔化，所以利用高亮度像素作為指南去除不想要的背景 是有利的。所述編碼器可包括多路復(fù)用所述視頻流的多路復(fù)用器。落在所述對(duì)象的輪廓之內(nèi) 的像素可被分為多個(gè)部分并且各部分可作為頻分多路復(fù)用(FDM)信號(hào)在各自的載體被傳 輸。這有可能降低所述視頻流所需的壓縮需要(如有的情況下)。頻分多路復(fù)用將提供更 多帶寬使得所述編譯碼器在減少壓縮(如有的情況下)時(shí)在原始時(shí)基上拉所述視頻流。這 樣，減少了信號(hào)延時(shí)而增加了所傳輸?shù)男畔?。在一個(gè)實(shí)施例中，所述編碼器可包括縮放器(scalar)以基于可用的帶寬縮放所 需的影像大小。例如，如果沒(méi)有充足的帶寬去攜帶4 :4:4 RGB信號(hào)，則可把所述影像縮 放，將4 :4:4 RGB信號(hào)縮減至4 :2:2 YUV信號(hào)。這可能是需要用來(lái)減少信號(hào)延時(shí)， 例如在所述剔出的對(duì)象和/或佩珀?duì)柣孟衽c在顯示所述剔出的對(duì)象和/或佩珀?duì)柣孟竦奈?置的人之間可進(jìn)行“問(wèn)答”環(huán)節(jié)時(shí)的信號(hào)延時(shí)。在幾乎各種環(huán)境中調(diào)整所述編碼格式，例如壓縮、幀率等將影響信號(hào)延時(shí)的程度。 對(duì)于預(yù)先設(shè)定的編譯碼器來(lái)說(shuō)，能通過(guò)適當(dāng)?shù)臏y(cè)量可預(yù)先確定信號(hào)延時(shí)以及考慮到所述信 號(hào)延時(shí)在所述剔出的對(duì)象和/或佩珀?duì)柣孟耧@示的位置同步視頻和音頻。然而，通過(guò)根據(jù) 本發(fā)明的可切換編譯碼器，其中可在所述視頻流的傳輸過(guò)程中改變所述編碼格式，必須考 慮信號(hào)延時(shí)的變化以保持音頻和視頻同步。此外，例如因?yàn)樵谒鼍W(wǎng)絡(luò)，例如電信網(wǎng)絡(luò)的路 由選擇上不可預(yù)測(cè)的變化，所以即使對(duì)于包括預(yù)先設(shè)定的編譯碼器的系統(tǒng)，所述信號(hào)延時(shí) 在視頻流的傳輸過(guò)程中和/或傳輸之間也確實(shí)會(huì)變化。根據(jù)本發(fā)明的第十二方面，本發(fā)明提供了編譯碼器，包括接收視頻流和相關(guān)音頻 流的視頻輸入端，將所述視頻和音頻流編碼的編碼器以及把已編碼視頻和音頻流傳輸至另 一編譯碼器的視頻輸出端，其中所述編譯碼器被設(shè)置成，在傳輸所述視頻和音頻流的過(guò)程 中，定期把測(cè)試信號(hào)(因特網(wǎng)包探索器(Ping))傳輸至另一編譯碼器，接收從所述另一編譯 碼器對(duì)測(cè)試信號(hào)作出的回波反應(yīng)(echo response)，從發(fā)送所述測(cè)試信號(hào)和接收到回波反 應(yīng)之間的時(shí)間確定傳輸至所述另一編譯碼器的信號(hào)延時(shí)以及為所確定的信號(hào)延時(shí)把適當(dāng) 的延遲引入所述或另外的音頻流。根據(jù)本發(fā)明的第十三方面，本發(fā)明提供了編譯碼器，包括從另一編譯碼器接收已 編碼視頻流和相關(guān)音頻流的視頻輸入端，將所述視頻和音頻流解碼的譯碼器以及傳輸所述已解碼視頻和音頻流的視頻輸出端，其中所述編譯碼器被設(shè)置成，在傳輸所述視頻和音頻 流的過(guò)程中，應(yīng)接收到測(cè)試信號(hào)(因特網(wǎng)包探索器(Ping))而把回波反應(yīng)傳輸至另一編譯 碼器。這樣，所述編譯碼器能夠補(bǔ)償在所述兩個(gè)編譯碼器之間傳輸而引起的信號(hào)延時(shí)的 變化，保持所述視頻和音頻流的回波消除和/或同步。可把系統(tǒng)的其他部分的固定的時(shí)間 延遲(即除在所述兩個(gè)編譯碼器之間傳輸而引起的信號(hào)延時(shí)之外的所有部分)編程入根 據(jù)本發(fā)明第十一方面所述的編譯碼器并且所述編譯碼器可通過(guò)把所確定的信號(hào)延時(shí)加至 所述固定的時(shí)間延遲來(lái)確定引入所述音頻流的合適延遲。例如，由于信號(hào)處理以及在所述 剔出的對(duì)象和/或佩珀?duì)柣孟竦娘@示位置的音頻和顯示系統(tǒng)的延時(shí)，能引入更多的固定延 時(shí)，并且這些延時(shí)可在傳輸所述音頻和視頻流之前被測(cè)量并把其預(yù)編程入所述編譯碼器。根據(jù)本發(fā)明的第十四方面，本發(fā)明提供了傳輸用來(lái)顯示為剔出的對(duì)象和/或佩珀 爾幻像的多個(gè)視頻流的系統(tǒng)，其包括編譯碼器，以接收所述多個(gè)視頻流，將所述多個(gè)視頻流 編碼并將已編碼的多個(gè)視頻流傳輸至遠(yuǎn)程位置，其中基于所述多個(gè)視頻信號(hào)的其中之一個(gè) 而將所述多個(gè)視頻流為同步鎖定(Genlocked)。由于根據(jù)本發(fā)明的第十四方面的系統(tǒng)保證所述視頻流在顯示為剔出的影像或佩 珀?duì)柣孟駮r(shí)是同步的，所以是有利的。例如，所述系統(tǒng)可為通信聯(lián)接系統(tǒng)的一部分，其中在 一個(gè)位置拍攝多方/多個(gè)對(duì)象，并把所產(chǎn)生的多個(gè)視頻流傳輸至另一位置。為了保證在顯 示視頻流時(shí)視頻流是同步的，所述編譯碼器將所述視頻流同步鎖定?？梢岳斫獾氖牵景l(fā)明的各方面能夠獨(dú)立地或結(jié)合本發(fā)明的其他方面使用。


現(xiàn)僅通過(guò)例子參照附圖描述本發(fā)明的實(shí)施例，在附圖中圖1是根據(jù)本發(fā)明的實(shí)施例的遠(yuǎn)程呈現(xiàn)系統(tǒng)的概要示意圖；圖2是根據(jù)本發(fā)明的實(shí)施例的編譯碼器的概要示意圖；圖3是根據(jù)本發(fā)明的實(shí)施例的攝影設(shè)定的概要示意圖；圖4是根據(jù)本發(fā)明的實(shí)施例的生成佩珀?duì)柣孟竦难b置的概要示意圖；圖5是視頻影像的幀，概要地顯示所述編譯碼器對(duì)所述幀的處理；圖6是在根據(jù)本發(fā)明的另一實(shí)施例的遠(yuǎn)程呈現(xiàn)系統(tǒng)的音頻電子設(shè)備的概要示意 圖；以及圖7和8為燈光配置的示意圖，其中燈光設(shè)定用于拍攝以佩珀?duì)柣孟蟮男问奖煌?影的對(duì)象。
具體實(shí)施例方式圖1所示為根據(jù)本發(fā)明的實(shí)施例的遠(yuǎn)程呈現(xiàn)系統(tǒng)，其包括第一位置1和遠(yuǎn)離第一 位置1的第二位置2，其中，在第一位置拍攝以佩珀?duì)柣孟蟮男问奖伙@示的對(duì)象，在第二位 置2產(chǎn)生對(duì)象的佩珀?duì)柣孟?。?shù)據(jù)通過(guò)雙向通訊聯(lián)接系統(tǒng)20在第一位置1和第二位置2 之間通訊。雙向通訊聯(lián)接系統(tǒng)例如為互聯(lián)網(wǎng)或多協(xié)議標(biāo)記交換網(wǎng)(MPLS)，兩者都可使用虛 擬專用網(wǎng)絡(luò)或類似網(wǎng)絡(luò)。參照?qǐng)D1、3、7和8，可為電影工作室的第一位置1包括攝像機(jī)12，其用于捕捉例如演員或會(huì)議參與者的對(duì)象104，以將其以佩珀?duì)柣孟蟮男问酵队霸谖恢?。在互動(dòng) 的系統(tǒng)中，對(duì)象104與位于位置2的人互動(dòng)，第一位置可包括半透明屏幕108(例如如第 W02005096095或第W02007052005號(hào)專利所述的箔)和用于將影像投影至半透明屏幕108 的平視顯示器14，以致對(duì)象104能夠在半透明屏幕108中看到投影影像的反射118。工作 室的地面以黑色材料112覆蓋以防止在攝像機(jī)的鏡頭中由于半透明屏幕108的存在而產(chǎn)生 的眩光/閃光。對(duì)象104被燈光布置照亮，該燈光布置包括面光燈(front light) 403至409和背 光燈410至416，面光燈用于照亮對(duì)象的前面(攝像機(jī)12所捕捉的對(duì)象的一側(cè))，背光燈用 于照亮對(duì)象的背面和側(cè)面。面光燈403至409包括用于照亮對(duì)象104不同部分的燈，在本實(shí)施例中，其包括 用于照亮對(duì)象的頭部和軀干的一對(duì)高處面光燈403、404，以及用于照亮對(duì)象的腿部和腳 部的一對(duì)低處面光燈405、406。面光燈還包括用于照亮對(duì)象的眼睛的高眼燈(high eye lights)407,以及用于消除對(duì)象的衣服上的陰影的兩盞地面補(bǔ)光燈408、409。背光燈410至416還包括用于照亮對(duì)象104不同部分的燈。在本實(shí)施例中，背光 燈410至416包括用于照亮對(duì)象104的頭部和軀干的高處背光燈410、411，以及用于照亮對(duì) 象104的腿部和腳部的一對(duì)低處背光燈412，413。背光燈還包括用于照亮對(duì)象104頭部和 腰部的高處中央背光燈414。側(cè)光燈415和416照亮對(duì)象104的側(cè)面。燈417和418從上方照亮對(duì)象105。例如為黑色墻壁的無(wú)花紋的背景幕布419提 供了空白的背景幕布。攝像機(jī)12包括廣角變焦鏡頭和可調(diào)節(jié)的快門速度；幀速率可在25至120隔行每 秒幀數(shù)(fps)之間調(diào)整；以及能夠以高至60fps逐行進(jìn)行拍攝。攝像機(jī)12產(chǎn)生的未經(jīng)處理的數(shù)據(jù)視頻流輸入至第一編譯碼器18的輸入端53。編 譯碼器18可與攝像機(jī)12成為一體，或者與其分離。在另一個(gè)實(shí)施例中，攝像機(jī)可向第一編 譯碼器18輸出逐行的、隔行的或其他預(yù)先格式化的視頻流。第一編譯碼器18將視頻流編碼(結(jié)合參考圖2如下所述)，并且將已編碼視頻流 通過(guò)通訊聯(lián)接系統(tǒng)20傳輸至第二位置2?，F(xiàn)參照?qǐng)D1和4，第二位置2包括第二編譯碼器22，其接收已編碼視頻流并將所述 視頻流解碼，以使用如圖4所示的設(shè)備以佩珀?duì)柣孟?4的形式顯示。該設(shè)備包括投影機(jī)90，其接收由第二編譯碼器22輸出的已解碼視頻流，并且向半 透明屏幕92投影基于該已解碼視頻流的影像，該半透明屏幕被支撐在腿88和支索點(diǎn)96之 間。優(yōu)選地，投影機(jī)90為1080HD，并且既能夠處理逐行的視頻流，也能夠處理隔行的視頻 流。半透明屏幕92為如在第W02005096095和/或第W02007052005專利中所述的箔屏幕。觀看半透明屏幕92的觀眾成員100察覺(jué)由半透明屏幕所反射到舞臺(tái)86上的影像 84。觀眾100在正面的遮光物94和98之間觀看影像84。在舞臺(tái)86的后部提供黑色的帷 幕82，為投影影像提供背景幕布。相應(yīng)的聲音經(jīng)由揚(yáng)聲器30產(chǎn)生。在一個(gè)實(shí)施例中，位置2還可包括用于拍攝觀眾成員100或舞臺(tái)86上的情節(jié)的攝 像機(jī)26以及用于在位置2錄音的麥克風(fēng)24。該攝像機(jī)既能夠處理逐行的視頻流，也能夠處 理隔行的視頻流。將由攝像機(jī)26產(chǎn)生的視頻流和麥克風(fēng)M產(chǎn)生的音頻流輸入至編譯碼器 22，以傳輸至位置1。
第一編譯碼器18將傳輸至位置1的視頻解碼，并且平視顯示器14投影基于已解 碼視頻的影像，以致對(duì)象104能觀看到反射在屏幕108的影像118。通過(guò)揚(yáng)聲器16播放傳 輸?shù)降囊纛l。在本實(shí)施例中，編譯碼器18和22是相同的。然而，可以理解在另一個(gè)實(shí)施例，編 譯碼器18和22可以是不同的。例如，如位置2不包括向位置1輸出視頻和音頻流的攝像 機(jī)26和麥克風(fēng)M，則編譯碼器22可僅為用作接收視頻和音頻流的解碼器，并且編譯碼器 18可僅為將視頻和音頻流編碼的編碼器。第一和第二編譯碼器18和22與圖2中所示的編譯碼器32相一致。編譯碼器32 具有視頻輸入端33和音頻輸入端35，其中視頻輸入端用于接收由攝像機(jī)12或沈捕捉的連 續(xù)的視頻流，音頻輸入端用于接收由麥克風(fēng)10或M錄下的音頻流。所接收的視頻流被輸入 并經(jīng)過(guò)濾波器及時(shí)基校正器53，經(jīng)過(guò)濾波和時(shí)基校正后的視頻信號(hào)被輸入至視頻處理器。 在本實(shí)施例中，視頻處理器為光學(xué)清晰度增強(qiáng)器(optical sharpness enhancer) (OSE) 360 在本實(shí)施例中，OSE 36是被顯示為編譯碼器32的一部分，但可以理解在另一個(gè)實(shí)施例中 OSE 36與編譯碼器32是可分開(kāi)的。參見(jiàn)圖5，布置OSE以通過(guò)以下的方式在視頻流的每幀中識(shí)別對(duì)象202的輪廓 201 掃描視頻流的每幀203中的像素，以識(shí)別具有高于預(yù)定水平的對(duì)比度的像素204、204’ 或像素組205 (所示的僅為一部分)、205，，并且在這些像素204、204，或像素組205、205，之 間以連續(xù)的線限定輪廓。在圖5中，低亮度像素204和像素組205以陰影線表示，高亮度像 素以空白和一系列的點(diǎn)表示?？梢岳斫獾土炼认袼睾透吡炼认袼氐拇_切光亮度是因應(yīng)各個(gè)像素而不同，并且以 陰影線表示的像素和以空白表示的像素是想去代表一個(gè)可能的低亮度和高亮度的范圍。通過(guò)找出鄰近的像素204、204’的亮度之間或鄰近的像素組205、205’的亮度之間 的差額，并除以幀203的所有像素的平均亮度而確定對(duì)比度。如果像素204、204’或像素 組205、205’之間的對(duì)比度高于預(yù)定水平，則可確定這些像素構(gòu)成了幀中對(duì)象的輪廓。在用 于產(chǎn)生剔出的對(duì)象影像或佩珀?duì)柣孟蟮牡湫拖到y(tǒng)中，對(duì)象在深色(通常為黑色)的背景幕 布前被拍攝，以致對(duì)象周圍的背景是暗的，則就產(chǎn)生了影像，其中低亮度像素204代表了背 景。此外，對(duì)象通常由背面和側(cè)面的燈從后方照亮，這些燈在對(duì)象邊緣的周圍產(chǎn)生了光緣， 并因此在對(duì)象的周圍產(chǎn)生高亮度像素，這與代表背景的低亮度像素形成了對(duì)比。通過(guò)從一側(cè)到另一側(cè)掃描幀203，OSE 36能夠在第一次獲取到高對(duì)比度(高于預(yù) 定水平的對(duì)比度)，并且假設(shè)預(yù)定水平被正確地設(shè)定，這應(yīng)為表示背景的低亮度像素和表示 光緣的高亮度像素之間的邊界。掃描過(guò)程可以任何適合的方式執(zhí)行。例如，掃描過(guò)程能從單側(cè)開(kāi)始掃描各個(gè)像素， 然后以水平地、垂直地或?qū)蔷€方向繼續(xù)掃描，或者從相對(duì)側(cè)同時(shí)掃描。在前者的情況下， 如果掃描裝置從一側(cè)到另一側(cè)掃描過(guò)整個(gè)幀203，或者，在后者的情況下，如果兩個(gè)掃描在 中間相遇，其未能在像素或像素組之間探測(cè)到高對(duì)比度，則OSE 36確定沿著那條軌跡不存
在著對(duì)象。識(shí)別輪廓可包括比較鄰近的像素204、204’以確定該些像素是否具有高于預(yù)定水 平的對(duì)比度，或識(shí)別輪廓可包括比較鄰近的像素組205、205’以確定該些像素組是否具有高 于預(yù)定水平的對(duì)比度。后者的優(yōu)點(diǎn)在于其可防止OSE 36將噪點(diǎn)失真識(shí)別為對(duì)象的輪廓。例
13如，通過(guò)電子傳輸及處理視頻流，噪點(diǎn)可被引入到幀203中，這在幀203中產(chǎn)生具有高亮度 或低亮度的隨機(jī)像素206或207。通過(guò)比較像素組205、205’的亮度而不是比較單個(gè)像素 204,204'的亮度，OSE 36能夠區(qū)分出噪點(diǎn)和對(duì)象的輪廓。在本實(shí)施例中，與一組像素組相應(yīng)的預(yù)設(shè)數(shù)量為三個(gè)連續(xù)的像素，但一組像素組 可包括其他的像素?cái)?shù)量，例如4、5或6個(gè)像素。從而通過(guò)將預(yù)設(shè)的像素?cái)?shù)量設(shè)定為合適的 閥值，處理器不會(huì)錯(cuò)誤地將零散的噪點(diǎn)識(shí)別為對(duì)象的輪廓(由噪點(diǎn)產(chǎn)生的像素失真的數(shù)量 是遠(yuǎn)小于由對(duì)象的即使小的物體所產(chǎn)生的像素的數(shù)量。)在一個(gè)實(shí)施例中，編譯碼器32/0SE 36可具有裝置去調(diào)整形成一組像素組的預(yù)設(shè) 像素?cái)?shù)量。例如，編譯碼器32/0SE 36可具有用戶輸入端，其允許用戶選定形成一組像素組 的像素?cái)?shù)量。這或是可取的，因?yàn)橛脩艨稍O(shè)定粒度(granularity)，其中掃描裝置基于該用 戶相信可能已引入視頻流的噪點(diǎn)數(shù)量來(lái)搜索對(duì)象的輪廓。OSE 36通過(guò)以下的方法比較像素組205、205，:計(jì)算形成像素組的所有像素的亮度 的總和，找出兩個(gè)像素組的亮度總和之間的差額，并且將該差額除以幀203的平均像素亮 度。如果最終值是高于預(yù)定值，則可確定像素組之間的邊界構(gòu)成了對(duì)象的輪廓。各個(gè)像素 可成為多于一組像素組的部分，例如掃描先比較成一行的第一、第二及第三像素與第四、第 五及第六像素之間的對(duì)比度，接著比較該行的第二、第三及第四像素與第五、第六及第七像 素之間的對(duì)比度。一旦OSE 36識(shí)別出對(duì)象的輪廓，OSE 36修改該幀以沿著已識(shí)別的輪廓提供帶有 高相對(duì)亮度的一行像素線(以帶點(diǎn)的像素208表示)。例如，帶點(diǎn)的像素可帶有高于幀203 中其他任何像素的亮度。如圖5所示的幀中，輪廓的三個(gè)像素已被修改為高相對(duì)亮度像素， 而輪廓的其他像素，例如204’，未被修改。各高相對(duì)亮度的像素208可與其所替代的相應(yīng)像 素具有相同色彩。應(yīng)用高亮度像素208可增強(qiáng)通過(guò)已處理視頻流所制造的佩珀?duì)柣孟蟮谋?真感，因?yàn)閷?duì)象周圍的明亮的光緣可有助于制造影像是3-D而不是2-D影像的幻象。此外， 通過(guò)給高亮度像素208使用相同的色彩，使用高亮度像素208不會(huì)致使影像不逼真。OSE 36還使得落在輪廓之外的低亮度像素變成黑色或另一種適用于顯示的預(yù)先 選定的顏色(通常與背景幕布/帷幕82相同顏色)。在一個(gè)實(shí)施例中，OSE 36可對(duì)幀執(zhí)行雙重掃描，第一重為當(dāng)幀的色彩位深被降低， 其減少了對(duì)比度中的粒度，但允許進(jìn)行快速掃描，以識(shí)別可能為對(duì)象的邊緣的區(qū)域，第二重 為在幀上僅在降低了色彩位深的幀中被識(shí)別為邊緣的位置的周圍區(qū)域(例如幾十個(gè)像素 的寬/高)以全色位深位掃描。此過(guò)程可加快找到對(duì)象的邊緣所花費(fèi)的時(shí)間。參見(jiàn)圖2，已處理視頻流從OSE 36輸出至編碼器42。編碼器42被設(shè)置成將已接 收到的視頻流編碼至選定的編碼格式，例如逐行的視頻信號(hào)，720p，1080p或隔行的視頻信 號(hào)，1080i，和/或編碼器將視頻信號(hào)壓縮，例如提供可變的位傳輸率，該可變的位傳輸率在 無(wú)壓縮和將視頻信號(hào)壓縮至1. 5Mb/s之間。音頻信號(hào)也被輸入至編碼器42，并將其編碼至合適的格式。編碼可包括將落在輪廓之內(nèi)的像素編碼，同時(shí)不顧落在輪廓之外的像素，以形成 已編碼視頻流。從OSE 36插入的高亮度像素208可識(shí)別落在輪廓之內(nèi)的像素。已編碼視頻流和已編碼音頻流被輸入至多路復(fù)用器46，并且多路復(fù)用信號(hào)經(jīng)由信 號(hào)饋給接頭(signal feed connection) 48輸出，經(jīng)由輸入/輸出端37輸出至雙向通訊聯(lián)
14接系統(tǒng)20。在本實(shí)施例中，落入在對(duì)象的輪廓之內(nèi)的像素被分為多個(gè)部分，并且各部分可作 為頻分多路復(fù)用(frequency division multiplexed) (FDM)信號(hào)的形式在各自的載體被傳 輸。頻分多路復(fù)用會(huì)提供額外的帶寬，其允許編譯碼器在原來(lái)的時(shí)基上拉信號(hào)，同時(shí)減小壓 縮率(如有的情況下)。通過(guò)這種方式，減少信號(hào)的延時(shí)，同時(shí)增加所傳輸?shù)男畔ⅰ＞幾g碼器32還包括切換裝置39，其布置為將編碼器42在多個(gè)模式之間切換，其中 根據(jù)不同的編碼格式將視頻信號(hào)編碼。切換裝置39和編碼器42被設(shè)置成能夠在傳輸連續(xù) 的視頻流期間在模式之間切換，即在傳輸視頻流不被打斷的情況下發(fā)生切換，通過(guò)這種方 法以防止視頻流在位置2或1被連續(xù)地(實(shí)時(shí)地)投影以產(chǎn)生佩珀?duì)柣孟蟆Ｇ袚Q裝置39 使得編碼器42對(duì)所接收到的控制信號(hào)作出反應(yīng)而切換模式，在本實(shí)施例中，所接收到的控 制信號(hào)來(lái)自由用戶促動(dòng)的開(kāi)關(guān)41或43。編譯碼器32還接收來(lái)自雙向聯(lián)接系統(tǒng)20的已編碼視頻和音頻流，并且饋 給接頭48將該已接收的信號(hào)導(dǎo)向多路解復(fù)用器50。該視頻和音頻流被多路解復(fù)用 (demultiplex)，并將已被多路解復(fù)用的信號(hào)輸入至譯碼器44。設(shè)置譯碼器44以將已接收到的視頻流從選定的編碼格式(例如逐行的視頻信號(hào)， 720p, 1080p或隔行的視頻信號(hào)，1080 )解碼，和/或?qū)⒁曨l信號(hào)解壓以產(chǎn)生適用于顯示的 視頻流。已解碼視頻流被輸入至?xí)r基校正器40，并經(jīng)由輸出端47輸出至顯示器90或20。 已解碼音頻流被輸入至校正信號(hào)擴(kuò)展的均衡器38，并經(jīng)由輸出端49輸出音頻流至揚(yáng)聲器 30 或 16。設(shè)置切換裝置45以將譯碼器44在多個(gè)模式之間切換，其中根據(jù)不同的編碼格式 將視頻信號(hào)解碼。設(shè)置切換裝置45和譯碼器44，以致能夠在傳輸連續(xù)的視頻流的期間在模 式之間切換，即在傳輸視頻流不被打斷的情況下發(fā)生切換，通過(guò)這種方法以防止視頻在位 置1或2被連續(xù)地(實(shí)時(shí)地)投影。切換裝置45使得譯碼器45對(duì)所接收到的控制信號(hào)作 出反應(yīng)而切換模式，在本實(shí)施例中，所接收到的控制信號(hào)來(lái)自由用戶促動(dòng)的開(kāi)關(guān)43或41。 在本實(shí)施例中，編譯碼器18的切換裝置45對(duì)由用戶促動(dòng)的開(kāi)關(guān)43作出反應(yīng)，并且編譯碼 器22的切換裝置45對(duì)由用戶促動(dòng)的開(kāi)關(guān)43作出反應(yīng)。編碼器42和譯碼器44可還能夠根據(jù)系統(tǒng)的需要將視頻影像從一種大小或分辨率 轉(zhuǎn)化成另一種大小或分辨率。這允許系統(tǒng)根據(jù)需要投影和/或傳輸?shù)囊曨l影像而作出適 應(yīng)。例如，視頻影像可能以窗口的方式投影在更大的影像內(nèi)，并因此需要減小該視頻影像的 大小和/或分辨率?；蛘呋蝾~外地，該視頻影像可基于可用的帶寬而縮放。例如，如果沒(méi) 有足夠的帶寬以承載4 4 4的信號(hào)，可將該影像按比例由4 :4:4 RGB信號(hào)縮放到 4:2:2 YUV信號(hào)。為了減小信號(hào)的延時(shí)，這可能是需要的，以致例如能夠在佩珀?duì)柣孟?的對(duì)象和位于顯示佩珀?duì)柣孟蟮奈恢玫恼嫒酥g進(jìn)行“問(wèn)答”環(huán)節(jié)。設(shè)置帶有集成縮放器 在其中的編譯碼器意味著無(wú)需使用單獨(dú)的視頻縮放器，這減少了設(shè)置另一層硬件的需要， 而設(shè)置另一層硬件會(huì)增加系統(tǒng)的復(fù)雜性。設(shè)置編譯碼器32以向音頻流施加延遲，以確保視頻和音頻流在其被發(fā)送的位置 同步地顯示/發(fā)出聲音。編譯碼器32還被設(shè)置為提供回波消除。在一個(gè)實(shí)施例中，所施加 到音頻流的延遲是可變的延遲，其基于在傳輸視頻和音頻信號(hào)期間所測(cè)定的信號(hào)延時(shí)而確定。圖6顯示了編譯碼器的設(shè)定，其能夠?qū)崿F(xiàn)所述的音頻延遲。在如圖6所示的編譯碼器 設(shè)定中，音頻延遲模塊/音頻消除模塊301、301’位于音頻輸入端335、335’和音頻輸出端 343,343'之間，并且施加于音頻輸出的可變延遲是基于如下所述的方法。編譯碼器32是編程了固定的時(shí)間延遲，并且在傳輸視頻和音頻流的期間，編譯碼 器318或322周期性地向另外一個(gè)編譯碼器322或318傳輸測(cè)試信號(hào)(因特網(wǎng)包探索器 (ping))。另外一個(gè)編譯碼器322或318向編譯碼器318或322發(fā)送回波反應(yīng)，以對(duì)收到測(cè) 試信號(hào)作出反應(yīng)。從發(fā)送測(cè)試信號(hào)和收到回波反應(yīng)之間的時(shí)間，編譯碼器318、322能夠確 定傳輸?shù)男盘?hào)延時(shí)。通過(guò)將該信號(hào)延時(shí)加入固定的延遲內(nèi)而確定瞬時(shí)的總時(shí)間延遲，此總 時(shí)間延遲被引入至音頻流。預(yù)先編程的固定的時(shí)間延遲是用于考慮到來(lái)自于其他來(lái)源的音頻信號(hào)的傳輸延 遲，而不是編譯碼器318、322之間的傳輸延遲。例如，由處理視頻流而產(chǎn)生的信號(hào)延時(shí)以及 用于輸出已傳輸音頻的揚(yáng)聲器316、330內(nèi)的延時(shí)可導(dǎo)致延遲。固定的時(shí)間延遲可在音頻和 視頻流傳輸前通過(guò)以下方式確定將所有的麥克風(fēng)310、3M和揚(yáng)聲器316、330設(shè)定至參考 水平，接著將IKHz脈沖(例如具有幾毫秒或幾十毫秒的持續(xù)時(shí)間)以固定的分貝水平(例 如-18dB FS)發(fā)送至編譯碼器318、322的輸入端，并測(cè)定該脈沖從編譯碼器的輸出端被傳 輸出來(lái)所花費(fèi)的時(shí)間，該脈沖橫過(guò)音頻系統(tǒng)而被傳輸至另一個(gè)編譯碼器322、318，例如從揚(yáng) 聲器318、330傳輸至與另一個(gè)編譯碼器322、318連接的麥克風(fēng)310、324，然后返回至另一個(gè) 編譯碼器322、318的輸入端，再返回至第一編譯碼器318、322。這提供了系統(tǒng)中用于傳輸脈 沖的總延遲。接著以如上所述的方法測(cè)定沿著傳輸線320的信號(hào)延時(shí)，并且從所測(cè)定的總 延遲中減去該已確定的信號(hào)延時(shí)。這為音頻提供了固定的時(shí)間延遲，該固定的時(shí)間延遲不 是來(lái)自于該兩個(gè)編譯碼器318、322之間的傳輸，而是來(lái)自其他來(lái)源。如上所述，視頻和音頻流的傳輸過(guò)程中，能將已測(cè)定的信號(hào)延時(shí)(可變的時(shí)間延 遲)加入到固定的時(shí)間延遲以在系統(tǒng)中提供瞬時(shí)的總時(shí)間延遲，這已確定的瞬時(shí)時(shí)間延遲 是用于消除回波。通過(guò)將輸入至輸入端的音頻流分至編譯碼器318、322，并將其中一個(gè)被分流的音 頻流輸入至回波消除模塊301、301’而實(shí)現(xiàn)回波消除?；夭ㄏK318、322還接收由編 譯碼器318、322確定的瞬時(shí)的固定的總時(shí)間延遲。回波消除模塊318、322延遲其所接收到 的音頻流，并將該音頻流倒相。該已延遲及倒相的音頻流則疊加在輸出的音頻流上，以(至 少部分地)消除在輸出的音頻流內(nèi)輸入的音頻流的回波。在一個(gè)實(shí)施例中，多個(gè)視頻和音頻流可在編譯碼器18、22、318、322之間傳輸。例 如，可在第二位置2拍攝舞臺(tái)上的例如表演者的人(未圖示)以及一名或多名的觀眾成員 100，并且與這個(gè)視頻拍下相關(guān)的視頻和音頻流經(jīng)由編譯碼器318、322傳輸至位置1，該視 頻流以剔出的對(duì)象影像和/或佩珀?duì)柣孟蟮男问皆谠撐恢?顯示。為了確保多個(gè)視頻流的 顯示是同步的，多個(gè)視頻流是基于多個(gè)視頻信號(hào)中的其中一個(gè)(例如，舞臺(tái)上的人的視頻 流)而同步鎖定的(Genlocked)。在一個(gè)實(shí)施例中，系統(tǒng)容許在第一位置1正被拍攝的對(duì)象104觀看來(lái)自第二位置2 的不同的視頻檔，該視頻檔包括一個(gè)或多個(gè)以下的檔由位于舞臺(tái)前方的固定攝像機(jī)所拍 攝的舞臺(tái)86上的人、由攝像機(jī)所拍攝的舞臺(tái)86上的人給觀眾(包括對(duì)象的佩珀?duì)柣孟?提 供全景、由攝像機(jī)所拍攝為舞臺(tái)工作人員提供全景，以及其中一名或多名觀眾成員100。對(duì)象可以選擇觀看哪一個(gè)視頻流，并且或或者可以選擇改變各個(gè)視頻流中正被拍攝的內(nèi)容。 相應(yīng)地，該對(duì)象可能夠進(jìn)行虛擬飛越第二位置2，以能夠觀看到被一個(gè)或多個(gè)攝像機(jī)所捕捉 到的第二位置2的多個(gè)不同的元素。這可通過(guò)對(duì)象104可用到的觸摸屏界面(未圖示)而 執(zhí)行。該界面允許對(duì)象104與編譯碼器18，22，318，322互動(dòng)，其可包括場(chǎng)地的視覺(jué)景觀/ 視野角度。該場(chǎng)地可為顯示多點(diǎn)廣播(multi-point broadcast)的地圖上的場(chǎng)地或者其可 為其他參與者的一覽表，對(duì)象104可選定一覽表以觀看完整的視頻流。在傳輸多重視頻流的系統(tǒng)中，可提供編譯碼器盒，其包括用于傳輸各個(gè)視頻流的 多個(gè)可拆卸的個(gè)別編解碼模塊32 (blades)。例如，位置2可包括兩個(gè)視頻攝像機(jī)，其中一個(gè) 用于拍攝舞臺(tái)86上的情節(jié)，另一個(gè)用于拍攝觀眾成員100，兩個(gè)視頻流都可被傳輸至位置 1，以在平視顯示器上投影。為此，可需要個(gè)別編譯碼器32，每個(gè)視頻流各需要一個(gè)。使用中，攝像機(jī)12拍攝對(duì)象104，并且所產(chǎn)生的視頻流在操縱員105(例如制片 人)的控制下輸入至第一編譯碼器18。第一編譯碼器18根據(jù)選定的格式將視頻信號(hào)編碼， 并且將已編碼視頻流傳輸至編譯碼器22。編譯碼器22將視頻流解碼，并將已解碼視頻流輸 入至投影機(jī)90，投影機(jī)基于視頻流投影影像以產(chǎn)生佩珀?duì)柣孟?4?？刂茊T105在拍攝過(guò)程中觀察對(duì)象104，并且如果該觀察者認(rèn)為特定的需要(例如 對(duì)象104增加移動(dòng)或顯示文字或圖像)正在發(fā)生或在不久的將來(lái)將會(huì)發(fā)生，控制員105操 作切換開(kāi)關(guān)41以使編譯碼器18和22切換模式而使用不同的編碼格式。例如，當(dāng)顯示文字 或圖像時(shí)，控制員105可選定逐行編碼格式；當(dāng)對(duì)象104有很大的動(dòng)作時(shí)，控制員105可選 定高度壓縮的隔行編碼格式；或當(dāng)片段/正被拍攝的對(duì)象包括許多細(xì)微而復(fù)雜的細(xì)節(jié)并且 不希望在視頻流的壓縮過(guò)程中丟失這些細(xì)節(jié)時(shí)，控制員105可選定未壓縮的隔行編碼格式 或逐行編碼格式。在一個(gè)實(shí)施例中，切換開(kāi)關(guān)為計(jì)算機(jī)屏幕上的菜單，其允許控制員105選 定所想要的編碼格式。在一個(gè)實(shí)施例中，系統(tǒng)還包括記錄位于位置2的觀眾成員或其他人的攝像機(jī)24， 以在平視顯示器14/118上顯示。以與視頻流正被從位置1傳輸至位置2的相同方式，位于 位置2的控制員可操作切換開(kāi)關(guān)43以切換編譯碼器22以不同的格式將正被從位置2傳輸 至位置1的視頻流編碼，并且控制員可操作切換開(kāi)關(guān)43以切換編譯碼器18而基于攝像機(jī) 26所拍攝的片段使用不同的格式將視頻流解碼。在另一個(gè)實(shí)施例中，在各個(gè)位置的操作員或其他人可以互相進(jìn)行通訊，以對(duì)影像 84或118的任何的質(zhì)量下降提供反饋，并且操作員可使編譯碼器18，22基于該反饋而切換 編碼格式。在另一個(gè)實(shí)施例中，面光燈403至409發(fā)光，該光具有與背光燈410至416所發(fā)出 的光不同的特征頻率光譜。例如，面光燈403至409可為鎢絲燈，鹵素?zé)艋蚧」鉄簦彻鉄?410至416可為L(zhǎng)ED燈。設(shè)置編譯碼器18以識(shí)別對(duì)象的輪廓，這是根據(jù)鄰近的像素204、 204’或像素組205、205’的不同頻率組分的相對(duì)強(qiáng)度的差別而識(shí)別對(duì)象的輪廓，而不是根據(jù) 錄制的視頻的像素204、204’或像素組205、205’的相對(duì)亮度而識(shí)別對(duì)象的輪廓。通常，視頻的各個(gè)像素包括不同的頻率組分，例如紅、藍(lán)、綠(RGB)。各個(gè)頻率組分 的強(qiáng)度取決于照亮該像素所捕捉的區(qū)域的光的特征光譜。相應(yīng)地，通過(guò)比較各個(gè)像素的頻 率組分的相對(duì)強(qiáng)度，而可以識(shí)別該點(diǎn)是主要由面光燈404至409發(fā)出的光所照亮的，還是主 要由背光燈410至416發(fā)出的光所照亮的。主要由面光燈404至409發(fā)出的光照明的區(qū)域?yàn)閷?duì)象104，其中面光燈403至409發(fā)出的光被對(duì)象反射。主要由背光燈410至416發(fā)出的 光照亮的區(qū)域?yàn)閷?duì)象104外緣的周圍。因此，通過(guò)比較鄰近的像素或像素組的頻率組分的 相對(duì)強(qiáng)度，能夠識(shí)別對(duì)象104的輪廓。在另一個(gè)實(shí)施例中，系統(tǒng)包括用于探測(cè)可用帶寬的裝置，其自動(dòng)地生成控制信號(hào) 以將編譯碼器切換至適合于所可用帶寬的不同模式。例如，如果測(cè)定的信號(hào)延時(shí)升高至超 過(guò)預(yù)定水平，可將編碼格式從逐行的切換為隔行的，或者切換至更高的壓縮率。在另一個(gè)實(shí)施例中，設(shè)置編譯碼器18和22以分配帶寬給不同的數(shù)據(jù)流(例如視 頻數(shù)據(jù)流、音頻數(shù)據(jù)流及控制數(shù)據(jù)流)，其中如果編譯碼器18和22識(shí)別到音頻數(shù)據(jù)流或控 制數(shù)據(jù)流的減少，其將這可用帶寬重新分配至視頻流。在一個(gè)實(shí)施例中，編譯碼器18和22可被設(shè)置為自動(dòng)地確定接收到的已編碼視頻 流的編碼格式，并且被設(shè)置為切換至使用正確的解碼格式將已編碼視頻流解碼?？梢岳斫饩幾g碼器18和20可以在軟件或硬件的方式執(zhí)行?？梢岳斫饪蓪?duì)本發(fā)明做出改變和調(diào)整而不偏離權(quán)利要求的范圍。
權(quán)利要求
1.編譯碼器，包括接收連續(xù)的視頻流的視頻輸入端，將所述視頻流編碼以產(chǎn)生已編碼 視頻流的編碼器，傳輸所述已編碼視頻流的視頻輸出端以及在編碼過(guò)程中將所述編碼器在 第一模式和第二模式之間切換的切換裝置，在所述第一模式中所述視頻流根據(jù)第一編碼格 式被編碼，在所述第二模式中所述視頻流根據(jù)第二編碼格式被編碼。
2.編譯碼器，包括接收已編碼視頻流的視頻輸入端，將所述已編碼視頻流解碼以產(chǎn)生 已解碼視頻流的譯碼器，傳輸所述已解碼視頻流的視頻輸出端以及在解碼過(guò)程中將所述譯 碼器在第一模式和第二模式之間切換的切換裝置，在所述第一模式中所述已編碼視頻流根 據(jù)第一編碼格式被解碼，在所述第二模式中所述已編碼視頻流根據(jù)第二編碼格式被解碼。
3.根據(jù)權(quán)利要求1或權(quán)利要求2所述的編譯碼器，其中所述切換裝置對(duì)外部控制信號(hào) 作出反應(yīng)將所述編碼器/譯碼器在所述第一模式和所述第二模式之間切換。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)權(quán)利要求所述的編譯碼器，其中所述編譯碼器能夠改變 所述視頻流的視頻影像的分辨率和/或大小。
5.遠(yuǎn)程呈現(xiàn)系統(tǒng)，包括拍攝被顯示為剔出的對(duì)象影像和/或佩珀?duì)柣孟竦膶?duì)象的攝像 機(jī)，接收由所述攝像機(jī)產(chǎn)生的視頻流和輸出已編碼視頻流的根據(jù)權(quán)利要求1所述的第一編 譯碼器，把所述已編碼視頻流傳輸至根據(jù)權(quán)利要求2所述的在遠(yuǎn)程位置的第二編譯碼器的 裝置，該第二編譯碼器被設(shè)置成將所述已編碼視頻信號(hào)解碼并把該已解碼視頻信號(hào)輸出至 裝置以基于所述已解碼視頻信號(hào)生成所述剔出的對(duì)象影像和/或佩珀?duì)柣孟?，以及被設(shè)置 成產(chǎn)生控制信號(hào)以使得所述第一編譯碼器在所述第一模式和所述第二模式之間切換的用 戶操作的切換開(kāi)關(guān)。
6.根據(jù)權(quán)利要求5所述的遠(yuǎn)程呈現(xiàn)系統(tǒng)，其中所述用戶操作的切換開(kāi)關(guān)被進(jìn)一步設(shè)置 成產(chǎn)生使所述第二編譯碼器在所述第一模式和所述第二模式之間切換的控制信號(hào)。
7.根據(jù)權(quán)利要求6所述的遠(yuǎn)程呈現(xiàn)系統(tǒng)，其中所述第二編譯碼器被設(shè)置成自動(dòng)地確定 所述已編碼視頻流的編碼格式，并進(jìn)行切換以使用正確的(第一或第二)模式將所述已編 碼視頻流解碼。
8.產(chǎn)生對(duì)象的遠(yuǎn)程呈現(xiàn)的方法，包括拍攝所述對(duì)象以產(chǎn)生連續(xù)的視頻流，把所述視頻 流傳輸至遠(yuǎn)程位置以及在所述遠(yuǎn)程位置根據(jù)所傳輸?shù)囊曨l流生成剔出的對(duì)象影像和/或 佩珀?duì)柣孟?，其中傳輸所述視頻流包括在傳輸所述視頻流的過(guò)程中基于所拍攝的情節(jié)的變 化從多個(gè)編碼格式中選擇不同的格式以及在傳輸過(guò)程中把所述編碼格式改變?yōu)樗x擇的 編碼格式。
9.根據(jù)權(quán)利要求8所述的方法，其中所述情節(jié)的變化是所述對(duì)象的移動(dòng)多少的變化、 對(duì)所述對(duì)象的照明的變化、所述被拍攝對(duì)象與在所述遠(yuǎn)程位置的人的互動(dòng)程度的變化和/ 或在所顯示的影像中加入文字或圖像。
10.參照?qǐng)D2大體上如本文所述的編譯碼器。
11.參照?qǐng)D1至8大體上如本文所述的遠(yuǎn)程呈現(xiàn)系統(tǒng)。
12.視頻處理器，包括接收視頻流的視頻輸入端，傳輸已處理的視頻流的視頻輸出端， 其中所述處理器被設(shè)置成通過(guò)掃描各幀的像素以識(shí)別鄰近一些像素或像素組，而其中所述 鄰近的像素或像素組的屬性之間的相對(duì)差異是高于預(yù)定水平，和把所述輪廓限定為這些像 素或像素組之間的連續(xù)的線，來(lái)識(shí)別所述視頻流的各幀中的對(duì)象的輪廓，并且使落在所述 輪廓之外的像素成為預(yù)先選定的顏色。
13.根據(jù)權(quán)利要求12所述的視頻處理器，其中所述相對(duì)差異是亮度的對(duì)比度。
14.根據(jù)權(quán)利要求12所述的視頻處理器，其中所述相對(duì)差異是在所述鄰近的像素或像 素組中捕捉到的特征光譜的差異。
15.根據(jù)權(quán)利要求12至14中任一項(xiàng)權(quán)利要求所述的視頻處理器，其被設(shè)置成大體上實(shí) 時(shí)地處理所述視頻流以致能連續(xù)地傳輸(或至少顯示)所述視頻流。
16.根據(jù)權(quán)利要求12至15中任一項(xiàng)權(quán)利要求所述的視頻處理器，其中識(shí)別所述輪廓包 括確定預(yù)先設(shè)定的連續(xù)像素?cái)?shù)量，其具有的屬性與鄰近的預(yù)先設(shè)定的連續(xù)像素?cái)?shù)量的屬性 成對(duì)比。
17.根據(jù)權(quán)利要求16所述的視頻處理器，包括用于調(diào)整所述預(yù)先設(shè)定數(shù)量的裝置。
18.根據(jù)權(quán)利要求12至17中任一項(xiàng)權(quán)利要求所述的視頻處理器，其被設(shè)置成修改所述 幀以沿著所識(shí)別的輪廓提供帶有高相對(duì)亮度的像素行。
19.根據(jù)權(quán)利要求18所述的視頻處理器，其中各高相對(duì)亮度的像素帶有其替代的相應(yīng) 像素相同的色彩。
20.存儲(chǔ)有指令的數(shù)據(jù)載體，在處理器執(zhí)行所述指令時(shí)，所述數(shù)據(jù)載體使得所述處理器 接收視頻流，通過(guò)掃描各幀的像素以識(shí)別鄰近的像素或像素組，其中所述鄰近的像素或像 素組的屬性之間的相對(duì)差異是高于預(yù)定水平，和把所述輪廓限定為這些像素或像素組之間 的連續(xù)的線，來(lái)識(shí)別所述視頻流的各幀中的對(duì)象的輪廓，并且使落在所述輪廓之外的像素 成為預(yù)先選定的顏色并且傳輸已處理的視頻流。
21.拍攝以佩珀?duì)柣孟竦男问奖煌队暗膶?duì)象的方法，該方法包括在帶有照亮對(duì)象的前 面的一個(gè)或多個(gè)面光燈和照亮對(duì)象背面的一個(gè)或多個(gè)背光燈的照明布置下拍攝所述對(duì)象， 其中所述面光燈發(fā)出的光所帶有的特征頻率光譜與所述背光燈發(fā)出的光的特征頻率光譜 不同。
22.編譯碼器，包括接收對(duì)象的視頻流的視頻輸入端，將所述視頻流編碼以產(chǎn)生已編碼 視頻流的編碼器以及傳輸所述已編碼視頻流的視頻輸出端，所述編碼器被設(shè)置成通過(guò)識(shí)別 所述對(duì)象的輪廓，以及將落在所述輪廓之內(nèi)的像素編碼而無(wú)需理會(huì)落在所述輪廓之外的像 素來(lái)處理所述視頻流的各幀以形成所述已編碼視頻流。
23.根據(jù)權(quán)利要求22所述的編譯碼器，其中從限定所述對(duì)象的輪廓的高亮度像素以識(shí) 別落在所述輪廓之外的像素，并且無(wú)需理會(huì)所述高亮度像素的輪廓的一側(cè)(外部)的像素。
24.根據(jù)權(quán)利要求22或權(quán)利要求23所述的編譯碼器，其中所述編碼器包括多路復(fù)用所 述視頻流的多路復(fù)用器。
25.根據(jù)權(quán)利要求M所述的編譯碼器，其中落在所述對(duì)象的輪廓之內(nèi)的像素被分為多 個(gè)部分并且各部分作為頻分多路復(fù)用信號(hào)在各自的載體被傳輸。
26.編譯碼器，包括接收視頻流和相關(guān)音頻流的視頻輸入端，將所述視頻和音頻流編碼 的編碼器以及把已編碼視頻和音頻流傳輸至另一編譯碼器的視頻輸出端，其中所述編譯碼 器被設(shè)置成，在傳輸所述視頻和音頻流的過(guò)程中，定期把測(cè)試信號(hào)(因特網(wǎng)包探索器)傳輸 至另一編譯碼器，接收從另一編譯碼器對(duì)測(cè)試信號(hào)作出的回波反應(yīng)，從發(fā)送所述測(cè)試信號(hào) 和接收到回波反應(yīng)之間的時(shí)間確定傳輸至另一編譯碼器的信號(hào)延時(shí)以及為所確定的信號(hào) 延時(shí)把適當(dāng)?shù)难訒r(shí)引入所述或另外的音頻流。
27.編譯碼器，包括從另一編譯碼器接收已編碼視頻流和相關(guān)音頻流的視頻輸入端，將所述視頻和音頻流解碼的譯碼器以及傳輸所述已解碼視頻和音頻流的視頻輸出端，其中所 述編譯碼器被設(shè)置成，在傳輸所述視頻和音頻流的過(guò)程中，應(yīng)接收到測(cè)試信號(hào)(因特網(wǎng)包 探索器)而把回波反應(yīng)傳輸至所述另一編譯碼器。
28.傳輸用來(lái)顯示為剔出的對(duì)象和/或佩珀?duì)柣孟竦亩鄠€(gè)視頻流的系統(tǒng)，其包括編譯 碼器，以接收所述多個(gè)視頻流，將所述多個(gè)視頻流編碼并將已編碼的多個(gè)視頻流傳輸至遠(yuǎn) 程位置，其中基于所述多個(gè)視頻信號(hào)其中之一個(gè)而將所述多個(gè)視頻流為同步鎖定。
29.視頻處理器，包括接收視頻流的視頻輸入端，傳輸已處理視頻流的視頻輸出端，其 中所述處理器被設(shè)置成通過(guò)掃描各幀的各像素行而識(shí)別一些像素或像素組，其對(duì)比度由于 與明亮的對(duì)象相比之下深色的背景而高于預(yù)定水平，并且把這些像素或像素組的其中之一 或二者都修改成亮度比像素或像素組的原本亮度為高，來(lái)識(shí)別所述視頻的各幀中對(duì)象的輪 廓。
全文摘要
編譯碼器，包括接收連續(xù)的視頻流的視頻輸入端(33)，將所述視頻流編碼以產(chǎn)生已編碼視頻流的編碼器(42)，傳輸所述視頻流的視頻輸出端(37)以及切換裝置(39)。所述切換裝置用來(lái)在編碼過(guò)程中將所述已編碼視頻流在第一模式和第二模式之間切換，在所述第一模式中，所述視頻流根據(jù)第一編碼格式被編碼，在所述第二模式中，所述視頻流根據(jù)第二編碼格式被編碼。本發(fā)明還涉及將所述視頻流解碼的相應(yīng)的編譯碼器。在另一方面，本發(fā)明涉及識(shí)別在視頻影像內(nèi)的對(duì)象的輪廓的處理器。
文檔編號(hào)G03B21/00GK102150430SQ200980136729
公開(kāi)日2011年8月10日 申請(qǐng)日期2009年7月14日 優(yōu)先權(quán)日2008年7月14日
發(fā)明者伊恩·克里斯托弗·奧康奈爾, 阿萊克·豪斯 申請(qǐng)人:穆申Ip有限公司