專利名稱：視頻通信方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于視頻通信的方法和系統(tǒng)，更具體地，涉及其中用戶可以同時(shí)看到本地和遠(yuǎn)程圖像的視頻通信。
背景技術(shù)：
視頻通信的概念在本領(lǐng)域中早已熟知，并且隨著能夠發(fā)送和接收視頻流的UMTS移動(dòng)手機(jī)的出現(xiàn)而正在成為主流。在英國(guó)投入公眾使用的這種業(yè)務(wù)的示例是Hutchison 3G UK Ltd.提供的“ThreeTM”業(yè)務(wù)。另外，其他視頻會(huì)議業(yè)務(wù)在本領(lǐng)域中也是眾所周知的，例如使用在配備有攝像機(jī)和網(wǎng)絡(luò)連接的通用計(jì)算機(jī)系統(tǒng)上運(yùn)行的軟件應(yīng)用程序(例如，MicrosoftNetmeeting)或者使用專用的視頻會(huì)議硬件，通過(guò)互聯(lián)網(wǎng)提供的那些業(yè)務(wù)。
視頻通信系統(tǒng)的共同點(diǎn)是不僅向視頻會(huì)議或視頻電話的一個(gè)或多個(gè)遠(yuǎn)程參與者，而且向一個(gè)或多個(gè)本地參與者提供視頻圖像。這種可視反饋使得本地參與者能夠看到遠(yuǎn)程方如何看到他們并且能夠看到視頻會(huì)議系統(tǒng)如何展示他們。另外，該可視反饋還使得用戶能夠?qū)⑺麄冏约涸O(shè)置在攝像機(jī)的視野內(nèi)，并保證他們的面部被很好地照明并且可見(jiàn)。
如圖1和2所示，用于視頻通信的可視反饋系統(tǒng)的多個(gè)示例在本領(lǐng)域中是公知的。更具體地，圖1示出了可視反饋的一般結(jié)構(gòu)，其中顯示屏1被分為遠(yuǎn)程顯示部分2和本地顯示部分3。遠(yuǎn)程顯示部分2顯示(通常經(jīng)由某種形式的網(wǎng)絡(luò))從遠(yuǎn)程用戶接收到的輸入視頻信號(hào)，而本地顯示部分3顯示由本地終端的圖像采集裝置(例如，攝像機(jī)等)采集的本地用戶的視頻圖像。本領(lǐng)域公知的這種結(jié)構(gòu)的示例為Hutchison 3G UK Ltd.在“Three”業(yè)務(wù)中使用的結(jié)構(gòu)，以及Microsoft公司在NetMeeting軟件應(yīng)用程序中使用的結(jié)構(gòu)。
本領(lǐng)域還已知多種另選形式的可視反饋，其并不將顯示屏2分為多個(gè)部分，而是將本地圖像和遠(yuǎn)程圖像組合為組合圖像，以使得在公共背景上并排顯示一個(gè)或多個(gè)遠(yuǎn)程用戶和一個(gè)或多個(gè)本地用戶。這種系統(tǒng)的一個(gè)示例為由Media Lab Europe開(kāi)發(fā)的“Reflexion”系統(tǒng)，并在http∥www.medialabeurope.org/~stefan/hc/projects/reflexion/中進(jìn)行了說(shuō)明。圖2中示出了該Reflexion系統(tǒng)的多個(gè)屏幕快照。
Reflexion站包括攝像機(jī)和與計(jì)算機(jī)相連的視頻顯示器。每一個(gè)參與者(可以有多個(gè)參與者)都使用獨(dú)立的Reflexion站。使用分割算法，該計(jì)算機(jī)從參與者的背景中提取出他的圖像，并將該圖像的鏡像圖像經(jīng)由網(wǎng)絡(luò)發(fā)送給其他站。該計(jì)算機(jī)還從其他站接收所提取的參與者圖像，并將它們?nèi)拷M合為單個(gè)視頻場(chǎng)景。該效果是“數(shù)字鏡像”的一種，其中參與者看到其自身的映像，以及其他位于遠(yuǎn)程的參與者的映像。
該系統(tǒng)自動(dòng)地監(jiān)測(cè)聽(tīng)覺(jué)提示，并以增強(qiáng)交互的方式使用它們來(lái)構(gòu)成場(chǎng)景。例如，當(dāng)前原型跟蹤哪個(gè)參與者正在發(fā)言，以判斷誰(shuí)是“關(guān)注的中心”?；钴S的參與者表現(xiàn)為不透明并且處于前景中，以強(qiáng)調(diào)它們的視覺(jué)存在，而其他不活躍的參與者表現(xiàn)為稍微淡入在背景中，而保持對(duì)其狀態(tài)的獲知，而不引起不適當(dāng)?shù)年P(guān)注。該系統(tǒng)在參與者們繼續(xù)進(jìn)行交互時(shí)平滑地轉(zhuǎn)換他們的層次和外觀。每一個(gè)參與者都精確地看到相同的布局，因此增強(qiáng)了存在于“共享空間”的感覺(jué)。
可視反饋圖像是如“Three”和NetMeeting系統(tǒng)的情況那樣顯示在顯示器的獨(dú)立部分中，還是如Reflexion系統(tǒng)的情況那樣顯示為集成合成圖像，共同的要求在于屏幕足夠大，以同時(shí)顯示兩個(gè)圖像而不會(huì)有明顯的交疊。在屏幕不是足夠大以完全顯示兩個(gè)圖像的情況下，顯示器的可視反饋部分可以部分地遮蔽(occlude)顯示器的遠(yuǎn)程顯示部分，這與“Three”系統(tǒng)是相同的。在屏幕通常足夠大以顯示兩個(gè)圖像的情況下，通常并排顯示圖像，或者一個(gè)圖像在另一個(gè)圖像的頂部，而不存在用戶圖像的明顯交疊，這與NetMeeting和Reflexion系統(tǒng)的情況相同。這可能表現(xiàn)出另外的缺點(diǎn)，即，該結(jié)構(gòu)需要用戶的注意力，因?yàn)槟抗饽暫?或頭部取向要有意從可視反饋圖像移動(dòng)到遠(yuǎn)程圖像，或者從遠(yuǎn)程圖像移動(dòng)到可視反饋圖像，尤其在兩個(gè)圖像之間有一定距離的情況下。

發(fā)明內(nèi)容
本發(fā)明提供了一種方法和系統(tǒng)，其提供了對(duì)于遠(yuǎn)程視頻的可視反饋信號(hào)的顯示的另選結(jié)構(gòu)，其對(duì)于用于小顯示屏尤其有用(但不排他)，該小顯示屏沒(méi)有足夠的空間來(lái)并排地或者在不遮蔽這些圖像中的一個(gè)的至少部分的情況下，或者在圖像不會(huì)小到丟失細(xì)節(jié)的情況下顯示本地和遠(yuǎn)程信號(hào)。具體地，本發(fā)明提供了一種方法和系統(tǒng)，其中遠(yuǎn)程視頻圖像直接覆蓋本地視頻圖像，以生成組合視頻圖像，然后將其顯示給用戶，和/或適當(dāng)?shù)剡M(jìn)行存儲(chǔ)。優(yōu)選地，在執(zhí)行覆蓋操作之前，對(duì)本地和/或遠(yuǎn)程圖像中的至少一個(gè)進(jìn)行圖像處理操作，該圖像處理操作使得在用戶觀看時(shí)，包含在要在處理時(shí)覆蓋的圖像內(nèi)的場(chǎng)景在該組合視頻圖像內(nèi)對(duì)于用戶可單獨(dú)區(qū)分。另外，該圖像處理操作可以進(jìn)一步被設(shè)置為使得在處理之后所得到的本地或遠(yuǎn)程圖像中的一個(gè)與另一個(gè)相比吸引較少的用戶注意力。優(yōu)選地但不排他地，本地圖像應(yīng)該比遠(yuǎn)程圖像吸引更少的注意力。執(zhí)行覆蓋操作以使得包含在各個(gè)視頻圖像中的場(chǎng)景基本上彼此上下對(duì)齊。通過(guò)如上所述對(duì)各個(gè)本地和遠(yuǎn)程圖像進(jìn)行覆蓋，獲得了單個(gè)組合圖像，其中各個(gè)本地和遠(yuǎn)程圖像的各自場(chǎng)景仍然可以單獨(dú)區(qū)分，但是其仍然具有用于在有限尺寸的屏幕上進(jìn)行顯示的適當(dāng)尺寸，而不會(huì)遮蔽一個(gè)或另一個(gè)圖像。
鑒于上述內(nèi)容，根據(jù)本發(fā)明的第一方面，提供了一種視頻通信系統(tǒng)，其包括a)視頻成像裝置，被設(shè)置用來(lái)生成表示第一場(chǎng)景的第一視頻圖像；b)通信裝置，被設(shè)置用來(lái)優(yōu)選地經(jīng)由網(wǎng)絡(luò)來(lái)發(fā)送與所述第一視頻圖像相關(guān)的信息，并接收與表示第二場(chǎng)景的第二視頻圖像相關(guān)的信息；以及c)視頻顯示裝置，被設(shè)置用來(lái)向用戶顯示視頻圖像；所述系統(tǒng)的特征在于，還包括d)圖像生成裝置，被設(shè)置用來(lái)通過(guò)對(duì)各個(gè)第一和第二視頻圖像的各個(gè)第一和第二場(chǎng)景進(jìn)行組合，以使得它們看上去以基本上對(duì)齊的方式覆蓋，來(lái)生成用于顯示的覆蓋視頻圖像。
這種結(jié)構(gòu)提供了上述的許多優(yōu)點(diǎn)。
在優(yōu)選實(shí)施例中，該系統(tǒng)還包括圖像處理裝置，被設(shè)置用來(lái)根據(jù)一個(gè)或更多個(gè)相應(yīng)的圖像處理操作來(lái)處理所述第一視頻圖像和/或所述第二視頻圖像，并用來(lái)將第一和第二視頻圖像的經(jīng)處理版本輸出給圖像生成裝置，作為對(duì)其的輸入；其中，所述圖像處理操作可用來(lái)處理所述視頻圖像，以使得可以在由圖像生成裝置生成的覆蓋圖像中獨(dú)立地區(qū)分第一和第二視頻圖像各自的場(chǎng)景。
“可獨(dú)立地區(qū)分”表示所應(yīng)用的處理操作使得兩個(gè)相應(yīng)場(chǎng)景的主要特征對(duì)于在所得到的覆蓋圖像中對(duì)于用戶可分別區(qū)分。
圖像生成裝置可以位于用戶終端自身內(nèi)，或者在另選實(shí)施例中，可以位于與各個(gè)終端進(jìn)行通信的側(cè)音服務(wù)器內(nèi)。在這種另選實(shí)施例中，每一個(gè)用戶終端都將其本地圖像發(fā)送給側(cè)音服務(wù)器，在側(cè)音服務(wù)器中，分別對(duì)圖像進(jìn)行組合以生成覆蓋圖像，然后將覆蓋圖像向前發(fā)送給其他用戶終端以進(jìn)行顯示。這種結(jié)構(gòu)具有以下優(yōu)點(diǎn)在側(cè)音服務(wù)器處執(zhí)行用于生成覆蓋圖像的處理，因此降低了用戶終端的復(fù)雜度以及能量需求，因?yàn)槊恳粋€(gè)用戶終端都不需要執(zhí)行生成覆蓋圖像所需的圖像處理操作。
根據(jù)第二方面，本發(fā)明還提供了一種視頻通信方法，包括以下步驟a)生成表示第一場(chǎng)景的第一視頻圖像；b)優(yōu)選地經(jīng)由網(wǎng)絡(luò)來(lái)發(fā)送與所述第一視頻圖像相關(guān)的信息，并接收與表示第二場(chǎng)景的第二視頻圖像相關(guān)的信息；以及c)向用戶顯示視頻圖像；所述方法的特征在于，還包括d)通過(guò)對(duì)各個(gè)第一和第二視頻圖像的各個(gè)第一和第二場(chǎng)景進(jìn)行組合，以使得它們看上去以基本上對(duì)齊的方式覆蓋，來(lái)生成用于顯示的覆蓋視頻圖像。
另外，根據(jù)第三方面，本發(fā)明還提供了一種計(jì)算機(jī)程序或程序組，其被設(shè)置為當(dāng)在計(jì)算機(jī)系統(tǒng)上執(zhí)行時(shí)，該程序或程序組使得計(jì)算機(jī)系統(tǒng)執(zhí)行第二方面的方法。此外，根據(jù)另一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有根據(jù)第三方面的計(jì)算機(jī)程序或程序組。該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是本領(lǐng)域公知的任意適當(dāng)?shù)臄?shù)據(jù)存儲(chǔ)設(shè)備或介質(zhì)，例如(作為非限定性示例)，磁盤、DVD、固態(tài)存儲(chǔ)器、光盤、磁光盤等中的任意一種。


通過(guò)對(duì)僅以示例的方式給出的本發(fā)明的實(shí)施例的以下說(shuō)明并參照附圖，本發(fā)明的其他特征和優(yōu)點(diǎn)將變得明了，在附圖中，相同的標(biāo)號(hào)表示相同的部分，并且其中圖1給出了現(xiàn)有技術(shù)的視頻通信設(shè)備的風(fēng)格表示；圖2(a)和(b)是現(xiàn)有技術(shù)的視頻通信系統(tǒng)的屏幕快照；圖3是表示提供可視側(cè)音所需的一般組件的系統(tǒng)框圖；圖4是根據(jù)本發(fā)明實(shí)施例的設(shè)備所使用的系統(tǒng)組件的系統(tǒng)框圖；圖5是本發(fā)明第一實(shí)施例的風(fēng)格表示；圖6是本發(fā)明第二實(shí)施例的風(fēng)格表示；圖7是表示在本發(fā)明的第一和第二組件中使用的處理步驟的框圖；圖8是本發(fā)明第三實(shí)施例的風(fēng)格表示；圖9是本發(fā)明第四實(shí)施例的風(fēng)格表示；圖10是表示由本發(fā)明第三和第四實(shí)施例執(zhí)行的處理步驟的框圖；圖11是本發(fā)明第五實(shí)施例的風(fēng)格表示；圖12是本發(fā)明第六實(shí)施例的風(fēng)格表示；圖13是本發(fā)明第七實(shí)施例的風(fēng)格表示；圖14是表示由本發(fā)明第五、第六、或第七實(shí)施例中的任意一個(gè)執(zhí)行的處理步驟的框圖；圖15是表示可以由本發(fā)明的實(shí)施例使用的多種圖像處理操作之一的框圖；圖16是表示可以由本發(fā)明的實(shí)施例使用的多種圖像處理操作中的另一種的處理圖；圖17是可以由本發(fā)明的實(shí)施例使用的另一種圖像處理操作的處理圖；圖18(a)、(b)和(c)表示可用來(lái)對(duì)經(jīng)處理的圖像進(jìn)行組合以生成結(jié)果覆蓋圖像的第一方法；圖19(a)、(b)和(c)表示可用來(lái)對(duì)經(jīng)處理的圖像進(jìn)行組合以生成結(jié)果覆蓋圖像的第二方法；圖20(a)、(b)和(c)表示可用來(lái)對(duì)圖像進(jìn)行組合以生成結(jié)果覆蓋圖像的第三方法；以及圖21是本發(fā)明第八實(shí)施例的風(fēng)格表示。
具體實(shí)施例方式
以下將對(duì)本發(fā)明的多個(gè)實(shí)施例進(jìn)行說(shuō)明。應(yīng)該將這些實(shí)施例視為非限定性示例，并且對(duì)于預(yù)期的讀者，從這些實(shí)施例的說(shuō)明中可以很明顯看出，通過(guò)采用所述實(shí)施例的各種要素(尤其是所采用的圖像處理操作)并按照不同的組合對(duì)其進(jìn)行組合以產(chǎn)生本發(fā)明的功能，還可以提供其他的實(shí)施例，其他實(shí)施例中的每一個(gè)也都被預(yù)期落入本發(fā)明的范圍內(nèi)。
在說(shuō)明書的介紹部分中，我們將顯示給用戶的該用戶的本地圖像稱為可視反饋信號(hào)。然而，在這里將要給出的具體說(shuō)明中，我們將該可視反饋信號(hào)稱為“可視側(cè)音”信號(hào)，這是與在電話系統(tǒng)中使用了多年的聽(tīng)覺(jué)側(cè)音信號(hào)相類似的術(shù)語(yǔ)。因此，在以下的說(shuō)明中，術(shù)語(yǔ)“可視側(cè)音信號(hào)”和“可視反饋信號(hào)”是同義的并且可互換。
在對(duì)各個(gè)實(shí)施例進(jìn)行具體說(shuō)明之前，將說(shuō)明各個(gè)實(shí)施例的某些共有要素，各個(gè)實(shí)施例都可以使用這些共有要素。更具體地，下面將對(duì)各個(gè)實(shí)施例所需的設(shè)備要素進(jìn)行說(shuō)明，然后對(duì)各個(gè)實(shí)施例都可以使用的多種圖像處理操作進(jìn)行說(shuō)明。應(yīng)當(dāng)指出，存在可以由任意具體實(shí)施例使用的多種另選的圖像處理操作，因此首先將分別對(duì)這些圖像處理操作的每一個(gè)進(jìn)行說(shuō)明，然后在各個(gè)實(shí)施例的各個(gè)相應(yīng)說(shuō)明中，將指出具體由該實(shí)施例使用的圖像處理操作。
鑒于上述內(nèi)容，首先參照?qǐng)D3和4，圖3表示兩個(gè)視頻通信系統(tǒng)的基本要素，這兩個(gè)視頻通信系統(tǒng)被設(shè)置為通過(guò)網(wǎng)絡(luò)彼此通信，并且可以提供可視側(cè)音信號(hào)。更具體地，圖的左手側(cè)示出了由參與者1使用的第一視頻通信設(shè)備的那些要素。該視頻通信設(shè)備包括顯示裝置，例如LCD屏等，其被設(shè)置用來(lái)顯示參與者1的可視側(cè)音圖像以及遠(yuǎn)程參與者2的視頻圖像；攝像機(jī)18，其被設(shè)置用來(lái)采集參與者1的本地圖像；視頻編碼器32，其被設(shè)置用來(lái)接收來(lái)自攝像機(jī)18的輸入，并對(duì)由此接收的圖像信息進(jìn)行數(shù)字編碼；以及視頻解碼器34，其被設(shè)置用來(lái)接收來(lái)自網(wǎng)絡(luò)50的數(shù)據(jù)，對(duì)圖像數(shù)據(jù)進(jìn)行解碼，以及將其傳送至顯示器1，以顯示給用戶參與者1。視頻編碼器32將由攝像機(jī)18采集的經(jīng)編碼的本地圖像傳送給網(wǎng)絡(luò)50，以通過(guò)其進(jìn)行傳輸，還將該經(jīng)編碼的本地視頻數(shù)據(jù)傳送給解碼器34，在解碼器34中，對(duì)其進(jìn)行解碼，然后傳送給顯示器1，以作為可視側(cè)音進(jìn)行顯示。
經(jīng)由網(wǎng)絡(luò)50將由編碼器32傳送到網(wǎng)絡(luò)50的本地視頻數(shù)據(jù)傳輸給由用戶參與者2使用的第二視頻通信設(shè)備。在第二視頻通信設(shè)備處設(shè)置有解碼器232，其被設(shè)置用來(lái)從網(wǎng)絡(luò)50接收視頻圖像數(shù)據(jù)，對(duì)該視頻圖像數(shù)據(jù)進(jìn)行解碼，以及將解碼后的圖像傳送給顯示器21，以顯示給用戶參與者2。與第一通信設(shè)備相同，第二視頻通信設(shè)備也包括攝像機(jī)218，該攝像機(jī)218被設(shè)置用來(lái)采集用戶參與者2的本地圖像，并將這些本地圖像傳送給視頻編碼器234以進(jìn)行編碼，然后將其傳送到網(wǎng)絡(luò)50上，以傳送給由參與者1使用的第一視頻通信設(shè)備。另外，視頻編碼器234還將參與者2的經(jīng)編碼的本地圖像傳送給解碼器232以進(jìn)行解碼，然后在顯示器21上作為參與者2的圖像的可視側(cè)音信號(hào)進(jìn)行顯示。
因此，如由圖3所示的結(jié)構(gòu)提供的，視頻通信設(shè)備可以采集其自身用戶的本地圖像，并將這些圖像發(fā)送給遠(yuǎn)程設(shè)備，并從同一遠(yuǎn)程設(shè)備接收遠(yuǎn)程圖像。然后將從遠(yuǎn)程設(shè)備接收的遠(yuǎn)程圖像和本地圖像在同一顯示器上顯示給該用戶。此處應(yīng)該注意，這種一般的體系結(jié)構(gòu)是前面提及的現(xiàn)有技術(shù)的可視側(cè)音系統(tǒng)以及本發(fā)明實(shí)施例的特征。然而，本發(fā)明的實(shí)施例與現(xiàn)有技術(shù)的區(qū)別在于，還提供了其他系統(tǒng)元素，用于以特定的方式對(duì)圖像進(jìn)行處理，這將通過(guò)以下說(shuō)明而變得清楚。
現(xiàn)在轉(zhuǎn)到圖4，其更詳細(xì)地示出了由本發(fā)明的實(shí)施例提供的視頻通信設(shè)備所需的特定系統(tǒng)元素。更具體地，根據(jù)這些實(shí)施例的視頻通信設(shè)備10包括顯示屏1，例如LCD屏幕等，其被設(shè)置用來(lái)向用戶顯示合成側(cè)音圖像和遠(yuǎn)程圖像。另外，還提供了攝像機(jī)18，其被設(shè)置用來(lái)采集本地用戶的本地圖像；以及麥克風(fēng)14，其被設(shè)置用來(lái)采集該設(shè)備10附近的任何本地聲音。還提供了發(fā)聲器或揚(yáng)聲器16，其被設(shè)置用來(lái)從視頻通信設(shè)備向用戶輸出聲音。為了對(duì)由攝像機(jī)18采集的本地圖像進(jìn)行接收和編碼，提供了視頻編碼器32，其被設(shè)置用來(lái)接收攝像機(jī)18的輸出，將該數(shù)據(jù)數(shù)字編碼為圖像數(shù)據(jù)，以及將經(jīng)編碼的圖像數(shù)據(jù)傳送給中央控制單元46。類似地，為了對(duì)由麥克風(fēng)14生成的任何模擬音頻信號(hào)進(jìn)行編碼，提供了音頻編碼器42，其被設(shè)置用來(lái)對(duì)模擬輸入信號(hào)進(jìn)行數(shù)字編碼，并將數(shù)字音頻信號(hào)提供給控制器46作為對(duì)其的輸入。為了再現(xiàn)數(shù)字音頻和視頻信號(hào)，控制器46被設(shè)置用來(lái)將視頻圖像數(shù)據(jù)傳送給視頻解碼器34和音頻解碼器44，該視頻解碼器34對(duì)視頻圖像數(shù)據(jù)進(jìn)行解碼，并向顯示器1提供視頻圖像，該音頻解碼器44從控制器46接收經(jīng)編碼的數(shù)字音頻數(shù)據(jù)，對(duì)該數(shù)字音頻數(shù)據(jù)進(jìn)行解碼，以生成模擬音頻信號(hào)，該模擬音頻信號(hào)隨后被用作對(duì)揚(yáng)聲器或發(fā)聲器16的輸入。應(yīng)該理解，攝像機(jī)18、麥克風(fēng)14、顯示器1、揚(yáng)聲器或發(fā)聲器16、視頻編碼器32、音頻編碼器42、視頻解碼器34以及音頻解碼器44中的每一個(gè)都是傳統(tǒng)組件，其在本領(lǐng)域中是已知的，并且在現(xiàn)有移動(dòng)通信設(shè)備(例如，由Nokia制造的移動(dòng)攝像電話等)中已經(jīng)采用。
此外，在設(shè)備10中還提供了包括處理器單元的控制器單元46，該處理器單元能夠使用軟件程序，從而根據(jù)任意相關(guān)程序來(lái)處理圖像和音頻數(shù)據(jù)，以及對(duì)視頻通信設(shè)備的操作進(jìn)行總體控制，以發(fā)送和接收視頻和音頻信號(hào)，并從用戶接收視頻和音頻信息和向用戶輸出視頻和音頻信息。為了本實(shí)施例的目的，可以認(rèn)為中央控制單元46包括控制器單元462，其對(duì)該設(shè)備的總體操作進(jìn)行控制；圖像生成器單元464，其生成用于輸出給視頻解碼器34并隨后顯示在顯示器1上的圖像數(shù)據(jù)；以及圖像處理器單元464，其根據(jù)多個(gè)可用的圖像處理操作中的一個(gè)來(lái)處理輸入圖像數(shù)據(jù)。
為了使中央控制單元46能夠進(jìn)行操作，提供了數(shù)據(jù)存儲(chǔ)單元48，其中存儲(chǔ)有可以由中央控制單元46使用的多種軟件控制程序，以及待從該設(shè)備輸出或者已經(jīng)由該設(shè)備采集到的任何圖像數(shù)據(jù)或音頻數(shù)據(jù)。更具體地，如以下所述，在這些實(shí)施例的情況下，數(shù)據(jù)存儲(chǔ)單元48存儲(chǔ)有圖像覆蓋程序482，圖像生成器單元464使用該圖像覆蓋程序來(lái)生成用于顯示的圖像；控制程序484，控制器單元462使用該控制程序來(lái)控制視頻通信設(shè)備的總體操作；遠(yuǎn)程圖像處理操作程序481，圖像處理器單元468使用該遠(yuǎn)程圖像處理操作程序來(lái)處理從任意遠(yuǎn)程視頻通信設(shè)備(本設(shè)備經(jīng)由網(wǎng)絡(luò)與其進(jìn)行通信)接收的遠(yuǎn)程圖像；以及側(cè)音圖像處理操作程序488，圖像處理器468還使用該側(cè)音圖像處理操作程序來(lái)處理由攝像機(jī)18采集的本地圖像，以使得它們能夠被用作側(cè)音圖像。此外，在數(shù)據(jù)存儲(chǔ)單元48中還設(shè)置有區(qū)域486，用于存儲(chǔ)圖像數(shù)據(jù)，該數(shù)據(jù)可以是原始輸入(以及遠(yuǎn)程)圖像；以及由圖像處理器468生成的經(jīng)處理的圖像；或者由圖像生成器464生成的生成圖像。還應(yīng)該理解，數(shù)據(jù)存儲(chǔ)單元48還存儲(chǔ)有其他軟件程序和數(shù)據(jù)，以使得視頻通信設(shè)備能夠執(zhí)行其標(biāo)準(zhǔn)功能，例如，通過(guò)網(wǎng)絡(luò)進(jìn)行通信。
為了使得能夠通過(guò)網(wǎng)絡(luò)進(jìn)行通信，該視頻通信設(shè)備還配備有調(diào)制解調(diào)器41和收發(fā)器43，調(diào)制解調(diào)器41從中央控制單元46接收要通過(guò)網(wǎng)絡(luò)發(fā)送的音頻和視頻數(shù)據(jù)，并對(duì)該數(shù)據(jù)進(jìn)行調(diào)制，然后將調(diào)制數(shù)據(jù)傳送給收發(fā)器43以進(jìn)行實(shí)際發(fā)送。類似地，收發(fā)器43從該網(wǎng)絡(luò)接收信號(hào)，然后將這些信號(hào)傳送給調(diào)制解調(diào)器41以進(jìn)行解調(diào)，所得到的恢復(fù)數(shù)據(jù)隨后被傳送給中央控制單元46。應(yīng)該理解，在本發(fā)明的情況下，調(diào)制解調(diào)器41和收發(fā)器43完全是傳統(tǒng)的，其被設(shè)置用來(lái)使得該設(shè)備能夠通過(guò)網(wǎng)絡(luò)與其他設(shè)備進(jìn)行通信。此外，應(yīng)該理解，該網(wǎng)絡(luò)可以是任意傳統(tǒng)網(wǎng)絡(luò)，例如以太網(wǎng)、或者諸如各種IEEE 802.11標(biāo)準(zhǔn)中所述的無(wú)線LAN網(wǎng)絡(luò)、或者諸如UMTS網(wǎng)絡(luò)的移動(dòng)電話網(wǎng)絡(luò)。另外，在其他實(shí)施例中，該設(shè)備不必這樣通過(guò)網(wǎng)絡(luò)進(jìn)行通信，而是可以使用直接通信(例如，通過(guò)紅外或光學(xué)手段)，或者使用BluetoothTM技術(shù)進(jìn)行無(wú)線通信。無(wú)論設(shè)備之間的通信模式如何，都應(yīng)該理解，收發(fā)器和調(diào)制解調(diào)器被設(shè)置用來(lái)使這種通信便利。
在此將要說(shuō)明的本發(fā)明的各個(gè)實(shí)施例中都使用了上述視頻通信設(shè)備，各個(gè)實(shí)施例之間的區(qū)別在于，圖像處理器468根據(jù)遠(yuǎn)程圖像處理操作程序4810和側(cè)音圖像處理操作程序488進(jìn)行的操作，以及圖像生成器464在圖像覆蓋程序482的控制下進(jìn)行的后續(xù)操作。另外，如上所述，視頻通信設(shè)備的總體操作是根據(jù)包含在控制程序484中的指令在控制器462的控制下進(jìn)行的。
已對(duì)一般的設(shè)備體系結(jié)構(gòu)進(jìn)行了說(shuō)明，下面將說(shuō)明四種特殊的圖像處理操作。根據(jù)實(shí)施例，要進(jìn)行說(shuō)明的圖像處理操作將由圖像處理器468在遠(yuǎn)程圖像處理操作程序4810或者側(cè)音圖像處理操作程序488的控制下進(jìn)行。
下面將參照?qǐng)D15來(lái)說(shuō)明第一圖像處理操作。此處，使用用戶的面部的輸入圖像150作為輸入。然后，在步驟15.2執(zhí)行的第一操作用于提高表觀圖像不透明度。這與提高圖像的亮度并降低圖像的對(duì)比度，或者執(zhí)行伽馬(gamma)調(diào)節(jié)非常相似，因此可以替換地使用這些方法的每一種。然而，在當(dāng)前所述的特殊圖像處理操作中，如下來(lái)計(jì)算所獲得的提高了不透明度的圖像的像素值。
對(duì)于原始攝像機(jī)圖像中的每一個(gè)像素p(x，y)，通過(guò)以下方程在可視側(cè)音圖像中計(jì)算等效像素pi′(x，y)的強(qiáng)度pi′(x,y)=19Σdx=11Σdy=-11pi(x+dx,y+dy)·α2n-1+β]]>方程1其中，α和β對(duì)所得到的圖像的表觀不透明度特性進(jìn)行調(diào)節(jié)。α和β通常相等；在所給的示例中，它們的值為150。n是表示強(qiáng)度級(jí)別的比特?cái)?shù)，其中該強(qiáng)度級(jí)別是從0到由2n-1給出的最大值的范圍內(nèi)的級(jí)別。通常n為8，從而給出0到255的范圍。
當(dāng)提高了圖像不透明度時(shí)，則接下來(lái)在步驟15.4，如下通過(guò)采用卷積核K對(duì)該圖像進(jìn)行平滑處理
K=1/91/91/91/91/91/91/91/91/9]]>方程2這兩個(gè)圖像處理操作(即，提高圖像不透明度，以及通過(guò)平滑操作來(lái)去除圖像中的高頻)的效果在于使圖像接近于白色并且模糊(out offocus)，以使該圖像不易引起視覺(jué)注意。應(yīng)該注意，卷積核(K)表示對(duì)圖像進(jìn)行平滑操作的簡(jiǎn)單方法；本領(lǐng)域中還存在可以在此進(jìn)行替換的許多其他的平滑操作。
根據(jù)實(shí)施例，由圖15所示的圖像處理操作提供的處理可以用來(lái)處理本地圖像以生成側(cè)音圖像，或者生成用于發(fā)送的圖像，或者可以用于在顯示之前對(duì)所接收的遠(yuǎn)程圖像進(jìn)行處理。即，根據(jù)實(shí)施例，遠(yuǎn)程圖像處理操作程序4810或者側(cè)音圖像處理操作程序488可以對(duì)圖像處理器468進(jìn)行控制，使其執(zhí)行圖15的圖像處理操作，這將在稍后的描述中變得明了。
圖16示出了可以由圖像處理器468執(zhí)行的第二圖像處理操作。此處，使用用戶的面部的原始攝像機(jī)圖像160作為對(duì)該處理操作的輸入，步驟16.2的操作中的第一步驟是提取每一個(gè)像素的強(qiáng)度以形成強(qiáng)度圖像162。在輸入圖像為分量視頻格式(其中每一個(gè)像素都具有亮度值和色度值)的情況下，可以簡(jiǎn)單地通過(guò)提取每一個(gè)像素的亮度像素值來(lái)容易地形成強(qiáng)度圖像。在輸入圖像為另選格式(例如，RGB等)的情況下，需要附加的處理來(lái)提取每一個(gè)像素的強(qiáng)度，但是這種處理是本領(lǐng)域公知的。
在獲得強(qiáng)度圖像162之后，使用該強(qiáng)度圖像作為輸入來(lái)執(zhí)行兩個(gè)處理線程。在第一處理線程中，在步驟16.6開(kāi)始，對(duì)強(qiáng)度圖像162的像素值應(yīng)用閾值T1，以給出第一閾值化圖像168。隨后將該閾值化圖像168存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元48的圖像數(shù)據(jù)區(qū)域486中，以備后用。
第二處理線程采用該強(qiáng)度圖像162作為其輸入，在步驟16.4對(duì)該圖像應(yīng)用Laplacian(拉普拉斯算子)邊緣檢測(cè)器，以生成邊緣圖164。Laplacian邊緣檢測(cè)器算法在本領(lǐng)域是公知的，因此這里不作進(jìn)一步說(shuō)明。然后在步驟16.8，使用閾值T2對(duì)所得到的邊緣圖164進(jìn)行閾值化操作以及反相操作(inversion operation)。這給出了經(jīng)閾值化處理且反相的邊緣像166，其也被存儲(chǔ)在圖像數(shù)據(jù)區(qū)域486中。
因此，在該階段，對(duì)經(jīng)閾值化處理且反相的邊緣像166以及閾值化強(qiáng)度圖像168進(jìn)行存儲(chǔ)，而在步驟16.10，圖像處理器468通過(guò)對(duì)閾值化強(qiáng)度圖像168和經(jīng)閾值化處理且反相的邊緣圖166的每一個(gè)各自的對(duì)應(yīng)像素位置執(zhí)行邏輯AND，以產(chǎn)生在輸出圖像中的對(duì)應(yīng)位置使用的第三像素值，來(lái)生成該輸出圖像。此處，邏輯AND運(yùn)算假設(shè)白色像素為TRUE而黑色像素為FALSE。由于應(yīng)用于圖像168和166中的每一個(gè)的閾值化處理的效果是將每一個(gè)像素的灰度級(jí)深度減小為1位，所以所得到的生成圖像170也是每像素圖像1位，但包括主要特征的陰影以及特征邊緣。
應(yīng)該注意，如上所述的圖16的圖像處理操作本身可以通過(guò)PearsonDE和Robinson JA“Visual Communication at Very Low Data Rates”proceedings of IEEE，Vol 4，(April 1985)，pp 975-812而獲知。通過(guò)該技術(shù)生成的圖像的優(yōu)點(diǎn)在于，通過(guò)使用空間和時(shí)間壓縮，可以通過(guò)非常低的帶寬連接發(fā)送這種圖像，因此這種圖像可以非常適用于當(dāng)前的移動(dòng)電話網(wǎng)絡(luò)(例如UMTS和GPRS網(wǎng)絡(luò))。另外，這種圖像還包含有使得可以進(jìn)行識(shí)別的主要面部特征以及要區(qū)分的表情，同時(shí)具有高對(duì)比度，因此易于識(shí)別和引起注意。
與根據(jù)圖15所述的第一圖像處理操作相同，圖16中所述的第二圖像處理操作也可以根據(jù)實(shí)施例，應(yīng)用于本地圖像以生成側(cè)音圖像或者要發(fā)送的圖像，或者應(yīng)用于所接收的遠(yuǎn)程圖像。根據(jù)稍后給出的實(shí)施例的具體說(shuō)明，圖16的圖像處理操作的其他應(yīng)用將變得明了。
下面將參照?qǐng)D17來(lái)說(shuō)明第三圖像處理操作。圖17的該圖像處理操作共享了前面參照?qǐng)D16所述的某些公共組件，并且其中公共的步驟和組件共享公共的標(biāo)號(hào)。因此，首先在步驟16.2對(duì)輸入圖像160進(jìn)行像素強(qiáng)度提取操作，以生成強(qiáng)度圖像162。然后將強(qiáng)度圖像162用作對(duì)兩個(gè)處理線程的輸入，第一個(gè)線程與圖16的相同，在步驟16.4使用Laplacian邊緣提取操作來(lái)生成邊緣圖164。隨后在步驟17.2對(duì)該邊緣圖進(jìn)行簡(jiǎn)單反相，以生成反相邊緣像172。然后可以將該反相邊緣像172存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)器486中以備后用。
第二處理線程開(kāi)始于步驟17.4，其中例如使用伽馬校正等對(duì)強(qiáng)度圖像162進(jìn)行加亮操作，以產(chǎn)生加亮強(qiáng)度圖像176。也將該加亮強(qiáng)度圖像176存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)器486中。
在生成該反相邊緣像172以及加亮強(qiáng)度圖像176之后，步驟17.6的圖像處理操作的下一步驟是比較這兩個(gè)圖像的各個(gè)像素，并選擇具有最小強(qiáng)度值的像素作為要生成的輸出圖像中的對(duì)應(yīng)的各個(gè)像素位置中的像素值。由此生成對(duì)加亮強(qiáng)度圖像176和反相邊緣圖像172進(jìn)行了有效組合的輸出圖像174。這種圖像不具有通過(guò)圖16的Pearson和Robinson方法產(chǎn)生的圖像的帶寬效率，因?yàn)榛叶燃?jí)深度沒(méi)有減小至1位，但是獲得了質(zhì)量更高更生動(dòng)的圖像。與上述圖像處理操作相同，根據(jù)采用圖17的操作的實(shí)施例，圖17的操作可以用于處理本地圖像以用作側(cè)音圖像，處理本地圖像以用于前向傳輸，或者可以用來(lái)處理所接收的遠(yuǎn)程圖像。
最后，參照?qǐng)D20(b)對(duì)可以使用的第四圖像處理操作進(jìn)行說(shuō)明。該圖像處理操作以圖16的Pearson和Robinson方法為基礎(chǔ)，但是對(duì)其添加了附加的步驟。更具體地，參照?qǐng)D16，已通過(guò)Pearson和Robinson方法獲得了輸出圖像170，在所述的第四圖像處理方法中，隨后對(duì)所得到的圖像進(jìn)行模糊操作，然后對(duì)強(qiáng)度級(jí)進(jìn)行改變。這些操作生成了如圖20(b)所示的結(jié)果圖像。與上述相同，可以使用這種處理操作來(lái)生成本地可視側(cè)音圖像，以對(duì)要通過(guò)網(wǎng)絡(luò)前向發(fā)送的本地圖像進(jìn)行處理，或者對(duì)通過(guò)網(wǎng)絡(luò)接收到的遠(yuǎn)程圖像進(jìn)行處理，但是在大多數(shù)實(shí)施例中其可能僅用于這些目的中的第一個(gè)，因?yàn)槠洳划a(chǎn)生特別清晰的圖像，因此可能不適合用來(lái)處理遠(yuǎn)程圖像，該遠(yuǎn)程圖像通常是位于本地視頻通信設(shè)備處的用戶最有興趣看到的。
另外，還應(yīng)該注意，作為第四圖像處理操作的變型，可以使用圖17的圖像處理操作來(lái)代替Pearson和Robinson方法，并且對(duì)圖17的輸出應(yīng)用模糊和強(qiáng)度級(jí)改變操作。
已對(duì)由要進(jìn)行說(shuō)明的各個(gè)實(shí)施例使用的視頻通信設(shè)備的基本體系結(jié)構(gòu)以及圖像處理操作進(jìn)行了描述，下面將參照?qǐng)D5至14對(duì)多個(gè)具體實(shí)施例進(jìn)行描述。
圖5中示出了本發(fā)明的第一實(shí)施例。這里，根據(jù)第一實(shí)施例的本地視頻通信設(shè)備10被設(shè)置用來(lái)經(jīng)由網(wǎng)絡(luò)50與第二遠(yuǎn)程視頻通信設(shè)備20進(jìn)行通信，該第二遠(yuǎn)程視頻通信設(shè)備20例如根據(jù)現(xiàn)有技術(shù)進(jìn)行操作。各個(gè)視頻通信設(shè)備10和20都配備有攝像機(jī)，用于采集用戶的本地圖像；顯示器1和21；以及音頻輸入和輸出，例如麥克風(fēng)和揚(yáng)聲器。為了在以下說(shuō)明中便于參照，在每個(gè)視頻通信設(shè)備下面都示出了由各個(gè)設(shè)備采集的用戶的本地圖像。
在第一實(shí)施例中，視頻通信設(shè)備10使用攝像機(jī)來(lái)采集用戶的本地圖像，并且還通過(guò)網(wǎng)絡(luò)50從遠(yuǎn)程視頻通信設(shè)備20接收遠(yuǎn)程圖像。在本實(shí)施例的情況下，遠(yuǎn)程視頻通信設(shè)備20不對(duì)其發(fā)送到視頻通信設(shè)備10的圖像應(yīng)用任何特別的處理，從而在視頻通信設(shè)備10處通過(guò)網(wǎng)絡(luò)50接收到的遠(yuǎn)程圖像基本上與在視頻通信設(shè)備20處采集的本地圖像相同，并在視頻通信設(shè)備10處作為可視反饋進(jìn)行顯示，當(dāng)然，該圖像受到的任何影響都被認(rèn)為是傳輸?shù)慕Y(jié)果。因此，如以下參照?qǐng)D7和4所述的，遠(yuǎn)程視頻通信設(shè)備20根據(jù)現(xiàn)有技術(shù)進(jìn)行操作，而本地視頻通信設(shè)備10根據(jù)本發(fā)明的實(shí)施例進(jìn)行操作。
更具體地，圖7示出了由本地視頻通信設(shè)備10執(zhí)行的處理，具體地，是由如圖4所示的其系統(tǒng)組件執(zhí)行的處理。由本地視頻通信設(shè)備10執(zhí)行的總體處理包含多個(gè)處理線程，下面對(duì)其進(jìn)行說(shuō)明。
作為第一處理線程，在任意特定的時(shí)刻，在步驟7.2，視頻通信設(shè)備10的攝像機(jī)18采集用戶的本地視頻圖像，并由視頻編碼器32對(duì)其進(jìn)行編碼并將其傳送給中央控制單元46。隨后在步驟7.4，中央控制單元46將本地視頻圖像數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元48的圖像數(shù)據(jù)部分486中。另外，中央控制單元46還將本地圖像數(shù)據(jù)傳送給調(diào)制解調(diào)器41以進(jìn)行調(diào)制，隨后控制收發(fā)器將調(diào)制圖像數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)送給遠(yuǎn)程視頻通信設(shè)備20。在步驟7.6執(zhí)行經(jīng)由網(wǎng)絡(luò)將本地圖像數(shù)據(jù)發(fā)送給遠(yuǎn)程視頻通信設(shè)備20的操作。除了發(fā)送本地圖像數(shù)據(jù)以外，在步驟7.8，控制器462還根據(jù)控制程序484使圖像處理器468對(duì)本地視頻圖像數(shù)據(jù)應(yīng)用側(cè)音圖像處理操作程序488。在該第一實(shí)施例中，側(cè)音圖像處理操作程序488使圖像處理器468根據(jù)以上參照?qǐng)D15所述的圖像處理操作對(duì)所輸入的本地圖像數(shù)據(jù)進(jìn)行處理，以生成與原始視頻圖像相比提高了不透明度的平滑圖像。將該經(jīng)平滑處理且提高了不透明度的圖像存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器48的圖像數(shù)據(jù)區(qū)域486中。
第二處理線程開(kāi)始于步驟7.14，其基本上與上述線程同時(shí)執(zhí)行。這里，在步驟14，本地視頻通信設(shè)備10經(jīng)由網(wǎng)絡(luò)接收遠(yuǎn)程視頻圖像數(shù)據(jù)。更具體地，收發(fā)器接收?qǐng)D像數(shù)據(jù)，該圖像數(shù)據(jù)被傳送給調(diào)制解調(diào)器41，其中在步驟7.16，對(duì)遠(yuǎn)程視頻圖像數(shù)據(jù)進(jìn)行解調(diào)和重構(gòu)，并將其傳送給中央控制單元46。中央控制單元46隨后將該遠(yuǎn)程視頻圖像數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器48的圖像數(shù)據(jù)區(qū)域486中，然后，接下來(lái)對(duì)圖像處理器單元468進(jìn)行控制，使其運(yùn)行遠(yuǎn)程圖像處理操作程序4810，以對(duì)所接收的遠(yuǎn)程視頻圖像進(jìn)行處理。這是在步驟7.18執(zhí)行的，并且在該第一實(shí)施例中，遠(yuǎn)程圖像處理操作程序4810使圖像處理器單元468根據(jù)以上參照?qǐng)D16所述的圖像處理操作來(lái)處理所接收的遠(yuǎn)程視頻圖像。然后將所得到的經(jīng)處理的遠(yuǎn)程圖像存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器48的圖像數(shù)據(jù)區(qū)域486中。
在執(zhí)行了上述操作后，下一步驟是控制器單元462使圖像生成器單元464根據(jù)圖像覆蓋程序482進(jìn)行操作。更具體地，在步驟7.10，圖像覆蓋程序482進(jìn)行操作，以對(duì)在步驟7.8生成的所生成的側(cè)音圖像和在步驟7.18生成的經(jīng)處理的遠(yuǎn)程圖像進(jìn)行覆蓋，以使得各個(gè)用戶的面部的特征基本上對(duì)齊，以生成所生成的覆蓋圖像。在圖19(a)、(b)和(c)中更詳細(xì)地示出了該過(guò)程，并且如下執(zhí)行該過(guò)程。對(duì)于側(cè)音圖像和經(jīng)處理的遠(yuǎn)程圖像中的每一個(gè)各自的對(duì)應(yīng)像素，對(duì)來(lái)自側(cè)音圖像和經(jīng)處理的遠(yuǎn)程圖像的相應(yīng)像素值進(jìn)行比較，并選擇具有最小強(qiáng)度值的像素，用作所生成的覆蓋圖像中的對(duì)應(yīng)的各個(gè)像素。這產(chǎn)生了以下效果在經(jīng)處理的遠(yuǎn)程圖像中存在白色像素的情況下，使用側(cè)音圖像中的對(duì)應(yīng)像素來(lái)對(duì)其進(jìn)行替換，而經(jīng)處理的遠(yuǎn)程圖像中的黑色像素則保持不變。這導(dǎo)致經(jīng)處理的遠(yuǎn)程視圖看上去好像以基本上與側(cè)音圖像對(duì)齊的方式覆蓋在側(cè)音圖像的上面，如圖19(c)所示。隨后將由圖像生成器464如此生成的圖像傳送給視頻解碼器34，該視頻解碼器34生成用于在步驟7.12顯示在顯示器1上的視頻圖像。
對(duì)每一個(gè)本地視頻圖像幀和每一個(gè)所接收的遠(yuǎn)程視頻圖像幀重復(fù)上述處理，從而對(duì)每一個(gè)本地圖像幀進(jìn)行處理以生成可視側(cè)音，并利用如上所述的經(jīng)適時(shí)處理的暫時(shí)同步的(temporally simultaneous)遠(yuǎn)程圖像幀進(jìn)行覆蓋。然后將所得到的視頻圖像幀顯示給用戶。在對(duì)各個(gè)本地視頻圖像幀和所接收的遠(yuǎn)程圖像幀依次重復(fù)該過(guò)程時(shí)，其結(jié)果為下述的視頻序列，該視頻序列在各個(gè)被覆蓋用戶的相應(yīng)圖像位于另一用戶的相應(yīng)圖像的上面的情況下，基本上實(shí)時(shí)地顯示兩個(gè)用戶。然而，應(yīng)用于各個(gè)圖像的處理使得能夠獨(dú)立地感知到兩個(gè)用戶的圖像，而不是一個(gè)圖像淹沒(méi)另一個(gè)圖像，或者妨礙其被看到。具體地，對(duì)于該第一實(shí)施例，由圖16的圖像處理操作產(chǎn)生的遠(yuǎn)程視圖的高對(duì)比度使得其第一眼可以更明顯地看到，這從圖5所示的靜態(tài)圖像中可以明顯看出，但是在觀看視頻序列時(shí)，本地用戶的可視側(cè)音圖像也非常明顯。盡管在此處所示的技術(shù)的靜態(tài)圖像中不明顯，但是當(dāng)實(shí)施該技術(shù)并且使用上述處理和設(shè)備來(lái)生成視頻序列時(shí)，該效果要明顯得多。兩個(gè)單個(gè)的用戶的感知與通過(guò)抬頭顯示器(HUD)觀看的體驗(yàn)相似但不相同，該抬頭顯示器是在現(xiàn)有技術(shù)的飛行器和汽車系統(tǒng)中已知的，其中用戶好像幾乎可以“注視”這些圖像中的一個(gè)或另一個(gè)，而無(wú)需使他的眼睛從一個(gè)位置移到另一個(gè)位置。
圖6示出了與第一實(shí)施例緊密相關(guān)的本發(fā)明的第二實(shí)施例。這里，第二實(shí)施例的操作基本上與已經(jīng)參照第一實(shí)施例進(jìn)行了說(shuō)明的操作相同，其區(qū)別在于，對(duì)應(yīng)用于本地和遠(yuǎn)程圖像的處理操作進(jìn)行了交換。更具體地，在第一實(shí)施例中，遠(yuǎn)程圖像處理操作程序4810控制圖像處理器468以執(zhí)行圖16的圖像處理圖像操作，而在第二實(shí)施例中，遠(yuǎn)程圖像處理操作程序4810使圖像處理器468根據(jù)如上所述的圖15的圖像處理操作來(lái)處理該遠(yuǎn)程圖像。相反地，在第二實(shí)施例中，側(cè)音圖像處理操作程序488使圖像處理器468根據(jù)圖16來(lái)處理本地圖像，以生成側(cè)音圖像。因此，在第二實(shí)施例中，與第一實(shí)施例相比，與第一實(shí)施例中的本地圖像相同地對(duì)第二實(shí)施例中的所接收的遠(yuǎn)程圖像進(jìn)行處理，而與第一實(shí)施例中的遠(yuǎn)程圖像相同地對(duì)第二實(shí)施例中的本地圖像進(jìn)行處理。在第二實(shí)施例中，圖像生成器464根據(jù)圖像覆蓋程序482的操作基本上與根據(jù)第一實(shí)施例所述的相同(考慮到圖像處理操作的交換-將由遠(yuǎn)程圖像的對(duì)應(yīng)像素來(lái)替換側(cè)音圖像的白色像素)，并且在圖18(a)、(b)和(c)中示出了該操作。
下面將參照?qǐng)D8和10來(lái)說(shuō)明本發(fā)明的第三實(shí)施例。在第三實(shí)施例中，遠(yuǎn)程視頻設(shè)備20的結(jié)構(gòu)在以下方面與如上參照第一和第二實(shí)施例所述的相同其基本上根據(jù)現(xiàn)有技術(shù)的原理進(jìn)行操作，由此將可視側(cè)音作為相對(duì)于遠(yuǎn)程圖像的獨(dú)立圖像顯示給用戶。然而，對(duì)于本地視頻通信設(shè)備10，其操作如圖10所示。通過(guò)比較圖10和圖7可以看出，第三實(shí)施例的操作與第一實(shí)施例的類似，其區(qū)別在于，沒(méi)有對(duì)所接收的遠(yuǎn)程視頻圖像應(yīng)用任何處理，并且對(duì)本地圖像應(yīng)用不同的處理以生成側(cè)音圖像。更具體地，在第三實(shí)施例中，步驟10.2、10.4、10.6、10.14和10.16分別與如上在第一和第二實(shí)施例中所述的步驟7.2、步驟7.4、步驟7.6、步驟7.14和步驟7.16相同。然而，在步驟10.8，側(cè)音圖像處理操作程序488對(duì)圖像處理468進(jìn)行控制，使其對(duì)本地圖像應(yīng)用圖16的圖像處理操作，來(lái)生成高對(duì)比度、低帶寬的側(cè)音圖像。
在步驟10.8之后的步驟10.10，隨后通過(guò)根據(jù)圖像覆蓋程序482進(jìn)行操作的圖像生成器464將所生成的低帶寬側(cè)音圖像覆蓋在所接收的遠(yuǎn)程圖像上。用于覆蓋圖像的圖像生成操作在以下方面與如上參照第一和第二實(shí)施例所述的相同通過(guò)所接收的遠(yuǎn)程圖像中的對(duì)應(yīng)的各個(gè)像素來(lái)有效地替換側(cè)音圖像的每一個(gè)白色像素。
在步驟10.10之后，在顯示屏1上將所生成的覆蓋合成圖像顯示給用戶，如圖所示。
在用于提供另一實(shí)施例的第三實(shí)施例的變型中，在步驟10.8沒(méi)有應(yīng)用圖16的圖像處理操作，而是側(cè)音圖像處理操作程序488可以對(duì)圖像處理器468進(jìn)行控制，使其執(zhí)行如上所述的圖17的圖像處理操作，以產(chǎn)生側(cè)音圖像。這不會(huì)產(chǎn)生這種低帶寬側(cè)音圖像，而是產(chǎn)生了與低帶寬版本相比質(zhì)量得到提高的高對(duì)比度側(cè)音圖像。在第三實(shí)施例的該變型中，除了將圖17的圖像處理操作替換為該處理以外，其余的處理步驟都與以上參照第三實(shí)施例所述的相同。
下面將參照?qǐng)D9來(lái)說(shuō)明本發(fā)明的第四實(shí)施例。本發(fā)明第四實(shí)施例的操作在以下方面與如上參照第三實(shí)施例所述的非常類似不對(duì)所接收的遠(yuǎn)程圖像進(jìn)行處理，而是直接將其用作對(duì)圖像生成器464的輸入，以進(jìn)行圖像覆蓋操作。然而，第四實(shí)施例與第三實(shí)施例的區(qū)別在于圖像處理器468在步驟10.8對(duì)本地圖像應(yīng)用的用于生成側(cè)音圖像的處理。更具體地，在第四實(shí)施例中，側(cè)音圖像處理操作程序488在步驟10.8對(duì)圖像處理器468控制，以根據(jù)以上參照?qǐng)D20(b)所述的圖像處理操作來(lái)處理本地圖像，以生成側(cè)音圖像。然后將由此生成的側(cè)音圖像輸入給圖像生成器單元464，該圖像生成器單元464在步驟10.10根據(jù)圖像覆蓋程序482進(jìn)行操作，以對(duì)側(cè)音圖像和所接收的遠(yuǎn)程圖像進(jìn)行覆蓋，從而生成用于顯示的圖像。這里，圖像覆蓋程序482對(duì)圖像生成器圖像464進(jìn)行控制，使其將所接收的遠(yuǎn)程圖像與所生成的側(cè)音圖像中的對(duì)應(yīng)像素的各自強(qiáng)度值相加，以創(chuàng)建用于顯示的所生成圖像。也就是說(shuō)，對(duì)于來(lái)自側(cè)音圖像和遠(yuǎn)程圖像的待相加的每個(gè)對(duì)應(yīng)的像素對(duì)，將灰度級(jí)側(cè)音像素的強(qiáng)度值與遠(yuǎn)程圖像的各個(gè)彩色像素值相加。因此，在側(cè)音像素的強(qiáng)度為i，并且遠(yuǎn)程圖像像素具有RGB值r、g和b的情況下，所得到的像素將具有RGB值r+i、g+i和b+i。圖20中示出了這種過(guò)程，其中將如圖20(a)所示的所接收的遠(yuǎn)程圖像與如圖20(b)所示的所生成的側(cè)音圖像相加，以產(chǎn)生如圖20(c)所示的所得到的生成圖像。然后如以上參照前面實(shí)施例所述，將該所得到的生成圖像傳送給視頻解碼器34，以在顯示器1上進(jìn)行顯示。
在用于提供另一實(shí)施例的第四實(shí)施例的變型中，不是將側(cè)音像素的強(qiáng)度值與遠(yuǎn)程像素值相加來(lái)生成更亮的圖像，而是可以從遠(yuǎn)程像素值中減去側(cè)音像素的強(qiáng)度值，來(lái)產(chǎn)生所得到的覆蓋輸出圖像。由于側(cè)音圖像的非特征區(qū)域的強(qiáng)度值為0，所以這產(chǎn)生了以下效果在輸出圖像中，僅使遠(yuǎn)程圖像的存在側(cè)音圖像的特征的區(qū)域變暗。
在上述實(shí)施例中，在執(zhí)行本發(fā)明方面，本地視頻通信設(shè)備根據(jù)這些實(shí)施例進(jìn)行操作，而遠(yuǎn)程視頻通信設(shè)備是現(xiàn)有技術(shù)的標(biāo)準(zhǔn)視頻通信設(shè)備。然而，在以下將要說(shuō)明的其他實(shí)施例中，本地視頻通信設(shè)備10和遠(yuǎn)程視頻通信設(shè)備20可以分別執(zhí)行本發(fā)明，從而都可以認(rèn)為是本發(fā)明的實(shí)施例。因此，以下將對(duì)第五、第六和第七實(shí)施例進(jìn)行說(shuō)明，它們表現(xiàn)出了該特征。
圖11中示出了本發(fā)明的第五實(shí)施例，圖14中示出了由各個(gè)視頻通信設(shè)備10和20執(zhí)行的操作處理。應(yīng)該注意，本地視頻通信設(shè)備10和遠(yuǎn)程視頻通信設(shè)備20分別根據(jù)圖14所示的處理(以下將說(shuō)明)進(jìn)行操作。
首先考慮本地視頻通信設(shè)備10。參照?qǐng)D14，在步驟14.2，設(shè)置在視頻通信設(shè)備10上的攝像機(jī)采集用戶的本地視頻圖像，隨后在步驟14.4，將該本地視頻圖像存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元48的圖像數(shù)據(jù)區(qū)域486中。然后對(duì)所存儲(chǔ)的本地視頻圖像數(shù)據(jù)執(zhí)行多個(gè)處理線程，步驟14.10的第一處理線程使圖像處理器單元468根據(jù)側(cè)音圖像處理操作程序488進(jìn)行操作，以對(duì)本地視頻圖像應(yīng)用圖16的圖像處理操作，從而產(chǎn)生用于顯示的側(cè)音圖像。還將由此產(chǎn)生的側(cè)音圖像存儲(chǔ)在圖像數(shù)據(jù)區(qū)域486中以備后用。
除了從本地視頻圖像產(chǎn)生側(cè)音圖像以外，在步驟14.6，控制器單元462在控制程序484的控制下對(duì)圖像處理器單元468進(jìn)行控制，使其根據(jù)遠(yuǎn)程圖像處理操作程序4810進(jìn)一步進(jìn)行操作，從而對(duì)本地圖像應(yīng)用圖15的圖像處理操作，以產(chǎn)生本地圖像的經(jīng)處理的版本，于是該本地圖像的經(jīng)處理的版本適于在遠(yuǎn)程視頻通信設(shè)備20的屏幕上顯示。因此，在該實(shí)施例中，對(duì)圖像處理器單元468進(jìn)行控制，使其使用本地視頻圖像作為輸入來(lái)運(yùn)行側(cè)音圖像處理操作488和遠(yuǎn)程圖像處理操作4810，以產(chǎn)生用于本地顯示的圖像的側(cè)音版本，以及用于遠(yuǎn)程顯示的本地圖像的經(jīng)處理的遠(yuǎn)程版本。
在產(chǎn)生了用于遠(yuǎn)程顯示的本地圖像的經(jīng)處理的版本之后，在步驟14.8，視頻通信設(shè)備通過(guò)網(wǎng)絡(luò)50將經(jīng)處理的本地?cái)?shù)據(jù)發(fā)送給遠(yuǎn)程視頻通信設(shè)備20，該經(jīng)處理的本地?cái)?shù)據(jù)已由遠(yuǎn)程圖像處理操作程序4810進(jìn)行了處理。
在繼續(xù)對(duì)本地視頻通信設(shè)備10的操作進(jìn)行說(shuō)明之前，我們將考慮遠(yuǎn)程視頻通信設(shè)備20的操作。就此而言，遠(yuǎn)程視頻通信設(shè)備20在以下方面與本地視頻通信設(shè)備10相同地進(jìn)行操作其采集其用戶自身的各個(gè)本地視頻圖像，并對(duì)該本地視頻圖像進(jìn)行處理，以產(chǎn)生該圖像的側(cè)音版本和該圖像的適于在本地視頻通信設(shè)備10上遠(yuǎn)程顯示的版本。然后通過(guò)網(wǎng)絡(luò)50將該本地圖像的該二次處理的版本發(fā)送給本地視頻通信設(shè)備10，由此進(jìn)行使用。
返回來(lái)考慮本地視頻通信設(shè)備10的操作，在步驟14.16，本地視頻通信設(shè)備10通過(guò)網(wǎng)絡(luò)50從遠(yuǎn)程視頻通信設(shè)備20接收遠(yuǎn)程視頻圖像數(shù)據(jù)，并在步驟14.18對(duì)該圖像數(shù)據(jù)進(jìn)行解調(diào)，并將其存儲(chǔ)在存儲(chǔ)器48的圖像數(shù)據(jù)區(qū)域486中。對(duì)于這一點(diǎn)應(yīng)該注意，因?yàn)檫h(yuǎn)程視頻通信設(shè)備20已經(jīng)對(duì)由本地視頻通信設(shè)備10接收的遠(yuǎn)程視頻圖像數(shù)據(jù)進(jìn)行了處理，所以無(wú)需為了使所接收的圖像適于輸入到圖像生成器單元464以產(chǎn)生用于顯示的覆蓋圖像而執(zhí)行任何進(jìn)一步的處理。因此，在執(zhí)行了步驟14.10和步驟14.18，并將本地圖像的側(cè)音版本和所接收的遠(yuǎn)程圖像存儲(chǔ)在存儲(chǔ)器48的圖像數(shù)據(jù)區(qū)域486中之后，執(zhí)行的下一步驟是步驟14.12，其中控制器單元462對(duì)圖像生成器單元464進(jìn)行控制，使其根據(jù)圖像覆蓋程序482進(jìn)行操作，以對(duì)側(cè)音圖像和所接收的遠(yuǎn)程圖像進(jìn)行覆蓋，從而產(chǎn)生用于顯示的覆蓋圖像。第五實(shí)施例中的覆蓋程序的操作與如上參照第一和第二實(shí)施例所述的相同。當(dāng)產(chǎn)生了覆蓋圖像時(shí)，將該覆蓋圖像數(shù)據(jù)輸入給視頻解碼器34，以在步驟14.14在顯示屏1上進(jìn)行后續(xù)顯示。因此，本地視頻通信設(shè)備10將包含側(cè)音圖像和遠(yuǎn)程視頻圖像的覆蓋圖像顯示給用戶。
對(duì)于遠(yuǎn)程視頻通信設(shè)備20，其操作在以下方面與本地視頻通信設(shè)備相同由于本地視頻通信設(shè)備已對(duì)其自身的本地圖像進(jìn)行了處理，來(lái)提供經(jīng)處理的版本以在遠(yuǎn)程視頻通信設(shè)備20上進(jìn)行遠(yuǎn)程顯示，所以在遠(yuǎn)程視頻通信設(shè)備20在步驟14.16接收到該視頻圖像數(shù)據(jù)，并在步驟14.18將其存儲(chǔ)在存儲(chǔ)器中以后，無(wú)需對(duì)所接收的遠(yuǎn)程圖像進(jìn)行進(jìn)一步的處理。因此，遠(yuǎn)程視頻通信設(shè)備20可以直接進(jìn)行到步驟14.12，在步驟14.12，其圖像生成器單元464根據(jù)其自身的圖像覆蓋程序482進(jìn)行操作，以在步驟14.12使用所接收的遠(yuǎn)程圖像來(lái)覆蓋其自身的側(cè)音圖像，在步驟14.14將由此生成的覆蓋圖像顯示給用戶。
下面參照?qǐng)D12來(lái)說(shuō)明第六實(shí)施例。第六實(shí)施例基本上與上述第五實(shí)施例相同地進(jìn)行操作，其區(qū)別在于，圖像處理器468在側(cè)音圖像處理操作程序488和遠(yuǎn)程圖像處理操作程序4810的控制下執(zhí)行的圖像處理操作不同。更具體地，在第六實(shí)施例中，側(cè)音圖像處理操作程序488使圖像處理單元468在步驟14.10應(yīng)用圖15的圖像處理操作，以產(chǎn)生側(cè)音圖像，而遠(yuǎn)程圖像處理操作程序4810使圖像處理單元468在步驟14.6應(yīng)用圖16的圖像處理操作，來(lái)對(duì)本地圖像進(jìn)行處理，以產(chǎn)生用于遠(yuǎn)程顯示的經(jīng)處理版本。因此，就此而言，側(cè)音圖像處理操作程序488和遠(yuǎn)程圖像處理操作程序4810中包含的各個(gè)圖像處理操作相對(duì)于第五實(shí)施例進(jìn)行了交換。然而，除了該不同以外，第六實(shí)施例的操作與如上參照第五實(shí)施例所述的相同。
在剛剛進(jìn)行了說(shuō)明的第五和第六實(shí)施例中，本地視頻通信設(shè)備10和遠(yuǎn)程視頻通信設(shè)備20的操作相同，具體地，對(duì)于下述操作相同對(duì)它們各自的本地圖像應(yīng)用圖像處理操作，以產(chǎn)生它們各自的側(cè)音圖像和用于遠(yuǎn)程顯示的該本地圖像的經(jīng)處理版本。然而，本地視頻通信設(shè)備10和遠(yuǎn)程視頻通信設(shè)備20不必對(duì)它們各自的本地圖像應(yīng)用相同的圖像處理操作，因此在本發(fā)明的第七實(shí)施例中，本地視頻通信設(shè)備10應(yīng)用了與遠(yuǎn)程視頻通信設(shè)備20不同的一組圖像處理操作。下面將參照?qǐng)D13來(lái)說(shuō)明第七實(shí)施例。
在圖13中，首先考慮遠(yuǎn)程視頻通信設(shè)備20的操作。這里，該操作在以下方面與如上參照第六實(shí)施例所述的相同在步驟14.10，遠(yuǎn)程視頻通信設(shè)備20應(yīng)用圖15的圖像處理操作，以生成側(cè)音圖像，然后將該側(cè)音圖像與所接收的遠(yuǎn)程視頻圖像進(jìn)行組合，而不對(duì)所接收的遠(yuǎn)程視頻圖像進(jìn)行進(jìn)一步的處理，從而在步驟14.12產(chǎn)生覆蓋圖像。與第六實(shí)施例類似，遠(yuǎn)程視頻通信設(shè)備20還根據(jù)圖16的圖像處理操作來(lái)處理本地圖像，以在通過(guò)網(wǎng)絡(luò)50將其發(fā)送到本地視頻通信設(shè)備10，產(chǎn)生本地圖像的經(jīng)處理版本，以由本地視頻通信設(shè)備10進(jìn)行遠(yuǎn)程顯示。
現(xiàn)在返回到本地視頻通信設(shè)備10的操作，但是，這里如參照第五和第六實(shí)施例所述，本地視頻通信設(shè)備10在步驟14.16接收遠(yuǎn)程視頻圖像數(shù)據(jù)，并在步驟14.18對(duì)其進(jìn)行存儲(chǔ)。然而，對(duì)于其本地圖像數(shù)據(jù)，如上所述，在步驟14.4進(jìn)行采集并存儲(chǔ)，但是當(dāng)在步驟14.10產(chǎn)生側(cè)音圖像時(shí)，對(duì)其應(yīng)用不同的圖像處理操作，該圖像處理操作用于在遠(yuǎn)程視頻通信設(shè)備20中產(chǎn)生側(cè)音圖像。然而，在步驟14.6執(zhí)行相同的圖像處理操作，以產(chǎn)生本地圖像的經(jīng)處理版本，以進(jìn)行遠(yuǎn)程顯示。
更具體地，在步驟14.10，控制器單元462對(duì)圖像處理器單元468進(jìn)行控制，使其運(yùn)行側(cè)音圖像處理操作程序488，這使得圖像處理器468應(yīng)用圖16的圖像處理操作，以生成側(cè)音圖像，但是隨后執(zhí)行對(duì)所產(chǎn)生的圖像應(yīng)用刷色操作的附加步驟，以將該圖像中的黑色像素的顏色從黑色變?yōu)樗{(lán)色。
刷色操作的目的是使得側(cè)音圖像像素在被組合到覆蓋圖像中時(shí)能夠與遠(yuǎn)程圖像的那些像素相區(qū)別。應(yīng)該注意，可以選擇任意顏色，只要其可以與遠(yuǎn)程圖像中的像素的顏色相區(qū)別即可。
然后在步驟14.12，按照與前面相同的方式，將由此生成的側(cè)音圖像與所接收的遠(yuǎn)程圖像進(jìn)行組合，以生成覆蓋圖像。然后在步驟14.14將該覆蓋圖像顯示給用戶，如圖所示。
因此，在第七實(shí)施例中，在本地和遠(yuǎn)程視頻通信設(shè)備中的每一個(gè)中使用不同的圖像處理操作來(lái)生成各自的側(cè)音圖像。應(yīng)該理解，本地或遠(yuǎn)程視頻通信設(shè)備可以使用所述圖像處理操作中的任意一種來(lái)產(chǎn)生其各自的側(cè)音圖像，但是優(yōu)選地，產(chǎn)生與所接收的遠(yuǎn)程視頻圖像不同的觀看圖像的圖像處理操作是優(yōu)選的。因此，例如，在已經(jīng)根據(jù)圖15對(duì)所接收的遠(yuǎn)程視頻圖像進(jìn)行了處理的情況下，優(yōu)選地使用圖16的圖像處理操作來(lái)準(zhǔn)備側(cè)音圖像，適當(dāng)?shù)剡M(jìn)行或不進(jìn)行刷色。相反地，如果已經(jīng)根據(jù)圖16對(duì)遠(yuǎn)程圖像進(jìn)行了處理，則可以通過(guò)圖15的圖像處理操作來(lái)產(chǎn)生側(cè)音圖像，或者相反地使用后續(xù)的刷色來(lái)改變像素顏色，通過(guò)圖16的圖像處理操作來(lái)產(chǎn)生側(cè)音圖像。
在上述所有實(shí)施例中，其中使用的圖像處理操作中的至少一個(gè)是圖16的圖像處理操作，以產(chǎn)生低帶寬、高對(duì)比度圖像。然而，為了產(chǎn)生其他實(shí)施例，可以使用上述圖17的圖像處理操作來(lái)替換圖16的圖像處理操作，圖17的圖像處理操作也產(chǎn)生高對(duì)比度圖像，但是由于圖像質(zhì)量較好，所以其帶寬特性沒(méi)有這么低。另外，在圖16的圖像處理操作使用刷色操作作為后續(xù)步驟的情況下，也可以將該后續(xù)的刷色操作適當(dāng)?shù)貞?yīng)用于圖17的圖像處理操作的輸出。
在本發(fā)明的實(shí)施例中，優(yōu)選地但并非必要地對(duì)側(cè)音圖像進(jìn)行處理，以使得與遠(yuǎn)程圖像相比其在視覺(jué)上吸引更少的注意力，這是因?yàn)?，認(rèn)為與側(cè)音圖像相比，用戶會(huì)很自然地對(duì)辨別遠(yuǎn)程圖像更感興趣。在上述第一、第三、第四、第六和第七實(shí)施例中的每一個(gè)中，該優(yōu)選目的是通過(guò)對(duì)用于生成側(cè)音圖像的圖像處理操作的選擇來(lái)實(shí)現(xiàn)的。然而，在第二和第五實(shí)施例中，分別選擇圖像處理操作來(lái)生成遠(yuǎn)程和側(cè)音圖像意味著與遠(yuǎn)程圖像相比，側(cè)音圖像在視覺(jué)上可能更有吸引力。為了克服這個(gè)問(wèn)題，在用于提供其他相應(yīng)實(shí)施例的第二和第五實(shí)施例的變型中，可以通過(guò)改變?cè)趫D15的圖像處理操作的方程1中使用的α和β的值來(lái)降低遠(yuǎn)程圖像的不透明度，或者可以通過(guò)增大側(cè)音圖像中的黑色像素的強(qiáng)度值以使線條在色彩上更灰，來(lái)降低側(cè)音圖像中的線條的對(duì)比度。在這些其他實(shí)施例中，可以執(zhí)行這些附加操作中的一個(gè)或兩者。
在上述的各個(gè)實(shí)施例中，已進(jìn)行了圖像處理操作并被用作對(duì)圖像生成器單元464的輸入以形成覆蓋圖像的圖像是由內(nèi)置攝像機(jī)18采集的用戶的視頻圖像。然而，在本發(fā)明的其他實(shí)施例中不必如此，例如，我們可以構(gòu)想一種使用用戶的虛擬表示(例如，化身等)的視頻通信設(shè)備。在這些實(shí)施例中，不需要視頻攝像機(jī)18和視頻解碼器32來(lái)采集用戶的本地圖像，而是提供虛擬現(xiàn)實(shí)單元，該虛擬現(xiàn)實(shí)單元根據(jù)虛擬現(xiàn)實(shí)計(jì)算機(jī)程序來(lái)運(yùn)行，并被設(shè)置用來(lái)產(chǎn)生用戶的虛擬現(xiàn)實(shí)風(fēng)格的化身圖像。在這些實(shí)施例中，隨后可以使用這些虛擬現(xiàn)實(shí)化身圖像來(lái)代替本地圖像(如上述實(shí)施例中由攝像機(jī)采集的)，并在像素域中對(duì)其進(jìn)行處理。通過(guò)這種替換，即，使用由虛擬現(xiàn)實(shí)單元生成的化身視頻圖像來(lái)替換以上由視頻攝像機(jī)18采集的本地視頻圖像，使用虛擬現(xiàn)實(shí)單元的這些實(shí)施例的操作與上述實(shí)施例中的任何一個(gè)的操作相同。
在另選的化身相關(guān)實(shí)施例中，虛擬現(xiàn)實(shí)單元將化身圖像呈現(xiàn)為剛好適合用作側(cè)音圖像的格式；例如，可以將化身模型呈現(xiàn)為線條畫或者線條和陰影畫(例如，Pearson和Robinson圖像，或者由圖17的相關(guān)方法產(chǎn)生的圖像)，然后按照與以上實(shí)施例所述相同的方式，使用遠(yuǎn)程圖像來(lái)覆蓋該化身圖像。
下面將參照?qǐng)D21來(lái)說(shuō)明本發(fā)明的第八實(shí)施例。
在上述實(shí)施例中，用于產(chǎn)生側(cè)音圖像和覆蓋組合圖像的處理是分別在各個(gè)用戶終端手機(jī)10和20中執(zhí)行的。然而，在另一實(shí)施例中并非如此，而是可以在側(cè)音服務(wù)器210中執(zhí)行用于產(chǎn)生側(cè)音圖像和覆蓋圖像的處理，本地和遠(yuǎn)程用戶終端10和20中的每一個(gè)通過(guò)網(wǎng)絡(luò)與該側(cè)音服務(wù)器210進(jìn)行通信。這種結(jié)構(gòu)的優(yōu)點(diǎn)在于，本地和遠(yuǎn)程用戶終端10和20中的每一個(gè)在設(shè)計(jì)上可以比以上實(shí)施例更簡(jiǎn)單，因?yàn)樗鼈儾恍枰切┊a(chǎn)生側(cè)音圖像以及生成覆蓋組合圖像所必需的組件。因此，參照?qǐng)D4，在第八實(shí)施例中，用戶終端10和20沒(méi)有圖像生成器464、圖像處理器468中的每一個(gè)以及存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元48中的軟件(該軟件為圖像覆蓋程序482、遠(yuǎn)程圖像處理操作程序4810，以及側(cè)音圖像處理操作程序488)。當(dāng)然，每一個(gè)用戶終端仍然具有數(shù)據(jù)存儲(chǔ)單元48，其中存儲(chǔ)有控制程序484以及圖像數(shù)據(jù)486，以使得用戶終端能夠執(zhí)行其標(biāo)準(zhǔn)操作功能等。
在從用戶終端去除了以上組件的情況下，將這些組件設(shè)置在側(cè)音服務(wù)器210(參見(jiàn)圖21)中。更具體地，參照?qǐng)D21，可以看出，側(cè)音服務(wù)器210包含第一側(cè)音生成器212和第二側(cè)音生成器214。第一側(cè)音生成器212和第二側(cè)音生成器214中的每一個(gè)都接收來(lái)自本地用戶終端10的本地圖像以及來(lái)自遠(yuǎn)程用戶終端20的本地圖像作為輸入，這些本地圖像分別通過(guò)各自的網(wǎng)絡(luò)連接從本地和遠(yuǎn)程用戶終端10和20發(fā)送至側(cè)音服務(wù)器210。第一側(cè)音生成器212隨后相應(yīng)地對(duì)所接收的輸入圖像進(jìn)行處理，并對(duì)經(jīng)處理的圖像進(jìn)行組合，以產(chǎn)生覆蓋圖像，該覆蓋圖像隨后通過(guò)網(wǎng)絡(luò)從側(cè)音服務(wù)器210輸出回本地用戶終端10。類似地，第二側(cè)音生成器214相應(yīng)地對(duì)各個(gè)所接收的輸入圖像進(jìn)行處理，并對(duì)經(jīng)處理的圖像進(jìn)行組合，以產(chǎn)生覆蓋圖像，該覆蓋圖像隨后通過(guò)網(wǎng)絡(luò)從側(cè)音服務(wù)器210輸出至遠(yuǎn)程用戶終端20。本地和遠(yuǎn)程用戶終端10和20中的每一個(gè)隨后在它們各自的顯示器上將從側(cè)音服務(wù)器210接收的圖像顯示給它們各自的用戶。
對(duì)于由第一和第二側(cè)音生成器212和214執(zhí)行的操作，從以上說(shuō)明中應(yīng)該理解，每一個(gè)側(cè)音生成器都執(zhí)行與由上述實(shí)施例中的圖像生成器464和圖像處理器468執(zhí)行的相同的圖像處理和生成操作。也就是說(shuō)，第一和第二側(cè)音生成器212和214中的每一個(gè)都可以根據(jù)如上所述的圖15、16或17的圖像處理操作中的任意一個(gè)來(lái)分別處理它們各自所接收的圖像，以產(chǎn)生側(cè)音圖像，并且隨后可以對(duì)由此處理的圖像進(jìn)行組合，以產(chǎn)生組合覆蓋圖像，來(lái)根據(jù)如上參照?qǐng)D18、19或20所述的圖像生成技術(shù)中的任意一種進(jìn)行輸出。因此，就此而言，在側(cè)音服務(wù)器210中，可以由第一和第二側(cè)音生成器212和214以與上述實(shí)施例相類似的方式執(zhí)行以上實(shí)施例的所有功能(對(duì)于可以執(zhí)行的各種圖像處理操作以及用于產(chǎn)生最終輸出圖像的各種圖像組合操作)。在圖21所示的具體實(shí)施例中，第一側(cè)音生成器212用于根據(jù)圖15的圖像處理操作對(duì)從本地用戶終端10接收的本地圖像進(jìn)行處理，并根據(jù)圖16的圖像處理操作對(duì)從遠(yuǎn)程用戶終端20接收的本地圖像進(jìn)行處理。然后，根據(jù)如上所述的圖19的圖像組合操作對(duì)由此處理的圖像進(jìn)行組合，并將由此得到的組合覆蓋圖像輸出到網(wǎng)絡(luò)，以發(fā)送給本地用戶終端10并由此進(jìn)行顯示。
考慮第二側(cè)音生成器214，其用于根據(jù)如上所述的圖16的圖像處理操作對(duì)從本地用戶終端10接收的本地圖像進(jìn)行處理，還根據(jù)圖15的圖像操作對(duì)從遠(yuǎn)程用戶終端20接收的本地圖像進(jìn)行處理。然后，以與第一側(cè)音生成器212相同的方式對(duì)由此處理的圖像進(jìn)行組合，以產(chǎn)生用于輸出的覆蓋圖像。然后，通過(guò)網(wǎng)絡(luò)將由此生成的覆蓋圖像發(fā)送給遠(yuǎn)程用戶終端20，以由此進(jìn)行顯示。
因此，在第八實(shí)施例中，用于產(chǎn)生覆蓋圖像的處理是在側(cè)音服務(wù)器210中執(zhí)行的，由此使得用戶終端10和20能夠在設(shè)計(jì)上更加簡(jiǎn)單，并在本地執(zhí)行更少的處理。盡管在圖21的具體實(shí)施例中，我們已經(jīng)示出了第一側(cè)音生成器212和第二側(cè)音生成器214對(duì)從本地和遠(yuǎn)程用戶終端接收的各個(gè)圖像執(zhí)行相同的圖像處理操作的情況，但是在基于第八實(shí)施例的其他實(shí)施例中不必如此，可以執(zhí)行所述的可用圖像處理操作以外的不同圖像處理操作。就此而言，在第八實(shí)施例的變型中也可以獲得如上所述在第一至第七實(shí)施例中的每一個(gè)使用的圖像處理操作的多種組合中的每一個(gè)。在上述實(shí)施中，本地視圖呈現(xiàn)“褪色”的程度可以是恒定的。通過(guò)參數(shù)α和β(可以設(shè)為彼此相等)來(lái)調(diào)節(jié)自身視圖的不透明特性。
另選實(shí)施可以根據(jù)本地視頻的“質(zhì)量”來(lái)調(diào)節(jié)這些參數(shù)，以使得如果該視頻的質(zhì)量較差，則用戶會(huì)因?yàn)樽陨硪晥D變得更加引人注意(不透明度降低)而意識(shí)到這種情況。隨著用戶調(diào)節(jié)環(huán)境并改善該視頻，自身視圖會(huì)變得更加不透明。可以采用多種量度(measure)將視頻判定為質(zhì)量較差，例如照明的對(duì)比度(太亮或太暗)，或者缺少面部圖像?？梢酝ㄟ^(guò)采用場(chǎng)景中的像素亮度的標(biāo)準(zhǔn)偏離來(lái)傳統(tǒng)地測(cè)量對(duì)比度。對(duì)視圖中的“皮膚著色”像素的數(shù)量進(jìn)行計(jì)數(shù)可以表示缺少面部；另選地，更加復(fù)雜的方法也是公知的。圖22中示出了這對(duì)系統(tǒng)的體系結(jié)構(gòu)的影響，并且需要結(jié)合本專利申請(qǐng)中的圖3來(lái)察看。
圖22所示的視頻通信系統(tǒng)的部分(與圖3的編碼器32相對(duì)應(yīng))包括例如“測(cè)量視頻質(zhì)量”級(jí)(stage)形式的測(cè)量裝置，該測(cè)量裝置用于確定由攝像機(jī)采集的圖像的質(zhì)量(即，第一視頻圖像的質(zhì)量)的至少一個(gè)特性的量度。該測(cè)量裝置優(yōu)選地與“生成側(cè)音”級(jí)或其他圖像生成裝置相連，以使得例如自身視圖(即，與第一視頻圖像相對(duì)應(yīng)的側(cè)音或覆蓋圖像)不透明或透明的程度取決于所測(cè)得的質(zhì)量。因此，這些特征提供了一種動(dòng)態(tài)調(diào)節(jié)側(cè)音圖像的可視性的方法。
另外，在本發(fā)明的又一實(shí)施例中，可以在將側(cè)音圖像與遠(yuǎn)程圖像進(jìn)行組合以產(chǎn)生用于輸出的覆蓋圖像之前，對(duì)側(cè)音圖像應(yīng)用附加的處理步驟，使得側(cè)音圖像可以沿其垂直軸翻轉(zhuǎn)，從而該圖像表現(xiàn)為用戶的鏡像圖像場(chǎng)景，由此向用戶提供該側(cè)音是他們自己的鏡像圖像的印象。然而，可以不對(duì)遠(yuǎn)程圖像進(jìn)行這樣的處理，以使得仍然可以在遠(yuǎn)程圖像場(chǎng)景中閱讀文本等。
此外，盡管在上述實(shí)施例中，我們?cè)趦煞揭曨l通信的情況下對(duì)本發(fā)明進(jìn)行了說(shuō)明，但是應(yīng)該理解，本發(fā)明并不限于此，而是可以應(yīng)用于具有三方或更多方的多方視頻通信。例如，在存在三方或更多方的情況下，可以采用類似于第七實(shí)施例的實(shí)施例，并且根據(jù)圖16或17的處理對(duì)各個(gè)圖像進(jìn)行處理，然后對(duì)各個(gè)圖像的非白色的像素應(yīng)用不同的刷色。然后可以按照上述的方式對(duì)由此經(jīng)刷色的圖像進(jìn)行覆蓋。通過(guò)對(duì)各個(gè)參與者使用不同的顏色，用戶可以在輸出覆蓋圖像中辨別出各個(gè)參與者的圖像。
鑒于以上說(shuō)明，可以看出，所述實(shí)施例提供了一種視頻通信系統(tǒng)及其相關(guān)的操作方法，其中可以對(duì)本地用戶的視頻圖像表示進(jìn)行處理，并使用遠(yuǎn)程用戶的經(jīng)過(guò)對(duì)應(yīng)處理的視頻圖像表示進(jìn)行覆蓋，從而產(chǎn)生包含兩個(gè)用戶的圖像的覆蓋圖像。將該覆蓋圖像設(shè)置為使得用戶面部的表示圖像基本上對(duì)齊，結(jié)果使所得到的覆蓋圖像的大小通常不會(huì)大于任一原始輸入圖像。對(duì)于在覆蓋操作之前對(duì)圖像執(zhí)行的處理，應(yīng)該選擇適當(dāng)?shù)膱D像處理操作，以使得所得到的經(jīng)處理的圖像適于使本地和遠(yuǎn)程圖像中的每一個(gè)都能夠在所生成的覆蓋圖像中可辨認(rèn)。因此，例如，所選擇的圖像處理操作中的一個(gè)可以是用于生成高對(duì)比度黑白或灰度級(jí)圖像的操作，在該圖像上可以覆蓋其他用戶的全色圖像。然而，另選地，也可以使用另一合適的圖像處理操作，例如增大圖像的表觀不透明度，或者加亮圖像并使其更易于在其上覆蓋其他圖像。還可以適當(dāng)?shù)貞?yīng)用平滑操作。另外，優(yōu)選地，選擇應(yīng)用于側(cè)音圖像的處理，以使得在作為輸出覆蓋圖像顯示給用戶時(shí)，使側(cè)音圖像在視覺(jué)上比遠(yuǎn)程圖像吸引較少的注意力。
本發(fā)明提供了以下主要優(yōu)點(diǎn)可以在配備有屏幕(該屏幕沒(méi)有大到足夠顯示兩個(gè)圖像，而不會(huì)出現(xiàn)一個(gè)圖像排斥另一個(gè)圖像的情況)的視頻通信設(shè)備中提供側(cè)音圖像。盡管我們對(duì)主要針對(duì)本發(fā)明在移動(dòng)視頻通信設(shè)備中的應(yīng)用的實(shí)施例進(jìn)行了說(shuō)明，但是應(yīng)該理解這不是唯一的情況，本發(fā)明可以應(yīng)用于任意視頻通信設(shè)備，例如計(jì)算機(jī)、個(gè)人數(shù)字助理、固定線路視頻電話等。
除非上下文明確要求，否則，貫穿說(shuō)明書和權(quán)利要求書，詞語(yǔ)“包括(comprise)”、“包括(comprising)”等應(yīng)被理解為包含性，而與排他或窮盡的含義相反；也就是說(shuō)，其含義為“包括而不限于”。
權(quán)利要求
1.一種視頻通信系統(tǒng)，其包括a)視頻成像裝置，其被設(shè)置用來(lái)產(chǎn)生表示第一場(chǎng)景的第一視頻圖像；b)通信裝置，其被設(shè)置用來(lái)優(yōu)選地經(jīng)由網(wǎng)絡(luò)來(lái)發(fā)送與所述第一視頻圖像相關(guān)的信息，以及接收與表示第二場(chǎng)景的第二視頻圖像相關(guān)的信息；以及c)視頻顯示裝置，其被設(shè)置用來(lái)向用戶顯示視頻圖像；所述系統(tǒng)的特征在于，還包括d)圖像生成裝置，其被設(shè)置用來(lái)通過(guò)對(duì)各個(gè)第一和第二視頻圖像的各個(gè)第一和第二場(chǎng)景進(jìn)行組合，使得它們看上去以基本上對(duì)齊的方式進(jìn)行覆蓋，來(lái)生成覆蓋視頻圖像，以進(jìn)行顯示。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括圖像處理裝置，其被設(shè)置用來(lái)根據(jù)一個(gè)或更多個(gè)相應(yīng)的圖像處理操作來(lái)處理所述第一視頻圖像和/或所述第二視頻圖像，并用來(lái)將所述第一和/或第二視頻圖像的經(jīng)處理版本輸出給所述圖像生成裝置，作為對(duì)其的輸入；其中，所述圖像處理操作可用來(lái)處理所述視頻圖像，以使得可以在由所述圖像生成裝置生成的所述覆蓋圖像中獨(dú)立地區(qū)分所述第一和第二視頻圖像各自的場(chǎng)景。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述圖像處理操作之一包括圖像對(duì)比度增強(qiáng)操作。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所述圖像對(duì)比度增強(qiáng)操作包括檢測(cè)輸入圖像中的邊緣以產(chǎn)生邊緣圖；對(duì)該輸入圖像應(yīng)用閾值操作，以產(chǎn)生閾值化圖像；以及對(duì)所述邊緣圖和閾值化圖像進(jìn)行組合，以產(chǎn)生經(jīng)處理的圖像。
5.根據(jù)權(quán)利要求2至4中的任意一項(xiàng)所述的系統(tǒng)，其中，所述圖像處理操作之一包括用于使經(jīng)處理的圖像的不透明度提高的處理。
6.根據(jù)權(quán)利要求3至5中的任意一項(xiàng)所述的系統(tǒng)，其中根據(jù)權(quán)利要求3或4對(duì)所述第一視頻圖像進(jìn)行處理，而根據(jù)權(quán)利要求5對(duì)所述第二視頻圖像進(jìn)行處理；或者根據(jù)權(quán)利要求3或4對(duì)所述第二視頻圖像進(jìn)行處理，而根據(jù)權(quán)利要求5對(duì)所述第一視頻圖像進(jìn)行處理。
7.根據(jù)權(quán)利要求1至5中的任意一項(xiàng)所述的系統(tǒng)，其中，所述圖像處理裝置不對(duì)所述第二視頻圖像進(jìn)行處理，并且所述圖像生成裝置進(jìn)行操作，以將各個(gè)經(jīng)處理的第一視頻圖像覆蓋到所接收的第二視頻圖像上。
8.根據(jù)權(quán)利要求1至5中的任意一項(xiàng)所述的系統(tǒng)，其中，所述圖像處理裝置還可以用來(lái)對(duì)所述第一視頻圖像進(jìn)行兩次處理，以產(chǎn)生該第一圖像的兩個(gè)經(jīng)處理的版本；其中，各個(gè)圖像的第一經(jīng)處理版本被輸入到所述圖像生成裝置，作為對(duì)其的輸入，而各個(gè)圖像的第二經(jīng)處理版本被輸入到所述通信裝置，由此進(jìn)行發(fā)送。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其中，對(duì)所述第一視頻圖像應(yīng)用不同的圖像處理操作，以分別產(chǎn)生所述第一經(jīng)處理版本和所述第二經(jīng)處理版本。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中通過(guò)根據(jù)權(quán)利要求3或4對(duì)所述第一視頻圖像進(jìn)行處理來(lái)產(chǎn)生所述第一視頻圖像的第一經(jīng)處理版本；而通過(guò)根據(jù)權(quán)利要求5對(duì)所述第一視頻圖像進(jìn)行處理來(lái)產(chǎn)生所述第一視頻圖像的第二經(jīng)處理版本；或者通過(guò)根據(jù)權(quán)利要求3或4對(duì)所述第一視頻圖像進(jìn)行處理來(lái)產(chǎn)生所述第一視頻圖像的第二經(jīng)處理版本；而通過(guò)根據(jù)權(quán)利要求5對(duì)所述第一視頻圖像進(jìn)行處理來(lái)產(chǎn)生所述第一視頻圖像的第一經(jīng)處理版本。
11.根據(jù)以上權(quán)利要求中的任意一項(xiàng)所述的系統(tǒng)，其中，所述第一場(chǎng)景包括第一用戶的頭部，并且/或者所述第二場(chǎng)景包括第二用戶的頭部。
12.根據(jù)以上權(quán)利要求中的任意一項(xiàng)所述的系統(tǒng)，其中，所述視頻成像裝置包括虛擬現(xiàn)實(shí)處理裝置，該虛擬現(xiàn)實(shí)處理裝置被設(shè)置用來(lái)產(chǎn)生用戶的化身的視頻圖像，以用作所述第一視頻圖像。
13.一種視頻通信方法，包括以下步驟a)產(chǎn)生表示第一場(chǎng)景的第一視頻圖像；b)優(yōu)選地經(jīng)由網(wǎng)絡(luò)來(lái)發(fā)送與所述第一視頻圖像相關(guān)的信息，以及接收與表示第二場(chǎng)景的第二視頻圖像相關(guān)的信息；以及c)向用戶顯示視頻圖像；所述方法的特征在于，還包括d)通過(guò)對(duì)各個(gè)第一和第二視頻圖像的各個(gè)第一和第二場(chǎng)景進(jìn)行組合，以使得它們看上去以基本上對(duì)齊的方式進(jìn)行覆蓋，來(lái)生成覆蓋視頻圖像，以進(jìn)行顯示。
14.根據(jù)權(quán)利要求13所述的方法，還包括根據(jù)一個(gè)或更多個(gè)相應(yīng)的圖像處理操作來(lái)處理所述第一視頻圖像和/或所述第二視頻圖像，并將所述第一和/或第二視頻圖像的經(jīng)處理版本用于所述生成步驟，作為對(duì)其的輸入；其中，所述圖像處理操作可用來(lái)處理所述視頻圖像，以使得可以在通過(guò)所述生成步驟生成的覆蓋圖像中獨(dú)立地區(qū)分所述第一和第二視頻圖像各自的場(chǎng)景。
15.根據(jù)權(quán)利要求14所述的方法，其中，所述圖像處理操作之一包括圖像對(duì)比度增強(qiáng)操作。
16.根據(jù)權(quán)利要求15所述的方法，其中，所述圖像對(duì)比度增強(qiáng)操作包括檢測(cè)輸入圖像中的邊緣以產(chǎn)生邊緣圖；對(duì)該輸入圖像應(yīng)用閾值操作，以產(chǎn)生閾值化圖像；以及對(duì)所述邊緣圖和閾值化圖像進(jìn)行組合，以產(chǎn)生經(jīng)處理的圖像。
17.根據(jù)權(quán)利要求14至16中的任意一項(xiàng)所述的方法，其中，所述圖像處理操作之一包括用于使經(jīng)處理的圖像的不透明度提高的處理。
18.根據(jù)權(quán)利要求15至17中的任意一項(xiàng)所述的方法，其中根據(jù)權(quán)利要求15或16對(duì)所述第一視頻圖像進(jìn)行處理，而根據(jù)權(quán)利要求17對(duì)所述第二視頻圖像進(jìn)行處理；或者根據(jù)權(quán)利要求15或16對(duì)所述第二視頻圖像進(jìn)行處理，而根據(jù)權(quán)利要求17對(duì)所述第一視頻圖像進(jìn)行處理。
19.根據(jù)權(quán)利要求13至17中的任意一項(xiàng)所述的方法，其中，所述圖像處理步驟不對(duì)所述第二視頻圖像進(jìn)行處理，并且所述生成步驟進(jìn)行操作，以將各個(gè)經(jīng)處理的第一視頻圖像覆蓋到所接收的第二視頻圖像上。
20.根據(jù)權(quán)利要求13至17中的任意一項(xiàng)所述的方法，其中，所述圖像處理步驟還包括對(duì)所述第一視頻圖像進(jìn)行兩次處理，以產(chǎn)生該第一圖像的兩個(gè)經(jīng)處理版本；其中，各個(gè)圖像的第一經(jīng)處理版本由所述生成步驟使用，作為對(duì)其的輸入，而各個(gè)圖像的第二經(jīng)處理版本被優(yōu)選地通過(guò)網(wǎng)絡(luò)發(fā)送給第二終端。
21.根據(jù)權(quán)利要求20所述的方法，其中，對(duì)所述第一視頻圖像應(yīng)用不同的圖像處理操作，以分別產(chǎn)生所述第一經(jīng)處理版本和所述第二經(jīng)處理版本。
22.根據(jù)權(quán)利要求21所述的方法，其中通過(guò)根據(jù)權(quán)利要求15或16對(duì)所述第一視頻圖像進(jìn)行處理來(lái)產(chǎn)生所述第一視頻圖像的第一經(jīng)處理版本；而通過(guò)根據(jù)權(quán)利要求17對(duì)所述第一視頻圖像進(jìn)行處理來(lái)產(chǎn)生所述第一視頻圖像的第二經(jīng)處理版本；或者通過(guò)根據(jù)權(quán)利要求15或16對(duì)所述第一視頻圖像進(jìn)行處理來(lái)產(chǎn)生所述第一視頻圖像的第二經(jīng)處理版本；而通過(guò)根據(jù)權(quán)利要求17對(duì)所述第一視頻圖像進(jìn)行處理來(lái)產(chǎn)生所述第一視頻圖像的第一經(jīng)處理版本。
23.根據(jù)權(quán)利要求13至22中的任意一項(xiàng)所述的方法，其中，所述第一場(chǎng)景包括第一用戶的頭部，并且/或者所述第二場(chǎng)景包括第二用戶的頭部。
24.根據(jù)權(quán)利要求13至23中的任意一項(xiàng)所述的方法，其中，所述產(chǎn)生步驟還包括虛擬現(xiàn)實(shí)處理步驟，該虛擬現(xiàn)實(shí)處理步驟用于生成用戶的化身的視頻圖像，以用作所述第一視頻圖像。
25.根據(jù)權(quán)利要求2至12中的任意一項(xiàng)所述的系統(tǒng)，該系統(tǒng)還包括質(zhì)量測(cè)量裝置，該質(zhì)量測(cè)量裝置用于確定表示所述第一視頻圖像的圖像質(zhì)量的至少一個(gè)特征的量度，所述圖像生成裝置對(duì)所測(cè)量的質(zhì)量的指示進(jìn)行響應(yīng)，以使所述第一場(chǎng)景的覆蓋圖像的至少一個(gè)可視特征取決于所述第一視頻圖像的圖像質(zhì)量。
26.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中，與所述第一場(chǎng)景相關(guān)的覆蓋圖像的不透明程度取決于所述第一視頻圖像的圖像質(zhì)量。
27.一種計(jì)算機(jī)程序或程序組，其被設(shè)置為使得當(dāng)由計(jì)算機(jī)執(zhí)行或由多個(gè)計(jì)算機(jī)集中地執(zhí)行時(shí)，該程序或程序組使得所述計(jì)算機(jī)或所述多個(gè)計(jì)算機(jī)執(zhí)行權(quán)利要求13至24中的任意一項(xiàng)的方法。
28.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)根據(jù)權(quán)利要求27所述的計(jì)算機(jī)程序或計(jì)算機(jī)程序組中的任意一個(gè)或更多個(gè)程序。
29.根據(jù)權(quán)利要求13至24中的任意一項(xiàng)所述的方法，還包括以下步驟對(duì)所述第一視頻圖像的質(zhì)量進(jìn)行評(píng)估，其中根據(jù)所述第一視頻圖像的評(píng)估質(zhì)量來(lái)選擇所生成的覆蓋視頻圖像中的第一場(chǎng)景的可視特征。
30.根據(jù)權(quán)利要求29所述的方法，其中，所述可視特征是所述覆蓋圖像中的第一場(chǎng)景的透明程度或可視程度。
全文摘要
本發(fā)明提供了一種方法和系統(tǒng)，其中，使用遠(yuǎn)程視頻圖像直接覆蓋第一視頻圖像以產(chǎn)生組合視頻圖像，隨后將該組合視頻圖像顯示給用戶和/或適當(dāng)?shù)剡M(jìn)行存儲(chǔ)。優(yōu)選地，在執(zhí)行覆蓋操作之前，對(duì)第一和/或遠(yuǎn)程圖像中的至少一個(gè)進(jìn)行圖像處理操作，該圖像處理操作使得在用戶觀看該組合視頻圖像時(shí)，該用戶能夠獨(dú)立地區(qū)分包含在處理時(shí)要進(jìn)行覆蓋的圖像中的場(chǎng)景。執(zhí)行該覆蓋操作以使得包含在各個(gè)視頻圖像中的場(chǎng)景基本上彼此上下對(duì)齊。雖然通過(guò)如上所述來(lái)覆蓋各個(gè)第一和遠(yuǎn)程視頻圖像，獲得了單個(gè)圖像，其中各個(gè)第一和遠(yuǎn)程圖像的各個(gè)場(chǎng)景仍可獨(dú)立區(qū)分，但是其仍具有適于在有限大小的屏幕上顯示而圖像不會(huì)彼此遮蔽的合適大小。
文檔編號(hào)G06F3/02GK1849823SQ200480025923
公開(kāi)日2006年10月18日 申請(qǐng)日期2004年8月27日 優(yōu)先權(quán)日2003年9月9日
發(fā)明者大衛(wèi)·約翰·查廷, 杰里米·邁克爾·索恩, 大衛(wèi)·杰弗里·莫里森 申請(qǐng)人:英國(guó)電訊有限公司