用于進(jìn)行視頻會(huì)議的方法、服務(wù)器和終端的制作方法
【專(zhuān)利摘要】一種用于進(jìn)行視頻會(huì)議的方法，所述方法包括：在終端的顯示器上形象化多個(gè)會(huì)議參與者的表現(xiàn)；對(duì)所述終端的用戶注視的方向進(jìn)行檢測(cè)；確定所述用戶與會(huì)議參與者中的第一會(huì)議參與者(U1)之間的第一觀察關(guān)系，通過(guò)對(duì)所述檢測(cè)到的注視方向與所述形象化的表現(xiàn)中的當(dāng)前被觀察的表現(xiàn)之間進(jìn)行關(guān)聯(lián)來(lái)識(shí)別所述會(huì)議參與者中的所述第一會(huì)議參與者(U1)；并且對(duì)所述會(huì)議參與者中的所述第一會(huì)議參與者(U1)的所述表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
【專(zhuān)利說(shuō)明】用于進(jìn)行視頻會(huì)議的方法、服務(wù)器和終端

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻會(huì)議領(lǐng)域，并且特別是涉及改進(jìn)視頻會(huì)議參與者之間的互動(dòng)。

【背景技術(shù)】
[0002]當(dāng)在擁有三個(gè)或更多人的團(tuán)體中進(jìn)行交流時(shí)，目光注視是有用的元素。對(duì)于正在講話的人，為了引導(dǎo)他的注意力至特定的人并且得到來(lái)自他的反饋；對(duì)于聽(tīng)眾，為了理解說(shuō)話者正在對(duì)誰(shuí)說(shuō)話，以及其他的聽(tīng)眾正在看著誰(shuí)(或什么)；并且對(duì)于話輪的轉(zhuǎn)換，目光注視信息都是有用的。同樣地，人們可以看到彼此(可見(jiàn)性)，他們知道其他人能看到自己(認(rèn)知)，并且他們知道其他人知道他們能夠看見(jiàn)他們(責(zé)任性)。后者被稱(chēng)為社交半透明性。
[0003]在面對(duì)面的交談中，個(gè)人的目光注視是易于察覺(jué)的。然而，在當(dāng)今的多方視頻通話(計(jì)算機(jī)中介通信)中，所有的參與者幾乎是直接看著他們的小型監(jiān)視器中的其它(馬賽克的)人，目光注視的方向幾乎完全消失。因此，每個(gè)個(gè)人都覺(jué)得仿佛其他每個(gè)參與者都直接的看著他。所有的參與者因此都覺(jué)得他們獲得了比他們正常引起或者在給定社交環(huán)境中應(yīng)得的更多的注意。社交半透明性完全喪失了。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的實(shí)施例的目標(biāo)為提供技術(shù)方案以自然的方式為視頻會(huì)議系統(tǒng)的用戶重新引入目光注視信息。
[0005]依照本發(fā)明一個(gè)方面，提供了用于進(jìn)行視頻會(huì)議的方法，所述方法包括:在終端的顯示器上形象化對(duì)多個(gè)會(huì)議參與者的表現(xiàn)進(jìn)行；對(duì)終端用戶的注視方向進(jìn)行檢測(cè)；以及確定用戶與會(huì)議參與者中的第一會(huì)議參與者(UI)之間的第一觀察關(guān)系，通過(guò)對(duì)檢測(cè)到的注視方向與當(dāng)前觀察的形象化的表現(xiàn)進(jìn)行相互關(guān)聯(lián)來(lái)識(shí)別所述會(huì)議參與者中的第一會(huì)議參與者(Ul);并對(duì)會(huì)議參與者中的第一會(huì)議參與者(Ul)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
[0006]依照本發(fā)明，本方法的優(yōu)點(diǎn)在于所述顯示將給予較低雜亂程度的印象，因?yàn)楦信d趣的參與者將以特別的方式進(jìn)行渲染，降低了用戶被其他形象化的表現(xiàn)分散的注意力。此夕卜，所述系統(tǒng)提供了涉及用戶正在看著特定通信方這一事實(shí)的視覺(jué)反饋，因此使得用戶意識(shí)到他向著這個(gè)特定對(duì)象的注意力被注意到了，這為可視通信提供了更自然的背景。
[0007]在實(shí)施例中，依照本發(fā)明的方法進(jìn)一步包括獲取會(huì)議參與者中的第一會(huì)議參與者(Ul)與當(dāng)前正在被會(huì)議參與者中的第一會(huì)議參與者(Ul)所觀察的會(huì)議參與者中的第二會(huì)議參與者(U2)之間的第二觀察關(guān)系；并且如果會(huì)議參與者中的第二會(huì)議參與者(U2)不是用戶，對(duì)會(huì)議參與者中的第二會(huì)議參與者(U2)進(jìn)行視覺(jué)區(qū)分。
[0008]該實(shí)施例的優(yōu)點(diǎn)在于使用戶意識(shí)到所述參與者正在看著的焦點(diǎn)。該“第二級(jí)觀察”被清楚地形象化，以允許本地用戶更好地理解他自己關(guān)注的人的行為。特別地，如果關(guān)注的參與者正在講話，對(duì)于本地用戶來(lái)說(shuō)知道該參與者正在對(duì)誰(shuí)講話(或者至少知道看著誰(shuí))是非常有用的。
[0009]在依照本發(fā)明方法的實(shí)施例中，進(jìn)一步包括如果會(huì)議參與者中的第二會(huì)議參與者(U2)為用戶，向該用戶發(fā)出相互注視的發(fā)生的信號(hào)。
[0010]該實(shí)施例的優(yōu)點(diǎn)在于該用戶意識(shí)到“目光交流”的虛擬等價(jià)物的發(fā)生，也就是說(shuō)，在所述情形中，本地用戶正在看著特定參與者，并且該參與者也正在回看著他。
[0011]在特別的實(shí)施例中，所述方法進(jìn)一步包括獲取會(huì)議參與者中的第三或第三組會(huì)議參與者(U3)與該用戶之間的第三觀察關(guān)系；并且對(duì)會(huì)議參與者中的第三或第三組會(huì)議參與者(U3)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
[0012]該實(shí)施例的優(yōu)點(diǎn)在于用戶能夠意識(shí)到誰(shuí)正在看著他。
[0013]在特別的實(shí)施例中，所述區(qū)分包括施加第一修改類(lèi)型至除會(huì)議參與者中的第一會(huì)議參與者(Ul)和會(huì)議參與者中的第二會(huì)議參與者(U2)以外的所有會(huì)議參與者的表現(xiàn)，并施加第二修改類(lèi)型至除會(huì)議參與者中的第一會(huì)議參與者(Ul)和會(huì)議參與者中的第三或第三組會(huì)議參與者(U3)以外的所有會(huì)議參與者的表現(xiàn)。
[0014]該實(shí)施例的優(yōu)點(diǎn)在于用戶正在注意著的通信方以“正?！?即，沒(méi)有修改)的形式直接出現(xiàn)，同時(shí)其余通信方出現(xiàn)的表現(xiàn)被依照他們是否為關(guān)注的通信方的注意目標(biāo)以及他們是否正在看著本地用戶而修改。
[0015]在更加特別的實(shí)施例中，第一修改類(lèi)型和第二修改類(lèi)型為在分辨率上的降低和顏色版(color palette)上的縮減或者相反。
[0016]該實(shí)施例的優(yōu)點(diǎn)在于，所述視覺(jué)修改一其通過(guò)對(duì)本地用戶沒(méi)有專(zhuān)心地看著的顯示器的區(qū)域進(jìn)行定義而發(fā)生——具有一種易于感知的性質(zhì)，即使是在它們出現(xiàn)在用戶的邊緣視覺(jué)(peripheral vis1n)中時(shí)。
[0017]依照本發(fā)明的內(nèi)容，提供了包括當(dāng)被執(zhí)行時(shí)實(shí)施上述方法的軟件裝置的計(jì)算機(jī)程序。
[0018]依照本發(fā)明的內(nèi)容，提供了用于在上述方法中使用的視頻會(huì)議服務(wù)器，所述服務(wù)器可被多個(gè)具有目光注視追蹤裝置的終端可操作地連接，并且被安排轉(zhuǎn)播所述多個(gè)終端之間的音像饋送，其中該服務(wù)器被配置為依照獲取自目光注視追蹤裝置的觀察關(guān)系執(zhí)行視覺(jué)區(qū)分。
[0019]該內(nèi)容提供了在執(zhí)行依照本發(fā)明的方法方面所述服務(wù)器的功能與所述終端的功能之間特別有利的劃分。特別地，相對(duì)于備選的通過(guò)終端執(zhí)行所有視覺(jué)處理的場(chǎng)景，通過(guò)在服務(wù)器中進(jìn)行形象化處理可節(jié)約帶寬和/或處理能力。
[0020]依照本發(fā)明的內(nèi)容，提供了用于進(jìn)行視頻會(huì)議的終端，所述終端包括適于形象化多個(gè)會(huì)議參與者的表現(xiàn)的顯示器；目光注視追蹤裝置，配置為反復(fù)地檢測(cè)終端用戶注視的方向；以及可操作地耦合至目光注視追蹤裝置的處理裝置，所述處理裝置被配置為確定用戶和會(huì)議參與者中的第一會(huì)議參與者(UI)之間的第一觀察關(guān)系，所述會(huì)議參與者中的第一會(huì)議參與者(UI)通過(guò)對(duì)檢測(cè)到的注視方向與正在觀察的形象化表現(xiàn)之一進(jìn)行關(guān)聯(lián)識(shí)別得出；所述終端被配置為對(duì)會(huì)議參與者中的第一會(huì)議參與者(UI)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
[0021]在實(shí)施例中，依照本發(fā)明的終端進(jìn)一步包括適于接收會(huì)議參與者中的第一會(huì)議參與者(Ul)與正在被會(huì)議參與者中的第一會(huì)議參與者(Ul)所觀察的會(huì)議參與者中的第二會(huì)議參與者(U2)之間的第二觀察關(guān)系的輸入接口 ；所述終端被配置為對(duì)會(huì)議參與者中的第二會(huì)議參與者(U2)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
[0022]在實(shí)施例中，依照本發(fā)明的終端進(jìn)一步包括相互注視指示器，并且終端被配置為如果所述會(huì)議參與者中的第二會(huì)議參與者(U2)為所述用戶則激活相互注視指示器。
[0023]在依照本發(fā)明的終端的實(shí)施例中，輸入接口為進(jìn)一步適于接收會(huì)議參與者中的第三會(huì)議參與者(U3)與用戶之間的第三觀察關(guān)系，終端被配置為對(duì)會(huì)議參與者中的第三會(huì)議參與者(U3)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
[0024]在特別的實(shí)施例中，通過(guò)施加第一修改類(lèi)型至除第一會(huì)議參與者(Ul)和第二會(huì)議參與者(U2)之外的所有會(huì)議參與者的表現(xiàn)，并且施加第二修改類(lèi)型至除第一會(huì)議參與者(Ul)和第三會(huì)議參與者(U3)之外的所有會(huì)議參與者的表現(xiàn)來(lái)實(shí)現(xiàn)視覺(jué)區(qū)分。
[0025]在更特別的實(shí)施例中，第一修改類(lèi)型和第二修改類(lèi)型為分辨率的降低以及顏色版的縮減或者相反。
[0026]依照本發(fā)明的內(nèi)容，提供了包括多個(gè)如上所述終端的系統(tǒng)。
[0027]依照本發(fā)明的計(jì)算機(jī)程序、服務(wù)器、終端、以及系統(tǒng)的多個(gè)實(shí)施例的效果和優(yōu)點(diǎn)符合關(guān)于依照本發(fā)明方法的對(duì)應(yīng)的實(shí)施例的那些說(shuō)明加上必要的細(xì)節(jié)修改。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0028]現(xiàn)在僅以示例的方式參照附圖對(duì)依照本發(fā)明實(shí)施例的方法和/或裝置的一些實(shí)施例進(jìn)行描述，其中:
[0029]圖1示出了依照本發(fā)明實(shí)施例示例性的會(huì)議參與者的形象化；
[0030]圖2展示了依照本發(fā)明實(shí)施例的方法的流程圖；
[0031]圖3為依照本發(fā)明實(shí)施例的終端的示意圖；
[0032]圖4概略示出了依照本發(fā)明實(shí)施例的服務(wù)器的使用；
[0033]圖5為可在本發(fā)明實(shí)施例中使用的編碼裝置的示意圖；以及
[0034]圖6為可在本發(fā)明實(shí)施例中使用的解碼裝置的示意圖。

【具體實(shí)施方式】
[0035]圖1示出了視頻會(huì)議系統(tǒng)——本發(fā)明在其中使用——中的終端屏幕上示例性的形象化的會(huì)議參與者。不失一般性地，四個(gè)會(huì)議參與者被展示。出于技術(shù)原因，原本為彩色圖像的表現(xiàn)在本申請(qǐng)中以灰度圖像繪出，并且原本為黑白或灰度圖像的表現(xiàn)以線圖繪出。
[0036]在實(shí)施例的說(shuō)明書(shū)中，圖1中引入的標(biāo)號(hào)將用于指代不同(類(lèi)別)的會(huì)議參與者。
[0037]在下文中，第一用戶與第二用戶之間的“觀察關(guān)系”將被理解為指定一個(gè)情況，在其中第一用戶直視著他的視頻會(huì)議終端上的第二用戶的視覺(jué)的表現(xiàn)。在本發(fā)明的實(shí)施例中使用的視頻會(huì)議終端(或簡(jiǎn)單的“終端”)可為專(zhuān)用裝置、具有適當(dāng)軟件的多用途計(jì)算機(jī)、電視機(jī)與機(jī)頂盒的結(jié)合、或本領(lǐng)域技術(shù)人員可輕易領(lǐng)會(huì)的其它任何適當(dāng)?shù)能浖c硬件的結(jié)口 ο
[0038]現(xiàn)在將結(jié)合圖2提供的流程圖對(duì)依照本發(fā)明示例性實(shí)施例的方法進(jìn)行描述。多個(gè)會(huì)議參與者U1-U4的表現(xiàn)在終端的顯示器上被形象化210。所述終端裝備了檢測(cè)220終端用戶的注視方向的目光注視追蹤裝置。在該信息的基礎(chǔ)上，確定230用戶與第一會(huì)議參與者Ul之間的第一觀察關(guān)系，所述第一會(huì)議參與者Ul被通過(guò)關(guān)聯(lián)檢測(cè)到的注視方向與當(dāng)前觀察的一個(gè)形象化的表現(xiàn)來(lái)識(shí)別。因此，第一會(huì)議參與者Ul的表現(xiàn)相對(duì)于其他參與者的表現(xiàn)在視覺(jué)上有所區(qū)分240。
[0039]所述方法優(yōu)選的包括獲取250第一會(huì)議參與者Ul與正在被第一會(huì)議參與者Ul觀察的第二會(huì)議參與者U2之間的第二觀察關(guān)系。如果第二會(huì)議參與者U2不是本地用戶本人，該第二會(huì)議參與者U2的表現(xiàn)相對(duì)于其他參與者的表現(xiàn)在視覺(jué)上有所區(qū)分260。如果該第二會(huì)議參與者U2實(shí)際上就是本地用戶本人255，通過(guò)任意適當(dāng)?shù)男盘?hào)MGI向用戶發(fā)送信號(hào)通知261相互注視的發(fā)生。信號(hào)MGI (相互注視指示器)指示目光接觸的虛擬等價(jià)物的發(fā)生，并且可以采用在顯示器上會(huì)議參與者Ul的表現(xiàn)附近出現(xiàn)圖標(biāo)的形式。另外或者備選地，其可以采用當(dāng)目光接觸發(fā)生時(shí)發(fā)出聲音的形式；優(yōu)選地為微妙地、不令人煩擾的聲音。
[0040]所述方法優(yōu)選地進(jìn)一步包括獲取270 —個(gè)或多個(gè)第三會(huì)議參與者U3與用戶之間的第三觀察關(guān)系。第三會(huì)議參與者U3的表現(xiàn)相對(duì)于其他參與者的表現(xiàn)在視覺(jué)上有所區(qū)分280。
[0041]在特別的實(shí)施例中，區(qū)分240、260、280包括施加第一修改類(lèi)型至除第一會(huì)議參與者Ul和第二會(huì)議參與者U2以外的所有會(huì)議參與者的表現(xiàn)，并且施加第二修改類(lèi)型至除第一會(huì)議參與者Ul和第三會(huì)議參與者U3以外的所有會(huì)議參與者的表現(xiàn)。
[0042]正常人的中心凹注視區(qū)域(foveal area)僅為幾度寬。大體上平均而言，用戶具有很高視覺(jué)感知的范圍僅為3°。用戶在該區(qū)域可以捕捉到大量的細(xì)節(jié)。在另一方面邊緣視野具有較低的視覺(jué)感知但對(duì)視覺(jué)注意進(jìn)行了特別訓(xùn)練。使用他的次要視野的用戶可以注意到的在他所在的環(huán)境中的改變要遠(yuǎn)強(qiáng)于使用他的中心視野(foveal view)。本發(fā)明的實(shí)施例基于發(fā)明人的洞察力即通過(guò)使用為人類(lèi)邊緣視野中的感知能力定制的適當(dāng)發(fā)信號(hào)的方法，可以以有效的方式將未被主動(dòng)注視的視頻會(huì)議參與者的狀態(tài)信息發(fā)送至用戶。社交半透明的問(wèn)題可以以這種方式來(lái)加以解決。
[0043]特別地，改變顯示出的圖像的顏色或分辨率可被視頻會(huì)議終端的用戶輕易地感知，即使是在這些改變發(fā)生在用戶的次要視野中時(shí)。因此，本發(fā)明的實(shí)施例使用改變顯示出的視頻會(huì)議參與者的表現(xiàn)的顏色和/或分辨率來(lái)標(biāo)志關(guān)于他們活動(dòng)的信息，特別是關(guān)于他們正在看著的對(duì)象或參與者。在特別的實(shí)施例中，上述第一修改類(lèi)型和第二修改類(lèi)型為分辨率的降低以及顏色版的縮減或者相反。
[0044]依照該特別的實(shí)施例創(chuàng)建圖1的馬賽克?？偟膩?lái)說(shuō)，通過(guò)圖1的馬賽克傳達(dá)的信息因而如下所述:
[0045]-當(dāng)前被觀察的用戶為用戶U1。在該形象化中，以高分辨率和彩色渲染用戶U1。
[0046]-被用戶Ul正在觀察的用戶為用戶U2。在該形象化中，以高分辨率但是黑色和白色渲染用戶U2。
[0047]-正在看著本地用戶的用戶為用戶U3。在該形象化中，以彩色但低分比率渲染用戶U3。
[0048]-最后，用戶U4為看著某物或者某人并且沒(méi)有被用戶Ul看著的用戶。在該形象化中，以低分辨率和黑色及白色渲染用戶U4。
[0049]-由于不存在本地用戶與他當(dāng)前觀察的用戶Ul之間的相互注視，因此不點(diǎn)亮相互注視指示器MGI。
[0050]本發(fā)明的區(qū)分的視覺(jué)化是動(dòng)態(tài)的。也就是說(shuō)，間歇地重復(fù)檢測(cè)220以及可選地獲取250、270，以便更新相關(guān)的表現(xiàn)240、260、280。從無(wú)差別的狀態(tài)(如前述示例中用戶U4的狀態(tài))至有區(qū)分的狀態(tài)(如前述示例中用戶U1、U2、或U3的狀態(tài))的改變應(yīng)足夠快的發(fā)生以便保持顯示器上的重要信息是最新的并且能捕獲本地用戶的注意。在另一方面，從區(qū)別的狀態(tài)變?yōu)闊o(wú)差別的狀態(tài)可被逐漸施加，以避免不必要地吸引本地用戶的注意。此外，對(duì)本地用戶的注視的檢測(cè)220不應(yīng)更新的過(guò)于頻繁以致對(duì)用戶眼睛正常的快速并且無(wú)關(guān)緊要的“掃描”運(yùn)動(dòng)敏感。特別的，目光注視檢測(cè)220的時(shí)間常量應(yīng)足夠?qū)捤梢员苊獠槐匾膶?duì)因每次其他參與者之一的表現(xiàn)的狀態(tài)的改變而引起的焦點(diǎn)改變進(jìn)行檢測(cè)，導(dǎo)致用戶的注視在瞬間來(lái)回的移動(dòng)。該約束條件在圖2中借助延遲步驟245被概略示出。
[0051]因此，在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，目光注視半透明方法由四部分組成:
[0052]1.所有涉及到用戶注視的注視信息均以高分辨率提供
[0053]用戶中心視野的目光注視位置將被捕捉和翻譯成為他正在看著的主題。如果該主題為人物A，那么該人物A的目光注視位置也被捕捉和翻譯成為他正在看的主題。對(duì)于人物A和主題B，不施加分辨率濾波器。因此，它們以高分辨率渲染。對(duì)于場(chǎng)景中其他的主題，施加低分辨率濾波器。
[0054]2.所有涉及到用戶的注視信息均以彩色方式提供
[0055]用戶中心視野的目光注視位置將被捕捉和翻譯成為他正在看著的主題。對(duì)于該主題，不施加色彩濾波器。因此該主題以彩色渲染。此外，所有其他用戶的中心視野的目光注視位置被捕捉和翻譯成為他們正在看的主題。如果這些主題之一為其自身，不施加色彩濾波器。因此這些用戶以彩色渲染。對(duì)于場(chǎng)景中所有其他主題，施加黑白濾波器。
[0056]3.相互注視指示器
[0057]所有其他用戶的中心視野的目光注視位置被捕捉和轉(zhuǎn)換成為他們正在看的主題。如果這些主題之一為用戶自身，那么用戶的中心視野的目光注視位置將被捕捉和翻譯成為他正在看著的主題。如果該主題為對(duì)應(yīng)于所述正在注視著用戶的人的人物，那么相互注視指示器的形象化將相應(yīng)地被觸發(fā)。
[0058]4.高分辨率和色彩轉(zhuǎn)換
[0059]當(dāng)高分辨率、高色彩或相互注視條件均不再滿足時(shí)，根據(jù)新的情況緩慢的施加相應(yīng)的濾波器以便不干擾用戶的次要視野。然而，如果由于用戶注視的改變導(dǎo)致高分辨率、高色彩或相互注視條件被滿足，根據(jù)新的情況該濾波器被迅速移除以便不干擾用戶的主要視野。
[0060]區(qū)分所述表現(xiàn)的備選方式可能為施加備選的濾波器，所述濾波器對(duì)于(I)涉及本地用戶注視的所有事物為黑白濾波器并且對(duì)于(2)涉及本地用戶的所有事物為低分辨率濾波器。用于低分辨率的備選濾波器包括但不限于，平移(下降)、傾斜(擠壓(壓縮))、縮放(拉遠(yuǎn))、模糊(邊緣)、或幀速率(降低每秒幀數(shù)，即時(shí)間分辨率)。用于黑白備選濾波器包括但不限于，顏色(減少)、對(duì)比度(下降)、亮度(下降)、攝像機(jī)角度(離遠(yuǎn))、伽馬變換。可用于區(qū)分的其他備選濾波器的類(lèi)型包括但不限于光暈、陰暗、下劃線或框、第三對(duì)象、圖片凍結(jié)、或化身(avator)替換。
[0061 ] 在特別的實(shí)施例中，提供相互背景給所有用戶。
[0062]在特別的實(shí)施例中，本地用戶也被形象化的展示在顯示器上，可選地在施加鏡像變換之后。本地用戶可看著其自身，也就是說(shuō)，他所擁有的表現(xiàn)，在這種情況下該表現(xiàn)被當(dāng)作用戶Ui對(duì)待，并據(jù)此進(jìn)行形象化的區(qū)分。依照前述優(yōu)選實(shí)施例，該用戶可因此以高分辨率和全彩色看到其擁有的影像，同時(shí)可選地MGI被激活。相反地，每當(dāng)該用戶看著任意其它會(huì)議參與者或?qū)ο?，他擁有的影像將被降低分辨率并成為黑色及白色。這些特別的實(shí)施例的優(yōu)點(diǎn)在于用戶體驗(yàn)到的“沉浸”水平被提高了。
[0063]在特別的實(shí)施例中，聲音也被混合以使其與屏幕上用戶的位置一致。例如，當(dāng)特別的遠(yuǎn)程用戶坐在本地用戶的右側(cè)(在本地用戶屏幕上的右側(cè))，那么該特別的遠(yuǎn)程用戶的聲音將在本地用戶右側(cè)的聲道被混合。
[0064]依照本發(fā)明的方法所需的功能可以多種方式被分散到終端和可選的中心節(jié)點(diǎn)或服務(wù)器之中。因此，將在下文描述的依照本發(fā)明的服務(wù)器和依照本發(fā)明的終端可被認(rèn)為是在特定裝備中對(duì)本發(fā)明方法進(jìn)行實(shí)施的特別問(wèn)題的備選解決方案。
[0065]本發(fā)明因此還涉及進(jìn)行視頻會(huì)議的終端，其將聯(lián)系圖3進(jìn)行描述。本說(shuō)明書(shū)中省略了依照本發(fā)明的視頻會(huì)議終端300中與已知視頻會(huì)議終端相同的元件。終端300包括適于形象化多個(gè)會(huì)議參與者U1-U4的表現(xiàn)的顯示器310。所述表現(xiàn)優(yōu)選地為會(huì)議參與者的終端捕獲的可依照本發(fā)明轉(zhuǎn)換或修改的視頻饋送。備選地，所述表現(xiàn)可為被這些會(huì)議參與者選擇的化身。還可能出現(xiàn)視頻傳輸和/或頭像和/或混合的頭像/視頻實(shí)體的混合。終端300進(jìn)一步包括目光注視追蹤裝置320，被配置為重復(fù)地檢測(cè)終端300的用戶的注視方向。目光注視追蹤裝置在本領(lǐng)域是公知的，并且一般在對(duì)本地用戶(觀看者)的目光的數(shù)字影像分析的基礎(chǔ)上運(yùn)作。這樣的用于目光注視檢測(cè)目的的數(shù)字影像可從與為進(jìn)行視頻會(huì)議的目的而提供本地用戶的視頻饋送的同一攝像機(jī)處獲取。終端300進(jìn)一步包括可操作地耦合至目光注視追蹤裝置320的處理裝置330，被配置為確定用戶和第一會(huì)議參與者Ul之間的第一觀察關(guān)系，通過(guò)對(duì)檢測(cè)到的注視方向與當(dāng)前被觀察的表現(xiàn)進(jìn)行關(guān)聯(lián)識(shí)別出該第一會(huì)議參與者Ul。終端300被配置為在對(duì)第一會(huì)議參與者Ul——即當(dāng)前被本地用戶看著的會(huì)議參與者——的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
[0066]優(yōu)選地，終端300還包括輸入接口 340以便接收第一會(huì)議參與者Ul——即當(dāng)前被本地用戶看著的會(huì)議參與者——與當(dāng)前被第一會(huì)議參與者Ul看著的第二會(huì)議參與者U2之間的第二觀察關(guān)系。終端300被配置為對(duì)第二會(huì)議參與者U2的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
[0067]優(yōu)選地，輸入接口 340進(jìn)一步適于接收第三會(huì)議參與者U3與用戶之間的第三觀察關(guān)系。終端300被配置為對(duì)第三會(huì)議參與者U3的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
[0068]術(shù)語(yǔ)“接口 ”意味著本領(lǐng)域技術(shù)人員公知的在穿過(guò)協(xié)議棧多個(gè)層的網(wǎng)絡(luò)鏈路上建立數(shù)據(jù)通信連通性所需的必要硬件和軟件。優(yōu)選地使用標(biāo)準(zhǔn)化的協(xié)議。例如接入接口可包括用于xDSL、xPON、WMAN、或3G鏈路的接口。例如LAN接口可包括用于一個(gè)或多個(gè)IEEE802.3 “以太網(wǎng)”鏈路、ffiEE 802.11 “無(wú)線局域網(wǎng)”鏈路的接口。例如PAN接口可包括USB接口或藍(lán)牙接口。接口 340可部分或全部地與用于作為視頻會(huì)議一部分的視頻饋送進(jìn)行交換的接口一致。
[0069]本發(fā)明還涉及被配置為在源頭上應(yīng)用上述修改以降低整體帶寬需求的終端。
[0070]本發(fā)明因此還涉及用于在上述方法中使用的視頻會(huì)議服務(wù)器，將結(jié)合圖4對(duì)其進(jìn)行描述。服務(wù)器400可被具有目光注視追蹤裝置的多個(gè)終端可操作地連接，并被安排轉(zhuǎn)播多個(gè)終端之間的視聽(tīng)饋送，其中所述服務(wù)器被配置以根據(jù)獲取自目光注視追蹤裝置的觀察關(guān)系執(zhí)行視覺(jué)區(qū)分。所述服務(wù)器可被安排以接收來(lái)自相連接的終端的目光注視相關(guān)的信息，確定每個(gè)通信方相對(duì)于剩下的其他通信方的適當(dāng)狀態(tài)，并向每個(gè)通信方提供適當(dāng)?shù)倪^(guò)濾過(guò)或修改過(guò)的視頻饋送集合。
[0071]在本發(fā)明的實(shí)施例中，用戶的流化視頻可以可分級(jí)的方式(被源終端或者被可選的服務(wù)器)被編碼以使低分辨率和/或黑/白圖像不需進(jìn)行附加的過(guò)濾即可被輕易檢出。
[0072]本發(fā)明的實(shí)施例中使用的流化視頻可為立體或多視覺(jué)視頻。本發(fā)明的實(shí)施例使用的場(chǎng)景可為3D場(chǎng)景。
[0073]圖5示出了構(gòu)成本發(fā)明的多種變體的服務(wù)器400，所述服務(wù)器400包括可操作地連接至多個(gè)渲染器420a、420b——為不失一般性示出了其的兩個(gè)實(shí)例——的編碼器430，被配置以產(chǎn)生同樣數(shù)目的嵌入了會(huì)議參與者的表現(xiàn)的場(chǎng)景的不同視圖410。適配的終端500顯示與被本地用戶選擇的視角一致的場(chǎng)景，其可為被插值處理(interpolated)的視角或是如服務(wù)器400提供的精確視角。終端500依照選擇的視角捕獲本地用戶的注視信息，其與特定會(huì)議參與者或場(chǎng)景對(duì)象相關(guān)聯(lián)。所述關(guān)聯(lián)可在終端500或服務(wù)器400處發(fā)生。在前一種情況下，相互關(guān)聯(lián)的信息(即觀察關(guān)系)被傳回至服務(wù)器400;在后一種情況下，注視方向被傳回至服務(wù)器400?；谠摻邮兆越K端500和其他會(huì)議參與者的終端(未示出)的信息，服務(wù)器400命令其編碼器430依照上文中說(shuō)明的規(guī)則施加適當(dāng)?shù)囊曈X(jué)修改(例如，過(guò)濾器)。如果通過(guò)降低如上所述的分辨率和/或顏色版進(jìn)行視覺(jué)區(qū)分，由于大部分表現(xiàn)可以以降低的分辨率和/或黑色和白色進(jìn)行傳送，該配置提供了在服務(wù)器400與終端500之間需要較小的帶寬的優(yōu)點(diǎn)。
[0074]已作必要的修正的相同配置可在無(wú)服務(wù)器的對(duì)等環(huán)境中應(yīng)用并且具有相同的優(yōu)點(diǎn)，其中圖5中服務(wù)器400的作用被各自對(duì)等的終端所承擔(dān)。因此，在所述情況下適用的終端可根據(jù)各自需要的視覺(jué)表現(xiàn)將其本地用戶的形象提供給其各自的通信方。特別地，適用的終端可僅將其本地用戶的全彩色高分辨率饋送發(fā)送至正在看著上述本地用戶的那些用戶的終端。
[0075]圖6示出了與構(gòu)成本發(fā)明更進(jìn)一步的變體的終端300協(xié)作的另一個(gè)服務(wù)器600，上述服務(wù)器600還是包括可操作地連接至多個(gè)渲染器一為不失一般性示出兩個(gè)示例一620a、620b的編碼器630，被配置以產(chǎn)生相同數(shù)目的嵌入了會(huì)議參與者的表現(xiàn)的場(chǎng)景610的不同視圖610。終端300根據(jù)本地用戶選擇的視角在其顯示器310上顯示所述場(chǎng)景，其可為被插值處理的視角或如服務(wù)器400提供的精確視角。終端300根據(jù)被選擇的視角使用其注視追蹤器捕獲本地用戶的注視信息，其中注視方向與特定的會(huì)議參與者或場(chǎng)景對(duì)象相關(guān)聯(lián)。所述關(guān)聯(lián)發(fā)生在終端300。所述關(guān)聯(lián)信息(即所述觀察關(guān)系)被傳回給服務(wù)器600以使其他會(huì)議參與者受益，并且反過(guò)來(lái)也接收到選擇的涉及其他會(huì)議參與者的觀察關(guān)系?；诒镜卮_定的觀察關(guān)系以及接收自服務(wù)器600的信息，終端中的編碼器330被配置為根據(jù)上文中說(shuō)明的規(guī)則施加適當(dāng)?shù)囊曈X(jué)修改(如過(guò)濾器)。最優(yōu)選地，通過(guò)從獲取自服務(wù)器600的可分級(jí)地編碼的視覺(jué)饋送中簡(jiǎn)單地選擇適當(dāng)質(zhì)量的層來(lái)施加視覺(jué)“修改”。
[0076]已作必要的修正的相同配置可在無(wú)服務(wù)器的對(duì)等環(huán)境中應(yīng)用并且具有相同的優(yōu)點(diǎn)，其中圖6中服務(wù)器600的作用被各自對(duì)等的終端所承擔(dān)。因此，在該情況下適用的終端可以可分級(jí)的格式根據(jù)各自需要的視覺(jué)表現(xiàn)將其本地用戶的形象提供至其各自的通信方，以此允許接受者輕松地提取到適當(dāng)?shù)馁|(zhì)量級(jí)別。
[0077]雖然上文以獨(dú)立的實(shí)施例描述了方法和裝置，這樣做僅是為了清楚的目的，并且應(yīng)注意僅與方法實(shí)施例相聯(lián)系進(jìn)行描述的特性可依照本發(fā)明在裝置中應(yīng)用以獲取相同的技術(shù)效果和優(yōu)點(diǎn)，反過(guò)來(lái)也一樣。
[0078]圖中示出的多種組件的功能，包括任何標(biāo)記為“處理器”的功能塊，可通過(guò)使用專(zhuān)用硬件以及具有執(zhí)行軟件能力的硬件結(jié)合適當(dāng)?shù)能浖?lái)提供。當(dāng)由處理器提供時(shí)，所述功能可由單獨(dú)的專(zhuān)用處理器、單獨(dú)的共享處理器或部分獨(dú)立處理器被共享的多個(gè)獨(dú)立處理器來(lái)提供。此外，術(shù)語(yǔ)“處理器”或“控制器”的明確使用不應(yīng)被理解為涉及排除能執(zhí)行軟件的硬件，并且應(yīng)理解為其隱含地包括但不限于數(shù)字信號(hào)處理器(DSP)硬件、網(wǎng)絡(luò)處理器、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、用來(lái)存儲(chǔ)軟件的只讀存儲(chǔ)器(ROM)、隨機(jī)存儲(chǔ)器(RAM)以及非易失存儲(chǔ)器。其余常規(guī)和/或定制硬件設(shè)備也可包括在內(nèi)。類(lèi)似地，圖中示出的任何交換都是邏輯意義上的。其功能可能通過(guò)對(duì)程序邏輯的操作來(lái)執(zhí)行，也可能通過(guò)專(zhuān)用邏輯器件、或通過(guò)程序控制與專(zhuān)用邏輯器件的交互作用、甚至手動(dòng)來(lái)進(jìn)行執(zhí)行，具體實(shí)現(xiàn)方式可以由實(shí)施者依照其個(gè)人對(duì)上下文的理解來(lái)進(jìn)行選擇。
[0079]本領(lǐng)域技術(shù)人員可輕易認(rèn)識(shí)到多個(gè)上述方法的步驟可通過(guò)已編程的計(jì)算機(jī)執(zhí)行。此處，一些實(shí)施例還旨在覆蓋程序存儲(chǔ)設(shè)備，例如機(jī)器或計(jì)算機(jī)可讀并且編碼機(jī)器可執(zhí)行或計(jì)算機(jī)可執(zhí)行程序的指令的數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)媒介，其中所述指令執(zhí)行一些或全部所述上述方法的步驟。程序存儲(chǔ)設(shè)備可為，例如數(shù)字存儲(chǔ)器、磁性存儲(chǔ)媒介例如磁盤(pán)或磁帶、硬盤(pán)、或光可讀數(shù)字?jǐn)?shù)據(jù)存儲(chǔ)媒介。實(shí)施例還旨在覆蓋已編程的計(jì)算機(jī)以執(zhí)行上述方法的所述步驟。
【權(quán)利要求】
1.一種用于進(jìn)行視頻會(huì)議的方法，所述方法包括: -在終端的顯示器上形象化多個(gè)會(huì)議參與者的表現(xiàn)； -檢測(cè)所述終端的用戶的注視方向； -確定所述用戶與所述會(huì)議參與者中的第一會(huì)議參與者(UI)之間的第一觀察關(guān)系，所述會(huì)議參與者中的所述第一會(huì)議參與者(UI)通過(guò)對(duì)所述檢測(cè)到的注視方向與被形象化的表現(xiàn)中的當(dāng)前被觀察的表現(xiàn)之間進(jìn)行關(guān)聯(lián)而被識(shí)別；以及 -對(duì)所述會(huì)議參與者中的所述第一會(huì)議參與者(UI)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
2.如權(quán)利要求1所述的方法，進(jìn)一步包括: -獲取所述會(huì)議參與者中的所述第一會(huì)議參與者(Ul)與當(dāng)前正在被所述會(huì)議參與者中的所述第一會(huì)議參與者(Ul)觀察的所述會(huì)議參與者中的第二會(huì)議參與者(U2)之間的第~■觀察關(guān)系；并且 -如果所述會(huì)議參與者中的所述第二會(huì)議參與者(U2)不是所述用戶，對(duì)所述會(huì)議參與者中的所述第二會(huì)議參與者(U2)的所述表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
3.如權(quán)利要求2所述的方法，進(jìn)一步包括: -如果所述會(huì)議參與者中的所述第二會(huì)議參與者(U2)為所述用戶，發(fā)出發(fā)生相互注視的信號(hào)給所述用戶。
4.如權(quán)利要求2或3所述的方法，進(jìn)一步包括: -獲取所述會(huì)議參與者中的第三或第三組會(huì)議參與者(U3)與所述用戶之間的第三觀察關(guān)系；并且 -對(duì)所述會(huì)議參與者中的所述第三或第三組會(huì)議參與者(U3)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
5.如權(quán)利要求4所述的方法，其中區(qū)分包括施加第一修改類(lèi)型至除所述會(huì)議參與者中的所述第一會(huì)議參與者(Ul)和所述會(huì)議參與者中的所述第二會(huì)議參與者(U2)以外的所有會(huì)議參與者的所述表現(xiàn)，并且施加第二修改類(lèi)型至除所述會(huì)議參與者中的所述第一會(huì)議參與者(Ul)和所述會(huì)議參與者中的所述第三或第三組會(huì)議參與者(U3)以外的所有會(huì)議參與者的表現(xiàn)。
6.如權(quán)利要求5所述的方法，其中所述第一修改類(lèi)型和所述第二修改類(lèi)型為分辨率的降低和顏色版的縮減或者相反。
7.一種計(jì)算機(jī)程序，包括當(dāng)被執(zhí)行時(shí)執(zhí)行前述權(quán)利要求中任意之一的方法的軟件工具。
8.一種在根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法中使用的視頻會(huì)議服務(wù)器，所述服務(wù)器可被多個(gè)擁有目光注視追蹤裝置的終端可操作地連接并被安排轉(zhuǎn)播所述多個(gè)終端之間的音視頻饋送，所述服務(wù)器的特征在于被配置以根據(jù)獲取自所述目光注視追蹤裝置的觀察關(guān)系執(zhí)行所述視覺(jué)區(qū)分。
9.一種用于進(jìn)行視頻會(huì)議的終端，所述終端包括: -適用于形象化多個(gè)會(huì)議參與者的表現(xiàn)的顯示器； -目光注視追蹤裝置，配置為重復(fù)地檢測(cè)所述終端的用戶的注視方向；以及 -處理裝置，可操作地耦合至所述目光注視追蹤裝置，所述處理裝置被配置為確定所述用戶與所述會(huì)議參與者中的第一會(huì)議參與者(Ul)之間的第一觀察關(guān)系，所述會(huì)議參與者中的第一會(huì)議參與者(Ul)通過(guò)對(duì)所述檢測(cè)到的注視方向與所述形象化的表現(xiàn)中的當(dāng)前被觀察的表現(xiàn)之間進(jìn)行關(guān)聯(lián)而被識(shí)別； 所述終端被配置為對(duì)所述會(huì)議參與者中的所述第一會(huì)議參與者(UI)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
10.如權(quán)利要求9所述的終端，進(jìn)一步包括: -輸入接口，適于接收所述會(huì)議參與者中的所述第一會(huì)議參與者(Ui)與正在被所述會(huì)議參與者中的所述第一會(huì)議參與者(Ul)觀察的所述會(huì)議參與者中的第二會(huì)議參與者(U2)之間的第二觀察關(guān)系； 所述終端被配置為對(duì)所述會(huì)議參與者中的所述第二會(huì)議參與者(U2)的表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
11.如權(quán)利要求10所述的終端，進(jìn)一步包括相互注視指示器，所述終端被配置為如果所述會(huì)議參與者中的所述第二會(huì)議參與者(U2)為所述用戶，則激活所述相互注視指示器。
12.如權(quán)利要求10或權(quán)利要求11所述的終端，其中所述輸入接口進(jìn)一步適于接收所述會(huì)議參與者中的第三會(huì)議參與者(U3)與所述用戶之間的第三觀察關(guān)系，所述終端被配置為對(duì)所述會(huì)議參與者中的所述第三會(huì)議參與者(U3)的所述表現(xiàn)進(jìn)行視覺(jué)區(qū)分。
13.如權(quán)利要求12所述的終端，其中所述視覺(jué)區(qū)分通過(guò)施加第一修改類(lèi)型至除所述第一會(huì)議參與者(Ul)和所述第二會(huì)議參與者(U2)之外的所有會(huì)議參與者的表現(xiàn)以及施加第二修改類(lèi)型至除所述第一會(huì)議參與者(Ul)和所述第三會(huì)議參與者(U3)之外的所有會(huì)議參與者的所述表現(xiàn)來(lái)達(dá)成。
14.如權(quán)利要求13所述的終端，其中所述第一修改類(lèi)型和所述第二修改類(lèi)型為分辨率的降低和顏色版的縮減或者相反。
15.一種用于進(jìn)行視頻會(huì)議的系統(tǒng)，所述系統(tǒng)包括多個(gè)依照權(quán)利要求9-14中任一項(xiàng)所述的終端。
【文檔編號(hào)】G06F3/01GK104335575SQ201380016164
【公開(kāi)日】2015年2月4日 申請(qǐng)日期:2013年3月19日 優(yōu)先權(quán)日:2012年3月23日
【發(fā)明者】S·范布勒克 申請(qǐng)人:阿爾卡特朗訊公司