在虛擬會(huì)議中傳達(dá)注視信息的制作方法
【專(zhuān)利摘要】本發(fā)明提供了召開(kāi)虛擬會(huì)議的系統(tǒng)和方法。該方法包括向每個(gè)參與者提供多個(gè)節(jié)點(diǎn)的圖像;接收來(lái)自多個(gè)參與者的第一參與者的活動(dòng)節(jié)點(diǎn)選擇輸入,該活動(dòng)節(jié)點(diǎn)選擇輸入指示第一參與者選擇多個(gè)節(jié)點(diǎn)的哪一個(gè)作為活動(dòng)節(jié)點(diǎn)以便通信;以及修改提供給第一參與者的活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量,以便該活動(dòng)節(jié)點(diǎn)具有與指定給其它節(jié)點(diǎn)的第二圖像質(zhì)量不同的第一圖像質(zhì)量,其中該圖像質(zhì)量包括影響圖像的感覺(jué)清晰度的參數(shù)。還提供了通過(guò)相對(duì)于攝像機(jī)將參與者的注視引向屏幕的所選區(qū)域、從所希望角度獲取參與者的圖像的系統(tǒng)和方法。
【專(zhuān)利說(shuō)明】在虛擬會(huì)議中傳達(dá)注視信息
[0001]相關(guān)申請(qǐng)
[0002]本申請(qǐng)要求2012年4月11日提交、發(fā)明名稱為“在虛擬會(huì)議中傳達(dá)注視信息的改進(jìn)(Enhancements to Conveying Gaze Informat1n in Virtual Conference)的美國(guó)臨時(shí)申請(qǐng)第61/686,713號(hào)、和2013年3月15日提交、發(fā)明名稱為“在虛擬會(huì)議中傳達(dá)注視信息(Conveying Gaze Informat1n in Virtual Conference)的美國(guó)非臨時(shí)申請(qǐng)第13/842,658號(hào)的優(yōu)先權(quán)和利益,在此通過(guò)引用它們并入每一個(gè)的全文內(nèi)容。
【技術(shù)領(lǐng)域】
[0003]本公開(kāi)一般涉及虛擬會(huì)議,尤其涉及能夠傳達(dá)注視信息的虛擬會(huì)議。
【背景技術(shù)】
[0004]在過(guò)去的十年里具有視頻會(huì)議形式的虛擬會(huì)議已經(jīng)得到廣泛應(yīng)用。視頻會(huì)議為參與者不用真正聚到一起“開(kāi)會(huì)”提供了便利的方式。除了節(jié)省與旅行有關(guān)的時(shí)間和成本之夕卜,視頻會(huì)議是環(huán)保的,因?yàn)閼?yīng)該有助于避免不必要的駕駛和飛行。盡管有上述優(yōu)點(diǎn),但視頻會(huì)議目前沒(méi)有得到充分利用,人們?nèi)匀恍枰h(yuǎn)行去面對(duì)面開(kāi)會(huì)。這是因?yàn)樵S多人發(fā)現(xiàn)視頻會(huì)議是面對(duì)面開(kāi)會(huì)的不太好替代品。
[0005]視頻會(huì)議不令人滿意的原因之一是缺乏眼睛接觸和注視信息。研究表明,眼睛接觸的空間失真對(duì)視頻會(huì)議中的有效交流產(chǎn)生負(fù)面影響。會(huì)議參與者希望知道誰(shuí)正在關(guān)注誰(shuí)以及是否有人正在關(guān)注他們,缺乏這些信息使視頻會(huì)議對(duì)于許多人來(lái)說(shuō)是沒(méi)有人情味的,不舒服的和低效的。此外,缺乏眼睛注視信息甚至可以導(dǎo)致錯(cuò)誤交流。例如,在有許多人的視頻會(huì)議中,有時(shí)難以精確地分辨說(shuō)話者究竟在同誰(shuí)說(shuō)話。當(dāng)說(shuō)話者在漫長(zhǎng)的工作描述結(jié)束時(shí)問(wèn)道“你能勝任嗎? ”時(shí),許多人認(rèn)為他們的每一個(gè)都被問(wèn)到是否勝任該工作。這類(lèi)錯(cuò)誤交流的可能性導(dǎo)致人們避免經(jīng)由視頻會(huì)議進(jìn)行重要交流,迫使他們?nèi)ヂ眯小?br>
[0006]在理想情況下,視頻會(huì)議系統(tǒng)應(yīng)該使參與者可以相互交互,選擇他們想要關(guān)注誰(shuí)或什么,以及知道誰(shuí)正在與誰(shuí)交互。但是,大多數(shù)現(xiàn)有視頻會(huì)議系統(tǒng)沒(méi)有提供這樣的特征。而是,現(xiàn)有視頻會(huì)議系統(tǒng)通常以相同方式將視頻輸送給每個(gè)參與者,例如,通常以最大允許分辨率和幀速率。尤其,現(xiàn)有系統(tǒng)不允許參與者定制他們與其他參與者的交互,或觀看其他參與者之間的交互。其結(jié)果是,在現(xiàn)有視頻會(huì)議系統(tǒng)中參與者之間的交互受到限制。
[0007]盡管一些現(xiàn)有視頻會(huì)議系統(tǒng)可以根據(jù)參與者的活動(dòng)水平輸送參與者的視頻(例如,檢測(cè)某種語(yǔ)音水平,隨后將那個(gè)說(shuō)話者的視頻輸送給參與者),不過(guò)是視頻會(huì)議系統(tǒng)而不是參與者確定視頻的來(lái)源以及如何輸送那些視頻。更進(jìn)一步,當(dāng)幾個(gè)參與者同時(shí)說(shuō)話時(shí),可能引起混亂,因?yàn)橐曨l會(huì)議系統(tǒng)可能無(wú)法區(qū)分各種交流針對(duì)哪些個(gè)體。這使參與者難以確定誰(shuí)正在同誰(shuí)說(shuō)話(或誰(shuí)正在關(guān)注誰(shuí)),或另一個(gè)參與者正在關(guān)注什么。例如,當(dāng)?shù)谝粎⑴c者在說(shuō)“喂”時(shí),將相同的“喂”視頻輸送給其他參與者的終端,并以相同方法顯示在他們的屏幕上。其他參與者沒(méi)有一個(gè)可以肯定第一參與者實(shí)際上正在同誰(shuí)說(shuō)話。這種混亂使視頻會(huì)議不那么自然,因?yàn)閰⑴c者往往需要猜測(cè)交流的方向,這限制了視頻會(huì)議期間參與者之間的交互的水平。
[0008]這樣,需要一種能夠向參與者精確傳達(dá)注視信息的虛擬會(huì)議系統(tǒng)。
【發(fā)明內(nèi)容】
[0009]在一個(gè)方面中,本發(fā)明構(gòu)思涉及在多個(gè)節(jié)點(diǎn)之間召開(kāi)虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法,其中多個(gè)節(jié)點(diǎn)的一些或全部與虛擬會(huì)議中的多個(gè)參與者相聯(lián)系。該方法包括向每個(gè)參與者提供多個(gè)節(jié)點(diǎn)的圖像;接收來(lái)自多個(gè)參與者的第一參與者的活動(dòng)節(jié)點(diǎn)選擇輸入,該活動(dòng)節(jié)點(diǎn)選擇輸入指示第一參與者選擇多個(gè)節(jié)點(diǎn)的哪一個(gè)作為活動(dòng)節(jié)點(diǎn)以便通信;以及修改提供給第一參與者的活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量,以便該活動(dòng)節(jié)點(diǎn)具有與指定給其它節(jié)點(diǎn)的第二圖像質(zhì)量不同的第一圖像質(zhì)量,其中圖像質(zhì)量包括圖像的分辨率、亮度、對(duì)比度、銳度、色調(diào)、噪聲水平、和幀速率的至少一種。
[0010]在另一個(gè)方面中,本發(fā)明構(gòu)思涉及在多個(gè)節(jié)點(diǎn)之間召開(kāi)虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法,其中多個(gè)節(jié)點(diǎn)的一些或全部與包括第一參與者的多個(gè)參與者相聯(lián)系。該方法包括獲取第一參與者的正臉圖像;獲取第一參與者的側(cè)臉圖像;接收來(lái)自第一參與者的活動(dòng)節(jié)點(diǎn)選擇輸入,其指示第一參與者希望關(guān)注多個(gè)節(jié)點(diǎn)的哪一個(gè)以便通信;以及將第一參與者的正臉圖像發(fā)送給與所選活動(dòng)節(jié)點(diǎn)相對(duì)應(yīng)的多個(gè)節(jié)點(diǎn)之一,并將第一參與者的側(cè)臉圖像發(fā)送給多個(gè)節(jié)點(diǎn)的其它節(jié)點(diǎn)。
[0011]在又一個(gè)方面中,本發(fā)明構(gòu)思涉及在多個(gè)節(jié)點(diǎn)之間召開(kāi)虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法,其中多個(gè)節(jié)點(diǎn)的一些或全部與包括第一參與者的多個(gè)參與者相聯(lián)系。該方法包括接收來(lái)自第一參與者的活動(dòng)節(jié)點(diǎn)選擇輸入,其指示第一參與者希望看著多個(gè)節(jié)點(diǎn)的哪一個(gè);以及調(diào)整向第一參與者顯示的活動(dòng)節(jié)點(diǎn)的圖像相對(duì)于配置成捕獲第一參與者的圖像的攝像機(jī)的位置的放置,以便從所希望臉部角度捕獲第一參與者的圖像。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0012]圖ΙΑ、1B和1C描繪了依照本發(fā)明的虛擬會(huì)議系統(tǒng)的實(shí)施例;
[0013]圖2描繪了參與者1未關(guān)注任何節(jié)點(diǎn)時(shí)顯示在終端30-1上的示范性視圖;
[0014]圖3描繪了參與者1選擇節(jié)點(diǎn)4作為活動(dòng)節(jié)點(diǎn)之后顯示在終端30-1上的示范性視圖;
[0015]圖4描繪了參與者1將活動(dòng)節(jié)點(diǎn)改變成節(jié)點(diǎn)7之后顯示在終端30-1上的示范性視圖;
[0016]圖5描繪了參與者1將活動(dòng)節(jié)點(diǎn)改變成節(jié)點(diǎn)5之后顯示在終端30-1上的示范性視圖;
[0017]圖6描繪了參與者1正在關(guān)注參與者4,以及參與者4正在關(guān)注參與者7時(shí)顯示在終端30-1上的示范性視圖;
[0018]圖7描繪了按照第一實(shí)施例的終端上的攝像機(jī)布局的例子;
[0019]圖8描繪了按照第二實(shí)施例的終端上的攝像機(jī)布局的例子;
[0020]圖9描繪了按照第三實(shí)施例的終端上的攝像機(jī)布局的例子;
[0021]圖10例示了按照一些實(shí)施例區(qū)分活動(dòng)節(jié)點(diǎn)和非活動(dòng)對(duì)等節(jié)點(diǎn)的著色方案的使用;
[0022]圖11例示了按照一些實(shí)施例聚集節(jié)點(diǎn)群的節(jié)點(diǎn)集團(tuán)的使用;
[0023]圖12描繪了參與者I選擇第一節(jié)點(diǎn)集團(tuán)72作為臨時(shí)活動(dòng)節(jié)點(diǎn)之后顯示在終端30-1上的示范性視圖;
[0024]圖13描繪了參與者I從第一節(jié)點(diǎn)集團(tuán)72中選擇節(jié)點(diǎn)5作為活動(dòng)節(jié)點(diǎn)之后顯示在終端30-1上的示范性視圖;
[0025]圖14A描繪了節(jié)點(diǎn)7是活動(dòng)節(jié)點(diǎn)時(shí)顯示在終端30-1上的另一個(gè)示范性視圖;
[0026]圖15A描繪了參與者I選擇節(jié)點(diǎn)3作為活動(dòng)節(jié)點(diǎn)之后顯示在終端30_1上的示范性視圖;
[0027]圖14B和15B分別繪制了圖14A和15A的參與者之間的交互;
[0028]圖16A描繪了參與者I未關(guān)注任何節(jié)點(diǎn)時(shí)顯示在終端30-1上的另一個(gè)示范性視圖;
[0029]圖17A描繪了參與者I選擇節(jié)點(diǎn)7作為活動(dòng)節(jié)點(diǎn)之后顯示在終端30_1上的進(jìn)一步示范性視圖;
[0030]圖18A描繪了參與者I將活動(dòng)節(jié)點(diǎn)改變成節(jié)點(diǎn)3之后顯示在終端30-1上的進(jìn)一步示范性視圖;
[0031]圖19A描繪了參與者I正在關(guān)注參與者5,以及參與者5正在關(guān)注參與者7時(shí)顯示在終端30-1上的進(jìn)一步示范性視圖;
[0032]圖20A描繪了參與者I正在關(guān)注參與者5,以及參與者5正在關(guān)注參與者3時(shí)顯示在終端30-1上的進(jìn)一步示范性視圖;
[0033]圖21A描繪了參與者I和5正在相互關(guān)注時(shí)顯示在終端30_1上的進(jìn)一步示范性視圖;
[0034]圖168、178、188、198、2(?和218分別繪制了圖 16A、17A、18A、19A、20A 和 21A 的參與者之間的交互;
[0035]圖22A、23A、24A和25A分別例示了與圖16A、17A、18A和19A的那些類(lèi)似的實(shí)施例;
[0036]圖22B、23B、24B和25B分別繪制了圖22A、23A、24A和25A的參與者之間的交互;以及
[0037]圖26是按照一些實(shí)施例的虛擬會(huì)議過(guò)程的流程圖。
【具體實(shí)施方式】
[0038]本公開(kāi)涉及根據(jù)參與者的偏愛(ài)和選擇(具體地說(shuō),參與者想要關(guān)注誰(shuí)或什么)將信息輸送給虛擬會(huì)議中的參與者的方法和系統(tǒng)。該信息進(jìn)一步包括參與者的精確注視信息。盡管將以虛擬會(huì)議為背景描述本發(fā)明,但要明白的是,這不是限制本發(fā)明,本文公開(kāi)的構(gòu)思可以適用于像虛擬游戲或圖像顯示那樣的其它應(yīng)用。
[0039]可以不同程度地定義空間忠實(shí)性(spatial faithfulness)。借助于相互空間忠實(shí)性,參與者能夠看到是否還有其他人正在關(guān)注他們。借助于局部空間忠實(shí)性,參與者能夠分辨某人關(guān)注的一般方向。借助于整個(gè)空間忠實(shí)性,參與者能夠正確地感覺(jué)到某人關(guān)注的特定對(duì)象。本文公開(kāi)的這種發(fā)明構(gòu)思涉及通過(guò)如下步驟保持視頻會(huì)議中的空間忠實(shí)性:1)引導(dǎo)會(huì)議參與者的注視以捕獲反映每個(gè)參與者的注視信息的圖像;以及2)針對(duì)注視信息合成和顯示給會(huì)議參與者帶來(lái)真實(shí)感的視圖。
[0040]圖1A描繪了本發(fā)明的虛擬會(huì)議系統(tǒng)10。如本文所使用,“會(huì)議”旨在包括任何類(lèi)型的開(kāi)會(huì)或交流,不局限于正式商務(wù)會(huì)議?!疤摂M會(huì)議”旨在包括像視頻會(huì)議那樣,不要求參與者處在相同物理地點(diǎn)的任何類(lèi)型開(kāi)會(huì)或交流。如圖1A所示,虛擬會(huì)議系統(tǒng)10包括中央服務(wù)器20和多臺(tái)終端30。
[0041]中央服務(wù)器20可以包括萬(wàn)維網(wǎng)服務(wù)器、企業(yè)服務(wù)器、或任何其它類(lèi)型的計(jì)算機(jī)服務(wù)器,以及可以是被編程成接收來(lái)自計(jì)算設(shè)備的請(qǐng)求(例如,HTTP,或可以啟動(dòng)數(shù)據(jù)傳輸?shù)钠渌鼌f(xié)議)和利用請(qǐng)求的數(shù)據(jù)為計(jì)算設(shè)備服務(wù)的計(jì)算機(jī)。另外,中央服務(wù)器20可以是像免費(fèi)播送(free-to-air)、電纜、衛(wèi)星、和其它廣播設(shè)施那樣,用于分發(fā)數(shù)據(jù)的廣播設(shè)施。
[0042]終端30可以包括會(huì)議室系統(tǒng)、臺(tái)式計(jì)算機(jī)、膝上型電腦、平板電腦、智能電話、或能夠捕獲、顯示、和發(fā)送視頻數(shù)據(jù)和音頻數(shù)據(jù)的任何其它設(shè)備。每臺(tái)終端30都裝備了音頻和視頻輸入和輸出設(shè)備,每臺(tái)終端30都可能存在參與者?!皡⑴c者”可以是人、機(jī)器人、虛擬卡通人物、無(wú)生命物體等。終端30上的視頻輸入/輸出設(shè)備使參與者可以相互看見(jiàn)對(duì)方,終端30上的音頻輸入/輸出設(shè)備使參與者可以相互聽(tīng)見(jiàn)對(duì)方。終端30可以處在遠(yuǎn)程地理位置(例如,不同城市),但本發(fā)明不受此限制。
[0043]虛擬會(huì)議系統(tǒng)10可以包括多個(gè)節(jié)點(diǎn)。虛擬會(huì)議系統(tǒng)10中的每臺(tái)終端30對(duì)應(yīng)于一個(gè)“節(jié)點(diǎn)”。如果“終端30”后面跟著數(shù)字或字母,則意味著“終端30”對(duì)應(yīng)于共享相同數(shù)字或字母的節(jié)點(diǎn)。例如,如圖1A所示,終端30-1對(duì)應(yīng)于與參與者I相聯(lián)系的節(jié)點(diǎn)1,終端30-k對(duì)應(yīng)于與參與者k相聯(lián)系的節(jié)點(diǎn)k。
[0044]一個(gè)“節(jié)點(diǎn)”是虛擬會(huì)議系統(tǒng)10中的一個(gè)邏輯獨(dú)立實(shí)體。因此,虛擬會(huì)議系統(tǒng)10中的多個(gè)節(jié)點(diǎn)可以代表不同實(shí)體。例如,一個(gè)節(jié)點(diǎn)可以與一個(gè)會(huì)議參與者、一個(gè)投影屏幕、一張白板、一個(gè)空座位、或甚至一個(gè)空隙相聯(lián)系。一個(gè)節(jié)點(diǎn)也可以是來(lái)自另一個(gè)系統(tǒng)的視頻會(huì)議終端的模擬物,使使用不同系統(tǒng)的參與者可以參加同一會(huì)議。一個(gè)節(jié)點(diǎn)可以對(duì)應(yīng)于多個(gè)對(duì)象。例如,一個(gè)投影屏幕和一張白板可以共享同一節(jié)點(diǎn)。在這樣的情況下,一個(gè)會(huì)議參與者可以根據(jù)他的終端30選擇是否顯示投影屏幕和/或白板。但是,并非每個(gè)節(jié)點(diǎn)都對(duì)應(yīng)于一臺(tái)終端30。例如,白板節(jié)點(diǎn)可以是中央服務(wù)器20生成的板面。
[0045]參照?qǐng)D1A,中央服務(wù)器20與每臺(tái)終端30之間的雙向箭頭指示中央服務(wù)器20與每臺(tái)終端30之間的雙向數(shù)據(jù)傳送能力。終端30可以經(jīng)由中央服務(wù)器20相互通信。例如,可以向/從終端30和中央服務(wù)器20,以及在終端30之間發(fā)送視頻數(shù)據(jù)和音頻數(shù)據(jù)兩者。
[0046]中央服務(wù)器20收集來(lái)自每臺(tái)終端30的(視頻和/或音頻)數(shù)據(jù),并生成適當(dāng)定制視圖以便展示在每臺(tái)其它終端30上。取決于實(shí)施例以及如下面更詳細(xì)所述,該視圖是為每臺(tái)終端獨(dú)立定制的,可以保持相互、局部、和甚至整個(gè)空間忠實(shí)性和非語(yǔ)言線索。因此,會(huì)議中的交流的有效性可以類(lèi)似于面對(duì)面開(kāi)會(huì)中的有效性。
[0047]圖1B是虛擬會(huì)議系統(tǒng)10的另一個(gè)實(shí)施例,并且例示了中央服務(wù)器20不必是一個(gè)位置上的一個(gè)物理單元。中央服務(wù)器20通過(guò)它的處理能力來(lái)定義,因此可以是部分遠(yuǎn)離終端30和部分在終端30上。例如,如圖1B所示,除了中央服務(wù)器20之外,系統(tǒng)10可以進(jìn)一步包括處在各自終端(30-1、30-2、……、30-k)上的多個(gè)中央服務(wù)器(20-1、20-2、……、20-k)。
[0048]圖1C是虛擬會(huì)議系統(tǒng)10的又一個(gè)實(shí)施例。與采用客戶機(jī)-服務(wù)器架構(gòu)的圖1A和IB的實(shí)施例不同,圖1C的實(shí)施例采用終端30可以不通過(guò)中央服務(wù)器20地直接通信的對(duì)等通信信道。對(duì)等通信信道有助于利用網(wǎng)絡(luò)參與者(終端30)的資源(例如,帶寬、存儲(chǔ)空間、處理能力)減輕中央服務(wù)器20的負(fù)擔(dān)。盡管未明確示出,但可以將對(duì)等通信信道加入中央服務(wù)器20未處在一個(gè)地點(diǎn)的圖1B的實(shí)施例中。對(duì)等信道像在活動(dòng)節(jié)點(diǎn)不變的雙參與者會(huì)議中那樣,在某些狀況下可能是特別有用的。
[0049]本文公開(kāi)的發(fā)明構(gòu)圖涉及能夠從參與者收集精確注視信息的系統(tǒng)。該系統(tǒng)向每個(gè)參與者展示關(guān)注節(jié)點(diǎn)之一或選擇什么也不關(guān)注的選項(xiàng)。更具體地說(shuō),如果選擇了某個(gè)節(jié)點(diǎn),則除了活動(dòng)節(jié)點(diǎn)之外,該系統(tǒng)以低圖像質(zhì)量顯示該節(jié)點(diǎn)。如果參與者選擇了活動(dòng)節(jié)點(diǎn),則以高圖像質(zhì)量顯示活動(dòng)節(jié)點(diǎn),而仍然以低圖像質(zhì)量顯示其余節(jié)點(diǎn)。在給定時(shí)間只有一個(gè)節(jié)點(diǎn)可以被選為活動(dòng)節(jié)點(diǎn)。這樣,系統(tǒng)(例如,中央服務(wù)器20)能夠?qū)崟r(shí)監(jiān)視每個(gè)參與者在給定時(shí)間正在關(guān)注誰(shuí)。
[0050]系統(tǒng)還能夠向會(huì)議參與者傳達(dá)收集的注視信息。這種信息通過(guò)控制在終端30上顯示節(jié)點(diǎn)的方式來(lái)傳達(dá)。在一個(gè)實(shí)施例中,像著色和縮略圖那樣的可視線索被用于傳達(dá)對(duì)等參與者正在看著誰(shuí)的信息。在另一個(gè)實(shí)施例中,參與者的“正看著我”和“正看著別處”圖像與調(diào)整參與者在屏幕上的位置一起被用于傳達(dá)有關(guān)誰(shuí)正在看著誰(shuí)的信息。例如,提供參與者A的“正在向右看”的圖像以及動(dòng)態(tài)地將參與者B的圖像向參與者A的右側(cè)移動(dòng)將傳達(dá)參與者正在關(guān)注參與者B的信息。如本文所使用,正臉圖像對(duì)應(yīng)于參與者的“正看著我”圖像,側(cè)臉圖像對(duì)應(yīng)于參與者未正好沿著攝像機(jī)的方向看著的參與者的“正看著別處”圖像。
[0051]系統(tǒng)還通過(guò)動(dòng)態(tài)地調(diào)整屏幕上的圖像的布局引導(dǎo)參與者的注視。具體地說(shuō),系統(tǒng)將參與者的注視引導(dǎo)到攝像機(jī)附近的區(qū)域來(lái)捕獲“正看著我”圖像,而偏離攝像機(jī)地引起參與者的注視來(lái)捕獲“正看著別處”圖像。在利用多臺(tái)攝像機(jī)(真正成像設(shè)備)的實(shí)施例中,使活動(dòng)節(jié)點(diǎn)移動(dòng)到核心區(qū),因此核心攝像機(jī)將捕獲“正看著我”圖像,而非核心攝像機(jī)同時(shí)將捕獲“正看著別處”圖像。在利用單臺(tái)真正攝像機(jī)的實(shí)施例中,如果處在兩臺(tái)終端上的參與者將彼此選成他們的活動(dòng)節(jié)點(diǎn),則系統(tǒng)把活動(dòng)節(jié)點(diǎn)移動(dòng)了兩臺(tái)終端中的核心區(qū)。這樣,兩臺(tái)終端上的攝像機(jī)將捕獲兩個(gè)參與者的“正看著我”圖像,并相互發(fā)送它們,使參與者能夠建立眼睛接觸。
[0052]在兩個(gè)參與者建立了眼睛接觸的情況下,系統(tǒng)將活動(dòng)節(jié)點(diǎn)安排成捕獲相互交流的參與者的“正看著我”圖像。如果存在核心攝像機(jī)和非核心攝像機(jī),則第三參與者可以接收非核心攝像機(jī)捕獲的“正看著別處”圖像。但是,如果只存在正在拍攝“正看著我”圖像的一臺(tái)真正攝像機(jī),則即使未真正受到關(guān)注,第三參與者也將接收到“正看著我”圖像,因?yàn)橹慌臄z了一個(gè)圖像。為了避免誤導(dǎo)第三參與者認(rèn)為他正受到關(guān)注,可以對(duì)圖像作巧妙處理(例如,通過(guò)下面所述的圖8的算法D)。
[0053]在在任何參與者之間都未建立眼睛接觸(例如,參與者A正在看參與者B,參與者B正在關(guān)注參與者C)的情況下,不捕獲“正看著我”圖像。如果參與者A在他的終端上只有一臺(tái)攝像機(jī),則系統(tǒng)把參與者A的活動(dòng)節(jié)點(diǎn)移動(dòng)到非核心區(qū)(偏離攝像機(jī)),以便捕獲可以分發(fā)給其他參與者的參與者A的“正看著別處”圖像。在這種情況下,唯一未接收到精確圖像的參與者將是實(shí)際正被參與者A關(guān)注的參與者B。為了避免誤導(dǎo)參與者B,可以對(duì)圖像作巧妙處理來(lái)向正受到關(guān)注的參與者B傳達(dá)。
[0054]存在許多參與者可以選擇活動(dòng)節(jié)點(diǎn)的方法。預(yù)期有像人工介入、自動(dòng)檢測(cè)、或兩者的組合那樣的技術(shù)。人工介入包括參與者使用鼠標(biāo)點(diǎn)擊與節(jié)點(diǎn)相對(duì)應(yīng)的圖像或在觸摸屏上觸摸與節(jié)點(diǎn)相對(duì)應(yīng)的圖像來(lái)選擇節(jié)點(diǎn)。自動(dòng)檢測(cè)包括使用眼睛注視跟蹤方法或腦電波傳輸選擇節(jié)點(diǎn)?;顒?dòng)節(jié)點(diǎn)的選擇可以是視覺(jué)的、聽(tīng)覺(jué)的、或觸覺(jué)的。例如,來(lái)自參與者的活動(dòng)節(jié)點(diǎn)選擇輸入可以以任何方式接收,包括聲學(xué)、語(yǔ)音、腦電波、其它生理輸入、眼睛運(yùn)動(dòng)、手勢(shì)、身體運(yùn)動(dòng)、或觸覺(jué)輸入。
[0055]預(yù)期有許多向參與者傳達(dá)注視信息的技術(shù)。在一個(gè)實(shí)施例中,如下面,例如,參考圖14和15所更詳細(xì)描述,可以使用顏色編碼和縮略圖。在利用核心攝像機(jī)和非核心攝像機(jī)的實(shí)施例中,如下面參考圖2-6和10-13所更詳細(xì)描述,將參與者的注視引向核心攝像機(jī),使兩臺(tái)攝像機(jī)分別捕獲“正看著我”和“正看著別處”圖像。中央服務(wù)器20接收來(lái)自所有參與者的活動(dòng)節(jié)點(diǎn)選擇信息,并將正確圖像(正看著我與正看著別處)發(fā)送給每個(gè)參與者以便傳達(dá)正確信息。在利用單臺(tái)攝像機(jī)的另一個(gè)實(shí)施例(下面參考圖16-25所述)中,當(dāng)兩個(gè)參與者建立了眼睛接觸時(shí),將活動(dòng)節(jié)點(diǎn)的位置調(diào)整成捕獲“正看著我”圖像,并偏離未建立眼睛接觸的攝像機(jī)地動(dòng)態(tài)移動(dòng)活動(dòng)節(jié)點(diǎn)。為未從捕獲的圖像中接收到正確注視圖像的參與者對(duì)圖像作巧妙處理。顏色編碼和縮略圖可以用在上述實(shí)施例的任何一個(gè)上。
[0056]圖2描繪了按照本發(fā)明的一些實(shí)施例,如參與者I在會(huì)議期間所觀看,可以顯示在圖1的終端30-1上的視頻輸入和/輸出設(shè)備上的東西的例子。視頻輸入和/輸出設(shè)備可以包括像計(jì)算機(jī)顯示器或移動(dòng)電話、平板電腦等的顯示器那樣的顯示設(shè)備。顯示設(shè)備能夠顯示圖像,本文將顯示在顯示設(shè)備上的圖像的幀稱為“屏幕”?!皥D像”可以包括在會(huì)議中共享的視頻、照片、或數(shù)據(jù)文件(例如,PowerPoint?演示幻燈片、或書(shū)寫(xiě)在電子白板上的筆記)。
[0057]如圖2所示,屏幕40包括作為中央服務(wù)器20構(gòu)建的虛擬空間的會(huì)議區(qū)32。在會(huì)議區(qū)32中顯示會(huì)議中的節(jié)點(diǎn)的圖像。如圖2所示,在會(huì)議區(qū)32的頂部以圖塊狀配置排列節(jié)點(diǎn)2-8的圖像,這些節(jié)點(diǎn)按數(shù)字次序從左到右排列著。但是,節(jié)點(diǎn)的圖像的排列不局限于上述配置,而是可以以不同方式排序在會(huì)議區(qū)32內(nèi)。
[0058]在圖2的例子中,參與者I是主參與者,因?yàn)閰⑴c者I在終端30-1上?!爸鲄⑴c者”是正在他的顯示設(shè)備上觀看其它會(huì)議參與者的會(huì)議參與者。參與者2、3、4、7和8是對(duì)等參與者?!皩?duì)等參與者”是非主參與者的會(huì)議參與者。此外,如本文所使用,“對(duì)等參與者”指的是參與人,要與無(wú)生命物體(像投影屏幕那樣)區(qū)分開(kāi)。
[0059]如前所述,一個(gè)節(jié)點(diǎn)是虛擬會(huì)議系統(tǒng)10中的一個(gè)邏輯獨(dú)立實(shí)體,每個(gè)節(jié)點(diǎn)可以代表不同實(shí)體。參照?qǐng)D2,節(jié)點(diǎn)2、3、4、7和8對(duì)應(yīng)于對(duì)等參與者(分別是參與者2、3、4、7和8),節(jié)點(diǎn)5對(duì)應(yīng)于投影屏幕,以及節(jié)點(diǎn)6對(duì)應(yīng)于白板。節(jié)點(diǎn)I未顯示在會(huì)議區(qū)32中,因?yàn)閬?lái)自終端30-1的視圖被構(gòu)建成模擬如果參與者I正坐在物理空間中他可能看到的視圖。這樣,在這個(gè)特定實(shí)施例中,參與者I將不會(huì)在終端30-1上的顯示設(shè)備上看到他自己的圖像。同樣,其它終端上的主參與者也將不會(huì)在他們各自終端上的顯示設(shè)備上看到他們自己的圖像。例如,參與者2、3、7和8將不會(huì)分別在終端30-2、30-3、30-7和30_8上的顯示設(shè)備上看到他們自己的圖像。
[0060]在一些其它實(shí)施例中,主參與者可能能夠在他的終端的顯示設(shè)備上看到他自己的圖像。例如,在那些實(shí)施例中,主參與者可以在他的終端(例如,終端30)上的顯示設(shè)備上看到顯示在會(huì)議區(qū)(例如,會(huì)議區(qū)32)中的他自己的圖像。這使主參與者可以如其他參與者在會(huì)議期間在他們的終端上的顯示設(shè)備上所觀看地看到他自己的圖像。在一些情況下,顯示他自己的圖像可以向主參與者指示是否已將他的圖像適當(dāng)發(fā)送給其它節(jié)點(diǎn)。例如,如果主參與者的圖像無(wú)法顯示在他的終端上,則可能向主參與者指示主參與者的節(jié)點(diǎn)與其他參與者的節(jié)點(diǎn)之間的網(wǎng)絡(luò)連接喪失了。
[0061]接著,將描述并與現(xiàn)有視頻會(huì)議系統(tǒng)中的圖像的輸送對(duì)比按照一些實(shí)施例的節(jié)點(diǎn)的圖像的輸送。如前所述,現(xiàn)有視頻會(huì)議系統(tǒng)通常將相同質(zhì)量的圖像輸送給每個(gè)參與者。如本文所使用,“圖像質(zhì)量”旨在表示可以影響帶寬消耗和/或觀眾對(duì)最終圖像的感覺(jué)清晰度的參數(shù),包括但不限于顯示圖像的分辨率、幀速率、亮度、對(duì)比度、銳度、色調(diào)、和噪聲水平。因此,在存在“第一圖像質(zhì)量”和“第二圖像質(zhì)量”的情況下,兩種圖像質(zhì)量在分辨率、幀速率、亮度、對(duì)比度、銳度、色調(diào)、和噪聲水平的至少一種方面不同。這不同于參與者通常不能選擇如何輸送圖像和通常以最高可能質(zhì)量將圖像輸送給所有參與者的典型系統(tǒng)。本文公開(kāi)的發(fā)明構(gòu)思認(rèn)識(shí)到將高質(zhì)量圖像輸送給所有參與者未必都是必要的,有選擇地使用不同圖像質(zhì)量可以導(dǎo)致不損害用戶感受地使帶寬和網(wǎng)絡(luò)資源得到顯著節(jié)省。這是因?yàn)槿搜壑粚?duì)有限角度(“臨界角”)內(nèi)的形狀和圖像的細(xì)節(jié)高度敏感。當(dāng)參與者關(guān)注顯示屏幕上的圖像時(shí),圖像的豐富度和質(zhì)量通常在參與者臨界角的范圍內(nèi)最要緊。對(duì)于顯示在臨界角的范圍之外(即,在參與者的外圍視圖中)的圖像,那些外圍圖像的細(xì)節(jié)和質(zhì)量可能不特別要緊,因?yàn)樗鼈兛赡懿蝗菀妆粎⑴c者感覺(jué)到或欣賞到。
[0062]按照本發(fā)明的實(shí)施例可以使參與者選擇參與者想要關(guān)注的節(jié)點(diǎn)的圖像。這些實(shí)施例還可以通過(guò)根據(jù)參與者的偏愛(ài)和選擇調(diào)整或修改節(jié)點(diǎn)的圖像質(zhì)量解決上述帶寬擁擠問(wèn)題。例如,主參與者可以,例如,通過(guò)點(diǎn)擊或觸摸與節(jié)點(diǎn)相對(duì)應(yīng)的圖像選擇會(huì)議區(qū)32中的節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)。如本文所使用,“活動(dòng)節(jié)點(diǎn)”對(duì)應(yīng)于主參與者想要關(guān)注的節(jié)點(diǎn)。在選擇了節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)之后,可以將所選節(jié)點(diǎn)的圖像調(diào)整成與其它節(jié)點(diǎn)的圖像質(zhì)量(即,第二圖像質(zhì)量)不同的第一圖像質(zhì)量。在一個(gè)實(shí)施例中,第一圖像質(zhì)量高于第二圖像質(zhì)量(例如,具有相對(duì)較大尺寸、以較高分辨率、亮度、對(duì)比度、色調(diào)、銳度、和/或較低噪聲水平顯示)。在一些實(shí)施例中,可以“遮擋”以第二(較低)圖像質(zhì)量顯示的圖像或使其“變模糊”以降低感覺(jué)清晰度。下面將參考圖2、3和4描述上述圖像質(zhì)量參數(shù)的調(diào)整。
[0063]在圖2的例子中,參與者I還未選擇節(jié)點(diǎn)2-8的某一個(gè)作為活動(dòng)節(jié)點(diǎn)。如圖2所示,節(jié)點(diǎn)2-8的圖像質(zhì)量是相似的,因?yàn)檫@些圖像都是低質(zhì)量的(低分辨率、較低亮度、較低對(duì)比度、較低色調(diào)、較高噪聲水平、較小銳度、被遮擋、和/或低幀速率)。在這種特定狀況下,可以降低節(jié)點(diǎn)2-8的圖像質(zhì)量,因?yàn)閰⑴c者I未關(guān)注這些節(jié)點(diǎn)的任何一個(gè)。降低圖像質(zhì)量往往使帶寬和網(wǎng)絡(luò)資源得到節(jié)省。
[0064]在一些實(shí)施例中,可以在節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)之后自動(dòng)調(diào)整節(jié)點(diǎn)的圖像質(zhì)量和尺寸。如本文所使用,“自動(dòng)”指的是沒(méi)有特定用戶命令作出那么改變地進(jìn)行。圖3例示了在節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)之后調(diào)整節(jié)點(diǎn)的圖像質(zhì)量和尺寸的例子?;仡^參照?qǐng)D2的例子,假設(shè)參與者I想要關(guān)注節(jié)點(diǎn)4。如圖2所示,使節(jié)點(diǎn)4的圖像處在核心區(qū)34中。核心區(qū)34被定義成位于核心攝像機(jī)的附近區(qū)域內(nèi),以便當(dāng)參與者關(guān)注核心區(qū)時(shí),核心攝像機(jī)捕獲參與者的“正看著我”圖像的會(huì)議區(qū)32的一部分。非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像位于核心區(qū)34之外(即,當(dāng)參與者關(guān)注核心區(qū)時(shí),核心攝像機(jī)拍攝參與者的“正看著別處”圖像)。盡管節(jié)點(diǎn)4的圖像已經(jīng)位于核心區(qū)之內(nèi),但節(jié)點(diǎn)4的圖像質(zhì)量相對(duì)較低,具有與非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像相同的質(zhì)量。為了使參與者I可以將活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)4)與非活動(dòng)對(duì)等節(jié)點(diǎn)區(qū)分開(kāi),更清楚地看見(jiàn)它,可以相對(duì)于非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像質(zhì)量和尺寸提高和增大節(jié)點(diǎn)4的圖像質(zhì)量和尺寸。例如,在參與者1選擇了節(jié)點(diǎn)4作為活動(dòng)節(jié)點(diǎn)之后,圖3的屏幕42出現(xiàn)在終端30-1的顯示設(shè)備上。如圖3所示,使活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)4)的圖像以比非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)2、3、5、6、7和8)的圖像聞的質(zhì)量和大的尺寸再現(xiàn)。節(jié)點(diǎn)4的提聞的圖像質(zhì)量和增大的尺寸將節(jié)點(diǎn)4區(qū)分為活動(dòng)節(jié)點(diǎn),也使參與者1可以更清楚地看見(jiàn)節(jié)點(diǎn)4的圖像。
[0065]在一些實(shí)施例中,可以在節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)之后相應(yīng)地調(diào)整節(jié)點(diǎn)的位置。圖4例示了在節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)之后調(diào)整節(jié)點(diǎn)的位置的例子。位置調(diào)整依賴于節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)之前相對(duì)于核心區(qū)域的位置?;仡^參照?qǐng)D3的例子,假設(shè)參與者1想要關(guān)注處在核心區(qū)34之外的節(jié)點(diǎn)7??梢哉{(diào)整節(jié)點(diǎn)的位置以便節(jié)點(diǎn)7的圖像落在核心區(qū)34之內(nèi)。例如,在參與者1選擇了節(jié)點(diǎn)7作為活動(dòng)節(jié)點(diǎn)之后,圖4的屏幕44出現(xiàn)在終端30-1的顯示設(shè)備上。如圖4所示,由于參與者1想要關(guān)注節(jié)點(diǎn)7,所以核心區(qū)34中的節(jié)點(diǎn)4的圖像(在圖3中)現(xiàn)在被節(jié)點(diǎn)7的圖像(在圖4中)取代,從而如果參與者1關(guān)注節(jié)點(diǎn)7,則使核心攝像機(jī)拍攝參與者1的“正看著我”圖像和非核心攝像機(jī)拍攝參與者1的“正看著別處”圖像。如圖4進(jìn)一步所示,使活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)7)的圖像以比非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)2、3、4、5、6和8)的圖像高的質(zhì)量和大的尺寸再現(xiàn)。節(jié)點(diǎn)7的提高的圖像質(zhì)量和增大的尺寸將節(jié)點(diǎn)7區(qū)分為活動(dòng)節(jié)點(diǎn),也使參與者1可以更清楚地看見(jiàn)節(jié)點(diǎn)7的圖像。
[0066]應(yīng)當(dāng)容易懂得,如果圖2的例子(或任何可能屏幕配置)被用作起點(diǎn),節(jié)點(diǎn)圖像的上述位置、尺寸和質(zhì)量調(diào)整也適用。換句話說(shuō),如果圖2中的參與者1選擇節(jié)點(diǎn)7作為活動(dòng)節(jié)點(diǎn),則節(jié)點(diǎn)7的圖像將以提高的圖像質(zhì)量和增大的尺寸(相對(duì)于非活動(dòng)對(duì)等節(jié)點(diǎn))重新定位到核心區(qū)34,得出圖4的屏幕44。
[0067]在圖4的例子中,調(diào)整非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)2、3、4、5、6和8)的位置,以便節(jié)點(diǎn)的相對(duì)排列(從左到右)在切換了活動(dòng)節(jié)點(diǎn)(從圖3中的節(jié)點(diǎn)4到圖4中的節(jié)點(diǎn)7)之后保持相同。這保留了節(jié)點(diǎn)相對(duì)于彼此的空間關(guān)系。不過(guò),在一些其它實(shí)施例中,無(wú)需保留節(jié)點(diǎn)之間的空間關(guān)系,在節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)之后可以發(fā)生改變。
[0068]與圖3和4的例子類(lèi)似,圖5例示了調(diào)整被選為活動(dòng)節(jié)點(diǎn)的節(jié)點(diǎn)的圖像質(zhì)量、尺寸和位置的另一個(gè)例子?;仡^參照?qǐng)D4的例子,假設(shè)參與者1想要關(guān)注處在核心區(qū)34之外的節(jié)點(diǎn)5。節(jié)點(diǎn)5中的圖像可能對(duì)應(yīng)于PowerPoint?演示幻燈片。該演示可以被投影在投影屏幕上,或可以是參與者與其他參與者共享的數(shù)據(jù)文件??梢哉{(diào)整節(jié)點(diǎn)的位置以便使節(jié)點(diǎn)5的圖像重新定位到核心區(qū)34。例如,在參與者1選擇了節(jié)點(diǎn)5作為活動(dòng)節(jié)點(diǎn)之后,圖5的屏幕46出現(xiàn)在終端30-1的顯示設(shè)備上。如圖5所示,節(jié)點(diǎn)5的圖像位置被重新定位到核心區(qū)34,從而當(dāng)參與者關(guān)注節(jié)點(diǎn)5時(shí),使非核心攝像機(jī)拍攝參與者的“正看著別處”圖像。由于節(jié)點(diǎn)5的圖像尺寸大于核心區(qū)34,所以不能保證核心攝像機(jī)拍攝“正看著我”圖像。但是,不用擔(dān)心這種情況,因?yàn)楣?jié)點(diǎn)5代表無(wú)生命物體,使得無(wú)需將“正看著我”圖像發(fā)送給節(jié)點(diǎn)5。如圖5進(jìn)一步所示,使活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)5)的圖像以比非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)2、3、4、6、7和8)的圖像大的尺寸和高的質(zhì)量再現(xiàn)。節(jié)點(diǎn)5的提高的圖像質(zhì)量和增大的尺寸將節(jié)點(diǎn)5區(qū)分為活動(dòng)節(jié)點(diǎn),也使參與者1可以更清楚地看見(jiàn)節(jié)點(diǎn)5的圖像。將圖5與圖3和4相比較,可以觀察到,圖5中的節(jié)點(diǎn)5的圖像尺寸大于圖3和4中的活動(dòng)節(jié)點(diǎn)的圖像尺寸。這是因?yàn)楣?jié)點(diǎn)5的圖像包含文本和圖形,因此較大的圖像尺寸使參與者1可以更清楚地看見(jiàn)文本和圖形。
[0069]在一些實(shí)施例中,可以在節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)之后相應(yīng)地調(diào)整節(jié)點(diǎn)的圖像的質(zhì)量。圖3-5例示了在節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)之后調(diào)整節(jié)點(diǎn)的圖像質(zhì)量的例子。圖像質(zhì)量可以通過(guò)分辨率(即,像素的數(shù)量)和/或(視頻)幀速率確定。為了將活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量與非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像質(zhì)量區(qū)分開(kāi),可以相對(duì)于非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像質(zhì)量提高活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量。例如,可以按如下提高圖3、4和5的每一個(gè)中的活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量。參考圖3,活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)4)的圖像被顯示成以比非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)2、3、5、6、7和8)的圖像高的質(zhì)量再現(xiàn)。參考圖4,活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)7)的圖像被顯示成以比非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)5、6、8、2、3和4)的圖像高的質(zhì)量再現(xiàn)。參考圖5,活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)5)的圖像被顯示成以比非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)2、3、4、6、7和8)的圖像高的質(zhì)量再現(xiàn)。在上面例子的每一個(gè)中,活動(dòng)節(jié)點(diǎn)上的較高圖像質(zhì)量將活動(dòng)節(jié)點(diǎn)的圖像與非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像區(qū)分開(kāi)?;顒?dòng)節(jié)點(diǎn)上的較高圖像質(zhì)量使參與者I可以更清楚地看見(jiàn)活動(dòng)節(jié)點(diǎn)上的圖像,有助于將參與者I的注視引向顯示活動(dòng)節(jié)點(diǎn)的核心區(qū)。
[0070]通過(guò)改變每個(gè)節(jié)點(diǎn)的圖像質(zhì)量,可以節(jié)省帶寬和網(wǎng)絡(luò)資源。例如,可以將來(lái)自活動(dòng)節(jié)點(diǎn)的高質(zhì)量視頻輸送給主參與者,而可以從非活動(dòng)對(duì)等節(jié)點(diǎn)流出低質(zhì)量視頻(或低分辨率靜止圖像)。其結(jié)果是,可以節(jié)省以及更有效地利用網(wǎng)絡(luò)帶寬。相反,現(xiàn)有視頻會(huì)議系統(tǒng)消耗大量帶寬,因?yàn)樗麄兺ǔ?向所有節(jié)點(diǎn))輸送所有節(jié)點(diǎn)的高質(zhì)量視頻/圖像。
[0071]更進(jìn)一步,通過(guò)改變顯示在每個(gè)節(jié)點(diǎn)上的圖像質(zhì)量,主參與者可以將他的注意力集中在從活動(dòng)節(jié)點(diǎn)流出(顯示在核心區(qū)中)的高質(zhì)量視頻/圖像,而不是從非活動(dòng)對(duì)等節(jié)點(diǎn)流出(在核心區(qū)之外)的低質(zhì)量視頻/圖像。如前所述,上面顯示信息的方法與人們通常如何觀看和處理可視信息一致。顯示只來(lái)自活動(dòng)節(jié)點(diǎn)的高質(zhì)量視頻/圖像有助于將參與者的注視引向核心區(qū),以便核心攝像機(jī)可以捕獲參與者的“正看著我”圖像以及非核心攝像機(jī)可以捕獲參與者的“正看著別處”圖像。
[0072]接著,將描述將每個(gè)節(jié)點(diǎn)上的視頻轉(zhuǎn)碼成高質(zhì)量或低質(zhì)量。來(lái)自非活動(dòng)對(duì)等節(jié)點(diǎn)的視頻在發(fā)送給主參與者之前可以轉(zhuǎn)碼成低分辨率和/或低幀速率。轉(zhuǎn)碼成低分辨率和/或低幀速率可以降低發(fā)送視頻的帶寬要求。尤其,在每臺(tái)終端上通過(guò)降低來(lái)自非活動(dòng)對(duì)等節(jié)點(diǎn)的視頻的分辨率和/或幀速率可以顯著降低下載帶寬要求。帶寬的節(jié)省隨著虛擬會(huì)議中的終端的數(shù)量增加而變得顯而易見(jiàn)。在一些極端情況下,可以將非活動(dòng)對(duì)等節(jié)點(diǎn)顯示成靜止圖像。
[0073]每個(gè)節(jié)點(diǎn)上的視頻的轉(zhuǎn)碼可以在服務(wù)器(例如,中央服務(wù)器20)上或在終端(例如,終端30)上進(jìn)行??梢允褂萌魏芜m當(dāng)轉(zhuǎn)碼技術(shù)。
[0074]在一些實(shí)施例中,中央服務(wù)器20進(jìn)行轉(zhuǎn)碼。每臺(tái)終端30首先將高質(zhì)量視頻發(fā)送給中央服務(wù)器20。中央服務(wù)器20監(jiān)視每臺(tái)終端30上哪個(gè)節(jié)點(diǎn)(如果有的話)是活動(dòng)節(jié)點(diǎn)。例如,中央服務(wù)器20接收來(lái)自每臺(tái)終端上的主參與者的活動(dòng)節(jié)點(diǎn)選擇輸入,該活動(dòng)節(jié)點(diǎn)選擇輸入指示主參與者選擇多個(gè)節(jié)點(diǎn)的哪一個(gè)作為活動(dòng)節(jié)點(diǎn)以便通信。對(duì)于擁有選擇的活動(dòng)節(jié)點(diǎn)的每臺(tái)終端30,中央服務(wù)器20將所選活動(dòng)節(jié)點(diǎn)的高質(zhì)量視頻發(fā)送給終端30。為了節(jié)省帶寬,中央服務(wù)器20在將非活動(dòng)對(duì)等節(jié)點(diǎn)的低質(zhì)量視頻發(fā)送給終端30之前,將來(lái)自非活動(dòng)對(duì)等節(jié)點(diǎn)的高質(zhì)量視頻重新編碼成低質(zhì)量視頻。
[0075]在一些其它實(shí)施例中,終端30進(jìn)行轉(zhuǎn)碼。中央服務(wù)器20利用有關(guān)每個(gè)終端30上哪個(gè)節(jié)點(diǎn)是活動(dòng)節(jié)點(diǎn)的信息實(shí)時(shí)更新所有終端30。如果終端30已經(jīng)被至少一臺(tái)其它終端30選為活動(dòng)節(jié)點(diǎn),則終端30可以將高質(zhì)量視頻發(fā)送給中央服務(wù)器20。例如,如果終端30-2和30-5已經(jīng)選擇了終端30-1作為活動(dòng)節(jié)點(diǎn),則終端30-1可以將高質(zhì)量視頻發(fā)送給中央服務(wù)器20,中央服務(wù)器20然后將高質(zhì)量視頻(來(lái)自終端30-1)發(fā)送給終端30-2和30_5。相反,如果終端30-1未被任何其它終端30選為活動(dòng)節(jié)點(diǎn),則終端30-1可以只將低質(zhì)量視頻發(fā)送給中央服務(wù)器20
[0076]反映注視信息的屏幕顯示的動(dòng)態(tài)調(diào)整
[0077]如前所述,現(xiàn)有視頻會(huì)議系統(tǒng)缺乏有關(guān)參與者的眼睛接觸和注視信息。眼睛注視信息的缺乏可以導(dǎo)致參與者之間的錯(cuò)誤交流。例如,在有多人的視頻會(huì)議中,有時(shí)難以精確地分辨說(shuō)話者究竟在同誰(shuí)說(shuō)話。其結(jié)果是,可能引起注視混亂。
[0078]本發(fā)明的實(shí)施例可以通過(guò)動(dòng)態(tài)地調(diào)整反映活動(dòng)節(jié)點(diǎn)中的參與者的注視受體的顯示屏幕(例如,圖3的屏幕42),以便傳達(dá)精確注視信息來(lái)消除注視混亂。注視受體是活動(dòng)節(jié)點(diǎn)中的參與者正在關(guān)注的參與者(與另一個(gè)節(jié)點(diǎn)相聯(lián)系)。
[0079]參與者可以通過(guò)選擇對(duì)等參與者的節(jié)點(diǎn)作為它的活動(dòng)節(jié)點(diǎn)來(lái)獲取對(duì)等參與者的精確注視彳目息。在系統(tǒng)10的每臺(tái)終端30上,中央服務(wù)器20周期性地監(jiān)視來(lái)自每臺(tái)終端30的輸入并確定是否選擇了活動(dòng)節(jié)點(diǎn),以及活動(dòng)節(jié)點(diǎn)中的參與者正在關(guān)注哪個(gè)節(jié)點(diǎn)。例如,參考圖3,參與者I可以選擇節(jié)點(diǎn)4作活動(dòng)節(jié)點(diǎn),以獲取參與者4的精確注視信息。
[0080]注視信息一般可以分類(lèi)成兩個(gè)類(lèi)別:(I)對(duì)等參與者正在關(guān)注主參與者;以及(2)對(duì)等參與者正在關(guān)注除了主參與者之外的其他參與者。第一類(lèi)別中的注視信息可以通過(guò)引導(dǎo)對(duì)等參與者的注視,以便可以捕獲和向主參與者發(fā)送對(duì)等參與者的“正看著我”圖像地以更自然方式輸送。第二類(lèi)別中的注視信息可以通過(guò)首先引導(dǎo)對(duì)等參與者的注視,以便可以捕獲和向主參與者發(fā)送對(duì)等參與者的“正看著別處”圖像,然后以某種方式與來(lái)自目標(biāo)節(jié)點(diǎn)(對(duì)等參與者的活動(dòng)節(jié)點(diǎn))的圖像一起顯示“正看著別處”圖像,以便誘導(dǎo)主參與者認(rèn)為對(duì)等參與者正在關(guān)注目標(biāo)節(jié)點(diǎn)地以更自然方式輸送。下面將討論兩個(gè)類(lèi)別的例子。
[0081]在一些情況下,兩個(gè)參與者可以相互關(guān)注。在圖3的例子中,參與者I選擇了節(jié)點(diǎn)4作為活動(dòng)節(jié)點(diǎn)。參與者4又可以選擇節(jié)點(diǎn)I作為活動(dòng)節(jié)點(diǎn)。換句話說(shuō),參與者I和4相互關(guān)注。參與者I是節(jié)點(diǎn)4的注視受體,參與者4是節(jié)點(diǎn)I的注視受體。如圖3所示,屏幕42包括參與者4的正臉圖像(如終端4的核心攝像機(jī)所拍攝的參與者4的“正看著我”圖像),使得當(dāng)從終端30-1觀看時(shí),參與者4的眼睛接觸表現(xiàn)為被引向參與者I。同樣,終端30-4(未示出)上的屏幕將包括參與者I的正臉圖像(如終端I的核心攝像機(jī)所拍攝的參與者I的“正看著我”圖像),使得當(dāng)從終端30-4觀看時(shí),參與者I的眼睛接觸表現(xiàn)為被引向參與者4。其結(jié)果是,參與者I和4將產(chǎn)生與兩個(gè)參與者的意圖一致、他們相互關(guān)注的印象。
[0082]在其它情況下,第一參與者可能正在關(guān)注第二參與者,第二參與者又可能正在關(guān)注第三參與者。第三參與者可能正在關(guān)注第一參與者、第二參與者、或另一個(gè)參與者??商娲?,第三參與者可能不關(guān)注任何節(jié)點(diǎn)。隨后,這可以導(dǎo)致在參與者之間存在幾種水平的交互的會(huì)議環(huán)境。在圖6的例子中描繪了上面的情形。參照?qǐng)D6,參與者I選擇了節(jié)點(diǎn)4作為活動(dòng)節(jié)點(diǎn),并正在關(guān)注參與者4。但是,參與者4選擇了節(jié)點(diǎn)7作為活動(dòng)節(jié)點(diǎn),并正在關(guān)注參與者7。換句話說(shuō),參與者I正在關(guān)注參與者4,參與者4正在關(guān)注參與者7。這里,參與者7是節(jié)點(diǎn)4的注視受體,參與者4是節(jié)點(diǎn)I的注視受體。因此,參與者I正在關(guān)注參與者4,參與者4正在關(guān)注參與者7。
[0083]在圖6中從參與者1的觀點(diǎn)來(lái)看,節(jié)點(diǎn)4是活動(dòng)節(jié)點(diǎn),節(jié)點(diǎn)7是目標(biāo)節(jié)點(diǎn)。如本文所使用,“目標(biāo)節(jié)點(diǎn)”指的是主參與者的活動(dòng)節(jié)點(diǎn)的活動(dòng)節(jié)點(diǎn)。具體地說(shuō),目標(biāo)節(jié)點(diǎn)是活動(dòng)節(jié)點(diǎn)中的參與者正在關(guān)注的節(jié)點(diǎn)。在圖6的例子中,從參與者1的視角來(lái)看節(jié)點(diǎn)7是目標(biāo)節(jié)點(diǎn),因?yàn)閰⑴c者4 (參與者1的活動(dòng)節(jié)點(diǎn))正在關(guān)注參與者7。在參與者1選擇參與者4作為活動(dòng)節(jié)點(diǎn),參與者4選擇參與者1作為他的活動(dòng)節(jié)點(diǎn)(使得主參與者也是他的目標(biāo)節(jié)點(diǎn))的情況下,在參與者1和4之間建立了眼睛接觸(如圖3所示)。
[0084]如前面參考圖6所述,參與者1正在關(guān)注參與者4,參與者4正在關(guān)注參與者7。為了反映與參與者1和4有關(guān)的注視信息,可以使用一種或多種如下方法動(dòng)態(tài)地調(diào)整參與者的圖像的相對(duì)尺寸和取向。
[0085]為了調(diào)整參與者的圖像的相對(duì)尺寸,可以相對(duì)于非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像更突出地再現(xiàn)目標(biāo)節(jié)點(diǎn)的圖像。這可以,例如,通過(guò)以較大尺寸顯示目標(biāo)節(jié)點(diǎn)的圖像或通過(guò)改變目標(biāo)節(jié)點(diǎn)的圖像的亮度來(lái)進(jìn)行。例如,如圖6所示,使目標(biāo)節(jié)點(diǎn)(節(jié)點(diǎn)7)的圖像以比非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)2、3、5、6、和8)的圖像大的尺寸再現(xiàn),但保持比活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)4)的圖像小的尺寸。在一些實(shí)施例中,以第一圖像質(zhì)量再現(xiàn)活動(dòng)節(jié)點(diǎn),以第二圖像質(zhì)量再現(xiàn)非活動(dòng)對(duì)等節(jié)點(diǎn),以第三圖像質(zhì)量再現(xiàn)目標(biāo)節(jié)點(diǎn)。第一、第二、和第三圖像質(zhì)量可以在影響如觀看者所感覺(jué)的圖像的清晰度的因素的至少一種方面不同,包括但不限于圖像的分辨率、亮度、對(duì)比度、銳度、色調(diào)、噪聲水平、和幀速率。
[0086]為了調(diào)整參與者的圖像的取向,為顯示發(fā)送來(lái)自示出參與者的側(cè)臉圖像的非核心攝像機(jī)的“正看著別處”圖像,以便活動(dòng)節(jié)點(diǎn)上的圖像表現(xiàn)為面朝目標(biāo)節(jié)點(diǎn)的圖像的方向。例如,如圖6所示,如參與者4的“正看著別處”圖像所反映的節(jié)點(diǎn)4的相對(duì)取向產(chǎn)生如終端30-1上的參與者1所看到、參與者4正在關(guān)注參與者7的印象。具體地說(shuō),參與者4表現(xiàn)為面朝參與者7(目標(biāo)節(jié)點(diǎn))的方向。
[0087]在圖6的例子中,當(dāng)從終端30-4觀看時(shí),參與者4將在核心區(qū)中看到參與者7,使得非核心攝像機(jī)之一可以捕獲到參與者4的“正看著別處”圖像,并發(fā)送給終端30-1。當(dāng)從終端30-1觀看時(shí),參與者1將看到面朝參與者7的參與者4的圖像(如圖6所示)。因此,可以將有關(guān)虛擬會(huì)議中的每個(gè)參與者的精確注視信息傳達(dá)給所有參與者。應(yīng)當(dāng)注意到,參與者1只能獲得活動(dòng)節(jié)點(diǎn)的參與者(參與者4)的精確注視信息。如果參與者1想要找出另一個(gè)對(duì)等參與者(例如,參與者7)的注視信息,則參與者1將需要首先關(guān)注參與者7。
[0088]傳達(dá)精確注視信息的另一種方式是在終端30上的屏幕上為目標(biāo)節(jié)點(diǎn)指定特定區(qū)域。例如,每當(dāng)節(jié)點(diǎn)的圖像出現(xiàn)在特定區(qū)域中時(shí),參與者將能夠?qū)⑺R(shí)別為目標(biāo)節(jié)點(diǎn)。特定區(qū)域可以處在會(huì)議區(qū)32的左部和/或右部,可以具有相對(duì)于屏幕的核心區(qū)34和/或邊緣的預(yù)定空間關(guān)系。例如,如圖6所示,可以將特定區(qū)域36指定成離屏幕48的右邊緣近似屏幕長(zhǎng)度的1/4。當(dāng)節(jié)點(diǎn)7的圖像(具有調(diào)整后的圖像尺寸和取向)出現(xiàn)在特定區(qū)域36中時(shí),參與者1然后可以推斷節(jié)點(diǎn)7是目標(biāo)節(jié)點(diǎn)。
[0089]可以使用一臺(tái)或多臺(tái)攝像機(jī)動(dòng)態(tài)調(diào)整節(jié)點(diǎn)的圖像的取向。例如,可以使用核心攝像機(jī)和非核心攝像機(jī)。核心攝像機(jī)可以是能夠捕獲“正看著我”圖像的攝像機(jī),非核心攝像機(jī)可以對(duì)應(yīng)于能夠捕獲“正看著別處”圖像的攝像機(jī)。核心和非核心攝像機(jī)可以包括真正成像設(shè)備。
[0090]在一些實(shí)施例中,攝像機(jī)可以延伸到真正成像設(shè)備之外。例如,攝像機(jī)可以包括能夠生成圖像的任何機(jī)制或技術(shù)。在一些實(shí)施例中,核心和非核心攝像機(jī)可以指能夠處理從單個(gè)物理設(shè)備中獲得的圖像的兩種不同算法。經(jīng)過(guò)核心攝像機(jī)處理和隨后生成的圖像可以包括實(shí)際“正看著我”圖像或旨在給觀眾帶來(lái)“正看著我”印象的圖像。由非核心攝像機(jī)生成的圖像可以包括實(shí)際“正看著別處”圖像,或旨在給觀眾帶來(lái)“正看著別處”印象的圖像。以下將進(jìn)一步描述核心和非核心攝像機(jī)的實(shí)施例。
[0091]在顯示在圖7中的第一實(shí)施例中,核心攝像機(jī)可以包括從某個(gè)角度捕獲用戶的一個(gè)或多個(gè)圖像的真正成像設(shè)備(設(shè)備A),非核心攝像機(jī)可以包括從另一個(gè)不同角度捕獲用戶的一個(gè)或多個(gè)圖像的另一個(gè)真正成像設(shè)備(設(shè)備B)。如圖7所示,核心攝像機(jī)(設(shè)備A)可以捕獲用戶的正臉圖像50,而非核心攝像機(jī)(設(shè)備B)可以捕獲用戶的側(cè)臉圖像52。
[0092]在顯示在圖8中的第二實(shí)施例中,首先由真正成像設(shè)備(設(shè)備A)捕獲用戶的一個(gè)或多個(gè)圖像。核心攝像機(jī)可以是以某種方式巧妙處理圖像的技術(shù)(基于算法C)。非核心攝像機(jī)可以是以另一種方式巧妙處理圖像的另一種技術(shù)(基于算法D)。如圖8所示,設(shè)備A可以捕獲用戶的正臉圖像54,然后可以通過(guò)算法C和/或算法D巧妙處理用戶的正臉圖像54。例如,核心攝像機(jī)(使用算法C)可以不巧妙處理正臉圖像54地產(chǎn)生與正臉圖像54相對(duì)應(yīng)的圖像。非核心攝像機(jī)(使用算法D)可以通過(guò)相對(duì)于穿過(guò)正臉圖像54的中心的垂直軸轉(zhuǎn)動(dòng)或旋轉(zhuǎn)正臉圖像54產(chǎn)生側(cè)臉圖像58。如圖8所示,在側(cè)臉圖像58中用戶的頭部表現(xiàn)為稍轉(zhuǎn)向用戶的右側(cè)。
[0093]在顯示在圖9中的第三實(shí)施例中,首先根據(jù)真正成像設(shè)備(設(shè)備A)捕獲的用戶的一個(gè)或多個(gè)圖像構(gòu)建3-D模型。核心攝像機(jī)可以是使用3-D模型生成如從特定度觀看的圖像的技術(shù)(基于算法E)。非核心攝像機(jī)可以是使用相同3-D模型生成如從另一個(gè)不同角度觀看的圖像的另一種技術(shù)(基于算法F)。如圖9所示,設(shè)備A可以捕獲用戶的正臉圖像60。然后根據(jù)正臉圖像60構(gòu)建3-D模型62。接著,核心攝像機(jī)(使用算法E)根據(jù)3-D模型62生成用戶的正臉圖像64,而非核心攝像機(jī)(使用算法F)根據(jù)3-D模型62生成用戶的側(cè)臉圖像66。
[0094]在上述實(shí)施例的每一個(gè)中,用戶可以包括,例如,虛擬會(huì)議中的參與者。設(shè)備A和B可以處在每個(gè)終端(例如,終端30)的上方或上面??梢詫D像(50、52、54、56、58、60、64和66)以及3-D模型62存儲(chǔ)在終端上并進(jìn)一步發(fā)送給服務(wù)器(例如,中央服務(wù)器20)。服務(wù)器可以取決于參與者之間的取向和交互,相應(yīng)地將圖像發(fā)送給每臺(tái)終端。圖8和9中的算法C、D、E和F可以包括在存儲(chǔ)在終端和/或服務(wù)器上的計(jì)算機(jī)程序或軟件中。
[0095]創(chuàng)建傳達(dá)注視信息的可視線索
[0096]在一些實(shí)施例(例如,圖14和15的實(shí)施例)中,將可視線索實(shí)現(xiàn)成輸送注視信息的主要方式。但是,甚至在不依靠可視線索作為輸送注視信息的主要方式的其它實(shí)施例中(例如,在圖2-6、10-13和16-25的實(shí)施例中),也可以采用可視線索來(lái)補(bǔ)充傳送注視信息的其它方式。
[0097]除了動(dòng)態(tài)調(diào)整顯示以便示出顯示在活動(dòng)節(jié)點(diǎn)中的參與者的注視信息之外,也可以使用其它方法來(lái)傳達(dá)注視信息。例如,主參與者可能想知道誰(shuí)在注意活動(dòng)節(jié)點(diǎn)參與者,或?qū)ふ摇罢l(shuí)正在關(guān)注我”和“誰(shuí)正在關(guān)注我正在關(guān)注的東西”。上面的信息可以通過(guò)創(chuàng)建區(qū)分正在關(guān)注主參與者的那些參與者、和正在關(guān)注與主參與者相同的東西的那些參與者的可視效果來(lái)傳達(dá)。
[0098]著色是一種可以用于區(qū)分參與者的可視效果。例如,可以利用特定顏色(例如,粉紅色)的邊框示出選擇了主參與者作為他們的活動(dòng)節(jié)點(diǎn)的所有節(jié)點(diǎn)。會(huì)議區(qū)(例如,會(huì)議區(qū)32)的背景可以采用相同顏色(例如,粉紅色),顏色強(qiáng)度隨選擇主參與者作為他們的活動(dòng)節(jié)點(diǎn)的對(duì)等參與者的數(shù)量增加而增加。例如,如果沒(méi)有一個(gè)選擇主參與者作為活動(dòng)節(jié)點(diǎn),則主參與者終端的會(huì)議區(qū)32的背景可以是白色。當(dāng)一個(gè)對(duì)等參與者選擇主參與者作為活動(dòng)節(jié)點(diǎn)時(shí),主參與者終端的會(huì)議區(qū)的背景然后可以采用淺粉紅色。如果多個(gè)對(duì)等參與者選擇主參與者作為他們的活動(dòng)節(jié)點(diǎn),則會(huì)議區(qū)的背景顏色可以轉(zhuǎn)變成粉紅色的暗色相。
[0099]類(lèi)似地,可以利用另一種特定顏色(例如,綠色)的邊框示出選擇了與主參與者相同的活動(dòng)節(jié)點(diǎn)的節(jié)點(diǎn)。
[0100]上面的可視線索(著色方案)將參考圖10來(lái)描述。具體地,圖10示出了如何可以使用著色來(lái)傳達(dá)注視信息。圖10描繪了如參與者I在會(huì)議期間所觀看,可以顯示在圖1的終端30-1上的視頻輸入和輸出設(shè)備上的東西的例子。在圖10的例子中,參與者I選擇了節(jié)點(diǎn)4作為活動(dòng)節(jié)點(diǎn)。
[0101]參照?qǐng)D10,參與者2正在關(guān)注節(jié)點(diǎn)I (參與者I)。這導(dǎo)致了粉紅色邊框圍繞終端30-1上的屏幕68上節(jié)點(diǎn)2的圖像。會(huì)議區(qū)32的背景也轉(zhuǎn)變成淺粉紅色,以便通知參與者I “有人正在看著”(在這種情況下,參與者2正在關(guān)注參與者I)。同時(shí),參與者3和7可能選擇了與參與者I相同的活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)4)。這導(dǎo)致了綠色邊框圍繞屏幕68上節(jié)點(diǎn)3和7的圖像。盡管參與者8表現(xiàn)為正在關(guān)注他的右側(cè),但參與者8實(shí)際上未關(guān)注節(jié)點(diǎn)4。其結(jié)果是,在節(jié)點(diǎn)8的圖像上未再現(xiàn)可視效果(例如,綠色邊框)。
[0102]除了著色邊框之外,其它可視線索也可以為類(lèi)似的目的服務(wù)。例如,可以將不同顏色或模式應(yīng)用于與特定節(jié)點(diǎn)有關(guān)的任何顯示對(duì)象,以便使參與者可以推斷注視信息。顯示對(duì)象包括,例如,背景模式、陰影、邊框、標(biāo)記、標(biāo)志、圖塊等。在一些實(shí)施例中,可以將與特定節(jié)點(diǎn)的活動(dòng)節(jié)點(diǎn)相聯(lián)系的縮略圖或視頻顯示在那個(gè)特定節(jié)點(diǎn)的視頻內(nèi)或附近。
[0103]創(chuàng)建傳達(dá)注視信息的聲音效果
[0104]在一些實(shí)施例中,可以使用聲音來(lái)傳達(dá)注視信息。系統(tǒng)(例如,系統(tǒng)10)可以在每臺(tái)終端(例如,終端30)上連續(xù)監(jiān)視誰(shuí)正在關(guān)注誰(shuí)。每當(dāng)終端上的參與者選擇活動(dòng)節(jié)點(diǎn)(或新活動(dòng)節(jié)點(diǎn))時(shí),系統(tǒng)就檢測(cè)來(lái)自參與者的輸入選擇,并且可以在特定終端上產(chǎn)生某些聲音以便就有關(guān)新選擇警告參與者。例如,如果對(duì)等參與者想要關(guān)注參與者A,并選擇參與者A作為活動(dòng)節(jié)點(diǎn),則可以在終端A上簡(jiǎn)短地播放鈴聲,以便警告參與者A “有人剛剛把她的注意力轉(zhuǎn)移到你身上”。
[0105]節(jié)點(diǎn)集團(tuán)
[0106]在一些實(shí)施例中,可以創(chuàng)建節(jié)點(diǎn)集團(tuán)來(lái)表示一群節(jié)點(diǎn)。具體地說(shuō),將某些節(jié)點(diǎn)指定成一個(gè)群體,并用節(jié)點(diǎn)集團(tuán)表示該節(jié)點(diǎn)群。當(dāng)在會(huì)議中存在大量參與者時(shí),或當(dāng)所有節(jié)點(diǎn)的圖像在屏幕上的顯示受顯示器的尺寸限制(例如,在移動(dòng)電話顯示器上)時(shí),這種分組(或表不)是有用的。
[0107]在一些實(shí)施例中,如果節(jié)點(diǎn)集團(tuán)中沒(méi)有節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)或目標(biāo)節(jié)點(diǎn),則像常規(guī)節(jié)點(diǎn)那樣顯示節(jié)點(diǎn)集團(tuán)。節(jié)點(diǎn)集團(tuán)的例子將參考圖11、12和13來(lái)描述。
[0108]圖11描繪了如參與者I在會(huì)議期間所觀看,可以顯示在圖1的終端30-1上的視頻輸入和輸出設(shè)備上的東西的例子。如圖11所示,會(huì)議中的參與者包括第一節(jié)點(diǎn)集團(tuán)72(由節(jié)點(diǎn)2、3、4和5組成)和第二節(jié)點(diǎn)集團(tuán)74(由節(jié)點(diǎn)8、9、10、和11組成)。由于參與者1已經(jīng)選擇了節(jié)點(diǎn)6作為活動(dòng)節(jié)點(diǎn),所以第一節(jié)點(diǎn)集團(tuán)72和第二節(jié)點(diǎn)集團(tuán)74沒(méi)有任何作為(參與者1的)活動(dòng)節(jié)點(diǎn)的節(jié)點(diǎn)。此外,第一和第二節(jié)點(diǎn)集團(tuán)72/74中的八個(gè)節(jié)點(diǎn)(2-5和8-11)沒(méi)有一個(gè)是終端30-1上的目標(biāo)節(jié)點(diǎn)。其結(jié)果是,與非活動(dòng)對(duì)等節(jié)點(diǎn)的那些類(lèi)似地顯示第一節(jié)點(diǎn)集團(tuán)72和第二節(jié)點(diǎn)集團(tuán)74的圖像。如圖11所示,每個(gè)節(jié)點(diǎn)集團(tuán)72/74的圖像質(zhì)量與非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)7和12)的那些相同。
[0109]在一些實(shí)施例中,節(jié)點(diǎn)集團(tuán)的行為像非活動(dòng)對(duì)等節(jié)點(diǎn),直到從節(jié)點(diǎn)集團(tuán)中挑出一個(gè)節(jié)點(diǎn)。當(dāng)一個(gè)節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn)或目標(biāo)節(jié)點(diǎn)時(shí),從節(jié)點(diǎn)集團(tuán)中挑出該節(jié)點(diǎn)。為了選擇節(jié)點(diǎn)集團(tuán)中的一個(gè)節(jié)點(diǎn)作活動(dòng)節(jié)點(diǎn),參與者首先選擇節(jié)點(diǎn)集團(tuán)作為臨時(shí)活動(dòng)節(jié)點(diǎn)。臨時(shí)活動(dòng)節(jié)點(diǎn)的功能是幫助主參與者在作出是否從那些節(jié)點(diǎn)中選擇活動(dòng)節(jié)點(diǎn)的判定之前迅速瀏覽節(jié)點(diǎn)集團(tuán)中的節(jié)點(diǎn)。當(dāng)已經(jīng)選擇了節(jié)點(diǎn)集團(tuán)作為臨時(shí)活動(dòng)節(jié)點(diǎn)時(shí),節(jié)點(diǎn)集團(tuán)中的節(jié)點(diǎn)可以顯示在核心區(qū)中長(zhǎng)達(dá)預(yù)定時(shí)段。
[0110]圖12例示了節(jié)點(diǎn)集團(tuán)已經(jīng)被選為臨時(shí)活動(dòng)節(jié)點(diǎn)時(shí)所發(fā)生的事情的例子?;仡^參照?qǐng)D11的例子,假設(shè)參與者1選擇第一節(jié)點(diǎn)集團(tuán)72作為臨時(shí)活動(dòng)節(jié)點(diǎn)。但是,第一節(jié)點(diǎn)集團(tuán)72處在核心區(qū)34之外??梢哉{(diào)整節(jié)點(diǎn)的位置,以便第一節(jié)點(diǎn)集團(tuán)72的圖像落在核心區(qū)34之內(nèi)。例如,在參與者1選擇了第一節(jié)點(diǎn)集團(tuán)72作為臨時(shí)活動(dòng)節(jié)點(diǎn)之后,圖12中的屏幕76出現(xiàn)在終端30-1的顯示設(shè)備上。如圖12所示,第一節(jié)點(diǎn)集團(tuán)72的圖像被重新定位到核心區(qū)34。核心區(qū)34中的節(jié)點(diǎn)6的圖像(在圖11中)現(xiàn)在被第一節(jié)點(diǎn)集團(tuán)72的圖像(在圖12中)取代。如圖12進(jìn)一步所示,使第一節(jié)點(diǎn)集團(tuán)72的圖像以比非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)6、7、12,和第二節(jié)點(diǎn)集團(tuán)74)的圖像大的尺寸再現(xiàn)。增大的圖像尺寸將第一節(jié)點(diǎn)集團(tuán)72區(qū)分為臨時(shí)活動(dòng)節(jié)點(diǎn),也使參與者1可以更清楚地看見(jiàn)第一節(jié)點(diǎn)集團(tuán)72中的各個(gè)節(jié)點(diǎn)圖像。在一些實(shí)施例中,可以繼續(xù)以低質(zhì)量再現(xiàn)臨時(shí)活動(dòng)節(jié)點(diǎn)中的各個(gè)節(jié)點(diǎn)圖像以便節(jié)省帶寬。
[0111]圖13例示了在節(jié)點(diǎn)集團(tuán)處在臨時(shí)活動(dòng)節(jié)點(diǎn)狀態(tài)下的同時(shí),從節(jié)點(diǎn)集團(tuán)中選擇了一個(gè)節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)時(shí)所發(fā)生的事情的例子。回頭參照?qǐng)D12的例子,假設(shè)參與者1從第一節(jié)點(diǎn)集團(tuán)72中選擇了一個(gè)節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)。所選節(jié)點(diǎn)將被挑出,并以第一(例如,高)圖像質(zhì)量顯示在核心區(qū)34中,而第一節(jié)點(diǎn)集團(tuán)72 (排除了所選節(jié)點(diǎn))恢復(fù)到它的原始圖像尺寸(與非活動(dòng)對(duì)等節(jié)點(diǎn)類(lèi)似)。例如,在參與者1選擇了節(jié)點(diǎn)5作為活動(dòng)節(jié)點(diǎn)之后,圖13中的屏幕78出現(xiàn)在終端30-1的顯示設(shè)備上。如圖13所示,節(jié)點(diǎn)5(活動(dòng)節(jié)點(diǎn))的圖像以第一圖像質(zhì)量(例如,較高分辨率和較高幀速率)顯示在核心區(qū)34中,而非活動(dòng)對(duì)等節(jié)點(diǎn)和第一節(jié)點(diǎn)集團(tuán)72 (排除了節(jié)點(diǎn)5)如圖11所示以第二圖像質(zhì)量(較低分辨率和較低幀速率)顯示。
[0112]在一些實(shí)施例中,如果所選節(jié)點(diǎn)喪失它的活動(dòng)節(jié)點(diǎn)地位,則可以將該節(jié)點(diǎn)加回到原來(lái)所屬的節(jié)點(diǎn)集團(tuán)中。例如,如果圖13中的參與者1選擇另一個(gè)節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn),則節(jié)點(diǎn)5將喪失它的活動(dòng)節(jié)點(diǎn)地位。隨后,將節(jié)點(diǎn)5加回到節(jié)點(diǎn)5原來(lái)所屬的第一節(jié)點(diǎn)集團(tuán)72中。如果未從第一節(jié)點(diǎn)集團(tuán)72中選擇新活動(dòng)節(jié)點(diǎn),則第一節(jié)點(diǎn)集團(tuán)72恢復(fù)到它如圖11所示的原始外觀。如果從第一節(jié)點(diǎn)集團(tuán)72中選擇新活動(dòng)節(jié)點(diǎn),則節(jié)點(diǎn)5的圖像(在核心區(qū)34中)將相應(yīng)地被新活動(dòng)節(jié)點(diǎn)的圖像取代。
[0113]圖13還例示了從節(jié)點(diǎn)集團(tuán)中選擇的目標(biāo)節(jié)點(diǎn)。如前所述,當(dāng)一個(gè)節(jié)點(diǎn)被選為目標(biāo)節(jié)點(diǎn)時(shí),也從節(jié)點(diǎn)集團(tuán)中挑出該節(jié)點(diǎn)。如果節(jié)點(diǎn)集團(tuán)中的節(jié)點(diǎn)之一被選為目標(biāo)節(jié)點(diǎn),則該目標(biāo)節(jié)點(diǎn)將被挑出,并與常規(guī)目標(biāo)節(jié)點(diǎn)(例如,圖6的節(jié)點(diǎn)7)類(lèi)似地顯示,而節(jié)點(diǎn)集團(tuán)(排除了目標(biāo)節(jié)點(diǎn))恢復(fù)到它的原始圖像尺寸和質(zhì)量(與非活動(dòng)對(duì)等節(jié)點(diǎn)類(lèi)似)。除了活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)5)之外,圖13還示出目標(biāo)節(jié)點(diǎn)(節(jié)點(diǎn)11)。換句話說(shuō),節(jié)點(diǎn)11是節(jié)點(diǎn)5的活動(dòng)節(jié)點(diǎn),參與者5正在關(guān)注參與者11。在圖13的例子中,從第二節(jié)點(diǎn)集團(tuán)74中挑出并顯示節(jié)點(diǎn)11,使得參與者I可以推斷參與者5 (活動(dòng)節(jié)點(diǎn))正在關(guān)注參與者11 (目標(biāo)節(jié)點(diǎn))。這是因?yàn)楣?jié)點(diǎn)11的圖像尺寸被再現(xiàn)成大于其它非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像尺寸,以及參與者5的眼睛接觸表現(xiàn)為被引向參與者11。此外,節(jié)點(diǎn)11的圖像處在目標(biāo)節(jié)點(diǎn)區(qū)36中,因此參與者I將認(rèn)識(shí)到節(jié)點(diǎn)11是目標(biāo)節(jié)點(diǎn)。第二節(jié)點(diǎn)集團(tuán)(排除了節(jié)點(diǎn)11)的圖像繼續(xù)與非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)6、7、12、和第一節(jié)點(diǎn)集團(tuán)72)的圖像類(lèi)似地顯示。
[0114]在一些實(shí)施例中,如果挑出的節(jié)點(diǎn)喪失其作為目標(biāo)節(jié)點(diǎn)的地位,則將該節(jié)點(diǎn)加回到原來(lái)所屬的節(jié)點(diǎn)集團(tuán)中。例如,如果圖13中的參與者5選擇另一個(gè)節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn),則節(jié)點(diǎn)11將喪失它的目標(biāo)節(jié)點(diǎn)地位。隨后,將節(jié)點(diǎn)11加回到節(jié)點(diǎn)11原來(lái)所屬的第二節(jié)點(diǎn)集團(tuán)74中。如果未從第二節(jié)點(diǎn)集團(tuán)74中選擇新目標(biāo)節(jié)點(diǎn),則第二節(jié)點(diǎn)集團(tuán)74恢復(fù)到它如圖11所示的外觀。如果從第二節(jié)點(diǎn)集團(tuán)74中選擇了新目標(biāo)節(jié)點(diǎn),則節(jié)點(diǎn)11的圖像(在目標(biāo)節(jié)點(diǎn)區(qū)36中)將相應(yīng)地被新目標(biāo)節(jié)點(diǎn)的圖像取代。
[0115]如前所述,當(dāng)節(jié)點(diǎn)集團(tuán)被選為臨時(shí)活動(dòng)節(jié)點(diǎn)時(shí),可以將節(jié)點(diǎn)集團(tuán)中的節(jié)點(diǎn)顯示在核心區(qū)中長(zhǎng)達(dá)預(yù)定時(shí)段(例如,兩秒)。但是,如果主參與者在預(yù)定時(shí)段內(nèi)未選擇任何節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)(或如果不存在來(lái)自節(jié)點(diǎn)集團(tuán)的目標(biāo)節(jié)點(diǎn)),則屏幕將恢復(fù)到選擇節(jié)點(diǎn)集團(tuán)作為臨時(shí)活動(dòng)節(jié)點(diǎn)之前的狀況。有效的是,節(jié)點(diǎn)集團(tuán)在預(yù)定時(shí)段結(jié)束時(shí)喪失其作為臨時(shí)活動(dòng)節(jié)點(diǎn)的地位,恢復(fù)到它的原始圖像尺寸和質(zhì)量(與非活動(dòng)對(duì)等節(jié)點(diǎn)類(lèi)似)。在預(yù)定時(shí)段期間,如果主參與者未選擇節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn),則服務(wù)器(例如,中央服務(wù)器20)將不自動(dòng)指定節(jié)點(diǎn)集團(tuán)中的所有節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)。這使將多個(gè)注視受體指定給單臺(tái)終端可能引起的混亂降到最低程度。在圖12的例子中,如果參與者I在預(yù)定時(shí)段內(nèi)未從第一節(jié)點(diǎn)集團(tuán)72中選擇任何節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn),或如果在預(yù)定時(shí)段期間不存在來(lái)自第一節(jié)點(diǎn)集團(tuán)72和/或第二節(jié)點(diǎn)集團(tuán)74的目標(biāo)節(jié)點(diǎn),則圖12中的屏幕76然后將恢復(fù)到顯示在圖11中的屏幕70。
[0116]利用靜態(tài)屏幕顯示傳達(dá)注視信息
[0117]本發(fā)明不局限動(dòng)態(tài)調(diào)整屏幕顯示以便向會(huì)議中的參與者展示注視信息。在一些實(shí)施例中,可以在視頻會(huì)議系統(tǒng)從所有終端接收到“誰(shuí)要求關(guān)注什么”信息之后以靜態(tài)顯示展示信息。如前所述,在一些實(shí)施例中,主參與者可以在他的終端(例如,終端30)上的屏幕上看到顯示在會(huì)議區(qū)(例如,會(huì)議區(qū)32)中的他自己的圖像。這使主參與者可以如其他參與者在會(huì)議期間在他們的終端上所觀看地看到他自己的圖像。
[0118]在一些實(shí)施例中,可以將與節(jié)點(diǎn)X的活動(dòng)節(jié)點(diǎn)(例如,節(jié)點(diǎn)Y)相聯(lián)系的縮略圖或視頻顯示在節(jié)點(diǎn)X的視頻內(nèi)或附近。這樣,系統(tǒng)(例如,系統(tǒng)10)不用改變屏幕上的節(jié)點(diǎn)的相對(duì)位置地使參與者可以知道誰(shuí)正在關(guān)注什么或誰(shuí)。圖14A、14B、15A和15B例示了依照上述實(shí)施例,根據(jù)按需輸送模型,使用靜態(tài)屏幕顯示傳達(dá)的注視信息。
[0119]圖14A描繪了如參與者I在會(huì)議期間所觀看,可以顯示在圖1的終端30-1上的視頻輸入和輸出設(shè)備上的東西的例子。在圖14A的例子中,參與者I是主參與者,參與者2、3、4、5和6是對(duì)等參與者。節(jié)點(diǎn)2、3、4、5和6對(duì)應(yīng)于對(duì)等參與者(分別是參與者2、3、4、5和6),以及節(jié)點(diǎn)7對(duì)應(yīng)于幻燈片演示。
[0120]如圖14A所示,屏幕80包括會(huì)議區(qū)32,以及在會(huì)議區(qū)32中顯示會(huì)議中的節(jié)點(diǎn)的圖像。會(huì)議區(qū)32包括區(qū)域82和84。區(qū)域82是為對(duì)等參與者的圖像或視頻分配的,區(qū)域84是為幻燈片、白板等分配的。如圖14A所示,節(jié)點(diǎn)7的圖像處在區(qū)域84中。節(jié)點(diǎn)7的圖像可以對(duì)應(yīng)于PowerPoint?演示幻燈片。該演示可以被投影在投影屏幕上,或可以是參與者與其他參與者共享的文件。
[0121]圖14A還示出了以圖塊狀(“L”形狀)配置排列在區(qū)域82中的節(jié)點(diǎn)2_6 (對(duì)等參與者2-6)的圖像,這些節(jié)點(diǎn)按數(shù)字次序從左上角到右下角排列著??s略圖處在每個(gè)節(jié)點(diǎn)圖像的右下角上,該縮略圖對(duì)應(yīng)于(那個(gè)節(jié)點(diǎn)圖像的)參與者正在關(guān)注的另一個(gè)節(jié)點(diǎn)。例如,在節(jié)點(diǎn)6的右下角上的節(jié)點(diǎn)I的縮略圖指示參與者6正在關(guān)注參與者I。
[0122]在按照一些實(shí)施例的按需輸送裝置中,每次只有一個(gè)節(jié)點(diǎn)圖像可以高質(zhì)量顯示,而不是同時(shí)高質(zhì)量顯示所有節(jié)點(diǎn)圖像。在圖14A的例子中,參與者I想要關(guān)注節(jié)點(diǎn)7(幻燈片)并選擇了節(jié)點(diǎn)7作為活動(dòng)節(jié)點(diǎn)。隨后,將節(jié)點(diǎn)7中的幻燈片圖像高質(zhì)量地顯示在區(qū)域84中,而將非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像低質(zhì)量地顯示在區(qū)域82中。
[0123]如前所述,中央服務(wù)器20可以監(jiān)視每臺(tái)終端30上哪個(gè)節(jié)點(diǎn)(如果有的話)是活動(dòng)節(jié)點(diǎn)。在圖14A的例子中,中央服務(wù)器20監(jiān)視終端30-1到30-6,并接收有關(guān)在這些終端30的每一臺(tái)上哪個(gè)節(jié)點(diǎn)是活動(dòng)節(jié)點(diǎn)的信息。中央服務(wù)器20然后通過(guò)每個(gè)節(jié)點(diǎn)圖像的右下角上的縮略圖傳達(dá)這種信息。在圖14A的例子中,假設(shè)參與者2和5正在關(guān)注節(jié)點(diǎn)7 (幻燈片),參與者3和6正在關(guān)注節(jié)點(diǎn)I (參與者I),以及參與者4正在關(guān)注節(jié)點(diǎn)3 (參與者3)。如圖14A所示,節(jié)點(diǎn)2和5的圖像的右下角上的節(jié)點(diǎn)7的縮略圖指示參與者2和5正在關(guān)注幻燈片;節(jié)點(diǎn)4的圖像的右下角上的節(jié)點(diǎn)3的縮略圖指示參與者4正在關(guān)注參與者3 ;以及節(jié)點(diǎn)3和6的圖像的右下角上的節(jié)點(diǎn)I的縮略圖指示參與者3和6正在關(guān)注參與者I。
[0124]在一些實(shí)施例中,可以高質(zhì)量地顯示主參與者在他的終端上的縮略圖,而低質(zhì)量地顯示對(duì)等參與者的縮略圖。這使主參與者可以在他的終端上高質(zhì)量地看見(jiàn)他自己的(縮略)圖像。例如,如圖14A所示,高質(zhì)量顯示節(jié)點(diǎn)I (終端30-1上的主參與者)的縮略圖,而低質(zhì)量地顯示節(jié)點(diǎn)3 (對(duì)等參與者)的縮略圖。遮擋節(jié)點(diǎn)7的縮略圖并表示成“幻燈片”。
[0125]圖14B描繪了例示圖14A中的參與者的注視信息的另一種方式。具體地說(shuō),圖14B示出了每臺(tái)終端上的主參與者正在關(guān)注誰(shuí)或什么,并繪制參與者之間的交互。與圖14A不同,圖14B是會(huì)議的系統(tǒng)級(jí)描繪。因此,圖14B還包括作為圖14A中的主參與者的參與者I。
[0126]圖15A例示了當(dāng)參與者I選擇另一個(gè)節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)時(shí)所發(fā)生的事情。回頭參照?qǐng)D14A的例子,假設(shè)參與者I想要關(guān)注參與者3。在參與者I選擇了節(jié)點(diǎn)3作為活動(dòng)節(jié)點(diǎn)之后,圖15A的屏幕86出現(xiàn)在終端30-1的顯示設(shè)備上。如圖15A所示,區(qū)域84中的幻燈片(節(jié)點(diǎn)7)現(xiàn)在被文字“幻燈片”遮擋(并且變成灰色),以阻止參與者I關(guān)注幻燈片,而從終端3輸送并在區(qū)域82中顯示參與者3 (節(jié)點(diǎn)3)的高質(zhì)量圖像。同時(shí),自動(dòng)更新對(duì)等參與者的終端30的屏幕,以反映參與者I的新活動(dòng)節(jié)點(diǎn)選擇。例如,在那些屏幕(未示出)的每一個(gè)中,節(jié)點(diǎn)I的圖像的右下角上的節(jié)點(diǎn)7的縮略圖將變成節(jié)點(diǎn)3的縮略圖,以指示參與者I已將他的注意力從節(jié)點(diǎn)7轉(zhuǎn)移到節(jié)點(diǎn)3。
[0127]圖15B描繪了例示圖15A中的參與者的注視信息的另一種方式。具體地說(shuō),圖15B示出了每臺(tái)終端上的主參與者正在關(guān)注誰(shuí)或什么,并繪制參與者之間的交互。將圖15B與圖14B相比較,可以觀察到參與者1已將他的注意力從節(jié)點(diǎn)7轉(zhuǎn)移到節(jié)點(diǎn)3。
[0128]在一些實(shí)施例中,只有一個(gè)縮略圖顯示在會(huì)議區(qū)32中,與活動(dòng)節(jié)點(diǎn)相對(duì)應(yīng)的節(jié)點(diǎn)的圖像的右下角上。為了看見(jiàn)另一個(gè)節(jié)點(diǎn)(例如,節(jié)點(diǎn)X)正在關(guān)注什么,主參與者不得不選擇節(jié)點(diǎn)X作為活動(dòng)節(jié)點(diǎn)。隨后,可以改變縮略圖以反映活動(dòng)節(jié)點(diǎn)的切換。例如,可以將圖15A修改成描述上面的實(shí)施例。在圖15A的修改形式中,只有節(jié)點(diǎn)1的縮略圖顯示在節(jié)點(diǎn)3(活動(dòng)節(jié)點(diǎn))的右下角上,而非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像將不顯示任何縮略圖。如果參與者1想要看見(jiàn)參與者5正在關(guān)注什么,則參與者1不得不將活動(dòng)節(jié)點(diǎn)從節(jié)點(diǎn)3切換到節(jié)點(diǎn)5。在節(jié)點(diǎn)5被選為新活動(dòng)節(jié)點(diǎn)之后,節(jié)點(diǎn)3的圖像的右下角上的節(jié)點(diǎn)1的縮略圖將消失。取而代之,節(jié)點(diǎn)7的縮略圖將出現(xiàn)在節(jié)點(diǎn)5的圖像的右下角上,這向參與者1指示參與者5正在關(guān)注幻燈片(節(jié)點(diǎn)7)。其結(jié)果是,參與者1可以選擇不同節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn),以找出那些節(jié)點(diǎn)上的參與者正在關(guān)注誰(shuí)(或什么)。同樣,會(huì)議中的對(duì)等參與者可以在他們各自終端30上做相同事情。上面所述的實(shí)施例可以鼓勵(lì)參與者在會(huì)議期間“探索”和關(guān)注其它節(jié)點(diǎn),并導(dǎo)致更親密的視頻會(huì)議感受。
[0129]在一些其它實(shí)施例中,只有當(dāng)滿足某些準(zhǔn)則時(shí),才有選擇地在會(huì)議區(qū)32中顯示縮略圖。例如,非活動(dòng)對(duì)等節(jié)點(diǎn)可以擁有與無(wú)生命物體(例如,Power-Point?演示幻燈片)或?qū)Φ葏⑴c者相聯(lián)系的活動(dòng)節(jié)點(diǎn)。如果非活動(dòng)對(duì)等節(jié)點(diǎn)的活動(dòng)節(jié)點(diǎn)與無(wú)生命物體相聯(lián)系,則主參與者將看見(jiàn)顯示在非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像的右下角上的無(wú)生命物體的縮略圖。但是,如果非活動(dòng)對(duì)等節(jié)點(diǎn)的活動(dòng)節(jié)點(diǎn)與對(duì)等參與者相聯(lián)系,則不在非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像的右下角上顯示對(duì)等參與者的縮略圖。為了將對(duì)等參與者的縮略圖顯示在非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像的右下角上,主參與者不得不首先選擇非活動(dòng)對(duì)等節(jié)點(diǎn)作為主參與者的活動(dòng)節(jié)點(diǎn)。
[0130]注意,當(dāng)與圖6的實(shí)施例比較時(shí),利用靜態(tài)屏幕顯示傳達(dá)注視信息(在圖14A和15A的實(shí)施例中)可能表現(xiàn)得不那么自然。這時(shí)因?yàn)椋瑢?duì)于靜態(tài)屏幕顯示,當(dāng)參與者將注意力從一個(gè)節(jié)點(diǎn)轉(zhuǎn)移到另一個(gè)節(jié)點(diǎn)時(shí),屏幕可能無(wú)法顯示他們轉(zhuǎn)動(dòng)他們的頭部或臉部(或滾動(dòng)他們的眼睛)。不過(guò),描述在圖14A和15A中的靜態(tài)屏幕顯示可以使每個(gè)參與者看見(jiàn)其他參與者正在關(guān)注什么。具有動(dòng)態(tài)屏幕布局的視頻會(huì)議系統(tǒng)
[0131]在圖2_6、11和12的實(shí)施例中,所有節(jié)點(diǎn)平排在屏幕上的相同水平面上,以及當(dāng)選擇一個(gè)節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)時(shí),可以動(dòng)態(tài)調(diào)整節(jié)點(diǎn)的相對(duì)位置。將所有節(jié)點(diǎn)平排在相同水平面上通過(guò)在整個(gè)會(huì)議期間保持相對(duì)空間信息(例如,參與者A總是在參與者B的右側(cè))可以改善視頻會(huì)議感受。但是,可能要求具有大屏幕面積的臺(tái)式系統(tǒng)接納相同水平面上的所有節(jié)點(diǎn),尤其當(dāng)存在大量節(jié)點(diǎn)時(shí)。如前所述,精確注視信息可以通過(guò)使用核心和非核心攝像機(jī)獲得。但是,如果核心和非核心攝像機(jī)由真正存儲(chǔ)設(shè)備(像攝像機(jī)那樣)組成時(shí),可能需要另外物理空間用于多個(gè)攝像機(jī)裝置。
[0132]對(duì)于移動(dòng)設(shè)備(像膝上型電腦、平板電腦、和智能電話那樣)上的視頻會(huì)議解決方案,可能未必可達(dá)到大顯示設(shè)備屏幕和用于多個(gè)攝像機(jī)裝置的物理空間。這是因?yàn)橐苿?dòng)設(shè)備通常具有有限屏幕尺寸和每個(gè)設(shè)備至多一臺(tái)前攝像機(jī)。其結(jié)果是,可能無(wú)法將所有節(jié)點(diǎn)平排在移動(dòng)設(shè)備屏幕上的相同水平面上,或?qū)⒍鄠€(gè)真正成像設(shè)備用在移動(dòng)設(shè)備上。
[0133]本發(fā)明的實(shí)施例可以解決上面有限屏幕尺寸和缺乏真正成像設(shè)備的問(wèn)題。具體地說(shuō),下面參考圖16A-25B所述的實(shí)施例示出了與動(dòng)態(tài)屏幕布局耦合的按需輸送視頻會(huì)議模型如何可以用于在具有有限屏幕尺寸和只有一個(gè)前攝像機(jī)的設(shè)備上傳達(dá)精確注視信息。
[0134]圖16A、17A、18A、19A、20A和21A例示了如何在前攝像機(jī)的中心沿著屏幕的長(zhǎng)邊的設(shè)備上在不同情形下改變屏幕布局。這些設(shè)備的例子包括臺(tái)式計(jì)算機(jī)、大多數(shù)膝上型電腦、Microsoft Surface Pad?、和 Kindle Fire HDtm0 圖 22A、23A、24A 和 25A 展示了如何在前攝像機(jī)的中心沿著屏幕的短邊的其它設(shè)備上在不同情形下改變屏幕布局。這些其它設(shè)備的例子包括大多數(shù)智能電話、Apple iPad?、和Google Nexus 7?。
[0135]圖16A描繪了如參與者I在會(huì)議期間在移動(dòng)設(shè)備上所觀看,可以顯示在圖1的終端30-1上的視頻輸入和輸出設(shè)備上的東西的例子。在圖16A的例子中,參與者I是主參與者,參與者2、3、4、5和6是對(duì)等參與者。節(jié)點(diǎn)I對(duì)應(yīng)于主參與者,節(jié)點(diǎn)2、3、4、5和6對(duì)應(yīng)于對(duì)等參與者(分別是參與者2、3、4、5和6),以及節(jié)點(diǎn)7對(duì)應(yīng)于幻燈片演示。如前所述,節(jié)點(diǎn)7中的圖像可以對(duì)應(yīng)于PowerPoint?演示幻燈片。該演示可以被投影在投影屏幕上,或可以是參與者與其他參與者共享的文件。
[0136]如圖16A所示,在會(huì)議區(qū)32的底部上以圖塊狀配置顯示節(jié)點(diǎn)2_7的圖像。與圖2-6的例子不同,圖16A中的節(jié)點(diǎn)未按任何預(yù)定次序排列。在一些實(shí)施例中,可以根據(jù)參與者登錄到會(huì)議中的時(shí)間,從左到右按次序放置節(jié)點(diǎn)。在一些其它實(shí)施例中,可以在會(huì)議區(qū)32的底部上,或在會(huì)議區(qū)32的任何部分上隨機(jī)地放置節(jié)點(diǎn)。
[0137]在圖16A的例子中,參與者I未選擇節(jié)點(diǎn)2-7的任何一個(gè)作為活動(dòng)節(jié)點(diǎn),未關(guān)注任何節(jié)點(diǎn)。如圖16A所示,用文字“幻燈片”遮擋節(jié)點(diǎn)7(幻燈片),并且節(jié)點(diǎn)2-6的圖像質(zhì)量是相似的,因?yàn)檫@些節(jié)點(diǎn)圖像具有低分辨率和低幀速率。這使帶寬和網(wǎng)絡(luò)資源可以得到節(jié)省。
[0138]圖16A的屏幕88也可以對(duì)應(yīng)于會(huì)議期間的不同情形(例如,當(dāng)參與者I首先登錄到會(huì)議中時(shí);當(dāng)參與者I從另一種非會(huì)議移動(dòng)應(yīng)用切換回到會(huì)議屏幕時(shí);或當(dāng)參與者正在關(guān)注的活動(dòng)節(jié)點(diǎn)從會(huì)議退出時(shí))。
[0139]如圖16A所示,節(jié)點(diǎn)3和6的圖像具有指示參與者3和6兩者在那種情況下正在關(guān)注參與者I的粉紅色邊框。粉紅色邊框符合以前參考圖10所述的著色方案。
[0140]在圖16A的例子中,系統(tǒng)10未顯示所有參與者的注視信息,除了通過(guò)粉紅色邊框傳達(dá)的“誰(shuí)正在關(guān)注我信息”之外。其結(jié)果是,如果主參與者(例如,參與者I)想要找出另一個(gè)對(duì)等參與者正在關(guān)注什么,則主參與者不得不通過(guò)首先選擇對(duì)等參與者作為活動(dòng)節(jié)點(diǎn)來(lái)關(guān)注對(duì)等參與者。這種概念類(lèi)似于面對(duì)面會(huì)議中參與者之間的交互,從而使參與者不得不首先關(guān)注其他參與者以便找出其他參與者正在關(guān)注什么。
[0141]圖16B描繪了例示圖16A中的參與者的注視信息的另一種方式。具體地說(shuō),圖16B示出了每個(gè)主參與者正在關(guān)注誰(shuí)或什么,并繪制參與者之間的交互。與圖16A—致,圖16B示出了參與者I未選擇節(jié)點(diǎn)2-7的任何一個(gè)作為活動(dòng)節(jié)點(diǎn),并未關(guān)注任何節(jié)點(diǎn)。
[0142]圖17A例示了參與者I選擇一個(gè)節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)時(shí)所發(fā)生的事情。回頭參照?qǐng)D16A的例子,假設(shè)參與者I想要關(guān)注節(jié)點(diǎn)7。在參與者I選擇了節(jié)點(diǎn)7作為活動(dòng)節(jié)點(diǎn)之后,圖17A的屏幕90出現(xiàn)在終端30-1的顯示設(shè)備上。如圖17A所示,節(jié)點(diǎn)7的圖像被改變尺寸和重新定位到屏幕90上會(huì)議區(qū)32的上部。此外,未遮擋節(jié)點(diǎn)7的以前遮擋圖像以便顯示幻燈片中的細(xì)節(jié)。節(jié)點(diǎn)7的圖像可以被配置成占據(jù)會(huì)議區(qū)32的大部分,以便將節(jié)點(diǎn)7區(qū)分為活動(dòng)節(jié)點(diǎn),也使參與者I可以更清楚地看見(jiàn)節(jié)點(diǎn)7的圖像?;顒?dòng)節(jié)點(diǎn)(節(jié)點(diǎn)7)的圖像高質(zhì)量地流出,而非活動(dòng)對(duì)等節(jié)點(diǎn)(節(jié)點(diǎn)2、3、4、5、和6)的圖像繼續(xù)低質(zhì)量地流出。這有助于節(jié)省帶寬和網(wǎng)絡(luò)資源。
[0143]如圖17A進(jìn)一步所示,將幻燈片的圖像稍微與屏幕90的右側(cè)對(duì)準(zhǔn)而不是處在屏幕90的中心上。這種對(duì)準(zhǔn)偏移使前攝像機(jī)在參與者I正在關(guān)注幻燈片時(shí)可以捕獲參與者I的“正看著別處”圖像。
[0144]圖17B描繪了例示圖17A中的參與者的注視信息的另一種方式。具體地說(shuō),圖17B示出了每個(gè)主參與者正在關(guān)注誰(shuí)或什么,并繪制參與者之間的交互。將圖17B與圖16B相比較,可以觀察到參與者I已選擇了節(jié)點(diǎn)7作為活動(dòng)節(jié)點(diǎn),并且現(xiàn)在正在關(guān)注幻燈片。
[0145]圖18A例示了參與者I選擇另一個(gè)節(jié)點(diǎn)作為活動(dòng)節(jié)點(diǎn)時(shí)所發(fā)生的事情?;仡^參照?qǐng)D17A的例子,假設(shè)參與者I想要關(guān)注節(jié)點(diǎn)3。在參與者I選擇了節(jié)點(diǎn)3作為活動(dòng)節(jié)點(diǎn)之后,圖18A的屏幕92出現(xiàn)在終端30-1的顯示設(shè)備上。如圖18A所示,節(jié)點(diǎn)3的圖像被改變尺寸和重新定位到屏幕92上會(huì)議區(qū)32的上中部。節(jié)點(diǎn)7的圖像(在圖17A中)現(xiàn)在被節(jié)點(diǎn)3的圖像(在圖18A中)取代,因?yàn)閰⑴c者I想要關(guān)注參與者3。如圖18A進(jìn)一步所示,使活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)3)的圖像以比非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像高的圖像質(zhì)量再現(xiàn)。
[0146]如圖18A進(jìn)一步所示,將節(jié)點(diǎn)3的圖像與屏幕92的中心(正好在顯示設(shè)備上的前攝像機(jī)下面)對(duì)準(zhǔn)。如果參與者I關(guān)注節(jié)點(diǎn)3的圖像,則終端30-1上的顯示設(shè)備上的前攝像機(jī)將捕獲參與者I的“正看著我”圖像。終端30-1將參與者I的“正看著我”圖像發(fā)送給中央服務(wù)器20,中央服務(wù)器20然后將圖像發(fā)送給終端30-3。由于參與者3也選擇了節(jié)點(diǎn)I作為活動(dòng)節(jié)點(diǎn),所以節(jié)點(diǎn)I的圖像被改變尺寸和重新定位到正好在終端30-3上的前攝像機(jī)下面的屏幕的上中部。當(dāng)從終端30-3(未示出)觀看時(shí),參與者3將看到參與者I的正臉圖像(終端I的前攝像機(jī)捕獲的參與者I的“正看著我”圖像),使得參與者I的眼睛接觸表現(xiàn)為被引向他(參與者3)。如果參與者3也關(guān)注節(jié)點(diǎn)I的圖像,則終端30-3上的前攝像機(jī)將捕獲參與者3的“正看著我”圖像。終端30-3將參與者3的“正看著我”圖像發(fā)送給中央服務(wù)器20,中央服務(wù)器20然后將圖像發(fā)送給終端30-1。當(dāng)從終端30-1觀看時(shí),參與者I將看到參與者3的正臉圖像(終端3的前攝像機(jī)捕獲的參與者3的“正看著我”圖像),使得參與者3的眼睛接觸表現(xiàn)為被弓I向他(參與者I)。其結(jié)果是,參與者I和3將產(chǎn)生與兩個(gè)參與者的意圖一致、他們正相互關(guān)注的印象。
[0147]圖18B描繪了例示圖18A中的參與者的注視信息的另一種方式。具體地說(shuō),圖18B示出了每個(gè)主參與者正在關(guān)注誰(shuí)或什么,并繪制參與者之間的交互。將圖18B與圖17B相比較,可以觀察到參與者I已將他的注意力從幻燈片轉(zhuǎn)移到節(jié)點(diǎn)3。
[0148]圖19A例示了目標(biāo)節(jié)點(diǎn)的一個(gè)例子?;仡^參照?qǐng)D18的例子,假設(shè)參與者I想要關(guān)注節(jié)點(diǎn)5。但是,參與者5正在關(guān)注節(jié)點(diǎn)7(幻燈片)。從參與者I的觀點(diǎn)來(lái)看,節(jié)點(diǎn)7是“目標(biāo)節(jié)點(diǎn)”。在參與者I選擇節(jié)點(diǎn)5作為活動(dòng)節(jié)點(diǎn)之后,圖19A的屏幕94出現(xiàn)在終端30-1的顯示設(shè)備上。如圖19A所示,節(jié)點(diǎn)5和7的圖像被改變尺寸和重新定位到屏幕94上會(huì)議區(qū)32的上部。節(jié)點(diǎn)3的圖像(在圖18A中)現(xiàn)在被關(guān)注幻燈片的參與者5的圖像(在圖19A中)取代。如圖19A進(jìn)一步所示,使活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)5)的圖像以比非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像高的分辨率再現(xiàn)。
[0149]在圖19A中,節(jié)點(diǎn)5的圖像表現(xiàn)為相對(duì)于垂直軸轉(zhuǎn)向旁邊,使得參與者5表現(xiàn)為面朝幻燈片的方向。參與者5的這種“正看著別處”圖像可以通過(guò)將幻燈片顯示在終端30-5的顯示設(shè)備上(以與如圖17A所示類(lèi)似的配置)來(lái)實(shí)現(xiàn),其中幻燈片的圖像稍微與屏幕的右側(cè)對(duì)準(zhǔn)。該對(duì)準(zhǔn)偏移使終端30-5上的前攝像機(jī)在參與者5已關(guān)注幻燈片之后可以捕獲參與者5的“正看著別處”圖像。終端30-5將參與者5的“正看著別處”圖像發(fā)送給中央服務(wù)器20,中央服務(wù)器20然后將圖像發(fā)送給終端30-1。在終端30-1上,將參與者5的圖像放置在會(huì)議區(qū)32的極右上部,將幻燈片圖像放置在節(jié)點(diǎn)5的左側(cè),以便參與者5表現(xiàn)為關(guān)注幻燈片圖像(如圖19A所示)。在一些實(shí)施例中,可以加入在節(jié)點(diǎn)7與節(jié)點(diǎn)5之間的底部邊緣彎曲的白色區(qū)域(如圖19A所示),以加強(qiáng)參與者I對(duì)參與者5正在關(guān)注幻燈片的印象。
[0150]類(lèi)似地,如果參與者關(guān)注節(jié)點(diǎn)5的圖像,則終端30-1上的前攝像機(jī)可以捕獲參與者I的“正看著別處”圖像。這是因?yàn)閰⑴c者5的圖像被放置在圖19A中遠(yuǎn)離前攝像機(jī)的會(huì)議區(qū)32的極右上部。終端30-1將參與者I的“正看著別處”圖像發(fā)送給中央服務(wù)器20,中央服務(wù)器20然后將圖像發(fā)送給其它終端。在圖19A的例子中,參與者3和6都選擇了節(jié)點(diǎn)I作為他們的活動(dòng)節(jié)點(diǎn)。隨后,參與者3和6將在他們各自終端30-3和30-6上的屏幕上看到轉(zhuǎn)向旁邊(相對(duì)于垂直軸)的參與者I的“正看著別處”圖像。
[0151]圖19B描繪了例示圖19A中的參與者的注視信息的另一種方式。具體地說(shuō),圖19B示出了每個(gè)主參與者正在關(guān)注誰(shuí)或什么,并繪制參與者之間的交互。將圖19B與圖18B相比較,可以觀察到參與者I已將他的注意力從節(jié)點(diǎn)3轉(zhuǎn)移到節(jié)點(diǎn)5,以及參與者5正在關(guān)注節(jié)點(diǎn)7 (幻燈片)。
[0152]圖20A例示了目標(biāo)節(jié)點(diǎn)的切換。回頭參照?qǐng)D19A的例子,假設(shè)參與者5(參與者I的活動(dòng)節(jié)點(diǎn))想要關(guān)注節(jié)點(diǎn)3。在參與者5選擇了節(jié)點(diǎn)3作為活動(dòng)節(jié)點(diǎn)之后,圖20A的屏幕96出現(xiàn)在終端30-1的顯示設(shè)備上。如圖20A所示,節(jié)點(diǎn)3的圖像被改變尺寸和重新定位到屏幕96上會(huì)議區(qū)32的上部,取代圖19A中的幻燈片圖像。具體地說(shuō),圖20A示出了正在關(guān)注參與者3(目標(biāo)節(jié)點(diǎn))的參與者5(活動(dòng)節(jié)點(diǎn))的圖像。如圖20A進(jìn)一步所示,使活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)5)的圖像繼續(xù)以比非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像高的分辨率再現(xiàn)。
[0153]如圖20A所示,將參與者5的圖像放置在會(huì)議區(qū)32的極右上部,將節(jié)點(diǎn)3的圖像放置在節(jié)點(diǎn)5的左側(cè),以便參與者5表現(xiàn)為關(guān)注節(jié)點(diǎn)3。與圖19A類(lèi)似,可以加入在節(jié)點(diǎn)3與節(jié)點(diǎn)5之間的底部邊緣彎曲的白色區(qū)域(如圖20A所示),以加強(qiáng)參與者I對(duì)參與者5正在關(guān)注參與者3的印象。
[0154]在一些實(shí)施例中,如果活動(dòng)節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)中的參與者正在相互關(guān)注,則非核心攝像機(jī)(使用,例如,圖8的算法D或圖9的算法F)可以用于生成活動(dòng)節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)上的參與者的側(cè)臉圖像(例如,圖8的圖像58或圖9的圖像66)。然后將這些側(cè)臉圖像發(fā)送給主參與者的終端30,并加以顯示,以便活動(dòng)節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)上的參與者表現(xiàn)為相關(guān)關(guān)注。例如,參考圖20A,假設(shè)參與者3和5正在相互關(guān)注。根據(jù)描述在圖18A中的實(shí)施例,將在各自終端30-3和30-5上捕獲參與者3和5的“正看著我”圖像,并發(fā)送給終端30_1 (主參與者的終端)。但是,這些“正看著我”圖像未向參與者I傳達(dá)參與者3和5之間的實(shí)際注視信息。這是因?yàn)?,?dāng)從終端30-1觀看時(shí),參與者I將看到參與者3和5兩者的正臉圖像,使得參與者3和參與者5的眼睛接觸表現(xiàn)為被引向他(參與者I)。其結(jié)果是,當(dāng)參與者3和5實(shí)際上相互看著對(duì)方時(shí),參與者I將產(chǎn)生參與者3和5兩者正在關(guān)注他(參與者I)的印象。為了校正注視信息的異常,非核心攝像機(jī)(使用,例如,圖8的算法D或圖9的算法F)可以用于生成參與者3和5的側(cè)臉圖像。然后可以將這些側(cè)臉圖像發(fā)送給終端30-1以提供精確的注視信息,從而給予參與者I以參與者3和5正在相關(guān)關(guān)注的印象(如圖20A所示)O
[0155]圖20B描繪了例示圖20A中的參與者的注視信息的另一種方式。具體地說(shuō),圖20B示出了每個(gè)主參與者正在關(guān)注誰(shuí)或什么,并繪制參與者之間的交互。將圖20B與圖19B相比較,可以觀察到參與者5已將他的注意力從幻燈片轉(zhuǎn)移到節(jié)點(diǎn)3。
[0156]圖21A例示了正在相關(guān)關(guān)注的主參與者和活動(dòng)節(jié)點(diǎn)參與者。回頭參照?qǐng)D20A的例子,假設(shè)參與者5想要關(guān)注節(jié)點(diǎn)I。在參與者5選擇了節(jié)點(diǎn)I作為活動(dòng)節(jié)點(diǎn)之后,圖21A的屏幕98出現(xiàn)在終端30-1的顯示設(shè)備上。節(jié)點(diǎn)3和5的圖像(在圖20A中)現(xiàn)在被對(duì)準(zhǔn)在屏幕98的中心上(正好在前攝像機(jī)的下面)的節(jié)點(diǎn)5的圖像(在圖21A中)取代。如果參與者I關(guān)注參與者5,則這使終端30-1上的前攝像機(jī)可以捕獲參與者I的“正看著我”圖像。如圖21A進(jìn)一步所示,使活動(dòng)節(jié)點(diǎn)(節(jié)點(diǎn)5)的圖像繼續(xù)以比非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像高的分辨率再現(xiàn)。類(lèi)似地,在終端30-5(未示出)上,節(jié)點(diǎn)I的圖像被改變尺寸和重新定位到正好在前攝像機(jī)下面的屏幕的上中部。如果參與者5關(guān)注參與者1,則這使終端30-5上的前攝像機(jī)可以捕獲參與者5的“正看著我”圖像。
[0157]參考圖20A,當(dāng)從終端30-1觀看時(shí),參與者I將看到參與者5的正臉圖像(終端5的前攝像機(jī)捕獲的參與者5的“正看著我”圖像),使得參與者5的眼睛接觸表現(xiàn)為被弓I向他(參與者I)。當(dāng)從終端30-5觀看時(shí),參與者5將看到參與者I的正臉圖像(終端I的前攝像機(jī)捕獲的參與者I的“正看著我”圖像),使得參與者I的眼睛接觸表現(xiàn)為被引向他(參與者5)。隨后,參與者I和5將產(chǎn)生與兩個(gè)參與者的意圖一致、他們正相互關(guān)注的印象。
[0158]圖21B描繪了例示圖21A中的參與者的注視信息的另一種方式。具體地說(shuō),圖21B示出了每個(gè)主參與者正在關(guān)注誰(shuí)或什么,并繪制參與者之間的交互。將圖21B與圖20B相比較,可以觀察到參與者5已將他的注意力從節(jié)點(diǎn)3轉(zhuǎn)移到節(jié)點(diǎn)I。
[0159]在整個(gè)視頻會(huì)議期間,所有終端30上的屏幕布局可以以與上述的實(shí)施例類(lèi)似的不同配置改變。這使會(huì)議中的參與者能夠?qū)崟r(shí)探索“誰(shuí)正在關(guān)注誰(shuí)或什么”信息。
[0160]圖22-25分別示出了針對(duì)描述在圖16-19中的情況的示范性視圖(如另一個(gè)移動(dòng)設(shè)備上的參與者I所觀看)。圖16-19中的實(shí)施例與圖22-25中的實(shí)施例之間的差異在于前攝像機(jī)的地點(diǎn)以及活動(dòng)節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)的位置。如前所述,圖16-19中的前攝像機(jī)沿著屏幕的長(zhǎng)邊放置,以及活動(dòng)節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)被布置在屏幕的上(和左上)部。另一方面,圖22-25中的前攝像機(jī)沿著屏幕的短邊放置,以及按照前攝像機(jī)的地點(diǎn)重新布置了活動(dòng)節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)。除了上述差異之外,圖16-19中的實(shí)施例的所有其它方面都與圖22-25中的實(shí)施例相同。
[0161]圖26是描繪依照本發(fā)明的虛擬會(huì)議過(guò)程的流程圖。在該過(guò)程中,中央服務(wù)器20向多個(gè)參與者的每個(gè)參與者提供多個(gè)節(jié)點(diǎn)的圖像(參見(jiàn)例如圖2的屏幕40、圖16A的屏幕88等)(步驟100)。接著,中央服務(wù)器20接收來(lái)自第一參與者的活動(dòng)節(jié)點(diǎn)選擇輸入(步驟102)。該活動(dòng)節(jié)點(diǎn)選擇輸入指示第一參與者選擇多個(gè)節(jié)點(diǎn)的哪一個(gè)作為活動(dòng)節(jié)點(diǎn)以便通信。接著,中央服務(wù)器20修改提供給第一參與者的活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量,以便該活動(dòng)節(jié)點(diǎn)具有與指定給其它節(jié)點(diǎn)的第二圖像質(zhì)量不同的第一圖像質(zhì)量(步驟104)。該圖像質(zhì)量包括影響觀眾的感覺(jué)清晰度的至少一種因素,包括但不限于圖像的分辨率、亮度、對(duì)比度、色調(diào)、銳度、噪聲水平、遮擋狀態(tài)、和幀速率。
[0162]中央服務(wù)器20可以按如下修改活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量。例如,中央服務(wù)器20可以首先確定選為活動(dòng)節(jié)點(diǎn)的節(jié)點(diǎn)是否位于屏幕上的核心區(qū)(例如,核心區(qū)34)中。如果所選節(jié)點(diǎn)處在核心區(qū)中,則中央服務(wù)器20修改提供給第一參與者的屏幕上的所選節(jié)點(diǎn)的圖像質(zhì)量和圖像尺寸。如果所選節(jié)點(diǎn)未在核心區(qū)中,則中央服務(wù)器20在修改提供給第一參與者的屏幕上的所選節(jié)點(diǎn)的圖像質(zhì)量和圖像尺寸之前首先將所選節(jié)點(diǎn)重新定位到核心區(qū)(參見(jiàn)例如圖4)。在一些實(shí)施例中,一旦節(jié)點(diǎn)被選為活動(dòng)節(jié)點(diǎn),就可以同時(shí)修改節(jié)點(diǎn)的圖像位置、尺寸、和質(zhì)量。如前所述,修改所選節(jié)點(diǎn)的圖像尺寸可以包括相對(duì)于非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像的尺寸增大所選節(jié)點(diǎn)(活動(dòng)節(jié)點(diǎn))的圖像的尺寸(參見(jiàn)例如圖3)。此外,修改所選節(jié)點(diǎn)的圖像質(zhì)量可以包括相對(duì)于非活動(dòng)對(duì)等節(jié)點(diǎn)的圖像的分辨率或幀速率提高所選節(jié)點(diǎn)(活動(dòng)節(jié)點(diǎn))的圖像的分辨率或幀速率(參見(jiàn)例如圖3)。
[0163]本發(fā)明的實(shí)施例以及描述在本說(shuō)明書(shū)中的所有功能操作可以在數(shù)字電子線路中,或在包括公開(kāi)在本說(shuō)明書(shū)中的結(jié)構(gòu)和它們的結(jié)構(gòu)等效物的計(jì)算機(jī)軟件、固件、或硬件中,或在它們的一個(gè)或多個(gè)的組合體中實(shí)現(xiàn)。本發(fā)明的中央服務(wù)器可以實(shí)現(xiàn)成包括處理器和存儲(chǔ)器的計(jì)算機(jī)硬件與一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品,即,編碼在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上供數(shù)據(jù)處理裝置執(zhí)行或控制數(shù)據(jù)處理裝置的操作的計(jì)算機(jī)程序指令的一個(gè)或多個(gè)模塊的組合體。
[0164]計(jì)算機(jī)程序(也稱為程序、軟件、應(yīng)用軟件、腳本或代碼)可以用包括編譯或解釋語(yǔ)言的任何形式編程語(yǔ)言編寫(xiě),并且可以以任何形式部署,包括部署成獨(dú)立程序或部署成模塊、組件、子例程、或適合用在計(jì)算環(huán)境中的其它單元。計(jì)算機(jī)程序未必對(duì)應(yīng)于文件系統(tǒng)中的文件。一個(gè)程序可以存儲(chǔ)在保存其它程序或數(shù)據(jù)(例如,存儲(chǔ)在標(biāo)記語(yǔ)言文檔中的一個(gè)或多個(gè)腳本)的文件的一部分中,存儲(chǔ)在專(zhuān)用于所涉及的程序的單個(gè)文件中,或存儲(chǔ)在多個(gè)協(xié)作文件(例如,存儲(chǔ)代碼的一個(gè)或多個(gè)模塊、子程序、或部分的文件)中。計(jì)算機(jī)程序可以被部署成處在一臺(tái)計(jì)算機(jī)上或在一個(gè)地點(diǎn)上或分布在多個(gè)地點(diǎn)上并通過(guò)通信網(wǎng)絡(luò)互連的多臺(tái)計(jì)算機(jī)上執(zhí)行。
[0165]描述在本說(shuō)明書(shū)中的過(guò)程和邏輯流程可以由執(zhí)行一個(gè)或多個(gè)計(jì)算機(jī)程序以便通過(guò)操作輸入數(shù)據(jù)和生成輸出執(zhí)行功能的一個(gè)或多個(gè)可編程處理器執(zhí)行。過(guò)程和邏輯流程也可以由專(zhuān)用邏輯電路,例如,F(xiàn)PGA(現(xiàn)場(chǎng)可編程門(mén)陣列)或ASIC(專(zhuān)用集成電路)執(zhí)行,以及裝置也可以實(shí)現(xiàn)成專(zhuān)用邏輯電路,例如,F(xiàn)PGA(現(xiàn)場(chǎng)可編程門(mén)陣列)或ASIC(專(zhuān)用集成電路)。
[0166]適合執(zhí)行計(jì)算機(jī)程序的處理器包括,舉例來(lái)說(shuō),通用和專(zhuān)用兩者的微處理器、和任何類(lèi)型數(shù)字計(jì)算機(jī)的任何一個(gè)或多個(gè)處理器。一般說(shuō)來(lái),處理器接收來(lái)自只讀存儲(chǔ)器或隨機(jī)訪問(wèn)存儲(chǔ)器、或兩者的指令和數(shù)據(jù)。計(jì)算機(jī)的基本元件是執(zhí)行指令的處理器和存儲(chǔ)指令和數(shù)據(jù)的一個(gè)或多個(gè)存儲(chǔ)器件。一般說(shuō)來(lái),計(jì)算機(jī)還包括存儲(chǔ)數(shù)據(jù)的一個(gè)或多個(gè)大容量存儲(chǔ)設(shè)備,例如,磁盤(pán)、磁光盤(pán)、或光盤(pán),或可操作地耦合成從其接收數(shù)據(jù),向其發(fā)送數(shù)據(jù),或兩者。但是,計(jì)算機(jī)無(wú)需含有這樣的設(shè)備。此外,可以將計(jì)算機(jī)內(nèi)置在另一個(gè)設(shè)備,例如,移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、移動(dòng)音頻播放器、全球定位系統(tǒng)(GPS)等中。適合存儲(chǔ)計(jì)算機(jī)程序指令和數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)包括所有形式的非易失性存儲(chǔ)器、介質(zhì)和存儲(chǔ)器件,舉例來(lái)說(shuō),包括半導(dǎo)體存儲(chǔ)器件,例如,EPR0M、EEPR0M、和閃速存儲(chǔ)器件;磁盤(pán),例如,內(nèi)部硬盤(pán)或可換式盤(pán);磁光盤(pán);以及⑶-ROM和DVD-ROM盤(pán)。處理器和存儲(chǔ)器可以通過(guò)專(zhuān)用邏輯電路補(bǔ)充,或并入專(zhuān)用邏輯電路中。
[0167]為了提供終端30之間的交互,本發(fā)明的實(shí)施例可以使用含有向參與者顯示信息的顯示設(shè)備,例如,CRT(陰極射線管)、IXD(液晶顯示器)、投影屏幕、OLED顯示器、3D顯示器等的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。還提供了會(huì)議參與者可以向計(jì)算機(jī)提供輸入的鍵盤(pán)和定位設(shè)備,例如,鼠標(biāo)和跟蹤球。其它類(lèi)型的設(shè)備也可以用于提供與參與者的交互;例如,提供給演說(shuō)者的反饋可以是任何形式的感覺(jué)反饋,例如,視覺(jué)反饋、聽(tīng)覺(jué)反饋或觸覺(jué)反饋;以及可以以任何形式接收來(lái)自演說(shuō)者的輸入,包括聲音、語(yǔ)音、腦電波、其他生理輸入、眼球運(yùn)動(dòng)、手勢(shì)、肢體運(yùn)動(dòng)、或觸覺(jué)輸入。
[0168]本發(fā)明的實(shí)施例可以在計(jì)算系統(tǒng)中實(shí)現(xiàn),該計(jì)算系統(tǒng)包括后端組件,例如,作為中央服務(wù)器20,包括中間組件,例如,應(yīng)用服務(wù)器,包括前端組件,例如,含有演說(shuō)者可以與本發(fā)明的實(shí)現(xiàn)交互的圖形用戶界面或萬(wàn)維網(wǎng)瀏覽器的終端30上的計(jì)算機(jī),或包括一個(gè)或多個(gè)這樣的后端、中間、和前端組件的任何組合體。系統(tǒng)的組件可以通過(guò)任何形式或介質(zhì)的數(shù)字?jǐn)?shù)據(jù)通信,例如,通信網(wǎng)絡(luò)互連。通信網(wǎng)絡(luò)的例子包括局域網(wǎng)(“LAN”)和廣域網(wǎng)(“WAN”),例如,互聯(lián)網(wǎng)。
[0169]虛擬會(huì)議系統(tǒng)10可以包括客戶機(jī)和服務(wù)器??蛻魴C(jī)和服務(wù)器一般相互遠(yuǎn)離,通常通過(guò)通信網(wǎng)絡(luò)交互。在上面展示的示范性實(shí)施例中,終端30可以是“客戶機(jī)”類(lèi)型的。客戶機(jī)和服務(wù)器的關(guān)系通過(guò)運(yùn)行在各自計(jì)算機(jī)上和相互具有客戶機(jī)-服務(wù)器關(guān)系的計(jì)算機(jī)程序建立起來(lái)。
[0170]雖然本說(shuō)明書(shū)包含許多細(xì)節(jié),但這些細(xì)節(jié)不應(yīng)該理解為限制本發(fā)明的范圍或可以要求保護(hù)的范圍,而是作為對(duì)本發(fā)明的特定實(shí)施例特有的特征的描述。在獨(dú)立實(shí)施例的背景下描述在本說(shuō)明書(shū)中的某些特征也可以在單個(gè)實(shí)施例中以組合形式實(shí)現(xiàn)。相反,在單個(gè)實(shí)施例的背景下描述的各種特征也可以獨(dú)立地或以任何適當(dāng)分組合的形式在多個(gè)實(shí)施例中實(shí)現(xiàn)。此外,盡管上面可能將一些特征描述成以某種組合形式起作用和甚至最初要求這樣,但所要求組合當(dāng)中的一種或多種特征在一些情況下可以從該組合中分割出來(lái),以及所要求組合可以針對(duì)分組合或分組合的變種。
[0171]類(lèi)似地,雖然在附圖中按特定次序描繪這些操作,但不應(yīng)該將此理解為要求按所示的特定次序或順序地執(zhí)行這樣的操作,或執(zhí)行所有例示的操作來(lái)獲得所希望的結(jié)果。在某些情況下,多任務(wù)和并行處理可能是有利的。此外,在上述的實(shí)施例中各種系統(tǒng)部件的分開(kāi)不應(yīng)該理解為在所有實(shí)施例中都要求這樣分開(kāi),而應(yīng)該理解為所述的程序組件和系統(tǒng)一般可以一起集成在單個(gè)軟件產(chǎn)品中或包裝成多個(gè)軟件產(chǎn)品。
[0172]應(yīng)該明白,可以在所附權(quán)利要求書(shū)的精神和范圍內(nèi)加以修改和變更地實(shí)施本發(fā)明。本描述無(wú)意成為窮盡的或使本發(fā)明局限于所公開(kāi)的確切形式。應(yīng)該明白,可以加以修改和變更地實(shí)施本發(fā)明。
【權(quán)利要求】
1.一種在多個(gè)節(jié)點(diǎn)之間召開(kāi)虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法,其中多個(gè)節(jié)點(diǎn)的一些或全部與虛擬會(huì)議中的多個(gè)參與者相聯(lián)系,該方法包含: 向每個(gè)參與者提供多個(gè)節(jié)點(diǎn)的圖像; 接收來(lái)自多個(gè)參與者的第一參與者的活動(dòng)節(jié)點(diǎn)選擇輸入,該活動(dòng)節(jié)點(diǎn)選擇輸入指示第一參與者選擇多個(gè)節(jié)點(diǎn)的哪一個(gè)作為活動(dòng)節(jié)點(diǎn)以便通信;以及 修改提供給第一參與者的活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量,以便該活動(dòng)節(jié)點(diǎn)具有與指定給其它節(jié)點(diǎn)的第二圖像質(zhì)量不同的第一圖像質(zhì)量,其中圖像質(zhì)量包括圖像的分辨率、亮度、銳度、色調(diào)、對(duì)比度、噪聲水平、和幀速率的至少一種。
2.如權(quán)利要求1所述的方法,其中獨(dú)立于如何向虛擬會(huì)議中的其他參與者展示選為活動(dòng)節(jié)點(diǎn)的節(jié)點(diǎn)的圖像地,進(jìn)行修改提供給第一參與者的活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量。
3.如權(quán)利要求1所述的方法,其中以不同圖像質(zhì)量向不同參與者展示相同節(jié)點(diǎn)的圖像。
4.如權(quán)利要求1所述的方法,其中該活動(dòng)節(jié)點(diǎn)是前活動(dòng)節(jié)點(diǎn),以及其中接收更新的活動(dòng)節(jié)點(diǎn)選擇輸入,進(jìn)一步包含將前活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量自動(dòng)改變成第二圖像質(zhì)量,以及響應(yīng)更新的活動(dòng)節(jié)點(diǎn)選擇將更新活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量調(diào)整成第一圖像質(zhì)量。
5.如權(quán)利要求1所述的方法,一旦接收到活動(dòng)節(jié)點(diǎn)選擇,就相對(duì)于其它節(jié)點(diǎn)的圖像進(jìn)一步增大活動(dòng)節(jié)點(diǎn)的圖像的尺寸。
6.如權(quán)利要求1所述的方法,其中在與攝像機(jī)耦合的屏幕上向第一參與者顯示活動(dòng)節(jié)點(diǎn),進(jìn)一步包含根據(jù)從多個(gè)參與者接收的活動(dòng)節(jié)點(diǎn)選擇信息,相對(duì)于攝像機(jī)的位置動(dòng)態(tài)調(diào)整屏幕上活動(dòng)節(jié)點(diǎn)的位置。
7.如權(quán)利要求6所述的方法,進(jìn)一步包含將活動(dòng)節(jié)點(diǎn)布置在屏幕的與攝像機(jī)接近的部分上,以便捕獲第一參與者的正臉圖像。
8.如權(quán)利要求7所述的方法,進(jìn)一步包含將第一參與者的正臉圖像發(fā)送給多個(gè)節(jié)點(diǎn)中被選為第一參與者的活動(dòng)節(jié)點(diǎn)的節(jié)點(diǎn)。
9.如權(quán)利要求6所述的方法,進(jìn)一步包含將活動(dòng)節(jié)點(diǎn)布置在屏幕的遠(yuǎn)離攝像機(jī)的部分上,以便捕獲第一參與者的側(cè)臉圖像。
10.如權(quán)利要求9所述的方法,進(jìn)一步包含將第一參與者的側(cè)臉圖像發(fā)送給多個(gè)節(jié)點(diǎn)中除了與第一參與者的活動(dòng)節(jié)點(diǎn)相對(duì)應(yīng)的節(jié)點(diǎn)之外的節(jié)點(diǎn)。
11.如權(quán)利要求1所述的方法,其中修改活動(dòng)節(jié)點(diǎn)的圖像質(zhì)量包含相對(duì)于其它節(jié)點(diǎn)的圖像的分辨率或幀速率提高活動(dòng)節(jié)點(diǎn)的圖像的分辨率或幀速率。
12.如權(quán)利要求1所述的方法,其中第一參與者選擇的活動(dòng)節(jié)點(diǎn)是與第二參與者相聯(lián)系的第一活動(dòng)節(jié)點(diǎn),以及其中第二參與者選擇與除了第一參與者的節(jié)點(diǎn)之外的一個(gè)節(jié)點(diǎn)相聯(lián)系的第二活動(dòng)節(jié)點(diǎn),進(jìn)一步包含以第一圖像質(zhì)量向第一參與者發(fā)送第一活動(dòng)節(jié)點(diǎn)的圖像和以第三圖像質(zhì)量向第一參與者發(fā)送第二活動(dòng)節(jié)點(diǎn)的圖像。
13.如權(quán)利要求12所述的方法,其中將第二活動(dòng)節(jié)點(diǎn)提供給標(biāo)記成與多個(gè)參與者的第三參與者相聯(lián)系的目標(biāo)節(jié)點(diǎn)的第一參與者; 向第一參與者提供第二參與者的側(cè)臉圖像和第三參與者的圖像;以及 向第一參與者指示第二參與者正在關(guān)注第三參與者。
14.如權(quán)利要求13所述的方法,其中如果第三參與者的活動(dòng)節(jié)點(diǎn)對(duì)應(yīng)于與第二參與者相聯(lián)系的節(jié)點(diǎn): 向第一參與者提供第二參與者的側(cè)臉圖像和第三參與者的側(cè)臉圖像;以及 向第一參與者指示第二參與者和第三參與者正在相互關(guān)注。
15.如權(quán)利要求13所述的方法,其中使用來(lái)自與第二參與者相聯(lián)系的非核心攝像機(jī)的數(shù)據(jù)生成第二參與者的側(cè)臉圖像。
16.如權(quán)利要求1所述的方法,進(jìn)一步包含生成給予與活動(dòng)節(jié)點(diǎn)相聯(lián)系的參與者的音頻和視頻警告的至少一種,以便通知該參與者他被選為第一參與者的活動(dòng)節(jié)點(diǎn)。
17.一種在多個(gè)節(jié)點(diǎn)之間召開(kāi)虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法,其中多個(gè)節(jié)點(diǎn)的一些或全部與包括第一參與者的多個(gè)參與者相聯(lián)系,該方法包含: 獲取第一參與者的正臉圖像; 獲取第一參與者的側(cè)臉圖像; 接收來(lái)自第一參與者的活動(dòng)節(jié)點(diǎn)選擇輸入,其指示第一參與者希望關(guān)注多個(gè)節(jié)點(diǎn)的哪一個(gè)以便通信;以及 將第一參與者的正臉圖像發(fā)送給與所選活動(dòng)節(jié)點(diǎn)相對(duì)應(yīng)的多個(gè)節(jié)點(diǎn)之一,并將第一參與者的側(cè)臉圖像發(fā)送給多個(gè)節(jié)點(diǎn)的其它節(jié)點(diǎn)。
18.如權(quán)利要求17所述的方法,其中獲取第一參與者的正臉圖像包含: 在第一參與者提供的屏幕上提供其節(jié)點(diǎn)被第一參與者選為活動(dòng)節(jié)點(diǎn)的第二參與者的圖像;以及 將屏幕上第二參與者的圖像的位置改變成與捕獲第一參與者的圖像的攝像機(jī)接近。
19.如權(quán)利要求17所述的方法,其中獲取第一參與者的側(cè)臉圖像包含: 捕獲第一參與者的正臉圖像;以及 處理該正臉圖像以生成側(cè)臉圖像。
20.一種在多個(gè)節(jié)點(diǎn)之間召開(kāi)虛擬會(huì)議的計(jì)算機(jī)實(shí)現(xiàn)方法,其中多個(gè)節(jié)點(diǎn)的一些或全部與包括第一參與者的多個(gè)參與者相聯(lián)系,該方法包含: 接收來(lái)自第一參與者的活動(dòng)節(jié)點(diǎn)選擇輸入,其指示第一參與者希望看著多個(gè)節(jié)點(diǎn)的哪一個(gè);以及 調(diào)整向第一參與者顯示的活動(dòng)節(jié)點(diǎn)的圖像相對(duì)于配置成捕獲第一參與者的圖像的攝像機(jī)的位置的放置,以便從所希望臉部角度捕獲第一參與者的圖像。
【文檔編號(hào)】H04N7/15GK104285439SQ201380024875
【公開(kāi)日】2015年1月14日 申請(qǐng)日期:2013年4月10日 優(yōu)先權(quán)日:2012年4月11日
【發(fā)明者】刁杰 申請(qǐng)人:刁杰