用于控制會(huì)議的方法、軟件產(chǎn)品和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于控制會(huì)議、特別是虛擬會(huì)議的方法、軟件產(chǎn)品和設(shè)備。
【背景技術(shù)】
[0002] 時(shí)常地，會(huì)議作為視頻會(huì)議舉行。會(huì)議參與者可以從世界的任何地方參與會(huì)議。作 為示例，對(duì)話伙伴中的一些在房間里坐在一起，并且其他人單獨(dú)地坐著工作或在他們的家 庭辦公室里。在其中所有參與者在房間里坐在一起的真實(shí)會(huì)議中，每個(gè)參與者能夠個(gè)別地 轉(zhuǎn)向個(gè)體參與者并例如從他們的面部表情和反應(yīng)、行為和情緒來(lái)得出更精確的結(jié)論，以及 相應(yīng)地調(diào)整他們自己的行為。在視頻會(huì)議中，全部的參與者擁有同一視圖，該視圖是全部參 與者的聚合（aggregate)視圖并是由會(huì)議服務(wù)器創(chuàng)建的。個(gè)體參與者的設(shè)置(例如相機(jī)取 向、縮放）影響對(duì)全部參與者的表現(xiàn)（representation)。個(gè)別地觀察個(gè)體參與者是不可能 的。
[0003] 已知視頻會(huì)議的表現(xiàn)可以被操縱，使得可以基于逐個(gè)情況地控制來(lái)自會(huì)議遠(yuǎn)側(cè)的 相機(jī)。然而，這具有對(duì)于全部會(huì)議參與者的暗示，并也不創(chuàng)建個(gè)體視圖，而僅僅影響聚合視 圖。另外，經(jīng)常地重新調(diào)整(多個(gè)）相機(jī)可能在會(huì)議期間產(chǎn)生某些焦慮，這是不合期望的。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明解決的一個(gè)問(wèn)題是提供用于控制會(huì)議期間的通信的一種方法和設(shè)備，其中 所述方法和設(shè)備能夠至少部分地克服前面提到的現(xiàn)有技術(shù)的缺陷。特別地，本發(fā)明解決的 一個(gè)問(wèn)題是提供用于控制會(huì)議期間的通信的一種方法和設(shè)備，其中所述方法和設(shè)備能夠改 進(jìn)會(huì)議參與者的個(gè)體觀察可能性以及優(yōu)選地向他提供個(gè)體或所選參與者的專(zhuān)有（private) 視圖。
[0005] 根據(jù)本發(fā)明，通過(guò)獨(dú)立權(quán)利要求的特征至少在部分方面解決了所述問(wèn)題。本發(fā)明 的有利實(shí)施例和發(fā)展被提供在從屬權(quán)利要求中。
[0006] 根據(jù)本發(fā)明的一個(gè)方面，提出了一種用于控制虛擬會(huì)議的方法，并且該方法包括 以下步驟： a) 計(jì)算多個(gè)會(huì)議環(huán)境的相應(yīng)虛擬圖像，所述多個(gè)會(huì)議環(huán)境包括一個(gè)或若干個(gè)參與者， 并借助于通信技術(shù)連接； b) 借助于全部會(huì)議環(huán)境的虛擬圖像，計(jì)算聚合表現(xiàn)（aggregaterepresentation),其 針對(duì)相應(yīng)會(huì)議環(huán)境之一而調(diào)整； c) 向相應(yīng)會(huì)議環(huán)境的全部參與者提供所述聚合表現(xiàn)； d) 借助于相應(yīng)會(huì)議環(huán)境的聚合表現(xiàn)，計(jì)算針對(duì)個(gè)體參與者而調(diào)整的個(gè)體表現(xiàn) (individualrepresentation)，所述個(gè)體參與者是所述會(huì)議環(huán)境的部分，以及 e) 向個(gè)體參與者提供所述個(gè)體表現(xiàn)，而同時(shí)提供根據(jù)步驟c)的聚合表現(xiàn)； 就本發(fā)明而言，虛擬會(huì)議是若干個(gè)、優(yōu)選地多于兩個(gè)參與者之間借助于交換音頻和視 頻數(shù)據(jù)的通信事件，其中數(shù)據(jù)的交換通過(guò)電子通信手段而發(fā)生，優(yōu)選地經(jīng)由基于分組的協(xié) 議，諸如TCP/IP或類(lèi)似物。這樣做時(shí)，每個(gè)會(huì)議環(huán)境的視頻信息通常經(jīng)由一個(gè)或若干相機(jī) 來(lái)記錄，并且每個(gè)會(huì)議環(huán)境的音頻信息通常經(jīng)由一個(gè)或若干麥克風(fēng)來(lái)記錄。在例如因?yàn)橄?應(yīng)會(huì)議環(huán)境是移動(dòng)電話或類(lèi)似設(shè)備或者因?yàn)橛捎谄渌驔](méi)有相機(jī)可用而不能提供視頻 信息的情況下，相應(yīng)參與者可以在聚合表現(xiàn)中呈遞（render)為人形、替代圖像、靜止圖像或 符號(hào)。就本發(fā)明而言，虛擬圖像是指來(lái)自相應(yīng)視頻和/或音頻信息的會(huì)議環(huán)境的視覺(jué)和/ 或聽(tīng)覺(jué)、優(yōu)選地視聽(tīng)、特別是空間的表現(xiàn)。理想地，但不是必要的，為會(huì)議環(huán)境內(nèi)的每個(gè)參 與者指派至少一個(gè)相機(jī)和一個(gè)麥克風(fēng)；結(jié)果，對(duì)于每個(gè)參與者，當(dāng)創(chuàng)建虛擬圖像時(shí)，存在允 許分離參與者的個(gè)體視頻和音頻信息?？商鎿Q地，可以例如借助于在固定位置處安裝的相 機(jī)和/或麥克風(fēng)裝置（arrangement)以及合適的圖像識(shí)別手段而創(chuàng)建具有參與者的現(xiàn)實(shí) 空間映射的虛擬圖像。就本發(fā)明而言，聚合表現(xiàn)是全部會(huì)議環(huán)境的全部(識(shí)別的）參與者在 虛擬會(huì)議室中的虛擬布置。針對(duì)相應(yīng)會(huì)議環(huán)境而調(diào)整所述聚合表現(xiàn)，即，針對(duì)實(shí)際會(huì)議環(huán) 境的條件而調(diào)整相應(yīng)虛擬會(huì)議室中會(huì)議參與者的布置。例如，相應(yīng)會(huì)議環(huán)境的（多個(gè)）參與 者可以根據(jù)他們的實(shí)際分布而定位于虛擬會(huì)議室(聚合表現(xiàn)）的中央，而其它會(huì)議環(huán)境的參 與者定位成環(huán)繞著他們。取決于相應(yīng)會(huì)議環(huán)境的再現(xiàn)（r印roduction)可能性，參與者在 相應(yīng)虛擬會(huì)議室中的布置關(guān)于視覺(jué)以及聽(tīng)覺(jué)或聲學(xué)空間，以使得可以再次取決于相應(yīng)會(huì)議 環(huán)境的再現(xiàn)可能性為參與者創(chuàng)建相對(duì)于視覺(jué)和聽(tīng)覺(jué)感覺(jué)沒(méi)有矛盾的虛擬現(xiàn)實(shí)。就本發(fā)明 而言，聚合表現(xiàn)的供應(yīng)包括將對(duì)應(yīng)于聚合表現(xiàn)的視聽(tīng)數(shù)據(jù)傳遞至相應(yīng)會(huì)議環(huán)境的本地開(kāi)會(huì) (conferencing)單元。例如，聚合表現(xiàn)可以在每個(gè)參與者的個(gè)體終端設(shè)備上的適當(dāng)表面上 再現(xiàn)，或者它可以在對(duì)在場(chǎng)所有參與者可見(jiàn)的相應(yīng)會(huì)議環(huán)境的固定安裝的屏幕或投影系統(tǒng) 上呈遞。個(gè)體表現(xiàn)也可以是聚合表現(xiàn)；然而它根據(jù)發(fā)明方法的步驟d)針對(duì)個(gè)體參與者而調(diào) 整。換句話說(shuō)，個(gè)體表現(xiàn)通常不同于聚合表現(xiàn)?？梢詰?yīng)個(gè)體參與者的請(qǐng)求或歸因于個(gè)體參 與者之前已知的偏好來(lái)計(jì)算個(gè)體表現(xiàn)。
[0007] 換句話說(shuō)，本發(fā)明方法在三個(gè)層次上創(chuàng)建虛擬空間：第一層次包括每個(gè)會(huì)議環(huán)境 的虛擬圖像，作為實(shí)際狀況到計(jì)算空間的轉(zhuǎn)化(盡可能地真實(shí)）；第二層次組合全部連接的 會(huì)議環(huán)境并為每個(gè)會(huì)議環(huán)境創(chuàng)建全部會(huì)議環(huán)境的全部參與者的虛擬空間，其中虛擬室對(duì)于 相應(yīng)會(huì)議環(huán)境的全部參與者是公共的（如果可適用的話，為其創(chuàng)建了聚合表現(xiàn)的相應(yīng)會(huì)議 環(huán)境的參與者較少）；以及第三層次使得能夠?yàn)槊總€(gè)參與者創(chuàng)建個(gè)體虛擬空間，其中第二 和第三層次的表現(xiàn)同時(shí)提供至參與者(第三層次僅提供至為其創(chuàng)建了第三層次的個(gè)體參與 者)。虛擬圖像、聚合表現(xiàn)和個(gè)體表現(xiàn)，換句話說(shuō)，虛擬空間，應(yīng)首先被理解為數(shù)據(jù)結(jié)構(gòu)，所 述數(shù)據(jù)結(jié)構(gòu)在適當(dāng)設(shè)備的幫助下借助于再現(xiàn)變得可感知，但存在于數(shù)據(jù)空間內(nèi)，即使沒(méi)有 再現(xiàn)設(shè)備。使用關(guān)于相應(yīng)會(huì)議環(huán)境的單數(shù)，聚合表現(xiàn)、個(gè)體參與者、和個(gè)體表現(xiàn)也總是包括 應(yīng)用于若干相應(yīng)會(huì)議環(huán)境，和創(chuàng)建若干對(duì)應(yīng)的聚合表現(xiàn)以及對(duì)于會(huì)議環(huán)境的若干個(gè)體參與 者，和創(chuàng)建若干對(duì)應(yīng)的個(gè)體表現(xiàn)。本發(fā)明方法創(chuàng)建會(huì)議的新的虛擬整體視圖，其構(gòu)建于其中 全部參與者坐在同一房間中的真實(shí)會(huì)議的可能性之上。會(huì)議參與者的個(gè)體觀察可能性得以 改進(jìn)，并且參與者接收個(gè)體或選擇的參與者的專(zhuān)有視圖。因此，開(kāi)會(huì)單元或會(huì)議服務(wù)器不僅 控制有關(guān)視頻和/或音頻的會(huì)議的共同視圖，而且還提供用于每個(gè)參與者/會(huì)議室的唯一 邏輯單元。這個(gè)個(gè)體邏輯單元可以被個(gè)別地控制：縮放、選人等。每個(gè)會(huì)議參與者接收虛擬 會(huì)議室的專(zhuān)有視圖。
[0008] 本發(fā)明方法的步驟a)到e)可以由中央開(kāi)會(huì)單元、特別是會(huì)議服務(wù)器來(lái)執(zhí)行。中 央開(kāi)會(huì)單元還可以通過(guò)會(huì)議環(huán)境之一的本地開(kāi)會(huì)單元來(lái)實(shí)現(xiàn)，所述本地開(kāi)會(huì)單元還將承擔(dān) 對(duì)其它會(huì)議環(huán)境的控制任務(wù)。
[0009] 可替換地，步驟b)到e)可以由本地開(kāi)會(huì)單元來(lái)執(zhí)行，所述本地開(kāi)會(huì)單元被指派給 相應(yīng)會(huì)議環(huán)境，其中步驟b)的前面可以有接收全部其它會(huì)議環(huán)境的虛擬圖像的步驟。例如， 虛擬圖像可以由中央會(huì)議服務(wù)器提供，或者它們可以直接地接收自個(gè)體(其它）本地開(kāi)會(huì)單 JLi〇
[0010] 另一個(gè)替換方案是，讓步驟d)和e)由被指派給相應(yīng)會(huì)議環(huán)境的本地開(kāi)會(huì)單元來(lái) 執(zhí)行，其中步驟d)的前面可以有接收對(duì)于相應(yīng)開(kāi)會(huì)單元的聚合表現(xiàn)的步驟。例如，聚合表 現(xiàn)可以從而由中央會(huì)議服務(wù)器來(lái)提供。
[0011] 步驟d)的前面可以有接收和/或處理相應(yīng)參與者的個(gè)體需求的步驟。例如，個(gè)體 需求可以包括相應(yīng)參與者的預(yù)先設(shè)置或?qū)崟r(shí)選擇，而在計(jì)算個(gè)體表現(xiàn)的步驟d)中，應(yīng)用相 應(yīng)參與者的個(gè)體需求。特別地，所述需求可以包括來(lái)自具有以下各項(xiàng)的組中的至少一個(gè)： ?參與者的空間布置； ?對(duì)一個(gè)或多個(gè)參與者和/或?qū)ο筮M(jìn)行移除、添加、調(diào)整大?。??將一個(gè)或多個(gè)參與者置于分離的表現(xiàn)(例如窗口）中； ?諸如一個(gè)或多個(gè)參與者的上下文數(shù)據(jù)、心情、個(gè)人和/或職業(yè)關(guān)系數(shù)據(jù)、私人聯(lián)系細(xì) 節(jié)之類(lèi)的元數(shù)據(jù)或附加信息的表現(xiàn)； ?為個(gè)體源、例如參與者，加強(qiáng)或減弱收聽(tīng)水平。
[0012] 關(guān)于示出的參與者的元數(shù)據(jù)和上下文數(shù)據(jù)可以由服務(wù)自動(dòng)地確定。
[0013] 在本發(fā)明的一個(gè)實(shí)施例中，個(gè)體參與者的需求可以經(jīng)由語(yǔ)音輸入來(lái)傳送。這個(gè)實(shí) 施例為移動(dòng)參與者提供了操縱優(yōu)勢(shì)。在移動(dòng)終端設(shè)備上提供個(gè)體表現(xiàn)也是可能的。
[0014] 在一個(gè)優(yōu)選實(shí)施例中，聚合表現(xiàn)提供了虛擬空間中參與者的均勻的視覺(jué)和/或聲 學(xué)分布。這提供了參與者的最優(yōu)映射和定位，同時(shí)保存了資源。自然地，均勻分布受關(guān)于每 個(gè)會(huì)議環(huán)境的再現(xiàn)可能性限制。因此，視覺(jué)表現(xiàn)不能通過(guò)簡(jiǎn)單的移動(dòng)電話再現(xiàn)，并且經(jīng)由 簡(jiǎn)單揚(yáng)聲器的聲學(xué)表現(xiàn)受限于信號(hào)總和。然而，例如，應(yīng)移動(dòng)電話用戶的請(qǐng)求，個(gè)體參與者 的音頻信號(hào)可以被加強(qiáng)或減弱，并且恰當(dāng)?shù)臑V波手段可以增加聚合表現(xiàn)中的清晰度和