參考結(jié)構(gòu)的右邊和左邊。
[0046] 聚合表現(xiàn)100s、200s、300s、400s中每一個以圖5_8的描述意義內(nèi)的以虛擬視覺空 間VVR形式的視覺部分和以虛擬聲學空間VAR形式的聲學部分為特征。
[0047] 取決于相應會議環(huán)境的再現(xiàn)可能性,虛擬視覺空間VVR和虛擬聲學空間VVR被處 理并提供至(多個)參與者。因此,聚合表現(xiàn)100s、200S、300S提供了針對會議環(huán)境100 (會 議室1)、會議環(huán)境200 (會議室2)和會議環(huán)境300 (家庭辦公室)的虛擬視覺空間VVR內(nèi) 的全部參與者的視覺表現(xiàn),并且使虛擬聲學空間VAR內(nèi)的參與者的位置針對虛擬視覺空間 VVR內(nèi)的位置而被調(diào)整,以這樣的方式使得相應圖像再現(xiàn)設(shè)備130、230、330 (參見圖1、2、 5-8)和相應聲音再現(xiàn)設(shè)備140、240、340 (就在那個地方)創(chuàng)建自然顯現(xiàn)的虛擬會議現(xiàn)實,其 中每個參與者的視覺和聲學位置至少基本上匹配實際位于相應會議室中的參與者。
[0048] 相反,如在這個示例中假設(shè)的(圖2、8中表現(xiàn)的修改中),當(移動)參與者401的終 端設(shè)備450不具有視覺表現(xiàn)的足夠可能性時,根據(jù)圖10中表現(xiàn)的針對會議環(huán)境400 (移動 環(huán)境)的聚合表現(xiàn)400s僅以針對耳機(經(jīng)常僅有兩個通道)的再現(xiàn)可能性而被調(diào)整的虛擬 聲學空間VVR為特征,而不以虛擬視覺空間為特征。在這個情況下,聲學印象和視覺印象之 間沒有同步性(因為沒有提供后者),然而,關(guān)于(移動)參與者401,這里的優(yōu)勢在于會議參 與者可以位于立體聲房間內(nèi),并在該房間內(nèi)分離。當然,如果(移動)參與者401的終端設(shè)備 450具有如圖8中所示可用的足夠的視覺表現(xiàn)可能性,則同樣可能的是,為終端設(shè)備提供對 應的虛擬視覺空間VVR。
[0049] 同樣重要的是要注意:(移動)參與者401在圖10中被示為聚合表現(xiàn)100s、200s、 300s中的人形;這暗示一種情況,其中會議環(huán)境400 (移動環(huán)境)的(移動)終端設(shè)備450不 以圖像記錄裝置為特征并因此不提供參與者401的圖像表現(xiàn)。同樣,聚合表現(xiàn)400s中參與 者401的表現(xiàn)應僅被視為對于虛擬聲學空間VAR的參考點;這里不意圖在(移動)終端設(shè)備 450上視覺地呈現(xiàn)參與者401。
[0050] 為了避免回波效應和由此引起的混亂,有利地提供:相應會議環(huán)境的參與者藏在 聚合表現(xiàn)l〇〇s、200s、300s、400s的虛擬聲學空間VAR內(nèi),即使他們被包括在相關(guān)聯(lián)的虛擬 視覺空間VVR中。同樣可能的是,將相應會議環(huán)境的參與者從相應虛擬視覺空間VVR隱藏 起來,如圖5-8中所示。
[0051] 除了參與者之外,聚合表現(xiàn)可以以對象500的符號表現(xiàn)為特征,如聚合表現(xiàn)100s、 200s、300s中所示。例如,對象500是可以由參與者檢索并顯示在分離的窗口中或運行的文 件或應用。
[0052] 圖11是根據(jù)示例性實施例的修改的聚合視圖200s以及若干個體視圖201i、202i、 203i的示意性表現(xiàn),聚合視圖200s根據(jù)用于會議環(huán)境200 (會議室2)的控制方法計算以 提供至相應會議環(huán)境200的全部參與者,個體視圖201i、202i、203i根據(jù)用于相應會議環(huán)境 200的個體參與者201、202、203的控制方法計算,以提供至個體會議參與者201、202、203。 個體視圖201i、202i、203i通過使用參與者201、202、203所屬于的相應會議環(huán)境200的聚 合表現(xiàn)200s來計算,并針對參與者201、202、203、以及特別地針對他們的規(guī)范和當前需求 以及他們的個體終端設(shè)備的表現(xiàn)的可能性而被調(diào)整。
[0053] 圖11中所示的聚合視圖200s不同于圖10中所示的聚合視圖200s之處在于,僅 會議環(huán)境100的參與者101、102、103、105,參與者401的人形和對象500布置于參考結(jié)構(gòu) 260處,并根據(jù)上面的描述形成虛擬視覺空間VVR和虛擬聲學空間VAR。換句話說,在圖11 中所示的變型中,相應會議環(huán)境200的參與者不在聚合表現(xiàn)200s中再現(xiàn)。此外,與圖10中 所示的開會情形相比,可以假設(shè)在圖11中所示的開會情形中,參與者104已經(jīng)(暫時)離開 會議室1,并且在家工作者301已經(jīng)登出會議。
[0054] 被計算而提供在參與者201的個人終端設(shè)備上的個體視圖201i以根據(jù)圖11中的 表現(xiàn)的參與者101和103為特征。被計算而提供在參與者202的個人終端設(shè)備上的個體視 圖202i以參與者105和對象500為特征。被計算而提供在參與者203的個人終端設(shè)備上 的個體視圖203i以參與者101、103、105為特征。個體視圖201i、202i、203i可以以關(guān)于所 顯示參與者的縮放功能性為特征。個體視圖201i、202i、203i中示出的一些參與者被映射 到相應的符號,所謂的表情圖標。還可能的是,可能地在其它分離的窗口(單獨打開的窗口) 中經(jīng)由后端服務而請求和示出關(guān)于相應參與者的任何種類的上下文信息,諸如CV、聯(lián)系信 息等。這樣的上下文數(shù)據(jù)可以例如從公司數(shù)據(jù)或從公共可用數(shù)據(jù)或數(shù)據(jù)庫或從真實視頻會 議(來自話音或來自圖像的表情圖標)得到,導致所生成的分離的視圖中針對一個或多個人 的特定上下文。作為示例,可以為這個目的應用常見的分析技術(shù)。聚合表現(xiàn)200s和個體視 圖201i、202i、203i之間的箭頭用符號表示控制功能性和反饋功能性,其可以包括例如每 個會議參與者的反應被標識出,并映射至正在講話或活動的參與者(例如如同在屏幕共享 的情況下)作為反饋。還可想到的是,真實視頻和聲音一起保存,并且正在講話或活動的人 被映射為反饋。上下文到參與者的映射被解釋為針對視頻會議中當前正在行動的參與者的 反饋。來自參與者的對正在行動的參與者的議題和行動的異議和貢獻可以解釋為反饋。沒 有反應也可以登記為反饋。因此,存在針對正在行動的參與者的反饋歷史。
[0055] 可以指派給會議參與者作為反饋的附加信息提供針對活動的人的控制選項并還 可以維持會議的滿意度和效率。參與者的空間-聲學定位還可以改進可理解性并可以幫助 分配向相應說話者說了什么。
[0056] 上面描述的方法優(yōu)選地由會議服務器(見圖1中的會議服務器2)控制。各個步驟 還可以針對諸如本地開會單元(見圖1中的本地開會單元120)、圖像或聲音再現(xiàn)設(shè)備(見圖 1中的130、140)或個體終端設(shè)備(見圖1中的150,圖7中的350、圖8中的450)之類的下 游設(shè)備來實行。
[0057] 本發(fā)明提供會議的新的虛擬整體視圖,這使真實會議(其中全部參與者在同一物 理房間中)的全部功能性可用。另外,通過選擇虛擬圖像,可能的是,訪問包含關(guān)于相應參與 者的上下文信息的后端服務,所述上下文信息例如是關(guān)于以下各項的陳述:該參與者的具 體工作歷史、過去與該參與者的個人經(jīng)歷、來自該參與者的聯(lián)系數(shù)據(jù)的個人注釋以及最后 還有會議參與者過去個人地賦予這個參與者的情緒特質(zhì)。
[0058] 信息和評價的這些片段還可以在會議期間修改、修訂或擴展。該數(shù)據(jù)是高度個體 的和個人的,并且因此必須不被使得對會議的其他參與者而言可得到。本發(fā)明描述了一種 用于有效地組合虛擬會議同時也允許個體部分視圖的方法。這可以通過由虛擬空間擴展真 實會議環(huán)境或借助于向參與者僅提供個體空間來實現(xiàn)。總是可以向每個參與者在他的個人 移動終端設(shè)備上提供至少圖像信息或視頻流。
[0059] 根據(jù)本發(fā)明,開會單元(或中央會議服務器)不僅控制會議的公共視圖(視頻/音 頻),而且還提供每個參與者/會議環(huán)境的分離的邏輯單元。這個個體開會單元可以單獨 地控制:縮放、選人、示出上下文、心情、個人關(guān)系。每個會議參與者接收虛擬會議室的專有 視圖。全部參與者和會議室在技術(shù)的幫助下虛擬地分布在房間中,所述技術(shù)諸如是在例如 "ViViconf"名下可得到的。使用諸如在例如"SpacialAudio(空間音頻)"名下可取得的 技術(shù)之類的技術(shù),聲學位置與光學位置同步。
[0060] 在會議室中坐在一起的參與者具有公共的虛擬空間,虛擬空間具有不存在于房間 中的全部會議參與者的聲學映射。在這個情況下沒有聲學同步的個體虛擬會議室可以分別 顯示在個人移動終端設(shè)備(例如平板、智能電話等)上。為了還顯示存在于房間內(nèi)的參與者 的專有上下文,這是合期望的??商鎿Q地,作為示例,個體參與者所使用的具有受限視角的 膝上型計算機或監(jiān)視器可以例如借助于向膝上型計算機或監(jiān)視器的表面施加適當?shù)谋∑?(foil)來限制。由于受限視角,可以避免個體參與者的旁觀者能夠看到膝上型計算機或監(jiān) 視器呈現(xiàn)的內(nèi)容。
[0061] 為了最小化資源和性能需求,可以提供:讓虛擬會議室內(nèi)的