本公開一般地涉及視頻會(huì)議，并且更具體地，涉及分析和生成與視頻會(huì)議相關(guān)聯(lián)的視頻信息。

背景技術(shù)：

在多點(diǎn)視頻會(huì)議中，每個(gè)參與者向會(huì)議貢獻(xiàn)視頻流，并且每個(gè)參與者接收提供會(huì)議視圖(view)的一個(gè)或多個(gè)視頻流。連續(xù)呈現(xiàn)視頻會(huì)議視圖試圖顯示貢獻(xiàn)于視頻會(huì)議的多個(gè)視頻流的各方面，以便給予每個(gè)查看(viewing)參與者比通過查看單一的貢獻(xiàn)流實(shí)現(xiàn)的會(huì)議體驗(yàn)更有信息量的會(huì)議體驗(yàn)。選擇哪些流來查看通常來自從相關(guān)聯(lián)的貢獻(xiàn)音頻流可測(cè)量的能量或講話信心。

在視頻會(huì)議參與者貢獻(xiàn)兩個(gè)或更多流的情況下，由參與者查看的獨(dú)立的流可以以若干方式來顯示，包括重疊或非重疊組合，且每個(gè)流被縮放以顯示重要性和/或細(xì)節(jié)的適當(dāng)?shù)燃?jí)。在典型應(yīng)用中，從相關(guān)聯(lián)的音頻流獲得的音頻活動(dòng)的等級(jí)，和/或分配給流的固定或動(dòng)態(tài)分配的角色，被用于確定每個(gè)流在組合會(huì)議視圖中是否應(yīng)被顯示給視頻會(huì)議端點(diǎn)。

分布于每個(gè)參與者以提供會(huì)議視圖的視頻可通過轉(zhuǎn)碼多點(diǎn)視頻會(huì)議單元(“MCU”)來編碼，并作為顯示一個(gè)或多個(gè)貢獻(xiàn)源流的內(nèi)容的單一流來傳遞，或通過切換MCU從源切換，并如由接收端點(diǎn)的要求和能力所確定的來轉(zhuǎn)發(fā)一個(gè)或多個(gè)貢獻(xiàn)源視頻流。在這兩種情況下，處于中心的MCU確定向會(huì)議參與者提供什么來作為其會(huì)議體驗(yàn)。

附圖說明

圖1是根據(jù)示例實(shí)施例被配置為提供視頻信息的基本比特流分析的系統(tǒng)的框圖；

圖2是根據(jù)示例實(shí)施例示出了執(zhí)行基本比特流分析并響應(yīng)于該分析確定修改的視頻顯示用于在視頻會(huì)議端點(diǎn)處顯示的方法的流程圖；

圖3是根據(jù)示例實(shí)施例通過基本比特流分析在視頻信息和自適應(yīng)視頻組合中定位運(yùn)動(dòng)的概念圖；

圖4是根據(jù)示例實(shí)施例通過基本比特流分析來確定視頻信息和自適應(yīng)視頻組合的聚焦或銳度的概念圖；

圖5是根據(jù)示例實(shí)施例通過基本比特流分析在視頻信息和自適應(yīng)視頻組合中確定照明等級(jí)的概念圖；

圖6是根據(jù)示例實(shí)施例通過基本比特流分析在視頻信息和自適應(yīng)視頻組合中定位人的存在的概念圖；

圖7是根據(jù)示例實(shí)施例響應(yīng)于基本比特流分析確定的提供控制信號(hào)的帶內(nèi)信令的概念圖；

圖8是根據(jù)示例實(shí)施例響應(yīng)于基本比特流分析確定的提供控制信號(hào)的帶外信令的概念圖；

圖9是根據(jù)示例實(shí)施例被配置為執(zhí)行基本比特流分析的網(wǎng)絡(luò)使能的設(shè)備的框圖。

具體實(shí)施方式

概覽

在第一網(wǎng)絡(luò)使能的設(shè)備從第二網(wǎng)絡(luò)使能的設(shè)備接收用視頻信息編碼的比特流。在生成與比特流值相對(duì)應(yīng)的圖像幀之前分析比特流，并從比特流中的比特流值確定視頻信息的視覺特性。響應(yīng)于視覺特性，確定修改的視頻顯示。

示例實(shí)施例

圖1中示出的是多點(diǎn)視頻會(huì)議系統(tǒng)，其中，多點(diǎn)視頻會(huì)議單元(“MCU”)105被配置為通過基本流分析來提供視圖增強(qiáng)。特別地，MCU 105接收分別由視頻會(huì)議端點(diǎn)115a-c貢獻(xiàn)的比特流110a-c。包括在比特流110a-c中的是用在視頻會(huì)議端點(diǎn)115a-c獲取的視頻信息(即，視頻圖像)120a-b編碼的比特(bits)。在接收比特流110a-c時(shí)，MCU 105通過基本分析單元125來執(zhí)行對(duì)流的基本分析。

在本文檔中對(duì)比特流的分析被稱為“基本的”，這是因?yàn)樵诜治鲋胺治霾粚?duì)流進(jìn)行完全解碼(即，生成完整視頻幀)。而是，分析可直接在二進(jìn)制比特流數(shù)據(jù)上或在部分解碼之后執(zhí)行，例如，檢查視頻數(shù)據(jù)的編碼單元的運(yùn)動(dòng)矢量(例如，根據(jù)H.265/高效視頻編碼(HEVC)標(biāo)準(zhǔn)的宏模塊或可變尺寸編碼單元)。例如，基本比特流分析可包括修改解碼處理以在編碼單元(例如，宏模塊)的等級(jí)從比特流中的信息分析或形成統(tǒng)計(jì)。使用這些統(tǒng)計(jì)可提供關(guān)于編碼圖像的可形成圖像分析的基礎(chǔ)的高粒度信息，例如，視頻數(shù)據(jù)的宏模塊的運(yùn)動(dòng)矢量，或這些重建宏模塊的平均等級(jí)。將流分析集成到解碼處理中的優(yōu)勢(shì)是：i)在解碼處理期間生成的值對(duì)于基本圖像分析是有用的，并且是現(xiàn)成的；ii)在解碼處理內(nèi)執(zhí)行分析可避免計(jì)算和存儲(chǔ)器帶寬中的大量開銷，如將在后解碼圖像分析中發(fā)生的；iii)處理可在未完成比特流的解碼的情況下應(yīng)用，甚至在解碼處理本身避免了相當(dāng)比例的計(jì)算，完全解碼實(shí)際上是不必要的。

響應(yīng)于由基本分析單元125執(zhí)行的分析的結(jié)果(具體示例將參考圖3-6被描述)，MCU 105確定視頻會(huì)議端點(diǎn)115a-c的每個(gè)的端點(diǎn)顯示視頻數(shù)據(jù)130a-c。MCU 105為每個(gè)參與視頻端點(diǎn)115a-c提供由參與端點(diǎn)115a-c的某些或全部貢獻(xiàn)于會(huì)議的視頻的組合形成的會(huì)議的“視圖”，組合通常包括所有會(huì)議參與者的最相關(guān)的子集(并排除該視圖被發(fā)送的端點(diǎn)的貢獻(xiàn))，以適合每個(gè)接收端點(diǎn)的接受能力的形式再編碼。MCU編碼端點(diǎn)顯示視頻數(shù)據(jù)130a-c然后通過視頻會(huì)議比特流135a-c被傳輸至視頻會(huì)議端點(diǎn)115a-c。如果MCU 105用作轉(zhuǎn)碼MCU，則所確定的端點(diǎn)顯示數(shù)據(jù)130a-c將是從貢獻(xiàn)視頻參與者比特流110a-c生成的視頻比特流。生成視頻比特流可包括確定多個(gè)解碼視頻流到單一視頻流的組合(選擇和定位)用于編碼并傳輸至?xí)h端點(diǎn)115a-c。如果MCU 105用作切換MCU，則所確定的端點(diǎn)顯示視頻數(shù)據(jù)130a-c將是被切換至視頻會(huì)議端點(diǎn)115a-c的不同視頻流。在切換MCU的上下文中，確定端點(diǎn)顯示數(shù)據(jù)130a可包括確定由MCU切換至端點(diǎn)115a-c的多個(gè)流的選擇。

此外，返回到端點(diǎn)115a(或b或c)的視頻可隨著由115a(或b或c)貢獻(xiàn)的視頻的狀況應(yīng)被改變(發(fā)言人定位、照明等)的指示140a-c而增大。在轉(zhuǎn)碼MCU的情況下，該指示可被直接添加到編碼在所返回比特流中的組合。

因此，對(duì)貢獻(xiàn)視頻流的分析及對(duì)其描述的場(chǎng)景的解釋可改變貢獻(xiàn)視頻流對(duì)于由MCU分布的端點(diǎn)顯示視頻數(shù)據(jù)中的其他端點(diǎn)是否或如何可見，和/或產(chǎn)生指示由端點(diǎn)貢獻(xiàn)的視頻流的具體特性可被改善的反饋信號(hào)。

現(xiàn)在參考圖2，其中描繪的是示出了可由例如圖1的MCU 105和基本分析單元125執(zhí)行以便通過基本流分析來實(shí)現(xiàn)視圖增強(qiáng)的處理的流程圖。處理在210處開始，其中，在第一網(wǎng)絡(luò)使能的設(shè)備(例如，圖1的MCU 105)接收比特流。從第二網(wǎng)絡(luò)使能的設(shè)備(例如，圖1的視頻會(huì)議端點(diǎn)115a-b的一個(gè))接收比特流，并用視頻信息編碼。

在220處，在生成與比特流值相對(duì)應(yīng)的圖像幀之前，通過比特流值的分析來確定視頻信息的視覺特性。換句話說，在對(duì)比特流進(jìn)行完全解碼之前(或在某些情況下不對(duì)比特流進(jìn)行完全解碼)，在所接收的比特流上執(zhí)行基本流分析以形成圖像幀。根據(jù)某些示例，檢查比特流的二值值以便確定視頻信息的視覺特性。根據(jù)其他示例，檢測(cè)由所接收的比特流描述的圖像的要素。例如，基本流分析可作為比特流的完整或部分解碼的一部分來執(zhí)行；完全重建和完整的圖像的分析是不必要的。特別地，可對(duì)比特流進(jìn)行解碼以形成宏模塊，并檢查宏模塊及其屬性以便確定視頻信息的視覺特性。

在220處確定的特性的類型可包括視頻信息中是否存在運(yùn)動(dòng)，并且如果存在，該運(yùn)動(dòng)位于視頻幀的何處。所確定的特性還可包括視頻信息的亮度、色度以及銳度或聚焦。如何使用這些特征的具體示例參考圖3-6在下面被描述。此外，這些特性和/或其組合，可用于提供視頻內(nèi)容的關(guān)鍵屬性(例如，所分析場(chǎng)景中人的存在和不存在)的指示。對(duì)從比特流解碼處理的儀器獲得的這些特性進(jìn)行評(píng)估以確定貢獻(xiàn)視頻內(nèi)容的最優(yōu)性，并改編視頻內(nèi)容應(yīng)被用在視頻會(huì)議的組合視圖中的方式。

通過基本比特流分析來確定視頻信息的視覺特性可包括隨著時(shí)間和隨著相鄰編碼單元來平均或“平滑”比特流的特性。通過隨著時(shí)間和隨著小圖像子區(qū)域來平均或平滑特性，視覺特性的確定可解釋由視頻編碼器添加到比特流的偽跡(artifact)以及視頻幀的不平等處置(例如，差分編碼)，并最小化不與潛在視覺特性相對(duì)應(yīng)的暫態(tài)噪聲引起的影響。

在編碼單元或宏模塊等級(jí)形成的所分析視頻流的視覺特性的度量，可與相鄰的編碼單元或宏模塊聚合以在子區(qū)域等級(jí)形成度量。覆蓋比特流所顯示的整個(gè)視圖的子區(qū)域的陣列形成每個(gè)視覺特性的映射，并允許確定該特性的空間分布。例如，確定與人存在相對(duì)應(yīng)的特性，允許評(píng)價(jià)在貢獻(xiàn)視頻流所描述的視圖中是否存在任何人類參與者，并且如果存在，他們是否被很好地構(gòu)造(frame)在該視圖內(nèi)，即，被視圖邊緣很好地約束，離攝像機(jī)太近或太遠(yuǎn)。

在230處，響應(yīng)于所確定的視覺特性確定修改的視頻顯示。例如，如果在220處確定視頻信息中存在運(yùn)動(dòng)，則修改的顯示可以是確定應(yīng)如何構(gòu)造視頻信息的移動(dòng)部分以便在包括修改的視頻流的圖像幀的突出部分獲取該運(yùn)動(dòng)。根據(jù)其他示例，修改的視頻顯示可以是確定多個(gè)視頻流的期望組合，例如，圖1的端點(diǎn)顯示視頻數(shù)據(jù)130a-c的一個(gè)或多個(gè)，其中組合流的布置和/或組合是基于所確定的視頻信息的色度、亮度和/或聚焦特性。特別地，所確定的亮度信息可指示在特定端點(diǎn)獲取視頻信息的攝像機(jī)被鏡頭蓋或關(guān)閉的快門覆蓋。因此，可確定來自該比特流的視頻應(yīng)從由轉(zhuǎn)碼MCU生成的組合視頻流中省略，或不通過切換MCU切換至端點(diǎn)。類似地，所確定的色度和運(yùn)動(dòng)信息可每個(gè)、或一起指示比特流的視頻信息中不存在人類用戶，并且來自該比特流的視頻應(yīng)從組合視頻流中省略。如果確定人類用戶在視頻信息中未居中，則色度和/或運(yùn)動(dòng)信息還可用于確定如何重構(gòu)造或重組視頻信息。

除了在230中確定修改的視頻顯示，可采取進(jìn)一步的措施以根據(jù)所確定的修改的視頻顯示來影響來自MCU的視頻流的分布。例如，如果從亮度信息確定比特流正由具有關(guān)閉的快門的攝像機(jī)貢獻(xiàn)，則響應(yīng)于所確定的修改的視頻顯示，轉(zhuǎn)碼MCU可通過生成省略由關(guān)閉快門攝像機(jī)提供的比特流的修改的顯示來改變視頻會(huì)議顯示數(shù)據(jù)的分布。切換MCU可通過不將關(guān)閉快門攝像機(jī)所提供的比特流切換至其他視頻會(huì)議參與者來修改視頻會(huì)議數(shù)據(jù)的分布。

根據(jù)修改視頻會(huì)議信息的分布的另一示例，響應(yīng)于基本比特流分析轉(zhuǎn)碼MCU可組合視頻比特流?；颈忍亓鞣治隹山衣队蒑CU分布的視頻會(huì)議顯示數(shù)據(jù)的當(dāng)前組合重疊內(nèi)容在人類參與者的圖像的某些或全部。所確定的修改的視頻顯示將是新組合，其中，人類參與者未與其他內(nèi)容重疊。因此，轉(zhuǎn)碼MCU將把分布式顯示流的組合修改為未覆蓋人類圖像的組合，即，改變分布式顯示以匹配所確定的修改的顯示。根據(jù)另一示例，基本比特流分析可指示參與者的貢獻(xiàn)視頻信息顯示存在許多會(huì)議參與者的大房間的廣角視圖。如果該圖像用在小尺度，則可能無法辨認(rèn)獨(dú)立的參與者。因此，基本比特流分析可使得MCU確保廣角視圖僅用在或分布在大尺度。換句話說，基本流分析的結(jié)果用于修改和增強(qiáng)從會(huì)議分布的視頻。

響應(yīng)于所確定的視頻顯示，MCU還可通過視頻會(huì)議端點(diǎn)來影響視頻會(huì)議數(shù)據(jù)的貢獻(xiàn)。由視頻會(huì)議參與者貢獻(xiàn)的流屬性的分析還可允許確定參與者的貢獻(xiàn)可被改善。當(dāng)確定參與者的貢獻(xiàn)可被改善時(shí)，在步驟230中做出的確定可包括確定參與者為改善其貢獻(xiàn)可采取的補(bǔ)救措施；即，改編視頻會(huì)議參與者貢獻(xiàn)視頻的方式。再次使用比特流是由具有關(guān)閉快門的攝像機(jī)提供的示例，MCU可向視頻會(huì)議參與者發(fā)送帶內(nèi)或帶外指示，該指示旨在提示參與者通過打開攝像機(jī)快門來修改其所發(fā)送的視頻。

換句話說，MCU可通過基本比特流分析來確定參與者的貢獻(xiàn)是次優(yōu)的，并還可確定參與者為優(yōu)化其貢獻(xiàn)可采取的補(bǔ)救措施。響應(yīng)于確定可如何優(yōu)化參與者的貢獻(xiàn)，期望優(yōu)化的信令或指示可在視頻中被帶內(nèi)返回(例如，作為由轉(zhuǎn)碼MCU發(fā)送到會(huì)議參與者的視頻信息的一部分)或經(jīng)由任何其他會(huì)議控制或通信信道被帶外返回(針對(duì)轉(zhuǎn)碼或切換MCU)。在任一情況下，基本流分析的結(jié)果生成動(dòng)作以修改和增強(qiáng)貢獻(xiàn)于會(huì)議的視頻。

響應(yīng)于到接收帶內(nèi)或帶外信令，與次優(yōu)視頻相關(guān)聯(lián)的用戶可采取措施來優(yōu)化視頻。例如，如果通過比特流分析發(fā)現(xiàn)過度運(yùn)動(dòng)，則可向視頻會(huì)議端點(diǎn)發(fā)送指示端點(diǎn)所使用的視頻獲取設(shè)備需要被穩(wěn)定的信令信息。因此，用戶可采取補(bǔ)救措施來穩(wěn)定他或她的攝像機(jī)。類似地，聚焦信息可指示視頻信息未焦點(diǎn)對(duì)準(zhǔn)，因此可向用戶傳輸指示獲取視頻信息的攝像機(jī)應(yīng)被聚焦的信號(hào)。因此，用戶可采取補(bǔ)救措施來聚焦他或她的攝像機(jī)?；颈忍亓鞣治鲞€可指示貢獻(xiàn)視頻會(huì)議流包含人類存在，但該人類存在在圖像中未被很好地構(gòu)造。作為響應(yīng)，可向參與者返回帶內(nèi)或帶外指示，該指示將指導(dǎo)參與者改變他或她自己的位置以更中心地位于攝像機(jī)視場(chǎng)中。在所有這些示例中，基本比特流檢測(cè)可用于修改和/或改善由視頻會(huì)議參與者貢獻(xiàn)的視頻會(huì)議信息。

MCU還可利用控制信道來直接修復(fù)由在該流上執(zhí)行的基本流分析確定為次優(yōu)的貢獻(xiàn)視頻會(huì)議參與者視頻流的特性。例如，視頻會(huì)議參與者可能正使用配備遠(yuǎn)端攝像機(jī)控制(FECC)系統(tǒng)的攝像機(jī)，該FECC系統(tǒng)被配置為接收控制信號(hào)以自動(dòng)地對(duì)準(zhǔn)、聚焦、上電、或以其他方式調(diào)整配備FECC的攝像機(jī)。因此，控制信道可允許解碼單元(在此情況下MCU主持會(huì)議)直接改變攝像機(jī)對(duì)準(zhǔn)以改善不良構(gòu)造參與者的構(gòu)造、直接更改攝像機(jī)的聚焦、或以其他方式控制攝像機(jī)，從而直接修改來自視頻會(huì)議參與者的視頻會(huì)議信息的貢獻(xiàn)。

現(xiàn)在參考圖3，其中描繪的是從視頻比特流的基本分析確定的運(yùn)動(dòng)信息可如何用于改編視頻顯示的組合的示例。為了確定比特流的視頻信息中是否存在運(yùn)動(dòng)，可從比特流提取并聚合運(yùn)動(dòng)矢量。特別地，由于在編碼單元或宏模塊等級(jí)確定運(yùn)動(dòng)矢量，可通過基本流分析來確定運(yùn)動(dòng)矢量。

此外，如果運(yùn)動(dòng)屬性在由編碼圖像的細(xì)分所定義的區(qū)域內(nèi)在水平和垂直方向二者被聚合超過編碼單元或宏模塊等級(jí)，則所描繪場(chǎng)景內(nèi)運(yùn)動(dòng)的分布可被確定，使得可通過基本比特流分析來執(zhí)行邊緣分析。例如，如果幀內(nèi)分段運(yùn)動(dòng)統(tǒng)計(jì)指示運(yùn)動(dòng)的最大貢獻(xiàn)延伸至圖片邊緣的一個(gè)或多個(gè)，則很有可能可通過調(diào)整攝像機(jī)的對(duì)準(zhǔn)、縮放、或定位來更好的構(gòu)造場(chǎng)景。因此，分段運(yùn)動(dòng)統(tǒng)計(jì)或“映射”可形成下列項(xiàng)的評(píng)價(jià)的基礎(chǔ)：a)場(chǎng)景內(nèi)運(yùn)動(dòng)的本質(zhì)(噪音、環(huán)境、人)、b)視場(chǎng)內(nèi)人的存在或不存在、c)流中所描繪場(chǎng)景的移動(dòng)(并由此推斷，重要)部分在視場(chǎng)內(nèi)是否被很好地構(gòu)造并可如何改善此構(gòu)造、以及d)場(chǎng)景的哪些部分對(duì)于其他會(huì)議參與者的重疊視圖的疊加可能是適當(dāng)?shù)摹?/p>

運(yùn)動(dòng)可被聚合為子圖像區(qū)內(nèi)或跨子圖像區(qū)的標(biāo)量或矢量屬性。形成子圖像場(chǎng)集的矢量度量可允許從歸因于攝像機(jī)(橫向、旋轉(zhuǎn)或縮放)運(yùn)動(dòng)的整個(gè)圖像運(yùn)動(dòng)分離場(chǎng)景內(nèi)目標(biāo)的圖像內(nèi)運(yùn)動(dòng)。子圖像運(yùn)動(dòng)矢量的相關(guān)可指示橫向運(yùn)動(dòng)(平移或傾斜)，并且圖像中心的對(duì)側(cè)上的場(chǎng)對(duì)的反相關(guān)可指示攝像機(jī)縮放(針對(duì)室系統(tǒng)端點(diǎn))或旋轉(zhuǎn)(針對(duì)移動(dòng)設(shè)備上的手持端點(diǎn))。

基本比特流分析還可用于在與參與者相關(guān)聯(lián)的運(yùn)動(dòng)和與視頻幀的噪音和/或背景或環(huán)境特征相關(guān)聯(lián)的運(yùn)動(dòng)之間進(jìn)行區(qū)分。例如，視頻會(huì)議參與者可位于具有閃光燈的環(huán)境內(nèi)。參與者的環(huán)境的天花板的燈光的閃爍可通過基本比特流分析被閱讀為“運(yùn)動(dòng)”。攝像機(jī)噪聲也可通過基本比特流分析被閱讀為“運(yùn)動(dòng)”。然而，可通過考慮編碼視頻幀的比特流的信息密度來補(bǔ)償該“運(yùn)動(dòng)”。

例如，視頻壓縮算法通過使用高效頻率空間表示、利用幀內(nèi)空間冗余、和/或幀間時(shí)間冗余來表示視覺圖像的序列。描述細(xì)節(jié)和差異要求更大數(shù)量的信息。因此，感興趣的前景目標(biāo)，特別是人的存在，比背景(趨于靜態(tài)、較少細(xì)節(jié)、和/或較少焦點(diǎn)對(duì)準(zhǔn))更可能展示更高等級(jí)的細(xì)節(jié)和差異。因此，將所接收的編碼比特流中信息的空間密度看作可指示編碼場(chǎng)景的內(nèi)容的補(bǔ)充特性是有用的。在對(duì)視頻比特流進(jìn)行解碼中，在從比特獲得信息空間密度的測(cè)量方面存在較小額外成本，該成本花費(fèi)在所分析視頻比特流中的每個(gè)編碼宏模塊上，并結(jié)合從比特流獲得的更直接的視覺特性(運(yùn)動(dòng)、亮度、色度)來使用此成本以便分析視頻比特流的內(nèi)容。

通過分析信息密度，可從與會(huì)議參與者的背景或環(huán)境相關(guān)聯(lián)的運(yùn)動(dòng)來區(qū)分與用戶相關(guān)聯(lián)的運(yùn)動(dòng)。例如，閃光燈可使得與視頻會(huì)議參與者的環(huán)境(例如，房間的天花板)相關(guān)聯(lián)的視頻幀隨著幀而改變。環(huán)境的這些相同部分(例如，房間的天花板或墻壁)一般可以是平坦、無特征的表面，并因此缺乏與人類圖像相關(guān)聯(lián)的補(bǔ)償細(xì)節(jié)。因此，通過結(jié)合視頻幀的各部分的細(xì)節(jié)等級(jí)(即，信息密度)來評(píng)價(jià)運(yùn)動(dòng)，可從運(yùn)動(dòng)的噪聲驅(qū)動(dòng)區(qū)域(例如，閃光燈引起的“運(yùn)動(dòng)”)區(qū)分會(huì)議參與者。此外，可從編碼圖像的宏模塊(以及較大空間區(qū)域)中編碼信息的相關(guān)花費(fèi)的確定獲得視頻幀中細(xì)節(jié)的復(fù)雜度或等級(jí)。因此，可通過基本比特流分析來獲取細(xì)節(jié)信息，并結(jié)合也通過基本比特流分析獲取的運(yùn)動(dòng)信息來容易地使用。

此外，相對(duì)于較小獨(dú)立主體，可通過使用從與每個(gè)宏模塊相關(guān)聯(lián)的運(yùn)動(dòng)和與相鄰宏模塊相關(guān)聯(lián)的運(yùn)動(dòng)的差異形成的運(yùn)動(dòng)發(fā)散度量來增強(qiáng)聚合運(yùn)動(dòng)屬性以描述大目標(biāo)的運(yùn)動(dòng)。給定區(qū)內(nèi)多個(gè)移動(dòng)目標(biāo)的場(chǎng)將趨于貢獻(xiàn)高聚合運(yùn)動(dòng)和高發(fā)散，然而單一移動(dòng)目標(biāo)將具有高運(yùn)動(dòng)和低發(fā)散，特別是如果移動(dòng)目標(biāo)未完全包含在正在評(píng)價(jià)的宏模塊或宏模塊的聚合中。因此，聚合和發(fā)散測(cè)量的比較，連同聚合運(yùn)動(dòng)上的閾值，可用于確定正在評(píng)價(jià)的區(qū)域內(nèi)是否存在一個(gè)或多個(gè)相干移動(dòng)主體。

如圖3所示，用戶305是視頻會(huì)議中視頻會(huì)議端點(diǎn)(例如，圖1的端點(diǎn)115a-c)處的參與者。用戶305是會(huì)議中當(dāng)前活躍的發(fā)言人，并因此用戶305正在發(fā)言和移動(dòng)，如移動(dòng)部分310和315a-b所示。根據(jù)此示例，移動(dòng)部分310是用戶305的頭部，而移動(dòng)部分315a-b對(duì)應(yīng)于用戶305的手部。圖像320表示從用戶305發(fā)送到MCU(例如，圖1的轉(zhuǎn)碼MCU 105)的視頻信息。如果未利用上面描述的存在確定技術(shù)，則接收視頻信息320的MCU可簡(jiǎn)單地將來自其他用戶的視頻信息327a-c重疊在視頻信息320，如視頻圖像325所示。如可在視頻信息325中看到的，與移動(dòng)部分315a和b相對(duì)應(yīng)的視頻信息320的各部分在組合視頻信息325中被視頻信息327a-c覆蓋。由于視頻會(huì)議主持人或用戶經(jīng)常使用他們的手部來加強(qiáng)他們的點(diǎn)，覆蓋移動(dòng)部分315a和b可能降低用戶305的演示效率。

在另一方面，通過實(shí)現(xiàn)上面描述的存在確認(rèn)技術(shù)，當(dāng)視頻信息320與來自其他用戶327a-c的視頻信息進(jìn)行組合時(shí)，可組合結(jié)果視頻信息330以便出現(xiàn)移動(dòng)部分310和315a-b。特別地，上面描述的技術(shù)能夠在視頻信息320中定位區(qū)域310和315a-b，并當(dāng)確定視頻信息330的組合時(shí)使用該知識(shí)。當(dāng)在轉(zhuǎn)碼MCU中實(shí)現(xiàn)時(shí)，視頻信息330的重組可以是MCU用確保移動(dòng)部分310和315a-b出現(xiàn)的組合來生成新視頻比特流的結(jié)果。

根據(jù)其他示例，如果通過邊緣分析確定移動(dòng)部分310和315a-b的任意部分位于視頻信息320的邊緣附近或邊緣處，則可確定應(yīng)重構(gòu)造與視頻信息320相關(guān)聯(lián)的視頻會(huì)議參與者。因此，可向貢獻(xiàn)視頻信息320的視頻會(huì)議端點(diǎn)發(fā)送信令或控制信息以指示或控制視頻信息320的重構(gòu)造。

現(xiàn)在參考圖4。其中示出的是從視頻比特流的基本分析確定的聚焦信息可如何用于確定修改的視頻會(huì)議視頻顯示的組合的概念示例。視頻信息420a-d表示從視頻會(huì)議端點(diǎn)(例如，圖1的端點(diǎn)115a-c)發(fā)送到MCU(例如，圖1 MCU 105)的視頻信息。如果未執(zhí)行與視頻信息420a-d相關(guān)聯(lián)的比特流的基本分析，則MCU將把四個(gè)流組合到一個(gè)組合視頻圖像中，而不管底層(underlying)視頻信息的質(zhì)量或聚焦。

在另一方面，如圖4所示，在與視頻信息420a-d相關(guān)聯(lián)的比特流上執(zhí)行基本分析。在基本分析期間，確定視頻信息420a未焦點(diǎn)對(duì)準(zhǔn)，而剩余的視頻信息(視頻信息420b-d)是焦點(diǎn)對(duì)準(zhǔn)的。響應(yīng)于此確定，可通過從組合視頻信息430省略視頻信息420a來修改視頻信息的分布。當(dāng)在轉(zhuǎn)碼MCU中實(shí)現(xiàn)時(shí)，可通過生成缺乏視頻信息420a的視頻比特流來實(shí)現(xiàn)視頻信息420a的省略。當(dāng)在切換MCU中實(shí)現(xiàn)時(shí)，可不將視頻信息420a切換至視頻會(huì)議參與者。此外，在切換或轉(zhuǎn)碼MCU實(shí)現(xiàn)方式中，可通過向貢獻(xiàn)視頻信息420的視頻會(huì)議端點(diǎn)發(fā)送信令或控制信息以指示或控制視頻信息420的再聚焦來修改視頻信息的貢獻(xiàn)。信令或控制信息可在圖4中示出的視頻信息420a的省略之外或作為其替代被發(fā)送。實(shí)際上，在某些實(shí)現(xiàn)方式中，使用信令或控制信息來改正或改善視頻信息420a可優(yōu)選于從組合或切換視頻信息省略視頻信息420a。

當(dāng)確定如果視頻信息(例如，視頻信息420a)是焦點(diǎn)對(duì)準(zhǔn)的，可利用來自編碼比特流的頻域的剩余系數(shù)信息。例如，視頻信息中不良聚焦的指示可以是沒有視頻信息的部分貢獻(xiàn)于包括低到中量化參數(shù)值的比特流中的高頻。通過分析剩余系數(shù)的分布，可標(biāo)識(shí)不良聚焦視頻信息。如果在基本分析期間檢測(cè)到這樣的比特流，則可確定編碼在流中的視頻信息未焦點(diǎn)對(duì)準(zhǔn)，并因此應(yīng)從組合視頻圖像省略視頻信息。

現(xiàn)在參考圖5，其中示出的是從視頻比特流的基本分析確定的亮度信息可如何用于組合修改的視頻會(huì)議視頻顯示的概念示例。視頻信息520a-d表示從視頻會(huì)議端點(diǎn)(例如，圖1的端點(diǎn)115a-c)發(fā)送至MCU(例如，圖1的MCU 105)的視頻信息。如果未執(zhí)行與視頻信息520a-d相關(guān)聯(lián)的比特流的基本分析，則MCU可把四個(gè)流組合到一個(gè)組合視頻圖像，而不管底層視頻信息的亮度和/或?qū)Ρ榷取?/p>

在另一方面，如圖5所示，在與視頻信息520a-d相關(guān)聯(lián)的比特流上執(zhí)行基本分析。在基本分析期間，確定視頻信息520a是用極其低光環(huán)境的信息來編碼，而剩余的視頻信息(視頻信息520b-d)包含具有足夠照明的環(huán)境的信息。響應(yīng)于此確定，可通過從組合視頻信息530省略視頻信息520a來修改視頻信息的分布。當(dāng)在轉(zhuǎn)碼MCU中實(shí)現(xiàn)時(shí)，可通過生成缺乏視頻信息520a的視頻比特流來實(shí)現(xiàn)視頻信息520a的省略。當(dāng)在切換MCU中實(shí)現(xiàn)時(shí)，可不將視頻信息520a切換至視頻會(huì)議參與者。此外，可通過向貢獻(xiàn)視頻信息520的視頻會(huì)議端點(diǎn)發(fā)送信令或控制信息以指示或控制視頻信息520的亮度來修改視頻信息的貢獻(xiàn)。然而，如果確定攝相機(jī)快門是關(guān)閉的或鏡頭蓋是打開的，則從分布排除視頻信息520可能是有利(favored)的，因?yàn)橛脩艨赡苁怯心康牡仃P(guān)閉了他們的快門或保持他們的鏡頭蓋打開。

為了確定照明等級(jí)，基本比特流分析可分析集成到比特流解碼處理中的亮度-色度(“YbCbCr”)數(shù)字視頻信號(hào)的亮度，而不是執(zhí)行分離的圖像分析。還可組合其他基本分析技術(shù)來使用亮度信息的基本分析，例如，參考圖3在上面描述的運(yùn)動(dòng)技術(shù)。例如，甚至明亮圖像的照明可以是次優(yōu)的，例如，當(dāng)由于光源在參與者后面而參與者是背光時(shí)。通過組合運(yùn)動(dòng)分析來確定具有亮度值和/或亮度值的對(duì)比度的參與者的位置，可標(biāo)識(shí)背光參與者。一旦確定參與者是背光的，光濾波技術(shù)可被應(yīng)用于視頻信息，或可將信令發(fā)送回參與者以改正背面照明，如參考圖7和8描述的。

根據(jù)其他示例，基本比特流分析的結(jié)果可與從視頻會(huì)議參與者接收的其他信息相組合。例如，在圖5中，與視頻信息520a相關(guān)聯(lián)的亮度等級(jí)可指示攝像機(jī)快門是關(guān)閉的，而與視頻信息520a相關(guān)聯(lián)的音頻流指示與視頻信息520a相關(guān)聯(lián)的參與者正試圖貢獻(xiàn)于視頻會(huì)議。特別地，如果存在從與視頻信息520a相關(guān)聯(lián)的該端點(diǎn)貢獻(xiàn)的音頻，則參與者很有可能應(yīng)被看到以及聽到。因此，快門是關(guān)閉的視覺或音頻指示在源端點(diǎn)處可被示出或放大，以便提示貢獻(xiàn)參與者打開快門并向他或她正對(duì)著講話的參與者表現(xiàn)自己。

類似于參考圖5在上面的討論，圖6示出了從壓縮比特流的基本分析確定的色度信息可如何用于組合修改的視頻會(huì)議視頻顯示的概念示例，該壓縮比特流從YCbCr彩色空間中存在的視頻序列的編碼獲得。用視頻數(shù)據(jù)編碼的比特流的色度值通?？梢砸詮V泛適用的方式與人類皮膚色調(diào)相關(guān)聯(lián)。例如，人類皮膚色調(diào)通常將落入跨越種族和人種界限的色度值的范圍內(nèi)。因此，比特流中色度值的基本分析可用于確定包括在比特流中的視頻信息內(nèi)是否實(shí)際上存在參與者。當(dāng)標(biāo)準(zhǔn)被應(yīng)用空間擴(kuò)展上并與其他特性(例如，運(yùn)動(dòng))相關(guān)聯(lián)時(shí)，使用色度來指示存在被強(qiáng)化。

如圖6所示，在MCU(例如，圖1的MCU 105)處，在與視頻信息620a-d相關(guān)聯(lián)的每個(gè)比特流上執(zhí)行色度值的基本分析。響應(yīng)于基本分析，從色度等級(jí)確定視頻信息620a不包括參與者，而視頻信息620b-d包含參與者。因此，當(dāng)MCU組合視頻信息620a-d以形成端點(diǎn)顯示視頻數(shù)據(jù)630時(shí)，從端點(diǎn)顯示視頻數(shù)據(jù)630省略來自視頻信息620a的視頻數(shù)據(jù)。當(dāng)在轉(zhuǎn)碼MCU中實(shí)現(xiàn)時(shí)，可通過生成缺乏視頻信息620a的視頻比特流來實(shí)現(xiàn)視頻信息620a的省略。當(dāng)在切換MCU中實(shí)現(xiàn)時(shí)，可不將視頻信息620a切換至視頻會(huì)議參與者。類似于其他示例，可通過向貢獻(xiàn)視頻信息620的視頻會(huì)議端點(diǎn)發(fā)送信令或控制信息來修改視頻信息的貢獻(xiàn)。盡管當(dāng)色度分析指示視頻信息620中不存在用戶時(shí)，從分布排除視頻信息620可能是有利的技術(shù)，因?yàn)橛脩艨梢庾R(shí)到他們未被獲取在視頻信息620中。

色度信息還可與其他基本分析信息組合以更準(zhǔn)確地確定視頻信息620a-d中是否存在用戶。例如，不僅色度信息落入人類參與者的具體范圍，而且人類參與者在視頻會(huì)議期間將經(jīng)常移動(dòng)。因此，展示人類參與者的正確色度值且同時(shí)展示運(yùn)動(dòng)矢量的數(shù)據(jù)的宏模塊可強(qiáng)烈暗示(suggestive)包含人類參與者信息的宏模塊。當(dāng)這樣的宏模塊被標(biāo)識(shí)時(shí)，MCU可被配置為包括與端點(diǎn)顯示視頻數(shù)據(jù)(例如，端點(diǎn)顯示視頻數(shù)據(jù)630)中的宏模塊相關(guān)聯(lián)的視頻信息。

現(xiàn)在參考圖7，其中描繪的是結(jié)合帶內(nèi)信令通過直接修改返回到參與者715的視頻由轉(zhuǎn)碼MCU使用基本碼流分析。帶內(nèi)信令指示由該視頻會(huì)議參與者貢獻(xiàn)的視頻信息的一個(gè)或多個(gè)質(zhì)量的必要調(diào)整。如本文使用的，“帶內(nèi)”指直接在發(fā)送到視頻會(huì)議參與者的視頻比特流中被發(fā)送的信息。特別地，視頻會(huì)議參與者715經(jīng)由比特流710將視頻信息720a發(fā)送到MCU 705。通過基本分析單元725在比特流710上執(zhí)行基本分析。比特流分析單元725可確定視頻信息720a包含過量運(yùn)動(dòng)，且MCU 705通過在視頻會(huì)議比特流735中添加此過量運(yùn)動(dòng)的圖形或文本信令740來將此指示給參與者715。

例如，當(dāng)從具有內(nèi)置或附著攝像機(jī)的手持或移動(dòng)設(shè)備上的視頻會(huì)議客戶端加入視頻會(huì)議時(shí)，設(shè)備的運(yùn)動(dòng)將導(dǎo)致顯示給其他會(huì)議參與者的場(chǎng)景中的高度運(yùn)動(dòng)。此高度運(yùn)動(dòng)可降低視頻壓縮的性能，并還可降低查看會(huì)議參與者的其他人的體驗(yàn)?？赏ㄟ^屏幕上的圖標(biāo)來通知貢獻(xiàn)此運(yùn)動(dòng)的參與者過度的攝像機(jī)運(yùn)動(dòng)，鼓勵(lì)他們更穩(wěn)定地安裝移動(dòng)端點(diǎn)。因此，當(dāng)MCU 705確定并引起端點(diǎn)顯示視頻數(shù)據(jù)730經(jīng)由視頻會(huì)議比特流735的傳輸時(shí)，MCU 705還包括帶內(nèi)信令740。根據(jù)本示例，在已確定視頻信息720a包含過量運(yùn)動(dòng)的情況下，信令740可包括待顯示給參與者715的消息，該消息指示其攝像機(jī)正被過度的移動(dòng)且正使得降級(jí)的(degraded)視頻信息被發(fā)送給MCU 705。類似地，如果比特流分析單元725確定視頻信息720a包括低光或背光圖像，信令740可使得向參與者715顯示他或她需要在他或她的位置調(diào)整照明的消息。根據(jù)其他示例，信令信息740可指示用戶715他或她的鏡頭蓋是打開的、圖像未焦點(diǎn)對(duì)準(zhǔn)、或該參與者715未在視頻信息720a的幀內(nèi)。

在接收到信令740時(shí)，參與者715可采取使得修正的視頻信息720b經(jīng)由比特流710被發(fā)送到MCU 705的糾正措施。例如，參與者715可穩(wěn)定他或她的攝像機(jī)、移至更中心的位置、調(diào)整他或她的照明、打開他或她的攝像機(jī)快門、聚焦他或她的攝像機(jī)、或采取信令740指示的其他糾正措施。

現(xiàn)在參考圖8，其中描繪的是允許控制或修正由視頻會(huì)議參與者發(fā)送的視頻信息的結(jié)合帶外信令使用基本流分析。如本文使用的，“帶外信令”指未體現(xiàn)在被發(fā)送到會(huì)議參與者的視頻比特流中的信號(hào)。

如圖8所描繪的，視頻會(huì)議參與者815經(jīng)由比特流810將視頻信息820a發(fā)送到MCU 805。通過基本分析單元825在比特流810上執(zhí)行基本分析。比特流分析單元825可確定視頻信息820a包含照明不足。除了確定視頻會(huì)議比特流835包含視頻會(huì)議視頻信息830之外，MCU 805還可生成帶外信令840。如本文所使用的，帶外信令指經(jīng)由不同于被用于將視頻信息從MCU發(fā)送到視頻會(huì)議參與者的信道的信道發(fā)生的信令。返回到所分析的具有次優(yōu)特性的視頻的源的信令，對(duì)于源端點(diǎn)處的人類參與者可將次優(yōu)性表現(xiàn)為顯示在適當(dāng)接口上的文本或圖形指示，指導(dǎo)他們來修正次優(yōu)性?；蛐帕羁芍苯优c可在沒有人類參與者的情況下修改次優(yōu)性的機(jī)制交互。

例如，可通過從參與者815所使用的應(yīng)用分離的應(yīng)用來控制在參與者815的位置處負(fù)責(zé)照明的環(huán)境控制系統(tǒng)，以加入視頻會(huì)議。因此，MCU 805可經(jīng)由環(huán)境控制系統(tǒng)所采用的系統(tǒng)而不是視頻會(huì)議比特流835來發(fā)送帶外信令840。

根據(jù)其他示例，信令信息840可包括直接控制參與者815的攝像機(jī)或環(huán)境的控制信號(hào)。例如，如果可電子地控制參與者815的攝像機(jī)的聚焦，則信令信息840可包括在沒有任何來自參與者815的干涉的情況下來調(diào)整攝像機(jī)的聚焦的信號(hào)。類似地，如果MCU 805確定正在以比視頻會(huì)議中的其他參與者更高或更低的質(zhì)量來發(fā)送視頻信息820a，則信令信息840可控制參與者815的攝像機(jī)和視頻會(huì)議軟件使得當(dāng)修正視頻信息820b被發(fā)送到MCU 805時(shí)，修正視頻信息820b的質(zhì)量可與其他視頻會(huì)議參與者的修正視頻信息的質(zhì)量相匹配，或?qū)⑼ㄟ^之前提供的視頻信息來改善。

帶外信令的其他示例可包括作為短消息服務(wù)(“SMS”)消息、作為電子郵件、作為即時(shí)消息協(xié)議消息、或未包括在視頻比特流835中的其他通信形式來發(fā)送信令消息840。

現(xiàn)在轉(zhuǎn)向圖9，其中描繪的是被配置為執(zhí)行結(jié)合圖1-8在本文所描述技術(shù)的網(wǎng)絡(luò)設(shè)備105(例如，圖1的MCU 105)的示例框圖。MCU 105包括使能經(jīng)由網(wǎng)絡(luò)的通信的一個(gè)或多個(gè)端口910、(一個(gè)或多個(gè))處理器920、總線930、以及存儲(chǔ)器940。存儲(chǔ)器940包含操作系統(tǒng)945和基本分析單元125的軟件指令。

存儲(chǔ)器940可包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、磁盤存儲(chǔ)介質(zhì)設(shè)備、光存儲(chǔ)介質(zhì)設(shè)備、閃速存儲(chǔ)器設(shè)備、電、光、或其他物理/有形(例如，非暫態(tài))存儲(chǔ)器存儲(chǔ)設(shè)備。例如，處理器920是執(zhí)行用于MCU 105的指令的微處理器或微控制器。因此，通常，存儲(chǔ)器940可包括用包括計(jì)算機(jī)可執(zhí)行指令的軟件編碼的一個(gè)或多個(gè)有形(非暫態(tài))計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(例如，存儲(chǔ)器設(shè)備)，且當(dāng)軟件(通過處理器920)被執(zhí)行時(shí)，特別是基本分析單元125的指令，可操作來執(zhí)行結(jié)合圖1-8在本文所描述的操作。特別地，基本分析單元125包括允許處理器920提供如本文描述的基本比特流分析的指令。

通過實(shí)現(xiàn)本文描述的技術(shù)，諸如圖9的MCU 105之類的設(shè)備可被配置為提供下列項(xiàng)：i)比特流解碼(或部分解碼)期間流度量的輕量形成、ii)用于基本場(chǎng)景內(nèi)容分析的這類度量的空間分割映射、為了以下目的：iii)多點(diǎn)會(huì)議中最優(yōu)地使用貢獻(xiàn)視頻、以及iv)生成反饋來改善這類流中的貢獻(xiàn)內(nèi)容，以便最大化查看哪些流的其他人的體驗(yàn)。通過基本比特流分析可提取的貢獻(xiàn)壓縮視頻的度量和屬性包括：(指示占用、構(gòu)造以及攝像機(jī)穩(wěn)定性的)運(yùn)動(dòng)及其分布；(指示人類存在的)色度等級(jí)；(指示照明質(zhì)量和快門使用的)亮度等級(jí)；(指示質(zhì)量的)量化；存在指示銳度(聚焦)的高頻；以及空間信息密度，如與前景活動(dòng)有關(guān)的輔助特性。

此外，諸如圖9的MCU 105之類的MCU可向視頻會(huì)議系統(tǒng)提供下列優(yōu)勢(shì)。特別地，提供給用戶的視頻會(huì)議視頻可通過下列項(xiàng)來優(yōu)化：a)選擇每個(gè)流與其他流組合(或不組合)的方式，或選擇或排除向接收端點(diǎn)轉(zhuǎn)發(fā)的每個(gè)流，b)向視頻源處的參與者信令其視圖是次優(yōu)的并應(yīng)被調(diào)整，以及在存在適當(dāng)?shù)目刂品绞降那闆r下，c)試圖遠(yuǎn)程調(diào)整該視圖。

此外，通過基于由基本比特流分析提取的值來形成圖像統(tǒng)計(jì)，可用很少的額外計(jì)算成本來獲取統(tǒng)計(jì)，本質(zhì)上節(jié)省了分離圖像分析處理將要求的計(jì)算和存儲(chǔ)器帶寬。此外，當(dāng)用在粗粒度陣列中的子圖像等級(jí)時(shí)，相比于特定特征提取，可也用非常低的計(jì)算成本以非常簡(jiǎn)單的方式來形成場(chǎng)景內(nèi)容的解釋(例如，指示參與者布局)。此外，當(dāng)作為所接收的流的解碼處理的修改來應(yīng)用時(shí)，場(chǎng)景內(nèi)容的分析可用于向源端點(diǎn)處的用戶提供反饋，以便以特定方式，通過改善攝像機(jī)對(duì)準(zhǔn)或聚焦、或減緩參與者定位、運(yùn)動(dòng)或照明來優(yōu)化內(nèi)容。同一技術(shù)可用在所貢獻(xiàn)流的編碼處理中，用于以同樣方式立即反饋本地參與者。

在多個(gè)流被貢獻(xiàn)于會(huì)議并從中向其他參與者組合、編碼并傳輸會(huì)議的視圖的情況下，流的分割屬性可用于基于編碼流中感興趣區(qū)域的分布、或基于貢獻(xiàn)視頻質(zhì)量來確定貢獻(xiàn)流的適當(dāng)組合，以提供改善的會(huì)議視圖。在選擇流用于(獨(dú)立地或作為多流組合的一部分)顯示的情況下，使用視頻度量可避免使用否則將基于所貢獻(xiàn)音頻被顯示的非視覺合適的(較差質(zhì)量或照明、關(guān)閉的快門、錯(cuò)誤攝像機(jī)分割等)流。流選擇和組合選擇中的改善將改善多方會(huì)議的所有觀察者的會(huì)議體驗(yàn)。

最后，為了諸如運(yùn)動(dòng)矢量被重構(gòu)、以及亮度和色度值被確定之類的語法(syntactic)值的擴(kuò)展，分析技術(shù)、會(huì)議視圖的反饋和修改還可以以貢獻(xiàn)流的部分解碼的代價(jià)被應(yīng)用在切換視頻會(huì)議中。這提升了切換MCU來與其接收并轉(zhuǎn)發(fā)的視頻流的內(nèi)容交互，以便實(shí)現(xiàn)改善貢獻(xiàn)流的質(zhì)量以及選擇用于分布的最適當(dāng)?shù)牧鞯哪繕?biāo)。這樣的示例將是與貢獻(xiàn)流使用運(yùn)動(dòng)和存在指示，以補(bǔ)充和驗(yàn)證否則可能單獨(dú)地基于相關(guān)聯(lián)音頻選擇的流，以便從使得空房間的視圖相比(over)實(shí)際上確實(shí)顯示參與者為存在的流被優(yōu)先顯示防止聲掩蔽效應(yīng)?？蓮闹辽俨糠纸獯a的所分析的流來類似地確定其他上述照明、構(gòu)造、聚焦、攝像機(jī)快門狀態(tài)、或攝像機(jī)運(yùn)動(dòng)，即使流本身也將被轉(zhuǎn)發(fā)，而不是用在待再編碼的本地組合中。分布決策可基于貢獻(xiàn)視頻流的特性，且響應(yīng)于返回到視頻源端點(diǎn)的帶外信令，貢獻(xiàn)特性可被修改。

總之，所提供的方法包括：在第一網(wǎng)絡(luò)使能的設(shè)備從第二網(wǎng)絡(luò)使能的設(shè)備接收用視頻信息編碼的比特流；在生成與比特流值相對(duì)應(yīng)的圖像幀之前分析比特流，并從比特流中的比特流值確定視頻信息的視覺特性；以及響應(yīng)于視覺特性，確定用于在一個(gè)或多個(gè)網(wǎng)絡(luò)使能的設(shè)備處顯示的修改的視頻顯示。

類似地，所提供的裝置包括：被配置為使能網(wǎng)絡(luò)通信的至少一個(gè)網(wǎng)絡(luò)接口；以及耦合于網(wǎng)絡(luò)接口單元的處理器，其中，處理器被配置為：從網(wǎng)絡(luò)使能的設(shè)備接收用視頻信息編碼的比特流；在生成與比特流值相對(duì)應(yīng)的圖像幀之前分析比特流，并從比特流中的比特流值確定視頻信息的視覺特性；以及響應(yīng)于視覺特性，確定用于在一個(gè)或多個(gè)網(wǎng)絡(luò)使能的設(shè)備處顯示的修改的視頻顯示。

此外，所提供的有形、非暫態(tài)計(jì)算機(jī)可讀介質(zhì)包括指令，當(dāng)由處理器執(zhí)行時(shí)，使得處理器：從網(wǎng)絡(luò)使能的設(shè)備獲得接收到的用視頻信息編碼的比特流；在生成與比特流值相對(duì)應(yīng)的圖像幀之前分析比特流，并從比特流中的比特流值確定視頻信息的視覺特性；以及響應(yīng)于視覺特性，確定用于在一個(gè)或多個(gè)網(wǎng)絡(luò)使能的設(shè)備處顯示的修改的視頻顯示。

盡管本文示出和描述的技術(shù)被體現(xiàn)在一個(gè)或多個(gè)具體示例中，然而其不旨在被限制于所示出的細(xì)節(jié)，因?yàn)樵诓幻撾x權(quán)利要求的范圍及其等同的范圍的情況下，可在其中做出各種修改和結(jié)構(gòu)改變。