專利名稱：用于視頻電話的關(guān)注區(qū)提取的制作方法
技術(shù)領(lǐng)域：
本揭示案涉及數(shù)字視頻編碼和解碼，且更明確地說涉及用于視頻電話(VT)應(yīng)用的 處理關(guān)注區(qū)(ROI)信息的技術(shù)。
背景技術(shù)：
已為編碼數(shù)字視頻序列建立了許多不同的視頻編碼標(biāo)準(zhǔn)。舉例來說，移動圖片專家 組(MPEG)已開發(fā)出許多標(biāo)準(zhǔn)，包含MPEG-l、 MPEG-2和MPEG-4。其它實例包含國 際電信聯(lián)盟(ITU) H.263標(biāo)準(zhǔn)和新興的ITUH.264標(biāo)準(zhǔn)。這些視頻編碼標(biāo)準(zhǔn)通常支持通 過以壓縮方式編碼數(shù)據(jù)而改進視頻序列的傳輸效率。
視頻電話(VT)允許用戶共享視頻和音頻信息以支持例如視頻會議的應(yīng)用。示范性 視頻電話標(biāo)準(zhǔn)包含由會話啟始協(xié)議(SIP)界定的那些標(biāo)準(zhǔn)、ITUH.323標(biāo)準(zhǔn)和ITUH.324 標(biāo)準(zhǔn)。在VT系統(tǒng)中，用戶可發(fā)送并接收視頻信息，僅接收視頻信息，或僅發(fā)送視頻信 息。接收者通常以視頻信息從發(fā)送者傳輸?shù)男问讲榭此邮盏囊曨l信息。
已提議對視頻信息的選定部分進行優(yōu)先編碼。舉例來說，發(fā)送者可指定以較高質(zhì)量 編碼關(guān)注區(qū)(ROI)以用于傳輸?shù)浇邮照摺０l(fā)送者可能希望向遠程接收者強調(diào)所述ROI。 盡管發(fā)送者可能希望關(guān)注視頻場景內(nèi)的其它對象，ROI的典型實例是人臉。利用對ROI 的優(yōu)先編碼，與非ROI區(qū)相比，接收者能夠較清楚地查看ROI。

發(fā)明內(nèi)容
本揭示案針對用于視頻電話(VT)的關(guān)注區(qū)(ROI)處理技術(shù)。根據(jù)所述揭示的技 術(shù)，本地接收者裝置界定由遠程發(fā)送者裝置編碼和傳輸?shù)囊曨l，即遠端視頻的ROI信息。 所述本地接收者裝置將所述ROI信息傳輸?shù)剿鲞h程發(fā)送者裝置。所述發(fā)送者裝置使用 由所述接收者裝置傳輸?shù)乃鯮OI信息，對視頻場景內(nèi)的ROI應(yīng)用優(yōu)先編碼，例如較高 質(zhì)量編碼或誤差防護。以此方式，接收者裝置能夠遠程控制對由發(fā)送者裝置編碼的遠端 視頻的ROI編碼。
除了接收遠端視頻外，接收者還可經(jīng)裝備以發(fā)送視頻，即近端視頻。因此，參與VT 通信的裝置可對稱地充當(dāng)視頻信息的發(fā)送者和接收者兩者。充當(dāng)接收者時，每一裝置可 定義遠端ROI信息以用于由作為發(fā)送者的遠程裝置編碼的視頻。并且，充當(dāng)發(fā)送者時， 每一裝置可定義近端ROI信息以用于傳輸?shù)阶鳛榻邮照叩牧硪谎b置的視頻信息。發(fā)送者 或接收者裝置可稱為"ROI感知的"，是指其能夠處理由另一裝置提供的ROI信息以支持 對ROI視頻編碼的遠程控制。
遠端ROI信息允許接收者控制發(fā)送者裝置進行的遠程ROI編碼以較清楚地査看所接 收的視頻場景內(nèi)的對象或區(qū)。近端ROI信息允許發(fā)送者控制本地ROI編碼以強調(diào)所傳輸 的視頻場景內(nèi)的對象或區(qū)。因此，發(fā)送者對ROI的優(yōu)先編碼可基于由接收者或發(fā)送者產(chǎn) 生的ROI信息。另外，接收者裝置可(例如)通過應(yīng)用例如誤差隱蔽、解塊或去鳴振技 術(shù)的較高質(zhì)量后處理來基于ROI信息而優(yōu)先解碼ROI。
為了促進ROI處理，本揭示案進一步預(yù)期用于ROI選擇、ROI映射、ROI提取、ROI 信令、ROI跟蹤，和對接收者裝置的存取驗證以允許對發(fā)送者裝置的ROI編碼進行遠程 控制的技術(shù)。ROI選擇可依賴于預(yù)定義的ROI樣式、口頭或文本ROI描述，或用戶劃定 的ROI。 ROI映射涉及將選定的ROI樣式轉(zhuǎn)譯為ROI映射，其可采取適宜由視頻編碼器 使用的宏區(qū)塊(MB)映射的形式。
ROI信令可涉及從接收者向發(fā)送者裝置進行ROI信息的帶內(nèi)或帶外信令。ROI跟蹤 涉及響應(yīng)于ROI運動而動態(tài)調(diào)節(jié)ROI映射。存取驗證可涉及出于遠程ROI控制以及解決 本地與遠程用戶或多個遠程用戶之間的ROI控制沖突的目的而向接收者裝置授予存取權(quán) 和等級。
ROI提取可涉及處理對關(guān)注區(qū)(ROI)的用戶描述以基于所述描述而產(chǎn)生指定所述 ROI的信息。可基于指定ROI的信息來編碼近端視頻以增強近端視頻的ROI相對于非 ROI區(qū)域的圖像質(zhì)量。用戶描述可基于文本、圖形或語音。提取模塊應(yīng)用適當(dāng)處理以從 用戶描述中產(chǎn)生ROI信息。提取模塊可駐存在視頻通信裝置本地，或駐存在經(jīng)配置以進 行ROI提取的不同的中間服務(wù)器中。
在一個實施例中，本揭示案提供一種方法，其包括從遠程裝置接收指定由本地裝置 編碼且由遠程裝置接收的近端視頻內(nèi)的關(guān)注區(qū)(ROD的信息，和基于ROI來編碼近端 視頻以增強視頻的ROI相對于非ROI區(qū)域的圖像質(zhì)量。
在另一實施例中，本揭示案提供一種視頻編碼裝置，所述視頻編碼裝置包括關(guān)注 區(qū)(ROI)引擎，其從遠程視頻通信裝置接收指定傳輸?shù)竭h程裝置的近端視頻內(nèi)的關(guān)注區(qū)
(ROI)的信息；和視頻編碼器，其編碼近端視頻以增強視頻的ROI相對于非ROI區(qū)域的
圖像質(zhì)量。
在額外實施例中，本揭示案提供一種方法，其包括產(chǎn)生指定由遠程裝置傳輸且由本 地裝置接收的遠端視頻內(nèi)的關(guān)注區(qū)(ROI)的信息，和將所述信息傳輸?shù)竭h程裝置以用于 基于ROI來編碼遠端視頻以增強視頻的ROI相對于非ROI區(qū)域的圖像質(zhì)量。
在又一實施例中，本揭示案提供一種視頻編碼裝置，所述視頻編碼裝置包括關(guān)注 區(qū)(ROI)引擎，其產(chǎn)生指定從遠程裝置接收的遠端視頻內(nèi)的關(guān)注區(qū)(ROI)的信息；和 視頻編碼器，其編碼近端視頻并將指定ROI的信息和經(jīng)編碼的近端視頻一起傳輸以由遠 程裝置使用來基于ROI而編碼遠端視頻以增強遠端視頻的ROI相對于非ROI區(qū)域的圖像 質(zhì)量。
在另一實施例中，本揭示案提供一種方法，其包括從用戶處接收由本地裝置產(chǎn)生的 近端視頻內(nèi)的關(guān)注區(qū)(ROI)的描述，基于所述描述產(chǎn)生指定ROI的信息，和基于指定 ROI的信息來編碼近端視頻以增強近端視頻的ROI相對于非ROI區(qū)域的圖像質(zhì)量。 在額外實施例中，本揭示案提供一種視頻編碼裝置，所述視頻編碼裝置包括關(guān)注 區(qū)(ROI)引擎，其接收對由所述裝置編碼的近端視頻內(nèi)的關(guān)注區(qū)(ROI)的描述，并基 于所述描述產(chǎn)生指定ROI的信息；和視頻編碼器，其編碼近端視頻以增強視頻的ROI相 對于非ROI區(qū)域的圖像質(zhì)量。
在又一實施例中，本揭示案提供一種視頻編碼系統(tǒng)，所述視頻編碼系統(tǒng)包括第一 視頻通信裝置，其編碼近端視頻；第二視頻通信裝置，其從第一視頻通信裝置接收近端 視頻，其中所述第二視頻通信裝置產(chǎn)生對由所述第一視頻通信裝置產(chǎn)生的近端視頻內(nèi)的 關(guān)注區(qū)(ROI)的用戶描述；和中間服務(wù)器，其結(jié)構(gòu)上不同于所述第一和第二視頻通信裝 置，且其基于所述描述產(chǎn)生指定ROI的信息，其中第一視頻通信裝置基于指定ROI的信 息來編碼近端視頻以增強近端視頻的ROI相對于非ROI區(qū)域的圖像質(zhì)量。
本文描述的技術(shù)可實施在硬件、軟件、固件或其任何組合中。如果實施在軟件中， 那么可通過計算機可讀媒體來部分實現(xiàn)所述技術(shù)，所述計算機可讀媒體包括含有指令的 程序代碼，所述程序代碼當(dāng)被執(zhí)行時會進行本文描述的方法中的一種或一種以上方法。
附圖和以下描述內(nèi)容中陳述了一個或一個以上實施例的細節(jié)。從描述內(nèi)容和附圖以 及從權(quán)利要求書中將了解其它特征、目的和優(yōu)點。


圖1是說明并入有ROI感知視頻編解碼器(CODEC)的視頻編碼和解碼系統(tǒng)的方框
圖。
圖2是說明與無線通信裝置相關(guān)聯(lián)的顯示器上呈現(xiàn)的視頻場景內(nèi)的ROI的定義的圖。 圖3是說明并入有ROI感知CODEC的通信裝置的方框圖。
圖4是說明具有ROI感知CODEC且進一步并入有ROI提取模塊的另一通信裝置的 方框圖。
圖5是說明經(jīng)由中間提取服務(wù)器的分布式ROI提取的方框圖。 圖6是說明用于多個視頻電話會話的分布式ROI提取的方框圖。 圖7A-7D是說明供用戶選擇的預(yù)定義的ROI樣式的圖。
圖8是說明在接收者裝置處產(chǎn)生ROI信息以在遠程發(fā)送者裝置處控制對近端視頻的 優(yōu)先ROI編碼的流程圖。
圖9是說明處理來自接收者裝置的ROI信息以便結(jié)合ROI跟蹤而在發(fā)送者裝置處對 近端視頻進行優(yōu)先ROI編碼的流程圖。
圖10是說明處理來自接收者裝置的ROI信息以便結(jié)合用戶驗證而在發(fā)送者裝置處對 近端視頻進行優(yōu)先ROI編碼的流程圖。
圖ll是說明選擇預(yù)定義的ROI樣式的流程圖。
圖12是說明通過擴展和收縮ROI模板來定義所顯示的視頻場景中的ROI樣式的圖。 圖13是說明通過拖動ROI模板來定義所顯示的視頻場景中的ROI樣式的圖。 圖14是說明通過用鐵筆在觸摸屏幕上劃定ROI區(qū)域來定義所顯示的視頻場景中的 ROI樣式的圖。
圖15是說明使用具有待動態(tài)提取和跟蹤的指定的ROI對象的下拉式菜單來定義所顯 示的視頻場景中的ROI樣式的圖。
圖16是說明使用具有映射到如圖7A-7D中預(yù)定義的ROI樣式的指定的ROI對象的 下拉式菜單來定義所顯示的視頻場景中的ROI樣式的圖。
圖17是說明使用ROI描述界面來定義所顯示的視頻場景中的ROI樣式的流程圖。
圖18是說明解決發(fā)送者與接收者裝置之間的ROI沖突的流程圖。
圖19是說明遠端視頻內(nèi)的ROI宏區(qū)塊的優(yōu)先解碼的流程圖。
具體實施例方式
圖1是說明并入有ROI感知視頻編解碼器(CODEC)的視頻編碼和解碼系統(tǒng)10的 方框圖。如圖1所示，系統(tǒng)10包含第一視頻通信裝置12和第二視頻通信裝置14。通信 裝置12、 14通過傳輸信道16連接。傳輸信道16可以是有線或無線媒體。系統(tǒng)10支持
視頻通信裝置12、 14之間的用于視頻電話的雙向視頻傳輸。裝置12、 14可以大體上對 稱的方式操作。然而，在一些實施例中，視頻通信裝置12、 14中的一者或兩者可經(jīng)配置 以僅用于單向通信以支持ROI感知視頻串流。
對于雙向應(yīng)用，互逆編碼、解碼、多路復(fù)用(MUX)和多路分解(DEMUX)組件 可提供在信道16的相對端。在圖1的實例中，視頻通信裝置12包含MUX/DEMUX組件 18、 ROI感知視頻CODEC 20和音頻CODEC 22。類似地，視頻通信裝置14包含 MUX/DEMUX組件26、 ROI感知視頻CODEC 28和音頻CODEC 30。每一 CODEC 20、 28為"ROI感知的"，是指其能夠處理由另一視頻通信裝置12、 14遠程提供或由其自身 的視頻通信裝置本地提供的ROI信息。
視頻通信裝置12、 14可實施為經(jīng)裝備以用于視頻串流、視頻電話或兩者的無線移動 終端或有線終端。為此，視頻通信裝置12、 14可進一步包含適當(dāng)?shù)臒o線發(fā)射、接收、調(diào) 制解調(diào)和處理電子元件以支持無線通信。無線移動終端的實例包含移動無線電話、移動 個人數(shù)字助理(PDA)、移動計算機或裝備有無線通信能力和視頻編碼和/或解碼能力的 其它移動裝置。有線終端的實例包含臺式計算機、視頻電話、網(wǎng)絡(luò)設(shè)備、機頂盒、交互 式電視等。視頻通信裝置12、 14中任一者可經(jīng)配置以發(fā)送視頻信息、接收視頻信息，或 發(fā)送并接收視頻信息。
對于視頻電話應(yīng)用，通常需要裝置12支持視頻發(fā)送和視頻接收能力兩者。然而，還 預(yù)期串流視頻應(yīng)用。在視頻電話且尤其是借助無線通信的移動視頻電話中，帶寬是重要 的關(guān)注因素。因此，將額外編碼位選擇性地分配到ROI或其它優(yōu)先編碼步驟可改進視頻 的一部分的圖像質(zhì)量，同時維持總體編碼效率。對于優(yōu)先編碼，可將額外位分配到ROI, 同時可將減少的數(shù)目的位分配到非ROI區(qū)(例如，視頻場景中的背景)。
通常，系統(tǒng)10使用用于視頻電話(VT)應(yīng)用的關(guān)注區(qū)(ROI)處理技術(shù)。然而，此 類技術(shù)也可應(yīng)用于視頻串流應(yīng)用，如上文所提及。出于說明的目的，將假定，每一視頻 通信裝置12、 14能夠作為視頻信息的發(fā)送者和接收者兩者而操作，且藉此作為VT會話 中的全額參與者而操作。對于從視頻通信裝置12傳輸?shù)揭曨l通信裝置14的視頻信息， 視頻通信裝置12是發(fā)送者裝置且視頻通信裝置14是接收者裝置。相反，對于從視頻通 信裝置14傳輸?shù)揭曨l通信裝置12的視頻信息，視頻通信裝置12是接收者裝置且視頻通 信裝置14是發(fā)送者裝置。當(dāng)討論將由本地視頻通信裝置12、 14編碼和傳輸?shù)囊曨l信息 時，所述視頻信息將稱為"近端"視頻。當(dāng)討論將由遠程視頻通信裝置12、 14編碼并從 遠程視頻通信裝置12、 14接收的視頻信息時，所述視頻信息將稱為"遠端"視頻。
根據(jù)所揭示的技術(shù)，當(dāng)作為接收者裝置操作時，視頻通信裝置12或14界定針對從 發(fā)送者裝置接收的遠端視頻信息的ROI信息。再次，從發(fā)送者裝置接收的視頻信息稱為 "遠端"視頻信息，因為其是從處于通信信道的遠端的另一 (發(fā)送者)裝置接收的。同樣， 針對從發(fā)送者裝置接收的視頻信息而界定的ROI信息稱為"遠端"ROI信息。遠端ROI 通常是指遠端視頻內(nèi)最引起遠端視頻的接收者關(guān)注的區(qū)。接收者裝置解碼遠端視頻信息 并將經(jīng)解碼的遠端視頻經(jīng)由顯示裝置呈現(xiàn)給用戶。用戶在遠端視頻所呈現(xiàn)的視頻場景內(nèi) 選擇ROI。
接收者裝置基于用戶選擇的ROI而產(chǎn)生遠端ROI信息，并將遠端ROI信息發(fā)送到發(fā) 送者裝置。遠端ROI信息可采取ROI宏區(qū)塊(MB)映射的形式，其依據(jù)駐存在ROI內(nèi) 的宏區(qū)塊來界定ROI。 ROI MB映射可用1標(biāo)記處于ROI內(nèi)的MB，且用0標(biāo)記ROI外 部的MB，以容易地識別包含在ROI中(1)以及排除在ROI外(0)的MB。 MB是形 成幀的一部分的視頻區(qū)塊。MB的大小可為16X16個像素。然而，其它MB大小是可能 的。因此，MB可指代任何視頻區(qū)塊，包含(但不限于)例如MPEG-l、MPEG-2和MPEG-4、 ITUH.263、 ITUH.264的特定視頻編碼標(biāo)準(zhǔn)或任何其它標(biāo)準(zhǔn)內(nèi)定義的宏區(qū)塊。
通過使用由接收者裝置傳輸?shù)倪h端ROI信息，發(fā)送者裝置將優(yōu)先編碼應(yīng)用于視頻場 景內(nèi)的相應(yīng)的ROI。明確地說，可將額外編碼位分配到ROI，同時可將減少的數(shù)目的編 碼位分配到非ROI區(qū)，藉此改進ROI的圖像質(zhì)量。以此方式，接收者裝置能夠遠程控制 發(fā)送者裝置對遠端視頻信息進行的ROI編碼。優(yōu)先編碼例如通過ROI區(qū)域中的優(yōu)先位分 配或優(yōu)先量化，而將與視頻場景的非ROI區(qū)域相比更高質(zhì)量編碼應(yīng)用于ROI區(qū)域。經(jīng)優(yōu) 先編碼的ROI允許接收者裝置的用戶較清楚地査看對象或區(qū)。舉例來說，與視頻場景的 背景區(qū)相比，接收者裝置的用戶可能希望較清楚地查看臉部或某一其它對象。
當(dāng)作為發(fā)送者裝置操作時，視頻通信裝置12或14也可定義針對由發(fā)送者裝置傳輸 的視頻信息的ROI信息。再次，發(fā)送者裝置中產(chǎn)生的視頻信息稱為"近端"視頻，因為 其是在通信信道的近端產(chǎn)生的。由發(fā)送者裝置產(chǎn)生的ROI信息稱為"近端"ROI信息。 近端ROI通常是指發(fā)送者希望向接收者強調(diào)的近端視頻的區(qū)。因此，ROI可由接收者裝 置用戶指定為遠端ROI信息，或由發(fā)送者裝置用戶指定為近端ROI信息。發(fā)送者裝置將 近端視頻經(jīng)由顯示裝置呈現(xiàn)給用戶。與發(fā)送者裝置相關(guān)聯(lián)的用戶在近端視頻所呈現(xiàn)的視 頻場景內(nèi)選擇ROI。發(fā)送者裝置使用用戶選擇的ROI來編碼近端視頻，使得相對于非ROI 區(qū)域，近端視頻中的ROI被(例如)以較高質(zhì)量編碼進行優(yōu)先編碼。
由發(fā)送者裝置處的本地用戶選擇的近端ROI允許發(fā)送者裝置的用戶強調(diào)視頻場景內(nèi)
的區(qū)或?qū)ο?，且藉此使這些區(qū)或?qū)ο笠鸾邮照哐b置用戶的關(guān)注。值得注意的是，由發(fā) 送者裝置用戶選擇的近端ROI無需傳輸?shù)浇邮照哐b置。事實上，發(fā)送者裝置在將近端視 頻傳輸?shù)浇邮照哐b置之前使用所選擇的近端ROI信息在本地編碼所述近端視頻。然而， 在一些實施例中，發(fā)送者裝置可將ROI信息發(fā)送到接收者裝置以允許應(yīng)用優(yōu)先解碼技術(shù)， 例如較高質(zhì)量誤差校正(如誤差隱蔽)或后處理(如解塊和去鳴振濾波器)。
如果ROI信息由發(fā)送者裝置和接收者裝置兩者提供，那么發(fā)送者裝置應(yīng)用從接收者 裝置接收的遠端ROI信息或本地產(chǎn)生的近端ROI信息來編碼近端視頻。發(fā)送者裝置與接 收者裝置提供的近端與遠端ROI選擇之間可能出現(xiàn)ROI沖突。此類沖突可能需要解決， 例如由本地用戶主動解決或根據(jù)所規(guī)定的存取權(quán)和等級來解決，如本揭示案中其它地方 將描述。在任一情況下，發(fā)送者裝置均基于由發(fā)送者裝置本地提供的近端ROI信息或由 接收者裝置遠程提供的ROI信息來優(yōu)先編碼ROI。
為了促進ROI處理，本揭示案進一步預(yù)期用于ROI選擇、ROI映射、R0I信令、ROI 跟蹤，和對接收者裝置的存取驗證以允許對發(fā)送者裝置的ROI編碼進行遠程控制的技術(shù)。 如將描述，接收者裝置或發(fā)送者裝置應(yīng)用的不同的ROI選擇技術(shù)可涉及選擇預(yù)定義的 ROI樣式、口頭或文本ROI描述，或用戶的ROI劃定。在接收者裝置中，ROI映射涉及 將選定的遠端或近端ROI樣式轉(zhuǎn)譯為ROI映射，其可采取宏區(qū)塊(MB)映射的形式。 ROI信令可涉及從接收者裝置向發(fā)送者裝置進行遠端ROI信息的帶內(nèi)或帶外信令。ROI 跟蹤涉及響應(yīng)于ROI運動而動態(tài)調(diào)節(jié)由接收者裝置產(chǎn)生的遠端ROI映射或由發(fā)送者本身 產(chǎn)生的本地近端ROI。存取驗證可出于對遠端ROI的遠程控制以及解決接收者與發(fā)送者 裝置之間的ROI控制沖突的目的而涉及向接收者裝置授予存取權(quán)和等級。
系統(tǒng)IO可支持根據(jù)會話啟始協(xié)議(SIP)、 ITUH.323標(biāo)準(zhǔn)、ITUH.324標(biāo)準(zhǔn)或其它標(biāo) 準(zhǔn)的視頻電話。每一視頻CODEC 20、 28根據(jù)例如MPEG-2、 MPEG-4、 ITU H.263或ITU H.264的視頻壓縮標(biāo)準(zhǔn)而產(chǎn)生經(jīng)編碼的視頻數(shù)據(jù)。如圖1中進一步展示，視頻CODEC 20、 28可與各自音頻CODEC22、 30集成，且包含適當(dāng)?shù)腗UX/DEMUX組件18、 26以處理 數(shù)據(jù)流的音頻和視頻部分。MUX/DEMUX單元18、 26可符合ITU H.223多路復(fù)用器協(xié) 議或例如用戶數(shù)據(jù)報協(xié)議(UDP)的其它協(xié)議。
圖2是說明與無線通信裝置38相關(guān)聯(lián)的顯示器36上呈現(xiàn)的視頻場景34內(nèi)的ROI 32 的定義的圖。在圖2的實例中，ROI32是矩形區(qū)，其含有視頻場景34中呈現(xiàn)的人的臉部 39，但ROI可含有需要改進或增強的編碼的任何圖像或?qū)ο?。在VT應(yīng)用中，視頻場景 34中呈現(xiàn)的人通常將是遠程發(fā)送者裝置的用戶，其是與作為接收者裝置操作的無線通信
裝置38的用戶進行的視頻會議的一方。ROI32構(gòu)成為遠端R01，因為其定義從遠程發(fā)送 者裝置傳輸?shù)囊曨l場景中的ROI。根據(jù)本揭示案，遠端ROI32被傳輸?shù)桨l(fā)送者裝置以指 定對ROI內(nèi)的視頻場景區(qū)域的優(yōu)先編碼。以此方式，接收者裝置38的本地用戶能夠遠程 控制遠端ROI 32的圖像質(zhì)量。如將描述，遠端ROI32的大小、形狀和位置可以是固定 或可調(diào)節(jié)的，且可以多種方式予以定義、描述或調(diào)節(jié)。
ROI 32允許接收者裝置用戶較清晰地査看視頻場景34內(nèi)的個別對象，例如人的臉部 39。 ROI32內(nèi)的臉部39相對于視頻場景34的非ROI區(qū)域(例如，背景區(qū))而被以較高 圖像質(zhì)量進行編碼。以此方式，用戶能夠較清楚地查看面部表情、唇部活動、眼部活動 等。然而，或者可使用ROI 32來指定除了臉部以外的任何對象。 一般來說，VT應(yīng)用中 的ROI可能非常主觀且可能由于用戶不同而不同。所需的ROI還取決于如何使用VT。 在一些情況下，VT可用于查看和評估對象，與視頻會議形成對比。
舉例來說，丈夫可使用VT應(yīng)用來展示其想要在機場禮品店購買的禮物。丈夫可能 希望以及時且交互的方式從他的妻子那里獲得第二種意見。這樣做，他可以立即作出決 定，因為他所搭乘的班機馬上就要出發(fā)了。在這種情況下，ROI是覆蓋丈夫正考慮的禮 物的區(qū)。通過允許妻子(或丈夫)選擇ROI,有可能實現(xiàn)針對所述特定ROI的較好編碼 或較好的服務(wù)質(zhì)量，且藉此允許妻子較清楚地查看禮物。
作為另一實例，兩個或兩個以上工程師可進行涉及在白板上演示和討論各種等式或 圖表的VT通話。在這種情況下，遠程用戶可能希望以較好的圖像質(zhì)量査看白板的一區(qū) 域，例如更清楚地看到等式的細節(jié)。為此，遠程用戶選擇包含所述等式的ROI。另外， 當(dāng)一工程師向白板進行添加時，遠程用戶可能希望移動ROI以跟蹤新添加到白板的主題。 遠程用戶指定ROI的能力可顯著改進技術(shù)討論過程中信息的交換。
本文描述的ROI技術(shù)不僅改進ROI的視頻質(zhì)量，而且改進兩個用戶之間的視頻交互。 一般來說，常規(guī)VT應(yīng)用僅僅將兩個單向視頻傳輸組合且任何交互均是口頭進行。在常 規(guī)VT應(yīng)用中，視頻側(cè)通常不存在交互。允許接收者裝置用戶在VT通話期間至少具有對 從發(fā)送者裝置接收的視頻內(nèi)容的有限控制可允許更多的視頻交互。
以此方式，VT應(yīng)用可經(jīng)設(shè)計使得接收者裝置用戶可選擇ROI，并將ROI信息發(fā)送回 發(fā)送者裝置以對ROI進行優(yōu)先處理，例如較高質(zhì)量編碼(例如，通過分配較多編碼位) 或較強誤差防護(例如，內(nèi)部MB更新)。實際上，通過指定遠端ROI，接收者裝置用戶 可遠程控制發(fā)送者裝置編碼器。另外，此遠端ROI信息可由裝置中的ROI感知視頻解碼 器使用，所述ROI感知視頻解碼器接收遠端視頻以進行較好的后處理，例如誤差隱蔽、
解塊或去鳴振。由經(jīng)編碼視頻的接收者對視頻編碼器的遠程控制不同于僅僅控制遠程攝 像機的搖攝、傾斜、變焦或焦距。相比之下，通過遠程ROI處理，用戶能夠影響應(yīng)用于 特定區(qū)的編碼的質(zhì)量。然而，在一些實施例中，可提供遠程攝像機控制與遠程視頻編碼 器控制組合。
圖3是說明并入有ROI感知CODEC的視頻通信裝置12的方框圖。盡管圖3描繪圖 1的視頻通信裝置12，但可類似地構(gòu)造視頻通信裝置14。再次，視頻通信裝置12或14 可充當(dāng)接收者裝置、發(fā)送者裝置，以及優(yōu)選地接收者和發(fā)送者裝置兩者。如圖3所示， 視頻通信裝置12包含ROI感知CODEC 20、視頻俘獲裝置40和用戶界面42。盡管圖3 中展示信道16,但為了便于說明省略了 MUX/DEMUX和音頻組件。視頻俘獲裝置40可 以是與視頻通信裝置12集成或可操作地耦合到視頻通信裝置12的視頻攝像機。在一些 實施例中，舉例來說，視頻俘獲裝置40可與移動電話集成以形成所謂的視頻攝像機電話。 以此方式，視頻俘獲裝置40可支持移動VT應(yīng)用。
用戶界面42可包含顯示裝置，例如液晶顯示器(LCD)、等離子屏幕、投影儀顯示 器，或可與視頻通信裝置12集成或可操作地耦合到視頻通信裝置12的任何其它顯示設(shè) 備。顯示裝置向視頻通信裝置12的用戶呈現(xiàn)視頻圖像。視頻圖像可包含由視頻俘獲裝置 40在本地獲得的近端視頻，以及從發(fā)送者裝置遠程傳輸?shù)倪h端視頻。另外，用戶界面42 可包含多種用戶輸入媒體中的任一者，包含硬鍵、軟鍵、各種指向裝置、觸筆等，以用 于由視頻通信裝置12的用戶輸入信息。在一些實施例中，用戶界面42的顯示裝置和用 戶輸入媒體可與移動電話集成。視頻通信裝置12的用戶依賴于用戶界面42來査看遠端 視頻以及(視情況)查看近端視頻。另外，用戶依賴于用戶界面42來輸入信息以用于定 義或選擇遠端ROI以及(視情況)近端ROI。
如圖3中進一步展示，ROI感知CODEC20包含ROI引擎44、 ROI感知視頻編碼器 46和ROI感知視頻解碼器48。ROI感知視頻編碼器46編碼從視頻俘獲裝置40獲得的近 端視頻("近端視頻")以用于傳輸?shù)竭h程接收者裝置。再次，術(shù)語"近端"表示在視頻 通信裝置12內(nèi)本地產(chǎn)生的視頻，這與從遠程視頻通信裝置(例如，視頻通信裝置14) 接收的"遠端"視頻形成對比。在圖3的實例中，ROI感知視頻編碼器46使用從遠程接 收器獲得的近端ROI信息("遠程近端ROr)來優(yōu)先編碼近端ROI。遠程接收者是與遠 程視頻通信裝置14相關(guān)聯(lián)的用戶。
從遠程用戶的視角來看，遠程近端ROI當(dāng)由遠程裝置14傳輸時是遠程遠端R01，且 從裝置12的本地用戶的視角來看當(dāng)其被接收時稱為遠程近端R01。也就是說，作為發(fā)送者或接收者的裝置12、14的視角決定了認為視頻和ROI適用于近端還是遠端視頻。再次， 遠程控制遠程裝置14處的視頻編碼的本地裝置12的用戶指定遠端R01。然而，當(dāng)遠程 裝置14的用戶接收到遠端ROI時，其被認為是遠程近端ROI，因為其關(guān)于正由本地裝置 14編碼的近端視頻。 一般來說，出于本揭示案中使用的標(biāo)記的目的，視角是重要的。
視情況，ROI感知視頻編碼器46可使用從視頻通信裝置14的本地用戶獲得的近端 ROI信息("本地近端ROr)。本地近端ROI也可稱為發(fā)送者驅(qū)動的ROI，因為其由經(jīng)編 碼近端視頻的發(fā)送者產(chǎn)生。本地近端ROI信息由本地編碼器46使用且通常不發(fā)送到另一 視頻通信裝置14，除非遠程裝置14中的視頻解碼器經(jīng)設(shè)計以將優(yōu)先解碼應(yīng)用于由發(fā)送 者裝置12的用戶指定的近端R01。遠程近端ROI也可稱為接收器驅(qū)動的ROI，因為其由 經(jīng)編碼近端視頻的遠程接收器產(chǎn)生。遠程近端ROI允許由視頻通信裝置12產(chǎn)生的視頻的 接收者控制ROI感知編碼器46進行的ROI編碼，而本地近端ROI允許由視頻通信裝置 12產(chǎn)生的視頻的發(fā)送者控制ROI感知編碼器46進行的ROI編碼。在一些情況下，如將 要描述，遠程和本地ROI定義可能沖突，從而需要沖突解決。
本地和遠程近端ROI信息可提供到ROI感知編碼器46作為近端ROI宏區(qū)塊(MB) 映射("近端ROI MB映射")。近端ROI MB映射識別駐存在接收器近端ROI或發(fā)送者近 端ROI內(nèi)的特定MB。 ROI感知編碼器46以較高質(zhì)量編碼、較強誤差防護或兩者來優(yōu)先 編碼近端視頻中的ROI，以改進當(dāng)例如遠程視頻通信裝置14處的遠程用戶查看時ROI 的圖像質(zhì)量。對于ROI的較好的誤差防護在無線電話應(yīng)用中可能尤其合乎需要。接著將 所產(chǎn)生的經(jīng)編碼近端視頻("經(jīng)編碼近端視頻")傳輸?shù)竭h程裝置"。
如將解釋，ROI感知視頻編碼器46還傳輸已由視頻通信裝置12的本地用戶針對從 遠程視頻通信裝置14接收的遠端視頻而產(chǎn)生的遠端ROI信息("遠端ROI")。遠端ROI 充當(dāng)針對由遠程視頻通信裝置14編碼的視頻的接收器驅(qū)動的R01。實際上，由視頻通信 裝置12傳輸?shù)倪h端ROI信息允許至少部分控制由遠程視頻通信裝置14產(chǎn)生的遠端視頻 的編碼器，正如由ROI感知解碼器48接收的遠程近端R01由視頻通信裝置12使用以控 制ROI感知視頻編碼器46—樣。以此方式，每一視頻通信裝置12、 14能夠影響由另一 裝置產(chǎn)生的遠端視頻中的ROI編碼。
由視頻通信裝置12傳輸?shù)倪h端ROI信息可作為帶內(nèi)或帶外信令信息而傳輸。在帶內(nèi) 信令的情況下，遠端ROI信息可內(nèi)嵌在傳輸?shù)竭h程視頻通信裝置14的經(jīng)編碼近端視頻位 流中。舉例來說，在MPEG4位流格式中，存在稱為"user—data"的字段，其可用于內(nèi)嵌 描述位流的信息。"user—data"字段或其它位流格式中的類似字段可用于內(nèi)嵌遠端ROI
信息而不會違反位流順應(yīng)性?；蛘?，ROI信息可通過例如隱寫術(shù)的所謂的數(shù)據(jù)隱藏技術(shù) 而內(nèi)嵌在視頻位流中。
ROI感知視頻解碼器48經(jīng)配置以在user_data字段中或從遠程裝置傳入的遠端視頻 內(nèi)的其它地方尋求ROI信息。在帶外信令的情況下，可使用例如ITU H.245或SIP的信 令協(xié)議來傳達遠端ROI信息。在任一情況下，遠端ROI信息可釆取界定遠端ROI的位置 和/或大小的ROI MB映射或物理坐標(biāo)的形式。 一旦解碼器48接收到遠端視頻位流，其 就基于與遠程發(fā)送者裝置約定的格式檢索ROI信息，并將ROI信息傳遞到存取驗證模塊 58以獲得存取許可，以用于在將遠程近端ROI提供到視頻編碼器56之前進行近端ROI 控制。
除了控制遠程視頻編碼器以優(yōu)先編碼遠端視頻中的ROI外，遠端ROI信息還可應(yīng)用 于本地視頻解碼器以優(yōu)先解碼遠端視頻中的ROI內(nèi)的MB。舉例來說，如圖3中進一步 展示，由ROI映射器54產(chǎn)生以用于傳輸?shù)竭h程編碼器的相同遠端ROI MB映射可提供到 ROI感知視頻解碼器48。ROI感知視頻解碼器48使用ROI MB映射來優(yōu)先解碼從遠程視 頻通信裝置14接收的遠端視頻內(nèi)的MB。舉例來說，ROI感知視頻解碼器48可與非ROI MB相比向ROIMB應(yīng)用更好的后處理。額外地或作為替代，ROI感知視頻解碼器48可 與非ROI MB相比向ROI MB應(yīng)用更健壯的誤差隱蔽技術(shù)。以此方式，ROI感知視頻解 碼器48依賴于由本地用戶產(chǎn)生的遠端ROI信息來優(yōu)先解碼傳入的遠端視頻的ROI部分 以實現(xiàn)增強的圖像質(zhì)量。
ROI感知視頻解碼器48從遠程視頻通信裝置(例如，圖1的視頻通信裝置14)接收 傳入的遠端視頻。ROI感知視頻解碼器48解碼遠端視頻并將經(jīng)解碼的視頻提供到用戶界 面42以在顯示裝置上呈現(xiàn)給本地用戶。另外，如上所述，ROI感知視頻解碼器48從遠 程視頻通信裝置14接收遠程近端ROI信息("遠程近端ROI")。 ROI感知視頻解碼器48 接收到的近端ROI信息由遠程視頻通信裝置14的用戶產(chǎn)生以指定由視頻通信裝置12傳 輸?shù)囊曨l中的ROI。如上所述，ROI感知視頻解碼器48接收到的遠程近端ROI信息用于 遠程控制ROI感知視頻編碼器46以優(yōu)先編碼由視頻通信裝置12產(chǎn)生的近端視頻中的 ROI。如上所述，通過帶內(nèi)或帶外信令技術(shù)來傳輸遠程近端ROI。
進一步參看圖3， ROI感知視頻編碼器46和ROI感知視頻解碼器48與ROI引擎44 交互。ROI引擎44處理本地和遠程近端ROI信息以用于編碼和傳輸來自視頻俘獲裝置 40的近端視頻位流。另夕卜，ROI引擎44處理經(jīng)由用戶界面42提供的遠端ROI信息以用 于編碼并傳輸?shù)竭h程視頻通信裝置14。 ROI引擎44包含ROI控制器52、 ROI映射器54、
ROI跟蹤模塊56和驗證模塊58。在一些實施例中，ROI跟蹤模塊56和驗證模塊58可以 是任選的。
ROI感知視頻編碼器46、 ROI感知視頻解碼器48、 ROI控制器52、 ROI映射器54、
ROI跟蹤模塊56和驗證模塊58可以多種方式形成，作為離散功能模塊或作為包含歸屬 于每一模塊的功能性的單片式模塊。在任一情況下，ROI感知CODEC 20的各個組件(包 含ROI引擎44、視頻編碼器46和視頻解碼器48)可實現(xiàn)在硬件、軟件、固件或其組合 中。舉例來說，此類組件可作為在一個或一個以上微處理器或數(shù)字信號處理器(DSP)、 一個或一個以上專用集成電路(ASIC)、 一個或一個以上現(xiàn)場可編程門陣列(FPGA)或 者其它等效集成或離散邏輯電路上執(zhí)行的軟件過程而操作。如果實施在軟件中，那么可 通過計算機可讀媒體來部分實現(xiàn)所述技術(shù)，所述計算機可讀媒體包括含有指令的程序代 碼，所述程序代碼當(dāng)在處理器或DSP中執(zhí)行時會進行本文描述的方法中的一種或一種以 上方法。
在操作中，視頻通信裝置12的用戶選擇由視頻俘獲模塊40產(chǎn)生的近端視頻或由ROI 感知視頻解碼器48解碼的遠端視頻，以在與用戶界面42相關(guān)聯(lián)的顯示裝置上査看。在 一些實施例中，畫中畫(PEP)功能性可允許用戶同時查看近端視頻和遠端視頻。為了出 于ROI定義的目的而查看近端或遠端視頻，用戶可操縱用戶界面42來調(diào)用ROI定義模 式。缺省地，視頻通信裝置12可處理視頻編碼和解碼而不考慮R01。通過進入ROI定義 模式，用戶激活視頻通信裝置12的ROI感知編碼和解碼方面。或者，ROI感知編碼和解 碼可為缺省模式。
當(dāng)呈現(xiàn)遠端視頻時，用戶使用多種技術(shù)中的任一者來指示遠端視頻中的ROI，將對 所述技術(shù)進行更詳細描述。遠端ROI在視頻場景內(nèi)突出顯示用戶關(guān)注的或需要較高圖像 質(zhì)量的區(qū)或?qū)ο?。用戶界?2基于用戶輸入產(chǎn)生遠端ROI指示。ROI信息可由ROI引 擎44進一步處理以產(chǎn)生遠端ROI信息以用于傳輸?shù)揭曨l通信裝置14。
或者，用戶可選擇從視頻俘獲模塊40獲得的近端視頻以用于ROI定義。當(dāng)呈現(xiàn)近端 視頻時，用戶可視情況使用與用于遠端視頻中的ROI指示的技術(shù)類似或相同的技術(shù)來指 示近端視頻中的ROI。近端ROI或遠端ROI可在VT通話開始時被初始指定或在VT通 話過程期間的任何時間被指定。在一些實施例中，初始ROI可由本地用戶或遠程用戶更 新，或通過ROI跟蹤模塊56自動更新。如果ROI被自動更新，那么用戶不需要繼續(xù)輸 入ROI信息。事實上，將基于用戶的初始輸入而維持ROI，直到用戶改變或中止ROI為 止。
用戶界面42基于用戶提供的指示而產(chǎn)生本地近端ROI指示。與遠端ROI指示一樣， 近端ROI指示可由ROI引擎44進一步處理。近端ROI指示突出顯示(即，通過增加圖 像質(zhì)量)視頻場景內(nèi)的用戶希望向遠程用戶強調(diào)的區(qū)或?qū)ο?。本地用戶可通過經(jīng)由用戶 界面42選擇預(yù)定義的ROI樣式或劃定ROI樣式來選擇近端ROI或遠端ROI。劃定ROI 樣式可涉及用鐵筆進行徒手繪制，或?qū)θ笔OI樣式重新設(shè)計大小或重新定位。
在圖3的實例中，用戶界面42將本地近端ROI指示(如果提供的話)和遠端ROI 指示提供到ROI引擎44內(nèi)的ROI控制器52。另夕卜，ROI控制器52經(jīng)由驗證模塊58從 ROI感知視頻解碼器48接收遠程近端ROI。明確地說，ROI感知視頻解碼器48檢測所 接收的遠端視頻流內(nèi)遠程近端ROI信息的存在，或經(jīng)由帶外信令的遠程近端ROI信息的 存在，且將遠程近端ROI信息提供到驗證模塊58。本地近端ROI和遠端ROI指示可依 照各個近端視頻或遠端視頻的視頻幀內(nèi)的坐標(biāo)來表達。ROI的坐標(biāo)可以是視頻幀內(nèi)的x-y 坐標(biāo)。然而，x-y坐標(biāo)經(jīng)處理以產(chǎn)生ROIMB映射，以由編碼器46或解碼器48使用，如 將解釋。
ROI控制器54處理本地近端R01、遠程近端ROI和遠端ROI，并將它們施加到ROI 映射器54。 ROI映射器54將各個ROI坐標(biāo)轉(zhuǎn)換為宏區(qū)塊(MB)映射。更明確地說，ROI 映射器54產(chǎn)生遠端MB映射，其指定遠端視頻內(nèi)的對應(yīng)于由本地用戶指示的遠端ROI 的MB。另外，ROI映射器54產(chǎn)生近端ROIMB映射，其指定近端視頻內(nèi)的對應(yīng)于本地 近端ROI、遠程近端ROI或兩者的組合的MB。
對于預(yù)定義的ROI樣式，ROI映射較簡單。每一預(yù)定義的ROI樣式可具有同樣被預(yù) 定義的指定MB映射。然而，對于劃定的、重新定位或重新設(shè)計大小的ROI樣式，ROI 映射器54選擇最符合由用戶指定的ROI樣式的坐標(biāo)的MB邊界。舉例來說，如果指定的 ROI橫穿MB，那么ROI映射器54將ROI邊界置于相關(guān)MB的外部邊緣或內(nèi)部邊緣處。 換句話說，ROI映射器54可經(jīng)配置以僅將完全處于ROI內(nèi)的MB包含在ROI MB映射中， 或者還包含部分處于ROI內(nèi)的MB。在任一情況下，ROI包含一組最近似于指定的ROI 的完整MB。再次，視頻編碼器46或視頻解碼器48在MB層級操作，且通常將需要將 ROI轉(zhuǎn)譯為MB映射。通過將個別MB指定為包含在ROI中或排除在ROI外，ROI MB 映射允許以不規(guī)則或非矩形形狀定義ROI。
ROI感知視頻編碼器46在經(jīng)編碼的近端視頻內(nèi)或通過帶外信令將遠端R01 MB映射 傳輸?shù)竭h程視頻通信裝置14。近端ROI MB映射不傳輸?shù)竭h程視頻通信裝置14。事實上， 近端ROI MB映射由ROI感知視頻編碼器46使用，以便在傳輸?shù)竭h程視頻通信裝置14
之前以較高質(zhì)量編碼或較強誤差防護而優(yōu)先編碼近端視頻中的指定的MB。因此，ROI 感知視頻編碼器46將經(jīng)編碼的近端視頻與經(jīng)優(yōu)先編碼的ROI以及遠端ROI信息傳輸?shù)?遠程視頻通信裝置14。
ROI跟蹤模塊56跟蹤近端視頻的ROI區(qū)中的變化。如果VT應(yīng)用駐存在移動視頻通 信裝置內(nèi)，舉例來說，用戶可能不時地移動，從而導(dǎo)致用戶的位置相對于先前指定的ROI 發(fā)生變化。另外，即使當(dāng)用戶位置穩(wěn)定時，ROI內(nèi)的其它對象也可能移出ROI區(qū)。舉例 來說，湖面上的小船可隨著波浪運動而上下顛簸或左右移動。為了避免當(dāng)發(fā)生移動時用 戶需要重新定義ROI，可提供ROI跟蹤模塊56以自動跟蹤ROI區(qū)內(nèi)的對象。
在圖3的實例中，ROI跟蹤模塊56從由ROI感知視頻編碼器46產(chǎn)生的經(jīng)編碼的近 端視頻接收運動信息。運動信息可采取經(jīng)編碼的近端視頻內(nèi)的MB的運動向量的形式， 從而允許通過ROI映射器54對ROI MB映射定義進行閉環(huán)控制?；谶\動信息，ROI 跟蹤模塊56產(chǎn)生對近端ROI MB映射的遞增位置調(diào)節(jié)，并將調(diào)節(jié)提供到ROI映射器54。 位置調(diào)節(jié)可采取如包含在ROI中或排除在ROI外的MB狀態(tài)變化的形式。
如果運動信息指示ROI的大量移動，那么ROIMB映射中MB的狀態(tài)可能改變。通 常，處于ROI外部邊界處的MB的狀態(tài)將發(fā)生改變。響應(yīng)于位置調(diào)節(jié)，ROI映射器54 使由近端ROIMB映射指定的ROI移位，使得ROI位置以逐幀為基礎(chǔ)適應(yīng)于經(jīng)編碼的近 端視頻內(nèi)的運動。ROI跟蹤模塊56和ROI映射器54協(xié)作以在視頻場景內(nèi)檢測到運動時 自動調(diào)節(jié)ROI位置。以此方式，ROI引擎44調(diào)節(jié)ROI以跟蹤R01內(nèi)移動的對象。
驗證模塊58用于解析遠程用戶的ROI權(quán)利，包含個別用戶的權(quán)利和多個用戶之間的 權(quán)利的優(yōu)先性。當(dāng)ROI感知視頻解碼器48從遠程視頻通信裝置14接收遠程近端ROI時， 其將遠程近端ROI提供到ROI引擎44。然而，在一些情況下，由遠程用戶指定的遠程近 端ROI可能與由本地用戶指定的本地近端ROI沖突。舉例來說，本地和遠程用戶可指定 視頻場景內(nèi)的重疊ROI或完全不同的ROI。在此情況下，可提供驗證模塊58以解決ROI 沖突。
在一些實施例中，驗證模塊58可應(yīng)用所謂的"主-從"機制來協(xié)調(diào)在給定時間應(yīng)使 用哪一近端ROI信息(本地或遠程)。明確地說，在發(fā)送者接收接收器驅(qū)動的ROI信息 之前，發(fā)送者是近端ROI主裝置且控制其近端ROI。換句話說，在視頻通信裝置12處接 收到遠程近端ROI之前，本地用戶控制近端ROI。因而遠程用戶是近端ROI"從屬裝置" 且不控制近端ROI，除非主裝置(即，本地用戶)授予控制近端ROI的存取權(quán)。
一旦本地用戶向遠程用戶授予存取權(quán)，本地用戶就不再控制其近端ROI。事實上，
與視頻通信裝置14相關(guān)聯(lián)的遠程用戶獲得對于由視頻通信裝置12產(chǎn)生的近端視頻的近 端ROI的控制權(quán)，且成為近端ROI的主裝置。遠程用戶可保持控制權(quán)直到本地用戶明確 地撤消存取特權(quán)或以另外的方式拒絕遠程用戶的存取為止，或者直到遠程用戶中止ROI 選擇位置為止，在此情況下主ROI控制權(quán)可歸還于本地用戶。
一旦ROI感知視頻解碼器48接收經(jīng)編碼的遠端視頻(如果有的話)，其就基于與發(fā) 送者約定的格式從視頻位流中檢索遠程近端ROI信息。再次，近端ROI信息可內(nèi)嵌在經(jīng) 編碼的遠端視頻中或通過帶外信令發(fā)送。在任一情況下，ROI感知視頻解碼器48將遠程 近端ROI傳遞到驗證模塊58以在經(jīng)由ROI控制器52和ROI映射器54將遠程近端ROI 發(fā)送到ROI感知視頻編碼器46之前獲得存取許可。驗證模塊58將存取權(quán)限制于特定用 戶，使得用戶在不經(jīng)本地用戶授權(quán)的情況下不能控制編碼過程。
驗證模塊58可經(jīng)配置以授予并管理存取權(quán)，并在一個或一個以上遠程用戶之間進行 平衡。舉例來說，本地用戶可向選定的遠程用戶授予存取權(quán)。因此，本地用戶可允許一 些遠程用戶控制近端ROI并禁止其它遠程用戶控制近端ROI。并且，本地用戶可向遠程 用戶分派相對存取等級或優(yōu)先權(quán)。以此方式，本地用戶可指定遠程用戶之間的存取等級 的階層，使得在多個遠程用戶同時請求ROI控制權(quán)的情況下， 一些遠程用戶與其它遠程 用戶相比在控制近端ROI方面可具有優(yōu)先權(quán)。舉例來說，在多方視頻會議過程中多個遠 程用戶可能同時請求ROI控制權(quán)。在此類情況下，ROI控制權(quán)通常將專門授予給一個用 戶，其為本地用戶，或者如果控制權(quán)是由本地用戶授予的，那么其為遠程用戶中的選定 一者。
在一些實施例中，驗證模塊58還可負責(zé)資源監(jiān)視以確定本地視頻通信裝置12是否 具有啟用ROI感知視頻處理的能力。如果本地裝置不具有充足的處理資源來在給定時間 支持遠程ROI控制或滿足特定類型的ROI請求，那么驗證模塊58撤消遠程ROI控制存 取權(quán)或拒絕ROI請求。作為一實例，由通信信道強加的帶寬限制或本地處理負荷可能導(dǎo) 致拒絕遠程ROI控制。作為另一實例，這些限制可能允許使用預(yù)配置的ROI樣式，而不 是所劃定或描述的ROI樣式。驗證模塊58可通過將狀態(tài)消息內(nèi)嵌在待發(fā)送到遠程裝置的 傳出經(jīng)編碼近端視頻中來向遠程裝置通知所述ROI決策。
另外，可向個別遠程用戶授予不同的存取等級來控制遠程用戶可控制近端ROI的程 度。舉例來說，遠程用戶可限于僅在經(jīng)本地用戶批準(zhǔn)時才可選擇一組預(yù)定義的ROI樣式、 特定的ROI位置或大小或ROI的規(guī)格。因此，驗證模塊58可自動解析遠程用戶對于近 端ROI的控制，或通過與本地用戶交互而協(xié)商對于遠程用戶的近端ROI控制權(quán)的主動批
準(zhǔn)。舉例來說，當(dāng)遠程用戶請求存取權(quán)以控制近端ROI時，驗證模塊58可經(jīng)由用戶界面 42向本地用戶提交詢問以請求批準(zhǔn)遠程用戶ROI控制權(quán)。
驗證模塊58可以多種方式中的任一者跟蹤遠程用戶的存取等級。如上所述，本地用 戶可主動地批準(zhǔn)來自遠程用戶的控制近端ROI的請求，并主動地控制向遠程用戶授予的 存取等級?；蛘?，本地用戶可在存儲與遠程用戶相關(guān)聯(lián)的信息(包括存取權(quán)或等級)的 視頻通信裝置12中的存儲器內(nèi)維持地址簿。所述地址簿可采取具有遠程用戶和相關(guān)聯(lián)的 存取等級的列表的數(shù)據(jù)庫的形式。當(dāng)遠程用戶請求近端ROI控制權(quán)時，驗證模塊58從地 址簿檢索相關(guān)的存取權(quán)信息，并自動應(yīng)用驗證過程來解析本地用戶、遠程用戶以及可能 若干遠程用戶之間的ROI控制權(quán)。如果遠程用戶未列在地址簿中，那么本地用戶可選擇 將遠程用戶添加到地址簿并具有適用的存取權(quán)。
在一些情況下，本地用戶可超越(override)為地址簿中的特定遠程用戶指定的缺省 存取等級。舉例來說，驗證模塊58可允許本地用戶在VT通話過程期間在不同的遠程用 戶之間主動地重新配置ROI控制優(yōu)先權(quán)，或進行千涉以作為本地用戶重新獲得對近端 ROI的專有控制權(quán)。本地用戶與驗證模塊58之間在維持地址簿或主動管理ROI控制權(quán)請 求時的交互由圖3中的存取控制信息(ACCESS CONTROL INFO)表示。
當(dāng)自動或主動批準(zhǔn)遠程用戶的近端ROI控制權(quán)時，驗證模塊58將遠程近端ROI傳 遞到ROI控制器52以用于由近端ROI映射器54進行處理和映射?；蛘?，即如果未提供 遠程近端ROI或本地用戶已選擇排斥遠程用戶而控制近端ROI,那么ROI控制器52處 理由本地用戶經(jīng)由用戶界面42提供的本地近端ROI。
驗證模塊58用于解決本地與遠程用戶之間的ROI沖突。缺省地，驗證模塊58應(yīng)用 主-從概念，依照所述主-從概念，本地用戶具有近端ROI控制權(quán)。當(dāng)向遠程用戶授予具 有最高等級的存取權(quán)時，遠程用戶完全控制視頻通信裝置12的ROI感知視頻編碼器46 的近端ROI選擇。否則，本地用戶具有近端ROI控制權(quán)，其超越由遠程用戶作出的任何 近端ROI選擇。
盡管可向遠程用戶授予存取權(quán)，但本地用戶在近端ROI控制過程中將占優(yōu)勢，因為 遠程用戶的存取權(quán)通常比本地用戶的存取權(quán)具有較低等級。因此，如果本地用戶選擇指 定近端ROI,那么將忽視遠程用戶作出的任何近端ROI選擇。另一方面，如果本地用戶 不指定近端ROI，那么分派給遠程用戶的存取權(quán)的等級有效，且遠程用戶能夠控制近端 ROI。然而，如上所述，本地用戶仍可選擇超越缺省的主-從關(guān)系并放棄給予本地用戶的 最高等級的存取權(quán)。
圖4是說明具有ROI感知CODEC且進一步并入有ROI提取模塊60的另一視頻通 信裝置12'的方框圖。圖4的視頻通信裝置12'與圖3的視頻通信裝置12幾乎一致。然而， 視頻通信裝置12'進一步包含ROI提取模塊60以基于來自用戶的輸入形成本地近端ROI 和遠端ROI。除了簡單地處理對預(yù)設(shè)置的ROI樣式的選擇或允許用戶對缺省ROI進行劃 定、重新定位或重新設(shè)計大小，ROI提取模塊60還允許本地用戶通過口頭或文本ROI 描述來指定ROI。明確地說，ROI提取模塊60基于由本地用戶提供的ROI描述來產(chǎn)生本 地近端ROI或遠端ROI。
ROI描述的實例包含例如"臉部"、"移動對象"、"唇部"、"人體"、"背景"等項目 的文本或口頭輸入。可能非常需要對這些對象的優(yōu)先編碼。舉例來說，對唇部或臉部的 優(yōu)先編碼可較好地表現(xiàn)面部表情、吐詞等。文本輸入可被鍵入或從由用戶界面42呈現(xiàn)的 菜單中選擇?？赏ㄟ^向與視頻通信裝置12'相關(guān)聯(lián)的麥克風(fēng)中說話來提供口頭輸入。在每 一情況下，本地用戶"描述"ROI而不是選擇或劃定ROI。 ROI提取模塊60將所述描述 轉(zhuǎn)換為適用的近端或遠端視頻場景內(nèi)的一組坐標(biāo)。在使用口頭ROI描述的情況下，用戶 界面42或ROI提取模塊60可包含常規(guī)的語音識別能力。明確地說，ROI提取模塊60 可基于一個或一個以上經(jīng)識別的項目來產(chǎn)生指定ROI的信息。
ROI提取模塊60通過應(yīng)用經(jīng)配置以檢測所需的ROI的常規(guī)預(yù)編碼處理算法來自動選 擇ROI坐標(biāo)。明確地說，ROI提取模塊60可應(yīng)用一算法來根據(jù)視頻ROI處理領(lǐng)域的技 術(shù)人員已知的常規(guī)技術(shù)進行臉部檢測、特征提取、對象分割或跟蹤。舉例來說，ROI提 取模塊60可應(yīng)用依賴于基于視頻輸入數(shù)據(jù)的像素的亮度或色度值進行ROI識別的常規(guī)技 術(shù)。
常規(guī)臉部檢測方案通常涉及使用膚色作為指導(dǎo)來識別臉部與非臉部像素。正ICE學(xué) 報Inf. & Syst， 2003年1月，第E86-D巻，第1期，第101-108頁，C.-W. Lin、 Y.-J. Chang 和Y.-C. Chen的"A low-complexity face-assisted coding scheme for low bit-rate video telephony"中以及正EE學(xué)報On Circuits and Systems for Video Technology, 1999年6月， 第9巻，第4期，第551-564頁，D. Chai和K. N. Ngan的"Face segmentation using skin-color map in videophone applications"中描述了常規(guī)臉部檢測方案的實例。
當(dāng)本地用戶依據(jù)"臉部"描述ROI時，ROI提取模塊60視情況分析近端或遠端視頻， 以自動識別臉部并將與所識別的臉部相關(guān)聯(lián)的坐標(biāo)指定為ROI。 ROI提取模塊60接著將 坐標(biāo)傳遞到ROI控制器52以用于由ROI映射器54進行處理和映射。值得注意的是，R01 提取模塊60視情況處理本地近端ROI描述或遠端ROI描述，將所述描述映射到適當(dāng)?shù)?br> 提取算法，并自動分析適用的經(jīng)預(yù)編碼的近端視頻或經(jīng)解碼的遠端視頻以自動提取適當(dāng) 的ROI。
為了支持自動ROI檢測，ROI提取模塊60從視頻俘獲裝置40接收近端視頻，并從 ROI感知視頻解碼器48接收遠端視頻。使用來自用戶界面42的本地近端ROI描述或遠 端ROI描述，以及自動化檢測算法，ROI提取模塊60視情況產(chǎn)生本地近端ROI和遠端 ROI，以便應(yīng)用于ROI控制器52。在每一情況下，ROI提取模塊60將本地近端ROI描 述或遠端ROI描述轉(zhuǎn)換為最符合適用描述的坐標(biāo)。在此情況下，用戶不需要劃定ROI。 另夕卜，用戶不被限定于一組預(yù)定義的ROI樣式。事實上，ROI控制器52主動地檢測近端 視頻內(nèi)與ROI描述匹配的適當(dāng)區(qū)。
ROI映射器54將ROI坐標(biāo)映射到視頻幀內(nèi)的相關(guān)宏區(qū)塊(MB)，并產(chǎn)生近端或遠端 ROI MB映射。實際上，ROI映射器54將來自ROI控制器52的ROI坐標(biāo)轉(zhuǎn)譯成視頻編 碼器46可理解的格式。明確地說，視頻編碼器46經(jīng)裝備以在MB層級，即在逐個MB 基礎(chǔ)上處理編碼。為此，ROI映射器54產(chǎn)生近端或遠端視頻的ROI MB映射。ROI MB 映射識別落在指定的ROI內(nèi)的MB，使得視頻編碼器46可向那些MB應(yīng)用優(yōu)先編碼。
除了處理ROI描述外，ROI提取模塊60還可經(jīng)裝備以處理由本地用戶從一組預(yù)定義 的樣式中選擇的或由本地用戶劃定、重新定位或重新設(shè)計大小的ROI樣式。因此，視頻 通信裝置12'可大體上如關(guān)于圖3的視頻通信裝置12所描述的那樣產(chǎn)生ROI信息，但進 一步并入有ROI提取模塊60以處理由本地用戶以文本或口頭形式輸入的ROI描述。在 便于本地用戶使用方面，ROI提取模塊60可能是合乎需要的。然而， 一些視頻通信裝置 可能不具有足夠的處理能力來支持ROI提取模塊60。因此，ROI提取模塊60表示根據(jù) 本揭示案的視頻通信裝置的一個合乎需要的但任選的組件。
在一些實施例中，ROI提取模塊60可處理不僅由本地用戶而且由遠程用戶產(chǎn)生的 ROI描述。以此方式，在一些裝置中可遠程地而非在本地執(zhí)行提取功能性。舉例來說， 特定視頻通信裝置14可能不具有足夠的本地資源或能力來支持對于由裝置14的用戶提 供的ROI描述的ROI提取。然而，另一視頻通信裝置12可能較好地經(jīng)裝備以進行ROI 提取。在此情況下，預(yù)期本地ROI提取可被卸載或分配到遠程視頻通信裝置。
為了支持遠程提取，可以多種方式將ROI描述提供到遠程裝置。舉例來說，口頭描 述可包含在傳輸?shù)竭h程裝置的音頻流中。文本ROI描述以及預(yù)定義的ROI樣式或劃定的 ROI樣式同樣可(例如)通過將此信息內(nèi)嵌在經(jīng)編碼的視頻流中而傳輸?shù)竭h程裝置。因 此，從一個裝置發(fā)送到另一裝置的ROI信息可采取預(yù)處理的ROIMB映射或ROI的任何
其它指示或描述的形式，所述指示或描述包含在施加到遠程編碼器之前需要在遠程裝置 處進行處理的指示或描述。
圖5是說明經(jīng)由中間提取服務(wù)器61的分布式ROI提取的方框圖。如圖5所示，視頻 通信裝置12、 14可向中間提取服務(wù)器61提供足夠的信息使得可提取ROI。舉例來說， 每一裝置12、 14可提供各自的本地近端ROI描述、遠端ROI描述、經(jīng)編碼或原始近端 視頻，和經(jīng)編碼遠端視頻。作為從近端裝置提供經(jīng)編碼遠端視頻的替代方法，ROI提取 服務(wù)器61可直接從遠端裝置接收遠端視頻。使用此信息，提取服務(wù)器61產(chǎn)生遠端ROI 和本地近端ROI中的一者或兩者，并將它們提供到各自裝置12、 14。提取服務(wù)器61可 以是位于通信網(wǎng)絡(luò)內(nèi)的任何地方的服務(wù)器，且可通過有線媒體、無線媒體或兩者的組合 耦合到裝置12、 14。提取服務(wù)器61可相對于視頻通信裝置12、 14定位在遠距離，或與 裝置12、 14中的一者定位在一起。然而，在許多情況下，提取服務(wù)器61可以是遠程服 務(wù)器。 一般來說，提取服務(wù)器61將在結(jié)構(gòu)上不同于視頻通信裝置12、 14。
提取服務(wù)器61可與提取模塊60非常類似地起作用，但遠程、分布式地操作，使得 不需要在裝置12、 14內(nèi)本地執(zhí)行ROI提取。以此方式，ROI提取的處理成本可分布到可 能具有較大處理能力的不同裝置。與ROI提取模塊60—樣，提取服務(wù)器61可處理用戶 的例如口頭、文本或圖形描述的不同類型的ROI描述。為此，ROI提取服務(wù)器61可包含 適宜的能力(例如，語音識別能力)來處理所述描述。另外，ROI提取服務(wù)器61可裝備 有視頻解碼能力以允許分析視頻和提取ROI，以及編碼能力以重新編碼視頻和內(nèi)嵌ROI 信息(視需要)。
圖6是說明用于多個視頻電話會話的分布式ROI提取的方框圖。在圖6的實例中， ROI提取服務(wù)器61操作以處理多個視頻通信裝置12A-14A、 12B-14B、 12C-14D到 12N-14N之間的VT會話的ROI提取。以此方式，ROI提取服務(wù)器61并行執(zhí)行多個ROI 提取任務(wù)以支持正在給定通行網(wǎng)絡(luò)上進行的各種VT會話。
圖7A-7D是說明供本地或遠程用戶選擇的預(yù)定義的ROI樣式的圖。圖7A-7D的ROI 樣式是出于實例的目的，且不應(yīng)認為具有限定性。圖7A展示與無線通信裝置38相關(guān)聯(lián) 的顯示器36上呈現(xiàn)的視頻場景34內(nèi)的ROI 62。 ROI 62是在視頻場景34內(nèi)大體上居中 的基本矩形。矩形ROI 62的主要長度在視頻場景34內(nèi)垂直延伸。在許多情況下，預(yù)定 義的居中矩形ROI 62將有效地俘獲人臉，即參與VT通話的遠程用戶的臉部。
圖7B展示另一R0164，其采取具有在視頻場景34內(nèi)水平延伸的主要長度的矩形的 形式。ROI64在視頻場景34內(nèi)大體上居中，且可有效地俘獲例如車輛、船只、產(chǎn)品、演
示等對象。
圖7C展示另一 ROI 66，其形狀經(jīng)設(shè)計以俘獲參與VT通話的遠程用戶的臉部和肩部。 或者，ROI66可俘獲例如單向視頻串流應(yīng)用中提供新聞廣播的報道者、集會的主持人或 會議的發(fā)言者的臉部和肩部。在任何情況下，預(yù)定義的ROI66均聚焦于人類VT參與者 或演示者，并實現(xiàn)對所述人員的物理特征的優(yōu)先編碼。
圖7D展示在視頻場景34內(nèi)并排呈現(xiàn)的一組兩個ROI 68、 70。在圖5D的實例中， ROI6S、 70可有效地俘獲并排就座或站立的兩個人的臉部。以此方式，兩個參與者的臉 部可被優(yōu)先編碼以支持面部表情和移動的較髙圖像質(zhì)量。
圖7A-7D中描繪的預(yù)定義的ROI樣式是出于說明的目的。可提供具有替代位置或形 狀的其它預(yù)定義的ROI樣式。舉例來說， 一些ROI樣式倘若可映射到MB邊界則可具有 圓形或不規(guī)則形狀。
在一些實施例中，可允許用戶對選定的ROI樣式重新設(shè)計大小或重新定位。常規(guī)的 指針和轉(zhuǎn)角拖動技術(shù)可用于實現(xiàn)重新設(shè)計大小和重新定位。另外，可通過轉(zhuǎn)角拖動或通 過明確地指定縮放百分比來實現(xiàn)對ROI大小的重新縮放。當(dāng)然，當(dāng)ROI變大時，優(yōu)先編 碼的程度由于帶寬限制的緣故而減小。因此，在一些情況下，可在視頻通信裝置12內(nèi)實 行最大ROI大小。
圖8是說明在接收者裝置處產(chǎn)生遠端ROI信息以在發(fā)送者裝置處控制近端視頻中的 優(yōu)先ROI編碼的流程圖。圖8中描繪的過程可實施在圖3的視頻通信裝置12或圖4的視 頻通信裝置12'內(nèi)。在操作中，視頻通信裝置12內(nèi)的ROI感知視頻解碼器48解碼來自遠 程發(fā)送者裝置(例如，視頻通信裝置14 (圖l))的遠端視頻(72)。 一旦解碼遠端視頻， 接收者裝置12的用戶界面42就顯示遠端視頻以供本地用戶查看(74)。
如果本地用戶不請求ROI選擇(76),那么不采取行動且解碼遠端視頻的下一幀(72)。 然而，如果請求ROI選擇(76)，那么用戶界面42接受來自本地用戶的遠端ROI信息(78)。 ROI控制器52和ROI映射器54接著協(xié)作以產(chǎn)生遠端ROI MB映射(80)。 ROI感知編碼 器46將遠端ROI MB映射內(nèi)嵌在經(jīng)編碼的近端視頻中并藉此將遠端ROI映射傳輸?shù)骄幋a 遠端視頻的遠程發(fā)送者裝置14 (82)。遠端ROIMB映射指定與遠程視頻通信裝置14相 關(guān)聯(lián)的編碼器應(yīng)對待發(fā)送到視頻通信裝置12的遠端視頻的相關(guān)ROI內(nèi)的MB應(yīng)用優(yōu)先編 碼。
圖9是說明處理來自接收者裝置的近端ROI信息以便結(jié)合ROI跟蹤而在發(fā)送者裝置 處在近端視頻中進行優(yōu)先ROI編碼的流程圖。在圖9的實例中，用戶界面42接收由視頻
俘獲裝置40產(chǎn)生的近端視頻流，并向本地用戶呈現(xiàn)近端視頻(84)。如果本地用戶或遠 程用戶均不請求近端ROI選擇(86)，那么正常編碼每一視頻幀內(nèi)的所有MB (88)，即 不對ROI內(nèi)的MB進行任何優(yōu)先編碼。接著將經(jīng)編碼的近端視頻發(fā)送到遠程接收者裝置 14 (89)。
然而，如果本地用戶或遠程用戶請求近端ROI選擇(86)，那么ROI控制器52和 ROI映射器54處理相關(guān)近端ROI信息以產(chǎn)生近端ROIMB映射(90)。如果近端ROI由 本地用戶和遠程用戶兩者指定，那么驗證模塊58可進行干涉以有利于ROI中的一者地解 決沖突。當(dāng)接收到近端ROI MB映射時(90), ROI感知視頻編碼器46通過應(yīng)用較高質(zhì) 量編碼、較強誤差防護或兩者來優(yōu)先編碼所述ROI內(nèi)的MB (92)。
跟蹤模塊56通過監(jiān)視由ROI感知視頻編碼器46產(chǎn)生的運動信息來跟蹤近端視頻內(nèi) 的ROI位置(94)。如果未檢測到ROI中的位移(96)，那么應(yīng)用現(xiàn)有ROI映射來編碼近 端視頻內(nèi)的ROI MB (100)，且將經(jīng)編碼的近端視頻發(fā)送到遠程接收者裝置(102)。如 果檢測到ROI中的位移(96)，那么視頻跟蹤模塊56在編碼近端視頻(100)之前基于運 動信息來調(diào)節(jié)ROIMB映射(98)。
圖10是說明處理來自接收者裝置的ROI信息以便結(jié)合用戶驗證而在發(fā)送者裝置處在 近端視頻中進行優(yōu)先ROI編碼的流程圖。圖10描繪圖3或4的驗證模塊58允許遠程用 戶控制近端ROI的操作，且為了簡便假定未指定任何本地近端ROI。如圖10所示，對于 由視頻通信裝置12中的視頻俘獲裝置40產(chǎn)生的近端視頻流(104)，驗證模塊58確定視 頻通信裝置14的遠程用戶是否已求遠程近端R01 (106)。
如果未請求任何遠程近端ROI (106),且未指定任何本地近端ROI，那么正常編碼 近端視頻中的所有MB (110)。然而，如果請求了遠程近端ROI (106)，那么驗證模塊 58接著確定請求近端ROI的遠程用戶是否經(jīng)驗證(108)。明確地說，驗證模塊58可通 過參考存儲在視頻通信裝置12本地的地址簿來自動確定遠程用戶的存取權(quán)?；蛘?，驗證 模塊58可經(jīng)由用戶界面42主動地詢問本地用戶，以獲得對由遠程用戶進行近端ROI控 制的存取權(quán)的批準(zhǔn)或拒絕。
如果遠程用戶未經(jīng)驗證(108)，那么正常編碼近端視頻中的所有MB (110)。然而， 如果遠程用戶經(jīng)驗證(108)，那么向遠程用戶授予近端ROI控制權(quán)。在此情況下，ROI 控制器52和ROI映射器54處理來自遠程用戶的近端ROI信息并產(chǎn)生近端MB映射(112)。 使用近端MB映射，ROI感知編碼器46優(yōu)先編碼由近端MB映射識別的MB (114)。視 頻通信裝置12接著將經(jīng)編碼的近端視頻發(fā)送到遠程視頻通信裝置14 (116)。
圖ll是說明選擇預(yù)定義的ROI樣式的流程圖。 一旦ROI感知視頻解碼器48解碼從 遠程視頻通信裝置14接收的遠端視頻(118)，就經(jīng)由用戶界面42向本地用戶顯示遠端 視頻(120)。如果本地用戶請求ROI選擇(122)，那么用戶界面42顯示例如圖7A-7D 所示的ROI樣式的預(yù)定義ROI樣式的菜單(124)?；蛘?，用戶可提供ROI描述或?qū)OI 樣式進行劃定、重新定位或重新設(shè)計大小。然而，在圖ll的實例中，操作集中于呈現(xiàn)預(yù) 定義的ROI樣式。當(dāng)本地用戶選擇預(yù)定義的ROI樣式時(126)， ROI控制器52和R01 映射器54基于選定的樣式定義ROIMB映射(128)。 ROI感知視頻編碼器46將ROI MB 映射內(nèi)嵌在經(jīng)編碼的近端視頻內(nèi)并將ROI MB映射傳輸?shù)竭h程視頻通信裝置14 (130) 以用于優(yōu)先編碼遠端視頻中的ROI。
圖12是說明通過擴展和收縮ROI模板132來定義所顯示的視頻場景34中的ROI樣 式的圖。圖12大體上對應(yīng)于圖2，但說明可由用戶重新設(shè)計大小的ROI模板132的呈現(xiàn)。 在圖12的實例中，可通過對ROI模板的轉(zhuǎn)角的一者進行轉(zhuǎn)角拖動以擴展和收縮ROI模 板來對ROI模板132重新設(shè)計大小。轉(zhuǎn)角拖動以擴展ROI模板132的結(jié)果由經(jīng)擴展的 ROI模板134表示。轉(zhuǎn)角拖動導(dǎo)致ROI模板132的大小增加或減小，但維持相對的長寬 縮放比例。然而，在一些實施例中，也可允許用戶拖動ROI模板132的一側(cè)以便增加或 減小ROI模板的大小，同時還改變長寬縮放比例?？墒褂描F筆結(jié)合觸摸屏幕或使用與視 頻通信裝置12的用戶界面42相關(guān)聯(lián)的另一指向裝置來實現(xiàn)拖動。其它指向裝置可包含 操縱桿、觸摸墊、滾輪、跟蹤球等。
圖13是說明通過拖動ROI模板132來定義所顯示的視頻場景中的ROI樣式的圖。 明確地說，圖13展示通過將ROI模板拖動到視頻場景34內(nèi)的另一位置135來重新定位 ROI模板132。可通過鐵筆和觸摸屏幕或與用戶界面42相關(guān)聯(lián)的另一指向裝置來實現(xiàn)拖 動。
圖14是說明通過用鐵筆138在觸摸屏幕上劃定ROI樣式136來定義所顯示的視頻場 景中的ROI樣式的圖。在圖14的實例中，通過徒手描繪來產(chǎn)生ROI樣式136。 ROI控制 器52和ROI映射器54協(xié)作以將與劃定的ROI樣式相關(guān)聯(lián)的坐標(biāo)轉(zhuǎn)換成MB映射，所述 MB映射識別視頻場景34內(nèi)的大致落在ROI樣式136內(nèi)的MB。如圖12、 13和14所示 的ROI樣式的定義可適用于近端視頻或遠端視頻內(nèi)的ROI。
圖15是說明使用具有待動態(tài)跟蹤的指定的ROI對象的下拉式菜單140來定義所顯示 的視頻場景中的ROI樣式的圖。如圖15所示，用戶界面42呈現(xiàn)下拉式菜單140，其呈 現(xiàn)例如"臉部"、"唇部"、"背景"和"移動"的ROI描述。本地用戶選擇下拉式菜單中
的條目之一作為所需的ROI描述。作為響應(yīng)，ROI提取模塊60 (圖4)視情況分析近端 視頻或遠端視頻，以檢測對應(yīng)于描述的ROI樣式。作為下拉式菜單140的替代，用戶可 經(jīng)由用戶界面42輸入文本或向麥克風(fēng)口頭說出文本。在每一情況下，使用例如皮膚-色 調(diào)檢測、對象分割或類似技術(shù)的常規(guī)的特征檢測算法來使選定的ROI與適當(dāng)?shù)腞OI樣式 匹配。當(dāng)選定ROI樣式時，ROI控制器52和ROI映射器54產(chǎn)生適當(dāng)?shù)腞OIMEI映射。 圖15中的過程稱為"動態(tài)的"，是指每一ROI描述必須動態(tài)地與考慮中的特定視頻場景 內(nèi)的ROI樣式匹配。
圖16是說明使用具有映射到如圖7A-7D中的預(yù)定義的ROI樣式的指定的ROI對象 的下拉式菜單142來定義所顯示的視頻場景中的ROI樣式的圖。如圖16所示，用戶界面 42呈現(xiàn)下拉式菜單142，其呈現(xiàn)例如"單一臉部"、"雙臉部"、"頭部/肩部"和"對象" 的ROI描述。本地用戶選擇下拉式菜單中的條目之一作為所需的ROI樣式。作為響應(yīng)， ROI控制器52使選定的ROI樣式與相應(yīng)的預(yù)定義的ROI樣式(如圖7A-7D中描繪的ROI 樣式)匹配。因此，不同于圖15所示的ROI描述，靜態(tài)ROI樣式不需要視頻分析。事 實上，ROI控制器52和ROI映射器54產(chǎn)生對應(yīng)于下拉式菜單142中的選擇的預(yù)配置的 ROIMB映射。再次，作為下拉式菜單142的替代，用戶可經(jīng)由用戶界面42輸入文本或 向麥克風(fēng)口頭說出文本。圖15中的過程稱為"靜態(tài)的"，是指每一ROI樣式對應(yīng)于預(yù)定 義的ROI樣式和MB映射。
圖17是說明使用ROI描述界面來定義所顯示的視頻場景中的ROI樣式的流程圖。 圖17所示的過程可與圖15的下拉式菜單或其它輸入媒體結(jié)合使用。如圖17所示，ROI 感知視頻解碼器48解碼從遠程發(fā)送者裝置14接收的遠端視頻(144)。用戶界面42接著 向本地用戶顯示遠端視頻(146)。如果本地用戶不請求對于遠端視頻的ROI選擇(148)， 那么不將任何ROI信息發(fā)送到遠程視頻通信裝置14。然而，如果請求了 ROI選擇(148), 那么用戶界面42呈現(xiàn)例如圖17的下拉式菜單140的ROI描述界面(150)。
當(dāng)接收到本地用戶ROI描述時(152)， ROI控制器52和ROI映射器54基于描述選 擇ROI樣式(154)并基于選定的ROI樣式定義ROI MB映射(156)。再次，可通過使 用常規(guī)檢測技術(shù)分析遠端視頻并使ROI描述與遠端視頻內(nèi)的特定MB匹配來確定選定的 ROI樣式。當(dāng)產(chǎn)生遠端ROIMB映射時，ROI感知視頻編碼器12將遠端ROIMB映射內(nèi) 嵌在經(jīng)編碼的近端視頻中并將其傳輸?shù)竭h程視頻通信裝置14以用于優(yōu)先編碼遠端ROI。
圖18是說明發(fā)送者與接收者裝置12、 14之間的ROI沖突的解決的流程圖。明確地 說，圖18說明驗證模塊58 (圖3或圖4)解決由本地用戶指定的近端ROI與由遠程用戶
指定的近端ROI之間的沖突的操作。當(dāng)在發(fā)送者裝置處產(chǎn)生近端視頻時(160)，驗證模 塊58確定近端ROI是否已由本地用戶或遠程用戶請求(162)。如果不是，那么正常編碼 所有MB (164)而不優(yōu)先編碼ROI，且將所產(chǎn)生的經(jīng)編碼的視頻發(fā)送到接收者視頻通信 裝置14 (166)。
如果請求了近端ROI (162)，那么驗證模塊58確定由本地用戶指定的近端ROI與由 遠程用戶指定的近端ROI之間是否存在沖突(168)。如果未指定遠程近端ROI，或如果 本地與遠程近端ROI —致，那么驗證可將選定的近端ROI傳遞到ROI控制器52以進行處理。
如果不存在本地近端ROI，但已選擇遠程近端ROI，那么驗證模塊58可允許應(yīng)用遠 程近端ROI?；蛘?，在一些實施例中，僅當(dāng)通過本地用戶交互或通過地址簿中記錄的存 取等級而向遠程用戶授予了明確存取權(quán)時，驗證模塊58才可允許應(yīng)用遠程近端R01。如 果不存在ROI沖突，那么ROI映射器54基于適用的近端ROI產(chǎn)生近端MB映射并將其 施加到ROI感知視頻編碼器46。 ROI感知視頻編碼器46接著優(yōu)先編碼近端視頻的ROI 內(nèi)的MB (172)。
如果本地與遠程近端ROI之間存在沖突(168)，那么驗證模塊58確定例如在視頻通 信裝置12內(nèi)本地存儲的地址簿中是否已分派了存取等級(174)。如果分派了存取等級 (174)，那么驗證模塊58根據(jù)存取等級解決ROI沖突(176)。舉例來說，針對遠程用戶 而存儲的存取等級可指示應(yīng)超越于本地用戶而向遠程用戶授予ROI控制權(quán)。如果未分派 存取等級(174)，那么驗證模塊58從本地用戶處尋求對遠程ROI控制的許可(178)。明 確地說，驗證模塊58可經(jīng)由用戶界面42提交詢問以請求批準(zhǔn)遠程用戶進行近端ROI控 制。
如果本地用戶給予批準(zhǔn)，那么驗證模塊58將遠程近端ROI傳遞到ROI控制器52以 進行處理。如果未給予批準(zhǔn)，那么ROI控制器52處理本地近端ROI。在任一情況下， ROI感知視頻編碼器46使用選定的ROI來優(yōu)先編碼近端視頻內(nèi)的落在所述ROI內(nèi)的MB (172)，并將經(jīng)編碼的近端視頻讀出到遠程接收者裝置14 (166)。在一些情況下，驗證 模塊58不僅可解決本地用戶與遠程用戶之間的ROI沖突，而且可能解決若干遠程用戶之 間的ROI沖突。本地用戶可主動地向遠程用戶中的一者授予控制近端ROI的存取權(quán)，或 分派將各個遠程用戶的ROI控制權(quán)區(qū)分優(yōu)先次序的相對存取等級。通常，專門向一個用 戶(例如，本地用戶，或遠程用戶中的一者)授予控制ROI的存取權(quán)。
圖19是說明遠端視頻內(nèi)的R0I宏區(qū)塊的優(yōu)先解碼的流程圖。如圖19所示，當(dāng)從遠
程發(fā)送者裝置14接收到遠端視頻時(180)，本地接收者裝置12中的ROI感知視頻解碼 器48確定遠程R0I是否已由本地用戶指定(182)。如果不是，那么ROI感知視頻解碼 器48正常編碼遠端視頻中的所有MB(184)。然而，如果遠端ROI信息由本地用戶指定， 那么ROI感知視頻解碼器48優(yōu)先解碼所接收的遠端視頻中的ROIMB (186)?？赏ㄟ^相 對于應(yīng)用于非ROI MB的內(nèi)插等式和誤差隱蔽技術(shù)，應(yīng)用較高質(zhì)量內(nèi)插等式或較健壯的 誤差隱蔽技術(shù)來優(yōu)先解碼ROI MB。優(yōu)先解碼可包含例如較高質(zhì)量解塊或去鳴振濾波器 的優(yōu)先后處理。
本文描述的技術(shù)可實施在硬件、軟件、固件或其任何組合中。如果實施在軟件中， 那么可通過計算機可讀媒體來部分實現(xiàn)所述技術(shù)，所述計算機可讀媒體包括含有指令的 程序代碼，所述程序代碼當(dāng)執(zhí)行時會進行上文描述的方法中的一種或一種以上方法。在 此情況下，計算機可讀媒體可包括例如同步動態(tài)隨機存取存儲器(SDRAM)的隨機存取 存儲器(RAM)、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除 可編程只讀存儲器(EEPROM)、 FLASH存儲器、磁性或光學(xué)數(shù)據(jù)存儲媒體等。
程序代碼可由一個或一個以上處理器執(zhí)行，所述一個或一個以上處理器例如一個或 一個以上數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程 邏輯陣列(FPGA)或其它等效集成或離散邏輯電路。在一些實施例中，本文描述的功能 性可提供在經(jīng)配置以用于編碼和解碼的專門軟件模塊或硬件單元內(nèi)，或并入在組合的視 頻編解碼器(CODEC)中。
已描述各種實施例。這些和其它實施例在所附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
1.一種方法，其包括從用戶處接收對由本地裝置產(chǎn)生的近端視頻內(nèi)的關(guān)注區(qū)(ROI)的描述；基于所述描述產(chǎn)生指定所述ROI的信息；以及基于所述指定所述ROI的信息來編碼所述近端視頻以增強所述近端視頻的ROI相對于非ROI區(qū)域的圖像質(zhì)量。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述描述是文本描述。
3. 根據(jù)權(quán)利要求l所述的方法，其中所述描述是口頭描述。
4. 根據(jù)權(quán)利要求3所述的方法，其進一步包括通過語音識別來處理所述口頭描述，和 基于一個或一個以上經(jīng)識別的項來產(chǎn)生所述指定所述ROI的信息。
5. 根據(jù)權(quán)利要求l所述的方法，其中所述描述是圖形描述。
6. 根據(jù)權(quán)利要求5所述的方法，其中所述圖形描述是作為所述用戶劃定在用戶界面屏 幕上的區(qū)域而接收的。
7. 根據(jù)權(quán)利要求l所述的方法，其進一步包括從本地裝置的用戶接收所述描述，和在 所述本地裝置內(nèi)處理所述描述以產(chǎn)生所述指定所述ROI的信息。
8. 根據(jù)權(quán)利要求1所述的方法，其進一步包括從本地裝置的用戶接收所述描述，和在 不同于所述本地裝置的中間服務(wù)器內(nèi)處理所述描述以產(chǎn)生所述指定所述ROI的信息。
9. 根據(jù)權(quán)利要求l所述的方法，其進一步包括從遠程裝置的用戶接收所述描述，其中 所述描述界定關(guān)于由所述本地裝置編碼的近端視頻的所述ROI，且其中所述指定所 述ROI的信息內(nèi)嵌在從所述遠程裝置接收的經(jīng)編碼遠端視頻內(nèi)。
10. 根據(jù)權(quán)利要求l所述的方法，其進一步包括從遠程裝置的用戶接收所述描述，其中 所述描述界定關(guān)于由所述本地裝置編碼的近端視頻的所述ROI，且其中通過帶外信 令從所述遠程裝置接收所述指定所述ROI的信息。
11. 根據(jù)權(quán)利要求l所述的方法，其進一步包括產(chǎn)生指定從所述遠程裝置接收的經(jīng)編碼 遠端視頻內(nèi)的ROI的信息，和將所述ROI信息和所述經(jīng)編碼的近端視頻一起傳輸?shù)?所述遠程裝置。
12. 根據(jù)權(quán)利要求l所述的方法，其進一步包括解碼從所述遠程裝置接收的經(jīng)編碼遠端 視頻以增強所述遠端視頻中的ROI區(qū)域相對于所述遠端視頻的非ROI區(qū)域的圖像質(zhì)量。
13. 根據(jù)權(quán)利要求1所述的方法，其進一步包括基于所述指定所述ROI的信息來產(chǎn)生宏 區(qū)塊(MB)映射，所述MB映射識別處于所述ROI內(nèi)的MB。
14. 根據(jù)權(quán)利要求l所述的方法，其進一步包括從本地裝置的用戶接收所述描述，其中所述描述界定關(guān)于由所述本地裝置編碼的 近端視頻的所述ROI:監(jiān)視與所述經(jīng)編碼近端視頻相關(guān)聯(lián)的運動信息； 基于所述運動信息來調(diào)節(jié)所述ROI;以及 基于所述經(jīng)調(diào)節(jié)的ROI來編碼所述近端視頻。
15. 根據(jù)權(quán)利要求14所述的方法，其進一步包括基于所述指定所述ROI的信息來產(chǎn)生 宏區(qū)塊(MB)映射，所述MB映射識別處于所述ROI內(nèi)的MB，且其中調(diào)節(jié)所述 ROI包含基于所述運動信息將MB的狀態(tài)修改為包含在所述ROI中或排除在所述 ROI夕卜。
16. —種視頻編碼裝置，其包括-關(guān)注區(qū)(ROI)引擎，其接收對由所述裝置編碼的近端視頻內(nèi)的關(guān)注區(qū)(ROI)的 描述，并基于所述描述產(chǎn)生指定所述ROI的信息；以及視頻編碼器，其編碼所述近端視頻以增強所述視頻的ROI相對于非ROI區(qū)域的圖像質(zhì)量。
17..根據(jù)權(quán)利要求16所述的裝置，其中所述描述是文本描述。
18. 根據(jù)權(quán)利要求16所述的裝置，其中所述描述是口頭描述。
19. 根據(jù)權(quán)利要求18所述的裝置，其進一步包括提取模塊，所述提取模塊通過語音識 別來處理所述口頭描述，并基于一個或一個以上經(jīng)識別的項來產(chǎn)生所述指定所述 ROI的信息。
20. 根據(jù)權(quán)利要求16所述的裝置，其中所述描述是圖形描述。
21. 根據(jù)權(quán)利要求20所述的裝置，其中所述圖形描述是作為所述用戶劃定在用戶界面 屏幕上的區(qū)域而接收的。
22. 根據(jù)權(quán)利要求16所述的裝置，其中所述ROI引擎從所述裝置的用戶接收所述描述， 其中所述描述界定關(guān)于所述近端視頻的所述ROI。
23. 根據(jù)權(quán)利要求16所述的裝置，其中所述ROI引擎將所述描述傳輸?shù)街虚g服務(wù)器以 用于產(chǎn)生所述指定所述ROI的信息。
24. 根據(jù)權(quán)利要求16所述的裝置，其中所述ROI引擎從遠程視頻通信裝置的用戶接收 所述描述，所述描述界定關(guān)于由所述視頻通信裝置編碼的近端視頻的所述ROI，且 所述指定所述ROI的信息內(nèi)嵌在從所述遠程裝置接收的經(jīng)編碼遠端視頻內(nèi)。
25. 根據(jù)權(quán)利要求16所述的方法，其中所述ROI引擎從遠程視頻通信裝置的用戶接收 所述描述，所述描述界定關(guān)于由所述視頻通信裝置編碼的近端視頻的所述ROI，且 通過帶外信令從所述遠程裝置接收所述指定所述ROI的信息。
26. 根據(jù)權(quán)利要求25所述的裝置，其中所述ROI引擎產(chǎn)生指定從所述遠程裝置接收的 經(jīng)編碼遠端視頻內(nèi)的ROI的信息，并將所述ROI信息和所述經(jīng)編碼近端視頻一起傳 輸?shù)剿鲞h程裝置。
27. 根據(jù)權(quán)利要求16所述的裝置，其進一步包括視頻解碼器，所述視頻解碼器解碼從 所述遠程裝置接收的經(jīng)編碼遠端視頻以增強所述遠端視頻中的ROI區(qū)域相對于所述 遠端視頻的非ROI區(qū)域的圖像質(zhì)量。
28. 根據(jù)權(quán)利要求16所述的裝置，其進一步包括基于所述指定所述ROI的信息來產(chǎn)生 宏區(qū)塊(MB)映射，所述MB映射識別處于所述ROI內(nèi)的MB。
29. 根據(jù)權(quán)利要求16所述的裝置，其進一步包括跟蹤模塊，所述跟蹤模塊監(jiān)視與所述 經(jīng)編碼近端視頻相關(guān)聯(lián)的運動信息，并基于所述運動信息來調(diào)節(jié)所述ROI，其中所 述編碼器基于所述經(jīng)調(diào)節(jié)的ROI來編碼所述近端視頻。
30. 根據(jù)權(quán)利要求29所述的裝置，其進一步包括映射器模塊，所述映射器模塊基于所 述指定所述ROI的信息來產(chǎn)生宏區(qū)塊(MB)映射，所述MB映射識別處于所述ROI 內(nèi)的MB，其中所述跟蹤模塊通過基于所述運動信息將MB的狀態(tài)修改為包含在所 述ROI中或排除在所述ROI外來調(diào)節(jié)所述ROI。
31. —種計算機可讀媒體，其包括指令以促使處理器從用戶處接收對由本地裝置產(chǎn)生的 近端視頻內(nèi)的關(guān)注區(qū)(ROI)的描述，基于所述描述產(chǎn)生指定所述ROI的信息，并 基于所述指定所述ROI的信息來編碼所述近端視頻以增強所述近端視頻的ROI相對 于非ROI區(qū)域的圖像質(zhì)量。
32. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述描述是文本描述。
33. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述描述是口頭描述。
34. 根據(jù)權(quán)利要求33所述的計算機可讀媒體，其中所述指令促使所述處理器通過語音 識別來處理所述口頭描述，并基于一個或一個以上經(jīng)識別的項來產(chǎn)生所述指定所述 ROI的信息。
35. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述描述是圖形描述。
36. 根據(jù)權(quán)利要求35所述的計算機可讀媒體，其中所述圖形描述是作為所述用戶劃定 在用戶界面屏幕上的區(qū)域而接收的。
37. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述指令促使所述處理器從本地裝 置的用戶接收所述描述。
38. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述指令促使所述處理器在所述本 地裝置內(nèi)產(chǎn)生所述指定所述ROI的信息。
39. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述指令促使所述處理器從遠程裝 置的用戶接收所述描述，其中所述描述界定關(guān)于由所述本地裝置編碼的近端視頻的 所述ROI。
40. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述描述內(nèi)嵌在從所述遠程裝置接 收的遠端視頻內(nèi)。
41. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中通過帶外信令從所述遠程裝置接收 所述描述。
42. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述指令促使所述處理器產(chǎn)生指定 從所述遠程裝置接收的經(jīng)編碼遠端視頻內(nèi)的ROI的信息，并將所述ROI信息和所述 經(jīng)編碼的近端視頻一起傳輸?shù)剿鲞h程裝置。
43. 根據(jù)權(quán)利要求42所述的計算機可讀媒體，其中所述指令促使所述處理器解碼從所 述遠程裝置接收的所述經(jīng)編碼遠端視頻以增強所述遠端視頻中的ROI區(qū)域相對于所 述遠端視頻的非ROI區(qū)域的圖像質(zhì)量。
44. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述指令促使所述處理器基于所述 指定所述ROI的信息來產(chǎn)生宏區(qū)塊(MB)映射，所述MB映射識別處于所述ROI 內(nèi)的MB。
45. 根據(jù)權(quán)利要求31所述的計算機可讀媒體，其中所述指令促使所述處理器從本地裝 置的用戶接收所述描述，所述描述界定關(guān)于由所述本地裝置編碼的近端視頻的所述 ROI，且所述指令促使所述處理器監(jiān)視與所述經(jīng)編碼近端視頻相關(guān)聯(lián)的運動信息， 基于所述運動信息來調(diào)節(jié)所述ROI，并基于所述經(jīng)調(diào)節(jié)的ROI來編碼所述近端視頻。
46. 根據(jù)權(quán)利要求45所述的計算機可讀媒體，其中所述指令促使所述處理器基于所述 指定所述ROI的信息來產(chǎn)生宏區(qū)塊(MB)映射，所述MB映射識別處于所述ROI 內(nèi)的MB，且所述指令促使所述處理器通過基于所述運動信息將MB的狀態(tài)修改為 包含在所述ROI中或排除在所述ROI外來調(diào)節(jié)所述ROI。
47.—種視頻編碼系統(tǒng)，其包括第一視頻通信裝置，其編碼近端視頻；第二視頻通信裝置，其從所述第一視頻通信裝置接收所述近端視頻，其中所述第 二視頻通信裝置產(chǎn)生對由所述第一視頻通信裝置產(chǎn)生的所述近端視頻內(nèi)的關(guān)注區(qū) (ROI)的用戶描述；中間服務(wù)器，其結(jié)構(gòu)上不同于所述第一和第二視頻通信裝置，且其基于所述描述 產(chǎn)生指定所述ROI的信息，其中所述第一視頻通信裝置基于所述指定所述ROI的信息來編碼所述近端視頻以 增強所述近端視頻的ROI相對于非ROI區(qū)域的圖像質(zhì)量。
全文摘要
本揭示案針對用于視頻電話(VT)應(yīng)用的關(guān)注區(qū)(ROI)處理技術(shù)。根據(jù)所述揭示的技術(shù)，接收者裝置界定由發(fā)送者裝置傳輸?shù)囊曨l信息(即遠端視頻信息)的ROI信息。所述接收者裝置將所述ROI信息傳輸?shù)剿霭l(fā)送者裝置。所述發(fā)送者裝置使用由所述接收者裝置傳輸?shù)乃鯮OI信息對視頻場景內(nèi)的ROI應(yīng)用優(yōu)先編碼。可應(yīng)用ROI提取來處理對關(guān)注區(qū)(ROI)的用戶描述以基于所述描述產(chǎn)生指定所述ROI的信息。所述用戶描述可基于文本、圖形或語音。提取模塊應(yīng)用適當(dāng)處理以從所述用戶描述中產(chǎn)生所述ROI信息。所述提取模塊可駐存在視頻通信裝置本地，或駐存在經(jīng)配置以進行ROI提取的不同的中間服務(wù)器中。
文檔編號H04N7/26GK101171841SQ200680014872
公開日2008年4月30日 申請日期2006年3月8日 優(yōu)先權(quán)日2005年3月9日
發(fā)明者哈立德·希勒米·厄勒-馬列, 李彥輯, 蔡明章 申請人:高通股份有限公司