專利名稱:用于視頻電話的感興趣區(qū)域處理的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及數(shù)字視頻編碼及解碼,且更特定而言,涉及用于為視頻電話(VT)應(yīng) 用處理感興趣區(qū)域(ROI)信息的技術(shù)。
背景技術(shù):
人們已制訂了許多用于編碼數(shù)字視頻序列的不同視頻編碼標準。例如,移動圖像 專家組(MPEG)已編制許多標準,包含MPEG-1、 MPEG-2及MPEG-4。其它實例包含 國際電信聯(lián)盟(ITU)H.263標準和新興的ITU H.264標準。通常,這些視頻編碼標準通 過以壓縮方式對數(shù)據(jù)進行編碼來支持經(jīng)改進的傳輸效率。視頻電話(VT)準許用戶分享視頻和音頻信息,以支持諸如視頻會議的應(yīng)用。實例 性視頻電話標準包含由對話發(fā)起協(xié)議(SIP)、 ITU H.323標準及ITU H.324標準定義的 標準。在VT系統(tǒng)中,用戶可發(fā)送及接收視頻信息、僅接收視頻信息、或僅發(fā)送視頻 信息。接收方通常觀看到以發(fā)送方所傳輸形式呈現(xiàn)的所接收視頻信息。人們已經(jīng)建議對視頻信息的所選部分進行優(yōu)先編碼。例如,發(fā)送方可規(guī)定將感興 趣區(qū)域(ROI)編碼成具有更高的質(zhì)量,以傳輸給接收方。發(fā)送方可能期望向遠程接收方 強調(diào)ROI。 ROI的典型實例是人的面部,不過發(fā)送方可能期望將注意力集中在視頻景 物內(nèi)的其它對象上。通過對ROI進行優(yōu)先編碼,接收方能夠比非ROI區(qū)域更加清楚地 觀看ROI。發(fā)明內(nèi)容本發(fā)明針對用于為視頻電話(VT)進行感趣區(qū)域(ROI)處理的技術(shù)。根據(jù)所揭示的 技術(shù),本地接收方裝置為由遠程發(fā)送方裝置編碼和傳輸?shù)囊曨l(亦即,遠端視頻)界 定ROI信息。本地接收方裝置將所述ROI信息傳輸?shù)竭h程發(fā)送方裝置。使用由接收方 裝置傳輸?shù)腞OI信息,發(fā)送方裝置將對視頻景物內(nèi)的ROI應(yīng)用優(yōu)先編碼(例如,更高
質(zhì)量的編碼或錯誤保護)。以此方式,接收方裝置能夠遠程控制對由發(fā)送方裝置所編碼 的遠端視頻進行ROI編碼。除接收遠端視頻外,接收方可經(jīng)配備以發(fā)送視頻,亦即,近端視頻。因此,參與到VT通信中的裝置可對稱地即可充當(dāng)視頻信息的發(fā)送方也可充當(dāng)視頻信息的接收方。在充當(dāng)接收方時,每一裝置可為由作為發(fā)送方的遠程裝置所編碼的視頻界定遠端ROI信息。同樣,在充當(dāng)發(fā)送方時,每一裝置可為要傳輸?shù)阶鳛榻邮辗降牧硪谎b置的 視頻信息界定近端01信息。在能夠處理由另一裝置提供的ROI信息以支持對ROI視 頻編碼的遠程控制的意義上,發(fā)送方或接收方裝置可稱為"ROI知曉"。遠端ROI信息準許接收方控制由發(fā)送方裝置實施的遠程ROI編碼以更清楚地觀 看所接收視頻景物內(nèi)的對象件或區(qū)域。近端ROI信息準許發(fā)送方控制本地ROI編碼以 強調(diào)所傳輸視頻景物內(nèi)的對象或區(qū)域。因此,發(fā)送方實施的ROI優(yōu)先編碼可基于接收 方或發(fā)送方產(chǎn)生的ROI信息。另外,接收方裝置還可優(yōu)選地(例如)通過應(yīng)用更高質(zhì) 量的后處理(例如,錯誤隱匿、解塊或去振鳴技術(shù))以根據(jù)ROI信息對ROI迸行解碼。為便于ROI處理,本方面進一步涵蓋以下技術(shù)ROI選擇、ROI映射、ROI提取、 ROI信令、ROI跟蹤及接收方裝置的存取驗證以準許遠程控制由發(fā)送方裝置實施的ROI 編碼。ROI選擇可依賴于預(yù)界定的ROI圖案、語言或文本ROI說明或由用戶繪制的 ROI。 ROI映射涉及將所選ROI圖案轉(zhuǎn)譯成ROI映射圖,所述ROI映射圖可采取適于 由視頻編碼器使用的宏塊(MB)映射圖的形式。ROI信令可涉及從接收方到發(fā)送方裝置的ROI信息的帶內(nèi)或帶外信令。ROI跟蹤 涉及響應(yīng)于ROI運動動態(tài)地調(diào)節(jié)ROI映射圖。存取驗證可涉及出于遠程ROI控制的 目的授予接收方裝置存取權(quán)和存取等級,以及解決本地與一個遠程用戶或多個遠程用 戶之間的ROI控制沖突。ROI提取可涉及對感興趣區(qū)域(ROI)的用戶說明進行處理以根據(jù)所述說明產(chǎn)生規(guī) 定ROI的信息。近端視頻可根據(jù)規(guī)定ROI的信息來進行編碼以相對于近端視頻的非 ROI區(qū)增強所述ROI的圖像質(zhì)量。用戶說明可為文本、圖形或基于語言。提取模塊對 從用戶說明中所產(chǎn)生的ROI信息施加適宜的處理。提取模塊可在本地與視頻通信裝置 駐存在一起,或駐存于經(jīng)配置用于ROI提取的不同中間服務(wù)器中。在一個實施例中,本發(fā)明提供一種包括如下操作的方法從遠程裝置接收在由本 地裝置編碼的且由遠程裝置接收的近端視頻內(nèi)規(guī)定感興趣區(qū)域(ROI)的信息;及根據(jù)所 述ROI對近端視頻進行編碼以相對于所述視頻的非ROI區(qū)增強所述ROI的圖像質(zhì)量。在另一實施例中,本發(fā)明提供一種視頻編碼裝置,所述視頻編碼裝置包括感興 趣區(qū)域(ROI)引擎,其從遠程視頻通信裝置接收在要傳輸?shù)竭h程裝置的近端視頻內(nèi)規(guī)定 感興趣區(qū)域(ROI)的信息;及視頻編碼器,其對所述近端視頻進行編碼以相對于所述視 頻的非ROI區(qū)增強所述ROI的圖像質(zhì)量。在附加實施例中,本發(fā)明提供一種包括以下操作的方法產(chǎn)生規(guī)定由遠程裝置傳 輸且由本地裝置接收的遠端視頻內(nèi)的感興趣區(qū)域(ROT)的信息;及將所述信息傳輸?shù)?br>
遠程裝置供用于根據(jù)所述ROI對遠端視頻進行編碼以相對于所述視頻的非ROI區(qū)增強所述ROI的圖像質(zhì)量。在又一實施例中,本發(fā)明提供一種視頻編碼裝置,所述視頻編碼裝置包括感興 趣區(qū)域(ROI)引擎,其產(chǎn)生規(guī)定從遠程裝置所接收的遠端視頻內(nèi)的感興趣區(qū)域(ROI)的 信息;及視頻編碼器,其對所述近端視頻進行編碼并傳輸規(guī)定ROI的信息與已編碼近 端視頻以供所述遠程裝置用來根據(jù)所述ROI對遠端視頻進行編碼從而相對于所述遠端 視頻的非ROI區(qū)增強所述ROI的圖像質(zhì)量。在另一實施例中,本發(fā)明提供一種包括以下操作的方法從用戶接收對由本地裝 置產(chǎn)生的近端視頻內(nèi)的感興趣區(qū)域(ROI)的說明;根據(jù)所述說明產(chǎn)生規(guī)定ROI的信息 及根據(jù)所述規(guī)定ROI的信息對近端視頻進行編碼以相對于近端視頻的非ROI區(qū)增強所 述ROI的圖像質(zhì)量。在附加實施例中,本發(fā)明提供一種視頻編碼裝置,所述視頻編碼裝置包括感興趣區(qū)域(ROI)引擎,其接收對由所述裝置編碼的近端視頻內(nèi)的感興趣區(qū)域(ROI)的說明 并根據(jù)所述說明產(chǎn)生規(guī)定ROI的信息;及視頻編碼器,其對近端視頻進行編碼以相對 于所述視頻的非ROI區(qū)增強所述ROI的圖像質(zhì)量。在又一實施例中,本發(fā)明提供一種視頻編碼系統(tǒng),所述視頻編碼系統(tǒng)包括第一視頻通信裝置,其對所述近端視頻進行編碼;第二視頻通信裝置,其從所述第一視頻 通信裝置接收近端視頻,其中所述第二視頻通信裝置產(chǎn)生對由第一視頻通信裝置產(chǎn)生的近端視頻內(nèi)的感興趣區(qū)域(ROI)的用戶說明;及中間服務(wù)器,其在結(jié)構(gòu)上與第一和第二視頻通信裝置不同并根據(jù)所述說明產(chǎn)生規(guī)定ROI的信息,其中第一視頻通信裝置根 據(jù)所述規(guī)定ROI的信息對近端視頻進行編碼以相對于近端視頻的非ROI區(qū)增強所述 ROI的圖像質(zhì)量。本文所述的技術(shù)可構(gòu)建于硬件、軟件、固件、或其任一組合中。如果構(gòu)建在軟件 中,則所述技術(shù)可部分地通過計算機可讀媒體來實現(xiàn),所述計算機可讀媒體包括含有 指令的程序代碼,當(dāng)執(zhí)行所述指令時,可實施本文所述的一個或一個以上方法。在附圖及下文說明中將闡述一個或一個以上實施例的細節(jié)。依據(jù)所述說明及圖式 并依據(jù)權(quán)利要求書,本發(fā)明的其它特征、目的及優(yōu)點將顯而易見。
圖i是框圖,其圖解說明并入有r0I知曉視頻編解碼器(CODEC)的視頻編碼和解 碼系統(tǒng)。圖2是圖解說明在與無線通信裝置相關(guān)聯(lián)的顯示器上呈現(xiàn)的視頻景物中界定ROI 的圖式。圖3是圖解說明并入有ROI知曉CODEC的通信裝置的框圖。圖4是圖解說明具有ROI知曉CODEC且進一步并入有ROI提取模塊的另一通信
裝置的框圖。圖5是圖解說明通過中間提取服務(wù)器分配ROI提取的框圖。圖6是圖解說明為多個視頻電話對話分配ROI提取的框圖。圖7A-7D是圖解說明供用戶選擇的預(yù)界定ROI圖案的圖式。圖8圖解說明在接收方裝置處產(chǎn)生ROI信息以控制在遠程發(fā)送方裝置處對近端視頻進行優(yōu)先ROI編碼的流程圖。圖9是圖解說明對來自接收方裝置的ROI信息進行處理以便結(jié)合ROI跟蹤在發(fā)送方裝置處對近端視頻進行優(yōu)先ROI編碼的流程圖。圖10是圖解說明對來自接收方裝置的ROI信息進行處理以便結(jié)合用戶驗證在發(fā)送方裝置處對近端視頻進行優(yōu)先ROI編碼的流程圖。 圖11是圖解說明預(yù)界定ROI圖案的選擇的流程圖。圖12是圖解說明通過擴展及收縮ROI模板來界定所顯示視頻景物中的ROI圖案 的圖式。圖13是圖解說明通過拖動ROI模板來界定所顯示視頻景物中的ROI圖案的圖式。 圖14是圖解說明通過用記錄筆在觸摸屏上繪制ROI區(qū)來界定所顯示視頻景物中 的ROI圖案的圖式。圖15是圖解說明使用下拉式菜單與要動態(tài)地提取及跟蹤的所規(guī)定ROI對象來界 定所顯示視頻景物中的ROI圖案的圖式。圖16是圖解說明使用下拉式菜單與被映射到如圖7A-7D中預(yù)界定ROI圖案的所 規(guī)定ROI對象來界定所顯示視頻景物中的ROI圖案的圖式。圖17是圖解說明使用ROI說明接口來界定所顯示視頻景物中的ROI圖案的流程圖。圖18是圖解說明解決發(fā)送方與接收方裝置之間的ROI沖突的流程圖。 圖19是圖解說明對近端視頻內(nèi)的ROI宏塊進行優(yōu)先編碼的流程圖。
具體實施方式
圖1是框圖,其圖解說明并入有ROI知曉視頻編解碼器(CODEC)的視頻編碼和解 碼系統(tǒng)10。如圖1中所示,系統(tǒng)10包含第一視頻通信裝置12及第二視頻通信裝置14。 通信裝置12、 14通過傳輸信道16連接。傳輸信道16可以是有線或無線媒體。系統(tǒng) 10支持視頻電話的視頻通信裝置12、 14之間的雙向視頻傳輸。裝置12、 14可以大致 對稱的方式運作。然而,在某些實施例中,視頻通信裝置12、 14中的一者或兩者可經(jīng) 配置僅用于單向通信,以支持ROI知曉視頻流。對于雙向應(yīng)用,可在信道16的對置端上提供互逆編碼、解碼、多路復(fù)用(MUX) 及多路分用(DEMUX)組件。在圖1的實例中,視頻通信裝置12包含MUX/DEMUX 組件18、 ROI知曉視頻CODEC 20及音頻CODEC 22。類似地,視頻通信裝置14包
含MUX/DEMUX組件26、 ROI知曉視頻CODEC 28及音頻CODEC 30。在能夠?qū)?另一視頻通信裝置12、 14遠程提供的或從其自己的視頻通信裝置本地提供的ROI信 息進行處理的意義上,每一 CODEC 20、 28均為"ROI知曉"。視頻通信裝置12、 14可構(gòu)建成為經(jīng)配備用于視頻流、視頻電話或其兩者的無線 移動終端機或有線終端機。為此,視頻通信裝置12、 14可進一步包含適宜的進行發(fā)射、 接收、調(diào)制解調(diào)及處理的電子裝置以支持無線通信。無線移動終端機的實例包含移動 式無線電電話、移動式個人數(shù)字助理(PDA)、移動式計算機、或配備有無線通信能力 和視頻編碼及/或解碼能力的其它移動裝置。有線終端機的實例包含膝上型計算機、視 頻電話、網(wǎng)絡(luò)裝備、電視機頂盒、交互式電視等。視頻通信裝置12、 14的任一者均可 經(jīng)配置以發(fā)送視頻信息、接收視頻信息、或發(fā)送及接收視頻信息。對于視頻電話應(yīng)用而言,通常需要裝置12既支持視頻發(fā)送能力又支持視頻接收 能力。然而,本發(fā)明還涵蓋了流式視頻應(yīng)用。在視頻電話,且特定而言通過無線通信 實施的移動視頻電話中,帶寬是最為關(guān)心的問題。因此,給ROI選擇性分配額外編碼 位或其它優(yōu)化編碼步驟可改進一部分所述視頻的圖像質(zhì)量,同時維持整體編碼效率。 為進行優(yōu)先編碼,可給ROI分配額外的位,同時可減少分配給非ROI區(qū)域(例如,視 頻景物中的背景)的位數(shù)。通常,系統(tǒng)10采用為視頻電話(VT)應(yīng)用處理感興趣區(qū)域(ROI)的技術(shù)。然而,如 上文所述,這些技術(shù)還可適用于視頻流應(yīng)用。出于例示目的,假設(shè)每一視頻通信裝置 12、 14能夠既作為視頻信息的發(fā)送方又作為接收方來運作,且由此作為VT對話中的 全參與者來運作。對于從視頻通信裝置12傳輸?shù)揭曨l通信裝置14的視頻信息,視頻 通信裝置12是發(fā)送方裝置,而視頻通信裝置14是接收方裝置。相反,對于從視頻通 信裝置14傳輸?shù)揭曨l通信裝置12的視頻信息,視頻通信裝置12是接收方裝置,而視 頻通信裝置14是發(fā)送方裝置。當(dāng)論及要由本地視頻通信裝置12、 14編碼和傳輸?shù)囊?頻信息時,所述視頻信息可稱為"近端"視頻。當(dāng)論及要由遠程視頻通信裝置12、 14 編碼和從遠程視頻通信裝置12、 14接收的視頻信息時,所述視頻信息可稱為"遠端" 視頻。根據(jù)所揭示的技術(shù),當(dāng)作為接收方裝置運作時,視頻通信裝置12或14為從發(fā)送 方裝置接收的遠端視頻信息界定ROI信息。同樣,在其是從位于所述視頻信息遠端處 的另一 (發(fā)送方)裝置接收到的意義上,可將從發(fā)送方裝置接收的視頻信息稱為"遠 端"視頻信息。同樣,為從發(fā)送方裝置接收的視頻信息界定的ROI信息將稱為"遠端" ROI信息。遠端ROI通常指遠端視頻內(nèi)的所述遠端視頻的接收方最感興趣的區(qū)域。接 收方裝置將遠端視頻信息解碼,并將經(jīng)解碼的遠端視頻通過顯示器裝置呈現(xiàn)給用戶。 用戶在由遠端視頻呈現(xiàn)的視頻景物內(nèi)選擇ROI。接收方裝置根據(jù)由用戶選擇的ROI來產(chǎn)生遠端ROI信息,并將所述遠端ROI信 息發(fā)送到發(fā)送方裝置。遠端ROI信息可采取ROI宏塊(MB)映射圖的形式,所述ROI 宏塊映射圖根據(jù)駐存于ROI內(nèi)的宏塊來界定ROI。 ROI MB映射圖可將處于ROI內(nèi)的MB標記為1 ,并將ROI外的MB標記為0,以便捷地識別MB包含(l)在ROI中,及 不包含(O)在ROI中。MB是形成幀的一部分的視頻塊。MB的大小可以是16x16個像 素。然而,可能是其它的MB大小。因此,MB可指代任一視頻塊,包含但不限于特 定視頻編碼標準(例如,MPEG-l、 MPEG-2和MPEG-4、 ITUH.263、 ITUH.264)或任一其它標準內(nèi)所界定的宏塊。使用由接收方裝置傳輸?shù)倪h端ROI信息,發(fā)送方裝置可對視頻景物內(nèi)的對應(yīng)ROI 施加優(yōu)先編碼。特定而言,可給ROI分配額外的編碼位,圖式可減少分配給非ROI 區(qū)域的編碼位的量,由此改進ROI的圖像質(zhì)量。以此方式,接收方裝置能夠遠程控制 由發(fā)送方裝置實施的對遠端視頻信息的ROI編碼。與非ROI區(qū)相比,優(yōu)先編碼對視頻 景物的ROI區(qū)施加更高質(zhì)量的編碼,例如,通過在ROI區(qū)中實施預(yù)先位分配或優(yōu)先量 化。經(jīng)優(yōu)先編碼的ROI準許接收方裝置的用戶更清楚地觀察對象或區(qū)域。例如,接收 方裝置的用戶可能期望比視頻景物的背景區(qū)域更清楚地觀看臉部或某一其它對象。當(dāng)作為發(fā)送方裝置運作時,視頻通信裝置12、 14還可為由發(fā)送方裝置傳輸?shù)囊?頻信息界定ROI信息。同樣,在視頻信息產(chǎn)生于通信信道的近端處的意義上,可將發(fā) 送方裝置中所產(chǎn)生的視頻信息稱為"近端"視頻。由發(fā)送方裝置產(chǎn)生的ROI信息將稱 為"近端"ROI信息。近端ROI通常指代發(fā)送方想要給接收方強調(diào)的近端視頻的區(qū)域。 因此,ROI可由接收方裝置用戶規(guī)定為遠端ROI信息,或由發(fā)送方裝置用戶規(guī)定為近 端ROI信息。發(fā)送方裝置通過顯示器裝置向用戶呈現(xiàn)近端視頻。與發(fā)送方裝置相關(guān)聯(lián) 的用戶在近端視頻呈現(xiàn)的視頻景物內(nèi)選擇ROI。發(fā)送方裝置使用用戶選擇的ROI來對 近端視頻進行編碼,以便將近端視頻中的ROI優(yōu)先編碼,例如使用相對非ROI區(qū)更高 質(zhì)量的編碼。由本地用戶在發(fā)送方裝置處選擇近端ROI允許發(fā)送方裝置的用戶強調(diào)視頻景物 內(nèi)的區(qū)域或?qū)ο?,且由此使這些區(qū)域或?qū)ο蟪蔀榻邮辗窖b置用戶的關(guān)注點。值得注意 的是,不需要將發(fā)送方裝置用戶所選擇的近端ROI傳輸?shù)浇邮辗窖b置。而是,發(fā)送方 裝置使用已選擇的近端ROI信息,以便在將近端視頻傳輸?shù)浇邮辗窖b置之前在本地對 近端視頻進行編碼。然而,在某些實施例中,發(fā)送方裝置可向接收方裝置發(fā)送ROI信 息,以準許應(yīng)用優(yōu)先解碼技術(shù),例如更高質(zhì)量的錯誤糾正(例如,錯誤隱匿)或后處 理(例如,解塊及去振鳴濾波器)。如果ROI信息是由發(fā)送方裝置和接收方裝置二者提供的,則發(fā)送方裝置應(yīng)用自接 收方裝置接收的遠端ROI信息或本地產(chǎn)生的近端ROI信息來對近端視頻進行解碼。在 由發(fā)送方裝置和接收方裝置提供的近端與遠端ROI選擇之間,可能發(fā)生ROI沖突。可 能需要對此等沖突加以解決,例如由本地用戶實施的主動解決,或根據(jù)規(guī)定的訪問權(quán) 限和等級來進行解決,如將在本發(fā)明中別處所作的描述。在兩種情況的任一情況下, 發(fā)送方裝置會根據(jù)發(fā)送方裝置本地提供或接收方裝置遠程提供的近端ROI信息來對 ROI進行優(yōu)先編碼。為便于ROI處理,本發(fā)明進一步涵蓋用于以下操作的技術(shù)近端ROI選擇、ROI
映射、ROI信令、ROI跟蹤及接收方裝置的存取驗證以準許遠程控制由發(fā)送方裝置實 施的ROI編碼。如將所述,由接收方裝置或發(fā)送方裝置應(yīng)用的不同近端ROI選擇技術(shù) 可涉及選擇預(yù)界定ROI圖案、語言或文本ROI說明或由用戶繪制的ROI。在接收方裝 置中,ROI映射涉及將所選遠端或近端ROI圖案轉(zhuǎn)譯成ROI映射圖,所述ROI映射 圖可采取宏塊(MB)映射圖的形式。ROI信令可涉及對從接收方裝置到發(fā)送方裝置的遠 端ROI信息的帶內(nèi)或帶外信令。ROI跟蹤涉及響應(yīng)于ROI運動動態(tài)地調(diào)節(jié)由接收方裝 置產(chǎn)生的遠端ROI映射圖或由發(fā)送方自己產(chǎn)生的本地近端ROI。存取驗證可涉及出于 遠程遠端ROI控制的目的授予接收方裝置存取權(quán)及存取等級,以及解決接收方與發(fā)送 方裝置之間的ROI控制沖突。系統(tǒng)10可根據(jù)對話發(fā)起協(xié)議(SIP)、 ITU H.323標準、ITU H.324標準或其它標準 支持視頻電話。每一視頻CODEC 20、 28根據(jù)視頻壓縮標準(例如MPEG-2、 MPEG-4、 ITU H.263或ITU H.264)產(chǎn)生經(jīng)編碼的視頻數(shù)據(jù)。如圖1中所謂進一步顯示,視頻 CODEC 20、 28可與相應(yīng)的音頻CODEC 22、 30整合,且包含適宜的MUX/DEMUX 組件18、 26以處理數(shù)據(jù)流的音頻和視頻部分。MUX-DEMUX單元18、 26可遵守ITU H.223多路復(fù)用器協(xié)議、或諸如用戶數(shù)據(jù)報協(xié)議(UDP)等其它協(xié)議。圖2是圖解說明在與無線通信裝置38相關(guān)聯(lián)的顯示器36上呈現(xiàn)的視頻景物34 內(nèi)的ROI32的界定的圖式。在圖2的實例中,ROI32是含有呈現(xiàn)于視頻景物34中的 人的面部39的矩形區(qū)域,雖然ROI可含有任何需要改進的或增強的編碼的圖像或?qū)?象。在VT應(yīng)用中,呈現(xiàn)于視頻景物34中的人通常為遠程發(fā)送方裝置的用戶,所述用 戶是與運作為接收方裝置的無線通信裝置38的用戶的視頻會議的一方。ROI 32構(gòu)成 遠端ROI,這是因為其界定從遠程發(fā)送方裝置傳輸?shù)囊曨l景物中的ROI。根據(jù)本發(fā)明, 遠端ROI 32傳輸?shù)桨l(fā)送方裝置以規(guī)定對所述ROI內(nèi)的視頻景物的各區(qū)進行優(yōu)先編碼。 以這種方式,接收方裝置38的本地用戶能夠遠程控制遠端ROI32的圖像質(zhì)量。如將 描述,遠端ROI32的大小、形狀及位置可固定或可調(diào)節(jié),且可以各種方式來界定、描 述或調(diào)節(jié)。ROI 32準許接收方裝置用戶更清楚地觀看視頻景物34內(nèi)的個別對象,例如,人 的面部39。 ROI 32內(nèi)的面部39是以相對于非ROI區(qū)(例如,視頻景物34的背景區(qū) 域)更高的圖像質(zhì)量加以編碼。以這種方式,用戶能夠更清楚地觀看臉部表情、唇部 動作、眼部動作等。然而,另一選擇為,ROI32可用于規(guī)定除面部以外的任何對象。 大體而言,VT應(yīng)用中的ROI可十分主觀,并可因用戶不同而變化。所需的ROI還取 決于VT是如何使用的。在某些情況下,與視頻會議不同,VT可用來觀看和估計對象。例如,丈夫可使用VT應(yīng)用來顯示他想在機場禮品店中購買的禮品。丈夫可能期 望以及時且交互的方式從妻子那里得到第二選項。通過這樣做,丈夫可按照其將搭乘 航班的啟程時間而即刻作出決定。在這種情況下,ROI就是覆蓋丈夫正考慮禮品的區(qū) 域。通過允許妻子(或丈夫)來選擇ROI,就可能獲得對特定ROI的更好編碼或更好 的服務(wù)質(zhì)量且由此準許妻子更清楚地觀看禮品。
作為另一實例,兩個或兩個以上工程師可進行涉及在白板上呈現(xiàn)及討論對各種方程式或程序的VT呼叫。在這種情況下,遠程用戶可能期望以更好的圖像質(zhì)量觀看白板的一部分,例如,以更清楚地看到方程式的細節(jié)。為此,遠程用戶選擇可包圍所述方程式的ROI。另外,當(dāng)工程師給白板添加內(nèi)容時,遠程用戶可期望移動ROI以跟蹤 新添加到白板的標的物。遠程用戶規(guī)定ROI的能力可明顯地改進技術(shù)討論中的信息交 換。本文所述的ROI技術(shù)不僅可改進ROI的視頻質(zhì)量,還可改進兩個用戶之間的視 頻交互作用。 一般而言,常規(guī)的VT應(yīng)用僅能組合兩個單向視頻傳輸及完成在聲音上 的任何交互作用。在傳統(tǒng)VT應(yīng)用中,通常在視頻側(cè)上不存在交互作用。允許接收方 裝置用戶對在VT呼叫期間從發(fā)送方裝置接收的視頻內(nèi)容具有至少有限的控制,可準 許增加的視頻交互作用。以這種方式,可將VT應(yīng)用設(shè)計成接收方裝置用戶可選擇ROI,并將ROI信息發(fā) 送回到發(fā)送方裝置以便對ROI進行優(yōu)先處理,例如,更高質(zhì)量的編碼(例如,分配更 多編碼位)或更強壯的錯誤保護(例如,MB內(nèi)刷新)。實際上,通過規(guī)定遠端ROI, 接收方裝置用戶可遠程控制發(fā)送方裝置編碼器。另外,這種遠端ROI信息可由接收遠 端視頻的裝置中的ROI知曉視頻解碼器用來更好地進行后處理,例如,錯誤隱匿、解 塊或去振鳴。已編碼視頻的接收方對視頻編碼器的遠程控制不同于僅控制遠程攝像機 的掃視、傾斜、變焦距或聚焦。相反,使用遠程ROI處理,用戶能夠影響應(yīng)用到特定 區(qū)域或各區(qū)域的編碼質(zhì)量。然而,在某些實施例中,可結(jié)合遠程視頻編碼器控制來提 供遠程攝像機控制。圖3是圖解說明并入有ROI知曉CODEC的視頻通信裝置12的框圖。雖然圖3 描繪圖1的視頻通信裝置12,但可類似地構(gòu)造視頻通信裝置14。同樣,視頻通信裝置 12或14可擔(dān)當(dāng)接收方裝置、發(fā)送方裝置且優(yōu)選地接收方及發(fā)送方裝置兩者。如圖3 中所示,視頻通信裝置12包含ROI知曉CODEC 20、視頻捕捉裝置40和用戶接口 42。 雖然圖3中顯示有信道16,但MUX-DEMUX及音頻組件是出于易于圖解說明的目的 而省略。視頻捕捉裝置40可為視頻攝像機,所述視頻攝像機與視頻通信裝置12整合 在一起或以可操作方式耦合到視頻通信裝置12。在某些實施例中,例如,視頻捕捉裝 置40可與移動電話相整合在一起,以形成所謂的攝像電話。以這種方式,視頻捕捉裝 置40可支持移動式VT應(yīng)用。用戶接口42可包含顯示器裝置,例如,液晶顯示器(LCD)、等離子屏幕、投影機 顯示器或任何其它可與視頻通信裝置12整個在一起或以可操作方式耦合到視頻通信 裝置12的顯示器設(shè)備。顯示器裝置給視頻通信裝置12的用戶呈現(xiàn)視頻圖像。視頻圖 像可包含視頻捕捉裝置40在本地獲得的近端視頻,以及從發(fā)送方裝置遠程傳輸?shù)倪h端 視頻。另外,用戶接口42可包含各種用戶輸入媒體的任一者,其中包含硬鍵、軟鍵、 各種指向裝置、記錄筆及類似物,以供視頻通信裝置12的用戶輸入信息。在某些實施 例中,顯示器裝置及用戶接口 42的用戶輸入媒體可與移動電話整個在一起。視頻通信 裝置12的用戶依賴于用戶接口42以觀看遠端視頻且視需要,近端視頻。另外,用戶 依賴于用戶接口 42以輸入用于界定或選擇遠端ROI且視需要,近端ROI的信息。如圖3中的進一步顯示,ROI知曉CODEC 20包含ROI引擎44、 ROI知曉視頻 編碼器46和ROI知曉視頻解碼器48。 ROI知曉視頻編碼器46對從視頻捕捉裝置40 獲得的近端視頻("NEAR-END VIDEO")進行編碼以便傳輸?shù)浇邮辗窖b置。同樣,術(shù) 語"近端"指示與從遠程視頻通信裝置(例如,視頻通信裝置14)接收的"遠端"視 頻相比在本地產(chǎn)生于視頻通信裝置12內(nèi)的視頻。在圖3的實例中,ROI知曉視頻編碼 器46使用從遠程接收機獲得的近端ROI信息("REMOTE NEAR-END ROI")來對近 端ROI進行優(yōu)先編碼。遠程接收機是與遠程視頻通信裝置14相關(guān)聯(lián)的用戶。從遠程用戶的觀點來看,當(dāng)遠程近端ROI是由遠程裝置14來傳輸時其為遠程遠 端ROI,而從接收遠程近端ROI的裝置12的本地用戶的觀點來看,其可稱作遠程近 端ROI。也就是說,從裝置12、 14作為發(fā)送方或接收方的觀點來確定視頻和ROI是 適用于近端還是遠端視頻。同樣,遠程控制在遠程裝置14處進行的視頻編碼的本地裝 置12用戶規(guī)定遠端ROI。但是,當(dāng)遠程裝置14的用戶接收遠端ROI時,其將近端 ROI視為從屬于將由本地裝置14編碼的近端視頻。 一般而言,出于本發(fā)明中所用標記 的目的,觀點極為重要。視需要,ROI知曉視頻編碼器46可使用從視頻通信裝置14的本地用戶獲得的近 端ROI信息("LOCAL NEAR-END ROI")。本地近端ROI也可稱作發(fā)送方驅(qū)動的ROI, 這是因為其是由已編碼近端視頻的發(fā)送方所產(chǎn)生。本地近端ROI信息由本地編碼器46 使用且通常不發(fā)送到其它視頻通信裝置14,除非遠程裝置14中的視頻解碼器設(shè)計成 對由發(fā)送方裝置12的用戶規(guī)定的近端ROI應(yīng)用優(yōu)先解碼。遠程近端ROI還可稱作接 收方驅(qū)動的ROI,這是因為其是由已編碼近端視頻的遠程接收方所產(chǎn)生。遠程近端ROI 準許視頻通信裝置12所產(chǎn)生視頻的接收方控制由ROI知曉編碼器46實施的ROI編碼, 而本地近端ROI準許視頻通信裝置12所產(chǎn)生視頻的發(fā)送方控制由ROI知曉編碼器46 實施的ROI編碼。在某些情況下,如將所述,遠程與本地ROI的界定可發(fā)生沖突,因 此需要解決沖突。本地和遠程近端ROI信息可以近端ROI宏塊(MB)映射圖("近端ROI MB映射圖") 的形式提供給ROI知曉編碼器46。近端ROI MB映射圖識別駐存于接收方近端ROI 或發(fā)送方近端ROI內(nèi)的特定MB。 ROI知曉編碼器46使用更高質(zhì)量的編碼、更強壯的 錯誤保護或其兩者來對近端視頻中的ROI進行優(yōu)先編碼以在遠程用戶(例如)在遠程 視頻通信裝置14處觀看時改進ROI的圖像質(zhì)量。無線電話應(yīng)用中特別需要對ROI的 更好錯誤保護。然后,將所得的已編碼近端視頻("ENCODED NEAR-END VIDEO") 傳輸?shù)竭h程裝置14。如將解釋,ROI知曉視頻編碼器46還傳輸由視頻通信裝置12的本地用戶為從遠 程視頻通信裝置14所接收的遠端視頻而產(chǎn)生的遠端ROI信息("FAR-END ROI")。遠端 ROI用作由遠程視頻通信裝置14所編碼視頻的接收方驅(qū)動的R01。實際上,由視頻通
信裝置12傳輸?shù)倪h端ROI信息準許至少部分地控制遠程視頻通信裝置14所產(chǎn)生近端 視頻的編碼器,就像由視頻通信裝置12用來控制ROI知曉視頻編碼器46的由ROI 知曉解碼器48所接收的遠程近端ROI—樣。以這種方式,每一視頻通信裝置12、 14 均能夠影響在由其它裝置所產(chǎn)生的遠端視頻中進行的ROI編碼??梢詭?nèi)或帶外信令信息的形式來傳輸由視頻通信裝置12所傳輸?shù)倪h端ROI信 息。在帶內(nèi)信令的情況下,遠端ROI信息可嵌于要傳輸?shù)竭h程視頻通信裝置14的已 編碼近端視頻位流內(nèi)。在MPEG4位流格式中,例如,存在可用于嵌入描述位流的信 息的所謂"user—data"的字段。采取其它位流格式的"user —data"字段或類似字段可 用來嵌入遠端ROI信息而不會違背位流順從性。另一選擇為,ROI信息可通過所謂數(shù) 據(jù)隱藏技術(shù)(例如,隱寫術(shù))嵌入視頻位流。ROI知曉視頻解碼器48經(jīng)配置以在來自遠程裝置的進入遠端視頻內(nèi)的user_data 字段或別處來尋找ROI信息。在帶外信令的情況下,信令協(xié)議(例如,ITUH.245或 SIP)可用于傳送遠端ROI信息。在以上兩種情況的任一情況下,遠端ROI信息可采 取ROI MB映射圖或界定遠端ROI的位置及/或大小的實體座標的形式。 一旦解碼器 48接收到遠端視頻位流,其會根據(jù)與遠程發(fā)送方裝置商定的格式來檢索ROI信息,并 在將遠程近端ROI提供給視頻編碼器56之前傳遞所述ROI信息以存取驗證模塊58 從而獲得對近端ROI控制的存取權(quán)限。除控制遠程視頻編碼器以對遠端視頻中的ROI進行優(yōu)先編碼外,遠端ROI信息 還可施加到本地視頻解碼器以在遠端視頻中對ROI內(nèi)的MB進行優(yōu)先編碼。例如,如 圖3中的進一步顯示,ROI映射器54為傳輸?shù)竭h程編碼器所產(chǎn)生的相同遠端ROI MB 映射圖可提供給ROI知曉視頻解碼器48。 ROI知曉視頻解碼器48使用ROI MB映射 圖以對從遠程視頻通信裝置14接收的遠端視頻內(nèi)的MB進行優(yōu)先解碼。例如,ROI 知曉視頻解碼器48可給ROI MB應(yīng)用比給非ROI MB更好的后處理。另外,或另一選 擇為,ROI知曉視頻解碼器48可給ROI MB應(yīng)用比給非ROI MB更健壯的錯誤隱匿技 術(shù)。以這種方式,ROI知曉視頻解碼器48依賴由本地用戶所產(chǎn)生的遠端ROI信息來 對進入的遠端視頻的ROI部分進行優(yōu)先解碼以獲得增強的圖像質(zhì)量。ROI知曉視頻解碼器48從遠程視頻通信裝置(例如,圖1的視頻通信裝置14) 接收進入的遠端視頻。R01知曉視頻解碼器48對所述遠端視頻進行解碼并將已解碼視 頻提供到用戶接口42以便在顯示器裝置上呈現(xiàn)給本地用戶。另外,如上所論述,ROI 知曉視頻解碼器48從遠程視頻通信裝置14接收遠程近端ROI信息("REMOTE NEAR-END ROI")。由ROI知曉視頻解碼器48接收的近端ROI信息是由遠程視頻通 信裝置14的用戶所產(chǎn)生以規(guī)定由視頻通信裝置12所傳輸視頻內(nèi)的ROI。如上所述, 由ROI知曉視頻解碼器48接收的遠程近端ROI信息用于遠程控制ROI知曉視頻編碼 器46以對由視頻通信裝置12所產(chǎn)生近端視頻內(nèi)的ROI進行優(yōu)先編碼。如上所論述, 遠程近端ROI是通過帶內(nèi)或帶外信令技術(shù)來傳輸。進一步參照圖3, ROI知曉視頻編碼器46及ROI知曉視頻解碼器48與ROI引擎44交互作用。ROI弓I擎44處理本地及遠程近端ROI信息以便對來自視頻捕捉裝置40 的近端視頻位流進行編碼和傳輸。另外,ROI引擎44處理經(jīng)由用戶接口42提供的遠 端ROI信息以進行編碼并傳輸?shù)竭h程視頻通信裝置14。 ROI引擎44包含ROI控制器 52、 ROI映射器54、 ROI跟蹤模塊56及驗證模塊58。在某些實施例中,ROI跟蹤模 塊56及驗證模塊58可為任選。ROI知曉視頻編碼器46、 ROI知曉視頻解碼器48、 ROI控制器52、 ROI映射器 54、 ROI跟蹤模塊56及驗證模塊58可以各種方式形成為離散功能性模塊或為包含賦 予每一模塊的功能性的單片模塊。無論如何,ROI知曉CODEC 20的各種組件(包含 ROI引擎44、視頻編碼器46及視頻解碼器48)可以硬件、軟件、固件或其組合來實 現(xiàn)。例如,此等組件可運作為在下列裝置上執(zhí)行的軟件過程 一個或一個以上微處理 器或數(shù)字信號處理器(DSP)、 一個或一個以上專用集成電路(ASIC)、 一個或一個以上場 可編程門陣列(FPGA)、或其它等效集成或離散邏輯電路。如果構(gòu)建在軟件中,則所述 技術(shù)可部分地通過一個計算機可讀媒體來實現(xiàn),所述計算機可讀媒體包括含有指令的 程序代碼,當(dāng)在處理器或DPS中執(zhí)行所述指令時,可實施上文所述的一個或一個以上 方法。在操作中,視頻通信裝置12的用戶選擇由視頻捕捉裝置40產(chǎn)生的近端視頻或由 ROI知曉視頻解碼器48解碼的遠端視頻以便在與用戶接口 42相關(guān)聯(lián)的顯示器裝置上 觀看。在某些實施例中,畫中畫(PIP)功能性可準許用戶同時觀看近端視頻及遠端視頻。 為出于ROI界定目的而觀看近端或遠端視頻,用戶可操縱用戶接口 42以調(diào)用ROI界 定模式。通過缺省,視頻通信裝置12可在不考慮ROI的情況下來處理視頻編碼及解 碼。通過進入ROI界定模式,用戶啟動視頻通信裝置12的ROI知曉編碼及解碼方面。 另一選擇為,ROI知曉編碼及解碼可為缺省模式。在呈現(xiàn)遠端視頻后,用戶使用各種技術(shù)中的任一技術(shù)來指示遠端視頻中的ROI, 此將更詳細地描述。遠端ROI在視頻景物內(nèi)突出顯示用戶感興趣的且期望具有更高圖 像質(zhì)量的區(qū)域或?qū)ο笥脩艚涌?42根據(jù)用戶輸入產(chǎn)生遠端ROI指示。ROI信息可由ROI 引擎44進行進一步處理以產(chǎn)生遠端ROI信息供傳輸?shù)揭曨l通信裝置14。另一選擇為,用戶可為ROI界定選擇從視頻捕捉裝置40獲得的近端視頻。在呈 現(xiàn)近端視頻后,用戶可視需要使用類似于或相同于用于遠端視頻中的ROI指示的那些 技術(shù)的技術(shù)來指示近端視頻中的ROI。近端ROI或遠端ROI可在VT呼叫開始時初始 地加以規(guī)定,或在VT呼叫過程期間的任何時間加以規(guī)定。在某些實施例中,初始ROI 可由本地用戶或遠程用戶來更新,或由ROI跟蹤模塊56自動地更新。如果ROI是自 動地更新,則不需要用戶繼續(xù)輸入ROI信息。相反,將根據(jù)用戶的初始輸入來維持 ROI直到用戶改變或停止ROI為止。用戶接口 42根據(jù)用戶提供的指示產(chǎn)生本地近端ROI指示。與遠端ROI指示相同, 近端ROI指示可由ROI引擎44進行進一步處理。近端ROI指示在視頻景物內(nèi)突出顯 示用戶期望向遠程用戶強調(diào)的區(qū)域或?qū)ο?,亦即,通過增強的圖像質(zhì)量。本地用戶可
通過預(yù)界定的ROI圖案或經(jīng)由用戶接口 42繪制ROI圖案來選擇近端ROI或遠端ROI。 繪制ROI圖案可涉及使用記錄筆的徒手畫法或?qū)θ笔OI圖案進行重設(shè)大小或重新定 位。在圖3的實例中,用戶接口 42給ROI引擎44內(nèi)的ROI控制器52提供本地近端 ROI指示(如果提供的話)及遠端ROI指示兩者。另外,ROI控制器52經(jīng)由驗證模 塊58從ROI知曉視頻解碼器48接收遠程近端R01。特定而言,ROI知曉視頻解碼器 48在所接收遠端視頻流內(nèi)或經(jīng)由帶外信令檢測遠程近端ROI信息的存在,并將遠程近 端ROI信息提供到驗證模塊58。本地近端ROI及遠端ROI指示可根據(jù)相應(yīng)近端視頻 或遠端視頻的視頻幀內(nèi)的坐標來表示。ROI的坐標可為視頻幀內(nèi)的x-y坐標。然而, 如將解釋,x-y坐標經(jīng)處理以產(chǎn)生供編碼器46或解碼器48使用的ROI MB映射圖。ROI控制器54處理本地近端ROI、遠程近端ROI及遠端ROI,并將其應(yīng)用到ROI 映射器54。 ROI映射器54將相應(yīng)的ROI坐標轉(zhuǎn)變成宏塊(MB)映射圖。更特定而言, ROI映射器54產(chǎn)生遠端MB映射圖,所述映射圖規(guī)定遠端視頻內(nèi)的對應(yīng)于本地用戶所 指示遠端ROI的MB。另外,ROI映射器54產(chǎn)生近端ROIMB映射圖,所述映射圖規(guī) 定近端視頻內(nèi)的對應(yīng)于本地近端ROI、遠程近端ROI或兩者的組合的MB。對于預(yù)界定ROI圖案,ROI映射是直截了當(dāng)?shù)?。每一預(yù)界定ROI圖案可具有也 為預(yù)界定的所指定MB映射。然而,對于繪制、重新定位或重設(shè)大小的ROI圖案,ROI 映射器54選擇最接近符合由用戶所規(guī)定ROI圖案坐標的MB邊界。例如,如果所規(guī) 定的ROI跨越穿過MB,則ROI映射器54將ROI邊界置于相關(guān)MB的外邊緣或內(nèi)邊 緣處。換句話說,ROI映射器54可經(jīng)配置以僅將完全處在ROI內(nèi)的MB包含于ROI MB 映射圖中,或也包含部分地處在ROI內(nèi)的MB。在以上兩種情況的任一種情況下,ROI 包含一組最接近近似所規(guī)定ROI的全MB。同樣,視頻編碼器46或視頻解碼器48在 MB等級下運作,且通常需要將ROI到MB映射圖的轉(zhuǎn)譯。通過將個別MB指定為包 含于ROI內(nèi)或排除在所述ROI外,ROI MB映射圖準許界定具有不規(guī)則或非矩形形狀 的ROI。ROI知曉視頻編碼器46在己編碼近端視頻內(nèi)或經(jīng)由帶外信令來將遠端ROI MB 映射圖傳輸?shù)竭h程視頻通信裝置14。近端ROIMB映射圖不傳輸?shù)竭h程視頻通信裝置 14。而是,近端ROI MB映射圖由ROI知曉視頻編碼器46用來在傳輸?shù)竭h程視頻通 信裝置14之前使用更高質(zhì)量的編碼或更強壯的錯誤保護來對近端視頻中的所規(guī)定MB 進行優(yōu)先編碼。因此,ROI知曉視頻編碼器46將已編碼近端視頻與優(yōu)先編碼的ROI 以及遠端ROI信息一起傳輸?shù)竭h程視頻通信裝置14。ROI跟蹤模塊56跟蹤近端視頻的ROI區(qū)域的改變。例如,如果VT應(yīng)用駐存于 移動視頻通信裝置內(nèi),則用戶可能時而會移動,此可導(dǎo)致用戶相對于先前所規(guī)定ROI 的位置改變。另外,即使用戶位置是穩(wěn)定的,ROI內(nèi)的其它對象可能移出ROI區(qū)域。 例如,湖中的小船可隨著波浪運動而上下擺動或左右移動。為避免需要用戶在出現(xiàn)移 動時重界定ROI,可提供ROI跟蹤模塊56以自動地跟蹤ROI區(qū)域內(nèi)的對象。 在圖3的實例中,ROI跟蹤模塊56從由ROI知曉視頻編碼器46產(chǎn)生的已編碼近 端視頻接收運動信息。運動信息可采取針對已編碼近端視頻內(nèi)的MB的運動向量的形 式,以準許ROI映射器54對ROIMB映射圖界定進行閉路控制。根據(jù)運動信息,ROI 跟蹤模塊56為近端ROI MB映射圖產(chǎn)生增量位置調(diào)節(jié),并將所述調(diào)節(jié)提供到ROI映 射器54。位置調(diào)節(jié)可采取MB狀態(tài)改變?yōu)榘赗OI內(nèi)或排除在ROI外的形式。如果運動信息指示ROI的明顯移動,則ROI MB映射圖中的MB狀態(tài)發(fā)生改變。 通常,狀態(tài)改變將針對在ROI外邊界處的MB而發(fā)生。響應(yīng)于位置調(diào)節(jié),ROI映射器 54使近端ROI MB映射圖所規(guī)定的ROI移位,以使ROI位置在逐幀基礎(chǔ)上適應(yīng)于己 編碼近端視頻內(nèi)的移動。ROI跟蹤模塊56及ROI映射器54協(xié)作以在檢測到視頻景物 內(nèi)的運動時自動地調(diào)節(jié)ROI位置。以這種方式,ROI引擎44調(diào)節(jié)ROI以跟蹤R01內(nèi) 的移動對象。驗證模塊58用于解決遠程用戶的ROI權(quán)利,其中包含個別用戶的權(quán)利及多個用 戶當(dāng)中的權(quán)利優(yōu)先權(quán)。當(dāng)ROI知曉視頻解碼器48從遠程視頻通信裝置14接收遠程近 端ROI時,其將遠程近端ROI提供到ROI引擎44。然而,在某些例示中,由遠程用 戶規(guī)定的遠程近端ROI可能與由本地用戶規(guī)定的本地近端ROI發(fā)生沖突。例如,本地 及遠程用戶可在視頻景物內(nèi)規(guī)定重疊的ROI或完全不同的ROI。在這種情況下,可提 供驗證模塊58以解決ROI沖突。在某些實施例中,驗證模塊58可應(yīng)用所謂"主從"機制來協(xié)調(diào)在既定時間應(yīng)使 用哪一近端ROI信息(本地或遠程)。特定而言,在發(fā)送方接收接收方驅(qū)動的ROI信息 之前,發(fā)送方為近端ROI主人并控制其近端ROI。換句話說,在視頻通信裝置12處 接收到遠程近端ROI之前,本地用戶控制近端ROI。然后,遠程用戶成為近端ROI"仆 從"且不控制近端ROI,除非主人(亦即,本地用戶)授予控制近端ROI的存取權(quán)。一旦本地用戶將存取權(quán)授予遠程用戶,則本地用戶不再控制其近端ROI。而是, 與視頻通信裝置14相關(guān)聯(lián)的遠程用戶獲得對視頻通信裝置12所產(chǎn)生近端視頻的近端 ROI的控制并變?yōu)榻薘OI的主人。遠程用戶可保持控制直到本地用戶明確地取消存 取特權(quán)或另外遠程用戶拒絕存取,或遠程用戶停止近端ROI選擇,在此情況下主人 ROI控制恢復(fù)給本地用戶。一旦ROI知曉視頻解碼器48接收到已編碼遠端視頻(如果有的話),則其根據(jù)與 發(fā)送方協(xié)商的格式從視頻位流中檢索遠程近端ROI信息。同樣,近端ROI信息可嵌于 已編碼遠端視頻中或通過帶外信令來發(fā)送。在以上兩種情況的任一種情況下,ROI知 曉視頻解碼器48將遠程近端ROI傳遞到驗證模塊58以在經(jīng)由ROI控制器52及ROI 映射器54將遠程近端ROI發(fā)送到ROI知曉視頻編碼器46之前獲得存取權(quán)限。驗證模 塊58限制給特定用戶的存取權(quán),以使用戶在沒有本地用戶授權(quán)的情況下無法控制編碼 過程。驗證模塊58可經(jīng)配置以授予及管理一個或一個以上遠程用戶之間存取權(quán)及存取 等級。例如,本地用戶可將存取權(quán)授予所選遠程用戶。因此,本地用戶可準許某些遠
程用戶控制近端ROI并禁止其它遠程用戶控制近端ROI。同樣,本地用戶可給遠程用 戶指配相對的存取等級或優(yōu)先權(quán)。以這種方式,本地用戶可在遠程用戶之間規(guī)定存取 等級的層次,以便在多個遠程用戶同時請求ROI控制的情況下某些遠程用戶可在控制 近端ROI方面具有優(yōu)于其它遠程用戶的優(yōu)先權(quán)。例如,多個遠程用戶可在多方視頻會 議過程中同時請求ROI控制。在此等情況下,ROI控制通常排他地授予一個用戶、任 一本地用戶、或如果由本地用戶來授予,則授予遠程用戶中的所選用戶。在某些實施例中,驗證模塊58也可能負責(zé)資源監(jiān)控以確定本地視頻通信裝置12 是否具有能力來啟用ROI知曉視頻處理。如果本地裝置沒有充足的處理資源以在既定 時間支持遠程ROI控制,或服務(wù)特定類型的ROI請求,則驗證模塊58取消遠程R01 控制存取權(quán)或拒絕ROI請求。作為實例,通信信道施加的帶寬限制或本地處理負載可 導(dǎo)致對遠程ROI控制的拒絕。作為進一步實例,此等限制可準許使用預(yù)配置的ROI 圖案,但不準許繪制或描述ROI圖案。驗證模塊58可通過將狀態(tài)消息嵌于要發(fā)送到 遠程裝置的輸出已編碼近端視頻中來將ROI決定通知遠程裝置。另外,可授予個別遠程用戶不同的存取等級以控制使遠程用戶可控制近端ROI 的程度。例如,可將遠程用戶限制為選擇一組預(yù)界定ROI圖案、特定ROI位置或大小、 或僅在本地用戶批準后對ROI加以規(guī)定。因此,驗證模塊58可自動地解決近端ROI 的遠程用戶控制或通過與本地用戶的交互作用來協(xié)商以主動地批準遠程用戶的近端 ROI控制。例如,當(dāng)遠程用戶請求存取以控制近端ROI時,驗證模塊58可經(jīng)由用戶 接口 42向本地用戶呈現(xiàn)訊問,以請求對遠程用戶ROI控制給予批準。驗證模塊58可以各種方式中的任一方式來跟蹤遠程用戶的存取等級。如上所述, 本地用戶可對來自遠程用戶的對控制近端ROI的請求主動地給予批準,并有效地控制 授予遠程用戶的存取等級。另一選擇為,本地用戶可在視頻通信裝置12中的存儲器內(nèi) 維持地址薄,所述地址薄存儲與遠程用戶相關(guān)聯(lián)的信息,其中包含存取權(quán)或等級。地 址薄可采取數(shù)據(jù)庫的形式,所述數(shù)據(jù)庫具有一遠程用戶清單及關(guān)聯(lián)的存取等級。當(dāng)遠 程用戶請求近端ROI控制時,驗證模塊58從地址薄中檢索相關(guān)的存取權(quán)信息并在自 發(fā)基礎(chǔ)上應(yīng)用驗證過程以解決本地用戶、遠程用戶及可能的數(shù)個遠程用戶之間的ROI 控制。如果遠程用戶未被列入地址薄中,則本地用戶可在具有可適用存取權(quán)的情況下 選擇將所述遠程用戶添加到地址薄。在某些情況下,本地用戶可重疊地址薄中為特定遠程用戶所規(guī)定的缺省存取等 級。例如,驗證模塊58可準許本地用戶在VT呼叫過程期間主動地重新布置不同遠程 用戶之間的ROI控制優(yōu)先權(quán)或加以干涉以作為本地用戶重新獲得對近端ROI的排他性 控制。在維持地址薄或主動地管理ROI控制請求中,本地用戶與驗證模塊58之間的 交互作用由圖3中的ACCESS CONTROL INFO來表示。在自動地或主動地批準遠程用戶的近端ROI控制后,驗證模塊58將遠程近端ROI 傳遞到ROI控制器52以便由ROI映射器54進行處理及映射。另一選擇為,亦即,如 果未提供遠程近端ROI或本地用戶已選擇排除遠程用戶來控制近端ROI,則ROI控制
器52處理本地用戶經(jīng)由用戶接口 42提供的本地近端ROI。驗證模塊58用于解決本地與遠程用戶之間的ROI沖突。通過缺省,驗證模塊58 應(yīng)用本地用戶藉此具有近端ROI控制的主從概念。在將具有最高等級的存取權(quán)授予遠 程用戶后,遠程用戶可完全控制針對視頻通信裝置12的ROI知曉視頻編碼器46的近 端ROI選擇。否則,本地用戶具有可重疊遠程用戶所作出的近端ROI選擇的近端ROI 控制。即使可授予遠程用戶存取權(quán),但本地用戶仍會在近端ROI控制方面占優(yōu)勢,這是 因為遠程用戶的存取權(quán)通常處在比本地用戶的那些存取權(quán)低的等級。因此,如果本地 用戶選擇規(guī)定近端ROI,則由遠程用戶所作出的任一近端ROI選擇將可忽略不計。另 一方面,如果本地用戶不規(guī)定近端ROI,則指配給遠程用戶的存取權(quán)等級有效,且遠 程用戶能夠控制近端ROI。盡管如此,如上所述,本地用戶仍可選擇重疊缺省主從關(guān) 系并賦予本地用戶最高等級的存取權(quán)。圖4是圖解說明具有ROI知曉編解碼器且進一步并入有ROI提取模塊60的另一 視頻通信裝置12'的框圖。圖4的視頻通信裝置12'幾乎與圖3的視頻通信裝置12 —致。 然而,視頻通信裝置12'進一步包含ROI提取模塊60以根據(jù)來自用戶的輸入形成本地 近端ROI及遠端ROI。除簡化處理對預(yù)配置ROI圖案的選擇或準許用戶對缺省ROI 進行繪制、重新定位或重設(shè)大小外,ROI提取模塊60還準許本地用戶通過語言或文本 ROI說明來規(guī)定ROI。特定而言,ROI提取模塊60根據(jù)由本地用戶提供的ROI說明 來產(chǎn)生本地近端ROI或遠端ROI。ROI說明的實例包含例如"面部"、"移動對象"、"唇部"、"人類"、"背景"及類 似物的措辭的文本或語言輸入。高度期望對所述對象進行優(yōu)先編碼。例如,唇部或面 部的優(yōu)先編碼可更好地表示面部表情、說話的口形及類似情況。文本輸入可從由用戶 接口 42呈現(xiàn)的菜單中輸入或選擇。語言輸入可通過對著與視頻通信裝置12'相關(guān)聯(lián)的 麥克風(fēng)講話來提供。在每一情況下,本地用戶"描述"ROI而非選擇或繪制ROI。 ROI 提取模塊60將說明轉(zhuǎn)變?yōu)榭蛇m用的近端或遠端視頻景物內(nèi)的一組坐標。在使用語言 ROI說明的情況下,用戶接口 42或ROI提取模塊60可并入常規(guī)的語言辨別能力。特 定而言,ROI提取模塊60可根據(jù)一個或一個以上經(jīng)辨別的措辭來產(chǎn)生規(guī)定ROI的信 息。ROI提取模塊60通過應(yīng)用經(jīng)配置以檢測所期望ROI的常規(guī)預(yù)編碼處理算法來自 動地選擇ROI坐標。特定而言,ROI提取模塊60可根據(jù)視頻ROI處理領(lǐng)域中的技術(shù) 人員已知的常規(guī)技術(shù)來應(yīng)用算法以便進行面部檢測、特征提取、對象分段或跟蹤。例 如,ROI提取模塊60可應(yīng)用依賴于ROI識別的常規(guī)技術(shù),所述ROI識別基于視頻輸 入數(shù)據(jù)的像素的亮度或色度值。常規(guī)面部檢測方案通常牽扯將膚色用作指南來識別面部對非面部像素。常規(guī)面部 檢測方案的實例描述于C,W. Lin, Y,J. Chang及Y.-C. Chen, "A low-complexity face-assisted coding scheme for low bit-rate video telephony" IEICE Trans. Inf. & Syst.,
第E86-D巻,第1期,2003年1月,第101-108頁中及D. Chai和K. N. Ng叫"Face segmentation using skin-color map in videophone applications," IEEE Trans On Circuits and Systems for Video Technology,第9巻,第4期,1999年6月,第551-564頁中。當(dāng)本地用戶根據(jù)"面部"來描述ROI時,ROI提取模塊60分析近端或遠端視^頻 (只要可適用)以自動地識別面部并指定與經(jīng)識別面部相關(guān)聯(lián)的坐標作為ROI。 ROI 提取模塊60然后將坐標傳遞到ROI控制器52以便由ROI映射器54進行處理及映射。 值得注意的是,ROI提取模塊60處理本地近端ROI說明或遠端ROI說明(只要可適 用)、將所述說明映射到適宜的提取算法并自動地分析可適用的預(yù)編碼近端視頻或預(yù)解 碼遠端視頻來自動地提取適宜的ROI。為支持自動ROI檢測,ROI提取模塊60從視頻捕捉裝置40接收近端視頻并從 ROI知曉視頻解碼器48接收遠端視頻。使用來自用戶接口 42的本地近端ROI說明或 遠端ROI說明以及自動檢測算法,ROI提取模塊60產(chǎn)生本地近端ROI及遠端ROI(只 要可適用)以便應(yīng)用到ROI控制器52。在所有情況下,ROI提取模塊60會將本地近 端ROI說明或遠端ROI說明轉(zhuǎn)變成最適合可適用說明的坐標。在這種情況下,不需要 用戶來繪制ROI。另外,用戶不會被限制在一組預(yù)界定ROI圖案。而是,ROI控制器 52主動地檢測近端視頻內(nèi)匹配ROI說明的適宜區(qū)域。ROI映射器54將ROI坐標至視頻幀內(nèi)的相關(guān)宏塊(MB),并產(chǎn)生近端或遠端ROI MB映射圖。實際上,ROI映射器54將來自ROI控制器52的ROI坐標轉(zhuǎn)譯成視頻編 碼器46可理解的格式。特定而言,視頻編碼器46經(jīng)配備以處理在MB等級下的編碼, 亦即,在MB對MB的基礎(chǔ)上。為此,ROI映射器54為近端或遠端視頻產(chǎn)生ROIMB 映射圖。ROI MB映射圖識別屬于所指定ROI內(nèi)的MB以便視頻編碼器46可對那些 MB應(yīng)用優(yōu)先編碼。除處理ROI說明外,ROI提取模塊60還可經(jīng)配備以處理本地用戶從一組預(yù)界定 圖案中選擇的或由本度用戶繪制、重新定位或重設(shè)大小的ROI圖案。因此,視頻通信 裝置12,可產(chǎn)生大致如關(guān)于圖3的視頻通信裝置12所述的ROI信息,但進一步并入有 ROI提取模塊60以處理由本地用戶以文本形式或語言形式輸入的ROI說明。ROI提 取模塊60在易于本地用戶使用方面可能是需要的。然而,某些視頻通信裝置可能并不 具有充足的處理功率來支持ROI提取模塊60。因此,ROI提取模塊60表示根據(jù)本發(fā)明的視頻通信裝置的需要但是任選的組件。在某些實施例中,ROI提取模塊60可處理并非僅由本地用戶而是也由遠程用戶 所產(chǎn)生的ROI說明。以這種方式,在某些裝置中除在本地外還可遠程地實施提取功能 性。例如,特定視頻通信裝置14可能并不具有充足的本地資源或能力來支持對由裝置 14的用戶所提供的ROI說明進行ROI提取。然而,另一視頻通信裝置12可經(jīng)配備而 可更好地用于ROI提取。在這種情況下,本發(fā)明涵蓋可卸載到或分配到遠程視頻通信 裝置的本地ROI提取。為支持遠程提取,可以各種方式將ROI說明提供到遠程裝置。例如,語言說明可包含于傳輸?shù)竭h程裝置的音頻流中。同樣地,文本ROI說明以及預(yù)界定ROI圖案或繪 制的ROI圖案可通過(例如)將此等信息嵌于已編碼視頻流中而傳輸?shù)竭h程裝置。因 此,從一個裝置發(fā)送到另一裝置的ROI信息可采取經(jīng)預(yù)處理的ROIMB映射圖形式, 或任何其它ROI指示或說明的形式,其中包含需要在應(yīng)用到遠程編碼器之前于遠程裝 置處進行處理的指示或說明。圖5是圖解說明通過中間提取服務(wù)器61分配ROI提取的框圖。如圖5中所示, 視頻通信裝置12、 14可將充足的信息提供至中間提取服務(wù)器61以便可提取ROI。例 如,每一裝置12、 14可提供相應(yīng)的本地近端ROI說明、遠端ROI說明、已編碼或原 始近端視頻及已編碼遠端視頻。作為從近端裝置提供已編碼遠端視頻的替代方案,ROI 提取服務(wù)器61可直接從遠端裝置接收遠端視頻。使用此信息,提取服務(wù)器61產(chǎn)生遠 端ROI及本地近端ROI中的一者或兩者,并將其提供到相應(yīng)的裝置12、 14。提取服 務(wù)器61可為位于通信網(wǎng)絡(luò)內(nèi)任何地方的服務(wù)器,且可通過有線媒體、無線媒體或兩者 的組合耦合到裝置12、 14。提取服務(wù)器61可位于距視頻通信裝置12、 14遙遠處或與 裝置12、 14駐扎在同一地點。然而,在許多例示中,提取服務(wù)器61可為遠程服務(wù)器。 一般而言,提取服務(wù)器61與視頻通信裝置12、 14在結(jié)構(gòu)上截然不同。提取服務(wù)器61的作用更像提取模塊60,但其是在遠程分配的基礎(chǔ)上運作以致不 需要在裝置12、 14內(nèi)實施本地ROI提取。以這種方式,ROI提取的處理成本可分配 到不同的裝置,從而可具有更大的處理功率。類似于ROI提取模塊60,提取服務(wù)器 61可處理不同類型的ROI說明,例如,由用戶提供的語言、文本或圖形說明。為此, ROI提取服務(wù)器61可并入有適合于處理所述說明的能力,例如,語言辨別能力。另外, ROI提取服務(wù)器61可配備有視頻解碼能力以準許對視頻及ROI的提取進行分析,以 及編碼能力以對視頻進行重新編碼并嵌入ROI信息(如果需要)。圖6是圖解說明為多個視頻電話對話分配ROI提取的框圖。在圖6的實例中, ROI提取服務(wù)器61運作以針對多個視頻通信裝置12A-14A、 12B-14B、 12C-14D至 12N-14N之間的VT對話處理ROI提取。以這種方式,ROI提取服務(wù)器61平行地實施 多個ROI提取任務(wù)以支持將在既定通信網(wǎng)絡(luò)上進行的各種VT對話。圖7A-7D是圖解說明供本地或遠程用戶選擇的預(yù)界定ROI圖案的圖式。圖7A-7D 的ROI圖案是出于實例目的,而不應(yīng)將其視為限制。圖7A顯示呈現(xiàn)于與無線通信裝 置38相關(guān)聯(lián)的顯示器36上的視頻景物34內(nèi)的ROI 62。 ROI 62是其中心大致位于視 頻景物34內(nèi)的基本矩形。矩形ROI62的主長度在視頻景物34內(nèi)垂直延伸。在許多情 況下,預(yù)界定中心的矩形ROI62將會有效地捕捉到人的面部,亦即,參與VT呼叫的 遠程用戶的面部。圖7B顯示另一呈矩形的ROI 64,所述矩形具有在視頻景物34內(nèi)水平延伸的主 長度。ROI 64的中心大致位于視頻景物34內(nèi)且可有效地捕捉到對象,例如,車輛、 小船、產(chǎn)品、禮品及類似物。圖7C顯示另一 ROI 66,其具有經(jīng)設(shè)計以捕捉參與VT呼叫的遠程用戶的面部及 肩部的形狀。另一選擇為,ROI66可捕捉正播報新聞廣播的記者、聚會主持人或會議 演講人的面部及肩部(例如,在單向視頻流應(yīng)用中)。無論如何,預(yù)界定ROI66聚焦 于人類VT參與者或呈現(xiàn)者上,并實現(xiàn)對這個人的實體特征進行優(yōu)先編碼。圖7D顯示在視頻景物34內(nèi)并排呈現(xiàn)的兩組ROI 68、 70。在圖5D的實例中, ROK8、 70可有效地捕捉到兩個并排坐著或站立的人的面部。以這種方式,可對兩個 參與者的面部進行優(yōu)先編碼以支持面部表情及移動的更高圖像質(zhì)量。圖7A-7D中所描繪的預(yù)界定ROI圖案均出于圖解說明的目的??商峁┢渌哂?替代位置或形狀的預(yù)界定ROI圖案。例如,某些ROI圖案可具有圓形或不規(guī)則形狀, 只要所述圖案可映射到MB邊界。在某些實施例中,可準許用戶對所選ROI圖案進行重設(shè)大小或重新定位??墒褂?傳統(tǒng)的光標及拐角拖動技術(shù)來實現(xiàn)重設(shè)大小及重新定位。另外,可通過拐角拖動或通 過明確地規(guī)定縮放百分比來實現(xiàn)對ROI大小的重新縮放。當(dāng)然,當(dāng)ROI變大時,優(yōu)先 編碼的程度因帶寬限制而減小。因此,在某些情況下,可在視頻通信裝置12內(nèi)強制執(zhí) 行最大ROI大小。圖8是圖解說明在接收方裝置處產(chǎn)生遠端ROI信息以控制在發(fā)送方裝置處于近端 視頻中進行的優(yōu)先ROI編碼的流程圖。圖8中描繪的過程可在圖4的視頻通信裝置12' 的圖3的視頻通信裝置12內(nèi)實施。在操作中,視頻通信裝置12內(nèi)的ROI知曉視頻解 碼器48對來自遠程發(fā)送方裝置(例如,視頻通信裝置14(圖1))的遠端視頻進行解碼 (72)。在對遠端視頻進行解碼后,接收方裝置12的用戶接口 42顯示遠端視頻以供本 地用戶來觀看(74)。如果本地用戶不請求近端ROI選擇(76),則不采取動作且不對遠端視頻的下一幀 進行解碼(72)。然而,如果請求近端ROI選擇(76),則用戶接口42接受來自本地用戶 的遠端ROI信息(78)。然后,ROI控制器52及ROI映射器54協(xié)作以產(chǎn)生遠端ROI MB 映射圖(80)。 ROI知曉編碼器46將遠端ROIMB映射圖嵌于己編碼近端視頻中且由此 將遠端ROI映射圖傳輸?shù)綄h端視頻進行解碼的遠程發(fā)送方裝置14(82)。遠端R01 MB 映射圖規(guī)定與遠程視頻通信裝置14相關(guān)聯(lián)的編碼器應(yīng)對要發(fā)送到視頻通信裝置12的 遠端視頻的相關(guān)ROI內(nèi)的MB應(yīng)用優(yōu)先編碼。圖9是圖解說明對來自接收方裝置的ROI信息進行處理以便結(jié)合ROI跟蹤在發(fā) 送方裝置處對近端視頻進行優(yōu)先ROI編碼的流程圖。在圖9的實例中,用戶接口 42 接收由視頻捕捉裝置40所產(chǎn)生的近端視頻流并將近端視頻呈現(xiàn)給本地用戶(84)。如果 本地用戶或遠程用戶都不請求近端ROI選擇(86),則對每一視頻幀內(nèi)的所有MB進行 正常編碼(88),亦即,不對ROI內(nèi)的MB進行任何優(yōu)先編碼。然后,將已編碼近端視 頻發(fā)送到遠程接收方裝置14(89)。然而,如果本地用戶或遠程用戶均請求近端ROI選擇(86),則ROI控制器52及 ROI映射器54處理相關(guān)的近端ROI信息以產(chǎn)生近端ROI MB映射圖(90)。如果近端 ROI是由本地用戶及遠程用戶兩者來規(guī)定,則驗證模塊58可進行干涉以解決沖突以有
利于ROI中的一者。在接收到近端ROIMB映射圖后(90), ROI知曉視頻編碼器46通 過應(yīng)用更高質(zhì)量的編碼、更強壯的錯誤保護或兩者來對ROI內(nèi)的MB進行編碼(92)。跟蹤模塊56通過監(jiān)控ROI知曉視頻編碼器46所產(chǎn)生的運動信息來跟蹤ROI在 近端視頻內(nèi)的位置(94)。如果未檢測到ROI中有移位(96),則應(yīng)用現(xiàn)有的ROI映射 圖以對近端視頻內(nèi)的ROI MB進行編碼(100)并將已編碼近端視頻發(fā)送到遠程接收方裝 置(102)。如果檢測到ROI中有移位(96),則視頻跟蹤模塊56在對近端視頻進行編碼之 前(100)根據(jù)運動信息調(diào)節(jié)ROIMB映射圖(98)。圖10是圖解說明對來自接收方裝置的ROI信息進行處理以便結(jié)合用戶驗證在發(fā) 送方裝置處對近端視頻迸行優(yōu)先ROI編碼的流程圖。圖10描繪圖3或圖4的驗證模 塊58的操作,以準許遠程用戶控制近端ROI且為簡化起見,假定未對本地近端ROI 加以規(guī)定。如圖10中所示,對于由視頻通信裝置12中的視頻捕捉裝置40所產(chǎn)生的近 端視頻流(104),驗證模塊58確定視頻通信裝置14的遠程用戶是否已請求遠程近端 ROI(廳)。如果未請求遠程近端R01(106),且未請求本地近端ROI,則對近端視頻中的所有 MB進行正常編碼(110)。然而,如果請求遠程近端ROI(106),則驗證模塊58接下來 確定請求近端ROI的遠程用戶是否通過了驗證(108)。特定而言,驗證模塊58可通過 參考在本地存儲于視頻通信裝置12中的地址薄自動地確定遠程用戶的存取權(quán)。另一選 擇為,驗證模塊58可經(jīng)由用戶接口 42主動地詢問本地用戶以獲得對由遠程用戶實施 近端ROI控制的存取權(quán)的批準或拒絕。如果遠程用戶未通過驗證(108),則對近端視頻中的所有MB進行正常編碼(110)。 然而,如果遠程用戶通過了驗證(108),則將近端ROI控制授予遠程用戶。在這種情況 下,ROI控制器52及ROI映射器54處理來自遠程用戶的近端ROI信息并產(chǎn)生近端 MB映射圖(112)。使用近端MB映射圖,ROI知曉編碼器46對通過近端MB映射圖識 別的MB進行優(yōu)先編碼(114)。然后,視頻通信裝置12將已編碼近端視頻發(fā)送到遠程 視頻通信裝置14(116)。圖11是圖解說明對預(yù)界定ROI圖案的選擇的流程圖。 一旦ROI知曉視頻解碼器 48對從遠程視頻通信裝置14接收的遠端視頻進行解碼(118),即經(jīng)由用戶接口 42將遠 端視頻顯示給本地用戶(120)。如果本地用戶請求ROI選擇(122),則用戶接口42顯示 預(yù)界定ROI圖案的菜單(124),例如,圖7A-7D中所顯示的那些ROI圖案。另一選擇 為,用戶可提供ROI說明或?qū)OI圖案加以繪制、重新定位或重設(shè)大小。然而,在圖 11的實例中,操作聚焦于對預(yù)界定ROI圖案的呈現(xiàn)。在由本地用戶選擇預(yù)界定ROI 圖案后(126), ROI控制器52及ROI映射器54根據(jù)所選圖案界定ROI MB映射圖(128)。 ROI知曉視頻編碼器46將ROIMB映射圖嵌于已編碼近端視頻內(nèi)并將ROIMB映射圖 傳輸?shù)竭h程視頻通信裝置14(130)以供在對遠端視頻中的ROI進行優(yōu)先編碼中使用。圖12是圖解說明通過擴展及收縮ROI模板132來界定所顯示視頻景物34中的 ROI圖案的圖式。圖12大致對應(yīng)于圖2,但圖解說明可由用戶重設(shè)大小的ROI模板 132的呈現(xiàn)。在圖12的實例中,ROI模板132可通過拐角拖動ROI模板拐角中的一者 來擴展及收縮ROI模板來重設(shè)大小。進行拐角拖動以擴展ROI模板132的結(jié)果由經(jīng)擴 展的ROI模板134來表示。拐角拖動導(dǎo)致ROI模板132大小的增加或降低,但維持相 對的長度對寬度比率縮放。然而,在某些實施例中,還可準許用戶拖動ROI模板132 的側(cè)邊以增加或降低ROI模板的大小同時也改變長度對寬度比率縮放。拖動可使用與 觸摸屏結(jié)合的記錄筆,或與視頻通信裝置12的用戶接口 42相關(guān)聯(lián)的其它指向裝置來 實現(xiàn)。其它指向裝置可包含操縱桿、觸摸墊、滾動輪、跟蹤球及類似物。圖13是圖解說明通過拖動ROI模板132來界定所顯示視頻景物中的ROI圖案的 圖式。特定而言,圖13顯示通過將ROI模板拖動到視頻景物34內(nèi)的另一位置135重 新定位ROI模板132。拖動可通過記錄筆與觸摸屏或與用戶接口 42相關(guān)聯(lián)的指向裝置 來實現(xiàn)。圖14是圖解說明通過用記錄筆138在觸摸屏上繪制ROI圖案136來界定所顯示 視頻景物中的ROI圖案的圖式。在圖14的實例中,ROI圖案136是通過徒手畫法所 產(chǎn)生。ROI控制器52及ROI映射器54協(xié)作以將與所繪制ROI圖案相關(guān)聯(lián)的坐標轉(zhuǎn)換 成MB映射圖,所述映射圖識別視頻景物34內(nèi)大約屬于ROI圖案136范圍內(nèi)的MB。 圖12、 13及14中所示的ROI圖案的界定可應(yīng)用于近端視頻或遠端視頻內(nèi)的ROI。圖15是圖解說明使用下拉式菜單140與要動態(tài)跟蹤的所規(guī)定ROI對象來界定所 顯示視頻景物中的ROI圖案的圖式。如圖15中所示,用戶接口42呈現(xiàn)下拉式菜單140, 所示菜單呈現(xiàn)ROI說明,例如,"面部(FACE)"、"唇部(LIP)"、"背景(BACKGROUND)" 及"移動(MOVEMENT)"。本地用戶在下拉式菜單中選擇一個輸入項作為所需要的 ROI說明。響應(yīng)于此,ROI提取模塊60(圖4)分析近端視頻或遠端視頻(只要可適用) 以檢測對應(yīng)于所述說明的ROI圖案。作為下拉式菜單140的替代方案,用戶可通過用 戶接口 42或以語言方式將文本讀入麥克風(fēng)來輸入文本。在所有情況下,使用傳統(tǒng)的特 征檢測算法(例如,皮膚色調(diào)檢測、對象分段或類似方法)將所選ROI匹配于適宜的 ROI圖案。在選擇ROI圖案后,ROI控制器52及ROI映射器54產(chǎn)生適宜的ROIMB 映射圖。在每一ROI說明必須動態(tài)地匹配所考慮特定視頻景物內(nèi)的ROI圖案的意義上, 圖15中的過程可稱為"動態(tài)的"。圖16是圖解說明使用下拉式菜單142與被映射到如圖7A-7D中預(yù)界定ROI圖案 的所規(guī)定ROI對象來界定所顯示視頻景物中的ROI圖案的圖式。如圖16中所示,用 戶接口42呈現(xiàn)下拉式菜單142,所述菜單呈現(xiàn)ROI說明,例如,"單面部(SINGLE FACE)"、"雙面部(DUAL FACE)""頭部/肩部(HEAD/SHOULDERS)"及"對象 (OBJECT)"。本地用戶在下拉式菜單中選擇一個輸入項作為所需要的ROI圖案。響 應(yīng)于此,ROI控制器52將所選ROI圖案匹配于對應(yīng)的預(yù)界定ROI圖案,例如,圖7A-7D 中所描繪的那些圖案。因此,不同于圖15中所示的ROI說明,靜態(tài)ROI圖案不需要 視頻分析。而是,ROI控制器52及ROI映射器54產(chǎn)生對應(yīng)于下拉式菜單142中的備 選項的預(yù)配置ROIMB映射圖。同樣,作為下拉式菜單142的替代方案,用戶可通過
用戶接口 42或以語言方式將文本讀入麥克風(fēng)來輸入文本。在每一 ROI圖案均對應(yīng)于 預(yù)界定ROI圖案及MB映射圖的意義上,圖15中的過程可稱作"靜態(tài)的"。圖17是圖解說明使用ROI說明接口界定所顯示視頻景物中的ROI圖案的流程圖。 圖17中所示的過程可與圖15的下拉式菜單或其它輸入媒體結(jié)合使用。如圖17中所示, ROI知曉視頻解碼器48對從遠程發(fā)送方裝置14接收的遠端視頻進行解碼(144)。然后, 用戶接口 42將遠端視頻顯示給本地用戶(146)。如果本地用戶不請求對遠端視頻的近 端ROI選擇(148),則沒有ROI信息發(fā)送到遠程視頻通信裝置14。然而,如果請求近 端ROI選擇(148),則用戶接口 42呈現(xiàn)ROI說明接口(150),例如,圖17的下拉式菜 單140。在接收到本地用戶ROI說明(152)后,ROI控制器52及ROI映射器54根據(jù)所述 說明選擇ROI圖案(154)并根據(jù)所選ROI圖案界定R01 MB映射圖(156)。同樣,可通 過使用傳統(tǒng)檢測技術(shù)來分析遠端視頻并將ROI說明與遠端視頻內(nèi)的特定MB匹配來確 定所選ROI圖案。在產(chǎn)生遠端ROI MB映射圖后,ROI知曉視頻編碼器12將遠端ROI MB映射圖嵌入已編碼近端視頻中并將其傳輸?shù)竭h程視頻通信裝置14以供對遠端ROI 進行優(yōu)先編碼。圖18是圖解說明解決發(fā)送方與接收方裝置12、 14之間的ROI沖突的流程圖。特 定而言,圖18圖解說明驗證模塊58(圖3或圖4)在解決由本地用戶所指定的近端ROI 與由遠程用戶所指定的近端ROI之間的沖突時的運作。在發(fā)送方裝置處產(chǎn)生近端視頻 后(160),驗證模塊58確定近端RQI已由本地用戶還是遠程用戶提出請求(162)。如果 沒有,則對所有MB進行正常編碼(164)而不需要對ROI進行優(yōu)先編碼,并將所得的已 編碼視頻發(fā)送到接收方視頻通信裝置14(166)。如果請求近端ROI(162),則驗證模塊58確定由本地用戶規(guī)定的近端ROI與由遠 程用戶規(guī)定的近端ROI之間是否存在沖突(168)。如果不存在規(guī)定的遠程近端ROI,或 如果本地與遠程近端ROI —致,則驗證可將所選近端ROI傳遞到ROI控制器52以進 行處理。如果不存在本地近端ROI,但己選擇遠程近端ROI,則驗證模塊58可準許應(yīng)用 遠程近端ROI。另一選擇為,在某些實施例中,僅在授予遠程用戶顯式存取,通過本 地用戶交互作用或通過記錄于地址薄中的存取等級的情況下,驗證模塊58方可準許應(yīng) 用遠程近端ROI。如果不存在ROI沖突,則ROI映射器54根據(jù)可適用的近端ROI產(chǎn) 生近端MB映射圖并將其應(yīng)用到ROI知曉視頻編碼器46。然后,ROI知曉視頻編碼器 46對近端視頻的ROI內(nèi)的MB進行優(yōu)先編碼(172)。如果本地與遠程近端ROI之間存在沖突(168),則驗證模塊58確定是否已指配存 取等級(174),例如,在本地存儲于視頻通信裝置12內(nèi)的地址薄中。如果已指配存取 等級(174),則驗證模塊58根據(jù)存取等級解決ROI沖突(176)。例如,所存儲的遠程用 戶的存取等級可指示應(yīng)授予遠程用戶優(yōu)于本地用戶的ROI控制。如果未指配存取等級 (174),則驗證模塊58從本地用戶尋求對遠程ROI控制的批準(178)。特定而言,驗證 模塊58可經(jīng)由用戶接口 42呈現(xiàn)訊問以請求批準由遠程用戶實施近端ROI控制。如果本地用戶給予批準,則驗證模塊58將遠程近端ROI傳遞到ROI控制器52 以便進行處理。如果未給予批準,則ROI控制器52處理本地近端ROI。在以上兩種 情況的任一情況下,ROI知曉視頻編碼器46使用所選ROI來對近端視頻內(nèi)屬于ROI 范圍內(nèi)的MB進行優(yōu)先編碼(172),并將已編碼近端視頻讀出到遠程接收方裝置 14(166)。在某些情況下,驗證模塊58不僅可解決本地用戶與一個遠程用戶還可解決 與可能的數(shù)個遠程用戶之間的ROI沖突。本地用戶可主動地將控制近端ROI的存取權(quán) 授予遠程用戶中的一者,或指配可區(qū)分不同遠程用戶的ROI控制權(quán)優(yōu)先次序的相關(guān)存 取等級。通常,將控制ROI的存取權(quán)排他地授予一個用戶,例如,本地用戶或遠程用 戶中的一者。圖19是圖解說明對遠端視頻內(nèi)的ROI宏塊進行優(yōu)先解碼的流程圖。如圖19中所 示,在從遠程發(fā)送方裝置14接收到遠端視頻后(180),本地接收方裝置12中的ROI 知曉視頻解碼器48確定遠端ROI是否已由本地用戶加以規(guī)定(182)。如果沒有,則ROI 知曉視頻解碼器48對遠端視頻中的所有MB進行正常編碼(184)。然而,如果遠端ROI 信息已由本地用戶加以規(guī)定,則ROI知曉視頻解碼器48對所接收遠端視頻中的ROI MB進行優(yōu)先解碼(186)??赏ㄟ^應(yīng)用更高質(zhì)量的內(nèi)插方程式或更健壯的錯誤隱匿技術(shù) (相對于應(yīng)用于非ROIMB的內(nèi)插方程式及錯誤隱匿技術(shù))來對ROI MB進行優(yōu)先解 碼。優(yōu)先解碼可包含優(yōu)先后處理,例如,更高質(zhì)量的解塊或去振鳴濾波器。本文所述的技術(shù)可構(gòu)建于硬件、軟件、固件、或其任一組合中。如果構(gòu)建在軟件 中,則所述技術(shù)可部分地通過一個計算機可讀媒體來實現(xiàn),所述計算機可讀媒體包括 含有指令的程序代碼,當(dāng)執(zhí)行所述指令時,可實施上文所述的一個或一個以上方法。 在這種情況下,計算機可讀媒體可包括隨機存取存儲器(RAM),例如同步動態(tài)隨機 存取存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、 電可擦可編程只讀存儲器(EEPROM)、快閃存儲器、磁性或光學(xué)數(shù)據(jù)存儲媒體及類似 裝置。程序代碼可由一個或一個以上處理器來執(zhí)行,例如一個或一個以上數(shù)字信號處理 器(DSP)、通用微處理器、專用集成電路(ASIC)、場可編程邏輯陣列(FPGA)、或其它 等效集成或離散邏輯電路。在某些實施例中,可在經(jīng)配置用于編碼和解碼的專用軟件 模塊或硬件單元中提供本文所述的功能,或?qū)⒈疚乃龉δ懿⑷氲浇?jīng)組合的視頻編解 碼器(CODEC)中。本文已闡述了各種實施例。這些及其它實施例仍歸屬于以下權(quán)利要求書的范疇內(nèi)。
權(quán)利要求
1、一種方法,其包括從遠程裝置接收規(guī)定由本地裝置編碼的且由所述遠程裝置接收的近端視頻內(nèi)的感興趣區(qū)域(ROI)的信息;及根據(jù)所述ROI對所述近端視頻進行編碼以相對于所述視頻的非ROI區(qū)增強所述ROI的圖像質(zhì)量。
2、 如權(quán)利要求1所述的方法,其進一步包括將所述已編碼近端視頻傳輸?shù)剿?遠程裝置,及在所述本地裝置中接收由所述遠程裝置編碼的遠端視頻。
3、 如權(quán)利要求1所述的方法,其進一步包括接收規(guī)定所述ROI的信息,所述ROI 具有從所述遠程裝置接收的已編碼遠端視頻,其中所述規(guī)定所述ROI的信息被嵌于所 述已編碼遠端視頻內(nèi)。
4、 如權(quán)利要求1所述的方法,其進一步包括通過來自所述遠程裝置的帶外信令 接收所述規(guī)定所述ROI的信息。
5、 如權(quán)利要求l所述的方法,其進一步包括 在所述本地裝置中接收由所述遠程裝置編碼的遠端視頻; 產(chǎn)生規(guī)定所述已編碼遠端視頻內(nèi)的ROI的信息;及將所述ROI信息與所述已編碼近端視頻一起傳輸?shù)剿鲞h程裝置。
6、 如權(quán)利要求l所述的方法,其進一步包括 在所述本地裝置中接收由所述遠程裝置編碼的遠端視頻;及 對從所述遠程裝置接收的所述已編碼遠端視頻進行解碼以相對于所述遠端視頻的非ROI區(qū)增強所述遠端視頻中的所述ROI的圖像質(zhì)量。
7、 如權(quán)利要求6所述的方法,其中對所述已編碼遠端視頻進行解碼包含相對于 所述遠端視頻的非ROI區(qū)對所述遠端視頻中的所述ROI應(yīng)用更高質(zhì)量的后處理或錯誤 隱匿技術(shù)。
8、 如權(quán)利要求l所述的方法,其進一步包括根據(jù)所述規(guī)定所述ROI的信息產(chǎn)生 識別處于所述ROI內(nèi)的宏塊(MB)的MB映射圖。
9、 如權(quán)利要求1所述的方法,其中對所述近端視頻進行編碼包含相對于所述近 端視頻的非ROI區(qū)對所述近端視頻中的所述ROI應(yīng)用更高質(zhì)量的編碼或錯誤保護技 術(shù)。
10、 如權(quán)利要求l所述的方法,其進一步包括在根據(jù)所述ROI對所述近端視頻進 行編碼之前驗證與所述遠程裝置相關(guān)聯(lián)的遠程用戶。
11、 如權(quán)利要求10所述的方法,其中驗證包含確定是否已授權(quán)所述遠程用戶來 控制根據(jù)所述ROI對所述近端視頻的編碼。
12、 如權(quán)利要求10所述的方法,其中驗證包含從與所述本地裝置相關(guān)聯(lián)的本地用戶尋求對所述遠程用戶控制根據(jù)所述ROI對所述遠端視頻的編碼的授權(quán)。
13、 如權(quán)利要求l所述的方法,其中從遠程裝置接收信息包含從多個遠程裝置接 收規(guī)定所述近端視頻內(nèi)多個ROI的信息,所述方法進一步包括驗證與所述遠程裝置相 關(guān)聯(lián)的遠程用戶以選擇所述遠程用戶中的一者來控制根據(jù)所述相應(yīng)的ROI對所述近端 視頻的編碼。
14、 如權(quán)利要求1所述的方法,其進一步包括 監(jiān)控與所述已編碼近端視頻相關(guān)聯(lián)的運動信息; 根據(jù)所述運動信息調(diào)節(jié)所述ROI;及根據(jù)所述經(jīng)調(diào)節(jié)的ROI對所述近端視頻進行編碼。
15、 如權(quán)利要求14所述的方法,其進一步包括根據(jù)所述規(guī)定所述ROI的信息產(chǎn) 生識別處于所述ROI內(nèi)的宏塊(MB)的MB映射圖,且其中調(diào)節(jié)所述ROI包含根據(jù)所 述運動信息將MB的狀態(tài)修改為包含于所述ROI內(nèi)或排除在所述ROI外。
16、 如權(quán)利要求l所述的方法,其中所述規(guī)定ROI的信息包含文本或語言信息, 所述方法進一步包括根據(jù)所述文本或語言信息界定所述ROI。
17、 如權(quán)利要求16所述的方法,其中界定所述ROI包含在與所述本地裝置和所 述遠程裝置中至少一者通信的中間服務(wù)器處界定所述ROI。
18、 一種視頻編碼裝置,其包括感興趣區(qū)域(ROI)引擎,其從遠程視頻通信裝置接收規(guī)定傳輸?shù)剿鲞h程裝置的 近端視頻內(nèi)的感興趣區(qū)域(ROI)的信息;及視頻編碼器,其對所述近端視頻進行編碼以增強所述ROI相對于所述視頻的非 ROI區(qū)的圖像質(zhì)量。
19、 如權(quán)利要求18所述的裝置,其中所述視頻編碼器將所述已編碼近端視頻傳 輸?shù)剿鲞h程裝置,所述裝置進一步包括接收由所述遠程裝置編碼的遠端視頻的視頻 解碼器。
20、 如權(quán)利要求19所述的裝置,其中所述視頻解碼器接收規(guī)定所述ROI的信息, 所述ROI具有從所述遠程裝置接收的已編碼遠端視頻,且其中所述規(guī)定所述ROI的信 息被嵌于從所述遠程裝置接收的所述已編碼遠端視頻內(nèi)。
21、 如權(quán)利要求18所述的裝置,其進一步包括接收由所述遠程裝置編碼的遠端 視頻的視頻解碼器,其中所述視頻解碼器通過來自所述遠程裝置的帶外信令接收所述 規(guī)定所述ROI的信息。
22、 如權(quán)利要求21所述的裝置,其中所述ROI引擎產(chǎn)生規(guī)定所述已編碼遠端視 頻內(nèi)的ROI的信息,且所述視頻編碼器將所述ROI信息與所述已編碼近端視頻一起傳 輸?shù)剿鲞h程裝置。
23、 如權(quán)利要求18所述的裝置,其進一步包括視頻解碼器,所述視頻解碼器對 從所述遠程裝置接收的所述己編碼遠端視頻進行解碼以相對于所述遠端視頻的非ROI 區(qū)增強所述遠端視頻中的所述ROI的圖像質(zhì)量。
24、 如權(quán)利要求23所述的裝置,其中所述視頻解碼器相對于所述遠端視頻的非 ROI區(qū)對所述遠端視頻中的所述ROI應(yīng)用更高質(zhì)量的后處理或錯誤隱匿技術(shù)。
25、 如權(quán)利要求18所述的裝置,其進一步包括ROI映射器模塊,其根據(jù)所述 規(guī)定所述ROI的信息產(chǎn)生識別處于所述ROI內(nèi)的宏塊(MB)的MB映射圖;及ROI控 制器,其處理所述規(guī)定所述ROI的信息供應(yīng)用于所述ROI映射器模塊。
26、 如權(quán)利要求18所述的裝置,其中所述視頻編碼器相對于所述近端視頻的非 ROI區(qū)對所述近端視頻中的所述ROI應(yīng)用更高質(zhì)量的編碼或錯誤保護技術(shù)。
27、 如權(quán)利要求18所述的裝置,其進一步包括驗證模塊,所述驗證模塊在根據(jù) 所述ROI對所述近端視頻進行編碼之前驗證與所述遠程裝置相關(guān)聯(lián)的遠程用戶,其中 所述驗證模塊確定是否已授權(quán)所述遠程用戶控制根據(jù)所述ROI對所述近端視頻的編 碼。
28、 如權(quán)利要求27所述的裝置,其中所述驗證模塊從與所述裝置相關(guān)聯(lián)的本地 用戶尋求對所述遠程用戶控制根據(jù)所述ROI對所述近端視頻的編碼的授權(quán)。
29、 如權(quán)利要求18所述的裝置,其中所述從遠程裝置接收的信息包含來自多個 遠程裝置的規(guī)定所述近端視頻中多個ROI的信息,所述系統(tǒng)進一步包括驗證模塊,所 述驗證模塊對與所述遠程裝置相關(guān)聯(lián)的遠程用戶進行驗證以選擇所述遠程用戶中的一 者來控制根據(jù)相應(yīng)的ROI對所述近端視頻的編碼。
30、 如權(quán)利要求18所述的裝置,其進一步包括跟蹤模塊,所述跟蹤模塊監(jiān)控與 所述近端視頻相關(guān)聯(lián)的運動信息并根據(jù)所述運動信息來調(diào)節(jié)所述ROI,其中所述編碼 器根據(jù)所述經(jīng)調(diào)節(jié)的ROI對所述近端視頻進行編碼。
31、 如權(quán)利要求30所述的裝置,其進一步包括ROI映射器模塊,所述ROI映射 器模塊根據(jù)所述規(guī)定所述ROI的信息產(chǎn)生識別處于所述ROI內(nèi)的宏塊(MB)的MB映 射圖,其中所述跟蹤模塊對所述ROI的調(diào)節(jié)包含根據(jù)所述運動信息將MB的狀態(tài)修改 為包含于所述ROI內(nèi)或排除在所述ROI外。
32、 如權(quán)利要求18所述的裝置,其中所述規(guī)定ROI的信息包含文本或語言信息, 所述系統(tǒng)進一步包括根據(jù)所述文本或語言信息界定所述ROI的提取模塊。
33、 如權(quán)利要求18所述的裝置,其中所述規(guī)定ROI的信息包含文本或語言信息, 所述系統(tǒng)進一步包括根據(jù)所述文本或語言信息界定所述ROI的中間提取服務(wù)器,其位 于與所述視頻通信裝置和所述遠程視頻通信裝置相距遙遠的地方。
34、 一種計算機可讀媒體,其包括使處理器執(zhí)行以下操作的指令-從遠程裝置接收規(guī)定由本地裝置編碼且由遠程裝置接收的近端視頻內(nèi)的感興趣區(qū)域(ROI)的信息;及對所述近端視頻進行編碼以相對于所述視頻的非ROI區(qū)增強所述ROI的圖像質(zhì)
35、 如權(quán)利要求34所述的計算機可讀媒體,其中所述指令使所述處理器將所述 已編碼近端視頻傳輸?shù)剿鲞h程裝置,并在所述本地裝置中接收由所述遠程裝置編碼 的遠端視頻。
36、 如權(quán)利要求34所述的計算機可讀媒體,其中所述指令使所述處理器接收所 述規(guī)定所述ROI的信息,所述ROI具有從所述遠程裝置接收的已編碼遠端視頻,其中 所述規(guī)定所述ROI的信息被嵌于所述已編碼遠端視頻內(nèi)。
37、 如權(quán)利要求34所述的計算機可讀媒體,其中所述指令使所述處理器通過來 自所述遠程裝置的帶外信令接收所述規(guī)定所述ROI的信息。
38、 如權(quán)利要求34所述的計算機可讀媒體,其中所述指令使所述處理器產(chǎn)生規(guī) 定從所述遠程裝置接收的已編碼遠端視頻內(nèi)的ROI的信息,并將所述ROI信息與所述 已編碼近端視頻一起傳輸?shù)剿鲞h程裝置。
39、 如權(quán)利要求34所述的計算機可讀媒體,其中所述指令使所述處理器對從所 述遠程裝置接收的所述已編碼遠端視頻進行解碼以相對于所述遠端視頻的非ROI區(qū)增 強所述遠端視頻中的所述ROI的圖像質(zhì)量。
40、 如權(quán)利要求39所述的計算機可讀媒體,其中所述指令使所述處理器通過相 對于所述遠端視頻的非ROI區(qū)對所述遠端視頻中的所述ROI應(yīng)用更高質(zhì)量的后處理或錯誤隱匿技術(shù)來對所述已編碼遠端視頻進行解碼。
41、 如權(quán)利要求34所述的計算機可讀媒體,其中所述規(guī)定所述ROI的信息包含 識別處于所述ROI內(nèi)的宏塊(MB)的MB映射圖。
42、 如權(quán)利要求34所述的計算機可讀媒體,其中所述指令使所述處理器通過相 對于所述近端視頻的非ROI區(qū)對所述近端視頻中的所述ROI應(yīng)用更高質(zhì)量的編碼或錯誤保護技術(shù)來對所述近端視頻進行編碼。
43、 如權(quán)利要求34所述的計算機可讀媒體,其中所述指令使所述處理器在根據(jù) 所述ROI對所述近端視頻進行編碼之前確定是否已授權(quán)所述遠程用戶來控制根據(jù)所述 ROI對所述近端視頻的編碼,且其中所述指令使所述處理器從與所述本地裝置相關(guān)聯(lián) 的本地用戶尋求對所述遠程用戶控制根據(jù)所述ROI對所述近端視頻的編碼的授權(quán)。
44、 如權(quán)利要求34所述的計算機可讀媒體,其中從多個遠程裝置接收規(guī)定所述 近端視頻內(nèi)多個ROI的所述信息,且所述指令使所述處理器驗證與所述遠程裝置相關(guān) 聯(lián)的遠程用戶以選擇所述遠程用戶中的一者來控制根據(jù)所述相應(yīng)的ROI對所述近端視 頻的編碼。
45、 如權(quán)利要求34所述的計算機可讀媒體,其中所述指令使所述處理器執(zhí)行以下操作監(jiān)控與所述已編碼近端視頻相關(guān)聯(lián)的運動信息;根據(jù)所述運動信息調(diào)節(jié)所述ROI;及根據(jù)所述經(jīng)調(diào)節(jié)的ROI對所述近端視頻進行編碼。
46、 如權(quán)利要求45所述的計算機可讀媒體,其中所述規(guī)定所述ROI的信息包含 識別處于所述ROI內(nèi)的宏塊(MB)的MB映射圖,且所述指令使所述處理器調(diào)節(jié)所述 ROI包含根據(jù)所述運動信息將MB的狀態(tài)修改為包含于所述ROI內(nèi)或排除在所述ROI 外。
47、 一種方法,其包括產(chǎn)生規(guī)定由遠程裝置傳輸且由本地裝置接收的遠端視頻內(nèi)的感興趣區(qū)域(ROI)的 信息;及將所述信息傳輸?shù)剿鲞h程裝置供用于根據(jù)所述ROI對所述遠端視頻進行編碼 以相對于所述視頻的非ROI區(qū)增強所述ROI的圖像質(zhì)量。
48、 如權(quán)利要求47所述的方法,其中將所述規(guī)定所述ROI的信息嵌于由所述本 地裝置編碼且被傳輸?shù)剿鲞h程裝置的近端視頻內(nèi)。
49、 如權(quán)利要求47所述的方法,其中通過來自所述遠程裝置的帶外信令來接收 所述規(guī)定所述ROI的^f言息。
50、 如權(quán)利要求47所述的方法,其中所述規(guī)定所述ROI的信息包含識別處于所 述ROI內(nèi)的宏塊(MB)的MB映射圖。
51、 一種視頻編碼裝置,其包括感興趣區(qū)域(ROI)引擎,其產(chǎn)生規(guī)定從遠程裝置接收的遠端視頻內(nèi)的感興趣區(qū)域 (ROI)的信息;及視頻編碼器,其對近端視頻進行編碼并將規(guī)定所述ROI的信息與所述已編碼近端 視頻一起傳輸以供所述遠程裝置用來根據(jù)所述ROI對所述遠端視頻進行編碼,從而相 對于所述遠端視頻的非ROI區(qū)增強所述ROI的圖像質(zhì)量。
52、 如權(quán)利要求51所述的裝置,其中所述規(guī)定所述ROI的信息被嵌于傳輸至所 述遠程裝置的所述近端視頻內(nèi)。
53、 如權(quán)利要求51所述的裝置,其中所述規(guī)定所述ROI的信息通過帶外信令傳 輸?shù)剿鲞h程裝置。
54、 如權(quán)利要求51所述的裝置,其中所述規(guī)定所述ROI的信息包含識別處于所 述ROI內(nèi)的宏塊(MB)的MB映射圖。
全文摘要
本發(fā)明涉及用于視頻電話(VT)應(yīng)用的感興趣區(qū)域(ROI)處理的技術(shù)。根據(jù)所揭示的技術(shù),接收方裝置為發(fā)送方裝置所傳輸?shù)囊曨l信息(即,遠端視頻信息)界定ROI信息。所述接收方裝置將ROI信息傳輸?shù)剿霭l(fā)送方裝置。使用所述接收方裝置所傳輸?shù)腞OI信息,所述發(fā)送方裝置對視頻景物內(nèi)的ROI應(yīng)用優(yōu)先編碼。通過這種方式,所述接收方裝置能夠遠程控制發(fā)送方裝置對遠端視頻信息進行的ROI編碼。
文檔編號H04N7/26GK101167365SQ200680014519
公開日2008年4月23日 申請日期2006年3月8日 優(yōu)先權(quán)日2005年3月9日
發(fā)明者哈立德·希勒米·厄勒-馬列, 李彥輯, 蔡明章 申請人:高通股份有限公司