具有三維感知的視頻通信的制作方法
【專利摘要】一般地，本公開通過基于標識、切分和跟蹤圖像的前景和背景層所生成的視差效應(yīng)來提供用于具有三維感知圖像呈現(xiàn)的實時視頻通信的方法和系統(tǒng)。所述系統(tǒng)可包括：圖像切分模塊，配置成將當前本地視頻幀分為本地前景層和本地背景層，并且基于本地前景層和本地背景層之間估計的邊界來生成本地前景掩模，其中，當前本地視頻幀包括本地顏色視頻圖像幀和本地圖像深度數(shù)據(jù)幀；面部跟蹤模塊，配置成基于當前本地視頻幀以及一個或多個先前本地視頻幀來跟蹤本地用戶的面部的位置；背景層估計模塊，配置成估計與從遠程視頻處理器接收的當前遠程視頻幀和遠程前景掩模關(guān)聯(lián)的遠程背景層；以及圖像呈現(xiàn)模塊，配置成基于所估計的遠程背景層、從遠程視頻處理器接收的當前遠程視頻幀和遠程前景掩模、以及本地用戶的面部的所跟蹤的位置來呈現(xiàn)3D感知圖像。
【專利說明】具有三維感知的視頻通信

【技術(shù)領(lǐng)域】
[0001] 本公開涉及實時視頻通信，并且更具體地涉及具有三維感知的實時視頻通信。

【背景技術(shù)】
[0002] 例如各自在計算機上的本地用戶和遠程用戶之間的視頻通信變得日益常見和可 用。這歸因于內(nèi)置視頻攝像機和麥克風的個人計算機的流行以及高速互聯(lián)網(wǎng)連通性的日益 可用性。但是，由于通常與三維（3D)成像關(guān)聯(lián)的所增加的硬件復(fù)雜性，大多數(shù)視頻通信限 于提供二維（2D)屏幕圖像。這些復(fù)雜性可包括使用雙攝像機、具有同步和校準的昂貴顯示 技術(shù)和難度。
[0003] 但是，3D視頻通信是值得期望的。深度感知向用戶提供視覺提示，并且這些提示可 增強與通信體驗關(guān)聯(lián)的空間和現(xiàn)實的感覺。如果能夠以減少的成本并且無需對諸如第二攝 像機或復(fù)雜顯示器之類的附加硬件的要求來提供深度感知，則可由此增加用戶體驗的質(zhì)量 和滿意。

【專利附圖】

【附圖說明】
[0004] 隨著下面的詳細描述繼續(xù)并且在參考附圖時，所要求保護的主題的實施例的特征 和優(yōu)點將變得明顯，在附圖中，相似的標號描繪相似的部分，并且其中： 圖1示出與本公開一致的視頻通信系統(tǒng)的一個示范性實施例的頂級系統(tǒng)圖； 圖2示出與本公開一致的視頻通信系統(tǒng)的一個示范性實施例的框圖； 圖3示出與本公開一致的示范性實施例的前景切分（segmentation)模塊的附加框圖 細節(jié)； 圖4示出與本公開的示范性實施例一致的前景掩模(mask)和邊界輪廓； 圖5示出與本公開一致的示范性實施例的背景估計模塊的附加框圖細節(jié)； 圖6示出與本公開一致的示范性實施例的操作的流程圖。
[0005] 雖然下面的詳細描述將通過對說明性實施例進行參考來繼續(xù)，但是本領(lǐng)域技術(shù)人 員將明白其許多的備選、修改和變形。

【具體實施方式】
[0006] -般地，本公開提供用于具有三維（3D)感知圖像的實時視頻通信的方法和系統(tǒng)， 該三維感知圖像通過基于標識、切分和跟蹤圖像的前景和背景層所生成的視差效應(yīng)來呈 現(xiàn)。本地視頻圖像幀可在本地系統(tǒng)或平臺中從本地攝像機獲得，并且被切分為前景層和背 景層。與層邊界有關(guān)的信息可連同本地視頻圖像被傳送到遠程系統(tǒng)。遠程系統(tǒng)可類似將遠 程視頻圖像和關(guān)聯(lián)的層邊界信息提供給本地系統(tǒng)?？蓹z測并且在多個視頻幀上跟蹤本地用 戶的面部的位置。本地系統(tǒng)可生成具有3D感知的圖像，該具有3D感知的圖像要通過其中遠 程前景和遠程背景層相對于彼此移動的運動視差的引入在本地顯示器上顯示給本地用戶。 通過跟蹤本地用戶的面部位置來控制相對運動。背景運動可相對于前景運動處于降低的速 率，從而能夠使用每個平臺上的單個攝像機來實現(xiàn)實時視頻流傳送中的3D感知。
[0007] 圖1示出與本公開一致的一個示范性實施例的頂級系統(tǒng)圖100。該系統(tǒng)可在本地 用戶120和遠程用戶122之間提供具有3D感知的流傳送視頻通信。本地視頻攝像機102 獲得一個或多個圖像幀，所述一個或多個圖像幀可包括在背景場景或環(huán)境118前面的本地 用戶120。本地視頻攝像機102可關(guān)聯(lián)于或集成到本地計算機系統(tǒng)或平臺，諸如，例如，膝 上型計算機或計算機監(jiān)視器、或者它可以是獨立的攝像機。在一些實施例中，本地視頻攝像 機102可獲得顏色視頻圖像和深度圖像這兩者，如下面將更詳細地解釋的。本地視頻幀可 被提供給本地3D感知處理模塊104,其可將圖像切分為本地前景和背景層，從而創(chuàng)建本地 前景掩模以及跟蹤本地用戶的面部的位置，如下面將更詳細地解釋的。本地前景掩模和本 地視頻顏色幀可隨后在網(wǎng)絡(luò)106上被傳送到與遠程用戶122的遠程計算機系統(tǒng)或平臺關(guān)聯(lián) 的遠程3D感知處理模塊110。遠程3D感知處理模塊110可為遠程用戶122提供本地3D感 知處理模塊為本地用戶122提供的相同或類似的功能性。
[0008] 本地3D感知處理模塊104可在網(wǎng)絡(luò)106上接收可連同本地用戶的面部的所跟蹤 位置使用的遠程前景掩模和遠程視頻顏色幀，以在本地顯示器108上呈現(xiàn)具有3D感知的遠 程用戶和遠程背景的圖像。3D感知可基于視差運動，該視差運動響應(yīng)于本地用戶的面部的 位置在所顯示的前景（例如，遠程用戶）和所顯示的遠程背景環(huán)境之間生成。例如，當本地 用戶的面部移向本地用戶的左方時，遠程用戶將在本地觀看顯示器上相對于遠程背景顯現(xiàn) 為右移。
[0009] 在下面的討論中，關(guān)注將集中在來自本地用戶視角的視頻通信上。但是，將領(lǐng)會 至IJ，這樣做是為了便于解釋，并且所公開的原理和所描述的示范性實施例可等同地服務(wù)于 相對于遠程用戶的通信。因此，可實現(xiàn)具有3D感知的雙向流傳送視頻通信。另外，在以下描 述中，本地和遠程系統(tǒng)可在功能性上被視為互相鏡像以作為優(yōu)先實施例。但是，將領(lǐng)會到， 在備選實施例中，可基于對于具體應(yīng)用或?qū)崿F(xiàn)的適合性和便利來在本地和遠程平臺之間重 新分布所描述的處理塊的任何一個或所有。
[0010] 在一些實施例中，例如可在本地和遠程顯示器的任一個或兩個上以并排布局來顯 示本地圖像和遠程圖像這兩者。在這樣的情況中，將領(lǐng)會到，可針對任何或所有這樣的圖像 來應(yīng)用本文公開的3D感知呈現(xiàn)技術(shù)。
[0011] 圖2示出與本公開一致的視頻通信系統(tǒng)的一個示范性實施例的框圖200。本地3D 感知處理模塊104被示出包括圖像切分模塊202、面部跟蹤模塊204、背景估計模塊208和 圖像呈現(xiàn)模塊206。圖像切分模塊202可將來自由本地攝像機102提供的本地視頻流的圖 像切分為本地前景層和本地背景層?？苫谇熬昂捅尘皩又g的所估計的邊界來生成本地 前景掩模，如下面將更詳細的描述的。網(wǎng)絡(luò)傳送模塊210可在網(wǎng)絡(luò)106上將本地前景掩模連 同本地視頻幀發(fā)送到遠程系統(tǒng)。在下面所述的一些實施例中，本地視頻幀可包括圖像深度 信息和顏色圖像信息這兩者，在該情況中，可不需要將圖像深度信息分量發(fā)送到遠程系統(tǒng)。
[0012] 面部跟蹤模塊204可跟蹤本地用戶的面部的位置。面部的位置可從本地視頻流的 圖像幀到圖像幀在時間上被跟蹤。面部跟蹤模塊能夠確定例如在圖像幀內(nèi)用戶何時從左移 到右,或者反之亦然。
[0013] 網(wǎng)絡(luò)接收模塊212在網(wǎng)絡(luò)106上從遠程系統(tǒng)接收遠程視頻顏色巾貞和遠程前景掩 模。遠程視頻顏色幀可包括例如遠程用戶的遠程背景和遠程前景兩者。背景估計模塊208 接受遠程視頻顏色幀和遠程前景掩模作為輸入，并且提取遠程背景層。背景估計模塊208 隨后生成遠程背景層的估計，所述遠程背景層的估計包括當前從遠程前景對象來看可能模 糊的遠程背景的區(qū)域，如下面將更詳細地討論的。
[0014] 所估計的遠程背景、遠程視頻顏色幀、遠程前景掩模和本地所跟蹤的面部位置都 被提供給圖像呈現(xiàn)模塊206。圖像呈現(xiàn)模塊206基于遠程前景掩模從遠程視頻顏色幀中提 取遠程前景圖像，并且將所提取的遠程前景在由本地跟蹤的面部位置確定的偏移位置上合 成到所估計的遠程背景上?？呻S著本地用戶移動從幀到幀而不同的偏移在所呈現(xiàn)的圖像中 生成基于視差的3D感知。對于背景圖像的偏移位移認可被計算為= +知*￡/，并且 對于前景圖像的偏移位移仿可被計算為Oj =-% =5Vi,其中，￡/表示包括與本地跟蹤的面部 位置關(guān)聯(lián)的方向和距離的運動向量。比例因子和％-般在〇到1的范圍中。K f因子前面 的負號指示前景偏移在本地用戶運動的相反方向中。
[0015] 圖3示出與本公開一致的圖像切分模塊202的示范性實施例的附加框圖細節(jié)300。 圖像切分模塊202被示出包括粗略切分模塊306和邊界精制模塊308。本地攝像機102被示 出包括深度成像攝像機302和顏色成像攝像機304。深度成像攝像機302可與顏色成像攝 像機304時間同步和空間對齊。粗略切分模塊306從深度成像攝像機302獲得深度圖像數(shù) 據(jù)，并且應(yīng)用去噪過濾310、閾值化312和連接分量分析（connected component analysis, CCA)314以生成粗略本地前景掩模。在一些實現(xiàn)中，去噪過濾器310可以是中值過濾器或 水平集（level-set)過濾器。閾值化模塊312可基于深度數(shù)據(jù)的閾值化將圖像切分為初始 前景和背景層?？苫谝曨l通信中的深度數(shù)據(jù)具有雙模概率分布的假設(shè)來采用適應(yīng)性閾值 化。例如，可使用其中k=2的k-均值聚類（clustering)從每個深度圖像的直方圖來選擇 最佳閾值。連接分量分析模塊314可過濾掉前景掩模中相對較小的區(qū)域以生成具有改進連 通性的前景掩模。
[0016] 由粗略切分模塊306生成的粗略本地前景掩模可在對象邊界包括不精確度。為此 原因，由顏色成像攝像機304提供的顏色圖像和粗略前景掩模被提供給邊界精制模塊308， 邊界精制模塊308執(zhí)行層綁定（banding)316、圖裁剪處理318、并且應(yīng)用平滑過濾器320以 生成精制的本地前景掩模。如圖4中所示，層綁定模塊316在粗略切分的前景層的輪廓402 上操作。沿著輪廓402的內(nèi)部的N個像素寬度的第一帶408被標識為"大致前景"。沿著輪 廓402的外部的同樣N個像素寬度的第二帶406被標識為"大致背景"。前景區(qū)內(nèi)部的所有 剩余像素410被標識為"前景"，并且前景區(qū)外部的所有剩余像素404被標識為"背景"。所 有像素及其帶標識以及來自顏色圖像的關(guān)聯(lián)顏色值被傳遞到圖裁剪模塊318以生成具有 增加精確度的前景邊界?？梢允歉咚惯^濾器的平滑過濾器模塊320平滑前景邊界以生成精 制的本地前景掩模。
[0017] 圖5示出與本公開一致的背景估計模塊208的示范性實施例的附加框圖細節(jié)500。 背景估計模塊208被示出包括背景初始化模塊502、全局背景圖像和像素歷史存儲器模塊 504和背景更新模塊506。背景估計模塊208為兩個目的來跟蹤遠程用戶的環(huán)境的全局背 景圖像。首先，所呈現(xiàn)的3D感知視圖通常會將遠程場景的視圖從不同于遠程物理攝像機實 際角度的角度呈現(xiàn)給本地用戶，并且因此需要綜合或估計來自遠程攝像機由前景中的遠程 用戶擋住的遠程背景的部分。但是，前景人物一般不是靜態(tài)的，并且不將持續(xù)擋住背景的相 同部分，因此跟蹤背景允許隨時間聚合未擋住的區(qū)域以創(chuàng)建全局背景圖像。第二個目的由 以下事實引起：遠程背景環(huán)境一般也不是靜態(tài)的。場景可改變，人們可經(jīng)過和/或照明環(huán)境 可變化。背景跟蹤允許對這些改變的適應(yīng)。
[0018] 背景初始化模塊502使用來自第一視頻幀的所提取的遠程背景層的像素來初始 化全局背景圖像。背景更新模塊506通過結(jié)合來自新接收的視頻幀的所提取的遠程背景層 的新背景像素以及為該目的在存儲器模塊504中維護更新的背景圖像和像素歷史來更新 全局背景圖像。
[0019] 在初始化期間，使用遠程用戶的第一視頻幀中的所有可見背景像素來初 始化全局背景圖像504中對應(yīng)的背景像素，即=全局背景圖像中的剩余 背景像素由遠程前景擋住，并且保持未初始化。
[0020] 在背景更新506期間，第i個視頻幀中的每個可見背景像素PiIfjt;_ Vj與其對應(yīng)的全 局背景圖像像素-起被檢查。如果先前已經(jīng)被擋住并且未被初始化， 則其被更新為= Pii+A-，"V.)。已經(jīng)被初始化,則其被更新為 Bi(XlV) =w{x,y)*Pi(XtY) +(I-w{x,y)} * 其中，Mifiyj由和的像素歷史之間的相似度的測量來確定。例如，每 個全局背景圖像像素的N個最新的顏色值可被記錄為像素的歷史^ 2,...， 并且14-可由P,.(x,_vj和三維紅-綠-藍（R，G，B)顏色空間中的刃的平 均值之間的歸一化距離來確定。例如， =I - IPi(XtV)-avg( Η^χ,γ))/(3*255)， 其中，IJ可以是任何距離度量，諸如例如LI或L2距離度量。
[0021] 如果ft.成Vj已經(jīng)被初始化，但是第i個視頻幀中其對應(yīng)的像素是前景像素，則 它可被更新為= /KxjJ。但是，由于背景照明改變和/或攝像機自動白平衡調(diào) 節(jié)，背景像素的強度可從一個幀到下一個幀顯著地改變。假設(shè)該強度改變能夠由線性函數(shù) 來模型化,刃可被更新為 Bi(XfV) = a + I? * Bi^1(XfY), 其中，a和b可通過求解以下線性方程來計算： /,= a + h * Ii-J, 其中，/,·和/w分別是當前和前一個遠程視頻幀的背景區(qū)域的平均強度。
[0022] 圖6示出與本公開一致的示范性實施例的操作的流程圖600。在操作610,將當前 本地視頻幀切分為本地前景層和本地背景層。在操作620,基于本地前景層和本地背景層之 間所估計的邊界來生成本地前景掩模。在操作630,將當前本地視頻幀和本地前景掩模傳送 到遠程視頻處理器，該遠程視頻處理器配置成基于當前本地視頻幀和本地前景掩模來呈現(xiàn) 3D感知圖像。在操作640,從遠程視頻處理器接收當前遠程視頻幀和遠程前景掩模。在操 作650,基于當前本地視頻幀以及一個或多個先前本地視頻幀來跟蹤本地用戶的面部的位 置。在操作660,基于當前遠程視頻幀和遠程前景掩模來估計遠程背景層。在操作670,基 于所估計的遠程背景層、遠程前景掩模、當前遠程視頻幀和本地用戶的面部的所跟蹤的位 置來呈現(xiàn)3D感知圖像。
[0023] 在一些實施例中，在本地和遠程平臺的任何一個或兩者，雙攝像機可以是可用的。 當雙攝像機可用時，附加深度信息可從這兩個攝像機之間的像素差異來獲得。該附加深度 信息可補充或替換從先前所述的深度成像攝像機所獲得的深度信息。
[0024] 本文所述的方法的實施例可在包括一個或多個存儲媒體的系統(tǒng)中實現(xiàn)，所述一個 或多個存儲媒體具有個別或組合地存儲于其上的指令，所述指令當由一個或多個處理器運 行時執(zhí)行所述方法。這里，處理器可包括，例如，系統(tǒng)CPU(例如，核處理器）和/或可編程 電路。因此，意圖的是，根據(jù)本文所述方法的操作可被分布在多個物理設(shè)備上，諸如若干不 同的物理位置處的處理結(jié)構(gòu)。同樣，意圖的是，可個別或子組合地執(zhí)行方法操作，如本領(lǐng)域 的技術(shù)人員將理解的。因此，并非每個流程圖的所有操作需要被執(zhí)行，并且本公開明確意圖 的是，能夠?qū)崿F(xiàn)這樣的操作的所有子組合，如本領(lǐng)域的普通技術(shù)人員將理解的。
[0025] 存儲媒體可包括任何類型的有形媒體，例如，包括軟盤、光盤、緊致盤只讀存儲器 (⑶-ROM)、緊致盤可重寫（⑶-RW)、數(shù)字通用盤（DVD)和磁-光盤的任何類型的盤，諸如只 讀存儲器（ROM)、諸如動態(tài)和靜態(tài)RAM的隨機存取存儲器（RAM)、可擦除可編程只讀存儲器 (EPROM)、電可擦除可編程只讀存儲器（EEPROM)、閃速存儲器、磁或光卡之類的半導(dǎo)體設(shè)備， 或者適合存儲電子指令的任何類型的媒體。
[0026] 如本文任何實施例中使用的"電路"可包括，例如，單個或任何組合的硬連線電路、 可編程電路、狀態(tài)機電路和/或存儲由可編程電路運行的指令的固件。應(yīng)用可作為可在諸 如主機處理器或其它可編程電路之類的可編程電路上運行的代碼或指令而被實施。如本文 任何實施例中使用的模塊可作為電路被實施。電路可作為諸如集成電路芯片之類的集成電 路被實施。
[0027] 因此，本公開通過基于標識、切分和跟蹤圖像的前景和背景層所生成的視差效應(yīng) 來提供用于具有三維感知圖像呈現(xiàn)的實時視頻通信的方法和系統(tǒng)。
[0028] 所述方法可包括將當前本地視頻幀切分為本地前景層和本地背景層。該示例的方 法還可包括基于本地前景層和本地背景層之間估計的邊界來生成本地前景掩模。該示例的 方法還可包括將當前本地視頻幀和本地前景掩模傳送到遠程視頻處理器，所述遠程視頻處 理器配置成基于當前本地視頻幀和本地前景掩模來呈現(xiàn)3D感知圖像。該示例的方法還可 包括從遠程視頻處理器接收當前遠程視頻幀和遠程前景掩模。該示例的方法還可包括跟蹤 本地用戶的面部的位置，所述跟蹤基于當前本地視頻幀以及一個或多個先前本地視頻幀。 該示例的方法還可包括基于當前遠程視頻幀和遠程前景掩模來估計遠程背景層。該示例的 方法還可包括基于所估計的遠程背景層、遠程前景掩模、當前遠程視頻幀和本地用戶的面 部的所跟蹤的位置來呈現(xiàn)3D感知圖像。
[0029] 另一個示例方法包括前述的操作，并且當前本地視頻幀包括本地顏色視頻圖像幀 和本地圖像深度數(shù)據(jù)幀，并且以及，傳送當前本地視頻幀包括傳送本地顏色視頻圖像幀。
[0030] 另一個示例方法包括前述的操作，并且生成本地前景掩模還包括基于本地圖像深 度數(shù)據(jù)幀來生成粗略前景掩模，并且還包括基于粗略前景掩模和本地顏色視頻圖像幀來生 成精制的前景掩模。
[0031] 另一個示例方法包括前述的操作，并且生成粗略前景掩模還包括去噪過濾、閾值 化和連接分量分析。
[0032] 另一個示例方法包括前述的操作，并且生成精制的前景掩模還包括層綁定、圖裁 剪處理和平滑過濾。
[0033] 另一個示例方法包括前述的操作，并且所述呈現(xiàn)還包括基于遠程前景掩模從當前 遠程視頻幀提取遠程前景層，并且合成所提取的遠程前景層和所估計的遠程背景層，并且 所提取的遠程前景層被定位在相對于所估計的遠程背景層的偏移，該相對的偏移基于本地 用戶的面部的所跟蹤的位置。
[0034] 另一個示例方法包括前述的操作，并且所估計的遠程背景層被定位在第一偏移， 認=,并且所提取的遠程前景層被定位在第二偏移，込=今并且J是包括與本 地用戶的面部位置的所跟蹤的位置關(guān)聯(lián)的方向和距離的運動向量,?是〇到1的范圍中的 比例因子，并且％是0到1的范圍中的比例因子。
[0035] 另一個示例方法包括前述的操作，并且％>知，并且選擇Jt jPb以在所呈現(xiàn)的3D 感知圖像中生成視差。
[0036] 根據(jù)另一個方面提供一種系統(tǒng)。該系統(tǒng)可包括圖像切分模塊，其配置成將當前本 地視頻幀切分為本地前景層和本地背景層，并且基于本地前景層和本地背景層之間估計的 邊界來生成本地前景掩模，并且當前本地視頻幀包括本地顏色視頻圖像幀和本地圖像深度 數(shù)據(jù)幀。該示例的系統(tǒng)還可包括面部跟蹤模塊，其配置成基于當前本地視頻幀以及一個或 多個先前本地視頻幀來跟蹤本地用戶的面部的位置。該示例的系統(tǒng)還可包括背景層估計模 塊，其配置成估計與從遠程視頻處理器接收的當前遠程視頻幀和遠程前景掩模關(guān)聯(lián)的遠程 背景層。該示例的系統(tǒng)還可包括圖像呈現(xiàn)模塊，其配置成基于所估計的遠程背景層、從遠程 視頻處理器接收的當前遠程視頻幀和遠程前景掩模、以及本地用戶的面部的所跟蹤的位置 來呈現(xiàn)3D感知圖像。
[0037] 另一個示例系統(tǒng)包括前述組件，并且圖像切分模塊還包括配置成基于本地圖像深 度數(shù)據(jù)幀來生成粗略前景掩模的粗略切分模塊，并且還包括配置成基于粗略前景掩模和本 地顏色視頻圖像幀來生成精制的前景掩模的邊界精制模塊。
[0038] 另一個示例系統(tǒng)包括前述組件，并且粗略切分模塊還包括去噪過濾模塊、耦合到 去噪過濾模塊的閾值化模塊以及耦合到閾值化模塊的連接分量分析模塊。
[0039] 另一個示例系統(tǒng)包括前述組件，并且邊界精制模塊還包括層綁定模塊、耦合到層 綁定模塊的圖裁剪處理模塊、以及耦合到圖裁剪處理模塊的平滑過濾。
[0040] 另一個示例系統(tǒng)包括前述組件，并且呈現(xiàn)模塊還配置成基于遠程前景掩模從當前 遠程視頻幀來提取遠程前景層，并且合成所提取的遠程前景層和所估計的遠程背景層，并 且所提取的遠程前景層被定位在相對于所估計的遠程背景層的偏移，該相對的偏移基于本 地用戶的面部的所跟蹤的位置。
[0041] 另一個示例系統(tǒng)包括前述組件，并且呈現(xiàn)模塊還配置成使所估計的遠程背景層定 位在第一偏移，認=M，并且使所提取的遠程前景層定位在第二偏移,= -λ'/ 并 且rf是包括與跟蹤的本地用戶的面部位置關(guān)聯(lián)的方向和距離的運動向量，是0到1的范 圍中的比例因子,并且％是0到1的范圍中的比例因子。
[0042] 另一個示例系統(tǒng)包括前述組件，并且Ay > Afe,并且選擇~和&以在所呈現(xiàn)的3D感 知圖像中生成視差。
[0043] 根據(jù)另一個方面，提供至少一個計算機可讀存儲媒體，其具有存儲于其上的指令， 所述指令當由處理器運行時，使所述處理器執(zhí)行如上面的示例中所描述的方法的步驟。 [0044] 本文已經(jīng)采用的術(shù)語和表達用作描述性的而非限制性的術(shù)語，并且并不意圖在這 樣的術(shù)語和表達的使用中排除所示和所描述的特征（或其部分）的任何等同，并且認識到， 各種修改在權(quán)利要求的范圍內(nèi)是可能的。因此，權(quán)利要求意圖涵蓋所有這樣的等同。本文 已經(jīng)描述了各種特征、方面和實施例。如本領(lǐng)域的技術(shù)人員將理解的，所述特征、方面和實 施例易于互相組合以及變形和修改。因此，本公開應(yīng)被認為包含這樣的組合、變形和修改。
【權(quán)利要求】
1. 一種用于生成三維（3D)感知的方法，所述方法包括： 將當前本地視頻幀切分為本地前景層和本地背景層； 基于所述本地前景層和所述本地背景層之間估計的邊界來生成本地前景掩模； 將所述當前本地視頻幀和所述本地前景掩模傳送到遠程視頻處理器，所述遠程視頻處 理器配置成基于所述當前本地視頻幀和所述本地前景掩模來呈現(xiàn)3D感知圖像； 從所述遠程視頻處理器接收當前遠程視頻幀和遠程前景掩模； 跟蹤本地用戶的面部的位置，所述跟蹤基于所述當前本地視頻幀以及一個或多個先前 本地視頻幀； 基于所述當前遠程視頻幀和所述遠程前景掩模來估計遠程背景層；以及 基于所述估計的遠程背景層、所述遠程前景掩模、所述當前遠程視頻幀和所述本地用 戶的面部的所述跟蹤的位置來呈現(xiàn)3D感知圖像。
2. 如權(quán)利要求1所述的方法，其中，所述當前本地視頻幀包括本地顏色視頻圖像幀和 本地圖像深度數(shù)據(jù)幀，并且其中，所述傳送所述當前本地視頻幀包括傳送所述本地顏色視 頻圖像幀。
3. 如權(quán)利要求2所述的方法，其中，所述生成所述本地前景掩模還包括基于所述本地 圖像深度數(shù)據(jù)幀來生成粗略前景掩模，并且還包括基于所述粗略前景掩模和所述本地顏色 視頻圖像幀來生成精制的前景掩模。
4. 如權(quán)利要求3所述的方法，其中，所述生成所述粗略前景掩模還包括去噪過濾、閾 值化和連接分量分析。
5. 如權(quán)利要求3所述的方法，其中，所述生成所述精制的前景掩模還包括層綁定、圖 裁剪處理和平滑過濾。
6. 如權(quán)利要求1、4或5所述的方法，其中，所述呈現(xiàn)還包括基于所述遠程前景掩模從 所述當前遠程視頻幀提取遠程前景層，并且合成所述提取的遠程前景層和所述估計的遠程 背景層，其中，所述提取的遠程前景層被定位在相對于所述估計的遠程背景層的偏移，所述 相對的偏移基于所述本地用戶的面部的所述跟蹤的位置。
7. 如權(quán)利要求6所述的方法，其中，所述估計的遠程背景層被定位在第一偏移， O/ = +1 ,并且所述提取的遠程前景層被定位在第二偏移，認=今％其中，ii是包括 與所述本地用戶的面部位置的所述跟蹤的位置關(guān)聯(lián)的方向和距離的運動向量，fc是O到1 的范圍中的比例因子，并且％是O到1的范圍中的比例因子。
8. 如權(quán)利要求7所述的方法，其中，％> ",并且選擇％和知以在所述呈現(xiàn)的3D感知 圖像中生成視差。
9. 一種用于生成三維（3D)感知的系統(tǒng)，所述系統(tǒng)包括： 圖像切分模塊，配置成將當前本地視頻幀切分為本地前景層和本地背景層，并且基于 所述本地前景層和所述本地背景層之間估計的邊界來生成本地前景掩模，其中，所述當前 本地視頻幀包括本地顏色視頻圖像幀和本地圖像深度數(shù)據(jù)幀； 面部跟蹤模塊，配置成基于所述當前本地視頻幀以及一個或多個先前本地視頻幀來跟 蹤本地用戶的面部的位置； 背景層估計模塊，配置成估計與從遠程視頻處理器接收的當前遠程視頻幀和遠程前景 掩模關(guān)聯(lián)的遠程背景層；以及 圖像呈現(xiàn)模塊，配置成基于所述估計的遠程背景層、從所述遠程視頻處理器接收的所 述當前遠程視頻幀和所述遠程前景掩模、以及所述本地用戶的面部的所述跟蹤的位置來呈 現(xiàn)3D感知圖像。
10. 如權(quán)利要求9所述的系統(tǒng)，其中，所述圖像切分模塊還包括配置成基于所述本地 圖像深度數(shù)據(jù)幀來生成粗略前景掩模的粗略切分模塊，并且還包括配置成基于所述粗略前 景掩模和所述本地顏色視頻圖像幀來生成精制的前景掩模的邊界精制模塊。
11. 如權(quán)利要求10所述的系統(tǒng)，其中，所述粗略切分模塊還包括去噪過濾模塊、耦合 到所述去噪過濾模塊的閾值化模塊以及耦合到所述閾值化模塊的連接分量分析模塊。
12. 如權(quán)利要求10所述的系統(tǒng)，其中，所述邊界精制模塊還包括層綁定模塊、耦合到 所述層綁定模塊的圖裁剪處理模塊、以及耦合到所述圖裁剪處理模塊的平滑過濾。
13. 如權(quán)利要求9、11或12所述的系統(tǒng)，其中，所述呈現(xiàn)模塊還配置成基于所述遠程前 景掩模從所述當前遠程視頻幀來提取遠程前景層，并且合成所述提取的遠程前景層和所述 估計的遠程背景層，其中，所述提取的遠程前景層被定位在相對于所述估計的遠程背景層 的偏移，所述相對的偏移基于所述本地用戶的面部的所述跟蹤的位置。
14. 如權(quán)利要求13所述的系統(tǒng)，其中，所述呈現(xiàn)模塊還配置成使所述估計的遠程 背景層定位在第一偏移，〇/= +b ，并且使所述提取的遠程前景層定位在第二偏移， O2 = -# M,其中，是包括與所述跟蹤本地用戶的面部位置關(guān)聯(lián)的方向和距離的運動向 量是〇到1的范圍中的比例因子，并且#是〇到1的范圍中的比例因子。
15. 如權(quán)利要求14所述的系統(tǒng)，其中，4,并且選擇A/和知以在所述呈現(xiàn)的3D感 知圖像中生成視差。
16. -種計算機可讀存儲媒體，具有存儲于其上的指令，所述指令當由處理器運行時 導(dǎo)致用于生成三維（3D)感知的以下操作，所述操作包括： 將當前本地視頻幀切分為本地前景層和本地背景層； 基于所述本地前景層和所述本地背景層之間估計的邊界來生成本地前景掩模； 將所述當前本地視頻幀和所述本地前景掩模傳送到遠程視頻處理器，所述遠程視頻處 理器配置成基于所述當前本地視頻幀和所述本地前景掩模來呈現(xiàn)3D感知圖像； 從所述遠程視頻處理器接收當前遠程視頻幀和遠程前景掩模； 跟蹤本地用戶的面部的位置，所述跟蹤基于所述當前本地視頻幀以及一個或多個先前 本地視頻幀； 基于所述當前遠程視頻幀和所述遠程前景掩模來估計遠程背景層；以及 基于所述估計的遠程背景層、所述遠程前景掩模、所述當前遠程視頻幀和所述本地用 戶的面部的所述跟蹤的位置來呈現(xiàn)3D感知圖像。
17. 如權(quán)利要求16所述的計算機可讀存儲媒體，其中，所述當前本地視頻幀包括本地 顏色視頻圖像幀和本地圖像深度數(shù)據(jù)幀，并且其中，所述傳送所述當前本地視頻幀包括傳 送所述本地顏色視頻圖像幀。
18. 如權(quán)利要求17所述的計算機可讀存儲媒體，其中，所述生成所述本地前景掩模還 包括基于所述本地圖像深度數(shù)據(jù)幀來生成粗略前景掩模的操作，并且還包括基于所述粗略 前景掩模和所述本地顏色視頻圖像幀來生成精制的前景掩模。
19. 如權(quán)利要求18所述的計算機可讀存儲媒體，其中，所述生成所述粗略前景掩模還 包括去噪過濾、閾值化和連接分量分析的操作。
20. 如權(quán)利要求18所述的計算機可讀存儲媒體，其中，所述生成所述精制的前景掩模 還包括層綁定、圖裁剪處理和平滑過濾的操作。
21. 如權(quán)利要求16、19或20所述的計算機可讀存儲媒體，其中，所述呈現(xiàn)還包括基于 所述遠程前景掩模從所述當前遠程視頻幀提取遠程前景層、以及合成所述提取的遠程前景 層和所述估計的遠程背景層的操作，其中，所述提取的遠程前景層被定位在相對于所述估 計的遠程背景層的偏移，所述相對的偏移基于所述本地用戶的面部的所述跟蹤的位置。
22. 如權(quán)利要求21所述的計算機可讀存儲媒體，其中，所述估計的遠程背景層被定 位在第一偏移，= ，并且所述提取的遠程前景層被定位在第二偏移，（A = -Ai 其中，是包括與所述本地用戶的面部位置的所述跟蹤的位置關(guān)聯(lián)的方向和距離的運動向 量'是〇到1的范圍中的比例因子，并且Αγ是0到1的范圍中的比例因子。
23. 如權(quán)利要求22所述的計算機可讀存儲媒體，其中，％ > Afr,并且選擇A/和知以在所 述呈現(xiàn)的3D感知圖像中生成視差。
【文檔編號】H04N13/04GK104380704SQ201380033428
【公開日】2015年2月25日 申請日期:2013年7月24日 優(yōu)先權(quán)日:2012年7月30日
【發(fā)明者】Y.吳, W.孫, M.M.楚, E.德雷沙, P.穆斯, L.B.艾恩斯沃思, G.舍馬克, I.V.科津特塞夫 申請人:英特爾公司