專利名稱：一種處理信號的方法及系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻處理。更具體地，本發(fā)明涉及從單像(monoscopic) 2D視頻和相應深度信息創(chuàng)建3D視頻的方法及系統(tǒng)。
背景技術：
數(shù)字視頻功能可納入很多設備中，例如，數(shù)字電視、數(shù)字直播系統(tǒng)、數(shù)字錄音設備及類似設備。較之于常規(guī)的模擬視頻系統(tǒng)，在處理和傳輸視頻序列方面數(shù)字視頻設備可提供帶寬效率増加的顯著改迸。可以ニ維(2D)格式或三維(3D)格式記錄視頻內容。在各種應用中，例如,DVD電影和數(shù)字電視，由于其對觀眾而言比2D副本更真實，3D視頻通常是有吸引力的。3D視頻包括左視圖視頻和右視圖視頻。3D視頻巾貞可由分別組合左視圖視頻分量和右視圖視頻分量的方式產生。比較本發(fā)明后續(xù)將要結合附圖介紹的系統(tǒng)，現(xiàn)有技術的其它局限性和弊端對于本領域的技術人員來說是顯而易見的。

發(fā)明內容
本發(fā)明提供一種從單像2D視頻和相應深度信息創(chuàng)建3D視頻的系統(tǒng)和/或方法，并結合至少一幅附圖進行展示和/或描述，且在權利要求中更加完整地闡明。根據(jù)本發(fā)明的ー個方面，提供一種處理信號的方法，所述方法包括通過單像視頻傳感設備的一個或多個圖像傳感器捕獲ニ維視頻；通過所述單像視頻傳感設備的深度傳感器捕獲所述捕獲的ニ維視頻的相應深度信息；基于所述捕獲的相應深度信息選擇所述捕獲的ニ維視頻的一個或多個感興趣區(qū)域(regions of interest)；基于所述選擇的一個或多個感興趣區(qū)域選擇性地處理所述捕獲的ニ維視頻和所述捕獲的相應深度信息；及從所述處理的ニ維視頻和所述處理的相應深度信息合成(compose)三維視頻。優(yōu)選地，所述方法還包括使所述捕獲的相應深度信息與所述捕獲的ニ維視頻同
止/J/ O優(yōu)選地，所述方法還包括將所述同步的深度信息存儲為所述捕獲的ニ維視頻的元數(shù)據(jù)。優(yōu)選地，所述方法還包括使所述存儲的深度信息的分辨率與所述捕獲的ニ維視頻的視頻分辨率相匹配。優(yōu)選地，所述方法還包括在各像素間和/或各視頻幀間插補所述存儲的深度信息以匹配所述捕獲的ニ維視頻的所述視頻分辨率。優(yōu)選地，所述方法還包括分別將所述捕獲的ニ維視頻和所述存儲的深度信息可伸、縮視頻編碼為基礎層視頻和增強層視頻 。優(yōu)選地，所述方法還包括在所述可伸縮視頻編碼期間，基于所述選擇的一個或多個感興趣區(qū)域選擇性地壓縮所述捕獲的ニ維視頻和所述存儲的深度信息。優(yōu)選地，所述方法還包括，解壓縮所述壓縮的ニ維視頻和所述壓縮的深度信息 '及基于所述選擇的一個或多個感興趣區(qū)域，確定所述解壓縮的ニ維視頻的視頻分量的相關性。優(yōu)選地，所述方法還包括基于所述確定的相關性，從所述解壓縮的ニ維視頻和所述解壓縮的深度信息合成所述三維視頻。優(yōu)選地，所述方法還包括渲染所述合成的三維視頻。根據(jù)本發(fā)明的ー個方面，提供一種處理信號的系統(tǒng)，所述系統(tǒng)包括應用于單像視頻傳感設備的一個或多個處理器和/或電路，所述ー個或多個處理器和/或電路包括一個或多個圖像傳感器和深度傳感器，其中所述ー個或多個處理器和/或電路用于通過所述一個或多個圖像傳感器捕獲ニ維視頻；通過所述深度傳感器捕獲所述捕獲的ニ維視頻的相應深度信息；基于所述捕獲的相應深度信息選擇所述捕獲的ニ維視頻的一個或多個感興趣區(qū)域；基于所述選擇的一個或多個感興趣區(qū)域選擇性地處理所述捕獲的ニ維視頻和所述捕獲的相應深度信息；及從所述處理的ニ維視頻和所述處理的相應深度信息合成三維視頻。優(yōu)選地，所述ー個或多個電路用于使所述捕獲的相應深度信息與所述捕獲的ニ維視頻同步。優(yōu)選地，所述ー個或多個電路用于將所述同步的深度信息存儲為所述捕獲的ニ維視頻的元數(shù)據(jù)。優(yōu)選地，所述ー個或多個電路用于使所述存儲的深度信息的分辨率與所述捕獲的ニ維視頻的視頻分辨率相匹配。優(yōu)選地，所述ー個或多個電路用于在各像素間和/或各視頻幀間插補所述存儲的深度信息以匹配所述捕獲的ニ維視頻的所述視頻分辨率。優(yōu)選地，所述ー個或多個電路用于分別使所述捕獲的ニ維視頻和所述存儲的深度信息可伸縮視頻編碼為基礎層視頻和增強層視頻。優(yōu)選地，所述ー個或多個電路用于在所述可伸縮視頻編碼期間，基于所述選擇的一個或多個感興趣區(qū)域選擇性地壓縮所述捕獲的ニ維視頻和所述存儲的深度信息。優(yōu)選地，所述ー個或多個電路用于解壓縮所述壓縮的ニ維視頻和所述壓縮的深度信息；及基于所述選擇的一個或多個感興趣區(qū)域，確定所述解壓縮的ニ維視頻的視頻分量的相關性。優(yōu)選地，所述ー個或多個電路用于基于所述確定的相關性，從所述解壓縮的ニ維視頻和所述解壓縮的深度信息合成所述三維視頻。優(yōu)選地，所述ー個或多個電路用于渲染所述合成的三維視頻。本發(fā)明的這些及其它的ー些優(yōu)點、方面和新穎性連同實施例的具體實施方式
，將會在下面的描述和圖解中更全面的闡明。


圖I是依照本發(fā)明實施例的、用于從單像ニ維(2D)視頻和相應深度信息創(chuàng)建三維(3D)視頻的示例性視頻通信系統(tǒng)的示意圖；圖2是依照本發(fā)明實施例的、對單像2D視頻和相應深度信息進行處理以產生3D視頻的不意圖； 圖3是依照本發(fā)明實施例的、單像2D視頻和相應深度信息的可伸縮視頻編碼的框圖；圖4是依照本發(fā)明實施例的、可由單像攝像機實施的選擇性壓縮2D視頻和相應深度信息的示例性步驟的流程圖；圖5是依照本發(fā)明實施例的、可由單像攝像機實施的從2D視頻和相應深度信息合成用于3D視頻渲染的3D視頻的示例性步驟的流程圖。
具體實施例方式本發(fā)明的特定實施例涉及從單像2D視頻和相應深度信息創(chuàng)建3D視頻的方法及系統(tǒng)。在本發(fā)明的各個實施例中，單像傳感設備的ー個或多個圖像傳感器，例如單像攝像機(monoscopic video camera),可捕獲ニ維(2D)視頻。單像攝像機的深度傳感器可為捕獲的2D視頻捕獲相應深度信息?；诓东@的相應深度信息，單像攝像機可用于選擇捕獲的2D視頻的一個或多個感興趣區(qū)域(ROI)。基于選擇的ROI可選擇性地處理捕獲的2D視頻和捕獲的相應深度信息。例如，相比于較小興趣的那些區(qū)域，單像攝像機可為選擇的ROI指定或分配更多比特和/或內存。單像攝像機可從捕獲的2D視頻合成用于顯示的3D視頻。捕獲的相應深度信息可與捕獲的2D視頻同歩。同步的深度信息可作為捕獲的2D視頻的元數(shù)據(jù)存儲。單像攝像機可在各像素間和/或各幀間插補存儲的深度信息以匹配捕獲的2D視頻的視頻分辨率。通過基于選擇的ROI選擇性實施的可伸縮編碼可增強捕獲的2D視頻和捕獲的相應深度信息。隨著3D視頻的渲染，可基于選擇的ROI選擇捕獲的2D視頻中的相關圖像/視頻分量。單像攝像機可利用選擇的圖像/視頻分量和相應深度信息合成用于3D視頻渲染和/或回放的3D視頻。圖I是依照本發(fā)明實施例的、用于從單像ニ維(2D)視頻和相應深度信息創(chuàng)建三維(3D)視頻的示例性視頻通信系統(tǒng)的示意圖。參照圖I,顯示視頻通信系統(tǒng)100。視頻通信系統(tǒng)100包括單像攝像機110和3D視頻渲染設備140。單像攝像機110可包括處理器112、深度傳感器114、一個或多個圖像傳感器116、控制單元118、鏡頭(lens) 120、光學系統(tǒng)122、視頻編碼/解碼器124、發(fā)射器126、光學取景器128、顯示器130、存儲器132、數(shù)字信號處理器(DSP) 134、輸入/輸出模塊136、音頻編碼/解碼器137、揚聲器138、和/或麥克風139。處理器112可包括適當?shù)倪壿嫛㈦娐?、接ロ、?或代碼，其用于管理和/或處理各種設備組件的操作，例如，深度傳感器114、圖像傳感器116、和/或控制單元118的操作。處理器112可用于利用圖像傳感器116通過與鏡頭120對應的單視點捕獲2D視頻。處理器112可利用一個或多個圖像傳感器116收集亮度和/或色度信息。處理器112還可利用深度傳感器114為捕獲的2D視頻捕獲深度信息。處理器112可對捕獲的2D視頻執(zhí)行各種視頻處理，例如通過視頻編碼/解碼器124的視頻壓縮/解壓縮。由此產生的處理視頻可通過光學取景器128和/或顯示器130呈現(xiàn)或顯示給用戶。深度傳感器114可包括適當?shù)倪壿?、電路、接ロ、?或代碼，其用于檢測紅外光譜中的電磁(EM)波。深 度傳感器114可基于相應的紅外EM波確定或檢測目標的深度信息。例如，基于發(fā)射器126發(fā)射的和從目標反射回深度傳感器114的紅外EM波的渡越時間，深度傳感器114可確定或捕獲目標的深度信息。圖像傳感器116可各自包括適當?shù)倪壿嫛㈦娐?、接ロ、?或代碼，其用于檢測鏡頭120聚焦的光信號。圖像傳感器116可將光信號轉換為電信號以捕獲亮度和/或色度信息。例如，每個圖像傳感器116可包括電荷耦合器件(CCD)圖像傳感器或互補金屬氧化物半導體(CMOS)圖像傳感器。控制單元118可包括可使能用戶與單像攝像機110進行交互的適當?shù)倪壿?、電路、接ロ、?或代碼。例如，控制單元可管理或控制錄像和/或回放。鏡頭120是可用于捕獲或檢測EM波的光學組件。捕獲的EM波可通過圖像傳感器116上的光學系統(tǒng)122得到充分聚焦，從而形成或產生鏡頭120前場景的2D圖像。光學系統(tǒng)122可包括用于調節(jié)和對準通過鏡頭120接收的EM波的光學器件。光學系統(tǒng)122可分別把可見光譜中的EM波對準圖像傳感器、和把紅外光譜中的EM波對準深度傳感器114。例如，光學系統(tǒng)122包括一個或多個透鏡、棱鏡、亮度和/或顏色過濾器、和/或反射鏡。視頻編碼/解碼器124可包括適當?shù)倪壿?、電路、接ロ、?或代碼，其可用于實現(xiàn)視頻壓縮和/或解壓縮。視頻編碼/解碼器124可使用各種視頻壓縮和/或解壓縮算法進行視頻編碼，所述算法例如MPEG-2和/或其它視頻格式中指定的視頻編碼算法。發(fā)射器126可包括適當?shù)倪壿?、電路、接ロ、?或代碼，例如，其可用于產生和/或發(fā)射紅外光譜中的電磁波。光學取景器128可包括適當?shù)倪壿?、電路、接ロ、?或代碼，其可用于呈現(xiàn)和/或顯示鏡頭120向用戶投射的內容。換而言之，光學取景器128可使能用戶看到鏡頭120“看到”的東西，即“幀內”(in frame)的東西。顯示器130可包括適當?shù)倪壿嫛㈦娐?、接ロ、?或代碼，其可用于為用戶顯示圖像/視頻。顯示器130可包括液晶顯示器(LCD)、發(fā)光二極管(LED)顯示器和/或其它可將通過單像攝像機110捕獲的圖像/視頻顯示給用戶的顯示技木。存儲器132可包括適當?shù)倪壿嫛㈦娐?、接ロ、?或代碼，其可用于存儲信息，例如，可由單像攝像機110利用的可執(zhí)行指令和數(shù)據(jù)。所述可執(zhí)行指令可包括各種視頻壓縮/解壓縮算法，所述算法可用于通過視頻編碼/解碼器124進行視頻編碼。所述數(shù)據(jù)可包括捕獲的圖像/視頻和/或編碼的視頻。存儲器132可包括RAM、ROM、低延遲非易失性存儲器(例如閃存)和/或其它適當?shù)碾娮訑?shù)據(jù)存儲器。數(shù)字信號處理器(DSP) 134可包括適當?shù)倪壿?、電路、接ロ、?或代碼，其可用于實現(xiàn)捕獲的圖像數(shù)據(jù)、捕獲的深度信息、和/或捕獲的音頻數(shù)據(jù)的信號處理。輸入/輸出(I/O)模塊136可包括適當?shù)倪壿?、電路、接ロ、?或代碼，其可使能單像攝像機110依照一個或多個標準(例如USB、PCI-X、IEEE1394、HDMI、顯示端ロ、和/或模擬音頻和/或模擬視頻標準)接口連接其它設備。例如，I/o模塊136可用于從控制單元118發(fā)送和接收信號、輸出視頻到顯示器130、從音頻編碼/解碼器137向揚聲器138輸出音頻、處理來自麥克風139的音頻輸入、從盒式磁帶或閃存卡或其它與單像攝像機110連接的外部存儲器讀取和寫入其中、和/或通過一個或多個用于傳輸和/或渲染的端口(例如IEEE1394端口、HDMI和/或USB端口 )向外部輸出音頻和/或視頻。音頻編碼/解碼器137可包括適當?shù)倪壿?、電路、接口、?或代碼，其可用于實現(xiàn)音頻編碼。音頻編碼/解碼器137可用于使用各種音頻壓縮和/或解壓縮算法進行音頻編碼，所述算法包括例如MPEG-2和/或其它音頻格式中指定的音頻壓縮/解壓縮算法。 3D視頻渲染設備140可包括適當?shù)倪壿?、電路、接口、?或代碼，其可用于渲染由單像攝像機110捕獲的圖像/視頻。3D視頻渲染設備140可外部或內部連接單像攝像機110。3D視頻渲染設備140可能適合于渲染來自單像攝像機110的3D視頻輸出。盡管圖I中示出的單像攝像機110支持從單像2D視頻和相應深度信息創(chuàng)建3D視頻，但本發(fā)明并不受限于此。在這一點上，在沒有背離本發(fā)明的各種實施例的精神和范圍的情況下，包括一個或多個圖像傳感器和一個或多個深度傳感器的單像視頻傳感設備可用于從單像2D視頻和相應深度信息創(chuàng)建3D視頻。圖像傳感器可包括一個或多個光發(fā)射器和/或一個或多個光接收器。在一示例性操作中，單像攝像機110可用于通過鏡頭120的單視點捕獲2D視頻?？赏ㄟ^深度傳感器114捕獲和/或收集與捕獲的2D視頻對應的深度信息。在本發(fā)明的一示例性實施例中，檢索的深度信息可與捕獲的2D視頻的亮度和/或顏色信息同步或相關、以形成或產生深度圖像。深度圖像可存儲在存儲器132中以作為捕獲的2D視頻的元數(shù)據(jù)。存儲的深度圖像可提供可由單像攝像機110將其用于視頻渲染和/或回放的附加層信息。在本發(fā)明的一示例性實施例中，可修改或調整捕獲的2D視頻的深度圖像的分辨率，以匹配捕獲的2D視頻的相應圖像的分辨率。在這一點上，單像攝像機110可對深度圖像執(zhí)行圖像插補、以提供亮度和/或顏色信息的每個像素或像素組的深度信息。例如，當深度傳感器114的分辨率小于圖像傳感器116的分辨率時，單像攝像機110可用于在捕獲的2D視頻的各像素間插補深度信息,從而產生或提供亮度和/或顏色信息的每個像素或像素組的深度信息。當深度傳感器114的幀頻小于圖像傳感器116的幀頻時，單像攝像機110可用于在捕獲的2D視頻的各幀間插補深度信息，從而產生或提供亮度和/或顏色信息的每個幀的深度信息。在本發(fā)明的一示例性實施例中，單像攝像機110可在2D或3D模式下進行操作。在2D模式下，單像攝像機110可通過光學取景器128和/或顯示器130向用戶呈現(xiàn)或顯示捕獲的2D視頻。在3D模式下，單像攝像機110可從捕獲的2D視頻和相應深度圖像形成或合成用于顯示的3D視頻。在這一點上，合成的3D視頻可能是適合光學取景器128和/或顯示器130的格式。在本發(fā)明的一示例性實施例中，捕獲的2D視頻和相應深度信息可分別用作基礎層視頻和增強層視頻。在這一點上，可基于增強層視頻中的相應深度信息識別或選擇捕獲的2D視頻(基礎層視頻)的感興趣區(qū)域(ROI)?？赏ㄟ^可伸縮視頻編碼(SVC)來增強選擇的以深度為基礎的ROI的圖像/視頻分量和相應深度信息?；谶x擇的以深度為基礎的ROI，單像攝像機110可用于選擇性壓縮捕獲的2D視頻的圖像/視頻分量和相應深度信息。例如，較之于較小興趣的那些區(qū)域，可為選擇的以深度為基礎的ROI指定或分配更多比特和/或內存資源。單像攝像機110可能為較小興趣區(qū)域逐漸分配或指定較少比特和/或內存。在本發(fā)明的一示例性實施例中，基于選擇的以深度為基礎的ROI，單像攝像機110可用于從捕獲的2D視頻和相應深度信息合成3D視頻。例如，選擇的以深度為基礎的ROI可分別提供關于圖片前后深度信息的范圍的信息。在這一點上，深度信息的范圍可表明捕獲的2D視頻中的圖像/視頻分量與3D視頻如何相關聯(lián)。換而言之，選擇的以深度為基礎的ROI的深度信息可用于向3D視頻的各個區(qū)域映射捕獲的2D視頻的圖像/視頻分量、或者使捕獲的2D視頻的圖像/視頻分量與3D視頻的各個區(qū)域相關聯(lián)?？蓪Σ东@的2D視頻的相關圖像/視頻分量連同相應深度信息進行組合，從而形成或合成用于顯示的3D視頻。圖2是依照本發(fā)明實施例的對單像2D視頻和相應深度信息進行處理以生成3D視 頻的示意圖。參照圖2，顯示2D圖像210、深度圖像220和3D圖像230。2D圖像210可包括亮度和/或顏色信息。深度圖像220可包括與2D圖像210的亮度和/或顏色信息對應的深度信息。深度圖像220中，較深區(qū)域表示目標遠離用戶，而較淺區(qū)域表明目標更接近用戶。在本發(fā)明的各個實施例中，深度圖像220中的深度信息與2D圖像210中的亮度和/或顏色信息相關或同步。深度圖像220可作為2D圖像210的元數(shù)據(jù)存儲。在需要時，可調整或修改深度圖像220的分辨率以匹配2D圖像210的分辨率?？苫谏疃葓D像220中的深度信息選擇ROI 201。由此產生的以深度為基礎的ROI 210可用于選擇性處理2D圖像210和深度圖像220。例如，對于2D圖像210和深度圖像220，更多比特可分配至或用于增強以深度為基礎的ROI 201中的信息。3D圖像230可從2D圖像210和深度圖像220形成或合成。以深度為基礎的ROI 201可表明關于深度信息范圍的信息，所述深度信息范圍用來合成和/或渲染3D圖像230。圖3是依照本發(fā)明實施例的、單像2D視頻和相應深度信息的可伸縮視頻編碼的框圖。參照圖3，顯示視頻壓縮單元300，所述視頻壓縮單元包括ROI檢測器320、基礎層視頻編碼器330a和增強層視頻編碼器330b。視頻壓縮單元300可包括適當?shù)倪壿嫛㈦娐?、接口、?或代碼，其可用于同時編碼捕獲的2D和捕獲的相應深度信息。視頻壓縮單元300可分別將捕獲的2D視頻編碼為基礎層視頻310a、和將捕獲的相應深度信息編碼為增強視頻310b。ROI檢測器320可包括適當?shù)倪壿?、電路、接口、?或代碼，其可用于基于增強層視頻310b的深度信息檢測或選擇一個或多個R0I。有關選擇的ROI的信息可分別傳送到基礎層視頻編碼器330a和增強層視頻編碼器330b?；A層視頻編碼器330a可包括適當?shù)倪壿?、電路、接口、?或代碼，其可用于對捕獲的2D視頻進行逐幀編碼。基礎層視頻編碼器330a可基于選擇的ROI選擇性地壓縮捕獲的2D視頻。在這一點上，基礎層視頻編碼器330a可指定或分配更多的處理資源(例如比特和/或內存)、以壓縮選擇的以深度為基礎的ROI中的信息。根據(jù)應用，基礎層視頻編碼器330a可為較小興趣的區(qū)域逐漸分配較少比特和/或內存?；A層視頻編碼器330a可用于使用各種視頻壓縮算法(例如MPEG-2、MPEG-4、AVC, VC1、VP6、和/或其它視頻格式中指定的壓縮算法)形成捕獲的2D視頻的壓縮或編碼視頻內容?；疽晥D(base view)編碼的信息(例如場景信息)可傳送到增強層視頻編碼器330b以用于增強層視頻編碼。當需要時，基礎層視頻編碼器330a可輸出或提供用于傳輸?shù)幕A層比特流。增強層視頻編碼器330b可包括適當?shù)倪壿?、電路、接口、?或代碼，其可用于對捕獲的2D視頻的捕獲的相應深度信息進行逐幀編碼。增強層視頻編碼器330b可基于選擇的ROI選擇性地壓縮捕獲的相應深度信息。在這一點上，增強層視頻編碼器330b可分配較多比特和/或內存、以壓縮選擇的以深度為基礎的ROI中的深度信息。根據(jù)應用，增強層視頻編碼器330b可為較小興趣區(qū)域逐漸分配較少比特和/或內存。增強層視頻編碼器330b可用于使用各種視頻壓縮算法(例如MPEG-2、MPEG-4、AVC、VC1、VP6、和/或其它視頻格式中指定的壓縮算法)形成捕獲的2D視頻的深度信息的壓縮或編碼視頻內容。當需要時，增強層視頻編碼器330b可輸出或提供用于傳輸?shù)脑鰪妼颖忍亓鳌１M管在圖3中描述單個基礎層視頻編碼器330a和單個增強層視頻編碼器330b分別用于處理捕獲的2D視頻和捕獲的2D視頻的捕獲的相應深度信息，但本發(fā)明并不受限于此。因此，在沒有背離本發(fā)明的各個實施例的精神和范圍的情況下，除了基礎層視頻編碼器330a以外，任何數(shù)量的增強視圖視頻編碼器可用于處理捕獲的2D視頻。在一示例性操作中，單像攝像機110可用于捕獲2D視頻和相應深度信息。捕獲的2D視頻和捕獲的相應深度信息可作為基礎層視頻310a和增強層視頻310b分別同時進行處理。基于捕獲的相應深度信息可選擇捕獲的2D視頻的一個或多個R0I?；谶x擇的R0I，基礎層視頻編碼器330a和增強層視頻編碼器330b可分別選擇性對捕獲的2D視頻和捕獲的相應深度信息執(zhí)行視頻壓縮。在這一點上，可為處理選擇的ROI內的信息分配和/或指定更多處理資源(例如比特、功率和/或內存)。基礎層視頻編碼器330a和增強層視頻編碼器330b可為編碼較小興趣區(qū)域內的信息逐漸分配較少的處理資源?？珊喜⒂纱水a生的基礎層比特流和增強層比特流，當需要時將其用于傳輸。圖4是依照本發(fā)明實施例的、可由單像攝像機實施的選擇性壓縮2D視頻和相應深度信息的示例性步驟的流程圖。參照圖4，示例性步驟可開始于步驟402，該步驟中，單像攝像機110通電并啟用3D模式。在步驟404，單像攝像機110可利用圖像傳感器116捕獲2D視頻和利用深度傳感器114為捕獲的2D視頻捕獲相應深度信息。在步驟405，單像攝像機110可用于使捕獲的深度信息的分辨率與捕獲的2D視頻的視頻分辨率相匹配。例如，單像攝像機110可在各像素間和/或各幀間插補捕獲的深度信息，從而提供捕獲的2D視頻中的每個像素或像素組的深度信息。在步驟406，基于相應深度信息，單像攝像機110可用于選擇捕獲的2D視頻的每個圖像中的一個或多個ROI。在步驟408，基于選擇的ROI，單像攝像機110可用于對捕獲的2D視頻和捕獲的相應深度信息進行選擇性逐幀壓縮。在這一點上，單像攝像機110可基于選擇的ROI分配處理資源(例如比特、功率和/或內存)，從而壓縮每個圖像或幀中的信息。相比于較小興趣的那些區(qū)域，更多比特、功率和/或內存分配到選擇的R0I。此外，可逐漸減少分配到較小興趣區(qū)域的處理資源以節(jié)能。在步驟409，壓縮的 2D視頻和壓縮的相應深度信息可存儲到存儲器132，當需要時將其用于傳輸。圖5是依照本發(fā)明實施例的、可由單像攝像機實施的從2D視頻和相應深度信息合成用于3D視頻渲染的3D視頻的示例性步驟的流程圖。參照圖5，示例性步驟可開始于步驟502，該步驟中，單像攝像機110通電并啟用3D模式。在步驟504，單像攝像機110的處理器112可接收壓縮的2D視頻、壓縮的相應深度信息和/或ROI。
在步驟506，單像攝像機110可用于通過視頻編碼/解碼器124、基于ROI對壓縮的2D視頻和壓縮的相應深度信息進行逐幀解壓縮。在步驟508，單像攝像機110可基于ROI識別或確定解壓縮的2D視頻中的圖像/視頻分量的相關性。例如，ROI中的深度信息可表明用于3D視頻渲染的、選擇的解壓縮2D視頻的圖像/視頻分量。在步驟510，選擇的圖像/視頻分量連同相應深度信息可用于合成顯示用的3D視頻。在步驟512，單像攝像機110可向3D視頻渲染設備140傳送合成的3D視頻以進行3D視頻渲染。本發(fā)明提供了從單像2D視頻和相應深度信息創(chuàng)建3D視頻的方法及系統(tǒng)的各個方面。在本發(fā)明的各個示例性實施例中，單像視頻傳感設備，例如單像攝像機110，用于利用圖像傳感器116捕獲2D視頻。單像攝像機110可利用深度傳感器114為捕獲的2D視頻捕獲相應深度信息?；诓东@的相應深度信息可選擇或識別捕獲的2D視頻的一個或多個R0I。單像攝像機110可基于選擇的ROI選擇性處理捕獲的2D視頻和捕獲的相應深度信息。例如，可為處理選擇的ROI內的信息分配更多比特或內存。根據(jù)應用，單像攝像機110可用于從捕獲的2D視頻和捕獲的相應深度信息合成或創(chuàng)建顯示用的3D視頻。在這一點上，單像攝像機110可使捕獲的相應深度信息與捕獲的2D視頻同步。同步的相應深度信息可存儲在存儲器132中以作為捕獲的2D視頻的元數(shù)據(jù)。存儲的深度信息可提供用于視頻渲染和/或回放的附加層信息?？烧{節(jié)或修改存儲的深度信息的分辨率、以匹配捕獲的2D視頻的視頻分辨率，以便提供捕獲的2D視頻中的每個像素或像素組的深度信息。捕獲的2D視頻和捕獲的相應深度信息可通過可伸縮視頻編碼得以增強。在這一點上，捕獲的2D視頻和捕獲的相應深度信息可分別編碼成基礎層視頻和增強層視頻?；谶x擇的ROI可分別通過基礎層視頻編碼器330a和增強層視頻編碼器330b對捕獲的2D視頻和捕獲的相應深度信息進行選擇性壓縮。在某些情況下，3D視頻渲染是捕獲的2D視頻所需的。在這一點上，單像攝像機110可通過視頻編碼/解碼器124對壓縮的2D視頻和壓縮的相應深度信息進行解壓縮。例如，可基于選擇的ROI表明的深度信息范圍確定或識別由此產生的解壓縮2D視頻中的圖像/視頻分量的相關性。單像攝像機110可用于組合識別的相關圖像/視頻分量，以從解壓縮的2D視頻和解壓縮的相應深度信息合成或創(chuàng)建3D視頻?？赏ㄟ^3D視頻渲染設備140對由此產生的合成的3D視頻進行渲染。本發(fā)明的其他實施例提供一種機器和/或計算機可讀存儲器和/或介質，其上存儲的機器代碼和/或計算機程序具有至少一個可由機器和/或計算機執(zhí)行的代碼段，使得機器和/或計算機能夠實現(xiàn)本文所描述的從單像2D視頻和相應深度信息創(chuàng)建3D視頻的步驟。本發(fā)明可以通過硬件、軟件，或者軟、硬件結合來實現(xiàn)。本發(fā)明可以在至少一個計算機系統(tǒng)中以集中方式實現(xiàn)，或者由分布在幾個互連的計算機系統(tǒng)中的不同部分以分散方式實現(xiàn)。任何可以實現(xiàn)所述方法的計算機系統(tǒng)或其它設備都是可適用的。常用軟硬件的結合可以是安裝有計算機程序的通用計算機系統(tǒng)，通過安裝和執(zhí)行所述程序控制計算機系統(tǒng)，使其按所述方法運行。本發(fā)明還可以通過計算機程序產品進行實施，所述程序包含能夠實現(xiàn)本發(fā)明方法的全部特征，當其安裝到計算機系統(tǒng)中時，通過運行，可以實現(xiàn)本發(fā)明的方法。本申請文件中的計算機程序所指的是可以采用任何程序語言、代碼或符號編寫的一組指令的任何表達式，該指令組使系統(tǒng)具有信息處理能力，以直接實現(xiàn)特定功能，或在進行下述一個或兩個步驟之后，a)轉換成其它語言、代碼或符號；b)以不同的格式再現(xiàn)，實現(xiàn)特定功能。本發(fā)明是通過幾個具體實 施例進行說明的，本領域技術人員應當理解，在不脫離本發(fā)明范圍的情況下，還可以對本發(fā)明進行各種變換及等同替代。另外，針對特定情形或具體情況，可以對本發(fā)明做各種修改，而不脫離本發(fā)明的范圍。因此，本發(fā)明不局限于所公開的具體實施例，而應當包括落入本發(fā)明權利要求范圍內的全部實施方式。
權利要求
1.一種處理信號的方法，其特征在于，所述方法包括 通過單像視頻傳感設備的一個或多個圖像傳感器捕獲二維視頻； 通過所述單像視頻傳感設備的深度傳感器捕獲所述捕獲的二維視頻的相應深度信息； 基于所述捕獲的相應深度信息選擇所述捕獲的二維視頻的一個或多個感興趣區(qū)域；基于所述選擇的一個或多個感興趣區(qū)域選擇性地處理所述捕獲的二維視頻和所述捕獲的相應深度信息；及 從所述處理的二維視頻和所述處理的相應深度信息合成三維視頻。
2.根據(jù)權利要求I所述的處理信號的方法，其特征在于，所述方法包括使所述捕獲的相應深度信息與所述捕獲的二維視頻同步。
3.根據(jù)權利要求2所述的處理信號的方法，其特征在于，所述方法包括將所述同步的深度信息存儲為所述捕獲的二維視頻的元數(shù)據(jù)。
4.根據(jù)權利要求3所述的處理信號的方法，其特征在于，所述方法包括使所述存儲的深度信息的分辨率與所述捕獲的二維視頻的視頻分辨率相匹配。
5.根據(jù)權利要求4所述的處理信號的方法，其特征在于，所述方法包括在各像素間和/或各視頻幀間插補所述存儲的深度信息以與所述捕獲的二維視頻的所述視頻分辨率相匹配。
6.根據(jù)權利要求3所述的處理信號的方法，其特征在于，所述方法包括分別將所述捕獲的二維視頻和所述存儲的深度信息可伸縮視頻編碼為基礎層視頻和增強層視頻。
7.根據(jù)權利要求6所述的處理信號的方法，其特征在于，所述方法包括在所述可伸縮視頻編碼期間，基于所述選擇的一個或多個感興趣區(qū)域選擇性地壓縮所述捕獲的二維視頻和所述存儲的深度信息。
8.根據(jù)權利要求7所述的處理信號的方法，其特征在于，所述方法包括解壓縮所述壓縮的二維視頻和所述壓縮的深度信息；及基于所述選擇的一個或多個感興趣區(qū)域，確定所述解壓縮的二維視頻的視頻分量的相關性。
9.根據(jù)權利要求8所述的處理信號的方法，其特征在于，所述方法包括基于所述確定的相關性，從所述解壓縮的二維視頻和所述解壓縮的深度信息合成所述三維視頻。
10.一種處理信號的系統(tǒng)，其特征在于，所述系統(tǒng)包括 應用于單像視頻傳感設備的一個或多個處理器和/或電路，所述一個或多個處理器和/或電路包括一個或多個圖像傳感器和深度傳感器，其中所述一個或多個處理器和/或電路用于 通過所述一個或多個圖像傳感器捕獲二維視頻； 通過所述深度傳感器捕獲所述捕獲的二維視頻的相應深度信息； 基于所述捕獲的相應深度信息選擇所述捕獲的二維視頻的一個或多個感興趣區(qū)域；基于所述選擇的一個或多個感興趣區(qū)域選擇性地處理所述捕獲的二維視頻和所述捕獲的相應深度信息；及 從所述處理的二維視頻和所述處理的相應深度信息合成三維視頻。
全文摘要
本發(fā)明公開了一種處理信號的方法及系統(tǒng)。單像視頻傳感設備的圖像傳感器和深度傳感器用于捕獲2D視頻和相應深度信息。基于捕獲的相應深度信息選擇捕獲的2D視頻的感興趣區(qū)域(ROI)。單像視頻傳感設備基于選擇的ROI選擇性處理捕獲的2D視頻和捕獲的相應深度信息。從處理的2D視頻合成用于顯示的3D視頻。將與捕獲的2D視頻同步的捕獲的深度信息存儲為元數(shù)據(jù)，并且可對其進行插補以匹配捕獲的2D視頻的視頻分辨率。捕獲的2D視頻和捕獲的相應深度信息通過可伸縮視頻編碼得以增強。隨著3D視頻渲染，基于選擇的ROI選擇捕獲的2D視頻的相關圖像/視頻分量，從而連同相應深度信息合成3D視頻。
文檔編號H04N13/02GK102630025SQ20121002315
公開日2012年8月8日 申請日期2012年2月2日 優(yōu)先權日2011年2月3日
發(fā)明者克里斯·伯樂斯, 吉漢·卡若古, 納拜·塞亞爵, 陳雪敏 申請人:美國博通公司