專利名稱：一種密集深度圖像跟蹤的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體視頻領(lǐng)域，特別涉及一種密集深度圖像跟蹤的方法和裝置。

背景技術(shù)：
隨著計算機技術(shù)日新月異的發(fā)展，平面視頻已經(jīng)不能滿足人們的需要，立體視頻技術(shù)突飛猛進的發(fā)展起來。
立體視頻是一種通過研究人類視覺系統(tǒng)的成像原理而發(fā)展起來的新視頻技術(shù)。立體視頻就是要研究如何在視頻中表現(xiàn)物體的深度，即真實世界中物體離人自身的遠近，通過深度與普通的平面視頻綜合而得到三維立體視頻。因此，立體視頻制作過程中的一個重要元素就是深度圖像。獲取深度圖像有多種方法，其中，基于單路視頻獲取深度圖像，一般是通過人工判斷配合其他的圖像分割技術(shù)得到深度圖像。然而，由于視頻中相鄰幀的差別很小，所以深度跟蹤技術(shù)就顯得很重要。
現(xiàn)有的深度跟蹤技術(shù)中，有一種基于像素的深度跟蹤技術(shù)，稱為密集深度圖像跟蹤技術(shù)。目前主要通過光流法實現(xiàn)密集深度圖像跟蹤技術(shù)。光流法的原理為 定義空間運動物體在觀測成像面上的像素運動的瞬時速度為光流，光流法就是利用圖像上像素強度的時域變化及相關(guān)性來確定像素的運動。它的計算方法有很多，如基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法等等。對運動圖像計算光流場的結(jié)果就是得到圖像上每一個像素點的運動矢量，從而得到相鄰兩幀之間像素點的的對應(yīng)關(guān)系，根據(jù)這種對應(yīng)關(guān)系和已知一幀的深度圖像來確定未知深度圖像的另一幀圖像中每一個像素點的深度。在現(xiàn)有的算法中，光流場的計算很耗時，如何降低其時間復(fù)雜度是當前研究的一個難點。
在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題現(xiàn)有的密集深度圖像跟蹤技術(shù)，跟蹤算法復(fù)雜，跟蹤時間比較長。


發(fā)明內(nèi)容
為了降低跟蹤算法的復(fù)雜度，縮短跟蹤時間，本發(fā)明實施例提供了一種密集深度圖像跟蹤的方法和裝置。所述技術(shù)方案如下 一種密集深度圖像跟蹤的方法，所述方法包括 獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知； 對于所述第q幀圖像的任一像素點(i，j)，根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)； 根據(jù)所述像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度。
一種密集深度圖像跟蹤的方法，所述方法包括 獲取圖像序列、所述圖像序列中關(guān)鍵幀圖像對應(yīng)的深度圖像； 根據(jù)所述關(guān)鍵幀圖像的數(shù)量和所述關(guān)鍵幀圖像在所述圖像序列的位置，確定跟蹤方式； 根據(jù)所述跟蹤方式和所述關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對所述圖像序列進行深度跟蹤； 所述深度跟蹤算法為獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知；對于所述第q幀圖像的任一像素點(i，j)，根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；根據(jù)所述像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度。
一種密集深度圖像跟蹤的裝置，所述裝置包括 圖像獲取模塊，用于獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知； 權(quán)值計算模塊，用于對于所述圖像獲取模塊得到的第q幀圖像的任一像素點(i，j)，根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)； 深度跟蹤模塊，用于根據(jù)所述權(quán)值計算模塊得到的像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度。
一種密集深度圖像跟蹤的裝置，所述裝置包括 圖像獲取模塊，用于獲取圖像序列、所述圖像序列中關(guān)鍵幀圖像對應(yīng)的深度圖像； 跟蹤方式確定模塊，用于根據(jù)所述圖像獲取模塊得到的關(guān)鍵幀圖像的數(shù)量和所述關(guān)鍵幀圖像在所述圖像序列的位置，確定跟蹤方式； 深度跟蹤模塊，用于根據(jù)所述跟蹤方式確定模塊確定的跟蹤方式和所述關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對所述圖像序列進行深度跟蹤； 所述深度跟蹤算法為獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知；對于所述第q幀圖像的任一像素點(i，j)，根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；根據(jù)所述像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度。
本發(fā)明實施例提供的技術(shù)方案的有益效果是根據(jù)關(guān)鍵幀圖像的深度圖像、數(shù)量和位置等信息，按照預(yù)設(shè)的深度跟蹤算法，生成非關(guān)鍵幀的深度圖像，從而完成對整個圖像序列的深度跟蹤，具有復(fù)雜度低、跟蹤時間短的優(yōu)點。



圖1是本發(fā)明實施例1提供的密集深度圖像跟蹤的方法流程圖； 圖2是本發(fā)明實施例2提供的密集深度圖像跟蹤的方法流程圖； 圖3是本發(fā)明實施例2提供的密集深度圖像跟蹤的示意圖； 圖4是本發(fā)明實施例3提供的密集深度圖像跟蹤的裝置結(jié)構(gòu)示意圖； 圖5是本發(fā)明實施例4提供的密集深度圖像跟蹤的裝置結(jié)構(gòu)示意圖。

具體實施例方式 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方式作進一步地詳細描述。
實施例1 參見圖1，本實施例提供了一種密集深度圖像跟蹤的方法，該方法包括 101獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，該第p幀圖像的深度圖像已知； 具體的，該第p幀圖像的幀序號為p，該第q幀圖像的幀序號為q；當p＜q時，該第q幀圖像是該第p幀圖像的下一幀圖像，即前向跟蹤；當p＞q時，該第q幀圖像是該第p幀圖像的上一幀圖像，即后向跟蹤。
102對于該第q幀圖像的任一像素點(i，j)，根據(jù)該像素點(i，j)與該第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到該像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)； 其中，計算權(quán)值時假設(shè)顏色差服從均值為0，二維正態(tài)分布標準差為sigma的二維正態(tài)分布，sigma的值可預(yù)先設(shè)定。
其中，m、n分別為第p幀圖像的像素點的橫坐標、縱坐標，i、j分別為第q幀圖像的像素點的橫坐標、縱坐標。
具體的，本步驟可用公式表示如下weight(m，n，i，j)＝exp(-dis(m，n，i，j)/(2*sigma*sigma))(1)dis(m，n，i，j)＝(Cp(m，n，r)-Cq(i，j，r))2+ (Cp(m，n，g)-Cq(i，j，g))2+ (2) (Cp(m，n，b)-Cq(i，j，b))2 其中，weight(m，n，i，j)表示第p幀圖像的像素點(m，n)相對于第q幀圖像的像素點(i，j)的權(quán)值； 函數(shù)exp(x)表示e的x次冪； dis(m，n，i，j)表示第q幀圖像的像素點(i，j)與第p幀圖像的像素點(m，n)之間的顏色差，服從均值為0，標準差為sigma的二維正態(tài)分布； Cq(i，j，r/g/b)表示第q幀圖像中橫坐標為i，縱坐標為j的像素點的紅、綠、藍顏色值； Cp(m，n，r/g/b)表示第p幀圖像中橫坐標為m，縱坐標為n的像素點的紅、綠、藍顏色值。
103根據(jù)該像素點(m，n)的權(quán)值，對該跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到該像素點(i，j)的深度。
其中，Dq(i，j)表示第q幀圖像中橫坐標為i，縱坐標為j的像素點的深度； Dp(m，n)表示第p幀圖像中橫坐標為m，縱坐標為n的像素點的深度； weight(m，n，i，j)表示第p幀圖像的像素點(m，n)相對于第q幀圖像的像素點(i，j)的權(quán)值； box_size表示預(yù)設(shè)的跟蹤值，則像素點(m，n)的跟蹤范圍為以(i，j)為中心，box_size為邊長的正方形的跟蹤窗口之內(nèi)。
經(jīng)過步驟101-103，就可以根據(jù)第p幀圖像的深度圖像，求出第q幀圖像的深度圖像。
進一步的，本實施例提供的密集深度圖像跟蹤的方法，又稱為深度跟蹤算法，既可以單獨用于圖像深度跟蹤，也可以與前向跟蹤、后向跟蹤和雙向跟蹤等結(jié)合用于圖像深度跟蹤。
本實施例提供的方法，根據(jù)像素點的顏色差計算像素點的權(quán)值，并根據(jù)該權(quán)值對跟蹤窗口內(nèi)像素點的深度進行加權(quán)平均，從而求得另一幀圖像的深度圖像，這種方法相對于光流法，具有復(fù)雜度低、跟蹤時間短等優(yōu)點；相對于基于對象的跟蹤技術(shù)，深度圖像的精細程度得到提高。
實施例2 參見圖2，本發(fā)明實施例提供了另一種密集深度圖像跟蹤的方法，包括 201獲取圖像序列、該圖像序列中關(guān)鍵幀圖像對應(yīng)的深度圖像； 其中，深度圖像，是指將平面圖像中每一像素點在真實世界中離攝像機的距離，量化到0～255而得到的一幅灰度圖像。一般來說，圖像中離攝像機最遠的像素點量化到0，而離攝像機最近的像素點量化到255，其余像素點的距離有不同的量化算法，例如線性量化、分段線性量化、二次函數(shù)量化等。
其中，圖像序列包括關(guān)鍵幀圖像和非關(guān)鍵幀圖像。關(guān)鍵幀圖像，在本發(fā)明實施例中是指跟蹤開始之前已具有深度圖像的圖像，可以是圖像序列中的任意一幀，或者任意多幀。圖像序列中關(guān)鍵幀圖像之外的其他圖像稱為非關(guān)鍵幀。
另外，本發(fā)明實施例并不限定關(guān)鍵幀圖像對應(yīng)的深度圖像的獲取方法。具體的，可以通過特殊設(shè)備掃描獲取深度圖像，如紅外掃描、激光掃描等，還可以通過多路平面視頻或單路平面視頻計算得到深度圖像。每種方法各有其利弊，其中，通過特殊設(shè)備獲取深度圖像的方法，雖然深度圖像比較精確，但是設(shè)備昂貴、制作成本以天價計、不適合大眾推廣；多路平面視頻獲取深度圖像的方法，相對于特殊設(shè)備的方法，成本有所較低，但是深度圖像不夠精確，而且還存在多路視頻的成本、對焦、校正等難題；單路平面視頻獲取深度圖像的方法，相對于多路平面視頻的方法，成本較低，但是計算的難度較大。
202根據(jù)該關(guān)鍵幀圖像的數(shù)量和該關(guān)鍵幀圖像在該圖像序列的位置，確定跟蹤方式； 其中，跟蹤方式包括雙向跟蹤和單向跟蹤，單向跟蹤包括前向跟蹤和后向跟蹤。前向跟蹤是按照幀序號增大的方向進行深度跟蹤。后向跟蹤是按照幀序號減小的方向進行深度跟蹤。具體的， a)若該關(guān)鍵幀圖像為一幀，且該關(guān)鍵幀圖像是該圖像序列的第一幀，將該關(guān)鍵幀圖像作為前向初始跟蹤圖像，對該圖像序列進行前向跟蹤； 圖3所示為關(guān)鍵幀圖像是第一幀時的密集深度圖像跟蹤的示意圖，其中，白色小長方形是圖形序列，第一個白色小長方形及其下方的黑色小長方形分別表示關(guān)鍵幀及其深度圖像，其余白色小長方形下方的黑色小長方形表示跟蹤得到的非關(guān)鍵幀的深度圖像。
b)若該關(guān)鍵幀圖像為一幀，且該關(guān)鍵幀圖像位于該圖像序列的中間位置，將該關(guān)鍵幀圖像作為后向初始跟蹤圖像，對該后向初始跟蹤圖像之前的子圖像序列進行后向跟蹤；將該關(guān)鍵幀圖像作為前向初始跟蹤圖像，對該前向初始跟蹤圖像之后的子圖像序列進行前向跟蹤； c)若該關(guān)鍵幀圖像為一幀，且該關(guān)鍵幀圖像是該圖像序列的最后一幀，將該關(guān)鍵幀圖像作為后向初始跟蹤圖像，對該圖像序列進行后向跟蹤； d)若該關(guān)鍵幀圖像為N幀(2≤N)，且該N幀關(guān)鍵幀圖像中的第一關(guān)鍵幀圖像不是該圖像序列的第一幀，將該第一關(guān)鍵幀圖像作為后向初始跟蹤圖像，對該后向初始跟蹤圖像之前的子圖像序列進行后向跟蹤； e)若該關(guān)鍵幀圖像為N幀(2≤N)，且該N幀關(guān)鍵幀圖像中的第N關(guān)鍵幀圖像不是該圖像序列的最后一幀，將該第N關(guān)鍵幀圖像作為前向初始跟蹤圖像，對該前后初始跟蹤圖像之后的子圖像序列進行前向跟蹤； f)若該關(guān)鍵幀圖像為N幀(2≤N)，對該N幀關(guān)鍵幀圖像中兩個相鄰關(guān)鍵幀圖像之間的子圖像序列進行雙向跟蹤。
203根據(jù)該跟蹤方式和該關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對該圖像序列進行深度跟蹤。具體的， a)當所述跟蹤方式為雙向跟蹤時，設(shè)所述圖像序列中兩個相鄰關(guān)鍵幀圖像分別為第s關(guān)鍵幀圖像和第t關(guān)鍵幀圖像，所述第s關(guān)鍵幀圖像的幀序號為s，所述第t關(guān)鍵幀圖像的幀序號為t，s＜t； 將所述第s關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述第s關(guān)鍵幀圖像到所述第t關(guān)鍵幀圖像方向的子圖像序列進行前向跟蹤，得到深度圖像子序列1； 將所述第t關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述第t關(guān)鍵幀圖像到所述第s關(guān)鍵幀圖像方向的子圖像序列進行后向跟蹤，得到深度圖像子序列2； 將所述深度圖像子序列1和所述深度圖像子序列2合成，則所述第s關(guān)鍵幀圖像和所述第t關(guān)鍵幀圖像之間的子圖像序列的深度圖像k＝所述深度圖像子序列1中的深度圖像k×(1-alpha)+所述深度圖像子序列2中的深度圖像k×alpha，其中，k為幀序號，alpha＝(k-s)/(t-s)，s＜k＜t。
b)當跟蹤方式為前向跟蹤時，將設(shè)定的前向初始跟蹤圖像、前向初始跟蹤圖像的深度圖像和前向初始跟蹤圖像的下一幀圖像，作為深度跟蹤算法的初始輸入，計算得到前向初始跟蹤圖像的下一幀圖像的深度圖像； 將前向初始跟蹤圖像的下一幀圖像、前向初始跟蹤圖像的下一幀圖像的深度圖像和前向初始跟蹤圖像的下一幀圖像的下一幀圖像，作為深度跟蹤算法的第二次輸入，計算得到前向初始跟蹤圖像的下一幀圖像的下一幀圖像的深度圖像； 如此循環(huán)調(diào)用深度跟蹤算法，直至求得所有待求圖像的深度圖像。
c)當跟蹤方式為后向跟蹤時，將設(shè)定的后向初始跟蹤圖像、后向初始跟蹤圖像的深度圖像和后向初始跟蹤圖像的上一幀圖像，作為深度跟蹤算法的初始輸入，計算得到后向初始跟蹤圖像的上一幀圖像的深度圖像； 將后向初始跟蹤圖像的上一幀圖像、后向初始跟蹤圖像的上一幀圖像的深度圖像和后向初始跟蹤圖像的上一幀圖像的上一幀圖像，作為深度跟蹤算法的第二次輸入，計算得到后向初始跟蹤圖像的上一幀圖像的上一幀圖像的深度圖像； 如此循環(huán)調(diào)用深度跟蹤算法，直至求得所有待求圖像的深度圖像。
其中，預(yù)設(shè)的深度跟蹤算法，可采用實施例1中步驟101-103提供的深度跟蹤方法，其具體過程詳見實施例1，這里只簡單描述如下 獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，第p幀圖像的深度圖像已知；對于第q幀圖像的任一像素點(i，j)，根據(jù)像素點(i，j)與第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；根據(jù)像素點(m，n)的權(quán)值，對跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到像素點(i，j)的深度。
為了更清楚的說明對整個圖像序列深度跟蹤的過程，下面結(jié)合具體的實例加以說明。
例1輸入圖像序列為頭像旋轉(zhuǎn)的第1～100幀，關(guān)鍵幀設(shè)置為第1幀，并設(shè)置二維正態(tài)分布標準差參數(shù)sigma＝8，跟蹤窗口大小參數(shù)box_size＝7。由于關(guān)鍵幀只有1幀，且為圖像序列的第一幀，故而采用前向跟蹤的方法。獲取第1幀及其深度圖像和第2幀圖像，輸入預(yù)設(shè)的深度跟蹤算法，計算得到第2幀的深度圖像；然后取第2幀及其深度圖像和第3幀圖像，輸入預(yù)設(shè)的深度跟蹤算法，計算得到第3幀的深度圖像；依次循環(huán)，直到100幀的深度圖像都求得為止。
例2輸入圖像序列為頭像旋轉(zhuǎn)的第1～50幀，關(guān)鍵幀設(shè)置為第1幀和第50幀，并設(shè)置二維正態(tài)分布標準差參數(shù)sigma＝8，跟蹤窗口大小參數(shù)box_size＝7。由于關(guān)鍵幀有兩幀，且為第一幀和最后一幀，所以在第一幀和最后一幀之間采用雙向跟蹤方法。將該第1幀圖像作為前向初始跟蹤圖像，根據(jù)該前向初始跟蹤圖像及其深度圖像，對該第1幀圖像到該第50幀圖像方向的子圖像序列，按照幀序號增大的方向進行深度跟蹤，得到深度圖像子序列1；將該第50幀圖像作為后向初始跟蹤圖像，根據(jù)該后向初始跟蹤圖像及其深度圖像，對該第50幀圖像到該第1幀圖像方向的子圖像序列，按照幀序號減小的方向進行深度跟蹤，得到深度圖像子序列2；將該深度圖像子序列1和該深度圖像子序列2合成，則該第1幀圖像和該第50幀圖像之間的子圖像序列的深度圖像k＝該深度圖像子序列1中的深度圖像k×(1-alpha)+該深度圖像子序列2中的深度圖像k×alpha，其中，alpha＝(k-1)/(50-1)，k取2、3、...、49，則第2幀至第49幀的深度圖像都可以分別求得。
本實施例提供的方法，根據(jù)跟蹤方式和關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對圖像序列進行深度跟蹤，相對于光流法，具有復(fù)雜度低、跟蹤時間短等優(yōu)點；并且深度獲取只需集中在關(guān)鍵幀上，其它非關(guān)鍵幀的深度圖像可通過跟蹤獲得，這樣可以減少立體視頻制作成本；另外，相對于基于對象的跟蹤技術(shù)，深度圖像的精細程度得到提高。
實施例3 參見圖4，本實施例提供了一種密集深度圖像跟蹤的裝置，包括 圖像獲取模塊301，用于獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，第p幀圖像的深度圖像已知； 權(quán)值計算模塊302，用于對于圖像獲取模塊得到的第q幀圖像的任一像素點(i，j)，根據(jù)像素點(i，j)與第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)； 深度跟蹤模塊303，用于根據(jù)權(quán)值計算模塊得到的像素點(m，n)的權(quán)值，對跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到像素點(i，j)的深度。
其中，權(quán)值計算模塊302，具體用于采用如下公式進行權(quán)值計算weight(m，n，i，j)＝exp(-dis(m，n，i，j)/(2*sigma*sigma))；dis(m，n，i，j)＝(Cp(m，n，r)-Cq(i，j，r))2+(Cp(m，n，g)-Cq(i，j，g))2+(Cp(m，n，b)-Cq(i，j，b))2； 其中，weight(m，n，i，j)表示第p幀圖像的像素點(m，n)相對于第q幀圖像的像素點(i，j)的權(quán)值； 函數(shù)exp(x)表示e的x次冪； dis(m，n，i，j)表示第q幀圖像的像素點(i，j)與第p幀圖像的像素點(m，n)之間的顏色差，服從均值為0，標準差為sigma的二維正態(tài)分布； Cq(i，j，r/g/b)表示第q幀圖像中位于橫坐標為i，縱坐標為j的像素點的紅、綠、藍顏色值； Cp(m，n，r/g/b)表示第p幀圖像中位于橫坐標為m，縱坐標為n的像素點的紅、綠、藍顏色值。
其中，深度跟蹤模塊303，具體用于采用如下公式進行深度跟蹤 其中，Dq(i，j)表示第q幀圖像中位于橫坐標為i，縱坐標為j的像素點的深度； Dp(m，n)表示第p幀圖像中位于橫坐標為m，縱坐標為n的像素點的深度； weight(m，n，i，j)表示第p幀圖像的像素點(m，n)相對于第q幀圖像的像素點(i，j)的權(quán)值； box_size表示跟蹤值。
本實施例提供的裝置，與實施例1屬于同一構(gòu)思，其具體實現(xiàn)過程詳見實施例1，這里不再贅述。
本實施例提供的裝置，根據(jù)像素點的顏色差計算像素點的權(quán)值，并根據(jù)該權(quán)值對跟蹤窗口內(nèi)像素點的深度進行加權(quán)平均，從而求得另一幀圖像的深度圖像，這種方法相對于光流法，具有復(fù)雜度低、跟蹤時間短等優(yōu)點；相對于基于對象的跟蹤技術(shù)，深度圖像的精細程度得到提高。
實施例4 參見圖5，本實施例提供了一種密集深度圖像跟蹤的裝置，包括 圖像獲取模塊401，用于獲取圖像序列、圖像序列中關(guān)鍵幀圖像對應(yīng)的深度圖像； 跟蹤方式確定模塊402，用于根據(jù)圖像獲取模塊得到的關(guān)鍵幀圖像的數(shù)量和關(guān)鍵幀圖像在圖像序列的位置，確定跟蹤方式； 深度跟蹤模塊403，用于根據(jù)跟蹤方式確定模塊確定的跟蹤方式和關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對圖像序列進行深度跟蹤； 深度跟蹤算法為獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，第p幀圖像的深度圖像已知；對于第q幀圖像的任一像素點(i，j)，根據(jù)像素點(i，j)與第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；根據(jù)像素點(m，n)的權(quán)值，對跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到像素點(i，j)的深度。
其中，跟蹤方式確定模塊402具體用于 若關(guān)鍵幀圖像為一幀，且關(guān)鍵幀圖像是圖像序列的第一幀，將關(guān)鍵幀圖像作為前向初始跟蹤圖像，對圖像序列進行前向跟蹤； 若關(guān)鍵幀圖像為一幀，且關(guān)鍵幀圖像位于圖像序列的中間位置，將關(guān)鍵幀圖像作為后向初始跟蹤圖像，對后向初始跟蹤圖像之前的子圖像序列進行后向跟蹤；將關(guān)鍵幀圖像作為前向初始跟蹤圖像，對前向初始跟蹤圖像之后的子圖像序列進行前向跟蹤； 若關(guān)鍵幀圖像為一幀，且關(guān)鍵幀圖像是圖像序列的最后一幀，將關(guān)鍵幀圖像作為后向初始跟蹤圖像，對圖像序列進行后向跟蹤； 若關(guān)鍵幀圖像為N幀(2≤N)，且N幀關(guān)鍵幀圖像中的第一關(guān)鍵幀圖像不是圖像序列的第一幀，將第一關(guān)鍵幀圖像作為后向初始跟蹤圖像，對后向初始跟蹤圖像之前的子圖像序列進行后向跟蹤； 若關(guān)鍵幀圖像為N幀(2≤N)，且N幀關(guān)鍵幀圖像中的第N關(guān)鍵幀圖像不是圖像序列的最后一幀，將第N關(guān)鍵幀圖像作為前向初始跟蹤圖像，對前后初始跟蹤圖像之后的子圖像序列進行前向跟蹤； 若關(guān)鍵幀圖像為N幀(2≤N)，對N幀關(guān)鍵幀圖像中兩個相鄰關(guān)鍵幀圖像之間的子圖像序列進行雙向跟蹤。
其中，深度跟蹤模塊403具體用于 當跟蹤方式為雙向跟蹤時，若圖像序列中兩個相鄰關(guān)鍵幀圖像分別為第s關(guān)鍵幀圖像和第t關(guān)鍵幀圖像，第s關(guān)鍵幀圖像的幀序號為s，第t關(guān)鍵幀圖像的幀序號為t，s＜t；將第s關(guān)鍵幀圖像作為前向初始跟蹤圖像，對第s關(guān)鍵幀圖像到第t關(guān)鍵幀圖像方向的子圖像序列進行前向跟蹤，得到深度圖像子序列1；將第t關(guān)鍵幀圖像作為后向初始跟蹤圖像，對第t關(guān)鍵幀圖像到第s關(guān)鍵幀圖像方向的子圖像序列進行后向跟蹤，得到深度圖像子序列2；將深度圖像子序列1和深度圖像子序列2合成，則第s關(guān)鍵幀圖像和第t關(guān)鍵幀圖像之間的子圖像序列的深度圖像k＝深度圖像子序列1中的深度圖像k×(1-alpha)+深度圖像子序列2中的深度圖像k×alpha，其中，k為幀序號，alpha＝(k-s)/(t-s)，s＜k＜t； 或者，當跟蹤方式為前向跟蹤時，將設(shè)定的前向初始跟蹤圖像、前向初始跟蹤圖像的深度圖像和前向初始跟蹤圖像的下一幀圖像，作為深度跟蹤算法的初始輸入，計算得到前向初始跟蹤圖像的下一幀圖像的深度圖像；將前向初始跟蹤圖像的下一幀圖像、前向初始跟蹤圖像的下一幀圖像的深度圖像和前向初始跟蹤圖像的下一幀圖像的下一幀圖像，作為深度跟蹤算法的第二次輸入，計算得到前向初始跟蹤圖像的下一幀圖像的下一幀圖像的深度圖像；如此循環(huán)調(diào)用深度跟蹤算法，直至求得所有待求圖像的深度圖像； 或者，當跟蹤方式為后向跟蹤時，將設(shè)定的后向初始跟蹤圖像、后向初始跟蹤圖像的深度圖像和后向初始跟蹤圖像的上一幀圖像，作為深度跟蹤算法的初始輸入，計算得到后向初始跟蹤圖像的上一幀圖像的深度圖像；將后向初始跟蹤圖像的上一幀圖像、后向初始跟蹤圖像的上一幀圖像的深度圖像和后向初始跟蹤圖像的上一幀圖像的上一幀圖像，作為深度跟蹤算法的第二次輸入，計算得到后向初始跟蹤圖像的上一幀圖像的上一幀圖像的深度圖像；如此循環(huán)調(diào)用深度跟蹤算法，直至求得所有待求圖像的深度圖像。
本實施例提供的裝置，與實施例2屬于同一構(gòu)思，其具體的實現(xiàn)過程詳見實施例2，這里不再贅述。
本實施例提供的裝置，根據(jù)跟蹤方式和關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對圖像序列進行深度跟蹤，相對于光流法，具有復(fù)雜度低、跟蹤時間短等優(yōu)點；并且深度獲取只需集中在關(guān)鍵幀上，其它非關(guān)鍵幀的深度圖像可通過跟蹤獲得，這樣可以減少立體視頻制作成本；另外，相對于基于對象的跟蹤技術(shù)，深度圖像的精細程度得到提高。
以上實施例提供的技術(shù)方案中的全部或部分內(nèi)容可以通過軟件編程或者硬件實現(xiàn)，其軟件程序存儲在可讀取的存儲介質(zhì)中，存儲介質(zhì)例如計算機中的硬盤、光盤或軟盤。硬件實施可通過現(xiàn)場可編程門陣列(FPGA)編程并燒錄實現(xiàn)。
以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1、一種密集深度圖像跟蹤的方法，其特征在于，所述方法包括
獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知；
對于所述第q幀圖像的任一像素點(i，j)，根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；
根據(jù)所述像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度。
2、如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值具體包括weight(m，n，i，j)＝exp(-dis(m，n，i，j)/(2*sigma*sigma))；dis(m，n，i，j)＝(Cp(m，n，r)-Cq(i，j，r))2+(Cp(m，n，g)-Cq(i，j，g))2+(Cp(m，n，b)-Cq(i，j，b))2；
其中，weight(m，n，i，j)表示所述第p幀圖像的像素點(m，n)相對于所述第q幀圖像的像素點(i，j)的權(quán)值；
函數(shù)exp(x)表示e的x次冪；
dis(m，n，i，j)表示所述第q幀圖像的像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差，服從均值為0，標準差為sigma的二維正態(tài)分布；
Cq(i，j，r/g/b)表示所述第q幀圖像中位于橫坐標為i，縱坐標為j的像素點的紅、綠、藍顏色值；
Cp(m，n，r/g/b)表示所述第p幀圖像中位于橫坐標為m，縱坐標為n的像素點的紅、綠、藍顏色值。
3、如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度具體包括
其中，Dq(i，j)表示所述第q幀圖像中位于橫坐標為i，縱坐標為j的像素點的深度；
Dp(m，n)表示所述第p幀圖像中位于橫坐標為m，縱坐標為n的像素點的深度；
weight(m，n，i，j)表示所述第p幀圖像的像素點(m，n)相對于所述第q幀圖像的像素點(i，j)的權(quán)值；
box_size表示所述跟蹤值。
4、一種密集深度圖像跟蹤的方法，其特征在于，所述方法包括
獲取圖像序列、所述圖像序列中關(guān)鍵幀圖像對應(yīng)的深度圖像；
根據(jù)所述關(guān)鍵幀圖像的數(shù)量和所述關(guān)鍵幀圖像在所述圖像序列的位置，確定跟蹤方式；
根據(jù)所述跟蹤方式和所述關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對所述圖像序列進行深度跟蹤；
所述深度跟蹤算法為獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知；對于所述第q幀圖像的任一像素點(i，j)，根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；根據(jù)所述像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度。
5、如權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述關(guān)鍵幀圖像的數(shù)量和所述關(guān)鍵幀圖像在所述圖像序列的位置，確定跟蹤方式包括
若所述關(guān)鍵幀圖像為一幀，且所述關(guān)鍵幀圖像是所述圖像序列的第一幀，將所述關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述圖像序列進行前向跟蹤；
若所述關(guān)鍵幀圖像為一幀，且所述關(guān)鍵幀圖像位于所述圖像序列的中間位置，將所述關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述后向初始跟蹤圖像之前的子圖像序列進行后向跟蹤；將所述關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述前向初始跟蹤圖像之后的子圖像序列進行前向跟蹤；
若所述關(guān)鍵幀圖像為一幀，且所述關(guān)鍵幀圖像是所述圖像序列的最后一幀，將所述關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述圖像序列進行后向跟蹤；
若所述關(guān)鍵幀圖像為N幀(2≤N)，且所述N幀關(guān)鍵幀圖像中的第一關(guān)鍵幀圖像不是所述圖像序列的第一幀，將所述第一關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述后向初始跟蹤圖像之前的子圖像序列進行后向跟蹤；
若所述關(guān)鍵幀圖像為N幀(2≤N)，且所述N幀關(guān)鍵幀圖像中的第N關(guān)鍵幀圖像不是所述圖像序列的最后一幀，將所述第N關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述前后初始跟蹤圖像之后的子圖像序列進行前向跟蹤；
若所述關(guān)鍵幀圖像為N幀(2≤N)，對所述N幀關(guān)鍵幀圖像中兩個相鄰關(guān)鍵幀圖像之間的子圖像序列進行雙向跟蹤。
6、如權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述跟蹤方式和所述關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對所述圖像序列進行深度跟蹤包括
當所述跟蹤方式為雙向跟蹤時，若所述圖像序列中兩個相鄰關(guān)鍵幀圖像分別為第s關(guān)鍵幀圖像和第t關(guān)鍵幀圖像，所述第s關(guān)鍵幀圖像的幀序號為s，所述第t關(guān)鍵幀圖像的幀序號為t，s＜t；將所述第s關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述第s關(guān)鍵幀圖像到所述第t關(guān)鍵幀圖像方向的子圖像序列進行前向跟蹤，得到深度圖像子序列1；將所述第t關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述第t關(guān)鍵幀圖像到所述第s關(guān)鍵幀圖像方向的子圖像序列進行后向跟蹤，得到深度圖像子序列2；將所述深度圖像子序列1和所述深度圖像子序列2合成，則所述第s關(guān)鍵幀圖像和所述第t關(guān)鍵幀圖像之間的子圖像序列的深度圖像k＝所述深度圖像子序列1中的深度圖像k×(1-alpha)+所述深度圖像子序列2中的深度圖像k×alpha，其中，k為幀序號，alpha＝(k-s)/(t-s)，s＜k＜t；
或者，當所述跟蹤方式為前向跟蹤時，將設(shè)定的所述前向初始跟蹤圖像、所述前向初始跟蹤圖像的深度圖像和所述前向初始跟蹤圖像的下一幀圖像，作為所述深度跟蹤算法的初始輸入，計算得到所述前向初始跟蹤圖像的下一幀圖像的深度圖像；將所述前向初始跟蹤圖像的下一幀圖像、所述前向初始跟蹤圖像的下一幀圖像的深度圖像和所述前向初始跟蹤圖像的下一幀圖像的下一幀圖像，作為所述深度跟蹤算法的第二次輸入，計算得到所述前向初始跟蹤圖像的下一幀圖像的下一幀圖像的深度圖像；如此循環(huán)調(diào)用所述深度跟蹤算法，直至求得所有待求圖像的深度圖像；
或者，當所述跟蹤方式為后向跟蹤時，將設(shè)定的所述后向初始跟蹤圖像、所述后向初始跟蹤圖像的深度圖像和所述后向初始跟蹤圖像的上一幀圖像，作為所述深度跟蹤算法的初始輸入，計算得到所述后向初始跟蹤圖像的上一幀圖像的深度圖像；將所述后向初始跟蹤圖像的上一幀圖像、所述后向初始跟蹤圖像的上一幀圖像的深度圖像和所述后向初始跟蹤圖像的上一幀圖像的上一幀圖像，作為所述深度跟蹤算法的第二次輸入，計算得到所述后向初始跟蹤圖像的上一幀圖像的上一幀圖像的深度圖像；如此循環(huán)調(diào)用所述深度跟蹤算法，直至求得所有待求圖像的深度圖像。
7、一種密集深度圖像跟蹤的裝置，其特征在于，所述裝置包括
圖像獲取模塊，用于獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知；
權(quán)值計算模塊，用于對于所述圖像獲取模塊得到的第q幀圖像的任一像素點(i，j)，根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；
深度跟蹤模塊，用于根據(jù)所述權(quán)值計算模塊得到的像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度。
8、如權(quán)利要求7所述的裝置，其特征在于，所述權(quán)值計算模塊，具體用于采用如下公式進行權(quán)值計算weight(m，n，i，j)＝exp(-dis(m，n，i，j)/(2*sigma*sigma))；dis(m，n，i，j)＝(Cp(m，n，r)-Cq(i，j，r))2+(Cp(m，n，g)-Cq(i，j，g))2+(Cp(m，n，b)-Cq(i，j，b))2；
其中，weight(m，n，i，j)表示所述第p幀圖像的像素點(m，n)相對于所述第q幀圖像的像素點(i，j)的權(quán)值；
函數(shù)exp(x)表示e的x次冪；
dis(m，n，i，j)表示所述第q幀圖像的像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差，服從均值為0，標準差為sigma的二維正態(tài)分布；
Cq(i，j，r/g/b)表示所述第q幀圖像中位于橫坐標為i，縱坐標為j的像素點的紅、綠、藍顏色值；
Cp(m，n，r/g/b)表示所述第p幀圖像中位于橫坐標為m，縱坐標為n的像素點的紅、綠、藍顏色值。
9、如權(quán)利要求7所述的裝置，其特征在于，所述深度跟蹤模塊，具體用于采用如下公式進行深度跟蹤
其中，Dq(i，j)表示所述第q幀圖像中位于橫坐標為i，縱坐標為j的像素點的深度；
Dp(m，n)表示所述第p幀圖像中位于橫坐標為m，縱坐標為n的像素點的深度；
weight(m，n，i，j)表示所述第p幀圖像的像素點(m，n)相對于所述第q幀圖像的像素點(i，j)的權(quán)值；
box_size表示所述跟蹤值。
10、一種密集深度圖像跟蹤的裝置，其特征在于，所述裝置包括
圖像獲取模塊，用于獲取圖像序列、所述圖像序列中關(guān)鍵幀圖像對應(yīng)的深度圖像；
跟蹤方式確定模塊，用于根據(jù)所述圖像獲取模塊得到的關(guān)鍵幀圖像的數(shù)量和所述關(guān)鍵幀圖像在所述圖像序列的位置，確定跟蹤方式；
深度跟蹤模塊，用于根據(jù)所述跟蹤方式確定模塊確定的跟蹤方式和所述關(guān)鍵幀圖像對應(yīng)的深度圖像，按照預(yù)設(shè)的深度跟蹤算法，對所述圖像序列進行深度跟蹤；
所述深度跟蹤算法為獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知；對于所述第q幀圖像的任一像素點(i，j)，根據(jù)所述像素點(i，j)與所述第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到所述像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；根據(jù)所述像素點(m，n)的權(quán)值，對所述跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到所述像素點(i，j)的深度。
11、如權(quán)利要求10所述的裝置，其特征在于，所述跟蹤方式確定模塊具體用于
若所述關(guān)鍵幀圖像為一幀，且所述關(guān)鍵幀圖像是所述圖像序列的第一幀，將所述關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述圖像序列進行前向跟蹤；
若所述關(guān)鍵幀圖像為一幀，且所述關(guān)鍵幀圖像位于所述圖像序列的中間位置，將所述關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述后向初始跟蹤圖像之前的子圖像序列進行后向跟蹤；將所述關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述前向初始跟蹤圖像之后的子圖像序列進行前向跟蹤；
若所述關(guān)鍵幀圖像為一幀，且所述關(guān)鍵幀圖像是所述圖像序列的最后一幀，將所述關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述圖像序列進行后向跟蹤；
若所述關(guān)鍵幀圖像為N幀(2≤N)，且所述N幀關(guān)鍵幀圖像中的第一關(guān)鍵幀圖像不是所述圖像序列的第一幀，將所述第一關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述后向初始跟蹤圖像之前的子圖像序列進行后向跟蹤；
若所述關(guān)鍵幀圖像為N幀(2≤N)，且所述N幀關(guān)鍵幀圖像中的第N關(guān)鍵幀圖像不是所述圖像序列的最后一幀，將所述第N關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述前后初始跟蹤圖像之后的子圖像序列進行前向跟蹤；
若所述關(guān)鍵幀圖像為N幀(2≤N)，對所述N幀關(guān)鍵幀圖像中兩個相鄰關(guān)鍵幀圖像之間的子圖像序列進行雙向跟蹤。
12、如權(quán)利要求10所述的裝置，其特征在于，所述深度跟蹤模塊具體用于
當所述跟蹤方式為雙向跟蹤時，若所述圖像序列中兩個相鄰關(guān)鍵幀圖像分別為第s關(guān)鍵幀圖像和第t關(guān)鍵幀圖像，所述第s關(guān)鍵幀圖像的幀序號為s，所述第t關(guān)鍵幀圖像的幀序號為t，s＜t；將所述第s關(guān)鍵幀圖像作為前向初始跟蹤圖像，對所述第s關(guān)鍵幀圖像到所述第t關(guān)鍵幀圖像方向的子圖像序列進行前向跟蹤，得到深度圖像子序列1；將所述第t關(guān)鍵幀圖像作為后向初始跟蹤圖像，對所述第t關(guān)鍵幀圖像到所述第s關(guān)鍵幀圖像方向的子圖像序列進行后向跟蹤，得到深度圖像子序列2；將所述深度圖像子序列1和所述深度圖像子序列2合成，則所述第s關(guān)鍵幀圖像和所述第t關(guān)鍵幀圖像之間的子圖像序列的深度圖像k＝所述深度圖像子序列1中的深度圖像k×(1-alpha)+所述深度圖像子序列2中的深度圖像k×alpha，其中，k為幀序號，alpha＝(k-s)/(t-s)，s＜k＜t；
或者，當所述跟蹤方式為前向跟蹤時，將設(shè)定的所述前向初始跟蹤圖像、所述前向初始跟蹤圖像的深度圖像和所述前向初始跟蹤圖像的下一幀圖像，作為所述深度跟蹤算法的初始輸入，計算得到所述前向初始跟蹤圖像的下一幀圖像的深度圖像；將所述前向初始跟蹤圖像的下一幀圖像、所述前向初始跟蹤圖像的下一幀圖像的深度圖像和所述前向初始跟蹤圖像的下一幀圖像的下一幀圖像，作為所述深度跟蹤算法的第二次輸入，計算得到所述前向初始跟蹤圖像的下一幀圖像的下一幀圖像的深度圖像；如此循環(huán)調(diào)用所述深度跟蹤算法，直至求得所有待求圖像的深度圖像；
或者，當所述跟蹤方式為后向跟蹤時，將設(shè)定的所述后向初始跟蹤圖像、所述后向初始跟蹤圖像的深度圖像和所述后向初始跟蹤圖像的上一幀圖像，作為所述深度跟蹤算法的初始輸入，計算得到所述后向初始跟蹤圖像的上一幀圖像的深度圖像；將所述后向初始跟蹤圖像的上一幀圖像、所述后向初始跟蹤圖像的上一幀圖像的深度圖像和所述后向初始跟蹤圖像的上一幀圖像的上一幀圖像，作為所述深度跟蹤算法的第二次輸入，計算得到所述后向初始跟蹤圖像的上一幀圖像的上一幀圖像的深度圖像；如此循環(huán)調(diào)用所述深度跟蹤算法，直至求得所有待求圖像的深度圖像。
全文摘要
本發(fā)明公開了一種密集深度圖像跟蹤的方法和裝置，屬于立體視頻領(lǐng)域。所述方法包括獲取相鄰的兩幀圖像第p幀圖像和第q幀圖像，所述第p幀圖像的深度圖像已知；對于第q幀圖像的任一像素點(i，j)，根據(jù)像素點(i，j)與第p幀圖像的像素點(m，n)之間的顏色差和預(yù)設(shè)的二維正態(tài)分布標準差，計算得到像素點(m，n)的權(quán)值，(m，n)的取值范圍為以(i，j)為中心，預(yù)設(shè)的跟蹤值為邊長的正方形的跟蹤窗口之內(nèi)；根據(jù)像素點(m，n)的權(quán)值，對跟蹤窗口內(nèi)所有像素點(m，n)的深度進行加權(quán)平均，得到像素點(i，j)的深度。所述裝置包括圖像獲取模塊、權(quán)值計算模塊和深度跟蹤模塊。本發(fā)明具有計算復(fù)雜度低、跟蹤時間短的效果。
文檔編號G06T7/00GK101605269SQ20091008824
公開日2009年12月16日 申請日期2009年7月10日 優(yōu)先權(quán)日2009年7月10日
發(fā)明者謝旭東, 政 黎, 劉曉冬, 戴瓊海 申請人:清華大學(xué)