深度圖像增強(qiáng)方法和裝置制造方法
【專利摘要】提供了一種深度圖像增強(qiáng)方法和裝置，該方法可以包括：對于當(dāng)前幀的深度圖像的區(qū)域，基于深度圖像序列，檢測運動；對于當(dāng)前幀的深度圖像的區(qū)域，根據(jù)運動檢測的結(jié)果，在時域上確定要選取的先前幀的數(shù)目，并且對于所選取的先前幀和當(dāng)前幀從區(qū)域中選擇像素形成像素組；利用該像素組通過訓(xùn)練或更新來維護(hù)預(yù)定概率統(tǒng)計模型；以及基于維護(hù)的概率統(tǒng)計模型，修正當(dāng)前幀的該區(qū)域中的每個像素的深度值。通過根據(jù)區(qū)域的運動程度來確定像素組的時域范圍（和/或空域范圍），制備用于維護(hù)模型的數(shù)據(jù)；依據(jù)所選的像素組來動態(tài)訓(xùn)練或更新預(yù)定概率統(tǒng)計模型，相比于用單個像素來建模的情況，得到更準(zhǔn)確的概率統(tǒng)計模型和概率估計，更適當(dāng)?shù)匦拚袼氐纳疃戎怠?br> 【專利說明】深度圖像增強(qiáng)方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體地涉及圖像處理，更具體地涉及深度圖像增強(qiáng)方法和裝置。
【背景技術(shù)】
[0002]基于視覺的深度測量廣泛用于人機(jī)交互、目標(biāo)檢測和跟蹤等領(lǐng)域。
[0003]但是，由于周圍環(huán)境、硬件或軟件的計算資源的限制等因素，仍存在深度測量準(zhǔn)確 性上不能滿足要求的問題，例如不能滿足觸摸屏之類的人機(jī)交互場景下所需的高準(zhǔn)確率。
[0004]在題為“Method, medium, and apparatus of filtering depth noise using depth information”的美國專利公開US20100183236公開的技術(shù)中，采用深度信息來過濾 深度噪聲，其中直接利用通用的彩色圖像噪聲濾波器，并且根據(jù)深度信息調(diào)整濾波器參數(shù)。
[0005]在題為“APPARATUS, METHOD AND COMPUTER-READABLE MEDIUM GENERATING DEPTH MAP”的美國專利公開US20110026808公開的技術(shù)中，基于2個像素，即t時刻的第一像素 Pl(x, y, t)和t+At時刻的第二像素P2(x+Ax，y+Ay, t+A t)，的深度值相似度、距離和區(qū) 別來為人類視覺感知（Human Visual Perception, HVP)模型計算平滑度S (PI, P2)，其中根 據(jù)期待的平滑效果手工決定AX、Ay和At的大小。
[0006]在題為“Method and device for processing depth image sequence” 的華為 技術(shù)有限公司的國際申請公開W02010083750中公開的技術(shù)中，為了解決深度圖像序列的 圖像質(zhì)量和時間一致性低(靜止區(qū)域的深度值抖動）的問題，同時解決由此造成的深度圖像 壓縮算法的壓縮預(yù)測殘差和比特率升高的問題，利用視頻壓縮技術(shù)來修正噪聲，例如：采用 運動估計的方法，計算深度圖像序列的絕對差別的總和（SAD)，計算紋理圖像序列的運動向 量，然后根據(jù)運動估計的結(jié)果調(diào)整深度值。

【發(fā)明內(nèi)容】

[0007]根據(jù)發(fā)明人的觀察，深度測量結(jié)果中的不準(zhǔn)確像素的特征有以下幾個：（1)即便 是不準(zhǔn)確的像素，有時也會有準(zhǔn)確的結(jié)果；（2) —些周圍的像素的深度值是準(zhǔn)確的；（3)不 準(zhǔn)確的測量結(jié)果由環(huán)境、硬件和軟件等多種問題引起，這些錯誤的檢測結(jié)果的模式很復(fù)雜， 難以精確解釋。
[0008]關(guān)于不準(zhǔn)確的深度測量結(jié)果修正，發(fā)明人認(rèn)為目前有以下幾個重要問題：（1)普 通的彩色圖像增強(qiáng)方法不適合深度圖像處理，因為彩色圖像和深度圖像的特征不一樣； (2)數(shù)據(jù)動態(tài)建模的方法可以分割出穩(wěn)定性不同的數(shù)據(jù)分布，但對于單個像素的深度數(shù)據(jù) 建模，由于深度不準(zhǔn)確的像素值準(zhǔn)確的概率很低，所以無法獲得它準(zhǔn)確的深度數(shù)據(jù)；（3)因 為物體移動在人機(jī)交互場景下很常見，所以需要考慮物體移動對檢測的影響。
[0009]基于上述發(fā)現(xiàn)，為了解決上述問題中的一個或多個，發(fā)明人做出了如下發(fā)明。
[0010]根據(jù)本發(fā)明的實施例，提供了一種深度圖像增強(qiáng)方法，可以包括：對于當(dāng)前幀的深 度圖像的區(qū)域，基于深度圖像序列，檢測運動；對于當(dāng)前幀的深度圖像的區(qū)域，根據(jù)運動檢 測的結(jié)果，在時域上確定要選取的先前幀的數(shù)目，并且對于所選取的先前幀和當(dāng)前幀從區(qū)域中選擇像素形成像素組；利用該像素組通過訓(xùn)練或更新來維護(hù)預(yù)定概率統(tǒng)計模型，當(dāng)以每個像素的深度值或者像素組的深度值作為概率統(tǒng)計模型的輸入時，概率統(tǒng)計模型給出表征該像素的深度值或者像素組的深度值的準(zhǔn)確概率的準(zhǔn)確度作為輸出；以及基于維護(hù)的概率統(tǒng)計模型，修正像素組中當(dāng)前幀的該區(qū)域中的每個像素的深度值。
[0011]根據(jù)本發(fā)明的另一實施例，提供了一種深度圖像增強(qiáng)裝置，可以包括:一種深度圖像增強(qiáng)裝置，可以包括:區(qū)域運動檢測部件，對于當(dāng)前幀的深度圖像的區(qū)域，基于深度圖像序列，檢測運動；像素組形成部件，對于當(dāng)前幀的深度圖像的區(qū)域，根據(jù)運動檢測的結(jié)果，在時域上確定要選取的先前幀的數(shù)目，并且對于所選取的先前幀和當(dāng)前幀從區(qū)域中選擇像素形成像素組；概率統(tǒng)計模型維護(hù)部件，利用該像素組通過訓(xùn)練或更新來維護(hù)預(yù)定概率統(tǒng)計模型，當(dāng)以每個像素的深度值或者像素組的深度值作為概率統(tǒng)計模型的輸入時，概率統(tǒng)計模型給出表征該像素的深度值或者像素組的深度值的準(zhǔn)確概率的準(zhǔn)確度作為輸出；以及深度值修正部件，基于維護(hù)的概率統(tǒng)計模型，修正像素組中當(dāng)前幀的該區(qū)域中的每個像素的深度值。
[0012]利用根據(jù)本發(fā)明實施例的深度圖像增強(qiáng)方法和深度圖像增強(qiáng)裝置，根據(jù)區(qū)域的運動程度來確定像素組的時域范圍(和/或空域范圍)，從而制備用于維護(hù)模型的數(shù)據(jù)；并且依據(jù)所選的像素組來動態(tài)訓(xùn)練或更新預(yù)定概率統(tǒng)計模型，并根據(jù)概率統(tǒng)計模型估計的像素組或者單個像素的深度數(shù)據(jù)準(zhǔn)確的概率，來修正像素的深度值，因此相比于用單個像素來建模的情況，能更準(zhǔn)確地獲得適當(dāng)模型，從而得到更準(zhǔn)確的概率統(tǒng)計模型和概率估計，由此更適當(dāng)?shù)匦拚袼氐纳疃戎怠?br> 【專利附圖】

【附圖說明】
[0013]圖1示出了根據(jù)本發(fā)明一個實施例的應(yīng)用本發(fā)明技術(shù)的場景的示例的示意圖。
[0014]圖2示出了根據(jù)本發(fā)明第一實施例的深度圖像增強(qiáng)方法的總體流程圖。
[0015]圖3示出了以偽色彩圖像形式顯示的視差圖像或深度圖像的示例。
[0016]圖4示意性地示出了建模數(shù)據(jù)制備的概率處理流程示例。
[0017]圖5示意性地給出了相關(guān)像素組的數(shù)據(jù)動態(tài)建模的例子。
[0018]圖6示出了根據(jù)本發(fā)明實施例的基于概率統(tǒng)計模型修正像素的深度值的第一示例性方法的流程圖。
[0019]圖7示出了根據(jù)本發(fā)明實施例的基于概率統(tǒng)計模型修正像素的深度值的第二示例性方法的流程圖。
[0020]圖8示出了相關(guān)像素組的數(shù)據(jù)統(tǒng)計分析的例子。
[0021]圖9示出了根據(jù)本發(fā)明一個實施例基于像素組深度值的統(tǒng)計特征和基于概率統(tǒng)計模型兩者來修正像素組中當(dāng)前幀的區(qū)域中的每個像素的深度值的方法示例的流程圖。
[0022]圖10示出了根據(jù)本發(fā)明一個實施例的含基于像素組的統(tǒng)計特征和概率統(tǒng)計模型修正深度值的步驟的完整的示例性時間序列。
[0023]圖11示出了根據(jù)本發(fā)明實施例的深度圖像增強(qiáng)裝置的功能配置框圖。
[0024]圖12是示出按照本發(fā)明實施例的深度圖像增強(qiáng)系統(tǒng)的總體硬件框圖。
【具體實施方式】[0025]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進(jìn)一步詳細(xì)說明。
[0026]將按下列順序進(jìn)行描述:
[0027]1、應(yīng)用場景示例
[0028]2、第一實施例(深度圖像增強(qiáng)方法)
[0029]2.1、深度圖像增強(qiáng)方法的總體流程
[0030]2.2、基于概率統(tǒng)計模型修正像素的深度值的第一示例
[0031]2.3、基于概率統(tǒng)計模型修正像素的深度值的第二示例
[0032]2.4、基于像素組的統(tǒng)計特征和概率統(tǒng)計模型修正深度值的完整順序概述
[0033]2.5、概率統(tǒng)計模型中學(xué)習(xí)速率α的確定
[0034]3、第二實施例(深度圖像增強(qiáng)裝置)
[0035]4、系統(tǒng)硬件配置
[0036]5、總結(jié)
[0037]1、應(yīng)用場景示例
[0038]圖1示出了根據(jù)本發(fā)明一個實施例的應(yīng)用本發(fā)明技術(shù)的場景的示例的示意圖。如圖所示，諸如雙目相機(jī)的圖像捕捉設(shè)備拍攝測量對象的例如左右圖像序列或者直接得到深度圖像序列，并將其發(fā)給諸如個人計算機(jī)、工作站等的深度計算設(shè)備，深度計算設(shè)備計算得到測量結(jié)果的深度圖，其中在計算過程中應(yīng)用了本發(fā)明實施例的深度圖像增強(qiáng)技術(shù)。
[0039]2、第一實施例(深度圖像增強(qiáng)方法)
[0040]2.1、深度圖像增強(qiáng)方法的總體流程
[0041]圖2示出了根據(jù)本發(fā)明第一實施例的深度圖像增強(qiáng)方法100的總體流程圖。
[0042]如圖2所示，在步驟SllO中，對于當(dāng)前幀的深度圖像的區(qū)域，基于深度圖像序列，檢測運動。
[0043]這里，假定深度圖像序列已經(jīng)獲得，例如可以是本地實時計算的，從外部例如通過網(wǎng)絡(luò)輸入的等等。
[0044]圖3示出了以偽色彩圖像形式顯示的視差圖像或深度圖像的示例。因為專利文件中不允許彩色圖像的形式，因此這里以不同灰度的黑白圖像形式顯示，不同的灰度指示不同的視差或深度。
[0045]關(guān)于深度圖像的區(qū)域，例如，在運動檢測之前，可以把深度圖像按照預(yù)定義切分大小分為多個小區(qū)域，例如預(yù)定義切分大小為3個像素*3個像素。然后在每個獨立的小區(qū)域內(nèi)進(jìn)行運動檢測來檢測該區(qū)域內(nèi)是否存在移動。
[0046]當(dāng)然，也可以是僅僅針對深度圖像的某個感興趣區(qū)域進(jìn)行運動檢測以及后續(xù)的動態(tài)建模、深度增強(qiáng)等處理。
[0047]可以使用現(xiàn)有技術(shù)來檢測運動。例如,獲得當(dāng)前幀和前一幀的對應(yīng)區(qū)域之間的差值，當(dāng)然也用當(dāng)前幀和前一幀相減，然后計算相應(yīng)區(qū)域內(nèi)的不同。然后把兩幀的對應(yīng)區(qū)域的差值和預(yù)定義的運動差分閾值相比。如果關(guān)于當(dāng)前幀的區(qū)域差值比閾值更大，則認(rèn)為當(dāng)前幀的該區(qū)域存在移動。另外，也可以為針對該區(qū)域計算運動程度，來標(biāo)示區(qū)域運動程度的大小。區(qū)域運動程度的值可以被標(biāo)準(zhǔn)化到[0，I]來標(biāo)示運動程度的大小。
[0048]這里，采用當(dāng)前幀和前一幀共兩幀來檢測當(dāng)前幀某區(qū)域內(nèi)是否存在運動僅為示例，本發(fā)明并不局限于此，當(dāng)然也可以采用當(dāng)前幀和之前多幀例如前兩幀來檢測當(dāng)前幀的區(qū)域運動，例如分別計算先前幀和前兩幀差值、并利用平均差值來評價當(dāng)前幀某區(qū)域內(nèi)是否存在運動。
[0049]在步驟S120中，對于當(dāng)前幀的深度圖像的區(qū)域，根據(jù)運動檢測的結(jié)果，在時域上確定要選取的先前幀的數(shù)目，并且對于所選取的先前幀和當(dāng)前幀從區(qū)域中選擇像素形成像素組。
[0050]在時域上確定要選取的先前幀的數(shù)目即確定時域的范圍，其表示在多少個連續(xù)的深度圖像序列中選取相關(guān)的像素點。例如，時域的范圍可以利用下述公式⑴根據(jù)像素組的運動程度(d)來計算，例如:
[0051]
Temporal size = 1(1 - d2) * IOj⑴
[0052]可見運動程度越大，選取的先前幀的數(shù)目越少，這是因為運動的程度越大，之前幀可以提供用來構(gòu)建相關(guān)像素組的有效相關(guān)像素就更少。當(dāng)然，上述公式(I)僅為示例，可以根據(jù)需要設(shè)計各種形式的適當(dāng)公式。
[0053]選擇像素形成像素組還可以包括:根據(jù)區(qū)域的運動程度，在空域上調(diào)整區(qū)域的大小，使得調(diào)整后的區(qū)域的運動程度小于調(diào)整前的區(qū)域的運動程度，以及對于所選取的先前幀和當(dāng)前幀從調(diào)整后的區(qū)域中選擇像素形成像素組。
[0054]空域的大小，也即空域的范圍，表示我們選取多少個臨近的相關(guān)像素點來構(gòu)建相關(guān)像素組。例如，缺省的空域范圍大小為3個像素*3個像素。還可以根據(jù)預(yù)定運動程度閾值cLspsize來判斷是否當(dāng)前的空域范圍需要被擴(kuò)大。例如，如果當(dāng)前的像素組運動程度d大于預(yù)定運動程度閾值(Lspsize，增大空域范圍到10個像素*10個像素，然后使用與上述計算運動程度相同的方法計算這個增大后的相關(guān)像素組的運動程度(dl)。如果增大后的相關(guān)像素組的運動程度(dl)比之前的相關(guān)像素組的運動程度(d)小，我們則保留這個大的空域范圍作為新的空域范圍，否則我們?nèi)允褂萌笔〉目沼蚍秶?。進(jìn)行上述操作是因為希望通過增大空域范圍來減小運動對檢測結(jié)果造成的影響。
[0055]通過諸如圖4所示的深度圖像的序列進(jìn)行預(yù)處理來準(zhǔn)備后續(xù)用于維護(hù)預(yù)定概率統(tǒng)計模型的數(shù)據(jù)。
[0056]圖4示意性地示出了建模數(shù)據(jù)制備的概率處理流程示例。在這個例子中，將以右上角和右下角兩區(qū)域作為示例來說明依據(jù)運動程度不同而在時域(可選地結(jié)合空域)設(shè)置不同的選擇范圍，其中右上角框中的區(qū)域內(nèi)是穩(wěn)定即不存在運動或者運動程度低于預(yù)定閾值的區(qū)域，右下角區(qū)域是檢測出存在運動或運動程度高于閾值的區(qū)域。示例性地，缺省空域范圍是3個像素*3個像素。示例性地，穩(wěn)定區(qū)域即右上角內(nèi)的時域范圍為10幀連續(xù)的輸入圖像，或者說所選取的先前幀的數(shù)目為9幀，運動區(qū)域即右下角內(nèi)的時域范圍為I幀輸入圖像，或者說所選取的先前幀的數(shù)目為O幀。然后從所選取的圖像序列中從缺省的空域范圍中選擇像素形成相關(guān)像素組。示例性地，如圖4所示，可以把每個相關(guān)像素組轉(zhuǎn)化成一個數(shù)據(jù)矩陣。其中，數(shù)據(jù)矩陣的水平方向表示空域的維度，豎直方向表示表示時域的維度，可見右上角穩(wěn)定區(qū)域的數(shù)據(jù)矩陣為10*9的矩陣，而右下角運動區(qū)域的數(shù)據(jù)矩陣為1*9的矩陣。請注意，在本文中，“像素組”和“相關(guān)像素組”表示同樣的含義，可以替換使用。
[0057]可見，在本示例中，可以為各個相關(guān)像素組準(zhǔn)備范圍9-90個像素的數(shù)據(jù)。各個相關(guān)像素組被用來訓(xùn)練或者更新對應(yīng)區(qū)域的預(yù)定概率統(tǒng)計模型。
[0058]在圖4所示的示例中，為描述方便，對各個區(qū)域，僅根據(jù)運動程度改變時域范圍，而未調(diào)整空域范圍。不過這僅為示例，本發(fā)明并不局限于此，可以根據(jù)運動程度既改變時域范圍也改變空域范圍。
[0059]順便說一下，前面的示例考慮的是普通幀的情況。對于例如圖像序列中的初始幀，因為不存在先前幀，此時可以僅以默認(rèn)的空域范圍來準(zhǔn)備像素組。替代地，也可以對初始一幀或者初始預(yù)定幀不進(jìn)行深度增強(qiáng)處理，而當(dāng)具有了足夠的圖像幀時才開始進(jìn)行圖像深度增強(qiáng)處理，例如從第10幀開始才進(jìn)行深度增強(qiáng)處理。
[0060]根據(jù)運動程度來從時域或空域改變相關(guān)像素組的大小，考慮了運動對檢測或跟蹤的影響，提供比單個像素處理更細(xì)節(jié)的深度信息，能夠更適當(dāng)?shù)匾约案鼫?zhǔn)確地確定概率統(tǒng)計模型，從而能夠更準(zhǔn)確地增強(qiáng)圖像的深度值。
[0061]在步驟S120中制備得到數(shù)據(jù)，即區(qū)域相關(guān)的像素組后，前進(jìn)到步驟S130。
[0062]在步驟S130中，利用該像素組通過訓(xùn)練或更新來維護(hù)預(yù)定概率統(tǒng)計模型，當(dāng)以每個像素的深度值或者像素組的深度值作為概率統(tǒng)計模型的輸入時，作為輸出，概率統(tǒng)計模型會給出表征該像素的深度值或者像素組的深度值的準(zhǔn)確概率的準(zhǔn)確度。
[0063]在本實施例中，采用了動態(tài)數(shù)據(jù)建模方法，也就是說所建立的模型不是靜止不變的，而是隨著新 數(shù)據(jù)的輸入而被不斷更新。
[0064]動態(tài)數(shù)據(jù)建模可以根據(jù)數(shù)據(jù)的不同的分布穩(wěn)定性來分割數(shù)據(jù)。在本實施例中，對一組時域和空域中相關(guān)的像素集數(shù)據(jù)進(jìn)行動態(tài)建模，而不是對單一的像素數(shù)據(jù)建模，這樣同時在一組時域和空域中相關(guān)的像素集數(shù)據(jù)上使用動態(tài)建模，可以獲得比單個像素的圖像處理更多的統(tǒng)計特征。目前有很多已知的數(shù)據(jù)動態(tài)建模方法，可以用來解決數(shù)據(jù)特征建模和分割問題，例如，我們可以采用一種常見的方法:混合高斯模型(GMM)。
[0065]GMM方法的主要思想是采用多個高斯分布模型來描述每個像素數(shù)據(jù)的統(tǒng)計特征，因為一個像素的數(shù)據(jù)會由于環(huán)境、硬件和軟件的問題不斷變化。GMM方法是一種常見的聚類方法，可以處理數(shù)據(jù)穩(wěn)定的像素聚類的緩慢變化，適合在深度圖像區(qū)分準(zhǔn)確的深度值和噪聲深度值。在GMM方法中，每個像素都使用混合高斯模型來建模。每個高斯分布的混合權(quán)重和其他參數(shù)都會根據(jù)新輸入的圖像數(shù)據(jù)來自適應(yīng)調(diào)整。目前，我們在建模過程中使用相關(guān)像素組的數(shù)據(jù)來代替單一的像素數(shù)據(jù)。例如，我們可以對相關(guān)像素組中的所有像素數(shù)據(jù)使用一組混合高斯模型來建模。相關(guān)像素組中的所有像素都被用來創(chuàng)建和更新這一組混合高斯模型，而不是僅僅使用一個單一的像素的數(shù)據(jù)。
[0066]這是一個相對復(fù)雜的建模方法。假設(shè)視頻圖像序列中的像素組P的歷史數(shù)據(jù)如下式⑵所示:
[0067](X1,...XJ = {II(Φ):1 ≤ i ≤ t}...(2)
[0068]這里，I是視頻圖像序列，Ii (Φ)是t時刻的像素組P的深度數(shù)據(jù)。需要說明的是，這里當(dāng)前像素組P的值Xt即為先前步驟S120中所得到的相關(guān)像素組，該相關(guān)像素組在時域上的范圍(或空域范圍)是根據(jù)運動程度而變化，并不是僅僅包含當(dāng)前幀的像素，而是可能包含例如先前9幀和當(dāng)前幀(即共十幀)在空域范圍上的像素，該說明同樣適用于X1,…，XtO GMM方法采用多個(通常3-5個)高斯分布來對該像素組的歷史深度數(shù)據(jù)進(jìn)行建模，從而觀察當(dāng)前像素組P的值為Xt時的概率分布，定義如下式(3)所示:[0069]
【權(quán)利要求】
1.一種深度圖像增強(qiáng)方法，包括: 對于當(dāng)前幀的深度圖像的區(qū)域，基于深度圖像序列，檢測運動； 對于當(dāng)前幀的深度圖像的區(qū)域，根據(jù)運動檢測的結(jié)果，在時域上確定要選取的先前幀的數(shù)目，并且對于所選取的先前幀和當(dāng)前幀從區(qū)域中選擇像素形成像素組； 利用該像素組通過訓(xùn)練或更新來維護(hù)預(yù)定概率統(tǒng)計模型，當(dāng)以每個像素的深度值或者像素組的深度值作為概率統(tǒng)計模型的輸入時，概率統(tǒng)計模型給出表征該像素的深度值或者像素組的深度值的準(zhǔn)確概率的準(zhǔn)確度作為輸出；以及 基于維護(hù)的概率統(tǒng)計模型，修正像素組中當(dāng)前幀的該區(qū)域中的每個像素的深度值。
2.根據(jù)權(quán)利要求1的深度圖像增強(qiáng)方法，其中基于概率統(tǒng)計模型維護(hù)結(jié)果，修正像素組中當(dāng)前幀的該區(qū)域中的每個像素的深度值包括: 基于概率統(tǒng)計模型，計算表征像素組的深度值的準(zhǔn)確概率的準(zhǔn)確度； 基于像素組的深度值的準(zhǔn)確度，修正像素組的深度值；以及 基于像素組的深度值和像素組中當(dāng)前幀的該區(qū)域中每個像素的深度值是否有效，修正像素組中當(dāng)前幀的該區(qū)域中每個像素的深度值。
3.根據(jù)權(quán)利要求1的深度圖像增強(qiáng)方法，還包括: 對所述像素組進(jìn)行統(tǒng)計分析以獲得關(guān)于像素組的深度值的統(tǒng)計特征；以及 基于像素組深度值的統(tǒng)計特征，確定更新預(yù)定概率統(tǒng)計模型的學(xué)習(xí)速度。
4.根據(jù)權(quán)利要求1的深度圖像增強(qiáng)方法，還包括: 對所述像素組進(jìn)行統(tǒng)計分析以獲得關(guān)于像素組的深度值的統(tǒng)計特征； 其中，修正像素組中當(dāng)前幀的該區(qū)域中的每個像素的深度值包括:基于像素組深度值的統(tǒng)計特征和基于概率統(tǒng)計模型兩者來修正像素組中當(dāng)前幀的該區(qū)域中的每個像素的深度值。
5.根據(jù)權(quán)利要求4的深度圖像增強(qiáng)方法，其中預(yù)定概率統(tǒng)計模型為混合高斯模型，以及其中基于像素組深度值的統(tǒng)計特征和基于概率統(tǒng)計模型兩者來修正像素組中當(dāng)前幀的該區(qū)域中的每個像素的深度值包括: 基于概率統(tǒng)計模型，計算表征像素組的深度值的準(zhǔn)確概率的準(zhǔn)確度； 如果像素組的深度值的準(zhǔn)確度大于等于預(yù)定閾值，基于像素組的深度值、像素組的深度值的準(zhǔn)確度、混合高斯模型中與像素組匹配的分布的參數(shù)，修正像素組的深度值； 如果像素組的深度值的準(zhǔn)確度小于預(yù)定閾值，基于像素組的深度值、像素組的準(zhǔn)確度、像素組深度值的統(tǒng)計特征，修正像素組的深度值；以及 基于修正后的像素組的深度值和像素組中當(dāng)前幀的該區(qū)域中每個像素的深度值是否有效，修正像素組中當(dāng)前幀的該區(qū)域中每個像素的深度值。
6.根據(jù)權(quán)利要求2或5的深度圖像增強(qiáng)方法，其中基于修正后的像素組的深度值和像素組中當(dāng)前幀的該區(qū)域中每個像素的深度值是否有效，修正像素組中當(dāng)前幀的該區(qū)域中每個像素的深度值包括: 如果像素組中的一個像素的深度值無效，則用像素組的深度值作為該像素的深度值；以及 如果像素組中的一個像素的深度值有效，則基于像素組的深度值修正該像素的深度值。
7.根據(jù)權(quán)利要求1的深度圖像增強(qiáng)方法，其中利用該像素組通過訓(xùn)練或更新來維護(hù)預(yù)定概率統(tǒng)計模型包括: 如果根據(jù)運動檢測的結(jié)果，確定該區(qū)域是運動的，則初始化預(yù)定概率統(tǒng)計模型，并利用該像素組通過訓(xùn)練來維護(hù)預(yù)定概率統(tǒng)計模型；以及 如果根據(jù)運動檢測的結(jié)果，確定該區(qū)域不是運動的，則利用該像素組通過更新來維護(hù)預(yù)定概率統(tǒng)計模型。
8.根據(jù)權(quán)利要求1的深度圖像增強(qiáng)方法，其中根據(jù)運動檢測的結(jié)果，在時域上確定要選取的先前幀的數(shù)目包括: 在時域上選擇的先前幀的數(shù)目隨著區(qū)域的運動程度的增加而減少。
9.根據(jù)權(quán)利要求1或8的深度圖像增強(qiáng)方法，其中選擇像素形成像素組還包括: 根據(jù)區(qū)域的運動程度，在空域上調(diào)整區(qū)域的大小，使得調(diào)整后的區(qū)域的運動程度小于調(diào)整前的區(qū)域的運動程度，以及 對于所選取的先前幀和當(dāng)前幀從調(diào)整后的區(qū)域中選擇像素形成像素組。
10.一種深度圖像增強(qiáng)裝置，包括: 區(qū)域運動檢測部件，對于當(dāng)前幀的深度圖像的區(qū)域，基于深度圖像序列，檢測運動； 像素組形成部件，對于當(dāng)前幀的深度圖像的區(qū)域，根據(jù)運動檢測的結(jié)果，在時域上確定要選取的先前幀的數(shù)目，并且對于所選取的先前幀和當(dāng)前幀從區(qū)域中選擇像素形成像素組； 概率統(tǒng)計模型維護(hù)部件，利用該像素組通過訓(xùn)練或更新來維護(hù)預(yù)定概率統(tǒng)計模型，當(dāng)以每個像素的深度值或者像素組的深度值作為概率統(tǒng)計模型的輸入時，概率統(tǒng)計模型給出表征該像素的深度值或者像素組的深度值的準(zhǔn)確概率的準(zhǔn)確度作為輸出；以及 深度值修正部件，基于維護(hù)的概率統(tǒng)計模型，修正像素組中當(dāng)前幀的該區(qū)域中的每個像素的深度值。
【文檔編號】G06T5/00GK103679641SQ201210364574
【公開日】2014年3月26日 申請日期:2012年9月26日 優(yōu)先權(quán)日:2012年9月26日
【發(fā)明者】宮衛(wèi)濤, 張文波, 李磊 申請人:株式會社理光