專利名稱：使用自適應(yīng)聯(lián)合雙邊濾波器生成稠密深度圖的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明的實(shí)施例一般涉及深度圖生成，更具體地涉及使用自適應(yīng)聯(lián)合雙邊濾波器生成稠密深度圖的設(shè)備和方法。
背景技術(shù)：
一般地，雙邊濾波器被用于圖像處理以提供圖像的保持邊緣的平滑。雙邊濾波器提供圖像的域(domain)濾波和范圍(range)濾波兩者以平滑圖像內(nèi)容，而仍維持圖像內(nèi)對(duì)象的邊緣。但是，由于雙邊濾波涉及通過(guò)在大片鄰居像素上估計(jì)像素值的加權(quán)和來(lái)更新像素值，因此這種濾波需要相當(dāng)大的計(jì)算資源和長(zhǎng)時(shí)間來(lái)完成計(jì)算。此外，深度圖表示相對(duì)于給定的焦平面的圖像中的深度。焦平面通常位于圖像的主要物體上，但是該平面(即當(dāng)任意選擇時(shí)的基準(zhǔn)平面)可以位于場(chǎng)景內(nèi)的任意位置。深 度圖則將相對(duì)于該平面的對(duì)象距離表示為正或負(fù)值，值的大小表示離平面的距離，符號(hào)表示對(duì)象位于基準(zhǔn)平面之前還是之后。深度圖通常是使用諸如激光或超聲測(cè)距儀之類的測(cè)距技術(shù)以及諸如視差處理之類的成像技術(shù)來(lái)創(chuàng)建的。深度圖可使用聯(lián)合雙邊濾波來(lái)增強(qiáng)。聯(lián)合雙邊濾波的目的是既通過(guò)平坦區(qū)域中深度值的平滑來(lái)去除反常深度值又改進(jìn)深度圖的空間分辨率和深度分辨率。一般地，雙邊濾波比較慢，并且現(xiàn)有的優(yōu)化處理的方法采用大量額外存儲(chǔ)器，或者采用可能產(chǎn)生錯(cuò)誤結(jié)果的近似。某些圖像處理技術(shù)利用深度圖來(lái)增強(qiáng)圖像處理結(jié)果。例如，深度圖在前景/背景分解、面部識(shí)別、對(duì)象跟蹤等方面有用。深度圖提供能夠用于將圖像分解成與其在圖像內(nèi)的深度有關(guān)的組成成分的深度信息。然而，使用低分辨率深度圖來(lái)進(jìn)行圖像處理導(dǎo)致處理的精度和質(zhì)量的嚴(yán)重?fù)p失。因此，存在對(duì)用于高效地生成稠密深度圖的設(shè)備和方法的需要。

發(fā)明內(nèi)容
實(shí)施例一般包括用于生成稠密深度圖的設(shè)備和方法。在一個(gè)實(shí)施例中，該方法包括將聯(lián)合雙邊濾波器應(yīng)用于第一深度圖以生成第二深度圖，其中聯(lián)合雙邊濾波器的至少一個(gè)濾波器權(quán)重基于由第一深度圖表示的圖像的內(nèi)容來(lái)適配，并且其中第二深度圖具有比第一深度圖更高的分辨率。灃釋DLijj :較低分辨率深度圖中坐標(biāo)(i，j)的像素的深度值DHijj :較高分辨率深度圖中坐標(biāo)(i，j)的像素的深度值X，Y :較高分辨率深度圖中當(dāng)前像素的坐標(biāo)i, j :較低分辨率深度圖中細(xì)化窗口中的像素的坐標(biāo)IHx,Y :來(lái)自較高分辨率圖像的當(dāng)前像素(X，Y)的像素強(qiáng)度ILiij :來(lái)自較低分辨率圖像的像素(i，j)的強(qiáng)度WDmj :基于像素(X，Y)和像素(i，J)之間的距離的權(quán)重
DDmj :像素(X，Y)和像素U，j)之間的距離項(xiàng)DImj :用于像素(X，Y)和像素(i，J)之間的強(qiáng)度差的差項(xiàng)WIx^j :基于像素(X，Y)和像素(i，J)之間的強(qiáng)度差的權(quán)重Lxjyjijj :像素(X，Y)和像素(i，j)之間的強(qiáng)度差M :用于第一細(xì)化方法的尺寸調(diào)整因子N :用于第二細(xì)化方法的尺寸調(diào)整因子P :將圖像帶入深度圖的分辨率的尺寸調(diào)整因子hsl :用于第一細(xì)化方法的細(xì)化窗口的一半尺寸

hs2 :用于第二細(xì)化方法的細(xì)化窗口的一半尺寸


所以，上面概述的發(fā)明的更具體描述、本發(fā)明的上述特征能夠被詳細(xì)理解的方式可參考實(shí)施例來(lái)獲得，其中某些實(shí)施例在附圖中示出。然而注意，附圖僅例示了發(fā)明的典型實(shí)施例，因此不應(yīng)理解為限制其范圍，因?yàn)榘l(fā)明可承認(rèn)其他等效實(shí)施例。圖I是根據(jù)一個(gè)或多個(gè)實(shí)施例的使用自適應(yīng)雙邊濾波器來(lái)生成稠密深度圖的系統(tǒng)的框圖。圖2是表示根據(jù)一個(gè)實(shí)施例的深度圖細(xì)化方法的功能框圖。圖3是例示了根據(jù)一個(gè)實(shí)施例的用于處理深度圖以生成稠密深度圖的方法的流程圖。圖4是例示了根據(jù)一個(gè)實(shí)施例的第一細(xì)化方法的流程圖。圖5是例示了根據(jù)實(shí)施例的用于第一均勻性(uniformity)測(cè)試的方法的流程圖。圖6是表示根據(jù)實(shí)施例的在第一細(xì)化方法中使用的子采樣圖像的功能框圖。圖7是例示了根據(jù)一個(gè)實(shí)施例的第二細(xì)化方法的流程圖。圖8是例示了根據(jù)實(shí)施例的用于第二均勻性測(cè)試的方法的流程圖。圖9是表示根據(jù)實(shí)施例的在第二細(xì)化方法中使用的子采樣圖像的功能框圖。
具體實(shí)施例方式圖I是根據(jù)一個(gè)或多個(gè)實(shí)施例的使用自適應(yīng)雙邊濾波器來(lái)生成稠密深度圖的系統(tǒng)100的框圖。系統(tǒng)100包括計(jì)算機(jī)110和圖像源112以及深度圖源114。計(jì)算機(jī)110包括中央處理單元(CPU) 120、支撐電路130和存儲(chǔ)器140。CPU 120可包含一個(gè)或多個(gè)市面上買得到的輔助數(shù)據(jù)處理和存儲(chǔ)的微處理器或微控制器。各種支撐電路130輔助CPU 120的操作并且可包括時(shí)鐘電路、總線、電源、輸入/輸出電路等。存儲(chǔ)器140包括只讀存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器、盤驅(qū)動(dòng)存儲(chǔ)器、光存儲(chǔ)裝置、可移除存儲(chǔ)裝置等。存儲(chǔ)器140包括操作系統(tǒng)150、深度圖處理器160、圖像處理器170、中間(interim)深度圖182、第一深度圖180、第二深度圖184、圖像190和子采樣版圖像192。計(jì)算機(jī)110與圖像源112和深度圖源114通信以分別獲得圖像190和第一深度圖180。圖像源112是捕捉圖像的設(shè)備，例如數(shù)字相機(jī)、視頻相機(jī)等。深度圖源114是生成與圖像190有關(guān)的第一深度圖180的電路或設(shè)備。深度圖源114可以是諸如激光或超聲測(cè)距電路之類的深度傳感器電路。在其他實(shí)施例中，源114可以是使用視差(parallax)處理從兩個(gè)或更多個(gè)圖像計(jì)算深度的電路。用于深度圖生成的其他基于軟件和/或硬件的技術(shù)可被使用。從深度圖源114獲得的第一深度圖180和從圖像源112獲得的圖像190被存儲(chǔ)在存儲(chǔ)器140中。深度圖處理器160例如參考圖2由深度圖細(xì)化方法200實(shí)施。深度圖處理器160生成中間深度圖182和稠密深度圖184 (這里也稱為第二深度圖)。第一深度圖180是由深度圖處理器160例如通過(guò)實(shí)施深度圖細(xì)化方法200來(lái)細(xì)化的，以生成相繼具有更高分辨率的深度圖、中間深度圖182然后是第二深度圖184。第一深度圖180是例如表示相對(duì)于焦平面的圖像190中的深度的低分辨率深度圖。在其他實(shí)施例中，深度圖可按絕對(duì)深度來(lái)表示，并且任意平面可被視為基準(zhǔn)平面。在當(dāng)前的實(shí)施方式中，焦平面通常位于圖像190的主要物體上。然而，焦平面可位于任意位置。表示焦平面之后的對(duì)象或面的所有像素位置被分配極性或符號(hào)(例如，負(fù))和表示離焦平面的距離的值。表示焦平面之前的對(duì)象的所有像素位置被分配極性(例如，正)和表示離焦平面的距離的值。 圖像處理器170生成子采樣版圖像192。圖像處理器170通過(guò)實(shí)施子采樣對(duì)圖像190進(jìn)行編碼，以生成低分辨率子采樣版圖像192。本領(lǐng)域技術(shù)人員將理解，子采樣可通過(guò)諸如基于塊的像素平均等各種已知子采樣技術(shù)來(lái)實(shí)施。子采樣版圖像192包括變化分辨率的子采樣圖像(圖I中未示出)，例如具有高分辨率1/P的子采樣圖像192a、例如具有中分辨率1/PN的子采樣圖像192b、例如具有低分辨率1/PMN的子采樣圖像192c (其中M、N和P是整數(shù)值)。在發(fā)明的一個(gè)實(shí)施例中，子采樣圖像被用于引導(dǎo)(適配)細(xì)化處理，所述細(xì)化處理用于從第一(輸入)深度圖創(chuàng)建稠密深度圖。更具體地，子采樣圖像被用于適配雙邊濾波器，所述雙邊濾波器用于細(xì)化低分辨率深度圖以形成稠密深度圖。作為示例，M = 4, N = 2, P = 8,所以高分辨率對(duì)應(yīng)于輸入圖像的1/4分辨率,中分辨率對(duì)應(yīng)于輸入圖像的1/16分辨率，并且低分辨率對(duì)應(yīng)于輸入圖像的1/64分辨率。圖2是表示根據(jù)一個(gè)實(shí)施例的深度圖細(xì)化方法200的功能框圖。深度圖細(xì)化方法200的輸入是全分辨率圖像190和第一深度圖180。在圖2例示的示例中，全尺寸圖像190在步驟202被按1/P子采樣以形成第一子采樣圖像192a(l/P圖像)。第一子采樣圖像192a在步驟204被按1/N子采樣以形成第二子采樣圖像192b (1/PN圖像)。第二子采樣圖像192b在步驟206被按1/M子采樣以形成第三子采樣圖像192c(l/PMN圖像)。最低分辨率子采樣圖像192c具有與第一深度圖180的低分辨率相匹配的分辨率。本領(lǐng)域技術(shù)人員將理解，子采樣圖像192c的分辨率與使用深度細(xì)化方法200細(xì)化的深度圖的分辨率相稱。在塊208a和208b，子采樣圖像192c和第一深度圖180按需要被用像素填充，以創(chuàng)建相等數(shù)目像素的圖像。例如，由于子采樣圖像192c和第一深度圖180具有相同的分辨率1/PMN,因此子采樣圖像192c和第一深度圖180 二者被分別用近似圖像和深度圖邊界的若干像素和深度圖值填充，以使得在像素和深度圖值中測(cè)得的每個(gè)圖像的尺寸相同。在某些實(shí)施例中，填充不是必需的。經(jīng)填充的子采樣圖像210和第二子采樣圖像192b被用于通過(guò)第一信號(hào)處理214來(lái)細(xì)化經(jīng)填充的第一深度圖212。下面參考圖4來(lái)詳細(xì)描述步驟214處的第一細(xì)化處理。第一細(xì)化處理214產(chǎn)生具有比第一深度圖180高的分辨率的中間深度圖182。中間深度圖182的分辨率例如是1/PN，即，與第二子采樣圖像192b相同的分辨率。在步驟216，中間深度圖182按需要被填充，并且在步驟218，第二子采樣圖像192b被填充以生成具有與中間深度圖182中包含的深度圖值相同像素?cái)?shù)目的圖像。經(jīng)填充的深度圖220和經(jīng)填充的圖像222被耦合到第二細(xì)化步驟224。在第二細(xì)化步驟224，經(jīng)填充的圖像222和第一子采樣圖像192a被用于細(xì)化經(jīng)填充的中間深度圖220。下面參考圖7來(lái)詳細(xì)描述第二細(xì)化處理224。第二細(xì)化處理224產(chǎn)生第二深度圖184。第二深度圖184具有比第一深度圖180和中間深度圖182 二者高的深度圖值密度，即與第一子采樣圖像192a的分辨率相等的分辨率。如果必要的話，第二深度圖184和第一子采樣圖像192a可分別在步驟226和228被填充以分別形成經(jīng)填充的深度圖230和經(jīng)填充的圖像232。雖然，在圖2例示的實(shí)施例中僅示出兩個(gè)細(xì)化步驟，但是深度細(xì)化方法200可被任何數(shù)目的額外細(xì)化步驟擴(kuò)展，如進(jìn)一步細(xì)化處234所指示的。進(jìn)一步細(xì)化處理234涉及針對(duì)每個(gè)所需的額外細(xì)化重復(fù)第二細(xì)化步驟。重復(fù)處理可涉及額外的自適應(yīng)參數(shù)調(diào)諧和/或分辨率改變。圖3是例示了根據(jù)一個(gè)實(shí)施例的用于處理深度圖以生成稠密深度圖的方法300的流程圖。方法300開(kāi)始于步驟302并前進(jìn)到步驟304。在步驟304，圖像(例如，圖I的圖 像190)被從存儲(chǔ)器訪問(wèn)(或從圖像源遞送)。在步驟306，圖像被子采樣以生成子采樣版圖像(例如，圖I的子采樣版圖像192)。在步驟308，子采樣版圖像被存儲(chǔ)在存儲(chǔ)器中。在步驟310，適當(dāng)?shù)淖硬蓸訄D像被從子采樣版本中選擇。根據(jù)某些實(shí)施例，子采樣圖像是根據(jù)要細(xì)化的深度圖的分辨率來(lái)選擇的。例如，第三子采樣圖像192c和第二子采樣圖像192b被選擇以細(xì)化具有1/PMN分辨率的第一深度圖(例如，圖I的深度圖180)。在步驟312，被選擇的第三子采樣圖像192c可按需要被填充。在步驟314，第一深度圖180被從存儲(chǔ)器訪問(wèn)，或者由深度圖源提供。在步驟316，第一深度圖180可按需要被填充以生成經(jīng)填充的第一深度圖。在步驟318，例如與圖2的步驟214處的第一細(xì)化類似的第一細(xì)化方法被執(zhí)行。下面參考圖4來(lái)詳細(xì)描述第一細(xì)化方法。在步驟320，由第一細(xì)化方法生成的中間深度圖(例如，圖I的中間深度圖182)可按需要被填充。在步驟322，其他適當(dāng)?shù)淖硬蓸訄D像(圖像192b和192a)被從子采樣版圖像中選擇。子采樣圖像是根據(jù)中間深度圖的分辨率來(lái)在步驟322選擇的。例如，具有1/P分辨率的子采樣圖像192a被選擇以引導(dǎo)中間深度圖182的細(xì)化。在步驟324，被選擇的子采樣圖像192b可按需要被填充。在步驟326，第二細(xì)化方法(例如，圖2的步驟224處的細(xì)化方法)被執(zhí)行。下面參考圖7來(lái)詳細(xì)描述第二細(xì)化方法。在步驟328，由第二細(xì)化方法生成的第二深度圖(例如，圖I的第二深度圖184)可按需要被填充。在步驟330，經(jīng)填充的第二深度圖被存儲(chǔ)以供進(jìn)一步處理并且方法300結(jié)束于步驟332。圖4是例示了根據(jù)一個(gè)實(shí)施例的實(shí)施圖3的步驟326的第一細(xì)化方法400的流程圖。第一細(xì)化方法400開(kāi)始于步驟402并前進(jìn)到步驟404。在步驟404，細(xì)化窗口在子采樣圖像(例如，圖2的第二子采樣圖像192b和第三子采樣圖像192c)中被建立。在步驟404，相應(yīng)的細(xì)化窗口(雙邊濾波窗口)在第一深度圖(例如，第一深度圖180)中被定位。在步驟407，計(jì)數(shù)器被設(shè)為零。該計(jì)數(shù)器值被用于下面將描述的第二均勻性測(cè)試。在步驟406，第一均勻性測(cè)試被可選地執(zhí)行?？蓤?zhí)行第一均勻性測(cè)試來(lái)判斷深度圖內(nèi)的細(xì)化窗口是否包含均勻的一組深度圖值。下面參考圖5來(lái)描述第一均勻性測(cè)試的方法。如果方法400認(rèn)為窗口內(nèi)容是均勻的，則方法400前進(jìn)到步驟410。如果窗口內(nèi)容被認(rèn)為不均勻，則方法400前進(jìn)到步驟418 (或者可選地，步驟409)而不更新深度圖值?？蛇x的平滑檢查和實(shí)施的方法在下面詳細(xì)描述。在步驟410，用于雙邊濾波器的強(qiáng)度權(quán)重WI被計(jì)算，并且在步驟412，用于雙邊濾波器的距離權(quán)重WD被計(jì)算。就此而論，使用在子采樣圖像中建立的細(xì)化窗口來(lái)計(jì)算強(qiáng)度權(quán)重WI和距離權(quán)重WD。下面參考圖6來(lái)詳細(xì)描述WI和WD的計(jì)算方法。然而，本領(lǐng)域技術(shù)人員將理解，由于要處理的像素?cái)?shù)目在低分辨率子采樣圖像中較小，因此使用具有低分辨率的子采樣圖像來(lái)計(jì)算WI和WD降低了計(jì)算時(shí)間和成本。通過(guò)步驟406至422，使用雙邊濾波器公式(更一般的版本由公式I給出)來(lái)計(jì)算細(xì)化窗口中心處的深度圖值。在步驟416，更新后的深度圖值被臨時(shí)存儲(chǔ)。隨著窗口中的每個(gè)深度圖值被處理，中心位置值的存儲(chǔ)值被更新。在步驟418，判斷細(xì)化窗口中是否存在更多的深度圖值待處理。如果細(xì)化窗口中存在更多的深度圖值(選項(xiàng)“是”)，則在步驟420獲得下一深度圖值，方法400返回并重復(fù)步驟408至416。在該實(shí)施例中，窗口尺寸為離中心值土hsl (對(duì)于第二細(xì)化方法，土hs2) 的位置。通過(guò)這種方式，窗口內(nèi)的深度圖值被加權(quán)并求和以提供用于更密的深度圖的新值。如果細(xì)化窗口中再?zèng)]有深度圖值了(選項(xiàng)“否”)，則方法400前進(jìn)到步驟422。此時(shí)(選項(xiàng)“否”)，416中存儲(chǔ)的值由下面的項(xiàng)給出
X/M+hsl Y /M+hsl、
Σ Σ (DLU X WWj X WDxxiJ
i=X/M-hsl j二Y/M-hsl( I )在步驟422，使用以下公式來(lái)歸一化來(lái)自416的更新后的深度圖值
X/M+hsl Y/M+hsl、
Σ Z(dlMxwiX^jXwdwj)
_ i^X/M-hsl j=Y/M-hsl_
UHx Y —X/M+hslY/M+hsl'
Σ Z(WIX，Y，UXWDX，YJ (2)
i=X/M-hsl j=Y/M-hsl在步驟424，歸一化后的深度圖值被存儲(chǔ)為中間深度圖的值。在步驟426，判斷第一深度圖是否完成。如果第一深度圖未完成(選項(xiàng)“否”)，則方法400前進(jìn)到步驟428。在步驟428，細(xì)化窗口在第一深度圖中被重新定位，并且下一中心位置的值被計(jì)算。在一個(gè)實(shí)施例中，方法400將窗口移動(dòng)預(yù)定距離并繼續(xù)計(jì)算下一新的深度圖值。該預(yù)定距離決定中間深度圖的像素密度。例如，如果預(yù)定距離是第一深度圖的深度圖值間距的1/2，則分辨率將以因子2增加。如果第一深度圖完成(選項(xiàng)“是”)，則方法400前進(jìn)到步驟430結(jié)束。圖5是例示了根據(jù)實(shí)施例的用于第一均勻性測(cè)試(圖4的步驟408)的方法500的流程圖。如上所述，第一均勻性測(cè)試被用于確定細(xì)化窗口內(nèi)深度圖值的均勻性。就此而言，深度圖包括具有或正或負(fù)的深度圖值以分別指示焦平面之前或之后的距離的像素。細(xì)化窗口中深度圖值的均勻性是通過(guò)將細(xì)化窗口中的深度值DLi, j與細(xì)化窗口中心處的深度值DLx/m, y/m作比較來(lái)確定的。具有與中心位置的深度圖值大不相同的深度圖值的位置被從第一細(xì)化方法中排除，從而不貢獻(xiàn)于應(yīng)用到深度圖上的雙邊濾波處理。在下面的段落中詳細(xì)描述第一均勻性測(cè)試的方法500。方法500開(kāi)始于步驟504并前進(jìn)到步驟506。在步驟506，細(xì)化窗口的中心位置的深度圖值DLX/M,Y/M被確定。低分辨率處的中心像素的坐標(biāo)被表示為X/M，Y/M。圖6中，中心位置在此僅被描述為針對(duì)細(xì)化窗口執(zhí)行的均勻性測(cè)試的基準(zhǔn)位置的示例，而非限制。細(xì)化窗口中的任何位置都可被用作基準(zhǔn)位置。在步驟508，坐標(biāo)位置的深度圖值DLi,」被確定，其中(i，j)是中心位置以外的細(xì)化參考中當(dāng)前位置的坐標(biāo)。在步驟510，方法500計(jì)算DLx,Y和DLi,」之差DIFF。值IdiffI在步驟512的均勻性測(cè)試中被使用。在步驟512，判斷|diff|是否高于預(yù)定的均勻性閾值“threshold_UT”以及DLi, j的符號(hào)是否與DLX/M,Y/M的符號(hào)相反。如果
DIFFI小于thresholcLUT或者DLiij的符號(hào)不與DLX/M,Y/M的符號(hào)相反(選項(xiàng)“否”)，則方法500認(rèn)為當(dāng)前位置處的值是均勻的并返回到圖4中步驟410處的方法400。如果|DIFF|的 值高于thresholcLUT并且DLiij的符號(hào)與DLX/M,Y/M的符號(hào)相反(選項(xiàng)“是”)，則該區(qū)域被認(rèn)為是不均勻的并且方法500前進(jìn)到步驟514，在步驟514，值COUNT ( “計(jì)數(shù)”)被遞增I并存儲(chǔ)在存儲(chǔ)器(例如，寄存器)中。方法500隨后返回到圖4的步驟409或418。與中心值差別大的深度圖值表示深度圖中的邊界。使用窗口中的這種不連續(xù)性可能導(dǎo)致反常的濾波器結(jié)果。為此，該深度圖值被從公式(I)的計(jì)算中排除。如下所述，在第一均勻性測(cè)試中生成的值“計(jì)數(shù)”在第二細(xì)化方法(例如，圖3的第二細(xì)化方法326)中被訪問(wèn)和使用。該計(jì)數(shù)表示與中心值符號(hào)相反且不均勻、即表示窗口中的深度邊界的深度圖值的個(gè)數(shù)。圖6是子采樣圖像620和610的示意性表示。子采樣圖像620具有比圖像610的分辨率相對(duì)低的分辨率。例如，子米樣圖像620例如與子米樣圖像192c類似,并且子米樣圖像610例如與子采樣圖像192b類似。在一個(gè)實(shí)施例中，子采樣圖像620具有58X42的分辨率并且子采樣圖像610具有232X 171的分辨率。尺寸為(2*hsl/M+l) X (2*hsl/M+l)個(gè)像素的細(xì)化窗口 622在子采樣圖像620中被建立，這與在目標(biāo)分辨率圖像610中獲得尺寸為(2*hsl+l) X (2*hsl+l)的細(xì)化窗口 612的效果類似。M是2個(gè)子采樣圖像620和610的分辨率比。例如，如果hsl為8且M為4，則僅通過(guò)在較低分辨率圖像620中獲得5X5的窗口，本方法就可在較高分辨率圖像610中覆蓋17X17的區(qū)域。就此而言，雙邊濾波器的強(qiáng)度權(quán)重WImj是使用子采樣圖像620和細(xì)化窗口 622來(lái)計(jì)算的。雖然前述說(shuō)明采用了針對(duì)X軸和y軸二者相等的尺寸調(diào)整因子M(以及針對(duì)其他子采樣圖像的N和P)，但是在其他實(shí)施例中，尺寸調(diào)整因子可針對(duì)每個(gè)軸而不同，例如，以Mx、MY、Nx、NY、Px和Py來(lái)進(jìn)行子采樣。在圖像620是以Y，Cr, Cb格式(亮度、藍(lán)/黃、紅/綠)給出的情況中，可以按下式給出的那樣在三個(gè)通道中計(jì)算強(qiáng)度差DImj = wYX I IHYx,Y-ILYi, J +WcbX I IHCbxJ-ILCbi, j | +wCrX I IHCrxjy-ILCrijj(3)wY，wcb, wCr分別為Y，Cb和(；的權(quán)重系數(shù)。在其他實(shí)施例中，圖像可以被轉(zhuǎn)換成諸如L*a*b之類的另一亮度/色度空間，并且可以使用已知的ΔΕ感知差(perceptualdifference)或類似的距離度量來(lái)在這種空間中計(jì)算該距離。如果圖像是灰度格式的，則以上公式變?yōu)镈Imj — | Ηχ,γ_Ι1^,』| (4)DIm」可以隨時(shí)計(jì)算或者該計(jì)算可經(jīng)由類似于圖670中的WIm」的查找表來(lái)實(shí)現(xiàn)，以找出將在第一細(xì)化方法的細(xì)化窗口 612中使用的級(jí)別權(quán)重WIx, γ, i,」。WImj表的內(nèi)容形成應(yīng)用到窗口 612中的深度值上的一維濾波器函數(shù)。在一個(gè)實(shí)施例中，該函數(shù)是線性的(如所示)。在其他實(shí)施例中，取決于所需濾波器效果，該函數(shù)是非線性的。另外，如果圖5的均勻性測(cè)試已指示均勻性損壞，則被WIx,Y,U設(shè)為零，并且不需要為該深度圖位置計(jì)算WImj值。此外，如上面參考圖2所描述的，與中間深度圖的分辨率相對(duì)應(yīng)的分辨率的子采樣圖像(例如，子采樣圖像192b)被輸入到第一細(xì)化方法。距離權(quán)重WD例如是使用子采樣圖像192b來(lái)計(jì)算的。使用以下公式來(lái)計(jì)算DDmj
權(quán)利要求
1.一種用于生成稠密深度圖的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括 將聯(lián)合雙邊濾波器應(yīng)用于第一深度圖以生成第二深度圖，其中所述雙邊濾波器的至少一個(gè)濾波器權(quán)重是基于由所述第一深度圖表示的圖像的內(nèi)容來(lái)適配的，并且所述第二深度圖 具有比所述第一深度圖高的分辨率。
2.根據(jù)權(quán)利要求I所述的方法，其中所述圖像的內(nèi)容由所述圖像的子采樣版本來(lái)表/Jn ο
3.根據(jù)權(quán)利要求2所述的方法，其中所述應(yīng)用步驟包括 使用已基于所述圖像的內(nèi)容來(lái)適配的所述聯(lián)合雙邊濾波器的至少ー個(gè)第一濾波器權(quán)重來(lái)執(zhí)行所述第一深度圖的第一細(xì)化，以生成中間深度圖，其中所述中間深度圖具有比所述第一深度圖高的分辨率；以及 使用已基于所述圖像的內(nèi)容來(lái)適配的所述聯(lián)合雙邊濾波器的至少ー個(gè)第二濾波器權(quán)重來(lái)執(zhí)行所述中間深度圖的第二細(xì)化，以生成所述第二深度圖。
4.根據(jù)權(quán)利要求3所述的方法，其中執(zhí)行所述第一細(xì)化包括 在所述第一深度圖中定位細(xì)化窗ロ； 在所述細(xì)化窗口中針對(duì)每個(gè)深度圖值執(zhí)行第一均勻性測(cè)試； 使用已基于所述圖像的內(nèi)容來(lái)適配的所述雙邊濾波器的所述至少ー個(gè)第一濾波器權(quán)重來(lái)更新所述中間深度圖的深度圖值；以及 在所述第一深度圖中重新定位所述細(xì)化窗ロ，執(zhí)行所述第一均勻性測(cè)試并更新所述中間深度圖的深度圖值，其中所述細(xì)化窗ロ被重新定位直到所述第一深度圖完成。
5.根據(jù)權(quán)利要求4所述的方法，還包括在所述第一均勻性測(cè)試將所述細(xì)化窗ロ判定為不均勻后對(duì)所述細(xì)化窗ロ應(yīng)用平滑檢查。
6.根據(jù)權(quán)利要求5所述的方法，其中所述平滑檢查包括確定與所述細(xì)化窗口中的深度圖值有關(guān)的置信度測(cè)量或邊緣強(qiáng)度。
7.根據(jù)權(quán)利要求5所述的方法，其中若平滑被認(rèn)為是必需的，則在所述細(xì)化窗ロ中應(yīng)用平整濾波器。
8.根據(jù)權(quán)利要求4所述的方法，其中執(zhí)行所述第一均勻性測(cè)試包括 若一深度圖值與所述細(xì)化參考的基準(zhǔn)深度圖值大不相同，則從所述第一細(xì)化步驟排除該深度圖值；以及 維持所述細(xì)化窗口中被排除并且不屬于焦平面同一側(cè)的深度圖值的計(jì)數(shù)。
9.根據(jù)權(quán)利要求8所述的方法，其中從所述第一細(xì)化步驟排除深度圖值包括 若所述深度圖值和中心像素的深度圖值之差超過(guò)預(yù)定均勻性閾值，則將零值分配給所述深度圖值的所述至少ー個(gè)第一濾波器權(quán)重。
10.根據(jù)權(quán)利要求3所述的方法，其中執(zhí)行所述第二細(xì)化包括 在所述中間深度圖和與所述中間深度圖分辨率類似的子采樣圖像中定位細(xì)化窗ロ； 對(duì)所述細(xì)化窗ロ執(zhí)行第二均勻性測(cè)試； 使用已基于所述圖像的內(nèi)容來(lái)適配的所述雙邊濾波器的所述至少ー個(gè)第一濾波器權(quán)重來(lái)更新所述細(xì)化窗口中的深度圖值；以及 在所述中間深度圖中重新定位所述細(xì)化窗ロ，執(zhí)行所述第二均勻性測(cè)試并更新所述細(xì)化窗口中的深度圖值，其中所述細(xì)化窗ロ被重新定位直至所述第二深度圖完成。
11.根據(jù)權(quán)利要求10所述的方法，其中執(zhí)行所述第二均勻性測(cè)試包括 若所述細(xì)化窗口中從所述第一細(xì)化步驟排除并且不屬于焦平面同一側(cè)的深度圖值的計(jì)數(shù)超過(guò)預(yù)定計(jì)數(shù)閾值，則從所述第二細(xì)化步驟排除深度圖值。
12.根據(jù)權(quán)利要求11所述的方法，其中從所述第二細(xì)化步驟排除深度圖值包括 訪問(wèn)所述計(jì)數(shù)；以及 若所述計(jì)數(shù)超過(guò)預(yù)定計(jì)數(shù)閾值，則將所述至少ー個(gè)第二濾波器權(quán)重設(shè)為大于一的預(yù)定值。
13.根據(jù)權(quán)利要求11所述的方法，還包括在所述第二均勻性測(cè)試將所述細(xì)化窗ロ判定為不均勻后對(duì)所述細(xì)化窗ロ應(yīng)用平滑檢查
14.根據(jù)權(quán)利要求13所述的方法，其中所述平滑檢查包括確定與所述細(xì)化窗口中的深度圖值有關(guān)的置信度測(cè)量或邊緣強(qiáng)度。
15.根據(jù)權(quán)利要求13所述的方法，其中若平滑被認(rèn)為是必需的，則在所述細(xì)化窗口中應(yīng)用平整濾波器。
16.一種用于生成稠密深度圖的設(shè)備，所述設(shè)備包括 圖像源和第一深度圖； 圖像處理器，用于處理所述圖像并生成所述圖像的至少ー個(gè)子采樣版本；以及深度圖處理器，用于通過(guò)將聯(lián)合雙邊濾波器應(yīng)用于所述第一深度圖以生成第ニ深度圖來(lái)處理所述第一深度圖和生成第二深度圖，其中所述聯(lián)合雙邊濾波器的至少ー個(gè)濾波器權(quán)重是基于由所述第一深度圖表示的圖像的內(nèi)容來(lái)適配的，并且所述第二深度圖具有比所述第一深度圖高的分辨率。
17.一種用于存儲(chǔ)軟件的計(jì)算機(jī)可讀介質(zhì)，所述軟件當(dāng)被計(jì)算系統(tǒng)運(yùn)行時(shí)令計(jì)算系統(tǒng) 將聯(lián)合雙邊濾波器應(yīng)用于第一深度圖以生成第二深度圖，其中所述聯(lián)合雙邊濾波器的至少ー個(gè)濾波器權(quán)重是基于由所述第一深度圖表示的圖像的內(nèi)容來(lái)適配的，并且所述第二深度圖具有比所述第一深度圖高的分辨率。
18.根據(jù)權(quán)利要求17所述的計(jì)算機(jī)可讀介質(zhì)，其中所述應(yīng)用步驟包括 使用已基于所述圖像的內(nèi)容來(lái)適配的所述雙邊濾波器的至少ー個(gè)第一濾波器權(quán)重來(lái)執(zhí)行所述第一深度圖的第一細(xì)化，以生成中間深度圖，其中所述中間深度圖具有比所述第一深度圖高的分辨率；以及 使用已基于所述圖像的內(nèi)容來(lái)適配的所述雙邊濾波器的至少ー個(gè)第二濾波器權(quán)重來(lái)執(zhí)行所述中間深度圖的第二細(xì)化，以生成所述第二深度圖。
19.根據(jù)權(quán)利要求18所述的計(jì)算機(jī)可讀介質(zhì)，其中所述第一細(xì)化包括 在所述第一深度圖中定位細(xì)化窗ロ； 在所述細(xì)化窗口中針對(duì)每個(gè)深度圖值執(zhí)行第一均勻性測(cè)試； 使用已基于所述圖像的內(nèi)容來(lái)適配的所述雙邊濾波器的所述至少ー個(gè)第一濾波器權(quán)重來(lái)更新所述細(xì)化窗口中的深度圖值；以及 在所述第一深度圖中重新定位所述細(xì)化窗ロ，執(zhí)行所述第一均勻性測(cè)試并更新所述細(xì)化窗口中的深度圖值，其中所述細(xì)化窗ロ被重新定位直到所述第一深度圖完成。
20.根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中所述第二細(xì)化包括 在所述中間深度圖中定位細(xì)化窗ロ； 對(duì)所述細(xì)化窗ロ執(zhí)行第二均勻性測(cè)試； 使用已基于所述圖像的內(nèi)容來(lái)適配的所述雙邊濾波器的所述至少ー個(gè)第一濾波器權(quán)重來(lái)更新所述細(xì)化窗口中的深度圖值；以及 在所述中間深度圖中重新定位所述細(xì)化窗ロ，執(zhí)行所述第二均勻性測(cè)試并更新所述細(xì)化窗口中的深度圖值， 其中所述細(xì)化窗ロ被重新定位直至所述中間深度圖完成。
全文摘要
本發(fā)明提供了使用自適應(yīng)聯(lián)合雙邊濾波器生成稠密深度圖的設(shè)備和方法。所述方法包括將聯(lián)合雙邊濾波器應(yīng)用于第一深度圖以生成第二深度圖，其中所述聯(lián)合雙邊濾波器的至少一個(gè)濾波器權(quán)重是基于由所述第一深度圖表示的圖像的內(nèi)容來(lái)適配的，并且所述第二深度圖具有比所述第一深度圖高的分辨率。
文檔編號(hào)G06T5/00GK102682446SQ201210013409
公開(kāi)日2012年9月19日 申請(qǐng)日期2012年1月13日 優(yōu)先權(quán)日2011年1月28日
發(fā)明者咖茲·阿力, 宮城健輔, 弗洛瑞娜·瑟瑞亞, 松下伸行, 鍋迫英輝 申請(qǐng)人:索尼公司