為圖像處理目的用濾波器應(yīng)用卷積的快速數(shù)值逼近的制作方法
【專(zhuān)利摘要】一種計(jì)算機(jī)實(shí)現(xiàn)的方法，用于用濾波器f應(yīng)用由級(jí)l的分層信號(hào)al表示的圖像I的卷積的數(shù)值逼近，所述方法包括步驟：通過(guò)對(duì)于每一層級(jí)l應(yīng)用al和內(nèi)核hI之間的卷積以及通過(guò)對(duì)卷積的al和hI的結(jié)果進(jìn)行向下采樣，生成正變換；通過(guò)對(duì)于每一層級(jí)l應(yīng)用內(nèi)核h2和向上采樣的正變換之間的卷積以及將該結(jié)果與a1和內(nèi)核g的卷積組合，生成逆變換；以及將正變換和逆變換組合來(lái)產(chǎn)生為a和f之間的卷積的逼近的其中，內(nèi)核hI,hI和g是濾波器f的優(yōu)化內(nèi)核。
【專(zhuān)利說(shuō)明】為圖像處理目的用濾波器應(yīng)用卷積的快速數(shù)值逼近
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理，以及更具體地說(shuō)，涉及在圖像處理中用濾波器應(yīng)用卷積的快速數(shù)值逼近。
【背景技術(shù)】
[0002]計(jì)算機(jī)圖形和圖像處理中的許多任務(wù)涉及將大型線性平移不變(LTI)濾波器應(yīng)用于圖像。共同的例子包括圖像的低通和高通濾波，以及響應(yīng)于各種濾波器組而測(cè)量圖像。在圖1中示出了使用大型LTI濾波器也能實(shí)現(xiàn)的一些不太顯然的任務(wù):圖10示出通過(guò)積分它們的梯度場(chǎng)IOA來(lái)重構(gòu)圖像IOB ;圖20示出擬合平滑膜20B來(lái)內(nèi)插一組邊界值20A ;以及圖30示出散開(kāi)數(shù)據(jù)內(nèi)插，30A作為輸入以及30B作為輸出。
[0003]盡管卷積是將LTI濾波器應(yīng)用于圖像的最直接方式，但它帶來(lái)高的計(jì)算成本:要求0(n2)運(yùn)算來(lái)卷積具有相當(dāng)大小的內(nèi)核的η像素圖像?？焖俑盗⑷~變換(FFT)為周期域提供更有效的O(nlogn)替代方案。已經(jīng)提出了用于某些特定情形的其他快速方法。例如，一種諸如自組算法描述了多尺度方法，能在分層二次采樣位置，O (η)次逼近具有大的高斯內(nèi)核的卷積。
[0004]除卷積的直接0(η2)實(shí)現(xiàn)外，還有能更有效地計(jì)算的某些情況。在周期域，能將每一卷積算子表示為由傅立葉基礎(chǔ)對(duì)角線化的循環(huán)Topelitz矩陣。因此，使用快速傅立葉變換，可以O(shè)(nlogn)次執(zhí)行周期域上的大內(nèi)核卷積。
[0005]通過(guò)首先執(zhí)行ID水平卷積，接著在垂直方向中執(zhí)行(或反之亦然)，能加速具有可以表示為兩個(gè)ID內(nèi)核的外積的可分的2D內(nèi)核的卷積。因此,成本是O(kn)，其中，k是ID內(nèi)核的長(zhǎng)度。使用各個(gè)順序的內(nèi)核B樣條濾波器的SVD分解，通過(guò)可分內(nèi)核，可以逼近不可分內(nèi)核，以及使用重復(fù)積分或廣義積分圖像，每一像素以恒定時(shí)間可以估計(jì)尺度。
[0006]因?yàn)樗鼈兊闹匾饔?，已?jīng)專(zhuān)門(mén)開(kāi)發(fā)了許多方法來(lái)逼近具有高斯內(nèi)核的卷積。與該工作特別有關(guān)的是所提出的分層離散相關(guān)方案。該多尺度方案0(n)次逼近高斯金字塔。由于通過(guò)高斯帶的卷積限制信號(hào)，將粗糙級(jí)內(nèi)插回精細(xì)級(jí)提供對(duì)具有0(n)的大型高斯內(nèi)核的卷積的逼近。然而，該逼近僅對(duì)某些寬度的高斯精確。
[0007]上述想法在拉普拉斯金字塔中達(dá)到頂點(diǎn)，并且后來(lái)與小波關(guān)聯(lián)。更具體地說(shuō)，拉普拉斯金字塔可以視作高密度小波變換。這些想法還被效仿，其中，O(nlogn)次構(gòu)建多尺度雙邊濾波器金字塔。拉普拉斯金字塔以及各種其他小波變換將信號(hào)分解成表明對(duì)各種分析和合成任務(wù)有用的低頻和高頻。特別地，可以逼近大內(nèi)核的卷積的效果。然而，即使這些方案依賴(lài)于重復(fù)卷積(通常具有小內(nèi)核)，但它們不是平移不變的，即，如果平移輸入，最終分析和合成將不僅僅區(qū)別于平移。這是由于這些方案使用二次采樣運(yùn)算，用于實(shí)現(xiàn)它們的快速O (η)性能。
[0008]在過(guò)去數(shù)十年認(rèn)為相當(dāng)重要的一種情況是從其卷積形式恢復(fù)信號(hào)，例如，從其梯度場(chǎng)恢復(fù)圖像。這產(chǎn)生諸如泊松方程的線性方程的平移不變系統(tǒng)。相應(yīng)的矩陣再次是Topelitz矩陣,在周期域上使用FFT,能O(nlogn)次倒置。然而，存在用于在周期和非周期域上處理特定類(lèi)型的這樣方程的甚至更快O (η)的解算器。多重網(wǎng)格方法和基于分層的預(yù)處理通過(guò)以多尺度操作實(shí)現(xiàn)線性性能。描述了用于大梯度域問(wèn)題的現(xiàn)有技術(shù)的多重網(wǎng)格解算器，以及描述了用于較小問(wèn)題的GPU實(shí)現(xiàn)。由于這些線性系統(tǒng)中的矩陣是循環(huán)行列式(或接近循環(huán)行列式，由域而定)，它們的互逆也是循環(huán)卷積矩陣。因此，原則上，通過(guò)卷積具有內(nèi)核的右手側(cè)，例如，在無(wú)限泊松方程的情況下的格林函數(shù)，能獲得(或逼近)解決方案。我們的方法使得能夠精確地逼近具有這些內(nèi)核的卷積，因此，提供更有效以及更容易的實(shí)現(xiàn)用于求解這種方程的替代方案。
[0009]梯度域技術(shù)還廣泛用于無(wú)縫克隆和拼接，產(chǎn)生類(lèi)似的線性系統(tǒng)，但具有不同(Dirichlet)邊界條件，通常在不規(guī)則形狀域上求解。在這種情況下，求解通常歸結(jié)為計(jì)算內(nèi)插一組指定邊界值的平滑膜來(lái)描述用于這些系統(tǒng)的基于專(zhuān)用四叉樹(shù)的解算器，同時(shí)通過(guò)使用平均值內(nèi)插，避免求解線性系統(tǒng)。
[0010]當(dāng)將內(nèi)插許多數(shù)據(jù)點(diǎn)時(shí)或當(dāng)需要內(nèi)插函數(shù)的密集估計(jì)時(shí)，該方法也能用在更常見(jiàn)的散開(kāi)數(shù)據(jù)內(nèi)插情形中。因此，在使用將信息傳播到整個(gè)域的大卷積濾波器很重要的情況下，對(duì)散開(kāi)數(shù)據(jù)內(nèi)插提供有效的逼近將是有利的。

【發(fā)明內(nèi)容】

[0011]本發(fā)明在其實(shí)施例中為圖像處理目的用大支撐濾波器提供卷積的快速數(shù)值逼近的方法。在此所提出的方法包括在小波變換后形成的多尺度方案，其線性實(shí)時(shí)計(jì)算逼近。假定專(zhuān)用大目標(biāo)濾波器逼近，首先使用數(shù)值優(yōu)化來(lái)設(shè)計(jì)一組小內(nèi)核，其然后用來(lái)執(zhí)行所提出的多尺度變換的分析和合成步驟。在完成優(yōu)化時(shí)，將最終變換線性實(shí)時(shí)地應(yīng)用于任何信號(hào)。將在此證實(shí)所提出的方法非常適用于諸如梯度場(chǎng)積分、無(wú)縫圖像克隆和散開(kāi)數(shù)據(jù)內(nèi)插的任務(wù)，優(yōu)于現(xiàn)有技術(shù)的方法。
[0012]本發(fā)明的實(shí)施例針對(duì)通過(guò)降低復(fù)雜度，通用化逼近卷積的算法。在此提出了多尺度框架，不限于逼近特定內(nèi)核，而是能被協(xié)調(diào)來(lái)再現(xiàn)多個(gè)有用大LTI濾波器的效果，同時(shí)O (η)次操作。特別地，在下文中，將證實(shí)所提出的框架對(duì)橫跨泊松方程的解的格林函數(shù)、互逆距離加權(quán)內(nèi)核和用于散開(kāi)數(shù)據(jù)內(nèi)插的廣泛支持的高斯內(nèi)核的適用性。
[0013]本發(fā)明在其實(shí)施例中提供多尺度方案，類(lèi)似拉普拉斯金字塔，以及某些小波變換。然而，不同于這些更通用目的的變換，所提出的方法是定制設(shè)計(jì)該變換來(lái)直接逼近指定LTI算子的效果。換句話說(shuō)，盡管現(xiàn)有技術(shù)的多尺度結(jié)構(gòu)通常用于將該問(wèn)題變換成能更好求解的空間，但在所提出的方法中，變換本身直接產(chǎn)生所需的解。
[0014]例如，本發(fā)明的非限制性實(shí)施例重復(fù)地執(zhí)行具有三個(gè)小的固定寬度內(nèi)核的卷積，同時(shí)對(duì)圖像向下采樣和向上采樣，以便在所有尺度上操作。數(shù)值優(yōu)化這些內(nèi)核的每一個(gè)的加權(quán)，使得變換的整體動(dòng)作通過(guò)某個(gè)目標(biāo)濾波器最逼近卷積運(yùn)算。對(duì)每一目標(biāo)濾波器，優(yōu)化僅需要完成一次，然后可以將最終多尺度變換應(yīng)用于任何輸入信號(hào)0(η)次。該設(shè)計(jì)后的動(dòng)機(jī)將是避免處理由非理想的小的有限濾波器引起的分析難題，另一方面，嘗試對(duì)其他實(shí)現(xiàn)最有效線性計(jì)算預(yù)算。
[0015]緊密地逼近具有自由空間格林函數(shù)的卷積的本發(fā)明的實(shí)施例的足以允許反轉(zhuǎn)泊松方程的某些變量。在此將證實(shí)對(duì)該方程，所建議的方法快于現(xiàn)有技術(shù)的解算器，諸如基于多重網(wǎng)格方法的解算器，對(duì)相當(dāng)大量的方程提供提高的精度和更高實(shí)現(xiàn)便利?！緦?zhuān)利附圖】

【附圖說(shuō)明】
[0016]為更好理解本發(fā)明的實(shí)施例以及示出如何實(shí)施，現(xiàn)在將僅通過(guò)例子參考附圖，其中，相同的數(shù)字始終表示相應(yīng)的元件或部件。
[0017]在附圖中，
[0018]圖1示出圖示本發(fā)明的若干方面的若干圖像處理應(yīng)用；
[0019]圖2是圖示根據(jù)本發(fā)明的一些實(shí)施例的方面的高級(jí)框圖；
[0020]圖3A-3G示出說(shuō)明本發(fā)明的方面的若干圖像；
[0021]圖4A-4F示出說(shuō)明本發(fā)明的方面的若干圖像；
[0022]圖5A-5E示出說(shuō)明本發(fā)明的方面的若干圖像；
[0023]圖6A-6F不出說(shuō)明本發(fā)明的方面的若干圖像和圖；以及
[0024]圖7A-7I不出說(shuō)明本發(fā)明的方面的若干圖像和圖；
[0025]附圖結(jié)合下述的詳細(xì)描述對(duì)本領(lǐng)域的技術(shù)人員如何實(shí)際上具體化本發(fā)明將變得顯而易見(jiàn)。
【具體實(shí)施方式】
[0026]現(xiàn)在參考詳細(xì)地具體參考附圖，強(qiáng)調(diào)所示的細(xì)節(jié)僅是示例性的和為本發(fā)明的優(yōu)選實(shí)施例的說(shuō)明性討論目的，為提供認(rèn)為最有用和最容易理解本發(fā)明的原理和概念方面而呈現(xiàn)。關(guān)于這一點(diǎn)，不嘗試比本發(fā)明的基本理解所需更詳細(xì)地示出本發(fā)明的結(jié)構(gòu)細(xì)節(jié)，結(jié)合附圖所做的描述使本領(lǐng)域的技術(shù)人員如何實(shí)際上具體化本發(fā)明的若干形式顯而易見(jiàn)。
[0027]在詳細(xì)地解釋本發(fā)明的至少一個(gè)實(shí)施例之前，應(yīng)理解本發(fā)明在其應(yīng)用方面不限于在下述描述中闡述或在附圖中所圖示的部件的結(jié)構(gòu)和排列的細(xì)節(jié)。本發(fā)明可應(yīng)用于其他實(shí)施例或以各種方式實(shí)施或執(zhí)行。同時(shí)，應(yīng)理解在此所采用的措辭或術(shù)語(yǔ)是為了描述目的而不應(yīng)被視作限制。
[0028]接下來(lái)是所提出的框架的一般描述以及由發(fā)明人所做的一些示例性設(shè)計(jì)決策的動(dòng)機(jī)。稍后將論述使框架適應(yīng)計(jì)算機(jī)圖形學(xué)中的若干重要具體問(wèn)題。
[0029]在用于尺度分離的計(jì)算機(jī)圖形學(xué)和圖像處理中，廣泛地使用線性平移不變?yōu)V波。實(shí)際上，許多圖像分析和操作算法在沒(méi)有適當(dāng)結(jié)構(gòu)化的多尺度(子帶)分解的情況下不能成功。在大多數(shù)應(yīng)用中，當(dāng)提取特定帶時(shí)所需的頻譜精度與帶水平成比例:通常通過(guò)在頻域中實(shí)現(xiàn)低定位的小型濾波器，提取高頻分量，而低頻通常需要以較高頻譜精度，因此，使用大的低通濾波器。
[0030]諸如小波變換和拉普拉斯金字塔的子帶體系結(jié)構(gòu)依賴(lài)于頻譜“分治”策略，其中，在每個(gè)尺度，經(jīng)濾波劃分頻譜，然后進(jìn)一步遞歸地拆分無(wú)大量數(shù)據(jù)丟失的情況下二次采樣的頻譜的低端。二次采樣步驟允許使用小的固定長(zhǎng)度的濾波器漸進(jìn)地提取低頻，因?yàn)橛捎谑褂枚尾蓸?，域本身縮小以及遠(yuǎn)點(diǎn)變得更近。該方法導(dǎo)致信號(hào)的高效線性時(shí)間處理，并且能達(dá)最大空間尺度地隔離低頻模式(圖像的DC分量)。
[0031]盡管對(duì)一些應(yīng)用來(lái)說(shuō)不是主要障礙，但這些分解遇到兩個(gè)主要缺點(diǎn)。首先，最終變換的坐標(biāo)，因此使用這些坐標(biāo)執(zhí)行的運(yùn)算，對(duì)平移來(lái)說(shuō)是不變量。
[0032]因此，不同于卷積，位移輸入圖像可以比僅空間偏移更大地改變結(jié)果。其次，為實(shí)現(xiàn)0(n)運(yùn)行時(shí)間，有必要使用有限脈沖響應(yīng)濾波器。這些濾波器能實(shí)現(xiàn)一些空間和頻譜定位，但不提供頻譜的理想劃分。如在此所說(shuō)明的，這些屬性對(duì)一些應(yīng)用(諸如求解泊松方程)和對(duì)特定形狀內(nèi)核的設(shè)計(jì)很關(guān)鍵。事實(shí)上，這兩個(gè)缺點(diǎn)支配下述的新方案的設(shè)計(jì)，其目的是在O (η)的計(jì)算成本預(yù)算下，實(shí)現(xiàn)某些平移不變算子的最佳逼近。
[0033]圖2圖示可以實(shí)現(xiàn)在此公開(kāi)的多尺度濾波方案的非限制性示例系統(tǒng)(100)。應(yīng)注意到可以通過(guò)使用在數(shù)字信號(hào)處理(DSP)處理器或通用計(jì)算機(jī)上運(yùn)行的軟件，或在專(zhuān)用集成電路(ASIC)中，實(shí)現(xiàn)系統(tǒng)(100)。在所提出的多尺度濾波方案中，通過(guò)分析濾波器4(104)對(duì)信號(hào)a° (102)卷積，以及使用二次采樣器(106)以因子2 二次采樣該結(jié)果，執(zhí)行正變換。然后，在二次采樣數(shù)據(jù)(112 )上重復(fù)該過(guò)程。此外，在每一級(jí)保持該信號(hào)的未濾波和未采樣副本。形式上，在層次的每一級(jí)，執(zhí)行下述計(jì)算:
[0034]Ct10=Ct1 (I)
[0035]α 1+1= j Qi1* α χ) (2)
[0036]其中，下標(biāo)I表示層次中的級(jí)，以及Jtl是在每一級(jí)保持的未濾波數(shù)據(jù)，以及丨表示二次采樣算子。通過(guò)設(shè)定a° = a，啟動(dòng)變換，其中，a是將濾波的輸入信號(hào)。
[0037]逆變換(合成)包括使用向上采樣器(116)，通過(guò)在每?jī)蓚€(gè)采樣之間插入O來(lái)向上采樣，接著通過(guò)另一濾波器匕(118)卷積。通過(guò)合成器(120)，將內(nèi)插信號(hào)與在通過(guò)第三濾波器g (108)卷積后的那一級(jí)存儲(chǔ)的信號(hào)合成，SP:
[0038]
【權(quán)利要求】
1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，用于用濾波器f應(yīng)用由級(jí)I的分層信號(hào)a1表示的圖像I的卷積的數(shù)值逼近，所述方法包括: 通過(guò)對(duì)于每一層級(jí)I應(yīng)用a1和內(nèi)核Ill之間的卷積以及通過(guò)對(duì)卷積的a1和Ill的結(jié)果進(jìn)行向下采樣，生成正變換； 通過(guò)對(duì)于每一層級(jí)I應(yīng)用內(nèi)核h2和向上采樣的正變換之間的卷積以及將結(jié)果與a1和內(nèi)核g的卷積組合，生成逆變換；以及 將正變換和逆變換組合來(lái)產(chǎn)生為a和f之間的卷積的逼近的#， 其中，內(nèi)核h” hi和g是濾波器f的優(yōu)化內(nèi)核。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括:根據(jù)特定圖像處理應(yīng)用需求，確定層級(jí)I。
3.根據(jù)權(quán)利要求1和2中的任何一個(gè)所述的方法，其中，濾波器f是線性平移不變(LTI)濾波器。
4.根據(jù)權(quán)利要求1至3中的任何一個(gè)所述的方法，其中，通過(guò)選擇最小化1? minF dV -/*α||2的集合 F = Ui1, h2, g},實(shí)現(xiàn)最佳內(nèi)核。
5.根據(jù)權(quán)利要求1至4中的任何一個(gè)所述的方法，其中，以比率2來(lái)向下采樣。
6.根據(jù)權(quán)利要求1至5中的任何一個(gè)所述的方法，其中，通過(guò)以比率2補(bǔ)零來(lái)向上采樣。
7.根據(jù)權(quán)利要求1至6中的任何一個(gè)所述的方法，其中，擬合內(nèi)核來(lái)獲得不同尺度的高斯濾波器。
8.根據(jù)權(quán)利要求1至6中的任何一個(gè)所述的方法，其中，圖像I和濾波器f之間的卷積結(jié)果導(dǎo)致梯度場(chǎng)積分。
9.根據(jù)權(quán)利要求1至6中的任何一個(gè)所述的方法，其中，圖像I和濾波器f之間的卷積結(jié)果導(dǎo)致無(wú)縫圖像克隆。
10.根據(jù)權(quán)利要求1至6中的任何一個(gè)所述的方法，其中，圖像I和濾波器f之間的卷積結(jié)果導(dǎo)致散開(kāi)數(shù)據(jù)內(nèi)插。
11.一種系統(tǒng)，被配置成執(zhí)行根據(jù)權(quán)利要求1至10中的任何一個(gè)所述的方法。
12.—種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序代碼，用于當(dāng)在計(jì)算機(jī)上運(yùn)行所述程序時(shí)執(zhí)行根據(jù)權(quán)利要求1至10中的任何一個(gè)所述的方法。
【文檔編號(hào)】G06T5/00GK103907109SQ201280031391
【公開(kāi)日】2014年7月2日 申請(qǐng)日期:2012年6月27日 優(yōu)先權(quán)日:2011年6月27日
【發(fā)明者】丹尼爾·利斯欽斯基, 拉阿南·法塔爾, 澤埃夫·法布曼 申請(qǐng)人:耶路撒冷希伯來(lái)大學(xué)伊薩姆研究發(fā)展有限公司