專利名稱：：模糊邊緣平滑度先驗及其在阿爾法通道超分辨率上的應(yīng)用的制作方法模糊邊緣平滑度先驗及其在阿爾法通道超分辨率上的應(yīng)用本發(fā)明要求2006年11月27日提交的美國臨時申請60/867,259的權(quán)益，該申請的內(nèi)容被結(jié)合于此以作參考。
背景技術(shù)：
：圖像超分辨率(SR)是從低分辨率輸入圖像中獲得高質(zhì)量圖像的方法。SR被廣泛地應(yīng)用于視頻通信、對象識別、HDTV、圖像壓縮、僅可從中獲得低分辨率圖像的其它情況。一般而言，通過由低質(zhì)量的圖像傳感器對目標場景進行平滑化和下采樣(down-sample)來產(chǎn)生低分辨率圖像。該產(chǎn)生過程的逆問題是從單個低分辨率(LR)圖像來恢復原始高分辨率(HR)圖像的任務(wù)。理想地，該過程中的重建誤差(或圖像似然項(likelihoodterm))應(yīng)該;故最小4匕。作為迭代過程的反向投影(back-projection)已被用來有效地最小化重建誤差。然而，該過程可能會在產(chǎn)生過程期間丟失大量的信息。為了克服這個難點，圖像先驗項(priorterm)被用來調(diào)整該逆問題。兩個公知的圖像建模先驗是圖像平滑度(smoothness)先驗和邊緣平滑度先驗。鄰近的像素可能具有相同的顏色，因此各種濾波/插值算法(例如，雙線性算法或雙三次插值算法)可被用來產(chǎn)生平滑的高分辨率圖像。其它平滑化技術(shù)包括最小化圖像微分(derivative)。對于一維的情況，可以使用線性閉型解(linearclosedformsolution)。然而，由于圖像平滑度先驗在區(qū)域邊界處是無效的，所以這些方法趨向于產(chǎn)生過度平滑的結(jié)果，從而降低了圖像質(zhì)量。為了保持邊緣銳度，邊緣定向的插值可被用來使平滑的子像素邊緣適于圖像并且避免跨邊緣插值。然而，對高精密的邊緣位置定位可能是不平凡的(non-trivial)任務(wù)。當采用插值方法執(zhí)行SR時，需要去除發(fā)生的棋盤效應(yīng)。對于給定的低分辨率輸入，可以通過研究邊緣空間平滑度先驗來對高分辨率邊緣定位，這意味著在沒有其它信息的情況下一般優(yōu)先采用平滑曲線。一種技術(shù)重建了所有圖像水平集(level-set)輪廓的平滑近似(approximation),以便同時細化(refine)邊緣以及去除棋盤效應(yīng)。為了避免過度平滑，可以引入硬約束，它們是源自圖像似然的基本信息。另一種技術(shù)一起考慮了所有三個顏色通道，并且通過多尺度張量表決(voting)來推理出高分辨率曲線。根據(jù)通過已修改的反向投影迭代所提取的曲線性(curveness)圖來恢復HR圖像。還有另一種技術(shù)使用基于蛇形(snake-based)的矢量化來實現(xiàn)圖標圖像SR的平滑邊界。用于SR的另一種圖像建模先驗技術(shù)包括使用兩種顏色的圖像先驗，這意味著在局部鄰域內(nèi)的每一個像素應(yīng)當是兩種有代表性的顏色中的一種或它們的線性組合。還使用了稀疏微分先驗(sparsederivativeprior)技術(shù)。作為對圖像先驗建模的代替，圖像樣本可以被直接使用。圖像通常被建模為馬爾科夫隨機場?；诘皖l信息來選擇每個位置的各種候選。通過成對的交互作用主要在重疊區(qū)域?qū)嵤┛臻g一致性。通過置信傳播來解決最終的離散優(yōu)化問題。該方法還可應(yīng)用于視頻序列，例如在特定域的視頻SR中的視頻序列。對于基于樣本的方法來說，通常需要處理兩個關(guān)鍵問題一個是有效地找到HR候選補丁(patch)，位置敏感散列法(LocalitySensitiveHashing)以及KD-樹被用來加速搜索。該方法還已被用于圖像原始要素圖以便它們僅需要對鏈結(jié)構(gòu)進行優(yōu)化。而其它以學習為基礎(chǔ)的方法也已被用于從中頻來推斷高頻信息。例如，局部線性嵌入可被用于學習高維流形(manifold)。
發(fā)明內(nèi)容在一個方面，本發(fā)明公開了通過對低分辨率圖像執(zhí)行高分辨率邊緣段提??；對每個邊緣段執(zhí)行圖像超分辨率；執(zhí)行重建約束加強；以及由低質(zhì)量圖像產(chǎn)生高質(zhì)量圖像來處理低分辨率圖像的系統(tǒng)和方法。在概括了Geocut方法的另一個方面中，將模糊(soft)邊緣平滑度測量定義為對圖像中的所有水平線的平均長度的近似?？梢詫蝹€圖像超分辨率應(yīng)用該圖像先驗。為了得出對所有具有不同強度的邊緣的統(tǒng)一處理，應(yīng)用了彩色圖像超分辨率框架。采用阿爾法圖像抽取來分解每個邊緣段以便恢復邊緣段兩側(cè)的實際顏色。通過超分辨率將平滑度先驗結(jié)合到阿爾法通道上。在又一方面中，系統(tǒng)對強度圖像應(yīng)用定義的模糊剪切度量(硬剪切度量的一般化)，并且隨后對自然色圖像應(yīng)用了阿爾法圖像抽取技術(shù)，以便求解模糊邊緣平滑度先驗。該度量可以通過近似所有水平線的平均長度來測量模糊邊緣平滑度。將其作為先驗項添加到超分辨率任務(wù)可以實現(xiàn)邊緣保持和邊緣平滑二者。系統(tǒng)將彩色圖像超分辨率問題轉(zhuǎn)換成阿爾法通道超分辨率和阿爾法圖像抽取的結(jié)合?？梢詫㈤]型阿爾法圖像抽取解用于以統(tǒng)一的方法通過阿爾法通道描述每個邊緣段。同時利用源自所有三個通道的顏色信息。以上方面的實施可包括下面的一個或多個。可以對每個邊緣段應(yīng)用阿爾法圖像抽取來得到阿爾法通道和顏色。該過程可以對每個邊緣段執(zhí)行雙三次插值。該過程可以對雙三次插值的數(shù)據(jù)應(yīng)用圖形剪切來產(chǎn)生超分辨率阿爾法通道。將一種或多種顏色分配給超分辨率阿爾法通道。該過程可以得出低分辨率圖像的平滑邊緣先驗。高分辨率邊緣段提取可以使用一個或多個不同尺寸的鄰域。也可以使用不同的距離圖。可以應(yīng)用Geocut方法來從低分辨率圖像提供超分辨率。上述系統(tǒng)的優(yōu)點可包括下面的一個或多個。系統(tǒng)從單個低分辨率輸入圖像提供超分辨率(或圖像幻像(hallucination))。系統(tǒng)使用的阿爾法圖像抽取技術(shù)可以通過結(jié)合源自所有三個通道的顏色信息來提取邊緣，從而可獲得更精確的結(jié)果。系統(tǒng)可以用阿爾法通道來表示每個邊緣。系統(tǒng)還可以將其歸一化(normalize)為統(tǒng)一的尺度并且避免了對模糊邊緣平滑度先驗的參數(shù)選擇的需要。角點檢測算法可有助于避免角點的過度平滑的問題。最后得到的圖像具有平滑而且清晰的邊緣，這通常是改善人類感知所優(yōu)先考慮的。系統(tǒng)支持圖像平滑度先驗偏好清晰的邊緣而邊緣平滑度先驗偏好空間平滑邊緣的互相沖突的要求。系統(tǒng)還用統(tǒng)一的方式結(jié)合了這兩個因素。系統(tǒng)還可以處理顯示了具有不同狀況的很多種邊緣的自然色圖像。系統(tǒng)還可以通過同時利用源自所有三個顏色通道的信息來確定邊緣。通過統(tǒng)一的框架來完成3D顏色信息和邊緣處理。圖l-2示出了對圖像執(zhí)行SR的示范性過程。圖3-4示出了模糊邊緣平滑度先驗過程的一個實施例。圖5是圖形剪切過程的一個實施例的示范性說明。圖6示出了具有不同的的各種示范性鄰域系。圖7(a)示出了示范性LR輸入圖像，而圖7(b)、(c)以及(d)分別示出了當=2、4、20時具有模糊邊緣平滑度先驗的示范性SR結(jié)果。圖8a-8f比較了由不同的參數(shù)設(shè)置而形成的圖像。圖9示出了對角點附近的區(qū)域?qū)嵤┠：吘壠交认闰灥慕Y(jié)果。圖10a-10f示出了圖像補丁的示范性結(jié)果。圖11示出了圖10(a)的整個圖像的結(jié)果。圖12A-12C示出了對包括動物、自然景物、人臉以及計算機圖形在內(nèi)的各種類別的圖像的實驗結(jié)果。具體實施例方式圖1示出了對圖像執(zhí)行SR的示范性過程。首先，接收輸入圖像(100)。接下來，該過程執(zhí)行邊緣段提取(110)。隨后該過程對每個段執(zhí)行SR(120)。這通過對強度圖像應(yīng)用定義的模糊剪切度量(硬剪切度量的一般化(generalization))來完成。度量可以通過近似所有水平線的平均長度來測量模糊邊緣平滑度。將其作為先驗項添加到超分辨率任務(wù)可以實現(xiàn)邊緣保持和邊緣平滑度二者。隨后應(yīng)用阿爾法圖像抽取(alphamatting)技術(shù)來對自然色圖像求解(solve)模糊邊緣平滑度先驗。從而可以將彩色圖像SR過程轉(zhuǎn)換成阿爾法通道超分辨率和阿爾法圖像抽取的結(jié)合。閉型阿爾法圖像抽取解(closedformalphamattingsolution)可被用于以統(tǒng)一的方法通過阿爾法通道描述每個邊緣段。同時利用源自所有三個通道的顏色信息。接下來，該過程執(zhí)行重建約束加強(re-enforcement)(130)。隨后，該過程產(chǎn)生高分辨率輸出圖像(140)。結(jié)果是具有平滑且清晰(sharp)的邊緣的輸出圖像，其對于更好的人的感知來說通常是優(yōu)選的。在圖2中圖示地描述了圖1的SR過程。如圖中所示，接收低分辨率圖像(210)。接下來，完成人的低分辨率輸入圖像的邊緣段提取(220)，以及隨后對每個邊緣段執(zhí)行SR過程(230)。通過源自所有三個顏色通道的信息來同時確定邊緣。這導致圖片的外形的銳化(240)。接下來，應(yīng)用重建約束加強(250)，產(chǎn)生高分辨率輸出圖像(260)。以統(tǒng)一的方式結(jié)合圖1-2的過程，該方式穩(wěn)健地處理圖像平滑度先驗偏好清晰的邊緣而邊緣平滑度先驗偏好空間平滑邊緣的要求。這些過程研究3D顏色信息并且用統(tǒng)一的框架處理那些邊緣以便有效且穩(wěn)健地處理彩色圖像SR。圖3示出了模糊邊緣平滑度先驗過程的一個實施例。首先，選擇一個或多個邊緣段(310)。對于每個邊緣段，該過程對該邊緣段的不同側(cè)執(zhí)行阿爾法圖像抽取以得到阿爾法通道和顏色(320)。接下來，該過程對每個邊緣段執(zhí)行雙三次插值(330)。基于Geocut算法，該過程對雙三次的結(jié)果應(yīng)用圖形剪切以得到超分辨率阿爾法通道(340)。隨后該過程將在步驟320中產(chǎn)生的顏色分配回新的超分辨率阿爾法通道(350)。圖4示出了圖3的操作過程的圖示說明。首先，選擇低分辨率輸入邊緣段(410)。接下來，應(yīng)用阿爾法圖像抽取過程(420)以產(chǎn)生低分辨率阿爾法通道并且對圖像執(zhí)行雙三次插值(430)。該過程對雙三次的結(jié)果應(yīng)用圖形剪切以達到高分辨率阿爾法通道(440)。將在420中產(chǎn)生的顏色分配回新的SR阿爾法通道以產(chǎn)生輸出結(jié)果(450)?？梢詫Φ头直媛蕡D像執(zhí)行第二次雙三次插值以便與輸出結(jié)果進行比較(460)。在以上實施例中，系統(tǒng)采用Geocut技術(shù)來執(zhí)行模糊邊緣平滑度先驗。在Geocut中，對于給定的加權(quán)網(wǎng)格圖形"={V,E}，以及W中的曲線C，假定Ec是與該曲線相交的邊緣的集。則C的剪切度量被定義為l=Z托Ec(1)其中，we是邊緣的權(quán)(edgeweight)。它是與C相交的邊緣的加權(quán)總和。該Geocut過程將規(guī)則網(wǎng)衞regulargrid)S的鄰域系定義為矢量集W-{ek|l《k《}，其中ek由它們與+x軸的相應(yīng)角(j)k來排序，使得osch〈(^〈…〈(^〈7r。此外，&作為《中的第k個最近的鄰近組而被選擇。在圖6中示出了一些實例。假定ick是曲線C的歐幾里德長度，一fc-巾fc"-^(^s+i-^，則通過設(shè)置^可'(2)定理1:如果C是在R2中與每條直線相交有限次的連續(xù)可微的正則曲線(regularcurve)，那么當6、supk|A(J)kl和supk|ek|為零時則:<formula>formulaseeoriginaldocumentpage9</formula>換句話說，可以通過曲線的剪切度量來近似曲線長度。在任意的黎曼度量下，該方法可被概括進3D中?？梢酝ㄟ^圖形剪切方法在接近的線性時間中找到全局最小值。如其名稱所暗示的，Geocut構(gòu)建了兩個公知的分割算法(即測地線活動輪廓(Geodesicactivecontour)與圖形剪切)之間的重要關(guān)系。使用高階鄰域的一個常見問題是權(quán)的設(shè)置。一種解決方案是將剪切度量結(jié)合到目標函數(shù)中。這樣做可增加邊緣平滑度先驗，從而最小化公制化贗^象(metricationartifact)?？梢栽诓幌嘟坏拈]曲線C的任何集上定義剪切度量，或者等效地，112上的二元值函數(shù)&()表示如下<formula>formulaseeoriginaldocumentpage9</formula>貝'J,函數(shù)LG的剪切度量可被表示為<formula>formulaseeoriginaldocumentpage9</formula>其中，Nk包含在第k組鄰域的路徑中的所有節(jié)點對。其僅是等式l的另一種書寫方式。作為對R2上的二元值函數(shù)的代替，系統(tǒng)可以類似地相對于網(wǎng)格圖形G來為W上的實值函數(shù)S定義如下的模糊剪切度量<formula>formulaseeoriginaldocumentpage9</formula>通過用步長(step)丄來均勻地量化函數(shù)值，函數(shù)S可由從{();;1}取值的Sd近似。類似地，可以通過在等式5中用Sd替換S來定義Sd的模糊剪切度量?？梢酝ㄟ^水平線^,2..."^的集合來等效地描述Sd，其中A是R2中的在具有Sd值〈丄的點和具有Sd值》丄的點之間的邊界。由定理l,系統(tǒng)知道了4的長度可以由其剪切度量|￡4來近似?；诖?，可以證明下面的定理。定理2:在與定理1的條件相同的情況下，假定S是在W上的連續(xù)可微的范圍為[O,l]的正則函數(shù)，并且Sd是具有量化步長l的s的離散形態(tài)(version),則相對于丄，S中的所有水平線的平均長度可由Sd的模糊剪切度量來近似，或者Wsn(6)定理2可被認為是對定理1的一般化并且可適用于模糊分割而不是二元分割。定理暗示了通過最小化模糊剪切度量，可以將離散水平線的長度總和最小化，從而可以結(jié)合模糊邊緣的平滑度先驗。接下來，將討論關(guān)于超分辨率的以上定理的應(yīng)用?？梢酝ㄟ^大氣模糊、運動、相機模糊和下采樣的結(jié)合來描述LR圖像的產(chǎn)生過程。通過為整個圖像假定單個濾波器G來簡化最初的三個因素的影響，并且隨后其可由下面的公式表達/'=()i,(7)其中P和I'分別是HR和LR圖像，G是空間濾波器，*是巻積算子，以及i是下采樣算子。通過將目標函數(shù)定義為下式，可以將模糊剪切度量直接應(yīng)用于SR問題/h=argm/+;i|/|5),(8)其中=||/!-(/*g)iH!是似然項。其基于在給定的LR圖像^和由/合成的LR圖像之間的距離L2。l"s是由等式5定義的模糊邊緣的平滑度先驗項。X是平衡這兩項的參數(shù)?？梢詫λ迫缓拖闰烅検褂貌煌姆稊?shù)(norm)，這是由于以下的原因..1、因為對大的重建誤差而言，距離Lz比Ll消耗(punish)的多，所以將距離L2用于似然項。2、盡管對于硬邊緣來說對于定義的剪切度量距離L2沒有差別，但定理2將不再有效。3、此外，最小化梯度(gradient)的L2范數(shù)不是邊緣保持，考慮1D的情況將有助于理解這個屬性。L2范數(shù)通常導致跨邊緣的分級過渡(graduatetransition)，尤其對于僅具有一個LR輸入圖像的情況。系統(tǒng)通過最陡下降算法來優(yōu)化該問題。這可以通過將鄰域的相同組放在一起，來以非常有效的方式實現(xiàn)。在該部分，對于彩色圖像來說，系統(tǒng)只是分別將該方法應(yīng)用于三個顏色通道。圖5是圖形剪切過程的一個實施例的示范性說明。在圖5中，有效的邊緣平滑度先驗是圖像超分辨率所必需的，這是因為其欠定(under-determined)性質(zhì)。然而，一般難以用解析形式來評估邊緣平滑度，尤其對于展示出強度逐漸過渡的模糊邊緣來說。在圖5中，基于geocut方法在大的鄰域系上定義模糊邊緣平滑度度量，其是對圖像中的所有水平線的平均長度的近似。一般，更大量的鄰域?qū)a(chǎn)生更平滑的邊界。圖6示出了=2和=8(左)以及=20(右)的示范性鄰域系，高亮的像素是由X標記的像素的鄰居(neighbor)。為清楚起見，僅示出了在第一象限中的鄰居。圖7a-7d示出了采用高階鄰域的必要性。圖7(a)示出了LR輸入圖像。而圖7(b)、(c)和(d)分別是當=2、4、12時采用模糊邊緣平滑度先驗的SR結(jié)果。對于小的來說，可以觀察到公制化效果。在圖7(c)中存在一些45。贗像，這是因為對其使用8-鄰域系。圖8a-8f比較了由不同的參數(shù)設(shè)置而形成的圖像。在圖8(a)中，使用了LR輸入圖像(20x20)。在圖8(b)中，X=0.01,=12。在圖8(c)中，1=0.001，=12。圖8(d)示出了雙三次插值的結(jié)果，而圖8(e)采用了X=0.01，=2,(f)采用了X=0.1,=12。在(b)中應(yīng)用了比在(e)中更大的，從而產(chǎn)生了更平滑的邊界。在(c)中，系統(tǒng)使用了比在(b)中更小的入，從而將更多的權(quán)放在數(shù)據(jù)擬合項上，這使得結(jié)果看起來過度銳化。在(f)中，使用了比在(b)中更大的人，邊緣平滑度先驗被過于強調(diào)了，所有邊界都非常平滑，但結(jié)果是模糊的。一般而言，參數(shù)的效果可被總結(jié)如下1、更大的將產(chǎn)生更平滑的邊界，但要求更多的計算。在所有后面的實驗中，如在圖6的右部所示出的，被設(shè)置成20,X的值很重要，小的X可產(chǎn)生過度銳化的圖像，而大的入可產(chǎn)生過度平滑化的結(jié)果。實際上，還存在可以影響結(jié)果的另一參數(shù)，它是在產(chǎn)生模型中的過濾器G(等式7)。然而，估計G超出了本文的范圍，系統(tǒng)貫穿全文將其固定為具有a-2的高斯濾波器。在圖9中示出了對于不同的情況更多的結(jié)果，并且這些圖像示出了即使對于具有差質(zhì)量的LR圖像即時(instant)算法也可以產(chǎn)生好的結(jié)果。系統(tǒng)的算法的優(yōu)點在于系統(tǒng)具有結(jié)合先驗和似然項二者的明確目標函數(shù)并且存在對于結(jié)果的確切的幾何解釋。對于自然色圖像SR來說，三個原因限制了通過簡單地分別處理每個顏色通道而將模糊邊緣平滑度先驗直接應(yīng)用到整個圖像的性能將源自所有三個通道的顏色信息作為整體來確定確切的邊緣位置。對每個通道分別作出的決定可能是錯誤的并且彼此可能不一致。由模糊邊緣平滑度先驗得到的SR對與實際邊緣強度相關(guān)的入值敏感。以圖9中的第三個圖像為例，采用這組參數(shù)一些弱(weak)邊緣被平滑掉，而實際上，它們可由實驗中的更小X來完美地提取。需要一些邊緣強度歸一化(normalization)機制以便使所有邊緣的統(tǒng)一處理成為可能。對角點附近的區(qū)域?qū)嵤┠：吘壠交认闰瀸a(chǎn)生不期望的平滑化曲線，這在圖9中也可以觀察得到。這些問題可以由提供自然色圖像SR處理的圖1的過程來解決。用于此處的偽碼如下輸入LR圖像f和尺度因子(scalefactor)s。輸出HR圖像I111、邊緣段提取以及區(qū)域分配以得到(c"和{pi}。2、對于每個段Ci,處理&如下-通過閉型阿爾法圖像抽取解從l4十算F1、B'和a1。-通過具有模糊邊緣平滑度先驗的單個通道SR，阿爾法通道SR以便從a"得到ah。-通過F1、B'和ah來合成HR補丁。3、通過反向投影來加強對整個圖像的重建約束。在一個實施例中，標準的謹慎(Canny)邊緣檢測算法被用來提取連續(xù)邊緣。應(yīng)用了基于曲率尺度空間的穩(wěn)健的角點檢測算法。這些角點可將邊緣斷開成段。每個邊緣段G都是連續(xù)曲線(可能是閉合的)，并且通過關(guān)于圖像梯度的分水嶺算法來將專用的鄰近補丁A分配給每個邊緣段。系統(tǒng)分別處理了在A處的每個邊緣段。對于每個提取的邊緣段來說，如果它們的系統(tǒng)將該邊緣的兩側(cè)看作是前景和背景，則問題可變?yōu)榘柗▓D像抽取問題。因此，可以通過閉型解來恢復邊緣兩側(cè)的真實顏色。LR輸入是通過阿爾法通道對這兩個的混合，其范圍是[O，1。在低分辨率上處理整個阿爾法圖像抽取部分。此后，基于模糊邊緣平滑度先驗的超分辨率被用來產(chǎn)生HR阿爾法通道，給出由阿爾法圖像抽取提取的LR阿爾法通道。將HR阿爾法通道與該邊緣兩側(cè)的LR補丁相結(jié)合以產(chǎn)生HR圖像。最后，反向投影被用于在沒有突出的邊緣段的情況下實施區(qū)域的重建約束。阿爾法圖像抽取技術(shù)可以通過結(jié)合源自所有三個通道的顏色信息來提取邊緣，從而可獲得更精確的結(jié)果。該過程還用阿爾法通道表示每個邊緣并且可以將其歸一化為統(tǒng)一的尺度以避免對模糊邊緣平滑度先驗的參數(shù)選擇的需要。此外，角點檢測算法可有助于避免角點的過于平滑的問題。阿爾法圖像抽取是通過阿爾法通道將圖像分解成背景圖像與前景圖像的線性組合的技術(shù)。計算機圖形學中的一個重要問題就是提取用于圖像編輯的前景對象。理想地，鄰近的背景色的影響應(yīng)當被去除。假定背景圖像和前景圖像是F和B，則下面的等式適用于每個像素p:/p-CTpFp+(1_OTp)Bp,(9)其中，ap是像素p的前景不透明度，其取值于[O,l]。對于給定的混合圖像/，F(xiàn)、B和a的求解同樣是欠定的逆問題。類似地，HR步長邊緣也可被認為是通過權(quán)通道a對兩個平滑補丁的結(jié)合，如下式所示其中/〖和/纟表示處于HR的邊緣兩側(cè)的實際圖像顏色。隨后通過等式7,相應(yīng)的LR圖像可以如下式所示/!=(《+(1-a"")*G丄=(ah*0丄/i1丄+(1—*G)丄)/》i.(j)如果假定"和^二者都是局部平滑的(這對于SR任務(wù)來說是合理的)，則可采取近似等式。通過假定"=(/1")丄,/="=/^以及5=/#丄.，等式12正好與等式9相同。這意味著系統(tǒng)可以對f進行阿爾法圖像抽取從而得到(""G)i、/fi和^i,隨后可以相應(yīng)地根據(jù)它們來恢復a"〖,"。從a」0"G)丄來恢復ah正是先前所討論的問題，然而給定/;;和/纟的下采樣形態(tài)，由于對它們的平滑度假定，則可以用雙三次方法對"和"插值。通過假定F和B二者都近似地滿足局部線性模型，來結(jié)合正則性(regularity)項。從而可以得到閉型解?？梢詫⒂布s束容易地實施為成本函數(shù)(costfunction)。當系統(tǒng)在圖像區(qū)域Ri內(nèi)應(yīng)用該方法時，通過分析局部拓樸和圖像梯度來選擇兩側(cè)的硬約束。選擇具有低的局部對比度的像素，這是因為它們與一側(cè)的純色相對應(yīng)。即使對于非常有限量的硬約束，阿爾法圖像抽取算法也穩(wěn)健地處理下面所討論的樣本實例。阿爾法圖像抽取可被用在提取a值以便得到曲線的子像素位置之處。兩種顏色的圖像先驗還被用于去馬賽克，其假定在局部鄰域內(nèi)的每個像素是兩種代表性的顏色之一或它們的線性組合。該假定基本上非常類似于將阿爾法圖像抽取用于SR的想法。圖IO示出了圖像補丁結(jié)果的縮放。雙三次插值產(chǎn)生了模糊的結(jié)果。銳化的雙三次是在Photoshop中給出的結(jié)果，它比雙三次較好，但仍是模糊的，并且存在棋盤效應(yīng)。(d)是反向投影的結(jié)果，其中雙三次結(jié)果作為初始輸入?？梢悦黠@地，見察到棋盤效應(yīng)和振鈴效應(yīng)(ringingeffect)。本系統(tǒng)的方法產(chǎn)生了清晰且平滑的邊緣。圖11示出了10(a)的整個圖像的結(jié)果，本發(fā)明的方法給出了感知上最受人歡迎的結(jié)果。在圖12A-12C中示出了對包括動物、自然景物、人臉以及計算機圖形在內(nèi)的各種類別圖像的更多實驗。表l示出了與雙三次插值相比較的誤差減少的結(jié)果。在該系統(tǒng)的實驗中縮放因子被設(shè)置成3。以及人=0.01被用于阿爾法通道SR。在具有2G隨機存取存儲器的PIV3.4G的PC上用Matlab來完成該實驗。通常，對于尺寸為160x120的LR輸入圖像PC花費1-2分鐘，這取決于邊緣密度。表l.與雙三次插值相比較的誤差減少<table>tableseeoriginaldocumentpage14</column></row><table>總之，示范性系統(tǒng)提供了高效的單個圖像超分辨率算法。在大的鄰域系上定義了模糊邊緣平滑度先驗，這是對圖像中的所有水平線的平均長度的近似。為了處理自然色圖像SR,使用閉型阿爾法圖像抽取算法來分解每個邊緣，從而使對所有邊緣段的統(tǒng)一處理成為可能。該系統(tǒng)為廣泛種類的圖像提供了視覺上受人歡迎的結(jié)果還可以用硬件、固件或軟件或三者的組合來實現(xiàn)本發(fā)明。優(yōu)選地，本發(fā)明可以在執(zhí)行于可編程計算機上的計算機程序中實施，該可編程計算機具有處理器、數(shù)據(jù)存儲系統(tǒng)、易失性或非易失性存儲器和/或存儲元件、至少一個輸入裝置以及至少一個輸出裝置。接下來以實例的方式討論支持本系統(tǒng)的計算機的框圖。計算機優(yōu)選地包括處理器、隨機存取存儲器(RAM)、程序存儲器(優(yōu)選為例如閃速ROM的可寫入只讀存儲器(ROM))以及由CPU總線來耦合的輸入/輸出(1/0)控制器。計算機可以可選地包括耦合到硬盤和CPU總線的硬盤驅(qū)動器控制器。硬盤可被用于存儲例如本發(fā)明的應(yīng)用程序和數(shù)據(jù)。可替換地，應(yīng)用程序可被存儲在RAM或ROM中。通過I/O總線將I/O控制器耦合到I/0接口。1/0接口通過例如串行鏈路、局域網(wǎng)、無線鏈路和并行鏈路的通信鏈路來以模擬或數(shù)字的形式接收并傳送數(shù)據(jù)。可選地，還可將顯示器、鍵盤和定位裝置(鼠標)連接至I/0總線?？商鎿Q地，單獨的連接(單獨的總線)可被用于I/0接口、顯示器、鍵盤和定位裝置?？删幊烫幚硐到y(tǒng)可以是預編程的或可以通過從另一個源(例如軟盤、CD-ROM或另一個計算機)下栽程序來對其編程。每個計算機程序確實地存儲在可由通用或?qū)Ｓ每删幊逃嬎銠C讀取的機器可讀存儲介質(zhì)或裝置(例如程序存儲器或磁盤)中，以便當通過計算機讀取存儲介質(zhì)或裝置來執(zhí)行在此描述的過程時配置和控制該計算機的操作。本發(fā)明的系統(tǒng)還可以被認為包含在配置有計算機程序的計算機可讀存儲介質(zhì)中，將存儲介質(zhì)這樣配置使計算機以特定且預定義的方式來操作，從而執(zhí)行在此描迷的函數(shù)。在此非常詳細地描述本發(fā)明以便遵照專利法規(guī)并且為本領(lǐng)域技術(shù)人員提供應(yīng)用新原理和構(gòu)建以及使用這種被要求的專用元件所需要的信息。然而，應(yīng)當理解，可以通過特定不同的設(shè)備和裝置來執(zhí)行本發(fā)明，并且在不脫離本發(fā)明其自身的范圍的情況下可以實現(xiàn)關(guān)于設(shè)備細節(jié)和操作過程二者的各種修改。權(quán)利要求1.一種處理低分辨率圖像的方法，包括a、對低分辨率圖像執(zhí)行高分辨率邊緣段提??；b、對每個邊緣段執(zhí)行圖像超分辨率；c、執(zhí)行重建約束加強；以及d、由低質(zhì)量圖像產(chǎn)生高質(zhì)量圖像。2.如權(quán)利要求1所述的方法，包括對每個邊緣段執(zhí)行阿爾法圖像抽取以得到阿爾法通道和顏色。3.如權(quán)利要求1所述的方法，4.如權(quán)利要求1所述的方法切以產(chǎn)生超分辨率阿爾法通道。5.如權(quán)利要求4所述的方法，率阿爾法通道。6.如權(quán)利要求1所述的方法先驗。7.如權(quán)利要求6所述的方法，(l-a)xB。8.如權(quán)利要求1所述的方法個或多個不同尺寸的鄰域。9.如權(quán)利要求1所述的方法，包括得到不同的距離圖。10.如權(quán)利要求1所述的方法，包括應(yīng)用Geocut方法。11.如權(quán)利要求1所迷的方法，包括對強度圖像應(yīng)用定義的模糊剪切度量。12.如權(quán)利要求1所迷的方法，包括應(yīng)用阿爾法圖像抽取技術(shù)來對自然色圖像提供模糊邊緣平滑度先驗。13.如權(quán)利要求1所述的方法，包括通過近似一個或多個水平線的平均長度來測量模糊邊緣平滑度。14.如權(quán)利要求13所述的方法，包括為超分辨率添加作為先驗項的模糊邊緣平滑度以便實現(xiàn)邊緣保持和邊緣平滑度。15.如權(quán)利要求1所迷的方法，包括將彩色圖像超分辨率轉(zhuǎn)換成阿爾法通道超分辨率和阿爾法圖像抽取。16.如權(quán)利要求1所述的方法，包括使用閉型阿爾法圖像抽取解來以包括對每個邊緣段執(zhí)行雙三次插值。包括對雙三次插值的數(shù)椐應(yīng)用圖形剪包括將一種或多種顏色分配給超分辨包括得出低分辨率圖像的邊緣平滑度其中邊緣平滑度先驗包括I=axF+其中高分辨率邊緣段提取包括使用一統(tǒng)一的方法通過阿爾法通道描述每個邊緣段。17.如權(quán)利要求16所述的方法，其中同時利用源自多個通道的顏色43息。18.如權(quán)利要求1所述的方法，包括執(zhí)行邊緣段提取和區(qū)域分配以得到(Ci〉和(pJ。19.如權(quán)利要求18所述的方法，對于每個段Ci，處理pi以便通過閉型阿爾法圖像抽取解來由li計算F1、B'和a';執(zhí)行阿爾法通道SR以便通過具有模糊邊緣平滑度先驗的單個通道超分辨率由c^得到ah;以及通過F1、B,和ah來合成高分辨率補丁。20.如權(quán)利要求19所述的方法，通過反向投影來加強對圖像的重建約束。21.如權(quán)利要求1所述的方法，包括應(yīng)用謹慎邊緣檢測算法來提取連續(xù)邊緣。22.如權(quán)利要求1所述的方法，包括應(yīng)用基于曲率尺度空間的角點檢測方法。23.如權(quán)利要求22所述的方法，包括將一個或多個邊緣斷開成段。全文摘要公開了用于通過以下來處理低分辨率圖像的系統(tǒng)和方法對低分辨率圖像執(zhí)行高分辨率邊緣段提取；對每個邊緣段執(zhí)行圖像超分辨率；執(zhí)行重構(gòu)約束加強；以及從低質(zhì)量圖像產(chǎn)生高質(zhì)量圖像。文檔編號G06T7/40GK101578632SQ200780033197公開日2009年11月11日申請日期2007年11月28日優(yōu)先權(quán)日2007年10月10日發(fā)明者M·韓,S·戴,W·徐,Y·吳,Y·鞏申請人:美國日本電氣實驗室公司