專利名稱：從多個(gè)較低清晰度圖像計(jì)算較高清晰度圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及基于多個(gè)較低清晰度圖像生成作為較高清晰度 圖像的所謂超清晰度圖像。
背景技術(shù)：
在電子成像應(yīng)用中，具有較高清晰度的圖像更合乎需要。具有較
高清晰度的圖像具有更大的像素密度，且因此示出比同 一場景(scene ) 的較低清晰度圖像的更多細(xì)節(jié)。較高清晰度圖像具有許多應(yīng)用，例如 包括醫(yī)療成像、衛(wèi)星成像、計(jì)算初4見覺、 一見頻監(jiān)一見、面部識別、汽車 牌號碼提取與識別以及將數(shù)字通用盤視頻轉(zhuǎn)換為高密度電視等。
在超清晰度圖像重構(gòu)(reconstruction)中，用場景的多個(gè)所觀察 較低清晰度圖像或幀來創(chuàng)建較高清晰度圖像。較低清晰度圖像可為同 一場景的不同視圖。它們可從同一相機(jī)例如在逐幀地在相機(jī)位置中引 入小的所謂子像素移位或者捕獲該場景中的少量運(yùn)動時(shí)獲得。備選 地，低清晰度圖像可使用瞄準(zhǔn)同一場景的不同相機(jī)來捕獲。接著，通 過對準(zhǔn)或適當(dāng)組合低清晰度圖像以便獲得附加圖像信息來重構(gòu)合成 的高清晰度圖像。該過程還可包括圖像恢復(fù)(restoration),在圖像恢 復(fù)中還可執(zhí)行去模糊和去噪聲操作。
合成的高清晰度圖像的重構(gòu)是一個(gè)難題，因?yàn)樗鼘儆诜床贿m定 (ill-posed)數(shù)學(xué)問題的類別。所需信號處理可^C解釋為所謂觀察模 型的逆，所述觀察模型是描述基于已知相機(jī)參數(shù)形成場景的低清晰度 圖像的數(shù)學(xué)確定性方法。由于該場景由其可接受質(zhì)量的高清晰度圖像 近似，因此該觀察模型通常定義為將場景的高清晰度離散圖像與其對 應(yīng)低清晰度圖像相關(guān)。這種關(guān)系可給出為幾何變換、模糊算子與下采 樣算子外加加性噪聲項(xiàng)的級聯(lián)。

發(fā)明內(nèi)容
本發(fā)明一方面提供一種形成超清晰度圖像的方法，包括通過將 較低清晰度像素映射到較高清晰度圖像的特定區(qū)域來形成超清晰度 圖像；以及將所述像素的關(guān)聯(lián)數(shù)據(jù)收集到緩沖器中。
本發(fā)明另一方面提供一種用于超清晰度圖像的處理設(shè)備，包括 多核處理器，通過將較低清晰度像素映射到較高清晰度圖像的特定區(qū) 域形成超清晰度圖像；以及緩沖器，耦合到所述處理器以便收集所述 像素的關(guān)聯(lián)數(shù)據(jù)。


圖1是依照本發(fā)明的 一種實(shí)施例的重裝算法的流程圖； 圖2是依照本發(fā)明的 一種實(shí)施例的梯度運(yùn)算的流程圖； 圖3是依照本發(fā)明的 一種實(shí)施例的非線性迭代共軛梯度優(yōu)化的流 程圖4是對一種實(shí)施例的系統(tǒng)描述。
具體實(shí)施例方式
觀察模型一 一 描述場景的較低清晰度圖像的形成的數(shù)學(xué)確定'性 方法，可用數(shù)學(xué)關(guān)系式Y(jié)=W*f+n來表示，其中，Y是所觀察較低清 晰度圖像的集合，且W表示較高清晰度圖像f中的較高清晰度像素至ll Y 中的較低清晰度像素的線性變換。字母n表示具有隨機(jī)特性的加性噪 聲，它可表示例如同一相機(jī)在沒有任何場景變化以及沒有任何相機(jī)或 照明設(shè)置變化已捕獲的較低清晰度圖像之間的變差(variation)或誤 差。基于觀察模型，超清晰度圖像重構(gòu)對與較低清晰度圖像的給定集 合Y對應(yīng)的較高清晰度圖像f進(jìn)行估計(jì)。
貝葉斯估計(jì)過程、有時(shí)被稱為隨機(jī)或概率的超清晰度圖像重構(gòu)， 可用于估計(jì)f以便獲得上述的合成較高清晰度圖像。在該情況下，"后 驗(yàn)"概率函數(shù)、 一般為概率密度函數(shù)在數(shù)學(xué)上被定義為P(flY),它是給定所觀察低清晰度圖像的集合Y時(shí)特定高清晰度圖像f的概率。
應(yīng)用稱為貝葉斯法則的數(shù)學(xué)操作，尋找給定低清晰度圖像的集合 時(shí)具有最高概率或者使后驗(yàn)概率函數(shù)最大的適當(dāng)高清晰度圖像f的優(yōu)
化問題可改寫為
P(flY)=p(Y|f)*p(f)， 其中，p(f)稱為在任何觀察之前給出特定較高清晰度圖像的概率的先 驗(yàn)概率密度函數(shù)。該先驗(yàn)概率密度函數(shù)基于例如不同較高清晰度圖像 的總體的統(tǒng)計(jì)特性指明哪些較高清晰度圖像更有可能出現(xiàn)。該先驗(yàn)扭無 率密度函數(shù)可為在較高清晰度圖像的所有像素上定義的聯(lián)合概率，并 可基于來自大量圖像的統(tǒng)計(jì)數(shù)據(jù)。
后驗(yàn)概率函數(shù)稱為似然函數(shù)，為定義與特定較高清晰度圖像對應(yīng) 的觀察較低清晰度圖像的概率的概率密度函數(shù)。似然概率密度函數(shù)可 基于上述的觀察模型來確定，其中 一般假設(shè)噪聲項(xiàng)具有高斯概率分 布。估計(jì)過程變成迭代地確定試驗(yàn)較高清晰度圖像與在存在收斂時(shí)停 止中之一，所述收斂可表示(signify)已經(jīng)達(dá)到后驗(yàn)概率函數(shù)的最大 值。
為了定義后驗(yàn)概率函數(shù)的最大值，使用非線性迭代共軛梯度優(yōu)化 算法。該共軛梯度方法在每個(gè)搜索迭代計(jì)算后驗(yàn)概率函數(shù)的梯度。梯 度的運(yùn)算為超清晰度算法的數(shù)學(xué)最密集部分。在一般的配置中，它占 用百分之80-90的最大化流程運(yùn)行時(shí)間。
共軛梯度優(yōu)化算法通過概率性非高斯魯棒(robust)函數(shù)來對噪 聲建模。圖3示出了共軛梯度方法的使用，所述共軛梯度方法為提供 復(fù)雜性與收斂速度之間的可接受平衡的迭代方法。收斂的準(zhǔn)則是AE低 于T(菱形框48),它測試兩個(gè)成功的試驗(yàn)較高清晰度圖像之間的后 驗(yàn)概率函數(shù)中的誤差或差別是否低于預(yù)定閾值T。 一種備選是將AE定 義為連續(xù)試驗(yàn)較高清晰度圖像之間的差別。
共軛梯度方法計(jì)算誤差函數(shù)的梯度，在該實(shí)施例中，所述誤差函 數(shù)具有兩項(xiàng)， 一項(xiàng)對應(yīng)于似然概率函數(shù)而另一項(xiàng)對應(yīng)于先驗(yàn)概率密度函數(shù)。似然概率函數(shù)梯度的計(jì)算(框38)涉及例如對前向及逆低清晰
度圖像形成過程進(jìn)行建模的、包含幾何扭曲(warping)、線性濾波及 子采樣/上采樣的標(biāo)準(zhǔn)圖像處理操作的應(yīng)用。
為了計(jì)算似然概率密度函數(shù)，需要初始試驗(yàn)較高清晰度圖像。這 可為例如已經(jīng)對準(zhǔn)(框34)的一個(gè)或多個(gè)輸入(所觀察)較低清晰度 圖像序列(框30)的組合。接著，將該初始對準(zhǔn)的結(jié)果與光流(optical flow)矢量36—起用來重裝數(shù)據(jù)(框38)。接著，使用初始較高清晰 度圖像(框40)與重裝的較低清晰度數(shù)據(jù)來計(jì)算(框42)梯度。然后， 在框44更新初始較高清晰度圖像。目的是為了找到在輸入較低清晰度 圖像的柵格中被重新采樣時(shí)依照成像觀察模型預(yù)測輸入(所觀察)較 低清晰度圖像的較高清晰度圖像。
在框42計(jì)算的梯度向迭代過程指明要移動的方向，以便更靠近似 然與先驗(yàn)概率密度函數(shù)的組合中的極值或凹點(diǎn)(trough)。這種沿似 然與先驗(yàn)概率密度函數(shù)的移動帶來對下一較高清晰度圖像的改變或 更新(框44),它生成當(dāng)前的試驗(yàn)較高清晰度圖像。接著，將當(dāng)前的 試驗(yàn)較高清晰度圖像插入到第二方程式并與閾值T進(jìn)行比較(菱形框 48)。如果AE還是太高，則重復(fù)梯度計(jì)算循環(huán)(loop)。這種對準(zhǔn)可 使用常規(guī)技術(shù)來估計(jì)。反之，如果AE低于T，則結(jié)束序列(框50)。
為了降低存儲器管腳并改善高速緩存使用，在某些實(shí)施例中，可 在運(yùn)行共軛梯度優(yōu)化算法之前重新布置(即重裝)較低清晰度像素?cái)?shù) 據(jù)(圖3，框38)。在這種重新布置中，所有低清晰度像素可映射到 較高清晰度圖像的某個(gè)區(qū)域，且所有相關(guān)數(shù)據(jù)可集中在連續(xù)緩沖器 中。如本文所用，連續(xù)緩沖器為循環(huán)緩沖器或者沒有結(jié)束的緩沖器。 為了獲得這種重新布置，可將圖像分成區(qū)塊(tile),然后對每區(qū)塊計(jì) 算梯度。
在多核處理器中，不同區(qū)塊用在對稱多處理(SMP)的不同線程 并行處理。因此，參照圖l，最初，將較高清晰度圖像分成相同或基 本相同大小的非重疊矩形區(qū)塊的集合，如框10所示。對于每個(gè)較低清晰度圖像中的每個(gè)像素，確定它到較高清晰度圖像的映射，如框12所 示。在一種實(shí)施例中，那個(gè)較高清晰度區(qū)域可為3x3區(qū)域。接著，找 到該區(qū)域中心屬于的區(qū)塊。然后如在框14所示，對映射到每個(gè)區(qū)塊的 輸入較低清晰度像素進(jìn)行計(jì)數(shù)，以便獲得計(jì)數(shù)Nt。對于每個(gè)區(qū)塊k, 其中k小于區(qū)塊的總數(shù)并大于或等于O，分配連續(xù)緩沖器、池[k] (pool [k])，如框16所示。緩沖器的大小設(shè)為等于Nt個(gè)元素。相關(guān)較低清晰 度像素的值與光流矢量一起被置于該連續(xù)緩沖器中，在所述緩沖器中 對較低清晰度^f象素進(jìn)行映射，如在框18所示。
對于較低清晰度圖像中的每個(gè)像素，光流矢量為在兩幀之間在該 像素的二維圖像平面上具有物理偏移的二維矢量。
在初始數(shù)據(jù)重組織之后，可接著使用來自圖l的序列的重組織數(shù) 據(jù)來對每區(qū)塊計(jì)算梯度，如圖2所示。梯度描述當(dāng)前的較高清晰度圖 像離所估計(jì)較高清晰度圖像有多遠(yuǎn)。在一種實(shí)施例中，圖2的算法可 在多核處理器中對每個(gè)區(qū)塊并行執(zhí)行。每個(gè)迭代在指定給線程的處理 器核上獨(dú)立且與其它迭代并行運(yùn)行。在某些實(shí)施例中，可使用能夠運(yùn) 行多線程的多核處理器。因此，圖2中所示的每個(gè)循環(huán)，處理指定給 第k區(qū)塊的陣列的所有元素。該陣列的元素是光流矢量的值。
在初始化(框20)之后，A確定為魯棒函數(shù)的導(dǎo)數(shù)與直接投影 (projection)函數(shù)之間的差別(框22)。直接投影函數(shù)將較高清晰度 圖像投影到較低清晰度圖像。它對從較高清晰度圖像中的像素到較低 清晰度圖像中的點(diǎn)的映射進(jìn)行建模。結(jié)果是較低清晰度圖像的集合。
在每次迭代上確定后驗(yàn)概率函數(shù)的最大值期間，計(jì)算該函數(shù)的梯 度。為了計(jì)算該梯度，確定用于估計(jì)所觀察較低清晰度像素值與當(dāng)前 較高清晰度像素中正被估計(jì)的當(dāng)前(在第k最小化步驟上)直接投影 函數(shù)值之間的差異的項(xiàng)。
為了使異常值(outlier)的影響最小，在某些實(shí)施例中，可用魯 棒函數(shù)來查找直接投影函數(shù)的最佳光流參數(shù)。異常值為在概率密度圖 的密度的尾部受異常高量的噪聲影響的點(diǎn)。存在若干不同的魯棒函數(shù)。 一個(gè)魯棒函數(shù)是Cauchy函數(shù)，它等于 量1+乂2/(72的對數(shù)，其中cj (sigma)為已知參數(shù)。因此，魯棒函凄史的導(dǎo) 數(shù)為2*乂/((52+乂2)。接著，可通過從魯棒函數(shù)的導(dǎo)數(shù)減去直接投影函數(shù) 的值來計(jì)算梯度。
因此，為了計(jì)算A,將下一較低清晰度像素與光流矢量從區(qū)塊的 連續(xù)緩沖器中取出。較高清晰度圖像到較低清晰度像素的直接投影使 用取出的光流矢量來計(jì)算。
然后，用逆投影的A更新梯度，如框24所示。逆投影對從較低清 晰度圖像中的像素到較高清晰度圖像中的像素的映射進(jìn)行建模。最 后，如在框26所示，將對每個(gè)區(qū)塊所計(jì)算的梯度組合到一個(gè)梯度圖像 中。
在某些實(shí)施例中，在具有多核處理器的對稱多處理計(jì)算機(jī)中可使 用該布局(layout)。參照圖4，依照某些實(shí)施例，圖形流水線(pipeline ) 可包含通過總線106耦合到幀緩沖器114的圖形處理器112。顯示屏118 通過總線107耦合到幀緩沖器114并通過總線108耦合到鍵盤或鼠標(biāo) 120。
在一種實(shí)施例中，圖形處理器112可通過總線105耦合到芯片組核 心邏輯110及主處理器100。在某些實(shí)施例中，圖形處理器或主處理器 中之一或多個(gè)可使用具有多核的對稱多處理來并行計(jì)算梯度。
存儲器130可耦合到芯片組核心邏輯，且存儲器130可例如包含主 存儲器132、硬驅(qū)134以及可移動媒介136。
一種實(shí)施例中，圖l、 2及3中所示的序列可實(shí)現(xiàn)為存儲在主存儲 器132的部分139中的機(jī)器可讀指令。另外，連續(xù)緩沖器、池[k]可建立 在主存儲器132內(nèi)。但是，在其它示例中，圖l、 2及3中所示的序列的 緩沖與存儲也可在主處理器IOO、另一存儲器或者在圖形處理器112中 實(shí)現(xiàn)。
在某些實(shí)施例中，圖l-3的序列可用軟件來實(shí)現(xiàn)，且在其它實(shí)施例 中它們可用硬件來實(shí)現(xiàn)。在軟件實(shí)施例中，序列可由對處理器、例如在這類處理器的核中的處理器112或處理器100可執(zhí)行的指令通過使 用存儲在計(jì)算機(jī)可讀介質(zhì)、例如區(qū)域139中的指令來實(shí)現(xiàn)。計(jì)算機(jī)可 讀介質(zhì)可為任意計(jì)算機(jī)可讀存儲介質(zhì)，包括磁、半導(dǎo)體或者光存儲器。
本文所述的圖形處理技術(shù)可用各種硬件結(jié)構(gòu)來實(shí)現(xiàn)。例如，圖形 功能可集成到芯片組內(nèi)。備選地，可使用分立圖形處理器。作為另一 實(shí)施例，圖形功能可用包括多核處理器的通用目的處理器來實(shí)現(xiàn)。
本說明書中對"一種實(shí)施例"或者"實(shí)施例"的引用表示結(jié)合該實(shí)施 例所述的特定特征、結(jié)構(gòu)或特性被包含在被嚢括在本發(fā)明內(nèi)的至少一 種實(shí)現(xiàn)中。因此，短語"一種實(shí)施例"或者"在實(shí)施例中，，的出現(xiàn)不一定 是指同一實(shí)施例。此外，特定特征、結(jié)構(gòu)或特性可用不同于所述特定 實(shí)施例的其它適當(dāng)形式來創(chuàng)立，且所有此類形式可被嚢括在本申請的 權(quán)利要求書中。
雖然針對有限量的實(shí)施例描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員將 領(lǐng)會從這些實(shí)施例進(jìn)行的改變或變型。旨在隨附權(quán)利要求書覆蓋所有 落入到本發(fā)明的實(shí)質(zhì)精神與范圍內(nèi)的改變或變型。
權(quán)利要求
1.一種形成超清晰度圖像的方法，包括通過將較低清晰度像素映射到較高清晰度圖像的特定區(qū)域來形成超清晰度圖像；以及將所述像素的關(guān)聯(lián)數(shù)據(jù)收集到緩沖器中。
2. 如權(quán)利要求l所述的方法，包括將所述關(guān)聯(lián)數(shù)據(jù)收集到連續(xù)的 緩沖器中。
3. 如權(quán)利要求l所述的方法，包括將所述較高清晰度圖像分成基 本相同大小的非重疊矩形區(qū)塊的集合。
4. 如權(quán)利要求3所述的方法，包括對每個(gè)較低清晰度圖像中的每 個(gè)像素查找其到所述較高清晰度圖像的映射。
5. 如權(quán)利要求4所述的方法，包括在所述較高清晰度圖像內(nèi)查找 所述較低清晰度圖像中的像素被映射的區(qū)塊。
6. 如權(quán)利要求5所述的方法，包括對映射到每個(gè)區(qū)塊的較低清晰 度像素的數(shù)量進(jìn)行計(jì)數(shù)。
7. 如權(quán)利要求6所述的方法，包括對于每個(gè)區(qū)塊分配大小等于映 射到該區(qū)塊的較低清晰度像素的所計(jì)數(shù)量的連續(xù)緩沖器。
8. 如權(quán)利要求7所述的方法，包括計(jì)算所述較高清晰度圖像內(nèi)較 低清晰度像素所映射的區(qū)塊，并將所述較低清晰度像素的值與其光流 矢量一起置于所述區(qū)塊的連續(xù)緩沖器內(nèi)。
9. 如權(quán)利要求8所述的方法，包括使用重新組織的數(shù)據(jù)來計(jì)算每 個(gè)區(qū)塊的梯度。
10. 如權(quán)利要求9所述的方法，包括從所述區(qū)塊的連續(xù)緩沖器中取 出低清晰度像素值與光流矢量，使用所述光流矢量來計(jì)算所述較高清 晰度圖像到所述較低清晰度像素的直接投影，并用逆投影的A來更新 所述區(qū)塊的梯度。
11. 如權(quán)利要求9所述的方法，包括將對每個(gè)區(qū)塊所計(jì)算的梯度組合到一個(gè)組合梯度中。
12. 如權(quán)利要求10所述的方法，包括在多核處理器上并行計(jì)算多 個(gè)區(qū)塊中每個(gè)區(qū)塊的梯度。
13. 如權(quán)利要求12所述的方法，包括用逆投影的A來更新區(qū)塊的連 續(xù)緩沖器中的值，所述逆投影的A等于直接投影像素與較低清晰度像 素之間的差別的魯棒函數(shù)導(dǎo)數(shù)。
14. 一種處理設(shè)備，包括多核處理器，通過將較低清晰度像素映射到較高清晰度圖像的特 定區(qū)域形成超清晰度圖像；以及緩沖器，耦合到所述處理器以便收集所述像素的關(guān)聯(lián)數(shù)據(jù)。
15. 如權(quán)利要求14所述的設(shè)備，其中，所述緩沖器是連續(xù)的。
16. 如權(quán)利要求14所述的設(shè)備，所述處理器將所述較高清晰度圖 像分成基本相同大小的非重疊矩形區(qū)塊的集合。
17. 如權(quán)利要求16所述的設(shè)備，所述處理器查找每個(gè)較低清晰度 圖像中的每個(gè)像素到所述較高清晰度圖像的映射。
18. 如權(quán)利要求17所述的設(shè)備，所述處理器在所述較高清晰度圖 像內(nèi)查找所述較低清晰度圖像中的像素被映射的區(qū)塊。
19. 如權(quán)利要求18所述的設(shè)備，所述處理器為每個(gè)區(qū)塊分配連續(xù) 緩沖器。
20. 如權(quán)利要求19所述的設(shè)備，所述處理器將所述較低清晰度像 素的值與光流矢量一起置于每個(gè)區(qū)塊的連續(xù)緩沖器內(nèi)。
21. 如權(quán)利要求20所述的設(shè)備，所述處理器使用重新組織的數(shù)據(jù) 來計(jì)算每個(gè)區(qū)塊的梯度。
22. 如權(quán)利要求21所述的設(shè)備，所述處理器將對每個(gè)區(qū)塊所計(jì)算 的梯度組合到一個(gè)組合梯度中。
23. 如權(quán)利要求22所述的設(shè)備，所述設(shè)備計(jì)算魯棒函數(shù)的導(dǎo)數(shù)與 直接投影函數(shù)之間的差別。
24. 如權(quán)利要求23所述的設(shè)備，所述處理器用逆投影的A來更新每個(gè)梯度。
全文摘要
可通過將較高清晰度圖像分成基本相同大小的非重疊矩形區(qū)塊的集合來產(chǎn)生超清晰度圖像。接著，將每個(gè)較低清晰度圖像中的每個(gè)像素映射到較高清晰度圖像，并確定將哪些區(qū)塊映射到哪些較低清晰度圖像像素?？山o每個(gè)區(qū)塊分配連續(xù)緩沖器且可將相關(guān)較低清晰度像素與光流矢量一起存儲在那個(gè)連續(xù)緩沖器中。然后，梯度的確定可使用現(xiàn)存儲在緩沖器中的信息來幫助使用多核處理器的對稱多處理。
文檔編號G06T5/00GK101620730SQ20091015943
公開日2010年1月6日 申請日期2009年6月30日 優(yōu)先權(quán)日2008年6月30日
發(fā)明者K·羅久什金, O·馬斯洛夫, V·皮薩雷夫斯基 申請人:英特爾公司