may4，2017

1技術(shù)領(lǐng)域

在數(shù)字信號(hào)通信和圖像采集處理領(lǐng)域，數(shù)據(jù)的采集都是通過ccd，cmos等采集器。這些采集器原理上是光子計(jì)數(shù)器陣列。也就是說都是說采樣是離散的，實(shí)際中不可能做到無限精細(xì)的連續(xù)采樣。因此這里就涉及到一個(gè)采樣率的問題。另外由于光的衍射效應(yīng)，任何光學(xué)儀器和光學(xué)波段都不可能給出無限精密細(xì)節(jié)的成像。也就是說光學(xué)儀器都是有最高分辨率極限的。我們這個(gè)發(fā)明的目的就是要快速和高保真地把原本低采樣率的圖像疊加成在儀器最高分辨率下的圖像。

2

背景技術(shù)：

如前所述，由于工藝局限方面和經(jīng)濟(jì)成本方面的考慮，很多成像設(shè)備采樣率其實(shí)是達(dá)不到設(shè)備最高光學(xué)分辨率的2倍的，也就是說達(dá)不到采樣率定理(nyquist定理)所要求的能完全描述信號(hào)需要的最低采樣率，也就是所謂的低采樣率(undersampling)。低采樣率會(huì)導(dǎo)致最終圖像表現(xiàn)出模糊，馬賽克化(也就是像素化，pixelation)等問題，像素化相當(dāng)于一個(gè)濾鏡，是模擬信號(hào)離散化采樣的表現(xiàn)。人們發(fā)現(xiàn)雖然一次采樣率低，但通過記錄儀器的震顫(dither)在不同位置拍攝目標(biāo)物體，就會(huì)得到很多低采樣率樣本，而把這些樣本通過合理的技術(shù)進(jìn)行疊加就可以得到突破儀器采集器限制的高分辨率或同時(shí)實(shí)現(xiàn)對(duì)像素化濾鏡的反卷積，也就是去像素化。前人的去像素化技術(shù)已經(jīng)用在哈勃空間望遠(yuǎn)鏡(hst)的圖像拼接上如fruchter等人發(fā)展的drizzle和idrizzle技術(shù)。drizzle的特點(diǎn)是速度快，但內(nèi)秉的像素化濾鏡(pixelation)并沒有被反卷積出來，所以drizzle只是圖像在高分辨率網(wǎng)格下的單純疊加，不涉及反卷積，因而也沒有很好地去像素化。隨后在drizzle的基礎(chǔ)上，fruchter于2011年又發(fā)展出了多次迭代結(jié)合傅立葉空間平滑的方法來多次提取殘留信號(hào)，也即idrizzle技術(shù)。idrizzle首先要通過drizzle技術(shù)把多次觀測到原始圖像放到一個(gè)過采樣的網(wǎng)格上，再多次與原始圖像對(duì)比，從殘差圖像中提取大部分信號(hào)，并加到結(jié)果中，最后通過sinc插值到目標(biāo)分辨率，比如臨界采樣分辨率(簡稱臨界采樣率，criticalsampling)。idrizzle能比較好地實(shí)現(xiàn)反卷積，給出的圖像跟真實(shí)圖像差不太多，缺點(diǎn)也很明顯，就是耗費(fèi)大量計(jì)算資源而且效果也不如后來我們發(fā)展的兩套方法《細(xì)分有理曲面(正向)去像素化技術(shù)》(即tssf，專利號(hào)：201510982531x)和《一種快速有效去像素化技術(shù)》(即fidrizzle，專利號(hào)：201611173333x)。《細(xì)分有理曲面(正向)去像素化技術(shù)》的思想是在跟觀測圖像像素相當(dāng)?shù)臉?biāo)準(zhǔn)網(wǎng)格(或目標(biāo)網(wǎng)格)上建立一群小的簡單曲面(曲面參數(shù)未知)，然后用所有觀測圖像(或dither圖像)來擬合這些曲面的參數(shù)。特點(diǎn)是速度較快，而且以后進(jìn)行的對(duì)這群小曲面的任何觀測都能跟直接觀測源圖像相當(dāng)?！兑环N快速有效去像素化技術(shù)》即fidrizzle，是去掉idrizzle的濾波和插值過程并且直接在需要的分辨率上重建圖像。特點(diǎn)是收斂速度快，計(jì)算速度快，穩(wěn)定，而且圖像在中低頻比idrizzle更加高保真。缺點(diǎn)是在最高頻率端有一點(diǎn)點(diǎn)不如idrizzle。但在本次發(fā)明中，我們改進(jìn)了fidrizzle技術(shù)，為了區(qū)別以前的fidrzzle我們稱之為fidrizzle(afineidrizzle)，一方面我們保持了fidizzle的快速特點(diǎn)，另一方面我們又保持了idrizzle在高頻端的優(yōu)勢。

3

技術(shù)實(shí)現(xiàn)要素：

3.1fidrizzle技術(shù)

我們的目的是集fidrizzle和idrizzle的優(yōu)點(diǎn)于一身。fidrizzle的步驟如下：

step1：把對(duì)準(zhǔn)某區(qū)域觀測k副震顫過的原始圖像(ditheredimages)，{i¹，i²，i³...i^k}，用drizzle疊加到一個(gè)我們想要的高分辨率(但又不高于臨界采樣率)的標(biāo)準(zhǔn)網(wǎng)格上，這樣就生成了疊加圖像d1，也即對(duì)真實(shí)圖像的一級(jí)近似。d的下標(biāo)1代表這是第一次迭代的結(jié)果。

step2：對(duì)d1進(jìn)行低通濾波，先通過fft把圖像d1變換到傅立葉空間，然后用權(quán)重函數(shù)削弱高頻部分，最后再ifft反變換回實(shí)空間得到

step3：假設(shè)把濾波后的圖像放到真實(shí)圖像的位置，通過完全相同的設(shè)備和跟原始觀測完全相同條件的虛擬觀測得到一系列虛擬觀測圖像，這些虛擬觀測圖像跟原始觀測圖像是一一對(duì)應(yīng)的，也是k副

step4：把k副虛擬觀測圖像與對(duì)應(yīng)的原始圖像做減法，就會(huì)得到殘差圖像

step5：返回第一步step1：，把殘差圖像當(dāng)成原始圖像再用drizzle疊加生成圖像d2，它幾乎是真實(shí)圖像跟上一次近似圖像(一級(jí)近似)的差。

step6：繼續(xù)之前的循環(huán)但只改一處地方，在step3中，在第n次迭代的時(shí)候，循環(huán)到目標(biāo)精度即停止。

迭代結(jié)束后，我們就可以把輸出當(dāng)成最終結(jié)果了。對(duì)比idrizzle的步驟，我們的fidrzzle一開始就把輸出圖像精度當(dāng)成目標(biāo)分辨率，而不是采用過采樣的分辨率，這樣就省略了最后的sinc插值過程。而對(duì)比我們之前的fidrizzle，此次改進(jìn)版的fidrzzle把以前fidrizzle省略的濾波步驟又加入流程中，增加了一部分計(jì)算量，但精度和效果提高很多，高頻噪音得到有效抑制。下面我們對(duì)drizzle，idrizzle，fidrizzle和fidrizzle四種圖像重建技術(shù)進(jìn)行了視覺表觀方面，定量方面和時(shí)間復(fù)雜度方面的全面對(duì)比。為了控制對(duì)比四種方法，我們首先把真實(shí)圖像通過模擬觀測得到一些低分辨率原始圖像(ditheredimages)，然后我們用這四種方法對(duì)這些低分辨率原始圖像進(jìn)行圖像重建，最后輸出結(jié)果到相同分辨率下，即臨界采樣率下進(jìn)行對(duì)比。這其中為了模擬真實(shí)觀測，震顫涉及到的儀器的位移，旋轉(zhuǎn)是隨機(jī)的，另外還考慮了每次曝光0.1％的ccd隨機(jī)幾何形變。

在開始之前我們先證明一個(gè)我們最新發(fā)現(xiàn)的“過采樣致減速收斂效應(yīng)”(oversamplingcauseddeceleratingconvergence，osdc)。令t為二維平面空間的一個(gè)真實(shí)信號(hào)。通過觀測設(shè)備(比如望遠(yuǎn)鏡，顯微鏡，相機(jī)，攝像頭等等)之后就會(huì)在ccd平面上得到一個(gè)離散化的數(shù)字信號(hào)圖像i，并且該圖像相對(duì)我們的標(biāo)準(zhǔn)網(wǎng)格有震顫位移ds(包含了平移和旋轉(zhuǎn)角度)：

這里g已經(jīng)綜合了t被采樣之前的所有效應(yīng)，比如seeing，ccd形變，像素化等等。是卷積符號(hào)?，F(xiàn)在我們對(duì)i進(jìn)行兩個(gè)重采樣，一是重采樣到過采樣分辨率標(biāo)準(zhǔn)網(wǎng)格另一個(gè)是重采樣到臨界采樣率標(biāo)準(zhǔn)網(wǎng)格震顫位移ds是被考慮在內(nèi)的。也即：

這里p^os或p^cs是包含重采樣像素化效應(yīng)的重采樣矩陣。而且這里sinc(p^os→p^cs)是從過采樣率到臨界采樣率的無損sinc插值。這樣就等于此處正是drizzle的結(jié)果。依據(jù)上面的迭代重建步驟，我們通過與儀器一樣的降采樣機(jī)制模擬觀測了兩個(gè)標(biāo)準(zhǔn)網(wǎng)格和降采樣到i網(wǎng)格，這樣就分別得到了對(duì)原始觀測圖像i的第一次近似和那么第一次近似與原始觀測圖像i的差異可以寫為：

由于具有比更高的分辨率(意味著更多細(xì)節(jié))，那么對(duì)應(yīng)的余量就擁有比更少的功率，特別是在低頻端。在一個(gè)極端情況下，如果我們把原始觀測圖像過采樣到無限高分辨率，那么就會(huì)保留一個(gè)完整的i，也就導(dǎo)致也就是第一次迭代之后，我們就得到了對(duì)真實(shí)圖像的第二次近似和

根據(jù)idrizzle的最后一步，我們需要把過采樣標(biāo)準(zhǔn)網(wǎng)格eq.(4)通過sinc插值到臨界采樣率網(wǎng)格

對(duì)比方程(6)與(5)，我們發(fā)現(xiàn)對(duì)于相同粗網(wǎng)格(此處是臨界分辨率網(wǎng)格)的比較，直接到臨界分辨率網(wǎng)格的迭代重建要比經(jīng)歷過采樣再插值回臨界采樣率網(wǎng)格的重建在余量中獲得更高的功率，也就是更多的信號(hào)。這意味著，對(duì)于相同震顫觀測數(shù)和相同迭代數(shù)的重建，迭代收斂速率被過采樣機(jī)制降低了。我們稱這個(gè)新效應(yīng)為過采樣致減速收斂效應(yīng)(oversamplingcauseddeceleratingconvergence，osdc)。讀者也可以自行在其他維度和任意大于1的震顫觀測數(shù)和迭代數(shù)的情況下證明該效應(yīng)。所以即使我們忽略濾波機(jī)制，fidrizzle做反卷積也要比idrizzle要更加高效。當(dāng)然，從fidrizzle的步驟我們也可以看出，fidrizzle不像idrizzle那樣受到osdc效應(yīng)的影響，從而可以快速有效地做圖像反卷積。

3.2結(jié)果

在圖1中，我們使用了圖像處理領(lǐng)域廣為人知的測試圖像misslena(尺寸512×512pixel，并假設(shè)該分辨率達(dá)到臨界采樣率，也就是nyquist采樣率)作為真實(shí)圖像，左圖。也就是說成像設(shè)備的光學(xué)最高分辨率是臨界采樣率的0.5倍。我們把真實(shí)圖像進(jìn)行模擬觀測bin了5副原始觀測圖像分辨率降低了其中之一就是右圖。我們可以看到低采樣率或者說低分辨率圖像中的lena的眼睛和睫毛都模糊不清了，帽子邊緣鋸齒化嚴(yán)重，帽子上的條紋也消失了，這些都是像素化的結(jié)果，所有的細(xì)節(jié)都馬賽克化了，也是我們現(xiàn)實(shí)中真實(shí)觀測圖像的表現(xiàn)。

之后我們用四種方法drizzle，idrizzle，fidrizzle和fidrizzle對(duì)這5副原始觀測圖像進(jìn)行重建。其中idrizzle的工作分辨率是比臨界分辨率過采樣了4×4倍的網(wǎng)格，在經(jīng)歷“過采樣-濾波-sinc插值”之后回到臨界分辨率，以方便比較。并且我們?cè)趇drizzle與fidrizzle中使用的是完全相同的低通濾波器。如圖2，左上圖是drizzle重建的結(jié)果，右上圖是idrizzle的結(jié)果，左下圖fidrizzle的結(jié)果，右下圖是本次發(fā)明fidrizzle的結(jié)果。這其中idrizzle，fidrizzle和fidrizzle都進(jìn)行了5次迭代。很明顯drizzle重建的圖像已經(jīng)比原始觀測圖像好多了，也增加了更多的細(xì)節(jié)。然而與idrizzle，fidrizzle和fidrizzle對(duì)比，drizzle就差多了。主要原因是drizzle并沒有進(jìn)行像素化反卷積操作。就圖2而言后面三種方法已經(jīng)看不出明顯差異。為此我們做了殘差(余量)圖3，殘差圖是四幅重建圖像2分別與真實(shí)圖像1左圖之間的差。我們明顯看到左上圖drizzle與右上圖idrizzle的殘差十分顯著，很容易辨認(rèn)。而左下圖fidrizzle與右下圖fidrizzle的殘差明顯更少，但二者差別并不顯著。仔細(xì)辨認(rèn)會(huì)發(fā)現(xiàn)，fidrizzle最亮的一些點(diǎn)和線明顯要比對(duì)應(yīng)的fidrizzle的更暗一些，這是高頻信息的反映，說明fidrizzle的高頻彌散更大。

為了看清fidrizzle與fidrizzle的差異，我們使用了約化功率譜(reducedpowerspec-trum，rps)工具。也就是說對(duì)殘差圖3的除了drizzle之外的其他圖像(只取中間的四分之一區(qū)域，也就是最中間的256×256pixel區(qū)域，這是為了避免未被5副dither圖像完全覆蓋的像素)做快速傅立葉變換fft，得到二維功率譜，功率譜低頻功率集中在中心區(qū)域，外圍是高頻區(qū)。所以我們做了功率譜的沿徑向的平均密度輪廓圖，稱為約化功率譜(rps)，能大致反映功率從低頻到高頻的變化。如圖4，我們很容易看到受制于osdc效應(yīng)idrizzle(點(diǎn)線)在低頻段的表現(xiàn)明顯不如fidrizzle(實(shí)線)。但idrizzle的高頻段要好于fidrizzle，這是我們開發(fā)fidrizzle的動(dòng)機(jī)所在。這里可以看到fidrizzle(劃線)憑借新加入的低通濾波器已經(jīng)在全波段優(yōu)于fidrizzle了。高頻段fidrizzle與idrizzle重合，而低頻段fidrizzle稍稍好于fidrizzle，所以fidrizzle是集idrizzle與fidrizzle高低頻段優(yōu)勢于一身的圖像反卷積方法。

更詳細(xì)的圖可以參考功率差異圖5，功率差異圖是用fidrizzle作為基準(zhǔn)的，也就是圖中的0值線，圖中三條線是圖4中的實(shí)線分別減去圖4中的三條線的結(jié)果。也就是fidrizzle分別與fidrizzle，idrizzle和fidrizzle的差異。如果圖線大于零那就說明該頻段的重建效果要好于fidrizzle，否則不如fidrizzle。由圖5可以明顯看到fidrizzle的總體效果是最好的。

3.3計(jì)算復(fù)雜度比較

毫無疑問的是drizzle的速度是最快的。由于一次虛擬觀測的計(jì)算量與一次drizzle的計(jì)算量是相當(dāng)?shù)?。所以fidrizzle實(shí)際上比drizzle多消耗了2n-1倍的計(jì)算量(n是迭代次數(shù))。在圖1中，真實(shí)圖像具有512×512尺寸，那么原始圖像就具有像素的尺寸。drizzle的計(jì)算量不僅依賴于5×120×120的原始像素?cái)?shù)，還依賴輸出圖像的分辨率，因此drizzle消耗了次的計(jì)算量(平均來講，每一個(gè)原始像素會(huì)經(jīng)歷2900次運(yùn)算，其中包括多邊形切割，積分)。這樣它的復(fù)雜度是o(800n²)(令n＝512)。而fidrizzle要多4.5次迭代，因此復(fù)雜度大概是o(8000n²)。fidrizzle每次迭代只比fidrizzle多了濾波過程，其計(jì)算復(fù)雜度為也就是o(20n²log2n)。idrizzle運(yùn)算支出有：idrizzle需要一個(gè)過采樣的輸出網(wǎng)格，例如本文中比臨界采樣率高4×4倍，那么總的運(yùn)算時(shí)間就比fidrizzle多了15倍；另外，由于要從過采樣網(wǎng)格插值到臨界采樣率網(wǎng)格，這將貢獻(xiàn)o(256n²)的計(jì)算復(fù)雜度(每次插值我們使用周圍16個(gè)格點(diǎn)進(jìn)行運(yùn)算)。如此看來本例中，相比于idrizzle，fidrizzle節(jié)省了至少15倍的計(jì)算量，但相比于fidrizzle，只增加了1/50的計(jì)算量，卻換來了相當(dāng)于idrizzle在高頻段的優(yōu)異表現(xiàn)。

3.4討論和結(jié)論

通過結(jié)合idrizzle與fidrizzle各自的優(yōu)勢，并擯棄其缺點(diǎn)，我們開發(fā)了新的fidrizzle反卷積技術(shù)。fidrizzle對(duì)比idrizzle和fidrizzle的進(jìn)步和優(yōu)勢主要體現(xiàn)在如下3個(gè)方面：

1.fidrizzle更加有效，重建結(jié)果無論相對(duì)于idrizzle還是fidrizzle都是更加高保真的。

2.fidrizzle相比于idrizzle節(jié)省了大量計(jì)算資源。

3.fidrizzle相比于fidrizzle降低了高頻段的噪音。

在不久的將來很多新的望遠(yuǎn)鏡設(shè)備要投入觀測中來：比如nasa的widefieldinfraredsurveytelescope(wfirst)，歐空局的euclid，美國國家自然科學(xué)基機(jī)會(huì)資助的largesynopticsurveytelescope(lsst)和中國的天宮望遠(yuǎn)鏡(thechinesespacestationopticaltelescope，csst)。屆時(shí)會(huì)產(chǎn)生海量的數(shù)據(jù)，如何快速地高保真地處理這些數(shù)據(jù)將成為當(dāng)務(wù)之急。實(shí)際上這恰好給了fidrizzle很大的用武之地。

天文領(lǐng)域：

1.對(duì)于跟蹤姿態(tài)保持不夠好的望遠(yuǎn)鏡，可以使用多次曝光技術(shù)，縮短曝光時(shí)間，這樣就會(huì)大大降低由于姿態(tài)不穩(wěn)引起的圖像輪廓模糊，然后再用fidrizzle重建高分辨率觀測圖像。

2.無論是空間望遠(yuǎn)鏡還是地面望遠(yuǎn)鏡，都可以選擇好的時(shí)段對(duì)準(zhǔn)被觀測源進(jìn)行多次曝光，然后用fidrizzle重建源的高分辨率圖像。這就避免了不良天氣條件或者空間望遠(yuǎn)鏡被地球月球等遮擋的因素影響。

3.由于天文觀測中，暗弱源往往占大多數(shù)，有了fidrizzle就可以使用這些數(shù)目可觀的以前只能舍棄的暗弱源來做更深空間的天文研究。

4.只要知道拍攝望遠(yuǎn)鏡的硬件情況，位置等參數(shù)我們就可以在fidrizzle的協(xié)助下對(duì)同一個(gè)源的來自不同望遠(yuǎn)鏡不同歷史時(shí)期的觀測數(shù)據(jù)進(jìn)行處理并生成高分辨率圖像，從而達(dá)到充分利用歷史數(shù)據(jù)的目的。

5.天文觀測在有些情況下進(jìn)行多次曝光是必須的，因?yàn)樵谟卸鄠€(gè)信號(hào)源而且亮度相差很大的情況下，為了增強(qiáng)弱源的信號(hào)強(qiáng)度同時(shí)又要保證強(qiáng)源不飽和，就必須采用多次曝光，這時(shí)候再用fidrizzle快有有效地重建具有更高保真度的源的圖像就很必要了，至少比當(dāng)前最好的idrizzle要快要好。

數(shù)字圖像監(jiān)控領(lǐng)域，fidrizzle技術(shù)能夠利用連續(xù)的多幀錄像畫面重建得到被監(jiān)控事物的高清圖像。

微觀物理學(xué)，微生物，醫(yī)學(xué)成像等領(lǐng)域可以在像素分辨率有限的情況下用多次曝光結(jié)合fidrizzle得到病毒，細(xì)菌或者有機(jī)分子的高分辨率圖像。

最后，該技術(shù)為數(shù)字成像領(lǐng)域提供了這樣一條途徑：通過多次曝光和fidrizzle技術(shù)可以對(duì)低采樣率圖像進(jìn)行重建，以達(dá)到光學(xué)設(shè)備的最高分辨率極限。

4具體實(shí)施方式

我們用c語言開發(fā)了基于fidrizzle技術(shù)的程序軟件，只要知道成像儀器在拍攝圖像時(shí)候的一些參數(shù)(如位置，旋轉(zhuǎn)，ccd形變等)就可以重建高分辨率的源圖像，給出更多細(xì)節(jié)信息。

致謝：本發(fā)明受國家973項(xiàng)目(no.2015cb857003，no.2015cb857000，no.2013cb834900)，國家基金委項(xiàng)目(no.11333008，no.11233005，no.11273061)，江蘇省杰出青年項(xiàng)目(no.bk20140050)和中科院宇宙學(xué)結(jié)構(gòu)先導(dǎo)項(xiàng)目(no.xdb09010000)的支持，發(fā)明者在此對(duì)這些支持項(xiàng)目表示感謝。

5附圖說明

本專利共有5幅附圖，用來在視覺表觀和定量方面對(duì)比dirzzle，idirzzle，fidrizzle和fidriz-zle四種重建方法的不同效果。附圖說明如下：

圖1：我們用lena小姐作為真實(shí)圖像(左圖)，通過模擬觀測生成了原始觀測圖像(右圖)，其中右圖比左圖在分辨率上降低了倍。所以基本上相當(dāng)于在左圖中3×3像素的細(xì)節(jié)會(huì)被右圖中一個(gè)像素代替。

圖2：四種不同方法重建結(jié)果都?xì)w化于臨界采樣率下的對(duì)比。左上圖是drizzle重建的結(jié)果，右上圖是idrizzle的結(jié)果，左下圖fidrizzle的結(jié)果，右下圖是本次發(fā)明fidrizzle的結(jié)果。這其中idrizzle，fidrizzle和fidrizzle都進(jìn)行了5次迭代。

圖3：四種重建方法的殘差圖像。左上圖drizzle，右上圖idrizzle，左下圖fidrizzle與右下圖fidrizzle。

圖4：殘差圖的約化功率譜(rps)。點(diǎn)線是idrizzle的結(jié)果，實(shí)線是fidrizzle的結(jié)果，劃線是fidrizzle的結(jié)果。

圖5：約化功率譜(rps)相對(duì)于fidrizzle的殘差圖。點(diǎn)線是idrizzle的結(jié)果，實(shí)線是fidrizzle的結(jié)果，劃線是fidrizzle的結(jié)果。