基于反卷積圖像復(fù)原的高保真視頻放大方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及成像技術(shù)領(lǐng)域，具體設(shè)及一種基于反卷積圖像復(fù)原的高保真視頻放大 方法。
【背景技術(shù)】
[0002] 近年來，隨著成像技術(shù)的不斷發(fā)展。高帖頻，高分辨率的相機(jī)越來越多的應(yīng)用在軍 事，工業(yè)，安防，科研等諸多領(lǐng)域。但是受制于成像器件的分辨率，光學(xué)系統(tǒng)的放大倍率，相 機(jī)的尺寸重量等諸多因素，在很多應(yīng)用場合仍無法滿足人們對于相機(jī)分辨力的要求。運(yùn)時 往往需要結(jié)合光學(xué)系統(tǒng)的變倍技術(shù)和電子學(xué)圖像放大技術(shù)來提升相機(jī)的分辨力。
[0003] 電子學(xué)圖像放大技術(shù)通常是對原有分辨率的圖像進(jìn)行插值處理，通過增加圖像分 辨率達(dá)到提升相機(jī)分辨力的目的。圖像插值的方法有很多，如鄰域插值，雙線性插值，雙Ξ 次插值等等。針對視頻處理，需要滿足系統(tǒng)實時性，不能采用一些過于復(fù)雜的算法。因此往 往采用易于硬件實現(xiàn)的方法進(jìn)行插值。運(yùn)類插值方法雖然能夠較快的完成插值處理，但是 由于算法簡單，往往對圖像質(zhì)量造成損失，使圖像邊緣能量減弱，降低了圖像傳函。
[0004] 圖像復(fù)原技術(shù)，其數(shù)學(xué)本質(zhì)是根據(jù)已知的g(x，y)W及h(x，y)與n(x，y)的部分先驗 信息，W不同的準(zhǔn)則對f(x，y)進(jìn)行估計，從而得到接近于實際場景(f(x，y))的估計值一- /Ι>，.ν；)。利用圖像復(fù)原技術(shù)可W較好恢復(fù)圖像邊緣的能量，使圖像能量更為集中，提升相 機(jī)傳遞函數(shù)。
[0005] 綜上所述，為了提升視頻放大后的圖像質(zhì)量，并兼顧高速視頻處理要求的實時性， 有必要尋求高保真的視頻放大方法，且運(yùn)種方法可在實際工程中得W實現(xiàn)。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明為提高相機(jī)視頻放大后圖像質(zhì)量，解決提升分辨力與放大后圖像退化之間 的矛盾，提供一種基于反卷積圖像復(fù)原的高保真視頻放大方法。
[0007] 基于反卷積圖像復(fù)原的高保真視頻放大方法，該方法由W下步驟實現(xiàn)：
[000引步驟一、對待測相機(jī)鏡頭進(jìn)行測試，獲得待測相機(jī)的點(diǎn)擴(kuò)散函數(shù)h(x，y);
[0009] 步驟二、采用插值方法對原始圖像進(jìn)行插值，獲得待復(fù)原的插值后的圖像g(x，y);
[0010] 步驟Ξ、對步驟一獲得的點(diǎn)擴(kuò)散函數(shù)h(x，y)，采用傅里葉反變換到空間域中，得到 反卷積預(yù)選模板h_y (X，y);
[0011] 步驟四、對步驟Ξ獲得的反卷積預(yù)選模板h_y(x，y)進(jìn)行截取，獲得尺寸為13X13 的反卷積模板h_m(X，y);
[0012] 步驟五、將反卷積模板h_m(x，y)與步驟二中待復(fù)原的插值后的圖像g(x，y)進(jìn)行實 時的二維卷積，獲得復(fù)原后的放大圖像/Gy，-;'）。
[0013] 本發(fā)明的有益效果：
[0014] -、本發(fā)明提供了一種在現(xiàn)有技術(shù)條件下可行的基于反卷積圖像復(fù)原的高保真視 頻放大技術(shù)，減少普通視頻放大技術(shù)帶來的圖像退化，提升視頻相機(jī)的圖像放大質(zhì)量。
[0015] 二、本發(fā)明并不限制插值方法，只要能夠保證視頻輸出實時性(延遲小于40ms)。
[0016] Ξ、為了解決圖像在軌復(fù)原的實時性難題，本發(fā)明將原本在頻域的復(fù)原搬移到了 空間域進(jìn)行處理，保留了成熟的線性濾波復(fù)原圖像的可靠性(兩者在數(shù)學(xué)本質(zhì)上相同），截 取能量分布的主要部分，采用小尺寸的空間域反卷積模板進(jìn)行卷積處理，減小了空間域處 理的計算量，W滿足處理的實時性。
[0017] 四、本發(fā)明采用FPGA作為核屯、硬件平臺，基于并行流水線思想按像元時鐘速率進(jìn) 行實時處理，降低了硬件性能要求和代碼設(shè)計復(fù)雜程度，易于工程實現(xiàn)。同時隨著FPGA集成 度和性能的提高，可針對不同倍數(shù)的放大倍率進(jìn)行擴(kuò)展，適應(yīng)性強(qiáng)。
[0018] 五、本發(fā)明所述的方法可同時對非放大視頻進(jìn)行圖像復(fù)原，整體提升相機(jī)輸出圖 像質(zhì)量。
【附圖說明】
[0019] 圖1為本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法的流程圖；
[0020] 圖2為本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法中待測相機(jī)鏡頭 測試的原理框圖；
[0021] 圖3本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法中根據(jù)相機(jī)參數(shù)獲 得的一種典型的尺寸為7X7的在軌歸一化點(diǎn)擴(kuò)散函數(shù)h(x，y)示意圖；
[0022] 圖4為根據(jù)圖3獲得的能量分布高度集中的尺寸為256X256的空間域反卷積預(yù)選 模板h_y(x，y)的示意圖；
[0023] 圖5從圖3中截取的尺寸為13X13的空間域反卷積模板h_m(x，y)示意圖；
[0024] 圖6采用本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法對h_m(x，y)與 g(x，y)進(jìn)行卷積運(yùn)算的示意圖；
[0025] 圖7采用本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法實時復(fù)原系統(tǒng) 按行處理的時序示意圖；
[0026] 圖8中8a和8b為采用本發(fā)明所述的基于反卷積圖像復(fù)原的高保真視頻放大方法對 圖像進(jìn)行放大的前后對比圖。
【具體實施方式】
【具體實施方式】 [0027] 一、結(jié)合圖1至圖8說明本實施方式，基于反卷積圖像復(fù)原的高保真 視頻放大方法，本實施方式中Wicx415al面陣CCD相機(jī)為例，給出基于反卷積圖像復(fù)原的高 保真視頻放大方法的實例：
[0028] 步驟a:采用點(diǎn)光源，平行光管，干設(shè)儀，對待測相機(jī)鏡頭進(jìn)行測試，結(jié)合圖2,得出 點(diǎn)擴(kuò)散函數(shù)PSF的值，利用歸一化方法得出較為準(zhǔn)確的歸一化點(diǎn)擴(kuò)散函數(shù)h(x，y)，如圖5所 /J、- 〇
[0029] 步驟b:利用雙線性插值的方法對原始圖像進(jìn)行兩倍插值，在FPGA內(nèi)部開辟兩個緩 存空間，每個大小為兩行圖像數(shù)據(jù)所占用的空間，按768個水平有效像元計算，共需要768* 2*8bit = 12288bit的存儲空間。采用兵鳥操作，對存儲空間內(nèi)數(shù)據(jù)分時進(jìn)行雙線性插值，分 別得出插值后的新行列圖像。隨后對新老圖像按順序統(tǒng)一輸出得出待復(fù)原的插值后的圖像 g(x,y)〇
[0030] 步驟c:利用步驟a所獲得的點(diǎn)擴(kuò)散函數(shù)h(x，y)，采用傅里葉反變換到空間域中，得 到反卷積預(yù)選模板h_y (X，y)。
[0031] 步驟d:將h_y(x，y)能量分布高度集中的區(qū)域截取出來，根據(jù)具體的數(shù)值分布，截 取占總能能量分布99% W上的中央?yún)^(qū)域的矩陣作為空間域反卷積模板h_m(x，y)，如圖6所 /J、- 〇
[0032] 步驟e:將h_m(x，y)與待復(fù)原的插值后的圖像g(x，y)進(jìn)行卷積則復(fù)原的計算過程 可表述為：
[0033]
[0034] a，b為反卷積模板水平和垂直方向元素個數(shù)減1后的一半，如模板為13 X 13，則a = b = 6，S，t為模板內(nèi)各元素橫縱坐標(biāo)。
[0035] 為了描述方便，圖6給出的是一個簡單的3X3空間域模板與圖像卷積的示意圖，首 先通過對空間域模板進(jìn)行180°轉(zhuǎn)置，而后用轉(zhuǎn)置后的模板與圖像中3X3的區(qū)域進(jìn)行卷積， 所得結(jié)果為圖像3X3區(qū)域中屯、點(diǎn)的復(fù)原后數(shù)值。為滿足系統(tǒng)實時性，相機(jī)像元時鐘為 30MHz，運(yùn)樣采用30MHz的時鐘并行處理卷積模板和插值圖像的二維卷積，圖像為8bit的灰 度圖像，h_m( X，y)大小為13 X 13，通過FPGA的并行處理進(jìn)行實現(xiàn)。
[0036] 本實施方式中采用現(xiàn)有的XILINX公司的Videx-6系列FPGA自帶748個DSP Slices，每個DSP Slices都是一個主頻可W達(dá)到600MHz的25 X 18bit二進(jìn)制補(bǔ)碼乘法器W 及一個48bit的累加器，將上述的計算分配給DSP Slices進(jìn)行并行處理，完全可W滿足計算 的要求，從而獲得復(fù)原后的圖像.Z'G、'，.!，；)，如圖7所示。數(shù)據(jù)流方向與模板運(yùn)算方向相同，在 一個時鐘下完成一個像素的復(fù)原計算，當(dāng)完成一行數(shù)據(jù)后，對下一行的數(shù)據(jù)進(jìn)行計算，其方 向與相機(jī)運(yùn)動方向相同。
[0037] 本實施方式的步驟b中可W采用其他形式的插值方法，其余的步驟與上述方法一 致。
[0038] 采用本實施方式所述的的視頻放大相機(jī)與原有普通視頻放大功能的相機(jī)在系統(tǒng) 上的區(qū)別如圖8所示，二者本職區(qū)別即本發(fā)明的視頻放大功能結(jié)合圖像復(fù)原技術(shù)，在對圖像 插值后進(jìn)行反卷積圖像復(fù)原，達(dá)到彌補(bǔ)插值帶來的圖像退化的效果。
【主權(quán)項】
1. 基于反卷積圖像復(fù)原的高保真視頻放大方法，其特征是，該方法由以下步驟實現(xiàn)： 步驟一、對待測相機(jī)鏡頭進(jìn)行測試，獲得待測相機(jī)的點(diǎn)擴(kuò)散函數(shù)h( x，y); 步驟二、采用插值方法對原始圖像進(jìn)行插值，獲得待復(fù)原的插值后的圖像g(x，y); 步驟三、對步驟一獲得的點(diǎn)擴(kuò)散函數(shù)h(x，y)，采用傅里葉反變換到空間域中，得到反卷 積預(yù)選模板h_y (X，y); 步驟四、對步驟三獲得的反卷積預(yù)選模板h_y(x，y)進(jìn)行截取，獲得尺寸為13X13的反 卷積模板h_m(X，y); 步驟五、將反卷積模板h_m(x，y)與步驟二中待復(fù)原的插值后的圖像g(x，y)進(jìn)行實時的 二維卷積，獲得復(fù)原后的放大圖像。2. 根據(jù)權(quán)利要求1所述的基于反卷積圖像復(fù)原的高保真視頻放大方法，其特征在于，步 驟一中，采用點(diǎn)光源、平行光管以及干涉儀對待測相機(jī)鏡頭進(jìn)行測試，點(diǎn)光源經(jīng)平行光管后 入射至待測相機(jī)鏡頭，干涉儀根據(jù)接收的待測相機(jī)鏡頭的信息，獲得待測相機(jī)的點(diǎn)擴(kuò)散函 數(shù)。3. 根據(jù)權(quán)利要求1所述的基于反卷積圖像復(fù)原的高保真視頻放大方法，其特征在于，步 驟二中，采用雙線性插值的方法對原始圖像進(jìn)行兩倍插值，在FPGA內(nèi)部開辟兩個緩存空間， 每個緩存大小為兩行圖像數(shù)據(jù)所占用的空間，采用乒乓操作，對存儲空間內(nèi)的數(shù)據(jù)分時進(jìn) 行雙線性插值，獲得待復(fù)原的插值后的圖像。
【專利摘要】基于反卷積圖像復(fù)原的高保真視頻放大方法，涉及成像技術(shù)領(lǐng)域，本發(fā)明提高相機(jī)視頻放大后圖像質(zhì)量，解決提升分辨力與放大后圖像退化之間的矛盾等問題，本發(fā)明對待測相機(jī)鏡頭進(jìn)行測試，獲得待測相機(jī)的點(diǎn)擴(kuò)散函數(shù)，采用插值方法對原始圖像進(jìn)行插值，獲得待復(fù)原的插值后的圖像，對的點(diǎn)擴(kuò)散函數(shù)采用傅里葉反變換到空間域中，得到反卷積預(yù)選模板；并對其進(jìn)行截取，獲得尺寸為13×13的反卷積模板；將反卷積模板與待復(fù)原的插值后的圖像進(jìn)行實時的二維卷積，獲得復(fù)原后的放大圖像。本發(fā)明基于并行流水線思想按像元時鐘速率進(jìn)行實時處理，降低了硬件性能要求和代碼設(shè)計復(fù)雜程度，易于工程實現(xiàn)。適應(yīng)性強(qiáng)。
【IPC分類】H04N5/14, G06T5/00
【公開號】CN105491269
【申請?zhí)枴緾N201510821481
【發(fā)明人】張宇, 王文華
【申請人】長春乙天科技有限公司
【公開日】2016年4月13日
【申請日】2015年11月24日