用于生成圖像分辨率更佳的超分辨率圖像的方法及測(cè)量裝置制造方法
【專利摘要】在用于拍攝不可見光譜范圍內(nèi)的一列單幀圖像(6,7,8)的裝置中，提出一種用于生成SR圖像(11)的方法，該SR圖像(11)的圖像分辨率高于單幀圖像(6,7,8)的圖像分辨率，其中對(duì)于單幀圖像(6,7,8)，通過計(jì)算光流確定位移向量場(chǎng)(11,12)，并根據(jù)位移向量場(chǎng)(11,12)的值將單幀圖像(6,7,8)分割成圖塊(20,21,22,23,24,25)，其中進(jìn)行優(yōu)化過程利用單獨(dú)分配給圖塊(20,21,22,23,24,25)的可變參數(shù)由單幀圖像(6,7,8)算出SR圖像(11)。
【專利說明】用于生成圖像分辨率更佳的超分辨率圖像的方法及測(cè)量裝
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于生成圖像分辨率更佳的超分辨率圖像(SR圖像)的方法，其中拍攝不可見光譜范圍內(nèi)的一列由像素組成的單幀圖像，并在優(yōu)化過程中可通過將序列中的單幀圖像借助抽樣函數(shù)建模為SR圖像的采樣的方式而將單幀圖像合成SR圖像，。
【背景技術(shù)】
[0002]然而，在不可見光譜范圍中，通過用于拍攝單幀圖像的測(cè)量裝置的探測(cè)器限定圖像分辨率，其特點(diǎn)在于探測(cè)器尺寸過小且每測(cè)量面的探測(cè)器數(shù)量過多導(dǎo)致制造成本過高。
[0003]本發(fā)明要解決的問題在于，如何能在毋須提高探測(cè)器分辨率的情況下提高分辨率。
[0004]對(duì)此，人們已研究出一系列方法，這些方法可利用攝影機(jī)或探測(cè)器的移動(dòng)將多個(gè)拍攝的單幀圖像合成分辨率更佳的SR圖像。
[0005]這種合成在此設(shè)計(jì)成可將單幀圖像表達(dá)為SR圖像的采樣，通過這些采樣可建模測(cè)量裝置的光學(xué)性質(zhì)及探測(cè)器的分辨率。
[0006]這些已知方法由此利用單幀圖像之間的細(xì)微偏移實(shí)現(xiàn)SR圖像的較高圖像分辨率。然而在實(shí)踐中，在單幀圖像彼此偏差較大的情況下，例如由于拍攝對(duì)象移動(dòng)或顯著變化，在此仍會(huì)遇到一些問題。
[0007]在這種情況下存在的風(fēng)險(xiǎn)在于，SR圖像還具有不包含在單幀圖像內(nèi)的偽像，因此在該情況下通常不采納已拍攝的單幀圖像序列，重新拍攝新的單幀圖像序列來(lái)完成SR圖像。
[0008]本發(fā)明還涉及一種測(cè)量裝置，該測(cè)量裝置具有用于拍攝不可見光譜范圍內(nèi)一列圖像的裝置。有利地，這種測(cè)量裝置用于實(shí)施所述方法。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的在于，使前述方法更加穩(wěn)健。
[0010]為解決該目的，根據(jù)本發(fā)明在上述方法中設(shè)置成，在第一步中，自動(dòng)計(jì)算流向序列的單幀圖像的光流并為每一單幀圖像分配描述光流的位移向量場(chǎng)；在第二步中，將單幀圖像分割成至少兩個(gè)圖塊，其中每一圖塊內(nèi)的像素分別在位移向量場(chǎng)值域的預(yù)定分區(qū)中具有位移向量；在第三步中，采取優(yōu)化過程，其中對(duì)于圖塊，改變至少一個(gè)單獨(dú)的可變參數(shù)。通過這些特征，可有利地實(shí)現(xiàn)根據(jù)圖像內(nèi)容將優(yōu)化過程調(diào)整成可以不同于處理圖像內(nèi)容微弱變化或不變的圖像范圍的方式處理圖像內(nèi)容顯著變化的圖像范圍。一種典型的可通過本發(fā)明良好處理的情況是處理代表在固定背景前移動(dòng)對(duì)象的單幀圖像。所提及的確實(shí)小于單幀圖像并由此小于各單幀圖像子集的圖像范圍通過所述分割區(qū)分為多個(gè)圖塊并準(zhǔn)備用于下一處理過程。
[0011]優(yōu)選地，單幀圖像及SR圖像是二維圖像。[0012]利用已知方法通過單幀圖像的相互比較計(jì)算光流。作為計(jì)算結(jié)果的位移向量場(chǎng)逐像素地或局部地描述對(duì)應(yīng)于像素或像素組的圖像內(nèi)容在單幀圖像間移動(dòng)。
[0013]呈現(xiàn)各單幀圖像的像素上的位移向量場(chǎng)的總向量描述位移向量場(chǎng)的值域。在分區(qū)中將該值域分開，并分割成多個(gè)圖塊，對(duì)于這些圖塊，位移向量場(chǎng)接受分區(qū)中的位移向量。由此，單幀圖像被分割成與位移向量場(chǎng)的值域分區(qū)數(shù)相同多個(gè)的圖塊。位移向量的長(zhǎng)度分別描述兩個(gè)單幀圖像間局部圖像內(nèi)容移動(dòng)的距離，因此可以這種方式將在其中單幀圖像間的圖像內(nèi)容變化顯著的圖像范圍與其中圖像內(nèi)容僅有細(xì)微變化或完全沒有變化的圖像范圍區(qū)分開。位移向量的角度表明相對(duì)位移的方向，因此可以簡(jiǎn)單的方式將其圖像內(nèi)容在互異方向移動(dòng)的圖像范圍區(qū)分開并分別單獨(dú)考慮分開的圖像范圍。
[0014]這些圖塊在此可具有矩形，這種矩形狀在分割中可根據(jù)其尺寸進(jìn)行調(diào)整，或者還可采用具有非矩形的圖塊。這些圖塊可連續(xù)構(gòu)成或由多個(gè)彼此分開的組成部分構(gòu)成。
[0015]特別有利地，在根據(jù)本發(fā)明方法的預(yù)備步驟中利用測(cè)量裝置的圖像獲取裝置拍攝單幀圖像并將其備用于下一處理過程。
[0016]在優(yōu)化過程中，利用已知方法優(yōu)化能量函數(shù)，該能量函數(shù)描述在拍攝單幀圖像中使用的成像鏡組以及在拍攝單幀圖像中使用的探測(cè)器的成像性能。在優(yōu)化中，改變SR圖像及至少一個(gè)描述成像特性的可變參數(shù)，直至序列的單幀圖像可通過抽樣函數(shù)以盡可能小的誤差表達(dá)為SR圖像的采樣。
[0017]出于數(shù)學(xué)描述成像性能，通常將算子應(yīng)用于SR圖像，該算子至少由利用與點(diǎn)擴(kuò)散函數(shù)的卷積運(yùn)算和分辨率歸算組成。
[0018]本發(fā)明的優(yōu)勢(shì)在于，可分別將適當(dāng)?shù)目勺儏?shù)或適當(dāng)?shù)目勺儏?shù)組應(yīng)用于各圖塊。通過這種方式，優(yōu)化過程可更加適合于單幀圖像的圖像內(nèi)容，由此增加該方法的穩(wěn)健性。
[0019]例如可設(shè)置，在第三步中，對(duì)于每一圖塊，從相關(guān)分區(qū)選出位移向量并用于確定優(yōu)化過程的起始點(diǎn)。其優(yōu)勢(shì)在于，在少數(shù)計(jì)算步驟之后即可得出結(jié)果，因此可縮短優(yōu)化過程。
[0020]優(yōu)選地，在一種設(shè)置中，在優(yōu)化過程中分別遮蔽圖塊。通過這種方式可容易實(shí)現(xiàn)用于各圖塊的優(yōu)化過程相互不受影響或干擾。在此，在遮蔽之下利用數(shù)字矩陣表達(dá)各圖像的合成，由其隱藏?zé)o關(guān)或干擾性圖像片段。
[0021]在本發(fā)明一實(shí)施方案中的設(shè)置中，將序列的單幀圖像選為參考單幀圖像。其優(yōu)勢(shì)在于，可通過簡(jiǎn)單方式確定用于計(jì)算光流的參考圖像。
[0022]在此可設(shè)置，參考單幀圖像在連續(xù)拍攝單幀圖像期間移入單幀圖像序列中。
[0023]特別有利地，根據(jù)參考單幀圖像計(jì)算位移向量場(chǎng)。
[0024]在本發(fā)明一實(shí)施方案的設(shè)置中，在計(jì)算光流之前，在全局配準(zhǔn)中對(duì)每一單幀圖片計(jì)算全局或剛體變換，通過這種變換能夠以最佳方式使單幀圖像的相應(yīng)圖像內(nèi)容互相疊合或與參考單幀圖像疊合。其優(yōu)勢(shì)在于，可縮減計(jì)算光流所需的計(jì)算量。其優(yōu)勢(shì)進(jìn)一步在于，可在分割之前補(bǔ)償全部圖像內(nèi)容的同類圖像偏移。通過這種方式能夠容易算出偏移或背景運(yùn)動(dòng)。
[0025]在此，根據(jù)全局或剛體變換表達(dá)圖像內(nèi)容的轉(zhuǎn)變，其同樣或以相同方式用于單幀圖像的像素。由此，全局或剛體變換與局部或基于像素的變換相反并將單幀圖像的位移、旋轉(zhuǎn)和/或縮放作為整體與其他單幀圖像或與參考單幀圖像比較。[0026]在本發(fā)明一實(shí)施方案的設(shè)置中，在優(yōu)化過程中優(yōu)化能量函數(shù)。優(yōu)選地，能量函數(shù)評(píng)估單幀圖像與通過數(shù)學(xué)模型映射的SR圖像的偏差，該數(shù)學(xué)模型描述所用測(cè)量裝置的成像特性。這種數(shù)學(xué)建模可包括至少一個(gè)用于描述成像過程的卷積運(yùn)算及用于描述所用探測(cè)器的分辨率歸算。其優(yōu)勢(shì)在于，利用已提供的裝置可自動(dòng)(即由計(jì)算機(jī)執(zhí)行)確定SR圖像。
[0027]在一種設(shè)置中，能量函數(shù)可具有模擬圖像噪音的項(xiàng)。其優(yōu)勢(shì)在于，可建立實(shí)際成像過程的模型。
[0028]在一種設(shè)置中，可變參數(shù)可分別描述圖塊的圖像相對(duì)位移。其優(yōu)勢(shì)在于，可模擬用于拍攝的測(cè)量裝置在時(shí)間上前后連續(xù)拍攝的兩個(gè)單幀圖像之間的不自主運(yùn)動(dòng)并可用于生成SR圖像。
[0029]在一種設(shè)置中，可變參數(shù)可分別定義抽樣函數(shù)或點(diǎn)擴(kuò)散函數(shù)。在此，根據(jù)點(diǎn)擴(kuò)散函數(shù)表達(dá)通過所用測(cè)量裝置描述理想化的點(diǎn)狀對(duì)象的成像的函數(shù)。利用抽樣函數(shù)可描述例如由探測(cè)器的尺寸及分辨率導(dǎo)致的離散化。
[0030]在本發(fā)明一實(shí)施方案的設(shè)置中，由圖塊中的部分單幀圖像分別推導(dǎo)出SR圖塊中的部分SR圖像。其優(yōu)勢(shì)在于，可對(duì)SR圖像的SR圖塊分別實(shí)行優(yōu)化過程，這可再次提高對(duì)圖塊中各圖像內(nèi)容及其變化的相稱性。例如在一設(shè)置中，在SR圖塊上彼此單獨(dú)算出需計(jì)算用于評(píng)估能量函數(shù)的積分并且/或者對(duì)各SR圖塊使用不同的用于重建能量函數(shù)中單幀圖像的點(diǎn)擴(kuò)散函數(shù)。
[0031]在一種設(shè)置中，在優(yōu)化過程中優(yōu)化可變參數(shù)之后反復(fù)創(chuàng)建適當(dāng)?shù)腟R圖像，隨后對(duì)于該SR圖像重新優(yōu)化可變參數(shù)。其優(yōu)勢(shì)在于，可實(shí)現(xiàn)再次提高SR圖像的質(zhì)量。
[0032]在本發(fā)明一實(shí)施方案的設(shè)置中，在第三步中可指定對(duì)單幀圖像的哪一圖塊實(shí)行優(yōu)化過程。其優(yōu)勢(shì)在于，可借助遮蔽或諸如此類方式指定應(yīng)在優(yōu)化過程中選出的圖塊。由此，由優(yōu)化過程排除由于圖像內(nèi)容變化顯著而無(wú)法獲得可用結(jié)果的圖塊。通過這種方式，可再次提高其他圖塊的SR圖像或SR圖塊結(jié)果的質(zhì)量。
[0033]還可設(shè)置，僅在單幀圖像的圖塊或SR圖像的SR圖塊相應(yīng)的位移向量位于預(yù)定區(qū)間之內(nèi)的情況下才對(duì)其實(shí)行優(yōu)化過程。通過這種方式可避免具有變化較大的圖像內(nèi)容的圖塊對(duì)計(jì)算結(jié)果產(chǎn)生不利影響。
[0034]可選擇設(shè)置，僅在單幀圖像的圖塊或SR圖像的SR圖塊相應(yīng)的位移向量位于預(yù)定區(qū)間之外的情況下才對(duì)其實(shí)行優(yōu)化過程。其優(yōu)勢(shì)在于，可通過簡(jiǎn)單方式將由于圖像內(nèi)容變化過小而預(yù)期不會(huì)明顯提高圖像分辨率的圖塊排出后續(xù)處理。由此可精簡(jiǎn)計(jì)算量。然后可設(shè)置，對(duì)于這些圖塊，單幀圖像之間幾乎未改變的圖像內(nèi)容被收入相應(yīng)的SR圖塊或SR圖像，通過插值或復(fù)制測(cè)量值補(bǔ)充SR圖像，從而達(dá)到圖像的圖像分辨率。
[0035]不可見光譜范圍是紅外線光譜范圍且所拍攝單幀圖像是熱影像的情況下，采用本發(fā)明可具有尤其顯著的優(yōu)勢(shì)。
[0036]為解決上述問題，根據(jù)本發(fā)明在前述類型的測(cè)量裝置的設(shè)置中，構(gòu)造設(shè)置用于實(shí)施根據(jù)本發(fā)明的方法的像質(zhì)評(píng)定單元。優(yōu)選地，通過對(duì)像質(zhì)評(píng)定單元相應(yīng)編程實(shí)現(xiàn)這種設(shè)置，其中對(duì)于根據(jù)本發(fā)明的各方法步驟分別可行地提供相應(yīng)的過程模塊。
【專利附圖】

【附圖說明】
[0037]下面根據(jù)具體實(shí)施方案進(jìn)行詳細(xì)說明，但本發(fā)明不僅限于這些實(shí)施方案。通過權(quán)利要求所述的一個(gè)或多個(gè)特征相互結(jié)合并且/或者與下述實(shí)施方案所述的一個(gè)或多個(gè)特征相結(jié)合亦可得出其他實(shí)施方案。
[0038]在附圖中:
[0039]圖1表示說明根據(jù)本發(fā)明的方法的高度簡(jiǎn)化的原理示意圖；
[0040]圖2表示根據(jù)本發(fā)明的測(cè)量裝置的三維正向斜視圖；
[0041]圖3表示如圖2所示的根據(jù)本發(fā)明的測(cè)量裝置的三維背向斜視圖。
【具體實(shí)施方式】
[0042]圖2和圖3在正視及后視的三維斜視圖中表示整體以標(biāo)號(hào)I代表的根據(jù)本發(fā)明的測(cè)量裝置。在所述的實(shí)施方案中，測(cè)量裝置I構(gòu)造成熱成像攝像機(jī)。
[0043]測(cè)量裝置I具有用于以已知方式拍攝不可見光譜范圍內(nèi)圖像序列的拍攝裝置2。在此處表示的作為測(cè)量裝置I的熱成像攝像機(jī)中，采用紅外線光譜范圍。
[0044]對(duì)此，拍攝裝置2包括攝影鏡組3以及設(shè)置在攝影鏡組3之后測(cè)量裝置I內(nèi)部的攝影探測(cè)器4，利用該攝影鏡組3可捕捉不可見光譜范圍內(nèi)的電磁輻射。
[0045]攝影探測(cè)器4在所述的不可見范圍內(nèi)易感并用于捕捉圖像，由此配置二維測(cè)量值裝置，其反映測(cè)量值、此處溫度或有關(guān)溫度的大小的空間分布。
[0046]攝影探測(cè)器4具有探測(cè)器分辨率，通過該探測(cè)器分辨率使所拍攝圖像由像素組成，其中每一像素均配有所拍攝圖像的測(cè)量值。
[0047]在測(cè)量裝置I中構(gòu)造像質(zhì)評(píng)定單元5，該像質(zhì)評(píng)定單元5設(shè)置用于執(zhí)行下述根據(jù)本發(fā)明的方法。
[0048]在所述實(shí)施方案中，像質(zhì)評(píng)定單元5構(gòu)造成數(shù)據(jù)處理單元并通過相應(yīng)編程配置而成。
[0049]在利用攝影鏡組3捕獲并測(cè)定所述不可見光譜范圍內(nèi)的電磁輻射的情況下，即利用測(cè)量裝置I的攝影探測(cè)器4，通過已知方式拍攝一列單幀圖像6、7、8并準(zhǔn)備用于后續(xù)處理過程。
[0050]由此，作為測(cè)量結(jié)果，對(duì)每一單幀圖像6、7、8均存在一列二維測(cè)量值，其中每測(cè)量值形成像素9、10。在圖1中，盡管單幀圖像6、7、8是由多像素組成，但僅舉例表示出兩個(gè)像素 9、10。
[0051]由每一單幀圖片6、7、8的像素9、10的數(shù)目表明單幀圖像6、7、8的圖像分辨率，通過攝影探測(cè)器4的探測(cè)器分辨率確定該圖像分辨率。在此，攝影探測(cè)器4可具有探測(cè)元件的二維晶格結(jié)構(gòu)或以析像技術(shù)構(gòu)造。
[0052]下文將詳細(xì)闡述利用根據(jù)本發(fā)明的方法將單幀圖像6、7、8合成為圖像分辨率更佳的SR圖像11，由此SR圖像的圖像分辨率高于單幀圖像6、7、8的圖像分辨率。
[0053]在此可由SR圖像11模擬單幀圖像6、7、8，由此每將描述圖像分辨率降回單幀圖像6、7、8的圖像分辨率的抽樣函數(shù)用于SR圖像11，即可至少近乎重構(gòu)單幀圖像6、7、8。
[0054]在根據(jù)本發(fā)明的方法中，在第一步中自動(dòng)(即由計(jì)算機(jī)執(zhí)行)計(jì)算流向單幀圖像
6、7、8的光流。對(duì)此，例如將單幀圖像7選為參考單幀圖像，可算出單幀圖像6和8的圖像局部相對(duì)于單幀圖像7發(fā)生位移或一般變形的量和方向，從而使圖像局部相互疊合。在此，通過幾個(gè)相鄰像素9、10表示出所述圖像局部。[0055]由此，在計(jì)算結(jié)果中，各單幀圖像6、7、8均對(duì)應(yīng)位移向量場(chǎng)12、13，其中在參考單幀圖像7中對(duì)應(yīng)全部零化的位移向量場(chǎng)(在圖1中未進(jìn)一步示出)。
[0056]由此，位移向量場(chǎng)12、13由有關(guān)的單幀圖像6、7、8的各像素9、10的位移向量14、15、16、17、18、19 組成。
[0057]在圖1中，出于簡(jiǎn)化視圖目的，僅表示出幾個(gè)位移向量14、15、16、17、18、19。
[0058]由圖1可看出，單幀圖像6、7、8內(nèi)的位移向量14、15、16、17、18、19并未對(duì)全部像素9、10保持不變，而是在各單幀圖像6、7、8的像素9、10發(fā)生變化。因此，位移向量場(chǎng)11、
12、13通常與位置相關(guān)。其原因在于，單幀圖像6、7、8中拍攝的場(chǎng)景在拍攝單幀圖像6、7、8之間以不同方式發(fā)生改變，例如由于對(duì)象相對(duì)于靜態(tài)或緩慢變化的背景移動(dòng)。
[0059]由此，各位移向量場(chǎng)12、13確定值域，在該值域內(nèi)位移向量14、15、16、17、18、19在單幀圖像6、7、8的像素9、10發(fā)生變化。在此，通過位移向量14、15、16、17、18、19的方向及其長(zhǎng)度確定各位移向量14、15、16、17、18、19，其方向和長(zhǎng)度共同形成值域。
[0060]在根據(jù)本發(fā)明的方法的第二步中，將單幀圖像分割成圖塊20、21、22、23、24、25，從而使圖塊20、21、22、23、24、25內(nèi)的像素9、10分別位于位移向量場(chǎng)12、13的值域的預(yù)定分區(qū)中，而各相關(guān)圖塊20、21、22、23、24、25之外的像素9、10具有位于上述分區(qū)之外的位移向量14、15、16、17、18、19。對(duì)此，事先將各值域分成分區(qū)。
[0061]在圖1中，圖塊22或25形成各單幀圖像6或8中圖塊20及21或23及24的補(bǔ)充部分。
[0062]由此，圖塊20及23或21及24可與圖像部分26或27 —致，在單幀圖像7中通過相應(yīng)的幾何形狀表明圖像部分26或27。在這種情況下，圖塊20或23內(nèi)的位移向量描述圖像部分26在單幀圖像6或8間相對(duì)于單幀圖像7的位移，同時(shí)圖塊21或24內(nèi)的位移向量
15、18描述圖像部分27在單幀圖像6或8中相對(duì)于單幀圖像7的位移。
[0063]在這種情況下，位移向量14或17描述所拍攝場(chǎng)景的背景28的圖像位移。這些位移向量14或17可在前置的粗配準(zhǔn)中零化。
[0064]在圖1中，出于簡(jiǎn)化視圖目的，圖塊20、21、22、23、24、25內(nèi)的位移向量14、15、16、
17、18、19相互平行并具有相同的長(zhǎng)度。但所述分區(qū)還可設(shè)置成圖塊20、21、22、23、24、25內(nèi)的位移向量14、15、16、17、18、19可在一定角度范圍內(nèi)和/或一定長(zhǎng)度范圍內(nèi)互相偏移。
[0065]而預(yù)定分區(qū)的邊界確定圖塊20、21、22、23、24、25的界限。由此還可看出，圖塊20、21、22、23、24、25并非一直連續(xù)，而包括多個(gè)相互分開的一組像素9、10。
[0066]在根據(jù)本發(fā)明的方法的第三步中，進(jìn)行優(yōu)化法將單幀圖像6、7、8合成為SR圖像11，其中，對(duì)于圖塊20、21、22、23、24、25，分別改變至少一個(gè)獨(dú)立(即單獨(dú))的可變參數(shù)。
[0067]對(duì)此，對(duì)于每一圖塊20、21、22、23、24、25，由位移向量場(chǎng)12、13的值域的相應(yīng)分區(qū)中分別選出位移向量29、30、31、32、33、34。所選的位移向量29、30、31、32、33、34可分別由相關(guān)圖塊20、21、22、23、24、25中各單幀圖像6、8的像素9、10上的位移向量場(chǎng)12、13具有的位移向量14、15、16、17、18、19產(chǎn)生。但還可通過各個(gè)分區(qū)的預(yù)定值(例如各分區(qū)的平均值或極限值)確定位移向量29、30、31、32、33、34。
[0068]在優(yōu)化過程中，優(yōu)化評(píng)估單幀圖像6、7、8與重構(gòu)單幀圖像的偏差的能量函數(shù)，所述重構(gòu)單幀圖像可通過裝置I的攝像裝置2的成像過程的數(shù)學(xué)建模由初步產(chǎn)生的SR圖像11導(dǎo)出?？赏ㄟ^計(jì)算各單幀圖像6、7、8與相應(yīng)重構(gòu)間的方差和或其平方根形成該評(píng)估。[0069]出于對(duì)成像過程建模，將算子用于初步產(chǎn)生的SR圖像11，該算子通過SR圖像11與點(diǎn)擴(kuò)散函數(shù)的卷積描述對(duì)應(yīng)的圖像位移。
[0070]在優(yōu)化過程中，SR圖像11的圖像內(nèi)容及所述的點(diǎn)擴(kuò)散函數(shù)反復(fù)變化，直至由SR圖像11重構(gòu)的單幀圖像與所拍攝的單幀圖像6、7、8形成盡可能良好的一致性。
[0071]能量函數(shù)包含額外的模擬圖像噪音的附加項(xiàng)。
[0072]為利用各圖塊20、21、22、23、24、25的單獨(dú)可變參數(shù)進(jìn)行優(yōu)化過程，可由單幀圖像
6、7、8在圖塊20、21、22、23、24、25中的部分推導(dǎo)SR圖像在SR圖塊35、36、37中的部分。
[0073]例如，還可分別為圖塊20、23或21、24選取SR圖塊35、36，SR圖塊35、36共含SR圖像11對(duì)應(yīng)于單幀圖像6、8的對(duì)應(yīng)圖塊20、23或21、24的像素；并且將SR圖塊37選為SR圖像11的SR圖塊35、36的補(bǔ)充部分。
[0074]對(duì)每一位移向量29、30、31、32、33、34選擇利用相關(guān)位移向量29、30、31、32、33、34數(shù)學(xué)描述圖像相對(duì)位移的點(diǎn)擴(kuò)散函數(shù)38、39、40、41、42、43。
[0075]在一實(shí)施方案中，點(diǎn)擴(kuò)散函數(shù)38、39、40、41、42、43構(gòu)造成其位置分別描述圖像位移的狄拉克函數(shù)。在另一實(shí)施方案中，可采用其它點(diǎn)擴(kuò)散函數(shù)，如高斯函數(shù)。
[0076]在優(yōu)化過程中，先后遮蔽圖塊20、21、22、23、24、25或SR圖塊35、36、37，從而通過相關(guān)的點(diǎn)擴(kuò)散函數(shù)38、39、40、41、42、43計(jì)算各圖塊20、21、22、23、24、25或SR圖塊35、36、37對(duì)能量函數(shù)的貢獻(xiàn)。
[0077]對(duì)于用作參考單幀圖像的單幀圖像7，采用全局點(diǎn)擴(kuò)散函數(shù)45。
[0078]在優(yōu)化過程中，將圖像擴(kuò)散函數(shù)38、39、40、41、42、43、44的圖像位置或焦點(diǎn)變?yōu)榭勺儏?shù)。圖1中表示的點(diǎn)擴(kuò)散函數(shù)38、39、40、41、42、43、44用作優(yōu)化法的起始點(diǎn)。
[0079]在所述分割之前，如上述，在單幀圖像6、7、8間進(jìn)行粗配準(zhǔn)，由此可使對(duì)應(yīng)于所拍攝場(chǎng)景的背景28的圖塊22、25的位移向量14、17完全或幾乎完全零化。
[0080]倘若證實(shí)圖塊20、21、22、23、24、25中的位移向量14、15、16、17、18、19位于預(yù)定范圍之外并由此表明圖像位移過大，則在優(yōu)化過程中整體完全遮蔽相關(guān)圖塊20、21、22、23、24,25ο
[0081]由此，這些屬于圖片內(nèi)容變化過大的圖塊20、21、22、23、24、25不會(huì)不適宜地改變優(yōu)化過程的結(jié)果。還可在優(yōu)化過程中相應(yīng)遮蔽相關(guān)的SR圖塊35、36、37。
[0082]可選地，還可在優(yōu)化過程中僅選擇改變其相關(guān)位移向量14、15、16、17、18、19位于預(yù)定范圍內(nèi)的圖塊20、21、22、23、24、25或SR圖塊35、36、37，所述預(yù)定區(qū)間表征置信水平。
[0083]在優(yōu)化過程中，首先對(duì)初步產(chǎn)生的SR圖像11優(yōu)化點(diǎn)擴(kuò)散函數(shù)38、39、40、41、42、43,44的可變參數(shù)。對(duì)于由此取得的一組優(yōu)化可變參數(shù),隨之改變SR圖像11的圖像內(nèi)容，直至能量函數(shù)更接近其最佳點(diǎn)。隨后，再次改變這組可變參數(shù)。反復(fù)繼續(xù)這一過程，直至符合結(jié)束條件。
[0084]計(jì)算最佳SR圖像11之后,在顯示裝置45 (如顯示器)上顯示出該SR圖像。
[0085]算出的最佳SR圖像還可在輸出裝置46 (如數(shù)據(jù)輸出)上備用于后續(xù)處理過程。
[0086]在測(cè)量裝置I中連續(xù)進(jìn)行所述方法，其中以規(guī)律的時(shí)間間隔拍攝單幀圖像6、7、8的序列的新單幀圖像6、7、8。參考單幀圖像7隨著時(shí)間進(jìn)程在這一單幀圖像6、7、8的序列中移動(dòng)，并且在由單幀圖像6、7、8的拍攝預(yù)定數(shù)目確定的規(guī)律時(shí)間間隔中，從實(shí)際的單幀圖像6、7、8計(jì)算并輸出新的SR圖像11。通過這種方式，在通過拍攝新單幀圖像6、7、8確定的時(shí)鐘信號(hào)中更新顯示裝置45上的顯示。
[0087]換言之，根據(jù)本發(fā)明的方法提出改進(jìn)目前已知的超分辨率方法，考慮局部運(yùn)動(dòng)的運(yùn)動(dòng)估計(jì)并相應(yīng)遮蔽單幀圖像6、7、8的圖像區(qū)域26、27、28。隨后計(jì)算高分辨率的SR圖像11的分步利用這種遮蔽及局部運(yùn)動(dòng)。
[0088]在用于拍攝不可見光譜范圍內(nèi)的一列單幀圖像6、7、8的裝置中，提出一種用于生成SR圖像11的方法，該SR圖像11的圖像分辨率高于單幀圖像6、7、8的圖像分辨率，在該方法中，對(duì)于單幀圖像6、7、8，通過計(jì)算光流確定位移向量場(chǎng)11、12，并根據(jù)位移向量場(chǎng)11、12的值將單幀圖像6、7、8分割成圖塊20、21、22、23、24、25，其中進(jìn)行優(yōu)化過程利用單獨(dú)分配給圖塊20、21、22、23、24、25的可變參數(shù)由單幀圖像(6、7、8)算出SR圖像(11)。
【權(quán)利要求】
1.本發(fā)明涉及一種用于生成圖像分辨率更佳的SR圖像(11)的方法，其中拍攝不可見光譜范圍內(nèi)一序列由像素(9，10)組成的單幀圖像(6，7，8)，并且在優(yōu)化過程中，通過將序列中的單幀圖像(6，7，8)借助抽樣函數(shù)建模為一 SR圖像(11)的采樣的方式，將所述單幀圖像(6，7，8)合成所述SR圖像(11)， 其特征在于: 第一步，自動(dòng)計(jì)算流向所述序列的單幀圖像(6，7，8)的光流并為每一單幀圖像(6,7,8)分配一描述所述光流的位移向量場(chǎng)(11,12)； 第二步，將所述單幀圖像(6，7，8)分割成至少兩個(gè)圖塊(20，21，22，23，24，25)，其中每一圖塊(20，21，22，23，24，25)內(nèi)的像素(9，10)分別在對(duì)應(yīng)位移向量場(chǎng)(11，12)的值域的一預(yù)定分區(qū)中具有一位移向量(14，15，16，17，18，19)； 第三步，執(zhí)行上述優(yōu)化過程，其中對(duì)于所述圖塊(20，21，22，23，24，25)，分別改變至少一單獨(dú)的可變參數(shù)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于:在所述第三步中，對(duì)于每一圖塊(20，21，22，23，24，25)，從其相關(guān)分區(qū)選出一位移向量(29，20，31，32，33，34)并用于確定優(yōu)化過程的起始點(diǎn)。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于:將所述序列的一單幀圖像(6，7，8)選為參考單幀圖像(7)，并且/或者根據(jù)所述參考單幀圖像(7)計(jì)算所述位移向量場(chǎng)(11，12)。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于:在計(jì)算光流之前，在一全局配準(zhǔn)中對(duì)每一單幀圖片(6，7，8)計(jì)算全局或剛體變換，通過所述變換可以最佳方式使所述單幀圖像出，7，8)的相應(yīng)圖像內(nèi)容互相疊合或與一參考單幀圖像(7)疊合。
5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其特征在于:在優(yōu)化過程中優(yōu)化一能量函數(shù)，并且/或者所述能量函數(shù)具有模擬圖像噪音的項(xiàng)。
6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其特征在于:所述可變參數(shù)分別描述所述圖塊(20，21，22，23，24，25)的相對(duì)圖像位移，并且/或者所述可變參數(shù)分別確定一抽樣函數(shù)或一點(diǎn)擴(kuò)散函數(shù)(38，39，40，41，42，43，44)。
7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其特征在于:由所述圖塊(20，21，22，23，24，25)中的單幀圖像(6，7，8)部分分別推導(dǎo)出SR圖塊(35，36，37)中的SR圖像(11)部分，并且/或者為一單幀圖像(6，7，8)的一圖塊(20，21，22，23，24，25)分配的抽樣函數(shù)或點(diǎn)擴(kuò)散函數(shù)(38，39，40，41，42，43，44)應(yīng)用于由所述圖塊導(dǎo)出的SR圖像(35，36，37)的一 SR 圖塊(20，21，22，23，24，25)。
8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其特征在于:在優(yōu)化過程中，優(yōu)化所述可變參數(shù)之后反復(fù)創(chuàng)建一適當(dāng)?shù)腟R圖像(11)，對(duì)于該SR圖像(11)重新優(yōu)化所述可變參數(shù)。
9.根據(jù)權(quán)利要求1-8中任一項(xiàng)所述的方法，其特征在于:在所述第三步中，指定對(duì)其執(zhí)行優(yōu)化過程的所述單幀圖像(6，7，8)的圖塊(20，21，22，23，24，25)，并且/或者僅在所述單幀圖像(6，7，8)的圖塊(20，21，22，23，24，25)或所述 SR 圖像(11)的 SR 圖塊(35，36，37)的相關(guān)位移向量(14，15，16，17，18，19)位于預(yù)定區(qū)間之內(nèi)或預(yù)定區(qū)間之外時(shí)才對(duì)其執(zhí)行優(yōu)化過程。
10.一種測(cè)量裝置(I)，該測(cè)量裝置包括用于在一不可見光譜范圍內(nèi)拍攝一序列單幀圖像(6，7，8)的攝像裝置(2)，其特征在于:一像質(zhì)評(píng)定單元(5)構(gòu)造用于實(shí)施根據(jù)前述任一權(quán)利要求 所述的方法。
【文檔編號(hào)】G06T3/40GK103999123SQ201280061888
【公開日】2014年8月20日 申請(qǐng)日期:2012年12月10日 優(yōu)先權(quán)日:2011年12月16日
【發(fā)明者】簡(jiǎn)-美素·埃弗斯-森納, 馬丁·斯特拉特曼, 馬提亞·施米德爾, 約爾格·蘭格 申請(qǐng)人:特斯托股份公司