用于生成超分辨率圖像的方法、裝置和計算機程序產(chǎn)品與流程
各種實施例總體上涉及用于生成超分辨率圖像的方法、裝置和計算機程序產(chǎn)品。
背景技術(shù)：
諸如相機、移動電話和其他設(shè)備等各種電子設(shè)備被廣泛地用于捕獲諸如場景的圖像和/或視頻等媒體內(nèi)容。為了捕獲高分辨率媒體內(nèi)容，可以相對于參考圖像/幀配準媒體內(nèi)容的圖像/幀，以便生成超分辨率圖像。超分辨率圖像可以通過被稱為多幀圖像超分辨率的技術(shù)來生成。在多幀圖像超分辨率技術(shù)中，可以在不同的條件下獲取相同場景的若干噪聲低分辨率圖像，并且將這些圖像一起處理，從而生成一個或多個高質(zhì)量超分辨率圖像。這種超分辨率圖像可以用于諸如衛(wèi)星地形圖像、醫(yī)學圖像、監(jiān)視應用等眾多應用中。
與用于生成超分辨率圖像的任何原始圖像相比，超分辨率圖像可以與更高的空間頻率以及更少的噪聲和圖像模糊相關(guān)聯(lián)。然而，如果場景包括移動對象(或運動中的對象)，則場景的超分辨率圖像可以包括運動偽像。這可能歸因于以下事實：跨圖像/幀的配準僅處理全局運動，而不是與場景相關(guān)聯(lián)的局部運動。在一些情況下，也可以應用用于處理局部運動的技術(shù)，然而這種技術(shù)耗時并且是計算密集型的。
技術(shù)實現(xiàn)要素：
各種一個示例實施例在權(quán)利要求中闡述。
在第一實施例中，提供了一種方法，其包括：基于場景的多個圖像中的參考圖像以及剩余的一個或多個圖像來生成與場景相關(guān)聯(lián)的初始超分辨率圖像，場景包括至少一個移動對象；對參考圖像進行上采樣以生成上采樣參考圖像；基于超分辨率圖像和上采樣參考圖像來生成運動掩模圖像，運動掩模圖像表示與場景相關(guān)聯(lián)的至少一個移動對象的運動；以及基于運動掩模圖像來生成場景的合成圖像，該合成圖像包括描繪至少一個移動對象的至少一個部分。
在第二實施例中，提供了一種裝置，其包括至少一個處理器；以及包括計算機程序代碼的至少一個存儲器，至少一個存儲器和計算機程序代碼被配置為與至少一個處理器一起使上述裝置至少執(zhí)行：基于場景的多個圖像中的參考圖像以及剩余的一個或多個圖像來生成與場景相關(guān)聯(lián)的初始超分辨率圖像，場景包括至少一個移動對象；對參考圖像進行上采樣以生成上采樣參考圖像；基于超分辨率圖像和上采樣參考圖像來生成運動掩模圖像，運動掩模圖像表示與場景相關(guān)聯(lián)的至少一個移動對象的運動；以及基于運動掩模圖像來生成場景的合成圖像，該合成圖像包括描繪至少一個移動對象的至少一個部分。
在第三實施例中，提供了一種包括至少一個計算機可讀存儲介質(zhì)的計算機程序產(chǎn)品，計算機可讀存儲介質(zhì)包括指令組，該指令組在由一個或多個處理器執(zhí)行時使裝置至少執(zhí)行：基于場景的多個圖像中的參考圖像以及剩余的一個或多個圖像來生成與場景相關(guān)聯(lián)的初始超分辨率圖像，場景包括至少一個移動對象；對參考圖像進行上采樣以生成上采樣參考圖像；基于超分辨率圖像和上采樣參考圖像來生成運動掩模圖像，運動掩模圖像表示與場景相關(guān)聯(lián)的至少一個移動對象的運動；以及基于運動掩模圖像來生成場景的合成圖像，該合成圖像包括描繪至少一個移動對象的至少一個部分。
在第四實施例中，提供了一種裝置，其包括：用于基于場景的多個圖像中的參考圖像以及剩余的一個或多個圖像來生成與場景相關(guān)聯(lián)的初始超分辨率圖像的裝置，場景包括至少一個移動對象；用于對參考圖像進行上采樣以生成上采樣參考圖像的裝置；用于基于超分辨率圖像和上采樣參考圖像來生成運動掩模圖像的裝置，運動掩模圖像表示與場景相關(guān)聯(lián)的至少一個移動對象的運動；以及用于基于運動掩模圖像來生成場景的合成圖像的裝置，該合成圖像包括描繪至少一個移動對象的至少一個部分。
在第五實施例中，提供了一種包括程序指令的計算機程序，程序指令在由裝置執(zhí)行時引起裝置：基于場景的多個圖像中的參考圖像以及剩余的一個或多個圖像來生成與場景相關(guān)聯(lián)的初始超分辨率圖像，場景包括至少一個移動對象；對參考圖像進行上采樣以生成上采樣參考圖像；基于超分辨率圖像和上采樣參考圖像來生成運動掩模圖像，運動掩模圖像表示與場景相關(guān)聯(lián)的至少一個移動對象的運動；以及基于運動掩模圖像來生成場景的合成圖像，該合成圖像包括描繪至少一個移動對象的至少一個部分。
附圖說明
在附圖的圖中通過示例而非限制的方式示出了各種實施例，在附圖中：
圖1示出了根據(jù)一個示例實施例的設(shè)備；
圖2示出了根據(jù)一個示例實施例的用于生成超分辨率圖像的裝置；
圖3a-3d表示根據(jù)一個示例實施例的用于生成與場景相關(guān)聯(lián)的超分辨率圖像的示例步驟；
圖4是描繪根據(jù)一個示例實施例的用于生成超分辨率圖像的示例方法的流程圖；以及
圖5是描繪根據(jù)另一一個示例實施例的用于生成超分辨率圖像的另一示例方法的流程圖。
具體實施方式
通過參考附圖的圖1至圖5可以理解示例實施例及其潛在效果。
圖1示出了根據(jù)一個示例實施例的設(shè)備100。然而，應當理解，如圖所示和下文所述的設(shè)備100僅僅是可以受益于各種實施例的一種類型的設(shè)備的說明，因此，不應該將其用于限制實施例的范圍。因此，應當理解，下面結(jié)合設(shè)備100描述的至少一些部件可以是可選的，并且因此在一個示例實施例中可以包括與結(jié)合圖1的一個示例實施例所描述的那些相比更多、更少或不同的部件。設(shè)備100可以是多種類型的移動電子設(shè)備中的任何一種，例如便攜式數(shù)字助理(pda)、尋呼機、移動電視、游戲設(shè)備、蜂窩電話、所有類型的計算機(例如，膝上型計算機、移動計算機或臺式機)、相機、音頻/視頻播放器、無線電、全球定位系統(tǒng)(gps)設(shè)備、媒體播放器、移動數(shù)字助理、或者上述和其他類型的通信設(shè)備的任何組合。
設(shè)備100可以包括與發(fā)送器104和接收器106可操作地通信的天線102(或多個天線)。設(shè)備100還可以包括諸如控制器108或其他處理設(shè)備等裝置，其分別向發(fā)送器104和接收器106提供信號和接收信號。信號可以包括符合適用的蜂窩系統(tǒng)的空中接口標準的信令信息，和/或還可以包括對應于用戶語音的數(shù)據(jù)、接收到的數(shù)據(jù)和/或用戶生成的數(shù)據(jù)。在這方面，設(shè)備100可以能夠與一個或多個空中接口標準、通信協(xié)議、調(diào)制類型和接入類型一起操作。作為一個示例，設(shè)備100可以能夠根據(jù)多個第一、第二、第三和/或第四代通信協(xié)議等中的任何一個來操作。例如，設(shè)備100可以能夠根據(jù)第二代(2g)無線通信協(xié)議is-136(時分多址(tdma))、gsm(全球移動通信系統(tǒng))和is-95(碼分多址(cdma))，或者根據(jù)第三代(3g)無線通信協(xié)議(諸如通用移動電信系統(tǒng)(umts)、cdma1000、寬帶cdma(wcdma)和時分同步cdma(td-scdma))，根據(jù)3.9g無線通信協(xié)議(諸如演進型通用陸地無線電接入網(wǎng)絡(luò)(e-utran))，根據(jù)第四代(4g)無線通信協(xié)議等來操作。作為備選地(或附加地)，設(shè)備100可以能夠根據(jù)非蜂窩通信機制來操作。例如，諸如因特網(wǎng)、局域網(wǎng)、廣域網(wǎng)等計算機網(wǎng)絡(luò)；諸如
控制器108可以包括除其他之外實現(xiàn)設(shè)備100的音頻和邏輯功能的電路。例如，控制器108可以包括但不限于一個或多個數(shù)字信號處理器設(shè)備、一個或多個微處理器設(shè)備、具有附帶的數(shù)字信號處理器的一個或多個處理器、沒有附帶的數(shù)字信號處理器的一個或多個處理器、一個或多個專用計算機芯片、一個或多個現(xiàn)場可編程門陣列(fpga)、一個或多個控制器、一個或多個專用集成電路(asic)、一個或多個計算機、各種模數(shù)轉(zhuǎn)換器、數(shù)模轉(zhuǎn)換器和/或其他支持電路。設(shè)備100的控制和信號處理功能根據(jù)它們各自的能力在這些設(shè)備之間被分配。因此，控制器108還可以包括在調(diào)制和傳輸之前對消息和數(shù)據(jù)進行卷積編碼和交織的功能?？刂破?08還可以包括內(nèi)部語音編碼器，并且可以包括內(nèi)部數(shù)據(jù)調(diào)制解調(diào)器。此外，控制器108可以包括操作可以存儲在存儲器中的一個或多個軟件程序的功能。例如，控制器108可以能夠操作連接程序，諸如傳統(tǒng)的web瀏覽器。連接程序然后可以使得設(shè)備100能夠根據(jù)無線應用協(xié)議(wap)、超文本傳輸協(xié)議(http)等來傳輸和接收web內(nèi)容，諸如基于位置的內(nèi)容和/或其他網(wǎng)頁內(nèi)容。在一個示例實施例中，控制器108可以被實施為多核處理器，諸如雙核或四核處理器。然而，可以在控制器108中包括任何數(shù)目的處理器。
設(shè)備100還可以包括用戶接口，其包括輸出設(shè)備，諸如振鈴器110、耳機或揚聲器112、麥克風114、顯示器116和用戶輸入接口，其可以耦合到控制器108。用戶輸入接口使得設(shè)備100能夠接收數(shù)據(jù)，用戶輸入接口可以包括使得設(shè)備100能夠接收數(shù)據(jù)的多個設(shè)備中的任何一個，諸如小鍵盤118、觸摸顯示器、麥克風或其他輸入設(shè)備。在包括小鍵盤118的實施例中，小鍵盤118可以包括數(shù)字鍵(0-9)和相關(guān)鍵(#、*)、以及用于操作設(shè)備100的其它硬鍵和軟鍵。附加地或備選地，小鍵盤118可以包括傳統(tǒng)的qwerty鍵盤布置。小鍵盤118還可以包括具有相關(guān)聯(lián)功能的各種軟鍵。附加地或備選地，設(shè)備100可以包括接口設(shè)備，諸如操縱桿或其他用戶輸入接口。設(shè)備100還包括用于電池120，諸如振動電池組，以用于給操作設(shè)備100的各種電路供電以及備選地提供機械振動作為可檢測輸出。
在一個示例實施例中，設(shè)備100包括與控制器108通信的媒體捕獲元件，諸如相機、視頻和/或音頻模塊。媒體捕獲元件可以是被配置用于捕獲圖像、視頻和/或音頻用于存儲、顯示或傳輸?shù)娜魏窝b置。媒體捕獲元件是相機模塊122的一個示例實施例中，相機模塊122可以包括能夠從捕獲的圖像形成數(shù)字圖像文件的數(shù)字相機。因此，相機模塊122包括諸如透鏡或其他光學部件等所有硬件、以及用于根據(jù)捕獲的圖像創(chuàng)建數(shù)字圖像文件的軟件?；蛘撸鄼C模塊122可以包括查看圖像所需的硬件，而設(shè)備100的存儲設(shè)備存儲用于由控制器108執(zhí)行以根據(jù)捕獲的圖像創(chuàng)建數(shù)字圖像文件的軟件形式的指令。在一個示例實施例中，相機模塊122還可以包括協(xié)助控制器108處理圖像數(shù)據(jù)的處理元件(諸如協(xié)處理器)、以及用于壓縮和/或解壓縮圖像數(shù)據(jù)的編碼器和/或解碼器。編碼器和/或解碼器可以根據(jù)jpeg標準格式或其他類似格式來編碼和/或解碼。對于視頻，編碼器和/或解碼器可以采用多種標準格式中的任何一種，諸如例如與h.261、h.262/mpeg-2、h.263、h.264、h.264/mpeg-4、mpeg-4等相關(guān)聯(lián)的標準。在一些情況下，相機模塊122可以向顯示器116提供實時圖像數(shù)據(jù)。此外，在一個示例實施例中，顯示器116可以位于設(shè)備100的一側(cè)，并且相機模塊122可以包括透鏡，該透鏡相對于顯示器116位于設(shè)備100的相對側(cè)，以使得相機模塊122能夠在設(shè)備100的一側(cè)捕獲圖像并且將這樣的圖像的視圖呈現(xiàn)給位于設(shè)備100的另一側(cè)的用戶。
設(shè)備100還可以包括用戶身份模塊(uim)124。uim124可以是具有內(nèi)置處理器的存儲器設(shè)備。uim124可以包括例如用戶身份模塊(sim)、通用集成電路卡(uicc)、通用用戶識別模塊(usim)、可移除用戶身份模塊(r-uim)、或任何其他智能卡。uim124通常存儲與移動用戶相關(guān)的信息元素。除了uim124之外，設(shè)備100可以配備有存儲器。例如，設(shè)備100可以包括易失性存儲器126，諸如包括用于臨時存儲數(shù)據(jù)的高速緩存區(qū)域的易失性隨機存取存儲器(ram)。設(shè)備100還可以包括其他非易失性存儲器128，其可以是嵌入式的和/或可以是可移除的。非易失性存儲器128可以附加地或備選地包括電可擦除可編程只讀存儲器(eeprom)、閃存、硬盤驅(qū)動器等。存儲器可以存儲由設(shè)備100使用以實現(xiàn)設(shè)備100的功能的任何數(shù)目的信息和數(shù)據(jù)。
圖2示出了根據(jù)一個示例實施例的用于生成場景的超分辨率圖像的裝置200。裝置200可以例如在圖1的設(shè)備100中使用。然而，應當注意，裝置200也可以用在移動和固定的各種其他設(shè)備上，因此實施例不應該限于在諸如圖1的設(shè)備100等設(shè)備上的應用?；蛘?，實施例可以用在包括例如上面列出的設(shè)備的組合上。因此，各種實施例可以完全在單個設(shè)備(例如，設(shè)備100)處或以設(shè)備的組合來實施。此外，應當注意，下面描述的設(shè)備或元件可以不是強制性的，因此在某些實施例中可以省略某些設(shè)備或元件。
裝置200包括或以其他方式與至少一個處理器202和至少一個存儲器204通信。至少一個存儲器204的一個示例包括但不限于易失性和/或非易失性存儲器。易失性存儲器的一些示例包括但不限于隨機存取存儲器、動態(tài)隨機存取存儲器、靜態(tài)隨機存取存儲器等。非易失性存儲器的一些示例包括但不限于硬盤、磁帶、光盤、可編程只讀存儲器、可擦除可編程只讀存儲器、電可擦除可編程只讀存儲器、閃存等。存儲器204可以被配置為存儲用于使得裝置200能夠根據(jù)各種一個示例實施例執(zhí)行各種功能的信息、數(shù)據(jù)、應用、指令等。例如，存儲器204可以被配置為緩沖包括媒體內(nèi)容的輸入數(shù)據(jù)，用于由處理器202來處理。附加地或備選地，存儲器204可以被配置為存儲用于由處理器202來執(zhí)行的指令。
處理器202的一個示例可以包括控制器108。處理器202可以以多種不同的方式實施。處理器202可以被實施為多核處理器；單核處理器；或多核處理器和單核處理器的組合。例如，處理器202可以被實施為各種處理裝置中的一個或多個，諸如協(xié)處理器、微處理器、控制器、數(shù)字信號處理器(dsp)、具有或不具有伴隨的dsp的處理電路、或者包括集成電路的各種其它處理設(shè)備，諸如例如專用集成電路(asic)、現(xiàn)場可編程門陣列(fpga)、微控制器單元(mcu)、硬件加速器、專用計算機芯片等。在一個示例實施例中，多核處理器可以被配置為執(zhí)行存儲在存儲器204中的或者處理器202可訪問的指令。附加地或備選地，處理器202可以被配置為執(zhí)行硬編碼功能。因此，無論是通過硬件或軟件方法還是通過其組合被配置，處理器202可以表示在被相應地配置時能夠根據(jù)各種實施例執(zhí)行操作的實體，例如物理地實施在電路中。例如，如果處理器202被實施為asic、fpga等中的兩個或更多個，則處理器202可以是用于執(zhí)行本文描述的操作的具體地配置的硬件?；蛘?，作為另一示例，如果處理器202被實施為軟件指令的執(zhí)行器，則在指令被執(zhí)行時，指令可以具體地配置處理器202來執(zhí)行本文描述的算法和/或操作。然而，在一些情況下，處理器202可以是特定設(shè)備的處理器，例如適于通過用于執(zhí)行本文描述的算法和/或操作的指令進一步配置處理器202來采用實施例的移動終端或網(wǎng)絡(luò)設(shè)備。除其他之外，處理器202可以包括時鐘、算術(shù)邏輯單元(alu)和被配置為支持處理器202的操作的邏輯門。
用戶接口206可以與處理器202通信。用戶接口206的一個示例包括但不限于輸入接口和/或輸出用戶接口。輸入接口被配置為接收用戶輸入的指示。輸出用戶接口向用戶提供聽覺、視覺、機械或其他輸出和/或反饋。輸入接口的一個示例可以包括但不限于鍵盤、鼠標、操縱桿、小鍵盤、觸摸屏、軟鍵等。輸出接口的一個示例可以包括但不限于諸如發(fā)光二極管顯示器、薄膜晶體管(tft)顯示器、液晶顯示器、有源矩陣有機發(fā)光二極管(amoled)顯示器等顯示器、麥克風、揚聲器、振鈴器、振動器等。在一個示例實施例中，除了其它設(shè)備或元件，用戶接口206可以包括揚聲器、麥克風、顯示器、鍵盤、觸摸屏等中的任何一個或全部。在這方面，例如，處理器202可以包括用戶界面接口電路，該用戶接口電路被配置為控制用戶接口206的一個或多個元件的至少一些功能，用戶接口諸如例如揚聲器、振鈴器、麥克風、顯示器等。處理器202和/或包括處理器202的用戶接口電路可以被配置為通過存儲在處理器202可訪問的存儲器(例如，至少一個存儲器204)上的計算機程序指令(例如，軟件和/或固件)來控制用戶接口206的一個或多個元件的一個或多個功能。
在一個示例實施例中，裝置200可以包括電子設(shè)備。電子設(shè)備的一些示例包括通信設(shè)備、具有通信能力的媒體捕獲設(shè)備、計算設(shè)備等。電子設(shè)備的一些示例可以包括移動電話、個人數(shù)字助理(pda)等。計算設(shè)備的一些示例可以包括膝上型計算機、個人計算機等。在一個示例實施例中，電子設(shè)備可以包括用戶接口，例如ui206，其具有用戶接口電路和用戶接口軟件，用戶接口電路和用戶接口軟件被配置為支持用戶通過使用顯示器來控制電子設(shè)備的至少一個功能并且還被配置為響應于用戶輸入。在一個示例實施例中，電子設(shè)備可以包括被配置為顯示電子設(shè)備的用戶界面的至少部分的顯示電路。顯示器和顯示電路可以被配置為支持用戶控制電子設(shè)備的至少一個功能。
在一個示例實施例中，電子設(shè)備可以被實施為包括收發(fā)器。收發(fā)器可以是根據(jù)軟件來操作或者以硬件或硬件和軟件的組合來實施的任何設(shè)備或電路。例如，在軟件控制下操作的處理器202、或者被實施為專門被配置為執(zhí)行本文描述的操作的asic或fpga的處理器202、或其組合，從而配置該裝置或電路以執(zhí)行收發(fā)器的功能。收發(fā)器可以被配置為接收媒體內(nèi)容。媒體內(nèi)容的一個示例可以包括音頻內(nèi)容、視頻內(nèi)容、數(shù)據(jù)及其組合。
在一個示例實施例中，電子設(shè)備可以被實施為包括圖像傳感器，諸如圖像傳感器208。圖像傳感器208可以與處理器202和/或裝置200的其他部件通信。圖像傳感器208可以與其他成像電路和/或軟件通信，并且被配置為捕獲數(shù)字圖像或者制作視頻或其他圖形媒體文件。圖像傳感器208和其他電路組合可以是設(shè)備100的相機模塊122的一個示例。圖像傳感器208連同其他部件也可以被配置為捕獲光場圖像。
這些部件(202-208)可以經(jīng)由集中式電路系統(tǒng)210彼此通信以生成超分辨率圖像。集中式電路系統(tǒng)210可以是被配置為除其他之外提供或?qū)崿F(xiàn)裝置200的部件(202-208)之間通信的各種設(shè)備。在某些實施例中，集中式電路系統(tǒng)210可以是中央印刷電路板(pcb)，諸如母板、主板、系統(tǒng)板或邏輯板。集中式電路系統(tǒng)210還可以或者可選地包括其它印刷電路組件(pca)或通信信道介質(zhì)。
在一個示例實施例中，處理器200被配置為利用存儲器204的內(nèi)容并且備選地與本文中描述的其他部件一起引起裝置200支持多個圖像的接收，例如場景的圖像i1、i2、i3...in。在一些一個示例實施例中，使裝置200可以捕獲場景的多個圖像i1、i2、i3...in?；蛘撸谝恍┢渌粋€示例實施例中，多個圖像i1、i2、i3...in可以被預先記錄，存儲在裝置200中，或者可以從裝置200外部的源來接收。在這樣的一個示例實施例中，使裝置200從諸如dvd、光盤(cd)、閃存驅(qū)動器、存儲卡等外部存儲介質(zhì)接收多個圖像，或者通過因特網(wǎng)、
媒體內(nèi)容包括視頻內(nèi)容的一個示例實施例中，多個圖像i1,i2,i3,...in可以包括與場景相關(guān)聯(lián)的視頻內(nèi)容的多個幀。在一個示例實施例中，多個幀可以是場景的視頻內(nèi)容的連續(xù)幀。在下文中，術(shù)語“圖像”和“幀”可以可互換地被使用于描述各種實施例。本文中，術(shù)語“場景”可以指代可以捕獲其圖像和/或視頻的一個或多個對象的布置(自然、人造、分類或組合)。在一個示例實施例中，場景可以包括運動中的至少一個對象，而場景的其余部分可以是靜態(tài)的。在另一示例情況下，在場景中，背景部分可以是靜態(tài)的，而前景中的對象可以在運動中。例如，描繪花園中的各種慢跑者的場景(背景中有樹木和天空)可以包括靜態(tài)背景部分和運動中的前景部分。在另一示例情況下，場景的背景部分可以與運動相關(guān)聯(lián)，而前景部分可以是靜態(tài)的。在另一示例情況下，背景和前景的一些部分可以是靜態(tài)的，并且場景的背景和前景的剩余部分可以在運動中。盡管有任何上述示例場景，但是場景可以包括至少一個靜態(tài)部分和至少一個移動部分。在示例情況下，多個圖像可以是低分辨率輸入圖像，并且這樣的圖像的分辨率可以通過超分辨率處理來增強。
在一個示例實施例中，使裝置200基于多個圖像中的剩余的一個或多個圖像來執(zhí)行多個圖像的參考圖像的初始超分辨。在另一一個示例實施例中，使裝置200基于參考圖像和多個圖像的剩余的一個或多個圖像來執(zhí)行多個圖像的參考圖像的初始超分辨。在一個示例實施例中，剩余的一個或多個圖像不包括參考圖像。在其他一個示例實施例中，剩余的一個或多個圖像是除參考圖像之外的圖像。在一個示例實施例中，參考圖像可以是低分辨率圖像。在一些一個示例實施例中，參考圖像和低分辨率圖像可以可互換地使用。在一個示例實施例中，為了執(zhí)行超分辨，處理器200被配置為利用存儲器204的內(nèi)容并且可選地與本文描述的其他部件一起引起裝置200選擇多個圖像中的一個圖像作為參考圖像或基本圖像。例如，圖像i1可以被選擇作為參考圖像。在另一一個示例實施例中，參考圖像i1可以由用戶手動選擇。在一個示例實施例中，多個圖像中的剩余的一個或多個圖像可以從圖像i2、i3...in中選擇。例如，在一種情況下，剩余的圖像可以包括圖像i2、i3和in。在另一種情況下，剩余的圖像可以包括圖像i2和i3。本文中，應當注意，在各種一個示例實施例中，參考圖像(諸如圖像i1)的初始超分辨可以基于剩余圖像(諸如圖像i2、i3...in)中的一些或全部來執(zhí)行。在一個示例實施例中，處理裝置可以被配置為基于多個圖像中的剩余的一個或多個其它圖像來執(zhí)行多個圖像的低分辨率參考圖像i1的初始超分辨。處理裝置的一個示例可以包括處理器202，其可以是控制器108的一個示例。
在一個示例實施例中，處理器200被配置為利用存儲器204的內(nèi)容并且可選地與本文描述的其他部件一起引起裝置200使用參考圖像來配準多個圖像中的剩余的一個或多個圖像并且將與多個圖像相關(guān)聯(lián)的數(shù)據(jù)融合在一起，以形成初始超分辨率圖像。應當注意，可以通過任何已知的全局重構(gòu)算法來執(zhí)行跨剩余的一個或多個圖像的配準，而不限制各種實施例的范圍。在一個示例實施例中，可以基于參數(shù)配準方法或非參數(shù)配準方法來執(zhí)行跨剩余的一個或多個圖像的配準。參數(shù)配準方法基于參數(shù)模型的假設(shè)。參數(shù)配準算法可以包括將模型擬合到數(shù)據(jù)中，并且估計模型的參數(shù)。參數(shù)配準算法的一個示例可以包括單應性、相似變換等。非參數(shù)配準算法不是基于任何參數(shù)模型。因此，非參數(shù)模型被應用于問題的參數(shù)化(例如，與多個圖像相關(guān)聯(lián)的數(shù)據(jù)的融合)不可用的那些問題。非參數(shù)配準算法的示例可以包括密集的光流。
在一個示例實施例中，跨多個圖像的配準可以有助于執(zhí)行多幀對準或多幀圖像超分辨，從而生成超分辨率圖像。本文中，術(shù)語“多幀圖像超分辨”可以指代如下過程：其可能獲得在不同條件下獲得的相同場景的若干低分辨率圖像(例如，多個圖像)并且一起處理多個圖像以合成一個或多個高質(zhì)量超分辨率圖像。在一個示例實施例中，與多個圖像中的任何圖像相比，如此生成的高質(zhì)量超分辨率圖像可以與更高的空間頻率以及更少的噪聲和圖像模糊相關(guān)聯(lián)。在一個示例實施例中，處理器200被配置為利用存儲器204的內(nèi)容以及可選地與本文描述的其他部件一起引起裝置200基于利用參考圖像的剩余的一個或多個圖像的配準來生成超分辨率圖像。在一個示例實施例中，處理裝置可以被配置為使用參考圖像來配準多個圖像中的剩余的一個或多個圖像，并且將與多個圖像相關(guān)聯(lián)的數(shù)據(jù)融合在一起，以形成初始超分辨率圖像。處理裝置的一個示例可以包括處理器202，其可以是控制器108的一個示例。
在一個示例實施例中，基于使用參考圖像的剩余的一個或多個圖像的配準而生成的初始超分辨率圖像可以包括由于場景的移動對象/部分引起的偽像。在一個示例實施例中，偽像可以是由于場景的移動對象/部分而在超分辨率圖像中出現(xiàn)的局部運動偽像。在一個示例實施例中，局部運動偽像可以出現(xiàn)在超分辨率圖像中，因為在超分辨處理期間，場景的局部運動可以被聚合成超分辨率圖像的一個圖像/幀。參考圖3b來示出和描述初始超分辨率圖像中的局部運動偽像的一個示例。
在一個示例實施例中，處理器200被配置為利用存儲器204的內(nèi)容并且可選地與本文描述的其他部件一起引起裝置200執(zhí)行參考圖像的上采樣以生成上采樣參考圖像。在一個示例實施例中，上采樣參考圖像可以通過使用合適的插值技術(shù)對參考圖像插值來生成。在一個示例實施例中，參考圖像可以通過插值技術(shù)進行插值，例如三次插值方法。插值技術(shù)的各種實例可以包括三次插值、三維線性插值、三維立方插值、三維hermite插值、三線性插值技術(shù)、線性回歸、通過任意點的曲線擬合、最近鄰加權(quán)插值等。在一個示例實施例中，處理裝置可以被配置為執(zhí)行參考圖像的上采樣以生成上采樣參考圖像。處理裝置的一個示例可以包括處理器202，其可以是控制器108的一個示例。
在一個示例實施例中，參考圖像的插值可以通過三次插值算法來執(zhí)行。三次插值技術(shù)是基于以下事實：如果函數(shù)f(x)及其導數(shù)的值在x＝0和x＝1是已知的，則該函數(shù)可以在間隔[0,1]上使用三次多項式被插值。在一個示例實施例中，三次插值方法利用間隔左側(cè)的兩個點和間隔右側(cè)的兩個點作為插值函數(shù)的輸入。參考圖3a進一步示出和說明對參考幀插值以生成上采樣參考幀的一個示例。
在一個示例實施例中，與插值參考圖像相比，超分辨率圖像包括場景的更優(yōu)清晰度。在一個示例實施例中，超分辨率圖像和插值參考圖像之間的差異可以提供場景的更優(yōu)清晰度以及場景的至少一個移動對象的運動之間的差異。在一個示例實施例中，可以通過計算與場景相關(guān)聯(lián)的運動掩模圖像來確定場景的至少一個移動對象的運動。在一個示例實施例中，運動掩模圖像可以指示與場景相關(guān)聯(lián)的至少一個移動對象的運動。在一個示例實施例中，處理器200被配置為利用存儲器204的內(nèi)容以及可選地與本文描述的其他部件一起引起裝置200基于超分辨率圖像與插值(或上采樣)參考圖像的比較來生成運動掩模圖像。在一個示例實施例中，與場景相關(guān)聯(lián)的運動掩模圖像可以包括表示圖像的移動區(qū)域/對象的黑色部分和表示圖像的靜態(tài)區(qū)域的白色區(qū)域/對象。運動掩模圖像的尺寸可以與多個圖像中的圖像的尺寸相同或幾乎相同。然而，運動掩模圖像可以是場景的二進制圖像，這意味著與運動掩模圖像相關(guān)聯(lián)的像素的值可以包括二進制值。在一個示例實施例中，值“0”可以被分配給與至少一個移動對象相關(guān)聯(lián)的像素，并且這樣的移動對象可以被表示為運動掩模圖像中的黑色區(qū)域。此外，值“1”可以被分配給與靜態(tài)部分/對象相關(guān)聯(lián)的像素，并且這樣的靜態(tài)部分/對象可以被表示為運動掩模中的白色區(qū)域。參考圖3d示出并且描述運動掩模圖像的一個示例。
在一個示例實施例中，為了生成運動掩模圖像，與初始超分辨率圖像和插值參考圖像相關(guān)聯(lián)的運動信息之間的差異被確定。在一個示例實施例中，為了確定兩個圖像(即初始超分辨率圖像和插值參考圖像)的運動信息之間的差異，兩個圖像之間的差異可以被計算。然而，兩個圖像之間的差異包括運動信息之間的差異、以及兩個圖像的更優(yōu)清晰度之間的差異。為了僅捕獲兩個圖像之間的運動信息的差異，可以基于初始超分辨率圖像和插值參考圖像的差異來生成差值圖像。然后可以通過低通濾波裝置對差值圖像濾波以生成中間圖像。在一個示例實施例中，為了將中間圖像轉(zhuǎn)換為二進制圖像(或運動掩模圖像)，可以將中間圖像的多個區(qū)域與閾值相比較以生成運動掩模圖像。例如，運動得分的值大于或等于閾值的中間圖像的區(qū)域/像素可以被分配二進制值“0”，并且運動得分的值低于閾值的中間圖像的區(qū)域/像素可以被分配二進制值“1”。本文中，與中間圖像的像素/區(qū)域相關(guān)聯(lián)的術(shù)語“運動得分”可以指示與上述像素/區(qū)域相關(guān)聯(lián)的運動的定量評估。在一個示例實施例中，在捕獲媒體內(nèi)容的整個持續(xù)時間期間，可以在運動掩模圖像中捕獲至少一個移動對象的整個運動，由此排除視頻的每個圖像/幀與參考幀/參考圖像的比較。在一個示例實施例中，運動掩模圖像的計算可以有助于以計算高效的方式確定與場景相關(guān)聯(lián)的運動。
在一個示例實施例中，處理器200被配置為利用存儲器204的內(nèi)容以及可選地與本文描述的其他部件一起引起裝置200基于運動掩模圖像來生成場景的合成圖像，其包括描繪至少一個移動對象的至少一個部分。在一個示例實施例中，使裝置200可以從上采樣參考圖像中獲取描繪至少一個移動對象的合成圖像的至少一個部分。此外，使裝置200可以從初始超分辨率圖像中獲取合成圖像的至少一個剩余部分。在一個示例實施例中，至少一個剩余部分可以描繪例如場景的靜態(tài)部分、背景部分等。
在一個示例實施例中，可以基于運動掩模圖像分別從上采樣參考圖像和初始超分辨率圖像中獲取合成圖像的至少一個部分和至少一個剩余部分。例如，運動掩模圖像可以以黑色示出至少一個部分，并且以白色示出至少一個另外的部分。在一個示例實施例中，可以通過基于運動掩模圖像將超分辨率圖像與插值參考圖像融合以生成合成圖像(z')來生成合成圖像。在一個示例實施例中，合成圖像(z')可以包括對應于獲取場景的移動部分的至少一個部分(其從插值參考圖像中復制或獲取)以及對應于場景的靜態(tài)區(qū)域的至少一個剩余部分(其從超分辨率圖像中復制或獲取)。在一個示例實施例中，可以基于以下等式來生成合成圖像：
z′＝mz+(1-m)zcubic
其中，z’是合成圖像，
z是初始超分辨率圖像，
zcubic是上采樣參考圖像，以及
m是運動掩模圖像，其值為“1”用于靜態(tài)區(qū)域并且其值為“0”用于移動區(qū)域/對象。
在另一一個示例實施例中，為了生成合成圖像，處理器200被配置為利用存儲器204的內(nèi)容以及可選地與本文中描述的其它部件一起引起裝置200從初始超分辨率圖像中獲取合成圖像的至少一個另外的部分。此外，使裝置200可以從運動補償?shù)某直媛蕡D像中獲取合成圖像的至少一個部分。在一個示例實施例中，可以基于運動掩模圖像來獲取至少一個部分和至少一個另外的一部分。本文中，運動補償?shù)某直媛蕡D像可以指代可以通過執(zhí)行場景的多個圖像的像素到像素超分辨而生成的場景的圖像，以便補償初始超分辨率圖像中的運動偽像。
在一個示例實施例中，一旦運動掩模圖像被計算，則執(zhí)行綜合調(diào)整(regularization)以去模糊和銳化圖像。在一個示例實施例中，調(diào)整可以用于穩(wěn)定合成圖像，因為從上采樣參考幀中選擇/獲取對應于至少一個移動對象的合成圖像的區(qū)域。在一個示例實施例中，由于使用可能是低分辨率圖像的多個圖像，運動掩模圖像和合成圖像的構(gòu)造過程可能本質(zhì)上不穩(wěn)定，因此合成圖像可以被穩(wěn)定，使得它對在多個圖像中觀察到的誤差較不敏感。在一個示例實施例中，穩(wěn)定合成圖像的過程(重構(gòu))可以被稱為“調(diào)整”。在一個示例實施例中，處理裝置可以被配置為基于合成圖像的調(diào)整來生成場景的超分辨率圖像。處理裝置的一個示例可以包括處理器202，其可以是控制器108的一個示例。
在一個示例實施例中，處理器200被配置為利用存儲器204的內(nèi)容并且可選地與本文中描述的其他部件一起引起裝置200基于以下等式來執(zhí)行合成圖像的調(diào)整：
其中，
h是模糊矩陣，
slx、smy分別是x和y方向上的移位矩陣，
x是場景的高分辨率圖像，
a表示對角加權(quán)矩陣，其確定每個像素對超分辨率圖像的貢獻，并且被計算為有助于確定的多個測量的平方根，以及
a’表示修改的權(quán)重矩陣，使得對于具有運動的像素，權(quán)重是sqrt(n-1)，其中n是總幀數(shù)。換言之，可以對具有運動的像素分配最大權(quán)重，使得在調(diào)整過程中與初始估計值的偏差受到嚴重懲罰。在一個示例實施例中，a'可以表示如下：
參考圖3a-5進一步描述超分辨率圖像的生成的一些一個示例實施例，并且這些圖3a-5僅表示一個或多個一個示例實施例，而不應當被認為是對各種一個示例實施例的范圍的限制。
圖3a-3d示出了根據(jù)一個示例實施例的用于生成與場景相關(guān)聯(lián)的超分辨率圖像的一個示例步驟。在一個示例實施例中，可以由諸如設(shè)備100等媒體捕獲設(shè)備捕獲媒體內(nèi)容，例如場景的視頻。設(shè)備100可以包括設(shè)備，例如裝置200(圖2)。在一個示例實施例中，設(shè)備可以捕獲場景的視頻。
在一個示例實施例中，場景可以包括在游泳池中跳水的人312。場景可以包括海灘314、山脈316、和天空318、跳水板320等。包括海灘314、山脈316和天空318在內(nèi)的場景的背景部分可以是靜態(tài)的，而在前景中，人312在運動中(例如，準備在游泳池中跳水)。此外，由于準備跳水的人站在跳水板320上，跳水板320可能也在運動中。在一個示例實施例中，由媒體捕獲設(shè)備捕獲的視頻內(nèi)容可以包括多個幀。多個幀可以被假設(shè)為與場景相關(guān)聯(lián)的多個圖像。在一個示例實施例中，可以選擇場景的一個幀/圖像作為參考圖像。在一個示例實施例中，可以通過合適的插值算法對參考圖像上采樣以生成上采樣圖像310。上采樣圖像310在圖3a中示出。
在一個示例實施例中，參考圖像以及多個圖像中的剩余的一個或多個其他圖像可以被處理，以生成初始超分辨率圖像。在一個示例實施例中，可以基于多幀圖像分辨方法來生成初始超分辨率圖像。在圖3b中示出了基于場景的多個圖像中的參考圖像以及剩余的一個或多個其它圖像來生成初始超分辨率圖像的示例。如圖3b所示，初始超分辨率圖像330包括由于場景中的移動對象而可能出現(xiàn)在圖像中的運動偽像。例如，在本例中，由于站在跳水板320上的人312正在跳水并且人312和跳水板320在運動中，所以產(chǎn)生的超分辨率圖像包括人312和跳水板320的模糊圖像。
在一個示例實施例中，與超分辨率圖像330(圖3b)不同，上采樣圖像310(圖3a)的部分可以沒有運動偽像。例如，在超分辨率圖像330(圖3b)中由于運動偽像而出現(xiàn)模糊的人312和跳水板320在上采樣圖像310(圖3a)中被示出為沒有任何這樣的偽像。因此，可以從上采樣參考圖像310中獲取諸如人312和跳水板320等移動對象。此外，與場景相關(guān)聯(lián)的其他部分(例如，諸如天空、山脈等靜態(tài)部分)可以從初始超分辨率圖像330中獲取。在一個示例實施例中，可以生成與場景相關(guān)聯(lián)的運動掩模圖像，其可以指示場景的靜態(tài)部分和移動部分/對象。在一個示例實施例中，可以基于運動掩模圖像來確定要從上采樣參考圖像310和初始超分辨率圖像330中獲取的部分。圖3c中示出了示例運動掩模。
如圖3c所示，運動掩模圖像350可以包括某些暗的(或黑色)部分和某些亮的(或白色)部分。在一個示例實施例中，運動掩模圖像350的黑色部分可以指示場景的移動部分，而白色部分可以指示場景的不動/靜態(tài)部分。例如，如圖3c所示，與移動對象(諸如人312和跳水板330)相關(guān)聯(lián)的部分在運動掩模圖像350中呈現(xiàn)為黑色，而靜態(tài)區(qū)域、即圖像中的所有其他區(qū)域呈現(xiàn)為白色。在一個示例實施例中，場景的移動區(qū)域和靜態(tài)區(qū)域的獲知可以有助于生成場景的高分辨率圖像。在一個示例實施例中，利用場景的移動和靜態(tài)區(qū)域的獲知，來自初始超分辨率圖像330(圖3b)和插值/上采樣參考圖像310的像素可以被組合以形成合成圖像370，如圖3d所示。在一個示例實施例中，可以從上采樣圖像中獲取與移動對象相關(guān)聯(lián)的像素(在運動掩模圖像360中呈現(xiàn)為黑色)，而可以從超分辨率圖像中獲取與靜態(tài)區(qū)域相關(guān)聯(lián)的像素(在運動掩模中呈現(xiàn)為白色)，以生成合成圖像370。在一個示例實施例中，可以通過穿過低通濾波器來對合成圖像370濾波，從而從合成圖像370中去除噪聲分量。在一個示例實施例中，可以基于與圖像的像素相關(guān)聯(lián)的噪聲值的預定閾值來執(zhí)行合成圖像370的濾波。
在一個示例實施例中，合成圖像可以被調(diào)整以用于模糊和銳化。在一個示例實施例中，可以基于以下表達式來執(zhí)行合成圖像的調(diào)整：
使得
z′＝mz+(1-m)zcubic
其中，
h是模糊矩陣，
slx、smy分別是x和y方向上的移位矩陣，
x是場景的高分辨率圖像，
a表示對角加權(quán)矩陣，其確定每個像素對超分辨率圖像的貢獻，并且被計算為有助于確定的多個測量的平方根，以及
a’表示修改的權(quán)重矩陣，使得對于具有運動的像素，權(quán)重是sqrt(n-1)，其中n是總幀數(shù)。換言之，可以對具有運動的像素分配最大權(quán)重，使得在調(diào)整過程中與初始估計值的偏差受到嚴重懲罰。
圖4是示出根據(jù)一個示例實施例的用于生成與場景相關(guān)聯(lián)的超分辨率圖像的示例方法400的流程圖。流程圖中描繪的方法400可以由例如圖2的裝置200來執(zhí)行。
在一個示例實施例中，可以基于與場景相關(guān)聯(lián)的多個圖像來生成超分辨率圖像。如參考圖2所述，可以從具有光場相機的媒體捕獲設(shè)備或從諸如dvd、光盤(cd)、閃存驅(qū)動器、存儲卡等外部來源接收多個圖像，或者通過因特網(wǎng)、
在402，方法400包括基于場景的多個圖像中的參考圖像以及剩余的一個或多個的圖像來生成與場景相關(guān)聯(lián)的初始超分辨率圖像。在一個示例實施例中，可以基于參考圖像來配準多個圖像，并且可以組合配準的圖像以形成初始超分辨率圖像。在一個示例實施例中，可以通過全局配準算法來執(zhí)行融合數(shù)據(jù)并且跨過多個圖像配準的過程。在404，可以通過使用合適的插值技術(shù)對參考幀插值來生成上采樣參考幀。在一個示例實施例中，可以通過插值技術(shù)(例如三次插值方法)來對參考幀插值。參考圖3a示出和描述示例上采樣參考圖像。
在406，可以基于超分辨率圖像和上采樣參考圖像來生成運動掩模圖像。運動掩模圖像可以表示與場景相關(guān)聯(lián)的至少一個移動對象的運動。在一個示例實施例中，與場景相關(guān)聯(lián)的運動掩模可以包括表示圖像的移動區(qū)域的黑色部分和表示圖像的靜態(tài)區(qū)域的白色區(qū)域。參考圖3c示出和說明一個示例運動掩模圖像。
在408，基于運動掩模圖像，可以生成具有描繪至少一個移動對象的至少一個部分和至少一個剩余部分的場景的合成圖像。在一個示例實施例中，至少一個剩余部分可以描繪例如場景的靜態(tài)部分、背景部分等。在一個示例實施例中，可以基于運動掩模圖像將初始超分辨率圖像與上采樣參考圖像融合以生成場景的合成圖像。在一個示例實施例中，可以基于初始超分辨率圖像和上采樣參考圖像的加權(quán)和來執(zhí)行上采樣參考圖像與初始超分辨率圖像的融合。例如，可以基于以下等式來執(zhí)行融合：
z′＝mz+(1-m)zcubic
其中，
z’是合成圖像，
z是初始超分辨率圖像，
zcubic是上采樣參考圖像，以及
m是運動掩模圖像。
在一個示例實施例中，合成圖像可以包括具有移動對象和靜態(tài)對象的部分，其中從上采樣參考圖像中獲取具有移動對象的部分，并且從初始超分辨率圖像中獲取具有靜態(tài)對象的部分。在一個示例實施例中，可以調(diào)整合成圖像以生成場景的超分辨率圖像。
在另一一個示例實施例中，可以通過從初始超分辨率圖像中獲取與合成圖像的移動部分/對象相關(guān)聯(lián)的至少一個另外的部分并且從運動補償?shù)某直媛蕡D像中獲取至少一個部分來生成合成圖像。在一個示例實施例中，至少一個部分和至少一個另外的部分可以基于運動掩模圖像被獲取。
圖5是描繪根據(jù)另一一個示例實施例的用于生成超分辨率圖像的一個示例方法500的流程圖。這些流程圖中描繪的方法可以由例如圖2的裝置200來執(zhí)行。流程圖的操作以及流程圖中的操作的組合可以通過各種手段來實現(xiàn)，諸如與包括一個或多個計算機程序指令的軟件的執(zhí)行相關(guān)聯(lián)的硬件、固件、處理器、電路和/或其他設(shè)備。例如，可以通過計算機程序指令來實施在各種實施例中描述的一個或多個過程。在一個示例實施例中，在各種實施例中描述的實施程序的計算機程序指令可以由裝置的至少一個存儲器設(shè)備存儲并且由裝置中的至少一個處理器執(zhí)行。任何這樣的計算機程序指令可以被加載到計算機或其他可編程裝置(例如，硬件)上以產(chǎn)生機器，使得所得到的計算機或其他可編程裝置實施用于實現(xiàn)在流程圖中指定的操作的裝置。這些計算機程序指令也可以存儲在計算機可讀存儲器(與諸如載波或電磁信號等傳輸介質(zhì)相反)中，其可以引導計算機或其他可編程裝置以特定方式工作，使得存儲在計算機可讀存儲器中的指令產(chǎn)生其執(zhí)行實現(xiàn)流程圖中指定的操作的制品。計算機程序指令也可以被加載到計算機或其他可編程裝置上，以引起一系列操作在計算機或其他可編程裝置上被執(zhí)行以產(chǎn)生計算機實現(xiàn)的過程，使得在計算機或其他可編程裝置上執(zhí)行的指令提供用于實現(xiàn)流程圖中的操作。在裝置200的幫助下描述方法的操作。然而，可以使用任何其他裝置來描述和/或?qū)嵺`方法的操作。
在框502，方法500包括支持場景的多個圖像的接收。在一個示例實施例中，場景可以包括至少一個移動對象。例如，在場景中，背景部分可以是靜態(tài)的，而前景中的至少一個對象可以在運動中。在另一示例情況下，背景中的至少一個對象可以在運動中，而前景部分可以是靜態(tài)的。在另一示例情況下，背景和前景的一些部分可以是靜態(tài)的，并且場景的背景和前景的剩余部分可以在運動中。盡管有上述示例場景中的任何一種，但是場景可以包括至少一個靜態(tài)部分和至少一個移動部分/對象。在一個示例實施例中，場景的多個圖像可以是與場景相關(guān)聯(lián)的視頻內(nèi)容的多個幀。在一個示例實施例中，多個幀可以是連續(xù)幀，并且可以捕獲場景的各種對象的運動。
在示例場景中，多個圖像可以是低分辨率輸入圖像，并且這樣的圖像的分辨率可以通過超分辨處理來增強。為了執(zhí)行超分辨，可多個圖像中的一個圖像被選擇作為參考圖像。在一個示例實施例中，在506，可以基于參考圖像在多個圖像中的剩余的一個或多個圖像上執(zhí)行變形(或配準)。在一個示例實施例中，可以組合與多個變形圖像相關(guān)聯(lián)的數(shù)據(jù)以形成初始超分辨率圖像。在一個示例實施例中，可以通過全局配準算法來執(zhí)行跨多個圖像融合數(shù)據(jù)的處理。應當注意，可以通過任何已知的全局配準算法來執(zhí)行跨剩余的一個或多個圖像的配準，而不限制各種實施例的范圍。在一個示例實施例中，跨多個圖像的配準可以有助于執(zhí)行多幀對準或多幀圖像超分辨，從而生成初始超分辨率圖像。
在508，參考圖像的上采樣可以被執(zhí)行以生成上采樣參考圖像。在一個示例實施例中，可以通過使用合適的插值技術(shù)對參考圖像插值來生成上采樣參考幀。在一個示例實施例中，可以通過插值技術(shù)(例如三次插值方法)對參考圖像插值。
在510，可以基于上采樣參考圖像和初始超分辨率圖像來計算運動掩模圖像。在一個示例實施例中，與場景相關(guān)聯(lián)的運動掩?？梢园ū硎緢D像的移動區(qū)域的黑色部分和表示圖像的靜態(tài)區(qū)域的白色區(qū)域。參考圖3c示出和說明示例運動掩模圖像。
在一個示例實施例中，可以通過將初始超分辨率圖像與插值參考圖像相比較以生成差值圖像來生成運動掩模圖像。在一個示例實施例中，低通濾波可以被應用于差值圖像以生成中間圖像?？梢曰谥虚g圖像的多個區(qū)域與閾值的比較來生成運動掩模圖像。在512，可以基于運動掩模圖像來生成來自上采樣參考圖像和超分辨率圖像的合成圖像。在一個示例實施例中，合成圖像(z')可以包括對應于場景的移動部分/對象的區(qū)域(其從插值參考圖像復制)以及對應于場景的靜態(tài)區(qū)域/對象的區(qū)域(其從初始超分辨率圖像中復制)。在514，執(zhí)行合成圖像的調(diào)整以生成超分辨率圖像。在一個示例實施例中，合成圖像的調(diào)整有助于對合成圖像進行去模糊和銳化，以便生成沒有運動偽像的高分辨率的超分辨率圖像。
在不以任何方式限制下面出現(xiàn)的權(quán)利要求的范圍、解釋或應用的情況下，本文中公開的一個或多個示例實施例的技術(shù)效果是根據(jù)視頻內(nèi)容或多個圖像的序列來生成超分辨率圖像。各種實施例提供了用于基于與場景相關(guān)聯(lián)的運動檢測來生成場景的超分辨率圖像的方法。因此，實施例公開了一種用于處理與場景相關(guān)聯(lián)的靜態(tài)和移動對象/區(qū)域的綜合超分辨率方法。在一個示例實施例中，公開了一種圖像調(diào)整方法，其中將根據(jù)多個圖像生成的初始超分辨率圖像與通過從多個圖像中上采樣參考圖像而生成的上采樣參考圖像融合，以生成場景的合成圖像。合成圖像可以被調(diào)整以生成場景的超分辨率圖像。用于生成超分辨率圖像的方法處理場景的靜態(tài)區(qū)域以及移動區(qū)域。此外，本文中，以低復雜度的方式執(zhí)行移動對象的檢測。此外，使用檢測到的移動區(qū)域來執(zhí)行圖像調(diào)整，從而生成沒有運動偽像的高質(zhì)量的超分辨率圖像。
上述各種實施例可以以軟件、硬件、應用邏輯、或者軟件、硬件和應用邏輯的組合來實現(xiàn)。軟件、應用邏輯和/或硬件可以駐留在至少一個存儲器、至少一個處理器、裝置或計算機程序產(chǎn)品上。在一個示例實施例中，應用邏輯、軟件或指令組被保存在各種傳統(tǒng)計算機可讀介質(zhì)中的任何一個上。在本文檔的上下文中，“計算機可讀介質(zhì)”可以是可以包含、存儲、傳送、傳播或傳輸由指令執(zhí)行系統(tǒng)、裝置或設(shè)備(諸如計算機)使用或與指令執(zhí)行系統(tǒng)、設(shè)備或設(shè)備一起使用的指令的任何介質(zhì)或裝置，圖1和/或2中描述和描繪了裝置的一個示例。非暫態(tài)計算機可讀介質(zhì)可以包括計算機可讀存儲介質(zhì)，其可以是可以容納或存儲由指令執(zhí)行系統(tǒng)、裝置或設(shè)備(例如計算機)使用或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備一起使用的指令的任何介質(zhì)或裝置。
如果需要，本文中討論的不同功能可以以不同的順序和/或彼此同時地執(zhí)行。此外，如果需要，上述功能中的一個或多個可以是可選的或可以被組合。
盡管在獨立權(quán)利要求中闡述了各種實施例，但是其它實施例包括來自所描述的實施例和/或從屬權(quán)利要求的特征與獨特權(quán)利要求的特征的其他組合，而不僅僅是權(quán)利要求中明確陳述的組合。
本文中還應當注意，雖然上面描述了本發(fā)明的示例實施例，但是這些描述不應當被視為是限制性的。相反，在不脫離如所附權(quán)利要求限定的本公開的范圍的情況下，可以進行若干變化和修改。
- 還沒有人留言評論。精彩留言會獲得點贊！