基于深度學習的單幀圖像超分辨率重建方法
【技術領域】
[0001] 本發(fā)明涉及圖像處理領域，尤其涉及一種基于深度學習的單幀圖像超分辨率重建 方法。
【背景技術】
[0002] 超分辨率圖像重建是從由低分辨率圖像或視頻重建高分辨率圖像或視頻的處理 過程。與傳統(tǒng)的圖像增強不同，圖像增強是圖像中某些細節(jié)細息由弱變強的一個過程，超分 辨率圖像重建則是某些細節(jié)細息從無到有的一個重建過程，同時，也包含圖像增強的成分。
[0003] 在成像過程中，圖像質量退化是不可避免的。僅靠物理傳感材料及器件提高圖像 的分辨率，不僅成本昂貴，而且提升幅度也很有限。受高分辨率圖像或視頻應用需求的牽 弓丨，超分辨率重建已成為計算機視覺與圖像處理領域的研宄熱點。超分辨率重建技術成本 低、提升空間大，無需對硬件進行升級就能夠重建出高分辨率圖像或視頻。
[0004] 在目前的單幀圖像超分辨率重建方法研宄中，F(xiàn)reeman等提出通過馬爾可夫隨機 場學得低分辨率圖像塊和高分辨率圖像塊的關系。Chang等受局部線性嵌入的啟發(fā)，認為低 分辨率和高分辨率圖像塊間可以構成具有相似局部幾何結構的流形。Yang等人基于稀疏 信號表示提出了一種單幀圖片的超分辨率重建方法，該方法首先構建圖像塊的超完備字 典，所有圖像塊均可以表示為該完備字典的線性組合，對每個低分辨率圖像塊，使用稀疏表 示系數(shù)產生高分辨率的圖像塊。利用低分辨率圖像塊和高分辨率圖像塊的表示系數(shù)的相似 性，采用基于實例的方法重建高分辨率圖像，得到了較好的重建效果。但超分辨率圖像重建 是一類典型的不適定性科學問題，在數(shù)學上稱為病態(tài)問題（ill-P〇sedproblem)，尚不能從 理論上得到徹底解決，超分辨率圖像重建研宄屬于國際公認的難度大、有重大影響的、探索 性強的基礎性問題，正是由于其重要的學術研宄價值和廣泛的應用價值，才得到了學術界 廣泛地關注。

【發(fā)明內容】

[0005] 本發(fā)明的目的在于針對現(xiàn)有技術的不足，提供一種基于深度學習的單幀圖像超分 辨率重建方法。
[0006] 本發(fā)明解決其技術問題所采用的技術方案包括以下步驟：
[0007] 步驟1、在訓練深度網絡的過程中，首先通過訓練兩個自動編碼器用于獲得低分辨 率和對應高分辨率圖像塊的特征；
[0008] 步驟2、在訓練深度網絡的過程中，基于步驟1已獲得高分辨率和低分辨率圖像塊 的特征，再訓練一個單層神經網路學習兩個特征的非線性映射關系；
[0009] 步驟3、在訓練深度網絡的過程中，基于步驟1和2中的兩個自動編碼器和單層神 經網絡，構建三層的深度網絡，以低分辨率圖像塊作為輸入，高分辨率圖像塊作為輸出，微 調三層深度網絡的參數(shù)；
[0010] 步驟4、依據步驟1、2和3中所得到的三層深度網絡做單幀圖像超分辨率重建，以 低分辨率圖像塊的灰度值作為輸入，得到的輸出即為對應高分辨率圖像塊的灰度值。
[0011] 步驟1所述的通過訓練兩個自動編碼器分別獲得低分辨率圖像塊和高分辨率圖 像塊的特征，具體如下：
[0012] 1-1.提取訓練圖像庫中的低分辨率圖像塊yi，y2, . . .，yi，. . .，yjp高分辨率圖像 塊Xpx2，. . .，Xi,. . .，xn，其中Xi(i= 1，2,LL,n)是yi(i= 1，2,LL,n)對應的高分辨率圖 像塊。
[0013] 1-2.為了得到低分辨率圖像塊的特征，構建一個兩層自動編碼器LRAE，設第一層 的權重矩陣》^和偏移圮，第二層的權重矩陣<和偏移g，以低分辨率圖像塊yi(i= 1，2,L L，n)為輸入，訓練自動編碼器LRAE，使得輸出與輸入相同，其目標函數(shù)民如公式1所示：
【主權項】
1. 基于深度學習的單幀圖像超分辨率重建方法，其特征在于包括如步驟： 步驟1、在訓練深度網絡的過程中，首先通過訓練兩個自動編碼器用于獲得低分辨率和 對應高分辨率圖像塊的特征； 步驟2、在訓練深度網絡的過程中，基于步驟1已獲得高分辨率和低分辨率圖像塊的特 征，再訓練一個單層神經網路學習兩個特征的非線性映射關系； 步驟3、在訓練深度網絡的過程中，基于步驟1和2中的兩個自動編碼器和單層神經網 絡，構建三層的深度網絡，以低分辨率圖像塊作為輸入，高分辨率圖像塊作為輸出，微調三 層深度網絡的參數(shù)； 步驟4、依據步驟1、2和3中所得到的三層深度網絡做單幀圖像超分辨率重建，以低分 辨率圖像塊的灰度值作為輸入，得到的輸出即為對應高分辨率圖像塊的灰度值。
2. 如權利要求1所述的基于深度學習的單幀圖像超分辨率重建方法，其特征在于步驟 1所述的通過訓練兩個自動編碼器分別獲得低分辨率圖像塊和高分辨率圖像塊的特征，具 體如下： 1-1.提取訓練圖像庫中的低分辨率圖像塊yi，y2, ...，yi，...，yn和高分辨率圖像塊Xpx2, . . .，Xi,. . .，xn，其中yi對應的高分辨率圖像塊；i= 1，2,LL,n; 1-2.為了得到低分辨率圖像塊的特征，構建一個兩層自動編碼器LRAE，設第一層的權 重矩陣吋和偏移<，第二層的權重矩陣杧和偏移g，以低分辨率圖像塊yi為輸入，訓練自 動編碼器LRAE，使得輸出與輸入相同，其目標函數(shù)民如公式1所示：
1-3?采用backpropogation算法優(yōu)化目標函數(shù)化完成后，/?/即為特征； 1-4.為了得到高分辨率圖像塊的特征，構建一個兩層自動編碼器HRAE，設第一層的權 重矩陣忙和偏移<，第二層的權重矩陣忙和偏移Z>f，以高分辨率圖像塊Xi為輸入，訓練 自動編碼器HRAE，使得輸出與輸入盡可能相同，其目標函數(shù)
1- 5?采用backpropogation算法優(yōu)化目標函數(shù)Eh;優(yōu)化完成后，即為乂丨的特征。
3. 如權利要求1所述的基于深度學習的單幀圖像超分辨率重建方法，其特征在于步驟 2所述的訓練一個單層神經網絡學習低分辨率圖像塊和對應高分辨率圖像塊的非線性映射 關系，具體如下： 2- 1.構建一個一層神經網絡，設其權重矩陣W和偏移b，輸入為低分辨率圖像塊的特征 碌，輸出為/;f，i= 1，2,LL，n;其目標函數(shù)Emnli_如公式3所示：
4.如權利要求1所述的基于深度學習的單幀圖像超分辨率重建方法，其特征在于步驟 3所述的生成一個三層的深度網絡，該深度網絡以低分辨率圖像塊的灰度值作為輸入，得到 的輸出即為對應的超分辨率圖像重建的結果，從而實現(xiàn)快速的單幀圖像超分辨率重建，具 體如下： 3-1.構建三層的深度網絡，其第i層的權重矩陣為I，偏移為bi，i= 1，2, 3 ;對參數(shù)進 行如下初始化：
其目標函數(shù)E如公式4所示：
3-2?用backpropogation算法優(yōu)化目標函數(shù)E，其中輸入為y^y^LL，yn，輸出為足，i=1，2,LL，n; 其中，公式4中
3-3.訓練結束后，將測試圖像庫中的任一低分辨率圖像塊作為三層深度網絡的輸入， 得到的輸出就是超分辨率重建后的高分辨率圖像塊。
【專利摘要】本發(fā)明公開了一種基于深度學習的單幀圖像超分辨率重建方法。本發(fā)明包括以下步驟：1、首先通過訓練兩個自動編碼器用于獲得低分辨率和對應高分辨率圖像塊的特征；2、基于已獲得高分辨率和低分辨率圖像塊的特征，再訓練一個單層神經網路學習兩個特征的非線性映射關系；3、基于兩個自動編碼器和單層神經網絡，構建三層的深度網絡，以低分辨率圖像塊作為輸入，高分辨率圖像塊作為輸出，微調三層深度網絡的參數(shù)；步驟4、依據得到的三層深度網絡做單幀圖像超分辨率重建，以低分辨率圖像塊的灰度值為輸入，得到輸出即為對應高分辨率圖像塊的灰度值。本發(fā)明不僅提高了超分辨率重建圖像的質量，而且縮短了超分辨率重建時間，基本上可以達到實時的要求。
【IPC分類】G06T3-40, G06T5-50, G06N3-02
【公開號】CN104778659
【申請?zhí)枴緾N201510178956
【發(fā)明人】俞俊, 曾坤
【申請人】杭州電子科技大學
【公開日】2015年7月15日
【申請日】2015年4月15日