本發(fā)明涉及智能相機(jī)圖像處理領(lǐng)域，具體涉及一種基于改進(jìn)深度學(xué)習(xí)的智能相機(jī)圖像盲超分辨率系統(tǒng)，屬于智能相機(jī)技術(shù)領(lǐng)域。
背景技術(shù)：
近年來，隨著社會(huì)的發(fā)展，智能相機(jī)(Smart Camera)已經(jīng)得到了極大的普及。與傳統(tǒng)相機(jī)不同，它并不是一臺(tái)簡(jiǎn)單的相機(jī)，而是一種高度集成化的微小型機(jī)器視覺系統(tǒng)。它將圖像的采集、處理與通信功能集成于單一相機(jī)內(nèi)，從而提供了具有多功能、模塊化、高可靠性、易于實(shí)現(xiàn)的機(jī)器視覺解決方案。同時(shí)，由于應(yīng)用了最新的DSP、FPGA及大容量存儲(chǔ)技術(shù)，其智能化程度不斷提高，可滿足多種機(jī)器視覺的應(yīng)用需求。簡(jiǎn)單來說，智能相機(jī)就是一部具有極強(qiáng)拍照功能的“掌上電腦”。目前，雖然智能相機(jī)硬件水平已經(jīng)比幾年前有了極大的提高，但是并不能完全解決實(shí)際應(yīng)用中的問題。即使采用了很好的硬件防抖以及自動(dòng)對(duì)焦處理，在特殊情況之下，仍然會(huì)得到模糊的照片。另外，由于人們對(duì)照片質(zhì)量的要求也越來越高，人們也希望當(dāng)圖像放大之后，仍然能夠使圖像保持清晰，這就對(duì)相機(jī)的圖像處理系統(tǒng)提出了更高的要求。為此，我們可以采用基于改進(jìn)深度學(xué)習(xí)的圖像盲超分辨率的辦法來獲得更高分辨率圖像。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明克服了現(xiàn)有智能相機(jī)拍照技術(shù)的不足，提出了一種基于改進(jìn)深度學(xué)習(xí)的智能相機(jī)圖像盲超分辨率系統(tǒng)。其基本思路是事先利用訓(xùn)練得到的改進(jìn)深度學(xué)習(xí)網(wǎng)絡(luò)模型導(dǎo)入智能相機(jī)拍照系統(tǒng)，當(dāng)?shù)玫脚臄z圖像后，用戶可以根據(jù)需求選擇是否開啟自動(dòng)盲超分辨率功能。涉及到的盲超分辨率算法，其優(yōu)越性在于可以通過一次訓(xùn)練得到能夠適用于多種模糊核的情況，與主流的單個(gè)模糊核對(duì)應(yīng)單個(gè)訓(xùn)練網(wǎng)絡(luò)的“一對(duì)一”模式有著顯著的差別。大大提升算法在實(shí)際智能相機(jī)拍照應(yīng)用中的表現(xiàn)性能。
考慮到現(xiàn)有技術(shù)的不足，根據(jù)本發(fā)明公開的一個(gè)方面，本發(fā)明采用以下技術(shù)方案：
一種基于改進(jìn)深度學(xué)習(xí)的智能相機(jī)圖像盲超分辨率系統(tǒng)，所述的方法包括以下步驟：
步驟一：統(tǒng)計(jì)測(cè)試出拍照中常見的模糊核?？蛇x取常見的模糊照片，進(jìn)行模糊核估計(jì)，最終選取出最可能出現(xiàn)的K(如100)類模糊核；
步驟二：建立訓(xùn)練數(shù)據(jù)庫。為了建立一個(gè)合適的數(shù)據(jù)庫，內(nèi)容需要包含人物、植物、動(dòng)物、建筑等不同類型的照片，數(shù)據(jù)容量要大(如大于10000幅)。然后對(duì)該數(shù)據(jù)庫按照前述的K類模糊核進(jìn)行相應(yīng)模糊降質(zhì)，接著進(jìn)行典型的幾類下采樣(如2倍、3倍)，構(gòu)建清晰降質(zhì)圖像對(duì)；進(jìn)行典型的幾類下采樣(如2倍、3倍)指的是按照幾類典型的下采樣倍數(shù)(如2倍、3倍)對(duì)模糊降質(zhì)后的訓(xùn)練圖進(jìn)行下采樣。因?yàn)樾枰獙⒃緮?shù)據(jù)庫中的所有測(cè)試圖均按照?qǐng)D像降質(zhì)模型進(jìn)行構(gòu)建，得到高低分辨率圖像對(duì)。進(jìn)而利用這些圖像對(duì)學(xué)習(xí)得到高低分辨率之間的映射關(guān)系。這里下采樣倍數(shù)指的是尺度縮小的倍數(shù)。
步驟三：為了使得在構(gòu)建“深度網(wǎng)絡(luò)”的時(shí)候，能夠引入不同的模糊核約束，以便能處理不同模糊降質(zhì)，一種理想的方案是將模糊核與低分辨率圖像塊一起作為輸入，而將高分辨率塊作為輸出，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。但是由于卷積神經(jīng)網(wǎng)絡(luò)模型的特殊結(jié)構(gòu)，這樣并不易實(shí)現(xiàn)。傳統(tǒng)的SRCNN主要公式如下：
F1(l)＝ReLU(W1*↑b l+B1)
F2(l)＝ReLU(W2*F1(l)+B2)
其中，l為低分辨率圖像，為輸出高分辨率圖像，Wi,i＝1,2,3為卷積權(quán)重，Bi,i＝1,2,3為偏移權(quán)重，F(xiàn)i,i＝1,2為高維特征映射，ReLU為激活函數(shù)，定義為ReLU(x)＝max(0,x)，*表示卷積操作，↑b表示雙三次插值操作。
在改進(jìn)的深度學(xué)習(xí)中，將第一個(gè)原始卷積層用一個(gè)參數(shù)化的卷積代替。原本的常數(shù)卷積權(quán)重W1被替換為一個(gè)非線性的函數(shù)W1(k，θ)。這使得濾波權(quán)重依靠一個(gè)附加的模糊核輸入，進(jìn)而能夠處理不同模糊。這個(gè)非線性函數(shù)自身通過額外的、全連接的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。因此，第一個(gè)映射表示為：
F1(l)＝ReLU(W1(κ，θ)*↑b l+B1)，
步驟四：將步驟三得到的神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)導(dǎo)入智能相機(jī)拍照系統(tǒng)中，作為事先已知的模型數(shù)據(jù)；
步驟五：用戶拍照前以及拍照后，均可以選擇是否開啟圖像盲超分辨率功能，并且選擇相應(yīng)的放大倍數(shù)。開啟后，會(huì)對(duì)拍攝得到的照片，利用上述的恢復(fù)模型進(jìn)行自動(dòng)恢復(fù)。
根據(jù)本發(fā)明的一個(gè)實(shí)施方案，更進(jìn)一步的技術(shù)方案：增加一個(gè)用戶反饋功能，用戶將恢復(fù)不滿意的照片反饋給相機(jī)廠商，廠商收集大量用戶反饋數(shù)據(jù)后，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練，并將上述得到的恢復(fù)的模型在官網(wǎng)上進(jìn)行發(fā)布，提供相應(yīng)下載功能，使得用戶能夠隨時(shí)更新手機(jī)中的拍照恢復(fù)模型，得到更好的恢復(fù)效果。
本發(fā)明最終網(wǎng)絡(luò)模型是由前述的三類卷積層構(gòu)成，訓(xùn)練本質(zhì)上就是求解一系列的神經(jīng)網(wǎng)絡(luò)參數(shù){W1,W2,W3,B1,B2,B3}等。通過本發(fā)明的方法，可以在不增加硬件成本的條件下，很好地提升智能相機(jī)拍攝照片的分辨率，并且由于事先訓(xùn)練好網(wǎng)絡(luò)模型，在恢復(fù)時(shí)并不會(huì)需要很大的時(shí)間開銷，增加算法可行性。另外由于采用改進(jìn)深度學(xué)習(xí)的方法進(jìn)行訓(xùn)練與恢復(fù)，使得訓(xùn)練模型可以一次訓(xùn)練，適應(yīng)于諸多模糊情況，與傳統(tǒng)的超分辨率方法，需要對(duì)不同的模糊進(jìn)行估計(jì)并重新訓(xùn)練的方法明顯不同，且更偏于實(shí)用。
附圖說明
圖1是一種基于改進(jìn)深度學(xué)習(xí)的智能相機(jī)圖像盲超分辨率系統(tǒng)的工作流程示意圖
具體實(shí)施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)描述。
以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
一種基于改進(jìn)深度學(xué)習(xí)的智能相機(jī)圖像盲超分辨率系統(tǒng)，參見圖1所示。根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述的方法包括以下步驟：
步驟一：統(tǒng)計(jì)測(cè)試出拍照中常見的模糊核。可選取常見的模糊照片，進(jìn)行模糊核估計(jì)，最終選取出最可能出現(xiàn)的K(如100)類模糊核；
步驟二：建立訓(xùn)練數(shù)據(jù)庫。為了建立一個(gè)合適的數(shù)據(jù)庫，內(nèi)容需要包含人物、植物、動(dòng)物、建筑等不同類型的照片，數(shù)據(jù)容量要大(如大于10000幅)。然后對(duì)該數(shù)據(jù)庫按照前述的K類模糊核進(jìn)行相應(yīng)模糊降質(zhì)，接著進(jìn)行典型的幾類下采樣(如2倍、3倍)，構(gòu)建清晰降質(zhì)圖像對(duì)；
步驟三：為了使得在構(gòu)建“深度網(wǎng)絡(luò)”的時(shí)候，能夠引入不同的模糊核約束，以便能處理不同模糊降質(zhì)，一種理想的方案是將模糊核與低分辨率圖像塊一起作為輸入，而將高分辨率塊作為輸出，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。但是由于卷積神經(jīng)網(wǎng)絡(luò)模型的特殊結(jié)構(gòu)，這樣并不易實(shí)現(xiàn)。傳統(tǒng)的SRCNN主要公式如下：
F1(l)＝ReLU(W1*↑b l+B1)
F2(l)＝ReLU(W2*F1(l)+B2)
其中，l為低分辨率圖像，為輸出高分辨率圖像，Wi,i＝1,2,3為卷積權(quán)重，Bi,i＝1,2,3為偏移權(quán)重，F(xiàn)i,i＝1,2為高維特征映射，ReLU為激活函數(shù)，定義為ReLU(x)＝max(0,x)，*表示卷積操作，↑b表示雙三次插值操作。
在改進(jìn)的深度學(xué)習(xí)中，將第一個(gè)原始卷積層用一個(gè)參數(shù)化的卷積代替。原本的常數(shù)卷積權(quán)重W1被替換為一個(gè)非線性的函數(shù)W1(k，θ)。這使得濾波權(quán)重依靠一個(gè)附加的模糊核輸入，進(jìn)而能夠處理不同模糊。這個(gè)非線性函數(shù)自身通過額外的、全連接的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。因此，第一個(gè)映射表示為：
F1(l)＝ReLU(W1(κ，θ)*↑b l+B1)，
步驟四：將步驟三得到的神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)導(dǎo)入智能相機(jī)拍照系統(tǒng)中，作為事先已知的模型數(shù)據(jù)；
步驟五：用戶拍照前以及拍照后，均可以選擇是否開啟圖像盲超分辨率功能，并且選擇相應(yīng)的放大倍數(shù)。開啟后，會(huì)對(duì)拍攝得到的照片，利用上述的恢復(fù)模型進(jìn)行自動(dòng)恢復(fù)。
根據(jù)本發(fā)明的一個(gè)實(shí)施方案，更進(jìn)一步的技術(shù)方案：增加一個(gè)用戶反饋功能，用戶將恢復(fù)不滿意的照片反饋給相機(jī)廠商，廠商收集大量用戶反饋數(shù)據(jù)后，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練，并將上述得到的恢復(fù)的模型在官網(wǎng)上進(jìn)行發(fā)布，提供相應(yīng)下載功能，使得用戶能夠隨時(shí)更新手機(jī)中的拍照恢復(fù)模型，得到更好的恢復(fù)效果。
為了更好地實(shí)現(xiàn)本發(fā)明，進(jìn)一步的技術(shù)方案是：
根據(jù)本發(fā)明的一個(gè)實(shí)施方案，步驟一中模糊核的類別不一定必須是100，根據(jù)實(shí)際情況選出最有可能的類別數(shù)量；
更進(jìn)一步的技術(shù)方案：步驟二中訓(xùn)練數(shù)據(jù)庫必須包含常見的不同類型的圖片；
更進(jìn)一步的技術(shù)方案：步驟五中參數(shù)的設(shè)定，以及是否開啟圖像盲超分辨率功能，都可以由用戶自行設(shè)定；
更進(jìn)一步的技術(shù)方案：增加用戶的反饋功能，根據(jù)反饋的數(shù)據(jù)能夠?qū)ι窠?jīng)網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練，定期的進(jìn)行修正，使用戶可以更新手機(jī)拍照恢復(fù)模型，得到更好的效果。
本說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其它實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分相互參見即可。
除上述以外，還需要說明的是，在本說明書中所談到的“一個(gè)實(shí)施例”、“另一個(gè)實(shí)施例”、“實(shí)施例”等，指的是結(jié)合該實(shí)施例描述的具體特征、結(jié)構(gòu)或者特點(diǎn)包括在本申請(qǐng)概括性描述的至少一個(gè)實(shí)施例中。在說明書中多個(gè)地方出現(xiàn)同種表述不是一定指的是同一個(gè)實(shí)施例。進(jìn)一步來說，結(jié)合任一實(shí)施例描述一個(gè)具體特征、結(jié)構(gòu)或者特點(diǎn)時(shí)，所要主張的是結(jié)合其他實(shí)施例來實(shí)現(xiàn)這種特征、結(jié)構(gòu)或者特點(diǎn)也落在本發(fā)明的范圍內(nèi)。
盡管這里參照本發(fā)明的多個(gè)解釋性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是，應(yīng)該理解，本領(lǐng)域技術(shù)人員可以設(shè)計(jì)出很多其他的修改和實(shí)施方式，這些修改和實(shí)施方式將落在本申請(qǐng)公開的原則范圍和精神之內(nèi)。更具體地說，在本申請(qǐng)公開和權(quán)利要求的范圍內(nèi)，可以對(duì)主題組合布局的組成部件和/或布局進(jìn)行多種變型和改進(jìn)。除了對(duì)組成部件和/或布局進(jìn)行的變型和改進(jìn)外，對(duì)于本領(lǐng)域技術(shù)人員來說，其他的用途也將是明顯的。