本發(fā)明涉及圖像處理領(lǐng)域，具體是應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法。

背景技術(shù)：

1、量子圖像傳感器(qis)是一種單光子感應(yīng)圖像傳感器，與傳統(tǒng)cmos圖像傳感器相比，qis具有更高的幀率、更高的分辨率、更低的噪聲，其具有時(shí)間空間過(guò)采樣特性，該傳感器的輸出為三維幀平面序列，序列中每一像素點(diǎn)的值為單比特?cái)?shù)據(jù)，代表光子的有無(wú)，對(duì)三維幀平面序列進(jìn)行重構(gòu)能夠顯著地提升特殊場(chǎng)景下的圖像獲取質(zhì)量。在高分辨率成像，極微弱光成像、高動(dòng)態(tài)范圍成像等領(lǐng)域，qis都擁有廣闊的應(yīng)用前景。

2、qis的時(shí)間空間過(guò)采樣特性使得數(shù)據(jù)形式為三維幀平面序列，所以需要設(shè)計(jì)特殊的圖像重構(gòu)算法將三維幀平面序列重構(gòu)為二維圖像以抑制重構(gòu)圖像噪聲，提升重構(gòu)圖像質(zhì)量。目前大多圖像重構(gòu)算法都是基于數(shù)學(xué)估計(jì)的方法進(jìn)行噪聲抑制，例如通過(guò)最大似然估計(jì)或最大后驗(yàn)估計(jì)進(jìn)行真實(shí)光子數(shù)估計(jì)。但是，這種基于數(shù)學(xué)估計(jì)的方法需要多次迭代計(jì)算且對(duì)重構(gòu)圖像的噪聲抑制能力有限。為提升qis重構(gòu)圖像的噪聲抑制水平，考慮基于深度學(xué)習(xí)的方法進(jìn)行重構(gòu)圖像噪聲抑制。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提出一種基于深度學(xué)習(xí)的重構(gòu)圖像噪聲抑制方法，該方法主要采用結(jié)合精準(zhǔn)無(wú)偏方差穩(wěn)定變換與融合transformer和卷積神經(jīng)網(wǎng)絡(luò)(cnn)框架的深度學(xué)習(xí)算法，不僅能顯著提高qis的重構(gòu)質(zhì)量，有效抑制重構(gòu)圖像噪聲，而且還能應(yīng)用于定制化神經(jīng)網(wǎng)絡(luò)處理器芯片，提升重構(gòu)算法的運(yùn)行速度。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，包括如下步驟：

4、(1)輸入三維幀平面序列；

5、(2)對(duì)三維幀平面序列按時(shí)間空間過(guò)采樣率求和組成塊和圖像；

6、(3)對(duì)塊和圖像進(jìn)行方差穩(wěn)定變換；

7、(4)應(yīng)用融合transformer和cnn的網(wǎng)絡(luò)框架；

8、(5)對(duì)輸出圖像進(jìn)行精準(zhǔn)無(wú)偏方差穩(wěn)定逆變換；

9、(1)得到噪聲抑制的重構(gòu)圖像。

10、進(jìn)一步地，所述三維幀平面序列按時(shí)間空間過(guò)采樣分割后形成許多“塊”，塊內(nèi)序列的和被稱為“塊和圖像”。

11、進(jìn)一步地，所述步驟(2)，在對(duì)三維幀平面序列按時(shí)間空間過(guò)采樣率求和組成塊和圖像的步驟中，首先將輸入的三維幀平面序列按照時(shí)間過(guò)采樣率劃分為不重疊的、具有相同幀數(shù)的時(shí)間塊，其次在各個(gè)時(shí)間塊內(nèi)按照空間過(guò)采樣率劃分為不重疊的、具有相同大小的空間塊，最后把每個(gè)塊內(nèi)的二進(jìn)制數(shù)相加，形成塊和圖像。

12、進(jìn)一步地，所述步驟(3)，在對(duì)塊和圖像進(jìn)行方差穩(wěn)定變換的步驟中，采用方差穩(wěn)定的anscombe變換，即對(duì)上一步驟生成的塊和圖像中的每個(gè)原始數(shù)據(jù)點(diǎn)應(yīng)用變換公式，使變換后的數(shù)據(jù)更接近具有常數(shù)方差的高斯分布。

13、進(jìn)一步地，所述步驟(4)，在應(yīng)用融合transformer和cnn的網(wǎng)絡(luò)框架的步驟中，將方差穩(wěn)定的圖像作為網(wǎng)絡(luò)框架的輸入，所述網(wǎng)絡(luò)框架融合了transformer和cnn，將二者的優(yōu)勢(shì)和局限進(jìn)行互補(bǔ)，利用transformer的全局信息捕捉能力和cnn的局部特征提取能力，實(shí)現(xiàn)更好的圖像噪聲抑制效果；在所述網(wǎng)絡(luò)框架結(jié)構(gòu)中，還采用了子網(wǎng)絡(luò)并行技術(shù)，子網(wǎng)絡(luò)中的交叉特征相互作用，廣泛搜索像素之間的相關(guān)信息，提高網(wǎng)絡(luò)在不同場(chǎng)景下的去噪適應(yīng)能力。

14、更進(jìn)一步地，所述步驟(5)，在對(duì)輸出圖像進(jìn)行精準(zhǔn)無(wú)偏方差穩(wěn)定逆變換的步驟中，采用精準(zhǔn)無(wú)偏的方差穩(wěn)定逆變換將數(shù)據(jù)還原為原始尺度，即先對(duì)網(wǎng)絡(luò)輸出圖像中的每一個(gè)點(diǎn)應(yīng)用anscombe逆變換公式，使數(shù)據(jù)更接近原始泊松分布的形式；在無(wú)偏方差穩(wěn)定的anscombe逆變換后，采用最大似然估計(jì)方法還原真實(shí)的光子數(shù)，采取這種精準(zhǔn)無(wú)偏的方差穩(wěn)定逆變換進(jìn)一步抑制泊松噪聲，從而增強(qiáng)對(duì)重構(gòu)圖像噪聲的抑制效果。

15、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：首先，對(duì)三維幀平面序列計(jì)算塊和圖像，便于使用精準(zhǔn)無(wú)偏的方差穩(wěn)定變換增強(qiáng)對(duì)泊松噪聲的抑制能力；其次，該方法基于融合transformer和cnn的網(wǎng)絡(luò)框架，該框架作為核心去噪器可以利用線性和非線性分量結(jié)合的方式深度搜索圖像去噪中的關(guān)鍵信息，且子網(wǎng)絡(luò)并行的技術(shù)增強(qiáng)了網(wǎng)絡(luò)對(duì)多種場(chǎng)景去噪能力的適應(yīng)性；最后，使用精準(zhǔn)無(wú)偏的方差穩(wěn)定逆變換，利用最大似然估計(jì)還原真實(shí)的光子數(shù)，從qis成像原理出發(fā)，進(jìn)一步抑制了重構(gòu)圖像中的噪聲。所提出的方法能顯著抑制qis的重構(gòu)圖像噪聲，且該方法有應(yīng)用于定制化神經(jīng)網(wǎng)絡(luò)處理器芯片的潛力，使得該方法能夠獲得較快的運(yùn)行速度。

技術(shù)特征：

1.應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述三維幀平面序列按時(shí)間空間過(guò)采樣分割后形成許多“塊”，塊內(nèi)序列的和被稱為“塊和圖像”。

3.根據(jù)權(quán)利要求2所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述步驟(2)，在對(duì)三維幀平面序列按時(shí)間空間過(guò)采樣率求和組成塊和圖像的步驟中，首先將輸入的三維幀平面序列按照時(shí)間過(guò)采樣率劃分為不重疊的、具有相同幀數(shù)的時(shí)間塊，其次在各個(gè)時(shí)間塊內(nèi)按照空間過(guò)采樣率劃分為不重疊的、具有相同大小的空間塊，最后把每個(gè)塊內(nèi)的二進(jìn)制數(shù)相加，形成塊和圖像。

4.根據(jù)權(quán)利要求3所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述步驟(3)，在對(duì)塊和圖像進(jìn)行方差穩(wěn)定變換的步驟中，采用方差穩(wěn)定的anscombe變換，即對(duì)上一步驟生成的塊和圖像中的每個(gè)原始數(shù)據(jù)點(diǎn)應(yīng)用變換公式，使變換后的數(shù)據(jù)更接近具有常數(shù)方差的高斯分布。

5.根據(jù)權(quán)利要求4所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述步驟(4)，在應(yīng)用融合transformer和cnn的網(wǎng)絡(luò)框架的步驟中，將方差穩(wěn)定的圖像作為網(wǎng)絡(luò)框架的輸入，所述網(wǎng)絡(luò)框架融合了transformer和cnn，將二者的優(yōu)勢(shì)和局限進(jìn)行互補(bǔ)，利用transformer的全局信息捕捉能力和cnn的局部特征提取能力，實(shí)現(xiàn)更好的圖像噪聲抑制效果；在所述網(wǎng)絡(luò)框架結(jié)構(gòu)中，還采用了子網(wǎng)絡(luò)并行技術(shù)，子網(wǎng)絡(luò)中的交叉特征相互作用，廣泛搜索像素之間的相關(guān)信息，提高網(wǎng)絡(luò)在不同場(chǎng)景下的去噪適應(yīng)能力。

6.根據(jù)權(quán)利要求5所述的應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，其特征在于，所述步驟(5)，在對(duì)輸出圖像進(jìn)行精準(zhǔn)無(wú)偏方差穩(wěn)定逆變換的步驟中，采用精準(zhǔn)無(wú)偏的方差穩(wěn)定逆變換將數(shù)據(jù)還原為原始尺度，即先對(duì)網(wǎng)絡(luò)輸出圖像中的每一個(gè)點(diǎn)應(yīng)用anscombe逆變換公式，使數(shù)據(jù)更接近原始泊松分布的形式；在無(wú)偏方差穩(wěn)定的anscombe逆變換后，采用最大似然估計(jì)方法還原真實(shí)的光子數(shù)，采取這種精準(zhǔn)無(wú)偏的方差穩(wěn)定逆變換進(jìn)一步抑制泊松噪聲，從而增強(qiáng)對(duì)重構(gòu)圖像噪聲的抑制效果。

技術(shù)總結(jié)
本發(fā)明公開了應(yīng)用于量子圖像傳感器的深度學(xué)習(xí)噪聲抑制重構(gòu)方法，涉及圖像處理領(lǐng)域，首先，對(duì)三維幀平面序列計(jì)算塊和圖像，便于使用精準(zhǔn)無(wú)偏的方差穩(wěn)定變換增強(qiáng)對(duì)泊松噪聲的抑制能力；其次，該方法基于融合Transformer和CNN的網(wǎng)絡(luò)框架，該框架作為核心去噪器可以利用線性和非線性分量結(jié)合的方式深度搜索圖像去噪中的關(guān)鍵信息，且子網(wǎng)絡(luò)并行的技術(shù)增強(qiáng)了網(wǎng)絡(luò)對(duì)多種場(chǎng)景去噪能力的適應(yīng)性；最后，使用精準(zhǔn)無(wú)偏的方差穩(wěn)定逆變換，利用最大似然估計(jì)還原真實(shí)的光子數(shù)，從QIS成像原理出發(fā)，進(jìn)一步抑制了重構(gòu)圖像中的噪聲。所提出的方法能顯著抑制QIS的重構(gòu)圖像噪聲，且該方法有應(yīng)用于定制化神經(jīng)網(wǎng)絡(luò)處理器芯片的潛力，使得該方法能夠獲得較快的運(yùn)行速度。

技術(shù)研發(fā)人員：王冠杰,聶凱明,徐江濤
受保護(hù)的技術(shù)使用者：天津大學(xué)合肥創(chuàng)新發(fā)展研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19