本發(fā)明涉及物聯(lián)網(wǎng)和圖像處理領(lǐng)域，具體涉及一種適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)。
背景技術(shù)：
：：基于物聯(lián)網(wǎng)的傳感技術(shù)在智能化的生產(chǎn)和日常生活中的應(yīng)用越來(lái)越廣泛，圖像傳感技術(shù)作為其中的一個(gè)重要分支，有著重要的研究?jī)r(jià)值和提升空間?，F(xiàn)有的物聯(lián)網(wǎng)系統(tǒng)對(duì)物聯(lián)網(wǎng)節(jié)點(diǎn)價(jià)格比較敏感，當(dāng)傳感器的數(shù)目達(dá)到成百上千的時(shí)候，控制物聯(lián)網(wǎng)節(jié)點(diǎn)的成本顯得尤為重要，并且大部分物聯(lián)網(wǎng)圖像傳感器的分辨率不是很高，對(duì)物聯(lián)網(wǎng)圖像的處理不夠高效靈活高效，會(huì)直接影響用戶體驗(yàn)。技術(shù)實(shí)現(xiàn)要素：為了解決上述的技術(shù)問(wèn)題，本發(fā)明的目的在于提出一種適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)。為了達(dá)到上述目的，本發(fā)明提供了一種技術(shù)方案：一種適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)，它包括多個(gè)無(wú)線圖像采集節(jié)點(diǎn)以及依次相連接的arm無(wú)線控制單元、多模無(wú)線基帶處理單元、網(wǎng)絡(luò)服務(wù)器、fpga圖像處理單元(fpga：field－programmablegatearray，現(xiàn)場(chǎng)可編程門陣列)、nas服務(wù)器(nas：networkattachedstorage，網(wǎng)絡(luò)附屬存儲(chǔ))、客戶端，多個(gè)無(wú)線圖像采集節(jié)點(diǎn)與arm無(wú)線控制單元分別相連接，無(wú)線圖像采集節(jié)點(diǎn)包括放置于所需采集圖像區(qū)域并在接收到arm無(wú)線控制單元所發(fā)送的控制命令而進(jìn)行拍攝的攝像頭、將所拍攝的圖像回傳至多模無(wú)線基帶處理單元的無(wú)線圖傳模塊，多模無(wú)線基帶處理單元將bayer域圖像傳送至網(wǎng)絡(luò)服務(wù)器，fpga圖像處理單元從網(wǎng)絡(luò)服務(wù)器獲取bayer域圖像并進(jìn)行處理，fpga圖像處理單元包括將bayer域圖像處理至rgb域的圖像信號(hào)處理模塊(isp，imagesignalprocessor)和進(jìn)行超分辨率重構(gòu)的單幅圖像超分辨率重構(gòu)模塊(sisr，singleimagesuperresolution)，fpga圖像處理單元將處理后的圖像輸出并存儲(chǔ)在nas服務(wù)器上，客戶端通過(guò)訪問(wèn)nas服務(wù)器對(duì)圖像進(jìn)行查看。進(jìn)一步地，攝像頭包括3a模塊。進(jìn)一步地，多模無(wú)線基帶處理單元通過(guò)ltecat0或者wifi協(xié)議將bayer域圖像傳送到網(wǎng)絡(luò)服務(wù)器，多模無(wú)線基帶處理單元根據(jù)需要在ltecat0和wifi之間進(jìn)行實(shí)時(shí)選擇切換。進(jìn)一步地，圖像信號(hào)處理模塊包括依次相連接的用于對(duì)圖像的壞點(diǎn)進(jìn)行修正的原始數(shù)據(jù)校正模塊(rawdatacorrection)、用于對(duì)圖像的白平衡進(jìn)行修正的白平衡修正模塊(whitebalance)、用于修正鏡頭畸變的鏡頭陰影修正模塊(lensshading)、用于降低圖像空間和時(shí)間噪聲的噪聲降低模塊(noisereduciton)、用于提高圖像的動(dòng)態(tài)范圍的動(dòng)態(tài)范圍校正模塊(dynamicrangecorrection)、用于將bayer域圖像轉(zhuǎn)至rgb域的去馬賽克模塊(demosaic)、用于修正圖像的顏色的3×3顏色矩陣模塊(3x3colormatrix)、用于提高圖像暗區(qū)的亮度的亮度校正模塊(gammalut)、提高圖像銳度的銳化模塊(shapening)。進(jìn)一步地，單幅圖像超分辨率重構(gòu)模塊包括卷積神經(jīng)網(wǎng)絡(luò)(cnn，convolutionneuralnetworks)。更進(jìn)一步地，單幅圖像超分辨率重構(gòu)模塊還包括用于將原始圖像放大的雙三次插值模塊(bicubicinterpolation)、與雙三次插值模塊和卷積神經(jīng)網(wǎng)絡(luò)分別相連接并用于將放大的圖像由rgb域轉(zhuǎn)到y(tǒng)cbcr域且將y通道輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行處理的第一轉(zhuǎn)化模塊、與第一轉(zhuǎn)化模塊和卷積神經(jīng)網(wǎng)絡(luò)分別相連接并用于將卷積神經(jīng)網(wǎng)絡(luò)處理后輸出的y通道和雙三次插值模塊得到的cb、cr通道轉(zhuǎn)到rgb域的第二轉(zhuǎn)化模塊，卷積神經(jīng)網(wǎng)絡(luò)將第一轉(zhuǎn)化模塊輸出的y通道處理所得結(jié)果和輸入圖像疊加得到高分辨率圖像的y通道并輸出。更進(jìn)一步地，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法包括以下步驟：a.將高分辨率的圖像進(jìn)行降采樣和插值處理，得到低分辨率的圖像；b.將低分辨率的圖像作為訓(xùn)練樣本，將高分辨率圖像和低分辨率圖像的差值作為標(biāo)簽進(jìn)行訓(xùn)練；c.訓(xùn)練的數(shù)據(jù)來(lái)自于bsd500數(shù)據(jù)集中的200張圖片，將圖片剪裁(crop)成33*33大小的補(bǔ)片(patch)，進(jìn)行訓(xùn)練；d.訓(xùn)練方法采用小批量梯度下降法(mini-batchgradientdescent)，動(dòng)量(momentum)設(shè)為0.9，權(quán)重衰減(weightdecay)設(shè)為0.0001；e.卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)初始化方式采用高斯分布(gaussiandistribution)：均值設(shè)為0，標(biāo)準(zhǔn)差設(shè)為其中n＝k2c，k為濾波器大小，c為輸入通道數(shù)；f.訓(xùn)練中使用了調(diào)整梯度剪裁(adjustablegradientclipping)將梯度限制在其中θ是預(yù)設(shè)值，γ是學(xué)習(xí)率；對(duì)卷積神經(jīng)網(wǎng)絡(luò)框架(caffe，convolutionalarchitectureforfastfeatureembedding)中的sgd_solver.cpp進(jìn)行修改；g.訓(xùn)練過(guò)程中參數(shù)設(shè)置為lr_policy:multistep,gamma:0.1，stepvalue:30000,stepvalue:60000,stepvalue:90000,max_iter:240000；h.訓(xùn)練的過(guò)程中加入了剪枝(pruning)，剪枝方法包括：對(duì)每一個(gè)卷積層的權(quán)值分別求標(biāo)準(zhǔn)差，每層的標(biāo)準(zhǔn)差乘以一個(gè)壓縮系數(shù)，得到一個(gè)閾值，將該層絕對(duì)值小于該閾值的權(quán)值置為0，并加上mask，在bp過(guò)程中不再更新值為0的權(quán)值；對(duì)卷積神經(jīng)網(wǎng)絡(luò)框架中的solver.cpp和solver.hpp進(jìn)行修改；測(cè)試數(shù)據(jù)集來(lái)自b100中的100張圖片。進(jìn)一步地，客戶端包括手機(jī)客戶端和/或電腦客戶端。通過(guò)采用上述技術(shù)方案，本發(fā)明所提出的適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)，采用精簡(jiǎn)化的無(wú)線圖像采集節(jié)點(diǎn)，傳感器(sensor)只含有簡(jiǎn)單的3a模塊和圖傳模塊，不包含完整的isp處理模塊，只保留核心的圖像采集和圖傳功能，極大的降低了無(wú)線采集節(jié)點(diǎn)的成本，適用于需要大量布置圖像采集節(jié)點(diǎn)的應(yīng)用場(chǎng)景；多模無(wú)線基帶處理單元保證了通信協(xié)議的靈活切換；fpga圖像處理單元可以保證在有新的算法需要實(shí)施的時(shí)候，可以靈活進(jìn)行更新；在fpga圖像處理單元中加入了單幅圖像超分辨率重構(gòu)模塊，有效提高圖像分辨率；nas存儲(chǔ)器保證了所采集的圖像信息的安全存儲(chǔ)以及靈活訪問(wèn)。上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說(shuō)明書的內(nèi)容予以實(shí)施，以下以本發(fā)明的較佳實(shí)施例并配合附圖詳細(xì)說(shuō)明如后。附圖說(shuō)明圖1為根據(jù)本發(fā)明適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)的結(jié)構(gòu)示意框圖。圖2為根據(jù)本發(fā)明適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)中圖像信號(hào)處理模塊(isp)的結(jié)構(gòu)示意框圖。圖3為根據(jù)本發(fā)明適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)中單幅圖像超分辨率重構(gòu)(sisr)的算法示意圖。圖4為根據(jù)本發(fā)明適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)中單幅圖像超分辨率重構(gòu)(sisr)經(jīng)過(guò)剪枝(pruning)之后的權(quán)值壓縮情況；圖5為根據(jù)本發(fā)明適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)中單幅圖像超分辨率重構(gòu)(sisr)在剪枝(pruning)前后超分變率重構(gòu)性能性能對(duì)比；圖6為根據(jù)本發(fā)明適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)中單幅圖像超分辨率重構(gòu)(sisr)的硬件結(jié)構(gòu)示意框圖。圖7至圖11為根據(jù)本發(fā)明實(shí)施的sisr中的子模塊的硬件框圖。。具體實(shí)施方式下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說(shuō)明本發(fā)明，但不用來(lái)限制本發(fā)明的范圍。參照附圖1至附圖11，本實(shí)施例中的一種適用于物聯(lián)網(wǎng)的圖像采集系統(tǒng)，它包括多個(gè)無(wú)線圖像采集節(jié)點(diǎn)以及依次相連接的arm無(wú)線控制單元、多模無(wú)線基帶處理單元、網(wǎng)絡(luò)服務(wù)器、fpga圖像處理單元(fpga：field－programmablegatearray，現(xiàn)場(chǎng)可編程門陣列)、nas服務(wù)器(nas：networkattachedstorage，網(wǎng)絡(luò)附屬存儲(chǔ))、客戶端，多個(gè)無(wú)線圖像采集節(jié)點(diǎn)與arm無(wú)線控制單元分別相連接，無(wú)線圖像采集節(jié)點(diǎn)包括放置于所需采集圖像區(qū)域并在接收到arm無(wú)線控制單元所發(fā)送的控制命令而進(jìn)行拍攝的攝像頭、將所拍攝的圖像回傳至多模無(wú)線基帶處理單元的無(wú)線圖傳模塊，多模無(wú)線基帶處理單元將bayer域圖像傳送至網(wǎng)絡(luò)服務(wù)器，fpga圖像處理單元從網(wǎng)絡(luò)服務(wù)器獲取bayer域圖像并進(jìn)行處理，fpga圖像處理單元包括將bayer域圖像處理至rgb域的圖像信號(hào)處理模塊(isp，imagesignalprocessor)和進(jìn)行超分辨率重構(gòu)的單幅圖像超分辨率重構(gòu)模塊(sisr，singleimagesuperresolution)，fpga圖像處理單元將處理后的圖像輸出并存儲(chǔ)在nas服務(wù)器上，客戶端通過(guò)訪問(wèn)nas服務(wù)器對(duì)圖像進(jìn)行查看。在一種更為優(yōu)選的實(shí)施方案中，攝像頭包括3a模塊。arm無(wú)線控制單元發(fā)送指令控制各個(gè)無(wú)線圖像采集節(jié)點(diǎn)進(jìn)行拍照，無(wú)線采集節(jié)點(diǎn)收到指令后，3a模塊會(huì)調(diào)整iso、曝光時(shí)間、對(duì)焦位置等參數(shù)然后進(jìn)行拍照。在一種更為優(yōu)選的實(shí)施方案中，多模無(wú)線基帶處理單元通過(guò)ltecat0或者wifi協(xié)議將bayer域圖像傳送到網(wǎng)絡(luò)服務(wù)器，多模無(wú)線基帶處理單元根據(jù)需要在ltecat0和wifi之間進(jìn)行實(shí)時(shí)選擇切換。由于物聯(lián)網(wǎng)領(lǐng)域的圖像采集有別于面向消費(fèi)者的手機(jī)和相機(jī)，多說(shuō)情況下對(duì)圖像質(zhì)量不會(huì)有太高的要求，所以使用的精簡(jiǎn)的圖像信號(hào)處理模塊(isp)，如附圖2所示，它包括依次相連接的用于對(duì)圖像的壞點(diǎn)進(jìn)行修正的原始數(shù)據(jù)校正模塊(rawdatacorrection)、用于對(duì)圖像的白平衡進(jìn)行修正的白平衡修正模塊(whitebalance)、用于修正鏡頭畸變的鏡頭陰影修正模塊(lensshading)、用于降低圖像空間和時(shí)間噪聲的噪聲降低模塊(noisereduciton)、用于提高圖像的動(dòng)態(tài)范圍的動(dòng)態(tài)范圍校正模塊(dynamicrangecorrection)、用于將bayer域圖像轉(zhuǎn)至rgb域的去馬賽克模塊(demosaic)、用于修正圖像的顏色的3×3顏色矩陣模塊(3x3colormatrix)、用于提高圖像暗區(qū)的亮度的亮度校正模塊(gammalut)、提高圖像銳度的銳化模塊(shapening)。單幅圖像超分辨率重構(gòu)模塊包括卷積神經(jīng)網(wǎng)絡(luò)(cnn，convolutionneuralnetworks)，其主要作用是對(duì)圖像進(jìn)行超分辨率重構(gòu)。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法包括以下步驟：a.將高分辨率的圖像進(jìn)行降采樣和插值處理，得到低分辨率的圖像；b.將低分辨率的圖像作為訓(xùn)練樣本，將高分辨率圖像和低分辨率圖像的差值作為標(biāo)簽進(jìn)行訓(xùn)練；c.訓(xùn)練的數(shù)據(jù)來(lái)自于bsd500數(shù)據(jù)集中的200張圖片，將圖片剪裁(crop)成33*33大小的補(bǔ)片(patch)，進(jìn)行訓(xùn)練；d.訓(xùn)練方法采用小批量梯度下降法(mini-batchgradientdescent)，動(dòng)量(momentum)設(shè)為0.9，權(quán)重衰減(weightdecay)設(shè)為0.0001；e.卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)初始化方式采用高斯分布(gaussiandistribution)：均值設(shè)為0，標(biāo)準(zhǔn)差設(shè)為其中n＝k2c，k為濾波器大小，c為輸入通道數(shù)；f.為了加快訓(xùn)練的速度，訓(xùn)練中使用了調(diào)整梯度剪裁(adjustablegradientclipping)將梯度限制在其中θ是預(yù)設(shè)值(本實(shí)施例中將其設(shè)為0.001)，γ是學(xué)習(xí)率(本實(shí)施例中將其設(shè)置為0.1)；由于使用的訓(xùn)練框架是caffe(convolutionalarchitectureforfastfeatureembedding，卷積神經(jīng)網(wǎng)絡(luò)框架)，所以需要對(duì)caffe的sgd_solver.cpp進(jìn)行修改；g.訓(xùn)練過(guò)程中參數(shù)設(shè)置為lr_policy:multistep,gamma:0.1，stepvalue:30000,stepvalue:60000,stepvalue:90000,max_iter:240000；h.由于訓(xùn)練過(guò)程中發(fā)現(xiàn)cnn的權(quán)重值中大部分接近0，所以在訓(xùn)練的過(guò)程中又加入了剪枝(pruning)，剪枝的具體方法包括：對(duì)每一個(gè)卷積層的權(quán)值分別求標(biāo)準(zhǔn)差，每層的標(biāo)準(zhǔn)差乘以一個(gè)壓縮系數(shù)，得到一個(gè)閾值，將該層絕對(duì)值小于該閾值的權(quán)值置為0，并加上mask，在bp過(guò)程中不再更新值為0的權(quán)值。需要對(duì)caffe中的solver.cpp和solver.hpp進(jìn)行修改。pruning前后cnn網(wǎng)絡(luò)權(quán)重壓縮情況如附圖4所示。pruning前后超分重構(gòu)性能性能對(duì)比如附圖5所示，測(cè)試數(shù)據(jù)集來(lái)自b100中的100張圖片。單幅圖像超分辨率重構(gòu)模塊中的cnn訓(xùn)練得到的權(quán)值固化在硬件結(jié)構(gòu)中。如附圖6所示，單幅圖像超分辨率重構(gòu)模塊的硬件結(jié)構(gòu)包括上述的卷積神經(jīng)網(wǎng)絡(luò)、用于將原始圖像放大的雙三次插值模塊(bicubicinterpolation)、與雙三次插值模塊和卷積神經(jīng)網(wǎng)絡(luò)分別相連接并用于將放大的圖像由rgb域轉(zhuǎn)到y(tǒng)cbcr域且將y通道輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行處理的第一轉(zhuǎn)化模塊、與第一轉(zhuǎn)化模塊和卷積神經(jīng)網(wǎng)絡(luò)分別相連接并用于將卷積神經(jīng)網(wǎng)絡(luò)處理后輸出的y通道和雙三次插值模塊得到的cb、cr通道轉(zhuǎn)到rgb域的第二轉(zhuǎn)化模塊。單幅圖像超分辨率重構(gòu)(sisr)的算法如附圖3所示，原始圖像經(jīng)過(guò)雙三次插值模塊和第一轉(zhuǎn)化模塊的處理轉(zhuǎn)化，低分辨率圖像輸入至卷積神經(jīng)網(wǎng)絡(luò)，輸出高分辨率圖像。圖3中標(biāo)號(hào)1至標(biāo)號(hào)4分別表示卷積層1至卷積層4，其中卷積層1的參數(shù)設(shè)置：卷積核大小(kernelsize)：11×11，特征圖(featuremap)：64；卷積核步長(zhǎng)(stride)：1，擴(kuò)充邊緣(pad)：5；卷積層2的參數(shù)設(shè)置：卷積核大小(kernelsize)：3×3，特征圖(featuremap)：32；卷積核步長(zhǎng)(stride)：1，擴(kuò)充邊緣(pad)：1；卷積層3的參數(shù)設(shè)置：卷積核大小(kernelsize)：5×5，特征圖(featuremap)：32；卷積核步長(zhǎng)(stride)：1，擴(kuò)充邊緣(pad)：2；卷積層4的參數(shù)設(shè)置：卷積核大小(kernelsize)：11×11，輸出(output)：1；卷積核步長(zhǎng)(stride)：1，擴(kuò)充邊緣(pad)：5。單幅圖像超分辨率重構(gòu)模塊(sisr)的硬件設(shè)計(jì)中選用了長(zhǎng)寬各擴(kuò)大兩倍的超分重構(gòu)場(chǎng)景。硬件設(shè)計(jì)如附圖6所示，其中，卷積神經(jīng)網(wǎng)絡(luò)包括卷積層1、卷積層2、卷積層3、卷積層4，卷積層1包括多個(gè)pe1模塊、多個(gè)修正線性單元(relu)、多個(gè)ram，卷積層2包括多個(gè)pe2-group模塊、多個(gè)修正線性單元(relu)、多個(gè)ram，卷積層3包括多個(gè)pe3-group模塊、多個(gè)修正線性單元(relu)、多個(gè)ram，卷積層4包括pe4-group模塊、修正線性單元(relu)，各模塊的數(shù)量以及連接關(guān)系如附圖6中所示。附圖6中的子模塊如附圖7-11所示。pe2-group模塊包括多個(gè)pe-5模塊、add模塊，各模塊的數(shù)量以及連接關(guān)系如附圖7中所示；pe3-group模塊包括多個(gè)pe-5模塊、add模塊，各模塊的數(shù)量以及連接關(guān)系如附圖8中所示；pe4-group模塊包括多個(gè)pe-11模塊、add模塊，各模塊的數(shù)量以及連接關(guān)系如附圖9中所示；pe-5模塊包括多個(gè)multi模塊、add模塊，各模塊的數(shù)量以及連接關(guān)系如附圖10中所示；pe-11模塊包括多個(gè)pe-5模塊、add模塊，各模塊的數(shù)量以及連接關(guān)系如附圖11中所示。本實(shí)施例中的nas服務(wù)器使用的是synology5bay的ds1515+。fpga處理出的圖像通過(guò)文件傳輸協(xié)議(ftp，filetransferprotocol)上傳至nas服務(wù)器，以供客戶端查看?？蛻舳税ㄊ謾C(jī)客戶端和/或電腦客戶端。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，并不用于限制本發(fā)明，應(yīng)當(dāng)指出，對(duì)于本
技術(shù)領(lǐng)域：
：的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變型，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12