本發(fā)明涉及一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，屬于計量資產(chǎn)全壽命周期管理領(lǐng)域。

背景技術(shù)：

1、計量資產(chǎn)號碼，是計量設(shè)備的唯一身份編碼，用來識別每一個計量資產(chǎn)而給資產(chǎn)指定的一組號碼。由于計量資產(chǎn)編碼具有唯一性，同時蝕刻在計量設(shè)備上不易篡改，因此在計量資產(chǎn)回收分揀時具有重要意義。

2、隨著國網(wǎng)公司對計量設(shè)備全壽命周期管理的重視，近年來各類型拆回計量設(shè)備除了要求全量回收外，還要求為每只設(shè)備建立數(shù)字檔案庫，拍照并用資產(chǎn)編碼命名照片進行存儲。以電能表分揀為例，目前工作人員使用高拍儀逐只拾取電能表并拍照，通過高拍儀自帶的條形碼識別軟件對照片進行重命名，每一步都需要人工操作，效率緩慢。同時受限于高拍儀照相機識別角度、光線、電能表表面臟污情況等因素影響，電能表資產(chǎn)識別準確率也較低，往往需要大量的人工干預(yù)，費時費力。因此，本發(fā)明提出一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法來解決以上問題。

技術(shù)實現(xiàn)思路

1、根據(jù)背景所述問題，本發(fā)明基于神經(jīng)網(wǎng)絡(luò)和條形碼的識別技術(shù)，提出了一種復(fù)雜場景下計量設(shè)備資產(chǎn)號碼圖像識別方法。首先利用輕量級神經(jīng)網(wǎng)絡(luò)提取圖像特征，快速定位任意角度任意背景下的資產(chǎn)編號區(qū)域，在此區(qū)域內(nèi)，利用序列分類器實現(xiàn)對文本字符串的識別，不僅速度快而且準確度高。同時結(jié)合條形碼解碼技術(shù)實現(xiàn)對計量設(shè)備資產(chǎn)編碼的識別，保證資產(chǎn)編號快速識別的同時提高識別準確性。最后，通過可信度標簽提升識別結(jié)果準確性，編寫python程序，實現(xiàn)對圖片集的批量識別和重命名。

2、為實現(xiàn)上述目的，本發(fā)明提供一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，包括步驟：

3、s1、卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼：利用輕量級神經(jīng)網(wǎng)絡(luò)提取圖像特征，快速定位任意角度任意背景下的資產(chǎn)編號區(qū)域，在此區(qū)域內(nèi)，利用序列分類器實現(xiàn)對文本字符串的識別；

4、s2、條形碼識別提取資產(chǎn)編碼：結(jié)合條形碼解碼技術(shù)實現(xiàn)對計量設(shè)備資產(chǎn)編碼的識別；

5、s3、通過可信度標簽提升識別結(jié)果準確性：編寫python程序，實現(xiàn)對圖片集的批量識別和重命名。

6、其中，所述步驟s1中卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼為利用輕量級神經(jīng)網(wǎng)絡(luò)提取圖像特征，即把資產(chǎn)號碼的識別當作序列相關(guān)的分類，同時直接忽略不需要識別的其他邊緣字符。所述的步驟s1卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼用于計量設(shè)備資產(chǎn)號碼特征提取的主干網(wǎng)絡(luò)結(jié)構(gòu)為vggnet，提取圖片特征使用3×3卷積核。所述的步驟s1卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼中特征池化層為maxpool層，使采樣結(jié)果在2倍圖像上進行采樣，且網(wǎng)絡(luò)在下采樣時采用向下取整。所述的步驟s1卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼中用于計算vin識別網(wǎng)絡(luò)的損失函數(shù)為和m是計量設(shè)備資產(chǎn)號碼的總長度，設(shè)為22；n是字符的所有類別，n設(shè)為33；對于第k個字符，預(yù)測值yk和真實標簽的交叉熵損失，lrec是所有分類器的損失和。

7、進一步的，所述的步驟s2卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼過程中，在訓(xùn)練檢測網(wǎng)絡(luò)時，對訓(xùn)練圖片以任意方向旋轉(zhuǎn)以提升檢測多角度圖片的效果，使用python函數(shù)旋轉(zhuǎn)原圖片和四邊形文本框標簽。所述的步驟s2條形碼識別提取資產(chǎn)編碼導(dǎo)入的軟件包使用numpy做數(shù)值計算，argparse用來解析命令行參數(shù)，opencv來做圖像識別。所述的步驟s2條形碼識別提取資產(chǎn)編碼需要從磁盤載入圖像并轉(zhuǎn)換為灰度圖，使用scharr操作后構(gòu)造灰度圖在水平和豎直方向上的梯度幅值表示，scharr操作后，從x-gradient中減去y-gradient，通過這一步減法操作，最終得到包含高水平梯度和低豎直梯度的圖像區(qū)域；對區(qū)域圖像進行透視變換進行傾斜矯正，再通過圖像去噪操作將關(guān)注點集中到條形碼區(qū)域，首先使用9*9的內(nèi)核對梯度圖進行平均模糊化，然后將模糊化后的圖形進行二值化，梯度圖中任何小于等于255的像素設(shè)為0(黑色)，其余設(shè)為255(白色)；使用形態(tài)學(xué)操作來消除條形碼中垂直之間的縫隙，使算法更容易檢測到條形碼中的“斑點”狀區(qū)域，使用4次腐蝕，4次膨脹消除小斑點，即可用算法檢測到條形碼區(qū)域并進行識別。

8、進一步的，所述的步驟s3通過可信度標簽提升識別結(jié)果準確性將卷積神經(jīng)網(wǎng)絡(luò)提取到的資產(chǎn)編碼與條形碼識別提取到的資產(chǎn)編碼進行比對，通過字符串長度、是否含有文字，字符串前綴匹配度三個判斷項得出兩種提取編碼方式的對比結(jié)果。所述的步驟s3通過可信度標簽提升識別結(jié)果準確性中，使用卷積神經(jīng)網(wǎng)絡(luò)提取到的資產(chǎn)編碼與條形碼識別提取到的資產(chǎn)編碼得到的兩種結(jié)果，當兩種結(jié)果中的3個判斷項均正確時，算法會優(yōu)先選取卷積神經(jīng)網(wǎng)絡(luò)的文字識別結(jié)果做為輸出結(jié)果；當兩種結(jié)果中的某一種3個判斷項均正確時，算法會選取此結(jié)果作為輸出結(jié)果；當兩種結(jié)果中的3個判斷項存在交叉錯誤時，算法會選取正確的判斷項對結(jié)果進行融合，并將結(jié)果輸出到需人工核驗數(shù)據(jù)庫中；當兩種結(jié)果中的3個判斷項全部錯誤時，算法將不輸出結(jié)果，交由人工進行識別。

9、本發(fā)明的有益效果是：

10、在卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼過程中，輕量級神經(jīng)網(wǎng)絡(luò)提取圖像特征，在此區(qū)域內(nèi)，利用序列分類器實現(xiàn)對文本字符串的識別，能夠提高提取資產(chǎn)編碼的速度和準確率。使用vggnet樹干額那個羅結(jié)構(gòu)提取如片特征能夠保證圖片文字識別的魯棒性，避免了因拍攝角度的而導(dǎo)致的識別率低下的問題，使用條形碼提取資產(chǎn)編碼能夠快速、有效地識別圖片中的計量設(shè)備資產(chǎn)編碼，之后通過通過可信度標簽提升識別結(jié)果準確性，將兩種方式提取結(jié)果進行分析比較，能夠快速提取出準確度更高的資產(chǎn)編碼，較目前使用的方法時間效率提升約95％，識別準確度提升5％，能有效解決人工操作費時費力的問題，提高勞動生產(chǎn)效率，提升計量資產(chǎn)全壽命周期管理水平。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，包括步驟：

2.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述步驟s1中卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼為利用輕量級神經(jīng)網(wǎng)絡(luò)提取圖像特征，即把資產(chǎn)號碼的識別當作序列相關(guān)的分類，同時直接忽略不需要識別的其他邊緣字符。

3.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述的步驟s1卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼用于計量設(shè)備資產(chǎn)號碼特征提取的主干網(wǎng)絡(luò)結(jié)構(gòu)為vggnet，提取圖片特征使用3×3卷積核。

4.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述的步驟s1卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼中特征池化層為maxpool層，使采樣結(jié)果在2倍圖像上進行采樣，且網(wǎng)絡(luò)在下采樣時采用向下取整。

5.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述的步驟s1卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼中用于計算vin識別網(wǎng)絡(luò)的損失函數(shù)為和m是計量設(shè)備資產(chǎn)號碼的總長度，設(shè)為22；n是字符的所有類別，n設(shè)為33；對于第k個字符，預(yù)測值yk和真實標簽的交叉熵損失，lrec是所有分類器的損失和。

6.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述的步驟s2卷積神經(jīng)網(wǎng)絡(luò)提取資產(chǎn)編碼過程中，在訓(xùn)練檢測網(wǎng)絡(luò)時，對訓(xùn)練圖片以任意方向旋轉(zhuǎn)以提升檢測多角度圖片的效果，使用python函數(shù)旋轉(zhuǎn)原圖片和四邊形文本框標簽。

7.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述的步驟s2條形碼識別提取資產(chǎn)編碼導(dǎo)入的軟件包使用numpy做數(shù)值計算，argparse用來解析命令行參數(shù)，opencv來做圖像識別。

8.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述的步驟s2條形碼識別提取資產(chǎn)編碼需要從磁盤載入圖像并轉(zhuǎn)換為灰度圖，使用scharr操作后構(gòu)造灰度圖在水平和豎直方向上的梯度幅值表示，scharr操作后，從x-gradient中減去y-gradient，通過這一步減法操作，最終得到包含高水平梯度和低豎直梯度的圖像區(qū)域；對區(qū)域圖像進行透視變換進行傾斜矯正，再通過圖像去噪操作將關(guān)注點集中到條形碼區(qū)域，首先使用9*9的內(nèi)核對梯度圖進行平均模糊化，然后將模糊化后的圖形進行二值化，梯度圖中任何小于等于255的像素設(shè)為0(黑色)，其余設(shè)為255(白色)；使用形態(tài)學(xué)操作來消除條形碼中垂直之間的縫隙，使算法更容易檢測到條形碼中的“斑點”狀區(qū)域，使用4次腐蝕，4次膨脹消除小斑點，即可用算法檢測到條形碼區(qū)域并進行識別。

9.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述的步驟s3通過可信度標簽提升識別結(jié)果準確性將卷積神經(jīng)網(wǎng)絡(luò)提取到的資產(chǎn)編碼與條形碼識別提取到的資產(chǎn)編碼進行比對，通過字符串長度、是否含有文字，字符串前綴匹配度三個判斷項得出兩種提取編碼方式的對比結(jié)果。

10.根據(jù)權(quán)利要求1所述一種基于深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，其特征在于，所述的步驟s3通過可信度標簽提升識別結(jié)果準確性中，使用卷積神經(jīng)網(wǎng)絡(luò)提取到的資產(chǎn)編碼與條形碼識別提取到的資產(chǎn)編碼得到的兩種結(jié)果，當兩種結(jié)果中的3個判斷項均正確時，算法會優(yōu)先選取卷積神經(jīng)網(wǎng)絡(luò)的文字識別結(jié)果做為輸出結(jié)果；當兩種結(jié)果中的某一種3個判斷項均正確時，算法會選取此結(jié)果作為輸出結(jié)果；當兩種結(jié)果中的3個判斷項存在交叉錯誤時，算法會選取正確的判斷項對結(jié)果進行融合，并將結(jié)果輸出到需人工核驗數(shù)據(jù)庫中；當兩種結(jié)果中的3個判斷項全部錯誤時，算法將不輸出結(jié)果，交由人工進行識別。

技術(shù)總結(jié)
本發(fā)明公開了一種基于深度深度學(xué)習(xí)和條形碼識別技術(shù)提升計量資產(chǎn)全壽命周期管理水平的方法，涉及計量資產(chǎn)全壽命周期管理領(lǐng)域，基于神經(jīng)網(wǎng)絡(luò)和條形碼的識別技術(shù)，提出了一種復(fù)雜場景下計量設(shè)備資產(chǎn)號碼圖像識別方法：首先利用輕量級神經(jīng)網(wǎng)絡(luò)提取圖像特征，快速定位任意角度任意背景下的資產(chǎn)編號區(qū)域，在此區(qū)域內(nèi)，利用序列分類器實現(xiàn)對文本字符串的識別，不僅速度快而且準確度高；同時結(jié)合條形碼解碼技術(shù)實現(xiàn)對計量設(shè)備資產(chǎn)編碼的識別，保證資產(chǎn)編號快速識別的同時提高識別準確性；最后，編寫python程序，實現(xiàn)對圖片集的批量識別和重命名；以此來提升計量資產(chǎn)全壽命周期管理水平。

技術(shù)研發(fā)人員：孫科,韓笑妍,臧曉菲,張曉悅
受保護的技術(shù)使用者：國網(wǎng)山東省電力公司膠州市供電公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19