本發(fā)明涉及數(shù)字圖像處理和儀表示數(shù)識別領(lǐng)域，尤其涉及到基于機器視覺的多表字符識別系統(tǒng)及方法。

背景技術(shù)：

數(shù)顯儀表由于其精度高、穩(wěn)定性好、安裝使用方便、體積小等特點，目前被廣泛地應(yīng)用于機械制造、石油、化工等各個行業(yè)中，尤其在工業(yè)控制領(lǐng)域應(yīng)用廣泛。一般工業(yè)領(lǐng)域使用數(shù)顯儀表時會采用多個數(shù)顯儀表集中顯示需要監(jiān)測的數(shù)據(jù)，這樣既節(jié)約空間資源又利于工作人員對生產(chǎn)數(shù)據(jù)進行實時的監(jiān)測。

經(jīng)走訪調(diào)研發(fā)現(xiàn)珠三角地區(qū)多數(shù)陶瓷工廠的窯爐溫度監(jiān)測和控制雖然安裝大量的現(xiàn)場指示儀表，但這些儀表不具有遠傳功能，需要現(xiàn)場讀數(shù)，用來監(jiān)控工業(yè)現(xiàn)場運行狀況。雖然有數(shù)字溫控儀表，但是還是需要人工進行抄表工作，定期以報告的形式將數(shù)據(jù)遞交給生產(chǎn)主管進行分析。監(jiān)控室儀表眾多，人工抄表費時費力低效，而且容易引起誤判；而且，常見的字符識別都是一圖一表的單表識別，一臺攝像機只拍攝一個電表，既占用空間，又浪費資源，不利于企業(yè)的長遠發(fā)展。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種節(jié)省人力、工作效率高、能同時識別多個電表、電表識別率高、有效解決生產(chǎn)現(xiàn)場攝像頭實時采集的大量圖像和大量電表數(shù)據(jù)的存儲問題、釋放PC內(nèi)存、節(jié)約資源的基于機器視覺的多表字符識別系統(tǒng)。

為實現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：基于機器視覺的多表字符識別系統(tǒng)，包括圖像采集模塊、網(wǎng)絡(luò)存儲模塊以及軟件處理模塊；

圖像采集模塊為帶有網(wǎng)絡(luò)模塊的攝像頭，攝像頭實時捕捉多電表圖像；

網(wǎng)絡(luò)存儲模塊為FTP服務(wù)器，攝像頭網(wǎng)絡(luò)模塊將捕捉到的多電表圖像上傳至FTP服務(wù)器；

軟件處理模塊，對從網(wǎng)絡(luò)存儲模塊下載到的多電表圖像進行處理和識別；

其中，軟件處理模塊包括電表組分割單元、圖像預(yù)處理單元、圖像傾斜校正單元、圖像增強單元、字符區(qū)域定位單元、字符分割單元、圖像歸一化單元、字符特征提取單元以及BP神經(jīng)網(wǎng)絡(luò)識別單元；

電表組分割單元，采集電表組中每個電表工作狀態(tài)的圖像并保存，作為后續(xù)匹配的模板，采用基于NCC模板匹配方法在電表組目標(biāo)圖像中進行全局搜索，找到與模板匹配的電表并分割出來；

圖像傾斜校正單元，對數(shù)顯式儀表進行Canny邊緣檢測，采用霍夫變換法求出圖中最長直線及其斜率，計算出圖像傾斜角度，對其進行旋轉(zhuǎn)傾斜校正；

圖像增強單元，對電表前20％像素進行增強而對其他的像素進行抑制；

字符區(qū)域定位單元，選用區(qū)域的最大梯度差MGD大于閾值的次數(shù)統(tǒng)計確定字符區(qū)域；

字符分割單元，對電表進行雙向投影，從左向右定位出每個字符的起始和結(jié)束位置，并切割出來，通過垂直切割和水平切割得到字符的精確位置；

字符特征提取單元，采用局部統(tǒng)計特征的粗網(wǎng)格描述字符進行特征提?。?/p>

BP神經(jīng)網(wǎng)絡(luò)識別單元，采用具有在線訓(xùn)練功能的基于BP神經(jīng)網(wǎng)絡(luò)的識別方法識別字符。

進一步地，所述圖像預(yù)處理單元包括灰度化處理單元、二值化處理單元以及形態(tài)學(xué)處理單元；

其中，灰度化處理單元，采用對RGB三分量進行加權(quán)平均得到較合理的灰度圖像；

形態(tài)學(xué)處理單元，處理圖像中目標(biāo)區(qū)域的邊緣，消除字符之間的黏連和椒鹽噪聲,使得前景圖像區(qū)域變小，前景圖像內(nèi)部的背景區(qū)域被放大；

二值化處理單元，采用最大類間方差法Otsu實現(xiàn)二值化，將要識別的目標(biāo)和圖像的背景區(qū)分開來。

為實現(xiàn)上述目的，本發(fā)明還提供一種用于基于機器視覺的多表字符識別系統(tǒng)的方法，該方法包括以下步驟：

(1)圖像采集；

將帶有網(wǎng)絡(luò)模塊的攝像頭安置在待測電表組前適當(dāng)范圍，進行多電表圖像的實時捕捉；

(2)圖像上傳；

攝像頭網(wǎng)絡(luò)模塊將捕捉到的多電表圖像上傳至FTP服務(wù)器；

(3)軟件處理；

對從網(wǎng)絡(luò)存儲模塊下載到的多電表圖像進行處理和識別，最后將電表識別結(jié)果以.txt文本格式保存到本地PC指定盤，并以Excel表格形式導(dǎo)出。

進一步地，步驟(3)中對圖像處理和識別包括以下步驟：

1)電表組分割；

現(xiàn)場電表安裝無規(guī)律，攝像機一次拍攝的電表數(shù)量多且位置不統(tǒng)一，所以需要將每塊電表快速分割定位并進行實時識別；電表組通過模板匹配進行分割；先采集電表組中每個電表工作狀態(tài)的圖像并保存，作為后續(xù)匹配的模板，采用基于NCC模板匹配方法在電表組目標(biāo)圖像中進行全局搜索，找到與模板匹配的電表并分割出來；

而基于NCC模板匹配方法，其步驟如下：

(1獲取模板像素并計算均值與標(biāo)準(zhǔn)方差、像素與均值diff數(shù)據(jù)樣本；

(2根據(jù)模板大小，在目標(biāo)圖像上從左到右，從上到下移動窗口，計算每移動一個像素之后窗口內(nèi)像素與模板像素的NCC值，與閾值比較，大于閾值則記錄位置；

(3根據(jù)得到位置信息，使用紅色矩形標(biāo)記出模板匹配識別結(jié)果；

(4系統(tǒng)顯示分割結(jié)果。

NCC計算公式為：其中，表示像素點p的灰度值，μ表示窗口所有像素平均值，σ表示標(biāo)準(zhǔn)方差，g表示模板像素值，m表示模板的像素總數(shù)，m－1表示自由度。

2)圖像預(yù)處理；

預(yù)處理過程包括灰度化、二值化和形態(tài)學(xué)處理；灰度化采用對RGB三分量進行加權(quán)平均得到較合理的灰度圖像；采用腐蝕等形態(tài)學(xué)處理圖像中目標(biāo)區(qū)域的邊緣，消除字符之間的黏連和椒鹽噪聲，使得前景圖像區(qū)域變小，前景圖像內(nèi)部的背景區(qū)域被放大，利于字符的識別；采用最大類間方差法Otsu實現(xiàn)二值化，將要識別的目標(biāo)和圖像的背景區(qū)分開來；

3)圖像傾斜校正；

對數(shù)顯式儀表進行Canny邊緣檢測后，圖像中有明顯的直線信息，采用霍夫變換法求出圖中最長直線及其斜率，設(shè)直線公式為:y＝kx+b，式中：k為直線斜率，b為直線在y軸上的截距，其中直線的斜率定義為：直線與直角坐標(biāo)系正半軸方向夾角θ的正切值，其表達式為：k＝arctanθ，計算出圖像傾斜角度，對其進行旋轉(zhuǎn)傾斜校正；

4)圖像增強；

對電表前20％像素進行增強而對其他的像素進行抑制，到達增強目標(biāo)字符抑制背景的目的，便于后續(xù)操作。

5)字符區(qū)域定位；

由于字符區(qū)域和背景對比度強烈，其梯度值較大，選用區(qū)域的最大梯度差MGD大于閾值的次數(shù)統(tǒng)計確定字符區(qū)域；

6)字符分割；

字符區(qū)域通常由多個字符組成，因此需要把字符串分割為單個字符才能識別，本方案采用投影法對電表進行雙向投影，從左向右定位出每個字符的起始和結(jié)束位置，并切割出來，通過垂直切割和水平切割得到字符的精確位置；

7)圖像歸一化；

為了方便特征提取，把分割好的圖像歸一化到大小為15×21的圖像。

8)字符特征提?。?/p>

采用局部統(tǒng)計特征的粗網(wǎng)格描述字符進行特征提??；

9)BP神經(jīng)網(wǎng)絡(luò)識別；

采用具有在線訓(xùn)練功能的基于BP神經(jīng)網(wǎng)絡(luò)的識別方法識別字符。

本方案原理如下：

攝像頭實時捕捉電表組圖像，并通過裝在攝像頭上的網(wǎng)絡(luò)模塊將圖像上傳至FTP服務(wù)器；當(dāng)需要識別時，將多電表圖像從FTP云端下載至本地PC,接著應(yīng)用程序?qū)D像進行電表組分割、圖像預(yù)處理、圖像傾斜校正、圖像增強、字符區(qū)域定位、字符分割、圖像歸一化、字符特征提取、BP神經(jīng)網(wǎng)絡(luò)識別一系列的識別處理，最后將電表識別結(jié)果以.txt文本格式保存到本地PC指定盤，并以Excel表格形式導(dǎo)出。

與現(xiàn)有技術(shù)相比，本方案具有以下優(yōu)點及有益效果：

能同時識別多個電表圖像，大大節(jié)省人力資源和工作時間，通過使用FTP云端用以存儲電表圖像和電表識別數(shù)據(jù)，實現(xiàn)資源共享，并且解決了生產(chǎn)現(xiàn)場攝像頭實時采集的大量圖像和大量電表數(shù)據(jù)的存儲問題，釋放了PC內(nèi)存，提高了電表識別效率。

附圖說明

圖1為本發(fā)明系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明的多電表字符識別流程圖；

圖3為本發(fā)明中字符分割過程投影示意圖；

圖4為本發(fā)明中網(wǎng)格特征提取示意圖；

圖5為本發(fā)明中三層BP網(wǎng)絡(luò)結(jié)構(gòu)圖。

具體實施方式

下面結(jié)合具體實施例對本發(fā)明作進一步說明：

參見附圖1所示，本實施例所述的基于機器視覺的多表字符識別系統(tǒng)，包括圖像采集模塊1、網(wǎng)絡(luò)存儲模塊2以及軟件處理模塊3；其中，軟件處理模塊3包括電表組分割單元3-1、圖像預(yù)處理單元3-2、圖像傾斜校正單元3-3、圖像增強單元3-4、字符區(qū)域定位單元3-5、字符分割單元3-6、圖像歸一化單元3-7、字符特征提取單元3-8以及BP神經(jīng)網(wǎng)絡(luò)識別單元；圖像預(yù)處理單元3-2包括灰度化處理單元3-2-1、二值化處理單元3-2-2以及形態(tài)學(xué)處理單元3-2-3。

工作時，流程如圖2所示，圖像采集模塊1為帶有4G網(wǎng)絡(luò)模塊的攝像頭，實時捕捉多電表圖像，并將捕捉到的多電表圖像上傳至網(wǎng)絡(luò)存儲模塊2FTP服務(wù)器，需要識別時，從FTP服務(wù)器下載多電表圖像至軟件處理模塊3，具體的處理識別步驟如下：

電表組分割單元3-1處理：

電表組通過模板匹配進行分割；先采集電表組中每個電表工作狀態(tài)的圖像并保存，作為后續(xù)匹配的模板，采用基于NCC模板匹配方法在電表組目標(biāo)圖像中進行全局搜索，找到與模板匹配的電表并分割出來；

NCC取值范圍為[-1,1],目標(biāo)圖像即電表組圖像的每個像素點都可以看作是RGB數(shù)值,相當(dāng)于一個樣本數(shù)據(jù)的集合，模板圖像相當(dāng)于它的子集。當(dāng)模板與目標(biāo)圖像中另外一個樣本數(shù)據(jù)相互匹配則它的NCC值為1，表示相關(guān)性很高，如果是-1則表示完全不相關(guān)，基于這個原理，實現(xiàn)圖像基于模板匹配識別算法。首先對數(shù)據(jù)歸一化，公式為：其中f表示像素點p的灰度值，μ表示窗口所有像素平均值，σ表示標(biāo)準(zhǔn)方差，假設(shè)g表示模板像素值，則其中m表示模板的像素總數(shù)，m－1是自由度。

基于NCC模板匹配方法，其步驟如下：

(1獲取模板像素并計算均值與標(biāo)準(zhǔn)方差、像素與均值diff數(shù)據(jù)樣本；

(2根據(jù)模板大小，在目標(biāo)圖像上從左到右，從上到下移動窗口，計算每移動一個像素之后窗口內(nèi)像素與模板像素的NCC值，與閾值比較，大于閾值則記錄位置；

(3根據(jù)得到位置信息，使用紅色矩形標(biāo)記出模板匹配識別結(jié)果；

(4系統(tǒng)顯示分割結(jié)果。

灰度化處理單元3-2-1處理：

圖像灰度化處理，采用加權(quán)平均法：將圖像從RGB顏色空間轉(zhuǎn)化為HSI色彩空間，在HSI空間中I就是圖像的灰度值，H和S分別表示了圖像的色調(diào)和飽和度，RGB三分量映射到H分量的公式：

飽和度分量的公式為：

強度分量為：

將三個分量以不同的權(quán)值進行加權(quán)，得到從彩色圖像到灰度圖的轉(zhuǎn)換，公式為：I＝030R+0.59G+0.11B。

二值化處理單元3-2-2處理：

采用最大類間方差法，最大類間方差可根據(jù)圖像的灰度值選擇合適的閾值對圖像進行二值化處理，圖像像素分為目標(biāo)和背景兩類，定義類間方差g描述目標(biāo)和背景的差異，對于給定圖像，有合適的閾值使該圖像的類間方差g最大化，該閾值就為二值化的最佳閾值。其中ω₀和ω₁分別為前景和背景的比例，μ₀和μ₁分別為前景和背景像素的均值，μ為整個圖像的像素均值，g為要求的最大類間方差。

μ＝ω₀×μ₀+ω₁×μ₁

g＝ω₀(μ₀-μ)²+ω₁(μ₁-μ)²

g＝ω₀ω₁(μ₀-μ₁)²

形態(tài)學(xué)處理單元3-2-3處理：

采用腐蝕形態(tài)學(xué)處理圖像中目標(biāo)區(qū)域的邊緣，使得前景圖像區(qū)域變小，前景圖像內(nèi)部的背景區(qū)域被放大。

圖像傾斜校正單元3-3處理：

對數(shù)顯式儀表進行Canny邊緣檢測后，圖像中有明顯的直線信息，采用霍夫變換法求出圖中最長直線及其斜率，設(shè)直線公式為:y＝kx+b，式中：k為直線斜率，b為直線在y軸上的截距，其中直線的斜率定義為：直線與直角坐標(biāo)系正半軸方向夾角θ的正切值，其表達式為：k＝arctanθ，計算出圖像傾斜角度，對其進行旋轉(zhuǎn)傾斜校正；

圖像增強單元3-4處理：

對電表前20％像素進行增強而對其他的像素進行抑制，到達增強目標(biāo)字符抑制背景的目的，步驟如下：

首先統(tǒng)計圖片中像素的最大值，然后對所用的像素值進行降序排序，排序后20％那一點的值level，最后對圖像中每一點進行增強。

字符區(qū)域定位單元3-5處理：

從背景進入字符的梯度值Gin和從字符進入背景的梯度值Gout符號剛好相反，梯度的絕對值接近相等。在字符的附近選取某一區(qū)域，求得區(qū)域的最大梯度值Gmax和最小梯度值Gmin，則該區(qū)域的最大梯度差MGD，即為：

MGD＝Gmax-Gmin

設(shè)定一個閾值，MGD大于閾值的可能是字符行或列。由于噪聲干擾的存在，非字符圖像有時也存在個別MGD大于閾值的情況。因此，選用MGD大于閾值的次數(shù)統(tǒng)計確定字符區(qū)域，此方法可對字符區(qū)域準(zhǔn)確定位。

字符分割單元3-6處理：

由于字符區(qū)域彩色像素點較多，多聚集在一起；字符與字符之間有一定空隙，這些空隙多是像素值為0的背景像素。根據(jù)這個特點，對電表字段區(qū)域做垂直投影；數(shù)字區(qū)域?qū)?yīng)的投影有明顯峰值，以此為判斷條件實現(xiàn)垂直分割；對垂直分割后的每個數(shù)字做水平投影，根據(jù)水平投影對實現(xiàn)單個數(shù)字的水平分割。通過垂直切割和水平切割后就得到了字符的精確位置。

原理如下：

投影如圖3所示，圖像函數(shù)為f(x，y),a為投影方向，b為與其垂直的方向，b與x軸夾角為θ,則f(x，y)沿著a的定義為：

當(dāng)固定θ時，p(b，θ)是b的函數(shù)，是一個一維波形。改變θ,可得到不同方向上的f(x，y)的的投影。在x軸和y軸上的投影定義為Px，Py：

以x軸為投影軸，統(tǒng)計與x軸正交方向上所有圖像點的灰度值總和。投影直方圖可以非常直觀的反映圖像點相對于軸向的空間分布情況。對于大小為M*N的二值圖像f(x，y)，x軸的投影分布函數(shù)HX(x)為：

由于每個字符所在處都有黑色像素，而字符之間有一定的無黑色像素區(qū)。只要取x軸作為投影橫軸，垂直投影，以投影的黑色像素個數(shù)作為縱坐標(biāo)；再以y軸作為投影橫軸，水平投影，投影的黑色像素個數(shù)作為橫坐標(biāo)。通過此方法就可以得到投影圖，再根據(jù)投影圖即可把字符分割開來。

圖像歸一化單元3-7處理：

將分割圖像歸一化為15×21；

計算需要縮放的比例：

計算圖像縮放后的大?。?/p>

W＝W×scale

H＝H×scale

將縮放后的圖像放在中間，在該圖像上下左右補零至15×21；

字符特征提取單元3-8處理：

采用局部特征統(tǒng)計特征的粗網(wǎng)格進行特征提取。方法為：用OTSU方法將歸一化后數(shù)字圖像二值化，然后把圖像分成幾個局部小區(qū)域，并把每個小區(qū)域上的字符像素密度作為描述特征,即統(tǒng)計每個小區(qū)域中圖像像素所占的百分比。針對大小為15×21的圖像，劃分為多個3×5的小區(qū)域，共15個。分別求得每個小方格內(nèi)黑色像素的個數(shù)占這個小方格內(nèi)總像素的百分比，形成一個3×5的矩陣，依次取每行元素轉(zhuǎn)化為1×15的矩陣，作為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。

依次處理數(shù)字0到9，作為字符識別的特征，如圖4所示。

BP神經(jīng)網(wǎng)絡(luò)識別單元3-9處理：

建立三層網(wǎng)絡(luò)，由于輸入是提取的每個數(shù)字的特征，共有15個數(shù)據(jù)，輸出的對應(yīng)的是0到9共十個數(shù)字，所以輸入層和輸出層神經(jīng)元節(jié)點數(shù)分別為15和10。采用一般的經(jīng)驗公式(hide表示隱含層個數(shù)，m和n分別為輸入層和輸出層節(jié)點數(shù)，a取1-10的常數(shù))來確定隱層節(jié)點層數(shù)，經(jīng)過多次試驗確定最終的隱層節(jié)點層數(shù)為15：通過試驗驗證，當(dāng)隱含層達到15個節(jié)點數(shù)時，系統(tǒng)的訓(xùn)練和誤差都達到理想的狀況，所以網(wǎng)絡(luò)的輸入層、隱含層和輸出層神經(jīng)元節(jié)點數(shù)分別為15、15和10。取了O至9共十個數(shù)字作為待識別數(shù)，每個數(shù)字取10個樣本進行訓(xùn)練，共有100個訓(xùn)練樣本，另取10個樣本作為識別樣本。當(dāng)輸入圖像0～9后，在輸出神經(jīng)元對應(yīng)的位置上為1，其他的位置為O；輸入數(shù)字0，第一個輸出神經(jīng)元為l，其他為0；輸入數(shù)字1，第二個輸出神經(jīng)元為1，其他為O：依此類推。識別時，如果某個輸出神經(jīng)元的權(quán)值大于等于0.8，則認(rèn)為該數(shù)字圖像為對應(yīng)的數(shù)字。如果所有的輸出神經(jīng)元的權(quán)值都小于0.8，則系統(tǒng)認(rèn)為無法識別，如圖5所示。

最后將電表識別結(jié)果以.txt文本格式保存到本地PC指定盤，并以Excel表格形式導(dǎo)出。

本實施例通過一系列操縱對電表組處理識別，一次可同時識別20-30個電表。使用FTP服務(wù)器存儲電表圖像和電表識別數(shù)據(jù)，實現(xiàn)資源共享的同時解決了生產(chǎn)現(xiàn)場攝像頭實時采集的大量電表圖像和大量電表數(shù)據(jù)的存儲問題，釋放了PC內(nèi)存，提高了電表識別效率。通過現(xiàn)場測試，字符的識別率可達98％，平均每幅圖像的識別時間在10ms以內(nèi)。該系統(tǒng)具有識別速度快，抗干擾能力強，正確率高的優(yōu)勢，在保證識別正確率的前提下，大大提高了效率，時間僅為同等數(shù)量單表識別的1/10。并且，該系統(tǒng)針對不同型號不規(guī)則放置的多表識別同樣適用。

以上所述之實施例子只為本發(fā)明之較佳實施例，并非以此限制本發(fā)明的實施范圍，故凡依本發(fā)明之形狀、原理所作的變化，均應(yīng)涵蓋在本發(fā)明的保護范圍內(nèi)。