專利名稱：一種文本圖像處理方法
技術領域：
本發(fā)明涉及圖像處理，具體涉及一種文本圖像處理方法。
背景技術：
傳統(tǒng)的光學字符識別(OCR)系統(tǒng)一般是通過靜態(tài)掃描獲得整幅文檔的圖像，并借 助計算機強大的存儲和處理能力對圖像進行預處理和文本分離等操作，最后由識別程序完 成對文字或字符的識別。而手持掃描設備是在內部集成小體積掃描傳感器，決定了其掃描 方式只能是移動掃描。所謂移動掃描，是指因為不能同時獲得整幅文檔的有效圖像，只能 由使用者通過手持的方式對文檔從左至右逐行逐字進行掃描，得到的不是整幅圖像，而是 局部圖像的幀序列。由于手的抖動等影響，移動掃描得到的圖像會產(chǎn)生傾斜、尺度變化等變 形，單幀圖像中能存在多行文字，等等。因此，傳統(tǒng)的OCR識別系統(tǒng)無法直接適用移動掃描。

發(fā)明內容
本發(fā)明需要解決的技術問題是，如何提供一種文本圖像處理方法，能去除移動掃 描的影響，使處理后的文本圖像滿足OCR識別需要。
本發(fā)明的技術問題這樣解決構建一種圖像傳感同步方法，包括以下步驟
1. 1)幀間配準與拼接基于最大互信息配準并拼接移動掃描的圖像；
1. 2) 二值化使用閾值將圖像分成對象和背景； 1. 3)傾斜校正基于文本行或線條測量圖像傾斜角度并對圖像進行旋轉校正。
按照本發(fā)明提供的圖像傳感同步方法，該方法還包括平滑去噪步驟根據(jù)噪聲與 文本圖像區(qū)別特征去除對象中與文本不相干的內容，用于去除掃描圖像中原始噪聲。
按照本發(fā)明提供的圖像傳感同步方法，所述平滑去噪步驟位于步驟1. 2) 1. 3) 之間。 按照本發(fā)明提供的圖像傳感同步方法，所述平滑去噪步驟位于步驟1. 3)之后。
按照本發(fā)明提供的圖像傳感同步方法，該方法還包括行切分步驟結合所述傾斜 角度識別行間距并切分文本行。 按照本發(fā)明提供的圖像傳感同步方法，所述行切分還包括根據(jù)連續(xù)非零像素段、 連續(xù)零像素段相互交迭的規(guī)律等因素進行切分。 本發(fā)明提供的文本圖像處理方法，采用二值化、傾斜校正、平滑去噪、文本行分離、 規(guī)一化處理進行圖像處理，有效抵消了移動掃描產(chǎn)生的圖像傾斜、尺度變化等變形和單幀 圖像中能存在多行文字的不利影響，滿足了移動掃描后OCR文字識別的要求。


下面結合附圖和具體實施例進一步對本發(fā)明進行詳細說明。
圖1是本發(fā)明具體實施例手持移動掃描設備的軟件流程示意圖。
具體實施例方式
如圖1所示，本發(fā)明具體實施例的手持掃描設備軟件流程包括接觸式圖像傳感器(CIS)輸入數(shù)據(jù)、圖像處理和OCR識別，其中圖像處理可以細分為二值化、傾斜校正、平滑去噪、文本行分離、規(guī)一化處理等五個步驟，具體如下
幀間配準與拼接 根據(jù)攝像頭接口 (CM)取得NXM個數(shù)據(jù)，每個中斷取得的M個數(shù)據(jù)進行匹配，然后在根據(jù)N個中斷拼接成一副掃描精度(DPI)是NXM的圖像。把一幅圖像看作是像素點的集合，圖像配準就是尋求一個點集到另一個點集之間的映射的過程，即找出兩幅圖像中具有相同性質的點，并計算其對應的變換關系。這種變換可以是簡單的剛體變換(即圖像之間只存在旋轉和平移)，也可以是較復雜的彈性變換(圖像拉伸、縮放、扭曲變形等)。
基于統(tǒng)計的配準方法通常是指最大互信息MI (X， Y)的圖像配準方法，MI (X， Y)=H(X) +H(Y) -H(X， Y) 其中，X/Y代表參加配準的兩幅圖，H(X)/H(Y)是X/Y圖的熵，H(X， Y)是X圖和Y
圖的聯(lián)合熵。 為了使得衡量參量對兩圖重疊的大小具有不變性，我們改用歸一化互信息NMI :
NMI(X，Y) = (H(X)+H(Y))/H(X， Y)。 最終，我們選擇使得歸一化互信息NMI為最大的配準偏移量。
上述各熵計算如下 1假設兩圖都是W * H大小的。把兩圖的灰度值分為K個區(qū)間，即將其灰度值從原來的
區(qū)間，量化為[O，K-l]區(qū)間。 2形成一個統(tǒng)計二維量N，其大小是K * K的。初始化N[i， j]為0。 3對兩圖的重疊區(qū)域中的每個點，檢查其量化灰度值，假設X圖此點的量化灰度值
為a， Y圖對應點的量化灰度值為b，則讓N[a， b] = N[a， b]+l。如此，得到最終的N矩形的值。 4則計算各概率為 ，r (./) = Z尸i (" /) 5進而，根據(jù)傳統(tǒng)信息論，可以得到上述需要的各熵的值，從而可計算出歸一化互信息NMI。 該方法的突出優(yōu)點是魯棒性好、配準精度高、人工干預少?；诨バ畔⒌膱D像配準是用兩幅圖像的聯(lián)合概率分布與完全獨立時的概率分布的廣義距離來估計互信息，并作為多模態(tài)圖像配準的測度。當兩幅圖像達到最佳配準時，它們的對應象素的互信息應為最大。
傾斜檢測與校正 在文字圖像掃描輸入的過程中，圖像或多或少會出現(xiàn)某種程度的傾斜，這種傾斜不僅會給下一步文本行分離造成困難，也會影響最終的文字識別的正確率。所以，傾斜校正也是文字識別過程中必須要考慮的一個重要環(huán)節(jié)。通常情況下，應快速準確測量出掃描圖像的傾斜角度，從而對圖像進行旋轉校正。 檢測文本傾斜角的基本思路是，文本中任何水平方向和垂直方向的線條或者文字行的傾斜方向都與文本的傾斜方向保持一致，因此可以通過這些線條和文字行來估計文本的傾斜角度。
本機采用了基于文本行的文檔傾斜校正方法通常文本行是沿水平方向排列的，且相鄰文本行之間的距離相對固定，因此檢測頁面圖像的傾角不必對整個圖像進行掃描計算，選擇合適的文本子區(qū)域，其文本行的方向角對應于整個文檔圖像的傾斜角。具體采用Hough變換法和投影法檢測文本圖像的傾斜角，具體計算是
在二維圖像空間里，直線可表示為xcos e +ysin e = p ， 其中p禾p e為參數(shù)，定義了一個從原點到該直線最近點的向量(p ， e)，顯然這
個向量與該直線垂直。 實現(xiàn)Hough變換對文本圖像傾斜角檢測的算法，詳細描述如下。 1、在p， e合適的最大值Pmax， e隨和最小值Pmin， 9幽之間，建立一個離散的參數(shù)空間(p ， e)，其中p = {p」Pmin《Pi《Pmax，i《i《m}、 e =(e.|e.《e.《e ，i《i《n}。
L j I min \ j \ max賃丄 \ j \丄丄j o 2、建立一個累加器矩陣A(P ， 9)(大小為mXn)，并初始化每一個元素為k， k是
0-100常量。 3、對圖像中每一個目標像素(即二值化后圖像中的前景)(x，y)，對每一個9的取
值e j《n)，都計算Pi = xcose j+ysine j，相應累加器A(Pi， e j) =A(Pi， e》+1。4、先求』A) =2>(A，最后取腿x(A( 9 j))所對應的角度9 Dmax，即為Hough變
換算法檢測的文字圖像的傾斜角。
二值化 圖像的二值化處理就是把掃描圖像分成對象和背景兩個區(qū)域，求其閾值，去掉不必要的噪聲和干擾。因此可以說，二值化的過程，就是閾值選取的過程。 閾值是把背景和前景區(qū)分開的標尺，其選取的原則是，要在盡可能保存文字信息的同時又盡可能地削除噪聲的干擾。本機采用二維0tsu 二值化法進行二值化處理CIS部分得到的數(shù)據(jù)，具體計算是 設一幅圖像的像素點數(shù)為N，它有L個灰度級(1，2， . . . ， L-l)，灰度級為i的像素
點數(shù)為ni，且有A,^f。利用N對圖像直方圖進行歸一化，可以得到灰度級為i的像素點
11
的概率具=# 假設閾值t將圖像分成兩類C。和Q(物體和背景)，即C。和Q分別對應具有灰度級{0，1， ... ， t}和{t+l， t+2， ， L-l}的像素，C0和Q發(fā)生的概率分別為w^ =^>,、
/ 1
^ ， co和ci類的均值分別為&w 、 《r—，其中
<formula>formula see original document page 5</formula> (r) = E執(zhí)、Mr = H >,，這樣就有




取大值時所對應的t (1《t < L)，即
{1fDW0 + Will, = Wr W0 + W〗=1 ，
兩類的類間方差為 o B2 = w0 (u0-uT) 2+w丄(u「Ut) 2 。
最佳閾值t'是指讓類間方差o
平滑去噪
經(jīng)過傾斜校正后的文字圖像會附加一定的噪聲，這種噪聲主要表現(xiàn)為斑點和空 洞。其中斑點指的是圖像背景中的污點、毛剌之類的與文本圖中的文本不相干的內容，一般
相對筆劃而言較小，成點狀。而所謂空洞指的是文字筆劃中的小的像素缺失，一般被o像素
(即黑像素)包圍。應用的算法可以是鄰域相關法、均值濾波法以及形態(tài)學的方法等。
>鄰域相關法。 鄰域相關法是指根據(jù)當前像素點一定窗口內的鄰域像素點的特性來判斷該像素 點是否為背景點。例如，選定3X3的輔助窗對圖像進行掃描，對圖像中各點進行如下處理
(1)對于背景點，若其四鄰域有三個點為筆劃點，則將它設為筆劃點。這一步主要 目的是消除空洞。 (2)對于筆劃點，則分三種情況討論若其四鄰域點都是背景點，且對角線四個點 有任意兩個同一邊的點(即同在該點的左邊、右邊，或同在該點的上方、下方)，則設該點為 背景點，這一步的目的是消除獨立的噪聲點；如果該筆劃點的八個鄰邊只有一個是目標像 素，證明這一點是懸空點，必須清除；如果該點的四個方向中只有一個方向的三個像素全為 目標點，而其他方向全是背景點，說明該點為凸點噪聲，也必須清除。
>均值濾波法。 均值濾波法的原理是采用如下式所示的平滑模板H對圖像進行平滑處理。
—1 1 1—
，0 < n《1000
好=丄
1 1 1 其作用是通過像素點與其鄰域點的均值運算(通常為平均運算)來去除突然變化 的點，從而達到消除一定噪聲的目的。
>形態(tài)學方法 形態(tài)學運算中，開啟運算通過消除邊緣的突起而使圖像的邊界得以平滑，而閉合 運算則是通過先膨脹后腐蝕的處理方法來填充圖像內部空隙并連接臨近的物體。因此，通 過一次開啟和閉合運算，就可以消除二值圖中的隨機噪聲。
行切分 經(jīng)掃描得到的文本圖像中可能包含若干行文字，一般情況下，圖像的中間部分質 量比較好，而兩端部分有可能形變比較大，不利于后續(xù)處理，因此要對圖像進行行切分，稱 為行分離。
對二值圖像的行切分過程可以描述為對于糾偏后的二值圖像，統(tǒng)計水平方向每
6行中的前景點數(shù)量，生成投影曲線。由于文本行與行之間存在明顯的間距，得到的投影曲線 必定是連續(xù)非零像素段、連續(xù)零像素段相互交迭，其中非零像素段表示文本行，零像素段表 示行間距。找出靠近圖像正中間的行并進行切分，切分出了我們感興趣的行。
圖像規(guī)格化處理 在移動掃描的過程中，由于手的抖動，掃描得到的圖像容易產(chǎn)生變形，導致連續(xù)兩 幀圖像中文字的字體大小產(chǎn)生變化，從而使切分出來的文字行圖像規(guī)格不一樣(指圖像產(chǎn) 生了縮放)。為了便于下一步進行文字行圖像的配準和拼接，可把圖像規(guī)格化成相同大小。 可用插值法對圖像進行插值放大或縮小，以保證所有切分出的文本行圖像高度一致，本機 采用雙線性插值把源圖像變化為目標圖像，具體是設f(i， j)表示源圖像(i， j)處的的 像素值，則可用源圖像中坐標為(i， j)、 (i + l， j)、 (i， j + l)、 (i + l， j + l)的四個像素的值， 計算目標像素點的值。先通過從目標圖像坐標到源圖像坐標的反向變換，得到目標圖像中 的某點，在源圖像中的坐標為(i+U， j+V)，其中i、 j均為非負整數(shù)，U、V為[O，l]區(qū)間的浮 點數(shù)，則目標圖像中此象素點的值，即取為f (i+u， j+v)，且f (i+u， j+v) = (l-u) (l-v)f (i， j) + (l-u)vf(i， j+l)+u(l-v)f(i+l， j)+uvf(i+l， j+l)。 以上所述僅為本發(fā)明的較佳實施例，凡依本發(fā)明權利要求范圍所做的均等變化與 修飾，皆應屬本發(fā)明權利要求的涵蓋范圍。
權利要求
一種圖像傳感同步方法，其特征在于，包括以下步驟1.1)基于最大互信息配準并拼接移動掃描的圖像；1.2)使用閾值將圖像分成對象和背景；1.3)基于文本行或線條測量圖像傾斜角度并對圖像進行旋轉校正。
2. 根據(jù)權利要求1所述圖像傳感同步方法，其特征在于，該方法還包括平滑去噪步驟 根據(jù)噪聲與文本圖像區(qū)別特征去除對象中與文本不相干的內容。
3. 根據(jù)權利要求1所述圖像傳感同步方法，其特征在于，所述平滑去噪步驟位于步驟 1. 2) 1. 3)之間。
4. 根據(jù)權利要求1所述圖像傳感同步方法，其特征在于，所述平滑去噪步驟位于步驟 1.3)之后。
5. 根據(jù)權利要求l所述圖像傳感同步方法，其特征在于，該方法還包括行切分步驟結合所述傾斜角度識別行間距并切分文本行。
6. 根據(jù)權利要求5所述圖像傳感同步方法，其特征在于，所述行切分包括根據(jù)連續(xù)非 零像素段、連續(xù)零像素段相互交迭的規(guī)律進行切分。
全文摘要
本發(fā)明涉及一種文本圖像處理方法包括基于最大互信息配準并拼接移動掃描的圖像；使用閾值將圖像分成對象和背景；基于文本行或線條測量圖像傾斜角度并對圖像進行旋轉校正。這種文本圖像處理方法，采用二值化、傾斜校正、平滑去噪、文本行分離、規(guī)一化處理進行圖像處理，有效抵消了移動掃描產(chǎn)生的圖像傾斜、尺度變化等變形以及單幀圖像中能存在多行文字的不利影響，滿足了移動掃描后OCR文字識別的要求。
文檔編號G06T7/00GK101697228SQ200910110509
公開日2010年4月21日 申請日期2009年10月15日 優(yōu)先權日2009年10月15日
發(fā)明者楊昊民, 邱光益 申請人:東莞市步步高教育電子產(chǎn)品有限公司;