專利名稱：圖像處理方法和設備以及存儲媒體的制作方法
技術(shù)領域：
本發(fā)明涉及OCR(光學字符識別)設備、復印機、傳真機之類的圖像處理設備，具體地說，涉及能從含有表格圖像的輸入圖像中正確提取字符的圖像處理方法和設備以及存儲媒體。
本發(fā)明還涉及能在從一個輸入表格圖像中提取字符圖像時鑒別這個輸入表格的格式從而正確提取字符圖像的圖像處理方法和設備以及存儲媒體。
本發(fā)明還涉及能自動鑒別輸入圖像中所含的表格圖像的特征而不需要由用戶人工指定的圖像處理方法和設備以及存儲媒體。
具有自動區(qū)域劃分功能的OCR設備執(zhí)行一系列處理過程，自動將一個被表格線(rule)包圍的圖像鑒別為一個表格圖像，而將一個表格中的表格線包圍的各小區(qū)分別提取出來作為相應的字符區(qū)。
在對字符進行了識別后，通過在由字符區(qū)中識別得到的字符串之間插入一個制表鍵代碼(tab code)，而在行之間插入一個換行鍵代碼(return code)，就將從表格圖象中提取的小區(qū)的信息在完成字符識別后反映為資料文本數(shù)據(jù)，從而使數(shù)據(jù)可很方便地提供給表格計算軟件或其他類似軟件。
然而，按照上述傳統(tǒng)技術(shù)，當用作字符識別目標的表格圖像是一個如圖7所示那樣的沒有橫分項表格線的表格時，由于在垂直方向所列的一系列項是作為一個字符區(qū)鑒別的，從而得到形式上與輸入表格不同的資料文本，需要操作人員校正為輸入表格的形式，因此增加了操作人員的負擔。
按照如上所述的本發(fā)明，從圖像信息中提取行式圖像(lineimage)，根據(jù)所提取的行式圖像的特性鑒別圖像信息的特征，然后將所鑒別的特征與圖像信息對應存儲起來，使得表格特征指明所輸入的表格圖象是一個具有橫分項表格線的表格還是一個沒有橫分項表格線的表格而不需要由操作人員人工指定，因此可以自動鑒別表格特征，從而改善了操作性能。
按照上述本發(fā)明，通過將圖像信息設置為被分項表格線包圍的圖像信息，可以自動鑒別在被分項表格線包圍的一個小區(qū)中所列的各項。
按照上述本發(fā)明，通過將圖像信息設置為光學讀出的圖像信息，可以自動處理光學讀出的圖像，而不需要對鍵之類進行操作。
按照上述本發(fā)明，通過對行式圖像進行字符識別和將一個行定界符代碼與字符識別結(jié)果一起輸出，使得表格形式即使在由字符識別形成資料文本后仍能保持不變。
按照上述本發(fā)明，通過按照輸出的信息顯示資料文本，可以在顯示器的顯示屏幕上確認輸入圖像字符識別結(jié)果和表格形式。
按照上述本發(fā)明，將輸入圖像劃分為一些被表格線包圍的小圖像區(qū)，從所劃分的這些小圖像區(qū)圖像信息中分別提取相應的行式圖像，再對輸入圖像信息中所包含的這些行式圖像按照各行式圖像所在的小圖像區(qū)的位置關系和各行式圖像在相應小圖像區(qū)內(nèi)的位置關系進行排序，從而可以正確鑒別無橫分項表格線的特別表格的形式。
按照上述本發(fā)明，通過鑒別圖像信息的特征和按照特征鑒別裝置的鑒別結(jié)果確定是否執(zhí)行行式圖像提取，從而只在相應的情況下進行相應的處理，使得表格的形式即使在由字符識別形成資料文本后仍能保持不變。
在本說明的附圖中

圖1為一種圖像處理設備功能配備的方框圖；圖2為整個處理過程的流程圖；圖3為表格特征鑒別處理過程的流程圖；圖4為無橫分項表格線表格處理過程的流程圖；圖5為接受表格特征鑒別處理的表格圖像的示意圖；圖6為無橫分項表格線表格處理過程的示意圖；以及圖7為傳統(tǒng)的表格圖像處理過程的示意圖。
圖1為本發(fā)明所推出的圖像處理設備的一個實施例所配備的功能方框圖。輸入裝置101用來輸入作為字符識別的目標的圖像信息和操作人員所給出的各種指令。輸入裝置101具有一個鍵盤，可用來編輯文件之類。對于圖像信息輸入而言，圖像信息可以從一個光讀原件的掃描儀輸入，也可以通過存儲裝置或通信裝置輸入已經(jīng)光讀好的圖像信息。處理器(CPU)102用來執(zhí)行對設備和算術(shù)運算的控制，以及按照下面將要說明的流程控制程序執(zhí)行對每個處理裝置的控制。存儲器103用來存儲使處理器102執(zhí)行下面將予以說明的流程所示處理過程的控制程序，以及在各處理過程中使用的數(shù)據(jù)或在各處理過程中產(chǎn)生的數(shù)據(jù)。作為儲存在存儲器103中的本發(fā)明處理過程的控制程序，可以使用存儲在可從設備卸下的諸如FD或CD-ROM那樣的存儲媒體上的控制程序，或者，使用由另一個終端通過通信線路提供而存儲起來的控制程序。輸出裝置104用來輸出算術(shù)運算處理結(jié)果，圖像處理結(jié)果，以及圖像數(shù)據(jù)。輸出裝置104包括諸如CRT、液晶顯示器之類的顯示器，諸如LBP、彩色噴墨打印機之類的打印機，以及向其他終端或外部存儲裝置提供輸出的輸出端。排序裝置105用來對圖像信息中所包含的句子段落和標題進行排序。區(qū)域劃分器106用來執(zhí)行對圖像信息的區(qū)域劃分處理。表格特征鑒別器107通過對圖象信息中所包含的表格圖像的特征進行檢測和分析，自動鑒別表格圖像的特征。表格處理器108執(zhí)行從圖像信息中所包含的表格圖像中提取表格格式從而形成資料文本的處理。字符識別器109用來從圖像信息中提取字符圖像，再對所提取的字符圖像進行識別。
圖2為從輸入裝置101輸入一個圖像起，到字符識別和產(chǎn)生作為資料文本數(shù)據(jù)從輸出裝置104輸出的這段時間內(nèi)所執(zhí)行的整個處理過程的流程圖?？刂瞥绦蛞汛鎯υ诖鎯ζ?03內(nèi)，在處理器102的控制下執(zhí)行。
圖像信息從輸入裝置101輸入(S201)。所輸入的圖像信息也可以通過輸出裝置104中的顯示器顯示，由操作人員加以確認。區(qū)域劃分器106將所輸入的圖象劃分成區(qū)，提取諸如資料文本、分隔、圖形、表格之類的圖像數(shù)據(jù)區(qū)(S202)。所提取的圖像數(shù)據(jù)區(qū)的信息存入存儲器103。對于區(qū)域劃分的詳細方法，可參閱在日本專利申請No.4-243252中所揭示的技術(shù)或其他類似的技術(shù)。作為區(qū)域劃分的結(jié)果，如果所輸入的圖像中有一個表格圖像(即S203的判斷為“是”)，則進入步驟S204，執(zhí)行自動鑒別這個表格圖像的特征的處理過程(S204)。表格圖像特征的自動鑒別過程詳細地示于圖3所示的流程圖，這在下面將進一步予以說明。作為在步驟S204執(zhí)行表格特征鑒別的結(jié)果，如果表格圖象是一個無橫分項表格線表格(即S205的判斷為“是”)，則進至步驟S206，執(zhí)行無橫分項表格線表格的表格處理過程。在步驟S206執(zhí)行的無橫分項表格線表格的表格處理過程是以字符(相當于小區(qū))為單位進行提取，再以所提取的字符組為單位進行排序，以便保持無橫分項表格線表格圖象的表格格式形成資料文本，這在下面還要結(jié)合圖4所示流程圖進行詳細說明。作為在步驟S204執(zhí)行表格特征鑒別的結(jié)果，如果表格圖象是一個帶橫分項表格線表格(即S205的判斷為“否”)，則進至步驟S209，執(zhí)行帶橫分項表格線表格的表格處理過程。在步驟S209執(zhí)行的帶橫分項表格線表格的表格處理過程是提取小區(qū)，再對所提取的這些小區(qū)進行排序，以便保持表格格式形成資料文本。在排序處理過程中，按照從左到右、從上到下的次序進行編號。次序在這種情況下與圖4流程圖的步驟S402中的相同，這在下面將要予以說明。
當在步驟S203確定沒有表格時，或者在步驟S206或S209中的處理過程結(jié)束時，進至步驟S207，排序裝置105對由輸入圖像中除去表格圖像后的句子部分構(gòu)成的各標題和主體段落進行排序。在排序時，例如在句子是垂直書寫的情況下，從右到左進行排序。對于垂直方向，方式與前面類似，從上到下進行排序。
在步驟S208，由字符識別器109執(zhí)行字符識別處理，字符串按照在步驟S206、S209和S207中所安排的次序輸出，從而結(jié)束了對輸入圖像形成資料文本的處理。對于在表格圖象中的字符的輸出來說，在小區(qū)之間插入一個制表鍵代碼，作為指示小區(qū)分界的代碼；在行之間插入一個換行鍵代碼，作為指示行分界的代碼。
如上所述，通過執(zhí)行圖2這個流程圖所示的處理過程，即使是在輸入圖像中含有無橫分項表格線表格，由于無橫分項表格線表格自動得到鑒別而無需人工干預，因此仍能保持這種表格的表格格式，形成資料文本。
現(xiàn)在結(jié)合圖3這個流程圖說明在步驟S204中由表格特征鑒別器107執(zhí)行的表格特征自動鑒別處理過程。在這個處理過程中的目標是由步驟S202的區(qū)域劃分處理過程確定為表格圖像的這個區(qū)域中的圖像，如圖5所例示。
首先提取表格圖像50中由表格線包圍的各個小區(qū)(即小區(qū)1至4)，對每個小區(qū)中的字符行一一進行計數(shù)(S301)。例如，小區(qū)1至3每個都有6行，而小區(qū)4有2行。然后，對于在步驟S301所提取的各小區(qū)，執(zhí)行步驟S302和S303的相繼鑒別處理過程。在步驟S302執(zhí)行的是鑒別在步驟S301所計得的行數(shù)是否等于或大于3的過程。在步驟303執(zhí)行的是鑒別小區(qū)中一個字符圖像的高度a與在字符圖像的垂直字符方向上的間隔b之間的關系是否滿足b＞3a的過程。如果有一個小區(qū)，使得步驟S302或S303的判斷為“是”，則這樣一個小區(qū)的表格圖像就判定為無橫分項表格線表格，于是除了儲存在存儲器103的表格圖像的區(qū)域信息還將無橫分項表格線表格的特征存儲起來(S304)。對于作為目標的表格圖像的所有小區(qū)，如果步驟S302和S303的判斷都是“否”，則這個表格圖像就判定為有橫分項表格線表格，于是除了儲存在存儲器103的表格圖像的區(qū)域信息，還將有橫分項表格線表格的特征存儲起來以圖5所示的表格圖像為例，由于在步驟S302確定小區(qū)1至3每個的行數(shù)都滿足等于或大于3，而在小區(qū)4中的兩行之間的間隔6滿足b＞3a，因此無橫分項表格線表格的特征在步驟S304存入存儲器103。
通過執(zhí)行圖3所示流程圖的處理過程，輸入圖像中所包含的表格圖像是一個無橫分項表格線表格圖像還是一個有橫分項表格線表格圖像就能自動地加以鑒別，而不需要由操作人員人工指定。
下面結(jié)合圖4所示流程圖說明在步驟S206中由表格處理器108執(zhí)行的無橫分項表格線表格的處理過程。在這個處理過程中的目標是由步驟S202的區(qū)域劃分處理過程確定為一個表格圖像的這個區(qū)域內(nèi)的圖像，如圖6中所例示的表格圖像60。
從表格圖像60中所提取的小區(qū)1至3每個都以行為單位劃分成塊(S401)。小區(qū)1劃分為5個行塊，小區(qū)2和3每個也同樣劃分為5個行塊。然后，對在步驟S401中所劃分出的各行塊進行排序(S402)。排序是從左到右再從上到下進行。因此，排序處理過程執(zhí)行成小區(qū)1的最上面的塊編為序號(1)，小區(qū)2最上面的塊編為(2)，小區(qū)3最上面的塊編為(3)。由于在橫方向小區(qū)3是最后一個小區(qū)，因此對下一行的塊繼續(xù)排序小區(qū)1的上面第二塊編為(4)，小區(qū)2的上面第二塊編為(5)…。這樣的次序信息與相應的塊信息一起存入存儲器103。
如上面所提到的那樣，由于在無橫分項表格線表格的情況下通過以行為單位提取各塊將一個小區(qū)內(nèi)的各項劃分開來后進行排序，方式與對每個小區(qū)進行字符串提取、排序的有橫分項表格線表格的情況相同，然后再按照所排的次序形成資料文本，使得表格格式能保持不變。
權(quán)利要求
1.一種圖像處理設備，其特征是所述設備包括行式圖像提取裝置，用來從圖像信息中提取各行式圖像；特征鑒別裝置，用來按照所述被提取的各行式圖像的特性鑒別所述圖像信息的特征；以及存儲裝置，用來儲存所述被鑒別的特征，使之與所述圖像信息對應。
2.一種在權(quán)利要求1中所提出的設備，其中所述特征鑒別裝置按照從被表格線包圍的一個區(qū)域的圖像信息中所提取的各行式圖像的特性鑒別被所述這些表格線包圍的這個區(qū)域的所述圖像信息的特征。
3.一種在權(quán)利要求1中所提出的設備，其中所述特征鑒別裝置對所述被提取的各行式圖像是否已被一些線段劃分進行鑒別。
4.一種在權(quán)利要求1中所提出的設備，其中所述特征鑒別裝置按照所述被提取的各行式圖像的特性對從中提取所述各行式圖像的所述圖像信息是否為一個含有橫分項表格線的圖像進行鑒別。
5.一種在權(quán)利要求1中所提出的設備，其特征是所述設備還包括行劃分信息添加控制裝置，用來按照由所述特征鑒別裝置得出的結(jié)果使所述被提取的一個行的每個行式圖像加上或不加行劃分信息。
6.一種在權(quán)利要求1中所提出的設備，其特征是所述設備還包括鑒別裝置，用來對所述圖像信息是否為含有表格線的圖像信息進行鑒別，而在所述鑒別裝置鑒定所述圖像信息是含有表格線時，所述特征鑒別裝置就執(zhí)行特征鑒別處理過程。
7.一種在權(quán)利要求1中所提出的設備，其特征是所述設備還包括小區(qū)提取裝置，用來從輸入圖像信息中提取被表格線包圍的小區(qū)，其中各行式圖像是由所述行式圖像提取裝置從所述小區(qū)提取裝置所提取的小區(qū)的圖像信息中提取的；以及次序確定裝置，用來按照由所述小區(qū)提取裝置提取的各小區(qū)的相互位置關系和由所述行式圖像提取裝置提取的各行式圖像的相互位置關系確定從所述輸入圖像中提取的各行式圖像的讀出次序。
8.一種在權(quán)利要求5中所提出的設備，其特征是所述設備還包括識別裝置，用來識別由所述行式圖像提取裝置提取的各行式圖像中的字符；以及輸出裝置，用來將加在與由所述行劃分信息添加控制裝置添加的行劃分信息相應的位置上的行定界符代碼連同所述字符識別裝置所得的字符代碼一起輸出。
9.一種在權(quán)利要求8中所提出的設備，其特征是所述設備還包括顯示裝置，用來顯示與要輸出的所述各代碼相應的模式。
10.一種在權(quán)利要求1中所提出的設備，其中所述圖像信息是光讀的圖像信息。
11.一種圖像處理方法，其特征是所述方法包括下列步驟從圖像信息中提取各行式圖像；按照所述被提取的各行式圖像的特性鑒別所述圖像信息的特征；以及存儲所述被鑒別的特征，使之與所述圖像信息對應。
12.一種在權(quán)利要求11中所提出的方法，其中在所述特征鑒別步驟，按照從被表格線包圍的一個區(qū)域的圖像信息中所提取的各行式圖像的特性鑒別被所述這些表格線包圍的這個區(qū)域的所述圖像信息的特征。
13.一種在權(quán)利要求11中所提出的方法，其中在所述特征鑒別步驟，對所述被提取的各行式圖像是否已被一些線段劃分進行鑒別。
14.一種在權(quán)利要求11中所提出的方法，其中在所述特征鑒別步驟，按照所述被提取的各行式圖像的特性對從中提取所述各行式圖像的所述圖像信息是否為一個含有橫分項表格線的圖像進行鑒別。
15.一種在權(quán)利要求11中所提出的方法，其特征是所述方法還包括一個控制步驟，按照所述特征鑒別所得的結(jié)果使所述被提取的一個行中的每個行式圖像加上或不加行劃分信息。
16.一種在權(quán)利要求11中所提出的方法，其特征是所述方法還包括下列步驟鑒別所述圖像信息是否為含有表格線的圖象信息；以及如果所述鑒別步驟確定所述圖象信息是含有表格線，則執(zhí)行所述特征鑒別步驟。
17.一種在權(quán)利要求11中所提出的方法，其特征是所述方法還包括下列步驟從輸入圖象信息中提取被表格線包圍的小區(qū)；從所述被提取的小區(qū)的圖像信息中提取所述各行式圖像；以及按照所述被提取的各小區(qū)的相互位置關系和所述被提取的各行式圖象的相互位置關系確定從所述輸入圖像中提取的各行式圖像的讀出次序。
18.一種在權(quán)利要求15中所提出的方法，其特征是所述方法還包括下列步驟識別所述被提取的各行式圖像中的字符；將加在與由所述行劃分信息添加控制步驟添加的行劃分信息相應的位置上的行定界符代碼連同所述字符識別步驟所得的字符代碼一起輸出。
19.一種在權(quán)利要求18中所提出的方法，其特征是所述方法還包括顯示與輸出到顯示裝置的所述各代碼相應的模式這一步驟。
20.一種在權(quán)利要求11中所提出的方法，其特征是所述圖像信息是光讀的圖像信息。
21.一種存有控制圖像處理設備的程序的存儲媒體，其特征是所述存儲媒體所存的程序包括下列程序步從圖像信息中提取各行式圖像；按照所述被提取的各行式圖像的特性鑒別所述圖像信息的特征；以及儲存所述被鑒別的特征，使之與所述圖像信息對應。
全文摘要
本發(fā)明的目的是正確識別圖像信息中的各字符串之間的分界，即不僅要正確識別和提取每一列被橫分項表格線劃分了的圖像，而且還要正確識別和提取每一列沒有被橫分項表格線劃分的圖像。為此，本發(fā)明首先按照從圖像信息中提取的各行式圖像的特性對有關從圖像信息中提取的表格圖像是否為一個無橫分項表格線表格的特征加以鑒別。按照被鑒別的特征，確定被提取的每個行式圖像是否要添加行分界信息，從而保持了正確的表格格式。
文檔編號G06K9/20GK1158044SQ9611979
公開日1997年8月27日 申請日期1996年12月13日 優(yōu)先權(quán)日1995年12月14日
發(fā)明者手塚信彥 申請人:佳能株式會社