本發(fā)明涉及人工智能領(lǐng)域，尤其涉及一種公式識別方法及系統(tǒng)和一種符號推理計算方法及系統(tǒng)。

背景技術(shù)：

隨著近幾年人工智能和在線教育的快速發(fā)展，人機友好的計算機輔助教學(xué)成為亟需探索的領(lǐng)域。數(shù)學(xué)作為從幼兒園(kindergarten，通常5-6歲)到十二年級(grade12，通常17-18歲)(kindergartenthroughtwelfthgrade，k12或k-12)階段重要的學(xué)科，受到了越來越多的廣泛關(guān)注。一般情況下，數(shù)學(xué)知識引擎需要用戶以規(guī)定的方法，以一種類似“編程語言”的格式輸入數(shù)據(jù)，引擎通過分析用戶的輸入，給出相應(yīng)的結(jié)果。由于這種數(shù)據(jù)輸入格式與日常生活中的習(xí)慣不同，因此，需要用戶花費大量的時間去學(xué)習(xí)和適應(yīng)，從而導(dǎo)致學(xué)習(xí)成本很高。

在相關(guān)技術(shù)中，mathematica是一款科學(xué)計算軟件，它很好地結(jié)合了數(shù)值和符號計算引擎、圖形系統(tǒng)、編程語言、文本系統(tǒng)及其他應(yīng)用程序之間的高級連接。很多功能在相應(yīng)領(lǐng)域內(nèi)處于世界領(lǐng)先地位，它也是目前使用較廣泛的數(shù)學(xué)軟件之一。雖然mathematica是一個強大的符號計算引擎，但是，其沒有專門針對k12階段的教育進行優(yōu)化。而且，使用mathematica必須使用其規(guī)定的編程語言編寫復(fù)雜的代碼，因此，在使用mathematica的時候，用戶需要提前掌握一門全新的編程語言。這對于k12階段的中小學(xué)生來說，這無疑是非常困難的。

另外，美國的myscript公司推出的myscriptcalculator是一款支持手寫輸入的數(shù)學(xué)計算器，其使用了傳統(tǒng)的淺層神經(jīng)網(wǎng)絡(luò)和基于上下文的語法識別解析用戶的輸入數(shù)據(jù)，可以進行例如加、減、乘、除、括號、冪等基礎(chǔ)運算。雖然myscriptcalculator能夠支持手寫輸入，但是，其只能識別數(shù)字和固定的幾個數(shù)學(xué)常量。另外，在計算方面只能做一些，如加、減、乘、除等非常簡單的數(shù)值計算，其無法進行如符號計算等稍微復(fù)雜的數(shù)學(xué)計算。

myscript的另一款產(chǎn)品mathpad僅僅是一款手寫識別工具，完全不具備任何計算能力。而在k12教育領(lǐng)域，簡單的數(shù)值計算只占據(jù)了整個數(shù)學(xué)教育體系的一小部分，更多的場景是需要進行符號計算和推理。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明提供一種公式識別方法及系統(tǒng)和一種符號推理計算方法及系統(tǒng)，可以通過手寫數(shù)學(xué)公式或文件輸入接口獲取公式的數(shù)據(jù)信息，用字符分割、字符識別和公式解析獲取對公式的識別結(jié)果，極大地降低了學(xué)習(xí)成本和提高了數(shù)學(xué)公式識別的準確率。

第一方面，本發(fā)明實施例提供的一種公式識別方法，包括：

獲取公式的數(shù)據(jù)信息；

對所述數(shù)據(jù)信息進行字符分割，獲得單字符；

對所述單字符進行識別，獲得所述單字符的字符識別結(jié)果；

對所述單字符間的位置關(guān)系進行識別，獲得所述單字符間的位置關(guān)系；

結(jié)合所述位置關(guān)系對所述字符識別結(jié)果進行公式解析，獲得公式識別結(jié)果。

第二方面，本發(fā)明實施例提供的一種符號推理計算方法，包括通過上述公式識別方法獲得公式識別結(jié)果，還包括：

通過符號計算引擎對所述公式識別結(jié)果進行分析計算，獲得所述公式的分析計算結(jié)果；

渲染所述公式識別結(jié)果和分析計算結(jié)果；

輸出所述渲染后的公式識別結(jié)果和分析計算結(jié)果。

第三方面，本發(fā)明實施例還對應(yīng)提供的一種公式識別系統(tǒng)，包括：

數(shù)據(jù)信息獲取單元，用于獲取公式的數(shù)據(jù)信息；

字符分割單元，用于對所述數(shù)據(jù)信息進行字符分割，獲得單字符；

字符識別單元，用于對所述單字符進行識別，獲得所述單字符的字符識別結(jié)果；

位置關(guān)系識別單元，用于對所述單字符間的位置關(guān)系進行識別，獲得所述單字符間的位置關(guān)系；以及

公式解析單元，用于結(jié)合所述位置關(guān)系對所述字符識別結(jié)果進行公式解析，獲得公式識別結(jié)果。

第四方面，本發(fā)明實施例還對應(yīng)提供的一種符號推理計算系統(tǒng)，包括公式識別結(jié)果獲得單元，用于通過上述公式識別系統(tǒng)獲得公式識別結(jié)果，還包括：

分析計算單元，用于通過符號計算引擎對所述公式識別結(jié)果進行分析計算，獲得所述公式的分析計算結(jié)果；

渲染單元，用于渲染所述公式的識別結(jié)果和分析計算結(jié)果；以及

輸出單元，用于輸出所述渲染后的公式識別結(jié)果和分析計算結(jié)果。

本發(fā)明提供的技術(shù)方案帶來的有益效果：

移動終端等智能終端通過輸入接口獲取類似于數(shù)學(xué)公式等數(shù)據(jù)信息，對該數(shù)據(jù)信息進行字符分割獲得單字符，對單字符進行字符識別獲得其字符識別結(jié)果，對單字符間的位置關(guān)系進行識別，獲得單字符間的位置關(guān)系，結(jié)合位置關(guān)系對字符識別結(jié)果進行公式結(jié)構(gòu)解析，獲得公式識別結(jié)果。該公式識別方法，可以通過手寫數(shù)學(xué)公式輸入接口獲取公式的數(shù)據(jù)信息，用字符分割、字符識別、字符間位置關(guān)系識別和公式結(jié)構(gòu)解析獲取公式識別結(jié)果，極大地降低了用戶按照規(guī)范進行公式輸入的學(xué)習(xí)成本和提高了數(shù)學(xué)公式識別的準確率。

同理，通過上述公式識別方法獲得公式識別結(jié)果，對公式識別結(jié)果進行分析計算獲得公式的分析計算結(jié)果，渲染公式識別結(jié)果和分析計算結(jié)果并輸出渲染后的公式識別結(jié)果和分析計算結(jié)果，極大地降低了用戶按照規(guī)范進行公式輸入的學(xué)習(xí)成本和提高了數(shù)學(xué)公式識別的準確率。

附圖說明

圖1是本發(fā)明實施例一提供的公式識別方法的流程示意圖；

圖2a是本發(fā)明實施例二提供的對數(shù)據(jù)信息進行字符分割的方法流程示意圖；

圖2b是本發(fā)明實施例提供的字符預(yù)分割的示意圖；

圖3a是本發(fā)明實施例二提供的對單字符進行識別的方法流程示意圖；

圖3b是本發(fā)明實施例使用的長短記憶神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)示意圖；

圖3c是本發(fā)明實施例使用的單個長短記憶神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)示意圖；

圖3d是本發(fā)明實施例二提供的對單字符進行識別的另一方法流程示意圖；

圖3e是本發(fā)明實施例使用的深層卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)示意圖；

圖4a是本發(fā)明實施例二提供的對單字符間的位置關(guān)系進行識別的方法流程示意圖；

圖4b是本發(fā)明實施例提取單字符間的位置特征的示意圖；

圖5是本發(fā)明實施例二提供的公式解析的方法流程示意圖；

圖6a是本發(fā)明實施例三提供的符號推理計算方法的流程示意圖；

圖6b和6c是本發(fā)明實施例提供的軟件運行結(jié)果的示例圖；

圖7是本發(fā)明實施例四提供的公式識別系統(tǒng)的架構(gòu)示意圖；

圖8是本發(fā)明實施例五提供的字符分割單元的架構(gòu)示意圖；

圖9a是本發(fā)明實施例五提供的字符識別單元的架構(gòu)示意圖；

圖9b是本發(fā)明實施例五提供的字符識別單元的另一架構(gòu)示意圖；

圖10是本發(fā)明實施例五提供的位置關(guān)系識別單元的架構(gòu)示意圖；

圖11是本發(fā)明實施例五提供的公式解析單元的架構(gòu)示意圖；

圖12是本發(fā)明實施例六提供的符號推理計算系統(tǒng)的架構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，可以理解的是，此處所描述的具體實施例僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。

實施例一

參見圖1，本實施例的方案可以應(yīng)用在需要進行公式識別的情景，可以由類似于手機等智能終端來執(zhí)行，具體可以由配置在手機等智能終端或部署在云端的某個可供智能終端調(diào)用的軟件程序來實施，公式識別方法包括如下步驟：

s110：獲取公式的數(shù)據(jù)信息。

示例性的，可以通過人機接口獲取用戶輸入的數(shù)學(xué)公式的數(shù)據(jù)信息，用戶即可以通過手寫的方式輸入，也可以通過上傳可編輯或不可編輯的，已經(jīng)記載有公式的msword、excel、pdf、png或者jpg等格式的文件的方式輸入，還可以是其他常用輸入方式輸入數(shù)據(jù)信息。

s120：對數(shù)據(jù)信息進行字符分割，獲得單字符。

示例性的，通過字符分割技術(shù)對用戶輸入的數(shù)據(jù)信息進行字符分割，可以將數(shù)據(jù)信息分割成一系列的單字符。在現(xiàn)有技術(shù)中具體的字符分割方法有很多，例如，基于連通域、投影、聚類分析、模版匹配或者使用strtok函數(shù)分割等字符分割方法。本實施例對字符分割的具體實施方式不作任何限定，但本發(fā)明的實施例二提供了可選的實施方式。

s130：對單字符進行識別，獲得單字符的字符識別結(jié)果。

示例性的，通過字符識別技術(shù)對上述獲得的分割字符進行字符識別，獲得上述單字符的字符識別結(jié)果。在現(xiàn)有技術(shù)中，具體的字符識別方法也有很多，例如，結(jié)構(gòu)模式識別、統(tǒng)計模式識別和基于人工神經(jīng)網(wǎng)絡(luò)等識別方法。本實施例對字符識別的具體實施方式也不作任何限定，但本發(fā)明的實施例二提供了可選的實施方式。

需要說明的是，步驟s120中的字符分割是步驟s130中的字符識別的前提，而步驟s130中的字符識別又為步驟s120中的字符分割提供了參考信息。

s140：對單字符間的位置關(guān)系進行識別，獲得單字符間的位置關(guān)系。

示例性的，所述位置關(guān)系可以是：左右關(guān)系、上下關(guān)系、上角標關(guān)系、下角標關(guān)系和根式關(guān)系等位置關(guān)系。本發(fā)明的實施例二為位置關(guān)系識別的具體識別方法提供了可選的實施方式。

s150：結(jié)合位置關(guān)系對字符識別結(jié)果進行公式解析，獲得公式識別結(jié)果。

示例性的，根據(jù)上述字符識別結(jié)果和單字符間的位置關(guān)系，對用戶輸入的公式的數(shù)據(jù)信息進行解析，確定上述公式對應(yīng)的類型，獲得公式的識別結(jié)果。例如，本發(fā)明的實施例二為公式解析的具體解析方法提供了可選的實施方式。

綜上所述，在本實施例中，移動終端等智能終端通過人機接口獲取用戶輸入的公式的數(shù)據(jù)信息，對該數(shù)據(jù)信息進行字符分割獲得單字符，對單字符進行字符識別獲得其字符識別結(jié)果，對單字符之間的位置關(guān)系識別獲得單字符位置關(guān)系識別結(jié)果，在對字符識別結(jié)果進行解析后，獲得公式的識別結(jié)果。該公式識別方法，通過手寫數(shù)學(xué)公式輸入接口獲取公式的數(shù)據(jù)信息，用字符分割、字符識別、字符間位置關(guān)系識別和公式解析獲取公式的識別結(jié)果，極大地降低了用戶按照規(guī)范進行公式輸入的學(xué)習(xí)成本和提高了數(shù)學(xué)公式識別的準確率。

實施例二

在本發(fā)明實施例一的基礎(chǔ)上，本實施例進一步提供了實施例一的技術(shù)方案中的步驟s120、步驟s130、步驟s140和步驟s150的可選的實施方式。

參考本發(fā)明實施例一，如圖2a所示，步驟s120，即對數(shù)據(jù)信息進行字符分割，獲得單字符可以包含：

s121：對數(shù)據(jù)信息進行字符預(yù)分割，獲得初始筆畫。

示例性的，通過字符預(yù)分割，將用戶輸入的公式的數(shù)據(jù)信息分割成一系列的初始筆畫。例如，在圖2b中，對圖中的“-1＜x”公式的數(shù)據(jù)信息，如“1”、“＜”、“x中的\”和“x中的/”進行字符預(yù)分割，可以分別對應(yīng)獲得初始筆畫1、2、3和4。

s122：將初始筆畫進行組合，獲得組合筆畫。

示例性的，在上述一系列的初始筆畫中，尋找到可能組合到一起的筆畫，并且將能組合到一起的筆畫進行組合獲得組合筆畫。

需要說明的是，由于字符預(yù)分割方法不同，同時，初始筆畫間的組合方式也有可能會存在多種不同的組合形式，這就導(dǎo)致同樣的一組初始筆畫，有可能同時存在多種組合筆畫。例如，在圖2b中，初始筆畫1和2就存在如下兩種組合方案：第一種是將初始筆畫1和初始筆畫2分割開，不進行組合，則初始筆畫組合結(jié)果為“1＜”；另外一種組合是，將初始筆畫1和初始筆畫2組合到一起，則獲得組合筆畫“k”。同理，在圖2b中，初始筆畫3和4也存在被分別組合為英文字母“x”或數(shù)學(xué)運算符號“×”的可能。

s123：用預(yù)先通過訓(xùn)練得到的單字符識別模型，對初始筆畫和/或組合筆畫分別識別，取概率大的作為分割結(jié)果，獲得單字符。

鑒于初始筆畫間的組合方式也有可能會存在多種不同的組合形式，這就導(dǎo)致同樣的同一組初始筆畫，有可能同時存在多種組合筆畫。為了解決這個問題，示例性的，可以使用預(yù)先通過訓(xùn)練得到的單字符識別模型，分別對上述的初始筆畫形成的字符和組合筆畫形成的字符進行識別，取概率大的一組筆畫組成的字符作為字符分割后獲得的分割字符結(jié)果。本實施例中的單字符識別模型，為預(yù)先通過大數(shù)據(jù)學(xué)習(xí)、訓(xùn)練分析得到的模型，經(jīng)過訓(xùn)練后的單字符識別模型，相較于現(xiàn)有技術(shù)中的模型，其輸出結(jié)果具有較好的魯棒性。

例如，可以記字符分割過程中各個方案的識別概率為與之對應(yīng)的識別結(jié)果概率為記組合過程中各個方案識別概率為與之對應(yīng)的識別結(jié)果為那么，最終的結(jié)果即為

又例如，通過對筆畫的分割和組合，會有多種可能的分割和組合方式，單字符識別模型會對所有可能的方式進行識別，得到各種可能的方式的識別結(jié)果，該識別結(jié)果和分割結(jié)果共同作用，決定單字符最終的分割結(jié)果和識別結(jié)果。可以看出，這一步驟同時得到了單字符的分割結(jié)果和識別結(jié)果。例如在圖2b中的筆畫1和筆畫2，對該組筆畫的判斷過程可以如下：對筆畫進行分割和組合，有如下兩種分割和組合的方案：第一種方案是筆畫1和筆畫2為兩個分開的字符；第二種方案是筆畫1和筆畫2組合成一個字符。示例性的，兩種方案選取的決策過程可以如下：針對第一種方案，用單字符識別模型對筆畫1和筆畫2兩個單字符分別識別，得到兩個識別結(jié)果，a1(“1”)和a2(“<”)，計算得出一個對應(yīng)的概率p1。同理，對于第二種方案，用單字符識別模型對筆畫1和筆畫2組合成的字符進行識別，得到一個識別結(jié)果b1(“k”)，計算得出一個對應(yīng)的概率p2。比較p1和p2的大小，如果p1>p2，則第一種方案對應(yīng)的，“1”和“<”是兩個分開的字符即為分割結(jié)果和識別結(jié)果；反之，如果p1＜p2，則第二種方案對應(yīng)的，“1”和“<”組合成一個字符“k”即為分割結(jié)果和識別結(jié)果。

綜上所述，本方案在實施例一的基礎(chǔ)上，進一步提供了步驟s120的可選的實施方式，通過步驟s121的字符預(yù)分割，可獲得數(shù)據(jù)信息中的一系列初始筆畫。通過步驟s122的筆畫組合，可獲得原始筆畫組合后的組合筆畫。通過步驟s123，用預(yù)先通過訓(xùn)練的獲得的單字符識別模型，分別識別原始筆畫和組合筆畫，選取概率大的作為字符分割的結(jié)果。

參考本發(fā)明實施例一，如圖3a、3b、3c、3d和3e所示，步驟s130，即對單字符進行識別，獲得單字符的字符識別結(jié)果可以包括如下并列的兩種情形：

一、當(dāng)數(shù)據(jù)信息為聯(lián)機手寫輸入的時，如圖3a所示，步驟s130可以包括：

s131a：提取單字符的特征。

示例性的，在本實施例中，可以對上述單字符提取如下特征：坐標點信息(x,y)、坐標點的一階導(dǎo)數(shù)信息(x′,y′)、坐標點的二階導(dǎo)數(shù)信息(x″,y″)和坐標點的曲率信息k，當(dāng)然，在其他實施例中也可提取其他如坐標點的三階導(dǎo)數(shù)信息(x″′,y″′)等更為合適的特征。

s132a：將特征輸入到預(yù)先通過訓(xùn)練得到的長短記憶神經(jīng)網(wǎng)絡(luò)模型，獲得單字符的字符識別結(jié)果。

長短記憶神經(jīng)網(wǎng)絡(luò)(longshorttermmemory,lstm)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)，它能夠?qū)W習(xí)長期依賴關(guān)系，記住信息很長一段時間是長短記憶神經(jīng)網(wǎng)絡(luò)固有的行為，而不是努力學(xué)習(xí)的結(jié)果。

示例性的，如圖3b和3c所示，將上述提取到的特征輸入到經(jīng)過訓(xùn)練得到的長短記憶神經(jīng)網(wǎng)絡(luò)模型中，獲得所有單字符對應(yīng)的字符識別結(jié)果，每個字符識別結(jié)果均取自于輸出層的結(jié)果。本實施例中的長短記憶神經(jīng)網(wǎng)絡(luò)模型，為預(yù)先通過大數(shù)據(jù)學(xué)習(xí)、訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型，相較于現(xiàn)有技術(shù)中的神經(jīng)網(wǎng)絡(luò)模型，其輸出具有較好的魯棒性。

二、當(dāng)數(shù)據(jù)信息為通過文件輸入的時，如圖3d所示，步驟s130可以包括：

s131d：對單字符進行預(yù)處理，獲得預(yù)處理字符。

示例性的，對通過文件輸入的數(shù)據(jù)信息，可以進行諸如圖像縮放、圖像去模糊以及圖像灰度拉伸等預(yù)處理，獲得預(yù)處理字符。

s132d：將預(yù)處理字符輸入到預(yù)先通過訓(xùn)練得到的深層卷積神經(jīng)網(wǎng)絡(luò)模型，獲得單字符的字符識別結(jié)果。

示例性的，將上述獲得的預(yù)處理字符輸入到預(yù)先通過訓(xùn)練后得到的如圖3e所示的深層卷積神經(jīng)網(wǎng)絡(luò)模型，識別后可獲得上述單字符的字符識別結(jié)果。

深層卷積神經(jīng)網(wǎng)絡(luò)模型將輸入圖片多次通過卷積塊進行處理，兩次全連接處理，最后以softmax函數(shù)輸出，其中每一次通過卷積處理的過程又包括：卷積(convolution)、批規(guī)范化處理(batchnormalization)、線性糾正(relu)和池化(pooling)。本實施例中的深層卷積神經(jīng)網(wǎng)絡(luò)模型，為預(yù)先通過大數(shù)據(jù)學(xué)習(xí)、訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型，其相對于現(xiàn)有技術(shù)中的神經(jīng)網(wǎng)絡(luò)模型，其輸出具有較高的準確率。

綜上所述，本方案在實施例一的基礎(chǔ)上，進一步提供了步驟s130的可選的實施方式，當(dāng)數(shù)據(jù)信息為聯(lián)機手寫輸入的時，通過步驟s131a可提取單字符的特征，通過步驟s132a可通過長短記憶(lstm)神經(jīng)網(wǎng)絡(luò)模型，獲得單字符的字符識別結(jié)果；當(dāng)數(shù)據(jù)信息為通過文件輸入的時，通過步驟s131d對單字符進行預(yù)處理，可獲得預(yù)處理字符，通過步驟s132d將預(yù)處理字符輸入到深層卷積神經(jīng)網(wǎng)絡(luò)模型，可獲得單字符的字符識別結(jié)果。

參考本發(fā)明實施例一，如圖4a所示，步驟s140，即對單字符間的位置關(guān)系進行識別，獲得單字符間的位置關(guān)系可以包括：

s141：按照相互可見原則，對單字符進行分組。

示例性的，相互可見的定義可以為：兩個單字符間存在一條直線連線，該連線不經(jīng)過第三個字符，則稱這兩個單字符相互可見。按上述相互可見原則，將符合相互可見原則的兩個單字符分到一組。

s142：對于分到同一組的兩個單字符，提取兩個單字符間的位置特征。

示例性的，對于分在同一組的兩個單字符，可以提取如圖4b所示的9個特征，其中，b和c表示兩個“相互可見”的字符，dx1表示b的左端和c的左端的距離，dx2表示b的右端和c的右端的距離，dx表示b的右端和c在的左端的距離，dy1表示b的上端和c的上端的距離，dy2表示b的下端和c的下端的距離，dy表示b的下端和c的上端的距離，d表示b的右端的中間位置和c的右端的中間位置的距離，h表示b和c所占區(qū)域的上端和下端的距離，dhc表示b的下端的中間位置和c的下端的中間位置的距離，h(h,c)＝[h,d,dhc,dx,dx1,dx2,dy,dy1,dy2]表示提取的9個特征集。

s143：將位置特征輸入到預(yù)先通過訓(xùn)練得到的字符位置關(guān)系分類器中，獲得兩個單字符間的位置關(guān)系。

示例性的，將上述提取到的單字符間的位置關(guān)系輸入到預(yù)先通過訓(xùn)練得到的字符位置關(guān)系分類器中，分析后得到兩個單字符間的位置關(guān)系。本實施例中的字符位置關(guān)系分類器，為預(yù)先通過大數(shù)據(jù)學(xué)習(xí)、訓(xùn)練得到的分類器，相較于相關(guān)技術(shù)中的分類器，其輸出具有較好的魯棒性。

綜上所述，本方案在實施例一的基礎(chǔ)上，進一步提供了實施例一的技術(shù)方案中的步驟s140的可選的實施方式。通過步驟s141，可將單字符分到相互可見的同一組當(dāng)中，通過步驟s1412，可提取同一組中的兩個單字符間的位置特征，通過步驟s1413，用預(yù)先通過訓(xùn)練得到的字符位置分類器分析上述位置特征，可獲得兩個單字符間的位置關(guān)系

參考本發(fā)明實施例一，如圖5所示，步驟s150，即結(jié)合位置關(guān)系對字符識別結(jié)果進行公式解析，獲得公式識別結(jié)果可以包含：

s151：將單字符的筆畫順序、最大筆畫數(shù)和位置關(guān)系，輸入到預(yù)先通過訓(xùn)練得到的統(tǒng)計上下文無關(guān)的語法模型。

示例性的，將單字符的筆畫順序o和所有單字符中可能存在的最大筆畫數(shù)lmax，輸入預(yù)先通過訓(xùn)練得到的統(tǒng)計上下文無關(guān)的語法模型，其中，在本實施例中l(wèi)max取值為2，在其他實施例中可以為其他的正整數(shù)值。本實施例中的統(tǒng)計上下文無關(guān)的語法模型，為預(yù)先通過大數(shù)據(jù)學(xué)習(xí)、訓(xùn)練得到的語法模型，相較于相關(guān)技術(shù)中的語法模型，其輸出具有較好的魯棒性。

s152：選取輸出的概率結(jié)果最大的解析樹，獲得公式識別結(jié)果。

示例性的，在經(jīng)統(tǒng)計上下文無關(guān)的語法模型分析識別之后，選取輸出選項中概率結(jié)果最大的解析樹，作為公式的最終識別結(jié)果，輸出的具體過程可是如下：

其中，n表示字符的筆畫數(shù)量，γ(b,bb,lb)表示字符b滿足的語法，γ(c,bc,lc)表示字符c滿足的語法，表示字符b和c在語法規(guī)則r的條件下可以組合成a，并且組合結(jié)果的語法符合該系統(tǒng)的語法系統(tǒng)g。

綜上所述，本實施例在實施例一的基礎(chǔ)上，進一步提供了步驟s150的可選的實施方式。通過步驟s151，將字符的筆畫順序、最大筆畫數(shù)和位置關(guān)系，輸入統(tǒng)計上下文無關(guān)的語法模型，通過步驟s1422，選取輸出中概率最大的解析樹，獲得最終的公式識別結(jié)果。

以下為本發(fā)明實施提供的符號推理計算方法的實施例。本實施例通過上述公式識別方法獲得公式的識別結(jié)果，再對識別結(jié)果進行分析計算獲得公式的分析計算結(jié)果，最后渲染并輸出公式的識別結(jié)果和計算結(jié)果。所以，本實施例中未詳盡描述的細節(jié)內(nèi)容，可參考上述公式識別方法的實施例。

實施例三

在上述實施例的基礎(chǔ)上，參見圖6a和圖6b，本實施例的方案可以應(yīng)用在需要進行公式計算的情景，可以由類似于手機等智能終端來執(zhí)行，具體可以由配置在手機等智能終端或云中的軟件程序來實施，符號推理計算方法包括如下步驟：

s310：通過公式識別方法獲得公式識別結(jié)果。

示例性的，智能終端等可以通過前述實施例一至實施例三中的任一公式識別方法獲得公式的識別結(jié)果。如圖6b所示，用戶輸入的公式數(shù)據(jù)如圖右下角所示，其識別結(jié)果為

s320：通過符號計算引擎對公式識別結(jié)果進行分析計算，獲得公式的分析計算結(jié)果。

符號計算引擎可以是如mathematica等商用符號計算引擎、也可以是在mathematica等商用符號計算引擎的基礎(chǔ)上，進行二次開發(fā)或購買的商用符號計算引擎、還可以是如sympy(python的數(shù)學(xué)符號計算庫)等開源的符號計算引擎。需要進一步說明的是，在本實施例中，不對符號計算引擎做任何限定。

示例性的，可以通過符號計算引擎對上述獲得的公式識別結(jié)果進行分析計算，獲得公式最終的分析計算結(jié)果。如圖6b所示，相應(yīng)的根據(jù)公式識別結(jié)果，分析計算得出公式的計算結(jié)果為x-y。

s330：渲染公式識別結(jié)果和分析計算結(jié)果。

示例性的，在返回公式識別結(jié)果和分析計算結(jié)果后，將其渲染成方便用戶讀取的常見的數(shù)學(xué)公式的形式。

s340：輸出渲染后的公式識別結(jié)果和分析計算結(jié)果。

示例性的，將渲染后的公式識別結(jié)果和分析計算結(jié)果的數(shù)學(xué)公式形式，輸出顯示在手機等智能終端的顯示屏上。如圖6b所示，渲染結(jié)果輸出在顯示屏上顯示的軟件界面上，渲染后的公式識別結(jié)果和分析計算結(jié)果分別如圖左上角所示的和x-y。

本實施例再以數(shù)學(xué)運算中典型的解方程組為例，如圖6c所示，說明本發(fā)明技術(shù)方案在軟件程序條件下的實現(xiàn)界面。

當(dāng)用戶以手寫的形式輸入圖6c右下角的數(shù)學(xué)方程組其中包括有常見的數(shù)字字母字符x、y和大括弧、減法運算符和根式運算符。從圖中可以看出：手機等智能終端收集用戶的輸入數(shù)據(jù)上傳到云端服務(wù)器；云端服務(wù)器接收該數(shù)據(jù)并且進行識別；得到識別結(jié)果之后，調(diào)用符號計算引擎對識別出的數(shù)學(xué)公式進行分析計算，得到分析計算結(jié)果；然后云端服務(wù)器把識別結(jié)果和分析計算結(jié)果發(fā)送到該智能終端；該智能終端接收到識別結(jié)果和分析計算結(jié)果后進行渲染和顯示。即對數(shù)學(xué)方程組進行渲染，將渲染的輸入結(jié)果顯示在圖6c的左上角。將接收到的計算結(jié)果進行渲染，在軟件界面的中間，即圖6c中間，顯示出渲染的計算結(jié)果，以方便用戶查看。

綜上所述，在本實施例中，通過前述實施例一至實施例三中的任一公式識別方法，獲得公式識別結(jié)果，通過符號計算引擎對公式識別結(jié)果進行分析計算，獲得公式的分析計算結(jié)果，渲染并輸出上述的公式識別結(jié)果和分析計算結(jié)果。本實施例的符號推理計算方法，極大地降低了用戶按照規(guī)范進行公式輸入的學(xué)習(xí)成本和提高了數(shù)學(xué)公式識別的準確率。

以下為本發(fā)明實施例提供的公式識別系統(tǒng)的實施例，該實施例與上述公式識別方法的實施例屬于同一構(gòu)思，公式識別系統(tǒng)的實施例中未詳盡描述的細節(jié)內(nèi)容，可參考上述公式識別方法的實施例。

實施例四

參見圖7，本實施例的公式識別系統(tǒng)400與實施例一的方法相對應(yīng)，該系統(tǒng)400包括：數(shù)據(jù)信息獲取單元410、字符分割單元420、字符識別單元430、位置關(guān)系識別單元440以及公式解析單元450。其中：

數(shù)據(jù)信息獲取單元410，用于獲取公式的數(shù)據(jù)信息。

字符分割單元420，用于對數(shù)據(jù)信息進行字符分割，獲得單字符。

字符識別單元430，用于對單字符進行識別，獲得單字符的字符識別結(jié)果。

位置關(guān)系識別單元440，用于對單字符間的位置關(guān)系進行識別，獲得單字符間的位置關(guān)系。以及

公式解析單元450，用于結(jié)合位置關(guān)系對字符識別結(jié)果進行公式解析，獲得公式識別結(jié)果。

綜上所述，根據(jù)本實施例的符號推理計算系統(tǒng)，極大地降低了用戶按照規(guī)范進行公式輸入的學(xué)習(xí)成本和提高了數(shù)學(xué)公式識別的準確率。

實施例五

在本發(fā)明實施例四的基礎(chǔ)上，本實施例進一步提供了字符分割單元420、字符識別單元430、位置關(guān)系識別單元440和公式解析單元450的可選的實施方式。

參考實施例四，如圖8所示，字符分割單元420可以包含：

字符預(yù)分割子單元421，用于對數(shù)據(jù)信息進行字符預(yù)分割，獲得初始筆畫。

筆畫組合子單元422，用于將初始筆畫進行組合，獲得組合筆畫。以及

單字符獲得子單元423，用于用預(yù)先通過訓(xùn)練得到的單字符識別模型，對初始筆畫和/或組合筆畫分別識別，取概率大的作為分割結(jié)果，獲得單字符。

參考實施例四，如圖9a和9b所示，字符識別單元430可以包括如下并列的兩種情形：

一、當(dāng)數(shù)據(jù)信息為聯(lián)機手寫輸入的時，如圖9a所示，字符識別單元430可以包含：

特征提取子單元431a，用于提取單字符的特征。以及

特征輸入子單元432a，用于將特征輸入到預(yù)先通過訓(xùn)練得到的長短記憶神經(jīng)網(wǎng)絡(luò)模型，獲得單字符的字符識別結(jié)果。

二、當(dāng)數(shù)據(jù)信息為通過文件輸入的時，如圖9b所示，字符識別單元430可以包含：

單字符預(yù)處理子單元431b，用于對單字符進行預(yù)處理，獲得預(yù)處理字符。以及

預(yù)處理字符輸入子單元432b，用于將預(yù)處理字符輸入到預(yù)先通過訓(xùn)練得到的深層卷積神經(jīng)網(wǎng)絡(luò)模型，獲得單字符的字符識別結(jié)果。

參考實施例四，如圖10所示，位置關(guān)系獲得子單元440可以包含：

單字符分組子單元441，用于按照相互可見原則，對單字符進行分組。

位置特征提取子單元442，用于對于分到同一組的兩個單字符，提取所述兩個單字符間的位置特征。以及

位置關(guān)系獲得子單元443，用于將所述位置特征輸入到預(yù)先通過訓(xùn)練得到的字符位置關(guān)系分類器中，獲得所述兩個單字符間的位置關(guān)系。

參考實施例四，如圖11所示，公式解析單元450可以包含：

輸入子單元451，用于將單字符的筆畫順序、最大筆畫數(shù)和所述位置關(guān)系，輸入到預(yù)先通過訓(xùn)練得到的統(tǒng)計上下文無關(guān)的語法模型。以及

識別結(jié)果獲得子單元452，用于選取輸出的概率結(jié)果最大的解析樹，獲得公式的識別結(jié)果。

綜上所述，根據(jù)本實施例的技術(shù)方案，通過字符預(yù)分割子單元421，可對數(shù)據(jù)信息進行字符預(yù)分割，獲得初始筆畫，通過筆畫組合子單元422可將初始筆畫進行組合，獲得組合筆畫，通過單字符獲得子單元423，用預(yù)先通過訓(xùn)練得到的單字符識別模型，對初始筆畫和/或組合筆畫分別識別，取概率大的作為分割和識別結(jié)果，分析獲得單字符結(jié)果。當(dāng)數(shù)據(jù)信息為聯(lián)機手寫輸入的時，通過特征提取子單元431a，可提取單字符的特征，通過特征輸入子單元432a，用預(yù)先通過訓(xùn)練得到的長短記憶神經(jīng)網(wǎng)絡(luò)模型分析可獲得單字符的字符識別結(jié)果；當(dāng)數(shù)據(jù)信息為通過文件輸入的時，通過單字符預(yù)處理子單元431b，可對分單字符進行預(yù)處理，獲得預(yù)處理字符，通過預(yù)處理字符輸入子單元432b，可通過訓(xùn)練得到的深層卷積神經(jīng)網(wǎng)絡(luò)模型，獲得單字符的字符識別結(jié)果。通過單字符分組子單元441，可對單字符進行分組，通過位置特征提取子單元442，可對分到同一組的兩個單字符，提取位置特征，通過位置關(guān)系獲得子單元443，將位置特征輸入到預(yù)先通過訓(xùn)練得到的字符位置關(guān)系分類器，可獲得兩個單字符間的位置關(guān)系。通過輸入子單元451，將單字符的筆畫順序、最大筆畫數(shù)和位置關(guān)系，輸入到預(yù)先通過訓(xùn)練得到的統(tǒng)計上下文無關(guān)的語法模型，通過識別結(jié)果獲得子單元452，選取輸出的概率結(jié)果最大的解析樹，可獲得公式的識別結(jié)果。

以下為本發(fā)明實施例提供的符號推理計算系統(tǒng)的實施例，該實施例與上述符號推理計算方法的實施例屬于同一構(gòu)思，符號推理計算系統(tǒng)的實施例中未詳盡描述的細節(jié)內(nèi)容，可參考上述符號推理計算方法的實施例。

實施例六

參見圖12，本實施例的符號推理計算系統(tǒng)600與實施例三的方法相對應(yīng)，該系統(tǒng)包括公式識別結(jié)果獲得單元610、分析計算單元620、渲染單元630以及輸出單元640。其中：

公式識別結(jié)果獲得單元610，用于通過上述公式識別系統(tǒng)獲得公式識別結(jié)果。

分析單元620，用于通過符號計算引擎對所述公式識別結(jié)果進行分析計算，獲得公式的分析計算結(jié)果。

渲染單元630，用于渲染公式識別結(jié)果和分析計算結(jié)果。以及

輸出單元840，用于輸出所述渲染后的公式識別結(jié)果和分析計算結(jié)果。

綜上所述，根據(jù)本實施例技術(shù)方案的符號推理計算系統(tǒng)，極大地降低了用戶按照規(guī)范進行公式輸入的學(xué)習(xí)成本和提高了數(shù)學(xué)公式識別的準確率。

以上所述僅為本發(fā)明的優(yōu)選實施例，并不用于限制本發(fā)明，對于本領(lǐng)域技術(shù)人員而言，本發(fā)明在具體實施方式上可以有各種改動和變化。凡在本發(fā)明的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。