本發(fā)明涉及大數(shù)據(jù)文本處理技術領域，特別涉及一種多維度短文本特征提取方法及系統(tǒng)。
背景技術：
短文本分類如此重要，那么究竟什么是短文本呢？目前，對于短文本還沒有統(tǒng)一規(guī)范的定義，本文參考已有的研究文獻將短文本定義為長度不超過200字的文本形式的信息。短文本的幾種常見形式有手機短信息、社交網(wǎng)絡短信息、信息檢索簡介信息、BBS/論壇短信息等。一般來說，短文本包括的特點有：
①稀疏性。每條短文本形式信息的長度都比較短，都在200字以內(nèi)，通常只有幾句話，有的甚至只有幾個詞語如微博信息、手機短信息等，因此所包含的有效信息也就非常少，造成樣本的特征非常稀疏，并且特征集的維數(shù)非常高，很難從中抽取到準確而關鍵的樣本特征用于分類學習。
②實時性。在互聯(lián)網(wǎng)上出現(xiàn)的短文本形式的信息，大部分都是實時更新的，刷新速度非?？?，像聊天信息、微博信息、評論信息等，都在以秒計時的速度不斷更新，難以采集，并且這部分動態(tài)文本數(shù)量非常龐大，這就要求對短文本信息分類必須具有更高的效率。
③不規(guī)則性。短文本形式的信息用語不規(guī)范，包含流行詞匯較多，造成了噪聲特征非常多，如“94”代表“就是”，“88”代表“再見”，“童鞋”代表“同學”，“河蟹”代表“和諧”等。流行語在短文本中更是頻繁出現(xiàn)，而且更新很快，如2011年的流行詞“傷不起”、“有沒有”、“坑爹”，2012年的流行詞“屌絲”、“江南Style”、“元芳，你怎么看”等等。
特征提取是指從原始特征集中挑選出對文本分類學習貢獻最大的一組特征，這些特征保留了原始特征集中大部分有用的數(shù)據(jù)信息，最能反映文本分類的性能。
技術實現(xiàn)要素：
有鑒于此，本發(fā)明提出一種能夠有效解決短文本中不規(guī)則性、稀疏性問題的多維度短文本特征提取方法及系統(tǒng)
一種多維度短文本特征提取方法，其包括如下步驟：
S1、對短文本進行預處理；將短文本中信息劃分為表情符號信息、文本信息、語音信息；
S2、分類對短文本中各種信息進行處理并得到統(tǒng)一的文本信息集；
S3、將統(tǒng)一的文本信息集中中文短文本采用分詞工具進行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息；對于英文短文本采用詞干提取工具進行預處理；
S4、通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。
在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S2包括：
對于表情符號信息，獲取表情符號信息所對應的感情傾向信息以及表情符號信息的中文含義；將感情傾向信息以及中文含義進行處理獲得關鍵詞；將關鍵詞加入到統(tǒng)一的文本信息集中；
對語音信息，通過語音識別將語音信息轉(zhuǎn)換為文本信息；并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進行處理獲得關鍵詞；將關鍵詞加入到統(tǒng)一的文本信息集中。
在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S3中通過ICTCLAS分詞系統(tǒng)進行分詞。
在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S4包括：
對于經(jīng)過預處理后的文本信息集，根據(jù)短文本中的詞項，抽取出具有代表性的詞條作為短文本的特征，并為每個特征賦予一定的權值，將所有特征項構成的向量表示該短文本，即文本空間實際上是由一組由數(shù)字描述的詞項所構建的向量空間。
在本發(fā)明所述的多維度短文本特征提取方法中，
所述步驟S4還包括：
生成特征詞序號列表，根據(jù)預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。
在本發(fā)明所述的多維度短文本特征提取方法中，進行情感分析時，預先設置不同情感詞相對應的情感偏向以及正負長度值；通過情感偏向以及正負長度值得到整體感情傾向信息。
本發(fā)明還提供一種多維度短文本特征提取系統(tǒng)，其包括如下單元：
預處理單元，用于對短文本進行預處理；將短文本中信息劃分為表情符號信息、文本信息、語音信息；
分類處理單元，用于分類對短文本中各種信息進行處理并得到統(tǒng)一的文本信息集；
分詞處理單元，用于將統(tǒng)一的文本信息集中中文短文本采用分詞工具進行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息；對于英文短文本采用詞干提取工具進行預處理；
特征提取單元，用于通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。
在本發(fā)明所述的多維度短文本特征提取系統(tǒng)中，所述分類處理單元包括：
對于表情符號信息，獲取表情符號信息所對應的感情傾向信息以及表情符號信息的中文含義；將感情傾向信息以及中文含義進行處理獲得關鍵詞；將關鍵詞加入到統(tǒng)一的文本信息集中；
對語音信息，通過語音識別將語音信息轉(zhuǎn)換為文本信息；并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進行處理獲得關鍵詞；將關鍵詞加入到統(tǒng)一的文本信息集中；
所述分詞處理單元中通過ICTCLAS分詞系統(tǒng)進行分詞；
所述特征提取單元包括：
對于經(jīng)過預處理后的文本信息集，根據(jù)短文本中的詞項，抽取出具有代表性的詞條作為短文本的特征，并為每個特征賦予一定的權值，將所有特征項構成的向量表示該短文本，即文本空間實際上是由一組由數(shù)字描述的詞項所構建的向量空間；
所述特征提取單元還包括：
生成特征詞序號列表，根據(jù)預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。
在本發(fā)明所述的多維度短文本特征提取系統(tǒng)中，進行情感分析時，預先設置不同情感詞相對應的情感偏向以及正負長度值；通過情感偏向以及正負長度值得到整體感情傾向信息。
實施本發(fā)明提供的多維度短文本特征提取方法及系統(tǒng)與現(xiàn)有技術相比具有以下有益效果：能夠有效解決短文本中不規(guī)則性、稀疏性問題；并且能夠根據(jù)預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。
附圖說明
圖1是本發(fā)明實施例的多維度短文本特征提取方法流程圖。
具體實施方式
如圖1所示，一種多維度短文本特征提取方法，其包括如下步驟：
S1、對短文本進行預處理；將短文本中信息劃分為表情符號信息、文本信息、語音信息；
S2、分類對短文本中各種信息進行處理并得到統(tǒng)一的文本信息集；
S3、將統(tǒng)一的文本信息集中中文短文本采用分詞工具進行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息；對于英文短文本采用詞干提取工具進行預處理；
S4、通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。
在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S2包括：
對于表情符號信息，獲取表情符號信息所對應的感情傾向信息以及表情符號信息的中文含義；將感情傾向信息以及中文含義進行處理獲得關鍵詞；將關鍵詞加入到統(tǒng)一的文本信息集中；
對語音信息，通過語音識別將語音信息轉(zhuǎn)換為文本信息；并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進行處理獲得關鍵詞；將關鍵詞加入到統(tǒng)一的文本信息集中。
在本發(fā)明實施例中，通過對短文本中的表情符號信息、語音信息進行分類處理，并加到統(tǒng)一的文本信息集中，能夠解決現(xiàn)有技術中只注重文本信息，不注重多媒體信息的缺陷，使得短文本的特征提取更為精確和全面。
在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S3中通過ICTCLAS分詞系統(tǒng)進行分詞。
在本發(fā)明所述的多維度短文本特征提取方法中，所述步驟S4包括：
對于經(jīng)過預處理后的文本信息集，根據(jù)短文本中的詞項，抽取出具有代表性的詞條作為短文本的特征，并為每個特征賦予一定的權值，將所有特征項構成的向量表示該短文本，即文本空間實際上是由一組由數(shù)字描述的詞項所構建的向量空間。
在本發(fā)明所述的多維度短文本特征提取方法中，
所述步驟S4還包括：
生成特征詞序號列表，根據(jù)預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。
在本發(fā)明所述的多維度短文本特征提取方法中，進行情感分析時，預先設置不同情感詞相對應的情感偏向以及正負長度值；通過情感偏向以及正負長度值得到整體感情傾向信息。
本發(fā)明還提供一種多維度短文本特征提取系統(tǒng)，其包括如下單元：
預處理單元，用于對短文本進行預處理；將短文本中信息劃分為表情符號信息、文本信息、語音信息；
分類處理單元，用于分類對短文本中各種信息進行處理并得到統(tǒng)一的文本信息集；
分詞處理單元，用于將統(tǒng)一的文本信息集中中文短文本采用分詞工具進行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息；對于英文短文本采用詞干提取工具進行預處理；
特征提取單元，用于通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。
在本發(fā)明所述的多維度短文本特征提取系統(tǒng)中，所述分類處理單元包括：
對于表情符號信息，獲取表情符號信息所對應的感情傾向信息以及表情符號信息的中文含義；將感情傾向信息以及中文含義進行處理獲得關鍵詞；將關鍵詞加入到統(tǒng)一的文本信息集中；
對語音信息，通過語音識別將語音信息轉(zhuǎn)換為文本信息；并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進行處理獲得關鍵詞；將關鍵詞加入到統(tǒng)一的文本信息集中；
所述分詞處理單元中通過ICTCLAS分詞系統(tǒng)進行分詞；
所述特征提取單元包括：
對于經(jīng)過預處理后的文本信息集，根據(jù)短文本中的詞項，抽取出具有代表性的詞條作為短文本的特征，并為每個特征賦予一定的權值，將所有特征項構成的向量表示該短文本，即文本空間實際上是由一組由數(shù)字描述的詞項所構建的向量空間；
所述特征提取單元還包括：
生成特征詞序號列表，根據(jù)預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。
在本發(fā)明所述的多維度短文本特征提取系統(tǒng)中，進行情感分析時，預先設置不同情感詞相對應的情感偏向以及正負長度值；通過情感偏向以及正負長度值得到整體感情傾向信息。
實施本發(fā)明提供的多維度短文本特征提取方法及系統(tǒng)與現(xiàn)有技術相比具有以下有益效果：能夠有效解決短文本中不規(guī)則性、稀疏性問題；并且能夠根據(jù)預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。
可以理解的是，對于本領域的普通技術人員來說，可以根據(jù)本發(fā)明的技術構思做出其它各種相應的改變與變形，而所有這些改變與變形都應屬于本發(fā)明權利要求的保護范圍。