1.一種多維度短文本特征提取方法,其特征在于,其包括如下步驟:
S1、對短文本進(jìn)行預(yù)處理;將短文本中信息劃分為表情符號(hào)信息、文本信息、語音信息;
S2、分類對短文本中各種信息進(jìn)行處理并得到統(tǒng)一的文本信息集;
S3、將統(tǒng)一的文本信息集中中文短文本采用分詞工具進(jìn)行分詞處理,然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息;對于英文短文本采用詞干提取工具進(jìn)行預(yù)處理;
S4、通過向量空間模型表示文本表示模型;通過選擇算法來獲取輸入的短文本特征。
2.如權(quán)利要求1所述的多維度短文本特征提取方法,其特征在于,所述步驟S2包括:
對于表情符號(hào)信息,獲取表情符號(hào)信息所對應(yīng)的感情傾向信息以及表情符號(hào)信息的中文含義;將感情傾向信息以及中文含義進(jìn)行處理獲得關(guān)鍵詞;將關(guān)鍵詞加入到統(tǒng)一的文本信息集中;
對語音信息,通過語音識(shí)別將語音信息轉(zhuǎn)換為文本信息;并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息;將文本信息以及情感傾向信息進(jìn)行處理獲得關(guān)鍵詞;將關(guān)鍵詞加入到統(tǒng)一的文本信息集中。
3.如權(quán)利要求2所述的多維度短文本特征提取方法,其特征在于,所述步驟S3中通過ICTCLAS分詞系統(tǒng)進(jìn)行分詞。
4.如權(quán)利要求3所述的多維度短文本特征提取方法,其特征在于,所述步驟S4包括:
對于經(jīng)過預(yù)處理后的文本信息集,根據(jù)短文本中的詞項(xiàng),抽取出具有代表性的詞條作為短文本的特征,并為每個(gè)特征賦予一定的權(quán)值,將所有特征項(xiàng)構(gòu)成的向量表示該短文本,即文本空間實(shí)際上是由一組由數(shù)字描述的詞項(xiàng)所構(gòu)建的向量空間。
5.如權(quán)利要求3所述的多維度短文本特征提取方法,其特征在于,
所述步驟S4還包括:
生成特征詞序號(hào)列表,根據(jù)預(yù)先設(shè)定的特征閾值,選擇相對應(yīng)的特征,通過詞頻逆文檔詞頻算法獲得特征相對應(yīng)的權(quán)值,最終得到提取后的特征向量;將得到的特征向量進(jìn)行歸一化處理得到多維向量。
6.如權(quán)利要求3所述的多維度短文本特征提取方法,其特征在于,進(jìn)行情感分析時(shí),預(yù)先設(shè)置不同情感詞相對應(yīng)的情感偏向以及正負(fù)長度值;通過情感偏向以及正負(fù)長度值得到整體感情傾向信息。
7.一種多維度短文本特征提取系統(tǒng),其特征在于,其包括如下單元:
預(yù)處理單元,用于對短文本進(jìn)行預(yù)處理;將短文本中信息劃分為表情符號(hào)信息、文本信息、語音信息;
分類處理單元,用于分類對短文本中各種信息進(jìn)行處理并得到統(tǒng)一的文本信息集;
分詞處理單元,用于將統(tǒng)一的文本信息集中中文短文本采用分詞工具進(jìn)行分詞處理,然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息;對于英文短文本采用詞干提取工具進(jìn)行預(yù)處理;
特征提取單元,用于通過向量空間模型表示文本表示模型;通過選擇算法來獲取輸入的短文本特征。
8.如權(quán)利要求7所述的多維度短文本特征提取系統(tǒng),其特征在于,所述分類處理單元包括:
對于表情符號(hào)信息,獲取表情符號(hào)信息所對應(yīng)的感情傾向信息以及表情符號(hào)信息的中文含義;將感情傾向信息以及中文含義進(jìn)行處理獲得關(guān)鍵詞;將關(guān)鍵詞加入到統(tǒng)一的文本信息集中;
對語音信息,通過語音識(shí)別將語音信息轉(zhuǎn)換為文本信息;并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息;將文本信息以及情感傾向信息進(jìn)行處理獲得關(guān)鍵詞;將關(guān)鍵詞加入到統(tǒng)一的文本信息集中;
所述分詞處理單元中通過ICTCLAS分詞系統(tǒng)進(jìn)行分詞;
所述特征提取單元包括:
對于經(jīng)過預(yù)處理后的文本信息集,根據(jù)短文本中的詞項(xiàng),抽取出具有代表性的詞條作為短文本的特征,并為每個(gè)特征賦予一定的權(quán)值,將所有特征項(xiàng)構(gòu)成的向量表示該短文本,即文本空間實(shí)際上是由一組由數(shù)字描述的詞項(xiàng)所構(gòu)建的向量空間;
所述特征提取單元還包括:
生成特征詞序號(hào)列表,根據(jù)預(yù)先設(shè)定的特征閾值,選擇相對應(yīng)的特征,通過詞頻逆文檔詞頻算法獲得特征相對應(yīng)的權(quán)值,最終得到提取后的特征向量;將得到的特征向量進(jìn)行歸一化處理得到多維向量。
9.如權(quán)利要求8所述的多維度短文本特征提取系統(tǒng),其特征在于,進(jìn)行情感分析時(shí),預(yù)先設(shè)置不同情感詞相對應(yīng)的情感偏向以及正負(fù)長度值;通過情感偏向以及正負(fù)長度值得到整體感情傾向信息。