亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種多維度短文本特征提取方法及系統(tǒng)與流程

文檔序號(hào):12464609閱讀:來源:國知局

技術(shù)特征:

1.一種多維度短文本特征提取方法,其特征在于,其包括如下步驟:

S1、對短文本進(jìn)行預(yù)處理;將短文本中信息劃分為表情符號(hào)信息、文本信息、語音信息;

S2、分類對短文本中各種信息進(jìn)行處理并得到統(tǒng)一的文本信息集;

S3、將統(tǒng)一的文本信息集中中文短文本采用分詞工具進(jìn)行分詞處理,然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息;對于英文短文本采用詞干提取工具進(jìn)行預(yù)處理;

S4、通過向量空間模型表示文本表示模型;通過選擇算法來獲取輸入的短文本特征。

2.如權(quán)利要求1所述的多維度短文本特征提取方法,其特征在于,所述步驟S2包括:

對于表情符號(hào)信息,獲取表情符號(hào)信息所對應(yīng)的感情傾向信息以及表情符號(hào)信息的中文含義;將感情傾向信息以及中文含義進(jìn)行處理獲得關(guān)鍵詞;將關(guān)鍵詞加入到統(tǒng)一的文本信息集中;

對語音信息,通過語音識(shí)別將語音信息轉(zhuǎn)換為文本信息;并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息;將文本信息以及情感傾向信息進(jìn)行處理獲得關(guān)鍵詞;將關(guān)鍵詞加入到統(tǒng)一的文本信息集中。

3.如權(quán)利要求2所述的多維度短文本特征提取方法,其特征在于,所述步驟S3中通過ICTCLAS分詞系統(tǒng)進(jìn)行分詞。

4.如權(quán)利要求3所述的多維度短文本特征提取方法,其特征在于,所述步驟S4包括:

對于經(jīng)過預(yù)處理后的文本信息集,根據(jù)短文本中的詞項(xiàng),抽取出具有代表性的詞條作為短文本的特征,并為每個(gè)特征賦予一定的權(quán)值,將所有特征項(xiàng)構(gòu)成的向量表示該短文本,即文本空間實(shí)際上是由一組由數(shù)字描述的詞項(xiàng)所構(gòu)建的向量空間。

5.如權(quán)利要求3所述的多維度短文本特征提取方法,其特征在于,

所述步驟S4還包括:

生成特征詞序號(hào)列表,根據(jù)預(yù)先設(shè)定的特征閾值,選擇相對應(yīng)的特征,通過詞頻逆文檔詞頻算法獲得特征相對應(yīng)的權(quán)值,最終得到提取后的特征向量;將得到的特征向量進(jìn)行歸一化處理得到多維向量。

6.如權(quán)利要求3所述的多維度短文本特征提取方法,其特征在于,進(jìn)行情感分析時(shí),預(yù)先設(shè)置不同情感詞相對應(yīng)的情感偏向以及正負(fù)長度值;通過情感偏向以及正負(fù)長度值得到整體感情傾向信息。

7.一種多維度短文本特征提取系統(tǒng),其特征在于,其包括如下單元:

預(yù)處理單元,用于對短文本進(jìn)行預(yù)處理;將短文本中信息劃分為表情符號(hào)信息、文本信息、語音信息;

分類處理單元,用于分類對短文本中各種信息進(jìn)行處理并得到統(tǒng)一的文本信息集;

分詞處理單元,用于將統(tǒng)一的文本信息集中中文短文本采用分詞工具進(jìn)行分詞處理,然后利用正則匹配與字符串替換來過濾掉無效字符、連續(xù)空格、大小寫混用噪音信息;對于英文短文本采用詞干提取工具進(jìn)行預(yù)處理;

特征提取單元,用于通過向量空間模型表示文本表示模型;通過選擇算法來獲取輸入的短文本特征。

8.如權(quán)利要求7所述的多維度短文本特征提取系統(tǒng),其特征在于,所述分類處理單元包括:

對于表情符號(hào)信息,獲取表情符號(hào)信息所對應(yīng)的感情傾向信息以及表情符號(hào)信息的中文含義;將感情傾向信息以及中文含義進(jìn)行處理獲得關(guān)鍵詞;將關(guān)鍵詞加入到統(tǒng)一的文本信息集中;

對語音信息,通過語音識(shí)別將語音信息轉(zhuǎn)換為文本信息;并通過分析語音信息中的音調(diào)獲得語音信息中的情感傾向信息;將文本信息以及情感傾向信息進(jìn)行處理獲得關(guān)鍵詞;將關(guān)鍵詞加入到統(tǒng)一的文本信息集中;

所述分詞處理單元中通過ICTCLAS分詞系統(tǒng)進(jìn)行分詞;

所述特征提取單元包括:

對于經(jīng)過預(yù)處理后的文本信息集,根據(jù)短文本中的詞項(xiàng),抽取出具有代表性的詞條作為短文本的特征,并為每個(gè)特征賦予一定的權(quán)值,將所有特征項(xiàng)構(gòu)成的向量表示該短文本,即文本空間實(shí)際上是由一組由數(shù)字描述的詞項(xiàng)所構(gòu)建的向量空間;

所述特征提取單元還包括:

生成特征詞序號(hào)列表,根據(jù)預(yù)先設(shè)定的特征閾值,選擇相對應(yīng)的特征,通過詞頻逆文檔詞頻算法獲得特征相對應(yīng)的權(quán)值,最終得到提取后的特征向量;將得到的特征向量進(jìn)行歸一化處理得到多維向量。

9.如權(quán)利要求8所述的多維度短文本特征提取系統(tǒng),其特征在于,進(jìn)行情感分析時(shí),預(yù)先設(shè)置不同情感詞相對應(yīng)的情感偏向以及正負(fù)長度值;通過情感偏向以及正負(fù)長度值得到整體感情傾向信息。

當(dāng)前第2頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊!
1