亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種人稱識(shí)別方法與流程

文檔序號(hào):12464669閱讀:280來(lái)源:國(guó)知局
一種人稱識(shí)別方法與流程

本發(fā)明涉及自然語(yǔ)言處理技術(shù)領(lǐng)域,具體涉及一種人稱識(shí)別方法。



背景技術(shù):

目前,隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,每時(shí)每刻都會(huì)有無(wú)數(shù)的信息進(jìn)行傳播和存儲(chǔ),我們獲得的信息越來(lái)越多,如果從海量的信息中尋找到自己需要的信息,同時(shí)將差別各異的信息進(jìn)行提取,得到我們能理解的信息成為人們共同關(guān)注的問(wèn)題。

語(yǔ)句是信息的基礎(chǔ)組成部分,理解語(yǔ)句是分析處理信息的重要步驟之一,對(duì)于語(yǔ)句的理解主要從三個(gè)方面進(jìn)行,包括語(yǔ)義分析、語(yǔ)句人稱分析和句法分析。語(yǔ)義分析是根據(jù)語(yǔ)句結(jié)構(gòu)和語(yǔ)句中詞語(yǔ)的詞義,推導(dǎo)出句子的實(shí)際語(yǔ)義;語(yǔ)句人稱分析是找出語(yǔ)句中謂語(yǔ)的相應(yīng)語(yǔ)義人稱成份;句法分析是根據(jù)語(yǔ)句的語(yǔ)法,推導(dǎo)出語(yǔ)句的語(yǔ)法結(jié)構(gòu),確定語(yǔ)句的組成成分。

語(yǔ)句的分析被應(yīng)用到各個(gè)領(lǐng)域中,例如網(wǎng)站關(guān)鍵詞搜索、網(wǎng)絡(luò)聊天內(nèi)容整合分析等,但是現(xiàn)如今對(duì)于語(yǔ)句的分析都比較粗糙,精確性不夠。



技術(shù)實(shí)現(xiàn)要素:

針對(duì)現(xiàn)有技術(shù)中的缺陷,本發(fā)明公開了一種人稱識(shí)別方法,能快速識(shí)別出語(yǔ)句中施動(dòng)者和受動(dòng)者對(duì)應(yīng)的人稱,快速理解語(yǔ)義,從而判斷施動(dòng)者或受動(dòng)者的喜好和習(xí)慣。

本發(fā)明的技術(shù)方案如下:

一種人稱識(shí)別方法,包括以下步驟:

S1:建立用于將語(yǔ)句切分成獨(dú)立詞語(yǔ)的分詞系統(tǒng);

S2:獲取語(yǔ)句,利用所述分詞系統(tǒng)對(duì)所述語(yǔ)句進(jìn)行分詞;

S3:通過(guò)預(yù)設(shè)字符模塊識(shí)別語(yǔ)句中的預(yù)設(shè)詞語(yǔ),若識(shí)別到預(yù)設(shè)詞語(yǔ),則將預(yù)設(shè)詞語(yǔ)刪除;

S4:通過(guò)句法分析模塊識(shí)別語(yǔ)句中的第一預(yù)定義詞語(yǔ),若識(shí)別到第一預(yù)定義詞語(yǔ),則將第一預(yù)定義詞語(yǔ)刪除;

S5:通過(guò)詞性分析模塊識(shí)別語(yǔ)句中的第二預(yù)定義詞語(yǔ),若識(shí)別到第二預(yù)定義詞語(yǔ),則將第二預(yù)定義詞語(yǔ)刪除;

S6:重復(fù)步驟S2到S4,得到人稱識(shí)別模型的訓(xùn)練語(yǔ)料;

S7:對(duì)所述訓(xùn)練語(yǔ)料進(jìn)行人稱標(biāo)注,并將標(biāo)注后的訓(xùn)練語(yǔ)料輸入到人稱識(shí)別模型中進(jìn)行訓(xùn)練,多次重復(fù)訓(xùn)練,直至人稱識(shí)別模型識(shí)別穩(wěn)定;

S8:獲取語(yǔ)句,并將語(yǔ)句輸入訓(xùn)練后的人稱識(shí)別模型中進(jìn)行識(shí)別,得到施動(dòng)者和受動(dòng)者對(duì)應(yīng)的人稱。

進(jìn)一步地,上述人稱識(shí)別方法中,所述人稱識(shí)別模型的訓(xùn)練方法為最大熵模型人稱訓(xùn)練法。

進(jìn)一步地,上述人稱識(shí)別方法中,所述人稱識(shí)別模型的訓(xùn)練方法為深度學(xué)習(xí)法。

進(jìn)一步地,上述人稱識(shí)別方法中,所述分詞系統(tǒng)包括分詞模型,所述分詞系統(tǒng)的分詞步驟如下:

通過(guò)所述分詞模型對(duì)語(yǔ)句進(jìn)行初步分詞;

根據(jù)預(yù)設(shè)分詞規(guī)則對(duì)初步分詞后的詞語(yǔ)進(jìn)行整合;

根據(jù)第三方詞典內(nèi)容對(duì)分詞規(guī)則整合后的詞語(yǔ)進(jìn)行語(yǔ)義合并。

進(jìn)一步地,上述人稱識(shí)別方法中,所述分詞模型為HMM分詞模型。

進(jìn)一步地,上述人稱識(shí)別方法中,所述分詞模型為CRF分詞模型。

進(jìn)一步地,上述人稱識(shí)別方法中,所述人稱包括第一人稱、第二人稱和第三人稱。

本發(fā)明的顯著效果:本發(fā)明公開的一種人稱識(shí)別方法,通過(guò)建立分詞系統(tǒng),用分詞系統(tǒng)對(duì)語(yǔ)句進(jìn)行分詞,利用預(yù)設(shè)字符模塊、句法分析模塊、詞性分析模塊將語(yǔ)句中預(yù)設(shè)的詞語(yǔ)和預(yù)定義的詞語(yǔ)進(jìn)行刪除,能快速識(shí)別出語(yǔ)句中施動(dòng)者和受動(dòng)者對(duì)應(yīng)的人稱,并進(jìn)行標(biāo)注,可以更快更好地理解語(yǔ)句語(yǔ)義,準(zhǔn)確地進(jìn)行問(wèn)題匹配,實(shí)現(xiàn)基于語(yǔ)義的智能問(wèn)答。

附圖說(shuō)明

圖1為本發(fā)明人稱識(shí)別方法實(shí)施例中的控制流程圖;

圖2為本發(fā)明人稱識(shí)別方法實(shí)施例中深度學(xué)習(xí)結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合附圖對(duì)本發(fā)明技術(shù)方案的實(shí)施例進(jìn)行詳細(xì)的描述。以下實(shí)施例僅用于更加清楚地說(shuō)明本發(fā)明的技術(shù)方案,因此只是作為示例,而不能以此來(lái)限制本發(fā)明的保護(hù)范圍。

實(shí)施例:

參照?qǐng)D1,為本發(fā)明人稱識(shí)別方法實(shí)施例中的控制流程圖,

具體步驟如下:

S1:建立用于將語(yǔ)句切分成獨(dú)立詞語(yǔ)的分詞系統(tǒng);其中,所述分詞系統(tǒng)包括分詞模型,所述分詞系統(tǒng)的分詞步驟如下:

通過(guò)所述分詞模型對(duì)語(yǔ)句進(jìn)行初步分詞;

根據(jù)預(yù)設(shè)分詞規(guī)則對(duì)初步分詞后的詞語(yǔ)進(jìn)行整合;

根據(jù)第三方詞典內(nèi)容對(duì)分詞規(guī)則整合后的詞語(yǔ)進(jìn)行語(yǔ)義合并。

所述分詞模型為HMM分詞模型;所述分詞模型為CRF分詞模型;所述人稱識(shí)別模型的訓(xùn)練方法為最大熵模型人稱訓(xùn)練法。

S2:獲取語(yǔ)句,利用所述分詞系統(tǒng)對(duì)所述語(yǔ)句進(jìn)行分詞。

S3:通過(guò)預(yù)設(shè)字符模塊識(shí)別語(yǔ)句中的預(yù)設(shè)詞語(yǔ),若識(shí)別到預(yù)設(shè)詞語(yǔ),則將預(yù)設(shè)詞語(yǔ)刪除;此處的預(yù)設(shè)詞語(yǔ)為“我覺(jué)得”、“我認(rèn)為”、“我感覺(jué)”等字符串,預(yù)設(shè)詞語(yǔ)由語(yǔ)言學(xué)家提供。

S4:通過(guò)句法分析模塊識(shí)別語(yǔ)句中的第一預(yù)定義詞語(yǔ),若識(shí)別到第一預(yù)定義詞語(yǔ),則將第一預(yù)定義詞語(yǔ)刪除;

S5:通過(guò)詞性分析模塊識(shí)別語(yǔ)句中的第二預(yù)定義詞語(yǔ),若識(shí)別到第二預(yù)定義詞語(yǔ),則將第二預(yù)定義詞語(yǔ)刪除;

S6:重復(fù)步驟S2到S4,得到人稱識(shí)別模型的訓(xùn)練語(yǔ)料;

S7:對(duì)所述訓(xùn)練語(yǔ)料進(jìn)行人稱標(biāo)注,并將標(biāo)注后的訓(xùn)練語(yǔ)料輸入到人稱識(shí)別模型中進(jìn)行訓(xùn)練,多次重復(fù)訓(xùn)練,直至人稱識(shí)別模型識(shí)別穩(wěn)定;

S8:獲取語(yǔ)句,并將語(yǔ)句輸入訓(xùn)練后的人稱識(shí)別模型中進(jìn)行識(shí)別,得到施動(dòng)者和受動(dòng)者對(duì)應(yīng)的人稱,人稱包括第一人稱、第二人稱、第三人稱以及其他。

參照?qǐng)D2,為本發(fā)明人稱識(shí)別方法實(shí)施例中深度學(xué)習(xí)結(jié)構(gòu)示意圖,人稱識(shí)別模型的訓(xùn)練方法為深度學(xué)習(xí)法,圖2中的“詞嵌入”即指“word embedding”,是機(jī)器深度學(xué)習(xí)語(yǔ)言前的一個(gè)步驟;“CNN”為深度機(jī)器學(xué)習(xí)方法中的一個(gè)學(xué)習(xí)模型,為卷積神經(jīng)網(wǎng)絡(luò)“Convolutional neural network”;“GRU”指“Gated Recurrent Unit”門控循環(huán)單元;深度學(xué)習(xí)的過(guò)程如下:輸入語(yǔ)句,經(jīng)過(guò)分詞系統(tǒng)進(jìn)行分詞后,做詞嵌入,經(jīng)兩層CNN卷積神經(jīng)網(wǎng)絡(luò)分析后將結(jié)果導(dǎo)入雙向的GRU門控循環(huán)單元,依次將雙向的GRU輸出的結(jié)果進(jìn)行合并Merge和全連接層Dense后輸出分類文本。

以下以一個(gè)例子具體展現(xiàn)本發(fā)明的人稱識(shí)別方法:

語(yǔ)句1:我覺(jué)得你是一個(gè)很熱情的人。

利用分詞系統(tǒng)對(duì)語(yǔ)句進(jìn)行分詞;

通過(guò)預(yù)設(shè)字符模塊識(shí)別語(yǔ)句中的預(yù)設(shè)詞語(yǔ),若識(shí)別到預(yù)設(shè)詞語(yǔ),則將預(yù)設(shè)詞語(yǔ)刪除;刪除語(yǔ)句中的“我覺(jué)得”,剩余內(nèi)容的分詞結(jié)果中包含人稱代詞“你”和動(dòng)詞“是”;

通過(guò)句法分析模塊識(shí)別語(yǔ)句中的第一預(yù)定義詞語(yǔ),若識(shí)別到第一預(yù)定義詞語(yǔ),則將第一預(yù)定義詞語(yǔ)刪除;在句法分析結(jié)果中,熱情是定語(yǔ),刪除不影響人稱的定語(yǔ),得到句子“你是一個(gè)很的人”;

通過(guò)詞性分析模塊識(shí)別語(yǔ)句中的第二預(yù)定義詞語(yǔ),若識(shí)別到第二預(yù)定義詞語(yǔ),則將第二預(yù)定義詞語(yǔ)刪除;根據(jù)原始句子“我覺(jué)得你是一個(gè)很熱情的人”中各分詞的詞性,刪除副詞“很”,得到句子“你是一個(gè)人”;

重復(fù)步驟S2到S4,得到人稱識(shí)別模型的訓(xùn)練語(yǔ)料;對(duì)所述訓(xùn)練語(yǔ)料進(jìn)行人稱標(biāo)注,給出語(yǔ)句中的施動(dòng)者和受動(dòng)者人稱,施動(dòng)人稱為第二人稱,無(wú)受動(dòng)人稱;在問(wèn)題匹配中,通過(guò)關(guān)鍵詞“熱情”和“人”,從知識(shí)庫(kù)中得到兩個(gè)問(wèn)答對(duì),其中一個(gè)問(wèn)答對(duì)所對(duì)應(yīng)的問(wèn)題是“你是熱情的人”,另一個(gè)問(wèn)答對(duì)所對(duì)應(yīng)的問(wèn)題是“他是一個(gè)熱情的人”,則通過(guò)以上方法得到句子“你是熱情的人”的施動(dòng)人稱為第二人稱,無(wú)受動(dòng)人稱;句子“他是一個(gè)熱情的人”的施動(dòng)人稱為第三人稱,無(wú)受動(dòng)人稱。則在問(wèn)題匹配中,認(rèn)為“你是熱情的人”與原問(wèn)題“我覺(jué)得你是一個(gè)很熱情的人”人稱一致,因此更匹配。

使用最大熵模型訓(xùn)練人稱模型過(guò)程中,有如下特征:

二元特征,包括語(yǔ)句中前后兩個(gè)字符形成的特征序列;

例如,句首的兩個(gè)字符,句尾的兩個(gè)字符,句首的三個(gè)字符,句尾的三個(gè)字符,句子中的第2個(gè)和第3個(gè)字符、句子中的倒數(shù)第2個(gè)和倒數(shù)第3個(gè)字符,句子中是否包含了字符“被”,句子中是否包含了字符“把”,句子中是否包含了字符“跟”、“和”、“與”、“同”,詞語(yǔ)“你”或“你們”是否在句首,詞語(yǔ)“我”、“我們”、“自己”、“我家”、“我們家”是否在句首,詞語(yǔ)“他”、“她”、“他們”、“她們”、“誰(shuí)”是否在句首,句子的分詞序列,句子的分詞及其詞性序列。

本發(fā)明公開的一種人稱識(shí)別方法,通過(guò)建立分詞系統(tǒng),用分詞系統(tǒng)對(duì)語(yǔ)句進(jìn)行分詞,利用預(yù)設(shè)字符模塊、句法分析模塊、詞性分析模塊將語(yǔ)句中預(yù)設(shè)的詞語(yǔ)和預(yù)定義的詞語(yǔ)進(jìn)行刪除,得到人稱識(shí)別模型訓(xùn)練語(yǔ)料,并訓(xùn)練出穩(wěn)定的人稱識(shí)別模型;通過(guò)該人稱識(shí)別模型,我們可以快速識(shí)別出語(yǔ)句中施動(dòng)者和受動(dòng)者對(duì)應(yīng)的人稱,并進(jìn)行標(biāo)注,從而更快更好地理解語(yǔ)句語(yǔ)義,對(duì)于語(yǔ)句分析有重要的促進(jìn)作用,同時(shí)根據(jù)判斷的語(yǔ)句,我們可以推導(dǎo)出施動(dòng)者或受動(dòng)者在日常生活中的一些個(gè)人喜好和個(gè)人習(xí)慣,對(duì)自然語(yǔ)言研究具有促進(jìn)意義。

本發(fā)明的說(shuō)明書中,說(shuō)明了大量具體細(xì)節(jié)。然而,能夠理解,本發(fā)明的實(shí)施例可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中,并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù),以便不模糊對(duì)本說(shuō)明書的理解。

最后應(yīng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍,其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說(shuō)明書的范圍當(dāng)中。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1