一種用于檢索的數(shù)據(jù)處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種用于檢索的數(shù)據(jù)處理方法和裝置。
【背景技術(shù)】
[0002] 在通過(guò)互聯(lián)網(wǎng)進(jìn)行檢索或者諸如問(wèn)答社區(qū)、論壇、百科之類的網(wǎng)絡(luò)資源中，通常會(huì) 有諸如"孕婦能吃西瓜嗎"、"給寶寶用礦泉水沖奶好嗎"之類的問(wèn)題，這類問(wèn)題的答案通常 為"是（YES，肯定）"或者"否（NO,否定）"，我們稱之為是/非問(wèn)題（也稱為YES-NO問(wèn)題或 極性問(wèn)題）?；ヂ?lián)網(wǎng)用戶在獲取這類是/非問(wèn)題的相關(guān)答案時(shí)，目前只能通過(guò)搜索引擎來(lái)獲 取零散的相關(guān)網(wǎng)頁(yè)，然后再經(jīng)過(guò)人工過(guò)濾不相關(guān)網(wǎng)頁(yè)并自行分析其中的答案觀點(diǎn)，這導(dǎo)致 對(duì)答案相關(guān)的檢索結(jié)果的數(shù)據(jù)分析或處理的效率較低。

【發(fā)明內(nèi)容】

[0003] 為解決上述的技術(shù)問(wèn)題，本發(fā)明提供了一種用于檢索的數(shù)據(jù)處理方法和裝置，針 對(duì)是/非問(wèn)題和該問(wèn)題對(duì)應(yīng)的答案網(wǎng)頁(yè)，能夠生成對(duì)應(yīng)的問(wèn)題-答案模板對(duì)，并依據(jù)問(wèn)題 答案模板對(duì)確定該是/非問(wèn)題與答案片段的匹配度，以匹配度作為度量抽取相應(yīng)的答案片 段，大大改善了對(duì)檢索結(jié)果的數(shù)據(jù)處理的效率、準(zhǔn)確度，并且從抽取出的答案片段中確定對(duì) 是/非問(wèn)題的觀點(diǎn)為肯定或否定，改善了針對(duì)是/非問(wèn)題的觀點(diǎn)數(shù)據(jù)的獲取效率和可靠性， 使得用戶可方便、快捷地查看是/非問(wèn)題的檢索結(jié)果。
[0004] 根據(jù)本發(fā)明實(shí)施方式的第一方面，提供了一種用于檢索的數(shù)據(jù)處理方法，該方法 可包括：獲取問(wèn)題和包含所述問(wèn)題的答案的頁(yè)面數(shù)據(jù)，其中，所述問(wèn)題是答案為肯定或否定 的問(wèn)題，根據(jù)所述問(wèn)題和所述頁(yè)面數(shù)據(jù)生成與所述問(wèn)題配對(duì)的問(wèn)題-答案模板對(duì)〈問(wèn)題，答 案〉，根據(jù)所述問(wèn)題和所述頁(yè)面數(shù)據(jù)中答案片段的匹配度從所述頁(yè)面數(shù)據(jù)中抽取一個(gè)以上 答案片段，其中，所述問(wèn)題和所述頁(yè)面數(shù)據(jù)中第一答案片段的匹配度通過(guò)下述比例進(jìn)行計(jì) 算：所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉中每一個(gè)答案與所述第一答案片段的共同詞條的 加權(quán)之和占所述第一答案片段的比例，根據(jù)抽取出的所述一個(gè)以上答案片段的否定指示詞 個(gè)數(shù)和所述問(wèn)題的否定指示詞個(gè)數(shù)確定所述一個(gè)以上答案片段的觀點(diǎn)為肯定或否定。
[0005] 在本發(fā)明的一些實(shí)施方式中，所述方法還可包括：統(tǒng)計(jì)所述一個(gè)以上答案片段的 觀點(diǎn)為肯定或否定的比例，抽取觀點(diǎn)為肯定或否定的對(duì)應(yīng)答案片段作為所述比例的附加信 息，并向用戶顯示所述比例和所述附加信息。
[0006] 在本發(fā)明的一些實(shí)施方式中，所述方法還可包括通過(guò)下述一種以上形式顯示所述 比例：百分比、表格、柱狀圖、線條圖。
[0007] 在本發(fā)明的一些實(shí)施方式中，根據(jù)所述問(wèn)題和所述頁(yè)面數(shù)據(jù)生成與所述問(wèn)題配對(duì) 的問(wèn)題-答案模板對(duì)〈問(wèn)題，答案 > 可包括：分析所述問(wèn)題的一個(gè)以上第一主干結(jié)構(gòu)和所述 網(wǎng)頁(yè)數(shù)據(jù)的答案片段之一的一個(gè)以上第二主干結(jié)構(gòu)，將所述第一主干結(jié)構(gòu)和所述第二主干 結(jié)構(gòu)構(gòu)建為第一類問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉，獲取與所述一個(gè)以上第一主干結(jié)構(gòu)相 同的第一組問(wèn)題所對(duì)應(yīng)的一個(gè)以上答案片段，篩選所述第一組問(wèn)題對(duì)應(yīng)的答案片段的一個(gè) 以上n-gram和n-skipgram作為答案組成成分，將篩選出的所述第一組問(wèn)題的主干結(jié)構(gòu)和 所述第一組問(wèn)題對(duì)應(yīng)的答案片段的主干結(jié)構(gòu)構(gòu)建為第二類問(wèn)題-答案模板對(duì)〈問(wèn)題，答案 >，將所述第一類問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉和所述第二類問(wèn)題-答案模板對(duì)〈問(wèn)題， 答案〉合并得到所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉。
[0008] 在本發(fā)明的一些實(shí)施方式中，所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉中每一個(gè)答案 與所述第一答案片段的共同詞條的加權(quán)為下述的第一分量和第二分量的算術(shù)乘積，其中， 第一分量為所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉的所有答案中所述共同詞條的出現(xiàn)次數(shù) 與所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉的所有答案中所有詞的出現(xiàn)次數(shù)的比值，第二分量 為所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉的所有答案的個(gè)數(shù)與所述問(wèn)題-答案模板對(duì)〈問(wèn) 題，答案〉中包含所述共同詞條的答案?jìng)€(gè)數(shù)的比值取對(duì)數(shù)。
[0009] 根據(jù)本發(fā)明實(shí)施方式的第二方面，提供了一種用于檢索的數(shù)據(jù)處理裝置，該裝置 可包括：獲取模塊，用于獲取問(wèn)題和包含所述問(wèn)題的答案的頁(yè)面數(shù)據(jù)，其中，所述問(wèn)題是答 案為肯定或否定的問(wèn)題，生成模塊，用于根據(jù)所述問(wèn)題和所述頁(yè)面數(shù)據(jù)生成與所述問(wèn)題配 對(duì)的問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉，抽取模塊，用于根據(jù)所述問(wèn)題和所述頁(yè)面數(shù)據(jù)中答 案片段的匹配度從所述頁(yè)面數(shù)據(jù)中抽取一個(gè)以上答案片段，其中，所述問(wèn)題和所述頁(yè)面數(shù) 據(jù)中第一答案片段的匹配度通過(guò)下述比例進(jìn)行計(jì)算：所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉 中每一個(gè)答案與所述第一答案片段的共同詞條的加權(quán)之和占所述第一答案片段的比例，判 斷模塊，用于根據(jù)抽取出的所述一個(gè)以上答案片段的否定指示詞個(gè)數(shù)和所述問(wèn)題的否定指 示詞個(gè)數(shù)確定所述一個(gè)以上答案片段的觀點(diǎn)為肯定或否定。
[0010] 在本發(fā)明的一些實(shí)施方式中，所述裝置還可包括：顯示模塊，用于統(tǒng)計(jì)所述一個(gè)以 上答案片段的觀點(diǎn)為肯定或否定的比例，并抽取觀點(diǎn)為肯定或否定的對(duì)應(yīng)答案片段作為所 述比例的附加信息，并向用戶顯示所述比例和所述附加信息。
[0011] 在本發(fā)明的一些實(shí)施方式中，所述顯示模塊還可用于通過(guò)下述一種以上形式顯示 所述比例：百分比、表格、柱狀圖、線條圖。
[0012] 在本發(fā)明的一些實(shí)施方式中，所述生成模塊，可用于進(jìn)行下述操作：分析所述問(wèn)題 的一個(gè)以上第一主干結(jié)構(gòu)和所述網(wǎng)頁(yè)數(shù)據(jù)的答案片段之一的一個(gè)以上第二主干結(jié)構(gòu)，將所 述第一主干結(jié)構(gòu)和所述第二主干結(jié)構(gòu)構(gòu)建為第一類問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉，獲取 與所述一個(gè)以上第一主干結(jié)構(gòu)相同的第一組問(wèn)題所對(duì)應(yīng)的一個(gè)以上答案片段，篩選所述第 一組問(wèn)題對(duì)應(yīng)的答案片段的一個(gè)以上n-gram和n-skipgram作為答案組成成分，將篩選出 的所述第一組問(wèn)題的主干結(jié)構(gòu)和所述第一組問(wèn)題對(duì)應(yīng)的答案片段的主干結(jié)構(gòu)構(gòu)建為第二 類問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉，將所述第一類問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉和所述 第二類問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉合并得到所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉。
[0013] 在本發(fā)明的一些實(shí)施方式中，所述抽取模塊中所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案 >中每一個(gè)答案與所述第一答案片段的共同詞條的加權(quán)為下述的第一分量和第二分量的算 術(shù)乘積，其中，第一分量為所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉的所有答案中所述共同詞 條的出現(xiàn)次數(shù)與所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉的所有答案中所有詞的出現(xiàn)次數(shù)的 比值，第二分量為所述問(wèn)題-答案模板對(duì)〈問(wèn)題，答案〉的所有答案的個(gè)數(shù)與所述問(wèn)題-答 案模板對(duì)〈問(wèn)題，答案〉中包含所述共同詞條的答案?jìng)€(gè)數(shù)的比值取對(duì)數(shù)。
[0014] 本發(fā)明實(shí)施方式提供的上述方法和裝置，通過(guò)是/非問(wèn)題和答案片段的匹配度抽 取答案片段，顯著改善了檢索結(jié)果數(shù)據(jù)針對(duì)該問(wèn)題的針對(duì)性，提高了檢索結(jié)果數(shù)據(jù)的準(zhǔn)確 性和可靠性；通過(guò)抽取出的答案片段進(jìn)行觀點(diǎn)分析，提高對(duì)是/非問(wèn)題檢索結(jié)果的數(shù)據(jù)處 理效率，有利于高效地獲取對(duì)于該問(wèn)題的答案；通過(guò)簡(jiǎn)單、直觀的顯示形式展示針對(duì)是/非 問(wèn)題的觀點(diǎn)比例和對(duì)應(yīng)的答案片段，方便了用戶快捷、對(duì)比查看檢索結(jié)果數(shù)據(jù)。
【附圖說(shuō)明】
[0015] 圖1圖示了根據(jù)本發(fā)明一種實(shí)施方式的用于檢索的數(shù)據(jù)處理方法的流程示意圖；
[0016] 圖2圖示了根據(jù)本發(fā)明一種實(shí)施方式的用于檢索的數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0017] 為使本發(fā)明實(shí)施方式的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā) 明作進(jìn)一步地詳細(xì)描述。
[0018] 參見(jiàn)圖1，圖示了根據(jù)本發(fā)明一種實(shí)施方式的用于檢索的數(shù)據(jù)處理方法的流程示 意圖，該用于檢索的數(shù)據(jù)處理方法可包括：
[0019] S101，獲取問(wèn)題和包含所述問(wèn)題的答案的頁(yè)面數(shù)據(jù)，其中，該問(wèn)題是答案為肯定或 否定的問(wèn)題，
[0020] S102,根據(jù)該問(wèn)題和該頁(yè)面數(shù)據(jù)生成與該問(wèn)題配對(duì)的問(wèn)題-答案