一種搜索結(jié)果相關(guān)性評測方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種搜索結(jié)果相關(guān)性評測方法及裝置，該搜索結(jié)果相關(guān)性評測方法包括：設(shè)定搜索結(jié)果的標(biāo)準(zhǔn)對象、評測對象和評測關(guān)鍵詞；根據(jù)評測關(guān)鍵詞獲得標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果；根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度。本發(fā)明實(shí)施例的搜索結(jié)果相關(guān)性評測方法及裝置實(shí)現(xiàn)了由機(jī)器對于不同環(huán)境對象間搜索結(jié)果進(jìn)行差異度的監(jiān)控，評測準(zhǔn)確以及能配置各種對象、對不同情況進(jìn)行評測。
【專利說明】一種搜索結(jié)果相關(guān)性評測方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及搜索【技術(shù)領(lǐng)域】，特別是涉及一種搜索結(jié)果相關(guān)性評測方法及裝置。
【背景技術(shù)】
[0002]搜索引擎技術(shù)門檻高，調(diào)整搜索結(jié)果排序相關(guān)性至理想狀態(tài)難度較大。新數(shù)據(jù)源的引入、搜索算法的調(diào)整、及其他特殊處理都可能會對搜索結(jié)果排序相關(guān)性產(chǎn)生較大的影響，但是這些影響不一定符合預(yù)期的需求。現(xiàn)有技術(shù)中通常采用DCG (Discountedcumulative gain，遞減累積增益)來對搜索結(jié)果進(jìn)行評測，DCG是一個衡量搜索引擎算法的指標(biāo)，使用DCG公式在帶入當(dāng)前產(chǎn)品定義的位置權(quán)重時，會有分母log值為O的情況，造成某些計(jì)算上的難題，若分母為O的情況下認(rèn)為當(dāng)前i項(xiàng)值為0，則會造成某些特殊排序變化間得分相同，因此使用遞減累積增益方式對搜索結(jié)果進(jìn)行評測不準(zhǔn)確，另外，使用遞減累積增益方式無法隨時靈活的配置各種對象，對不同情況進(jìn)行評測對比。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于，提供一種新的搜索結(jié)果相關(guān)性評測方法及裝置，以解決現(xiàn)有的搜索評測方式評測不準(zhǔn)確以及不能配置各種對象、對不同情況進(jìn)行評測的問題。
[0004]本發(fā)明的目的及解決其技術(shù)問題是采用以下技術(shù)方案來實(shí)現(xiàn)的。
[0005]本發(fā)明提供一種搜索結(jié)果相關(guān)性評測方法，包括:
[0006]設(shè)定搜索結(jié)果的標(biāo)準(zhǔn)對象、評測對象和評測關(guān)鍵詞；
[0007]根據(jù)評測關(guān)鍵詞獲得標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果；
[0008]根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度。
[0009]本發(fā)明還提供一種搜索結(jié)果相關(guān)性評測裝置，包括:
[0010]設(shè)定模塊:用于設(shè)定搜索結(jié)果的標(biāo)準(zhǔn)對象、評測對象和評測關(guān)鍵詞；
[0011]結(jié)果獲取模塊:用于根據(jù)評測關(guān)鍵詞獲得標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果；
[0012]相關(guān)性差異度計(jì)算模塊:用于根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度。
[0013]本發(fā)明的技術(shù)方案具有如下優(yōu)點(diǎn)或有益效果:本發(fā)明實(shí)施例的搜索結(jié)果相關(guān)性評測方法及裝置通過設(shè)定搜索結(jié)果的標(biāo)準(zhǔn)對象、評測對象，并根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度，實(shí)現(xiàn)了由機(jī)器對于不同環(huán)境對象間搜索結(jié)果進(jìn)行差異度的監(jiān)控，評測準(zhǔn)確以及能配置各種對象、對不同情況進(jìn)行評測，另外，對于差異度較大的情況進(jìn)行校驗(yàn)及判斷，得出各種會影響搜索結(jié)果排序的后臺改動的因素及問題，確保改動的合理性。
[0014]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其他目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉較佳實(shí)施例，并配合附圖，詳細(xì)說明如下?！緦＠綀D】

【附圖說明】
[0015]圖1為本發(fā)明第一實(shí)施例的搜索結(jié)果相關(guān)性評測方法的流程示意圖；
[0016]圖2為本發(fā)明第二實(shí)施例的搜索結(jié)果相關(guān)性評測方法的流程示意圖；
[0017]圖3為本發(fā)明第一實(shí)施例的搜索結(jié)果相關(guān)性評測裝置的結(jié)構(gòu)示意圖；
[0018]圖4為本發(fā)明第二實(shí)施例的搜索結(jié)果相關(guān)性評測裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0019]為更進(jìn)一步闡述本發(fā)明為達(dá)成預(yù)定發(fā)明目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及較佳實(shí)施例，對依據(jù)本發(fā)明提出的搜索結(jié)果相關(guān)性評測方法及裝置其【具體實(shí)施方式】、方法、步驟、結(jié)構(gòu)、特征及其功效，詳細(xì)說明如下。
[0020]有關(guān)本發(fā)明的前述及其他技術(shù)內(nèi)容、特點(diǎn)及功效，在以下配合參考圖式的較佳實(shí)施例的詳細(xì)說明中將可清楚呈現(xiàn)。通過【具體實(shí)施方式】的說明，當(dāng)可對本發(fā)明為達(dá)成預(yù)定目的所采取的技術(shù)手段及功效得以更加深入且具體的了解，然而所附圖式僅是提供參考與說明之用，并非用來對本發(fā)明加以限制。
[0021]圖1為本發(fā)明第一實(shí)施例的搜索結(jié)果相關(guān)性評測方法的流程示意圖。如圖1所示，本發(fā)明第一實(shí)施例的搜索結(jié)果相關(guān)性評測方法包括:
[0022]步驟100:設(shè)定搜 索結(jié)果的標(biāo)準(zhǔn)對象、評測對象和評測關(guān)鍵詞；
[0023]在步驟100中，本發(fā)明第一實(shí)施例的搜索結(jié)果相關(guān)性評測方法可以應(yīng)用在環(huán)境間的相關(guān)性評測，可以設(shè)置任意環(huán)境為標(biāo)準(zhǔn)對象或評測對象，對不同環(huán)境進(jìn)行自由評測比對，例如設(shè)置線上環(huán)境為標(biāo)準(zhǔn)對象，測試環(huán)境為被評測對象，則線上環(huán)境的搜索結(jié)果排序?yàn)闃?biāo)準(zhǔn)排序，并對測試環(huán)境進(jìn)行評測；本發(fā)明第一實(shí)施例的搜索結(jié)果相關(guān)性評測方法也可以應(yīng)用在任意環(huán)境中產(chǎn)品人員定制的理想搜索結(jié)果排序評測，可以自由定制任意關(guān)鍵詞的理想搜索結(jié)果排序，并以此為標(biāo)準(zhǔn)對象結(jié)果，并選擇任何其他環(huán)境作為被評測對象與之對比評測。
[0024]步驟110:根據(jù)評測關(guān)鍵詞獲得標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果；
[0025]在步驟110中，可以根據(jù)需求，將標(biāo)準(zhǔn)對象的搜索結(jié)果排序?yàn)闈M分，進(jìn)行對評測對象搜索結(jié)果排序相關(guān)性的打分。
[0026]步驟120:根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相
關(guān)性差異度。
[0027]在步驟120中，計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度的方式為改良型NDCG(normalized discounted cumulative gain,歸一化折損累積增益)，其具體為:
[0028]錯誤！未找到引用源。代表標(biāo)準(zhǔn)對象結(jié)果總得分；
a ,
[0029]DCG = Y 代表評測對象結(jié)果總得分；
[0030]score = 代表評測對象得分作為分子，標(biāo)準(zhǔn)對象作為分母，以計(jì)算評測對象的得分占比情況，分?jǐn)?shù)越低說明差異度越大；
[0031]其中，差異度計(jì)算公式中計(jì)算因子i代表當(dāng)前結(jié)果位置；錯誤！未找到引用源。代表位置權(quán)重，以下為標(biāo)準(zhǔn)對象結(jié)果位置所對應(yīng)的默認(rèn)權(quán)重得分；f (i)表示評測對象的第i條在標(biāo)準(zhǔn)結(jié)果中的位置，relf(i)代表評測對象的第i條結(jié)果的權(quán)重。
[0032]各計(jì)算因子計(jì)算實(shí)例:
【權(quán)利要求】
1.一種搜索結(jié)果相關(guān)性評測方法，包括: 設(shè)定搜索結(jié)果的標(biāo)準(zhǔn)對象、評測對象和評測關(guān)鍵詞； 根據(jù)評測關(guān)鍵詞獲得標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果； 根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度。
2.根據(jù)權(quán)利要求1所述的搜索結(jié)果相關(guān)性評測方法，其特征在于，所述根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度步驟中，采用歸一化折損累積增益進(jìn)行評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度計(jì)算。
3.根據(jù)權(quán)利要求2所述的搜索結(jié)果相關(guān)性評測方法，其特征在于，所述采用歸一化折損累積增益計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度為:根據(jù)評測對象的位置權(quán)重在位置調(diào)整后的差值的絕對值和當(dāng)前結(jié)果位置得到評測對象結(jié)果得分，根據(jù)標(biāo)準(zhǔn)對象的位置權(quán)重和和當(dāng)前結(jié)果位置得到標(biāo)準(zhǔn)對象結(jié)果得分，評測對象結(jié)果得分與標(biāo)準(zhǔn)對象結(jié)果得分之比值作為評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度結(jié)果。
4.根據(jù)權(quán)利要求1所述的搜索結(jié)果相關(guān)性評測方法，其特征在于，所述根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度步驟后還包括:判斷評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度是否大于設(shè)定的閾值，所述評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度大于設(shè)定的閾值，對評測對象與標(biāo)準(zhǔn)對象的相關(guān)性差異度進(jìn)行校驗(yàn)及判斷，得出會影響搜索結(jié)果排序的改動 因素。
5.根據(jù)權(quán)利要求4所述的搜索結(jié)果相關(guān)性評測方法，其特征在于，所述評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度小于設(shè)定的閾值，提示搜索結(jié)果相關(guān)性符合預(yù)定的標(biāo)準(zhǔn)。
6.一種搜索結(jié)果相關(guān)性評測裝置，包括: 設(shè)定模塊:用于設(shè)定搜索結(jié)果的標(biāo)準(zhǔn)對象、評測對象和評測關(guān)鍵詞； 結(jié)果獲取模塊:用于根據(jù)評測關(guān)鍵詞獲得標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果； 相關(guān)性差異度計(jì)算模塊:用于根據(jù)標(biāo)準(zhǔn)對象、評測對象的搜索結(jié)果計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度。
7.根據(jù)權(quán)利要求6所述的搜索結(jié)果相關(guān)性評測裝置，其特征在于，所述相關(guān)性差異度計(jì)算模塊采用歸一化折損累積增益進(jìn)行評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度計(jì)算。
8.根據(jù)權(quán)利要求7所述的搜索結(jié)果相關(guān)性評測裝置，其特征在于，所述相關(guān)性差異度計(jì)算模塊采用歸一化折損累積增益計(jì)算評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度為:根據(jù)評測對象的位置權(quán)重在位置調(diào)整后的差值的絕對值和當(dāng)前結(jié)果位置得到評測對象結(jié)果得分，根據(jù)標(biāo)準(zhǔn)對象的位置權(quán)重和和當(dāng)前結(jié)果位置得到標(biāo)準(zhǔn)對象結(jié)果得分，評測對象結(jié)果得分與標(biāo)準(zhǔn)對象結(jié)果得分之比值作為評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度結(jié)果。
9.根據(jù)權(quán)利要求6或7所述的搜索結(jié)果相關(guān)性評測裝置，其特征在于，還包括校驗(yàn)?zāi)K，所述校驗(yàn)?zāi)K用于對評測對象與標(biāo)準(zhǔn)對象的相關(guān)性差異度進(jìn)行校驗(yàn)及判斷，得出會影響搜索結(jié)果排序的改動因素。
10.根據(jù)權(quán)利要求9所述的搜索結(jié)果相關(guān)性評測裝置，其特征在于，還包括提示模塊，所述提示模塊用于提示搜索結(jié)果相關(guān)性符合預(yù)定的標(biāo)準(zhǔn)。
11.根據(jù)權(quán)利要求9所述的搜索結(jié)果相關(guān)性評測裝置，其特征在于，還包括判斷模塊，所述判斷模塊用于判斷評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度是否大于設(shè)定的閾值，如果評測對象與標(biāo)準(zhǔn)對象間的相關(guān)性差異度大于設(shè)定的閾值，則通過校驗(yàn)?zāi)K進(jìn)行校驗(yàn)，如果評測對象與 標(biāo)準(zhǔn)對象間的相關(guān)性差異度沒有大于設(shè)定的閾值，則通過提示模塊給出提示。
【文檔編號】G06F17/30GK103838764SQ201210486725
【公開日】2014年6月4日 申請日期:2012年11月26日 優(yōu)先權(quán)日:2012年11月26日
【發(fā)明者】寧合軍, 曹越, 柳睿, 黎俊, 周暢 申請人:深圳市世紀(jì)光速信息技術(shù)有限公司