基于心理學(xué)行為分析的眾包欺詐檢測方法
【專利摘要】基于心理學(xué)行為分析的眾包欺詐檢測方法。?目前眾包質(zhì)量控制技術(shù)不能有效應(yīng)對眾包被檢測者的欺詐行為，導(dǎo)致眾包質(zhì)量低下。本發(fā)明的方法包括如下步驟:被檢測者對原始數(shù)據(jù)文檔進(jìn)行工作;通過時(shí)鐘控制單元（1）對整個(gè)系統(tǒng)的全局進(jìn)行時(shí)間控制，根據(jù)時(shí)鐘控制單元記錄的工作的時(shí)間以及次數(shù)，將文檔傳遞至數(shù)據(jù)分組單元（2）進(jìn)行動態(tài)地分組；通過數(shù)據(jù)分組單元將文檔階段性地分組，并且將達(dá)到標(biāo)準(zhǔn)的文檔傳送到其他單元進(jìn)行處理；被檢測者標(biāo)簽質(zhì)量控制單元（3）會對所得的文檔子集上的反映進(jìn)行篩選，最后被檢測者質(zhì)量控制單元（4）檢測到被檢測者的欺詐行為，發(fā)送電信號驅(qū)動標(biāo)記機(jī)（8）進(jìn)行標(biāo)記。本發(fā)明用于檢測眾包欺詐行為。
【專利說明】基于心理學(xué)行為分析的眾包欺詐檢測方法
[0001]【技術(shù)領(lǐng)域】:
本發(fā)明涉及一種基于心理學(xué)行為分析的眾包欺詐檢測方法。
[0002]【背景技術(shù)】:
目前，在軟件測試、人工智能的內(nèi)容篩選及機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)標(biāo)記等領(lǐng)域都有眾包的應(yīng)用。然而眾包技術(shù)還處于發(fā)展階段，仍有眾多因素嚴(yán)重影響了眾包結(jié)果質(zhì)量，使得眾包不能夠有效地為任務(wù)需求者服務(wù)。最終收集來的眾包結(jié)果含有大量的垃圾數(shù)據(jù)，需求者不得不浪費(fèi)眾多人力和物力，以解決眾包被檢測者的欺詐行為帶來的后果?，F(xiàn)有的一些眾包質(zhì)量控制技術(shù)雖然得到了應(yīng)用但卻收效甚微，為了提高眾包質(zhì)量，使得眾包得到有效地應(yīng)用。一種具有檢測欺詐行為眾包被檢測者，并且過濾掉質(zhì)量較差的垃圾數(shù)據(jù)的眾包欺詐檢測方法亟待被提出。
[0003]
【發(fā)明內(nèi)容】
:
本發(fā)明采用一種基于心理學(xué)的行為分析方法，引入艾賓浩斯遺忘曲線對眾包被檢測者的行為規(guī)律進(jìn)行判斷，通過比較欺詐行為與可靠行為之間的差異，完成眾包的欺詐檢測。
[0004]上述的目的通過以下的技術(shù)方案實(shí)現(xiàn):
一種基于心理學(xué)行為分析的眾包欺詐檢測方法，該方法包括如下步驟:被檢測者對原始數(shù)據(jù)文檔進(jìn)行工作；
通過時(shí)鐘控制單元對整個(gè)系統(tǒng)的全局進(jìn)行時(shí)間控制，從被檢測者著手工作開始計(jì)時(shí)，當(dāng)達(dá)到預(yù)定的時(shí)間點(diǎn)時(shí)，觸發(fā)各個(gè)單元執(zhí)行特定功能；根據(jù)時(shí)鐘控制單元記錄的工作的時(shí)間以及次數(shù)，將文檔傳遞至數(shù)據(jù)分組單元進(jìn)行動態(tài)地分組；
通過數(shù)據(jù)分組單元根據(jù)被檢測者對各個(gè)文檔打分后保持當(dāng)前狀態(tài)不變的時(shí)間長度以及文檔被重復(fù)打分的次數(shù)，將文檔階段性地分組，并且將達(dá)到標(biāo)準(zhǔn)的文檔傳送到其他單元進(jìn)行處理；
隨著任務(wù)的推進(jìn)，被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，最后被檢測者質(zhì)量控制單元根據(jù)以上結(jié)果比對進(jìn)而檢測到被檢測者的欺詐行為，發(fā)送電信號驅(qū)動標(biāo)記機(jī)進(jìn)行標(biāo)記。
[0005]所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，所述的數(shù)據(jù)分組單元中包含三個(gè)子數(shù)據(jù)集0、w和T，用于階段性地存儲分組數(shù)據(jù)，并且不斷地把文檔定時(shí)重新呈獻(xiàn)給用戶再次工作。
[0006]所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，所述的被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，是依據(jù)被檢測者記憶會隨著時(shí)間的推移而減退，并且針對認(rèn)真程度不同的工作，記憶的清晰程度也同樣不同情況，根據(jù)被檢測者的記憶在工作時(shí)間以及多次工作一致程度上的反映，此單元階段性地對各被檢測者所完成任務(wù)的標(biāo)簽質(zhì)量進(jìn)行評估，并將其與閾值相比較篩選出質(zhì)量合格的標(biāo)簽。
[0007]所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，是根據(jù)所述的時(shí)鐘控制單元、所述的數(shù)據(jù)分組單元、所述的被檢測者標(biāo)簽質(zhì)量控制單元的輸出數(shù)據(jù)，綜合根據(jù)被檢測者在各時(shí)間段的表現(xiàn)以及完成任務(wù)的質(zhì)量，檢測被檢測者的欺詐行為，識別并過濾那些不可信的被檢測者。
[0008]有益效果:
1.本發(fā)明通過對被檢測者重復(fù)性工作進(jìn)行比較，得出質(zhì)量評判結(jié)果，改變以往眾包檢測的單純篩選機(jī)制，增大了眾包檢測的適應(yīng)范圍，促進(jìn)了眾包技術(shù)在多領(lǐng)域的應(yīng)用和發(fā)展。
[0009]2.本發(fā)明能夠通過采用一種基于心理學(xué)的行為分析方法，引入艾賓浩斯遺忘曲線對眾包被檢測者的行為規(guī)律進(jìn)行判斷，通過比較欺詐行為與可靠行為之間的差異，完成眾包的欺詐檢測，提高了眾包質(zhì)量篩選的準(zhǔn)確度，大幅度的節(jié)省任務(wù)發(fā)起者的人力、物力以及時(shí)間。本發(fā)明技術(shù)是一種應(yīng)用于眾包中的質(zhì)量控制方法，其創(chuàng)新地將心理學(xué)中的艾賓浩斯記憶規(guī)律與計(jì)算機(jī)技術(shù)結(jié)合，解決在眾包工作中的工人存在欺詐行為的問題。
[0010]3.我們參加了國際文本檢索會議的眾包評測，以評測我們的技術(shù)。會議為各個(gè)檢測參賽單位提供了屬于10個(gè)主題的2758個(gè)網(wǎng)頁文件作為測試數(shù)據(jù)。首先，我們建立了眾包平臺，令用戶依據(jù)6個(gè)關(guān)聯(lián)性等級對會議提供給我們的測試數(shù)據(jù)進(jìn)行打分貼標(biāo)簽。然后，我們將系統(tǒng)檢測過濾后的具有標(biāo)簽的數(shù)據(jù)結(jié)果提交給評委。最后，會議利用他們的黃金標(biāo)準(zhǔn)(會議給出的具有標(biāo)簽的數(shù)據(jù))對各參賽隊(duì)伍提交的結(jié)果進(jìn)行評估。
[0011]在評估的過程中，TREC利用網(wǎng)頁評測任務(wù)參賽者提交的34個(gè)信息檢索系統(tǒng)對眾包評測任務(wù)的數(shù)據(jù)進(jìn)行檢索得到排名列表。再根據(jù)我們提交的帶有標(biāo)簽的數(shù)據(jù)以及黃金標(biāo)準(zhǔn)，分別計(jì)算各個(gè)檢索系統(tǒng)的ERR020值以便對這34個(gè)系統(tǒng)進(jìn)行排名。得出這兩個(gè)系統(tǒng)排名列表后，會議利用APCorr (平均準(zhǔn)確度相關(guān)性)來度量二者的相關(guān)性。它側(cè)重降序排名的錯(cuò)誤率，并且有很好的概率解釋，其取值范圍是從-1到+1，并且值越大也能說明眾包結(jié)果的質(zhì)量高。最終，本發(fā)明技術(shù)的APCorr值達(dá)到了 0.480，高于進(jìn)入決賽的其他隊(duì)伍的成績。這說明我們的眾包欺詐檢測方法能有效地改善眾包結(jié)果質(zhì)量，并且性能優(yōu)于一般的國際高水平眾包結(jié)果質(zhì)量控制方法。
[0012]【專利附圖】

【附圖說明】:
附圖1是本發(fā)明的工作原理圖。
[0013]附圖2是本發(fā)明的檢測流程圖。
[0014]附圖3是本發(fā)明的記機(jī)的接口驅(qū)動電路原理圖。
[0015]【具體實(shí)施方式】:
實(shí)施例1:
基于心理學(xué)行為分析的眾包欺詐檢測方法，該方法包括如下步驟:被檢測者對原始數(shù)據(jù)文檔進(jìn)行工作；
通過時(shí)鐘控制單元I對整個(gè)系統(tǒng)的全局進(jìn)行時(shí)間控制，從被檢測者著手工作開始計(jì)時(shí)，當(dāng)達(dá)到預(yù)定的時(shí)間點(diǎn)時(shí)，觸發(fā)各個(gè)單元執(zhí)行特定功能；根據(jù)時(shí)鐘控制單元記錄的工作的時(shí)間以及次數(shù)，將文檔傳遞至數(shù)據(jù)分組單元進(jìn)行動態(tài)地分組；
通過數(shù)據(jù)分組單元2根據(jù)被檢測者對各個(gè)文檔打分后保持當(dāng)前狀態(tài)不變的時(shí)間長度以及文檔被重復(fù)打分的次數(shù)，將文檔階段性地分組，并且將達(dá)到標(biāo)準(zhǔn)的文檔傳送到其他單元進(jìn)行處理；
隨著任務(wù)的推進(jìn)，被檢測者標(biāo)簽質(zhì)量控制單元3會對所得的文檔子集上的反映進(jìn)行篩選，最后被檢測者質(zhì)量控制單元4根據(jù)以上結(jié)果比對進(jìn)而檢測到被檢測者的欺詐行為，發(fā)送電信號驅(qū)動標(biāo)記機(jī)進(jìn)行標(biāo)記8。
[0016]實(shí)施例2:
根據(jù)實(shí)施例1所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，所述的數(shù)據(jù)分組單元中包含三個(gè)子數(shù)據(jù)件號:5、W，件號:6和T，件號:7，用于階段性地存儲分組數(shù)據(jù)，并且不斷地把文檔定時(shí)重新呈獻(xiàn)給用戶再次工作。
[0017]實(shí)施例3:
根據(jù)實(shí)施例1或2所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，所述的被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，是依據(jù)被檢測者記憶會隨著時(shí)間的推移而減退，并且針對認(rèn)真程度不同的工作，記憶的清晰程度也同樣不同情況，根據(jù)被檢測者的記憶在工作時(shí)間以及多次工作一致程度上的反映，此單元階段性地對各被檢測者所完成任務(wù)的標(biāo)簽質(zhì)量進(jìn)行評估，并將其與閾值相比較篩選出質(zhì)量合格的標(biāo)簽。
[0018]實(shí)施例4:
根據(jù)實(shí)施例1或2或3所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，是根據(jù)所述的時(shí)鐘控制單元、所述的數(shù)據(jù)分組單元、所述的被檢測者標(biāo)簽質(zhì)量控制單元的輸出數(shù)據(jù)，綜合根據(jù)被檢測者在各時(shí)間段的表現(xiàn)以及完成任務(wù)的質(zhì)量，檢測被檢測者的欺詐行為，識別并過濾那些不可信的被檢測者。
[0019]實(shí)施例5:
根據(jù)實(shí)施例1或2或3或4所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，所述的被檢測者標(biāo)簽質(zhì)量控制單元依據(jù)被檢測者記憶會隨著時(shí)間的推移而減退，并且針對認(rèn)真程度不同的工作，記憶的清晰程度也同樣不同的原理，根據(jù)被檢測者的記憶在工作時(shí)間以及多次工作一致程度上的反映，此單元階段性地對各被檢測者所完成任務(wù)的標(biāo)簽質(zhì)量進(jìn)行評估，并將其與閾值相比較篩選出質(zhì)量合格的標(biāo)簽。
[0020]實(shí)施例6:
根據(jù)實(shí)施例1或2或3或4或5所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，是根據(jù)所述的時(shí)鐘控制單元、所述的數(shù)據(jù)分組單元、所述的被檢測者標(biāo)簽質(zhì)量控制單元的輸出數(shù)據(jù)，綜合根據(jù)被檢測者在各時(shí)間段的表現(xiàn)以及完成任務(wù)的質(zhì)量，檢測被檢測者的欺詐行為，識別并過濾那些不可信的被檢測者。
[0021]實(shí)施例7:
根據(jù)實(shí)施例1或2或3或4或5或6所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，如附圖2所述四個(gè)數(shù)據(jù)集A、O、W和T，它們存儲著不同狀態(tài)下的眾包任務(wù)數(shù)據(jù)。其中，A集存儲著全部沒有被貼關(guān)聯(lián)標(biāo)簽的原始數(shù)據(jù)；當(dāng)某網(wǎng)頁被判斷過一次后，系統(tǒng)將其轉(zhuǎn)放至O集;W集中的網(wǎng)頁等待著眾包被檢測者的第二次判斷；若文檔被判斷了兩次會被系統(tǒng)放置在T集中。在眾包任務(wù)進(jìn)行中，系統(tǒng)隨機(jī)選擇網(wǎng)頁并且優(yōu)先將被判斷次數(shù)少的網(wǎng)頁推薦給被檢測者。首先，將預(yù)被判斷的網(wǎng)頁放到O集中并且將此網(wǎng)頁從A集中刪除。然后，若O集中有網(wǎng)頁已經(jīng)在此集中停留時(shí)間達(dá)到20分鐘，它會被轉(zhuǎn)放到到W集中。此時(shí)W集不為空，系統(tǒng)會從其中選擇一個(gè)網(wǎng)頁提供給被檢測者，即此網(wǎng)頁已經(jīng)被判斷了一次，被檢測者需要在特定的時(shí)間內(nèi)再對其判斷一次，以便于被檢測者只能依靠他們的記憶而不是思考來判斷。最后，被判斷兩次的網(wǎng)頁被放到T集中并且將其從W集中移除。眾包中，如果被檢測者完成了至少100網(wǎng)頁重復(fù)判斷任務(wù)時(shí)(W集中的網(wǎng)頁量達(dá)到100)，系統(tǒng)會計(jì)算公認(rèn)的SavingScore。當(dāng)被檢測者工作時(shí)間達(dá)到40分鐘卻不及80分鐘并且他的SavingScore>=58時(shí)，系統(tǒng)認(rèn)為此被檢測者沒有在這階段產(chǎn)生欺詐行為；若被檢測者工作時(shí)間超過80分鐘時(shí)，只有其SaVingSCOre>=40系統(tǒng)才會認(rèn)為被檢測者沒有欺詐。系統(tǒng)會收集滿足要求的被檢測者所提交的眾包結(jié)果，發(fā)送到相應(yīng)的標(biāo)記機(jī)，然后清空O、W和T集，進(jìn)行新一輪的欺詐檢測。
【權(quán)利要求】
1.一種基于心理學(xué)行為分析的眾包欺詐檢測方法，其特征是:該方法包括如下步驟:被檢測者對原始數(shù)據(jù)文檔進(jìn)行工作； 通過時(shí)鐘控制單元對整個(gè)系統(tǒng)的全局進(jìn)行時(shí)間控制，從被檢測者著手工作開始計(jì)時(shí)，當(dāng)達(dá)到預(yù)定的時(shí)間點(diǎn)時(shí)，觸發(fā)各個(gè)單元執(zhí)行特定功能；根據(jù)時(shí)鐘控制單元記錄的工作的時(shí)間以及次數(shù)，將文檔傳遞至數(shù)據(jù)分組單元進(jìn)行動態(tài)地分組； 通過數(shù)據(jù)分組單元根據(jù)被檢測者對各個(gè)文檔打分后保持當(dāng)前狀態(tài)不變的時(shí)間長度以及文檔被重復(fù)打分的次數(shù)，將文檔階段性地分組，并且將達(dá)到標(biāo)準(zhǔn)的文檔傳送到其他單元進(jìn)行處理； 隨著任務(wù)的推進(jìn)，被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，最后被檢測者質(zhì)量控制單元根據(jù)以上結(jié)果比對進(jìn)而檢測到被檢測者的欺詐行為，發(fā)送電信號驅(qū)動標(biāo)記機(jī)進(jìn)行標(biāo)記。
2.根據(jù)權(quán)利要求1所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，其特征是:所述的數(shù)據(jù)分組單元中包含三個(gè)子數(shù)據(jù)集0、W和T，用于階段性地存儲分組數(shù)據(jù)，并且不斷地把文檔定時(shí)重新呈獻(xiàn)給用戶再次工作。
3.根據(jù)權(quán)利要求1或2所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，其特征是::所述的被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，是依據(jù)被檢測者記憶會隨著時(shí)間的推移而減退，并且針對認(rèn)真程度不同的工作，記憶的清晰程度也同樣不同情況，根據(jù)被檢測者的記憶在工作時(shí)間以及多次工作一致程度上的反映，此單元階段性地對各被檢測者所完成任務(wù)的標(biāo)簽質(zhì)量進(jìn)行評估，并將其與閾值相比較篩選出質(zhì)量合格的標(biāo)簽。
4.根據(jù)權(quán)利要求1或2或3所述的基于心理學(xué)行為分析的眾包欺詐檢測方法，其特征是:所述的被檢測者標(biāo)簽質(zhì)量控制單元會對所得的文檔子集上的反映進(jìn)行篩選，是根據(jù)所述的時(shí)鐘控制單元、所述的數(shù)據(jù)分組單元、所述的被檢測者標(biāo)簽質(zhì)量控制單元的輸出數(shù)據(jù)，綜合根據(jù)被檢測者在各時(shí)間段的表現(xiàn)以及完成任務(wù)的質(zhì)量，檢測被檢測者的欺詐行為，識別并過濾那些不可信的被檢測者。
【文檔編號】G06F11/36GK104133769SQ201410376503
【公開日】2014年11月5日 申請日期:2014年8月2日 優(yōu)先權(quán)日:2014年8月2日
【發(fā)明者】李鵬, 張楷卉, 劉洋 申請人:哈爾濱理工大學(xué)