口考作弊檢測(cè)方法和裝置的制造方法
【專(zhuān)利摘要】本發(fā)明提出一種口考作弊檢測(cè)方法和裝置,該口考作弊檢測(cè)方法包括:獲取當(dāng)前考生的口考語(yǔ)音數(shù)據(jù),以及除所述口考語(yǔ)音數(shù)據(jù)之外的輔助信息;根據(jù)所述口考語(yǔ)音數(shù)據(jù)和所述輔助信息,提取作弊檢測(cè)特征,所述作弊檢測(cè)特征包括:從所述口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征,以及除所述聲紋特征之外的其他特征;根據(jù)所述作弊檢測(cè)特征和預(yù)先構(gòu)建的作弊檢測(cè)模型,得到作弊檢測(cè)結(jié)果。該方法能夠擴(kuò)展口考作弊檢測(cè)的適用范圍。
【專(zhuān)利說(shuō)明】
口考作弊檢測(cè)方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及語(yǔ)音處理技術(shù)領(lǐng)域,尤其涉及一種口考作弊檢測(cè)方法和裝置。
【背景技術(shù)】
[0002]隨著人們對(duì)語(yǔ)言學(xué)習(xí)熱情的高漲,各類(lèi)語(yǔ)言的口語(yǔ)考試在各種學(xué)業(yè)考試和職業(yè)考試中也成為非常普遍的科目,比如全國(guó)的普通話(huà)水平測(cè)試、中高考英語(yǔ)口語(yǔ)考試以及各種小規(guī)模考試或測(cè)試中。為了保證口語(yǔ)考試評(píng)分的客觀性、公正性,口語(yǔ)考試中的作弊檢測(cè)也成為至關(guān)重要的問(wèn)題??谡Z(yǔ)考試中的作弊主要有兩種類(lèi)型:一、替考作弊,考生為其他人替考;二、抄襲作弊,考生抄襲他人,主要有考生跟讀作弊和錄取其他考生語(yǔ)音的抄襲作弊。
[0003]相關(guān)技術(shù)中,口考作弊檢測(cè)通常基于聲紋進(jìn)行。但是,基于聲紋檢測(cè)的方式存在一定的局限性,例如,不能檢測(cè)考生跟讀作弊。
【發(fā)明內(nèi)容】
[0004]本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。
[0005]為此,本發(fā)明的一個(gè)目的在于提出一種口考作弊檢測(cè)方法,該方法可以擴(kuò)展口考作弊檢測(cè)的適用范圍,不僅適用于基于聲紋進(jìn)行作弊檢測(cè)的場(chǎng)景,如替考、錄取其他考生語(yǔ)音等,還可以適用于其他場(chǎng)景,如跟讀作弊檢測(cè)。
[0006]本發(fā)明的另一個(gè)目的在于提出一種口考作弊檢測(cè)裝置。
[0007]為達(dá)到上述目的,本發(fā)明第一方面實(shí)施例提出的口考作弊檢測(cè)方法,包括:獲取當(dāng)前考生的口考語(yǔ)音數(shù)據(jù),以及除所述口考語(yǔ)音數(shù)據(jù)之外的輔助信息;根據(jù)所述口考語(yǔ)音數(shù)據(jù)和所述輔助信息,提取作弊檢測(cè)特征,所述作弊檢測(cè)特征包括:從所述口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征,以及除所述聲紋特征之外的其他特征;根據(jù)所述作弊檢測(cè)特征和預(yù)先構(gòu)建的作弊檢測(cè)模型,得到作弊檢測(cè)結(jié)果。
[0008]本發(fā)明第一方面實(shí)施例提出的口考作弊檢測(cè)方法,通過(guò)獲取出考生的聲紋特征之外的其他特征,可以在口考作弊檢測(cè)時(shí),應(yīng)用更多的特征進(jìn)行口考作弊檢測(cè),以擴(kuò)展口考作弊檢測(cè)的適用范圍。
[0009]為達(dá)到上述目的,本發(fā)明第二方面實(shí)施例提出的口考作弊檢測(cè)裝置,包括:獲取模塊,用于獲取當(dāng)前考生的口考語(yǔ)音數(shù)據(jù),以及除所述口考語(yǔ)音數(shù)據(jù)之外的輔助信息;提取模塊,用于根據(jù)所述口考語(yǔ)音數(shù)據(jù)和所述輔助信息,提取作弊檢測(cè)特征,所述作弊檢測(cè)特征包括:從所述口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征,以及除所述聲紋特征之外的其他特征;確定模塊,用于根據(jù)所述作弊檢測(cè)特征和預(yù)先構(gòu)建的作弊檢測(cè)模型,得到作弊檢測(cè)結(jié)果。
[0010]本發(fā)明第二方面實(shí)施例提出的口考作弊檢測(cè)裝置,通過(guò)獲取出考生的聲紋特征之外的其他特征,可以在口考作弊檢測(cè)時(shí),應(yīng)用更多的特征進(jìn)行口考作弊檢測(cè),以擴(kuò)展口考作弊檢測(cè)的適用范圍。
[0011]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過(guò)本發(fā)明的實(shí)踐了解到。
【附圖說(shuō)明】
[0012]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解,其中:
[0013]圖1是本發(fā)明一個(gè)實(shí)施例提出的口考作弊檢測(cè)方法的流程示意圖;
[0014]圖2是本發(fā)明另一個(gè)實(shí)施例提出的口考作弊檢測(cè)方法的流程示意圖;
[0015]圖3是本發(fā)明實(shí)施例中構(gòu)建作弊檢測(cè)模型的流程示意圖;
[0016]圖4是本發(fā)明實(shí)施例中采用的作弊檢測(cè)模型的拓?fù)浣Y(jié)構(gòu)示意圖;
[0017]圖5是本發(fā)明一個(gè)實(shí)施例提出的口考作弊檢測(cè)裝置的結(jié)構(gòu)示意圖;
[0018]圖6是本發(fā)明另一個(gè)實(shí)施例提出的口考作弊檢測(cè)裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0019]下面詳細(xì)描述本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類(lèi)似的標(biāo)號(hào)表示相同或類(lèi)似的模塊或具有相同或類(lèi)似功能的模塊。下面通過(guò)參考附圖描述的實(shí)施例是示例性的,僅用于解釋本發(fā)明,而不能理解為對(duì)本發(fā)明的限制。相反,本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書(shū)的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。
[0020]圖1是本發(fā)明一個(gè)實(shí)施例提出的口考作弊檢測(cè)方法的流程示意圖。
[0021]參見(jiàn)圖1,本實(shí)施例的流程包括:
[0022]Sll:獲取當(dāng)前考生的口考語(yǔ)音數(shù)據(jù),以及除所述口考語(yǔ)音數(shù)據(jù)之外的輔助信息。
[0023]其中,當(dāng)前考生是指當(dāng)前進(jìn)行口考的考生,該考生可以是報(bào)名的考生本人,或者,也可以是報(bào)名的考生的替考者。
[0024]可以在當(dāng)前考生口考過(guò)程中,對(duì)當(dāng)前考生的語(yǔ)音數(shù)據(jù)進(jìn)行錄制,從而可以獲取到當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)。
[0025]輔助信息可以包括:當(dāng)前考生的其他信息,如身份信息、座位信息、答題內(nèi)容、發(fā)音信息等,還可以包括其他考生的信息,如當(dāng)前考生的鄰座考生的信息,如鄰座考生的答題內(nèi)容、發(fā)音信息等,還可以包括當(dāng)前考生所在考場(chǎng)的整體情況,如整體答題內(nèi)容,發(fā)音信息等。
[0026]其中,當(dāng)前考生的身份信息是指當(dāng)前考生聲稱(chēng)的考生,也就是報(bào)名的考生的身份信息,因此可以從報(bào)名信息中獲取到上述的身份信息。
[0027]由于考生在考試時(shí),為預(yù)先為考生分配座位,因此從分配信息中可以獲取到座位
?目息O
[0028]而其他的信息,如答題內(nèi)容、發(fā)音信息等可以根據(jù)考生的實(shí)際考試情況確定。
[0029]SI2:根據(jù)所述口考語(yǔ)音數(shù)據(jù)和所述輔助信息,提取作弊檢測(cè)特征,所述作弊檢測(cè)特征包括:從所述口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征,以及除所述聲紋特征之外的其他特征。
[0030]本實(shí)施例中,作弊檢測(cè)特征不限于聲紋特征,還包括其他特征。
[0031 ]其他特征例如包括如下項(xiàng)中的一項(xiàng)或多項(xiàng):
[0032]當(dāng)前考生與相應(yīng)座位聲紋相似度特征、鄰座聲紋相似度特征、鄰座答題內(nèi)容相似度特征、鄰座答題發(fā)音對(duì)比特征、整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征、整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。
[0033]本發(fā)明實(shí)施例中,以作弊檢測(cè)特征包括上述的7種特征為例。
[0034]具體的作弊檢測(cè)特征的提取方法可以參見(jiàn)后續(xù)實(shí)施例的描述。
[0035]S13:根據(jù)所述作弊檢測(cè)特征和預(yù)先構(gòu)建的作弊檢測(cè)模型,得到作弊檢測(cè)結(jié)果。
[0036]其中,作弊檢測(cè)模型的輸入是作弊檢測(cè)特征,輸出可以是作弊得分或者作弊檢測(cè)結(jié)果,以作弊檢測(cè)結(jié)果包括:作弊或不作弊為例,則輸出層有兩個(gè)節(jié)點(diǎn),分別代表作弊或不作弊,如輸出為【0,I】表示不作弊,【I,0】表示作弊。因此,根據(jù)作弊檢測(cè)特征和作弊檢測(cè)模型,可以得到作弊得分或者直接得到作弊檢測(cè)結(jié)果。
[0037]當(dāng)?shù)玫降氖亲鞅椎梅謺r(shí),在得到作弊得分后,可以與預(yù)先設(shè)置的閾值進(jìn)行比較,得到作弊檢測(cè)結(jié)果。
[0038]進(jìn)一步的,閾值可以是一個(gè),以通過(guò)該一個(gè)閾值檢測(cè)考生是作弊或者未作弊。例如,當(dāng)作弊得分大于或等于該閾值時(shí),確定作弊檢測(cè)結(jié)果是作弊,否則,當(dāng)作弊得分小于該閾值時(shí),確定作弊檢測(cè)結(jié)果是未作弊?;蛘撸?br>[0039]閾值也可以是多個(gè),以通過(guò)該多個(gè)閾值檢測(cè)考生的作弊等級(jí),如作弊、疑似作弊、
未作弊等。
[0040]上述的閾值可以根據(jù)經(jīng)驗(yàn)和大量實(shí)驗(yàn)結(jié)果確定。
[0041]本實(shí)施例中,通過(guò)獲取出考生的聲紋特征之外的其他特征,可以在口考作弊檢測(cè)時(shí),應(yīng)用更多的特征進(jìn)行口考作弊檢測(cè),以擴(kuò)展口考作弊檢測(cè)的適用范圍。
[0042]如上所示,在口考作弊檢測(cè)時(shí),需要提取出作弊檢測(cè)特征。具體的,作弊檢測(cè)特征的提取流程可以如下所示。
[0043](I)—些實(shí)施例中,上述的聲紋特征是指從當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中進(jìn)行聲紋特征提取后得到的聲紋特征。
[0044]其中,聲紋特征不限于1- V e c t ο r特征,還可以包括:梅爾頻率倒譜系數(shù)(M e IFrequency Cepstrum Coeff icient,MFCC)特征或線性預(yù)測(cè)編碼(Linear predict1ncoding,LPC)特征等。
[0045](2)—些實(shí)施例中,當(dāng)前考生與相應(yīng)座位聲紋相似度特征是指當(dāng)前考生對(duì)應(yīng)的聲紋特征,與當(dāng)前考生聲稱(chēng)的考生對(duì)應(yīng)的聲紋特征之間的相似度特征。
[0046]具體的,當(dāng)前考生與相應(yīng)座位聲紋相似度特征的提取流程包括:
[0047]從所述當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第一聲紋特征;
[0048]獲取第二聲紋特征,所述第二聲紋特征是從所述當(dāng)前考生的相應(yīng)座位的報(bào)名考生的語(yǔ)音數(shù)據(jù)中提取的;
[0049]計(jì)算第一聲紋特征與第二聲紋特征的相似度特征,將所述相似度特征確定為當(dāng)前考生與相應(yīng)座位聲紋相似度特征。
[0050]其中,為了與后續(xù)聲紋特征區(qū)別,可以將從當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征稱(chēng)為第一聲紋特征。
[0051]第二聲紋特征是當(dāng)前考生聲稱(chēng)的考生的語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的聲紋特征。
[0052]例如,考生報(bào)名時(shí)可以采集注冊(cè)語(yǔ)音數(shù)據(jù),或者在考前采集試音語(yǔ)音數(shù)據(jù),從而可以從注冊(cè)語(yǔ)音數(shù)據(jù)或試音語(yǔ)音數(shù)據(jù)中提取聲紋特征,作為第二聲紋特征。
[0053]計(jì)算相似度時(shí),具體計(jì)算方式可以包括:計(jì)算第一聲紋特征與第二聲紋特征之間的余弦距離、歐式距離等。
[0054](3)—些實(shí)施例中,鄰座聲紋相似度特征是指當(dāng)前考生對(duì)應(yīng)的聲紋特征,與當(dāng)前考生的鄰座考生對(duì)應(yīng)的聲紋特征之間的相似度特征。
[0055]鄰座的個(gè)數(shù)可以設(shè)置,例如,選擇當(dāng)前考生周?chē)?或8個(gè)考生作為鄰座考生。本實(shí)施例以鄰座包括N=4個(gè)為例。
[0056]具體的,鄰座聲紋相似度特征的提取流程包括:
[0057]從所述當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第一聲紋特征;
[0058]從所述當(dāng)前考生的鄰座考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第三聲紋特征;
[0059]計(jì)算第一聲紋特征與第三聲紋特征的相似度特征,將所述相似度特征確定為鄰座聲紋相似度特征。
[0060]進(jìn)一步的,當(dāng)鄰座為多個(gè)時(shí),第三聲紋特征也為多個(gè),可以分別計(jì)算第一聲紋特征與每個(gè)第三聲紋特征之間的相似度特征,從而可以得到與鄰座個(gè)數(shù)相同的鄰座聲紋相似度特征。
[0061 ]例如,鄰座為4個(gè),則得到的鄰座聲紋相似度特征為4個(gè)。
[0062](4)—些實(shí)施例中,鄰座答題內(nèi)容相似度特征是指當(dāng)前考生的答題內(nèi)容,與當(dāng)前考生的鄰座考生的答題內(nèi)容之間的相似度特征。
[0063]具體的,鄰座答題內(nèi)容相似度特征的提取流程包括:
[0064]對(duì)所述當(dāng)前考生的答題內(nèi)容進(jìn)行向量化,得到第一答題內(nèi)容向量;
[0065]對(duì)所述當(dāng)前考生的鄰座考生的答題內(nèi)容進(jìn)行向量化,得到第二答題內(nèi)容向量;
[0066]計(jì)算第一答題內(nèi)容向量與第二答題內(nèi)容向量的相似度特征,將所述相似度特征確定為鄰座答題內(nèi)容相似度特征。
[0067]其中,內(nèi)容向量化的方法可以采用通常方法。
[0068]類(lèi)似鄰座聲紋相似度特征,當(dāng)鄰座為N個(gè)時(shí),鄰座答題內(nèi)容相似度特征也為N個(gè)。
[0069](5)—些實(shí)施例中,鄰座答題發(fā)音對(duì)比特征是指當(dāng)前考生的答題發(fā)音與鄰座考生的答題發(fā)音之間的對(duì)比特征。
[0070]進(jìn)一步的,答題發(fā)音之間的對(duì)比特征可以分為多個(gè)維度,例如包括:
[0071]相同答案的錯(cuò)讀發(fā)音一致度、語(yǔ)速相似度、停頓相似度、朗讀時(shí)差一致度這4個(gè)維度。
[0072]因此,當(dāng)鄰座的個(gè)數(shù)是N、答題發(fā)音的對(duì)比特征是M個(gè)維度,則鄰座答題發(fā)音對(duì)比特征是N X M維的特征向量。
[0073]具體的,上述4個(gè)對(duì)比特征的提取流程可以分別是:
[0074]錯(cuò)讀發(fā)音一致度:當(dāng)前考生發(fā)音錯(cuò)誤與鄰座考生發(fā)音錯(cuò)誤相同的個(gè)數(shù)/當(dāng)前考生發(fā)音錯(cuò)誤總數(shù);發(fā)音錯(cuò)誤的發(fā)現(xiàn)采用現(xiàn)有的口語(yǔ)評(píng)測(cè)技術(shù),在此不再詳細(xì)闡述。
[0075]語(yǔ)速相似度:當(dāng)前考生語(yǔ)速/鄰座考生語(yǔ)速;
[0076]停頓相似度:當(dāng)前考生與鄰座考生停頓相似處的個(gè)數(shù)/當(dāng)前考生答題中停頓總數(shù);
[0077]朗讀時(shí)差一致度:當(dāng)前考生與鄰座考生各朗讀子單元時(shí)差一致數(shù)/朗讀子單元的總數(shù)。舉例:以句子為朗讀子單元,如果一個(gè)答題內(nèi)容一共有3個(gè)句子,統(tǒng)計(jì)當(dāng)前考生朗讀每個(gè)句子的開(kāi)頭和/或結(jié)尾與鄰座考生朗讀的時(shí)差一致的個(gè)數(shù),時(shí)差一致的判斷一般是通過(guò)時(shí)差閾值進(jìn)行判斷,如閾值取為2秒。
[0078](6)—些實(shí)施例中,整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征的提取流程可以包括:
[0079]將考場(chǎng)所有考生的答題內(nèi)容向量?jī)蓛蛇M(jìn)行相似度計(jì)算;
[0080]計(jì)算所有相似度的均值和標(biāo)準(zhǔn)方差,作為整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征。
[0081 ] (7)—些實(shí)施例中,整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征的提取流程包括:
[0082]分別計(jì)算各朗讀子單元的發(fā)音一致度;
[0083]對(duì)所有朗讀子單元的發(fā)音一致度進(jìn)行加權(quán)平均,得到整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。
[0084]其中,所述各朗讀子單元的發(fā)音一致度:朗讀該子單元時(shí)發(fā)音時(shí)差一致考生個(gè)數(shù)/考生總數(shù)。
[0085]可以理解的是,上述實(shí)施例中未特別說(shuō)明的部分,如聲紋特征的提取、相似度的計(jì)算等,可以參見(jiàn)其他實(shí)施例中已具體說(shuō)明的內(nèi)容。
[0086]通過(guò)上述流程可以提取出作弊檢測(cè)特征,以用于口考作弊檢測(cè)。
[0087]圖2是本發(fā)明另一個(gè)實(shí)施例提出的口考作弊檢測(cè)方法的流程示意圖。
[0088]參見(jiàn)圖2,本實(shí)施例的流程包括:
[0089]S21:構(gòu)建作弊檢測(cè)模型。
[0090]可以理解的是,可以在口考作弊檢測(cè)之前,離線預(yù)先構(gòu)建作弊檢測(cè)模型。
[0091]—些實(shí)施例中,參見(jiàn)圖3,構(gòu)建作弊檢測(cè)模型的流程可以包括:
[0092]S31:收集歷史口考考生數(shù)據(jù),并提取所述歷史口考考生數(shù)據(jù)對(duì)應(yīng)的作弊檢測(cè)特征,以及,獲取所述歷史口考考生數(shù)據(jù)對(duì)應(yīng)的作弊情況的人工標(biāo)注結(jié)果,得到訓(xùn)練數(shù)據(jù)。
[0093]其中,可以對(duì)應(yīng)收集的每個(gè)歷史考生,獲取一組口考考生數(shù)據(jù),該組口考考生數(shù)據(jù)包括:該考生的口考語(yǔ)音數(shù)據(jù)以及其他的輔助信息,具體的輔助信息可以參見(jiàn)上述實(shí)施例。
[0094]在獲取到每組口考考生數(shù)據(jù)后,可以如上述所示的提取流程,提取到上述的7種作弊檢測(cè)特征。
[0095]通過(guò)上述流程,對(duì)應(yīng)一個(gè)歷史考生,可以獲取一組口考考生數(shù)據(jù),并從中提取到一組作弊檢測(cè)特征。
[0096]另外,對(duì)應(yīng)每個(gè)歷史考生,可以對(duì)該考生的作弊情況進(jìn)行人工標(biāo)注,標(biāo)注出作弊結(jié)果,如作弊或未作弊,或者,作弊等級(jí)等。
[0097]因此,可以將每個(gè)歷史考生的{作弊檢測(cè)特征,作弊結(jié)果H乍為一個(gè)訓(xùn)練樣本,大量的歷史考生對(duì)應(yīng)的訓(xùn)練樣本組成一組訓(xùn)練數(shù)據(jù)用于后續(xù)的模型訓(xùn)練。
[0098]S32:確定模型拓?fù)浣Y(jié)構(gòu)。
[0099]模型的拓?fù)浣Y(jié)構(gòu)可以根據(jù)需要設(shè)置。
[0100]本實(shí)施例中,以循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)為例。
[0101]RNN網(wǎng)絡(luò)屬于一種神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)可以包括:輸入層、隱層和輸出層,其中,輸入層和輸出層分別是一層,隱層的個(gè)數(shù)可以根據(jù)需要設(shè)置。
[0102]如圖4所示,給出了考場(chǎng)內(nèi)一個(gè)考生的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖,完成結(jié)構(gòu)圖由一個(gè)考場(chǎng)所有考生結(jié)構(gòu)圖組成。具體說(shuō)明如下:
[0103]輸入層:輸入的是一個(gè)考場(chǎng)所有考生所有試題的作弊檢測(cè)特征。由于口語(yǔ)考試中每個(gè)考場(chǎng)的考生數(shù)不一樣,考題數(shù)也不一樣,為了保證模型的魯棒性,可以根據(jù)經(jīng)驗(yàn)值對(duì)模型結(jié)構(gòu)設(shè)定固定數(shù)量的考生數(shù)(如50)和考題數(shù)節(jié)點(diǎn)(30),當(dāng)某一場(chǎng)考生數(shù)或考題數(shù)小于固定值時(shí),訓(xùn)練和測(cè)試的過(guò)程中對(duì)應(yīng)空缺的節(jié)點(diǎn)設(shè)定常量值即可(例如設(shè)置為O)。
[0104]例如一個(gè)考場(chǎng)有P(P小于等于50)個(gè)考生,考題有J(J小于等于30)道,以上述7個(gè)作弊檢測(cè)特征為例,則模型的輸入為P X J X (5+6N)。
[0105]其中,5+6N表示有:I個(gè)聲紋特征、I個(gè)當(dāng)前考生與相應(yīng)座位聲紋相似度特征、N個(gè)鄰座聲紋相似度特征、N個(gè)鄰座答題內(nèi)容相似度特征、4N個(gè)鄰座答題發(fā)音對(duì)比特征(以發(fā)音對(duì)比特征包括4個(gè)維度為例)、2個(gè)整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征、I個(gè)整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。
[0106]隱層:隱層數(shù)一般由經(jīng)驗(yàn)和/或大量實(shí)驗(yàn)確定,一般取2-8層,本案中取3層。本案中隱層采用的是局部RNN的網(wǎng)絡(luò)結(jié)構(gòu),以考生為單位,輸入層連接過(guò)來(lái)的隱層節(jié)點(diǎn)間從左到右進(jìn)行有向連接。通常情況下,同一個(gè)考生如果前面的作弊了,后面的題型作弊的概率會(huì)大大增大,故模型的第一個(gè)隱層的結(jié)構(gòu)采用考生內(nèi)部節(jié)點(diǎn)有向連接的方式,確保前面題型的節(jié)點(diǎn)可以作用到后面的題型,這樣可以大大的提高分類(lèi)的準(zhǔn)確性。
[0107]輸出層:模型的輸出為考場(chǎng)中每個(gè)考生每道試題出現(xiàn)作弊的概率得分,或者,輸出也可以直接是作弊或未作弊這些作弊檢測(cè)結(jié)果。
[0108]S33:根據(jù)模型拓?fù)浣Y(jié)構(gòu)和所述訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,生成作弊檢測(cè)模型。
[0109]模型的訓(xùn)練采用現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練方法,如誤差反向傳播(ErrorBackPropagat 1n,BP)算法,具體在此不再闡述。
[0110]在構(gòu)建出作弊檢測(cè)模型后,該模型可以在線用于口考作弊檢測(cè)。即,本實(shí)施例還可以包括:
[0111]S22:獲取當(dāng)前考生的口考語(yǔ)音數(shù)據(jù),以及除所述口考語(yǔ)音數(shù)據(jù)之外的輔助信息。
[0112]S23:根據(jù)所述口考語(yǔ)音數(shù)據(jù)和所述輔助信息,提取作弊檢測(cè)特征,所述作弊檢測(cè)特征包括:從所述口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征,以及除所述聲紋特征之外的其他特征。
[0113]S24:根據(jù)所述作弊檢測(cè)特征和所述作弊檢測(cè)模型,得到作弊檢測(cè)結(jié)果。
[0114]可以理解的是,本實(shí)施例中無(wú)特別說(shuō)明的地方,具體內(nèi)容可以參見(jiàn)上一實(shí)施例的相關(guān)內(nèi)容,在此不再詳細(xì)說(shuō)明。
[0115]本實(shí)施例中,通過(guò)獲取出考生的聲紋特征之外的其他特征,可以在口考作弊檢測(cè)時(shí),應(yīng)用更多的特征進(jìn)行口考作弊檢測(cè),以擴(kuò)展口考作弊檢測(cè)的范圍。進(jìn)一步的,通過(guò)預(yù)先構(gòu)建作弊檢測(cè)模型,可以在作弊檢測(cè)時(shí)直接采用該模型,以快速完成作弊檢測(cè)。
[0116]圖5是本發(fā)明一個(gè)實(shí)施例提出的口考作弊檢測(cè)裝置的結(jié)構(gòu)示意圖。
[0117]參見(jiàn)圖5,本實(shí)施例的裝置50包括:獲取模塊51、提取模塊52和確定模塊53。
[0118]獲取模塊51,用于獲取當(dāng)前考生的口考語(yǔ)音數(shù)據(jù),以及除所述口考語(yǔ)音數(shù)據(jù)之外的輔助信息;
[0119]提取模塊52,用于根據(jù)所述口考語(yǔ)音數(shù)據(jù)和所述輔助信息,提取作弊檢測(cè)特征,所述作弊檢測(cè)特征包括:從所述口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征,以及除所述聲紋特征之外的其他特征;
[0120]確定模塊53,用于根據(jù)所述作弊檢測(cè)特征和預(yù)先構(gòu)建的作弊檢測(cè)模型,得到作弊檢測(cè)結(jié)果。
[0121 ] —些實(shí)施例中,所述其他特征包括如下項(xiàng)中的一項(xiàng)或多項(xiàng):
[0122]當(dāng)前考生與相應(yīng)座位聲紋相似度特征、鄰座聲紋相似度特征、鄰座答題內(nèi)容相似度特征、鄰座答題發(fā)音對(duì)比特征、整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征、整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。
[0123]—些實(shí)施例中,所述聲紋特征包括:
[0124]1-vector特征或MFCC特征或LPC特征。
[0125]—些實(shí)施例中,所述提取模塊具體用于執(zhí)行如下項(xiàng)中的一項(xiàng)或多項(xiàng):
[0126]從所述當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第一聲紋特征;獲取第二聲紋特征,所述第二聲紋特征是從所述當(dāng)前考生的相應(yīng)座位的報(bào)名考生的語(yǔ)音數(shù)據(jù)中提取的;計(jì)算第一聲紋特征與第二聲紋特征的相似度特征,將所述相似度特征確定為所述當(dāng)前考生與相應(yīng)座位聲紋相似度特征;
[0127]從所述當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第一聲紋特征;從所述當(dāng)前考生的鄰座考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第三聲紋特征;計(jì)算第一聲紋特征與第三聲紋特征的相似度特征,將所述相似度特征確定為所述鄰座聲紋相似度特征;
[0128]對(duì)所述當(dāng)前考生的答題內(nèi)容進(jìn)行向量化,得到第一答題內(nèi)容向量;對(duì)所述當(dāng)前考生的鄰座考生的答題內(nèi)容進(jìn)行向量化,得到第二答題內(nèi)容向量;計(jì)算第一答題內(nèi)容向量與第二答題內(nèi)容向量的相似度特征,將所述相似度特征確定為所述鄰座答題內(nèi)容相似度特征;
[0129]獲取當(dāng)前考生與鄰座考生的如下發(fā)音特征中的一項(xiàng)或多項(xiàng),作為所述鄰座答題發(fā)音對(duì)比特征:相同答案的錯(cuò)讀發(fā)音一致度、語(yǔ)速相似度、停頓相似度、朗讀時(shí)差一致度;
[0130]將考場(chǎng)所有考生的答題內(nèi)容向量?jī)蓛蛇M(jìn)行相似度計(jì)算;計(jì)算所有相似度的均值和標(biāo)準(zhǔn)方差,作為整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征;
[0131]分別計(jì)算各朗讀子單元的發(fā)音一致度;對(duì)所有朗讀子單元的發(fā)音一致度進(jìn)行加權(quán)平均,得到整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。
[0132]—些實(shí)施例中,參見(jiàn)圖6,該裝置還包括:用于構(gòu)建作弊檢測(cè)模型的構(gòu)建模塊54,所述構(gòu)建模塊54具體用于:
[0133]收集歷史口考考生數(shù)據(jù),并提取所述歷史口考考生數(shù)據(jù)對(duì)應(yīng)的作弊檢測(cè)特征,以及,獲取所述歷史口考考生數(shù)據(jù)對(duì)應(yīng)的作弊情況的人工標(biāo)注結(jié)果,得到訓(xùn)練數(shù)據(jù);
[0134]確定模型拓?fù)浣Y(jié)構(gòu);
[0135]根據(jù)模型拓?fù)浣Y(jié)構(gòu)和所述訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,生成作弊檢測(cè)模型。
[0136]—些實(shí)施例中,所述獲取模塊51獲取的所述輔助信息包括如下項(xiàng)中的一項(xiàng)或多項(xiàng):
[0137]所述當(dāng)前考生的除所述口考語(yǔ)音數(shù)據(jù)之外的其他信息;
[0138]除所述當(dāng)前考生之外的其他考生的信息;
[0139]所述當(dāng)前考生所在考場(chǎng)的整體情況。
[0140]可以理解的是,本實(shí)施例的裝置與方法實(shí)施例對(duì)應(yīng),具體內(nèi)容可以參見(jiàn)方法實(shí)施例中的描述,在此不再詳細(xì)說(shuō)明。
[0141]本實(shí)施例中,通過(guò)獲取出考生的聲紋特征之外的其他特征,可以在口考作弊檢測(cè)時(shí),應(yīng)用更多的特征進(jìn)行口考作弊檢測(cè),以擴(kuò)展口考作弊檢測(cè)的范圍。進(jìn)一步的,通過(guò)預(yù)先構(gòu)建作弊檢測(cè)模型,可以在作弊檢測(cè)時(shí)直接采用該模型,以快速完成作弊檢測(cè)。
[0142]需要說(shuō)明的是,在本發(fā)明的描述中,術(shù)語(yǔ)“第一”、“第二”等僅用于描述目的,而不能理解為指示或暗示相對(duì)重要性。此外,在本發(fā)明的描述中,除非另有說(shuō)明,“多個(gè)”的含義是指至少兩個(gè)。
[0143]流程圖中或在此以其他方式描述的任何過(guò)程或方法描述可以被理解為,表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過(guò)程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分,并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn),其中可以不按所示出或討論的順序,包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序,來(lái)執(zhí)行功能,這應(yīng)被本發(fā)明的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。
[0144]應(yīng)當(dāng)理解,本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來(lái)實(shí)現(xiàn)。在上述實(shí)施方式中,多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來(lái)實(shí)現(xiàn)。例如,如果用硬件來(lái)實(shí)現(xiàn),和在另一實(shí)施方式中一樣,可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來(lái)實(shí)現(xiàn):具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門(mén)電路的離散邏輯電路,具有合適的組合邏輯門(mén)電路的專(zhuān)用集成電路,可編程門(mén)陣列(PGA),現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)等。本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過(guò)程序來(lái)指令相關(guān)的硬件完成,所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),包括方法實(shí)施例的步驟之一或其組合。
[0145]此外,在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中,也可以是各個(gè)單元單獨(dú)物理存在,也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí),也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。
[0146]上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器,磁盤(pán)或光盤(pán)等。
[0147]在本說(shuō)明書(shū)的描述中,參考術(shù)語(yǔ)“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說(shuō)明書(shū)中,對(duì)上述術(shù)語(yǔ)的示意性表述不一定指的是相同的實(shí)施例或示例。而且,描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。
[0148]盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例,可以理解的是,上述實(shí)施例是示例性的,不能理解為對(duì)本發(fā)明的限制,本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對(duì)上述實(shí)施例進(jìn)行變化、修改、替換和變型。
【主權(quán)項(xiàng)】
1.一種口考作弊檢測(cè)方法,其特征在于,包括: 獲取當(dāng)前考生的口考語(yǔ)音數(shù)據(jù),以及除所述口考語(yǔ)音數(shù)據(jù)之外的輔助信息; 根據(jù)所述口考語(yǔ)音數(shù)據(jù)和所述輔助信息,提取作弊檢測(cè)特征,所述作弊檢測(cè)特征包括:從所述口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征,以及除所述聲紋特征之外的其他特征; 根據(jù)所述作弊檢測(cè)特征和預(yù)先構(gòu)建的作弊檢測(cè)模型,得到作弊檢測(cè)結(jié)果。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述其他特征包括如下項(xiàng)中的一項(xiàng)或多項(xiàng): 當(dāng)前考生與相應(yīng)座位聲紋相似度特征、鄰座聲紋相似度特征、鄰座答題內(nèi)容相似度特征、鄰座答題發(fā)音對(duì)比特征、整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征、整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述聲紋特征包括: 1-vector特征或MFCC特征或LPC特征。4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述提取作弊檢測(cè)特征包括如下項(xiàng)中的一項(xiàng)或多項(xiàng): 從所述當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第一聲紋特征;獲取第二聲紋特征,所述第二聲紋特征是從所述當(dāng)前考生的相應(yīng)座位的報(bào)名考生的語(yǔ)音數(shù)據(jù)中提取的;計(jì)算第一聲紋特征與第二聲紋特征的相似度特征,將所述相似度特征確定為所述當(dāng)前考生與相應(yīng)座位聲紋相似度特征; 從所述當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第一聲紋特征;從所述當(dāng)前考生的鄰座考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第三聲紋特征;計(jì)算第一聲紋特征與第三聲紋特征的相似度特征,將所述相似度特征確定為所述鄰座聲紋相似度特征; 對(duì)所述當(dāng)前考生的答題內(nèi)容進(jìn)行向量化,得到第一答題內(nèi)容向量;對(duì)所述當(dāng)前考生的鄰座考生的答題內(nèi)容進(jìn)行向量化,得到第二答題內(nèi)容向量;計(jì)算第一答題內(nèi)容向量與第二答題內(nèi)容向量的相似度特征,將所述相似度特征確定為所述鄰座答題內(nèi)容相似度特征; 獲取當(dāng)前考生與鄰座考生的如下發(fā)音特征中的一項(xiàng)或多項(xiàng),作為所述鄰座答題發(fā)音對(duì)比特征:相同答案的錯(cuò)讀發(fā)音一致度、語(yǔ)速相似度、停頓相似度、朗讀時(shí)差一致度; 將考場(chǎng)所有考生的答題內(nèi)容向量?jī)蓛蛇M(jìn)行相似度計(jì)算;計(jì)算所有相似度的均值和標(biāo)準(zhǔn)方差,作為整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征; 分別計(jì)算各朗讀子單元的發(fā)音一致度;對(duì)所有朗讀子單元的發(fā)音一致度進(jìn)行加權(quán)平均,得到整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法,其特征在于,還包括:構(gòu)建作弊檢測(cè)模型,所述構(gòu)建作弊檢測(cè)模型包括: 收集歷史口考考生數(shù)據(jù),并提取所述歷史口考考生數(shù)據(jù)對(duì)應(yīng)的作弊檢測(cè)特征,以及,獲取所述歷史口考考生數(shù)據(jù)對(duì)應(yīng)的作弊情況的人工標(biāo)注結(jié)果,得到訓(xùn)練數(shù)據(jù); 確定模型拓?fù)浣Y(jié)構(gòu); 根據(jù)模型拓?fù)浣Y(jié)構(gòu)和所述訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,生成作弊檢測(cè)模型。6.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法,其特征在于,所述輔助信息包括如下項(xiàng)中的一項(xiàng)或多項(xiàng): 所述當(dāng)前考生的除所述口考語(yǔ)音數(shù)據(jù)之外的其他信息; 除所述當(dāng)前考生之外的其他考生的信息; 所述當(dāng)前考生所在考場(chǎng)的整體情況。7.—種口考作弊檢測(cè)裝置,其特征在于,包括: 獲取模塊,用于獲取當(dāng)前考生的口考語(yǔ)音數(shù)據(jù),以及除所述口考語(yǔ)音數(shù)據(jù)之外的輔助信息; 提取模塊,用于根據(jù)所述口考語(yǔ)音數(shù)據(jù)和所述輔助信息,提取作弊檢測(cè)特征,所述作弊檢測(cè)特征包括:從所述口考語(yǔ)音數(shù)據(jù)中提取的聲紋特征,以及除所述聲紋特征之外的其他特征; 確定模塊,用于根據(jù)所述作弊檢測(cè)特征和預(yù)先構(gòu)建的作弊檢測(cè)模型,得到作弊檢測(cè)結(jié)果O8.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述其他特征包括如下項(xiàng)中的一項(xiàng)或多項(xiàng): 當(dāng)前考生與相應(yīng)座位聲紋相似度特征、鄰座聲紋相似度特征、鄰座答題內(nèi)容相似度特征、鄰座答題發(fā)音對(duì)比特征、整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征、整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。9.根據(jù)權(quán)利要求7所述的裝置,其特征在于,所述聲紋特征包括: 1-vector特征或MFCC特征或LPC特征。10.根據(jù)權(quán)利要求8所述的裝置,其特征在于,所述提取模塊具體用于執(zhí)行如下項(xiàng)中的一項(xiàng)或多項(xiàng): 從所述當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第一聲紋特征;獲取第二聲紋特征,所述第二聲紋特征是從所述當(dāng)前考生的相應(yīng)座位的報(bào)名考生的語(yǔ)音數(shù)據(jù)中提取的;計(jì)算第一聲紋特征與第二聲紋特征的相似度特征,將所述相似度特征確定為所述當(dāng)前考生與相應(yīng)座位聲紋相似度特征; 從所述當(dāng)前考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第一聲紋特征;從所述當(dāng)前考生的鄰座考生的口考語(yǔ)音數(shù)據(jù)中提取聲紋特征,得到第三聲紋特征;計(jì)算第一聲紋特征與第三聲紋特征的相似度特征,將所述相似度特征確定為所述鄰座聲紋相似度特征; 對(duì)所述當(dāng)前考生的答題內(nèi)容進(jìn)行向量化,得到第一答題內(nèi)容向量;對(duì)所述當(dāng)前考生的鄰座考生的答題內(nèi)容進(jìn)行向量化,得到第二答題內(nèi)容向量;計(jì)算第一答題內(nèi)容向量與第二答題內(nèi)容向量的相似度特征,將所述相似度特征確定為所述鄰座答題內(nèi)容相似度特征; 獲取當(dāng)前考生與鄰座考生的如下發(fā)音特征中的一項(xiàng)或多項(xiàng),作為所述鄰座答題發(fā)音對(duì)比特征:相同答案的錯(cuò)讀發(fā)音一致度、語(yǔ)速相似度、停頓相似度、朗讀時(shí)差一致度; 將考場(chǎng)所有考生的答題內(nèi)容向量?jī)蓛蛇M(jìn)行相似度計(jì)算;計(jì)算所有相似度的均值和標(biāo)準(zhǔn)方差,作為整個(gè)考場(chǎng)考生整體答題內(nèi)容一致性特征; 分別計(jì)算各朗讀子單元的發(fā)音一致度;對(duì)所有朗讀子單元的發(fā)音一致度進(jìn)行加權(quán)平均,得到整個(gè)考場(chǎng)考生發(fā)音時(shí)差一致性特征。11.根據(jù)權(quán)利要求7-10任一項(xiàng)所述的裝置,其特征在于,還包括用于構(gòu)建作弊檢測(cè)模型的構(gòu)建模塊,所述構(gòu)建模塊具體用于: 收集歷史口考考生數(shù)據(jù),并提取所述歷史口考考生數(shù)據(jù)對(duì)應(yīng)的作弊檢測(cè)特征,以及,獲取所述歷史口考考生數(shù)據(jù)對(duì)應(yīng)的作弊情況的人工標(biāo)注結(jié)果,得到訓(xùn)練數(shù)據(jù); 確定模型拓?fù)浣Y(jié)構(gòu); 根據(jù)模型拓?fù)浣Y(jié)構(gòu)和所述訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,生成作弊檢測(cè)模型。12.根據(jù)權(quán)利要求7-10任一項(xiàng)所述的方法,其特征在于,所述獲取模塊獲取的所述輔助信息包括如下項(xiàng)中的一項(xiàng)或多項(xiàng): 所述當(dāng)前考生的除所述口考語(yǔ)音數(shù)據(jù)之外的其他信息; 除所述當(dāng)前考生之外的其他考生的信息; 所述當(dāng)前考生所在考場(chǎng)的整體情況。
【文檔編號(hào)】G10L15/08GK105931632SQ201610424906
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年6月13日
【發(fā)明人】何春江, 胡陽(yáng), 潘頌聲
【申請(qǐng)人】科大訊飛股份有限公司