本發(fā)明涉及一種在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法與系統(tǒng)。
背景技術(shù)：
：目前，主流的在線課程教學(xué)平臺的作業(yè)互評系統(tǒng)設(shè)計(jì)均為基于功能性的實(shí)現(xiàn)，即互評流程的實(shí)現(xiàn)，主要包含兩個(gè)部分：隨機(jī)分發(fā)模塊、最終成績評定。例如，coursera平臺采用隨機(jī)分發(fā)，取中位數(shù)作為最終成績的方案。中國大學(xué)mooc平臺采用隨機(jī)分發(fā)，將在同伴所評定的分?jǐn)?shù)中取中位數(shù)或者平均數(shù)，作為該份作業(yè)的最終成績。好大學(xué)在線平臺同樣采用隨機(jī)分發(fā)，去除掉同伴所評分?jǐn)?shù)中的最高分和最低分，再取平均分作為該份作業(yè)的最終成績。在線課程教學(xué)平臺的作業(yè)互評分發(fā)和評價(jià)模型，一方面作業(yè)采取隨機(jī)分配，每份作業(yè)被分配到的同伴各自批改能力不同，難以保證同伴互評的公平性；另一方面取平均值或者中位數(shù)作為作業(yè)成績，每份作業(yè)的評價(jià)結(jié)果可能過高或者過低，難以保證作業(yè)互評結(jié)果的準(zhǔn)確性。鑒于上述的缺陷，本設(shè)計(jì)人積極加以研究創(chuàng)新，以期創(chuàng)設(shè)一種在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法與系統(tǒng)，使其更具有產(chǎn)業(yè)上的利用價(jià)值。技術(shù)實(shí)現(xiàn)要素：為解決上述技術(shù)問題，本發(fā)明的目的是提供一種提高作業(yè)分配結(jié)果的公平性，并且減少作業(yè)互評結(jié)果的誤差，提高準(zhǔn)確度的在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法與系統(tǒng)。本發(fā)明在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法，包括：若干用戶分在同一各評分組，獲取該評分組中每一個(gè)用戶對作業(yè)的批改記錄；基于所述批改記錄，通過用戶批改能力值算法，得到每個(gè)用戶的批改能力評估值；向用戶分配待批改作業(yè)，其中待批改作業(yè)的分配原則為：用戶不批改自己的待批改作業(yè)，以及一份待批改作業(yè)對應(yīng)所有評分用戶的批改能力值之和與另一份待批改作業(yè)對應(yīng)所有評分用戶的批改能力值之和之間的差值的絕對值不大于設(shè)定的閾值；結(jié)合各用戶的批改能力評估值和對該批改作業(yè)的評分值，得到該作業(yè)的最終分?jǐn)?shù)。進(jìn)一步地，還包括存儲待批改作業(yè)的詳細(xì)信息，所述待作業(yè)的詳細(xì)信息至少包括：作業(yè)的布置人、作業(yè)要求、作業(yè)的開始時(shí)間、作業(yè)的結(jié)束時(shí)間、用戶提交作業(yè)的時(shí)間、用戶提交作業(yè)的次數(shù)、用戶每次提交作業(yè)的內(nèi)容。進(jìn)一步地，所述用戶批改能力值算法具體包括：利用sigmoid函數(shù)來定義批改能力值，其中，sigmoid函數(shù)的輸入值為用戶對作業(yè)的評分與標(biāo)準(zhǔn)得分之間差的絕對值，該函數(shù)的數(shù)學(xué)表達(dá)為：其中，x為用戶打分與標(biāo)準(zhǔn)值之間偏差的絕對值，rank則為輸出的用戶批改能力值；如果用戶沒有批改記錄，則該用戶批改能力值初始值為該批改組內(nèi)其他有批改記錄的用戶的批改能力值的平均值。進(jìn)一步地，所述預(yù)定閾值的計(jì)算公式如下：其中，n為每一位用戶需要批改的待批改作業(yè)份數(shù)，μmax，μmin分別為一份待批改用戶對應(yīng)的用戶的批改能力評估值中的最大值和最小值。進(jìn)一步地，通過各評分用戶的批改能力評估值和對該作業(yè)的評分值，得到改作業(yè)的最終分?jǐn)?shù)，具體包括：獲取對被評分作業(yè)進(jìn)行評分的各評分用戶的批改能力評估值，對每一位評分用戶的批改能力評估值進(jìn)行歸一化，其中歸一化公式如下：μi為第i個(gè)評分用戶的批改能力評估值，為所有評分用戶的批改能力評估值之和；采用如下公式得到最終被評分作業(yè)的得分，其中τi為第i個(gè)評分用戶的歸一化批改能力評分值，hi為第i個(gè)評分用戶對該作業(yè)的評分值。本發(fā)明在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)系統(tǒng)，包括：作業(yè)批改記錄獲取模塊，用于獲取評分用戶對作業(yè)的批改記錄；批改能力評估模塊，用于基于所述批改記錄，通過用戶批改能力值算法，得到各評分用戶的批改能力評估值；批改分配模塊，用于將作業(yè)分配給預(yù)訂的評分用戶進(jìn)行評分，分配原則為：用戶不批改自己的待批改作業(yè)，以及一份待批改作業(yè)對應(yīng)所有評分用戶的批改能力值之和與另一份待批改作業(yè)對應(yīng)所有評分用戶的批改能力值之和之間的差值的絕對值不大于設(shè)定的閾值；評分結(jié)果輸出模塊，用于將評分結(jié)果進(jìn)行輸出。進(jìn)一步地，批改能力評估模塊，包括sigmoid函數(shù)運(yùn)行單元以及平均算法運(yùn)行單元，所述sigmoid函數(shù)運(yùn)行單元，用于輸入值為用戶對作業(yè)的評分與標(biāo)準(zhǔn)得分之間差的絕對值，該函數(shù)的數(shù)學(xué)表達(dá)為：其中，x為用戶打分與標(biāo)準(zhǔn)值之間偏差的絕對值，rank則為輸出的用戶批改能力值；所述平均算法運(yùn)行單元，用于在用戶沒有批改記錄時(shí)，計(jì)算該批改組內(nèi)其他有批改記錄的用戶的批改能力值的平均值為該用戶批改能力值初始值。進(jìn)一步地，評分結(jié)果輸出模塊包括歸一化處理單元、結(jié)果輸出單元，所述歸一化處理單元，用于獲取對被評分作業(yè)進(jìn)行評分的各評分用戶的批改能力評估值，對每一位評分用戶的批改能力評估值進(jìn)行歸一化，其中歸一化公式如下：μi為第i個(gè)評分用戶的批改能力評估值，為所有評分用戶的批改能力評估值之和；結(jié)果輸出單元，用于采用如下公式得到最終被評分作業(yè)的得分，其中τi為第i個(gè)評分用戶的歸一化批改能力評分值，hi為第i個(gè)評分用戶對該作業(yè)的評分值。借由上述方案，本發(fā)明在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法與系統(tǒng)至少具有以下優(yōu)點(diǎn)：1、與隨機(jī)分配方案相比，本發(fā)明基于貪心策略的作業(yè)分配方案的標(biāo)準(zhǔn)差要小很多，即分配結(jié)果的穩(wěn)定性上效果顯著，分配結(jié)果更加公平。2、本發(fā)明通過采用sigmoid模型建立的用戶批改能力值進(jìn)行線性加權(quán)得到的作業(yè)分?jǐn)?shù)誤差優(yōu)于常規(guī)的平均值法和中位數(shù)法，即作業(yè)互評結(jié)果更準(zhǔn)確。上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，并可依照說明書的內(nèi)容予以實(shí)施，以下以本發(fā)明的較佳實(shí)施例并配合附圖詳細(xì)說明如后。附圖說明圖1是本發(fā)明在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)系統(tǒng)框圖；圖2是本發(fā)明在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法與系統(tǒng)的絕對差分配圖；圖3是本發(fā)明在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法與系統(tǒng)的sigmoid函數(shù)曲線圖；圖4是本發(fā)明在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法與系統(tǒng)的能力值分配圖。具體實(shí)施方式下面結(jié)合附圖和實(shí)施例，對本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。本發(fā)明作業(yè)分配算法作業(yè)互評分配算法的目標(biāo)與條件約束表述為：所有用戶都參與互評操作，而且每位用戶批改的作業(yè)數(shù)相同，每份作業(yè)被批改的次數(shù)也相同，并盡量使得對于不同的作業(yè)，其中每份作業(yè)所有批改者的批改能力值之和接近。為了達(dá)到設(shè)定的目的，我們通過采用一種貪心策略來趨近最優(yōu)值：評分用戶本人在不會批改自己的作業(yè)的前提下，每一次進(jìn)行作業(yè)分配都讓能力值最高的用戶去批改當(dāng)前批改能力值之和最小的作業(yè)。同時(shí)滿足每個(gè)人批改作業(yè)數(shù)不超過設(shè)定值，每份作業(yè)被批改數(shù)不超過設(shè)定值。模擬實(shí)驗(yàn)假設(shè)共有1000份作業(yè)要批改(即共有1000名用戶)，每份作業(yè)被批改5次，用該算法分配評閱人，評閱人的平均打分能力的標(biāo)準(zhǔn)差可以大幅度減小。算法的模擬實(shí)驗(yàn)結(jié)果如下：算法對打分誤差的均值沒有明顯提高，對標(biāo)準(zhǔn)差的提高很明顯，即提高了作業(yè)分配結(jié)果的公平性。實(shí)施例1本實(shí)施例在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)方法，包括：獲取評分用戶對作業(yè)的批改記錄；基于所述批改記錄，通過用戶批改能力值算法，得到各評分用戶的批改能力評估值；基于所述批改記錄，通過作業(yè)質(zhì)量估計(jì)算法，得到作業(yè)的質(zhì)量；建立用戶批改能力值與作業(yè)的質(zhì)量估計(jì)結(jié)合，進(jìn)行作業(yè)分配。在保證評分用戶本人不會批改自己的作業(yè)的前提下，采用預(yù)定的作業(yè)分配算法分配作業(yè)進(jìn)行評分，保證每份作業(yè)所有的評分用戶的批改能力值之和接近，讓能力值最高的用戶去批改當(dāng)前批改能力值之和最小的作業(yè)。所述用戶批改能力值算法具體包括：利用sigmoid函數(shù)來定義批改能力值，其中，sigmoid函數(shù)的輸入值為用戶對作業(yè)的評分與標(biāo)準(zhǔn)得分之間差的絕對值，該函數(shù)的數(shù)學(xué)表達(dá)為：其中，x為用戶打分與標(biāo)準(zhǔn)值之間偏差的絕對值，rank則為輸出的用戶批改能力值。獲取對被評分作業(yè)進(jìn)行評分的各評分用戶的批改能力評估值，對每一位評分用戶的批改能力評估值進(jìn)行歸一化，其中歸一化公式如下：μi為第i個(gè)評分用戶的批改能力評估值，為所有評分用戶的批改能力評估值之和。采用如下公式得到被評分作業(yè)的得分，其中τi為第i個(gè)評分用戶的歸一化批改能力評分值，hi為第i個(gè)評分用戶對該作業(yè)的評分值。輸入：700份作業(yè)，2183條互評記錄，其中400份作業(yè)有課程老師批改的成績。輸出：采用sigmoid模型建立用戶批改能力值的分布情況，以及在其支配下作業(yè)互評的誤差分析。共144名參與作業(yè)互評的用戶數(shù)據(jù)，統(tǒng)計(jì)用戶評分與教師標(biāo)準(zhǔn)評分之間的差異。81.25％的用戶評分與教師標(biāo)準(zhǔn)評分誤差的絕對值在15％以內(nèi)，這部分用戶的誤差絕對值中位數(shù)約為6.25％。引入sigmoid函數(shù)將誤差絕對值映射入[0，1]區(qū)間內(nèi)，使得在誤差絕對值在中位數(shù)6.25的位置上，用戶的批改能力值為0.5，建立用戶批改能力值定義為：其特征曲線如圖3所示?；谠撃Ｐ蛯?shù)據(jù)集中的144位用戶進(jìn)行批改能力值評估，采用sigmoid模型建立的用戶批改能力值的分布更為合理，有較好的區(qū)分度。以上述sigmoid模型建立的用戶批改能力值作為權(quán)重，對數(shù)據(jù)集中的每份作業(yè)通過線性加權(quán)計(jì)算其得分值。對于任意一份作業(yè)h，假設(shè)參與批改的用戶總數(shù)n，評分值分別為{h1，h1......，hn}，n位用戶的批改能力值分別為{μ1，μ2，...，μn}，則對每一位用戶的批改能力值進(jìn)行歸一化：該份作業(yè)的得分為：當(dāng)sigmoid函數(shù)在自變量取值[0，5]內(nèi)時(shí)，能力值＞0.5；當(dāng)sigmoid函數(shù)在自變量取值在[5，10]內(nèi)時(shí)，能力值＜0.5。用戶對作業(yè)的評分與標(biāo)準(zhǔn)得分之間差的絕對值，除兩個(gè)異常點(diǎn)外，大部分都落入[0，10]區(qū)間內(nèi)。對計(jì)算得到的作業(yè)最終得分集合，以原始評分中的平均值和中位數(shù)作為對照組，進(jìn)行均方誤差mse與平均絕對百分誤差mape的分析。誤差分析指標(biāo)平均值組中位數(shù)組能力值線性加權(quán)組mse124.9167.6447.94mape8.84％7.76％6.19％通過采用sigmoid模型建立的用戶批改能力值進(jìn)行線性加權(quán)得到的作業(yè)分?jǐn)?shù)誤差優(yōu)于常規(guī)的平均值法和中位數(shù)法。實(shí)施例2本實(shí)施例在線課程用戶作業(yè)互評智能分發(fā)、評價(jià)系統(tǒng)，包括：作業(yè)批改記錄獲取模塊，用于獲取評分用戶對作業(yè)的批改記錄；批改能力評估模塊，用于基于所述批改記錄，通過用戶批改能力值算法，得到各評分用戶的批改能力評估值；批改分配模塊，用于將作業(yè)分配給預(yù)訂的評分用戶進(jìn)行評分，分配原則為：用戶不批改自己的待批改作業(yè)，以及一份待批改作業(yè)對應(yīng)所有評分用戶的批改能力值之和與另一份待批改作業(yè)對應(yīng)所有評分用戶的批改能力值之和之間的差值的絕對值不大于設(shè)定的閾值；評分結(jié)果輸出模塊，用于將評分結(jié)果進(jìn)行輸出。批改能力評估模塊，包括sigmoid函數(shù)運(yùn)行單元以及平均算法運(yùn)行單元，所述sigmoid函數(shù)運(yùn)行單元，用于輸入值為用戶對作業(yè)的評分與標(biāo)準(zhǔn)得分之間差的絕對值，該函數(shù)的數(shù)學(xué)表達(dá)為：其中，x為用戶打分與標(biāo)準(zhǔn)值之間偏差的絕對值，rank則為輸出的用戶批改能力值；所述平均算法運(yùn)行單元，用于在用戶沒有批改記錄時(shí)，計(jì)算該批改組內(nèi)其他有批改記錄的用戶的批改能力值的平均值為該用戶批改能力值初始值。評分結(jié)果輸出模塊包括歸一化處理單元、結(jié)果輸出單元，所述歸一化處理單元，用于獲取對被評分作業(yè)進(jìn)行評分的各評分用戶的批改能力評估值，對每一位評分用戶的批改能力評估值進(jìn)行歸一化，其中歸一化公式如下：μi為第i個(gè)評分用戶的批改能力評估值，為所有評分用戶的批改能力評估值之和；結(jié)果輸出單元，用于采用如下公式得到最終被評分作業(yè)的得分，其中τi為第i個(gè)評分用戶的歸一化批改能力評分值，hi為第i個(gè)評分用戶對該作業(yè)的評分值。本實(shí)施例在具體應(yīng)用中的應(yīng)用，采用本方案只需要教師在交互英語平臺上布置互評作業(yè)，學(xué)生在平臺上提交作業(yè)后評價(jià)系統(tǒng)分配的同伴作業(yè)即可。布置互評作業(yè)教師登陸交互英語平臺后，在作業(yè)模塊下，選擇布置寫作作業(yè)、上傳作業(yè)、口語作業(yè)中的任一種，填寫作業(yè)的名稱、作業(yè)要求，選擇參與作業(yè)的班級以及學(xué)生互評方式評價(jià)作業(yè)，設(shè)置互評作業(yè)的提交開始時(shí)間、互評開始時(shí)間和評價(jià)截止時(shí)間。學(xué)生提交作業(yè)學(xué)生登陸交互英語平臺后，在作業(yè)模塊下，點(diǎn)擊作業(yè)名稱后查看作業(yè)要求并提交作業(yè)。學(xué)生評價(jià)作業(yè)作業(yè)評價(jià)日期開始后，學(xué)生登陸交互英語平臺，在作業(yè)模塊下，點(diǎn)擊作業(yè)名稱，即可查看自己的作業(yè)評價(jià)情況，評價(jià)系統(tǒng)分配到的同伴作業(yè)。作業(yè)互評結(jié)束后，學(xué)生可以查看同伴給自己作業(yè)的評價(jià)結(jié)果。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，并不用于限制本發(fā)明，應(yīng)當(dāng)指出，對于本
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變型，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。當(dāng)前第1頁12