本發(fā)明涉及電子技術(shù)領(lǐng)域，尤其涉及一種個性化推薦實(shí)時性測試方法、裝置及電子設(shè)備。

背景技術(shù)：

當(dāng)前，應(yīng)用服務(wù)器可以根據(jù)用戶操作的歷史信息(如：用戶年齡、地域、興趣愛好、信息點(diǎn)擊率)進(jìn)行個性化推薦，由于應(yīng)用信息獲取的渠道多，內(nèi)容雜，時效性等無法保證，導(dǎo)致用戶需要花費(fèi)大量的時間去找感興趣的類型閱讀，用戶希望在盡量短的時間內(nèi)出現(xiàn)與已點(diǎn)擊內(nèi)容關(guān)聯(lián)性很強(qiáng)的信息，對應(yīng)用服務(wù)器個性化推薦的算法實(shí)時性提出了更高的要求，因此，有必要對個性化推薦的實(shí)時性進(jìn)行測試。

在現(xiàn)有技術(shù)方案中，首先區(qū)分出AB兩部分樣本用戶，對這兩部分的樣本用戶分別采用不同的統(tǒng)計(jì)方法，然后獲取個性化推薦的實(shí)時數(shù)據(jù)并繪制成時間曲線，通過時間曲線確定實(shí)時性測試的基準(zhǔn)數(shù)據(jù)值，但是，這種方法測試周期長，一般需要幾天時間，并且測試出的數(shù)據(jù)準(zhǔn)確性低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種個性化推薦實(shí)時性測試方法、裝置及電子設(shè)備。可以解決現(xiàn)有技術(shù)方案中測試周期長、準(zhǔn)確性低的問題。

本發(fā)明第一方面提供了一種個性化推薦實(shí)時性測試方法，包括：

選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送所述多條內(nèi)容信息的特征，記錄所述多條內(nèi)容信息操作完成時的第一時間點(diǎn)；

向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄所述信息更新請求發(fā)送時的第二時間點(diǎn)，所述信息更新請求用于指示所述應(yīng)用服務(wù)器根據(jù)所述多條內(nèi)容信息向用戶終端推薦信息流；

接收所述應(yīng)用服務(wù)器發(fā)送的所述信息流；

確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例；

當(dāng)所述數(shù)量比例大于預(yù)設(shè)閾值時，根據(jù)所述第一時間點(diǎn)和所述第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性。

其中，所述選取應(yīng)用信息顯示列表中的內(nèi)容信息包括：

根據(jù)所述應(yīng)用信息顯示列表的特征或所述應(yīng)用信息顯示列表中的內(nèi)容信息的特征選取預(yù)設(shè)數(shù)量的內(nèi)容信息。

其中，所述對所述內(nèi)容信息進(jìn)行操作包括：

根據(jù)所選取的內(nèi)容信息的特征執(zhí)行相應(yīng)的操作以模擬瀏覽所述內(nèi)容信息，瀏覽結(jié)束時完成所述操作。

其中，所述根據(jù)所述第一時間點(diǎn)和所述第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性包括：

計(jì)算所述第一時間點(diǎn)與所述第二時間點(diǎn)之間的時間差值；

根據(jù)所述時間差值，確定信息個性化推薦的實(shí)時性。

其中，所述根據(jù)所述時間差值，確定信息個性化推薦的實(shí)時性包括：

若所述時間差值小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性高；

若所述時間差值不小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性低。

其中，所述向所述應(yīng)用服務(wù)器發(fā)送信息更新請求包括：

按照預(yù)設(shè)周期向所述應(yīng)用服務(wù)器發(fā)送所述信息更新請求。

其中，所述方法還包括：

確定所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型，所述匹配類型包括頻道匹配和關(guān)鍵詞匹配；

根據(jù)所述匹配類型，確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度。

相應(yīng)地，本發(fā)明第二方面提供了一種個性化推薦實(shí)時性測試裝置，包括：

信息操作模塊，用于選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送所述多條內(nèi)容信息的特征，記錄所述多條內(nèi)容信息操作完成時的第一時間點(diǎn)；

請求發(fā)送模塊，用于向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄所述信息更新請求發(fā)送時的第二時間點(diǎn)，所述信息更新請求用于指示所述應(yīng)用服務(wù)器根據(jù)所述多條內(nèi)容信息向用戶終端推薦信息流；

信息接收模塊，用于接收所述應(yīng)用服務(wù)器發(fā)送的所述信息流；

比例確定模塊，用于確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例；

時間確定模塊，用于當(dāng)所述數(shù)量比例大于預(yù)設(shè)閾值時，根據(jù)所述第一時間點(diǎn)和所述第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性。

其中，所述信息操作模塊具體用于：

根據(jù)所述應(yīng)用信息顯示列表的特征或所述應(yīng)用信息顯示列表中的內(nèi)容信息的特征選取預(yù)設(shè)數(shù)量的內(nèi)容信息。

其中，所述信息操作模塊具體用于：

根據(jù)所選取的內(nèi)容信息的特征執(zhí)行相應(yīng)的操作以模擬瀏覽所述內(nèi)容信息，瀏覽結(jié)束時完成所述操作。

其中，所述時間確定模塊具體用于：

計(jì)算所述第一時間點(diǎn)與所述第二時間點(diǎn)之間的時間差值；

根據(jù)所述時間差值，確定信息個性化推薦的實(shí)時性。

其中，所述時間確定模塊具體用于：

若所述時間差值小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性高；

若所述時間差值不小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性低。

其中，所述請求發(fā)送模塊，還用于按照預(yù)設(shè)周期向所述應(yīng)用服務(wù)器發(fā)送所述信息更新請求。

其中，所述裝置還包括：

相關(guān)性確定模塊，用于確定所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型，所述匹配類型包括頻道匹配和關(guān)鍵詞匹配；根據(jù)所述匹配類型，確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度。

相應(yīng)地，本發(fā)明第三方面提供了一種電子設(shè)備，包括：處理器、存儲器、通信接口和總線；

所述處理器、所述存儲器和所述通信接口通過所述總線連接并完成相互間的通信；

所述存儲器存儲可執(zhí)行程序代碼；

所述處理器通過讀取所述存儲器中存儲的可執(zhí)行程序代碼來運(yùn)行與所述可執(zhí)行程序代碼對應(yīng)的程序，以用于：

選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送所述多條內(nèi)容信息的特征，記錄所述多條內(nèi)容信息操作完成時的第一時間點(diǎn)；

向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄所述信息更新請求發(fā)送時的第二時間點(diǎn)，所述信息更新請求用于指示所述應(yīng)用服務(wù)器根據(jù)所述多條內(nèi)容信息向用戶終端推薦信息流；

接收所述應(yīng)用服務(wù)器發(fā)送的所述信息流；

確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例；

當(dāng)所述數(shù)量比例大于預(yù)設(shè)閾值時，根據(jù)所述第一時間點(diǎn)和所述第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性。

相應(yīng)地，本發(fā)明實(shí)施例提供了一種存儲介質(zhì)，其中，所述存儲介質(zhì)用于存儲應(yīng)用程序，所述應(yīng)用程序用于在運(yùn)行時執(zhí)行本發(fā)明實(shí)施例第一方面公開的一種個性化推薦實(shí)時性測試方法。

相應(yīng)地，本發(fā)明實(shí)施例提供了一種應(yīng)用程序，其中，所述應(yīng)用程序用于在運(yùn)行時執(zhí)行本發(fā)明實(shí)施例第一方面公開的一種個性化推薦實(shí)時性測試方法。

實(shí)施本發(fā)明實(shí)施例，首先選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送多條內(nèi)容信息的特征，記錄多條內(nèi)容信息操作完成時的第一時間點(diǎn)；然后向應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄信息更新請求發(fā)送時的第二時間點(diǎn)，信息更新請求用于指示應(yīng)用服務(wù)器根據(jù)多條內(nèi)容信息向用戶終端推薦信息流；其次接收應(yīng)用服務(wù)器發(fā)送的信息流；最后確定信息流中與多條內(nèi)容信息匹配的推薦內(nèi)容所占信息流的數(shù)量比例；當(dāng)數(shù)量比例大于預(yù)設(shè)閾值時，根據(jù)第一時間點(diǎn)和第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性，從而縮短測試周期，提高測試的準(zhǔn)確性。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明提出的一種個性化推薦實(shí)時性測試方法的第一實(shí)施例的流程示意圖；

圖2是本發(fā)明提出的一種個性化推薦實(shí)時性測試方法的第二實(shí)施例的流程示意圖；

圖3是本發(fā)明實(shí)施例提出的一種個性化推薦實(shí)時性測試裝置的結(jié)構(gòu)示意圖；

圖4是本發(fā)明實(shí)施例提出的一種電子設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請參考圖1，圖1是本發(fā)明提出的一種個性化推薦實(shí)時性測試方法的第一實(shí)施例的流程示意圖。如圖所示，本發(fā)明實(shí)施例中的方法包括：

S101，選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送所述多條內(nèi)容信息的特征，記錄所述多條內(nèi)容信息操作完成時的第一時間點(diǎn)；

具體實(shí)現(xiàn)中，可以根據(jù)所述應(yīng)用信息顯示列表的特征或所述應(yīng)用信息顯示列表中的內(nèi)容信息的特征選取預(yù)設(shè)數(shù)量的內(nèi)容信息。例如，可以首先打開應(yīng)用信息顯示列表，應(yīng)用信息顯示列表可以包括多個信息類型頻道，每個信息類型頻道包括N條內(nèi)容信息，內(nèi)容信息可以包括視頻內(nèi)容、文本內(nèi)容和/或圖片內(nèi)容，用戶可以選擇使用頻率較低的信息類型頻道，從該選擇的信息類型頻道中選取預(yù)設(shè)數(shù)量的內(nèi)容信息，如果選取的內(nèi)容信息為文本內(nèi)容，可以選取20條內(nèi)容信息，如果選取的內(nèi)容信息為視頻內(nèi)容，可以選取10條內(nèi)容信息。在用戶選取所述多條內(nèi)容信息之后，將所述多條內(nèi)容信息發(fā)送到應(yīng)用服務(wù)器，記錄所述多條內(nèi)容信息操作完成時的第一時間點(diǎn)，例如，記錄選取的文本內(nèi)容中的最后一條文本內(nèi)容發(fā)送時的時間點(diǎn)，或記錄選取的視頻內(nèi)容中最后一條視頻內(nèi)容播放完成時的時間點(diǎn)，其中，應(yīng)用信息顯示列表可以為某個應(yīng)用的顯示界面或某個網(wǎng)頁的顯示界面，N為大于等于1的正整數(shù)。

可選的，可以根據(jù)所選取的內(nèi)容信息的特征執(zhí)行相應(yīng)的操作以模擬瀏覽所述內(nèi)容信息，瀏覽結(jié)束時完成所述操作。對于不同類型的內(nèi)容信息執(zhí)行不同的操作，純文字要模擬滑動瀏覽到文章底部，音視頻需要等待播放完成。另外，此處模擬的意思指作為測試方法模擬普通用戶的行為，可以是全自動的也可以是人為執(zhí)行的。

S102，向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄所述信息更新請求發(fā)送時的第二時間點(diǎn)，所述信息更新請求用于指示所述應(yīng)用服務(wù)器根據(jù)所述多條內(nèi)容信息向用戶終端推薦信息流；

具體實(shí)現(xiàn)中，可以按照預(yù)設(shè)周期向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，其中，預(yù)設(shè)周期可以為1分鐘或2分鐘，但不局限于上述值。也可以在等待一段時間后，接收用戶輸入的更新命令，通過下拉應(yīng)用信息顯示列表向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄所述信息更新請求發(fā)送時的第二時間點(diǎn)，應(yīng)用服務(wù)器接收到信息更新請求之后，向用戶終端推薦信息流，其中，信息流包括通過信息推薦算法獲取到的與多條內(nèi)容信息匹配的推薦內(nèi)容，也包括與多條內(nèi)容信息不匹配的內(nèi)容。

S103，接收所述應(yīng)用服務(wù)器發(fā)送的所述信息流；

S104，確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例是否大于預(yù)設(shè)閾值；

具體實(shí)現(xiàn)中，可以首先確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容的數(shù)量、以及所述信息流的總數(shù)量，將所述推薦內(nèi)容的數(shù)量除以所述信息流的總數(shù)量，計(jì)算得到數(shù)量比例，然后將數(shù)量比例與所述預(yù)設(shè)閾值進(jìn)行比較，若所述數(shù)量比例不大于預(yù)設(shè)閾值，則跳轉(zhuǎn)到S102，執(zhí)行向所述應(yīng)用服務(wù)器發(fā)送信息更新請求的操作步驟，其中，預(yù)設(shè)閾值可以為20％或30％，但不局限于上述值。

S105，當(dāng)所述數(shù)量比例大于所述預(yù)設(shè)閾值時，根據(jù)所述第一時間點(diǎn)和所述第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性。

具體實(shí)現(xiàn)中，可以計(jì)算所述第一時間點(diǎn)與所述第二時間點(diǎn)之間的時間差值；根據(jù)所述時間差值，確定信息個性化推薦的實(shí)時性。進(jìn)一步的，若所述時間差值小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性高；若所述時間差值不小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性低。其中，基準(zhǔn)時長可以通過對相同類型多個應(yīng)用進(jìn)行測試計(jì)算出信息個性化推薦的時間平均值得到。如果信息個性化推薦的實(shí)時性高，則說明應(yīng)用服務(wù)器的推薦算法的性能好，如果信息個性化推薦的實(shí)時性低，則說明應(yīng)用服務(wù)器的推薦算法的性能差。

需要說明的是，如果用戶終端按照預(yù)設(shè)周期T向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，則所述第一時間點(diǎn)和所述第二時間點(diǎn)之間的時間差值為M*T，M為大于等于1的正整數(shù)，例如，如果經(jīng)過兩次更新之后，信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例大于預(yù)設(shè)閾值，則時間差值為2T。

在本發(fā)明實(shí)施例中，首先選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送多條內(nèi)容信息的特征，記錄多條內(nèi)容信息操作完成時的第一時間點(diǎn)；然后向應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄信息更新請求發(fā)送時的第二時間點(diǎn)，信息更新請求用于指示應(yīng)用服務(wù)器根據(jù)多條內(nèi)容信息向用戶終端推薦信息流；其次接收應(yīng)用服務(wù)器發(fā)送的信息流；最后確定信息流中與多條內(nèi)容信息匹配的推薦內(nèi)容所占信息流的數(shù)量比例；當(dāng)數(shù)量比例大于預(yù)設(shè)閾值時，根據(jù)第一時間點(diǎn)和第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性，從而縮短測試周期，提高測試的準(zhǔn)確性。

請參考圖2，圖2是本發(fā)明提出的一種個性化推薦實(shí)時性測試方法的第二實(shí)施例的流程示意圖。如圖所示，本發(fā)明實(shí)施例中的方法包括：

S201，選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送所述多條內(nèi)容信息的特征。

具體實(shí)現(xiàn)中，可以根據(jù)所述應(yīng)用信息顯示列表的特征或所述應(yīng)用信息顯示列表中的內(nèi)容信息的特征選取預(yù)設(shè)數(shù)量的內(nèi)容信息。例如，可以首先打開應(yīng)用信息顯示列表，應(yīng)用信息顯示列表可以包括多個信息類型頻道，每個信息類型頻道包括N條內(nèi)容信息，內(nèi)容信息可以包括視頻內(nèi)容、文本內(nèi)容和/或圖片內(nèi)容，用戶可以選擇使用頻率較低的信息類型頻道，從該選擇的信息類型頻道中選取預(yù)設(shè)數(shù)量的內(nèi)容信息，如果選取的內(nèi)容信息為文本內(nèi)容，可以選取20條內(nèi)容信息，如果選取的內(nèi)容信息為視頻內(nèi)容，可以選取10條內(nèi)容信息。在用戶選取所述多條內(nèi)容信息之后，將所述多條內(nèi)容信息發(fā)送到應(yīng)用服務(wù)器，其中，應(yīng)用信息顯示列表可以為某個應(yīng)用的顯示界面或某個網(wǎng)頁的顯示界面，N為大于等于1的正整數(shù)。

可選的，可以根據(jù)所選取的內(nèi)容信息的特征執(zhí)行相應(yīng)的操作以模擬瀏覽所述內(nèi)容信息，瀏覽結(jié)束時完成所述操作。對于不同類型的內(nèi)容信息執(zhí)行不同的操作，純文字要模擬滑動瀏覽到文章底部，音視頻需要等待播放完成。另外，此處模擬的意思指作為測試方法模擬普通用戶的行為，可以是全自動的也可以是人為執(zhí)行的。

S202，向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，所述信息更新請求用于指示所述應(yīng)用服務(wù)器根據(jù)所述多條內(nèi)容信息向用戶終端推薦信息流。

具體實(shí)現(xiàn)中，可以按照預(yù)設(shè)周期向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，其中，預(yù)設(shè)周期可以為1分鐘或2分鐘，但不局限于上述值。也可以在等待一段時間后，接收用戶輸入的更新命令，通過下拉應(yīng)用信息顯示列表向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，應(yīng)用服務(wù)器接收到信息更新請求之后，向用戶終端推薦信息流，其中，信息流包括通過信息推薦算法獲取到的與多條內(nèi)容信息匹配的推薦內(nèi)容，也包括與多條內(nèi)容信息不匹配的內(nèi)容。

S203，接收所述應(yīng)用服務(wù)器發(fā)送的所述信息流。

S204，確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例是否大于預(yù)設(shè)閾值。

具體實(shí)現(xiàn)中，可以首先確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容的數(shù)量、以及所述信息流的總數(shù)量，將所述推薦內(nèi)容的數(shù)量除以所述信息流的總數(shù)量，計(jì)算得到數(shù)量比例，然后將數(shù)量比例與所述預(yù)設(shè)閾值進(jìn)行比較，若所述數(shù)量比例不大于預(yù)設(shè)閾值，則跳轉(zhuǎn)到S202，執(zhí)行向所述應(yīng)用服務(wù)器發(fā)送信息更新請求的操作步驟，其中，預(yù)設(shè)閾值可以為20％或30％，但不局限于上述值。

S205，當(dāng)所述數(shù)量比例大于預(yù)設(shè)閾值時，確定所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型，所述匹配類型包括頻道匹配和關(guān)鍵詞匹配。

具體實(shí)現(xiàn)中，如果用戶選擇應(yīng)用信息顯示列表中某個信息類型頻道中的多條內(nèi)容信息，并且確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例大于預(yù)設(shè)閾值，則說明所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型為頻道匹配；如果用戶選擇應(yīng)用信息顯示列表的任意內(nèi)容，并且確定所述信息流中與所述多條內(nèi)容信息匹配的關(guān)鍵詞所占所述信息流的數(shù)量比例大于預(yù)設(shè)閾值，則說明所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型為關(guān)鍵詞匹配。

S206，根據(jù)所述匹配類型，確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度。

具體實(shí)現(xiàn)中，如果所述匹配類型為關(guān)鍵詞匹配，則確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度低，如果所述匹配類型為頻道匹配，則確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度高。

請參考圖3，圖是本發(fā)明實(shí)施例提供的一種個性化推薦實(shí)時性測試裝置的結(jié)構(gòu)示意圖。如圖所示，本發(fā)明實(shí)施例中的裝置包括：

信息操作模塊301，用于選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送所述多條內(nèi)容信息的特征，記錄所述多條內(nèi)容信息操作完成時的第一時間點(diǎn)。

具體實(shí)現(xiàn)中，可以根據(jù)所述應(yīng)用信息顯示列表的特征或所述應(yīng)用信息顯示列表中的內(nèi)容信息的特征選取預(yù)設(shè)數(shù)量的內(nèi)容信息。例如，可以首先打開應(yīng)用信息顯示列表，應(yīng)用信息顯示列表可以包括多個信息類型頻道，每個信息類型頻道包括N條內(nèi)容信息，內(nèi)容信息可以包括視頻內(nèi)容、文本內(nèi)容和/或圖片內(nèi)容，用戶可以選擇使用頻率較低的信息類型頻道，從該選擇的信息類型頻道中選取預(yù)設(shè)數(shù)量的內(nèi)容信息，如果選取的內(nèi)容信息為文本內(nèi)容，可以選取20條內(nèi)容信息，如果選取的內(nèi)容信息為視頻內(nèi)容，可以選取10條內(nèi)容信息。在用戶選取所述多條內(nèi)容信息之后，將所述多條內(nèi)容信息發(fā)送到應(yīng)用服務(wù)器，記錄所述多條內(nèi)容信息操作完成時的第一時間點(diǎn)，例如，記錄選取的文本內(nèi)容中的最后一條文本內(nèi)容發(fā)送時的時間點(diǎn)，或記錄選取的視頻內(nèi)容中最后一條視頻內(nèi)容播放完成時的時間點(diǎn)，其中，應(yīng)用信息顯示列表可以為某個應(yīng)用的顯示界面或某個網(wǎng)頁的顯示界面，N為大于等于1的正整數(shù)。

可選的，可以根據(jù)所選取的內(nèi)容信息的特征執(zhí)行相應(yīng)的操作以模擬瀏覽所述內(nèi)容信息，瀏覽結(jié)束時完成所述操作。對于不同類型的內(nèi)容信息執(zhí)行不同的操作，純文字要模擬滑動瀏覽到文章底部，音視頻需要等待播放完成。另外，此處模擬的意思指作為測試方法模擬普通用戶的行為，可以是全自動的也可以是人為執(zhí)行的。

請求發(fā)送模塊302，用于向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄所述信息更新請求發(fā)送時的第二時間點(diǎn)，所述信息更新請求用于指示所述應(yīng)用服務(wù)器根據(jù)所述多條內(nèi)容信息向用戶終端推薦信息流。

具體實(shí)現(xiàn)中，可以按照預(yù)設(shè)周期向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，其中，預(yù)設(shè)周期可以為1分鐘或2分鐘，但不局限于上述值。也可以在等待一段時間后，接收用戶輸入的更新命令，通過下拉應(yīng)用信息顯示列表向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄所述信息更新請求發(fā)送時的第二時間點(diǎn)，應(yīng)用服務(wù)器接收到信息更新請求之后，向用戶終端推薦信息流，其中，信息流包括通過信息推薦算法獲取到的與多條內(nèi)容信息匹配的推薦內(nèi)容，也包括與多條內(nèi)容信息不匹配的內(nèi)容。

信息接收模塊303，用于接收所述應(yīng)用服務(wù)器發(fā)送的所述信息流。

比例確定模塊304，用于確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例。

具體實(shí)現(xiàn)中，可以首先確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容的數(shù)量、以及所述信息流的總數(shù)量，將所述推薦內(nèi)容的數(shù)量除以所述信息流的總數(shù)量，計(jì)算得到數(shù)量比例，然后將數(shù)量比例與所述預(yù)設(shè)閾值進(jìn)行比較，若所述數(shù)量比例不大于預(yù)設(shè)閾值，則跳轉(zhuǎn)到S102，執(zhí)行向所述應(yīng)用服務(wù)器發(fā)送信息更新請求的操作步驟，其中，預(yù)設(shè)閾值可以為20％或30％，但不局限于上述值。

時間確定模塊305，用于當(dāng)所述數(shù)量比例大于預(yù)設(shè)閾值時，根據(jù)所述第一時間點(diǎn)和所述第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性。

具體實(shí)現(xiàn)中，可以計(jì)算所述第一時間點(diǎn)與所述第二時間點(diǎn)之間的時間差值；根據(jù)所述時間差值，確定信息個性化推薦的實(shí)時性。進(jìn)一步的，若所述時間差值小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性高；若所述時間差值不小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性低。其中，基準(zhǔn)時長可以通過對相同類型多個應(yīng)用進(jìn)行測試計(jì)算出信息個性化推薦的時間平均值得到。如果信息個性化推薦的實(shí)時性高，則說明應(yīng)用服務(wù)器的推薦算法的性能好，如果信息個性化推薦的實(shí)時性低，則說明應(yīng)用服務(wù)器的推薦算法的性能差。

需要說明的是，如果用戶終端按照預(yù)設(shè)周期T向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，則所述第一時間點(diǎn)和所述第二時間點(diǎn)之間的時間差值為M*T，M為大于等于1的正整數(shù)，例如，如果經(jīng)過兩次更新之后，信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例大于預(yù)設(shè)閾值，則時間差值為2T。

可選的，如圖3所示，本發(fā)明實(shí)施例中的裝置還可以包括：

相關(guān)性確定模塊306，用于確定所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型，所述匹配類型包括頻道匹配和關(guān)鍵詞匹配；根據(jù)所述匹配類型，確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度。

具體實(shí)現(xiàn)中，如果用戶選擇應(yīng)用信息顯示列表中某個信息類型頻道中的多條內(nèi)容信息，并且確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例大于預(yù)設(shè)閾值，則說明所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型為頻道匹配；如果用戶選擇應(yīng)用信息顯示列表的任意內(nèi)容，并且確定所述信息流中與所述多條內(nèi)容信息匹配的關(guān)鍵詞所占所述信息流的數(shù)量比例大于預(yù)設(shè)閾值，則說明所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型為關(guān)鍵詞匹配。如果所述匹配類型為關(guān)鍵詞匹配，則確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度低，如果所述匹配類型為頻道匹配，則確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度高。

在本發(fā)明實(shí)施例中，首先選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送多條內(nèi)容信息的特征，記錄多條內(nèi)容信息操作完成時的第一時間點(diǎn)；然后向應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄信息更新請求發(fā)送時的第二時間點(diǎn)，信息更新請求用于指示應(yīng)用服務(wù)器根據(jù)多條內(nèi)容信息向用戶終端推薦信息流；其次接收應(yīng)用服務(wù)器發(fā)送的信息流；最后確定信息流中與多條內(nèi)容信息匹配的推薦內(nèi)容所占信息流的數(shù)量比例；當(dāng)數(shù)量比例大于預(yù)設(shè)閾值時，根據(jù)第一時間點(diǎn)和第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性，從而縮短測試周期，提高測試的準(zhǔn)確性。

請參考圖4，圖4是本發(fā)明實(shí)施例提出的一種電子設(shè)備的結(jié)構(gòu)示意圖。如圖所示，該電子設(shè)備可以包括：至少一個處理器401，例如CPU，至少一個通信接口402，至少一個存儲器403，至少一個總線404。其中，總線404用于實(shí)現(xiàn)這些組件之間的連接通信。其中，本發(fā)明實(shí)施例中電子設(shè)備的通信接口402是有線發(fā)送端口，也可以為無線設(shè)備，例如包括天線裝置，用于與其他節(jié)點(diǎn)設(shè)備進(jìn)行信令或數(shù)據(jù)的通信。存儲器403可以是高速RAM存儲器，也可以是非不穩(wěn)定的存儲器(non-volatile memory)，例如至少一個磁盤存儲器。存儲器403可選的還可以是至少一個位于遠(yuǎn)離前述處理器401的存儲裝置。存儲器403中存儲一組程序代碼，且處理器401用于調(diào)用存儲器中存儲的程序代碼，用于執(zhí)行以下操作：

選取應(yīng)用信息顯示列表中的多條內(nèi)容信息，對所述內(nèi)容信息進(jìn)行操作，并向應(yīng)用服務(wù)器發(fā)送所述多條內(nèi)容信息的特征，記錄所述多條內(nèi)容信息操作完成時的第一時間點(diǎn)；

向所述應(yīng)用服務(wù)器發(fā)送信息更新請求，記錄所述信息更新請求發(fā)送時的第二時間點(diǎn)，所述信息更新請求用于指示所述應(yīng)用服務(wù)器根據(jù)所述多條內(nèi)容信息向用戶終端推薦信息流；

接收所述應(yīng)用服務(wù)器發(fā)送的所述信息流；

確定所述信息流中與所述多條內(nèi)容信息匹配的推薦內(nèi)容所占所述信息流的數(shù)量比例；

當(dāng)所述數(shù)量比例大于預(yù)設(shè)閾值時，根據(jù)所述第一時間點(diǎn)和所述第二時間點(diǎn)，確定信息個性化推薦的實(shí)時性。

其中，處理器401還用于執(zhí)行如下操作步驟：

根據(jù)所述應(yīng)用信息顯示列表的特征或所述應(yīng)用信息顯示列表中的內(nèi)容信息的特征選取預(yù)設(shè)數(shù)量的內(nèi)容信息。

其中，處理器401還用于執(zhí)行如下操作步驟：

根據(jù)所選取的內(nèi)容信息的特征執(zhí)行相應(yīng)的操作以模擬瀏覽所述內(nèi)容信息，瀏覽結(jié)束時完成所述操作。

其中，處理器401還用于執(zhí)行如下操作步驟：

計(jì)算所述第一時間點(diǎn)與所述第二時間點(diǎn)之間的時間差值；

根據(jù)所述時間差值，確定信息個性化推薦的實(shí)時性。

其中，處理器401還用于執(zhí)行如下操作步驟：

若所述時間差值小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性高；

若所述時間差值不小于預(yù)設(shè)基準(zhǔn)時長，則確定信息個性化推薦的實(shí)時性低。

其中，處理器401還用于執(zhí)行如下操作步驟：

按照預(yù)設(shè)周期向所述應(yīng)用服務(wù)器發(fā)送所述信息更新請求。

其中，處理器401還用于執(zhí)行如下操作步驟：

確定所述多條內(nèi)容信息與所述推薦內(nèi)容的匹配類型，所述匹配類型包括頻道匹配和關(guān)鍵詞匹配；

根據(jù)所述匹配類型，確定所述多條內(nèi)容信息與所述推薦內(nèi)容的相關(guān)度。

需要說明的是，本發(fā)明實(shí)施例同時也提供了一種存儲介質(zhì)，該存儲介質(zhì)用于存儲應(yīng)用程序，該應(yīng)用程序用于在運(yùn)行時執(zhí)行圖1所示的一種個性化推薦實(shí)時性測試方法以及圖2所示的一種個性化推薦實(shí)時性測試方法中接收電子設(shè)備執(zhí)行的操作。

需要說明的是，本發(fā)明實(shí)施例同時也提供了一種應(yīng)用程序，該應(yīng)用程序用于在運(yùn)行時執(zhí)行圖1所示的一種個性化推薦實(shí)時性測試方法以及圖2所示的一種一種個性化推薦實(shí)時性測試方法中接收電子設(shè)備執(zhí)行的操作。

需要說明的是，對于前述的各個方法實(shí)施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動作順序的限制，因?yàn)橐罁?jù)本發(fā)明，某一些步驟可以采用其他順序或者同時進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動作和模塊并不一定是本發(fā)明所必須的。

在上述實(shí)施例中，對各個實(shí)施例的描述都各有側(cè)重，某個實(shí)施例中沒有詳細(xì)描述的部分，可以參見其他實(shí)施例的相關(guān)描述。

本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計(jì)算機(jī)可讀存儲介質(zhì)中，存儲介質(zhì)可以包括：閃存盤、只讀存儲器(英文：Read-Only Memory，簡稱：ROM)、隨機(jī)存取器(英文：Random Access Memory，簡稱：RAM)、磁盤或光盤等。

以上對本發(fā)明實(shí)施例所提供的內(nèi)容下載方法及相關(guān)設(shè)備、系統(tǒng)進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。

在本說明書的描述中，參考術(shù)語“一個實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個實(shí)施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不必須針對的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任一個或多個實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié)合和組合。

此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有“第一”、“第二”的特征可以明示或者隱含地包括至少一個該特征。在本發(fā)明的描述中，“多個”的含義是至少兩個，例如兩個，三個等，除非另有明確具體的限定。

流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實(shí)現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本發(fā)明的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。

在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說明書而言，"計(jì)算機(jī)可讀介質(zhì)"可以是任何可以包含、存儲、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下：具有一個或多個布線的電連接部(電子裝置)，便攜式計(jì)算機(jī)盤盒(磁裝置)，隨機(jī)存取存儲器(RAM)，只讀存儲器(ROM)，可擦除可編輯只讀存儲器(EPROM或閃速存儲器)，光纖裝置，以及便攜式光盤只讀存儲器(CDROM)。另外，計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因?yàn)榭梢岳缤ㄟ^對紙或其他介質(zhì)進(jìn)行光學(xué)掃描，接著進(jìn)行編輯、解譯或必要時以其他合適方式進(jìn)行處理來以電子方式獲得所述程序，然后將其存儲在計(jì)算機(jī)存儲器中。

應(yīng)當(dāng)理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。在上述實(shí)施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實(shí)現(xiàn)。例如，如果用硬件來實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來實(shí)現(xiàn)：具有用于對數(shù)據(jù)信號實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現(xiàn)場可編程門陣列(FPGA)等。

本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計(jì)算機(jī)可讀存儲介質(zhì)中，該程序在執(zhí)行時，包括方法實(shí)施例的步驟之一或其組合。

此外，在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理模塊中，也可以是各個單元單獨(dú)物理存在，也可以兩個或兩個以上單元集成在一個模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時，也可以存儲在一個計(jì)算機(jī)可讀取存儲介質(zhì)中。

上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例性的，不能理解為對本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對上述實(shí)施例進(jìn)行變化、修改、替換和變型。