本發(fā)明涉及大數(shù)據(jù)與機(jī)器學(xué)習(xí),尤其涉及一種會話數(shù)閾值自適應(yīng)調(diào)節(jié)方法、裝置、設(shè)備及存儲介質(zhì)。
背景技術(shù):
1、在現(xiàn)代金融服務(wù)行業(yè)中,隨著數(shù)字化轉(zhuǎn)型的深入,金融機(jī)構(gòu)依賴于大規(guī)模的在線交易系統(tǒng)來處理海量的客戶請求和交易數(shù)據(jù)。這些系統(tǒng)通常需要支持高并發(fā)、多用戶訪問的場景,如在線銀行業(yè)務(wù)、移動支付、金融交易平臺等。在這樣的環(huán)境下,如何有效管理和優(yōu)化系統(tǒng)的會話處理能力,確保系統(tǒng)在高負(fù)載下仍能保持穩(wěn)定和高效的運行,是一個至關(guān)重要的技術(shù)挑戰(zhàn)。
2、傳統(tǒng)的金融系統(tǒng)會話管理方法通常依賴于預(yù)設(shè)的固定閾值,這些閾值往往基于歷史經(jīng)驗或靜態(tài)配置。然而,隨著金融業(yè)務(wù)的復(fù)雜性和動態(tài)性增加,固定閾值已無法滿足實時調(diào)節(jié)的需求。例如,在市場波動或突發(fā)事件期間,用戶請求量可能會劇增,導(dǎo)致系統(tǒng)超負(fù)荷運行,從而引發(fā)性能瓶頸甚至系統(tǒng)崩潰。反之,在業(yè)務(wù)低谷期,系統(tǒng)資源可能未能得到充分利用,導(dǎo)致資源浪費和運行成本增加。
3、為了應(yīng)對上述挑戰(zhàn),金融領(lǐng)域亟需一種智能化的會話管理和調(diào)節(jié)方法,能夠基于實時數(shù)據(jù)動態(tài)調(diào)整系統(tǒng)的會話數(shù)閾值,確保系統(tǒng)在不同負(fù)載條件下均能保持最佳性能。這不僅可以提升系統(tǒng)的處理效率和用戶體驗,還能夠有效降低運維成本和資源浪費。
4、隨著大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)技術(shù)的快速發(fā)展,金融機(jī)構(gòu)開始嘗試將這些技術(shù)應(yīng)用于會話管理中。通過對歷史會話數(shù)據(jù)的深入分析,結(jié)合系統(tǒng)負(fù)載、資源利用率等關(guān)鍵性能指標(biāo),建立預(yù)測模型,實時調(diào)整會話數(shù)閾值,可以更精確地響應(yīng)業(yè)務(wù)需求的變化。這種基于數(shù)據(jù)驅(qū)動的自適應(yīng)調(diào)節(jié)方法,有望解決傳統(tǒng)方法的局限性,為金融系統(tǒng)的穩(wěn)定運行提供更為智能和高效的解決方案。
技術(shù)實現(xiàn)思路
1、本發(fā)明的主要目的在于提供一種會話數(shù)閾值自適應(yīng)調(diào)節(jié)方法、裝置、設(shè)備及存儲介質(zhì),旨在解決現(xiàn)有技術(shù)依賴固定閾值進(jìn)行會話管理,無法動態(tài)調(diào)節(jié)會話數(shù)閾值,導(dǎo)致性能瓶頸或資源浪費的技術(shù)問題。
2、為實現(xiàn)上述目的,本發(fā)明提供一種會話數(shù)閾值自適應(yīng)調(diào)節(jié)方法,包括:
3、收集歷史會話性能指標(biāo)數(shù)據(jù),會話性能指標(biāo)包括數(shù)據(jù)庫性能指標(biāo)、服務(wù)器硬件配置指標(biāo)、系統(tǒng)負(fù)載指標(biāo)和業(yè)務(wù)流量指標(biāo);
4、將所述歷史會話性能指標(biāo)數(shù)據(jù)分為正樣本和負(fù)樣本,根據(jù)特征分析方法從所述歷史會話性能指標(biāo)數(shù)據(jù)中選擇與會話性能相關(guān)的關(guān)鍵特征變量;
5、基于所述關(guān)鍵特征變量、正樣本和負(fù)樣本,使用機(jī)器學(xué)習(xí)算法對初始模型進(jìn)行訓(xùn)練,得到會話閾值預(yù)測模型;
6、實時監(jiān)控當(dāng)前的會話性能指標(biāo)數(shù)據(jù),基于所述關(guān)鍵特征變量和所述會話閾值預(yù)測模型,自適應(yīng)生成并動態(tài)調(diào)整會話數(shù)閾值。
7、在一個實施例中,基于所述關(guān)鍵特征變量、正樣本和負(fù)樣本,使用機(jī)器學(xué)習(xí)算法對初始模型進(jìn)行訓(xùn)練,得到會話閾值預(yù)測模型,包括:
8、基于所述關(guān)鍵特征變量、正樣本和負(fù)樣本,使用隨機(jī)森林算法對所述初始模型進(jìn)行訓(xùn)練;
9、在訓(xùn)練過程中,通過網(wǎng)格搜索或隨機(jī)搜索方法對所述初始模型的超參數(shù)進(jìn)行優(yōu)化;
10、在訓(xùn)練完成后,得到驗證模型,對所述驗證模型的準(zhǔn)確率進(jìn)行評估;
11、若所述準(zhǔn)確率不大于第一預(yù)設(shè)閾值,則確定所述驗證模型不滿足會話閾值預(yù)測條件,重新選擇與會話性能相關(guān)的關(guān)鍵特征變量,再次進(jìn)行模型訓(xùn)練;
12、若所述準(zhǔn)確率大于第一預(yù)設(shè)閾值,則評估所述驗證模型的召回率,若所述召回率大于第二預(yù)設(shè)閾值,將所述驗證模型作為所述會話閾值預(yù)測模型。
13、在一個實施例中,將所述歷史會話性能指標(biāo)數(shù)據(jù)分為正樣本和負(fù)樣本,包括:
14、定義響應(yīng)時間閾值、資源利用閾值范圍和錯誤率閾值;
15、將所述歷史會話性能指標(biāo)數(shù)據(jù)中響應(yīng)時間小于或等于響應(yīng)時間閾值且資源利用率在所述資源利用閾值范圍內(nèi)并且錯誤率小于或者等于錯誤率閾值的數(shù)據(jù)作為所述正樣本;
16、將所述歷史會話性能指標(biāo)數(shù)據(jù)中除所述正樣本以外的數(shù)據(jù)作為所述負(fù)樣本。
17、在一個實施例中,根據(jù)特征分析方法從所述歷史會話性能指標(biāo)數(shù)據(jù)中選擇與會話性能相關(guān)的關(guān)鍵特征變量,包括:
18、評估所述歷史會話性能指標(biāo)數(shù)據(jù)中的每個特征與目標(biāo)會話性能指標(biāo)之間的pearson相關(guān)系數(shù),選擇pearson相關(guān)系數(shù)的絕對值大于第一閾值的特征,作為第一候選關(guān)鍵特征變量;
19、對所述歷史會話性能指標(biāo)數(shù)據(jù)中的每個特征進(jìn)行線性回歸分析,以目標(biāo)會話性能指標(biāo)為因變量,每個特征為自變量,計算回歸系數(shù),選擇回歸系數(shù)大于第二閾值的特征,作為第二候選關(guān)鍵特征變量;
20、對所述歷史會話性能指標(biāo)數(shù)據(jù)中的每個特征應(yīng)用主成分分析方法,提取主成分,計算每個主成分的特征值,選擇特征大于第三閾值的主成分,將對應(yīng)的特征作為第三候選關(guān)鍵特征變量;
21、基于第一候選關(guān)鍵特征變量、第二候選關(guān)鍵特征變量和第三候選關(guān)鍵特征變量確定最終的關(guān)鍵特征變量。
22、在一個實施例中,實時監(jiān)控當(dāng)前的會話性能指標(biāo)數(shù)據(jù),基于所述關(guān)鍵特征變量和所述會話閾值預(yù)測模型,自適應(yīng)生成并動態(tài)調(diào)整會話數(shù)閾值,包括:
23、實時監(jiān)控當(dāng)前的會話性能指標(biāo)數(shù)據(jù),將監(jiān)控的數(shù)據(jù)輸入所述會話閾值預(yù)測模型,基于所述關(guān)鍵特征變量利用會話閾值預(yù)測模型生成初始會話數(shù)閾值;
24、監(jiān)控系統(tǒng)負(fù)載和資源利用率,基于監(jiān)控的結(jié)果確定閾值調(diào)整模式,所述閾值調(diào)整模式包括保守模式、激進(jìn)模式和自適應(yīng)模式;
25、根據(jù)所述初始會話數(shù)閾值和所述閾值調(diào)整模式生成最終的會話數(shù)閾值;
26、當(dāng)監(jiān)測到會話性能指標(biāo)數(shù)據(jù)變化時,動態(tài)調(diào)整所述會話數(shù)閾值。
27、在一個實施例中,根據(jù)所述初始會話數(shù)閾值和所述閾值調(diào)整模式生成最終的會話數(shù)閾值,包括:
28、基于所述初始會話數(shù)閾值和所述閾值調(diào)整模式,為不同類型的操作根據(jù)重要性和資源消耗情況設(shè)定最低閾值、最高閾值和警戒線閾值;
29、監(jiān)控當(dāng)前的系統(tǒng)負(fù)載,基于監(jiān)控結(jié)果動態(tài)調(diào)整所述最低閾值、最高閾值和警戒線閾值;
30、若當(dāng)前會話數(shù)低于最低閾值,增加資源分配,將會話數(shù)提升至所述最低閾值;
31、若會話數(shù)高于最高閾值,觸發(fā)限流機(jī)制,限制新的會話請求,將會話數(shù)限制在最高閾值以內(nèi);
32、若會話數(shù)達(dá)到警戒線閾值,優(yōu)先分配資源給關(guān)鍵操作,降低對非關(guān)鍵操作的資源分配比例。
33、在一個實施例中,基于所述初始會話數(shù)閾值和所述閾值調(diào)整模式,為不同類型的操作根據(jù)重要性和資源消耗情況設(shè)定最低閾值、最高閾值和警戒線閾值之后,還包括:
34、每間隔預(yù)設(shè)時間段,采集并分析當(dāng)前會話數(shù)和系統(tǒng)資源利用率;
35、當(dāng)所述當(dāng)前會話數(shù)大于所述最大閾值的預(yù)設(shè)比例時,觸發(fā)應(yīng)急響應(yīng);
36、當(dāng)所述系統(tǒng)資源利用率超過預(yù)設(shè)臨界值時,啟用備用資源來分擔(dān)當(dāng)前的系統(tǒng)負(fù)載。
37、進(jìn)一步地,為實現(xiàn)上述目的,本發(fā)明還提供一種會話數(shù)閾值自適應(yīng)調(diào)節(jié)裝置,包括:
38、數(shù)據(jù)收集模塊,收集歷史會話性能指標(biāo)數(shù)據(jù),會話性能指標(biāo)包括數(shù)據(jù)庫性能指標(biāo)、服務(wù)器硬件配置指標(biāo)、系統(tǒng)負(fù)載指標(biāo)和業(yè)務(wù)流量指標(biāo);
39、特征選擇模塊,將所述歷史會話性能指標(biāo)數(shù)據(jù)分為正樣本和負(fù)樣本,根據(jù)特征分析方法從所述歷史會話性能指標(biāo)數(shù)據(jù)中選擇與會話性能相關(guān)的關(guān)鍵特征變量;
40、模型訓(xùn)練模塊,基于所述關(guān)鍵特征變量、正樣本和負(fù)樣本,使用機(jī)器學(xué)習(xí)算法對初始模型進(jìn)行訓(xùn)練,得到會話閾值預(yù)測模型;
41、閾值調(diào)節(jié)模塊,實時監(jiān)控當(dāng)前的會話性能指標(biāo)數(shù)據(jù),基于所述關(guān)鍵特征變量和所述會話閾值預(yù)測模型,自適應(yīng)生成并動態(tài)調(diào)整會話數(shù)閾值。
42、進(jìn)一步地,為實現(xiàn)上述目的,本發(fā)明還提供一種會話數(shù)閾值自適應(yīng)調(diào)節(jié)設(shè)備,所述會話數(shù)閾值自適應(yīng)調(diào)節(jié)設(shè)備包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的會話數(shù)閾值自適應(yīng)調(diào)節(jié)程序,所述會話數(shù)閾值自適應(yīng)調(diào)節(jié)程序被所述處理器執(zhí)行時實現(xiàn)如上述所述的會話數(shù)閾值自適應(yīng)調(diào)節(jié)方法的步驟。
43、進(jìn)一步地,為實現(xiàn)上述目的,本發(fā)明還提供一種計算機(jī)存儲介質(zhì),所述存儲介質(zhì)上存儲有會話數(shù)閾值自適應(yīng)調(diào)節(jié)程序,所述會話數(shù)閾值自適應(yīng)調(diào)節(jié)程序被處理器執(zhí)行時實現(xiàn)如上所述的會話數(shù)閾值自適應(yīng)調(diào)節(jié)方法的步驟。
44、有益效果:本發(fā)明涉及一種會話數(shù)閾值自適應(yīng)調(diào)節(jié)方法,通過收集歷史會話性能指標(biāo)數(shù)據(jù),這些指標(biāo)涵蓋了數(shù)據(jù)庫性能、服務(wù)器硬件配置、系統(tǒng)負(fù)載和業(yè)務(wù)流量等方面;將收集到的數(shù)據(jù)分為正樣本和負(fù)樣本,并采用特征分析方法從中提取與會話性能相關(guān)的關(guān)鍵特征變量;基于這些關(guān)鍵特征變量和樣本數(shù)據(jù),利用機(jī)器學(xué)習(xí)算法對初始模型進(jìn)行訓(xùn)練,得到會話閾值預(yù)測模型。實時監(jiān)控當(dāng)前的會話性能數(shù)據(jù),并使用之前確定的關(guān)鍵特征和預(yù)測模型,自動生成合適的會話數(shù)閾值,并根據(jù)實時數(shù)據(jù)的變化,隨時調(diào)整這個閾值。本發(fā)明能夠在高負(fù)載下防止性能瓶頸,同時在低負(fù)載時提高資源利用率,確保系統(tǒng)在不同工作條件下的最佳性能和穩(wěn)定運行,特別適用于金融領(lǐng)域的高并發(fā)場景。