本發(fā)明涉及虛擬數(shù)字交互領(lǐng)域，更具體地說，本發(fā)明涉及面向虛擬數(shù)字平臺搭建的數(shù)據(jù)采集方法及系統(tǒng)。

背景技術(shù)：

1、在虛擬展會、在線購物平臺等虛擬數(shù)字場景中，用戶的興趣捕捉至關(guān)重要。平臺通常依賴于用戶的瀏覽時間、點擊行為、交互頻次等數(shù)據(jù)來判斷用戶的興趣點，繼而推送個性化內(nèi)容。用戶在虛擬展廳中瀏覽展品、產(chǎn)品詳情時，系統(tǒng)通過采集用戶的停留時長、點擊反饋、交互記錄等關(guān)鍵數(shù)據(jù)，構(gòu)建用戶的興趣模型，并基于此模型推薦相關(guān)內(nèi)容。然而，虛擬展會中的信息量龐大，用戶容易受到不同展品的視覺、內(nèi)容沖擊，產(chǎn)生短期認知疲勞，導致行為與興趣表達不一致。這種情況下，系統(tǒng)在實時推薦內(nèi)容時，容易依據(jù)短期的行為數(shù)據(jù)推斷用戶的興趣，從而忽視其長線需求，降低個性化推薦的精準性和用戶體驗。

2、目前的虛擬展會或數(shù)字平臺的興趣捕捉技術(shù)，通常通過簡單的行為數(shù)據(jù)進行判斷，例如瀏覽時間較長則被視為興趣濃厚，點擊頻率高則推斷為該用戶有強烈需求。這種技術(shù)的不足在于無法有效識別用戶的短期認知疲勞現(xiàn)象。具體來說，用戶在面對信息過載時，可能表現(xiàn)出短暫的停留或重復點擊某個展品，而這種行為并不一定意味著用戶真正感興趣，而是由于視覺或認知疲勞導致的行為習慣變化?，F(xiàn)有的系統(tǒng)往往無法區(qū)分這種疲勞反饋與真實興趣，導致推送內(nèi)容過于頻繁和深度，不但沒有幫助用戶找到實際需求，還可能加重用戶的認知負擔，增加流失率。

3、為了解決上述問題，現(xiàn)提供一種技術(shù)方案。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的實施例提供面向虛擬數(shù)字平臺搭建的數(shù)據(jù)采集方法及系統(tǒng)，通過時變協(xié)方差矩陣和圖神經(jīng)網(wǎng)絡的自適應融合策略，實時監(jiān)測用戶的多模態(tài)行為數(shù)據(jù)，動態(tài)調(diào)整模態(tài)權(quán)重并融合多維特征，生成統(tǒng)一的用戶行為特征向量。在此基礎(chǔ)上，利用時間序列分析和聚類算法，動態(tài)對比當前行為與歷史基線，精準提取用戶的行為偏差，結(jié)合深度學習模型實時分析用戶的認知疲勞狀態(tài)，生成高風險和低風險反饋信號。當用戶出現(xiàn)認知疲勞導致的行為偏差時，通過高風險信號觸發(fā)基于長線興趣的推薦優(yōu)化，避免短期行為的干擾，確保推送內(nèi)容既符合用戶的長期需求，又避免信息過載對用戶造成的認知負擔。該技術(shù)方案提升了內(nèi)容推薦的精準性，改善了用戶的整體體驗，有效減輕了認知疲勞對用戶興趣表達和平臺交互效果的負面影響，進而提高了用戶的留存率和滿意度，以解決上述背景技術(shù)中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、收集用戶的多模態(tài)數(shù)據(jù)；

4、通過時變協(xié)方差矩陣結(jié)合圖神經(jīng)網(wǎng)絡的動態(tài)自適應融合策略，生成統(tǒng)一的用戶行為特征向量；

5、基于時間序列分析與聚類算法，動態(tài)對比當前行為與歷史基線，提取偏差數(shù)據(jù)；

6、提取用戶認知疲勞特征，利用深度學習模型進行實時訓練與識別，實時分析用戶的認知疲勞狀態(tài)變化，生成相應的反饋信號，包括高風險信號和低風險信號；

7、獲得高風險信號后，參考長線興趣優(yōu)化推薦，調(diào)整推送策略。

8、在一個優(yōu)選的實施方式中，收集用戶的多模態(tài)數(shù)據(jù)，包括以下內(nèi)容：

9、在虛擬展會中，用戶通過設備進行交互，利用時間戳機制對各個設備采集的數(shù)據(jù)進行同步標記。

10、在一個優(yōu)選的實施方式中，通過時變協(xié)方差矩陣結(jié)合圖神經(jīng)網(wǎng)絡的動態(tài)自適應融合策略，生成統(tǒng)一的用戶行為特征向量，包括以下內(nèi)容：

11、在多模態(tài)數(shù)據(jù)同步采集后，進行多模態(tài)數(shù)據(jù)融合，通過預設的融合策略將不同來源的數(shù)據(jù)進行整合；

12、利用特征提取算法從眼動數(shù)據(jù)中提取視線停留時長、注視點切換頻率的關(guān)鍵特征；從面部表情數(shù)據(jù)中提取與認知疲勞相關(guān)的表情變化特征；從手部動作數(shù)據(jù)中提取動作延遲與不規(guī)則運動軌跡；

13、基于動態(tài)上下文的自適應融合方法，結(jié)合時變協(xié)方差矩陣捕捉多模態(tài)數(shù)據(jù)的時間關(guān)聯(lián)性，通過圖神經(jīng)網(wǎng)絡識別模態(tài)之間的隱性特征交互，動態(tài)調(diào)整模態(tài)權(quán)重；通過權(quán)重調(diào)整公式整合協(xié)方差矩陣與gnn結(jié)果，利用非線性加權(quán)函數(shù)融合多模態(tài)特征，最終生成用戶行為特征向量。

14、在一個優(yōu)選的實施方式中，基于時間序列分析與聚類算法，動態(tài)對比當前行為與歷史基線，提取偏差數(shù)據(jù)，包括以下內(nèi)容：

15、將已獲得的用戶行為特征向量作為當前行為數(shù)據(jù)，同時通過對用戶歷史交互行為的長期監(jiān)測，構(gòu)建行為基線模型；

16、在構(gòu)建行為基線后，使用時間序列相似性度量方法來動態(tài)對比當前用戶行為與歷史行為基線；

17、基于時間序列相似性度量的結(jié)果，利用k-means聚類算法對當前行為與歷史行為模式進行聚類分析；

18、當檢測到當前行為偏離歷史基線或某個聚類中心時，通過提取偏差數(shù)據(jù)，實時反饋出行為異常的程度和類型；

19、偏差數(shù)據(jù)表示當前行為與歷史行為基線或聚類中心的距離，包含行為特征偏差數(shù)據(jù)和時間序列偏差數(shù)據(jù)；將提取的偏差數(shù)據(jù)進行標準化處理。

20、在一個優(yōu)選的實施方式中，提取用戶認知疲勞特征，包括以下內(nèi)容：

21、基于偏差數(shù)據(jù)獲得協(xié)變信息和偏梯信息，使用協(xié)變信息和偏梯信息作為輸入數(shù)據(jù)輸入到長短期記憶網(wǎng)絡lstm進行建模，其中，協(xié)變信息包括時頻協(xié)同變異指數(shù)，偏梯信息包括局部加權(quán)偏離梯度。

22、在一個優(yōu)選的實施方式中，時頻協(xié)同變異指數(shù)的獲取邏輯為：

23、首先，對行為特征偏差數(shù)據(jù)進行短時傅里葉變換，獲取不同時間點的頻譜信息，得到時頻矩陣：；其中，是時頻矩陣，是滑動窗口函數(shù)，是頻率，是時間步長；在時頻矩陣中，選取主要頻率成分，計算這些頻率成分的協(xié)同變異性，協(xié)同變異指數(shù)通過時頻矩陣的協(xié)方差與頻率之間的相對變化率進行計算，公式如下：；其中，表示時頻矩陣中兩個頻率成分的協(xié)方差，表示頻率對應的標準差，表示頻率差異帶來的權(quán)重調(diào)整；表示時頻分析中選取的主要頻率成分的總數(shù)；和表示所選頻率成分中的第個和第個頻率成分。

24、在一個優(yōu)選的實施方式中，局部加權(quán)偏離梯度的獲取邏輯為：

25、將時間序列偏差數(shù)據(jù)劃分為長度為的短期窗口，每個窗口內(nèi)，計算偏差梯度變化，并對每個梯度值加權(quán)處理，窗口內(nèi)偏差梯度的計算公式為：；對每個局部梯度值進行加權(quán)，加權(quán)梯度計算公式為：；其中，，即根據(jù)局部偏差的平方值進行加權(quán)；表示當前局部時間窗口內(nèi)的索引；計算窗口內(nèi)加權(quán)梯度的波動率，波動率計算公式為：。

26、在一個優(yōu)選的實施方式中，利用深度學習模型進行實時訓練與識別，實時分析用戶的認知疲勞狀態(tài)變化，生成相應的反饋信號，包括以下內(nèi)容：

27、將獲得的時頻協(xié)同變異指數(shù)和局部加權(quán)偏離梯度輸入到深度學習模型中進行實時訓練與識別，采用長短期記憶網(wǎng)絡進行建模，之后輸出識別區(qū)分評分；當識別區(qū)分評分大于區(qū)分閾值時，生成高風險信號；當識別區(qū)分評分小于或等于區(qū)分閾值時，生成低風險信號。

28、在一個優(yōu)選的實施方式中，獲得高風險信號后，參考長線興趣優(yōu)化推薦，調(diào)整推送策略，包括以下內(nèi)容：

29、當獲得高風險信號時，根據(jù)長線興趣數(shù)據(jù)，通過協(xié)同過濾算法或基于內(nèi)容的推薦方法，優(yōu)先為用戶推薦與其長期興趣相關(guān)的內(nèi)容。

30、面向虛擬數(shù)字平臺搭建的數(shù)據(jù)采集系統(tǒng)，包括：數(shù)據(jù)采集模塊、特征融合模塊、偏差提取模塊、認知分析模塊和推薦調(diào)整模塊；

31、數(shù)據(jù)采集模塊：收集用戶的多模態(tài)數(shù)據(jù)，將采集到的各項數(shù)據(jù)傳遞給特征融合模塊；

32、特征融合模塊：通過時變協(xié)方差矩陣結(jié)合圖神經(jīng)網(wǎng)絡的動態(tài)自適應融合策略，實時監(jiān)測和分析多模態(tài)數(shù)據(jù)，動態(tài)調(diào)整模態(tài)權(quán)重，非線性融合特征，生成統(tǒng)一的用戶行為特征向量，將獲得的用戶行為特征向量傳遞給偏差提取模塊；

33、偏差提取模塊：基于時間序列分析與聚類算法，動態(tài)對比當前行為與歷史基線，提取偏差數(shù)據(jù)，將偏差數(shù)據(jù)傳遞給認知分析模塊；

34、認知分析模塊：提取用戶認知疲勞特征，利用深度學習模型進行實時訓練與識別，實時分析用戶的認知疲勞狀態(tài)變化，生成相應的反饋信號，包括高風險信號和低風險信號，將高風險信號傳遞給推薦調(diào)整模塊；

35、推薦調(diào)整模塊：獲得高風險信號后，參考長線興趣優(yōu)化推薦，調(diào)整推送策略。

36、本發(fā)明面向虛擬數(shù)字平臺搭建的數(shù)據(jù)采集方法及系統(tǒng)的技術(shù)效果和優(yōu)點：

37、本發(fā)明通過時變協(xié)方差矩陣和圖神經(jīng)網(wǎng)絡的自適應融合策略，實時監(jiān)測用戶的多模態(tài)行為數(shù)據(jù)，動態(tài)調(diào)整模態(tài)權(quán)重并融合多維特征，生成統(tǒng)一的用戶行為特征向量。在此基礎(chǔ)上，利用時間序列分析和聚類算法，動態(tài)對比當前行為與歷史基線，精準提取用戶的行為偏差，結(jié)合深度學習模型實時分析用戶的認知疲勞狀態(tài)，生成高風險和低風險反饋信號。當用戶出現(xiàn)認知疲勞導致的行為偏差時，通過高風險信號觸發(fā)基于長線興趣的推薦優(yōu)化，避免短期行為的干擾，確保推送內(nèi)容既符合用戶的長期需求，又避免信息過載對用戶造成的認知負擔。該技術(shù)方案提升了內(nèi)容推薦的精準性，改善了用戶的整體體驗，有效減輕了認知疲勞對用戶興趣表達和平臺交互效果的負面影響，進而提高了用戶的留存率和滿意度。