本發(fā)明涉及通話安全，具體涉及一種用于視頻通話的詐騙預警系統(tǒng)、方法、設備及介質。

背景技術：

1、隨著大數據時代的到來，人們的日常生活學習被大數據識別、跟蹤，更甚于能夠被準確的了解個人偏好，精準進行客戶分類和產品推薦。在個人信息日趨透明化的情況下，個人信息泄露，利用個人信息進行詐騙的案件屢見不鮮，犯罪分子的作案手法層出不窮，讓人們防不勝防，這其中，利用技術手段進行電信詐騙，導致財產損失的情況比比皆是，犯罪分子利用人工智能技術能夠將自己的聲音和外貌換成受害人的家人、朋友，并以此為條件進行財產詐騙，這對那些對技術手段不甚了解的群體非常不友好，他們缺乏對新興技術手段的認知，并且不能夠及時采取正確的應對措施，從而導致巨額的財產損失。因此，研究一種針對人工智能換臉技術的詐騙預警方法刻不容緩。

2、對于這種假扮親朋好友的財產詐騙來說，更多的防范措施從信息認證方面入手，為此，學術界從生物特征的獨一無二性方面進行了大量的研究，通過驗證指紋、人臉、掌紋、虹膜以及聲紋等生物特征來降低身份冒認的可能性。但是上述手段在多數情況下都需要在客戶主體已知的情況下進行驗證，且是一種事前驗證，而詐騙大多數需要進行事中驗證，并且詐騙的犯罪分子同樣會利用技術手段進行驗證破解或者偽驗證，這就需要研究一種能夠將以上生物特征識別技術應用在事中進行驗證的方案，來進一步的加強對詐騙的防范。

3、綜上所述，急需一種用于視頻通話的詐騙預警系統(tǒng)、方法、設備及介質解決現有技術中的問題。

技術實現思路

1、本發(fā)明目的在于提供一種用于視頻通話的詐騙預警系統(tǒng)、方法、設備及介質，具體技術方案如下：

2、一種用于視頻通話的詐騙預警系統(tǒng)，包括數據儲存模塊、特征提取模塊、通話異常監(jiān)測模塊、特征重組模塊、模型訓練模塊和詐騙預警模塊：

3、數據儲存模塊：包括第一存儲器和第二存儲器，所述第一存儲器對每次系統(tǒng)運行中所提取的人臉以及聲紋特征進行儲存；第二存儲器對每次系統(tǒng)運行中提取的融合特征進行儲存；

4、特征提取模塊：對視頻通話進行實時特征提取，獲取視頻通話的人臉特征和聲紋特征，視頻通話未涉及異常時將人臉特征和聲紋特征存入第一存儲器，視頻通話涉及異常時將人臉特征和聲紋特征發(fā)送至特征重組模塊；

5、通話異常監(jiān)測模塊：查詢視頻通話中雙方的承載設備信息，實時監(jiān)測視頻通話過程，判斷視頻通話過程是否涉及異常；

6、特征重組模塊：對人臉特征和聲紋特征進行特征重組，形成重組后的人臉特征以及聲紋特征，再調用特征訓練模塊對重組后的人臉特征以及聲紋特征進行規(guī)范并傳輸到詐騙預警模塊中；

7、模型訓練模塊：調用第一存儲器中的人臉特征和聲紋特征建立數據集合，將數據集合劃分為訓練集、測試集和驗證集，構建預訓練轉換器模型，基于所述訓練集、測試集和驗證集訓練所述預訓練轉換器模型，得到安全檢測模型；

8、詐騙預警模塊：調用所述安全檢測模型對特征重組后的人臉特征和聲紋特征進行安全檢測，輸出詐騙預警結果，基于所述詐騙預警結果進行詐騙預警。

9、優(yōu)選的，在特征提取模塊中，所述圖像特征提取算法為hog特征算法實現，其過程如下：

10、對視頻通話的定位圖像進行伽馬校正；

11、計算定位圖像中每一像素點的梯度值，得到梯度圖，計算公式為：

12、

13、其中，g表示總的梯度強度值，gx表示水平梯度，gy表示豎直梯度；θ表示梯度方向，所述梯度方向取絕對值，范圍是0-180°；

14、計算梯度直方圖，進行分樣本歸一化，得到人臉特征。

15、優(yōu)選的，在特征提取模塊中，所述聲紋識別算法的過程如下：

16、通過時延神經網絡層提取語音幀的幀級特征；

17、通過統(tǒng)計池化層將輸入序列所有幀的幀級特征取均值和標準差；

18、將所述均值和標準差連接起來作為段級特征；

19、通過標準前饋網絡將段級特征分類，得到聲紋特征。

20、優(yōu)選的，在通話異常監(jiān)測模塊中，實時監(jiān)測視頻通話過程具體是：對視頻通話中雙方的ip地址和登陸設備信息進行定位，當前的登錄地點、登陸設備信息與常用的登陸地點、登錄設備信息存在差異時，則判斷該視頻通話異常。

21、優(yōu)選的，在特征重組模塊中，特征重組的過程如下：

22、對前述特征提取模塊中所提取的特征加入隨機噪聲；

23、對噪聲污染的特征隨機取一部分，將添加噪聲前后的特征按照特征大小進行均勻分塊并進行坐標定位，依靠坐標位置實現噪聲污染前后的特征區(qū)域的一一對應，通過鄰近區(qū)域的噪聲污染前后特征的相似度度來進行定位，在計算相似度中加入誤差項ε，相似度計算的具體公式如下：

24、如果被噪聲污染人臉特征f'i和被噪聲污染聲紋特征v'j均未能被識別，此時f'i、v'j為0，根據污染特征的鄰近區(qū)域特征計算污染特征的相似度范圍，取區(qū)間值，相似度計算公式如下：

25、f'in＝fin+ε；fi∈fin；

26、v'jn＝vin+ε；vj∈vjn；

27、其中，fin表示最初提取人臉特征的鄰近區(qū)域特征；f'in表示被噪聲污染后的人臉特征的鄰近區(qū)域特征；vin表示最初提取聲紋特征的鄰近區(qū)域特征；v'jn表示被噪聲污染后的聲紋特征的鄰近區(qū)域特征；

28、如果被噪聲污染人臉特征f'i和被噪聲污染聲紋特征v'j能夠被識別，此時f'i、v'j不為0，相似度計算公式為：

29、f'i＝fi+ε；

30、v'j＝vj+ε；

31、其中，fi表示提取的人臉特征；vj表示提取的聲紋特征；

32、采用歐幾里得距離計算添加噪聲前后同一區(qū)域不同特征的相似度，具體公式如下：

33、

34、其中，f(fi,f'i)表示fi和f'i之間的相似度；v(vj,v'j)表示vj和v'j之間的相似度；m表示被提取的人臉特征中被污染的人臉特征數量；n表示被提取的聲紋特征中被污染的聲紋特征數量；

35、距離越小，相似度越高，對于相似度低的位置即定位為噪聲污染位置；

36、定位好噪聲點以后將該位置特征去除，通過調用第一存儲器中對應位置區(qū)域的特征進行特征重組，重組過程如下：

37、同樣按照計算噪聲污染前后特征匹配度的方式定位第一存儲器中的對應位置的原始特征坐標，然后將原始特征添加到相應區(qū)域得到新的特征，之后調用安全檢測模型對其進行特征融合度的相似度檢測。

38、優(yōu)選的，在模型訓練模塊中，模型訓練的過程如下：

39、搭建transformer模型的網絡結構；

40、使用二分類交叉熵損失函數來估算實際輸出概率與期望輸出概率之間的相似度，正類和負類預測得到的概率為p和1-p，具體公式如下：

41、

42、其中，l表示二分類交叉熵損失，yi表示樣本i的標簽，正類為1，負類為0；pi表示樣本i預測為正類的概率，交叉熵的值越小，二者概率分布越接近；

43、對模型進行正則化；

44、進行模型評估，計算公式為：

45、

46、其中，ac表示精準度；sn表示靈敏度；tp為真正例；fp為假正例；tn為真負例；fn為假負例；

47、模型優(yōu)化，使用自適應矩陣估計優(yōu)化算法對模型進行優(yōu)化，過程如下：

48、

49、mt＝β1mt-1+(1-β1)gt；

50、

51、

52、

53、其中，gt表示梯度；mt表示對梯度的一階矩估計；vt表示對梯度的二階矩估計；表示校正后的一階矩估計；表示校正后的二階矩估計；表示對學習率的動態(tài)約束；θ表示要求解的參數；表示參數θ的梯度；ft(θt-1)表示被優(yōu)化的目標函數；β1為一階矩衰減系數；β2為二階矩衰減系數；gt和為梯度；∈表示常數，用于防止分母為零；

54、優(yōu)化后的模型為安全檢測模型。

55、優(yōu)選的，在詐騙預警模塊中，安全檢測的過程如下：

56、采用數據包絡分析法對特征重組后的人臉特征和聲紋特征分別賦予權重，將人臉特征和聲紋特征輸入所述安全檢測模型，調用第二存儲器中的特征融合值進行相似度比對，輸出詐騙預警結果。

57、另外，本發(fā)明還包括一種用于視頻通話的詐騙預警方法，應用如上述的詐騙預警系統(tǒng)，所述方法包括：

58、通話異常監(jiān)測：對視頻通話進行ip地址、登陸設備等信息的監(jiān)測并與常用ip地址和登陸設備等信息對比進行異常監(jiān)測，捕捉到異常存在則進行安全檢測，未捕捉到異常則繼續(xù)進行特征提?。?/p>

59、安全檢測：通過將人臉特征和聲紋特征輸入安全檢測模型，輸出詐騙預警結果，基于詐騙預警結果判斷該視頻通話是否存在ai換臉或者ai擬聲，不存在ai換臉或者ai擬聲則該視頻通話安全，進行系統(tǒng)自運行，存在ai換臉或者ai擬聲則表明所述視頻通話可能存在詐騙風險，向不存在異常的視頻通話用戶方發(fā)出詐騙預警信息；

60、系統(tǒng)自運行：通過特征提取模塊采集人臉特征和聲紋特征，通過模型訓練模塊采集人臉和聲紋融合特征，基于所述人臉特征、聲紋特征以及人臉和聲紋融合特征持續(xù)更新所述數據儲存模塊，基于數據儲存模塊更新所述安全監(jiān)測模型。

61、另外，本發(fā)明還包括一種計算機設備，包括存儲器和處理器；

62、所述存儲器用于存儲可在處理器上運行的計算機程序；

63、所述處理器用于執(zhí)行所述計算機程序時實現如上述的詐騙預警方法的步驟。

64、另外，本發(fā)明還包括一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現如上述的詐騙預警方法的步驟。

65、應用本發(fā)明的技術方案，具有以下有益效果：

66、本發(fā)明可以針對視頻通話過程中的人臉與人聲是否經過ai換臉和ai擬聲，不同于現有技術對視頻通話的事后檢測，本發(fā)明公開了一種可以實時監(jiān)測視頻通話的詐騙預警系統(tǒng)，能夠及時對ai換臉和ai擬聲進行檢測并給出預警，本發(fā)明可應用于任何可進行視頻通話的場景中，用于防止因為ai換臉和ai擬聲詐騙導致財產損失。另外，在通話監(jiān)測異常后，本發(fā)明系統(tǒng)將對本次運行中實時提取的特征添加隨機噪聲，如果通話一方使用ai換臉和擬聲，通過添加隨機噪聲使得經過技術組合的人臉和聲紋的精度下降，然后隨機定位一部分噪聲污染點，并將該噪聲點所污染的特征部位刪除再調用儲存數據庫中的相同位置的特征添加進去進行特征重組，再次降低ai技術換臉和擬聲與真實人臉、聲紋的相似度，若視頻通話中一方使用ai換臉和ai擬聲，則重組后的特征部位與未重組部位之間的邊緣銜接度會小于庫存中相同位置的特征與其他特征之間的銜接度，從而影響人臉和聲紋的融合特征值與庫存融合特征值之間的相似度，從而實現對ai換臉和擬聲的識別。

67、除了上面所描述的目的、特征和優(yōu)點之外，本發(fā)明還有其它的目的、特征和優(yōu)點。下面將參照圖，對本發(fā)明作進一步詳細的說明。