本技術屬于人機交互、人因與工效，具體涉及一種基于眼動追蹤的交互控制方法、裝置、電子設備和系統(tǒng)。

背景技術：

1、眼動追蹤技術通過定位眼睛的瞳孔位置來獲取用戶在屏幕或者設備上的注視點，基于用戶的注視點進行進一步地操作。目前，眼動追蹤技術廣泛應用于醫(yī)療康復和人機交互等領域。

2、現(xiàn)有技術中，通過眼動采集設備捕捉瞳孔的位置變化，從而，確定用戶在屏幕或者設備上的注視點，然而，用戶往往還需要依賴外部操控設備(例如，手柄、鼠標或者鍵盤等)來與注視點對應的操作控件進行交互。

3、然而，采用現(xiàn)有技術的方式，需要用戶依賴于外部操作設備完成操控，交互方式的便捷性不高。

技術實現(xiàn)思路

1、本技術實施例提供一種基于眼動追蹤的控制方法、裝置、系統(tǒng)和電子設備，以提高交互方式的便捷性。

2、第一方面，本技術實施例提供一種基于眼動追蹤的交互控制方法，包括：

3、基于用戶的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖，所述交互意圖用于指示所述用戶期望在交互屏幕上執(zhí)行的操作；

4、基于所述用戶的交互意圖，生成對交互屏幕的控制指令；

5、基于所述控制指令對所述交互屏幕進行控制。

6、可選的，所述視覺行為數(shù)據(jù)包括：眼動數(shù)據(jù)；所述眼動數(shù)據(jù)包括：眨眼數(shù)據(jù)和注視數(shù)據(jù)；

7、所述基于用戶的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖，包括：

8、基于所述眼動數(shù)據(jù)和交互意圖的對應關系，獲取所述眼動數(shù)據(jù)對應的交互意圖；

9、所述基于所述用戶的交互意圖，生成對交互屏幕的控制指令，包括：

10、基于所述注視數(shù)據(jù)確定操作對象；

11、基于所述用戶的交互意圖和所述操作對象，生成對交互屏幕的控制指令，所述控制指令用于指示對所述操作對象執(zhí)行所述交互意圖對應的操作。

12、可選的，所述基于所述眼動數(shù)據(jù)和交互意圖的對應關系，獲取所述眼動數(shù)據(jù)對應的交互意圖，包括：

13、基于所述眨眼數(shù)據(jù)和第一交互意圖的第一對應關系，獲取眨眼數(shù)據(jù)對應的第一交互意圖；

14、和/或，

15、基于所述注視數(shù)據(jù)和第二交互意圖的第二對應關系，獲取注視數(shù)據(jù)對應的第二交互意圖；

16、所述眨眼數(shù)據(jù)包括：眨眼頻率、眨眼間隔、眨眼次數(shù)、眨眼持續(xù)時長和/或眨眼過程中閉眼時長；

17、所述交互意圖包括：單擊、雙擊、滾動、長按、選中、翻頁、顯示釋義、打開頁面、縮小頁面和/或關閉頁面；

18、所述操作對象包括：按鈕、滾動條、鏈接和/或文本內容。

19、可選的，所述注視數(shù)據(jù)包括：注視點；

20、所述基于所述注視數(shù)據(jù)確定操作對象，包括：

21、確定所述注視點在所述交互屏幕上的坐標信息；

22、基于所述注視點在所述交互屏幕上的坐標信息，確定所述注視點在所述交互屏幕上顯示的顯示界面上的位置信息；

23、基于所述注視點在所述交互屏幕上顯示的顯示界面上的位置信息，以及所述顯示界面上的顯示元素，確定所述操作對象。

24、可選的，還包括：

25、顯示所述交互意圖確認信息，所述交互意圖確認信息用于請求用戶確認交互意圖識別的正確性。

26、可選的，所述方法還包括：基于所述注視點在所述交互屏幕上顯示的顯示界面上的位置信息，在所述顯示界面上可視化顯示所述注視點；和/或，

27、所述注視數(shù)據(jù)還包括：眼動軌跡和眼動方向；所述方法還包括：以動畫的形式在所述顯示界面上沿所述眼動方向可視化顯示所述眼動軌跡。

28、可選的，所述基于用戶的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖，包括：

29、基于所述交互屏幕上顯示的交互頁面，獲取視覺行為數(shù)據(jù)，其中，所述交互頁面包括：人機控制用交互頁面、人員能力測評用交互頁面、和/或人員能力訓練用交互頁面；

30、對所述視覺行為數(shù)據(jù)進行格式化處理，得到格式化處理后的視覺行為數(shù)據(jù)；

31、基于所述格式化處理后的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖；

32、其中，所述獲取視覺行為數(shù)據(jù)包括：

33、獲取眼部圖像數(shù)據(jù)；對所述眼部圖像數(shù)據(jù)進行預處理，得到預處理后的眼部圖像數(shù)據(jù)；對預處理后的眼部圖像數(shù)據(jù)進行識別，獲取所述視覺行為數(shù)據(jù)；

34、其中，所述對所述眼部圖像進行預處理，得到預處理后的眼部圖像數(shù)據(jù)包括：對所述眼部圖像進行去噪處理、增強圖像對比度處理、調整圖像亮度處理和數(shù)據(jù)同步處理，得到預處理后的眼部圖像數(shù)據(jù)：

35、其中，所述去噪處理包括：滑動均值濾波處理、滑動中值濾波處理和/或小波變換；所述數(shù)據(jù)同步處理包括：基于相同的時間基準對所述眼部圖像數(shù)據(jù)和交互屏幕顯示的顯示界面的內容進行時間戳對齊。

36、可選的，還包括：

37、顯示第一測評模式的第一相關界面和第二測評模式的第二相關界面；其中，所述第一測評模式用于用戶通過視覺行為的方式與所述第一相關界面進行交互以輸入第一測評信息，所述第二測評模式用于用戶通過填寫調查問卷的方式以輸入第二測評信息；

38、獲取用戶通過視覺行為的方式與所述第一相關界面進行交互輸入的第一測評信息，以及通過填寫調查問卷的方式輸入的第二測評信息；基于所述第一測評信息獲取所述第一測評模式的第一測評結果，以及基于所述第二測評信息獲取所述第二測評模式的第二測評結果；

39、基于所述第一測評結果和所述第二測評結果，生成并輸出反饋信息。

40、第二方面，本技術實施例提供一種基于眼動追蹤的交互控制裝置，包括：

41、意圖識別模塊，用于基于用戶的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖，所述交互意圖用于指示所述用戶期望在交互屏幕上執(zhí)行的操作；

42、指令生成模塊，用于基于所述用戶的交互意圖，生成對交互屏幕的控制指令；

43、控制模塊，用于基于所述控制指令對所述交互屏幕進行控制。

44、可選的，所述視覺行為數(shù)據(jù)包括：眼動數(shù)據(jù)；所述眼動數(shù)據(jù)包括：眨眼數(shù)據(jù)和注視數(shù)據(jù)；

45、所述意圖識別模塊具體用于基于所述眼動數(shù)據(jù)和交互意圖的對應關系，獲取所述眼動數(shù)據(jù)對應的交互意圖；

46、所述指令生成模塊具體用于基于所述注視數(shù)據(jù)確定操作對象；基于所述用戶的交互意圖和所述操作對象，生成對交互屏幕的控制指令，所述控制指令用于指示對所述操作對象執(zhí)行所述交互意圖對應的操作。

47、可選的，所述意圖識別模塊具體用于基于所述眨眼數(shù)據(jù)和第一交互意圖的第一對應關系，獲取眨眼數(shù)據(jù)對應的第一交互意圖；和/或，基于所述注視數(shù)據(jù)和第二交互意圖的第二對應關系，獲取注視數(shù)據(jù)對應的第二交互意圖；

48、所述眨眼數(shù)據(jù)包括：眨眼頻率、眨眼間隔、眨眼次數(shù)、眨眼持續(xù)時長和/或眨眼過程中閉眼時長；

49、所述交互意圖包括：單擊、雙擊、滾動、長按、選中、翻頁、顯示釋義、打開頁面、縮小頁面和/或關閉頁面；

50、所述操作對象包括：按鈕、滾動條、鏈接和/或文本內容。

51、可選的，所述注視數(shù)據(jù)包括：注視點；

52、所述指令生成模塊具體用于確定所述注視點在所述交互屏幕上的坐標信息；基于所述注視點在所述交互屏幕上的坐標信息，確定所述注視點在所述交互屏幕上顯示的顯示界面上的位置信息；基于所述注視點在所述交互屏幕上顯示的顯示界面上的位置信息，以及所述顯示界面上的顯示元素，確定所述操作對象。

53、可選的，所述意圖識別模塊還用于顯示所述交互意圖確認信息，所述交互意圖確認信息用于請求用戶確認交互意圖識別的正確性。

54、可選的，所述控制模塊還用于控制基于所述注視點在所述交互屏幕上顯示的顯示界面上的位置信息，在所述顯示界面上可視化顯示所述注視點；和/或，

55、所述注視數(shù)據(jù)還包括：眼動軌跡和眼動方向；所述方法還包括：以動畫的形式在所述顯示界面上沿所述眼動方向可視化顯示所述眼動軌跡。

56、可選的，所述意圖識別模塊具體用于基于所述交互屏幕上顯示的交互頁面，獲取視覺行為數(shù)據(jù)，其中，所述交互頁面包括：人機控制用交互頁面、人員能力測評用交互頁面、和/或人員能力訓練用交互頁面；對所述視覺行為數(shù)據(jù)進行格式化處理，得到格式化處理后的視覺行為數(shù)據(jù)；基于所述格式化處理后的視覺行為數(shù)據(jù)，獲取所述用戶的交互意圖；

57、所述意圖識別模塊具體用于獲取眼部圖像數(shù)據(jù)；對所述眼部圖像數(shù)據(jù)進行預處理，得到預處理后的眼部圖像數(shù)據(jù)；對預處理后的眼部圖像數(shù)據(jù)進行識別，獲取所述視覺行為數(shù)據(jù)；對所述眼部圖像進行去噪處理、增強圖像對比度處理、調整圖像亮度處理和數(shù)據(jù)同步處理，得到預處理后的眼部圖像數(shù)據(jù)：

58、其中，所述去噪處理包括：滑動均值濾波處理、滑動中值濾波處理和/或小波變換；所述數(shù)據(jù)同步處理包括：基于相同的時間基準對所述眼部圖像數(shù)據(jù)和交互屏幕顯示的顯示界面的內容進行時間戳對齊。

59、可選的，還包括：測評模塊，用于顯示第一測評模式的第一相關界面和第二測評模式的第二相關界面；其中，所述第一測評模式用于用戶通過視覺行為的方式與所述第一相關界面進行交互以輸入第一測評信息，所述第二測評模式用于用戶通過填寫調查問卷的方式以輸入第二測評信息；獲取用戶通過視覺行為的方式與所述第一相關界面進行交互輸入的第一測評信息，以及通過填寫調查問卷的方式輸入的第二測評信息；基于所述第一測評信息獲取所述第一測評模式的第一測評結果，以及基于所述第二測評信息獲取所述第二測評模式的第二測評結果；基于所述第一測評結果和所述第二測評結果，生成并輸出反饋信息。

60、第三方面，本技術實施例提供一種電子設備，包括處理器和存儲器，所述存儲器存儲可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執(zhí)行時實現(xiàn)如第一方面任一項所述的基于眼動追蹤的交互控制方法的步驟。

61、第四方面，本技術實施例提供一種基于眼動追蹤的交互控制系統(tǒng)，包括：如第二方面所述的基于眼動追蹤的交互控制裝置和眼動數(shù)據(jù)采集設備；或者，如第三方面所述的電子設備和眼動數(shù)據(jù)采集設備。

62、第五方面，本技術實施例提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執(zhí)行時實現(xiàn)如第一方面任一項所述的基于眼動追蹤的交互控制方法的步驟。

63、第六方面，本技術實施例提供一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品被處理器執(zhí)行時實現(xiàn)如第一方面任一項所述的基于眼動追蹤的交互控制方法的步驟。

64、本實施例提供的基于眼動追蹤的控制方法、裝置、系統(tǒng)和電子設備，通過基于用戶的視覺行為特征，獲取用戶的交互意圖，基于所述用戶的交互意圖，生成控制指令，基于控制指令控制與交互屏幕進行交互。無需物理接觸屏幕或使用鼠標、鍵盤等外部設備的操作屏幕，降低了交互操作的復雜度，提高了交互操作的便捷性和流暢性，提高了交互體驗；由于無需外部設備的參與，減少了對硬件條件的限定，擴大了基于眼動追蹤的交互控制方法的應用范圍，并且降低了硬件成本。