本公開涉及分析網(wǎng)頁以促進自動導(dǎo)航。

背景技術(shù)：

1、人類可以參與與在本文中稱為“自動助理”(也稱為“聊天機器人”、“交互式個人助理”、“智能個人助理”、“個人話音助理”、“談話代理”、“虛擬助理”等)的交互式軟件應(yīng)用的人機對話。例如，人類(其在他們與自動助理交互時可以被稱為“用戶”)可以使用自由形式自然語言輸入來提供命令、查詢和/或請求(在本文中統(tǒng)稱為“查詢”)，該自由形式自然語言輸入可以包括被轉(zhuǎn)換成文本并且然后被處理的有聲話語和/或鍵入的自由形式自然語言輸入。自動助理可以對自然語言輸入執(zhí)行各種類型的處理，諸如自然語言處理、句法處理、語義處理等，以便標識并響應(yīng)用戶的意圖。

2、自動助理可以與第三方軟件代理或“第三方代理”進行交互，以便響應(yīng)自動助理本身無法完全響應(yīng)的一些類型的用戶意圖。例如，諸如飯店、乘車共享服務(wù)等的供應(yīng)商可以設(shè)計其自己的第三方代理，該第三方代理被配置成與自動助理的應(yīng)用程序編程接口(“api”)進行交互，例如，使得使自動助理可以充當用戶和第三方代理之間的聯(lián)絡(luò)人。但是，此開發(fā)范例可能會使用規(guī)模發(fā)展緩慢。每個供應(yīng)商必須首先創(chuàng)建與自動助理的api兼容的第三方代理。與許多供應(yīng)商可能支配的相比，這可能需要更多的資源和/或技術(shù)。此外，許多供應(yīng)商已經(jīng)建立交互式網(wǎng)頁和/或移動應(yīng)用(“app”)，用戶可以與其交互以產(chǎn)生各種商品和/或服務(wù)。要求這些供應(yīng)商設(shè)計與自動助理兼容的另一個界面，至少從供應(yīng)商的角度來看，可能會導(dǎo)致出現(xiàn)重復(fù)工作。

技術(shù)實現(xiàn)思路

1、本文描述了用于分析現(xiàn)有的交互式網(wǎng)站(包括形成那些網(wǎng)站的個別的html、xml、css和/或javascript網(wǎng)頁)以例如通過自動助理或經(jīng)由其他用戶界面以來自那些網(wǎng)站的主機(例如，供應(yīng)商)的最小努力促進與那些網(wǎng)站的自動接洽的技術(shù)。例如，在各種實施方式中，本文描述的技術(shù)可以用于抽象、驗證、維護、概括、擴展和/或分發(fā)可用于瀏覽各種交互式網(wǎng)站的個別的動作和動作的“腳本”(即動作的序列)。附加地，本文描述了用于利用這些動作和/或痕跡來使與第三方網(wǎng)站的交互的各方面自動化的技術(shù)。例如，在一些實施方式中，可以采用本文描述的技術(shù)以使得用戶能夠在無需用戶在視覺上與第三方網(wǎng)站直接交互的情況下并在無需第三方實現(xiàn)它們自己的第三方代理的情況下與自動助理接洽(經(jīng)由口頭或鍵入對話會話)以與第三方網(wǎng)站交互。

2、假定用戶請求自動助理使用某個供應(yīng)商來執(zhí)行某個動作(例如，購買物品或服務(wù))。進一步假定特定供應(yīng)商仍然尚未創(chuàng)建可與自動助理直接交互的第三方代理，但是供應(yīng)商確實具有帶一系列網(wǎng)頁的交互式網(wǎng)站，每個網(wǎng)頁具有一個或多個交互式元素，這些交互式元素可由用戶操作以購買物品或服務(wù)。使用本文描述的技術(shù)，可以分析和/或處理交互式網(wǎng)站的第一網(wǎng)頁(即，開始網(wǎng)頁)以生成與用戶相關(guān)聯(lián)的當前用戶狀態(tài)?？梢砸灾T如語義豐富的特征矢量、潛空間中的嵌入等的各種方式表示此當前用戶狀態(tài)。當前用戶狀態(tài)還可以包括其他信息，諸如由用戶提供的一個或多個參數(shù)(例如，作為其自然語言輸入的一部分)、用戶的一個或多個偏好(例如，優(yōu)選的比薩澆頭或硬皮樣式)、由用戶進行的先前動作(例如，用戶如何到達此處、來自用戶的在先搜索、對助理的在先請求、與自動助理的談話的活動主題、在先用戶狀態(tài)等)等。在一些實施方式中，當前用戶狀態(tài)還可以包括一種或多種在本文中將被稱為“通用標識符矩陣”的東西，所述“通用標識符矩陣”包括關(guān)于當前網(wǎng)頁的每個交互式元素(例如，單選按鈕、輸入字段、提交按鈕、搜索按鈕、下拉列表、座位表等)的上下文線索。不久將更詳細地說明通用標識符矩陣。

3、在各種實施方式中，可以將當前用戶狀態(tài)與包含在一個或多個數(shù)據(jù)庫中的多個過去用戶狀態(tài)進行比較，例如，以標識一個或多個候選用戶狀態(tài)。這些過去用戶狀態(tài)可以表示在與同一網(wǎng)站或不同網(wǎng)站的先前交互期間生成的用戶狀態(tài)，并且可以包括與當前用戶狀態(tài)中所包括的信息相似的信息。這些過去用戶狀態(tài)還可以包括與在先前交互期間作用的交互式元素相對應(yīng)的相關(guān)動作，諸如勾選一個或多個單選框、選擇下拉菜單上的特定項目、用特定參數(shù)填入特定輸入字段等。

4、可以基于多種準則標識候選用戶狀態(tài)。例如，在一些實施方式中，可以基于過去用戶狀態(tài)與當前用戶狀態(tài)之間的相似性(例如，歐幾里德距離、相似的通用標識符矩陣等)的量度從過去用戶狀態(tài)的較大超集中標識候選用戶狀態(tài)。在一些實施方式中，僅與當前用戶狀態(tài)具有滿足某個相似性閾值的相似性度量的那些過去用戶狀態(tài)可以被認為是候選用戶狀態(tài)(即，為了減少來自所有過去用戶狀態(tài)的搜索空間，其可以隨著時間的推移而增長)。使用相似性度量的一個好處是候選用戶狀態(tài)很可能變得與當前用戶狀態(tài)相似。因此，在用于生成候選過去用戶狀態(tài)的網(wǎng)頁上成功地著手的操作對當前用戶狀態(tài)來說很可能是成功的。

5、一旦候選用戶狀態(tài)被標識，在一些實施方式中，就可以例如基于它們與當前用戶狀態(tài)的相似性量度、基于它們相應(yīng)的通用標識符矩陣與在上面生成當前用戶狀態(tài)的當前網(wǎng)頁的通用標識符矩陣之間的相似性等對候選用戶狀態(tài)進行排名。然后，可以選擇排名最高的候選用戶狀態(tài)，并且可以執(zhí)行與排名最高的狀態(tài)相關(guān)聯(lián)的一個或多個動作，例如，以自動地(即，在沒有顯式用戶輸入的情況下)與當前網(wǎng)頁的一個或多個交互式元素交互。如果一個或多個執(zhí)行的動作證明不成功，則在一些實施方式中，可以選擇排名次最高的候選用戶狀態(tài)，并且可以執(zhí)行其相關(guān)聯(lián)的動作中的一個或多個，依此類推。在一些實施方式中，特定候選用戶狀態(tài)的成功或失敗可以被用作信號，例如，以在其他候選用戶狀態(tài)當中向前移動對該候選用戶狀態(tài)進行排名。

6、與候選用戶狀態(tài)相關(guān)聯(lián)的動作的成功執(zhí)行可以對應(yīng)于用戶是否已與網(wǎng)頁交互以將值輸入到所有必需的交互式元素中并按壓了“提交”。在網(wǎng)頁上下文中，將在形成交互式網(wǎng)站的網(wǎng)頁的一個或多個腳本中將用戶的瀏覽器定向到下一個網(wǎng)頁，此時可能要求用戶在一個或多個附加交互式元素處提供附加輸入。類似地，在本公開的上下文中，在與一個候選用戶狀態(tài)相關(guān)聯(lián)的動作的成功執(zhí)行之后，可以在交互式網(wǎng)站的交互式網(wǎng)頁的腳本中基于下一個網(wǎng)頁更新當前用戶狀態(tài)。然后，過程可以重復(fù)?？梢詷俗R與經(jīng)更新的當前用戶狀態(tài)最相似(即，與用戶何時使用瀏覽器到達第二網(wǎng)頁相對應(yīng))的候選用戶狀態(tài)。這些更新的候選用戶狀態(tài)可以或可能未被排名，并且可以執(zhí)行與經(jīng)更新的候選用戶狀態(tài)中的一個或多個相關(guān)聯(lián)的動作，直到與經(jīng)更新的候選用戶狀態(tài)中的一個相關(guān)聯(lián)的動作成功為止。此過程可以繼續(xù)直到交易完成為止，即，直到自動助理已通過交互式網(wǎng)站成功地導(dǎo)航整個腳本并購買了所期望的物品或服務(wù)為止。

7、附加地或替換地，在一些實施方式中，使用本文描述的技術(shù)自動地導(dǎo)航網(wǎng)站的過程可以類似于強化學(xué)習操作。利用強化學(xué)習，根據(jù)策略(例如，神經(jīng)網(wǎng)絡(luò)或其他統(tǒng)計模型)來檢查當前狀態(tài)以從多個候選動作中選擇。類似地，利用本文描述的技術(shù)，可以依照一種或多種策略來檢查當前用戶狀態(tài)以選擇要執(zhí)行的一個或多個動作。例如，在一些實施方式中，一旦當前用戶狀態(tài)被生成，所有驗證的動作(不久將描述驗證動作和腳本的過程)就可以是可用的。然而，可能存在大量的潛在動作，并且它們中的絕大多數(shù)可能與當前用戶狀態(tài)無關(guān)(例如，與購買電影票相關(guān)的動作在設(shè)法購買共享單車的上下文中可能不是相關(guān)的)。因此，在各種實施方式中，可以存在將可用動作的列表有效地縮小為對當前用戶狀態(tài)有意義的那些動作的策略。例如，在一些實施方式中，適用的策略可以基于可用動作對當前用戶狀態(tài)的適合性來對可用動作進行排名?？梢允紫葒L試排名最高的動作(例如，按其排名的次序)，直到所執(zhí)行的動作中的一個或多個成功(例如，導(dǎo)航到腳本的下一個網(wǎng)頁)為止。

8、在交互式網(wǎng)頁(例如，html、xml等)上，html或xml節(jié)點(例如，交互式元素)通常能夠由人類從圍繞它的詞語和/或圖像集中標識。否則，在頁面已稍微向上或向下滾動之后，用戶將難以標識要閱讀什么或在哪里點擊。換句話說，網(wǎng)頁的每個交互式元素具有它自己的“視覺”或“幾何”上下文。

9、本文描述的技術(shù)利用這些幾何上下文以便能夠適應(yīng)新網(wǎng)站和/或通過先前分析的網(wǎng)站來更新腳本。如先前指出的，在一些實施方式中，可以為網(wǎng)頁(考慮中的當前網(wǎng)頁和/或用于生成過去用戶狀態(tài)的網(wǎng)頁)中的每個交互式元素生成“通用標識符矩陣”。給定交互式元素的通用標識符矩陣可以包括既指示給定交互式元素(例如，其類型，諸如下拉菜單、輸入框、單選按鈕等)又指示在該網(wǎng)頁被渲染時(例如，隨著它會在web瀏覽器應(yīng)用中被渲染)立即圍繞給定交互式元素的網(wǎng)頁的其他可見內(nèi)容的數(shù)據(jù)。換句話說，通用標識符矩陣為網(wǎng)頁的每個交互式元素提供“視覺”或“幾何”上下文，類似于人類會看到/理解的視覺/幾何上下文。詞語“通用”是指通用標識符矩陣與底層文檔對象模型(“dom”)樹的獨立性。

10、將交互式元素分段成通用標識符矩陣有各種好處。雖然網(wǎng)頁可以隨著時間的推移而改變，但是個別的交互式元素及其在已渲染的網(wǎng)頁內(nèi)的幾何上下文(例如，它們靠近、在下方、在上方等出現(xiàn)什么文本或其他dom元素)可以保持相對恒定。因此，當網(wǎng)頁發(fā)生改變時，可以基于由它們相應(yīng)的通用標識符矩陣提供的上下文線索將相同的交互式元素定位在它們的新位置處和/或在它們的新布置中。然后可以對這些相同的交互式元素執(zhí)行與在網(wǎng)頁的變更之前執(zhí)行的動作相同的動作。

11、通用標識符矩陣可以采取各種形式。在一些實施方式中，可以將它們定義為與給定交互式元素相關(guān)聯(lián)的<位置,文本>對的集合。<位置>可以是相對于以感興趣交互式元素為中心的邊界矩形(或其他形狀)的中心的方位。圍繞感興趣交互式元素的每個元素可以按其相對于該交互式元素的位置被分類。例如，<(-10,10):“first”,“name”>可以是指位于左邊十個像素(或其他距離單位)和在感興趣交互式元素上方十個像素(或其他距離單位)的文本“first?name”。當比較以這種方式構(gòu)造的兩個通用標識符矩陣時，可以計算各個對之間的距離以確定兩個通用標識符矩陣之間的整體相似性。

12、另一不太精細的方法是將通用標識符矩陣定義為n個單元(例如，三乘三或九個單元)的網(wǎng)格，其中中央單元包含感興趣交互式元素，而周圍單元包括立即圍繞感興趣交互式元素的各條網(wǎng)頁內(nèi)容。比較由此類網(wǎng)格構(gòu)造的通用標識符矩陣可以與網(wǎng)格中的單元的數(shù)目線性地縮放。

13、如先前提及的，過去用戶狀態(tài)(及其對應(yīng)的動作)的數(shù)據(jù)庫可以用于與當前用戶狀態(tài)進行比較。可以以各種方式生成或“學(xué)習”這些過去用戶狀態(tài)。例如，可以基于實際人類用戶與網(wǎng)頁之間的交互來生成它們(即，可以從有限數(shù)目的人類交互中自舉過去用戶狀態(tài)的語料庫)。附加地或替換地，可以基于與網(wǎng)頁的自動交互生成它們。

14、然而，如先前提及的，網(wǎng)頁可能例如由于添加了新特征、美學(xué)更新等隨著時間的推移而改變。因此，在各種實施方式中，可以周期性地“驗證”或“測試”過去用戶狀態(tài)，以確保例如它們?nèi)匀煌ㄟ^相應(yīng)的交互式網(wǎng)站用作有效腳本的一部分。例如，與先前學(xué)習的網(wǎng)頁相關(guān)聯(lián)的統(tǒng)一資源定位符(“url”)可以用于周期性地(例如，每小時、每天、每周等)重新加載網(wǎng)頁。可以將從網(wǎng)頁的在先版本先前生成的一個或多個通用標識符矩陣與從經(jīng)更新的網(wǎng)頁生成的通用標識符矩陣進行比較，例如，以開發(fā)先前已知的通用標識符矩陣與經(jīng)更新的網(wǎng)頁的通用標識符矩陣之間的映射。如果網(wǎng)頁已大致足夠地改變了，則可能無法創(chuàng)建適當?shù)挠成?，并且可以將與url相關(guān)聯(lián)的過去用戶狀態(tài)標記為不再有效(或者在一些情況下簡單地從數(shù)據(jù)庫中丟棄)。

15、另一方面，如果成功地標識了舊通用標識符矩陣與新通用標識符矩陣之間的映射，則在各種實施方式中，可以執(zhí)行與過去用戶狀態(tài)相關(guān)聯(lián)的各種動作以確定它們是否相對于經(jīng)更新的網(wǎng)頁仍然有效。如果相同或相似的動作仍然是可執(zhí)行的，則經(jīng)更新的網(wǎng)頁可以被認為經(jīng)驗證。在一些情況下，可以為經(jīng)更新的網(wǎng)頁生成新用戶狀態(tài)并將其存儲在數(shù)據(jù)庫中以供將來使用。如果相同或相似的動作不再是成功地可執(zhí)行的，則可以將與url相關(guān)聯(lián)的過去用戶狀態(tài)標記為不再有效(或者在一些情況下簡單地從數(shù)據(jù)庫中丟棄)。

16、在一些實施方式中，當選擇要針對給定候選狀態(tài)執(zhí)行的動作時，可以考慮另一準則。例如，在一些實施方式中，僅與可以與當前網(wǎng)頁的通用標識符矩陣匹配的通用標識符矩陣相關(guān)聯(lián)的那些動作可以被執(zhí)行，或者可以在其他潛在動作之前被執(zhí)行。附加地或替換地，在一些實施方式中，當通過形成網(wǎng)站的一系列網(wǎng)頁檢測到成功的導(dǎo)航或“痕跡”時(無論成功的痕跡是由人類還是使用本文描述的技術(shù)自動地生成的)，該痕跡可以例如與和從該痕跡生成的個別的用戶狀態(tài)相關(guān)聯(lián)的動作關(guān)聯(lián)地持續(xù)存在。那些動作此后可以被視為“經(jīng)驗證”，并且可以比驗證仍然尚未發(fā)生或者至少沒有頻繁地或最近發(fā)生的其他動作更受青睞。

17、如先前指出的，網(wǎng)頁的輸入元素可以由用戶操作以提供參數(shù)，諸如比薩澆頭、電影院/飛機座位選擇、共享單車目的地等。這些參數(shù)中的許多參數(shù)可以由用戶在與自動助理接洽時預(yù)先提供。例如，用戶可以說出像“ok?assistant,order?me?a?thin?crust?pepperonipizza?from?hypothetical?pizza?shop(好的助理，為我從假想比薩店訂購薄皮烤胡椒辣香腸比薩)”一樣的某事。假定假想比薩店沒有活動的第三方代理與自動助理直接交互，則可以采用本文描述的技術(shù)來自動地瀏覽假想比薩店的交互式網(wǎng)站以按請求購買比薩。然而，假設(shè)用戶未提供完成訂單所需要的參數(shù)?？梢砸愿鞣N方式獲取這些遺漏參數(shù)。

18、在一些實施方式中，用戶的簡檔的各方面，諸如用戶的偏好(例如，從用戶的計算交互的歷史中學(xué)習)或與用戶的簡檔相關(guān)聯(lián)的其他信息可以用于填入空白處。例如，假想比薩店的網(wǎng)站可能需要遞送地址。不是向用戶懇求該信息，而是還可以例如根據(jù)他的或她的簡檔和/或基于由用戶所攜帶的設(shè)備提供的方位坐標來自動地確定用戶的地址。在一些實施方式中，可以將用戶的地址制成他的或她的當前用戶狀態(tài)。這種信息然后可以用于自動填充假想比薩店的網(wǎng)站的地址字段，而無需用戶人工地提供這種信息。

19、然而，一些遺漏參數(shù)可能不可根據(jù)用戶的簡檔和/或歷史自動地填充。例如，假設(shè)用戶往往使用多種不同的支付方法來購買商品或服務(wù)。用戶可能不希望自動助理“猜測”用戶想要使用哪一種支付來為比薩付款，或者，用戶的優(yōu)選支付方法可能不被假想比薩店接受?；蛘?，可能存在用于訂購比薩的用戶未指定并且不可根據(jù)她的簡檔鑒別的其他必需的參數(shù)(例如，對特色菜的興趣、她想要飲料嗎等)。在一些實施方式中，自動助理可以暫停遍歷假想比薩店的網(wǎng)站，以便例如在按需基礎(chǔ)上從用戶懇求這些遺漏參數(shù)。然而，用戶可能仍然不需要與網(wǎng)站物理上交互—自動助理可以代表用戶做那個。

20、在一些實施方式中，提供了一種由一個或多個處理器執(zhí)行的方法，該方法包括：在計算設(shè)備的輸入組件處從用戶接收自然語言輸入，其中，自然語言輸入由用戶引導(dǎo)到至少部分在計算設(shè)備上操作的自動助理；分析自然語言輸入以標識用戶的意圖以及與執(zhí)行用戶的意圖相關(guān)聯(lián)的一個或多個參數(shù)；獲得包括一個或多個交互式元素的網(wǎng)頁，其中，該網(wǎng)頁可操作以執(zhí)行用戶的意圖并且一個或多個交互式元素可操作以輸入這些參數(shù)中的一個或多個；確定與用戶相關(guān)聯(lián)的當前用戶狀態(tài)，其中，當前用戶狀態(tài)至少部分地基于網(wǎng)頁的內(nèi)容來確定；基于當前用戶狀態(tài)從過去用戶狀態(tài)的數(shù)據(jù)庫中標識一個或多個候選過去用戶狀態(tài)，其中，一個或多個候選過去用戶狀態(tài)中的每一個均包括用于與網(wǎng)頁的交互式元素中的一個或多個交互的一個或多個候選動作，其中，一個或多個候選動作先前被驗證為能夠執(zhí)行意圖的至少一部分；至少部分地基于第一準則從一個或多個候選過去用戶狀態(tài)中選擇特定候選過去用戶狀態(tài)；至少部分地基于第二準則從與所選擇的過去用戶狀態(tài)候選相關(guān)聯(lián)的一個或多個候選動作中選擇特定候選動作；使用參數(shù)中的一個或多個來執(zhí)行所選擇的候選動作以與網(wǎng)頁的交互式元素中的一個或多個交互；以及由自動助理將指示用戶的意圖的至少一部分已被執(zhí)行的自然語言輸出作為音頻或視覺輸出提供給用戶。

21、在各種實施方式中，該方法還可以包括基于自然語言輸入、用戶的意圖或一個或多個參數(shù)中的一個或多個來標識網(wǎng)頁。在各種實施方式中，一個或多個候選動作中的每一個均可能先前已被驗證為與同一網(wǎng)頁兼容。在各種實施方式中，一個或多個候選動作中的每一個可能先前已被驗證為與可操作以執(zhí)行對應(yīng)意圖的不同網(wǎng)頁兼容。

22、在各種實施方式中，第一準則可以包括當前用戶狀態(tài)和所選擇的候選過去用戶狀態(tài)具有最大相似性量度。在各種實施方式中，確定當前用戶狀態(tài)可以包括對于網(wǎng)頁的一個或多個交互式元素中的每一個，生成通用標識符矩陣，該通用標識符矩陣包括既指示相應(yīng)的交互式元素又指示在該網(wǎng)頁被渲染時立即圍繞相應(yīng)的交互式元素的網(wǎng)頁的其他可見內(nèi)容兩者的數(shù)據(jù)。在各種實施方式中，標識可以包括將從網(wǎng)頁生成的一個或多個通用標識符矩陣與和一個或多個候選過去用戶狀態(tài)中的每一個相關(guān)聯(lián)的一個或多個其他通用標識符矩陣進行比較。在各種實施方式中，標識可以包括對于一個或多個候選過去用戶狀態(tài)中的每個給定候選過去用戶狀態(tài)，將從網(wǎng)頁生成的一個或多個通用標識符矩陣與對應(yīng)于與給定候選者過去用戶狀態(tài)相關(guān)聯(lián)的一個或多個候選動作的一個或多個其他通用標識符矩陣進行比較。

23、在各種實施方式中，該方法還可以包括基于比較對與給定候選過去用戶狀態(tài)相關(guān)聯(lián)的一個或多個候選動作進行排名。在各種實施方式中，通用標識符矩陣可以包括一個或多個元組，其中，一個或多個元組中的每一個均可以包括來自網(wǎng)頁的一條內(nèi)容以及該條內(nèi)容相對于用于確定通用標識符矩陣的底層相應(yīng)的交互式元素的幾何位置。在各種實施方式中，通用標識符矩陣可以包括單元的二維網(wǎng)格，其中，單元的二維網(wǎng)格中的中央單元可以對應(yīng)于用于確定通用標識符矩陣的底層相應(yīng)的交互式元素，并且單元的二維網(wǎng)格中的圍繞中央單元的一個或多個可以對應(yīng)于來自網(wǎng)頁的其他條內(nèi)容。

24、在另一方面中，一種使用一個或多個處理器實現(xiàn)的方法可以包括：確定網(wǎng)頁的標識符，其中，標識符先前被驗證以指示網(wǎng)頁最后已知為可操作以執(zhí)行用戶的意圖，并且其中，網(wǎng)頁最后已知包括已知可操作以輸入與意圖相關(guān)聯(lián)的一個或多個參數(shù)的一個或多個交互式元素的第一集合；基于標識符檢索網(wǎng)頁的更新版本；分析網(wǎng)頁的更新版本以標識一個或多個交互式元素的第二集合；基于從網(wǎng)頁的更新版本中標識出的一個或多個交互式元素的第二集合，生成對應(yīng)的通用標識符矩陣的更新集合，該對應(yīng)的通用標識符矩陣各自包括既指示第二集合的相應(yīng)的交互式元素又指示在該網(wǎng)頁被渲染時立即圍繞相應(yīng)的交互式元素的網(wǎng)頁的其他可見內(nèi)容兩者的數(shù)據(jù)；確定通用標識符矩陣的更新集合與基于最后已知與網(wǎng)頁包括在一起的一個或多個交互式元素的第一集合而生成的通用標識符矩陣的已知集合之間的映射；基于映射，在第二集合的一個或多個對應(yīng)的交互式元素上嘗試在一個或多個交互式元素的第一集合上先前執(zhí)行的動作；以及基于嘗試的一個或多個結(jié)果，將網(wǎng)頁的標識符選擇性地分類為經(jīng)驗證的或無效的。在各種實施方式中，經(jīng)驗證的網(wǎng)頁標識符可以用于促進通過包括與經(jīng)驗證的網(wǎng)頁標識符相關(guān)聯(lián)的網(wǎng)頁的網(wǎng)站的基于自然語言的自動導(dǎo)航。

25、在各種實施方式中，網(wǎng)頁的標識符可以包括統(tǒng)一資源定位符(“url”)。在各種實施方式中，更新集合的每個給定通用標識符矩陣可以包括一個或多個元組，其中，一個或多個元組中的每一個均可以包括來自網(wǎng)頁的更新版本的一條內(nèi)容以及該條內(nèi)容相對于用于確定給定通用標識符矩陣的底層交互式元素的幾何位置。在各種實施方式中，更新集合的每個給定通用標識符矩陣可以包括單元的二維網(wǎng)格，其中，單元的二維網(wǎng)格中的中央單元可以對應(yīng)于用于確定給定通用標識符矩陣的底層交互式元素，并且單元的二維網(wǎng)格中的圍繞中央單元的一個或多個可以對應(yīng)于來自網(wǎng)頁的更新版本的其他條內(nèi)容。在各種實施方式中，經(jīng)驗證的網(wǎng)頁標識符可以被自動助理利用以促進通過包括與經(jīng)驗證的網(wǎng)頁標識符相關(guān)聯(lián)的網(wǎng)頁的網(wǎng)站的基于自然語言的自動導(dǎo)航。

26、在另一方面中，一種使用一個或多個處理器實現(xiàn)的方法可以包括：獲得包括一個或多個交互式元素的未知網(wǎng)頁，其中，該未知網(wǎng)頁可操作以執(zhí)行購買的至少一部分并且一個或多個交互式元素可操作以輸入用于執(zhí)行購買的至少一部分的一個或多個參數(shù)；基于未知網(wǎng)頁的一個或多個交互式元素，生成一個或多個通用標識符矩陣的對應(yīng)的第一集合，其中，第一集合的每個通用標識符矩陣包括既指示未知網(wǎng)絡(luò)的相應(yīng)的交互式元素又指示在該未知網(wǎng)頁被渲染時立即圍繞相應(yīng)的交互式元素的未知網(wǎng)頁的其他可見內(nèi)容兩者的數(shù)據(jù)；至少部分地基于通用標識符矩陣的第一集合從過去用戶狀態(tài)的數(shù)據(jù)庫中標識一個或多個候選過去用戶狀態(tài)，其中，一個或多個候選過去用戶狀態(tài)中的每個相應(yīng)的候選過去用戶狀態(tài)包括用于與用于生成相應(yīng)的候選過去用戶狀態(tài)的已知網(wǎng)頁的一個或多個交互式元素交互的一個或多個候選動作，并且其中，一個或多個候選過去用戶狀態(tài)中的給定候選過去用戶狀態(tài)基于對通用標識符矩陣的第一集合以及與該給定候選過去用戶狀態(tài)相關(guān)聯(lián)的一個或多個通用標識符矩陣的第二集合的比較來標識；在未知網(wǎng)頁的交互式元素中的一個或多個上嘗試與候選過去用戶狀態(tài)中的一個或多個相關(guān)聯(lián)的一個或多個候選動作；以及基于嘗試的一個或多個結(jié)果，將未知網(wǎng)頁選擇性地分類為經(jīng)驗證的或無效的；其中，經(jīng)驗證的網(wǎng)頁可用于促進通過包括該經(jīng)驗證的網(wǎng)頁的網(wǎng)站的基于自然語言的自動導(dǎo)航。

27、在各種實施方式中，經(jīng)驗證的網(wǎng)頁可以對自動助理可用，以促進通過包括經(jīng)驗證的網(wǎng)頁的網(wǎng)站的基于自然語言的自動導(dǎo)航。在各種實施方式中，該方法可以進一步包括響應(yīng)于將未知網(wǎng)頁分類為經(jīng)驗證的而生成新用戶狀態(tài)，其中可以基于未知網(wǎng)頁來生成新用戶狀態(tài)，和將新用戶狀態(tài)添加到過去用戶狀態(tài)的數(shù)據(jù)庫。

28、另外，一些實施方式包括一個或多個計算設(shè)備的一個或多個處理器，其中一個或多個處理器可操作以執(zhí)行存儲在相關(guān)聯(lián)的存儲器中的指令，并且其中所述指令被配置成使執(zhí)行前述方法中的任何一個。一些實施方式還包括一個或多個非暫時性計算機可讀存儲介質(zhì)，其存儲可由一個或多個處理器執(zhí)行以執(zhí)行任何前述方法的計算機指令。

29、應(yīng)當理解，本文中更詳細描述的前述概念和附加概念的所有組合被認為是本文公開的主題的一部分。例如，出現(xiàn)在本公開的結(jié)尾處的要求保護的主題的所有組合被認為是本文公開的主題的一部分。