用戶越來越多地使用諸如智能電話的設備來捕獲包含信息的圖像。在某些實例下，除其他原因之外，用戶還出于信息的目的而捕獲圖像作為紀念品來與其他用戶共享和/或作為提醒。

技術實現(xiàn)要素：

本說明書涉及基于圖像數(shù)據(jù)中所提供的內(nèi)容來使得能夠執(zhí)行一個或多個動作。

本公開的實施方式大體上涉及在設備上執(zhí)行的相機應用的取景器中提供動作界面，該動作界面包括基于場景的內(nèi)容的動作要素。

大體上，本說明書中所描述的主題的創(chuàng)造性方案能夠被包含在方法中，該方法包括如下動作：接收圖像數(shù)據(jù)，所述圖像數(shù)據(jù)從相機提供且與所述相機所查看的場景相對應；接收一個或多個注釋，所述一個或多個注釋基于從所述場景所確定的一個或多個實體來提供，每個注釋與至少一個實體相關聯(lián)；基于所述一個或多個注釋來確定一個或多個動作；以及提供顯示動作界面的指令，所述動作界面包括一個或多個動作要素，每個動作要素能被選擇以引起相應動作的執(zhí)行，所述動作界面在取景器中顯示。該方面的其他實施方式包括被編碼在計算機存儲設備上的對應的系統(tǒng)、裝置、以及計算機程序，其被配置為執(zhí)行該方法的動作。

這些和其他實施方式均能夠可選地地包括以下特征中的一個或多個：所述指令包括在所述取景器中顯示所述動作界面的至少一部分以及響應于對所述動作界面的所述至少一部分的用戶選擇來顯示所述動作界面的指令，動作進一步包括接收與所述一個或多個動作要素的動作要素相對應的用戶輸入；以及執(zhí)行與所述動作要素相關聯(lián)的動作；動作包括共享內(nèi)容動作、購買動作、下載動作、添加事件動作、以及添加到專輯動作中的一個或多個；接收所述一個或多個注釋發(fā)生在圖像被所述相機捕獲之后，所述圖像數(shù)據(jù)與所述圖像相對應；動作進一步包括將所述圖像數(shù)據(jù)提供給注釋系統(tǒng)，所述注釋系統(tǒng)處理所述圖像數(shù)據(jù)以識別所述一個或多個實體中的至少一個實體以及提供所述一個或多個注釋中的至少一個注釋；所述一個或多個動作要素被提供作為內(nèi)容特有的動作要素；所述動作界面進一步包括一個或多個內(nèi)容無關的動作要素；所述圖像數(shù)據(jù)包括預捕獲的圖像數(shù)據(jù)和捕獲后的圖像數(shù)據(jù)中的一個；以及所述取景器由設備上所執(zhí)行的相機應用來提供。

能夠?qū)崿F(xiàn)本說明書所描述的主題的特定實施方式以便實現(xiàn)以下優(yōu)點中的一個或多個。在一些示例中，本公開的實施方式使得用戶在捕獲圖像時能夠更容易地實現(xiàn)原始意圖。例如，雖然用戶正在捕獲場景的圖像，但是用戶的意圖可能實際上是將圖像用作提醒或者作為對例如相冊的圖像集合的貢獻。在一些示例中，實施方式使得用戶能夠?qū)⒂嬎阍O備用作物理-數(shù)字轉(zhuǎn)換器，例如將真實世界場景轉(zhuǎn)換為提醒。在一些示例中，實施方式使得用戶能夠獲得關于圖像中描繪的實體的知識，例如基于搜索結(jié)果來提供動作。

在附圖和以下描述中闡述了本說明書中所描述的主題的一個或多個實施方式的細節(jié)。本主題的其他特征、方面、和優(yōu)點從說明書、附圖、和權利要求書將變得顯而易見。

附圖說明

圖1描繪了能夠提供本公開的實施方式的示例環(huán)境。

圖2A至圖2C描繪了根據(jù)本公開的實施方式的示例界面。

圖3描繪了根據(jù)本公開的實施方式來執(zhí)行的示例過程。

各個附圖中相似的附圖標記和名稱指示相似的元件。

具體實施方式

圖1描繪了能夠提供本公開的實施方式的示例環(huán)境100。示例性環(huán)境100包括設備102、服務器系統(tǒng)104、和網(wǎng)絡106。在一些示例中，設備102包括個人計算機、移動計算設備——例如智能電話、可穿戴計算設備、和/或平板計算設備。設備102能夠通過網(wǎng)絡106來發(fā)送和接收數(shù)據(jù)。在圖1的示例中，提供設備102作為智能電話，例如被啟動以通過互聯(lián)網(wǎng)通信的電話。可以設想，本公開的實施方式也能夠使用其它類型的設備來實現(xiàn)。在一些示例中，網(wǎng)絡106包括連接設備102與服務器系統(tǒng)104的局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、互聯(lián)網(wǎng)、或它們的組合。在一些示例中，網(wǎng)絡106能夠通過有線通信鏈路和/或無線通信鏈路來訪問。例如，設備102能夠利用蜂窩網(wǎng)絡來訪問網(wǎng)絡106。在一些示例中，服務器系統(tǒng)104包括計算設備110和計算機可讀存儲器，該計算機可讀存儲器被提供作為持久性存儲設備112，例如數(shù)據(jù)庫。在一些示例中，服務器系統(tǒng)104表示各種形式的服務器系統(tǒng)，包括但不限于web服務器、應用服務器、代理服務器、網(wǎng)絡服務器、或服務器群。

在一些實施方式中，設備102包括能夠被用于提供圖像數(shù)據(jù)相機。在一些示例中，相機被集成到設備102中。在一些示例中，相機與設備102通信。在一些示例中，設備102執(zhí)行使得設備102能夠基于相機所查看的場景來提供圖像數(shù)據(jù)的應用，例如被提供作為計算機可執(zhí)行程序的相機應用。在圖1的示例中，提供示例場景122、124。在一些示例中，場景能夠包括一個或多個實體，例如人、地點、事物。例如，場景122包括飲料128和漢堡130，并且場景124包括海報132。

在一些示例中，設備102顯示取景器界面，取景器界面使得用戶140能夠使用相機來查看場景。例如，用戶140能夠操縱設備102來將相機指向場景，例如場景122、124。作為響應，能夠提供與場景相對應的圖像數(shù)據(jù)。在一些示例中，可以處理該圖像數(shù)據(jù)以提供場景的圖形表示——例如圖像。在一些示例中，圖像數(shù)據(jù)能夠被提供作為預捕獲圖像數(shù)據(jù)，例如作為實時數(shù)據(jù)。在一些示例中，預捕獲圖像數(shù)據(jù)包括與場景相對應的圖像數(shù)據(jù)，并且在捕獲該場景的圖像之前提供，例如用戶“拍攝(snapping)”照片。在一些示例中，圖像數(shù)據(jù)能夠被提供作為后捕獲圖像數(shù)據(jù)。在一些示例中，捕獲后圖像數(shù)據(jù)包括與場景相對應的圖像數(shù)據(jù)，并且在捕獲場景的圖像之后提供，例如，被提供在響應于用戶“拍攝”照片所提供的圖像文件中。

本公開的實施方式涉及基于圖像數(shù)據(jù)來提供動作界面以用于在設備上所顯示的取景器中顯示。在一些示例中，取景器由計算設備上所執(zhí)行的圖像捕獲應用來提供，圖像捕獲應用例如相機應用。更具體而言，本公開的實施方式涉及基于圖像數(shù)據(jù)來提供一個或多個注釋，基于該一個或多個注釋來確定一個或多個動作，以及基于該一個或多個注釋來提供動作界面。在一些實施方式中，基于用戶特有信息來提供一個或多個動作。例如，在一些實施方式中，動作界面包括一個或多個動作要素，每個動作要素可選擇以引起相應動作的執(zhí)行。示例動作能夠包括：共享內(nèi)容動作——其能夠被執(zhí)行來與其他用戶共享例如圖像、視頻的內(nèi)容、購買動作——其能夠被執(zhí)行來購買一個或多個項目、下載動作——其能夠被執(zhí)行來下載例如音樂、視頻、圖像的內(nèi)容、添加事件動作——其能夠被執(zhí)行來向日歷添加事件)、以及添加到專輯(album)動作——其能夠被執(zhí)行來向例如相冊的專輯添加例如圖像的內(nèi)容。雖然本文提供了示例動作，但是可以想到，本公開的實施方式能夠包括任何適當?shù)膭幼骱拖鄳膭幼饕亍?/p>

通過示例的方式，用戶能夠使用例如圖1的設備102的設備，該設備能夠提供例如預捕獲或捕獲后的第一圖像數(shù)據(jù)，該第一圖像數(shù)據(jù)能夠在例如設備的顯示器上所顯示的取景器中顯示。如本文所述，能夠基于第一圖像數(shù)據(jù)的內(nèi)容來處理該第一圖像數(shù)據(jù)以提供第一動作界面，該第一動作界面包括與相應的動作相對應的動作要素的第一集合。用戶能夠使用例如圖1的設備102的設備，該設備能夠提供例如預捕獲或捕獲后的第二圖像數(shù)據(jù)，該第二圖像數(shù)據(jù)能夠在例如設備的顯示器上所顯示的取景器中顯示。如本文所述，能夠基于第二圖像數(shù)據(jù)的內(nèi)容來處理第二圖像數(shù)據(jù)以提供第二動作界面，該第二動作界面包括與相應的動作相對應的動作要素的第二集合。在一些示例中，動作要素的第一集合不同于動作要素的第二集合。

因此，本公開的實施方式使得動作要素能夠基于圖像數(shù)據(jù)中所表示的內(nèi)容來被提供。這與例如基于在圖像數(shù)據(jù)中所描繪的機器可讀代碼的功能形成了對比。例如，圖像數(shù)據(jù)能夠包括能夠被處理的機器可讀代碼的表示，該機器可讀代碼例如QR碼、條形碼。通常，機器可讀代碼對規(guī)定能夠被執(zhí)行的功能的指令進行編碼，所述指令例如向用戶顯示信息、導航到網(wǎng)站、播放音頻。相比之下，并且如本文所更詳細描述的，本公開的實施方式確定圖像數(shù)據(jù)中所描繪的實體，基于該實體來確定能夠被執(zhí)行的一個或多個動作，以及在取景器中提供對應的動作要素以使得用戶能夠執(zhí)行動作。

在一些實施方式中，并且如上指出，圖像數(shù)據(jù)對應于由相機查看的場景。在一些示例中，所述場景包括在圖像數(shù)據(jù)中表現(xiàn)的一個或多個實體。在一些實施方式中，對圖像數(shù)據(jù)進行處理以識別一個或多個實體。在一些示例中，能夠?qū)D像數(shù)據(jù)提供給實體識別引擎，該實體識別引擎處理圖像數(shù)據(jù)以提供在圖像數(shù)據(jù)中所表示的實體集合。在一些示例中，實體識別引擎被提供為能夠由一個或多個計算設備執(zhí)行的一個或多個計算機可執(zhí)行程序，所述一個或多個計算設備例如設備102和/或服務器系統(tǒng)104。在一些示例中，實體集合能夠包括一個或多個實體。在一些示例中，實體集合不包括實體，例如實體識別引擎沒有識別出實體。在一些實施方式中，實體能夠包括特定實體。例如，實體能夠包括圖像數(shù)據(jù)中描繪的漢堡。在一些示例中，實體能夠包括實體的類別。例如，實體能夠包括食物。作為另一個示例，如果在圖像數(shù)據(jù)中描述了漢堡，則實體集合能夠包括“漢堡”和“食物”，例如特定實體和相對應的類別。

在一些示例中，將一個或多個注釋與一個或多個實體中的每個實體相關聯(lián)。在一些示例中，能夠?qū)嶓w集合提供給注釋引擎，該注釋引擎處理該實體集合以提供注釋集合。在一些示例中，注釋引擎被提供為能夠由執(zhí)行的一個或多個計算機可執(zhí)行程序，所述一個或多個計算設備例如設備102和/或服務器系統(tǒng)104。在一些實施方式中，將實體識別引擎與注釋引擎組合，例如組合為同一引擎。

在一些示例中，注釋集合能夠包括一個或多個注釋。在一些示例中，注釋集合不包括注釋，例如實體集合中不包括實體。在一些示例中，如果實體集合中不包括實體，則不將實體集合提供給注釋引擎。在一些實施方式中，每個注釋包括注釋數(shù)據(jù)，其能夠被附加至基礎圖像數(shù)據(jù)——例如被處理以提供實體集合的圖像數(shù)據(jù)。

在一些實施方式中，能夠基于使用搜素引擎搜索實體來提供注釋。在一些示例中，注釋引擎能夠?qū)嶓w作為搜索查詢來提供給搜索引擎，并且該搜索引擎能夠?qū)⑺阉鹘Y(jié)果提供給注釋引擎。在一些示例中，注釋能夠基于搜索結(jié)果。例如，實體能夠包括文本“Best Band Ever(史上最佳樂隊)”，該文本被描繪在圖像數(shù)據(jù)中，并且其是一個樂隊的名稱。在一些示例中，文本“Best Band Ever”能夠作為搜索查詢來被提供給搜索引擎，并且能夠提供與特定樂隊相關聯(lián)的搜索結(jié)果。示例搜索結(jié)果能夠包括與樂隊相關聯(lián)的巡演日期、專輯、和/或商品，哪些搜索結(jié)果能夠被提供作為注釋。

在一些實施方式中，注釋能夠涉及圖像數(shù)據(jù)中描繪的實體。例如，實體能夠包括文本“Best Band Ever”，實體能夠包括文本“Jan.30,2014”，并且實體能夠包括文本“TX State Fair(德州展會)”，例如圖1的場景124中所描繪的。在一些示例中，能夠?qū)嶓w作為搜索項目提供給搜索引擎，并且作為響應，搜索結(jié)果包括2014年1月30日Best Band Ever要在或者先前在TX State Fair演出的音樂會，其能夠被提供作為注釋。

在一些實施方式中，能夠基于具有例如知識圖的結(jié)構化數(shù)據(jù)圖的交叉參考實體來提供注釋。在一些示例中，結(jié)構化數(shù)據(jù)圖包括多個節(jié)點以及節(jié)點之間的邊。在一些示例中，節(jié)點表示實體，并且邊表示實體之間的關系。能夠基于實體之間已經(jīng)被確定的關聯(lián)來提供結(jié)構化數(shù)據(jù)圖的節(jié)點和/或?qū)嶓w。在一些示例中，能夠基于一個或多個模式(schema)來提供結(jié)構化數(shù)據(jù)圖。在一些示例中，模式描述在用戶特有知識圖中數(shù)據(jù)是如何被結(jié)構化的。

示例模式基于域、類型、和性質(zhì)來組織數(shù)據(jù)。在一些示例中，域包括共享名稱空間的一個或多個類型。在一些示例中，提供名稱空間作為被唯一命名的對象的目錄，其中名稱空間中的每個對象具有唯一名稱，例如標識符。在一些示例中，類型表示關于主題的“is a”關系，且用于保持性質(zhì)的集合。在一些示例中，主題表示實體，諸如人、地點、或事物。在一些示例中，每個主題可具有與其相關聯(lián)的一個或多個類型。在一些示例中，性質(zhì)與主題相關聯(lián)并且定義了主題與性質(zhì)的值之間的“has a”關系。在一些示例中，性質(zhì)的值能夠包括另一個主題。

在一些實施方式中，注釋引擎能夠?qū)嶓w作為輸入來提供給結(jié)構化數(shù)據(jù)圖系統(tǒng)——例如知識圖系統(tǒng)，并且結(jié)構化數(shù)據(jù)圖系統(tǒng)能夠?qū)⒁粋€或多個注釋作為輸出來提供給注釋引擎。在一些示例中，結(jié)構化數(shù)據(jù)圖系統(tǒng)能夠?qū)⒃搶嶓w與在結(jié)構化數(shù)據(jù)圖中被捕獲的對象進行交叉參考，并且能夠基于模式來提供注釋作為對象和/或?qū)ο笾g的關系。例如，能夠提供實體漢堡來作為輸入，并且能夠提供注釋“漢堡是食物”來作為輸出。

在一些實施方式中，基于相應的實體和/或注釋來確定一個或多個動作。在一些實施方式中，提供圖像數(shù)據(jù)的設備——例如圖1的設備102基于實體和/或注釋來確定一個或多個動作。例如，設備能夠提供實體的集合和/或注釋的集合，并且能夠確定一個或多個動作。作為另一個示例，設備例如能夠從服務器系統(tǒng)104接收實體和/或注釋的集合，并且能夠確定一個或多個動作。在一些示例中，設備提供實體的集合和/或注釋的集合，并且設備也接收實體的集合和/或注釋的集合。

在一些實施方式中，提供圖像數(shù)據(jù)的設備——例如圖1的設備102基于實體和/或注釋來接收一個或多個動作。例如，設備和/或服務器系統(tǒng)能夠提供實體的集合和/或注釋的集合，并且服務器系統(tǒng)能夠確定一個或多個動作。在一些實施方式中，設備確定一個或多個動作，并且該設備接收一個或多個動作。

在一些實施方式中，基于將實體和/或注釋映射至動作來提供一個或多個動作。例如，能夠?qū)⑴c例如演唱會的事件相關聯(lián)的實體和/或注釋映射至添加事件動作——其能夠被執(zhí)行來將事件添加到日歷，和/或映射至購買動作——例如購買事件的票、購買專輯。因此，添加事件動作和/或購買動作能夠被包括在一個或多個事件中。作為另一個示例，實體和/或注釋能夠?qū)谟脩舻膱D像專輯——例如食物專輯，并且能夠被映射至添加到專輯動作，該添加到專輯動作能夠被執(zhí)行來將例如圖像的內(nèi)容添加到專輯。因此，基于用戶特有信息來提供動作，所述用戶特有信息例如對用戶具有與圖像中所描繪的實體有關的圖像專輯的了解。作為另一個示例，實體和/或注釋能夠?qū)诶缭谏缃痪W(wǎng)絡服務內(nèi)的用戶的一個或多個聯(lián)系人，并且能夠被映射到共享圖像動作，該共享圖像動作能夠被執(zhí)行來與聯(lián)系人共享圖像。因此，基于用戶特有信息來提供動作，所述用戶特有信息例如對用戶通常與特定聯(lián)系人共享圖像中所描繪的內(nèi)容的了解。

根據(jù)本公開的實施方式，能夠基于一個或多個動作來顯示動作界面。在一些示例中，在取景器中顯示動作界面，該取景器顯示例如從其確定一個或多個動作的圖像數(shù)據(jù)。在一些示例中，動作界面包括一個或多個動作要素，每個動作要素與一個或多個動作中的動作相對應。每個動作要素可選擇以引起對相應動作的執(zhí)行。因此，動作界面的動作要素能夠包括內(nèi)容特有動作要素，例如基于動作來提供的動作要素，所述動作基于圖像數(shù)據(jù)的內(nèi)容來被確定。

在一些實施方式中，動作界面能夠包括信息幀，該信息幀提供關于圖像數(shù)據(jù)中描繪的例如實體的內(nèi)容的信息。例如，如果特定書本被表示在圖像數(shù)據(jù)中，則動作界面能夠包括描繪與該書本相關聯(lián)的信息的信息幀，所述信息例如封面的圖像、標題、摘要、作者、出版日期、體裁。作為另一個示例，如果特定樂隊被表示在圖像數(shù)據(jù)中，則動作界面能夠包括描述與該樂隊相關聯(lián)的信息的信息幀，所述信息例如樂隊的照片、樂隊成員的列表、專輯列表。

在一些實施方式中，動作界面能夠包括內(nèi)容無關(content-agnostic)的動作要素。在一些示例中，內(nèi)容無關的動作要素對應于無論圖像數(shù)據(jù)的內(nèi)容如何都能夠提供的動作。例如，圖像數(shù)據(jù)能夠?qū)谙鄼C所捕獲的圖像。因此，能夠提供共享動作要素來共享圖像。在一些示例中，響應于所捕獲的圖像而不是圖像中所描繪的內(nèi)容來提供共享動作要素。

本文在非限制性示例的場境下更詳細地對本公開的實施方式進行描述?？梢韵氲?，能夠在包括本文提供的示例的適當背景下，以及在除了本文提供的示例之外的適當場境下，實現(xiàn)本公開。

圖2A至圖2C描繪了根據(jù)本公開的實施方式的示例界面。具體參照圖2A，例如圖1的設備102的設備200包括顯示器202。在所描繪的示例中，顯示器202正在顯示取景器204。例如，能夠響應于用戶對相機應用的選擇來顯示取景器204，所述相機應用例如由設備200執(zhí)行的計算機可執(zhí)行程序。取景器204包括捕獲圖標206。在一些示例中，例如圖1的用戶140的用戶能夠選擇捕獲圖標206來捕獲取景器204中顯示的場景的圖像。在所描繪示例中，取景器204正在顯示包括海報132的圖1的場景124。例如，用戶能夠?qū)⒃O備200指向場景124，使得相機查看場景124并在取景器204中顯示該場景124。

根據(jù)本公開的實施方式，提供被用于在取景器204中顯示場景124的圖像數(shù)據(jù)。在一些示例中，圖像數(shù)據(jù)被處理來從場景124的內(nèi)容識別一個或多個實體。在所描繪的示例中，示例內(nèi)容能夠包括海報132中所提供的插圖220以及海報132中所提供的文本222。在所描繪的示例中，插圖220包括聚光燈下的吉他手的圖像，并且文本222包括：樂隊的名稱——例如“Best Band Ever”、日期——例如“Jan.30,2014”、位置——例如“TX State Fair”、以及其他信息——例如“Doors@8PM(晚8點開始)”。在一些實施方式中，圖像數(shù)據(jù)被處理來將樂隊“Best Band Ever”識別為實體，將日期“Jan.30,2014”識別為實體，將時間“8PM”識別為實體，和/或?qū)⑽恢谩癟X State Fair”識別為實體。

在一些實施方式中，基于一個或多個實體來提供一個或多個注釋。例如，能夠基于實體“Best Band Ever”來提供一個或多個注釋。示例注釋能夠包括“名稱”、“樂隊”、“音樂”、以及音樂的類別——例如“搖滾(rock)”、“獨立(indie)”、“經(jīng)典(classical)”。作為另一個示例，能夠基于實體“TX State Fair”來提供一個或多個注釋。示例注釋能夠包括“位置”、“場所”、和“音樂會”。如本文所述，在一些示例中，能夠提供注釋來作為從知識圖系統(tǒng)接收的圖像特有的結(jié)構化數(shù)據(jù)。

在一些實施方式中，基于一個或多個實體和/或圖像特有的結(jié)構化數(shù)據(jù)來提供一個或多個動作。根據(jù)圖2A至圖2C的示例，動作能夠包括購票動作、添加事件動作、以及下載動作，所述購票動作能夠被執(zhí)行來發(fā)起對海報中所述音樂會的票的購買，添加事件動作能夠被執(zhí)行來將音樂會作為事件添加到日歷，并且下載動作能夠被執(zhí)行來發(fā)起對樂隊專輯的下載。

圖2B描繪了響應于基于圖像數(shù)據(jù)來提供的一個或多個動作的取景器204。更具體而言，在取景器中顯示動作卡的表示250。在所描繪的示例中，表示250是動作卡的縮小版本，使得動作卡的表示250小于它本來的大小，并且不會顯著干擾取景器204中顯示的圖像。在一些示例中，表示250被提供作為完整動作卡的一部分。在一些實施方式中，用戶能夠選擇表示250來啟動對完整動作卡的顯示。

圖2C描繪了響應于用戶對圖2B的表示250的選擇的取景器204。在所描繪的示例中，完整動作卡250被顯示并且包括動作要素252、254、256。動作要素252對應于購票動作，動作要素254對應于下載動作，并且動作要素256對應于添加事件動作。例如，能夠響應于用戶對動作要素252的選擇來顯示界面，用戶能夠通過該界面來開始購買音樂會的票。作為另一個示例，能夠響應于用戶對動作要素254的選擇來顯示界面，用戶能夠通過該界面開始對樂隊發(fā)行的一個或多個專輯的購買和/或下載。作為另一個示例，能夠響應于用戶選擇動作要素256來顯示界面，用戶能夠通過該界面開始將演唱會作為事件添加到日歷。在一些示例中，能夠?qū)㈨憫谟脩魧幼饕氐倪x擇所顯示的界面顯示為由設備200執(zhí)行的應用的界面——例如移動app，和/或顯示為由設備200執(zhí)行的瀏覽器應用中所顯示的網(wǎng)頁。

在一些實施方式中，動作要素252、254、256包括內(nèi)容特有的動作要素。雖然圖2C中沒有描繪，但是動作卡250’能夠包括內(nèi)容無關的動作要素。例如，能夠提供共享內(nèi)容動作要素來與一個或多個其他用戶共享圖像。

在一些實施方式中，能夠響應于對動作要素的選擇來執(zhí)行動作而無需任何附加用戶輸入。例如，響應于用戶對動作項目256的選擇，能夠?qū)⑴c演唱會相對應的事件自動添加到日程表，而無需進一步的用戶輸入。

本公開的實施方式能夠進一步包括在不要求用戶選擇動作的情況下所自動執(zhí)行的一個或多個動作。例如，響應于識別圖像數(shù)據(jù)中所描繪的事件，能夠自動執(zhí)行提醒動作。因此，能夠向用戶提供事件提醒而無需用戶明確請求就事件來提醒他們。在一些示例中，可將提醒增強以包括與事件相關聯(lián)的內(nèi)容，例如圖像、視頻?？梢韵氲?，能夠在例如事件、共享、添加到相冊等的任何適當?shù)膱鼍诚绿峁┳詣觿幼鳌?/p>

再參照圖1，用戶140能夠使用設備102來提供基于場景122的圖像數(shù)據(jù)，該圖像數(shù)據(jù)包括飲料128和漢堡130的相應的表示。如本文所述，能夠處理圖像數(shù)據(jù)，并且能夠確定一個或多個動作。示例動作能夠包括將圖像添加到食物專輯的動作，和/或?qū)D像添加到漢堡專輯動作。例如，能夠確定圖像數(shù)據(jù)描繪了漢堡和/或食物，以及確定用戶保持事物專輯和/或漢堡專輯。因此，能夠顯示動作界面并且該動作界面能夠包括相應的內(nèi)容特有動作要素。

作為另一個示例，用戶140能夠基于包括一個或多個人的場景來使用設備102提供圖像數(shù)據(jù)，例如，用戶拍攝兩個朋友Michelle和Louise的照片。如本文所述，能夠處理圖像數(shù)據(jù)并且能夠確定一個或多個動作。例如，能夠處理圖像數(shù)據(jù)并且能夠確定圖像數(shù)據(jù)中描繪了Michelle和Louise。示例動作能夠包括將圖像添加至朋友專輯動作、與Michelle共享圖像動作、與Louise共享圖像動作、和/或與Michelle和Louise共享圖像動作。

圖3描繪了能夠根據(jù)本公開的實施方式來執(zhí)行的示例過程300。例如，能夠由圖1的示例環(huán)境100來實現(xiàn)示例過程300。在一些示例中，能夠使用例如圖1的設備102和/或服務器系統(tǒng)104的一個或多個計算設備所執(zhí)行的一個或多個計算機可執(zhí)行程序來提供示例性過程300。

接收圖像數(shù)據(jù)(302)。在一些示例中，設備102和/或服務器系統(tǒng)104的一個或多個處理器接收圖像數(shù)據(jù)。在一些示例中，圖像數(shù)據(jù)由例如設備102的相機提供，并且對應于相機所查看的場景。在一些示例中，圖像數(shù)據(jù)是預捕獲圖像數(shù)據(jù)。在一些示例中，圖像數(shù)據(jù)是捕獲后圖像數(shù)據(jù)。識別一個或多個實體(304)。在一些示例中，由計算設備102和/或服務器系統(tǒng)104處理圖像數(shù)據(jù)以識別一個或多個實體。在一些示例中，實體被提供為圖像數(shù)據(jù)中所表示的人、地點、或事物。

接收一個或多個注釋(306)。在一些示例中，由計算設備102和/或服務器系統(tǒng)104處理一個或多個實體和/或結(jié)構化數(shù)據(jù)以提供一個或多個注釋。確定動作集合(308)。在一些示例中，由設備102和/或服務器系統(tǒng)104處理一個或多個注釋以確定能夠執(zhí)行的動作。在一些示例中，能夠確定沒有確定出動作。因此，動作集合能夠包括空集。在一些示例中，能夠確定一個或多個動作被確定。因此，動作集合能夠包括一個或多個動作。

確定動作集合是否包括至少一個動作(310)。在一些示例中，設備102和/或服務器系統(tǒng)104能夠確定動作集合是否包括至少一個動作。如果動作集合包括至少一個動作，則提供顯示動作界面的指令(312)。在一些示例中，設備102和/或服務器系統(tǒng)104能夠提供指令。例如，設備102的一個或多個處理器能夠向設備102的顯示處理器提供指令。作為另一個示例，服務器系統(tǒng)104能夠向設備102提供指令。如果動作集合不包括至少一個動作，則不提供顯示動作界面的指令(314)。

本說明書所描述的主題內(nèi)容的實施方式以及操作能夠以數(shù)字電子電路、或者在計算機軟件、固件、或硬件、包括本說明書中公開的結(jié)構以及它們的結(jié)構等同物、或者以它們一個或多個的組合來實現(xiàn)。本說明書所描述主題內(nèi)容的實施方式能夠使用一個或多個計算機程序來實現(xiàn)，所述一個或多個計算機程序即計算機程序指令的一個或多個模塊，所述計算機程序指令被編碼在計算機存儲介質(zhì)中，用于由數(shù)據(jù)處理設備執(zhí)行或者控制數(shù)據(jù)處理設備的操作。替選地或另外地，程序指令能夠被編碼在在例如機器生成的電信號、光信號、或電磁信號的人工生成的傳播信號上，該傳播信號被生成以對用于傳送至合適的的接收器裝置的信息進行編碼以供數(shù)據(jù)處理裝置執(zhí)行。計算機存儲介質(zhì)能夠是如下或者包括于其中：計算機可讀存儲設備、計算機可讀存儲基板、隨機或串行存取存儲器陣列或設備、或者它們一個或多個的組合。此外，盡管計算機存儲介質(zhì)并非傳播信號，但是計算機存儲介質(zhì)能夠是在人工生成的傳播信號中編碼的計算機程序指令的源或目的地。此外，計算機存儲介質(zhì)也能夠是一個或多個單獨的物理組件或介質(zhì)(例如，多個CD、盤、或其他存儲設備)或者被包括在其中。

本說明書所描述的操作能夠被實現(xiàn)為由數(shù)據(jù)處理設備對一個或多個計算機可讀存儲設備上存儲的數(shù)據(jù)或者從其他源接收的數(shù)據(jù)執(zhí)行的操作。

術語“數(shù)據(jù)處理裝置”涵蓋用于處理數(shù)據(jù)的所有類型的裝置、設備、以及機器，包括例如可編程處理器、計算機、芯片上系統(tǒng)，或者多個可編程處理器、計算機、芯片上系統(tǒng)、或前述的組合。該裝置能夠包括專用邏輯電路，例如FPGA(現(xiàn)場可編程門陣列)或ASIC(專用集成電路)。除了硬件之外，所述裝置還能夠包括創(chuàng)建用于所討論的計算機程序的執(zhí)行環(huán)境的代碼，例如構成處理器固件、協(xié)議棧、數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)、跨平臺運行時環(huán)境、虛擬機、或者它們一個或多個的組合的代碼。裝置和執(zhí)行環(huán)境能夠?qū)崿F(xiàn)各種不同的計算模型基礎架構，諸如web服務、分布式計算以及網(wǎng)格計算基礎架構。

計算機程序(也被稱作程序、軟件、軟件應用、腳本、或代碼)能夠以任何形式的編程語言編寫，包括編譯或解釋語言、說明性或程序性語言，并且可以以任何形式部署，包括作為獨立程序或作為模塊、組件、子例程、對象、或適合于在計算環(huán)境中使用的其它單元。計算機程序可以但不必對應于文件系統(tǒng)中的文件。程序可以被存儲在保存其他程序或數(shù)據(jù)的文件的一部分中(例如在標記語言文檔中存儲的一個或多個腳本)、存儲在專用于所討論的程序的單個文件、或者存儲在多個協(xié)調(diào)文件(例如存儲一個或多個模塊、子程序、或代碼的部分的文件)中。計算機程序能夠被部署為在一個計算機上執(zhí)行，也能夠被部署為在位于一個地點或跨多個地點分布并且由通信網(wǎng)絡互連多個計算機上執(zhí)行。

本說明書所描述的過程和邏輯流程能夠由執(zhí)行一個或多個計算機程序的一個或多個可編程處理器執(zhí)行以通過操作輸入數(shù)據(jù)和生成輸出來執(zhí)行動作。過程和邏輯流程還能夠由專用邏輯電路執(zhí)行，并且裝置也能夠被實現(xiàn)為專用邏輯電路，例如FPGA(現(xiàn)場可編程門陣列)或ASIC(專用集成電路)。

例如，適合于執(zhí)行計算機程序的處理器包括通用微處理器和專用微處理器這兩者，以及任何種類的數(shù)字計算機的任何一個或多個處理器。通常，處理器從只讀存儲器或隨機存取存儲器或者從這兩者接收指令和數(shù)據(jù)。計算機的元件能夠包括處理器以及一個或多個存儲器設備，所述處理器用于根據(jù)指令執(zhí)行動作，所述存儲器設備用于存儲指令和數(shù)據(jù)。通常，計算機還包括用于存儲數(shù)據(jù)的一個或多個大容量存儲設備，例如磁盤、磁光盤、或光盤，或者可操作地耦合以從所述一個或多個大容量存儲設備接收數(shù)據(jù)或向其傳送數(shù)據(jù)，或以上這兩者。但是，計算機不必具有這樣的設備。此外，能夠?qū)⒂嬎銠C嵌入另一設備中，所述另一設備例如移動電話、個人數(shù)字助理(PDA)、移動音頻或視頻播放器、游戲控制臺、全球定位系統(tǒng)(GPS)接收器、或便攜式存儲設備(例如通用串行總線(USB)閃存驅(qū)動器)，僅舉數(shù)例。適合于存儲計算機程序指令和數(shù)據(jù)的設備包括所有形式的非易失性存儲器、介質(zhì)和存儲器設備，包括例如半導體存儲器設備，例如：EPROM、EEPROM、以及閃存設備；磁盤，例如內(nèi)部硬盤或可移動盤；磁光盤；以及CDROM和DVD-ROM盤。處理器和存儲器能夠通過專用邏輯電路補充或者合并于其中。

為了提供與用戶的交互，本說明書所描述主題內(nèi)容的實施方式能夠在具有顯示設備以及鍵盤和指示設備的計算機上實現(xiàn)，顯示設備用于向用戶顯示信息，其例如CRT(陰極射線管)、LED(發(fā)光二極管)或LCD(液晶顯示器)監(jiān)視器，鍵盤和指示設備例如鼠標或軌跡球，用戶通過其能夠向計算機提供輸入。也能夠使用其他類型的設備來提供與用戶的交互；例如，向用戶提供的反饋能夠是任何形式的感知反饋，例如視覺反饋、聽覺反饋、或觸覺反饋；并且能夠以包括聲音、語音、或觸覺輸入的任何形式接收來自用戶的輸入。此外，計算機能夠通過向用戶所使用的設備發(fā)送文檔以及從用戶使用的設備接收文檔來與用戶交互；例如，通過響應于從web瀏覽器接收的請求，來向用戶的客戶端設備上的web瀏覽器發(fā)送網(wǎng)頁。

本說明書所描述的主題的實施方式能夠在包括后端組件的計算系統(tǒng)中實現(xiàn)，所述后端組件例如作為數(shù)據(jù)服務器；或者在包括中間件組件的計算系統(tǒng)中實現(xiàn)，所述中間件組件例如應用服務器；或者在包括前端組件的計算系統(tǒng)中實現(xiàn)，所述前端組件例如具有圖形用戶界面或Web瀏覽器的客戶端計算機，用戶通過其能夠與本說明書所描述的主題的實施方式交互；或者以一個或多個這樣的后端組件、中間件組件、或前端組件的任何組合來實現(xiàn)。系統(tǒng)的組件能夠通過例如通信網(wǎng)絡的任何形式或介質(zhì)的數(shù)字數(shù)據(jù)通信來互連。通信網(wǎng)絡的示例包括局域網(wǎng)(“LAN”)和廣域網(wǎng)(“WAN”)、互連網(wǎng)絡(例如互聯(lián)網(wǎng))、以及對等網(wǎng)絡(例如點對點(ad hoc)對等網(wǎng)絡)。

計算系統(tǒng)能夠包括客戶端和服務器。客戶端和服務器通常相互遠離并且一般通過通信網(wǎng)絡交互?？蛻舳伺c服務器的關系依靠在相應的計算機上運行且相互具有客戶端-服務器關系的計算機程序而產(chǎn)生。在一些實施方式中，服務器向客戶端設備(例如出于向與客戶端設備交互的用戶顯示數(shù)據(jù)以及接收來自該用戶的用戶輸入的目的)傳送數(shù)據(jù)(例如HTML頁面)。能夠在服務器處從客戶端接收在客戶端設備生成的數(shù)據(jù)(例如用戶交互的結(jié)果)。

雖然本說明書包含許多特定實施方式細節(jié)，但是它們不應被解釋為對本公開任何的實施方式或者可能要求保護的內(nèi)容的范圍的限制，而應當被解釋為對示例實施方式特有的特征的描述。本說明書中在單獨的實施方式的場境下所描述的某些特征也能夠在單個實施方式中組合實現(xiàn)。相反，在單個實施方式場境下所描述的各種特征也能夠單獨地或者以任何合適的子組合來在多個實施方式中實施。此外，雖然上文可能將特征描述為以某些組合來起作用，甚至最初也這樣主張，但是在一些情況下能夠?qū)碜运蟊Ｗo的組合的一個或多個特征從組合中刪去，并且所要求保護的組合可以指向子組合或者子組合的變型。

類似地，雖然以特定順序在附圖中描繪了操作，但是不應將其理解為需要以所示的特定順序或者以連續(xù)順序來執(zhí)行這樣的操作，或者需要執(zhí)行所有所圖示的操作才能達到期望的結(jié)果。在某些情況下，多任務和并行處理可以是有利的。此外，上述實施方式中各種系統(tǒng)組件的分離不應當被理解為在所有實施方式中均需要這樣的分離，并且應當理解為通常能夠?qū)⑺枋龀绦蚪M件和系統(tǒng)一起集成在單個軟件產(chǎn)品中或者封裝為多個軟件產(chǎn)品。

因此，已經(jīng)描述了本主題的特定實施方式。其他實施方式均落入所附權利要求書的范圍。在一些情況下，能夠以不同的順序來執(zhí)行權利要求書中所記載的動作并且仍然達到期望的結(jié)果。此外，附圖中所描繪的過程不一定需要所示的特定順序、或連續(xù)順序來達到期望的結(jié)果。在某些實施方式中，多任務和并行處理可以是有利的。