302的螢火蟲 可從先前顯示的邊界框移動(dòng)，可表現(xiàn)為新的螢火蟲，或其組合。在一些實(shí)施方案中，螢火蟲 還可飛離屏幕，或執(zhí)行另一這樣的動(dòng)作或運(yùn)動(dòng)。
[0033] 如提及，情況可能是：諸如當(dāng)所述裝置已辨識(shí)對(duì)象且用戶希望使用裝置的更舒適 位置作用于所述對(duì)象時(shí)，用戶可能沒有將對(duì)象保持在所述裝置上的照相機(jī)或傳感器中的一 個(gè)的視野內(nèi)。作為實(shí)例，在圖3(b)的情形320中，實(shí)時(shí)視圖322不再顯示任何先前識(shí)別的對(duì)象 表示，且在此情況中不包括任何可識(shí)別的對(duì)象表示（除了一些實(shí)施方案中的可能部分文本 字符串之外）。如說明，因?yàn)椴辉傩纬扇魏伪硎镜倪吔纾晕灮鹣x可再次散開、分散或在顯 示器四周移動(dòng)，如先前提及。如討論，螢火蟲可嘗試找到可能對(duì)應(yīng)于可辨識(shí)對(duì)象的特征，所 述特征可以包括邊緣、拐角、顏色或亮度的銳轉(zhuǎn)變等等。然而，如說明，帶狀物324可保持在 顯示器上持續(xù)至少一定時(shí)段。如討論，此可使得用戶能夠選擇所識(shí)別動(dòng)作之一，而無(wú)論計(jì)算 裝置是否仍然可檢測(cè)到對(duì)應(yīng)對(duì)象。
[0034] 在圖3(c)的示例性情形340中，所述裝置已被移動(dòng)使得文檔的先前分析部分再次 包含在照相機(jī)的視野內(nèi)且在實(shí)時(shí)視圖中是可見的。如先前討論，算法可再次分析圖像以嘗 試辨識(shí)和/或識(shí)別圖像中表示的對(duì)象。如本文中別處討論，如果運(yùn)動(dòng)跟蹤或其它機(jī)制使得裝 置能夠確定其已經(jīng)針對(duì)所述實(shí)時(shí)視圖辨識(shí)對(duì)象，那么可以使用不同方法，對(duì)于必須重新確 定所獲取圖像中存在的各種對(duì)象，這可節(jié)省至少一些處理。如先前討論，算法將再次開始檢 測(cè)對(duì)象，且螢火蟲可在每一已識(shí)別對(duì)象的表示周圍形成邊界框342。在此實(shí)例中，所述裝置 可能辨識(shí)電話號(hào)碼，且基于例如關(guān)于所述號(hào)碼的存儲(chǔ)信息或關(guān)于所述號(hào)碼周圍的背景信息 的存儲(chǔ)信息，所述裝置可確定已針對(duì)所述帶狀物產(chǎn)生帶狀物。在此實(shí)例中，至少一些實(shí)施方 案可使所述帶狀物344被帶到帶狀物堆疊346的頂部上使得用戶可容易訪問對(duì)應(yīng)動(dòng)作。如果 這是首次確定對(duì)所述號(hào)碼的動(dòng)作，或已確定此特定動(dòng)作，那么可產(chǎn)生新的帶狀物且將帶狀 物放置在堆疊的頂部上或另一適當(dāng)位置中。如果已經(jīng)產(chǎn)生帶狀物，那么可在所需位置處顯 示所述帶狀物。帶狀物堆疊346中的其它帶狀物然后可向下移動(dòng)或如本文中別處討論和提 出般調(diào)整。
[0035]在一些實(shí)例中，用戶可能希望在無(wú)需再次使裝置辨識(shí)相關(guān)對(duì)象的情況下訪問先前 產(chǎn)生的帶狀物之一。如圖3(d)的示例性情形360中說明，根據(jù)至少一些實(shí)施方案的界面可使 得用戶能夠訪問先前產(chǎn)生的帶狀物以定位所需帶狀物和/或動(dòng)作。在此實(shí)例中，用戶能夠使 用手指362或其它這樣的對(duì)象來瀏覽帶狀物堆疊346以定位特定帶狀物，或至少預(yù)覽一個(gè)或 多個(gè)先前產(chǎn)生的帶狀物。用戶可使用觸屏來向下滾屏查看帶狀物堆疊，但是也可使用如所 屬領(lǐng)域一般技術(shù)人員根據(jù)本文中包含的教學(xué)和提出將明白的其它導(dǎo)航方法。這些方法可包 括(例如)使用尖筆或物理按鈕、使裝置傾斜、提供手勢(shì)或運(yùn)動(dòng)輸入等等。用戶然后可選擇與 先前產(chǎn)生的帶狀物之一相關(guān)的動(dòng)作。在至少一些實(shí)施方案中，用戶可對(duì)帶狀物執(zhí)行其它任 務(wù)，諸如刪除或修改帶狀物、對(duì)帶狀物重新排序、組合或復(fù)制帶狀物等等。如說明，帶狀物 (或其它用戶可選圖標(biāo))可對(duì)各種類型的對(duì)象提供不同動(dòng)作。例如，帶狀物可包括以下動(dòng)作： 購(gòu)買或下載根據(jù)音頻數(shù)據(jù)辨識(shí)的歌曲或播放根據(jù)由所述裝置的一個(gè)或多個(gè)傳感器捕捉的 音頻數(shù)據(jù)和/或視頻數(shù)據(jù)辨識(shí)的電影。
[0036]圖4(a)到4(d)說明根據(jù)各個(gè)實(shí)施方案的可利用螢火蟲和帶狀物來使得用戶能夠 對(duì)已辨識(shí)對(duì)象執(zhí)行動(dòng)作的另一示例性界面。在此實(shí)例中，如圖4(a)的情形400中說明，用戶 可能對(duì)獲得關(guān)于特定項(xiàng)目（在此情況中，書籍402)的信息感興趣。如本文中別處討論，用戶 可使裝置處于(或放置在)發(fā)現(xiàn)模式中，或具有捕捉圖像信息的照相機(jī)，所述圖像信息可被 分析來嘗試辨識(shí)照相機(jī)的視野中的一個(gè)或多個(gè)對(duì)象。在此情況中，書籍402的圖像是由照相 機(jī)捕捉且計(jì)算裝置的顯示器上的實(shí)時(shí)視圖中顯示所述圖像。如先前提及，所述裝置可顯示 至少最初可以相對(duì)隨機(jī)（或至少有點(diǎn)散開）方式在顯示屏四周移動(dòng)或閃光的一組螢火蟲 404。在一些實(shí)施方案中，對(duì)裝置執(zhí)行的一種或多種算法可開始定位實(shí)時(shí)視圖中可能對(duì)應(yīng)于 可辨識(shí)對(duì)象的特征。如討論，這些特征可包括如邊緣、轉(zhuǎn)變、端點(diǎn)和可用于諸如如所屬領(lǐng)域 中已知或使用的計(jì)算機(jī)視覺和圖像辨識(shí)的任務(wù)的其它特征或方面的事物。在圖4(b)的示例 性情形420中，至少一些螢火蟲422隨著這些特征中的至少一些被識(shí)別可開始朝這些特征中 的至少一些移動(dòng)。例如，因?yàn)闀倪吘墝⒂锌赡鼙粰z測(cè)作為潛在可辨識(shí)特征，所以至少一 些螢火蟲422可開始在書籍的表示的邊緣附近移動(dòng)和/或出現(xiàn)。此方法可提供螢火蟲聰明且 正嘗試識(shí)別圖像中表示的對(duì)象的印象。此方法還可對(duì)用戶提供關(guān)于裝置正識(shí)別的特征的反 饋，前提是其中用戶感興趣的對(duì)象的表示并不"吸引"螢火蟲，借此用戶可知道調(diào)整視野、聚 焦、照明或某個(gè)其它方面以嘗試改善辨識(shí)。一旦識(shí)別對(duì)象，螢火蟲可立即移動(dòng)以創(chuàng)建邊界框 442或關(guān)于對(duì)象的表示的其它指示，如圖4(c)中的示例性情形440中說明。在一些實(shí)施方案 中，如說明，實(shí)時(shí)視圖的其它部分可表現(xiàn)為顏色或亮度變暗、改變或被修改來進(jìn)一步高亮顯 示對(duì)應(yīng)于已辨識(shí)對(duì)象的圖像的部分。在此實(shí)例中，對(duì)象被識(shí)別為可購(gòu)買的書籍，借此在顯示 屏上顯示帶狀物444。在此實(shí)例中，帶狀物包括書籍的圖像(所述圖像可以獲自產(chǎn)品數(shù)據(jù)存 儲(chǔ)裝置)和購(gòu)買書籍或獲得關(guān)于書籍的額外信息的能力。在此實(shí)例中，用戶能夠選擇帶狀物 444以使裝置導(dǎo)航到使得用戶能夠購(gòu)買書籍的副本的網(wǎng)頁(yè)462,如圖4(d)中的示例性情形 460中說明。如果用戶已經(jīng)例如購(gòu)買呈電子形式的書籍的副本，那么帶狀物反而可提供在選 擇時(shí)使電子書籍以例如電子書閱讀器應(yīng)用顯示的動(dòng)作。還可采取各種其它動(dòng)作。
[0037] 在許多實(shí)例中，如提及，可存在可采取的多個(gè)動(dòng)作。例如，電話號(hào)碼可能用于短消 息、語(yǔ)音呼叫或視頻呼叫。如果URL包含外來詞，那么動(dòng)作可能包括在網(wǎng)絡(luò)瀏覽器中打開URL 或翻譯單詞。還可采用各種其它動(dòng)作。因此，在至少一些實(shí)施方案中，動(dòng)作類型可以由用戶 選擇，或用于提出這些動(dòng)作的的算法可能被排序或以其它方式排定優(yōu)先級(jí)。例如，被辨識(shí)為 URL的對(duì)象可能總是優(yōu)先于被識(shí)別包含外來項(xiàng)的對(duì)象，因?yàn)橛脩魧⒂锌赡芡ǔＯＭ裱璘RL 而非翻譯URL。在一些情況中，諸如當(dāng)用戶可進(jìn)行例如語(yǔ)音、視頻或VoIP呼叫時(shí)，所述裝置可 能分析用戶的歷史使用情況或給用戶呈現(xiàn)例如帶狀物中可確定哪個(gè)動(dòng)作提供給用戶的選 項(xiàng)或優(yōu)選項(xiàng)。如提及，在一些實(shí)施方案中，可同時(shí)呈現(xiàn)兩個(gè)或兩個(gè)以上選項(xiàng)。帶狀物還可包 含使得用戶能夠查看其它可用選項(xiàng)并選擇要執(zhí)行的一個(gè)或多個(gè)所述動(dòng)作的選項(xiàng)。
[0038] 圖5說明根據(jù)各個(gè)實(shí)施方案的用于辨識(shí)對(duì)象且使得能夠?qū)衫玫乃鰧?duì)象執(zhí)行 動(dòng)作的示例性過程500。應(yīng)了解，對(duì)于本文中討論的任何過程，除非另有說明，否則各個(gè)實(shí)施 方案的范圍內(nèi)可存在以類似或替代次序或并行執(zhí)行的額外、更少或替代步驟。在此實(shí)例中， 接收傳感器激活指令502。此可包括在包含一個(gè)或多個(gè)傳感器的計(jì)算裝置上自動(dòng)產(chǎn)生的至 少一個(gè)硬件和/或軟件指令、響應(yīng)于用戶輸入產(chǎn)生的指令或另一這樣的指令。作為響應(yīng)，所 述裝置可捕捉或以其它方式獲取傳感器數(shù)據(jù)504,如討論般，所述傳感器數(shù)據(jù)可包括諸如音 頻數(shù)據(jù)、視頻數(shù)據(jù)、圖像數(shù)據(jù)、位置數(shù)據(jù)等等的數(shù)據(jù)。所述裝置還可在所述裝置的顯示器上 顯示所捕捉視頻的"實(shí)時(shí)"視圖，其中實(shí)時(shí)視圖對(duì)應(yīng)于選定照相機(jī)的視野，如由所述照相機(jī) 捕捉且然后以相對(duì)較小延遲顯示在所述裝置的顯示屏上的圖像指示。應(yīng)了解，"實(shí)時(shí)"視圖 由于捕捉、讀取和提供圖像來顯示所需要的時(shí)間可具有稍微延遲。
[0039] 雖然傳感器是活動(dòng)的，但是在至少一些實(shí)施方案中，可接收使計(jì)算裝置進(jìn)入在本 文中稱作辨識(shí)模式的模式或另一這樣的狀態(tài)的后續(xù)指令506。當(dāng)在辨識(shí)模式中時(shí)，計(jì)算裝置 可使一組"螢火蟲"或其它這些圖形元素被顯示在由指定照相機(jī)捕捉的圖像的實(shí)時(shí)視圖上 方或連同所述實(shí)時(shí)視圖一起顯示508。在一些實(shí)施方案中，實(shí)時(shí)視圖可包括來自單個(gè)照相機(jī) 的單個(gè)圖像流、來自多個(gè)照相機(jī)的多個(gè)圖像流或來自一個(gè)或多個(gè)立體照相機(jī)的三維流，以 及其它這樣的選項(xiàng)。當(dāng)螢火蟲正在顯示器四周移動(dòng)和/或閃光時(shí)，可分析所捕捉的傳感器數(shù) 據(jù)的至少一部分以嘗試至少部分基于傳感器數(shù)據(jù)中的對(duì)象的表示來辨識(shí)至少一個(gè)對(duì)象 510。如果沒有辨識(shí)對(duì)象512,那么所述過程可繼續(xù)。如果辨識(shí)對(duì)象，那么可使至少一子集或 至少一組螢火蟲諸如通過形成實(shí)時(shí)視圖中的表示的邊界或以其它方式調(diào)整一個(gè)或多個(gè)方 面(例如，顏色、移動(dòng)等等)來識(shí)別已辨識(shí)對(duì)象的表示以指示辨識(shí)514。如提及，一些螢火蟲可 表現(xiàn)為移動(dòng)到靠近項(xiàng)目的表示的動(dòng)畫邊界框，而其它螢火蟲可在邊界框處出現(xiàn)或閃光，以 及其它這樣的選項(xiàng)。在螢火蟲識(shí)別對(duì)象的辨識(shí)的時(shí)間期間或大約在所述時(shí)間，所述裝置(或 與所述裝置通信的計(jì)算系統(tǒng))可嘗試確定對(duì)象的類型516。此可至少包括對(duì)象是否是可操作 對(duì)象，且在至少一些實(shí)施方案中可識(shí)別對(duì)象是否是文本字符串、URL、電話號(hào)碼、歌曲、電影、 位置、視頻文件、電子郵件地址、產(chǎn)品或其它這樣的對(duì)象類型。如果例如確定對(duì)象并非可操 作類型518,那么所述過程可繼續(xù)。如果確定對(duì)象是可操作類型，那么可確定對(duì)所述對(duì)象的 動(dòng)作的類型520。此可包括例如用于撥打號(hào)碼、發(fā)送電子郵件或打開地址、識(shí)別歌曲、下載電 影、啟動(dòng)視頻文件的動(dòng)作或如本文中別處討論和提出的其它這樣的動(dòng)作。如討論，對(duì)于具有 多個(gè)相關(guān)動(dòng)作的對(duì)象，可對(duì)所述對(duì)象選擇至少一個(gè)動(dòng)作。此外，在一些實(shí)施方案中，可對(duì)每 一已辨識(shí)對(duì)象確定一個(gè)或多個(gè)動(dòng)作，而無(wú)論對(duì)象是否被確定為可操作。一旦確定動(dòng)作，可立 即產(chǎn)生并顯示帶狀物或其它這樣的用戶可選圖標(biāo)522,這使得用戶能夠?qū)λ鰧?duì)象開始動(dòng) 作。如果帶狀物是新的帶狀物或當(dāng)前沒有顯示的先前產(chǎn)生的帶狀物，那么可顯示帶狀物且 可酌情調(diào)整所顯示的帶狀物，諸如向下或跨帶狀物的堆疊或配置移動(dòng)帶狀物，在至少一些 實(shí)施方案中這可由用戶導(dǎo)航。
[0040] 作為實(shí)例，圖6說明根據(jù)各個(gè)實(shí)施方案的用于更新可利用的所顯示的用戶可選圖 標(biāo)的示例性過程600。在此實(shí)例中，如關(guān)于圖5的過程討論，分析所捕捉傳感器數(shù)據(jù)602。在傳 感器數(shù)據(jù)中可辨識(shí)新對(duì)象的表示604。此新對(duì)象可為裝置之前沒有遇到或至少最近時(shí)段中 傳感器數(shù)據(jù)中沒有遇到的對(duì)象，使得當(dāng)前沒有顯示對(duì)象的任何用戶可選圖標(biāo)?？纱_定先