用于計(jì)算裝置的辨識(shí)界面的制作方法
【專利說(shuō)明】用于計(jì)算裝置的辨識(shí)界面
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求201 3年12月20日提交的標(biāo)題是"用于計(jì)算裝置的辨識(shí)界面 (Recognition Interfaces For Computing Devices)"的第14/137,783號(hào)美國(guó)非臨時(shí)專利 申請(qǐng)的優(yōu)先權(quán)，所述專利申請(qǐng)本身要求2013年5月9日提交的標(biāo)題是"移動(dòng)裝置用戶界面-照 相機(jī)(Mobile Device User Interface-Camera)"的第61/821,677號(hào)美國(guó)臨時(shí)專利申請(qǐng)的 優(yōu)先權(quán)，所述申請(qǐng)的全部?jī)?nèi)容且針對(duì)全部目的特此以引用方式并入本文中。
[0003] 發(fā)明背景
[0004]人們正日益增多地利用便攜式電子裝置來(lái)執(zhí)行多種任務(wù)。作為實(shí)例，人們可利用 此裝置的照相機(jī)來(lái)捕捉對(duì)象的圖像。例如，用戶可使用照相機(jī)來(lái)捕捉關(guān)于照相機(jī)的視野中 的環(huán)境中的事物的靜態(tài)圖像或視頻。圖像或視頻中可能存在多個(gè)對(duì)象，且用戶無(wú)法確定對(duì) 象為何或?qū)λ鰧?duì)象了解的程度。
[0005] 附圖簡(jiǎn)述
[0006] 將參考圖式描述根據(jù)本公開(kāi)內(nèi)容的各個(gè)實(shí)施方案，其中：
[0007] 圖1(a)和1(b)說(shuō)明根據(jù)各個(gè)實(shí)施方案的用戶使用便攜式計(jì)算裝置來(lái)捕捉可利用 的對(duì)象的圖像的實(shí)例；
[0008] 圖2(&)、2(13)、2((：)、2((1)和2(幻說(shuō)明根據(jù)各個(gè)實(shí)施方案的向用戶傳達(dá)當(dāng)前視圖中 哪些對(duì)象被辨識(shí)以及可使用可利用的所述對(duì)象完成的動(dòng)作的示例性界面；
[0009] 圖3(a)、3(b)、3(c)和3(d)說(shuō)明根據(jù)各個(gè)實(shí)施方案的其中可更新或訪問(wèn)已辨識(shí)對(duì) 象的動(dòng)作的示例性界面；
[0010] 圖4(a)、4(b)、4(c)和4(d)說(shuō)明根據(jù)各個(gè)實(shí)施方案的使得用戶能夠?qū)衫玫囊?辨識(shí)對(duì)象執(zhí)行動(dòng)作的示例性界面；
[0011] 圖5說(shuō)明根據(jù)各個(gè)實(shí)施方案的用于使得用戶能夠選擇可使用的已辨識(shí)對(duì)象的動(dòng)作 的示例性過(guò)程；
[0012] 圖6說(shuō)明根據(jù)各個(gè)實(shí)施方案的用于更新可利用的已辨識(shí)對(duì)象的動(dòng)作的示例性過(guò) 程；
[0013] 圖7說(shuō)明根據(jù)各個(gè)實(shí)施方案可使用的示例性計(jì)算裝置；
[0014]圖8說(shuō)明諸如圖7中說(shuō)明的計(jì)算裝置的組件的示例性配置;且
[0015] 圖9說(shuō)明可實(shí)施各個(gè)實(shí)施方案的示例性環(huán)境。
【具體實(shí)施方式】
[0016] 根據(jù)本公開(kāi)內(nèi)容的各個(gè)實(shí)施方案的系統(tǒng)和方法可以克服常規(guī)方法中經(jīng)歷的一個(gè) 或多個(gè)前述和其它缺陷以對(duì)環(huán)境中的對(duì)象成像并更好地了解所述對(duì)象。特定地說(shuō)，各個(gè)實(shí) 施方案使得計(jì)算裝置能夠分析信息(諸如由計(jì)算裝置的一個(gè)或多個(gè)傳感器捕捉的傳感器數(shù) 據(jù)）以嘗試識(shí)別信息中表示的一個(gè)或多個(gè)對(duì)象。傳感器數(shù)據(jù)可包括(例如）由照相機(jī)捕捉的 圖像或視頻數(shù)據(jù)、由麥克風(fēng)捕捉的音頻、由全球定位系統(tǒng)捕捉的位置數(shù)據(jù)和能夠由計(jì)算裝 置的一個(gè)或多個(gè)傳感器(或其它這樣的組件)獲取的任何其它適當(dāng)數(shù)據(jù)。所表示的對(duì)象可包 括有形和/或無(wú)形對(duì)象，諸如可以包括例如文本字符串、條形碼、歌曲、電影、產(chǎn)品、位置、人、 天氣相關(guān)信息和其它類型的項(xiàng)目、事件(event)和/或事件(occurrence)。各個(gè)實(shí)施方案還 提供使得裝置能夠諸如通過(guò)在由裝置捕捉的圖像(例如，視頻)信息的實(shí)時(shí)視圖上方顯示一 組虛擬"螢火蟲(chóng)(firefly)"或其它類型的圖形元素傳達(dá)哪些對(duì)象已辨識(shí)的界面。各個(gè)實(shí)施 方案還可確定可對(duì)某些對(duì)象執(zhí)行的一個(gè)或多個(gè)動(dòng)作，且可提供使得用戶能夠命令執(zhí)行任何 一個(gè)所述動(dòng)作的可選選項(xiàng)。所述界面還可保存或歸檔至少一些所述動(dòng)作的信息，使得用戶 可使所述動(dòng)作被執(zhí)行，而無(wú)論對(duì)應(yīng)對(duì)象是否在照相機(jī)的視野內(nèi)、是否由麥克風(fēng)接收或當(dāng)前 是否由至少一個(gè)傳感器或計(jì)算裝置的其它這樣的組件檢測(cè)到。
[0017]下文關(guān)于各個(gè)實(shí)施方案呈現(xiàn)各種其它應(yīng)用、過(guò)程和使用。
[0018]圖1(a)說(shuō)明示例性情形100,其中用戶102與計(jì)算裝置104互動(dòng)。雖然示出了便攜式 計(jì)算裝置(例如，智能電話、電子書(shū)閱讀器或平板計(jì)算機(jī)），但是應(yīng)了解，可根據(jù)本文中討論 的各個(gè)實(shí)施方案使用能夠確定和處理輸入的各種其它類型的電子裝置。這些裝置可包括 (例如）臺(tái)式計(jì)算機(jī)、筆記本計(jì)算機(jī)、個(gè)人數(shù)據(jù)助理、蜂窩電話、視頻游戲機(jī)或控制器、智能電 視機(jī)、可穿戴式計(jì)算機(jī)(例如，智能手表或眼鏡)和便攜式媒體播放器，以及其它。在此實(shí)例 中，計(jì)算裝置104具有至少一個(gè)圖像捕捉元件106,諸如照相機(jī)或照相機(jī)傳感器，可操作來(lái)執(zhí) 行諸如圖像和/或視頻捕捉的功能。每一圖像捕捉元件可以是(例如）電荷耦合裝置(CCD)、 運(yùn)動(dòng)檢測(cè)傳感器或紅外線傳感器，或可利用另一種適當(dāng)?shù)膱D像捕捉技術(shù)。在此實(shí)例中，用戶 102對(duì)獲得關(guān)于特定文檔110的信息感興趣。此可包括(例如)包含在所述文檔中的信息或關(guān) 于文檔本身的信息，以及其它這樣的信息。所述裝置還可包括用于捕捉信息的其它傳感器， 諸如可操作來(lái)捕捉音頻數(shù)據(jù)114的至少一個(gè)麥克風(fēng)112或用于獲取位置數(shù)據(jù)的位置傳感器， 以及其它。
[0019] 在此實(shí)例中，文檔110包含用戶可能感興趣的信息。此信息包括(例如)正文、電話 號(hào)碼和網(wǎng)址。出于多個(gè)原因中的任何一個(gè)，用戶可能希望獲取任何或所有此信息，諸如以更 新聯(lián)系人信息、撥打號(hào)碼、訪問(wèn)與所述地址相關(guān)的網(wǎng)站，等等。為了獲得此信息，用戶可定位 計(jì)算裝置104使得文檔110的至少相關(guān)部分是在計(jì)算裝置的至少一個(gè)照相機(jī)106的視野108 內(nèi)。所得圖像然后可被顯示在計(jì)算裝置的顯示屏122上，如圖1(b)的示例性情形120中說(shuō)明。 圖像122可為由照相機(jī)捕捉的靜態(tài)圖像，或可為如由照相機(jī)的視頻模式、裝置的照相機(jī)模式 等等捕捉的"實(shí)時(shí)"視圖的幀。如說(shuō)明，圖像122可包括來(lái)自文檔的信息124。所捕捉信息的每 一實(shí)例可稱作"對(duì)象"，其可由在裝置上運(yùn)行或遠(yuǎn)距裝置的軟件來(lái)分析。在此實(shí)例中，來(lái)自圖 像的可辨識(shí)的對(duì)象可包括諸如文本字符串126、電話號(hào)碼128和網(wǎng)址或URL 130的對(duì)象。在如 本文別處討論和提出的其它實(shí)例中可檢測(cè)到種各種其它類型的對(duì)象。圖像可被處理來(lái)嘗試 辨識(shí)文本，所述文本然后可由用戶出于多個(gè)不同目的中的任何一個(gè)來(lái)利用。
[0020] 使用常規(guī)方法，用戶可使圖像被捕捉且上傳到服務(wù)器，所述服務(wù)器能夠在圖像上 運(yùn)行一個(gè)或多個(gè)圖像辨識(shí)或分析算法以嘗試識(shí)別圖像內(nèi)的文本。此可包括(例如)至少一種 光學(xué)字符辨識(shí)(OCR)算法。然而，通常所捕捉的圖像的質(zhì)量將不足以辨識(shí)用戶感興趣的對(duì) 象。例如，圖像可能是不聚焦或模糊的，或圖像的部分可能被混淆。此外，有時(shí)候辨識(shí)算法將 只能夠辨識(shí)圖像的一部分，所述部分可以或可以不包括用戶感興趣的部分。因?yàn)橛脩魧D 像上傳到服務(wù)器，所以用戶在確定是否辨識(shí)相關(guān)信息和是否正確地辨識(shí)相關(guān)信息之前必須 等待更新和分析圖像。如果否，那么用戶必須分析另一圖像且希望返回所需結(jié)果。此過(guò)程可 能是無(wú)效率的且可能令用戶十分沮喪。
[0021]因此，根據(jù)各個(gè)實(shí)施方案的方法可提供使得用戶能夠確定已辨識(shí)哪些對(duì)象的界 面，使得用戶可作出近似實(shí)時(shí)調(diào)整以使裝置辨識(shí)感興趣的對(duì)象。此界面可指示已辨識(shí)的每 一此對(duì)象，且可酌情提供關(guān)于所述對(duì)象的信息。此外，如果所述對(duì)象是例如可操作對(duì)象或與 動(dòng)作相關(guān)的對(duì)象類型，那么所述界面可使得能夠?qū)λ鰧?duì)象執(zhí)行所述動(dòng)作（或多個(gè)相關(guān)動(dòng) 作中的任何一個(gè)）。如本文中別處提及，在一些實(shí)施方案中，可對(duì)任何已辨識(shí)對(duì)象執(zhí)行動(dòng)作， 而無(wú)關(guān)于已辨識(shí)對(duì)象的類型或子集。在至少一些實(shí)施方案中，可存儲(chǔ)、保存或以其它方式歸 檔這些動(dòng)作的信息，使得用戶可執(zhí)行所述動(dòng)作，而無(wú)論所述裝置是否仍然可辨識(shí)所述對(duì)象。 此可包括(例如)其中對(duì)象不再在照相機(jī)的視野中或不再可由裝置的麥克風(fēng)或其它傳感器 或組件檢測(cè)的情形。此界面可被提供作為操作系統(tǒng)的部分、作為照相機(jī)軟件/硬件的部分或 作為位于照相機(jī)堆疊的頂部上的應(yīng)用的部分，以及其它這樣的選項(xiàng)。
[0022]例如，圖2(a)說(shuō)明示例性情形200,其中來(lái)自圖1(b)的圖像的部分再次被顯示作為 用戶感興趣的文檔的實(shí)時(shí)視圖。然而，在此實(shí)例中，用戶能夠按下物理按鈕202,或提供另一 此物理或虛擬輸入以使辨識(shí)模式在裝置上激活。如本文中別處討論，計(jì)算裝置在處于照相 機(jī)模式中時(shí)可產(chǎn)生視頻數(shù)據(jù)，而在處于辨識(shí)模式中時(shí)還可嘗試分析所述數(shù)據(jù)以辨識(shí)一個(gè)或 多個(gè)對(duì)象。應(yīng)了解，還可利用用于辨識(shí)或其它這樣的目的的其它類型的操作，且可使用其它 激活機(jī)制或可自動(dòng)地啟動(dòng)辨識(shí)，以及其它這樣的選項(xiàng)。在此實(shí)例中，辨識(shí)模式使用的東西 (以及至少一些實(shí)施方案中的照相機(jī)模式)在本文中將稱作"螢火蟲(chóng)"208。螢火蟲(chóng)可被制作 動(dòng)畫(huà)來(lái)用作一組虛擬指示器，其可"漂浮"在實(shí)時(shí)照相機(jī)視圖、靜態(tài)圖像或經(jīng)由顯示器204或 計(jì)算裝置的其它這種元件呈現(xiàn)的其它這樣的內(nèi)容上方。螢火蟲(chóng)可用于將信息傳達(dá)到用戶， 諸如裝置是否正確地跟蹤對(duì)象或跟蹤是否已丟失、是否已辨識(shí)對(duì)象和/或圖像是否適合用 于識(shí)別圖像中的特征，以及其它這樣的選項(xiàng)。每一螢火蟲(chóng)可為使亮度如螢火蟲(chóng)脈動(dòng)或交替 的一組像素，或可包括螢火蟲(chóng)、電燈泡、昆蟲(chóng)或可在屏幕四處移動(dòng)的其它這樣的生物或?qū)ο?的實(shí)際圖像或動(dòng)畫(huà)。在各個(gè)實(shí)施方案的范圍內(nèi)還可使用各種其它對(duì)象、圖標(biāo)、圖像、動(dòng)畫(huà)或 圖形。
[0023] -些螢火蟲(chóng)可被制作動(dòng)畫(huà)來(lái)在屏幕四處移動(dòng)，同時(shí)一些螢火蟲(chóng)可表現(xiàn)為在適當(dāng)位 置一次或多次閃光。在任何給定時(shí)間，屏幕上可存在固定數(shù)量或可變數(shù)量的螢火蟲(chóng)，這可取 決于多種不同因素中的任何一個(gè)?？纱嬖谠谶m當(dāng)位置閃光的一些螢火蟲(chóng)，而其它螢火蟲(chóng)正 移動(dòng)，以留下一組生物體的印象而非可能讓用戶稍微有點(diǎn)緊張的蜂擁或其它運(yùn)動(dòng)的印象。 在一些實(shí)施方案中，螢火蟲(chóng)可為例如從不可見(jiàn)或透明閃光成明亮的白光或黃光的小點(diǎn)或圓 圈，類似于螢火蟲(chóng)本質(zhì)上如何發(fā)光。還可使用其它外觀以及不同顏色、大小、亮度值等等。為 了給定更自然的外觀，相同顯示器上的不同螢火蟲(chóng)可能還具有不同的亮度級(jí)、強(qiáng)度、顏色、 距離、大小等等。在至少一些實(shí)施方案中，可使得用戶（或開(kāi)發(fā)者或應(yīng)用，等等)能夠改變螢 火蟲(chóng)的外觀或行為，以及其它這樣的方面。當(dāng)進(jìn)入辨識(shí)模式時(shí)，在至少一些實(shí)施方案中，與 照相機(jī)相關(guān)的任何鉻黃或界面可被移除、減小大小或范圍，或以其它方式修改來(lái)進(jìn)一步指 示裝置已進(jìn)入不同的操作模式。在至少一些實(shí)施方案中，當(dāng)螢火蟲(chóng)執(zhí)行