視點(diǎn)物體選擇的制作方法
【專利摘要】示例方法和系統(tǒng)可以由可穿戴計(jì)算機(jī)實(shí)現(xiàn)以利用光流分析來辨識(shí)預(yù)先確定的用戶動(dòng)作，諸如選擇物體。示例方法可以涉及可穿戴計(jì)算設(shè)備：（a）從可穿戴計(jì)算設(shè)備的視頻相機(jī)接收視頻數(shù)據(jù)；（b）為該視頻數(shù)據(jù)確定光流；（c）確定在該視頻數(shù)據(jù)的光流內(nèi)的區(qū)域處存在光流差；以及（d）響應(yīng)于確定在該區(qū)域處存在光流差：（i）識(shí)別位于存在光流差的區(qū)域處的物體；（ii）執(zhí)行對(duì)該物體的搜索；以及（iii）促使圖形顯示器顯示與來自搜索的結(jié)果相對(duì)應(yīng)的信息。
【專利說明】視點(diǎn)物體選擇
[0001]相關(guān)申請(qǐng)
[0002]本申請(qǐng)要求于2011年5月 11 日提交的、題為“Point-of-View Object Selection”的美國專利申請(qǐng)N0.13/105,828的優(yōu)先權(quán)，為任何目的，通過引用將其內(nèi)容合并入本文。
【背景技術(shù)】
[0003]諸如個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、蜂窩電話和無數(shù)類型的具有因特網(wǎng)能力的設(shè)備的計(jì)算設(shè)備在現(xiàn)代生活的許多方面中越來越普遍。隨著計(jì)算機(jī)變得更先進(jìn)，將計(jì)算機(jī)生成的信息與用戶的對(duì)物理世界的感知相混合的增強(qiáng)現(xiàn)實(shí)設(shè)備預(yù)計(jì)將變得更普遍。
[0004]為了提供增強(qiáng)現(xiàn)實(shí)體驗(yàn)，用戶在他們從事其日常生活的各個(gè)方面時(shí)可以穿戴位置和情境感知計(jì)算設(shè)備。這樣的計(jì)算設(shè)備，其通常被稱為“可穿戴”計(jì)算機(jī)，被配置成感測并分析用戶的環(huán)境，并且智能地提供適于用戶正體驗(yàn)的物理世界的信息。
[0005]可穿戴計(jì)算機(jī)可以通過例如確定用戶的地理位置、使用相機(jī)和/或傳感器來檢測在用戶附近的物體、使用麥克風(fēng)和/或傳感器來檢測用戶正聽見的內(nèi)容、以及使用各種其他傳感器來收集關(guān)于用戶周圍的環(huán)境的信息，來感測用戶的周圍環(huán)境。進(jìn)一步，可穿戴計(jì)算機(jī)可以使用生物傳感器來檢測用戶的自身身體狀態(tài)。然后，可以對(duì)可穿戴計(jì)算機(jī)所收集的信息進(jìn)行分析，以便確定應(yīng)當(dāng)向用戶呈現(xiàn)什么信息。
[0006]許多可穿戴計(jì)算機(jī)包括由用戶穿戴的頭戴式顯示器(HMD)或采取該HMD的形式。HMD典型地提供靠近用戶的眼睛的抬頭顯示器。如此，HMD還可以被稱為“近目”顯示器。HMD可以將計(jì)算機(jī)生成的圖形(例如，文本、圖像、視頻等)覆蓋在用戶正感知的物理世界上。包括在用戶的兩只眼睛前面的顯示器的HMD被稱為“雙目” HMD，而包括在僅僅一只眼睛前面的顯示器的那些被稱為“單目” HMD。
[0007]HMD可以使用多種技術(shù)將計(jì)算機(jī)生成的圖形合并入用戶的物理世界的視圖中。例如，“穿視(See-thr0Ugh)”HMD可以在透明表面上顯示圖形，以使用戶看見覆蓋在物理世界上的圖形。在另一方面，“環(huán)視(See-ar0Und)”HMD可以通過靠近用戶的眼睛放置不透明顯示器，以便利用在用戶的眼睛之間的視力的分享并且創(chuàng)建顯示器作為用戶所看見的世界的部分的效果，來使圖形覆蓋在物理世界上。

【發(fā)明內(nèi)容】

[0008]在一個(gè)方面中，示例方法可以涉及可穿戴計(jì)算機(jī)或其他設(shè)備:(a)接收視頻數(shù)據(jù)；(b)為該視頻數(shù)據(jù)確定光流；(c)確定在該視頻數(shù)據(jù)的光流內(nèi)的區(qū)域處存在光流差；以及Cd)響應(yīng)于確定在該光流內(nèi)的區(qū)域處存在光流差:(i)識(shí)別位于存在光流差的區(qū)域處的物體；(ii)執(zhí)行對(duì)位于存在光流差的區(qū)域處的物體的搜索；以及(iii)促使圖形顯示器顯示與來自搜索的結(jié)果相對(duì)應(yīng)的信息。
[0009]在示例實(shí)施例中，光流差可以是可穿戴計(jì)算設(shè)備的用戶的預(yù)先確定的用戶動(dòng)作的特性。例如，光流差可以是在用戶沿著圍繞物體的基本上環(huán)形路徑移動(dòng)時(shí)該物體保持在用戶的視場內(nèi)的基本上相同位置的特性。作為另一個(gè)示例，光流差可以是在物體轉(zhuǎn)動(dòng)時(shí)對(duì)該物體的固著的特性。在這樣的實(shí)施例中，確定在該視頻數(shù)據(jù)的光流內(nèi)的區(qū)域處存在光流差可以涉及:(i)確定在該區(qū)域內(nèi)的光流的量值與在該區(qū)域外的光流的量值顯著不同；以及(ii)確定該視頻數(shù)據(jù)的光流的至少部分具有作為與對(duì)物體的選擇相關(guān)聯(lián)的預(yù)先確定的用戶動(dòng)作的特性的曲率。
[0010]在另一個(gè)方面中，公開了其上存儲(chǔ)有指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。所述指令可以包括:Ca)用于接收視頻數(shù)據(jù)的指令；(b)用于為該視頻數(shù)據(jù)確定光流的指令；(C)用于確定何時(shí)在該視頻數(shù)據(jù)的光流中的區(qū)域處存在光流差的指令；以及(d)用于響應(yīng)于確定存在光流差，識(shí)別該視頻數(shù)據(jù)中的位于光流差的區(qū)域處的物體的指令；(e)用于促使對(duì)位于光流差的區(qū)域處的物體執(zhí)行搜索的指令；以及(f)用于促使圖形顯示器顯示與來自搜索的結(jié)果相對(duì)應(yīng)的信息的指令。
[0011]在又另一個(gè)方面中，公開了可穿戴計(jì)算系統(tǒng)。該可穿戴計(jì)算系統(tǒng)可以包括:(a)到頭戴式顯示器的接口，其中該頭戴式顯示器被配置成顯示與用戶的視點(diǎn)有關(guān)的計(jì)算機(jī)生成的信息；(b)到視頻數(shù)據(jù)相機(jī)的接口，該視頻數(shù)據(jù)相機(jī)被配置成基本跟蹤用戶的視點(diǎn)；以及(C)板上計(jì)算系統(tǒng)，其被配置成:(i)為來自視頻相機(jī)的視頻數(shù)據(jù)確定光流；(ii)確定何時(shí)在視頻數(shù)據(jù)的光流中的區(qū)域處存在光流差；(iii)響應(yīng)于確定存在光流差，識(shí)別視頻數(shù)據(jù)中的位于光流差的區(qū)域處的物體；(iv)執(zhí)行對(duì)位于光流差的區(qū)域處的物體的搜索；以及(V)促使頭戴式顯示器顯示與來自搜索的結(jié)果相對(duì)應(yīng)的圖形信息。
[0012]通過在適當(dāng)情況下參考附圖，閱讀下面詳細(xì)描述，這些以及其他方面、優(yōu)勢和替選將變得對(duì)本領(lǐng)域技術(shù)人員顯而易見。
【專利附圖】

【附圖說明】
[0013]圖1是圖示其中可以實(shí)現(xiàn)可穿戴計(jì)算設(shè)備的示例實(shí)施例的系統(tǒng)的簡化框圖。
[0014]圖2A是采取頭戴式顯示器形式的示例可穿戴計(jì)算設(shè)備的三維呈現(xiàn)。
[0015]圖2B是場景在其可以由包括頭戴式顯示器的可穿戴計(jì)算機(jī)的用戶感知到時(shí)的圖像。
[0016]圖2C是更詳細(xì)地示出示例可穿戴計(jì)算設(shè)備的組件的簡化框圖。
[0017]圖3是示例光流場的圖示。
[0018]圖4A是示例方法憑借其可以辨識(shí)為對(duì)在用戶的視野內(nèi)的特定物體的選擇的預(yù)先確定的用戶動(dòng)作的圖示。
[0019]圖4B是與圖4A所圖示的用戶動(dòng)作相對(duì)應(yīng)的示例光流場的圖示。
[0020]圖5A是示例方法憑借其可以辨識(shí)為對(duì)在用戶的視野內(nèi)的特定物體的選擇的預(yù)先確定的用戶動(dòng)作的另一個(gè)圖示。
[0021]圖5B是與圖5A所圖示的用戶動(dòng)作相對(duì)應(yīng)的示例光流場的圖示。
[0022]圖6是圖示根據(jù)示例實(shí)施例的方法的流程圖。
[0023]圖7是示出來自具有與在圖4B中所示的相似的光流差的光流場的光流矢量的分布的直方圖。
[0024]圖8是示出來自具有與在圖4B中所示的相似的光流差的光流場的光流矢量的分布的另一個(gè)直方圖。【具體實(shí)施方式】
[0025]下面的詳細(xì)描述參考附圖描述了所公開的系統(tǒng)和方法的各種特征和功能。在附圖中，除非上下文另有規(guī)定，相似符號(hào)典型地標(biāo)識(shí)相似組件。在本文所述的示例性系統(tǒng)和方法實(shí)施例并不意為限制。應(yīng)當(dāng)容易理解的是，可以以各種各樣的不同配置來安排并組合所公開的系統(tǒng)和方法的某些方面，其全部均是在本文所預(yù)期的。
[0026]1.綜述
[0027]為了感測用戶的環(huán)境，可穿戴計(jì)算機(jī)可以包括與用戶的參考幀(frame ofreference)對(duì)齊并且被安裝為跟蹤用戶的頭部的移動(dòng)的“視點(diǎn)”視頻相機(jī)。通過有效地捕捉用戶在給定時(shí)間點(diǎn)正看見的內(nèi)容，該視頻可以被分析來檢測在用戶的視野內(nèi)的物體和/或人、識(shí)別這些物體和/或人以及在HMD中顯示與這些物體和/或人相對(duì)應(yīng)的信息。此外，對(duì)視頻的分析可以用來確定給定物體或人在用戶的參考幀中所位于的地方，并且在HMD中顯示對(duì)應(yīng)信息，使得用戶看見對(duì)應(yīng)信息如同“浮”在給定物體或人上或附近般。
[0028]作為示例，當(dāng)用戶在注視朋友時(shí)，用戶的HMD上的視頻相機(jī)可以捕捉該朋友的視頻。然后，可以使用例如眾所周知的面部識(shí)別技術(shù)來對(duì)該視頻進(jìn)行分析。如此，可以識(shí)別該朋友，并且可以顯示與該朋友有關(guān)的信息，以使用戶看見與其朋友接近的信息。例如，HMD可以顯示該朋友的姓名、聯(lián)系信息、生日等。
[0029]雖然已開發(fā)了許多用于識(shí)別物體并且在HMD上智能地顯示相關(guān)信息的技術(shù)，然而，這些技術(shù)沒有提供有意義的用戶交互。具體地，雖然這樣的技術(shù)允許物體和人被辨識(shí)并識(shí)別，然而，它們不允許用戶指定該用戶感興趣的特定物體。
[0030]在本文所述的方法和系統(tǒng)通過將運(yùn)動(dòng)分析技術(shù)應(yīng)用到視頻，幫助提供對(duì)用戶選擇的物體的計(jì)算機(jī)辨識(shí)。這些運(yùn)動(dòng)分析技術(shù)檢測來自視點(diǎn)視頻相機(jī)的視頻何時(shí)是與用戶對(duì)物體的選擇相關(guān)聯(lián)的預(yù)先確定的用戶動(dòng)作的特性。在示例實(shí)施例中，使用光流分析來檢測何時(shí)在視頻中存在帶有“光流差”的區(qū)域。如此，示例方法和系統(tǒng)可以幫助向可穿戴計(jì)算機(jī)的用戶提供通過執(zhí)行預(yù)先確定的動(dòng)作來選擇用戶的視場中的物體的能力。
[0031]示例性實(shí)施例源于某些用戶動(dòng)作在所選擇的物體的區(qū)域中造成特性光流差的認(rèn)識(shí)。作為一個(gè)示例，用戶可以圍繞物體轉(zhuǎn)動(dòng)，同時(shí)將該物體保持在其參考幀中的相同位置處(例如，在用戶的視野的中心)。這可以導(dǎo)致在該物體處的光流的量值比在視頻幀中別處的光流的量值顯著地小。另外，捕捉該用戶移動(dòng)的視頻典型地具有帶有與用戶環(huán)繞所選擇的物體相對(duì)應(yīng)的某些轉(zhuǎn)動(dòng)特性的光流。因此，示例方法可以涉及確定用戶已選擇了位于這樣的光流差的區(qū)域中的特定物體，并且作為響應(yīng)而執(zhí)行對(duì)所選擇的物體的動(dòng)作。
[0032]在本文中，應(yīng)當(dāng)將視頻的光流理解為是從視頻中的物體和用戶相對(duì)于彼此的移動(dòng)產(chǎn)生的視頻中的像素的明顯運(yùn)動(dòng)的測量。進(jìn)一步，應(yīng)當(dāng)將光流差區(qū)域理解為意為視頻中的光流的量值顯著不同于視頻中別處的區(qū)域。
[0033]11.示例系統(tǒng)和設(shè)各
[0034]圖1是圖示其中可以實(shí)現(xiàn)可穿戴計(jì)算設(shè)備的示例實(shí)施例的系統(tǒng)的簡化框圖。如所示，網(wǎng)絡(luò)100包括接入點(diǎn)104，其提供對(duì)因特網(wǎng)106的接入。通過接入點(diǎn)104提供有對(duì)因特網(wǎng)106的接入，可穿戴計(jì)算機(jī)102可以與各種數(shù)據(jù)源IOSa-C以及增強(qiáng)現(xiàn)實(shí)(AR)服務(wù)器110通信。
[0035]可穿戴計(jì)算機(jī)102可以采取各種形式，并且如此，可以合并各種顯示器類型來提供增強(qiáng)現(xiàn)實(shí)體驗(yàn)。在示例實(shí)施例中，可穿戴計(jì)算機(jī)102包括頭戴式顯示器(HMD)。例如，可穿戴計(jì)算機(jī)102可以包括帶有雙目顯示器或單目顯示器的HMD。另外，HMD的顯示器可以是例如光學(xué)直視顯示器、光學(xué)環(huán)視顯示器或視頻直視顯示器。更一般地，可穿戴計(jì)算機(jī)102可以包括被配置成向其用戶提供增強(qiáng)現(xiàn)實(shí)體驗(yàn)的任何類型的HMD。
[0036]為了感測用戶的環(huán)境和體驗(yàn)，可穿戴計(jì)算機(jī)102可以包括或被提供有來自各種類型的感測和跟蹤設(shè)備的輸入。這樣的設(shè)備可以包括視頻相機(jī)、靜態(tài)相機(jī)、全球定位系統(tǒng)(GPS)接收器、紅外傳感器、光學(xué)傳感器、生物傳感器、射頻識(shí)別(RFID)系統(tǒng)、無線傳感器、力口速計(jì)、陀螺儀和/或羅盤等。
[0037]此外，可穿戴計(jì)算機(jī)102可以包括允許用戶與HMD交互的集成用戶接口(UI)。例如，可穿戴計(jì)算機(jī)102可以包括各種按鈕和/或觸摸屏接口，其允許用戶提供輸入。作為另一個(gè)示例，可穿戴計(jì)算機(jī)102可以包括被配置成從用戶接收語音命令的麥克風(fēng)。此外，可穿戴計(jì)算機(jī)102可以包括允許各種類型的用戶接口設(shè)備與可穿戴計(jì)算機(jī)連接的一個(gè)或多個(gè)接口。例如，可穿戴計(jì)算機(jī)102可以為與各種手持式鍵盤和/或指示設(shè)備的連通性而被配置。更一般地，可穿戴計(jì)算機(jī)102可以被配置成與幾乎任何類型的用戶接口設(shè)備對(duì)接。
[0038]可穿戴計(jì)算機(jī)102可以在其核心包括包含用于可穿戴計(jì)算機(jī)的處理功能的硬件的板上計(jì)算系統(tǒng)。具體地，板上計(jì)算系統(tǒng)可以至少部分作用為對(duì)感測和跟蹤設(shè)備所收集的數(shù)據(jù)以及通過任何UI提供的用戶輸入數(shù)據(jù)進(jìn)行分析，并且基于該分析，確定應(yīng)當(dāng)通過HMD向用戶顯示什么信息，以及應(yīng)當(dāng)如何在顯示器中安排該信息。
[0039]可穿戴計(jì)算機(jī)102可以另外或替選地依賴于外部數(shù)據(jù)源，以便對(duì)用戶的環(huán)境進(jìn)行分析和/或確定待顯示的適當(dāng)信息。具體地，雖然可穿戴計(jì)算機(jī)102可以合并板上數(shù)據(jù)存儲(chǔ)，然而，板上存儲(chǔ)中可用的存儲(chǔ)器量可以由于與諸如可穿戴計(jì)算機(jī)102的可穿戴設(shè)備相關(guān)聯(lián)的大小、重量和/或成本約束而被限制。如此，可穿戴計(jì)算機(jī)102可以包括有線或無線網(wǎng)絡(luò)接口，通過其，可穿戴計(jì)算機(jī)102能夠連接到因特網(wǎng)106并且訪問數(shù)據(jù)源108a-c。可穿戴計(jì)算機(jī)102可以被配置成使用一個(gè)或多個(gè)協(xié)議，諸如802.1U802.16 (WiMAX)、LTE、GSM、GPRS、CDMA、EV-DO和/或HSPDA等，來連接到因特網(wǎng)106。此外，可穿戴計(jì)算機(jī)102可以被配置成使用多個(gè)有線和/或無線協(xié)議來連接到因特網(wǎng)106。作為一個(gè)示例，許多當(dāng)前設(shè)備為使用諸如CDMA、GSM或WiMAX的蜂窩通信協(xié)議的“3G”或“4G”數(shù)據(jù)連通性而被配置，以及為使用802.11的“WiFi”連通性而被配置。其他示例也是可能的。
[0040]取決于可穿戴計(jì)算機(jī)102使用哪個(gè)協(xié)議來連接到因特網(wǎng)106，接入點(diǎn)104可以采取各種形式。例如，如果可穿戴計(jì)算機(jī)102使用802.11或通過以太網(wǎng)連接來連接，則接入點(diǎn)104可以采取無線接入點(diǎn)(WAP)或無線路由器的形式。作為另一個(gè)示例，如果可穿戴計(jì)算機(jī)102使用諸如CDMA或GSM協(xié)議的蜂窩空中接口協(xié)議來連接，則接入點(diǎn)104可以是在蜂窩網(wǎng)絡(luò)中的基站，其通過蜂窩網(wǎng)絡(luò)提供因特網(wǎng)連通性。進(jìn)一步，由于可穿戴計(jì)算機(jī)102可以被配置成使用多個(gè)無線協(xié)議來連接到因特網(wǎng)106，因此，還可能的是，可穿戴計(jì)算機(jī)102可以被配置成通過多種類型的接入點(diǎn)來連接到因特網(wǎng)106。
[0041]可穿戴計(jì)算機(jī)102可以被進(jìn)一步配置成通過因特網(wǎng)(如所示)或可能通過專用網(wǎng)絡(luò)(其可以提供更安全的連接)來連接到AR服務(wù)器110。AR服務(wù)器110，雖然是可選的，然而，可以幫助改善可穿戴計(jì)算機(jī)102的性能。具體地，由于大小、重量和/或成本約束可以限制用戶所穿戴的設(shè)備的數(shù)據(jù)存儲(chǔ)和處理能力，因此，將可穿戴計(jì)算機(jī)102的部分(或可能甚至全部)數(shù)據(jù)處理功能移到諸如AR服務(wù)器110的遠(yuǎn)程實(shí)體可以提供增加的處理能力。這對(duì)于對(duì)可穿戴計(jì)算機(jī)102的感測和/或跟蹤設(shè)備所收集的數(shù)據(jù)的潛在數(shù)據(jù)密集型分析以及基于其對(duì)HMD顯示器的控制來說，可以是有用的。
[0042]在進(jìn)一步方面中，AR服務(wù)器110可以包括允許對(duì)為可穿戴計(jì)算機(jī)102支持增強(qiáng)現(xiàn)實(shí)體驗(yàn)的數(shù)據(jù)的更快速檢索的數(shù)據(jù)存儲(chǔ)。例如，AR服務(wù)器110可以隨著時(shí)間的推移收集特定于給定可穿戴計(jì)算機(jī)102的數(shù)據(jù)，其然后可以用來定制用戶的體驗(yàn)。此外，AR服務(wù)器110可以對(duì)從在給定位置的多個(gè)不同可穿戴計(jì)算機(jī)收集的特定于位置的數(shù)據(jù)進(jìn)行組合。然后，可以結(jié)合來自可穿戴計(jì)算機(jī)102的感測設(shè)備的當(dāng)前數(shù)據(jù)使用這樣的數(shù)據(jù)來將其HDM顯示定制到可穿戴計(jì)算機(jī)102的當(dāng)前位置和/或可穿戴計(jì)算機(jī)102的穿戴者的特定用戶偏好和傾向。應(yīng)當(dāng)注意的是，可穿戴計(jì)算機(jī)102可以自身包括可穿戴計(jì)算機(jī)將類似數(shù)據(jù)存儲(chǔ)在其中的數(shù)據(jù)存儲(chǔ)，并且實(shí)際上可以在沒有來自AR服務(wù)器的任何支持的情況下起作用。然而，由于可以限制可穿戴計(jì)算機(jī)102的板上計(jì)算系統(tǒng)的數(shù)據(jù)存儲(chǔ)和處理能力的大小、重量和/或成本約束，因此，諸如AR服務(wù)器110的遠(yuǎn)程實(shí)體可以向可穿戴計(jì)算機(jī)102提供優(yōu)良的數(shù)據(jù)存儲(chǔ)和/或數(shù)據(jù)檢索能力，因此可以改善可穿戴計(jì)算機(jī)102的性能。
[0043]圖2A是采取HMD形式的示例可穿戴計(jì)算設(shè)備的三維呈現(xiàn)。如所示，可穿戴計(jì)算設(shè)備200包括單目環(huán)視顯示器202，其將計(jì)算機(jī)生成的圖形覆蓋在用戶的物理世界的視圖中。環(huán)視顯示器202是可通過經(jīng)由光學(xué)波導(dǎo)208耦接到顯示器的板上計(jì)算系統(tǒng)204控制的。可穿戴計(jì)算設(shè)備200還包括視頻相機(jī)206，其被安裝在HMD的框架上并且被定向?yàn)橐话愕馗櫞┐髡叩膮⒖紟?即，穿戴者的視點(diǎn))。此外，可穿戴計(jì)算設(shè)備200合并了板上計(jì)算系統(tǒng)204，其一般作用為對(duì)從視頻相機(jī)206接收的數(shù)據(jù)(以及可能來自其他感測設(shè)備和/或用戶接口的數(shù)據(jù))進(jìn)行分析，并且相應(yīng)地控制顯示器202。此外，可以通過光學(xué)波導(dǎo)將構(gòu)成圖形的數(shù)據(jù)(例如，視頻、圖像、文本等)從板上計(jì)算系統(tǒng)204轉(zhuǎn)送到顯示器202。
[0044]視頻相機(jī)206的類型可以根據(jù)工程設(shè)計(jì)選擇來選擇。如此，視頻相機(jī)206可以以各種不同分辨率和/或不同幀速率(例如，變化的每秒幀數(shù)(fps))捕捉視頻。許多具有小尺寸規(guī)格的視頻相機(jī)，諸如在蜂窩電話、網(wǎng)絡(luò)攝像頭等中使用的那些，對(duì)本領(lǐng)域技術(shù)人員是眾所周知的，并且可以被合并入示例可穿戴計(jì)算機(jī)。然而，應(yīng)當(dāng)理解的是，示例實(shí)施例并不限于任何特定類型的視頻相機(jī)。
[0045]在示例實(shí)施例中，視頻相機(jī)206被安裝為捕捉用戶的視點(diǎn)。具體地，視頻相機(jī)206被安裝在可穿戴計(jì)算設(shè)備200上，以使其被放置并定向在與用戶的眼睛相同的方向來捕捉與穿戴者的視野類似的視野。其他配置也是可能的。僅作為一個(gè)示例，視頻相機(jī)可以被安裝在用戶的前額上或在用戶的眼睛中間，并且再次被定向在與用戶的眼睛相同的方向。如此被安裝，視頻相機(jī)跟蹤用戶的頭部的移動(dòng)，因此在給定時(shí)間點(diǎn)所記錄的視頻的視角一般地將在該時(shí)間捕捉用戶的參考幀(即，用戶的視野)。還可能的是，示例可穿戴計(jì)算機(jī)可以合并多個(gè)視頻相機(jī)，其可以被配置成捕捉相同視野或捕捉不同視角或視野。
[0046]在一些示例HMD中，單目視頻顯示器202可以被放置并且調(diào)整大小為使得正顯示的圖像看起來被覆蓋在用戶的物理世界的視圖上或“浮”在用戶的物理世界的視圖中，因此，提供了計(jì)算機(jī)生成的信息與用戶的對(duì)物理世界的感知合并和/或擴(kuò)增了用戶的對(duì)物理世界的感知的體驗(yàn)。為了這樣做，板上計(jì)算系統(tǒng)204可以被配置成對(duì)視頻相機(jī)206所捕捉到的視頻片段進(jìn)行分析來智能地確定(a)應(yīng)當(dāng)顯示什么圖形，(b)以及應(yīng)當(dāng)如何顯示圖形(例如，在顯示器上的位置、圖形的大小等)。
[0047]圖2B是場景在其可以由包括HMD的可穿戴計(jì)算機(jī)的用戶感知到時(shí)的圖像。具體地，這種類型的視圖可以由可穿戴計(jì)算設(shè)備200的HMD提供。在該示例中，用戶正在通過HMD觀看城市風(fēng)景，并且可穿戴計(jì)算設(shè)備200已在HMD上顯示了建筑物的“標(biāo)簽”(例如，Merchandise Mart、300Ν.LaSalle Drive > Trump International Hotel and Tower?、283N.Franklin St.以及 77W.Wacker Dr.)和地標(biāo)的標(biāo)簽(例如，Chicago River)。如所不，這些標(biāo)簽位于它們分別識(shí)別的建筑物和地標(biāo)附近，以使向用戶告知了相關(guān)聯(lián)的建筑物/地標(biāo)名和/或地址。
[0048]此外，根據(jù)在建筑物和用戶之間的距離對(duì)在圖2B中所示的標(biāo)簽的文本調(diào)整大小。例如，“Chicago River”標(biāo)簽的文本大小最大，因?yàn)槠潆x用戶最近，而“TrumpInternational Hotel and Tower? ”的文本大小最小，因?yàn)槠渚嘤脩糇钸h(yuǎn)。如此使標(biāo)簽大小變化可以幫助產(chǎn)生更近建筑物的標(biāo)簽也更近，而離得更遠(yuǎn)的建筑物的標(biāo)簽也離得更遠(yuǎn)的感知。應(yīng)當(dāng)理解的是，這只是可以被合并來提供增強(qiáng)現(xiàn)實(shí)體驗(yàn)的處理類型的一個(gè)示例，并且絕不意為限制，因?yàn)槠鋬H出于說明目的而被提供。
[0049]圖2C是更詳細(xì)地示出示例可穿戴計(jì)算設(shè)備的組件的簡化框圖。如所示，可穿戴計(jì)算機(jī)200包括至少包含一個(gè)處理器256和系統(tǒng)存儲(chǔ)器258的板上計(jì)算系統(tǒng)204。在示例實(shí)施例中，板上計(jì)算系統(tǒng)204可以包括通信地連接處理器256和系統(tǒng)存儲(chǔ)器258以及可穿戴計(jì)算設(shè)備200的其他組件的系統(tǒng)總線264。取決于所期望的配置，處理器256可以是任何處理器類型的，包括但不限于微處理器(μ P)、微控制器(μ C)、數(shù)字信號(hào)處理器(DSP)或其任何組合。此外，系統(tǒng)存儲(chǔ)器258可以是任何存儲(chǔ)器類型的，包括但不限于易失性存儲(chǔ)器(諸如RAM)、非易失性存儲(chǔ)器(諸如ROM、閃存等)或其任何組合。
[0050]示例板上計(jì)算系統(tǒng)204還可以包括各種其他組件。例如，板上計(jì)算系統(tǒng)204包括用于連接到視頻相機(jī)206的視頻相機(jī)接口 252、用于(通過A/V端口 255)控制HMD202的圖形處理單元254、用于連接到其他計(jì)算設(shè)備272的一個(gè)或多個(gè)通信接口 268、與一個(gè)或多個(gè)外部Π設(shè)備261兼容的一個(gè)或多個(gè)Π接口 260以及電源262。
[0051]此外，示例可穿戴計(jì)算設(shè)備200還可以包括一個(gè)或多個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備266，其可以是可移除存儲(chǔ)設(shè)備、非可移除存儲(chǔ)設(shè)備或其組合?？梢瞥鎯?chǔ)和非可移除存儲(chǔ)設(shè)備的示例包括磁盤設(shè)備，諸如軟盤驅(qū)動(dòng)器和硬盤驅(qū)動(dòng)器(HDD)、諸如光盤(⑶)驅(qū)動(dòng)器或數(shù)字通用盤(DVD)驅(qū)動(dòng)器的光盤驅(qū)動(dòng)器、固態(tài)驅(qū)動(dòng)器(SSD)以及帶驅(qū)動(dòng)器，僅列出一些。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以包括以用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)的信息的以任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移除和非可移除介質(zhì)。例如，計(jì)算機(jī)存儲(chǔ)介質(zhì)可以采取下述形式:RAM、ROM、EEPR0M、閃存或其他存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字通用盤(DVD)或其他光存儲(chǔ)、磁帶盒、磁帶、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備、或可以用來存儲(chǔ)期望的信息并且可以由可穿戴計(jì)算設(shè)備200訪問的任何其他介質(zhì)。
[0052]根據(jù)示例實(shí)施例，板上計(jì)算系統(tǒng)204包括被存儲(chǔ)在系統(tǒng)存儲(chǔ)器258中(和/或可能另一個(gè)數(shù)據(jù)存儲(chǔ)介質(zhì)中)并且可由處理器256執(zhí)行來促進(jìn)在本文所述的可穿戴計(jì)算設(shè)備200的功能性的程序指令。因此，在示例實(shí)施例中，板上計(jì)算系統(tǒng)204可以包括用于執(zhí)行光流分析來確定視頻相機(jī)206所捕捉到的視頻的光流的程序指令270。如本領(lǐng)域技術(shù)人員所理解的，視頻的“光流”是自在物體和視頻相機(jī)之間的相對(duì)移動(dòng)產(chǎn)生的視頻中的物體的明顯運(yùn)動(dòng)。
[0053]此外，可穿戴計(jì)算設(shè)備200可以使用光流分析來向用戶提供通過執(zhí)行預(yù)先確定的用戶動(dòng)作來選擇在其視野內(nèi)的物體的能力。具體地，板上計(jì)算系統(tǒng)204可以被配置成辨識(shí)何時(shí)視頻相機(jī)206所捕捉到的視頻的光流具有與預(yù)定義的用戶移動(dòng)相關(guān)聯(lián)的某些特性，并且基于光流的這些特性來識(shí)別用戶已選擇的物體。
[0054]例如，可穿戴計(jì)算設(shè)備200可以對(duì)來自視頻相機(jī)206的視點(diǎn)視頻的光流進(jìn)行分析，并且檢測何時(shí)視頻幀中的區(qū)域具有與在幀別處的光流的量值顯著不同的量值的局部光流。當(dāng)視頻幀中的某一區(qū)域中的光流的量值顯著不同于在視頻幀別處的量值時(shí)，可以說，在視頻的該區(qū)域中存在“光流差”。可穿戴計(jì)算設(shè)備200可以因此將位于光流差區(qū)域的物體識(shí)別為已被用戶選擇。
[0055]用于確定光流的許多技術(shù)是本領(lǐng)域技術(shù)人員眾所周知的。這樣的技術(shù)包括(i)相位相關(guān)，(ii)基于塊的方法，(iii)差分法，諸如Lucas-Kanade光流法、Horn-Schunk方法、Buxton-Buxton方法和Black Jepson方法，以及(iv)離散優(yōu)化方法等。在示例實(shí)施例中，板上計(jì)算系統(tǒng)210可以實(shí)現(xiàn)Lucas-Kanade方法,其典型地對(duì)視頻中的噪聲不那么敏感，并且因此可以特別適于確定在數(shù)字捕捉的視頻中的幀之間的光流。然而，可能的是，示例實(shí)施例可以利用用于確定光流的任何適當(dāng)技術(shù)，包括但不限于任何上述技術(shù)。
[0056]為了確定在給定時(shí)間點(diǎn)的光流，板上計(jì)算系統(tǒng)204可以應(yīng)用Lucas-Kanade方法或任何其他適當(dāng)技術(shù)來對(duì)在來自視頻相機(jī)206的兩個(gè)視頻幀之間的光流進(jìn)行比較。在示例實(shí)施例中，所確定的光流可以采取被存儲(chǔ)在存儲(chǔ)設(shè)備266中的光流數(shù)據(jù)的形式。對(duì)于給定光流確定，作為結(jié)果的光流數(shù)據(jù)可以包括由其在視頻幀內(nèi)的坐標(biāo)識(shí)別的樣本點(diǎn)集，并且對(duì)于每一個(gè)樣本點(diǎn)，數(shù)據(jù)指示在該樣本點(diǎn)處的對(duì)應(yīng)光流矢量的量值和方向。在視覺上，板上計(jì)算系統(tǒng)204所確定的光流可以被二維地表示為“光流場”，其示出了在視頻幀內(nèi)的樣本點(diǎn)集以及指示在每一個(gè)樣本點(diǎn)處的相應(yīng)光流的光流矢量。
[0057]在進(jìn)一步方面中，可穿戴計(jì)算機(jī)可以包括第二相機(jī)或可能甚至三個(gè)或更多相機(jī)。例如，可穿戴計(jì)算機(jī)可以包括安裝在用戶的頭部的每側(cè)上的相機(jī)和/或安裝在用戶的前額上(例如，在用戶的眼睛中間)的一個(gè)或多個(gè)相機(jī)?？纱┐饔?jì)算機(jī)然后可以使用來自所有視頻相機(jī)的視頻流來確定何時(shí)存在光流差。例如，被提供有來自第二相機(jī)的另外光流數(shù)據(jù)，可穿戴計(jì)算機(jī)可以能夠更準(zhǔn)確和/或更迅速地確定何時(shí)存在光流差。因此，根據(jù)示例實(shí)施例方法的可穿戴計(jì)算機(jī)可以被進(jìn)一步配置成從第二視頻相機(jī)接收視頻、確定來自第二相機(jī)的視頻的光流以及確定在第二視頻中是否存在光流差。
[0058]當(dāng)使用兩個(gè)相機(jī)，并且?guī)缀跬瑫r(shí)在來自兩者的視頻中檢測到光流差時(shí)，這證實(shí)了存在光流差的確定是準(zhǔn)確的。然而，當(dāng)在來自兩個(gè)相機(jī)的視頻之間存在不一致時(shí)，該不一致可以根據(jù)設(shè)計(jì)選擇來解決。例如，當(dāng)在一個(gè)相機(jī)中檢測到光流差，但是在另一個(gè)中沒有檢測到時(shí)，HMD可以被配置成斷定存在光流差并且相應(yīng)地基于其中檢測到該差的視頻來進(jìn)行下去。替選地，HMD可以通過假設(shè)存在錯(cuò)誤來解決不一致，并且如此可以僅在兩個(gè)視頻中均存在差時(shí)，才斷定存在光流差。
[0059]II1.光流場的綜沭
[0060]圖3是示例光流場的圖示。如所示，光流場300包括整個(gè)幀中的樣本點(diǎn)，其中與每一個(gè)樣本點(diǎn)相對(duì)應(yīng)的光流矢量指不在該樣本點(diǎn)處所確定的光流的量值和方向。[0061]一般地，光流場300中的每一個(gè)樣本點(diǎn)對(duì)應(yīng)于從之得到光流的視頻幀中的某一像素。因此，樣本點(diǎn)的坐標(biāo)值的范圍可以由正為其確定光流的視頻的分辨率來定義。例如，示例光流場300向視頻的光流提供640像素乘480像素(“640 X 480”)的分辨率。如此，光流場300中的每一個(gè)樣本點(diǎn)可以由其在640X480視頻幀內(nèi)的相應(yīng)坐標(biāo)來識(shí)別。在所圖示的示例中，例如，樣本點(diǎn)以IlX 15柵格被安排，其中坐標(biāo)范圍從在左下角的樣本點(diǎn)A處的[40，40]到在右上角的[600,440]。
[0062]應(yīng)當(dāng)理解的是，光流場中的樣本點(diǎn)的數(shù)量和安排可以根據(jù)工程設(shè)計(jì)選擇而變化。例如，雖然示例可穿戴計(jì)算機(jī)200可以被配置成為與在光流場300中所示的相同數(shù)量的樣本點(diǎn)確定光流，然而，可以增加樣本點(diǎn)數(shù)量來幫助增加光流的準(zhǔn)確性。此外，雖然光流場300中的樣本點(diǎn)被示出為以柵格被安排并且間隔40像素，然而，光流場，為其確定光流的樣本點(diǎn)的安排和間隔可以根據(jù)工程設(shè)計(jì)選擇而變化。更進(jìn)一步，為其確定光流矢量的點(diǎn)的數(shù)量可以隨被利用的用于確定光流的特定技術(shù)而變化。
[0063]參考回圖2C，示例板上計(jì)算系統(tǒng)204可以被配置成從視頻相機(jī)206接收現(xiàn)場視頻饋給，并且在接收視頻饋給的幀時(shí)持續(xù)地更新并分析光流。如此，板上計(jì)算系統(tǒng)204可以對(duì)光流持續(xù)地監(jiān)視作為預(yù)先確定的用戶移動(dòng)的特性的光流的出現(xiàn)。當(dāng)預(yù)先確定的用戶動(dòng)作指示對(duì)用戶的視野內(nèi)的某一物體的選擇以供通過可穿戴計(jì)算設(shè)備200的搜索時(shí)，持續(xù)光流分析可以是有利的，因?yàn)槠淇梢栽试S搜索結(jié)果在顯示器202中的自動(dòng)且基本上瞬時(shí)(例如，“實(shí)時(shí)，，)顯示。
[0064]然而，應(yīng)當(dāng)理解的是，可以替選地周期性或間歇地更新光流。此外，還可能的是，可以響應(yīng)于來自用戶的如此做的指示來確定光流。例如，光流分析可以默認(rèn)禁用的，并且僅在用戶指示其意欲被提供搜索功能性、或意欲光流分析因另一個(gè)原因而被啟用時(shí)才被啟用。
[0065]IV.對(duì)應(yīng)于預(yù)先確定的用戶動(dòng)作的示例光流場
[0066]A、在繞物體的弧形路徑中的移動(dòng)
[0067]圖4A是示例方法可以辨識(shí)為選擇在用戶的視場內(nèi)的特定物體的預(yù)先確定的用戶動(dòng)作的圖示。根據(jù)示例實(shí)施例，預(yù)先確定的用戶動(dòng)作是使得視點(diǎn)視頻相機(jī)在移動(dòng)期間所捕捉到的視頻具有特性光流，其包括在和/或圍繞用戶通過用戶動(dòng)作選擇的物體的光流差。
[0068]圖4A所圖示的用戶動(dòng)作涉及用戶402最初聚焦于物體404。用戶402然后沿著基本上環(huán)形的路徑406移動(dòng)，當(dāng)用戶沿著路徑406移動(dòng)時(shí)將物體404保持在用戶的參考幀內(nèi)相同的位置中。用戶402圍繞物體404的移動(dòng)可以由用戶以各種方式來實(shí)現(xiàn)。例如，用戶402可以僅僅繞著物體404行走，同時(shí)將該物體保持在其參考幀的中心。作為另一個(gè)示例，用戶402可以保持站在基本上相同的地方，但是圍繞物體404以環(huán)形運(yùn)動(dòng)移動(dòng)其頭部，同時(shí)將物體基本上保持在其視場的中心(或基本上在其視場內(nèi)的固定位置中)。其他示例也是可能的。
[0069]當(dāng)在用戶402沿著路徑406移動(dòng)時(shí)物體404保持在用戶的視場內(nèi)基本上相同的位置中時(shí)，物體404的明顯移動(dòng)(或更具體地，物體404位于視頻幀中的區(qū)域中的像素的明顯移動(dòng))將顯著少于在幀別處的明顯移動(dòng)。因此，物體的區(qū)域中的光流矢量平均起來將具有比在幀別處的光流矢量小的量值，因此造成了在包括所選擇的物體的區(qū)域中的光流差。因此，當(dāng)可穿戴計(jì)算機(jī)檢測到在某一區(qū)域中存在這樣的光流差時(shí)，可穿戴計(jì)算機(jī)可以作為響應(yīng)地確定哪個(gè)物體在該區(qū)域中，并且將該物體識(shí)別為被用戶選擇。[0070]在進(jìn)一步方面中，當(dāng)用戶402以基本上環(huán)形路徑406移動(dòng)時(shí)，視點(diǎn)視頻相機(jī)所捕捉到的視頻的作為結(jié)果的光流場可以具有特性的轉(zhuǎn)動(dòng)特性。具體地，在所選擇的物體的區(qū)域外的光流場可以展示與用戶圍繞物體404以弧形路徑406移動(dòng)相對(duì)應(yīng)的曲率模式。在一些實(shí)施例中，可穿戴計(jì)算機(jī)可以僅在(i )在物體的區(qū)域中存在光流差以及(ii )在物體的區(qū)域外的光流具有作為圍繞物體轉(zhuǎn)動(dòng)的特性的曲率兩者時(shí)才確定特定物體已被選擇。
[0071]圖4B是與圖4A所圖示的用戶動(dòng)作相對(duì)應(yīng)的示例光流場的圖示。具體地，圖4B示出了光流場450，其中在對(duì)應(yīng)于物體404的一般區(qū)域410內(nèi)的光流矢量一般是比在對(duì)應(yīng)于物體404的區(qū)域410外的光流矢量小的量值。進(jìn)一步，光流場450的在區(qū)域410外的部分展示與用戶沿著諸如路徑406的弧形路徑圍繞物體404移動(dòng)相對(duì)應(yīng)的曲率模式。出于這些原因中的一個(gè)或兩者，可穿戴計(jì)算機(jī)對(duì)光流場進(jìn)行分析可以確定在對(duì)應(yīng)于物體404的區(qū)域410中存在光流差。(注意，物體404在圖4B中從啟用正面的視圖示出，而不是在圖4A中所示的物體404的自頂而下視圖。)
[0072]如所注意的，光流場450的在區(qū)域410外的部分展示作為用戶圍繞物體轉(zhuǎn)動(dòng)同時(shí)將物體保持在其視場內(nèi)基本上相同位置中的特性的曲率。具體地，當(dāng)用戶圍繞物體404以逆時(shí)針方式轉(zhuǎn)動(dòng)時(shí)，表示在用戶的視場中的前景的像素(例如，在由[0，0]和[640，220]所定義的矩形區(qū)域中并且在區(qū)域410外的像素)具有針對(duì)其明顯運(yùn)動(dòng)的從左到右分量，而表示在用戶的視場中的后景的像素(例如，在由[0，260]和[640,480]所定義的矩形區(qū)域中并且在區(qū)域410外的像素)具有針對(duì)其明顯運(yùn)動(dòng)的從右到左分量。進(jìn)一步，表示用戶的視場左邊(在前景和后景兩者中)的像素具有針對(duì)其明顯運(yùn)動(dòng)的向下分量。在另一方面，表示用戶的視場右邊的像素具有針對(duì)其明顯運(yùn)動(dòng)的向下分量。
[0073]如此，當(dāng)用戶圍繞物體404以弧形路徑移動(dòng)時(shí)，作為結(jié)果的視點(diǎn)視頻具有以下面一般方式演不明顯移動(dòng)的光流場450:在視頻巾貞的右上方(例如，朝向[640，480])向上并朝左邊、在視頻幀的左上方(例如，朝向[0，480])向下并朝左邊、在視頻幀的左下方(例如，朝向[0，0])向下并朝右邊、以及在視頻幀的右下方(例如，朝向[640，O])向上并朝右邊。進(jìn)一步，光流場450中(在區(qū)域410外的區(qū)域中)的光流矢量的角度是使得光流場450展示圖4B中所示的一般曲率。該一般曲率是捕捉圖4A中所示這樣的用戶動(dòng)作的視點(diǎn)視頻的特性。
[0074]B、對(duì)轉(zhuǎn)動(dòng)物體的固著
[0075]圖5A是根據(jù)示例實(shí)施例可以被辨識(shí)為對(duì)特定物體的選擇的預(yù)先確定的用戶動(dòng)作的另一個(gè)圖示。具體地，圖5A中所示的用戶動(dòng)作可以用來選擇諸如物體504的移動(dòng)物體，其正在用戶的視場內(nèi)轉(zhuǎn)動(dòng)，同時(shí)用戶保持在基本上相同的位置中。
[0076]具體地，當(dāng)用戶502保持在基本上相同的地方并且保持基本上固著于物體504時(shí)，于是，幀的其余部分，包括非移動(dòng)物體506和508，將具有相對(duì)于用戶比轉(zhuǎn)動(dòng)物體504少的明顯移動(dòng)。(在圖5A中，在幀的其余部分中的光流矢量被示出為沒有量值，然而這是不需要的)。因此，在與圖5A所圖示的用戶動(dòng)作相對(duì)應(yīng)的視點(diǎn)視頻中，在和/或圍繞轉(zhuǎn)動(dòng)物體504的區(qū)域中的光流矢量平均起來將具有比在視頻幀別處的光流矢量大得多的量值。這造成了在包括所選擇的物體的視頻的區(qū)域中的光流差。進(jìn)一步，這樣的視點(diǎn)視頻的光流可以展示在物體504的區(qū)域中的一般曲率，其是物體轉(zhuǎn)動(dòng)同時(shí)用戶固著于該物體而沒有顯著移動(dòng)的特性。如此，物體504的區(qū)域中的量值和/或曲率的差異可以用來識(shí)別在物體504的區(qū)域處的光流差。[0077]圖5A所圖示的預(yù)先確定的用戶動(dòng)作可以對(duì)用戶可以用其手撿起來的更小和/或輕量的物體尤其有用。具體地，用戶可以通過將這樣的物體保持在其視場內(nèi)并且使該物體轉(zhuǎn)動(dòng)同時(shí)保持固著于其來發(fā)起搜索。該用戶動(dòng)作還可以通過固著于諸如旋轉(zhuǎn)木馬的自身轉(zhuǎn)動(dòng)的物體來實(shí)現(xiàn)。然而，應(yīng)當(dāng)理解的是，該用戶動(dòng)作并不限于任何特定用途或針對(duì)任何特定類型的物體使用。
[0078]圖5B是與圖5A所圖示的用戶動(dòng)作相對(duì)應(yīng)的示例光流場的圖示。具體地，圖5B示出了光流場550，其中在區(qū)域552內(nèi)的光流矢量的量值一般比在區(qū)域552外的光流矢量的量值更大。如此，可以確定區(qū)域552是光流差。(注意，物體504-508在圖5B中從啟用正面的視圖示出，而不是在圖5A中所示的自頂而下視圖。)
[0079]在圖5B所圖示的進(jìn)一步方面中，自物體504的轉(zhuǎn)動(dòng)而產(chǎn)生的光流具有作為用戶保持在一個(gè)地方并且固著于轉(zhuǎn)動(dòng)物體的特性的曲率。例如，當(dāng)物體504以逆時(shí)針方式轉(zhuǎn)動(dòng)時(shí)，在視頻左邊的像素具有向下并朝右邊的明顯運(yùn)動(dòng)，而在視頻右邊的像素具有向上并朝左邊的明顯運(yùn)動(dòng)。
[0080]IV.示例性方法
[0081]示例性方法一般可以涉及計(jì)算設(shè)備對(duì)來自諸如視點(diǎn)視頻的視頻的光流進(jìn)行分析，并且確定何時(shí)光流對(duì)應(yīng)于用于選擇物體的預(yù)先確定的用戶動(dòng)作，諸如圖4A和5A中所圖示的用戶動(dòng)作。對(duì)光流的分析還可以識(shí)別視頻中的正被選擇的特定物體，以使可以對(duì)該物體采取動(dòng)作。如此，示例性方法涉及采取與所選擇的物體有關(guān)的動(dòng)作，諸如執(zhí)行對(duì)所選擇的物體的搜索或提供所選擇的物體的3D重構(gòu)等。
[0082]在本文，示例性方法可以作為示例被描述為由具有HMD的可穿戴計(jì)算機(jī)(例如，由這樣的可穿戴計(jì)算機(jī)的板上計(jì)算系統(tǒng))來實(shí)現(xiàn)。然而，應(yīng)當(dāng)理解的是，示例方法可以由任何類型的可穿戴計(jì)算機(jī)、可穿戴計(jì)算機(jī)的多個(gè)組件、通過網(wǎng)絡(luò)與可穿戴計(jì)算機(jī)通信的一個(gè)或多個(gè)其他實(shí)體(例如，與增強(qiáng)現(xiàn)實(shí)服務(wù)器協(xié)作或在增強(qiáng)現(xiàn)實(shí)服務(wù)器的協(xié)助下)、或與一個(gè)或多個(gè)其他實(shí)體結(jié)合的可穿戴計(jì)算機(jī)，來實(shí)現(xiàn)。此外，可能的是，示例方法可以在除可穿戴計(jì)算機(jī)外的設(shè)備上實(shí)現(xiàn)。例如，示例方法可以由視頻相機(jī)或裝備有視頻相機(jī)的移動(dòng)電話來實(shí)現(xiàn)。在其他設(shè)備上的實(shí)現(xiàn)也是可能的。
[0083]圖6是圖示根據(jù)示例實(shí)施例的方法的流程圖。方法600作為示例被描述為由具有HMD的可穿戴計(jì)算機(jī)(例如，由這樣的可穿戴計(jì)算機(jī)的板上計(jì)算系統(tǒng))來實(shí)現(xiàn)。方法600是其中可穿戴計(jì)算機(jī)識(shí)別用戶選擇的物體并且作為響應(yīng)執(zhí)行對(duì)該物體的搜索的實(shí)施例的示例。
[0084]更具體地，示例方法600涉及可穿戴計(jì)算機(jī)的板上計(jì)算系統(tǒng)從HMD上的視頻相機(jī)接收視頻，如塊602所示。該系統(tǒng)然后為視頻確定光流，如塊604所示。在示例實(shí)施例中，該系統(tǒng)持續(xù)地確定并分析視頻相機(jī)所捕捉到的視頻的光流。如此，該系統(tǒng)可以確定何時(shí)在視頻中的區(qū)域處存在光流差，如塊606所示。響應(yīng)于確定存在光流差，該系統(tǒng)然后識(shí)別視頻中的大致位于光流差的區(qū)域中的物體，如塊608所示。該系統(tǒng)然后執(zhí)行對(duì)該物體的搜索，如塊610所示，并且促使系統(tǒng)的顯示器顯示與搜索的結(jié)果相對(duì)應(yīng)的圖形信息，如塊612所示。
[0085]A.檢測光流差
[0086]根據(jù)示例方法，該系統(tǒng)對(duì)視頻的光流分析與產(chǎn)生視頻中的物體的視覺隔離的預(yù)先確定的用戶動(dòng)作，諸如圖4A和5A所圖示的那些，相對(duì)應(yīng)的光流差。用戶可以通過其中所選擇的物體在用戶的參考幀內(nèi)經(jīng)歷顯著更多或更少的明顯運(yùn)動(dòng)的動(dòng)作，實(shí)現(xiàn)所選擇的物體的視覺隔離。當(dāng)可穿戴計(jì)算機(jī)包括一般跟隨用戶的頭部的移動(dòng)的視點(diǎn)視頻相機(jī)時(shí)，通過用戶的這樣的視覺隔離導(dǎo)致顯著不同于在視頻別處的光流的在所選擇的物體的位置處的光流。
[0087]例如，系統(tǒng)可以對(duì)光流進(jìn)行分析，以便檢測何時(shí)存在作為用戶在圍繞物體的轉(zhuǎn)動(dòng)移動(dòng)期間固著于物體的特性的光流差，諸如存在于圖4B中的那個(gè)。為了這樣做，系統(tǒng)可以確定在視頻的某一區(qū)域或區(qū)內(nèi)的光流矢量的量值平均起來是比在視頻別處(例如，在該區(qū)域外)的光流矢量的量值顯著地小。具體地，系統(tǒng)可以首先確定閾值量值，使得預(yù)先確定百分比的光流矢量的量值小于該閾值量值。系統(tǒng)然后可以確定哪些光流矢量具有小于閾值量值的量值，并且確定視頻中的至少包括預(yù)先確定百分比的具有小于閾值量值的量值的光流矢量的區(qū)域。
[0088]在一些實(shí)施例中，對(duì)存在光流差的區(qū)域的識(shí)別可以進(jìn)一步涉及確定光流場具有與預(yù)先確定的用戶動(dòng)作相關(guān)聯(lián)的曲率特性。例如，當(dāng)光流場包括比在光流場別處顯著大的量值的區(qū)域時(shí)，于是，可穿戴計(jì)算機(jī)可以進(jìn)一步考慮在該區(qū)域外的光流是否具有作為用戶圍繞在該區(qū)域處的物體轉(zhuǎn)動(dòng)的特性的曲率。如果檢測到該特性曲率，則可穿戴計(jì)算機(jī)斷定在該區(qū)域存在光流差。否則，可穿戴計(jì)算機(jī)可以斷定由于缺乏特性曲率(盡管有量值的顯著差異)，因此，不存在光流差。圖4B圖示了包括這種類型的光流場的光流場的特定示例。更具體地，因?yàn)橄率鰞烧?(i)區(qū)域410中的光流在量值上顯著不同于光流場450別處，以及
(ii)在區(qū)域410外的光流具有作為用戶圍繞在視頻中在區(qū)域410處所示的物體轉(zhuǎn)動(dòng)的特性的曲率，可穿戴計(jì)算機(jī)可以斷定在光流場450的區(qū)域410存在光流差。
[0089]在進(jìn)一步方面中，板上計(jì)算系統(tǒng)可以另外或替選地檢測何時(shí)存在作為預(yù)先確定的用戶動(dòng)作的特性的光流差，該預(yù)先確定的用戶動(dòng)作諸如圖5A所圖示的，其中用戶保持在基本上相同的位置中并且在物體正轉(zhuǎn)動(dòng)時(shí)固著于物體。具體地，一旦系統(tǒng)已確定在給定時(shí)間點(diǎn)的光流，該系統(tǒng)就可以確定在視頻的某一區(qū)域內(nèi)的光流矢量的量值比在視頻別處(例如，在該區(qū)域外)的光流矢量的量值顯著地大。該確定可以涉及HMD首先確定閾值量值，使得預(yù)先確定百分比的光流矢量的量值小于該閾值量值。HMD然后可以確定哪些光流矢量具有大于閾值量值的量值，并且確定是否存在至少包括預(yù)先確定百分比的具有大于閾值量值的量值的光流矢量的區(qū)域。
[0090]在一些實(shí)施例中，可穿戴計(jì)算機(jī)可以進(jìn)一步使對(duì)光流差的識(shí)別以特性曲率在光流場的具有比別處大的量值的區(qū)域中存在為條件。圖5B圖示了其中存在這樣的光流差的光流場550。如此，當(dāng)確定區(qū)域510平均起來是顯著大的量值時(shí)，于是，可以對(duì)區(qū)域510中的光流分析作為轉(zhuǎn)動(dòng)物體的特性的曲率。在這種情況下，由于存在特性曲率，因此，可穿戴計(jì)算機(jī)可以斷定在區(qū)域510存在光流差。
[0091]在進(jìn)一步方面中，對(duì)閾值量值的確定可以涉及系統(tǒng)從所確定的光流生成光流矢量的量值分布。然后，可以對(duì)該分布進(jìn)行分析來確定量值，以該量值，預(yù)先確定百分比的光流矢量具有更小的量值。然后，可以將該量值設(shè)置為閾值量值。
[0092]例如，圖7是示出來自具有與在圖4B中所示的相似的光流差的光流場的光流矢量的分布的直方圖。在該示例中，考慮其中HMD將閾值量值設(shè)置為等于下面所述的量值的實(shí)施例:以該量值，25%的光流矢量具有更小的量值。如該直方圖中所示，以閾值量值750，來自光流場的25%的光流矢量具有小于閾值量值750的量值。(注意，圖7出于說明目的，因此，并不意在在數(shù)學(xué)上準(zhǔn)確。)注意，僅作為示例提供了 25%的百分比，并且用來確定閾值量值的預(yù)先確定的百分比可以根據(jù)工程設(shè)計(jì)選擇而變化。
[0093]板上計(jì)算系統(tǒng)然后可以對(duì)具有低于閾值量值的那些光流矢量(其可以被稱為“低量值光流矢量”)的位置(即，像素坐標(biāo))進(jìn)行估計(jì)，并且確定在視頻中是否存在聚集了預(yù)先確定百分比的低量值光流矢量的區(qū)域。低量值光流矢量在一個(gè)區(qū)域中的聚集是作為在用戶執(zhí)行預(yù)先確定的用戶動(dòng)作時(shí)所捕捉到的典型視頻的光流差，諸如圖4B中所示。
[0094]因此，當(dāng)板上計(jì)算系統(tǒng)檢測到預(yù)先確定百分比的低量值光流矢量在某一大小的區(qū)域中存在時(shí)，其可以將這當(dāng)作為在該區(qū)域中存在光流差的指示。例如，系統(tǒng)可以將75%的低量值光流矢量在預(yù)先確定大小(例如，預(yù)先確定分辨率)的區(qū)域中的聚集認(rèn)為是指示在該區(qū)域中的物體被選擇的光流差。再次參考圖4B作為示例，系統(tǒng)可以確定75%的低量值光流矢量在區(qū)域410內(nèi)，因此，在區(qū)域410存在光流差。
[0095]圖8是示出來自具有與在圖5B中所示的相似的光流差的光流場的光流矢量的分布的另一個(gè)直方圖。作為特定示例，考慮其中系統(tǒng)將閾值量值設(shè)置為等于下面所述的量值的實(shí)施例:以該量值，25%的光流矢量具有更大的量值。如該直方圖中所示，以閾值量值850，來自光流場800的25%的光流矢量具有大于該閾值量值的量值。(注意，圖8出于說明目的，因此，并不意在在數(shù)學(xué)上準(zhǔn)確。)再次注意，僅作為示例提供了 25%的百分比，并且用來確定閾值量值的預(yù)先確定的百分比可以根據(jù)工程設(shè)計(jì)選擇而變化。
[0096]板上計(jì)算系統(tǒng)然后可以對(duì)具有高于閾值量值的那些光流矢量(其可以被稱為“高量值光流矢量”)的位置(即，像素坐標(biāo))進(jìn)行估計(jì)，并且確定在視頻中是否存在聚集了預(yù)先確定百分比的高量值光流矢量的區(qū)域。高量值光流矢量在一個(gè)區(qū)域中的聚集是作為在用戶執(zhí)行預(yù)先確定的用戶動(dòng)作，諸如圖5A中所示時(shí)，所捕捉到的典型視頻的光流差。
[0097]因此，當(dāng)板上計(jì)算系統(tǒng)檢測到預(yù)先確定百分比的高量值光流矢量在某一大小的區(qū)域中存在時(shí)，其可以將這當(dāng)作為在該區(qū)域存在光流差的指示。例如，HMD可以將75%的高量值光流矢量在預(yù)先確定大小的區(qū)域中的聚集認(rèn)為是指示在該區(qū)域中的物體被選擇的光流差。參考圖5B作為示例，HMD可以確定超過75%的高量值光流矢量在區(qū)域510內(nèi)，因此，在區(qū)域510存在光流差。
[0098]在一些實(shí)施例中，可以執(zhí)行另外的檢查來確定光流差的區(qū)域是否在預(yù)先確定的時(shí)間段內(nèi)保持基本上相同的大小。例如，在用戶圍繞物體轉(zhuǎn)動(dòng)時(shí)，該用戶可以保持在距物體近似相同的距離處。在這種情況下，物體的大小應(yīng)當(dāng)在對(duì)應(yīng)的視點(diǎn)視頻中保持基本上相同。如此，光流差的大小也應(yīng)當(dāng)保持基本上相同。因此，一旦光流差被識(shí)別，可穿戴計(jì)算機(jī)然后就可以確定光流差的大小，并且僅在至少預(yù)先確定的時(shí)間段內(nèi)該大小保持基本上相同時(shí)才前進(jìn)去識(shí)別在該光流差處的物體和/或?qū)υ撐矬w采取動(dòng)作。
[0099]B.識(shí)別光流差的區(qū)域中的物體
[0100]一旦確定在視頻的某一區(qū)域處存在光流差，HMD就前進(jìn)到識(shí)別位于該區(qū)域中的物體。例如，由于區(qū)域510基本上包括物體504，因此，HMD可以將物體504識(shí)別為所選擇的物體?？梢砸愿鞣N方式來完成這個(gè)功能。例如，可以將物體辨識(shí)技術(shù)應(yīng)用到圖像來識(shí)別圖片中的物體，以及每一個(gè)物體的位置。具體地，可以識(shí)別構(gòu)成物體的像素。然后，可以通過確定哪個(gè)物體具有與光流差的像素坐標(biāo)相匹配的像素，來識(shí)別在光流差的區(qū)域處的物體。
[0101]可以使用各種標(biāo)準(zhǔn)來確定給定物體的像素是否與光流差的像素坐標(biāo)相匹配。例如，可以將光流差的區(qū)域當(dāng)作為定義應(yīng)當(dāng)基本上包含所選擇的物體的邊界對(duì)待。如此，HMD可以確定來自物體的預(yù)先確定百分比的像素是否在該區(qū)域所形成的邊界內(nèi)。例如，當(dāng)物體的至少75%在給定區(qū)域內(nèi)時(shí)(B卩，當(dāng)構(gòu)成該物體的像素中的至少75%在該區(qū)域內(nèi)時(shí))，可以認(rèn)為該物體被包含在該給定區(qū)域內(nèi)。其他示例是可能的，并且可以根據(jù)工程設(shè)計(jì)選擇而變化。
[0102]替選地，可以將光流差的區(qū)域當(dāng)作選擇包括在光流差的區(qū)域內(nèi)的大部分像素的任何物體的光標(biāo)對(duì)待。在這樣的實(shí)施例中，可以確定光流差的區(qū)域，使得其是較小的區(qū)域。為了這樣做，可以將用來確定閾值量值的百分比減少到5%，例如，以使減少在該差的區(qū)域中的光流矢量的數(shù)量，因此，同樣減少了該區(qū)域的大小。
[0103]在進(jìn)一步方面中，為了幫助使辨識(shí)物體的過程更高效，可以將高斯模糊應(yīng)用到幀中的在光流差的區(qū)域外的區(qū)域。這樣做可以突出顯示帶有物體的區(qū)域，簡化了從幀中的所有其他信息挑選出物體的過程。
[0104]還可以應(yīng)用其他技術(shù)來幫助改善物體的圖像，以使對(duì)物體的搜索或其他動(dòng)作可以更準(zhǔn)確。例如，當(dāng)一般地識(shí)別物體時(shí)，可以對(duì)來自視頻的物體的圖像執(zhí)行超分辨率。作為另一個(gè)示例，也可以對(duì)物體的圖像執(zhí)行次像素分辨率。超分辨率和次像素分辨率兩者的技術(shù)對(duì)本領(lǐng)域技術(shù)人員來說眾所周知，因此，在本文沒有更詳細(xì)地進(jìn)行論述。
[0105]C.對(duì)在光流差的區(qū)域中的物體采取動(dòng)作
[0106]再次參考圖6的方法600，一旦已識(shí)別了在光流差的區(qū)域中的物體，就可以對(duì)該物體執(zhí)行搜索。一般地，可以執(zhí)行任何類型的基于圖像的搜索。例如，可以使用對(duì)本領(lǐng)域技術(shù)人員眾所周知的許多搜索技術(shù)中的一個(gè)來執(zhí)行對(duì)所選擇的物體的基于圖像的因特網(wǎng)搜索。該搜索總體來說可以涉及例如對(duì)圖像數(shù)據(jù)庫的搜索、基于與物體相關(guān)聯(lián)的文本的搜索、或另一種類型的搜索。因此，搜索結(jié)果可以包括圖像、文本、超鏈接和/或其他類型的媒體和/或其他類型的信息。
[0107]還可以對(duì)所識(shí)別的物體采取其他動(dòng)作。例如，可以在對(duì)所識(shí)別的物體執(zhí)行搜索之前在HMD中向用戶突出顯示或另外指示該物體。然后，可以提示用戶確認(rèn)應(yīng)當(dāng)對(duì)該物體執(zhí)行搜索。例如，可以在HMD中顯示視覺提示。作為另一個(gè)示例，可以通過可穿戴計(jì)算機(jī)的揚(yáng)聲器播放出聽覺提示。用戶然后可以通過例如確認(rèn)應(yīng)當(dāng)執(zhí)行搜索、指示不應(yīng)當(dāng)執(zhí)行搜索、和/或指示應(yīng)當(dāng)采取某一其他動(dòng)作來進(jìn)行響應(yīng)。在替選中，可以提示用戶確認(rèn)與物體有關(guān)的非搜索功能。在這樣的實(shí)施例中，可以在接收了來自用戶的確認(rèn)時(shí)執(zhí)行非搜索功能。
[0108]在進(jìn)一步方面中，可以為所選擇的物體執(zhí)行三維(3D)重構(gòu)和/或3D搜索。如此，可穿戴計(jì)算機(jī)可以使用在用戶圍繞所選擇的物體轉(zhuǎn)動(dòng)時(shí)(或當(dāng)物體自身轉(zhuǎn)動(dòng)時(shí))所捕捉到的視頻，來生成該物體的3D重構(gòu)。這樣的視頻典型地將提供在所選擇的物體轉(zhuǎn)動(dòng)時(shí)捕捉所選擇的物體的多個(gè)視圖的視頻幀序列。然后，可以應(yīng)用對(duì)本領(lǐng)域技術(shù)人員眾所周知的3D重構(gòu)的技術(shù)來基于這些視頻幀，生成3D重構(gòu)。然后，可以應(yīng)用本領(lǐng)域技術(shù)人員眾所周知的任何3D搜索技術(shù)，以便對(duì)所選擇的物體的3D重構(gòu)執(zhí)行3D搜索。進(jìn)一步，可穿戴計(jì)算機(jī)可以被配置成自身執(zhí)行搜索、或生成3D重構(gòu)并且將其發(fā)送給諸如AR服務(wù)器的另一個(gè)實(shí)體來執(zhí)行搜索、或?qū)⒁曨l發(fā)送給從其生成3D重構(gòu)并且為HMD執(zhí)行搜索的另一個(gè)實(shí)體。
[0109]在更進(jìn)一步方面中，示例系統(tǒng)可以在3D重構(gòu)正被創(chuàng)建時(shí)對(duì)3D重構(gòu)進(jìn)行評(píng)估，并且可以提供關(guān)于可以如何改進(jìn)3D重構(gòu)的反饋。具體地，可穿戴計(jì)算機(jī)可以確定是否存在在視頻中尚未捕捉到、可以改進(jìn)三維重構(gòu)的信息。例如，考慮圍繞物體轉(zhuǎn)動(dòng)的預(yù)先確定的用戶動(dòng)作可以生成包括物體的來自不同角度的多個(gè)視圖的視頻。然而，可能的情況是，來自不同角度的另外視圖可以改進(jìn)3D重構(gòu)。
[0110]如果確定尚未被捕捉到的信息可以改進(jìn)3D重構(gòu)，則可穿戴計(jì)算機(jī)可以提示用戶例如執(zhí)行可能在視頻中捕捉可以改進(jìn)3D重構(gòu)的至少部分信息的用戶動(dòng)作。例如，提示可以采取下述形式:在HMD中顯示的箭頭，其指示用戶應(yīng)當(dāng)圍繞所選擇的物體轉(zhuǎn)動(dòng)的方向，以便可以在視點(diǎn)視頻中捕捉物體的另外視圖。作為另一個(gè)示例，可以顯示指示應(yīng)當(dāng)朝某一方向使所選擇的物體轉(zhuǎn)動(dòng)的箭頭。注意，在任一種情況下，箭頭可以指示轉(zhuǎn)動(dòng)應(yīng)當(dāng)朝相同方向繼續(xù)、或可以指示應(yīng)當(dāng)使轉(zhuǎn)動(dòng)反轉(zhuǎn)。向用戶提供其他類型的反饋或指令的其他類型的提示也是可能的。
[0111]在進(jìn)一步方面中，示例系統(tǒng)可以被配置成區(qū)分不同類型的光流差。如此，示例系統(tǒng)可以將不同功能與不同類型的光流差相關(guān)聯(lián)。例如，示例可穿戴計(jì)算機(jī)可以被配置成區(qū)分多個(gè)類型的光流差，其至少包括第一類型和第二類型(例如，圖像搜索和3D搜索)。如此，可穿戴計(jì)算機(jī)可以確定在給定時(shí)間點(diǎn)存在哪種類型的光流差，并且作為響應(yīng)對(duì)執(zhí)行對(duì)物體的搜索的方式進(jìn)行調(diào)整(例如，通過取決于光流差的類型來執(zhí)行圖像搜索或3D搜索)。
[0112]為了更具體地說明，在一些實(shí)施例中，作為朝任一方向圍繞物體轉(zhuǎn)動(dòng)的特性的光流差可以觸發(fā)相同動(dòng)作(例如，搜索)。然而，在其他實(shí)施例中，可以將與圍繞物體逆時(shí)針轉(zhuǎn)動(dòng)相關(guān)聯(lián)的光流差映射到第一功能(例如，基本物體搜索)，而可以將與順時(shí)針轉(zhuǎn)動(dòng)相關(guān)聯(lián)的光流差映射到第二功能(例如，物體的3D重構(gòu))。
[0113]更進(jìn)一步，可以對(duì)光流分析連續(xù)姿勢，以向用戶提供更細(xì)粒度的控制。例如，考慮這樣的情況:剛檢測到與圍繞物體的轉(zhuǎn)動(dòng)相關(guān)聯(lián)的光流差，并且剛顯示了物體的搜索結(jié)果。用戶然后可以使其頭部傾斜，同時(shí)繼續(xù)注視物體(以及對(duì)應(yīng)光流被檢測到)，以便選擇對(duì)已被搜索的物體執(zhí)行的多種動(dòng)作中的一個(gè)。例如，一旦檢測到頭部朝第一方向的傾斜的光流特性可以啟動(dòng)與物體相關(guān)聯(lián)的網(wǎng)頁，而檢測到朝第二方向的傾斜的光流特性可以保存圖像，以及檢測到朝第三方向的傾斜的光流特性可以將圖像加載在電子郵件消息中。許多其他姿勢和功能也是可能的。
[0114]進(jìn)一步，可能的是，可以顯示指導(dǎo)隨后姿勢的信息，以便協(xié)助用戶。例如，可以顯示指示傾斜方向的箭頭，以及指示與朝給定方向的傾斜相關(guān)聯(lián)的功能的文本。其他示例也是可能的。
[0115]D.在示例方法中的服務(wù)器協(xié)助
[0116]雖然前述示例方法已主要地被描述為由可穿戴計(jì)算機(jī)(例如，由HMD)實(shí)現(xiàn)，然而，應(yīng)當(dāng)理解的是，部分或全部所述功能性可以由諸如AR服務(wù)器的遠(yuǎn)程實(shí)體實(shí)現(xiàn)。例如，AR服務(wù)器可以從可穿戴計(jì)算機(jī)接收視頻、確定何時(shí)在視頻的區(qū)域中存在光流差、識(shí)別在光流差的區(qū)域中的物體、搜索所識(shí)別的物體、然后向可穿戴計(jì)算機(jī)告知搜索結(jié)果。作為另一個(gè)示例，可穿戴計(jì)算機(jī)可以確定何時(shí)存在光流差，然后將光流數(shù)據(jù)和對(duì)應(yīng)視頻幀發(fā)送給AR服務(wù)器，其使用光流數(shù)據(jù)來識(shí)別哪個(gè)物體被選擇，然后對(duì)所選擇的物體執(zhí)行基于圖像的搜索。其他示例也是可能的。
[0117]在一些實(shí)施例中，可穿戴計(jì)算機(jī)可以通過請(qǐng)求諸如AR服務(wù)器的遠(yuǎn)程實(shí)體為可穿戴計(jì)算機(jī)識(shí)別物體來識(shí)別物體。例如，當(dāng)示例可穿戴計(jì)算機(jī)確定存在光流差時(shí)，可穿戴計(jì)算機(jī)可以被配置成將對(duì)應(yīng)光流數(shù)據(jù)和從之生成該數(shù)據(jù)的視頻幀發(fā)送給諸如AR服務(wù)器的遠(yuǎn)程實(shí)體。AR服務(wù)器然后可以應(yīng)用物體辨識(shí)技術(shù)來識(shí)別視頻幀中的物體，并且識(shí)別哪個(gè)物體位于光流差處。
[0118]替選地，示例可穿戴計(jì)算機(jī)可以應(yīng)用圖像處理技術(shù)來隔離視頻幀中的所選擇的物體，然后將視頻幀的經(jīng)處理的版本發(fā)送給AR服務(wù)器以供物體識(shí)別和搜索。例如，如果光流確定技術(shù)被配置為使得差的區(qū)域基本上包含所選擇的物體(例如，當(dāng)將該區(qū)域作為定義圍繞所選擇的物體的邊界對(duì)待時(shí))，則可穿戴計(jì)算機(jī)可以應(yīng)用圖像處理技術(shù)來突出顯示光流差的區(qū)域。例如，可穿戴計(jì)算機(jī)可以模糊、移除、使明亮或另外突出顯示視頻幀的在光流差的區(qū)域外的所有區(qū)域。由于光流差的區(qū)域基本上包括所選擇的物體，因此，突出顯示該區(qū)域可以用作為隔離所選擇的物體。因此，這樣做可以隔離所選擇的物體，以使AR服務(wù)器僅需要識(shí)別該物體是什么。
[0119]此外，應(yīng)當(dāng)理解的是，在替選實(shí)施例中，可能的是，可以將示例方法和系統(tǒng)合并入除可穿戴計(jì)算機(jī)外的設(shè)備。例如，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，示例方法可以由具有視頻記錄能力的其他設(shè)備，諸如移動(dòng)電話和相機(jī)(例如，視頻相機(jī)或具有視頻能力的靜態(tài)相機(jī))，來實(shí)現(xiàn)。
[0120]雖然在本文已公開了各種方面和實(shí)施例，然而，其他方面和實(shí)施例將對(duì)本領(lǐng)域技術(shù)人員顯而易見。在本文所公開的各種方面和實(shí)施例出于說明目的，并且并不意在限制，其中真實(shí)范圍和精神由所附權(quán)利要求指出。
【權(quán)利要求】
1.一種方法，包括: 接收視頻數(shù)據(jù)； 為所述視頻數(shù)據(jù)確定光流； 確定在所述視頻數(shù)據(jù)的所述光流內(nèi)的一個(gè)區(qū)域處存在光流差，其中確定存在所述光流差包括: 確定在所述區(qū)域內(nèi)的光流的量值與在所述區(qū)域外的光流的量值顯著不同；以及確定所述視頻數(shù)據(jù)的所述光流的至少部分具有作為與對(duì)物體的選擇相關(guān)聯(lián)的預(yù)先確定的用戶動(dòng)作的特性的曲率；以及 響應(yīng)于確定在所述光流內(nèi)的所述區(qū)域處存在所述光流差: 識(shí)別位于存在所述光流差的所述區(qū)域處的物體； 執(zhí)行對(duì)位于存在所述光流差的所述區(qū)域處的所述物體的搜索；以及 促使圖形顯示器顯示與來自所述搜索的結(jié)果相對(duì)應(yīng)的信息。
2.根據(jù)權(quán)利要求1所述的方法: 其中在所述區(qū)域內(nèi)的 所述光流的量值比在所述區(qū)域外的所述光流的量值顯著地小；以及 其中確定所述視頻數(shù)據(jù)的所述光流的至少部分具有作為所述預(yù)先確定的用戶動(dòng)作的特性的所述曲率包括確定在所述區(qū)域外的所述光流中存在該特性曲率。
3.根據(jù)權(quán)利要求2所述的方法，其中所述預(yù)先確定的用戶動(dòng)作包括當(dāng)所述用戶圍繞所述物體沿著基本上環(huán)形路徑移動(dòng)時(shí)所述物體保持在所述用戶的視場內(nèi)基本上相同的位置中。
4.根據(jù)權(quán)利要求1所述的方法: 其中在所述區(qū)域內(nèi)的所述光流的量值比在所述區(qū)域外的所述光流的量值顯著地大；以及 其中確定所述視頻數(shù)據(jù)的所述光流的至少部分具有作為所述預(yù)先確定的用戶動(dòng)作的特性的所述曲率包括確定在所述區(qū)域內(nèi)存在該特性曲率。
5.根據(jù)權(quán)利要求4所述的方法，其中所述預(yù)先確定的用戶動(dòng)作包括當(dāng)所述物體轉(zhuǎn)動(dòng)時(shí)對(duì)所述物體的固著。
6.根據(jù)權(quán)利要求1所述的方法， 其中所述光流包括在所述視頻數(shù)據(jù)中的多個(gè)樣本點(diǎn)處的多個(gè)光流矢量，以及其中確定所述光流包括為所述視頻數(shù)據(jù)中的所述樣本點(diǎn)中的每一個(gè)生成光流數(shù)據(jù),所述光流數(shù)據(jù)包括:(a)所述樣本點(diǎn)的坐標(biāo)，以及(b)在所述樣本點(diǎn)處的所述光流矢量的量值和方向的指示，以及 其中確定在所述視頻數(shù)據(jù)的所述光流內(nèi)的所述區(qū)域處存在所述光流差包括: 確定閾值量值，使得預(yù)先確定百分比的所述光流矢量中的每一個(gè)的量值小于所述閾值量值； 確定所述光流矢量中的哪些具有小于所述閾值量值的量值；以及 確定所述區(qū)域包括具有小于所述閾值量值的量值的至少預(yù)先確定百分比的所述光流矢量。
7.根據(jù)權(quán)利要求1所述的方法，其中所述光流包括在所述視頻數(shù)據(jù)中的多個(gè)樣本點(diǎn)處的多個(gè)光流矢量， 其中確定所述光流包括為所述視頻數(shù)據(jù)中的所述樣本點(diǎn)中的每一個(gè)生成光流數(shù)據(jù)，所述光流數(shù)據(jù)包括:Ca)所述樣本點(diǎn)的坐標(biāo)，以及(b)在所述樣本點(diǎn)處的所述光流矢量的量值和方向的指示，以及 其中確定在所述視頻數(shù)據(jù)的所述光流內(nèi)的所述區(qū)域處存在光流差包括: 確定閾值量值，使得預(yù)先確定百分比的所述光流矢量的量值大于所述閾值量值； 確定所述光流矢量中的哪些具有大于所述閾值量值的量值；以及確定所述區(qū)域包括具有大于所述閾值量值的量值的至少預(yù)先確定百分比的所述光流矢量。
8.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括: 使用來自所述視頻數(shù)據(jù)的視頻幀來生成來自所述視頻數(shù)據(jù)的所述物體的三維重構(gòu)；以 及 其中執(zhí)行對(duì)所述物體的所述搜索包括執(zhí)行對(duì)所述物體的所述三維重構(gòu)的三維搜索。
9.根據(jù)權(quán)利要求8所述的方法，進(jìn)一步包括: 對(duì)所述物體的所述三維重構(gòu)進(jìn)行評(píng)估，以確定是否存在尚未被捕捉到、能夠改進(jìn)所述二維重構(gòu)的/[目息；以及 如果確定存在尚未被捕捉到并且能夠改進(jìn)所述三維重構(gòu)的信息，則發(fā)起對(duì)所述用戶的提示，其中所述提示指引所述用戶執(zhí)行可能在所述視頻數(shù)據(jù)中捕捉能夠改進(jìn)所述三維重構(gòu)的所述信息的至少部分的用戶動(dòng)作。
10.根據(jù)權(quán)利要求1所述的方法，其中確定存在光流差包括持續(xù)地確定所述視頻數(shù)據(jù)的光流，以確定何時(shí)在所述視頻數(shù)據(jù)的所述區(qū)域處存在所述光流差。
11.根據(jù)權(quán)利要求1所述的方法，其中確定在所述區(qū)域處存在所述光流差包括: 檢測在所述視頻數(shù)據(jù)中的所述區(qū)域處的所述光流差；以及 確定所述光流差在所述區(qū)域中持續(xù)至少預(yù)先確定的時(shí)間段。
12.根據(jù)權(quán)利要求1所述的方法，其中所述光流差被確定為存在于所述視頻數(shù)據(jù)的兩個(gè)幀之間，以及其中識(shí)別所述視頻數(shù)據(jù)中的位于所述光流差的所述區(qū)域處的所述物體包括: 將圖像處理技術(shù)應(yīng)用到所述兩個(gè)幀中的第一幀，以在視覺上隔離所述第一幀中的所述物體；以及 向另一個(gè)計(jì)算設(shè)備發(fā)送物體識(shí)別請(qǐng)求，其中所述物體識(shí)別請(qǐng)求包括已被應(yīng)用了所述圖像處理技術(shù)的所述第一幀的副本。
13.一種其上存儲(chǔ)有指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述指令包括: 用于接收視頻數(shù)據(jù)的指令； 用于為所述視頻數(shù)據(jù)確定光流的指令； 用于通過下述步驟來確定何時(shí)在所述視頻數(shù)據(jù)的所述光流中的一個(gè)區(qū)域處存在光流差的指令: 確定在所述區(qū)域內(nèi)的光流的量值與在所述區(qū)域外的光流的量值顯著不同；以及確定所述視頻數(shù)據(jù)的所述光流的至少部分具有作為與對(duì)物體的選擇相關(guān)聯(lián)的預(yù)先確定的用戶動(dòng)作的特性的曲率；以及用于響應(yīng)于確定存在所述光流差作出下述步驟的指令: 識(shí)別所述視頻數(shù)據(jù)中的位于所述光流差的所述區(qū)域處的物體； 促使對(duì)位于所述光流差的所述區(qū)域處的所述物體執(zhí)行搜索；以及 促使圖形顯示器顯示與來自所述搜索的結(jié)果相對(duì)應(yīng)的信息。
14.根據(jù)權(quán)利要求13所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì): 其中在所述區(qū)域內(nèi)的所述光流的量值比在所述區(qū)域外的所述光流的量值顯著地??；以及 其中用于確定所述視頻數(shù)據(jù)的所述光流的至少部分具有作為所述預(yù)先確定的用戶動(dòng)作的特性的所述曲率的指令包括用 于確定在所述區(qū)域外的所述光流中存在該特性曲率的指令。
15.根據(jù)權(quán)利要求14所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì):其中所述預(yù)先確定的用戶動(dòng)作包括當(dāng)所述用戶圍繞所述物體沿著基本上環(huán)形路徑移動(dòng)時(shí)所述物體保持在所述用戶的視場內(nèi)基本上相同的位置中。
16.根據(jù)權(quán)利要求13所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì): 其中在所述區(qū)域內(nèi)的所述光流的量值比在所述區(qū)域外的所述光流的量值顯著地大；以及 其中用于確定所述視頻數(shù)據(jù)的所述光流的至少部分具有作為所述預(yù)先確定的用戶動(dòng)作的特性的所述曲率的指令包括用于確定在所述區(qū)域內(nèi)存在該特性曲率的指令。
17.根據(jù)權(quán)利要求16所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述預(yù)先確定的用戶動(dòng)作包括當(dāng)所述物體轉(zhuǎn)動(dòng)時(shí)對(duì)所述物體的固著。
18.—種系統(tǒng),包括: 到計(jì)算設(shè)備的顯示器的接口； 到被配置成記錄視頻數(shù)據(jù)的視頻相機(jī)的接口 ；以及 板上計(jì)算系統(tǒng)，其可操作來: 為視頻數(shù)據(jù)確定光流； 基于下述幾項(xiàng)來確定何時(shí)在所述視頻數(shù)據(jù)的所述光流中的區(qū)域處存在光流差:Ca)在所述區(qū)域內(nèi)的光流的量值與在所述區(qū)域外的光流的量值顯著不同的確定，以及(b)所述視頻數(shù)據(jù)的所述光流的至少部分具有作為與對(duì)物體的選擇相關(guān)聯(lián)的預(yù)先確定的用戶動(dòng)作的特性的曲率的確定； 響應(yīng)于確定存在所述光流差: 識(shí)別所述視頻數(shù)據(jù)中的位于所述光流差的所述區(qū)域處的物體； 執(zhí)行對(duì)位于所述光流差的所述區(qū)域處的所述物體的搜索；以及 促使頭戴式顯示器顯示與來自所述搜索的結(jié)果相對(duì)應(yīng)的圖形信息。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中在所述區(qū)域處存在所述光流差的所述確定取決于所述區(qū)域內(nèi)的所述光流的量值顯著不同的所述確定以及所述視頻數(shù)據(jù)的所述光流的至少部分具有作為所述預(yù)先確定的用戶動(dòng)作的特性的曲率的所述確定。
20.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述板上計(jì)算系統(tǒng)可操作來: 區(qū)分至少包括第一類型和第二類型的多個(gè)類型的光流差； 確定在所述區(qū)域處存在哪種類型的光流差；以及基于所述光流差的所確定的類型對(duì)執(zhí)行對(duì)所述物體的所述搜索的方式進(jìn)行調(diào)整。
21.根據(jù)權(quán)利要求18所述的系統(tǒng): 其中在所述區(qū)域內(nèi)的所述光流的量值比在所述區(qū)域外的所述光流的量值顯著地?。灰约? 其中被確定為具有作為所述預(yù)先確定的用戶動(dòng)作的特性的所述曲率的所述視頻數(shù)據(jù)的所述光流的所述部分包括基本上在所述區(qū)域外的所述光流的部分。
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述預(yù)先確定的用戶動(dòng)作包括當(dāng)所述用戶圍繞所述物體沿著基本上環(huán)形路徑移動(dòng)時(shí)所述物體保持在所述用戶的視場內(nèi)基本上相同的位置中。
23.根據(jù)權(quán)利要求18所述的系統(tǒng): 其中在所述區(qū)域內(nèi)的所述光流的量值比在所述區(qū)域外的所述光流的量值顯著地大；以及 其中被確定為具有作為所述預(yù)先確定的用戶動(dòng)作的特性的所述曲率的所述視頻數(shù)據(jù)的所述光流的所述部分包括基本上在所述區(qū)域內(nèi)的所述光流的部分。
24.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中所述預(yù)先確定的用戶動(dòng)作包括當(dāng)所述物體轉(zhuǎn)動(dòng)時(shí)對(duì)所述物體的固著。
【文檔編號(hào)】G02B27/02GK103649988SQ201280033759
【公開日】2014年3月19日 申請(qǐng)日期:2012年5月10日 優(yōu)先權(quán)日:2011年5月11日
【發(fā)明者】薩德·斯特納 申請(qǐng)人:谷歌公司