用于增強現(xiàn)實應(yīng)用程序的裝置和方法
【專利說明】用于増強現(xiàn)實應(yīng)用程序的裝置和方法
[0001] 相關(guān)申請案的奪叉參考
[0002] 本申請案主張2012年9月11日申請且標題為"用于移動裝置的增強現(xiàn)實應(yīng)用程 序的裝置和方法"的第61/699, 615號美國臨時專利申請案的優(yōu)先權(quán)，且主張2012年10月 12日申請且標題為"用于增強現(xiàn)實應(yīng)用程序的裝置和方法"的第13/651，098號美國非臨時 專利申請案的優(yōu)先權(quán)，以上申請案每一者的內(nèi)容以全文引用方式并入本文。
技術(shù)領(lǐng)域
[0003] 本發(fā)明大體上涉及用于移動裝置的增強現(xiàn)實應(yīng)用程序。
【背景技術(shù)】
[0004] 技術(shù)的進步已導致較小且較強大的計算裝置。舉例來說，當前存在多種便攜式個 人計算裝置，包含無線計算裝置，例如便攜式無線電話、個人數(shù)字助理（PDA)和尋呼裝置， 其體積小、重量輕且易于由用戶攜帶。更具體來說，例如蜂窩電話和因特網(wǎng)協(xié)議（IP)電話 等便攜式無線電話可經(jīng)由無線網(wǎng)絡(luò)傳送語音和數(shù)據(jù)包。此外，許多此類無線電話包含并入 其中的其它類型的裝置。舉例來說，無線電話還可包含數(shù)字靜態(tài)相機、數(shù)碼攝像機、數(shù)字記 錄器，和音頻文件播放器。而且，此類無線電話可處理可執(zhí)行指令，包含軟件應(yīng)用程序，例如 可用以接入網(wǎng)絡(luò)的網(wǎng)絡(luò)瀏覽器應(yīng)用程序。由此，這些無線電話可包含大量計算能力。
[0005] 一些電子裝置使用增強現(xiàn)實應(yīng)用程序來將計算機生成的圖像添加到基于現(xiàn)實的 圖像或視頻。舉例來說，當移動裝置的相機指向目標區(qū)域時，游戲可能在移動裝置的顯示器 上再生目標區(qū)域的圖像，同時通過添加計算機生成的"虛擬的"對象而增強所述圖像。此類 應(yīng)用程序可消耗電子裝置的大量處理資源且可對用戶與所述虛擬對象之間的交互的檢測 帶來挑戰(zhàn)。
[0006] 一些電子裝置利用"標記"來實現(xiàn)位置檢測。舉例來說，移動裝置的用戶可打印具 有可由移動裝置的應(yīng)用程序辨識的大小和模式的圖像。當移動裝置的相機指向標記時，應(yīng) 用程序可"查看"所述標記來估計所述標記與移動裝置之間的距離。然而，使用此類標記對 于用戶來說可為不方便的且令人討厭的。另外，因為在正處理應(yīng)用程序時移動裝置可能相 對于標記移動，所以移動裝置可需要重復(fù)地再評估所述標記來再估計地面或其它表面的位 置。

【發(fā)明內(nèi)容】

[0007] 根據(jù)本發(fā)明的移動裝置可利用一或多種技術(shù)來實現(xiàn)增強現(xiàn)實應(yīng)用程序的高效處 理。在至少一些實施例中，所述一或多種技術(shù)實現(xiàn)用戶與"虛擬對象"之間的交互而無需利 用標記。舉例來說，移動裝置可使用積分圖像技術(shù)來對與待顯示圖像相關(guān)聯(lián)的背景進行有 效分段（例如，減去）。作為另一實例，移動裝置可利用傳感器數(shù)據(jù)來確定地表面相對于移 動裝置的位置，因此實現(xiàn)虛擬對象在地表面上的放置而無需使用標記。作為另一實例，移動 裝置可使用立體相機來確定與所關(guān)注場景相關(guān)聯(lián)的深度信息（例如，深度分布）。所述深度 信息可用以確定虛擬對象的位置（例如，虛擬對象是否在前景對象的前方顯示或由前景對 象遮擋）。
[0008] 在一特定實施例中，方法包含在移動裝置處評估第一像素區(qū)域以產(chǎn)生第一結(jié)果。 所述方法進一步包含在所述移動裝置處評估第二像素區(qū)域以產(chǎn)生第二結(jié)果?；趯㈤撝岛?所述第一結(jié)果與所述第二結(jié)果之間的差異進行比較，做出所述第二像素區(qū)域?qū)?yīng)于場景的 背景部分或所述場景的前景部分的確定。
[0009] 在另一特定實施例中，移動裝置包含評估器，其經(jīng)配置以評估第一像素區(qū)域以產(chǎn) 生第一結(jié)果。所述評估器進一步經(jīng)配置以評估第二像素區(qū)域以產(chǎn)生第二結(jié)果。所述移動裝 置進一步包含經(jīng)配置以基于將閾值和所述第一結(jié)果與所述第二結(jié)果之間的差異進行比較 而確定第二像素區(qū)域?qū)?yīng)于場景的背景部分或所述場景的前景部分的邏輯。
[0010] 在另一特定實施例中，移動裝置包含用于評估第一像素區(qū)域以產(chǎn)生第一結(jié)果且進 一步用于評估第二像素區(qū)域以產(chǎn)生第二結(jié)果的裝置。所述移動裝置進一步包含用于基于將 閾值和所述第一結(jié)果與所述第二結(jié)果之間的差異進行比較而確定所述第二像素區(qū)域?qū)?yīng) 于場景的背景部分或所述場景的前景部分的裝置。
[0011] 在另一特定實施例中，計算機可讀非暫時性媒體存儲指令，所述指令可由移動裝 置的處理器執(zhí)行以在所述移動裝置處評估第一像素區(qū)域以產(chǎn)生第一結(jié)果且在所述移動裝 置處評估第二像素區(qū)域以產(chǎn)生第二結(jié)果。所述指令進一步可由所述處理器執(zhí)行以基于將閾 值和所述第一結(jié)果與所述第二結(jié)果之間的差異進行比較而確定所述第二像素區(qū)域?qū)?yīng)于 場景的背景部分或所述場景的前景部分。
[0012] 在另一特定實施例中，方法包含使用移動裝置的傳感器確定所述移動裝置的縱向 范圍相對于地表面的角度。所述方法進一步包含估計相對于所述地表面的第一距離。所述 第一距離與從所述移動裝置的中心到所述地表面的第一投影相關(guān)聯(lián)，其中所述第一投影垂 直于所述移動裝置的所述縱向范圍?；谒鼋嵌群退龅谝痪嚯x估計第二距離。所述第 二距離與從所述移動裝置的中心到地表面的第二投影相關(guān)聯(lián)，其中所述第二投影垂直于所 述地表面。
[0013] 在另一特定實施例中，移動裝置包含經(jīng)配置以確定所述移動裝置的縱向范圍相對 于地表面的角度的傳感器。所述移動裝置進一步包含估計器。所述估計器估計與從所述移 動裝置的中心到所述地表面的第一投影相關(guān)聯(lián)的第一距離，其中所述第一投影垂直于所述 移動裝置的所述縱向范圍。所述估計器進一步基于所述角度和第一距離估計與從所述移動 裝置的中心到地表面的第二投影相關(guān)聯(lián)的第二距離。所述第二投影垂直于地表面。
[0014] 在另一特定實施例中，移動裝置包含用于確定所述移動裝置的縱向范圍相對于地 表面的角度的裝置。所述移動裝置進一步包含用于估計第一距離且用于基于所述角度和第 一距離估計第二距離的裝置。所述第一距離與從所述移動裝置的中心到所述地表面的第一 投影相關(guān)聯(lián)，其中所述第一投影垂直于所述移動裝置的所述縱向范圍。所述第二距離與從 所述移動裝置的中心到地表面的第二投影相關(guān)聯(lián)。所述第二投影垂直于地表面。
[0015] 在一特定實施例中，計算機可讀非暫時性媒體存儲指令，所述指令可由移動裝置 的處理器執(zhí)行以使用所述移動裝置的傳感器確定所述移動裝置的縱向范圍相對于地表面 的角度。所述指令進一步可由所述處理器執(zhí)行以估計第一距離且基于所述角度和第一距離 估計第二距離。所述第一距離與從所述移動裝置的中心到所述地表面的第一投影相關(guān)聯(lián)， 其中所述第一投影垂直于所述移動裝置的所述縱向范圍。所述第二距離與從所述移動裝置 的中心到地表面的第二投影相關(guān)聯(lián)。所述第二投影垂直于地表面。
[0016] 由所揭示的實施例中的至少一者提供的一個特定優(yōu)點是圖像的前景和背景部分 的高效識別。舉例來說，根據(jù)至少一個說明性實施例，移動裝置使用像素強度求和技術(shù)，例 如積分圖像技術(shù)，來有效識別圖像的前景和背景部分。此外，所揭示的實施例中的至少一些 使得能夠使用并不需要使用標記的增強現(xiàn)實應(yīng)用程序，進而使所述增強現(xiàn)實應(yīng)用程序?qū)τ?用戶更方便。
[0017] 本發(fā)明的其它方面、優(yōu)點和特征將在審閱全部申請案之后變得顯而易見，所述全 部申請案包含以下部分：【附圖說明】、【具體實施方式】和權(quán)利要求書。
【附圖說明】
[0018] 圖1是場景和用以產(chǎn)生所述場景的圖像的移動裝置的特定實施例的圖；
[0019] 圖2A是圖1的移動裝置的特定實施例的框圖；
[0020] 圖2B是圖1的移動裝置的另一特定實施例的框圖；
[0021] 圖2C是圖1的移動裝置的另一特定實施例的框圖；
[0022] 圖3A是圖1和2A到2C中的一或多者或其組合的移動裝置的操作方法的特定實 施例的流程圖；
[0023] 圖3B是圖1和2A到2C中的一或多者或其組合的移動裝置的操作方法的另一特 定實施例的流程圖；
[0024] 圖4是用以估計地表面的位置的移動裝置的特定實施例的框圖；
[0025] 圖5是圖1、2A到2C和4中的一或多者或其組合的移動裝置的操作方法的特定實 施例的流程圖；
[0026] 圖6是基于與立體相機數(shù)據(jù)相關(guān)聯(lián)的深度分布產(chǎn)生圖像的移動裝置的特定實施 例的框圖；
[0027] 圖7是說明基于立體相機數(shù)據(jù)增加圖6的圖像的一部分的分辨率的特定實例的框 圖；
[0028] 圖8是例如圖1、2A到2C、4和6中的一或多者或其組合的移動裝置等移動裝置的 操作方法的特定實施例的流程圖；以及
[0029] 圖9是例如圖1、2A到2C、4和6中的一或多者或其組合的移動裝置等移動裝置的 特定實施例的框圖。
【具體實施方式】
[0030] 圖1描繪移動裝置104和場景108的特定說