圖像捕獲輸入和投影輸出的制作方法
【技術(shù)領(lǐng)域】
[0001] 本文所揭示的實施例通常是針對能夠捕獲圖像并投影內(nèi)容的系統(tǒng)。
【背景技術(shù)】
[0002] 增強現(xiàn)實(AR)是允許用戶改變其與世界交互的方式的新興技術(shù)。AR是物理、現(xiàn)實 世界環(huán)境的實況、直接或間接視圖，其中元素通過計算機所產(chǎn)生的輸入(例如聲音、視頻、圖 形和/或全球定位系統(tǒng)(GPS)數(shù)據(jù))來擴增。在一些使用中，AR由具有捕獲用戶周圍的環(huán)境的 圖像且接著使用對象辨識算法來辨識所捕捉的圖像中的對象以用于擴增的圖像捕獲裝置 的裝置來實現(xiàn)。可接著在裝置的顯示器上向所述用戶提供用戶周圍的環(huán)境的視圖，其中所 述視圖的部分是基于例如所辨識的對象而擴增。
[0003] 人、移動或微型投影儀的顯影已向AR提供額外功能性。舉例來說，代替于在屏幕上 顯示經(jīng)擴增環(huán)境的視圖或除在屏幕上顯示經(jīng)擴增環(huán)境的視圖之外，裝置可與投影儀交互來 辨識對象，并將內(nèi)容投影到實際對象上和/或投影到例如所述對象附近或周圍或與之相關(guān) 聯(lián)的區(qū)域上。

【發(fā)明內(nèi)容】

[0004] 與一些實施例一致，提供一種方法，其包含通過投影裝置以第一速率投影內(nèi)容;通 過所述投影裝置以第二速率投影捕獲幀；當(dāng)投影捕獲幀時，通過圖像捕獲裝置捕獲圖像；以 及至少部分地基于所捕獲圖像來執(zhí)行計算機視覺功能。所述方法也可在非暫時性計算機可 讀媒體中實施。所述方法還可用以創(chuàng)建增強現(xiàn)實。
[0005] 與一些實施例一致，還提供一種系統(tǒng)。所述系統(tǒng)包含投影裝置，其經(jīng)配置以便以第 一速率投影內(nèi)容，且以第二速率投影捕獲幀。所述系統(tǒng)還包含圖像捕獲裝置，其經(jīng)配置以在 所述投影裝置投影捕獲幀時捕獲圖像。所述系統(tǒng)進一步包含耦合到所述投影裝置和所述圖 像捕獲裝置的一或多個處理器，所述一或多個處理器經(jīng)配置以處理所捕獲圖像并產(chǎn)所述生 內(nèi)容，或確定所述內(nèi)容的位置或定向，以用于至少部分地基于所述所捕獲圖像而投影。所述 系統(tǒng)進一步包含耦合到一或多個處理器的存儲器。
[0006] 與一些實施例一致，進一步提供一種系統(tǒng)。所述系統(tǒng)包含：用于以第一速率投影內(nèi) 容的裝置;用于以第二速率投影捕獲幀的裝置;用于在投影所述捕獲幀時捕獲圖像的裝置； 以及用于至少部分地基于所捕獲圖像來執(zhí)行計算機視覺功能的裝置。
[0007] 與一些實施例一致，還提供一種方法，其包含:捕獲包含所投影內(nèi)容的圖像;捕獲 包含所投影捕獲幀的圖像；以及至少部分地基于包含所投影捕獲幀的所述圖像而執(zhí)行計算 機視覺功能?？梢缘谝凰俾释队八霾东@幀?？苫诘谝凰俾什东@包含所投影捕獲幀的所 述圖像。在一些實施例中，所述內(nèi)容和所述捕獲幀可由投影裝置投影。此外，可響應(yīng)于從投 影裝置或從耦合到投影裝置的處理裝置接收信號而捕獲包含所投影捕獲幀的所述圖像， 和/或可從遠程裝置無線接收所述信號。在一些實施例中，所述方法包含分析所捕獲圖像以 確定所捕獲圖像是否包括包含所投影捕獲幀的圖像，且所述確定可基于所捕獲圖像的時 戳，或基于識別所捕獲圖像中的基準(zhǔn)或標(biāo)記。在一些實施例中，包含所投影內(nèi)容的所述圖像 可包含包括所投影捕獲幀的圖像。在一些實施例中，可將內(nèi)容投影到對象上，其中所述計算 機視覺功能包括辨識或跟蹤所述對象。
[0008] 與一些實施例一致，進一步提供一種方法，其包含:捕獲視野的至少一個圖像，其 包含內(nèi)容正投影到其上且捕獲幀正以第一速率投影到其上的區(qū)域;確定所述至少一個圖像 中包含所投影捕獲幀的至少一部分的一或多個圖像；以及至少部分地基于所述一或多個圖 像而執(zhí)行計算機視覺功能。在一些實施例中，所述內(nèi)容和所述捕獲幀可由投影裝置投影。此 外，所述確定可基于接收到的信號，且在一些實施例中，所述信號是從所述投影裝置或從耦 合到所述投影裝置的處理裝置接收，或所述信號可從遠程裝置無線接收。在一些實施例中， 所述捕獲可響應(yīng)于基于所述所接收的信號的確定而執(zhí)行。在一些實施例中，所述確定可基 于第一速率，且可響應(yīng)于基于所述第一速率的確定而執(zhí)行所述捕獲。在一些實施例中，所述 確定可基于所述一或多個圖像的時戳。此外，所述確定可基于識別所述一或多個圖像中的 基準(zhǔn)或標(biāo)記。在一些實施例中，所述捕獲幀可包含內(nèi)容以及一或多個捕獲區(qū)域。此外，可將 所述內(nèi)容投影到對象上，且計算機視覺功能包含辨識或跟蹤所述對象。
【附圖說明】
[0009] 圖1是說明與一些實施例一致的處理裝置的圖。
[0010]圖2A到2E說明與一些實施例一致的捕獲用于輸入的圖像且投影內(nèi)容的實例。
[0011] 圖3A和3B說明與一些實施例一致的捕獲用于輸入的圖像且投影內(nèi)容的實例。
[0012] 圖4A和4B說明與一些實施例一致的捕獲用于輸入的圖像且投影內(nèi)容的另一實例。 [0013]圖5A和5B說明與一些實施例一致的在低光情境中捕獲用于輸入的圖像且投影內(nèi) 容的實例。
[0014] 圖6是說明與一些實施例一致的用于捕獲用于輸入的圖像且投影內(nèi)容的過程的流 程圖。
[0015] 圖7為根據(jù)一些實施例的說明用于投影內(nèi)容且捕獲圖像的過程的流程圖。
[0016] 在圖式中，具有相同名稱的元件具有相同或類似的功能。
【具體實施方式】
[0017] 在以下描述中，陳述描述某些實施例的具體細節(jié)。然而，對于所屬領(lǐng)域的技術(shù)人員 將顯而易見的是，所公開的實施例可以在沒有這些具體細節(jié)中的一些或全部的情況下實 踐。所呈現(xiàn)的具體實施例意在為說明性的而不是限制性的。所屬領(lǐng)域的技術(shù)人員可認識到 其它材料(盡管本文中未具體描述)在本發(fā)明的范圍和精神內(nèi)。
[0018] 如先前所描述，便攜式或微型投影儀可用于AR系統(tǒng)和視頻游戲中，來將包含圖像 或其它信息的內(nèi)容投影到一區(qū)域，其中所投影的內(nèi)容可基于所捕獲圖像。然而，所投影的內(nèi) 容可將額外的線、色彩和文本引入到圖像捕獲裝置的視野中的對象上，這可能使得對象辨 識和/或跟蹤算法難以繼續(xù)辨識和/或跟蹤視野中的對象。此外，所述投影儀可利用對象辨 識和跟蹤算法來"跟蹤"所述對象，以在視野中的投影儀和/或?qū)ο笠苿訒r，使所投影的內(nèi)容 保持在合適位置，這可能因所述投影而受阻。
[0019] 因此，用于圖像捕獲輸入和投影輸出的系統(tǒng)和方法允許圖像捕獲裝置捕獲圖像， 所述圖像用于執(zhí)行計算機視覺功能，包含對象辨識和跟蹤、事件檢測、運動估計、對象識別、 對象檢測、對象分類和光學(xué)字符辨識。所述系統(tǒng)和方法可在投影儀不在投影內(nèi)容(這可能使 所捕獲的圖像模糊）的一或多個周期期間捕獲圖像。明確地說，當(dāng)不在投影內(nèi)容時，且當(dāng)正 投影捕獲幀時，本文所揭示的實施例可捕獲圖像。
[0020] 圖1是說明與一些實施例一致的處理裝置100的圖。處理裝置100可為例如智能電 話等移動裝置、平板計算機、個人計算機、膝上型計算機或上網(wǎng)本、例如由有線或衛(wèi)星內(nèi)容 提供商提供的機頂盒（STB)，或視頻游戲系統(tǒng)控制臺。處理裝置100還可為頭戴式顯示器 (HMD)或其它可佩戴式計算裝置。在一些實施例中，處理裝置100在汽車中實施，例如在汽車 的娛樂中心或控制臺中，或包括或?qū)嵤┯卺t(yī)療裝置中。根據(jù)一些實施例，可使用經(jīng)配置以用 于捕獲圖像和投影內(nèi)容的硬件和/或軟件的任何適當(dāng)組合來實施移動裝置100。明確地說， 處理裝置100可包含硬件和/或軟件的任何適當(dāng)組合，所述硬件和/或軟件具有一或多個處 理器，并且能夠讀取存儲在非暫時性機器可讀媒體上的用于由所述一或多個用于捕獲圖像 和投影內(nèi)容的處理器執(zhí)行的指令。機器可讀媒體的一些常見形式包含例如軟盤（floppy disk)、軟磁盤(flexible disk)、硬盤、磁帶、任何其它磁性媒體、CD-ROM、任何其它光學(xué)媒 體、穿孔卡片、紙帶、具有孔洞圖案的任何其它物理媒體、RAM、PROM、EPROM、FLASH-EPR0M、任 何其它存儲器芯片或盒帶，和/或一或多個處理器或計算機被調(diào)適成用于從其進行讀取的 任何其它媒體。
[0021] 處理裝置100可包含被配置成用于與網(wǎng)絡(luò)通信的網(wǎng)絡(luò)接口組件102。與一些實施例 一致，網(wǎng)絡(luò)接口組件102可經(jīng)配置以與同軸電纜、光纖電纜、數(shù)字用戶線(DSL)調(diào)制解調(diào)器、 公共電話交換網(wǎng)(PSTN)調(diào)制解調(diào)器、以太網(wǎng)裝置，和/或各種其它類型的有線網(wǎng)絡(luò)通信裝置 介接。網(wǎng)絡(luò)接口組件102還可包含一或多個無線收發(fā)器，其中每一無線收發(fā)器可包含天線， 所述天線為可分離的或一體的，并且能夠根據(jù)不同的無線組網(wǎng)技術(shù)（例如Wi-Fi?、3G、4G、 HSDPA、LTE、RF、NFC)發(fā)射和接收信息。
[0022] 與一些實施例一致，處理裝置100包括用于互連處理裝置100內(nèi)的各種組件并且在 所述各種組件之間傳送信息的系統(tǒng)總線104。在一些實施例中，總線104在芯片上系統(tǒng)(SoC) 中實施，并且連接一或多個處理器的芯片和/或核心上的各種元件或組件。組件可包含處理 組件106，處理組件106可為一或多個處理器、中央處理單元(CPU)、圖像信號處理器（ISP)、 微控制器、或數(shù)字信號處理器(DSP)、圖形處理單元(GPU)，以及音頻信號處理器，所述音頻 信號處理器可包含模擬和/或數(shù)字音頻信號處理器。組件還可包含存儲器組件108,其可對 應(yīng)于隨機存取存儲器(RAM)、只讀存儲器(R0M)、光學(xué)、磁性、固態(tài)或例如上文所述的其它存 儲器。
[0023] 與一些實施例一致，處理裝置100還可包含用于向用戶顯示信息的顯示組件110。 顯示器組件110可為液晶顯示（IXD)屏、有機發(fā)光二極管（OLED)屏（包含有源矩陣AMOLED 屏）、LED屏、等離子顯示器或陰極射線管(CRT)顯示器。顯示組件110可與處理裝置100集成， 或可與處理裝置100分離并且耦合到處理裝置100。處理裝置100還可包含輸入和導(dǎo)航控制 組件112,其允許用戶輸入信息并且沿著顯示組件110進行導(dǎo)覽。輸入和導(dǎo)覽組件112可包含 (例如)鍵盤或按鍵式號盤(不管是物理還是虛擬）、鼠標(biāo)、導(dǎo)航球、或其它此類裝置，或基于 電容性傳感器的觸摸屏。
[0024]處理裝置100還可包含捕獲與裝置100和/或其環(huán)境相關(guān)聯(lián)的數(shù)據(jù)的傳感器114。傳 感器114可包含（但不限于）麥克風(fēng)或音頻傳感器、相機、光傳感器、接近傳感器、深度傳感 器、壓力傳感器、慣性傳感器(例如加速計和/或陀螺儀）、磁力計等。傳感器114可個別地或 組合使用，例如傳感器陣列或任何其它組合。傳感器114能夠相互依賴地或獨立于彼此進行 操作。傳感器114可通過系統(tǒng)總線104與處理組件106通信，以便