本披露涉及增強現(xiàn)實系統(tǒng)領(lǐng)域。

背景技術(shù)：

增強現(xiàn)實是物理現(xiàn)實世界環(huán)境的生動直接觀看或間接觀看，其元素由計算機生成的感覺輸入(如聲音、視頻、圖形或GPS數(shù)據(jù))增強。常規(guī)地，實時地并且在具有多個環(huán)境元素的語義上下文中使用增強。增強現(xiàn)實的示例是當(dāng)在取景器中實時地觀看對象時使用裝置如智能電話或平板計算機顯示對象的信息。

如果為了稍后播放而記錄增強現(xiàn)實，其中，增強現(xiàn)實附加與取景器中的原始圖像合并，結(jié)果無非是經(jīng)編輯的視頻流。當(dāng)這確實將信息而不是原始取景器內(nèi)容自身存在給取景器時，在播放過程中幾乎不存在選項，使得增強現(xiàn)實附加比其可能在其他情況下更加無用。

因此，期望在增強現(xiàn)實領(lǐng)域中的進一步發(fā)展。

技術(shù)實現(xiàn)要素：

提供本概述以便引入以下在詳細(xì)描述中進一步描述的一些概念。本概述不旨在標(biāo)識所要求保護的主題的關(guān)鍵特征或必要特征也不旨在用作限定所要求保護的主題的范圍的輔助內(nèi)容。

一種用于操作增強現(xiàn)實系統(tǒng)的方法包括從照相機傳感器或視頻文件采集視頻數(shù)據(jù)并且標(biāo)識在該視頻數(shù)據(jù)中的至少一個興趣區(qū)。在沒有接收到用戶輸入的情況下針對至少一個興趣區(qū)生成增強現(xiàn)實數(shù)據(jù)，其中，增強現(xiàn)實數(shù)據(jù)根據(jù)上下文與該至少一個興趣區(qū)相關(guān)。顯示該視頻數(shù)據(jù)，其中，在從該照相機傳感器或該視頻文件采集該視頻數(shù)據(jù)時，該增強現(xiàn)實數(shù)據(jù)實時地疊加于其上。以非合并的方式存 儲該視頻數(shù)據(jù)和該增強現(xiàn)實數(shù)據(jù)。

另一個方面涉及一種電子裝置，該電子裝置包括照相機傳感器、顯示器、非易失性存儲單元和處理器。該處理器被配置成用于從該照相機傳感器或視頻文件采集視頻數(shù)據(jù)、標(biāo)識在該視頻數(shù)據(jù)中的至少一個興趣區(qū)以及在沒有接收到用戶輸入的情況下針對該至少一個興趣區(qū)生成增強現(xiàn)實數(shù)據(jù)，其中，該增強現(xiàn)實數(shù)據(jù)根據(jù)上下文與該至少一個興趣區(qū)相關(guān)。該處理器被進一步配置成用于：在該顯示器上顯示該視頻數(shù)據(jù)，其中，在從該照相機傳感器或該視頻文件采集該視頻數(shù)據(jù)時，該增強現(xiàn)實數(shù)據(jù)實時地疊加于其上；并且將該視頻數(shù)據(jù)和該增強現(xiàn)實數(shù)據(jù)存儲在該非易失性存儲單元中。

附圖說明

圖1是可以在其上執(zhí)行本披露的增強現(xiàn)實處理技術(shù)的電子裝置的示意框圖。

圖2是根據(jù)本披露的增強現(xiàn)實處理技術(shù)的流程圖。

圖3是根據(jù)本披露的增強現(xiàn)實生成和顯示技術(shù)的流程圖。

圖4是根據(jù)本披露展示了播放視頻數(shù)據(jù)和可選地增強現(xiàn)實數(shù)據(jù)的流程圖。

具體實施方式

將在下文描述一個或多個實施例。這些所描述的實施例僅是如由所附權(quán)利要求來單獨限定的實現(xiàn)技術(shù)的示例。此外，為了提供集中的描述，可能不會在說明書中描述實際實現(xiàn)的不相關(guān)特征。

初始參照圖1，現(xiàn)在描述可以用于執(zhí)行增強現(xiàn)實技術(shù)的電子裝置100。電子裝置100可以是智能電話、平板計算機、增強現(xiàn)實頭戴式耳機或者其他合適的電子裝置。電子裝置100包括處理器112，具有可選顯示器114、可選非易失性存儲單元116、可選照相機傳感器118、可選收發(fā)器120、可選GPS收發(fā)器122、可選加速計124、可選羅盤126、可選氣壓計128、可選藍(lán)牙收發(fā)器133以及耦接于其上 的可選音頻轉(zhuǎn)換器135。顯示器114在一些情況下可以是觸敏的，并且非易失性存儲單元116可以是磁或固態(tài)存儲單元，如硬盤驅(qū)動器、固態(tài)驅(qū)動器或者閃存RAM。照相機傳感器118可以是CMOS照相機傳感器，并且收發(fā)器120可以是蜂窩收發(fā)器、WiFi收發(fā)器或藍(lán)牙收發(fā)器。

此外參照圖2，現(xiàn)在描述增強現(xiàn)實處理技術(shù)。處理器112可選地從照相機傳感器118可選地實時地收集視頻數(shù)據(jù)幀(框202)，并且可以可選地操作音頻轉(zhuǎn)換器135以獲得與視頻數(shù)據(jù)幀同時發(fā)生的音頻記錄。處理器112也可以從所記錄的內(nèi)容收集視頻數(shù)據(jù)。當(dāng)收集每個視頻數(shù)據(jù)幀時，處理器112操作以便標(biāo)識那個幀中的興趣區(qū)(ROI)(框204)。示例ROI包括人臉、對象、地形部分、天空部分等。

處理器112然后在沒有接收到用戶輸入的情況下或者在一些實例中在接收到用戶輸入的情況下針對ROI生成增強現(xiàn)實數(shù)據(jù)(框206)。通過在沒有接收到用戶輸入的情況下針對ROI生成增強現(xiàn)實數(shù)據(jù)，意味著數(shù)據(jù)或者來自傳感器或者來自數(shù)據(jù)庫，而不是手動輸入的(如由人聽語音并經(jīng)由鍵盤手動地輸入適當(dāng)?shù)淖帜?。盡管可以以此方式輸入針對ROI的一些增強現(xiàn)實數(shù)據(jù)，一些增強現(xiàn)實數(shù)據(jù)將不會被輸入。

例如，處理器112可以通過從內(nèi)部傳感器讀取或采集數(shù)據(jù)來生成增強現(xiàn)實數(shù)據(jù)。因此，處理器112可以通過以下方式來生成增強現(xiàn)實數(shù)據(jù)：讀取照相機傳感器118的定向、在從GPS接收機122采集視頻數(shù)據(jù)時讀取電子裝置100的位置的GPS坐標(biāo)、在從氣壓計128捕獲圖像時讀取與ROI或者電子裝置100的位置相關(guān)聯(lián)的天氣狀況、讀取來自加速計124的數(shù)據(jù)或者讀取來自羅盤126的數(shù)據(jù)。處理器112還可以通過經(jīng)由收發(fā)器120如從提供了針對給定的GPS坐標(biāo)位置的實時天氣數(shù)據(jù)的源通過互聯(lián)網(wǎng)接收以上數(shù)據(jù)來生成增強現(xiàn)實數(shù)據(jù)。

此外，處理器122可以通過分析視頻數(shù)據(jù)自身或者通過分析與視 頻數(shù)據(jù)同時捕獲的音頻數(shù)據(jù)來生成增強現(xiàn)實數(shù)據(jù)。例如，處理器112可以通過對源自視頻數(shù)據(jù)的聲音執(zhí)行音頻分析來生成增強現(xiàn)實數(shù)據(jù)，或者可以通過對ROI執(zhí)行圖像分析、對ROI執(zhí)行字符識別、對ROI執(zhí)行對象識別以及對ROI的圖像數(shù)據(jù)執(zhí)行圖像搜索來生成增強現(xiàn)實數(shù)據(jù)。這可以通過處理器112在本地完成，或者處理器112可以為了這些目的通過互聯(lián)網(wǎng)采用遠(yuǎn)端源。此外，為了這個分析，處理器112可以組合本地源和遠(yuǎn)端源(非易失性存儲器116和遠(yuǎn)端數(shù)據(jù)源130)。

每一項增強現(xiàn)實數(shù)據(jù)根據(jù)上下文與其對應(yīng)的ROI相關(guān)。上下文關(guān)系意味著在ROI自身中示出的圖像的信息，或者與在ROI自身中示出的圖像的捕獲相關(guān)的信息。上下文關(guān)系不意味著如時間戳/日期戳或者針對語音或者聲音的字幕的信息。

處理器112可選地實時地在顯示器114上顯示視頻數(shù)據(jù)和增強現(xiàn)實數(shù)據(jù)(框208)。增強現(xiàn)實數(shù)據(jù)覆蓋在視頻數(shù)據(jù)的頂部上。例如，視頻數(shù)據(jù)中的個體的名字可以漂浮于其對應(yīng)的頭部之上或者與其相鄰地以文本顯示，或者對象的信息可以漂浮于對象之上或者與其相鄰地以文本顯示。

當(dāng)視頻數(shù)據(jù)和增強現(xiàn)實數(shù)據(jù)被處理器112顯示在顯示器114上時，其被處理器112以非合并的方式存儲在非易失性存儲器116中(框210)。通過被以非合并的方式存儲，意味著增強現(xiàn)實數(shù)據(jù)并非簡單地被存儲為替換其覆蓋的視頻數(shù)據(jù)的多個部分的視頻數(shù)據(jù)，而是反而被存儲或者為視頻文件自身的元數(shù)據(jù)(框212)或者為單獨的元數(shù)據(jù)文件(框214)。例如，增強現(xiàn)實數(shù)據(jù)可以被存儲為針對使用H.264或者HEVC算法編碼或壓縮的視頻文件的補充增強信息(SEI)，或者被存儲在與視頻文件相關(guān)聯(lián)的單獨的增強現(xiàn)實文本文件(即，.art)中。在一些實例中，增強現(xiàn)實數(shù)據(jù)還可以被存儲在容器用戶數(shù)據(jù)中。在一些實例中，視頻數(shù)據(jù)和增強現(xiàn)實數(shù)據(jù)的此存儲不需要在播放的時候完成，并且可以或者在播放之前或者不存在播放時完成。

針對每個ROI，在增強現(xiàn)實數(shù)據(jù)被存儲為視頻文件自身的元數(shù)據(jù)或者為增強現(xiàn)實文本文件的情況下，元數(shù)據(jù)字段可以包括以下各項：

開始->停止時間戳

結(jié)構(gòu)/數(shù)據(jù)的長度

給定ROI的數(shù)量[N]

ROI類型[N]

ROI[N]

對象ROI的縮略圖(可選)

緯度(可選)

經(jīng)度(可選)

用戶評論(可選)

也可以包括其他字段。示例元數(shù)據(jù)可以是：

00:04:25，166-->00:04:28，625//起止PTS

52//結(jié)構(gòu)/數(shù)據(jù)的長度

1//Rect數(shù)量

1//ROI字體

400 400 600 600//ROI

0.8//緯度

1.2//經(jīng)度

歐巡賽是如此有趣//用戶評論

00:04:29，751→00:04:31，044

<參數(shù)>

#索引

偏移0

偏移53

---

偏移12802

#CNT

98 12804//AR結(jié)構(gòu)的Cout索引的偏移

#VER

V2.0

ART#

將元數(shù)據(jù)存儲在單獨的增強現(xiàn)實數(shù)據(jù)文本文件中的優(yōu)點是通過或者更改或者替換數(shù)據(jù)以及增添新數(shù)據(jù)字段在稍后的時間點處對其更新容易。因此，例如，如果給定的ROI是電影中的演員，可以更新在稍后的時間點處那個電影的AR播放以包括在當(dāng)前時間處的演員信息的播放，而不僅僅按照原始記錄的時間播放。作為另一個示例，如果給定的ROI是著名的旅游勝地或者地標(biāo)，可以更新AR播放以包括那個旅游勝地或者地標(biāo)的當(dāng)前信息。

在一些實例中，非易失性存儲器116可能針對電子裝置100不是本地的，并且可能反而針對經(jīng)由局域網(wǎng)或互聯(lián)網(wǎng)連接到電子裝置100的服務(wù)器是本地的。在其他實例中，非易失性存儲器116可能針對電子裝置100不是本地的，但是可能反而是經(jīng)由有線連接而連接的遠(yuǎn)端非易失性存儲器134或者經(jīng)由藍(lán)牙連接而連接的非易失性存儲器132。

由于視頻數(shù)據(jù)和增強現(xiàn)實數(shù)據(jù)被存儲，它們?nèi)缓罂梢员惶幚砥?12在顯示器114上非實時地播放(框216)。應(yīng)當(dāng)理解的是，由于增強現(xiàn)實數(shù)據(jù)和視頻數(shù)據(jù)被以非合并的方式存儲，在沒有顯示增強現(xiàn)實數(shù)據(jù)的情況下，甚至可以通過不支持播放增強現(xiàn)實數(shù)據(jù)的硬件和軟件播放視頻數(shù)據(jù)。

另外地參照圖4，現(xiàn)在描述在一個實施例中播放增強現(xiàn)實數(shù)據(jù)和視頻數(shù)據(jù)。視頻數(shù)據(jù)和AR數(shù)據(jù)(框400)被緩沖(框402)，并且然后被發(fā)送到或者支持AR的視頻播放器(框404)或者不支持AR的普通視頻播放器(框406)。如果利用支持AR的視頻播放器(框404)，那么在智能電話(框410)、平板計算機(框411)、膝上計算機(框412)或者TV(框413)上播放視頻數(shù)據(jù)和AR數(shù)據(jù)。 如果利用普通視頻播放器(框406)，那么在智能電話(框410)、平板計算機(框411)、膝上計算機(框412)或者TV(框413)上播放視頻數(shù)據(jù)。

在一些實例中，多個ROI可能與同一對象或人相關(guān)，并且可能令人期望的是元數(shù)據(jù)包括針對包含那個對象或人的連續(xù)存在的視頻數(shù)據(jù)的起止時間的時間戳。因此，處理器112可以確定與同一對象或人相關(guān)的多個興趣區(qū)，并且確定包含那個對象或人的連續(xù)存在的起止時間戳。處理器112還可以確定針對與不同對象或人相關(guān)的ROI的起止時間。因此，處理器112可以確定針對視頻數(shù)據(jù)中的某個或者每個人和/或?qū)ο蟮钠鹬箷r間。這些起止時間可以由處理器112根據(jù)增強現(xiàn)實數(shù)據(jù)被存儲的位置被存儲在或者視頻文件的元數(shù)據(jù)部分中或者單獨的視頻文件中。

在處理器112非實時地播放視頻數(shù)據(jù)和增強現(xiàn)實數(shù)據(jù)的過程中，根據(jù)上下文與增強現(xiàn)實數(shù)據(jù)相關(guān)的新增強現(xiàn)實數(shù)據(jù)在其被非實時地顯示時可以在增強現(xiàn)實數(shù)據(jù)上疊加地顯示。例如，增強現(xiàn)實數(shù)據(jù)可以包括在墻上疊加顯示的廣告以便廣告產(chǎn)品A。新增強現(xiàn)實可以因此是針對在產(chǎn)品A上疊加的產(chǎn)品B的廣告。

另外地參照圖3的流程圖300，現(xiàn)在描述由處理器112生成增強現(xiàn)實數(shù)據(jù)。首先，從或者照相機傳感器118或者非易失性存儲器116采集視頻數(shù)據(jù)(框302)。將視頻數(shù)據(jù)與AR數(shù)據(jù)(如來自框304的裝置100的定向、GPS坐標(biāo)或者用戶輸入)一起發(fā)送至在處理器112上執(zhí)行的AR引擎(框306)。AR引擎(框306)執(zhí)行圖像分析、人臉識別、對象識別并且生成來自這些對象或人臉的ROI。AR引擎(框306)將從框304接收的AR數(shù)據(jù)與所生成的ROI和其他數(shù)據(jù)(圖像分析、人臉識別、對象識別的結(jié)果)進行組合并且將其發(fā)送至在處理器112上執(zhí)行的AR記錄器(框308)。

AR記錄器(框308)獲得AR數(shù)據(jù)、其他數(shù)據(jù)和ROI并且將其處理成對記錄有用的數(shù)據(jù)。在該過程中，AR記錄器(框308)可以記錄針對以上描述的ROI的開始和停止時間戳。AR記錄器(框308) 將這些結(jié)果發(fā)送至在處理器112上執(zhí)行的AR格式器(框310)。AR格式器(框310)使用所接收的數(shù)據(jù)并將其格式化成期望的格式，并且然后將其發(fā)送至將AR數(shù)據(jù)存儲在增強現(xiàn)實數(shù)據(jù)文件(如，.art文件)中的AR文件寫入器(框314)。另外或替代性地，AR格式器(框310)將格式化的AR數(shù)據(jù)發(fā)送至轉(zhuǎn)碼器/編碼器(框312)，該轉(zhuǎn)碼器/編碼器也接收來自視頻源(框302)的視頻數(shù)據(jù)。轉(zhuǎn)碼器/編碼器(框312)將視頻數(shù)據(jù)與格式化的AR數(shù)據(jù)進行組合以創(chuàng)造具有嵌入式AR元數(shù)據(jù)的視頻。

如所解釋的，以上披露的意圖是將AR ROI和來自任何合適的傳感器的數(shù)據(jù)存儲為元數(shù)據(jù)，從而使得在不存在附加處理時所述元數(shù)據(jù)的稍后檢索是有可能的。也就是說，應(yīng)當(dāng)注意的是，在此所描述和使用的增強現(xiàn)實元數(shù)據(jù)不包括針對語音或者聲音的隱藏字幕或者視覺時間戳和日期戳。

本披露已經(jīng)關(guān)于有限數(shù)量的實施例來描述，得益于本披露的本領(lǐng)域的技術(shù)人員將理解的是，可以設(shè)想其他實施例而不脫離如本文中所披露的本披露的范圍。因此，本披露的范圍應(yīng)僅由所附的權(quán)利要求來限定。