相關(guān)申請案的交叉參考

本申請案要求2014年12月12日申請的標(biāo)題是“用于增強現(xiàn)實系統(tǒng)中的圖像處理的方法和設(shè)備(methodandapparatusforimageprocessinginaugmentedrealitysystems)”的第14/569,549號美國專利申請案的優(yōu)先權(quán)，所述專利申請案以引用的方式并入本文中。

本文中所揭示的主題大體上涉及可應(yīng)用于增強現(xiàn)實系統(tǒng)的圖像處理技術(shù)。

背景技術(shù)：

增強現(xiàn)實(ar)系統(tǒng)常常與經(jīng)過測試以確保兼容性和性能的經(jīng)特定選擇的硬件和/或軟件組件一起實施。舉例來說，ar系統(tǒng)可具有被改造以同時提供圖像幀的輸出對(例如，在等效視點處所取得的一個彩色與一個深度)的專有彩色相機傳感器和深度傳感器。ar功能性還可包含為一般或多功能移動裝置(例如智能電話)中的特征。然而，這些移動裝置通常不能夠使來自彩色相機傳感器的輸出圖像幀與深度傳感器同步，這是因為當(dāng)前移動裝置的操作環(huán)境不支持具有來自不同裝置相機的準(zhǔn)確創(chuàng)建時間標(biāo)識符的時間同步或時間戳。來自當(dāng)前移動裝置相機的輸出通常遺漏指示創(chuàng)建時間的任何可靠時間戳。

由于處理可能不是最好匹配的圖像對，在系統(tǒng)內(nèi)具有非同步相機可危害ar輸出的準(zhǔn)確性。當(dāng)系統(tǒng)不能夠確定相機傳感器何時捕獲了特定圖像時，相機可非同步。舉例來說，移動裝置內(nèi)的系統(tǒng)可從創(chuàng)建時間獲得具有變化的延遲量的相機輸出。舉例來說，在時間t1處所創(chuàng)建的傳感器圖像幀可不可獲得用于由移動裝置的ar組件處理，直到在稍后時間t2處接收了所述幀為止。彩色和深度傳感器可各自具有圖像幀的創(chuàng)建與輸出之間的不同時間延遲，且輸出的頻率也可對于每一傳感器不同。因此，需要用于處理彩色和深度圖像的新型和改善型技術(shù)。

技術(shù)實現(xiàn)要素：

本文中所揭示的實施例可涉及一種用于深度與彩色相機同步的方法。所述方法可包含獲得包括第一圖像類型和不同于所述第一圖像類型的第二圖像類型的多個輸入圖像，其中圖像類型是深度相機圖像類型抑或彩色相機圖像類型，其中每一圖像類型相對于其它類型的圖像非同步且其中所述多個輸入圖像中的每一者不具有對輸入圖像的實際創(chuàng)建時間的識別；從所述第一圖像類型的輸入圖像選擇目標(biāo)圖像。所述方法還可包含從所述第一圖像類型的輸入圖像選擇目標(biāo)圖像并從所述第二圖像類型的輸入圖像選擇比較圖像。所述方法還可進一步包含確定響應(yīng)于所述比較圖像與所述目標(biāo)圖像同步兼容而將所述目標(biāo)圖像與所述比較圖像識別為經(jīng)同步圖像對。所述方法可另外包含一起處理所述經(jīng)同步圖像對以用于增強現(xiàn)實輸出中。

本文中所揭示的實施例還可涉及一種機器可讀非暫時性存儲媒體，在其中存儲有可由處理器執(zhí)行以獲得包括第一圖像類型和不同于所述第一圖像類型的第二圖像類型的多個輸入圖像的程序指令。圖像類型可以是深度相機圖像類型抑或彩色相機圖像類型，且每一圖像類型可相對于其它類型的圖像非同步。所述多個輸入圖像中的每一者可不具有對輸入圖像的實際創(chuàng)建時間的識別。所述機器可讀非暫時性存儲媒體還可具有可由所述處理器執(zhí)行以從所述第一圖像類型的輸入圖像選擇目標(biāo)圖像并從所述第二圖像類型的輸入圖像選擇比較圖像的指令。所述機器可讀非暫時性存儲媒體還可具有可由所述處理器執(zhí)行以確定所述比較圖像是否與所述目標(biāo)圖像同步兼容的指令。響應(yīng)于確定所述比較圖像與所述目標(biāo)圖像同步兼容，實施例可將所述目標(biāo)圖像與所述比較圖像識別為經(jīng)同步圖像對并一起處理所述經(jīng)同步圖像對以用于增強現(xiàn)實輸出中。

本文中所揭示的實施例還可進一步涉及一種用于深度與彩色相機圖像同步的裝置，其包括存儲器和處理器，所述處理器耦合到所述存儲器且經(jīng)配置以從所述存儲器獲得包括第一圖像類型和不同于所述第一圖像類型的第二圖像類型的多個輸入圖像。圖像類型可以是深度相機圖像類型抑或彩色相機圖像類型，且每一圖像類型可相對于其它類型的圖像非同步。所述多個輸入圖像中的每一者可不具有對輸入圖像的實際創(chuàng)建時間的識別。所述裝置可經(jīng)進一步配置以從所述第一圖像類型的輸入圖像選擇目標(biāo)圖像并從所述第二圖像類型的輸入圖像選擇比較圖像。所述裝置可經(jīng)進一步配置以確定所述比較圖像是否與所述目標(biāo)圖像同步兼容并響應(yīng)于確定所述比較圖像與所述目標(biāo)圖像同步兼容而將所述目標(biāo)圖像與所述比較圖像識別為經(jīng)同步圖像對。所述裝置還可經(jīng)配置以一起處理所述經(jīng)同步圖像對以用于增強現(xiàn)實輸出中。

本文中所揭示的實施例可進一步涉及一種具有用以執(zhí)行深度與彩色相機同步的裝置的設(shè)備。所述設(shè)備可包含用于獲得包括第一圖像類型和不同于所述第一圖像類型的第二圖像類型的多個輸入圖像的裝置，其中圖像類型是深度相機圖像類型抑或彩色相機圖像類型，其中每一圖像類型相對于其它類型的圖像非同步且其中所述多個輸入圖像中的每一者不具有對輸入圖像的實際創(chuàng)建時間的識別。所述設(shè)備還可包含用于從所述第一圖像類型的輸入圖像選擇目標(biāo)圖像的裝置。所述設(shè)備還可包含用于從所述第一圖像類型的輸入圖像選擇目標(biāo)圖像并從所述第二圖像類型的輸入圖像選擇比較圖像的裝置。所述設(shè)備還可進一步包含用于響應(yīng)于確定所述比較圖像與所述目標(biāo)圖像同步兼容而將所述目標(biāo)圖像與所述比較圖像識別為經(jīng)同步圖像對的裝置。所述設(shè)備可另外包含用于一起處理所述經(jīng)同步圖像對以用于增強現(xiàn)實輸出中的裝置。

其它特征和優(yōu)勢將從附圖和具體實施方式中顯而易見。

附圖說明

圖1a是一個實施例中的可在其中實踐深度和彩色輸出同步(dcos)的方面的系統(tǒng)的框圖；

圖1b說明一個實施例中的用于執(zhí)行dcos的方法的流程圖；

圖2說明一個實施例中的固定速率彩色相機流和固定速率深度圖像流的接收時序；

圖3說明一個實施例中的具有可變彩色圖像幀的恒定深度圖幀的接收時序；

圖4說明一個實施例中的彩色圖像流與深度圖像流之間的時序和匹配；

圖5說明一個實施例中的具有固定柵選擇的彩色圖像流與深度圖像流之間的時序和匹配；

圖6說明另一個實施例中的具有固定柵選擇的彩色圖像流與深度圖像流之間的時序和匹配；

圖7說明一實例實施例中的深度選擇；且

圖8說明另一個實施例中的用于執(zhí)行dcos的方法的流程圖。

具體實施方式

增強現(xiàn)實(ar)系統(tǒng)可利用多個相機輸入以在顯示器上為用戶提供虛擬對象表示。裝置制造商可以未預(yù)見到的方式混合硬件與軟件以創(chuàng)造新ar系統(tǒng)。舉例來說，一些系統(tǒng)可經(jīng)模塊化且用于原始設(shè)備制造商無法預(yù)見的配置中。不利的是，典型裝置的操作系統(tǒng)可能不在時序和同步內(nèi)經(jīng)裝備以確保系統(tǒng)的所有組件朝向共同ar輸出目標(biāo)一起工作。舉例來說，典型的系統(tǒng)可能無法使可實施的多種相機傳感器組合同步。更具體地說，用以提供ar輸出的深度相機圖像和彩色相機圖像可能在典型的ar裝置硬件和軟件實施方案中無法本身經(jīng)同步或被記時間戳。

在一個實施例中，深度和彩色輸出同步(dcos)同步彩色相機傳感器數(shù)據(jù)與深度相機傳感器數(shù)據(jù)(例如，來自各別相機的圖像幀)。相對于來自不同類型的傳感器的比較圖像，dcos可從一種類型的傳感器選擇目標(biāo)圖像用于匹配。dcos可實施為用以從各別傳感器接收圖像的模塊或引擎。dcos可跟蹤接收時間并根據(jù)此接收時間而開始彩色與深度傳感器圖像的比較。舉例來說，在時間t1處所接收的rgb圖像可與在時間t1之前和之后所接收的深度傳感器圖像形成對比。盡管接收時間可不同于創(chuàng)建時間，但其可用作初始開始點以用于比較。

在一個實施例中，dcos根據(jù)如本文中所描述的邊緣檢測技術(shù)而匹配目標(biāo)圖像與比較圖像。在一些實施例中，dcos使用同時定位與映射(slam)或其它跟蹤系統(tǒng)來匹配目標(biāo)圖像與比較圖像。在一個實施例中，在測試同步(例如，執(zhí)行邊緣檢測)之前，dcos出于時間量或圖像數(shù)目而設(shè)定彩色和深度相機之間的固定同步時間差。舉例來說，dcos可為每一傳感器采用固定的幀每秒數(shù)目，以確定兩個匹配的傳感器之間的幀偏移(即，定時偏移)?？筛鶕?jù)處理器可用性或來自幀偏移的漂移檢測而(例如，通過再執(zhí)行選擇匹配)更新幀偏移。

在一個實施例中，響應(yīng)于同步一對圖像，實施例任選地變換所述對中的圖像中的一者以改進與另一(匹配)圖像的匹配。變換減少圖像對之間的任何剩余差異，從而進一步增加匹配準(zhǔn)確性。在一些實施例中，根據(jù)裝置的硬件配置或裝置上的處理器的當(dāng)前周期可用性而初始化變換。

圖1a是一個實施例中的可在其中實踐dcos的方面的系統(tǒng)的框圖。系統(tǒng)可以是裝置100，其可包含通用處理器161和/或類似者、dcos170和存儲器164。在一些實施例中，dcos170可進一步包含選擇器模塊171、改進模塊173、管理器模塊174、slam模塊175和深度處理器模塊176。裝置100還可包含耦合到一或多個總線177的數(shù)個裝置傳感器或進一步耦合到至少選擇器模塊171、改進模塊173、管理器模塊174、slam模塊175和深度處理器模塊176的信號線。為了清晰起見，獨立于處理器161和/或硬件162而說明dcos170(和所包含的模塊171到176)，但可基于而軟件165和固件163中的指令而在處理器161和/或硬件162中組合和/或?qū)嵤ヾcos170?？刂茊卧?60可經(jīng)配置以實施用于執(zhí)行如本文中所描述的dcos的方法。舉例來說，裝置100和控制單元160可經(jīng)配置以實施圖8中所描述的功能。

裝置100可以是：移動裝置、無線裝置、蜂窩電話、增強現(xiàn)實(ar)裝置、個人數(shù)字助理、可穿戴式裝置(例如，眼鏡、手表、帽子或類似身體附接裝置)、移動計算機、平板電腦、個人計算機、筆記本電腦、數(shù)據(jù)處理裝置/系統(tǒng)、或具有處理能力的任何類型的裝置。

裝置100可包含能夠顯現(xiàn)彩色圖像(包含3d圖像)的屏幕或顯示器112。在一些實施例中，顯示器112可用以顯示由相機114捕獲的實況圖像、增強現(xiàn)實(ar)圖像、圖形用戶接口(gui)、程序輸出等。在一些實施例中，顯示器180可包括和/或收容有觸摸屏，以準(zhǔn)許用戶經(jīng)由虛擬鍵盤、圖標(biāo)、菜單或其它圖形用戶接口(gui)、用戶手勢及/或輸入裝置(例如觸控筆和其它寫入工具)的某一組合輸入數(shù)據(jù)。在一些實施例中，可使用液晶顯示器(lcd)顯示器或發(fā)光二極管(led)顯示器(例如有機led(oled)顯示器)來實施顯示器112。在其它實施例中，顯示器112可以是可穿戴式顯示器，其可操作地耦合到裝置100中的其它功能單元但與其分開收容。在一些實施方案中，裝置100可包括用以準(zhǔn)許通過耦合到裝置100的監(jiān)視器顯示經(jīng)3d重構(gòu)的圖像的端口。

用戶接口150還可包含用戶可經(jīng)由其將信息輸入到裝置100中的鍵盤、小鍵盤152或其它輸入裝置。如果需要，通過觸摸屏/傳感器將虛擬小鍵盤集成到顯示器112中可免除鍵盤或小鍵盤152。舉例來說，如果裝置100是移動平臺(例如蜂窩電話)，那么用戶接口150還可包含麥克風(fēng)154和揚聲器156。裝置100可包含與本發(fā)明無關(guān)的其它元件，例如衛(wèi)星定位系統(tǒng)接收器、電力裝置(例如，電池)，以及通常與便攜式和非便攜式電子裝置相關(guān)聯(lián)的其它組件。

裝置100可充當(dāng)移動/便攜式平臺或無線裝置，且可經(jīng)由一或多個無線通信鏈路通過基于或以其它方式支持任何合適的無線通信技術(shù)的無線網(wǎng)絡(luò)來通信。舉例來說，在一些方面中，裝置100可以是客戶端或服務(wù)器，并且可與無線網(wǎng)絡(luò)相關(guān)聯(lián)。在一些方面中，網(wǎng)絡(luò)可包括人體局域網(wǎng)或個人局域網(wǎng)(例如，超寬帶網(wǎng)絡(luò))。在一些方面中，網(wǎng)絡(luò)可以包括局域網(wǎng)或廣域網(wǎng)。無線裝置可支持或以其它方式使用多種無線通信技術(shù)、協(xié)議或標(biāo)準(zhǔn)中的一或多者，例如，3g、lte、高級lte、4g、cdma、tdma、ofdm、ofdma、wimax和wi-fi。類似地，無線裝置可支持或以其它方式使用多種對應(yīng)調(diào)制或多路復(fù)用方案中的一或多者。移動無線設(shè)備可以無線方式與其它移動裝置、蜂窩電話、其它有線和無線計算機、因特網(wǎng)網(wǎng)站等通信。

如上文所描述，裝置100可以是便攜式電子裝置(例如，智能電話、專用增強現(xiàn)實(ar)裝置、游戲裝置或具有ar處理和顯示能力的其它裝置)。實施本文中所描述的ar系統(tǒng)的裝置可用于多種環(huán)境(例如，商場、街道、辦公室、家庭，或用戶可攜帶其便攜式裝置的任何地方)中。用戶可以在多種情況中與裝置100的多個特征介接。在ar情境中，用戶可使用其裝置來觀察現(xiàn)實世界的所顯示表示。用戶可通過使用其裝置的相機來與其具備ar能力的裝置交互，以接收現(xiàn)實世界圖像/視頻并以將額外或替代信息疊加到裝置上的所顯示的現(xiàn)實世界圖像/視頻上的方式來處理圖像。當(dāng)用戶在其裝置上觀察ar實施方案時，可在裝置顯示器上實時替代或更改現(xiàn)實世界對象或場景。虛擬對象(例如，文本、圖像、視頻)可插入到裝置顯示器上所描繪的場景的表示中。

在一些實施例中，裝置100可包括圖像傳感器，例如電荷耦合裝置(ccd)或互補型金屬氧化物半導(dǎo)體(cmos)傳感器和/或相機114，相機114在下文被稱為“彩色相機114”。彩色相機114可將光學(xué)圖像轉(zhuǎn)換為電子或數(shù)字圖像，且可將所捕獲圖像發(fā)送到處理器161。

一般來說，彩色相機114可以是提供“彩色信息”的彩色或灰度相機，而“深度信息”可以由深度傳感器(例如，深度傳感器115)提供。如本文所使用的術(shù)語“彩色信息”指彩色信息、灰度信息、單色信息、和/或類似者或其某一組合?？偟膩碚f，如本文所使用，彩色圖像或彩色信息可以看作包括1到n個信道，其中n是取決于用于存儲圖像的彩色空間的某個整數(shù)。舉例來說，rgb圖像可包括三個信道，各個信道具有紅色、藍色和綠色信息。

可使用深度傳感器(例如，深度傳感器115)以多種方式捕獲深度信息。術(shù)語“深度傳感器”用以指可用以從彩色相機114獨立地獲得深度信息的功能單元。舉例來說，深度傳感器115可物理安裝在與相機114相同的大概位置中，然而，深度傳感器115可在與相機114不同的頻率或幀率下操作。在一些實施例中，盡管在相同或大致相等的時間處被觸發(fā)或初始化，但深度傳感器115與相機114可捕獲不同場景。舉例來說，因為視角可能移位(例如，一個傳感器向另一個傳感器左或右)且每一相機的焦距可能不同，所以所得圖像可能不僅僅是在深度對彩色內(nèi)容方面不同。

作為另一個實例，深度傳感器115可呈耦合到裝置100的光源形式。在一個實施例中，光源可將結(jié)構(gòu)化或紋理化光圖案投影到場景中的對象上，光圖案可以由一或多個窄光帶構(gòu)成。接著可通過利用由物件的表面形狀引起的經(jīng)投影圖案的幾何失真來獲得深度信息。在一個實施例中，可從例如紅外結(jié)構(gòu)光投影儀與被注冊為rgb相機的紅外相機的組合等立體傳感器獲得深度信息。

在一些實施例中，裝置100可包括多個相機，例如雙重正面相機和/或正向和背向相機，所述相機還可以并入各種傳感器。在一些實施例中，相機可能夠捕獲靜態(tài)圖像和視頻圖像兩者。在一些實施例中，借助于非限制性實例，相機可以是能夠在30幀每秒(fps)下捕獲圖像的rgbd或立體攝影機。在一個實施例中，由相機捕獲的圖像可呈原始未經(jīng)壓縮格式，且可在被(進一步)處理和/或存儲于存儲器164中之前以某一方式被壓縮或以其它方式進行處理。在一些實施例中，可通過處理器161使用無損或有損壓縮技術(shù)來執(zhí)行圖像壓縮。

在一些實施例中，處理器161還可接收來自傳感器111的輸入。僅舉幾個實例，傳感器111可包括一或多個加速計、一或多個陀螺儀、一或多個磁力計和/或類似者。在某些情況下，加速計可包括3-d加速計，和/或陀螺儀可包括3-d陀螺儀。傳感器111可將速度、定向和/或其它位置相關(guān)信息提供到處理器161。在一些實施例中，傳感器111可借助于相機114和深度傳感器115輸出與每個圖像幀的捕獲相關(guān)聯(lián)的測量信息。在一些實施例中，傳感器111的輸出可部分地由處理器161使用以確定相機114和深度傳感器115和/或裝置100的位姿。

相機114的位姿指相機114相對于參考框架的位置和定向。在一些實施例中，可針對6個自由度(6dof)確定相機位姿，6dof指三個平移分量(其可由參考幀的坐標(biāo)的x、y、z坐標(biāo)給定)和三個角度分量(例如，相對于相同參考框架的橫搖、俯仰和偏航)。

在一些實施例中，可通過處理器161基于由相機114捕獲的圖像而使用視覺跟蹤解決方案來確定和/或跟蹤相機114和/或裝置100的位姿。舉例來說，在處理器161上運行的slam模塊175可實施并執(zhí)行基于計算機視覺的跟蹤、基于模型的跟蹤和/或slam方法。slam指一類技術(shù)，其中在形成環(huán)境的圖(例如，由裝置100建模的環(huán)境的圖)的同時跟蹤相對于所述圖的相機的位姿。在一些實施例中，通過slam模塊175實施的方法可基于由相機114捕獲的彩色或灰度圖像數(shù)據(jù)，且可用以產(chǎn)生相機的6dof位姿測量的估計。在一些實施例中，傳感器111的輸出可用以估計、校正和/或調(diào)整所估計位姿。另外，在一些實施例中，由相機114和深度傳感器115捕獲的圖像可用以為傳感器111重新校準(zhǔn)或執(zhí)行偏置調(diào)整。

在一個實施例中，dcos包含選擇模塊或引擎(例如，選擇器模塊171)以促進輸入圖像的配對。舉例來說，選擇器模塊171可確定哪些彩色圖像和深度圖像應(yīng)由匹配模塊172處理。下文更詳細(xì)地描述選擇器模塊171的其它細(xì)節(jié)。

在一個實施例中，dcos包含匹配模塊或引擎(例如，匹配模塊172)。匹配模塊172可在如下文更詳細(xì)描述的一對輸入圖像(例如，一個深度圖像相比于一個彩色圖像)之間執(zhí)行基于邊緣的匹配和/或基于深度的匹配。

在一個實施例中，dcos包含改進模塊或引擎(例如，改進模塊173)。改進模塊173可變換經(jīng)同步圖像對中的圖像(例如，深度或彩色圖像)，以進一步最小化匹配錯誤并增大圖像對之間的兼容性。舉例來說，改進模塊173可將深度圖像變換成看起來像是其在與經(jīng)同步對中的各別彩色圖像相同的位置處被取得的輸出。下文描述改進模塊173的其它細(xì)節(jié)。

在一個實施例中，dcos包含管理器模塊或引擎(例如，管理器模塊174)。管理器模塊174實施dcos的適應(yīng)性工作負(fù)荷功能性。舉例來說，管理器模塊174可確定裝置100的處理器和存儲器負(fù)荷，且向選擇器模塊171發(fā)送調(diào)整選擇策略的消息。下文描述管理器模塊174的適應(yīng)性工作負(fù)荷功能性的其它細(xì)節(jié)。

在一個實施例中，dcos包含深度處理器模塊或引擎(例如，深度處理器模塊176)。深度處理器模塊176可計算每一所接收深度相機圖像內(nèi)的個別點的深度。

在一個實施例中，dcos可執(zhí)行6dofslam(例如，slam模塊175)，其包含slam映射的跟蹤和映射。在一個實施例中，6dofslam(例如，6dof跟蹤)可使從關(guān)鍵幀所觀測的特征(例如，來自彩色相機114的輸入圖像)與slam映射相關(guān)聯(lián)。6dofslam(例如，6dof跟蹤)可使用特征點相關(guān)聯(lián)以確定與各別相機圖像相關(guān)的相機位置和定向(即，位姿)。6dof映射還可更新/維持slam映射。如上文所論述，由6dofslam維持的slam映射可含有從兩個或大于兩個關(guān)鍵幀三角測量的3d特征點。舉例來說，關(guān)鍵幀可選自圖像或視頻流，或經(jīng)饋入以表示所觀測場景。對于每一關(guān)鍵幀，dcos可計算與圖像相關(guān)聯(lián)的各別6dof相機位姿。dcos可通過將來自3d圖的特征投影到圖像或視頻幀中并依據(jù)所驗證2d-3d對應(yīng)性更新相機位姿來確定相機位姿。

在一個實施例中，dcos從關(guān)鍵幀圖像提取特征。如本文所使用的特征(例如，特征點或興趣點)是圖像的所關(guān)注或顯著部分。從所捕獲圖像提取的特征可沿著三維空間(例如，軸線x、y和z上的坐標(biāo))表示相異點，且每一特征點可具有相關(guān)聯(lián)特征位置。關(guān)鍵幀中的特征匹配或未能匹配所先前捕獲的關(guān)鍵幀的特征(即，與其相同或?qū)?yīng))。特征檢測可以是用以檢查每一像素來確定特征是否以具體像素存在的圖像處理操作。特征檢測可處理完整的所捕獲圖像，或替代地處理所捕獲圖像的某些部分(portion/part)。

對于每一所捕獲圖像或視頻幀，一旦已檢測到特征，那么可提取特征周圍的局部圖像分塊。可使用例如尺度不變特征變換(sift)等的熟知技術(shù)提取特征，所述技術(shù)局部化特征并產(chǎn)生其描述。如果需要，可使用其它技術(shù)，例如快速魯棒特征(surf)、梯度位置朝向直方圖(gloh)、歸一化互相關(guān)(ncc)或其它可比較技術(shù)。

圖1b說明一個實施例中的用于執(zhí)行dcos的方法的流程圖。在框181處，實施例(例如，dcos)接收具有第一和第二圖像類型的多個非同步且未經(jīng)識別的輸入圖像。舉例來說，第一類型可以是彩色相機類型且第二圖像類型可以是深度相機類型。

在框182處，實施例從第一圖像類型的輸入圖像選擇目標(biāo)圖像，并從第二圖像類型的輸入圖像選擇比較圖像。

在框184處，實施例同步目標(biāo)圖像與比較圖像。在一個實施例中，dcos可通過在框185處匹配目標(biāo)圖像特征與比較圖像特征或通過在框187處跟蹤3d坐標(biāo)并比較深度值來同步目標(biāo)圖像與比較圖像。

在框185處，實施例對目標(biāo)圖像和比較圖像執(zhí)行邊緣檢測。用于匹配目標(biāo)圖像特征與比較圖像特征的邊緣檢測是可在多種實施方案中起作用的靈活同步技術(shù)。在一個實施例中，dcos檢測由目標(biāo)圖像和比較圖像兩者共享的共同邊緣(例如，或其它圖像特征)。在一個實施例中，替代邊緣檢測，dcos隨時間推移使用2個或更多個彩色圖像來創(chuàng)建深度圖，且將深度圖與來自深度傳感器的深度圖匹配。

在一個實施例中，在執(zhí)行邊緣檢測之前，dcos通過首先確定來自框181的多個輸入圖像中的每一者的接收時間來設(shè)置比較隊列。dcos可創(chuàng)建包括來自多個輸入圖像的圖像的子集的比較隊列，其中比較隊列中的圖像的子集包括在從接收到目標(biāo)圖像起的閾值時間內(nèi)接收的第二圖像類型的圖像，且其中比較圖像是選自比較隊列。換句話說，這是因為每一圖像的準(zhǔn)確創(chuàng)建時間未知，且因此為了發(fā)現(xiàn)對在目標(biāo)圖像可以有用之前和之后的多個時間處所接收的圖像的經(jīng)同步對比較，dcos設(shè)置用以比較的圖像的范圍。舉例來說，可在時間c1處創(chuàng)建來自彩色相機的目標(biāo)圖像，然而，所述目標(biāo)圖像可到達用于在時間a1處由dcos進行處理。因為首先c1是在a1之前還是之后的時間未知，所以在其之前和之后到達的圖像可經(jīng)測試用于匹配，并且因此被輸入到比較隊列中。在一些實施例中，比較隊列由在接收目標(biāo)圖像之前和之后所接收的第二圖像類型的閾值數(shù)目個圖像限定。舉例來說，可以是1，意味著在接收目標(biāo)圖像之前所接收的比較圖像和在接收目標(biāo)圖像之后的比較圖像將測試用于與目標(biāo)圖像匹配。

在框187處，實施例跟蹤坐標(biāo)并比較深度值。舉例來說，替代在框185處匹配特征，dcos可執(zhí)行slam。在一些實施例中，替代在框185處匹配特征，可在跟蹤具有彩色圖像的3d參考圖時使用slam。在一個實施例中，dcos從彩色相機圖像類型的多個輸入圖像跟蹤三維(3d)坐標(biāo)，其中3d坐標(biāo)包含深度值。dcos在比較圖像內(nèi)確定具有幾何學(xué)上與目標(biāo)圖像中所跟蹤的坐標(biāo)等效的點的每個點的深度值。舉例來說，dcos可將3d坐標(biāo)投影到比較深度圖像。dcos可比較比較圖像內(nèi)的深度值與目標(biāo)圖像內(nèi)(所跟蹤)的深度值。在一些實施例中，dcos根據(jù)目標(biāo)圖像與比較圖像之間的深度值匹配的數(shù)目而確定兼容性得分。

在框189處，實施例使下一同步測試延遲某一閾值時間或圖像計數(shù)。舉例來說，響應(yīng)于在框184處同步目標(biāo)圖像與比較圖像，可確定兩個圖像之間的幀偏移。舉例來說，幀偏移可以是使ar系統(tǒng)知曉要按幀偏移值(例如，一個幀在前，兩個幀在后等)同步目標(biāo)圖像與比較圖像偏移的屬性。在一個實施例中，幀偏移是比較圖像的接收時間與目標(biāo)圖像的接收時間之間的定時偏移。dcos可參考定時偏移(例如，幀偏移)以確定下一經(jīng)同步對。

幀偏移可輔助dcos隨時間推移維持同步，而不是頻繁地執(zhí)行邊緣檢測或跟蹤3d坐標(biāo)來重建同步幀偏移。舉例來說，在一些實施方案中，彩色相機和深度相機可首先逐一個或兩個圖像幀在另一圖像類型前或后“不同步”。響應(yīng)于根據(jù)幀偏移而同步彩色傳感器輸出與深度傳感器輸出，同步可保持與偶然同步測試恒定，以驗證兩個圖像傳感器饋入不會變得“不同步”。

在框191處，實施例根據(jù)從目標(biāo)圖像或比較圖像中的一者或兩者所提取的參數(shù)而變換目標(biāo)圖像或比較圖像中的一者或兩者。舉例來說，dcos計算彩色幀與深度幀之間的直接變換，且接著用作通過經(jīng)估計變換變換深度幀，題匾在經(jīng)同步圖像對之間提供更好的重疊。在一些實施例中，dcos確定由于主機裝置的硬件配置文件或由于當(dāng)前處理器隊列(例如，裝置過載或繁忙)，應(yīng)省略執(zhí)行變換的外加成本。

圖2說明一個實施例中的固定速率彩色相機流和固定速率深度圖像流的接收時序。如圖2中所說明，在固定時間段c1到c8(205)中接收彩色圖像。舉例來說，如果彩色相機捕獲明亮或光線好的環(huán)境的圖像，那么彩色圖像相機可在大致相同的時間處捕獲并處理每一圖像。圖像捕獲時間可以恒定，這是因為(例如，經(jīng)由快門或滾動快門)用以捕獲額外光的更長/變化的曝光時間不是必要的，且不在幀間改變捕獲時間。如所說明，dcos可在220處初始化對彩色圖像的捕獲，且可在225處通過dcos接收彩色圖像捕獲。

在一些實施例中，深度傳感器并入有其自身的ir光源，且可具有用于每一幀的一致/恒定曝光時間。每一個別深度傳感器圖像的捕獲時間可與如由深度圖像d1到d8(210)的均勻間隔和恒定深度捕獲接收時間230指示相同或大致相同。

在一些實施例中，彩色圖像完成時間未知，例如，不存在確定何時創(chuàng)建圖像的可靠方式。因此，dcos可確定每一彩色圖像的接收時間，而不是完成時間。因此，由于來自相機傳感器的傳輸時延和其它延遲，接收時間可能不指示圖像捕獲時間。因為圖像捕獲時間可能未知，所以dcos使用如下文更詳細(xì)描述的用于同步傳入的圖像的多種方法。

圖3說明一個實施例中的具有可變彩色圖像幀的恒定深度圖幀的接收時序。如圖3中所說明，彩色相機114的未知且可變的處理時間330可接著320處的圖像捕獲的初始化。因此，可在某一稍后時間325處接收彩色捕獲c2。舉例來說，相機圖像可記錄光源與暗源的混合物，使得曝光時間在幀之間不同。因此，非同步增強現(xiàn)實系統(tǒng)可在不與實際捕獲各別彩色圖像的時間直接相關(guān)的時間時接收彩色圖像。

圖4說明一個實施例中的彩色圖像流與深度圖像流之間的時序和匹配。如圖4中所說明，彩色圖像405不與來自深度圖像410中的接收前或接收后深度圖像一貫地匹配。舉例來說，彩色圖像c5和彩色圖像c6都與深度圖像d6最好地匹配(分別是對425和430)，而彩色圖像c4與接收后深度圖像d5最好地匹配，且彩色圖像c7與接收前深度圖像d7最好地匹配。

圖5說明一個實施例中的具有固定柵選擇的彩色圖像(505)流與深度圖像(510)流之間的時序和匹配。在一個實施例中，dcos可響應(yīng)于比較一或多個可能經(jīng)同步對而確定最佳可用匹配偏移(例如，接收前幀、接收后幀、或某一其它位置或指定時間偏移)。在一個實施例中，dcos執(zhí)行對幀數(shù)目的最優(yōu)對選擇，且接著響應(yīng)于確定所得偏移恒定而設(shè)定預(yù)定時間段或幀計數(shù)的偏移。舉例來說，如圖5中所說明，dcos可(通過如在先前圖4中所描述的分析)確定c2和d2是最好兼容匹配，且將其分類為經(jīng)同步對。接下來，dcos可繼續(xù)確定最好匹配，并使c3與d3、c4與d4配對。接下來，dcos可確定使用鄰近和接收前深度幀的圖案有可能是將來經(jīng)同步對的彩色幀最好匹配，且繞過彩色圖像與深度圖像之間的后續(xù)匹配比較。因此，如圖5中所說明，可根據(jù)最好匹配520而確定對，且在經(jīng)過某些時間或經(jīng)過預(yù)定設(shè)定數(shù)目個圖像幀之后，dcos可使幀偏移525固定。響應(yīng)于使幀偏移固定，根據(jù)預(yù)定固定偏移而創(chuàng)建后續(xù)經(jīng)同步對。舉例來說，關(guān)于圖5，設(shè)定固定偏移以使彩色圖像幀與先前鄰近(根據(jù)接收時間)深度圖像配對。

圖6說明另一個實施例中的具有固定柵選擇的彩色圖像流與深度圖像流之間的時序和匹配。如圖6中所說明，彩色圖像605維持與深度圖像610的固定偏移。舉例來說，深度圖像與到達(根據(jù)接收時間)在深度圖像之后的兩個地點的彩色圖像同步。在其它實施例中，后續(xù)深度圖像(例如，下一圖像，接收時間之前的兩個圖像，或其它偏移)可以是最好匹配，而不是所說明的兩個圖像先前匹配。如所說明的兩個地點先前匹配只是彩色圖像流與深度圖像流之間的可能經(jīng)同步匹配的一個實例。

在一個實施例中，dcos跟蹤自從指派了配對偏移以來所經(jīng)過的時間或所處理的圖像數(shù)目。響應(yīng)于確定已經(jīng)過閾值時間量或圖像，dcos可確定下一目標(biāo)圖像與下一比較圖像之間的兼容性。舉例來說，響應(yīng)于10分鐘經(jīng)過而不確定漂移是否已從偏移發(fā)生，dcos可檢查一或多個經(jīng)同步對以確定先前圖像匹配偏移是否仍是最佳可能匹配。如果最好匹配仍由匹配偏移提供，那么下一時間閾值可擴展。舉例來說，dcos可確定匹配偏移是正確的，且將計數(shù)器設(shè)定為2分鐘，直到下一所啟動匹配為止。在一些實施例中，dcos可僅停用所有將來匹配，并無限地維持當(dāng)前匹配偏移。

在一些實施例中，偏移是特定移動裝置的初始硬件配置和傳感器配置的結(jié)果。舉例來說，移動裝置a可與傳感器b和c配對。dcos可確定用于同步移動裝置a上的傳感器b與c的偏移。如果在多種情形下維持偏移，那么其它匹配需要發(fā)生。因此，配置和所包含偏移可在具有帶有傳感器b和c的移動裝置a的客戶端的遠(yuǎn)程服務(wù)器上可用。

圖7說明一個實施例中的深度選擇。在一個實施例中，dcos與移動裝置(例如，裝置100)上的本地slam系統(tǒng)介接或與其集成。dcos可利用slam(或其它跟蹤系統(tǒng))以跟蹤所接收彩色圖像中的標(biāo)志或特征。slam系統(tǒng)中的跟蹤到的特征或標(biāo)志可具有已知2d坐標(biāo)和相關(guān)聯(lián)深度(例如，3d坐標(biāo))。深度還可被視為在空間上從某一點到在特定相機視角下在相機傳感器平面上所投影的點的距離。因此，dcos可確定由彩色相機傳感器捕獲的每一彩色圖像內(nèi)的每個點或像素、深度或相機距離。此深度可與由深度相機對于2d坐標(biāo)平面中的相同或類似位置處(例如，深度圖像中的x-y坐標(biāo)處)的點或像素所記錄的深度形成比較。在一個實施例中，除了獨立圖像同步/配對方法以外或作為所述方法，dcos還比較彩色圖像中的特征或標(biāo)志的深度與深度圖像中的相同位置處的深度。dcos可將經(jīng)同步對指派到具有深度值中的最少差異量的彩色圖像與深度圖像對。

如圖7的實例實施例中所說明，具有點“a”750和點“b”755的彩色圖像705可將一或多個點投影到一或多個深度圖像(例如，第一深度圖像710和第二深度圖像715)。點“a”750和點“b”在彩色圖像755中各自具有不同和唯一的x-y坐標(biāo)。點“a”750和點“b”755的x-y坐標(biāo)可用以在第一深度圖像710和第二深度圖像715內(nèi)發(fā)現(xiàn)等效點(例如，相同或類似x-y坐標(biāo)處的點)。dcos可比較這些等效x-y坐標(biāo)點的深度，并確定哪一深度圖像在深度上是最接近的匹配。舉例來說，點“a”750的深度可以是5尺，且相比于來自第二深度圖像715的具有4.9尺的深度的點“a”770，來自第一深度圖像710的點“b”760的深度可以是4.8尺。4.9尺的深度圖像深度值更接近5尺的彩色圖像深度(例如，通過由slam提供的3d坐標(biāo)值所確定)。因此，dcos可根據(jù)相比于其它深度圖像是最接近匹配的所選/特定點的深度值類似性而選擇第二深度圖像715作為最兼容的匹配。dcos還可測試一或多個其它點。舉例來說，dcos可測試/比較點“b”755的深度與一或多個深度圖像(例如，分別來自第一和第二深度圖像的點“b”765和點“b”775)內(nèi)的深度。dcos可測試彩色與深度圖像對內(nèi)的任何數(shù)目個點，以在選擇用于配對/匹配的兼容深度圖像之前確定深度值的總體、平均類似性。在一些實施例中，dcos可測試/比較第一點的深度，且如果那個深度點值比較不是決定性的(例如，多個深度圖像具有與彩色圖像深度值類似的值)，那么dcos可繼續(xù)測試額外點直道確定了最好匹配為止。

圖8說明另一個實施例中的用于執(zhí)行dcos的方法的流程圖。在框805處，實施例(例如，dcos)獲得包括第一圖像類型和不同于第一圖像類型的第二圖像類型的多個輸入圖像。圖像類型可以是深度相機圖像類型抑或彩色相機圖像類型。舉例來說，深度相機可產(chǎn)生深度圖像而彩色相機產(chǎn)生彩色(或灰度)圖像。可在與其它類型的圖像非同步的情況下獲得或接收每一圖像類型，且可在不具有對輸入圖像的實際創(chuàng)建時間的識別的情況下獲得或接收多個輸入圖像中的每一者。舉例來說，第一圖像的創(chuàng)建可在時間t1處發(fā)生，且用于處理到增強現(xiàn)實系統(tǒng)中的圖像的實際接收可在稍后時間t2處發(fā)生。

在框810處，實施例從第一圖像類型的輸入圖像選擇目標(biāo)圖像。舉例來說，目標(biāo)圖像可以是深度圖像或彩色圖像。

在框815處，實施例從第二圖像類型的輸入圖像選擇比較圖像。第二圖像類型可以是不同于與目標(biāo)圖像相關(guān)聯(lián)的第一圖像類型的圖像類型。舉例來說，如果目標(biāo)圖像是彩色圖像，那么dcos可選擇一或多個深度圖像以相對于目標(biāo)(例如，彩色)圖像進行比較或分析。

在框820處，實施例確定比較圖像是否與目標(biāo)圖像同步兼容。在一個實施例中，確定兼容性包含檢測在目標(biāo)圖像和比較圖像兩者中存在的幾何邊緣。邊緣檢測是確定由兩個不同相機類型捕獲的兩個場景之間的類似性的一個實例，然而，其它類型的匹配檢測也是可能的，且屬于本文中所描述的實施例的范圍內(nèi)。在其它實施例中，dcos執(zhí)行輸入彩色圖像的3d跟蹤，使得3d坐標(biāo)包含對于每一彩色圖像已知的深度值。因此，dcos可比較從彩色圖像的3d跟蹤(例如，slam跟蹤)獲得的深度值與從比較深度圖像內(nèi)的類似點所計算的深度值。

在框825處，響應(yīng)于確定比較圖像與目標(biāo)圖像同步兼容，實施例將目標(biāo)圖像與比較圖像識別為經(jīng)同步圖像對。舉例來說，同步目標(biāo)圖像與比較圖像可包含連結(jié)所述兩個圖像或使共同id或標(biāo)記與兩個圖像相關(guān)聯(lián)。

在一個實施例中，響應(yīng)于形成經(jīng)同步圖像對，dcos改進經(jīng)同步對以進一步最小化所述對的任何匹配錯誤。在一個實施例中，dcos通過根據(jù)從目標(biāo)圖像或比較圖像中的一者或兩者所提取的參數(shù)而變換目標(biāo)圖像或比較圖像中的一者或兩者來改進經(jīng)同步圖像對之間的匹配。鑒于彩色圖像c和深度圖d，變換θ最小化潛在匹配錯誤。舉例來說，如在下文的等式1中詳述：

關(guān)于等式1，xi是來自深度圖的幾何邊緣的輪廓點，xi是對應(yīng)于彩色圖像中的ei的輪廓點，且θ是6dof運動參數(shù)。

在框830處，實施例一起處理經(jīng)同步圖像對以用于增強現(xiàn)實輸出中。舉例來說，處理可包含在顯示器上顯示彩色圖像，同時并入有從深度圖像提取的深度信息。

如上文所描述，裝置100可以是便攜式電子裝置(例如，智能電話、專用增強現(xiàn)實(ar)裝置、游戲裝置，例如眼鏡等可穿戴式裝置、或具有ar處理和顯示能力的其它裝置)。實施本文所描述的ar系統(tǒng)的裝置可用于多種環(huán)境(例如商場、街道、房間，或用戶可使用便攜式裝置的任何地方)中。在ar情境中，用戶可使用裝置100來通過其裝置的顯示器觀察現(xiàn)實世界的表示。用戶可通過使用其裝置的相機來與其具備ar能力的裝置交互，以接收現(xiàn)實世界圖像/視頻并將額外或替代信息疊加或重疊到裝置上的所顯示的現(xiàn)實世界圖像/視頻上。當(dāng)用戶在其裝置上觀察ar實施方案時，可在裝置顯示器上實時替代或更改現(xiàn)實世界對象或場景。虛擬對象(例如，文本、圖像、視頻)可插入到裝置顯示器上所描繪的場景的表示中。

在一個實施例中，dcos處理裝置100的移動、來自彩色相機114的輸入、來自深度傳感器115的輸入以在slam映射中顯示目標(biāo)(例如，一或多個對象或場景)的經(jīng)更新實時增強。通過裝置遠(yuǎn)離初始參考圖像位置的運動，裝置可從交替視圖中捕獲額外的圖像。在提取特征并從額外關(guān)鍵幀三角測量之后，可實現(xiàn)增強的增加的準(zhǔn)確性(例如，對象周圍的邊界可更精確地擬合、場景中的對象的表示將顯得更真實，且目標(biāo)放置可相對于相機114位姿更準(zhǔn)確)。

在一個實施例中，dcos將對象或圖形插入或集成到由相機114捕獲且顯示于顯示器112上的視頻流或圖像中。dcos任選地促使用戶為了額外的信息而增強目標(biāo)。舉例來說，用戶可能夠添加用戶內(nèi)容以增強目標(biāo)的表示。用戶內(nèi)容可以是圖像、3d對象、視頻、文本，或可與目標(biāo)的表示集成或重疊或替代目標(biāo)的表示的其它內(nèi)容類型。

顯示器可借助于從原始場景的順暢跟蹤實時更新。舉例來說，標(biāo)志上的文本可用替代文本替代，或3d對象可在戰(zhàn)略上放入場景中且顯示于裝置100上。當(dāng)用戶改變相機114的位置和定向時，可調(diào)整或增強圖形或?qū)ο笠云ヅ湎鄼C114的相對移動。舉例來說，如果虛擬對象插入到增強實境顯示器中，那么遠(yuǎn)離虛擬對象的相機運動可減小虛擬對象相對于由相機114行進的距離的大小。舉例來說，與從虛擬對象退后半步相比，從虛擬對象退后四步應(yīng)引起虛擬對象大小的更大減小，所有其它變量是相同的。運動圖形或動畫可在由dcos表示的場景內(nèi)制成動畫。舉例來說，可在ar顯示器中所描繪的場景內(nèi)“移動”動畫對象。.本領(lǐng)域的技術(shù)人員將認(rèn)識到，可以除ar以外的方式(例如，機器人定位)實施本文中所描述的實施例。

dcos可實施為軟件、固件、硬件、模塊或引擎。在一個實施例中，通過裝置100中的通用處理器161實施先前dcos描述，以實現(xiàn)先前所要的功能(例如，至少是圖1b和圖8中所說明的方法)。在一個實施例中，dcos可實施為可包含額外子組件的引擎或模塊。在其它實施例中，所描述的子組件中的一或多者的特征可組合或分割成不同個別組件、模塊或引擎。

本文中的教示可并入到多種設(shè)備(例如，裝置)中(例如，在其內(nèi)實施或由其執(zhí)行)。在一個實施例中，dcos是由處理器執(zhí)行以接收圖像或視頻作為輸入的引擎或模塊。本文中所教示的一個或多個方面可并入到電話(例如，蜂窩電話)、個人數(shù)據(jù)助理(“pda”)、平板電腦、移動計算機、筆記本電腦、平板電腦、娛樂裝置(例如，音樂或視頻裝置)、頭戴式耳機(例如，頭戴受話器、聽筒等)、用戶i/o裝置、計算機、服務(wù)器、銷售點裝置、娛樂裝置、機頂盒或任何其它合適的裝置中。這些裝置可具有不同電力和數(shù)據(jù)要求且可導(dǎo)致針對每一特征或特征集合產(chǎn)生的不同電力分布。

在一些方面中，無線裝置可包括用于通信系統(tǒng)的接入裝置(例如，wi-fi接入點)。舉例來說，此接入裝置可經(jīng)由有線或無線通信鏈路通過收發(fā)器140(例如，例如因特網(wǎng)或蜂窩式網(wǎng)絡(luò)等廣域網(wǎng))提供到另一網(wǎng)絡(luò)的連接性。因此，接入裝置可以使得另一裝置(例如，wi-fi站)能夠接入另一網(wǎng)絡(luò)或一些其它功能性。另外，應(yīng)了解，所述裝置中的一者或兩者可以是便攜式的，或在一些情況下，是相對非便攜式的。

所屬領(lǐng)域的技術(shù)人員將理解，可以使用多種不同技術(shù)和技藝中的任一者來表示信息和信號。舉例來說，可通過電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合來表示在整個上文描述中可能參考的數(shù)據(jù)、指令、命令、信息、信號、位、符號和碼片。

所屬領(lǐng)域的技術(shù)人員將進一步了解，結(jié)合本文所揭示的實施例描述的各種說明性邏輯塊、模塊、引擎、電路和算法步驟可實施為電子硬件、計算機軟件或兩者的組合。為清楚地說明硬件與軟件的此互換性，上文已大致關(guān)于其功能性而描述了各種說明性組件、塊、模塊、引擎、電路和步驟。此功能性是實施為硬件還是軟件取決于特定應(yīng)用和施加于整個系統(tǒng)上的設(shè)計約束。熟練的技術(shù)人員可針對每一特定應(yīng)用以不同方式來實施所描述功能性，但此些實施決策不應(yīng)解釋為會導(dǎo)致脫離本發(fā)明的范圍。

在一或多個示范性實施例中，所描述的功能或模塊可以硬件(例如，硬件162)、軟件(例如，軟件165)、固件(例如，固件163)或其任何組合予以實施。如果以軟件實施為計算機程序產(chǎn)品，那么功能或模塊可存儲于非暫時性計算機可讀媒體上的一或多個指令(例如，程序指令或代碼)上或經(jīng)由所述指令傳輸。計算機可讀媒體可包含計算機存儲媒體和通信媒體兩者，通信媒體包含有助于將計算機程序從一處傳送到另一處的任何媒體。存儲媒體可以是可有計算機或數(shù)據(jù)處理裝置/系統(tǒng)存取的任何可用媒體。舉例來說且非限制，此些非暫時性計算機可讀媒體可包括ram、rom、eeprom、cd-rom或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置，或可用以攜載或存儲呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼且可由計算機存取的任何其它媒體。并且，任何連接被恰當(dāng)?shù)胤Q作計算機可讀媒體。舉例來說，如果使用同軸纜線、光纖纜線、雙絞線、數(shù)字訂戶線(dsl)或例如紅外線、無線電和微波等無線技術(shù)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，那么同軸纜線、光纖纜線、雙絞線、dsl或例如紅外線、無線電和微波等無線技術(shù)包含于媒體的定義中。如本文中所使用的磁盤和光盤包含壓縮光盤(cd)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(dvd)、軟磁盤和藍光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤使用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上各者的組合也應(yīng)包含于非暫時計算機可讀媒體的范圍內(nèi)。

提供對所揭示實施例的先前描述是為了使所屬領(lǐng)域的技術(shù)人員能夠制作或使用本文中的實施例。所屬領(lǐng)域的技術(shù)人員將容易了解對這些實施例的各種修改，且可在不脫離本文中所描述的實施例的精神或范圍的情況下將本文中定義的一般原理應(yīng)用于其它實施例。因此，本描述并不希望限于本文中所示的實施例，而應(yīng)被賦予與本文中所揭示的原理和新穎特征一致的最廣范圍。