本申請(qǐng)總體上涉及對(duì)單個(gè)圖像的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注。
背景技術(shù)：
：圖像中的深度估計(jì)通常用來(lái)估計(jì)在圖像景物中的對(duì)象與用來(lái)捕獲圖像的相機(jī)之間的距離。這常規(guī)地使用立體圖像或者專用深度傳感器(例如，飛行時(shí)間或者結(jié)構(gòu)光相機(jī))而被執(zhí)行以標(biāo)識(shí)對(duì)象、支持手勢(shì)等。因而，對(duì)專用硬件(比如立體相機(jī)或者專用深度傳感器)的這一依賴限制這些常規(guī)技術(shù)的可用性。圖像中的語(yǔ)義標(biāo)注用來(lái)向圖像中的像素指派標(biāo)簽以比如描述至少部分由像素代表的對(duì)象，比如天空、地面、建筑物等。這可以用來(lái)支持多種功能，比如圖像中的對(duì)象去除和替換、掩?；⒎指罴夹g(shù)等。然而，用來(lái)執(zhí)行語(yǔ)義標(biāo)注的常規(guī)方式通常與使用不同和無(wú)關(guān)技術(shù)的深度估計(jì)分離地或者依次地被解決、缺乏準(zhǔn)確性并且可能造成將在技術(shù)的執(zhí)行中的早期階段中形成的誤差傳播到以后階段。技術(shù)實(shí)現(xiàn)要素：描述了可用于處理單個(gè)圖像的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注技術(shù)。在一個(gè)或者多個(gè)實(shí)現(xiàn)方式中，由一個(gè)或者多個(gè)計(jì)算設(shè)備通過(guò)機(jī)器學(xué)習(xí)來(lái)估計(jì)圖像的景物的全局語(yǔ)義和深度布局。也由一個(gè)或者多個(gè)計(jì)算設(shè)備通過(guò)機(jī)器學(xué)習(xí)來(lái)估計(jì)用于圖像的景物的多個(gè)段中的相應(yīng)的段的局部語(yǔ)義和深度布局。由一個(gè)或者多個(gè)計(jì)算設(shè)備合并估計(jì)的全局語(yǔ)義和深度布局與局部語(yǔ)義和深度布局以語(yǔ)義地標(biāo)注圖像中的個(gè)別像素并且向個(gè)別像素指派深度值。在一個(gè)或者多個(gè)實(shí)現(xiàn)方式中，一種系統(tǒng)包括至少部分地在硬件中實(shí)施的一個(gè)或者多個(gè)計(jì)算設(shè)備。一個(gè)或者多個(gè)計(jì)算設(shè)備被配置為執(zhí)行操作，這些操作包括：通過(guò)機(jī)器學(xué)習(xí)來(lái)估計(jì)圖像的景物的全局語(yǔ)義和深度布局，將圖像分解成多個(gè)段，使用景物的估計(jì)的全局和語(yǔ)義深度布局來(lái)指導(dǎo)對(duì)多個(gè)段中的個(gè)別段的局部語(yǔ)義和深度部件的預(yù)測(cè)，并且聯(lián)合地形成圖像的其中向個(gè)別像素指派語(yǔ)義標(biāo)簽的語(yǔ)義地標(biāo)注的版本以及圖像的其中向個(gè)別像素指派深度值的深度圖。在一個(gè)或者多個(gè)實(shí)現(xiàn)方式中，一種系統(tǒng)包括至少部分地在硬件中實(shí)施的全局確定模塊，該全局確定模塊被配置為通過(guò)機(jī)器學(xué)習(xí)估計(jì)圖像的景物的全局語(yǔ)義和深度布局。該系統(tǒng)也包括至少部分地在硬件中實(shí)施的局部確定模塊，該局部確定模塊被配置為通過(guò)機(jī)器學(xué)習(xí)估計(jì)用于圖像的景物的多個(gè)段中的相應(yīng)的段的局部語(yǔ)義和深度布局。該系統(tǒng)還包括合并計(jì)算模塊，該合并計(jì)算模塊被配置為合并估計(jì)的全局語(yǔ)義和深度布局與局部語(yǔ)義和深度布局以語(yǔ)義地標(biāo)注圖像中的個(gè)別像素并且向個(gè)別像素指派深度值。這一
發(fā)明內(nèi)容以簡(jiǎn)化的形式介紹以下在具體實(shí)施方式中進(jìn)一步描述的概念選集。這樣，這一
發(fā)明內(nèi)容未旨在于標(biāo)識(shí)要求保護(hù)的主題內(nèi)容的實(shí)質(zhì)特征，它也未旨在于在確定要求保護(hù)的主題內(nèi)容的范圍時(shí)用作輔助。附圖說(shuō)明參照附圖描述具體實(shí)施方式。在各圖中，標(biāo)號(hào)的最左位標(biāo)識(shí)標(biāo)號(hào)首次出現(xiàn)的圖。在描述和各圖中的不同實(shí)例中使用相同標(biāo)號(hào)可以指示相似或者相同項(xiàng)目。在各圖中表示的實(shí)體可以指示一個(gè)或者多個(gè)實(shí)體，因此可以在討論中可互換地引用實(shí)體的單數(shù)或者復(fù)數(shù)形式。圖1是如下環(huán)境的圖示，在該環(huán)境中，示例實(shí)現(xiàn)方式可操作用于運(yùn)用這里描述的技術(shù)，這些技術(shù)可用來(lái)執(zhí)行對(duì)單個(gè)圖像的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注。圖2描繪了示例實(shí)現(xiàn)方式中的系統(tǒng)，該實(shí)現(xiàn)方式更具體地示出了圖1的深度和語(yǔ)義分割模塊的模版生成模塊的操作。圖3描繪了示例實(shí)現(xiàn)方式中的系統(tǒng)，該實(shí)現(xiàn)方式更具體地示出了圖1的深度和語(yǔ)義分割模塊的全局確定模塊的操作。圖4描繪了示例實(shí)現(xiàn)方式中的系統(tǒng)，該實(shí)現(xiàn)方式更具體地示出了圖1的深度和語(yǔ)義分割模塊的局部確定模塊和合并計(jì)算模塊的操作。圖5描繪了被實(shí)施為常規(guī)神經(jīng)網(wǎng)絡(luò)以根據(jù)全局模版池對(duì)圖像進(jìn)行分類的機(jī)器學(xué)習(xí)的示例。圖6描繪了用來(lái)得到對(duì)全局語(yǔ)義和深度部件的估計(jì)的全局模版的組合的示例。圖7描繪了多級(jí)分割的示例實(shí)現(xiàn)方式，該多級(jí)分割可用作對(duì)局部語(yǔ)義和深度部件的確定的部分。圖8描繪了對(duì)從圖像取得的每個(gè)段到多個(gè)局部模版中的每個(gè)局部模版的仿射分?jǐn)?shù)的計(jì)算的示例實(shí)現(xiàn)方式。圖9描繪了如下實(shí)現(xiàn)方式，該實(shí)現(xiàn)方式示出了用于段的預(yù)測(cè)結(jié)果的示例。圖10描繪了被視為從相鄰超像素的在兩個(gè)定界框的重疊區(qū)域內(nèi)的深度偏移的光滑度。圖11描繪了如下示例實(shí)現(xiàn)方式，其中對(duì)于在室外和室內(nèi)圖像中的使用而比較這里描述的技術(shù)。圖12描繪了如下示例實(shí)現(xiàn)方式，該示例實(shí)現(xiàn)方式示出了從圖像生成的語(yǔ)義地標(biāo)注的圖像和深度圖。圖13和圖14提供了用于室內(nèi)圖像的定性結(jié)果。圖15是描繪了示例實(shí)現(xiàn)方式中的過(guò)程的流程圖，在該過(guò)程中，描述了可用于處理單個(gè)圖像的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注技術(shù)。圖16是描繪了示例實(shí)現(xiàn)方式中的過(guò)程的另一流程圖，在該過(guò)程中，描述了可用于處理單個(gè)圖像的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注技術(shù)。圖17圖示了包括示例設(shè)備的各種部件的示例系統(tǒng)，該示例設(shè)備可以被實(shí)施為如描述的任何類型的計(jì)算設(shè)備和/或參照?qǐng)D1至圖16以用來(lái)實(shí)施這里描述的技術(shù)的實(shí)施例。具體實(shí)施方式概述語(yǔ)義分割和深度估計(jì)是圖像理解中的兩個(gè)基本問(wèn)題。盡管已經(jīng)發(fā)現(xiàn)兩個(gè)任務(wù)強(qiáng)烈相關(guān)并且互利，但是這些問(wèn)題常規(guī)地使用不同技術(shù)而被分離地或者依次地解決，這造成不一致、誤差和不準(zhǔn)確。在下文中，觀察來(lái)自兩個(gè)任務(wù)的典型失敗情況的互補(bǔ)效果，該互補(bǔ)效果造成對(duì)可用于單個(gè)圖像的用于聯(lián)合語(yǔ)義分割和深度估計(jì)的統(tǒng)一粗略到精細(xì)框架的描述。例如，提出了如下框架，該框架首先通過(guò)機(jī)器學(xué)習(xí)來(lái)預(yù)測(cè)由語(yǔ)義標(biāo)簽和深度值(例如，絕對(duì)深度值)組成的粗略全局模型以代表圖像的總體上下文。語(yǔ)義標(biāo)簽描述“什么”由圖像中的相應(yīng)像素代表，例如，天空、植物、地面、墻壁、建筑物等。深度值描述在用來(lái)捕獲圖像中的景物的相機(jī)與由像素代表的在景物中的相應(yīng)對(duì)象之間的距離，例如，在由圖像捕獲的景物中的“z”距離。圖像然后被分割，并且通過(guò)嵌入全局模型，也使用機(jī)器學(xué)習(xí)來(lái)預(yù)測(cè)用于相應(yīng)局部分割中的每個(gè)像素的語(yǔ)義標(biāo)簽和深度值，并且學(xué)習(xí)語(yǔ)義標(biāo)簽以局部地標(biāo)記在段內(nèi)的像素。深度值一個(gè)接一個(gè)地對(duì)于在段內(nèi)的相對(duì)性而被歸一化，并且因此未描述絕對(duì)距離值，而是實(shí)際上描述在段內(nèi)的像素之間的深度關(guān)系。對(duì)于用于語(yǔ)義標(biāo)簽的段和來(lái)自段的深度值的預(yù)測(cè)然后被合并并且例如通過(guò)有條件隨機(jī)場(chǎng)(CRF)由來(lái)自全局模型的語(yǔ)義標(biāo)簽和深度值指導(dǎo)。這產(chǎn)生精細(xì)級(jí)估計(jì)以形成其中向圖像中的每個(gè)像素給予語(yǔ)義標(biāo)簽的語(yǔ)義地標(biāo)注的圖像以及其中向圖像中的每個(gè)像素指派深度值的深度圖，該深度值代表在相機(jī)與由像素代表的對(duì)象之間的絕對(duì)值。另外，通過(guò)實(shí)行在深度值與語(yǔ)義標(biāo)簽之間的一致性標(biāo)簽并且通過(guò)使用來(lái)自全局上下文的指導(dǎo)，這些技術(shù)有效地利用這兩個(gè)組成標(biāo)簽提供總體常規(guī)技術(shù)的現(xiàn)有技術(shù)結(jié)果。也可以運(yùn)用附加技術(shù)作為這一聯(lián)合估計(jì)的部分以比如如在下文中進(jìn)一步描述的那樣在模版分類上下文中執(zhí)行機(jī)器學(xué)習(xí)、平滑語(yǔ)義標(biāo)簽中的值和深度值、在圖像內(nèi)實(shí)行對(duì)象邊界等。在以下討論中，首先描述了可以運(yùn)用這里描述的技術(shù)的示例環(huán)境。然后描述了可以在示例環(huán)境以及其它環(huán)境中執(zhí)行的示例過(guò)程。因而，對(duì)示例過(guò)程的執(zhí)行不限于示例環(huán)境而示例環(huán)境不限于對(duì)示例過(guò)程的執(zhí)行。示例環(huán)境圖1是示例實(shí)現(xiàn)方式中的環(huán)境100的圖示，該環(huán)境可操作用于運(yùn)用這里描述的技術(shù)，這些技術(shù)可用來(lái)執(zhí)行對(duì)單個(gè)圖像的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注。所示環(huán)境100包括可以按照多種方式配置的計(jì)算設(shè)備102。計(jì)算設(shè)備102例如可以被配置為臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、移動(dòng)設(shè)備(例如，假設(shè)如圖所示的手持配置，比如平板計(jì)算機(jī)或者移動(dòng)電話)等。因此，計(jì)算設(shè)備102可以范圍從具有大量存儲(chǔ)器和處理器資源的全資源設(shè)備(例如，個(gè)人計(jì)算機(jī)、游戲控制臺(tái))到具有有限存儲(chǔ)器和/或處理資源的低資源設(shè)備(例如，移動(dòng)設(shè)備)。附加地，雖然示出了單個(gè)計(jì)算設(shè)備102，但是計(jì)算設(shè)備102可以代表多個(gè)不同設(shè)備，比如由企業(yè)用來(lái)“在云上”執(zhí)行如關(guān)于圖17進(jìn)一步描述的操作的多個(gè)服務(wù)器。計(jì)算設(shè)備102被圖示為包括多種硬件部件，這些硬件部件的示例包括處理系統(tǒng)104、被圖示為存儲(chǔ)器106的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例、顯示設(shè)備108、可用來(lái)捕獲圖像112的相機(jī)110等。處理系統(tǒng)104代表用于通過(guò)執(zhí)行在存儲(chǔ)器106中存儲(chǔ)的指令來(lái)執(zhí)行操作的功能。雖然被分離地圖示，但是可以對(duì)這些部件的功能進(jìn)一步劃分、組合(例如，在專用集成電路上)等。處理系統(tǒng)104被圖示為執(zhí)行可在存儲(chǔ)器106中存儲(chǔ)的并且這樣至少部分的在硬件中實(shí)施的深度和語(yǔ)義分割模塊114。深度和語(yǔ)義分割模塊114可由處理系統(tǒng)104執(zhí)行以引起執(zhí)行一個(gè)或者多個(gè)操作。也設(shè)想了其它實(shí)現(xiàn)方式，比如被實(shí)施為專用硬件部件(例如專用集成電路、固定邏輯電路裝置)、“在云116之上”實(shí)施等。深度和語(yǔ)義分割模塊114代表用于取得單個(gè)圖像118(可以對(duì)應(yīng)于或者可以不對(duì)應(yīng)于圖像112)并且從該圖像118生成語(yǔ)義地標(biāo)注的圖像120和深度圖122的功能。語(yǔ)義地標(biāo)注的圖像120描述“什么”由圖像118中的個(gè)別像素代表，例如，如對(duì)于圖像118圖示的樹、房屋、地面和天空。深度圖122包括絕對(duì)深度值，這些絕對(duì)深度值指示由圖像118中的相應(yīng)像素代表的對(duì)象位于距捕獲圖像118的相機(jī)110多遠(yuǎn)，即，“z”距離。雖然相機(jī)110被圖示為計(jì)算設(shè)備102的部分，但是應(yīng)當(dāng)清楚圖像118可以由其它設(shè)備捕獲并且被存儲(chǔ)在計(jì)算設(shè)備102上和/或在云116之上用于處理。為了執(zhí)行對(duì)圖像118的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注，深度和語(yǔ)義分割模塊114運(yùn)用多種不同功能。這一功能的示例包括模版生成模塊124，該模版生成模塊124可用來(lái)生成全局和局部模版，這些模版在機(jī)器學(xué)習(xí)中用作分類問(wèn)題的部分以得到用于圖像118的深度值和語(yǔ)義標(biāo)簽，在下文中的對(duì)圖2的描述中包括其進(jìn)一步討論。也設(shè)想了如在下文中進(jìn)一步描述的未運(yùn)用模版的其它示例。這一功能的附加示例包括全局和局部確定模塊126、128，這些模塊可用來(lái)分別估計(jì)全局和局部語(yǔ)義標(biāo)簽和深度值以形成全局和局部語(yǔ)義和深度布局，并且因此遵循粗略到精細(xì)過(guò)程。在對(duì)圖3和圖4的討論中包括了對(duì)全局和局部語(yǔ)義和深度布局確定的進(jìn)一步描述。這一功能的又一示例被圖示為合并計(jì)算模塊130，該合并計(jì)算模塊130可用來(lái)合并全局和局部語(yǔ)義和深度布局以得到語(yǔ)義地標(biāo)注的圖像120和深度圖122，在下文中的對(duì)圖4的對(duì)應(yīng)描述中包括其進(jìn)一步討論。在下文中，示出了通過(guò)利用語(yǔ)義標(biāo)簽和深度值二者的聯(lián)合訓(xùn)練，實(shí)現(xiàn)了在語(yǔ)義與深度預(yù)測(cè)之間的一致性。此外，全局到局部策略保留用于生成全局合理結(jié)果的長(zhǎng)范圍上下文，該上下文維持段邊界信息。另外，如以下描述的機(jī)器學(xué)習(xí)技術(shù)在圖像和段的大外觀變化之下提供健壯估計(jì)。語(yǔ)義地標(biāo)注的圖像120和深度圖122可用來(lái)支持多種功能，比如對(duì)象檢測(cè)、對(duì)象識(shí)別和姿態(tài)估計(jì)、透鏡模糊、圖像內(nèi)涂、對(duì)象去除、用于圖形使用的機(jī)器人和再點(diǎn)燃等?，F(xiàn)在將主要地參照?qǐng)D2至圖4以描述圖1的模版生成模塊124、全局確定模塊126、局部確定模塊128和合并計(jì)算模塊130的功能的相互關(guān)系。給定如圖3中所示的圖像118，全局確定模塊126首先使用機(jī)器學(xué)習(xí)以估計(jì)全局語(yǔ)義和深度布局302、304，這可以使用全局和局部模版或者其它技術(shù)而被執(zhí)行。在所示的示例中，全局語(yǔ)義布局302被示出為給定對(duì)在中心的建筑物、在圖像112的底部的地面和在圖像的頂部的天空的粗略估計(jì)，并且因此圖像中的像素被粗略地語(yǔ)義地標(biāo)注為對(duì)應(yīng)于特定對(duì)象。此外，全局確定模塊126也生成圖像的全局深度布局304(該全局深度布局如以上描述的那樣給定用于圖像中的像素的絕對(duì)深度值)，并且因此提供在由像素代表的對(duì)象與用來(lái)捕獲圖像118的相機(jī)110之間的“z”距離一旦已經(jīng)生成了全局語(yǔ)義和深度布局302、304，深度和語(yǔ)義分割模塊114然后使用局部確定模塊128將圖像112分割成多個(gè)段，這可以包括多級(jí)分割，其中為圖像118生成不同段大小。局部確定模塊128然后個(gè)別地生成用于段的局部語(yǔ)義和深度布局以比如描述段的大多數(shù)是否代表地面、建筑物的部分或者植物。局部深度布局描述用于段中的像素的相對(duì)深度值，這些相對(duì)深度值描述像素相對(duì)于彼此的深度(例如，局部深度轉(zhuǎn)變)，但不是如以上描述的“z”距離的絕對(duì)值。深度和語(yǔ)義分割模塊114然后運(yùn)用合并計(jì)算模塊130以合并全局和局部語(yǔ)義布局以形成語(yǔ)義地標(biāo)注的圖像120并且合并全局和局部深度布局以形成深度圖122。合并計(jì)算模塊130通過(guò)將來(lái)自局部語(yǔ)義布局中的段的語(yǔ)義預(yù)測(cè)組合成在段之間平滑的并且由全局語(yǔ)義布局指導(dǎo)的精化的語(yǔ)義預(yù)測(cè)圖來(lái)構(gòu)造語(yǔ)義地標(biāo)注的圖像120。附加地，合并計(jì)算模塊130通過(guò)利用全局深度布局的絕對(duì)深度值和來(lái)自局部深度部件的相對(duì)深度值將段的局部深度轉(zhuǎn)變組合成精化的深度圖122。為了執(zhí)行這些技術(shù)，深度和語(yǔ)義分割模塊114可以運(yùn)用多種不同機(jī)器學(xué)習(xí)212技術(shù)，比如常規(guī)神經(jīng)網(wǎng)絡(luò)(CNN)、支持矢量回歸(SVR)等。例如，深度和語(yǔ)義分割模塊114可以使用多個(gè)神經(jīng)層來(lái)運(yùn)用機(jī)器學(xué)習(xí)212以學(xué)習(xí)模型，該模型直接地預(yù)測(cè)用于圖像112中的每個(gè)像素的語(yǔ)義標(biāo)簽和深度值。在另一示例中，模版生成模塊124可以用來(lái)生成從訓(xùn)練數(shù)據(jù)生成并且可用來(lái)通過(guò)分類問(wèn)題指導(dǎo)機(jī)器學(xué)習(xí)212過(guò)程的全局和局部模版，在下文中進(jìn)一步描述生成模版的示例。圖2描繪了示例實(shí)現(xiàn)方式中的系統(tǒng)200，該實(shí)現(xiàn)方式更具體地示出了圖1的模版生成模塊124的操作。模版生成模塊124代表如下功能，該功能可用來(lái)運(yùn)用機(jī)器學(xué)習(xí)212(例如，經(jīng)由常規(guī)神經(jīng)網(wǎng)絡(luò))以處理圖像以得到可用來(lái)使用全局模版206來(lái)描述由圖像捕獲的景物的全局模型204。模版生成模塊124也代表如下功能，該功能可用來(lái)生成局部模型208，該局部模型使用局部模型208和對(duì)應(yīng)的局部模版210來(lái)描述景物的在來(lái)自圖像118的段內(nèi)的部分。在支持這里描述的技術(shù)時(shí)，已經(jīng)觀察到自然景物圖像包含在全局上下文中的某些布局，比如街道景色、海洋、風(fēng)景、樹、建筑物等。因此，可以作為模版分類問(wèn)題解決對(duì)圖像118的語(yǔ)義標(biāo)簽和深度部件的整體預(yù)測(cè)，其中通過(guò)匹配圖像118與對(duì)應(yīng)全局模版206來(lái)處理圖像118以便學(xué)習(xí)用于圖像118中的景物的很可能的語(yǔ)義標(biāo)簽和深度值。為了生成全局模版206(這些全局模版206形成全局模型204)，模版生成模塊124利用機(jī)器學(xué)習(xí)212以處理訓(xùn)練圖像202以學(xué)習(xí)全局模版，這些全局模版粗略地描述全局語(yǔ)義布局214，該全局語(yǔ)義布局將個(gè)別像素標(biāo)注為對(duì)應(yīng)于語(yǔ)義地描述的對(duì)象類型，例如，天空、地面、植物、建筑物等。也執(zhí)行機(jī)器學(xué)習(xí)212以聯(lián)合地學(xué)習(xí)全局深度值的全局深度布局216，該全局深度布局216描述在由圖像捕獲的景物中的對(duì)象相對(duì)于捕獲圖像的相機(jī)110而言的絕對(duì)距離。例如，相似陰影和/或顏色可以用來(lái)代表景物中的相似“z”深度。內(nèi)核k均值(k-means)技術(shù)用來(lái)利用從在與圖2的數(shù)據(jù)集中的每個(gè)訓(xùn)練圖像202關(guān)聯(lián)的語(yǔ)義標(biāo)簽實(shí)測(cè)值(groundtruth)和深度實(shí)測(cè)值的距離形成全局模版206。在形式上，在圖像Ii與Ij之間的距離可以記為如下：k(Ii，Ij)＝λ1||Isi-Isj||0+λ2||logIdi-logIdj||1(l)其中是Isi和Idi分別是圖像Ii的實(shí)測(cè)值語(yǔ)義標(biāo)簽和深度。具體而言，實(shí)測(cè)值被重設(shè)大小為五十個(gè)像素×五十個(gè)像素的大小以避免來(lái)自小局部變化的影響。此外，如在圖5的示例實(shí)現(xiàn)方式中所示的，用于室內(nèi)502和室外504景物的集群被分離為不同深度比例和不同語(yǔ)義標(biāo)簽數(shù)目。對(duì)于室外504，初始集群數(shù)目被設(shè)置為七十。為了包括模版的足夠變化和避免無(wú)關(guān)值，在這一示例中為每個(gè)類設(shè)置最大數(shù)目(300)和最小數(shù)目(10)。分別地，如果在以內(nèi)的圖像數(shù)目大于三百，則內(nèi)核k均值技術(shù)將類分類成三個(gè)子類，而如果圖像數(shù)目小于十，則被刪減。在擁有了全局模版206的池后，每個(gè)訓(xùn)練圖像202基于來(lái)上式1的距離而被指派到全局模版206中的相應(yīng)全局模版中，并且機(jī)器學(xué)習(xí)212分類器被調(diào)節(jié)以將每個(gè)圖像分類成全局模版之一。圖3描繪了示例實(shí)現(xiàn)方式中的系統(tǒng)300，其中示出了深度和語(yǔ)義分割模塊114的全局確定模塊126的操作以計(jì)算用于圖像118的全局語(yǔ)義和深度布局302、304。如先前描述的那樣，全局確定模塊126得到圖像118的語(yǔ)義標(biāo)簽的粗略描述，該粗略描述被表達(dá)為全局語(yǔ)義布局302。在所示示例中，全局語(yǔ)義布局302主要地描述天空、建筑物和地面。類似地，全局確定模塊126得到圖像118的全局深度布局304的粗略描述，該粗略描述如圖所示指示地面最近并且在z方向上漸遠(yuǎn)，并且建筑物也在z方向上隨著天空更遠(yuǎn)而漸遠(yuǎn)。為了執(zhí)行這一估計(jì)，全局確定模塊126作為示例運(yùn)用全局模版206作為機(jī)器學(xué)習(xí)212的部分以對(duì)全局模版206的與圖像118對(duì)應(yīng)的一個(gè)或者多個(gè)全局模版進(jìn)行定位。這些全局模版206因此具有將用于圖像的正確語(yǔ)義標(biāo)簽和深度值分別提供作為全局語(yǔ)義布局和全局深度布局的可能性。更在形式上地，如在圖5的示例實(shí)現(xiàn)方式500中所示，通過(guò)機(jī)器學(xué)習(xí)212(例如，學(xué)習(xí)的CNN)，根據(jù)全局模版206的池以某個(gè)置信度對(duì)圖像118進(jìn)行分類以便確定表達(dá)為全局語(yǔ)義布局的用于相似的全局語(yǔ)義標(biāo)簽。給定圖像I，機(jī)器學(xué)習(xí)212作為全局機(jī)器學(xué)習(xí)分類器C操作以將圖像118分類成多個(gè)全局模版206中的相應(yīng)全局模版，其中N是生成的模版數(shù)目而Ti是m×n×2矩陣，其中m×n是模版大小標(biāo)簽它級(jí)聯(lián)語(yǔ)義圖Si和深度圖Di。然而，實(shí)際上，圖像i的全局模版Ti可能與圖像布局不相配，因?yàn)樗穷愔行谋硎?。因此，取代使用單個(gè)模版，前K個(gè)全局模版206的組合可以用來(lái)用從機(jī)器學(xué)習(xí)212獲得的分類分?jǐn)?shù)代表圖像。圖6描繪了這樣的全局模版組合的示例600，該全局模版組合用于得到對(duì)全局語(yǔ)義和深度部件的估計(jì)。對(duì)于圖像602，組合來(lái)自相應(yīng)全局模版的全局語(yǔ)義布局604、606、608以形成比任何一個(gè)個(gè)別全局模版更準(zhǔn)確地描述圖像602的語(yǔ)義布局的全局語(yǔ)義布局610。類似地，組合描述全局深度布局612、614、616的全局模版以形成比模版中的任何特定模版更準(zhǔn)確地描述圖像602中的對(duì)象的深度的全局深度布局618。圖示了用于圖像620的另一示例，其中組合全局語(yǔ)義布局622、624、626以形成全局語(yǔ)義布局628以提供圖像620中的語(yǔ)義標(biāo)簽的概率標(biāo)簽組合全局深度布局630、632、634以形成全局深度布局636。在形式上，給定前K個(gè)模版和對(duì)應(yīng)的分?jǐn)?shù)Sj，產(chǎn)生全局概率布局Iti，其中Iti是m×n×d矩陣，m、n是全局模版尺度，并且d＝ds+dd，其中ds是語(yǔ)義標(biāo)簽的數(shù)目并且dd是組合的深度圖，該深度圖指示模版級(jí)聯(lián)在語(yǔ)義標(biāo)簽內(nèi)的概率分布和用于每個(gè)像素的組合的深度值在形式上，對(duì)于語(yǔ)義標(biāo)簽c，給定第j個(gè)預(yù)測(cè)，獲得表達(dá)式P(c|x)j＝e(Sj(x))，并且在每個(gè)分布內(nèi)是P(c|x)＝∑jsjP(c|x)j/∑jsj。對(duì)于深度，x的深度值被計(jì)算為來(lái)自所有全局模版的深度值的線性組合，即，d(x)＝∑jsjDj(x)＝∑jsj。在一個(gè)或者多個(gè)實(shí)現(xiàn)方式中，訓(xùn)練機(jī)器學(xué)習(xí)，從而取代簡(jiǎn)單分類損失，比較每個(gè)圖像的距離(例如，相似度)與模版(例如，全局或者局部)。在形式上，描述每個(gè)圖像的粗略布局為全局模版的稀疏合成，即，Iti＝wiH,其中H是級(jí)聯(lián)T中的所有模版的矩陣。機(jī)器學(xué)習(xí)訓(xùn)練損失因此對(duì)于圖像i是||wci-wi||然后例如機(jī)器學(xué)習(xí)用來(lái)預(yù)測(cè)組合代碼wci，并且通過(guò)wiH生成全局布局。圖7描繪了多級(jí)分割的示例實(shí)現(xiàn)方式700，該多級(jí)分割可用作對(duì)局部語(yǔ)義和深度部件的確定的部分。多級(jí)分割可以用來(lái)捕獲上下文和外觀信息的級(jí)別。這可以包括改變段參數(shù)和改變閾值以及來(lái)自外觀、語(yǔ)義邊緣和空間信息的信息以生成緊湊、語(yǔ)義有意義段。在形式上，將圖像702分割成350個(gè)超像素。同時(shí)，閉合形式邊緣技術(shù)用來(lái)生成具有包圍的強(qiáng)邊界的語(yǔ)義邊緣圖704。然后，內(nèi)核k均值技術(shù)用來(lái)將相似段集群成多個(gè)級(jí)別708、710(例如具有十五、三十和五十個(gè)段)而距離如下：k(Si，Sj)＝λ1Geo(Si，Sj)+λ2||fsi-fsj||(3)其中Geo(Si，Sj)是Si和Sj在語(yǔ)義邊緣圖內(nèi)的測(cè)地距離，而是段Si的局部外觀特征，該局部外觀特征由在段以內(nèi)的像素RGB的均值和協(xié)方差組成?，F(xiàn)在將參照?qǐng)D2以討論由模版生成模塊124的局部模版210生成。與全局模版預(yù)測(cè)相似，可以用公式將局部模版210生成表示為模版分類問(wèn)題。為了生成局部模版210，模版生成模塊124考慮語(yǔ)義和深度信息二者以保證一致性。局部模版210在描述用于圖像的段的局部語(yǔ)義布局時(shí)通常地對(duì)應(yīng)于單個(gè)語(yǔ)義標(biāo)簽。這樣，局部模版的局部語(yǔ)義布局與單個(gè)對(duì)象有關(guān)，并且段中的像素中的每個(gè)像素語(yǔ)義地被標(biāo)記為對(duì)應(yīng)于該對(duì)象，例如，植物、地面、天空、豎直等。局部模版210的局部深度部件218描述段內(nèi)的像素相對(duì)于彼此的相對(duì)深度值。在形式上，給定段S，從實(shí)測(cè)值向段指派單個(gè)語(yǔ)義標(biāo)簽s(S)和深度轉(zhuǎn)變d(S)。選擇如下語(yǔ)義標(biāo)簽，該語(yǔ)義標(biāo)簽代表在段內(nèi)的像素的大多數(shù)，并且對(duì)于深度轉(zhuǎn)變，深度被歸一化成[0，1]。如果段數(shù)目太大以至于無(wú)法在存儲(chǔ)器中相配以用于聯(lián)合集群化，則集群化被分離成兩個(gè)步驟。在第一步驟，段基于它的語(yǔ)義標(biāo)簽而被分離。在第二步驟中，在每個(gè)語(yǔ)義標(biāo)簽內(nèi)通過(guò)深度轉(zhuǎn)變的L1距離對(duì)段進(jìn)行集群以生成局部深度布局。在每個(gè)語(yǔ)義類內(nèi)基于語(yǔ)義類的幾何復(fù)雜性指派集群編號(hào)。此外，標(biāo)識(shí)共享相似幾何性質(zhì)(比如地面和草地的語(yǔ)義類)，并且在所有共享的類內(nèi)的段被集群在一起。集群深度模版然后被指派給共享的語(yǔ)義類。最后，刪減具有很少段示例(例如，少于十個(gè))的集群，并且這些示例被重新指派給來(lái)自其余類的最近類。局部模版210然后用作如以下進(jìn)一步描述的局部語(yǔ)義和深度布局預(yù)測(cè)的部分。現(xiàn)在參照?qǐng)D4，與全局模版相似，為了訓(xùn)練局部確定模塊128的機(jī)器學(xué)習(xí)，相繼地取得圖像112的多級(jí)段402、404、406作為輸入。局部確定模塊128然后提供相應(yīng)實(shí)測(cè)值對(duì)應(yīng)語(yǔ)義標(biāo)簽和深度轉(zhuǎn)變模版作為輸出以便描述段的局部語(yǔ)義和深度布局。由圖3中的全局確定模塊126確定的全局語(yǔ)義和深度布局302、304可以由局部確定模塊128用來(lái)指導(dǎo)這一過(guò)程。全局語(yǔ)義和深度布局302、304例如提供全局上下文，該全局上下文幫助解決局部確定模塊128可能遇到的局部混淆。具體而言，來(lái)自全局語(yǔ)義和深度部件302、304的指導(dǎo)可以被并入最后預(yù)測(cè)層中作為機(jī)器學(xué)習(xí)的部分。在形式上，對(duì)于段S第7和第8，從調(diào)節(jié)的機(jī)器學(xué)習(xí)輸出特征、即f7和f8。此外，段402、404、406的所示定界框被映射到全局語(yǔ)義和深度布局的區(qū)域中，并且取對(duì)應(yīng)語(yǔ)義分布和深度值作為附加特征即fs和fd。為了平衡不同特征的影響，每個(gè)特征首先用L2范數(shù)來(lái)歸一化，然后特征和每個(gè)類型的特征的權(quán)值在它的相對(duì)特征長(zhǎng)度上被級(jí)聯(lián)，即wi＝ΣjLj/Li，其中Li是類型i的特征長(zhǎng)度。不同于全局分類，可以確定每個(gè)段與訓(xùn)練的局部模版的相似度。如在圖8的示例實(shí)現(xiàn)方式800中所示，計(jì)算從圖像804取得的每個(gè)段到局部模版210中的每個(gè)局部模版的放射分?jǐn)?shù)。對(duì)于每個(gè)局部模版210，訓(xùn)練支持矢量回歸(SVR)以用于預(yù)測(cè)。在形式上，給定段Si，如下計(jì)算段802到局部模版210中的相應(yīng)局部模版的仿射性：A(Si,Dj)=1{s(Si)=s(Dj)}S(Si,Dj)/maxjS(Si,Dj)]]>S(Si,Dj)＝exp(-||d(Si)-d(Dj)||1/σ(3)其中σ是0∶85AT并且AT是局部模版210的面積。然后，在推測(cè)期間，前K個(gè)局部模版210由圖4的局部確定模塊128取得而最高預(yù)測(cè)分?jǐn)?shù)用于對(duì)段的以后合并。圖9描繪了實(shí)現(xiàn)方式900，該實(shí)現(xiàn)方式示出了用于段906、908、910、912的預(yù)測(cè)結(jié)果的兩個(gè)示例902、904。如圖所示，深度預(yù)測(cè)對(duì)于圖像變化和模糊是健壯的而沒有平面假設(shè)，這使得這一方式很好地推廣至許多場(chǎng)景而避免傳統(tǒng)線檢測(cè)。再次回到圖4，合并計(jì)算模塊130從局部確定模塊128接收局部語(yǔ)義和深度布局并且使用全局語(yǔ)義和深度布局302、304來(lái)合并它們。可以使用多種不同技術(shù)來(lái)執(zhí)行合并，其用于語(yǔ)義標(biāo)注的示例涉及到使用按像素有條件隨機(jī)場(chǎng)(CRF)用于預(yù)測(cè)。在這一技術(shù)中，每個(gè)圖形節(jié)點(diǎn)是像素x并且邊緣是四個(gè)連接的鄰居像素。對(duì)于一元項(xiàng)，從像素對(duì)應(yīng)段獲得語(yǔ)義預(yù)測(cè)分?jǐn)?shù)，而對(duì)于平滑度，計(jì)算在鄰居像素之間的概率差值。在形式上，公式表示可以記為如下：minLΣx-log(P(l|x))+λ2Σxi,xj1{li≠lj}||P(I|xi)-P(I|xi)||P(l|x)=ΣiP(l|Si)P(Si|x),---(4)]]>其中P(l|Si)是從局部語(yǔ)義布局計(jì)算的概率。具體而言，對(duì)于段S，從用于每個(gè)局部模版的Tj的SVR計(jì)算它的預(yù)測(cè)的分?jǐn)?shù)vj，該局部模版Tj包含語(yǔ)義標(biāo)簽Sj和深度轉(zhuǎn)變dj。然后，被預(yù)測(cè)為標(biāo)簽1的段的概率被為：P(l|S)=Σjsigmoid(vj)1{si==l}/Σjsigmoid(vj),---(5)]]>附加地，可以執(zhí)行圖形切割以高效地求解這樣的能量函數(shù)以得到最終語(yǔ)義標(biāo)注結(jié)果。對(duì)于深度，用于每個(gè)段的中心絕對(duì)深度值d和轉(zhuǎn)變比例s由合并計(jì)算模塊130推測(cè)以合并深度轉(zhuǎn)變dj，以便得到每個(gè)像素的絕對(duì)深度值以形成深度圖122。由于平滑度難以在像素級(jí)實(shí)現(xiàn)，所以以上關(guān)于圖7的超像素704技術(shù)用于圖形節(jié)點(diǎn)并且邊緣是在超像素之間的相鄰邊緣。一元項(xiàng)被一元地視為來(lái)自全局深度和語(yǔ)義布局中的對(duì)應(yīng)地點(diǎn)的段的絕對(duì)深度和比例改變。平滑度被視為如圖10的示例實(shí)現(xiàn)方式1000中所示從相鄰超像素的在兩個(gè)定界框的重疊區(qū)域1002內(nèi)的深度偏移。在形式上，這一公式表示可以被記為如下：minD,Sλ1ΣrL(dr,sr)+λ2Σri,rjdo(Odri,drj,sri,srj(ri,rj))ws(ri,rj)wa(ri,rj)wd(ri,rj)]]>L(dr，sr)＝||dr-gdr||1+||sr-gsr||1(6)do(Odri,drj,sri,srj(ri,rj))=1{lri=lrj}do(OBdri,drj,sri,srj(ri,rj))+1{lri≠lrj}do(OBdri,drj,sri,srj(ri,rj))---(7)]]>其中r是超像素段，D、S是用于段dr的絕對(duì)中心深度的可能值和深度轉(zhuǎn)變Sr的比例。對(duì)于一元項(xiàng)，在一個(gè)方面中，考慮在段的預(yù)測(cè)的深度值dr與它的來(lái)自全局模版的對(duì)應(yīng)絕對(duì)深度值gdr之間的L1距離。在另一方面中，在它的預(yù)測(cè)的比例Sr與預(yù)測(cè)的之間的距離。對(duì)于平滑度項(xiàng)，如圖10中所示，在兩個(gè)鄰居超像素的重疊框內(nèi)考慮深度偏移，即，上式7中的具體而言，深度偏移考慮來(lái)自外觀相似性和語(yǔ)義標(biāo)簽權(quán)重的權(quán)重的語(yǔ)義標(biāo)簽和來(lái)自全局布局中的相機(jī)的深度的權(quán)重二者。在實(shí)際上，段的絕對(duì)深度值被量化為來(lái)自全局深度布局中的相應(yīng)值的移位值的集合(例如，在[-1，1]米內(nèi)的二十個(gè)平均內(nèi)插值)而深度轉(zhuǎn)變的比例為最大深度范圍的集合(在[0.5，2]內(nèi)的平均內(nèi)插值)。通過(guò)量化，使用多環(huán)信任傳播可以用于推測(cè)和獲得求解。此外，為了考慮高階平滑度(例如，在相同地面或者相同墻壁上的段在單個(gè)平面中對(duì)準(zhǔn))，使用來(lái)自語(yǔ)義合并的預(yù)測(cè)結(jié)果，并且地平面被設(shè)置為圖形中的單個(gè)段節(jié)點(diǎn)，這保證長(zhǎng)范圍平滑度。示例結(jié)果圖11描繪了示例實(shí)現(xiàn)方式1100，其中對(duì)于在室外和室內(nèi)圖像1102、1104中使用來(lái)比較這里描述的技術(shù)。室外圖像1102代表從室外圖像(例如，8432個(gè)圖像)的數(shù)據(jù)集選擇的一個(gè)圖像。每個(gè)語(yǔ)義標(biāo)簽首先被映射到幾何標(biāo)簽中。具體而言，在這一示例中為室外圖像構(gòu)造六個(gè)幾何標(biāo)簽，即，地面、天空、建筑物、植物、山脈和對(duì)象。然后從映射的實(shí)測(cè)值幾何分割生成深度。室內(nèi)圖像1004代表與語(yǔ)義標(biāo)簽和例如來(lái)自深度傳感器的實(shí)測(cè)值深度二者關(guān)聯(lián)的室內(nèi)圖像(例如，1449個(gè)圖像)的數(shù)據(jù)集選擇的一個(gè)圖像。語(yǔ)義標(biāo)簽被映射出五個(gè)一般幾何標(biāo)簽、即地面、豎直、天花板、平面物體、其它物體。圖12描繪示例實(shí)現(xiàn)方式1200，該示例實(shí)現(xiàn)方式示出了語(yǔ)義地標(biāo)注的圖像120和從圖像1202生成的深度圖122。如圖所示，這里描述的技術(shù)提供健壯語(yǔ)義分割標(biāo)簽提供語(yǔ)義一致深度，這保證結(jié)果的可視質(zhì)量。此外，從結(jié)果的第三行，可觀察到天空中的太陽(yáng)和水中的反射由于由全局模版提供的指導(dǎo)而具有接近外觀，這可能誤導(dǎo)常規(guī)技術(shù)。圖13和圖14提供了用于室內(nèi)圖像的定性結(jié)果1300、1400。在圖13的定性結(jié)果1300中，圖像1302被處理以形成語(yǔ)義地標(biāo)注的圖像120和深度圖122。比較這些與來(lái)自常規(guī)深度傳送技術(shù)的結(jié)果1304和使用深度傳感器而生成的實(shí)測(cè)值1306深度圖。類似地，圖像1402被處理以形成語(yǔ)義地標(biāo)注的圖像120和深度圖122并且與來(lái)自常規(guī)深度傳送技術(shù)的結(jié)果1404比較?？梢杂^察到這里描述的技術(shù)的深度結(jié)果比在多數(shù)情況下僅提供粗略估計(jì)的常規(guī)深度傳送更好地保留景物結(jié)構(gòu)。示例過(guò)程以下討論描述可以利用先前描述的系統(tǒng)和設(shè)備而實(shí)施的技術(shù)可以在硬件、固件或者軟件或者其組合中實(shí)施過(guò)程中的每個(gè)過(guò)程的方面。過(guò)程被示出為塊集合，這些塊指定由一個(gè)或者多個(gè)設(shè)備執(zhí)行的操作，而未必限于所示用于由相應(yīng)塊執(zhí)行操作的順序。在以下討論的部分中，將參照?qǐng)D1-14。圖15描繪了示例實(shí)現(xiàn)方式中的過(guò)程1500，其中描述了可用于處理單個(gè)圖像的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注技術(shù)。一個(gè)或者多個(gè)計(jì)算設(shè)備通過(guò)機(jī)器學(xué)習(xí)來(lái)估計(jì)圖像的景物的全局語(yǔ)義和深度布局(塊1502)。例如，可以作為由機(jī)器學(xué)習(xí)212求解的分類問(wèn)題的部分、基于與全局模版206的相似度來(lái)估計(jì)全局語(yǔ)義和深度布局302、304。全局語(yǔ)義布局302向圖像中的像素給定粗略語(yǔ)義標(biāo)注，并且全局深度布局304給定絕對(duì)深度值，該絕對(duì)深度值例如描述在相機(jī)110與由圖像118捕獲的相應(yīng)對(duì)象之間的z距離。一個(gè)或者多個(gè)計(jì)算設(shè)備也通過(guò)機(jī)器學(xué)習(xí)為圖像的景物的多個(gè)段中的相應(yīng)的段估計(jì)局部語(yǔ)義和深度布局(塊1504)?？梢宰鳛橛蓹C(jī)器學(xué)習(xí)212求解的分類問(wèn)題的部分、基于與局部模版210的相似度來(lái)估計(jì)局部語(yǔ)義和深度布局。局部語(yǔ)義布局主要地使用單個(gè)語(yǔ)義值(例如，標(biāo)簽)以用于從圖像取得的段，并且局部深度布局描述用于像素的相對(duì)于彼此的相對(duì)深度值。局部布局可以由全局布局指導(dǎo)以支持在為從被局部地處理的圖像取得的段執(zhí)行的標(biāo)注和標(biāo)記時(shí)的一致性。一個(gè)或者多個(gè)計(jì)算設(shè)備合并估計(jì)的全局語(yǔ)義和深度布局與局部語(yǔ)義和深度布局以語(yǔ)義地標(biāo)注圖像中的個(gè)別像素并且向個(gè)別像素指派深度值(塊1506)。合并計(jì)算模塊130例如可以與來(lái)自局部深度部件的相對(duì)深度值一起使用來(lái)自全局深度部件的絕對(duì)深度值以生成深度圖122。相似地，從由全局語(yǔ)義布局指導(dǎo)的局部語(yǔ)義布局形成語(yǔ)義地標(biāo)注的圖像120以向圖像中的像素指派語(yǔ)義標(biāo)簽以例如指示“什么”由像素代表。圖16描繪了示例實(shí)現(xiàn)方式中的過(guò)程1600，其中描述了可用于處理單個(gè)圖像的聯(lián)合深度估計(jì)和語(yǔ)義標(biāo)注技術(shù)。通過(guò)機(jī)器學(xué)習(xí)估計(jì)圖像的景物的全局語(yǔ)義和深度布局(塊1602)(例如，通過(guò)常規(guī)神經(jīng)網(wǎng)絡(luò))可以執(zhí)行作為使用模版的分類問(wèn)題的部分等。將圖像分解成多個(gè)段(塊1604)。這可以包括單級(jí)或者多級(jí)分割，在圖4中示出了其示例。然后做出對(duì)局部語(yǔ)義的預(yù)測(cè)，并且使用景物的估計(jì)的全局和語(yǔ)義深度布局來(lái)指導(dǎo)多個(gè)段中的個(gè)別段的深度布局(塊1606)，例如，使用模版作為分類問(wèn)題的部分、未用模版而直接地執(zhí)行等。與圖像的深度圖(其中向個(gè)別像素指派深度值)一起聯(lián)合地形成圖像的語(yǔ)義地標(biāo)注的版本(其中向個(gè)別像素指派語(yǔ)義標(biāo)簽)(塊1608)。以這一方式，可以一起執(zhí)行對(duì)語(yǔ)義地標(biāo)注的圖像120和深度圖122的形成以如以上描述的那樣共享信息和提高一致性。示例系統(tǒng)和設(shè)備圖17圖示了包括示例計(jì)算設(shè)備1702的大體上在1700的示例系統(tǒng)，該計(jì)算設(shè)備1702代表可以實(shí)施這里描述的各種技術(shù)的一個(gè)或者多個(gè)計(jì)算系統(tǒng)和/或設(shè)備。這通過(guò)包括深度和語(yǔ)義分割模塊114而被舉例說(shuō)明，該深度和語(yǔ)義分割模塊包括模版生成模塊124、全局確定模塊126、局部確定模塊128和合并計(jì)算模塊130。計(jì)算設(shè)備1702可以例如是服務(wù)提供商的服務(wù)器、與客戶端關(guān)聯(lián)的設(shè)備(例如，客戶端設(shè)備)、片上系統(tǒng)和/或任何其它適當(dāng)計(jì)算設(shè)備或者計(jì)算系統(tǒng)。示例計(jì)算設(shè)備1702如圖所示包括相互通信地耦合的處理系統(tǒng)1704、一個(gè)或者多個(gè)計(jì)算機(jī)可讀介質(zhì)1706和一個(gè)或者多個(gè)I/O接口1708。雖然未示出，但是計(jì)算設(shè)備1702還可以包括相互耦合各種部件的系統(tǒng)總線或者其它數(shù)據(jù)和命令傳送系統(tǒng)。系統(tǒng)總線可以包括不同總線結(jié)構(gòu)(比如存儲(chǔ)器總線或者存儲(chǔ)器控制器、外圍總線、通用串行總線和/或利用多種總線架構(gòu)中的任何總線架構(gòu)的處理器或者本地總線)中的任何總線結(jié)構(gòu)或者組合。也設(shè)想了多種其它示例，比如控制和數(shù)據(jù)線。處理系統(tǒng)1704代表用于使用硬件來(lái)執(zhí)行一個(gè)或者多個(gè)操作的功能。因而，處理系統(tǒng)1704被圖示為包括可以被配置為處理器、功能塊等的硬件單元1710。這可以包括在硬件中實(shí)施為專用集成電路或者使用一個(gè)或者多個(gè)半導(dǎo)體而被形成的其它邏輯器件。硬件單元1710不受形成它們的材料或者其中運(yùn)用的處理機(jī)制所限制。例如，處理器可以由半導(dǎo)體和/或晶體管(例如，電子集成電路(IC))組成。在這樣的情境中，處理器可執(zhí)行指令可以是電子可執(zhí)行指令。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)1706被圖示為包括存儲(chǔ)器/存儲(chǔ)裝置1712。存儲(chǔ)器/存儲(chǔ)裝置1712代表與一個(gè)或者多個(gè)計(jì)算機(jī)可讀介質(zhì)關(guān)聯(lián)的存儲(chǔ)器/存儲(chǔ)容量。存儲(chǔ)器/存儲(chǔ)部件1712可以包括易失性介質(zhì)(比如隨機(jī)存取存儲(chǔ)器(RAM))和/或非易失性介質(zhì)(比如只讀存儲(chǔ)器(ROM)、閃存、光盤、磁盤等)。存儲(chǔ)器/存儲(chǔ)部件1712可以包括固定介質(zhì)(例如，RAM、ROM、固定硬驅(qū)動(dòng)等)以及可拆卸介質(zhì)(例如，閃存、可拆卸硬驅(qū)動(dòng)、光盤等)?？梢杂萌缫韵逻M(jìn)一步描述的多種其它方式配置計(jì)算機(jī)可讀介質(zhì)1706。輸入/輸出接口1708代表用于允許用戶向計(jì)算設(shè)備1702錄入命令和信息并且也允許向用戶呈現(xiàn)信息的功能和/或使用各種輸入/輸出設(shè)備的其它部件或者設(shè)備。輸入設(shè)備的示例包括鍵盤、光標(biāo)控制設(shè)備(例如，鼠標(biāo))、麥克風(fēng)、掃描儀、觸摸功能(例如，被配置為檢測(cè)物理觸摸的電容或者其它傳感器)、相機(jī)(例如，該相機(jī)可以運(yùn)用可見或者不可見光波長(zhǎng)(比如紅外線頻率)以將移動(dòng)識(shí)別為未涉及觸摸的手勢(shì))等等。輸出設(shè)備的示例包括顯示設(shè)備(例如，監(jiān)視器或者投影儀)、揚(yáng)聲器、打印機(jī)、網(wǎng)卡、觸覺響應(yīng)設(shè)備等。因此，可以用如以下進(jìn)一步描述的多種方式配置計(jì)算設(shè)備1702以支持用戶交互。這里可以在軟件、硬件單元或者程序模塊的一般情境中描述各種技術(shù)。一般而言，這樣的模塊包括執(zhí)行特定任務(wù)或者實(shí)施特定抽象數(shù)據(jù)類型的例程、程序、對(duì)象、單元、部件、數(shù)據(jù)結(jié)構(gòu)等。如這里所用的術(shù)語(yǔ)“模塊”、“功能”和“部件”一般地表示軟件、固件、硬件或者其組合。這里描述的技術(shù)的特征獨(dú)立于平臺(tái)，這意味著可以在具有多種處理器的多種商用計(jì)算平臺(tái)上實(shí)施技術(shù)?？梢栽谀硞€(gè)形式的計(jì)算機(jī)可讀介質(zhì)上存儲(chǔ)或者跨該形式的計(jì)算機(jī)可讀介質(zhì)傳輸描述的模塊和技術(shù)的實(shí)現(xiàn)方式。計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算設(shè)備1702可以訪問(wèn)的多種介質(zhì)。舉例而言而無(wú)限制，計(jì)算機(jī)可讀介質(zhì)可以包括“計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)”和“計(jì)算機(jī)可讀信號(hào)介質(zhì)”?！坝?jì)算機(jī)可讀存儲(chǔ)介質(zhì)”是指與僅信號(hào)傳輸、載波或者信號(hào)本身對(duì)照而言實(shí)現(xiàn)信息的持久和/或非瞬態(tài)存儲(chǔ)的介質(zhì)和/或設(shè)備。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)是指非信號(hào)承載介質(zhì)。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括硬件，比如在適合用于存儲(chǔ)信息(比如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、邏輯元件/電路或者其它數(shù)據(jù))的方法或者技術(shù)中實(shí)施的易失性和非易失性、可拆卸和非可拆卸介質(zhì)和/或存儲(chǔ)設(shè)備。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例可以包括但不限于RAM、ROM、EEPROM、閃存或者其它存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字萬(wàn)用盤(DVD)或者其它光存儲(chǔ)裝置、硬盤、磁盒、磁帶、磁盤存儲(chǔ)裝置或者其它磁存儲(chǔ)設(shè)備或者適合用來(lái)存儲(chǔ)希望的信息并且可以由計(jì)算機(jī)訪問(wèn)的其它存儲(chǔ)設(shè)備、有形介質(zhì)或者制造品?！坝?jì)算機(jī)可讀信號(hào)介質(zhì)”可以是指被配置為比如經(jīng)由網(wǎng)絡(luò)向計(jì)算設(shè)備1702的硬件輸指令的信號(hào)承載介質(zhì)。信號(hào)介質(zhì)通常可以在調(diào)制的數(shù)據(jù)信號(hào)(、比如載波、數(shù)據(jù)信號(hào))或者其它傳送機(jī)制中體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者其它數(shù)據(jù)。信號(hào)介質(zhì)也包括任何信息遞送介質(zhì)。術(shù)語(yǔ)“調(diào)制的數(shù)據(jù)信號(hào)”意味著如下信號(hào)，該信號(hào)讓它的特性中的一個(gè)或者多個(gè)特性以對(duì)信號(hào)中的信息編碼這樣的方式來(lái)設(shè)置或者改變。舉例而言而非限制，通信介質(zhì)包括有線介質(zhì)(比如有線網(wǎng)絡(luò)或者直接有線連接)和無(wú)線介質(zhì)(比如聲學(xué)、RF、紅外線和其它無(wú)線介質(zhì))。如先前描述的那樣，硬件單元1710和計(jì)算機(jī)可讀介質(zhì)1706代表以硬件形式實(shí)施的模塊、可編程邏輯器件和/或固定器件邏輯，可以在一些實(shí)施例中運(yùn)用該硬件形式以實(shí)施這里描述的技術(shù)的至少一些方面，比如執(zhí)行一個(gè)或者多個(gè)指令。硬件可以包括集成電路或者片上系統(tǒng)的部件、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、復(fù)雜可編程邏輯器件(CPLD)和在硅或者其它硬件中的其它實(shí)現(xiàn)方式。在本文中，硬件可以作為處理設(shè)備操作，該處理設(shè)備執(zhí)行由指令定義的程序任務(wù)或者由硬件體現(xiàn)的邏輯的處理設(shè)備以及用來(lái)存儲(chǔ)以用于執(zhí)行的指令的硬件，例如，先前描述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。可以運(yùn)用前述各項(xiàng)的組合以實(shí)施這里描述的各種技術(shù)。因而，軟件、硬件或者可執(zhí)行模塊可以被實(shí)施為在某個(gè)形式的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上和/或由一個(gè)或者多個(gè)硬件單元1710體現(xiàn)的一個(gè)或者多個(gè)指令或者邏輯。計(jì)算設(shè)備1702可以被配置為實(shí)施與軟件和/或硬件模塊對(duì)應(yīng)的特定指令和/或功能。因而，可以至少部分在硬件中(例如，通過(guò)使用計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和/或處理系統(tǒng)1704的硬件單元1710)來(lái)實(shí)現(xiàn)作為軟件可由計(jì)算設(shè)備1702執(zhí)行的模塊的實(shí)現(xiàn)方式。指令和功能可以可由一個(gè)或者多個(gè)制造品(例如，一個(gè)或者多個(gè)計(jì)算設(shè)備1702和處理系統(tǒng)1704)可執(zhí)行/可操作以實(shí)施這里描述的技術(shù)、模塊和示例。這里描述的技術(shù)可以由計(jì)算設(shè)備1702的各種配置支持而不限于這里描述的技術(shù)的具體示例。也可以全部或者部分通過(guò)使用分布式系統(tǒng)(比如如以下描述的那樣經(jīng)由平臺(tái)1716在“云”1714之上)實(shí)施這一功能。云1714包括和/或表示用于資源1718的平臺(tái)1716。平臺(tái)1716將云1714的硬件(例如，服務(wù)器)和軟件資源的下層功能抽象化。資源1718可以包括可以在從計(jì)算設(shè)備1702遠(yuǎn)離的服務(wù)器上執(zhí)行計(jì)算機(jī)處理之時(shí)利用的應(yīng)用或者數(shù)據(jù)。資源1718也可以包括通過(guò)因特網(wǎng)或者通過(guò)預(yù)訂者網(wǎng)絡(luò)(比如蜂窩或者Wi-Fi網(wǎng)絡(luò))提供的服務(wù)。平臺(tái)1716可以將用于連接計(jì)算設(shè)備1702與其它計(jì)算設(shè)備的資源和功能抽象化。平臺(tái)1716也可以服務(wù)于將對(duì)資源的縮放抽象化以提供與對(duì)于經(jīng)由平臺(tái)1716實(shí)施的資源1718的所遇需求對(duì)應(yīng)的規(guī)模級(jí)別。因而，在一個(gè)互連設(shè)備實(shí)現(xiàn)方式中，可以遍及系統(tǒng)1700分布這里描述的功能的實(shí)現(xiàn)方式。例如，可以部分在計(jì)算設(shè)備1702上以及經(jīng)由將云1714的功能抽象化的平臺(tái)1716實(shí)施該功能。結(jié)論雖然已經(jīng)用結(jié)構(gòu)特征和方法動(dòng)作特有的語(yǔ)言描述了主題內(nèi)容，但是將理解，在所附權(quán)利要求中定義的主題內(nèi)容未必限于描述的具體特征或者動(dòng)作。實(shí)際上，以上描述的具體特征和動(dòng)作被公開為實(shí)施權(quán)利要求的示例形式。當(dāng)前第1頁(yè)1 2 3