一葉節(jié)點(diǎn)。與所標(biāo)識(shí)的葉節(jié)點(diǎn) 相關(guān)聯(lián)的數(shù)據(jù)被訪問并跨各樹聚集714并且類標(biāo)記被輸出716。該過程針對(duì)測(cè)試圖像的其 它圖像元素重復(fù)或并行計(jì)算718,直至全部圖像元素被標(biāo)記。
[0052] 通過對(duì)類概率和最短連線映射使用查找以計(jì)算特征響應(yīng),能夠在測(cè)試時(shí)加速過 程。
[0053] 在此結(jié)合圖6和7描述的示例是一種可能的安排。也可以使用隨機(jī)決策樹中的最 短連線和非最短連線區(qū)段的其它組合和次序。
[0054] 圖8是給予自動(dòng)上下文的多個(gè)隨機(jī)決策森林804、816的示意圖。每個(gè)隨機(jī)決策森 林804、816包括多棵隨機(jī)決策樹,每棵樹象征性地用三角形指示。在這個(gè)示例中,隨機(jī)決策 森林已經(jīng)被訓(xùn)練(訓(xùn)練過程以下結(jié)合圖10來解釋)以分類諸如如圖1的示例中的那些街 景的圖像。
[0055] 圖像800,諸如樹木、房子和汽車(圖1中100)作為隨機(jī)決策森林先前未看見的測(cè) 試圖像輸入。來自圖像800的圖像元素被推送通過森林的每棵樹。在此過程中,原始圖像 數(shù)據(jù)802被第一隨機(jī)決策森林804使用來計(jì)算如上面描述的特征響應(yīng)。針對(duì)森林里的每棵 樹以及在訓(xùn)練期間被訪問的數(shù)據(jù)在那些葉節(jié)點(diǎn)被累積來標(biāo)識(shí)葉節(jié)點(diǎn)。所訪問的數(shù)據(jù)跨森林 聚集以給出類概率806。
[0056] 第二隨機(jī)決策森林808能夠在其計(jì)算特征響應(yīng)時(shí)使用類概率806和原始圖像數(shù)據(jù) 802。來自圖像800的圖像元素被推送通過森林816中的每棵樹。針對(duì)森林里的每棵樹以 及在訓(xùn)練期間被訪問的數(shù)據(jù)在那些葉節(jié)點(diǎn)被累積來標(biāo)識(shí)葉節(jié)點(diǎn)。所訪問的數(shù)據(jù)跨森林聚集 以給出經(jīng)更新的類概率。經(jīng)更新的類概率不在圖8中分開地示出,但是可被蓋寫到類概率 806 上。
[0057] 類概率806被用來為來自輸入圖像800的每個(gè)類計(jì)算通用最短連線映射。在此示 例中,三個(gè)通用最短連線映射被示出,一個(gè)是針對(duì)汽車類810、一個(gè)針對(duì)樹類812以及一個(gè) 針對(duì)房子類814。
[0058] 第三隨機(jī)決策森林816能夠當(dāng)它在分叉節(jié)點(diǎn)處計(jì)算特征響應(yīng)時(shí)使用類概率806、 原始圖像數(shù)據(jù)802、以及通用最短連線映射。來自圖像800的圖像元素被推送通過森林816 中的每棵樹。針對(duì)每棵樹以及森林里以及在訓(xùn)練期間被訪問的數(shù)據(jù)在那些葉節(jié)點(diǎn)被累積來 標(biāo)識(shí)葉節(jié)點(diǎn)。所訪問的數(shù)據(jù)跨森林聚集以給出經(jīng)更新的類概率,其被用于為圖像800的每 個(gè)圖像元素計(jì)算類標(biāo)記,這導(dǎo)致語(yǔ)義分割。
[0059] 在圖8的示例中使用了三個(gè)隨機(jī)決策森林。然而,使用更多隨機(jī)決策森林也是可 能的。
[0060] 圖9是訓(xùn)練多個(gè)隨機(jī)決策森林以啟用用于語(yǔ)義分割的自動(dòng)上下文的方法的流程 圖。經(jīng)標(biāo)記的訓(xùn)練圖像被訪問900。第一隨機(jī)決策森林被選擇902并使用原始圖像數(shù)據(jù)(諸 如亮度值)被訓(xùn)練904。第二隨機(jī)決策森林被選擇906并使用原始圖像數(shù)據(jù)和第一隨機(jī)決 策森林的輸出來被訓(xùn)練908。第三隨機(jī)決策森林被選擇910并使用原始圖像數(shù)據(jù)、和從第一 和第二隨機(jī)決策森林的輸出導(dǎo)出的數(shù)據(jù)來被訓(xùn)練912。從第一和第二隨機(jī)決策森林的輸出 導(dǎo)出的數(shù)據(jù)可以是上面描述的中間類概率和通用最短連線映射。
[0061] 圖10是使用經(jīng)訓(xùn)練的具有自動(dòng)上下文的多個(gè)隨機(jī)決策森林的方法的流程圖。測(cè) 試圖像被輸入1000。來自測(cè)試圖像的圖像元素被推送1002通過第一森林以從森林中的每 棵樹標(biāo)識(shí)一個(gè)葉節(jié)點(diǎn)。存儲(chǔ)在所標(biāo)識(shí)的葉節(jié)點(diǎn)的數(shù)據(jù)被用于計(jì)算1004類概率映射(每個(gè) 類一個(gè)或組合全部類的單個(gè)映射)。來自測(cè)試圖像的圖像元素被推送1006通過第二森林。 在所標(biāo)識(shí)的葉節(jié)點(diǎn)的數(shù)據(jù)被用于重新計(jì)算類概率映射。類概率映射被用于計(jì)算1008如上 所述的通用最短連線映射。來自測(cè)試圖像的圖像元素被推送1010通過第三森林以從第三 森林中的每棵樹標(biāo)識(shí)一個(gè)葉節(jié)點(diǎn)。葉節(jié)點(diǎn)數(shù)據(jù)被訪問1012尋找所標(biāo)識(shí)的樹葉并可被跨樹 聚集以給出類概率。類概率被用于為測(cè)試圖像元素計(jì)算類標(biāo)記作為輸出1014,并且處理重 復(fù)1016直至測(cè)試圖像的圖像元素被標(biāo)記。
[0062] 參考圖8到10描述的示例可被改變。也可以使用其它數(shù)量和安排的隨機(jī)決策樹, 其中至少一個(gè)森林使用最短連線特征。
[0063] 作為替換或補(bǔ)充,本文所述的功能可至少部分地由一個(gè)或多個(gè)硬件邏輯組件來 執(zhí)行。例如,但非限制,可被使用的硬件邏輯組件的說明性類型包括現(xiàn)場(chǎng)可編程門陣列 (FPGA)、程序?qū)S玫募呻娐罚ˋSIC)、程序?qū)S玫臉?biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(S0C)、復(fù)雜 可編程邏輯器件(CPLD),圖形處理單元(GPU)。
[0064] 圖11示出示例性的基于計(jì)算的設(shè)備1100的各組件,該基于計(jì)算的設(shè)備1100可以 任何形式的計(jì)算和/或電子設(shè)備來實(shí)現(xiàn)、并且其中可實(shí)現(xiàn)圖像標(biāo)記的實(shí)施例。
[0065] 基于計(jì)算的設(shè)備1100包括一個(gè)或多個(gè)處理器1102,該一個(gè)或多個(gè)處理器可以是 微處理器、控制器、圖形處理單元或用于處理計(jì)算機(jī)可執(zhí)行指令以控制設(shè)備的操作以便按 語(yǔ)義分割圖像的任何其他合適類型的處理器。在一些示例中,例如在使用片上系統(tǒng)架構(gòu)的 示例中,處理器1102可以包括一個(gè)或多個(gè)固定功能塊(亦稱加速器),這些塊以硬件(而 非軟件或固件)來實(shí)現(xiàn)圖像標(biāo)記方法的一部分??梢栽诨谟?jì)算的設(shè)備處提供包括操作系 統(tǒng)1104或任何其他合適的平臺(tái)軟件的平臺(tái)軟件以使得能夠在該設(shè)備上執(zhí)行應(yīng)用軟件。圖 像標(biāo)記引擎1108實(shí)現(xiàn)圖5、6、7、9、10的任何方法的至少部分。通用最短連線邏輯1106可 選地被提供以計(jì)算如上描述的通用最短連線映射。在某些示例中,通用最短連線邏輯1106 與圖像標(biāo)記引擎1108集成。數(shù)據(jù)存儲(chǔ)1110存儲(chǔ)經(jīng)訓(xùn)練的隨機(jī)決策森林、訓(xùn)練圖像、測(cè)試圖 像、標(biāo)記、類、訓(xùn)練目標(biāo)、準(zhǔn)則和其它數(shù)據(jù)。
[0066] 可以使用可由基于計(jì)算的設(shè)備1100訪問的任何計(jì)算機(jī)可讀介質(zhì)來提供計(jì)算機(jī)可 執(zhí)行指令。計(jì)算機(jī)可讀介質(zhì)可以包括例如諸如存儲(chǔ)器1112等計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介 質(zhì)。諸如存儲(chǔ)器1112等計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程 序模塊或其他數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng) 介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于,RAM、ROM、EPROM、EEPR0M、閃存或其他存儲(chǔ)器技術(shù)、 CD-ROM、數(shù)字多功能盤(DVD)或其他光存儲(chǔ)、磁帶盒、磁帶、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備,或 者可用于存儲(chǔ)信息以供計(jì)算設(shè)備訪問的任何其他非傳輸介質(zhì)。相反,通信介質(zhì)可以以諸如 載波或其他傳輸機(jī)構(gòu)等已調(diào)制數(shù)據(jù)信號(hào)來體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者 其他數(shù)據(jù)。如本文所定義的,計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括通信介質(zhì)。因此,計(jì)算機(jī)存儲(chǔ)介質(zhì)不應(yīng) 被解釋為本質(zhì)上是傳播信號(hào)。傳播信號(hào)可存在于計(jì)算機(jī)存儲(chǔ)介質(zhì)中,但是傳播信號(hào)本身不 是計(jì)算機(jī)存儲(chǔ)介質(zhì)的示例。雖然在基于計(jì)算的設(shè)備11〇〇中示出了計(jì)算機(jī)存儲(chǔ)介質(zhì)(存儲(chǔ)器 1112),然而應(yīng)當(dāng)理解,該存儲(chǔ)可以是分布式的或位于遠(yuǎn)處并經(jīng)由網(wǎng)絡(luò)或其他通信鏈路(例 如,使用通信接口 1114)來訪問。
[0067] 基于計(jì)算的設(shè)備1100還包括輸入/輸出控制器1116,該輸入/輸出控制器被布 置成向顯示設(shè)備1118輸出顯示信息,該顯示設(shè)備可與基于計(jì)算的設(shè)備1100分開或集成。 該顯示信息可以提供圖形用戶界面。輸入/輸出控制器1116還被安排成接收并處理來自 一個(gè)或多個(gè)設(shè)備的輸入,如用戶輸入設(shè)備1120(例如,鼠標(biāo)、鍵盤、相機(jī)、話筒、或其他傳感 器)。在一些示例中,用戶輸入設(shè)備1120可以檢測(cè)語(yǔ)音輸入、用戶姿勢(shì)或其他用戶動(dòng)作,并 且可以提供自然用戶界面(NUI)。這個(gè)用戶輸入可被用來指定類、輸入測(cè)試圖像、指定訓(xùn)練 數(shù)據(jù)的位置、查看經(jīng)標(biāo)記的圖像、設(shè)置準(zhǔn)則、或用于其它目的。在一實(shí)施例中,如果顯示設(shè)備 1118是觸敏顯示設(shè)備,那么它還可擔(dān)當(dāng)用戶輸入設(shè)備1120。輸入/輸出控制器1116還可 向除顯示設(shè)備之外的設(shè)備輸出數(shù)據(jù),例如,本地連接的打印設(shè)備。
[0068] 輸入/輸出控制器1116、顯示設(shè)備111