使用最短連線特征的圖像標記的制作方法
【專利說明】使用最短連線特征的圖像標記
[0001]
[0002] 圖像標記涉及根據圖像元素是描繪背景還是前景對象或為了其它任務來向它們 分派標記。例如，語義圖像分割是這樣的過程，其中圖像被解析為語義上有意義的各區(qū)域。 例如，醫(yī)學圖像可能需要被分析以允許身體各器官被識別。在另一個示例中，街景的視頻可 能需要被解析為描繪車輛、行人、道路、和其它對象的各區(qū)域。
[0003] 許多現有圖像標記方法在所產生的結果的精確性以及所需時間和資源方面受限。 通常，需要兩個或更多個分開的處理階段以給予合理的精確性水平但這引入了復雜性和時 間成本。
[0004] 以下描述的各實施例不限于解決已知圖像標記系統的缺點中的任一個或全部的 實現。
[0005] 麗述
[0006] 下面呈現了本發(fā)明的簡要概述，以便向讀者提供基本理解。本概述不是本公開的 窮盡概覽，并且不標識本發(fā)明的關鍵/重要元素或描述本說明書的范圍。其唯一的目的是 以簡化形式呈現此處所公開的精選概念，作為稍后呈現的更詳細的描述的序言。
[0007] 描述了圖像標記，例如，以識別醫(yī)學圖像中的身體器官、以標記游戲玩家的深度圖 像中的身體部分、以標記場景視頻中的對象。在各種實施例中，自動化分類器使用圖像的最 短連線（geodesic)特征，以及可選地其它類型的特征，來按語義分割圖像。例如，最短連線 特征與圖像元素間的距離相關，該距離將與圖像元素間的圖像內容有關的信息納入考慮。 在某些示例中，自動化分類器是糾纏的隨機決策森林，其中在較早的樹層次累積的數據被 用于在較晚的樹層次處作決策。在某些示例中，自動化分類器通過包括兩個或更多個隨機 決策森林而具有自動上下文。在各種示例中，并行處理和查找過程被使用。
[0008] 通過結合附圖參考以下詳細描述，可易于領會并更好地理解許多附帶特征。
[0009] 附圖簡沐
[0010] 根據附圖閱讀以下【具體實施方式】，將更好地理解本發(fā)明，在附圖中：
[0011] 圖1是使用最短連線特征的圖像標記引擎的示意圖；
[0012] 圖2是頭和軀干的醫(yī)學圖像的示意圖；
[0013] 圖3是自動分類器的示意圖；
[0014] 圖4是糾纏的隨機決策森林的示意圖；
[0015] 圖5是訓練糾纏的隨機決策森林的方法的流程圖；
[0016] 圖6是圖5中方法的一部分的更詳細的流程圖；
[0017] 圖7是使用經訓練的糾纏的隨機決策森林以按語義分割圖像的方法的流程圖；
[0018] 圖8是給予自動上下文的多個隨機決策森林的示意圖；
[0019] 圖9是訓練圖8的隨機決策森林的方法的流程圖；
[0020] 圖10是使用（經訓練的）圖8的隨機決策森林以按語義分割圖像的方法的流程 圖；
[0021] 圖11示出可在其中實現圖像標記引擎的實施例的示例性的基于計算的設備。
[0022] 在各個附圖中使用相同的附圖標記來指代相同的部件。
[0023] 詳細描沐
[0024] 下面結合附圖提供的詳細描述旨在作為本發(fā)明示例的描述，并不旨在表示可以構 建或使用本發(fā)明示例的唯一形式。本描述闡述了本發(fā)明示例的功能，以及用于構建和操作 本發(fā)明示例的步驟的序列。然而，可以通過不同的示例來實現相同或等效功能和序列。
[0025] 盡管此處將本發(fā)明示例描述和示出為在街景圖像分析系統中實現，但是所述系統 是作為示例而非限制提供的。本領域的技術人員將會意識到，本發(fā)明示例適合在各種不同 類型的圖像標記系統中應用。
[0026] 圖1是使用最短連線特征的圖像標記引擎102的示意圖。最短連線特征描述圖 像元素間的距離，該距離將與圖像元素間的圖像內容有關的信息納入考慮。最短連線特征 可相對于在概率上定義的圖像區(qū)域來被計算，并可使用邊緣圖、使用圖像量（諸如亮度、色 彩、紋理或其它關于圖像內容的信息）的漸變（包括被標記的圖像元素的漸變和/或從其 它圖像標記系統獲得的概率值）來計算。最短連線特征可被稱為連通性特征，因為它們描 述了在圖像中的不同位置處的各圖像元素如何通過圖像中的路徑來連接。該路徑可以是從 一圖像元素到圖像的在概率上定義的區(qū)域中的最近點的最短路徑。該路徑考慮圖像量（諸 如亮度）的漸變。通過使用最短連線特征，圖像標記引擎102產生相比先前使用常規(guī)成對 的條件隨機場系統或現有隨機決策森林分類器而言的可能結果更精確的結果。并行處理和 查找過程可被使用以使得能夠降低操作時間。
[0027] 圖像標記系統102接收圖像100,諸如數字照片、視頻、醫(yī)學圖像、深度圖像或任何 其它類型的二維或更高維度圖像。在圖1所示的示例中，圖像100描繪包括房子、汽車和樹 的場景。圖像標記引擎102將圖像100的圖像元素標記為屬于多個可能的類（諸如建筑 物、天空、地面、樹木、機動車、自行車、人）之一。在醫(yī)學圖像的情況中，類可以是例如身體 器官、或諸如瘤之類的異物。
[0028] 圖1還示出了使用最短連線特征108的另一個圖像標記系統108。這接收圖像108 并輸出帶經標記圖像元素的圖像110。圖像元素是圖像的單元，諸如像素、體素、一組像素或 體素。該圖像標記系統108可集成使用帶經標記圖像元素的圖像110的功能性，或與之進 行通信。例如，醫(yī)學圖像分析系統114、視頻會議系統116、增強現實系統118、自然用戶界面 系統120、數字照片編輯系統122的任何一個。圖像標記系統108是使用軟件和/或硬件的 計算機實現的。例如，在數字照片編輯系統或視頻會議系統的情況中，圖像標記系統可在臺 式計算機處或在移動通信設備處。圖像標記系統可實現在游戲控制臺或其它裝備中。其可 在某些示例中被提供作為服務，其中數字圖像被發(fā)送到云中的圖像標記引擎，且標記結果 被發(fā)送到終端用戶裝備。
[0029] 圖2是頭202和軀干的醫(yī)學圖像200的示意圖。該圖可被用于示出最短連線特征 如何對圖像標記有用。該醫(yī)學圖像描繪具有兩肺204、208和部分大動脈的軀干206。該醫(yī) 學圖像包括因組織類型、空氣、或其它描繪的物質而具有不同亮度的圖像元素。如果大動脈 中兩圖像元素210、212被檢查，它們被發(fā)現具有類似亮度，因為它們描繪相同物質。標準分 類器可基于亮度值將這些圖像元素分類為屬于相同類。如果描繪空氣的兩圖像元素被檢 查，它們同樣可基于類似的亮度值而被分類為屬于同一類。然而，這兩個圖像元素可在不同 的對象（諸如肺（圖像元素214)和圍繞身體外的空氣（圖像元素216))中。標準分類器 可在此情況中給出錯誤分類。
[0030] 如果分類器能夠看著兩個端點之間的像素的圖像亮度，那么分類結果將改善。這 例如可通過計算最短連線路徑來做到。圖像元素214和216之間的最短連線路徑可被描繪 為圖2的那些圖像元素之間的實線。該最短連線路徑可跟隨在亮度值（或其它量）上具有 最少改變的路線。在此示例中，最短連線路徑比直線路徑（由214和216之間的虛線指示） 更長。最短連線路徑的長度（或與此相關的特征）可被用作在此描述的示例中的特征，以 允許圖像標記正確地將圖像元素214和216標識為屬于不同實體。然而，不直接允許自動 分類器來以將在切實可行的時間標尺上操作的實際的方式計算并使用最短連線特征。
[0031] 圖3是給出圖1的圖像標記引擎的功能性的自動分類器300的示意圖。在本文描 述的各種示例中，自動分類器包括糾纏的隨機決策森林302。在其它示例中自動分類器包括 具有自動上下文的多個隨機決策森林304。使用使用最短連線特征的其它類型的自動分類 器300 (諸如支持向量機或助推）也是可能的。
[0032] 隨機決策森林包括各自具有根節(jié)點、多個分叉節(jié)點以及多個葉節(jié)點的一個或多個