對(duì)象識(shí)別設(shè)備、分類樹學(xué)習(xí)設(shè)備、對(duì)象識(shí)別設(shè)備的操作方法和分類樹學(xué)習(xí)設(shè)備的操作方法
【專利摘要】本發(fā)明提供了一種對(duì)象識(shí)別設(shè)備、分類樹學(xué)習(xí)設(shè)備、該對(duì)象識(shí)別設(shè)備的操作方法和該分類樹學(xué)習(xí)設(shè)備的操作方法。該對(duì)象識(shí)別設(shè)備可包括：輸入單元，接收作為輸入的表示將被分析的對(duì)象的深度圖像；以及處理單元，通過使用分類樹從深度圖像識(shí)別該對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。
【專利說明】對(duì)象識(shí)別設(shè)備、分類樹學(xué)習(xí)設(shè)備、對(duì)象識(shí)別設(shè)備的操作方法和分類樹學(xué)習(xí)設(shè)備的操作方法
【技術(shù)領(lǐng)域】
[0001]以下描述的示例實(shí)施例涉及一種對(duì)象學(xué)習(xí)和/或識(shí)別方法和系統(tǒng)，更具體地講，涉及一種可基于學(xué)習(xí)的分類樹和單個(gè)深度圖像識(shí)別對(duì)象的對(duì)象學(xué)習(xí)和/或識(shí)別方法和系統(tǒng)。
【背景技術(shù)】
[0002]感測(cè)身體移動(dòng)并控制用戶界面(UI)的技術(shù)有可能主動(dòng)地用于控制交互式視頻，并且還有可能用作當(dāng)前的基于圖形的游戲的輸入單元。

【發(fā)明內(nèi)容】

[0003]前述和/或其他方面通過提供一種對(duì)象識(shí)別系統(tǒng)來實(shí)現(xiàn)，該對(duì)象識(shí)別系統(tǒng)包括:輸入單元，被構(gòu)造為接收作為輸入的表示將被分析的對(duì)象的深度圖像；以及處理單元，被構(gòu)造為通過使用分類樹識(shí)別所述對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。
[0004]前述和/或其他方面通過提供一種分類樹學(xué)習(xí)設(shè)備來實(shí)現(xiàn)，該分類樹學(xué)習(xí)設(shè)備產(chǎn)生被構(gòu)造用于識(shí)別將被分析的對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分的分類樹。該分類樹學(xué)習(xí)設(shè)備可包括被構(gòu)造為基于與對(duì)象相關(guān)聯(lián)的訓(xùn)練數(shù)據(jù)產(chǎn)生分類樹的學(xué)習(xí)單元。
[0005]前述和/或其他方面通過提供一種對(duì)象識(shí)別方法來實(shí)現(xiàn)，該對(duì)象識(shí)別方法包括:接收作為輸入的表示將被分析的對(duì)象的深度圖像；通過使用分類樹從深度圖像識(shí)別所述對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。
[0006]前述和/或其他方面通過提供一種用于產(chǎn)生分類樹的分類樹學(xué)習(xí)方法來實(shí)現(xiàn)，分類樹被構(gòu)造為被對(duì)象識(shí)別系統(tǒng)用于從深度圖像識(shí)別將被分析的對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。該方法可包括基于與該對(duì)象相關(guān)聯(lián)的訓(xùn)練數(shù)據(jù)產(chǎn)生分類樹。
【專利附圖】

【附圖說明】
[0007]應(yīng)當(dāng)結(jié)合附圖考慮以下對(duì)一個(gè)或多個(gè)示例實(shí)施例的描述，其中:
[0008]圖1示出根據(jù)示例實(shí)施例的由對(duì)象識(shí)別系統(tǒng)執(zhí)行的對(duì)象識(shí)別方法；
[0009]圖2至圖6示出根據(jù)示例實(shí)施例的可見對(duì)象部分和隱藏對(duì)象部分的示圖；
[0010]圖7a示出根據(jù)示例實(shí)施例的在此被表示為用示例分類學(xué)習(xí)設(shè)備實(shí)現(xiàn)的分類樹學(xué)習(xí)方法；
[0011]圖7b示出根據(jù)示例實(shí)施例的分類樹學(xué)習(xí)設(shè)備的學(xué)習(xí)單元的構(gòu)造的框圖；
[0012]圖7c示出根據(jù)示例實(shí)施例的在此被表示為用示例分類學(xué)習(xí)設(shè)備實(shí)現(xiàn)的、用于通過使用光線投射方案產(chǎn)生訓(xùn)練數(shù)據(jù)的分類樹學(xué)習(xí)方法；
[0013]圖7d和圖8示出根據(jù)示例實(shí)施例的在此被表示為用示例分類學(xué)習(xí)設(shè)備實(shí)現(xiàn)的、用于通過使用訓(xùn)練數(shù)據(jù)學(xué)習(xí)分類樹的分類樹學(xué)習(xí)方法；
[0014]圖9示出在此被表示為用圖7b的示例學(xué)習(xí)單元實(shí)現(xiàn)的、用于學(xué)習(xí)分類樹的學(xué)習(xí)方法;
[0015]圖1Oa示出根據(jù)示例實(shí)施例的對(duì)象識(shí)別設(shè)備的構(gòu)造的框圖；
[0016]圖1Ob示出在此被表示為用圖1Oa的示例識(shí)別設(shè)備實(shí)現(xiàn)的、用于通過使用多個(gè)學(xué)習(xí)的分類樹對(duì)輸入圖像進(jìn)行識(shí)別的對(duì)象識(shí)別方法；
[0017]圖11示出在此被表示為用圖1Oa的示例對(duì)象識(shí)別設(shè)備實(shí)現(xiàn)的對(duì)象識(shí)別方法；
[0018]圖12示出根據(jù)示例實(shí)施例的在此被表示為用示例對(duì)象識(shí)別設(shè)備實(shí)現(xiàn)的、用于通過使用多個(gè)學(xué)習(xí)的分類樹識(shí)別對(duì)象的對(duì)象識(shí)別方法；
[0019]圖13示出根據(jù)示例實(shí)施例的在此被表示為用示例對(duì)象識(shí)別設(shè)備實(shí)現(xiàn)的、用于通過使用存儲(chǔ)在學(xué)習(xí)的分類樹中的信息識(shí)別將被分析的對(duì)象的對(duì)象識(shí)別方法；
[0020]圖14a示出根據(jù)示例實(shí)施例的在此被表示為用示例對(duì)象識(shí)別設(shè)備實(shí)現(xiàn)的、用于基于輸入對(duì)象的大小與學(xué)習(xí)期間所使用的三維(3D)對(duì)象模型之間的差異增強(qiáng)對(duì)象識(shí)別性能的對(duì)象識(shí)別方法；和
[0021]圖14b示出根據(jù)示例實(shí)施例的在此被表示為用示例對(duì)象識(shí)別系統(tǒng)實(shí)現(xiàn)的確定葉節(jié)點(diǎn)的對(duì)象識(shí)別方法。
【具體實(shí)施方式】
[0022]現(xiàn)在將詳細(xì)論述示例實(shí)施例，這些示例實(shí)施例的示例在附圖中示出，其中，相似的標(biāo)號(hào)始終指示相似的元件。以下描述示例實(shí)施例，以便參照附圖解釋示例實(shí)施例。
[0023]圖1示出根據(jù)示例實(shí)施例的由對(duì)象識(shí)別系統(tǒng)執(zhí)行的識(shí)別方法的方面。參照?qǐng)D1，對(duì)象識(shí)別系統(tǒng)可通過使用將被分析的對(duì)象的單個(gè)深度圖像111識(shí)別該對(duì)象的可見部分和該對(duì)象的隱藏部分這兩個(gè)部分，并且可基于通過分析該對(duì)象而獲得的結(jié)果來構(gòu)造該對(duì)象的體積。具體地講，對(duì)象識(shí)別系統(tǒng)可通過使用對(duì)象的單個(gè)深度圖像、而不是通過使用多個(gè)深度圖像來識(shí)別對(duì)象的多個(gè)組成部分。例如，當(dāng)對(duì)象是人類時(shí)，人類的身體部分可表示例如手、手臂、腿、軀干等這樣的組成部分，可表示對(duì)象的多個(gè)組成部分。各種對(duì)象(例如人類、動(dòng)物、靜物等)可被分析。
[0024]對(duì)象識(shí)別系統(tǒng)可包括分類樹學(xué)習(xí)設(shè)備和對(duì)象識(shí)別設(shè)備，以下更詳細(xì)地討論這兩個(gè)設(shè)備。因此，圖1的識(shí)別方法還可表示分類樹學(xué)習(xí)處理和對(duì)象識(shí)別處理這兩個(gè)處理。分類樹學(xué)習(xí)設(shè)備可學(xué)習(xí)分類樹121和122，對(duì)象識(shí)別設(shè)備可使用所學(xué)習(xí)的分類樹121和122。在操作120中，對(duì)象識(shí)別設(shè)備可通過使用由分類樹學(xué)習(xí)設(shè)備產(chǎn)生并學(xué)習(xí)的分類樹121和122從單個(gè)深度圖像111識(shí)別對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。在這種情況下，根據(jù)示例實(shí)施例，對(duì)象識(shí)別系統(tǒng)可產(chǎn)生并學(xué)習(xí)分類樹121和122，并且可識(shí)別對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。根據(jù)需要，可如圖1所示那樣使用多個(gè)分類樹，或者可僅使用單個(gè)分類樹?？梢妼?duì)象部分可以是指圖像的表示對(duì)象被直接觀看的一部分，隱藏對(duì)象部分可以是指圖像的基于圖像的角度、捕捉方向、對(duì)象的內(nèi)部深度等被間接觀看的一部分。
[0025]根據(jù)示例實(shí)施例，對(duì)象識(shí)別設(shè)備可在操作130中通過使用所學(xué)習(xí)的分類樹121和122檢索對(duì)象的可見層和對(duì)象的一個(gè)或多個(gè)隱藏層。在操作131中，對(duì)象識(shí)別設(shè)備可從可見對(duì)象部分和隱藏對(duì)象部分的識(shí)別結(jié)果對(duì)深度圖像的直接可見部分(是深度圖像的可見部分)的標(biāo)識(shí)符(ID)和深度圖像的非直接可見部分(是深度圖像的隱藏部分)的ID進(jìn)行分類。這在圖1中用所示的分類的或識(shí)別的單個(gè)可見層、第I不可見(或隱藏)層和第2不可見(或隱藏)層表示。在操作132中，對(duì)象識(shí)別設(shè)備可檢索隱藏部分中的每個(gè)隱藏部分的深度值。這在圖1中用所示的檢索的單個(gè)可見層、第I不可見(或隱藏)層和第2不可見(或隱藏)層表示。在操作140中，對(duì)象識(shí)別設(shè)備可重構(gòu)對(duì)象的體積，或者可基于檢索的信息估計(jì)對(duì)象的姿態(tài)。
[0026]對(duì)象識(shí)別系統(tǒng)可應(yīng)用于所有類型的要求識(shí)別對(duì)象的裝置。例如，對(duì)象識(shí)別系統(tǒng)可用在智能TV(包括大型顯示器(LFD))、智能電話、移動(dòng)裝置(包括照相機(jī)、平板、筆記本計(jì)算機(jī)、一體式個(gè)人計(jì)算機(jī)(PC))、PC(包括臺(tái)式機(jī))等中。
[0027]另外，對(duì)象識(shí)別系統(tǒng)可具有不同應(yīng)用。例如，對(duì)象識(shí)別系統(tǒng)可應(yīng)用于例如運(yùn)動(dòng)游戲(exergame)、虛擬運(yùn)動(dòng)、虛擬娛樂、圖形動(dòng)畫、視頻對(duì)象探索、工效學(xué)、人機(jī)交互、監(jiān)督、用于消費(fèi)類電子裝置的自然用戶界面(UI)等【技術(shù)領(lǐng)域】。例如，對(duì)象識(shí)別系統(tǒng)可用作用于控制音樂視頻市場(chǎng)、音樂廣播市場(chǎng)、健康視頻市場(chǎng)等中的交互式視頻的技術(shù)。
[0028]圖2至圖6示出根據(jù)示例實(shí)施例的可見對(duì)象部分和隱藏對(duì)象部分的示圖?？梢妼?duì)象部分可表示用眼睛從通過捕捉對(duì)象而獲取的圖像(例如，彩色圖像或深度圖像)直接可見的部分，隱藏對(duì)象部分可表示該對(duì)象的被其他部分覆蓋和隱藏的后部部分或內(nèi)部部分。例如，當(dāng)對(duì)象被圖像傳感器捕捉時(shí)，該對(duì)象的承載圖像傳感器201的傳感器平面上的圖像的一部分可被定義為可見對(duì)象部分?jǐn)?shù)據(jù)，該對(duì)象的發(fā)生該對(duì)象的自遮擋或由另一個(gè)對(duì)象引起的遮擋的一部分可被定義為隱藏對(duì)象部分?jǐn)?shù)據(jù)。如圖5所示，例如，隱藏對(duì)象部分?jǐn)?shù)據(jù)還可表示在可見外層與后部外層之間的深度處的對(duì)象的部分，諸如肌肉平面(level)、血管平面或骨骼平面。
[0029]參照?qǐng)D2，當(dāng)對(duì)象是正六面體時(shí)，該正六面體的前視圖202的三個(gè)面可被定義為被顯示為被圖像傳感器201觀測(cè)到的三個(gè)可見對(duì)象部分，該正六面體的后視圖203的三個(gè)面可被定義為被顯示為未被圖像傳感器201觀測(cè)到的三個(gè)隱藏對(duì)象部分。參照?qǐng)D3，當(dāng)對(duì)象是人類時(shí)，并且當(dāng)通過捕捉人類的左側(cè)獲取圖像時(shí)，人體的一部分(諸如人體的左臂、左腿等)可被定義為可見對(duì)象部分301，被左臂和左腿隱藏的右臂、左軀干、右腿等可被定義為隱藏對(duì)象部分302。參照?qǐng)D4，當(dāng)對(duì)象是人類的右手時(shí)，并且當(dāng)通過捕捉右手的左側(cè)獲取圖像時(shí)，拇指、食指等可被定義為可見對(duì)象部分401，中指的一部分可被定義為被表示在第一隱藏對(duì)象部分402中，無名指的一部分可被定義為被表示在第二隱藏對(duì)象部分403中。
[0030]因?yàn)殡[藏對(duì)象部分在通過捕捉對(duì)象而獲取的圖像中被其他部分覆蓋或者被布置在與捕捉傳感器相對(duì)的一側(cè)，所以圖2至圖4的隱藏對(duì)象部分可能不能被直接查看。根據(jù)示例實(shí)施例，隱藏對(duì)象部分可被布置在對(duì)象的內(nèi)部。例如，參照?qǐng)D5，當(dāng)對(duì)象是人類時(shí)，例如，人類的外表可被定義為可見對(duì)象部分501，人體中所包括的肌肉、骨骼、內(nèi)臟器官、心血管系統(tǒng)、神經(jīng)系統(tǒng)等可被定義為隱藏對(duì)象部分502，不同元件被表示在不同的相應(yīng)的隱藏層中。另外，參照?qǐng)D6，當(dāng)對(duì)象是建筑物時(shí)，該建筑物的可見外部可被定義為可見對(duì)象部分601，該建筑物的內(nèi)部結(jié)構(gòu)可被定義為隱藏對(duì)象部分602。
[0031]以上已經(jīng)參照?qǐng)D2至圖6描述了對(duì)象的各種示例，然而，以下將基于圖3的人類的姿態(tài)更詳細(xì)地描述分類樹學(xué)習(xí)設(shè)備的示例操作和對(duì)象識(shí)別設(shè)備的示例操作。
[0032]圖7a示出根據(jù)示例實(shí)施例的在此被表示為用示例分類學(xué)習(xí)設(shè)備實(shí)現(xiàn)的分類樹學(xué)習(xí)方法。分類樹學(xué)習(xí)設(shè)備可產(chǎn)生并學(xué)習(xí)分類樹，該分類樹然后被對(duì)象識(shí)別設(shè)備用于識(shí)別將被分析的對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。如以上所指出的，示例對(duì)象識(shí)別系統(tǒng)可包括分類樹學(xué)習(xí)設(shè)備和對(duì)象識(shí)別設(shè)備這兩個(gè)設(shè)備。根據(jù)示例實(shí)施例，作為當(dāng)分類樹學(xué)習(xí)設(shè)備學(xué)習(xí)分類樹時(shí)所執(zhí)行的預(yù)處理操作，相應(yīng)的對(duì)象識(shí)別系統(tǒng)可創(chuàng)建三維(3D)對(duì)象模型712。在操作710中，對(duì)象識(shí)別系統(tǒng)可基于與對(duì)象相關(guān)聯(lián)的物理信息711創(chuàng)建3D對(duì)象模型712。另外，對(duì)象識(shí)別系統(tǒng)可在操作721中執(zhí)行對(duì)象的運(yùn)動(dòng)捕捉，并且可在操作720中對(duì)該對(duì)象執(zhí)行逆運(yùn)動(dòng)學(xué)(IK)以收集運(yùn)動(dòng)數(shù)據(jù)722。對(duì)象識(shí)別系統(tǒng)可將所收集的運(yùn)動(dòng)數(shù)據(jù)722應(yīng)用于3D對(duì)象模型712，并且可在操作723中更新關(guān)于3D對(duì)象模型712的信息。
[0033]為了產(chǎn)生用于學(xué)習(xí)分類樹的訓(xùn)練數(shù)據(jù)，分類樹學(xué)習(xí)設(shè)備可在操作724中基于更新的關(guān)于3D對(duì)象模型712的信息對(duì)體積進(jìn)行分解。分類樹學(xué)習(xí)設(shè)備可通過使用光線投射方案對(duì)體積進(jìn)行分解。隨后，在操作725中，如以下更詳細(xì)地討論的，分類樹學(xué)習(xí)設(shè)備可收集關(guān)于與對(duì)象相關(guān)聯(lián)的深度值和ID的信息。在操作726中，分類樹學(xué)習(xí)設(shè)備可基于所收集的信息產(chǎn)生訓(xùn)練數(shù)據(jù)，并且可通過使用所產(chǎn)生的訓(xùn)練數(shù)據(jù)學(xué)習(xí)分類樹。根據(jù)示例實(shí)施例，分類樹學(xué)習(xí)設(shè)備可使用隨機(jī)森林作為分類樹。
[0034]圖7b示出根據(jù)示例實(shí)施例的分類樹學(xué)習(xí)設(shè)備的學(xué)習(xí)單元的構(gòu)造的框圖。參照?qǐng)D7b，分類樹學(xué)習(xí)設(shè)備可包括學(xué)習(xí)單元730。學(xué)習(xí)單元730可通過使用與將被分析的對(duì)象相關(guān)聯(lián)的訓(xùn)練數(shù)據(jù)產(chǎn)生分類樹。換句話講，學(xué)習(xí)單元730可通過使用訓(xùn)練數(shù)據(jù)學(xué)習(xí)分類樹。根據(jù)示例實(shí)施例，學(xué)習(xí)單元730可直接產(chǎn)生訓(xùn)練數(shù)據(jù)。學(xué)習(xí)單元730可包括投射單元731、圖像層產(chǎn)生單元732、捕捉單元733和訓(xùn)練數(shù)據(jù)產(chǎn)生單元734。
[0035]圖7c示出根據(jù)示例實(shí)施例的在此被表示為用示例分類學(xué)習(xí)設(shè)備實(shí)現(xiàn)的、用于通過使用光線投射方案產(chǎn)生訓(xùn)練數(shù)據(jù)的分類樹學(xué)習(xí)方法。參照?qǐng)D7c，投射單元731可通過使用虛擬照相機(jī)751使光線朝向?qū)⒈环治龅膶?duì)象(例如，人類)的3D對(duì)象模型752的多個(gè)體素投射。每當(dāng)光線再次穿透3D對(duì)象模型752的表面時(shí)，圖像層產(chǎn)生單元732可順序地產(chǎn)生多個(gè)圖像層。例如，圖像層產(chǎn)生單元732可收集3D對(duì)象模型752的光線最初穿透的點(diǎn)或體素，并且可產(chǎn)生可見層。另外，當(dāng)光線通過3D對(duì)象模型752、然后再次穿透3D對(duì)象模型752時(shí)，也就是說，當(dāng)光線兩次穿透3D對(duì)象模型752時(shí)，圖像層產(chǎn)生單元732可收集光線穿透的點(diǎn)或體素，并且可產(chǎn)生表示第二穿透部分的第一隱藏層。類似地，圖像層產(chǎn)生單元732可產(chǎn)生第二隱藏層、第三隱藏層和第四隱藏層。基于對(duì)象的形狀、姿態(tài)等、虛擬照相機(jī)751與對(duì)象之間的方向等，可產(chǎn)生單個(gè)隱藏層或多個(gè)隱藏層。例如，再次參照?qǐng)D3-圖5以用于說明這樣的隱藏層。就圖5的示例而言，隱藏層不必表示3D對(duì)象模型的第二穿透，而是表示通過3D對(duì)象模型的分離的表面或組成部件的穿透。
[0036]捕捉單元733可對(duì)于多個(gè)圖像層中的每個(gè)捕捉光線穿透的表面的深度值和體素ID。另外，捕捉單元733可將所捕捉的體素ID和所捕捉的深度值存儲(chǔ)在多個(gè)圖像層中的每個(gè)中。在示例中，捕捉單元733可捕捉3D對(duì)象模型752的光線最初穿透的點(diǎn)或體素的ID，可將所捕捉的ID存儲(chǔ)在可見層中，并且可產(chǎn)生顯示在可見層上的對(duì)象部分的ID圖像753。在另一示例中，捕捉單元733可捕捉3D對(duì)象模型752的光線最初穿透的點(diǎn)或體素的深度值，可將所捕捉的深度值存儲(chǔ)在可見層中，并且可產(chǎn)生關(guān)于可見層的深度圖像756。例如，當(dāng)光線通過3D對(duì)象模型752、然后再次穿透3D對(duì)象模型752時(shí)，也就是說，光線兩次穿透3D對(duì)象模型752時(shí)，捕捉單元733可捕捉光線穿透的像素或體素的ID，可將所捕捉的ID存儲(chǔ)在第一隱藏層中，并且可產(chǎn)生顯示在第一隱藏層上的對(duì)象部分的ID圖像754。另外，當(dāng)光線通過3D對(duì)象模型752、然后再次穿透3D對(duì)象模型752時(shí)，捕捉單元733可捕捉光線穿透的像素或體素的深度值，可將所捕捉的深度值存儲(chǔ)在第一隱藏層中，并且可產(chǎn)生關(guān)于第一隱藏層的深度圖像757。
[0037]類似地，捕捉單元733可同樣地將以上與第一隱藏層相關(guān)聯(lián)的操作應(yīng)用于第二隱藏層、第三隱藏層和第四隱藏層。例如，捕捉單元733可產(chǎn)生顯示在第二隱藏層上的對(duì)象部分的ID圖像755和關(guān)于第二隱藏層的深度圖像758。
[0038]訓(xùn)練數(shù)據(jù)產(chǎn)生單元734可將離虛擬照相機(jī)751距離最小的圖像層(也就是說，可見層)設(shè)置為可見對(duì)象部分?jǐn)?shù)據(jù)。可見對(duì)象部分?jǐn)?shù)據(jù)可包括ID和深度值。類似地，訓(xùn)練數(shù)據(jù)產(chǎn)生單元734可將其他圖像層(也就是說，隱藏層)設(shè)置為包括ID和深度值的隱藏對(duì)象部分?jǐn)?shù)據(jù)。訓(xùn)練數(shù)據(jù)產(chǎn)生單元734可通過使用可見對(duì)象部分?jǐn)?shù)據(jù)和隱藏對(duì)象部分?jǐn)?shù)據(jù)產(chǎn)生訓(xùn)練數(shù)據(jù)。
[0039]如以上在圖7b和圖7c中所描述的，學(xué)習(xí)單元730可直接產(chǎn)生用于學(xué)習(xí)分類樹的訓(xùn)練數(shù)據(jù)，然而，在此的實(shí)施例可以不限于此。因此，學(xué)習(xí)單元730可使用通過使用單獨(dú)的方案而產(chǎn)生的訓(xùn)練數(shù)據(jù)。以下，將更詳細(xì)地描述通過使用所產(chǎn)生的訓(xùn)練數(shù)據(jù)學(xué)習(xí)分類樹的操作。
[0040]圖7d和圖8示出根據(jù)示例實(shí)施例的在此被表示為用示例分類學(xué)習(xí)設(shè)備實(shí)現(xiàn)的、用于通過使用訓(xùn)練數(shù)據(jù)學(xué)習(xí)分類樹的分類樹學(xué)習(xí)方法。參照?qǐng)D7d和圖8，在操作801中，分類樹學(xué)習(xí)設(shè)備可從訓(xùn)練數(shù)據(jù)選擇可用于學(xué)習(xí)分類樹的可見對(duì)象部分?jǐn)?shù)據(jù)Dv701和隱藏對(duì)象部分?jǐn)?shù)據(jù)Dh702。例如，分類樹學(xué)習(xí)設(shè)備可隨機(jī)地選擇將被學(xué)習(xí)的目標(biāo)數(shù)據(jù)D。在這種情況下，對(duì)象的每個(gè)部分可形成每個(gè)類。例如，當(dāng)對(duì)象是人類時(shí)，人類的手臂、腿、軀干、頭等均可被確定為表不一個(gè)類。
[0041]在操作802中，分類樹學(xué)習(xí)設(shè)備可輸入所選擇的可見對(duì)象部分?jǐn)?shù)據(jù)Dv701和所選擇的隱藏對(duì)象部分?jǐn)?shù)據(jù)Dh702，并且可產(chǎn)生并學(xué)習(xí)分類樹703。例如，分類樹學(xué)習(xí)設(shè)備可通過使用所選擇的目標(biāo)數(shù)據(jù)D來產(chǎn)生并學(xué)習(xí)分類樹。在這種情況下，目標(biāo)數(shù)據(jù)D可包括可見對(duì)象部分?jǐn)?shù)據(jù)Dv701和隱藏對(duì)象部分?jǐn)?shù)據(jù)Dh702。
[0042]分類樹學(xué)習(xí)設(shè)備可產(chǎn)生直方圖，并且可將這些直方圖存儲(chǔ)在每個(gè)節(jié)點(diǎn)中。每個(gè)直方圖均可表示指示對(duì)象的哪個(gè)部分對(duì)應(yīng)于輸入數(shù)據(jù)(也就是說，輸入的可見對(duì)象部分?jǐn)?shù)據(jù)Dv701和輸入的隱藏對(duì)象部分?jǐn)?shù)據(jù)Dh702)的概率值。在每個(gè)直方圖中，水平軸可指示多個(gè)對(duì)象部分ID，垂直軸可指示輸入數(shù)據(jù)可對(duì)應(yīng)于所述多個(gè)對(duì)象部分ID中的每個(gè)的概率值。例如，當(dāng)對(duì)象是人類時(shí)，頭、手臂、軀干、腿等可被定義為人類的對(duì)象部分。在這種情況下，分類樹學(xué)習(xí)設(shè)備可在分類樹的每個(gè)節(jié)點(diǎn)中產(chǎn)生直方圖，該直方圖表示在預(yù)定節(jié)點(diǎn)中表示人類的圖像可被識(shí)別為頭的概率、該圖像可被識(shí)別為手臂的概率、該圖像可被識(shí)別為軀干的概率、該圖像可被識(shí)別為腿的概率等。
[0043]在分類樹703的根節(jié)點(diǎn)704中，輸入數(shù)據(jù)可對(duì)應(yīng)于根節(jié)點(diǎn)704的一個(gè)類(即，一個(gè)部分)的所有概率可被均勻地計(jì)算和存儲(chǔ)。然而，隨著分類樹學(xué)習(xí)設(shè)備繼續(xù)朝向分類樹的下層節(jié)點(diǎn)學(xué)習(xí)訓(xùn)練數(shù)據(jù)，可根據(jù)類來確定輸入數(shù)據(jù)可對(duì)應(yīng)于根節(jié)點(diǎn)704的一個(gè)類(即，一個(gè)部分)的概率。因此，在分類樹703的葉節(jié)點(diǎn)705中，輸入數(shù)據(jù)可以以最高概率被確定為一個(gè)類(即，一個(gè)部分)。換句話講，隨著分類樹703的層次在學(xué)習(xí)期間增加，可保持預(yù)定類的高概率，并且可降低其他類的概率。
[0044]在這種情況下，分類樹學(xué)習(xí)設(shè)備可在葉節(jié)點(diǎn)705中計(jì)算可見對(duì)象部分?jǐn)?shù)據(jù)Dv701的深度值與隱藏對(duì)象部分?jǐn)?shù)據(jù)Dh702的深度值之間的差值，可計(jì)算相對(duì)深度值，并且可將所計(jì)算的相對(duì)深度值與每個(gè)直方圖一起存儲(chǔ)在葉節(jié)點(diǎn)705中。
[0045]根據(jù)示例實(shí)施例，分類樹學(xué)習(xí)設(shè)備可重復(fù)地執(zhí)行操作801和802，并且可在操作803中產(chǎn)生多個(gè)學(xué)習(xí)的分類樹。例如,分類樹學(xué)習(xí)設(shè)備可重復(fù)操作801和802K次，以學(xué)習(xí)包括K個(gè)分類樹的隨機(jī)森林。
[0046]圖9示出在此被表示為用圖7b的示例學(xué)習(xí)單元實(shí)現(xiàn)的、用于學(xué)習(xí)分類樹的學(xué)習(xí)方法。參照?qǐng)D7b，為了學(xué)習(xí)分類樹，學(xué)習(xí)單元730可包括特征選擇單元741、特征空間變換單元742、閾值選擇單元743、劃分單元744、信息增益計(jì)算單元745和分類樹產(chǎn)生單元746。
[0047]參照?qǐng)D9，在操作901中，特征選擇單元741可隨機(jī)地從多個(gè)特征集之中選擇單個(gè)特征V。在操作902中，特征空間變換單元742可通過使用所選擇的特征V將可見對(duì)象部分?jǐn)?shù)據(jù)Dv和隱藏對(duì)象部分?jǐn)?shù)據(jù)Dh變換到特征空間。在這種情況下，可見對(duì)象部分?jǐn)?shù)據(jù)07和隱藏對(duì)象部分?jǐn)?shù)據(jù)Dh可表示訓(xùn)練數(shù)據(jù)中所包括的數(shù)據(jù)。
[0048]根據(jù)示例實(shí)施例，特征可以是深度比較特征，特征空間變換單元742可通過使用深度比較特征等式(例如，以下等式1-1)來變換特征空間。
[0049]等式1-1:
[0050]
【權(quán)利要求】
1.一種對(duì)象識(shí)別設(shè)備，包括: 輸入單元，接收作為輸入的表示將被分析的對(duì)象的深度圖像；和 處理單元，通過使用分類樹從深度圖像識(shí)別所述對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。
2.根據(jù)權(quán)利要求1所述的對(duì)象識(shí)別設(shè)備，還包括: 體積構(gòu)造單元，通過使用識(shí)別的可見對(duì)象部分和識(shí)別的隱藏對(duì)象部分在單個(gè)數(shù)據(jù)空間中構(gòu)造所述對(duì)象的體積。
3.根據(jù)權(quán)利要求2所述的對(duì)象識(shí)別設(shè)備，其中，處理單元基于所述體積提取關(guān)于所述對(duì)象的附加信息。
4.根據(jù)權(quán)利要求3所述的對(duì)象識(shí)別設(shè)備，其中，附加信息包括關(guān)于與所述對(duì)象相關(guān)聯(lián)的形狀、姿態(tài)、關(guān)鍵關(guān)節(jié)和結(jié)構(gòu)中的至少一個(gè)的信息。
5.根據(jù)權(quán)利要求2所述的對(duì)象識(shí)別設(shè)備，其中，體積構(gòu)造單元通過使用存儲(chǔ)在分類樹的葉節(jié)點(diǎn)中的相對(duì)深度值構(gòu)造體積，并且 其中，相對(duì)深度值指示識(shí)別的可見對(duì)象部分的深度值與識(shí)別的隱藏對(duì)象部分的深度值之間的差值。
6.根據(jù)權(quán)利要求1所述的對(duì)象識(shí)別設(shè)備，其中，處理單元將深度圖像輸入到分類樹， 其中，當(dāng)分類樹的當(dāng)前節(jié)點(diǎn)是劃分節(jié)點(diǎn)時(shí)，處理單元從劃分節(jié)點(diǎn)讀取特征的值和閾值，將所述特征的值和閾值輸入到 劃分函數(shù)，計(jì)算結(jié)果值，并基于計(jì)算的結(jié)果值搜索當(dāng)前節(jié)點(diǎn)的左子節(jié)點(diǎn)和右子節(jié)點(diǎn)之一，并且 其中，當(dāng)當(dāng)前節(jié)點(diǎn)是葉節(jié)點(diǎn)時(shí)，處理單元從葉節(jié)點(diǎn)讀取可見對(duì)象部分的第一直方圖和隱藏對(duì)象部分的第二直方圖，基于讀取的第一直方圖從深度圖像識(shí)別可見對(duì)象部分，并基于讀取的第二直方圖從深度圖像識(shí)別隱藏對(duì)象部分。
7.根據(jù)權(quán)利要求6所述的對(duì)象識(shí)別設(shè)備，其中，當(dāng)結(jié)果值小于閾值時(shí)，處理單元搜索左子節(jié)點(diǎn)，并且 其中，當(dāng)結(jié)果值等于或大于閾值時(shí)，處理單元搜索右子節(jié)點(diǎn)。
8.根據(jù)權(quán)利要求1所述的對(duì)象識(shí)別設(shè)備，還包括: 大小調(diào)整單元，調(diào)整所述對(duì)象的對(duì)象模型的寬度和高度中的至少一個(gè)大小。
9.根據(jù)權(quán)利要求1所述的對(duì)象識(shí)別設(shè)備，其中，分類樹包括可見對(duì)象部分的概率值和隱藏對(duì)象部分的概率值。
10.根據(jù)權(quán)利要求1所述的對(duì)象識(shí)別設(shè)備，其中，分類樹包括與可見對(duì)象部分和隱藏對(duì)象部分相關(guān)聯(lián)的相對(duì)深度值。
11.根據(jù)權(quán)利要求1所述的對(duì)象識(shí)別設(shè)備，其中，通過使用隱藏對(duì)象部分的至少一部分作為多個(gè)層來表示分類樹。
12.一種用于產(chǎn)生分類樹的分類樹學(xué)習(xí)設(shè)備，分類樹被對(duì)象識(shí)別設(shè)備用于識(shí)別將被分析的對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分，分類樹學(xué)習(xí)設(shè)備包括: 學(xué)習(xí)單元，用于通過使用與所述對(duì)象相關(guān)聯(lián)的訓(xùn)練數(shù)據(jù)產(chǎn)生分類樹。
13.根據(jù)權(quán)利要求12所述的分類樹學(xué)習(xí)設(shè)備，其中，學(xué)習(xí)單元包括: 投射單元，用于通過使用虛擬照相機(jī)使光線朝著所述對(duì)象的三維(3D)對(duì)象模型的多個(gè)體素投射光線；圖像層產(chǎn)生單元，用于每當(dāng)光線穿透3D對(duì)象模型的表面時(shí)，順序地產(chǎn)生多個(gè)圖像層；捕捉單元，用于對(duì)于所述多個(gè)圖像層中的每個(gè)，捕捉所述表面的深度值和體素標(biāo)識(shí)符(ID)，并將捕捉的深度值和捕捉的體素ID存儲(chǔ)在所述多個(gè)圖像層中的每個(gè)中；和 訓(xùn)練數(shù)據(jù)產(chǎn)生單元，用于將離虛擬照相機(jī)距離最小的圖像層設(shè)置為與可見對(duì)象部分相關(guān)聯(lián)的可見對(duì)象部分?jǐn)?shù)據(jù)，并將其他圖像層設(shè)置為與隱藏對(duì)象部分相關(guān)聯(lián)的隱藏對(duì)象部分?jǐn)?shù)據(jù)，并產(chǎn)生訓(xùn)練數(shù)據(jù)。
14.根據(jù)權(quán)利要求12所述的分類樹學(xué)習(xí)設(shè)備，其中，學(xué)習(xí)單元包括: 特征選擇單元，用于從多個(gè)特征集隨機(jī)選擇單個(gè)特征； 特征空間變換單元，用于通過使用選擇的特征將與可見對(duì)象部分相關(guān)聯(lián)的可見對(duì)象部分?jǐn)?shù)據(jù)和與隱藏對(duì)象部分相關(guān)聯(lián)的隱藏對(duì)象部分?jǐn)?shù)據(jù)變換到特征空間； 閾值選擇單元，用于從特征空間的最小值到最大值的范圍隨機(jī)地選擇閾值； 劃分單元，用于將閾值、特征空間和可見對(duì)象部分?jǐn)?shù)據(jù)輸入到劃分函數(shù)，將可見對(duì)象部分?jǐn)?shù)據(jù)劃分為左可見對(duì)象部分?jǐn)?shù)據(jù)和右可見對(duì)象部分?jǐn)?shù)據(jù)，并將隱藏對(duì)象部分?jǐn)?shù)據(jù)劃分為左隱藏對(duì)象部分?jǐn)?shù)據(jù)和右隱藏對(duì)象部分?jǐn)?shù)據(jù)； 信息增益計(jì)算單元，用于計(jì)算用于左可見對(duì)象部分?jǐn)?shù)據(jù)、右可見對(duì)象部分?jǐn)?shù)據(jù)、左隱藏對(duì)象部分?jǐn)?shù)據(jù)和右隱藏對(duì)象部分?jǐn)?shù)據(jù)中的每個(gè)的信息增益；和 分類樹產(chǎn)生單元，用于將特征的值、閾值、左可見對(duì)象部分?jǐn)?shù)據(jù)、右可見對(duì)象部分?jǐn)?shù)據(jù)、左隱藏對(duì)象部分?jǐn)?shù)據(jù)和右隱藏對(duì)象部分?jǐn)?shù)據(jù)存儲(chǔ)在分類樹的當(dāng)前節(jié)點(diǎn)中，并且當(dāng)信息增益在最佳參考范圍內(nèi)時(shí)，產(chǎn)生分類樹。
15.根據(jù)權(quán)利要求14所述的分類樹學(xué)習(xí)設(shè)備，其中，信息增益計(jì)算單元計(jì)算用于左可見對(duì)象部分?jǐn)?shù)據(jù)和右可見對(duì)象部分?jǐn)?shù)據(jù)的第一中間信息增益，計(jì)算用于左隱藏對(duì)象部分?jǐn)?shù)據(jù)和右隱藏對(duì)象部分?jǐn)?shù)據(jù)的第二中間信息增益，并基于第一中間信息增益和第二中間信息增益計(jì)算信息增益。
16.根據(jù)權(quán)利要求14所述的分類樹學(xué)習(xí)設(shè)備，其中，當(dāng)信息增益超過最佳參考范圍時(shí)，分類樹產(chǎn)生單元控制特征選擇單元、特征空間變換單元、閾值選擇單元、劃分單元和信息增益計(jì)算單元中的每個(gè)的操作，以使得單個(gè)特征重新從所述多個(gè)特征集隨機(jī)地被選擇，閾值隨機(jī)地被選擇，并且分類樹的當(dāng)前節(jié)點(diǎn)的學(xué)習(xí)被執(zhí)行。
17.根據(jù)權(quán)利要求14所述的分類樹學(xué)習(xí)設(shè)備，其中，分類樹產(chǎn)生單元確定當(dāng)前節(jié)點(diǎn)是否滿足停止標(biāo)準(zhǔn)， 其中，當(dāng)當(dāng)前節(jié)點(diǎn)未能滿足停止標(biāo)準(zhǔn)時(shí)，分類樹產(chǎn)生單元通過使用左可見對(duì)象部分?jǐn)?shù)據(jù)和左隱藏對(duì)象部分?jǐn)?shù)據(jù)作為輸入來學(xué)習(xí)左子節(jié)點(diǎn)，并通過使用右可見對(duì)象部分?jǐn)?shù)據(jù)和右隱藏對(duì)象部分?jǐn)?shù)據(jù)作為輸入來學(xué)習(xí)右子節(jié)點(diǎn)，并且 其中，當(dāng)當(dāng)前節(jié)點(diǎn)滿足停止標(biāo)準(zhǔn)時(shí)，分類樹產(chǎn)生單元將當(dāng)前節(jié)點(diǎn)確定為葉節(jié)點(diǎn)，并終止分類樹的學(xué)習(xí)。
18.根據(jù)權(quán)利要求17所述的分類樹學(xué)習(xí)設(shè)備，其中，當(dāng)當(dāng)前節(jié)點(diǎn)被確定為葉節(jié)點(diǎn)時(shí)，分類樹產(chǎn)生單元產(chǎn)生表示所述對(duì)象的多個(gè)對(duì)象部分中的每個(gè)將被確定為可見對(duì)象部分的概率的第一直方圖、以及表示所述多個(gè)對(duì)象部分中的每個(gè)將被確定為隱藏對(duì)象部分的概率的第二直方圖，并且分類樹產(chǎn)生單元將第一直方圖和第二直方圖存儲(chǔ)在當(dāng)前節(jié)點(diǎn)中。
19.根據(jù)權(quán)利要求17所述的分類樹學(xué)習(xí)設(shè)備，其中，當(dāng)當(dāng)前節(jié)點(diǎn)被確定為葉節(jié)點(diǎn)時(shí)，分類樹產(chǎn)生單元計(jì)算指示可見對(duì)象部分的深度值與隱藏對(duì)象部分的深度值之間的差值的相對(duì)深度值，并將計(jì)算的相對(duì)深度值存儲(chǔ)在當(dāng)前節(jié)點(diǎn)中。
20.一種對(duì)象識(shí)別設(shè)備的操作方法，所述操作方法包括: 接收作為輸入的表示將被分析的對(duì)象的深度圖像；和 通過使用分類樹識(shí)別所述對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分。
21.一種用于產(chǎn)生分類樹的分類樹學(xué)習(xí)設(shè)備的操作方法，分類樹被對(duì)象識(shí)別設(shè)備用于識(shí)別將被分析的對(duì)象的可見對(duì)象部分和隱藏對(duì)象部分，所述操作方法包括: 通過使用與所述對(duì)象相關(guān)聯(lián)的訓(xùn)練數(shù)據(jù)產(chǎn)生分類樹。
22.—種存儲(chǔ)使計(jì)算機(jī)實(shí)現(xiàn)權(quán)利要求20的方法的程序的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì) 。
【文檔編號(hào)】G06T7/00GK103890752SQ201380003629
【公開日】2014年6月25日 申請(qǐng)日期:2013年1月9日 優(yōu)先權(quán)日:2012年1月11日
【發(fā)明者】俞炳仁, 崔昌圭, 李昶敎, 韓在濬 申請(qǐng)人:三星電子株式會(huì)社