用于檢測被拍攝用戶的身體部位的設備和方法
【專利摘要】提供一種用于檢測被拍攝用戶的身體部位的設備和方法，所述設備包括：圖像獲取單元，用于獲取被拍攝用戶的深度圖像；提取單元，用于從獲取的深度圖像中提取作為前景的被拍攝用戶，其中，所述被拍攝用戶為單用戶或多用戶，單用戶是指圖像與其它被拍攝用戶的圖像不發(fā)生交疊的單個被拍攝用戶，多用戶是指圖像互相交疊的多個被拍攝用戶；以及部位檢測單元，用于通過使用基于單用戶樣本和多用戶樣本訓練出的用于檢測身體部位的分類器來檢測提取的被拍攝用戶的身體部位。根據(jù)所述設備和方法，能夠有效地檢測多用戶的身體部位。
【專利說明】用于檢測被拍攝用戶的身體部位的設備和方法

【技術領域】
[0001] 本發(fā)明涉及計算機視覺技術和模式識別技術，更具體地說，涉及一種用于從拍攝 的圖像中檢測出用戶的各個身體部位的設備和方法。

【背景技術】
[0002] 對人體姿勢的估計作為計算機視覺技術的重要組成廣泛地應用于很多領域，例 如，人機交互（包括3D自然交互）、智能監(jiān)視、用于游戲或電影的現(xiàn)實角色動畫等。由于該 項技術的學術價值及其廣闊的商業(yè)應用前景，人們對于它的關注度越來越高，并相應地進 行了大量的研究。
[0003] 在估計人體姿勢時，對身體部位的檢測是基礎技術之一，檢測到的身體部位將作 為重要的參考信息以用于估計人體姿勢。
[0004] 在實際的應用環(huán)境（例如，家庭娛樂環(huán)境）中，常常發(fā)生多個用戶的圖像之間存在 交疊的情況，例如，當用戶做出握手、搭肩等接觸動作時，相應用戶的圖像之間會存在連接， 或者，當不同位置的用戶在縱深方向上彼此遮擋時，或者，當用戶做出挽手臂或擁抱等動作 時，相應用戶的圖像之間會存在重疊。
[0005] 針對多個用戶的圖像之間存在交疊的上述情況，現(xiàn)有技術首先通過進行圖像分割 來獲取各個單獨的用戶，進而從分割出的每個用戶檢測他/她的身體部位。由于現(xiàn)有技術 中主要通過將交疊的用戶圖像進行分割來檢測每個用戶的身體部位，因此，身體部位檢測 的有效性受限于圖像分割的準確性，而由于在很多情況下難以實現(xiàn)針對每個用戶的準確分 害!]，相應地，也就難以有效地檢測到各個用戶的身體部位。此外，即便能夠準確地分割出重 疊圖像中的每一個用戶，也由于存在局部圖像的損失而導致無法檢測到身體部位或者檢測 到的身體部位出現(xiàn)偏差。
[0006] 例如，圖1示出根據(jù)現(xiàn)有技術對連接圖像進行分割的示例。如圖1的（a)和（b) 所示，兩個用戶由于握手和搭肩的動作而使得他們的圖像之間存在連接，在這種情況下，現(xiàn) 有技術中的圖像分割處理會從捕獲的連續(xù)圖像中獲得如圖1的（c)所示的結果，從圖1的 (c)可以看出，圖像分割處理難以在連接處實現(xiàn)對用戶的準確分割，導致無法有效地檢測出 用戶的身體部位（例如，用戶各自的胳膊）。
[0007] 此外，圖2示出根據(jù)現(xiàn)有技術對重疊圖像進行分割的示例。在該示例中，站立在不 同位置的兩個用戶在縱深方向上彼此遮擋，且這兩個用戶之間的距離比較遠。如圖2的（a) 和（b)所示，兩個用戶由于站立的位置而使得他們的圖像之間存在重疊，在這種情況下，現(xiàn) 有技術中的圖像分割處理會從捕獲的連續(xù)圖像中獲得如圖2的（c)所示的結果，從圖2的 (c)可以看出，由于兩個用戶之間的距離較遠，因此，圖像分割處理能夠相對完整地分割出 距離拍攝裝置較近的用戶，但距離拍攝裝置較遠的另一用戶的某些身體部位（例如，胳膊） 會由于被遮擋而無法被有效地檢測。
[0008] 此外，圖3示出根據(jù)現(xiàn)有技術對重疊圖像進行分割的另一示例。在該示例中，兩 個用戶在縱深方向上彼此遮擋，且這兩個用戶之間的距離比較近。如圖3的（a)和（b)所 示，兩個用戶由于站立的位置或挽手臂的動作而使得他們的圖像之間存在重疊，在這種情 況下，現(xiàn)有技術中的圖像分割處理會從捕獲的連續(xù)圖像中獲得如圖3的（c)所示的結果，從 圖3的（c)可以看出，由于兩個用戶之間的距離較近，因此，圖像分割處理難以準確地分割 出上述兩個用戶，例如，兩個用戶的胳膊圖像會存在重疊，導致無法被有效地檢測。
[0009] 綜上所述，現(xiàn)有的身體部位檢測技術受限于用戶圖像分割的準確性，因此，在檢測 圖像互相交疊的多用戶的身體部位時，難以取得期望的檢測結果。


【發(fā)明內(nèi)容】

[0010] 本發(fā)明的目的在于提供一種能夠從拍攝的圖像中檢測出用戶的各個身體部位的 設備和方法，其中，所述設備和方法能夠有效地檢測圖像互相交疊的多個用戶的身體部位。 [0011] 根據(jù)本發(fā)明的一方面，提供一種用于檢測被拍攝用戶的身體部位的設備，包括：圖 像獲取單元，用于獲取被拍攝用戶的深度圖像；提取單元，用于從獲取的深度圖像中提取作 為前景的被拍攝用戶，其中，所述被拍攝用戶為單用戶或多用戶，單用戶是指圖像與其它被 拍攝用戶的圖像不發(fā)生交疊的單個被拍攝用戶，多用戶是指圖像互相交疊的多個被拍攝用 戶；以及部位檢測單元，用于通過使用基于單用戶樣本和多用戶樣本訓練出的用于檢測身 體部位的分類器來檢測提取的被拍攝用戶的身體部位。
[0012] 所述設備可還包括：劃分單元，用于將提取的被拍攝用戶劃分為單用戶和多用戶， 其中，所述分類器包括基于單用戶樣本訓練出的單用戶分類器和基于多用戶樣本訓練出的 多用戶分類器，并且，部位檢測單元包括：單用戶部位檢測器，用于從劃分單元接收劃分出 的單用戶，并通過使用單用戶分類器來檢測所述劃分出的單用戶的身體部位；多用戶部位 檢測器，用于從劃分單元接收劃分出的多用戶，并通過使用多用戶分類器來檢測所述劃分 出的多用戶的身體部位。
[0013] 在所述設備中，劃分單元可標注由提取單元從最初獲取的深度圖像中提取的各個 被拍攝用戶，并通過在后續(xù)獲取的深度圖像中跟蹤標注的各個被拍攝用戶來確定各個被拍 攝用戶的圖像之間的交疊情況，從而將提取的被拍攝用戶劃分為單用戶和多用戶，其中，所 述最初獲取的深度圖像中的被拍攝用戶的圖像之間不存在交疊。
[0014] 在所述設備中，所述分類器可以是提升型分類器。
[0015] 在所述設備中，所述提升型分類器可表示為用于描述身體部位本身的屬性的多個 特征與用于描述所述身體部位周圍的上下文屬性的多個特征之和。
[0016] 在所述設備中，所述特征可被實現(xiàn)為多尺度順序圖案特征，其中，所述多尺度順序 圖案特征用于指示深度圖像中多個相關矩形區(qū)域之間在不同尺度下關于深度值的對比關 系。
[0017] 在所述設備中，部位檢測單元可通過使用所述分類器基于子窗口執(zhí)行搜索來檢測 被拍攝用戶的身體部位。
[0018] 根據(jù)本發(fā)明的另一方面，提供一種用于檢測被拍攝用戶的身體部位的方法，包括： 獲取被拍攝用戶的深度圖像；從獲取的深度圖像中提取作為前景的被拍攝用戶，其中，所述 被拍攝用戶為單用戶或多用戶，單用戶是指圖像與其它被拍攝用戶的圖像不發(fā)生交疊的單 個被拍攝用戶，多用戶是指圖像互相交疊的多個被拍攝用戶；以及通過使用基于單用戶樣 本和多用戶樣本訓練出的用于檢測身體部位的分類器來檢測提取的被拍攝用戶的身體部 位。
[0019] 所述方法可還包括：將提取的被拍攝用戶劃分為單用戶和多用戶，其中，所述分類 器包括基于單用戶樣本訓練出的單用戶分類器和基于多用戶樣本訓練出的多用戶分類器， 并且，所述檢測步驟包括：接收劃分出的單用戶，并通過使用單用戶分類器來檢測所述劃分 出的單用戶的身體部位；接收劃分出的多用戶，并通過使用多用戶分類器來檢測所述劃分 出的多用戶的身體部位。
[0020] 在所述方法中，所述劃分步驟可包括：標注從最初獲取的深度圖像中提取的各個 被拍攝用戶，并通過在后續(xù)獲取的深度圖像中跟蹤標注的各個被拍攝用戶來確定各個被拍 攝用戶的圖像之間的交疊情況，從而將提取的被拍攝用戶劃分為單用戶和多用戶，其中，所 述最初獲取的深度圖像中的被拍攝用戶的圖像之間不存在交疊。
[0021] 在所述方法中，所述檢測步驟可包括：通過使用所述分類器基于子窗口執(zhí)行搜索 來檢測被拍攝用戶的身體部位。
[0022] 根據(jù)本發(fā)明示例性實施例的身體部位檢測設備和方法，能夠有效地檢測多用戶的 身體部位，而不必受限于圖像分割的準確性。

【專利附圖】

【附圖說明】
[0023] 通過下面結合附圖進行的對實施例的描述，本發(fā)明的上述和/或其它目的和優(yōu)點 將會變得更加清楚，其中：
[0024] 圖1示出根據(jù)現(xiàn)有技術對連接圖像進行分割的示例；
[0025] 圖2示出根據(jù)現(xiàn)有技術對重疊圖像進行分割的示例；
[0026] 圖3示出根據(jù)現(xiàn)有技術對重疊圖像進行分割的另一示例；
[0027] 圖4示出根據(jù)本發(fā)明示例性實施例的用于檢測被拍攝用戶的身體部位的設備的 框圖；
[0028] 圖5示出根據(jù)本發(fā)明另一示例性實施例的用于檢測被拍攝用戶的身體部位的設 備的框圖；
[0029] 圖6示出根據(jù)本發(fā)明示例性實施例的將提取的被拍攝用戶劃分為單用戶的示例；
[0030] 圖7示出根據(jù)本發(fā)明示例性實施例所劃分出的多用戶的示例；
[0031] 圖8示出根據(jù)本發(fā)明示例性實施例的用于檢測被拍攝用戶的身體部位的方法的 流程圖；
[0032] 圖9示出根據(jù)本發(fā)明另一示例性實施例的用于檢測被拍攝用戶的身體部位的方 法的流程圖；
[0033] 圖10示出根據(jù)本發(fā)明示例性實施例的身體部位檢測結果。

【具體實施方式】
[0034] 現(xiàn)將詳細參照本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中，相同的標 號始終指的是相同的部件。以下將通過參照附圖來說明所述實施例，以便解釋本發(fā)明。
[0035] 圖4示出根據(jù)本發(fā)明示例性實施例的用于檢測被拍攝用戶的身體部位的設備的 框圖。這里的身體部位主要可包括頭部、胳膊和腿部中的至少一個，但并不受限于此。作為 非限制性的示例，所述身體部位可包括以下項中的至少一個：頭部、頸部、左肩膀、左上臂、 左胳膊肘、左下臂、左手腕、左手、右肩膀、右上臂、右胳膊肘、右下臂、右手腕、右手、左大腿、 左膝蓋、左小腿、左腳踝、左腳、右大腿、右膝蓋、右小腿、右腳踝、右腳。
[0036] 參照圖4,根據(jù)本發(fā)明示例性實施例的身體部位檢測設備包括：圖像獲取單元10、 提取單元20和部位檢測單元30。
[0037] 具體說來，圖像獲取單元10用于獲取被拍攝用戶的深度圖像。作為示例，圖像獲 取單元10可以是用于拍攝深度圖像的深度攝像頭（例如，Prime-Sense)，或者可以是用于 從拍攝裝置接收拍攝的深度圖像的接口單元。
[0038] 提取單元20用于從獲取的深度圖像中提取作為前景的被拍攝用戶，其中，所述被 拍攝用戶為單用戶或多用戶，單用戶是指圖像與其它被拍攝用戶的圖像不發(fā)生交疊的單個 被拍攝用戶，多用戶是指圖像互相交疊的多個被拍攝用戶。這里，提取單元20可利用任何 適當?shù)姆绞綇纳疃葓D像中提取作為前景的被拍攝用戶，具體說來，獲取的深度圖像中可包 括至少一個單用戶和/或至少一個多用戶，相應地，提取單元20可從所述深度圖像中提取 出至少一個單用戶和/或至少一個多用戶。
[0039] 部位檢測單元30用于通過使用基于單用戶樣本和多用戶樣本訓練出的用于檢測 身體部位的分類器來檢測提取的被拍攝用戶的身體部位。根據(jù)本發(fā)明的示例性實施例，部 位檢測單元30所采用的分類器在訓練時不僅基于單用戶樣本（例如，保存在單用戶樣本數(shù) 據(jù)庫中），而且還基于多用戶樣本（例如，保存在多用戶樣本數(shù)據(jù)庫中）。因此，根據(jù)本發(fā)明 示例性實施例的身體部位檢測設備不需要對多用戶進行圖像上的分割，從而檢測結果不再 受限于圖像分割的準確性。
[0040] 作為優(yōu)選方式，所述分類器可以采用提升型分類器F(x)，其可表示為用于描述被 檢測對象（即，身體部位）本身的屬性的多個特征f；, t(X)與用于描述所述對象周圍的上下 文屬性的多個特征fs, t(x)之和。
[0041] 作為示例，可通過以下的等式（1)來表示提升型分類器F(x): TQ Ts
[0042] F(x) = J fot (x) + 2 fSJ (x) ⑴
[0043] 在上述等式（1)中，x表示用于訓練分類器的樣本中的被檢測對象（即，身體部 位）的示例，根據(jù)本發(fā)明的示例性實施例，這里的樣本可以是單用戶樣本或多用戶樣本。t 表示特征f。, t (X)和特征fs, t (X)的序號，T。表示特征f。, t (X)的數(shù)量，Ts表示特征fs, t (X) 的數(shù)量。這里的特征fuU)和特征fs,t(x)可實現(xiàn)為多尺度順序圖案（MSOP, multi-scale ordinal pattern)特征，其中，所述多尺度順序圖案特征用于指示圖像中多個相關矩形區(qū) 域之間在不同尺度下關于特定圖像屬性（例如，深度值）的對比關系。通過設置多尺度順 序圖案的位置、大小和類型等參數(shù)，可獲得用于描述被檢測對象本身的屬性的特征f。, t (X) 與用于描述所述對象周圍的上下文屬性的特征fs,t(x)。
[0044] 作為示例，通過下面的等式（2)來計算本發(fā)明示例性實施例中的多尺度順序圖案 特征：
[0045] Λ = Σb(gi -gc)Τ , b(gi -gc) = g, _8c ~° (2)
[0046] 在上述等式（2)中，fe表示多尺度順序圖案特征，其包括N個相關矩形區(qū)域，NS 自然數(shù)，例如，N為8 ;gi表示第i個矩形區(qū)域中的圖像屬性值，g。表示圖像屬性參考值。作 為一種示例，&θ表示多尺度順序圖案的參數(shù)（例如，位置、大小和類型），通過 IN i=i 設置所述參數(shù)θ，可分別獲得用于描述被檢測對象本身的屬性的特征f；,t(x)與用于描述 所述對象周圍的上下文屬性的特征fs,t(x)。
[0047] 通過上述等式（2)，可計算出多尺度順序圖案特征的具體數(shù)值，也可將其表示為二 進制符號序列的形式，其反應了圖像中多個相關矩形區(qū)域之間在不同尺度下關于特定圖像 屬性的對比關系。應理解，上述表達式僅僅是示例性的，各種表示多個相關區(qū)域之間在不同 尺度下的某種對比關系的特征均可應用于本發(fā)明。
[0048] 在此基礎上，本領域技術人員應清楚，根據(jù)本發(fā)明示例性實施例的分類器并不受 限于上述構建方式，任何基于單用戶樣本和多用戶樣本的身體部位所訓練出的分類器均可 應用于部位檢測單元30,以檢測被拍攝用戶的身體部位。
[0049] 通過利用所述分類器，部位檢測單元30可基于子窗口搜索來檢測被拍攝用戶的 身體部位。作為示例，通過設置子窗口的位置和尺寸并基于設置的子窗口執(zhí)行搜索，部位檢 測單元30可利用分類器判斷各個搜索的子窗口是否包括被拍攝用戶的身體部位。例如， 部位檢測單元30可通過設置子窗口的最小尺寸、最大尺寸、尺寸變化步長、搜索起點、搜素 終點和搜索步長等參數(shù)來設置不同的各個子窗口，并基于這些設置的子窗口來執(zhí)行搜索處 理。這里，部位檢測單元30可將由分類器判斷為特定身體部位的相關子窗口進行合并，作 為所述特定身體部位的檢測結果。
[0050] 以上示出了由部位檢測單元30利用基于單用戶樣本和多用戶樣本兩者訓練出的 分類器來檢測被拍攝用戶的身體部位的方案，此外，為了獲得更為有效的檢測結果，可通過 分別設置基于單用戶樣本的分類器和基于多用戶樣本的分類器來分別檢測被拍攝的單用 戶和多用戶的身體部位。
[0051] 圖5示出根據(jù)本發(fā)明另一示例性實施例的用于檢測被拍攝用戶的身體部位的設 備的框圖。
[0052] 參照圖5,根據(jù)本發(fā)明示例性實施例的身體部位檢測設備包括：圖像獲取單元10、 提取單元20、劃分單元25和部位檢測單元30。
[0053] 具體說來，圖像獲取單元10用于獲取被拍攝用戶的深度圖像。作為示例，圖像獲 取單元10可以是用于拍攝深度圖像的深度攝像頭（例如，Prime-Sense)，或者可以是用于 從拍攝裝置接收拍攝的深度圖像的接口單元。
[0054] 提取單元20用于從獲取的深度圖像中提取作為前景的被拍攝用戶，其中，所述被 拍攝用戶為單用戶或多用戶，單用戶是指圖像與其它被拍攝用戶的圖像不發(fā)生交疊的單個 被拍攝用戶，多用戶是指圖像互相交疊的多個被拍攝用戶。這里，提取單元20可利用任何 適當?shù)姆绞綇纳疃葓D像中提取作為前景的被拍攝用戶，具體說來，獲取的深度圖像中可包 括至少一個單用戶和/或至少一個多用戶，相應地，提取單元20可從所述深度圖像中提取 出至少一個單用戶和/或至少一個多用戶。
[0055] 在提取單元20從深度圖像中提取作為前景的被拍攝用戶之后，劃分單元25用于 將提取的被拍攝用戶劃分為單用戶和多用戶。作為示例，劃分單元25可標注由提取單元20 從最初獲取的深度圖像（其中，被拍攝用戶的圖像之間不存在交疊）中提取的各個被拍攝 用戶，并通過在后續(xù)獲取的深度圖像中跟蹤標注的各個被拍攝用戶來確定各個被拍攝用戶 的圖像之間的交疊情況，從而將提取的被拍攝用戶劃分為單用戶和多用戶。
[0056] 圖6示出劃分單元25將提取的被拍攝用戶劃分為單用戶的示例，其中，單用戶是 指圖像與其它被拍攝用戶的圖像不發(fā)生交疊的單個被拍攝用戶。作為示例，假設在最初獲 取的深度圖像中，各個用戶的圖像之間不存在交疊，此時，提取單元20提取的各個前景遮 罩（mask)分別與單個的用戶對應，相應地，劃分單元25將提取的各個前景遮罩確定為初始 的單用戶，并為每個單用戶分配相應的標識符。隨著后續(xù)深度圖像的輸入，不同的前景遮罩 之間出現(xiàn)重疊，重疊的部分則對應于出現(xiàn)的多用戶。相應地，劃分單元25可通過追蹤遮罩 數(shù)目的變化并確定所標識的各個用戶之間的重疊來劃分出多用戶。圖7示出劃分單元25 所劃分出的多用戶的不例。
[0057] 在劃分單元25將提取的被拍攝用戶劃分為單用戶和多用戶之后，部位檢測單元 30可被配置為包括：單用戶部位檢測器30a，用于從劃分單元25接收劃分出的單用戶，并通 過使用基于單用戶樣本訓練出的單用戶分類器來檢測所述劃分出的單用戶的身體部位；多 用戶部位檢測器30b，用于從劃分單元25接收劃分出的多用戶，并通過使用基于多用戶樣 本訓練出的多用戶分類器來檢測所述劃分出的多用戶的身體部位。
[0058] 這里，可按照參照圖1描述的方式來構建單用戶分類器、多用戶分類器、單用戶部 位檢測器30a和多用戶部位檢測器30b，但是本發(fā)明并不受限于此，本領域技術人員可采用 任何適當?shù)姆绞絹砼渲孟鄳挠脩舴诸惼?、多用戶分類器、單用戶部位檢測器30a和多用 戶部位檢測器30b。
[0059] 根據(jù)本發(fā)明的示例性實施例，將提取的被拍攝用戶劃分為單用戶和多用戶啊，并 分別針對單用戶和多用戶構建了相應的分類器和檢測器。通過這種方式，能夠進一步提高 分類器的有效性，進而改善檢測結果。
[0060] 以下，將參照圖8和圖9來描述根據(jù)本發(fā)明示例性實施例的用于檢測被拍攝用戶 的身體部位的方法，所述方法可通過圖1和圖5所示的檢測設備來實現(xiàn)，但本發(fā)明并不受限 于此。作為示例，所述方法也可通過計算機程序來實現(xiàn)。
[0061] 圖8示出根據(jù)本發(fā)明示例性實施例的用于檢測被拍攝用戶的身體部位的方法的 流程圖。
[0062] 參照圖8,在操作S100,由圖像獲取單元10獲取被拍攝用戶的深度圖像。
[0063] 接下來，在操作S200,由提取單元20從獲取的深度圖像中提取作為前景的被拍攝 用戶，其中，所述被拍攝用戶為單用戶或多用戶，單用戶是指圖像與其它被拍攝用戶的圖像 不發(fā)生交疊的單個被拍攝用戶，多用戶是指圖像互相交疊的多個被拍攝用戶。具體說來，獲 取的深度圖像中可包括至少一個單用戶和/或至少一個多用戶，相應地，提取單元20可在 操作S200從所述深度圖像中提取出至少一個單用戶和/或至少一個多用戶。
[0064] 在操作S300,由部位檢測單元30通過使用基于單用戶樣本和多用戶樣本訓練出 的用于檢測身體部位的分類器來檢測提取的被拍攝用戶的身體部位。根據(jù)本發(fā)明的示例性 實施例，部位檢測單元30所采用的分類器在訓練時不僅基于單用戶樣本，而且還基于多用 戶樣本。因此，根據(jù)本發(fā)明示例性實施例的身體部位檢測方法不需要對多用戶進行圖像上 的分割，從而檢測結果不再受限于圖像分割的準確性。
[0065] 通過利用所述分類器，部位檢測單元30可在操作S300基于子窗口搜索來檢測被 拍攝用戶的身體部位。作為示例，通過設置子窗口的位置和尺寸并基于設置的子窗口執(zhí)行 搜索，部位檢測單元30可利用分類器判斷各個搜索的子窗口是否包括被拍攝用戶的身體 部位。例如，部位檢測單元30可通過設置子窗口的最小尺寸、最大尺寸、尺寸變化步長、搜 索起點、搜素終點和搜索步長等參數(shù)來設置不同的各個子窗口，并基于這些設置的子窗口 來執(zhí)行搜索處理。這里，部位檢測單元30可將由分類器判斷為特定身體部位的相關子窗口 進行合并，作為所述特定身體部位的檢測結果。
[0066] 圖9示出根據(jù)本發(fā)明另一示例性實施例的用于檢測被拍攝用戶的身體部位的方 法的流程圖。
[0067] 參照圖9,在操作S100,由圖像獲取單元10獲取被拍攝用戶的深度圖像。
[0068] 接下來，在操作S200,由提取單元20從獲取的深度圖像中提取作為前景的被拍攝 用戶，其中，所述被拍攝用戶為單用戶或多用戶，單用戶是指圖像與其它被拍攝用戶的圖像 不發(fā)生交疊的單個被拍攝用戶，多用戶是指圖像互相交疊的多個被拍攝用戶。具體說來，獲 取的深度圖像中可包括至少一個單用戶和/或至少一個多用戶，相應地，提取單元20可在 操作S200從所述深度圖像中提取出至少一個單用戶和/或至少一個多用戶。
[0069] 然后，在操作S250,由劃分單元25將提取的被拍攝用戶劃分為單用戶和多用戶。 具體說來，所述劃分單元25可標注從最初獲取的深度圖像中提取的各個被拍攝用戶，并通 過在后續(xù)獲取的深度圖像中跟蹤標注的各個被拍攝用戶來確定各個被拍攝用戶的圖像之 間的交疊情況，從而將提取的被拍攝用戶劃分為單用戶和多用戶，其中，所述最初獲取的深 度圖像中的被拍攝用戶的圖像之間不存在交疊。
[0070] 在這種情況下，在操作S300'，由包括在部位檢測單元30中的單用戶部位檢測器 30a接收劃分出的單用戶，并通過使用單用戶分類器來檢測所述劃分出的單用戶的身體部 位，并且，由包括在部位檢測單元30中的多用戶部位檢測器30b接收劃分出的多用戶，并通 過使用多用戶分類器來檢測所述劃分出的多用戶的身體部位，這里，基于單用戶樣本訓練 出所述單用戶分類器以用于檢測單用戶的身體部位，并且，基于多用戶樣本訓練出所述多 用戶分類器以用于檢測多用戶的身體部位。
[0071] 圖10示出根據(jù)本發(fā)明示例性實施例的身體部位檢測結果。如圖10所示，在基于 100k個單用戶樣本訓練單用戶分類器，并基于100k個多用戶樣本訓練多用戶分類器的情 況下，可如圖10的方框所示，有效地檢測出交疊的多用戶的頭部、胳膊和腿部。
[0072] 以上描述了根據(jù)本發(fā)明示例性實施例的用于從拍攝的圖像中檢測出用戶的各個 身體部位的設備和方法，其中，所述設備和方法通過利用基于多用戶樣本的分類器來檢測 多用戶的身體部位，從而能夠有效地檢測圖像互相交疊的多個用戶的身體部位。此外，還可 將提取的被拍攝用戶劃分為單用戶和多用戶啊，并分別針對單用戶和多用戶構建了相應的 分類器和檢測器。通過這種方式，能夠進一步提高分類器的有效性，進而改善檢測結果。
[0073] 本發(fā)明的以上各個實施例僅僅是示例性的，而本發(fā)明并不受限于此。本領域技術 人員應該理解：在不脫離本發(fā)明的原理和精神的情況下，可對這些實施例進行改變，其中， 本發(fā)明的范圍在權利要求及其等同物中限定。
【權利要求】
1. 一種用于檢測被拍攝用戶的身體部位的設備，包括： 圖像獲取單元，用于獲取被拍攝用戶的深度圖像； 提取單元，用于從獲取的深度圖像中提取作為前景的被拍攝用戶，其中，所述被拍攝用 戶為單用戶或多用戶，單用戶是指圖像與其它被拍攝用戶的圖像不發(fā)生交疊的單個被拍攝 用戶，多用戶是指圖像互相交疊的多個被拍攝用戶；以及 部位檢測單元，用于通過使用基于單用戶樣本和多用戶樣本訓練出的用于檢測身體部 位的分類器來檢測提取的被拍攝用戶的身體部位。
2. 如權利要求1所述的設備，還包括： 劃分單元，用于將提取的被拍攝用戶劃分為單用戶和多用戶， 其中，所述分類器包括基于單用戶樣本訓練出的單用戶分類器和基于多用戶樣本訓練 出的多用戶分類器， 并且，部位檢測單元包括：單用戶部位檢測器，用于從劃分單元接收劃分出的單用戶， 并通過使用單用戶分類器來檢測所述劃分出的單用戶的身體部位；多用戶部位檢測器，用 于從劃分單元接收劃分出的多用戶，并通過使用多用戶分類器來檢測所述劃分出的多用戶 的身體部位。
3. 如權利要求2所述的設備，其中，劃分單元標注由提取單元從最初獲取的深度圖像 中提取的各個被拍攝用戶，并通過在后續(xù)獲取的深度圖像中跟蹤標注的各個被拍攝用戶來 確定各個被拍攝用戶的圖像之間的交疊情況，從而將提取的被拍攝用戶劃分為單用戶和多 用戶， 其中，所述最初獲取的深度圖像中的被拍攝用戶的圖像之間不存在交疊。
4. 如權利要求1所述的設備，其中，所述分類器為提升型分類器。
5. 如權利要求4所述的設備，其中，所述提升型分類器表示為用于描述身體部位本身 的屬性的多個特征與用于描述所述身體部位周圍的上下文屬性的多個特征之和。
6. 如權利要求5所述的設備，其中，所述特征被實現(xiàn)為多尺度順序圖案特征，其中，所 述多尺度順序圖案特征用于指示深度圖像中多個相關矩形區(qū)域之間在不同尺度下關于深 度值的對比關系。
7. 如權利要求1所述的設備，其中，部位檢測單元通過使用所述分類器基于子窗口執(zhí) 行搜索來檢測被拍攝用戶的身體部位。
8. -種用于檢測被拍攝用戶的身體部位的方法，包括： 獲取被拍攝用戶的深度圖像； 從獲取的深度圖像中提取作為前景的被拍攝用戶，其中，所述被拍攝用戶為單用戶或 多用戶，單用戶是指圖像與其它被拍攝用戶的圖像不發(fā)生交疊的單個被拍攝用戶，多用戶 是指圖像互相交疊的多個被拍攝用戶；以及 通過使用基于單用戶樣本和多用戶樣本訓練出的用于檢測身體部位的分類器來檢測 提取的被拍攝用戶的身體部位。
9. 如權利要求8所述的方法，還包括： 將提取的被拍攝用戶劃分為單用戶和多用戶， 其中，所述分類器包括基于單用戶樣本訓練出的單用戶分類器和基于多用戶樣本訓練 出的多用戶分類器， 并且，所述檢測步驟包括：接收劃分出的單用戶，并通過使用單用戶分類器來檢測所述 劃分出的單用戶的身體部位；接收劃分出的多用戶，并通過使用多用戶分類器來檢測所述 劃分出的多用戶的身體部位。
10. 如權利要求9所述的方法，其中，所述劃分步驟包括：標注從最初獲取的深度圖像 中提取的各個被拍攝用戶，并通過在后續(xù)獲取的深度圖像中跟蹤標注的各個被拍攝用戶來 確定各個被拍攝用戶的圖像之間的交疊情況，從而將提取的被拍攝用戶劃分為單用戶和多 用戶， 其中，所述最初獲取的深度圖像中的被拍攝用戶的圖像之間不存在交疊。
11. 如權利要求8所述的方法，其中，所述檢測步驟包括：通過使用所述分類器基于子 窗口執(zhí)行搜索來檢測被拍攝用戶的身體部位。
【文檔編號】G06K9/00GK104102895SQ201310126459
【公開日】2014年10月15日 申請日期:2013年4月12日 優(yōu)先權日:2013年4月12日
【發(fā)明者】劉榮, 陳茂林, 張帆, 胡芝蘭, 孫訊, 宮魯津, 金智淵 申請人:北京三星通信技術研究有限公司, 三星電子株式會社