使用深度傳感器計數(shù)人的方法和系統(tǒng)的制作方法
【專利說明】使用深度傳感器計數(shù)人的方法和系統(tǒng)
[0001] 相關申請
[0002] 本申請是2012年11月21日提交的美國申請第13/683,886號的繼續(xù)申請。
[0003] 以上申請的完整教導通過引用合并于本文中。
【背景技術(shù)】
[0004] 許多應用受益于場景內(nèi)的人的精確計數(shù)。這些應用中的一些可以與加熱通風和空 氣調(diào)節(jié)（HVAC)控制系統(tǒng)、視頻監(jiān)控系統(tǒng)、零售系統(tǒng)和其他領域組合使用。例如，人的精確計 數(shù)可以為零售商提供統(tǒng)計信息以判斷他們的廣告效果，并且其他應用可以使用計數(shù)來檢測 安全檢查點處的尾隨。市政當局也可以使用精確的場景人口計數(shù)來確定特定設施處的游客 的數(shù)量。通過使用可見光譜和熱感照相機計數(shù)人會導致不精確計數(shù)。

【發(fā)明內(nèi)容】

[0005] 當陰影呈現(xiàn)類似的形狀和尺寸時，可見光譜照相機難以檢測場景中的物體。熱感 照相機依賴于溫度變化來確定或檢測場景中的運動。當溫度與移動物體的溫度相同或接近 時，熱感照相機在檢測移動物體中遇到問題。精確地計數(shù)人的深度傳感器的應用被描述。深 度信息可以用于導出頭部尺寸，并且使用該信息，確定頭部的檢測窗口的性質(zhì)。其他物體檢 測方法應用（一個或多個）多尺度（scale)檢測器。通過經(jīng)由相對物體尺寸計算去除多尺 度檢測，所述的技術(shù)通過單尺度檢測明顯地改善檢測率，提供具有減小計算復雜性的增加 精度。
[0006] 本文中所述的實施例包括一種用于計數(shù)人的方法，其從深度傳感器獲得深度數(shù) 據(jù)，從深度數(shù)據(jù)內(nèi)從背景物體辨別前景物體，并且基于深度數(shù)據(jù)從前景物體中確定匹配目 標物體的參考模型的前景物體。
[0007] 在一個實施例中，深度傳感器可以安裝成提供場景的俯視圖。深度傳感器可以與 可見光譜照相機組合使用以從辨別的前景物體進一步確定場景人口計數(shù)。根據(jù)一個實施 例，傳感器（深度或可見光譜）可以在幀之間跟蹤從前景物體中被確定為匹配參考模型的 一個或多個前景物體。實施例也可以包括在場景內(nèi)持續(xù)預定時間段沒有運動的情況下將場 景人口計數(shù)重置為零。計數(shù)人的方法也可以包括從可見光譜照相機獲得可見圖像并且使用 可見光譜照相機中的信息來檢查計數(shù)的精度。
[0008] 來自可見光譜照相機的信息可以包括運動信息、時間屬性、位置和特征。在一個實 施例中，傳感器可以將元數(shù)據(jù)傳送到數(shù)據(jù)中心。方法還可以包括使用深度傳感器成像場景 并且報告人的數(shù)量、統(tǒng)計結(jié)果或補充數(shù)據(jù)。在一個實施例中，從前景物體中確定背景物體匹 配人頭部的參考模型。
[0009] 實施例可以包含或使用具有存儲在其上的程序指令的計算機可讀介質(zhì)，所述程序 指令可加載并且由處理器可執(zhí)行，并且當由處理器執(zhí)行時，導致處理器從深度傳感器獲得 深度數(shù)據(jù)，從深度數(shù)據(jù)識別前景物體，并且應用機器學習應用程序以生成前景物體的分類 確定，并且保持分類確定計數(shù)。程序指令還可以導致處理器從深度數(shù)據(jù)減去背景信息以識 別前景物體，從可見光譜照相機獲得圖像數(shù)據(jù)，分析圖像數(shù)據(jù)以產(chǎn)生圖像分析結(jié)果，并且組 合來自產(chǎn)生的圖像分析結(jié)果的信息和深度數(shù)據(jù)信息以增加識別前景物體的精度。在一個實 施例中，機器學習應用程序的實施例可以包括神經(jīng)網(wǎng)絡、支持向量機和/或聚類技術(shù)。程序 指令可以用訓練數(shù)據(jù)集訓練機器學習應用程序并且在機器學習應用程序的優(yōu)化中選擇一 個或多個特征以產(chǎn)生選擇性特征向量。
[0010] -種用于計數(shù)人的系統(tǒng)可以包括接收深度數(shù)據(jù)的深度傳感器、與深度傳感器通 信、存儲深度數(shù)據(jù)的存儲器。系統(tǒng)還可以包括與存儲器通信、執(zhí)行程序指令的處理器。程序 指令可以配置成從深度數(shù)據(jù)減去背景信息以辨別前景物體，應用機器學習應用程序以生成 前景物體的分類確定，并且保持分類確定計數(shù)。處理器還可以配置成從照相機接收視頻數(shù) 據(jù)并且在生成分類確定中使用來自照相機的視頻數(shù)據(jù)增加機器學習應用程序的精度。
[0011] 盡管本領域的普通技術(shù)人員將領會多個濾波器，但是一個實施例可以將高斯濾波 器應用于來自深度數(shù)據(jù)的背景信息。系統(tǒng)也可以產(chǎn)生識別選擇性特征以分析來自深度傳感 器的深度數(shù)據(jù)的深度特征集并且產(chǎn)生識別選擇性特征以分析來自照相機的視頻數(shù)據(jù)的視 頻特征集。在一個實施例中，處理器可以配置成將特征集應用于深度數(shù)據(jù)以確定深度分類 和視頻分類。另外，系統(tǒng)可以用來自深度分類和視頻分類的信息計算前景物體的分類確定 并且更新分類確定計數(shù)。
【附圖說明】
[0012] 從附圖中示出的實施例的以下更特別描述將顯而易見前述內(nèi)容，其中在不同視圖 中相似的附圖標記始終表示相同的部分。附圖不一定按比例，而是強調(diào)示出的實施例。
[0013] 圖1是示意圖，示出用于計數(shù)人的基于深度傳感器的系統(tǒng)；
[0014] 圖2是方塊圖，示出根據(jù)一個實施例的基于深度傳感器計數(shù)的軟件架構(gòu)的一個實 施例；
[0015] 圖3是流程圖，示出根據(jù)一個實施例的基于深度傳感器計數(shù)的方法；
[0016] 圖4是流程圖，示出根據(jù)一個實施例的基于深度傳感器和可見光譜照相機計數(shù)的 方法；
[0017] 圖5是根據(jù)一個實施例的表示從深度傳感器接收的深度數(shù)據(jù)的樣本幀的集合；
[0018] 圖6是方塊圖，示出根據(jù)一個實施例的深度傳感器系統(tǒng)；以及
[0019] 圖7是根據(jù)一個實施例的深度傳感器系統(tǒng)的示意圖。
【具體實施方式】
[0020] 下面是實施例的描述。
[0021] 圖1示出基于深度傳感器110計數(shù)的系統(tǒng)的一個實施例的示意圖。如圖1中所 示，提供基于深度傳感器Iio計數(shù)的系統(tǒng)100。系統(tǒng)100包括場景105,場景是傳感器/照 相機可檢測的視覺的范圍。如場景中所示，一個或多個人可以位于諸如深度傳感器110和 (一個或多個）可見光譜照相機115的照相機或成像設備的一個或多個視場112、117內(nèi)。 可見光譜照相機115和深度傳感器110可以分別包括關聯(lián)視場117、112。深度傳感器110 和/或照相機可以與數(shù)據(jù)存儲裝置131關聯(lián)，所述數(shù)據(jù)存儲裝置可以是本地的，例如在公共 網(wǎng)絡上或經(jīng)由廣域網(wǎng)120可訪問。
[0022] 深度傳感器110從一個或多個場景采集深度數(shù)據(jù)。深度數(shù)據(jù)可以被處理以去除背 景信息并且提供對在場景內(nèi)具有運動的物體的聚焦。在一個實施例中，檢測為在場景內(nèi)具 有運動的物體被傳送到一個或多個部件以便分析。分析的結(jié)果可以包括將被檢測物體分 類為類別，例如人或非人?；谏疃葦?shù)據(jù)的分析一般不易受到與由于如熱數(shù)據(jù)所示的溫度 變化引起的誤報關聯(lián)的誤差或由于如可見光譜圖像所示的陰影引起的誤報關聯(lián)的誤差。所 以，深度數(shù)據(jù)可以返回更精確的分類，其中與所述誤報關聯(lián)的誤差的易受性是關注點。此 外，通過將經(jīng)濾波的數(shù)據(jù)集和目標物體的選擇性特征提供給用于計數(shù)人的分類器，深度數(shù) 據(jù)檢測可以減小計算復雜性。
[0023] 繼續(xù)參考圖1，數(shù)據(jù)存儲裝置131可以是任何合適類型的數(shù)據(jù)存儲設備，例如包括 存儲芯片、硬盤驅(qū)動器、USB閃盤驅(qū)動器、遠程可訪問數(shù)據(jù)庫、高速緩沖存儲器和/或類似 物。數(shù)據(jù)存儲裝置可以與深度傳感器110或照相機115通信或使其與通信網(wǎng)絡120通信并 且可以包括有線和無線網(wǎng)絡。
[0024] 通信網(wǎng)絡可以是以下的任何一種或組合：直接互連；互聯(lián)網(wǎng)；局域網(wǎng)（LAN);城域 網(wǎng)（MAN);互聯(lián)網(wǎng)上的操作任務節(jié)點（OMNI);安全定制連接；廣域網(wǎng)（WAN);無線網(wǎng)絡（例 如，使用協(xié)議，例如但不限于無線應用協(xié)議，和I模式；和/或類似物）。網(wǎng)絡接口可以被視 為輸入/輸出接口的特定形式。此外，多個網(wǎng)絡接口可以用于與各種通信網(wǎng)絡類型接合。例 如，多個網(wǎng)絡接口可以用于允許在廣播、多播和/或單播網(wǎng)絡上通信。
[0025] 在圖1中也示出與網(wǎng)絡可操作通信的數(shù)據(jù)中心125。數(shù)據(jù)中心可以接收來自深度 傳感器和/或可見照相機的數(shù)據(jù)。在一個實施例中，可見照相機可以將一個或多個預定格 式的圖像數(shù)據(jù)經(jīng)由網(wǎng)絡120傳輸?shù)綌?shù)據(jù)中心125。類似地，深度傳感器可以將深度數(shù)據(jù)發(fā)送 到數(shù)據(jù)中心125以便處理和/或分析。在一個實施例中，數(shù)據(jù)中心125可以包括分布在網(wǎng) 絡上的一個或多個計算機系統(tǒng)（客戶端/服務器）（未顯示）。這些計算機系統(tǒng)可以負責接 收、處理、分析、傳輸和/或存儲：圖像數(shù)據(jù)、視頻數(shù)據(jù)、深度數(shù)據(jù)和/或類似數(shù)據(jù)。在一個實 施例中，數(shù)據(jù)中心125可以包括、存儲、實例化、運行和/或訪問（例如，通過應用程序編程 接口（API))下面進一步詳細所述的檢測引擎。
[0026] 圖2是方塊圖，示出根據(jù)一個實施例的軟件架構(gòu)。如圖2