和干涉測量(例如,掃描LIDAR、閃光LIDAR、飛行時間攝像頭)。這些傳感器(和立體攝像頭) 可能取決于圖5中所不的視差。圖5使用與Kourosh Khoshelham和Sander Oude Elberink的 Accuracy and Resolution of Kinect Depth Data for Indoor Mapping Applications·Sensors 2012,12,1437-1454大體上相同的術(shù)語和類似的分析。結(jié)構(gòu)光投影 儀"L"可以在從攝像頭V的距離(或孔徑)"a"。在距離"z k"的物平面可以處于與在距離"z。" 的參考平面不同的深度。投射光的光束可以與在位置"k"的物平面和在位置"〇"的參考平面 交叉。被物平面中的距離"A"隔開的位置"〇"和"k"可以成像或投射到具有焦距"f"的η像素 傳感器上,并且可以被成像平面中的距離"b"隔開。
[0036]根據(jù)與上述圖5相關(guān)聯(lián)的幾何結(jié)構(gòu),并且通過類似的三角形,方程式#1和#2可以被 建構(gòu)成:
[0037]
[0038]
[0039] 將方程式#1代入方程式#2將產(chǎn)生方程式#3為:
[0040]
[00411取方程式#3的導(dǎo)數(shù)將產(chǎn)生方程式#4為:
[0042]
[0043] 方程式#4說明投影圖像的大小的變化,對于常數(shù)f、z。和zk,"b"可以與孔徑"a"線性 相關(guān)。
[0044]投影圖像可能在成像平面上會模糊,如果其正對小于一個像素,如在方程式#5中 所提供:
[0045]
[0046]方程式#5顯示最小可檢測距離差(在本實例中為一個像素)可以與孔徑"a"和像素 數(shù)"η"相關(guān)。
[0047]當前的傳感器可以具有在3m的范圍的約1厘米(cm)的距離分辨率。橫向距離和距 離分辨率可能隨距離二次減少。因此,在l〇m,當前的傳感器可能具有大于11cm的距離分辨 率,這可能對于區(qū)分除最大的手勢之外任何事物都是無效的。
[0048]在3m并且跨57°視場具有649個像素的當前的傳感器可能在水平方向上具有約 4.6mm/像素的空間分辨率,并且在垂直方向上具有4.7mm/像素的空間分辨率。對于小的人 的手(約100毫米(mm) X 150mm),當前的傳感器可能具有在目標上的約22 X 32個像素。然而, 在l〇m,當前的傳感器可能具有在目標上的約15mm/像素或6.5X9.6個像素。在目標上的這 樣低的量的像素可能不足以用于精確的手勢分類。
[0049] 當前的傳感器不能通過簡單地增加孔徑"a"被修改來達到要求,因為這將導(dǎo)致投 影圖案和接近傳感器的紅外攝像頭視場的非重疊。非重疊將導(dǎo)致在接近傳感器時無法檢測 手勢。實際上,當前的傳感器不能檢測在小于〇.4m的距離的深度。
[0050] 當前的傳感器不能通過簡單地增加焦距"f"被修改來達到要求,因為較長的焦距 可能導(dǎo)致較淺的景深。較淺的景深可能導(dǎo)致銳聚焦的損失,并導(dǎo)致無法檢測和分類手勢。
[0051] 當前的傳感器或市售的傳感器可以通過增加像素數(shù)"η"(參見上面的方程式5)相 對于現(xiàn)成的版本進行修改??紤]到低的傳感器分辨率和更高分辨率成像芯片的可用性,這 個修改是可行的。
[0052]另一種方法是布置三角測量傳感器的陣列,每個傳感器在覆蓋特定視場時都單獨 不足以滿足所需的空間分辨率。在陣列內(nèi),每個傳感器可以覆蓋不同的視場,使得總體地, 該陣列以足夠的分辨率覆蓋特定視場。
[0053]在一些實施方案中,電梯控制手勢識別可以基于2D或3D感測設(shè)備的靜態(tài)2D或30簽 名,或在一段時間內(nèi)顯示的動態(tài)2D/3D簽名。2D和3D信息的融合可以用作組合的簽名。在長 距離成像中,3D傳感器本身可能不具有用于識別的所需的分辨率,并且在這種情況下,從圖 像中提取的2D信息可以是互補的并且可用于手勢識別。在短距離和中距離成像中,2D(外 觀)和3D(深度)信息可以有助于手勢的分割和檢測,并且有助于基于組合的2D和3D特征對 手勢的識別。
[0054]在一些實施方案中,電梯乘客的行為可能被監(jiān)測,可能沒有乘客甚至知道這種監(jiān) 測正在發(fā)生。這可能特別適用于安全應(yīng)用,諸如檢測破壞或暴力。例如,乘客的行為或狀態(tài) (諸如存在、運動方向、運動速度等)可以被監(jiān)測??梢允褂靡粋€或多個傳感器(諸如2D攝像 頭/接收器、被動IR設(shè)備和3D傳感器)執(zhí)行監(jiān)測。
[0055] 在一些實施方案中,可以在與乘客的行為/狀態(tài)大體上相同的時間監(jiān)測或檢測手 勢。因此,手勢識別/檢測和乘客行為/狀態(tài)識別/檢測的任何處理可能并行發(fā)生?;蛘?,可以 獨立于乘客行為/狀態(tài)的監(jiān)測或檢測,或在與乘客行為/狀態(tài)的監(jiān)測或檢測不同的時間監(jiān)測 或檢測手勢。
[0056] 就可能被實施或執(zhí)行的算法而言,手勢識別可能大體上類似于乘客行為/狀態(tài)識 另IJ,至少在某種意義上說,手勢識別和行為/狀態(tài)識別可能依賴于對象或事物的檢測。然而, 手勢識別可能需要更大數(shù)量的數(shù)據(jù)點或樣本,并且可能需要使用相對于行為/狀態(tài)識別更 精細的模型、數(shù)據(jù)庫或庫。
[0057] 盡管本文所述的一些實例涉及電梯,但是本公開的方面可以適用于結(jié)合其他類型 的輸送設(shè)備,諸如小件升降機、自動扶梯、自動人行道、輪椅升降機等。
[0058] 如本文所述,在一些實施方案中,各種功能或行為可以在給定的位置和/或與一個 或多個裝置、系統(tǒng)或設(shè)備的操作一起發(fā)生。例如,在一些實施方案中,可以在第一設(shè)備或位 置執(zhí)行給定的功能或行為的一部分,并且可以在一個或多個額外的設(shè)備或位置執(zhí)行功能或 行為的剩余部分。
[0059] 實施方案可以使用一種或多種技術(shù)來實施。在一些實施方案中,裝置或系統(tǒng)可以 包括一個或多個處理器,以及存儲指令的存儲器,所述指令在由一個或多個處理器執(zhí)行時 使裝置或系統(tǒng)執(zhí)行本文所述的一個或多個方法行為。在一些實施方案中可以使用本領(lǐng)域技 術(shù)人員已知的各種機械組件。
[0060] 實施方案可以實施為一個或多個裝置、系統(tǒng)和/或方法。在一些實施方案中,指令 可以存儲在一個或多個計算機程序產(chǎn)品或計算機可讀介質(zhì)(諸如暫時和/或非暫時計算機 可讀介質(zhì))上。指令在被執(zhí)行時可以使實體(例如,裝置或系統(tǒng))執(zhí)行本文所述的一個或多個 方法行為。
[0061] 本公開的方面已在其說明性實施方案方面進行了描述。本領(lǐng)域普通技術(shù)人員在審 查本公開后將想到在所附權(quán)利要求書的范圍和精神內(nèi)的許多其他實施方案、修改和變化。 例如,本領(lǐng)域普通技術(shù)人員將了解,可以用不同于所述的次序執(zhí)行結(jié)合說明性附圖所描述 的步驟,并且所說明的一個或多個步驟可以是可選的。
【主權(quán)項】
1. 一種方法,其包括: 從與輸送設(shè)備相關(guān)聯(lián)的場景中產(chǎn)生深度流; 通過計算設(shè)備處理所述深度流以獲得深度信息; 基于所述深度信息識別手勢;以及 基于所述手勢控制所述輸送設(shè)備。2. 根據(jù)權(quán)利要求1所述的方法,其中所述深度流是基于以下至少一個:結(jié)構(gòu)光基礎(chǔ)、飛 行時間、立體、激光掃描以及光檢測和測距(LIDAR)。3. 根據(jù)權(quán)利要求1所述的方法,其還包括: 從所述場景中產(chǎn)生視頻流;以及 通過所述計算設(shè)備處理所述視頻流以獲得顏色信息, 其中基于所述顏色信息識別所述手勢。4. 根據(jù)權(quán)利要求3所述的方法,其中所述深度流和所述視頻流被對準和聯(lián)合處理。5. 根據(jù)權(quán)利要求3所述的方法,其中所述深度流和所述視頻流被獨立處理。6. 根據(jù)權(quán)利要求1所述的方法,其中基于以下至少一個識別所述手勢:字典學習、支持 向量機和貝葉斯分類器。7. 根據(jù)權(quán)利要求1所述的方法,其中所述輸送設(shè)備包括電梯。8. 根據(jù)權(quán)利要求1所述的方法,其中所述手勢包括行進方向的指示,并且其中所述輸送 設(shè)備被控制以在所述指示的方向上行進。9. 一種裝置,其包括: 至少一個處理器;以及 存儲器,其上存儲有指令,所述指令在由所述至少一個處理器執(zhí)行時使所述裝置: 從與輸送設(shè)備相關(guān)聯(lián)的場景中產(chǎn)生深度流; 通過計算設(shè)備處理所述深度流以獲得深度信息; 基于所述深度信息識別手勢;以及 基于所述手勢控制所述輸送設(shè)備。10. 根據(jù)權(quán)利要求9所述的裝置,其中所述深度流是基于以下至少一個:結(jié)構(gòu)光基礎(chǔ)、飛 行時間、立體、激光掃描以及光檢測和測距(LIDAR)。11. 根據(jù)權(quán)利要求9所述的裝置,其中所述指令在由所述至少一個處理器執(zhí)行時使所述 裝置: 從所述場景中產(chǎn)生視頻流,以及 處理所述視頻流以獲得顏色信息, 其中基于所述顏色信息識別所述手勢。12. 根據(jù)權(quán)利要求11所述的裝置,其中所述指令在由所述至少一個處理器執(zhí)行時使所 述裝置: 對準和聯(lián)合處理所述深度流和所述視頻流。13. 根據(jù)權(quán)利要求11所述的裝置,其中所述指令在由所述至少一個處理器執(zhí)行時使所 述裝置: 獨立處理所述深度流和所述視頻流。14. 根據(jù)權(quán)利要求9所述的裝置,其中基于以下至少一個識別所述手勢:字典學習、支持 向量機和貝葉斯分類器。15. 根據(jù)權(quán)利要求9所述的裝置,其中所述輸送設(shè)備包括以下至少一個:電梯、小件升降 機、自動扶梯、自動人行道和輪椅升降機。16. 根據(jù)權(quán)利要求9所述的裝置,其中所述輸送設(shè)備包括電梯,并且其中所述手勢包括 行進方向和樓層數(shù)中的至少一個的指示。17. -種系統(tǒng),其包括: 發(fā)射器,其被配置成將紅外(IR)光的圖案發(fā)射到包括多個對象的場景上; 接收器,其被配置成響應(yīng)于所述所發(fā)射的圖案產(chǎn)生深度流;以及 處理設(shè)備,其被配置成: 處理所述深度流以獲得深度信息, 基于所述深度信息識別由所述對象中的至少一個作出的手勢,以及 基于所述手勢控制輸送設(shè)備。18. 根據(jù)權(quán)利要求17所述的系統(tǒng),其還包括成像器以產(chǎn)生視頻流,并且其中所述處理設(shè) 備被配置成: 處理所述視頻流以獲得顏色信息,以及 基于所述顏色信息識別所述手勢。19. 根據(jù)權(quán)利要求17所述的系統(tǒng),其中所述接收器包括市售的傳感器,所述市售的傳感 器具有相對于所述傳感器的現(xiàn)成的版本的增加數(shù)量的像素。20. 根據(jù)權(quán)利要求17所述的系統(tǒng),其中所述接收器包括多個三角測量傳感器,其中所述 傳感器中的每個覆蓋特定視場的部分。21. 根據(jù)權(quán)利要求17所述的系統(tǒng),其中所述處理設(shè)備被配置成基于所述深度信息估計 至少一個乘客狀態(tài)。22. 根據(jù)權(quán)利要求21所述的系統(tǒng),其中所述至少一個乘客狀態(tài)包括以下至少一個:存 在、運動方向和運動速度。
【專利摘要】一種方法包括:從與輸送設(shè)備相關(guān)聯(lián)的場景中產(chǎn)生深度流;通過計算設(shè)備處理深度流以獲得深度信息;基于深度信息識別手勢;以及基于手勢控制輸送設(shè)備。
【IPC分類】B66B1/06, B66B1/34
【公開號】CN105473482
【申請?zhí)枴緾N201380078885
【發(fā)明人】H.王, A.蘇, A.M.芬, H.方
【申請人】奧的斯電梯公司
【公開日】2016年4月6日
【申請日】2013年8月15日
【公告號】EP3033287A1, US20160194181, WO2015023278A1