在環(huán)境中控制硬件的機(jī)器的制造方法
【專利說明】
【背景技術(shù)】
[0001]計(jì)算機(jī)技術(shù)可以幫助人們更有效率地工作、對(duì)他們的環(huán)境施加控制以及更好地享受他們的生活。但是，技術(shù)給人們帶來的優(yōu)勢(shì)有時(shí)會(huì)被與技術(shù)進(jìn)行交互的復(fù)雜和不自然的模式降低。在技術(shù)上裝備的家庭中，例如，居民可能會(huì)被保持大量獨(dú)立系統(tǒng)(例如，安全性、家庭影院以及氣候控制系統(tǒng))適合(key)于主要偏好的任務(wù)打倒(overwhelm)，尤其是如果這樣的偏好從一個(gè)家庭成員到下一個(gè)家庭成員發(fā)生變化、隨著時(shí)間演進(jìn)或者是受到例外的約束。

【發(fā)明內(nèi)容】

[0002]本公開的一個(gè)實(shí)施例提供持有指令的指令存儲(chǔ)機(jī)器，當(dāng)所述指令被邏輯機(jī)器執(zhí)行時(shí)，使得該邏輯機(jī)器在利用被布置來對(duì)環(huán)境進(jìn)行成像的一個(gè)或多個(gè)深度攝像機(jī)所獲取的深度數(shù)據(jù)中查找人類主體(subject)，以及使得該邏輯機(jī)器從深度數(shù)據(jù)中計(jì)算人類主體的方面。基于計(jì)算的方面，邏輯機(jī)器確定在環(huán)境中要作出的改變并且啟動(dòng)在環(huán)境中的合適的硬件來做出這個(gè)改變。
[0003]本
【發(fā)明內(nèi)容】
被提供來以簡(jiǎn)化的形式介紹概念的選擇，所述概念的選擇在下文【具體實(shí)施方式】中將被進(jìn)一步描述。本
【發(fā)明內(nèi)容】
不是旨在識(shí)別要求保護(hù)的主題的關(guān)鍵特征或者必要特征，也不是旨在被用來限制要求保護(hù)的主題的范圍。此外，要求保護(hù)的主題不局限于解決在本公開的任何部分中所指出的任何或者全部缺點(diǎn)的實(shí)現(xiàn)方式。
【附圖說明】
[0004]圖1示意性地示出了根據(jù)本公開的實(shí)施例的示例環(huán)境的方面。
[0005]圖2示意性地示出了根據(jù)本公開的實(shí)施例的示例智能系統(tǒng)的方面。
[0006]圖3示意性地示出了根據(jù)本公開的實(shí)施例的觀測(cè)(sight)相同主體的多個(gè)深度圖。
[0007]圖4是總結(jié)了根據(jù)本公開的實(shí)施例的可以通過對(duì)深度數(shù)據(jù)的處理來計(jì)算的人類主體的方面的圖表。
[0008]圖5圖示了根據(jù)本公開的實(shí)施例用于在環(huán)境中評(píng)估規(guī)則一致性的示例方法。
[0009]圖6示出了根據(jù)本公開的實(shí)施例的示例虛擬骨架的方面。
[0010]圖7圖示了根據(jù)本公開的實(shí)施例用于評(píng)估趨勢(shì)的示例方法。
[0011]圖8圖示了根據(jù)本公開的實(shí)施例用于在環(huán)境中控制可自主啟動(dòng)的(actuable)硬件的示例方法。
【具體實(shí)施方式】
[0012]現(xiàn)在將通過示例和參考上文列出的圖示的實(shí)施例來描述本公開的各方面。在一個(gè)或多個(gè)實(shí)施例中實(shí)質(zhì)上可以相同的組件、過程步驟以及其他元件被同等地識(shí)別并且以最少的重復(fù)而被描述。但是，將指出的是，被同等地識(shí)別的元件在一定程度上也可以是不同的。將進(jìn)一步指出的是，包括在本公開中繪制的附圖是示意性的并且一般沒有被按比例繪制。相反，在附圖中所示出的組件的各種不同的繪制比例、高寬比以及編號(hào)可以被有意地變形以便使得某些特征或關(guān)系更加容易看到。
[0013]本公開描述了互連的深度攝像機(jī)以及用于監(jiān)控環(huán)境中的人的其他傳感器的“智能系統(tǒng)”，其中所述環(huán)境例如可以是住宅或者商業(yè)地點(diǎn)。這樣的監(jiān)控被應(yīng)用于各種不同的有用的目的，諸如趨勢(shì)評(píng)估、規(guī)則一致性評(píng)估以及環(huán)境中的可自主啟動(dòng)的硬件的控制。在下文中，示例方法和場(chǎng)景被提出來以便更詳細(xì)地圖示這些形態(tài)和展示現(xiàn)在所公開的方法的廣泛的適用性。在提出方法和場(chǎng)景之前，將首先描述示例的環(huán)境和示例的智能系統(tǒng)。
[0014]圖1示意性地示出了示例環(huán)境10的方面。圖示的環(huán)境是住房，即個(gè)人住宅。但是，在本文中所描述的方法可以同樣地應(yīng)用于其他環(huán)境，諸如療養(yǎng)院、輔助生活設(shè)施、托兒所、零售環(huán)境、服務(wù)環(huán)境、工作場(chǎng)所等。環(huán)境10包括多個(gè)房間(獨(dú)立的內(nèi)部空間)，多個(gè)人處在這些房間中。自然地，在房間中的人們可以參與活動(dòng)，所述活動(dòng)定義趨勢(shì)或者構(gòu)成與一個(gè)或多個(gè)規(guī)則的一致或偏離。此外，人們的處置(disposit1n)和活動(dòng)可以提供揭示(reveal)做出在環(huán)境狀態(tài)中的某種改變的期望的信息。
[0015]為了評(píng)估趨勢(shì)、規(guī)則一致性、或者在環(huán)境10中要做出的期望的狀態(tài)改變，在環(huán)境中安裝智能系統(tǒng)。該智能系統(tǒng)包括多個(gè)深度攝像機(jī)12、計(jì)算機(jī)14以及各種不同的其他組件，如在下文中所描述的。計(jì)算機(jī)從深度攝像機(jī)中的每一個(gè)中接收深度數(shù)據(jù)，其中所述深度攝像機(jī)被布置來對(duì)環(huán)境進(jìn)行成像。在圖示的實(shí)施例中，計(jì)算機(jī)被連接到網(wǎng)絡(luò)16和可自主啟動(dòng)的硬件18 (—般性地在圖1中示出)，所述可自主啟動(dòng)的硬件分布在整個(gè)環(huán)境中?？勺灾鲉?dòng)的硬件的一些示例包括氣候控制系統(tǒng)、家庭影院系統(tǒng)、照明系統(tǒng)、家庭安全系統(tǒng)等。
[0016]圖1也示出了管理員(steward) 20，其可以是在環(huán)境中的授權(quán)的人或者對(duì)環(huán)境的安全性或者對(duì)環(huán)境中的任何人的舒適負(fù)責(zé)任的人。相應(yīng)地，管理員可以在本公開的不同實(shí)施例中被不同地定義。例如，管理員可以是家庭的領(lǐng)導(dǎo)、管理人、或者值班經(jīng)理。在其他示例中，管理員可能不是單個(gè)人自身，而是有責(zé)任的一方，例如，父母、設(shè)施人員、執(zhí)法、或者諸如救護(hù)服務(wù)或者消防隊(duì)之類的緊急響應(yīng)服務(wù)。經(jīng)由來自計(jì)算機(jī)的自主消息傳送，可以將環(huán)境中的任何平常的或者異常的情況(例如，識(shí)別趨勢(shì)或者從環(huán)境中的規(guī)則偏離的情況)通知給管理員。任何這樣的消息可以經(jīng)由可以包括互聯(lián)網(wǎng)的網(wǎng)絡(luò)16而被發(fā)送。管理員可以在他的或她的移動(dòng)設(shè)備22上或者經(jīng)由遠(yuǎn)程計(jì)算機(jī)系統(tǒng)或者以任何其它合適的方式來接收消息。
[0017]圖2是示例智能系統(tǒng)24的高層示意圖。智能系統(tǒng)包括也分布在整個(gè)環(huán)境10中的多個(gè)彩色攝像機(jī)26和麥克風(fēng)28。在一些實(shí)施例中，彩色攝像機(jī)和/或麥克風(fēng)可以與深度攝像機(jī)12整合在一起以便向計(jì)算機(jī)14提供組合可視或者音視頻的輸入。可選的運(yùn)動(dòng)傳感器30也可以被提供，例如以便降低系統(tǒng)成本或者在環(huán)境的某些區(qū)域中提供更大的保密性。附加的傳感器可以包括被動(dòng)的IR傳感器、壓力傳感器等。
[0018]在圖2的實(shí)施例中，計(jì)算機(jī)14包括傳感器接口 32、啟動(dòng)器(actuator)接口 34、網(wǎng)絡(luò)接口 36以及邏輯系統(tǒng)38。傳感器接口是從被布置在環(huán)境中的一個(gè)或多個(gè)深度攝像機(jī)接收深度數(shù)據(jù)的計(jì)算機(jī)的一部分，其接收其他傳感數(shù)據(jù)并且進(jìn)行對(duì)傳感數(shù)據(jù)的底層處理來產(chǎn)生到邏輯系統(tǒng)38的可執(zhí)行的(act1nable)、高層的輸入。在一個(gè)實(shí)施例中，傳感器接口可以對(duì)來自麥克風(fēng)的音頻輸入數(shù)據(jù)執(zhí)行聲音或者話音識(shí)別。這樣的動(dòng)作可以生成基于文本的輸入或者其他高層命令，其在邏輯系統(tǒng)38中被接收。相反，啟動(dòng)器接口 34從邏輯系統(tǒng)38接收高層指令和向可自主啟動(dòng)的硬件18發(fā)出合適的低層命令和信號(hào)以便啟動(dòng)該硬件。該硬件可以被直接或者間接地(例如，經(jīng)由獨(dú)立的啟動(dòng)器)啟動(dòng)。通過這種方式，環(huán)境的狀態(tài)的各種不同的方面可以由計(jì)算機(jī)14來自主地改變。如上文所提到的，可自主啟動(dòng)的硬件可以包括例如氣候控制系統(tǒng)40、家庭影院系統(tǒng)42、照明系統(tǒng)44以及家庭安全系統(tǒng)46的元件。通過網(wǎng)絡(luò)接口 36，邏輯系統(tǒng)38跨網(wǎng)絡(luò)16來發(fā)送和接收數(shù)據(jù)。智能系統(tǒng)24的各種不同的組件可以有線地連接在一起或者無線地進(jìn)行互聯(lián)。
[0019]在一個(gè)非限制性的實(shí)施例中，每個(gè)深度攝像機(jī)12可以是KINECT?系統(tǒng)，其可從華盛頓雷蒙德的微軟公司得到。更一般性地，每個(gè)深度攝像機(jī)可以包括被配置來獲取其觀測(cè)的一個(gè)或多個(gè)人類主體的深度圖的時(shí)間分辨序列的任何成像系統(tǒng)。如在本文中所使用的，術(shù)語“深度圖”指的是被登記到成像場(chǎng)景的對(duì)應(yīng)區(qū)域(尤，O的像素陣列，對(duì)于每個(gè)像素深度值石指示對(duì)應(yīng)區(qū)域的深度?！吧疃取北欢x為與深度攝像機(jī)的光學(xué)軸平行的坐標(biāo)，其隨著距離深度攝像機(jī)的距離的增加而增加?？刹僮鞯?，深度攝像機(jī)可以被配置來獲取兩維圖像數(shù)據(jù)，深度圖經(jīng)由下游處理從所述二維圖像數(shù)據(jù)中獲得。
[0020]一般地，深度攝像機(jī)12的特性在本公開的各種不同的實(shí)施例中可以不同。例如，深度攝像機(jī)可以是靜止的、可移動(dòng)的或者自主地運(yùn)動(dòng)的。任何非靜止的深度攝像機(jī)都可以具有從一個(gè)范圍的視角對(duì)環(huán)境進(jìn)行成像的能力。在一個(gè)實(shí)施例中，來自深度攝像機(jī)中的兩個(gè)實(shí)立體鏡定向的成像陣列的亮度或者色彩數(shù)據(jù)可以是經(jīng)由基于相關(guān)性的立體成像的深度圖。在其它實(shí)施例中，深度攝像機(jī)可以被配置來在主體上投射(project)結(jié)構(gòu)化的紅外(IR)照明圖案，所述照明圖案包括許多離散特征一例如，線條或點(diǎn)。在深度攝像機(jī)中的成像陣列可以被配置來對(duì)從該主體反射回的結(jié)構(gòu)化的照明進(jìn)行成像。基于在被成像的主體的各種不同的區(qū)域中的相鄰的特征之間的間距，該主體的深度圖可以被建立。在再其它的實(shí)施例中，深度攝像機(jī)可以朝主體投射脈沖的紅外照明。深度攝像機(jī)中的一對(duì)成像陣列可以被配置來檢測(cè)從該主體反射回的脈沖照明。兩個(gè)陣列都可以包括與脈沖照明相同步的電子快門，但是用于這些陣列的集成時(shí)間可以不同，以便從照明源到主體然后到陣列的脈沖照明的像素解析的傳播時(shí)間(time-of-flight)基于在兩個(gè)陣列的對(duì)應(yīng)的元件中所接收的光的相對(duì)量是可辨別的。
[0021]在一些情況下，多個(gè)深度攝像機(jī)12可以觀測(cè)相同的主體，每個(gè)攝像機(jī)提供該主體的不同視圖。在圖3的示意圖中圖示了這個(gè)場(chǎng)景的優(yōu)勢(shì)。如在這個(gè)附圖中所示出的，單個(gè)深度攝像機(jī)可以僅僅對(duì)表面S的有限的部分(從單個(gè)觀察點(diǎn)P可看到的部分，所述觀察點(diǎn)P位于攝像機(jī)的光學(xué)軸A的終點(diǎn))進(jìn)行成像。在單軸深度圖中，可看見的部分被定義為笛卡爾三元組(石，，乙)，一個(gè)Z坐標(biāo)與給定的19對(duì)相關(guān)聯(lián)。相反，多深度攝像機(jī)可以對(duì)僅從多個(gè)觀察點(diǎn)(即，從攝像機(jī)的不同光學(xué)軸的終點(diǎn))一起可看到的表面的擴(kuò)展部分進(jìn)行成像。在多軸深度圖中，這個(gè)擴(kuò)展部分也可以以笛卡爾三元組來定義，但是多于一個(gè)Z坐標(biāo)可以與給定的(X 19對(duì)相關(guān)聯(lián)。通過這種方式，表面的前向和后向部分可以在相同的多軸深度圖中被表示。如在單軸深度圖的情況一樣，多軸深度圖的時(shí)間解析序列可以在多個(gè)幀中被匯集(assemble)為視頻。相應(yīng)地，在本文中所提及的“深度視頻”、“深度數(shù)據(jù)”以及“深度圖像”可以包括任何復(fù)雜度的單軸或者多軸深度圖。
[0022]當(dāng)被包括在智能系統(tǒng)24中時(shí)，每個(gè)彩色攝像機(jī)26可以從觀察的場(chǎng)景中在多個(gè)通道(例如，紅色、綠色、藍(lán)色等)對(duì)可見光進(jìn)行成像，將成像的光映射到像素陣列。可替換地，單色攝像機(jī)可以被包括，其以灰度級(jí)對(duì)光線進(jìn)行成像。用于全部像素的色彩或者亮度值共同構(gòu)成了數(shù)字彩色圖像。在一個(gè)實(shí)施例中，深度和彩色攝像機(jī)可以具有相同的分辨率。即使當(dāng)分辨率不同時(shí)，彩色攝像機(jī)的像素可以被登記到深度攝像機(jī)的那些像素上。通過這種方式，針對(duì)觀察的場(chǎng)景的每個(gè)部分，可以評(píng)估色彩和深度信息。當(dāng)被包括在智能系統(tǒng)24中，每個(gè)麥克風(fēng)28可以從環(huán)境10中的觀察的人類主體或者其他來源來拾取定向和/或非定向的聲音。將要指出的是，通過傳感器接口 32所獲取的傳感數(shù)據(jù)可以采取任何合適數(shù)據(jù)結(jié)構(gòu)的形