專利名稱：用于立體視場(chǎng)多動(dòng)物行為特征的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及場(chǎng)景中的生物體的識(shí)別和辨認(rèn)，更具體地說(shuō)包括利用視頻分析的圖像或視頻中的多生物體的行為識(shí)別。
背景技術(shù)：
生物體，例如動(dòng)物，特別是小鼠或大鼠，被廣泛的作為人類模型應(yīng)用在藥品開(kāi)發(fā)研究、遺傳、毒物學(xué)研究、疾病的認(rèn)知和治療、以及其它研究中。盡管人類和動(dòng)物的生活方式不同，但他們大量的遺傳和神經(jīng)解剖學(xué)的同源性產(chǎn)生了保存在物種之間的廣泛多樣的行為過(guò)程。對(duì)這些共享的腦機(jī)能研究將用于人類行為調(diào)節(jié)的機(jī)理提供重要幫助。因此，許多行為實(shí)驗(yàn)已被設(shè)計(jì)在小鼠或大鼠身上來(lái)研究它們的行為。這些研究包括例如研究實(shí)驗(yàn)室動(dòng)物的家居籠行為的實(shí)驗(yàn)、用于條件恐懼的僵直實(shí)驗(yàn)、操作室中自身給藥、開(kāi)放環(huán)境中的社交互動(dòng)實(shí)驗(yàn)、開(kāi)放場(chǎng)所的運(yùn)動(dòng)實(shí)驗(yàn)、物體識(shí)別實(shí)驗(yàn)、多樣的迷宮實(shí)驗(yàn)、水迷宮實(shí)驗(yàn)、用于抑郁研究的強(qiáng)迫性游泳和懸尾及其它實(shí)驗(yàn)。這些實(shí)驗(yàn)及其它實(shí)驗(yàn)范例的使用之前描述在文獻(xiàn)中，例如 Liang的美國(guó)專利申請(qǐng)公開(kāi)號(hào)No. 2004/0141635中，其全部?jī)?nèi)容以引用的方式合并于此。這些實(shí)驗(yàn)中的大部分通過(guò)記錄動(dòng)物在特定時(shí)間段內(nèi)(包括多個(gè)M小時(shí)段)并隨后利用兩個(gè)獨(dú)立的觀察者來(lái)評(píng)價(jià)記錄而被最佳地觀測(cè)。但是，這種方法的缺點(diǎn)包括長(zhǎng)時(shí)間的人工觀察的不穩(wěn)定性、耗費(fèi)時(shí)間、以及觀察相關(guān)的巨大費(fèi)用。社會(huì)行為是其中一個(gè)被廣泛認(rèn)可的獨(dú)立個(gè)性維度的基礎(chǔ)，并在個(gè)體和物種的生存中具有重要的作用。許多與社會(huì)行為相關(guān)的臨床障礙包括創(chuàng)建或維持社交互動(dòng)的困難，例如社交焦慮障礙、多種人格障礙、孤獨(dú)癥等等。社交互動(dòng)測(cè)試通常設(shè)計(jì)用來(lái)評(píng)估社會(huì)交往的行為參數(shù)，包括配偶關(guān)系分析、統(tǒng)治等級(jí)、社會(huì)記憶、社交缺陷、社交恐懼癥、社交焦慮癥、愉悅玩耍、挑釁和逃跑、母性和性交行為。家居籠、簡(jiǎn)單的房間或開(kāi)放式場(chǎng)所及其它測(cè)試環(huán)境通常被應(yīng)用在兩個(gè)或兩個(gè)以上動(dòng)物來(lái)執(zhí)行社會(huì)行為實(shí)驗(yàn)。與其它行為分析相同，這些實(shí)驗(yàn)通常被建立在預(yù)定時(shí)間在特定環(huán)境中來(lái)記錄動(dòng)物行為，由兩名獨(dú)立觀察者相繼檢查。在觀察者識(shí)別的社會(huì)行為中包括猛撲(thrust)、社交理毛、緩慢爬行、壓住、嗅探、跟蹤、攀趴等等。通常這些實(shí)驗(yàn)使用階段記錄的人類觀測(cè)。由于工作的沉悶和人類在準(zhǔn)確觀察動(dòng)物的位置及互動(dòng)中存在的困難，這類分析可能導(dǎo)致結(jié)果不準(zhǔn)確并固有地包括主觀判斷。例如， 如果人類觀察者僅觀看一個(gè)視場(chǎng)，那么活動(dòng)可能被其中一只動(dòng)物的位置擋住。如果觀察者查看多個(gè)視場(chǎng)，那么這是非常耗時(shí)的并且也很難同時(shí)觀看兩個(gè)或多個(gè)視場(chǎng)。事實(shí)上，這種方法屬于勞動(dòng)密集型，分析代價(jià)很高。視頻分析技術(shù)已經(jīng)被應(yīng)用在物體的行為分析上，包括動(dòng)物和人類，以努力減輕上述問(wèn)題。自動(dòng)的實(shí)驗(yàn)室動(dòng)物家居籠行為在Liang的美國(guó)專利申請(qǐng)公開(kāi)號(hào)No. 2004/0141635 中進(jìn)行描述，其全部?jī)?nèi)容以引用的方式合并于此。來(lái)自Clever Sys Inc的產(chǎn)品 SocialkanTop利用一個(gè)俯視攝像機(jī)分析多動(dòng)物的社交互動(dòng)。但是，該產(chǎn)品以及其它利用單獨(dú)的攝像機(jī)的裝置并不能滿足該領(lǐng)域的科學(xué)家的需求。
因此，這就存在對(duì)系統(tǒng)和軟件的需求，所述系統(tǒng)和軟件能夠解決上述實(shí)驗(yàn)中測(cè)量和分析問(wèn)題，提供有價(jià)值的復(fù)雜行為分析以滿足后基因組時(shí)代的需求，并獲得一致的結(jié)果。

發(fā)明內(nèi)容
本文所公開(kāi)和描述的本發(fā)明包括新的方法、裝置和算法用于分析場(chǎng)所中的多種生物體的行為，例如群居動(dòng)物情景分析。本發(fā)明的一些方面可通過(guò)本文所述的示例性立體視場(chǎng)多動(dòng)物行為分析系統(tǒng)加以說(shuō)明。本發(fā)明的一個(gè)方面包括對(duì)所研究的每種生物體定義一組行為集。本發(fā)明的計(jì)算機(jī)系統(tǒng)可以實(shí)時(shí)或者離線方式產(chǎn)生動(dòng)物行為的數(shù)字文件，以利用算法自動(dòng)將特定行為歸為所研究的生物體。一方面，本發(fā)明提供了一種用于運(yùn)用從多個(gè)視角獲得的圖像自動(dòng)從多個(gè)行為范例中識(shí)別行為的新穎并且統(tǒng)一的架構(gòu)。這個(gè)統(tǒng)一的架構(gòu)為自動(dòng)行為識(shí)別以及在多種實(shí)驗(yàn)范例中的分析提供基礎(chǔ)并提供公共基層，所述多種實(shí)驗(yàn)范例包括但不限于，家居籠行為、癲癇、 水迷宮、迷宮、移動(dòng)、物體辨認(rèn)、恐懼條件下的僵直、強(qiáng)迫游泳、懸尾、藥物反應(yīng)、步態(tài)分析、和社交互動(dòng)等等。一方面，生物體的整體及其身體部位(如果有)，它們的相關(guān)顏色信息和它們的動(dòng)態(tài)動(dòng)作都被包括在不同的算法中來(lái)分析復(fù)雜的行為。本發(fā)明一方面包括實(shí)在和虛擬的多種不同場(chǎng)所。例如，Liang的美國(guó)專利申請(qǐng)公開(kāi)號(hào)No. 2004/0141635中描述的虛擬區(qū)域，其全部?jī)?nèi)容以引用方式合并于此。另一方面，分析算法允許結(jié)合不同模塊來(lái)獲得單個(gè)操作中的多行為組的結(jié)果。總而言之，本系統(tǒng)接收或記錄來(lái)自多視角的多生物體的圖像。所述圖像被數(shù)字化、 壓縮和索引(如果必要)并被分析以識(shí)別特定的預(yù)定行為。所述行為利用不同的方法識(shí)別，例如概率性和/或確定性方法。特別地，系統(tǒng)利用一個(gè)或多個(gè)以下方法來(lái)識(shí)別行為基于規(guī)則的分析、標(biāo)號(hào)解析過(guò)程、序列分析、狀態(tài)變化分析、隱馬爾可夫模型(Hidden Markov Modeling(HMM))等。并且，系統(tǒng)可以被配置來(lái)識(shí)別動(dòng)物行為作為新的行為和作為具有特定時(shí)間節(jié)律或日夜節(jié)律。首先，圖像被分析來(lái)檢測(cè)前景物體和執(zhí)行身體部位分割。檢測(cè)和分割可通過(guò)背景消去來(lái)實(shí)現(xiàn)，如Liang在美國(guó)專利申請(qǐng)No. 6，678，413中所述，其全部?jī)?nèi)容以引用方式合并于此。在前景物體和單獨(dú)的身體部位被識(shí)別后，基于該行為所屬的范例，應(yīng)用行為識(shí)別的不同方法。這些方法包括例如，基于規(guī)則的分析、標(biāo)號(hào)解析過(guò)程、序列分析、狀態(tài)變化分析，例如隱馬爾可夫模型(HMM)。本系統(tǒng)能夠高準(zhǔn)確度地識(shí)別多動(dòng)物行為。通過(guò)利用視場(chǎng)間分割算法進(jìn)行立體視場(chǎng)中的連接物體分割，解決了遮擋問(wèn)題(在攝像機(jī)視場(chǎng)中某些東西阻擋動(dòng)物的情況)。系統(tǒng)也利用立體視場(chǎng)整合過(guò)程和動(dòng)物尺寸標(biāo)準(zhǔn)化過(guò)程來(lái)提高動(dòng)物行為識(shí)別的可靠性。本發(fā)明的系統(tǒng)能夠識(shí)別自動(dòng)行為和社會(huì)行為。識(shí)別的社會(huì)行為包括統(tǒng)治/服從行為、挑釁/逃跑行為、母性行為和性交行為。該系統(tǒng)對(duì)于群居環(huán)境中的識(shí)別自動(dòng)/社交行為尤其有用，其中，遮擋問(wèn)題可能會(huì)妨礙其它系統(tǒng)的準(zhǔn)確的行為識(shí)別。立體視場(chǎng)技術(shù)能夠解決遮擋問(wèn)題并提高結(jié)果的可靠性。


圖1是優(yōu)選的立體視場(chǎng)多動(dòng)物多場(chǎng)所行為分析系統(tǒng)的示意圖；圖2是優(yōu)選的立體視場(chǎng)多動(dòng)物行為分析系統(tǒng)的示意性框圖；圖3是本發(fā)明的優(yōu)選的行為分析模塊的高階流程圖；圖4(a)_(c)是與優(yōu)選的視場(chǎng)間對(duì)應(yīng)過(guò)程相關(guān)的多視角的參考線和點(diǎn)的示意圖；圖5(a)_(b)是與優(yōu)選的視場(chǎng)間對(duì)應(yīng)過(guò)程相關(guān)的俯視和側(cè)視物體的示意圖；圖6(a)_(c)是與優(yōu)選的動(dòng)物分割過(guò)程相關(guān)的多動(dòng)物的多視場(chǎng)的示意圖；圖7(a)_(c)是優(yōu)選的動(dòng)物分割過(guò)程的示意圖；圖8是優(yōu)選的動(dòng)物分隔過(guò)程的框圖；圖9(a)_(c)是示出優(yōu)選的尺寸標(biāo)準(zhǔn)化過(guò)程的示意圖；圖10是本發(fā)明的優(yōu)選的序列分析模塊的高階流程圖；圖11是配置用于統(tǒng)治/服從行為分析的優(yōu)選的立體視場(chǎng)多動(dòng)物場(chǎng)所的示意圖；圖12是配置用于性交行為分析的優(yōu)選的立體視場(chǎng)多動(dòng)物場(chǎng)所的示意圖；圖13(a)是具有優(yōu)選的頂部開(kāi)放籠蓋的立體視場(chǎng)多動(dòng)物場(chǎng)所的示意圖；圖13(b)_(d)是等角視圖、側(cè)視圖和俯視圖中頂部建模的示意圖。
具體實(shí)施例方式總體來(lái)說(shuō)，本發(fā)明識(shí)別被實(shí)時(shí)監(jiān)控或來(lái)自記錄的兩種或兩種以上生物體的行為。 優(yōu)選的實(shí)施例包括具有多個(gè)連接至計(jì)算機(jī)的攝像機(jī)系統(tǒng)。特別地，計(jì)算機(jī)包括一個(gè)或多個(gè)程序，這些程序可以識(shí)別生物體、追蹤它們的活動(dòng)、區(qū)分生物體的不同形狀的部位，以及識(shí)別這些生物體的一種或多種行為。所述計(jì)算機(jī)可以是，例如，使用Windows操作平臺(tái)或Unix 操作平臺(tái)的個(gè)人電腦，也可以是Macintosh計(jì)算機(jī)及兼容的操作平臺(tái)。計(jì)算機(jī)安裝和配置了定制軟件程序(或者安裝有固件)，例如，MATLAB或C/C++程序語(yǔ)言，以分析用于動(dòng)物識(shí)別和分割、追蹤、和/或行為/活動(dòng)特征的數(shù)字化視頻。軟件或固件可以被存儲(chǔ)在例如程序存儲(chǔ)器中，這個(gè)存儲(chǔ)器可以包括ROM、RAM、CD ROM和/或硬盤(pán)等。在本發(fā)明的一個(gè)變化中，軟件(或固件)包括特有的比以前熟知方法更簡(jiǎn)單、更有效、更準(zhǔn)確的背景消去(background subtraction)。在特定的實(shí)施例中，攝像機(jī)是視頻攝像機(jī)，并且程序包括用于分析捕捉到的視頻圖像的多種算法。特別地，視頻圖像被數(shù)字化，根據(jù)從選定的視頻幀中獲得的信息，識(shí)別生物體的行為。優(yōu)選地，系統(tǒng)可以通過(guò)訪問(wèn)預(yù)設(shè)行為的數(shù)據(jù)庫(kù)來(lái)執(zhí)行其行為識(shí)別。分析可以通過(guò)多個(gè)攝像機(jī)和/或通過(guò)記錄的圖像實(shí)時(shí)進(jìn)行。依據(jù)單一視圖的生物體的部分的檢測(cè)和識(shí)別(這里指分割)，通常受遮擋 (occlusion)的阻礙，包括以下情況，如一個(gè)生物體，例如小鼠，在其中一個(gè)視場(chǎng)中完全或部分地被另一只小鼠阻擋，或是這只小鼠躲藏在一個(gè)物體(例如噴水口或食物源)后面。所說(shuō)的實(shí)施例包括解決這種遮擋問(wèn)題的算法，包括視場(chǎng)間對(duì)比及約束算法、以及幀間動(dòng)物匹
配算法。這個(gè)系統(tǒng)可配備有多個(gè)記錄設(shè)備，例如數(shù)字或模擬攝像機(jī)，這些設(shè)備從不同視角記錄生物體，如俯視和側(cè)視。但是可以使用任意數(shù)量的記錄設(shè)備，以確保在至少一個(gè)視場(chǎng)中多個(gè)生物體沒(méi)有被遮擋。優(yōu)選地，攝像機(jī)同時(shí)記錄在選定的場(chǎng)所內(nèi)的生物體的圖像。優(yōu)選地，記錄設(shè)備包括可之后用于隨后同步兩個(gè)視場(chǎng)的時(shí)間戳機(jī)構(gòu)。所述場(chǎng)所可以是封閉場(chǎng)所，例如家居籠、集體房、通道、磨坊、水族館、或其它實(shí)驗(yàn)性檢驗(yàn)設(shè)備。所述場(chǎng)所也可以是開(kāi)放性區(qū)域、特定類型的戶外環(huán)境或富集的環(huán)境等等。在圖像被記錄以后，如果需要，每個(gè)視場(chǎng)中的圖像都會(huì)被逐幀數(shù)字化。在一個(gè)實(shí)施例中，生物體在每個(gè)視場(chǎng)中每幀中識(shí)別。為實(shí)現(xiàn)這個(gè)目的，可采用背景消去算法。識(shí)別出的生物體用于匹配于特定的生物體。在匹配過(guò)程中，能夠基于先前分析的幀以及通過(guò)交叉匹配不同視場(chǎng)中收集的生物體的圖像識(shí)別生物體。為了輔助這個(gè)過(guò)程，建立視場(chǎng)間對(duì)應(yīng)關(guān)系，例如，一個(gè)視場(chǎng)中的特定生物體和另一個(gè)視場(chǎng)中該生物體可能的位置區(qū)域之間的對(duì)應(yīng)關(guān)系。通過(guò)校準(zhǔn)，對(duì)應(yīng)關(guān)系可以建立在多個(gè)視場(chǎng)之間。通過(guò)運(yùn)用視場(chǎng)間對(duì)應(yīng)關(guān)系，一個(gè)視場(chǎng)中的點(diǎn)可以被映射到另一視場(chǎng)中的點(diǎn)或線，反之依然。通過(guò)視場(chǎng)間對(duì)應(yīng)關(guān)系的使用，一個(gè)視場(chǎng)中識(shí)別的生物體可以匹配于其它視場(chǎng)中識(shí)別的動(dòng)物。如果視場(chǎng)之間存在差異，可以使用概率或確定性方法來(lái)解決這些差異。在所有被監(jiān)控的生物體得到識(shí)別后，系統(tǒng)優(yōu)選地執(zhí)行立體視場(chǎng)整合分析。該系統(tǒng)從俯視圖和側(cè)視圖(或如果可能，其它視圖)提取信息，并且運(yùn)用這些信息來(lái)幫助識(shí)別行為。優(yōu)選地，該過(guò)程運(yùn)用信息融合技術(shù)，即利用各視圖的信息，來(lái)輔助生物體的行為識(shí)別。在圖1闡示的立體視場(chǎng)多動(dòng)物多場(chǎng)所行為分析系統(tǒng)中，場(chǎng)所100 (a)和場(chǎng)所100 (b) 分別包括多個(gè)生物體，優(yōu)選地為動(dòng)物，例如小鼠或大鼠或兩者都有。優(yōu)選地，每個(gè)場(chǎng)所中的動(dòng)物由多個(gè)攝像機(jī)監(jiān)控。在圖1的結(jié)構(gòu)中，每個(gè)場(chǎng)所有兩個(gè)攝像機(jī)，一個(gè)攝像機(jī)(即104(a) 和104(b))提供俯視圖的場(chǎng)所100(a)和場(chǎng)所100(b)的圖像，另一個(gè)攝像機(jī)(即102(a)和 102(b))提供側(cè)視圖的場(chǎng)所100(a)和場(chǎng)所100(b)的圖像。優(yōu)選地，系統(tǒng)還包括用于每個(gè)場(chǎng)所的非可視監(jiān)控設(shè)備106(a)和106(b)，例如麥克風(fēng)，其以動(dòng)物發(fā)聲的音頻記錄的形式提供關(guān)于動(dòng)物的非可視信息；或生物物理傳感器，其能夠測(cè)量動(dòng)物的心跳速率等。此外，可以使用刺激設(shè)備107(a)和107(b)，其能夠提供多種刺激給動(dòng)物，例如可以提供音調(diào)刺激的揚(yáng)聲器、可以提供電擊刺激的電極、可以提供光刺激的電燈泡，等等。此外，在優(yōu)選的實(shí)施例中， 刺激設(shè)備107(a)和107(b)也可以基于被監(jiān)控動(dòng)物的行為而被觸發(fā)。這些行為包括，例如動(dòng)物按壓杠桿、動(dòng)物位于特定的虛擬區(qū)域，等等。上述系統(tǒng)能夠在視頻多路復(fù)用器109的監(jiān)控器上同時(shí)監(jiān)控許多場(chǎng)所100(a)和100(b)。當(dāng)該系統(tǒng)被配置來(lái)記錄場(chǎng)所100的俯視圖像時(shí)，如果俯視攝像機(jī)104可以獲得場(chǎng)所100的不受阻礙的視場(chǎng)，那將對(duì)分析大有幫助。一般來(lái)說(shuō)，動(dòng)物可以度過(guò)較長(zhǎng)時(shí)間的家居籠或其它類型的場(chǎng)所包括能提供食物和水給動(dòng)物的某些設(shè)備。通常來(lái)說(shuō)，為了達(dá)到這個(gè)目的，家居籠包括金屬網(wǎng)格或金屬絲網(wǎng)狀的插入物，這個(gè)插入物被安置在籠子的頂部并且延伸到籠子內(nèi)部，其中帶噴口的水箱和食物丸放置在網(wǎng)筐中。動(dòng)物可以用它們的嘴或四肢透過(guò)欄桿或絲網(wǎng)面夠到食物或水。通常動(dòng)物們也抓住欄桿或絲網(wǎng)來(lái)攀爬，懸掛等。通常的插入物交叉安置在籠子或場(chǎng)所的整個(gè)頂部，使食物箱和水瓶放置在中間。插入物的結(jié)構(gòu)阻礙了從場(chǎng)所上方的俯視。在特定的實(shí)施例中，系統(tǒng)包括具有蓋子1303的頂部開(kāi)放型的插入物1301，如圖 13a-d。這個(gè)頂部開(kāi)放的插入物具有兩個(gè)網(wǎng)筐1305。這兩個(gè)網(wǎng)筐被附接到接近場(chǎng)所頂面周長(zhǎng)的框架1309。兩個(gè)網(wǎng)筐1305安置在場(chǎng)所1307的相對(duì)兩端處，并且具有錐型外輪廓(頂部寬并且底部窄以不阻擋場(chǎng)所1307的俯視)。并且，兩個(gè)網(wǎng)筐沒(méi)有接觸到場(chǎng)所的底板，但是足夠接近底板，以使動(dòng)物能用它們的爪子和嘴接觸到網(wǎng)筐里面。食物和水被放置在網(wǎng)筐中，并且由于欄桿或絲網(wǎng)之間的空隙更使得這些食物和水易于被動(dòng)物獲得。在優(yōu)選的實(shí)施例中，插入物1301還包括水瓶槽1313用來(lái)固定瓶子或噴口。
利用蓋子1303蓋住兩個(gè)網(wǎng)筐之間的開(kāi)口，以防止動(dòng)物跳出場(chǎng)所1307。在一個(gè)實(shí)施例中，蓋子1303蓋住場(chǎng)所的整個(gè)頂面，并且是透明的。在優(yōu)選的實(shí)施例中，蓋子1303構(gòu)造用以僅蓋住網(wǎng)筐1305之間的開(kāi)口，這樣就允許場(chǎng)所內(nèi)更好的空氣循環(huán)還能防止動(dòng)物逃跑。 優(yōu)選地，系統(tǒng)既包括透明的封蓋網(wǎng)筐1305之間的開(kāi)口的頂部，又包括封蓋場(chǎng)所的整個(gè)頂面的蓋子1303。這種方法既可以防止動(dòng)物跳進(jìn)網(wǎng)筐1305，又可以防止動(dòng)物破壞俯視攝像機(jī)。在優(yōu)選的實(shí)施例中，俯視攝像機(jī)1311附接至蓋子1303。攝像機(jī)1311被校準(zhǔn)來(lái)捕獲整個(gè)場(chǎng)所的圖像。網(wǎng)筐1305的錐形側(cè)面不阻擋場(chǎng)所的整個(gè)底板的俯視。在優(yōu)選的實(shí)施例中，如圖13所示，側(cè)面攝像機(jī)1315設(shè)置以允許獲得兩個(gè)網(wǎng)筐1305 的全角度視圖以及清晰無(wú)障礙的動(dòng)物進(jìn)食或飲水的視圖。本系統(tǒng)其中一個(gè)優(yōu)點(diǎn)在于其能夠同時(shí)處理多個(gè)攝像機(jī)拍攝的多個(gè)場(chǎng)所的圖像。它幫助系統(tǒng)用戶節(jié)省了大量時(shí)間。在另一個(gè)優(yōu)選的實(shí)施例中，有兩個(gè)以上的場(chǎng)所里的動(dòng)物被進(jìn)行分析。例如，在計(jì)算機(jī)的計(jì)算能力和圖像處理能力允許范圍內(nèi)，可以設(shè)置很多不同的場(chǎng)所，例如4個(gè)或16個(gè)或更多。這些場(chǎng)所可是物理上獨(dú)立的場(chǎng)所，或者是由計(jì)算機(jī)程序分割的單一物理場(chǎng)所的虛擬區(qū)域。多個(gè)攝像機(jī)通過(guò)不同視角(例如從場(chǎng)所側(cè)面以及從場(chǎng)所的頂部)監(jiān)控和/或記錄每一個(gè)場(chǎng)所中的一個(gè)或多個(gè)動(dòng)物。優(yōu)選的場(chǎng)所的例子包括家居籠、開(kāi)場(chǎng)、操作籠、迷宮或其它實(shí)驗(yàn)性平臺(tái)。這些不同類型的場(chǎng)所可以包括食物供應(yīng)器108和液體供應(yīng)器110、帶有或不帶有墊料、以及包括不同的刺激設(shè)備，如燈、揚(yáng)聲器、電擊器、藥物釋放設(shè)備等。這些不同的場(chǎng)所也可以包括裝飾的環(huán)境設(shè)備，如跑輪、隧道、圓盤(pán)等。在優(yōu)選的實(shí)施例中，可在多種類型的燈光條件下捕捉圖像，包括可見(jiàn)光、彩光、鈉光以及紅外光。如圖1所示實(shí)施例，視頻多路復(fù)用器109優(yōu)選地接收來(lái)自場(chǎng)所100(a)的兩個(gè)攝像機(jī)和場(chǎng)所100(b)的兩個(gè)攝像機(jī)的視頻信號(hào)。視頻多路復(fù)用器109將這些圖像結(jié)合為單獨(dú)的視頻幀。然后這些視頻信號(hào)被傳輸?shù)接?jì)算機(jī)111。所述傳輸過(guò)程可以通過(guò)有線或無(wú)線連接來(lái)實(shí)現(xiàn)。圖2是目前立體視場(chǎng)多動(dòng)物行為分析程序200的軟件模塊的功能結(jié)構(gòu)圖。該系統(tǒng)大體上分為兩塊管理任務(wù)塊210和分析任務(wù)塊212。管理任務(wù)塊210包括通常在進(jìn)行實(shí)驗(yàn)或一系列實(shí)驗(yàn)之前執(zhí)行的任務(wù)，以及在完成實(shí)驗(yàn)或一系列實(shí)驗(yàn)之后執(zhí)行的任務(wù)。分析任務(wù)塊212包括通常在實(shí)驗(yàn)的實(shí)施過(guò)程中執(zhí)行的任務(wù)。管理任務(wù)塊210優(yōu)選地包括設(shè)計(jì)模塊215和復(fù)查與處理模塊214。用戶起初通過(guò)用戶界面，運(yùn)用設(shè)計(jì)模塊215，創(chuàng)建他或她希望實(shí)施實(shí)驗(yàn)的實(shí)驗(yàn)方案216。設(shè)計(jì)模塊215優(yōu)選地允許用戶選擇場(chǎng)所，以及校準(zhǔn)選定場(chǎng)所的大小，定義任何虛擬區(qū)域。虛擬區(qū)域是指特定地帶或感興趣區(qū)域。這些虛擬區(qū)域可以是場(chǎng)所的物理上獨(dú)立的區(qū)域。特別地，虛擬區(qū)域可以不是用任何物理隔斷把其與所述環(huán)境中的其它部分分隔開(kāi)，而是通過(guò)設(shè)計(jì)模塊軟件來(lái)創(chuàng)建，并用來(lái)幫助識(shí)別動(dòng)物行為。設(shè)計(jì)模塊215本質(zhì)上把實(shí)驗(yàn)設(shè)計(jì)計(jì)劃轉(zhuǎn)換成系統(tǒng)可理解的格式。在設(shè)計(jì)模塊215中，用戶可以優(yōu)選地限定行為識(shí)別參數(shù)。例如，對(duì)于基于規(guī)則的行為識(shí)別，設(shè)計(jì)模塊215允許用戶指定用來(lái)確定行為識(shí)別的空間關(guān)系與規(guī)則參數(shù)。特別地，設(shè)計(jì)模塊215允許用戶設(shè)置開(kāi)始/停止規(guī)則、硬件控制規(guī)則、信號(hào)輸出規(guī)則等等。這些規(guī)則指定，例如，實(shí)驗(yàn)或?qū)嶒?yàn)的特定階段何時(shí)開(kāi)始/停止、攝像機(jī)102 (a)和102(b)以及104(a)和104(b)何時(shí)被觸發(fā)或停止、收集的視頻和其它數(shù)據(jù)何時(shí)開(kāi)始處理、收集的數(shù)據(jù)和數(shù)據(jù)分析的結(jié)果儲(chǔ)存在哪里。優(yōu)選地，在設(shè)計(jì)模塊215中，用戶可以指定用于一系列同時(shí)或連續(xù)運(yùn)行的實(shí)驗(yàn)的參數(shù)。用戶可以指定什么動(dòng)物參與什么樣的實(shí)驗(yàn)或一系列實(shí)驗(yàn)、實(shí)驗(yàn)的長(zhǎng)度和順序等。在設(shè)計(jì)模塊215中，用戶也可以優(yōu)選地限定用于刺激設(shè)備107(a)和107(b)的操作方案。在設(shè)計(jì)模塊215中，用戶指定什么事件引起刺激設(shè)備107(a)和107(b)的觸發(fā)。 例如，這些設(shè)備107(a)和107(b)可以由用戶在預(yù)設(shè)的特定時(shí)間觸發(fā)。這些設(shè)備107(a)和 107(b)也可以感應(yīng)于場(chǎng)所內(nèi)的動(dòng)物的特定行為而被觸發(fā)，例如推動(dòng)杠桿或進(jìn)入特定虛擬區(qū)域。這些設(shè)備107(a)和107(b)也可以依據(jù)動(dòng)物的特定的物理?xiàng)l件(例如，特定的脈搏水平、體溫等)來(lái)觸發(fā)，而這些條件通過(guò)非可視監(jiān)控設(shè)備106(a)和106(b)監(jiān)測(cè)。在用戶運(yùn)行設(shè)計(jì)模塊215后，該模塊215生成方案216，所述方案216描述實(shí)驗(yàn)或一系列實(shí)驗(yàn)的所有的用戶定義的細(xì)節(jié)。優(yōu)選地，方案216儲(chǔ)存在方案數(shù)據(jù)庫(kù)217中。同樣， 優(yōu)選地，方案216存儲(chǔ)在現(xiàn)象型數(shù)據(jù)庫(kù)220中作為參考應(yīng)用在實(shí)驗(yàn)結(jié)果分析及復(fù)查中。替代地，現(xiàn)象型數(shù)據(jù)庫(kù)220至少部分地連接于方案數(shù)據(jù)庫(kù)217。分析任務(wù)塊212優(yōu)選地包括執(zhí)行模塊218。執(zhí)行模塊218包括輸入方案216的輸入端，并輸出控制信號(hào)234到系統(tǒng)硬件(例如攝像機(jī)102、104、生物傳感器106、刺激設(shè)備 107等)的輸出端。在優(yōu)選的實(shí)施例中，執(zhí)行模塊218通常在用戶放置動(dòng)物到合適的場(chǎng)所后開(kāi)始實(shí)驗(yàn)，通過(guò)開(kāi)啟多個(gè)傳感器(攝像機(jī)102、104、生物傳感器106等)以及啟動(dòng)用于收集視頻和傳感器數(shù)據(jù)的任何軟件任務(wù)(例如，開(kāi)始視頻記錄、傳感器數(shù)據(jù)收集、以及對(duì)收集的數(shù)據(jù)的分析)。視頻記錄模塊202、生物信號(hào)抽樣模塊205、行為分析模塊203和同步模塊206優(yōu)選地包括在分析任務(wù)塊212中。在實(shí)驗(yàn)運(yùn)行過(guò)程中，優(yōu)選地，生物信號(hào)抽樣模塊205接收來(lái)自生物傳感器106的傳感器信號(hào)232作為輸入。生物信號(hào)抽樣模塊205同時(shí)也能接收來(lái)自同步模塊206的輸入信號(hào)。信號(hào)抽樣模塊205利用同步時(shí)間戳來(lái)戳記傳感器信號(hào)，并輸出產(chǎn)生的生物信號(hào)數(shù)據(jù) 236。生物信號(hào)數(shù)據(jù)236存儲(chǔ)在現(xiàn)象型數(shù)據(jù)庫(kù)220中用于進(jìn)一步復(fù)查和處理。優(yōu)選地，同時(shí)，視頻記錄模塊202接收來(lái)自視頻攝像機(jī)102、104的視頻信號(hào)230。 視頻記錄模塊202也接收來(lái)自同步模塊206的同步輸入，并利用同步時(shí)間戳，戳記視頻信號(hào) 230，并輸出將被存儲(chǔ)在現(xiàn)象型數(shù)據(jù)庫(kù)220中的產(chǎn)生的視頻數(shù)據(jù)238。視頻記錄模塊202也優(yōu)選地傳遞視頻信號(hào)到行為分析模塊203上。優(yōu)選地，行為分析模塊也接收設(shè)備輸入240作為輸入，并與同步模塊206和協(xié)議模塊216進(jìn)行通信，以使得行為分析模塊203能夠分析接收到的視頻數(shù)據(jù)230以識(shí)別由方案216限定的關(guān)于刺激設(shè)備107的作用狀態(tài)的行為。行為分析模塊203輸出其分析結(jié)果作為行為數(shù)據(jù)204。同步行為數(shù)據(jù)204、視頻數(shù)據(jù)238以及生物信號(hào)數(shù)據(jù)236優(yōu)選地輸入到現(xiàn)象型數(shù)據(jù)庫(kù)220 (其存儲(chǔ)所述結(jié)果)中?，F(xiàn)象型數(shù)據(jù)庫(kù)220優(yōu)選地為Oracle或Microsoft Access數(shù)據(jù)庫(kù)，并且能夠包括與存儲(chǔ)所有方案216文件的方案數(shù)據(jù)庫(kù)217中的表格關(guān)聯(lián)的表格?，F(xiàn)象型數(shù)據(jù)庫(kù)220優(yōu)選地收集來(lái)自行為分析模塊203的分析結(jié)果。這些結(jié)果直接涉及存儲(chǔ)在方案數(shù)據(jù)庫(kù)217中的實(shí)驗(yàn)方案216。
管理任務(wù)塊210優(yōu)選地包括復(fù)查與處理模塊214。復(fù)查與處理模塊214允許用戶收集實(shí)驗(yàn)結(jié)果、整理結(jié)果、進(jìn)行各種統(tǒng)計(jì)計(jì)算，并且比較實(shí)驗(yàn)組中的結(jié)果、以及與其它相關(guān)數(shù)據(jù)的比較。優(yōu)選地，復(fù)查與處理模塊214能夠檢索在先前實(shí)驗(yàn)中收集的并存儲(chǔ)在現(xiàn)象型數(shù)據(jù)庫(kù)220和方案數(shù)據(jù)庫(kù)217中的數(shù)據(jù)。在復(fù)查過(guò)程中，復(fù)查與處理模塊214允許用戶回放整個(gè)視頻或部分視頻，包括對(duì)應(yīng)特定識(shí)別的行為的部分視頻。優(yōu)選地，復(fù)查與處理模塊214 允許用戶指定行為，并且復(fù)查與處理模塊214會(huì)顯示對(duì)應(yīng)的部分視頻。優(yōu)選地，復(fù)查與處理模塊214使用戶能夠修改方案216，并且利用在先前分析的視頻輸入上修改的方案216來(lái)運(yùn)行行為分析模塊203。因此，用戶獲得對(duì)于同一實(shí)驗(yàn)的兩組或兩組以上的數(shù)據(jù)分析結(jié)果，而這種不同結(jié)果的產(chǎn)生是因?yàn)橛糜谛袨閿?shù)據(jù)識(shí)別的方案的改變。優(yōu)選地，復(fù)查與處理模塊214的輸出能夠直接輸出到多種第三方軟件，例如 Microsoft Excel、SPSS 等。多組數(shù)據(jù)結(jié)果也可一并輸出到單個(gè)文件作為電子數(shù)據(jù)表。例如，在實(shí)驗(yàn)期間，如果用戶用動(dòng)物實(shí)施多種試驗(yàn)，并且把動(dòng)物主要分成兩組一組A和組B。用戶希望能將組A中所有動(dòng)物的實(shí)驗(yàn)結(jié)果輸出到單個(gè)電子數(shù)據(jù)表中，而將組B中所有動(dòng)物的實(shí)驗(yàn)結(jié)果輸出到另一電子數(shù)據(jù)表中。這進(jìn)一步允許用戶確定這兩組的每組中的多個(gè)測(cè)量值或行為結(jié)果的平均值和標(biāo)準(zhǔn)差，以使它們能夠相互比較或與其它相關(guān)數(shù)據(jù)進(jìn)行比較。圖3是行為分析模塊203的優(yōu)選的流程圖。如以上陳述的，行為分析模塊203接收來(lái)自視頻記錄模塊202的視頻圖像。在一個(gè)實(shí)施例中，視頻記錄模塊202可以容置在視頻多路復(fù)用器109中。在優(yōu)選的實(shí)施例中，視頻記錄模塊202由計(jì)算機(jī)系統(tǒng)111實(shí)施。優(yōu)選地，視頻記錄模塊202可包括數(shù)字化/壓縮單元。數(shù)字化/壓縮單元可將模擬視頻和音頻轉(zhuǎn)換成數(shù)字視頻格式，例如MPEG或者AVI。此外，優(yōu)選地，視頻記錄模塊202匹配來(lái)自每個(gè)攝像機(jī)的幀圖像，以使來(lái)自例如頂部攝像機(jī)104的幀可顯示在視頻監(jiān)控器109右側(cè)，來(lái)自側(cè)面攝像機(jī)102的幀可顯示在左側(cè)。替代地，行為分析模塊可以執(zhí)行數(shù)字化/壓縮以及幀格式化和同步。在優(yōu)選的實(shí)施例中，系統(tǒng)接收來(lái)自實(shí)時(shí)視頻攝像機(jī)的輸入視頻圖像或者來(lái)自視頻記錄/回放單元的預(yù)先記錄的輸入視頻圖像。如果視頻是模擬格式，那么信息從模擬格式轉(zhuǎn)換成數(shù)字格式，并且可由視頻數(shù)字化/壓縮單元壓縮。數(shù)字視頻圖像隨后提供給行為分析模塊203，并且儲(chǔ)存在計(jì)算機(jī)上，在該計(jì)算機(jī)上執(zhí)行多個(gè)進(jìn)程以從圖像分割預(yù)定的動(dòng)物及其身體部分并識(shí)別動(dòng)物的行為。同時(shí)，數(shù)字視頻圖像與來(lái)自同步控制模塊206的數(shù)據(jù)同步并索引，以使得每個(gè)圖像都可以在隨后過(guò)程中自由搜索(search)并檢索(retrieve)。視頻圖像230可以是來(lái)自系統(tǒng)的攝像機(jī)102、104中的一個(gè)的圖像，或者是來(lái)自一個(gè)場(chǎng)所中的記錄活動(dòng)的兩個(gè)或多個(gè)攝像機(jī)的各自的圖像結(jié)合所得的圖像，或者是來(lái)自記錄不同場(chǎng)所中的實(shí)驗(yàn)的攝像機(jī)的結(jié)合圖像。參照?qǐng)D3，在優(yōu)選的實(shí)施例中，行為分析模塊203接收視頻幀250，并且該視頻幀 250包括所述幀左側(cè)的場(chǎng)所的俯視圖像，如俯視圖254，和所述幀右側(cè)的場(chǎng)所的側(cè)視圖像， 如側(cè)視圖252。每一個(gè)數(shù)字圖像被處理來(lái)從輸入視頻的幀中識(shí)別和分割所需(預(yù)定)動(dòng)物。 這個(gè)過(guò)程可以通過(guò)運(yùn)用背景消去、混合模型、穩(wěn)健估計(jì)和/或其它過(guò)程來(lái)完成。在優(yōu)選的實(shí)施例中，行為分析模塊203同時(shí)在俯視圖像2M和側(cè)視圖像252上運(yùn)用背景消去256。優(yōu)選的背景消去詳細(xì)描述在Liang等人的美國(guó)專利No. 6，678，413中，其全文內(nèi)容以引用的方式合并于此。替代地，俯視圖像邪4和側(cè)視圖像252可以分別使用背景消去。在其它實(shí)施例中，背景消去同時(shí)運(yùn)用到每個(gè)視角的多張圖像上。這些圖像可以是同一場(chǎng)所或不同場(chǎng)所的不同的觀看圖像。背景消去256得到前景物體的隔離。俯視圖像254中隔離的前景物體稱作俯視物體258。側(cè)視圖像252中隔離的前景物體稱作側(cè)視物體沈0。接著，系統(tǒng)將識(shí)別的物體與單個(gè)動(dòng)物相匹配。在一個(gè)實(shí)施例中，最初對(duì)俯視物體進(jìn)行幀間匹配過(guò)程沈1。幀間匹配過(guò)程根據(jù)動(dòng)物數(shù)據(jù)263將動(dòng)物ID(識(shí)別碼)分配給識(shí)別的俯視物體258。動(dòng)物數(shù)據(jù)263是關(guān)于場(chǎng)所中監(jiān)控的動(dòng)物的一組數(shù)據(jù)。所述數(shù)據(jù)包括固有的動(dòng)物信息沈4，該動(dòng)物信息不是基于實(shí)驗(yàn)的，而是在實(shí)驗(yàn)開(kāi)始之前就獲得的信息，例如動(dòng)物的顏色、 貫穿動(dòng)物身體的顏色分布、動(dòng)物體型大小、關(guān)于動(dòng)物表現(xiàn)型的細(xì)節(jié)、動(dòng)物的任何特定識(shí)別標(biāo)志。這些數(shù)據(jù)還包括環(huán)境動(dòng)物信息沈5，該動(dòng)物信息是在實(shí)驗(yàn)過(guò)程中產(chǎn)生的，例如，在一幀或多幀中的動(dòng)物的位置、在一幀或多幀中的關(guān)于動(dòng)物的身體部分的位置的信息、在一幀或多幀中的動(dòng)物的定向。動(dòng)物數(shù)據(jù)263中的某些部分，例如顏色，對(duì)于動(dòng)物ID是永久性的。所述數(shù)據(jù)的某些部分，例如動(dòng)物的位置，是通過(guò)分析過(guò)程進(jìn)行更新的。優(yōu)選地，動(dòng)物數(shù)據(jù)263 部分地通過(guò)閉合回路反饋過(guò)程來(lái)獲得的。當(dāng)系統(tǒng)產(chǎn)生信息的同時(shí)，環(huán)境動(dòng)物信息265也被更新，而固有的動(dòng)物信息264從計(jì)算機(jī)系統(tǒng)111輸入，優(yōu)選地從方案數(shù)據(jù)庫(kù)217輸入。優(yōu)選地，在俯視物體258被識(shí)別為俯視動(dòng)物262后，動(dòng)物識(shí)別過(guò)程被實(shí)施在側(cè)視物體260上。在優(yōu)選的實(shí)施例中，系統(tǒng)200在側(cè)視物體260上執(zhí)行與俯視動(dòng)物沈2的視場(chǎng)間匹配沈6，基于在俯視物體258上執(zhí)行的幀間匹配的結(jié)果為側(cè)視物體260分配動(dòng)物ID。 在另一個(gè)實(shí)施例中，側(cè)視物體通過(guò)實(shí)施在側(cè)視物體260上的幀間匹配過(guò)程匹配單獨(dú)的動(dòng)物ID。在另一個(gè)實(shí)施例中，系統(tǒng)200最初進(jìn)行幀間匹配過(guò)程沈1，然后進(jìn)行視場(chǎng)間匹配過(guò)程266來(lái)確認(rèn)或反駁幀間匹配過(guò)程的結(jié)果。在另一個(gè)實(shí)施例中，最初做出嘗試，以通過(guò)幀間匹配過(guò)程261識(shí)別側(cè)視物體沈0， 就像上述討論的關(guān)于俯視動(dòng)物的識(shí)別。當(dāng)側(cè)視物體260不能僅通過(guò)幀間匹配過(guò)程261而被可靠地識(shí)別時(shí)，視場(chǎng)間匹配過(guò)程266應(yīng)用于這些物體。優(yōu)選地，在設(shè)計(jì)模塊215中，用戶針對(duì)第二視場(chǎng)動(dòng)物識(shí)別選擇要使用的過(guò)程(視場(chǎng)間和/或幀間)。視場(chǎng)間匹配過(guò)程266運(yùn)用來(lái)自同一場(chǎng)所的不同視圖的圖像的信息來(lái)識(shí)別一個(gè)視圖中的動(dòng)物。例如，在優(yōu)選的實(shí)施例中，視場(chǎng)間匹配過(guò)程運(yùn)用從俯視圖像邪4和側(cè)視圖像 252獲得的信息來(lái)識(shí)別在側(cè)視圖像中的動(dòng)物。為了執(zhí)行視場(chǎng)間匹配，程序根據(jù)場(chǎng)所的幾何結(jié)構(gòu)建立視場(chǎng)間對(duì)應(yīng)關(guān)系，S卩，對(duì)于一個(gè)視圖中的每一點(diǎn)，所述程序會(huì)識(shí)別其在另一視圖中的出現(xiàn)地帶。對(duì)于在第一觀看圖像中識(shí)別的物體，該物體的出現(xiàn)地帶在第二視圖中是一區(qū)域，其包括同一物體能出現(xiàn)在的所有可能的位置。在優(yōu)選的實(shí)施例中，第一視圖是俯視圖，并且第二視圖是側(cè)視圖。程序通過(guò)視場(chǎng)間對(duì)應(yīng)過(guò)程來(lái)計(jì)算識(shí)別的俯視圖像的出現(xiàn)地帶。參照?qǐng)D4(a)_(c)，程序首先在俯視圖像中的邊界abed限定的表示俯視圖中場(chǎng)所的頂面的矩形(見(jiàn)圖4(a))與側(cè)視圖中的表示側(cè)視圖中場(chǎng)所的頂面的不規(guī)則四邊形abed(見(jiàn)圖4(c))之間建立投影對(duì)應(yīng)映射。換句話說(shuō)，對(duì)于場(chǎng)所的頂面的俯視圖像中的每一點(diǎn)，程序識(shí)別在場(chǎng)所頂面的側(cè)視圖像中代表它的單獨(dú)的對(duì)應(yīng)點(diǎn)。程序也在俯視圖中表示俯視圖中場(chǎng)所的底板的矩形efgh (見(jiàn)圖4(a))和側(cè)視圖中表示側(cè)視圖中場(chǎng)所的底板的梯形efgh(見(jiàn)圖4(c))之間建立對(duì)應(yīng)映射。圖4b示出場(chǎng)所等角視圖。為了產(chǎn)生單獨(dú)點(diǎn)P的出現(xiàn)地帶，在優(yōu)選的實(shí)施例中，程序首先確定俯視圖像中點(diǎn)P 的位置，如圖4(a)所示。僅僅基于俯視圖像(基于該有限的信息)，我們不能推斷點(diǎn)P與場(chǎng)所底板之間的距離，點(diǎn)P可以位于底板上、頂棚上或之間的任何位置。基于俯視圖像中點(diǎn) P的位置和先前創(chuàng)建的對(duì)應(yīng)映射，程序計(jì)算場(chǎng)所的側(cè)視圖像中的對(duì)應(yīng)點(diǎn)P’和P”。如果我們假設(shè)點(diǎn)P位于場(chǎng)所的頂面，那么點(diǎn)P’代表點(diǎn)P在側(cè)視圖像中的位置。如果我們假設(shè)點(diǎn)P位于場(chǎng)所的底板，那么點(diǎn)P”代表點(diǎn)P在側(cè)視圖像中的位置。由于我們不知道點(diǎn)P和場(chǎng)所底板之間的距離，因此由點(diǎn)P’和P”限定的直線段代表了俯視圖像中點(diǎn)P在側(cè)視圖像中的所有可能的出現(xiàn)位置。換句話說(shuō)，在知道俯視圖中的點(diǎn)P的位置后，我們可利用視場(chǎng)間對(duì)應(yīng)過(guò)程來(lái)識(shí)別該點(diǎn)P在側(cè)視圖像中的所有可能的位置作為線段P’P”。為了更進(jìn)一步闡述，如果我們從攝像機(jī)104的視角來(lái)看線段P’ P”，那么這個(gè)線段會(huì)匯聚成點(diǎn)P。線段P’ P”形成俯視圖點(diǎn)P的側(cè)視出現(xiàn)地帶。為了闡述生成俯視物體的出現(xiàn)地帶的過(guò)程，我們可以參考圖5(a)和5(b)。對(duì)于俯視物體A(圖5(a))的每一點(diǎn)P，程序生成對(duì)應(yīng)的側(cè)視點(diǎn)P，和P”。點(diǎn)P，和P”分別是點(diǎn)P 在場(chǎng)所底板和場(chǎng)所頂面處的側(cè)視圖像。直線段P’ P”形成點(diǎn)P在側(cè)視圖中的出現(xiàn)地帶。在對(duì)形成物體A的所有點(diǎn)重復(fù)同樣的過(guò)程后，代表物體A的每一點(diǎn)的單獨(dú)的線段聯(lián)合形成梯形K咖’，其包括側(cè)視圖像中俯視物體A的出現(xiàn)地帶。視場(chǎng)間匹配過(guò)程266優(yōu)選地的第一步是應(yīng)用俯視圖識(shí)別出動(dòng)物來(lái)建立其側(cè)視出現(xiàn)地帶。當(dāng)側(cè)視物體260是分開(kāi)的，即在側(cè)視圖像252中動(dòng)物彼此之間互不阻擋，俯視動(dòng)物識(shí)別262用于視場(chǎng)間匹配過(guò)程沈6，以產(chǎn)生俯視物體258和側(cè)視物體260之間的對(duì)應(yīng)關(guān)系。 換句話說(shuō)，基于這些動(dòng)物的側(cè)視出現(xiàn)地帶，系統(tǒng)找到俯視動(dòng)物的位置和側(cè)視圖中的這些動(dòng)物的可能的位置之間的對(duì)應(yīng)關(guān)系。如果動(dòng)物的出現(xiàn)地帶不重疊，并且在每個(gè)地帶僅有一個(gè)側(cè)視物體，那么這個(gè)側(cè)視物體識(shí)別為具有與對(duì)應(yīng)的俯視動(dòng)物相同的動(dòng)物ID。如果側(cè)視動(dòng)物彼此阻擋，那么程序利用分割過(guò)程來(lái)識(shí)別考慮中的側(cè)視物體。當(dāng)在側(cè)視圖中一個(gè)動(dòng)物阻擋了另一個(gè)動(dòng)物，那么識(shí)別后的側(cè)視物體為代表兩只動(dòng)物的連接的側(cè)視圖像。在這種情況下， 程序在這些物體上執(zhí)行連接的物體分割過(guò)程。最初，程序識(shí)別所有先前識(shí)別的俯視動(dòng)物的出現(xiàn)地帶。對(duì)于連接的側(cè)視物體，連接的物體的至少一部分將處于多于一個(gè)的出現(xiàn)地帶中。如圖6所示，俯視動(dòng)物A和B (圖6 (a)) 在側(cè)視圖(圖6(b))中表示為對(duì)應(yīng)的出現(xiàn)地帶這些出現(xiàn)地帶重疊并且連接的側(cè)視圖像A’ B’位于這些地帶的組合中。在優(yōu)選的實(shí)施例中，連接的物體分割是通過(guò)應(yīng)用分割算法實(shí)施，如圖7(a)_(b)所示。首先，在連接的物體A’ B’被識(shí)別后，程序識(shí)別一組側(cè)視出現(xiàn)地帶C，其中對(duì)于組C中每個(gè)出現(xiàn)地帶，連接的物體A’ B’的至少一個(gè)像素位于該地帶中。其次，對(duì)于連接的側(cè)視物體A’ B’中的每個(gè)像素，程序確定該像素屬于多少個(gè)出現(xiàn)地帶。如果該像素僅屬于一個(gè)出現(xiàn)地帶，那么程序用對(duì)應(yīng)的動(dòng)物ID標(biāo)記該像素。參照?qǐng)D 7 (a)，在這個(gè)階段，僅落在Az。ne中的像素701被標(biāo)記A ；僅落在Bz。ne中的像素703被標(biāo)記B。 落在多于一個(gè)地帶中的像素705被標(biāo)記M。落在任何出現(xiàn)地帶之外的像素707被標(biāo)記U。第三步，優(yōu)選地，系統(tǒng)識(shí)別對(duì)應(yīng)于出現(xiàn)地帶組C的俯視動(dòng)物組Ct。p。根據(jù)俯視圖像 6 (a)，程序確定哪只動(dòng)物位置最接近側(cè)視攝像機(jī)，作為前面動(dòng)物。第四步，所有標(biāo)記M的像素被指定與前面動(dòng)物對(duì)應(yīng)的動(dòng)物ID。對(duì)于標(biāo)記U的像素， 程序找到具有至少一個(gè)具有動(dòng)物ID的鄰近像素的像素。此U像素被指定與其鄰近像素相同的動(dòng)物ID。重復(fù)這個(gè)步驟直到所有標(biāo)記U的像素被指定動(dòng)物ID。在另一個(gè)實(shí)施例中，作為第四步，程序應(yīng)用區(qū)域擴(kuò)大算法到最初分割的物體。首先，程序找到標(biāo)有“M”或“U”并具有至少一個(gè)具有標(biāo)識(shí)的動(dòng)物ID的鄰近像素的像素709和 711。在對(duì)于該像素的帶有動(dòng)物ID的鄰近像素組被識(shí)別以后，程序復(fù)查這些動(dòng)物ID是否來(lái)自同一個(gè)動(dòng)物。如果所有帶有動(dòng)物ID的鄰近像素具有相同的ID，那么“M”或“U”像素709 或711被指定與其鄰近像素相同的動(dòng)物ID以及臨時(shí)標(biāo)志。如果像素713具有多于一個(gè)帶有指定的動(dòng)物ID (邊界像素)的鄰近像素709和711，并且這些ID并不相同(見(jiàn)圖7c中示出的像素713)，那么程序利用先前了解的動(dòng)物數(shù)據(jù)(例如對(duì)應(yīng)于考慮的ID的動(dòng)物的顏色分布等)在可能的動(dòng)物ID之間選擇。該像素713接收永久的動(dòng)物ID。這時(shí)候?qū)τ谙襁吔缦袼剡@樣具有相同的臨時(shí)動(dòng)物ID的所有像素，程序改變它們的ID狀態(tài)，從臨時(shí)到永久715(見(jiàn)圖8)。對(duì)于具有不同于邊界像素的713動(dòng)物ID的臨時(shí)動(dòng)物ID的所有像素，它們的標(biāo)記變回M(像素717，圖8)。重復(fù)這個(gè)步驟直到在連接的物體中所有像素被指定永久動(dòng)物ID。在另一個(gè)實(shí)施例中，在分割算法的第四步，對(duì)于每個(gè)標(biāo)有M和U的像素，程序根據(jù)先前已知的動(dòng)物數(shù)據(jù)(例如對(duì)應(yīng)于考慮的ID的動(dòng)物的顏色分布、動(dòng)物的先前已知的位置等)，從俯視動(dòng)物組Ct。p中指定給該像素動(dòng)物ID。當(dāng)連接的物體代表兩個(gè)以上的動(dòng)物時(shí)也可使用分割算法。當(dāng)俯視物體連接時(shí)，動(dòng)物的側(cè)視識(shí)別可被用于執(zhí)行俯視連接的物體分割。通常，在系統(tǒng)利用兩種以上的視角或不同的攝像機(jī)定向的情況中，那么通過(guò)一個(gè)視圖的動(dòng)物識(shí)別可被用于增強(qiáng)在另一視圖中的連接物體分割。回到圖3，在所有俯視物體258和側(cè)視物體260被識(shí)別為俯視動(dòng)物262和側(cè)視動(dòng)物 268以后，程序?qū)ψR(shí)別后的動(dòng)物進(jìn)行分析。俯視動(dòng)物262通過(guò)俯視分析模塊267進(jìn)行分析， 而側(cè)視動(dòng)物268通過(guò)側(cè)視分析模塊269進(jìn)行分析。模塊267和269監(jiān)測(cè)這些關(guān)于分析的動(dòng)物的信息，例如動(dòng)物的位置、定向、動(dòng)物身體部分的位置、動(dòng)物的身體部分關(guān)于其它動(dòng)物和非生物體的位置。在優(yōu)選的實(shí)施例中，俯視分析結(jié)果和測(cè)試分析結(jié)果傳送到立體視場(chǎng)整合分析模塊 270。這個(gè)模塊執(zhí)行從所有可用視圖獲得的信息的整合。一般來(lái)說(shuō)，在立體視場(chǎng)分析中，從一個(gè)視圖中獲得的動(dòng)物分析數(shù)據(jù)被用于確認(rèn)并完善從其它視圖中獲得的動(dòng)物分析數(shù)據(jù)。在優(yōu)選的實(shí)施例中，程序應(yīng)用立體分析過(guò)程在所有識(shí)別的行為上，這些行為包括社交行為，例如高興玩耍、統(tǒng)治/服從行為、挑釁/逃跑行為、交配行為、以及母性行為、以及自動(dòng)行為。例如，通過(guò)俯視圖，系統(tǒng)識(shí)別出兩個(gè)動(dòng)物彼此密切接觸，其中第一只動(dòng)物的鼻子非常接近第二只動(dòng)物的頭。當(dāng)該信息與從對(duì)應(yīng)的側(cè)視動(dòng)物的分析中獲得的信息結(jié)合在一起，即其中第一只動(dòng)物的鼻子正在觸碰第二只動(dòng)物的頭時(shí)，系統(tǒng)能夠以極高可信度得出結(jié)論，即存在嗅頭行為。在另一個(gè)例子中，依據(jù)俯視圖像，程序識(shí)別出一只動(dòng)物非常接近水噴口。然后，程序整合關(guān)于這只動(dòng)物的側(cè)視分析的分析結(jié)果。如果側(cè)視圖像分析顯示這只動(dòng)物的嘴抬高到與水噴口同等高度，那么程序確認(rèn)最初分析結(jié)果為飲水行為。如果動(dòng)物的頭高于或低于水噴口，那么程序就推翻了早前的飲水行為的確定。相同地，如果動(dòng)物的側(cè)視圖像分析顯示動(dòng)物的頭非常接近水噴口，并且抬高到與水噴口同等高度，這樣立體視場(chǎng)分析可證明或反駁飲水行為的結(jié)論。如果程序在俯視分析中識(shí)別出動(dòng)物的嘴接觸水噴口，那么根據(jù)側(cè)視分析的飲水行為得到證實(shí)。如果在俯視分析中程序識(shí)別動(dòng)物的嘴在水噴口的右或左側(cè)(即在側(cè)視圖中，動(dòng)物在水噴口的后面或者前面，并且僅是面對(duì)與水噴口相同的方向)，那么程序就推翻飲水行為確定。一般說(shuō)來(lái)，立體視頻分析模塊的目的是通過(guò)對(duì)照一個(gè)視圖與另一個(gè)視圖的信息來(lái)創(chuàng)建協(xié)同效應(yīng)，以更好地參照其它動(dòng)物和非生物體來(lái)識(shí)別每個(gè)動(dòng)物及其身體部分的位置， 使得能夠獲得更準(zhǔn)確的動(dòng)物的行為分析。動(dòng)物尺寸標(biāo)準(zhǔn)化在優(yōu)選的實(shí)施例中，作為立體視場(chǎng)整合分析的一部分，程序應(yīng)用動(dòng)物尺寸標(biāo)準(zhǔn)化過(guò)程于俯視和側(cè)視動(dòng)物上。在先前的系統(tǒng)中，僅執(zhí)行側(cè)視分析，投影效果非常影響圖像的分析。當(dāng)一動(dòng)物接近攝像機(jī)時(shí)，其圖像明顯比當(dāng)同一只動(dòng)物位于場(chǎng)所的遠(yuǎn)端處所得到的圖像要大。這種現(xiàn)象稱作投射效應(yīng)。由于側(cè)視/正視攝像機(jī)通?？拷鼘?shí)驗(yàn)設(shè)備，投射效應(yīng)在該視圖中很明顯。當(dāng)動(dòng)物接近攝像機(jī)以及當(dāng)動(dòng)物處于安置場(chǎng)所的遠(yuǎn)端處時(shí)，動(dòng)物外觀尺寸的差異，可能在側(cè)視行為分析基于尺寸相關(guān)特征執(zhí)行時(shí)產(chǎn)生問(wèn)題。在優(yōu)選的實(shí)施例中，為了解決這個(gè)問(wèn)題，本發(fā)明的程序利用尺寸標(biāo)準(zhǔn)化過(guò)程。在早期系統(tǒng)中，其中僅側(cè)視/正視信息可用，利用動(dòng)物站立點(diǎn)來(lái)執(zhí)行尺寸標(biāo)準(zhǔn)化， 這些站立點(diǎn)是動(dòng)物身體的較低邊界。但是，當(dāng)動(dòng)物臥在安置設(shè)備(通常是箱子)的底板時(shí)， 這個(gè)方法并不那么可靠。此外，使用動(dòng)物站立點(diǎn)的尺寸標(biāo)準(zhǔn)化對(duì)噪聲、陰影和多種環(huán)境因素很敏感。本發(fā)明中的系統(tǒng)對(duì)于尺寸標(biāo)準(zhǔn)化使用俯視分析的結(jié)果。在優(yōu)選的實(shí)施例中，最初程序施行校準(zhǔn)過(guò)程，其包括確定場(chǎng)所903的前壁901 (最接近側(cè)視攝像機(jī))與場(chǎng)所的后壁905之間的距離。該程序也能確定在側(cè)視圖像中場(chǎng)所903 的前壁901的高度H至側(cè)視圖像中的場(chǎng)所903的后壁905的高度h的比率。根據(jù)這些測(cè)量值，程序計(jì)算出用于調(diào)整動(dòng)物的側(cè)視圖像的大小的調(diào)整系數(shù)。為了標(biāo)準(zhǔn)化側(cè)視圖像中動(dòng)物 907的尺寸，系統(tǒng)分析同一只動(dòng)物907的俯視圖像(圖9c)，確定場(chǎng)所903的深度D以及動(dòng)物中心909與場(chǎng)所后壁905之間的距離d，即，程序確定在安置設(shè)備中動(dòng)物位置的深度。由于從校準(zhǔn)數(shù)據(jù)中可知側(cè)視圖中后壁高度h和前壁高度H之間的關(guān)系，程序根據(jù)場(chǎng)所中動(dòng)物 907的深度d以及在校準(zhǔn)過(guò)程中計(jì)算的調(diào)整系數(shù)來(lái)計(jì)算調(diào)整因子。在進(jìn)一步的側(cè)視圖像分析中，程序通過(guò)乘以動(dòng)物調(diào)整因子來(lái)調(diào)整側(cè)視圖像中動(dòng)物907的線性參數(shù)。程序通過(guò)乘以調(diào)整因子的平方來(lái)調(diào)整側(cè)視圖像分析中動(dòng)物907的面積尺寸參數(shù)。當(dāng)動(dòng)物907改變它的位置時(shí)，程序重新計(jì)算調(diào)整因子。替代地，程序可以配置為計(jì)算每幀的調(diào)整因子或在預(yù)定時(shí)間段內(nèi)計(jì)算調(diào)整因子?；氐綀D3，在優(yōu)選的實(shí)施例中，在立體視場(chǎng)整合分析270完成后，程序執(zhí)行當(dāng)前幀空間關(guān)系識(shí)別272。在當(dāng)前幀空間關(guān)系識(shí)別模塊272中，程序確定場(chǎng)所中的動(dòng)物之間、動(dòng)物的身體部分與其它動(dòng)物之間、不同動(dòng)物的身體部分之間、同一動(dòng)物的身體部分之間、動(dòng)物或一組動(dòng)物與非生物體之間、以及動(dòng)物的身體部分與非生物體之間等的空間關(guān)系中的至少一個(gè)。模塊272確定場(chǎng)所中被分析動(dòng)物作為整體的、和/或動(dòng)物的身體部分，例如頭、嘴、尾巴、 前肢、后肢、上背、下背和腹部的空間關(guān)系。程序確定動(dòng)物和它們身體部分相對(duì)于場(chǎng)所、其它動(dòng)物、場(chǎng)所中非生物體、場(chǎng)所中的虛擬地帶的空間關(guān)系，以及動(dòng)物的身體部分的內(nèi)部關(guān)系 (即同一只動(dòng)物的身體部分如何空間地關(guān)聯(lián)于同一只動(dòng)物的其它身體部分，例如，將動(dòng)物的嘴接觸該動(dòng)物自身下背識(shí)別為理毛行為)。程序依據(jù)由程序模塊272獲得的當(dāng)前幀空間關(guān)系信息來(lái)執(zhí)行序列分析274。序列分析模塊274逐幀地跟蹤所需動(dòng)物的形狀和位置，并識(shí)別該動(dòng)物的形狀、位置、定向、身體部分、和/或姿勢(shì)的變化。然后，該程序利用該信息來(lái)識(shí)別大量預(yù)定義行為中的一種，包括多只動(dòng)物之間的自動(dòng)行為和社交行為。可以利用以下方法來(lái)識(shí)別行為，例如基于規(guī)則的分析、標(biāo)號(hào)解析(token parsing)、和/或序列分析或狀態(tài)變化分析如隱藏式馬可夫模型(Hidden Markov Modeling) (HMM)。此外，程序可構(gòu)建為將動(dòng)物的行為識(shí)別為新的行為并具有特定的時(shí)間節(jié)
律或日夜節(jié)律。在一個(gè)實(shí)施例中，前景動(dòng)物的形狀分類為儲(chǔ)存在數(shù)據(jù)庫(kù)中的多種預(yù)定姿勢(shì)。那么， 姿勢(shì)組和身體部分活動(dòng)及互動(dòng)信息連結(jié)成一組，并與儲(chǔ)存在例如存儲(chǔ)器中的數(shù)據(jù)庫(kù)中的組成已知正?；蚍钦５膭?dòng)物行為的姿勢(shì)序列相比較，來(lái)確定最匹配的行為。依據(jù)已知的非正常行為、新行為和/或日節(jié)律來(lái)識(shí)別非正常行為。在優(yōu)選的實(shí)施例中，程序使用基于規(guī)則的分析來(lái)執(zhí)行數(shù)據(jù)的序列分析274。在基于規(guī)則的分析中，每個(gè)行為都可以建模為必須滿足的規(guī)則組。所述規(guī)則用關(guān)于動(dòng)物的任意可用數(shù)據(jù)來(lái)制定，其中包括當(dāng)前幀空間關(guān)系，例如有或無(wú)關(guān)于其它物體或動(dòng)物的特定身體部分的位置和形狀、整個(gè)動(dòng)物身體或單個(gè)身體部分的運(yùn)動(dòng)特征等等。所述規(guī)則包括識(shí)別特定空間關(guān)系，并確定該空間關(guān)系是否保持特定時(shí)間段或者在特定方向上以特定速率變化。所述規(guī)則由系統(tǒng)預(yù)先限定。在優(yōu)選的實(shí)施例中，用戶針對(duì)單個(gè)實(shí)驗(yàn)或一系列實(shí)驗(yàn)定制規(guī)則。在另一個(gè)實(shí)施例中，程序使用標(biāo)號(hào)解析來(lái)執(zhí)行序列分析。在標(biāo)號(hào)解析過(guò)程中，每個(gè)標(biāo)號(hào)具有對(duì)應(yīng)的預(yù)定的一組條件。系統(tǒng)針對(duì)視頻幀產(chǎn)生標(biāo)號(hào)。在一個(gè)實(shí)施例中，系統(tǒng)針對(duì)每一幀產(chǎn)生一標(biāo)號(hào)。在另一個(gè)實(shí)施例中，系統(tǒng)以預(yù)定的時(shí)間間隔針對(duì)所述幀產(chǎn)生標(biāo)號(hào)。在另一個(gè)實(shí)施例中，時(shí)間間隔從實(shí)驗(yàn)的一部分至另一部分可變。在另一個(gè)實(shí)施例中，所述間隔可基于識(shí)別的行為而變化。當(dāng)針對(duì)所述幀確定的當(dāng)前幀空間關(guān)系滿足為標(biāo)號(hào)指定的預(yù)定條件時(shí)，產(chǎn)生特定標(biāo)號(hào)。標(biāo)號(hào)產(chǎn)生后，它們被傳遞到接受標(biāo)號(hào)組的標(biāo)號(hào)解析器，并且當(dāng)觀測(cè)到特定模式的標(biāo)號(hào)時(shí)，特定行為被檢測(cè)到。在另一個(gè)實(shí)施例中，為了執(zhí)行序列分析274，程序使用概率模型法。在這個(gè)方法中， 模型是基于從一個(gè)特征狀態(tài)到另一個(gè)特征狀態(tài)的過(guò)渡利用訓(xùn)練樣本建立的。這些模型隨后可用于基于輸入的特征標(biāo)簽序列來(lái)識(shí)別行為。該模型針對(duì)適當(dāng)復(fù)雜的行為特征，能夠提供有效的附加的準(zhǔn)確度至?xí)r間關(guān)系。在另一優(yōu)選實(shí)施例中，程序利用不同分析方法的組合來(lái)執(zhí)行序列分析274。本發(fā)明的系統(tǒng)用于在多動(dòng)物環(huán)境中識(shí)別大量行為，例如自動(dòng)和社交行為、挑釁/ 逃跑行為、統(tǒng)治/服從行為、母性行為、性交行為等等。在優(yōu)選的實(shí)施例中，序列分析274 由行為模塊組來(lái)執(zhí)行，例如自動(dòng)行為模塊1001、社交互動(dòng)模塊1003、挑釁/逃跑行為模塊 1005、母性行為模塊1007、性交行為模塊1009、以及統(tǒng)治/服從行為模塊1011 (見(jiàn)圖10)。 每個(gè)單獨(dú)的模塊配置用以識(shí)別對(duì)應(yīng)的預(yù)定行為組。在優(yōu)選的實(shí)施例中，程序配置以能夠同時(shí)運(yùn)行多個(gè)行為模塊。由此，系統(tǒng)能夠在單一運(yùn)行過(guò)程中識(shí)別來(lái)自不同行為組(例如自動(dòng)行為、社交行為、性交行為等)的行為。例如， 兩個(gè)或多個(gè)動(dòng)物的物體辨認(rèn)行為和社交互動(dòng)行為的識(shí)別能夠在單一實(shí)驗(yàn)過(guò)程中執(zhí)行。用戶可以在一個(gè)實(shí)驗(yàn)或一系列實(shí)驗(yàn)過(guò)程中預(yù)先選擇運(yùn)行哪個(gè)行為模塊。同時(shí)執(zhí)行所選擇的模塊來(lái)獲得每個(gè)模塊的分析結(jié)果。這種靈活性強(qiáng)化了系統(tǒng)的處理能力和可用性。下面將描述行為模塊以及由這些模塊識(shí)別的示例行為。自動(dòng)行為樽塊在本發(fā)明的優(yōu)選實(shí)施例中，程序包括配置用以識(shí)別生物體的自動(dòng)行為的自動(dòng)行為模塊1001。在優(yōu)選的實(shí)施例中，該模塊是序列分析模塊274的一部分。該模塊接收來(lái)自當(dāng)前幀空間關(guān)系識(shí)別模塊272的數(shù)據(jù)，并輸出其處理結(jié)果至行為數(shù)據(jù)模塊204。當(dāng)存在多只動(dòng)物而它們沒(méi)有進(jìn)行社交互動(dòng)時(shí)，自動(dòng)行為是動(dòng)物的獨(dú)立行為。自動(dòng)行為的特征是動(dòng)物缺少與其它動(dòng)物的聯(lián)系，就像只有單個(gè)動(dòng)物處于圍場(chǎng)中，盡管如此，當(dāng)存在其它動(dòng)物時(shí)也會(huì)發(fā)生其中一個(gè)動(dòng)物的這些自動(dòng)行為。正常的自動(dòng)行為的例子包括吃、 咀嚼、喝水、睡覺(jué)、走路、立起、懸掛、跳躍、嗅探、理毛、著陸、轉(zhuǎn)向、挖掘、覓食、轉(zhuǎn)圈、伸展、抽搐、停歇、蘇醒、排尿、反復(fù)跳躍等等。所述自動(dòng)行為可能或不可能受到同一環(huán)境中存在的其它動(dòng)物的影響。這些自動(dòng)行為的檢測(cè)提供了額外的研究工具，這提供了關(guān)于多動(dòng)物環(huán)境對(duì)單個(gè)動(dòng)物行為的影響的信息。大多數(shù)自動(dòng)行為包括關(guān)于動(dòng)物或其身體部分的位置或定向的規(guī)則。通過(guò)使用本發(fā)明的立體視場(chǎng)分析，對(duì)于此類行為的識(shí)別的準(zhǔn)確度被極大提高。正如上面所述的，立體視場(chǎng)分析通過(guò)提供關(guān)于動(dòng)物和其身體部分的位置的附加信息組，大大地提高了當(dāng)前幀空間關(guān)系的識(shí)別的可靠性。例如，當(dāng)識(shí)別嗅探行為時(shí)，在俯視圖中，程序可以準(zhǔn)確地識(shí)別動(dòng)物朝向物體的定向。但是，俯視圖像不能提供關(guān)于動(dòng)物鼻子高度的信息，以及是否鼻子抬高到與物體相同的高度。動(dòng)物可能非常接近物體，但可能抬起嗅空氣或嗅底板。如果僅使用俯視圖像，那么在程序的嗅探行為識(shí)別中將會(huì)不明確。然而，側(cè)視圖像提供了額外的信息通過(guò)側(cè)視圖像，程序能夠可靠地識(shí)別動(dòng)物鼻子抬高到什么高度。如果動(dòng)物的鼻子與物體在同一高度上，那么 “嗅探物體”的行為被識(shí)別。如果鼻子在不同高度處，程序會(huì)總結(jié)出動(dòng)物在嗅地板或嗅空氣。社交互動(dòng)模塊社交互動(dòng)模塊1003識(shí)別與其它動(dòng)物直接發(fā)生的社交行為或發(fā)生在動(dòng)物組的成員之間的社交行為。在優(yōu)選的實(shí)施例中，該模塊也是序列分析模塊274的一部分，并且接收來(lái)自當(dāng)前幀空間關(guān)系識(shí)別模塊272的數(shù)據(jù)。社交互動(dòng)模塊1003也輸出其分析結(jié)果到行為數(shù)據(jù)模塊204。社交互動(dòng)模塊1003識(shí)別的社交互動(dòng)事件包括社會(huì)認(rèn)可、社會(huì)功能障礙、積極和消極社會(huì)接觸、靠近、離開(kāi)、跟隨、嗅探其它動(dòng)物的頭、嗅探其它動(dòng)物的身體中部、嗅其它動(dòng)物的生殖部位。此外，該模塊追蹤并記錄場(chǎng)所中每只動(dòng)物質(zhì)心的運(yùn)動(dòng)路徑，計(jì)算每只動(dòng)物運(yùn)動(dòng)的即時(shí)速度和平均速度以及運(yùn)動(dòng)距離，計(jì)算并記錄每只動(dòng)物的即時(shí)的以及累積的身體轉(zhuǎn)角，以及將每只動(dòng)物的即時(shí)位置映射到用戶限定的虛擬區(qū)域。更復(fù)雜的社交行為包括挑釁/逃跑、母性行為、性交行為、統(tǒng)治/服從行為等等。 在本系統(tǒng)的優(yōu)選的實(shí)施例中，這些更復(fù)雜的社交行為由單獨(dú)的專用模塊來(lái)識(shí)別，例如挑釁/ 降服模塊1005、母性行為模塊1007、性交行為模塊1009，這些都包括在系統(tǒng)的序列分析模塊274中。作為立體視場(chǎng)整合分析270和當(dāng)前幀空間關(guān)系分析272的一部分，程序確定場(chǎng)所中的動(dòng)物之間的空間關(guān)系、動(dòng)物的特定身體部分之間的空間關(guān)系(例如，第一只動(dòng)物的鼻子接觸的是其它動(dòng)物的身體的哪個(gè)部分？)、同一動(dòng)物的身體部分之間的空間關(guān)系、動(dòng)物與非生物體之間的空間關(guān)系、動(dòng)物彼此之間的定向等等。該數(shù)據(jù)為社交行為的識(shí)別提供了基石出。在優(yōu)選的實(shí)施例中，程序使用基于規(guī)則的分析來(lái)識(shí)別社交互動(dòng)行為。下面提供關(guān)于一些社交互動(dòng)行為的規(guī)則組的例子。當(dāng)程序以預(yù)定的時(shí)間段、定向、距離運(yùn)行時(shí)，應(yīng)用偏
差閾值。社交接觸社交接觸行為通過(guò)監(jiān)測(cè)任意兩只動(dòng)物間的物理接觸來(lái)確定。身體距離作為該行為的基礎(chǔ)檢測(cè)測(cè)量來(lái)使用。接觸可以進(jìn)一步分為消極接觸和積極接觸。消極接觸是指無(wú)意識(shí)接觸、或在延長(zhǎng)的時(shí)間段里保持穩(wěn)定的有意識(shí)接觸。積極接觸是兩只動(dòng)物之間持續(xù)發(fā)生的活動(dòng)的積極的有意識(shí)接觸。頭的方向和身體接觸部分用于消極和積極接觸檢測(cè)。積極社交接觸主要的空間關(guān)系第一只動(dòng)物圖像邊緣與第二只動(dòng)物圖像邊緣之間的距離小于預(yù)定閾值?；疽?guī)則主要的空間關(guān)系保持預(yù)定時(shí)間長(zhǎng)度。第一只動(dòng)物與第二只動(dòng)物至少在預(yù)定時(shí)間段的預(yù)定部分內(nèi)直接接觸。在這段時(shí)間內(nèi)，動(dòng)物之間的距離連續(xù)變化。消極社交接觸主要的空間關(guān)系在第一只動(dòng)物圖像邊緣和第二只動(dòng)物圖像邊緣之間的距離小于預(yù)定閾值?；疽?guī)則主要的空間關(guān)系保持預(yù)定時(shí)間長(zhǎng)度。第一只動(dòng)物的質(zhì)心與第二只動(dòng)物的質(zhì)心之間的距離保持基本恒定達(dá)預(yù)定時(shí)間。嗅探其它動(dòng)物及其特定身體部分行為定義:當(dāng)?shù)谝籖動(dòng)物的嘴接觸第二R動(dòng)物的身體時(shí)，識(shí)別為嗥探行為。稈序識(shí)別第二只動(dòng)物身體的哪個(gè)部分被嗅(頭、背、生殖部位等)。主要的空間關(guān)系第一只動(dòng)物的鼻子與另一只動(dòng)物圖像邊緣之間的距離小于預(yù)定閾值。基本規(guī)則空間關(guān)系保持預(yù)定時(shí)間長(zhǎng)度。
靠近行為定義靠近行為是指第一只動(dòng)物朝向第二只動(dòng)物的運(yùn)動(dòng)，該行為發(fā)生在圍繞第二只動(dòng)物的特定地帶內(nèi)。主要的空間關(guān)系第一R動(dòng)物朝向第二R動(dòng)物定向。在第一只動(dòng)物的中心與第二只動(dòng)物的中心之間的距離小于預(yù)定閾值。基板規(guī)則:在第一只動(dòng)物的中心與第二只動(dòng)物的中心之間的距離保持小于預(yù)定閾值。第一只動(dòng)物朝向第二只動(dòng)物定向達(dá)預(yù)定時(shí)間。在預(yù)定的時(shí)間段里，隨著第一只動(dòng)物向第二只動(dòng)物移動(dòng)的同時(shí)，第一只動(dòng)物與第二只動(dòng)物的中心之間的距離減小。離開(kāi)行為定義 離開(kāi)行為限定為第一只動(dòng)物遠(yuǎn)離第二只動(dòng)物的運(yùn)動(dòng)行為，該行為發(fā)生在圍繞第二只動(dòng)物的特定地帶內(nèi)。第一只動(dòng)物遠(yuǎn)離第二只動(dòng)物定向。第一只動(dòng)物的中心與第二只動(dòng)物的中心之間的距離小于預(yù)定閾值。基本規(guī)則第一只動(dòng)物的中心與第二只動(dòng)物的中心之間的距離小于預(yù)定閾值。第一只動(dòng)物遠(yuǎn)離第二只動(dòng)物定向達(dá)預(yù)定的時(shí)間。在預(yù)定的時(shí)間段里，隨著第一只動(dòng)物遠(yuǎn)離第二只動(dòng)物移動(dòng)的同時(shí)，第一只動(dòng)物與第二只動(dòng)物的中心之間的距離增大。跟隨行為定義跟隨行為是指第一R動(dòng)物朝向第二R動(dòng)物移動(dòng)的行為，而第二R動(dòng)物同時(shí)遠(yuǎn)離第一只動(dòng)物移動(dòng)，該行為發(fā)生在圍繞第二只動(dòng)物的特定地帶內(nèi)。主要的空間關(guān)系第一只動(dòng)物朝向第二只動(dòng)物定向。第二只動(dòng)物遠(yuǎn)離第一只動(dòng)物定向。第一只動(dòng)物的中心與第二只動(dòng)物的中心之間的距離小于預(yù)定閾值?；疽?guī)則第一只動(dòng)物的中心與第二只動(dòng)物的中心之間的距離保持小于預(yù)定閾值。第一只動(dòng)物朝向第二只動(dòng)物定向達(dá)預(yù)定的時(shí)間。在預(yù)定的時(shí)間內(nèi)，第二只動(dòng)物遠(yuǎn)離第一只動(dòng)物定向。在同一時(shí)間間隔內(nèi)，第一只動(dòng)物執(zhí)行接近行為，而第二只動(dòng)物執(zhí)行離開(kāi)行為。 兩只動(dòng)物之間的相對(duì)距離可變動(dòng)。凝視另只動(dòng)物行為定義凝視行為限定為在圍繞第二 R動(dòng)物的特定地帶內(nèi)發(fā)牛的第一 R動(dòng)物對(duì)第二只動(dòng)物的靜止觀察。主要的空間關(guān)系第一只動(dòng)物的中心與第二只動(dòng)物的中心之間的距離小于預(yù)定閾值。第一只動(dòng)物朝向第二只動(dòng)物定向。基本規(guī)則第一只動(dòng)物的中心與第二只動(dòng)物的中心之間的距離小于預(yù)定閾值。在預(yù)定的時(shí)間段內(nèi)，第一只動(dòng)物朝向第二只動(dòng)物定向。在預(yù)定的時(shí)間段內(nèi)，第一只動(dòng)物的中心
保持靜止。祧釁/逃跑行為模塊在優(yōu)選的實(shí)施例中，程序包括配置用以識(shí)別場(chǎng)所中的兩只或兩只以上的動(dòng)物的挑釁/逃跑行為的挑釁/逃跑行為分析模塊1005。挑釁行為是指朝向另一只動(dòng)物表露意圖傷害另一只動(dòng)物的動(dòng)物行為。挑釁行為模式包括暫時(shí)地和連續(xù)地組織的交流信號(hào)、動(dòng)作和姿勢(shì)，具有不同的遠(yuǎn)端、近端以及觸發(fā)前提和后果，分別用于不同功能。在優(yōu)選的實(shí)施例中，挑釁/逃跑模塊1005配置為識(shí)別挑釁行為，包括威脅、猛撲、追逐、咬、攻擊、攻擊性直立、攻擊性斜向一邊、攻擊性理毛、抖尾和打斗；逃跑行為包括躲閃、躲避、后退、逃走、僵直、蜷縮、高度蜷縮、防御性直立、以及防御性斜向一邊。在實(shí)施例中，該模塊1005是序列分析模塊274 的一部分，接收來(lái)自當(dāng)前幀空間關(guān)系模塊272的數(shù)據(jù)，并將處理結(jié)果發(fā)送至行為數(shù)據(jù)模塊 204。在優(yōu)選的實(shí)施例中，程序使用基于規(guī)則的分析來(lái)識(shí)別挑釁/逃跑行為。用于一些挑釁/逃跑行為的規(guī)則組的例子會(huì)在下面提出。當(dāng)程序以預(yù)定的時(shí)間段、定向、距離運(yùn)行時(shí)，應(yīng)用偏差閾值。Mli行為定義威脅是指攻擊者用其頭快速地猛撲向?qū)κ值膭?dòng)作。主要的空間關(guān)系攻擊者朝向?qū)κ侄ㄏ?。?duì)手的質(zhì)心與攻擊者的質(zhì)心之間的距離小于預(yù)定距離。^MM:攻擊者的頭部至少以預(yù)定速度并達(dá)第二預(yù)定距離地朝向?qū)κ忠苿?dòng)。攻擊者的質(zhì)心移動(dòng)不超過(guò)第三預(yù)定距離。碰行為定義猛撲是指攻擊者朝向?qū)κ挚焖僖苿?dòng)其前體。猛撲可促使攻擊者前體接觸對(duì)手的身體。攻擊者的頭部不與對(duì)手的身體接觸。主要的空間關(guān)系對(duì)手的質(zhì)心與攻擊者的質(zhì)心之間的距離小于預(yù)定距離。基本規(guī)則攻擊者的前體至少以預(yù)定速度達(dá)預(yù)定幅度朝向?qū)κ忠苿?dòng)。追逐行為定義追逐是指攻擊者快速跟隨對(duì)手的動(dòng)作，同時(shí)對(duì)手快速逃離攻擊者。主要的空間關(guān)系攻擊者朝向?qū)κ侄ㄏ?。?duì)手的質(zhì)心與攻擊者的質(zhì)心之間的距離
小于第一預(yù)定距離?；疽?guī)則攻擊者至少以預(yù)定速度朝向?qū)κ忠苿?dòng)達(dá)第二預(yù)定距離。對(duì)手以預(yù)定速度遠(yuǎn)離攻擊者移動(dòng)達(dá)第三預(yù)定距離。攻擊者的路徑緊密地重復(fù)對(duì)手的路徑。行為定義撕咬是攻擊者向?qū)κ謱?shí)施威脅和猛撲，直至用嘴接觸于對(duì)手的身體。主要的空間關(guān)系第一組攻擊者朝向?qū)κ侄ㄏ?。?duì)手的質(zhì)心與攻擊者的質(zhì)心之間的距離小于第一預(yù)定距離。攻擊者的嘴不與對(duì)手接觸。第二組攻擊者的嘴接觸對(duì)手的身體?；疽?guī)則攻擊者以預(yù)定速度從第一組空間關(guān)系移動(dòng)到第二組空間關(guān)系。完全攻擊性行為行為定義:完全攻擊件行為是指在瞬間晳停期間攻擊者展現(xiàn)姿勢(shì)的行為，該姿勢(shì)為動(dòng)物站在仰臥的對(duì)手旁邊并用其前爪放在對(duì)手的腹部。主要的空間關(guān)系對(duì)手仰躺著。攻擊者立起壓在對(duì)手上方。攻擊者的前爪接觸對(duì)手的腹部?；疽?guī)則觀察打斗行為。對(duì)手仰躺著持續(xù)預(yù)定時(shí)間段。攻擊者立起壓在對(duì)手之上持續(xù)預(yù)定的時(shí)間段。攻擊者的前爪接觸對(duì)手的腹部持續(xù)預(yù)定的時(shí)間段。攻擊者大體上保持相同的姿勢(shì)持續(xù)預(yù)定的時(shí)間段。
攻擊件盲立行為定義攻擊件盲立是指攻擊者擺出兩足站立，后背弓起，頭和身體朝向并傾斜向?qū)κ值淖藙?shì)，眼睛瞇成縫，耳朵張開(kāi)。攻擊者是后直立或部分后直立姿勢(shì)。攻擊者的背部弓起。攻擊者朝向?qū)κ侄ㄏ颉９粽叩纳仙磔S線斜向?qū)κ?。攻擊者的眼睛部分閉合的?；疽?guī)則在預(yù)定的時(shí)間里，攻擊者保持以上說(shuō)明的空間關(guān)系。攻擊件側(cè)向一邊行為定義攻擊性側(cè)向一邊是指攻擊者保持面對(duì)對(duì)手的側(cè)面，并且身體處于對(duì)手的旁邊，轉(zhuǎn)動(dòng)離開(kāi)對(duì)手，頭朝向?qū)κ郑劬Σ[著，耳朵張開(kāi)。主要的空間關(guān)系攻擊者的質(zhì)心與對(duì)手的質(zhì)心之間的距離小于預(yù)定距離。攻擊者處于橫臥姿勢(shì)。攻擊者的頭部朝向?qū)κ?。攻擊者的耳朵張開(kāi)。攻擊者的眼睛部分閉合。基本規(guī)則在預(yù)定的時(shí)間里，攻擊者保持以上說(shuō)明的空間關(guān)系。攻擊件理毛行為定義 攻擊性理毛是指有力的猛扯對(duì)手的毛發(fā)，通常是指背部或肩部區(qū)域的毛發(fā)。主要的空間關(guān)系攻擊者的嘴和前肢與對(duì)手的后背或肩部接觸?；疽?guī)則:攻擊者的頭部以預(yù)定的速度以預(yù)定幅度在預(yù)定時(shí)間里，重復(fù)地前后移動(dòng)。
抖尾行為定義抖尾是指攻擊者從一側(cè)到另一側(cè)快諫地?cái)[動(dòng)尾巴。當(dāng)固體(例如，籠壁)被擊中時(shí)會(huì)產(chǎn)生咯咯的聲音。主要的空間關(guān)系攻擊者有可能處在任何姿勢(shì)中?；疽?guī)則攻擊者的尾巴以預(yù)定速度以預(yù)定幅度在預(yù)定時(shí)間里，重復(fù)地橫向移動(dòng)。
打斗行為定義打斗是指動(dòng)物翻滾撕咬、踢和摔跤，它們的身體緊抱在一起。在一些例子中，兩只動(dòng)物都保持直立彼此面對(duì)的姿勢(shì)。它們的前爪可能接觸彼此。主要的空間關(guān)系攻擊者的身體和對(duì)手的身體緊密的接觸?；疽?guī)則至少在預(yù)定的時(shí)間里，攻擊者和對(duì)手保持在緊密的接觸。在預(yù)定的時(shí)間里，攻擊者和對(duì)手以預(yù)定速度移動(dòng)。
躲閃行為定義躲閃是指對(duì)手突然把頭移動(dòng)離開(kāi)攻擊者。主要的空間關(guān)系對(duì)手質(zhì)心和攻擊者質(zhì)心之間的距離小于預(yù)定的距離?；疽?guī)則對(duì)手的頭以預(yù)定的速度移離攻擊者。在預(yù)定的時(shí)間里，對(duì)手的質(zhì)心保持大體靜止。MS行為定義躲避是指對(duì)手突然把前體移動(dòng)離開(kāi)攻擊者。主要的空間關(guān)系對(duì)手質(zhì)心和攻擊者質(zhì)心之間的距離小于預(yù)定的距離?；疽?guī)則對(duì)手的前體以預(yù)定的速度移離攻擊者。在預(yù)定的時(shí)間里，對(duì)手的質(zhì)心保持大體靜止。
后退行為定義后退是指對(duì)手直接以步行的方式離開(kāi)攻擊者。主要的空間關(guān)系對(duì)手質(zhì)心和攻擊者質(zhì)心之間的距離小于預(yù)定的距離。對(duì)手的身體遠(yuǎn)離攻擊者定向?；疽?guī)則在預(yù)定的時(shí)間里，對(duì)手的身體遠(yuǎn)離攻擊者定向。對(duì)手以預(yù)定速度在預(yù)定的時(shí)間里，遠(yuǎn)離攻擊者移動(dòng)。對(duì)手的路徑大體上是直的。逃走行為定義逃走是指對(duì)手直接快速離開(kāi)進(jìn)攻者。主要的空間關(guān)系對(duì)手質(zhì)心和攻擊者質(zhì)心之間的距離小于預(yù)定的距離。對(duì)手的身體遠(yuǎn)離攻擊者定向。^MM:在預(yù)定的時(shí)間里，對(duì)手遠(yuǎn)離攻擊者定向。對(duì)手以預(yù)定速度在預(yù)定的時(shí)間里，遠(yuǎn)離攻擊者移動(dòng)。對(duì)手的路徑大體上是直的。僵直行為定義僵直是指對(duì)手的身體在預(yù)定的時(shí)間里保持不動(dòng)。主要的空間關(guān)系對(duì)手的整個(gè)身體保持不動(dòng)?；疽?guī)則對(duì)手在預(yù)定的時(shí)間里保持不動(dòng)。 卷縮行為定義 蜷縮是指對(duì)手的身體保持接近地面，并且它的背弓起，腿彎曲，保持相對(duì)不動(dòng)，但是可能表現(xiàn)出它的頭稍微掃視移動(dòng)。主要的空間關(guān)系對(duì)手的身體接沂地面。對(duì)手的背弓起。對(duì)手的腿彎曲?；疽?guī)則:在預(yù)定的時(shí)間里，對(duì)手保持以上說(shuō)明的空間關(guān)系。對(duì)手在預(yù)定的時(shí)間里保持大體不動(dòng)，除了對(duì)手的頭以預(yù)定幅度和速度從一側(cè)移動(dòng)到另一側(cè)。高度蜷縮行為定義高度蜷縮是指對(duì)手的身體保持接近地面的姿勢(shì)，并且它的背弓起，前腿伸展，保持相對(duì)不動(dòng)，但是可能表現(xiàn)出它的頭稍微掃視移動(dòng)。主要的空間關(guān)系對(duì)手的身體接沂地面。對(duì)手的背弓起。對(duì)手的腿伸展?；疽?guī)則:在預(yù)定的時(shí)間里，對(duì)手保持以上說(shuō)明的空間關(guān)系。對(duì)手保持基本不動(dòng)達(dá)預(yù)定時(shí)間，除了對(duì)手的頭可能以預(yù)定幅度以預(yù)定速度從一側(cè)移動(dòng)到另一側(cè)。完全順從行為定義完全順從是指對(duì)手用后背躺平。主要的空間關(guān)系對(duì)手用后背躺平?；疽?guī)則對(duì)手用后背躺平達(dá)預(yù)定的時(shí)間。防御性肓立行為定義防御性直立是指對(duì)手兩足直立面對(duì)攻擊者，眼睛張開(kāi)，耳朵伸展，頭部向上，特別當(dāng)攻擊者幾乎接近對(duì)手時(shí)。主要的空間關(guān)系攻擊者的質(zhì)心與對(duì)手的質(zhì)心之間的距離小于預(yù)定距離。對(duì)手處于直立位置。對(duì)手朝向攻擊者。對(duì)手的眼睛張開(kāi)。對(duì)手的耳朵伸展。對(duì)手的頭部向上定向。^MM:在預(yù)定的時(shí)間里，對(duì)手保持以上說(shuō)明的空間關(guān)系。對(duì)手在預(yù)定的時(shí)間里保持基本不動(dòng)。
防御件側(cè)向另一邊.fiil^X 防御性側(cè)向一邊是指對(duì)手躺下并斜向攻擊者，對(duì)手眼睛張開(kāi)，耳朵伸展，身體轉(zhuǎn)動(dòng)離開(kāi)攻擊者，更接近攻擊者的前爪可能抬起，并沒(méi)有接觸到場(chǎng)所的底板，頭部遠(yuǎn)離攻擊者定向，特另是當(dāng)攻擊者幾乎接近時(shí)。主要的空間關(guān)系攻擊者的質(zhì)心與對(duì)手的質(zhì)心之間的距離小于預(yù)定的距離。對(duì)手水平躺著。對(duì)手側(cè)向朝向攻擊者定向。對(duì)手的眼睛張開(kāi)。對(duì)手的耳朵伸展。對(duì)手的頭遠(yuǎn)離攻擊方定向?；疽?guī)則在預(yù)定的時(shí)間里，對(duì)手保持以上說(shuō)明的空間關(guān)系。對(duì)手的身體轉(zhuǎn)動(dòng)。對(duì)手遠(yuǎn)離攻擊者移動(dòng)。統(tǒng)治/服從行為樽塊統(tǒng)治/服從行為模塊1011自動(dòng)確定在場(chǎng)所里的兩只或兩只以上動(dòng)物的統(tǒng)治/服從行為。在優(yōu)選的實(shí)施例中，該模塊是序列分析模塊274的一部分，接收來(lái)自當(dāng)前幀空間關(guān)系模塊272的數(shù)據(jù)并且轉(zhuǎn)發(fā)結(jié)果到行為數(shù)據(jù)模塊204。 參照?qǐng)D11，在優(yōu)選的實(shí)施例中，用來(lái)研究統(tǒng)治/服從行為的場(chǎng)所610包括放置在場(chǎng)所610中的通常可接近的獎(jiǎng)賞(reward)615。除了識(shí)別統(tǒng)治/服從行為，模塊1011也可以記錄每只動(dòng)物花在獎(jiǎng)賞615上的時(shí)間。在整個(gè)實(shí)驗(yàn)過(guò)程中，統(tǒng)治行為的測(cè)量直接由每只動(dòng)物花在獎(jiǎng)賞上的時(shí)間以及動(dòng)物之間的距離、以及動(dòng)物與獎(jiǎng)賞之間的距離推出。除了測(cè)量動(dòng)物接觸獎(jiǎng)賞615的一些參數(shù)，統(tǒng)治/服從模塊1011還被配置來(lái)識(shí)別許多在以上挑釁/逃跑行為模塊1005描述中羅列的行為。但是，統(tǒng)治/服從行為模塊1011 可包括挑釁/逃跑行為模塊1005識(shí)別的行為列表中不包括的行為。母件行為樽塊母性行為模塊1007自動(dòng)確定在場(chǎng)所中母親和其后代的母性行為。在優(yōu)選的實(shí)施例中，在該模塊中，程序通常識(shí)別優(yōu)選地在家居籠環(huán)境中，母親生完后代后是怎樣照顧它的后代的。在優(yōu)選的實(shí)施例中，由該模塊識(shí)別的母性行為包括尋回幼崽、哺乳幼崽、舔舐幼崽并為幼崽理毛、窩內(nèi)、窩外、分散幼崽、運(yùn)送幼崽、弓背哺乳幼崽、俯臥哺乳幼崽、以及筑窩等。在優(yōu)選的實(shí)施例中，該模塊是序列分析模塊274的一部分，接收來(lái)自當(dāng)前幀空間關(guān)系模塊272的數(shù)據(jù)并轉(zhuǎn)送結(jié)果到行為數(shù)據(jù)模塊204。在早期母性行為實(shí)驗(yàn)中，幼崽太小以至于不能移動(dòng)，并且每只幼崽(或者一窩幼崽)可以被認(rèn)為是非生物體，則母性行為模塊1007可以利用標(biāo)準(zhǔn)的物體識(shí)別方法，其中幼崽目前為物體。在優(yōu)選的實(shí)施例中，程序運(yùn)用基于規(guī)則的分析來(lái)識(shí)別母性行為。關(guān)于一些母性行為的規(guī)則組的例子會(huì)在下面給出。當(dāng)程序以預(yù)定的時(shí)間段、定向、距離運(yùn)行時(shí)，應(yīng)用偏差閾值。尋回后代行為定義尋回后代行為是指母親用嘴抓住后代并從第一位置向窩里移動(dòng)后代。主要的空間關(guān)系母親的嘴接觸后代，后代遠(yuǎn)離預(yù)定的窩地帶達(dá)至少預(yù)定的距離?；疽?guī)則母親的嘴接觸后代汰預(yù)定的時(shí)間。后代向預(yù)定的窩地帶移動(dòng)。舔舐后代并為后代理毛行為定義舔舐后代并為后代理毛是指用嘴舔舐并且為后代理毛的行為。
主要的空間關(guān)系母親的嘴接觸后代?；疽?guī)則在預(yù)定的時(shí)間段里，母親的嘴接觸后代?？梢杂心赣H的頭的上下來(lái)回移動(dòng)。哺乳后代哺乳行為是指提供奶水給后代，并且通過(guò)觀察附在母性動(dòng)物的腹部的后代來(lái)檢測(cè)。主要的空間關(guān)系后代的嘴接觸母親的腹部。基本規(guī)則在預(yù)定的時(shí)間段里，后代的嘴接觸母親的腹部。行為定義窩內(nèi)是指母親花時(shí)間與后代在窩里(當(dāng)母親在窩里時(shí)，它提供溫暖和安慰給后代，而不是將它們暴露在外面。主要的空間關(guān)系母性動(dòng)物的質(zhì)心處在限定的窩地帶內(nèi)。基本規(guī)則在預(yù)定的時(shí)間段里，母性動(dòng)物的質(zhì)心保持在限定的窩地帶內(nèi)。行為定義窩外是指母親花時(shí)間在窩外面。當(dāng)這個(gè)發(fā)生時(shí)，有后代的窩會(huì)清晰可見(jiàn)。主要的空間關(guān)系母性動(dòng)物的整個(gè)身體在預(yù)定的窩地帶外面。基本規(guī)則在預(yù)定的時(shí)間段里，母性動(dòng)物的整個(gè)身體在預(yù)定的窩地帶之外。分散后代行為定義分散后代是指后代不在預(yù)定的窩地帶。t要的空間關(guān)系至少預(yù)定數(shù)量的后代位于預(yù)定的窩地帶之外?；疽?guī)則在預(yù)定的時(shí)間段里，至少預(yù)定數(shù)量的后代位于預(yù)定的窩地帶之外。運(yùn)送后代行為定義運(yùn)送后代是指母親用嘴抓住后代并且把后代從第一位置移動(dòng)到第二位置，其中第二位置在預(yù)定窩地帶之外。t要的空間關(guān)系母親的嘴接觸后代，后代遠(yuǎn)離預(yù)定窩地帶至少達(dá)預(yù)定的距離?；疽?guī)則在預(yù)定的時(shí)間里，母親的嘴接觸后代。后代從第一位置到第二位置移動(dòng)，其中第一位置和第二位置之間的距離至少大于預(yù)定閾值，并且第二位置在預(yù)定的窩地帶之外。弓背哺乳后代ffl^X 弓背哺乳是指母親在哺乳后代時(shí)，它是弓背躺在地上。主要的空間關(guān)系后代的嘴梓觸母親的腹部。母親在后代的上方。母親的背是弓起的?；疽?guī)則在預(yù)定的時(shí)間里，后代的嘴接觸母親的腹部，母親是在后代的卜方，母親的背是弓起的。俯臥哺乳后代行為定義俯臥哺乳是指母親在哺乳后代時(shí)，它是直背躺在底板上。主要的空間關(guān)系后代的嘴梓觸母親的腹部。母親是在后代的上方。母親的背是直的。
^MM:在預(yù)定的時(shí)間里，后代的嘴接觸母親的腹部，母親是在后代的上方，母親的背是直的?！鲂袨槎x筑窩是指在場(chǎng)所中移動(dòng)草墊來(lái)為后代創(chuàng)造出舒服的區(qū)域的行為。主要的空間關(guān)系母親的嘴接觸草墊?；蛘吣赣H的爪接觸草墊。基本規(guī)則在預(yù)定的時(shí)間里，母親的嘴接觸草墊。草墊從它們初始位置移動(dòng)到窩地帶?；蛘?，在預(yù)定的時(shí)間里，母親的爪接觸草墊。草墊從它們初始位置移動(dòng)到窩地帶。件交行為樽塊性交行為模塊1009自動(dòng)確定雄性和雌性在場(chǎng)所中的性交行為。在優(yōu)選的實(shí)施例中，由該模塊識(shí)別的性交行為包括從后面接近、雄性攀趴在雌性身上、雌性呈弓背姿勢(shì)、雄性插入及射精等。在優(yōu)選的實(shí)施例中，該模塊是序列分析模塊274的一部分，接收來(lái)自當(dāng)前幀空間關(guān)系模塊272的數(shù)據(jù)和轉(zhuǎn)送結(jié)果到行為數(shù)據(jù)模塊204。當(dāng)系統(tǒng)配置來(lái)識(shí)別性交行為時(shí)，在優(yōu)選的實(shí)施例中，系統(tǒng)獲得場(chǎng)所的仰視圖作為多個(gè)待分析的視圖中的一個(gè)視圖。適合在場(chǎng)所內(nèi)觀察性交行為的示例裝置在圖12中顯示， 其中場(chǎng)所810下面具有鏡子815來(lái)從底下反射動(dòng)物的垂直視圖到側(cè)面。攝像機(jī)805直接安置在前部，并且捕獲場(chǎng)所底部的圖像。在優(yōu)選的實(shí)施例中，程序運(yùn)用基于規(guī)則的分析來(lái)識(shí)別性交行為。關(guān)于一些性交行為的規(guī)則組的例子會(huì)在下面給出。當(dāng)程序以預(yù)定的時(shí)間、定向、距離運(yùn)行時(shí)，應(yīng)用偏差閾值。行為定義跳躍是指跳，通常來(lái)說(shuō)，高度比較低，并且通常連續(xù)發(fā)生的行為。跳躍可直接發(fā)生在水平位置。主要的空間關(guān)系第一組動(dòng)物完全接觸場(chǎng)所的底板。第二組動(dòng)物是在空中，而不接觸場(chǎng)所的底板?；疽?guī)則動(dòng)物位于第一空間關(guān)系達(dá)預(yù)定的時(shí)間段，然后以預(yù)定的速度移動(dòng)到第二空間關(guān)系中，然后再回到第一空間關(guān)系。動(dòng)物的身體扭曲并沒(méi)有改變超過(guò)預(yù)定量。行為定義飛奔是指快諫側(cè)向移動(dòng)，通常開(kāi)始于靜Ih階段到另一個(gè)位置，然后保持靜止。主要的空間關(guān)系動(dòng)物的任意水平位置。^MM:在預(yù)定的時(shí)間里，動(dòng)物保持處于相同的靜止位置，并且然后動(dòng)物側(cè)向地改變其位置至第二個(gè)位置，其中動(dòng)物移動(dòng)的速度在預(yù)定參數(shù)范圍內(nèi)。在第二預(yù)定時(shí)間里，動(dòng)物在第二位置保持靜止。耳朵擺動(dòng)行為定義耳朵擺動(dòng)是指連續(xù)的耳朵的快速顫動(dòng)。主要的空間關(guān)系動(dòng)物可處于任意位置或姿勢(shì)?；疽?guī)則動(dòng)物的質(zhì)心保持基本靜止。動(dòng)物的耳朵以預(yù)定幅度、以預(yù)定速度、連續(xù)地改變位置并且持續(xù)預(yù)定的時(shí)間段。脊柱前彎
行為定義脊柱前彎是指雌性暗示接受的姿勢(shì)。姿勢(shì)展示包括后背凹形地弓起，并且頭部和臀部抬起，后足伸展，并且尾巴轉(zhuǎn)向一側(cè)。主要的空間關(guān)系雌性的后背凹形地弓起，頭部和臀部抬起到相對(duì)于后背的預(yù)定高度，后足伸展并且尾巴轉(zhuǎn)向一側(cè)到預(yù)定程度?；疽?guī)則在預(yù)定的時(shí)間里，雌性保持以上識(shí)別的空間關(guān)系。追逐行為定義追逐是指一只動(dòng)物繞著場(chǎng)所移動(dòng)時(shí)，另一只動(dòng)物高速跟隨這只動(dòng)物。主要的空間關(guān)系第一R動(dòng)物朝向第二R動(dòng)物。第二只動(dòng)物遠(yuǎn)離第一只動(dòng)物。^MM:在預(yù)定時(shí)間里，第一只動(dòng)物朝向第二只動(dòng)物，并以預(yù)定速度向著第二只動(dòng)物移動(dòng)達(dá)預(yù)定時(shí)間和預(yù)定距離。第二只動(dòng)物遠(yuǎn)離第一只動(dòng)物定向，遠(yuǎn)離第一只動(dòng)物以預(yù)定速度移動(dòng)，達(dá)預(yù)定時(shí)間段并且達(dá)預(yù)定距離，其中第一只動(dòng)物的路徑和第二只動(dòng)物的路徑基本相同。行為定義理毛是指動(dòng)物用它的頭、嘴或肢體來(lái)摩擦另外一只動(dòng)物。豐要的苧間關(guān)系第一只動(dòng)物的頭、嘴或肢體接觸第二只動(dòng)物。基本規(guī)則在預(yù)定時(shí)間里，第一只動(dòng)物的頭、嘴或肢體保持接觸第二只動(dòng)物。在預(yù)定的時(shí)間里，第一只動(dòng)物以預(yù)定幅度和預(yù)定速度來(lái)回移動(dòng)它的頭或嘴或肢體。嗥牛殖器官部位行為定義嗥牛殖器官部位行為是指第一 R動(dòng)物的嘴接觸第二 R動(dòng)物的牛殖器官部位。主要的空間關(guān)系第一只動(dòng)物的鼻子與第二只動(dòng)物生殖器官部位的圖像的邊緣之間的距離小于預(yù)定閾值?；疽?guī)則在預(yù)定的時(shí)間里，第一只動(dòng)物的鼻子與第二只動(dòng)物的生殖器官部位的圖像的邊緣之間的距離小于預(yù)定閾值。攀趴行為定義攀趴是指雄性從后面接近雌性，而雌性展示出脊柱前彎的姿勢(shì)。主要的空間關(guān)系第一組雌性呈脊柱前彎的姿勢(shì)。雄性位于雌性的后面，并朝向雌性生殖器官部位。第二組雌性呈脊柱前彎的姿勢(shì)。雄性位于雌性之上，并且它的前肢纏繞著雌性的軀干?；疽?guī)則在預(yù)定的時(shí)間里，雌性呈脊柱前彎的姿勢(shì)。在第二預(yù)定時(shí)間里，雄性處于第一空間關(guān)系。在第三預(yù)定時(shí)間里，雄性從第一空間關(guān)系移動(dòng)到第二空間關(guān)系。單向猛推行為定義猛推(thrust)是指雄性移動(dòng)它的后面的四分之一朝向雌性以便將它的陰莖插入雌性體內(nèi)，不管是否實(shí)現(xiàn)實(shí)際的穿入。猛推行為通常重復(fù)發(fā)生。主要的空間關(guān)系雌件旱.脊柱前彎的姿勢(shì)。雄性在雌性之上并與雌性朝向同一方向，通常雄性的前肢纏繞著雌性的軀干。基本規(guī)則:雌性呈脊柱前彎的姿勢(shì)達(dá)第一預(yù)定時(shí)間。在預(yù)定時(shí)間里，雄性在雌性的上方并與雌性朝向同一方向，以及它的前肢纏繞著雌性的軀干。雄性移動(dòng)它的后面的四分之一以預(yù)定幅度和預(yù)定速度朝向雌性。MA插入是指雄性移動(dòng)它的后面的四分之一朝向雌性以便插入它的陰莖到雌性陰道中。豐要的苧間關(guān)系雌件旱脊梓前彎的姿勢(shì)。雄性在雌性的上方并與雌性朝向同一方向，通常雄性的前肢纏繞著雌性的軀干?；疽?guī)則雌件旱.脊柱前彎的姿勢(shì)汰第一預(yù)定時(shí)間。在預(yù)定時(shí)間里，雄件在雌件的上方并與雌性朝向同一方向，以及它的前肢纏繞著雌性的軀干。雄性移動(dòng)它的后面的四分之一朝向雌性。雄性插入它的陰莖到雌性陰道中。MM行為定義射精是指一系列插入的高潮行為。主要的空間關(guān)系第一組雌性呈脊柱前彎的姿勢(shì)。雄性在雌性的上方并與雌性朝向同一方向，以及它的前肢纏繞著雌性的軀干。第二組雄性沒(méi)有接觸到雌性。雄性的嘴接觸雄性的陰莖?；疽?guī)則在預(yù)定的時(shí)間里，雄件和雌件動(dòng)物從第一空間關(guān)系變換到第二空間關(guān)系。雄性的嘴接觸其陰莖達(dá)預(yù)定時(shí)間。雄性的嘴以預(yù)定幅度和預(yù)定速度移動(dòng)。動(dòng)物的一些行為可能在不同行為識(shí)別模塊解釋的不同。例如在社交互動(dòng)模塊1003 中被識(shí)別為積極接觸的同一行為，在挑釁/逃跑模塊1005中被識(shí)別成打斗。如果多個(gè)模塊在運(yùn)行同一視頻片斷，那么同一行為可能得到不同模塊的多個(gè)識(shí)別。還有一些行為由多個(gè)模塊識(shí)別。例如，在挑釁/逃跑模塊1005中識(shí)別的很多行為同時(shí)也是在統(tǒng)治/服從模塊1011中識(shí)別為相同的行為。例子如威脅行為、插入行為、追逐行為等。當(dāng)兩個(gè)模塊1005和1011用來(lái)識(shí)別同一視頻片段中的行為時(shí)，僅僅一個(gè)模塊識(shí)別來(lái)自兩個(gè)行為群中重疊的行為。這里引用的所有公開(kāi)、專利和專利應(yīng)用以全部目的將其整體以引用的方式合并于此。盡管本發(fā)明的特定實(shí)施例已經(jīng)被展示和描述了，但是可以理解，這并不意圖限制本發(fā)明為優(yōu)選的或公開(kāi)的實(shí)施例，對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)顯而易見(jiàn)的是，在不背離本發(fā)明的精神和范圍的基礎(chǔ)上，可以做出多種變化和調(diào)整。因此，本發(fā)明傾向包括權(quán)利要求所限定的本發(fā)明的精神和范圍內(nèi)的所有替代、調(diào)整和等價(jià)替換。
權(quán)利要求
1.一種行為分析系統(tǒng)，包括 場(chǎng)所；至少第一攝像機(jī)和第二攝像機(jī)，所述第一攝像機(jī)設(shè)置用以捕獲來(lái)自第一視場(chǎng)的所述場(chǎng)所的圖像，以及所述第二攝像機(jī)設(shè)置用以捕獲來(lái)自第二視場(chǎng)的所述場(chǎng)所的圖像，第一視場(chǎng)與第二視場(chǎng)不同；數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)包括生物體的行為的定義；計(jì)算機(jī)，所述計(jì)算機(jī)連接至第一攝像機(jī)、第二攝像機(jī)和數(shù)據(jù)庫(kù)；所述計(jì)算機(jī)包括計(jì)算機(jī)程序；所述計(jì)算機(jī)程序接收至少第一視場(chǎng)圖像和第二視場(chǎng)圖像作為輸入； 所述計(jì)算機(jī)程序包括行為分析模塊； 所述行為分析模塊能夠識(shí)別至少來(lái)自第一視場(chǎng)圖像的第一視場(chǎng)物體和來(lái)自第二視場(chǎng)圖像的第二視場(chǎng)物體； 利用第一視場(chǎng)物體和第二視場(chǎng)物體，確定至少第一生物體和第二生物體； 確定至少第一生物體的至少一個(gè)空間關(guān)系隨時(shí)間的變化；以及識(shí)別存儲(chǔ)在數(shù)據(jù)庫(kù)中的哪種行為對(duì)應(yīng)于至少第一生物體的至少一個(gè)空間關(guān)系。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述第一視場(chǎng)和第二視場(chǎng)彼此垂直。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述第一視場(chǎng)來(lái)自場(chǎng)所的頂部，并且第二視場(chǎng)來(lái)自場(chǎng)所的側(cè)面。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述第一視場(chǎng)來(lái)自場(chǎng)所的底部，并且第二視場(chǎng)來(lái)自場(chǎng)所的側(cè)面。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述計(jì)算機(jī)程序還包括 設(shè)計(jì)模塊用以促進(jìn)實(shí)驗(yàn)的設(shè)計(jì)；執(zhí)行模塊用以執(zhí)行所述實(shí)驗(yàn)；以及復(fù)查及處理模塊用以促進(jìn)對(duì)行為分析模塊的輸出的復(fù)查；以及其中，第一視場(chǎng)圖像和第二視場(chǎng)圖像在實(shí)驗(yàn)期間被捕獲。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述行為分析模塊能夠利用第一視場(chǎng)物體確定第一視場(chǎng)生物體，以及利用第一視場(chǎng)生物體和第二視場(chǎng)物體確定第二視場(chǎng)生物體。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述行為分析模塊還能夠確定至少第一生物體和場(chǎng)所其它部分之間空間關(guān)系隨時(shí)間的變化。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述行為分析模塊還能夠利用立體視場(chǎng)整合分析確定空間關(guān)系隨時(shí)間的變化。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊還能夠利用視場(chǎng)間匹配過(guò)程來(lái)從第一視場(chǎng)物體集和第二視場(chǎng)物體集中確定至少第一生物體和第二生物體。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊還能夠利用第一視場(chǎng)生物體來(lái)確定第二視場(chǎng)中物體連接的情況，并執(zhí)行對(duì)連接的第二視場(chǎng)物體的分割。
11.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊還能夠利用第一視場(chǎng)生物體來(lái)對(duì)第二視場(chǎng)生物體執(zhí)行動(dòng)物尺寸標(biāo)準(zhǔn)化。
12.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為的識(shí)別利用概率性方法來(lái)執(zhí)行。
13.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為的識(shí)別利用確定性方法來(lái)執(zhí)行。
14.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為的識(shí)別利用從由基于規(guī)則的分析、標(biāo)號(hào)解析過(guò)程、序列分析、狀態(tài)改變分析以及隱馬爾可夫模型組成的組中選定的至少一種方法來(lái)執(zhí)行。
15.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊能夠識(shí)別從由積極社交接觸行為、消極社交接觸行為、嗅探其它動(dòng)物及其特定身體部分行為、接近行為、離開(kāi)行為、跟隨行為以及凝視其它動(dòng)物行為組成的組中選定的至少一種行為。
16.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊能夠識(shí)別從由威脅行為、猛撲行為、追逐行為、撕咬行為、完全性攻擊行為、攻擊性直立行為、攻擊性側(cè)向一邊行為、攻擊性理毛行為、抖尾行為、打斗行為、躲閃行為、躲避行為、后退行為、逃走行為、僵直行為、蜷縮行為、高度蜷縮行為、完全服從行為、防御性直立行為、以及防御性側(cè)向一邊行為組成的組中選定的至少一種行為。
17.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊能夠利用生物體與獎(jiǎng)賞的互動(dòng)來(lái)識(shí)別統(tǒng)治/服從行為。
18.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊能夠識(shí)別從由尋回后代行為、舔舐后代并為后代理毛行為、哺乳后代行為、窩內(nèi)行為、窩外行為、分散后代行為、運(yùn)送后代行為、弓背哺乳行為、俯臥哺乳行為、以及筑窩行為組成的組中選定的至少一種行為。
19.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊能夠識(shí)別從由跳躍行為、飛奔行為、耳朵擺動(dòng)行為、脊柱前弓行為、追逐行為、理毛行為、嗅生殖部位行為、攀趴行為、單向猛推行為、插入行為以及射精行為組成的組中選定的至少一種行為。
20.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，計(jì)算機(jī)程序能夠?qū)?chǎng)所劃分為虛擬區(qū)域。
21.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，生物體是動(dòng)物。
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述動(dòng)物是小鼠。
23.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述動(dòng)物是大鼠。
24.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中，所述動(dòng)物是小鼠和大鼠的組合。
25.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，第一視場(chǎng)物體和第二視場(chǎng)物體包括身體部分。
26.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中，所述身體部分包括從由頭、尾巴、腰部、前體、 后體、后肢、前肢、上后背、下后背、腹部、足、嘴、和鼻子組成的組中選定的至少一個(gè)身體部分。
27.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，圖像在包括可見(jiàn)光、彩光、鈉光和紅外光的多種類型的光的條件下獲得。
28.根據(jù)權(quán)利要求1所述的系統(tǒng)，還至少包括第二場(chǎng)所；以及至少第三攝像機(jī)和第四攝像機(jī)，所述第三攝像機(jī)設(shè)置用以捕獲來(lái)自第三視場(chǎng)的第二場(chǎng)所的圖像，以及所述第四攝像機(jī)設(shè)置用以捕獲來(lái)自第四視場(chǎng)的第二場(chǎng)所的圖像；以及計(jì)算機(jī)進(jìn)一步連接至第三攝像機(jī)和第四攝像機(jī)；計(jì)算機(jī)程序還接收至少第三視場(chǎng)圖像和第四視場(chǎng)圖像作為輸入；所述行為分析模塊還能夠識(shí)別至少第三視場(chǎng)圖像中的第三視場(chǎng)物體和第四視場(chǎng)圖像中的第四視場(chǎng)物體；通過(guò)第三視場(chǎng)物體和第四視場(chǎng)物體確定第二場(chǎng)所生物體； 確定第二場(chǎng)所生物體中的至少一個(gè)的至少一個(gè)空間關(guān)系隨時(shí)間的變化；以及識(shí)別存儲(chǔ)在數(shù)據(jù)庫(kù)的哪種行為對(duì)應(yīng)于第二場(chǎng)所生物體中的至少一個(gè)的空間關(guān)系隨時(shí)間的變化。
29.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括多路復(fù)用器，其中，至少第一攝像機(jī)和第二攝像機(jī)通過(guò)多路復(fù)用器連接至計(jì)算機(jī)。
30.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，行為分析模塊還能夠利用關(guān)于生物體的信息來(lái)確定至少第一生物體和第二生物體。
31.根據(jù)權(quán)利要求1所述的系統(tǒng)，如果圖像以模擬格式捕獲，所述系統(tǒng)還能夠把圖像從模擬格式轉(zhuǎn)換成數(shù)字格式。
32.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體和第二生物體之間的空間關(guān)系。
33.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體的身體部分和第二生物體之間的空間關(guān)系。
34.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體的身體部分和第二生物體的身體部分之間的空間關(guān)系。
35.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體和非生物體之間的空間關(guān)系。
36.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體的身體部分和非生物體之間的空間關(guān)系。
37.一種行為分析系統(tǒng)，包括數(shù)據(jù)庫(kù)，所述數(shù)據(jù)庫(kù)包括生物體的行為的定義；以及計(jì)算機(jī)，所述計(jì)算機(jī)連接至所述數(shù)據(jù)庫(kù)，所述計(jì)算機(jī)包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序接收至少場(chǎng)所的第一視場(chǎng)圖像和場(chǎng)所的第二視場(chǎng)圖像作為輸入，其中第一視場(chǎng)與第二視場(chǎng)不同；所述計(jì)算機(jī)程序包括 行為分析模塊能夠識(shí)別至少第一視場(chǎng)圖像中的第一視場(chǎng)物體和在第二視場(chǎng)圖像中的第二視場(chǎng)物體； 利用第一視場(chǎng)物體和第二視場(chǎng)物體確定至少第一生物體和第二生物體； 確定至少第一生物體的空間關(guān)系隨時(shí)間的變化；以及識(shí)別存儲(chǔ)在數(shù)據(jù)庫(kù)的哪種行為對(duì)應(yīng)于至少第一生物體的空間關(guān)系隨時(shí)間的變化。
38.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，計(jì)算機(jī)程序還包括 設(shè)計(jì)模塊用以促進(jìn)實(shí)驗(yàn)的設(shè)計(jì)；執(zhí)行模塊用以執(zhí)行所述實(shí)驗(yàn)；以及復(fù)查及處理模塊用以促進(jìn)對(duì)行為分析模塊的輸出的復(fù)查；以及其中，第一視場(chǎng)圖像和第二視場(chǎng)圖像在實(shí)驗(yàn)期間被捕獲。
39.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，所述行為分析模塊還能夠利用第一視場(chǎng)物體確定第一視場(chǎng)生物體，以及利用第一視場(chǎng)生物體和第二視場(chǎng)物體確定第二視場(chǎng)生物體。
40.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，所述行為分析模塊還能夠利用立體視場(chǎng)整合分析確定空間關(guān)系隨時(shí)間的變化。
41.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊還能夠利用視場(chǎng)間匹配過(guò)程來(lái)從第一視場(chǎng)物體集和第二視場(chǎng)物體集中確定至少第一生物體和第二生物體。
42.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊還能夠利用第一視場(chǎng)生物體來(lái)確定第二視場(chǎng)物體連接的情況，并執(zhí)行對(duì)連接的第二視場(chǎng)物體的分割。
43.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊還能夠利用第一視場(chǎng)生物體來(lái)對(duì)第二視場(chǎng)生物體執(zhí)行動(dòng)物尺寸標(biāo)準(zhǔn)化。
44.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為的識(shí)別利用概率性方法來(lái)執(zhí)行。
45.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為的識(shí)別利用確定性方法來(lái)執(zhí)行。
46.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為的識(shí)別利用從由基于規(guī)則的分析、標(biāo)號(hào)解析過(guò)程、序列分析、狀態(tài)變化分析以及隱馬爾可夫模型組成的組中選定的至少一種方法來(lái)執(zhí)行。
47.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊能夠識(shí)別從由積極社交接觸行為、消極社交接觸行為、嗅探其它動(dòng)物及其特定身體部分行為、接近行為、離開(kāi)行為、跟隨行為以及凝視其它動(dòng)物行為組成的組中選定的至少一種行為。
48.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊能夠識(shí)別從由威脅行為、猛撲行為、追逐行為、撕咬行為、完全性攻擊行為、攻擊性直立行為、攻擊性側(cè)向一邊行為、攻擊性理毛行為、抖尾行為、打斗行為、躲閃行為、躲避行為、后退行為、逃走行為、僵直行為、蜷縮行為、高度蜷縮行為、完全服從行為、防御性直立行為、以及防御性側(cè)向一邊行為組成的組中選定的至少一種行為。
49.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊能夠利用生物體與獎(jiǎng)賞的互動(dòng)來(lái)識(shí)別統(tǒng)治/服從行為。
50.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊能夠識(shí)別從由尋回后代行為、舔砥后代并為后代理毛行為、哺乳后代行為、窩內(nèi)行為、窩外行為、分散后代行為、運(yùn)送后代行為、弓背哺乳行為、俯臥哺乳行為、和筑窩行為組成的組中選定的至少一種行為。
51.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊能夠識(shí)別從由跳躍行為、飛奔行為、耳朵擺動(dòng)行為、脊柱前弓行為、追逐行為、理毛行為、嗅生殖部位行為、攀趴行為、單向猛推行為、插入行為、和射精行為組成的組中選定的至少一種行為。
52.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，計(jì)算機(jī)程序能夠?qū)?chǎng)所劃分為虛擬區(qū)域。
53.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，第一視場(chǎng)物體和第二視場(chǎng)物體包括身體部位。
54.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，行為分析模塊還能夠通過(guò)使用關(guān)于生物體的信息來(lái)確定至少第一生物體和第二生物體。
55.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體和第二生物體之間的空間關(guān)系。
56.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體的身體部分和第二生物體之間的空間關(guān)系。
57.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，空間關(guān)系包括第一生物體的身體部分和第二生物體的身體部分之間的空間關(guān)系。
58.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體和非生物體之間的空間關(guān)系。
59.根據(jù)權(quán)利要求37所述的系統(tǒng)，其中，所述空間關(guān)系包括第一生物體的身體部位和非生物體之間的空間關(guān)系。
60.一種識(shí)別生物體的行為的方法，包括捕獲至少場(chǎng)所的第一視場(chǎng)的第一視場(chǎng)圖像隨時(shí)間的變化和第二視場(chǎng)的第二視場(chǎng)圖像隨時(shí)間的變化，第一視場(chǎng)與第二視場(chǎng)是不同的； 識(shí)別第一視場(chǎng)圖像中的物體； 識(shí)別第二視場(chǎng)圖像中的物體； 確定所述物體是否包括一個(gè)或多個(gè)生物體； 確定識(shí)別的生物體的空間關(guān)系隨時(shí)間的變化；以及識(shí)別對(duì)應(yīng)于生物體的空間關(guān)系隨時(shí)間變化的行為。
全文摘要
本發(fā)明涉及一種利用視頻識(shí)別兩只或多只動(dòng)物的行為的系統(tǒng)和方法。本發(fā)明包括具有至少兩個(gè)連接至計(jì)算機(jī)的視頻攝像機(jī)系統(tǒng)，其中，計(jì)算機(jī)用于自動(dòng)執(zhí)行動(dòng)物分割和識(shí)別、動(dòng)物身體部分識(shí)別和行為識(shí)別。
文檔編號(hào)G06K9/00GK102282570SQ200980153588
公開(kāi)日2011年12月14日 申請(qǐng)日期2009年10月15日 優(yōu)先權(quán)日2008年10月30日
發(fā)明者劉棟梁, 李發(fā)銀, 梁益慶, 白雪生, 維克蘭特·N·科波拉 申請(qǐng)人:聰慧系統(tǒng)公司