專利名稱：集體學(xué)習(xí)的模式分類系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及用于模式識別的方法和系統(tǒng)，且更具體地，涉及用于收集和匯編 來自多個本地模式識別系統(tǒng)的數(shù)據(jù)的方法和系統(tǒng)，以適應(yīng)本地環(huán)境中的變化以及配置安裝 在類似的環(huán)境中的其他本地系統(tǒng)。
背景技術(shù)：
模式識別系統(tǒng)已被研究了很多年且已獲得了一些應(yīng)用的認(rèn)可。但是，擋在更廣泛 的認(rèn)可和使用的道路上的主要障礙之一是安裝、配置和維護(hù)這些系統(tǒng)的困難。潛在的顧客 常常選擇不實施這些系統(tǒng)，因為啟動和配置程序簡直太復(fù)雜以致于無法有成本效益。這個 困難來源于以下基本問題，即，模式分類系統(tǒng)僅僅與用于建立分類器的信息一樣精確。模式分類系統(tǒng)被設(shè)計為將傳感器所需的數(shù)據(jù)的模式匹配到現(xiàn)有的分類數(shù)據(jù)庫或 “訓(xùn)練集”。訓(xùn)練集被編程到設(shè)備中，以提供屬于要識別的一個或多個對象類的多種的模式 例子。當(dāng)數(shù)據(jù)的模式在一定的精度內(nèi)匹配訓(xùn)練集時，被檢測的數(shù)據(jù)被分類以歸屬于一定的 類。模式識別系統(tǒng)精確地將被測量的數(shù)據(jù)進(jìn)行分類的能力依賴于訓(xùn)練集的大小和差異。遺 憾的是，當(dāng)設(shè)計分類系統(tǒng)時，常常很難預(yù)測系統(tǒng)要測量的數(shù)據(jù)的變化。例如，類的成員的實 際變化、來自傳感器誤差的測量的變化、傳感器噪音、系統(tǒng)啟動變化、系統(tǒng)噪音以及環(huán)境變 化或環(huán)境噪音可因安裝在現(xiàn)場中的每個系統(tǒng)的不同而不同。由于這些變化，模式識別系統(tǒng)常通過監(jiān)督或非監(jiān)督學(xué)習(xí)來包含適應(yīng)新的分類數(shù)據(jù) 的能力。這個適應(yīng)能力允許訓(xùn)練集擴(kuò)展以包括在初始安裝后所需的新的數(shù)據(jù)。另外，新的 訓(xùn)練數(shù)據(jù)常從這些“現(xiàn)場訓(xùn)練”設(shè)備中被提取出并手動地包括在模式識別系統(tǒng)的將來的安 裝中。但是，有若干問題與這個方法相關(guān)聯(lián)。例如，如果系統(tǒng)是靜態(tài)的，即，不使用帶有學(xué) 習(xí)的自適應(yīng)分類算法，它就不適合與其本地環(huán)境相關(guān)聯(lián)的實際變化，例如類的成員的變化、 由于傳感器誤差、傳感器噪音引起的測量的變化、系統(tǒng)啟動變化、系統(tǒng)噪音、環(huán)境變化或環(huán)
境噪音等。在另一方面，如果系統(tǒng)使用依賴非監(jiān)督學(xué)習(xí)的自適應(yīng)分類算法，傳感器設(shè)計者限 制了分類訓(xùn)練集的最終狀態(tài)的控制。這個控制的缺少具有不期望的影響，即，由于與由每個 設(shè)備“學(xué)習(xí)”的不同的數(shù)據(jù)相關(guān)聯(lián)的學(xué)習(xí)的非確定的特征，各個傳感器將在相同的條件下表 現(xiàn)不同。依賴這些非監(jiān)督方法的系統(tǒng)還需要設(shè)備上的另外的計算資源和功率。如果系統(tǒng)使用僅依賴監(jiān)督學(xué)習(xí)的自適應(yīng)算法，則設(shè)計者或安裝者不得不監(jiān)督現(xiàn)場 中的每個設(shè)備的訓(xùn)練以適應(yīng)新的調(diào)節(jié)。因此，安裝者必須模仿盡可能多的類成員的變化和 環(huán)境變化以訓(xùn)練系統(tǒng)。這個方法常常不實用并引起顧客對系統(tǒng)復(fù)雜性的抱怨。為了克服上述的很多缺陷，系統(tǒng)設(shè)計者常試圖通過指定增加系統(tǒng)的成本的高質(zhì)量 的部件來最小化變化。例如，高質(zhì)量的傳感器最小化傳感器偏差和噪音；昂貴的硬件過濾器 最小化傳感器、系統(tǒng)和環(huán)境噪音；高速處理器可實施復(fù)雜的軟件過濾器，并執(zhí)行特征抽取和 復(fù)雜的分類算法；且大量的系統(tǒng)存儲器可存儲大的訓(xùn)練集，允許實際類成員中的盡可能多的預(yù)期的變化，以及環(huán)境條件的變化。另外，系統(tǒng)常常配置有高帶寬的數(shù)據(jù)端連接，以允許安裝者在安裝期間直接監(jiān)控 傳感器數(shù)據(jù)以及幫助設(shè)備的監(jiān)督訓(xùn)練。在環(huán)境條件改變的情況下，系統(tǒng)性能常常被影響，導(dǎo) 致安裝者重新調(diào)整系統(tǒng)。如果最終顧客請求改變系統(tǒng)操作，例如對象或數(shù)據(jù)的新的類的識別，設(shè)計者必須 創(chuàng)建新的分類訓(xùn)練集，且安裝者必須重復(fù)安裝程序以用新的類成員調(diào)整系統(tǒng)。因此，需要用于收集和匯編來自多個本地圖像處理系統(tǒng)的模式識別數(shù)據(jù)的系統(tǒng)和 方法，以使得被收集的數(shù)據(jù)可用于更新本地處理系統(tǒng)，從而允許環(huán)境的變化以及配置和更 新另外的圖像處理系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明有利地提供了用于配置和更新集體學(xué)習(xí)模式識別系統(tǒng)的本地圖像處理系 統(tǒng)的方法和系統(tǒng)。一般地，本發(fā)明使用從集體學(xué)習(xí)模式識別系統(tǒng)中的本地圖像處理系統(tǒng)收 集的信息，來自動地配置和更新位于類似環(huán)境中的其他本地圖像處理系統(tǒng)。本發(fā)明的一方面包括用于配置模式識別系統(tǒng)的方法，該方法通過從至少一個第一 本地圖像處理系統(tǒng)接收對象識別數(shù)據(jù)以及將對象識別數(shù)據(jù)存儲到至少一個全局?jǐn)?shù)據(jù)庫中 來實現(xiàn)。至少部分地基于從至少一個第一本地圖像處理系統(tǒng)接收的對象識別數(shù)據(jù)，第二本 地圖像處理系統(tǒng)的配置數(shù)據(jù)被確定并發(fā)送到第二本地圖像處理系統(tǒng)。根據(jù)另一個方面，本發(fā)明提供了用于配置模式識別系統(tǒng)的方法，該方法被公開為 發(fā)送第一組系統(tǒng)參數(shù)到集中式專家模式識別系統(tǒng)。作為響應(yīng)，至少部分地基于從至少一個 其他本地圖像處理系統(tǒng)收集的第一組系統(tǒng)參數(shù)和對象識別數(shù)據(jù)，配置數(shù)據(jù)從集中式專家模 式識別系統(tǒng)被接收。根據(jù)又另一個方面，本發(fā)明提供了模式識別系統(tǒng)，其中有至少一個本地圖像處理 系統(tǒng)和至少一個集中式專家模式識別系統(tǒng)通信地耦合到至少一個本地圖像處理系統(tǒng)中的 每個本地圖像處理系統(tǒng)。至少一個集中式專家模式識別系統(tǒng)接收來自至少第一個本地圖像 處理系統(tǒng)的對象識別數(shù)據(jù)，并將對象識別數(shù)據(jù)存儲到至少一個全局?jǐn)?shù)據(jù)庫中。至少部分地 基于從至少第一個本地圖像處理系統(tǒng)接收到的對象識別數(shù)據(jù)，集中式模式識別系統(tǒng)即確定 第二本地圖像處理系統(tǒng)的配置數(shù)據(jù)，并發(fā)送配置數(shù)據(jù)到第二本地圖像處理系統(tǒng)。


結(jié)合附圖考慮參考以下的詳細(xì)描述，本發(fā)明的更加完整的理解以及其伴隨的優(yōu)勢 和特征將更加易于理解。其中圖1是根據(jù)本發(fā)明的原理構(gòu)建的示例性集體學(xué)習(xí)模式識別系統(tǒng)；圖2是根據(jù)本發(fā)明的原理構(gòu)建的示例性本地圖像處理系統(tǒng)；圖3是根據(jù)本發(fā)明的原理構(gòu)建的示例性集中式專家系統(tǒng)；圖4是根據(jù)本發(fā)明的原理的本地圖像處理系統(tǒng)配置過程的流程圖；圖5是根據(jù)本發(fā)明的原理執(zhí)行的模式識別數(shù)據(jù)收集過程的流程圖；以及圖6是根據(jù)本發(fā)明的原理執(zhí)行的圖像處理系統(tǒng)優(yōu)化過程的流程圖。
具體實施例方式在描述符合本發(fā)明的詳細(xì)示例性實施方式之前，應(yīng)注意到實施方式主要在于裝置 部件和處理步驟的結(jié)合，其與實現(xiàn)用于收集和匯編來自多個邊緣設(shè)備的模式識別數(shù)據(jù)以及 使用所收集的數(shù)據(jù)配置和更新另外的邊緣設(shè)備的系統(tǒng)和方法有關(guān)。因此，裝置和方法部件 已在附圖中由常規(guī)符號適當(dāng)表示，只示出了那些有關(guān)理解本發(fā)明的實施方式的指定細(xì)節(jié)， 以便不使那些本領(lǐng)域技術(shù)人員顯然容易知道的對本文中的描述有益的細(xì)節(jié)對本公開造成 模糊。在本文檔中，關(guān)系術(shù)語例如“第一”和“第二”，“頂部”和“底部”等可被單獨使用， 以將一個實體或元件與另一個實體或元件區(qū)分而不一定要求或暗示這樣的實體或元件之 間的任何物理的或邏輯的關(guān)系或順序。術(shù)語“傳感器數(shù)據(jù)”包括從包括但不限于圖像傳感 器的任何傳感器接收的數(shù)據(jù)。本發(fā)明的一個實施方式包括本地圖像處理系統(tǒng)或邊緣設(shè)備中的包含低復(fù)雜度、低 成本結(jié)構(gòu)的視頻和/或數(shù)據(jù)模式識別和分類系統(tǒng)。本地系統(tǒng)與向低復(fù)雜度本地系統(tǒng)提供學(xué) 習(xí)幫助的較高復(fù)雜度集中式專家系統(tǒng)通信。從低復(fù)雜度邊緣設(shè)備發(fā)送的信息可包括但不限 于由光學(xué)傳感器捕捉的圖像、其他的傳感器數(shù)據(jù)和設(shè)備ID號碼。專家系統(tǒng)使用其邊緣設(shè)備 硬件、軟件和本地數(shù)據(jù)的知識來確認(rèn)分類結(jié)果以及仲裁非可分類的結(jié)果。專家系統(tǒng)可按需 要更新低復(fù)雜度設(shè)備所使用的分類和特征提取算法。另外，專家系統(tǒng)可收集來自很多低復(fù)雜度邊緣設(shè)備的數(shù)據(jù)并使用這信息改進(jìn)其系 統(tǒng)效率的全局知識。專家系統(tǒng)即可學(xué)習(xí)邊緣設(shè)備的每個安裝所使用的最好的算法和分類技 術(shù)。這個信息使得新安裝的低復(fù)雜度邊緣設(shè)備從之前安裝的設(shè)備的知識獲得利益。當(dāng)安裝 時，安裝者可參考安裝的環(huán)境特征預(yù)先選擇優(yōu)選的算法，當(dāng)?shù)蛷?fù)雜度邊緣設(shè)備在網(wǎng)絡(luò)上注 冊時可利用該算法被編程，使得邊緣設(shè)備可包含通過在類似環(huán)境中之前安裝的設(shè)備獲取的 知識，作為后安裝訓(xùn)練之前的開始點。這樣的系統(tǒng)可與安全系統(tǒng)或作為安全系統(tǒng)的一部分 使用?，F(xiàn)參考附圖，其中相同的參考指示符意指相同的元件，圖1中示出了根據(jù)本發(fā)明 的原理構(gòu)建的集體學(xué)習(xí)模式識別系統(tǒng)并被指定為“10”。系統(tǒng)10包括集中式專家系統(tǒng)12， 其可包含由從多個本地圖像處理系統(tǒng)16 (示出兩個)接收的信息構(gòu)建的全局模式識別數(shù)據(jù) 庫14。集中式專家系統(tǒng)12通過互聯(lián)網(wǎng)18或其他通信網(wǎng)絡(luò)直接或非直接地使用例如網(wǎng)絡(luò)服 務(wù)20與本地圖像處理系統(tǒng)16通信。信息直接地或通過網(wǎng)關(guān)或傳感器網(wǎng)絡(luò)裝置22被路由 到或路由自每個本地圖像處理系統(tǒng)16。圖2描述了根據(jù)本發(fā)明的原理構(gòu)建的示例性本地圖像處理系統(tǒng)16的框圖。圖像 傳感器24捕捉視頻圖像數(shù)據(jù)并發(fā)送該信息到本地控制面板26。有線或無線數(shù)據(jù)通信的協(xié) 議例如TCP/IP是已知的。本地控制面板26使用網(wǎng)絡(luò)通信接口 28接收來自圖像傳感器24 的視頻數(shù)據(jù)，網(wǎng)絡(luò)通信接口 28可以是有線的、無線的、或有線和無線設(shè)備的組合。本地控制 面板26還可接收來自聲音傳感器30 (示出一個)、無源紅外傳感器32 (示出一個)和各種 其他傳感器34的輔助信息，以幫助以更高的精確度確定可識別模式。例如，來自聲音傳感 器30的警報的激活可觸發(fā)本地圖像處理系統(tǒng)16開始捕捉和處理圖像數(shù)據(jù)。圖像傳感器 24、聲音傳感器30、無源紅外傳感器32和其他傳感器可與單個的低復(fù)雜度邊緣設(shè)備中的單 個控制面板26共同位置定位，或被遠(yuǎn)程定位，但在控制面板26的通信范圍內(nèi)。
示例性控制面板26還可包括處理器36，其監(jiān)督和執(zhí)行包括本文中所描述的那些 的控制面板的各種功能。處理器36通信地耦合到通信接口 28和非易失性存儲器38。非 易失性存儲器38可包括數(shù)據(jù)存儲器40和程序存儲器42。數(shù)據(jù)存儲器40和程序存儲器42 可包含要被單獨使用的可執(zhí)行模式識別程序和數(shù)據(jù)庫的本地版本，以用于本地圖像處理系 統(tǒng)16中的模式識別。數(shù)據(jù)存儲器40可包括本地數(shù)據(jù)庫以用于模式識別和分類例如本地分 類知識庫44、本地行為知識庫46，以及本地規(guī)則推斷知識庫48。程序存儲器42可包括簡單 的特征提取引擎50、簡單的分類引擎52、簡單的行為建模引擎54和規(guī)則推斷引擎56。本地數(shù)據(jù)庫44、46、48和本地模式識別程序50、52、54、56可根據(jù)從集中式專家系 統(tǒng)12接收到的信息定期更新和修改。每個模式識別程序可按需要被處理器36調(diào)用以用于 處理圖像數(shù)據(jù)集。例如，簡單的特征提取引擎50提取從圖像傳感器24收集的包括在圖像 數(shù)據(jù)集中式突出(salient)的特征數(shù)據(jù)。簡單的分類引擎52使用本地分類知識庫44來分 類和確定每個突出的特征集的對象類。簡單的行為建模引擎54跟蹤一段時間內(nèi)的圖像傳 感器24的視野中的對象，以隨時間的過去來分類對象的行為以創(chuàng)建對象行為的模型，并將 這些模型存儲到本地行為知識庫46中。簡單的規(guī)則推斷引擎56將被識別的行為與包含在 本地規(guī)則推斷知識庫48中的一組行為規(guī)則相比較，以確定警報條件是否存在。圖3示出了示例性集中式專家系統(tǒng)12的框圖。專家系統(tǒng)12可包含用于控制集中 式專家系統(tǒng)的功能的處理器58，其通信地耦合到有線或無線網(wǎng)絡(luò)通信接口 60以用于維持 與本地圖像處理系統(tǒng)16的通信。處理器58通信地耦合到包含數(shù)據(jù)存儲器64和程序存儲器 66的非易失性存儲器62。數(shù)據(jù)存儲器64可包含廣泛的數(shù)據(jù)庫，例如，全局分類知識庫68、 全局行為知識庫70以及全局規(guī)則推斷知識庫72，其包含從整個模式識別系統(tǒng)100中的每個 本地圖像處理系統(tǒng)收集和匯編的信息。這些全局?jǐn)?shù)據(jù)庫68、70、72類似于對應(yīng)的本地數(shù)據(jù) 庫44、46、48，但一般更大且更廣泛。集中式專家系統(tǒng)12還能夠基于來自每個本地圖像處理 系統(tǒng)16來增加全局?jǐn)?shù)據(jù)庫68、70、72。另外，程序存儲器66可包含高級的模式識別和分類 程序，例如，強(qiáng)特征提取引擎74、專家分類引擎76、專家行為建模引擎78以及自動裝置推斷 引擎80，其分別類似于對應(yīng)的本地模式識別和分類程序50、52、54、56，但一般更加復(fù)雜、需 要更多的處理能力。參考圖4，提供了示例性操作流程圖，其描述了由本地圖像處理系統(tǒng)16執(zhí)行的步 驟，其用于使用由集中式專家系統(tǒng)從多個本地圖像處理系統(tǒng)收集的模式識別數(shù)據(jù)來配置和 更新本地圖像處理系統(tǒng)16。當(dāng)安裝者將本地圖像處理系統(tǒng)16安裝(步驟S102)在指定 位置時，程序開始。安裝者輸入由本地圖像處理系統(tǒng)16接收和/或存儲的安裝參數(shù)(步 驟S104)。安裝參數(shù)可包括這樣的特征如系統(tǒng)的位置，例如ABCCorp. Store#456,前面入口 (Front Entrance)；期望的功能，例如流量監(jiān)控、人數(shù)計數(shù)、干擾檢測等，以及一般環(huán)境特征 例如室內(nèi)對室外、窗口對非窗口、地毯地板對瓷磚地板等。例如，當(dāng)連接到網(wǎng)絡(luò)并建立與集 中式專家系統(tǒng)12的通信時，本地圖像處理系統(tǒng)16隨即向集中式專家系統(tǒng)12注冊其自身 (步驟S106)。本地圖像處理系統(tǒng)16可例如通過發(fā)送包括設(shè)備或系統(tǒng)ID和一個或多個其 他安裝參數(shù)的本地圖像處理系統(tǒng)參數(shù)到專家系統(tǒng)12的方式注冊。本地圖像處理系統(tǒng)16接收來自專家系統(tǒng)12的基于所接收的系統(tǒng)參數(shù)為指定的本 地圖像處理系統(tǒng)定制的配置數(shù)據(jù)(步驟S108)。配置數(shù)據(jù)可包括對于具體為具有所接收的 系統(tǒng)參數(shù)的本地系統(tǒng)設(shè)計的特征提取、分類、行為建模和規(guī)則推斷的更新后的算法。
8
在本地圖像處理系統(tǒng)16被配置之后，其開始收集和分析圖像數(shù)據(jù)。低復(fù)雜度(一 般與集中式專家系統(tǒng)12相比較)本地圖像處理系統(tǒng)16傳送系統(tǒng)或設(shè)備ID以及一個或多 個以下數(shù)據(jù)到專家系統(tǒng)12以用于分析圖像、圖像的轉(zhuǎn)換后的表示、特征向量、傳感器數(shù) 據(jù)、特征提取算法的結(jié)果、分類算法的結(jié)果、行為建模的結(jié)果以及規(guī)則推斷確定的結(jié)果(步 驟S110)。從本地圖像處理系統(tǒng)16發(fā)送的傳感器數(shù)據(jù)可以是包含全數(shù)據(jù)集的減小后的集 的低帶寬數(shù)據(jù)，該全數(shù)據(jù)集由本地圖像處理系統(tǒng)16捕捉。例如，由本地圖像處理系統(tǒng)16 發(fā)送的數(shù)據(jù)可只包含由專家系統(tǒng)12所需的突出信息，以分類和識別圖像模式。于2008 iP 1 月 31 HiH^W^^^J "Video Sensor and Alarm System with Object and Event Classification”的對Stewart E. Hall的第12/023，651號美國專利申請公開了使用低復(fù) 雜度終端設(shè)備從圖像數(shù)據(jù)提取突出特征的一種方法且因此通過引用并入本文。本地圖像處理系統(tǒng)16即可從專家系統(tǒng)12接收對其本地數(shù)據(jù)庫例如本地分類知識 庫44、本地行為知識庫46、本地規(guī)則推斷知識庫48、和/或模式識別程序例如簡單的特征提 取引擎42、簡單的分類引擎52、簡單的行為建模引擎54、規(guī)則推斷引擎56的更新，以修改和 改進(jìn)其性能(步驟S112)。被更新的數(shù)據(jù)庫和/或模式識別程序可基于從位于類似環(huán)境中 的其他本地圖像處理系統(tǒng)收集和學(xué)習(xí)的數(shù)據(jù)。圖5是示例性操作流程圖，其描述了由集中式專家系統(tǒng)12執(zhí)行以收集和匯編來自 多個本地圖像處理系統(tǒng)16的模式識別數(shù)據(jù)以及使用所收集的數(shù)據(jù)來配置和更新另外的圖 像處理系統(tǒng)的過程。在操作中，集中式專家系統(tǒng)12接收包括來自新安裝的本地圖像處理 系統(tǒng)16的本地圖像處理系統(tǒng)參數(shù)的注冊數(shù)據(jù)(步驟S116)。專家系統(tǒng)12分析所接收的本 地圖像處理系統(tǒng)參數(shù)并將配置數(shù)據(jù)基于所接收的參數(shù)傳送回本地圖像處理系統(tǒng)16 (步驟 S118)。配置數(shù)據(jù)可包括對于用于特征提取、分類、行為建模和規(guī)則推斷的本地數(shù)據(jù)庫和/ 或算法的更新。專家系統(tǒng)12隨即接收關(guān)于被壓縮的圖像和圖像/對象識別的數(shù)據(jù)或轉(zhuǎn)換后的圖 像表示以及其他的傳感器數(shù)據(jù)。數(shù)據(jù)可被用于評價背景圖像的特征，例如，背景圖像亮度的 變化、圖像內(nèi)的移動、傳感器數(shù)據(jù)的變化等。數(shù)據(jù)還可包含要被分類的特征和對象，以便評 估本地圖像處理系統(tǒng)的模式識別算法的有效性。專家系統(tǒng)12還可接收本地圖像處理系統(tǒng)的特征提取引擎42、分類引擎52、行為建 模引擎54和/或規(guī)則推斷引擎56的直接輸出。專家系統(tǒng)12即可使用從單個的本地圖像 處理系統(tǒng)16接收的數(shù)據(jù)，以修改和改進(jìn)在類似的環(huán)境或用于類似的任務(wù)的一組本地圖像 處理系統(tǒng)即具有至少一個共用系統(tǒng)參數(shù)的一組本地圖像處理系統(tǒng)的性能(步驟S122)。該數(shù)據(jù)還可用于評估和驗證本地圖像處理算法的效果并確定是否需要改變這些 算法。例如，如圖6中所示，專家系統(tǒng)12基于至少一個模式識別算法接收來自至少一個本 地圖像處理系統(tǒng)16例如特征提取引擎50、分類引擎52、行為建模引擎54和規(guī)則推斷引擎 56以及初始對應(yīng)圖像數(shù)據(jù)的識別結(jié)果(步驟S128)。專家系統(tǒng)12即可通過對其原始圖像 數(shù)據(jù)執(zhí)行其自身的對應(yīng)模式識別算法例如強(qiáng)特征提取引擎74、專家分類引擎76、專家的行 為建模引擎78/以及自動裝置規(guī)則推斷引擎80以及將結(jié)果與從本地圖像處理系統(tǒng)16接收 的輸出結(jié)果相比較，來評價本地圖像處理系統(tǒng)16的性能(步驟S130)。如果性能被認(rèn)為是 令人滿意的(步驟S132)，專家系統(tǒng)12不采取其他操作并簡單地等待接收另外的結(jié)果。但 是，如果數(shù)據(jù)中有任何差異，專家系統(tǒng)12可確定需要更新本地圖像處理系統(tǒng)16。
專家系統(tǒng)12根據(jù)本地環(huán)境特征和制定的分類、行為檢測和規(guī)則推斷需要，通過對 本地圖像處理系統(tǒng)16進(jìn)行分組，執(zhí)行系統(tǒng)優(yōu)化(步驟S134)。專家系統(tǒng)12隨即可評價在 本地圖像處理系統(tǒng)16的組上通過改變每個組的本地圖像處理和分類程序來實現(xiàn)的潛在的 性能改進(jìn)(步驟S136)。專家系統(tǒng)12還評價變化對總的系統(tǒng)復(fù)雜度的影響，并確定系統(tǒng)16 是否被優(yōu)化。如果總的系統(tǒng)16未被優(yōu)化(步驟S138)，專家系統(tǒng)返回到步驟S134并繼續(xù)優(yōu) 化程序。如果總的系統(tǒng)16被優(yōu)化(步驟S138)，專家系統(tǒng)12匯編對每個本地圖像處理系統(tǒng) 組中的處理和分類程序的建議的改變(步驟S140)。建議的改變可以可選地在實施之前要 求來自系統(tǒng)管理者的認(rèn)可。專家系統(tǒng)12安排和發(fā)送更新到包含改進(jìn)的模式識別算法和/或訓(xùn)練集數(shù)據(jù)庫的 本地圖像處理系統(tǒng)16 (步驟S142)。由專家系統(tǒng)12的這個集體學(xué)習(xí)功能是本發(fā)明的優(yōu)勢特 征。返回圖5，專家系統(tǒng)12還可與其他的專家系統(tǒng)(未示出)通信(步驟S124)，以共 享從邊緣設(shè)備即本地圖像處理系統(tǒng)接收的結(jié)果。另外，專家系統(tǒng)12可請求(步驟S126)和 /或接收人員專家的介入，以確定在沒有人員介入就不能被分類的不確定數(shù)據(jù)的真實情況 (ground truth)。這個特征提高了專家系統(tǒng)12的學(xué)習(xí)能力，其即被不間斷地傳送到本地圖 像處理系統(tǒng)16而不需要在每個地點有人員介入。本發(fā)明相對于現(xiàn)有技術(shù)的優(yōu)勢是編程和重新編程基于類似本地圖像處理的系統(tǒng) 作為單個組的能力。例如，多數(shù)連鎖零售百貨商店被設(shè)計為每個商店都具有一定的類似的 外觀和感覺。因此，位于每個商店中的本地圖像處理系統(tǒng)16—定位于類似的環(huán)境中。新商 店中的新系統(tǒng)的安裝非常簡單。安裝者從由已知的性質(zhì)例如位置，例如連鎖商店的名字以 及安裝地點的指定特征例如地毯、室內(nèi)情況而確定的基本參數(shù)集開始。專家系統(tǒng)只需要學(xué) 習(xí)一個位置并可假設(shè)具有類似參數(shù)的其他本地系統(tǒng)是相同的，例如，所有的商店“X”正面是 相同的。這個分組學(xué)習(xí)允許專家系統(tǒng)在本地系統(tǒng)平穩(wěn)安裝之前“預(yù)學(xué)習(xí)”。當(dāng)起作用時，系 統(tǒng)學(xué)習(xí)本地系統(tǒng)的其他指定特征，例如精確的檢測所需的照明。所有的本地系統(tǒng)能夠獲得 從每個單個的系統(tǒng)學(xué)到的自適應(yīng)知識的益處。本地系統(tǒng)性能的優(yōu)化以系統(tǒng)復(fù)雜度為代價——每個本地圖像處理系統(tǒng)具有與其 近鄰不同的決策過程的能力。為了同時優(yōu)化系統(tǒng)性能和系統(tǒng)復(fù)雜度，專家系統(tǒng)可對具有類 似操作特征的本地設(shè)備進(jìn)行分組，并以相同的決策過程對組的所有成員編程。這以單個設(shè) 備性能為代價來實現(xiàn)。一旦設(shè)備的優(yōu)化分組被確定后，專家系統(tǒng)使用這個優(yōu)化系統(tǒng)配置，按 需要為每個本地設(shè)備提供新的訓(xùn)練數(shù)據(jù)，以改進(jìn)總系統(tǒng)的操作。另外，專家系統(tǒng)即修改指令 的基本狀態(tài)并訓(xùn)練其將提供到將來要注冊的新設(shè)備的數(shù)據(jù)，以使得合并到集體全局知識庫 中的單個的本地設(shè)備的“經(jīng)驗”可被立即使用而不需每個新的設(shè)備自學(xué)。另外地，本地系統(tǒng)可作為組而不是以單個為基礎(chǔ)而被重新編程。例如，商店“X”店 鋪的所有雇員穿相同顏色的衣服。假如商店“X”決定其需要在任意給定的時間跟蹤地板上 的雇員的數(shù)量，屬于商店“X”的所有本地圖像處理系統(tǒng)可能被同時重新編程，以開始跟蹤被 識別為穿確定的顏色衣服的人的數(shù)量。本發(fā)明的實施方式使用允許本地圖像處理系統(tǒng)或邊緣設(shè)備算法中的變化的自適 應(yīng)方法，以使得本地系統(tǒng)可被改變，以適應(yīng)類成員的實際變化或由傳感器誤差、傳感器噪 音、系統(tǒng)啟動變化、系統(tǒng)噪音、環(huán)境的變化或環(huán)境噪音引起的測量數(shù)據(jù)的變化。但是，本地系統(tǒng)的改變由集中式專家系統(tǒng)監(jiān)督以最小化變化和與非監(jiān)督學(xué)習(xí)一起出現(xiàn)的不受控制的學(xué) 習(xí)。因為本發(fā)明使用由專家系統(tǒng)監(jiān)督并最終由人員操作者控制的自適應(yīng)訓(xùn)練算法，本 地系統(tǒng)可被安裝而不需要在安裝的同時進(jìn)行大量訓(xùn)練。因為為了精確度邊緣設(shè)備被連續(xù)評 估，所以不需要預(yù)見邊緣設(shè)備可能遇到的所有的變化。因為專家系統(tǒng)可能從很多本地系統(tǒng) 收集數(shù)據(jù)，所以可能使用來自之前的安裝的訓(xùn)練數(shù)據(jù)在新的安裝的初始設(shè)置中使用。另外地，如果環(huán)境條件改變本地系統(tǒng)性能，專家系統(tǒng)可補償很多這些改變而不需 要安裝者重新調(diào)整本地系統(tǒng)。對于系統(tǒng)操作的新請求的改變，例如新的對象類或數(shù)據(jù)類的 識別，新的分類訓(xùn)練集可被遠(yuǎn)程開發(fā)和更新而不需要安裝者重新訓(xùn)練每個邊緣設(shè)備。可選的實施方式可消除不需要的行為建?；蛞?guī)則推斷引擎。另外地，塊的功能可 在不改變本發(fā)明的基本觀點的情況下組合到一起。總之，根據(jù)本發(fā)明的原理，“經(jīng)驗”被本地收集，而學(xué)習(xí)被全局地實現(xiàn)。本地數(shù)據(jù)庫 允許在不在全局水平上進(jìn)行信息轉(zhuǎn)換和作出決定的情況下快速操作。但是任何學(xué)習(xí)，即對 決策過程的改變，都在專家系統(tǒng)水平上實現(xiàn)。決策過程的這些改變通過專家系統(tǒng)改變一個 或多個本地設(shè)備上的本地數(shù)據(jù)庫來實現(xiàn)。盡管本文所討論的實施方式主要集中式在視頻模式分類的使用上，可預(yù)期來自其 他傳感器的數(shù)據(jù)可替代視頻傳感器或作為附加地用于視頻傳感器而不改變本發(fā)明的總思 想。本發(fā)明可用于很多應(yīng)用，其中低成本、低復(fù)雜度邊緣設(shè)備可基于所述數(shù)據(jù)的分類用于分 類數(shù)據(jù)和提供有用的信息。一些例子包括人數(shù)計數(shù)、各級負(fù)責(zé)管理(line management)、零 售購買者跟蹤、購物車跟蹤、交通工具跟蹤、人員識別、成人與兒童檢測等。本領(lǐng)域技術(shù)人員應(yīng)意識到本發(fā)明不限于本文以上特定的示出和描述。另外，除非 以上提到了與此相反的，應(yīng)注意到所有的附圖都不是按比例繪制的。根據(jù)以上的說明可作 出各種修改和改變而不偏離僅由以下的權(quán)利要求所限制的本發(fā)明的范圍和精神。
權(quán)利要求
一種用于配置模式識別系統(tǒng)的方法，所述方法包括從至少一個第一本地圖像處理系統(tǒng)接收對象識別數(shù)據(jù)；將所述對象識別數(shù)據(jù)存儲到至少一個全局?jǐn)?shù)據(jù)庫中；確定對于第二本地圖像處理系統(tǒng)的配置數(shù)據(jù)，所述配置數(shù)據(jù)至少部分地基于從所述至少一個第一本地圖像處理系統(tǒng)接收的所述對象識別數(shù)據(jù)；以及將所述配置數(shù)據(jù)發(fā)送到所述第二本地圖像處理系統(tǒng)。
2.如權(quán)利要求1所述的方法，還包括從所述第二本地圖像處理系統(tǒng)接收第一組系統(tǒng)參數(shù)；以及 至少部分地基于所述第一組系統(tǒng)參數(shù)確定所述配置數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，其中所述一組系統(tǒng)參數(shù)包括設(shè)備ID、系統(tǒng)ID、位置、期望 的功能和環(huán)境特征中的至少一個。
4.如權(quán)利要求2所述的方法，還包括從所述至少一個第一本地圖像處理系統(tǒng)接收第二組系統(tǒng)參數(shù)，其中來自從所述第二本 地圖像處理系統(tǒng)接收的所述第一組系統(tǒng)參數(shù)的至少一個參數(shù)與來自從所述至少一個第一 本地圖像處理系統(tǒng)接收的所述第二組系統(tǒng)參數(shù)的至少一個參數(shù)相同。
5.如權(quán)利要求1所述的方法，其中所述配置數(shù)據(jù)包括對本地圖像處理系統(tǒng)數(shù)據(jù)庫、特 征提取器、對象分類器、行為建模引擎和規(guī)則推斷引擎的更新中的至少一個。
6.如權(quán)利要求1所述的方法，其中所述對象識別數(shù)據(jù)包括圖像、圖像的壓縮后的表示、 圖像的轉(zhuǎn)換后的表示、傳感器數(shù)據(jù)、突出特征、分類對象、來自行為建模引擎的輸出和來自 規(guī)則推斷引擎的輸出中的至少一個。
7.如權(quán)利要求1所述的方法，其中所述全局?jǐn)?shù)據(jù)庫包括分類知識庫、行為知識庫和規(guī) 則推斷知識庫中的至少一個。
8.如權(quán)利要求1所述的方法，還包括從所述至少一個本地圖像處理系統(tǒng)接收圖像數(shù)據(jù)； 基于第一模式識別算法接收第一模式識別數(shù)據(jù)集； 對所接收的圖像數(shù)據(jù)執(zhí)行第二模式識別算法，以生成第二模式識別數(shù)據(jù)集； 將所述第一模式識別數(shù)據(jù)集與所述第二模式識別數(shù)據(jù)集比較，以揭示任何差異；以及 響應(yīng)于發(fā)現(xiàn)差異，發(fā)送更新到第一模式識別算法和所述至少一個本地圖像處理系統(tǒng)的 數(shù)據(jù)庫中的至少一個。
9.如權(quán)利要求8所述的方法，其中所述第二模式識別算法是特征提取器、對象分類器、 行為建模器以及規(guī)則推斷引擎中的至少一個。
10.如權(quán)利要求9所述的方法，其中所述第二模式識別算法參考所述至少一個全局?jǐn)?shù) 據(jù)庫以生成所述第二模式識別數(shù)據(jù)集。
11.如權(quán)利要求6所述的方法，其中接收對象識別數(shù)據(jù)的步驟還包括從集中式專家模 式識別系統(tǒng)接收對象識別數(shù)據(jù)。
12.一種配置本地圖像處理系統(tǒng)的方法，所述方法包括 發(fā)送第一組系統(tǒng)參數(shù)到集中式專家模式識別系統(tǒng)；從所述集中式專家模式識別系統(tǒng)接收配置數(shù)據(jù)，所述配置數(shù)據(jù)至少部分地基于所述第 一組系統(tǒng)參數(shù)和從至少一個其他本地圖像處理系統(tǒng)收集的對象識別數(shù)據(jù)。
13.如權(quán)利要求12所述的方法，還包括 捕捉圖像數(shù)據(jù)；使用所接收的配置數(shù)據(jù)和所捕捉的圖像數(shù)據(jù)生成對象識別數(shù)據(jù)；發(fā)送所述對象識別數(shù)據(jù)到所述集中式專家模式識別系統(tǒng)；以及基于所發(fā)送的對象識別數(shù)據(jù)，從所述集中式專家模式識別系統(tǒng)接收更新后的配置數(shù)據(jù)。
14.一種模式識別系統(tǒng)，包括 至少一個本地圖像處理系統(tǒng)；以及至少一個集中式專家模式識別系統(tǒng)，該系統(tǒng)通信地耦合到所述至少一個本地圖像處理 系統(tǒng)中的每個本地圖像處理系統(tǒng)，所述至少一個集中式專家模式識別系統(tǒng) 從第一本地圖像處理系統(tǒng)中的至少一個第一本地圖像處理 系統(tǒng)接收對象識別數(shù)據(jù)；將所述對象識別數(shù)據(jù)存儲到至少一個全局?jǐn)?shù)據(jù)庫中；確定對于第二本地圖像處理系統(tǒng)的配置數(shù)據(jù)，所述配置數(shù)據(jù)至少部分地基于從所述至 少一個第一本地圖像處理系統(tǒng)接收的所述對象識別數(shù)據(jù)；以及 發(fā)送所述配置數(shù)據(jù)到所述第二本地圖像處理系統(tǒng)。
15.如權(quán)利要求14所述的系統(tǒng)，其中多個本地圖像處理系統(tǒng)中的每個本地圖像處理系 統(tǒng)包括通信接口 ；圖像捕捉設(shè)備，用于捕捉視頻圖像數(shù)據(jù)；以及處理器，該處理器通信地耦合到所述通信接口和所述圖像捕捉設(shè)備，所述處理器由所 捕捉的圖像數(shù)據(jù)生成對象識別數(shù)據(jù)。
16.如權(quán)利要求15所述的系統(tǒng)，其中每個本地圖像處理系統(tǒng)還包括本地對象分類知識 庫、本地行為知識庫、本地規(guī)則推斷知識庫中的至少一個。
17.如權(quán)利要求15所述的系統(tǒng)，其中所述配置數(shù)據(jù)包括對本地圖像處理系統(tǒng)數(shù)據(jù)庫、 特征提取器、對象分類器、行為建模引擎和規(guī)則推斷引擎的更新中的至少一個。
18.如權(quán)利要求14所述的系統(tǒng)，其中所述至少一個集中式專家模式識別系統(tǒng)包括 通信接口 ；至少一個全局知識庫，該至少一個全局知識庫包含從所述至少一個本地圖像處理系統(tǒng) 接收的對象識別數(shù)據(jù)；以及處理器，該處理器通信地耦合到所述通信接口和所述至少一個全局知識庫，所述處理器匯編述接收的對象識別數(shù)據(jù)；以及基于所接收的對象識別數(shù)據(jù)來確定所述本地圖像處理系統(tǒng)中的所述第二本地圖像處 理系統(tǒng)的所述配置數(shù)據(jù)。
19.如權(quán)利要求14所述的系統(tǒng)，其中集中式專家系統(tǒng)還從所述本地圖像處理系統(tǒng)中的所述第二本地圖像處理系統(tǒng)接收一組系統(tǒng)參數(shù)；以及 基于所述一組系統(tǒng)參數(shù)確定所述配置數(shù)據(jù)。
20.如權(quán)利要求14所述的系統(tǒng)，其中所述集中式專家系統(tǒng)還從所述第一本地圖像處理系統(tǒng)中的所述至少一個第一本地圖像處理系統(tǒng)接收圖像數(shù)據(jù)；基于第一模式識別算法接收第一模式識別數(shù)據(jù)集；對所接收的圖像數(shù)據(jù)執(zhí)行第二模式識別算法，以生成第二模式識別數(shù)據(jù)集；將所述第一模式識別數(shù)據(jù)集與所述第二模式識別數(shù)據(jù)集相比較，以揭示任何差異；以及響應(yīng)于發(fā)現(xiàn)差異，發(fā)送更新到所述第一模式識別算法和所述至少一個本地圖像處理系 統(tǒng)的數(shù)據(jù)庫中的至少一個。
全文摘要
一種用于配置模式識別系統(tǒng)的方法，其通過從至少一個第一本地圖像處理系統(tǒng)接收對象識別數(shù)據(jù)而開始。對象識別數(shù)據(jù)存儲在至少一個全局?jǐn)?shù)據(jù)庫中。至少部分地基于從至少一個第一圖像處理系統(tǒng)接收的對象識別數(shù)據(jù)，配置數(shù)據(jù)被確定用于第二本地圖像處理系統(tǒng)，且然后被傳送到第二本地圖像處理系統(tǒng)。
文檔編號H04N7/18GK101965578SQ200980106896
公開日2011年2月2日 申請日期2009年1月16日 優(yōu)先權(quán)日2008年2月28日
發(fā)明者D·M·薩爾塞多, S·E·霍爾 申請人:傳感電子有限責(zé)任公司