亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

用于視頻取證搜索的顏色相似性分類的方法和系統(tǒng)與流程

文檔序號:12671314閱讀:352來源:國知局
用于視頻取證搜索的顏色相似性分類的方法和系統(tǒng)與流程
本發(fā)明涉及用于視頻取證搜索的顏色相似性分類。

背景技術(shù):
搜索記錄的視頻可能是極其耗時且是使用大量勞力的過程。視頻監(jiān)控系統(tǒng)通常包括用于記錄監(jiān)控攝像機捕獲的視頻的記錄器。最初,視頻盒帶記錄器被用于記錄這種數(shù)據(jù),然而,為了找到所關(guān)注的部分,搜索這些磁帶只能通過人員查看這些磁帶來進行。通過使用算法來搜索特定的項目,數(shù)字視頻記錄器的發(fā)展改進了搜索過程,例如可以進行搜索一個項目何時從攝像機正在觀看的區(qū)域消失了。然而,快速方便地找到特定的對象或人的特定的視頻剪輯的能力還沒有得到顯著改善;這個過程仍然需要人員查看視頻,這和VCR磁帶的情況一樣。視頻分析正在迅速獲得視頻安全產(chǎn)業(yè)內(nèi)的關(guān)注,并且使用十分高級的技術(shù)從數(shù)字視頻流中提取高級信息的系統(tǒng)和組件正在開始進行部署。對視頻分析而言,顏色相似性匹配是特別難的任務(wù)。很難找到匹配顏色的穩(wěn)健方式。一個問題涉及由人的視覺系統(tǒng)感知顏色的方式。調(diào)查者可能想要定位穿著指定顏色的衣服的嫌疑犯。例如,可以分配如下任務(wù),找到穿著深紅色T恤和深藍色牛仔褲的所有行人。目前,所有調(diào)查都涉及人員(在一些情況下,為數(shù)百人,諸如,2005年的倫敦爆炸)手動實時或最好快進搜索長達數(shù)小時的視頻。研究者已經(jīng)嘗試使用許多顏色模型來搜索感知到的顏色。一些顏色模型包括顏色直方圖、主導(dǎo)顏色、顏色布局、顏色結(jié)構(gòu)等。已證明,這些顏色模型中沒有一個在識別指定顏色的物體或人時總是準確的。為此,大多數(shù)視頻對象識別方法忽略顏色,并使用灰度圖像來操作。

技術(shù)實現(xiàn)要素:
一種根據(jù)本公開內(nèi)容的將對象的電子彩色圖像分類的方法的例子包括接收所期望的對象的輸入表示,所述輸入表示包括表示所期望的對象的至少一種顏色的第一數(shù)據(jù),所述第一數(shù)據(jù)在第一顏色空間中;將所述第一顏色空間中的第一數(shù)據(jù)轉(zhuǎn)換成與所述第一顏色空間不同的第二顏色空間中的第二數(shù)據(jù);確定所述至少一種顏色的所期望的飽和度的指示;及比較所期望的飽和度指示和與儲存的候選圖像相關(guān)聯(lián)的候選的飽和度指示。若與儲存的候選圖像中的目前比較的候選圖像相關(guān)聯(lián)的候選飽和度指示不在飽和度指示的規(guī)定范圍內(nèi)且所述飽和度指示的規(guī)定范圍包括所期望的飽和度指示,則丟棄作為所期望的對象的可能匹配的目前比較的候選圖像;以及基于所述第一數(shù)據(jù)或所述第二數(shù)據(jù)中的至少一個來確定未丟棄的候選圖像中的是所期望的對象的可能匹配的至少一個。這種方法的實現(xiàn)可包括以下特征中的一個或多個。確定包括與所述輸入表示的顏色相關(guān)聯(lián)的多個參數(shù)的查詢特征向量,所述查詢特征向量參數(shù)包括來自所述第一顏色空間的至少第一參數(shù),以及來自所述第二顏色空間的至少第一參數(shù);比較所述查詢特征向量和與儲存的候選圖像的至少一部分相關(guān)聯(lián)的多個候選特征向量,每一個候選特征向量包括與儲存的候選圖像中的對應(yīng)的一個的顏色相關(guān)聯(lián)的多個參數(shù),所述候選特征向量參數(shù)包括來自所述第一顏色空間的至少所述第一參數(shù)以及來自所述第二顏色空間的至少所述第一參數(shù);以及基于所述特征向量比較來確定未丟棄的候選圖像中的至少一個。所述輸入表示是包括多個像素的圖像表示。將所述輸入表示下采樣為下采樣像素塊;以及在所述第一顏色空間或所述第二顏色空間中的至少一個中確定所述下采樣像素塊的多個空間頻率值,其中所述查詢特征向量還包括輸入表示圖像的空間頻率值中的至少一個,且所述候選特征向量中的每一個包括對應(yīng)的候選圖像的至少一個空間頻率值。所述第一顏色空間是相對的RGB顏色空間,所述第二顏色空間是HSV,且所述空間頻率值在YCbCr顏色空間中。所述輸入表示是人工生成的描述。若所期望的飽和度指示的飽和度值大于閾值,則所述方法還包括若目前比較的候選圖像的候選飽和度指示小于所述閾值,則丟棄目前比較的候選圖像。一種根據(jù)本公開內(nèi)容的用于將對象的電子彩色圖像分類的系統(tǒng)包括:輸入端,其被配置成接收所期望的對象的輸入表示,所述輸入表示包括表示所期望的對象的至少一種顏色的第一數(shù)據(jù),所述第一數(shù)據(jù)在第一顏色空間中。該系統(tǒng)還包括存儲器;以及處理單元,其通信地耦合至所述輸入端和所述存儲器且被配置成:將所述第一顏色空間中的第一數(shù)據(jù)轉(zhuǎn)換成與所述第一顏色空間不同的第二顏色空間中的第二數(shù)據(jù);確定所述至少一種顏色的所期望的飽和度的指示;及比較所期望的飽和度指示和與儲存在所述存儲器中的多個候選圖像相關(guān)聯(lián)的多個候選的飽和度指示。若與儲存的候選圖像中的目前比較的候選圖像相關(guān)聯(lián)的候選的飽和度指示不在飽和度指示的規(guī)定范圍內(nèi)且所述飽和度指示的規(guī)定范圍包括所期望的飽和度指示,則所述處理器被配置為丟棄作為所期望的對象的可能匹配的目前比較的候選圖像;以及基于所述第一數(shù)據(jù)或所述第二數(shù)據(jù)中的至少一個來確定未丟棄的候選圖像中的是所期望的對象的可能匹配的至少一個。這種系統(tǒng)的實現(xiàn)可包括以下特征中的一個或多個。所述第一顏色空間或所述第二顏色空間是相對的RGB顏色空間。所述處理單元還被配置成:確定包括與所述輸入表示的顏色相關(guān)聯(lián)的多個參數(shù)的查詢特征向量,所述查詢特征向量參數(shù)包括來自所述第一顏色空間的至少第一參數(shù),以及來自所述第二顏色空間的至少第一參數(shù);比較所述查詢特征向量和與儲存的候選圖像的至少一部分相關(guān)聯(lián)的多個候選特征向量,每一個候選特征向量包括與儲存的候選圖像中的對應(yīng)的一個的顏色相關(guān)聯(lián)的多個參數(shù),所述候選特征向量參數(shù)包括來自所述第一顏色空間的至少所述第一參數(shù)以及來自所述第二顏色空間的至少所述第一參數(shù);以及基于所述特征向量比較來確定所述未丟棄的候選圖像中的所述至少一個。所述輸入表示是包括多個像素的圖像表示。所述處理單元還被配置成:將所述輸入表示下采樣為下采樣像素塊;以及在所述第一顏色空間或所述第二顏色空間中的至少一個中確定所述下采樣像素塊的多個空間頻率值,其中所述查詢特征向量還包括輸入表示圖像的空間頻率值中的至少一個,且所述候選特征向量中的每一個包括對應(yīng)的候選圖像的至少一個空間頻率值。第一顏色空間是相對的RGB顏色空間,所述第二顏色空間是HSV,且所述空間頻率值在YCbCr顏色空間中。所述輸入表示是人工生成的描述。若所期望的飽和度指示的飽和度值大于閾值,則所述處理單元還被配置成若目前比較的候選圖像的候選的飽和度指示小于所述閾值,則丟棄目前比較的候選圖像。一種根據(jù)本公開內(nèi)容的非暫時的機器可讀的存儲介質(zhì)包含在其上實施的指令,當(dāng)所述指令由至少一種機器執(zhí)行時,使所述至少一種機器:接收所期望的對象的輸入表示,所述輸入表示包括表示所期望的對象的至少一種顏色的第一數(shù)據(jù),所述第一數(shù)據(jù)在第一顏色空間中;將來自所述第一顏色空間的表示所期望的對象的至少一種顏色的第一數(shù)據(jù)轉(zhuǎn)換成與第一顏色空間不同的第二顏色空間中的第二數(shù)據(jù);確定所述至少一種顏色的所期望的飽和度的指示;比較所期望的飽和度指示和與多個儲存的候選圖像相關(guān)聯(lián)的多個候選的飽和度指示。若與儲存的候選圖像中的目前比較的候選圖像相關(guān)聯(lián)的候選的飽和度指示不在飽和度指示的規(guī)定范圍內(nèi)且所述飽和度指示的規(guī)定范圍包括所期望的飽和度指示,所述指令使所述至少一種機器丟棄作為所期望的對象的可能匹配的目前比較的候選圖像;以及基于所述第一數(shù)據(jù)或所述第二數(shù)據(jù)中的至少一個來確定未丟棄的候選圖像中的是所期望的對象的可能匹配的至少一個。這種非暫時的機器可讀的存儲介質(zhì)的實現(xiàn)可包括以下特征中的一個或多個。所述第一數(shù)據(jù)是包括多個像素的圖像表示。所述指令還包括使所述至少一種機器執(zhí)行以下步驟的指令:將所述圖像的像素下采樣為下采樣像素塊;以及在所述第一顏色空間或所述第二顏色空間中的至少一個中確定所述下采樣像素塊的多個空間頻率值,其中所述查詢特征向量還包括輸入表示圖像的空間頻率值中的至少一個,且所述候選特征向量中的每一個包括對應(yīng)的候選圖像的至少一個空間頻率值。一種將對象的電子彩色圖像分類的方法的另一個實例包括:接收對象的輸入表示,所述表示包括多個像素,每一個像素由第一顏色空間的參數(shù)的值來定義;將所述輸入圖像轉(zhuǎn)換到與所述第一顏色空間不同的第二顏色空間中;確定包括與所述輸入表示的顏色相關(guān)聯(lián)的多個參數(shù)的查詢特征向量,所述查詢特征向量參數(shù)包括所述第一顏色空間的至少第一參數(shù)以及所述第二顏色空間的至少第一參數(shù);比較所述查詢特征向量與多個候選特征向量,每一個候選特征向量包括與多個儲存的候選圖像中的對應(yīng)的一個的顏色相關(guān)聯(lián)的多個參數(shù),所述候選特征向量參數(shù)包括來自所述第一顏色空間的至少所述第一參數(shù)以及來自所述第二顏色空間的至少所述第一參數(shù);以及基于所述比較來確定所述候選圖像中的是所期望的對象的可能匹配的至少一個。一種用于將對象的電子彩色圖像分類的系統(tǒng)的另一個實例包括:輸入端,其被配置成接收所期望的對象的輸入表示,所述輸入表示包括表示所期望的對象的顏色的第一數(shù)據(jù),所述第一數(shù)據(jù)在第一顏色空間中;存儲器;以及處理單元,其通信地耦合至所述輸入端以及所述存儲器且被配置成:將所述第一顏色空間中的輸入數(shù)據(jù)轉(zhuǎn)換成與第一顏色空間不同的第二顏色空間中的第二數(shù)據(jù);確定包括與所述輸入表示的顏色相關(guān)聯(lián)的多個參數(shù)的查詢特征向量,所述查詢特征向量參數(shù)包括所述第一顏色空間的至少第一參數(shù)以及所述第二顏色空間的至少第一參數(shù);比較所述查詢特征向量與多個候選特征向量,每一個候選特征向量包括與儲存在所述存儲器中的多個候選圖像中的對應(yīng)的一個的顏色相關(guān)聯(lián)的多個參數(shù),所述候選特征向量參數(shù)包括所述第一顏色空間的至少所述第一參數(shù)以及所述第二顏色空間的至少所述第一參數(shù);以及基于所述比較來確定所述候選圖像中的是所期望的對象的可能匹配的至少一個。附圖說明圖1是可根據(jù)本公開的內(nèi)容實現(xiàn)搜索錄制好的視頻的各個方面的視頻監(jiān)控系統(tǒng)的方塊圖。圖2是圖1的服務(wù)器的方塊圖。圖3A是圖1的視頻源的方塊圖。圖3B是圖1的另一視頻源的方塊圖。圖3C是圖1的又一視頻源的方塊圖。圖4是根據(jù)一些實施例的用于將對象的電子彩色圖像分類的過程。圖5是離散余弦變換(DCT)的輸出矩陣。圖6是根據(jù)本公開的內(nèi)容的用于將對象的電子彩色圖像分類的另一過程。具體實施方式本文討論并提供了用于搜索所期望顏色的對象(物體、動物、人和任何其他可見物在本文中通稱“對象”)的儲存的視頻片段的技術(shù)。所期望顏色的對象可以是人工產(chǎn)生的描述(例如,六英尺高、戴著黑色帽子、穿著黃色T恤和灰色褲子的個體)或攝像機之前捕獲到的對象的樣本圖像的形式。對顏色描述或樣本圖像進行分析,并確定描述所期望的對象的顏色的特征向量。所述特征向量可包括來自多個顏色空間的顏色參數(shù)。儲存的視頻片段包括之前通過視頻分析已識別出的候選對象。候選圖像可與儲存的元數(shù)據(jù)(諸如,顏色參數(shù)的特征向量)相關(guān)聯(lián)。通過計算所期望的對象的特征向量與候選圖像中的每一個的特征向量之間的距離量度可識別出潛在匹配的圖像?;谒谕伾膶ο蟮娘柡投戎?,可對所述候選圖像進行預(yù)篩選。例如,若所期望的對象的飽和度值小于低閾值,則可丟棄飽和度值大于低閾值級別的所有候選顏色的圖像。若所期望的對象的飽和度值大于高閾值,則可丟棄飽和度值小于高閾值級別的所有候選顏色的圖像。所述特征向量可包括描述所期望的對象和候選對象的顏色布局的參數(shù)(例如,一或多個AC空間頻率參數(shù))。不同的顏色空間包括用于表示顏色的不同參數(shù)。人的視覺系統(tǒng)在不同的靈敏度級別上可感知不同顏色空間的不同參數(shù)。數(shù)字視頻通常在RGB(紅色、綠色、藍色)顏色空間中表示。數(shù)字攝像機通常在稱作YUV的顏色空間中捕獲圖像,其中Y是亮度(luma)(或模擬系統(tǒng)中的亮度(luminance)),且U和V分別是藍色亮度差和紅色亮度差。YUV顏色空間對彩色圖像或視頻進行編碼時將人類感知考慮在內(nèi),允許色度分量的帶寬減小,因此通常會使傳輸錯誤或壓縮偽像相比于使用“直接的”RGB表示能夠更有效地被人類感知掩蔽。利用以下關(guān)系式(可使用其他關(guān)系式,這取決于YUV參數(shù)的定義方式),YUV顏色空間中的顏色被轉(zhuǎn)換到RGB顏色空間:RGB顏色空間并未將人類感知考慮在內(nèi),且三原色為參數(shù)r、g和b中的每一個提供更一致的顏色表示(未將人類感知考慮在內(nèi))。YCbCr顏色空間是將人類感知考慮在內(nèi)的另一顏色空間。在所述YCbCr顏色空間中,Y是亮度分量,且Cb和Cr是藍色差和紅色差色度分量。另一顏色空間是HSV顏色空間,其中H是色調(diào),S是飽和度,且V是濃淡(與強度相似的量度)。在一些系統(tǒng)中,HSV顏色空間的飽和度可用作過濾器,用來過濾掉在與所期望的對象不同的飽和度區(qū)域中的彩色對象。然后,基于來自多個顏色空間,諸如,舉例而言,RGB和HSV顏色空間、或RGB、HSV和YCbCr顏色空間的參數(shù)來搜索剩余的對象。用這種方式,彩色對象的搜索是基于來自不同顏色空間的顏色的融合。參見圖1,視頻監(jiān)控系統(tǒng)10以方塊圖的形式示出。視頻監(jiān)控系統(tǒng)10包括連接到網(wǎng)絡(luò)18的從1到N的多個視頻源,標記為12、14和16。視頻源12、14和16可包括,例如,靜止或全動態(tài)視頻攝像機。此外,視頻源12、14和16可生成原始的數(shù)字或模擬視頻數(shù)據(jù)。若視頻源12、14和16生成模擬視頻數(shù)據(jù),則數(shù)字轉(zhuǎn)換器可用于使視頻數(shù)據(jù)數(shù)字化。視頻源12、14和16可捕獲并提供彩色或單色視頻數(shù)據(jù)。網(wǎng)絡(luò)18可以是閉環(huán)網(wǎng)絡(luò)、局域網(wǎng)或廣域網(wǎng),諸如,因特網(wǎng)。多個數(shù)字錄像機(DVR)20和21也連接到網(wǎng)絡(luò)18,用于錄制來自視頻源12、14和16的視頻。在一些實施例中,一個或多個DVR20或21可以是網(wǎng)絡(luò)錄像機,或可直接連接到顯示器或工作站。DVR20或21可包括任何類型的視頻存儲裝置,包括硬盤驅(qū)動器及/或閃存驅(qū)動器。如本文所用的,錄制好的視頻包括全運動視頻和每隔一段時間拍下的靜態(tài)圖像。儲存器22可連接到網(wǎng)絡(luò)18,以為錄制好的視頻提供額外的存儲空間,錄制好的視頻,例如,可從數(shù)字錄像機20轉(zhuǎn)移出去,供短期或長期存儲。儲存器22可連接到網(wǎng)絡(luò)18,如圖所示,或直接連接到諸如擴展盒的數(shù)字錄像機20或21。服務(wù)器23連接到網(wǎng)絡(luò)18,以為多個終端用戶裝置24-1至24-N提供視頻搜索能力。服務(wù)器23可以是具有軟件的通用計算機,所述軟件用于實現(xiàn)搜索錄制好的視頻數(shù)據(jù)的軟件搜索方法及用于提供搜索錄制好的視頻數(shù)據(jù)的圖形用戶界面。用戶裝置24可以是通用計算機,包括顯示器和用于存取視頻監(jiān)控系統(tǒng)10并利用由服務(wù)器23提供的視頻數(shù)據(jù)搜索方法的一個或多個用戶輸入裝置。用于搜索錄制好的視頻數(shù)據(jù)的圖形用戶界面軟件和視頻搜索軟件可駐留在系統(tǒng)中的任何地方,諸如,舉例而言,終端用戶裝置24、服務(wù)器23、DVR20和21,或儲存器22中??衫靡曨l源、錄像機、網(wǎng)絡(luò),和/或工作站的各種不同的其他組合。參見圖2,服務(wù)器23包括處理單元26、儲存器32和通信接口36。處理單元26與通信接口36耦合,信息通過通信接口36被發(fā)送給終端用戶裝置24并從終端用戶裝置24接收,例如,通過通信網(wǎng)絡(luò),諸如,局域網(wǎng)、廣域網(wǎng)、無線網(wǎng)等。儲存器32可以是外部儲存器,諸如磁帶、磁盤或可拆卸盒,諸如,舉例而言,包括磁帶驅(qū)動器、硬盤驅(qū)動器或固態(tài)存儲器(諸如,閃存)的盒。處理單元26處理圖像信息且包括中央處理單元(CPU)或數(shù)字信號處理器(DSP)27和存儲器28。CPU/DSP27優(yōu)選是智能裝置,例如,個人計算機中央處理單元(CPU),諸如,由(英特爾)公司或(超微半導(dǎo)體)制造的那些、微控制器、專用集成電路(ASIC)等。也可使用DSP,諸如,由德州儀器制造的DM6446。CPU/DSP27耦合到存儲器28,存儲器28包括隨機存取存儲器(RAM)和只讀存儲器(ROM)。存儲器28和儲存器32是非暫時的,且優(yōu)選儲存包含指令的機器可讀、機器可執(zhí)行的軟件代碼52,所述指令被配置成,當(dāng)被執(zhí)行時,使CPU/DSP27執(zhí)行本文所述的各種不同的功能。可選擇的是,軟件52可能不能直接由處理器CPU/DSP27執(zhí)行,而是被配置成例如,當(dāng)被編譯和執(zhí)行時,使處理器CPU/DSP27執(zhí)行本文所述的功能。圖3A、3B和3C中示出視頻源的功能方塊圖的例子。圖3A、3B和3C中示出的視頻源中的任一個可用于圖1中的視頻源12、14或16中的任一個。圖3A中的視頻源包括模擬攝像機40,模擬攝像機40將模擬視頻數(shù)據(jù)提供給包括存儲器的處理器42。模擬攝像機40提供視頻信號,諸如,舉例而言,NTSC(國家電視系統(tǒng)委員會)視頻信號給處理器42。處理器42包括編碼器,所述編碼器被配置成將從攝像機40接收到的模擬視頻轉(zhuǎn)換成壓縮的數(shù)字視頻格式。處理器42還可包括用于執(zhí)行下文所述的視頻處理方法中的一種或多種的分析軟件。處理器42經(jīng)過通信接口44將數(shù)字視頻信號傳送給DVR20和21、儲存器22或服務(wù)器23中的一個或多個。參見圖3B,視頻源包括因特網(wǎng)協(xié)議或IP攝像機46。IP攝像機46是能以30幀/秒的標準速率在YUV顏色空間(或以另一幀速率在另一顏色空間)中捕獲圖像的數(shù)字攝像機。IP攝像機46經(jīng)由IP網(wǎng)絡(luò)連接48和網(wǎng)絡(luò)18將數(shù)字視頻傳送給DVR20和21、儲存器22或服務(wù)器23中的一個或多個。IP攝像機46可包括光敏CCD或CMOS傳感器。參見圖3C,視頻源包括網(wǎng)絡(luò)攝像機(Webcam)50,網(wǎng)絡(luò)攝像機50包括,例如,與計算機52連接的USB(通用串行總線)連接。圖像可由網(wǎng)絡(luò)攝像機以30幀/秒的標準速率在YUV顏色空間(或另一顏色空間)中捕獲。計算機52可將原始的視頻數(shù)據(jù)壓縮成數(shù)字視頻格式,例如,MPEG。壓縮的視頻數(shù)據(jù)可流式傳輸給,例如網(wǎng)絡(luò)連接54,以傳輸給網(wǎng)絡(luò)18以及DVR20和21、儲存器22或服務(wù)器23中的一或多個。雖然圖3A、3B和3C中的各種不同的視頻源被示出成包括獨立的裝置,但是,它們的功能可使用單個裝置或兩個裝置提供,而非如圖所示的兩個或三個的獨立裝置。場景分析算法可在處理器42、IP攝像機46、計算機52、服務(wù)器23及/或終端用戶裝置24中實現(xiàn),以檢測在視頻源12、14和16中的任一個的視野中的場景中的示象(aspect)或事件;諸如,舉例而言,以檢測并追蹤監(jiān)控場景中的對象。若場景分析在處理器42、IP攝像機46或計算機52中執(zhí)行,則關(guān)于事件和對象的信息可作為元數(shù)據(jù)連同視頻數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)18。此視頻數(shù)據(jù)可包括,例如,檢測到人越過絆網(wǎng)或檢測到紅色車輛??蛇x擇的是,所述視頻可在網(wǎng)絡(luò)18上流式傳輸,且接著在所述流式視頻被儲存之前由,例如,DVR20或21或服務(wù)器23進行分析。參見圖4,進一步參見圖1-3,將對象的電子彩色圖像分類以匹配所期望的對象的過程100包括所示步驟。但是,過程100只是例子且并不是限制。過程100可被改變,例如,通過添加、刪除、重新安排、組合,及/或同時執(zhí)行步驟被改變。例如,下文所述的確定可能與所期望的對象匹配的候選圖像的步驟140可在飽和度過濾步驟112之前執(zhí)行,飽和度過濾步驟112包括子步驟115、120、125、130和135。過程100從步驟105開始,其中處理單元26接收所期望的對象的輸入表示。所述輸入表示包括表示所期望的對象的至少一種顏色的第一數(shù)據(jù),其中所述第一數(shù)據(jù)在第一顏色空間中。所述輸入表示數(shù)據(jù)可在不同的顏色空間中表示,包括,例如,YUV顏色空間或RGB顏色空間。所述輸入表示數(shù)據(jù)可在其他顏色空間中輸入。本文所述的系統(tǒng)使用在RGB顏色空間中進行編碼的輸入表示。若輸入表示數(shù)據(jù)在YUV顏色空間中,則使用上述關(guān)系式(1)將輸入表示數(shù)據(jù)轉(zhuǎn)換到RGB顏色空間。若輸入表示數(shù)據(jù)在另一顏色空間中,則可使用其他轉(zhuǎn)換式。使用以下關(guān)系式,RGB輸入表示數(shù)據(jù)被轉(zhuǎn)換成相對的RGB分量:其中r、g和b是RGB顏色空間中的原始輸入表示數(shù)據(jù)。轉(zhuǎn)換成相對的RGB分量(R、G、B)是一些系統(tǒng)中用來強調(diào)原色的相對值而非絕對值的歸一化形式。所述輸入表示數(shù)據(jù)可使用終端用戶裝置24的用戶界面來輸入。所述輸入表示可以是用戶(例如,犯罪或其他事件的目擊者)生成的描述的形式。用戶界面可提供對象類型(例如,汽車、卡車、人等)的一個或多個列表,供用戶從中選擇??墒褂脤ο蟮念愋蛠砜s小對之前已歸類在用戶所選的對象類型中的儲存圖像的搜索范圍。用戶界面還可使用戶能夠選擇其他對象特性,諸如,舉例而言,顏色、速度、縱橫比、方向、對象大小等。若用戶并未為輸入?yún)?shù)指定值,則所述參數(shù)的任一個值都是可接受的。用戶界面可提供調(diào)色板,以允許用戶為輸入表示數(shù)據(jù)選擇一種或多種顏色。調(diào)色板可以是針對亮度(lightness)或濃淡(亮度(lightness)和濃淡通稱為亮度(intensity))的選定值的圓柱形HSL(色調(diào)、飽和度、亮度(lightness))或HSV(色調(diào)、飽和度、濃淡)顏色空間中的圓??蛇x擇的是,用戶界面可提供文本顏色描述的下拉菜單來選擇顏色。不論所描述的一種或多種顏色是如何選擇的,選定的顏色都為輸入顏色空間中的每一個參數(shù)提供值。用戶生成的描述的顏色可以是單色或多色。就對象的不同區(qū)域而言,可選擇多種顏色,這取決于對象類型。例如,當(dāng)對象類型是人時,用戶可選擇襯衫顏色、褲子顏色、頭發(fā)顏色等。在一些系統(tǒng)中,在用戶輸入描述之后,處理單元26確定包括表示用戶描述的對象的各種不同的顏色特性的顏色參數(shù)的特征向量。下文描述用于搜索的特征向量的細節(jié)。特征向量是一種形式的元數(shù)據(jù),其被用于遍歷儲存的候選圖像的相似的元數(shù)據(jù)來搜索,以識別可能匹配的對象。可替代用戶輸入所期望的對象的描述的是,輸入表示數(shù)據(jù)可以是所期望的對象的捕獲圖像的形式。例如,源于視頻源12、14或16之一的模擬攝像機40、IP攝像機46或網(wǎng)絡(luò)攝像機50的數(shù)字圖像可用作輸入表示數(shù)據(jù)。當(dāng)捕獲到的圖像用作輸入表示數(shù)據(jù)時,處理單元26基于輸入圖像像素的像素值來計算特征向量。特征向量和/或在步驟105接收到的輸入表示數(shù)據(jù)被編碼在或轉(zhuǎn)換到,RGB顏色空間中。為了執(zhí)行融合了來自多個顏色空間的參數(shù)的搜索,過程100繼續(xù)到步驟110,其中處理單元26將來自RGB顏色空間的輸入表示數(shù)據(jù)及/或確定的特征向量數(shù)據(jù)轉(zhuǎn)換到與RGB顏色空間不同的至少一個第二顏色空間中。處理單元26使用以下關(guān)系式將其從RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間:在過程100中,步驟110的至少一個第二顏色空間包括具有飽和度參數(shù)的顏色空間。例如,過程100中的第二顏色空間可以是HSV顏色空間或HSL顏色空間。過程100利用HSV顏色空間。處理單元26使用以下關(guān)系式來將輸入表示數(shù)據(jù)從RGB顏色空間轉(zhuǎn)換到HSV顏色空間:M=max(r,g,b)m=min(r,g,b)C=M-m(4A)H=60°×H′(4C)V=M(4D)在將輸入表示數(shù)據(jù)和/或特征向量數(shù)據(jù)轉(zhuǎn)換到第二顏色空間之后,過程100繼續(xù)進行到飽和度過濾步驟112,飽和度過濾步驟112包括子步驟115、120、125、130和135。實驗顯示顏色飽和度在人的視覺系統(tǒng)中發(fā)揮關(guān)鍵作用。通過使用HSV顏色空間,容易從飽和度分量S得到顏色的飽和度值。已發(fā)現(xiàn),飽和度值接近輸入表示數(shù)據(jù)的飽和度值的候選圖像有更好的機會與所期望的對象成功匹配。在子步驟115,處理單元26確定由在步驟105輸入的輸入表示數(shù)據(jù)所描述的所期望的對象的飽和度的指示。在第二顏色空間之一(例如,HSV或HSL顏色空間)包括飽和度參數(shù)的系統(tǒng)中,輸入表示數(shù)據(jù)的平均飽和度值可用作飽和度指示。所期望的對象的平均飽和度值可通過計算輸入圖像的像素的下采樣塊的離散余弦變換(DCT)來確定,其中DCT的DC值用作飽和度的指示。參見圖5,示出了由DCT計算產(chǎn)生的DCT矩陣150。DCT矩陣150示出包括DC參數(shù)(也稱作AC(0)參數(shù)或平均值)和N2-1AC參數(shù)的DCT的不同空間頻率系數(shù)的位置,其中N是下采樣像素塊的維數(shù)。例如,8×8(N=8)像素塊將具有一個DC系數(shù)和63個AC系數(shù)。AC系數(shù)被放置在稱作之字形圖案的圖案中。對于每一個顏色空間(例如,R、G、B、U、S、V、Y、Cb、Cr等)中的每一個顏色參數(shù),可算出DCT矩陣。DCT只是提取AC分量的示例方式??墒褂闷渌椒ǎT如,舉例而言,離散正弦變換、傅立葉變換、離散傅立葉變換、整數(shù)變換(用于H.264)、阿達瑪(Hadamard)變換、沃爾什(Walsh)變換、哈爾變換、小波變換、斜變換、KL(卡洛南·洛伊)變換來計算關(guān)于任一顏色空間的顏色參數(shù)的DC和AC參數(shù)。這些變換中的任一種變換可提供圖像的空間頻率特性。在子步驟120,處理單元26比較所期望的對象的飽和度指示和與多個儲存的候選圖像相關(guān)聯(lián)的多個候選飽和度指示。儲存的候選圖像的飽和度指示可通過DVR20或21、視頻源12、14或16、處理單元26、攝像機40或編碼器42中的任一個來確定。候選飽和度指示可儲存為與儲存的候選圖像相關(guān)聯(lián)的元數(shù)據(jù)??商娲崆按_定飽和度指示并將其儲存為元數(shù)據(jù)的是,處理單元26可使用HSV變換關(guān)系式(4A-4E)實時確定飽和度指示,以獲得所述飽和度指示。當(dāng)輸入表示數(shù)據(jù)是像素塊時,輸入圖像可下采樣為8×8的像素塊,并且使用關(guān)系式(4A-4E),可將下采樣像素塊轉(zhuǎn)換到HSV。使用以下關(guān)系式,可由任一顏色空間參數(shù)的所有下采樣8×8像素塊的平均值計算8×8像素塊的DC值:其中I是8×8像素塊??衫玫仁剑?)來計算來自RGB空間的DC值。使用已知關(guān)系式,RGB空間的DC值可用于導(dǎo)出其他顏色空間的DC值。在判斷塊125,若與儲存的候選圖像的目前比較的候選圖像相關(guān)聯(lián)的候選飽和度指示不在飽和度指示的規(guī)定范圍內(nèi)(飽和度指示的規(guī)定閾值范圍包括所期望的對象的飽和度指示),則在子步驟130,處理單元26丟棄作為所期望的對象的可能匹配的目前比較的候選圖像。否則,過程100進行到子步驟135,其中,若仍然有更多候選圖像待比較,則過程100重復(fù)子步驟115、120、125、130和135。若無候選圖像待比較,則所述過程進行到步驟140。飽和度指示的規(guī)定閾值范圍可通過實驗來確定,或在搜索執(zhí)行時,可由終端用戶裝置24之一的用戶來調(diào)整。規(guī)定的閾值范圍可由單個閾值或由一對閾值來限定。例如,飽和度閾值可設(shè)定為0.1(0<S<1.0)。當(dāng)搜索其飽和度的DC值小于閾值0.1的對象時,只考慮飽和度小于0.1的候選圖像。當(dāng)搜索其飽和度的DC值大于0.1的對象時,只考慮飽和度指示大于0.1的候選圖像。在完成飽和度過濾步驟112之后,過程100繼續(xù)到步驟140,其中處理單元26基于第一顏色空間和/或第二顏色空間中的輸入表示數(shù)據(jù)與和儲存的候選圖像對應(yīng)的顏色參數(shù)的比較來確定哪些未丟棄的候選圖像是所期望的對象的最佳可能的匹配。確定可能匹配的候選圖像可包括計算輸入表示的查詢特征向量Q與和每一個儲存的候選圖像對應(yīng)的特征向量F之間的歐幾里得距離。例如,在過程100中,顏色匹配所使用的特征向量是F={R,G,B,H,V}。此特征向量包括相對的RGB參數(shù)的DC分量以及HSV顏色空間的色調(diào)(H)和濃淡(V)參數(shù)的DC分量。使用以下關(guān)系式來計算顏色比較距離D:其中||||是輸入表示數(shù)據(jù)的候選圖像特征向量F與查詢特征向量Q之間的歐幾里得距離。特征向量中的參數(shù)數(shù)目是K。參數(shù)wm是用來調(diào)整不同特征分量的重要性的權(quán)重。權(quán)重wm可由終端用戶裝置24之一的用戶來選擇??蛇x擇的是,可選擇權(quán)重wm來使特征向量中的參數(shù)歸一化成同一標度。在計算每一個未丟棄的候選圖像的顏色比較距離D之后,處理單元26可基于所述顏色比較距離D來確定最佳可能的匹配,其中較小的D值表示更好的匹配可能性。處理單元26可使終端用戶裝置之一的顯示器按D的升序來顯示對應(yīng)的候選圖像。用戶瀏覽在尋找匹配時被識別為可能匹配的可能匹配的候選圖像的縮略圖。一旦找到匹配,系統(tǒng)就可在例如再次使用過程100的搜索中使用匹配的圖像作為示例圖像,這與通過用戶生成的描述特征進行搜索相反。參見圖6,進一步參見圖1-3,將與所期望的對象匹配的對象的電子彩色圖像分類的另一過程200包括所示的步驟。但是,過程200只是例子且不是限制。例如,通過添加、刪除、重新排列、組合,及/或同時執(zhí)行步驟,過程200可被改變。過程200包括與過程100相同的一些步驟。具體而言,步驟105、110和112與過程100相同,其中步驟112包括子步驟105、110、115、120、125和130。然而,飽和度過濾步驟112,包括所有子步驟105、110、115、120、125和130,是可選的,且可從過程200省略。與過程100相比,過程200包括更加詳細的步驟140。在完成步驟110及可能的可選步驟112之后,過程200進行到步驟205,其中處理單元26確定包括與輸入表示的顏色相關(guān)聯(lián)的多個參數(shù)的查詢特征向量Q,所述查詢特征向量參數(shù)包括輸入表示的第一顏色空間的至少一個第一參數(shù)和至少一個第二顏色空間(例如,HSV和YCbCr顏色空間)的至少一個第一參數(shù)。過程200使用擴展的特征向量F’,擴展的特征向量F’包括過程100的特征向量F和YCbCr顏色空間中的顏色參數(shù)的DCT矩陣(或上文所討論的其他變換)的AC分量中的一個或多個。在此示例過程200中,擴展的特征向量是F'={F,{Yi}i=[1,N],{Cbj,Crj}j=[1,M]},其中N是對象亮度(intensity)的AC分量的數(shù)目,Y和M是對象顏色參數(shù)Cb和Cr的AC分量的數(shù)目。數(shù)目N和M可通過實驗來確定,或可由終端用戶裝置24的用戶來選定。已發(fā)現(xiàn),默認值N=5和M=2適用于一些搜索,但是也可使用N和M的其他值。通過將特征向量擴展成包括Y、Cb和Cr參數(shù)的一些AC分量,所述搜索可與所期望的對象的顏色分布匹配。用于通過DCT運算來提供顏色布局參數(shù)的縮小的像素塊可包括固定的塊大小,諸如,舉例而言,8×8像素塊。也可使用其他的塊大?。ɡ纾?×4、16×16、32×32以及其他)。對于小于8×8像素的圖像塊,可使用像素內(nèi)插(例如,雙線性內(nèi)插)來將圖像向上采樣到8×8像素塊。使用場景分析器,可通過DVR20或21、視頻源12、14或16、攝像機40、編碼器42或處理單元26中的任一個來計算縮小的像素塊。所述場景分析器使用背景相減來識別對象。所述場景分析器在被檢測對象的周圍繪制出邊界框。將所述邊界框像素的大小調(diào)整成8×8像素塊。所識別對象的像素可取平均值,以達到下采樣像素的RGB值。例如,120×80的像素邊界塊被分成64個15×10的像素塊,且15×10像素塊中的所有像素的像素值取平均值,以形成8×8像素塊的一個像素。在步驟210,所述處理單元比較查詢特征向量Q與候選特征向量F’,每一個候選特征向量包括與多個儲存的候選圖像中的對應(yīng)的一個的顏色相關(guān)聯(lián)的多個參數(shù)。所述比較可包含顏色距離計算。候選特征向量F’與輸入表示數(shù)據(jù)的查詢特征向量Q之間的顏色距離D由以下等式算出:其中K是特征向量F’與Q中的參數(shù)數(shù)目,且wm是加權(quán)因數(shù)。與Y、Cb和Cr的AC分量相比,可給予DC分量,諸如R、G、B、H和V較高的權(quán)重。例如,可給予DC分量權(quán)重為4,可給予AC(1)和AC(2)分量權(quán)重為2,且可給予AC(3)、AC(4)和AC(5)分量權(quán)重為1。在步驟215,處理單元26確定是否有更多候選圖像是可用的。若仍存在更多候選圖像,則過程返回到步驟210。若不存在候選圖像,則過程200繼續(xù)進行到步驟220。在步驟220,處理單元26基于由在步驟210使用等式(7)執(zhí)行的顏色距離計算所提供的特征向量的比較來確定哪些候選圖像是可能的匹配。顏色距離D越小,對應(yīng)的候選圖像匹配的可能性越大。候選圖像可以按顏色距離D的升序來儲存。在用戶更改權(quán)重wm的值及/或更改輸入表示數(shù)據(jù)(例如,通過使用選定的最佳匹配圖像作為樣本圖像,所述樣本圖像在另一搜索中用作輸入表示數(shù)據(jù))的情況下,可重復(fù)過程200。可根據(jù)特定的要求來對所描述的配置做實質(zhì)性改變。例如,也可以使用定制的硬件,且/或特定的元件可以用硬件、軟件(包括可移植軟件,諸如,小型應(yīng)用程序等)或兩者來實現(xiàn)。此外,還可采用與其他計算裝置,諸如,網(wǎng)絡(luò)輸入/輸出裝置的連接。如上所述,在一個方面,一些配置(包括實施方案)可采用計算機系統(tǒng)(諸如,服務(wù)器23)來執(zhí)行根據(jù)本發(fā)明的各種配置的方法。根據(jù)一組配置,這樣的方法的一些或所有步驟由服務(wù)器23響應(yīng)于CPU/DSP27執(zhí)行包含在存儲器28中的一個或多個指令的一個或多個序列(可能并入操作系統(tǒng)及/或其他代碼,諸如,應(yīng)用程序)來執(zhí)行。這樣的指令可從另一計算機可讀介質(zhì),諸如,一個或多個儲存器32讀入存儲器28。僅舉例而言,執(zhí)行包含在存儲器28中的指令序列可使CPU/DSP27執(zhí)行本文所述方法的一個或多個步驟。如本文所用的,術(shù)語“機器可讀介質(zhì)”和“計算機可讀介質(zhì)”是指參與提供使機器以特定方式運行的數(shù)據(jù)的任何介質(zhì)。在使用服務(wù)器23實現(xiàn)的實施例中,各種不同的計算機可讀介質(zhì)可能會涉及提供指令/代碼給處理單元26供其執(zhí)行及/或可能用來儲存及/或攜帶這樣的指令/代碼(例如,作為信號)。在許多實施方案中,計算機可讀介質(zhì)是物理的和/或有形的存儲介質(zhì)。這樣的介質(zhì)可采用多種形式,包括但不限于,非易失性介質(zhì)、易失性介質(zhì)和傳輸介質(zhì)。非易失性介質(zhì)包括,例如,光盤及/或磁盤,諸如,儲存器32。易失性介質(zhì)包括但不限于,動態(tài)存儲器,諸如,存儲器28。傳輸介質(zhì)包括但不限于,同軸電纜、銅線和光纖。因此,傳輸介質(zhì)也可以采用波的形式(包括但不限于,無線電波、聲波及/或光波,諸如在無線電波和紅外數(shù)據(jù)通信期間產(chǎn)生的那些)。常見形式的物理及/或有形的計算機可讀介質(zhì)包括,例如,軟盤、軟磁盤(flexibledisk)、硬盤、磁帶,或任何其它磁性介質(zhì)、CD-ROM、任何其它光學(xué)介質(zhì)、穿孔卡、紙帶、任何其它具有孔的圖案的物理介質(zhì)、RAM、PROM、EPROM、FLASH-EPROM、任何其它存儲器芯片或盒(cartridge)、下文所述的載波,或計算機可以從其中讀取指令和/或代碼的任何其它介質(zhì)。各種不同形式的計算機可讀介質(zhì)可能會涉及承載一個或多個指令的一個或多個序列給CPU/DSP27供其執(zhí)行。僅舉例而言,所述指令可能最初承載在遠程計算機的磁盤及/或光盤上。遠程計算機可將所述指令加載到其動態(tài)存儲器中,并將指令作為信號通過傳輸介質(zhì)發(fā)送,所述信號由服務(wù)器23接收及/或執(zhí)行。根據(jù)本發(fā)明的各種不同的配置,這些信號,可能是電磁信號、聲信號、光信號等的形式,是可在其上對指令進行編碼的載波的所有例子。上文所討論的方法、系統(tǒng)和裝置是例子。各種不同的配置可酌情省略、替換或添加各種不同的步驟或組件。例如,在可選擇的配置中,所述方法可以按與所述順序不同的順序來執(zhí)行,且可添加、省略或組合各種不同的步驟。而且,關(guān)于某些配置所描述的特征可組合到各種不同的其他配置中。所述配置的不同方面和元件可以以相似的方式來組合。而且,技術(shù)在發(fā)展,且因此,許多元件僅是例子且不限制所公開內(nèi)容或權(quán)利要求的范圍。在所述說明書中給出了具體的細節(jié),以全面理解示例性配置(包括實施方案)。然而,沒有這些具體細節(jié)也可以實現(xiàn)配置。例如,眾所周知的電路、過程、算法、結(jié)構(gòu)和技術(shù)沒有必要詳細示出,以免使配置模糊不清。此說明書僅提供示例性配置,且不限制權(quán)利要求的范圍、適用性或配置。相反,配置的先前描述將向本領(lǐng)域的技術(shù)人員提供能夠?qū)崿F(xiàn)所述技術(shù)的描述。在不偏離所公開內(nèi)容的精神或范圍的情況下,可以對元件的功能和布置作出各種不同的修改。此外,先前的描述詳述了安全攝像機系統(tǒng)。然而,本文所述的系統(tǒng)和方法可適用于其他形式的攝像機系統(tǒng)。而且,配置可被描述為過程,而過程被描繪成流程圖或方塊圖。盡管每一個可將操作描述為有序的過程,但是許多操作可并行或同時執(zhí)行。除此之外,操作順序還可重新排列。過程可能有圖中未包括的額外步驟。此外,所述方法的例子可由硬件、軟件、固件、中間件、微碼、硬件描述語言或其任何組合來實現(xiàn)。當(dāng)用軟件、固件、中間件或微碼來實現(xiàn)時,用于執(zhí)行必要任務(wù)的程序代碼或代碼段可儲存在諸如存儲介質(zhì)的非暫時的計算機可讀介質(zhì)中。處理器可執(zhí)行所述任務(wù)。已經(jīng)描述了若干示例配置,可使用各種不同的修改、可選擇的構(gòu)造以及等同物而不偏離所公開內(nèi)容的精神。例如,上述元件可以是較大系統(tǒng)的組件,其中其他規(guī)則可能會優(yōu)先于本發(fā)明的應(yīng)用或修改本發(fā)明的應(yīng)用。而且,在考慮上述元件之前、期間或之后,可執(zhí)行一些步驟。因此,以上描述并不限定權(quán)利要求的范圍。其他例子和實施方案在所公開內(nèi)容和所附權(quán)利要求的范圍和精神內(nèi)。例如,由于軟件的性質(zhì),上述功能可使用由處理器、硬件、固件、硬連接或這些的任何組合來執(zhí)行的軟件來實現(xiàn)。實現(xiàn)功能的特征件也可位于各種不同的物理位置,包括分布式布置以將功能的各個部分在不同的物理位置上實現(xiàn)。而且,如本文所用的,包括在權(quán)利要求中使用的,前面冠有“至少一個”的一系列項目中所使用的“或”指示分隔的列表,使得,例如,“A、B或C中的至少一個”的列表意指A或B或C或AB或AC或BC或ABC(即A和B和C)。此外,可公開不止一項發(fā)明。
當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1