關(guān)聯(lián)查詢紅外視頻圖像特定內(nèi)容的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種視頻識(shí)別、圖像檢索領(lǐng)域的圖像視頻處理方法，特別是關(guān)于應(yīng)用 到智能視頻監(jiān)控技術(shù)和視頻檢索相關(guān)領(lǐng)域的技術(shù)。
【背景技術(shù)】
[0002] 由于紅外成像具有被動(dòng)工作、抗干擾性強(qiáng)、目標(biāo)識(shí)別能力強(qiáng)、全天候工作等特點(diǎn)， 已被廣泛應(yīng)用于軍事與民用領(lǐng)域的偵察與監(jiān)視方面。紅外偵察與監(jiān)視設(shè)備產(chǎn)生大量的圖像 和視頻數(shù)據(jù)。數(shù)據(jù)里面許多有用的信息，必須經(jīng)過(guò)去偽存真、去粗取精的處理過(guò)程才能獲得 有用的信息，如何在運(yùn)些數(shù)據(jù)中快速找到自己所關(guān)注的內(nèi)容是一個(gè)亟待解決的問(wèn)題。在海 量數(shù)據(jù)的紅外視頻中要查找特定內(nèi)容的視頻片斷，人工視頻觀看判讀需要專業(yè)判讀員花費(fèi) 大量精力去做，其效率低、準(zhǔn)確性差。由于受限于人類的生理局限，人工查看的效率是極其 低下的。主要有W下幾個(gè)原因：1)容易產(chǎn)生視覺(jué)疲勞：由于人類的生理局限，長(zhǎng)時(shí)間專注 于單一視頻畫面，過(guò)程單調(diào)、乏味，容易造成情報(bào)人員注意力低下，產(chǎn)生視覺(jué)疲勞，嚴(yán)重影響 審看效率。2)人眼無(wú)法克服誤差：因?yàn)槿搜鄣囊曈X(jué)疲勞，極易忽略掉重要的目標(biāo)線索，造成 "過(guò)眼不過(guò)腦"的情況，美國(guó)圣地亞國(guó)家實(shí)驗(yàn)室的研究表明，人對(duì)于單調(diào)的事物無(wú)法長(zhǎng)時(shí)間 的集中注意力，人眼注意畫面超過(guò)22分鐘的時(shí)候，則有95%的畫面會(huì)被忽略。因此，一段視 頻往往需要花費(fèi)更多的時(shí)間進(jìn)行重復(fù)審看，大大增加了工作量，并且還是無(wú)法完全避免遺 漏和誤差。3)被迫采用"人海戰(zhàn)術(shù)"+"疲勞戰(zhàn)術(shù)":通常所審看的視頻量時(shí)常達(dá)到數(shù)百上千 小時(shí)。在目前的審看模式下，傳統(tǒng)的方法需要從頭到尾順序播放，往往需要數(shù)倍于原始視頻 的時(shí)間才能審看完成，因此需要大量人員連續(xù)加班數(shù)周進(jìn)行視頻的審看。為了規(guī)避遺漏和 誤差，往往采用加大人力投入的方法。但是經(jīng)過(guò)實(shí)踐證明，運(yùn)種方法吃力不討好，仍然解決 不了根本的問(wèn)題。
[0003] 人類的感官分很多種，視覺(jué)是最重要的一種。我們通過(guò)視覺(jué)對(duì)事物進(jìn)行分辨，一眼 就能從所有看到的事物中，找到感興趣的物體。用計(jì)算機(jī)對(duì)視頻或者圖像進(jìn)行處理的技術(shù) 建立在對(duì)人類視覺(jué)本質(zhì)特性的基礎(chǔ)上，利用各種成像設(shè)備作為計(jì)算機(jī)的視覺(jué)器官，通過(guò)計(jì) 算機(jī)技術(shù)對(duì)采集的視頻或圖像進(jìn)行統(tǒng)計(jì)和分析。隨著圖像和視頻處理技術(shù)的不斷發(fā)展和各 種數(shù)學(xué)模型的建立，W及計(jì)算機(jī)軟硬件的不斷改進(jìn)，使得計(jì)算機(jī)處理視頻和圖片的技術(shù)有 了很大的突破。如何在一段監(jiān)控視頻中捜索出指定的對(duì)象，是一個(gè)非常有意義的課題。
[0004] 研究表明，紅外圖像具有如下的特征：
[0005] (1)灰度層次不分明而且灰度分布較集中，紅外探測(cè)器可探測(cè)的溫度范圍較廣，而 實(shí)際景物的溫度范圍相對(duì)較低，在加上景物間的溫度差異較小，因此紅外相機(jī)攝取到的圖 像灰度的層次不分明、紋理特征不明顯。
[0006] (2)對(duì)比度較低，紋理不明顯由于景物和周圍環(huán)境存在著熱交換、空氣熱福射和吸 收，從而導(dǎo)致了自然狀態(tài)下景物之間的溫度差別不大，紅外圖像中景物與背景的對(duì)比度較 低。
[0007] (3)信噪比較低紅外圖像的噪聲來(lái)源較廣，包括元器件的內(nèi)部噪聲，系統(tǒng)噪聲，W 及隨機(jī)噪聲等等。運(yùn)些噪聲降低了紅外圖像的信噪比。
[000引（4)紅外傳感器得到的相鄰兩帖圖像之間的差別不大，紅外圖像的攝取帖速約為 25~30巧/s之，景物表面的福射分布基本上保持不變，運(yùn)個(gè)性質(zhì)為逐帖分析景物特征和對(duì) 景物定位提供了保證。
[0009] 普通的顏色直方圖雖然能表示出不同顏色的概率分布，但是并不能表達(dá)出顏色的 空間分布信息，因此容易造成誤識(shí)別，將顏色出現(xiàn)概率相同但是分布位置不同的不同目標(biāo) 判斷為同一目標(biāo)。而二維直方圖是一種既能反映像素灰度信息又能體現(xiàn)空間域相關(guān)信息的 圖像函數(shù)，對(duì)于對(duì)比度較低、有噪聲干擾，目標(biāo)和背景的分布區(qū)不明顯的紅外圖像的識(shí)別效 果有相當(dāng)大的提高。目前基于內(nèi)容的視頻圖像檢索方法主要針對(duì)可見(jiàn)光視頻圖像進(jìn)行處 理，針對(duì)紅外視頻圖像的處理方法還鮮有報(bào)道。在特定內(nèi)容查找方面的應(yīng)用還沒(méi)有研究出 公認(rèn)的較好的結(jié)果，處于試探研究階段。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明目的是針對(duì)現(xiàn)有技術(shù)存在問(wèn)題，提供一種高效準(zhǔn)確、檢索效率和識(shí)別率高， 視頻圖像特征提取方法簡(jiǎn)單的關(guān)聯(lián)查詢紅外視頻圖像特定內(nèi)容的方法，W解決針對(duì)紅外視 頻圖像的關(guān)聯(lián)查詢問(wèn)題。
[0011] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案為：一種關(guān)聯(lián)查詢紅外視頻圖像特定內(nèi)容的方法，其 特征在于包括W下步驟：
[0012] 在鏡頭邊界檢測(cè)模塊中設(shè)置滑動(dòng)窗口截取紅外視頻段，計(jì)算出相鄰帖圖像間的二 維直方圖帖差值與滑動(dòng)窗口闊值，將帖差值與滑動(dòng)窗口闊值進(jìn)行比較，判斷確定紅外視頻 鏡頭邊界，標(biāo)識(shí)鏡頭邊界，建立鏡頭邊界索引；同時(shí)將計(jì)算出的每個(gè)視頻的鏡頭邊界送入關(guān) 鍵帖提取模塊，計(jì)算每個(gè)鏡頭的內(nèi)容變化率SCCR值及對(duì)應(yīng)的判決闊值，關(guān)鍵帖提取模塊抽 取視頻鏡頭內(nèi)關(guān)鍵帖圖像，標(biāo)識(shí)關(guān)鍵帖圖像，建立關(guān)鍵帖圖像索引；再用二維直方圖特征提 取模塊把計(jì)算出的關(guān)鍵帖圖像的二維直方圖特征，作為關(guān)鍵帖圖像特征參量存入特征庫(kù)； 二維直方圖特征提取模塊將計(jì)算出的待關(guān)聯(lián)查詢紅外圖像的二維直方圖特征送入關(guān)鍵帖 關(guān)聯(lián)查詢模塊；關(guān)鍵帖關(guān)聯(lián)查詢模塊計(jì)算待查詢圖像與特征庫(kù)中所有關(guān)鍵帖圖像二維直方 圖特征之間的關(guān)聯(lián)度，依據(jù)關(guān)聯(lián)度排序得到關(guān)鍵帖關(guān)聯(lián)查詢結(jié)果，視頻片段或視頻關(guān)聯(lián)查 詢模塊結(jié)合將關(guān)鍵帖關(guān)聯(lián)查詢結(jié)果與索引庫(kù)的信息，查詢出紅外視頻的關(guān)聯(lián)內(nèi)容，輸出視 頻片段或視頻關(guān)聯(lián)查詢結(jié)果。
[0013] 本發(fā)明相比于現(xiàn)有技術(shù)具有如下有益效果。
[0014] 特征提取方法簡(jiǎn)單、高效準(zhǔn)確。本發(fā)明利用二維直方圖特征進(jìn)行紅外視頻圖像的 關(guān)聯(lián)查詢，建立了索引庫(kù)，用戶預(yù)先把關(guān)鍵帖圖像存入庫(kù)中，查詢時(shí)從庫(kù)中讀出圖像并顯 示。建立了特征庫(kù)并與索引庫(kù)相關(guān)聯(lián)，提高了檢索速度，運(yùn)樣在進(jìn)行相似比較時(shí)系統(tǒng)只要計(jì) 算待查詢關(guān)聯(lián)圖像的特征值，庫(kù)中關(guān)鍵帖圖像的特征值直接從特征庫(kù)中讀取，從而大大節(jié) 約了計(jì)算時(shí)間。
[0015] 檢索效率和識(shí)別率高。本發(fā)明從大量的紅外視頻中快速找出用戶所關(guān)注的符合 視覺(jué)主觀感受、具有特定內(nèi)容的視頻片段。針對(duì)紅外圖像和視頻進(jìn)行處理，對(duì)紅外視頻進(jìn) 行鏡頭邊界檢測(cè)和關(guān)鍵帖提取，將視頻鏡頭邊界和關(guān)鍵帖的索引信息存入索引庫(kù)；將關(guān)鍵 帖圖像的二維直方圖特征信息存入特征庫(kù)；對(duì)待關(guān)聯(lián)查詢紅外圖像進(jìn)行二維直方圖特征提 取，計(jì)算待關(guān)聯(lián)查詢圖像和特征庫(kù)中關(guān)鍵帖圖像特征之間的關(guān)聯(lián)度，得出關(guān)鍵帖關(guān)聯(lián)查詢 結(jié)果；根據(jù)關(guān)鍵帖關(guān)聯(lián)查詢結(jié)果結(jié)合索引庫(kù)的索引信息得出視頻鏡頭片段或視頻關(guān)聯(lián)查詢 結(jié)果，可W快速的將同類的目標(biāo)從其他對(duì)象中識(shí)別出來(lái)。保持了單特征用于內(nèi)容檢索的正 確性。對(duì)視頻進(jìn)行基于內(nèi)容的分析，從而生成各個(gè)層次的索引信息，提高了用戶對(duì)視頻數(shù)據(jù) 的控制和訪問(wèn)能力。本發(fā)明可W利用計(jì)算機(jī)自動(dòng)捜索符合視覺(jué)主觀感受、具有特定內(nèi)容的 視頻片段，解決了紅外圖像與視頻段的關(guān)聯(lián)查詢問(wèn)題。
【附圖說(shuō)明】
[0016] 圖1是本發(fā)明關(guān)聯(lián)查詢紅外視頻圖像特定內(nèi)容的流程示意圖。
[0017] 圖2是紅外圖像的灰度直方圖。
[0018] 圖3是紅外圖像的二維直方圖。
【具體實(shí)施方式】
[001引參閱圖1在W下描述的實(shí)施例中，根據(jù)本發(fā)明關(guān)聯(lián)查詢紅外視頻圖像特定內(nèi)容的 方法流程按W下步驟：
[0020] 步驟S1，鏡頭邊界檢測(cè)模塊采用滑動(dòng)窗口截取紅外視頻段，計(jì)算出相鄰帖圖像間 的二維直方圖帖差值與滑動(dòng)窗口闊值，將帖差值與滑動(dòng)窗口闊值進(jìn)行比較，判斷確定紅外 視頻鏡頭邊界，標(biāo)識(shí)鏡頭邊界，建立鏡頭邊界索引；
[0021] 步驟S2,關(guān)鍵帖提取模塊計(jì)算每個(gè)視頻鏡頭的內(nèi)容變化率SCCR值及對(duì)應(yīng)的判決 闊值，采用視頻鏡頭內(nèi)容變化率標(biāo)識(shí)判決法抽取視頻鏡頭內(nèi)關(guān)鍵帖圖像，標(biāo)識(shí)關(guān)鍵帖圖像， 建立關(guān)鍵帖圖像索引；
[0022] 步驟S3,二維直方圖特征提取模塊計(jì)算所有關(guān)鍵帖圖像的二維直方圖特征，作為 關(guān)鍵帖圖像特征參量存入特征庫(kù)；
[0023] 步驟S4,二維直方圖特征提取模塊計(jì)算待關(guān)聯(lián)查詢紅外圖