一種應(yīng)用于視頻對(duì)象檢索的對(duì)象標(biāo)志位高效編碼方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種應(yīng)用于視頻對(duì)象快速瀏覽的對(duì)象標(biāo)志位高效編碼的方法，該方法基于對(duì)象區(qū)域信息、語(yǔ)義信息生成對(duì)象標(biāo)志位來(lái)存儲(chǔ)監(jiān)控視頻。首先根據(jù)視頻對(duì)象分割結(jié)果，公開(kāi)了一種基于區(qū)域生長(zhǎng)的幀內(nèi)對(duì)象區(qū)域標(biāo)記位與基于運(yùn)動(dòng)估計(jì)的幀間對(duì)象區(qū)域標(biāo)志位編碼方案。提出一種基于對(duì)象細(xì)節(jié)描述的新的碼流格式，將提取視頻對(duì)象的語(yǔ)義信息一并寫(xiě)入碼流進(jìn)行存儲(chǔ)。本發(fā)明將高復(fù)雜度的視頻分析轉(zhuǎn)移到監(jiān)控前端，通過(guò)前端分析描述、標(biāo)記視頻對(duì)象，進(jìn)一步基于H.264幀內(nèi)、幀間的編碼特性對(duì)標(biāo)志位進(jìn)行編碼，通過(guò)減少對(duì)象標(biāo)志位編碼代價(jià)從而降低了監(jiān)控視頻的存儲(chǔ)代價(jià)，為監(jiān)控后端基于標(biāo)志位高效率地獲得感興趣對(duì)象信息成為可能。
【專(zhuān)利說(shuō)明】一種應(yīng)用于視頻對(duì)象檢索的對(duì)象標(biāo)志位高效編碼方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及對(duì)象形狀、語(yǔ)義編碼與視頻存儲(chǔ)領(lǐng)域，特別涉及一種基于對(duì)象細(xì)節(jié)描述的對(duì)象標(biāo)志位高效編碼方法。
【【背景技術(shù)】】
[0002]近些年數(shù)字視頻監(jiān)控得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，并對(duì)監(jiān)控視頻存儲(chǔ)及其應(yīng)用展開(kāi)了深入研究。監(jiān)控視頻的顯著特征是場(chǎng)景相對(duì)固定，許多研究工作基于這樣的特點(diǎn)展開(kāi)，其中主要包括監(jiān)控視頻高效存儲(chǔ)于快速瀏覽技術(shù)。
[0003]視頻快速瀏覽技術(shù)主要包括視頻摘要與視頻檢索技術(shù)。視頻摘要又稱(chēng)視頻濃縮，是對(duì)視頻內(nèi)容的一個(gè)簡(jiǎn)單概括，以自動(dòng)或半自動(dòng)的方式，先通過(guò)運(yùn)動(dòng)目標(biāo)分析，提取運(yùn)動(dòng)目標(biāo)，然后對(duì)各個(gè)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行分析，將不同的目標(biāo)拼接到一個(gè)共同的背景場(chǎng)景中，并將它們以某種方式進(jìn)行組合。一方面，這樣的拼接組合方式一定程度上會(huì)出現(xiàn)對(duì)象重疊，不能深度透析每個(gè)感興趣的對(duì)象；另一方面，視頻摘要需要進(jìn)行非常復(fù)雜的視頻分析過(guò)程，監(jiān)控后端的處理能力有限一般不能滿(mǎn)足海量視頻處理的需要。而傳統(tǒng)的視頻、圖像檢索技術(shù)是從大量的視頻數(shù)據(jù)中找到所需的視頻片段或圖片，根據(jù)所給樣例或是特征描述，系統(tǒng)自動(dòng)的找到所匹配的視頻片段點(diǎn)，通常適用于在新聞中檢索感興趣的事件、電影中檢索喜歡的情節(jié)、體育節(jié)目中檢索喜愛(ài)的體育運(yùn)動(dòng)等。
[0004]在監(jiān)控視頻應(yīng)用當(dāng)中，當(dāng)監(jiān)控人員只關(guān)心某一特征對(duì)象時(shí)，如何能整個(gè)監(jiān)控視頻的此類(lèi)特征對(duì)象短時(shí)間內(nèi)呈現(xiàn)出來(lái)，針對(duì)后端處理能力有限的問(wèn)題，能不能將高復(fù)雜度的視頻分析過(guò)程放在前端，存儲(chǔ)包含視頻分析內(nèi)容的監(jiān)控視頻，后端監(jiān)控人員直接按需獲取感興趣對(duì)象的視頻？從用戶(hù)角度講，通過(guò)什么樣的技術(shù)手段來(lái)大大減少了瀏覽用戶(hù)不感興趣視頻對(duì)象的時(shí)間從而實(shí)現(xiàn)視頻的快速瀏覽；從系統(tǒng)實(shí)現(xiàn)角度講，通過(guò)什么樣的技術(shù)手段減輕后端處理器的任務(wù)將復(fù)雜度轉(zhuǎn)移到前端？本發(fā)明旨在為上述技`術(shù)難題提供一種解決方案。
【
【發(fā)明內(nèi)容】
】
[0005]首先根據(jù)視頻對(duì)象分割結(jié)果，公開(kāi)了一種基于區(qū)域生長(zhǎng)的幀內(nèi)對(duì)象區(qū)域標(biāo)記位與基于運(yùn)動(dòng)估計(jì)的幀間對(duì)象區(qū)域標(biāo)志位編碼方案。提出一種基于對(duì)象細(xì)節(jié)描述的新的碼流格式，將提取視頻對(duì)象的語(yǔ)義信息一并寫(xiě)入碼流進(jìn)行存儲(chǔ)。本發(fā)明將高復(fù)雜度的視頻分析轉(zhuǎn)移到監(jiān)控前端，通過(guò)前端分析描述、標(biāo)記視頻對(duì)象，進(jìn)一步基于H.264幀內(nèi)、幀間的編碼特性對(duì)標(biāo)志位進(jìn)行編碼，通過(guò)減少對(duì)象標(biāo)志位編碼代價(jià)從而降低了監(jiān)控視頻的存儲(chǔ)代價(jià)，為監(jiān)控后端基于標(biāo)志位高效率地獲得感興趣對(duì)象信息成為可能。
[0006]通過(guò)對(duì)象標(biāo)志位準(zhǔn)確地描述對(duì)象區(qū)域信息等相關(guān)語(yǔ)義信息并進(jìn)行高效存儲(chǔ)，解碼端根據(jù)用戶(hù)感興趣的對(duì)象信息解碼出檢索視頻，大大了刪減視頻的冗余內(nèi)容，從而基于用戶(hù)感興趣信息對(duì)海量監(jiān)控視頻進(jìn)行快速瀏覽。對(duì)象標(biāo)志位主要描述對(duì)象區(qū)域信息與對(duì)象語(yǔ)義信息，而語(yǔ)義信息不僅包括顏色、紋理、形狀、等低層語(yǔ)義信息，而且包括對(duì)象類(lèi)別、行為特征等等高層語(yǔ)義信息。本發(fā)明旨在說(shuō)明一種應(yīng)用于視頻檢索的基于對(duì)象標(biāo)志位的編碼框架，故以對(duì)象顏色標(biāo)志位作為對(duì)象語(yǔ)義信息為例做分析說(shuō)明。
[0007]為了實(shí)現(xiàn)本發(fā)明的目的，根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明通過(guò)改變幀內(nèi)對(duì)象區(qū)域塊劃分掃描方式，進(jìn)一步基于運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償引入對(duì)象區(qū)域標(biāo)志位幀間編碼技術(shù)。
[0008]I)基于區(qū)域生長(zhǎng)的區(qū)域標(biāo)志位幀內(nèi)編碼:
[0009]根據(jù)權(quán)利要求2，對(duì)象外接矩形框?qū)⑦\(yùn)動(dòng)對(duì)象進(jìn)行標(biāo)記，并采用壓縮域塊劃分信息將矩形框內(nèi)的宏塊進(jìn)行劃分，這些子塊可以表示為Ri = Isb1, sb2, -Sb1J，子塊的中心坐標(biāo)表示為集合Ce = {sbc1; sbc2,…sbcN}。以矩形框中心(對(duì)象中心)為坐標(biāo)原點(diǎn)設(shè)定水平、垂直坐標(biāo)軸。采用歸一化各個(gè)子塊中心到矩形框中心距離:
【權(quán)利要求】
1.一種基于對(duì)象標(biāo)志位高效編碼技術(shù)的視頻對(duì)象快速瀏覽框架，其特征在于，所述方法包括: 基于H.264視頻編碼框架對(duì)原始視頻編碼的同時(shí)進(jìn)行視頻分析； 基于視頻分析結(jié)果相關(guān)的對(duì)象區(qū)域信息、語(yǔ)義信息設(shè)定對(duì)象標(biāo)志位； 基于區(qū)域生長(zhǎng)的幀內(nèi)對(duì)象區(qū)域標(biāo)記位編碼算法，能無(wú)損編碼幀內(nèi)標(biāo)志位； 基于運(yùn)動(dòng)估計(jì)、1/4像素精度運(yùn)動(dòng)補(bǔ)償?shù)膸g對(duì)象區(qū)域標(biāo)志位編碼方案，提高幀間標(biāo)志位編碼性能； 基于對(duì)象標(biāo)志位存儲(chǔ)或傳輸一種應(yīng)用于視頻檢索的監(jiān)控視頻。
2.根據(jù)權(quán)利要求1所述的基于區(qū)域生長(zhǎng)的幀內(nèi)對(duì)象區(qū)域標(biāo)記位編碼算法，根據(jù)視頻分析的對(duì)象外接矩形框進(jìn)行運(yùn)動(dòng)對(duì)象標(biāo)記，采用壓縮域塊劃分信息將矩形框內(nèi)的宏塊進(jìn)行劃分: 子塊表示為Ri = {sb1； sb2,...sbN},子塊的中心坐標(biāo)表示為集合Ce = {sbc1； sbc2,...sbcN}。以矩形框中心(對(duì)象中心)為坐標(biāo)原點(diǎn)設(shè)定水平、垂直坐標(biāo)軸。采用歸一化各個(gè)子塊中心到矩形框中心距離:
3.根據(jù)權(quán)利要求1所述的基于運(yùn)動(dòng)估計(jì)、1/4像素精度運(yùn)動(dòng)補(bǔ)償?shù)膸g對(duì)象區(qū)域標(biāo)志位編碼算法，先對(duì)每個(gè)子塊的像素點(diǎn)進(jìn)行標(biāo)記: 待標(biāo)記當(dāng)前塊smb中所有像素點(diǎn)基于1/4像素精度進(jìn)行幀間預(yù)編碼，將參考幀中運(yùn)動(dòng)對(duì)象的外接矩形框中的子塊分為三類(lèi):前景區(qū)域(F)、背景區(qū)域(B)、邊界區(qū)域(C)，接下來(lái)根據(jù)運(yùn)動(dòng)矢量MV(mvx，mvy)進(jìn)行預(yù)測(cè)，預(yù)測(cè)策略如下:
4.根據(jù)權(quán)利要求3所述對(duì)每個(gè)子塊的像素點(diǎn)標(biāo)記后，判定每個(gè)子塊的標(biāo)志位:
5.根據(jù)權(quán)利要求1所述，基于對(duì)象標(biāo)志位存儲(chǔ)或傳輸一種應(yīng)用于視頻檢索的監(jiān)控視頻: 首先提取運(yùn)動(dòng)對(duì)象的RGB顏色模型，經(jīng)過(guò)一種線(xiàn)性變換得到HSV顏色空間模型，對(duì)轉(zhuǎn)換后的HSV模型進(jìn)行顏色量化，將h，s，V三個(gè)分量按人眼顏色感知進(jìn)行非等間隔的量化，通過(guò)對(duì)HSV顏色模型的大量分析及比較，本文將色調(diào)h劃分成7份，飽和度s分成3份，亮度V分成3份，根據(jù)色彩的不同范圍進(jìn)行量化，量化后的色調(diào)、飽和度和亮度值分別為H，S，V:
【文檔編號(hào)】H04N19/186GK103873864SQ201410126655
【公開(kāi)日】2014年6月18日 申請(qǐng)日期:2014年3月31日 優(yōu)先權(quán)日:2014年3月31日
【發(fā)明者】梁久禎, 王小龍 申請(qǐng)人:江南大學(xué)