技術(shù)特征:
技術(shù)總結(jié)
本發(fā)明公開了一種利用時(shí)空注意力模型的視頻內(nèi)容描述方法。本發(fā)明通過利用時(shí)間注意力模型捕捉視頻中全局時(shí)間結(jié)構(gòu)的同時(shí),利用空間注意力模型捕捉每一幀圖片上的空間結(jié)構(gòu),目的是使視頻描述模型在把握視頻中主體事件的同時(shí)增強(qiáng)對(duì)局部信息的識(shí)別能力。具體的:首先對(duì)視頻格式進(jìn)行預(yù)處理;其次建立時(shí)空注意力模型;最后對(duì)視頻描述模型進(jìn)行訓(xùn)練和測(cè)試。本發(fā)明通過利用時(shí)間注意力模型,在保留視頻中主要的時(shí)間結(jié)構(gòu)的同時(shí),利用空間注意力模型在每幀圖片中重點(diǎn)關(guān)注一些關(guān)鍵區(qū)域,使得生成的視頻描述能在把握視頻內(nèi)容中主體事件的同時(shí)捕捉一些關(guān)鍵但有容易忽略的細(xì)節(jié)信息。
技術(shù)研發(fā)人員:涂云斌;顏成鋼;張曦珊
受保護(hù)的技術(shù)使用者:杭州電子科技大學(xué)
技術(shù)研發(fā)日:2017.04.17
技術(shù)公布日:2017.08.18