一種基于功能磁共振成像的視頻記憶性判別方法
【專利摘要】本發(fā)明涉及一種基于功能磁共振成像的視頻記憶性判別方法，利用視頻數(shù)據(jù)庫中少量視頻數(shù)據(jù)的底層視覺特征和這些視頻數(shù)據(jù)對應(yīng)的腦功能成像空間特征構(gòu)建特征子空間模型，將沒有進行功能磁共振成像的視頻數(shù)據(jù)的底層視覺特征映射到特征子空間中，得到所有視頻數(shù)據(jù)的基于功能磁共振成像的特征，然后訓練支持向量回歸機，給定一個記憶性值未知的視頻數(shù)據(jù)，判定得到該視頻數(shù)據(jù)的記憶值。本發(fā)明可以用功能磁共振成像數(shù)據(jù)中提取的腦功能成像空間特征來指導視頻記憶性判定，將人腦認知信息應(yīng)用到視頻記憶性判定中，與傳統(tǒng)的利用底層視覺特征如顏色、形狀、紋理等進行視頻記憶性判定的方法相比，大大提高了視頻數(shù)據(jù)記憶性判定的準確率。
【專利說明】一種基于功能磁共振成像的視頻記憶性判別方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于功能磁共振成像的視頻記憶性判定方法，可以應(yīng)用于判定不同種類視頻的記憶性數(shù)值。
【背景技術(shù)】
[0002]圖像/視頻數(shù)據(jù)的記憶性問題是目前數(shù)字圖像/視頻處理領(lǐng)域新的研究方向，研究成果很少，且集中于圖像的記憶性領(lǐng)域，尚未有視頻記憶性的研究工作公布。
[0003]對于圖像的記憶性研究，方法并不是很多，目前存在的一些方法是首先提取圖像的全局特征(如SIFT，GIST，HOG等)，通過構(gòu)建分類器并訓練模型，然后判別一幅給定的圖像的記憶性。圖像的記憶性有很多的應(yīng)用。如編輯可以選擇容易被人們記住的圖像作為雜志的封面，廣告設(shè)計者可以選擇易被記住的圖像作為宣傳海報等等。因此，當給定一幅圖像，如果能用計算機自動判定出它能否被人們記住將會很有意義。
[0004]而對于視頻的記憶性問題，目前尚未有已公布的判別方法。視頻的記憶性有很廣泛的應(yīng)用，例如可以用于對視頻廣告的評價，當人們看過一段廣告視頻后，過一段時間后，仍能記住這段廣告視頻，則說明這段廣告視頻的價值是很高的，否則若過一段時間后，人們沒有記住這段廣告視頻，則說明這段廣告視頻的價值是比較低的。因此對視頻的記憶性研究有很強的現(xiàn)實意義。
[0005]功能磁共振成像是一種新興的神經(jīng)影像學方式，其原理是利用磁振造影來測量神經(jīng)元活動所引發(fā)之血液動力的改變。功能性磁共振成像能夠顯示出受外界刺激時的腦部活化區(qū)域。功能磁共振成像技術(shù)能夠準確測量人類大腦在觀測視頻數(shù)據(jù)時的反映。在測量時，對人腦中分管視覺、聽覺等功能的區(qū)域進行核磁共振成像，功能區(qū)域中的每個體素都會對應(yīng)外界視頻刺激產(chǎn)生響應(yīng)，對于某一段視頻數(shù)據(jù)，通過功能磁共振成像技術(shù)就得到每個功能區(qū)域中所有體素在一段時間上.的響應(yīng)數(shù)據(jù)，這些功能磁共振成像數(shù)據(jù)所包含的特征稱之為腦功能成像空間特征。神經(jīng)學家已經(jīng)證明，當眼睛觀看如工具、建筑和動物等不同種類的視頻數(shù)據(jù)內(nèi)容時，可以測量到不同的功能磁共振信號，國內(nèi)外已有研究工作將功能磁共振成像技術(shù)中的腦功能成像特征用于對視頻數(shù)據(jù)的分析，如視頻檢索，視頻分類等問題。但是由于功能磁共振成像實驗代價較為昂貴，往往只能得到少量視頻所對應(yīng)的功能磁共振成像數(shù)據(jù)，如何能利用少量的功能磁共振成像數(shù)據(jù)來解決大量的視頻分析問題，也是具有非常重要的意義的。

【發(fā)明內(nèi)容】

[0006]要解決的技術(shù)問題
[0007]為了解決視頻的記憶性判別問題，同時將人腦認知信息應(yīng)用到視頻記憶性判別問題中，提高視頻記憶性判別的準確性，本發(fā)明提出一種基于功能磁共振成像的視頻記憶性判別方法。
[0008]技術(shù)方案[0009]一種基于功能磁共振成像的視頻記憶性判別方法，其特征在于步驟如下:
[0010]步驟1、提取所有視頻數(shù)據(jù)的底層視覺特征:
[0011]步驟a:視頻數(shù)據(jù)庫中共包含N e [100, 1000]個視頻數(shù)據(jù)，對每個視頻數(shù)據(jù)，提取其每一秒的第一幀作為視頻數(shù)據(jù)的關(guān)鍵幀；
[0012]步驟b:利用L1-Jia Li在2010年發(fā)布的object bank程序包,對每一關(guān)鍵巾貞,利用下采樣技術(shù)得到輸入圖像的12個尺度圖像，并將這12個尺度圖像與object bank程序中的208個物體|旲板進行卷積計算，使每一關(guān)鍵巾貞得到208X 12幅響應(yīng)圖像；
[0013]再利用二插值方法，將每一關(guān)鍵幀對應(yīng)于每個模板的12個尺度的響應(yīng)圖像插值，得到相同尺寸的響應(yīng)圖像；計算每一個像素點在12個相同尺度的響應(yīng)圖像上的最大值，構(gòu)成一個最大響應(yīng)圖像；
[0014]然后求最大響應(yīng)圖像的像素平均值，得到每一關(guān)鍵幀的一個208維的特征向量，將每一視頻數(shù)據(jù)的所有關(guān)鍵幀的208維的特征做平均，得到每一視頻數(shù)據(jù)的208維的特征向量，稱之為視頻數(shù)據(jù)的object bank特征；
[0015]步驟c:首先將每一個視頻數(shù)據(jù)的關(guān)鍵幀轉(zhuǎn)換到Lab顏色空間，對每一顏色特征子空間中的圖像子層做2層小波變換，得到每一關(guān)鍵幀的每一子帶小波系數(shù)，將得到的小波系數(shù)做Le [1，256]級直方圖，利用公式E=-2iPilog(Pi)計算每一子帶的熵值；其中Pi，i=O, 1,2,…，L-1為直方圖的概率分布；
[0016]將所有子帶的熵值相加，分別得到每一顏色特征子空間的熵值EyEa，Eb;然后利用公式SC = 0.84XEl+0.08XEa+0.08 X Eb得到關(guān)鍵幀的場景復雜度特征；將每一視頻數(shù)據(jù)的所有關(guān)鍵幀的場景復雜度特征平均，得到每一視頻數(shù)據(jù)的場景復雜度特征；
[0017]步驟d:首先將每一個視頻數(shù)據(jù)的關(guān)鍵幀其轉(zhuǎn)換成灰度圖像，對灰度圖像做直方圖，其中可區(qū)分的灰度級數(shù)目為L e [1,256] ；p(Zi), i = O, 1,2, - ,L-1為對應(yīng)的直方圖，其中:z是一個代表灰度級的隨機變量；
[0018]利用公式
【權(quán)利要求】
1.一種基于功能磁共振成像的視頻記憶性判別方法，其特征在于步驟如下: 步驟1、提取所有視頻數(shù)據(jù)的底層視覺特征: 步驟a:視頻數(shù)據(jù)庫中共包含N e [100, 1000]個視頻數(shù)據(jù)，對每個視頻數(shù)據(jù)，提取其每一秒的第一幀作為視頻數(shù)據(jù)的關(guān)鍵幀； 步驟b:利用L1-Jia Li在2010年發(fā)布的object bank程序包,對每一關(guān)鍵巾貞,利用下采樣技術(shù)得到輸入圖像的12個尺度圖像，并將這12個尺度圖像與object bank程序中的208個物體|旲板進行卷積計算，使每一關(guān)鍵巾貞得到208X 12幅響應(yīng)圖像； 再利用二插值方法，將每一關(guān)鍵幀對應(yīng)于每個模板的12個尺度的響應(yīng)圖像插值，得到相同尺寸的響應(yīng)圖像；計算每一個像素點在12個相同尺度的響應(yīng)圖像上的最大值，構(gòu)成一個最大響應(yīng)圖像； 然后求最大響應(yīng)圖像的像素平均值，得到每一關(guān)鍵幀的一個208維的特征向量，將每一視頻數(shù)據(jù)的所有關(guān)鍵幀的208維的特征做平均，得到每一視頻數(shù)據(jù)的208維的特征向量，稱之為視頻數(shù)據(jù)的object bank特征； 步驟c:首先將每一個視頻數(shù)據(jù)的關(guān)鍵幀轉(zhuǎn)換到Lab顏色空間，對每一顏色特征子空間中的圖像子層做2層小波變換，得到每一關(guān)鍵幀的每一子帶小波系數(shù)，將得到的小波系數(shù)做L e [I, 256]級直方圖,利用公式Ε=-Σ 1P1i1g(Pi)計算每一子帶的熵值；其中Pi, i =O,1, 2,…，L-1為直方圖的概率分布； 將所有子帶的熵值相加，分別得到每一顏色特征子空間的熵值EyEa，Eb;然后利用公式SC = 0.84XEl+0.08XEa+0.08 XEb得到關(guān)鍵幀的場景復雜度特征；將每一視頻數(shù)據(jù)的所有關(guān)鍵幀的場景復雜度特征平均，得到每一視頻數(shù)據(jù)的場景復雜度特征； 步驟d:首先將每一個視頻數(shù)據(jù)的關(guān)鍵幀其轉(zhuǎn)換成灰度圖像，對灰度圖像做直方圖，其中可區(qū)分的灰度級數(shù)目為L e [1,256] ;$p(Zi)，i = O, 1,2,…，L-1為對應(yīng)的直方圖，其中:z是一個代表灰度級的隨機變量； 利用公式
【文檔編號】G06F17/30GK103440496SQ201310332613
【公開日】2013年12月11日 申請日期:2013年8月1日 優(yōu)先權(quán)日:2013年8月1日
【發(fā)明者】韓軍偉, 陳長遠, 郭雷, 程塨 申請人:西北工業(yè)大學