一種視頻可視化處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種視頻可視化處理方法及系統(tǒng)，其中該方法包括：獲取視頻中的視頻信息，對所述視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取所述視頻信息對應(yīng)的視頻結(jié)構(gòu)信息；獲取視頻中的音頻信息，對所述音頻信息進(jìn)行處理，獲取所述音頻信息對應(yīng)的音頻內(nèi)容信息；根據(jù)所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息對所述視頻進(jìn)行顯示處理；在本發(fā)明實(shí)施例中，通過多層次、多角度、集中地呈現(xiàn)視頻內(nèi)容和整體結(jié)構(gòu)，有效突出視頻的重點(diǎn)內(nèi)容、中心主題，友好地與用戶進(jìn)行交互，能有效的幫助用戶快速理解視頻內(nèi)容，提高用戶使用體驗(yàn)感。
【專利說明】
一種視頻可視化處理方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及視頻顯示技術(shù)領(lǐng)域，尤其涉及一種視頻可視化處理方法及系統(tǒng)。
【背景技術(shù)】
[0002] 近年來，為了滿足信息時代快速有效的獲取或篩選信息的需求，越來越多的人開 始關(guān)注信息可視化，并開始探索可視化在各個領(lǐng)域中的應(yīng)用，各種創(chuàng)新型可視化案例紛紛 涌現(xiàn)，數(shù)據(jù)信息可視化的理論研究和實(shí)踐也趨于成熟，可視化已然成為各個領(lǐng)域處理數(shù)據(jù) 信息的一種高效方法。
[0003] 在數(shù)據(jù)信息爆炸的信息時代中，隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的高速發(fā)展，視頻成 為獲取信息的重要來源，視頻作為承載信息內(nèi)容最豐富的一種媒介形式，相對于其他的媒 介而言，視頻傳遞的信息內(nèi)容更為生動、直觀和有效，因此，用戶更加青睞于在視頻中獲取 信息內(nèi)容。
[0004] 但是，網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)相對較為成熟，視頻的數(shù)量呈爆炸式增長，各類視頻 資源也非常的豐富，而視頻存在數(shù)據(jù)結(jié)構(gòu)復(fù)雜、視頻數(shù)據(jù)單元關(guān)系不明確、視頻內(nèi)容提取困 難、視頻數(shù)據(jù)語義理解模糊、存在語義鴻溝的問題;大多數(shù)的視頻都是通過標(biāo)題和一張圖片 信息來表示該視頻的主要內(nèi)容摘要，往往會無法將視頻中的內(nèi)容簡介完整、清晰的展示給 用戶，用戶也會因?yàn)橥ㄟ^視頻標(biāo)題或視頻的一張圖片信息無法準(zhǔn)確無誤的快速找到需要的 視頻信息，加大了用戶尋找合適的視頻信息的難度，極大的降低了用戶使用體驗(yàn)度。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種視頻可視化處理方法 及系統(tǒng)，通過多層次、多角度、集中地呈現(xiàn)視頻內(nèi)容和整體結(jié)構(gòu)，有效突出視頻的重點(diǎn)內(nèi)容、 中心主題，用戶交互友好，能有效的幫助用戶快速理解視頻內(nèi)容，提高用戶使用體驗(yàn)感。
[0006] 為了解決上述技術(shù)問題，本發(fā)明提供了一種視頻可視化處理方法，所述方法包括：
[0007] 獲取視頻中的視頻信息，對所述視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取所述視頻信息對 應(yīng)的視頻結(jié)構(gòu)信息；
[0008] 獲取視頻中的音頻信息，對所述音頻信息進(jìn)行處理，獲取所述音頻信息對應(yīng)的音 頻內(nèi)容信息；
[0009] 根據(jù)所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息對所述視頻進(jìn)行顯示處理。
[0010] 優(yōu)選地，所述根據(jù)所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息對所述視頻進(jìn)行顯示處 理的步驟，包括：
[0011] 構(gòu)建視頻可視化框架；
[0012] 將所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息填入所述視頻可視化框架，獲取填入完 成的視頻可視化框架；
[0013] 將所述填入完成的視頻可視化框架進(jìn)行顯示。
[0014] 優(yōu)選地，所述視頻可視化框架為環(huán)形層次框架，所述環(huán)形層次框架至少包括兩層。
[0015] 優(yōu)選地，所述構(gòu)建視頻可視化框架的步驟，包括：
[0016] 獲取所述視頻可視化框架各層之間的距離關(guān)系；
[0017] 根據(jù)所述距離關(guān)系構(gòu)建五層視頻可視化框架；
[0018] 所述五層視頻可視化框架包括：中心層、第二層、第三層、第四層和外層;所述視頻 可視化框架中各層的距離關(guān)系為：
[0020]其中，中心層、第二層、第三層、第四層和外層的到中心的距離分別為RhRhRhlU、 R5; m為中心層到第二層內(nèi)圈的距離，cn、(^為心的倍數(shù)參數(shù)，β!、β2為m的倍數(shù)參數(shù)。
[0021 ]優(yōu)選地，所述獲取視頻中的視頻信息，對所述視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取所述 視頻信息對應(yīng)的視頻結(jié)構(gòu)信息步驟，包括：
[0022]根據(jù)視頻庫獲取所述視頻或根據(jù)用戶關(guān)鍵字檢索的方式獲取所述視頻；
[0023]獲取所述視頻中的視頻信息；
[0024] 對所述視頻信息進(jìn)行鏡頭切割、關(guān)鍵幀提取和場景檢測處理，獲取所述視頻信息 對應(yīng)的視頻結(jié)構(gòu)信息；
[0025] 其中，所述視頻結(jié)構(gòu)信息包括主題信息、幀率信息、關(guān)鍵幀信息和時間線信息。
[0026] 優(yōu)選地，所述獲取視頻中的音頻信息，對所述音頻信息進(jìn)行處理，獲取所述音頻信 息對應(yīng)的音頻內(nèi)容信息的步驟，包括：
[0027]獲取所述視頻中的音頻信息；
[0028]對所述音頻信息進(jìn)行分類處理，將所述音頻信息分為人物音頻信息、環(huán)境音頻信 息和背景音樂信息；
[0029]對所述人物音頻信息進(jìn)行文字轉(zhuǎn)化處理，獲取處理后的文字信息；
[0030]對所述文字信息進(jìn)行語義分析，對所述文字信息進(jìn)行預(yù)處理，獲取預(yù)處理文字信 息；
[0031 ]根據(jù)所述預(yù)處理文字信息獲取所述文字信息中的主題信息和關(guān)鍵詞信息；
[0032] 其中，所述音頻信息內(nèi)容基本信息包括:主題信息、關(guān)鍵詞信息、環(huán)境音頻信息和 背景音樂信息。
[0033] 優(yōu)選地，所述根據(jù)所述預(yù)處理文字信息獲取所述文字信息中的主題和關(guān)鍵詞的步 驟，包括：
[0034] 對所述預(yù)處理文字信息進(jìn)行主題抽取以及主題的詞頻統(tǒng)計(jì)，獲取統(tǒng)計(jì)結(jié)果；
[0035] 根據(jù)所述統(tǒng)計(jì)結(jié)果采用結(jié)合主題詞庫對主題進(jìn)行分類和注釋，獲取結(jié)構(gòu)化文檔，
[0036] 根據(jù)所述結(jié)構(gòu)文檔，獲取所述文字信息中的主題信息和關(guān)鍵詞信息。
[0037] 優(yōu)選地，所述將所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息填入所述視頻可視化框 架，獲取填入完成的視頻可視化框架的步驟，包括：
[0038] 向所述中心層填入主題信息和人物圖片信息；
[0039] 向所述第二層填入關(guān)鍵幀信息、向所述第三層填入幀序列信息；
[0040]向所述第四層填入時間軸信息；
[0041 ]向所述外層填入主題信息和關(guān)鍵字信息。
[0042]另外，本發(fā)明還提供了一種視頻可視化處理系統(tǒng)，所述系統(tǒng)包括：
[0043]視頻信息處理模塊：用于獲取視頻中的視頻信息，對所述視頻信息進(jìn)行結(jié)構(gòu)化處 理，獲取所述視頻信息對應(yīng)的視頻結(jié)構(gòu)信息；
[0044]音頻信息處理模塊:用于獲取視頻中的音頻信息，對所述音頻信息進(jìn)行處理，獲取 所述音頻信息對應(yīng)的音頻內(nèi)容信息；
[0045]顯示處理模塊:用于根據(jù)所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息對所述視頻進(jìn)行 顯示處理。
[0046] 優(yōu)選地，所述顯示處理模塊包括：
[0047] 構(gòu)建單元:用于構(gòu)建視頻可視化框架；
[0048] 內(nèi)容填入單元:用于將所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息填入所述視頻可視 化框架，獲取填入完成的視頻可視化框架；
[0049] 顯示單元:用于將所述填入完成的視頻可視化框架進(jìn)行顯示。
[0050] 在本發(fā)明實(shí)施例中，通過對視頻進(jìn)行可視化處理，將視頻數(shù)據(jù)的結(jié)構(gòu)簡單化、明確 視頻數(shù)據(jù)之間的關(guān)系和提取視頻的關(guān)鍵內(nèi)容，采用多層次、多角度集中地呈現(xiàn)視頻內(nèi)容和 整體結(jié)構(gòu)，有效突出視頻的重點(diǎn)內(nèi)容、中心主題，將視頻的重點(diǎn)內(nèi)容和中心主題顯示給用 戶，幫助用戶快速準(zhǔn)確了解視頻的主要內(nèi)容，使用戶快速找到合適自己的視頻信息，增加了 用戶在獲取視頻信息時的交互友好度，提高用戶使用體驗(yàn)感。
【附圖說明】
[0051] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其它的附圖。
[0052] 圖1是本發(fā)明實(shí)施例中視頻可視化處理方法的方法流程示意圖；
[0053]圖2是本發(fā)明實(shí)施例中對音頻信息處理的流程示意圖；
[0054]圖3是本發(fā)明實(shí)施例中視頻可視化顯示的流程示意圖；
[0055]圖4是本發(fā)明實(shí)施例中視頻可視化框架填入完成的效果圖；
[0056]圖5是本發(fā)明實(shí)施例中視頻可視化處理系統(tǒng)的系統(tǒng)結(jié)構(gòu)組成示意圖；
[0057]圖6是本發(fā)明實(shí)施例中音頻處理模塊的結(jié)構(gòu)組成示意圖；
[0058]圖7是本發(fā)明實(shí)施例中顯示模塊的結(jié)構(gòu)組成示意圖；
[0059] 圖8是本發(fā)明實(shí)施例中內(nèi)容填入單元的結(jié)構(gòu)組成示意圖。
【具體實(shí)施方式】
[0060] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0061] 圖1是本發(fā)明實(shí)施例中視頻可視化處理方法的方法流程示意圖，如圖1所示，該方 法包括：
[0062] S11:獲取視頻中的視頻信息，對視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取視頻信息對應(yīng)的 視頻結(jié)構(gòu)信息；
[0063] S12:獲取視頻中的音頻信息，對音頻信息進(jìn)行處理，獲取音頻信息對應(yīng)的音頻內(nèi) 容信息；
[0064] S13:根據(jù)視頻結(jié)構(gòu)信息和音頻內(nèi)容信息對視頻顯示處理。
[0065] 對S11作進(jìn)一步說明：
[0066] 通過網(wǎng)絡(luò)爬蟲的方式在視頻數(shù)據(jù)庫中獲取數(shù)據(jù)庫中的視頻或者按照用戶的要求 檢索的方式獲取到視頻，對獲取到的視頻進(jìn)行處理，獲取視頻信息對應(yīng)的視頻結(jié)構(gòu)信息;對 視頻信息進(jìn)行視頻結(jié)構(gòu)化處理;結(jié)構(gòu)化處理是通過鏡頭切割、關(guān)鍵幀提取和場景檢測等方 法見視頻的結(jié)構(gòu)分為視頻、場景、鏡頭和圖像幀四個級別，提取視頻特征;利用基于全局特 征的檢測等鏡頭分割方法對鏡頭進(jìn)行分割，利用基于鏡頭邊界等關(guān)鍵幀提取法對關(guān)鍵幀進(jìn) 行提取，利用基于HMM和BAYes等統(tǒng)計(jì)方法的場景檢測算法視頻信息場景檢測，獲取到視頻 信息中的視頻主題信息、幀率信息、關(guān)鍵幀信息和時間線信息等信息。
[0067] 對獲取的關(guān)鍵幀信息采用KNN算法進(jìn)行聚類，將關(guān)鍵幀信息進(jìn)行分類將雜亂的關(guān) 鍵幀信息進(jìn)行3-5個甚至多個類別的劃分，得到符合要求的關(guān)鍵幀序列信息;例如劃分出任 務(wù)幀信息、環(huán)境幀信息以及主題信息要點(diǎn)相關(guān)的幀信息。
[0068] 對S12作進(jìn)一步說明：
[0069] 首先對視頻進(jìn)行音頻分離處理，獲取視頻中的音頻信息，然后對音頻信息進(jìn)行分 類處理，將音頻信息分類為:人物音頻信息、環(huán)境音頻信息和背景音樂信息;采用ASR技術(shù)對 人物音頻信息進(jìn)行處理，將人物音頻信息轉(zhuǎn)化成文字信息，對該文字信息進(jìn)行語義分析，通 過分詞技術(shù)和詞干提取的方法對文字信息進(jìn)行預(yù)處理，獲取預(yù)處理的文字信息，對預(yù)處理 的文字信息進(jìn)行主題抽取以及主題的詞頻統(tǒng)計(jì)，對獲取的預(yù)處理文字信息采用結(jié)合主題詞 庫對主題進(jìn)行分類和注釋，形成結(jié)構(gòu)化文檔，獲取主題詞和關(guān)鍵詞；該主題詞庫是指針對特 定類別的視頻建立的相應(yīng)的主題詞庫。
[0070] 其中，該音頻信息內(nèi)容基本信息包括:主題信息、關(guān)鍵詞信息、環(huán)境音頻信息和背 景音樂信息。
[0071] 在本實(shí)施例中采用ASR技術(shù)對音頻信息進(jìn)行處理，能夠更完整的獲取到音頻信息 中的內(nèi)容信息并轉(zhuǎn)化為文字信息。
[0072] 圖2是本發(fā)明實(shí)施例中對音頻信息處理的流程示意圖，結(jié)合圖2對S12進(jìn)行說明： [0073] S121:獲取視頻中的音頻信息；
[0074] S122:對音頻信息分類處理，將該音頻信息分為人物音頻信息、環(huán)境音頻信息和背 景音樂信息；
[0075] S123:對人物音頻信息進(jìn)行文字轉(zhuǎn)化處理，獲取處理后的文字信息；
[0076] S124:對文字信息進(jìn)行語義分析，對該文字信息進(jìn)行預(yù)處理，獲取預(yù)處理文字信 息；
[0077] S125:根據(jù)該預(yù)處理文字信息獲取文字信息中的主題信息和關(guān)鍵詞信息；
[0078] 對S121作進(jìn)一步說明：
[0079] 采用音頻過濾的方式，在視頻中將音頻信息過濾出來，獲取音頻信息。
[0080] 對S122作進(jìn)一步說明：
[0081 ]對獲取到音頻信息，采用音頻分類器將音頻信息分類為:人物音頻信息、環(huán)境音頻 信息和背景音樂信息。
[0082] 對S123作進(jìn)一步說明：
[0083] 采用ASR技術(shù)(或其他的音頻文字轉(zhuǎn)換技術(shù))對人物音頻信息進(jìn)行處理，將人物音 頻信息轉(zhuǎn)化為文字信息，從而獲取到文字信息。
[0084] 對S124作進(jìn)一步說明：
[0085] 對獲取的文字信息進(jìn)行語義分析，分析之后通過分詞方式和詞干提取的方法對文 字信息進(jìn)行預(yù)處理，獲取預(yù)處理文字信息。
[0086] 對S125作進(jìn)一步說明：
[0087]對預(yù)處理文字信息進(jìn)行主題抽取以及主題的詞頻統(tǒng)計(jì)，對獲取的預(yù)處理文字信息 采用結(jié)合主題詞庫對主題進(jìn)行分類和注釋，形成結(jié)構(gòu)化文檔，獲取主題詞和關(guān)鍵詞；該主題 詞庫是指針對特定類別的視頻建立的相應(yīng)的主題詞庫。
[0088] 對S13作進(jìn)一步說明：
[0089] 首先是構(gòu)建視頻可視化框架，該視頻可視化框架視頻可視化框架為環(huán)形層次框 架，該環(huán)形層次框架至少包括兩層，然后將視頻結(jié)構(gòu)信息和音頻內(nèi)容信息填入視頻可視化 框架，獲取填充完成的視頻可視化框架，最后將該填充完成的視頻可視化框架進(jìn)行顯示。
[0090] 圖3是本發(fā)明實(shí)施例中視頻可視化顯示的流程示意圖，結(jié)合圖3對S13進(jìn)行說明：
[0091] S131:構(gòu)建視頻可視化框架；
[0092] S132:將視頻結(jié)構(gòu)信息和音頻內(nèi)容信息填充至視頻可視化框架，獲取填充完成的 視頻可視化框架；
[0093] S133:將填充完成的視頻可視化框架進(jìn)行顯示。
[0094] 對S131作進(jìn)一步說明：
[0095] 構(gòu)建的視頻可視化框架為環(huán)形層次框架，該環(huán)形層次框架至少包括兩層;該環(huán)形 層次框架可以是圓環(huán)形、方環(huán)形和其他規(guī)則或不規(guī)則的環(huán)形層次框架。
[0096] 在本實(shí)施例中，構(gòu)建層次視頻可視化展示框架在本實(shí)施例中所構(gòu)建的層數(shù)為5層， 并且構(gòu)建的框架為圓環(huán)形。
[0097] 本框架的構(gòu)建可以根據(jù)用戶的需求進(jìn)行設(shè)計(jì)，并不僅僅局限于圓環(huán)形，在本實(shí)施 例中，采用圓環(huán)形層次框架是因?yàn)閳A環(huán)形層次框架具有更好的顯示效果。
[0098]首先獲取視頻可視化框架各層之間的距離關(guān)系;然后根據(jù)該距離關(guān)系構(gòu)建五層視 頻可視化框架；
[0099]所構(gòu)建的層次視頻可視化展示框架中的框架分為：中心層(第一層）、第二層、第三 層、第四層和外層(第五層），其中，假設(shè)構(gòu)建該框架的中心層、第二層、第三層、第四層和外 層的到中心的距離分別為Ri、R 2、R3、R4、R5，其對應(yīng)關(guān)系為：
[0101 ] 其中，m為中心層到第二層內(nèi)圈的距離，通過設(shè)定Ri、m以及與Ri、m相關(guān)的倍數(shù) 為1^的倍數(shù)參數(shù)，的倍數(shù)參數(shù)，即可確定各層到中心的距離關(guān)系；當(dāng)
，在該次視頻可視化展示框架展示的視頻的視覺效 果更好。
[0102] 對S132作進(jìn)一步說明：
[0103]確定中心層填入主題信息與人物圖片信息、第二層填入關(guān)鍵幀信息、第三層填入 幀序列信息、第四層填入時間軸信息以及外層填入主題信息和關(guān)鍵字信息;根據(jù)視頻結(jié)構(gòu) 信息和音頻內(nèi)容信息向視頻可視化框架各層填入對應(yīng)的內(nèi)容信息。
[0104] 其中，向該中心層填入主題信息與人物圖片信息包括：
[0105] 采用基于色彩提取的方法在關(guān)鍵幀信息中獲取人物圖片信息的關(guān)鍵幀信息;在人 物圖片信息的關(guān)鍵幀信息中截取人物圖片信息，將人物圖片信息放縮至中心層到中心距離 一半的大小，獲取放縮人物圖片信息；將在視頻信息中獲取的主題信息和音頻信息提取到 的主題信息作為顯示主題信息；將放縮人物圖片信息填充至中心層中間，將顯示主題信息 填充至放縮人物圖片信息外圍的中心層中。
[0106] 向該第二層填入關(guān)鍵幀信息，重點(diǎn)突出以主題內(nèi)容對應(yīng)的關(guān)鍵幀信息，使用戶能 夠快速的把握視頻主要內(nèi)容，了解視頻內(nèi)容的形式和風(fēng)格;為了快速準(zhǔn)確的填入關(guān)鍵幀學(xué) 習(xí)，本實(shí)施例提出了一種利用包圍盒優(yōu)化呈現(xiàn)關(guān)鍵幀內(nèi)容的方法向第二層填入關(guān)鍵幀信 息，該方法的步驟包括：
[0107] 步驟1:采用直線按順序連接第二層邊界各個頂點(diǎn)，獲取長度分別為&1、&2、 &3、&4的 邊界，其中a2 = a4 = aiRi;
[0108] 步驟2:根據(jù)上述連接形成包圍盒的長為第二層邊界成的長度a3,寬為邊界頂點(diǎn)到 邊界最遠(yuǎn)點(diǎn)的距離：
[0109]步驟3:當(dāng)&1>&2時，關(guān)鍵幀的長與包圍盒的長對應(yīng)，等比例放縮，并將放縮后的關(guān) 鍵幀置于邊界區(qū)域內(nèi)；
[0110] 步驟4:當(dāng)包圍盒的長大寬時，且長寬比大于16:9,將關(guān)鍵幀的寬定為，并將關(guān) 鍵幀放置于圓弧中心區(qū)域，對區(qū)域進(jìn)行覆蓋；
[0111] 步驟5:當(dāng)&1<&2時，將關(guān)鍵幀的長與包圍盒的寬對應(yīng)，等比例放縮，并將放縮關(guān)鍵 幀放置于邊界區(qū)域內(nèi)；
[0112] 步驟6:保存放置有關(guān)鍵幀的邊界區(qū)域，將邊界外的多余信息刪除。
[0113] 其中，D為邊界頂點(diǎn)到邊界最遠(yuǎn)點(diǎn)的距離，是中心層到中心的距離，R2是第二層到 中心的距離，m為中心層到第二層內(nèi)圈的距離，(^為心倍數(shù)參數(shù)，仏為!!!的倍數(shù)參數(shù)。采用上述 步驟就能快速準(zhǔn)確的將關(guān)鍵幀填入第二層中。
[0114] 向第三層填入幀序列信息，通過對視頻幀的色彩提取的方式獲取幀序列變化信 息，根據(jù)幀序列變化信息向第三層填入詳細(xì)幀序列;本實(shí)施例提出了一種基于固定區(qū)域的 色彩分層表現(xiàn)詳細(xì)幀序列的算法，實(shí)現(xiàn)詳細(xì)幀序列填入，該算法流程包括：
[0115] 步驟1:設(shè)第二層的關(guān)鍵幀序列長度為X，那么獲取的第三層關(guān)鍵幀對應(yīng)的詳細(xì)幀 序列長度為Y，每一關(guān)鍵幀Xi對應(yīng)的詳細(xì)幀序列長度為Yi;
[0116] 步驟2:設(shè)定在圓弧區(qū)域色彩化表現(xiàn)每幀畫面的大小。設(shè)表現(xiàn)大小為內(nèi)環(huán)對應(yīng)圓弧 的度數(shù)Θ，其中，# e Ρπ360°/Ζ]，則詳細(xì)幀的數(shù)量Μ? = Υ?/Υ*23?/θ;
[0117] 步驟3:對這些關(guān)鍵幀序列做RGB的色彩提取，獲得每個關(guān)鍵幀的RGB的分布，得到 各色的色彩比例；
[0118]步驟4:把每個關(guān)鍵幀獲取的RGB比例劃分第三層圓弧的寬，其中心為中心層到 中心的距離，α2為Ri的倍數(shù)參數(shù)；
[0119]步驟5:最后通過已知角度Θ和第三層圓弧的寬得到相關(guān)區(qū)域以及可以畫的詳細(xì)幀 數(shù)量Mi，填充對應(yīng)的顏色即可。
[0120] 根據(jù)上述算法，即可將詳細(xì)幀序列填入第三層。
[0121] 向第四層填入時間軸信息，既是向第四層填入以時間軸為載體的信息呈現(xiàn)，在時 間軸上以顏色的方式對視頻內(nèi)容進(jìn)行標(biāo)注。
[0122] 以視頻的時間軸為切割主線，以鏡頭的切割為依據(jù)，將切割的鏡頭再一次分類，以 此將時間軸切割后分為幾類，用幾種不同的顏色表示。例如，紅色表示主要人物、藍(lán)色為背 景、黑色為主題內(nèi)容展示畫面、通過黃色表示精彩點(diǎn)；根據(jù)對與平行線的處理，對獲取的背 景音樂和環(huán)境信息(如掌聲)通過不同的圓圈亮點(diǎn)和顏色的方式在第四層上標(biāo)注顯示;時間 軸與其它層之間存在層層對應(yīng)的關(guān)系，通過點(diǎn)擊其它層的內(nèi)容，時間軸上會顯示相關(guān)的時 間段或時間點(diǎn)，有助于用戶之間把握相關(guān)內(nèi)容呈現(xiàn)在視頻中的位置;該時間軸還能標(biāo)注視 頻的長度，同時還能控制視頻的播放進(jìn)度。
[0123] 向外層填入主題信息和關(guān)鍵字信息包括將獲取的主題信息和關(guān)鍵字信息在時間 軸上出現(xiàn)的時間點(diǎn)相關(guān)聯(lián)，并將主題信息和關(guān)鍵字信息根據(jù)時間軸上的時間填入外層。
[0124] 進(jìn)一步是外層則展現(xiàn)通過提取的音頻對視頻語義進(jìn)行分析后得到的主題內(nèi)容以 及關(guān)鍵詞，讓用戶通過簡單的文字閱讀，加深用戶對視頻內(nèi)容的理解;通過對音頻信息的處 理，將獲取的主題內(nèi)容與出現(xiàn)的時間點(diǎn)關(guān)聯(lián)，將其環(huán)繞于第四層圓環(huán);主題內(nèi)容的提取也將 根據(jù)視頻的類型確定展現(xiàn)思路。例如，以演講類視頻為例，主題內(nèi)容的展現(xiàn)流程:提出問題_ 例子-觀點(diǎn)-總結(jié)-反思(或例子)等這種形式，又如新聞類視頻，主題內(nèi)容展現(xiàn)流程:事件發(fā) 生的時間-地點(diǎn)-人物-時間-態(tài)度等這些內(nèi)容;通過語句里面的關(guān)鍵詞及其詞頻，作為輔助 展現(xiàn);外層主要是通過文字的方式去展現(xiàn)整個視頻的主題內(nèi)容與結(jié)構(gòu)，是更高層的語義分 析。
[0125] 在本實(shí)施例中，通過不同的方式將不同的信息內(nèi)容填入該環(huán)形層次框架中，方便 用戶通過該環(huán)形層次框架了解其對應(yīng)的視頻的主要內(nèi)容信息。
[0126] 將需要填入的信息填入該視頻可視化框架之后獲取到的框架效果圖如圖4所示， 其中A表示主要人物，B表示精彩點(diǎn)，C表示主題要點(diǎn)，D表示環(huán)境。
[0127] 圖5是本發(fā)明實(shí)施例中視頻可視化處理系統(tǒng)的系統(tǒng)結(jié)構(gòu)組成示意圖，如圖5所示， 本發(fā)明實(shí)施例還提供了一種視頻可視化處理系統(tǒng)，系統(tǒng)包括：
[0128] 視頻信息處理模塊11:用于獲取視頻中的視頻信息，對視頻信息進(jìn)行結(jié)構(gòu)化處理， 獲取視頻信息對應(yīng)的視頻結(jié)構(gòu)信息；
[0129] 音頻信息處理模塊12:用于獲取視頻中的音頻信息，對音頻信息進(jìn)行處理，獲取音 頻信息對應(yīng)的音頻內(nèi)容信息；
[0130]顯示處理模塊13:用于根據(jù)視頻結(jié)構(gòu)信息和音頻內(nèi)容信息對視頻進(jìn)行顯示處理。
[0131] 優(yōu)選地，如圖7所示，顯示處理模塊13包括：
[0132] 構(gòu)建單元131:用于構(gòu)建視頻可視化框架；
[0133] 內(nèi)容填入單元132:用于將視頻結(jié)構(gòu)信息和音頻內(nèi)容信息填入視頻可視化框架，獲 取填入完成的視頻可視化框架；
[0134] 顯示單元133:用于將填入完成的視頻可視化框架進(jìn)行顯示。
[0135] 需要說明的是，首先采用構(gòu)建單元131構(gòu)建視頻可視化框架，在構(gòu)建好視頻可視化 框架后，采用內(nèi)容填入單元132將視頻結(jié)構(gòu)信息和音頻內(nèi)容信息填入該視頻可視化框架中， 最后采用顯示單元133將填入完成的視頻可視化框架進(jìn)行顯示。
[0136] 優(yōu)選地，視頻可視化框架為環(huán)形層次框架，該環(huán)形層次框架至少包括兩層。
[0137] 在具體實(shí)施過程中，所構(gòu)建的視頻可視化框架為環(huán)形層次框架，該環(huán)形層次框架 至少包括兩層，該環(huán)形層次框架可以是圓環(huán)形、方環(huán)形和其他規(guī)則或不規(guī)則的環(huán)形層次框 架。
[0138] 本框架的構(gòu)建可以根據(jù)用戶的需求進(jìn)行設(shè)計(jì)，并不僅僅局限于圓環(huán)形，在本實(shí)施 例中，采用圓環(huán)形層次框架是因?yàn)閳A環(huán)形層次框架具有更好的顯示效果。
[0139] 優(yōu)選地，構(gòu)建單元131包括：
[0140]距離獲取子單元:用于獲取視頻可視化框架各層之間的距離關(guān)系；
[0141]框架構(gòu)建子單元:用于根據(jù)距離關(guān)系構(gòu)建五層視頻可視化框架；
[0142]需要說明的是，該五層視頻可視化框架包括：中心層、第二層、第三層、第四層和外 層;該視頻可視化框架中各層的距離關(guān)系為：
[0144] 其中，中心層、第二層、第三層、第四層和外層的到中心的距離分別為心、1?2、1?3、1? 4、 R5 ;m為中心層到第二層內(nèi)圈的距離，CH、(^為心的倍數(shù)參數(shù)，βχ、β2為m的倍數(shù)參數(shù)，g卩可確定 各層到中心的距離關(guān)系；
，在該次視頻可視化展示 框架展示的視頻的視覺效果更好。優(yōu)選地，視頻信息處理模塊11包括：
[0145] 視頻獲取單元：用于根據(jù)視頻庫獲取視頻或根據(jù)用戶關(guān)鍵字檢索的方式獲取視 頻；
[0146] 視頻信息獲取單元:用于根據(jù)視頻獲取視頻中的視頻信息；
[0147] 處理單元:用于對視頻信息進(jìn)行幀分割、關(guān)鍵幀提取和場景檢測處理，獲取視頻信 息對應(yīng)的視頻結(jié)構(gòu)信息；
[0148] 其中，視頻結(jié)構(gòu)信息包括主題信息、幀率信息、關(guān)鍵幀信息和時間線信息。
[0149] 需要說明的是，通過視頻獲取單元獲取到數(shù)據(jù)庫中的視頻或獲取到根據(jù)用戶檢索 關(guān)鍵字檢索反饋的視頻，采用視頻信息獲取單元來獲取視頻中的視頻信息，采用處理單元 對獲取到的視頻信息進(jìn)行視頻結(jié)構(gòu)化處理，利用特征提取的方式對視頻信息進(jìn)行視頻特征 提取，對視頻信息進(jìn)行鏡頭幀分割、關(guān)鍵幀提取和視頻信息場景檢測，獲取到視頻信息中的 視頻主題信息、幀率信息、關(guān)鍵幀信息和時間線信息等信息。
[0150] 進(jìn)一步的，對獲取的關(guān)鍵幀信息采用KNN算法進(jìn)行聚類，將關(guān)鍵幀信息進(jìn)行分類將 雜亂的關(guān)鍵幀信息進(jìn)行3-5個甚至多個類別的劃分，得到符合要求的關(guān)鍵幀序列信息;例如 劃分出任務(wù)幀信息、環(huán)境幀信息以及主題信息要點(diǎn)相關(guān)的幀信息。
[0151] 優(yōu)選地，如圖6所示，音頻信息處理模塊12包括：
[0152] 音頻信息獲取單元121:用于根據(jù)視頻獲取視頻中的音頻信息；
[0153]分類處理單元122:用于對視音頻信息進(jìn)行分類處理，將音頻信息分為人物音頻信 息、環(huán)境音頻信息和背景音樂信息；
[0154]文字轉(zhuǎn)化單元123:用于對人物音頻信息進(jìn)行文字轉(zhuǎn)化處理，獲取處理后的文字信 息；
[0155] 預(yù)處理單元124:用于對文字信息進(jìn)行語義分析，對文字信息進(jìn)行預(yù)處理，獲取預(yù) 處理文字信息；
[0156] 信息獲取單元125:用于根據(jù)預(yù)處理文字信息獲取文字信息中的主題信息和關(guān)鍵 詞信息；
[0157] 其中，音頻信息內(nèi)容基本信息包括:主題信息、關(guān)鍵詞信息、環(huán)境音頻信息和背景 音樂信息。
[0158] 需要說明的是，首先采用音頻信息獲取單元121對視頻進(jìn)行音頻分離處理，獲取視 頻中的音頻信息，將該音頻信息傳遞至分類處理單元122,采用分類處理單元122對音頻信 息進(jìn)行分類處理，將音頻信息分類為:人物音頻信息、環(huán)境音頻信息和背景音樂信息;將分 類獲取到的人物音頻信息傳至文字轉(zhuǎn)化單元123,在文字轉(zhuǎn)化單元123中采用ASR技術(shù)對人 物音頻信息進(jìn)行處理，將人物音頻信息轉(zhuǎn)化成文字信息，將文字信息傳至預(yù)處理單元124， 對該文字信息進(jìn)行語義分析，分析之后通過分詞方式和詞干提取的方法對文字信息進(jìn)行預(yù) 處理，獲取預(yù)處理文字信息；最后采用信息獲取單元125對對預(yù)處理文字信息進(jìn)行主題抽取 以及主題的詞頻統(tǒng)計(jì)，對獲取的預(yù)處理文字信息采用結(jié)合主題詞庫對主題進(jìn)行分類和注 釋，形成結(jié)構(gòu)化文檔，獲取主題詞和關(guān)鍵詞;該主題詞庫是指針對特定類別的視頻建立的相 應(yīng)的主題詞庫。
[0159] 優(yōu)選地，信息獲取單元包括：
[0160] 統(tǒng)計(jì)子單元:用于對預(yù)處理文字信息進(jìn)行主題抽取以及主題的詞頻統(tǒng)計(jì)；
[0161] 分類注釋子單元：用于對預(yù)處理文字信息采用結(jié)合主題詞庫對主題進(jìn)行分類和注 釋，形成結(jié)構(gòu)化文檔；
[0162] 信息獲取子單元:用于獲取文字信息中的主題信息和關(guān)鍵詞信息。
[0163] 需要說明的是，采用統(tǒng)計(jì)子單元對預(yù)處理文字信息進(jìn)行主題抽取以及主題的詞頻 統(tǒng)計(jì)，采用分類注釋子單元對進(jìn)行詞頻統(tǒng)計(jì)的預(yù)處理文字進(jìn)行結(jié)合主題詞庫對主題進(jìn)行分 類和注釋，形成結(jié)構(gòu)化文檔，采用信息獲取子單元獲取文字信息中的主題信息和關(guān)鍵詞信 息。
[0164] 優(yōu)選地，如圖8所示，內(nèi)容填入單元132包括：
[0165] 第一填入單元1321:用于向中心層填入主題信息和人物圖片信息；
[0166] 第二填入單元1322:用于向第二層填入關(guān)鍵幀信息；
[0167] 第三填入單元1323:用于向第三層填入幀序列信息；
[0168] 第四填入單元1324:用于向第四層填入時間軸信息；
[0169] 第五填入單元1325:用于向外層填入主題信息和關(guān)鍵字信息；
[0170] 需要說明的是，采用第一填入單元1321向中心層填入主題信息和人物圖片信息， 采用第二填入單元1322向第二層填入關(guān)鍵幀信息，采用第三填入單元1323向第三層填入幀 序列信息，采用第四填入單元1324向第四層填入時間軸信息，采用第五填入單元1325向第 五層填入主題信息和關(guān)鍵字信息。
[0171] 優(yōu)選地，第一填入單元包括：
[0172] 人物圖片信息獲取子單元：用于對關(guān)鍵幀信息進(jìn)行色彩提取處理，獲取關(guān)鍵幀信 息中的人物圖片信息；
[0173] 人物圖片信息處理子單元:用于在人物圖片信息的關(guān)鍵幀信息中提取人物圖片信 息，將人物圖片信息放縮至中心層到中心距離一半的大小，獲取放縮人物圖片信息；
[0174] 填入主題信息獲取子單元:用于將視頻信息中的主題信息和音頻信息提取到的主 題信息作為中心層填入主題信息；
[0175] 填入子單元：用于將放縮人物圖片信息填充至中心層中間，將填入主題信息填充 至放縮人物圖片信息外圍的中心層中。
[0176]需要說明的是，采用人物圖片信息獲取子單元對關(guān)鍵幀信息進(jìn)行色彩提取處理， 在人物圖片信息的關(guān)鍵幀信息中截取人物圖片信息，采用人物圖片信息處理子單元將人物 圖片信息放縮至中心層到中心距離一半的大小，獲取放縮人物圖片信息，采用填入主題信 息獲取子單元將在視頻信息中獲取的主題信息和音頻信息提取到的主題信息作為顯示主 題信息，采用填入子單元將放縮人物圖片信息填充至中心層中間，將填入主題信息填充至 放縮人物圖片信息外圍的中心層中。
[0177]優(yōu)選地，第二填入單元包括：
[0178]長度獲取子單元：用于采用直線按順序連接第二層邊界各個頂點(diǎn)，獲取長度分別 為 ai、a2、a3、a4 的邊界，其中a2 = a4 = aiRi;
[0179] 包圍盒形成子單元:用于根據(jù)上述連接形成包圍盒的長為第二層邊界形成的長度 a3,寬為邊界頂點(diǎn)到邊界最遠(yuǎn)點(diǎn)的距離
[0180] 第一判斷子單元:用于當(dāng)ai>a2時，關(guān)鍵幀的長與包圍盒的長對應(yīng)，等比例放縮，并 將放縮后的關(guān)鍵幀置于邊界區(qū)域內(nèi)；
[0181] 第二判斷子單元:用于當(dāng)包圍盒的長大寬時，且長寬比大于16:9,將關(guān)鍵幀的寬定 為，并將關(guān)鍵幀放置于邊界中心區(qū)域，對區(qū)域進(jìn)行覆蓋；
[0182] 第三判斷子單元:用于當(dāng)&1<&2時，將關(guān)鍵幀的長與包圍盒的寬對應(yīng)，等比例放縮， 并將放縮關(guān)鍵幀放置于邊界區(qū)域內(nèi)；
[0183] 保存子單元:用于保存放置有關(guān)鍵幀的邊界區(qū)域，將邊界外的多余信息刪除。
[0184] 其中，D為邊界頂點(diǎn)到邊界最遠(yuǎn)點(diǎn)的距離，是中心層到中心的距離，R2是第二層到 中心的距離，m為中心層到第二層內(nèi)圈的距離，倍數(shù)參數(shù)，扮為!!!的倍數(shù)參數(shù)。
[0185] 優(yōu)選地，第三填入單元包括：
[0186] 幀序列變化獲取單元:用于通過對視頻幀的色彩提取的方式獲取詳細(xì)的幀序列變 化信息；
[0187] 填入子單元:用于根據(jù)詳細(xì)的幀序列變化信息向第三層填入幀序列信息。
[0188] 優(yōu)選地，第四填入單元包括：
[0189] 填入呈現(xiàn)子單元:用于呈現(xiàn)向第四層填入以時間軸為載體的信息；
[0190] 標(biāo)注子單元:用于在時間軸上以顏色的方式對視頻內(nèi)容進(jìn)行標(biāo)注。
[0191] 需要說明的是，采用填入呈現(xiàn)子單元呈現(xiàn)向第四層填入以時間軸為載體的信息， 采用標(biāo)注子單元在時間軸上以顏色的方式對視頻內(nèi)容進(jìn)行標(biāo)注。
[0192] 進(jìn)一步的，以視頻的時間軸為切割主線，以鏡頭的切割為依據(jù)，將切割的鏡頭再一 次分類，以此將時間軸切割后分為幾類，用幾種不同的顏色表示。例如，紅色表示主要人物、 藍(lán)色為背景、黑色為主題內(nèi)容展示畫面、通過黃色表示精彩點(diǎn)；根據(jù)對與平行線的處理，對 獲取的背景音樂和環(huán)境信息（如掌聲)通過不同的圓圈亮點(diǎn)和顏色的方式在第四層上標(biāo)注 顯示;時間軸與其它層之間存在層層對應(yīng)的關(guān)系，通過點(diǎn)擊其它層的內(nèi)容，時間軸上會顯示 相關(guān)的時間段或時間點(diǎn)，有助于用戶之間把握相關(guān)內(nèi)容呈現(xiàn)在視頻中的位置;該時間軸還 能標(biāo)注視頻的長度，同時還能控制視頻的播放進(jìn)度。
[0193] 優(yōu)選地，第五填入單元包括：
[0194] 關(guān)聯(lián)獲取子單元:用于將獲取的主題和關(guān)鍵字在時間軸上出現(xiàn)的時間點(diǎn)相關(guān)聯(lián)；
[0195] 填入子單元:用于并將主題和關(guān)鍵字根據(jù)時間軸上的時間填入外層。
[0196] 需要說明的是，采用關(guān)聯(lián)獲取子單元將獲取的主題和關(guān)鍵字在時間軸上出現(xiàn)的時 間點(diǎn)相關(guān)聯(lián)，采用填入子單元將主題和關(guān)鍵字根據(jù)時間軸上的時間填入外層。
[0197] 進(jìn)一步的，外層則展現(xiàn)通過提取的音頻對視頻語義進(jìn)行分析后得到的主題內(nèi)容以 及關(guān)鍵詞，讓用戶通過簡單的文字閱讀，加深用戶對視頻內(nèi)容的理解;通過對音頻信息的處 理，將獲取的主題內(nèi)容與出現(xiàn)的時間點(diǎn)關(guān)聯(lián)，將其環(huán)繞于第四層圓環(huán);主題內(nèi)容的提取也將 根據(jù)視頻的類型確定展現(xiàn)思路。例如，以演講類視頻為例，主題內(nèi)容的展現(xiàn)流程:提出問題_ 例子-觀點(diǎn)-總結(jié)-反思(或例子)等這種形式，又如新聞類視頻，主題內(nèi)容展現(xiàn)流程:事件發(fā) 生的時間-地點(diǎn)-人物-時間-態(tài)度等這些內(nèi)容;通過語句里面的關(guān)鍵詞及其詞頻，作為輔助 展現(xiàn);外層主要是通過文字的方式去展現(xiàn)整個視頻的主題內(nèi)容與結(jié)構(gòu)，是更高層的語義分 析。
[0198] 在本發(fā)明實(shí)施例中，通過對視頻進(jìn)行可視化處理，將視頻數(shù)據(jù)的結(jié)構(gòu)簡單化、明確 視頻數(shù)據(jù)之間的關(guān)系和提取視頻的關(guān)鍵內(nèi)容，采用多層次、多角度集中地呈現(xiàn)視頻內(nèi)容和 整體結(jié)構(gòu)，有效突出視頻的重點(diǎn)內(nèi)容、中心主題，將視頻的重點(diǎn)內(nèi)容和中心主題顯示給用 戶，幫助用戶快速準(zhǔn)確了解視頻的主要內(nèi)容，使用戶快速找到合適自己的視頻信息，增加了 用戶在獲取視頻信息時的交互友好度，提高用戶使用體驗(yàn)感。
[0199] 本領(lǐng)域普通技術(shù)人員可以理解上述實(shí)施例的各種方法中的全部或部分步驟是可 以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計(jì)算機(jī)可讀存儲介質(zhì)中，存儲 介質(zhì)可以包括：只讀存儲器（R〇M，Read Only Memory)、隨機(jī)存取存儲器（RAM，Random Access Memory)、磁盤或光盤等。
[0200]另外，以上對本發(fā)明實(shí)施例所提供的視頻可視化處理方法及系統(tǒng)進(jìn)行了詳細(xì)介 紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只 是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā) 明的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理 解為對本發(fā)明的限制。
【主權(quán)項(xiàng)】
1. 一種視頻可視化處理方法，其特征在于，所述方法包括： 獲取視頻中的視頻信息，對所述視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取所述視頻信息對應(yīng)的 視頻結(jié)構(gòu)信息； 獲取視頻中的音頻信息，對所述音頻信息進(jìn)行處理，獲取所述音頻信息對應(yīng)的音頻內(nèi) 容信息； 根據(jù)所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息對所述視頻進(jìn)行顯示處理。2. 根據(jù)權(quán)利要求1所述的視頻可視化處理方法，其特征在于，所述根據(jù)所述視頻結(jié)構(gòu)信 息和所述音頻內(nèi)容信息對所述視頻進(jìn)行顯示處理的步驟，包括： 構(gòu)建視頻可視化框架； 將所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息填入所述視頻可視化框架，獲取填入完成的 視頻可視化框架； 將所述填入完成的視頻可視化框架進(jìn)行顯示。3. 根據(jù)權(quán)利要求2所述的視頻可視化處理方法，其特征在于，所述視頻可視化框架為環(huán) 形層次框架，所述環(huán)形層次框架至少包括兩層。4. 根據(jù)權(quán)利要求3所述的視頻可視化處理方法，其特征在于，所述構(gòu)建視頻可視化框架 的步驟，包括： 獲取所述視頻可視化框架各層之間的距離關(guān)系； 根據(jù)所述距離關(guān)系構(gòu)建五層視頻可視化框架； 所述五層視頻可視化框架包括：中心層、第二層、第三層、第四層和外層;所述視頻可視 化框架中各層的距離關(guān)系為：其中，中心層、第二層、第三層、第四層和外層的到中心的距離分別為mRhRMm 為中心層到第二層內(nèi)圈的距離，αι、(^為辦的倍數(shù)參數(shù)，β:、β2為m的倍數(shù)參數(shù)。5. 根據(jù)權(quán)利要求1所述的視頻可視化處理方法，其特征在于，所述獲取視頻中的視頻信 息，對所述視頻信息進(jìn)行結(jié)構(gòu)化處理，獲取所述視頻信息對應(yīng)的視頻結(jié)構(gòu)信息步驟，包括： 根據(jù)視頻庫獲取所述視頻或根據(jù)用戶關(guān)鍵字檢索的方式獲取所述視頻； 獲取所述視頻中的視頻信息； 對所述視頻信息進(jìn)行鏡頭切割、關(guān)鍵幀提取和場景檢測處理，獲取所述視頻信息對應(yīng) 的視頻結(jié)構(gòu)信息； 其中，所述視頻結(jié)構(gòu)信息包括主題信息、幀率信息、關(guān)鍵幀信息和時間線信息。6. 根據(jù)權(quán)利要求1所述的視頻可視化處理方法，其特征在于，所述獲取視頻中的音頻信 息，對所述音頻信息進(jìn)行處理，獲取所述音頻信息對應(yīng)的音頻內(nèi)容信息的步驟，包括： 獲取所述視頻中的音頻信息； 對所述音頻信息進(jìn)行分類處理，將所述音頻信息分為人物音頻信息、環(huán)境音頻信息和 背景音樂信息； 對所述人物音頻信息進(jìn)行文字轉(zhuǎn)化處理，獲取處理后的文字信息； 對所述文字信息進(jìn)行語義分析，對所述文字信息進(jìn)行預(yù)處理，獲取預(yù)處理文字信息； 根據(jù)所述預(yù)處理文字信息獲取所述文字信息中的主題信息和關(guān)鍵詞信息； 其中，所述音頻信息內(nèi)容基本信息包括:主題信息、關(guān)鍵詞信息、環(huán)境音頻信息和背景 音樂信息。7. 根據(jù)權(quán)利要求6所述的視頻可視化處理方法，其特征在于，所述根據(jù)所述預(yù)處理文字 信息獲取所述文字信息中的主題和關(guān)鍵詞的步驟，包括： 對所述預(yù)處理文字信息進(jìn)行主題抽取以及主題的詞頻統(tǒng)計(jì)，獲取統(tǒng)計(jì)結(jié)果； 根據(jù)所述統(tǒng)計(jì)結(jié)果采用結(jié)合主題詞庫對主題進(jìn)行分類和注釋，獲取結(jié)構(gòu)化文檔， 根據(jù)所述結(jié)構(gòu)文檔，獲取所述文字信息中的主題信息和關(guān)鍵詞信息。8. 根據(jù)權(quán)利要求4或7所述的視頻可視化處理方法，其特征在于，所述將所述視頻結(jié)構(gòu) 信息和所述音頻內(nèi)容信息填入所述視頻可視化框架，獲取填入完成的視頻可視化框架的步 驟，包括： 向所述中心層填入主題信息和人物圖片信息； 向所述第二層填入關(guān)鍵幀信息、向所述第三層填入幀序列信息； 向所述第四層填入時間軸信息； 向所述外層填入主題信息和關(guān)鍵字信息。9. 一種視頻可視化處理系統(tǒng)，其特征在于，所述系統(tǒng)包括： 視頻信息處理模塊:用于獲取視頻中的視頻信息，對所述視頻信息進(jìn)行結(jié)構(gòu)化處理，獲 取所述視頻信息對應(yīng)的視頻結(jié)構(gòu)信息； 音頻信息處理模塊:用于獲取視頻中的音頻信息，對所述音頻信息進(jìn)行處理，獲取所述 音頻信息對應(yīng)的音頻內(nèi)容信息； 顯示處理模塊:用于根據(jù)所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息對所述視頻進(jìn)行顯示 處理。10. 根據(jù)權(quán)利要求9所述的視頻可視化處理系統(tǒng)，其特征在于，所述顯示處理模塊包括： 構(gòu)建單元:用于構(gòu)建視頻可視化框架； 內(nèi)容填入單元：用于將所述視頻結(jié)構(gòu)信息和所述音頻內(nèi)容信息填入所述視頻可視化框 架，獲取填入完成的視頻可視化框架； 顯示單元:用于將所述填入完成的視頻可視化框架進(jìn)行顯示。
【文檔編號】G06F17/30GK105868292SQ201610171422
【公開日】2016年8月17日
【申請日】2016年3月23日
【發(fā)明人】李玉三, 林淑金, 林格
【申請人】中山大學(xué)