互聯(lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)的制作方法
【專利摘要】本發(fā)明的技術(shù)方案為：用戶通過多媒體IO載體輸入所需訪問的多媒體內(nèi)容或多媒體信息搜索條件；讀取這些內(nèi)容或根據(jù)搜索條件從互聯(lián)網(wǎng)上獲得多媒體內(nèi)容；對于其中的圖像/視頻部分，判斷所包含各個物體的區(qū)域及它們的內(nèi)容；提取多媒體內(nèi)容中與感知有關(guān)的特征；建立單幅圖像中各物體間、視頻中不同幀間同一物體、視頻中不同鏡頭間、文本中相鄰關(guān)鍵字間的特征關(guān)系；利用多媒體挖掘分析過程確定上述內(nèi)容含有哪些敏感內(nèi)容；將用戶所需的內(nèi)容通過IO載體反饋給用戶。本發(fā)明綜合了圖像中物體之間的關(guān)系、視頻中前后幀圖像和音頻的變化，以及文本中關(guān)鍵詞上下文關(guān)系，適用于對互聯(lián)網(wǎng)上視頻/圖像的挖掘/分析及對離線各個視頻內(nèi)容的分析和判斷。
【專利說明】互聯(lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種互聯(lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)，屬于信息【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]隨著以互聯(lián)網(wǎng)信息的爆炸式增長，視頻/圖像以其直觀性和信息量豐富等都有的特色越來越在社會生活中扮演著重要角色。然而，互聯(lián)網(wǎng)上的內(nèi)容紛繁復(fù)雜，視頻/圖像中蔓延著各種色情、血腥、暴力及其它敏感內(nèi)容，嚴(yán)重危害人們，特別是青少年的成長，及時準(zhǔn)確提取和掌握信息情報的能力呈現(xiàn)了強(qiáng)烈的市場需求，由此誕生了科技新寵“數(shù)據(jù)挖掘技術(shù)”，并已經(jīng)成為新聞輿論、媒體娛樂、商業(yè)情報、科學(xué)研究等領(lǐng)域占領(lǐng)先機(jī)的有力工具。
[0003]目前互聯(lián)網(wǎng)上的內(nèi)容挖掘分析系統(tǒng)層出不窮。但是它們的實現(xiàn)大多是基于文本信息，一些基于圖像的搜索/挖掘/分析系統(tǒng)也只是根據(jù)圖像底層的紋理、色彩等信息進(jìn)行，無法分析或根據(jù)圖像的高層語義，也就是通過圖像中具有什么物體來進(jìn)行，更不用說根據(jù)視頻/圖像中所包含的敏感內(nèi)容進(jìn)行挖掘和分類。另外，目前的互聯(lián)網(wǎng)挖掘分析系統(tǒng)要么只針對文本，要么只針對圖像本身這種單一的模態(tài)來進(jìn)行。
[0004]因此建立一套高效多媒體信息挖掘分析系統(tǒng)十分必要。

【發(fā)明內(nèi)容】

[0005]為解決以上問題，本發(fā)明提出了一種基于視頻/圖像高層語義分析和高層情感分析為主，結(jié)合語音識別和文本解析技術(shù)對互聯(lián)網(wǎng)上相關(guān)的視頻/圖像內(nèi)容進(jìn)行分析的系統(tǒng)。該系統(tǒng)通過綜合分析判斷視頻/圖像中是否含有色情、暴力、恐怖、敏感以及用戶可定制特定類別等相關(guān)的內(nèi)容并進(jìn)行相應(yīng)的過濾或處理。
[0006]本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的:
[0007](I)用戶通過多媒體IO載體輸入他所需要訪問的多媒體內(nèi)容或者是多媒體信息搜索條件；
[0008](2)讀取用戶輸入的多媒體內(nèi)容或者根據(jù)多媒體搜索條件從互聯(lián)網(wǎng)上獲得多媒體內(nèi)容；
[0009](3)對于獲得的多媒體內(nèi)容中的圖像/視頻部分，通過以下步驟判斷其中所包含各個物體的區(qū)域以及它們的內(nèi)容:
[0010]①進(jìn)行圖像分割，獲得多個局部區(qū)域；
[0011]②對每個區(qū)域提取相應(yīng)的色彩、紋理信息；
[0012]③分析得到每個區(qū)域的物體含義；
[0013]④將具有相同物體含義的相鄰的區(qū)域進(jìn)行合并，得到不同的區(qū)域并獲知每個區(qū)域是什么物體；
[0014]⑤將時間和空間上相鄰的區(qū)域和物體進(jìn)行聯(lián)合分析，推理出物體的高層語義解釋，以及事件/行為的計算機(jī)詮釋，敏感內(nèi)容識別。
[0015](4)根據(jù)視覺感知理論，提取多媒體內(nèi)容中與感知有關(guān)的特征；[0016](5)建立單幅圖像中各個物體之間的特征關(guān)系，建立視頻中不同幀之間同一物體的特征關(guān)系，建立視頻中不同鏡頭之間的特征關(guān)系，建立文本中相鄰關(guān)鍵字之間的特征關(guān)系;
[0017](6)通過支持大數(shù)據(jù)的云端處理機(jī)制，利用多媒體挖掘分析過程確定上述多媒體內(nèi)容含有哪些敏感內(nèi)容，比如色情、暴力、恐怖等，一組多媒體內(nèi)容中可能還有I個或多個敏感內(nèi)容；
[0018](7)將用戶所需要的多媒體內(nèi)容通過智能多媒體IO載體反饋給用戶。
[0019]所述的智能多媒體IO載體是指電腦、手機(jī)、移動終端及智能手表中一種。
[0020]所述的多媒體內(nèi)容是指視頻、圖像、音頻、文本中的一種或多種。
[0021]本發(fā)明首先基于感知學(xué)的基本原理從視頻/圖像/音頻中抽取與敏感內(nèi)容相關(guān)聯(lián)的特征；同時，系統(tǒng)能根據(jù)用戶自定義敏感信息來進(jìn)行內(nèi)容分析和檢索，將實現(xiàn)視頻/圖像的高層次語義分析和敏感內(nèi)容的識別，融合文本、語音以及視覺信息完成語義分析和敏感內(nèi)容識別?；ヂ?lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)不再是對單一的媒體(模態(tài))進(jìn)行分析，而是將圖像中物體之間的關(guān)系，視頻中前后幀圖像和音頻的變化，以及文本中關(guān)鍵詞上下文關(guān)系都考慮進(jìn)去，建立一個多媒體數(shù)據(jù)綜合分析系統(tǒng)。本發(fā)明不僅適用于對互聯(lián)網(wǎng)上視頻/圖像的挖掘/分析，也適用于對離線各個視頻內(nèi)容的分析和判斷，系統(tǒng)分析識別準(zhǔn)確率可達(dá) 90%。
【具體實施方式】
[0022]以下采用實施例具體說明本發(fā)明的互聯(lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)。
[0023]實施例1
[0024]互聯(lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)是通過以下技術(shù)方案實現(xiàn)的:
[0025](I)用戶通過多媒體IO載體輸入他所需要訪問的多媒體內(nèi)容或者是多媒體信息搜索條件；
[0026](2)讀取用戶輸入的多媒體內(nèi)容或者根據(jù)多媒體搜索條件從互聯(lián)網(wǎng)上獲得多媒體內(nèi)容；
[0027](3)對于獲得的多媒體內(nèi)容中的圖像/視頻部分，通過以下步驟判斷其中所包含各個物體的區(qū)域以及它們的內(nèi)容:
[0028]①進(jìn)行圖像分割，獲得多個局部區(qū)域；
[0029]②對每個區(qū)域提取相應(yīng)的色彩、紋理信息；
[0030]③分析得到每個區(qū)域的物體含義；
[0031]④將具有相同物體含義的相鄰的區(qū)域進(jìn)行合并，得到不同的區(qū)域并獲知每個區(qū)域是什么物體；
[0032]⑤將時間和空間上相鄰的區(qū)域和物體進(jìn)行聯(lián)合分析，推理出物體的高層語義解釋，以及事件/行為的計算機(jī)詮釋，敏感內(nèi)容識別。
[0033](4)根據(jù)視覺感知理論，提取多媒體內(nèi)容中與感知有關(guān)的特征；
[0034](5)建立單幅圖像中各個物體之間的特征關(guān)系，建立視頻中不同幀之間同一物體的特征關(guān)系，建立視頻中不同鏡頭之間的特征關(guān)系，建立文本中相鄰關(guān)鍵字之間的特征關(guān)系；[0035](6)通過支持大數(shù)據(jù)的云端處理機(jī)制，利用多媒體挖掘分析過程確定上述多媒體內(nèi)容含有哪些敏感內(nèi)容，比如色情、暴力、恐怖等，一組多媒體內(nèi)容中可能還有I個或多個敏感內(nèi)容；
[0036](7)將用戶所需要的多媒體內(nèi)容通過智能多媒體IO載體反饋給用戶。
[0037]所述的智能多媒體IO載體是指電腦。
[0038]所述的多媒體內(nèi)容是指視頻。
【權(quán)利要求】
1.互聯(lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)，其特征在于是通過以下技術(shù)方案實現(xiàn)的: (1)用戶通過多媒體IO載體輸入他所需要訪問的多媒體內(nèi)容或者是多媒體信息搜索條件； (2)讀取用戶輸入的多媒體內(nèi)容或者根據(jù)多媒體搜索條件從互聯(lián)網(wǎng)上獲得多媒體內(nèi)容； (3)對于獲得的多媒體內(nèi)容中的圖像/視頻部分，通過以下步驟判斷其中所包含各個物體的區(qū)域以及它們的內(nèi)容: ①進(jìn)行圖像分割，獲得多個局部區(qū)域； ②對每個區(qū)域提取相應(yīng)的色彩、紋理信息； ③分析得到每個區(qū)域的物體含義； ④將具有相同物體含義的相鄰的區(qū)域進(jìn)行合并，得到不同的區(qū)域并獲知每個區(qū)域是什么物體； ⑤將時間和空間上相鄰的區(qū)域和物體進(jìn)行聯(lián)合分析，推理出物體的高層語義解釋，以及事件/行為的計算機(jī)詮釋，敏感內(nèi)容識別。 (4)根據(jù)視覺感知理論，提取多媒體內(nèi)容中與感知有關(guān)的特征； (5)建立單幅圖像中各個物體之間的特征關(guān)系，建立視頻中不同幀之間同一物體的特征關(guān)系，建立視頻中不同鏡頭之間的特征關(guān)系，建立文本中相鄰關(guān)鍵字之間的特征關(guān)系； (6)通過支持大數(shù)據(jù)的云端處理機(jī)制，利用多媒體挖掘分析過程確定上述多媒體內(nèi)容含有哪些敏感內(nèi)容，比如色情、暴力、恐怖等，一組多媒體內(nèi)容中可能還有I個或多個敏感內(nèi)容； (7)將用戶所需要的多媒體內(nèi)容通過智能多媒體IO載體反饋給用戶。
2.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)，其特征在于所述的智能多媒體IO載體是指電腦、手機(jī)、移動終端及智能手表中一種。
3.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)多媒體信息挖掘分析系統(tǒng)，其特征在于所述的多媒體內(nèi)容是指視頻、圖像、音頻、文本中的一種或多種。
【文檔編號】G06F17/30GK103455630SQ201310432932
【公開日】2013年12月18日 申請日期:2013年9月23日 優(yōu)先權(quán)日:2013年9月23日
【發(fā)明者】熊偉華 申請人:江蘇刻維科技信息有限公司