一種多媒體系統(tǒng)及多媒體處理方法
【專(zhuān)利摘要】本發(fā)明涉及一種多媒體系統(tǒng)，包括拍攝終端、服務(wù)器和查詢(xún)終端。拍攝終端包括第一攝像單元、錄音單元、記錄單元、第一輸入單元、第一傳輸單元、第一存儲(chǔ)單元、顯示單元等。優(yōu)選的，拍攝終端還包括計(jì)時(shí)單元、焦距檢測(cè)單元。服務(wù)器包括第二傳輸單元、解析單元、數(shù)據(jù)庫(kù)、第二存儲(chǔ)單元。查詢(xún)終端包括第三攝像單元、第三輸入單元、查詢(xún)單元、第三傳輸單元等。本發(fā)明還涉及使用所述多媒體系統(tǒng)的多媒體處理方法。
【專(zhuān)利說(shuō)明】一種多媒體系統(tǒng)及多媒體處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及多媒體領(lǐng)域，特別涉及能夠進(jìn)行檢索的多媒體領(lǐng)域。

【背景技術(shù)】
[0002] 隨著網(wǎng)絡(luò)和多媒體技術(shù)的廣泛應(yīng)用，網(wǎng)絡(luò)培訓(xùn)已成為員工培訓(xùn)的必然發(fā)展趨勢(shì)。 然而，網(wǎng)絡(luò)培訓(xùn)面臨著"來(lái)源單一、脫離實(shí)踐、滯后現(xiàn)場(chǎng)"的問(wèn)題，尤其是缺少以現(xiàn)場(chǎng)案例為 內(nèi)容的生產(chǎn)技能類(lèi)培訓(xùn)，這勢(shì)必會(huì)影響以生產(chǎn)技能操作為主的員工培訓(xùn)效果。因此，積極引 入現(xiàn)場(chǎng)案例教學(xué)，探索智能終端和移動(dòng)網(wǎng)絡(luò)的應(yīng)用，將成為網(wǎng)絡(luò)培訓(xùn)和資源建設(shè)的新方向。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明涉及一種多媒體系統(tǒng)，包括拍攝終端、服務(wù)器和查詢(xún)終端；其特征在于：拍 攝終端包括第一攝像單元、錄音單元、記錄單元、第一輸入單元、第一傳輸單元、第一存儲(chǔ)單 元、顯示單元、計(jì)時(shí)單元、焦距檢測(cè)單元；服務(wù)器包括第二傳輸單元、解析單元、數(shù)據(jù)庫(kù)、第二 存儲(chǔ)單元；查詢(xún)終端包括第三攝像單元、第三輸入單元、查詢(xún)單元、第三傳輸單元。
[0004] 本發(fā)明還涉及一種使用所述的多媒體系統(tǒng)的多媒體處理方法。
[0005] 本發(fā)明的多媒體系統(tǒng)及多媒體處理方法特別適用于以生產(chǎn)現(xiàn)場(chǎng)為背景的基于移 動(dòng)智能終端的現(xiàn)場(chǎng)案例培訓(xùn)，獲得了以生產(chǎn)實(shí)踐為基礎(chǔ)、培訓(xùn)內(nèi)容來(lái)源多樣化的有益效果。 并且，本發(fā)明的多媒體系統(tǒng)及多媒體處理方法能夠從多媒體視頻中快速提取具有代表性的 視頻幀，便于后續(xù)的多媒體查詢(xún)，提高了多媒體查詢(xún)的準(zhǔn)確性和效率。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0006] 圖1是多媒體系統(tǒng)的框圖；
[0007] 圖2是拍攝終端位置變化的示意圖。

【具體實(shí)施方式】
[0008] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地 詳細(xì)描述。這種描述是通過(guò)示例而非限制的方式介紹了與本發(fā)明的原理相一致的具體實(shí)施 方式，這些實(shí)施方式的描述是足夠詳細(xì)的，以使得本領(lǐng)域技術(shù)人員能夠?qū)嵺`本發(fā)明，在不脫 離本發(fā)明的范圍和精神的情況下可以使用其他實(shí)施方式并且可以改變和/或替換各要素 的結(jié)構(gòu)。因此，不應(yīng)當(dāng)從限制性意義上來(lái)理解以下的詳細(xì)描述。
[0009] 如圖1所示，本發(fā)明的多媒體系統(tǒng)包括拍攝終端100、服務(wù)器200和查詢(xún)終端300。
[0010] 拍攝終端100包括第一攝像單元110、錄音單元120、記錄單元130、第一輸入單元 140、第一傳輸單元150、第一存儲(chǔ)單元160、顯示單元170等。優(yōu)選的，拍攝終端100還包括 計(jì)時(shí)單元180 (例如計(jì)時(shí)器）、焦距檢測(cè)單元190。服務(wù)器200包括第二傳輸單元210、解析 單元220、數(shù)據(jù)庫(kù)230、第二存儲(chǔ)單元240等。查詢(xún)終端300包括第三攝像單元310、第三輸 入單元320、查詢(xún)單元330、第三傳輸單元340等。
[0011] 多媒體系統(tǒng)的處理流程如下所示：
[0012] 在步驟S100,用戶(hù)使用拍攝終端拍攝多媒體，所述多媒體包括視頻和音頻；在某 一位置拍攝時(shí)，由計(jì)時(shí)單元記錄下在某一位置拍攝的開(kāi)始時(shí)間和結(jié)束時(shí)間；當(dāng)移動(dòng)拍攝位 置或變換焦距時(shí)，由計(jì)時(shí)單元記錄下移動(dòng)拍攝位置或變換焦距后拍攝的開(kāi)始時(shí)間和結(jié)束時(shí) 間；隨后，計(jì)時(shí)單元將事件（包括位置/變焦）、開(kāi)始時(shí)間和結(jié)束時(shí)間一并保存到第一存儲(chǔ) 單元的記錄表中。
[0013] 下面參考圖2詳細(xì)說(shuō)明拍攝終端由位置A移動(dòng)到位置B再移動(dòng)到位置C的過(guò)程， 以及計(jì)時(shí)單元的計(jì)時(shí)過(guò)程。
[0014] 首先，在位置A，當(dāng)用戶(hù)打開(kāi)拍攝終端的第一攝像單元開(kāi)始拍攝時(shí)，將自動(dòng)觸發(fā)計(jì) 時(shí)單元開(kāi)始計(jì)時(shí)，此時(shí)由計(jì)時(shí)單元記錄下位置A的開(kāi)始時(shí)間（例如0秒）?？蛇x的，也可由 用戶(hù)操作拍攝終端的特定物理按鍵或觸摸屏上顯示的特定按鍵以觸發(fā)計(jì)時(shí)單元開(kāi)始計(jì)時(shí)。 一段時(shí)間后，當(dāng)在位置A拍攝完成時(shí)，由用戶(hù)操作上述特定按鍵結(jié)束在位置A的計(jì)時(shí)，并由 計(jì)時(shí)單元記錄下結(jié)束時(shí)間（例如180秒）。隨后，計(jì)時(shí)單元將記錄的位置A、開(kāi)始時(shí)間和結(jié) 束時(shí)間保存到第一存儲(chǔ)單元的記錄表中。
[0015] 之后，將拍攝終端移動(dòng)到位置B繼續(xù)進(jìn)行拍攝，由用戶(hù)操作上述特定按鍵開(kāi)始在 位置B的計(jì)時(shí)，并由計(jì)時(shí)單元記錄下位置B的開(kāi)始時(shí)間（例如181秒）。又一段時(shí)間后，當(dāng) 在位置B拍攝完成時(shí)，由用戶(hù)操作上述特定按鍵結(jié)束位置B的計(jì)時(shí)，并由計(jì)時(shí)單元記錄下結(jié) 束時(shí)間（例如270秒）。隨后，計(jì)時(shí)單元將記錄的位置B、開(kāi)始時(shí)間和結(jié)束時(shí)間保存到第一 存儲(chǔ)單元的記錄表中。
[0016] 之后，再將拍攝終端移動(dòng)到位置C繼續(xù)進(jìn)行拍攝，由用戶(hù)操作上述特定按鍵開(kāi)始 在位置C的計(jì)時(shí)，并由計(jì)時(shí)單元記錄下位置C的開(kāi)始時(shí)間（例如271秒）。又拍攝一段時(shí)間 后，當(dāng)在位置C拍攝完成時(shí)，由用戶(hù)關(guān)閉拍攝終端的第一攝像單元停止拍攝，此時(shí)將自動(dòng)觸 發(fā)計(jì)時(shí)單元結(jié)束位置C的計(jì)時(shí)，并由計(jì)時(shí)單元記錄下結(jié)束時(shí)間（例如300秒）?？蛇x的，也 可由用戶(hù)操作上述特定按鍵結(jié)束計(jì)時(shí)。隨后，計(jì)時(shí)單元將記錄的位置C、開(kāi)始時(shí)間和結(jié)束時(shí) 間也保存到第一存儲(chǔ)單元的記錄表中。
[0017] 另外，當(dāng)用戶(hù)暫停拍攝終端的第一攝像單元拍攝時(shí)，將自動(dòng)觸發(fā)計(jì)時(shí)單元結(jié)束計(jì) 時(shí)；以及，當(dāng)拍攝終端的第一攝像單元恢復(fù)拍攝時(shí)，也將自動(dòng)觸發(fā)計(jì)時(shí)單元繼續(xù)開(kāi)始計(jì)時(shí)。
[0018] 上述計(jì)時(shí)單元的自動(dòng)觸發(fā)，無(wú)需用戶(hù)額外操作拍攝終端的按鍵，從而提高了效率。
[0019] 第一存儲(chǔ)單元中的記錄表包括事件、開(kāi)始時(shí)間和結(jié)束時(shí)間，格式優(yōu)選示例如下：
[0020] 表1 :記錄表
[0021]

【權(quán)利要求】
1. 一種多媒體系統(tǒng)，包括拍攝終端、服務(wù)器和查詢(xún)終端；其特征在于：拍攝終端包括第 一攝像單元、錄音單元、記錄單元、第一輸入單元、第一傳輸單元、第一存儲(chǔ)單元、顯示單元、 計(jì)時(shí)單元、焦距檢測(cè)單元；服務(wù)器包括第二傳輸單元、解析單元、數(shù)據(jù)庫(kù)、第二存儲(chǔ)單元；查 詢(xún)終端包括第三攝像單元、第三輸入單元、查詢(xún)單元、第三傳輸單元。
2. -種使用根據(jù)權(quán)利要求1所述的多媒體系統(tǒng)的多媒體處理方法，其特征在于包括以 下步驟： 步驟S100,用戶(hù)使用拍攝終端拍攝多媒體，所述多媒體包括視頻和音頻；當(dāng)在某一位 置和/或變焦拍攝時(shí)，由計(jì)時(shí)單元記錄下拍攝的開(kāi)始時(shí)間和結(jié)束時(shí)間；隨后，計(jì)時(shí)單元將事 件、開(kāi)始時(shí)間和結(jié)束時(shí)間一并保存到第一存儲(chǔ)單元的記錄表中，其中所述事件包括位置、變 焦； 步驟S200,將多媒體中的音頻轉(zhuǎn)換為文字，轉(zhuǎn)換后，在拍攝終端上顯示給用戶(hù)，供用戶(hù) 確認(rèn)；如果用戶(hù)認(rèn)為轉(zhuǎn)換的文字內(nèi)容有錯(cuò)誤或需要調(diào)整，則使用拍攝終端的第一輸入單元 進(jìn)行修改； 步驟S220,拍攝終端通過(guò)第一傳輸單元將拍攝的多媒體、第一存儲(chǔ)單元中的記錄表、以 及經(jīng)過(guò)用戶(hù)確認(rèn)的文字上傳到服務(wù)器的第二傳輸單元，服務(wù)器將拍攝的多媒體保存到數(shù)據(jù) 庫(kù)中，并記錄多媒體ID，所述多媒體ID是上傳的多媒體的唯一標(biāo)識(shí)； 步驟S240,服務(wù)器根據(jù)記錄表中的事件、開(kāi)始時(shí)間和結(jié)束時(shí)間，使用解析單元從多媒體 的視頻中提取關(guān)鍵巾貞，并確定關(guān)鍵巾貞的錄制時(shí)長(zhǎng)，所述關(guān)鍵巾貞為拍攝終端在同一事件下拍 攝的視頻幀的代表；提取關(guān)鍵幀的具體過(guò)程如下： 對(duì)于每個(gè)事件，進(jìn)行采樣，從而獲得每個(gè)事件的采樣幀的集合F: F= {F1,F2,......Fi,......Fn} 其中，η為定義的采樣頻率，η= 10 ; Fi為采樣的第i幀，即時(shí)間ΛTi所對(duì)應(yīng)的幀： ΔTi=Tb+(Te-Tb) *(i/n),i〈 =η 其中，Tb為每個(gè)事件的開(kāi)始時(shí)間，Te為每個(gè)事件的結(jié)束時(shí)間； 對(duì)于集合F內(nèi)的某一幀F(xiàn)k，根據(jù)以下公式計(jì)算幀F(xiàn)k與視頻幀平均值的平均像素近似度AFk：
其中Pkj表示幀F(xiàn)k中的第j個(gè)像素值，Pij表示幀F(xiàn)i中的第j個(gè)像素值，η為采樣頻 率，m為幀F(xiàn)k中的像素總數(shù)，k的取值為1，2, 3......η； 如果AFk大于某個(gè)閾值D，則認(rèn)為幀F(xiàn)k屬于噪聲巾貞，予以剔除；反之如果AFk小于或 等于某個(gè)閾值D，則予以保留，從而形成保留幀的集合G: G= {G1,G2, -Gi, -Gt} 其中t〈 =n，Gi為保留幀集合中的第i幀； 對(duì)于集合G中的每一幀，由于其內(nèi)容都比較相似，故可任選一幀作為相應(yīng)事件所對(duì)應(yīng) 的關(guān)鍵巾貞； 步驟S260，得到視頻中每個(gè)事件對(duì)應(yīng)的關(guān)鍵幀和事件的持續(xù)時(shí)間，其中根據(jù)每個(gè)事件 的開(kāi)始時(shí)間和結(jié)束時(shí)間獲取持續(xù)時(shí)間； 步驟S300,服務(wù)器讀取所述上傳的文字，根據(jù)文字中的標(biāo)點(diǎn)符號(hào)，將文字切分為基本字 符串單元； 步驟S310,根據(jù)分詞詞典，對(duì)基本字符串單元進(jìn)行正向最大分詞匹配和逆向最大分詞 匹配，形成分詞掃描字符串； 步驟S320,判斷分詞掃描字符串是否存在歧義；如果存在歧義，則消除歧義，形成分詞 結(jié)果字符串；如果不存在歧義，則直接將分詞掃描字符串作為分詞結(jié)果字符串； 其中，對(duì)于存在歧義的字符串ABC，根據(jù)以下公式計(jì)算I(A，B)和I(B，C)的值：
其中A、B、C為單個(gè)字或詞，n(x，y)為x，y在分詞詞典中出現(xiàn)的次數(shù)，n(x)為X在分詞 詞典中出現(xiàn)的次數(shù)，n(y)分別為y在分詞詞典中出現(xiàn)的次數(shù)，N為分詞詞典的總詞數(shù)； 比較I(A，B)和I(B，C)的值： 如果I(A，B)-I(B，C) >i，那么采用AB/C的切分； 如果I(B，C)-I(A，B) >i，那么采用A/BC的切分； 其中，i為第一閥值，優(yōu)選為〇 ; 如果非上述兩種情況，則利用如下公式：
其中，f(AB)表示在所述字符串中AB出現(xiàn)的次數(shù)；f(BC)表示在所述字符串中BC出現(xiàn) 的次數(shù);Max(f(AB)，f(BC))的值為f(AB)和f(BC)中較大的；比較Λf與β， 其中β為第二閾值，優(yōu)選為0.75; 如果Λf>β，則將字符串ABC切分為"AB/C" ； 如果Λf〈 =β，則將字符串ABC切分為"A/BC" ； 步驟S330,將經(jīng)過(guò)分詞后的字符串匯聚成文字索引； 步驟S340,對(duì)于每一個(gè)多媒體，服務(wù)器形成多媒體索引表，并存儲(chǔ)在第二存儲(chǔ)單元中； 所述多媒體索引表包括：多媒體ID、文字索引、關(guān)鍵幀集合以及事件持續(xù)時(shí)間集合； 步驟S400,用戶(hù)使用查詢(xún)終端查找所述多媒體； 步驟S420,若查詢(xún)終端中輸入的是純文字，則僅在文字索引中進(jìn)行檢索，并將檢索結(jié)果 呈現(xiàn)給用戶(hù)，同時(shí)向用戶(hù)提供沒(méi)有文字說(shuō)明的多媒體數(shù)目； 步驟S440,若查詢(xún)終端中輸入的僅是M幅照片，則查詢(xún)終端形成照片集X: X= {X1，X2, ...Xi，…XM} 則比較照片集X中的每幅照片和關(guān)鍵幀集合中的每個(gè)關(guān)鍵幀是否匹配，然后根據(jù)照片 和關(guān)鍵幀的匹配程度，檢索出相應(yīng)的視頻，并將按照相似度排序的檢索結(jié)果呈現(xiàn)給用戶(hù)； 相似度Sim的計(jì)算公式如下：
其中，M為照片集X中的照片數(shù)量；e為視頻中的事件數(shù)量，即關(guān)鍵幀數(shù)量；Ti為第i個(gè) 事件的持續(xù)時(shí)間；Tij的取值有兩個(gè)，當(dāng)照片和關(guān)鍵幀不匹配時(shí)，Tij=O;當(dāng)照片和關(guān)鍵幀 匹配時(shí)，Tij為匹配的第i個(gè)事件的持續(xù)時(shí)間； 步驟S460,若查詢(xún)終端輸入的既包括文字又包括照片，則先在文字索引中進(jìn)行檢索，如 果檢索結(jié)果少于特定閾值，則直接將結(jié)果呈現(xiàn)給用戶(hù)；反之，如果檢索結(jié)果大于或等于特定 閾值，則在文字檢索到的結(jié)果中使用步驟S440中的方法進(jìn)行再次檢索，并將檢索結(jié)果呈現(xiàn) 給用戶(hù)。
【文檔編號(hào)】H04L29/06GK104462355SQ201410738808
【公開(kāi)日】2015年3月25日 申請(qǐng)日期:2014年12月5日 優(yōu)先權(quán)日:2014年12月5日
【發(fā)明者】謝清玉, 秦衡, 崔鳳磊, 張耀坤, 李榮凱 申請(qǐng)人:國(guó)家電網(wǎng)公司, 國(guó)網(wǎng)技術(shù)學(xué)院