專利名稱：一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，屬于移動(dòng)通信增 值服務(wù)領(lǐng)域。
背景技術(shù)：
對新聞、視頻和娛樂資訊要求較高的都市白領(lǐng)及部分大、中學(xué)生為主要消費(fèi)群，覆蓋不 同年齡層次的消費(fèi)者，每個(gè)年齡層次的消費(fèi)者都擁有特色鮮明的娛樂消費(fèi)習(xí)慣。以15 35 歲這一年齡段為例，此年齡段的用戶主要包括70后、80后和90后，他們的共同點(diǎn)在于追 求年輕時(shí)尚的生活方式和新穎、超酷的娛樂方式，同時(shí)也是3G業(yè)務(wù)的主要使用者，平民偶 像文化的倡導(dǎo)者與追隨者。以2005年"超級女生"的最后決賽為例，由觀眾投票決出的"平 民英雄"李宇春、周筆暢、張靚穎的短信票數(shù)分別為3528308、 3270840、 1353906張，由 此間接可見"追星族"的龐大數(shù)量和娛樂偶像文化所帶來的巨大經(jīng)濟(jì)效益。因此，為目標(biāo) 客戶群提供全方位了解明星的互動(dòng)平臺(tái)，并支持音視頻點(diǎn)播、圖片瀏覽與下載等3G應(yīng)用場 景。其獨(dú)特的以明星人際社交圖為基礎(chǔ)的多媒體內(nèi)容點(diǎn)播與分享機(jī)制，能極大推動(dòng)以視頻 點(diǎn)播為主的3G業(yè)務(wù)的發(fā)展。

發(fā)明內(nèi)容
針對此問題，本發(fā)明提出了一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法。 本發(fā)明的技術(shù)方案包括以下步驟
(1) 分析互聯(lián)網(wǎng)存在的多媒體內(nèi)容，利用自動(dòng)人臉檢測和識(shí)別技術(shù)，識(shí)別網(wǎng)絡(luò)海量明 星照片和影視劇中的多姿態(tài)人臉；
(2) 基于識(shí)別結(jié)果為圖像或視頻數(shù)據(jù)庫中的人臉進(jìn)行標(biāo)注；
(3) 根據(jù)明星在圖像和視頻中出現(xiàn)的頻次，建立明星動(dòng)態(tài)人際社交(4) 自動(dòng)產(chǎn)生明星動(dòng)態(tài)人氣榜，并向移動(dòng)終端推送；
(5) 用戶從移動(dòng)終端上選擇自己喜歡的明星，從網(wǎng)絡(luò)服務(wù)器端下載査看該明星的動(dòng)態(tài) 人際社交圖，及時(shí)掌握明星社交圈的更新，吸引用戶査看明星最新的照片，視頻和瀏覽相 關(guān)新聞，從而發(fā)展以明星人際社交圖為基礎(chǔ)的音視頻點(diǎn)播、圖片瀏覽與下載等業(yè)務(wù)。
4自動(dòng)人臉檢測包括如下步驟
(1) 通過收集各種姿態(tài)的人臉，包括正面人臉集、左側(cè)面人臉集、右側(cè)面人臉集等， 基于Adaboost訓(xùn)練對應(yīng)的人臉檢測器，以得到正面人臉模型、左側(cè)面模型和右側(cè)面模型等 人臉檢測模型;
(2) 為避免人臉尺寸和位置的不確定性，對給定圖片進(jìn)行金字塔降采樣操作和全圖掃
描；
(3) 將經(jīng)過處理的全圖掃描結(jié)果與人臉模型進(jìn)行相似度判斷，檢測出人臉。
基于人臉識(shí)別結(jié)果的人臉標(biāo)注包括如下步驟
(1) 采用局部二值模式(Local Binary Patterns, LBP)對人臉特征提?。?br> (2) 將人臉圖像分塊，采用直方圖統(tǒng)計(jì)每塊人臉圖像的局部二值模式；
(3) 采用線性判別分析技術(shù)(Linear Discriminant Analysis, LDA)對提取的直方 圖統(tǒng)計(jì)特征降維；
(4) 將獲得的降維特征作為模板保存或直接進(jìn)行模式匹配；
(5) 利用最近鄰特征模板匹配方法，根據(jù)相似度最大的識(shí)別結(jié)果對照片進(jìn)行標(biāo)注。 在完成自動(dòng)標(biāo)注后，可依據(jù)照片標(biāo)注的數(shù)量來確定此照片是否為合影照片，并以此為
基礎(chǔ)建立明星人際關(guān)系鏈接，并獲得以每位明星為中心的人際社交圖。 人際社交圖的生成包括如下步驟
(1) 統(tǒng)計(jì)包含每位明星的合影照片總數(shù)量；
(2) 初始化兩位明星的社交權(quán)重為0;
(3) 依據(jù)照片是否存在每位明星與其他明星的合影及合影人數(shù)，計(jì)算相應(yīng)的權(quán)重；
(4) 以合影照片總數(shù)量為基數(shù)，將每位明星與其他明星的合影權(quán)重歸一化，獲得明星 之間社交關(guān)系重要度的參數(shù)；
(5) 依據(jù)明星之間社交關(guān)系重要度，生成每位明星的人際社交圖。 基于明星人際社交圖，根據(jù)其人際社交圖的規(guī)模和用戶點(diǎn)擊該明星多媒體資源的次數(shù)，
綜合產(chǎn)生明星動(dòng)態(tài)人氣排行榜。
明星動(dòng)態(tài)人氣排行榜的生成包括如下步驟
(1) 明星人氣動(dòng)態(tài)排行榜是以某個(gè)固定時(shí)段為基準(zhǔn)而統(tǒng)計(jì)生成；
(2) 統(tǒng)計(jì)每位明星在某個(gè)歷史時(shí)段內(nèi)多媒體資源被點(diǎn)擊的次數(shù)和人際社交圖的規(guī)模；
(3) 依據(jù)統(tǒng)計(jì)結(jié)果分別計(jì)算每位明星的人氣指數(shù)；
(4) 根據(jù)每位明星人氣指數(shù)的大小，確定他們在當(dāng)前時(shí)段內(nèi)人氣排行榜上的位置。
5在建立人際社交圖后，可實(shí)現(xiàn)以人際社交圖為基礎(chǔ)的多媒體內(nèi)容點(diǎn)播與分享
(1) 在人際社交圖上，選擇感興趣的明星，點(diǎn)播影視劇集，瀏覽明星圖庫；
(2) 在人際社交圖上，選擇與之存在社交關(guān)系的其他明星，點(diǎn)播共同出演的音視頻， 査看合影圖片，閱讀包含所有被選擇明星的相關(guān)新聞報(bào)道。
本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于
本發(fā)明提出了以人臉檢測與識(shí)別核心技術(shù)為基礎(chǔ)，通過分析互聯(lián)網(wǎng)明星合影照片生成 明星社交圖，并建立以人際社交圖為基礎(chǔ)的多媒體內(nèi)容點(diǎn)播與分享平臺(tái)。


圖1是本發(fā)明的一種基于明星人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法的流程圖2是本發(fā)明的自動(dòng)人臉檢測方法流程圖3是本發(fā)明的基于人臉識(shí)別結(jié)果的人臉標(biāo)注方法流程圖4是本發(fā)明的人際社交圖生成流程圖5是本發(fā)明的基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享示例圖； 圖6是明星動(dòng)態(tài)人氣排行榜的生成算法。
具體實(shí)施例方式
本發(fā)明的方法流程圖如圖1所示(l)在網(wǎng)絡(luò)服務(wù)器端，分析互聯(lián)網(wǎng)存在的多媒體內(nèi)容， 利用自動(dòng)人臉檢測和識(shí)別技術(shù)，識(shí)別網(wǎng)絡(luò)海量明星照片和影視劇中的人臉，為圖像/視頻數(shù) 據(jù)庫中的人臉提供標(biāo)注；根據(jù)明星在圖像和視頻中出現(xiàn)的頻次，建立明星動(dòng)態(tài)人際社交圖； (2)在3G移動(dòng)終端，用戶選擇自己喜歡的明星，從網(wǎng)絡(luò)服務(wù)器端下載查看該明星的動(dòng)態(tài)人
際社交圖，及時(shí)掌握明星社交圈的更新，吸引用戶査看明星最新的照片，視頻和瀏覽相關(guān)
新聞，從而發(fā)展以明星人際社交圖為基礎(chǔ)的音視頻點(diǎn)播、圖片瀏覽與下載等3G業(yè)務(wù)。 基于Adaboost的多姿態(tài)人臉檢測方法流程圖如圖2所示
人臉檢測的任務(wù)是確定給定圖片中人臉的數(shù)量和位置。本發(fā)明基于Adaboost統(tǒng)計(jì)分類 算法，學(xué)習(xí)人臉灰度分布所包含的與其它事物相區(qū)分的特殊結(jié)構(gòu)，通過大規(guī)模的人臉與非 人臉數(shù)據(jù)庫訓(xùn)練獲得人臉檢測器。
互聯(lián)網(wǎng)上存在大量的明星照片。由于照片來源的多樣性，只有小部分的人臉為標(biāo)準(zhǔn)正 面人臉，因此有必要訓(xùn)練多姿態(tài)的人臉檢測器，以檢測任意姿態(tài)的人臉。如附圖4所示， 在訓(xùn)練過程中，通過收集各種姿態(tài)的人臉，包括正面人臉集、左側(cè)面人臉集、右側(cè)面人臉 集等，基于Adaboost訓(xùn)練對應(yīng)的人臉檢測器，以得到正面人臉模型、左側(cè)面模型和右側(cè)面 模型等人臉檢測模型。在人臉檢測過程中，為檢測不同姿態(tài)的人臉，利用訓(xùn)練所得的多姿態(tài)人臉檢測模型進(jìn) 行人臉檢測；另一方面，由于人臉尺寸和位置的不確定性，需要對給定圖片進(jìn)行金字塔降 采樣操作和全圖掃描。
基于人臉識(shí)別的照片標(biāo)注的方法流程圖如圖3所示。
對于給定照片，在人臉檢測獲得人臉候選區(qū)域后，可對檢測到的人臉進(jìn)行識(shí)別，從而 為照片添加人臉識(shí)別結(jié)果的標(biāo)注。通過對檢測到的人臉提取特征模板，與注冊明星庫已存 在的特征模板進(jìn)行模式匹配。
本發(fā)明采用局部二值模式(Local Binary Pattern, LBP，詳見參考文獻(xiàn)1)作為人臉 特征提取方法，并利用線性判別分析(Linear Discriminant Analysis, LDA，詳見參考文 獻(xiàn)2)技術(shù)對提取的LBP特征進(jìn)行降維，并將獲得的LDA降維特征作為模板保存或直接進(jìn)行 模式匹配。LBP是一種局部模式的表示方法，通過在鄰域內(nèi)比較中心象素與周圍象素值的大 小，得到表征相對灰度的二進(jìn)制串，進(jìn)而將二進(jìn)制串轉(zhuǎn)化為整數(shù)模式，具有能較好描述圖 像局部紋理特性的優(yōu)點(diǎn)。LDA技術(shù)以基于Fisher準(zhǔn)則的線性判別分析為理論基礎(chǔ)，使樣本 在所生成的子空間中類間散度最大同時(shí)類內(nèi)散度最小。對于檢測到的人臉圖像，通過對圖 像進(jìn)行分塊操作以保留圖像空間信息，然后對每塊圖像直方圖統(tǒng)計(jì)其LBP特征，將所有圖 像塊的LBP特征串接起來形成空間高維向量。為了降低特征維度并進(jìn)一步提高人臉識(shí)別性 能，通過LDA學(xué)習(xí)具有判決性能的子空間，將高維LBP向量在LDA子空間中作投影獲得最 終的人臉特征模板。通過最近鄰特征模板匹配技術(shù)，將相似度最大的人臉識(shí)別結(jié)果賦予待 識(shí)別的人臉作為照片標(biāo)注。
盡管互聯(lián)網(wǎng)上存在海量的明星照片和影視截圖，基于人臉檢測與識(shí)別技術(shù)，就可以自 動(dòng)為數(shù)據(jù)服務(wù)器上的所有圖像和視頻提供標(biāo)注信息。在完成自動(dòng)標(biāo)注后，可依據(jù)照片標(biāo)注 的數(shù)量來確定此照片是否為合影照片，并以此為基礎(chǔ)建立明星人際關(guān)系鏈接。通過這種方 式，可以獲得以每位明星為中心的人際社交圖。在人際社交圖上，依據(jù)社交關(guān)系重要度參 數(shù)，順序展示與之存在社交關(guān)系的其他明星，將最重要的社交關(guān)系置于人際社交圖的前列。 根據(jù)合影照片生成明星社交圖的具體算法如圖4所示-
(1) 掃描數(shù)據(jù)庫中所有明星照片和影視截圖，計(jì)算包含每位明星的合影照片數(shù)量。假 定對于明星/，其合影照片數(shù)量為S,.;
(2) 對于任意明星/，為計(jì)算明星z'和/之間社交關(guān)系的重要度，首先初始化/和/之 間的社交權(quán)重為A =0; (3) 在任意一張照片中，如果/和y'之間存在合影關(guān)系，且照片中的總?cè)藬?shù)為M,則A=^+~5_， ~^~代表當(dāng)前照片所體現(xiàn)的/和_/之間社交關(guān)系的重要度。如
果照片只包含/和/， /和y之間社交關(guān)系的重要度為1;如果照片中包括4個(gè)人， 則當(dāng)前照片所體現(xiàn)的!'和J'之間社交關(guān)系重要度為1/3;
(4) 在處理完所有照片后，將明星!'和/之間的社交權(quán)重歸一化為P^ = % , P^反
映了明星/和y之間社交關(guān)系的重要程度；
(5) 對于明星/，將所有的^從大到小順序排列f^ >『& > — >^^，根據(jù)社交關(guān)系 重要度依次排列與/存在社交關(guān)系的明星義，厶，…，厶，生成以明星/為中心 的人際社交圖。
在生成人際社交圖后，可基于人際社交圖進(jìn)行多媒體資源點(diǎn)播與分享。需要強(qiáng)調(diào)的是， 由于人際社交圖可以全面直觀地展示明星社交圈，極大方便了用戶以靈活獨(dú)特的方式點(diǎn)播 各種多媒體資源。舉例來說，在明星a的人際社交圖上，如附圖5所示。用戶如果選擇明 星a、明星d和明星e這三位明星，就可以看到三位明星所共同出演的多媒體資源，如電影 視頻、電影的WEB宣傳網(wǎng)頁和三人之間所發(fā)生的花絮新聞。
基于明星人際社交圖，根據(jù)其人際社交圖的規(guī)模和用戶點(diǎn)擊該明星多媒體資源的次數(shù)， 可綜合產(chǎn)生明星動(dòng)態(tài)人氣排行榜。所述明星動(dòng)態(tài)人氣排行榜的生成算法如圖6所示
(1) 明星人氣動(dòng)態(tài)排行榜是以某個(gè)固定時(shí)段(T)為基準(zhǔn)而統(tǒng)計(jì)生成，如日排行榜(T=l 天)，周排行榜(T-1周)，月排行榜等(T4月)；
(2) 某明星人際社交圖的規(guī)模定義為與該明星存在合影關(guān)系的其他明星總?cè)藬?shù)；
(3) 統(tǒng)計(jì)每位明星在上個(gè)歷史時(shí)段內(nèi)多媒體資源被點(diǎn)擊的次數(shù)",和人際社交圖的規(guī)
模V / = 1,2,...,夂；
(4) 分別找出多媒體資源被點(diǎn)擊次數(shù)最多的明星，得到其點(diǎn)擊次數(shù)N;和人際社交圖 規(guī)模最大的明星，得到其社交圖規(guī)模S;
(5) 計(jì)算每位明星的相對點(diǎn)擊次數(shù)i和相對人氣社交圖的規(guī)模^;
(6) 計(jì)算每位明星的人氣指數(shù)/,="*^; + (1-其中0S"^1;
(7) 根據(jù)每位明星人氣指數(shù)的大小，確定他們在人氣排行榜上的位置。
本領(lǐng)域的技術(shù)人員可以理解在不脫離本發(fā)明及所附的權(quán)利要求的精神和范圍內(nèi)，各
8種替換、變化和修改都是可能的。因此，本發(fā)明不應(yīng)局限于最佳實(shí)施例和附圖所公開的內(nèi) 容。
參考文獻(xiàn) T. Ahonen, A. Hadid and, M. Heikkila. Face Recognition with Local Binary Patterns. In Proceedings of the她European Conference on Computer Vision, 2004. A. M. Martinez and A. C. Kak, PCA versus LDA, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 23, no. 2, pp. 228-233, Feb. 2001, doi:l0.1109/34.908974.
9
權(quán)利要求
1.一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，其特征在于該方法包括以下步驟(1)分析互聯(lián)網(wǎng)存在的多媒體內(nèi)容，利用自動(dòng)人臉檢測和識(shí)別技術(shù)，識(shí)別網(wǎng)絡(luò)海量明星照片和影視劇中的多姿態(tài)人臉；(2)基于識(shí)別結(jié)果為圖像或視頻數(shù)據(jù)庫中的人臉進(jìn)行標(biāo)注；(3)統(tǒng)計(jì)明星在圖像和視頻中出現(xiàn)的頻次，計(jì)算明星之間社交關(guān)系重要度，并依此建立明星動(dòng)態(tài)人際社交圖；(4)用戶從移動(dòng)終端上選擇自己喜歡的明星，從網(wǎng)絡(luò)服務(wù)器端下載查看該明星的動(dòng)態(tài)人際社交圖，及時(shí)掌握明星社交圈的更新，吸引用戶查看明星最新的照片，視頻和瀏覽相關(guān)新聞，從而發(fā)展以明星人際社交圖為基礎(chǔ)的音視頻點(diǎn)播、圖片瀏覽與下載等業(yè)務(wù)；(5)根據(jù)明星動(dòng)態(tài)人際社交圖規(guī)模和用戶點(diǎn)擊該明星多媒體資源的次數(shù)，自動(dòng)產(chǎn)生明星動(dòng)態(tài)人氣榜，并向移動(dòng)終端推送。
2. 根據(jù)權(quán)利要求1所述的一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，其特征 在于所述的自動(dòng)人臉檢測包括如下步驟(1) 通過收集各種姿態(tài)的人臉，包括正面人臉集、左側(cè)面人臉集、右側(cè)面人臉集等， 基于Adaboost訓(xùn)練對應(yīng)的人臉檢測器，以得到正面人臉模型、左側(cè)面模型和右側(cè)面模型等 人臉檢測模型；(2) 為避免人臉尺寸和位置的不確定性，對給定圖片進(jìn)行金字塔降采樣操作和全圖掃描；(3) 將經(jīng)過處理的全圖掃描結(jié)果與人臉模型進(jìn)行相似度判斷，檢測出人臉。
3. 根據(jù)權(quán)利要求1所述的一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，其特征 在于所述的基于人臉識(shí)別結(jié)果的人臉標(biāo)注包括如下步驟(1) 采用局部二值模式對人臉特征提?。?2) 將人臉圖像分塊，采用直方圖統(tǒng)計(jì)每塊人臉圖像的局部二值模式；(3) 采用線性判別分析技術(shù)對提取的直方圖統(tǒng)計(jì)特征降維；(4) 將獲得的降維特征作為模板保存或直接進(jìn)行模式匹配；(5) 利用最近鄰特征模板匹配方法，根據(jù)相似度最大的識(shí)別結(jié)果對照片進(jìn)行標(biāo)注。
4. 根據(jù)權(quán)利要求1所述的一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，其特征 在于在完成自動(dòng)標(biāo)注后，可依據(jù)照片標(biāo)注的數(shù)量來確定此照片是否為合影照片，并以此為基礎(chǔ)建立明星人際關(guān)系鏈接，并獲得以每位明星為中心的人際社交圖。
5. 根據(jù)權(quán)利要求1所述的一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，其特征 在于所述的人際社交圖的生成算法如下(1) 統(tǒng)計(jì)包含每位明星的合影照片總數(shù)量；(2) 初始化兩位明星的社交權(quán)重為0;(3) 依據(jù)照片是否存在每位明星與其他明星的合影及合影人數(shù)，計(jì)算相應(yīng)的權(quán)重；(4) 以合影照片總數(shù)量為基數(shù)，將每位明星與其他明星的合影權(quán)重歸一化，獲得明星 之間社交關(guān)系重要度的參數(shù)；(5) 依據(jù)明星之間社交關(guān)系重要度，生成每位明星的人際社交圖。
6. 根據(jù)權(quán)利要求l所述的一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，其特征 在于所述的明星動(dòng)態(tài)人氣排行榜的生成算法如下(1) 明星人氣動(dòng)態(tài)排行榜是以某個(gè)固定時(shí)段為基準(zhǔn)而統(tǒng)計(jì)生成；(2) 統(tǒng)計(jì)每位明星在某個(gè)歷史時(shí)段內(nèi)多媒體資源被點(diǎn)擊的次數(shù)和人際社交圖的規(guī)模；(3) 依據(jù)統(tǒng)計(jì)結(jié)果分別計(jì)算每位明星的人氣指數(shù)；(4) 根據(jù)每位明星人氣指數(shù)的大小，確定他們在當(dāng)前時(shí)段內(nèi)人氣排行榜上的位置。
7. 根據(jù)權(quán)利要求1所述的一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，其特征 在于提供了一種以人際社交圖為基礎(chǔ)的多媒體內(nèi)容點(diǎn)播與分享方法(1) 在人際社交圖上，選擇感興趣的明星，點(diǎn)播影視劇集，瀏覽明星圖庫；(2) 在人際社交圖上，選擇與之存在社交關(guān)系的其他明星，點(diǎn)播共同出演的音視頻， 査看合影圖片，閱讀包含所有被選擇明星的相關(guān)新聞報(bào)道。
全文摘要
一種基于人際社交圖的多媒體內(nèi)容點(diǎn)播與分享方法，其特征在于(1)在網(wǎng)絡(luò)服務(wù)器端，分析互聯(lián)網(wǎng)存在的多媒體內(nèi)容，利用自動(dòng)人臉檢測和識(shí)別技術(shù)，識(shí)別網(wǎng)絡(luò)海量明星照片和影視劇中的人臉，為圖像/視頻數(shù)據(jù)庫中的人臉提供標(biāo)注；根據(jù)明星在圖像和視頻中出現(xiàn)的頻次，建立明星動(dòng)態(tài)人際社交圖；(2)在3G移動(dòng)終端，用戶選擇自己喜歡的明星，從網(wǎng)絡(luò)服務(wù)器端下載查看該明星的動(dòng)態(tài)人際社交圖，及時(shí)掌握明星社交圈的更新，吸引用戶查看明星最新的照片，視頻和瀏覽相關(guān)新聞，從而發(fā)展以明星人際社交圖為基礎(chǔ)的音視頻點(diǎn)播、圖片瀏覽與下載等3G業(yè)務(wù)。
文檔編號H04N7/173GK101668176SQ20091009279
公開日2010年3月10日 申請日期2009年9月25日 優(yōu)先權(quán)日2009年9月25日
發(fā)明者尚媛園, 朱華瑜, 淼 洪, 秦佩華 申請人:北京酷聯(lián)天下科技有限公司