一種面向網(wǎng)盤分享服務(wù)的盜版視頻資源發(fā)現(xiàn)方法
【專利摘要】本發(fā)明公開一種面向網(wǎng)盤分享服務(wù)的盜版視頻資源發(fā)現(xiàn)方法。首先，根據(jù)指定網(wǎng)盤和目標(biāo)視頻，利用通用搜索引擎搜集目標(biāo)視頻在指定網(wǎng)盤上的可能下載鏈接及分享文件信息，得到備選下載鏈接集合；然后，利用三元屬性規(guī)則樹，判斷備選下載鏈接集合中的每個鏈接是否為目標(biāo)視頻的下載鏈接，得到目標(biāo)視頻的有效下載鏈接集合，從而發(fā)現(xiàn)目標(biāo)視頻在指定網(wǎng)盤的盜版分享資源。所述三元屬性規(guī)則樹包括：首先判斷下載鏈接對應(yīng)的分享文件標(biāo)題是否與目標(biāo)視頻符合；然后判斷分享文件類型是否為可能的視頻資源格式；最后判斷分享文件大小是否符合預(yù)設(shè)正常范圍，最后得到目標(biāo)視頻的有效下載鏈接集合。
【專利說明】一種面向網(wǎng)盤分享服務(wù)的盜版視頻資源發(fā)現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于互聯(lián)網(wǎng)文件分享應(yīng)用領(lǐng)域，特別涉及一種面向網(wǎng)盤文件分享服務(wù)的盜版視頻資源發(fā)現(xiàn)方法。
【背景技術(shù)】
[0002]隨著Web2.0技術(shù)和云存儲技術(shù)的發(fā)展，一種新的基于網(wǎng)盤的文件分享方式正逐漸成為互聯(lián)網(wǎng)文件分享的主流。著名的網(wǎng)盤站點(diǎn)，例如國外的Megaupload、4shared,國內(nèi)的華為網(wǎng)盤、百度云盤等都支持基于下載鏈接的文件分享服務(wù)。其基本原理如附圖1所示:首先用戶上傳文件到網(wǎng)盤，如果用戶選擇分享該文件，則網(wǎng)盤會自動生成一個該文件的下載鏈接返回給上傳用戶，并在網(wǎng)盤系統(tǒng)中生成一個包含文件標(biāo)題、類型、大小、上傳時間、上傳用戶等信息的分享頁面；上傳用戶可以通過博客、論壇、QQ等各種方式將該下載鏈接分享給其他互聯(lián)網(wǎng)用戶；其他用戶通過點(diǎn)擊該鏈接就可以方便地從網(wǎng)盤下載對應(yīng)的分享文件。通常這些分享的下載鏈接信息也會被谷歌、百度等通用搜索引擎檢索，因此普通互聯(lián)網(wǎng)用戶通過搜索引擎也能夠獲取分享文件的下載鏈接，從而有效擴(kuò)大了文件的分享范圍。
[0003]與傳統(tǒng)的P2P文件分享相比，基于網(wǎng)盤的文件分享方式在保護(hù)用戶隱私、內(nèi)容多樣性、下載速度等多個方面具有優(yōu)勢。特別是其對針對熱門資源上傳者的經(jīng)濟(jì)激勵策略，吸引了大量用戶在網(wǎng)盤上分享熱門資源。然而，網(wǎng)盤分享存在與P2P分享方式同樣的盜版問題，這些上傳的熱門資源中很大一部分是盜版的電影、電視劇等視頻文件。有研究指出，由于能夠?yàn)楸I版視頻發(fā)布者提供更為可觀的經(jīng)濟(jì)利益，網(wǎng)盤分享正逐漸成為盜版視頻資源擴(kuò)散的主要途徑。隨著大量盜版視頻文件及其種子文件被轉(zhuǎn)移到網(wǎng)盤，作為視頻資源的版權(quán)擁有者以及版權(quán)保護(hù)組織，如何在網(wǎng)盤海量的分享文件中快速準(zhǔn)確地發(fā)現(xiàn)這些盜版視頻分享資源，督促網(wǎng)盤管理者刪除相關(guān)下載鏈接成為阻斷盜版視頻非法擴(kuò)散的關(guān)鍵。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種面向網(wǎng)盤分享服務(wù)的盜版視頻資源發(fā)現(xiàn)方法，該方法能夠從指定網(wǎng)盤的海量分享文件中快速準(zhǔn)確地發(fā)現(xiàn)目標(biāo)視頻的多種類型的盜版分享文件，包括視頻文件、種子文件和壓縮文件。
[0005]為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供的盜版視頻資源發(fā)現(xiàn)方法，其特征在于，包括以下步驟:
[0006]步驟1、對于指定網(wǎng)盤、指定目標(biāo)視頻，利用通用搜索引擎搜集該目標(biāo)視頻在指定網(wǎng)盤上的可能下載鏈接及分享文件信息，得到備選下載鏈接集合，具體執(zhí)行如下:
[0007]1.1)、提取指定網(wǎng)盤分享文件對應(yīng)的下載鏈接的特征字符串，即該網(wǎng)盤所有分享文件的下載鏈接共同包含的最長相同字符串；
[0008]1.2)、根據(jù)指定網(wǎng)盤、目標(biāo)視頻名稱構(gòu)建搜索關(guān)鍵詞，利用通用搜索引擎搜集與搜索關(guān)鍵詞最相關(guān)的頁面信息，保存檢索結(jié)果對應(yīng)的URL列表；
[0009]所述關(guān)鍵詞構(gòu)建方法，包含且不局限于以下方式:“目標(biāo)視頻名稱+指定網(wǎng)盤名稱+下載”或者“目標(biāo)視頻名稱指定網(wǎng)盤名稱下載”;所述通用搜索引擎，包含且不限于:百度、谷歌；
[0010]1.3)、爬取檢索結(jié)果對應(yīng)的URL列表中每個URL對應(yīng)的網(wǎng)頁；
[0011]1.4)、判斷檢索結(jié)果對應(yīng)的URL列表中每個URL是否包含指定網(wǎng)盤的特征字符串，如果包含，則將該URL作為目標(biāo)視頻可能的下載鏈接，將其加入備選下載鏈接集合中；如果不包含，則讀取該URL對應(yīng)的網(wǎng)頁內(nèi)容中包含的所有鏈接，判斷每個鏈接是否包含指定網(wǎng)盤的特征字符串，如果包含，則將該鏈接作為目標(biāo)視頻可能的下載鏈接，將其加入備選下載鏈接集合中，否則終止分析該URL ；
[0012]步驟2、利用本發(fā)明提供的三元屬性規(guī)則樹方法，判斷備選下載鏈接集合中的每個鏈接是否為目標(biāo)視頻的下載鏈接，從而得到目標(biāo)視頻下載鏈接集合，具體執(zhí)行如下:
[0013]2.1)、根據(jù)指定網(wǎng)盤分享頁面的布局特征，提取出備選下載鏈接集合中每個下載連接對應(yīng)的分享文件的三元組屬性{標(biāo)題，類型，大小};
[0014]2.2)、判斷備選下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的標(biāo)題是否與目標(biāo)視頻名稱符合，如果符合，則將下載鏈接加入合題下載鏈接集合中，執(zhí)行步驟2.3;否則判斷該下載鏈接對應(yīng)的分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)的下載鏈接；
[0015]所述分享文件標(biāo)題與目標(biāo)視頻名稱是否符合的判斷方法如下:
[0016]2.2.1)、制定分享文件標(biāo)題和目標(biāo)視頻名稱的統(tǒng)一轉(zhuǎn)換規(guī)則:將分享文件標(biāo)題和目標(biāo)視頻名稱中含有的所有符號用空格替換，如果相鄰中文字符間存在空格，則將空格去掉；將含有的所有中文繁體字符轉(zhuǎn)化為簡體字符；將含有的所有英文大寫字符轉(zhuǎn)化為英文小寫字符；將含有的所有羅馬數(shù)字和中文數(shù)字轉(zhuǎn)化為阿拉伯?dāng)?shù)字；
[0017]2.2.2)、將備選下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的標(biāo)題按照步驟2.2.1所述統(tǒng)一轉(zhuǎn)換規(guī)則進(jìn)行轉(zhuǎn)換；
[0018]2.2.3)、將目標(biāo)視頻名稱按照步驟2.2.1所述統(tǒng)一轉(zhuǎn)換規(guī)則進(jìn)行轉(zhuǎn)換；
[0019]2.2.4)、判斷轉(zhuǎn)換后的分享文件標(biāo)題是否精確包含轉(zhuǎn)換后的目標(biāo)視頻名稱，如果包含，則認(rèn)為標(biāo)題與目標(biāo)視頻名稱符合；否則判斷為不符合；
[0020]2.3)、判斷合題下載鏈接集合中每個下載連接對應(yīng)的分享文件的類型，如果類型為視頻文件格式、壓縮文件格式、種子文件格式，則將下載鏈接加入到格式匹配下載鏈接集合中；否則，判斷該分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)下載鏈接；
[0021]2.4)、判斷格式匹配下載鏈接集合中每個下載連接對應(yīng)的分享文件的大小是否符合每種文件類型預(yù)設(shè)的正常大小范圍，如果符合，則判斷該分享文件為目標(biāo)視頻的分享文件，將下載鏈接加入到目標(biāo)視頻下載鏈接集合中；否則，判斷該分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)下載鏈接。
[0022]通過上述方法得到目標(biāo)視頻的準(zhǔn)確下載鏈接集合，集合中的每個下載鏈接對應(yīng)的分享文件即是目標(biāo)視頻在指定網(wǎng)盤的盜版分享文件。本發(fā)明提供的盜版視頻資源發(fā)現(xiàn)方法，能支持在指定網(wǎng)盤上發(fā)現(xiàn)目標(biāo)視頻的多種類型的盜版分享文件，包括視頻文件、種子文件和壓縮文件。需要說明的是，由于網(wǎng)盤上傳用戶對分享文件標(biāo)題命名的任意性，本發(fā)明提供的盜版視頻資源發(fā)現(xiàn)方法所發(fā)現(xiàn)的分享文件并不都是目標(biāo)視頻的盜版分享文件，但是通過大規(guī)模測試，該方法的準(zhǔn)確率能夠達(dá)到95%以上?！緦＠綀D】

【附圖說明】
[0023]圖1是【背景技術(shù)】中基于網(wǎng)盤的文件分享過程示意圖
[0024]圖2是本發(fā)明提供的盜版視頻資源發(fā)現(xiàn)方法的整體流程圖
[0025]圖3是本發(fā)明實(shí)施例提供的利用通用搜索引擎搜集目標(biāo)視頻可能下載鏈接的流程圖
[0026]圖4是本發(fā)明實(shí)施例提供的目標(biāo)視頻在指定網(wǎng)盤的分享頁面示意圖
[0027]圖5是本發(fā)明實(shí)施例提供的判斷分享文件標(biāo)題與目標(biāo)視頻名稱是否符合的流程圖
【具體實(shí)施方式】
[0028]下面結(jié)合附圖對本發(fā)明的【具體實(shí)施方式】進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許會淡化本發(fā)明的主要內(nèi)容時，這些描述在這里將被忽略。
[0029]圖2是本發(fā)明提供的盜版視頻資源發(fā)現(xiàn)方法的整體流程，具體步驟包括:
[0030]步驟1:接收指定網(wǎng)盤和目標(biāo)視頻，利用通用搜索引擎搜集目標(biāo)視頻在指定網(wǎng)盤上的可能下載鏈接及分享文件頁面，得到目標(biāo)視頻的備選下載鏈接集合；
[0031]步驟2:利用本發(fā)明提供的三元屬性規(guī)則樹方法，判斷備選下載鏈接集合中的每個鏈接是否為目標(biāo)視頻的下載鏈接，從而得到目標(biāo)視頻在指定網(wǎng)盤的準(zhǔn)確下載鏈接集合，具體包括:
[0032]步驟2.1:根據(jù)指定網(wǎng)盤分享頁面的布局特征，提取備選下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的三元屬性{標(biāo)題，類型，大小};
[0033]步驟2.2:判斷備選下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的標(biāo)題是否與目標(biāo)視頻名稱符合，如果符合，則將下載鏈接加入合題下載鏈接集合中；否則，判斷該分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)下載鏈接；
[0034]步驟2.3:判斷合題下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的類型，如果類型為視頻文件格式、壓縮文件格式、種子文件格式(含文件分享種子和播放器種子)，則將下載鏈接加入到格式匹配下載鏈接集合中；否則，判斷該分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)下載鏈接；
[0035]步驟2.4:判斷格式匹配下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的大小是否符合每種文件類型預(yù)設(shè)的正常大小范圍，如果符合，則判斷該分享文件為目標(biāo)視頻的分享文件，將下載鏈接加入到目標(biāo)視頻下載鏈接集合中；否則，判斷該分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)下載鏈接。
[0036]實(shí)施例1
[0037]實(shí)施例1提供了本發(fā)明利用通用搜索引擎搜集目標(biāo)視頻可能下載鏈接的【具體實(shí)施方式】，流程如圖3所示。
[0038]步驟1.1:提取指定網(wǎng)盤分享文件對應(yīng)的下載鏈接的特征字符串，即該網(wǎng)盤所有分享文件的下載鏈接共同包含的最長相同字符串；
[0039]步驟1.2:根據(jù)指定網(wǎng)盤、目標(biāo)視頻名稱構(gòu)建搜索關(guān)鍵詞，利用通用搜索引擎搜集與搜索關(guān)鍵詞最相關(guān)的頁面信息，保存檢索結(jié)果對應(yīng)的URL列表；[0040]步驟1.3:爬取檢索結(jié)果對應(yīng)的URL列表中每個URL對應(yīng)的網(wǎng)頁；
[0041]步驟1.4:建立目標(biāo)視頻在指定網(wǎng)盤的備選下載鏈接集合，具體包括:
[0042]步驟1.4.1:判斷檢索結(jié)果對應(yīng)的URL列表中每個URL是否包含指定網(wǎng)盤的特征字符串，如果包含，則將該URL作為目標(biāo)視頻可能的下載鏈接，將其加入備選下載鏈接集合中；如果不包含，則執(zhí)行步驟1.4.2 ;
[0043]步驟1.4.2:讀取該URL對應(yīng)的網(wǎng)頁內(nèi)容中包含的所有鏈接；
[0044]步驟1.4.3:判斷網(wǎng)頁中包含的每個鏈接是否包含指定網(wǎng)盤的特征字符串，如果包含，則將該鏈接作為目標(biāo)視頻可能的下載鏈接，將其加入備選下載鏈接集合中，否則終止分析該URL。
[0045]在本實(shí)施例中，例如要求搜集電影“霍比特人”在“百度云盤”上的盜版分享文件的下載鏈接，則指定網(wǎng)盤是“百度云盤”，目標(biāo)視頻是“霍比特人”。因此，提取“百度云盤”的特征字符串http://pan.baidu.com/share/link?shareid=,即所有“百度云盤”分享文件的下載鏈接中均包含該字符串。
[0046]然后，構(gòu)建搜索關(guān)鍵詞“霍比特人+百度云盤+下載”，在百度搜索引擎上搜集相關(guān)網(wǎng)頁信息，將前η個搜索結(jié)果記錄為一個URL列表{URL1，URL2, -URLn}。
[0047]判斷URL列表中每個URL是否包含特征字符串“http://pan.baidu.com/share/link?shareid=”，如果包含，則將該URL加入備選下載鏈接集合；否則讀取該URL對應(yīng)的網(wǎng)頁數(shù)據(jù)，提取出內(nèi)容中包含的所有鏈接，然后依次判斷鏈接中是否包含特征字符串，如果包含，則將該鏈接加入備選下 載鏈接集合；否則，終止分析該URL。
[0048]例如URL列表中有3個URL，分別是:
[0049]URLl:http://pan.baidu.com/share/link?shareid=1051395566&uk=1964313849
[0050]URL2:http://tieba.baidu.com/p/2388699160
[0051]URL3:http://bbs.hdbird.com/thread-613429-1-1, html
[0052]根據(jù)所述判斷規(guī)則，URLl直接包含特征字符串，因此將其加入備選下載鏈接集合；
[0053]URL2本身不包含特征字符串，進(jìn)一步分析URL2對應(yīng)的網(wǎng)頁中也不包含含有特征字符串的鏈接，因此，URL2不是備選下載鏈接，舍棄；
[0054]URL3雖然本身不包含特征字符串，但進(jìn)一步分析其對應(yīng)的網(wǎng)頁，發(fā)現(xiàn)網(wǎng)頁內(nèi)容中包含含有特征字符串的鏈接 http: //pan.baidu.com/share/link?shareid=368501&uk=2988433221,因此，將鏈接 http://pan.baidu.com/share/link?shareid=368501&uk=2988433221加入備選下載鏈接集合。
[0055]最終，在本實(shí)例中形成的備選下載鏈接集合為{http://pan.baidu.com/share/link?shareid=1051395566&uk=1964313849，http://pan.baidu.com/share/1ink?shareid=368501&uk=2988433221}。
[0056]實(shí)施例2
[0057]實(shí)施例2是本發(fā)明提取指定網(wǎng)盤分享文件屬性的具體實(shí)施方法。圖4是目標(biāo)視頻在“百度云盤”上的一個分享頁面。分析“百度云盤”分享頁面的布局特征，發(fā)現(xiàn)所有分享頁面的html代碼均包含如下結(jié)構(gòu):
【權(quán)利要求】
1.本發(fā)明公開了一種面向網(wǎng)盤分享服務(wù)的盜版視頻資源發(fā)現(xiàn)方法。首先，該方法根據(jù)指定網(wǎng)盤和目標(biāo)視頻，利用通用搜索引擎搜集該目標(biāo)視頻在指定網(wǎng)盤上的可能下載鏈接及分享文件信息，得到備選下載鏈接集合；然后，該方法利用三元屬性規(guī)則樹，判斷備選下載鏈接集合中的每個鏈接是否為目標(biāo)視頻的下載鏈接，得到準(zhǔn)確的目標(biāo)視頻下載鏈接集合，從而發(fā)現(xiàn)目標(biāo)視頻在指定網(wǎng)盤的盜版分享資源。一種面向網(wǎng)盤分享服務(wù)的盜版視頻資源發(fā)現(xiàn)方法，其特征在于，包括以下步驟: 步驟1:接收指定網(wǎng)盤和目標(biāo)視頻，利用通用搜索引擎搜集目標(biāo)視頻在指定網(wǎng)盤上的可能下載鏈接及分享文件頁面，得到目標(biāo)視頻的備選下載鏈接集合； 步驟2:利用本發(fā)明提供的三元屬性規(guī)則樹方法，判斷備選下載鏈接集合中的每個鏈接是否為目標(biāo)視頻的下載鏈接，從而得到目標(biāo)視頻在指定網(wǎng)盤的準(zhǔn)確下載鏈接集合。
2.如權(quán)利要求1所述的方法，其特征在于，所述利用通用搜索引擎搜集目標(biāo)視頻在指定網(wǎng)盤的可能下載鏈接方法，包括: 提取指定網(wǎng)盤分享文件對應(yīng)的下載鏈接的特征字符串，即該網(wǎng)盤所有分享文件的下載鏈接共同包含的最長相同字符串； 根據(jù)指定網(wǎng)盤和目標(biāo) 視頻名稱構(gòu)建搜索關(guān)鍵詞，利用通用搜索引擎搜集與搜索關(guān)鍵詞最相關(guān)的網(wǎng)頁信息，保存檢索結(jié)果對應(yīng)的URL列表； 爬取檢索結(jié)果對應(yīng)的URL列表中每個URL對應(yīng)的網(wǎng)頁； 判斷檢索結(jié)果對應(yīng)的URL列表中每個URL是否包含指定網(wǎng)盤的特征字符串，如果包含，則將該URL作為目標(biāo)視頻可能的下載鏈接，將其加入備選下載鏈接集合中；如果不包含，則讀取該URL對應(yīng)的網(wǎng)頁內(nèi)容中包含的所有鏈接，判斷每個鏈接是否包含指定網(wǎng)盤的特征字符串，如果包含，則將該鏈接作為目標(biāo)視頻可能的下載鏈接，將其加入備選下載鏈接集合中，否則終止分析該URL。
3.如權(quán)利要求1所述的方法，其特征在于，所述三元屬性規(guī)則樹方法，包括: 根據(jù)指定網(wǎng)盤分享頁面的布局特征，提取備選下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的三元屬性{標(biāo)題，類型，大小}； 判斷備選下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的標(biāo)題是否與目標(biāo)視頻名稱符合，如果符合，則將下載鏈接加入合題下載鏈接集合中；否則，判斷該分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)下載鏈接； 判斷合題下載鏈接集合中每個下載連接對應(yīng)的分享文件的類型，如果類型為視頻文件格式、壓縮文件格式、種子文件格式(含文件分享種子和播放器種子)，則將下載鏈接加入到格式匹配下載鏈接集合中；否則，判斷該分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)下載鏈接； 判斷格式匹配下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的大小是否符合每種文件類型預(yù)設(shè)的大小正常范圍，如果符合，則判斷該分享文件為目標(biāo)視頻的分享文件，將下載鏈接加入到目標(biāo)視頻下載鏈接集合中；否則，判斷該分享文件不是目標(biāo)視頻的分享文件，舍棄對應(yīng)下載鏈接。
4.如權(quán)利要求3所述的方法，其特征在于，所述分享文件標(biāo)題與目標(biāo)視頻名稱是否符合的判斷方法，包括: 制定分享文件標(biāo)題和目標(biāo)視頻名稱的統(tǒng)一轉(zhuǎn)換規(guī)則:將分享文件標(biāo)題和目標(biāo)視頻名稱中含有的所有符號用空格替換，如果相鄰中文字符間存在空格，則將空格去掉；將含有的所有中文繁體字符轉(zhuǎn)化為簡體字符；將含有的所有英文大寫字符轉(zhuǎn)化為英文小寫字符；將含有的所有羅馬數(shù)字或中文數(shù)字轉(zhuǎn)化為阿拉伯?dāng)?shù)字； 將備選下載鏈接集合中每個下載鏈接對應(yīng)的分享文件的標(biāo)題按照所述統(tǒng)一轉(zhuǎn)換規(guī)則進(jìn)行轉(zhuǎn)換； 將目標(biāo)視頻名稱按照所述統(tǒng)一轉(zhuǎn)換規(guī)則進(jìn)行轉(zhuǎn)換； 判斷轉(zhuǎn)換后的分享文件標(biāo)題是否精確包含轉(zhuǎn)換后的目標(biāo)視頻名稱，如果包含則認(rèn)為符合，否則判斷為不符合。
5.如權(quán)利要求3所述的方法，其特征在于，本發(fā)明方法支持發(fā)現(xiàn)的盜版視頻資源格式包括:視頻文件格式、壓縮文件格式、種子文件格式；所述種子文件包括文件分享的種子文件和播放器的特定 種子文件。
【文檔編號】G06F17/30GK103942254SQ201410100596
【公開日】2014年7月23日 申請日期:2014年3月18日 優(yōu)先權(quán)日:2014年3月18日
【發(fā)明者】劉夢娟, 李楊曦, 秦志光, 羅緒成 申請人:電子科技大學(xué)