一種確定微博熱門話題的方法及裝置的制造方法
【技術領域】
[0001]本發(fā)明涉及計算機應用技術領域，具體涉及一種確定微博熱門話題的方法及裝置。
【背景技術】
[0002]隨著web2.0時代的到來，微博的使用人群數(shù)量逐漸龐大，狀態(tài)信息更新頻繁、信息傳播迅速，并且微博平臺媒介用戶占有率相對集中，因此基于微博數(shù)據(jù)的分析研究是十分值得關注的研究方向。
[0003]微博有著廣大的用戶基礎，輿情信息在微博平臺快速的產生和傳播，微博用戶迅猛增長，基于微博數(shù)據(jù)的分析已經引起社會的廣泛關注。
[0004]為了有效地利用微博分析社會輿情，微博數(shù)據(jù)的獲取顯得尤為重要。例如新浪微博上活躍著大量的用戶，每天產生近I億的微博內容。微博用戶分為普通用戶和認證用戶，認證用戶中擁有眾多粉絲、人氣較高、具有一定號召力和影響力的名人又被稱為意見領袖。他們發(fā)布或轉發(fā)的微博更容易成為熱點話題，實時獲取意見領袖的微博數(shù)據(jù)是進行輿情分析的重要方法之一。
[0005]目前獲取意見領袖的微博數(shù)據(jù)非常方便，但是如何實時確定微博熱門話題，以對當前輿情進行監(jiān)管還存在一定的難度。

【發(fā)明內容】

[0006]有鑒于此，本發(fā)明實施例提供一種確定微博熱門話題的方法及裝置，以實時提取熱門話題，以便對當前輿情進行監(jiān)管。
[0007]本公開的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。
[0008]第一方面，本發(fā)明實施例提供了一種確定微博熱門話題的方法，包括:
[0009]獲取意見領袖的微博；
[0010]對所述微博進行分句提取有效句子，將所述有效句子用語義相近的較短的有效句子替代，以獲得新微博形成新微博集合；
[0011]對所述新微博集合中的新微博的有效句子進行聚類確定微博熱門話題。
[0012]進一步地，獲取意見領袖的微博包括:利用定向網絡爬蟲獲取意見領袖發(fā)表的微博，或采用關注模式獲取意見領袖發(fā)表的微博。
[0013]進一步地，將所述有效句子用語義相近的較短的有效句子替代包括:
[0014]將所述微博句子集合中的有效句子進行正則匹配，將匹配相似的有效句子中較長的有效句子用較短的有效句子替代。
[0015]進一步地，將所述微博句子集合中的有效句子進行匹配包括:
[0016]將較短的有效句子中每個字的前后加入通配符形成匹配條件，判斷較長的有效句子是否滿足所述匹配條件。
[0017]進一步地，將所述微博句子集合中的有效句子進行匹配包括:遍歷所述微博集合，對所述微博集合中所有的有效句子進行兩兩正則匹配。
[0018]進一步地，對所述新微博集合中的新微博的有效句子進行聚類確定微博熱門話題包括:
[0019]對所述新微博集合中各新微博進行遍歷，依次對所述各新微博設置編號作為微博的根，根據(jù)所述微博的根對所述各新微博中所包含的有效句子進行標號，包括若所述有效句子第一次出現(xiàn)，則將所述有效句子的標號設置為所述有效句子所在的新微博的根，否則將所述有效句子的標號設置為第一個出現(xiàn)所述有效句子的微博的根；
[0020]根據(jù)新微博的根以及各有效句子標號，確定所述新微博所屬的類別，所述類別至少包括祖先微博和從屬微博，其中所述祖先微博為所有的有效句子均第一次出現(xiàn)的新微博，所述從屬微博為所包括的有效句子標號除了為所述新微博的根之外其他的有效句子標號屬于同一祖先微博的根或所述祖先微博的下面的從屬微博的根的新微博；
[0021]查找各從屬微博的祖先微博，將祖先微博相同的新微博所對應的原微博進行合并確定微博熱門話題。
[0022]進一步地，所述類別還包括噪聲微博，所述噪聲微博為從屬于不同祖先微博的新微博；
[0023]根據(jù)新微博的根以及各有效句子標號，確定所述新微博所屬的類別包括:
[0024]如果新微博中所有有效句子的標號相同，且均為所述新微博的根，則確定所述新微博為祖先微博；
[0025]如果新微博中有效句子標號除了所述新微博的根之外還有一個有效句子標號，則確定所述新微博屬于從屬微博，從屬于根為所述有效句子標號的新微博；
[0026]如果新微博中有效句子標號中除了所述新微博的根之外還有至少兩個不同的句子標號，且根為所述至少兩個不同的句子標號的至少兩個新微博是同一祖先微博的從屬微博，則確定所述新微博為從屬微博，且從屬于所述同一祖先微博，否則確定所述新微博為噪聲微博。
[0027]進一步地，所述方法還包括:對所述新微博集合中的新微博的有效句子進行聚類確定微博熱門話題之后還包括:
[0028]對所確定的熱門話題所相關的新微博進行句子頻率統(tǒng)計，將出現(xiàn)頻率最高的有效句子作為所述熱門話題的標題。
[0029]進一步地，所述方法還包括:對所述新微博集合中的新微博的有效句子進行聚類確定微博熱門話題之后還包括:
[0030]對所確定的熱門話題所相關的微博進行統(tǒng)計，根據(jù)統(tǒng)計結果確定所述熱門話題的熱度，根據(jù)所述熱度對所述熱門話題進行排序。
[0031]第二方面，本發(fā)明實施例還提供了一種確定微博熱門話題的裝置，包括:
[0032]微博獲取單元，用于獲取意見領袖的微博；
[0033]分句單元，用于對所述微博進行分句提取有效句子，將所述有效句子用語義相近的較短的有效句子替代，以獲得新微博形成新微博集合；
[0034]熱門話題確定單元，用于對所述新微博集合中的新微博的有效句子進行聚類確定微博熱門話題。
[0035]本發(fā)明實施例提出的技術方案的有益技術效果是:
[0036]本發(fā)明實施例通過獲取意見領袖的微博，對所述微博進行分句提取有效句子，將所述有效句子用語義相近的較短的有效句子替代，以獲得新微博形成新微博集合，對所述新微博集合中的新微博的有效句子進行聚類確定微博熱門話題，能實時提取熱門話題，以便對當前輿情進行監(jiān)管。
【附圖說明】
[0037]為了更清楚地說明本發(fā)明實施例中的技術方案，下面將對本發(fā)明實施例描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)本發(fā)明實施例的內容和這些附圖獲得其他的附圖。
[0038]圖1是本發(fā)明具體實施例一所述的確定微博熱門話題的方法流程圖；
[0039]圖2是本發(fā)明具體實施例二所述的確定微博熱門話題的方法流程圖；
[0040]圖3是本發(fā)明具體實施例三所述的確定微博熱門話題的方法流程圖；
[0041]圖4是本發(fā)明具體實施例四所述的確定微博熱門話題的裝置的結構框圖。
【具體實施方式】
[0042]為使本發(fā)明解決的技術問題、采用的技術方案和達到的技術效果更加清楚，下面將結合附圖對本發(fā)明實施例的技術方案作進一步的詳細描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0043]下面結合附圖并通過【具體實施方式】來進一步說明本發(fā)明的技術方案。
[0044]實施例一
[0045]圖1是本實施例所述的確定微博熱門話題的方法流程圖，本實施例可適用于能實時提取熱門話題情況，如圖1所示，本實施例所述的確定微博熱門話題的方法包括:
[0046]步驟S101、獲取意見領袖的微博。
[0047]獲取意見領袖的微博包括多種，例如可以利用定向網絡爬蟲獲取意見領袖發(fā)表的微博，還可以采用關注模式獲取意見領袖發(fā)表的微博等不同的方式。
[0048]步驟S102、對所述微博進行分句提取有效句子，將所述有效句子用語義相近的較短的有效句子替代，以獲得新微博形成新微博集合。
[0049]微博平臺通常會對微博的字數(shù)進行限制，例如新浪微博要求最多有140個漢字的長度，因此，微博內容具有高度概括，使用的詞語簡練等特點，語句相似或重復的頻度較高，因此，如果兩條微博擁有一個相似或相同的句子，就將這兩條微博劃分到同一話題中去。
[0050]本實施例中，首先對微博進行分句提取有效句子(例如字數(shù)多于一定數(shù)量的句子)。再將所述有效句子用語義相近的較短的有效句子替代，即將表達相近語義的句子看作相同的句子進行分析。
[0051]將所述有效句子用語義相近的較短的有效句子替代的方法包括多種，例如可將較短的有效句子中每個字的前后加入通配符形成匹配條件，判斷較長的有效句子是否滿足所