本發(fā)明分布是發(fā)布訂閱消息系統(tǒng)，尤其涉及一種消息分發(fā)裝置及方法。

背景技術(shù)：

Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中所有的動(dòng)作流數(shù)據(jù)(例如，網(wǎng)頁瀏覽，搜索和其他用戶的行動(dòng))是在現(xiàn)代網(wǎng)絡(luò)上的許多社會(huì)功能的一個(gè)關(guān)鍵因素。這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。對(duì)于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，又要求實(shí)時(shí)處理的限制，這是一個(gè)可行的解決方案。Kafka的目的是通過Hadoop的并行加載機(jī)制來統(tǒng)一線上和離線的消息處理，也是為了通過集群機(jī)來提供實(shí)時(shí)的消費(fèi)。

Kafka架構(gòu)中的消費(fèi)線程數(shù)和topic(主題)的partition(分區(qū))有關(guān)系(一類消息有一個(gè)主題，每個(gè)主題創(chuàng)建時(shí)，需要固定該主題的分區(qū)數(shù)目)，在某一時(shí)刻，一個(gè)分區(qū)只能有一個(gè)消費(fèi)者線程與其連接，kafka設(shè)計(jì)即是如此。這樣，如果項(xiàng)目需要處理的消息量達(dá)到一定瓶頸，就會(huì)限制消息的消費(fèi)速率。

目前，系統(tǒng)一般通過新增加主題的分區(qū)的數(shù)量，從而來增加消費(fèi)者的實(shí)現(xiàn)方式來解決消費(fèi)速率受限的問題，但是這種方式使得每次需要新增消費(fèi)者數(shù)量，都需要?jiǎng)h除主題重新建立主題與其相關(guān)的分區(qū)的數(shù)量，或者在第一次新建立主題時(shí)，就設(shè)置數(shù)量較大的分區(qū)數(shù)量，然而這種方式不夠靈活，而且分區(qū)的數(shù)量也不能無限的擴(kuò)大。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的主要目的在于提出一種消息分發(fā)裝置及方法，旨在解決現(xiàn)有技術(shù)中基于Kafka系統(tǒng)的消息消費(fèi)速率受限的問題。

本發(fā)明提供了一種消息分發(fā)裝置，該裝置包括：讀取模塊，用于從Kafka系統(tǒng)中讀取消息；劃分模塊，用于將讀取到的消息劃分為多組消息；創(chuàng)建模塊，用于創(chuàng)建多個(gè)子線程；發(fā)送模塊，用于將多組消息分別發(fā)送至各子線程。

可選的，上述劃分模塊具體用于：將讀取到的消息劃分為消息個(gè)數(shù)均等的多組消息。

可選的，上述創(chuàng)建模塊具體用于：創(chuàng)建與劃分后的多組消息的組數(shù)相同個(gè)數(shù)的子線程。

可選的，上述讀取模塊具體用于：調(diào)用Kafka消費(fèi)者客戶端的接口來讀取Kafka系統(tǒng)中的消息。

可選的，上述創(chuàng)建模塊具體用于：創(chuàng)建預(yù)設(shè)個(gè)數(shù)的子線程；或根據(jù)接收到的外部指令創(chuàng)建與外部指令對(duì)應(yīng)個(gè)數(shù)的子線程。

根據(jù)本發(fā)明的另一個(gè)方面，提供了一種消息分發(fā)方法，該方法包括步驟：從Kafka系統(tǒng)中讀取消息；將讀取到的消息劃分為多組消息；創(chuàng)建多個(gè)子線程；

將多組消息分別發(fā)送至各子線程。

可選的，將讀取到的消息劃分為多組消息，包括：將讀取到的消息劃分為消息個(gè)數(shù)均等的多組消息。

可選的，創(chuàng)建多個(gè)子線程，包括：創(chuàng)建與劃分后的多組消息的組數(shù)相同個(gè)數(shù)的子線程。

可選的，從Kafka系統(tǒng)中讀取消息，包括：調(diào)用Kafka消費(fèi)者客戶端的接口來讀取Kafka系統(tǒng)中的消息。

可選的，創(chuàng)建多個(gè)子線程，包括：創(chuàng)建預(yù)設(shè)個(gè)數(shù)的子線程；或根據(jù)接收到的外部指令創(chuàng)建與外部指令對(duì)應(yīng)個(gè)數(shù)的子線程。

本發(fā)明實(shí)施例提供的方案，對(duì)從Kafka系統(tǒng)中讀取的消息進(jìn)行分組，并基于分組數(shù)目來建立子線程，基于建立的子線程來處理分組后的消息，提高了消息的處理效率。

附圖說明

圖1為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例用于承載Kafka消費(fèi)者客戶端的一個(gè)可選的終端的硬件結(jié)構(gòu)示意圖；

圖2為如圖1所示的終端的無線通信系統(tǒng)示意圖；

圖3是本發(fā)明第一實(shí)施例中涉及到的Kafka集群與消費(fèi)者的結(jié)構(gòu)關(guān)系示意圖；

圖4是本發(fā)明第一實(shí)施例中提供的消息分發(fā)裝置的結(jié)構(gòu)框圖；

圖5是本發(fā)明第三實(shí)施例中提供的消息分發(fā)方法的流程圖。

本發(fā)明目的的實(shí)現(xiàn)、功能特點(diǎn)及優(yōu)點(diǎn)將結(jié)合實(shí)施例，參照附圖做進(jìn)一步說明。

具體實(shí)施方式

應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

現(xiàn)在將參考附圖描述實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例的移動(dòng)終端。在后續(xù)的描述中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明，其本身并沒有特定的意義。因此，"模塊"與"部件"可以混合地使用。

移動(dòng)終端可以以各種形式來實(shí)施。例如，本發(fā)明中描述的終端可以包括諸如移動(dòng)電話、智能電話、筆記本電腦、數(shù)字廣播接收器、PDA(個(gè)人數(shù)字助理)、PAD(平板電腦)、PMP(便攜式多媒體播放器)、導(dǎo)航裝置等等的移動(dòng)終端以及諸如數(shù)字TV、臺(tái)式計(jì)算機(jī)等等的固定終端。下面，假設(shè)終端是移動(dòng)終端。然而，本領(lǐng)域技術(shù)人員將理解的是，除了特別用于移動(dòng)目的的元件之外，根據(jù)本發(fā)明的實(shí)施方式的構(gòu)造也能夠應(yīng)用于固定類型的終端。

圖1為實(shí)現(xiàn)本發(fā)明各個(gè)實(shí)施例的移動(dòng)終端的硬件結(jié)構(gòu)示意。

移動(dòng)終端100可以包括無線通信單元110、A/V(音頻/視頻)輸入單元120、用戶輸入單元130、輸出單元150、存儲(chǔ)器160、接口單元170、控制器180和電源單元190等等。圖1示出了具有各種組件的移動(dòng)終端，但是應(yīng)理解的是，并不要求實(shí)施所有示出的組件?？梢蕴娲貙?shí)施更多或更少的組件。將在下面詳細(xì)描述移動(dòng)終端的元件。

無線通信單元110通常包括一個(gè)或多個(gè)組件，其允許移動(dòng)終端100與無線通信系統(tǒng)或網(wǎng)絡(luò)之間的無線電通信。例如，無線通信單元可以包括廣播接收模塊111、移動(dòng)通信模塊112、無線互聯(lián)網(wǎng)模塊113、短程通信模塊114和位置信息模塊115中的至少一個(gè)。

廣播接收模塊111經(jīng)由廣播信道從外部廣播管理服務(wù)器接收廣播信號(hào)和/或廣播相關(guān)信息。廣播信道可以包括衛(wèi)星信道和/或地面信道。廣播管理服務(wù)器可以是生成并發(fā)送廣播信號(hào)和/或廣播相關(guān)信息的服務(wù)器或者接收之前生成的廣播信號(hào)和/或廣播相關(guān)信息并且將其發(fā)送給終端的服務(wù)器。廣播信號(hào)可以包括TV廣播信號(hào)、無線電廣播信號(hào)、數(shù)據(jù)廣播信號(hào)等等。而且，廣播信號(hào)可以進(jìn)一步包括與TV或無線電廣播信號(hào)組合的廣播信號(hào)。廣播相關(guān)信息也可以經(jīng)由移動(dòng)通信網(wǎng)絡(luò)提供，并且在該情況下，廣播相關(guān)信息可以由移動(dòng)通信模塊112來接收。廣播信號(hào)可以以各種形式存在，例如，其可以以數(shù)字多媒體廣播(DMB)的電子節(jié)目指南(EPG)、數(shù)字視頻廣播手持(DVB-H)的電子服務(wù)指南(ESG)等等的形式而存在。廣播接收模塊111可以通過使用各種類型的廣播系統(tǒng)接收信號(hào)廣播。特別地，廣播接收模塊111可以通過使用諸如多媒體廣播-地面(DMB-T)、數(shù)字多媒體廣播-衛(wèi)星(DMB-S)、數(shù)字視頻廣播-手持(DVB-H)，前向鏈路媒體(MediaFLO^@)的數(shù)據(jù)廣播系統(tǒng)、地面數(shù)字廣播綜合服務(wù)(ISDB-T)等等的數(shù)字廣播系統(tǒng)接收數(shù)字廣播。廣播接收模塊111可以被構(gòu)造為適合提供廣播信號(hào)的各種廣播系統(tǒng)以及上述數(shù)字廣播系統(tǒng)。經(jīng)由廣播接收模塊111接收的廣播信號(hào)和/或廣播相關(guān)信息可以存儲(chǔ)在存儲(chǔ)器160(或者其它類型的存儲(chǔ)介質(zhì))中。

移動(dòng)通信模塊112將無線電信號(hào)發(fā)送到基站(例如，接入點(diǎn)、節(jié)點(diǎn)B等等)、外部終端以及服務(wù)器中的至少一個(gè)和/或從其接收無線電信號(hào)。這樣的無線電信號(hào)可以包括語音通話信號(hào)、視頻通話信號(hào)、或者根據(jù)文本和/或多媒體消息發(fā)送和/或接收的各種類型的數(shù)據(jù)。

無線互聯(lián)網(wǎng)模塊113支持移動(dòng)終端的無線互聯(lián)網(wǎng)接入。該模塊可以內(nèi)部或外部地耦接到終端。該模塊所涉及的無線互聯(lián)網(wǎng)接入技術(shù)可以包括WLAN(無線LAN)(Wi-Fi)、Wibro(無線寬帶)、Wimax(全球微波互聯(lián)接入)、HSDPA(高速下行鏈路分組接入)等等。

短程通信模塊114是用于支持短程通信的模塊。短程通信技術(shù)的一些示例包括藍(lán)牙^TM、射頻識(shí)別(RFID)、紅外數(shù)據(jù)協(xié)會(huì)(IrDA)、超寬帶(UWB)、紫蜂^TM等等。

位置信息模塊115是用于檢查或獲取移動(dòng)終端的位置信息的模塊。位置信息模塊的典型示例是GPS(全球定位系統(tǒng))。根據(jù)當(dāng)前的技術(shù)，GPS模塊115計(jì)算來自三個(gè)或更多衛(wèi)星的距離信息和準(zhǔn)確的時(shí)間信息并且對(duì)于計(jì)算的信息應(yīng)用三角測(cè)量法，從而根據(jù)經(jīng)度、緯度和高度準(zhǔn)確地計(jì)算三維當(dāng)前位置信息。當(dāng)前，用于計(jì)算位置和時(shí)間信息的方法使用三顆衛(wèi)星并且通過使用另外的一顆衛(wèi)星校正計(jì)算出的位置和時(shí)間信息的誤差。此外，GPS模塊115能夠通過實(shí)時(shí)地連續(xù)計(jì)算當(dāng)前位置信息來計(jì)算速度信息。

A/V輸入單元120用于接收音頻或視頻信號(hào)。A/V輸入單元120可以包括相機(jī)121和麥克風(fēng)122，相機(jī)121對(duì)在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數(shù)據(jù)進(jìn)行處理。處理后的圖像幀可以顯示在顯示單元151上。經(jīng)相機(jī)121處理后的圖像幀可以存儲(chǔ)在存儲(chǔ)器160(或其它存儲(chǔ)介質(zhì))中或者經(jīng)由無線通信單元110進(jìn)行發(fā)送，可以根據(jù)移動(dòng)終端的構(gòu)造提供兩個(gè)或更多相機(jī)121。麥克風(fēng)122可以在電話通話模式、記錄模式、語音識(shí)別模式等等運(yùn)行模式中經(jīng)由麥克風(fēng)接收聲音(音頻數(shù)據(jù))，并且能夠?qū)⑦@樣的聲音處理為音頻數(shù)據(jù)。處理后的音頻(語音)數(shù)據(jù)可以在電話通話模式的情況下轉(zhuǎn)換為可經(jīng)由移動(dòng)通信模塊112發(fā)送到移動(dòng)通信基站的格式輸出。麥克風(fēng)122可以實(shí)施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發(fā)送音頻信號(hào)的過程中產(chǎn)生的噪聲或者干擾。

用戶輸入單元130可以根據(jù)用戶輸入的命令生成鍵輸入數(shù)據(jù)以控制移動(dòng)終端的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息，并且可以包括鍵盤、鍋?zhàn)衅?、觸摸板(例如，檢測(cè)由于被接觸而導(dǎo)致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地，當(dāng)觸摸板以層的形式疊加在顯示單元151上時(shí)，可以形成觸摸屏。

接口單元170用作至少一個(gè)外部裝置與移動(dòng)終端100連接可以通過的接口。例如，外部裝置可以包括有線或無線頭戴式耳機(jī)端口、外部電源(或電池充電器)端口、有線或無線數(shù)據(jù)端口、存儲(chǔ)卡端口、用于連接具有識(shí)別模塊的裝置的端口、音頻輸入/輸出(I/O)端口、視頻I/O端口、耳機(jī)端口等等。識(shí)別模塊可以是存儲(chǔ)用于驗(yàn)證用戶使用移動(dòng)終端100的各種信息并且可以包括用戶識(shí)別模塊(UIM)、客戶識(shí)別模塊(SIM)、通用客戶識(shí)別模塊(USIM)等等。另外，具有識(shí)別模塊的裝置(下面稱為"識(shí)別裝置")可以采取智能卡的形式，因此，識(shí)別裝置可以經(jīng)由端口或其它連接裝置與移動(dòng)終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如，數(shù)據(jù)信息、電力等等)并且將接收到的輸入傳輸?shù)揭苿?dòng)終端100內(nèi)的一個(gè)或多個(gè)元件或者可以用于在移動(dòng)終端和外部裝置之間傳輸數(shù)據(jù)。

另外，當(dāng)移動(dòng)終端100與外部底座連接時(shí)，接口單元170可以用作允許通過其將電力從底座提供到移動(dòng)終端100的路徑或者可以用作允許從底座輸入的各種命令信號(hào)通過其傳輸?shù)揭苿?dòng)終端的路徑。從底座輸入的各種命令信號(hào)或電力可以用作用于識(shí)別移動(dòng)終端是否準(zhǔn)確地安裝在底座上的信號(hào)。輸出單元150被構(gòu)造為以視覺、音頻和/或觸覺方式提供輸出信號(hào)(例如，音頻信號(hào)、視頻信號(hào)、警報(bào)信號(hào)、振動(dòng)信號(hào)等等)。輸出單元150可以包括顯示單元151、音頻輸出模塊152、警報(bào)單元153等等。

顯示單元151可以顯示在移動(dòng)終端100中處理的信息。例如，當(dāng)移動(dòng)終端100處于電話通話模式時(shí)，顯示單元151可以顯示與通話或其它通信(例如，文本消息收發(fā)、多媒體文件下載等等)相關(guān)的用戶界面(UI)或圖形用戶界面(GUI)。當(dāng)移動(dòng)終端100處于視頻通話模式或者圖像捕獲模式時(shí)，顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關(guān)功能的UI或GUI等等。

同時(shí)，當(dāng)顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏?xí)r，顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(LCD)、薄膜晶體管LCD(TFT-LCD)、有機(jī)發(fā)光二極管(OLED)顯示器、柔性顯示器、三維(3D)顯示器等等中的至少一種。這些顯示器中的一些可以被構(gòu)造為透明狀以允許用戶從外部觀看，這可以稱為透明顯示器，典型的透明顯示器可以例如為TOLED(透明有機(jī)發(fā)光二極管)顯示器等等。根據(jù)特定想要的實(shí)施方式，移動(dòng)終端100可以包括兩個(gè)或更多顯示單元(或其它顯示裝置)，例如，移動(dòng)終端可以包括外部顯示單元(未示出)和內(nèi)部顯示單元(未示出)。觸摸屏可用于檢測(cè)觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。

音頻輸出模塊152可以在移動(dòng)終端處于呼叫信號(hào)接收模式、通話模式、記錄模式、語音識(shí)別模式、廣播接收模式等等模式下時(shí)，將無線通信單元110接收的或者在存儲(chǔ)器160中存儲(chǔ)的音頻數(shù)據(jù)轉(zhuǎn)換音頻信號(hào)并且輸出為聲音。而且，音頻輸出模塊152可以提供與移動(dòng)終端100執(zhí)行的特定功能相關(guān)的音頻輸出(例如，呼叫信號(hào)接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚(yáng)聲器、蜂鳴器等等。

警報(bào)單元153可以提供輸出以將事件的發(fā)生通知給移動(dòng)終端100。典型的事件可以包括呼叫接收、消息接收、鍵信號(hào)輸入、觸摸輸入等等。除了音頻或視頻輸出之外，警報(bào)單元153可以以不同的方式提供輸出以通知事件的發(fā)生。例如，警報(bào)單元153可以以振動(dòng)的形式提供輸出，當(dāng)接收到呼叫、消息或一些其它進(jìn)入通信(incomingcommunication)時(shí)，警報(bào)單元153可以提供觸覺輸出(即，振動(dòng))以將其通知給用戶。通過提供這樣的觸覺輸出，即使在用戶的移動(dòng)電話處于用戶的口袋中時(shí)，用戶也能夠識(shí)別出各種事件的發(fā)生。警報(bào)單元153也可以經(jīng)由顯示單元151或音頻輸出模塊152提供通知事件的發(fā)生的輸出。

存儲(chǔ)器160可以存儲(chǔ)由控制器180執(zhí)行的處理和控制操作的軟件程序等等，或者可以暫時(shí)地存儲(chǔ)己經(jīng)輸出或?qū)⒁敵龅臄?shù)據(jù)(例如，電話簿、消息、靜態(tài)圖像、視頻等等)。而且，存儲(chǔ)器160可以存儲(chǔ)關(guān)于當(dāng)觸摸施加到觸摸屏?xí)r輸出的各種方式的振動(dòng)和音頻信號(hào)的數(shù)據(jù)。

存儲(chǔ)器160可以包括至少一種類型的存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)包括閃存、硬盤、多媒體卡、卡型存儲(chǔ)器(例如，SD或DX存儲(chǔ)器等等)、隨機(jī)訪問存儲(chǔ)器(RAM)、靜態(tài)隨機(jī)訪問存儲(chǔ)器(SRAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、可編程只讀存儲(chǔ)器(PROM)、磁性存儲(chǔ)器、磁盤、光盤等等。而且，移動(dòng)終端100可以與通過網(wǎng)絡(luò)連接執(zhí)行存儲(chǔ)器160的存儲(chǔ)功能的網(wǎng)絡(luò)存儲(chǔ)裝置協(xié)作。

控制器180通?？刂埔苿?dòng)終端的總體操作。例如，控制器180執(zhí)行與語音通話、數(shù)據(jù)通信、視頻通話等等相關(guān)的控制和處理。另外，控制器180可以包括用于再現(xiàn)(或回放)多媒體數(shù)據(jù)的多媒體模塊181，多媒體模塊181可以構(gòu)造在控制器180內(nèi)，或者可以構(gòu)造為與控制器180分離。控制器180可以執(zhí)行模式識(shí)別處理，以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識(shí)別為字符或圖像。

電源單元190在控制器180的控制下接收外部電力或內(nèi)部電力并且提供操作各元件和組件所需的適當(dāng)?shù)碾娏Α?/p>

這里描述的各種實(shí)施方式可以以使用例如計(jì)算機(jī)軟件、硬件或其任何組合的計(jì)算機(jī)可讀介質(zhì)來實(shí)施。對(duì)于硬件實(shí)施，這里描述的實(shí)施方式可以通過使用特定用途集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理裝置(DSPD)、可編程邏輯裝置(PLD)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、被設(shè)計(jì)為執(zhí)行這里描述的功能的電子單元中的至少一種來實(shí)施，在一些情況下，這樣的實(shí)施方式可以在控制器180中實(shí)施。對(duì)于軟件實(shí)施，諸如過程或功能的實(shí)施方式可以與允許執(zhí)行至少一種功能或操作的單獨(dú)的軟件模塊來實(shí)施。軟件代碼可以由以任何適當(dāng)?shù)木幊陶Z言編寫的軟件應(yīng)用程序(或程序)來實(shí)施，軟件代碼可以存儲(chǔ)在存儲(chǔ)器160中并且由控制器180執(zhí)行。

至此，己經(jīng)按照其功能描述了移動(dòng)終端。下面，為了簡要起見，將描述諸如折疊型、直板型、擺動(dòng)型、滑動(dòng)型移動(dòng)終端等等的各種類型的移動(dòng)終端中的滑動(dòng)型移動(dòng)終端作為示例。因此，本發(fā)明能夠應(yīng)用于任何類型的移動(dòng)終端，并且不限于滑動(dòng)型移動(dòng)終端。

如圖1中所示的移動(dòng)終端100可以被構(gòu)造為利用經(jīng)由幀或分組發(fā)送數(shù)據(jù)的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。

現(xiàn)在將參考圖2描述其中根據(jù)本發(fā)明的移動(dòng)終端能夠操作的通信系統(tǒng)。

這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如，由通信系統(tǒng)使用的空中接口包括例如頻分多址(FDMA)、時(shí)分多址(TDMA)、碼分多址(CDMA)和通用移動(dòng)通信系統(tǒng)(UMTS)(特別地，長期演進(jìn)(LTE))、全球移動(dòng)通信系統(tǒng)(GSM)等等。作為非限制性示例，下面的描述涉及CDMA通信系統(tǒng)，但是這樣的教導(dǎo)同樣適用于其它類型的系統(tǒng)。

參考圖2，CDMA無線通信系統(tǒng)可以包括多個(gè)移動(dòng)終端100、多個(gè)基站(BS)270、基站控制器(BSC)275和移動(dòng)交換中心(MSC)280。MSC280被構(gòu)造為與公共電話交換網(wǎng)絡(luò)(PSTN)290形成接口。MSC280還被構(gòu)造為與可以經(jīng)由回程線路耦接到基站270的BSC275形成接口?；爻叹€路可以根據(jù)若干己知的接口中的任一種來構(gòu)造，所述接口包括例如E1/T1、ATM，IP、PPP、幀中繼、HDSL、ADSL或xDSL。將理解的是，如圖2中所示的系統(tǒng)可以包括多個(gè)BSC275。

每個(gè)BS270可以服務(wù)一個(gè)或多個(gè)分區(qū)(或區(qū)域)，由多向天線或指向特定方向的天線覆蓋的每個(gè)分區(qū)放射狀地遠(yuǎn)離BS270。或者，每個(gè)分區(qū)可以由用于分集接收的兩個(gè)或更多天線覆蓋。每個(gè)BS270可以被構(gòu)造為支持多個(gè)頻率分配，并且每個(gè)頻率分配具有特定頻譜(例如，1.25MHz，5MHz等等)。

分區(qū)與頻率分配的交叉可以被稱為CDMA信道。BS270也可以被稱為基站收發(fā)器子系統(tǒng)(BTS)或者其它等效術(shù)語。在這樣的情況下，術(shù)語"基站"可以用于籠統(tǒng)地表示單個(gè)BSC275和至少一個(gè)BS270?；疽部梢员环Q為"蜂窩站"?；蛘撸囟˙S270的各分區(qū)可以被稱為多個(gè)蜂窩站。

如圖2中所示，廣播發(fā)射器(BT)295將廣播信號(hào)發(fā)送給在系統(tǒng)內(nèi)操作的移動(dòng)終端100。如圖1中所示的廣播接收模塊111被設(shè)置在移動(dòng)終端100處以接收由BT295發(fā)送的廣播信號(hào)。在圖2中，示出了幾個(gè)全球定位系統(tǒng)(GPS)衛(wèi)星300。衛(wèi)星300幫助定位多個(gè)移動(dòng)終端100中的至少一個(gè)。

在圖2中，描繪了多個(gè)衛(wèi)星300，但是理解的是，可以利用任何數(shù)目的衛(wèi)星獲得有用的定位信息。如圖1中所示的GPS模塊115通常被構(gòu)造為與衛(wèi)星300配合以獲得想要的定位信息。替代GPS跟蹤技術(shù)或者在GPS跟蹤技術(shù)之外，可以使用可以跟蹤移動(dòng)終端的位置的其它技術(shù)。另外，至少一個(gè)GPS衛(wèi)星300可以選擇性地或者額外地處理衛(wèi)星DMB傳輸。

作為無線通信系統(tǒng)的一個(gè)典型操作，BS270接收來自各種移動(dòng)終端100的反向鏈路信號(hào)。移動(dòng)終端100通常參與通話、消息收發(fā)和其它類型的通信。特定基站270接收的每個(gè)反向鏈路信號(hào)被在特定BS270內(nèi)進(jìn)行處理。獲得的數(shù)據(jù)被轉(zhuǎn)發(fā)給相關(guān)的BSC275。BSC提供通話資源分配和包括BS270之間的軟切換過程的協(xié)調(diào)的移動(dòng)管理功能。BSC275還將接收到的數(shù)據(jù)路由到MSC280，其提供用于與PSTN290形成接口的額外的路由服務(wù)。類似地，PSTN290與MSC280形成接口，MSC與BSC275形成接口，并且BSC275相應(yīng)地控制BS270以將正向鏈路信號(hào)發(fā)送到移動(dòng)終端100。

基于上述移動(dòng)終端硬件結(jié)構(gòu)以及通信系統(tǒng)，提出本發(fā)明方法各個(gè)實(shí)施例。

第一實(shí)施例

在Kafka集群中，Producer(消息的生產(chǎn)者)負(fù)責(zé)發(fā)布消息到Kafka broker，即緩存代理，Kafka集群包含一個(gè)或多個(gè)服務(wù)器，這種服務(wù)器被稱為broker，Consumer(消息的消費(fèi)者)為向Kafka broker讀取消息的客戶端，訂閱topics并處理其發(fā)布的消息的過程叫做消費(fèi)。消費(fèi)者可以訂閱一個(gè)或多個(gè)話題(topic)，并從Broker拉取數(shù)據(jù)，從而消費(fèi)這些已發(fā)布的消息，圖3是Kafka集群與消費(fèi)者的結(jié)構(gòu)關(guān)系示意圖，本實(shí)施例中所提供的裝置40即是基于現(xiàn)有的消費(fèi)者客戶端來進(jìn)行的改進(jìn)。本實(shí)施例提供的消息分發(fā)裝置可以為Kafka消費(fèi)者客戶端的一個(gè)組成部分，也可以是與Kafka消費(fèi)者客戶端進(jìn)行交互的獨(dú)立的一個(gè)裝置。

圖4是該裝置的結(jié)構(gòu)框圖，如圖4所示，該裝置40包括如下組成部分：

讀取模塊41，用于從Kafka系統(tǒng)中讀取消息；

在本實(shí)施例中，可選的，讀取模塊41可以根據(jù)用戶發(fā)出的指令從Kafka系統(tǒng)中讀取指定個(gè)數(shù)的一批信息，或者，該讀取模塊41也可以根據(jù)預(yù)先設(shè)置的待讀取的消息的個(gè)數(shù)，來讀取預(yù)設(shè)個(gè)數(shù)的一批消息，這樣可以使得該裝置讀取的消息個(gè)數(shù)可以動(dòng)態(tài)改變，以便適應(yīng)突發(fā)的海量消息需要處理的情況。

該讀取模塊41可以通過方法調(diào)用的方式來使用Kafka消費(fèi)者客戶端現(xiàn)有的接口來與Kafka系統(tǒng)進(jìn)行交互，從而讀取Kafka系統(tǒng)中消息，同時(shí)，由于Kafka中的消息按照不同的主題來劃分，故，該讀取模塊41在讀取消息時(shí)，需要根據(jù)主題的劃分來讀取消息，例如，該讀取模塊41可以讀取屬于同一主題的多條消息。

本實(shí)施例中獲取到的消息即從Kafka集群中獲取到的，在Kafka系統(tǒng)中，每條發(fā)布到Kafka集群的消息都有一個(gè)類別，這個(gè)類別也被稱為Topic(主題)，主題是物理上的分組，一個(gè)主題可以分為多個(gè)分區(qū)，每個(gè)分區(qū)是一個(gè)有序的隊(duì)列。分區(qū)中的每條消息都會(huì)被分配一個(gè)有序的id(offset)，即，主題是物理上不同主題的消息分開存儲(chǔ)，邏輯上一個(gè)主題的消息雖然保存于一個(gè)或多個(gè)主題上但用戶只需指定消息的主題即可生產(chǎn)或消費(fèi)數(shù)據(jù)而不必關(guān)心數(shù)據(jù)存于何處，故本實(shí)施例中，在讀取消息時(shí)，讀取模塊41只需獲知當(dāng)前需要讀取哪一主題的消息即可從Kafka集群中讀取消息。

劃分模塊42，用于將讀取到的消息劃分為多組消息；

該劃分模塊42可以將讀取模塊41讀取到的一批消息根據(jù)終端的處理能力來劃分成多組消息，例如，在上述讀取模塊41讀取到10000條消息的基礎(chǔ)上，劃分模塊42后續(xù)可以將這10000條消息分成10組，每組中包含1000條消息，與上述讀取模塊41類似，該劃分模塊42劃分的消息組數(shù)同樣可以通過預(yù)先設(shè)置或根據(jù)實(shí)時(shí)接收到的用戶指令來確定，優(yōu)選的，在本實(shí)施例中，由于劃分的消息的組數(shù)決定著創(chuàng)建子線程的個(gè)數(shù)，而創(chuàng)建子線程的個(gè)數(shù)則直接影響著裝置處理的消息的數(shù)量以及速率，故在本實(shí)施例中，可以通過閾值的設(shè)置來控制劃分模塊42對(duì)讀取到的消息的劃分，具體的，可以根據(jù)當(dāng)前需要處理的消息的數(shù)量來確定需劃分的消息的組數(shù)，可以預(yù)設(shè)現(xiàn)設(shè)多個(gè)不同的消息數(shù)量閾值，使得在待處理的消息數(shù)量達(dá)到指定閾值的情況下，對(duì)應(yīng)著不同的分組數(shù)，例如，可以預(yù)先設(shè)置，待處理的消息數(shù)量大于100000，則分組數(shù)為100，當(dāng)待處理的消息數(shù)據(jù)大于10000，則分組數(shù)位10，這樣則可以實(shí)現(xiàn)按需分組的目的。

創(chuàng)建模塊43，用于創(chuàng)建多個(gè)子線程；

該創(chuàng)建模塊43可以由執(zhí)行讀取模塊41以及劃分模塊42的主線程來實(shí)現(xiàn)，其創(chuàng)建子線程的個(gè)數(shù)可以依據(jù)劃分模塊劃分的多組消息的組數(shù)來進(jìn)行，該模塊43創(chuàng)建的子線程用于處理分組后的消息。

發(fā)送模塊44，用于將多組消息分別發(fā)送至各子線程。

該發(fā)送模塊44同樣可以由上述主線程將分組后的多組消息分貝發(fā)送至創(chuàng)建的各個(gè)子線程，以使各個(gè)子線程來處理這些消息。

在本實(shí)施例中，假設(shè)上述讀取模塊41獲取到的是同一屬于同一主題的一批消息，則與在該主題創(chuàng)建時(shí)，由于已經(jīng)固定了該主題的分區(qū)數(shù)目，且一個(gè)分區(qū)對(duì)應(yīng)一個(gè)主線程，對(duì)于傳統(tǒng)技術(shù)來說，是由該主線程去處理獲取到的消息，而一個(gè)線程處理消息的能力是有限的。需要說明的是，在本實(shí)施例中，分區(qū)是一個(gè)物理上的概念，每個(gè)主題包含一個(gè)或多個(gè)分區(qū)。但基于本實(shí)施例改進(jìn)后的方案，可以由主線程對(duì)消息進(jìn)行分組后，創(chuàng)建的與分組組數(shù)對(duì)應(yīng)個(gè)數(shù)的子線程并將分組后的各組消息發(fā)送給各子線程，這樣，可以由各子線程來處理分組后的各組消息，例如，主線程創(chuàng)建的子線程個(gè)數(shù)是10個(gè)，那么，將由這10個(gè)子線程來分別處理各分組后的信息，可見，本實(shí)施例提供的方案在傳統(tǒng)技術(shù)的基礎(chǔ)上，對(duì)信息的處理量提高了10倍，且由于多個(gè)子線程可以并行處理，故該方案還提高了處理消息的效率。

第二實(shí)施例

本實(shí)施例提供了另一種消息分發(fā)裝置，該裝置包括以下組成部分：

讀取模塊，用于從Kafka系統(tǒng)中讀取消息；劃分模塊，用于將讀取到的消息劃分為多組消息；創(chuàng)建模塊，用于創(chuàng)建多個(gè)子線程；發(fā)送模塊，用于將劃分后得到的多組消息分別發(fā)送至各子線程，以使各子線程處理接收到的消息。

該裝置與上述實(shí)施例1中所涉及的裝置相比，其各個(gè)模塊還可以具備以下功能：

讀取模塊，用于調(diào)用Kafka消費(fèi)者客戶端的接口來讀取Kafka系統(tǒng)中的消息；劃分模塊，將讀取到的消息劃分為消息個(gè)數(shù)均等的多組消息；創(chuàng)建模塊，用于創(chuàng)建與劃分后的多組消息的組數(shù)相同個(gè)數(shù)的子線程；發(fā)送模塊，用于將劃分后的多組消息分別發(fā)送至各子線程。

其中，由于kafka broker會(huì)持久化數(shù)據(jù)，broker沒有內(nèi)存壓力，因此，客戶端非常適合采取pull(拉取)的方式消費(fèi)數(shù)據(jù)，故上述讀取模塊具體可以是通過Kafka客戶端從Kafka系統(tǒng)中拉取消息，同時(shí)，在本實(shí)施例中具體可以通過用戶根據(jù)消費(fèi)能力自主控制消息拉取速度。

可選的，本實(shí)施例中所涉及的創(chuàng)建模塊具體還可以用于：創(chuàng)建預(yù)設(shè)個(gè)數(shù)的子線程；或根據(jù)接收到的外部指令創(chuàng)建與外部指令對(duì)應(yīng)個(gè)數(shù)的子線程。

本實(shí)施例提供的裝置主要用于通過從Kafka系統(tǒng)中拉取一批消息，把拉取出來的消息進(jìn)行分批，發(fā)送至不同的子線程處理，這樣可以規(guī)避Kafka系統(tǒng)原有的設(shè)計(jì)方式，使得由一個(gè)主線程消費(fèi)一個(gè)分區(qū)中的消息時(shí)，可以通過多個(gè)子線程的來進(jìn)行業(yè)務(wù)邏輯處理消息信息，大大的提高了消息的消費(fèi)速率，提高了kafka的消費(fèi)吞吐量。

第三實(shí)施例

本實(shí)施例提供了一種消息分發(fā)方法，該方法可以由上述實(shí)施例1或?qū)嵤├?提供的裝置來執(zhí)行，圖5是該方法的流程圖，如圖5所示，該方法包括如下處理：

步驟501：從Kafka系統(tǒng)中讀取消息；

在該步驟501中，可選的，可以根據(jù)用戶發(fā)出的指令從Kafka系統(tǒng)中讀取指定個(gè)數(shù)的一批信息，或者，也可以根據(jù)預(yù)先設(shè)置的待讀取的消息的個(gè)數(shù)，來讀取預(yù)設(shè)個(gè)數(shù)的一批消息，這樣可以使得讀取的消息個(gè)數(shù)可以動(dòng)態(tài)改變，以便適應(yīng)突發(fā)的海量消息需要處理的情況。

由于在Kafka系統(tǒng)中，每條發(fā)布到Kafka集群的消息都有一個(gè)類別，這個(gè)類別也被稱為Topic(主題)，主題是物理上的分組，一個(gè)主題可以分為多個(gè)分區(qū)，每個(gè)分區(qū)是一個(gè)有序的隊(duì)列。分區(qū)中的每條消息都會(huì)被分配一個(gè)有序的id(offset)，即，主題是物理上不同主題的消息分開存儲(chǔ)，邏輯上一個(gè)主題的消息雖然保存于一個(gè)或多個(gè)主題上，但用戶只需指定消息的主題即可生產(chǎn)或消費(fèi)數(shù)據(jù)而不必關(guān)心數(shù)據(jù)存于何處，故本實(shí)施例中，在讀取消息時(shí)，讀取模塊41只需獲知當(dāng)前需要讀取哪一主題的消息即可從Kafka集群中讀取消息。在本實(shí)施例中，可以通過方法調(diào)用的方式來使用Kafka消費(fèi)者客戶端現(xiàn)有的接口來與Kafka系統(tǒng)進(jìn)行交互，從而讀取Kafka系統(tǒng)中消息，同時(shí)，由于Kafka中的消息按照不同的主題來劃分，故，在讀取消息時(shí)，需要根據(jù)主題的劃分來讀取消息，例如，可以依次讀取屬于同一主題的多條消息。

步驟502：將讀取到的消息劃分為多組消息；

在該步驟502中，可以將讀取到的一批消息根據(jù)終端的處理能力來劃分成多組消息，例如，在讀取到10000條消息的基礎(chǔ)上，可以將這10000條消息分成10組，每組中包含1000條消息，消息劃分的組數(shù)同樣可以通過預(yù)先設(shè)置或根據(jù)實(shí)時(shí)接收到的用戶指令來確定，優(yōu)選的，在本實(shí)施例中，由于劃分的消息的組數(shù)決定著創(chuàng)建子線程的個(gè)數(shù)，而創(chuàng)建子線程的個(gè)數(shù)則直接影響著裝置處理的消息的數(shù)量以及速率，故在本實(shí)施例中，可以通過閾值的設(shè)置來控制消息的劃分組數(shù)，例如，在根據(jù)當(dāng)前需要處理的消息的數(shù)量來確定需劃分的消息的組數(shù)時(shí)，可以預(yù)設(shè)現(xiàn)設(shè)多個(gè)不同的消息數(shù)量閾值，使得在待處理的消息數(shù)量達(dá)到指定閾值的情況下，對(duì)應(yīng)著不同的分組數(shù)，例如，可以預(yù)先設(shè)置，待處理的消息數(shù)量大于100000，則分組數(shù)為100，當(dāng)待處理的消息數(shù)據(jù)大于10000，則分組數(shù)位10，這樣則可以實(shí)現(xiàn)按需分組的目的。

步驟503：創(chuàng)建多個(gè)子線程；

該步驟可以由執(zhí)行上述步驟501以及502的主線程來實(shí)現(xiàn)，其創(chuàng)建子線程的個(gè)數(shù)可以依據(jù)劃分的多組消息的組數(shù)來進(jìn)行，具體創(chuàng)建子線程的個(gè)數(shù)可以與劃分的消息的組數(shù)一致，在該步驟中創(chuàng)建的子線程用于處理分組后的消息。

步驟504：將多組消息分別發(fā)送至各子線程，以使各子線程處理接收到的消息。

假設(shè)在步驟501中獲取到的是同一屬于同一主題的一批消息，則與在該主題創(chuàng)建時(shí)，由于已經(jīng)固定了該主題的分區(qū)數(shù)目，且一個(gè)分區(qū)對(duì)應(yīng)一個(gè)主線程，對(duì)于傳統(tǒng)技術(shù)來說，是由該主線程去處理獲取到的消息，而一個(gè)線程處理消息的能力是有限的。需要說明的是，在本實(shí)施例中，分區(qū)是一個(gè)物理上的概念，每個(gè)主題包含一個(gè)或多個(gè)分區(qū)。但基于本實(shí)施例改進(jìn)后的方案，可以由主線程對(duì)消息進(jìn)行分組后，創(chuàng)建的與分組組數(shù)對(duì)應(yīng)個(gè)數(shù)的子線程并將分組后的各組消息發(fā)送給各子線程，這樣，可以由各子線程來處理分組后的各組消息，例如，主線程創(chuàng)建的子線程個(gè)數(shù)是10個(gè)，那么，將由這10個(gè)子線程來分別處理各分組后的信息，可見，本實(shí)施例提供的方案在傳統(tǒng)技術(shù)的基礎(chǔ)上，對(duì)信息的處理量提高了10倍，且由于多個(gè)子線程可以并行處理，故該方案還提高了處理消息的效率。

由于Kafka broker會(huì)持久化數(shù)據(jù)，broker沒有內(nèi)存壓力，因此，客戶端非常適合采取pull(拉取)的方式消費(fèi)數(shù)據(jù)，故上述步驟501中具體可以是通過Kafka客戶端從Kafka系統(tǒng)中拉取消息，同時(shí)，在本實(shí)施例中具體可以通過用戶根據(jù)消費(fèi)能力自主控制消息拉取速度。

可選的，在本實(shí)施例中將讀取到的消息劃分為多組消息具體可以包括：將讀取到的消息劃分為消息個(gè)數(shù)均等的多組消息。

創(chuàng)建多個(gè)子線程的步驟具體可以包括：創(chuàng)建與劃分后的多組消息的組數(shù)相同個(gè)數(shù)的子線程。

從Kafka系統(tǒng)中讀取消息具體可以包括：調(diào)用Kafka消費(fèi)者客戶端的接口來讀取Kafka系統(tǒng)中的消息。

創(chuàng)建多個(gè)子線程的步驟可以包括：創(chuàng)建預(yù)設(shè)個(gè)數(shù)的子線程；或根據(jù)接收到的外部指令創(chuàng)建與外部指令對(duì)應(yīng)個(gè)數(shù)的子線程。

第四實(shí)施例

本實(shí)施例在上述第三實(shí)施例的基礎(chǔ)上提供了另一種消息分發(fā)方法，該方法通過公開更多的技術(shù)特征來對(duì)本發(fā)明的方案進(jìn)行說明，該方法主要包括如下處理：

步驟1：搭建Kafka集群相關(guān)環(huán)境，下載Kafka相關(guān)工具jar包；

在該步驟中搭建Kafka集群相關(guān)環(huán)境，包括搭建與Kafka集群進(jìn)行信息交互的Kafka客戶端的相關(guān)換件，例如下載Kafka消費(fèi)者客戶端的相關(guān)安裝工具包。

步驟2：在消費(fèi)者終端上安裝Kafka消費(fèi)者客戶端；

本實(shí)施例中涉及到的消費(fèi)者終端即為承載Kafka消費(fèi)者客戶端的終端，具體可以采用上述圖1中所示的終端。

步驟3：通過對(duì)消費(fèi)者客戶端的方法調(diào)用，從Kafka中拉取一批量的消息，拉取的消息大小以及消息的數(shù)量可由用戶自行設(shè)置；

在本實(shí)施例中，由于Kafka broker會(huì)持久化數(shù)據(jù)，broker沒有內(nèi)存壓力，因此，客戶端非常適合采取pull(拉取)的方式消費(fèi)數(shù)據(jù)，故步驟3中通過Kafka客戶端從Kafka系統(tǒng)中拉取消息，同時(shí)，在該步驟中可以通過用戶根據(jù)消費(fèi)能力自主控制消息拉取速度，在該步驟3中，對(duì)拉取消息的數(shù)量的設(shè)置方法可以采用上述第三實(shí)施例中所記載的具體方法，此處不再贅述。

步驟4：獲取該批量消息，通過一定的業(yè)務(wù)邏輯條件(例如數(shù)據(jù)終端處理能力，以及拉取的消息的總量)對(duì)消息進(jìn)行分組。

在該步驟4中，對(duì)消息進(jìn)行分組的方式可以使用上述第三實(shí)施例中所記載的消息分組的方法，此處不再贅述。

比如：每次拉取10000條數(shù)據(jù)信息，經(jīng)過程序處理，分組成10組數(shù)據(jù)，每組1000條消息。

步驟5：在由步驟3以及步驟4中的主線程拉取消息，并執(zhí)行分組操作之后，由主線程創(chuàng)建對(duì)應(yīng)分組數(shù)目的子線程，發(fā)送相關(guān)分組后的消息至對(duì)應(yīng)子線程中，由子線程來進(jìn)行業(yè)務(wù)數(shù)據(jù)的處理工作。

在本實(shí)施例中，創(chuàng)建子線程數(shù)目由應(yīng)用程序自行控制，當(dāng)消息數(shù)量需要大量消費(fèi)時(shí)，可人為的增加子線程的數(shù)目，從而來增加消費(fèi)吞吐量，這樣，可以實(shí)現(xiàn)靈活多變的控制消息的消費(fèi)速率，提高或者降低消息處理的吞吐。

需要說明的是，在本文中，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實(shí)施例方法可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實(shí)施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)(如ROM/RAM、磁碟、光盤)中，包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī)，計(jì)算機(jī)，服務(wù)器，空調(diào)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。

以上僅為本發(fā)明的優(yōu)選實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。