一種基于消息鏈的輕量級數(shù)據(jù)處理框架的制作方法
【專利摘要】本發(fā)明涉及分布式計算【技術(shù)領(lǐng)域】，特別是指一種基于消息鏈的輕量級數(shù)據(jù)處理框架。當(dāng)消息被接收后進(jìn)入消息處理鏈模塊；經(jīng)過鏈上每個處理器上行處理邏輯的處理后，緩存到上行消息隊列中；上行消息隊列管理線程取出消息放入消息線程池；消息線程池將消息解析成對象或者結(jié)構(gòu)體；消息觀察者根據(jù)類型決定是否接受消息，并對其進(jìn)行特殊業(yè)務(wù)邏輯處理；另外，用戶請求或響應(yīng)經(jīng)過消息解析模塊轉(zhuǎn)化成消息緩存到下行消息隊列中；消息隊列把下行消息保存在待發(fā)送隊列中；按順序出列進(jìn)入消息處理鏈，經(jīng)過鏈上每個處理器下行處理邏輯處理后發(fā)送至消息通道。本發(fā)明解決了采用消息中間件所存在的問題，可用于實現(xiàn)基于本數(shù)據(jù)處理框架的第三方軟硬件的快速集成開發(fā)。
【專利說明】一種基于消息鏈的輕量級數(shù)據(jù)處理框架【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式計算【技術(shù)領(lǐng)域】，特別是指一種基于消息鏈的輕量級數(shù)據(jù)處理框架。
【背景技術(shù)】
[0002]一個分布式系統(tǒng)需要處理不同類型的消息，消息的處理邏輯既有共同之處，也會根據(jù)消息類型的不同而需要特殊的處理邏輯。我們一般采用消息中間件來處理消息的共性問題，它的處理步驟是這樣的:
[0003]1、消息中間件中一般有三個角色:消息中間件、消費者、服務(wù)提供者；
[0004]2、消費者組裝數(shù)據(jù)請求報文發(fā)送給消息；
[0005]3、消息中間件將消費者請求報文轉(zhuǎn)發(fā)給各服務(wù)提供者監(jiān)聽隊列，服務(wù)提供者接收請求業(yè)務(wù)報文；
[0006]4、服務(wù)提供者異步返回請求報文的響應(yīng)報文；
[0007]5、消息中間件將消費者請求報文的響應(yīng)報文返回到對應(yīng)消費者應(yīng)答隊列，消費者接收請求的響應(yīng)報文,并做相應(yīng)處理；
[0008]6、服務(wù)提供者生成消費者所需的數(shù)據(jù)，并發(fā)送報文給消息中間件；
[0009]7、消息中間件將通知報文轉(zhuǎn)發(fā)給各消費者監(jiān)聽隊列，消費者接收到通知業(yè)務(wù)報文；
[0010]8、消費者異步返回通知報文的響應(yīng)報文。
[0011]可是，消息中間件在消息量不大的分布式環(huán)境中也存在以下的問題:
[0012]1、消息中間件是一個獨立的消息引擎，會占用一部分服務(wù)器資源，對于消息量不大的分布式應(yīng)用來說，沒有必要增加這樣的開銷，而且引入第三者的角色，消息(報文)在傳輸過程中經(jīng)過多一層隊列的暫存，會減低消息的實時性.[0013]2、消息中間件對消息處理邏輯沒有設(shè)計靈活的處理機(jī)制，一旦消息處理邏輯變化，需要重新編碼實現(xiàn).[0014]3、消息中間件沒有設(shè)計對消息的特殊處理邏輯機(jī)制，對特殊業(yè)務(wù)邏輯的開發(fā)不利。

【發(fā)明內(nèi)容】

[0015]本發(fā)明解決的技術(shù)問題在于提供一種基于消息鏈的輕量級數(shù)據(jù)處理框架，解決目前通用消息中間件存在的消息處理不靈活、開發(fā)效率低、消息實時性低的問題；
[0016]本發(fā)明解決上述技術(shù)問題的技術(shù)方案是: [0017]包括步驟:
[0018]上行消息從消息通道中被接收后進(jìn)入消息處理鏈模塊；
[0019]消息依次經(jīng)過鏈上每個處理器上行處理邏輯的處理后，緩存到上行消息隊列中；
[0020]上行消息隊列管理線程從消息隊列中取出消息放入消息線程池；[0021]消息線程池將消息解析成對象或者結(jié)構(gòu)體；
[0022]消息觀察者根據(jù)消息對象或結(jié)構(gòu)體的類型決定是否接受消息，并對其進(jìn)行特殊業(yè)務(wù)邏輯處理；
[0023]處理相應(yīng)或者用戶請求經(jīng)過消息解析模塊轉(zhuǎn)化成消息緩存到下行消息隊列中；
[0024]消息隊列把下行消息保存在待發(fā)送隊列中；
[0025]待發(fā)送隊列中消息按順序出列進(jìn)入消息處理鏈，依次經(jīng)過鏈上每個處理器下行處理邏輯處理后發(fā)送至消息通道。
[0026]所述消息分為上行消息和下行消息；上行消息是指系統(tǒng)從消息通道上接收到并需要進(jìn)行相應(yīng)命令操作的請求，下行消息則是指命令操作處理完后的響應(yīng)或是用戶需要發(fā)送出去的請求。
[0027]所述消息處理鏈?zhǔn)窍⑻幚砉ぞ叩逆準(zhǔn)郊?，包括上行消息處理鏈和下行消息處理鏈；上行消息處理鏈包括的消息處理工具有消息解包、消息解壓、消息解密及消息認(rèn)證等；下行消息處理鏈包括的消息處理工具則相應(yīng)的有消息認(rèn)證、消息加密、消息壓縮和消息打包等；
[0028]所述的消息線程池是指各個消息處理線程的集合，具有將消息解析成各個對象或者結(jié)構(gòu)體的功能；
[0029]所述的消息觀察者是指可以針對解析出來的消息對象進(jìn)行各種不同處理的接口對象，包括日志觀察者，審計觀察者，虛擬機(jī)觀察者，邏輯卷觀察者等；消息觀察者采用觀察者模式設(shè)計實現(xiàn)，同一個消息支持依次被多個觀察者接收處理；，觀察者模式是編程設(shè)計中一種編程實現(xiàn)方法。
[0030]所述的上下行消息處理鏈工具集支持動態(tài)可擴(kuò)展。
[0031]所述上下行消息隊列支持內(nèi)存形式和數(shù)據(jù)庫形式；
[0032]所述的內(nèi)存形式消息隊列是指在內(nèi)存中申請一定大小的空間作為消息緩沖，具有效率高的特性；
[0033]所述的數(shù)據(jù)庫形式是指將消息先保存到數(shù)據(jù)庫，等待消息處理線程的調(diào)度，具有持久化特性，支持服務(wù)故障恢復(fù)消息重新處理的特點。
[0034]所述的消息觀察者特殊業(yè)務(wù)邏輯處理是指類似于日志觀察者進(jìn)行日志記錄，審計觀察者進(jìn)行審計，虛擬機(jī)觀察者進(jìn)行創(chuàng)建虛擬機(jī)、關(guān)閉虛擬機(jī)等業(yè)務(wù)邏輯處理。
[0035]本發(fā)明方案的有益效果如下:
[0036]1、本發(fā)明的框架是輕量級的，對系統(tǒng)額外增加的開銷較少，消息的實時性高。
[0037]2、本發(fā)明的框架是高度靈活的，消息處理鏈中的處理邏輯可以按需通過配置進(jìn)行增減，無需重新編碼即可運行；要增加對消息的特殊處理邏輯也較容易。
[0038]3、本發(fā)明的方法能在短時間內(nèi)開發(fā)分布式處理應(yīng)用，在消息處理鏈中的處理器都是根據(jù)共性處理邏輯開發(fā)的通用組件，在實際使用過程中只需要進(jìn)行配置或做少量編碼即可。
[0039]4、能提高分布式應(yīng)用開發(fā)的質(zhì)量，增加客戶滿意度。由于應(yīng)用本架構(gòu)可做到不編寫代碼或者只編寫極少量代碼，因此減少了開發(fā)過程中編碼產(chǎn)生的錯誤，提高了軟件質(zhì)量。
【專利附圖】

【附圖說明】[0040]下面結(jié)合附圖對本發(fā)明進(jìn)一步說明:
[0041]圖1為本發(fā)明流程圖；
[0042]圖2為本發(fā)明上行數(shù)據(jù)處理框架分解圖；
【具體實施方式】
[0043]如圖1所示，本發(fā)明基于消息鏈的輕量級數(shù)據(jù)處理方法包括如下步驟:
[0044]上行消息從消息通道中被接收后進(jìn)入消息處理鏈模塊；
[0045]消息依次經(jīng)過鏈上每個處理器上行處理邏輯的處理后，緩存到上行消息隊列中；
[0046]上行消息隊列管理線程從消息隊列中取出消息放入消息線程池；
[0047]消息線程池將消息解析成對象或者結(jié)構(gòu)體；
[0048]消息觀察者根據(jù)消息對象或結(jié)構(gòu)體的類型決定是否接受消息，并對其進(jìn)行特殊業(yè)務(wù)邏輯處理；
[0049]處理相應(yīng)或者用戶請求經(jīng)過消息解析模塊轉(zhuǎn)化成消息緩存到下行消息隊列中；
[0050]消息隊列把下行消息保存在待發(fā)送隊列中；
[0051]待發(fā)送隊列中消息按順序出列進(jìn)入消息處理鏈，依次經(jīng)過鏈上每個處理器下行處理邏輯處理后發(fā)送至消息通道。
[0052]所述消息分為上行消息和下行消息；上行消息是指系統(tǒng)從消息通道上接收到并需要進(jìn)行相應(yīng)命令操作的請求，下行消息則是指命令操作處理完后的響應(yīng)或是用戶需要發(fā)送出去的請求。
[0053]消息處理鏈?zhǔn)窍⑻幚砉ぞ叩逆準(zhǔn)郊?，包括上行消息處理鏈和下行消息處理鏈；上行消息處理鏈包括的消息處理工具有消息解包、消息解壓、消息解密及消息認(rèn)證等；下行消息處理鏈包括的消息處理工具則相應(yīng)的有消息認(rèn)證、消息加密、消息壓縮和消息打包等；
[0054]消息線程池是指各個消息處理線程的集合，具有將消息解析成各個對象或者結(jié)構(gòu)體的功能；
[0055]消息觀察者是指可以針對解析出來的消息對象進(jìn)行各種不同處理的接口對象，包括日志觀察者，審計觀察者，虛擬機(jī)觀察者，邏輯卷觀察者等；消息觀察者采用觀察者模式設(shè)計實現(xiàn)，同一個消息支持依次被多個觀察者接收處理；，觀察者模式是編程設(shè)計中一種編程實現(xiàn)方法。
[0056]上下行消息處理鏈工具集支持動態(tài)可擴(kuò)展。
[0057]上下行消息隊列支持內(nèi)存形式和數(shù)據(jù)庫形式；內(nèi)存形式消息隊列是指在內(nèi)存中申請一定大小的空間作為消息緩沖，具有效率高的特性；數(shù)據(jù)庫形式是指將消息先保存到數(shù)據(jù)庫，等待消息處理線程的調(diào)度，具有持久化特性，支持服務(wù)故障恢復(fù)消息重新處理的特點。
[0058]消息觀察者特殊業(yè)務(wù)邏輯處理是指類似于日志觀察者進(jìn)行日志記錄，審計觀察者進(jìn)行審計，虛擬機(jī)觀察者進(jìn)行創(chuàng)建虛擬機(jī)、關(guān)閉虛擬機(jī)等業(yè)務(wù)邏輯處理。
[0059]再結(jié)合圖2所示，數(shù)據(jù)處理框架中消息處理鏈處于文本消息進(jìn)出的階段，包含解包、解壓、解密、認(rèn)證等處理過程，每一個處理過程都是一個Handler，且每個Handler需繼承MsgHandler基類，MsgHandler基類設(shè)計如下:
[0060]
【權(quán)利要求】
1.一種基于消息鏈的輕量級數(shù)據(jù)處理框架，其特征在于:包括步驟: 上行消息從消息通道中被接收后進(jìn)入消息處理鏈模塊； 消息依次經(jīng)過鏈上每個處理器上行處理邏輯的處理后，緩存到上行消息隊列中； 上行消息隊列管理線程從消息隊列中取出消息放入消息線程池； 消息線程池將消息解析成對象或者結(jié)構(gòu)體； 消息觀察者根據(jù)消息對象或結(jié)構(gòu)體的類型決定是否接受消息，并對其進(jìn)行特殊業(yè)務(wù)邏輯處理； 處理相應(yīng)或者用戶請求經(jīng)過消息解析模塊轉(zhuǎn)化成消息緩存到下行消息隊列中； 消息隊列把下行消息保存在待發(fā)送隊列中； 待發(fā)送隊列中消息按順序出列進(jìn)入消息處理鏈，依次經(jīng)過鏈上每個處理器下行處理邏輯處理后發(fā)送至消息通道。
2.根據(jù)權(quán)利要求1所述的輕量級數(shù)據(jù)處理框架，其特征在于:所述消息分為上行消息和下行消息；上行消息是指系統(tǒng)從消息通道上接收到并需要進(jìn)行相應(yīng)命令操作的請求，下行消息則是指命令操作處理完后的響應(yīng)或是用戶需要發(fā)送出去的請求。
3.根據(jù)權(quán)利要求1所述的輕量級數(shù)據(jù)處理框架，其特征在于:所述消息處理鏈?zhǔn)窍⑻幚砉ぞ叩逆準(zhǔn)郊希ㄉ闲邢⑻幚礞満拖滦邢⑻幚礞?；上行消息處理鏈包括的消息處理工具有消息解包、消息解壓、消息解密及消息認(rèn)證等；下行消息處理鏈包括的消息處理工具則相應(yīng)的有消息認(rèn)證、消息加密、消息壓縮和消息打包等； 所述的消息線程池是指各個消息處理線程的集合，具有將消息解析成各個對象或者結(jié)構(gòu)體的功能； 所述的消息觀察者是指可以針對解析出來的消息對象進(jìn)行各種不同處理的接口對象，包括日志觀察者，審計觀察者，虛擬機(jī)觀察者，邏輯卷觀察者等；消息觀察者采用觀察者模式設(shè)計實現(xiàn)，同一個消息支持依次被多個觀察者接收處理；，觀察者模式是編程設(shè)計中一種編程實現(xiàn)方法。
4.根據(jù)權(quán)利要求3所述的輕量級數(shù)據(jù)處理框架，其特征在于:所述的上下行消息處理鏈工具集支持動態(tài)可擴(kuò)展。
5.根據(jù)權(quán)利要求1至4任一項所述的輕量級數(shù)據(jù)處理框架，其特征在于:所述上下行消息隊列支持內(nèi)存形式和數(shù)據(jù)庫形式； 所述的內(nèi)存形式消息隊列是指在內(nèi)存中申請一定大小的空間作為消息緩沖，具有效率高的特性； 所述的數(shù)據(jù)庫形式是指將消息先保存到數(shù)據(jù)庫，等待消息處理線程的調(diào)度，具有持久化特性，支持服務(wù)故障恢復(fù)消息重新處理的特點。
6.根據(jù)權(quán)利要求1至4任一項所述的輕量級數(shù)據(jù)處理框架，其特征在于:所述的消息觀察者特殊業(yè)務(wù)邏輯處理是指類似于日志觀察者進(jìn)行日志記錄，審計觀察者進(jìn)行審計，虛擬機(jī)觀察者進(jìn)行創(chuàng)建虛擬機(jī)、關(guān)閉虛擬機(jī)等業(yè)務(wù)邏輯處理。
7.根據(jù)權(quán)利要求5所述的輕量級數(shù)據(jù)處理框架，其特征在于:所述的消息觀察者特殊業(yè)務(wù)邏輯處理是指類似于日志觀察者進(jìn)行日志記錄，審計觀察者進(jìn)行審計，虛擬機(jī)觀察者進(jìn)行創(chuàng)建虛擬機(jī)、關(guān)閉虛擬機(jī)等業(yè)務(wù)邏輯處理。
【文檔編號】G06F9/44GK103677844SQ201310714072
【公開日】2014年3月26日 申請日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】熊夢, 楊松, 莫展鵬, 季統(tǒng)凱 申請人:國云科技股份有限公司