一種分布式信息處理結構的制作方法
【技術領域】
[0001]本發(fā)明涉及網(wǎng)絡通信技術領域，尤其涉及一種分布式信息處理結構。
【背景技術】
[0002]分布式信息處理技術是一種將一個或多個大型信息處理任務分解為多個子任務，并在不同的系統(tǒng)中分別處理的技術.這項技術中很關鍵的一個問題就是子任務的分布式組織方法。
[0003]目前的分布式信息處理系統(tǒng)主要可以分為三類，一類是客戶機-服務器系統(tǒng)，這類系統(tǒng)也稱為兩層系統(tǒng)。客戶機-服務器系統(tǒng)中主要包含一臺或多臺提供特定服務功能的服務器和多臺供用戶使用的客戶機，當用戶需要執(zhí)行某種特定功能的時候，客戶機向特定的服務器發(fā)送請求，服務器對請求進行處理以后將結果返回給該客戶機。
[0004]第二類分布式信息處理系統(tǒng)通常稱為中間件系統(tǒng)或者三層系統(tǒng)。這一類系統(tǒng)主要是在客戶機和服務器之間添加了一層中間件，用于屏蔽硬件平臺、操作系統(tǒng)和網(wǎng)絡協(xié)議的差異，使應用軟件能夠比較平滑地運行于不同平臺上。同時中間件在負載平衡、連接管理和調度方面起了很大的作用，使應用的性能得到大幅的提升，以滿足關鍵業(yè)務的需求。
[0005]第三類分布式信息處理系統(tǒng)通常稱為分布式對象系統(tǒng)或者多層系統(tǒng)。在該系統(tǒng)中，每一臺計算機即可以作為客戶機，也作為其他系統(tǒng)提供服務的服務器，所提供的服務以及對象的形式進行描述。當某個用戶需要進行某種形式的信息處理時，所使用的計算機自動在網(wǎng)上搜尋適當?shù)膶ο?服務器)，并向這些服務器發(fā)送處理請求。
[0006]然而，現(xiàn)有的分布式信息處理系統(tǒng)只能以固定的線程分配方式進行處理，系統(tǒng)預先設定后，用戶無法根據(jù)實際需求對所述線程進行重新分配。，即只能靜態(tài)進行線程分配，無法動態(tài)線程分配。

【發(fā)明內容】

[0007]本發(fā)明解決的問題是提供一種分布式信息處理機構，以動態(tài)分配線程處理模型。
[0008]為解決上述問題，本發(fā)明提供一種分布式信息處理結構，包括:
[0009]數(shù)據(jù)處理模塊，包括數(shù)據(jù)處理管理單元、若干數(shù)目的線程處理單元及若干數(shù)目的抽象管道單元，所述數(shù)據(jù)處理單元用于接收拓撲配置文件，并根據(jù)所述拓撲配置文件動態(tài)創(chuàng)建數(shù)據(jù)處理模型，所述數(shù)據(jù)處理模型由線程處理單元構成，或者由線程處理單元及抽象管道單元組合構成。
[0010]可選的，所述數(shù)據(jù)處理模型中，各個所述線程處理單元為各自獨立的處理單元。
[0011]可選的，所述線程處理單元為所述分布式信息處理結構中最小數(shù)據(jù)處理單元，用以向用戶提供虛接口，并通過繼承所述虛接口在所述線程處理單元內部實現(xiàn)工作流代碼。
[0012]可選的，所述抽象管道單元為數(shù)據(jù)傳輸容器，用于線程處理單元之間的數(shù)據(jù)傳輸，傳輸方向為單向傳輸。
[0013]可選的，一個所述線程處理單元具有一個或一個以上的抽象管道單元，所述抽象管道單元用于連接所述線程處理單元。
[0014]可選的，若所述數(shù)據(jù)處理模型由線程處理單元構成，則提供預先約定的協(xié)議格式，各個所述線程處理單元之間按照所述協(xié)議格式發(fā)送消息進行通信。
[0015]可選的，所述數(shù)據(jù)處理模型對應的拓撲結構為線型、星型、環(huán)型或樹型。
[0016]可選的，還包括動態(tài)配置模塊，用于接收工作流的需求指令，并根據(jù)所述需求指令生成拓撲配置文件。
[0017]可選的，還包括代理客戶端模塊，用以向用戶提供工作流的操作接口 ；及進程管理模塊，負責創(chuàng)建或者銷毀數(shù)據(jù)處理過程。
[0018]可選的，還包括工作流管理模塊，負責所述分布式信息處理結構中各模塊間的通信，以控制所述分布式信息處理結構的工作流。
[0019]可選的，所述數(shù)據(jù)處理模型為單機模型或多機模型。
[0020]可選的，當所述數(shù)據(jù)處理模型為多機模型時，還包括數(shù)據(jù)發(fā)送處理機及數(shù)據(jù)接收處理機，所述數(shù)據(jù)發(fā)送處理機具有發(fā)送功能單元，所述數(shù)據(jù)接收處理機上具有數(shù)據(jù)接收單元，用于跨機器的數(shù)據(jù)傳輸。
[0021]與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點:
[0022]本方法提供一套可復用的應用軟件結構，用戶使用時只需要繼承一個功能導出類，并在里面實現(xiàn)自己的算法即可，無須關心更多的軟件實現(xiàn)細節(jié)，易用性強。
[0023]涉及的所有軟件模塊均采用低耦合設計，各個模塊之間相對獨立，易拆解也易組口 ο
[0024]基于上述的低耦合特性，本方法提供的軟件結構具有很高的擴展性，用戶只需修改配置文件就能實現(xiàn)不同結構的處理框架。本特性極大地了滿足了醫(yī)學行業(yè)紛繁復雜的應用場景。而現(xiàn)有的技術不能動態(tài)改變分布式處理的結構，具有很大的使用局限性。
[0025]本方法可以同時創(chuàng)建多個進程進行批處理操作。同時用戶對進程可以執(zhí)行掛起、取消、恢復等操作，增強了可控性。
【附圖說明】
[0026]圖1所示為本發(fā)明一個實施例的分布式信息處理結構的結構示意圖；
[0027]圖2所示為所述代理客戶端模塊提供的工作流操作接口示意圖；
[0028]圖3?圖5為本實施例的數(shù)據(jù)處理模型對應的拓撲結構；
[0029]圖6所示為本發(fā)明一個實施例的數(shù)據(jù)處理模塊的結構示意圖；
[0030]圖7所示為本發(fā)明一個實施例的進程管理模塊的結構示意圖；
[0031]圖8所示為本發(fā)明一個實施例的單機模型結構示意圖；
[0032]圖9所示為本發(fā)明一個實施例的多機模型結構示意圖。
【具體實施方式】
[0033]在下面的描述中闡述了很多具體細節(jié)以便于充分理解本發(fā)明。但是本發(fā)明能夠以很多不同于在此描述的其它方式來實施，本領域技術人員可以在不違背本發(fā)明內涵的情況下做類似推廣，因此本發(fā)明不受下面公開的具體實施的限制。
[0034]其次，本發(fā)明利用示意圖進行詳細描述，在詳述本發(fā)明實施例時，為便于說明，所述示意圖只是實例，其在此不應限制本發(fā)明保護的范圍。
[0035]現(xiàn)有的分布式信息處理系統(tǒng)只能以固定的線程分配方式進行處理，系統(tǒng)預先設定后，用戶無法根據(jù)實際需求對所述線程進行重新分配。
[0036]為解決上述問題，本發(fā)明提供一種分布式信息處理結構，包括:數(shù)據(jù)處理模塊，包括數(shù)據(jù)處理管理單元、若干數(shù)目的線程處理單元及若干數(shù)目的抽象管道單元，所述數(shù)據(jù)處理單元用于接收拓撲配置文件，并根據(jù)所述拓撲配置文件動態(tài)創(chuàng)建數(shù)據(jù)處理模型，所述數(shù)據(jù)處理模型由線程處理單元構成，或者由線程處理單元及抽象管道單元組合構成。其中，所述數(shù)據(jù)處理模型中，各個所述線程處理單元為各自獨立的處理單元。所述線程處理單元為所述分布式信息處理結構中最小數(shù)據(jù)處理單元，用以向用戶提供虛接口，并通過繼承所述虛接口在所述線程處理單元內部實現(xiàn)工作流代碼。
[0037]若所述數(shù)據(jù)處理模型由線程處理單元構成，則提供預先約定的協(xié)議格式，各個所述線程處理單元之間按照所述協(xié)議格式發(fā)送消息進行通信；若所述數(shù)據(jù)處理模型由線程處理單元及抽象管道單元構成，則所述抽象管道單元為數(shù)據(jù)傳輸容器，用于線程處理單元之間的數(shù)據(jù)傳輸，傳輸方向為單向傳輸。
[0038]對應的，一個所述線程處理單元具有一個或一個以上的抽象管道單元，所述抽象管道單元用于連接所述線程處理單元。
[0039]可選的，所述數(shù)據(jù)處理模型對應的拓撲結構為線型、星型、環(huán)型或樹型。
[0040]還包括動態(tài)配置模塊，用于接收工作流的需求指令，并根據(jù)所述需求指令生成拓撲配置文件；代理客戶端模塊，用以向用戶提供工作流的操作接口 ；及進程管理模塊，負責創(chuàng)建或者銷毀數(shù)據(jù)處理過程；工作流管理模塊，負責所述分布式信息處理結構中各模塊間的通信，以控制所述分布式信息處理結構的工作流。
[0041]進一步地，所述數(shù)據(jù)處理模型為單機模型或多機模型。當所述數(shù)據(jù)處理模型為多機模型時，還包括數(shù)據(jù)發(fā)送處理機及數(shù)據(jù)接收處理機，所述數(shù)據(jù)發(fā)送處理機具有發(fā)送功能單元，所述數(shù)據(jù)接收處理機上具有數(shù)據(jù)接收單元，用于跨機器的數(shù)據(jù)傳輸。
[0042]下面結合附圖對本發(fā)明實施例進行詳細說明。
[0043]如圖1所示為本發(fā)明一個實施例的分布式信息處理結構的結構示意圖，包括:代理客戶端模塊(Job Delegate) 10、工作流管理模塊(Job Manager) 20、數(shù)據(jù)處理模塊(Pipeline) 30及進程管理模塊(System Manager) 40?下面對各模塊的功能及通信進行說明。
[0044]如圖2所示為所述代理客戶端模塊10提供的工作流操作接口示意圖，用戶調用該系列接口可以對工作流進行控制，包括:新增工作流接口(AppendJob);掛起工作流接口(Susp