專利名稱：產生流水文件的方法和裝置的制作方法
技術領域：
本發(fā)明涉及交易活動中的流水文件處理，并且尤其涉及基于交易數(shù)據(jù)的產生流水文件的方法和裝置。
背景技術：
在金融服務機構與成員機構、交易各相關方的金融交易或清算結算活動中，參與交易各方需要對清算結果信息進行傳輸和處理，這些信息是保證及核對交易相關各方賬務準確的重要媒介。這種媒介的載體是交易流水文件，也稱交易明細文件。隨著金融與交易活動業(yè)務種類日益增多，交易內容逐漸豐富，交易各相關方對交易明細信息量的需要不斷增加。因此，交易各相關方均向共同的金融服務機構提出了獲取流水文件的要求，這導致了金融服務機構系統(tǒng)的應用程序所處理的流水文件數(shù)量劇增，金融服務系統(tǒng)的處理能力越來越難以適應現(xiàn)狀。圖1是交易數(shù)據(jù)中交易機構的角色分布示意圖。如圖1所示，交易數(shù)據(jù)通常由多個交易記錄組成，每個交易記錄用交易序號標記，交易記錄是關于在一次交易中所涉及的信息，通常包括參與此次交易的機構(例如，機構A、B)、該機構在交易中所扮演的角色1、 2... N(例如，發(fā)卡機構、受理機構、服務機構等)以及其它交易信息。圖2示出了為圖1中的機構A所產生的流水文件的結構示意圖，如圖所示，成員機構A所需要的流水文件由該成員機構所扮演的角色的流水文件組成。成員機構作為每一個角色的流水文件又包括多個不同類型的流水文件，例如成員機構扮演發(fā)卡機構的角色時，其角色流水文件可包括一般流水文件、發(fā)卡方差錯流水文件等。每一類流水文件包括相關的交易信息。在現(xiàn)有技術中，通常是根據(jù)交易數(shù)據(jù)逐個角色來生成流水文件。例如，第一輪遍歷所有交易數(shù)據(jù)時，找出機構A作為角色1的所有交易，并為機構A生成角色1流水文件；找出機構B作為角色1的所有交易，并為機構B生成角色1流水文件；依次類推，為所有機構生成該機構作為角色1的所有角色1流水文件。第二輪遍歷所有交易數(shù)據(jù)時，找出機構A 作為角色2的所有交易，并為機構A生成角色2流水文件；找出機構B作為角色2的所有交易，并為機構B生成角色2流水文件；依次類推，為所有機構生成該機構作為角色2的所有角色2流水文件；依次，第三輪遍歷數(shù)據(jù)，生成所有機構的角色3文件。如此，每獲取一類角色文件就要遍歷一次交易數(shù)據(jù)。因此，每增加一個成員機構，系統(tǒng)就需要對所有清算后的交易數(shù)據(jù)進行一次遍歷讀取，挑出該新增加的機構的交易信息；每增加一類流水文件，清算系統(tǒng)就需要對所有清算后的交易數(shù)據(jù)進行N次遍歷讀取(N為機構數(shù))，逐個機構挑出其所屬的該類新增加的流水文件對應的交易信息?，F(xiàn)有技術的處理方式在理論上支持成員機構個數(shù)和流水文件種類的無限擴展性， 但是每增加一個成員機構或每增加一類流水文件，都要給系統(tǒng)帶來巨大的數(shù)據(jù)遍歷讀取的耗時，嚴重降低了系統(tǒng)性能。

發(fā)明內容
為滿足流水文件機構擴展性和文件種類擴展性的需求，本發(fā)明披露一種遍歷讀取一次所有交易數(shù)據(jù)，即可生成所有成員機構的所有流水文件的方法和裝置。本發(fā)明的一個方面提供了基于交易記錄產生流水文件的方法，其中，交易記錄包括交易序號、參與交易的至少兩個機構、至少兩個機構在交易記錄中所屬的至少兩個角色， 該方法包括下述步驟讀取交易記錄；根據(jù)交易記錄中的第一角色將交易記錄按照第一角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與第一角色對應的第一機構的第一角色流水文件；根據(jù)交易記錄中的第二角色將交易記錄按照第二角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與第二角色對應的第二機構的第二角色流水文件。本發(fā)明的另一個方面提供了基于交易數(shù)據(jù)產生流水文件的方法，其中交易數(shù)據(jù)包括多個交易記錄，多個交易記錄中的每一個包括交易序號、參與交易的至少兩個機構、至少兩個機構在交易記錄中所屬的至少兩個角色，該方法包括下述步驟將多個交易記錄分為多個塊，并行處理多個塊，其中，對于每個塊中的每一個交易記錄讀取交易記錄；根據(jù)交易記錄中的第一角色將交易記錄按照第一角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與第一角色對應的第一機構的第一角色流水文件；根據(jù)交易記錄中的第二角色將交易記錄按照第二角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與第二角色對應的第二機構的第二角色流水文件。優(yōu)選地，在上述方法中，為角色的流水文件類型分配文件格式標識符，根據(jù)文件格式標識符確定角色的流水文件格式。優(yōu)選地，在上述方法中，為多個交易記錄中的每一個交易記錄循環(huán)分配分塊標識符來將多個交易記錄分為多個塊，并且根據(jù)分塊標識符并行處理多個塊的每一個塊。優(yōu)選地，在上述方法中，動態(tài)地記錄至少兩個機構的交易記錄的數(shù)量，并且根據(jù)該數(shù)量動態(tài)地為至少兩個機構分配權值；基于權值，將轉換格式后的交易記錄寫入機構的角色流水文件。本發(fā)明的又一個方面提供了基于交易數(shù)據(jù)產生流水文件的裝置，其中交易數(shù)據(jù)包括多個交易記錄，多個交易記錄中的每一個包括交易序號、參與交易至少兩個的機構、至少兩個機構在交易記錄中所屬的至少兩個角色，該裝置包括數(shù)據(jù)分割模塊、塊數(shù)據(jù)處理模塊、 參數(shù)化文件格式轉換模塊，其中，數(shù)據(jù)分割模塊被配置為將多個交易記錄分為多個塊；塊數(shù)據(jù)處理模塊被配置為并行處理多個塊，其中，對于每個塊中的每一個交易記錄讀取交易記錄；
根據(jù)交易記錄中的第一角色調用參數(shù)化文件格式轉換模塊將交易記錄按照第一角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與第一角色對應的第一機構的第一角色流水文件；根據(jù)交易記錄中的第二角色調用參數(shù)化文件格式轉換模塊將交易記錄按照第二角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與第二角色對應的第二機構的第二角色流水文件。優(yōu)選地，參數(shù)化文件格式轉換模塊進一步被配置成為角色的流水文件類型分配文件格式標識符，根據(jù)文件格式標識符確定角色的流水文件格式。優(yōu)選地，數(shù)據(jù)分割模塊為多個交易記錄中的每一個交易記錄循環(huán)分配分塊標識符來將多個交易記錄分為多個塊，塊數(shù)據(jù)處理模塊根據(jù)分塊標識符并行處理多個塊的每一個塊。優(yōu)選地，上述裝置進一步包括管理模塊，管理模塊被配置成動態(tài)地記錄至少兩個機構的交易記錄的數(shù)量，并且根據(jù)該數(shù)量動態(tài)地為至少兩個機構分配權值；優(yōu)選地，塊數(shù)據(jù)處理模塊基于權值，將轉換格式后的交易記錄寫入機構的角色流水文件。本發(fā)明的裝置具有機構數(shù)量擴展性、流水種類擴展性、數(shù)據(jù)處理耗時恒定性的優(yōu)
點ο


在參照附圖閱讀了本發(fā)明的具體實施方式
以后，將會更清楚地了解本發(fā)明的各個方面。其中，圖1是交易數(shù)據(jù)中交易機構的角色分布示意圖；圖2示出了為圖1中的機構A所產生的流水文件的結構示意圖；圖3是根據(jù)本發(fā)明實施例產生流水文件的示意圖；圖4是根據(jù)圖3的產生流水文件的方法步驟示意圖；圖5是示出了根據(jù)本發(fā)明實施例的經過分塊處理后的交易數(shù)據(jù)的結構示意圖；圖6是根據(jù)本發(fā)明實施例的產生流水文件的裝置示意圖。
具體實施例方式下面參照附圖，對本發(fā)明的具體實施方式
作進一步的詳細描述。由于交易數(shù)據(jù)的特點是交易數(shù)據(jù)量巨大，遍歷數(shù)據(jù)的耗時為系統(tǒng)的主要耗時。圖 1是交易數(shù)據(jù)中交易機構的角色分布示意圖。如圖所示，同一個成員機構在不同交易中，可以作為不同交易角色存在。同一個成員機構在一項交易中，也可以作為不同交易角色存在， 例如，在一項轉賬交易中，一家銀行既做發(fā)卡行又做收單行。圖2是圖1中的機構A的流水文件的結構示意圖。其中，需要為成員機構A產生其作為每一種交易角色所對應的文件，如角色1流水文件，該文件中包含了該成員機構作為角色1的所有交易記錄信息，這些交易信息應被寫入不同類型的流水文件中。此外，同一次交易中，同一成員機構作為不同角色出現(xiàn)時，也需要將該交易記錄寫入該機構所屬的不同文件中。下面參考圖3，其是根據(jù)本發(fā)明實施例產生流水文件的示意圖，。如圖3所示，系統(tǒng)根據(jù)交易序號為1的交易記錄產生流水文件。其中，所述交易記錄包括交易序號、參與交易的至少兩個機構A和B、構A和B在交易1中分別扮演角色1和2。針對交易1，首先處理機構A所對應的角色1并且根據(jù)該角色1生成機構A的角色1流水文件，然后處理機構 B所對應的角色2，并且根據(jù)該角色生成機構B的角色2流水文件，依次類推，直到生成交易 1所涉及的所有角色所對應的機構流水文件。圖4是根據(jù)圖3的產生流水文件的方法步驟示意圖，在步驟401中讀取交易記錄， 即交易1。在步驟402中，根據(jù)所述交易記錄中的角色1將交易記錄按照所述第一角色的流水文件格式進行轉換。在步驟403中，將轉換格式后的交易記錄寫入與角色1對應的機構 A的角色1流水文件。在步驟404中，根據(jù)交易記錄中的角色2將交易記錄按照所述角色2 的流水文件格式進行轉換。在步驟405中，將轉換格式后的交易記錄寫入與角色2對應的機構B的角色2流水文件。按照此順序，處理逐條交易記錄直至生成所有的流水文件。因此， 按照本發(fā)明的技術方案產生流水文件只需遍歷一次交易數(shù)據(jù)，在增加新的機構或者新的文件類型時也僅僅需要讀取并處理新生成的交易記錄。在本發(fā)明的另一個實施例中，進一步為角色的流水文件類型分配文件格式標識符，因此，在轉換文件格式時能夠方便地根據(jù)所分配的文件格式標識符確定角色的流水文件格式。這樣避免了根據(jù)文件內容進行判斷文件類型，節(jié)約了系統(tǒng)資源提高了流水文件生成的速度。此外，在面對海量的交易記錄時，系統(tǒng)可以分配多個線程來并行處理這些交易記錄，從而不僅可以一次遍歷產生流水文件而且大大減少了系統(tǒng)處理時間。作為示例，可以為交易數(shù)據(jù)中的交易記錄循環(huán)分配分塊標識符來將多個交易記錄分為多個塊，并且根據(jù)所述分塊標識符并行處理所述多個塊的每一個塊。圖5是示出了根據(jù)本發(fā)明實施例的經過分塊處理后的交易數(shù)據(jù)的結構示意圖。如圖所示，系統(tǒng)總分塊標識符可以為預先系統(tǒng)參數(shù)設定值32塊，則前32條交易記錄的分塊標識符分別為1-32，第33條到第64條交易記錄的分塊標識符分別為1-32，依次循環(huán)處理。結果，每條交易記錄均分配到一個分塊標識符，且標識符為1-32這個32個數(shù)字其中之一。系統(tǒng)的每個線程根據(jù)分塊標識符并行處理相應的分塊。本領域的技術人員可以理解的是，還可以采用其它技術手段實現(xiàn)對交易記錄的并行處理。為了合理分配系統(tǒng)資源，進一步提高系統(tǒng)處理性能，本發(fā)明在另一個實施例中實現(xiàn)了對成員機構的優(yōu)先級分配。具體操作過程如下，在遍歷全部交易數(shù)據(jù)源的過程中，動態(tài)地計算每家機構當前出現(xiàn)的交易的數(shù)量，并計算動態(tài)的權值。根據(jù)機構動態(tài)權值對成員機構所屬文件句柄進行開、關處理。例如，機構B參與的交易數(shù)量較少，則為其計算權值就較小，則在系統(tǒng)句柄資源不足時，優(yōu)先選擇關閉機構B的文件句柄來釋放資源。相反，若機構A參與的交易數(shù)量較多，則分配較大的權值，故機構A的文件句柄保持持續(xù)開啟的幾率較大。通過對與成員機構關聯(lián)的文件集中管理，可以實現(xiàn)在系統(tǒng)資源允許情況下，盡可能少的進行文件的開閉操作，提高系統(tǒng)I/O效率。圖6是根據(jù)本發(fā)明實施例的產生流水文件的裝置示意圖，如圖所示，該裝置包括數(shù)據(jù)分割模塊601、塊數(shù)據(jù)處理模塊602、參數(shù)化文件格式轉換模塊603，管理模塊604。其中，數(shù)據(jù)分割模塊601用于將多個交易記錄分為多個塊。塊數(shù)據(jù)處理模塊602用于并行處理所述多個塊，并且實現(xiàn)上述本發(fā)明的方法，具體的操作如下，讀取每個塊中的每一個交易記錄，根據(jù)交易記錄中的角色調用參數(shù)化文件格式轉換模塊603將該交易記錄按照該角色的流水文件格式進行轉換。參數(shù)化文件格式轉換模塊603可以為角色的流水文件類型分配文件格式標識符， 并且根據(jù)文件格式標識符確定角色的流水文件格式。管理模塊604可以動態(tài)地記錄機構的交易記錄的數(shù)量，并且根據(jù)該數(shù)量動態(tài)地為機構分配權值。塊數(shù)據(jù)處理模塊603可以基于該權值，將轉換格式后的交易記錄寫入機構的角色流水文件?？梢岳斫獾氖?，本發(fā)明的上述裝置中的各個模塊可以通過包含計算機程序的軟件和/或硬件來實現(xiàn)。本領域的技術人員還可以理解本發(fā)明所提出的方法和裝置可適用于其他由明細記錄到海量流水文件模式的流水系統(tǒng)。上文參照附圖描述了本發(fā)明的具體實施方式
。但是本領域中的普通技術人員能夠理解，在不偏離本發(fā)明的精神和范圍的情況下，還可以對本發(fā)明的具體實施方式
作各種變更和替換。這些變更和替換都落在本發(fā)明權利要求書所限定的范圍內。
權利要求
1.一種基于交易記錄產生流水文件的方法，其中，所述交易記錄包括交易序號、參與交易的至少兩個機構、所述至少兩個機構在交易記錄中所屬的至少兩個角色，該方法包括下述步驟讀取所述交易記錄；根據(jù)所述交易記錄中的第一角色將所述交易記錄按照所述第一角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與所述第一角色對應的第一機構的第一角色流水文件；根據(jù)所述交易記錄中的第二角色將所述交易記錄按照所述第二角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與所述第二角色對應的第二機構的第二角色流水文件。
2.一種基于交易數(shù)據(jù)產生流水文件的方法，其中所述交易數(shù)據(jù)包括多個交易記錄，所述多個交易記錄中的每一個包括交易序號、參與交易的至少兩個機構、所述至少兩個機構在交易記錄中所屬的至少兩個角色，該方法包括下述步驟將所述多個交易記錄分為多個塊， 并行處理所述多個塊， 其中，對于每個塊中的每一個交易記錄 讀取所述交易記錄；根據(jù)所述交易記錄中的第一角色將所述交易記錄按照所述第一角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與所述第一角色對應的第一機構的第一角色流水文件；根據(jù)所述交易記錄中的第二角色將所述交易記錄按照所述第二角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與所述第二角色對應的第二機構的第二角色流水文件。
3.如權利要求1或2所述的方法，其特征在于，為角色的流水文件類型分配文件格式標識符，根據(jù)所述文件格式標識符確定角色的流水文件格式。
4.如權利要求2所述的方法，其特征在于，為所述多個交易記錄中的每一個交易記錄循環(huán)分配分塊標識符來將所述多個交易記錄分為多個塊，并且根據(jù)所述分塊標識符并行處理所述多個塊的每一個塊。
5.如權利要求2所述的方法，其特征在于，動態(tài)地記錄所述至少兩個機構的交易記錄的數(shù)量，并且根據(jù)該數(shù)量動態(tài)地為所述至少兩個機構分配權值；基于所述權值，將轉換格式后的交易記錄寫入機構的角色流水文件。
6.一種基于交易數(shù)據(jù)產生流水文件的裝置，其中所述交易數(shù)據(jù)包括多個交易記錄，所述多個交易記錄中的每一個包括交易序號、參與交易至少兩個的機構、所述至少兩個機構在交易記錄中所屬的至少兩個角色，該裝置包括數(shù)據(jù)分割模塊、塊數(shù)據(jù)處理模塊、參數(shù)化文件格式轉換模塊，其中，所述數(shù)據(jù)分割模塊被配置為將所述多個交易記錄分為多個塊；所述塊數(shù)據(jù)處理模塊被配置為并行處理所述多個塊， 其中，對于每個塊中的每一個交易記錄 讀取所述交易記錄；根據(jù)所述交易記錄中的第一角色調用所述參數(shù)化文件格式轉換模塊將所述交易記錄按照所述第一角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與所述第一角色對應的第一機構的第一角色流水文件；根據(jù)所述交易記錄中的第二角色調用所述參數(shù)化文件格式轉換模塊將所述交易記錄按照所述第二角色的流水文件格式進行轉換，將轉換格式后的交易記錄寫入與所述第二角色對應的第二機構的第二角色流水文件。
7.如權利要求6所述的裝置，其特征在于，所述參數(shù)化文件格式轉換模塊進一步被配置成為角色的流水文件類型分配文件格式標識符，根據(jù)所述文件格式標識符確定角色的流水文件格式。
8.如權利要求6所述的裝置，其特征在于，所述數(shù)據(jù)分割模塊為所述多個交易記錄中的每一個交易記錄循環(huán)分配分塊標識符來將所述多個交易記錄分為多個塊，所述塊數(shù)據(jù)處理模塊根據(jù)所述分塊標識符并行處理所述多個塊的每一個塊。
9.如權利要求6所述的裝置，其特征在于，進一步包括管理模塊，所述管理模塊被配置成動態(tài)地記錄所述至少兩個機構的交易記錄的數(shù)量，并且根據(jù)該數(shù)量動態(tài)地為所述至少兩個機構分配權值；所述塊數(shù)據(jù)處理模塊基于所述權值，將轉換格式后的交易記錄寫入機構的角色流水文件。
全文摘要
本發(fā)明提供一種基于交易數(shù)據(jù)的產生流水文件的方法和裝置。其中針對每一個交易記錄，首先處理第一機構所對應的第一角色并且根據(jù)該第一角色生成第一機構的第一角色流水文件，然后處理第二機構所對應的第二角色，并且根據(jù)該第二角色生成第二機構的第二角色流水文件，依次類推，直到生成所有交易記錄所涉及的所有角色所對應的機構流水文件。
文檔編號G06Q40/04GK102402551SQ201010285790
公開日2012年4月4日 申請日期2010年9月17日 優(yōu)先權日2010年9月17日
發(fā)明者曹輝, 王笑, 陳逢源 申請人:中國銀聯(lián)股份有限公司