的一致性和被優(yōu)化用于轉(zhuǎn) 換成若干其它形式之間進(jìn)行平衡被選擇。典型地，數(shù)據(jù)段可以是大至束允許的最大大小的 任何大小。
[0062] 在一些實(shí)施例中，歸檔服務(wù)520存儲(chǔ)包括所有的段的完整的束。通過存儲(chǔ)完整的 束，容錯(cuò)以及使用重放的新系統(tǒng)的背面填充可被提供。此外，存儲(chǔ)完整的束對(duì)輕量級(jí)消息也 有優(yōu)化的好處和影響，因?yàn)榭刂葡⒉恍枰志茫蝗绻械南⒍伪槐Ａ粼谝粋€(gè)可用的 歸檔存儲(chǔ)中，則非持久的消息策略可以簡(jiǎn)單地通過歸檔輪詢被后退以采取更有效的分布。
[0063] 該摘要段提供密鑰信息以唯一地識(shí)別束以及是什么允許關(guān)于將被關(guān)聯(lián)的相同束 的不同消息。摘要部分的無密鑰元素提供一些一般特征，其對(duì)于觀察和識(shí)別在監(jiān)控工具中 可視的段是有用的（例如，數(shù)據(jù)數(shù)、大小、數(shù)據(jù)流和束號(hào)碼）。具有數(shù)據(jù)段的消息還可以包括 校驗(yàn)和段。通過包括校驗(yàn)和段與數(shù)據(jù)段，分布式獨(dú)立位置可在轉(zhuǎn)換之后獨(dú)立地驗(yàn)證數(shù)據(jù)并 上傳而無需交叉引用其他位置。這種獨(dú)立性是一個(gè)大量數(shù)據(jù)的低接觸可靠分布的關(guān)鍵促成 者。
[0064] 使用這些約束，任何其它的消息組合可根據(jù)需要被創(chuàng)建。一個(gè)簡(jiǎn)單的策略是創(chuàng)建 一個(gè)輕量級(jí)消息，其包括除了作為控制信息的數(shù)據(jù)之外的一切。如果段是始終如一的輕量 級(jí)，這個(gè)策略導(dǎo)致只有兩個(gè)束類型用于特定的數(shù)據(jù)流-控制消息包括摘要、質(zhì)量、索引以及 校驗(yàn)和信息，以及完整的數(shù)據(jù)消息包括所有這些附加的數(shù)據(jù)。該捆綁器可以根據(jù)配置用于 動(dòng)態(tài)的消息貨的規(guī)則發(fā)布這兩個(gè)消息類型。
[0065] 作為一個(gè)例子，該摘要部分可以包含以下結(jié)構(gòu)：每個(gè)值的名字被在"之前顯 示，并且該值可以是專有項(xiàng)的枚舉列表、數(shù)據(jù)的類型或另一種結(jié)構(gòu)。
[0066]
【主權(quán)項(xiàng)】
1. 一種方法包括： 從數(shù)據(jù)發(fā)生器接收流數(shù)據(jù)； 確定來自所述流數(shù)據(jù)的業(yè)務(wù)對(duì)齊的歸檔序列，所述流數(shù)據(jù)應(yīng)當(dāng)根據(jù)一組捆綁參數(shù)被捆 綁在一起； 將所述數(shù)據(jù)捆綁為具有標(biāo)準(zhǔn)格式的數(shù)據(jù)包； 通過使用由主時(shí)鐘產(chǎn)生的一系列連續(xù)的整數(shù)對(duì)每個(gè)所述數(shù)據(jù)包排序； 在控制通道上發(fā)布關(guān)于所述數(shù)據(jù)包的可用性的元數(shù)據(jù)；以及 傳送所述數(shù)據(jù)包至已訂閱了所述數(shù)據(jù)發(fā)生器的數(shù)據(jù)用戶。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述捆綁參數(shù)包括由業(yè)務(wù)規(guī)定的聲明性規(guī)則。
3. 根據(jù)權(quán)利要求1所述的方法，其中所述標(biāo)準(zhǔn)格式是偏向于所述流數(shù)據(jù)的移動(dòng)和壓縮 的標(biāo)準(zhǔn)的中性格式。
4. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括基于根據(jù)來自數(shù)據(jù)用戶的請(qǐng)求的排序重放 所述數(shù)據(jù)包。
5. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括以平臺(tái)獨(dú)立的方式對(duì)所述數(shù)據(jù)包歸檔。
6. 根據(jù)權(quán)利要求1所述的方法，其中被發(fā)布在所述控制通道上的所述元數(shù)據(jù)包括索 引。
7. 根據(jù)權(quán)利要求1所述的方法，其中所述數(shù)據(jù)的捆綁包括識(shí)別數(shù)據(jù)，其當(dāng)被壓縮時(shí)將 導(dǎo)致在所述數(shù)據(jù)包的每個(gè)包具有期望的尺寸。
8. 根據(jù)權(quán)利要求1所述的方法，其中捆綁所述數(shù)據(jù)包括將每個(gè)所述捆綁的包與新的元 數(shù)據(jù)關(guān)聯(lián)，其中所述新的元數(shù)據(jù)包括摘要數(shù)據(jù)、質(zhì)量數(shù)據(jù)、索引數(shù)據(jù)或校驗(yàn)和數(shù)據(jù)中的至少 一個(gè)。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述數(shù)據(jù)包至所述用戶的所述傳送包括平行傳 送。
10. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括使用列式校驗(yàn)和用于驗(yàn)證所述數(shù)據(jù)。
11. 根據(jù)權(quán)利要求10所述的方法，其中所述列式校驗(yàn)和允許以規(guī)定的公差舍入誤差。
12. -種系統(tǒng)包括： 捆綁器，其被配置為從數(shù)據(jù)發(fā)生器接收流原始數(shù)據(jù)且將所述原始數(shù)據(jù)捆綁為一系列數(shù) 據(jù)包，并且與每個(gè)所述數(shù)據(jù)包唯一的標(biāo)識(shí)符關(guān)聯(lián)，所述唯一的標(biāo)識(shí)符具有基于來自所述數(shù) 據(jù)發(fā)生器的上傳的單調(diào)增加的順序； 轉(zhuǎn)換器，其接收具有所述關(guān)聯(lián)的唯一的標(biāo)識(shí)符的所述數(shù)據(jù)包并生成可加載的數(shù)據(jù)結(jié)構(gòu) 用于與數(shù)據(jù)訂閱者關(guān)聯(lián)的報(bào)告存儲(chǔ)；以及 加載器，其基于所述單調(diào)增加的順序接收并存儲(chǔ)所述可加載的數(shù)據(jù)結(jié)構(gòu)至與所述數(shù)據(jù) 訂閱者關(guān)聯(lián)的存儲(chǔ)設(shè)備。
13. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述流原始數(shù)據(jù)包括多個(gè)流。
14. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中來自每個(gè)所述多個(gè)流的所述數(shù)據(jù)包被分配不同 組的唯一的標(biāo)識(shí)符。
15. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中流原始數(shù)據(jù)的每個(gè)所述多個(gè)流被分配流優(yōu)先 級(jí)。
16. 根據(jù)權(quán)利要求12所述的系統(tǒng)，進(jìn)一步包括識(shí)別模塊，其從所述流時(shí)鐘接收系列邏 輯整數(shù)并生成具有所述邏輯排序的所述唯一的標(biāo)識(shí)符。
17. 根據(jù)權(quán)利要求16所述的系統(tǒng)，進(jìn)一步包括流時(shí)鐘，其被配置為生成所述系列邏輯 整數(shù)，并且其中單個(gè)整數(shù)是與在所述系列數(shù)據(jù)包中的單個(gè)數(shù)據(jù)包關(guān)聯(lián)的所述唯一的標(biāo)識(shí) 符。
18. 根據(jù)權(quán)利要求12所述的系統(tǒng)，進(jìn)一步包括： 數(shù)據(jù)通道，其允許來自數(shù)據(jù)發(fā)生器的數(shù)據(jù)通過所述捆綁器被連續(xù)流至所述數(shù)據(jù)訂閱 者； 消息通道，其提供被連續(xù)地從所述數(shù)據(jù)發(fā)生器流至所述數(shù)據(jù)訂閱者的所述數(shù)據(jù)的當(dāng)前 的狀態(tài)；以及 控制通道，其與所述數(shù)據(jù)通道分離以允許所述數(shù)據(jù)訂閱者請(qǐng)求所述數(shù)據(jù)的重放。
19. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述控制通道以相較于所述數(shù)據(jù)通道更快的速 度運(yùn)行。
20. 根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述控制通道遞歸地發(fā)布關(guān)于所述數(shù)據(jù)包的元 數(shù)據(jù)。
21. 根據(jù)權(quán)利要求12所述的系統(tǒng)，進(jìn)一步包括歸檔服務(wù)以歸檔所述數(shù)據(jù)包。
22. -種方法包括： 接收請(qǐng)求以重放被捆綁成數(shù)據(jù)包的數(shù)據(jù)，其具有在被存儲(chǔ)于歸檔之前被分配給所述數(shù) 據(jù)包的邏輯的排序，其中所述請(qǐng)求包括在將被重放的所述數(shù)據(jù)上的邏輯綁定并為所述數(shù)據(jù) 訂閱者識(shí)別格式； 從所述歸檔檢索與所述邏輯綁定一致的數(shù)據(jù)；以及 將所述數(shù)據(jù)包轉(zhuǎn)換成在重放所述數(shù)據(jù)的所述請(qǐng)求中被識(shí)別的可加載的格式。
23. 根據(jù)權(quán)利要求22所述的方法，其中在所述邏輯綁定后的數(shù)據(jù)包被忽略。
24. 根據(jù)權(quán)利要求22所述的方法，進(jìn)一步包括： 接收歸檔策略的選擇；以及 根據(jù)所述歸檔策略歸檔所述數(shù)據(jù)。
25. 根據(jù)權(quán)利要求24所述的方法，其中所述歸檔策略是基于維度的歸檔策略。
26. 根據(jù)權(quán)利要求22所述的方法，其中所述數(shù)據(jù)包使用列式壓縮被壓縮。
27. 根據(jù)權(quán)利要求22所述的方法，其中所述數(shù)據(jù)包包括每個(gè)提供摘要數(shù)據(jù)、質(zhì)量數(shù)據(jù)、 索引數(shù)據(jù)或校驗(yàn)和數(shù)據(jù)的元數(shù)據(jù)。
【專利摘要】提供用于有效地吸收、歸檔和分布任何規(guī)模的數(shù)據(jù)集的系統(tǒng)和方法。一些實(shí)施例通過實(shí)時(shí)流以及過去的數(shù)據(jù)重放提供了靈活的、基于策略大容量數(shù)據(jù)的分布。此外，一些實(shí)施例通過先進(jìn)的版本特征提供了可靠和清晰的跨任何供應(yīng)商系統(tǒng)的一致性。這種一致性對(duì)金融行業(yè)是特別有價(jià)值的，但對(duì)于任何管理多個(gè)數(shù)據(jù)分布點(diǎn)用于改進(jìn)和可靠的數(shù)據(jù)可用性的公司也特別有用。
【IPC分類】H04L29-06
【公開號(hào)】CN104641614
【申請(qǐng)?zhí)枴緾N201380031492
【發(fā)明人】馬修·沃斯, 毗瑟挐·馬武拉姆, 斯科特·科恩
【申請(qǐng)人】高盛公司
【公開日】2015年5月20日
【申請(qǐng)日】2013年4月15日
【公告號(hào)】CA2870021A1, EP2837158A2, US20130275612, WO2013155532A2, WO2013155532A3