一種信息上報方法、裝置及數(shù)據(jù)節(jié)點服務(wù)器的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種信息上報方法、裝置及數(shù)據(jù)節(jié)點服務(wù)器。
【背景技術(shù)】
[0002]分布式對象文件系統(tǒng)用于管理海量存儲資源，提供高速、穩(wěn)定、線性擴展的服務(wù)。在分布式對象文件系統(tǒng)中，將每一個文件分為多個對象(Object)，每個對象再劃分為N個數(shù)據(jù)塊(Block)，這N個數(shù)據(jù)塊分別存儲于N個互不相同的數(shù)據(jù)節(jié)點服務(wù)器上。
[0003]分布式文件系統(tǒng)的結(jié)構(gòu)如圖1所示。其中，數(shù)據(jù)節(jié)點服務(wù)器(簡稱Data Node)用于存儲數(shù)據(jù)塊，以及這些數(shù)據(jù)塊的元數(shù)據(jù)信息。元數(shù)據(jù)服務(wù)器(簡稱Metadata Server,MDS)用于存儲數(shù)據(jù)庫的元數(shù)據(jù)信息，所述元數(shù)據(jù)信息即用于描述數(shù)據(jù)塊的信息，具體包括:數(shù)據(jù)塊的大小、數(shù)據(jù)塊的索引以及數(shù)據(jù)塊的偏移量之類的信息。
[0004]現(xiàn)有的分布式文件系統(tǒng)中，當數(shù)據(jù)節(jié)點服務(wù)器向元數(shù)據(jù)服務(wù)器注冊時，為保證數(shù)據(jù)節(jié)點服務(wù)器和元數(shù)據(jù)服務(wù)器之間的數(shù)據(jù)塊的元數(shù)據(jù)信息一致，數(shù)據(jù)節(jié)點服務(wù)器需將位于該數(shù)據(jù)節(jié)點服務(wù)器的所有數(shù)據(jù)塊的元數(shù)據(jù)信息完全同步至元數(shù)據(jù)服務(wù)器，即數(shù)據(jù)節(jié)點服務(wù)器向元數(shù)據(jù)服務(wù)器進行數(shù)據(jù)塊的元數(shù)據(jù)信息的全量上報。
[0005]當數(shù)據(jù)節(jié)點服務(wù)器向元數(shù)據(jù)服務(wù)器注冊時，需要向元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)節(jié)點服務(wù)器上所有數(shù)據(jù)塊對應(yīng)的元數(shù)據(jù)信息，由于每個數(shù)據(jù)節(jié)點服務(wù)器上都存儲著大量元數(shù)據(jù)信息，因此，當同時有較多的數(shù)據(jù)節(jié)點服務(wù)器向元數(shù)據(jù)服務(wù)器注冊，或者數(shù)據(jù)節(jié)點服務(wù)器頻繁的向元數(shù)據(jù)服務(wù)器注冊，會進行大量的元數(shù)據(jù)信息的同步。
[0006]當元數(shù)據(jù)服務(wù)器啟動或者主、備元數(shù)據(jù)服務(wù)器進行主備切換時，與元數(shù)據(jù)服務(wù)器關(guān)聯(lián)的數(shù)據(jù)節(jié)點服務(wù)器會統(tǒng)一向元數(shù)據(jù)服務(wù)器發(fā)起注冊，由于網(wǎng)絡(luò)負載和元數(shù)據(jù)服務(wù)器處理的巨大壓力，元數(shù)據(jù)信息同步將會耗費較長的時間，并且，在元數(shù)據(jù)信息同步完成之前，元數(shù)據(jù)服務(wù)器無法向外界提供基礎(chǔ)的讀寫服務(wù)。
[0007]當數(shù)據(jù)節(jié)點服務(wù)器與元數(shù)據(jù)服務(wù)器上存儲的數(shù)據(jù)塊的元數(shù)據(jù)信息不一致時，元數(shù)據(jù)服務(wù)器需要對數(shù)據(jù)塊的元數(shù)據(jù)信息進行大量的比對，以維護數(shù)據(jù)塊的元數(shù)據(jù)信息的一致性，大量的元數(shù)據(jù)信息同步也會給元數(shù)據(jù)服務(wù)器的CPU、內(nèi)存帶來極大負擔。其中，關(guān)于元數(shù)據(jù)服務(wù)器對數(shù)據(jù)塊的元數(shù)據(jù)信息進行大量的比對，例如:數(shù)據(jù)節(jié)點服務(wù)器下線，然后拔掉數(shù)據(jù)節(jié)點服務(wù)器的磁盤，這樣使得在數(shù)據(jù)節(jié)點服務(wù)器上，數(shù)據(jù)塊的元數(shù)據(jù)信息有可能會丟失。但是，在元數(shù)據(jù)服務(wù)器上，數(shù)據(jù)塊的元數(shù)據(jù)信息還是完整的。因此，需要進行數(shù)據(jù)塊的元數(shù)據(jù)信息的比對，即比對所有數(shù)據(jù)節(jié)點服務(wù)器上的數(shù)據(jù)塊的元數(shù)據(jù)信息和元數(shù)據(jù)服務(wù)器上存儲的數(shù)據(jù)塊的元數(shù)據(jù)信息是否一致。如果不一致，則會進行數(shù)據(jù)塊的恢復(fù)操作或者刪除操作。
[0008]另外，數(shù)據(jù)節(jié)點服務(wù)器向元數(shù)據(jù)服務(wù)器注冊時，大量的元數(shù)據(jù)信息同步極大的增加了網(wǎng)絡(luò)負擔，且數(shù)據(jù)節(jié)點服務(wù)器可能因為網(wǎng)絡(luò)負載過高，與元數(shù)據(jù)服務(wù)器短暫的失去網(wǎng)絡(luò)連接。當數(shù)據(jù)節(jié)點服務(wù)器與元數(shù)據(jù)服務(wù)器網(wǎng)絡(luò)重新連接時，將重新向元數(shù)據(jù)服務(wù)器注冊，再次對該數(shù)據(jù)節(jié)點服務(wù)器上所有的數(shù)據(jù)塊對應(yīng)的元數(shù)據(jù)信息進行全量上報，將會進一步加大網(wǎng)絡(luò)負載，引起數(shù)據(jù)節(jié)點服務(wù)器超時下線。這樣，將會導(dǎo)致惡性循環(huán)。
[0009]綜上所述，現(xiàn)有技術(shù)中數(shù)據(jù)節(jié)點服務(wù)器與元數(shù)據(jù)服務(wù)器之間同步元數(shù)據(jù)信息所需時間較長，并且大量元數(shù)據(jù)信息上報會給元數(shù)據(jù)服務(wù)器帶來巨大負擔，也會使得整個網(wǎng)絡(luò)負載過大。

【發(fā)明內(nèi)容】

[0010]本發(fā)明實施例提供了一種信息上報的方法、裝置及數(shù)據(jù)節(jié)點服務(wù)器，用以降低數(shù)據(jù)節(jié)點服務(wù)器與元數(shù)據(jù)服務(wù)器之間同步元數(shù)據(jù)信息的延時，以及降低大量元數(shù)據(jù)信息上報給元數(shù)據(jù)服務(wù)器帶來的負擔。
[0011]本發(fā)明實施例提供的一種信息上報的方法，應(yīng)用于分布式對象文件系統(tǒng)中，該系統(tǒng)包括數(shù)據(jù)節(jié)點服務(wù)器和元數(shù)據(jù)服務(wù)器，該方法包括:
[0012]數(shù)據(jù)節(jié)點服務(wù)器當需要向元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息時，確定需要向元數(shù)據(jù)服務(wù)器上報的數(shù)據(jù)塊的元數(shù)據(jù)信息；其中，若所述數(shù)據(jù)節(jié)點服務(wù)器是首次需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息，則所述需要上報的數(shù)據(jù)塊的元數(shù)據(jù)信息包括該數(shù)據(jù)節(jié)點服務(wù)器中所有數(shù)據(jù)塊的元數(shù)據(jù)信息，若所述數(shù)據(jù)節(jié)點服務(wù)器不是首次需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息，則所述需要上報的數(shù)據(jù)塊的元數(shù)據(jù)信息包括該數(shù)據(jù)節(jié)點服務(wù)器中未上報元數(shù)據(jù)服務(wù)器的數(shù)據(jù)塊的元數(shù)據(jù)信息；
[0013]數(shù)據(jù)節(jié)點服務(wù)器將所述需要上報的數(shù)據(jù)塊的元數(shù)據(jù)信息上報給元數(shù)據(jù)服務(wù)器。
[0014]通過該方法，數(shù)據(jù)節(jié)點服務(wù)器選擇性的向元數(shù)據(jù)服務(wù)器上報元數(shù)據(jù)信息，從而降低大量元數(shù)據(jù)信息上報給元數(shù)據(jù)服務(wù)器帶來的負擔，以及降低數(shù)據(jù)節(jié)點服務(wù)器與元數(shù)據(jù)服務(wù)器之間同步元數(shù)據(jù)信息的延時。
[0015]較佳地，若所述數(shù)據(jù)節(jié)點服務(wù)器不是首次需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息，則所述數(shù)據(jù)節(jié)點服務(wù)器確定需要向元數(shù)據(jù)服務(wù)器上報的數(shù)據(jù)塊的元數(shù)據(jù)信息，包括:
[0016]所述數(shù)據(jù)節(jié)點服務(wù)器根據(jù)與所述元數(shù)據(jù)服務(wù)器相對應(yīng)的當前記錄的數(shù)據(jù)塊的索弓丨，確定當前需要向所述元數(shù)據(jù)服務(wù)器上報的數(shù)據(jù)塊的元數(shù)據(jù)信息為按照索引排序在當前記錄的索引之后的索引所對應(yīng)的數(shù)據(jù)塊的元數(shù)據(jù)信息；其中，所述當前記錄的索引，為所述數(shù)據(jù)節(jié)點服務(wù)器上一次上報給所述元數(shù)據(jù)服務(wù)器的數(shù)據(jù)塊的元數(shù)據(jù)信息中按照索引排序在最后的數(shù)據(jù)塊的索引。
[0017]較佳地，所述索引為數(shù)字；所述索引排序，為數(shù)字從小到大的順序排序。
[0018]較佳地，當前記錄的數(shù)據(jù)塊的索引，記錄在所述數(shù)據(jù)節(jié)點服務(wù)器中。
[0019]較佳地，所述當前記錄的數(shù)據(jù)塊的索引，記錄在所述元數(shù)據(jù)服務(wù)器中；
[0020]所述數(shù)據(jù)節(jié)點服務(wù)器當需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息時，還包括:
[0021]所述數(shù)據(jù)節(jié)點服務(wù)器向所述元數(shù)據(jù)服務(wù)器發(fā)送索要與所述元數(shù)據(jù)服務(wù)器相對應(yīng)的當前記錄的數(shù)據(jù)塊的索引的請求，并接收所述元數(shù)據(jù)服務(wù)器返回的與所述元數(shù)據(jù)服務(wù)器相對應(yīng)的當前記錄的數(shù)據(jù)塊的索引。
[0022]較佳地，所述數(shù)據(jù)節(jié)點服務(wù)器通過如下方式確定當前需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息:
[0023]所述數(shù)據(jù)節(jié)點服務(wù)器當監(jiān)測到磁盤插拔信息時，確定當前需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息。
[0024]通過該方法，節(jié)點服務(wù)器當監(jiān)測到磁盤插拔信息時，向元數(shù)據(jù)服務(wù)器增量上報當前記錄的索引之后的索引所對應(yīng)的數(shù)據(jù)塊的元數(shù)據(jù)信息，從而在磁盤插拔情況下，減少了全量上報的次數(shù)，降低全量上報對網(wǎng)絡(luò)的負擔。
[0025]較佳地，所述數(shù)據(jù)節(jié)點服務(wù)器按照預(yù)設(shè)周期，將該數(shù)據(jù)節(jié)點服務(wù)器中所有數(shù)據(jù)塊的元數(shù)據(jù)信息上報給所述元數(shù)據(jù)服務(wù)器；和/或，
[0026]所述數(shù)據(jù)節(jié)點服務(wù)器當接收到所述元數(shù)據(jù)服務(wù)器發(fā)送的觸發(fā)消息時，將該數(shù)據(jù)節(jié)點服務(wù)器中所有數(shù)據(jù)塊的元數(shù)據(jù)信息上報給所述元數(shù)據(jù)服務(wù)器。
[0027]通過該方法，節(jié)點服務(wù)器向元數(shù)據(jù)服務(wù)器周期全量上報該節(jié)點服務(wù)器的數(shù)據(jù)塊的元數(shù)據(jù)信息，或當元數(shù)據(jù)服務(wù)器監(jiān)測到該元數(shù)據(jù)服務(wù)器與節(jié)點服務(wù)器元數(shù)據(jù)信息不一致時，強制節(jié)點服務(wù)器全量上報節(jié)點服務(wù)器元數(shù)據(jù)信息，從而避免了增量上報引起的元數(shù)據(jù)服務(wù)器和數(shù)據(jù)節(jié)點服務(wù)器數(shù)據(jù)不一致的問題。
[0028]本發(fā)明實施例提供的一種信息上報裝置，應(yīng)用于分布式對象文件系統(tǒng)中，該系統(tǒng)包括數(shù)據(jù)節(jié)點服務(wù)器和元數(shù)據(jù)服務(wù)器，該裝置包括:
[0029]確定元數(shù)據(jù)信息單元，用于當數(shù)據(jù)節(jié)點服務(wù)器需要向元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息時，確定需要向元數(shù)據(jù)服務(wù)器上報的數(shù)據(jù)塊的元數(shù)據(jù)信息；其中，若所述數(shù)據(jù)節(jié)點服務(wù)器是首次需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息，則所述需要上報的數(shù)據(jù)塊的元數(shù)據(jù)信息包括該數(shù)據(jù)節(jié)點服務(wù)器中所有數(shù)據(jù)塊的元數(shù)據(jù)信息，若所述數(shù)據(jù)節(jié)點服務(wù)器不是首次需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息，則所述需要上報的數(shù)據(jù)塊的元數(shù)據(jù)信息包括該數(shù)據(jù)節(jié)點服務(wù)器中未上報元數(shù)據(jù)服務(wù)器的數(shù)據(jù)塊的元數(shù)據(jù)信息；
[0030]上報元數(shù)據(jù)信息單元，用于將所述需要上報的數(shù)據(jù)塊的元數(shù)據(jù)信息上報給元數(shù)據(jù)服務(wù)器。
[0031]通過該裝置，數(shù)據(jù)節(jié)點服務(wù)器選擇性的向元數(shù)據(jù)服務(wù)器上報元數(shù)據(jù)信息，從而降低大量元數(shù)據(jù)信息上報給元數(shù)據(jù)服務(wù)器帶來的負擔，以及降低數(shù)據(jù)節(jié)點服務(wù)器與元數(shù)據(jù)服務(wù)器之間同步元數(shù)據(jù)信息的延時。
[0032]較佳地，若所述數(shù)據(jù)節(jié)點服務(wù)器不是首次需要向所述元數(shù)據(jù)服務(wù)器上報數(shù)據(jù)塊的元數(shù)據(jù)信息，則所述確定元數(shù)據(jù)信息單元確定需要向元數(shù)據(jù)服務(wù)器上報的數(shù)據(jù)塊的元數(shù)據(jù)信息時，具體用于:
[0033]確定元數(shù)