專利名稱：一種數(shù)據(jù)處理方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法和系統(tǒng)。
背景技術(shù)：
為了提高訪問(wèn)文件的速度，常見(jiàn)的方法是采用性能更高的CPU (Central Processing Unit,中央處理器)，帶寬更大的接口。這些方案受限于接口的物理 帶寬和CPU的最高速度。近幾年以來(lái)，新發(fā)展出一種方法，用多個(gè)CPU和多 個(gè)接口組合起來(lái)共同提供更高的速度。
上述方法中，客戶端節(jié)點(diǎn)讀取數(shù)據(jù)的方法包括以下步驟
1、 客戶端節(jié)點(diǎn)向主控節(jié)點(diǎn)發(fā)送讀取數(shù)據(jù)請(qǐng)求；
2、 主控節(jié)點(diǎn)根據(jù)該請(qǐng)求從數(shù)據(jù)庫(kù)獲取一個(gè)全局唯一的文件ID (標(biāo)識(shí))和 獲取被讀取文件在各個(gè)存儲(chǔ)節(jié)點(diǎn)的分布，返回給客戶端節(jié)點(diǎn)；
3、 客戶端節(jié)點(diǎn)根據(jù)返回的文件ID和文件分布信息，向存有文件數(shù)據(jù)的 各個(gè)存儲(chǔ)節(jié)點(diǎn)分別創(chuàng)建通信連接，獲取文件數(shù)據(jù)。
客戶端節(jié)點(diǎn)寫(xiě)數(shù)據(jù)的方法包括以下步驟
1、 客戶端節(jié)點(diǎn)向主控節(jié)點(diǎn)發(fā)送寫(xiě)數(shù)據(jù)請(qǐng)求；
2、 主控節(jié)點(diǎn)獲取待寫(xiě)文件ID，并返回給客戶端節(jié)點(diǎn)；
3、 客戶端節(jié)點(diǎn)把文件分片后分別寫(xiě)入到所有的存儲(chǔ)節(jié)點(diǎn)。 在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題
1、 讀取數(shù)據(jù)的時(shí)候，客戶端節(jié)點(diǎn)需要分別和各存儲(chǔ)節(jié)點(diǎn)建立連接，對(duì)客 戶端節(jié)點(diǎn)的CPU消耗大速度慢；
2、 文件在整個(gè)系統(tǒng)每個(gè)存儲(chǔ)節(jié)點(diǎn)都有分布，即使只要讀寫(xiě)很少的數(shù)據(jù)，也需要啟動(dòng)所有存儲(chǔ)節(jié)點(diǎn)，造成不必要的設(shè)備折舊，造成能源浪費(fèi)。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例的目的在于提供一種數(shù)據(jù)處理方法和系統(tǒng)，用以節(jié)省能源， 放緩設(shè)備折舊速度。
為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法，包括
多個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)全數(shù)據(jù)節(jié)點(diǎn)，獲得分片文件，所述分片文件表示 一存儲(chǔ)文件對(duì)應(yīng)存儲(chǔ)在所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)，將所述分片文件進(jìn)行整 合，保存整合后的文件；
在獲知客戶端節(jié)點(diǎn)請(qǐng)求讀取所述存儲(chǔ)文件時(shí)，發(fā)送所述整合后的文件給 所述客戶端節(jié)點(diǎn)。
本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)處理系統(tǒng)，包括與客戶端節(jié)點(diǎn)進(jìn)行通信 的多個(gè)存儲(chǔ)節(jié)點(diǎn)，所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中包括至少一個(gè)全數(shù)據(jù)節(jié)點(diǎn)；
所述客戶端節(jié)點(diǎn)，用于發(fā)送讀數(shù)據(jù)請(qǐng)求，所述讀數(shù)據(jù)請(qǐng)求用于請(qǐng)求讀取
存儲(chǔ)在所述全數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)；
所述全數(shù)據(jù)節(jié)點(diǎn)，用于獲得分片文件，所述分片文件表示一存儲(chǔ)文件對(duì) 應(yīng)存儲(chǔ)在所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)，將所述分片文件進(jìn)行整合，保存整合 后的文件，在獲知客戶端節(jié)點(diǎn)請(qǐng)求讀取所述存儲(chǔ)文件時(shí)，發(fā)送所述整合后的 文件給所述客戶端節(jié)點(diǎn)。
本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)處理方法，包括-
接收客戶端節(jié)點(diǎn)發(fā)送的讀取數(shù)據(jù)請(qǐng)求，所述讀取數(shù)據(jù)請(qǐng)求中攜帶待讀取 的文件的目錄和文件名；根據(jù)所述待讀取文件的目錄和文件名査詢本地全局 文件數(shù)據(jù)表，獲得文件標(biāo)識(shí)，向全部存儲(chǔ)節(jié)點(diǎn)廣播所述文件標(biāo)識(shí)以及所述客 戶端節(jié)點(diǎn)的地址；
存儲(chǔ)節(jié)點(diǎn)在根據(jù)所述文件標(biāo)識(shí)確定本地保存相應(yīng)文件時(shí)，根據(jù)所述客戶 端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給所述客戶端節(jié)點(diǎn)。本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)處理系統(tǒng)，包括與客戶端節(jié)點(diǎn)進(jìn)行通信 的主控節(jié)點(diǎn)和多個(gè)存儲(chǔ)節(jié)點(diǎn)，其中
所述客戶端節(jié)點(diǎn)，用于向所述主控節(jié)點(diǎn)發(fā)送讀取數(shù)據(jù)請(qǐng)求，所述讀取數(shù) 據(jù)請(qǐng)求中攜帶文件的目錄和文件名；
所述主控節(jié)點(diǎn)，用于根據(jù)待讀取文件的目錄和文件名查詢本地全局文件 數(shù)據(jù)表，獲得全局唯一的文件標(biāo)識(shí)，并向全部存儲(chǔ)節(jié)點(diǎn)廣播所述文件標(biāo)識(shí)以
及所述客戶端節(jié)點(diǎn)的地址；
所述存儲(chǔ)節(jié)點(diǎn)，用于在根據(jù)所述文件標(biāo)識(shí)確定本地保存相應(yīng)文件時(shí)，根 據(jù)所述客戶端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給所述客戶端節(jié)點(diǎn)。
本發(fā)明實(shí)施例的有益效果在于
采用本發(fā)明實(shí)施例提供的技術(shù)方案，多個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)全數(shù)據(jù)節(jié)點(diǎn) 獲得一存儲(chǔ)文件對(duì)應(yīng)的分布在所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中的分片文件，將所述分片 文件進(jìn)行整合，保存整合后的文件。由于整合后的文件是一個(gè)完整文件，則 在讀取文件時(shí)，只需啟動(dòng)一個(gè)存儲(chǔ)節(jié)點(diǎn)，可以節(jié)省能源，并且放緩設(shè)備折舊 速度。
采用本發(fā)明實(shí)施例提供的技術(shù)方案，接收客戶端節(jié)點(diǎn)發(fā)送的讀取數(shù)據(jù)請(qǐng)
求，所述讀取數(shù)據(jù)請(qǐng)求中攜帶待讀取的文件的目錄和文件名；根據(jù)所述待讀
取文件的目錄和文件名查詢本地全局文件數(shù)據(jù)表，獲得文件標(biāo)識(shí)，向全部存 儲(chǔ)節(jié)點(diǎn)廣播所述文件標(biāo)識(shí)以及所述客戶端節(jié)點(diǎn)的地址，存儲(chǔ)節(jié)點(diǎn)根據(jù)文件標(biāo) 識(shí)確定本地保存相應(yīng)文件時(shí)，根據(jù)客戶端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給客戶 端節(jié)點(diǎn)。由于不需要客戶端節(jié)點(diǎn)來(lái)和存儲(chǔ)節(jié)點(diǎn)建立連接，采用廣播令存儲(chǔ)節(jié) 點(diǎn)獲知客戶端節(jié)點(diǎn)需要讀取文件，提升了系統(tǒng)性能。


為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí) 施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講， 在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。 圖1為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)存儲(chǔ)的方法的流程圖2為本發(fā)明實(shí)施例中多個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)全數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)處理流 程圖3為本發(fā)明實(shí)施例提供的一種數(shù)據(jù)讀取的方法的流程圖4為實(shí)施例一中的數(shù)據(jù)處理系統(tǒng)示意圖5為實(shí)施例一中的數(shù)據(jù)存儲(chǔ)的方法的流程圖6為實(shí)施例一中的性能節(jié)點(diǎn)的控制流程圖7為實(shí)施例二中的數(shù)據(jù)處理系統(tǒng)示意圖8為實(shí)施例二中數(shù)據(jù)存儲(chǔ)的方法的流程圖9為實(shí)施例二中數(shù)據(jù)讀取的方法的流程圖。
具體實(shí)施例方式
本發(fā)明實(shí)施例提供的一種數(shù)據(jù)存儲(chǔ)的方法，如圖1所示，包括
步驟S101,客戶端節(jié)點(diǎn)從主控節(jié)點(diǎn)獲取待存儲(chǔ)文件的ID以及多個(gè)存儲(chǔ)節(jié) 點(diǎn)的地址，并將待存儲(chǔ)文件分片后分別寫(xiě)入多個(gè)存儲(chǔ)節(jié)點(diǎn)；
步驟S102，多個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)全數(shù)據(jù)節(jié)點(diǎn)將一存儲(chǔ)文件分布在多個(gè) 存儲(chǔ)節(jié)點(diǎn)中的分片文件收集并作為一個(gè)完整文件保存。
步驟S102也可以表達(dá)為獲得一存儲(chǔ)文件對(duì)應(yīng)的分布在多個(gè)存儲(chǔ)節(jié)點(diǎn)中 的分片文件，并將各分片文件進(jìn)行整合且保存整合后的文件。也就是說(shuō)，獲 得分片文件，所述分片文件表示一存儲(chǔ)文件對(duì)應(yīng)存儲(chǔ)在所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中 的數(shù)據(jù)，將所述分片文件進(jìn)行整合，保存整合后的文件。
對(duì)于多個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)全數(shù)據(jù)節(jié)點(diǎn)來(lái)說(shuō)，其數(shù)據(jù)處理流程如圖2所 示，包括
步驟S201，獲得一存儲(chǔ)文件對(duì)應(yīng)的分布在多個(gè)存儲(chǔ)節(jié)點(diǎn)中的分片文件，將各分片文件進(jìn)行整合，保存整合后的文件；
步驟S202，在獲知客戶端節(jié)點(diǎn)請(qǐng)求讀取該存儲(chǔ)文件時(shí)，發(fā)送整合后的文 件給客戶端節(jié)點(diǎn)。
由于整合后的文件是一個(gè)完整文件，則在客戶端節(jié)點(diǎn)讀取文件時(shí)，只需 啟動(dòng)一個(gè)存儲(chǔ)節(jié)點(diǎn)，可以節(jié)省能源，并且放緩設(shè)備折舊速度。另外，由于文 件只在一個(gè)存儲(chǔ)節(jié)點(diǎn)中保存，那么，即使采用現(xiàn)有技術(shù)中的數(shù)據(jù)讀取方法， 即由客戶端節(jié)點(diǎn)來(lái)和存儲(chǔ)節(jié)點(diǎn)建立連接，也能夠降低客戶端節(jié)點(diǎn)的CPU的消 耗，并提高數(shù)據(jù)讀取速度。
本發(fā)明實(shí)施例提供的一種數(shù)據(jù)讀取的方法，包括主控節(jié)點(diǎn)接收客戶端 節(jié)點(diǎn)發(fā)送的讀取數(shù)據(jù)請(qǐng)求，所述讀取數(shù)據(jù)請(qǐng)求中攜帶待讀取的文件的目錄和
文件名；根據(jù)所述待讀取文件的目錄和文件名查詢本地全局文件數(shù)據(jù)表，獲 得文件標(biāo)識(shí)，向全部存儲(chǔ)節(jié)點(diǎn)廣播所述文件標(biāo)識(shí)以及所述客戶端節(jié)點(diǎn)的地址；
存儲(chǔ)節(jié)點(diǎn)在根據(jù)所述文件標(biāo)識(shí)確定本地保存相應(yīng)文件時(shí)，根據(jù)所述客戶 端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給所述客戶端節(jié)點(diǎn)。
該數(shù)據(jù)讀取的方法具體可如圖3所示，包括
步驟S301，客戶端節(jié)點(diǎn)向主控節(jié)點(diǎn)請(qǐng)求讀取文件；
步驟S302，主控節(jié)點(diǎn)根據(jù)待讀取文件的目錄和文件名査詢本地全局文件 數(shù)據(jù)表，獲得全局唯一的文件標(biāo)識(shí)，并向全部存儲(chǔ)節(jié)點(diǎn)廣播文件標(biāo)識(shí)以及客 戶端節(jié)點(diǎn)的地址；
步驟S303，存儲(chǔ)節(jié)點(diǎn)根據(jù)文件標(biāo)識(shí)判斷本地是否保存相應(yīng)文件，若是， 進(jìn)行步驟S304，否則，直接結(jié)束；
步驟S304，存儲(chǔ)節(jié)點(diǎn)根據(jù)客戶端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給客戶端節(jié)點(diǎn)。
在采用圖3所示的數(shù)據(jù)讀取的方法時(shí)，存儲(chǔ)節(jié)點(diǎn)獲知客戶端節(jié)點(diǎn)請(qǐng)求讀
取一存儲(chǔ)文件的方法可以為接收主控節(jié)點(diǎn)的讀取廣播消息，該讀取廣播消 息中包括一存儲(chǔ)文件全局唯一的文件標(biāo)識(shí)以及客戶端節(jié)點(diǎn)的地址，在確定該
9文件標(biāo)識(shí)對(duì)應(yīng)該存儲(chǔ)文件時(shí)，獲知客戶端節(jié)點(diǎn)請(qǐng)求讀取該存儲(chǔ)文件。
由于不需要客戶端節(jié)點(diǎn)來(lái)和存儲(chǔ)節(jié)點(diǎn)建立連接，采用廣播的方式令存儲(chǔ)
節(jié)點(diǎn)獲知客戶端節(jié)點(diǎn)需要讀取文件，極大地提升了系統(tǒng)性能。
上述數(shù)據(jù)存儲(chǔ)的方法和數(shù)據(jù)讀取的方法可以配合使用，也可以單獨(dú)使用，
在其各自單獨(dú)使用時(shí)，可以配合其他相應(yīng)存儲(chǔ)或讀取方法，本發(fā)明實(shí)施例中
不對(duì)具體的配合使用的存儲(chǔ)或讀取方法進(jìn)行限定。
下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行 詳細(xì)描述。
實(shí)施例一
本實(shí)施例中的數(shù)據(jù)處理系統(tǒng)，如圖4所示，包括主控節(jié)點(diǎn)(即圖中的M 節(jié)點(diǎn))、客戶端節(jié)點(diǎn)(即圖中的C節(jié)點(diǎn))和存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)包括全數(shù)據(jù) 節(jié)點(diǎn)(即圖中的B節(jié)點(diǎn))和性能節(jié)點(diǎn)(即圖中的D節(jié)點(diǎn))。
本實(shí)施例中數(shù)據(jù)存儲(chǔ)的方法，如圖5所示，包括
步驟S401，客戶端節(jié)點(diǎn)向主控節(jié)點(diǎn)發(fā)送寫(xiě)數(shù)據(jù)請(qǐng)求；
步驟S402，主控節(jié)點(diǎn)為待存儲(chǔ)文件分配ID，并將該文件ID與存儲(chǔ)節(jié)點(diǎn) 的地址發(fā)送給客戶端節(jié)點(diǎn)；
步驟S403，客戶端節(jié)點(diǎn)將待存儲(chǔ)文件分片后分別寫(xiě)入多個(gè)存儲(chǔ)節(jié)點(diǎn)；
步驟S404，多個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)全數(shù)據(jù)節(jié)點(diǎn)獲得一存儲(chǔ)文件對(duì)應(yīng)的分 布在多個(gè)存儲(chǔ)節(jié)點(diǎn)中的分片文件，并將各分片文件進(jìn)行整合且保存整合后的 文件。
本實(shí)施例中數(shù)據(jù)讀取的方法可以是如圖3所示的數(shù)據(jù)讀取方法，也可以 是現(xiàn)有技術(shù)中的數(shù)據(jù)讀取方法。
由于在本實(shí)施例中將文件作為完整文件保存，則在讀取文件時(shí)，只需啟 動(dòng)一個(gè)存儲(chǔ)節(jié)點(diǎn)，可以節(jié)省能源，并且放緩設(shè)備折舊速度。另外，由于文件 只在一個(gè)存儲(chǔ)節(jié)點(diǎn)中保存，那么，即使采用現(xiàn)有技術(shù)中的數(shù)據(jù)讀取方法，即 由客戶端節(jié)點(diǎn)來(lái)和存儲(chǔ)節(jié)點(diǎn)建立連接，也能夠降低客戶端節(jié)點(diǎn)的CPU的消耗，并提高數(shù)據(jù)讀取速度。
另外，在本實(shí)施例中，還包括一個(gè)性能節(jié)點(diǎn)的控制流程，如圖6所示， 包括
步驟S501，統(tǒng)計(jì)存儲(chǔ)節(jié)點(diǎn)的訪問(wèn)量；
步驟S502，判斷各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量是否小于第一設(shè)定閾值，若 是，進(jìn)行步驟S503，否則進(jìn)行步驟S504;
步驟S503，選擇部分性能節(jié)點(diǎn)，并將選擇到的性能節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)移到剩 余的存儲(chǔ)節(jié)點(diǎn)，并在轉(zhuǎn)移完成后關(guān)閉選擇到的性能節(jié)點(diǎn)，結(jié)束；
在本步驟中，性能節(jié)點(diǎn)的選擇規(guī)則可以根據(jù)實(shí)際需要進(jìn)行設(shè)定，這里不 作限定。
在具體實(shí)現(xiàn)時(shí)，也可以在選擇部分性能節(jié)點(diǎn)后，先判斷各選擇到的性能 節(jié)點(diǎn)上是否保存有數(shù)據(jù)，若是，則進(jìn)行數(shù)據(jù)的轉(zhuǎn)移，否則，就不需要進(jìn)行轉(zhuǎn) 移操作。
步驟S504，判斷各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量是否大于第二設(shè)定閾值，第 二設(shè)定閾值大于第一設(shè)定閾值，若是，進(jìn)行步驟S405，否則直接結(jié)束；
步驟S505，開(kāi)啟部分或者全部處于關(guān)閉狀態(tài)的性能節(jié)點(diǎn)。
在本步驟中，選擇開(kāi)啟哪些性能節(jié)點(diǎn)的具體方法可以根據(jù)實(shí)際需要進(jìn)行 處理，這里不作限定。
在具體實(shí)現(xiàn)時(shí)，可以在訪問(wèn)量大時(shí)增加開(kāi)啟的性能節(jié)點(diǎn)數(shù)量，訪問(wèn)量小 時(shí)降低開(kāi)啟的性能節(jié)點(diǎn)數(shù)量，不局限于上述性能節(jié)點(diǎn)的控制流程。
為了確保數(shù)據(jù)冗余備份和系統(tǒng)可靠，可以增加主控節(jié)點(diǎn)和全數(shù)據(jù)節(jié)點(diǎn)的 數(shù)目。
由于在采用圖3所示的數(shù)據(jù)讀取方法的情況下，其對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)方法 可以采用現(xiàn)有技術(shù)中的數(shù)據(jù)存儲(chǔ)方法，也可以采用本發(fā)明實(shí)施例中提供的數(shù) 據(jù)存儲(chǔ)方法，在采用現(xiàn)有技術(shù)中的數(shù)據(jù)存儲(chǔ)方法的情況下，存儲(chǔ)節(jié)點(diǎn)可以不 區(qū)分為全數(shù)據(jù)節(jié)點(diǎn)和性能節(jié)點(diǎn)，但為了提高存儲(chǔ)節(jié)點(diǎn)的利用率，降低能耗，仍然可以對(duì)存儲(chǔ)節(jié)點(diǎn)的開(kāi)啟和關(guān)閉控制，具體可以統(tǒng)計(jì)各個(gè)存儲(chǔ)節(jié)點(diǎn)的訪問(wèn) 量，若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量小于第一設(shè)定閾值，則選擇部分存儲(chǔ)節(jié)點(diǎn)， 并將選擇到的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)移到剩余的存儲(chǔ)節(jié)點(diǎn)，并在轉(zhuǎn)移完成后關(guān)閉 所述選擇到的存儲(chǔ)節(jié)點(diǎn)。若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量大于第二設(shè)定閾值， 所述第二設(shè)定閾值大于所述第一設(shè)定閾值，則開(kāi)啟部分或者全部處于關(guān)閉狀 態(tài)的性能節(jié)點(diǎn)。
本實(shí)施例中的數(shù)據(jù)處理系統(tǒng)，包括與客戶端節(jié)點(diǎn)進(jìn)行通信的多個(gè)存儲(chǔ)節(jié)
點(diǎn)，該多個(gè)存儲(chǔ)節(jié)點(diǎn)中包括至少一個(gè)全數(shù)據(jù)節(jié)點(diǎn)；
全數(shù)據(jù)節(jié)點(diǎn)，用于獲得一存儲(chǔ)文件對(duì)應(yīng)的分布在多個(gè)存儲(chǔ)節(jié)點(diǎn)中的分片 文件，并將各分片文件進(jìn)行整合且保存整合后的文件，且在獲知客戶端節(jié)點(diǎn) 請(qǐng)求讀取該存儲(chǔ)文件時(shí)，發(fā)送整合后的文件給客戶端節(jié)點(diǎn)。
上述數(shù)據(jù)處理系統(tǒng)的多個(gè)存儲(chǔ)節(jié)點(diǎn)可以全部都是全數(shù)據(jù)節(jié)點(diǎn)，也可以一 部分是全數(shù)據(jù)節(jié)點(diǎn)一部分是性能節(jié)點(diǎn)，總之，該多個(gè)存儲(chǔ)節(jié)點(diǎn)中至少包括一 個(gè)全數(shù)據(jù)節(jié)點(diǎn)。
在另一個(gè)實(shí)施例中，該數(shù)據(jù)處理系統(tǒng)還可以包括主控節(jié)點(diǎn)、客戶端節(jié)點(diǎn)，
在本實(shí)施例中數(shù)據(jù)讀取的方法采用如圖3所示的數(shù)據(jù)讀取方法的情況下
客戶端節(jié)點(diǎn)，用于向主控節(jié)點(diǎn)發(fā)送讀取數(shù)據(jù)請(qǐng)求，讀取數(shù)據(jù)請(qǐng)求中攜帶
文件的目錄和文件名；
主控節(jié)點(diǎn)，用于根據(jù)文件的目錄和文件名査詢本地全局文件數(shù)據(jù)表，獲 得全局唯一的文件標(biāo)識(shí)，并向全部存儲(chǔ)節(jié)點(diǎn)廣播文件標(biāo)識(shí)以及客戶端節(jié)點(diǎn)的 地址；
存儲(chǔ)節(jié)點(diǎn)還用于接收主控節(jié)點(diǎn)的廣播，并在根據(jù)文件標(biāo)識(shí)確定出本地保 存相應(yīng)文件時(shí)，根據(jù)客戶端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給客戶端節(jié)點(diǎn)。
在本實(shí)施例中進(jìn)行如圖6所示的性能節(jié)點(diǎn)的控制流程的情況下，主控節(jié)
點(diǎn)還用于統(tǒng)計(jì)多個(gè)存儲(chǔ)節(jié)點(diǎn)的訪問(wèn)量，若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量小于第 一設(shè)定閾值，則選擇部分性能節(jié)點(diǎn)，并將選擇到的性能節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)移到剩余的存儲(chǔ)節(jié)點(diǎn)，并在轉(zhuǎn)移完成后關(guān)閉選擇到的性能節(jié)點(diǎn)；若各個(gè)存儲(chǔ)節(jié)點(diǎn)的
平均訪問(wèn)量大于第二設(shè)定閾值，若第二設(shè)定閾值大于第一設(shè)定閾值，則開(kāi)啟 部分或者全部處于關(guān)閉狀態(tài)的性能節(jié)點(diǎn)。在具體實(shí)現(xiàn)時(shí)，主控節(jié)點(diǎn)中可以保 存各存儲(chǔ)節(jié)點(diǎn)的狀態(tài)信息，則在關(guān)閉或開(kāi)啟性能節(jié)點(diǎn)后，主控節(jié)點(diǎn)更新該狀 態(tài)信息。
由于在具體實(shí)現(xiàn)時(shí)，圖3所示的數(shù)據(jù)讀取方法不一定對(duì)應(yīng)本發(fā)明實(shí)施例
中提供的數(shù)據(jù)存儲(chǔ)方法，本實(shí)施例還提供一種數(shù)據(jù)處理系統(tǒng)，包括主控節(jié)點(diǎn)、
客戶端節(jié)點(diǎn)和多個(gè)存儲(chǔ)節(jié)點(diǎn)，其中
所述客戶端節(jié)點(diǎn)，用于向所述主控節(jié)點(diǎn)發(fā)送讀取數(shù)據(jù)請(qǐng)求，所述讀取數(shù) 據(jù)請(qǐng)求中攜帶文件的目錄和文件名；
所述主控節(jié)點(diǎn)，用于根據(jù)待讀取文件的目錄和文件名查詢本地全局文件 數(shù)據(jù)表，獲得全局唯一的文件標(biāo)識(shí)，并向全部存儲(chǔ)節(jié)點(diǎn)廣播所述文件標(biāo)識(shí)以
及所述客戶端節(jié)點(diǎn)的地址；
所述存儲(chǔ)節(jié)點(diǎn)，用于在根據(jù)所述文件標(biāo)識(shí)確定本地保存相應(yīng)文件時(shí)，根 據(jù)所述客戶端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給所述客戶端節(jié)點(diǎn)。
為了對(duì)存儲(chǔ)節(jié)點(diǎn)的開(kāi)啟和關(guān)閉進(jìn)行控制，所述主控節(jié)點(diǎn)還可以用于，統(tǒng) 計(jì)各個(gè)存儲(chǔ)節(jié)點(diǎn)的訪問(wèn)量，若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量小于第一設(shè)定閾值， 則選擇部分存儲(chǔ)節(jié)點(diǎn)，并將選擇到的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)移到剩余的存儲(chǔ)節(jié)點(diǎn)， 并在轉(zhuǎn)移完成后關(guān)閉所述選擇到的存儲(chǔ)節(jié)點(diǎn)。
在具體實(shí)現(xiàn)時(shí)，主控節(jié)點(diǎn)可以是一個(gè)計(jì)算節(jié)點(diǎn)，主要特點(diǎn)是計(jì)算能力強(qiáng)，
內(nèi)存大，在內(nèi)存里面保存所有的目錄、文件、文件ID信息，根據(jù)讀寫(xiě)請(qǐng)求里
面的目錄名、文件名可以快速獲得文件ID;保存有存儲(chǔ)節(jié)點(diǎn)的地址信息和狀
態(tài)信息；有網(wǎng)絡(luò)接口可以通過(guò)網(wǎng)絡(luò)和客戶端節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)進(jìn)行通信。
全數(shù)據(jù)節(jié)點(diǎn)可以是一個(gè)計(jì)算存儲(chǔ)節(jié)點(diǎn)，主要特點(diǎn)是連接有數(shù)量多容量大 的磁盤，有網(wǎng)絡(luò)接口通過(guò)網(wǎng)絡(luò)和主控節(jié)點(diǎn)、性能節(jié)點(diǎn)、客戶端節(jié)點(diǎn)進(jìn)行通信， 從成本考慮可以使用便宜的機(jī)械式硬盤?？蛻舳斯?jié)點(diǎn)可以是一個(gè)需要讀寫(xiě)文件的客戶端，客戶端的應(yīng)用軟件通過(guò) 客戶端節(jié)點(diǎn)里面的文件系統(tǒng)客戶端軟件讀寫(xiě)文件，就像讀寫(xiě)本地文件一樣， 客戶端節(jié)點(diǎn)有網(wǎng)絡(luò)接口可以通過(guò)網(wǎng)絡(luò)和主控節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)進(jìn)行通信。
性能節(jié)點(diǎn)可以是一個(gè)計(jì)算存儲(chǔ)節(jié)點(diǎn)，主要特點(diǎn)是有大量的內(nèi)存，可以緩 存文件數(shù)據(jù)，同時(shí)有大容量的SSD硬盤，這是由于性能節(jié)點(diǎn)容量可以比較小，
很少訪問(wèn)的數(shù)據(jù)可以在性能節(jié)點(diǎn)刪除，所以性能節(jié)點(diǎn)可以使用SSD(Solid State Disk，固態(tài)硬盤)這種高性能的存儲(chǔ)器，也可以使用高速硬盤；性能節(jié)點(diǎn)有網(wǎng) 絡(luò)接口通過(guò)網(wǎng)絡(luò)可以和主控節(jié)點(diǎn)、全數(shù)據(jù)節(jié)點(diǎn)、客戶端節(jié)點(diǎn)進(jìn)行通信。
在本實(shí)施例中，供各個(gè)節(jié)點(diǎn)進(jìn)行通信的網(wǎng)絡(luò)可以為以太網(wǎng)，通過(guò)以太網(wǎng) 交換機(jī)或者HUB連接；也可以使用InfiniBand交換機(jī)，各個(gè)節(jié)點(diǎn)通過(guò)InfiniBand 適配器(HBA， Host Bus Adapter)和交換機(jī)連接；可以使用Myrinet交換機(jī)。 各個(gè)節(jié)點(diǎn)通過(guò)Myrinet適配器(MyrinetHBA)和交換機(jī)連接；可以使用ATM (Asynchronous Transfer Mode,異步傳輸模式)交換機(jī)，各個(gè)節(jié)點(diǎn)通過(guò)ATM 適配器(ATMHBA)和交換機(jī)連接；可以使用智能光網(wǎng)絡(luò)交換機(jī)，各個(gè)節(jié)點(diǎn) 通過(guò)智能光網(wǎng)絡(luò)適配器和交換機(jī)連接。
實(shí)施例二
在本實(shí)施例中，主控節(jié)點(diǎn)與全數(shù)據(jù)節(jié)點(diǎn)可以合并設(shè)置，則本實(shí)施例中的 數(shù)據(jù)處理系統(tǒng)如圖7所示，其中，M，節(jié)點(diǎn)為合并后的主控節(jié)點(diǎn)與全數(shù)據(jù)節(jié)點(diǎn)， 稱為合并節(jié)點(diǎn)，D節(jié)點(diǎn)為性能節(jié)點(diǎn)，C為客戶端節(jié)點(diǎn)。
本實(shí)施例中數(shù)據(jù)存儲(chǔ)的方法，如圖8所示，包括
步驟S601，客戶端節(jié)點(diǎn)向合并節(jié)點(diǎn)發(fā)送寫(xiě)數(shù)據(jù)請(qǐng)求；
步驟S602，合并節(jié)點(diǎn)為待存儲(chǔ)文件分配ID，并將該文件ID與性能節(jié)點(diǎn) 的地址發(fā)送給客戶端節(jié)點(diǎn)；
步驟S603，客戶端節(jié)點(diǎn)將待存儲(chǔ)文件分片后分別寫(xiě)入各性能節(jié)點(diǎn)和合并 節(jié)點(diǎn)；
步驟S604，該合并節(jié)點(diǎn)獲得一存儲(chǔ)文件對(duì)應(yīng)的分布在多個(gè)存儲(chǔ)節(jié)點(diǎn)中的分片文件，并將各分片文件進(jìn)行整合且保存整合后的文件。
由于在系統(tǒng)中可以包括多個(gè)合并節(jié)點(diǎn)，因此，合并節(jié)點(diǎn)也可以在客戶端 節(jié)點(diǎn)請(qǐng)求寫(xiě)數(shù)據(jù)時(shí)，將其他合并節(jié)點(diǎn)的地址也發(fā)送給客戶端節(jié)點(diǎn)，則客戶端 節(jié)點(diǎn)將待存儲(chǔ)文件分片后分別寫(xiě)入各性能節(jié)點(diǎn)和各合并節(jié)點(diǎn)，在這種情況下， 最終收集文件的合并節(jié)點(diǎn)可以不是最初為客戶端分配文件ID的那個(gè)合并節(jié) 點(diǎn)。
本實(shí)施例中數(shù)據(jù)讀取的方法，如圖9所示，包括 步驟S701，客戶端節(jié)點(diǎn)向合并節(jié)點(diǎn)請(qǐng)求讀取文件；
步驟S702，合并節(jié)點(diǎn)根據(jù)待讀取文件的目錄和文件名查詢本地全局文件 數(shù)據(jù)表，獲得全局唯一的文件標(biāo)識(shí)，并向全部性能節(jié)點(diǎn)廣播文件標(biāo)識(shí)以及客 戶端節(jié)點(diǎn)的地址；
步驟S703，性能節(jié)點(diǎn)以及合并節(jié)點(diǎn)根據(jù)文件標(biāo)識(shí)判斷本地是否保存相應(yīng) 文件，若是，進(jìn)行步驟S704，否則，直接結(jié)束；
步驟S704，性能節(jié)點(diǎn)以及合并節(jié)點(diǎn)根據(jù)客戶端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā) 送給客戶端節(jié)點(diǎn)。
在本實(shí)施例中，同樣可以具有實(shí)施例一中所述的性能節(jié)點(diǎn)的控制流程， 也同樣可以增加主控節(jié)點(diǎn)和全數(shù)據(jù)節(jié)點(diǎn)的數(shù)目來(lái)確保數(shù)據(jù)冗余備份和系統(tǒng)可罪。
在本實(shí)施例中，供各個(gè)節(jié)點(diǎn)進(jìn)行通信的網(wǎng)絡(luò)可以為以太網(wǎng)，通過(guò)以太網(wǎng)
交換機(jī)或者HUB連接；也可以使用InfiniBand交換機(jī)，各個(gè)節(jié)點(diǎn)通過(guò)InfiniBand 適配器(HBA， Host Bus Adapter)和交換機(jī)連接；可以使用Myrinet交換機(jī)。 各個(gè)節(jié)點(diǎn)通過(guò)Myrinet適配器(MyrinetHBA)和交換機(jī)連接；可以使用ATM 交換機(jī)，各個(gè)節(jié)點(diǎn)通過(guò)ATM適配器(ATMHBA)和交換機(jī)連接；可以使用 智能光網(wǎng)絡(luò)交換機(jī)，各個(gè)節(jié)點(diǎn)通過(guò)智能光網(wǎng)絡(luò)適配器和交換機(jī)連接。
綜上所述，采用本發(fā)明實(shí)施例提供的技術(shù)方案，由于將文件作為完整文 件保存，則在讀取文件時(shí)，只需啟動(dòng)一個(gè)存儲(chǔ)節(jié)點(diǎn)，可以節(jié)省能源，并且放緩設(shè)備折舊速度。
系統(tǒng)性能可以根據(jù)需要提供，性能節(jié)點(diǎn)可以作為加速節(jié)點(diǎn)，在性能需要 擴(kuò)充的時(shí)候，可以增加節(jié)點(diǎn)。在性能需要降低的時(shí)候，關(guān)閉性能節(jié)點(diǎn)，同樣 可以省電，放緩設(shè)備折舊速度。
并且，由于采用廣播的方式，并發(fā)的方式，極大提升了系統(tǒng)性能。
性能節(jié)點(diǎn)可以使用大內(nèi)存和SSD結(jié)合，比機(jī)械磁盤提供更好的性能。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流 程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于 一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施
例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory, ROM)或隨機(jī)存儲(chǔ)記憶體(Random Access Memory, RAM)等。
顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本 發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要 求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1、一種數(shù)據(jù)處理方法，其特征在于，包括多個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)全數(shù)據(jù)節(jié)點(diǎn)，獲得分片文件，所述分片文件表示一存儲(chǔ)文件對(duì)應(yīng)存儲(chǔ)在所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)，將所述分片文件進(jìn)行整合，保存整合后的文件；在獲知客戶端節(jié)點(diǎn)請(qǐng)求讀取所述存儲(chǔ)文件時(shí)，發(fā)送所述整合后的文件給所述客戶端節(jié)點(diǎn)。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括所述獲知客戶端節(jié)點(diǎn)請(qǐng)求讀取所述存儲(chǔ)文件的方法為接收主控節(jié)點(diǎn)的 讀取廣播消息，所述讀取廣播消息中包括一存儲(chǔ)文件的文件標(biāo)識(shí)以及客戶端 節(jié)點(diǎn)的地址，在確定所述文件標(biāo)識(shí)對(duì)應(yīng)所述存儲(chǔ)文件時(shí)，獲知客戶端節(jié)點(diǎn)請(qǐng) 求讀取所述存儲(chǔ)文件。
3、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中包括 全數(shù)據(jù)節(jié)點(diǎn)和性能節(jié)點(diǎn)；統(tǒng)計(jì)所述多個(gè)存儲(chǔ)節(jié)點(diǎn)的訪問(wèn)量，若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量小于第 一設(shè)定閾值，則選擇部分性能節(jié)點(diǎn)，并將選擇到的性能節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)移到剩 余的存儲(chǔ)節(jié)點(diǎn)，并在轉(zhuǎn)移完成后關(guān)閉所述選擇到的性能節(jié)點(diǎn)。
4、 根據(jù)權(quán)利要求3所述的方法，其特征在于，若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量大于第二設(shè)定閾值，所述第二設(shè)定閾值大于所述第一設(shè)定閾值，則開(kāi)啟 部分或者全部處于關(guān)閉狀態(tài)的性能節(jié)點(diǎn)。
5、 一種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括與客戶端節(jié)點(diǎn)進(jìn)行通信的多個(gè) 存儲(chǔ)節(jié)點(diǎn)，所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中包括至少一個(gè)全數(shù)據(jù)節(jié)點(diǎn)；所述客戶端節(jié)點(diǎn)，用于發(fā)送讀數(shù)據(jù)請(qǐng)求，所述讀數(shù)據(jù)請(qǐng)求用于請(qǐng)求讀取 存儲(chǔ)在所述全數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)；所述全數(shù)據(jù)節(jié)點(diǎn)，用于獲得分片文件，所述分片文件表示一存儲(chǔ)文件對(duì)應(yīng)存儲(chǔ)在所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)，將所述分片文件進(jìn)行整合，保存整合 后的文件，在獲知所述客戶端節(jié)點(diǎn)請(qǐng)求讀取所述存儲(chǔ)文件時(shí)，發(fā)送所述整合 后的文件給所述客戶端節(jié)點(diǎn)。
6、 根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，還包括主控節(jié)點(diǎn)，用于接收所述客戶端節(jié)點(diǎn)發(fā)送的讀取數(shù)據(jù)請(qǐng)求，所述讀取數(shù) 據(jù)請(qǐng)求中攜帶待讀取的文件的目錄和文件名；根據(jù)所述文件的目錄和所述文 件名查詢本地全局文件數(shù)據(jù)表，獲得文件標(biāo)識(shí)，向全部存儲(chǔ)節(jié)點(diǎn)廣播所述文 件標(biāo)識(shí)以及所述客戶端節(jié)點(diǎn)的地址；所述存儲(chǔ)節(jié)點(diǎn)還用于，接收所述主控節(jié)點(diǎn)的廣播，并在根據(jù)所述文件標(biāo) 識(shí)確定出本地保存相應(yīng)文件時(shí)，根據(jù)所述客戶端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送 給所述客戶端節(jié)點(diǎn)。
7、 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述主控節(jié)點(diǎn)還用于，統(tǒng)計(jì)所述多個(gè)存儲(chǔ)節(jié)點(diǎn)的訪問(wèn)量，若各個(gè)存儲(chǔ)節(jié) 點(diǎn)的平均訪問(wèn)量小于第一設(shè)定閾值，則選擇部分性能節(jié)點(diǎn)，并將選擇到的性 能節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)移到剩余的存儲(chǔ)節(jié)點(diǎn)，并在轉(zhuǎn)移完成后關(guān)閉所述選擇到的性 能節(jié)點(diǎn)；若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量大于第二設(shè)定閾值，若所述第二設(shè)定 閾值大于所述第一設(shè)定閾值，則開(kāi)啟部分或者全部處于關(guān)閉狀態(tài)的性能節(jié)點(diǎn)。
8、 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述性能節(jié)點(diǎn)為固態(tài)硬盤 或者高速硬盤。
9、 一種數(shù)據(jù)處理方法，其特征在于，包括接收客戶端節(jié)點(diǎn)發(fā)送的讀取數(shù)據(jù)請(qǐng)求，所述讀取數(shù)據(jù)請(qǐng)求中攜帶待讀取 的文件的目錄和文件名；根據(jù)所述待讀取文件的目錄和文件名査詢本地全局 文件數(shù)據(jù)表，獲得文件標(biāo)識(shí)，向全部存儲(chǔ)節(jié)點(diǎn)廣播所述文件標(biāo)識(shí)以及所述客 戶端節(jié)點(diǎn)的地址；存儲(chǔ)節(jié)點(diǎn)在根據(jù)所述文件標(biāo)識(shí)確定本地保存相應(yīng)文件時(shí)，根據(jù)所述客戶 端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給所述客戶端節(jié)點(diǎn)。
10、 根據(jù)權(quán)利要求9所述的方法，其特征在于，統(tǒng)計(jì)各個(gè)存儲(chǔ)節(jié)點(diǎn)的訪 問(wèn)量，若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量小于第一設(shè)定閾值，則選擇部分存儲(chǔ)節(jié) 點(diǎn)，并將選擇到的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)移到剩余的存儲(chǔ)節(jié)點(diǎn)，并在轉(zhuǎn)移完成后 關(guān)閉所述選擇到的存儲(chǔ)節(jié)點(diǎn)。
11、 一種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括與客戶端節(jié)點(diǎn)進(jìn)行通信的的 主控節(jié)點(diǎn)和多個(gè)存儲(chǔ)節(jié)點(diǎn)，其中所述客戶端節(jié)點(diǎn)，用于向所述主控節(jié)點(diǎn)發(fā)送讀取數(shù)據(jù)請(qǐng)求，所述讀取數(shù) 據(jù)請(qǐng)求中攜帶文件的目錄和文件名 ，所述主控節(jié)點(diǎn)，用于根據(jù)待讀取文件的目錄和文件名査詢本地全局文件 數(shù)據(jù)表，獲得文件標(biāo)識(shí)，并向全部存儲(chǔ)節(jié)點(diǎn)廣播所述文件標(biāo)識(shí)以及所述客戶 端節(jié)點(diǎn)的地址；所述存儲(chǔ)節(jié)點(diǎn)，用于在根據(jù)所述文件標(biāo)識(shí)確定本地保存相應(yīng)文件時(shí)，根 據(jù)所述客戶端節(jié)點(diǎn)的地址將相應(yīng)數(shù)據(jù)發(fā)送給所述客戶端節(jié)點(diǎn)。
12、 根據(jù)權(quán)利要求11所述的方法，其特征在于，所述主控節(jié)點(diǎn)還用于， 統(tǒng)計(jì)各個(gè)存儲(chǔ)節(jié)點(diǎn)的訪問(wèn)量，若各個(gè)存儲(chǔ)節(jié)點(diǎn)的平均訪問(wèn)量小于第一設(shè)定閾 值，則選擇部分存儲(chǔ)節(jié)點(diǎn)，并將選擇到的存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)轉(zhuǎn)移到剩余的存儲(chǔ) 節(jié)點(diǎn)，并在轉(zhuǎn)移完成后關(guān)閉所述選擇到的存儲(chǔ)節(jié)點(diǎn)。
全文摘要
本發(fā)明公開(kāi)了一種數(shù)據(jù)處理方法和系統(tǒng)，用以節(jié)省能源，放緩設(shè)備折舊速度。該方法包括多個(gè)存儲(chǔ)節(jié)點(diǎn)中的一個(gè)全數(shù)據(jù)節(jié)點(diǎn)獲得一存儲(chǔ)文件對(duì)應(yīng)的分布在所述多個(gè)存儲(chǔ)節(jié)點(diǎn)中的分片文件，將所述分片文件進(jìn)行整合，保存整合后的文件；在獲知客戶端節(jié)點(diǎn)請(qǐng)求讀取所述存儲(chǔ)文件時(shí)，發(fā)送所述整合后的文件給所述客戶端節(jié)點(diǎn)。采用本發(fā)明實(shí)施例提供的技術(shù)方案，由于保存整合后的文件，則在讀取文件時(shí)，只需啟動(dòng)一個(gè)存儲(chǔ)節(jié)點(diǎn)，可以節(jié)省能源，并且放緩設(shè)備折舊速度。
文檔編號(hào)G06F17/30GK101510223SQ20091013410
公開(kāi)日2009年8月19日 申請(qǐng)日期2009年4月3日 優(yōu)先權(quán)日2009年4月3日
發(fā)明者海 文 申請(qǐng)人:成都市華為賽門鐵克科技有限公司