點(diǎn)在二級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的二級(jí)映射，將第二遷移文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)803中；更新本地索引，以便刪除與第二遷移文件相關(guān)聯(lián)的映射信息。
[0097]通過更新索引信息，以完成將文件從元數(shù)據(jù)節(jié)點(diǎn)遷移至存儲(chǔ)節(jié)點(diǎn)。
[0098]在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)802還用于在存儲(chǔ)新文件時(shí)，識(shí)別新文件的大小；判斷新文件的大小是否小于預(yù)定閾值，若新文件的大小小于預(yù)定閾值，則在本地索引中建立索引數(shù)據(jù)區(qū)映射，將新文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)。
[0099]元數(shù)據(jù)節(jié)點(diǎn)802還用于在新文件的大小不小于預(yù)定閾值時(shí)，在一級(jí)索引中建立一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)803在二級(jí)索引中建立二級(jí)映射，將新文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)803中。
[0100]圖9為本發(fā)明文件管理系統(tǒng)另一實(shí)施例的示意圖。與圖8所示實(shí)施例相比，在圖9所示實(shí)施例中，系統(tǒng)還包括元數(shù)據(jù)服務(wù)器901。其中:
[0101]元數(shù)據(jù)服務(wù)器901，用于以預(yù)定的時(shí)間間隔備份元數(shù)據(jù)節(jié)點(diǎn)802中的本地索引。
[0102]由于在存儲(chǔ)節(jié)點(diǎn)中建立二級(jí)索引，因此元數(shù)據(jù)節(jié)點(diǎn)大部分條目在存儲(chǔ)節(jié)點(diǎn)中都有副本，從而對元數(shù)據(jù)節(jié)點(diǎn)而言，只需要備份本地?cái)?shù)據(jù)區(qū)的索引條目即可，從而減少了內(nèi)存數(shù)據(jù)拷貝。
[0103]圖10為本發(fā)明與現(xiàn)有分布式文件系統(tǒng)的文件讀取時(shí)序?qū)Ρ葓D。從圖10中可以看出，通過實(shí)施本發(fā)明，可避免對文件所在存儲(chǔ)節(jié)點(diǎn)的查詢。圖11為本發(fā)明與HAR方案的文件修改時(shí)序?qū)Ρ葓D。從圖11中可以看出，通過實(shí)施本發(fā)明，可避免Chunk文件解包、重新打包等一系列操作。
[0104]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可以通過硬件來完成，也可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。
[0105]本發(fā)明的描述是為了示例和描述起見而給出的，而并不是無遺漏的或者將本發(fā)明限于所公開的形式。很多修改和變化對于本領(lǐng)域的普通技術(shù)人員而言是顯然的。選擇和描述實(shí)施例是為了更好說明本發(fā)明的原理和實(shí)際應(yīng)用，并且使本領(lǐng)域的普通技術(shù)人員能夠理解本發(fā)明從而設(shè)計(jì)適于特定用途的帶有各種修改的各種實(shí)施例。
【主權(quán)項(xiàng)】
1.一種文件管理方法，其特征在于，包括: 文件管理裝置以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫次數(shù)； 文件管理裝置選擇出前N個(gè)讀寫次數(shù)最大的文件； 在前N個(gè)讀寫次數(shù)最大的文件中，文件管理裝置判斷是否存在第一遷移文件，其中第一遷移文件屬于前N個(gè)讀寫次數(shù)最大的文件，且存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中； 若存在第一遷移文件，則文件管理裝置向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第一遷移請求； 元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于， 元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)的步驟包括: 元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件； 元數(shù)據(jù)節(jié)點(diǎn)在本地索引中建立索引數(shù)據(jù)區(qū)映射，將第一遷移文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)； 元數(shù)據(jù)節(jié)點(diǎn)更新第一索引，并指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)更新第二索引，以便刪除與第一遷移文件相關(guān)聯(lián)的映射信息，其中第一索引和第二索引中包括存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中文件的映射信息。3.根據(jù)權(quán)利要求1所述的方法，其特征在于， 文件管理裝置以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫次數(shù)之后，還包括: 文件管理裝置選擇出前Μ個(gè)讀寫次數(shù)最小的文件； 在前Μ個(gè)讀寫次數(shù)最小的文件中，文件管理裝置判斷是否存在第二遷移文件，其中第二遷移文件屬于前Μ個(gè)讀寫次數(shù)最小的文件，且存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中； 若存在第二遷移文件，則文件管理裝置向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第二遷移請求； 元數(shù)據(jù)節(jié)點(diǎn)接收到第二遷移請求后，將第二遷移文件從元數(shù)據(jù)節(jié)點(diǎn)遷移到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)以進(jìn)行存儲(chǔ)。4.根據(jù)權(quán)利要求3所述的方法，其特征在于， 元數(shù)據(jù)節(jié)點(diǎn)接收到第二遷移請求后，將第二遷移文件從元數(shù)據(jù)節(jié)點(diǎn)遷移到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)以進(jìn)行存儲(chǔ)的步驟包括: 元數(shù)據(jù)節(jié)點(diǎn)接收到第二遷移請求后，在一級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)在二級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的二級(jí)映射，將第二遷移文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)中； 元數(shù)據(jù)節(jié)點(diǎn)更新本地索引，以便刪除與第二遷移文件相關(guān)聯(lián)的映射信息。5.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的方法，其特征在于， 元數(shù)據(jù)節(jié)點(diǎn)在存儲(chǔ)新文件時(shí)，識(shí)別新文件的大??； 元數(shù)據(jù)節(jié)點(diǎn)判斷新文件的大小是否小于預(yù)定閾值； 若新文件的大小小于預(yù)定閾值，則元數(shù)據(jù)節(jié)點(diǎn)在本地索引中建立索引數(shù)據(jù)區(qū)映射，將新文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)。6.根據(jù)權(quán)利要求5所述的方法，其特征在于， 若新文件的大小不小于預(yù)定閾值，則元數(shù)據(jù)節(jié)點(diǎn)在一級(jí)索引中建立一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)在二級(jí)索引中建立二級(jí)映射，將新文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)中。7.一種文件管理系統(tǒng)，其特征在于，包括文件管理裝置、元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)，其中: 文件管理裝置，用于以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫次數(shù)；選擇出前N個(gè)讀寫次數(shù)最大的文件，在前N個(gè)讀寫次數(shù)最大的文件中，判斷是否存在第一遷移文件，其中第一遷移文件屬于前N個(gè)讀寫次數(shù)最大的文件，且存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中；若存在第一遷移文件，則向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第一遷移請求； 元數(shù)據(jù)節(jié)點(diǎn)，用于在接收到第一遷移請求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)； 存儲(chǔ)節(jié)點(diǎn)，用于分布式存儲(chǔ)文件。8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于， 元數(shù)據(jù)節(jié)點(diǎn)具體在接收到第一遷移請求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件；在本地索引中建立索引數(shù)據(jù)區(qū)映射，將第一遷移文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)；更新第一索引，并指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)更新第二索引，以便刪除與第一遷移文件相關(guān)聯(lián)的映射信息，其中第一索引和第二索引中包括存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中文件的映射信息。9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于， 文件管理裝置還用于在以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫次數(shù)之后，選擇出前Μ個(gè)讀寫次數(shù)最小的文件；在前Μ個(gè)讀寫次數(shù)最小的文件中，判斷是否存在第二遷移文件，其中第二遷移文件屬于前Μ個(gè)讀寫次數(shù)最小的文件，且存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中；若存在第二遷移文件，則向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第二遷移請求； 元數(shù)據(jù)節(jié)點(diǎn)還用于在接收到第二遷移請求后，將第二遷移文件從元數(shù)據(jù)節(jié)點(diǎn)遷移到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)以進(jìn)行存儲(chǔ)。10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于， 元數(shù)據(jù)節(jié)點(diǎn)具體在接收到第二遷移請求后，在一級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)在二級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的二級(jí)映射，將第二遷移文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)中；更新本地索引，以便刪除與第二遷移文件相關(guān)聯(lián)的映射信息。11.根據(jù)權(quán)利要求7-10中任一項(xiàng)所述的系統(tǒng)，其特征在于， 元數(shù)據(jù)節(jié)點(diǎn)還用于在存儲(chǔ)新文件時(shí)，識(shí)別新文件的大??；判斷新文件的大小是否小于預(yù)定閾值，若新文件的大小小于預(yù)定閾值，則在本地索引中建立索引數(shù)據(jù)區(qū)映射，將新文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)。12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其特征在于， 元數(shù)據(jù)節(jié)點(diǎn)還用于在新文件的大小不小于預(yù)定閾值時(shí)，在一級(jí)索引中建立一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)在二級(jí)索引中建立二級(jí)映射，將新文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)中。13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其特征在于，還包括元數(shù)據(jù)服務(wù)器，其中:元數(shù)據(jù)服務(wù)器，用于以預(yù)定的時(shí)間間隔備份元數(shù)據(jù)節(jié)點(diǎn)中的本地索引。
【專利摘要】本發(fā)明公開一種文件管理方法和系統(tǒng)。其中在文件管理方法中，文件管理裝置以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫次數(shù)。文件管理裝置選擇出前N個(gè)讀寫次數(shù)最大的文件，在前N個(gè)讀寫次數(shù)最大的文件中，文件管理裝置判斷是否存在第一遷移文件，其中第一遷移文件屬于前N個(gè)讀寫次數(shù)最大的文件，且存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中。若存在第一遷移文件，則文件管理裝置向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第一遷移請求，元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)。通過將頻繁讀寫的文件直接存放在元數(shù)據(jù)節(jié)點(diǎn)中，從而提升了文件讀寫速度。
【IPC分類】G06F17/30
【公開號(hào)】CN105279166
【申請?zhí)枴緾N201410277382
【發(fā)明人】黃喆
【申請人】中國電信股份有限公司
【公開日】2016年1月27日
【申請日】2014年6月20日