文件管理方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，特別涉及一種文件管理方法和系統(tǒng)。
【背景技術(shù)】
[0002]分布式文件系統(tǒng)將大文件分塊存儲(chǔ)在各存儲(chǔ)節(jié)點(diǎn)中，實(shí)現(xiàn)了文件多節(jié)點(diǎn)并行讀寫(xiě)，如圖1所示。但在每次讀寫(xiě)時(shí)，需先從元數(shù)據(jù)節(jié)點(diǎn)查詢(xún)存儲(chǔ)文件的節(jié)點(diǎn)。一旦頻繁讀寫(xiě)小文件(小于最小分塊，HDFS(Hadoop Distributed File System,Hadoop分布式文件系統(tǒng))定義為64M)，查詢(xún)的時(shí)間甚至超過(guò)讀寫(xiě)文件時(shí)間，嚴(yán)重影響了系統(tǒng)效率。
[0003]由于在元數(shù)據(jù)節(jié)點(diǎn)的內(nèi)存中存在大量的文件索引條目，因此在主備節(jié)點(diǎn)數(shù)據(jù)備份過(guò)程中，需進(jìn)行大量?jī)?nèi)存數(shù)據(jù)的頻繁拷貝，長(zhǎng)時(shí)間占據(jù)系統(tǒng)計(jì)算與帶寬資源，影響核心業(yè)務(wù)質(zhì)量。
[0004]Yahoo提出了采用HAR(Hadoop Archive)的方法，可以將眾多小文件打包成Chunk進(jìn)行存儲(chǔ)，打包后的Chunk由索引和存儲(chǔ)兩大部分組成，如圖2所示。但是若對(duì)打包后小文件進(jìn)行修改，需要對(duì)Chunk進(jìn)行解包處理，導(dǎo)致浪費(fèi)了大量時(shí)間與性能開(kāi)銷(xiāo)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種文件管理方法和系統(tǒng)。通過(guò)將頻繁讀寫(xiě)的文件直接存放在元數(shù)據(jù)節(jié)點(diǎn)中，從而提升了文件讀寫(xiě)速度。
[0006]根據(jù)本發(fā)明的一個(gè)方面，提供一種文件管理方法，包括:
[0007]文件管理裝置以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對(duì)存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫(xiě)次數(shù)；
[0008]文件管理裝置選擇出前N個(gè)讀寫(xiě)次數(shù)最大的文件；
[0009]在前N個(gè)讀寫(xiě)次數(shù)最大的文件中，文件管理裝置判斷是否存在第一遷移文件，其中第一遷移文件屬于前N個(gè)讀寫(xiě)次數(shù)最大的文件，且存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中；
[0010]若存在第一遷移文件，則文件管理裝置向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第一遷移請(qǐng)求；
[0011]元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)。
[0012]在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)的步驟包括:
[0013]元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件；
[0014]元數(shù)據(jù)節(jié)點(diǎn)在本地索引中建立索引數(shù)據(jù)區(qū)映射，將第一遷移文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)；
[0015]元數(shù)據(jù)節(jié)點(diǎn)更新第一索引，并指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)更新第二索引，以便刪除與第一遷移文件相關(guān)聯(lián)的映射信息，其中第一索引和第二索引中包括存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中文件的映射信息。
[0016]在一個(gè)實(shí)施例中，文件管理裝置以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對(duì)存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫(xiě)次數(shù)之后，還包括:
[0017]文件管理裝置選擇出前Μ個(gè)讀寫(xiě)次數(shù)最小的文件；
[0018]在前Μ個(gè)讀寫(xiě)次數(shù)最小的文件中，文件管理裝置判斷是否存在第二遷移文件，其中第二遷移文件屬于前Μ個(gè)讀寫(xiě)次數(shù)最小的文件，且存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中；
[0019]若存在第二遷移文件，則文件管理裝置向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第二遷移請(qǐng)求；
[0020]元數(shù)據(jù)節(jié)點(diǎn)接收到第二遷移請(qǐng)求后，將第二遷移文件從元數(shù)據(jù)節(jié)點(diǎn)遷移到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)以進(jìn)行存儲(chǔ)。
[0021]在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)接收到第二遷移請(qǐng)求后，將第二遷移文件從元數(shù)據(jù)節(jié)點(diǎn)遷移到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)以進(jìn)行存儲(chǔ)的步驟包括:
[0022]元數(shù)據(jù)節(jié)點(diǎn)接收到第二遷移請(qǐng)求后，在一級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)在二級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的二級(jí)映射，將第二遷移文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)中；
[0023]元數(shù)據(jù)節(jié)點(diǎn)更新本地索引，以便刪除與第二遷移文件相關(guān)聯(lián)的映射信息。
[0024]在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)在存儲(chǔ)新文件時(shí)，識(shí)別新文件的大小；
[0025]元數(shù)據(jù)節(jié)點(diǎn)判斷新文件的大小是否小于預(yù)定閾值；
[0026]若新文件的大小小于預(yù)定閾值，則元數(shù)據(jù)節(jié)點(diǎn)在本地索引中建立索引數(shù)據(jù)區(qū)映射，將新文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)。
[0027]在一個(gè)實(shí)施例中，若新文件的大小不小于預(yù)定閾值，則元數(shù)據(jù)節(jié)點(diǎn)在一級(jí)索引中建立一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)在二級(jí)索引中建立二級(jí)映射，將新文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)中。
[0028]根據(jù)本發(fā)明的另一方面，提供一種文件管理系統(tǒng)，包括文件管理裝置、元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)，其中:
[0029]文件管理裝置，用于以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對(duì)存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫(xiě)次數(shù)；選擇出前Ν個(gè)讀寫(xiě)次數(shù)最大的文件，在前Ν個(gè)讀寫(xiě)次數(shù)最大的文件中，判斷是否存在第一遷移文件，其中第一遷移文件屬于前Ν個(gè)讀寫(xiě)次數(shù)最大的文件，且存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中；若存在第一遷移文件，則向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第一遷移請(qǐng)求；
[0030]元數(shù)據(jù)節(jié)點(diǎn)，用于在接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)；
[0031]存儲(chǔ)節(jié)點(diǎn)，用于分布式存儲(chǔ)文件。
[0032]在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)具體在接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件；在本地索引中建立索引數(shù)據(jù)區(qū)映射，將第一遷移文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)；更新第一索引，并指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)更新第二索引，以便刪除與第一遷移文件相關(guān)聯(lián)的映射信息，其中第一索引和第二索引中包括存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中文件的映射信息。
[0033]在一個(gè)實(shí)施例中，文件管理裝置還用于在以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對(duì)存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫(xiě)次數(shù)之后，選擇出前Μ個(gè)讀寫(xiě)次數(shù)最小的文件；在前Μ個(gè)讀寫(xiě)次數(shù)最小的文件中，判斷是否存在第二遷移文件，其中第二遷移文件屬于前Μ個(gè)讀寫(xiě)次數(shù)最小的文件，且存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中；若存在第二遷移文件，則向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第二遷移請(qǐng)求；
[0034]元數(shù)據(jù)節(jié)點(diǎn)還用于在接收到第二遷移請(qǐng)求后，將第二遷移文件從元數(shù)據(jù)節(jié)點(diǎn)遷移到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)以進(jìn)行存儲(chǔ)。
[0035]在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)具體在接收到第二遷移請(qǐng)求后，在一級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)在二級(jí)索引中建立與第二遷移文件相關(guān)聯(lián)的二級(jí)映射，將第二遷移文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)中；更新本地索引，以便刪除與第二遷移文件相關(guān)聯(lián)的映射信息。
[0036]在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)還用于在存儲(chǔ)新文件時(shí)，識(shí)別新文件的大??；判斷新文件的大小是否小于預(yù)定閾值，若新文件的大小小于預(yù)定閾值，則在本地索引中建立索引數(shù)據(jù)區(qū)映射，將新文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)。
[0037]在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)還用于在新文件的大小不小于預(yù)定閾值時(shí)，在一級(jí)索引中建立一級(jí)映射，指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)在二級(jí)索引中建立二級(jí)映射，將新文件分布式存儲(chǔ)到相應(yīng)的存儲(chǔ)節(jié)點(diǎn)中。
[0038]在一個(gè)實(shí)施例中，系統(tǒng)還包括元數(shù)據(jù)服務(wù)器，其中:
[0039]元數(shù)據(jù)服務(wù)器，用于以預(yù)定的時(shí)間間隔備份元數(shù)據(jù)節(jié)點(diǎn)中的本地索引。
[0040]本發(fā)明通過(guò)統(tǒng)計(jì)文件的讀寫(xiě)次數(shù)，將頻繁讀寫(xiě)的文件從存儲(chǔ)節(jié)點(diǎn)遷移到元數(shù)據(jù)節(jié)點(diǎn)中，從而提升了文件讀寫(xiě)速度。
【附圖說(shuō)明】
[0041]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0042]圖1為現(xiàn)有技術(shù)中分布式文件系統(tǒng)一個(gè)實(shí)施例的示意圖。
[0043]圖2為現(xiàn)有技術(shù)中HAR方案一個(gè)實(shí)施例的示意圖。
[0044]圖3為本發(fā)明文件管理方法一個(gè)實(shí)施例的示意圖。
[0045]圖4為本發(fā)明文件管理方法另一實(shí)施例的示意圖。
[0046]圖5為本發(fā)明索引建立一個(gè)實(shí)施例的不意圖。
[0047]圖6為本發(fā)明索引數(shù)據(jù)結(jié)構(gòu)一個(gè)實(shí)施例的示意圖。
[0048]圖7為本發(fā)明文件存儲(chǔ)一個(gè)實(shí)施例的示意圖。
[0049]圖8為本發(fā)明文件管理系統(tǒng)一個(gè)實(shí)施例的示意圖。
[0050]圖9為本發(fā)明文件管理系統(tǒng)另一實(shí)施例的示意圖。
[0051]圖10為本發(fā)明與現(xiàn)有分布式文件系統(tǒng)的文件讀取時(shí)序?qū)Ρ葓D。
[0052]圖11為本發(fā)明與HAR方案的文件修改時(shí)序?qū)Ρ葓D。
【具體實(shí)施方式】
[0053]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中