一種故障數(shù)據(jù)的下線方法及設(shè)備的制作方法
【專利摘要】本發(fā)明的實施例公開了一種故障數(shù)據(jù)的下線方法及設(shè)備，其中，所述方法包括：當(dāng)請求訪問分布式存儲系統(tǒng)中的數(shù)據(jù)節(jié)點中存儲的數(shù)據(jù)文件出現(xiàn)異常時，統(tǒng)計所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)；判斷所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)是否超過第一預(yù)設(shè)閾值，如果是，則刪除與所述數(shù)據(jù)文件對應(yīng)的索引信息，其中，所述索引信息用于定位所述數(shù)據(jù)文件。通過本發(fā)明的實施例，可以保證讀請求的正常應(yīng)答以及故障文件的順利修復(fù)。
【專利說明】一種故障數(shù)據(jù)的下線方法及設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機【技術(shù)領(lǐng)域】，尤其涉及一種故障數(shù)據(jù)的下線方法及設(shè)備。
【背景技術(shù)】
[0002]Cassandra是依賴DHT (Distributed Hash Table,分布式哈希表)技術(shù)實現(xiàn)的一種典型的無中心節(jié)點的環(huán)形結(jié)構(gòu)的分布式存儲系統(tǒng)。Cassandra數(shù)據(jù)存儲空間可以抽象為一個環(huán)形結(jié)構(gòu)，數(shù)據(jù)就是通過hash分散在這個環(huán)形存儲空間上。每個數(shù)據(jù)節(jié)點負(fù)責(zé)管理這個環(huán)形存儲空間上的某一塊連續(xù)的范圍(也叫Range)，落在此Range空間上的數(shù)據(jù)就存儲在這個數(shù)據(jù)節(jié)點上。
[0003]在相關(guān)技術(shù)中，數(shù)據(jù)是以SSTable (Sorted String Table，有序字符串表)文件格式存儲在這個節(jié)點的磁盤上。系統(tǒng)啟動時，將每個SSTable文件的索引加載到內(nèi)存中，并在內(nèi)存中創(chuàng)建一個唯一的SSTable內(nèi)存對象與該SSTable文件一一對應(yīng)。當(dāng)讀數(shù)據(jù)時候，通過內(nèi)存對象中的索引來定位數(shù)據(jù)，進(jìn)而訪問SSTable文件讀取對應(yīng)數(shù)據(jù)。
[0004]在實際應(yīng)用中，由于存儲介質(zhì)故障而導(dǎo)致整塊磁盤不可訪問或者磁盤上存儲的某些文件部分損壞。文件或磁盤故障后無法讀取，內(nèi)存中的SSTable對象和索引卻仍然可以正常訪問，當(dāng)接入節(jié)點的讀請求訪問數(shù)據(jù)節(jié)點上的故障文件時，數(shù)據(jù)節(jié)點的工作線程讀取數(shù)據(jù)，出現(xiàn)I / 0(輸入/輸出)異常直接退出。
[0005]由此可見，在相關(guān)技術(shù)中，當(dāng)數(shù)據(jù)節(jié)點中的文件或磁盤出現(xiàn)故障時，在接收到接入節(jié)點對故障文件的讀請求訪問時，數(shù)據(jù)節(jié)點的工作線程出現(xiàn)異常而直接退出，從而導(dǎo)致接入節(jié)點的讀請求訪問超時。并且，由于數(shù)據(jù)節(jié)點的工作線程的異常退出，導(dǎo)致正常的掃描修復(fù)模塊也無法成功拿到數(shù)據(jù)的副本，因而無法對故障數(shù)據(jù)進(jìn)行比較和修復(fù)。

【發(fā)明內(nèi)容】

[0006]簽于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種故障數(shù)據(jù)的下線方法及設(shè)備。
[0007]根據(jù)本發(fā)明的一個方面，提供了一種故障數(shù)據(jù)的下線方法，所述方法包括:當(dāng)請求訪問分布式存儲系統(tǒng)中的數(shù)據(jù)節(jié)點中存儲的數(shù)據(jù)文件出現(xiàn)異常時，統(tǒng)計所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)；判斷所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)是否超過第一預(yù)設(shè)閾值，如果是，則刪除與所述數(shù)據(jù)文件對應(yīng)的索引信息，其中，所述索引信息用于定位所述數(shù)據(jù)文件。
[0008]可選地，在刪除與所述數(shù)據(jù)文件對應(yīng)的索引信息的步驟之后，所述方法還包括:確定所述數(shù)據(jù)文件所在的磁盤目錄；判斷所述磁盤目錄下已被刪除的索引信息的數(shù)據(jù)文件所占的比例是否超過第二預(yù)設(shè)閾值，如果是，則刪除所述磁盤目錄下的所有數(shù)據(jù)文件對應(yīng)的索引信息。
[0009]可選地，所述索引信息包括:內(nèi)存隊列中創(chuàng)建的與所述數(shù)據(jù)文件對應(yīng)的內(nèi)存對象。
[0010]可選地，所述數(shù)據(jù)文件為有序字符串表SSTable文件。
[0011]可選地，統(tǒng)計所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)的步驟包括:為所述數(shù)據(jù)文件設(shè)置一計數(shù)器，當(dāng)請求訪問所述數(shù)據(jù)文件出現(xiàn)異常時，所述計數(shù)器加I。
[0012]根據(jù)本發(fā)明的另一方面，還提供了一種故障數(shù)據(jù)的下線設(shè)備，所述設(shè)備包括:統(tǒng)計模塊，用于在請求訪問分布式存儲系統(tǒng)中的數(shù)據(jù)節(jié)點中存儲的數(shù)據(jù)文件出現(xiàn)異常時，統(tǒng)計所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)；第一判斷模塊，用于判斷所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)是否超過第一預(yù)設(shè)閾值；第一執(zhí)行模塊，用于在所述第一判斷模塊的判斷結(jié)果為是的情況下，刪除與所述數(shù)據(jù)文件對應(yīng)的索引信息，其中，所述索引信息用于定位所述數(shù)據(jù)文件。
[0013]可選地，所述設(shè)備還包括:確定模塊，用于確定所述數(shù)據(jù)文件所在的磁盤目錄;第二判斷模塊，用于判斷所述磁盤目錄下已被刪除的索引信息的數(shù)據(jù)文件所占的比例是否超過第二預(yù)設(shè)閾值；第二執(zhí)行模塊，用于在所述第二判斷模塊的判斷結(jié)果為是的情況下，刪除所述磁盤目錄下的所有數(shù)據(jù)文件對應(yīng)的索引信息。
[0014]可選地，所述索引信息包括:內(nèi)存隊列中創(chuàng)建的與所述數(shù)據(jù)文件對應(yīng)的內(nèi)存對象。
[0015]可選地，所述數(shù)據(jù)文件為有序字符串表SSTable文件。
[0016]可選地，所述統(tǒng)計模塊包括:
[0017]檢測模塊，用于檢測當(dāng)前請求訪問所述數(shù)據(jù)文件是否出現(xiàn)異常；
[0018]計數(shù)器，用于在所述檢測模塊檢測到出現(xiàn)異常時，計算訪問出現(xiàn)異常的次數(shù)。
[0019]由上述技術(shù)方案可知，本發(fā)明的實施例具有如下有益效果:在本發(fā)明實施例中，數(shù)據(jù)節(jié)點對數(shù)據(jù)文件的異常訪問次數(shù)進(jìn)行統(tǒng)計，在數(shù)據(jù)文件的異常訪問次數(shù)超過預(yù)設(shè)閾值時，刪除該數(shù)據(jù)文件對應(yīng)的索引信息，從而保證了讀請求的正常應(yīng)答，并且，由于及時將故障數(shù)據(jù)文件下線，也保證了后臺數(shù)據(jù)掃描修復(fù)模塊能夠順利地進(jìn)行數(shù)據(jù)的比較修復(fù)工作，縮短故障數(shù)據(jù)的恢復(fù)時間。
[0020]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并目為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。
【專利附圖】

【附圖說明】
[0021]通過閱讀下文優(yōu)選實施方式的詳細(xì)描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0022]圖1示出了根據(jù)本發(fā)明的實施例的故障數(shù)據(jù)的下線方法100的流程圖；
[0023]圖2示出了根據(jù)本發(fā)明的實施例的分布式存儲系統(tǒng)的結(jié)構(gòu)示意圖；
[0024]圖3示出了根據(jù)本發(fā)明的實施例的Cassandra文件存儲系統(tǒng)中發(fā)生故障的SSTable文件自動下線的方法300的流程圖，以及
[0025]圖4示出了根據(jù)本發(fā)明的實施例的故障數(shù)據(jù)的下線設(shè)備的結(jié)構(gòu)示意圖。
【具體實施方式】
[0026]下面將參照附圖更詳細(xì)地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
[0027]參見圖1，其中示意性地示出了根據(jù)本發(fā)明的實施例的故障數(shù)據(jù)的下線方法100的流程圖，該方法100應(yīng)用于如圖2的分布式存儲系統(tǒng)，該分布式存儲系統(tǒng)包括接入節(jié)點和數(shù)據(jù)節(jié)點。其中，接入節(jié)點負(fù)責(zé)計算數(shù)據(jù)及副本的分布；數(shù)據(jù)節(jié)點負(fù)責(zé)數(shù)據(jù)副本的存儲，在具體實施中，每個節(jié)點既可以作為接入節(jié)點也可以作為數(shù)據(jù)節(jié)點，例如，在Cassandra系統(tǒng)中，每個節(jié)點都既作為接入節(jié)點，又作為數(shù)據(jù)節(jié)點而存在。
[0028]本發(fā)明實施例中，該方法100的主要目的在于:(I)在數(shù)據(jù)節(jié)點出現(xiàn)文件故障時，能夠盡快地自動摘除故障文件的索引信息，從而保證在數(shù)據(jù)文件發(fā)生故障時，能夠正常應(yīng)答接入節(jié)點的讀訪問請求；(2)通過及時將故障文件下線，保證后臺數(shù)據(jù)掃描修復(fù)模塊能夠順利地進(jìn)行數(shù)據(jù)的比較修復(fù)工作，縮短故障數(shù)據(jù)的恢復(fù)時間。
[0029]如圖1所示，所述方法100主要包括以下步驟S110、S120和S130。方法100始于步驟S110，在步驟SllO中，當(dāng)請求訪問分布式存儲系統(tǒng)中的數(shù)據(jù)節(jié)點中存儲的數(shù)據(jù)文件出現(xiàn)異常時，統(tǒng)計該數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)。
[0030]在實際應(yīng)用中，例如，圖2所示的系統(tǒng)中，當(dāng)接入節(jié)點210請求訪問數(shù)據(jù)節(jié)點220中的存儲的數(shù)據(jù)文件時，數(shù)據(jù)節(jié)點220接收到接入節(jié)點210發(fā)出的訪問請求后，讀取該數(shù)據(jù)文件對應(yīng)的索引信息，對該數(shù)據(jù)文件進(jìn)行定位，如果出現(xiàn)異常，則統(tǒng)計當(dāng)前該數(shù)據(jù)文件出現(xiàn)異常訪問的次數(shù)。
[0031]可選地，可以為數(shù)據(jù)文件設(shè)置一計數(shù)器，通過該計數(shù)器統(tǒng)計數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)，每次請求訪問該數(shù)據(jù)文件出現(xiàn)異常時，則計數(shù)器加I。
[0032]在統(tǒng)計數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)后，執(zhí)行步驟S120。在步驟S120中，判斷所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)是否超過第一預(yù)設(shè)閾值，如果是，則說明該數(shù)據(jù)文件出現(xiàn)故障，執(zhí)行步驟S130，刪除與該數(shù)據(jù)文件對應(yīng)的索引信息。如果所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)沒有超過第一預(yù)設(shè)閾值，則暫不認(rèn)定該數(shù)據(jù)文件出現(xiàn)故障，結(jié)束本次處理。
[0033]在本發(fā)明的可選實施例中，刪除的與數(shù)據(jù)文件對應(yīng)的索引信息可以是在加載數(shù)據(jù)文件時，在內(nèi)存隊列中生成的與該數(shù)據(jù)文件唯一對應(yīng)的內(nèi)存對象，該內(nèi)存對象中存儲了該數(shù)據(jù)文件對應(yīng)的一個或多個索引信息。例如，在Cassandra系統(tǒng)中，當(dāng)系統(tǒng)啟動后，數(shù)據(jù)節(jié)點將SSTable文件的相關(guān)信息加載到內(nèi)存中，這些相關(guān)信息稱之為SSTable內(nèi)存對象。數(shù)據(jù)節(jié)點的磁盤上存儲有多個SSTable文件，加載完成后，每個SSTable文件對應(yīng)一個SSTable內(nèi)存對象。數(shù)據(jù)節(jié)點在內(nèi)存中維護(hù)一個內(nèi)存隊列，內(nèi)存隊列的每個隊列項即為一個SSTab I e內(nèi)存對象。SSTable內(nèi)存對象中存儲的信息包括但不限于=SSTable文件對應(yīng)的多個索引(其中，每個索引對應(yīng)SSTable文件的一個數(shù)據(jù)塊(或者稱為一行數(shù)據(jù)(row)) ;SSTable文件的大小；SSTable文件的本地存儲路徑等。
[0034]在本發(fā)明的另一個可選實施例中，在刪除所述數(shù)據(jù)文件的索引信息之后，所述方法100還可以包括:步驟S140，確定所述數(shù)據(jù)文件所在的磁盤目錄；步驟S150，判斷所述磁盤目錄下已被刪除的索引信息的數(shù)據(jù)文件所占的比例是否超過第二預(yù)設(shè)閾值，如果是，則在步驟S160刪除所述磁盤目錄下的所有數(shù)據(jù)文件對應(yīng)的索引信息。在本可選實施例中，在判定一個磁盤目錄下的一定比例的數(shù)據(jù)文件已經(jīng)出現(xiàn)故障后，可以判定該磁盤目錄已經(jīng)出現(xiàn)故障，為了使后續(xù)訪問該磁盤目錄下其他文件時，能夠正常應(yīng)答以及及時恢復(fù)該磁盤目錄下的其他文件，刪除該磁盤目錄下的所有數(shù)據(jù)文件對應(yīng)的索引信息。[0035]在上述實施例中，第一預(yù)設(shè)閾值和第二預(yù)設(shè)閾值可以根據(jù)實際情況(例如，網(wǎng)絡(luò)狀況等)進(jìn)行設(shè)置。
[0036]下面以Cassandra文件存儲系統(tǒng)為例來介紹本發(fā)明的實施例，但本發(fā)明的實施例提供的方法并不僅限于Cassandra文件系統(tǒng)。在Cassandra文件系統(tǒng)中數(shù)據(jù)處理和交換采用有序字符串表(SSTable)文件存儲格式，SSTable中存儲一組任意有序鍵-值對的文件，SSTable 一旦完成寫入,就不可更改,只能讀取。
[0037]圖3示意性地示出了 Cassandra文件存儲系統(tǒng)中發(fā)生故障的SSTable文件自動下線的方法300的流程圖。方法300主要通過對SSTable文件的I / O異常訪問進(jìn)行計數(shù)，當(dāng)計數(shù)達(dá)到一定閾值，確定該SSTable文件故障且影響正常請求的處理，觸發(fā)SSTable文件摘除，即刪除該SSTable文件對應(yīng)的索引信息；而當(dāng)磁盤上摘除的故障文件個數(shù)超過一定的比例，則確定該磁盤目錄下的所有文件都發(fā)生故障且影響正常請求的處理，觸發(fā)磁盤目錄的摘除，即摘除該磁盤下的所有SSTable文件對應(yīng)的索引信息。如圖3所示，所述方法300主要包括步驟S310、S320、S330、S340、S350以及S360。方法300始于步驟S310，在步驟S310中，讀請求訪問文件出現(xiàn)I / O異常，步驟S320將統(tǒng)計該文件異常的計數(shù)加1，步驟S330判斷文件異常訪問次數(shù)是否超過預(yù)定閾值，如果超過閾值，則在步驟S340中摘除內(nèi)存隊列中的SSTable對象，即摘除該SSTable文件對應(yīng)的索引信息。然斤在步驟S350中判斷該SSTable文件所在的磁盤目錄中SSTable文件的摘除比例是否超過指定閾值，如果超過閾值，則在步驟S360中從內(nèi)存隊列中摘除該磁盤目錄下剩余的所有SSTable文件的內(nèi)存對象。
[0038]根據(jù)本發(fā)明的第二方面，與如上所述的根據(jù)本發(fā)明的實施例的故障數(shù)據(jù)的下線方法100相對應(yīng)，本發(fā)明還提供了一種故障數(shù)據(jù)的下線設(shè)備400。
[0039]如圖4所示，根據(jù)本發(fā)明的實施例的故障數(shù)據(jù)的下線設(shè)備可以主要包括統(tǒng)計模塊410、第一判斷模塊420和第一執(zhí)行模塊430。應(yīng)當(dāng)理解，圖4中所表示的各個模塊的連接關(guān)系僅為示例，本領(lǐng)域技術(shù)人員完全可以采用其它的連接關(guān)系，只要在這樣的連接關(guān)系下各個模塊也能夠?qū)崿F(xiàn)本發(fā)明的功能即可。
[0040]在本說明書中，各個模塊的功能可以通過使用專用硬件、或者能夠與適當(dāng)?shù)能浖嘟Y(jié)合來執(zhí)行處理的硬件來實現(xiàn)。這樣的硬件或?qū)Ｓ糜布梢园▽Ｓ眉呻娐?ASIC)、各種其它電路、各種處理器等。當(dāng)由處理器實現(xiàn)時，該功能可以由單個專用處理器、單個共享處理器、或者多個獨立的處理器(其中某些可能被共享)來提供。另外，處理器不應(yīng)該被理解為專指能夠執(zhí)行軟件的硬件，而是可以隱含地包括、而不限于數(shù)字信號處理器(DSP)硬件、用來存儲軟件的只讀存儲器(ROM)、隨機存取存儲器(RAM)、以及非易失存儲設(shè)備。
[0041]在本發(fā)明的實施例中，統(tǒng)計模塊410，用于在請求訪問分布式存儲系統(tǒng)中的數(shù)據(jù)節(jié)點中存儲的數(shù)據(jù)文件出現(xiàn)異常時，統(tǒng)計所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)；第一判斷模塊420，用于判斷所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)是否超過第一預(yù)設(shè)閾值；第一執(zhí)行模塊430，用于在所述第一判斷模塊420的判斷結(jié)果為是的情況下，刪除與所述數(shù)據(jù)文件對應(yīng)的索引信息，其中，所述索引信息用于定位所述數(shù)據(jù)文件。
[0042]根據(jù)本發(fā)明的實施例，所述故障數(shù)據(jù)的下線設(shè)備400還可以包括一個或者多個可選模塊，以實現(xiàn)額外或者附加的功能，然而這些可選模塊對于實現(xiàn)本發(fā)明的目的而言并非是不可或缺的，根據(jù)本發(fā)明的實施例的故障數(shù)據(jù)的下線設(shè)備40完全可以在沒有這些可選模塊的情況下，實現(xiàn)本發(fā)明的目的。這些可選模塊盡管未在圖4中示出，但它們與上述各模塊之間的連接關(guān)系可以由本領(lǐng)域技術(shù)人員根據(jù)下述教導(dǎo)而容易地得出。
[0043]可選地，在本發(fā)明的實施例中，所述設(shè)備400還包括:確定模塊，用于確定所述數(shù)據(jù)文件所在的磁盤目錄；第二判斷模塊，用于判斷所述磁盤目錄下已被刪除的索引信息的數(shù)據(jù)文件所占的比例是否超過第二預(yù)設(shè)閾值；第二執(zhí)行模塊，用于在所述第二判斷模塊的判斷結(jié)果為是的情況下，刪除所述磁盤目錄下的所有數(shù)據(jù)文件對應(yīng)的索引信息。
[0044]可選地，在本發(fā)明的實施例中，所述索引信息包括:內(nèi)存隊列中創(chuàng)建的與所述數(shù)據(jù)文件對應(yīng)的內(nèi)存對象。
[0045]可選地，在本發(fā)明的實施例中，所述數(shù)據(jù)文件為有序字符串表SSTable文件。
[0046]可選地，在本發(fā)明的實施例中，所述統(tǒng)計模塊410可以包括:檢測模塊，用于檢測當(dāng)前請求訪問所述數(shù)據(jù)文件是否出現(xiàn)異常；計數(shù)器，用于在所述檢測模塊檢測到出現(xiàn)異常時，計算訪問出現(xiàn)異常的次數(shù)。
[0047]通過本發(fā)明實施例提供的上述技術(shù)方案能夠在數(shù)據(jù)節(jié)點出現(xiàn)磁盤或文件故障的第一時間自動摘除故障文件或磁盤目錄，從而保證了正常讀請求不受影響以及數(shù)據(jù)掃描修復(fù)機制能夠及時啟動并順利執(zhí)行修復(fù)，并且縮短了故障數(shù)據(jù)的恢復(fù)時間，提高了數(shù)據(jù)的可靠性。
[0048]在此提供的算法和顯示不與任何特定計算機、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。各種通用系統(tǒng)也可以與基于在此的示教一起使用。根據(jù)上面的描述，構(gòu)造這類系統(tǒng)所要求的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對任何特定編程語言。應(yīng)當(dāng)明白，可以利用各種編程語言實現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對特定語言所做的描述是為了披露本發(fā)明的最佳實施方式。
[0049]在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實施例可以在沒有這些具體細(xì)節(jié)的情況下實踐。在一些實例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。
[0050]類似地，應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖:即所要求保護(hù)的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如下面的權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循【具體實施方式】的權(quán)利要求書由此明確地并入該【具體實施方式】，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。
[0051 ] 本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進(jìn)行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中?？梢园褜嵤├械哪K或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。[0052]此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實施例的任意之一都可以以任意的組合方式來使用。
[0053]本發(fā)明的各個部件實施例可以以硬件實現(xiàn)，或者以在一個或者多個處理器上運行的軟件模塊實現(xiàn)，或者以它們的組合實現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實踐中使用微處理器或者數(shù)字信號處理器(DSP)來實現(xiàn)根據(jù)本發(fā)明實施例的瀏覽器客戶端中的一些或者全部部件的一些或者全部功能。本發(fā)明還可以實現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的設(shè)備或者裝置程序(例如，計算機程序和計算機程序產(chǎn)品)。這樣的實現(xiàn)本發(fā)明的程序可以存儲在計算機可讀介質(zhì)上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0054]應(yīng)該注意的是上述實施例對本發(fā)明進(jìn)行說明而不是對本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計算機來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
【權(quán)利要求】
1.一種故障數(shù)據(jù)的下線方法，所述方法包括: 當(dāng)請求訪問分布式存儲系統(tǒng)中的數(shù)據(jù)節(jié)點中存儲的數(shù)據(jù)文件出現(xiàn)異常時，統(tǒng)計所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)； 判斷所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)是否超過第一預(yù)設(shè)閾值，如果是，則刪除與所述數(shù)據(jù)文件對應(yīng)的索引信息，其中，所述索引信息用于定位所述數(shù)據(jù)文件。
2.根據(jù)權(quán)利要求1所述的方法，其中，在刪除與所述數(shù)據(jù)文件對應(yīng)的索引信息的步驟之后，所述方法還包括: 確定所述數(shù)據(jù)文件所在的磁盤目錄； 判斷所述磁盤目錄下已被刪除的索引信息的數(shù)據(jù)文件所占的比例是否超過第二預(yù)設(shè)閾值，如果是，則刪除所述磁盤目錄下的所有數(shù)據(jù)文件對應(yīng)的索引信息。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述索引信息包括:內(nèi)存隊列中創(chuàng)建的與所述數(shù)據(jù)文件對應(yīng)的內(nèi)存對象。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述數(shù)據(jù)文件為有序字符串表SSTable文件。
5.根據(jù)權(quán)利要求1所述的方法，其中，統(tǒng)計所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)的步驟包括: 為所述數(shù)據(jù)文件設(shè)置一計數(shù)器，當(dāng)請求訪問所述數(shù)據(jù)文件出現(xiàn)異常時，所述計數(shù)器加1
6.一種故障數(shù)據(jù)的下線設(shè)備，所述設(shè)備包括: 統(tǒng)計模塊，用于在請求訪問分布式存儲系統(tǒng)中的數(shù)據(jù)節(jié)點中存儲的數(shù)據(jù)文件出現(xiàn)異常時，統(tǒng)計所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)； 第一判斷模塊，用于判斷所述數(shù)據(jù)文件當(dāng)前的異常訪問次數(shù)是否超過第一預(yù)設(shè)閾值；第一執(zhí)行模塊，用于在所述第一判斷模塊的判斷結(jié)果為是的情況下，刪除與所述數(shù)據(jù)文件對應(yīng)的索引信息，其中，所述索引信息用于定位所述數(shù)據(jù)文件。
7.根據(jù)權(quán)利要求6所述的設(shè)備，所述設(shè)備還包括: 確定模塊，用于確定所述數(shù)據(jù)文件所在的磁盤目錄； 第二判斷模塊，用于判斷所述磁盤目錄下已被刪除的索引信息的數(shù)據(jù)文件所占的比例是否超過第二預(yù)設(shè)閾值； 第二執(zhí)行模塊，用于在所述第二判斷模塊的判斷結(jié)果為是的情況下，刪除所述磁盤目錄下的所有數(shù)據(jù)文件對應(yīng)的索引信息。
8.根據(jù)權(quán)利要求6或7所述的設(shè)備，其中，所述索引信息包括:內(nèi)存隊列中創(chuàng)建的與所述數(shù)據(jù)文件對應(yīng)的內(nèi)存對象。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述數(shù)據(jù)文件為有序字符串表SSTable文件。
10.根據(jù)權(quán)利要求6所述的設(shè)備，其中，所述統(tǒng)計模塊包括: 檢測模塊，用于檢測當(dāng)前請求訪問所述數(shù)據(jù)文件是否出現(xiàn)異常； 計數(shù)器，用于在所述檢測模塊檢測到出現(xiàn)異常時，計算訪問出現(xiàn)異常的次數(shù)。
【文檔編號】G06F17/30GK103744859SQ201310684986
【公開日】2014年4月23日 申請日期:2013年12月13日 優(yōu)先權(quán)日:2013年12月13日
【發(fā)明者】王 鋒 申請人:北京奇虎科技有限公司, 奇智軟件（北京）有限公司