一種可刪除重復(fù)數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于信息技術(shù)領(lǐng)域，具體的是一種可刪除重復(fù)數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)。
【背景技術(shù)】
[0002]伴隨著全球化電子商務(wù)、無(wú)紙化辦公和云計(jì)算的大規(guī)模開(kāi)展，在各種應(yīng)用系統(tǒng)的存儲(chǔ)設(shè)備上，信息正以數(shù)據(jù)存儲(chǔ)的TB甚至是PB級(jí)方式高速增長(zhǎng).正如EMCCE0喬圖斯對(duì)股東們說(shuō)的那樣“IT行業(yè)出現(xiàn)了最勢(shì)不可擋的兩種趨勢(shì):云計(jì)算和海量數(shù)據(jù)”。伴隨著云計(jì)算的迅猛發(fā)展，海量數(shù)據(jù)的高效存儲(chǔ)需求和管理成為一個(gè)研究的重點(diǎn)。

【發(fā)明內(nèi)容】

[0003]針對(duì)上述現(xiàn)有技術(shù)，本發(fā)明提出了一種可刪除重復(fù)數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，具體技術(shù)方案如下:
一種可刪除重復(fù)數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括自動(dòng)精簡(jiǎn)的屬性設(shè)置和重刪技術(shù)的屬性設(shè)置；自動(dòng)精簡(jiǎn)的屬性設(shè)置建立的NAS分區(qū)可以創(chuàng)建大于物理存儲(chǔ)的邏輯卷，各個(gè)邏輯卷共享整個(gè)存儲(chǔ)池的大小，使用setquota設(shè)置邏輯卷的大小.建立的SAN分區(qū)可以創(chuàng)建大于物理存儲(chǔ)大小的邏輯卷，建立的分區(qū)大小是自己設(shè)定的，獨(dú)立于存儲(chǔ)池大小之外，但可用存儲(chǔ)池的大小還是原來(lái)存儲(chǔ)池的大小，只是在分區(qū)顯示時(shí)存儲(chǔ)池的利用率是假象還是真實(shí)的情況，使用zfscreate-s-bl28K_V設(shè)置邏輯卷的大?。挥成涑鰜?lái)的磁盤就是自動(dòng)精簡(jiǎn)配置設(shè)置的大小，但可用的容量還是原來(lái)總存儲(chǔ)池的大小，當(dāng)LiveStor管理員通過(guò)設(shè)置的存儲(chǔ)池告警獲得警告信息，就要按需擴(kuò)容后端存儲(chǔ)，添加硬盤，為用戶提供持續(xù)可用的高效存儲(chǔ)；
重刪技術(shù)的屬性設(shè)置的重刪功能是基于塊級(jí)的重復(fù)數(shù)據(jù)刪除，默認(rèn)使用的是SHA-256，不作校驗(yàn)；利用SHA-256哈希函數(shù)提供數(shù)據(jù)塊級(jí)重復(fù)數(shù)據(jù)刪除功能，開(kāi)啟重復(fù)數(shù)據(jù)刪除的LiveStor需要較強(qiáng)的處理能力，因此提高處理器能力和內(nèi)存就可以提高重復(fù)數(shù)據(jù)刪除的速度；對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)設(shè)置了 3個(gè)屬性值，分別為on，off, verify ;當(dāng)屬性設(shè)置為on時(shí)，這種方法是在重刪技術(shù)中速度最快的，因?yàn)樗前磯K的哈希值進(jìn)行對(duì)比重刪的，但是這種重刪存在2256的可能性將不同的數(shù)據(jù)作為相同的哈希值來(lái)刪除；為了確保散列重復(fù)數(shù)據(jù)刪除的安全性，可以將重刪功能的屬性值設(shè)為verify，讓存儲(chǔ)數(shù)據(jù)進(jìn)行全部字節(jié)對(duì)比；針對(duì)重復(fù)數(shù)據(jù)刪除，也可以使用改進(jìn)的、簡(jiǎn)單的散列算法來(lái)減少所需的處理能力，并將它與驗(yàn)證功能結(jié)合在一起以提高重復(fù)數(shù)據(jù)刪除的整體速度；重復(fù)數(shù)據(jù)刪除功能可根據(jù)文件系統(tǒng)的大小進(jìn)行調(diào)整塊的大小，設(shè)置塊大小為128KB，塊的大小可以自動(dòng)配置，重刪技術(shù)可以有選擇地設(shè)置，可以針對(duì)包含重復(fù)多的數(shù)據(jù)，在存儲(chǔ)時(shí)就進(jìn)行重復(fù)數(shù)據(jù)刪除工作，節(jié)約硬盤的使用，對(duì)重復(fù)數(shù)據(jù)少的數(shù)據(jù)不進(jìn)行重刪，提高數(shù)據(jù)的讀寫速度。
[0004]有益效果:
1.本發(fā)明提出的大數(shù)據(jù)存儲(chǔ)系統(tǒng)具有高性能、高可用性、易用、易管理的特點(diǎn)。能提高存儲(chǔ)性能，減少環(huán)境的壓力，降低總體實(shí)現(xiàn)成本，降低能耗和降低二氧化碳排放量，符合綠色存儲(chǔ)的要求。
[0005]2.本發(fā)明提出的大數(shù)據(jù)存儲(chǔ)系統(tǒng)不僅提供高效存儲(chǔ)，還能基于快照技術(shù)為用戶提供本地邏輯分區(qū)的持續(xù)數(shù)據(jù)保護(hù)，結(jié)合本地CDP提供遠(yuǎn)程復(fù)制和恢復(fù)功能，滿足生產(chǎn)運(yùn)行的連續(xù)性和災(zāi)難恢復(fù)的需求，最大程度地保護(hù)用戶數(shù)據(jù)安全。
【具體實(shí)施方式】
[0006]—種可刪除重復(fù)數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括自動(dòng)精簡(jiǎn)的屬性設(shè)置和重刪技術(shù)的屬性設(shè)置；
自動(dòng)精簡(jiǎn)的屬性設(shè)置建立的NAS分區(qū)可以創(chuàng)建大于物理存儲(chǔ)的邏輯卷，各個(gè)邏輯卷共享整個(gè)存儲(chǔ)池的大小，使用setquota設(shè)置邏輯卷的大小.建立的SAN分區(qū)可以創(chuàng)建大于物理存儲(chǔ)大小的邏輯卷，建立的分區(qū)大小是自己設(shè)定的，獨(dú)立于存儲(chǔ)池大小之外，但可用存儲(chǔ)池的大小還是原來(lái)存儲(chǔ)池的大小，只是在分區(qū)顯示時(shí)存儲(chǔ)池的利用率是假象還是真實(shí)的情況，使用zfscreate-s-bl28K_V設(shè)置邏輯卷的大??；映射出來(lái)的磁盤就是自動(dòng)精簡(jiǎn)配置設(shè)置的大小，但可用的容量還是原來(lái)總存儲(chǔ)池的大小，當(dāng)LiveStor管理員通過(guò)設(shè)置的存儲(chǔ)池告警獲得警告信息，就要按需擴(kuò)容后端存儲(chǔ)，添加硬盤，為用戶提供持續(xù)可用的高效存儲(chǔ)；重刪技術(shù)的屬性設(shè)置的重刪功能是基于塊級(jí)的重復(fù)數(shù)據(jù)刪除，默認(rèn)使用的是SHA-256，不作校驗(yàn)；利用SHA-256哈希函數(shù)提供數(shù)據(jù)塊級(jí)重復(fù)數(shù)據(jù)刪除功能，開(kāi)啟重復(fù)數(shù)據(jù)刪除的LiveStor需要較強(qiáng)的處理能力，因此提高處理器能力和內(nèi)存就可以提高重復(fù)數(shù)據(jù)刪除的速度；對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)設(shè)置了 3個(gè)屬性值，分別為on，off, verify ;當(dāng)屬性設(shè)置為on時(shí)，這種方法是在重刪技術(shù)中速度最快的，因?yàn)樗前磯K的哈希值進(jìn)行對(duì)比重刪的，但是這種重刪存在2256的可能性將不同的數(shù)據(jù)作為相同的哈希值來(lái)刪除；為了確保散列重復(fù)數(shù)據(jù)刪除的安全性，可以將重刪功能的屬性值設(shè)為verify，讓存儲(chǔ)數(shù)據(jù)進(jìn)行全部字節(jié)對(duì)比；針對(duì)重復(fù)數(shù)據(jù)刪除，也可以使用改進(jìn)的、簡(jiǎn)單的散列算法來(lái)減少所需的處理能力，并將它與驗(yàn)證功能結(jié)合在一起以提高重復(fù)數(shù)據(jù)刪除的整體速度；重復(fù)數(shù)據(jù)刪除功能可根據(jù)文件系統(tǒng)的大小進(jìn)行調(diào)整塊的大小，設(shè)置塊大小為128KB，塊的大小可以自動(dòng)配置，重刪技術(shù)可以有選擇地設(shè)置，可以針對(duì)包含重復(fù)多的數(shù)據(jù)，在存儲(chǔ)時(shí)就進(jìn)行重復(fù)數(shù)據(jù)刪除工作，節(jié)約硬盤的使用，對(duì)重復(fù)數(shù)據(jù)少的數(shù)據(jù)不進(jìn)行重刪，提高數(shù)據(jù)的讀寫速度。
【主權(quán)項(xiàng)】
1.一種可刪除重復(fù)數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，包括自動(dòng)精簡(jiǎn)的屬性設(shè)置和重刪技術(shù)的屬性設(shè)置； 自動(dòng)精簡(jiǎn)的屬性設(shè)置建立的NAS分區(qū)可以創(chuàng)建大于物理存儲(chǔ)的邏輯卷，各個(gè)邏輯卷共享整個(gè)存儲(chǔ)池的大小，使用setquota設(shè)置邏輯卷的大小.建立的SAN分區(qū)可以創(chuàng)建大于物理存儲(chǔ)大小的邏輯卷，建立的分區(qū)大小是自己設(shè)定的，獨(dú)立于存儲(chǔ)池大小之外，但可用存儲(chǔ)池的大小還是原來(lái)存儲(chǔ)池的大小，只是在分區(qū)顯示時(shí)存儲(chǔ)池的利用率是假象還是真實(shí)的情況，使用zfscreate-s-bl28K_V設(shè)置邏輯卷的大??；映射出來(lái)的磁盤就是自動(dòng)精簡(jiǎn)配置設(shè)置的大小，但可用的容量還是原來(lái)總存儲(chǔ)池的大小，當(dāng)LiveStor管理員通過(guò)設(shè)置的存儲(chǔ)池告警獲得警告信息，就要按需擴(kuò)容后端存儲(chǔ)，添加硬盤，為用戶提供持續(xù)可用的高效存儲(chǔ)； 重刪技術(shù)的屬性設(shè)置的重刪功能是基于塊級(jí)的重復(fù)數(shù)據(jù)刪除，默認(rèn)使用的是SHA-256，不作校驗(yàn)；利用SHA-256哈希函數(shù)提供數(shù)據(jù)塊級(jí)重復(fù)數(shù)據(jù)刪除功能，開(kāi)啟重復(fù)數(shù)據(jù)刪除的LiveStor需要較強(qiáng)的處理能力，因此提高處理器能力和內(nèi)存就可以提高重復(fù)數(shù)據(jù)刪除的速度；對(duì)重復(fù)數(shù)據(jù)刪除技術(shù)設(shè)置了 3個(gè)屬性值，分別為on，off, verify ;當(dāng)屬性設(shè)置為on時(shí)，這種方法是在重刪技術(shù)中速度最快的，因?yàn)樗前磯K的哈希值進(jìn)行對(duì)比重刪的，但是這種重刪存在2256的可能性將不同的數(shù)據(jù)作為相同的哈希值來(lái)刪除；為了確保散列重復(fù)數(shù)據(jù)刪除的安全性，可以將重刪功能的屬性值設(shè)為verify，讓存儲(chǔ)數(shù)據(jù)進(jìn)行全部字節(jié)對(duì)比；針對(duì)重復(fù)數(shù)據(jù)刪除，也可以使用改進(jìn)的、簡(jiǎn)單的散列算法來(lái)減少所需的處理能力，并將它與驗(yàn)證功能結(jié)合在一起以提高重復(fù)數(shù)據(jù)刪除的整體速度；重復(fù)數(shù)據(jù)刪除功能可根據(jù)文件系統(tǒng)的大小進(jìn)行調(diào)整塊的大小，設(shè)置塊大小為128KB，塊的大小可以自動(dòng)配置，重刪技術(shù)可以有選擇地設(shè)置，可以針對(duì)包含重復(fù)多的數(shù)據(jù)，在存儲(chǔ)時(shí)就進(jìn)行重復(fù)數(shù)據(jù)刪除工作，節(jié)約硬盤的使用，對(duì)重復(fù)數(shù)據(jù)少的數(shù)據(jù)不進(jìn)行重刪，提高數(shù)據(jù)的讀寫速度。
【專利摘要】本發(fā)明屬于信息技術(shù)領(lǐng)域，具體的是一種可刪除重復(fù)數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)。重復(fù)數(shù)據(jù)刪除功能可根據(jù)文件系統(tǒng)的大小進(jìn)行調(diào)整塊的大小，設(shè)置塊大小為128KB，塊的大小可以自動(dòng)配置，重刪技術(shù)可以有選擇地設(shè)置，可以針對(duì)包含重復(fù)多的數(shù)據(jù)，在存儲(chǔ)時(shí)就進(jìn)行重復(fù)數(shù)據(jù)刪除工作，節(jié)約硬盤的使用，對(duì)重復(fù)數(shù)據(jù)少的數(shù)據(jù)不進(jìn)行重刪，提高數(shù)據(jù)的讀寫速度。
【IPC分類】G06F3/06
【公開(kāi)號(hào)】CN105373349
【申請(qǐng)?zhí)枴緾N201510744661
【發(fā)明人】溫立平
【申請(qǐng)人】江蘇翰諾信息科技發(fā)展有限公司
【公開(kāi)日】2016年3月2日
【申請(qǐng)日】2015年10月30日