亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

海量數(shù)據(jù)查詢(xún)方法及設(shè)備的制作方法

文檔序號(hào):6334109閱讀:992來(lái)源:國(guó)知局

專(zhuān)利名稱(chēng)::海量數(shù)據(jù)查詢(xún)方法及設(shè)備的制作方法
技術(shù)領(lǐng)域
:本發(fā)明涉及數(shù)據(jù)查詢(xún)技術(shù),具體涉及一種海量數(shù)據(jù)查詢(xún)方法及設(shè)備。
背景技術(shù)
:目前,移動(dòng)計(jì)費(fèi)系統(tǒng)涉及到話單處理的相關(guān)數(shù)據(jù)表數(shù)據(jù)相當(dāng)龐大,對(duì)于開(kāi)發(fā)人員、運(yùn)維人員等做生產(chǎn)操作,尤其是日常的數(shù)據(jù)檢索統(tǒng)計(jì)等,操作效率非常低,主要表現(xiàn)為以下幾個(gè)方面1.數(shù)據(jù)的查詢(xún)統(tǒng)計(jì)是日常生產(chǎn)的重要活動(dòng),而對(duì)大數(shù)據(jù)表盡管做了優(yōu)化查詢(xún)處理,正常的整個(gè)操作過(guò)程經(jīng)常要花費(fèi)幾分鐘甚至十幾分鐘,大大影響生產(chǎn)線人員的工作效率;2.系統(tǒng)資源緊張,有時(shí)候?qū)o急問(wèn)題的數(shù)據(jù)庫(kù)查詢(xún)搶占了部分資源,影響正常的生產(chǎn)線效率;3.對(duì)一些歷史的數(shù)據(jù),由于數(shù)據(jù)庫(kù)資源往往會(huì)做定期清理,導(dǎo)致一些問(wèn)題回溯不到根源。當(dāng)然,海量數(shù)據(jù)庫(kù)操作不只在計(jì)費(fèi)系統(tǒng),而是普遍存在于現(xiàn)代高速發(fā)展的信息產(chǎn)業(yè)當(dāng)中。在現(xiàn)代信息化的管理中,如何提高海量數(shù)據(jù)操作效率已經(jīng)是一個(gè)普遍的課題。目前,對(duì)海量數(shù)據(jù)庫(kù)的查詢(xún)優(yōu)化方案比較常見(jiàn)的有索引技術(shù),索引是除表之外另一重要的、用戶(hù)定義的存儲(chǔ)在物理介質(zhì)上的數(shù)據(jù)結(jié)構(gòu)。當(dāng)根據(jù)索引碼的值搜索數(shù)據(jù)時(shí),索引提供了對(duì)數(shù)據(jù)的快速訪問(wèn),針對(duì)海量數(shù)據(jù)表建立適當(dāng)?shù)乃饕?,?duì)千萬(wàn)級(jí)的數(shù)據(jù)進(jìn)行檢索能有效提高速度。通過(guò)索引技術(shù)雖然能在一定程度上提高對(duì)數(shù)據(jù)庫(kù)訪問(wèn)的效率,但也有其缺點(diǎn),主要如下第一、創(chuàng)建索引和維護(hù)索引要耗費(fèi)時(shí)間,這種時(shí)間隨著數(shù)據(jù)量的增加而增加。第二、索引需要占物理空間,除了數(shù)據(jù)表占物理空間之外,每一個(gè)索引還要占一定的物理空間,如果要建立聚簇索引,則需要的空間會(huì)更大。第三、當(dāng)對(duì)表中的數(shù)據(jù)進(jìn)行增加、刪除和修改的時(shí)候,索引也要?jiǎng)討B(tài)地維護(hù),這樣就降低了數(shù)據(jù)的維護(hù)速度。另外,即使對(duì)于再適當(dāng)?shù)乃饕€是建立在數(shù)據(jù)庫(kù)的基礎(chǔ)上,無(wú)法擺脫對(duì)數(shù)據(jù)庫(kù)的依賴(lài),而且對(duì)于千萬(wàn)數(shù)量級(jí)以上且多字段數(shù)據(jù)表的查詢(xún)依然比較費(fèi)時(shí)。
發(fā)明內(nèi)容本發(fā)明實(shí)施例針對(duì)上述現(xiàn)有技術(shù)存在的缺點(diǎn),提供一種海量數(shù)據(jù)查詢(xún)方法及設(shè)備,以弱化客戶(hù)端對(duì)數(shù)據(jù)庫(kù)的依賴(lài)性,并提高查詢(xún)效率。為此,本發(fā)明實(shí)施例提供如下技術(shù)方案一種海量數(shù)據(jù)查詢(xún)方法,包括接收客戶(hù)端發(fā)起的資源配置請(qǐng)求,所述資源配置請(qǐng)求中攜帶數(shù)據(jù)表連接的相關(guān)信3息;和/或攜帶指定的關(guān)鍵數(shù)據(jù)表字段;從數(shù)據(jù)庫(kù)中提取出所述數(shù)據(jù)表,生成文件系統(tǒng)數(shù)據(jù);將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中;在收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。優(yōu)選地,所述資源配置請(qǐng)求是客戶(hù)端定時(shí)發(fā)起的。優(yōu)選地,所述方法還包括在將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中時(shí),如果需要進(jìn)行計(jì)算,則根據(jù)所述數(shù)據(jù)表字段的類(lèi)型對(duì)數(shù)據(jù)表字段進(jìn)行格式轉(zhuǎn)換。優(yōu)選地,所述方法還包括對(duì)加載到共享內(nèi)存中的文件系統(tǒng)數(shù)據(jù)進(jìn)行歸類(lèi),生成不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)。優(yōu)選地,所述方法還包括分別建立對(duì)應(yīng)所述不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)的一個(gè)或多個(gè)索引;所述從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)包括根據(jù)所述索引從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。優(yōu)選地,所述方法還包括將從所述共享內(nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)保存到文件中;和/或?qū)乃龉蚕韮?nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)展現(xiàn)給用戶(hù)。一種海量數(shù)據(jù)查詢(xún)?cè)O(shè)備,包括配置請(qǐng)求接收單元,用于接收客戶(hù)端發(fā)起的資源配置請(qǐng)求,所述資源配置請(qǐng)求中攜帶數(shù)據(jù)表連接的相關(guān)信息;和/或攜帶指定的關(guān)鍵數(shù)據(jù)表字段;提取單元,用于從數(shù)據(jù)庫(kù)中提取出所述數(shù)據(jù)表,生成文件系統(tǒng)數(shù)據(jù);加載單元,用于將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中;查詢(xún)請(qǐng)求接收單元,用于接收用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求;查詢(xún)單元,用于在所述查詢(xún)請(qǐng)求接收單元收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。優(yōu)選地,所述設(shè)備還包括格式轉(zhuǎn)換單元,用于在所述加載單元將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存并且需要進(jìn)行計(jì)算時(shí),根據(jù)所述數(shù)據(jù)表字段的類(lèi)型對(duì)數(shù)據(jù)表字段進(jìn)行格式轉(zhuǎn)換。優(yōu)選地,所述設(shè)備還包括歸類(lèi)單元,用于對(duì)加載到共享內(nèi)存中的文件系統(tǒng)數(shù)據(jù)進(jìn)行歸類(lèi),生成不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)。0041]優(yōu)選地,所述設(shè)備還包括索引單元,用于分別建立對(duì)應(yīng)所述不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)的一個(gè)或多個(gè)索引;所述查詢(xún)單元,具體用于根據(jù)所述索引從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。優(yōu)選地,所述設(shè)備還包括存儲(chǔ)單元,用于將從所述共享內(nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)保存到文件中;和/或展現(xiàn)單元,用于將從所述共享內(nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)展現(xiàn)給用戶(hù)。本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)方法及設(shè)備,將對(duì)數(shù)據(jù)庫(kù)資源占用的時(shí)間聚集在一個(gè)空閑時(shí)段,將對(duì)數(shù)據(jù)庫(kù)資源及操作系統(tǒng)的占用統(tǒng)一轉(zhuǎn)移到對(duì)文件操作系統(tǒng)的資源占用,從而有效地弱化了客戶(hù)端對(duì)數(shù)據(jù)庫(kù)的依賴(lài)性,減輕了數(shù)據(jù)庫(kù)的負(fù)荷,并提高了查詢(xún)效率。為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本申請(qǐng)中記載的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,還可以根據(jù)這些附圖獲得其他的附圖。圖1是本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)方法的流程圖;圖2是本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)?cè)O(shè)備的一種結(jié)構(gòu)示意圖;圖3是本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)?cè)O(shè)備的另一種結(jié)構(gòu)示意圖。具體實(shí)施例方式為了使本
技術(shù)領(lǐng)域
的人員更好地理解本發(fā)明方案,下面結(jié)合附圖和實(shí)施方式對(duì)本發(fā)明實(shí)施例作進(jìn)一步的詳細(xì)說(shuō)明。本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)方法及設(shè)備,針對(duì)現(xiàn)有技術(shù)海量數(shù)據(jù)查詢(xún)對(duì)數(shù)據(jù)庫(kù)資源的消耗比較大,即使索引技術(shù)再先進(jìn),也無(wú)法擺脫對(duì)數(shù)據(jù)庫(kù)資源的束縛的問(wèn)題,利用一個(gè)查詢(xún)代理服務(wù)器或者中間件,將對(duì)數(shù)據(jù)庫(kù)資源的占用時(shí)段及方式進(jìn)行轉(zhuǎn)移,弱化客戶(hù)端對(duì)數(shù)據(jù)庫(kù)的依賴(lài)性,并提高查詢(xún)效率。如圖1所示,是本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)方法的流程圖,包括以下基本步驟步驟101,接收客戶(hù)端發(fā)起的資源配置請(qǐng)求,所述資源配置請(qǐng)求中攜帶連接數(shù)據(jù)表相關(guān)信息,和/或攜帶指定的關(guān)鍵數(shù)據(jù)表字段。考慮到一般索引查詢(xún)對(duì)數(shù)據(jù)庫(kù)資源占用的時(shí)間比較散,特別在生產(chǎn)系統(tǒng)忙時(shí)占用數(shù)據(jù)庫(kù)會(huì)給數(shù)據(jù)庫(kù)造成較大的負(fù)載,甚至?xí)绊懙秸5纳a(chǎn)系統(tǒng),因此,在本發(fā)明實(shí)施例中,為了弱化對(duì)數(shù)據(jù)庫(kù)資源的依賴(lài)性并減少對(duì)正常業(yè)務(wù)處理的影響,可以周期性地將對(duì)占用數(shù)據(jù)庫(kù)資源的時(shí)間聚集在一個(gè)空閑時(shí)段,比如,在每天凌晨閑時(shí)的1:00至4:00時(shí)段。由客戶(hù)端定時(shí)發(fā)起資源配置請(qǐng)求,資源配置請(qǐng)求中攜帶連接數(shù)據(jù)表相關(guān)信息、和/或需要查詢(xún)或統(tǒng)計(jì)的關(guān)鍵數(shù)據(jù)表字段等信息。在具體應(yīng)用,客戶(hù)端可以采用用戶(hù)配置清單的方式,將需要從數(shù)據(jù)庫(kù)中采集的數(shù)據(jù)表及相關(guān)信息通過(guò)所述資源配置請(qǐng)求發(fā)送給查詢(xún)代理服務(wù)器。比如,所述用戶(hù)配置清單可以包括以下主要信息[db]連接的數(shù)據(jù)庫(kù)名;[usr]:數(shù)據(jù)庫(kù)用戶(hù)名;[pwd]數(shù)據(jù)庫(kù)用戶(hù)名對(duì)應(yīng)密碼;[table]連接的數(shù)據(jù)表名;[field]指定加載的數(shù)據(jù)表字段,或用*表示加載所有數(shù)據(jù)表字段;[sql]指定預(yù)處理常用的SQL語(yǔ)句,系統(tǒng)根據(jù)這些SQL語(yǔ)句后臺(tái)做預(yù)處理,并時(shí)刻保持最新的處理結(jié)果。當(dāng)然,本發(fā)明實(shí)施例并不限定所述用戶(hù)配置清單的具體格式,而且也不限定其所包含的具體信息。步驟102,從數(shù)據(jù)庫(kù)中提取出所述數(shù)據(jù)表,生成文件系統(tǒng)數(shù)據(jù)。根據(jù)需要,可以從數(shù)據(jù)庫(kù)中提取出一個(gè)或多個(gè)數(shù)據(jù)表,每個(gè)數(shù)據(jù)表可以作為一個(gè)文本文件。所述文本文件中的數(shù)據(jù)作為文件系統(tǒng)數(shù)據(jù)存儲(chǔ)。步驟103,將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中。在存儲(chǔ)所述文件系統(tǒng)數(shù)據(jù)時(shí),可以以數(shù)據(jù)表名為目錄,以日期為文件名,每個(gè)周期增量的數(shù)據(jù)保存在相應(yīng)的文件中。比如,以話單異常掛起月表為例,該表命名為dsU_Cdr_yyyymm,在201003月建立目錄dsu_cdr_201003,表更新周期為1天,目錄下生成文件為20100301...20100331共31個(gè)文件,每天按增量數(shù)據(jù)增加一個(gè)。需要說(shuō)明的是,在將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中時(shí),如果需要進(jìn)行計(jì)算,可以根據(jù)所述數(shù)據(jù)表字段的類(lèi)型對(duì)數(shù)據(jù)表字段進(jìn)行格式轉(zhuǎn)換,例如將字段從字符串格式轉(zhuǎn)換為浮點(diǎn)格式。另外,在將文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存之前,還可以對(duì)其進(jìn)行歸類(lèi),生成不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)。所述共享內(nèi)存的空間可以根據(jù)數(shù)據(jù)格式化后的類(lèi)型占用空間來(lái)估算,比如可以按以下公式來(lái)計(jì)算每條記錄占用的內(nèi)存*文件記錄數(shù)數(shù)量級(jí)*文件數(shù)。步驟104,在收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。具體地,可以對(duì)共享內(nèi)存中的數(shù)據(jù)進(jìn)行篩選運(yùn)算,得到用戶(hù)查詢(xún)的數(shù)據(jù)。具體的篩選方式可根據(jù)實(shí)際需要,采用一些常用的篩選運(yùn)算,對(duì)此本發(fā)明實(shí)施例不做限定。在將用戶(hù)查詢(xún)的數(shù)據(jù)從所述共享內(nèi)存中提取出來(lái)后,可以將這些數(shù)據(jù)保存到文件中,或者將這些數(shù)據(jù)直接展現(xiàn)給用戶(hù),由用戶(hù)選擇是否對(duì)其進(jìn)行保存。當(dāng)然,還可以自動(dòng)將這些數(shù)據(jù)保存到文件中并同時(shí)展現(xiàn)給用戶(hù)。在本發(fā)明實(shí)施例中,對(duì)于共享內(nèi)存中存儲(chǔ)的文件系統(tǒng)數(shù)據(jù)的查詢(xún),可以按照類(lèi)似現(xiàn)有數(shù)據(jù)庫(kù)查詢(xún)的方式,預(yù)先分別建立對(duì)應(yīng)不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)的一個(gè)或多個(gè)索引,在收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,根據(jù)所述索引從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。為了提高效率并有針對(duì)性,索引可以不對(duì)數(shù)據(jù)表中所有字段做窮舉,而是針對(duì)用戶(hù)配置的SQL語(yǔ)句指定的一些字段,這樣既能在系統(tǒng)內(nèi)部處理時(shí)提高效率,也能在用戶(hù)發(fā)起查詢(xún)請(qǐng)求時(shí)快速檢索一些數(shù)據(jù)。本發(fā)明實(shí)施例并不限于通過(guò)文件系統(tǒng)的方式對(duì)數(shù)據(jù)進(jìn)行處理,還可采用其他方式直接在共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。另外,在本發(fā)明實(shí)施例中,還可以針對(duì)一些常用的查詢(xún),比如用戶(hù)用類(lèi)似selectsum(field)fromtable查詢(xún)語(yǔ)句,這種對(duì)某個(gè)關(guān)鍵字段進(jìn)行統(tǒng)計(jì)的情況,系統(tǒng)會(huì)將數(shù)據(jù)表從數(shù)據(jù)庫(kù)中提取并存儲(chǔ)到共享內(nèi)存后,對(duì)一些常用關(guān)鍵字段從共享內(nèi)存中篩選出來(lái)并做統(tǒng)計(jì)運(yùn)算將結(jié)果其保存到文件中。這樣,在收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,如果用戶(hù)查詢(xún)的是這類(lèi)數(shù)據(jù),則可直接將預(yù)先篩選出并保存到文件中的相應(yīng)數(shù)據(jù)展現(xiàn)給用戶(hù)。需要說(shuō)明的是,在具體應(yīng)用時(shí),可以由查詢(xún)代理服務(wù)器或者類(lèi)似中間件方式實(shí)施本發(fā)明實(shí)施例的方法,即該方法或設(shè)備在客戶(hù)端與數(shù)據(jù)庫(kù)之間起到一個(gè)橋梁作用,也就是說(shuō),將現(xiàn)有技術(shù)由客戶(hù)端對(duì)數(shù)據(jù)庫(kù)的查詢(xún)轉(zhuǎn)移為客戶(hù)端與查詢(xún)代理服務(wù)器、以及查詢(xún)代理服務(wù)器與數(shù)據(jù)庫(kù)之間的交互。所述查詢(xún)代理服務(wù)器可以是一臺(tái)獨(dú)立的專(zhuān)用服務(wù)器,也可以同時(shí)提供其他服務(wù),比如可以在其他服務(wù)器上開(kāi)辟一塊專(zhuān)用的存儲(chǔ)區(qū)和專(zhuān)用共享內(nèi)存區(qū),以提供查詢(xún)服務(wù)使用。當(dāng)然,不論是采用哪種方式的查詢(xún)代理服務(wù)器,都可以與所述數(shù)據(jù)庫(kù)所在生產(chǎn)系統(tǒng)直接相連。所述查詢(xún)代理服務(wù)器對(duì)于客戶(hù)端而言,相當(dāng)于數(shù)據(jù)服務(wù)器,可以部署到網(wǎng)絡(luò)中,提供網(wǎng)內(nèi)并發(fā)數(shù)據(jù)查詢(xún)??梢?jiàn),本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)方法,將對(duì)數(shù)據(jù)庫(kù)資源占用的時(shí)間聚集在一個(gè)空閑時(shí)段,將對(duì)數(shù)據(jù)庫(kù)資源及操作系統(tǒng)的占用統(tǒng)一轉(zhuǎn)移到對(duì)文件操作系統(tǒng)的資源占用,從而有效地弱化了客戶(hù)端對(duì)數(shù)據(jù)庫(kù)的依賴(lài)性,減輕了數(shù)據(jù)庫(kù)的負(fù)荷,并提高了查詢(xún)效率。進(jìn)一步地,將對(duì)數(shù)據(jù)庫(kù)的索引技術(shù)可以轉(zhuǎn)化為到對(duì)文件的索引排序算法,可以提高查詢(xún)效率,方便地實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的訪問(wèn)。由于對(duì)數(shù)據(jù)庫(kù)的一個(gè)查詢(xún)往往只能針對(duì)目前的數(shù)據(jù)表中的數(shù)據(jù)得到查詢(xún)結(jié)果,如果數(shù)據(jù)庫(kù)中的數(shù)據(jù)增加了則還需要再重新查詢(xún)一遍,而且速度會(huì)隨著數(shù)據(jù)增長(zhǎng)而變慢。因此,在本發(fā)明實(shí)施例中,針對(duì)這種情況,還可以通過(guò)增量性預(yù)處理方式,進(jìn)一步提高處理效率。具體地,可以在前面提到的用戶(hù)配置清單中設(shè)置以下信息[period],更新數(shù)據(jù)周期,以天為單位。在數(shù)據(jù)庫(kù)更新時(shí),對(duì)統(tǒng)計(jì)查詢(xún)的預(yù)處理也會(huì)做相應(yīng)的更新。這樣,可以使從數(shù)據(jù)庫(kù)中預(yù)提取的數(shù)據(jù)表保持最新,大大提高查詢(xún)效率。相應(yīng)地,本發(fā)明實(shí)施例還提供一種海量數(shù)據(jù)查詢(xún)?cè)O(shè)備,如圖2所示,是該設(shè)備的一種結(jié)構(gòu)示意圖。在該實(shí)施例中,所述設(shè)備200包括配置請(qǐng)求接收單元201,用于接收客戶(hù)端發(fā)起的資源配置請(qǐng)求,所述資源配置請(qǐng)求中攜帶數(shù)據(jù)表連接的相關(guān)信息;和/或攜帶指定的關(guān)鍵數(shù)據(jù)表字段;提取單元202,用于在所述配置請(qǐng)求接收單元201接收到所述資源配置請(qǐng)求后,從數(shù)據(jù)庫(kù)300中提取出所述數(shù)據(jù)表,生成文件系統(tǒng)數(shù)據(jù);具體地,提取單元202可以對(duì)共享內(nèi)存中的數(shù)據(jù)進(jìn)行篩選運(yùn)算,得到用戶(hù)查詢(xún)的數(shù)據(jù)。具體的篩選方式可根據(jù)實(shí)際需要,采用一些常用的篩選運(yùn)算,對(duì)此本發(fā)明實(shí)施例不做限定;加載單元203,用于將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存204中;查詢(xún)請(qǐng)求接收單元205,用于接收用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求;查詢(xún)單元206,用于在所述查詢(xún)請(qǐng)求接收單元205收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,從所述共享內(nèi)存204中提取用戶(hù)查詢(xún)的數(shù)據(jù)。本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)?cè)O(shè)備,將對(duì)數(shù)據(jù)庫(kù)資源占用的時(shí)間聚集在一個(gè)空閑時(shí)段,將對(duì)數(shù)據(jù)庫(kù)資源及操作系統(tǒng)的占用統(tǒng)一轉(zhuǎn)移到對(duì)文件操作系統(tǒng)的資源占用,從而有效地弱化了客戶(hù)端對(duì)數(shù)據(jù)庫(kù)的依賴(lài)性,減輕了數(shù)據(jù)庫(kù)的負(fù)荷,并提高了查詢(xún)效率。利用本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)?cè)O(shè)備實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)查詢(xún)的具體過(guò)程可參照前面本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)方法中的描述,在此不再贅述。需要說(shuō)明的是,在將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中時(shí),有可能需要進(jìn)行計(jì)算,為此,在所述設(shè)備200中還可進(jìn)一步包括格式轉(zhuǎn)換單元(未圖示),用于在所述加載單元203將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存204并且需要進(jìn)行計(jì)算時(shí),根據(jù)所述數(shù)據(jù)表字段的類(lèi)型對(duì)數(shù)據(jù)表字段進(jìn)行格式轉(zhuǎn)換。另外,所述設(shè)備200還可進(jìn)一步包括歸類(lèi)單元(未圖示),用于對(duì)加載到共享內(nèi)存204中的文件系統(tǒng)數(shù)據(jù)進(jìn)行歸類(lèi),生成不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)。本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)?cè)O(shè)備,將對(duì)數(shù)據(jù)庫(kù)資源及操作系統(tǒng)的占用統(tǒng)一轉(zhuǎn)移到對(duì)文件操作系統(tǒng)的資源占用。在具體實(shí)現(xiàn)時(shí),可以有多種實(shí)現(xiàn)方式。如圖3所示,是本發(fā)明實(shí)施例海量數(shù)據(jù)查詢(xún)?cè)O(shè)備的另一種結(jié)構(gòu)示意圖。與圖2所示實(shí)施例不同的是,在該實(shí)施例中,所述海量數(shù)據(jù)查詢(xún)?cè)O(shè)備300還進(jìn)一步包括索引單元207,用于分別建立對(duì)應(yīng)所述不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)的一個(gè)或多個(gè)索引。相應(yīng)地,所述查詢(xún)單元205,具體用于根據(jù)所述索引從所述共享內(nèi)存204中提取用戶(hù)查詢(xún)的數(shù)據(jù)。這樣,將對(duì)數(shù)據(jù)庫(kù)的索引技術(shù)可以轉(zhuǎn)化為到對(duì)文件的索引排序,可以進(jìn)一步提高查詢(xún)效率,方便地實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的訪問(wèn)。當(dāng)然,本發(fā)明實(shí)施例并不限定對(duì)加載到共享內(nèi)存中的文件系統(tǒng)數(shù)據(jù)的查詢(xún)實(shí)現(xiàn)方式,還可采用其他方式。例如對(duì)于一些小數(shù)據(jù)的簡(jiǎn)單查詢(xún)可以通過(guò)讀取文件系統(tǒng)數(shù)據(jù)直接進(jìn)行運(yùn)算得出結(jié)果,而不需要開(kāi)辟一大片專(zhuān)用的共享內(nèi)存空間。需要說(shuō)明的是,不論是圖2還是圖3所示實(shí)施例所示海量數(shù)據(jù)查詢(xún)?cè)O(shè)備,所述海量數(shù)據(jù)查詢(xún)?cè)O(shè)備還可進(jìn)一步包括存儲(chǔ)單元(未圖示),用于將從所述共享內(nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)保存到文件中;和/或展現(xiàn)單元(未圖示),用于將從所述共享內(nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)展現(xiàn)給用戶(hù)。這樣,可以進(jìn)一步方便用戶(hù)的應(yīng)用,滿(mǎn)足用戶(hù)的不同應(yīng)用需求。本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述,各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可,每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處。尤其,對(duì)于系統(tǒng)實(shí)施例而言,由于其基本相似于方法實(shí)施例,所以描述得比較簡(jiǎn)單,相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。以上所描述的系統(tǒng)實(shí)施例僅僅是示意性的,其中所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下,即可以理解并實(shí)施。以上對(duì)本發(fā)明實(shí)施例進(jìn)行了詳細(xì)介紹,本文中應(yīng)用了具體實(shí)施方式對(duì)本發(fā)明進(jìn)行了闡述,以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及設(shè)備;同時(shí),對(duì)于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,綜上所述,本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。8權(quán)利要求一種海量數(shù)據(jù)查詢(xún)方法,其特征在于,包括接收客戶(hù)端發(fā)起的資源配置請(qǐng)求,所述資源配置請(qǐng)求中攜帶數(shù)據(jù)表連接的相關(guān)信息;和/或攜帶指定的關(guān)鍵數(shù)據(jù)表字段;從數(shù)據(jù)庫(kù)中提取出所述數(shù)據(jù)表,生成文件系統(tǒng)數(shù)據(jù);將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中;在收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述資源配置請(qǐng)求是客戶(hù)端定時(shí)發(fā)起的。3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述方法還包括在將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中時(shí),如果需要進(jìn)行計(jì)算,則根據(jù)所述數(shù)據(jù)表字段的類(lèi)型對(duì)數(shù)據(jù)表字段進(jìn)行格式轉(zhuǎn)換。4.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述方法還包括對(duì)加載到共享內(nèi)存中的文件系統(tǒng)數(shù)據(jù)進(jìn)行歸類(lèi),生成不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)。5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述方法還包括分別建立對(duì)應(yīng)所述不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)的一個(gè)或多個(gè)索引;所述從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)包括根據(jù)所述索引從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法,其特征在于,所述方法還包括將從所述共享內(nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)保存到文件中;和/或?qū)乃龉蚕韮?nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)展現(xiàn)給用戶(hù)。7.—種海量數(shù)據(jù)查詢(xún)?cè)O(shè)備,其特征在于,包括配置請(qǐng)求接收單元,用于接收客戶(hù)端發(fā)起的資源配置請(qǐng)求,所述資源配置請(qǐng)求中攜帶數(shù)據(jù)表連接的相關(guān)信息;和/或攜帶指定的關(guān)鍵數(shù)據(jù)表字段;提取單元,用于從數(shù)據(jù)庫(kù)中提取出所述數(shù)據(jù)表,生成文件系統(tǒng)數(shù)據(jù);加載單元,用于將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中;查詢(xún)請(qǐng)求接收單元,用于接收用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求;查詢(xún)單元,用于在所述查詢(xún)請(qǐng)求接收單元收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。8.根據(jù)權(quán)利要求7所述的設(shè)備,其特征在于,所述設(shè)備還包括格式轉(zhuǎn)換單元,用于在所述加載單元將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存并且需要進(jìn)行計(jì)算時(shí),根據(jù)所述數(shù)據(jù)表字段的類(lèi)型對(duì)數(shù)據(jù)表字段進(jìn)行格式轉(zhuǎn)換。9.根據(jù)權(quán)利要求7所述的設(shè)備,其特征在于,所述設(shè)備還包括歸類(lèi)單元,用于對(duì)加載到共享內(nèi)存中的文件系統(tǒng)數(shù)據(jù)進(jìn)行歸類(lèi),生成不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)。10.根據(jù)權(quán)利要求9所述的設(shè)備,其特征在于,所述設(shè)備還包括索引單元,用于分別建立對(duì)應(yīng)所述不同類(lèi)別的文件系統(tǒng)數(shù)據(jù)的一個(gè)或多個(gè)索引;所述查詢(xún)單元,具體用于根據(jù)所述索引從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。11.根據(jù)權(quán)利要求7至10任一項(xiàng)所述的設(shè)備,其特征在于,所述設(shè)備還包括存儲(chǔ)單元,用于將從所述共享內(nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)保存到文件中;和/或展現(xiàn)單元,用于將從所述共享內(nèi)存中提取的用戶(hù)查詢(xún)的數(shù)據(jù)展現(xiàn)給用戶(hù)。全文摘要本發(fā)明涉及數(shù)據(jù)查詢(xún)技術(shù),公開(kāi)了一種海量數(shù)據(jù)查詢(xún)方法及設(shè)備,所述方法包括接收客戶(hù)端發(fā)起的資源配置請(qǐng)求,所述資源配置請(qǐng)求中攜帶數(shù)據(jù)表連接的相關(guān)信息;和/或攜帶指定的關(guān)鍵數(shù)據(jù)表字段;從數(shù)據(jù)庫(kù)中提取出所述數(shù)據(jù)表,生成文件系統(tǒng)數(shù)據(jù);將所述文件系統(tǒng)數(shù)據(jù)加載到共享內(nèi)存中;在收到用戶(hù)對(duì)所述數(shù)據(jù)庫(kù)的查詢(xún)請(qǐng)求后,從所述共享內(nèi)存中提取用戶(hù)查詢(xún)的數(shù)據(jù)。利用本發(fā)明,可以弱化客戶(hù)端對(duì)數(shù)據(jù)庫(kù)的依賴(lài)性,減少對(duì)生產(chǎn)系統(tǒng)資源的影響,并提高查詢(xún)效率。文檔編號(hào)G06F17/30GK101937474SQ20101051258公開(kāi)日2011年1月5日申請(qǐng)日期2010年10月14日優(yōu)先權(quán)日2010年10月14日發(fā)明者林壽澤,溫文全申請(qǐng)人:廣州從興電子開(kāi)發(fā)有限公司
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1