一種非規(guī)則流中高維數(shù)據(jù)流的gpu處理方法
【專利摘要】本發(fā)明公開了一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，屬于高維數(shù)據(jù)流的處理方法，采用基于GPU的數(shù)據(jù)流并行計(jì)算模型對(duì)數(shù)據(jù)源的非規(guī)則流中高維數(shù)據(jù)流進(jìn)行并行計(jì)算處理，處理后傳給客戶端；CPU主機(jī)是邏輯判斷和控制的核心，并負(fù)責(zé)串行計(jì)算；概要數(shù)據(jù)結(jié)構(gòu)的全部或者部分轉(zhuǎn)移到GPU設(shè)備的顯存中；當(dāng)客戶端提出查詢請(qǐng)求時(shí)，CPU主機(jī)負(fù)責(zé)調(diào)用GPU設(shè)備的內(nèi)核程序，在GPU設(shè)備顯存中的概要數(shù)據(jù)結(jié)構(gòu)上執(zhí)行查詢算法內(nèi)核，并將查詢結(jié)果返回CPU主機(jī)，最后再由CPU主機(jī)將結(jié)果轉(zhuǎn)換為可讀的最終查詢結(jié)果返回給客戶端。本發(fā)明能夠在線精確地識(shí)別同步滑動(dòng)窗口模式下高維數(shù)據(jù)流之間的相關(guān)性，具有顯著的速度優(yōu)勢(shì)，很好地滿足了高維數(shù)據(jù)流的實(shí)時(shí)性需求。
【專利說明】一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種高維數(shù)據(jù)流的處理方法，具體地說是一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法。

【背景技術(shù)】
[0002]GPU (Graphic Processing Unit),中文翻譯為“圖形處理器”。GPU是顯卡的“心臟”，也就相當(dāng)于CPU在電腦中的作用。GPU具有相當(dāng)高的內(nèi)存帶寬，以及大量的執(zhí)行單元，它可幫助CPU進(jìn)行一些復(fù)雜的計(jì)算工作，使顯卡減少了對(duì)CPU的依賴。
[0003]傳統(tǒng)上，GPU的應(yīng)用被局限于處理圖形渲染計(jì)算任務(wù)，無疑是對(duì)計(jì)算資源的極大浪費(fèi)。隨著GPU可編程性的不斷提高，利用GPU完成通用計(jì)算的研究漸漸活躍起來。將GPU用于圖形值染以外領(lǐng)域的計(jì)算成為GPGPU (General-purpose computing on graphicsprocessing units,基于GPU的通用計(jì)算)。GPGPU計(jì)算通常采用CPU+GPU異構(gòu)模式，由CPU負(fù)責(zé)執(zhí)行復(fù)雜邏輯處理和事務(wù)管理等不適合數(shù)據(jù)并行的計(jì)算，由GPU負(fù)責(zé)計(jì)算密集型的大規(guī)模數(shù)據(jù)并行計(jì)算。這種利用GPU強(qiáng)大處理能力和高帶寬彌補(bǔ)CPU性能不足的計(jì)算方式在發(fā)掘計(jì)算機(jī)潛在的性能，在成本和性價(jià)比方面有顯著優(yōu)勢(shì)。但是傳統(tǒng)的GPGPU受硬件可編程和開發(fā)方式的制約，應(yīng)用領(lǐng)域受到了限制，開發(fā)難度也很大。
[0004]2007 年，由 NVIDIA 推出的 CUDA (Compute Unified Device Architecture,統(tǒng)一計(jì)算設(shè)備架構(gòu))，這一編程接口彌補(bǔ)了傳統(tǒng)GPGPU的不足。利用CUDA編程接口，可以用C語言直接調(diào)用GPU資源，而無需將其映射到圖形API，為GPU的非圖形編程普及消除了障礙。
[0005]CUDA模型將CPU作為主機(jī)(Host)，GPU作為協(xié)處理器(co-processor )或設(shè)備(device).兩者協(xié)同工作。CPU負(fù)責(zé)進(jìn)行邏輯性強(qiáng)的事物處理和串行計(jì)算，GPU則專注于執(zhí)行高度線程化的并行處理任務(wù)。CPU、GPU各自擁有相互獨(dú)立的存儲(chǔ)器地址空間:主機(jī)端內(nèi)存和設(shè)備端顯存。一旦確定了程序中的并行計(jì)算函數(shù)(kernel)，就考慮把這部分計(jì)算交給GPU。
[0006]現(xiàn)實(shí)生活中，高速網(wǎng)絡(luò)故障診斷，零售業(yè)務(wù)中的交易數(shù)據(jù)流、在線拍賣、交易日志、Web跟蹤和個(gè)性化、醫(yī)學(xué)監(jiān)測(cè)、通信領(lǐng)域中的電話記錄數(shù)據(jù)流、網(wǎng)絡(luò)監(jiān)測(cè)中的數(shù)據(jù)包流、環(huán)境溫度的監(jiān)測(cè)數(shù)據(jù)以及衛(wèi)星傳回的圖像數(shù)據(jù)流等形成了一種與傳統(tǒng)數(shù)據(jù)庫中靜態(tài)數(shù)據(jù)不同的數(shù)據(jù)形態(tài)。數(shù)據(jù)流中的數(shù)據(jù)到達(dá)是快速、時(shí)變、不可預(yù)測(cè)和無限的數(shù)據(jù)流形式，不可能完全存儲(chǔ)原始數(shù)據(jù)。而且這些數(shù)據(jù)流產(chǎn)生的數(shù)據(jù)量在多個(gè)應(yīng)用領(lǐng)域中快速增長(zhǎng)，而且產(chǎn)生數(shù)據(jù)流的應(yīng)用通常要求在線實(shí)時(shí)處理。如何及時(shí)有效地處理數(shù)據(jù)流，從中挖掘出有用的知識(shí)，將對(duì)多個(gè)應(yīng)用領(lǐng)域產(chǎn)生重大意義。
[0007](數(shù)據(jù)流的定義)數(shù)據(jù)流實(shí)際上就是連續(xù)移動(dòng)的元素隊(duì)伍，其中的元素是由相關(guān)數(shù)據(jù)的集合組成。令t表示任一時(shí)間戳，at表示在該時(shí)間戳到達(dá)的數(shù)據(jù)，流數(shù)據(jù)可以表示成{--?，at-l，at，at+l，…區(qū)別于傳統(tǒng)應(yīng)用模型，流數(shù)據(jù)模型具有以下4點(diǎn)共性:(I)、數(shù)據(jù)實(shí)時(shí)到達(dá)；(2)、數(shù)據(jù)到達(dá)次序獨(dú)立，不受應(yīng)用系統(tǒng)所控制；(3)、數(shù)據(jù)規(guī)模宏大且不能預(yù)知其最大值；(4)、數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能被再次取出處理，或者再次提取數(shù)據(jù)代價(jià)昂貴
同時(shí)，流是以雙重身份出現(xiàn)的:(1)、作為一個(gè)軟件可見的程序變量存在。(2)、作為一個(gè)硬件可見的管理單位存在。實(shí)際應(yīng)用中流往往具有很多屬性，當(dāng)流被映射到硬件中時(shí)，這些屬性仍然被保持或者變個(gè)形式被硬件所見。
[0008]一維順序訪問的定長(zhǎng)流稱為規(guī)則流，除此之外的流稱為非規(guī)則流。
[0009]無論單維數(shù)據(jù)流還是多維數(shù)據(jù)流，數(shù)據(jù)流應(yīng)遵循的約束包括:(I)、數(shù)據(jù)流始終是大量數(shù)據(jù)聚合成的一維連續(xù)數(shù)據(jù)結(jié)構(gòu)，其訪問的索引可以不連續(xù)，但流中的數(shù)據(jù)始終是連續(xù)成批組織的。(2)、流具有方向性。在對(duì)流的一次引用期間，對(duì)流不能既作為輸入流又作為輸出流。(3)、流作為一個(gè)完整的整體，在生命周期內(nèi)是不可以切割或者合并的，但可以允許派生和復(fù)制，派生流和復(fù)制的流與原來的流是不同的流。(4)、流具有唯一標(biāo)志。(5)、流具有長(zhǎng)度屬性，長(zhǎng)度屬性有兩個(gè)含義，一個(gè)是其初始長(zhǎng)度，一個(gè)是其當(dāng)前訪問長(zhǎng)度，但無論如何對(duì)流元素的任何訪問包括索引訪問不能越界。(6)、流本身具有類型屬性，流體系結(jié)構(gòu)以及流處理模塊都能識(shí)別流的類型，并根據(jù)類型做出不同的反應(yīng)。
[0010]非規(guī)則流則部分的松弛了這些約束。(I)、非規(guī)則流中元素的訪問序列可能是間斷的、跳躍或重復(fù)的。(2)、非規(guī)則流中元素的訪問序列可能是動(dòng)態(tài)產(chǎn)生的，還可能依據(jù)條件取舍。(3)、由于非規(guī)則流中元素的訪問序列的不確定性，使得其實(shí)際長(zhǎng)度和訪問長(zhǎng)度并無特殊關(guān)系，且兩者都有可能是不確定的。(4)、非規(guī)則流中元素的結(jié)構(gòu)可能是多種多樣的，不同元素所占的存儲(chǔ)空間可以不一樣。(5)、規(guī)則流中，對(duì)流中每個(gè)元素上的計(jì)算是相同的，而非規(guī)則流中，可以針對(duì)各個(gè)流元素的位置、值的不同的計(jì)算處理。
[0011]傳統(tǒng)的數(shù)據(jù)處理技術(shù)將所有數(shù)據(jù)存放到數(shù)據(jù)庫或者數(shù)據(jù)倉庫中；系統(tǒng)響應(yīng)用戶提交的DML語句，搜索數(shù)據(jù)存儲(chǔ)媒介，返回查詢結(jié)果。當(dāng)數(shù)據(jù)規(guī)模很大時(shí)，數(shù)據(jù)往往以磁盤或者磁帶為介質(zhì)，因而執(zhí)行查詢操作需要大量的I/O交換，效率低下，不能適應(yīng)實(shí)時(shí)系統(tǒng)的需求。
[0012]由于數(shù)據(jù)流本身不斷變化且難以預(yù)測(cè)的特點(diǎn)，以及數(shù)據(jù)流突發(fā)(Burst)的產(chǎn)生對(duì)數(shù)據(jù)流負(fù)載能力提出了更高的要求，同時(shí)數(shù)據(jù)流處理的串行精確算法因?yàn)闀r(shí)間開銷過大而難以滿足實(shí)時(shí)性需求，因此研究和利用高速的流處理器提高數(shù)據(jù)流處理吞吐量成為數(shù)據(jù)流處理研究領(lǐng)域的熱點(diǎn)問題之一。


【發(fā)明內(nèi)容】

[0013]本發(fā)明的技術(shù)任務(wù)是提供一種能夠在線精確地識(shí)別同步滑動(dòng)窗口模式下高維數(shù)據(jù)流之間的相關(guān)性，具有顯著的速度優(yōu)勢(shì)，很好地滿足了高維數(shù)據(jù)流的實(shí)時(shí)性需求，可以作為通用的分析方法廣泛應(yīng)用于高維數(shù)據(jù)流挖掘領(lǐng)域的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法。
[0014]本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，
一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，采用基于GPU的數(shù)據(jù)流并行計(jì)算模型對(duì)數(shù)據(jù)源的非規(guī)則流中高維數(shù)據(jù)流進(jìn)行并行計(jì)算處理，處理后傳給客戶端；基于GPU的數(shù)據(jù)流并行計(jì)算模型包括CPU主機(jī)和GPU設(shè)備，CPU主機(jī)是邏輯判斷和控制的核心，并負(fù)責(zé)串行計(jì)算；計(jì)算密集和數(shù)據(jù)密集的部分轉(zhuǎn)移到GPU設(shè)備上計(jì)算，將概要數(shù)據(jù)結(jié)構(gòu)的全部或者部分轉(zhuǎn)移到GPU設(shè)備的顯存中； (PU主機(jī)負(fù)責(zé)從流數(shù)據(jù)源端獲取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行流速率調(diào)節(jié)，屬性包裝和數(shù)據(jù)過濾，進(jìn)而進(jìn)行緩沖，根據(jù)流速率調(diào)節(jié)后的情況，CPU主機(jī)調(diào)度將負(fù)責(zé)負(fù)載平衡和決定何時(shí)啟動(dòng)GPU設(shè)備；
在GPU設(shè)備上，負(fù)責(zé)存儲(chǔ)數(shù)據(jù)流的概要數(shù)據(jù)結(jié)構(gòu)，并不斷將數(shù)據(jù)流轉(zhuǎn)換為概要數(shù)據(jù)結(jié)構(gòu)，實(shí)時(shí)處理新流入的數(shù)據(jù)流，過期的數(shù)據(jù)流將在GPU設(shè)備的顯存上直接拋棄；
當(dāng)客戶端提出查詢請(qǐng)求時(shí)，CPU主機(jī)負(fù)責(zé)調(diào)用GPU設(shè)備的內(nèi)核程序，在GPU設(shè)備顯存中的概要數(shù)據(jù)結(jié)構(gòu)上執(zhí)行查詢算法內(nèi)核，并將查詢結(jié)果返回CPU主機(jī)，最后再由CPU主機(jī)將結(jié)果轉(zhuǎn)換為可讀的最終查詢結(jié)果返回給客戶端。
[0015]基于GPU的數(shù)據(jù)流并行計(jì)算模型包括六層架構(gòu):
(I )、時(shí)序數(shù)據(jù)處理層:時(shí)序數(shù)據(jù)處理層中的數(shù)據(jù)是符合非規(guī)則流的一些約束的含高維屬性的元組，該層的任務(wù)是由CPU主機(jī)進(jìn)行處理的，對(duì)原數(shù)據(jù)流分三次處理:流速率調(diào)節(jié)、屬性包裝和數(shù)據(jù)過濾；
(2)數(shù)據(jù)映射層:對(duì)于圖像相關(guān)的數(shù)據(jù)流，將CPU主機(jī)內(nèi)的數(shù)組結(jié)構(gòu)映射為GPU設(shè)備的紋理結(jié)構(gòu)，事先建立對(duì)應(yīng)表達(dá)式C(X)=G(y)，通過數(shù)據(jù)CU)屬性和紋理數(shù)據(jù)屬性G(y)建立映射關(guān)系，找出CPU主機(jī)和GPU設(shè)備內(nèi)兩類數(shù)據(jù)的一一對(duì)應(yīng)關(guān)系，利用通用計(jì)算數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)紋理在GPU存放紋理各個(gè)屬性的方式；
(3)數(shù)據(jù)緩沖層:包含兩級(jí)數(shù)據(jù)緩沖池，維護(hù)如下幾類數(shù)據(jù)緩沖的存儲(chǔ):注冊(cè)的查詢計(jì)劃緩沖、同步數(shù)據(jù)查詢操作工作區(qū)緩沖、數(shù)據(jù)流歷史概要緩沖、數(shù)據(jù)流緩沖；數(shù)據(jù)緩沖借助兩種類型的隊(duì)列實(shí)現(xiàn)傳感器數(shù)據(jù)操作(推式隊(duì)列)和傳統(tǒng)關(guān)系數(shù)據(jù)操作(拖式隊(duì)列)，減少CPU主機(jī)和GPU設(shè)備間的數(shù)據(jù)交換頻率，提高高維數(shù)據(jù)流并行計(jì)算的密集程度；數(shù)據(jù)緩沖層是圖形處理器對(duì)高維數(shù)據(jù)流并行處理的基本單位；經(jīng)過數(shù)據(jù)清理以及映射處理的緩沖窗口作為普通的子窗口更新到滑動(dòng)窗口中；
(4)滑動(dòng)窗口層:矩陣流以隊(duì)列的方式實(shí)現(xiàn)，隊(duì)列中存放數(shù)據(jù)流的高維屬性，進(jìn)入滑動(dòng)窗口 ；更新矩陣流時(shí)(即時(shí)間窗前滾)，用新元組替換掉最舊的元組，實(shí)現(xiàn)同步高維數(shù)據(jù)流概要數(shù)據(jù)結(jié)構(gòu)增量歸一化；
(5)概要數(shù)據(jù)抽取層:生成高維數(shù)據(jù)流的概要數(shù)據(jù)結(jié)構(gòu)，存放概要數(shù)據(jù)的層次；實(shí)際上，高維數(shù)據(jù)流最便于用二維矩陣表示，每行或每列表示一條數(shù)據(jù)流，每個(gè)元素表示各個(gè)維度的屬性；對(duì)于高維數(shù)據(jù)流此層分三個(gè)區(qū)域，根據(jù)高維數(shù)據(jù)流的特點(diǎn)分別采用不等概行向兼列向采樣技術(shù)、小波技術(shù)、數(shù)據(jù)立方技術(shù)進(jìn)行概要數(shù)據(jù)抽??；
(6)查詢分析處理層:完成各種基本查詢和復(fù)雜分析；基本查詢處理操作完成一般的選擇、連接、投影和聚集連續(xù)查詢請(qǐng)求；復(fù)雜分析處理操作則是在信息提取層生成的概要信息基礎(chǔ)上，進(jìn)一步研究數(shù)據(jù)流中各種因素的性質(zhì)和相互之間的關(guān)系，基本查詢操作既可以直接在預(yù)處理過的數(shù)據(jù)流上執(zhí)行，也可以在概要上執(zhí)行。
[0016]時(shí)序數(shù)據(jù)處理層中，對(duì)原數(shù)據(jù)流的處理如下:
流速率調(diào)節(jié)負(fù)責(zé)負(fù)載平衡和決定何時(shí)啟動(dòng)GPU設(shè)備的內(nèi)核；當(dāng)數(shù)據(jù)流的流量達(dá)到一定規(guī)模時(shí)，可以啟動(dòng)GPU設(shè)備的內(nèi)核對(duì)數(shù)據(jù)流進(jìn)行處理，作為一種提高數(shù)據(jù)流處理性能的手段；如果啟動(dòng)GPU設(shè)備的內(nèi)核協(xié)處理數(shù)據(jù)流，CPU主機(jī)每次以較大的分塊將數(shù)據(jù)交換到GPU設(shè)備，利用GPU設(shè)備的圖形處理器密集的數(shù)據(jù)計(jì)算能力和高內(nèi)存帶寬的特性對(duì)數(shù)據(jù)流進(jìn)行高速處理； 屬性包裝和數(shù)據(jù)過濾負(fù)責(zé)對(duì)數(shù)據(jù)流進(jìn)行加工以改善數(shù)據(jù)流的質(zhì)量，為數(shù)據(jù)流的連續(xù)查詢和復(fù)雜分析打下基礎(chǔ)，對(duì)數(shù)據(jù)流進(jìn)行加工包括對(duì)數(shù)據(jù)流進(jìn)行去噪、壓縮編碼、修正以減少存儲(chǔ)空間和傳輸時(shí)間；在整個(gè)時(shí)序數(shù)據(jù)處理層中元組按時(shí)間t有序，如果任一高維數(shù)據(jù)流在時(shí)刻t未接收到元組，則以全O的元組代替，即允許稀疏數(shù)據(jù)流矩陣存在。
[0017]GPU設(shè)備中包括增量維護(hù)緩沖及滑動(dòng)窗口內(nèi)核、統(tǒng)一化內(nèi)核、近似降維處理內(nèi)核、挖掘類內(nèi)核；增量維護(hù)緩沖及滑動(dòng)窗口內(nèi)核特別適合高維流的處理，與高維數(shù)據(jù)流模式的定義十分吻合，負(fù)責(zé)生成和增量維護(hù)緩沖窗口和滑動(dòng)窗口摘要信息；統(tǒng)一化內(nèi)核負(fù)責(zé)執(zhí)行調(diào)整高維數(shù)據(jù)流格式任務(wù)；近似降維處理內(nèi)核是在滑動(dòng)窗口的模式下進(jìn)行概要結(jié)構(gòu)生成，完成低階近似降維處理；挖掘類內(nèi)核以摘要二維概要矩陣為輸入執(zhí)行多數(shù)據(jù)流挖掘算法。
[0018]滑動(dòng)窗口層的數(shù)據(jù)流采用數(shù)據(jù)流立方結(jié)構(gòu)，將η條高維數(shù)據(jù)流組織成一個(gè)數(shù)據(jù)流立方結(jié)構(gòu)，為了分析η條數(shù)據(jù)流中任意兩條中任意維度上的相關(guān)性，每層代表一條高維數(shù)據(jù)流，每一層上的分塊代表各維度上的屬性，若某條數(shù)據(jù)流的某維屬性為空，則數(shù)據(jù)立方中對(duì)應(yīng)的分塊置為O。
[0019]將數(shù)據(jù)流立方結(jié)構(gòu)抽象到一個(gè)計(jì)算網(wǎng)格上，并通過線程塊索引(blockldx)訪問滑動(dòng)窗口中的二維概要數(shù)據(jù)矩陣；每條數(shù)據(jù)流對(duì)應(yīng)一個(gè)窗口，每個(gè)窗口上映射為一個(gè)二維矩陣，在該矩陣上進(jìn)行不等概行向兼列向采樣，得到標(biāo)有矩陣行和列的重要測(cè)度。
[0020]本發(fā)明的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法具有以下優(yōu)點(diǎn):
1、能夠在線精確地識(shí)別同步滑動(dòng)窗口模式下高維數(shù)據(jù)流之間的相關(guān)性，具有顯著的速度優(yōu)勢(shì)，很好地滿足了高維數(shù)據(jù)流的實(shí)時(shí)性需求，可以作為通用的分析方法廣泛應(yīng)用于高維數(shù)據(jù)流挖掘領(lǐng)域；
2、適合于圖形處理器并行計(jì)算的數(shù)據(jù)流管理模型，選取適合圖形處理器并行計(jì)算的數(shù)據(jù)概要結(jié)構(gòu)和相應(yīng)模型，從而形成一個(gè)擴(kuò)展性好，具有通用意義的數(shù)據(jù)流實(shí)時(shí)處理的計(jì)算模型；
3、由于基于GPU的數(shù)據(jù)流并行計(jì)算模型使用二維概要數(shù)據(jù)矩陣對(duì)多條高維數(shù)據(jù)流進(jìn)行密集組織和統(tǒng)一索引，使得該框架同時(shí)適合對(duì)多數(shù)據(jù)流其他的并行計(jì)算要求，具有較強(qiáng)通用性；
4、采用數(shù)據(jù)流立方結(jié)構(gòu)，在計(jì)算的時(shí)候，單維數(shù)據(jù)流那樣組織成η階矩陣，而實(shí)際上只需要計(jì)算該矩陣的上三角或者下三角即可，從而造成了存儲(chǔ)器空間的浪費(fèi)，而本數(shù)據(jù)流立方，可以每層代表的是不同的數(shù)據(jù)流，所以節(jié)省了存儲(chǔ)空間；
5、數(shù)據(jù)流處理算法具有數(shù)據(jù)密集，計(jì)算耗時(shí)，應(yīng)用于每一個(gè)數(shù)據(jù)的算法一致這三個(gè)特點(diǎn)，完全可以映射到SMT模型中編寫并行程序，具有圖像處理器并行計(jì)算的優(yōu)勢(shì)。

【專利附圖】

【附圖說明】
[0021]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)一步說明。
[0022]附圖1為一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法的基于GPU的數(shù)據(jù)流并行計(jì)算模型的框架圖；
附圖2為一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法的GPU設(shè)備中高維數(shù)據(jù)流的框架圖；
附圖3為一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法的數(shù)據(jù)流立方結(jié)構(gòu)的框架圖。

【具體實(shí)施方式】
[0023]參照說明書附圖和具體實(shí)施例對(duì)本發(fā)明的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法作以下詳細(xì)地說明。
[0024]實(shí)施例1:
本發(fā)明的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，采用基于GPU的數(shù)據(jù)流并行計(jì)算模型對(duì)數(shù)據(jù)源的非規(guī)則流中高維數(shù)據(jù)流進(jìn)行并行計(jì)算處理，處理后傳給客戶端；基于GPU的數(shù)據(jù)流并行計(jì)算模型包括CPU主機(jī)和GPU設(shè)備，CPU主機(jī)是邏輯判斷和控制的核心，并負(fù)責(zé)串行計(jì)算；計(jì)算密集和數(shù)據(jù)密集的部分轉(zhuǎn)移到GPU設(shè)備上計(jì)算，將概要數(shù)據(jù)結(jié)構(gòu)的全部或者部分轉(zhuǎn)移到GPU設(shè)備的顯存中；
(PU主機(jī)負(fù)責(zé)從流數(shù)據(jù)源端獲取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行流速率調(diào)節(jié)，屬性包裝和數(shù)據(jù)過濾，進(jìn)而進(jìn)行緩沖，根據(jù)流速率調(diào)節(jié)后的情況，CPU主機(jī)調(diào)度將負(fù)責(zé)負(fù)載平衡和決定何時(shí)啟動(dòng)GPU設(shè)備；
在GPU設(shè)備上，負(fù)責(zé)存儲(chǔ)數(shù)據(jù)流的概要數(shù)據(jù)結(jié)構(gòu)，并不斷將數(shù)據(jù)流轉(zhuǎn)換為概要數(shù)據(jù)結(jié)構(gòu)，實(shí)時(shí)處理新流入的數(shù)據(jù)流，過期的數(shù)據(jù)流將在GPU設(shè)備的顯存上直接拋棄；
當(dāng)客戶端提出查詢請(qǐng)求時(shí)，CPU主機(jī)負(fù)責(zé)調(diào)用GPU設(shè)備的內(nèi)核程序，在GPU設(shè)備顯存中的概要數(shù)據(jù)結(jié)構(gòu)上執(zhí)行查詢算法內(nèi)核，并將查詢結(jié)果返回CPU主機(jī)，最后再由CPU主機(jī)將結(jié)果轉(zhuǎn)換為可讀的最終查詢結(jié)果返回給客戶端。
[0025]基于GPU的數(shù)據(jù)流并行計(jì)算模型包括六層架構(gòu):
(I )、時(shí)序數(shù)據(jù)處理層:時(shí)序數(shù)據(jù)處理層中的數(shù)據(jù)是符合非規(guī)則流的一些約束的含高維屬性的元組，該層的任務(wù)是由CPU主機(jī)進(jìn)行處理的，對(duì)原數(shù)據(jù)流分三次處理:流速率調(diào)節(jié)、屬性包裝和數(shù)據(jù)過濾；
(2)數(shù)據(jù)映射層:對(duì)于圖像相關(guān)的數(shù)據(jù)流，將CPU主機(jī)內(nèi)的數(shù)組結(jié)構(gòu)映射為GPU設(shè)備的紋理結(jié)構(gòu)，事先建立對(duì)應(yīng)表達(dá)式C(X)=G(y)，通過數(shù)據(jù)CU)屬性和紋理數(shù)據(jù)屬性G(y)建立映射關(guān)系，找出CPU主機(jī)和GPU設(shè)備內(nèi)兩類數(shù)據(jù)的一一對(duì)應(yīng)關(guān)系，利用通用計(jì)算數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)紋理在GPU存放紋理各個(gè)屬性的方式；
(3)數(shù)據(jù)緩沖層:包含兩級(jí)數(shù)據(jù)緩沖池，維護(hù)如下幾類數(shù)據(jù)緩沖的存儲(chǔ):注冊(cè)的查詢計(jì)劃緩沖、同步數(shù)據(jù)查詢操作工作區(qū)緩沖、數(shù)據(jù)流歷史概要緩沖、數(shù)據(jù)流緩沖；數(shù)據(jù)緩沖借助兩種類型的隊(duì)列實(shí)現(xiàn)傳感器數(shù)據(jù)操作(推式隊(duì)列)和傳統(tǒng)關(guān)系數(shù)據(jù)操作(拖式隊(duì)列)，減少CPU主機(jī)和GPU設(shè)備間的數(shù)據(jù)交換頻率，提高高維數(shù)據(jù)流并行計(jì)算的密集程度；數(shù)據(jù)緩沖層是圖形處理器對(duì)高維數(shù)據(jù)流并行處理的基本單位；經(jīng)過數(shù)據(jù)清理以及映射處理的緩沖窗口作為普通的子窗口更新到滑動(dòng)窗口中；
(4)滑動(dòng)窗口層:矩陣流以隊(duì)列的方式實(shí)現(xiàn)，隊(duì)列中存放數(shù)據(jù)流的高維屬性，進(jìn)入滑動(dòng)窗口 ；更新矩陣流時(shí)(即時(shí)間窗前滾)，用新元組替換掉最舊的元組，實(shí)現(xiàn)同步高維數(shù)據(jù)流概要數(shù)據(jù)結(jié)構(gòu)增量歸一化；
(5)概要數(shù)據(jù)抽取層:生成高維數(shù)據(jù)流的概要數(shù)據(jù)結(jié)構(gòu)，存放概要數(shù)據(jù)的層次；實(shí)際上，高維數(shù)據(jù)流最便于用二維矩陣表示，每行或每列表示一條數(shù)據(jù)流，每個(gè)元素表示各個(gè)維度的屬性；對(duì)于高維數(shù)據(jù)流此層分三個(gè)區(qū)域，根據(jù)高維數(shù)據(jù)流的特點(diǎn)分別采用不等概行向兼列向采樣技術(shù)、小波技術(shù)、數(shù)據(jù)立方技術(shù)進(jìn)行概要數(shù)據(jù)抽取； (6)查詢分析處理層:完成各種基本查詢和復(fù)雜分析；基本查詢處理操作完成一般的選擇、連接、投影和聚集連續(xù)查詢請(qǐng)求；復(fù)雜分析處理操作則是在信息提取層生成的概要信息基礎(chǔ)上，進(jìn)一步研究數(shù)據(jù)流中各種因素的性質(zhì)和相互之間的關(guān)系，基本查詢操作既可以直接在預(yù)處理過的數(shù)據(jù)流上執(zhí)行，也可以在概要上執(zhí)行。
[0026]實(shí)施例2:
本發(fā)明的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，采用基于GPU的數(shù)據(jù)流并行計(jì)算模型對(duì)數(shù)據(jù)源的非規(guī)則流中高維數(shù)據(jù)流進(jìn)行并行計(jì)算處理，處理后傳給客戶端；基于GPU的數(shù)據(jù)流并行計(jì)算模型包括CPU主機(jī)和GPU設(shè)備，CPU主機(jī)是邏輯判斷和控制的核心，并負(fù)責(zé)串行計(jì)算；計(jì)算密集和數(shù)據(jù)密集的部分轉(zhuǎn)移到GPU設(shè)備上計(jì)算，將概要數(shù)據(jù)結(jié)構(gòu)的全部或者部分轉(zhuǎn)移到GPU設(shè)備的顯存中；
(PU主機(jī)負(fù)責(zé)從流數(shù)據(jù)源端獲取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行流速率調(diào)節(jié)，屬性包裝和數(shù)據(jù)過濾，進(jìn)而進(jìn)行緩沖，根據(jù)流速率調(diào)節(jié)后的情況，CPU主機(jī)調(diào)度將負(fù)責(zé)負(fù)載平衡和決定何時(shí)啟動(dòng)GPU設(shè)備；
在GPU設(shè)備上，負(fù)責(zé)存儲(chǔ)數(shù)據(jù)流的概要數(shù)據(jù)結(jié)構(gòu)，并不斷將數(shù)據(jù)流轉(zhuǎn)換為概要數(shù)據(jù)結(jié)構(gòu)，實(shí)時(shí)處理新流入的數(shù)據(jù)流，過期的數(shù)據(jù)流將在GPU設(shè)備的顯存上直接拋棄；
當(dāng)客戶端提出查詢請(qǐng)求時(shí)，CPU主機(jī)負(fù)責(zé)調(diào)用GPU設(shè)備的內(nèi)核程序，在GPU設(shè)備顯存中的概要數(shù)據(jù)結(jié)構(gòu)上執(zhí)行查詢算法內(nèi)核，并將查詢結(jié)果返回CPU主機(jī)，最后再由CPU主機(jī)將結(jié)果轉(zhuǎn)換為可讀的最終查詢結(jié)果返回給客戶端。
[0027]基于GPU的數(shù)據(jù)流并行計(jì)算模型包括六層架構(gòu):
(I )、時(shí)序數(shù)據(jù)處理層:時(shí)序數(shù)據(jù)處理層中的數(shù)據(jù)是符合非規(guī)則流的一些約束的含高維屬性的元組，該層的任務(wù)是由CPU主機(jī)進(jìn)行處理的，對(duì)原數(shù)據(jù)流分三次處理:流速率調(diào)節(jié)、屬性包裝和數(shù)據(jù)過濾；
(2)數(shù)據(jù)映射層:對(duì)于圖像相關(guān)的數(shù)據(jù)流，將CPU主機(jī)內(nèi)的數(shù)組結(jié)構(gòu)映射為GPU設(shè)備的紋理結(jié)構(gòu)，事先建立對(duì)應(yīng)表達(dá)式C(X)=G(y)，通過數(shù)據(jù)CU)屬性和紋理數(shù)據(jù)屬性G(y)建立映射關(guān)系，找出CPU主機(jī)和GPU設(shè)備內(nèi)兩類數(shù)據(jù)的一一對(duì)應(yīng)關(guān)系，利用通用計(jì)算數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)紋理在GPU存放紋理各個(gè)屬性的方式；
(3)數(shù)據(jù)緩沖層:包含兩級(jí)數(shù)據(jù)緩沖池，維護(hù)如下幾類數(shù)據(jù)緩沖的存儲(chǔ):注冊(cè)的查詢計(jì)劃緩沖、同步數(shù)據(jù)查詢操作工作區(qū)緩沖、數(shù)據(jù)流歷史概要緩沖、數(shù)據(jù)流緩沖；數(shù)據(jù)緩沖借助兩種類型的隊(duì)列實(shí)現(xiàn)傳感器數(shù)據(jù)操作(推式隊(duì)列)和傳統(tǒng)關(guān)系數(shù)據(jù)操作(拖式隊(duì)列)，減少CPU主機(jī)和GPU設(shè)備間的數(shù)據(jù)交換頻率，提高高維數(shù)據(jù)流并行計(jì)算的密集程度；數(shù)據(jù)緩沖層是圖形處理器對(duì)高維數(shù)據(jù)流并行處理的基本單位；經(jīng)過數(shù)據(jù)清理以及映射處理的緩沖窗口作為普通的子窗口更新到滑動(dòng)窗口中；
(4)滑動(dòng)窗口層:矩陣流以隊(duì)列的方式實(shí)現(xiàn)，隊(duì)列中存放數(shù)據(jù)流的高維屬性，進(jìn)入滑動(dòng)窗口 ；更新矩陣流時(shí)(即時(shí)間窗前滾)，用新元組替換掉最舊的元組，實(shí)現(xiàn)同步高維數(shù)據(jù)流概要數(shù)據(jù)結(jié)構(gòu)增量歸一化；
(5)概要數(shù)據(jù)抽取層:生成高維數(shù)據(jù)流的概要數(shù)據(jù)結(jié)構(gòu)，存放概要數(shù)據(jù)的層次；實(shí)際上，高維數(shù)據(jù)流最便于用二維矩陣表示，每行或每列表示一條數(shù)據(jù)流，每個(gè)元素表示各個(gè)維度的屬性；對(duì)于高維數(shù)據(jù)流此層分三個(gè)區(qū)域，根據(jù)高維數(shù)據(jù)流的特點(diǎn)分別采用不等概行向兼列向采樣技術(shù)、小波技術(shù)、數(shù)據(jù)立方技術(shù)進(jìn)行概要數(shù)據(jù)抽?。? (6)查詢分析處理層:完成各種基本查詢和復(fù)雜分析；基本查詢處理操作完成一般的選擇、連接、投影和聚集連續(xù)查詢請(qǐng)求；復(fù)雜分析處理操作則是在信息提取層生成的概要信息基礎(chǔ)上，進(jìn)一步研究數(shù)據(jù)流中各種因素的性質(zhì)和相互之間的關(guān)系，基本查詢操作既可以直接在預(yù)處理過的數(shù)據(jù)流上執(zhí)行，也可以在概要上執(zhí)行。
[0028]時(shí)序數(shù)據(jù)處理層中，對(duì)原數(shù)據(jù)流的處理如下:
流速率調(diào)節(jié)負(fù)責(zé)負(fù)載平衡和決定何時(shí)啟動(dòng)GPU設(shè)備的內(nèi)核；當(dāng)數(shù)據(jù)流的流量達(dá)到一定規(guī)模時(shí)，可以啟動(dòng)GPU設(shè)備的內(nèi)核對(duì)數(shù)據(jù)流進(jìn)行處理，作為一種提高數(shù)據(jù)流處理性能的手段；如果啟動(dòng)GPU設(shè)備的內(nèi)核協(xié)處理數(shù)據(jù)流，CPU主機(jī)每次以較大的分塊將數(shù)據(jù)交換到GPU設(shè)備，利用GPU設(shè)備的圖形處理器密集的數(shù)據(jù)計(jì)算能力和高內(nèi)存帶寬的特性對(duì)數(shù)據(jù)流進(jìn)行高速處理；
屬性包裝和數(shù)據(jù)過濾負(fù)責(zé)對(duì)數(shù)據(jù)流進(jìn)行加工以改善數(shù)據(jù)流的質(zhì)量，為數(shù)據(jù)流的連續(xù)查詢和復(fù)雜分析打下基礎(chǔ)，對(duì)數(shù)據(jù)流進(jìn)行加工包括對(duì)數(shù)據(jù)流進(jìn)行去噪、壓縮編碼、修正以減少存儲(chǔ)空間和傳輸時(shí)間；在整個(gè)時(shí)序數(shù)據(jù)處理層中元組按時(shí)間t有序，如果任一高維數(shù)據(jù)流在時(shí)刻t未接收到元組，則以全O的元組代替，即允許稀疏數(shù)據(jù)流矩陣存在。
[0029]GPU設(shè)備中包括增量維護(hù)緩沖及滑動(dòng)窗口內(nèi)核、統(tǒng)一化內(nèi)核、近似降維處理內(nèi)核、挖掘類內(nèi)核；增量維護(hù)緩沖及滑動(dòng)窗口內(nèi)核特別適合高維流的處理，與高維數(shù)據(jù)流模式的定義十分吻合，負(fù)責(zé)生成和增量維護(hù)緩沖窗口和滑動(dòng)窗口摘要信息；統(tǒng)一化內(nèi)核負(fù)責(zé)執(zhí)行調(diào)整高維數(shù)據(jù)流格式任務(wù)；近似降維處理內(nèi)核是在滑動(dòng)窗口的模式下進(jìn)行概要結(jié)構(gòu)生成，完成低階近似降維處理；挖掘類內(nèi)核以摘要二維概要矩陣為輸入執(zhí)行多數(shù)據(jù)流挖掘算法。
[0030]滑動(dòng)窗口層的數(shù)據(jù)流采用數(shù)據(jù)流立方結(jié)構(gòu)，將η條高維數(shù)據(jù)流組織成一個(gè)數(shù)據(jù)流立方結(jié)構(gòu)，為了分析η條數(shù)據(jù)流中任意兩條中任意維度上的相關(guān)性，每層代表一條高維數(shù)據(jù)流，每一層上的分塊代表各維度上的屬性，若某條數(shù)據(jù)流的某維屬性為空，則數(shù)據(jù)立方中對(duì)應(yīng)的分塊置為O。
[0031]將數(shù)據(jù)流立方結(jié)構(gòu)抽象到一個(gè)計(jì)算網(wǎng)格上，并通過線程塊索引(blockldx)訪問滑動(dòng)窗口中的二維概要數(shù)據(jù)矩陣；每條數(shù)據(jù)流對(duì)應(yīng)一個(gè)窗口，每個(gè)窗口上映射為一個(gè)二維矩陣，在該矩陣上進(jìn)行不等概行向兼列向采樣，得到標(biāo)有矩陣行和列的重要測(cè)度。如圖3中，利用線程塊計(jì)算S3和SI的某一維度屬性的相關(guān)性，通過線程塊索引到窗口 3和窗口 I上概要矩陣上，進(jìn)行處理；在計(jì)算網(wǎng)格中的每一個(gè)線程塊中，利用塊內(nèi)的512個(gè)線程，每次并行增量更新的方式維護(hù)兩個(gè)數(shù)據(jù)流樣本矩陣的協(xié)差陣S21，S22和各自的方差陣Sll，S12；然后對(duì)高維的矩陣進(jìn)行列向和行向上的采樣實(shí)現(xiàn)維數(shù)約簡(jiǎn)，最后并行計(jì)算特征值及其特征向量，得到最終結(jié)果；如果線程塊的行索引小于或等于列索引，則說明該線程塊不在下數(shù)據(jù)流立方內(nèi)，直接返回。
[0032]以上說明僅為本發(fā)明較佳的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)力要求書的保護(hù)范圍為準(zhǔn)。
【權(quán)利要求】
1.一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，其特征在于采用基于GPU的數(shù)據(jù)流并行計(jì)算模型對(duì)數(shù)據(jù)源的非規(guī)則流中高維數(shù)據(jù)流進(jìn)行并行計(jì)算處理，處理后傳給客戶端；基于GPU的數(shù)據(jù)流并行計(jì)算模型包括CPU主機(jī)和GPU設(shè)備，CPU主機(jī)是邏輯判斷和控制的核心，并負(fù)責(zé)串行計(jì)算；計(jì)算密集和數(shù)據(jù)密集的部分轉(zhuǎn)移到GPU設(shè)備上計(jì)算，將概要數(shù)據(jù)結(jié)構(gòu)的全部或者部分轉(zhuǎn)移到GPU設(shè)備的顯存中； (PU主機(jī)負(fù)責(zé)從流數(shù)據(jù)源端獲取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行流速率調(diào)節(jié)，屬性包裝和數(shù)據(jù)過濾，進(jìn)而進(jìn)行緩沖，根據(jù)流速率調(diào)節(jié)后的情況，CPU主機(jī)調(diào)度將負(fù)責(zé)負(fù)載平衡和決定何時(shí)啟動(dòng)GPU設(shè)備； 在GPU設(shè)備上，負(fù)責(zé)存儲(chǔ)數(shù)據(jù)流的概要數(shù)據(jù)結(jié)構(gòu)，并不斷將數(shù)據(jù)流轉(zhuǎn)換為概要數(shù)據(jù)結(jié)構(gòu)，實(shí)時(shí)處理新流入的數(shù)據(jù)流，過期的數(shù)據(jù)流將在GPU設(shè)備的顯存上直接拋棄； 當(dāng)客戶端提出查詢請(qǐng)求時(shí)，CPU主機(jī)負(fù)責(zé)調(diào)用GPU設(shè)備的內(nèi)核程序，在GPU設(shè)備顯存中的概要數(shù)據(jù)結(jié)構(gòu)上執(zhí)行查詢算法內(nèi)核，并將查詢結(jié)果返回CPU主機(jī)，最后再由CPU主機(jī)將結(jié)果轉(zhuǎn)換為可讀的最終查詢結(jié)果返回給客戶端。
2.根據(jù)權(quán)利要求1所述的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，其特征在于基于GPU的數(shù)據(jù)流并行計(jì)算模型包括六層架構(gòu): (1)、時(shí)序數(shù)據(jù)處理層:時(shí)序數(shù)據(jù)處理層中的數(shù)據(jù)是符合非規(guī)則流的一些約束的含高維屬性的元組，該層的任務(wù)是由CPU主機(jī)進(jìn)行處理的，對(duì)原數(shù)據(jù)流分三次處理:流速率調(diào)節(jié)、屬性包裝和數(shù)據(jù)過濾； (2)數(shù)據(jù)映射層:對(duì)于圖像相關(guān)的數(shù)據(jù)流，將CPU主機(jī)內(nèi)的數(shù)組結(jié)構(gòu)映射為GPU設(shè)備的紋理結(jié)構(gòu)，事先建立對(duì)應(yīng)表達(dá)式，通過數(shù)據(jù)屬性和紋理數(shù)據(jù)屬性建立映射關(guān)系，找出CPU主機(jī)和GPU設(shè)備內(nèi)兩類數(shù)據(jù)的 對(duì)應(yīng)關(guān)系； (3)數(shù)據(jù)緩沖層:包含兩級(jí)數(shù)據(jù)緩沖池，維護(hù)如下幾類數(shù)據(jù)緩沖的存儲(chǔ):注冊(cè)的查詢計(jì)劃緩沖、同步數(shù)據(jù)查詢操作工作區(qū)緩沖、數(shù)據(jù)流歷史概要緩沖、數(shù)據(jù)流緩沖；經(jīng)過數(shù)據(jù)清理以及映射處理的緩沖窗口作為普通的子窗口更新到滑動(dòng)窗口中； (4)滑動(dòng)窗口層:矩陣流以隊(duì)列的方式實(shí)現(xiàn)，隊(duì)列中存放數(shù)據(jù)流的高維屬性，進(jìn)入滑動(dòng)窗口 ；更新矩陣流時(shí)，用新元組替換掉最舊的元組； (5)概要數(shù)據(jù)抽取層:生成高維數(shù)據(jù)流的概要數(shù)據(jù)結(jié)構(gòu)，存放概要數(shù)據(jù)的層次；對(duì)于高維數(shù)據(jù)流此層分三個(gè)區(qū)域，根據(jù)高維數(shù)據(jù)流的特點(diǎn)分別采用不等概行向兼列向采樣技術(shù)、小波技術(shù)、數(shù)據(jù)立方技術(shù)進(jìn)行概要數(shù)據(jù)抽??； (6)查詢分析處理層:完成各種基本查詢和復(fù)雜分析；基本查詢處理操作完成一般的選擇、連接、投影和聚集連續(xù)查詢請(qǐng)求；復(fù)雜分析處理操作則是在信息提取層生成的概要信息基礎(chǔ)上，進(jìn)一步研究數(shù)據(jù)流中各種因素的性質(zhì)和相互之間的關(guān)系，基本查詢操作既可以直接在預(yù)處理過的數(shù)據(jù)流上執(zhí)行，也可以在概要上執(zhí)行。
3.根據(jù)權(quán)利要求2所述的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，其特征在于時(shí)序數(shù)據(jù)處理層中，對(duì)原數(shù)據(jù)流的處理如下: 流速率調(diào)節(jié)負(fù)責(zé)負(fù)載平衡和決定何時(shí)啟動(dòng)GPU設(shè)備的內(nèi)核；如果啟動(dòng)GPU設(shè)備的內(nèi)核協(xié)處理數(shù)據(jù)流，CPU主機(jī)每次以較大的分塊將數(shù)據(jù)交換到GPU設(shè)備，利用GPU設(shè)備的圖形處理器密集的數(shù)據(jù)計(jì)算能力和高內(nèi)存帶寬的特性對(duì)數(shù)據(jù)流進(jìn)行高速處理； 屬性包裝和數(shù)據(jù)過濾負(fù)責(zé)對(duì)數(shù)據(jù)流進(jìn)行加工以改善數(shù)據(jù)流的質(zhì)量，對(duì)數(shù)據(jù)流進(jìn)行加工包括對(duì)數(shù)據(jù)流進(jìn)行去噪、壓縮編碼、修正以減少存儲(chǔ)空間和傳輸時(shí)間。
4.根據(jù)權(quán)利要求2所述的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，其特征在于GTO設(shè)備中包括增量維護(hù)緩沖及滑動(dòng)窗口內(nèi)核、統(tǒng)一化內(nèi)核、近似降維處理內(nèi)核、挖掘類內(nèi)核；增量維護(hù)緩沖及滑動(dòng)窗口內(nèi)核負(fù)責(zé)生成和增量維護(hù)緩沖窗口和滑動(dòng)窗口摘要信息；統(tǒng)一化內(nèi)核負(fù)責(zé)執(zhí)行調(diào)整高維數(shù)據(jù)流格式任務(wù)；近似降維處理內(nèi)核是在滑動(dòng)窗口的模式下進(jìn)行概要結(jié)構(gòu)生成，完成低階近似降維處理；挖掘類內(nèi)核以摘要二維概要矩陣為輸入執(zhí)行多數(shù)據(jù)流挖掘算法。
5.根據(jù)權(quán)利要求2所述的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，其特征在于滑動(dòng)窗口層的數(shù)據(jù)流采用數(shù)據(jù)流立方結(jié)構(gòu)，將η條高維數(shù)據(jù)流組織成一個(gè)數(shù)據(jù)流立方結(jié)構(gòu)，每層代表一條高維數(shù)據(jù)流，每一層上的分塊代表各維度上的屬性，若某條數(shù)據(jù)流的某維屬性為空，則數(shù)據(jù)立方中對(duì)應(yīng)的分塊置為O。
6.根據(jù)權(quán)利要求5所述的一種非規(guī)則流中高維數(shù)據(jù)流的GPU處理方法，其特征在于將數(shù)據(jù)流立方結(jié)構(gòu)抽象到一個(gè)計(jì)算網(wǎng)格上，并通過線程塊索引訪問滑動(dòng)窗口中的二維概要數(shù)據(jù)矩陣；每條數(shù)據(jù)流對(duì)應(yīng)一個(gè)窗口，每個(gè)窗口上映射為一個(gè)二維矩陣，在該矩陣上進(jìn)行不等概行向兼列向采樣，得到標(biāo)有矩陣行和列的重要測(cè)度。
【文檔編號(hào)】G06F9/48GK104391679SQ201410656028
【公開日】2015年3月4日 申請(qǐng)日期:2014年11月18日 優(yōu)先權(quán)日:2014年11月18日
【發(fā)明者】盧曉偉, 張廣勇, 周勇 申請(qǐng)人:浪潮電子信息產(chǎn)業(yè)股份有限公司