本公開涉及計算機處理技術領域,具體地,涉及一種數(shù)據(jù)處理方法及裝置。
背景技術:
管道-過濾器(pipe-and-filter)模式主要用于數(shù)據(jù)流的處理分析。參見圖1所示示意圖,管道-過濾器模式可以包括多個過濾器處理單元,且多個過濾器處理單元之間通過管道連接。其中,管道用于進行數(shù)據(jù)傳遞,過濾器處理單元用于進行數(shù)據(jù)加工與處理。具體地,數(shù)據(jù)源中的數(shù)據(jù)經(jīng)由最上游的過濾器處理單元流入鏈路中,經(jīng)過逐級傳遞、處理,最終由最下游的過濾器處理單元完成數(shù)據(jù)處理后進行結果輸出。
通常,如果數(shù)據(jù)能夠逐條在鏈路中傳遞,那么數(shù)據(jù)的流入速度與流出速度是相互匹配的,也就是說,整條鏈路的數(shù)據(jù)處理過程非常順暢平滑,具備很好的響應性。但在實際應用中,對于數(shù)據(jù)分組、聚合計算、數(shù)據(jù)排序等需要對全量數(shù)據(jù)進行全局處理的場景,過濾器處理單元會對接收到的數(shù)據(jù)進行數(shù)據(jù)截斷,并在確定接收到全量數(shù)據(jù)之后才進行后續(xù)處理。如此,可能會造成管道阻塞,影響數(shù)據(jù)處理的響應性,特別是在鏈路中存在多個需要全局計算的過濾器處理單元時,這一問題會變的尤為明顯。
技術實現(xiàn)要素:
本公開的目的是提供一種數(shù)據(jù)處理方法及裝置,有助于解決過濾器處理單元等待接收全量數(shù)據(jù)造成的管道阻塞以及數(shù)據(jù)處理響應性差的問題。
為了實現(xiàn)上述目的,第一方面,本公開提供一種數(shù)據(jù)處理方法,包括:
當前過濾器處理單元判斷是否接收到控制信號,所述控制信號用于表示分階段數(shù)據(jù)處理;
如果接收到所述控制信號,且所述當前過濾器處理單元用于進行全局處理,則所述當前過濾器處理單元判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
如果所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài),所述當前過濾器處理單元對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù);
所述當前過濾器處理單元清零所述當前數(shù)據(jù)狀態(tài)。
可選地,所述預設狀態(tài)為預設數(shù)據(jù)量、預設分段時長、相鄰兩個數(shù)據(jù)之間的預設時間間隔中的至少一個。
可選地,所述方法還包括:所述當前過濾器處理單元向下游鏈路發(fā)送所述控制信號以及所述當前階段的數(shù)據(jù)處理結果。
可選地,如果接收到所述控制信號,且所述當前過濾器處理單元用于進行非全局處理,所述方法還包括:
所述當前過濾器處理單元對接收到的數(shù)據(jù)進行數(shù)據(jù)處理,得到所述數(shù)據(jù)的處理結果;
所述當前過濾器處理單元向下游鏈路發(fā)送所述控制信號以及所述數(shù)據(jù)的處理結果。
可選地,如果未接收到所述控制信號,且所述當前過濾器處理單元用于進行全局處理,所述方法還包括:
所述當前過濾器處理單元判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
如果所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài),所述當前過濾器處理單元對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù);
所述當前過濾器處理單元生成所述控制信號,向下游鏈路發(fā)送所述控制信號以及所述當前階段的數(shù)據(jù)處理結果,并清零所述當前數(shù)據(jù)狀態(tài)。
第二方面,本公開提供一種數(shù)據(jù)處理裝置,所述數(shù)據(jù)處理裝置屬于當前過濾器處理單元,所述裝置包括:
第一判斷模塊,用于判斷是否接收到控制信號,所述控制信號用于表示分階段數(shù)據(jù)處理;
第二判斷模塊,用于在所述當前過濾器處理單元用于進行全局處理,且所述第一判斷模塊判定接收到所述控制信號時,判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
第一數(shù)據(jù)處理模塊,用于在所述第二判斷模塊判定所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài)時,對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù);
第一狀態(tài)清零模塊,用于清零所述當前數(shù)據(jù)狀態(tài)。
可選地,所述預設狀態(tài)為預設數(shù)據(jù)量、預設分段時長、相鄰兩個數(shù)據(jù)之間的預設時間間隔中的至少一個。
可選地,所述裝置還包括:
第一發(fā)送模塊,用于向下游鏈路發(fā)送所述控制信號以及所述當前階段的數(shù)據(jù)處理結果。
可選地,所述當前過濾器處理單元用于進行非全局處理,所述裝置還包括:
第二數(shù)據(jù)處理模塊,用于在所述第一判斷模塊判定接收到所述控制信號時,對接收到的數(shù)據(jù)進行數(shù)據(jù)處理,得到所述數(shù)據(jù)的處理結果;
第二發(fā)送模塊,用于向下游鏈路發(fā)送所述控制信號以及所述數(shù)據(jù)的處理結果。
可選地,所述當前過濾器處理單元用于進行全局處理,所述裝置還包括:
第三判斷模塊,用于在所述第一判斷模塊判定未接收到所述控制信號時,判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
第三數(shù)據(jù)處理模塊,用于在所述第三判斷模塊判定所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài)時,對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù);
控制信號生成模塊,用于生成所述控制信號;
第三發(fā)送模塊,用于向下游鏈路發(fā)送所述控制信號以及所述當前階段的數(shù)據(jù)處理結果;
第二狀態(tài)清零模塊,用于清零所述當前數(shù)據(jù)狀態(tài)。
第三方面,本公開提供一種數(shù)據(jù)處理裝置,所述數(shù)據(jù)處理裝置屬于當前過濾器處理單元,所述裝置包括:
處理器;
用于存儲處理器可執(zhí)行指令的存儲器;
其中,所述處理器被配置為:
判斷是否接收到控制信號,所述控制信號用于表示分階段數(shù)據(jù)處理;
如果接收到所述控制信號,且所述當前過濾器處理單元用于進行全局處理,則判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
如果所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài),則對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù);
清零所述當前數(shù)據(jù)狀態(tài)。
本公開的數(shù)據(jù)處理方案,首先,在用于進行全局處理的過濾器處理單元內(nèi)配置預設狀態(tài),并通過當前數(shù)據(jù)狀態(tài)達到預設狀態(tài)觸發(fā)執(zhí)行一次分階段數(shù)據(jù)處理;其次,改造現(xiàn)有的管道-過濾器模式,在其基礎上增加用于傳遞控制信號的控制管道,并通過在相鄰過濾器處理單元之間傳遞控制信號的方式,使鏈路中的過濾器處理單元明確本次進行的是分階段數(shù)據(jù)處理。如此,有助于解決現(xiàn)有技術因過濾器處理單元等待接收全量數(shù)據(jù)造成的管道阻塞以及數(shù)據(jù)處理響應性差的問題。
本公開的其他特征和優(yōu)點將在隨后的具體實施方式部分予以詳細說明。
附圖說明
附圖是用來提供對本公開的進一步理解,并且構成說明書的一部分,與下面的具體實施方式一起用于解釋本公開,但并不構成對本公開的限制。在附圖中:
圖1是現(xiàn)有技術的管道-過濾器模式的示意圖;
圖2是本公開數(shù)據(jù)處理方法的流程示意圖;
圖3是本公開的管道-過濾器模式的示意圖;
圖4是本公開數(shù)據(jù)處理裝置的一種結構示意圖;
圖5是本公開數(shù)據(jù)處理裝置的另一種結構示意圖。
具體實施方式
以下結合附圖對本公開的具體實施方式進行詳細說明。應當理解的是,此處所描述的具體實施方式僅用于說明和解釋本公開,并不用于限制本公開。
參見圖2為本公開數(shù)據(jù)處理方法的流程示意圖。該方法可以包括以下步驟:
步驟201,當前過濾器處理單元判斷是否接收到控制信號,所述控制信號用于表示分階段數(shù)據(jù)處理。
參見圖1所示現(xiàn)有的管道-過濾器模式,相鄰過濾器處理單元之間可以通過數(shù)據(jù)管道進行數(shù)據(jù)傳遞,上游過濾器處理單元的輸出作為下游過濾器處理單元的輸入,如此逐級進行數(shù)據(jù)傳遞處理直至結束。針對該模式在全局處理時存在的技術問題,本公開提供一種階段性的數(shù)據(jù)處理方案,有助于解決過濾器處理單元等待接收全量數(shù)據(jù)造成的管道阻塞以及數(shù)據(jù)處理響應性差的問題。
具體地,本公開方案可在圖1所示管道-過濾器模式的基礎上,增加控制管道,采用控制管道傳遞控制信號的方式,指示鏈路中的過濾器處理單元,本次進行的是階段性數(shù)據(jù)處理。本公開方案對控制管道、控制信號的表現(xiàn)形式可不做具體限定,只要相鄰過濾器處理單元之間能通過控制管道傳遞控制信號,并知曉控制信號用于表示分階段數(shù)據(jù)處理即可。
步驟202,如果接收到所述控制信號,且所述當前過濾器處理單元用于進行全局處理,則所述當前過濾器處理單元判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài)。
步驟203,如果所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài),所述當前過濾器處理單元對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù)。
步驟204,所述當前過濾器處理單元清零所述當前數(shù)據(jù)狀態(tài)。
本公開方案中,根據(jù)所實現(xiàn)功能,可將過濾器處理單元分為兩種類型:用于進行全局處理的過濾器處理單元、用于進行非全局處理的過濾器處理單元。通常,在數(shù)據(jù)處理之前,會對鏈路中的過濾器處理單元進行功能配置,過濾器處理單元可以據(jù)此明確本身是否用于進行全局處理。例如,過濾器處理單元被配置為進行數(shù)據(jù)分類、平均值計算等,則表示該過濾器處理單元需要進行全局處理。
本公開方案中,可以將鏈路中正在進行數(shù)據(jù)處理的過濾器處理單元稱為當前過濾器處理單元,如果當前過濾器處理單元接收到控制信號,且當前過濾器處理單元需要進行全局處理,則可執(zhí)行以下步驟實現(xiàn)階段性數(shù)據(jù)處理:
(1)識別當前數(shù)據(jù)狀態(tài)
通過當前數(shù)據(jù)狀態(tài)判斷是否可以啟動本階段的數(shù)據(jù)處理步驟。具體地,可以判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài),如果達到預設狀態(tài),則可執(zhí)行本階段的數(shù)據(jù)處理步驟;如果未達到預設狀態(tài),則需要繼續(xù)進行數(shù)據(jù)攔截,直至達到預設狀態(tài)為止。
本公開方案中,預設狀態(tài)可以體現(xiàn)為預設數(shù)據(jù)量、預設分段時長、相鄰兩個數(shù)據(jù)之間的預設時間間隔中的至少一個。
舉例來說,預設狀態(tài)可以設置為每加載1mb數(shù)據(jù)執(zhí)行一次數(shù)據(jù)處理,即,預設數(shù)據(jù)量為1mb;或者,可以設置為每隔5s執(zhí)行一次數(shù)據(jù)處理,即,預設分段時長為5s;或者,可以設置為相鄰兩個數(shù)據(jù)之間的接收間隔超過1s執(zhí)行一次數(shù)據(jù)處理,即預設時間間隔為1s;或者,還可以將上述示例進行任意組合設置,滿足組合中的全部條件或者滿足組合中的部分條件,執(zhí)行一次數(shù)據(jù)處理。本公開方案中的預設狀態(tài)可由實際應用需求而定,此處可不做具體限定。
(2)階段性數(shù)據(jù)處理
以預設狀態(tài)設置為每加載1mb數(shù)據(jù)執(zhí)行一次數(shù)據(jù)處理為例,如果當前過濾器處理單元判定本階段接收的數(shù)據(jù)達到1mb,即當前數(shù)據(jù)狀態(tài)達到預設狀態(tài),則可進行一次階段性數(shù)據(jù)處理??梢岳斫獾?,本公開方案的階段性數(shù)據(jù)處理,針對的是本階段以及本階段之前累計接收的數(shù)據(jù)。例如,第一階段可以接收0mb~1mb的數(shù)據(jù),計算得到0mb~1mb數(shù)據(jù)的處理結果,第二階段可以接收1mb~2mb的數(shù)據(jù),計算得到0mb~2mb數(shù)據(jù)的處理結果,以此類推,在數(shù)據(jù)總量一定的情況下,最終可以得到全量數(shù)據(jù)的數(shù)據(jù)處理結果,確保本公開方案對全量數(shù)據(jù)進行全局處理的結果的準確性。
(3)清零當前數(shù)據(jù)狀態(tài)
對本階段的數(shù)據(jù)進行數(shù)據(jù)處理后,需要清零當前數(shù)據(jù)狀態(tài),為下一階段的數(shù)據(jù)處理做好準備。
可以理解地,可以按照圖2所示流程圖,先得到當前階段的數(shù)據(jù)處理結果,再清零當前數(shù)據(jù)狀態(tài);或者,也可以先清零當前數(shù)據(jù)狀態(tài),再得到當前階段的數(shù)據(jù)處理結果;再者,可以同時執(zhí)行上述兩個動作,本公開方案對此可不做具體限定。
綜上所述,本公開方案可以改造現(xiàn)有的管道-過濾器模式,增加用于傳遞控制信號的控制管道,并通過在相鄰過濾器處理單元之間傳遞控制信號的方式,使鏈路中的過濾器處理單元明確本次進行的是階段性數(shù)據(jù)處理。如此,需要進行全局處理的過濾器處理單元,便可結合各自配置的預設狀態(tài),分階段進行數(shù)據(jù)處理,有助于解決現(xiàn)有技術因過濾器處理單元等待接收全量數(shù)據(jù)造成的管道阻塞以及數(shù)據(jù)處理響應性差的問題。
作為一種示例,在圖2所示方案的基礎上,所述方法還包括:所述當前過濾器處理單元向下游鏈路發(fā)送所述控制信號以及所述當前階段的數(shù)據(jù)處理結果。
也就是說,當前過濾器處理單元可以通過數(shù)據(jù)管道,將階段性數(shù)據(jù)處理結果傳遞到下游過濾器處理單元繼續(xù)處理,或者傳遞至鏈路外部進行處理結果保存。與此同時,當前過濾器處理單元還可以通過控制管道向下游過濾器處理單元或者鏈路外部傳遞控制信號,使下游鏈路明確本次數(shù)據(jù)管道傳遞的是階段性數(shù)據(jù)處理結果。
作為一種示例,如果當前過濾器處理單元接收到所述控制信號,且所述當前過濾器處理單元用于進行非全局處理,所述方法還包括:所述當前過濾器處理單元對接收到的數(shù)據(jù)進行數(shù)據(jù)處理,得到所述數(shù)據(jù)的處理結果;所述當前過濾器處理單元向下游鏈路發(fā)送所述控制信號以及所述數(shù)據(jù)的處理結果。
本公開方案中,當前過濾器處理單元接收到控制信號,可以理解為上游鏈路中進行過階段性數(shù)據(jù)處理。如果當前過濾器處理單元用于進行非全局處理,可以按照現(xiàn)有方案進行數(shù)據(jù)接收和處理,并通過數(shù)據(jù)管道向下游鏈路傳遞數(shù)據(jù)處理結果;還可以通過控制管道向下游鏈路傳遞控制信號,使下游鏈路明確本次數(shù)據(jù)管道傳遞的是階段性數(shù)據(jù)處理結果。
作為一種示例,如果當前過濾器處理單元未接收到所述控制信號,且所述當前過濾器處理單元用于進行全局處理,所述方法還包括:所述當前過濾器處理單元判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);如果所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài),所述當前過濾器處理單元對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù);所述當前過濾器處理單元生成所述控制信號,向下游鏈路發(fā)送所述控制信號以及所述當前階段的數(shù)據(jù)處理結果,并清零所述當前數(shù)據(jù)狀態(tài)。
本公開方案中,當前過濾器處理單元未接收到控制信號,可以理解為上游鏈路中未進行過階段性數(shù)據(jù)處理。如果當前過濾器處理單元用于進行全局處理,可以結合圖2處所做介紹進行階段性數(shù)據(jù)處理,并通過數(shù)據(jù)管道向下游鏈路傳遞當前階段的數(shù)據(jù)處理結果;還可以生成控制信號,并通過控制管道向下游鏈路傳遞控制信號,使下游鏈路明確本次數(shù)據(jù)管道傳遞的是階段性數(shù)據(jù)處理結果。
下面結合圖3所示管道-過濾器模式的示意圖,對本公開方案的實現(xiàn)過程進行舉例說明。
可以理解地,為了簡化鏈路設計,可以如圖3所示在相鄰過濾器處理單元之間均增設控制管道?;蛘?,還可以結合實際應用需求,在鏈路中首次出現(xiàn)用于進行全局處理的過濾器處理單元之后,再在相鄰過濾器處理單元之間增設控制管道,舉例來說,如果圖3所示示例中,過濾器處理單元1用于進行非全局處理,過濾器處理單元2用于進行全局處理,則過濾器處理單元1、2之間可以不設置控制管道,過濾器處理單元2、3、4之間需要增設控制管道。
假設,過濾器處理單元1、3用于進行非全局處理,過濾器處理單元2、4用于進行全局處理,本公開的數(shù)據(jù)處理過程可簡述如下:
(1)過濾器處理單元1從數(shù)據(jù)源加載數(shù)據(jù),完成數(shù)據(jù)處理后通過數(shù)據(jù)管道向過濾器處理單元2傳遞數(shù)據(jù)處理結果,實現(xiàn)數(shù)據(jù)的逐條流入與流出。
(2)過濾器處理單元2接收到過濾器處理單元1傳遞的數(shù)據(jù),判定過濾器處理單元2用于進行全局處理,且未接收到控制信號,過濾器處理單元2可做如下處理,實現(xiàn)分階段數(shù)據(jù)處理:
a、獲取過濾器處理單元2的當前數(shù)據(jù)狀態(tài);
b、判定當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
c、如果當前數(shù)據(jù)狀態(tài)未達到預設狀態(tài),繼續(xù)攔截過濾器處理單元1傳遞的數(shù)據(jù),并更新當前數(shù)據(jù)狀態(tài);
d、如果當前數(shù)據(jù)狀態(tài)達到預設狀態(tài),可以清零當前數(shù)據(jù)狀態(tài);還可以對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,并通過數(shù)據(jù)管道傳遞至過濾器處理單元3;
e、生成控制信號,并通過控制管道傳遞至過濾器處理單元3,使過濾器處理單元3明確本次數(shù)據(jù)管道傳遞的是階段性數(shù)據(jù)處理結果。
(3)過濾器處理單元3接收到過濾器處理單元2傳遞的數(shù)據(jù)及控制信號,判定過濾器處理單元3用于進行非全局處理,過濾器處理單元3可做如下處理,實現(xiàn)數(shù)據(jù)的逐條流入與流出:
a、按照現(xiàn)有技術對過濾器處理單元2傳遞的數(shù)據(jù)進行數(shù)據(jù)處理,并通過數(shù)據(jù)管道向過濾器處理單元4傳遞數(shù)據(jù)處理結果;
b、通過控制管道向過濾器處理單元4傳遞控制信號,使過濾器處理單元4明確本次數(shù)據(jù)管道傳遞的是階段性數(shù)據(jù)處理結果。
(4)過濾器處理單元4接收到過濾器處理單元3傳遞的數(shù)據(jù)及控制信號,判定過濾器處理單元4用于進行全局處理,過濾器處理單元4可做如下處理,實現(xiàn)分階段數(shù)據(jù)處理:
a、獲取過濾器處理單元4的當前數(shù)據(jù)狀態(tài);
b、判定當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
c、如果當前數(shù)據(jù)狀態(tài)未達到預設狀態(tài),繼續(xù)攔截過濾器處理單元3傳遞的數(shù)據(jù),并更新當前數(shù)據(jù)狀態(tài);
d、如果當前數(shù)據(jù)狀態(tài)達到預設狀態(tài),可以清零當前數(shù)據(jù)狀態(tài);還可以對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,并通過數(shù)據(jù)管道輸出至鏈路外部;
e、通過控制管道向鏈路外部輸出控制信號,使外部明確本次保存的是階段性數(shù)據(jù)處理結果。
可以理解地,數(shù)據(jù)輸出至鏈路外部之后,外部可以只保存鏈路最后一次輸出的數(shù)據(jù);或者,也可以保存鏈路輸出的所有階段性數(shù)據(jù),以此反映數(shù)據(jù)的變化趨勢。另外,需要說明的是,本公開方案不僅適用于數(shù)據(jù)總量一定的場景,還適用于會實時的不斷產(chǎn)生新數(shù)據(jù),即數(shù)據(jù)總量不定的場景。
參見圖4為本公開數(shù)據(jù)處理裝置的結構示意圖。所述數(shù)據(jù)處理裝置屬于當前過濾器處理單元,所述裝置可以包括:
第一判斷模塊401,用于判斷是否接收到控制信號,所述控制信號用于表示分階段數(shù)據(jù)處理;
第二判斷模塊402,用于在所述當前過濾器處理單元用于進行全局處理,且所述第一判斷模塊判定接收到所述控制信號時,判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
第一數(shù)據(jù)處理模塊403,用于在所述第二判斷模塊判定所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài)時,對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù);
第一狀態(tài)清零模塊404,用于清零所述當前數(shù)據(jù)狀態(tài)。
可選地,所述預設狀態(tài)為預設數(shù)據(jù)量、預設分段時長、相鄰兩個數(shù)據(jù)之間的預設時間間隔中的至少一個。
可選地,所述裝置還包括:
第一發(fā)送模塊,用于向下游鏈路發(fā)送所述控制信號以及所述當前階段的數(shù)據(jù)處理結果。
可選地,所述當前過濾器處理單元用于進行非全局處理,所述裝置還包括:
第二數(shù)據(jù)處理模塊,用于在所述第一判斷模塊判定接收到所述控制信號時,對接收到的數(shù)據(jù)進行數(shù)據(jù)處理,得到所述數(shù)據(jù)的處理結果;
第二發(fā)送模塊,用于向下游鏈路發(fā)送所述控制信號以及所述數(shù)據(jù)的處理結果。
可選地,所述當前過濾器處理單元用于進行全局處理,所述裝置還包括:
第三判斷模塊,用于在所述第一判斷模塊判定未接收到所述控制信號時,判斷當前數(shù)據(jù)狀態(tài)是否達到預設狀態(tài);
第三數(shù)據(jù)處理模塊,用于在所述第三判斷模塊判定所述當前數(shù)據(jù)狀態(tài)達到所述預設狀態(tài)時,對當前已接收的數(shù)據(jù)進行數(shù)據(jù)處理,得到當前階段的數(shù)據(jù)處理結果,所述當前已接收的數(shù)據(jù)包括本階段接收的數(shù)據(jù)以及本階段之前累計接收的數(shù)據(jù);
控制信號生成模塊,用于生成所述控制信號;
第三發(fā)送模塊,用于向下游鏈路發(fā)送所述控制信號以及所述當前階段的數(shù)據(jù)處理結果;
第二狀態(tài)清零模塊,用于清零所述當前數(shù)據(jù)狀態(tài)。
關于上述實施例中的裝置,其中各個模塊執(zhí)行操作的具體方式已經(jīng)在有關該方法的實施例中進行了詳細描述,此處將不做詳細闡述說明。
參見圖5為本公開數(shù)據(jù)處理裝置500的結構示意圖。例如,裝置500可以被提供為一服務器。參照圖5,裝置500包括處理組件501,其進一步包括一個或多個處理器,以及由存儲器502所代表的存儲器資源,用于存儲可由處理組件501的執(zhí)行的指令,例如應用程序。存儲器502中存儲的應用程序可以包括一個或一個以上的每一個對應于一組指令的模塊。此外,處理組件501被配置為執(zhí)行指令,以執(zhí)行上述數(shù)據(jù)處理方法。
裝置500還可以包括一個電源組件503被配置為執(zhí)行裝置500的電源管理,一個有線或無線網(wǎng)絡接口504被配置為將裝置500連接到網(wǎng)絡,和一個輸入輸出(i/o)接口505。裝置500可以操作基于存儲在存儲器502的操作系統(tǒng),例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm或類似。
以上結合附圖詳細描述了本公開的優(yōu)選實施方式,但是,本公開并不限于上述實施方式中的具體細節(jié),在本公開的技術構思范圍內(nèi),可以對本公開的技術方案進行多種簡單變型,這些簡單變型均屬于本公開的保護范圍。
另外需要說明的是,在上述具體實施方式中所描述的各個具體技術特征,在不矛盾的情況下,可以通過任何合適的方式進行組合,為了避免不必要的重復,本公開對各種可能的組合方式不再另行說明。
此外,本公開的各種不同的實施方式之間也可以進行任意組合,只要其不違背本公開的思想,其同樣應當視為本公開所公開的內(nèi)容。