亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種數(shù)據(jù)處理方法及裝置的制造方法

文檔序號(hào):8472948閱讀:261來源:國(guó)知局
一種數(shù)據(jù)處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域,尤其涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002] 流數(shù)據(jù)是一組順序、大量、快速、連續(xù)到達(dá)的數(shù)據(jù)序列,一般情況下,流數(shù)據(jù)可被視 為一個(gè)隨時(shí)間延續(xù)而無限增長(zhǎng)的動(dòng)態(tài)數(shù)據(jù)集合。由于流數(shù)據(jù)具有數(shù)據(jù)量巨大的特性,因此, 通常采用分布式服務(wù)器處理流數(shù)據(jù)。
[0003] 目前,分布式服務(wù)器處理流數(shù)據(jù)的過程一般是:分布式服務(wù)器接收目標(biāo)設(shè)備發(fā)送 的流數(shù)據(jù),并對(duì)接收到的流數(shù)據(jù)進(jìn)行處理,再將接收到的流數(shù)據(jù)和處理后得到的結(jié)果數(shù)據(jù) 發(fā)送給數(shù)據(jù)庫存儲(chǔ)。
[0004] 對(duì)于流數(shù)據(jù)的處理而言,主要的處理是去重處理和累加處理。例如,要對(duì)某電子商 務(wù)網(wǎng)站各商品類目下每天的買家數(shù)量進(jìn)行統(tǒng)計(jì)時(shí),則一個(gè)分布式服務(wù)器接收該電子商務(wù)網(wǎng) 站實(shí)時(shí)發(fā)送的一個(gè)商品類目下的新增訂單數(shù)據(jù),也就是流數(shù)據(jù),并對(duì)訂單數(shù)據(jù)中攜帶相同 買家標(biāo)識(shí)的數(shù)據(jù)進(jìn)行去重處理,將去重處理后的數(shù)據(jù)的數(shù)量累加到結(jié)果數(shù)據(jù)中,最后將去 重處理后的數(shù)據(jù)和結(jié)果數(shù)據(jù)發(fā)送給數(shù)據(jù)庫存儲(chǔ)。
[0005] 假設(shè)某個(gè)分布式服務(wù)器接收到的流數(shù)據(jù)是用戶A購買了某商品類目下的商品1、 用戶B購買了該商品類目下的商品2、用戶A購買了該商品類目下的商品2,則該分布式服 務(wù)器對(duì)接收到的這三條流數(shù)據(jù)進(jìn)行去重處理后得到的數(shù)據(jù)就是用戶A和用戶B,再將去重 處理后的這兩條數(shù)據(jù)累加到結(jié)果數(shù)據(jù)中,就得到了該商品類目下的買家數(shù)量。
[0006] 可見,由于分布式服務(wù)器在對(duì)流數(shù)據(jù)進(jìn)行去重處理時(shí),需要對(duì)比當(dāng)前接收的流數(shù) 據(jù)與之前接收的流數(shù)據(jù)中指定類型的信息(如上述用戶標(biāo)識(shí))是否相同,因此,分布式服務(wù) 器在處理流數(shù)據(jù)的整個(gè)過程中,都需要把流數(shù)據(jù)和結(jié)果數(shù)據(jù)存儲(chǔ)在自身的內(nèi)存中。
[0007] 在上述過程中,各分布式服務(wù)器由應(yīng)用管理中心統(tǒng)一進(jìn)行管理控制,各分布式服 務(wù)器會(huì)按照設(shè)定的時(shí)間間隔向應(yīng)用管理中心發(fā)送心跳檢測(cè)報(bào)文,如果應(yīng)用管理中心監(jiān)測(cè) 到某個(gè)分布式服務(wù)器沒有在設(shè)定時(shí)間內(nèi)發(fā)來心跳檢測(cè)報(bào)文,則確定該分布式服務(wù)器出現(xiàn)故 障,控制該分布式服務(wù)器進(jìn)行重啟。
[0008] 然而,對(duì)于一個(gè)分布式服務(wù)器來說,當(dāng)該分布式服務(wù)器重啟后會(huì)清除自身內(nèi)存中 的所有數(shù)據(jù),而由于分布式服務(wù)器處理后續(xù)的流數(shù)據(jù)是要基于之前已經(jīng)處理過的流數(shù)據(jù)和 結(jié)果數(shù)據(jù)進(jìn)行處理的,因此,在清除自身內(nèi)存中的數(shù)據(jù)后,分布式服務(wù)器需要從數(shù)據(jù)庫中讀 取該分布式服務(wù)器之前已經(jīng)處理過的流數(shù)據(jù)和結(jié)果數(shù)據(jù),以便基于讀取的流數(shù)據(jù)和結(jié)果數(shù) 據(jù)對(duì)后續(xù)接收到的流數(shù)據(jù)進(jìn)行處理。但由于數(shù)據(jù)庫中存儲(chǔ)了多個(gè)分布式服務(wù)器發(fā)送的處理 后的流數(shù)據(jù)和結(jié)果數(shù)據(jù),重啟后的該分布式服務(wù)器卻并不能獲知數(shù)據(jù)庫中存儲(chǔ)的哪些流數(shù) 據(jù)和結(jié)果數(shù)據(jù)是該分布式服務(wù)器處理后續(xù)的流數(shù)據(jù)所要基于的流數(shù)據(jù)和結(jié)果數(shù)據(jù),也即, 重啟后的該分布式服務(wù)器并不能獲知數(shù)據(jù)庫中存儲(chǔ)的哪些流數(shù)據(jù)和結(jié)果數(shù)據(jù)是該分布式 服務(wù)器之前發(fā)送給數(shù)據(jù)庫的流數(shù)據(jù)和結(jié)果數(shù)據(jù),從而,分布式服務(wù)器重啟后只能從數(shù)據(jù)庫 中讀取全量的流數(shù)據(jù)和結(jié)果數(shù)據(jù),而由于數(shù)據(jù)庫中存儲(chǔ)的不只是出現(xiàn)故障的這一個(gè)分布式 服務(wù)器發(fā)來的流數(shù)據(jù),而是所有分布式服務(wù)器發(fā)來的流數(shù)據(jù),因此,出現(xiàn)故障的分布式服務(wù) 器重啟后從數(shù)據(jù)庫中讀取全量的流數(shù)據(jù)的數(shù)據(jù)量是非常巨大的,這不僅會(huì)浪費(fèi)網(wǎng)絡(luò)資源, 而且也很可能會(huì)造成分布式服務(wù)器自身的內(nèi)存溢出而再次出現(xiàn)故障并重啟,從而陷入不斷 重啟的死循環(huán),無法正常處理流數(shù)據(jù)。
[0009] 例如,由服務(wù)器1、服務(wù)器2、服務(wù)器3這三個(gè)分布式服務(wù)器分別統(tǒng)計(jì)類目a、類目 b、類目c這三個(gè)商品類目下的處理流數(shù)據(jù),這三個(gè)分布式服務(wù)器都將自身去重處理后的流 數(shù)據(jù)以及累加處理后得到的結(jié)果數(shù)據(jù)發(fā)送給數(shù)據(jù)庫存儲(chǔ)。當(dāng)服務(wù)器1出現(xiàn)故障而重啟后, 由于其并不能獲知數(shù)據(jù)庫中存儲(chǔ)的哪些流數(shù)據(jù)是服務(wù)器1之前發(fā)送給數(shù)據(jù)庫的,因此服務(wù) 器1只能從數(shù)據(jù)庫中讀取全量的流數(shù)據(jù),即,服務(wù)器1從數(shù)據(jù)庫中讀取的流數(shù)據(jù)不僅僅是之 前服務(wù)器1發(fā)送給數(shù)據(jù)庫存儲(chǔ)的流數(shù)據(jù),而是之前這三個(gè)服務(wù)器發(fā)送給數(shù)據(jù)庫存儲(chǔ)的全部 流數(shù)據(jù),其數(shù)據(jù)量遠(yuǎn)大于服務(wù)器1發(fā)送給數(shù)據(jù)庫存儲(chǔ)的流數(shù)據(jù)的數(shù)據(jù)量,這樣不僅浪費(fèi)了 傳輸這些數(shù)據(jù)所消耗的網(wǎng)絡(luò)資源,服務(wù)器1也很有可能由于自身的內(nèi)存溢出而再次故障重 啟。

【發(fā)明內(nèi)容】

[0010] 本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)處理方法及裝置,用以解決現(xiàn)有技術(shù)中當(dāng)服務(wù)器故障 重啟后從數(shù)據(jù)庫中讀取流數(shù)據(jù)時(shí)浪費(fèi)網(wǎng)絡(luò)資源,也很可能再次發(fā)生故障的問題。
[0011] 本申請(qǐng)實(shí)施例提供的一種數(shù)據(jù)處理方法,包括:
[0012] 分布式服務(wù)器接收流數(shù)據(jù);并
[0013] 基于自身保存的對(duì)之前接收到的前續(xù)流數(shù)據(jù)進(jìn)行第一處理得到的第一前續(xù)處理 數(shù)據(jù),對(duì)接收到的流數(shù)據(jù)進(jìn)行第一處理得到第一處理數(shù)據(jù);
[0014] 在所述第一處理數(shù)據(jù)中添加所述分布式服務(wù)器的服務(wù)器標(biāo)識(shí),將添加了所述服務(wù) 器標(biāo)識(shí)的第一處理數(shù)據(jù)發(fā)送給數(shù)據(jù)庫存儲(chǔ);
[0015] 當(dāng)所述分布式服務(wù)器重啟后,根據(jù)自身的服務(wù)器標(biāo)識(shí),從所述數(shù)據(jù)庫中讀取攜帶 所述服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù),并基于讀取的第一處理數(shù)據(jù)對(duì)接收到的后續(xù)流數(shù)據(jù)繼續(xù) 進(jìn)行第一處理。
[0016] 本申請(qǐng)實(shí)施例提供的一種數(shù)據(jù)處理裝置,包括:
[0017] 接收模塊,用于接收流數(shù)據(jù);
[0018] 第一處理模塊,用于基于自身保存的對(duì)之前接收到的前續(xù)流數(shù)據(jù)進(jìn)行第一處理得 到的第一前續(xù)處理數(shù)據(jù),對(duì)接收到的流數(shù)據(jù)進(jìn)行第一處理得到第一處理數(shù)據(jù);
[0019] 第一添加模塊,用于在所述第一處理數(shù)據(jù)中添加所述裝置的服務(wù)器標(biāo)識(shí);
[0020] 發(fā)送模塊,用于將添加了所述服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù)發(fā)送給數(shù)據(jù)庫存儲(chǔ);
[0021] 第一讀取模塊,用于當(dāng)所述裝置重啟后,根據(jù)所述裝置的服務(wù)器標(biāo)識(shí),從所述數(shù)據(jù) 庫中讀取攜帶所述服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù);
[0022] 所述第一處理模塊還用于,基于讀取的第一處理數(shù)據(jù)對(duì)所述接收模塊接收到的后 續(xù)流數(shù)據(jù)繼續(xù)進(jìn)行第一處理。
[0023] 本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)處理方法及裝置,該方法分布式服務(wù)器對(duì)接收到的流 數(shù)據(jù)進(jìn)行第一處理得到第一處理數(shù)據(jù)后,向第一處理數(shù)據(jù)中添加該分布式服務(wù)器的服務(wù)器 標(biāo)識(shí),并發(fā)送給數(shù)據(jù)庫存儲(chǔ),當(dāng)分布式服務(wù)器重啟后,從數(shù)據(jù)庫中讀取攜帶該服務(wù)器標(biāo)識(shí)的 第一處理數(shù)據(jù),并基于讀取的第一處理數(shù)據(jù)對(duì)接收到的后續(xù)流數(shù)據(jù)繼續(xù)進(jìn)行第一處理。通 過上述方法,分布式服務(wù)器在發(fā)生故障并重啟后,無需從數(shù)據(jù)庫中讀取全量的第一處理數(shù) 據(jù),只需讀取攜帶該分布式服務(wù)器自身的服務(wù)器標(biāo)識(shí)的第一處理數(shù)據(jù)即可,因此可有效降 低分布式服務(wù)器從數(shù)據(jù)庫中讀取數(shù)據(jù)的數(shù)據(jù)量,從而節(jié)省了網(wǎng)絡(luò)資源,分布式服務(wù)器也不 會(huì)因讀取的數(shù)據(jù)過多導(dǎo)致自身內(nèi)存溢出而再次發(fā)生故障。
【附圖說明】
[0024] 此處所說明的附圖用來提供對(duì)本申請(qǐng)的進(jìn)一步理解,構(gòu)成本申請(qǐng)的一部分,本申 請(qǐng)的示意性實(shí)施例及其說明用于解釋本申請(qǐng),并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中:
[0025]
當(dāng)前第1頁1 2 3 4 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1