亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種數(shù)據(jù)采集方法及裝置與流程

文檔序號:11410989閱讀:198來源:國知局
一種數(shù)據(jù)采集方法及裝置與流程
本發(fā)明涉及互聯(lián)網(wǎng)
技術(shù)領(lǐng)域
,特別是涉及一種數(shù)據(jù)采集方法及裝置。
背景技術(shù)
:隨著互聯(lián)網(wǎng)的高速發(fā)展,每天都會有很多新的應(yīng)用程序被開發(fā)上線,用戶可以通過各種應(yīng)用程序的客戶端,來獲取各種各樣的服務(wù),例如視頻播放客戶端,移動通信客戶端等等。這些客戶端的使用已經(jīng)成為了現(xiàn)代生活中不可或缺的部分。為了更好的提高用戶使用各種應(yīng)用程序客戶端時的用戶體驗,應(yīng)用程序的開發(fā)或運營公司需要充分了解用戶在使用各種應(yīng)用程序客戶端時的各種情況。所以需要客戶端能夠統(tǒng)計用戶使用客戶端時的各種運行數(shù)據(jù),并將這些數(shù)據(jù)發(fā)送給服務(wù)器,以便進行數(shù)據(jù)分析,從而能夠及時發(fā)現(xiàn)問題,或者對客戶端進行進一步的改進。現(xiàn)有技術(shù)中,不論服務(wù)器業(yè)務(wù)是否繁忙,客戶端都按固有頻率采集并向服務(wù)器發(fā)送數(shù)據(jù),當(dāng)服務(wù)器的業(yè)務(wù)量很大時,服務(wù)器處理能力不足,客戶端可能依然以較高的頻率采集并向服務(wù)器發(fā)送數(shù)據(jù),會對服務(wù)器造成很大數(shù)據(jù)壓力,從而會導(dǎo)致服務(wù)器不能及時接收到客戶端所發(fā)送的數(shù)據(jù),在極端情況下,甚至?xí)霈F(xiàn)數(shù)據(jù)的丟失。技術(shù)實現(xiàn)要素:本發(fā)明實施例的目的在于提供一種數(shù)據(jù)采集方法及裝置,以實現(xiàn)根據(jù)當(dāng)前服務(wù)器業(yè)務(wù)量,調(diào)整客戶端采集或發(fā)送數(shù)據(jù)的頻率,避免了在服務(wù)器業(yè)務(wù)量很大時,客戶端高頻率的采集并向服務(wù)器發(fā)送數(shù)據(jù),使得服務(wù)器可以及時接收到數(shù)據(jù),避免了數(shù)據(jù)的丟失,并且減小服務(wù)器壓力。具體技術(shù)方案如下:本發(fā)明實施例公開了一種數(shù)據(jù)采集方法,應(yīng)用于服務(wù)器,包括:按預(yù)設(shè)周期獲取所述服務(wù)器的負(fù)載狀態(tài)值,所述服務(wù)器用于接收客戶端所采集并發(fā)送的數(shù)據(jù);根據(jù)所述負(fù)載狀態(tài)值,通過預(yù)設(shè)的負(fù)載狀態(tài)值與采集調(diào)整系數(shù)之間的對應(yīng)關(guān)系,獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù);將所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至所述客戶端,以使所述客戶端根據(jù)所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。可選的,所述按預(yù)設(shè)周期獲取所述服務(wù)器的負(fù)載狀態(tài)值,包括:按預(yù)設(shè)周期獲取多個從屬服務(wù)器的平均負(fù)載狀態(tài)值,所述從屬服務(wù)器從屬于所述服務(wù)器,用于分布式的接收多個客戶端所采集并發(fā)送的數(shù)據(jù),所述平均負(fù)載狀態(tài)值為所述多個從屬服務(wù)器負(fù)載狀態(tài)值的平均值。可選的,所述按預(yù)設(shè)周期獲取多個從屬服務(wù)器的當(dāng)前平均負(fù)載狀態(tài)值之前,所述方法還包括:通過負(fù)載均衡策略,對每個所述從屬服務(wù)器分配差值小于預(yù)設(shè)值的數(shù)據(jù)量,所述數(shù)據(jù)量為所述多個客戶端所采集并發(fā)送數(shù)據(jù)的數(shù)據(jù)量??蛇x的,所述服務(wù)器的負(fù)載狀態(tài)值包括所述服務(wù)器的每秒查詢率??蛇x的,所述按預(yù)設(shè)周期獲取所述服務(wù)器的負(fù)載狀態(tài)值之前,所述方法還包括:將初始的數(shù)據(jù)采集調(diào)整系數(shù)配置為初始值;相應(yīng)的,所述根據(jù)所述負(fù)載狀態(tài)值,通過預(yù)設(shè)的負(fù)載狀態(tài)值與采集調(diào)整系數(shù)之間的對應(yīng)關(guān)系,獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),包括:當(dāng)所述服務(wù)器的每秒查詢率小于或等于預(yù)設(shè)閾值,且所述當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)大于或等于初始值時,將所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)配置為初始值;當(dāng)所述每秒查詢率小于或等于預(yù)設(shè)閾值,且所述當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)小于初始值時,通過第一預(yù)設(shè)公式獲得所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),所述第一預(yù)設(shè)公式為:z=z′+(x-y)/y其中所述z表示所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),所述z′表示所述上個周期的數(shù)據(jù)采集調(diào)整系數(shù),所述x表示預(yù)設(shè)閾值,所述y表示所述每秒查詢率;當(dāng)所述每秒查詢率大于預(yù)設(shè)閾值時,根據(jù)第二預(yù)設(shè)公式獲得所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),所述第二預(yù)設(shè)公式為:z=z′-(x-y)/y其中所述z表示所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),所述z′表示所述上個周期的數(shù)據(jù)采集調(diào)整系數(shù),所述x表示預(yù)設(shè)閾值,所述y表示所述每秒查詢率??蛇x的,所述將所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至所述客戶端,包括:接收到所述客戶端發(fā)送的數(shù)據(jù)后,將所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至所述客戶端。本發(fā)明實施例公開了一種數(shù)據(jù)采集方法,應(yīng)用于客戶端,包括:接收服務(wù)器發(fā)送的數(shù)據(jù)采集調(diào)整系數(shù);當(dāng)所述客戶端進行數(shù)據(jù)采集或發(fā)送時,根據(jù)所述數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率,所述數(shù)據(jù)包括所述客戶端的運行數(shù)據(jù),用于分析和監(jiān)測所述客戶端的運行情況??蛇x的,所述根據(jù)所述數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率,包括:通過所述數(shù)據(jù)采集調(diào)整系數(shù),對所述客戶端所采集的所述數(shù)據(jù)進行合并或抽樣。本發(fā)明實施例公開了一種數(shù)據(jù)采集裝置,應(yīng)用于服務(wù)器,包括:獲取模塊,用于按預(yù)設(shè)周期獲取所述服務(wù)器的負(fù)載狀態(tài)值,所述服務(wù)器用于接收客戶端所采集并發(fā)送的數(shù)據(jù);計算模塊,用于根據(jù)所述負(fù)載狀態(tài)值,通過預(yù)設(shè)的負(fù)載狀態(tài)值與采集調(diào)整系數(shù)之間的對應(yīng)關(guān)系,獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù);發(fā)送模塊,用于將所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至所述客戶端,以使所述客戶端根據(jù)所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率??蛇x的,所述獲取模塊,具體用于:按預(yù)設(shè)周期獲取多個從屬服務(wù)器的平均負(fù)載狀態(tài)值,所述從屬服務(wù)器從屬于所述服務(wù)器,用于分布式的接收多個客戶端所采集并發(fā)送的數(shù)據(jù),所述平均負(fù)載狀態(tài)值為所述多個從屬服務(wù)器負(fù)載狀態(tài)值的平均值??蛇x的,所述裝置還包括:均衡模塊,用于通過負(fù)載均衡策略,對每個所述從屬服務(wù)器分配差值小于預(yù)設(shè)值的數(shù)據(jù)量,所述數(shù)據(jù)量為所述多個客戶端所采集并發(fā)送數(shù)據(jù)的數(shù)據(jù)量??蛇x的,所述裝置中的所述服務(wù)器的負(fù)載狀態(tài)值包括所述服務(wù)器的每秒查詢率??蛇x的,所述裝置還包括:初始模塊,用于將初始的數(shù)據(jù)采集調(diào)整系數(shù)配置為初始值;相應(yīng)的,所述計算模塊,包括:第一子模塊,用于當(dāng)所述服務(wù)器的每秒查詢率小于或等于預(yù)設(shè)閾值,且所述當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)大于或等于初始值時,將所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)配置為初始值;第二子模塊,用于當(dāng)所述每秒查詢率小于或等于預(yù)設(shè)閾值,且所述當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)小于初始值時,通過第一預(yù)設(shè)公式獲得所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),所述第一預(yù)設(shè)公式為:z=z′+(x-y)/y其中所述z表示所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),所述z′表示所述上個周期的數(shù)據(jù)采集調(diào)整系數(shù),所述x表示預(yù)設(shè)閾值,所述y表示所述每秒查詢率;第三子模塊,用于當(dāng)所述每秒查詢率大于預(yù)設(shè)閾值時,根據(jù)第二預(yù)設(shè)公式獲得所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),所述第二預(yù)設(shè)公式為:z=z′-(x-y)/y其中所述z表示所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),所述z′表示所述上個周期的數(shù)據(jù)采集調(diào)整系數(shù),所述x表示預(yù)設(shè)閾值,所述y表示所述每秒查詢率。可選的,所述發(fā)送模塊,具體用于:接收到所述客戶端發(fā)送的數(shù)據(jù)后,將所述當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至所述客戶端。本發(fā)明實施例公開了一種數(shù)據(jù)采集裝置,應(yīng)用于客戶端,包括:接收模塊,用于接收服務(wù)器發(fā)送的數(shù)據(jù)采集調(diào)整系數(shù);調(diào)整模塊,用于當(dāng)所述客戶端進行數(shù)據(jù)采集或發(fā)送時,根據(jù)所述數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率,所述數(shù)據(jù)包括所述客戶端的運行數(shù)據(jù),用于分析和監(jiān)測所述客戶端的運行情況??蛇x的,所述調(diào)整模塊,具體用于:通過所述數(shù)據(jù)采集調(diào)整系數(shù),對所述客戶端所采集的所述數(shù)據(jù)進行合并或抽樣。本發(fā)明實施例提供的一種數(shù)據(jù)采集方法及裝置,可以根據(jù)服務(wù)器當(dāng)前的業(yè)務(wù)量,調(diào)整客戶端采集或發(fā)送數(shù)據(jù)的頻率。使得在服務(wù)器業(yè)務(wù)量較大時,降低采集或發(fā)送數(shù)據(jù)的頻率,使服務(wù)器能夠及時無延時的接收到數(shù)據(jù),避免了數(shù)據(jù)的丟失,并且在服務(wù)器壓力較大時降低采集或發(fā)送數(shù)據(jù)的頻率,可以一定程度上減小服務(wù)器壓力。當(dāng)然,實施本發(fā)明的任一產(chǎn)品或方法必不一定需要同時達(dá)到以上所述的所有優(yōu)點。附圖說明為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明實施例提供的應(yīng)用于服務(wù)器的數(shù)據(jù)采集方法的示意圖;圖2為本發(fā)明實施例提供的服務(wù)器架構(gòu)的示意圖;圖3為計算當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)的流程圖;圖4為本發(fā)明實施例提供的應(yīng)用于客戶端的數(shù)據(jù)采集方法的流程圖;圖5為本發(fā)明實施例提供的應(yīng)用于服務(wù)器的數(shù)據(jù)采集裝置的結(jié)構(gòu)圖;圖6為本發(fā)明實施例提供的應(yīng)用于客戶端的數(shù)據(jù)采集裝置的結(jié)構(gòu)圖。具體實施方式下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。參見圖1,圖1為本發(fā)明實施例提供的應(yīng)用于服務(wù)器的數(shù)據(jù)采集方法的示意圖,包括:步驟101,按預(yù)設(shè)周期獲取服務(wù)器的負(fù)載狀態(tài)值,服務(wù)器用于接收客戶端所采集并發(fā)送的數(shù)據(jù)。服務(wù)器可以按預(yù)設(shè)周期,獲取服務(wù)器的負(fù)載狀態(tài)值,預(yù)設(shè)周期可以根據(jù)需要進行靈活設(shè)置,例如,預(yù)設(shè)周期可以是30秒,1分鐘或5分鐘等,則服務(wù)器可以每30秒,每1分鐘或每5分鐘獲取一次服務(wù)器的負(fù)載狀態(tài)值。服務(wù)器的負(fù)載狀態(tài)值用來反映服務(wù)器的運行負(fù)載的狀態(tài),可以通過現(xiàn)有的很多參數(shù)進行表示,例如服務(wù)器的每秒查詢率、cpu使用率、內(nèi)存占用率等等。具體的,可以使用服務(wù)器壓力測試軟件等工具獲取服務(wù)器的每秒查詢率,cpu使用率、內(nèi)存占用率等可以在服務(wù)器上直接獲取,任何可以實現(xiàn)獲取負(fù)載狀態(tài)值的方式,均屬于本發(fā)明實施例的保護范圍,在此不再贅述。步驟102,根據(jù)負(fù)載狀態(tài)值,通過預(yù)設(shè)的負(fù)載狀態(tài)值與采集調(diào)整系數(shù)之間的對應(yīng)關(guān)系,獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)。獲得了負(fù)載狀態(tài)值后,就可以通過負(fù)載狀態(tài)值來確定出當(dāng)前周期的數(shù)據(jù)采集系數(shù)。數(shù)據(jù)采集系數(shù)可以是一個無單位的參數(shù),用來使客戶端根據(jù)這個參數(shù)的大小,調(diào)整采集或發(fā)送數(shù)據(jù)的頻率,從而使得客戶端向服務(wù)器發(fā)送數(shù)據(jù)的頻率與服務(wù)器的負(fù)載狀態(tài)相適應(yīng),避免了服務(wù)器負(fù)載很高,業(yè)務(wù)量已經(jīng)很大的情況下,客戶端依舊以較高的頻率向服務(wù)器發(fā)送數(shù)據(jù),造成服務(wù)器壓力過大,從而導(dǎo)致數(shù)據(jù)丟失等問題。在實際應(yīng)用中,可以將數(shù)據(jù)采集系數(shù)的取值范圍設(shè)置為大于0且小于等于1,當(dāng)取值為1時,表示客戶端可以不需要對采集或收集數(shù)據(jù)的頻率進行調(diào)整。當(dāng)數(shù)據(jù)采集系數(shù)取值為其他值時,客戶端可以根據(jù)數(shù)據(jù)采集系數(shù)降低采集或收集數(shù)據(jù)的頻率,例如,當(dāng)數(shù)據(jù)采集系數(shù)為0.5時,可以將采集或收集數(shù)據(jù)的頻率降低50%。在服務(wù)器內(nèi)部,可以提前預(yù)設(shè)有負(fù)載狀態(tài)值與采集調(diào)整系數(shù)之間的對應(yīng)關(guān)系,該對應(yīng)關(guān)系可以是公式,也可以是對照的表格等形式。例如,可以在服務(wù)器中預(yù)設(shè)表1形式的cpu占用率與采集調(diào)整系數(shù)對照表,通過不同的cpu占用率,從表1中直接獲得對應(yīng)的采集調(diào)整系數(shù)。表1cpu占用率90%~100%70%~90%50%~70%≤50%采集調(diào)整系數(shù)0.50.70.81步驟103,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至客戶端,以使客戶端根據(jù)當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。服務(wù)器的運行負(fù)載的狀態(tài)會隨時間發(fā)生變化,不可能一直在高負(fù)載或低負(fù)載的狀態(tài)下運行。所以服務(wù)器需要按預(yù)設(shè)周期,對數(shù)據(jù)采集調(diào)整系數(shù)進行更新。在一個預(yù)設(shè)周期開始時,服務(wù)器會獲得負(fù)載狀態(tài)值,通過負(fù)載狀態(tài)值獲得當(dāng)前周期的數(shù)據(jù)采集系數(shù)。并將該當(dāng)前周期的數(shù)據(jù)采集系數(shù)向客戶端發(fā)送??蛻舳私邮盏椒?wù)器所發(fā)送的當(dāng)前周期的數(shù)據(jù)采集系數(shù)后,就根據(jù)該數(shù)據(jù)采集系數(shù)對數(shù)據(jù)采集或發(fā)送的頻率就行調(diào)整。當(dāng)客戶端在下一個周期又接收到下一個周期的數(shù)據(jù)采集系數(shù)時,則根據(jù)新接收到的數(shù)據(jù)采集系數(shù),再次調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。在本發(fā)明實施例中,服務(wù)器按預(yù)設(shè)周期獲得負(fù)載狀態(tài)值,并通過負(fù)載狀態(tài)值獲得當(dāng)前周期的數(shù)據(jù)采集系數(shù),并將當(dāng)前周期的數(shù)據(jù)采集系數(shù)發(fā)送給客戶端,以使客戶端按當(dāng)前周期的數(shù)據(jù)采集系數(shù)調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。使得客戶端進行數(shù)據(jù)采集或發(fā)送的頻率可以動態(tài)的和服務(wù)器的負(fù)載狀態(tài)相適應(yīng),可以隨著服務(wù)器負(fù)載狀態(tài)的變化而進行調(diào)整,從而在服務(wù)器業(yè)務(wù)量較大、負(fù)載較高時,能夠降低采集或發(fā)送數(shù)據(jù)的頻率,使服務(wù)器能夠及時無延時的接收到數(shù)據(jù),避免了數(shù)據(jù)的丟失,保證數(shù)據(jù)發(fā)送的穩(wěn)定性,并且在服務(wù)器壓力較大時降低采集或發(fā)送數(shù)據(jù)的頻率,進而減小服務(wù)器壓力,保證服務(wù)器正常運行。可選的,本發(fā)明實施例提供的數(shù)據(jù)采集方法中,按預(yù)設(shè)周期獲取服務(wù)器的負(fù)載狀態(tài)值,包括:按預(yù)設(shè)周期獲取多個從屬服務(wù)器的平均負(fù)載狀態(tài)值,從屬服務(wù)器從屬于所述服務(wù)器,用于分布式的接收多個客戶端所采集并發(fā)送的數(shù)據(jù),平均負(fù)載狀態(tài)值為多個從屬服務(wù)器負(fù)載狀態(tài)值的平均值。所述服務(wù)器作為從屬服務(wù)器的主服務(wù)器。在實際應(yīng)用中,由于客戶端的數(shù)量十分巨大,很難使用一個服務(wù)器來接收所有客戶端所發(fā)送的數(shù)據(jù)。所以為了應(yīng)對巨大的數(shù)據(jù)量,可以采用分布式的服務(wù)器系統(tǒng)來接收大量客戶端所發(fā)送的數(shù)據(jù)。分布式的服務(wù)器一般會有一個master主服務(wù)器和多個slave為從屬服務(wù)器構(gòu)成,多個從屬服務(wù)器從屬于主服務(wù)器,主服務(wù)器可以對多個從屬服務(wù)器進行統(tǒng)一的管理和調(diào)度。每一個從屬服務(wù)器都可以接收客戶端所發(fā)送的數(shù)據(jù),每一個從屬服務(wù)器的運行負(fù)載狀態(tài)也會隨時間發(fā)生變化,主服務(wù)器可以按預(yù)設(shè)周期,定時的獲取各個從屬服務(wù)器的運行狀態(tài)值,并計算出所有從屬服務(wù)器的平均運行狀態(tài)值。根據(jù)該平均運行狀態(tài)值進行后續(xù)的步驟。在本發(fā)明實施了中,通過使用主服務(wù)器和從屬服務(wù)器的構(gòu)架來保證了能夠接收大量的客戶端所發(fā)送的數(shù)據(jù),避免數(shù)據(jù)量過而造成服務(wù)器被壓垮,提高了服務(wù)質(zhì)量和穩(wěn)定性??蛇x的,本發(fā)明實施例提供的數(shù)據(jù)采集方法中,按預(yù)設(shè)周期獲取多個從屬服務(wù)器的當(dāng)前平均負(fù)載狀態(tài)值之前,方法還包括:通過負(fù)載均衡策略,對每個從屬服務(wù)器分配差值小于預(yù)設(shè)值的數(shù)據(jù)量,數(shù)據(jù)量為多個客戶端所采集并發(fā)送數(shù)據(jù)的數(shù)據(jù)量。參見圖2,圖2為本發(fā)明實施例提供的服務(wù)器架構(gòu)的示意圖。圖2存在多個客戶端包括:客戶端a201,客戶端b202,客戶端c203。這些客戶端分別進行數(shù)據(jù)的采集或發(fā)送,各個客戶端在進行數(shù)據(jù)的發(fā)送時,可以通過負(fù)載均衡設(shè)備204,應(yīng)用相應(yīng)的負(fù)載均衡策略將客戶端a201,客戶端b202,客戶端c203所發(fā)送的數(shù)據(jù)均勻的分配至從屬服務(wù)器a205,從屬服務(wù)器b206,從屬服務(wù)器c207。主服務(wù)器208可以按預(yù)設(shè)周期獲取每個從屬服務(wù)器的負(fù)載狀態(tài)值。具體的,負(fù)載均衡設(shè)備可以集成在路由器中,也可以由一臺專用服務(wù)器構(gòu)成,在現(xiàn)有技術(shù)中,負(fù)載均衡設(shè)備以及相應(yīng)的負(fù)載均衡策略已經(jīng)存在許多的方法和應(yīng)用,可以根據(jù)需要進行選擇,在此不再進行贅述。可選的,本發(fā)明實施例提供的數(shù)據(jù)采集方法中,服務(wù)器的負(fù)載狀態(tài)值包括服務(wù)器的每秒查詢率。在可以使用的各種表示負(fù)載狀態(tài)值的參數(shù)中,可以使用服務(wù)器的每秒查詢率來表示服務(wù)器的負(fù)載狀態(tài)值。qps(querypersecond,每秒查詢率)是對一個特定的查詢服務(wù)器在規(guī)定時間內(nèi)所處理流量多少的衡量標(biāo)準(zhǔn),在因特網(wǎng)上,作為服務(wù)器的機器的性能經(jīng)常用每秒查詢率來衡量,即每秒的響應(yīng)請求數(shù)。通過每秒查詢率來表示服務(wù)器的負(fù)載狀態(tài)值,由于每秒查詢率更容易實現(xiàn)量化,從而可以更加準(zhǔn)確的表示服務(wù)器的運行負(fù)載,并且每秒查詢率可以是一個十分具體的數(shù)值,所以能夠?qū)崿F(xiàn)通過公式或者函數(shù)更加準(zhǔn)確的通過每秒查詢率確定出數(shù)據(jù)采集系數(shù)??蛇x的,本發(fā)明實施例提供的數(shù)據(jù)采集方法中,按預(yù)設(shè)周期獲取服務(wù)器的負(fù)載狀態(tài)值之前,方法還包括:將初始的數(shù)據(jù)采集調(diào)整系數(shù)配置為初始值。在服務(wù)器開始獲取服務(wù)器的負(fù)載狀態(tài)值之前,可以先將初始的數(shù)據(jù)采集調(diào)整系數(shù)進行初始化,將其配置為初始值,初始值可以表示客戶端不需要調(diào)整數(shù)據(jù)采集或發(fā)送的頻率,即客戶端按正常的頻率進行數(shù)據(jù)的采集或發(fā)送。一般可以以一個整數(shù)來表示初始值,本發(fā)明實施例中優(yōu)選的將初始值配置為1。相應(yīng)的,當(dāng)使用每秒查詢率來表示服務(wù)器的負(fù)載狀態(tài)值時,根據(jù)負(fù)載狀態(tài)值,通過預(yù)設(shè)的負(fù)載狀態(tài)值與采集調(diào)整系數(shù)之間的對應(yīng)關(guān)系,獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),包括:第一種情況下,當(dāng)服務(wù)器的每秒查詢率小于或等于預(yù)設(shè)閾值,且當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)大于或等于初始值時,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)配置為初始值。預(yù)設(shè)閾值是一個可以根據(jù)需要進行設(shè)定的門限值,當(dāng)每秒查詢率大于預(yù)設(shè)閾值時則可以認(rèn)為服務(wù)器的運行負(fù)載較高,業(yè)務(wù)量較大,當(dāng)小于或等于預(yù)設(shè)閾值時,則可以認(rèn)為服務(wù)器的運行負(fù)載處于正常,業(yè)務(wù)量不大。服務(wù)器按預(yù)設(shè)周期來獲取每秒查詢率,根據(jù)每秒查詢率對當(dāng)前周期的數(shù)據(jù)采集系數(shù)做出及時的調(diào)整,在當(dāng)前周期的每秒查詢率小于或等于預(yù)設(shè)閾值,則可以認(rèn)為當(dāng)前周期服務(wù)器的運行負(fù)載已經(jīng)處于正常水平,如果當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)大于或等于初始值時,就需要將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)重新調(diào)整為初始值,表示客戶端可以按正常的頻率進行數(shù)據(jù)的采集或發(fā)送。第二種情況下,當(dāng)每秒查詢率小于或等于預(yù)設(shè)閾值,且當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)小于初始值時,通過第一預(yù)設(shè)公式獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),第一預(yù)設(shè)公式為:z=z′+(x-y)/y其中z表示當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),z′表示上個周期的數(shù)據(jù)采集調(diào)整系數(shù),x表示預(yù)設(shè)閾值,y表示每秒查詢率。當(dāng)前周期的每秒查詢率小于或等于預(yù)設(shè)閾值,且當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)小于初始值時,可以認(rèn)為在當(dāng)前周期服務(wù)器運行負(fù)載已經(jīng)處于正常狀態(tài),但由于上一周期的數(shù)據(jù)采集調(diào)整系數(shù)小于初始值,則表示上一周期時服務(wù)器運行負(fù)載很高,如果立即將數(shù)據(jù)采集調(diào)整系數(shù)恢復(fù)為初始值,則可能會導(dǎo)致服務(wù)器運行負(fù)載又急劇增加,所以可以通過第一預(yù)設(shè)公式,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)在上一周期的數(shù)據(jù)采集調(diào)整系數(shù)的基礎(chǔ)上加大,使之更加接近初始值。當(dāng)然,有可能會出現(xiàn)調(diào)整后的數(shù)據(jù)采集調(diào)整系數(shù)超過了初始值的情況,發(fā)生這種情況時,在下一個周期時,服務(wù)器可以按上述第一種情況將數(shù)據(jù)采集調(diào)整系數(shù)恢復(fù)為初始值。第三種情況下,當(dāng)每秒查詢率大于預(yù)設(shè)閾值時,根據(jù)第二預(yù)設(shè)公式獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),第二預(yù)設(shè)公式為:z=z′-(x-y)/y其中z表示當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),z′表示上個周期的數(shù)據(jù)采集調(diào)整系數(shù),x表示預(yù)設(shè)閾值,y表示每秒查詢率。當(dāng)每秒查詢率大于預(yù)設(shè)閾值時,則表示目前當(dāng)前周期服務(wù)器的運行負(fù)載處于過高的狀態(tài),可以根據(jù)第二預(yù)設(shè)公式在上一周期的數(shù)據(jù)采集調(diào)整系數(shù)的基礎(chǔ)上降低當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),從而使得客戶端進一步降低數(shù)據(jù)采集或發(fā)送的頻率。參見圖3,圖3為計算當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)的流程圖,包括:步驟301,初始化數(shù)據(jù)采集調(diào)整系數(shù),將數(shù)據(jù)采集調(diào)整系數(shù)z0配置為1。步驟302,按預(yù)設(shè)周期獲取各個從屬服務(wù)器的每秒查詢率,并計算出平均每秒查詢率y。步驟303,判斷平均每秒查詢率是否小于或等于預(yù)設(shè)閾值x,即判斷是否y≤x。步驟304,當(dāng)y≤x,時,判斷上一周期時的數(shù)據(jù)采集調(diào)整系數(shù)z′是否大于或等于初始值1。步驟305,當(dāng)上一周期時的數(shù)據(jù)采集系數(shù)z′大于初始值1時,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)配置為1,即z=1。步驟306,,當(dāng)y≤x,且上一周期時的數(shù)據(jù)采集調(diào)整系數(shù)z′<1時,當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)z=z′+(x-y)/y,并且當(dāng)計算出的z<0.1時,將z配置為0.1。步驟307,當(dāng)平均每秒查詢率大于預(yù)設(shè)閾值,即y>x時,當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)z=z′-(x-y)/y,并且當(dāng)計算出的z<0.1時,將z配置為0.1。步驟308,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至客戶端。當(dāng)?shù)玫搅水?dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)后,就可以將該數(shù)據(jù)采集調(diào)整系數(shù)向各個客戶端發(fā)送,使各個客戶端根據(jù)該數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。發(fā)送完成后,當(dāng)?shù)竭_(dá)下一個預(yù)設(shè)周期時,服務(wù)器再次獲取各個從屬服務(wù)器的每秒查詢率,再次進行數(shù)據(jù)采集調(diào)整系數(shù)的計算。可選的,本發(fā)明實施例提供的數(shù)據(jù)采集方法中,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至客戶端,包括:接收到客戶端發(fā)送的數(shù)據(jù)后,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至客戶端。在實際應(yīng)用中,服務(wù)器并不一定需要每個預(yù)設(shè)周期時都想客戶端發(fā)送數(shù)據(jù)采集調(diào)整系數(shù),可以在客戶端向服務(wù)器發(fā)送了數(shù)據(jù)后,再向客戶端發(fā)送數(shù)據(jù)采集調(diào)整系數(shù)。客戶端向服務(wù)器發(fā)送了數(shù)據(jù),表示該客戶端處于工作狀態(tài),并且正在進行數(shù)據(jù)的采集及發(fā)送。當(dāng)服務(wù)器接收到客戶端所發(fā)送的數(shù)據(jù),再向客戶端發(fā)送數(shù)據(jù)采集調(diào)整系數(shù)能夠減少向客戶端發(fā)送的頻次,降低了服務(wù)器的工作量。并且避免了向不處于工作狀態(tài)下的客戶端進行發(fā)送,減少了資源浪費。參見圖4,圖4為本發(fā)明實施例提供的應(yīng)用于客戶端的數(shù)據(jù)采集方法的流程圖。包括:步驟401,接收服務(wù)器發(fā)送的數(shù)據(jù)采集調(diào)整系數(shù)??蛻舳四軌蚪邮盏椒?wù)器按一定周期所發(fā)送的數(shù)據(jù)采集調(diào)整系數(shù),客戶端每接收到一次數(shù)據(jù)采集調(diào)整系數(shù),都按最新接收到的數(shù)據(jù)采集調(diào)整系數(shù)調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。步驟402,當(dāng)客戶端進行數(shù)據(jù)采集或發(fā)送時,根據(jù)數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率,數(shù)據(jù)包括客戶端的運行數(shù)據(jù),用于分析和監(jiān)測客戶端的運行情況??蛻舳私邮盏綌?shù)據(jù)采集調(diào)整系數(shù)后,就可以根據(jù)該數(shù)據(jù)采集調(diào)整系數(shù)調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。采集數(shù)據(jù)的頻率,可以根據(jù)數(shù)據(jù)采集調(diào)整系數(shù)進行降低,或者向服務(wù)器發(fā)送數(shù)據(jù)的頻率,也可以根據(jù)數(shù)據(jù)采集調(diào)整系數(shù)進行降低。例如,客戶端默認(rèn)的數(shù)據(jù)采集頻率為每1分鐘進行10次數(shù)據(jù)的采集,當(dāng)接收到的數(shù)據(jù)采集調(diào)整系數(shù)為0.5時,則可以將數(shù)據(jù)采集的頻率降低0.5倍,為1分鐘進行5次數(shù)據(jù)采集。同理,數(shù)據(jù)的發(fā)送頻率也可以按照相應(yīng)的方法進行降低。在本發(fā)明實施例中,客戶端在進行數(shù)據(jù)的采集或發(fā)送時,通過服務(wù)器所發(fā)送的數(shù)據(jù)采集調(diào)整系數(shù)來對采集或發(fā)送數(shù)據(jù)的頻率進行調(diào)整,從而降低了數(shù)據(jù)采集或發(fā)送的頻率,使得發(fā)送的數(shù)據(jù)量和發(fā)送次數(shù)減少,降低了在服務(wù)器運行負(fù)載較高時,降低了服務(wù)器的壓力,避免了數(shù)據(jù)的丟失??蛇x的,本發(fā)明實施例提供的數(shù)據(jù)采集方法中,根據(jù)數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率,包括:通過數(shù)據(jù)采集調(diào)整系數(shù),對客戶端所采集的數(shù)據(jù)進行合并或抽樣。在實際應(yīng)用中,還可以根據(jù)數(shù)據(jù)采集調(diào)整系數(shù),對可客戶端所采集的數(shù)據(jù)進行數(shù)據(jù)合并或數(shù)據(jù)抽樣,從而降低數(shù)據(jù)的數(shù)據(jù)量。數(shù)據(jù)合并是將多條數(shù)據(jù)合并為一條數(shù)據(jù),數(shù)據(jù)合并后更容易進行壓縮,從而減少數(shù)據(jù)量。數(shù)據(jù)抽樣是將原始數(shù)據(jù)進行一定比例的抽樣,舍棄一部分?jǐn)?shù)據(jù),從而直接降低數(shù)據(jù)量。例如,當(dāng)數(shù)據(jù)采集調(diào)整系數(shù)為0.9時,可以按90%的比例在原始數(shù)據(jù)中進行抽樣,從而直接使得數(shù)據(jù)量減少10%,并且可以按照90%的比例,進行數(shù)據(jù)的合并,當(dāng)然,在客戶端上可以設(shè)置多種使用數(shù)據(jù)采集調(diào)整系數(shù)的規(guī)則,在上述例子中,當(dāng)數(shù)據(jù)采集調(diào)整系數(shù)為0.9時,也可以按1-0.9=0.1,即10%的比例進行數(shù)據(jù)的合并,即將采集的原始數(shù)據(jù)中的10%的數(shù)據(jù)進行合并。具體的,對數(shù)據(jù)的合并或抽樣,屬于數(shù)據(jù)處理領(lǐng)域的現(xiàn)有技術(shù),在此不再贅述。通過進行數(shù)據(jù)的合并和抽樣,可以進一步減少數(shù)據(jù)量,從而在向服務(wù)器發(fā)送數(shù)據(jù)時,能夠進一步降低服務(wù)器的壓力。參見圖5,圖5為本發(fā)明實施例提供的應(yīng)用于服務(wù)器的數(shù)據(jù)采集裝置的結(jié)構(gòu)圖,包括:獲取模塊501,用于按預(yù)設(shè)周期獲取服務(wù)器的負(fù)載狀態(tài)值,服務(wù)器用于接收客戶端所采集并發(fā)送的數(shù)據(jù)。計算模塊502,用于根據(jù)負(fù)載狀態(tài)值,通過預(yù)設(shè)的負(fù)載狀態(tài)值與采集調(diào)整系數(shù)之間的對應(yīng)關(guān)系,獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)。發(fā)送模塊503,用于將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至客戶端,以使客戶端根據(jù)當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。在本發(fā)明實施例中,服務(wù)器按預(yù)設(shè)周期獲得負(fù)載狀態(tài)值,并通過負(fù)載狀態(tài)值獲得當(dāng)前周期的數(shù)據(jù)采集系數(shù),并將當(dāng)前周期的數(shù)據(jù)采集系數(shù)發(fā)送給客戶端,以使客戶端按當(dāng)前周期的數(shù)據(jù)采集系數(shù)調(diào)整數(shù)據(jù)采集或發(fā)送的頻率。使得客戶端進行數(shù)據(jù)采集或發(fā)送的頻率可以動態(tài)的和服務(wù)器的負(fù)載狀態(tài)相適應(yīng),可以隨著服務(wù)器負(fù)載狀態(tài)的變化而進行調(diào)整,從而在服務(wù)器業(yè)務(wù)量較大、負(fù)載較高時,能夠降低采集或發(fā)送數(shù)據(jù)的頻率,使服務(wù)器能夠及時無延時的接收到數(shù)據(jù),避免了數(shù)據(jù)的丟失,保證數(shù)據(jù)發(fā)送的穩(wěn)定性,并且在服務(wù)器壓力較大時降低采集或發(fā)送數(shù)據(jù)的頻率,進而減小服務(wù)器壓力,保證服務(wù)器正常運行。本發(fā)明實施例的裝置是應(yīng)用上述數(shù)據(jù)采集方法的裝置,則上述數(shù)據(jù)采集方法的所有實施例均適用于該裝置,且均能達(dá)到相同或相似的有益效果。可選的,獲取模塊501,具體用于:按預(yù)設(shè)周期獲取多個從屬服務(wù)器的平均負(fù)載狀態(tài)值,從屬服務(wù)器從屬于服務(wù)器,用于分布式的接收多個客戶端所采集并發(fā)送的數(shù)據(jù),平均負(fù)載狀態(tài)值為多個從屬服務(wù)器負(fù)載狀態(tài)值的平均值??蛇x的,該裝置還包括:均衡模塊,用于通過負(fù)載均衡策略,對每個從屬服務(wù)器分配差值小于預(yù)設(shè)值的數(shù)據(jù)量,數(shù)據(jù)量為多個客戶端所采集并發(fā)送數(shù)據(jù)的數(shù)據(jù)量??蛇x的,該裝置中的服務(wù)器的負(fù)載狀態(tài)值包括服務(wù)器的每秒查詢率。可選的,該裝置還包括:初始模塊,用于將初始的數(shù)據(jù)采集調(diào)整系數(shù)配置為初始值。相應(yīng)的,計算模塊502,包括:第一子模塊,用于當(dāng)服務(wù)器的每秒查詢率小于或等于預(yù)設(shè)閾值,且當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)大于或等于初始值時,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)配置為初始值。第二子模塊,用于當(dāng)每秒查詢率小于或等于預(yù)設(shè)閾值,且當(dāng)前周期的上一周期的數(shù)據(jù)采集調(diào)整系數(shù)小于初始值時,通過第一預(yù)設(shè)公式獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),第一預(yù)設(shè)公式為:z=z′+(x-y)/y其中z表示當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),z′表示上個周期的數(shù)據(jù)采集調(diào)整系數(shù),x表示預(yù)設(shè)閾值,y表示每秒查詢率。第三子模塊,用于當(dāng)每秒查詢率大于預(yù)設(shè)閾值時,根據(jù)第二預(yù)設(shè)公式獲得當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),第二預(yù)設(shè)公式為:z=z′-(x-y)/y其中z表示當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù),z′表示上個周期的數(shù)據(jù)采集調(diào)整系數(shù),x表示預(yù)設(shè)閾值,y表示每秒查詢率。可選的,發(fā)送模塊503,具體用于:接收到客戶端發(fā)送的數(shù)據(jù)后,將當(dāng)前周期的數(shù)據(jù)采集調(diào)整系數(shù)發(fā)送至客戶端。參見圖6,圖6為本發(fā)明實施例提供的應(yīng)用于客戶端的數(shù)據(jù)采集裝置的結(jié)構(gòu)圖,包括:接收模塊601,用于接收服務(wù)器發(fā)送的數(shù)據(jù)采集調(diào)整系數(shù)。調(diào)整模塊602,用于當(dāng)客戶端進行數(shù)據(jù)采集或發(fā)送時,根據(jù)數(shù)據(jù)采集調(diào)整系數(shù),調(diào)整數(shù)據(jù)采集或發(fā)送的頻率,數(shù)據(jù)包括客戶端的運行數(shù)據(jù),用于分析和監(jiān)測客戶端的運行情況。在本發(fā)明實施例中,客戶端在進行數(shù)據(jù)的采集或發(fā)送時,通過服務(wù)器所發(fā)送的數(shù)據(jù)采集調(diào)整系數(shù)來對采集或發(fā)送數(shù)據(jù)的頻率進行調(diào)整,從而降低了數(shù)據(jù)采集或發(fā)送的頻率,使得發(fā)送的數(shù)據(jù)量和發(fā)送次數(shù)減少,降低了在服務(wù)器運行負(fù)載較高時,降低了服務(wù)器的壓力,避免了數(shù)據(jù)的丟失??蛇x的,調(diào)整模塊602,具體用于:通過數(shù)據(jù)采集調(diào)整系數(shù),對客戶端所采集的數(shù)據(jù)進行合并或抽樣。需要說明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。本說明書中的各個實施例均采用相關(guān)的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對于系統(tǒng)實施例而言,由于其基本相似于方法實施例,所以描述的比較簡單,相關(guān)之處參見方法實施例的部分說明即可。以上所述僅為本發(fā)明的較佳實施例而已,并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進等,均包含在本發(fā)明的保護范圍內(nèi)。當(dāng)前第1頁12
當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1