本發(fā)明涉及數(shù)據(jù)處理，尤其涉及多通道并行數(shù)據(jù)采集與處理方法及系統(tǒng)。

背景技術(shù)：

1、數(shù)據(jù)處理技術(shù)領(lǐng)域涉及對原始數(shù)據(jù)進(jìn)行采集、轉(zhuǎn)換、分析和存儲的技術(shù)和方法，領(lǐng)域涵蓋多種技術(shù)，包括數(shù)據(jù)挖掘、信號處理和統(tǒng)計(jì)分析等，數(shù)據(jù)處理的目標(biāo)是從數(shù)據(jù)中提取有價(jià)值的信息，支持決策和優(yōu)化系統(tǒng)性能，在多通道數(shù)據(jù)處理場景中，技術(shù)的關(guān)鍵在于如何高效地同時(shí)處理來自多個(gè)信號源的數(shù)據(jù)，以提高數(shù)據(jù)采集的速度和準(zhǔn)確性，從而實(shí)現(xiàn)實(shí)時(shí)分析和反饋。

2、其中，多通道并行數(shù)據(jù)采集與處理方法指的是通過多通道同時(shí)收集并處理來自差異化來源的數(shù)據(jù)，該方法廣泛應(yīng)用于醫(yī)療監(jiān)測、環(huán)境監(jiān)測、工業(yè)控制等領(lǐng)域，其用途包括實(shí)時(shí)監(jiān)測生理信號、環(huán)境變化和工業(yè)設(shè)備狀態(tài)等，通過并行處理實(shí)現(xiàn)高效的數(shù)據(jù)分析和快速響應(yīng)，這種技術(shù)有助于提升系統(tǒng)的實(shí)時(shí)性和可靠性，增強(qiáng)決策支持能力。

3、現(xiàn)有技術(shù)在數(shù)據(jù)處理過程中存在一定的局限性，包括在多通道數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性方面，多信號源的數(shù)據(jù)采集難以實(shí)現(xiàn)高效同步，導(dǎo)致數(shù)據(jù)時(shí)間戳不一致，影響分析結(jié)果的可靠性，傳統(tǒng)方法在特征提取上常常依賴于固定的指標(biāo)，難以動(dòng)態(tài)適應(yīng)變化的信號特性，造成分析深度不足，資源分配不夠靈活，導(dǎo)致在負(fù)載高峰期，響應(yīng)緩慢，影響整體性能。例如，在醫(yī)療監(jiān)測場景中，延遲的信號處理導(dǎo)致對患者狀況的錯(cuò)誤判斷，影響及時(shí)干預(yù)的效果，使得現(xiàn)有技術(shù)在多通道并行數(shù)據(jù)處理方面的應(yīng)用受到限制，無法滿足高實(shí)時(shí)性和高準(zhǔn)確性要求的實(shí)際需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的缺點(diǎn)，而提出的多通道并行數(shù)據(jù)采集與處理方法及系統(tǒng)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案，多通道并行數(shù)據(jù)采集與處理方法，包括以下步驟：

3、s1：通過對每個(gè)通道進(jìn)行數(shù)據(jù)采集，記錄數(shù)據(jù)類型與量，利用定時(shí)器同步多通道的數(shù)據(jù)流，并在數(shù)據(jù)庫中存儲數(shù)據(jù)，進(jìn)行時(shí)間戳的統(tǒng)一處理，匯總生成原始數(shù)據(jù)集；

4、s2：基于所述原始數(shù)據(jù)集提取關(guān)鍵特征，執(zhí)行多通道特征值映射，運(yùn)用權(quán)重調(diào)整機(jī)制細(xì)化層級信息，進(jìn)行重構(gòu)誤差的分析與優(yōu)化，生成深層特征表示；

5、s3：將所述深層特征表示導(dǎo)入至分類器，執(zhí)行特征分類，計(jì)算分類結(jié)果的置信度，運(yùn)用閾值判斷進(jìn)行類別劃分，生成通道數(shù)據(jù)分類決策結(jié)果；

6、s4：對所述通道數(shù)據(jù)分類決策結(jié)果進(jìn)行性能評估并記錄，將真實(shí)值與預(yù)測值進(jìn)行比較，提取誤分類樣本的數(shù)據(jù)，獲取通道分類性能數(shù)據(jù)；

7、s5：根據(jù)所述通道分類性能數(shù)據(jù)，監(jiān)測處理過程中的負(fù)載，記錄多通道資源使用情況，計(jì)算處理時(shí)間和占用比，進(jìn)行資源動(dòng)態(tài)調(diào)整，獲取通道負(fù)載監(jiān)測數(shù)據(jù)；

8、s6：依據(jù)所述通道負(fù)載監(jiān)測數(shù)據(jù)，進(jìn)行資源使用情況的統(tǒng)計(jì)分析，識別負(fù)載變化趨勢，動(dòng)態(tài)調(diào)整資源分配，生成通道資源調(diào)度策略。

9、作為本發(fā)明的進(jìn)一步方案，所述原始數(shù)據(jù)集包括通道數(shù)據(jù)類型、通道數(shù)據(jù)量、時(shí)間戳信息，所述深層特征表示包括層級特征、映射特征、重構(gòu)誤差，所述通道數(shù)據(jù)分類決策結(jié)果包括分類標(biāo)簽、置信度值、類別，所述通道分類性能數(shù)據(jù)包括真實(shí)值、預(yù)測值、誤分類樣本，所述通道負(fù)載監(jiān)測數(shù)據(jù)包括處理負(fù)載、資源使用情況、處理時(shí)間，所述通道資源調(diào)度策略包括資源分配方案、調(diào)度規(guī)則、負(fù)載調(diào)整。

10、作為本發(fā)明的進(jìn)一步方案，通過對每個(gè)通道進(jìn)行數(shù)據(jù)采集，記錄數(shù)據(jù)類型與量，利用定時(shí)器同步多通道的數(shù)據(jù)流，并在數(shù)據(jù)庫中存儲數(shù)據(jù)，進(jìn)行時(shí)間戳的統(tǒng)一處理，匯總生成原始數(shù)據(jù)集的步驟具體為：

11、s101：通過對每個(gè)通道進(jìn)行數(shù)據(jù)采集，在數(shù)據(jù)通道上部署數(shù)據(jù)采集單元，每個(gè)單元配置監(jiān)測的mems傳感器，按照設(shè)定頻率自動(dòng)記錄多類數(shù)據(jù)的類型和數(shù)量，為每種數(shù)據(jù)類型指定識別碼，并將數(shù)據(jù)量累積記錄，得到數(shù)據(jù)類型記錄結(jié)果；

12、s102：根據(jù)所述數(shù)據(jù)類型記錄結(jié)果，設(shè)置定時(shí)器控制數(shù)據(jù)采集頻率，使用時(shí)間同步協(xié)議調(diào)整多通道的數(shù)據(jù)采集時(shí)刻，生成時(shí)間同步的數(shù)據(jù)流記錄；

13、s103：將所述時(shí)間同步的數(shù)據(jù)流記錄整合后存儲至數(shù)據(jù)庫中，對每條數(shù)據(jù)進(jìn)行時(shí)間戳處理，采用統(tǒng)一的時(shí)間格式對數(shù)據(jù)進(jìn)行編碼和分類，并對數(shù)據(jù)進(jìn)行匯總整理，構(gòu)建原始數(shù)據(jù)集。

14、作為本發(fā)明的進(jìn)一步方案，基于所述原始數(shù)據(jù)集提取關(guān)鍵特征，執(zhí)行多通道特征值映射，運(yùn)用權(quán)重調(diào)整機(jī)制細(xì)化層級信息，進(jìn)行重構(gòu)誤差的分析與優(yōu)化，生成深層特征表示的步驟具體為：

15、s201：對所述原始數(shù)據(jù)集進(jìn)行篩選，挑選與目標(biāo)變量關(guān)聯(lián)的數(shù)據(jù)點(diǎn)，利用數(shù)據(jù)點(diǎn)創(chuàng)建初級數(shù)據(jù)模型，篩選與目標(biāo)關(guān)聯(lián)的特性，得到初步關(guān)鍵數(shù)據(jù)集；

16、s202：將所述初步關(guān)鍵數(shù)據(jù)集應(yīng)用于特征映射，為每個(gè)數(shù)據(jù)通道分配初始權(quán)重，并根據(jù)每個(gè)通道的數(shù)據(jù)響應(yīng)動(dòng)態(tài)調(diào)整權(quán)重，細(xì)化特征層次，生成調(diào)整后特征映射集；

17、s203：使用所述調(diào)整后特征映射集，對每個(gè)特征的重構(gòu)誤差進(jìn)行測量，調(diào)整映射參數(shù)，迭代優(yōu)化誤差，獲取深層特征表示。

18、作為本發(fā)明的進(jìn)一步方案，將所述深層特征表示導(dǎo)入至分類器，執(zhí)行特征分類，計(jì)算分類結(jié)果的置信度，運(yùn)用閾值判斷進(jìn)行類別劃分，生成通道數(shù)據(jù)分類決策結(jié)果的步驟具體為：

19、s301：輸入所述深層特征表示進(jìn)行分類處理，根據(jù)特征與預(yù)設(shè)分類標(biāo)準(zhǔn)的相似度進(jìn)行匹配，為每個(gè)數(shù)據(jù)點(diǎn)分配初步類別，使用相似度評分決定每個(gè)特征的類別歸屬，得到初步分類標(biāo)簽集；

20、s302：基于所述初步分類標(biāo)簽集，對每個(gè)類別標(biāo)簽進(jìn)行置信度評估，包括特征的類別貢獻(xiàn)度和類別內(nèi)數(shù)據(jù)點(diǎn)的一致性分析，為每個(gè)類別標(biāo)簽計(jì)算數(shù)值型的置信度，生成置信度數(shù)值集；

21、s303：使用所述置信度數(shù)值集，設(shè)置閾值進(jìn)行類別判定，對于每個(gè)類別，比較置信度與閾值，超過閾值的類別標(biāo)簽被確定為合格，通過閾值比較進(jìn)行類別驗(yàn)證，獲取通道數(shù)據(jù)分類決策結(jié)果。

22、作為本發(fā)明的進(jìn)一步方案，對所述通道數(shù)據(jù)分類決策結(jié)果進(jìn)行性能評估并記錄，將真實(shí)值與預(yù)測值進(jìn)行比較，提取誤分類樣本的數(shù)據(jù)，獲取通道分類性能數(shù)據(jù)的步驟具體為：

23、s401：根據(jù)所述通道數(shù)據(jù)分類決策結(jié)果，配置數(shù)據(jù)比對單元，在單元內(nèi)設(shè)置參數(shù)提取每個(gè)通道的預(yù)測值和真實(shí)值，單元采用內(nèi)部腳本對每個(gè)通道的數(shù)據(jù)進(jìn)行比較，記錄匹配和不匹配的結(jié)果，得到匹配差異記錄；

24、s402：分析所述匹配差異記錄，使用數(shù)據(jù)過濾機(jī)制，篩選分類錯(cuò)誤的樣本，包括檢測每個(gè)樣本的預(yù)測類別與實(shí)時(shí)類別是否一致，并記錄不一致樣本的信息，生成誤分類樣本列表；

25、s403：利用所述誤分類樣本列表，應(yīng)用隨機(jī)森林算法，進(jìn)行統(tǒng)計(jì)分析并評估每個(gè)通道的性能，計(jì)算每個(gè)通道的分類準(zhǔn)確率，整理數(shù)據(jù)形成每個(gè)通道的性能概覽，將數(shù)據(jù)匯總并進(jìn)行性能評估，獲取通道分類性能數(shù)據(jù)。

26、作為本發(fā)明的進(jìn)一步方案，所述隨機(jī)森林算法的公式如下：

27、，

28、計(jì)算分類性能，得到每個(gè)通道的性能值，其中，表示分類準(zhǔn)確率，代表通道分類正確的樣本總數(shù)，代表通道處理的樣本總數(shù)，代表通道的誤分類樣本數(shù)，為調(diào)節(jié)系數(shù)。

29、作為本發(fā)明的進(jìn)一步方案，根據(jù)所述通道分類性能數(shù)據(jù)，監(jiān)測處理過程中的負(fù)載，記錄多通道資源使用情況，計(jì)算處理時(shí)間和占用比，進(jìn)行資源動(dòng)態(tài)調(diào)整，獲取通道負(fù)載監(jiān)測數(shù)據(jù)的步驟具體為：

30、s501：基于所述通道分類性能數(shù)據(jù)，監(jiān)測每個(gè)通道的負(fù)載情況，記錄每個(gè)通道在處理過程中的資源使用情況，統(tǒng)計(jì)每個(gè)通道的處理時(shí)間和資源消耗量，并進(jìn)行數(shù)據(jù)整合，獲取通道負(fù)荷情況；

31、s502：基于所述通道負(fù)荷情況，分析多通道的占用比，評估資源使用效率，比較多通道之間的負(fù)載差異，并進(jìn)行動(dòng)態(tài)調(diào)整，生成資源使用評估結(jié)果；

32、s503：基于所述資源使用評估結(jié)果，實(shí)施資源動(dòng)態(tài)調(diào)整，優(yōu)化通道資源分配，調(diào)整處理優(yōu)先級，并進(jìn)行負(fù)載均衡，獲取通道負(fù)載監(jiān)測數(shù)據(jù)。

33、作為本發(fā)明的進(jìn)一步方案，依據(jù)所述通道負(fù)載監(jiān)測數(shù)據(jù)，進(jìn)行資源使用情況的統(tǒng)計(jì)分析，識別負(fù)載變化趨勢，動(dòng)態(tài)調(diào)整資源分配，生成通道資源調(diào)度策略的步驟具體為：

34、s601：基于所述通道負(fù)載監(jiān)測數(shù)據(jù)，進(jìn)行多通道資源使用情況的統(tǒng)計(jì)，計(jì)算每個(gè)通道的平均負(fù)載、最大負(fù)載和最小負(fù)載，整合數(shù)據(jù)，獲取通道資源使用統(tǒng)計(jì)數(shù)據(jù)；

35、s602：基于所述通道資源使用統(tǒng)計(jì)數(shù)據(jù)，識別負(fù)載變化趨勢，分析多通道在差異化時(shí)間段的負(fù)載波動(dòng)，進(jìn)行時(shí)間段內(nèi)負(fù)載數(shù)據(jù)的比較，生成負(fù)載變化趨勢分析結(jié)果；

36、s603：基于所述負(fù)載變化趨勢分析結(jié)果，動(dòng)態(tài)調(diào)整通道的資源分配，優(yōu)化資源配置，實(shí)施調(diào)度策略，生成通道資源調(diào)度策略。

37、多通道并行數(shù)據(jù)采集與處理系統(tǒng)，所述多通道并行數(shù)據(jù)采集與處理系統(tǒng)用于執(zhí)行上述多通道并行數(shù)據(jù)采集與處理方法，所述系統(tǒng)包括：

38、數(shù)據(jù)采集模塊通過對每個(gè)通道進(jìn)行數(shù)據(jù)采集，記錄多通道數(shù)據(jù)，進(jìn)行數(shù)據(jù)類型與量的分類，設(shè)定定時(shí)器并進(jìn)行數(shù)據(jù)流的同步，執(zhí)行數(shù)據(jù)存儲至數(shù)據(jù)庫，處理時(shí)間戳并統(tǒng)一格式，生成原始數(shù)據(jù)集；

39、特征提取模塊基于所述原始數(shù)據(jù)集，提取關(guān)鍵特征，執(zhí)行特征值映射并結(jié)合權(quán)重調(diào)整機(jī)制，細(xì)化層級信息，分析重構(gòu)誤差，生成深層特征表示；

40、分類決策模塊基于所述深層特征表示，將數(shù)據(jù)輸入分類器，執(zhí)行特征分類，計(jì)算分類結(jié)果置信度，運(yùn)用閾值進(jìn)行類別劃分，生成通道數(shù)據(jù)分類決策結(jié)果；

41、性能評估模塊基于所述通道數(shù)據(jù)分類決策結(jié)果，對分類性能進(jìn)行評估，比較真實(shí)值與預(yù)測值，提取誤分類樣本數(shù)據(jù)，生成通道分類性能數(shù)據(jù)；

42、資源調(diào)度模塊基于所述通道分類性能數(shù)據(jù)，監(jiān)測負(fù)載情況，記錄資源使用情況，計(jì)算處理時(shí)間與占用比，動(dòng)態(tài)調(diào)整資源分配，生成通道資源調(diào)度策略。

43、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果在于：

44、本發(fā)明中，通過每個(gè)通道進(jìn)行數(shù)據(jù)采集，實(shí)時(shí)記錄數(shù)據(jù)類型與量，實(shí)現(xiàn)多信號源數(shù)據(jù)流的高效同步，這種同步過程確保數(shù)據(jù)在時(shí)間上的一致性，為后續(xù)分析提供可靠的基礎(chǔ)，對原始數(shù)據(jù)集進(jìn)行關(guān)鍵特征提取，細(xì)化層級信息，使得分析過程中的數(shù)據(jù)關(guān)聯(lián)性得以強(qiáng)化，提升數(shù)據(jù)處理的深度。深層特征表示的生成，通過分類器執(zhí)行特征分類，計(jì)算結(jié)果置信度，運(yùn)用閾值判斷進(jìn)行類別劃分，極大提高分類的準(zhǔn)確性和實(shí)時(shí)性。在性能評估中，真實(shí)值與預(yù)測值的對比，進(jìn)一步提取誤分類樣本，為后續(xù)調(diào)整提供了依據(jù)，負(fù)載監(jiān)測與動(dòng)態(tài)資源調(diào)整的結(jié)合，優(yōu)化資源使用情況，使得資源分配更具靈活性和適應(yīng)性，從而有效應(yīng)對差異化處理需求，提升多通道并行處理的響應(yīng)能力和穩(wěn)定性。