一種多模態(tài)信號(hào)數(shù)據(jù)處理方法、裝置及終端設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種多模態(tài)信號(hào)數(shù)據(jù)處理方法、裝置及終端設(shè)備。
【背景技術(shù)】
[0002]在移動(dòng)健康遠(yuǎn)程應(yīng)用系統(tǒng)中，用戶通過佩戴在身體上的多種傳感器，動(dòng)態(tài)采集多種與健康相關(guān)的體征信號(hào)，通過網(wǎng)絡(luò)上傳至服務(wù)器端。服務(wù)器端通過對(duì)大量體征信號(hào)數(shù)據(jù)的挖掘和分析，為用戶提供健康管理、健康監(jiān)測(cè)和遠(yuǎn)程醫(yī)療協(xié)助。移動(dòng)健康遠(yuǎn)程應(yīng)用系統(tǒng)使用戶能夠在家中或社區(qū)中享受到健康監(jiān)測(cè)與指導(dǎo)，讓用戶能夠隨時(shí)、客觀地判斷健康狀況。一個(gè)典型的移動(dòng)健康遠(yuǎn)程應(yīng)用系統(tǒng)如圖1所示，包括佩戴在用戶身上的各種傳感器SlOl(如血氧傳感器、加速度傳感器、心電傳感器、血壓傳感器、肌電傳感器、體溫傳感器等)、智能網(wǎng)關(guān)S102和服務(wù)器S103，各傳感器SlOl實(shí)時(shí)采集多模態(tài)的原始體征信號(hào)，并將其按照采集時(shí)間順序打包，通過近距離通信技術(shù)(如藍(lán)牙、BLE (低功耗藍(lán)牙技術(shù))、Zigbee等)發(fā)送給智能網(wǎng)關(guān)S102，智能網(wǎng)關(guān)S102通過無線通信技術(shù)(如Wif1、3G、LTE等)再發(fā)送給服務(wù)器S103作進(jìn)一步處理和分析。以一晚(約8小時(shí))睡眠多模態(tài)信號(hào)數(shù)據(jù)為例，其包括心電(ECG)信號(hào)數(shù)據(jù)、加速度信號(hào)數(shù)據(jù)、體溫信號(hào)數(shù)據(jù)，睡眠多模態(tài)信號(hào)數(shù)據(jù)包括3種模態(tài)信號(hào)數(shù)據(jù)，則其模態(tài)數(shù)為3。
[0003]由于各傳感器采集的原始體征信號(hào)數(shù)據(jù)量大，直接通過智能網(wǎng)關(guān)上傳至服務(wù)器需要消耗大量的網(wǎng)絡(luò)資源。因此，智能網(wǎng)關(guān)在將原始信號(hào)數(shù)據(jù)上傳至服務(wù)器之前進(jìn)行必要的特征提取和壓縮操作。
[0004]現(xiàn)有技術(shù)中，用戶佩戴在身上的多個(gè)傳感器實(shí)時(shí)采集多模態(tài)原始體征信號(hào)數(shù)據(jù)，在單位時(shí)間內(nèi)將所有采集的原始體征信號(hào)數(shù)據(jù)打包，實(shí)時(shí)(如運(yùn)動(dòng)遠(yuǎn)程監(jiān)護(hù)系統(tǒng))或者在指定的時(shí)間(如睡眠遠(yuǎn)程監(jiān)護(hù)系統(tǒng)在起床后)按照數(shù)據(jù)包的建立順序發(fā)送給智能網(wǎng)關(guān)，智能網(wǎng)關(guān)則按照數(shù)據(jù)包的建立時(shí)間順序依次串行處理每個(gè)數(shù)據(jù)包中包含的各模態(tài)信號(hào)數(shù)據(jù)。如圖2所示，為智能網(wǎng)關(guān)處理多模態(tài)信號(hào)數(shù)據(jù)的處理流程示意圖，對(duì)于接收到的數(shù)據(jù)包序列，智能網(wǎng)關(guān)按照數(shù)據(jù)包序列中包含的各數(shù)據(jù)包的建立時(shí)間順序，依次選擇一個(gè)數(shù)據(jù)包，針對(duì)每一數(shù)據(jù)包，智能網(wǎng)關(guān)依次串行處理該數(shù)據(jù)包中包含的每一模態(tài)信號(hào)數(shù)據(jù)。
[0005]目前在智能網(wǎng)關(guān)上進(jìn)行多模態(tài)體征信號(hào)數(shù)據(jù)處理計(jì)算時(shí)間較長(zhǎng)，如在CPU主頻為IGHz的智能網(wǎng)關(guān)上，進(jìn)行一晚睡眠多模態(tài)信號(hào)數(shù)據(jù)(約8小時(shí)的心電(ECG)信號(hào)數(shù)據(jù)、加速度信號(hào)數(shù)據(jù)、體溫信號(hào)數(shù)據(jù)，原始數(shù)據(jù)大小約為50MB)的特征提取和壓縮，需要約5分鐘。因此，基于智能網(wǎng)關(guān)的多模態(tài)體征信號(hào)數(shù)據(jù)處理的快速計(jì)算，對(duì)于移動(dòng)健康遠(yuǎn)程應(yīng)用系統(tǒng)具有重要的意義。
[0006]目前大多數(shù)的優(yōu)化計(jì)算方法均是從信號(hào)數(shù)據(jù)處理的算法本身出發(fā)。例如針對(duì)ECG信號(hào)的R波提取計(jì)算中，采用計(jì)算量較低的窗口平滑、差分求極值等時(shí)域處理方法替代計(jì)算量較大的頻域?yàn)V波、小波變換等處理方法。但是上述優(yōu)化方法均是通過犧牲算法的部分精確性和穩(wěn)定性來換取算法運(yùn)行速度，這影響了體征信號(hào)數(shù)據(jù)處理結(jié)果的精確性。從而，如何在保證多模態(tài)信號(hào)數(shù)據(jù)處理的精確性的基礎(chǔ)上，提高多模態(tài)信號(hào)數(shù)據(jù)處理的速度，成為現(xiàn)有技術(shù)亟待解決的技術(shù)問題之一。

【發(fā)明內(nèi)容】

[0007]本發(fā)明實(shí)施例提供一種多模態(tài)信號(hào)處理方法、裝置及終端設(shè)備，用以在保證多模態(tài)信號(hào)數(shù)據(jù)處理的精確性的基礎(chǔ)上，提高多模態(tài)信號(hào)數(shù)據(jù)處理的速度。
[0008]本發(fā)明實(shí)施例提供一種多模態(tài)信號(hào)數(shù)據(jù)處理方法，包括:
[0009]接收包含多模態(tài)信號(hào)數(shù)據(jù)的數(shù)據(jù)包序列；
[0010]解析所述數(shù)據(jù)包序列中的任一數(shù)據(jù)包，獲取所述多模態(tài)信號(hào)數(shù)據(jù)的模態(tài)數(shù)；
[0011]比較中央處理器核數(shù)與所述模態(tài)數(shù)；
[0012]若所述核數(shù)大于等于所述模態(tài)數(shù)，則針對(duì)每一模態(tài)信號(hào)數(shù)據(jù)，分別開啟一個(gè)線程，并行處理各模態(tài)信號(hào)數(shù)據(jù)；
[0013]若所述核數(shù)小于所述模態(tài)數(shù)，則按照預(yù)設(shè)算法并行處理所述多模態(tài)信號(hào)數(shù)據(jù)。
[0014]本發(fā)明實(shí)施例提供一種多模態(tài)信號(hào)數(shù)據(jù)處理裝置，包括:
[0015]接收單元，用于接收包含多模態(tài)信號(hào)數(shù)據(jù)的數(shù)據(jù)包序列；
[0016]解析單元，用于解析所述數(shù)據(jù)包序列中的任一數(shù)據(jù)包，獲取所述多模態(tài)信號(hào)數(shù)據(jù)的模態(tài)數(shù)；
[0017]比較單元，用于比較中央處理器核數(shù)與所述模態(tài)數(shù)；
[0018]執(zhí)行單元，用于根據(jù)所述比較單元的比較結(jié)果，若所述核數(shù)大于等于所述模態(tài)數(shù)，則針對(duì)每一模態(tài)信號(hào)數(shù)據(jù)，分別開啟一個(gè)線程，并行處理各模態(tài)信號(hào)數(shù)據(jù)；若所述核數(shù)小于所述模態(tài)數(shù)，則按照預(yù)設(shè)算法并行處理所述多模態(tài)信號(hào)數(shù)據(jù)。
[0019]本發(fā)明實(shí)施例提供一種終端設(shè)備，包括上述的多模態(tài)信號(hào)數(shù)據(jù)處理裝置。
[0020]本發(fā)明實(shí)施例提供的多模態(tài)信號(hào)數(shù)據(jù)處理方法、裝置及終端設(shè)備，在接收到數(shù)據(jù)包序列之后，解析任一數(shù)據(jù)包以獲取多模態(tài)信號(hào)數(shù)據(jù)的模態(tài)數(shù)，并比較獲取的模態(tài)數(shù)與中央處理器核數(shù)，若核數(shù)大于等于模態(tài)數(shù)則針對(duì)每一模態(tài)信號(hào)數(shù)據(jù)，開啟一個(gè)線程進(jìn)行處理，從而實(shí)現(xiàn)了各模態(tài)信號(hào)數(shù)據(jù)的并行處理，若核數(shù)小于模態(tài)數(shù)，則按照預(yù)設(shè)算法并行處理各模態(tài)信號(hào)數(shù)據(jù)，由此可見，本發(fā)明實(shí)施例中，由于對(duì)各模態(tài)信號(hào)數(shù)據(jù)進(jìn)行并行處理，相比于現(xiàn)有技術(shù)中對(duì)各模態(tài)信號(hào)數(shù)據(jù)進(jìn)行串行處理，能夠減少處理時(shí)間，提高了多模態(tài)信號(hào)數(shù)據(jù)處理的速度，同時(shí)，本發(fā)明實(shí)施例中并未對(duì)算法本身進(jìn)行優(yōu)化，從而能夠保證多模態(tài)信號(hào)數(shù)據(jù)處理結(jié)果的精確性。
[0021]本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
【附圖說明】
[0022]此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中:
[0023]圖1為現(xiàn)有技術(shù)中，移動(dòng)健康遠(yuǎn)程應(yīng)用系統(tǒng)結(jié)構(gòu)不意圖；
[0024]圖2為現(xiàn)有技術(shù)中，智能網(wǎng)關(guān)處理多模態(tài)信號(hào)數(shù)據(jù)的處理流程示意圖；
[0025]圖3為本發(fā)明實(shí)施例中，多模態(tài)信號(hào)數(shù)據(jù)處理方法的實(shí)施流程示意圖；
[0026]圖4為本發(fā)明實(shí)施例中，多模態(tài)信號(hào)數(shù)據(jù)處理并行調(diào)度示意圖；
[0027]圖5為本發(fā)明實(shí)施例中，多模態(tài)信號(hào)數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0028]為了實(shí)現(xiàn)在保證體征信號(hào)數(shù)據(jù)處理的精確性的前提下，提高體征信號(hào)數(shù)據(jù)處理速度，本發(fā)明實(shí)施例提供了一種多模態(tài)信號(hào)數(shù)據(jù)處理方法、裝置及終端設(shè)備。
[0029]以下結(jié)合說明書附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明，并且在不沖突的情況下，本發(fā)明中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0030]發(fā)明人發(fā)現(xiàn)，對(duì)于智能網(wǎng)關(guān)接收到的每個(gè)數(shù)據(jù)包中包含的多模態(tài)信號(hào)數(shù)據(jù)具有以下三個(gè)特點(diǎn):
[0031]I)智能網(wǎng)關(guān)接收到的每個(gè)數(shù)據(jù)包都包含了單位時(shí)間內(nèi)采集到的各個(gè)模態(tài)體征信號(hào)的原始數(shù)據(jù)，由于不同模態(tài)信號(hào)數(shù)據(jù)的采樣率可能不同，因此其對(duì)應(yīng)的運(yùn)算窗口不同，同時(shí)，每一模態(tài)信號(hào)數(shù)據(jù)的大小不同，這樣，針對(duì)每一模態(tài)信號(hào)數(shù)據(jù)，需要的處理窗口數(shù)量也不同。以睡眠監(jiān)測(cè)的一個(gè)數(shù)據(jù)包為例，其可能包含有256個(gè)心電(ECG)信號(hào)數(shù)據(jù)，64個(gè)加速度信號(hào)數(shù)據(jù)，而ECG信號(hào)數(shù)據(jù)的處理窗口為32，加速度信號(hào)數(shù)據(jù)的處理窗口為64，則每個(gè)數(shù)據(jù)包中包含8個(gè)ECG信號(hào)數(shù)據(jù)處理窗口和I個(gè)加速度信號(hào)數(shù)據(jù)處理窗口。
[0032]2)對(duì)每一模態(tài)信號(hào)數(shù)據(jù)的處理存在時(shí)間上的依賴關(guān)系，由于在信號(hào)數(shù)據(jù)處理過程中，當(dāng)前窗口處理結(jié)果依賴于之前窗口處理結(jié)果，因此，前一窗口的數(shù)據(jù)必須先于后一窗口的數(shù)據(jù)進(jìn)行處理，也就是說，針對(duì)每一模態(tài)信號(hào)數(shù)據(jù)的處理必須是串行的。
[0033]3)不同模態(tài)信號(hào)數(shù)據(jù)的處理是獨(dú)立的，因此，可以并行執(zhí)行各模態(tài)信號(hào)數(shù)據(jù)處理。
[0034]同時(shí)，隨著智能終端設(shè)備技術(shù)的發(fā)展，現(xiàn)有的終端設(shè)備大多具備多核特性，能夠支持不同模態(tài)信號(hào)數(shù)據(jù)的并行處理。
[0035]需要說明的是，本發(fā)明實(shí)施例提供的多模態(tài)信號(hào)數(shù)據(jù)處理方法不僅適用于移動(dòng)健康遠(yuǎn)程應(yīng)用系統(tǒng)中，也適用于其它場(chǎng)景下終端設(shè)備對(duì)多模態(tài)信號(hào)數(shù)據(jù)進(jìn)行處理，以提高多模態(tài)信號(hào)數(shù)據(jù)處理的速度。為了便于描述，本發(fā)明實(shí)施例中以移動(dòng)健康遠(yuǎn)程應(yīng)用系統(tǒng)中對(duì)睡眠進(jìn)行監(jiān)測(cè)為例對(duì)多模態(tài)信號(hào)數(shù)據(jù)進(jìn)行處理為例進(jìn)行說明。
[0036]基于上述分析，本發(fā)明實(shí)施例提供一種多模態(tài)信號(hào)數(shù)據(jù)處理方法，如圖3所示，可以包括以下步驟:
[0037]S301、終端設(shè)備接收包含多模態(tài)信號(hào)數(shù)據(jù)的數(shù)據(jù)包序列。
[0038]具體的