本發(fā)明涉及數(shù)據(jù)處理，具體而言，涉及一種數(shù)據(jù)采集處理方法、電子設(shè)備、車輛及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著大數(shù)據(jù)的發(fā)展，采集的數(shù)據(jù)的有效性將直接影響數(shù)據(jù)挖掘分析的效率與準(zhǔn)確性。例如，對(duì)于設(shè)備、軟件程序的運(yùn)行數(shù)據(jù)，目前通常是大規(guī)模采集全量數(shù)據(jù)，然后放到云端對(duì)數(shù)據(jù)做挖掘分析。由于采集數(shù)據(jù)涉及的場(chǎng)景多，數(shù)據(jù)量大，導(dǎo)致采集的數(shù)據(jù)中容易存在無(wú)需關(guān)注的場(chǎng)景的數(shù)據(jù)，從而容易造成存儲(chǔ)資源的浪費(fèi)，以及數(shù)據(jù)挖掘分析的效率低。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請(qǐng)實(shí)施例的目的在于提供一種數(shù)據(jù)采集處理方法、電子設(shè)備、車輛及存儲(chǔ)介質(zhì)，能夠改善采集的數(shù)據(jù)容易造成存儲(chǔ)資源的浪費(fèi)，以及數(shù)據(jù)挖掘分析的效率低的問(wèn)題。

2、為實(shí)現(xiàn)上述技術(shù)目的，本申請(qǐng)采用的技術(shù)方案如下：

3、第一方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)采集處理方法，所述方法包括：

4、獲取車端設(shè)備采集的數(shù)據(jù)；

5、將所述數(shù)據(jù)輸入部署在車端的推理模型，得到由所述推理模型輸出的表征所述數(shù)據(jù)所屬場(chǎng)景的推理結(jié)果，其中，所述推理模型具有識(shí)別指定場(chǎng)景的功能，所述指定場(chǎng)景至少包括bad?case場(chǎng)景、corner?case場(chǎng)景及hard?case場(chǎng)景中的一種；

6、基于所述推理結(jié)果，對(duì)所述數(shù)據(jù)進(jìn)行處理，其中，當(dāng)所述推理結(jié)果表示所述數(shù)據(jù)所處場(chǎng)景屬于預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景時(shí)，對(duì)所述數(shù)據(jù)執(zhí)行本地存儲(chǔ)和/或上傳操作。

7、結(jié)合第一方面，在一些可選的實(shí)施方式中，在獲取車端設(shè)備采集的數(shù)據(jù)之前，所述方法還包括：

8、獲取樣本數(shù)據(jù)集，其中，所述樣本數(shù)據(jù)集包括標(biāo)注有場(chǎng)景類型的標(biāo)簽的樣本數(shù)據(jù)，所述場(chǎng)景類型包括分別與bad?case場(chǎng)景、corner?case場(chǎng)景及hard?case場(chǎng)景對(duì)應(yīng)的類型；

9、利用所述樣本數(shù)據(jù)集，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練測(cè)試，得到具有識(shí)別數(shù)據(jù)所屬場(chǎng)景功能的推理模型。

10、結(jié)合第一方面，在一些可選的實(shí)施方式中，利用所述樣本數(shù)據(jù)集，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練測(cè)試，得到具有識(shí)別數(shù)據(jù)所屬場(chǎng)景功能的推理模型，包括：

11、將所述樣本數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集；

12、利用所述訓(xùn)練集對(duì)所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，以及利用所述測(cè)試集對(duì)訓(xùn)練后的所述深度學(xué)習(xí)模型進(jìn)行測(cè)試，得到所述深度學(xué)習(xí)模型的評(píng)價(jià)指標(biāo)；

13、當(dāng)所述評(píng)價(jià)指標(biāo)表示的準(zhǔn)確率大于等于第一預(yù)設(shè)閾值時(shí)，將經(jīng)過(guò)訓(xùn)練測(cè)試的所述深度學(xué)習(xí)模型作為所述推理模型；

14、當(dāng)所述評(píng)價(jià)指標(biāo)表示的準(zhǔn)確率小于所述第一預(yù)設(shè)閾值時(shí)，通過(guò)優(yōu)化算法對(duì)經(jīng)過(guò)訓(xùn)練測(cè)試的所述深度學(xué)習(xí)模型進(jìn)行優(yōu)化，直至滿足預(yù)設(shè)停止條件時(shí)，將優(yōu)化后的深度學(xué)習(xí)模型作為所述推理模型。

15、結(jié)合第一方面，在一些可選的實(shí)施方式中，，通過(guò)優(yōu)化算法對(duì)經(jīng)過(guò)訓(xùn)練測(cè)試的所述深度學(xué)習(xí)模型進(jìn)行優(yōu)化，直至滿足預(yù)設(shè)停止條件時(shí)，將優(yōu)化后的深度學(xué)習(xí)模型作為所述推理模型，包括：

16、重復(fù)調(diào)整所述深度學(xué)習(xí)模型的模型參數(shù)，以及利用所述樣本數(shù)據(jù)集對(duì)調(diào)整所述模型參數(shù)后的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練測(cè)試，直至優(yōu)化后的深度學(xué)習(xí)模型的準(zhǔn)確率大于等于所述第一預(yù)設(shè)閾值，或重復(fù)次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)停止，并將最后得到的深度學(xué)習(xí)模型作為所述推理模型，其中，所述模型參數(shù)至少包括學(xué)習(xí)率、批量大小、參數(shù)權(quán)重、dropout率中的一種；

17、或者，重復(fù)利用不同的新樣本數(shù)據(jù)集，對(duì)所述經(jīng)過(guò)訓(xùn)練測(cè)試的所述深度學(xué)習(xí)模型進(jìn)行訓(xùn)練測(cè)試，直至優(yōu)化后的深度學(xué)習(xí)模型的準(zhǔn)確率大于等于所述第一預(yù)設(shè)閾值，或重復(fù)次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)停止，并將最后得到的深度學(xué)習(xí)模型作為所述推理模型；

18、或者，重復(fù)調(diào)整所述深度學(xué)習(xí)模型的模型參數(shù)，以及利用新樣本數(shù)據(jù)集對(duì)調(diào)整所述模型參數(shù)后的深度學(xué)習(xí)模型進(jìn)行訓(xùn)練測(cè)試，直至優(yōu)化后的深度學(xué)習(xí)模型的準(zhǔn)確率大于等于所述第一預(yù)設(shè)閾值，或重復(fù)次數(shù)達(dá)到預(yù)設(shè)次數(shù)時(shí)停止，并將最后得到的深度學(xué)習(xí)模型作為所述推理模型。

19、結(jié)合第一方面，在一些可選的實(shí)施方式中，所述方法還包括：

20、在接收到用于模型更新的操作指令時(shí)，從服務(wù)器下載與所述推理模型對(duì)應(yīng)的最新模型，以替換所述推理模型；或者，基于本地歷史數(shù)據(jù)，對(duì)所述推理模型進(jìn)行更新，得到更新后的推理模型，其中，所述最新模型為基于云端歷史數(shù)據(jù)對(duì)所述推理模型進(jìn)行更新得到的模型，所述本地歷史數(shù)據(jù)及所述云端歷史數(shù)據(jù)均包括屬于所述預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景的數(shù)據(jù)。

21、結(jié)合第一方面，在一些可選的實(shí)施方式中，所述推理結(jié)果包括至少一個(gè)場(chǎng)景標(biāo)簽及與場(chǎng)景標(biāo)簽對(duì)應(yīng)的置信度；

22、基于所述推理結(jié)果，對(duì)所述數(shù)據(jù)進(jìn)行處理，包括：

23、當(dāng)所述推理結(jié)果中存在屬于所述預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景的場(chǎng)景標(biāo)簽，且場(chǎng)景標(biāo)簽對(duì)應(yīng)的置信度大于第二預(yù)設(shè)閾值時(shí)，對(duì)所述數(shù)據(jù)執(zhí)行本地存儲(chǔ)和/或上傳操作；

24、當(dāng)所述推理結(jié)果中存在屬于所述預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景的場(chǎng)景標(biāo)簽，且置信度均小于等于第二預(yù)設(shè)閾值時(shí)，對(duì)所述數(shù)據(jù)丟棄；

25、當(dāng)所述推理結(jié)果中不存在屬于所述預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景的場(chǎng)景標(biāo)簽時(shí)，對(duì)所述數(shù)據(jù)丟棄。

26、結(jié)合第一方面，在一些可選的實(shí)施方式中，所述方法還包括：

27、當(dāng)所述推理結(jié)果中存在屬于所述預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景的場(chǎng)景標(biāo)簽，且場(chǎng)景標(biāo)簽對(duì)應(yīng)的置信度大于第二預(yù)設(shè)閾值時(shí)，將屬于所述預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景，且置信度最大對(duì)應(yīng)的場(chǎng)景標(biāo)簽，作為所述數(shù)據(jù)的目標(biāo)場(chǎng)景標(biāo)簽，并對(duì)所述數(shù)據(jù)添加所述目標(biāo)場(chǎng)景標(biāo)簽。

28、第二方面，本申請(qǐng)實(shí)施例還提供一種電子設(shè)備，所述電子設(shè)備包括相互耦合的處理器及存儲(chǔ)器，所述存儲(chǔ)器內(nèi)存儲(chǔ)計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述電子設(shè)備執(zhí)行上述的方法。

29、第三方面，本申請(qǐng)實(shí)施例還提供一種車輛，所述車輛包括車輛本體及上述的電子設(shè)備。

30、第四方面，本申請(qǐng)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行上述的方法。

31、采用上述技術(shù)方案的發(fā)明，具有如下優(yōu)點(diǎn)：

32、在本申請(qǐng)?zhí)峁┑募夹g(shù)方案中，將車端設(shè)備采集的數(shù)據(jù)輸入推理模型，得到由推理模型輸出的表征數(shù)據(jù)所屬場(chǎng)景的推理結(jié)果；當(dāng)推理結(jié)果表示數(shù)據(jù)所處場(chǎng)景屬于預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景時(shí)，對(duì)數(shù)據(jù)執(zhí)行本地存儲(chǔ)和/或上傳操作。由于推理模型能夠識(shí)別corner?case、bad?case以及hard?case等指定場(chǎng)景的數(shù)據(jù)，且預(yù)設(shè)場(chǎng)景庫(kù)包括指定場(chǎng)景，因此，有利于對(duì)corner?case、bad?case以及hard?case場(chǎng)景的數(shù)據(jù)準(zhǔn)確地進(jìn)行自動(dòng)篩選與提取。另外，對(duì)于無(wú)需關(guān)注的場(chǎng)景數(shù)據(jù)，便不用存儲(chǔ)與上傳，從而有利于降低數(shù)據(jù)存儲(chǔ)資源的開銷，提高存儲(chǔ)、上傳的數(shù)據(jù)的有效性，進(jìn)而有利于提升后續(xù)數(shù)據(jù)挖掘分析的效率。

技術(shù)特征：

1.一種數(shù)據(jù)采集處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在獲取車端設(shè)備采集的數(shù)據(jù)之前，所述方法還包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，利用所述樣本數(shù)據(jù)集，對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練測(cè)試，得到具有識(shí)別數(shù)據(jù)所屬場(chǎng)景功能的推理模型，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，通過(guò)優(yōu)化算法對(duì)經(jīng)過(guò)訓(xùn)練測(cè)試的所述深度學(xué)習(xí)模型進(jìn)行優(yōu)化，直至滿足預(yù)設(shè)停止條件時(shí)，將優(yōu)化后的深度學(xué)習(xí)模型作為所述推理模型，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述推理結(jié)果包括至少一個(gè)場(chǎng)景標(biāo)簽及與場(chǎng)景標(biāo)簽對(duì)應(yīng)的置信度；

7.根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

8.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括相互耦合的處理器及存儲(chǔ)器，所述存儲(chǔ)器內(nèi)存儲(chǔ)計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述電子設(shè)備執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的方法。

9.一種車輛，其特征在于，所述車輛包括車輛本體及如權(quán)利要求8所述的電子設(shè)備。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1-7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)采集處理方法、電子設(shè)備、車輛及存儲(chǔ)介質(zhì)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。方法包括：獲取車端設(shè)備采集的數(shù)據(jù)；將數(shù)據(jù)輸入推理模型，得到由推理模型輸出的表征數(shù)據(jù)所屬場(chǎng)景的推理結(jié)果，推理模型具有識(shí)別指定場(chǎng)景的功能，指定場(chǎng)景至少包括bad?case場(chǎng)景、corner?case場(chǎng)景及hard?case場(chǎng)景中的一種；基于推理結(jié)果，對(duì)數(shù)據(jù)進(jìn)行處理，其中，當(dāng)推理結(jié)果表示數(shù)據(jù)所處場(chǎng)景屬于預(yù)設(shè)場(chǎng)景庫(kù)中的場(chǎng)景時(shí)，對(duì)數(shù)據(jù)執(zhí)行本地存儲(chǔ)和/或上傳操作。如此，對(duì)于無(wú)需關(guān)注的場(chǎng)景數(shù)據(jù)，便不用存儲(chǔ)與上傳，從而有利于降低數(shù)據(jù)存儲(chǔ)資源的開銷，提高存儲(chǔ)、上傳的數(shù)據(jù)的有效性，進(jìn)而有利于提升后續(xù)數(shù)據(jù)挖掘分析的效率。

技術(shù)研發(fā)人員：劉金彥,錢少華,鄧皓勻
受保護(hù)的技術(shù)使用者：重慶長(zhǎng)安汽車股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19