本發(fā)明公開一種方法和系統(tǒng)，涉及人工智能，具體地說是一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法和系統(tǒng)。

背景技術(shù)：

1、現(xiàn)有的快銷品巡店督導(dǎo)方法主要依賴于人工觀察和手動(dòng)記錄，存在一些缺點(diǎn)，比如：

2、人力資源消耗高：需要大量的人力資源進(jìn)行巡店督導(dǎo)，包括派遣巡店人員、培訓(xùn)和管理人員等，成本較高；

3、效率低下：人工觀察和手動(dòng)記錄需要較長的時(shí)間，并且容易出現(xiàn)疏漏和錯(cuò)誤，導(dǎo)致巡店效率低下；

4、主觀性影響：由于依賴于人工觀察，巡店結(jié)果容易受到觀察者主觀因素的影響，導(dǎo)致結(jié)果不夠客觀和準(zhǔn)確；

5、數(shù)據(jù)分析困難：采集的數(shù)據(jù)通常是非結(jié)構(gòu)化的，難以進(jìn)行系統(tǒng)化的分析和挖掘，限制了巡店結(jié)果的深入理解和應(yīng)用。為了解決這些問題，近年來出現(xiàn)了一些基于人工智能技術(shù)的巡店督導(dǎo)方法，但仍存在一些局限性：

6、單一模態(tài)數(shù)據(jù)分析：只關(guān)注單一模態(tài)數(shù)據(jù)，如圖像或語音，而忽視了多模態(tài)數(shù)據(jù)融合的優(yōu)勢，導(dǎo)致特征表征不夠全面和準(zhǔn)確；

7、數(shù)據(jù)處理復(fù)雜性：多模態(tài)數(shù)據(jù)的處理和分析需要涉及多個(gè)領(lǐng)域的專業(yè)知識(shí)，如計(jì)算機(jī)視覺、語音識(shí)別等，技術(shù)復(fù)雜度較高，還不完善；

8、實(shí)時(shí)性和適用性：在實(shí)際應(yīng)用中存在實(shí)時(shí)性不足、適用性差等問題，無法滿足快速變化的市場需求。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對(duì)現(xiàn)有技術(shù)的問題，提供一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法和系統(tǒng)，結(jié)合深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)，提高巡店效率、準(zhǔn)確性和智能化水平。

2、本發(fā)明提出的具體方案是：

3、本發(fā)明提供一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法，包括：

4、步驟1：在巡店過程中，針對(duì)店內(nèi)貨架陳列情況、產(chǎn)品擺放情況和客流量進(jìn)行多模態(tài)數(shù)據(jù)采集，多模態(tài)數(shù)據(jù)包括圖像數(shù)據(jù)和語音數(shù)據(jù)，

5、步驟2：對(duì)多模態(tài)數(shù)據(jù)進(jìn)行處理：結(jié)合計(jì)算機(jī)視覺技術(shù)和自然語言處理技術(shù)提取圖像數(shù)據(jù)的特征，結(jié)合語音識(shí)別技術(shù)和自然語言處理技術(shù)提取語音數(shù)據(jù)的音頻特征和語義特征，

6、步驟3：將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進(jìn)行融合，獲得融合后的多模態(tài)特征，利用深度學(xué)習(xí)模型中多模態(tài)神經(jīng)網(wǎng)絡(luò)根據(jù)圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征聯(lián)合訓(xùn)練識(shí)別模型，獲取特征之間的關(guān)聯(lián)信息和相互影響，

7、步驟4：利用識(shí)別模型基于融合后的多模態(tài)特征進(jìn)行問題檢測，

8、步驟5：根據(jù)問題檢測的結(jié)果，自動(dòng)生成巡店報(bào)告。

9、進(jìn)一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法中步驟1中所述進(jìn)行多模態(tài)數(shù)據(jù)采集，包括：針對(duì)店內(nèi)環(huán)境，部署攝像頭、麥克風(fēng)和聲音傳感器，分別通過攝像頭、麥克風(fēng)和聲音傳感器采集店內(nèi)圖像數(shù)據(jù)和語音數(shù)據(jù)。

10、進(jìn)一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法中步驟3中所述將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進(jìn)行融合，包括：

11、利用特征融合的公式:

12、

13、進(jìn)行特征融合，其中ffused是融合后的多模態(tài)特征向量，fi表示某一模態(tài)特征向量，wi對(duì)應(yīng)表示某一模態(tài)特征向量的權(quán)重，用于調(diào)節(jié)各個(gè)模態(tài)特征的貢獻(xiàn)度。

14、進(jìn)一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法中步驟5中所述生成巡店報(bào)告，包括：根據(jù)問題檢測的結(jié)果，將問題的分類、描述以及改進(jìn)建議生成在巡店報(bào)告中，并根據(jù)問題的分類、描述調(diào)節(jié)優(yōu)化識(shí)別模型。

15、本發(fā)明還提供一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)系統(tǒng)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、問題檢測模塊和報(bào)告生成模塊，

16、數(shù)據(jù)采集模塊在巡店過程中，針對(duì)店內(nèi)貨架陳列情況、產(chǎn)品擺放情況和客流量進(jìn)行多模態(tài)數(shù)據(jù)采集，多模態(tài)數(shù)據(jù)包括圖像數(shù)據(jù)和語音數(shù)據(jù)，

17、數(shù)據(jù)處理模塊對(duì)多模態(tài)數(shù)據(jù)進(jìn)行處理：結(jié)合計(jì)算機(jī)視覺技術(shù)和自然語言處理技術(shù)提取圖像數(shù)據(jù)的特征，結(jié)合語音識(shí)別技術(shù)和自然語言處理技術(shù)提取語音數(shù)據(jù)的音頻特征和語義特征，

18、將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進(jìn)行融合，獲得融合后的多模態(tài)特征，利用深度學(xué)習(xí)模型中多模態(tài)神經(jīng)網(wǎng)絡(luò)根據(jù)圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征聯(lián)合訓(xùn)練識(shí)別模型，獲取特征之間的關(guān)聯(lián)信息和相互影響，

19、問題檢測模塊利用識(shí)別模型基于融合后的多模態(tài)特征進(jìn)行問題檢測，

20、報(bào)告生成模塊根據(jù)問題檢測的結(jié)果，自動(dòng)生成巡店報(bào)告。

21、進(jìn)一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)系統(tǒng)的數(shù)據(jù)采集模塊進(jìn)行多模態(tài)數(shù)據(jù)采集，包括：針對(duì)店內(nèi)環(huán)境，部署攝像頭、麥克風(fēng)和聲音傳感器，分別通過攝像頭、麥克風(fēng)和聲音傳感器采集店內(nèi)圖像數(shù)據(jù)和語音數(shù)據(jù)。

22、進(jìn)一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)系統(tǒng)的數(shù)據(jù)處理模塊將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進(jìn)行融合，包括：

23、利用特征融合的公式:

24、

25、進(jìn)行特征融合，其中ffused是融合后的多模態(tài)特征向量，fi表示某一模態(tài)特征向量，wi對(duì)應(yīng)表示某一模態(tài)特征向量的權(quán)重，用于調(diào)節(jié)各個(gè)模態(tài)特征的貢獻(xiàn)度。

26、進(jìn)一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)系統(tǒng)的報(bào)告生成模塊生成巡店報(bào)告，包括：根據(jù)問題檢測的結(jié)果，將問題的分類、描述以及改進(jìn)建議生成在巡店報(bào)告中，并根據(jù)問題的分類、描述調(diào)節(jié)優(yōu)化識(shí)別模型。

27、本發(fā)明的有益之處是：

28、提高巡店效率：通過自動(dòng)化數(shù)據(jù)采集、處理和分析，以及智能化的問題檢測和報(bào)告生成，實(shí)現(xiàn)巡店過程的高效化，減少人力資源消耗，節(jié)省時(shí)間成本。

29、提高巡店準(zhǔn)確性：結(jié)合多模態(tài)數(shù)據(jù)融合技術(shù)，綜合考慮圖像、語音等多種信息源，提高對(duì)店內(nèi)情況的全面理解和準(zhǔn)確分析，減少人為因素的影響，提高巡店結(jié)果的客觀性和準(zhǔn)確性。

30、降低巡店成本：減少人工操作和管理成本，提高巡店效率和準(zhǔn)確性，從而降低巡店的總體成本，提升企業(yè)的競爭力和盈利能力。

31、提升巡店智能化水平：利用人工智能技術(shù)，實(shí)現(xiàn)對(duì)巡店過程的自動(dòng)化和智能化，不斷優(yōu)化巡店方法和技術(shù)，使其能夠適應(yīng)市場需求的變化，提升巡店管理水平和品牌形象。

技術(shù)特征：

1.一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法，其特征是包括：

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法，其特征是步驟1中所述進(jìn)行多模態(tài)數(shù)據(jù)采集，包括：針對(duì)店內(nèi)環(huán)境，部署攝像頭、麥克風(fēng)和聲音傳感器，分別通過攝像頭、麥克風(fēng)和聲音傳感器采集店內(nèi)圖像數(shù)據(jù)和語音數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法，其特征是步驟3中所述將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進(jìn)行融合，包括：

4.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法，其特征是步驟5中所述生成巡店報(bào)告，包括：根據(jù)問題檢測的結(jié)果，將問題的分類、描述以及改進(jìn)建議生成在巡店報(bào)告中，并根據(jù)問題的分類、描述調(diào)節(jié)優(yōu)化識(shí)別模型。

5.一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)系統(tǒng)，其特征是包括數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、問題檢測模塊和報(bào)告生成模塊，

6.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)系統(tǒng)，其特征是數(shù)據(jù)采集模塊進(jìn)行多模態(tài)數(shù)據(jù)采集，包括：針對(duì)店內(nèi)環(huán)境，部署攝像頭、麥克風(fēng)和聲音傳感器，分別通過攝像頭、麥克風(fēng)和聲音傳感器采集店內(nèi)圖像數(shù)據(jù)和語音數(shù)據(jù)。

7.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)系統(tǒng)，其特征是數(shù)據(jù)處理模塊將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進(jìn)行融合，包括：

8.根據(jù)權(quán)利要求5所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)系統(tǒng)，其特征是報(bào)告生成模塊生成巡店報(bào)告，包括：根據(jù)問題檢測的結(jié)果，將問題的分類、描述以及改進(jìn)建議生成在巡店報(bào)告中，并根據(jù)問題的分類、描述調(diào)節(jié)優(yōu)化識(shí)別模型。

技術(shù)總結(jié)
本發(fā)明公開一種基于多模態(tài)數(shù)據(jù)融合的巡店督導(dǎo)方法和系統(tǒng)，涉及人工智能技術(shù)領(lǐng)域；包括：步驟1：在巡店過程中，針對(duì)店內(nèi)貨架陳列情況、產(chǎn)品擺放情況和客流量進(jìn)行多模態(tài)數(shù)據(jù)采集，步驟2：對(duì)多模態(tài)數(shù)據(jù)進(jìn)行處理：結(jié)合計(jì)算機(jī)視覺技術(shù)和自然語言處理技術(shù)提取圖像數(shù)據(jù)的特征，結(jié)合語音識(shí)別技術(shù)和自然語言處理技術(shù)提取語音數(shù)據(jù)的音頻特征和語義特征，步驟3：將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進(jìn)行融合，獲得融合后的多模態(tài)特征，利用深度學(xué)習(xí)模型中多模態(tài)神經(jīng)網(wǎng)絡(luò)根據(jù)圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征聯(lián)合訓(xùn)練識(shí)別模型，步驟4：利用識(shí)別模型基于融合后的多模態(tài)特征進(jìn)行問題檢測，步驟5：根據(jù)問題檢測的結(jié)果，自動(dòng)生成巡店報(bào)告。

技術(shù)研發(fā)人員：王霄鵬,鄭斌,李伍,孫振,肖建國
受保護(hù)的技術(shù)使用者：山東浪潮數(shù)字商業(yè)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19