本發(fā)明涉及無(wú)人零售，具體為基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)。

背景技術(shù)：

1、隨著人工智能與物聯(lián)網(wǎng)技術(shù)的發(fā)展，無(wú)人零售逐漸成為未來(lái)零售業(yè)的重要方向。然而，現(xiàn)有的無(wú)人零售系統(tǒng)在實(shí)際使用時(shí)仍舊存在以下缺陷：一是采用單一的商品識(shí)別方式，如電子標(biāo)簽或圖像識(shí)別，由于數(shù)據(jù)來(lái)源單一，導(dǎo)致系統(tǒng)的綜合感知能力較差，無(wú)法準(zhǔn)確識(shí)別和追蹤商品；二是現(xiàn)有無(wú)人零售系統(tǒng)缺乏對(duì)顧客行為的深度分析和理解，無(wú)法精準(zhǔn)為顧客推薦商品；三是無(wú)法快速將顧客引導(dǎo)至所需的商品處，導(dǎo)致顧客需要花費(fèi)大量時(shí)間尋找商品，影響顧客的購(gòu)物體驗(yàn)；四是對(duì)庫(kù)存的預(yù)測(cè)能力較弱，容易出現(xiàn)缺貨或積壓的情況；五是缺乏對(duì)庫(kù)存商品質(zhì)量和保質(zhì)期的有效監(jiān)控。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，以解決上述背景技術(shù)中提出的問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，包括數(shù)據(jù)采集模塊、購(gòu)物過(guò)程管理模塊、智能服務(wù)模塊、商品質(zhì)量監(jiān)測(cè)模塊、云平臺(tái)、電子價(jià)簽?zāi)K和數(shù)據(jù)安全與隱私保護(hù)模塊，所述數(shù)據(jù)采集模塊分別與購(gòu)物過(guò)程管理模塊、智能服務(wù)模塊和商品質(zhì)量監(jiān)測(cè)模塊建立數(shù)據(jù)連接，云平臺(tái)分別與購(gòu)物過(guò)程管理模塊、智能服務(wù)模塊、商品質(zhì)量監(jiān)測(cè)模塊、電子價(jià)簽?zāi)K和數(shù)據(jù)安全與隱私保護(hù)模塊建立數(shù)據(jù)連接，購(gòu)物過(guò)程管理模塊與智能服務(wù)模塊建立數(shù)據(jù)連接。

3、優(yōu)選的，所述數(shù)據(jù)采集模塊包括視覺(jué)傳感器、重量傳感器、聲波傳感器、溫濕度傳感器和聲音傳感器，視覺(jué)傳感器包括高清攝像頭和3d攝像頭，高清攝像頭和3d攝像頭用于獲取圖像數(shù)據(jù)，重量傳感器用于獲取重量數(shù)據(jù)，聲波傳感器獲取位置數(shù)據(jù)，溫濕度傳感器用于獲取環(huán)境溫濕度數(shù)據(jù)，聲音傳感器用于獲取聲音數(shù)據(jù)。

4、優(yōu)選的，所述購(gòu)物過(guò)程管理模塊包括顧客識(shí)別子模塊、賬單創(chuàng)建子模塊、購(gòu)物行為判斷子模塊和賬單更新子模塊，購(gòu)物行為判斷子模塊包括拿取商品行為判斷單元、放回商品行為判斷單元和異常行為判斷單元，顧客識(shí)別子模塊用于人臉識(shí)別，賬單創(chuàng)建子模塊用于生成初始賬單，購(gòu)物行為判斷子模塊用于分析購(gòu)物行為，賬單更新子模塊用于更新初始賬單數(shù)據(jù)。

5、優(yōu)選的，所述智能服務(wù)模塊包括ai虛擬數(shù)字人子模塊、輔助購(gòu)物子模塊、購(gòu)物反饋?zhàn)幽K和自助結(jié)算子模塊，ai虛擬數(shù)字人子模塊包括視覺(jué)單元和語(yǔ)音單元，視覺(jué)單元包括外觀模型和模型動(dòng)畫(huà)，語(yǔ)音單元包括語(yǔ)音合成和自然語(yǔ)言處理，ai虛擬數(shù)字人子模塊用于交互，輔助購(gòu)物子模塊用于輔助購(gòu)物，購(gòu)物反饋?zhàn)幽K用于反饋購(gòu)物體驗(yàn)，自助結(jié)算子模塊用于結(jié)算賬單，視覺(jué)單元用于將數(shù)字人進(jìn)行可視化展示，外觀模型為數(shù)字人模型，模型動(dòng)畫(huà)為數(shù)字人交互動(dòng)畫(huà)，自然語(yǔ)言處理用于解析自然語(yǔ)言，語(yǔ)音合成用于將文本轉(zhuǎn)化為語(yǔ)音。

6、優(yōu)選的，所述輔助購(gòu)物子模塊包括商品位置引導(dǎo)單元、商品推薦單元、商品搜索單元和商品展示單元，商品位置引導(dǎo)單元包括購(gòu)物路線(xiàn)生成功能、燈光引導(dǎo)功能和電子地圖引導(dǎo)功能，商品位置引導(dǎo)單元用于引導(dǎo)購(gòu)物路線(xiàn)，商品推薦單元用于推薦商品，商品搜索單元用于提供商品搜索服務(wù)，商品展示單元用于展示商品基礎(chǔ)信息，購(gòu)物路線(xiàn)生成功能用于規(guī)劃購(gòu)物路線(xiàn)，燈光引導(dǎo)功能用于提供路線(xiàn)引導(dǎo)服務(wù)，和電子地圖引導(dǎo)功能用于提供路線(xiàn)引導(dǎo)服務(wù)。

7、優(yōu)選的，所述購(gòu)物反饋?zhàn)幽K包括商品質(zhì)量反饋單元和期望商品錄入單元，自助結(jié)算子模塊包括掃碼支付單元、生物識(shí)別支付單元和無(wú)感支付單元，商品質(zhì)量反饋單元用于錄入商品質(zhì)量評(píng)價(jià)，期望商品錄入單元用于錄入期望購(gòu)入的商品名稱(chēng)。

8、優(yōu)選的，所述商品質(zhì)量監(jiān)測(cè)模塊包括商品臨期預(yù)警子模塊和存儲(chǔ)環(huán)境異常警報(bào)子模塊，商品臨期預(yù)警子模塊用于發(fā)出商品臨期提醒，存儲(chǔ)環(huán)境異常警報(bào)子模塊用于發(fā)出存儲(chǔ)環(huán)境異常提醒。

9、優(yōu)選的，所述云平臺(tái)包括價(jià)簽管理模塊和數(shù)據(jù)分析模塊，數(shù)據(jù)分析模塊包括購(gòu)物反饋數(shù)據(jù)分析子模塊、商品搜索數(shù)據(jù)分析子模塊、個(gè)性化推薦子模塊和庫(kù)存管理子模塊，價(jià)簽管理模塊用于遠(yuǎn)程管理電子價(jià)簽，數(shù)據(jù)分析模塊用于利用ai算法分析數(shù)據(jù)，購(gòu)物反饋數(shù)據(jù)分析子模塊用于統(tǒng)計(jì)設(shè)定時(shí)間段內(nèi)的購(gòu)物反饋數(shù)據(jù)，商品搜索數(shù)據(jù)分析子模塊用于統(tǒng)計(jì)設(shè)定時(shí)間段內(nèi)的商品搜索數(shù)據(jù)，個(gè)性化推薦子模塊用于生成個(gè)性化商品推薦方案，庫(kù)存管理子模塊用于庫(kù)存管理方案。

10、優(yōu)選的，所述個(gè)性化推薦子模塊包括賬單數(shù)據(jù)分析單元、顧客行為分析單元和推薦方案生成單元，顧客行為分析單元包括瀏覽行為分析功能、停留行為分析功能和挑選行為分析功能，庫(kù)存管理子模塊包括銷(xiāo)售數(shù)據(jù)分析單元、庫(kù)存數(shù)據(jù)分析單元和決策支持單元，賬單數(shù)據(jù)分析單元用于統(tǒng)計(jì)分析顧客的賬單數(shù)據(jù)，顧客行為分析單元用于分析購(gòu)物行為中瀏覽、停留和挑選的時(shí)間，推薦方案生成單元用于綜合分析結(jié)果生成商品推薦方案，銷(xiāo)售數(shù)據(jù)分析單元用于分析商品銷(xiāo)售數(shù)據(jù)，庫(kù)存數(shù)據(jù)分析單元用于分析商品庫(kù)存數(shù)據(jù)，決策支持單元用于綜合分析結(jié)果生成庫(kù)存管理方案。

11、優(yōu)選的，所述電子價(jià)簽?zāi)K包括無(wú)線(xiàn)通訊子模塊、顯示子模塊、數(shù)據(jù)處理子模塊和電源子模塊，且數(shù)據(jù)處理子模塊分別與無(wú)線(xiàn)通訊子模塊、顯示子模塊和電源子模塊建立數(shù)據(jù)連接，無(wú)線(xiàn)通訊子模塊用于實(shí)現(xiàn)無(wú)線(xiàn)通訊，顯示子模塊用于顯示數(shù)據(jù)，數(shù)據(jù)處理子模塊為控制中心，電源子模塊用于供電。

12、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：本發(fā)明采用多模態(tài)數(shù)據(jù)融合技術(shù)，通過(guò)融合基于多種數(shù)據(jù)源的分析結(jié)果，從而準(zhǔn)確識(shí)別和追蹤商品；通過(guò)構(gòu)建顧客畫(huà)像，從而為顧客提供個(gè)性化的商品推薦服務(wù)；通過(guò)智能服務(wù)模塊集成ai虛擬數(shù)字人引導(dǎo)功能和輔助購(gòu)物功能，為顧客制定購(gòu)物路線(xiàn)，并快速引導(dǎo)顧客引導(dǎo)至所需的商品處，提高顧客的購(gòu)物體驗(yàn)；通過(guò)綜合分析購(gòu)物反饋數(shù)據(jù)、商品搜索數(shù)據(jù)、銷(xiāo)售數(shù)據(jù)和庫(kù)存數(shù)據(jù)，能夠準(zhǔn)確預(yù)測(cè)庫(kù)存需求；通過(guò)監(jiān)測(cè)商品的存放時(shí)間和存儲(chǔ)環(huán)境，以保證庫(kù)存商品的質(zhì)量。

技術(shù)特征：

1.基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，包括數(shù)據(jù)采集模塊(1)、購(gòu)物過(guò)程管理模塊(2)、智能服務(wù)模塊(3)、商品質(zhì)量監(jiān)測(cè)模塊(4)、云平臺(tái)(5)、電子價(jià)簽?zāi)K(6)和數(shù)據(jù)安全與隱私保護(hù)模塊(7)，其特征在于：所述數(shù)據(jù)采集模塊(1)分別與購(gòu)物過(guò)程管理模塊(2)、智能服務(wù)模塊(3)和商品質(zhì)量監(jiān)測(cè)模塊(4)建立數(shù)據(jù)連接，云平臺(tái)(5)分別與購(gòu)物過(guò)程管理模塊(2)、智能服務(wù)模塊(3)、商品質(zhì)量監(jiān)測(cè)模塊(4)、電子價(jià)簽?zāi)K(6)和數(shù)據(jù)安全與隱私保護(hù)模塊(7)建立數(shù)據(jù)連接，購(gòu)物過(guò)程管理模塊(2)與智能服務(wù)模塊(3)建立數(shù)據(jù)連接。

2.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述數(shù)據(jù)采集模塊(1)包括視覺(jué)傳感器(11)、重量傳感器(12)、聲波傳感器(13)、溫濕度傳感器(14)和聲音傳感器(15)，視覺(jué)傳感器(11)包括高清攝像頭(111)和3d攝像頭(112)，高清攝像頭(111)和3d攝像頭(112)用于獲取圖像數(shù)據(jù)，重量傳感器(12)用于獲取重量數(shù)據(jù)，聲波傳感器(13)獲取位置數(shù)據(jù)，溫濕度傳感器(14)用于獲取環(huán)境溫濕度數(shù)據(jù)，聲音傳感器(15)用于獲取聲音數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述購(gòu)物過(guò)程管理模塊(2)包括顧客識(shí)別子模塊(21)、賬單創(chuàng)建子模塊(22)、購(gòu)物行為判斷子模塊(23)和賬單更新子模塊(24)，購(gòu)物行為判斷子模塊(23)包括拿取商品行為判斷單元(231)、放回商品行為判斷單元(232)和異常行為判斷單元(233)，顧客識(shí)別子模塊(21)用于人臉識(shí)別，賬單創(chuàng)建子模塊(22)用于生成初始賬單，購(gòu)物行為判斷子模塊(23)用于分析購(gòu)物行為，賬單更新子模塊(24)用于更新初始賬單數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述智能服務(wù)模塊(3)包括ai虛擬數(shù)字人子模塊(31)、輔助購(gòu)物子模塊(32)、購(gòu)物反饋?zhàn)幽K(33)和自助結(jié)算子模塊(34)，ai虛擬數(shù)字人子模塊(31)包括視覺(jué)單元(311)和語(yǔ)音單元(312)，視覺(jué)單元(311)包括外觀模型(3111)和模型動(dòng)畫(huà)(3112)，語(yǔ)音單元(312)包括語(yǔ)音合成(3121)和自然語(yǔ)言處理(3122)，ai虛擬數(shù)字人子模塊(31)用于交互，輔助購(gòu)物子模塊(32)用于輔助購(gòu)物，購(gòu)物反饋?zhàn)幽K(33)用于反饋購(gòu)物體驗(yàn)，自助結(jié)算子模塊(34)用于結(jié)算賬單，視覺(jué)單元(311)用于將數(shù)字人進(jìn)行可視化展示，外觀模型(3111)為數(shù)字人模型，模型動(dòng)畫(huà)(3112)為數(shù)字人交互動(dòng)畫(huà)，自然語(yǔ)言處理(3122)用于解析自然語(yǔ)言，語(yǔ)音合成(3121)用于將文本轉(zhuǎn)化為語(yǔ)音。

5.根據(jù)權(quán)利要求4所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述輔助購(gòu)物子模塊(32)包括商品位置引導(dǎo)單元(321)、商品推薦單元(322)、商品搜索單元(323)和商品展示單元(324)，商品位置引導(dǎo)單元(321)包括購(gòu)物路線(xiàn)生成功能(3211)、燈光引導(dǎo)功能(3212)和電子地圖引導(dǎo)功能(3213)，商品位置引導(dǎo)單元(321)用于引導(dǎo)購(gòu)物路線(xiàn)，商品推薦單元(322)用于推薦商品，商品搜索單元(323)用于提供商品搜索服務(wù)，商品展示單元(324)用于展示商品基礎(chǔ)信息，購(gòu)物路線(xiàn)生成功能(3211)用于規(guī)劃購(gòu)物路線(xiàn)，燈光引導(dǎo)功能(3212)用于提供路線(xiàn)引導(dǎo)服務(wù)，和電子地圖引導(dǎo)功能(3213)用于提供路線(xiàn)引導(dǎo)服務(wù)。

6.根據(jù)權(quán)利要求4所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述購(gòu)物反饋?zhàn)幽K(33)包括商品質(zhì)量反饋單元(331)和期望商品錄入單元(332)，自助結(jié)算子模塊(34)包括掃碼支付單元(341)、生物識(shí)別支付單元(342)和無(wú)感支付單元(343)，商品質(zhì)量反饋單元(331)用于錄入商品質(zhì)量評(píng)價(jià)，期望商品錄入單元(332)用于錄入期望購(gòu)入的商品名稱(chēng)。

7.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述商品質(zhì)量監(jiān)測(cè)模塊(4)包括商品臨期預(yù)警子模塊(41)和存儲(chǔ)環(huán)境異常警報(bào)子模塊(42)，商品臨期預(yù)警子模塊(41)用于發(fā)出商品臨期提醒，存儲(chǔ)環(huán)境異常警報(bào)子模塊(42)用于發(fā)出存儲(chǔ)環(huán)境異常提醒。

8.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述云平臺(tái)(5)包括價(jià)簽管理模塊(51)和數(shù)據(jù)分析模塊(52)，數(shù)據(jù)分析模塊(52)包括購(gòu)物反饋數(shù)據(jù)分析子模塊(521)、商品搜索數(shù)據(jù)分析子模塊(522)、個(gè)性化推薦子模塊(523)和庫(kù)存管理子模塊(524)，價(jià)簽管理模塊(51)用于遠(yuǎn)程管理電子價(jià)簽，數(shù)據(jù)分析模塊(52)用于利用ai算法分析數(shù)據(jù)，購(gòu)物反饋數(shù)據(jù)分析子模塊(521)用于統(tǒng)計(jì)設(shè)定時(shí)間段內(nèi)的購(gòu)物反饋數(shù)據(jù)，商品搜索數(shù)據(jù)分析子模塊(522)用于統(tǒng)計(jì)設(shè)定時(shí)間段內(nèi)的商品搜索數(shù)據(jù)，個(gè)性化推薦子模塊(523)用于生成個(gè)性化商品推薦方案，庫(kù)存管理子模塊(524)用于庫(kù)存管理方案。

9.根據(jù)權(quán)利要求8所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述個(gè)性化推薦子模塊(523)包括賬單數(shù)據(jù)分析單元(5231)、顧客行為分析單元(5232)和推薦方案生成單元(5233)，顧客行為分析單元(5232)包括瀏覽行為分析功能(52321)、停留行為分析功能(52322)和挑選行為分析功能(52323)，庫(kù)存管理子模塊(524)包括銷(xiāo)售數(shù)據(jù)分析單元(5241)、庫(kù)存數(shù)據(jù)分析單元(5242)和決策支持單元(5243)，賬單數(shù)據(jù)分析單元(5231)用于統(tǒng)計(jì)分析顧客的賬單數(shù)據(jù)，顧客行為分析單元(5232)用于分析購(gòu)物行為中瀏覽、停留和挑選的時(shí)間，推薦方案生成單元(5233)用于綜合分析結(jié)果生成商品推薦方案，銷(xiāo)售數(shù)據(jù)分析單元(5241)用于分析商品銷(xiāo)售數(shù)據(jù)，庫(kù)存數(shù)據(jù)分析單元(5242)用于分析商品庫(kù)存數(shù)據(jù)，決策支持單元(5243)用于綜合分析結(jié)果生成庫(kù)存管理方案。

10.根據(jù)權(quán)利要求1所述的基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，其特征在于：所述電子價(jià)簽?zāi)K(6)包括無(wú)線(xiàn)通訊子模塊(61)、顯示子模塊(62)、數(shù)據(jù)處理子模塊(63)和電源子模塊(64)，且數(shù)據(jù)處理子模塊(63)分別與無(wú)線(xiàn)通訊子模塊(61)、顯示子模塊(62)和電源子模塊(64)建立數(shù)據(jù)連接，無(wú)線(xiàn)通訊子模塊(61)用于實(shí)現(xiàn)無(wú)線(xiàn)通訊，顯示子模塊(62)用于顯示數(shù)據(jù)，數(shù)據(jù)處理子模塊(63)為控制中心，電源子模塊(64)用于供電。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了基于計(jì)算機(jī)視覺(jué)卷積神經(jīng)網(wǎng)絡(luò)的多模態(tài)融合智能無(wú)人零售系統(tǒng)，包括數(shù)據(jù)采集模塊、購(gòu)物過(guò)程管理模塊、智能服務(wù)模塊、商品質(zhì)量監(jiān)測(cè)模塊、云平臺(tái)、電子價(jià)簽?zāi)K和數(shù)據(jù)安全與隱私保護(hù)模塊；本發(fā)明采用多模態(tài)數(shù)據(jù)融合技術(shù)，通過(guò)融合基于多種數(shù)據(jù)源的分析結(jié)果，從而準(zhǔn)確識(shí)別和追蹤商品；通過(guò)構(gòu)建顧客畫(huà)像，從而為顧客提供個(gè)性化的商品推薦服務(wù)；通過(guò)智能服務(wù)模塊集成AI虛擬數(shù)字人引導(dǎo)功能和輔助購(gòu)物功能，為顧客制定購(gòu)物路線(xiàn)，并快速引導(dǎo)顧客引導(dǎo)至所需的商品處，提高顧客的購(gòu)物體驗(yàn)；通過(guò)綜合分析購(gòu)物反饋數(shù)據(jù)、商品搜索數(shù)據(jù)、銷(xiāo)售數(shù)據(jù)和庫(kù)存數(shù)據(jù)，能夠準(zhǔn)確預(yù)測(cè)庫(kù)存需求；通過(guò)監(jiān)測(cè)商品的存放時(shí)間和存儲(chǔ)環(huán)境，以保證庫(kù)存商品的質(zhì)量。

技術(shù)研發(fā)人員：禇克慶,王乙竹,周正書(shū),史艷翠,魏巍,魏言春,付瑜
受保護(hù)的技術(shù)使用者：吉林云投萊森購(gòu)數(shù)字科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17