本公開大體涉及機(jī)器人裝置，并且更特別地涉及客戶服務(wù)機(jī)器人及其相關(guān)系統(tǒng)和方法。

背景技術(shù)：

正如過去改善客戶服務(wù)的努力所證明的那樣，創(chuàng)造高質(zhì)量的個(gè)人客戶服務(wù)不是一件容易的事情。幾十年來，大多數(shù)零售店的客戶體驗(yàn)在很大程度上處于相同的狀態(tài)。當(dāng)客戶需要詢問一些問題時(shí)，即使只是一個(gè)簡(jiǎn)單的產(chǎn)品位置問題，他們通常也不得不在商店周圍尋找可能正在幫助另一個(gè)客戶的商店代表，因此客戶有時(shí)候會(huì)需要等待幫助。此外，這樣的代表不能提供期望的幫助并不罕見，因?yàn)橛涀『透櫳痰曛杏袝r(shí)可能成千上萬或更多不同的商品幾乎是不可能的。部分由于在線或電子商務(wù)購物的流行，現(xiàn)在的客戶希望能夠隨時(shí)掌握一切，立即可以使用，并且當(dāng)前物理位置的購物體驗(yàn)狀況未能達(dá)到這些期望。物理商店還以分散的方式分散在各處，并且盡管當(dāng)組合起來時(shí)，他們或許比電子商務(wù)競(jìng)爭(zhēng)對(duì)手擁有更多的人力，但他們?cè)谝惶斓牟煌瑫r(shí)間并不統(tǒng)一并且利用非常不足。有許多類型的已知服務(wù)機(jī)器人；然而，這樣的機(jī)器人不太適合于零售或客戶服務(wù)，因此通常是低效的、沒有收益的、沒有吸引力的，并且在其他方面不太理想。

因此，迄今為止，行業(yè)中存在著解決上述缺陷和不足之處的需求。

技術(shù)實(shí)現(xiàn)要素：

本公開的實(shí)施例提供了用于在設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人和機(jī)器人系統(tǒng)。在一個(gè)實(shí)施例中，提供了用于在設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人。機(jī)器人包括移動(dòng)平臺(tái)、用于檢測(cè)機(jī)器人的上部視野內(nèi)的物體的上部傳感器、用于檢測(cè)機(jī)器人的下部視野內(nèi)的物體的下部傳感器、顯示器和機(jī)器人計(jì)算機(jī)。機(jī)器人計(jì)算機(jī)與移動(dòng)平臺(tái)、上部傳感器和下部傳感器通信，并且機(jī)器人計(jì)算機(jī)包括處理器和計(jì)算機(jī)可讀存儲(chǔ)器。機(jī)器人計(jì)算機(jī)被配置為基于從上部傳感器和下部傳感器中的至少一個(gè)接收的信息來檢測(cè)設(shè)施內(nèi)的客戶的存在，并訪問存儲(chǔ)有與可用于設(shè)施內(nèi)的客戶的產(chǎn)品相關(guān)聯(lián)的信息的一個(gè)或多個(gè)數(shù)據(jù)庫，以及根據(jù)訪問的信息向客戶提供客戶服務(wù)。

在另一個(gè)實(shí)施例中，提供了用于在設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人系統(tǒng)，其包括機(jī)器人和支持站。機(jī)器人包括移動(dòng)平臺(tái)、用于檢測(cè)機(jī)器人的上部視野內(nèi)的物體的上部傳感器、用于檢測(cè)機(jī)器人的下部視野內(nèi)的物體的下部傳感器、顯示器和與移動(dòng)平臺(tái)、上部傳感器和下部傳感器通信的機(jī)器人計(jì)算機(jī)。機(jī)器人計(jì)算機(jī)包括處理器和計(jì)算機(jī)可讀存儲(chǔ)器。支持站位于機(jī)器人遠(yuǎn)處，并且包括支持站攝像機(jī)、支持站顯示器和與支持站攝像機(jī)和支持站顯示器通信的支持站計(jì)算機(jī)。支持站計(jì)算機(jī)包括處理器和計(jì)算機(jī)可讀存儲(chǔ)器。機(jī)器人被配置為通過促進(jìn)在設(shè)施中與機(jī)器人交互的客戶和位于遠(yuǎn)程位置的支持站處的運(yùn)營商之間的雙向通信來提供客戶服務(wù)。

本發(fā)明的一個(gè)目的是通過定向廣告和路線選擇來提供改進(jìn)的客戶服務(wù)。

本發(fā)明的另一目的是提供映射、庫存集成、產(chǎn)品定位和客戶指導(dǎo)服務(wù)。

本發(fā)明的又一目的是在設(shè)施內(nèi)提供改進(jìn)的顧客互動(dòng)。

本發(fā)明的又一目的是提供改進(jìn)的庫存控制。

本發(fā)明的另一目的是提供貿(mào)易市場(chǎng)監(jiān)控。

本發(fā)明的另一目的是通過與支持運(yùn)營商的通信來提供改進(jìn)的客戶服務(wù)。

在另一實(shí)施例中，本公開還可以被視為提供用機(jī)器人提供客戶服務(wù)的方法。其中在這方面，這種方法的一個(gè)實(shí)施例可以通過以下步驟大致概括：在具有至少一個(gè)客戶的設(shè)施內(nèi)提供機(jī)器人，其中所述機(jī)器人具有移動(dòng)平臺(tái)、用于檢測(cè)所述機(jī)器人的上部視野內(nèi)的物體的上部傳感器、用于檢測(cè)所述機(jī)器人的下部視野內(nèi)的物體的下部傳感器、顯示器和與移動(dòng)平臺(tái)、上部傳感器和下部傳感器通信的機(jī)器人計(jì)算機(jī)；基于從上部傳感器和下部傳感器中的至少一個(gè)接收的信息來檢測(cè)設(shè)施內(nèi)的至少一個(gè)客戶的存在；并向所述至少一個(gè)客戶提供客戶服務(wù)。

附圖說明

通過審查以下附圖和詳細(xì)描述，本公開的其它系統(tǒng)、方法、特征和優(yōu)點(diǎn)將對(duì)本領(lǐng)域技術(shù)人員而言變得顯而易見。所有這些附加系統(tǒng)、方法、特征和優(yōu)點(diǎn)旨在包括在本說明書內(nèi)、在本公開的范圍內(nèi)，并由所附權(quán)利要求書保護(hù)。

參考以下附圖可以更好地理解本公開的許多方面。附圖中的組件不一定按比例繪制，而是將重點(diǎn)放在清楚地說明本公開的原理之上。此外，在附圖中，在幾個(gè)視圖中，相同的附圖標(biāo)記表示相應(yīng)的部分。

圖1是根據(jù)本公開的第一示例性實(shí)施例的用于在設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人裝置的示意圖。

圖2是根據(jù)本公開的第一示例性實(shí)施例的用于在圖1的設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人裝置的子系統(tǒng)的框圖。

圖3是根據(jù)本公開的第一示例性實(shí)施例的用于使用圖1的機(jī)器人裝置在設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人系統(tǒng)的示意圖。

圖4是根據(jù)本公開的第一示例性實(shí)施例的圖1的機(jī)器人裝置使用的主動(dòng)路徑規(guī)劃的示意圖。

圖5是根據(jù)本公開的第一示例性實(shí)施例的與設(shè)施內(nèi)的物品以及客戶交互的機(jī)器人裝置的示意圖。

圖6是根據(jù)本公開的第一示例性實(shí)施例的用于在圖1的設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人裝置使用的視覺算法的框圖。

具體實(shí)施方式

在下面的描述中，參考形成其一部分的附圖，并且通過說明的方式示出了本公開的各種實(shí)施例。應(yīng)當(dāng)理解，在不脫離本公開的范圍的情況下，可以利用其他實(shí)施例并進(jìn)行改變。

本發(fā)明的許多方面可以采用計(jì)算機(jī)可執(zhí)行指令的形式，包括由可編程計(jì)算機(jī)執(zhí)行的算法。相關(guān)領(lǐng)域的技術(shù)人員將理解，本發(fā)明也可以用其它計(jì)算機(jī)系統(tǒng)配置來實(shí)現(xiàn)。本發(fā)明的某些方面可以體現(xiàn)在被具體地編程的專用計(jì)算機(jī)或數(shù)據(jù)處理器中，該專用計(jì)算機(jī)或數(shù)據(jù)處理器配置或構(gòu)造成執(zhí)行下面描述的一種或多種計(jì)算機(jī)可執(zhí)行算法。因此，本文通常使用的術(shù)語“計(jì)算機(jī)”是指任何數(shù)據(jù)處理器，并且包括互聯(lián)網(wǎng)設(shè)備、手持設(shè)備(包括掌上電腦、可穿戴計(jì)算機(jī)、蜂窩或移動(dòng)電話、多處理器系統(tǒng)、基于處理器的或可編程的消費(fèi)電子產(chǎn)品、網(wǎng)絡(luò)計(jì)算機(jī)、小型計(jì)算機(jī))等。

本發(fā)明的一些方面也可以在分布式計(jì)算環(huán)境中實(shí)施，其中任務(wù)或模塊由通過通信網(wǎng)絡(luò)連接的遠(yuǎn)程處理設(shè)備執(zhí)行。在分布式計(jì)算環(huán)境中，程序模塊或子程序可以位于本地和遠(yuǎn)程存儲(chǔ)設(shè)備中。下面描述的本發(fā)明的方面可以存儲(chǔ)或分布在計(jì)算機(jī)可讀介質(zhì)上，包括磁性和光學(xué)可讀和可移動(dòng)的計(jì)算機(jī)磁盤、固定磁盤、軟盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器、磁光盤驅(qū)動(dòng)器、磁帶、磁盤驅(qū)動(dòng)器(hdd)、固態(tài)驅(qū)動(dòng)器(ssd)、緊湊型閃存或非易失性存儲(chǔ)器、以及通過網(wǎng)絡(luò)電子分發(fā)。特定于本發(fā)明方面的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)的傳輸也包括在本發(fā)明的范圍內(nèi)。

圖1是根據(jù)本公開的第一示例性實(shí)施例的用于在設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人裝置1的示意圖。用于提供客戶服務(wù)的機(jī)器人裝置1(其在本文中可以被稱為客戶服務(wù)機(jī)器人1)可以是機(jī)器人、遠(yuǎn)程機(jī)器人(telebot)或完全類似或部分類似的機(jī)器人裝置中的任何類型，其能夠自主地導(dǎo)航，感測(cè)或檢測(cè)某些元素并與遠(yuǎn)程支持站進(jìn)行通信?？蛻舴?wù)機(jī)器人1可以包括移動(dòng)平臺(tái)11、機(jī)器人頭部23、無線通信設(shè)備13、機(jī)器人計(jì)算機(jī)14、下部3d傳感器12、上部3d傳感器15、多陣列麥克風(fēng)16、揚(yáng)聲器18、觸摸屏設(shè)備19和背面顯示器20。此外，客戶服務(wù)機(jī)器人1可以包括諸如將移動(dòng)平臺(tái)11連接到機(jī)器人頭部23的框架的結(jié)構(gòu)21。盡管在本文的示例性實(shí)施例中描述為“3d”傳感器，相關(guān)領(lǐng)域的技術(shù)人員將容易地理解，上部傳感器15和下部傳感器12中的一個(gè)或兩個(gè)可以是2d傳感器，并且具有2d傳感器作為上部傳感器15和下部傳感器12中的一個(gè)或兩個(gè)的機(jī)器人的實(shí)施例被認(rèn)為在本公開的范圍內(nèi)。

移動(dòng)平臺(tái)11允許機(jī)器人1移動(dòng)。移動(dòng)平臺(tái)11可以具有例如兩個(gè)或更多個(gè)車輪和腳輪30，允許機(jī)器人在任何方向上移動(dòng)。機(jī)器人1可以包括任何類型的驅(qū)動(dòng)系統(tǒng)以使用移動(dòng)平臺(tái)11移動(dòng)，諸如機(jī)電驅(qū)動(dòng)馬達(dá)。機(jī)器人1可以具有各種高度，但是優(yōu)選地至少為5英尺高以便為客戶提供最佳的便利。結(jié)構(gòu)21的高度可以是可調(diào)節(jié)的，并且機(jī)器人頭部23可以能夠移動(dòng)和傾斜或以其他方式移動(dòng)，從而允許機(jī)器人1的高度和機(jī)器人頭部23的角度改變以便提供任何期望的高度并從上部傳感器15觀察。

機(jī)器人計(jì)算機(jī)14可以是利用任何已知的操作系統(tǒng)由各種硬件和軟件部件構(gòu)成的任何計(jì)算設(shè)備。在一個(gè)實(shí)施例中，機(jī)器人計(jì)算機(jī)14是使用ubuntu操作系統(tǒng)并包括單個(gè)12v電源的微型計(jì)算機(jī)。機(jī)器人計(jì)算機(jī)14可以具有足夠的處理能力來運(yùn)行各種軟件，包括例如機(jī)器人操作系統(tǒng)(ros)，具有opencv的視頻處理等。本領(lǐng)域已知的任何計(jì)算組件可以與機(jī)器人計(jì)算機(jī)14一起使用。

可以在客戶服務(wù)機(jī)器人1上設(shè)置多個(gè)傳感器。傳感器可以包括任何類型的傳感器，包括三維(3d)傳感器、二維(2d)傳感器或本領(lǐng)域已知的任何其它傳感器。由于3d傳感器對(duì)于大多數(shù)用途可能是優(yōu)選的，因此本公開將傳感器描述為3d傳感器。上部3d傳感器15允許機(jī)器人1感知機(jī)器人1前面的人和物體，并且附加的上部傳感器30、31和32(其可以是2d、3d或其他)允許機(jī)器人1感知分別位于機(jī)器人1的側(cè)面和后面的人和物體。移動(dòng)平臺(tái)上的下部3d傳感器12允許機(jī)器人1檢測(cè)機(jī)器人前方的地面上的障礙物，并且附加的下部傳感器34、35和36(其可以是2d、3d或其它)允許機(jī)器人1檢測(cè)機(jī)器人1的側(cè)面和后面的地面上的障礙物。機(jī)器人1還可以包括全景3d傳感器17，其使得機(jī)器人1能夠檢測(cè)位于與機(jī)器人1成任意角度的物體。3d傳感器12、15、17、30、31、32、34、35和36可以為任何類型的2d或3d攝像機(jī)、激光測(cè)距儀、2d或3d掃描儀、結(jié)構(gòu)光掃描儀、立體相機(jī)、超聲波、雷達(dá)、激光雷達(dá)或用于檢測(cè)2d或3d靜態(tài)和/或動(dòng)態(tài)運(yùn)動(dòng)的任何其他感測(cè)或掃描設(shè)備。在一個(gè)實(shí)施例中，上部傳感器是微軟(microsoft)kinect設(shè)備；下部傳感器是北陽(hokuyo)激光雷達(dá)設(shè)備；以及全景3d傳感器是威力登(velodyne)激光雷達(dá)設(shè)備。

機(jī)器人1可以包括具有觸摸屏顯示器50、計(jì)算機(jī)51和眼睛跟蹤設(shè)備29的觸摸屏設(shè)備19。觸摸屏顯示器50可以包括向客戶呈現(xiàn)信息并允許客戶與觸摸屏顯示器50交互的任何類型的交互式圖形用戶界面(gui)。計(jì)算機(jī)51包括足夠的處理能力以運(yùn)行各種觸摸兼容軟件，包括例如windows8操作系統(tǒng)。背面顯示器20可以連接到觸摸屏設(shè)備計(jì)算機(jī)51，并且可以包括類似于觸摸屏設(shè)備19的觸摸屏特征。觸摸屏設(shè)備19和背面顯示器20的使用允許機(jī)器人1與來自多個(gè)方向的客戶互動(dòng)。例如，第一客戶可以使用機(jī)器人1前方的觸摸屏設(shè)備19與機(jī)器人1進(jìn)行交互，而第二客戶觀看顯示在背面顯示器20上的信息。

多陣列麥克風(fēng)16連接到觸摸屏設(shè)備計(jì)算機(jī)51并且能夠使機(jī)器人1進(jìn)行聲源定位和環(huán)境噪聲抑制。使用麥克風(fēng)16，機(jī)器人1能夠同時(shí)了解多個(gè)人的講話，并且從環(huán)境噪聲中區(qū)分特定人的講話。一個(gè)或多個(gè)揚(yáng)聲器18也包括在機(jī)器人1上，使得機(jī)器人1可以與客戶用語音交流。揚(yáng)聲器18連接到計(jì)算機(jī)51，計(jì)算機(jī)51將通過麥克風(fēng)16檢測(cè)環(huán)境噪聲，并確定揚(yáng)聲器18的正確的揚(yáng)聲器音量。機(jī)器人1交流用的語音可以包括任何語言。

機(jī)器人1還可以包括電力系統(tǒng)22。電力系統(tǒng)22可以包括電池24和充電系統(tǒng)25。電池24可以是可再充電鉛酸電池或任何其他類型的電池。充電系統(tǒng)25可以包括允許機(jī)器人1電連接到對(duì)接站(未示出)用于充電的接口。電力系統(tǒng)22可以包括配電電路和部件，包括調(diào)節(jié)器、散熱裝置、熔斷器和/或斷路器。此外，電力系統(tǒng)22可以包括緊急切斷電路，其可以在某些情況下自動(dòng)或手動(dòng)地切斷來自機(jī)器人1的電力，例如，如果電池太熱，電池低于某一最小閾值電荷，或者如果機(jī)器人移動(dòng)到預(yù)定區(qū)域之外。根據(jù)用戶移動(dòng)機(jī)器人的程度，電池壽命可能會(huì)有很大的不同。優(yōu)選地，電池類型、尺寸和容量允許兩次充電之間使用八小時(shí)。

機(jī)器人1還可以包括嵌入式系統(tǒng)26，其具有用于機(jī)器人1的控制和感測(cè)接口的一個(gè)或多個(gè)處理器27和相關(guān)聯(lián)的電路28。處理器27可以是例如arduinomega微控制器，其允許與用于控制平臺(tái)11的串行輸出一起容易地開發(fā)，并且可以充當(dāng)向機(jī)器人計(jì)算機(jī)14提供接口的串行(例如，通過usb)設(shè)備。處理器27可以是任何處理器、微處理器或微控制器，并且可以是pic微控制器，其通常是強(qiáng)大的并且允許用于數(shù)據(jù)傳輸?shù)母咚賣sb和以太網(wǎng)連接。處理器27可以包括一些量的計(jì)算機(jī)可讀存儲(chǔ)器或與一些量的計(jì)算機(jī)可讀存儲(chǔ)器相關(guān)聯(lián)。

機(jī)器人1還可以包括機(jī)器人位置檢測(cè)器33。機(jī)器人位置檢測(cè)器33可以利用多種已知位置檢測(cè)技術(shù)中的任何一種用于檢測(cè)機(jī)器人1的位置，包括全球定位系統(tǒng)(gps)、室內(nèi)定位系統(tǒng)(ips)和慣性導(dǎo)航系統(tǒng)(ins)。機(jī)器人位置檢測(cè)器33還可以與任何數(shù)量的地圖、平面布置圖或使用機(jī)器人1的設(shè)施的布局的類似原理圖協(xié)調(diào)工作。機(jī)器人1還可以包括能夠接收和發(fā)送rfid信號(hào)到機(jī)器人1和/或從機(jī)器人1接收和發(fā)送rfid信號(hào)的至少一個(gè)rfid天線56。

附加的傳感器可以包括在機(jī)器人1中。這些可以包括以下任何一種：紅外攝像機(jī)37(例如，用于感測(cè)環(huán)境熱源以及客戶的個(gè)人血液流量分布)；雷達(dá)傳感器或多普勒雷達(dá)傳感器38(用于運(yùn)動(dòng)檢測(cè)和檢測(cè)客戶的個(gè)人呼吸和心率)；其可以是可能對(duì)觸摸、力和/或壓力敏感的壓阻傳感器、壓電傳感器、電容傳感器和/或電阻傳感器；懸崖傳感器40(用于感測(cè)“懸崖”或樓梯或其他地形特征的存在)；碰撞傳感器41，其可以是當(dāng)機(jī)器人1碰撞到物體時(shí)用于感測(cè)的力傳感器；濕度傳感器42，其可以是用于感測(cè)環(huán)境空氣中的濕度的濕度計(jì)；化學(xué)傳感器43，其可以是用于感測(cè)環(huán)境的化學(xué)組分的電位傳感器；振動(dòng)傳感器44，其可以是用于感測(cè)振動(dòng)的壓電傳感器或加速度計(jì)；用于感測(cè)紫外線輻射的紫外線傳感器45；超聲波傳感器46，其可以用于檢測(cè)人、用于檢測(cè)罐(例如，燃料箱等)中的液體的充滿度、用于測(cè)量風(fēng)速和方向，或用于任何其他已知用途；和/或用于感測(cè)環(huán)境溫度和/或用于感測(cè)機(jī)器人計(jì)算機(jī)14或任何其它發(fā)熱或敏感部件溫度的溫度傳感器47。這些附加傳感器中的每一個(gè)可以與機(jī)器人計(jì)算機(jī)14和觸摸屏設(shè)備19進(jìn)行通信。

可以使用任何上述傳感器以及包括例如生物識(shí)別傳感器52的其它傳感器和/或感測(cè)技術(shù)來擴(kuò)展機(jī)器人1的能力以感測(cè)觀察到的客戶的血流、呼吸和心率、視網(wǎng)膜圖案，以及體液分布。例如，攝像機(jī)39可以檢測(cè)人的乳頭狀擴(kuò)張和視網(wǎng)膜圖案。紅外攝像機(jī)37或其他熱成像設(shè)備可以感測(cè)人的血流和體液分布。例如，攝像機(jī)39可以感測(cè)到人的呼吸，并且可以基于人的胸部的可見的擴(kuò)張和收縮，或者吸氣和呼氣時(shí)人的鼻孔的運(yùn)動(dòng)來確定人的呼吸模式。并且，例如，因?yàn)樾穆士梢曰谄つw亮度的變化、血流的變化和/或使用電容耦合的位移電流來確定，可以基于由攝像機(jī)39、紅外攝像機(jī)37或電位傳感器感測(cè)的信息來感測(cè)和確定人的心率。這些參數(shù)有助于評(píng)估觀察個(gè)體的“心理狀態(tài)”。

圖2是根據(jù)本公開的第一示例性實(shí)施例的用于在圖1的設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人裝置1的子系統(tǒng)的框圖。因此，圖2的每個(gè)塊/模塊表示機(jī)器人1的子系統(tǒng)。視頻輸入和輸出201子系統(tǒng)、音頻輸入和輸出202子系統(tǒng)、無線通信203子系統(tǒng)，3d傳感器204子系統(tǒng)和其他輸入和輸出205子系統(tǒng)都與計(jì)算、數(shù)據(jù)存儲(chǔ)、命令和控制子系統(tǒng)200通信。子系統(tǒng)200與微控制器和i/o板210通信，微控制器和i/o板210控制移動(dòng)平臺(tái)211和伺服機(jī)、致動(dòng)器和操縱器212，并且連接機(jī)電和光學(xué)傳感器213。當(dāng)各種子系統(tǒng)一齊使用時(shí)，機(jī)器人1能夠向設(shè)施內(nèi)的客戶提供客戶服務(wù)并且以其他方式執(zhí)行本文所述的各種功能。

圖3是根據(jù)本公開的第一示例性實(shí)施例的用于使用圖1的機(jī)器人裝置1在設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人系統(tǒng)10的示意圖。相對(duì)于圖1和圖3，機(jī)器人1可以能夠與機(jī)器人系統(tǒng)10的其他部件通信以促進(jìn)全面的功能。機(jī)器人1的無線通信設(shè)備13可以通過計(jì)算機(jī)網(wǎng)絡(luò)3與計(jì)算中心4通信。網(wǎng)絡(luò)3可以包括任何數(shù)量的網(wǎng)絡(luò)可訪問設(shè)備，例如第一網(wǎng)絡(luò)101、服務(wù)器100、第二網(wǎng)絡(luò)102、本地?zé)o線通信設(shè)備103(其可以是例如本地?zé)o線路由器)。計(jì)算機(jī)網(wǎng)絡(luò)101和102可以是能夠在設(shè)備之間進(jìn)行通信的任何有線或無線計(jì)算機(jī)網(wǎng)絡(luò)，包括局域網(wǎng)(lan)、廣域網(wǎng)(wan)、互聯(lián)網(wǎng)、無線lan、wi-fi、移動(dòng)設(shè)備網(wǎng)絡(luò)、ieee802.11、gsm、gprs、umts、3g和4g通信協(xié)議，或本領(lǐng)域普通技術(shù)人員已知的任何其他網(wǎng)絡(luò)布置和/或協(xié)議。

計(jì)算中心4可以是任何一種云計(jì)算中心、數(shù)據(jù)中心、超級(jí)計(jì)算機(jī)和其他強(qiáng)大的計(jì)算資源。計(jì)算中心4可以包括促銷數(shù)據(jù)庫140，其包含諸如促銷視頻、圖像、產(chǎn)品描述、促銷優(yōu)先、促銷優(yōu)惠、促銷歷史、品牌關(guān)系和其他信息的各種促銷信息和產(chǎn)品材料。計(jì)算中心4還可以包括設(shè)施的數(shù)字庫存數(shù)據(jù)庫141，數(shù)字庫存數(shù)據(jù)庫141可以包含關(guān)于產(chǎn)品的三維的掃描的結(jié)構(gòu)信息，并且計(jì)算中心4可以與機(jī)器人計(jì)算機(jī)14共享該庫存數(shù)據(jù)庫141，例如用于展示給消費(fèi)者。計(jì)算中心4可以將該庫存數(shù)據(jù)庫141集成到設(shè)施的地圖中，并且因此可以以如此高的精度來識(shí)別地圖中產(chǎn)品的位置，使得在同一貨架上的不同產(chǎn)品可以被充分地區(qū)分用于庫存控制目的。計(jì)算中心4還可以包括客戶數(shù)據(jù)庫142，其包含客戶的匿名信息，諸如購買歷史、會(huì)員卡信息、機(jī)器人交互歷史和客戶行為模式分析等。

機(jī)器人1可以能夠通過計(jì)算機(jī)網(wǎng)絡(luò)3和操作員網(wǎng)絡(luò)系統(tǒng)5與支持站2進(jìn)行通信。支持站2可以用于允許操作者80和與機(jī)器人1交互的客戶70進(jìn)行通信。支持站可以包括攝像機(jī)121、支持站計(jì)算機(jī)114、觸摸屏顯示器120、麥克風(fēng)116、揚(yáng)聲器118和諸如鍵盤、鼠標(biāo)或操縱桿的輸入設(shè)備117。支持站2通常位于遠(yuǎn)離機(jī)器人1的位置，例如位于用于設(shè)施的遠(yuǎn)程客戶服務(wù)中心。雖然僅示出了一個(gè)機(jī)器人1和一個(gè)支持站2，但是相關(guān)領(lǐng)域的普通技術(shù)人員將容易理解，系統(tǒng)10可以包括多個(gè)機(jī)器人1和/或多個(gè)支持站2。

由支持站2的攝像機(jī)121拍攝的視頻圖像可以被發(fā)送到機(jī)器人1(例如，通過網(wǎng)絡(luò)3)，其中它們可以被顯示在觸摸屏顯示器50上。音頻信號(hào)也可以由支持站麥克風(fēng)116拾取并發(fā)送到機(jī)器人1，在那里它們可以由揚(yáng)聲器18廣播。類似地，視頻信號(hào)和音頻信號(hào)可以由機(jī)器人1拾取并被發(fā)送到支持站2。因此，在支持站2處的操作者80可以查看遠(yuǎn)處機(jī)器人環(huán)境的圖像并聽到遠(yuǎn)處機(jī)器人環(huán)境的音頻。

因此，可以在支持站2處的操作者80和與機(jī)器人1通信的客戶70之間執(zhí)行具有音頻連接的雙向視頻通信。例如，機(jī)器人1的攝像機(jī)39可以捕獲在攝像機(jī)視野內(nèi)的人的視頻數(shù)據(jù)，并且麥克風(fēng)16可以捕獲來自人的音頻信息。該信息被發(fā)送到支持站2，在那里它可以被輸出到顯示器120和/或揚(yáng)聲器118。同時(shí)，來自支持站2處的操作者80的視頻信息和音頻信息可以分別由攝像機(jī)121和麥克風(fēng)116捕獲，并且發(fā)送到機(jī)器人1，在那里它可以被輸出到顯示器50和/或揚(yáng)聲器18。本發(fā)明可以利用與平臺(tái)無關(guān)的雙向視頻聊天協(xié)議，不需要公共ip地址，不需要特殊的隧道(tunneling)或防火墻配置，不需要遠(yuǎn)程信息技術(shù)協(xié)助，并且可以同時(shí)使用wi-fi和4g連接。

操作者80可以通過操作支持站2向機(jī)器人1發(fā)出命令以導(dǎo)航到位于遠(yuǎn)離支持站2的某個(gè)位置?？梢杂糜|摸屏顯示器120或與支持站計(jì)算機(jī)114進(jìn)行通信的輸入設(shè)備117來實(shí)現(xiàn)機(jī)器人1的命令。命令可以由計(jì)算機(jī)114接收和解釋，并且例如通過網(wǎng)絡(luò)101、服務(wù)器100、網(wǎng)絡(luò)103、無線通信設(shè)備103發(fā)送到機(jī)器人1、機(jī)器人計(jì)算機(jī)14然后到移動(dòng)平臺(tái)11。機(jī)器人1將響應(yīng)于所接收的命令根據(jù)需要移動(dòng)。

系統(tǒng)10可以與系統(tǒng)后端軟件131一起操作，系統(tǒng)后端軟件131可以在任何可商購的計(jì)算機(jī)操作系統(tǒng)(包括windows，macos，linux，android，ios等)上安裝和運(yùn)行。設(shè)施管理者或代理人81可以在設(shè)施上的計(jì)算機(jī)和移動(dòng)設(shè)備(例如智能電話和平板電腦)上安裝和使用軟件131。該軟件可以允許管理者或代理人81定義機(jī)器人1的任務(wù)的順序和優(yōu)先級(jí)，并將諸如促銷視頻、圖像、產(chǎn)品描述等的廣告材料上傳到計(jì)算中心4的促銷數(shù)據(jù)庫140。軟件131可以自動(dòng)處理由管理者或代理人81輸入的信息，并將其轉(zhuǎn)換為機(jī)器人1可以理解的格式。

操作示例：

機(jī)器人1可以例如使用其全景圖、上部3d傳感器和下部3d傳感器自主地探索設(shè)施?？梢岳糜?d傳感器捕獲的可視數(shù)據(jù)以及可由諸如gps、ips、ins或其他此類技術(shù)的機(jī)器人位置檢測(cè)器確定的對(duì)應(yīng)的位置信息來生成設(shè)施的地圖。設(shè)施的地圖可以存儲(chǔ)在機(jī)器人計(jì)算機(jī)14或計(jì)算機(jī)中心4中。機(jī)器人1可以使用上部3d傳感器來掃描由客戶帶來的樣品，并且在數(shù)字庫存中找到與樣品的結(jié)構(gòu)信息匹配的結(jié)構(gòu)信息，從而在設(shè)施中定位該產(chǎn)品。然后，機(jī)器人1可以通過在觸摸屏設(shè)備19或背面顯示器20上向客戶顯示關(guān)于產(chǎn)品的信息(例如其在設(shè)施內(nèi)的位置、價(jià)格、促銷信息等)或通過引導(dǎo)客戶到設(shè)施內(nèi)產(chǎn)品的位置來向客戶提供進(jìn)一步的服務(wù)。

機(jī)器人1可以例如通過使用其移動(dòng)平臺(tái)11或其機(jī)器人頭部23進(jìn)行小的動(dòng)作來吸引客戶的注意。機(jī)器人1還可以通過在觸摸屏設(shè)備19或背面顯示器20上顯示靜態(tài)圖形或動(dòng)態(tài)圖形(其可以包括頭像圖形)來吸引客戶的注意。機(jī)器人1可以通過使用揚(yáng)聲器18產(chǎn)生音頻信號(hào)來進(jìn)一步吸引客戶的注意。機(jī)器人1可以通過監(jiān)視客戶的交流響應(yīng)率、頭部旋轉(zhuǎn)、面部表情模式或以其他方式感測(cè)各種參數(shù)進(jìn)一步檢測(cè)客戶70對(duì)其的興趣以確定客戶的“心理狀態(tài)”，如前所述。當(dāng)興趣較低時(shí)，機(jī)器人將跳過此客戶，并導(dǎo)航回到其在設(shè)施內(nèi)的原始位置。機(jī)器人1的原始位置可以是設(shè)施管理者或代理人預(yù)先確定的充電站的位置或設(shè)施中的任何其他位置。在回到其原始位置的途中，機(jī)器人1可以基于捕獲的數(shù)據(jù)選擇可能具有更多客戶密度的路線，并且使用其上部3d傳感器來尋找需要服務(wù)的其他客戶。機(jī)器人1可以通過分析客戶的面部表情、行走模式、頭部旋轉(zhuǎn)、視覺方向等來確定需要服務(wù)的客戶。如果機(jī)器人1找到可能需要幫助的客戶，它將接近客戶并使用語音和圖形信息來詢問客戶是否需要幫助。一旦在機(jī)器人1和客戶之間進(jìn)行交互，機(jī)器人1也可以檢測(cè)客戶是否與其保持接洽。當(dāng)機(jī)器人1發(fā)現(xiàn)客戶不再參與交互時(shí)，它將終止當(dāng)前任務(wù)并恢復(fù)返回其原始位置的任務(wù)。

計(jì)算中心4和計(jì)算機(jī)14可以各自運(yùn)行可以使用多種語言包的語音引擎軟件。正如相關(guān)領(lǐng)域技術(shù)人員將容易理解的那樣，語音引擎軟件可以是或包括任何已知的語音引擎、語音到文本或其他這樣的技術(shù)。語音引擎軟件使得機(jī)器人1能夠以多種語言與客戶在自然語音對(duì)話中接洽。機(jī)器人1在語音對(duì)話中將通過麥克風(fēng)16接收口語信息。利用已知的信息處理技術(shù)，口語信息將被計(jì)算機(jī)14和計(jì)算中心4處理，以便提取關(guān)鍵信息并且了解客戶的需要，例如購買興趣、產(chǎn)品信息、位置查詢、咨詢請(qǐng)求，并且執(zhí)行其他的客戶服務(wù)行動(dòng)。

客戶70可以通過語音或通過操作觸摸屏設(shè)備19與機(jī)器人1交流關(guān)于他/她的需求，并且如果設(shè)施內(nèi)沒有客戶需要的產(chǎn)品，則機(jī)器人1可以為客戶提供某些替代解決方案。例如，如果客戶想要在零售商店購買谷物，機(jī)器人1可以通過訪問存儲(chǔ)在計(jì)算中心4中的產(chǎn)品庫存來在觸摸屏設(shè)備19上提供谷物產(chǎn)品的所有選項(xiàng)以及牛奶促銷，因?yàn)橘徺I谷物的人也很可能買牛奶。同時(shí)，機(jī)器人1提供了將客戶70引導(dǎo)到谷物部分，例如通過說“我可以引導(dǎo)你到10號(hào)通道中的谷物部分嗎？”如果客戶70想要接受服務(wù)，他/她可以確認(rèn)(例如，通過說“是的，請(qǐng)”)，然后機(jī)器人1將引導(dǎo)客戶70到商店的那個(gè)位置。如果商店已經(jīng)賣完客戶70想要的谷物產(chǎn)品，則機(jī)器人1可以提供在線訂購谷物并將其運(yùn)送到客戶的地址(其可以存儲(chǔ)在例如計(jì)算中心4中)。

機(jī)器人1可以在觸摸屏設(shè)備19上提供與客戶需求相關(guān)聯(lián)的信息和建議，并且還可以提供將客戶70引導(dǎo)到可能滿足需要的設(shè)施的該部分。如果客戶70接受指導(dǎo)，則機(jī)器人1將在室內(nèi)地圖上找到連接當(dāng)前位置到所需部分的路徑。從當(dāng)前位置到設(shè)施的所需部分可以有多個(gè)路徑選項(xiàng)。因此，機(jī)器人1可以利用路徑優(yōu)化算法來確定選擇多個(gè)路徑選項(xiàng)中的哪一個(gè)。例如，機(jī)器人可以基于例如顯示促銷中的產(chǎn)品并有效地到達(dá)目的地的考慮來選擇最佳路徑。機(jī)器人1通過訪問促銷數(shù)據(jù)庫140可以“知道”哪些產(chǎn)品具有高促銷優(yōu)先級(jí)。

機(jī)器人1旨在以友好和直觀的方式與客戶和其他人一起工作。在圖4中進(jìn)一步描述，機(jī)器人1導(dǎo)航通過在室內(nèi)設(shè)施或其他商業(yè)位置中存在的非常動(dòng)態(tài)的環(huán)境中時(shí)，其也能夠動(dòng)態(tài)地與人講話和交流。例如，機(jī)器人1可以在設(shè)施周圍漫游試圖詢問隨機(jī)客戶是否需要任何幫助，而不是停在原始位置不動(dòng)并等待交互。它不會(huì)反復(fù)詢問客戶，而只有一部分時(shí)間詢問客戶，以免令人惱火。當(dāng)客戶接近時(shí)，它會(huì)檢測(cè)客戶的臉部以便知道他們何時(shí)在場(chǎng)。機(jī)器人1可以通過聲音表達(dá)自己，還可以通過動(dòng)作和心情燈的顏色來表達(dá)自己，心情燈可以包括位于機(jī)器人1上的各種發(fā)光二極管(leds)。機(jī)器人1將在繁忙/擁擠的部分中較慢移動(dòng)并且將改變其led顏色以表示其所處的各種狀態(tài)，例如擁擠、迷失、幫助某人、接洽、正常巡邏或其他狀態(tài)。除了可聽的和基于led的通信之外，機(jī)器人1可以在迎接新客戶時(shí)僅使用其底座來執(zhí)行擺動(dòng)動(dòng)作以獲得他們的注意和/或嘗試與他們接洽。

當(dāng)導(dǎo)航通過室內(nèi)設(shè)施或引導(dǎo)客戶通過室內(nèi)設(shè)施時(shí)，機(jī)器人1可以表達(dá)其狀態(tài)及其對(duì)環(huán)境的意識(shí)，以便看起來與客戶相關(guān)。為此，當(dāng)機(jī)器人1正在等待正在途中的人，或者經(jīng)過靠近的人時(shí)，機(jī)器人將會(huì)說出一些禮貌的短語，例如“對(duì)不起(excuseme)”，當(dāng)機(jī)器人的傳感器由于許多人在周圍而不允許其非常自由地導(dǎo)航時(shí)，機(jī)器人將提醒它正在引導(dǎo)的客戶它感到擁擠，并且當(dāng)機(jī)器人1不能移動(dòng)時(shí)，它會(huì)真誠地道歉，并且說它卡住了。當(dāng)機(jī)器人1在目標(biāo)位置附近并且障礙物阻擋其路線時(shí)，機(jī)器人1將通知客戶、操作者或其他人物品就在前方，而不是改變路線到零售空間周圍的非常長的路徑。

圖4是根據(jù)本公開的第一示例性實(shí)施例的圖1的機(jī)器人裝置1使用的主動(dòng)路徑規(guī)劃的示意圖。當(dāng)設(shè)施大部分空閑時(shí)，為客戶尋找設(shè)施內(nèi)的路徑通?？赡苁呛?jiǎn)單的映射過程。然而，許多設(shè)施可能有許多物體在建筑物內(nèi)移動(dòng)，這創(chuàng)造了機(jī)器人1必須在其中操作的動(dòng)態(tài)環(huán)境。例如，在室內(nèi)商業(yè)環(huán)境中有很多移動(dòng)物體(從人到購物車、到移動(dòng)托盤)，機(jī)器人必須導(dǎo)航通過其中。在這些動(dòng)態(tài)環(huán)境中，機(jī)器人1可以利用在設(shè)計(jì)路徑時(shí)考慮移動(dòng)障礙物的主動(dòng)路徑規(guī)劃。

考慮客戶在移動(dòng)機(jī)器人1前面行走的示例。如圖4所示，機(jī)器人1可以沿著典型路徑164(例如，在檢測(cè)障礙物166正在移動(dòng)之前確定的路徑)沿著第一方向160朝向目的地162移動(dòng)。該典型路徑164可以由典型的路徑規(guī)劃算法構(gòu)成，該算法簡(jiǎn)單地設(shè)計(jì)朝向障礙物166的右側(cè)的路徑，因?yàn)樵谝?guī)劃時(shí)，障礙物166位于機(jī)器人1的左側(cè)。然而，當(dāng)障礙物166開始沿方向168移動(dòng)時(shí)，機(jī)器人1必須考慮到障礙物166朝向機(jī)器人1的右側(cè)移動(dòng)，并且因此移動(dòng)到將與典型路徑164截取的位置并引起機(jī)器人1和障礙物166碰撞。

為了防止機(jī)器人1與移動(dòng)障礙物166之間的碰撞，機(jī)器人1可以創(chuàng)建第二路徑或主動(dòng)路徑170，其以取決于障礙物166的移動(dòng)的方式圍繞障礙物166導(dǎo)航。例如，機(jī)器人1檢測(cè)可以包括任何物體(例如，人、推車等)的移動(dòng)障礙物166，并且跟蹤移動(dòng)障礙物166的移動(dòng)?；谝苿?dòng)障礙物166的移動(dòng)，機(jī)器人1確定導(dǎo)航通過移動(dòng)障礙物166或圍繞移動(dòng)障礙物166導(dǎo)航的最佳路徑。在如圖4所示中，主動(dòng)路徑170可以圍繞移動(dòng)障礙物166的后部。機(jī)器人可以通過主動(dòng)地制動(dòng)機(jī)器人1來快速響應(yīng)在其視野中突然出現(xiàn)的障礙物。該主動(dòng)制動(dòng)可以包括在與機(jī)器人的運(yùn)動(dòng)相反的方向上給出簡(jiǎn)短的速度命令。

圖5是根據(jù)本公開的第一示例性實(shí)施例的與設(shè)施內(nèi)的物品以及客戶進(jìn)行交互的圖1的機(jī)器人裝置1的示意圖。機(jī)器人1可在其中操作的設(shè)施可以包括顯示結(jié)構(gòu)300，其可以是用于在設(shè)施中顯示產(chǎn)品或服務(wù)的任何結(jié)構(gòu)。常見的顯示結(jié)構(gòu)可以包括擱架、桌子、展臺(tái)或展位。顯示結(jié)構(gòu)300可以包括在其上的任何數(shù)量的物品301，并且還可以包括一個(gè)或多個(gè)用于自動(dòng)識(shí)別和數(shù)據(jù)捕獲的無線發(fā)射機(jī)302。

相對(duì)于圖1-2和圖5，當(dāng)機(jī)器人1引導(dǎo)或伴隨客戶70并靠近顯示結(jié)構(gòu)300移動(dòng)時(shí)，其可以通過其3d傳感器中的一個(gè)或多個(gè)來識(shí)別結(jié)構(gòu)300和其上的物品301，并且在背面顯示器20上顯示與物品301相關(guān)的促銷信息310。背面顯示器20上的促銷信息310可以包括物品301的一個(gè)或多個(gè)圖像311、關(guān)于物品301的文本313、關(guān)于物品301的促銷標(biāo)題312和關(guān)于結(jié)構(gòu)300的一般信息314。一般信息314可以包括結(jié)構(gòu)特征、產(chǎn)品類別和子類別、位置等。例如，如果結(jié)構(gòu)300是零售商店中的貨架或桌子，當(dāng)機(jī)器人1引導(dǎo)客戶通過通道時(shí)，顯示器20可以顯示沿著通道的貨架或桌子上的產(chǎn)品的廣告。當(dāng)顯示產(chǎn)品的廣告時(shí)，機(jī)器人1可以將促銷狀態(tài)記錄在計(jì)算中心4的促銷數(shù)據(jù)庫中，該數(shù)據(jù)庫可以監(jiān)視和分析已經(jīng)為庫存中的每個(gè)品牌提供了多少促銷。機(jī)器人1還可以將被引導(dǎo)到某個(gè)顯示結(jié)構(gòu)300的客戶的數(shù)量記錄到計(jì)算中心4的促銷數(shù)據(jù)庫中。

機(jī)器人1可以作為客戶70的個(gè)人購物者，并且向客戶70提供個(gè)性化的服務(wù)和建議。機(jī)器人1提供這種個(gè)性化服務(wù)的能力可以由在計(jì)算中心4上運(yùn)行的人工引擎軟件來提供支持。例如，當(dāng)客戶70正在尋找諸如衣服的特定物品時(shí)，機(jī)器人1可以觀察客戶的頭發(fā)顏色、眼睛顏色、臉部形狀、身高、身體形狀等并提出時(shí)尚建議?？梢园ǚb、配飾或其他這樣的物品與人的物理或其他特征之間的關(guān)聯(lián)的時(shí)尚咨詢信息可以存儲(chǔ)在計(jì)算中心4中并被機(jī)器人1訪問，以便給出個(gè)性化的時(shí)尚建議。對(duì)于太大或易于偷竊的產(chǎn)品，機(jī)器人1可以向客戶70提議在收款處接收產(chǎn)品?？蛻?0可以通過語音告知機(jī)器人1來選擇接收產(chǎn)品，或者可以點(diǎn)擊在觸摸屏設(shè)備上的接收按鈕。一旦客戶70確認(rèn)他/她想要在收款處接收產(chǎn)品，機(jī)器人1可以打印出一張收據(jù)以供客戶70帶到收款處。

當(dāng)客戶70查看顯示結(jié)構(gòu)300時(shí)，機(jī)器人1可以通過眼睛跟蹤裝置29跟蹤客戶的眼睛運(yùn)動(dòng)并通過其3d傳感器拍攝圖像來監(jiān)視顧客的行為。機(jī)器人1可以將數(shù)據(jù)發(fā)送到計(jì)算中心4，計(jì)算中心4可以分析數(shù)據(jù)并提取關(guān)于客戶70的信息，例如客戶正在查看的產(chǎn)品、客戶對(duì)產(chǎn)品的情感、客戶花費(fèi)在產(chǎn)品上的時(shí)間等等。

當(dāng)機(jī)器人1在設(shè)施內(nèi)可操作時(shí)，它可以通過其3d傳感器在一段時(shí)間內(nèi)位于一位置處拍攝客戶的圖片來監(jiān)視客戶流。例如，在零售商店中，機(jī)器人1可以在下午6點(diǎn)(6pm)到下午7點(diǎn)(7pm)之間拍攝走進(jìn)和走出通道的客戶照片，并將這些照片發(fā)送到計(jì)算中心4，計(jì)算中心4可以分析圖片并計(jì)算出有多少人在這段時(shí)間內(nèi)經(jīng)過這個(gè)通道。計(jì)算中心4可以進(jìn)一步分析和整合客戶流數(shù)據(jù)，并且形成在整個(gè)設(shè)施中的客戶移動(dòng)圖，其可以包括像客戶花費(fèi)大部分時(shí)間的部分以及客戶最常使用哪條路徑的信息。

機(jī)器人1可以通過其傳感器(例如麥克風(fēng)、3d傳感器、觸摸屏、生物識(shí)別傳感器等)捕捉客戶的特征，并將客戶特征數(shù)據(jù)發(fā)送到計(jì)算中心4。計(jì)算中心4將處理該特征數(shù)據(jù)并找到特定客戶70的某些模式(例如語音模式、面部特征、手勢(shì)模式、生物識(shí)別模式等)并將其存儲(chǔ)在計(jì)算中心4的客戶數(shù)據(jù)庫中。當(dāng)客戶70返回到設(shè)施中，機(jī)器人1可以例如通過訪問存儲(chǔ)在客戶數(shù)據(jù)庫中的信息客戶特征數(shù)據(jù)將客戶70識(shí)別為返回客戶。當(dāng)機(jī)器人1通過上述處理識(shí)別到返回客戶時(shí)，其可以基于當(dāng)前購買興趣和該客戶的過去購物歷史在觸摸屏設(shè)備19和后面顯示器20上顯示廣告。機(jī)器人可以通過訪問客戶數(shù)據(jù)庫142“知道”返回客戶的購買興趣和購物歷史。

機(jī)器人1可以監(jiān)視設(shè)施中的設(shè)備并報(bào)告設(shè)備的任何故障或需要清潔或維護(hù)。例如，機(jī)器人1可以監(jiān)視零售店中的冰箱和冷凍箱，并且如果該設(shè)備存在故障，或者如果存在打開的門，或者如果存在泄漏或其它清理需要，則機(jī)器人1向系統(tǒng)后端發(fā)送報(bào)告。機(jī)器人1可以進(jìn)一步監(jiān)視設(shè)施中的產(chǎn)品的價(jià)格，并且如果產(chǎn)品的顯示價(jià)格與數(shù)字庫存中的價(jià)格不匹配，則將向系統(tǒng)后端發(fā)送報(bào)告。

客戶70可以通過與機(jī)器人1對(duì)講或通過操作觸摸屏設(shè)備19來請(qǐng)求人類代表或操作者80登錄到機(jī)器人1。機(jī)器人1將訪問運(yùn)營商網(wǎng)絡(luò)系統(tǒng)5，并請(qǐng)求運(yùn)營商網(wǎng)絡(luò)系統(tǒng)將其連接到可用的操作者之一。運(yùn)營商網(wǎng)絡(luò)系統(tǒng)5可以使用搜索引擎150來查找所有可用的操作者，并且使用撥號(hào)軟件151同時(shí)撥號(hào)到所有可用的操作者。第一響應(yīng)的操作者將連接到機(jī)器人1，并且連接的操作者80可以使用支持站2登錄到機(jī)器人1。例如，如果客戶70想要與繪畫專家交談，他/她可以告訴機(jī)器人“我想和繪畫專家交談”，或者點(diǎn)擊觸摸屏設(shè)備19上的繪畫專家按鈕，然后機(jī)器人1將訪問運(yùn)營商網(wǎng)絡(luò)系統(tǒng)5并連接到網(wǎng)絡(luò)上的可用繪畫專家之一。然后連接的繪畫專家可以使用支持站上的計(jì)算機(jī)或智能手機(jī)登錄機(jī)器人1。

當(dāng)機(jī)器人1在結(jié)構(gòu)300附近操作時(shí)，其可以通過利用其3d傳感器拍攝在顯示結(jié)構(gòu)300上產(chǎn)品的圖像來輔助設(shè)施的顯示結(jié)構(gòu)300上的庫存。例如，當(dāng)機(jī)器人1在零售商店內(nèi)沿著通道移動(dòng)時(shí)，其可以拍攝沿著該通道的貨架上的產(chǎn)品的圖像。機(jī)器人1還可以拍攝在籃子、購物車和客戶手中的產(chǎn)品的圖像。機(jī)器人1可以將所有這些圖像發(fā)送到計(jì)算中心4，并且計(jì)算中心4可以處理這些圖片、識(shí)別和區(qū)分產(chǎn)品，計(jì)算出顯示結(jié)構(gòu)300上留下的產(chǎn)品數(shù)量，報(bào)告不應(yīng)該放置在結(jié)構(gòu)300上的錯(cuò)位產(chǎn)品，并更新庫存數(shù)據(jù)庫中的所有這些信息。當(dāng)存在錯(cuò)放產(chǎn)品時(shí)，或者當(dāng)某個(gè)產(chǎn)品的數(shù)量低于庫存數(shù)據(jù)庫中預(yù)設(shè)的警告閾值時(shí)，機(jī)器人1可向系統(tǒng)后端軟件發(fā)送警告消息，以便設(shè)施管理者或代理人81可以進(jìn)行安排以將錯(cuò)放的產(chǎn)品放回原處和/或?qū)a(chǎn)品重新裝入結(jié)構(gòu)300上。

在另一實(shí)施例中，機(jī)器人1可以使用基于視覺的方法來確定顯示結(jié)構(gòu)300上的哪些物品缺貨，以及哪些物品是潛在的低庫存。在這種基于視覺的方法中，機(jī)器人1上的攝像系統(tǒng)被優(yōu)化以在正確的聚焦和照明水平下拍攝圖像。通過收集rfid標(biāo)簽信息(如果在商業(yè)設(shè)施中部署任何這樣的信息)則可以進(jìn)一步擴(kuò)大基于視覺的數(shù)據(jù)，以達(dá)到甚至更高的準(zhǔn)確度。在計(jì)算機(jī)中心4和機(jī)器人計(jì)算機(jī)14上可以運(yùn)行高級(jí)分析以跟蹤、查看和分析數(shù)據(jù)。此外，基于視覺的方法可以預(yù)測(cè)庫存在將來何時(shí)可能出現(xiàn)缺貨，提供潛在地提前訂購新庫存的最佳時(shí)間的指示。

基于視覺的方法可以包括用于評(píng)估顯示結(jié)構(gòu)300上的庫存的任何數(shù)量的步驟和過程。例如，在一天的特定時(shí)間段期間，例如在設(shè)施未被占用的清晨，機(jī)器人1可以激活并穿過設(shè)施。當(dāng)機(jī)器人1通過每個(gè)顯示結(jié)構(gòu)300時(shí)，機(jī)器人1使用其攝像系統(tǒng)及其任何2d或3d傳感器為每個(gè)顯示結(jié)構(gòu)300拍攝高分辨率圖像，注意在為設(shè)施生成的地圖上的xy位置及其方向(角度)?？梢允褂酶呒?jí)計(jì)算機(jī)視覺算法在計(jì)算機(jī)中心4或在機(jī)器人計(jì)算機(jī)14上處理圖像，識(shí)別顯示結(jié)構(gòu)300上的每個(gè)產(chǎn)品并識(shí)別哪些物品缺貨。存貨信息被轉(zhuǎn)移到庫存數(shù)據(jù)庫141。

庫存數(shù)據(jù)庫141還可以從設(shè)施的庫存系統(tǒng)中獲取設(shè)施數(shù)據(jù)。然后可以將機(jī)器人1的掃描數(shù)據(jù)與設(shè)施的庫存系統(tǒng)相關(guān)聯(lián)，識(shí)別為人們注意準(zhǔn)備的差異。然后，可以是設(shè)施中的工作人員的代理人81可以使用軟件131查看需要注意的設(shè)施中的物品列表以及不需要注意的物品列表，并且在每天工作時(shí)處理每個(gè)情況。軟件131還可以讓設(shè)施管理者檢查員工的工作，以及他們可能需要做的任何操作，例如訂購額外的產(chǎn)品庫存。軟件131還可以讓企業(yè)/總部工作人員監(jiān)督設(shè)施的狀況，并查看庫存的分析。軟件131可以進(jìn)一步提出或預(yù)測(cè)哪些物品在不久的將來可能缺貨，設(shè)施的管理者和公司人員都可以解決這些建議或預(yù)測(cè)。

可以使用各種技術(shù)和方法來提高機(jī)器人1的圖像捕獲能力的精度。例如，在室內(nèi)零售空間中，圖像捕獲需求可以根據(jù)幾個(gè)關(guān)鍵因素而變化，諸如視場(chǎng)和圖像尺寸。這些因素可以由定位在通道內(nèi)的機(jī)器人1和需要被識(shí)別的物體的物理尺寸確定。因此，可以由圖像重疊要求來確定攝像機(jī)在機(jī)器人1平臺(tái)上的放置，使得存在足夠的重疊以補(bǔ)償由于避障而引起的機(jī)器人路徑的變化。重疊的圖像提供了安全余量，可以避免由在捕獲的集合中缺少數(shù)據(jù)點(diǎn)而造成的問題。

機(jī)器人1使用的另一技術(shù)是根據(jù)設(shè)施的環(huán)境來調(diào)節(jié)攝像機(jī)參數(shù)。例如，利用從導(dǎo)航數(shù)據(jù)導(dǎo)出的信息，機(jī)器人1有能力自動(dòng)改變捕獲圖像的焦距。該能力可以通過知道通道寬度和機(jī)器人1在商店內(nèi)的定位來確定?？梢栽诟叨葎?dòng)態(tài)的環(huán)境中啟用自動(dòng)對(duì)焦，其中整體圖像清晰度是優(yōu)先級(jí)。在另一實(shí)施例中，機(jī)器人1的攝像系統(tǒng)可以被自動(dòng)配置為設(shè)施內(nèi)的合適的照明，使得在庫存評(píng)估期間高清晰度圖像可以適當(dāng)?shù)鼐劢乖陲@示結(jié)構(gòu)300上的產(chǎn)品上。攝像機(jī)參數(shù)的這種調(diào)整包括自動(dòng)使填補(bǔ)照明調(diào)整圖像傳感器靈敏度，這可以在存在陰影或低光的零售空間的區(qū)域中提供清晰和一致的成像。填補(bǔ)照明由特定圖像捕獲區(qū)域中的整體照明確定。照明在強(qiáng)度和擴(kuò)散方面可以是可調(diào)節(jié)的，以便更好地適應(yīng)環(huán)境需求。

此外，添加填補(bǔ)照明還允許更高的快門速度，使得平臺(tái)的速度可以增加，從而減少庫存管理過程完成所需的時(shí)間。為此，拍攝圖像的速度對(duì)所需的快門速度和照明有直接的影響。更高的平臺(tái)速度將減少數(shù)據(jù)組中圖像捕獲所需的時(shí)間，但需要額外的照明來保持圖像質(zhì)量和一致性。較低的平臺(tái)速度將增加圖像捕獲時(shí)間并減少所需的額外照明量。機(jī)器人1可以根據(jù)位置要求自動(dòng)調(diào)整平臺(tái)速度。

圖6是根據(jù)本公開的第一示例性實(shí)施例的用于在圖1的設(shè)施內(nèi)提供客戶服務(wù)的機(jī)器人裝置使用的視覺算法的框圖400。應(yīng)當(dāng)注意，流程圖中的任何流程描述或塊應(yīng)被理解為表示模塊、段、代碼部分或包括用于在該過程中實(shí)現(xiàn)特定邏輯功能的一個(gè)或多個(gè)指令的步驟，并且如本公開技術(shù)領(lǐng)域的技術(shù)人員將理解的，替代的實(shí)現(xiàn)被包括在本公開的范圍內(nèi)，其中功能可以從所示出的或討論的順序執(zhí)行，包括基本上同時(shí)或以相反的順序，取決于所涉及的功能。

機(jī)器人使用的視覺算法可以使用攝像系統(tǒng)和傳感器拍攝的圖像來識(shí)別設(shè)施內(nèi)的顯示結(jié)構(gòu)上的產(chǎn)品。在視覺算法的一個(gè)實(shí)施例中，機(jī)器人自主地導(dǎo)航通道并掃描產(chǎn)品的顯示(框401)。導(dǎo)航通道和掃描產(chǎn)品的顯示可以包括生成街道視圖、3d數(shù)據(jù)或通道的全景視圖(框402)。機(jī)器人掃描條形碼和產(chǎn)品，并根據(jù)不存在的物品識(shí)別任何缺貨物品(方框403)?；趤碜詸C(jī)器人的數(shù)據(jù)捕獲，機(jī)器人更新其內(nèi)部數(shù)據(jù)庫或關(guān)于外部計(jì)算環(huán)境的數(shù)據(jù)庫(框404)。然后，設(shè)施工作人員可以在計(jì)算設(shè)備上的庫存儀表板上查看物品，該計(jì)算設(shè)備攜帶在機(jī)器人上或機(jī)器人外部(框405)。然后，設(shè)施工作人員可以實(shí)際地處理顯示差異的物品并在機(jī)器人的儀表板上標(biāo)記相應(yīng)的動(dòng)作(方框406)。

視覺算法在進(jìn)行產(chǎn)品的標(biāo)簽提取、產(chǎn)品的條形碼檢測(cè)和提取、確定物品是否缺貨或有庫存以及提供室內(nèi)環(huán)境的街景方面可以特別有用。相對(duì)于標(biāo)簽提取，機(jī)器人可以利用顏色閾值和輪廓檢測(cè)來確定包含標(biāo)簽信息的產(chǎn)品標(biāo)簽的位置。然后將提取的標(biāo)簽用于條形碼檢測(cè)。條形碼檢測(cè)可以利用水平和垂直方向的圖像(標(biāo)簽)的梯度大小，其可以使用scharr算子確定。可以確定具有高水平梯度和低垂直梯度的區(qū)域?？梢詮奶荻葓D像中平滑高頻噪聲。模糊圖像可能需要進(jìn)行閾值處理，并且在閾值圖像上應(yīng)用形態(tài)運(yùn)算符。使用輪廓檢測(cè)提取來自標(biāo)簽的條形碼區(qū)域，其允許識(shí)別物品信息、價(jià)格、物品的位置以及用于搜索圖像中的物品的窗口尺寸。

為了確定哪些物品有庫存或缺貨(即顯示結(jié)構(gòu)上的物品的可用性)，可以將形態(tài)運(yùn)算符應(yīng)用于結(jié)構(gòu)背景。通常，零售商店的通道分為三種不同的類別：釘子(pegs)、貨架和托盤。例如考慮釘子物品，如果一個(gè)物品缺貨，可以檢測(cè)通道背景中的圓圈。預(yù)定窗口大小內(nèi)的圓圈密度有助于確定哪個(gè)物品是缺貨的。為了減少搜索區(qū)域，窗口大小可以編碼在通道上的條形碼中。首先，可以使用不同的形態(tài)運(yùn)算符來提取包含條形碼標(biāo)簽的區(qū)域，其提供物品的描述、位置(通道和物品)、價(jià)格和窗口尺寸。在標(biāo)簽周圍，然后可以確定所描述的窗口尺寸內(nèi)的圓圈密度。如果圓圈密度較高，則可以確定該物品是缺貨的。

應(yīng)當(dāng)注意，本文所描述的過程可以與編譯在一起的多個(gè)圖像一起使用，所謂的“圖像拼接”?？梢詫?shí)現(xiàn)圖像拼接以考慮靠近圖像邊界的圖像的區(qū)域。需要注意的是，相對(duì)于室內(nèi)街景，在掃描和處理之后，關(guān)于物品的可用性的圖像和信息可以是可用的。使用圖像拼接，還可以從數(shù)據(jù)中生成室內(nèi)版本的街景視圖，例如連續(xù)的圖像縫合在一起以形成設(shè)施中通道的連續(xù)圖像。

應(yīng)當(dāng)強(qiáng)調(diào)，本公開的上述實(shí)施例，特別是任何“優(yōu)選”實(shí)施例僅僅是可能的示例實(shí)施方式，其僅僅是為了清楚地理解本公開的原理而提出的。在不脫離本公開的精神和原理的情況下，可以對(duì)本公開的上述實(shí)施例進(jìn)行許多變化和修改。例如，機(jī)器人可以評(píng)估其傳感器數(shù)據(jù)的可靠性，包括導(dǎo)航和視覺，以及其對(duì)該數(shù)據(jù)的解釋。當(dāng)機(jī)器人確定其不確定情況時(shí)，例如，基于協(xié)方差矩陣中的值，它可以修改其行為以保持其自身的安全性及其周圍的安全性。當(dāng)機(jī)器人不確定時(shí)也可以決定尋求幫助。例如，如果機(jī)器人不能確定特定物品是否缺貨，則機(jī)器人可以發(fā)送或存儲(chǔ)該地點(diǎn)的照片供人解讀。類似地，如果機(jī)器人在商店移動(dòng)時(shí)被卡住(物理上卡住或者僅僅迷失)，則機(jī)器人可以要求人們通過遠(yuǎn)程接管以使其松開并回到其路上。

所有這些修改和變化旨在被包括在本公開的范圍內(nèi)并由所附權(quán)利要求保護(hù)。