工業(yè)或商業(yè)機(jī)器可能容易被編程來根據(jù)一組已定義規(guī)則進(jìn)行一個或多個特定功能。例如，輸送機(jī)系統(tǒng)可被配置來識別辨識物體在其上的存在，并且開始操作來致使物體以指定的速度在至少一個方向上行進(jìn)。同樣地，商用級烤箱可被編程來在有限的時間段內(nèi)烹制食物，或直到食物或在烤箱內(nèi)烹制食物的環(huán)境到達(dá)預(yù)定的溫度設(shè)定點(diǎn)。因此，人類操作者或計算機(jī)可以給工業(yè)或商業(yè)工具、設(shè)備或其他機(jī)器提供一組指令，并且所述工業(yè)或商業(yè)工具、設(shè)備或其他機(jī)器可以在沒有任何人類或自動干預(yù)的情況下根據(jù)這組指令開始以給定方式操作并且繼續(xù)以給定方式操作。

雖然工業(yè)或商業(yè)機(jī)器可編程有用于進(jìn)行一個或多個任務(wù)的代碼，并且可由人類提供的輸入來觸發(fā)或響應(yīng)于定時信號或感測信號來觸發(fā)，但是當(dāng)今的工業(yè)或商業(yè)機(jī)器或計算機(jī)硬件部件或在其上操作的軟件模塊在接收用于進(jìn)行多個任務(wù)的指令的能力方面或在適應(yīng)環(huán)境變化的能力方面是有限的，這可能影響它們根據(jù)這類指令運(yùn)轉(zhuǎn)的能力。例如，將雞肉烹制到至少165°F的內(nèi)部溫度以及將海鮮烹制到至少145°F的內(nèi)部溫度是通常推薦的做法。然后，雖然商業(yè)烤箱可被編程來在預(yù)定溫度下或在有限的時間段內(nèi)烹制食物，但是商業(yè)烤箱不能區(qū)分雞肉與海鮮或辨識對每種類型的食物的不同烹制要求。類似地，裝有瓷器或水晶的盒子應(yīng)被小心搬運(yùn)，而裝有棒球的盒子通常不要求任何特別的搬運(yùn)指令。盡管輸送機(jī)系統(tǒng)可被配置來將瓷器或水晶的盒子與棒球的盒子一起運(yùn)送，但是輸送機(jī)系統(tǒng)不能辨識一個盒子包括易碎物品而另一個盒子包括不易損壞的體育用品，或辨識每個盒子具有與其相關(guān)聯(lián)的不同閾值搬運(yùn)條件。

實際上，被編程或配置來進(jìn)行特定任務(wù)的工業(yè)或商業(yè)機(jī)器必須通常由人類操作者重新編程或重新配置，以便進(jìn)行不同的特定任務(wù)。工業(yè)或商業(yè)機(jī)器通?？赡懿蝗菀妆痪幊虂砘谧兓牟煌瑯I(yè)務(wù)需求或功能執(zhí)行多個任務(wù)。

附圖簡述

圖1A和圖1B是根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的系統(tǒng)的部件的視圖。

圖2A和圖2B是根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的一個系統(tǒng)的部件的框圖的視圖。

圖3是根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的一個過程的流程圖。

圖4是根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的一個系統(tǒng)的部件的視圖。

圖5是根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的一個過程的流程圖。

圖6A和圖6B是根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的系統(tǒng)的部件的視圖。

圖7是根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的一個過程的流程圖。

圖8A和圖8B是根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的一個系統(tǒng)的部件的視圖。

詳述

如以下更詳細(xì)地陳述，本公開是針對基于視覺提示進(jìn)行一個或多個自動化任務(wù)，所述視覺提示可包括一個或多個符號、標(biāo)簽或標(biāo)記，包括但不限于提供在已定義環(huán)境內(nèi)的任何相關(guān)表面上的一個或多個字母數(shù)字字符(例如，字母或數(shù)字)或其組合，以及可能提供在成像裝置(例如，數(shù)字相機(jī))的視野內(nèi)可見的一個或多個物體上的形狀、徽標(biāo)或標(biāo)識。具體地說，本文公開的系統(tǒng)和方法可被配置來在使用數(shù)字相機(jī)或其他形式的成像裝置捕獲的圖像或一組成像數(shù)據(jù)內(nèi)辨識視覺提示或視覺提示的圖案。本文公開的系統(tǒng)和方法還可被配置來使視覺提示或圖案與特定任務(wù)相關(guān)聯(lián)，在感測到視覺提示時自動地識別與任務(wù)相關(guān)聯(lián)的一個或多個動作，并且開始使用一個或多個機(jī)器進(jìn)行或執(zhí)行所述動作中的一個或多個，所述一個或多個機(jī)器與捕獲圖像或成像數(shù)據(jù)的數(shù)字相機(jī)或其他成像裝置通信，視覺提示或圖案是從所述圖像或成像數(shù)據(jù)辨識的。這類任務(wù)可能與物體或提供物體的環(huán)境有任何關(guān)系，并且所述任務(wù)可能是針對對所述物體或環(huán)境有任何相關(guān)或所需的效果。

另外，本公開的系統(tǒng)和方法還可被配置來辨識提供視覺提示或圖案的情境，并且基于所辨識情境定制視覺提示或圖案與任務(wù)的關(guān)聯(lián)或定制與任務(wù)相關(guān)聯(lián)的一個或多個動作的識別。最后，本文公開的系統(tǒng)和方法可被配置來基于隨后捕獲的圖像或成像數(shù)據(jù)確定動作的進(jìn)行是否按預(yù)期完成。

參考圖1A和圖1B，展示了用于基于視覺提示進(jìn)行自動化任務(wù)的系統(tǒng)100A、100B的部件。如圖1A所示，系統(tǒng)100A包括第一輸送機(jī)131A、服務(wù)器132A、第二輸送機(jī)135A、成像裝置140A、轉(zhuǎn)向器146A和手推車150A。物品10A沿著第一輸送機(jī)131A朝向第二輸送機(jī)135A行進(jìn)，所述物品10A包括應(yīng)用在或貼附在其上的呈符號(也就是圓圈中的字母A)形式的視覺提示12A。成像裝置140A被配置來在物品10A沿著第一輸送機(jī)131A朝向第二輸送機(jī)135A行進(jìn)時捕獲物品10A的圖像。服務(wù)器132A與成像裝置140A通信并且與轉(zhuǎn)向器146A通信。提供手推車150A來接收使用轉(zhuǎn)向器146A從由第一輸送機(jī)131A定義的路徑轉(zhuǎn)向而來的物品。

根據(jù)本公開，可在使用成像裝置140A捕獲的圖像142A中辨識物品10A上的視覺提示12A并且將視覺提示12A提供到服務(wù)器132A。一旦辨識了視覺提示12A，服務(wù)器132A可識別與視覺提示12A相關(guān)聯(lián)的指令144A(也就是將物品10A轉(zhuǎn)移到手推車150A的指令)，并且將指令144A提供到轉(zhuǎn)向器146A。隨后，當(dāng)物品10A從第一輸送機(jī)131A到達(dá)轉(zhuǎn)向器146A時，轉(zhuǎn)向器146A響應(yīng)于指令144A將物品10A轉(zhuǎn)移到手推車150A中。

如圖1B所示，系統(tǒng)100B包括第一輸送機(jī)131B、服務(wù)器132B、成像裝置140B和揚(yáng)聲器146B。在物品10B被放到輸送機(jī)131B上時，工人150B將呈符號(也就是對應(yīng)于啞鈴的圖標(biāo))形式的視覺提示12B應(yīng)用到物品10B上。成像裝置140B被配置來在物品10B(其上提供有視覺提示12B)沿著輸送機(jī)131B行進(jìn)時捕獲物品10B的圖像。服務(wù)器132B與成像裝置140B通信并且與揚(yáng)聲器146B通信。

根據(jù)本公開，可在使用成像裝置140B捕獲的圖像142B中辨識物品10B上的視覺提示12B并且將視覺提示12B提供到服務(wù)器132B。一旦辨識了視覺提示12B，服務(wù)器132B可識別與視覺提示12B相關(guān)聯(lián)的指令144B(也就是請求兩個或更多個工人150B接收物品10B的聽覺指令)，并且將指令144B提供到揚(yáng)聲器146B。隨后，并且響應(yīng)于144B，兩個或更多個工人150B可能可用于搬運(yùn)物品10B。

因此，通過臨時地或永久地提供一個或多個視覺提示，可通過與機(jī)器通信的數(shù)字相機(jī)或其他成像裝置向任何類型或形式的工業(yè)或商業(yè)機(jī)器(例如，一個或多個汽車、部件、發(fā)動機(jī)、電動機(jī)、車輛或其他多件裝備)呈現(xiàn)指令。成像裝置可捕獲圖像或其他成像數(shù)據(jù)內(nèi)的視覺提示，并且可以從圖像或成像數(shù)據(jù)辨識這類提示且使所述提示一般地與一個或多個任務(wù)相關(guān)聯(lián)，或特定地與關(guān)聯(lián)于所述任務(wù)的一個或多個動作相關(guān)聯(lián)。一旦識別了與視覺提示相關(guān)聯(lián)的任務(wù)或動作，可相應(yīng)地將用于進(jìn)行所述任務(wù)或動作的指令自動地提供到所述機(jī)器。相應(yīng)地，本公開的系統(tǒng)和方法有效地使自動化機(jī)器通過一種語言、可能也是以人類容易理解的方式通信，所述語言包括視覺提示或視覺提示的視覺圖案。

從很小的年齡開始，人類就學(xué)習(xí)使用一個或多個書面或口頭詞語的組合來相互交流。書面詞語由一個或多個字母形成，并且可由一個或多個符號(例如，標(biāo)點(diǎn)符號)和/或數(shù)字作為補(bǔ)充。一個或多個詞語可被組合成短語或分句，所述短語或分句可被進(jìn)一步組合成一個或多個句子或段落，并且這類詞語或其組合可通常在紙上或以電子格式(諸如短消息服務(wù)或多媒體消息服務(wù)(或者“SMS”或“MMS”)文字消息或電子郵件(或“E-mail”))從一個人提供到另一個人?？陬^詞語包括音素或語言的聲音系統(tǒng)中的最小對比單位，其描述為了產(chǎn)生有含義的聲音所需的發(fā)音器官操作。語音通常開始于在肺部生成氣壓，這導(dǎo)致喉部的聲襞或聲帶在生成嗓音時振動。因此，由于聲襞的振動、累積壓力的釋放或空氣穿過狹窄通道的快速移動所造成的湍流而生成聲音能量。元音聲通常以無阻擋的聲道和沒有湍流為特征，而輔音可由多種聲音能量源形成。

因此，通過書面或口頭詞語，人類幾個世紀(jì)以來已經(jīng)能夠相互表達(dá)一個或多個想法、意見或指令，并且能夠響應(yīng)于這類想法、意見或指令采取各種動作。最近，已經(jīng)作出努力來使計算機(jī)能夠辨識由人類生成的一個或多個書面或口頭詞語，或能夠向這些人提供一個或多個書面或口頭詞語來作為響應(yīng)。在現(xiàn)代計算機(jī)出現(xiàn)后不久，人類已經(jīng)通過敲擊鍵盤向計算機(jī)提供指令，并且?guī)啄暌詠硪呀?jīng)配置軟件應(yīng)用程序來進(jìn)行一個或多個光學(xué)字符辨識(或“OCR”)技術(shù)以便辨識在圖像或計算機(jī)文檔中表達(dá)的印刷詞語。更近期，一些軟件應(yīng)用程序現(xiàn)在使用戶能夠向麥克風(fēng)或其他音頻傳感器說話，辨識其語音內(nèi)的一個或多個詞語，并且在用戶界面上顯示這類詞語或響應(yīng)于這類詞語采取一個或多個動作。

然而，當(dāng)前計算機(jī)可通常從人類接收僅單一的指令以用于進(jìn)行離散的任務(wù)，并且用于提供這類指令的裝置或過程可能是冗長且麻煩的。例如，向計算機(jī)提供基于文字的指令通常需要鍵盤，而OCR技術(shù)和語音辨識技術(shù)可能需要專門的附件或外圍設(shè)備并且消耗大量的處理能力和/或網(wǎng)絡(luò)連接的帶寬。此外，在用于進(jìn)行多個任務(wù)的指令將被提供到計算機(jī)的情況下，通常必須反復(fù)地提供指令，因為計算機(jī)通常未被裝備來適應(yīng)于在進(jìn)行這類任務(wù)時環(huán)境或條件的變化，或以任何方式而不是根據(jù)指令來發(fā)揮作用。

諸如數(shù)字相機(jī)的許多成像裝置通過以下步驟來操作：捕獲從物體反射的光，并且隨后計算一個或多個數(shù)量值或?qū)⒁粋€或多個數(shù)量值指派給反射光的各方面(例如，像素)，基于這類值生成輸出，并且將這類值存儲在一個或多個數(shù)據(jù)存儲體中。數(shù)字相機(jī)可包括具有與其相關(guān)聯(lián)的一個或多個過濾器的一個或多個傳感器，并且這類傳感器可檢測關(guān)于反射光的任何數(shù)量像素的各方面的信息，所述方面對應(yīng)于反射光的一個或多個基本色(例如，紅色、綠色或藍(lán)色)。這類傳感器可生成包括這種信息的數(shù)據(jù)文件，并且將這類數(shù)據(jù)文件存儲在一個或多個機(jī)載的或可訪問的數(shù)據(jù)存儲體(例如，數(shù)字視頻記錄器或“DVR”)以及一個或多個可移除的數(shù)據(jù)存儲體(例如，閃存裝置)中，或在一個或多個廣播或閉路電視網(wǎng)絡(luò)上或在如互聯(lián)網(wǎng)的計算機(jī)網(wǎng)絡(luò)之上顯示這類數(shù)據(jù)文件。存儲在一個或多個數(shù)據(jù)存儲體中的數(shù)據(jù)文件可打印到紙上，呈現(xiàn)在一個或多個計算機(jī)顯示器上，或經(jīng)受一個或多個分析，諸如以識別所述數(shù)據(jù)文件中所表達(dá)的物品。

如果反射光在裝置的視野內(nèi)，那么反射光可由成像裝置捕獲或檢測到，所述視野是依據(jù)裝置內(nèi)的傳感器與透鏡之間的距離以及裝置的位置和裝置的透鏡的角定向來定義的。相應(yīng)地，在物體出現(xiàn)在視野深度內(nèi)或視野內(nèi)的某個距離內(nèi)(在這個距離處，清晰度和聚焦足夠尖銳)的情況下，成像裝置可使用其一個或多個傳感器在足夠高的分辨率程度上捕獲從任何種類的物體反射的光，并且將關(guān)于反射光的信息存儲在一個或多個數(shù)據(jù)文件中。

許多成像裝置還包括用于修改其相應(yīng)視野或定向的手動或自動特征。例如，數(shù)字相機(jī)可被配置在固定的位置，或配置成具有固定的焦距(例如，固定焦距透鏡)或角定向。或者，成像裝置可包括一個或多個機(jī)動化特征，以用于調(diào)整成像裝置的位置，或用于調(diào)整焦距(例如，對成像裝置進(jìn)行變焦)或角定向(例如，滾動角、俯仰角或橫擺角)，這種調(diào)整是通過造成傳感器與透鏡之間的距離的變化(例如，光學(xué)變焦透鏡或數(shù)字變焦透鏡)或成像裝置的位置的變化或定義角定向的角度中的一個或多個的變化。

例如，成像裝置可被硬安裝到支撐件或支架，所述支撐件或支架維持所述裝置相對于一個、兩個或三個軸處于固定的配置或角度。然而，或者成像裝置可具備一個或多個電動機(jī)和/或控制器，以用于手動地或自動地操作所述部件中的一個或多個，或用于重新定向所述裝置的軸或方向，即，通過使所述裝置搖動或傾斜來重新定向。使成像裝置搖動可造成在水平軸內(nèi)或繞垂直軸的旋轉(zhuǎn)(例如，橫擺)，使成像裝置傾斜可造成在垂直平面內(nèi)或繞水平軸的旋轉(zhuǎn)(例如，俯仰)。另外，可使成像裝置繞其旋轉(zhuǎn)軸并且在垂直于旋轉(zhuǎn)軸且大致上平行于裝置視野的平面內(nèi)滾動或旋轉(zhuǎn)。

此外，一些現(xiàn)代成像裝置可數(shù)字地或電子地調(diào)整在視野中識別的圖像，這受到一個或多個物理約束和操作約束。例如，數(shù)字相機(jī)可虛擬地伸展或壓縮圖像的像素以便集中或擴(kuò)寬數(shù)字相機(jī)的視野，并且還使圖像的一個或多個部分在視野內(nèi)平移。具有可光學(xué)調(diào)整的焦距或定向軸的成像裝置通常被稱為搖動-傾斜-變焦(或“PTZ”)成像裝置，而具有可數(shù)字或電子調(diào)整的變焦或平移特征的成像裝置通常被稱為電子PTZ(或“ePTZ”)成像裝置。

關(guān)于在數(shù)字圖像中表達(dá)的特征或物體的信息和/或數(shù)據(jù)(包括所述特征或物體的顏色、紋理或輪廓)可以任何數(shù)量的方式從所述圖像提取。例如，可根據(jù)一個或多個標(biāo)準(zhǔn)來確定或量化數(shù)字圖像中的像素的顏色或像素組的顏色，所述標(biāo)準(zhǔn)例如：RGB(“紅色-綠色-藍(lán)色”)顏色模型，其中像素中紅色、綠色或藍(lán)色的各部分是以三個對應(yīng)的數(shù)字來表達(dá)，所述數(shù)字的值在0至255的范圍內(nèi)；或十六進(jìn)制模型，其中像素的顏色是以六個字符的代碼來表達(dá)，其中所述字符中的每一個的范圍可以是十六。此外，可使用一種或多種基于計算機(jī)的方法，諸如通過識別在圖像的區(qū)或扇區(qū)內(nèi)的強(qiáng)度變化，或通過定義對應(yīng)于特定表面的圖像區(qū)域，來識別在數(shù)字圖像中表達(dá)的物體的紋理或特征。此外，可使用一個或多個算法或機(jī)器學(xué)習(xí)工具來識別在數(shù)字圖像中表達(dá)的物體或特征的輪廓。一些這類算法或工具可辨識數(shù)字圖像中的物體或特征的邊緣、外形或輪廓，或辨識數(shù)字圖像中的物體或特征的各部分的邊緣、外形或輪廓，并且可使物體或特征的邊緣、外形或輪廓與關(guān)于已知物體或特征的邊緣、外形或輪廓的信息相匹配，所述信息可存儲在一個或多個數(shù)據(jù)存儲體中。

本公開的系統(tǒng)和方法是針對：基于由成像裝置捕獲的圖像或成像數(shù)據(jù)辨識一個或多個視覺提示、使這類提示與一個或多個任務(wù)相關(guān)聯(lián)、識別與這類任務(wù)相關(guān)聯(lián)的一個或多個動作，以及提供用于進(jìn)行這類動作的指令。此外，所述系統(tǒng)和方法還可識別與視覺提示或這類視覺提示的圖案相關(guān)聯(lián)的情境，以便基于視覺提示或圖案識別最適當(dāng)?shù)娜蝿?wù)并且確定與這種任務(wù)有關(guān)的最適當(dāng)?shù)膭幼??？苫谝韵赂黜椀囊粋€或多個屬性來識別情境：視覺提示、與視覺提示相關(guān)聯(lián)的物體，或提供所述物體或所述視覺提示的環(huán)境。

此外，可使用成像裝置確認(rèn)任務(wù)的進(jìn)行或與任務(wù)有關(guān)的一個或多個動作的進(jìn)行。在這方面，自動化系統(tǒng)或單元可被視覺編程來通過在成像裝置的視野內(nèi)提供一個或多個視覺提示(例如，單獨(dú)地或相互組合地)來進(jìn)行任務(wù)。視覺提示可因此與成像裝置相結(jié)合來充當(dāng)編程界面，以用于向自動化系統(tǒng)或單元提供指令。

根據(jù)本公開，視覺提示是至少一個標(biāo)志或符號，所述標(biāo)志或符號容易由成像裝置觀察和解讀，并且所述標(biāo)志或符號在給定情境中傳達(dá)獨(dú)特且特別的消息。例如，視覺提示可包括任何類型或形式的一個或多個字母、數(shù)字或符號，包括但不限于標(biāo)牌上的印刷標(biāo)志、一組這類標(biāo)志或標(biāo)牌、電子顯示板，或甚至是在給定情境中自然出現(xiàn)的獨(dú)特可識別的圖案?？蓮囊粋€或多個視覺提示識別視覺圖案。

這類提示的視覺圖案內(nèi)的視覺提示中的每一個可具有獨(dú)立的含義。例如，在履行中心環(huán)境中，第一視覺提示(例如，包括溫度計的圖像的圖標(biāo)，所述溫度計在其球上帶有結(jié)冰水)可指示物體處于冷藏狀態(tài)，而第二視覺提示(例如，包括破碎的香檳酒杯的圖像的圖標(biāo))可指示物體是易碎的，并且第三視覺提示(例如，包括向上指的箭頭的圖標(biāo))可指示物體必須在特定面垂直向上對準(zhǔn)的情況下存儲。因此，帶有所述視覺提示中的任一個的物體可能要求進(jìn)行與特定視覺提示一致的任務(wù)或動作，例如，帶有第一視覺提示的物體必須被冷藏，而帶有第二視覺提示的物體必須被輕輕地搬運(yùn)，并且?guī)в械谌曈X提示的物體必須以特定方式運(yùn)送以使得特定面垂直向上指。然而，在物體帶有所述視覺提示中的兩個或更多個的情況下，物體可能要求進(jìn)行與這類視覺提示相關(guān)聯(lián)的任務(wù)或動作中的每一個。例如，帶有第一視覺提示和第二視覺提示的物體必須被冷藏并且輕輕地搬運(yùn)，而帶有第二視覺提示和第三視覺提示的物體必須被輕輕地搬運(yùn)并且被運(yùn)送以使得特定面垂直向上指。

在這方面，視覺提示或視覺提示的視覺圖案可有效地充當(dāng)用于與自動化機(jī)器通信的一行或多行代碼。任選地取決于提供視覺提示或這類提示的視覺圖案的情境，視覺提示或這類提示的視覺圖案可具有離散的含義。在這方面，每個視覺圖案可具有不同的含義，不僅基于視覺圖案內(nèi)的單個視覺提示而且基于視覺圖案內(nèi)的這類提示的空間布置以及提供這類提示的次序來定義所述含義。例如，當(dāng)視覺提示是按某個圖案提供以使得所述提示彼此緊密靠近時，一組四個不同的視覺提示可具有第一含義，并且當(dāng)視覺提示是按某個圖案提供以使得所述提示散開時，所述一組四個不同的視覺提示可具有第二含義。類似地，當(dāng)視覺提示是按多邊形布置(例如，正方形或其他矩形)提供時，四個不同的視覺提示可具有第三含義，并且當(dāng)視覺提示是大致上共線地(例如，在一條線上)提供時，所述四個不同的視覺提示可具有第四含義。

此外，視覺圖案還可包括按某個次序或順序出現(xiàn)的任何數(shù)量的視覺提示。例如，可基于在第一時間出現(xiàn)的特定視覺提示、然后是在第二時間出現(xiàn)的另一個視覺提示和在第三時間出現(xiàn)的又一個視覺提示來定義視覺圖案。因此，基于這類視覺提示出現(xiàn)的時間和視覺提示在視覺上存在的持續(xù)時間，可由同一組視覺提示定義多個視覺圖案。在這方面，視覺提示或視覺提示的視覺圖案可以類似于摩斯碼的方式操作，以使得不僅視覺提示本身而且用來提供這類視覺提示的定時、位置和空間布置可構(gòu)成可根據(jù)本文公開的系統(tǒng)和方法中的一個或多個來識別并解釋的單獨(dú)考量因素。

相比用于將自動化機(jī)器編程來進(jìn)行一個或多個任務(wù)的現(xiàn)有技術(shù)系統(tǒng)，本公開的系統(tǒng)和方法提供了許多優(yōu)點(diǎn)。例如，許多現(xiàn)有技術(shù)系統(tǒng)不能將用戶交互并入到編程過程中，并且不能向用戶提供關(guān)于自動進(jìn)行所述任務(wù)的監(jiān)督或反饋。此外，這類系統(tǒng)通常基于試探法或預(yù)先指定的規(guī)則，并且在實現(xiàn)用于自動進(jìn)行任務(wù)的程序時從未努力確定編程器的意圖。

因此，可在任何數(shù)量的操作應(yīng)用中利用本公開的系統(tǒng)和方法，在所述應(yīng)用中需要機(jī)器自動進(jìn)行任務(wù)?？稍谌魏晤愋突蛐问降谋砻嫔咸峁┮曈X提示，所述表面可大致上垂直地、水平地或以任何其他角度對準(zhǔn)。作為一個實例，在履行中心或類似設(shè)施利用機(jī)器或自主移動機(jī)器人來執(zhí)行某些過程(例如，將托盤或包裹中的一個或多個物品移動到存儲區(qū)域或分配站)的情況下，可提供本文公開的系統(tǒng)和方法來使這類機(jī)器或機(jī)器人能夠開始、操縱或終止這類過程。根據(jù)本公開，在辨識并識別一個或多個圖像或一組或多組成像數(shù)據(jù)中的視覺提示后，并且在使視覺提示與一個或多個過程相關(guān)聯(lián)之后，可開始過程。然而，在進(jìn)行所述過程中的一個或多個期間，人可能干預(yù)并且在成像裝置的視野內(nèi)呈現(xiàn)視覺提示或視覺圖案，所述成像裝置可辨識所述視覺提示或視覺圖案并且更改或結(jié)束所述過程中的一個或多個。

另外，基于對一個或多個視覺提示的辨識，可串行地或并行地連結(jié)多個過程的進(jìn)行。例如，在辨識視覺提示后由自動化機(jī)器進(jìn)行用于實現(xiàn)對環(huán)境的變化的第一任務(wù)的情況下，所述自動化機(jī)器可被配置來基于視覺提示或視覺提示的視覺圖案的存在或不存在來確定在完成第一任務(wù)后所述環(huán)境中的條件。如果在進(jìn)行第一任務(wù)之后所述環(huán)境處于預(yù)期條件，那么自動化機(jī)器可被配置來立即開始進(jìn)行第二任務(wù)。然而，如果在進(jìn)行第一任務(wù)之后所述環(huán)境并不處于預(yù)期條件，那么自動化機(jī)器可被配置來立即開始進(jìn)行第三任務(wù)。

此外，本公開的系統(tǒng)和方法可被配置來利用在天然的或已經(jīng)存在的配置或狀態(tài)中提供的視覺提示或視覺圖案，并且不需要基于人為地或有意地提供的視覺提示或視覺圖案來操作，所述配置或狀態(tài)涉及工作環(huán)境中的物體、人類示意動作和/或標(biāo)示。例如，履行中心或類似設(shè)施內(nèi)的物體、示意動作或標(biāo)志的任何指定配置或狀態(tài)可被識別為并且被用作用于開始進(jìn)行任務(wù)或與所述任務(wù)相關(guān)聯(lián)的一個或多個動作的視覺提示或視覺圖案。本文公開的系統(tǒng)和方法因此可被配置來辨識被接收、存儲或準(zhǔn)備好送貨的物品以及被人類工人有意地放在成像裝置的視野內(nèi)(這可以導(dǎo)致信號被提供到監(jiān)督員或其他指定的人員)的物體的狀態(tài)或條件。

因此，本公開的系統(tǒng)和方法可通過單個視覺部件(例如，成像裝置和/或相關(guān)聯(lián)的計算裝置)的交互式組成來實現(xiàn)自動化系統(tǒng)或單元的創(chuàng)建和操作，所述視覺部件可在圖像或成像數(shù)據(jù)內(nèi)識別并辨識一個或多個視覺提示或所述視覺提示的視覺圖案，使這類視覺提示或視覺圖案與任務(wù)相關(guān)聯(lián)，識別進(jìn)行任務(wù)所需要的動作，并且向一個或多個自動化機(jī)器提供用于進(jìn)行所述動作中的一個或多個的指令。還可使用呈視覺提示或這類提示的視覺圖案的形式的直觀視覺指令來指定、修改或控制這類動作的進(jìn)行，而不需要手動編程一個或多個自動化控制器。

參考圖2A和圖2B，展示了用于基于視覺提示進(jìn)行自動化任務(wù)的一個系統(tǒng)200的部件的框圖。系統(tǒng)200包括跨網(wǎng)絡(luò)270(諸如互聯(lián)網(wǎng))彼此連接的商城210、供應(yīng)商220、履行中心230和顧客260。

商城210可以是希望使來自多種來源的物品可供顧客使用聯(lián)網(wǎng)的計算機(jī)基礎(chǔ)設(shè)施來下載、購買、租用、出租或借用的任何實體或個人，商城210包括用于托管網(wǎng)絡(luò)站點(diǎn)216的一個或多個物理計算機(jī)服務(wù)器212和數(shù)據(jù)存儲體(例如，數(shù)據(jù)庫)214。商城210可物理地或虛擬地與一個或多個存儲或分配設(shè)施(諸如履行中心230)相關(guān)聯(lián)?？墒褂靡粋€或多個服務(wù)器212來實現(xiàn)網(wǎng)絡(luò)站點(diǎn)216，所述服務(wù)器212通過發(fā)送并接收數(shù)字?jǐn)?shù)據(jù)來與一個或多個數(shù)據(jù)存儲體214以及網(wǎng)絡(luò)270連接或以其他方式通信，如線條218所指示。此外，數(shù)據(jù)存儲體214可包含任何類型的信息，所述信息是關(guān)于已經(jīng)可供通過商城210銷售或由顧客從商城210訂購的物品。

供應(yīng)商220可以是希望使一個或多個物品可供顧客(諸如顧客260)通過商城210獲得的任何實體或個人。供應(yīng)商220可使用計算裝置(諸如便攜式計算機(jī)222)和/或軟件應(yīng)用程序(諸如瀏覽器224)來操作一個或多個訂單操作和/或通信系統(tǒng)，所述訂單處理和/或通信系統(tǒng)可通過一個或多個計算機(jī)器來實現(xiàn)，所述計算機(jī)器可連接到網(wǎng)絡(luò)270，如線條228所指示，以便以數(shù)字或模擬數(shù)據(jù)的形式發(fā)射或接收關(guān)于將要在商城210處可供獲得的一個或多個物品的信息，或用于任何其他目的。

供應(yīng)商220可例如通過卡車250將一個或多個物品送到由商城210維護(hù)的或為了商城210而維護(hù)的一個或多個指定的設(shè)施，諸如履行中心230。另外，供應(yīng)商220可從其他供應(yīng)商、制造商或賣家(未展示)接收一個或多個物品，并且可將這類物品中的一個或多個送到商城210所指定的位置，諸如履行中心230，以便履行并分配到顧客。此外，供應(yīng)商220可進(jìn)行多個功能。例如，供應(yīng)商220也可以是一個或多個其他物品制造商和/或賣家，并且可在除了商城210以外的場地(未展示)提供物品以供顧客購買。另外，在商城210處可供獲得的或由顧客從商城210訂購的物品可由除了供應(yīng)商220以外的一個或多個第三方來源制造或從所述第三方來源獲得，或者從任何其他來源(未展示)獲得。此外，商城210本身可以是供應(yīng)商、賣家或制造商。

履行中心230可以是適于接收、存儲、處理和/或分配物品的任何設(shè)施。如圖2A和圖2B所示，履行中心230包括用于進(jìn)行與這類物品的接收、存儲、處理和分配相關(guān)聯(lián)的各種計算機(jī)相關(guān)功能的聯(lián)網(wǎng)的計算機(jī)基礎(chǔ)設(shè)施，所述計算機(jī)基礎(chǔ)設(shè)施包括一個或多個物理計算機(jī)服務(wù)器232、數(shù)據(jù)庫(或其他數(shù)據(jù)存儲體)234和處理器236。履行中心230還可包括用于接收、存儲物品和將物品分配物到顧客或其他目的地的站，諸如一個或多個接收站231、存儲區(qū)域233和分配站235。履行中心230還包括至少一個成像裝置240。

履行中心230還可使用與服務(wù)器232、數(shù)據(jù)庫234和/或處理器236中的一個或多個通信的計算機(jī)裝置或通過一個或多個其他計算裝置或機(jī)器來操作一個或多個訂單處理和/或通信系統(tǒng)，所述其他計算裝置或機(jī)器可連接到網(wǎng)絡(luò)270，如線條238所指示，以便以數(shù)字或模擬數(shù)據(jù)的形式發(fā)射或接收信息，或用于任何其他目的。這類計算機(jī)裝置還可操作一個或多個報告系統(tǒng)或提供對所述報告系統(tǒng)的訪問以便接收或顯示關(guān)于工作流程操作的信息或數(shù)據(jù)，并且可提供一個或多個界面以便響應(yīng)于這種信息或數(shù)據(jù)從一個或多個操作者、用戶或工人接收交互(例如，文字、數(shù)字條目或選擇)。這類計算機(jī)裝置可以是通用裝置或機(jī)器，或者是以任何形式的輸入和/或輸出外圍設(shè)備(諸如掃描器、閱讀器、鍵盤、小鍵盤、觸摸屏或類似裝置)為特征的專用裝置或機(jī)器，并且還可操作一個或多個引擎或提供對所述引擎的訪問以便分析關(guān)于工作流程操作的信息或數(shù)據(jù)或者從一個或多個操作者、用戶或工人接收的交互。

履行中心230內(nèi)的聯(lián)網(wǎng)的基礎(chǔ)設(shè)施的各種部件可被細(xì)分或分割，或者包括一個或多個模塊，例如硬件部件或軟件應(yīng)用程序，所述模塊的目的是執(zhí)行或提供本文描述的一個或多個功能或服務(wù)，或用來實現(xiàn)一組特定的結(jié)果。如圖2B所示，服務(wù)器232可包括或操作其上的一個或多個模塊，所述模塊包括但不限于視覺圖案辨識模塊232A、意圖/內(nèi)容解釋模塊232B、任務(wù)調(diào)度/執(zhí)行模塊232C或控制器編程器模塊232D。視覺圖案辨識模塊232A可被配置來基于使用成像裝置240所捕獲的成像數(shù)據(jù)實時地或幾乎實時地辨識視覺提示或視覺提示的圖案。意圖/內(nèi)容解釋模塊232B可被配置來辨識并解釋與視覺提示或視覺提示的圖案相關(guān)聯(lián)的意圖，或基于以下各項的一個或多個屬性來識別視覺提示或視覺提示的圖案的情境：視覺提示或視覺提示的圖案，或提供視覺提示或視覺提示的圖案的環(huán)境。任務(wù)調(diào)度/執(zhí)行模塊232C可被配置來識別與視覺提示或其圖案相關(guān)聯(lián)的任務(wù)，并且識別或調(diào)度用于完成所述任務(wù)的一個或多個動作?？刂破骶幊唐髂K232D可生成用于發(fā)射指令并進(jìn)行任務(wù)或執(zhí)行動作的執(zhí)行程序。

除了視覺圖案辨識模塊232A、意圖/內(nèi)容解釋模塊232B、任務(wù)調(diào)度/執(zhí)行模塊232C和/或控制器編程器模塊232D，服務(wù)器232還可包括用于為其任何數(shù)量的其他模塊，所述其他模塊用于為其提供根據(jù)本公開的一個或多個功能或服務(wù)。

數(shù)據(jù)存儲體234可包括其一個或多個區(qū)段或分區(qū)，所述區(qū)段或分區(qū)用于存儲關(guān)于基于視覺提示進(jìn)行自動化任務(wù)的信息或數(shù)據(jù)。如圖2B還展示，數(shù)據(jù)存儲體234包括視覺圖案數(shù)據(jù)庫234A、語義數(shù)據(jù)庫234B和任務(wù)數(shù)據(jù)庫234C。視覺圖案數(shù)據(jù)庫234A包括可能在系統(tǒng)200的操作期間遇到的視覺提示和/或視覺圖案的可能組合的虛擬詞匯。例如，視覺圖案數(shù)據(jù)庫234A可加載有關(guān)于視覺提示或這類提示的組合以及視覺圖案的信息。或者，視覺圖案數(shù)據(jù)庫234A可利用關(guān)于在操作期間觀察到的視覺提示或視覺圖案的信息或數(shù)據(jù)來擴(kuò)充。

語義數(shù)據(jù)庫234B包括關(guān)于各種視覺提示或這類提示的視覺圖案與提供這類提示或圖案的情境之間的相互依賴和關(guān)系的信息或數(shù)據(jù)。例如，語義數(shù)據(jù)庫234B可被訓(xùn)練來根據(jù)一種或多種監(jiān)督式或非監(jiān)督式學(xué)習(xí)方法(例如，圖案分類法、回歸法、聚類分析法)來辨識視覺提示或視覺圖案與情境之間的關(guān)聯(lián)，或情境與任務(wù)或關(guān)聯(lián)于所述任務(wù)的一個或多個動作之間的關(guān)聯(lián)，所述學(xué)習(xí)方法可考慮視覺提示或環(huán)境的任何屬性，在所述環(huán)境中提供這類視覺提示來作為輸入。任務(wù)數(shù)據(jù)庫234C包括：關(guān)于可能與視覺提示或其視覺圖案相關(guān)聯(lián)的任務(wù)的信息或數(shù)據(jù)，以及關(guān)于執(zhí)行這類任務(wù)或其組成動作的次序或優(yōu)先級的信息或數(shù)據(jù)。例如，任務(wù)數(shù)據(jù)庫234C還可加載有關(guān)于任務(wù)或與這類任務(wù)相關(guān)聯(lián)的動作的信息，或利用關(guān)于在操作期間觀察到的這類任務(wù)或動作的另外信息或數(shù)據(jù)來擴(kuò)充。

履行中心230還可包括一個或多個接收站231。接收站231可包括從一個或多個來源和/或通過一個或多個通道接收物品的裝運(yùn)并且將這類物品準(zhǔn)備好存儲或分配到顧客所需要的任何設(shè)備。這類設(shè)備包括但不限于用于從運(yùn)輸工具獲得物品和/或物品的裝運(yùn)的裝卸平臺、升降機(jī)、起重機(jī)、千斤頂、皮帶或其他輸送設(shè)備，輸送運(yùn)輸工具諸如汽車、卡車、拖車、貨車、集裝箱船或貨運(yùn)飛機(jī)(例如，有人駕駛或無人駕駛的飛機(jī)，諸如無人機(jī))。

履行中心230處的存儲區(qū)域233可包括用于容納物品和/或這類物品的容器的一個或多個預(yù)定義的二維或三維空間，諸如架子、箱子、柜子、小房間或任何其他適當(dāng)?shù)膮^(qū)域或空間。履行中心230處的分配站235可包括一個或多個區(qū)域、空間或站，在所述區(qū)域、空間或站處可對已經(jīng)從指定存儲區(qū)域取回的物品進(jìn)行評估、準(zhǔn)備和打包以便送到由顧客指定的地址、位置或目的地。

履行中心230還可包括在履行中心230內(nèi)搬運(yùn)或運(yùn)送物品(未展示)的一個或多個工人或職員，例如分揀員或分類員。例如，這類工人可從物品運(yùn)輸工具移除物品，將物品放到接收站231處的起重機(jī)、千斤頂、皮帶或另一個輸送設(shè)備上；將物品運(yùn)送到存儲區(qū)域233內(nèi)的架子、箱子、機(jī)架、層、桿、掛鉤或其他存儲裝置；從存儲區(qū)域233內(nèi)的這種存儲裝置取回物品；將物品運(yùn)送到分配站235內(nèi)的已定義空間；將物品準(zhǔn)備好送到一個或多個顧客；并且將物品放到物品運(yùn)輸工具上。根據(jù)一個實施方案，工人還可將物品直接從接收站231運(yùn)送或“交叉轉(zhuǎn)運(yùn)”到分配站235。

此外，工人還可操作一個或多個計算裝置以便登記物品在履行中心內(nèi)的接收、取回、運(yùn)送或存儲，所述裝置諸如：被特定編程用于這類目的或適于這類目的的裝置，或諸如個人數(shù)字助理、數(shù)字媒體播放器、智能手機(jī)、平板計算機(jī)或便攜式計算機(jī)的通用裝置，并且所述裝置可包括任何形式的輸入和/或輸出外圍設(shè)備，諸如掃描器、閱讀器、鍵盤、小鍵盤、觸摸屏或指針裝置。履行中心230內(nèi)的工人還可在任何時間登記他們對物品的持有，所述時間包括在從存儲區(qū)域233內(nèi)的架子或其他存儲裝置獲得物品之后，將物品放到一個或多個容器中以便運(yùn)送到分配站235之后，從分配站235處的一個或多個容器取回物品之后，或?qū)⑽锲贩诺揭粋€或多個物品運(yùn)輸工具上之后。

成像裝置240可以是任何形式的光學(xué)記錄裝置，所述光學(xué)記錄裝置可用來拍攝或以其他方式記錄履行中心230內(nèi)的結(jié)構(gòu)、設(shè)施或其他元件以及履行中心230內(nèi)的物品的圖像，或用于任何其他目的。這類成像裝置240可在履行中心230內(nèi)的一個或多個指定位置內(nèi)捕獲一個或多個靜態(tài)圖像或移動圖像，以及任何相關(guān)的音頻信號或其他信息，并且可通過內(nèi)部網(wǎng)絡(luò)(未展示)連接到服務(wù)器232或彼此連接。另外，成像裝置240可適于或以其他方式被配置來彼此通信，或與商城210或商城服務(wù)器212、供應(yīng)商220或供應(yīng)商便攜式計算機(jī)222或顧客260或顧客智能手機(jī)262通信，或通過網(wǎng)絡(luò)270訪問一個或多個其他計算機(jī)裝置。盡管圖2A和圖2B的履行中心230包括對應(yīng)于一個成像裝置240的單個方框，但是根據(jù)本公開可提供任何數(shù)量或類型的成像裝置，包括但不限于數(shù)字相機(jī)或其他光學(xué)傳感器。

顧客260可以是希望從商城210下載、購買、租用、出租、借用或以其他方式獲得物品(例如，任何類型或形式的商品、產(chǎn)品、服務(wù)或信息)的任何實體或個人。顧客260可利用諸如智能手機(jī)262或任何其他類似機(jī)器的一個或多個計算裝置，所述計算裝置可操作或訪問諸如網(wǎng)絡(luò)瀏覽器(未展示)或購物應(yīng)用程序264的一個或多個軟件應(yīng)用程序并且可通過網(wǎng)絡(luò)270連接到商城210、供應(yīng)商220或履行中心230或以其他方式通過發(fā)射并接收數(shù)字?jǐn)?shù)據(jù)來與商城210、供應(yīng)商220或履行中心230通信，如線條268所指示。此外，顧客260還可從由商城210維護(hù)的或為了商城210而維護(hù)的設(shè)施(諸如履行中心230)或從供應(yīng)商220接收一個或多個物品的送貨或裝運(yùn)。

本文描述的計算機(jī)、服務(wù)器、裝置等具有必需的電子設(shè)備、軟件、存儲器、存儲體、數(shù)據(jù)庫、固件、邏輯/狀態(tài)機(jī)、微處理器、通信鏈路、顯示器或其他視覺或音頻用戶界面、打印裝置和任何其他輸入/輸入界面，以提供本文描述的功能或服務(wù)中的任一個且/或?qū)崿F(xiàn)本文描述的結(jié)果。此外，相關(guān)領(lǐng)域的一般技術(shù)人員將認(rèn)識到，這類計算機(jī)、服務(wù)器、裝置等的用戶可操作鍵盤、小鍵盤、鼠標(biāo)、觸筆、觸摸屏或其他裝置(未展示)或方法來與所述計算機(jī)、服務(wù)器、裝置等交互或“選擇”物品、鏈路、節(jié)點(diǎn)、集線器或本公開的任何其他方面。

相關(guān)領(lǐng)域的一般技術(shù)人員將理解，本文中描述為由“商城”、“供應(yīng)商”、“履行中心”、“成像裝置”或“顧客”或類似術(shù)語進(jìn)行的過程步驟可以是由其相應(yīng)計算機(jī)系統(tǒng)進(jìn)行的或在由一個或多個通用計算機(jī)執(zhí)行的軟件模塊(或計算機(jī)程序)內(nèi)實現(xiàn)的自動化步驟。此外，本文中描述為由“商城”、“供應(yīng)商”、“履行中心”、“成像裝置”或“顧客”進(jìn)行的過程步驟通?？捎扇祟惒僮髡哌M(jìn)行，但是可能可選地由自動化代理進(jìn)行。

商城210、供應(yīng)商220、履行中心230和/或顧客260可使用任何具備網(wǎng)絡(luò)功能的應(yīng)用程序或特征或者互聯(lián)網(wǎng)應(yīng)用程序或特征、或者包括電子郵件或其他發(fā)消息技術(shù)的任何其他客戶端-服務(wù)器應(yīng)用程序或特征，以連接到網(wǎng)絡(luò)270或彼此通信，諸如通過SMS或MMS文字消息彼此通信。例如，服務(wù)器232可適于經(jīng)由網(wǎng)絡(luò)270實時地或幾乎實時地、或在一個或多個離線過程中將呈同步或不同步消息的形式的信息或數(shù)據(jù)從履行中心230發(fā)射到便攜式計算機(jī)222、服務(wù)器212、智能手機(jī)262或任何其他計算機(jī)裝置。相關(guān)領(lǐng)域的一般技術(shù)人員將認(rèn)識到，商城210、供應(yīng)商220、履行中心230或顧客260可操作能夠在網(wǎng)絡(luò)之上通信的許多計算裝置中的任一個，所述計算裝置包括但不限于機(jī)頂盒、個人數(shù)字助理、數(shù)字媒體播放器、聯(lián)網(wǎng)板、便攜式計算機(jī)、臺式計算機(jī)、電子書閱讀器等。用于在這類裝置之間提供通信的協(xié)議和部件是計算機(jī)通信領(lǐng)域的技術(shù)人員所熟知的并且本文中不需要更詳細(xì)地加以描述。

本文描述的數(shù)據(jù)和/或計算機(jī)可執(zhí)行指令、程序、固件、軟件等(本文中也稱為“計算機(jī)可執(zhí)行”部件)可存儲在位于計算機(jī)或計算機(jī)部件內(nèi)或可由計算機(jī)或計算機(jī)部件訪問的計算機(jī)可讀介質(zhì)上，所述計算機(jī)或計算機(jī)部件諸如：服務(wù)器212、便攜式計算機(jī)222、服務(wù)器232或智能手機(jī)262，或由商城210、供應(yīng)商220、履行中心230或顧客260利用并且具有指令序列的任何其他計算機(jī)或控制系統(tǒng)，所述指令序列在由處理器(例如，中央處理單元或“CPU”)執(zhí)行時指示所述處理器進(jìn)行本文描述的功能、服務(wù)和/或方法的全部或一部分?？墒褂门c計算機(jī)可讀介質(zhì)相關(guān)聯(lián)的驅(qū)動機(jī)構(gòu)(諸如軟盤驅(qū)動器、CD-ROM驅(qū)動器、DVD-ROM驅(qū)動器、網(wǎng)絡(luò)接口或類似機(jī)構(gòu))或經(jīng)由外部連接將這類計算機(jī)可執(zhí)行指令、程序、軟件等加載到一個或多個計算機(jī)的存儲器中。

本公開的系統(tǒng)和方法的一些實施方案還可被提供為包括非暫時性機(jī)器可讀存儲介質(zhì)的計算機(jī)可執(zhí)行程序產(chǎn)品，所述非暫時性機(jī)器可讀存儲介質(zhì)上存儲有指令(以壓縮形式或未壓縮形式)，所述指令可用來將計算機(jī)(或其他電子裝置)編程以進(jìn)行本文描述的過程或方法。機(jī)器可讀存儲介質(zhì)可包括但不限于硬盤驅(qū)動器、軟盤、光盤、CD-ROM、DVD、ROM、RAM、可擦除可編程ROM(“EPROM”)、電可擦除可編程ROM(“EEPROM”)、閃存、磁性卡或光學(xué)卡、固態(tài)存儲器裝置，或可能適合于存儲電子指令的其他類型的介質(zhì)/機(jī)器可讀介質(zhì)。此外，實施方案還可被提供為包括暫時性機(jī)器可讀信號(以壓縮形式或未壓縮形式)的計算機(jī)可執(zhí)行程序產(chǎn)品。機(jī)器可讀信號(無論是否使用載波加以調(diào)制)的實例可包括但不限于托管或運(yùn)行計算機(jī)程序的計算機(jī)系統(tǒng)或機(jī)器可被配置來訪問的信號，或包括可通過互聯(lián)網(wǎng)或其他網(wǎng)絡(luò)來下載的信號。

盡管本文公開的實施方案中的一些提到了在履行中心環(huán)境內(nèi)提供視覺提示或視覺圖案，以及辨識這類視覺提示或視覺圖案、識別與這類視覺提示或圖案相關(guān)聯(lián)的至少一個任務(wù)、或提供用于在履行中心環(huán)境內(nèi)執(zhí)行與所述至少一個任務(wù)有關(guān)的動作的指令，但是系統(tǒng)和方法不限于此。相反，可在需要基于通過視覺提示或視覺圖案的視覺編程進(jìn)行系統(tǒng)的自動化操作的任何環(huán)境中利用本文公開的系統(tǒng)和方法。

參考圖3，展示了表示根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的過程的一個實施方案的流程圖300。在方框310處，成像裝置捕獲視覺提示的圖案的圖像。例如，視覺提示可包括以任何顏色或任何尺寸布置在物體、結(jié)構(gòu)或機(jī)器的至少一個表面上的一個或多個字母、數(shù)字、符號、圖標(biāo)、標(biāo)識或其他類似的標(biāo)簽或標(biāo)記，以及在提供成像裝置的環(huán)境內(nèi)可能預(yù)期會遇到的形狀的邊緣、外形或輪廓。在方框320處，成像裝置將圖像發(fā)射到一個或多個外部服務(wù)器。

在方框330處，外部服務(wù)器在視覺圖案數(shù)據(jù)庫內(nèi)辨識在方框310處捕獲的圖像中所包括的視覺提示的圖案。例如，與外部服務(wù)器通信的數(shù)據(jù)庫或其他數(shù)據(jù)存儲體(例如，圖2B的服務(wù)器232和視覺圖案數(shù)據(jù)庫234A)可包含用于識別視覺提示或這類提示的圖案的信息或數(shù)據(jù)，所述視覺提示包括但不限于一個或多個字母、數(shù)字、符號、圖標(biāo)、標(biāo)識或其他類似的標(biāo)簽或標(biāo)記，以及多個形狀的邊緣、外形或輪廓。在方框340處，外部服務(wù)器使所述圖案與存儲在任務(wù)數(shù)據(jù)庫中的關(guān)于任務(wù)的信息相關(guān)聯(lián)。例如，與外部服務(wù)器通信的數(shù)據(jù)庫或其他數(shù)據(jù)存儲體(例如，圖2B的服務(wù)器232和任務(wù)數(shù)據(jù)庫234C)可包含與任務(wù)有關(guān)的動作、步驟、斷定條件或任何相關(guān)信息或數(shù)據(jù)，在方框330處辨識的圖案可能與所述任務(wù)相關(guān)聯(lián)。

在方框350處，外部服務(wù)器識別將要對提供視覺提示或視覺圖案的環(huán)境采取的動作，并且在方框360處，外部服務(wù)器生成用于進(jìn)行在方框350處識別的動作的指令。例如，所述動作可包括特定的機(jī)器或一件裝備的操作，所述操作的目的是要求在環(huán)境內(nèi)的變化，例如，使用圖1A的轉(zhuǎn)向器146A將物品10A從第一輸送機(jī)131A轉(zhuǎn)移到手推車150A中。在方框370處，外部服務(wù)器將用于對環(huán)境進(jìn)行所述動作的指令發(fā)射到至少一個相關(guān)部件，并且過程結(jié)束。例如，再次參考圖1A，服務(wù)器132A可將至少一個指令發(fā)射到轉(zhuǎn)向器146A，從而致使轉(zhuǎn)向器146A在第一輸送機(jī)131A上的物品10A到達(dá)時將物品10A引導(dǎo)到手推車150A中。

根據(jù)本公開可被辨識并與一個或多個任務(wù)相關(guān)聯(lián)的視覺提示可采取任何形狀或形式，并且可包括任何數(shù)量的字母、數(shù)字、符號、圖標(biāo)、標(biāo)識或其他類似的標(biāo)簽或標(biāo)記，以及多個形狀的邊緣、外形或輪廓(單獨(dú)地或相互組合地)。例如，可出于特定目的人為地或有意地定義和/或提供視覺提示，例如物體、結(jié)構(gòu)或機(jī)器或結(jié)構(gòu)上的圖標(biāo)的臨時或永久標(biāo)記。一旦本公開的系統(tǒng)和方法在圖像或成像數(shù)據(jù)中辨識了預(yù)定義的視覺提示或這類提示的視覺圖案，就可使所述視覺提示或視覺圖案與給定任務(wù)相關(guān)聯(lián)，并且可采取與所述任務(wù)相關(guān)聯(lián)的一個或多個動作?；蛘?，本公開的系統(tǒng)和方法可被配置來辨識例如在根據(jù)工業(yè)或商業(yè)過程正常操作期間自然地出現(xiàn)的一個或多個視覺提示，并且相應(yīng)地采取與相關(guān)聯(lián)的任務(wù)有關(guān)的一個或多個動作。

參考圖4，展示了根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的一個系統(tǒng)400的部件。除非另外指出，否則圖4所示的前面有數(shù)字“4”的參考數(shù)字所指示的部件或特征類似于具有圖2A或圖2B所示的前面是數(shù)字“2”或者圖1A或圖1B所示的前面是數(shù)字“1”的參考數(shù)字的部件或特征。

系統(tǒng)400包括第一輸送機(jī)431、服務(wù)器432和成像裝置440。在輸送機(jī)431上提供其中包括一個或多個物品的盒子40或其他容器。如圖4所示，盒子40是打開的，并且輪廓42由打開的盒子40的翻蓋形成，所述輪廓42包括四個軸向?qū)?zhǔn)的矩形，這四個軸向?qū)?zhǔn)的矩形彼此共用共同的角點(diǎn)。服務(wù)器432與成像裝置440通信，所述成像裝置440被配置來在這類物體沿著輸送機(jī)431行進(jìn)時捕獲物體(例如，物體40)的一個或多個圖像或一組或多組成像數(shù)據(jù)。

如圖4所示，成像裝置440可捕獲盒子40和其中物品的圖像442，例如低分辨率圖像，并且將圖像442發(fā)射到服務(wù)器432以便分析。圖像442可包括輪廓42的至少一部分，所示輪廓42由打開的盒子40的翻蓋形成。服務(wù)器432可處理圖像442，辨識其中的輪廓42，并且將輪廓42與可能存儲在數(shù)據(jù)存儲體434中的關(guān)于一個或多個任務(wù)的信息或數(shù)據(jù)相比較?；趫D像442，服務(wù)器可使輪廓42與任務(wù)44(也就是，當(dāng)基于所述輪廓將盒子識別為打開的時要求捕獲高分辨率圖像)相關(guān)聯(lián)，服務(wù)器432向成像裝置440發(fā)射指令以捕獲盒子40和其中物品的高分辨率圖像。成像裝置440隨后捕獲打開的盒子40的圖像444并且將圖像444發(fā)射到服務(wù)器432以便分析。

相應(yīng)地，辨識可能人為地或有意地出現(xiàn)或根據(jù)一個或多個過程或環(huán)境自然地出現(xiàn)的視覺提示或視覺提示的圖案可能導(dǎo)致根據(jù)本公開進(jìn)行一個或多個任務(wù)或與所述任務(wù)相關(guān)聯(lián)的動作。

如上文所討論，一旦已辨識了視覺提示或視覺提示的視覺圖案，本公開的系統(tǒng)和方法就可確定已提供或識別所述視覺提示或視覺圖案的情境，并且可基于所述情境來識別任務(wù)或與所述任務(wù)相關(guān)聯(lián)的一個或多個動作。在這方面，機(jī)器可被配置來在辨識了可在不同情境中提供的同一視覺提示或視覺圖案(例如，字母、數(shù)字或符號，或這類字母、數(shù)字或符號的組合)時進(jìn)行一個或多個不同的任務(wù)。

參考圖5，展示了表示根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的過程的一個實施方案的流程圖500。在方框510處，捕獲視覺提示(一個或多個字母、數(shù)字、符號、圖標(biāo)、標(biāo)識或其他類似的標(biāo)簽或標(biāo)記，以及多個形狀的邊緣、外形或輪廓)的圖像，并且在方框520處，評估所述圖像來辨識其中的視覺提示。如上文所討論，所述視覺提示可單獨(dú)地提供或與一個或多個其他視覺提示組合地提供，并且可出于觸發(fā)給定動作或任務(wù)的目的人為地或有意地出現(xiàn)，或在給定環(huán)境中自然地出現(xiàn)。

在方框530處，識別與視覺提示相關(guān)聯(lián)的情境?？芍辽俨糠值鼗谝曈X提示的屬性或視覺圖案的屬性來識別情境，所述視覺提示是所述視覺圖案的一部分。另外，可至少部分地基于視覺提示所關(guān)聯(lián)的物體的屬性、提供視覺提示和/或物體的環(huán)境的屬性或這類屬性的組合來識別情境。例如，在成像裝置或一個或多個類似部件或相關(guān)裝置被提供在交通路口處的情況下，視覺提示可能與行人或車輛操作者的安全和健康相關(guān)聯(lián)。在成像裝置或其他部件被提供在購物中心的情況下，視覺提示可能與商品的購買和銷售相關(guān)聯(lián)。相關(guān)領(lǐng)域的一般技術(shù)人員將認(rèn)識到，可在需要辨識視覺提示或這類提示的視覺圖案的任何情境中提供本文公開的系統(tǒng)和方法，并且所述系統(tǒng)和方法不限于本文描述或建議的特定情境中的任一個。

在方框540處，基于視覺提示和其情境來識別任務(wù)?？墒谷魏谓o定的視覺提示或這類提示的視覺圖案與多個任務(wù)或關(guān)聯(lián)于所述任務(wù)的動作相關(guān)聯(lián)。例如，在交通路口處識別了三角形的情況下，可使所述三角形與“讓路”標(biāo)志相關(guān)聯(lián)，并且可識別與在交通路口處的讓路標(biāo)志或讓路責(zé)任有關(guān)的任務(wù)。在酒吧或演藝廳的主顧附近識別了三角形的情況下，可使所述三角形與框住臺球的撞球三角形框相關(guān)聯(lián)，并且可識別與開始撞球游戲或臺球游戲相關(guān)聯(lián)的任務(wù)。

在方框550處，可識別與進(jìn)行在方框540處所識別的任務(wù)相關(guān)聯(lián)的一個或多個動作。例如，在已經(jīng)在車庫中獲取的圖像中辨識了包括國際準(zhǔn)入符號(例如“殘疾人”符號)的視覺提示的情況下，并且在停車執(zhí)法的情境中，可識別確定在帶有所述國際準(zhǔn)入符號的停車位內(nèi)停放的汽車是否被授權(quán)停放在那里的任務(wù)。與這種確定相關(guān)聯(lián)的動作可包括但不限于：捕獲停放的汽車的照片、記錄停放的汽車上的車牌號或其他識別符、評估車牌號或其他識別符以及其他類似的動作。在相同的國際準(zhǔn)入符號被提供在電梯的圖像中的情況下，并且在設(shè)施維護(hù)的情境中，確定是否要求對電梯進(jìn)行任何維護(hù)的任務(wù)，并且與這種確定相關(guān)聯(lián)的動作可包括但不限于：訪問電梯的操作歷史、確定電梯的燈或其他電子部件的傳導(dǎo)性和可操作性以及液壓機(jī)流體的任何液位，以及調(diào)度維護(hù)操作來解決可被識別的任何缺陷。

在方框560處，可例如向一個或多個計算機(jī)裝置或與這類計算機(jī)裝置相關(guān)聯(lián)的機(jī)器提供用于執(zhí)行動作的指令，所述動作是用于進(jìn)行在方框550處所識別的任務(wù)，并且過程結(jié)束。

因此，根據(jù)本公開，辨識相同的視覺提示或這類提示的視覺圖案可能導(dǎo)致自動化進(jìn)行與不同任務(wù)相關(guān)聯(lián)的不同動作?？蓞⒖紙D6A和圖6B展示本公開的系統(tǒng)和方法的以下能力的一個實例：辨識相同的視覺提示或其視覺圖案的能力，以及使視覺提示或視覺圖案與不同任務(wù)相關(guān)聯(lián)的能力。參考圖6A和圖6B，展示了根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的系統(tǒng)600A、600B的部件的視圖。除非另外指出，否則圖6A或圖6B所示的前面有數(shù)字“6”的參考數(shù)字所指示的部件或特征類似于具有圖4所示的前面是數(shù)字“4”、圖2A或圖2B所示的前面是數(shù)字“2”或者圖1A或圖1B所示的前面是數(shù)字“1”的參考數(shù)字的部件或特征。

如圖6A所示，系統(tǒng)600A包括物體60A(也就是裝有魚的箱子)、具有成像裝置640的智能手機(jī)652以及手機(jī)架633A。物體60A包括呈其中所裝的魚的識別符的形式的視覺提示62A，也就是標(biāo)記在其上的“BASS”。當(dāng)智能手機(jī)652的用戶捕獲了包括視覺提示62A的物體60A的圖像642A時，本公開的系統(tǒng)和方法可識別提供視覺提示62A的情境(例如，在裝有魚的箱子的表面上)，并且可識別與情境和視覺提示62A兩者相關(guān)聯(lián)的任務(wù)(例如，用于烹制箱子中所包括的魚的食譜)。如圖6A還展示，在定位在手機(jī)架633A上的智能手機(jī)652上顯示用戶界面644A，所述用戶界面644A帶有用于烹制香煎海鱸魚的食譜，這是一個與視覺提示62A和提供視覺提示62A的情境有關(guān)的食譜。

如圖6B所示，系統(tǒng)600B包括物體60B(也就是吉他盒)、智能手機(jī)652以及樂譜架633B。物體60B包括呈其中所裝的吉他類型的識別符的形式的視覺提示62B，也就是標(biāo)記在其上的“BASS”。當(dāng)智能手機(jī)652的用戶捕獲了包括視覺提示62B的物體60B的圖像642B時，本公開的系統(tǒng)和方法可識別提供視覺提示62B的情境(例如，與樂器相關(guān)聯(lián))，并且可識別與情境和視覺提示62B兩者相關(guān)聯(lián)的任務(wù)(例如，將要使用吉他盒中所包括的樂器演奏的樂譜)。如圖6B還展示，在定位在樂譜架633B上的智能手機(jī)652上顯示用戶界面644B，所述用戶界面644B帶有將要使用貝斯吉他演奏的音樂，所述音樂與視覺提示62B和提供視覺提示62B的情境有關(guān)。

因此，根據(jù)本公開，并且如6A和圖6B所示，相同的視覺提示62A、62B(也就是詞語“BASS”)可在不同情境中被提供在不同物體60A、60B上，并且可使用相同的計算機(jī)裝置(也就是智能手機(jī)652)加以辨識。一旦已經(jīng)在每個這種情境中辨識了視覺提示62A、62B，就可使視覺提示62A、62B與任務(wù)相關(guān)聯(lián)，所述任務(wù)與視覺提示62A、62B和相應(yīng)情境兩者有關(guān)，并且可采取與這類任務(wù)有關(guān)的動作。盡管6A和圖6B展示了在辨識詞語后在智能手機(jī)652上的用戶界面644A、644B上顯示所呈現(xiàn)內(nèi)容，但是相關(guān)領(lǐng)域的一般技術(shù)人員將認(rèn)識到，根據(jù)本公開在辨識任何類型或形式的視覺提示后可由任何類型的裝置采取自動化任務(wù)，而不限于聯(lián)網(wǎng)內(nèi)容的自動化顯示。

如上文所討論，本公開的系統(tǒng)和方法是針對：從使用諸如數(shù)字相機(jī)的成像裝置捕獲的圖像或成像數(shù)據(jù)識別并辨識視覺提示或這類提示的視覺圖案，以及基于所述視覺提示來識別一個或多個任務(wù)或與這類任務(wù)相關(guān)聯(lián)的動作，和相應(yīng)地導(dǎo)致這類任務(wù)的進(jìn)行或這類動作的執(zhí)行。另外，本公開的系統(tǒng)和方法還可針對例如使用另外的圖像或成像數(shù)據(jù)來確認(rèn)任務(wù)的進(jìn)行或一個或多個單個動作的執(zhí)行，所述另外的圖像或成像數(shù)據(jù)是使用用來識別視覺提示或視覺圖案的成像裝置或另一個成像裝置所捕獲的。

參考圖7，展示了表示根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的過程的一個實施方案的流程圖700。在方框710處，使用成像裝置從環(huán)境捕獲成像數(shù)據(jù)。環(huán)境可包括但不限于可出于辨識視覺提示或這類提示的視覺圖案的目的在其中部署成像裝置的任何工業(yè)或商業(yè)環(huán)境。例如，再次參考圖1A，成像裝置140A可在物品10A沿著第一輸送機(jī)131A行進(jìn)時捕獲一個或多個圖像或關(guān)于物品10A的其他數(shù)據(jù)。在方框720處，基于成像數(shù)據(jù)在環(huán)境內(nèi)識別視覺提示。視覺提示可出于給定目的人為地或有意地提供，或可自然地出現(xiàn)在環(huán)境內(nèi)。例如，視覺提示可由人類操作者有意地提供，例如，呈現(xiàn)在成像裝置的視野內(nèi)或貼附到物體的表面，或者可被自動地辨識為物體的表面的全部或一部分。另外，視覺提示可在無需人類操作者采取任何蓄意動作的情況下自然地存在于環(huán)境內(nèi)，例如，圖4的盒子40的輪廓42。

在方框730處，基于所識別視覺提示來選擇將要進(jìn)行的用于使環(huán)境處于所需條件的動作。所選擇動作可針對使用一個或多個自動化機(jī)器導(dǎo)致環(huán)境的任何方面的變化。在方框740處，基于在方框710處捕獲的成像數(shù)據(jù)確定環(huán)境的進(jìn)行前條件。例如，在動作意圖將物品存放到預(yù)定存儲器皿或設(shè)施中的情況下，可確定物品的條件(例如物品的位置)或存儲器皿或設(shè)施的條件(例如所述器皿或設(shè)施的容量)。在方框750處，向自動化機(jī)器發(fā)射用于對環(huán)境進(jìn)行所選擇動作的指令，所述自動化機(jī)器可以是或可包括任何形式的汽車、部件、發(fā)動機(jī)、電動機(jī)、車輛或類似的機(jī)器或一件裝備，所述裝備連接到聯(lián)網(wǎng)計算機(jī)或具有與其相關(guān)聯(lián)的自動化控制器，所述自動化控制器被配置來接收用于進(jìn)行一個或多個任務(wù)的指令。

在方框760處，使用成像裝置捕獲與環(huán)境有關(guān)的成像數(shù)據(jù)，并且在方框770處，基于成像數(shù)據(jù)確定環(huán)境的進(jìn)行后條件。例如，在成像裝置捕獲了用來確定在進(jìn)行所選擇動作之前環(huán)境的條件的成像數(shù)據(jù)的情況下，成像裝置可捕獲關(guān)于在進(jìn)行所選擇動作之后環(huán)境的條件的成像數(shù)據(jù)。

在方框780處，確定環(huán)境的進(jìn)行后條件是否與在進(jìn)行所選擇動作之后環(huán)境的所需條件一致。通過將在進(jìn)行所選擇動作之后環(huán)境的條件與所需條件相比較，可確定所選擇動作在實現(xiàn)預(yù)期結(jié)果方面的效力。如果環(huán)境的進(jìn)行后條件與所需條件不一致，那么過程返回到方框730，在方框730中基于所識別視覺提示來選擇將要進(jìn)行的用于使環(huán)境處于所需條件的動作。然而，如果環(huán)境的進(jìn)行后條件與所需條件一致，那么過程結(jié)束。

因此，圖像和成像數(shù)據(jù)不僅可用來基于在圖像或成像數(shù)據(jù)中表達(dá)的視覺提示識別將要進(jìn)行的任務(wù)，而且可用來確認(rèn)所述任務(wù)和任何相關(guān)聯(lián)的動作已經(jīng)成功進(jìn)行。參考圖8A和圖8B，展示了根據(jù)本公開的實施方案的用于基于視覺提示進(jìn)行自動化任務(wù)的一個系統(tǒng)800A的部件以及由系統(tǒng)800A捕獲的圖像800B。除非另外指出，否則圖8A或圖8B所示的前面有數(shù)字“8”的參考數(shù)字所指示的部件或特征類似于具有圖6A或圖6B所示的前面是數(shù)字“6”、圖4所示的前面是數(shù)字“4”、圖2A或圖2B所示的前面是數(shù)字“2”或者圖1A或圖1B所示的前面是數(shù)字“1”的參考數(shù)字的部件或特征。

如圖8A所示，系統(tǒng)800A包括具有存儲設(shè)施833的履行中心830、桌子或工作表面835，以及上面安裝有成像裝置840的自主移動機(jī)器人850。存儲設(shè)施833在其中包括多個物品80A、80B、80C。圖8A的存儲設(shè)施833中所示的物品80A、80B、80C中的每一個包括標(biāo)記在其上的視覺提示82A、82B、82C。另外，桌子835還包括標(biāo)記在其上的視覺提示82D。自主移動機(jī)器人850可包括任何類型或形式的計算機(jī)部件或裝置(未展示)以用于控制所述自主移動機(jī)器人或成像裝置840的操作，并且如圖8A所示，自主移動機(jī)器人850被對準(zhǔn)以使成像裝置840能夠捕獲關(guān)于存儲設(shè)施833和其內(nèi)容物的成像數(shù)據(jù)。

根據(jù)本公開，自動化機(jī)器(諸如圖8A的自主移動機(jī)器人850)可被編程來基于對一個或多個視覺提示的辨識進(jìn)行動作。例如，如圖8A所示，自主移動機(jī)器人850可被命令從存儲設(shè)施833取回帶有圓圈內(nèi)的“X”的物品，并且將帶有“X”的物品存放在帶有圓圈內(nèi)的心形的工作臺。自主移動機(jī)器人850可因此使用成像裝置840捕獲關(guān)于所述自主移動機(jī)器人850所在環(huán)境(也就是存儲設(shè)施833的正面)的條件的第一圖像或第一組成像數(shù)據(jù)。基于所述圖像或成像數(shù)據(jù)，自主移動機(jī)器人850可識別帶有圓圈內(nèi)的“X”的物品(也就是物品80A)在存儲設(shè)施833內(nèi)部的位置，以及帶有圓圈內(nèi)的心形的工作臺(也就是桌子835)的位置。隨后，自主移動機(jī)器人850可從存儲設(shè)施833取回物品80A。

一旦自主移動機(jī)器人850已確定它已經(jīng)從存儲設(shè)施833取回物品80A，自主移動機(jī)器人850就可在轉(zhuǎn)到桌子835之前捕獲關(guān)于在進(jìn)行動作之后環(huán)境的條件的第二圖像或第二組成像數(shù)據(jù)。如果第二圖像或第二組成像數(shù)據(jù)指示環(huán)境的條件與動作的進(jìn)行一致，那么自主移動機(jī)器人850可基于一個或多個視覺提示的存在或不存在來確認(rèn)動作已經(jīng)進(jìn)行，并且可例如轉(zhuǎn)到將所述物品存放在帶有圓圈內(nèi)的心形的工作臺(也就是桌子835)處。

參考圖8B，展示了一組800B圖像842A、842B、842C、842D。如圖8B所示，組800B包括圖像842A，圖像842A對應(yīng)于其中已確認(rèn)動作的進(jìn)行的環(huán)境，也就是其中存儲設(shè)施833包括物品80B和物品80C但是不包括物品80A的環(huán)境，從而指示自主移動機(jī)器人對動作的進(jìn)行已導(dǎo)致取回帶有視覺提示80A的物品而沒有取回帶有視覺提示80B或視覺提示80C的物品中的任一個。

如圖8B還展示，組800B包括圖像842B、842C、842D，所述圖像842B、842C、842D對應(yīng)于其中可能并未確認(rèn)動作的進(jìn)行的環(huán)境。圖像842B指示存儲設(shè)施833包括視覺提示82A、82B、82C中的每一個，并且分別指示動作的進(jìn)行并未導(dǎo)致取回物品80A、80B、80C中的每任一個。圖像842C指示存儲設(shè)施833包括視覺提示82A、82C但是不包括視覺提示82B，從而確認(rèn)動作的進(jìn)行已導(dǎo)致取回物品80B，但是并未導(dǎo)致取回物品80A。圖像842D指示存儲設(shè)施833包括視覺提示82A、82B但是不包括視覺提示82C，從而確認(rèn)動作的進(jìn)行已導(dǎo)致取回物品80C，但是并未導(dǎo)致取回物品80A。

盡管本文描述的實施方案中的一些描述了用于從履行中心的一個或多個方面內(nèi)的物體捕獲圖像或成像數(shù)據(jù)的特定系統(tǒng)或方法，但是本公開的系統(tǒng)和方法不限于此并且可與用于實現(xiàn)本文公開的結(jié)果的任何系統(tǒng)和方法一起使用。另外，根據(jù)本公開，可串行地或并行地且彼此獨(dú)立地或彼此相結(jié)合地使用這類系統(tǒng)和方法。

如上文所討論，可利用本文公開的系統(tǒng)和方法在辨識視覺提示或視覺提示的視覺圖案后觸發(fā)并操縱任務(wù)。例如，經(jīng)授權(quán)的工人可在成像裝置(例如，在安全設(shè)施外部提供的監(jiān)視相機(jī))的視野內(nèi)呈現(xiàn)經(jīng)核準(zhǔn)或授權(quán)的視覺提示或視覺圖案，并且在辨識所述經(jīng)核準(zhǔn)或授權(quán)的視覺提示或視覺圖案后可打開閘門或門。類似地，在零售環(huán)境中請求幫助的顧客可直接舉起預(yù)定的物體或圖案(例如，一件可辨識的衣物)，并且本公開的一些實施方案可被配置來辨識所述物體或圖案，識別與所辨識物體或圖案相關(guān)聯(lián)的合格的銷售人員或代理人，并且轉(zhuǎn)到請求幫助的顧客。

另外，可利用本文公開的系統(tǒng)和方法來重新配置工業(yè)自動化系統(tǒng)以用于進(jìn)行一個或多個不同任務(wù)。例如，在汽車的車廂完成之后，可將第一視覺提示或第一視覺圖案放到正在組裝線上組裝的汽車的引擎蓋上。成像裝置可辨識第一視覺提示或第一視覺圖案并且命令自動化機(jī)器(例如機(jī)器人手臂)開始將擋風(fēng)玻璃安裝到車廂上。在擋風(fēng)玻璃安裝完成后，可將第二視覺提示或第二視覺圖案放到汽車的引擎蓋上，并且在由成像裝置辨識第二視覺提示或第二視覺圖案后，可請求對擋風(fēng)玻璃對準(zhǔn)進(jìn)行人工檢查、評估或調(diào)整。類似地，請求對履行中心內(nèi)的存儲器皿或設(shè)施(例如，分隔間、箱子、手推車、托盤或手提袋)的內(nèi)容物進(jìn)行審查的工人可將預(yù)定的視覺提示或視覺圖案放到存儲器皿或設(shè)施上，并且存儲器皿或設(shè)施可被轉(zhuǎn)向到或送到預(yù)定的目的地，同事可在所述目的地處進(jìn)行審查。

此外，還可利用本文公開的系統(tǒng)和方法來控制一個或多個自主移動機(jī)器人在履行中心或類似設(shè)施內(nèi)進(jìn)行的任務(wù)。例如，自主移動機(jī)器人可被命令取回位于履行中心中的第一位置的物品，或?qū)⑽锲匪偷铰男兄行闹械牡诙恢?。自主移動機(jī)器人可將自己帶到第一位置或第二位置，辨識貼到履行中心的一個或多個結(jié)構(gòu)特征或元件(包括履行中心內(nèi)的一個或多個架子、箱子、機(jī)架、層、桿、掛鉤或其他存儲裝置，以及墻壁、天花板或地板)上的一個或多個視覺提示或視覺圖案，并且基于對視覺提示或視覺圖案的辨識來識別并進(jìn)行任務(wù)。

應(yīng)理解，除非本文另外明確地或隱含地指出，否則關(guān)于本文中特定實施方案所描述的特征、特性、替代案或修改中的任一個也可與本文描述的任何其他實施方案一起應(yīng)用、使用或合并，并且應(yīng)理解，本公開的附圖和詳述意圖涵蓋對所附權(quán)利要求書所定義的各種實施方案的全部修改、等效物和替代案。此外，關(guān)于本文描述的本公開的一個或多個方法或過程(包括但不限于圖3、圖5或圖7所示的流程圖)，呈現(xiàn)這類方法或過程的次序并不意圖被理解為對要求保護(hù)的發(fā)明的任何限制，并且本文描述的任何數(shù)量的方法或過程步驟或方框可按任何次序和/或并行地組合，以實現(xiàn)本文描述的方法或過程。此外，本文的附圖并不是按比例繪制，特別是本文公開的網(wǎng)絡(luò)送貨系統(tǒng)的各方面或元件在垂直空間和/或水平空間中相對于彼此的相對位置。

除非另外特別陳述或在所使用情境內(nèi)另外理解，否則條件性語言(諸如“可以”、“可”、“可能會”或“可能”以及其他條件性語言)通常意圖以寬容的方式表達(dá)某些實施方案可包括或有可能包括但是并不強(qiáng)制要求或要求某些特征、要素和/或步驟。以類似的方式，諸如“包括”(“include”、“including”和“includes”)的術(shù)語通常意圖指“包括但不限于”。因此，這種條件性語言通常并不意圖暗示特征、要素和/或步驟是一個或多個實施方案以任何方式所要求的，或一個或多個實施方案必定包括用于在有或沒有用戶輸入或提示的情況下決定這些特征、要素和/或步驟被包括在任何特定實施方案中或?qū)⒁谌魏翁囟▽嵤┓桨钢羞M(jìn)行的邏輯。

結(jié)合本文公開的實施方案所描述的方法、過程或算法的要素可直接體現(xiàn)在硬件中、軟件模塊中、或這兩者的組合中，所述軟件模塊存儲在一個或多個存儲器裝置中并且由一個或多個處理器執(zhí)行。軟件模塊可駐留在RAM、閃存、ROM、EPROM、EEPROM、寄存器、硬盤、可移除磁盤、CD-ROM、DVD-ROM或本領(lǐng)域已知的任何其他形式的一個或多個非暫時性計算機(jī)可讀存儲介質(zhì)或物理計算機(jī)存儲體中。示例性存儲介質(zhì)可聯(lián)接到處理器，以使得處理器可從存儲介質(zhì)讀取信息并且向存儲介質(zhì)寫入信息。在替代案中，存儲介質(zhì)可與處理器成一體。存儲介質(zhì)可以是易失性的或非易失性的。處理器和存儲介質(zhì)可駐留在ASIC中。ASIC可駐留在用戶終端中。在替代案中，處理器和存儲介質(zhì)可駐留在用戶終端中的離散部件中。

除非另外特別陳述，否則轉(zhuǎn)折性語言(諸如短語“X、Y或Z中的至少一個”或“X、Y和Z中的至少一個”)通常在所使用情境的情況下被另外理解為提出物品、術(shù)語等可以是X、Y或Z中的任一個或其任何組合(X、Y和/或Z)。因此，這種轉(zhuǎn)折性語言通常并不意圖且不應(yīng)暗示至少一個X、至少一個Y或至少一個Z均存在。

除非另外明確地陳述，否則諸如“一個”(“a”或“an”)的冠詞通常應(yīng)被解釋為包括一個或多個所描述物品。因此，諸如“被配置來......的裝置”的短語意圖包括一個或多個所列舉裝置。這類一個或多個所列舉裝置也可被共同地配置來執(zhí)行所陳述列舉項。例如，“被配置來執(zhí)行列舉項A、B和C的處理器”可包括被配置來執(zhí)行列舉項A的第一處理器，所述第一處理器與被配置來與執(zhí)行列舉項B和C的第二處理器相結(jié)合地工作。

本文使用的程度語言(諸如，如本文所使用的術(shù)語“約”、“大約”“、”“大體”、“幾乎”或“大致”)表示仍然進(jìn)行所需功能或?qū)崿F(xiàn)所需結(jié)果的接近所陳述值、量或特性的值、量或特性。例如，術(shù)語“約”、“大約”“、”“大體”、“幾乎”或“大致”可指在所陳述量的小于10％內(nèi)、小于5％內(nèi)、小于1％內(nèi)、小于0.1％內(nèi)和小于0.01％內(nèi)的量。

盡管已參考本發(fā)明的說明性實施方案來描述并說明本發(fā)明，但是在不背離本公開的精神和范圍的情況下可在其中且對其進(jìn)行前述的和各種其他的添加和省略。

條款1.一種進(jìn)行自動化任務(wù)的系統(tǒng)，其包括：

成像裝置；

至少一個數(shù)據(jù)存儲體；

自動化機(jī)器；以及

計算裝置，所述計算裝置與所述成像裝置和所述自動化機(jī)器通信，

其中所述計算裝置被配置來實現(xiàn)一個或多個服務(wù)，并且

其中所述一個或多個服務(wù)被配置來：

使用所述成像裝置捕獲物體的圖像；

辨識在所述圖像內(nèi)表達(dá)的視覺提示，其中所述視覺提示與所述物體的至少一部分相關(guān)聯(lián)；

至少部分地基于維持在所述至少一個數(shù)據(jù)存儲體中的關(guān)于多個任務(wù)的信息來確定所述視覺提示與至少一個任務(wù)之間的關(guān)聯(lián)；

識別執(zhí)行所述至少一個任務(wù)所需要的至少一個動作；并且

向所述自動化機(jī)器提供用于進(jìn)行所述至少一個任務(wù)的電子指令。

條款2.如條款1所述的進(jìn)行自動化任務(wù)的系統(tǒng)，其中所述一個或多個服務(wù)還被配置來：

識別與所述視覺提示相關(guān)聯(lián)的情境，其中所述關(guān)聯(lián)至少部分地基于所述情境來確定。

條款3.如條款1所述的進(jìn)行自動化任務(wù)的系統(tǒng)，其中所述視覺提示包括以下各項中的至少一項：

字母數(shù)字字符；

符號；

圖標(biāo)；或

所述物體的至少所述部分的輪廓。

條款4.一種計算機(jī)實現(xiàn)的方法，其包括：

識別關(guān)于物體的第一組成像數(shù)據(jù)，其中所述第一組成像數(shù)據(jù)包括關(guān)于與所述物體相關(guān)聯(lián)的至少一個視覺提示的信息；

由至少一個計算機(jī)處理器至少部分地基于所述第一組成像數(shù)據(jù)識別所述至少一個視覺提示；

由所述至少一個計算機(jī)處理器至少部分地基于所述至少一個視覺提示識別與所述物體相關(guān)聯(lián)的第一自動化任務(wù)；以及

由所述至少一個計算機(jī)處理器向第一自動化機(jī)器提供用于進(jìn)行與所述第一自動化任務(wù)相關(guān)聯(lián)的至少一個動作的指令。

條款5.如條款4所述的計算機(jī)實現(xiàn)的方法，其中識別關(guān)于所述物體的所述第一組成像數(shù)據(jù)包括：

使用至少一個成像裝置捕獲所述第一組成像數(shù)據(jù)。

條款6.如條款5所述的計算機(jī)實現(xiàn)的方法，其中所述第一自動化機(jī)器是所述至少一個成像裝置。

條款7.如條款5所述的計算機(jī)實現(xiàn)的方法，其中所述第一組成像數(shù)據(jù)包括所述物體的至少一個圖像。

其中所述至少一個視覺提示是在所述物體的所述至少一個圖像內(nèi)表達(dá)的。

條款8.如條款7所述的計算機(jī)實現(xiàn)的方法，其中所述物體或所述至少一個視覺提示中的至少一個是由至少一個人在所述至少一個圖像內(nèi)呈現(xiàn)的。

條款9.如條款4所述的計算機(jī)實現(xiàn)的方法，其中識別所述至少一個視覺提示包括：

至少部分地基于所述成像數(shù)據(jù)辨識所述物體的邊緣、外形或輪廓中的至少一個；以及

至少部分地基于所述邊緣、所述外形或所述輪廓識別所述至少一個視覺提示。

條款10.如條款4所述的計算機(jī)實現(xiàn)的方法，其中識別與所述物體相關(guān)聯(lián)的所述第一自動化任務(wù)包括：

識別存儲在至少一個數(shù)據(jù)存儲體中的多個記錄，其中所述記錄中的每一個包括多個視覺提示中的一個與多個自動化任務(wù)中的至少一個之間的關(guān)聯(lián)；

選擇所述多個記錄中的對應(yīng)于所述至少一個視覺提示的至少一個；以及

至少部分地基于所述多個記錄中的所述所選擇的至少一個識別所述第一自動化任務(wù)。

條款11.如條款4所述的計算機(jī)實現(xiàn)的方法，其中識別與所述物體相關(guān)聯(lián)的所述第一自動化任務(wù)包括：

確定與所述至少一個視覺提示、所述物體或提供所述物體的環(huán)境中的至少一個相關(guān)聯(lián)的情境，

其中所述第一自動化任務(wù)至少部分地基于所述情境來識別。

條款12.如條款4所述的計算機(jī)實現(xiàn)的方法，其還包括：

識別提供所述物體的環(huán)境的所需條件，其中所述環(huán)境的所述所需條件與所述第一自動化任務(wù)相關(guān)聯(lián)；

使用至少一個成像裝置捕獲關(guān)于所述物體的第二組成像數(shù)據(jù)；

至少部分地基于所述第二組成像數(shù)據(jù)確定提供所述物體的所述環(huán)境的條件；

確定所述環(huán)境的所述條件是否與所述環(huán)境的所述所需條件一致；以及

在確定所述環(huán)境的所述條件與所述環(huán)境的所述所需條件一致后，

存儲已進(jìn)行所述第一自動化任務(wù)的指示。

條款13.如條款12所述的計算機(jī)實現(xiàn)的方法，其還包括：

由所述至少一個計算機(jī)處理器至少部分地基于所述至少一個視覺提示識別與所述物體相關(guān)聯(lián)的第二自動化任務(wù)；以及

由所述至少一個計算機(jī)處理器向所述第一自動化機(jī)器提供用于進(jìn)行與所述第二自動化任務(wù)相關(guān)聯(lián)的至少一個動作的指令，

其中所述第二自動化任務(wù)至少部分地基于已進(jìn)行所述第一自動化任務(wù)的所述指示來識別。

條款14.如條款12所述的計算機(jī)實現(xiàn)的方法，其還包括：

由所述至少一個計算機(jī)處理器至少部分地基于所述至少一個視覺提示識別與所述物體相關(guān)聯(lián)的第二自動化任務(wù)；以及

由所述至少一個計算機(jī)處理器向第二自動化機(jī)器提供用于進(jìn)行與所述第二自動化任務(wù)相關(guān)聯(lián)的至少一個動作的指令，

其中所述第二自動化任務(wù)至少部分地基于已進(jìn)行所述第一自動化任務(wù)的所述指示來識別。

條款15.如條款12所述的計算機(jī)實現(xiàn)的方法，其還包括：

在確定所述環(huán)境的所述條件與所述環(huán)境的所述所需條件一不致后，

存儲對未進(jìn)行所述第一自動化任務(wù)的指示；

由所述至少一個計算機(jī)處理器至少部分地基于所述至少一個視覺提示識別與所述物體相關(guān)聯(lián)的第二自動化任務(wù)；以及

由所述至少一個計算機(jī)處理器向所述第一自動化機(jī)器提供用于進(jìn)行與所述第二自動化任務(wù)相關(guān)聯(lián)的至少一個動作的指令，

其中所述第二自動化任務(wù)至少部分地基于還未進(jìn)行所述第一自動化任務(wù)的所述指示來識別。

條款16.如條款4所述的計算機(jī)實現(xiàn)的方法，其中至少部分地基于所述第一組成像數(shù)據(jù)識別所述至少一個視覺提示包括：

至少部分地基于所述第一組成像數(shù)據(jù)識別關(guān)于視覺圖案的信息，其中所述視覺圖案包括與所述物體相關(guān)聯(lián)的所述至少一個視覺提示，

其中與所述物體相關(guān)聯(lián)的所述第一自動化任務(wù)至少部分地基于所述視覺圖案識別。

條款17.如條款16所述的計算機(jī)實現(xiàn)的方法，其中所述視覺圖案包括與所述物體相關(guān)聯(lián)的第一視覺提示和與所述物體相關(guān)聯(lián)的第二視覺提示，并且

其中至少部分地基于所述第一組成像數(shù)據(jù)識別所述視覺圖案包括：

在第一時間至少部分地基于所述第一組成像數(shù)據(jù)識別關(guān)于所述第一視覺提示的信息；

在第二時間至少部分地基于所述第一組成像數(shù)據(jù)識別關(guān)于所述第二視覺提示的信息；以及

至少部分地基于所述第一視覺提示、所述第一時間、所述第二視覺提示和所述第二時間來定義所述視覺圖案。

條款18.如條款16所述的計算機(jī)實現(xiàn)的方法，其中所述視覺圖案包括提供在所述物體上的第一視覺提示和提供在所述物體上的第二視覺提示，并且

其中至少部分地基于所述第一組成像數(shù)據(jù)識別所述視覺圖案包括：

至少部分地基于所述第一組成像數(shù)據(jù)識別關(guān)于所述第一視覺提示的信息，其中所述信息包括所述物體上的所述第一視覺提示的第一位置；

在第二時間至少部分地基于所述第一組成像數(shù)據(jù)識別關(guān)于所述第二視覺提示的信息，其中所述信息包括所述物體上的所述第二視覺提示的第二位置；以及

至少部分地基于所述第一視覺提示、所述第一位置、所述第二視覺提示和所述第二位置來定義所述視覺圖案。

條款19.一種非暫時性計算機(jī)可讀介質(zhì)，其上存儲有計算機(jī)可執(zhí)行指令，

其中所述指令在被執(zhí)行時致使具有至少一個計算機(jī)處理器和至少一個數(shù)據(jù)存儲體的計算機(jī)系統(tǒng)進(jìn)行方法，所述方法包括：

使用成像裝置捕獲環(huán)境的至少一部分的第一圖像；

識別在所述第一圖像內(nèi)表達(dá)的視覺提示；

至少部分地基于在所述第一圖像內(nèi)表達(dá)的所述視覺提示選擇將要對所述環(huán)境進(jìn)行的第一動作；

向自動化機(jī)器發(fā)射用于進(jìn)行所述第一動作的至少一部分的指令；

使用所述成像裝置捕獲所述環(huán)境的至少所述部分的第二圖像；

至少部分地基于所述第二圖像確定所述自動化機(jī)器是否進(jìn)行了所述第一動作；

在確定所述自動化機(jī)器進(jìn)行了所述第一動作后，

至少部分地基于在所述第一圖像內(nèi)表達(dá)的所述視覺提示選擇將要對所述環(huán)境進(jìn)行的第二動作；以及

向所述自動化機(jī)器發(fā)射用于進(jìn)行所述第二動作的至少一部分的指令。

條款20.如條款19所述的非暫時性計算機(jī)可讀介質(zhì)，其中所述方法還包括：

至少部分地基于所述第一圖像識別所述視覺提示的情境，

其中所述第一動作至少部分地基于所述視覺提示的所述情境來選擇。