不適用。

技術(shù)領(lǐng)域

多個(gè)方面提供了用于使用多相機(jī)視覺系統(tǒng)將離散圖像拼接在一起以與制造過程一起使用的方法和系統(tǒng)。

背景

視覺系統(tǒng)捕獲可被用于識(shí)別零件并且基于圖像執(zhí)行過程的離散圖像。視覺系統(tǒng)可具有有限的視場(chǎng)，其沒有覆蓋預(yù)期區(qū)域。為了增加視場(chǎng)，圖像捕獲設(shè)備可以被移動(dòng)到遠(yuǎn)離目標(biāo)區(qū)域，以分辨率為代價(jià)來增加視場(chǎng)。可選地，廣角鏡頭可以與圖像捕獲設(shè)備一起使用以增加視場(chǎng)；然而，廣角鏡頭可使捕獲的圖像失真并且限制捕獲的圖像對(duì)于后續(xù)制造過程的可用性。

簡(jiǎn)要概述

本文的方面提供了用于拼接由視覺系統(tǒng)捕獲的離散圖像以用于隨后的制造過程的系統(tǒng)和方法。圖像拼接和制造系統(tǒng)可以包括在系統(tǒng)的處理方向上移動(dòng)材料的傳送系統(tǒng)。系統(tǒng)還包括多個(gè)相機(jī)。多個(gè)相機(jī)中的第一相機(jī)具有包括與傳送系統(tǒng)有關(guān)的區(qū)域的第一視場(chǎng)(“FOV”)，其與多個(gè)相機(jī)中的第二相機(jī)的第二FOV的一部分重疊。該系統(tǒng)還包括在傳送系統(tǒng)的處理方向(例如，材料移動(dòng)的方向)上在多個(gè)相機(jī)的后面的處理站。另外，該系統(tǒng)包括計(jì)算設(shè)備，其在邏輯上與多個(gè)相機(jī)耦合，以從具有第一FOV的第一相機(jī)接收第一圖像并且從具有第二FOV的第二相機(jī)接收第二圖像。計(jì)算設(shè)備拼接第一圖像和第二圖像以形成拼接圖像，該拼接圖像起到用于計(jì)算設(shè)備向處理站提供指令的輸入的作用。

采用該系統(tǒng)，圖像拼接和制造方法是可用的，其包括采用第一相機(jī)捕獲材料的第一材料部分的第一圖像以及采用第二相機(jī)捕獲材料的第二材料部分的第二圖像。第一材料部分和第二材料部分包括材料的第一共同部分。該方法還包括將第一圖像和第二圖像拼接成拼接圖像，并且識(shí)別拼接圖像中的第一圖案。從拼接圖像，該方法包括基于識(shí)別出的第一圖案來確定第一刀具軌跡(tool path)。在這個(gè)示例中的方法還包括基于第一刀具軌跡指示處理站對(duì)材料執(zhí)行操作。

提供這個(gè)概述以啟發(fā)而非限制在以下全面細(xì)節(jié)中所提供的方法和系統(tǒng)的范圍。

附圖說明

本文參考所附附圖詳細(xì)描述了本發(fā)明，其中：

圖1描繪了根據(jù)本發(fā)明的多個(gè)方面的示例性的圖像拼接和制造系統(tǒng)；

圖2描繪了根據(jù)本發(fā)明的多個(gè)方面的圖1中的具有重疊視場(chǎng)的多個(gè)相機(jī)的側(cè)視圖；

圖3描繪了根據(jù)本發(fā)明的多個(gè)方面的沿著輥面寬度(roll width)的一系列視場(chǎng)及其各自的重疊區(qū)域；

圖4描繪了根據(jù)本發(fā)明的多個(gè)方面的所捕獲的具有重疊部分的一系列離散圖像；

圖5描繪了根據(jù)本發(fā)明的多個(gè)方面的基于圖4中的離散圖像的示例性的拼接圖像；

圖6描繪了具有單個(gè)相機(jī)的非拼接圖像捕獲配置，單個(gè)相機(jī)捕獲與在圖2中的輥面寬度相同的輥面寬度的材料；

圖7描繪了根據(jù)本發(fā)明的多個(gè)方面的、代表用于采用視覺系統(tǒng)進(jìn)行校準(zhǔn)、圖像拼接和制造的方法的示例性的方框圖；以及

圖8描繪了根據(jù)本發(fā)明的多個(gè)方面的、代表用于采用視覺系統(tǒng)進(jìn)行圖像拼接和制造的方法的示例性的方框圖。

詳細(xì)描述

本發(fā)明的多個(gè)方面提供了用于把將要由處理系統(tǒng)處理的材料的圖像拼接在一起的系統(tǒng)和方法。圖像拼接是將離散圖像合并成單一拼接圖像。通過將離散圖像合并成單一拼接圖像，可以通過成像設(shè)備(例如，相機(jī))的集合以比單個(gè)成像設(shè)備采用類似的物理配置能夠捕獲的更高的分辨率來捕獲更大的視場(chǎng)(“FOV”)。例如，通過被定位成與目標(biāo)區(qū)域有充分距離以包含預(yù)期FOV，單個(gè)成像設(shè)備(諸如，相機(jī))可以具有與多個(gè)相機(jī)類似的FOV；然而，與多相機(jī)配置相比，由單相機(jī)系統(tǒng)增加距離來實(shí)現(xiàn)預(yù)期FOV降低了捕獲的圖像的分辨率。另外，可以采用各種各樣的鏡頭配置來更改單個(gè)成像設(shè)備，諸如，廣角鏡頭(例如，魚眼鏡頭)，其在不需要以上論述的額外的偏移距離的情況下能夠捕獲預(yù)期FOV。然而，鏡頭結(jié)構(gòu)的更改可以引發(fā)顯著的并且難以補(bǔ)償?shù)纳蓤D像的失真。因此，在其中圖像旨在與視覺系統(tǒng)結(jié)合使用以用于零件識(shí)別、質(zhì)量控制、位置信息、過程操作等等的應(yīng)用中，失真可能并不合適。因此，本發(fā)明的多個(gè)方面設(shè)想提供多個(gè)相機(jī)，每個(gè)相機(jī)均在同時(shí)進(jìn)行的捕獲期捕獲在各自的圖像中的不同的FOV，隨后這些圖像能夠被拼接在一起作為單個(gè)圖像。該圖像拼接解決方案提供了預(yù)期FOV圖像捕獲，而沒有廣角鏡頭的失真并且沒有用于單個(gè)成像設(shè)備捕獲相同F(xiàn)OV的增加的距離偏移。另外，與單個(gè)相機(jī)捕獲相同的預(yù)期FOV相比，預(yù)期FOV的更高分辨率可以采用多個(gè)相機(jī)來實(shí)現(xiàn)。另外，在沒有通過用于單相機(jī)解決方案的專用設(shè)備來彌補(bǔ)單個(gè)圖像的缺點(diǎn)的情況下，傳統(tǒng)的圖像捕獲設(shè)備可以在用于圖像拼接配置的時(shí)候被實(shí)施。

正因如此，圖像拼接和制造系統(tǒng)將多個(gè)圖像數(shù)字化地拼接在一起，以形成拼接圖像，隨后該拼接圖像在視覺系統(tǒng)內(nèi)被用于識(shí)別材料中的在拼接圖像中捕獲的一個(gè)或多個(gè)特征。在一個(gè)示例性的方面中，特征從可能特征的庫中被識(shí)別出。一旦特征被識(shí)別出，一組指令被檢索和/或被確定以對(duì)材料執(zhí)行操作。該組指令可以是用于處理站的刀具軌跡。例如，處理站可以是用于將粘合劑施加于材料的粘合劑施加設(shè)備、用于將表面處理應(yīng)用于材料的涂覆設(shè)備、用于移動(dòng)材料的一部分的拾取工具、用于壓縮一個(gè)或多個(gè)材料的壓緊設(shè)備、用于將熱能施加于材料的加熱設(shè)備、用于將材料與一個(gè)或多個(gè)材料拼接的縫紉設(shè)備、用于將材料與一個(gè)或多個(gè)材料接合的焊接設(shè)備以及在本文中設(shè)想的其他處理設(shè)備。

該組指令可以是被處理站理解的刀具軌跡。例如，設(shè)想刀具軌跡可以是一般由處理站解釋以用于控制運(yùn)動(dòng)和活動(dòng)的數(shù)字控制指令?？梢曰谧R(shí)別出的特征從數(shù)字庫提取刀具軌跡。可選地，可以響應(yīng)于識(shí)別出的特征而生成刀具軌跡。響應(yīng)于該組指令被提供給處理站，處理站隨后可以按照接收到的指令對(duì)材料執(zhí)行制造過程。

在一個(gè)示例性的方面中，由多個(gè)相機(jī)捕獲的材料是軋制的商品，其具有在其中整體地形成的多個(gè)鞋類部件。由于材料的連續(xù)軋制前進(jìn)通過了多個(gè)相機(jī)的集合FOV，因此圖像拼接被執(zhí)行以導(dǎo)致材料的輥面寬度的單一圖像。拼接圖像捕獲在材料中整體地形成的鞋類部件中的一個(gè)或多個(gè)鞋類部件，其隨后由計(jì)算設(shè)備識(shí)別。計(jì)算設(shè)備隨后從庫中確定或者計(jì)算設(shè)備生成指令以用于由作為處理站的激光切割設(shè)備使用。由于軋制材料從多個(gè)相機(jī)開始前進(jìn)并且進(jìn)入激光切割機(jī)，因此激光切割機(jī)切割材料以從材料中提取識(shí)別出的部件。因此，材料的連續(xù)軋制可以通過這樣的系統(tǒng)：在該系統(tǒng)中，材料包括在連續(xù)過程中可識(shí)別的并且能夠從其中提取的部件。

如下文中將會(huì)提供的，圖像拼接過程包括多個(gè)圖像捕獲設(shè)備的初始校準(zhǔn)以及基于將要在視覺系統(tǒng)中用于識(shí)別特征/部件的生成的拼接圖像的校準(zhǔn)。每個(gè)相機(jī)被初始校準(zhǔn)，以實(shí)現(xiàn)在相機(jī)之中的一致的每英寸像素。多個(gè)相機(jī)中的每個(gè)相機(jī)隨后同時(shí)捕獲包括了一個(gè)或多個(gè)特征的區(qū)域的圖像。在各個(gè)圖像之間的重疊部分被識(shí)別和記錄，以將離散圖像協(xié)調(diào)成為單個(gè)視圖。這種協(xié)調(diào)和記錄允許來自多個(gè)相機(jī)的離散圖像被拼接在一起成為單一圖像。具有多個(gè)相機(jī)的視覺系統(tǒng)隨后基于拼接圖像而被校準(zhǔn)。

在示例性的方面中，圖像拼接和制造系統(tǒng)包括在處理方向上移動(dòng)材料的傳送系統(tǒng)。該系統(tǒng)還包括多個(gè)相機(jī)，其中，多個(gè)相機(jī)中的第一相機(jī)具有包括與傳送系統(tǒng)有關(guān)的區(qū)域的第一FOV，其與多個(gè)相機(jī)中的第二相機(jī)的第二FOV的一部分重疊。應(yīng)理解的是，可以實(shí)現(xiàn)任何數(shù)量(諸如，四個(gè))的相機(jī)。該系統(tǒng)還包括在傳送系統(tǒng)的處理方向上在多個(gè)相機(jī)的后面的處理站。再另外，該系統(tǒng)包括計(jì)算設(shè)備，其在邏輯上與多個(gè)相機(jī)耦合，以從具有第一FOV的第一相機(jī)接收第一圖像并且從具有第二FOV的第二相機(jī)接收第二圖像。計(jì)算設(shè)備拼接第一圖像和第二圖像，以形成拼接圖像，該拼接圖像是用于計(jì)算設(shè)備向處理站提供指令的輸入。

另一方面設(shè)想圖像拼接和制造方法，其包括采用第一相機(jī)捕獲材料中的第一材料部分的第一圖像。該方法繼續(xù)采用第二相機(jī)捕獲材料中的第二材料部分的第二圖像。第一材料部分和第二材料部分包括材料的第一共同部分。該方法繼續(xù)將第一圖像和第二圖像拼接成拼接圖像，并且隨后識(shí)別拼接圖像中的第一圖案。從拼接圖像，系統(tǒng)基于識(shí)別出的第一圖案確定第一刀具軌跡。另外，該方法包括基于第一刀具軌跡指示處理站對(duì)材料執(zhí)行操作。

在本文中設(shè)想的多個(gè)方面還包括用于將圖像拼接與制造過程一起使用的視覺系統(tǒng)的校準(zhǔn)方法。該方法包括校準(zhǔn)來自視覺系統(tǒng)的具有第一FOV的第一相機(jī)，以及校準(zhǔn)來自視覺系統(tǒng)的具有第二FOV的第二相機(jī)。第一FOV和第二FOV包括共同的區(qū)域，其在本文中可被稱作重疊區(qū)域。該方法繼續(xù)從第一相機(jī)捕獲第一圖像，并且從第二相機(jī)捕獲第二圖像。該方法隨后識(shí)別在第一圖像和第二圖像中的一致特征。一致特征是在兩個(gè)圖像中都找到的特征。該方法繼續(xù)基于識(shí)別出的一致特征來調(diào)整第一相機(jī)和第二相機(jī)的偏移。從該處，該方法允許在調(diào)整偏移之后生成來自第一相機(jī)和第二相機(jī)的第一拼接圖像，并且隨后基于第一拼接圖像校準(zhǔn)視覺系統(tǒng)。

轉(zhuǎn)到圖1，其描繪了具有傳送系統(tǒng)102、多個(gè)相機(jī)104、106、108、110、處理站112和計(jì)算設(shè)備116的系統(tǒng)100。系統(tǒng)100在本質(zhì)上是示例性的而非限定性的。設(shè)想額外的或者更少的元件可以與根據(jù)本申請(qǐng)的多個(gè)方面的系統(tǒng)合并。例如，任何數(shù)量的相機(jī)可以形成多個(gè)(例如，2、3、4、5、6、7、8、9和10個(gè))相機(jī)。另外，在一個(gè)示例性的方面中，設(shè)想任何數(shù)量的處理站112可以被實(shí)施。另外，沒有描繪的可選元件/設(shè)備/部件同樣可以被并入示例性的方面。

傳送系統(tǒng)102可以是能夠移動(dòng)材料通過多個(gè)相機(jī)的任何結(jié)構(gòu)。在一個(gè)示例性的方面中，傳送系統(tǒng)102是沿著基本平坦的表面向著處理站112有效傳輸軋制材料122的傳送帶類型的機(jī)構(gòu)。傳送系統(tǒng)102可以包括皮帶、正壓力臺(tái)、真空臺(tái)、腳輪臺(tái)等等。設(shè)想在傳送系統(tǒng)上移動(dòng)的材料可以通過任何裝置被移動(dòng)。例如，傳送系統(tǒng)可以具有在其上定位了材料的回轉(zhuǎn)帶、可以機(jī)械地固定材料并且移動(dòng)材料的一個(gè)或多個(gè)夾持元件、可以推動(dòng)材料的一個(gè)或多個(gè)推動(dòng)元件和/或可以拉動(dòng)材料的一個(gè)或多個(gè)牽拉元件。例如，設(shè)想材料可以是軋制的商品(諸如，材料122)，軋制的商品隨著其被鋪開以及被處理而在傳送系統(tǒng)102上沿著回轉(zhuǎn)式傳送帶類型的機(jī)構(gòu)移動(dòng)。在圖1中描繪的示例中，傳送系統(tǒng)102有效地將材料移動(dòng)通過多個(gè)相機(jī)104、106、108、110到達(dá)處理站112。另外，在另一個(gè)示例性的方面中，設(shè)想材料可以安置成相對(duì)于多個(gè)相機(jī)固定，并且隨后處理站被移動(dòng)到與材料有關(guān)的位置中。

系統(tǒng)100還可以包括軋制材料保持器120。軋制材料保持器120可以有效鋪開材料122，以用于饋送到傳送系統(tǒng)102。例如，軋制材料保持器120可以具有能夠調(diào)整在給定時(shí)間中鋪開的材料的量的步進(jìn)電機(jī)或者其他受控移動(dòng)機(jī)構(gòu)。軋制材料122的這個(gè)受控且機(jī)械化的分布可以有效地以已知速率將材料饋送通過系統(tǒng)100。

系統(tǒng)100還可以包括位置記錄器118。當(dāng)材料延伸通過系統(tǒng)100，位置記錄器追蹤材料的位置。例如，當(dāng)在多個(gè)相機(jī)104、106、108、110的集合FOV中捕獲到材料122的一部分的時(shí)候，位置記錄器118與計(jì)算設(shè)備116和處理站112關(guān)于可由處理站112對(duì)其執(zhí)行操作的一個(gè)或多個(gè)識(shí)別出的特征的位置進(jìn)行通信和協(xié)調(diào)。因此，并不是在處理站處捕獲圖像并且隨后執(zhí)行批量處理以允許視覺系統(tǒng)識(shí)別特征，在示例性的方面中，系統(tǒng)100能夠采用多個(gè)相機(jī)104、106、108、110以及處理站112連續(xù)地處理材料。另外，在一個(gè)示例性的方面中，設(shè)想在可選方面中，材料122的處理仍然是以批量的方式完成，但是多個(gè)相機(jī)104、106、108、110可以從處理站112環(huán)境中被移除，這可以限制由于在處理站112處形成的碎片的多個(gè)相機(jī)104、106、108、110的維護(hù)和污染。

位置記錄器118可以是機(jī)械位置傳感器、視覺傳感器、光線追蹤設(shè)備等等，以隨著材料前進(jìn)通過系統(tǒng)100而監(jiān)測(cè)材料的位置。雖然位置記錄器被描繪為在多個(gè)相機(jī)104、106、108、110和處理站112之間的盒子，但是應(yīng)理解的是，位置記錄器可以被定位在系統(tǒng)100中的任何位置處，諸如在傳送系統(tǒng)100的上面或下面，在處理站112的前面或者后面，與軋制材料保持器120連接等等。

多個(gè)相機(jī)104、106、108、110可以是任何的圖像捕獲設(shè)備。例如，它們可以在可見光光譜、紅外光譜、紫外線光譜、或者其組合中操作。另外，多個(gè)相機(jī)104、106、108、110可以是捕獲一系列圖像的攝像機(jī)，或者它們可以是離散圖像捕獲。相機(jī)可以使用電荷耦合器件(CCD)或者互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器。多個(gè)相機(jī)104、106、108、110在邏輯上與計(jì)算設(shè)備116耦合，使得可以在其之間進(jìn)行信息通信。例如，在示例性的方面中，數(shù)字圖像數(shù)據(jù)可以從多個(gè)相機(jī)104、106、108、110被發(fā)送到計(jì)算設(shè)備116，并且捕獲或者以其他方式調(diào)整圖像捕獲的特性的指令可以從計(jì)算設(shè)備116被接收。

計(jì)算設(shè)備116具有處理器和存儲(chǔ)器。計(jì)算設(shè)備116可以包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是可由計(jì)算設(shè)備116訪問的任何可用介質(zhì)，并包括易失性和非易失性介質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)。作為示例而不是限制，計(jì)算機(jī)可讀介質(zhì)可包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)的信息的任何方法或技術(shù)來實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng)的介質(zhì)。

計(jì)算機(jī)存儲(chǔ)介質(zhì)包括非易失性RAM、ROM、EEPROM、閃存或其它存儲(chǔ)技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它光盤儲(chǔ)存器、磁帶盒、磁帶、磁盤儲(chǔ)存器或其它磁儲(chǔ)存設(shè)備。計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括被傳播的數(shù)據(jù)信號(hào)。

通信介質(zhì)一般體現(xiàn)了在調(diào)制數(shù)據(jù)信號(hào)(諸如載波)或其它傳輸機(jī)制中的計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)，并包括任何信息遞送介質(zhì)。術(shù)語“調(diào)制數(shù)據(jù)信號(hào)”意指這樣的信號(hào)，該信號(hào)以使其特性中的一個(gè)或多個(gè)被設(shè)置或改變的方式來在該信號(hào)中編碼信息。作為示例而不是限制，通信介質(zhì)包括有線介質(zhì)(諸如有線網(wǎng)絡(luò)或直接接線連接)和無線介質(zhì)(諸如，聲波、RF、紅外和其它無線介質(zhì))。上述項(xiàng)中的任意的組合也應(yīng)被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。

計(jì)算設(shè)備116可以包括具有在其上體現(xiàn)的指令的計(jì)算機(jī)可讀介質(zhì)，其有效地使得系統(tǒng)100的一個(gè)或多個(gè)元件執(zhí)行一個(gè)或多個(gè)動(dòng)作。例如，在一個(gè)示例性的方面中，指令可以使移動(dòng)機(jī)構(gòu)移動(dòng)，使激光器發(fā)射激光能、使相機(jī)捕獲圖像、使記錄器記錄材料的位置以及使處理站執(zhí)行操作。

處理站112從計(jì)算設(shè)備116接收指令，并且響應(yīng)于那些指令對(duì)材料122執(zhí)行操作。在示例性的方面中，處理站112可以施加粘合劑、應(yīng)用表面拋光(例如，著色劑、防水材料、吸水材料)、拾取以及移動(dòng)材料、壓緊材料(例如，熱壓、冷壓、蒸汽壓)、加熱材料(例如，干燥、固化、加熱)、縫紉材料和/或焊接材料。在具體的示例中，處理站112是激光切割/修整設(shè)備，其有效對(duì)材料122施加激光能，以在整個(gè)材料上形成一個(gè)或多個(gè)切口。

在圖1中描繪的示例中，材料122包括多個(gè)鞋類部件，諸如鞋的鞋面元件124。可以在材料中整體地形成多個(gè)鞋類部件，諸如印制圖案、整體紡織元件、整體紡織元件等等。正因如此，當(dāng)材料在多個(gè)相機(jī)104、106、108、110的集合FOV下面通過，材料122內(nèi)的部件的類型被識(shí)別，并且恰當(dāng)?shù)牡毒哕壽E被提供給處理站。在接收到刀具軌跡信息并且材料122中的恰當(dāng)?shù)牟糠忠驳竭_(dá)處理站112的時(shí)候，處理站112執(zhí)行諸如啟動(dòng)刀具114并且控制刀具114的位置的操作以完成操作。在描繪的示例中，刀具114可以是激光器，其在材料122處發(fā)射激光能，以從材料122切斷多個(gè)鞋類部件，在圖1中描繪的示例中，這導(dǎo)致材料122具有切斷部分126。

圖2描繪了根據(jù)本發(fā)明的方面的具有重疊的視場(chǎng)的多個(gè)相機(jī)104、106、108、110的側(cè)視圖。在這個(gè)例證中，F(xiàn)OV覆蓋來自圖1的材料122的輥面寬度204。因?yàn)槎鄠€(gè)相機(jī)104、106、108、110組合地用于形成覆蓋輥面寬度的拼接圖像，在Z軸上的高度偏移Z由數(shù)字202表示。作為比較，圖6描繪了具有單個(gè)相機(jī)606的非拼接圖像捕獲配置600，單個(gè)相機(jī)606捕獲與根據(jù)本發(fā)明的方面的圖2中的輥面寬度相同的在FOV 608中的材料122的輥面寬度602。然而，配置600在Z軸上具有距離偏移Z¹604。在使用單個(gè)相機(jī)來捕獲輥面寬度602的這個(gè)示例中，Z¹604大于圖2中的Z 202。在制造情況下，降低在Z方向上的距離偏移允許更大的制造設(shè)置靈活性以及用于實(shí)現(xiàn)目標(biāo)的更小的專用制造體積要求。另外，對(duì)于一些輥面寬度，在Z方向上的距離偏移可以是巨大的，以至于由于在材料122和相機(jī)之間所保持的距離而影響校準(zhǔn)和一致性。如前面同樣討論的，相機(jī)606可能比多個(gè)相機(jī)104、106、108、110昂貴得多，這是由于由多個(gè)相機(jī)104、106、108、110中的每個(gè)相機(jī)捕獲的單獨(dú)的分辨率可以小于圖6中的單個(gè)相機(jī)606。另外，在仍然捕獲輥面寬度602的同時(shí)，可以采用廣角鏡頭來提高相機(jī)606以降低Z軸距離。廣角鏡頭可以影響圖像捕獲和校準(zhǔn)過程，以插入不一致性和/或?yàn)檠a(bǔ)償廣角鏡頭失真而使圖像處理變慢。因此，在示例性的方面中沒有實(shí)施單個(gè)相機(jī)捕獲輥面寬度602的使用。

圖4描繪了根據(jù)本發(fā)明的多個(gè)方面的所捕獲的具有重疊部分的一系列離散圖像。該一系列圖像包括圖像402、404、406和408，其共同捕獲材料的具有在X軸方向上的輥面寬度204的區(qū)域。圖像402包括特征410。圖像404包括特征411和412。圖像406包括特征413和414。圖像408包括特征415。

特征410包括特征411的至少一部分。特征412包括特征413的至少一部分。特征414包括特征415的至少一部分。在捕獲各自的圖像的相機(jī)之間的FOV重疊的結(jié)果是在離散圖像之間包含共同特征。如在圖3中更好地示出的，圖3描繪了根據(jù)本發(fā)明的多個(gè)方面的沿著輥面寬度204的一系列FOV及其各自的重疊區(qū)域。FOV 1 302、FOV 2 304、FOV 3 306和FOV 4 308捕獲示例性的材料122的輥面寬度204。在材料122在從上到下的角度看與Y軸206對(duì)齊的處理方向上移動(dòng)的時(shí)候，材料122可以在組合的FOV內(nèi)移動(dòng)以捕獲材料122的長(zhǎng)度，同時(shí)多個(gè)相機(jī)(例如，圖1和圖2中的多個(gè)相機(jī)104、106、108、110)捕獲在X軸方向上的輥面寬度204。

如在圖3中描繪的，F(xiàn)OV 1 302和FOV 2 304相互重疊以捕獲材料122的共同部分。在FOV 1 302和FOV 2 304之間的重疊是重疊1 310。在FOV2 304和FOV 3 306之間的重疊是重疊2 312。在FOV 3 306和FOV 4 308之間的重疊是重疊3 314。

存在于與示例性的重疊相關(guān)的對(duì)應(yīng)位置中的材料122的特征提供了用于校準(zhǔn)各自的相機(jī)的特征。例如，設(shè)想圖4中的特征411在第一相機(jī)(例如，圖2中的相機(jī)104)和第二相機(jī)(例如，圖2中的相機(jī)106)兩者的重疊區(qū)域(例如，重疊1 310)內(nèi)。正因如此，特征411的至少一部分特征在圖4中的圖像402中作為特征410的一部分而被捕獲，并且在圖4中的圖像404中作為特征411而被捕獲。具有一致特征(在離散圖像中找到的共同特征)的重疊區(qū)域允許計(jì)算設(shè)備校準(zhǔn)、對(duì)準(zhǔn)、定向、偏移等等以用于生成可用于制造目的的拼接圖像。

在計(jì)算設(shè)備識(shí)別在離散圖像之間的一致特征之后，離散圖像可以通過圖像拼接過程而被合并成單一圖像。根據(jù)本發(fā)明的多個(gè)方面，具有體現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上的指令的計(jì)算設(shè)備能夠?qū)⒁幌盗须x散圖像(諸如，圖像402、404、406和408)拼接成單一圖像，其被稱為拼接圖像，諸如在圖5中描繪的圖像500。圖像500是來自于圖4的離散圖像的拼接型式。圖像500包括特征410、412和415。在這個(gè)示例中，使用多個(gè)相機(jī)形成完整的單個(gè)圖像500，圖像500提供材料(例如，圖1中的材料122)的輥面寬度的單一圖像。

應(yīng)理解的是，特征可以具有任何尺寸、形狀、配置和構(gòu)造。在一個(gè)示例性的方面中，非重復(fù)的特征被實(shí)施。在一個(gè)可選的方面中，重復(fù)的一系列特征被實(shí)施，但是重復(fù)的系列大于捕獲材料的相機(jī)的FOV。在另一個(gè)方面，存在共同的特征，但是該特征被沿著輥面寬度以各種方式被定向和/或定位。另外，設(shè)想共同特征在各個(gè)FOV上被重復(fù)。另外，設(shè)想特征與材料形成整體，諸如，以整體紡織、編織、印制或者以其他方式形成。同樣設(shè)想特征可以在物理上不同于材料和/或?qū)?yīng)于捕獲的FOV的傳送系統(tǒng)。例如，一個(gè)或多個(gè)離散元件(例如，標(biāo)記、挖剪圖案花樣(cutout)、校準(zhǔn)材料)可以與軋制商品材料和/或傳動(dòng)系統(tǒng)無關(guān)地定位。

在示例性的方面中，設(shè)想特征是形成鞋類鞋面中的至少一部分鞋面的整體紡織或者編織結(jié)構(gòu)。例如，平織機(jī)可以生成在其中具有鞋面的整體形成的部件的軋制商品。在來自于織機(jī)的軋制商品中形成的部件中的每個(gè)部件可以包括用于該鞋面的功能元件和/或美學(xué)元件。這些元件中的一個(gè)或多個(gè)元件單獨(dú)或者組合地可以起到由相機(jī)和計(jì)算設(shè)備使用以從離散圖像拼接單一圖像的特征的作用。在這個(gè)示例中，特征同樣可以單獨(dú)或者組合地用于確定恰當(dāng)?shù)牡毒哕壽E，或者生成用于與特征關(guān)聯(lián)的材料的恰當(dāng)?shù)牡毒哕壽E。刀具軌跡(諸如，在處理站處用于激光切割機(jī)的激光切割軌跡)可以切割材料以包括或者不包括鞋面的特征中的用于確定刀具軌跡的一個(gè)或多個(gè)特征。換句話說，用于拼接圖像的一個(gè)或多個(gè)特征同樣可以用于確定刀具軌跡?？蛇x地，設(shè)想用于將離散圖像拼接在一起的一個(gè)或多個(gè)特征(諸如，在本領(lǐng)域中稱作感興趣的點(diǎn))可以與用于確定/生成用于材料的刀具軌跡的特征無關(guān)并且不同。再另外，設(shè)想可以根據(jù)在處理站處所處理的合成零件所包括的和/或不包括的一個(gè)或多個(gè)特征確定刀具軌跡。

圖2、圖3和圖4描繪了示例性的圖像尺寸和配置以及示例性的重疊尺寸和配置。應(yīng)理解的是，離散圖像可以具有任何尺寸和配置，重疊可以具有任何尺寸或配置，圖像的組合可以具有任何尺寸或配置，并且圖像和重疊的組合可以具有任何尺寸或配置。例如，設(shè)想來自第一相機(jī)的第一FOV可以不同于來自相鄰的第二相機(jī)的第二FOV。因此，在第一FOV和第二FOV之間的重疊的量可以不同于第三相機(jī)的第三FOV和第四相機(jī)的第四FOV的重疊的量，其中第一、第二、第三和第四FOV同時(shí)捕獲共同的材料。

圖7描繪了根據(jù)本發(fā)明的多個(gè)方面代表用于采用視覺系統(tǒng)進(jìn)行校準(zhǔn)、圖像拼接和制造的方法的示例性的方框圖700。在框702處，第一FOV諸如由第一相機(jī)捕獲。在框703處，第一相機(jī)被校準(zhǔn)。例如，在來自框702的第一FOV中捕獲的圖像可以起到用于第一相機(jī)的校準(zhǔn)過程的輸入的作用。校準(zhǔn)可以允許計(jì)算設(shè)備將第一相機(jī)校準(zhǔn)到已知的每英寸像素(或者任何度量)，隨后允許由具有第一FOV的第一相機(jī)捕獲的圖像相對(duì)于其他相機(jī)按比例放大或縮小。類似地，在框704處，第二FOV諸如由第二相機(jī)捕獲。在框705處，第二相機(jī)被校準(zhǔn)。在框706處，第N個(gè)FOV被捕獲，其中“第N個(gè)”表示任何數(shù)量，諸如，1、2、3、4、5、6、7、8和9。在框707處，第N個(gè)相機(jī)被校準(zhǔn)。框702-707提供了視覺系統(tǒng)中的相機(jī)的初始校準(zhǔn)，諸如，由視覺部件和系統(tǒng)的制造商提供的校準(zhǔn)。然而，與基于離散圖像進(jìn)行校準(zhǔn)的傳統(tǒng)校準(zhǔn)系統(tǒng)不同的是，如將會(huì)更詳細(xì)討論的圖7中的方法在這個(gè)示例性的方面中提供了具有使用用于校準(zhǔn)輸入的拼接圖像的隨后的校準(zhǔn)層的至少一個(gè)雙層校準(zhǔn)。

框703、705和707的第一校準(zhǔn)可以允許通過將離散圖像中的每個(gè)圖像縮放到有效地形成拼接圖像的共同的比例而發(fā)生拼接過程。例如，框708提供了對(duì)在視場(chǎng)中的兩個(gè)或更多個(gè)視場(chǎng)之間的一致特征的識(shí)別。一致特征可以是來自采用各自的FOV捕獲的圖像中的感興趣的點(diǎn)或者一系列感興趣的點(diǎn)(例如，在兩個(gè)離散圖像之間共同的一系列像素)?？梢杂删哂畜w現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上的指令的、有效確定在兩個(gè)或更多個(gè)圖像中的一個(gè)或多個(gè)一致特征的計(jì)算設(shè)備來執(zhí)行識(shí)別。

在框710處，一個(gè)或多個(gè)圖像的調(diào)整包括基于一致特征來調(diào)整相機(jī)的偏移定向和坐標(biāo)。例如，如果第一FOV和第二FOV相互稍微偏斜，那么關(guān)聯(lián)的相機(jī)中的一個(gè)或多個(gè)相機(jī)可以被數(shù)字化地調(diào)整，以補(bǔ)償定向和坐標(biāo)偏移。因此，當(dāng)相機(jī)的數(shù)據(jù)被合并為拼接圖像時(shí)，可以生成連續(xù)的并且光學(xué)校正的表示作為拼接圖像。如在框712中描繪的，拼接圖像通過拼接捕獲的FOV形成。在示例性的方面中，在框702、704和706中捕獲的相同圖像是拼接的圖像。在可選的示例性方面中，從框703、705和707中的校準(zhǔn)后的相機(jī)中捕獲的不同的圖像被拼接在一起。另外，設(shè)想一旦框703、705、707中的校準(zhǔn)完成，則在每個(gè)拼接操作之前不再執(zhí)行校準(zhǔn)。相反，在示例性的方面中，除非相機(jī)被機(jī)械移動(dòng)或者干擾，否則拼接過程可以在沒有重復(fù)初始的單獨(dú)的相機(jī)校準(zhǔn)的情況下繼續(xù)。

來自框712的拼接圖像被用作視覺系統(tǒng)的校準(zhǔn)過程的輸入。例如，雖然離散圖像被校準(zhǔn)以促進(jìn)最后的拼接操作，但是這個(gè)使用拼接圖像的校準(zhǔn)允許拼接圖像在視覺系統(tǒng)中使用以用于生成/確定處理站的刀具軌跡。例如，在框714處的拼接圖像的校準(zhǔn)可以允許拼接圖像起到從其確定數(shù)字控制指令的輸入的作用。這個(gè)采用拼接圖像的校準(zhǔn)可以確定在拼接圖像中是否存在失真，并且校正那些失真以使得拼接圖像適合用于確定刀具軌跡。另外，設(shè)想拼接圖像的校準(zhǔn)可以識(shí)別并且校正在離散圖像校準(zhǔn)過程中發(fā)生的失誤。因此，在示例性的方面中，這個(gè)使用包括合并離散圖像的拼接圖像的二級(jí)校準(zhǔn)允許多相機(jī)視覺系統(tǒng)在制造過程中被實(shí)施。如前面聲明的，與可具有較低分辨率或者由于廣角鏡頭配置帶來的失真的單個(gè)離散圖像不同的是，多相機(jī)配置在一些方面中允許較小物理空間量、較高分辨率以及潛在的更快的解決方案。

框716提供了使用來自校準(zhǔn)后的視覺系統(tǒng)的拼接圖像來識(shí)別材料上的零件。例如，視覺系統(tǒng)在基于拼接圖像的校準(zhǔn)之后，可以捕獲具有關(guān)于鞋類的整體形成的部件的軋制商品的新圖像。視覺系統(tǒng)可以捕獲材料的一系列離散的但卻是同步的圖像?？梢詫㈦x散圖像拼接成拼接圖像。隨后，拼接圖像可以由計(jì)算設(shè)備處理以識(shí)別在拼接圖像上的一個(gè)或多個(gè)零件/部件。例如，在與儲(chǔ)存在庫中的一個(gè)或多個(gè)已知特征對(duì)應(yīng)的拼接圖像中可以檢測(cè)感興趣的點(diǎn)?；诟信d趣的點(diǎn)與庫中的已知零件的匹配，可以在材料上確定并且電子地定位零件/部件?？蛇x地，拼接圖像可以包括基于邏輯而非感興趣的點(diǎn)可能匹配的儲(chǔ)存庫而檢測(cè)的一個(gè)或多個(gè)零件/部件。因此，設(shè)想可以以多種方式從拼接圖像中識(shí)別零件。另外，由于可以基于材料的精確細(xì)節(jié)來識(shí)別部件，因此在示例性方面中，與覆蓋相同的集合FOV的單個(gè)離散圖像相比具有潛在的更高分辨率的拼接圖像可能更適合于確定特征/零件。

在框718處，基于拼接圖像和識(shí)別出的零件，確定材料的刀具軌跡。例如，可以采用計(jì)算系統(tǒng)來儲(chǔ)存處理站的已知的一組操作，使得當(dāng)該給定零件被識(shí)別出的時(shí)候，刀具軌跡可以從存儲(chǔ)器中被檢索到。另外，設(shè)想可以基于感興趣的點(diǎn)或者拼接圖像的特征生成刀具軌跡，而不檢索刀具軌跡。因此，可以根據(jù)應(yīng)用和用途來檢索或者創(chuàng)建刀具軌跡。拼接圖像可以提供用于修改檢索出的刀具軌跡的輸入。例如，在材料的理想特征和實(shí)際特征之間的差異可以允許對(duì)檢索出的刀具軌跡進(jìn)行補(bǔ)償以解決差異。另外，在示例性的方面中，可以考慮特征的位置和定向信息以修改將要對(duì)材料恰當(dāng)?shù)貓?zhí)行的刀具軌跡。

在框720處，基于來自框718的刀具軌跡對(duì)材料執(zhí)行操作。例如，處理站可以接收可用的格式的刀具軌跡信息，其使得處理站對(duì)材料執(zhí)行操作。因此，設(shè)想與計(jì)算設(shè)備連接的處理站在材料沿著傳送系統(tǒng)前進(jìn)到處理站時(shí)記錄材料的位置。在恰當(dāng)?shù)臅r(shí)間和與材料有關(guān)的位置處，對(duì)材料執(zhí)行處理。例如，處理可以是激光切割操作，其從材料中切割用于鞋類物品的一個(gè)或多個(gè)部件?？梢杂蓪⒉牧系钠唇訄D像作為輸入的計(jì)算設(shè)備提供激光切割機(jī)可以使用的刀具軌跡。在這個(gè)示例中，刀具軌跡指示激光切割機(jī)按照定義的圖案切割材料，以導(dǎo)致從軋制商品中移除部件。

雖然在圖7中提供了特定的順序，然而應(yīng)理解的是，在示例性的方面中，可以調(diào)整該順序，可以插入額外的步驟，并且可以省略所描繪的步驟。

圖8描繪了根據(jù)本發(fā)明的多個(gè)方面代表用于采用視覺系統(tǒng)進(jìn)行圖像拼接和制造的方法的示例性的方框圖800。在框802處，采用第一相機(jī)捕獲第一圖像。第一圖像可以捕獲材料(諸如，軋制商品)的第一部分。在框804處，第二相機(jī)捕獲第二圖像。第二圖像可以捕獲材料的第二部分?？梢酝瑫r(shí)捕獲第一圖像和第二圖像。另外，在示例性的方面中，第一部分和第二部分包括共同部分。共同部分是第一圖像和第二圖像的重疊。

在框806處，將第一圖像和第二圖像拼接在一起成為拼接圖像。隨后可以由一個(gè)或多個(gè)計(jì)算設(shè)備和/或處理站將拼接圖像用作輸入，以生成用于在材料的第一和/或第二部分上執(zhí)行的刀具軌跡。

雖然在圖8中僅提供采用相應(yīng)的第一相機(jī)和第二相機(jī)的第一圖像和第二圖像，但是設(shè)想可以在本發(fā)明的多個(gè)方面中實(shí)現(xiàn)來自不同相機(jī)(或者共同的相機(jī))的任何數(shù)量的圖像。

在框808處，在拼接圖像中識(shí)別第一圖案。圖案可以是特征、感興趣的點(diǎn)、感興趣的點(diǎn)的集合、標(biāo)記或者在拼接圖像中捕獲的其他可感知的元素。在示例性的方面中，圖案可以是鞋的零件的特征或者是有效識(shí)別鞋的零件的特征。在框810處，基于圖案確定刀具軌跡。例如，在拼接圖像中識(shí)別出的圖案可以與存儲(chǔ)器中儲(chǔ)存的用于處理站的一個(gè)或多個(gè)刀具軌跡關(guān)聯(lián)。刀具軌跡可以是用于使處理站對(duì)材料執(zhí)行操作的數(shù)字控制指令。例如，在示例性的方面中，刀具軌跡可以是用于激光切割機(jī)基于在拼接圖像中識(shí)別出的特征來切割材料的一組指令。

在框812處，基于來自框810的刀具軌跡指示處理站執(zhí)行操作。例如，與多個(gè)相機(jī)和處理站通信的計(jì)算設(shè)備可以從相機(jī)接收?qǐng)D像，將圖像拼接成拼接圖像，識(shí)別拼接圖像內(nèi)的特征，確定與識(shí)別出的特征關(guān)聯(lián)的刀具軌跡，并且將刀具軌跡傳送至處理站。在示例性的方面中，在接收刀具軌跡后，處理站可以將刀具軌跡解譯為一系列指令，該指令允許處理站對(duì)材料執(zhí)行操作。設(shè)想在示例性的方面中，處理站可以是激光切割設(shè)備，其從計(jì)算設(shè)備接收為一系列指令的刀具軌跡，以切割材料。

雖然圖8按照示出的順序提供了一系列步驟，但是設(shè)想在示例性的方面中可以執(zhí)行額外的或者較少的步驟。例如，在示例性的方面中，設(shè)想可以從不同的相機(jī)捕獲四個(gè)或更多個(gè)圖像，并且隨后將多個(gè)圖像拼接在一起成為單一圖像。然而，在示例性的方面中，可以實(shí)施更多的或者更少的相機(jī)和/或圖像。

根據(jù)前面所述，將看出的是，本發(fā)明是特別適合于實(shí)現(xiàn)上文提出的所有目標(biāo)和目的連同對(duì)于結(jié)構(gòu)是明顯的并且固有的其他優(yōu)點(diǎn)的發(fā)明。

將理解的是，某些特征和子組合具有實(shí)用性并且可被采用而不參考其他特征和子組合。這是權(quán)利要求的范圍所預(yù)期的并且在權(quán)利要求的范圍內(nèi)。

雖然結(jié)合彼此討論了具體的元件和步驟，但是應(yīng)理解，本文中提供的任何元件和/或步驟被設(shè)想為可與任何其他元件和/或步驟組合，而不管其的明確規(guī)定，同時(shí)仍在本文中提供的范圍內(nèi)。由于許多可能的實(shí)施例可以由本公開在不背離本公開的范圍的情況下形成，因此應(yīng)理解，本文中闡述的或附圖中示出的所有內(nèi)容被解釋為說明性的而不是限制性意義。

如在本文中使用的并且與以下列出的權(quán)利要求相關(guān)的，術(shù)語“權(quán)利要求中的任意項(xiàng)”或者所述術(shù)語的類似變型旨在解釋為使得權(quán)利要求中的特征可以在任何組合中組合。例如，示例性的權(quán)利要求4可以指出權(quán)利要求1至3中的任意一項(xiàng)所述的方法/裝置，其旨在被解釋為使得權(quán)利要求1和權(quán)利要求4的特征可以組合，權(quán)利要求2和權(quán)利要求4的要素可以組合，權(quán)利要求3和4的要素可以組合，權(quán)利要求1、2和4的要素可以組合，權(quán)利要求2、3和4的要素可以組合，權(quán)利要求1、2、3和4的要素可以組合和/或其他變型。另外，術(shù)語“權(quán)利要求中的任意項(xiàng)”或者所述術(shù)語的類似變型旨在包括“權(quán)利要求中的任意一項(xiàng)”或者這種術(shù)語的其他變型，如通過以上提供的示例中的一些示例所指出的。