基于識(shí)別和跟蹤圖像場景中的多個(gè)對(duì)象來控制車叉的制作方法
【專利摘要】提供了一種用于控制車輛的叉子的方法。該方法可以包括：當(dāng)車輛的叉子垂直移動(dòng)時(shí)，獲得其中多個(gè)托盤可見的物理環(huán)境場景的圖像序列；由計(jì)算機(jī)系統(tǒng)在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)評(píng)分的候選對(duì)象，每個(gè)評(píng)分的候選對(duì)象都潛在地對(duì)應(yīng)于多個(gè)托盤中的相應(yīng)一個(gè)；對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，由計(jì)算機(jī)系統(tǒng)跟蹤在該序列中的至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置；為一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度；及基于評(píng)分的候選對(duì)象中具體一個(gè)的高度，由計(jì)算機(jī)系統(tǒng)把車輛的叉子停在物理環(huán)境中的一高度。
【專利說明】基于識(shí)別和跟蹤圖像場景中的多個(gè)對(duì)象來控制車叉
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般而言涉及材料搬運(yùn)車輛，并且更具體地說涉及用于成像并定位要被該車輛拾起的托盤的系統(tǒng)。
【背景技術(shù)】
[0002]在典型的倉庫或配送中心，托盤化的庫存物品存儲(chǔ)在與通常長而平行延伸的通道每一側(cè)對(duì)齊的貨架或其它存儲(chǔ)結(jié)構(gòu)中。為了最大化可用的空間，讓幾個(gè)存儲(chǔ)結(jié)構(gòu)垂直堆放是常見的，使得庫存可以在升高的高度存儲(chǔ)。因此，檢索和/或擺放庫存的材料搬運(yùn)車輛的操作人員可能需要從車輛的操作位置向上看，以便識(shí)別用于檢索或擺放庫存的叉子的正確高度和橫向位置。
[0003]在增加的高度處定位叉架以便拾起或擺放托盤化的材料變得越來越困難?？梢暯嵌茸兊酶永щy。為了有效地執(zhí)行必要的定位調(diào)整，會(huì)需要大量的培訓(xùn)。即使具有足夠的能力，正確定位也會(huì)花比材料搬運(yùn)車輛和操作人員的有效使用所期望的更多的時(shí)間。

【發(fā)明內(nèi)容】

[0004]根據(jù)本發(fā)明的第一方面，提供了用于控制車輛的叉子的方法。該方法可以包括:當(dāng)車輛的叉子垂直移動(dòng)時(shí)，獲得其中多個(gè)托盤可見的物理環(huán)境場景的圖像序列；由計(jì)算機(jī)系統(tǒng)在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)評(píng)分的候選對(duì)象，每個(gè)評(píng)分的候選對(duì)象都潛在地對(duì)應(yīng)于多個(gè)托盤中的相應(yīng)一個(gè)；對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，由計(jì)算機(jī)系統(tǒng)跟蹤在該序列中的至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置；為一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度，其中用于評(píng)分的候選對(duì)象中的每個(gè)特定一個(gè)的相應(yīng)關(guān)聯(lián)高度是基于該特定一個(gè)評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置的；并且基于評(píng)分的候選對(duì)象中具體一個(gè)的高度，由計(jì)算機(jī)系統(tǒng)把車輛的叉子停在物理環(huán)境中的一高度。
[0005]該圖像序列可以利用與叉子同時(shí)移動(dòng)的照相機(jī)獲得，使得該圖像序列中的每個(gè)圖像是在不同的對(duì)應(yīng)照相機(jī)位置獲得的。
[0006]獲得圖像序列可以包括由單個(gè)成像照相機(jī)捕捉場景的灰度級(jí)圖像序列。
[0007]多個(gè)托盤可以安排為單列垂直隔開的托盤。
[0008]在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)相應(yīng)評(píng)分的候選對(duì)象中的每一個(gè)可以包括在每個(gè)圖像中識(shí)別多個(gè)特征，其中每個(gè)所識(shí)別出的特征潛在地對(duì)應(yīng)于托盤的相應(yīng)物理結(jié)構(gòu)。
[0009]托盤的相應(yīng)物理結(jié)構(gòu)可以包括中心垂直縱梁、基板線和一對(duì)叉子開口。
[0010]該方法可以包括:向所識(shí)別出的對(duì)應(yīng)于中心垂直縱梁的特征分配第一置信得分；向所識(shí)別出的對(duì)應(yīng)于基板線的特征分配第二置信得分；向所識(shí)別出的對(duì)應(yīng)于一對(duì)叉子開口的特征分配第三置信得分；并且基于從第一、第二和第三置信得分計(jì)算出的合成得分，把多個(gè)特征識(shí)別為特定圖像中的評(píng)分的候選對(duì)象。
[0011]該方法可以包括維護(hù)具有用于每個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄的列表，其中用于特定評(píng)分的候選對(duì)象的相應(yīng)記錄包括該特定評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的相應(yīng)位置。
[0012]在至少兩個(gè)圖像中跟蹤用于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)的相應(yīng)位置可以包括:響應(yīng)于獲得圖像序列中的最近圖像，分析該圖像序列中的兩個(gè)最近獲得的圖像，以確定第二最近圖像中的一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè)是否在最近圖像中具有匹配的評(píng)分的候選對(duì)象；并且，基于匹配的評(píng)分的候選對(duì)象在最近圖像中的相應(yīng)位置，在該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄中添加條目。
[0013]分析兩個(gè)最近獲得的圖像可以包括:在最近圖像中識(shí)別一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象；為每個(gè)可能的評(píng)分的候選對(duì)象確定在最近圖像中的相應(yīng)實(shí)測位置；并且，對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè):計(jì)算在最近圖像中的相應(yīng)預(yù)測位置，其中相應(yīng)預(yù)測位置是基于該特定一個(gè)評(píng)分的候選對(duì)象在第二最近圖像中的相應(yīng)位置以及第二最近圖像和最近圖像的獲得之間照相機(jī)的移動(dòng)來估計(jì)的，計(jì)算相應(yīng)預(yù)測窗口，其中相應(yīng)預(yù)測窗口定義在最近圖像中在相應(yīng)預(yù)測位置附近的一組像素位置，并且，對(duì)于最近圖像中具有在相應(yīng)預(yù)測窗口中的相應(yīng)實(shí)測位置的任何可能的評(píng)分的候選對(duì)象，試驗(yàn)性地匹配最近圖像中該可能的評(píng)分的候選對(duì)象與第二最近圖像中特定一個(gè)評(píng)分的候選對(duì)象。
[0014]該方法可以包括:當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的多個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，從多個(gè)候選對(duì)象中選擇一個(gè)可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象，或者，當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的僅一個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，選擇該試驗(yàn)性地匹配的可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象。
[0015]為該特定評(píng)分的候選對(duì)象計(jì)算相應(yīng)預(yù)測位置可以包括使用卡爾曼濾波器。
[0016]用于卡爾曼濾波器的卡爾曼增益可以基于明確地匹配的可能的評(píng)分的候選對(duì)象的相應(yīng)實(shí)測位置和相應(yīng)預(yù)測位置之差。
[0017]基于用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度可以包括:識(shí)別物理環(huán)境中的世界坐標(biāo)原點(diǎn)位置；為至少兩個(gè)圖像中的每一個(gè)識(shí)別在物理環(huán)境中照相機(jī)相對(duì)于世界坐標(biāo)原點(diǎn)的對(duì)應(yīng)位置；并且，基于:a)來自至少兩個(gè)圖像中的每一個(gè)的、用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置，和b)用于至少兩個(gè)圖像中的每一個(gè)的照相機(jī)的對(duì)應(yīng)位置，確定相對(duì)于世界坐標(biāo)原點(diǎn)的相應(yīng)關(guān)聯(lián)高度。
[0018]確定相對(duì)于世界坐標(biāo)原點(diǎn)的相應(yīng)關(guān)聯(lián)高度可以包括:利用用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置的第一子集計(jì)算初始的相應(yīng)關(guān)聯(lián)高度，其中位置的第二子集包括用于該特定一個(gè)評(píng)分的候選對(duì)象的、除第一子集中那些位置之外的所有相應(yīng)位置；為初始的相應(yīng)關(guān)聯(lián)高度計(jì)算誤差測量；利用初始的相應(yīng)關(guān)聯(lián)高度，計(jì)算與第二子集中的每個(gè)位置關(guān)聯(lián)的相應(yīng)誤差測量；并且識(shí)別包括第二子集中具有小于該誤差測量的關(guān)聯(lián)的相應(yīng)誤差測量的那些位置的位置的第三子集。
[0019]照相機(jī)可以耦合到車輛的一部分。
[0020]為至少兩個(gè)圖像中的每一個(gè)識(shí)別在物理環(huán)境中照相機(jī)相對(duì)于世界坐標(biāo)原點(diǎn)的對(duì)應(yīng)位置可以包括補(bǔ)償在每個(gè)圖像的獲得之間所發(fā)生的車輛移動(dòng)。
[0021]計(jì)算機(jī)系統(tǒng)可以包括圖像分析計(jì)算機(jī)和車輛計(jì)算機(jī)。該方法還可以包括:通過傳送評(píng)分的候選對(duì)象中具體一個(gè)的相應(yīng)關(guān)聯(lián)高度以及預(yù)定義的偏移量值，把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析計(jì)算機(jī)傳送到車輛計(jì)算機(jī)。
[0022]該方法還可以包括:把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析計(jì)算機(jī)傳送到車輛計(jì)算機(jī)，其中傳送包括:識(shí)別叉子的當(dāng)前高度；在一個(gè)或多個(gè)評(píng)分的候選對(duì)象中，確定其相應(yīng)關(guān)聯(lián)高度最接近并且大于叉子的當(dāng)前高度的特定評(píng)分的候選對(duì)象，該特定評(píng)分的候選對(duì)象定義具體一個(gè)評(píng)分的候選對(duì)象；并且把該特定評(píng)分的候選對(duì)象的高度從圖像分析計(jì)算機(jī)傳送到車輛計(jì)算機(jī)。
[0023]把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析計(jì)算機(jī)傳送到車輛計(jì)算機(jī)可以包括基于叉子的當(dāng)前高度，更新相應(yīng)關(guān)聯(lián)高度中要傳送的相應(yīng)關(guān)聯(lián)高度。
[0024]把車輛的叉子停在物理環(huán)境中的一高度可以包括:從車輛的用戶操作的控制設(shè)備接收輸入；在叉子垂直移動(dòng)時(shí)監(jiān)視叉子的高度；并且當(dāng)叉子的高度基本上等于評(píng)分的候選對(duì)象中具體一個(gè)的所傳送的高度時(shí)，停止叉子的垂直移動(dòng)。
[0025]根據(jù)本發(fā)明的第二方面，提供了用于控制車輛的叉子的系統(tǒng)。該系統(tǒng)可以包括:成像獲得部件，配置為當(dāng)車輛的叉子垂直移動(dòng)時(shí)，獲得其中多個(gè)托盤可見的物理環(huán)境場景的圖像序列；圖像分析器，配置為在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)評(píng)分的候選對(duì)象，每個(gè)評(píng)分的候選對(duì)象都潛在地對(duì)應(yīng)于多個(gè)托盤中的相應(yīng)一個(gè)；對(duì)象跟蹤部件，配置為對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，跟蹤在該序列中的至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置；圖像處理部件，配置為對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度，其中用于評(píng)分的候選對(duì)象中的每個(gè)特定一個(gè)的相應(yīng)關(guān)聯(lián)高度是基于該特定一個(gè)評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置的；以及叉子控制器，配置為基于評(píng)分的候選對(duì)象中具體一個(gè)的高度，把車輛的叉子停在物理環(huán)境中的一高度。
[0026]成像獲得部件可以包括配置為與叉子同時(shí)移動(dòng)的照相機(jī)，使得該圖像序列中的每個(gè)圖像是在不同的對(duì)應(yīng)照相機(jī)位置獲得的。
[0027]圖像序列可以包括由單個(gè)照相機(jī)捕捉到的場景的灰度級(jí)圖像序列。
[0028]多個(gè)托盤可以安排為單列垂直隔開的托盤。
[0029]圖像分析器還可以配置為在每個(gè)圖像中識(shí)別多個(gè)特征，其中每個(gè)所識(shí)別出的特征潛在地對(duì)應(yīng)于托盤的相應(yīng)物理結(jié)構(gòu)。
[0030]托盤的相應(yīng)物理結(jié)構(gòu)可以包括中心垂直縱梁、基板線和一對(duì)叉子開口。
[0031]圖像分析器還可以包括:對(duì)象打分部件，配置為:向所識(shí)別出的對(duì)應(yīng)于中心垂直縱梁的特征分配第一置信得分；向所識(shí)別出的對(duì)應(yīng)于基板線的特征分配第二置信得分；向所識(shí)別出的對(duì)應(yīng)于一對(duì)叉子開口的特征分配第三置信得分；并且基于從第一、第二和第三置信得分計(jì)算出的合成得分，把多個(gè)特征識(shí)別為特定圖像中的評(píng)分的候選對(duì)象。
[0032]該系統(tǒng)還可以包括配置為存儲(chǔ)具有用于每個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄的列表的存儲(chǔ)器，其中用于特定評(píng)分的候選對(duì)象的相應(yīng)記錄包括該特定評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的相應(yīng)位置。
[0033]對(duì)象跟蹤部件還可以配置為:響應(yīng)于獲得圖像序列中的最近圖像，分析該圖像序列中的兩個(gè)最近獲得的圖像，以確定第二最近圖像中的一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè)是否在最近圖像中具有匹配的評(píng)分的候選對(duì)象；并且，基于匹配的評(píng)分的候選對(duì)象在最近圖像中的相應(yīng)位置，在該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄中添加條目。
[0034]對(duì)象跟蹤部件還可以配置為:在最近圖像中識(shí)別一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象；為每個(gè)可能的評(píng)分的候選對(duì)象確定在最近圖像中的相應(yīng)實(shí)測位置；并且，對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè):計(jì)算在最近圖像中的相應(yīng)預(yù)測位置，其中相應(yīng)預(yù)測位置是基于該特定一個(gè)評(píng)分的候選對(duì)象在第二最近圖像中的相應(yīng)位置以及第二最近圖像和最近圖像的獲得之間照相機(jī)的移動(dòng)來估計(jì)的，計(jì)算相應(yīng)預(yù)測窗口，其中相應(yīng)預(yù)測窗口定義在最近圖像中在相應(yīng)預(yù)測位置附近的一組像素位置，并且，對(duì)于最近圖像中具有在相應(yīng)預(yù)測窗口中的相應(yīng)實(shí)測位置的任何可能的評(píng)分的候選對(duì)象，試驗(yàn)性地匹配最近圖像中該可能的評(píng)分的候選對(duì)象與第二最近圖像中特定一個(gè)評(píng)分的候選對(duì)象。
[0035]對(duì)象跟蹤部件還可以配置為:當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的多個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，從多個(gè)候選對(duì)象中選擇一個(gè)可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象，或者，當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的僅一個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，選擇該試驗(yàn)性地匹配的可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象。
[0036]對(duì)象跟蹤部件可以包括配置為對(duì)于該特定一個(gè)評(píng)分的候選對(duì)象計(jì)算相應(yīng)預(yù)測位置的卡爾曼濾波器。
[0037]用于卡爾曼濾波器的卡爾曼增益可以是基于明確地匹配的可能的評(píng)分的候選對(duì)象的相應(yīng)實(shí)測位置和相應(yīng)預(yù)測位置之差的。
[0038]圖像處理部件還可以配置為:識(shí)別物理環(huán)境中的世界坐標(biāo)原點(diǎn)位置；為至少兩個(gè)圖像中的每一個(gè)識(shí)別在物理環(huán)境中照相機(jī)相對(duì)于世界坐標(biāo)原點(diǎn)的對(duì)應(yīng)位置；并且，基于:a)來自至少兩個(gè)圖像中的每一個(gè)的、用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置，和b)用于至少兩個(gè)圖像中的每一個(gè)的照相機(jī)的對(duì)應(yīng)位置，確定相對(duì)于世界坐標(biāo)原點(diǎn)的相應(yīng)關(guān)聯(lián)高度。
[0039]圖像處理部件還可以配置為:利用用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置的第一子集計(jì)算初始的相應(yīng)關(guān)聯(lián)高度，其中位置的第二子集包括用于該特定一個(gè)評(píng)分的候選對(duì)象的、除第一子集中那些位置之外的所有相應(yīng)位置；為初始的相應(yīng)關(guān)聯(lián)高度計(jì)算誤差測量；利用初始的相應(yīng)關(guān)聯(lián)高度，計(jì)算與第二子集中的每個(gè)位置關(guān)聯(lián)的相應(yīng)誤差測量；并且識(shí)別包括第二子集中具有小于該誤差測量的關(guān)聯(lián)的相應(yīng)誤差測量的那些位置的位置的第三子集。
[0040]照相機(jī)可以耦合到車輛的一部分。
[0041]圖像處理部件還可以配置為補(bǔ)償在至少兩個(gè)圖像中的每一個(gè)的獲得之間所發(fā)生的車輛移動(dòng)。
[0042]該系統(tǒng)還可以包括通信鏈路，配置為通過傳送評(píng)分的候選對(duì)象中具體一個(gè)的相應(yīng)關(guān)聯(lián)高度以及預(yù)定義的偏移量值，把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析部件提供給叉子控制器。
[0043]該系統(tǒng)還可以包括:叉子控制部件，配置為把評(píng)分的候選對(duì)象中具體一個(gè)的高度提供給叉子控制器，其中叉子控制部件配置為:識(shí)別叉子的當(dāng)前高度；在一個(gè)或多個(gè)評(píng)分的候選對(duì)象中，確定其相應(yīng)關(guān)聯(lián)高度最接近并且大于叉子的當(dāng)前高度的特定評(píng)分的候選對(duì)象，該特定評(píng)分的候選對(duì)象定義具體一個(gè)評(píng)分的候選對(duì)象；并且把該特定評(píng)分的候選對(duì)象的高度傳送到叉子控制器。
[0044]叉子控制部件還可以配置為基于叉子的當(dāng)前高度，更新相應(yīng)關(guān)聯(lián)高度中要傳送的相應(yīng)關(guān)聯(lián)聞度。
[0045]叉子控制器還可以配置為:從車輛的用戶操作的控制設(shè)備接收輸入；在叉子垂直移動(dòng)時(shí)監(jiān)視叉子的高度；并且當(dāng)叉子的高度基本上等于評(píng)分的候選對(duì)象中具體一個(gè)的所傳送的高度時(shí)，停止叉子的垂直移動(dòng)。
[0046]根據(jù)本發(fā)明的第三方面，提供了用于控制車輛的叉子的計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品可以包括:其中包含計(jì)算機(jī)可讀程序代碼的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該計(jì)算機(jī)可讀程序代碼可以包括:配置為當(dāng)車輛的叉子垂直移動(dòng)時(shí)，獲得其中多個(gè)托盤可見的物理環(huán)境場景的圖像序列的計(jì)算機(jī)可讀程序代碼；配置為在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)評(píng)分的候選對(duì)象的計(jì)算機(jī)可讀程序代碼，每個(gè)評(píng)分的候選對(duì)象都潛在地對(duì)應(yīng)于多個(gè)托盤中的相應(yīng)一個(gè)；配置為對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，跟蹤在該序列中的至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置的計(jì)算機(jī)可讀程序代碼；配置為對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度的計(jì)算機(jī)可讀程序代碼，其中用于評(píng)分的候選對(duì)象中的每個(gè)特定一個(gè)的相應(yīng)關(guān)聯(lián)高度是基于該特定一個(gè)評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置的；以及配置為基于評(píng)分的候選對(duì)象中具體一個(gè)的高度，把車輛的叉子停在物理環(huán)境中的一高度的計(jì)算機(jī)可讀程序代碼。
[0047]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為利用與叉子同時(shí)移動(dòng)的照相機(jī)獲得圖像序列的計(jì)算機(jī)可讀程序代碼，使得該圖像序列中的每個(gè)圖像是在不同的對(duì)應(yīng)照相機(jī)位置獲得的。
[0048]圖像序列可以包括由單個(gè)照相機(jī)捕捉的場景的灰度級(jí)圖像序列。
[0049]多個(gè)托盤可以安排為單列垂直隔開的托盤。
[0050]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為在每個(gè)圖像中識(shí)別多個(gè)特征的計(jì)算機(jī)可讀程序代碼，其中每個(gè)所識(shí)別出的特征對(duì)應(yīng)于托盤的相應(yīng)物理結(jié)構(gòu)。
[0051]托盤的相應(yīng)物理結(jié)構(gòu)可以包括中心垂直縱梁、基板線和一對(duì)叉子開口。
[0052]該計(jì)算機(jī)程序產(chǎn)品還可以包括:配置為執(zhí)行以下操作的計(jì)算機(jī)可讀程序代碼:向所識(shí)別出的對(duì)應(yīng)于中心垂直縱梁的特征分配第一置信得分；向所識(shí)別出的對(duì)應(yīng)于基板線的特征分配第二置信得分；向所識(shí)別出的對(duì)應(yīng)于一對(duì)叉子開口的特征分配第三置信得分；并且基于從第一、第二和第三置信得分計(jì)算出的合成得分，把多個(gè)特征識(shí)別為特定圖像中的評(píng)分的候選對(duì)象。
[0053]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為維護(hù)具有用于每個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄的列表的計(jì)算機(jī)可讀程序代碼，其中用于特定評(píng)分的候選對(duì)象的相應(yīng)記錄包括該特定評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的相應(yīng)位置。
[0054]該計(jì)算機(jī)程序產(chǎn)品還可以包括:配置為，響應(yīng)于獲得圖像序列中的最近圖像，分析該圖像序列中的兩個(gè)最近獲得的圖像，以確定第二最近圖像中的一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè)是否在最近圖像中具有匹配的評(píng)分的候選對(duì)象的計(jì)算機(jī)可讀程序代碼；以及配置為基于匹配的評(píng)分的候選對(duì)象在最近圖像中的相應(yīng)位置，在該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄中添加條目的計(jì)算機(jī)可讀程序代碼。
[0055]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為執(zhí)行以下操作的計(jì)算機(jī)可讀程序代碼:在最近圖像中識(shí)別一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象；為每個(gè)可能的評(píng)分的候選對(duì)象確定在最近圖像中的相應(yīng)實(shí)測位置；并且，對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè):計(jì)算在最近圖像中的相應(yīng)預(yù)測位置，其中相應(yīng)預(yù)測位置是基于該特定一個(gè)評(píng)分的候選對(duì)象在第二最近圖像中的相應(yīng)位置以及第二最近圖像和最近圖像的獲得之間照相機(jī)的移動(dòng)來估計(jì)的，計(jì)算相應(yīng)預(yù)測窗口，其中相應(yīng)預(yù)測窗口定義在最近圖像中在相應(yīng)預(yù)測位置附近的一組像素位置，并且，對(duì)于最近圖像中具有在相應(yīng)預(yù)測窗口中的相應(yīng)實(shí)測位置的任何可能的評(píng)分的候選對(duì)象，試驗(yàn)性地匹配最近圖像中該可能的評(píng)分的候選對(duì)象與第二最近圖像中特定一個(gè)評(píng)分的候選對(duì)象。
[0056]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為執(zhí)行以下操作的計(jì)算機(jī)可讀程序代碼:當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的多個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，從多個(gè)候選對(duì)象中選擇一個(gè)可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象，或者，當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的僅一個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，選擇該試驗(yàn)性地匹配的可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象。
[0057]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為實(shí)現(xiàn)為該特定一個(gè)評(píng)分的候選對(duì)象計(jì)算相應(yīng)預(yù)測位置的卡爾曼濾波器的計(jì)算機(jī)可讀程序代碼。
[0058]用于卡爾曼濾波器的卡爾曼增益可以基于明確地匹配的可能的評(píng)分的候選對(duì)象的相應(yīng)實(shí)測位置和相應(yīng)預(yù)測位置之差。
[0059]該計(jì)算機(jī)程序產(chǎn)品還可以包括:配置為識(shí)別物理環(huán)境中的世界坐標(biāo)原點(diǎn)位置的計(jì)算機(jī)可讀程序代碼；配置為對(duì)于至少兩個(gè)圖像中的每一個(gè)，識(shí)別在物理環(huán)境中照相機(jī)相對(duì)于世界坐標(biāo)原點(diǎn)的對(duì)應(yīng)位置的計(jì)算機(jī)可讀程序代碼；以及配置為基于:a)來自至少兩個(gè)圖像中的每一個(gè)的、用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置，和b)用于至少兩個(gè)圖像中的每一個(gè)的照相機(jī)的對(duì)應(yīng)位置，確定相對(duì)于世界坐標(biāo)原點(diǎn)的相應(yīng)關(guān)聯(lián)高度的計(jì)算機(jī)可讀程序代碼。
[0060]該計(jì)算機(jī)程序產(chǎn)品還可以包括:配置為利用用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置的第一子集計(jì)算初始的相應(yīng)關(guān)聯(lián)高度的計(jì)算機(jī)可讀程序代碼，其中位置的第二子集包括用于該特定一個(gè)評(píng)分的候選對(duì)象的、除第一子集中那些位置之外的所有相應(yīng)位置；配置為對(duì)于初始的相應(yīng)關(guān)聯(lián)高度計(jì)算誤差測量的計(jì)算機(jī)可讀程序代碼；配置為利用初始的相應(yīng)關(guān)聯(lián)高度，計(jì)算與第二子集中的每個(gè)位置關(guān)聯(lián)的相應(yīng)誤差測量的計(jì)算機(jī)可讀程序代碼；以及配置為識(shí)別包括第二子集中具有小于該誤差測量的關(guān)聯(lián)的相應(yīng)誤差測量的那些位置的位置的第三子集的計(jì)算機(jī)可讀程序代碼。
[0061]照相機(jī)可以耦合到車輛的一部分。
[0062]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為補(bǔ)償在至少兩個(gè)圖像中的獲得之間所發(fā)生的車輛移動(dòng)的計(jì)算機(jī)可讀程序代碼。
[0063]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為通過傳送評(píng)分的候選對(duì)象中具體一個(gè)的相應(yīng)關(guān)聯(lián)高度以及預(yù)定義的偏移量值，把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析部件提供給叉子控制器的計(jì)算機(jī)可讀程序代碼。
[0064]該計(jì)算機(jī)程序產(chǎn)品還可以包括:配置為通過以下把評(píng)分的候選對(duì)象中具體一個(gè)的高度提供給叉子控制器的計(jì)算機(jī)可讀程序代碼:識(shí)別叉子的當(dāng)前高度；在一個(gè)或多個(gè)評(píng)分的候選對(duì)象中，確定其相應(yīng)關(guān)聯(lián)高度最接近并且大于叉子的當(dāng)前高度的特定評(píng)分的候選對(duì)象，該特定評(píng)分的候選對(duì)象定義具體一個(gè)評(píng)分的候選對(duì)象；并且把該特定評(píng)分的候選對(duì)象的高度傳送到叉子控制器。
[0065]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為基于叉子的當(dāng)前高度，更新相應(yīng)關(guān)聯(lián)高度中要傳送的相應(yīng)關(guān)聯(lián)高度的計(jì)算機(jī)可讀程序代碼。
[0066]該計(jì)算機(jī)程序產(chǎn)品還可以包括:配置為從車輛的用戶操作的控制設(shè)備接收輸入的計(jì)算機(jī)可讀程序代碼；配置為在叉子垂直移動(dòng)時(shí)監(jiān)視叉子的高度的計(jì)算機(jī)可讀程序代碼；以及配置為當(dāng)叉子的高度基本上等于評(píng)分的候選對(duì)象中具體一個(gè)的所傳送的高度時(shí)，停止叉子的垂直移動(dòng)的計(jì)算機(jī)可讀程序代碼。
【專利附圖】

【附圖說明】
[0067]圖1是本發(fā)明基于圖像的檢測系統(tǒng)可以結(jié)合在其中的材料搬運(yùn)車輛的側(cè)視圖；
[0068]圖2是構(gòu)成圖1中所說明的車輛的叉架裝置(fork carriage apparatus)的透視圖；
[0069]圖3是托盤的前視圖；
[0070]圖4是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)實(shí)現(xiàn)的步驟的流程圖；
[0071]圖5是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了識(shí)別可能的托盤角落而實(shí)現(xiàn)的步驟的流程圖；
[0072]圖6、7、6B和7A說明了第一、第二、第三和第四角落模板；
[0073]圖6A說明了位于水平和垂直交叉相關(guān)結(jié)果之上的第一角落模板；
[0074]圖6C-6E說明了用于定位左下角圖像中最大像素值的例子；
[0075]圖6F說明了從較高分辨率圖像產(chǎn)生較低分辨率圖像的例子；
[0076]圖6G說明了為了潛在的左下角的位置而被進(jìn)一步分析的中等水平圖像的一部分；
[0077]圖8是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了確定第一 Ro圖像和可選的第二Ro圖像而實(shí)現(xiàn)的步驟的流程圖；
[0078]圖9說明了用于計(jì)算水平梯度圖像中的像素值的例子；
[0079]圖10說明了用于計(jì)算垂直梯度圖像中的像素值的例子；
[0080]圖11A-11D說明了包括至少一個(gè)窗口的左Ro圖像的部分；
[0081]圖12A、12B、13A和13B是說明由根據(jù)本發(fā)明一種實(shí)施例的圖像分析計(jì)算機(jī)為了從左Ro圖像中的左下角開始跟蹤水平和垂直線而實(shí)現(xiàn)的步驟的流程圖；
[0082]圖14A和14B說明了包括至少一個(gè)窗口的左Ro圖像的部分；
[0083]圖14C和14D是說明根據(jù)本發(fā)明另一種實(shí)施例用于從左下角開始跟蹤水平和垂直線的步驟的流程圖；
[0084]圖14E是具有作為圖14C流程圖中對(duì)應(yīng)步驟的備選方案的一些步驟的流程圖；
[0085]圖15是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了確定多條可能的線中哪條最有可能是經(jīng)過預(yù)審合格的左下角的實(shí)際線而實(shí)現(xiàn)的步驟的流程圖；
[0086]圖15A說明了穿過預(yù)審合格的左下角的兩條可能線；及
[0087]圖16A說明了規(guī)格化的灰度級(jí)圖像，該圖像說明了具有底部托盤板200和中心縱梁208的托盤P ；
[0088]圖16B是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的水平交叉相關(guān)圖像；[0089]圖16C是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的垂直交叉相關(guān)圖像；
[0090]圖16D是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的水平梯度圖像；
[0091]圖16E是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的垂直梯度圖像；
[0092]圖16F是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的第一 Ro圖像；
[0093]圖16G是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的第二 Ro圖像；
[0094]圖17是說明左下角和右下角的托盤一部分的視圖；
[0095]圖18說明了根據(jù)本發(fā)明的原理、用于評(píng)估托盤結(jié)構(gòu)潛在的洞和中心縱梁的幾何框架；
[0096]圖19A說明了根據(jù)本發(fā)明的原理、用于估計(jì)中心縱梁高度的幾何框架；
[0097]圖19B說明了根據(jù)本發(fā)明的原理、用于評(píng)估中心縱梁可能的左和右垂直邊緣的幾何框架；
[0098]圖20A是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了分析中心縱梁的可能左邊緣而實(shí)現(xiàn)的步驟的流程圖；
[0099]圖20B說明了根據(jù)圖20A的流程圖分析的圖像部分中像素的例子；
[0100]圖21A是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了確定潛在地代表托盤各個(gè)部分的多個(gè)矩形的高度而實(shí)現(xiàn)的步驟的流程圖；
[0101]圖2IB說明了圖形解釋圖2IA流程圖操作各方面的幾何框架；
[0102]圖22A說明了有可能代表位于托盤中心縱梁左邊的叉子開口的第一矩形的例子；
[0103]圖22B說明了有可能代表位于托盤中心縱梁右邊的叉子開口的第二矩形的例子；
[0104]圖22C說明了有可能代表托盤中心縱梁的第三矩形的例子；
[0105]圖23A是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了計(jì)算包括所述第一、第二和第三矩形的像素而實(shí)現(xiàn)的步驟的流程圖；
[0106]圖23B說明了圖形解釋圖23A流程圖操作各方面的幾何框架；
[0107]圖23C是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了計(jì)算第一和第二矩形的負(fù)像素的垂直投影而實(shí)現(xiàn)的步驟的流程圖；
[0108]圖23D是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了計(jì)算第三矩形的至少一些負(fù)像素的垂直投影而實(shí)現(xiàn)的步驟的流程圖；
[0109]圖23E繪出了根據(jù)本發(fā)明的原理、用于維護(hù)圖像幀中候選對(duì)象的對(duì)象列表(Objectlist)的示例性算法的流程圖；
[0110]圖24A繪出了根據(jù)本發(fā)明的原理、用于從用于圖像巾貞的Objectlist中消除至少一些候選對(duì)象的示例性算法的流程圖；
[0111]圖24B繪出了根據(jù)本發(fā)明的原理、用于消除在彼此附近的一個(gè)或多個(gè)候選對(duì)象的示例性算法的流程圖；
[0112]圖24C繪出了根據(jù)本發(fā)明的原理、用于消除在彼此垂直本地(vertically local)的一個(gè)或多個(gè)候選對(duì)象的示例性算法的流程圖；
[0113]圖24D繪出了根據(jù)本發(fā)明的原理、具有候選對(duì)象的示例圖像幀；
[0114]圖25是根據(jù)本發(fā)明的原理、用于在不同的圖像幀之間跟蹤候選對(duì)象的流程圖；
[0115]圖26A和26B繪出了根據(jù)本發(fā)明的原理、具有候選對(duì)象的前一圖像巾貞和下一個(gè)圖像幀；[0116]圖27A說明了物理世界中其位置可以相對(duì)于多于一個(gè)參考幀來計(jì)算的托盤；
[0117]圖27B說明了用于把物理世界位置投影到圖像平面上的針孔照相機(jī)模型；
[0118]圖27C說明了根據(jù)本發(fā)明的原理、具有不同像素位置的灰度級(jí)圖像；
[0119]圖27D是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了識(shí)別離群數(shù)據(jù)而實(shí)現(xiàn)的步驟的流程圖；
[0120]圖27E說明了根據(jù)本發(fā)明的原理、照相機(jī)坐標(biāo)系統(tǒng)軸關(guān)于世界坐標(biāo)系統(tǒng)的相對(duì)旋轉(zhuǎn);
[0121]圖27F說明了根據(jù)本發(fā)明的原理、物理世界中可以相對(duì)于多于一個(gè)參考幀來計(jì)算的托盤位置；
[0122]圖28是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了利用卡爾曼(Kalman)濾波器預(yù)測狀態(tài)變量而實(shí)現(xiàn)的步驟的流程圖；
[0123]圖29A-29F是說明根據(jù)本發(fā)明的原理、用于確定切口(cutout)位置的流程圖；及
[0124]圖30說明了根據(jù)本發(fā)明的原理、可用于執(zhí)行外在照相機(jī)校準(zhǔn)的多個(gè)托盤的圖像投影配置。
【具體實(shí)施方式】
[0125]現(xiàn)在參考圖1，圖1說明了本發(fā)明可以結(jié)合在其中的叉車或車輛10。車輛10包括包含操作人員隔間22的動(dòng)力單元或主體20。車輛10還包括桅桿(mast)組件30和叉架裝置40，如圖2中最好地示出的。雖然本發(fā)明在本文中參考直立式平衡卡車來描述，但是對(duì)本領(lǐng)域技術(shù)人員來說將很顯然，本發(fā)明及本發(fā)明的變體可以更一般性地應(yīng)用于各種其它材料搬運(yùn)車輛，包括包含單桅桿的駕駛者可達(dá)(rider reach)叉車，如在美國專利申請(qǐng)公開N0.2010/0065377中所描述的，該申請(qǐng)的全部公開內(nèi)容在此引入作為參考。本發(fā)明的實(shí)施例可以結(jié)合在其中的車輛10的不同類型包括手動(dòng)車輛、半自主車輛和自主車輛。
[0126]桅桿組件30包括第一、第二和第三桅桿焊件32、34和36，其中第二焊件34套在第一焊件32中，而第三焊件36套在第二焊件34中。第一焊件32固定地耦合到卡車主體20。第二或中間焊件34能夠相對(duì)于第一焊件32垂直移動(dòng)。第三或內(nèi)部焊件36能夠相對(duì)于第一和第二焊件32和34垂直移動(dòng)。
[0127]為了實(shí)現(xiàn)第二焊件34相對(duì)于第一焊件32的移動(dòng)，第一和第二提升油缸(liftram)/汽缸組件35 (在圖1中只說明了第一個(gè)組件)耦合到第一和第二焊件32和34。鏈條35A (在圖1中只說明了第一個(gè)組件的鏈條)固定到第一和第二提升組件的汽缸及第三焊件36，并且在耦合到對(duì)應(yīng)的一個(gè)油缸的滑輪35B (在圖1中只說明了第一個(gè)組件的滑輪)之上延伸，使得第一和第二提升組件的油缸的移動(dòng)實(shí)現(xiàn)第三焊件36相對(duì)于第一和第二焊件32和34的移動(dòng)。
[0128]叉架裝置40耦合到第三焊件36，從而相對(duì)于第三級(jí)焊件36垂直移動(dòng)。叉架裝置40還與第三焊件36 —起相對(duì)于第一和第二焊件32和34垂直移動(dòng)。
[0129]在所說明的實(shí)施例中，叉架裝置40包括第一和第二叉子42A和42B安裝到其的叉架機(jī)制44。叉架機(jī)制44安裝到到達(dá)機(jī)制(reach machanism) 46,該到達(dá)機(jī)制46又安裝到桅桿支架組件48。桅桿支架組件48可移動(dòng)地耦合到第三焊件36。到達(dá)機(jī)制46包括縮放或剪刀結(jié)構(gòu)46A，該結(jié)構(gòu)實(shí)現(xiàn)叉架機(jī)制44以及第一和第二叉子42A和42B朝著和遠(yuǎn)離桅桿支架組件48和第三焊件36的移動(dòng)。
[0130]叉架機(jī)制44包括支架支撐結(jié)構(gòu)44A和叉架框44B。叉子42A和42B安裝到叉架框44B。該叉架框44B耦合到支架支撐結(jié)構(gòu)44A，用于相對(duì)于支撐結(jié)構(gòu)44A橫向和樞軸移動(dòng)。側(cè)移活塞/汽缸單元44C安裝到支架支撐結(jié)構(gòu)44A和叉架框44B，從而實(shí)現(xiàn)叉架框44B相對(duì)于支架支撐結(jié)構(gòu)44A的橫向移動(dòng)。
[0131]僅在圖1中示出的傾斜活塞/汽缸單元44D固定地附連到支架支撐結(jié)構(gòu)44A并且與叉架框44B接觸，用于實(shí)現(xiàn)叉架框44B相對(duì)于支架支撐結(jié)構(gòu)44A的樞軸移動(dòng)。
[0132]站在隔間22中的操作人員可以經(jīng)舵盤(tiller) 12控制卡車10行進(jìn)的方向。操作人員還可以經(jīng)多功能控制器14控制卡車10的行進(jìn)速度、叉架裝置和桅桿組件的延伸，以及第一和第二叉子42A和42B的傾斜和側(cè)移。
[0133]根據(jù)本發(fā)明，提供了基于圖像的托盤檢測系統(tǒng)100，該系統(tǒng)用于在叉架裝置40被升高和降低時(shí)重復(fù)地捕捉圖像，識(shí)別圖像幀中可能包括一個(gè)或多個(gè)托盤的一個(gè)或多個(gè)對(duì)象，確定這一個(gè)或多個(gè)對(duì)象中哪一個(gè)最有可能包括托盤，在多個(gè)幀中跟蹤這一個(gè)或多個(gè)對(duì)象以便確定它們相對(duì)于叉架裝置40的位置，并且生成并向位于車輛動(dòng)力單元20上的車輛計(jì)算機(jī)50發(fā)送托盤位置信息。
[0134]系統(tǒng)100包括耦合到叉架框44B的圖像分析計(jì)算機(jī)110、耦合到叉架框44B下部144B的光源120、耦合到叉架框44B下部144B的成像照相機(jī)130以及位于操作人員隔間22中以便致動(dòng)系統(tǒng)100的觸發(fā)器開關(guān)140。雖然有些安裝位置可能比其它位置更加優(yōu)選，但是成像照相機(jī)和燈可以位于叉子上面或下面。期望照相機(jī)隨叉子側(cè)移，但是不一定需要隨叉子傾斜。不管照相機(jī)和燈如何安裝，叉子都應(yīng)當(dāng)在視場的底部，以便給出關(guān)于正在接近的托盤的最大預(yù)警。在所說明的實(shí)施例中，成像照相機(jī)130和燈120在叉子的下面，見圖1。計(jì)算機(jī)110可以位于卡車上任何位置。還有可能零件110、120和130可以組合到單個(gè)包裝中，包括智能照相機(jī)。在所說明的實(shí)施例中，光源120包括近紅外光源，這可以是例如一個(gè)或多個(gè)在叉子42A和42B移動(dòng)時(shí)開啟或者只在獲得圖像時(shí)才“脈動(dòng)”開啟的發(fā)光二極管(LED)。圖像分析計(jì)算機(jī)110可以利用有線電纜或者無線地向車輛計(jì)算機(jī)50傳送托盤識(shí)別和位置信息，使得車輛計(jì)算機(jī)50可以準(zhǔn)確地在垂直和橫向方向定位叉子42A和42B，如分別由Y軸和X軸定義的，見圖1。
[0135]車輛和圖像分析計(jì)算機(jī)50和110可以包括接收輸入數(shù)據(jù)、通過計(jì)算機(jī)指令處理那種數(shù)據(jù)并且生成輸出數(shù)據(jù)的任何種類的設(shè)備。這種計(jì)算機(jī)可以是手持式設(shè)備、膝上型或筆記本計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、微型計(jì)算機(jī)、數(shù)字信號(hào)處理器(DSP)、大型機(jī)、服務(wù)器、手機(jī)、個(gè)人數(shù)字助理、其它可編程計(jì)算機(jī)設(shè)備，或者其任意組合。這種計(jì)算機(jī)還可以利用可編程的邏輯設(shè)備來實(shí)現(xiàn)，諸如現(xiàn)場可編程門陣列(FPGA)，或者作為替代，實(shí)現(xiàn)為專用集成電路(ASIC)或類似的設(shè)備。術(shù)語“計(jì)算機(jī)”也要涵蓋上述設(shè)備中兩個(gè)或更多個(gè)的組合，例如，兩個(gè)或更多個(gè)微型計(jì)算機(jī)。車輛和圖像分析計(jì)算機(jī)50和110可以無線地或者硬連線地彼此連接。還預(yù)期計(jì)算機(jī)50和110可以組合成作為單個(gè)計(jì)算機(jī)。因此，本發(fā)明的各方面可以完全作為硬件、完全作為軟件(包括固件、駐留軟件、微代碼等)或者以組合的軟件和硬件實(shí)現(xiàn)來實(shí)現(xiàn)，本文一般稱為“電路”、“模塊”、“部件”或“系統(tǒng)”。此外，本發(fā)明的各方面還可以采取在一種或多種計(jì)算機(jī)可讀介質(zhì)中體現(xiàn)的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀程序代碼。[0136]當(dāng)操作人員希望拾起一個(gè)托盤P時(shí)，操作人員操縱車輛10，使得它直接定位在貨架R上要拾起的期望托盤P的前面并在X方向與其大體橫向?qū)?zhǔn)，見圖1。然后，操作人員經(jīng)多功能控制器14的致動(dòng)在Y方向垂直地升高叉子42A和42B至高于應(yīng)當(dāng)被忽略的最后一個(gè)托盤P的位置。在叉架裝置40持續(xù)垂直移動(dòng)的時(shí)候，圖像分析計(jì)算機(jī)110使成像照相機(jī)130拍攝圖像幀，諸如以10-30fps (幀/秒)的速率。如以下將更具體討論的，圖像分析計(jì)算機(jī)110分析圖像，識(shí)別圖像幀中的一個(gè)或多個(gè)對(duì)象，確定這一個(gè)或多個(gè)對(duì)象中哪一個(gè)最有可能包括托盤，在多個(gè)圖像幀中跟蹤這一個(gè)或多個(gè)對(duì)象，確定對(duì)象相對(duì)于世界坐標(biāo)原點(diǎn)的位置并且生成并向車輛計(jì)算機(jī)50傳送托盤位置信息。圖像分析計(jì)算機(jī)110還可以無線地向車輛計(jì)算機(jī)50傳送托盤位置信息，使得車輛計(jì)算機(jī)50可以準(zhǔn)確地在垂直和橫向方向定位叉子42A和42B，從而使得叉子42A和42B直接位于托盤中開口的前面。其后，操作人員只需要使叉架裝置朝著托盤移動(dòng)，使得叉子進(jìn)入托盤開口。
[0137]在圖3中，說明了具有底部和頂部托盤板200和202、第一和第二外部縱梁204以及中心縱梁208的托盤P。板200、202及縱梁204、206和208定義第一和第二叉子接納開口 210和212。托盤板200和202以及中心縱梁208還定義左下角214、右下角216、左上角218和右上角220。左下角214在本文中也稱為中心縱梁208的左下角，而右下角216在本文中也稱為中心縱梁208的右下角。
[0138]為了在成像照相機(jī)130拍攝的每個(gè)圖像幀中識(shí)別一個(gè)或多個(gè)對(duì)象并且確定這一個(gè)或多個(gè)對(duì)象中哪一個(gè)最有可能包括托盤，假設(shè)照相機(jī)定向成或者向上或者直接向前看，或者在叉子的上面或者在叉子的下面，圖像分析計(jì)算機(jī)110實(shí)現(xiàn)至少以下過程:識(shí)別灰度級(jí)圖像中一個(gè)或多個(gè)托盤P的可能角落，見圖4的過程230 ;確定包括從原點(diǎn)到對(duì)應(yīng)灰度級(jí)圖像中一個(gè)或多個(gè)可能托盤上一條或多條可能線的正交距離的第一和可選的第二 Ro圖像，見圖4的過程232 ;嘗試從第三組可能的左下角中每個(gè)可能的左下角跟蹤水平和垂直線，以定義一組預(yù)審合格的左下角，見圖4的過程234 ;對(duì)于每個(gè)預(yù)審合格的左下角，確定多條可能的線中哪一條最有可能是經(jīng)過預(yù)審合格的左下角的實(shí)際線，見圖4的過程236 ;并且嘗試為找出實(shí)際線的每個(gè)預(yù)審合格的左下角識(shí)別一組右下角，見圖4的過程238。還預(yù)期成像照相機(jī)可以位于叉子42A、42B上面，朝下而不是朝上看，當(dāng)照相機(jī)位于叉子42A、42B下面時(shí)，朝上看。在這種實(shí)施例中，計(jì)算機(jī)110可以嘗試從第三組可能的左上角中每個(gè)可能的左上角跟蹤水平和垂直線，以定義一組預(yù)審合格的左上角，并且為每個(gè)預(yù)審合格的左上角確定多條可能的線中哪一條最有可能是經(jīng)過預(yù)審合格的左上角的實(shí)際線。計(jì)算機(jī)110還可以嘗試定位與每個(gè)左上角關(guān)聯(lián)的第三組可能的右上角。
[0139]現(xiàn)在將參考圖5描述用于識(shí)別圖像中一個(gè)或多個(gè)托盤P的可能角落的過程230。在所說明的實(shí)施例中，定義從成像照相機(jī)130接收到的每個(gè)圖像幀的數(shù)據(jù)包括灰度級(jí)數(shù)據(jù)。圖像分析計(jì)算機(jī)HO規(guī)格化灰度級(jí)數(shù)據(jù)，使其成為零均值數(shù)據(jù)，見圖5中的步驟240。規(guī)格化的灰度級(jí)圖像的創(chuàng)建可以通過計(jì)算灰度級(jí)圖像中所有像素的均值，然后從每個(gè)個(gè)別的像素值減去那個(gè)均值來實(shí)現(xiàn)。因此，對(duì)應(yīng)于托盤結(jié)構(gòu)的規(guī)格化灰度級(jí)圖像中的像素趨于具有正像素值，而規(guī)格化灰度級(jí)圖像中的其它像素趨于具有負(fù)像素值。下文中所使用的術(shù)語“灰度級(jí)數(shù)據(jù)”和“灰度級(jí)圖像”分別指“規(guī)格化的灰度級(jí)數(shù)據(jù)”和“規(guī)格化的灰度級(jí)圖像”。然后，圖像分析計(jì)算機(jī)110利用第一步進(jìn)-邊緣模板確定一組水平交叉相關(guān)結(jié)果，即水平交叉相關(guān)圖像，見步驟242，在所說明的實(shí)施例中該第一步進(jìn)-邊緣模板包括:[0140]T(X)=-1, -1, -1, -1, -1, -1, +1，+1，+1，+1，+1，+1
[0141]其中“-1 ”對(duì)應(yīng)于開放區(qū)域，而“+I ”對(duì)應(yīng)于托盤上的結(jié)構(gòu)。
[0142]利用第一步進(jìn)-邊緣模板T(X)和規(guī)格化的灰度級(jí)圖像數(shù)據(jù)，圖像分析計(jì)算機(jī)110根據(jù)以下單維規(guī)格化交叉相關(guān)公式確定水平交叉相關(guān)結(jié)果:
【權(quán)利要求】
1.一種用于控制車輛的叉子的方法，包括: 當(dāng)車輛的叉子垂直移動(dòng)時(shí)，獲得其中多個(gè)托盤可見的物理環(huán)境場景的圖像序列； 由計(jì)算機(jī)系統(tǒng)在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)評(píng)分的候選對(duì)象，每個(gè)評(píng)分的候選對(duì)象都潛在地對(duì)應(yīng)于多個(gè)托盤中的相應(yīng)一個(gè)； 對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，由計(jì)算機(jī)系統(tǒng)跟蹤在該序列中的至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置； 為一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度，其中用于評(píng)分的候選對(duì)象中的每個(gè)特定一個(gè)的相應(yīng)關(guān)聯(lián)高度是基于該特定一個(gè)評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置的；及 基于評(píng)分的候選對(duì)象中具體一個(gè)的高度，由計(jì)算機(jī)系統(tǒng)把車輛的叉子停在物理環(huán)境中的一高度。
2.如權(quán)利要求1所述的方法，其中圖像序列是利用與叉子同時(shí)移動(dòng)的照相機(jī)獲得的，使得該圖像序列中的每個(gè)圖像是在不同的對(duì)應(yīng)照相機(jī)位置獲得的。
3.如權(quán)利要求1所述的方法，其中獲得圖像序列包括: 由單個(gè)成像照相機(jī)捕捉場景的灰度級(jí)圖像序列。
4.如權(quán)利要求1所述的方法，其中多個(gè)托盤安排為單列垂直隔開的托盤。
5.如權(quán)利要求1所述的方法，其中在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)相應(yīng)評(píng)分的候選對(duì)象中的每一個(gè)包括: 在每個(gè)圖像中識(shí)別多個(gè)特征，其中每個(gè)所識(shí)別出的特征潛在地對(duì)應(yīng)于托盤的相應(yīng)物理結(jié)構(gòu)。
6.如權(quán)利要求5所述的方法，其中托盤的相應(yīng)物理結(jié)構(gòu)包括中心垂直縱梁、基板線和一對(duì)叉子開口。
7.如權(quán)利要求6所述的方法，包括: 向所識(shí)別出的對(duì)應(yīng)于中心垂直縱梁的特征分配第一置信得分； 向所識(shí)別出的對(duì)應(yīng)于基板線的特征分配第二置信得分； 向所識(shí)別出的對(duì)應(yīng)于一對(duì)叉子開口的特征分配第三置信得分；及基于從第一、第二和第三置信得分計(jì)算出的合成得分，把多個(gè)特征識(shí)別為特定圖像中的評(píng)分的候選對(duì)象。
8.如權(quán)利要求1所述的方法，包括: 維護(hù)具有用于每個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄的列表，其中用于特定評(píng)分的候選對(duì)象的相應(yīng)記錄包括該特定評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的相應(yīng)位置。
9.如權(quán)利要求8所述的方法，其中在至少兩個(gè)圖像中跟蹤用于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)的相應(yīng)位置包括: 響應(yīng)于獲得圖像序列中的最近圖像，分析該圖像序列中的兩個(gè)最近獲得的圖像，以確定第二最近圖像中的一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè)是否在最近圖像中具有匹配的評(píng)分的候選對(duì)象 '及 基于匹配的評(píng)分的候選對(duì)象在最近圖像中的相應(yīng)位置，在該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄中添加條目。
10.如權(quán)利要求9所述的方法，其中分析兩個(gè)最近獲得的圖像包括:在最近圖像中識(shí)別一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象； 為每個(gè)可能的評(píng)分的候選對(duì)象確定在最近圖像中的相應(yīng)實(shí)測位置；及 對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè): 計(jì)算在最近圖像中的相應(yīng)預(yù)測位置，其中相應(yīng)預(yù)測位置是基于該特定一個(gè)評(píng)分的候選對(duì)象在第二最近圖像中的相應(yīng)位置以及第二最近圖像和最近圖像的獲得之間照相機(jī)的移動(dòng)來估計(jì)的， 計(jì)算相應(yīng)預(yù)測窗口，其中相應(yīng)預(yù)測窗口定義在最近圖像中在相應(yīng)預(yù)測位置附近的一組像素位置，及 對(duì)于最近圖像中具有在相應(yīng)預(yù)測窗口中的相應(yīng)實(shí)測位置的任何可能的評(píng)分的候選對(duì)象，試驗(yàn)性地匹配最近圖像中該可能的評(píng)分的候選對(duì)象與第二最近圖像中特定一個(gè)評(píng)分的候選對(duì)象。
11.如權(quán)利要求10所述的方法，包括: 當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的多個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，從多個(gè)候選對(duì)象中選擇一個(gè)可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象，或者 當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的僅一個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，選擇該試驗(yàn)性地匹配的可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象。
12.如權(quán)利要求11所述的方法，其中為特定一個(gè)評(píng)分的候選對(duì)象計(jì)算相應(yīng)預(yù)測位置包括使用卡爾曼濾波器。
13.如權(quán)利要求12所述的方法，其中用于卡爾曼濾波器的卡爾曼增益是基于明確地匹配的可能的評(píng)分的候選對(duì)象的相應(yīng)實(shí)測位置和相應(yīng)預(yù)測位置之差的。
14.如權(quán)利要求2所述的方法，其中基于用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度包括: 識(shí)別物理環(huán)境中的世界坐標(biāo)原點(diǎn)位置； 為至少兩個(gè)圖像中的每一個(gè)識(shí)別在物理環(huán)境中照相機(jī)相對(duì)于世界坐標(biāo)原點(diǎn)的對(duì)應(yīng)位置；及 基于以下來確定相對(duì)于世界坐標(biāo)原點(diǎn)的相應(yīng)關(guān)聯(lián)高度: a)來自至少兩個(gè)圖像中的每一個(gè)的、用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置，及 b)用于至少兩個(gè)圖像中的每一個(gè)的照相機(jī)的對(duì)應(yīng)位置。
15.如權(quán)利要求14所述的方法，其中確定相對(duì)于世界坐標(biāo)原點(diǎn)的相應(yīng)關(guān)聯(lián)高度包括: 利用用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置的第一子集計(jì)算初始的相應(yīng)關(guān)聯(lián)高度，其中位置的第二子集包括用于該特定一個(gè)評(píng)分的候選對(duì)象的、除第一子集中那些位置之外的所有相應(yīng)位置； 為初始的相應(yīng)關(guān)聯(lián)高度計(jì)算誤差測量； 利用初始的相應(yīng)關(guān)聯(lián)高度，計(jì)算與第二子集中的每個(gè)位置關(guān)聯(lián)的相應(yīng)誤差測量；及 識(shí)別包括第二子集中具有小于該誤差測量的關(guān)聯(lián)的相應(yīng)誤差測量的那些位置的位置的第三子集。
16.如權(quán)利要求14所述的方法，其中照相機(jī)耦合到車輛的一部分。
17.如權(quán)利要求16所述的方法，其中為至少兩個(gè)圖像中的每一個(gè)識(shí)別在物理環(huán)境中照相機(jī)相對(duì)于世界坐標(biāo)原點(diǎn)的對(duì)應(yīng)位置包括: 補(bǔ)償在每個(gè)圖像的獲得之間所發(fā)生的車輛移動(dòng)。
18.如權(quán)利要求1所述的方法，其中計(jì)算機(jī)系統(tǒng)包括圖像分析計(jì)算機(jī)和車輛計(jì)算機(jī)，該方法還包括: 通過傳送評(píng)分的候選對(duì)象中具體一個(gè)的相應(yīng)關(guān)聯(lián)高度以及預(yù)定義的偏移量值，把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析計(jì)算機(jī)傳送到車輛計(jì)算機(jī)。
19.如權(quán)利要求1所述的方法，其中計(jì)算機(jī)系統(tǒng)包括圖像分析計(jì)算機(jī)和車輛計(jì)算機(jī)，該方法還包括: 把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析計(jì)算機(jī)傳送到車輛計(jì)算機(jī)，其中傳送包括: 識(shí)別叉子的當(dāng)前高度； 在一個(gè)或多個(gè)評(píng)分的候選對(duì)象中，確定其相應(yīng)關(guān)聯(lián)高度最接近并且大于叉子的當(dāng)前高度的特定評(píng)分的候選對(duì) 象，該特定評(píng)分的候選對(duì)象定義具體一個(gè)評(píng)分的候選對(duì)象；及 把該特定評(píng)分的候選對(duì)象的高度從圖像分析計(jì)算機(jī)傳送到車輛計(jì)算機(jī)。
20.如權(quán)利要求19所述的方法，其中把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析計(jì)算機(jī)傳送到車輛計(jì)算機(jī)包括: 基于叉子的當(dāng)前高度，更新相應(yīng)關(guān)聯(lián)高度中要傳送的相應(yīng)關(guān)聯(lián)高度。
21.如權(quán)利要求1所述的方法，其中把車輛的叉子停在物理環(huán)境中的一高度包括: 從車輛的用戶操作的控制設(shè)備接收輸入； 在叉子垂直移動(dòng)時(shí)監(jiān)視叉子的高度；及 當(dāng)叉子的高度基本上等于評(píng)分的候選對(duì)象中具體一個(gè)的所傳送的高度時(shí)，停止叉子的垂直移動(dòng)。
22.一種用于控制車輛的叉子的系統(tǒng)，包括: 成像獲得部件，配置為當(dāng)車輛的叉子垂直移動(dòng)時(shí)，獲得其中多個(gè)托盤可見的物理環(huán)境場景的圖像序列； 圖像分析器，配置為在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)評(píng)分的候選對(duì)象，每個(gè)評(píng)分的候選對(duì)象都潛在地對(duì)應(yīng)于多個(gè)托盤中的相應(yīng)一個(gè)； 對(duì)象跟蹤部件，配置為對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，跟蹤在該序列中的至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置； 圖像處理部件，配置為對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度，其中用于評(píng)分的候選對(duì)象中的每個(gè)特定一個(gè)的相應(yīng)關(guān)聯(lián)高度是基于該特定一個(gè)評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置的；及 叉子控制器，配置為基于評(píng)分的候選對(duì)象中具體一個(gè)的高度，把車輛的叉子停在物理環(huán)境中的一高度。
23.如權(quán)利要求22所述的系統(tǒng)，其中成像獲得部件包括配置為與叉子同時(shí)移動(dòng)的照相機(jī)，使得該圖像序列中的每個(gè)圖像是在不同的對(duì)應(yīng)照相機(jī)位置獲得的。
24.如權(quán)利要求22所述的系統(tǒng)，其中圖像序列包括由單個(gè)照相機(jī)捕捉到的場景的灰度級(jí)圖像序列。
25.如權(quán)利要求22所述的系統(tǒng)，其中多個(gè)托盤安排為單列垂直隔開的托盤。
26.如權(quán)利要求22所述的系統(tǒng)，其中圖像分析器還配置為在每個(gè)圖像中識(shí)別多個(gè)特征，其中每個(gè)所識(shí)別出的特征潛在地對(duì)應(yīng)于托盤的相應(yīng)物理結(jié)構(gòu)。
27.如權(quán)利要求26所述的系統(tǒng)，其中托盤的相應(yīng)物理結(jié)構(gòu)包括中心垂直縱梁、基板線和一對(duì)叉子開口。
28.如權(quán)利要求27所述的系統(tǒng)，其中圖像分析器還包括: 對(duì)象打分部件，配置為: 向所識(shí)別出的對(duì)應(yīng)于中心垂直縱梁的特征分配第一置信得分； 向所識(shí)別出的對(duì)應(yīng)于基板線的特征分配第二置信得分； 向所識(shí)別出的對(duì)應(yīng)于一對(duì)叉子開口的特征分配第三置信得分；及基于從第一、第二和第三置信得分計(jì)算出的合成得分，把多個(gè)特征識(shí)別為特定圖像中的評(píng)分的候選對(duì)象。
29.如權(quán)利要求22所述的系統(tǒng)，包括: 配置為存儲(chǔ)具有用于每個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄的列表的存儲(chǔ)器，其中用于特定評(píng)分的候選對(duì)象的相應(yīng)記錄包括該特定評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的相應(yīng)位置。
30.如權(quán)利要求29所述的系統(tǒng)，其中對(duì)象跟蹤部件還配置為: 響應(yīng)于獲得圖像序列中的最近圖像，分析該圖像序列中的兩個(gè)最近獲得的圖像，以確定第二最近圖像中的一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè)是否在最近圖像中具有匹配的評(píng)分的候選對(duì)象 '及 基于匹配的評(píng)分的候選對(duì)象在最近圖像中的相應(yīng)位置，在該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄中添加條目。
31.如權(quán)利要求30所述的系統(tǒng)，其中對(duì)象跟蹤部件還配置為: 在最近圖像中識(shí)別一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象； 為每個(gè)可能的評(píng)分的候選對(duì)象確定在最近圖像中的相應(yīng)實(shí)測位置；及 對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè): 計(jì)算在最近圖像中的相應(yīng)預(yù)測位置，其中相應(yīng)預(yù)測位置是基于該特定一個(gè)評(píng)分的候選對(duì)象在第二最近圖像中的相應(yīng)位置以及第二最近圖像和最近圖像的獲得之間照相機(jī)的移動(dòng)來估計(jì)的， 計(jì)算相應(yīng)預(yù)測窗口，其中相應(yīng)預(yù)測窗口定義在最近圖像中在相應(yīng)預(yù)測位置附近的一組像素位置，及 對(duì)于最近圖像中具有在相應(yīng)預(yù)測窗口中的相應(yīng)實(shí)測位置的任何可能的評(píng)分的候選對(duì)象，試驗(yàn)性地匹配最近圖像中該可能的評(píng)分的候選對(duì)象與第二最近圖像中特定一個(gè)評(píng)分的候選對(duì)象。
32.如權(quán)利要求31所述的系統(tǒng)，其中對(duì)象跟蹤部件還配置為: 當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的多個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，從多個(gè)候選對(duì)象中選擇一個(gè)可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象，或者 當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的僅一個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，選擇該試驗(yàn)性地匹配的可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象。
33.如權(quán)利要求32所述的系統(tǒng)，其中對(duì)象跟蹤部件包括配置為對(duì)于該特定一個(gè)評(píng)分的候選對(duì)象計(jì)算相應(yīng)預(yù)測位置的卡爾曼濾波器。
34.如權(quán)利要求33所述的系統(tǒng)，其中用于卡爾曼濾波器的卡爾曼增益是基于明確地匹配的可能的評(píng)分的候選對(duì)象的相應(yīng)實(shí)測位置和相應(yīng)預(yù)測位置之差的。
35.如權(quán)利要求23所述的系統(tǒng)，其中圖像處理部件還配置為: 識(shí)別物理環(huán)境中的世界坐標(biāo)原點(diǎn)位置； 為至少兩個(gè)圖像中的每一個(gè)識(shí)別在物理環(huán)境中照相機(jī)相對(duì)于世界坐標(biāo)原點(diǎn)的對(duì)應(yīng)位置；及 基于以下來確定相對(duì)于世界坐標(biāo)原點(diǎn)的相應(yīng)關(guān)聯(lián)高度: a)來自至少兩個(gè)圖像中的每一個(gè)的、用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置，及 b)用于至少兩個(gè)圖像中的每一個(gè)的照相機(jī)的對(duì)應(yīng)位置。
36.如權(quán)利要求35所述的系統(tǒng)，其中圖像處理部件還配置為: 利用用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置的第一子集計(jì)算初始的相應(yīng)關(guān)聯(lián)高度，其中位置的第二 子集包括用于該特定一個(gè)評(píng)分的候選對(duì)象的、除第一子集中那些位置之外的所有相應(yīng)位置； 為初始的相應(yīng)關(guān)聯(lián)高度計(jì)算誤差測量； 利用初始的相應(yīng)關(guān)聯(lián)高度，計(jì)算與第二子集中的每個(gè)位置關(guān)聯(lián)的相應(yīng)誤差測量；及識(shí)別包括第二子集中具有小于該誤差測量的關(guān)聯(lián)的相應(yīng)誤差測量的那些位置的位置的第三子集。
37.如權(quán)利要求35所述的系統(tǒng)，其中照相機(jī)耦合到車輛的一部分。
38.如權(quán)利要求37所述的系統(tǒng)，其中圖像處理部件還配置為: 補(bǔ)償在至少兩個(gè)圖像中的每一個(gè)的獲得之間所發(fā)生的車輛移動(dòng)。
39.如權(quán)利要求22所述的系統(tǒng)，還包括: 通信鏈路，配置為通過傳送評(píng)分的候選對(duì)象中具體一個(gè)的相應(yīng)關(guān)聯(lián)高度以及預(yù)定義的偏移量值，把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析部件提供給叉子控制器。
40.如權(quán)利要求22所述的系統(tǒng)，還包括: 叉子控制部件，配置為把評(píng)分的候選對(duì)象中具體一個(gè)的高度提供給叉子控制器，其中叉子控制部件配置為: 識(shí)別叉子的當(dāng)前高度； 在一個(gè)或多個(gè)評(píng)分的候選對(duì)象中，確定其相應(yīng)關(guān)聯(lián)高度最接近并且大于叉子的當(dāng)前高度的特定評(píng)分的候選對(duì)象，該特定評(píng)分的候選對(duì)象定義具體一個(gè)評(píng)分的候選對(duì)象；及把該特定評(píng)分的候選對(duì)象的高度傳送到叉子控制器。
41.如權(quán)利要求40所述的系統(tǒng)，其中叉子控制部件還配置為: 基于叉子的當(dāng)前高度，更新相應(yīng)關(guān)聯(lián)高度中要傳送的相應(yīng)關(guān)聯(lián)高度。
42.如權(quán)利要求22所述的系統(tǒng)，其中叉子控制器還配置為: 從車輛的用戶操作的控制設(shè)備接收輸入； 在叉子垂直移動(dòng)時(shí)監(jiān)視叉子的高度；及 當(dāng)叉子的高度基本上等于評(píng)分的候選對(duì)象中具體一個(gè)的所傳送的高度時(shí)，停止叉子的垂直移動(dòng)。
43.一種用于控制車輛的叉子的計(jì)算機(jī)程序產(chǎn)品，包括: 其中包含計(jì)算機(jī)可讀程序代碼的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀程序代碼包括:配置為當(dāng)車輛的叉子垂直移動(dòng)時(shí)，獲得其中多個(gè)托盤可見的物理環(huán)境場景的圖像序列的計(jì)算機(jī)可讀程序代碼； 配置為在每個(gè)圖像中識(shí)別一個(gè)或多個(gè)評(píng)分的候選對(duì)象的計(jì)算機(jī)可讀程序代碼，每個(gè)評(píng)分的候選對(duì)象都潛在地對(duì)應(yīng)于多個(gè)托盤中的相應(yīng)一個(gè)； 配置為對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，跟蹤在該序列中的至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置的計(jì)算機(jī)可讀程序代碼； 配置為對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的每一個(gè)，確定在物理環(huán)境中的相應(yīng)關(guān)聯(lián)高度的計(jì)算機(jī)可讀程序代碼，其中用于評(píng)分的候選對(duì)象中的每個(gè)特定一個(gè)的相應(yīng)關(guān)聯(lián)高度是基于該特定一個(gè)評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的每一個(gè)中的相應(yīng)位置的；及 配置為基于評(píng)分的候選對(duì)象中具體一個(gè)的高度，把車輛的叉子停在物理環(huán)境中的一高度的計(jì)算機(jī)可讀程序代碼。
44.如權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為利用與叉子同時(shí)移動(dòng)的照相機(jī)獲得圖像序列的計(jì)算機(jī)可讀程序代碼，使得該圖像序列中的每個(gè)圖像是在不同的對(duì)應(yīng)照相機(jī)位置獲得的。
45.如權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，其中圖像序列包括由單個(gè)照相機(jī)捕捉的場景的灰度級(jí)圖像序列。
46.如權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，其中多個(gè)托盤安排為單列垂直隔開的托盤。
47.如權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為在每個(gè)圖像中識(shí)別多個(gè)特征的計(jì)算機(jī)可讀程序代碼，其中每個(gè)所識(shí)別出的特征潛在地對(duì)應(yīng)于托盤的相應(yīng)物理結(jié)構(gòu)。
48.如權(quán)利要求47所述的計(jì)算機(jī)程序產(chǎn)品，其中托盤的相應(yīng)物理結(jié)構(gòu)包括中心垂直縱梁、基板線和一對(duì)叉子開口。
49.如權(quán)利要求48所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為執(zhí)行以下操作的計(jì)算機(jī)可讀程序代碼: 向所識(shí)別出的對(duì)應(yīng)于中心垂直縱梁的特征分配第一置信得分； 向所識(shí)別出的對(duì)應(yīng)于基板線的特征分配第二置信得分； 向所識(shí)別出的對(duì)應(yīng)于一對(duì)叉子開口的特征分配第三置信得分；及基于從第一、第二和第三置信得分計(jì)算出的合成得分，把多個(gè)特征識(shí)別為特定圖像中的評(píng)分的候選對(duì)象。
50.如權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為維護(hù)具有用于每個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄的列表的計(jì)算機(jī)可讀程序代碼，其中用于特定評(píng)分的候選對(duì)象的相應(yīng)記錄包括該特定評(píng)分的候選對(duì)象在至少兩個(gè)圖像中的相應(yīng)位置。
51.如權(quán)利要求50所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為響應(yīng)于獲得圖像序列中的最近圖像，分析該圖像序列中的兩個(gè)最近獲得的圖像，以確定第二最近圖像中的一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè)是否在最近圖像中具有匹配的評(píng)分的候選對(duì)象的計(jì)算機(jī)可讀程序代碼；及 配置為基于匹配的評(píng)分的候選對(duì)象在最近圖像中的相應(yīng)位置，在該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)記錄中添加條目的計(jì)算機(jī)可讀程序代碼。
52.如權(quán)利要求51所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為執(zhí)行以下操作的計(jì)算機(jī)可讀程序代碼: 在最近圖像中識(shí)別一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象； 為每個(gè)可能的評(píng)分的候選對(duì)象確定在最近圖像中的相應(yīng)實(shí)測位置；及 對(duì)于一個(gè)或多個(gè)評(píng)分的候選對(duì)象中的特定一個(gè): 計(jì)算在最近圖像中的相應(yīng)預(yù)測位置，其中相應(yīng)預(yù)測位置是基于該特定一個(gè)評(píng)分的候選對(duì)象在第二最近圖像中的相應(yīng)位置以及第二最近圖像和最近圖像的獲得之間照相機(jī)的移動(dòng)來估計(jì)的， 計(jì)算相應(yīng)預(yù)測窗口，其中相應(yīng)預(yù)測窗口定義在最近圖像中在相應(yīng)預(yù)測位置附近的一組像素位置，及 對(duì)于最近圖像中具有在相應(yīng)預(yù)測窗口中的相應(yīng)實(shí)測位置的任何可能的評(píng)分的候選對(duì)象，試驗(yàn)性地匹配最近圖像中該可能的評(píng)分的候選對(duì)象與第二最近圖像中特定一個(gè)評(píng)分的候選對(duì)象。
53.如權(quán)利要求52所述的計(jì)算機(jī)程序產(chǎn)品，還包括配置為執(zhí)行以下操作的計(jì)算機(jī)可讀程序代碼: 當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的多個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，從多個(gè)候選對(duì)象中選擇一個(gè)可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象，或者 當(dāng)一個(gè)或多個(gè)可能的評(píng)分的候選對(duì)象中的僅一個(gè)候選對(duì)象與該特定一個(gè)評(píng)分的候選對(duì)象試驗(yàn)性地匹配時(shí)，選擇該試驗(yàn)性地匹配的可能的評(píng)分的候選對(duì)象，以明確地匹配該特定一個(gè)評(píng)分的候選對(duì)象。
54.如權(quán)利要求53所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為實(shí)現(xiàn)為該特定一個(gè)評(píng)分的候選對(duì)象計(jì)算相應(yīng)預(yù)測位置的卡爾曼濾波器的計(jì)算機(jī)可讀程序代碼。
55.如權(quán)利要求54所述的計(jì)算機(jī)程序產(chǎn)品，其中用于卡爾曼濾波器的卡爾曼增益是基于明確地匹配的可能的評(píng)分的候選對(duì)象的相應(yīng)實(shí)測位置和相應(yīng)預(yù)測位置之差的。
56.如權(quán)利要求44所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為識(shí)別物理環(huán)境中的世界坐標(biāo)原點(diǎn)位置的計(jì)算機(jī)可讀程序代碼； 配置為對(duì)于至少兩個(gè)圖像中的每一個(gè)，識(shí)別在物理環(huán)境中照相機(jī)相對(duì)于世界坐標(biāo)原點(diǎn)的對(duì)應(yīng)位置的計(jì)算機(jī)可讀程序代碼；及 配置為基于以下來確定相對(duì)于世界坐標(biāo)原點(diǎn)的相應(yīng)關(guān)聯(lián)高度的計(jì)算機(jī)可讀程序代碼: a)來自至少兩個(gè)圖像中的每一個(gè)的、用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置，及 b)用于至少兩個(gè)圖像中的每一個(gè)的照相機(jī)的對(duì)應(yīng)位置。
57.如權(quán)利要求56所述的計(jì)算機(jī)程序產(chǎn)品，還包括:配置為利用用于該特定一個(gè)評(píng)分的候選對(duì)象的相應(yīng)位置的第一子集計(jì)算初始的相應(yīng)關(guān)聯(lián)高度的計(jì)算機(jī)可讀程序代碼，其中位置的第二子集包括用于該特定一個(gè)評(píng)分的候選對(duì)象的、除第一子集中那些位置之外的所有相應(yīng)位置； 配置為對(duì)于初始的相應(yīng)關(guān)聯(lián)高度計(jì)算誤差測量的計(jì)算機(jī)可讀程序代碼； 配置為利用初始的相應(yīng)關(guān)聯(lián)高度，計(jì)算與第二子集中的每個(gè)位置關(guān)聯(lián)的相應(yīng)誤差測量的計(jì)算機(jī)可讀程序代碼；及 配置為識(shí)別包括第二子集中具有小于該誤差測量的關(guān)聯(lián)的相應(yīng)誤差測量的那些位置的位置第三子集的計(jì)算機(jī)可讀程序代碼。
58.如權(quán)利要求56所述的計(jì)算機(jī)程序產(chǎn)品，其中照相機(jī)耦合到車輛的一部分。
59.如權(quán)利要求58所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為補(bǔ)償在至少兩個(gè)圖像中的獲得之間所發(fā)生的車輛移動(dòng)的計(jì)算機(jī)可讀程序代碼。
60.如權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為通過傳送評(píng)分的候選對(duì)象中具體一個(gè)的相應(yīng)關(guān)聯(lián)高度以及預(yù)定義的偏移量值，把評(píng)分的候選對(duì)象中具體一個(gè)的高度從圖像分析部件提供給叉子控制器的計(jì)算機(jī)可讀程序代碼。
61.如權(quán)利要求43所述的計(jì)算 機(jī)程序產(chǎn)品，還包括: 配置為通過以下把評(píng)分的候選對(duì)象中具體一個(gè)的高度提供給叉子控制器的計(jì)算機(jī)可讀程序代碼: 識(shí)別叉子的當(dāng)前高度； 在一個(gè)或多個(gè)評(píng)分的候選對(duì)象中，確定其相應(yīng)關(guān)聯(lián)高度最接近并且大于叉子的當(dāng)前高度的特定評(píng)分的候選對(duì)象，該特定評(píng)分的候選對(duì)象定義具體一個(gè)評(píng)分的候選對(duì)象；及把該特定評(píng)分的候選對(duì)象的高度傳送給叉子控制器。
62.如權(quán)利要求61所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為基于叉子的當(dāng)前高度，更新相應(yīng)關(guān)聯(lián)高度中要傳送的相應(yīng)關(guān)聯(lián)高度的計(jì)算機(jī)可讀程序代碼。
63.如權(quán)利要求43所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為從車輛的用戶操作的控制設(shè)備接收輸入的計(jì)算機(jī)可讀程序代碼； 配置為在叉子垂直移動(dòng)時(shí)監(jiān)視叉子的高度的計(jì)算機(jī)可讀程序代碼；及配置為當(dāng)叉子的高度基本上等于評(píng)分的候選對(duì)象中具體一個(gè)的所傳送的高度時(shí)，停止叉子的垂直移動(dòng)的計(jì)算機(jī)可讀程序代碼。
【文檔編號(hào)】G06T7/20GK104011772SQ201280051229
【公開日】2014年8月27日 申請(qǐng)日期:2012年10月16日 優(yōu)先權(quán)日:2011年10月19日
【發(fā)明者】L·F·霍爾瓦, E·R·埃爾斯頓, E·L·詹森, M·J·西林格, J-D·S·約德 申請(qǐng)人:克朗設(shè)備公司