識(shí)別、匹配并跟蹤圖像序列中的多個(gè)對(duì)象的制作方法
【專利摘要】提供了在由照相機(jī)獲得的圖像幀序列中跟蹤評(píng)分的候選對(duì)象的方法。評(píng)分的候選對(duì)象可以包括與前一圖像幀關(guān)聯(lián)的一組現(xiàn)有的評(píng)分的候選對(duì)象以及與下一圖像幀關(guān)聯(lián)的一組新的評(píng)分的候選對(duì)象。
【專利說明】識(shí)別、匹配并跟3示圖像序列中的多個(gè)對(duì)象
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般而言涉及材料搬運(yùn)車輛，并且更具體地說涉及用于成像并定位要被該車輛拾起的托盤的系統(tǒng)。
【背景技術(shù)】
[0002]在典型的倉(cāng)庫(kù)或配送中心，托盤化的庫(kù)存物品存儲(chǔ)在與通常長(zhǎng)而平行延伸的通道每一側(cè)對(duì)齊的貨架或其它存儲(chǔ)結(jié)構(gòu)中。為了最大化可用的空間，讓幾個(gè)存儲(chǔ)結(jié)構(gòu)垂直堆放是常見的，使得庫(kù)存可以在升高的高度存儲(chǔ)。因此，檢索和/或擺放庫(kù)存的材料搬運(yùn)車輛的操作人員可能需要從車輛的操作位置向上看，以便識(shí)別用于檢索或擺放庫(kù)存的叉子的正確高度和橫向位置。
[0003]在增加的高度處定位叉架以便拾起或擺放托盤化的材料變得越來越困難?？梢暯嵌茸兊酶永щy。為了有效地執(zhí)行必要的定位調(diào)整，會(huì)需要大量的培訓(xùn)。即使具有足夠的能力，正確定位也會(huì)花比材料搬運(yùn)車輛和操作人員的有效使用所期望的更多的時(shí)間。

【發(fā)明內(nèi)容】

[0004]根據(jù)本發(fā)明的第一方面，提供了在由照相機(jī)獲得的圖像幀序列中跟蹤評(píng)分的候選對(duì)象的方法。評(píng)分的候選對(duì)象可以包括與前一圖像幀關(guān)聯(lián)的一組現(xiàn)有的評(píng)分的候選對(duì)象以及與下一圖像幀關(guān)聯(lián)的一組新評(píng)分的候選對(duì)象。該方法可以包括:由計(jì)算機(jī)確定在下一圖像幀中每個(gè)新評(píng)分的候選對(duì)象的相應(yīng)位置；并且分析新評(píng)分的候選對(duì)象，其中所述分析包括:對(duì)于每個(gè)特定的現(xiàn)有評(píng)分的候選對(duì)象:由計(jì)算機(jī)識(shí)別該特定的現(xiàn)有評(píng)分的候選對(duì)象在前一圖像幀中的相應(yīng)第一位置，由計(jì)算機(jī)估計(jì)在下一圖像幀中的相應(yīng)第二位置，其中相應(yīng)第二位置是基于前一圖像幀和下一圖像幀的獲得之間照相機(jī)的移動(dòng)估計(jì)的，由計(jì)算機(jī)計(jì)算相應(yīng)預(yù)測(cè)窗口，其中相應(yīng)預(yù)測(cè)窗口定義在下一圖像幀中在相應(yīng)第二位置附近的一組像素位置，并且，對(duì)于在相應(yīng)預(yù)測(cè)窗口中具有相應(yīng)位置的任何新的評(píng)分的候選對(duì)象，試驗(yàn)性地匹配該新評(píng)分的候選對(duì)象與該特定的現(xiàn)有評(píng)分的候選對(duì)象。
[0005]計(jì)算機(jī)可以維護(hù)被跟蹤的現(xiàn)有評(píng)分的候選對(duì)象的列表。
[0006]分析可以包括把其相應(yīng)位置不在用于任何現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)預(yù)測(cè)窗口內(nèi)的任何新評(píng)分的候選對(duì)象添加到被跟蹤的評(píng)分的候選對(duì)象的現(xiàn)有列表中。
[0007]多個(gè)評(píng)分的候選對(duì)象中每一個(gè)都可以具有相應(yīng)合成對(duì)象得分。
[0008]分析可以包括:對(duì)于試驗(yàn)性地與第一現(xiàn)有評(píng)分的候選對(duì)象和第二現(xiàn)有評(píng)分的候選對(duì)象都匹配的每個(gè)新評(píng)分的候選對(duì)象:計(jì)算第一值，該第一值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；計(jì)算第二值，該第二值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；如果第一值小于或等于第二值，則維護(hù)第一現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第二現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象；并且，如果第二值小于第一值，則維護(hù)第二現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第一現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象。
[0009]分析可以包括:對(duì)于試驗(yàn)性地與第一新評(píng)分的候選對(duì)象和第二新評(píng)分的候選對(duì)象都匹配的每個(gè)現(xiàn)有評(píng)分的候選對(duì)象:計(jì)算第一值，該第一值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；計(jì)算第二值，該第二值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；如果第一值小于或等于第二值，則維護(hù)該現(xiàn)有評(píng)分的候選對(duì)象與第一新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第二新評(píng)分的候選對(duì)象；并且，如果第二值小于第一值，則維護(hù)第二新評(píng)分的候選對(duì)象與該現(xiàn)有評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第一新評(píng)分的候選對(duì)象。
[0010]分析可以包括從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象，其中不匹配的現(xiàn)有評(píng)分的候選對(duì)象沒有匹配的新評(píng)分的候選對(duì)象。
[0011]圖像幀序列可以包括:按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色:當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，并且，當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
[0012]從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象可以包括:對(duì)于序列中緊接著在前一圖像幀前面的圖像幀子集中的每個(gè)圖像幀，確定當(dāng)該子集的該圖像幀是序列中的當(dāng)前前一個(gè)圖像時(shí)，不匹配的現(xiàn)有評(píng)分的候選對(duì)象是否也不匹配；如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中也不匹配，則刪除該不匹配的現(xiàn)有評(píng)分的候選對(duì)象；并且如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中不是不匹配，則在被跟蹤的評(píng)分的候選對(duì)象的列表中維護(hù)該不匹配的現(xiàn)有評(píng)分的候選對(duì)象。
[0013]圖像幀子集可以包括3個(gè)圖像幀。
[0014]該方法還可以包括:獲得相對(duì)于當(dāng)前下一個(gè)圖像幀的新后繼圖像幀；把當(dāng)前下一個(gè)圖像幀的角色改變成當(dāng)前前一個(gè)圖像幀的角色；并且基于所述分析更新被跟蹤的評(píng)分的候選對(duì)象的列表。
[0015]根據(jù)本發(fā)明的第二方面，提供了在由計(jì)算機(jī)獲得的圖像幀序列中跟蹤評(píng)分的候選對(duì)象的系統(tǒng)。評(píng)分的候選對(duì)象可以包括與前一圖像幀關(guān)聯(lián)的一組現(xiàn)有的評(píng)分的候選對(duì)象以及與下一圖像幀關(guān)聯(lián)的一組新評(píng)分的候選對(duì)象。該系統(tǒng)可以包括:處理器，配置為執(zhí)行可訪問存儲(chǔ)器中的指令；對(duì)象定位部件，配置為確定在下一圖像幀中每個(gè)新評(píng)分的候選對(duì)象的相應(yīng)位置；以及分析器部件，配置為對(duì)新評(píng)分的候選對(duì)象執(zhí)行分析，其中所述分析包括:對(duì)于每個(gè)特定的現(xiàn)有評(píng)分的候選對(duì)象:識(shí)別該特定的現(xiàn)有評(píng)分的候選對(duì)象在前一圖像幀中的相應(yīng)第一位置，估計(jì)在下一圖像幀中的相應(yīng)第二位置，其中相應(yīng)第二位置是基于前一圖像幀和下一圖像幀的獲得之間照相機(jī)的移動(dòng)估計(jì)的，計(jì)算相應(yīng)預(yù)測(cè)窗口，其中相應(yīng)預(yù)測(cè)窗口定義在下一圖像幀中在相應(yīng)第二位置附近的一組像素位置，并且，對(duì)于在相應(yīng)預(yù)測(cè)窗口中具有相應(yīng)位置的任何新評(píng)分的候選對(duì)象，試驗(yàn)性地匹配該新評(píng)分的候選對(duì)象與該特定的現(xiàn)有評(píng)分的候選對(duì)象。
[0016]該系統(tǒng)還可以包括存儲(chǔ)被跟蹤的現(xiàn)有評(píng)分的候選對(duì)象的列表的第一存儲(chǔ)器設(shè)備。
[0017]分析還可以包括把其相應(yīng)位置不在用于任何現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)預(yù)測(cè)窗口內(nèi)的任何新評(píng)分的候選對(duì)象添加到被跟蹤的評(píng)分的候選對(duì)象的現(xiàn)有列表中。
[0018]多個(gè)評(píng)分的候選對(duì)象中每一個(gè)都可以具有相應(yīng)合成對(duì)象得分。
[0019]分析還可以包括:對(duì)于試驗(yàn)性地與第一現(xiàn)有評(píng)分的候選對(duì)象和第二現(xiàn)有評(píng)分的候選對(duì)象都匹配的每個(gè)新評(píng)分的候選對(duì)象:計(jì)算第一值，該第一值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；計(jì)算第二值，該第二值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；如果第一值小于或等于第二值，則維護(hù)第一現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第二現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象；并且，如果第二值小于第一值，則維護(hù)第二現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第一現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象。
[0020]分析還可以包括:對(duì)于試驗(yàn)性地與第一新評(píng)分的候選對(duì)象和第二新評(píng)分的候選對(duì)象都匹配的每個(gè)現(xiàn)有評(píng)分的候選對(duì)象:計(jì)算第一值，該第一值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；計(jì)算第二值，該第二值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；如果第一值小于或等于第二值，則維護(hù)該現(xiàn)有評(píng)分的候選對(duì)象與第一新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第二新評(píng)分的候選對(duì)象；并且，如果第二值小于第一值，則維護(hù)第二新的評(píng)分的候選對(duì)象與該現(xiàn)有評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第一新評(píng)分的候選對(duì)象。
[0021]該系統(tǒng)還可以包括刪除部件，配置為從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象，其中不匹配的現(xiàn)有評(píng)分的候選對(duì)象沒有匹配的新評(píng)分的候選對(duì)象。
[0022]圖像幀序列可以包括按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色:當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，并且，當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
[0023]刪除部件可以配置為根據(jù)以下從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象:對(duì)于序列中緊接著在前一圖像幀前面的圖像幀子集中的每個(gè)圖像幀，確定當(dāng)該子集的該圖像幀是序列中的當(dāng)前前一個(gè)圖像時(shí)，不匹配的現(xiàn)有評(píng)分的候選對(duì)象是否也不匹配；如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中也不匹配，則刪除該不匹配的現(xiàn)有評(píng)分的候選對(duì)象；并且如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中不是不匹配，則在被跟蹤的評(píng)分的候選對(duì)象的列表中維護(hù)該不匹配的現(xiàn)有評(píng)分的候選對(duì)象。
[0024]圖像幀子集可以包括3個(gè)圖像幀。
[0025]該系統(tǒng)還可以包括:圖像獲得部件，配置為獲得相對(duì)于當(dāng)前下一個(gè)圖像幀的新后繼圖像幀；圖像更新部件，配置為把當(dāng)前下一個(gè)圖像幀的角色改變成當(dāng)前前一個(gè)圖像幀的角色；及對(duì)象更新部件，配置為基于所述分析更新被跟蹤的評(píng)分的候選對(duì)象的列表。
[0026]根據(jù)本發(fā)明的第三方面，提供了在由照相機(jī)獲得的圖像幀序列中跟蹤評(píng)分的候選對(duì)象的計(jì)算機(jī)程序產(chǎn)品。評(píng)分的候選對(duì)象可以包括與前一圖像幀關(guān)聯(lián)的一組現(xiàn)有的評(píng)分的候選對(duì)象以及與下一圖像幀關(guān)聯(lián)的一組新評(píng)分的候選對(duì)象。該計(jì)算機(jī)程序產(chǎn)品可以包括:其中包含計(jì)算機(jī)可讀程序代碼的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀程序代碼包括:配置為確定在下一圖像幀中每個(gè)新評(píng)分的候選對(duì)象的相應(yīng)位置的計(jì)算機(jī)可讀程序代碼；以及配置為對(duì)新評(píng)分的候選對(duì)象執(zhí)行分析的計(jì)算機(jī)可讀程序代碼，其中所述分析包括:對(duì)于每個(gè)特定的現(xiàn)有評(píng)分的候選對(duì)象:識(shí)別該特定的現(xiàn)有評(píng)分的候選對(duì)象在前一圖像幀中的相應(yīng)第一位置，估計(jì)在下一圖像幀中的相應(yīng)第二位置，其中相應(yīng)第二位置是基于前一圖像幀和下一圖像幀的獲得之間照相機(jī)的移動(dòng)估計(jì)的，計(jì)算相應(yīng)預(yù)測(cè)窗口，其中相應(yīng)預(yù)測(cè)窗口定義在下一圖像幀中在相應(yīng)第二位置附近的一組像素位置，并且，對(duì)于在相應(yīng)預(yù)測(cè)窗口中具有相應(yīng)位置的任何新評(píng)分的候選對(duì)象，試驗(yàn)性地匹配該新評(píng)分的候選對(duì)象與該特定的現(xiàn)有評(píng)分的候選對(duì)象。
[0027]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為維護(hù)被跟蹤的現(xiàn)有評(píng)分的候選對(duì)象的列表的計(jì)算機(jī)可讀程序代碼。
[0028]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為把其相應(yīng)位置不在用于任何現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)預(yù)測(cè)窗口內(nèi)的任何新評(píng)分的候選對(duì)象添加到被跟蹤的評(píng)分的候選對(duì)象的現(xiàn)有列表中的計(jì)算機(jī)可讀程序代碼。
[0029]多個(gè)評(píng)分的候選對(duì)象中每一個(gè)都可以具有相應(yīng)合成對(duì)象得分。
[0030]分析還可以包括:對(duì)于試驗(yàn)性地與第一現(xiàn)有評(píng)分的候選對(duì)象和第二現(xiàn)有評(píng)分的候選對(duì)象都匹配的每個(gè)新評(píng)分的候選對(duì)象:計(jì)算第一值，該第一值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；計(jì)算第二值，該第二值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；如果第一值小于或等于第二值，則維護(hù)第一現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第二現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象；并且，如果第二值小于第一值，則維護(hù)第二現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第一現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象。
[0031]分析還可以包括:對(duì)于試驗(yàn)性地與第一新評(píng)分的候選對(duì)象和第二新評(píng)分的候選對(duì)象都匹配的每個(gè)現(xiàn)有評(píng)分的候選對(duì)象:計(jì)算第一值，該第一值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；計(jì)算第二值，該第二值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值；如果第一值小于或等于第二值，則維護(hù)該現(xiàn)有評(píng)分的候選對(duì)象與第一新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第二新評(píng)分的候選對(duì)象；并且，如果第二值小于第一值，則維護(hù)第二新評(píng)分的候選對(duì)象與該現(xiàn)有評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第一新評(píng)分的候選對(duì)象。
[0032]該計(jì)算機(jī)程序產(chǎn)品還可以包括配置為從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象的計(jì)算機(jī)可讀程序代碼，其中不匹配的現(xiàn)有評(píng)分的候選對(duì)象沒有匹配的新評(píng)分的候選對(duì)象。
[0033]圖像幀序列包括按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色:當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，并且，當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
[0034]該計(jì)算機(jī)程序產(chǎn)品還可以包括:配置為根據(jù)以下從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象的計(jì)算機(jī)可讀程序代碼:對(duì)于序列中緊接著在前一圖像幀前面的圖像幀子集中的每個(gè)圖像幀，確定當(dāng)該子集的該圖像幀是序列中的當(dāng)前前一個(gè)圖像時(shí)，不匹配的現(xiàn)有評(píng)分的候選對(duì)象是否也不匹配；如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中也不匹配，則刪除該不匹配的現(xiàn)有評(píng)分的候選對(duì)象；并且如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中不是不匹配，則在被跟蹤的評(píng)分的候選對(duì)象的列表中維護(hù)該不匹配的現(xiàn)有評(píng)分的候選對(duì)象。
[0035]圖像幀子集可以包括3個(gè)圖像幀。
[0036]該計(jì)算機(jī)程序產(chǎn)品還可以包括:配置為獲得相對(duì)于當(dāng)前下一個(gè)圖像幀的新后繼圖像幀的計(jì)算機(jī)可讀程序代碼；配置為把當(dāng)前下一個(gè)圖像幀的角色改變成當(dāng)前前一個(gè)圖像幀的角色的計(jì)算機(jī)可讀程序代碼；及基于所述分析更新被跟蹤的評(píng)分的候選對(duì)象的列表的計(jì)算機(jī)可讀程序代碼。
【專利附圖】

【附圖說明】
[0037]圖1是本發(fā)明基于圖像的檢測(cè)系統(tǒng)可以結(jié)合在其中的材料搬運(yùn)車輛的側(cè)視圖；
[0038]圖2是構(gòu)成圖1中所說明的車輛的叉架裝置(fork carriage apparatus)的透視圖；
[0039]圖3是托盤的前視圖；
[0040]圖4是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)實(shí)現(xiàn)的步驟的流程圖；
[0041]圖5是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了識(shí)別可能的托盤角落而實(shí)現(xiàn)的步驟的流程圖；
[0042]圖6、7、6B和7A說明了第一、第二、第三和第四角落模板；
[0043]圖6A說明了位于水平和垂直交叉相關(guān)結(jié)果之上的第一角落模板；
[0044]圖6C-6E說明了用于定位左下角圖像中最大像素值的例子；
[0045]圖6F說明了從較高分辨率圖像產(chǎn)生較低分辨率圖像的例子；
[0046]圖6G說明了為了潛在的左下角的位置而被進(jìn)一步分析的中等水平圖像的一部分；
[0047]圖8是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了確定第一 Ro圖像和可選的第二Ro圖像而實(shí)現(xiàn)的步驟的流程圖；
[0048]圖9說明了用于計(jì)算水平梯度圖像中的像素值的例子；
[0049]圖10說明了用于計(jì)算垂直梯度圖像中的像素值的例子；
[0050]圖11A-11D說明了包括至少一個(gè)窗口的左Ro圖像的部分；
[0051]圖12A、12B、13A和13B是說明由根據(jù)本發(fā)明一種實(shí)施例的圖像分析計(jì)算機(jī)為了從左Ro圖像中的左下角開始跟蹤水平和垂直線而實(shí)現(xiàn)的步驟的流程圖；
[0052]圖14A和14B說明了包括至少一個(gè)窗口的左Ro圖像的部分；
[0053]圖14C和14D是說明根據(jù)本發(fā)明另一種實(shí)施例用于從左下角開始跟蹤水平和垂直線的步驟的流程圖；
[0054]圖14E是具有作為圖14C流程圖中對(duì)應(yīng)步驟的備選方案的一些步驟的流程圖；
[0055]圖15是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了確定多條可能的線中哪條最有可能是經(jīng)過預(yù)審合格的左下角的實(shí)際線而實(shí)現(xiàn)的步驟的流程圖；
[0056]圖15A說明了穿過預(yù)審合格的左下角的兩條可能線；及
[0057]圖16A說明了規(guī)格化的灰度級(jí)圖像，該圖像說明了具有底部托盤板200和中心縱梁208的托盤P ；
[0058]圖16B是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的水平交叉相關(guān)圖像；
[0059]圖16C是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的垂直交叉相關(guān)圖像；
[0060]圖16D是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的水平梯度圖像；
[0061]圖16E是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的垂直梯度圖像；
[0062]圖16F是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的第一 Ro圖像；
[0063]圖16G是對(duì)應(yīng)于圖16A中灰度級(jí)圖像的第二 Ro圖像；
[0064]圖17是說明左下角和右下角的托盤一部分的視圖；
[0065]圖18說明了根據(jù)本發(fā)明的原理、用于評(píng)估托盤結(jié)構(gòu)潛在的洞和中心縱梁的幾何框架；
[0066]圖19A說明了根據(jù)本發(fā)明的原理、用于估計(jì)中心縱梁高度的幾何框架；
[0067]圖19B說明了根據(jù)本發(fā)明的原理、用于評(píng)估中心縱梁可能的左和右垂直邊緣的幾何框架；
[0068]圖20A是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了分析中心縱梁的可能左邊緣而實(shí)現(xiàn)的步驟的流程圖；
[0069]圖20B說明了根據(jù)圖20A的流程圖分析的圖像部分中像素的例子；
[0070]圖21A是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了確定潛在地代表托盤各個(gè)部分的多個(gè)矩形的高度而實(shí)現(xiàn)的步驟的流程圖；
[0071]圖21B說明了圖形解釋圖21A流程圖操作各方面的幾何框架；
[0072]圖22A說明了有可能代表位于托盤中心縱梁左邊的叉子開口的第一矩形的例子；
[0073]圖22B說明了有可能代表位于托盤中心縱梁右邊的叉子開口的第二矩形的例子；
[0074]圖22C說明了有可能代表托盤中心縱梁的第三矩形的例子；
[0075]圖23A是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了計(jì)算包括所述第一、第二和第三矩形的像素而實(shí)現(xiàn)的步驟的流程圖；
[0076]圖23B說明了圖形解釋圖23A流程圖操作各方面的幾何框架；[0077]圖23C是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了計(jì)算第一和第二矩形的負(fù)像素的垂直投影而實(shí)現(xiàn)的步驟的流程圖；
[0078]圖23D是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了計(jì)算第三矩形的至少一些負(fù)像素的垂直投影而實(shí)現(xiàn)的步驟的流程圖；
[0079]圖23E繪出了根據(jù)本發(fā)明的原理、用于維護(hù)圖像幀中候選對(duì)象的對(duì)象列表(Objectlist)的示例性算法的流程圖；
[0080]圖24A繪出了根據(jù)本發(fā)明的原理、用于從用于圖像巾貞的Objectlist中消除至少一些候選對(duì)象的示例性算法的流程圖；
[0081]圖24B繪出了根據(jù)本發(fā)明的原理、用于消除在彼此附近的一個(gè)或多個(gè)候選對(duì)象的示例性算法的流程圖；
[0082]圖24C繪出了根據(jù)本發(fā)明的原理、用于消除在彼此垂直本地(vertically local)的一個(gè)或多個(gè)候選對(duì)象的示例性算法的流程圖；
[0083]圖24D繪出了根據(jù)本發(fā)明的原理、具有候選對(duì)象的示例圖像幀；
[0084]圖25是根據(jù)本發(fā)明的原理、用于在不同的圖像幀之間跟蹤候選對(duì)象的流程圖；
[0085]圖26A和26B繪出了根據(jù)本發(fā)明的原理、具有候選對(duì)象的前一圖像巾貞和下一個(gè)圖像幀；
[0086]圖27A說明了物理世界中其位置可以相對(duì)于多于一個(gè)參考幀來計(jì)算的托盤；
[0087]圖27B說明了用于把物理世界位置投影到圖像平面上的針孔照相機(jī)模型；
[0088]圖27C說明了根據(jù)本發(fā)明的原理、具有不同像素位置的灰度級(jí)圖像；
[0089]圖27D是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了識(shí)別離群數(shù)據(jù)而實(shí)現(xiàn)的步驟的流程圖；
[0090]圖27E說明了根據(jù)本發(fā)明的原理、照相機(jī)坐標(biāo)系統(tǒng)軸關(guān)于世界坐標(biāo)系統(tǒng)的相對(duì)旋轉(zhuǎn);
[0091]圖27F說明了根據(jù)本發(fā)明的原理、物理世界中可以相對(duì)于多于一個(gè)參考幀來計(jì)算的托盤位置；
[0092]圖28是說明由根據(jù)本發(fā)明的圖像分析計(jì)算機(jī)為了利用卡爾曼(Kalman)濾波器預(yù)測(cè)狀態(tài)變量而實(shí)現(xiàn)的步驟的流程圖；
[0093]圖29A-29F是說明根據(jù)本發(fā)明的原理、用于確定切口(cutout)位置的流程圖；及
[0094]圖30說明了根據(jù)本發(fā)明的原理、可用于執(zhí)行外在照相機(jī)校準(zhǔn)的多個(gè)托盤的圖像投影配置。
【具體實(shí)施方式】
[0095]現(xiàn)在參考圖1，圖1說明了本發(fā)明可以結(jié)合在其中的叉車或車輛10。車輛10包括包含操作人員隔間22的動(dòng)力單元或主體20。車輛10還包括桅桿(mast)組件30和叉架裝置40，如圖2中最好地示出的。雖然本發(fā)明在本文中參考直立式平衡卡車來描述，但是對(duì)本領(lǐng)域技術(shù)人員來說將很顯然，本發(fā)明及本發(fā)明的變體可以更一般性地應(yīng)用于各種其它材料搬運(yùn)車輛，包括包含單桅桿的駕駛者可達(dá)(rider reach)叉車，如在美國(guó)專利申請(qǐng)公開N0.2010/0065377中所描述的，該申請(qǐng)的全部公開內(nèi)容在此引入作為參考。本發(fā)明的實(shí)施例可以結(jié)合在其中的車輛10的不同類型包括手動(dòng)車輛、半自主車輛和自主車輛。[0096]桅桿組件30包括第一、第二和第三桅桿焊件32、34和36，其中第二焊件34套在第一焊件32中，而第三焊件36套在第二焊件34中。第一焊件32固定地耦合到卡車主體20。第二或中間焊件34能夠相對(duì)于第一焊件32垂直移動(dòng)。第三或內(nèi)部焊件36能夠相對(duì)于第一和第二焊件32和34垂直移動(dòng)。
[0097]為了實(shí)現(xiàn)第二焊件34相對(duì)于第一焊件32的移動(dòng)，第一和第二提升油缸(liftram)/汽缸組件35 (在圖1中只說明了第一個(gè)組件)耦合到第一和第二焊件32和34。鏈條35A (在圖1中只說明了第一個(gè)組件的鏈條)固定到第一和第二提升組件的汽缸及第三焊件36，并且在耦合到對(duì)應(yīng)的一個(gè)油缸的滑輪35B (在圖1中只說明了第一個(gè)組件的滑輪)之上延伸，使得第一和第二提升組件的油缸的移動(dòng)實(shí)現(xiàn)第三焊件36相對(duì)于第一和第二焊件32和34的移動(dòng)。
[0098]叉架裝置40耦合到第三焊件36，從而相對(duì)于第三級(jí)焊件36垂直移動(dòng)。叉架裝置40還與第三焊件36 —起相對(duì)于第一和第二焊件32和34垂直移動(dòng)。
[0099]在所說明的實(shí)施例中，叉架裝置40包括第一和第二叉子42A和42B安裝到其的叉架機(jī)制44。叉架機(jī)制44安裝到到達(dá)機(jī)制(reach machanism) 46,該到達(dá)機(jī)制46又安裝到桅桿支架組件48。桅桿支架組件48可移動(dòng)地耦合到第三焊件36。到達(dá)機(jī)制46包括縮放或剪刀結(jié)構(gòu)46A，該結(jié)構(gòu)實(shí)現(xiàn)叉架機(jī)制44以及第一和第二叉子42A和42B朝著和遠(yuǎn)離桅桿支架組件48和第三焊件36的移動(dòng)。
[0100]叉架機(jī)制44包括支架支撐結(jié)構(gòu)44A和叉架框44B。叉子42A和42B安裝到叉架框44B。該叉架框44B耦合到支架支撐結(jié)構(gòu)44A，用于相對(duì)于支撐結(jié)構(gòu)44A橫向和樞軸移動(dòng)。側(cè)移活塞/汽缸單元44C安裝到支架支撐結(jié)構(gòu)44A和叉架框44B，從而實(shí)現(xiàn)叉架框44B相對(duì)于支架支撐結(jié)構(gòu)44A的橫向移動(dòng)。
[0101]僅在圖1中示出的傾斜活塞/汽缸單元44D固定地附連到支架支撐結(jié)構(gòu)44A并且與叉架框44B接觸，用于實(shí)現(xiàn)叉架框44B相對(duì)于支架支撐結(jié)構(gòu)44A的樞軸移動(dòng)。
[0102]站在隔間22中的操作人員可以經(jīng)舵盤(tiller) 12控制卡車10行進(jìn)的方向。操作人員還可以經(jīng)多功能控制器14控制卡車10的行進(jìn)速度、叉架裝置和桅桿組件的延伸，以及第一和第二叉子42A和42B的傾斜和側(cè)移。
[0103]根據(jù)本發(fā)明，提供了基于圖像的托盤檢測(cè)系統(tǒng)100，該系統(tǒng)用于在叉架裝置40被升高和降低時(shí)重復(fù)地捕捉圖像，識(shí)別圖像幀中可能包括一個(gè)或多個(gè)托盤的一個(gè)或多個(gè)對(duì)象，確定這一個(gè)或多個(gè)對(duì)象中哪一個(gè)最有可能包括托盤，在多個(gè)幀中跟蹤這一個(gè)或多個(gè)對(duì)象以便確定它們相對(duì)于叉架裝置40的位置，并且生成并向位于車輛動(dòng)力單元20上的車輛計(jì)算機(jī)50發(fā)送托盤位置信息。
[0104]系統(tǒng)100包括耦合到叉架框44B的圖像分析計(jì)算機(jī)110、耦合到叉架框44B下部144B的光源120、耦合到叉架框44B下部144B的成像照相機(jī)130以及位于操作人員隔間22中以便致動(dòng)系統(tǒng)100的觸發(fā)器開關(guān)140。雖然有些安裝位置可能比其它位置更加優(yōu)選，但是成像照相機(jī)和燈可以位于叉子上面或下面。期望照相機(jī)隨叉子側(cè)移，但是不一定需要隨叉子傾斜。不管照相機(jī)和燈如何安裝，叉子都應(yīng)當(dāng)在視場(chǎng)的底部，以便給出關(guān)于正在接近的托盤的最大預(yù)警。在所說明的實(shí)施例中，成像照相機(jī)130和燈120在叉子的下面，見圖1。計(jì)算機(jī)110可以位于卡車上任何位置。還有可能零件110、120和130可以組合到單個(gè)包裝中，包括智能照相機(jī)。在所說明的實(shí)施例中，光源120包括近紅外光源，這可以是例如一個(gè)或多個(gè)在叉子42A和42B移動(dòng)時(shí)開啟或者只在獲得圖像時(shí)才“脈動(dòng)”開啟的發(fā)光二極管(LED)。圖像分析計(jì)算機(jī)110可以利用有線電纜或者無線地向車輛計(jì)算機(jī)50傳送托盤識(shí)別和位置信息，使得車輛計(jì)算機(jī)50可以準(zhǔn)確地在垂直和橫向方向定位叉子42A和42B，如分別由Y軸和X軸定義的，見圖1。
[0105]車輛和圖像分析計(jì)算機(jī)50和110可以包括接收輸入數(shù)據(jù)、通過計(jì)算機(jī)指令處理那種數(shù)據(jù)并且生成輸出數(shù)據(jù)的任何種類的設(shè)備。這種計(jì)算機(jī)可以是手持式設(shè)備、膝上型或筆記本計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、微型計(jì)算機(jī)、數(shù)字信號(hào)處理器(DSP)、大型機(jī)、服務(wù)器、手機(jī)、個(gè)人數(shù)字助理、其它可編程計(jì)算機(jī)設(shè)備，或者其任意組合。這種計(jì)算機(jī)還可以利用可編程的邏輯設(shè)備來實(shí)現(xiàn)，諸如現(xiàn)場(chǎng)可編程門陣列(FPGA)，或者作為替代，實(shí)現(xiàn)為專用集成電路(ASIC)或類似的設(shè)備。術(shù)語(yǔ)“計(jì)算機(jī)”也要涵蓋上述設(shè)備中兩個(gè)或更多個(gè)的組合，例如，兩個(gè)或更多個(gè)微型計(jì)算機(jī)。車輛和圖像分析計(jì)算機(jī)50和110可以無線地或者硬連線地彼此連接。還預(yù)期計(jì)算機(jī)50和110可以組合成作為單個(gè)計(jì)算機(jī)。因此，本發(fā)明的各方面可以完全作為硬件、完全作為軟件(包括固件、駐留軟件、微代碼等)或者以組合的軟件和硬件實(shí)現(xiàn)來實(shí)現(xiàn)，本文一般稱為“電路”、“模塊”、“部件”或“系統(tǒng)”。此外，本發(fā)明的各方面還可以采取在一種或多種計(jì)算機(jī)可讀介質(zhì)中體現(xiàn)的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀程序代碼。
[0106]當(dāng)操作人員希望拾起一個(gè)托盤P時(shí)，操作人員操縱車輛10，使得它直接定位在貨架R上要拾起的期望托盤P的前面并在X方向與其大體橫向?qū)?zhǔn)，見圖1。然后，操作人員經(jīng)多功能控制器14的致動(dòng)在Y方向垂直地升高叉子42A和42B至高于應(yīng)當(dāng)被忽略的最后一個(gè)托盤P的位置。在叉架裝置40持續(xù)垂直移動(dòng)的時(shí)候，圖像分析計(jì)算機(jī)110使成像照相機(jī)130拍攝圖像幀，諸如以10-30fps (幀/秒)的速率。如以下將更具體討論的，圖像分析計(jì)算機(jī)110分析圖像，識(shí)別圖像幀中的一個(gè)或多個(gè)對(duì)象，確定這一個(gè)或多個(gè)對(duì)象中哪一個(gè)最有可能包括托盤，在多個(gè)圖像幀中跟蹤這一個(gè)或多個(gè)對(duì)象，確定對(duì)象相對(duì)于世界坐標(biāo)原點(diǎn)的位置并且生成并向車輛計(jì)算機(jī)50傳送托盤位置信息。圖像分析計(jì)算機(jī)110還可以無線地向車輛計(jì)算機(jī)50傳送托盤位置信息，使得車輛計(jì)算機(jī)50可以準(zhǔn)確地在垂直和橫向方向定位叉子42A和42B，從而使得叉子42A和42B直接位于托盤中開口的前面。其后，操作人員只需要使叉架裝置朝著托盤移動(dòng)，使得叉子進(jìn)入托盤開口。
[0107]在圖3中，說明了具有底部和頂部托盤板200和202、第一和第二外部縱梁204以及中心縱梁208的托盤P。板200、202及縱梁204、206和208定義第一和第二叉子接納開口 210和212。托盤板200和202以及中心縱梁208還定義左下角214、右下角216、左上角218和右上角220。左下角214在本文中也稱為中心縱梁208的左下角，而右下角216在本文中也稱為中心縱梁208的右下角。
[0108]為了在成像照相機(jī)130拍攝的每個(gè)圖像幀中識(shí)別一個(gè)或多個(gè)對(duì)象并且確定這一個(gè)或多個(gè)對(duì)象中哪一個(gè)最有可能包括托盤，假設(shè)照相機(jī)定向成或者向上或者直接向前看，或者在叉子的上面或者在叉子的下面，圖像分析計(jì)算機(jī)110實(shí)現(xiàn)至少以下過程:識(shí)別灰度級(jí)圖像中一個(gè)或多個(gè)托盤P的可能角落，見圖4的過程230 ;確定包括從原點(diǎn)到對(duì)應(yīng)灰度級(jí)圖像中一個(gè)或多個(gè)可能托盤上一條或多條可能線的正交距離的第一和可選的第二 Ro圖像，見圖4的過程232 ;嘗試從第三組可能的左下角中每個(gè)可能的左下角跟蹤水平和垂直線，以定義一組預(yù)審合格的左下角，見圖4的過程234 ;對(duì)于每個(gè)預(yù)審合格的左下角，確定多條可能的線中哪一條最有可能是經(jīng)過預(yù)審合格的左下角的實(shí)際線，見圖4的過程236 ;并且嘗試為找出實(shí)際線的每個(gè)預(yù)審合格的左下角識(shí)別一組右下角，見圖4的過程238。還預(yù)期成像照相機(jī)可以位于叉子42A、42B上面，朝下而不是朝上看，當(dāng)照相機(jī)位于叉子42A、42B下面時(shí)，朝上看。在這種實(shí)施例中，計(jì)算機(jī)110可以嘗試從第三組可能的左上角中每個(gè)可能的左上角跟蹤水平和垂直線，以定義一組預(yù)審合格的左上角，并且為每個(gè)預(yù)審合格的左上角確定多條可能的線中哪一條最有可能是經(jīng)過預(yù)審合格的左上角的實(shí)際線。計(jì)算機(jī)110還可以嘗試定位與每個(gè)左上角關(guān)聯(lián)的第三組可能的右上角。
[0109]現(xiàn)在將參考圖5描述用于識(shí)別圖像中一個(gè)或多個(gè)托盤P的可能角落的過程230。在所說明的實(shí)施例中，定義從成像照相機(jī)130接收到的每個(gè)圖像幀的數(shù)據(jù)包括灰度級(jí)數(shù)據(jù)。圖像分析計(jì)算機(jī)HO規(guī)格化灰度級(jí)數(shù)據(jù)，使其成為零均值數(shù)據(jù)，見圖5中的步驟240。規(guī)格化的灰度級(jí)圖像的創(chuàng)建可以通過計(jì)算灰度級(jí)圖像中所有像素的均值，然后從每個(gè)個(gè)別的像素值減去那個(gè)均值來實(shí)現(xiàn)。因此，對(duì)應(yīng)于托盤結(jié)構(gòu)的規(guī)格化灰度級(jí)圖像中的像素趨于具有正像素值，而規(guī)格化灰度級(jí)圖像中的其它像素趨于具有負(fù)像素值。下文中所使用的術(shù)語(yǔ)“灰度級(jí)數(shù)據(jù)”和“灰度級(jí)圖像”分別指“規(guī)格化的灰度級(jí)數(shù)據(jù)”和“規(guī)格化的灰度級(jí)圖像”。然后，圖像分析計(jì)算機(jī)110利用第一步進(jìn)-邊緣模板確定一組水平交叉相關(guān)結(jié)果，即水平交叉相關(guān)圖像，見步驟242，在所說明的實(shí)施例中該第一步進(jìn)-邊緣模板包括:
[0110]T(X)=-1, -1, -1, -1, -1, -1, +1，+1，+1，+1，+1，+1
[0111]其中“-1”對(duì)應(yīng)于開放區(qū)域，而“+I”對(duì)應(yīng)于托盤上的結(jié)構(gòu)。
[0112]利用第一步進(jìn)-邊緣模板T(X)和規(guī)格化的灰度級(jí)圖像數(shù)據(jù)，圖像分析計(jì)算機(jī)110根據(jù)以下單維規(guī)格化交叉相關(guān)公式確定水平交叉相關(guān)結(jié)果:
【權(quán)利要求】
1.一種在由照相機(jī)獲得的圖像幀序列中跟蹤評(píng)分的候選對(duì)象的方法，評(píng)分的候選對(duì)象包括與前一圖像幀關(guān)聯(lián)的一組現(xiàn)有評(píng)分的候選對(duì)象以及與下一圖像幀關(guān)聯(lián)的一組新評(píng)分的候選對(duì)象，該方法包括: 由計(jì)算機(jī)確定在下一圖像幀中每個(gè)新評(píng)分的候選對(duì)象的相應(yīng)位置；及 分析新評(píng)分的候選對(duì)象，其中所述分析包括: 對(duì)于每個(gè)特定的現(xiàn)有評(píng)分的候選對(duì)象: 由計(jì)算機(jī)識(shí)別該特定的現(xiàn)有評(píng)分的候選對(duì)象在前一圖像幀中的相應(yīng)第一位置， 由計(jì)算機(jī)估計(jì)在下一圖像幀中的相應(yīng)第二位置，其中相應(yīng)第二位置是基于前一圖像幀和下一圖像幀的獲得之間照相機(jī)的移動(dòng)估計(jì)的， 由計(jì)算機(jī)計(jì)算相應(yīng)預(yù)測(cè)窗口，其中相應(yīng)預(yù)測(cè)窗口定義在下一圖像幀中在相應(yīng)第二位置附近的一組像素位置，及 對(duì)于在相應(yīng)預(yù)測(cè)窗口中具有相應(yīng)位置的任何新評(píng)分的候選對(duì)象，試驗(yàn)性地匹配該新評(píng)分的候選對(duì)象與該特定的現(xiàn)有評(píng)分的候選對(duì)象。
2.如權(quán)利要求1所述的方法，其中計(jì)算機(jī)維護(hù)被跟蹤的現(xiàn)有評(píng)分的候選對(duì)象的列表。
3.如權(quán)利要求2所述的方法，其中所述分析包括: 把其相應(yīng)位置不在用于任何現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)預(yù)測(cè)窗口內(nèi)的任何新評(píng)分的候選對(duì)象添加到被跟蹤的評(píng)分的候選對(duì)象的現(xiàn)有列表。
4.如權(quán)利要求1所述的方法，其中`多個(gè)評(píng)分的候選對(duì)象中每一個(gè)都具有相應(yīng)合成對(duì)象得分。
5.如權(quán)利要求4所述的方法，其中所述分析包括: 對(duì)于試驗(yàn)性地與第一現(xiàn)有評(píng)分的候選對(duì)象和第二現(xiàn)有評(píng)分的候選對(duì)象都匹配的每個(gè)新評(píng)分的候選對(duì)象: 計(jì)算第一值，該第一值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 計(jì)算第二值，該第二值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 如果第一值小于或等于第二值，則維護(hù)第一現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第二現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象；及如果第二值小于第一值，則維護(hù)第二現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第一現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象。
6.如權(quán)利要求4所述的方法，其中所述分析包括: 對(duì)于試驗(yàn)性地與第一新評(píng)分的候選對(duì)象和第二新評(píng)分的候選對(duì)象都匹配的每個(gè)現(xiàn)有評(píng)分的候選對(duì)象: 計(jì)算第一值，該第一值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 計(jì)算第二值，該第二值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 如果第一值小于或等于第二值，則維護(hù)該現(xiàn)有評(píng)分的候選對(duì)象與第一新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第二新評(píng)分的候選對(duì)象；及如果第二值小于第一值，則維護(hù)第二新評(píng)分的候選對(duì)象與該現(xiàn)有評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第一新評(píng)分的候選對(duì)象。
7.如權(quán)利要求2所述的方法，其中所述分析包括: 從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象，其中不匹配的現(xiàn)有評(píng)分的候選對(duì)象沒有匹配的新評(píng)分的候選對(duì)象。
8.如權(quán)利要求7所述的方法，其中圖像幀序列包括按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色: 當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，及 當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
9.如權(quán)利要求8所述的方法，其中從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象包括: 對(duì)于序列中緊接著在前一圖像幀前面的圖像幀子集中的每個(gè)圖像幀，確定當(dāng)該子集的該圖像幀是序列中的當(dāng)前前一個(gè)圖像時(shí)，不匹配的現(xiàn)有評(píng)分的候選對(duì)象是否也不匹配； 如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中也不匹配，則刪除該不匹配的現(xiàn)有評(píng)分的候選對(duì)象；及 如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中不是不匹配，則在被跟蹤的評(píng)分的候選對(duì)象的列表中`維護(hù)該不匹配的現(xiàn)有評(píng)分的候選對(duì)象。
10.如權(quán)利要求9所述的方法，其中圖像幀子集包括3個(gè)圖像幀。
11.如權(quán)利要求2所述的方法，其中圖像幀序列包括按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色: 當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，及 當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
12.如權(quán)利要求11所述的方法，還包括: 獲得相對(duì)于當(dāng)前下一個(gè)圖像幀的新后繼圖像幀； 把當(dāng)前下一個(gè)圖像幀的角色改變成當(dāng)前前一個(gè)圖像幀的角色；及 基于所述分析更新被跟蹤的評(píng)分的候選對(duì)象的列表。
13.—種在由計(jì)算機(jī)獲得的圖像幀序列中跟蹤評(píng)分的候選對(duì)象的系統(tǒng)，評(píng)分的候選對(duì)象包括與前一圖像幀關(guān)聯(lián)的一組現(xiàn)有的評(píng)分的候選對(duì)象以及與下一圖像幀關(guān)聯(lián)的一組新評(píng)分的候選對(duì)象，該系統(tǒng)包括: 處理器，配置為執(zhí)行可訪問存儲(chǔ)器中的指令； 對(duì)象定位部件，配置為確定在下一圖像幀中每個(gè)新評(píng)分的候選對(duì)象的相應(yīng)位置；及分析器部件，配置為對(duì)新評(píng)分的候選對(duì)象執(zhí)行分析，其中所述分析包括: 對(duì)于每個(gè)特定的現(xiàn)有評(píng)分的候選對(duì)象: 識(shí)別該特定的現(xiàn)有評(píng)分的候選對(duì)象在前一圖像幀中的相應(yīng)第一位置， 估計(jì)在下一圖像幀中的相應(yīng)第二位置，其中相應(yīng)第二位置是基于前一圖像幀和下一圖像幀的獲得之間照相機(jī)的移動(dòng)估計(jì)的， 計(jì)算相應(yīng)預(yù)測(cè)窗口，其中相應(yīng)預(yù)測(cè)窗口定義在下一圖像幀中在相應(yīng)第二位置附近的一組像素位置，及 對(duì)于在相應(yīng)預(yù)測(cè)窗口中具有相應(yīng)位置的任何新評(píng)分的候選對(duì)象，試驗(yàn)性地匹配該新評(píng)分的候選對(duì)象與該特定的現(xiàn)有評(píng)分的候選對(duì)象。
14.如權(quán)利要求13所述的系統(tǒng)，還包括: 第一存儲(chǔ)器設(shè)備，存儲(chǔ)被跟蹤的現(xiàn)有評(píng)分的候選對(duì)象的列表。
15.如權(quán)利要求14所述的系統(tǒng)，其中所述分析還包括: 把其相應(yīng)位置不在用于任何現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)預(yù)測(cè)窗口內(nèi)的任何新評(píng)分的候選對(duì)象添加到被跟蹤的評(píng)分的候選對(duì)象的現(xiàn)有列表。
16.如權(quán)利要求13所述的系統(tǒng)，其中多個(gè)評(píng)分的候選對(duì)象中每一個(gè)都具有相應(yīng)合成對(duì)象得分。
17.如權(quán) 利要求16所述的系統(tǒng)，其中所述分析還包括: 對(duì)于試驗(yàn)性地與第一現(xiàn)有評(píng)分的候選對(duì)象和第二現(xiàn)有評(píng)分的候選對(duì)象都匹配的每個(gè)新評(píng)分的候選對(duì)象: 計(jì)算第一值，該第一值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 計(jì)算第二值，該第二值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 如果第一值小于或等于第二值，則維護(hù)第一現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第二現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象；及如果第二值小于第一值，則維護(hù)第二現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第一現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象。
18.如權(quán)利要求16所述的系統(tǒng)，其中所述分析還包括: 對(duì)于試驗(yàn)性地與第一新評(píng)分的候選對(duì)象和第二新評(píng)分的候選對(duì)象都匹配的每個(gè)現(xiàn)有評(píng)分的候選對(duì)象: 計(jì)算第一值，該第一值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 計(jì)算第二值，該第二值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 如果第一值小于或等于第二值，則維護(hù)該現(xiàn)有評(píng)分的候選對(duì)象與第一新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第二新評(píng)分的候選對(duì)象；及如果第二值小于第一值，則維護(hù)第二新評(píng)分的候選對(duì)象與該現(xiàn)有評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第一新評(píng)分的候選對(duì)象。
19.如權(quán)利要求14所述的系統(tǒng)，還包括:刪除部件，配置為從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象，其中不匹配的現(xiàn)有評(píng)分的候選對(duì)象沒有匹配的新評(píng)分的候選對(duì)象。
20.如權(quán)利要求19所述的系統(tǒng)，其中圖像幀序列包括按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色: 當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，及 當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
21.如權(quán)利要求20所述的系統(tǒng)，其中刪除部件配置為根據(jù)以下從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象: 對(duì)于序列中緊接著在前一圖像幀前面的圖像幀子集中的每個(gè)圖像幀，確定當(dāng)該子集的該圖像幀是序列中的當(dāng)前前一個(gè)圖像時(shí)，不匹配的現(xiàn)有評(píng)分的候選對(duì)象是否也不匹配； 如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中也不匹配，則刪除該不匹配的現(xiàn)有評(píng)分的候選對(duì)象；及 如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中不是不匹配，則在被跟蹤的評(píng)分的候選對(duì)象的列表中維護(hù)該不匹配的現(xiàn)有評(píng)分的候選對(duì)象。
22.如權(quán)利要求21所述的系統(tǒng)，其中圖像幀子集包括3個(gè)圖像幀。
23.如 權(quán)利要求14所述的系統(tǒng)，其中圖像幀序列包括按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色: 當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，及 當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
24.如權(quán)利要求33所述的系統(tǒng)，還包括: 圖像獲得部件，配置為獲得相對(duì)于當(dāng)前下一個(gè)圖像幀的新后繼圖像幀； 圖像更新部件，配置為把當(dāng)前下一個(gè)圖像幀的角色改變成當(dāng)前前一個(gè)圖像幀的角色；及 對(duì)象更新部件，配置為基于所述分析更新被跟蹤的評(píng)分的候選對(duì)象的列表。
25.一種在由照相機(jī)獲得的圖像幀序列中跟蹤評(píng)分的候選對(duì)象的計(jì)算機(jī)程序產(chǎn)品，評(píng)分的候選對(duì)象包括與前一圖像幀關(guān)聯(lián)的一組現(xiàn)有的評(píng)分的候選對(duì)象以及與下一圖像幀關(guān)聯(lián)的一組新評(píng)分的候選對(duì)象，該計(jì)算機(jī)程序產(chǎn)品包括: 其中包含計(jì)算機(jī)可讀程序代碼的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀程序代碼包括: 配置為確定在下一圖像幀中每個(gè)新評(píng)分的候選對(duì)象的相應(yīng)位置的計(jì)算機(jī)可讀程序代碼；及 配置為對(duì)新評(píng)分的候選對(duì)象執(zhí)行分析的計(jì)算機(jī)可讀程序代碼，其中所述分析包括:對(duì)于每個(gè)特定的現(xiàn)有評(píng)分的候選對(duì)象: 識(shí)別該特定的現(xiàn)有評(píng)分的候選對(duì)象在前一圖像幀中的相應(yīng)第一位置， 估計(jì)在下一圖像幀中的相應(yīng)第二位置，其中相應(yīng)第二位置是基于前一圖像幀和下一圖像幀的獲得之間照相機(jī)的移動(dòng)估計(jì)的， 計(jì)算相應(yīng)預(yù)測(cè)窗口，其中相應(yīng)預(yù)測(cè)窗口定義在下一圖像幀中在相應(yīng)第二位置附近的一組像素位置，及 對(duì)于在相應(yīng)預(yù)測(cè)窗口中具有相應(yīng)位置的任何新評(píng)分的候選對(duì)象，試驗(yàn)性地匹配該新評(píng)分的候選對(duì)象與該特定的現(xiàn)有評(píng)分的候選對(duì)象。
26.如權(quán)利要求25所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為維護(hù)被跟蹤的現(xiàn)有評(píng)分的候選對(duì)象的列表的計(jì)算機(jī)可讀程序代碼。
27.如權(quán)利要求26所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為把其相應(yīng)位置不在用于任何現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)預(yù)測(cè)窗口內(nèi)的任何新評(píng)分的候選對(duì)象添加到被跟蹤的評(píng)分的候選對(duì)象的現(xiàn)有列表的計(jì)算機(jī)可讀程序代碼。
28.如權(quán)利要求25所述的計(jì)算機(jī)程序產(chǎn)品，其中多個(gè)評(píng)分的候選對(duì)象中每一個(gè)都具有相應(yīng)合成對(duì)象得分。
29.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其中所述分析還包括: 對(duì)于試驗(yàn)性地與第一現(xiàn)有評(píng)分的候選對(duì)象和第二現(xiàn)有評(píng)分的候選對(duì)象都匹配的每個(gè)新評(píng)分的候選對(duì)象:` 計(jì)算第一值，該第一值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 計(jì)算第二值，該第二值包括該新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 如果第一值小于或等于第二值，則維護(hù)第一現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第二現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象；及如果第二值小于第一值，則維護(hù)第二現(xiàn)有評(píng)分的候選對(duì)象與該新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于第一現(xiàn)有評(píng)分的候選對(duì)象忽略該新評(píng)分的候選對(duì)象。
30.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其中所述分析還包括: 對(duì)于試驗(yàn)性地與第一新評(píng)分的候選對(duì)象和第二新評(píng)分的候選對(duì)象都匹配的每個(gè)現(xiàn)有評(píng)分的候選對(duì)象: 計(jì)算第一值，該第一值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第一新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 計(jì)算第二值，該第二值包括該現(xiàn)有評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分與第二新評(píng)分的候選對(duì)象的相應(yīng)合成對(duì)象得分之差的絕對(duì)值； 如果第一值小于或等于第二值，則維護(hù)該現(xiàn)有評(píng)分的候選對(duì)象與第一新評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第二新評(píng)分的候選對(duì)象；及如果第二值小于第一值，則維護(hù)第二新評(píng)分的候選對(duì)象與該現(xiàn)有評(píng)分的候選對(duì)象之間的試驗(yàn)性匹配，并且關(guān)于該現(xiàn)有評(píng)分的候選對(duì)象忽略第一新評(píng)分的候選對(duì)象。
31.如權(quán)利要求26所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象的計(jì)算機(jī)可讀程序代碼，其中不匹配的現(xiàn)有評(píng)分的候選對(duì)象沒有匹配的新評(píng)分的候選對(duì)象。
32.如權(quán)利要求21所述的計(jì)算機(jī)程序產(chǎn)品，其中圖像幀序列包括按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色: 當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，及 當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
33.如權(quán)利要求32所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為根據(jù)以下從被跟蹤的評(píng)分的候選對(duì)象的列表中刪除任何不匹配的現(xiàn)有評(píng)分的候選對(duì)象的計(jì)算機(jī)可讀程序代碼: 對(duì)于序列中緊接著在前一圖像幀前面的圖像幀子集中的每個(gè)圖像幀，確定當(dāng)該子集的該圖像幀是序列中的當(dāng)前前一個(gè)圖像時(shí)，不匹配的現(xiàn)有評(píng)分的候選對(duì)象是否也不匹配； 如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中也不匹配，則刪除該不匹配的現(xiàn)有評(píng)分的候選對(duì)象；及 如果不匹配的現(xiàn)有評(píng)分的候選對(duì)象在該圖像幀子集的每個(gè)圖像幀中不是不匹配，則在被跟蹤的評(píng)分的候選對(duì)象的列表中維護(hù)該不匹配的現(xiàn)有評(píng)分的候選對(duì)象。
34.如權(quán)利要求33所述的計(jì)算機(jī)程序產(chǎn)品，其中圖像幀子集包括3個(gè)圖像幀。
35.如權(quán)利要求26所述的計(jì)算機(jī)程序產(chǎn)品，其中圖像幀序列包括按在第一個(gè)圖像幀開始并且在最后一個(gè)圖像幀結(jié)束的順序次序的多個(gè)圖像幀，其中第一個(gè)圖像幀的獲得在最后一個(gè)圖像幀的獲得之前發(fā)生，由此，除第一個(gè)圖像幀和最后一個(gè)圖像幀之外，每個(gè)特定的圖像幀都具有雙重角色: 當(dāng)該特定的圖像幀在序列中其緊接著的前驅(qū)圖像幀的獲得之后被獲得時(shí)，作為序列中的當(dāng)前下一個(gè)圖像幀，及 當(dāng)在該特定圖像幀的獲得之后序列中緊接著的后繼圖像幀被獲得時(shí)，作為序列中的當(dāng)前前一個(gè)圖像幀。
36.如權(quán)利要求35所述的計(jì)算機(jī)程序產(chǎn)品，還包括: 配置為獲得相對(duì)于當(dāng)前下一個(gè)圖像幀的新后繼圖像幀的計(jì)算機(jī)可讀程序代碼； 配置為把當(dāng)前下一個(gè)圖像幀的角色改變成當(dāng)前前一個(gè)圖像幀的角色的計(jì)算機(jī)可讀程序代碼 '及 基于所述分析更新被跟蹤的評(píng)分的候選對(duì)象的列表的計(jì)算機(jī)可讀程序代碼。
【文檔編號(hào)】G06T7/20GK103889879SQ201280051242
【公開日】2014年6月25日 申請(qǐng)日期:2012年10月16日 優(yōu)先權(quán)日:2011年10月19日
【發(fā)明者】L·F·霍爾瓦, E·R·埃爾斯頓, E·L·詹森, M·J·西林格, J-D·S·約德 申請(qǐng)人:克朗設(shè)備公司