運動對象跟蹤裝置、運動對象跟蹤系統(tǒng)及運動對象跟蹤方法
【專利摘要】本發(fā)明涉及運動對象跟蹤裝置、運動對象跟蹤系統(tǒng)及運動對象跟蹤方法。用于允許顯示裝置顯示在監(jiān)視區(qū)域的實時圖像上疊加的運動對象的運動線路的運動對象跟蹤裝置包括：檢測單元，其從監(jiān)視區(qū)域的圖像檢測運動對象并且輸出檢測位置信息；第一運動線路生成單元，其移除包括在檢測位置信息中的錯誤檢測信息，并且使用已經(jīng)移除錯誤檢測信息的檢測位置信息生成確定運動線路；第二運動線路生成單元，其生成在由檢測位置信息表示的實質(zhì)上最新檢測位置和確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路；以及運動線路信息獲得單元，其獲得與由結(jié)合在一起的確定運動線路和臨時運動線路形成的結(jié)合運動線路有關(guān)的運動線路信息。
【專利說明】運動對象跟蹤裝置、運動對象跟蹤系統(tǒng)及運動對象跟蹤方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及運動對象跟蹤裝置、運動對象跟蹤系統(tǒng)及運動對象跟蹤方法，用于為允許顯示裝置顯示在監(jiān)視區(qū)域的實時圖像上疊加運動對象的運動線路的畫面，基于由從監(jiān)視區(qū)域的圖像檢測運動對象獲得的檢測位置信息，獲得運動線路信息。

【背景技術(shù)】
[0002]廣泛使用監(jiān)視系統(tǒng)，其包括用于顯示監(jiān)視區(qū)域的視頻圖像的監(jiān)視器，來監(jiān)視包括在圖像中的、諸如人的運動對象。此外，已知從圖像檢測運動對象，并且基于由此獲得的檢測位置信息，生成表示運動對象的運動路徑的運動線路(運動軌跡)(見JP2011-243155A)。如果通過使用這種運動線路生成技術(shù)，在實時圖像上疊加顯示運動線路，可以通過查看所顯示的運動線路和包括在該圖像中的運動對象，正確地掌握運動對象的運動狀態(tài)，由此，能提高監(jiān)視工作的效率。
[0003]如上所述，在實時圖像上疊加顯示運動對象的運動線路的情況下，如果僅按時間順序連接檢測位置，形成運動線路，則運動線路可能顯著地偏離運動對象的實際運動路徑，因為檢測位置可能包括由運動對象檢測處理中的誤差引起的“噪聲”。因此，期望移除由運動對象檢測處理的誤差引起的噪聲，并且基于已經(jīng)移除噪聲的檢測位置，生成優(yōu)化為運動對象的運動路徑的確定的運動線路。
[0004]然而，執(zhí)行生成確定的運動線路的處理費時，并且這可能導(dǎo)致相對于運動對象(諸如人)的運動，顯著延遲地顯示運動線路。在這種情況下，存在運動路徑未被顯示為緊密地跟隨運動對象，由此用戶會感受到不協(xié)調(diào)感的問題。此外，在運動線路未被繪制為緊密地跟隨運動對象的情況下，變得難以正確地掌握運動對象的運動狀態(tài)，產(chǎn)生監(jiān)視工作的效率下降的問題。


【發(fā)明內(nèi)容】

[0005]做出本發(fā)明來解決現(xiàn)有技術(shù)中的上述問題，并且本發(fā)明的主要目的是提供運動對象跟蹤裝置、運動對象跟蹤系統(tǒng)及運動對象跟蹤方法，其被配置成當(dāng)在監(jiān)視區(qū)域的實時圖像上疊加地顯示運動對象的運動線路時，防止所顯示的運動線路導(dǎo)致用戶感受到不協(xié)調(diào)感，并且允許用戶正確地掌握運動對象的運動狀態(tài)。
[0006]為實現(xiàn)上述目的，本發(fā)明的第一方面提供一種運動對象跟蹤裝置，用于為允許顯示裝置顯示在監(jiān)視區(qū)域的實時圖像上疊加表示運動對象的運動路徑的運動線路的畫面，基于通過從監(jiān)視區(qū)域的圖像檢測運動對象獲得的檢測位置信息，獲得運動線路信息，該運動對象跟蹤裝置包括:運動對象檢測單元，其從監(jiān)視區(qū)域的圖像，檢測運動對象并且輸出運動對象的檢測位置信息；第一運動線路生成單元，其移除包括在檢測位置信息中的錯誤檢測信息，并且基于已經(jīng)移除錯誤檢測信息的檢測位置信息，生成優(yōu)化為運動對象的運動路徑的確定運動線路；第二運動線路生成單元，其生成在由檢測位置信息表示的實質(zhì)上最新檢測位置和確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路；以及運動線路信息獲得單元，其獲得有關(guān)由確定運動線路和臨時運動線路結(jié)合在一起形成的結(jié)合運動線路的運動線路信息。
[0007]根據(jù)該結(jié)構(gòu)，與生成確定運動線路的過程的狀態(tài)無關(guān)，由確定運動線路和臨時運動線路結(jié)合在一起形成的結(jié)合運動線路被顯示為延伸到顯示圖像中所示的運動對象的附近。由此，運動線路總是被顯示為跟隨運動對象，因此，可以避免使用戶感受到不協(xié)調(diào)感并且允許用戶正確地掌握運動對象的運動狀態(tài)，由此提高監(jiān)視工作的效率。
[0008]在本發(fā)明的第二方面中，第二運動線路生成單元生成按時間順序連接由檢測位置信息表示的檢測位置的未確定運動線路，作為臨時運動線路。
[0009]根據(jù)該結(jié)構(gòu)，由于未確定運動線路包括由于在運動對象檢測處理中產(chǎn)生的錯誤檢測而導(dǎo)致的噪聲，未確定運動線路可能偏離運動對象的實際運動路徑，但未確定運動線路實質(zhì)上與人的實際運動路徑匹配，由此，大大地有助于正確地掌握運動對象的運動狀態(tài)。
[0010]在本發(fā)明的第三方面中，當(dāng)運動對象檢測單元從圖像檢測到多個運動對象時，運動線路信息獲得單元獲得用于運動對象的每一個的運動線路信息。
[0011]根據(jù)該結(jié)構(gòu)，即使當(dāng)檢測到多個運動對象時,對每一運動對象顯示運動線路，由此可以掌握每一運動對象的運動狀態(tài)。特別地，由于運動線路被顯示為延伸到每一運動對象的最新檢測位置，可以避免將每一運動線路與錯誤運動對象關(guān)聯(lián)。這也有助于正確地掌握每一運動對象的運動狀態(tài)。
[0012]在本發(fā)明的第四方面中，運動線路信息包括用于將確定運動線路和臨時運動線路顯示為能夠相互區(qū)分的顯示信息。
[0013]根據(jù)該結(jié)構(gòu)，確定運動線路和臨時運動線路被顯示為可相互區(qū)分，由此，可以可視地區(qū)分確定運動線路和臨時運動線路。特別地，當(dāng)由未確定運動線路實現(xiàn)臨時運動線路時，區(qū)分確定運動線路和未確定運動線路允許用戶掌握確定運動線路的狀況。
[0014]在本發(fā)明的第五方面中，通過線條類型、厚度、暗度和顏色中的至少一個相互不同的線條，繪制確定運動線路和臨時運動線路。
[0015]根據(jù)該結(jié)構(gòu)，能易于可視地將確定運動線路和臨時運動線路相互區(qū)分。
[0016]在本發(fā)明的第六方面中，用實線繪制確定運動線路和臨時運動線路中的一個，并且用虛線繪制另一個。
[0017]根據(jù)該結(jié)構(gòu)，能更容易可視地區(qū)分確定運動線路和臨時運動線路。
[0018]在本發(fā)明的第七方面中，對確定運動線路和臨時運動線路中的至少一個執(zhí)行動畫顯示以定期地改變線條的顯示狀態(tài)。
[0019]根據(jù)該結(jié)構(gòu)，確定運動線路和未確定運動線路可以被顯示為可相互區(qū)分。可以對確定運動線路和臨時運動線路的每一個執(zhí)行動畫顯示。在這種情況下，應(yīng)當(dāng)對確定運動線路和臨時運動線路執(zhí)行不同動畫顯示。
[0020]在本發(fā)明的第八方面中，運動對象跟蹤裝置進一步包括顯示方法設(shè)定單元，其根據(jù)由用戶執(zhí)行的、用于指定確定運動線路和臨時運動線路的顯示方法的輸入操作，將顯示方法設(shè)定為由用戶指定的顯示方法，其中，根據(jù)由該顯示方法設(shè)定單元設(shè)定的顯示方法，生成顯示信息。
[0021]根據(jù)該結(jié)構(gòu)，確定運動線路和臨時運動線路的顯示方法能根據(jù)需要由用戶指定，由此，提高用戶便利性。
[0022]在本發(fā)明的第九方面中，提供一種運動對象跟蹤系統(tǒng)，用于為允許顯示裝置顯示在監(jiān)視區(qū)域的實時圖像上疊加表示運動對象的運動路徑的運動線路的畫面，基于通過從該監(jiān)視區(qū)域的圖像檢測運動對象獲得的檢測位置信息，獲得運動線路信息，該運動對象跟蹤系統(tǒng)包括:捕捉監(jiān)視區(qū)域的圖像的相機；多個信息處理裝置，以及顯示裝置，其顯示在監(jiān)視區(qū)域的實時圖像上疊加運動線路的畫面，其中，多個信息處理裝置共同包括:運動對象檢測單元，其從監(jiān)視區(qū)域的圖像檢測運動對象，并且輸出運動對象的檢測位置信息；第一運動線路生成單元，其移除包括在檢測位置信息中的錯誤檢測信息，并且基于已經(jīng)移除錯誤檢測信息的檢測位置信息，生成優(yōu)化為運動對象的運動路徑的確定運動線路；第二運動線路生成單元，其生成在由檢測位置信息表示的實質(zhì)上最新檢測位置和確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路；運動線路信息獲得單元，其獲得有關(guān)由確定運動線路和臨時運動線路結(jié)合在一起形成的結(jié)合運動線路的運動線路信息；以及畫面生成單元，其基于運動線路信息，生成在監(jiān)視區(qū)域的實時圖像上疊加運動線路的畫面。
[0023]根據(jù)該結(jié)構(gòu)，如在本發(fā)明的第一方面中，當(dāng)在監(jiān)視區(qū)域的實時圖像上疊加顯示運動對象的運動線路時，可以防止所顯示的運動線路導(dǎo)致用戶感受到不協(xié)調(diào)感，并且允許用戶正確地掌握運動對象的運動狀態(tài)。
[0024]在本發(fā)明的第十方面中，提供一種運動對象跟蹤方法，用于為允許顯示裝置顯示在監(jiān)視區(qū)域的實時圖像上疊加表示運動對象的運動路徑的運動線路的畫面，基于通過從該監(jiān)視區(qū)域的圖像檢測運動對象獲得的檢測位置信息，獲得運動線路信息，包括:從監(jiān)視區(qū)域的圖像檢測運動對象并且輸出運動對象的檢測位置信息；移除包括在檢測位置信息中的錯誤檢測信息，并且基于已經(jīng)移除錯誤檢測信息的檢測位置信息，生成優(yōu)化為運動對象的運動路徑的確定運動線路；生成在由檢測位置信息表示的實質(zhì)上最新檢測位置和確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路；以及獲得有關(guān)由確定運動線路和臨時運動線路結(jié)合在一起形成的結(jié)合運動線路的運動線路信息。
[0025]根據(jù)該結(jié)構(gòu)，如在本發(fā)明的第一方面中，當(dāng)在監(jiān)視區(qū)域的實時圖像上疊加顯示運動對象的運動線路時，可以防止所顯示的運動線路導(dǎo)致用戶感受到不協(xié)調(diào)感，并且允許用戶正確地掌握運動對象的運動狀態(tài)。

【專利附圖】

【附圖說明】
[0026]現(xiàn)在，參考附圖，根據(jù)其優(yōu)選實施例，在下文中描述本發(fā)明，其中:
[0027]圖1是示出根據(jù)本發(fā)明的實施例的運動對象跟蹤系統(tǒng)的整體構(gòu)造的圖；
[0028]圖2是示意性地示出運動對象跟蹤裝置4和個人計算機(PC) 3的功能結(jié)構(gòu)的框圖；
[0029]圖3是用于說明分別由確定運動線路生成單元23和臨時運動線路生成單元24生成的確定運動線路和未確定運動線路的狀態(tài)的說明圖；
[0030]圖4是示出在比較例子中，在監(jiān)視器7上顯示的畫面中所示的運動線路的說明圖；
[0031]圖5是示出在本發(fā)明的實施例中，在監(jiān)視器7上顯示的畫面中示出的運動線路的說明圖；
[0032]圖6是示出由運動對象跟蹤裝置4執(zhí)行的處理的流程圖；
[0033]圖7是用于說明顯示運動線路的示例性方法的說明圖；
[0034]圖8是用于說明顯示運動線路的示例性方法的說明圖；
[0035]圖9是用于說明顯示運動線路的示例性方法的說明圖；
[0036]圖10是用于說明臨時運動線路的其他例子的說明圖；
[0037]圖11是用于說明顯示由確定運動線路和未確定運動線路結(jié)合在一起形成的結(jié)合運動線路的方法的說明圖；以及
[0038]圖12是用于說明在檢測到多人的情況下，運動線路的顯示的狀態(tài)的說明圖。

【具體實施方式】
[0039]在下文中，將參考附圖，描述本發(fā)明的實施例。
[0040]圖1是根據(jù)本發(fā)明的實施例的運動對象跟蹤系統(tǒng)的整體構(gòu)造的圖。為諸如超市等等的零售店設(shè)計該運動對象跟蹤系統(tǒng)，該運動對象跟蹤系統(tǒng)包括相機1、記錄器(圖像存儲裝置)2、個人計算機(PC) 3和運動對象跟蹤裝置4。
[0041]相機I安裝在商店中的適當(dāng)位置來捕捉商店中的監(jiān)視區(qū)域的圖像，并且由此獲得的圖像信息被記錄在記錄器2中。
[0042]PC3與用于諸如監(jiān)視人員的用戶執(zhí)行各種輸入操作的、諸如鼠標(biāo)的輸入裝置6以及顯示監(jiān)視畫面的監(jiān)視器(顯示裝置)7連接。應(yīng)注意到，輸入裝置6和監(jiān)視器7可以實現(xiàn)為觸控板顯示器。
[0043]PC3設(shè)立在商店的安全位置等等中，并且使監(jiān)視器7顯示使監(jiān)視人員(諸如保安人員)瀏覽由相機I拍攝的商店內(nèi)部的實時圖像或在記錄器2中記錄的商店內(nèi)部的過去圖像的監(jiān)視畫面。
[0044]安裝在管理辦公室中的PCll也與圖中未示出的監(jiān)視器連接，使得處于管理辦公室的用戶能通過觀看由相機I拍攝的商店內(nèi)部的實時圖像或在記錄器2中記錄的商店內(nèi)部的過去圖像，檢查商店中的情形。
[0045]接著，將描述圖1中所示的每一運動對象跟蹤裝置4執(zhí)行的運動對象跟蹤處理。圖2是示意性地示出運動對象跟蹤裝置4和PC3的功能結(jié)構(gòu)的框圖。應(yīng)注意到，為簡化起見，圖2僅示出一個相機I和一個運動對象跟蹤裝置4，盡管系統(tǒng)可以包括多個相機I和運動對象跟蹤裝置4，如圖1所示。
[0046]運動對象跟蹤裝置4包括圖像輸入單元21、運動對象檢測單元22、確定運動線路生成單元(第一運動線路生成單元)23、臨時運動線路生成單元(第二運動線路生成單元)24、運動線路信息獲得單元25、運動線路輸出單元26和顯示方法設(shè)定單元27。PC3包括跟蹤裝置控制單元31和畫面生成單元32。
[0047]運動對象跟蹤裝置4的圖像輸入單元21接收從相機I輸出的圖像(幀)。運動對象檢測單元22執(zhí)行從輸入到圖像輸入單元21的圖像檢測人(運動對象)并且對于每個人輸出檢測位置信息的處理。該運動對象檢測處理可以通過使用已知的圖像識別技術(shù)(人物檢測技術(shù)、人物跟蹤技術(shù)等等)來執(zhí)行。
[0048]確定運動線路生成單元23執(zhí)行移除包括在由運動對象檢測單元22獲得的檢測位置信息(諸如人的位置坐標(biāo))中的錯誤的檢測信息(諸如噪聲)，并且基于已經(jīng)移除錯誤的檢測信息的檢測位置信息，獲得優(yōu)化為人的運動路徑的確定運動線路的處理。在該確定運動線路生成處理中，通過使用適當(dāng)?shù)仄交惴ǎ瑢z測位置信息執(zhí)行數(shù)據(jù)清理。
[0049]臨時運動線路生成單元24執(zhí)行生成在由運動對象檢測單元22獲得的最近檢測位置和由確定運動線路生成單元23生成的確定運動線路的終點之間的未確定區(qū)段中，內(nèi)插運動線路的臨時運動線路的處理。特別地，在本實施例中，臨時運動線路生成單元24生成通過按時間順序連接由運動對象檢測單元22獲得的檢測位置信息表示的未確定區(qū)段中的檢測位置形成的未確定運動線路，作為臨時運動線路。
[0050]運動線路信息獲得單元25執(zhí)行獲得與通過結(jié)合確定運動線路和臨時運動線路形成的結(jié)合運動線路有關(guān)的運動線路信息的處理。從運動線路輸出單元26輸出由運動線路?目息獲得單兀25獲得的運動線路彳目息。
[0051]PC3的跟蹤裝置控制單元31執(zhí)行根據(jù)由使用輸入裝置6的用戶執(zhí)行的輸入操作，諸如設(shè)定與由運動對象跟蹤裝置4執(zhí)行的各種處理有關(guān)的條件，控制運動對象跟蹤裝置4的處理。
[0052]特別地，在本實施例中，由PC3的跟蹤裝置控制單元31控制的運動對象跟蹤裝置4的顯示方法設(shè)定單元27，進行與用于將確定運動線路和臨時運動線路的運動線路顯示為以便區(qū)分彼此的顯示方法有關(guān)的設(shè)定。即，當(dāng)由使用PC3的輸入裝置6的用戶執(zhí)行用于指定運動線路的顯示方法的操作時，由顯示方法設(shè)定單元27執(zhí)行將顯示方法設(shè)定到由用戶的輸入操作指定的顯示方法的處理。然后，運動線路信息獲得單元25執(zhí)行根據(jù)由顯示方法設(shè)定單元27設(shè)定的顯示方法，生成用于將確定運動線路和臨時運動線路顯示為區(qū)分彼此的顯示信息的處理。該顯示信息被包括在運動線路信息中并且從運動線路輸出單元26輸出。
[0053]畫面生成單元32執(zhí)行生成將在監(jiān)視器7上顯示的監(jiān)視畫面的處理。特別地，在本實施例中，畫面生成單元32基于從運動對象跟蹤裝置4獲得的運動線路信息和來自相機I的圖像信息，生成在實時圖像上疊加人的運動線路的畫面。特別地，基于包含在運動線路信息中的顯示信息，將確定運動線路和臨時運動線路顯示為以便彼此區(qū)分。
[0054]應(yīng)注意到，通過由PC3的CPU執(zhí)行用于運動對象跟蹤的程序，實現(xiàn)圖2中所示的PC3的各個單元。這些程序可以安裝在PC3中，作為專門設(shè)計的應(yīng)用程序。也可以通過Web服務(wù)器功能提供運動對象跟蹤裝置4并且使PC3運行通用的Web瀏覽器來實現(xiàn)必要功能。
[0055]接著，將描述圖2中所示的運動對象跟蹤裝置4的確定運動線路生成單元23、臨時運動線路生成單元24和運動線路信息獲得單元25執(zhí)行的處理。圖3是用于說明分別由確定運動線路生成單元23和臨時運動線路生成單元24生成的確定運動線路和未確定運動線路的狀態(tài)的說明圖。圖4是示出在比較例子中，在監(jiān)視器7上顯示的畫面中所示的運動線路的說明圖。圖5是示出在本實施例中，在監(jiān)視器7上顯示的畫面中所示的運動線路的說明圖。在圖4和圖5中，顯示表示人的位置的邊框圖像來環(huán)繞該人。
[0056]如圖3所示，確定運動線路生成單元23生成確定運動線路。在由運動對象檢測單元22檢測的檢測位置的可靠度低的情況下，執(zhí)行確定運動線路生成處理是費時的，由此，相對于人的運動，顯著延遲地生成確定運動線路，如圖3的部分(A)所示。當(dāng)具有高可靠度的檢測位置變?yōu)榭捎脮r，確定運動線路趕上人的運動，使得在顯示圖像中確定運動線路延伸到人的附近，如圖3的部分(B)中所示。應(yīng)注意到，盡管在上文中，說明了確定運動線路生成處理中的延遲能起因于檢測位置的低可靠度，但通常，該延遲受平滑算法的處理負擔(dān)影響。例如，如果平滑算法被設(shè)計為通過考慮一定范圍的過去(以前)和未來(以后)檢測位置信息來確定當(dāng)前檢測位置，則使確定運動線路的生成(更新)延遲處理該以前和以后檢測位置信息所需的時間段。此外，在這種算法中，使確定運動線路的生成(更新)延遲用于獲得以后幀(以后檢測位置信息)的時間段。
[0057]如果在實時圖像上重疊地顯示確定運動線路，則在圖3的部分⑷所示的狀態(tài)中，離開在顯示圖像中所示的人地顯示確定運動線路，如圖4的部分(A)所示，并且盡管人在運動，但不更新運動線路來跟隨該人。因此，當(dāng)面臨圖3中的部分(B)所示的狀態(tài)時，將確定運動線路突然更新為延伸到人的最后檢測位置的附近，如圖4的部分(B)中所示。由此，當(dāng)簡單地顯示確定運動線路時，當(dāng)人正在運動時，運動線路不被繪制為緊密地跟隨該人，這使得用戶感受到不協(xié)調(diào)感。此外，這也使得難以正確地掌握人的運動狀態(tài)，由此降低監(jiān)視工作的效率。
[0058]相反，在本實施例中，臨時運動線路生成單元24生成通過按時間順序連接由檢測位置信息表示的檢測位置形成的未確定運動線路，作為在由運動對象檢測單元22獲得的最新檢測位置和確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路，并且運動線路信息獲得單元25生成由結(jié)合在一起的確定運動線路和未確定運動線路形成的結(jié)合運動線路。
[0059]由此，在圖3的部分(A)所示的狀態(tài)中，將通過結(jié)合確定運動線路和未確定運動線路形成的結(jié)合運動線路顯示為延伸到顯示圖像中所示的人的附近，如圖5的部分(A)所示。同時，當(dāng)面臨圖3的部分(B)中所示的狀態(tài)時，由圖5的部分(B)中所示的確定運動線路的更新(或新生成)部分，替換由圖5的部分(A)中的未確定運動線路表示的區(qū)段。由此，在本實施例中，運動線路被顯示為跟隨該人，因此，可以避免用戶感受到不協(xié)調(diào)感并且允許用戶正確地掌握人的運動狀態(tài)，由此提高監(jiān)視工作的效率。
[0060]應(yīng)注意到，確定運動線路生成處理受在運動對象檢測處理中所做的錯誤檢測的程度影響，由此，未確定運動線路的長度取決于在運動對象檢測處理中所做的錯誤檢測的次數(shù)而改變。然而，與確定運動線路生成處理的狀態(tài)無關(guān)，由結(jié)合在一起的確定運動線路和臨時運動線路形成的結(jié)合運動線路總是被顯示為延伸到顯示圖像中所示的人(運動對象)附近。此外，由于還要求一定時間來執(zhí)行運動對象檢測處理，未確定運動線路的終點，即，最新檢測位置可能不被準(zhǔn)確地定位在顯示圖像中所示的人的圖像上。然而，由于運動對象檢測處理不要求大量時間，在畫面圖像中所示的人的位置和人的最新檢測位置之間不會產(chǎn)生顯著區(qū)別，并且未確定運動線路被顯示為延伸到顯示圖像中所示的人的圖像的附近。
[0061]此外，在本實施例中，將通過按時間順序連接檢測位置形成的未確定運動線路顯示為在最新檢測位置和確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路。由于在運動對象檢測處理中做出的錯誤檢測，未確定運動線路包括噪聲，未確定運動線路可能偏離人的實際運動路徑。然而，未確定運動線路實質(zhì)上與人的實際運動路徑匹配，由此，大大有助于正確地掌握該人的運動狀態(tài)。
[0062]此外，在本實施例中，響應(yīng)于由用戶執(zhí)行的輸入操作來指定確定運動線路和臨時運動線路的顯示方法，設(shè)定單元27執(zhí)行將顯示方法設(shè)定到由用戶指定的顯示方法的處理，并且運動線路信息獲得單元25根據(jù)由此設(shè)定的顯示方法，生成運動線路的顯示信息。由此，用戶可以根據(jù)需要，自由地設(shè)定確定運動線路和臨時運動線路的顯示方法，由此提高用戶便利性。
[0063]接著，將描述由圖2所示的運動對象跟蹤裝置4執(zhí)行的處理。圖6是示出由運動對象跟蹤裝置4執(zhí)行的處理的流程圖。
[0064]在運動對象跟蹤裝置4中，當(dāng)將從相機I輸出的圖像(幀)輸入到圖像輸入單元21時(STlOl)，運動對象檢測單元22執(zhí)行從圖像檢測人的處理(ST102)。然后，如果從圖像檢測到人(ST103為是)，確定運動線路生成單元23執(zhí)行基于運動對象檢測信息生成確定運動線路的處理(ST104)。此外，臨時運動線路生成單元24執(zhí)行基于運動對象檢測信息，生成未確定運動線路的處理(ST105)。接著，運動線路信息獲得單元25執(zhí)行獲得與通過結(jié)合確定運動線路和未確定運動線路形成的結(jié)合運動線路有關(guān)的運動線路信息的處理(ST106)，并且從運動線路輸出單元26輸出由運動線路信息獲得單元25生成的運動線路信息(ST107)。
[0065]另一方面，如果未從圖像檢測到人(ST103為否)，不執(zhí)行生成確定運動線路、生成臨時運動線路、獲得運動線路信息和輸出運動線路信息的處理(ST104至ST107)，并且控制流進行到下一圖像(幀)的處理。
[0066]接著，將描述顯示在圖2所示的監(jiān)視器7上顯示的畫面中所示的運動線路的方法。圖7、圖8和圖9是用于說明顯示運動線路的示例性方法的說明圖。
[0067]在圖7的部分(A)所示的例子中，由不同類型的線條，繪制確定運動線路和未確定運動線路。特別地，在該例子中，由實線繪制確定運動線路，而用虛線繪制未確定運動線路。應(yīng)注意到，可以由除實線和虛線外的線條，諸如點線、點劃線、雙點劃線等等，繪制確定運動線路和未確定運動線路。
[0068]在圖7的部分⑶所示的例子中，用具有不同暗度(陰影)的線條，繪制確定運動線路和未確定運動線路。特別地，在該例子中，用暗線條繪制確定運動線路，而用亮線條繪制未確定運動線路。應(yīng)注意到，可以用不同色調(diào)(色相)的線條繪制確定運動線路和未確定運動線路。例如，可以用紅色繪制確定運動線路，而用藍色繪制未確定運動線路。
[0069]此外，在圖7的部分(C)所示的例子中，用具有不同厚度的線條繪制確定運動線路和未確定運動線路。特別地，在該例子中，用粗線繪制確定運動線路，而用細線繪制未確定運動線路。
[0070]如上所述，在本實施例中，相互可區(qū)分地顯示確定運動線路和臨時運動線路，由此,可以可視地將確定運動線路和臨時運動線路彼此區(qū)分。特別地，當(dāng)由未確定運動線路實現(xiàn)臨時運動線路時，區(qū)分確定運動線路和未確定運動線路允許用戶掌握確定運動線路的狀況。
[0071]特別地，在本實施例中，用線條類型、厚度、暗度和顏色的至少一個不同的線條，繪制確定運動線路和臨時運動線路，可以易于可視地將確定運動線路和臨時運動線路彼此區(qū)分。
[0072]另一方面，在圖8所示的例子中，對未確定運動線路執(zhí)行定期地改變線條的顯示狀態(tài)的動畫顯示。特別地，本實施例中，閃爍顯示未確定運動線路。即，交替地重復(fù)如圖8的部分(A)所示地顯示未確定運動線路的第一顯示狀態(tài)和如圖8的部分(B)所示地不顯示未確定運動線路的第二顯示狀態(tài)。總是顯示確定運動線路。
[0073]如上所述，在本實施例中，對未確定運動線路執(zhí)行定期地改變線條的顯示狀態(tài)的動畫顯示，由此，能將確定運動線路和未確定運動線路顯示為使得可區(qū)分彼此。
[0074]應(yīng)注意到，可以對確定運動線路執(zhí)行動畫顯示。此外，也可以對確定運動線路和臨時運動線路的每一個執(zhí)行動畫顯示。在這種情況下，可以對確定運動線路和臨時運動線路執(zhí)行不同的動畫顯示。
[0075]此外，在圖7和圖8所示的例子中，僅在未確定區(qū)段中顯示未確定運動線路。然而，在圖9所示的例子中，在確定區(qū)段和未確定區(qū)段的每一個中，顯示未確定運動線路，由此，在確定區(qū)段中，同時顯示確定運動線路和未確定運動線路。
[0076]可以適當(dāng)?shù)亟M合顯示圖7至9所示的運動線路的方法。例如，可以繪制分別表示確定運動線路和未確定運動線路的實線和虛線，如圖7的部分(A)所示，使得實線和虛線具有不同的暗度和/或色調(diào)，如在圖7的部分(B)所示的例子中。此外，在圖8所示的例子中，分別用實線繪制對其執(zhí)行動畫顯示的確定運動線路和未確定運動線路，但通過具有不同屬性，諸如線條類型的線條，繪制確定運動線路和未確定運動線路，如圖7所示的例子中。
[0077]接著，將描述臨時運動線路的其他例子。圖10是用于說明臨時運動線路的其他例子的說明圖。
[0078]在圖10的部分㈧所示的例子中，與圖7所示的例子類似，將通過按時間順序連接檢測位置形成的未確定運動線路顯示為未確定區(qū)段中的臨時運動線路。
[0079]另一方面，在圖10的部分(B)所示的例子中，顯示直線作為未確定區(qū)段中的臨時運動線路。該直線被繪制為連接由運動對象檢測單元22獲得的最新檢測位置和確定運動線路的終點。應(yīng)注意到可以顯示曲線作為未確定區(qū)段中的臨時運動線路。在這種情況下，基于確定運動線路在其終點附近的部分的曲率(彎曲度)等等，形成該曲線。
[0080]此外，在圖10的部分(C)所示的例子中，將“簡化的”未確定運動線路顯示為臨時運動線路。與圖10的部分(A)所示的、其中連接按時間順序排列的所有檢測位置來繪制未確定運動線路的例子相反，在圖10的部分(C)所示的例子中，部分地忽略檢測位置。即，使按時間順序排列的檢測位置稀疏化，并且將由連接稀疏化的檢測點的直線段形成的線條繪制為臨時運動線路。
[0081]優(yōu)選能根據(jù)用戶需要，適當(dāng)?shù)剡x擇在圖10中所示的臨時運動線路的實施例，如同圖7至圖9所示的確定運動線路和未確定運動線路的顯示方法。
[0082]接著，將描述顯示由結(jié)合在一起的確定運動線路和未確定運動線路形成的結(jié)合運動線路的方法。圖11是用于說明顯示由結(jié)合在一起的確定運動線路和未確定運動線路形成的結(jié)合運動線路的方法的說明圖。
[0083]當(dāng)顯示由結(jié)合在一起的確定運動線路和未確定運動線路形成的結(jié)合運動線路時，通過按時間順序，連接未確定區(qū)段，即確定運動線路的終點的時刻后的區(qū)段中的檢測位置，生成未確定運動線路，但確定運動線路的終點(即，未確定運動線路的起點)的時刻的檢測位置不一定與確定運動線路的終點相同。在這種情況下，可以采用圖11的部分(A)和(B)所示的繪制方法。
[0084]在圖11的部分(A)所示的例子中，通過連接線，連接確定運動線路的終點和未確定運動線路的起點。連接線可以是直線或者曲線。當(dāng)連接線由曲線組成時，可以基于確定運動線路在終點附近的部分和/或未確定運動線路在起點附近的部分的曲率(彎曲度)等等，形成該曲線。
[0085]在圖11的部分(B)所示的例子中，不連接確定運動線路的終點和未確定運動線路的起點，由此，在確定運動線路和未確定運動線路之間形成間隙。在這種情況下，如果確定運動線路和未確定運動線路之間的間隙大，用戶會感受到不協(xié)調(diào)感。然而，通常，同一時間點，確定運動線路的終點和未確定運動線路的起點之間的差別不顯著，并且確定運動線路和未確定運動線路之間的間隙小，由此，用戶實質(zhì)上不會感受到不協(xié)調(diào)感。
[0086]優(yōu)選的是，能根據(jù)用戶需要，適當(dāng)?shù)剡x擇圖11中所示的結(jié)合運動線路的繪制方法，如同圖7至圖9所示的確定運動線路和未確定運動線路的顯示方法。
[0087]接著，將描述在檢測到多人的情況下，運動線路的顯示狀態(tài)。圖12是用于說明在檢測到多人的情況下，運動線路的顯示狀態(tài)的說明圖。其中，將描述存在檢測到兩個人的情形，但本發(fā)明能類似地應(yīng)用于檢測到兩個人以上的情形。
[0088]首先，當(dāng)如圖12的部分(A)所示，檢測到兩個人時，對兩個人的每一個，顯示確定運動線路和未確定運動線路，如同檢測到單個人的情形。然后，如圖12的部分(B)所示，當(dāng)兩個人相互接近時，相互分開地顯示該兩個人的確定運動線路，而未確定運動線路合并，使得對該兩個人，顯示單個未確定線路。接著，如果兩個人彼此離開，如圖12的部分(C-1)所示，則對兩個人的每一個，顯示確定運動線路和未確定運動線路。
[0089]另一方面，如果從圖12的部分(B)所示的狀態(tài)，兩個人運動同時相互保持短距離，如圖12的部分(C-2)所示，則對各個人顯示的兩個確定運動線路合并成一個，如同未確定運動線路。
[0090]如上所述，在本實施例中，即使當(dāng)檢測到多人時，對每一人顯示運動線路，由此，可以掌握每個人的運動狀態(tài)。特別地，在本實施例中，運動線路被顯示為延伸到每一人的最新檢測位置，由此，可以避免將每一運動線路與錯誤的人關(guān)聯(lián)。這也有助于正確地掌握每人的運動狀態(tài)。
[0091]在上文中，已經(jīng)就其具體實施例，描述了本發(fā)明。然而，為示例目的提供這些實施例，并且本發(fā)明不受實施例限定。應(yīng)注意到，并非全部在本發(fā)明的實施例中所示的運動對象跟蹤裝置、運動對象跟蹤系統(tǒng)和運動對象跟蹤方法的結(jié)構(gòu)元件均是必不可少的，根據(jù)需要，可以有選擇地使用它們，而不背離本發(fā)明的精神。
[0092]例如，在上述實施例中，描述了將本發(fā)明應(yīng)用于諸如超市的零售店的例子。然而，本發(fā)明可以應(yīng)用于除零售店外的商業(yè)機構(gòu)，諸如可以是休閑餐廳等等的飯店。此外，本發(fā)明可以應(yīng)用于除商業(yè)機構(gòu)外的設(shè)施，諸如工廠、飛機、鐵路、高速公路、公共設(shè)施、發(fā)電廠等等，只要可以采用大面積監(jiān)視系統(tǒng)。
[0093]此外，在上述實施例中，描述了待跟蹤的運動對象為人的例子。然而，可以使用本發(fā)明來跟蹤除人以外的運動對象，諸如可以包括汽車、自行車等等的車輛。
[0094]此外，在上述實施例中，基于由運動對象檢測單元22獲得的最新檢測位置，生成臨時運動線路(未確定運動線路)。然而，不一定要求基于檢測位置生成臨時運動線路，并且可以基于時間上接近最新檢測位置的檢測位置，生成臨時運動線路。
[0095]此外，在上述實施例中，可以與照相機I分開地提供運動對象跟蹤裝置4，但運動對象跟蹤裝置4的功能的一部分或全部可以合并在照相機I中來構(gòu)成具有運動對象跟蹤功能的成像裝置。此外，為增加處理速度，可以將運動對象跟蹤裝置4的功能的一部分，諸如確定運動線路生成單元23和運動線路信息獲得單元25的功能轉(zhuǎn)移到PC3。也可以將PC3的功能合并在運動對象跟蹤裝置4中或?qū)⑦\動對象跟蹤裝置4和PC3的功能合并在記錄器2中。在這些結(jié)構(gòu)中，PC3變得不必要。
[0096]此外，在圖2所示的例子中，將顯示方法設(shè)定單元27提供給運動對象跟蹤裝置4，但可以將顯示方法設(shè)定單元27提供給PC3。在這種情況下，能在PC3側(cè)，選擇用于從運動線路輸出單元26輸出的確定運動線路和未確定運動線路的每一個的顯示方法。
[0097]此外，本實施例中，通過在商店設(shè)立的裝置，執(zhí)行運動對象跟蹤處理中的所有處理，但這些必要處理可以由設(shè)立在管理辦公室的PCll或形成云計算系統(tǒng)的云計算機12執(zhí)行。此外，這些必要的處理可以通過協(xié)同多個信息處理裝置來執(zhí)行，在該情況下，多個信息處理裝置被配置成能經(jīng)諸如IP網(wǎng)絡(luò)或LAN的通信媒介，彼此通信或共享信息。由此，聯(lián)合地執(zhí)行必要處理的多個信息處理裝置構(gòu)成運動對象跟蹤系統(tǒng)。
[0098]在這種情況下，優(yōu)選的是設(shè)立在商店的裝置被配置成至少執(zhí)行運動對象檢測處理。在這種結(jié)構(gòu)中，由于由運動對象檢測處理獲得的信息具有少量數(shù)據(jù)，即使由設(shè)立在除商店外的地方的信息處理裝置，諸如設(shè)置在管理辦公室的PCll執(zhí)行剩余處理，通信負擔(dān)也能夠小，由此，易于以廣域網(wǎng)的形式操作系統(tǒng)。
[0099]還可以優(yōu)選將云計算機12配置成至少執(zhí)行確定運動線路生成處理。在這種結(jié)構(gòu)中，盡管確定運動線路生成處理要求大量計算，但能通過構(gòu)成云計算系統(tǒng)的信息處理裝置實現(xiàn)該處理，因此，不必在用戶側(cè)，即商店等等準(zhǔn)備高速信息處理裝置。此外，由于剩余處理要求少量計算，能將剩余處理執(zhí)行為設(shè)立在商店以充當(dāng)銷售信息管理裝置的信息處理裝置的延伸功能，這能減輕用戶承擔(dān)的成本。
[0100]還可以進行配置，使得云計算機12執(zhí)行必要處理的全部或一部分，或?qū)⒂蛇\動對象跟蹤處理獲得的運動線路信息傳輸?shù)皆朴嬎銠C12。這種結(jié)構(gòu)使得可以在除設(shè)立在商店的PC3和設(shè)立在管理辦公室的PCll外，在諸如智能電話13的運動終端上查看運動對象的跟蹤狀態(tài)，并且這允許用戶不僅在商店或辦公室，而且在任何其他地方。諸如用戶正商務(wù)訪問的場所查看跟蹤狀態(tài)。
[0101]此外，在上述實施例中，在設(shè)立在商店的PC3的監(jiān)視器7上，顯示包括在實時圖像上疊加的一個或多個運動線路的監(jiān)視畫面，但可以與PC3分開地提供用于顯示監(jiān)視畫面的顯示裝置。例如，可以將上述的設(shè)置在管理辦公室的PCll或智能電話13用作用于顯示監(jiān)視畫面的顯示裝置。除此之外，也可以將用于顯示監(jiān)視畫面的顯示裝置的功能添加到設(shè)置在商店的銷售信息管理裝置。
[0102]根據(jù)本發(fā)明的運動對象跟蹤裝置、運動對象跟蹤系統(tǒng)和運動對象跟蹤方法能當(dāng)在監(jiān)視區(qū)域的實時圖像上疊加地顯示運動對象的運動線路時，防止所顯示的運動線路導(dǎo)致用戶感受到不協(xié)調(diào)感，并且允許用戶正確地掌握運動對象的運動狀態(tài)，由此，可用作為允許顯示裝置顯示包括在監(jiān)視區(qū)域的實時圖像上疊加的運動對象的運動線路的畫面，基于通過從監(jiān)視區(qū)域的圖像檢測運動對象獲得的檢測位置信息，獲得運動線路信息的運動對象跟蹤裝置、運動對象跟蹤系統(tǒng)和運動對象跟蹤方法。
【權(quán)利要求】
1.一種運動對象跟蹤裝置(4)，用于為允許顯示裝置(7)顯示在監(jiān)視區(qū)域的實時圖像上疊加表示運動對象的運動路徑的運動線路的畫面，基于通過從所述監(jiān)視區(qū)域的圖像檢測所述運動對象獲得的檢測位置信息，獲得運動線路信息，所述運動對象跟蹤裝置包括: 運動對象檢測單元(22)，所述運動對象檢測單元從所述監(jiān)視區(qū)域的圖像檢測所述運動對象，并且輸出所述運動對象的所述檢測位置信息； 第一運動線路生成單元(23)，所述第一運動線路生成單元移除包括在所述檢測位置信息中的錯誤檢測信息，并且基于已經(jīng)移除所述錯誤檢測信息的所述檢測位置信息，生成優(yōu)化為所述運動對象的運動路徑的確定運動線路； 第二運動線路生成單元(24)，所述第二運動線路生成單元生成在由所述檢測位置信息表示的實質(zhì)上最新檢測位置和所述確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路；以及 運動線路信息獲得單元(25)，所述運動線路信息獲得單元獲得與由結(jié)合在一起的所述確定運動線路和所述臨時運動線路形成的結(jié)合運動線路有關(guān)的運動線路信息。
2.根據(jù)權(quán)利要求1所述的運動對象跟蹤裝置，其中，所述第二運動線路生成單元生成按時間順序連接由所述檢測位置信息表示的檢測位置的未確定運動線路，作為所述臨時運動線路。
3.根據(jù)權(quán)利要求1或2所述的運動對象跟蹤裝置，其中，當(dāng)所述運動對象檢測單元從圖像檢測到多個運動對象時，所述運動線路信息獲得單元獲得所述運動對象中的每一個的所述運動線路信息。
4.根據(jù)權(quán)利要求1至3中的任一項所述的運動對象跟蹤裝置，其中，所述運動線路信息包括用于將所述確定運動線路和所述臨時運動線路顯示為能夠相互區(qū)分的顯示信息。
5.根據(jù)權(quán)利要求4所述的運動對象跟蹤裝置，其中，通過線條類型、厚度、暗度和顏色中的至少一個相互不同的線條，繪制所述確定運動線路和所述臨時運動線路。
6.根據(jù)權(quán)利要求5所述的運動對象跟蹤裝置，其中，用實線繪制所述確定運動線路和所述臨時運動線路中的一個，并且用虛線繪制另一個。
7.根據(jù)權(quán)利要求4至6中的任一項所述的運動對象跟蹤裝置，其中，對所述確定運動線路和所述臨時運動線路中的至少一個執(zhí)行動畫顯示以定期地改變線條的顯示狀態(tài)。
8.根據(jù)權(quán)利要求4至7中的任一項所述的運動對象跟蹤裝置，進一步包括顯示方法設(shè)定單元(27)，所述顯示方法設(shè)定單元根據(jù)由用戶執(zhí)行的、用于指定所述確定運動線路和所述臨時運動線路的顯示方法的輸入操作，將顯示方法設(shè)定為由所述用戶指定的顯示方法， 其中，根據(jù)由所述顯示方法設(shè)定單元設(shè)定的顯示方法，生成所述顯示信息。
9.一種運動對象跟蹤系統(tǒng)，用于為允許顯示裝置(7)顯示在監(jiān)視區(qū)域的實時圖像上疊加表示運動對象的運動路徑的運動線路的畫面，基于通過從所述監(jiān)視區(qū)域的圖像檢測所述運動對象獲得的檢測位置信息，獲得運動線路信息，所述運動對象跟蹤系統(tǒng)包括: 相機(I)，所述相機捕捉所述監(jiān)視區(qū)域的圖像； 多個信息處理裝置(2，3，11，12，13)，以及 顯示裝置(7)，所述顯示裝置顯示在所述監(jiān)視區(qū)域的所述實時圖像上疊加所述運動線路的畫面， 其中，所述多個信息處理裝置共同包括: 運動對象檢測單元(22)，所述運動對象檢測單元從所述監(jiān)視區(qū)域的圖像檢測所述運動對象，并且輸出所述運動對象的所述檢測位置信息； 第一運動線路生成單元(23)，所述第一運動線路生成單元移除包括在所述檢測位置信息中的錯誤檢測信息，并且基于已經(jīng)移除所述錯誤檢測信息的所述檢測位置信息，生成優(yōu)化為所述運動對象的運動路徑的確定運動線路； 第二運動線路生成單元(24)，所述第二運動線路生成單元生成在由所述檢測位置信息表示的實質(zhì)上最新檢測位置和所述確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路； 運動線路信息獲得單元(25)，所述運動線路信息獲得單元獲得與由結(jié)合在一起的所述確定運動線路和所述臨時運動線路形成的結(jié)合運動線路有關(guān)的運動線路信息；以及 畫面生成單元(32)，所述畫面生成單元基于所述運動線路信息，生成在所述監(jiān)視區(qū)域的所述實時圖像上疊加所述運動線路的畫面。
10.一種運動對象跟蹤方法，用于為允許顯示裝置(7)顯示在監(jiān)視區(qū)域的實時圖像上疊加表示運動對象的運動路徑的運動線路的畫面，基于通過從所述監(jiān)視區(qū)域的圖像檢測所述運動對象獲得的檢測位置信息，獲得運動線路信息，所述運動對象跟蹤方法包括: 從所述監(jiān)視區(qū)域的圖像檢測所述運動對象，并且輸出所述運動對象的所述檢測位置信息(ST102)； 移除包括在所述檢測位置信息中的錯誤檢測信息，并且基于已經(jīng)移除所述錯誤檢測信息的所述檢測位置信息，生成優(yōu)化為所述運動對象的運動路徑的確定運動線路(ST104)；生成在由所述檢測位置信息表示的實質(zhì)上最新檢測位置和所述確定運動線路的終點之間內(nèi)插未確定區(qū)段的臨時運動線路(ST105);以及 獲得與由結(jié)合在一起的所述確定運動線路和所述臨時運動線路形成的結(jié)合運動線路有關(guān)的運動線路信息(ST106)。
【文檔編號】G06K9/00GK104519317SQ201410505748
【公開日】2015年4月15日 申請日期:2014年9月26日 優(yōu)先權(quán)日:2013年9月27日
【發(fā)明者】松本裕一, 由雄宏明, 合田陽一 申請人:松下電器產(chǎn)業(yè)株式會社