專利名稱：基于感興趣區(qū)的視頻概要的制作方法
技術(shù)領(lǐng)域：
本公開的實(shí)施例涉及電子領(lǐng)域。尤其是，本公開的實(shí)施例涉及視頻分析設(shè)備、系統(tǒng)和方法。
背景技術(shù)：
相機(jī)，諸如閉路電視(CCTV)安全相機(jī)逐漸地用于防止犯罪。在某些城市中，安裝數(shù)以萬計(jì)安全相機(jī)監(jiān)視可疑人員或者行為，從而，提高公眾的高的期望。但是，這樣的期望經(jīng)常遇到差的結(jié)果，因?yàn)楸O(jiān)視監(jiān)控錄像(surveillance footage)的人員注意力持續(xù)時(shí)間短暫，以及缺乏審閱冗長的視頻錄像所需要的人力。例如，一個(gè)普通人的注意力持續(xù)時(shí)間大約是20分鐘，并且需要花費(fèi)相當(dāng)大的人力去審閱由若干相機(jī)/記錄設(shè)備一天24小時(shí)記錄的監(jiān)控錄像。視頻概要(video synopsis)是創(chuàng)建長視頻的短視頻摘要(video summary)的方法。按照該方法，跟隨(例如，跟蹤、追蹤、記錄等)運(yùn)動(dòng)對(duì)象，并且捕捉運(yùn)動(dòng)對(duì)象的移動(dòng)的視頻流被轉(zhuǎn)換為目標(biāo)和行為的數(shù)據(jù)庫。一旦形成數(shù)據(jù)庫，當(dāng)需要運(yùn)動(dòng)對(duì)象的摘要時(shí)，采集目標(biāo)時(shí)間段的運(yùn)動(dòng)對(duì)象并及時(shí)變換，以創(chuàng)建更短的概要視頻，在該概要視頻中同時(shí)地顯示最初在不同的時(shí)間出現(xiàn)的運(yùn)動(dòng)對(duì)象和行為。

發(fā)明內(nèi)容
問題的解決方案本公開的一個(gè)實(shí)施例涉及用于產(chǎn)生基于感興趣區(qū)的視頻概要的裝置的方法。該方法包括響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，對(duì)于可通信地耦合到該裝置的相機(jī)設(shè)備所跟蹤的區(qū)域設(shè)置感興趣區(qū)(ROI)，這里感興趣區(qū)是該區(qū)域的一部分。該方法還包括將運(yùn)動(dòng)對(duì)象在感興趣區(qū)內(nèi)是活動(dòng)的時(shí)由相機(jī)設(shè)備轉(zhuǎn)發(fā)的視頻流轉(zhuǎn)換為運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)。該方法進(jìn)一步包括基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，當(dāng)運(yùn)動(dòng)對(duì)象在感興趣區(qū)內(nèi)是活動(dòng)的時(shí)，產(chǎn)生運(yùn)動(dòng)對(duì)象的視頻概要，這里運(yùn)動(dòng)對(duì)象的視頻概要是在感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的簡短摘要。本公開的另一個(gè)實(shí)施例涉及用于產(chǎn)生基于感興趣區(qū)的視頻概要的裝置的方法。該方法包括使用可通信地耦合到該裝置的相機(jī)設(shè)備來跟蹤區(qū)域中的運(yùn)動(dòng)對(duì)象一持續(xù)時(shí)間，這里該相機(jī)設(shè)備被配置為產(chǎn)生與運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的視頻流。該方法還包括將在該持續(xù)時(shí)間期間由相機(jī)設(shè)備轉(zhuǎn)發(fā)的視頻流轉(zhuǎn)換為運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，這里元數(shù)據(jù)被存儲(chǔ)在與該裝置相關(guān)聯(lián)的存儲(chǔ)器中。該方法進(jìn)一步包括響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，對(duì)于該區(qū)域設(shè)置一個(gè)或多個(gè)感興趣區(qū)，這里每個(gè)感興趣區(qū)是該區(qū)域的一部分。另外，該方法包括基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，當(dāng)運(yùn)動(dòng)對(duì)象在感興趣區(qū)內(nèi)是活動(dòng)的時(shí)，產(chǎn)生運(yùn)動(dòng)對(duì)象的視頻概要。本公開的又一個(gè)實(shí)施例涉及用于產(chǎn)生基于感興趣區(qū)的視頻概要的裝置。該裝置包括存儲(chǔ)器，和耦合到存儲(chǔ)器的處理器，這里該處理器被配置為響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，對(duì)于被監(jiān)控的區(qū)域設(shè)置感興趣區(qū)(ROI)，該處理器還被配置為對(duì)與在感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的視頻流進(jìn)行接收并且轉(zhuǎn)換為運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)。該處理器進(jìn)一步被配置為基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)產(chǎn)生在感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的視頻概要。


通過示例圖示示例性實(shí)施例，并且不受伴隨的附圖中的圖的限制，其中相同的附圖標(biāo)記指示類似的單元，并且其中圖1圖示按照本公開一個(gè)實(shí)施例的用于與其它的相關(guān)設(shè)備相互作用產(chǎn)生基于感興趣區(qū)的視頻概要的裝置的示例性示圖。圖2圖示按照本公開一個(gè)實(shí)施例的圖示與視頻概要相關(guān)的配置數(shù)據(jù)的表的示例性示圖。圖3圖示按照本公開一個(gè)實(shí)施例的用于設(shè)置在圖2中的配置數(shù)據(jù)的用戶界面的示例性示圖。圖4和5圖示按照本公開一個(gè)實(shí)施例的圖示用于產(chǎn)生基于感興趣區(qū)的視頻概要的過程的示例性示圖。圖6和7圖示按照本公開一個(gè)實(shí)施例的圖示用于產(chǎn)生基于感興趣區(qū)的視頻概要的過程的另一個(gè)示例性示圖。圖8圖示按照本公開一個(gè)實(shí)施例的用于產(chǎn)生基于感興趣區(qū)的視頻概要的示例性方法的處理流程圖。圖9和10圖示按照本公開一個(gè)實(shí)施例的圖示用于基于兩個(gè)或兩個(gè)以上感興趣區(qū)產(chǎn)生視頻概要的過程的示例性示圖。圖11圖示按照本公開一個(gè)實(shí)施例的用于產(chǎn)生一個(gè)或多個(gè)基于感興趣區(qū)的視頻概要的示例性方法的處理流程圖。本實(shí)施例的其它特點(diǎn)將從伴隨的附圖和從以下的詳細(xì)說明中顯而易見。
具體實(shí)施例方式公開了產(chǎn)生對(duì)象的基于感興趣區(qū)的視頻概要的方法、設(shè)備和/或系統(tǒng)。按照本公開的實(shí)施例，感興趣區(qū)可以被選定為由安全系統(tǒng)監(jiān)控的區(qū)域，這里安全系統(tǒng)包括相機(jī)設(shè)備和裝置(例如，服務(wù)器)，其將由相機(jī)設(shè)備轉(zhuǎn)發(fā)的視頻流轉(zhuǎn)換為用于視頻概要所處理的元數(shù)據(jù)。感興趣區(qū)小于能夠由相機(jī)設(shè)備覆蓋的區(qū)域。一旦設(shè)置感興趣區(qū)，那么，由相機(jī)設(shè)備轉(zhuǎn)發(fā)的視頻流被處理，并且產(chǎn)生在感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)。因此，一旦向該裝置注冊(cè)，可以不重復(fù)地處理與運(yùn)動(dòng)對(duì)象的信息不同的背景信息。此外，也可以不處理駐留在感興趣區(qū)外面的運(yùn)動(dòng)對(duì)象的信息。一旦產(chǎn)生運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)(例如，時(shí)間、位置等)，它們可用于產(chǎn)生或者執(zhí)行視頻概要。如上所述，在不丟失任何需要檢查的基本信息的情況下，運(yùn)動(dòng)對(duì)象的基于感興趣區(qū)的視頻概要可以極大地減少審閱運(yùn)動(dòng)對(duì)象的記錄錄像的時(shí)間。此外，通過選擇地產(chǎn)生和存儲(chǔ)用于視頻概要的元數(shù)據(jù)，同時(shí)減少或者消除不必要信息的生成，感興趣區(qū)的特點(diǎn)進(jìn)一步改善視頻處理或者分析的效率。現(xiàn)在將詳細(xì)地參考本公開的實(shí)施例，其例子在伴隨的附圖中圖示。雖然將與實(shí)施例結(jié)合地描述本公開，但應(yīng)該理解，它們不意欲將本公開限制到這些實(shí)施例。相反，本公開意欲覆蓋可以包括在本公開的精神和范圍內(nèi)的備選方案、改進(jìn)和等效物。此外，在詳細(xì)說明中，闡述許多特定的細(xì)節(jié)，以提供對(duì)本公開的深入理解。然而，對(duì)于本領(lǐng)域普通技術(shù)人員來說顯而易見的是，無需這些特定的細(xì)節(jié)也可以實(shí)踐本公開。在其它的例子中，沒有詳細(xì)地描述眾所周知的方法、步驟、部件和電路，以免不必要地混淆本公開的方面。圖1圖示按照本公開一個(gè)實(shí)施例的用于與其它的相關(guān)設(shè)備相互作用產(chǎn)生基于感興趣區(qū)的視頻概要的裝置102的示例性示圖。在圖1中，裝置102與相機(jī)設(shè)備104和客戶端設(shè)備106通信地耦合。應(yīng)該理解，裝置102、相機(jī)設(shè)備104和客戶端設(shè)備106可以是單獨(dú)的設(shè)備。還應(yīng)該理解，可以實(shí)現(xiàn)裝置102、相機(jī)設(shè)備104和客戶端設(shè)備106的任何的組合以形成單個(gè)設(shè)備或者兩個(gè)單獨(dú)的設(shè)備。在圖1中，用于產(chǎn)生基于感興趣區(qū)的視頻概要的裝置102 (例如，服務(wù)器、數(shù)字視頻記錄器等)包括存儲(chǔ)器108和耦合到存儲(chǔ)器108的處理器110。處理器110被配置為響應(yīng)于由客戶端設(shè)備106(例如，計(jì)算機(jī)、移動(dòng)設(shè)備、移動(dòng)電話、智能電話等)轉(zhuǎn)發(fā)的感興趣區(qū)配置數(shù)據(jù)118的接收，對(duì)于被監(jiān)控的區(qū)域116設(shè)置感興趣區(qū)(ROI) 114。應(yīng)該理解，感興趣區(qū)114小于可以由相機(jī)設(shè)備104(例如，攝像機(jī)、數(shù)字視頻記錄器等)處理的區(qū)域116。處理器110還被配置為接收由相機(jī)設(shè)備104轉(zhuǎn)發(fā)的視頻流120并且將其轉(zhuǎn)換為運(yùn)動(dòng)對(duì)象122的元數(shù)據(jù)124，相機(jī)設(shè)備104跟蹤(例如，捕捉圖像)在感興趣區(qū)114內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象122。應(yīng)該理解，可以由在計(jì)算機(jī)視覺技術(shù)中的對(duì)象識(shí)別(例如，圖像識(shí)別、面部識(shí)別等)技術(shù)執(zhí)行與運(yùn)動(dòng)對(duì)象122相關(guān)聯(lián)的視頻流120的轉(zhuǎn)換，其中，在視頻流120的圖像或者視頻序列中找到給定對(duì)象。處理器進(jìn)一步被配置為基于運(yùn)動(dòng)對(duì)象122的元數(shù)據(jù)124產(chǎn)生在感興趣區(qū)114內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象122的視頻概要數(shù)據(jù)126。應(yīng)該理解，運(yùn)動(dòng)對(duì)象122的視頻概要數(shù)據(jù)126是在感興趣區(qū)114內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象122的簡短摘要。視頻概要126然后顯示在客戶端設(shè)備106的顯示設(shè)備112上。在可選實(shí)施例中，由裝置102執(zhí)行的處理可以在客戶端設(shè)備106中實(shí)現(xiàn)。如在圖1中的虛線所圖示的，客戶端設(shè)備106被配置為基于由相機(jī)設(shè)備105轉(zhuǎn)發(fā)的并且存儲(chǔ)在客戶端設(shè)備106的存儲(chǔ)器中的視頻流120，以及由裝置102轉(zhuǎn)發(fā)的元數(shù)據(jù)124產(chǎn)生運(yùn)動(dòng)對(duì)象122的視頻概要，在這個(gè) 實(shí)施例中，裝置102被配置為通過處理視頻流120產(chǎn)生元數(shù)據(jù)124。圖2圖示按照本公開的一個(gè)實(shí)施例圖示配置數(shù)據(jù)的表202的示例性示圖。在圖2中，表202顯示配置數(shù)據(jù)204、類型206、屬性208、形狀210和時(shí)間段212。配置數(shù)據(jù)204包括感興趣對(duì)象(多個(gè)感興趣對(duì)象)、感興趣區(qū)(多個(gè)感興趣區(qū))和感興趣時(shí)間段(多個(gè)感興趣時(shí)間段)。用于設(shè)置感興趣對(duì)象的配置數(shù)據(jù)204可以由對(duì)象的類型206和/或?qū)傩?08中的一個(gè)或多個(gè)來限定，其中類型206包括人員、動(dòng)物、車輛、武器等，并且其中該對(duì)象的屬性208包括顏色、大小、性別、年齡等。此外，用于設(shè)置感興趣時(shí)間段的配置數(shù)據(jù)204可以基于時(shí)間段212，其可以是分鐘、小時(shí)、天、周、月等。此外，用于設(shè)置感興趣區(qū)的配置數(shù)據(jù)204可以由感興趣區(qū)的形狀210，諸如多邊形(例如，矩形、正方形的等)、圓形，或者通過以一條或多條線劃分圖1的相機(jī)設(shè)備104所監(jiān)控的區(qū)域而形成的區(qū)來限定。圖3圖示按照本公開一個(gè)實(shí)施例的用于設(shè)置圖2中的配置數(shù)據(jù)204的用戶界面252的示例性示圖。在圖3中，配置數(shù)據(jù)204通過從用戶界面(Π) 252選擇感興趣對(duì)象254、感興趣區(qū)256和感興趣時(shí)間段258來設(shè)置。然后，將人員260選擇為類型206，并且將顏色268、大小270和性別272選擇為屬性208。因此，將“高于6英尺的白種男人”選擇為感興趣對(duì)象254。此外，通過將區(qū)域276內(nèi)的多邊形選擇為形狀210，而將具有坐標(biāo)(48，50)、(75，50)、(75，75)和(48，75)的矩形選擇為感興趣區(qū)256。此外，將從2010年5月5日上午12點(diǎn)延續(xù)到2010年5月6日的上午12點(diǎn)選擇為感興趣時(shí)間段258?；谂c在圖1中的裝置102相關(guān)聯(lián)的配置數(shù)據(jù)204的設(shè)置，處理從2010年5月5日上午12點(diǎn)延續(xù)到2010年5月6日上午12點(diǎn)的時(shí)段的視頻概要數(shù)據(jù)126，視頻概要數(shù)據(jù)126跟蹤自由出入相機(jī)設(shè)備104所觀看的具有坐標(biāo)(48，50)、(75，50)、(75，75)和(48，75)的矩形的“高于6英尺的白種男人”。如在這個(gè)例子中所圖示的，通過以特定的方式設(shè)置配置數(shù)據(jù)204，裝置102的用戶可以減少用于產(chǎn)生視頻概要的時(shí)間和資源(例如，要處理的數(shù)據(jù))。應(yīng)該理解，用戶可以選擇去選擇單個(gè)類別的配置數(shù)據(jù)204，而不是如在圖3中圖示的三個(gè)類別的組合。例如，用戶可以選擇僅跟蹤感興趣對(duì)象或者感興趣區(qū)。應(yīng)進(jìn)一步理解，存在比圖3中所圖示的三個(gè)類別更多的類別，及其相應(yīng)的子類別。圖4和5圖示按照本公開一個(gè)實(shí)施例的圖示用于產(chǎn)生基于感興趣區(qū)的視頻概要過程的示例性示圖。在圖4中，當(dāng)由裝置(例如，裝置102)處理感興趣區(qū)配置數(shù)據(jù)(例如，如在圖2-3中)時(shí)，感興趣區(qū)114由在區(qū)域116內(nèi)指定多邊形(即，矩形)來設(shè)置，該裝置用于通過與該裝置相關(guān)聯(lián)的用戶界面產(chǎn)生基于感興趣區(qū)的視頻概要。在圖4中，兩個(gè)運(yùn)動(dòng)對(duì)象(例如，人員302和汽車304)的元數(shù)據(jù)通過處理來自跟蹤在感興趣區(qū)114內(nèi)活動(dòng)的兩個(gè)運(yùn)動(dòng)對(duì)象的相機(jī)設(shè)備(例如，相機(jī)設(shè)備104)的視頻流產(chǎn)生。例如，當(dāng)人員302首次進(jìn)入感興趣區(qū)114時(shí)，產(chǎn)生元數(shù)據(jù)306A，并且啟動(dòng)對(duì)人員302 (例如，通過圖1的裝置102和相機(jī)設(shè)備104)的跟蹤，從而，周期地、間斷地、或者基于其它的設(shè)置產(chǎn)生元數(shù)據(jù)。當(dāng)人員302離開感興趣區(qū)114時(shí)，產(chǎn)生元數(shù)據(jù)306E。當(dāng)人員302第二次進(jìn)入感興趣區(qū)114時(shí)，產(chǎn)生元數(shù)據(jù)306H，并且啟動(dòng)對(duì)人員302的再次跟蹤，從而，周期地、間斷地、或者基于其它的設(shè)置產(chǎn)生元數(shù)據(jù)，直到人員302離開感興趣區(qū)114為止。當(dāng)人員302離開感興趣區(qū)114時(shí)，產(chǎn)生元數(shù)據(jù)306N。圖4還顯示另一個(gè)運(yùn)動(dòng)對(duì)象(例如，汽車304)。當(dāng)汽車304進(jìn)入感興趣區(qū)114時(shí)，產(chǎn)生元數(shù)據(jù)308A，并且啟動(dòng)對(duì)汽車304的跟蹤，從而，周期地、間斷地、或基于其它的設(shè)置產(chǎn)生元數(shù)據(jù)，直到汽車304離開感興趣區(qū)114為止。當(dāng)汽車304離開感興趣區(qū)114時(shí)，產(chǎn)生元數(shù)據(jù)308N。在一個(gè)實(shí)施例中，運(yùn)動(dòng)對(duì)象(例如，人員302和汽車304)的元數(shù)據(jù)(例如，元數(shù)據(jù)306A-E、元數(shù)據(jù)306H-N和元數(shù)據(jù)308A-N)包括時(shí)間數(shù)據(jù)(例如，記錄時(shí)間)和該運(yùn)動(dòng)對(duì)象的位置數(shù)據(jù)(例如，X、y和Z坐標(biāo)、高度和經(jīng)度等)。然后，基于時(shí)間數(shù)據(jù)和位置數(shù)據(jù)形成每個(gè)運(yùn)動(dòng)對(duì)象的軌跡。例如，在感興趣區(qū)114內(nèi)活動(dòng)的人員302的軌跡可以基于對(duì)應(yīng)于元數(shù)據(jù)306A-E和306H-N的時(shí)間數(shù)據(jù)和位置數(shù)據(jù)來形成。同樣地，在感興趣區(qū)114內(nèi)移動(dòng)的汽車304的軌跡可以基于對(duì)應(yīng)于元數(shù)據(jù)308A-N的時(shí)間數(shù)據(jù)和位置數(shù)據(jù)來形成。當(dāng)正在跟蹤在感興趣區(qū)114內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象時(shí)，區(qū)域116的剩余部分被屏蔽或者從對(duì)于隱私保護(hù)的跟蹤中除去。即，當(dāng)用于產(chǎn)生ROI視頻概要的裝置102所控制的相機(jī)設(shè)備已經(jīng)訪問廣的區(qū)域，但是僅將該區(qū)域的一部分作為基于ROI的視頻概要的情況下的目標(biāo)時(shí)，那么屏蔽特征可用于減少由于受監(jiān)控影響而引起的隱私顧慮。在一個(gè)示例性實(shí)施例中，在圖1中的視頻流120的部分對(duì)應(yīng)于對(duì)被屏蔽的區(qū)域116的剩余部分的監(jiān)控，其可以不存儲(chǔ)在裝置102中。同樣地，可以完全可以不必產(chǎn)生與對(duì)區(qū)域116的剩余部分的監(jiān)控相對(duì)應(yīng)的數(shù)據(jù)的元數(shù)據(jù)124。在另一個(gè)示例性實(shí)施例中，與區(qū)域116的剩余部分的監(jiān)控相對(duì)應(yīng)的視頻流120的部分可以存儲(chǔ)在裝置102中，但是，當(dāng)將視頻概要數(shù)據(jù)126轉(zhuǎn)發(fā)到客戶端設(shè)備106用于觀看時(shí)，可以屏蔽與區(qū)域116的剩余部分相對(duì)應(yīng)的視頻概要數(shù)據(jù)126。在圖5中，基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，在運(yùn)動(dòng)對(duì)象在感興趣區(qū)114內(nèi)是活動(dòng)的時(shí)，產(chǎn)生運(yùn)動(dòng)對(duì)象的視頻概要。應(yīng)該理解，運(yùn)動(dòng)對(duì)象的視頻概要是在感興趣區(qū)114內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的簡短摘要。因此，如在圖5中所圖示的，能夠同時(shí)地顯示人員302的軌跡(例如，軌跡352和軌跡354)和汽車304的軌跡(例如，軌跡356)，盡管兩個(gè)運(yùn)動(dòng)對(duì)象的軌跡可能在兩個(gè)不同的時(shí)段中形成。利用這樣的特點(diǎn)，在不丟失需要檢查的任何基本信息的情況下，兩個(gè)運(yùn)動(dòng)對(duì)象的視頻概要可以極大地減少審閱所記錄的兩個(gè)運(yùn)動(dòng)對(duì)象的錄像的時(shí)間。此外，通過有選擇地產(chǎn)生和存儲(chǔ)用于視頻概要的元數(shù)據(jù)，同時(shí)減少或者消除不必要元數(shù)據(jù)的生成，感興趣區(qū)的特點(diǎn)進(jìn)一步改善了視頻處理或者分析的效率。此外，雖然圖4和5圖示基于感興趣區(qū)的視頻概要的方法，但是其它的配置數(shù)據(jù)，諸如圖2-3的感興趣對(duì)象，或者感興趣的時(shí)間段可以單獨(dú)地或者與感興趣區(qū)結(jié)合地用于以本說明書描述的類似的方式產(chǎn)生視頻概要。例如，當(dāng)感興趣對(duì)象，而不是感興趣區(qū)被選擇為用于視頻概要的配置數(shù)據(jù)時(shí)，可以產(chǎn)生與感興趣對(duì)象相關(guān)聯(lián)的元數(shù)據(jù)。例如，如果人員和紅色分別被設(shè)置為感興趣對(duì)象的類型206和屬性208，則可以以允許在執(zhí)行視頻概要期間跟蹤和顯示穿著紅色衣服的人員這樣的方式形成元數(shù)據(jù)。此外，可以以下述方式設(shè)置感興趣對(duì)象和感興趣區(qū)兩者僅當(dāng)穿著紅色衣服的人員在感興趣區(qū)內(nèi)移動(dòng)時(shí)形成運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)。圖6和7圖示按照本公開的一個(gè)實(shí)施例圖示用于產(chǎn)生基于感興趣區(qū)的視頻概要過程的另一個(gè)示例性示圖。在一個(gè)實(shí)施例中，感興趣區(qū)402可以通過利用線404劃分區(qū)域116，以及通過利用方向箭頭406指示兩個(gè)區(qū)域中的一個(gè)來形成，方向箭頭406由在區(qū)域116上繪制的線形成。在一個(gè)示例性實(shí)施例中，響應(yīng)于收到由客戶端設(shè)備(例如，移動(dòng)電話、計(jì)算機(jī)等)轉(zhuǎn)發(fā)的感興趣區(qū)配置數(shù)據(jù)，可以執(zhí)行形成感興趣區(qū)402。在圖6中，當(dāng)該運(yùn)動(dòng)對(duì)象是在感興趣區(qū)402內(nèi)是活動(dòng)的時(shí)，運(yùn)動(dòng)對(duì)象(例如，人員408)的元數(shù)據(jù)作為視頻流從跟蹤運(yùn)動(dòng)對(duì)象的相機(jī)設(shè)備(例如，相機(jī)設(shè)備104)產(chǎn)生。例如，當(dāng)人員408首次進(jìn)入感興趣區(qū)402時(shí)，產(chǎn)生元數(shù)據(jù)410A，并且啟動(dòng)人員408 (例如，通過圖1的裝置102和相機(jī)設(shè)備104)的跟蹤，從而，周期地、間斷地、或者基于其它的設(shè)置產(chǎn)生元數(shù)據(jù)。當(dāng)人員408離開感興趣區(qū)402時(shí)，產(chǎn)生元數(shù)據(jù)410E。類似地，形成元數(shù)據(jù)410H-K和元數(shù)據(jù) 41ON-X。然后，基于時(shí)間數(shù)據(jù)和位置數(shù)據(jù)形成每個(gè)運(yùn)動(dòng)對(duì)象的軌跡。例如，可以基于對(duì)應(yīng)于元數(shù)據(jù)410A-E和410H-K以及410N-X的時(shí)間數(shù)據(jù)和位置數(shù)據(jù)形成在感興趣區(qū)402內(nèi)活動(dòng)的人員408的軌跡。當(dāng)在感興趣區(qū)402內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象正在被跟蹤時(shí)，為了隱私保護(hù)區(qū)域116的剩余部分被從跟蹤中排除或者屏蔽，如在圖4中所圖示的。在圖7中，當(dāng)運(yùn)動(dòng)對(duì)象在感興趣區(qū)402內(nèi)是活動(dòng)的時(shí)，基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)產(chǎn)生運(yùn)動(dòng)對(duì)象的視頻概要。應(yīng)該理解，運(yùn)動(dòng)對(duì)象的視頻概要是在感興趣區(qū)402內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的簡短摘要。因此，如在圖7中所圖示的，可以同時(shí)顯示在三個(gè)不同的時(shí)段中由人員408形成的軌跡452、軌跡454和軌跡456。圖8圖示按照本公開的一個(gè)實(shí)施例的用于產(chǎn)生基于感興趣區(qū)的視頻概要的示例性方法的處理流程圖。在操作502中，響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，將感興趣區(qū)(ROI)設(shè)置為由相機(jī)設(shè)備跟蹤的區(qū)域，該相機(jī)設(shè)備可通信地耦合到用于產(chǎn)生基于感興趣區(qū)的視頻概要的裝置。感興趣區(qū)是該區(qū)域的一部分。在操作502中，當(dāng)運(yùn)動(dòng)對(duì)象在感興趣區(qū)內(nèi)是活動(dòng)的時(shí)，由相機(jī)設(shè)備轉(zhuǎn)發(fā)的視頻流被轉(zhuǎn)換為運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)。在操作506中，基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，產(chǎn)生在感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的視頻概要。在一個(gè)示例性實(shí)施中，在顯示視頻概要期間，當(dāng)該區(qū)域由百萬像素相機(jī)監(jiān)控或者處理時(shí)，感興趣區(qū)可以處于高分辯率，而該區(qū)域的剩余部分處于低分辯率。運(yùn)動(dòng)對(duì)象的視頻概要是在感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的簡短摘要。應(yīng)該理解，在圖8中公開的方法可以以實(shí)施一組指令的機(jī)器可讀介質(zhì)的形式實(shí)現(xiàn)，當(dāng)由機(jī)器執(zhí)行的時(shí)候，使得機(jī)器執(zhí)行在此公開的任何操作。圖9和10圖示按照本公開的一個(gè)實(shí)施例圖示用于基于兩個(gè)或兩個(gè)以上感興趣區(qū)產(chǎn)生視頻概要過程的示例性示圖。在圖9中，按照由視頻概要裝置(例如，裝置102)處理的感興趣區(qū)配置數(shù)據(jù)(例如，如在圖2-3中)，通過在區(qū)域116內(nèi)指定兩個(gè)多邊形(例如，兩個(gè)矩形)來設(shè)置感興趣區(qū)602和感興趣區(qū)604。在圖9中，通過處理來自跟蹤在感興趣區(qū)內(nèi)活動(dòng)的兩個(gè)運(yùn)動(dòng)對(duì)象的相機(jī)設(shè)備(例如，相機(jī)設(shè)備104)的視頻流來產(chǎn)生兩個(gè)運(yùn)動(dòng)對(duì)象(例如，人員606和人員608)的元數(shù)據(jù)。例如，當(dāng)人員606首次進(jìn)入感興趣區(qū)602時(shí)，產(chǎn)生元數(shù)據(jù)610A，并且啟動(dòng)人員606 (例如，通過圖1的裝置102和相機(jī)設(shè)備104)的跟蹤，從而，周期地、間斷地、或者基于其它的設(shè)置產(chǎn)生元數(shù)據(jù)。當(dāng)人員606離開感興趣區(qū)602時(shí)，產(chǎn)生元數(shù)據(jù)610E。當(dāng)人員606進(jìn)入感興趣區(qū)604時(shí)，產(chǎn)生元數(shù)據(jù)610H，并且當(dāng)人員606離開感興趣區(qū)604時(shí)，產(chǎn)生元數(shù)據(jù)610K。以類似的方式，產(chǎn)生元數(shù)據(jù)610N-610X。圖9還顯示另一個(gè)運(yùn)動(dòng)對(duì)象(例如,人員608)。當(dāng)人員608在感興趣區(qū)604內(nèi)活動(dòng)時(shí)，產(chǎn)生元數(shù)據(jù)612A-E。此外，當(dāng)人員608在感興趣區(qū)602內(nèi)是活動(dòng)的時(shí),產(chǎn)生元數(shù)據(jù)612H-N。運(yùn)動(dòng)對(duì)象(例如，人員606和人員608)的每個(gè)元數(shù)據(jù)(例如,元數(shù)據(jù)610A-E、元數(shù)據(jù)610H-K、元數(shù)據(jù)610N-X、元數(shù)據(jù)612A-E和元數(shù)據(jù)612H-N)包括時(shí)間數(shù)據(jù)(例如，記錄時(shí)間)和運(yùn)動(dòng)對(duì)象的位置數(shù)據(jù)(例如，X、y和Z坐標(biāo)、高度和經(jīng)度等)。然后，基于時(shí)間數(shù)據(jù)和位置數(shù)據(jù)形成每個(gè)運(yùn)動(dòng)對(duì)象的軌跡。例如，在感興趣區(qū)(例如，602和604)內(nèi)活動(dòng)的人員606的軌跡可以基于對(duì)應(yīng)于元數(shù)據(jù)610A-E、元數(shù)據(jù)610H-K和元數(shù)據(jù)610N-X的時(shí)間數(shù)據(jù)和位置數(shù)據(jù)來形成。同樣地，在感興趣區(qū)114內(nèi)移動(dòng)的人員608的軌跡可以基于對(duì)應(yīng)于元數(shù)據(jù)612A-E和元數(shù)據(jù)612H-N的時(shí)間數(shù)據(jù)和位置數(shù)據(jù)來形成。在圖10中，當(dāng)運(yùn)動(dòng)對(duì)象在感興趣區(qū)內(nèi)是活動(dòng)的時(shí)，基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)產(chǎn)生運(yùn)動(dòng)對(duì)象的視頻概要。因此，如在圖10中所圖示的，雖然兩個(gè)運(yùn)動(dòng)對(duì)象的軌跡在不同的時(shí)段中形成，但人員606的軌跡(例如，軌跡652、軌跡654和656)和人員608的軌跡(例如，軌跡658和軌跡660)可以同時(shí)地或者按照每個(gè)感興趣區(qū)顯示。雖然圖9和10圖示基于兩個(gè)感興趣區(qū)的視頻概要的方法，應(yīng)該理解，三個(gè)或三個(gè)以上的感興趣區(qū)可以被配置為產(chǎn)生視頻概要。圖11圖示按照本公開一個(gè)實(shí)施例的用于產(chǎn)生一個(gè)或多個(gè)基于感興趣區(qū)的視頻概要的示例性方法的處理流程圖。在操作702中，使用可通信地耦合到用于產(chǎn)生一個(gè)或多個(gè)基于感興趣區(qū)的視頻概要的裝置的相機(jī)設(shè)備來跟蹤在區(qū)域中活動(dòng)的運(yùn)動(dòng)對(duì)象一持續(xù)時(shí)間。在一個(gè)實(shí)施例中，相機(jī)設(shè)備被配置為產(chǎn)生與運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的視頻流。在操作704中，由相機(jī)設(shè)備在該持續(xù)時(shí)間轉(zhuǎn)發(fā)的視頻流被轉(zhuǎn)換為運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，并且該元數(shù)據(jù)被存儲(chǔ)在與該裝置相關(guān)聯(lián)的存儲(chǔ)器中。在操作706中，響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，設(shè)置用于該區(qū)域的一個(gè)或多個(gè)感興趣區(qū)，這里感興趣區(qū)的每個(gè)是該區(qū)域的一部分。在操作708中，基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，產(chǎn)生在感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的視頻概要。在一個(gè)示例性實(shí)施例中，在顯示視頻概要期間，當(dāng)該區(qū)由百萬像素相機(jī)監(jiān)控或者處理時(shí)，感興趣區(qū)可以處于高分辯率，而該區(qū)域的剩余部分處于低分辯率。應(yīng)該理解，在圖11中公開的方法可以以實(shí)現(xiàn)一組指令的機(jī)器可讀介質(zhì)的形式實(shí)現(xiàn)，當(dāng)由機(jī)器執(zhí)行時(shí)，使得機(jī)器執(zhí)行在此處公開的任何操作。所公開的實(shí)施例的先前描述被提供以允許任何本領(lǐng)域技術(shù)人員執(zhí)行或者使用本公開。對(duì)這些實(shí)施例的各種改進(jìn)對(duì)于那些本領(lǐng)域技術(shù)人員來說將顯而易見，并且在不脫離本公開的精神或者范圍的情況下在此處定義的通用原理可以適用于其它的實(shí)施例。因此，本公開不意欲限于在此處示出的實(shí)施例，而是依照符合在此處公開的原理和特點(diǎn)的最寬范圍。
權(quán)利要求
1.一種用于產(chǎn)生基于感興趣區(qū)的視頻概要的裝置的方法，該方法包括 響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，對(duì)于可通信地耦合到所述裝置的相機(jī)設(shè)備所跟蹤的區(qū)域設(shè)置感興趣區(qū)(ROI)，其中所述感興趣區(qū)是所述區(qū)域的一部分； 將運(yùn)動(dòng)對(duì)象在所述感興趣區(qū)內(nèi)是活動(dòng)的時(shí)由所述相機(jī)設(shè)備轉(zhuǎn)發(fā)的視頻流轉(zhuǎn)換為所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)；和 基于所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，當(dāng)所述運(yùn)動(dòng)對(duì)象在感興趣區(qū)內(nèi)是活動(dòng)的時(shí)，產(chǎn)生所述運(yùn)動(dòng)對(duì)象的視頻概要，其中所述運(yùn)動(dòng)對(duì)象的視頻概要是在所述感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的簡短摘要。
2.根據(jù)權(quán)利要求1所述的方法，其中，產(chǎn)生視頻概要包括在可通信地耦合到服務(wù)器的顯示設(shè)備上顯示所述視頻概要。
3.根據(jù)權(quán)利要求1所述的方法，其中，設(shè)置感興趣區(qū)包括響應(yīng)于用于形成所述的感興趣區(qū)的感興趣區(qū)配置數(shù)據(jù)的接收，將所述區(qū)域內(nèi)的多邊形指定為感興趣區(qū)。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述多邊形包括矩形。
5.根據(jù)權(quán)利要求1所述的方法，其中設(shè)置感興趣區(qū)包括響應(yīng)于用于形成所述的感興趣區(qū)的感興趣區(qū)配置數(shù)據(jù)的接收，指定由在所述區(qū)域上繪制的線所形成的所述區(qū)域的兩個(gè)區(qū)之一 O
6.根據(jù)權(quán)利要求1所述的方法，其中，所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)包括所述運(yùn)動(dòng)對(duì)象的時(shí)間數(shù)據(jù)和所述運(yùn)動(dòng)對(duì)象的位置數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的方法，進(jìn)一步包括 基于所述時(shí)間數(shù)據(jù)和所述位置數(shù)據(jù)形成所述運(yùn)動(dòng)對(duì)象的軌跡。
8.根據(jù)權(quán)利要求1的方法，其中，設(shè)置感興趣區(qū)進(jìn)一步包括屏蔽排除所述感興趣區(qū)之外的所述區(qū)域的剩余部分。
9.一種用于產(chǎn)生基于感興趣區(qū)的視頻概要的裝置的方法，該方法包括 使用可通信地耦合到所述裝置的相機(jī)設(shè)備來跟蹤區(qū)域中的運(yùn)動(dòng)對(duì)象一持續(xù)時(shí)間，其中所述相機(jī)設(shè)備被配置為產(chǎn)生與所述運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的視頻流； 將在所述持續(xù)時(shí)間期間由所述相機(jī)設(shè)備轉(zhuǎn)發(fā)的視頻流轉(zhuǎn)換為所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，其中所述元數(shù)據(jù)被存儲(chǔ)在與所述裝置相關(guān)聯(lián)的存儲(chǔ)器中； 響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，對(duì)于所述區(qū)域設(shè)置至少一個(gè)感興趣區(qū)，其中所述至少一個(gè)感興趣區(qū)中的每一個(gè)是所述區(qū)域的一部分；以及 基于所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)，當(dāng)所述運(yùn)動(dòng)對(duì)象在所述至少一個(gè)感興趣區(qū)內(nèi)是活動(dòng)的時(shí)，產(chǎn)生所述運(yùn)動(dòng)對(duì)象的視頻概要，其中所述運(yùn)動(dòng)對(duì)象的視頻概要是在所述至少一個(gè)感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的簡短摘要。
10.根據(jù)權(quán)利要求9的方法，其中，產(chǎn)生視頻概要包括在與所述服務(wù)器可通信地耦合的顯示設(shè)備上顯示所述視頻概要。
11.根據(jù)權(quán)利要求9的方法，其中，設(shè)置至少一個(gè)感興趣區(qū)包括響應(yīng)于用于形成所述的至少一個(gè)感興趣區(qū)的感興趣區(qū)配置數(shù)據(jù)的接收，將所述區(qū)域內(nèi)的多邊形指定為所述至少一個(gè)感興趣區(qū)中的每一個(gè)。
12.根據(jù)權(quán)利要求9的方法，其中，所述多邊形包括矩形。
13.根據(jù)權(quán)利要求9的方法，其中，所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)包括所述運(yùn)動(dòng)對(duì)象的時(shí)間數(shù)據(jù)。
14.根據(jù)權(quán)利要求13的方法，其中，所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)進(jìn)一步包括所述運(yùn)動(dòng)對(duì)象的位置數(shù)據(jù)。
15.根據(jù)權(quán)利要求14的方法，進(jìn)一步包括基于所述時(shí)間數(shù)據(jù)和所述位置數(shù)據(jù)形成所述運(yùn)動(dòng)對(duì)象的軌跡。
16.根據(jù)權(quán)利要求9的方法，其中，所述至少一個(gè)感興趣區(qū)包括單個(gè)感興趣區(qū)。
17.根據(jù)權(quán)利要求9的方法，其中，所述至少一個(gè)感興趣區(qū)包括至少兩個(gè)感興趣區(qū)。
18.一種用于產(chǎn)生基于感興趣區(qū)的視頻概要的裝置，所述裝置包括 存儲(chǔ)器；和 處理器，所述處理器耦合到所述存儲(chǔ)器，并且被配置為 響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，對(duì)于被監(jiān)控的區(qū)域設(shè)置感興趣區(qū)(ROI)，其中所述感興趣區(qū)是所述區(qū)域的一部分； 對(duì)與在所述感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的視頻流進(jìn)行接收并且轉(zhuǎn)換為所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)；以及 基于所述運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)產(chǎn)生在所述感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的視頻概要，其中所述運(yùn)動(dòng)對(duì)象的視頻概要是在所述感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的簡短摘要。
19.根據(jù)權(quán)利要求18的裝置，其中，與所述處理器可通信地耦合的相機(jī)設(shè)備轉(zhuǎn)發(fā)與所述運(yùn)動(dòng)對(duì)象相關(guān)聯(lián)的視頻流。
20.根據(jù)權(quán)利要求18的裝置，其中，在與所述處理器耦合的顯示模塊上顯示所述視頻概要。
全文摘要
本發(fā)明公開了基于感興趣區(qū)的視頻概要方法、設(shè)備和系統(tǒng)。本發(fā)明公開的一個(gè)實(shí)施例關(guān)于產(chǎn)生基于感興趣區(qū)的視頻概要的服務(wù)器的方法。該方法包括響應(yīng)于感興趣區(qū)配置數(shù)據(jù)的接收，對(duì)于可通信地耦合到該服務(wù)器的相機(jī)設(shè)備所跟蹤的區(qū)域設(shè)置感興趣區(qū)(ROI)。該方法還包括當(dāng)運(yùn)動(dòng)對(duì)象在感興趣區(qū)內(nèi)是活動(dòng)的時(shí)，將由相機(jī)設(shè)備轉(zhuǎn)發(fā)的視頻流轉(zhuǎn)換為運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)。該方法進(jìn)一步包括基于運(yùn)動(dòng)對(duì)象的元數(shù)據(jù)產(chǎn)生在感興趣區(qū)內(nèi)活動(dòng)的運(yùn)動(dòng)對(duì)象的視頻概要。
文檔編號(hào)G06T7/20GK103069457SQ201080068516
公開日2013年4月24日 申請(qǐng)日期2010年8月10日 優(yōu)先權(quán)日2010年8月10日
發(fā)明者樸永經(jīng), 安壽男, 張彥東, 金圣珍 申請(qǐng)人:Lg電子株式會(huì)社