視頻合成的方法和系統(tǒng)的制作方法
【專利摘要】一種展示視頻的方法包含接收來自視頻源的多個視頻數(shù)據(jù)；分析該多個視頻數(shù)據(jù)；識別多個視頻數(shù)據(jù)中與背景部分不同的前景對象的存在；將前景對象分類成前景對象類別；接收選擇前景對象類別的用戶輸入；以及從多個視頻數(shù)據(jù)中生成包含背景部分和只在所選前景對象類別中的前景對象的視頻幀。
【專利說明】視頻合成的方法和系統(tǒng)
[0001] 相關申請
[0002] 本申請是2011年12月29日提交的USSN 13/339, 758的繼續(xù)并要求其優(yōu)先權，在 此通過引用并入其全部教導。
[0003] 本申請還涉及兩者都是2010年12月30日提交的USSN 12/982, 601和 12/982, 602,在此通過引用并入其全部教導。
【背景技術】
[0004] 在監(jiān)控系統(tǒng)中，可能要求操作人員監(jiān)視示出系統(tǒng)中的多臺攝像機捕獲的不同場景 的大量顯示。該顯示也可能包含顯示來自系統(tǒng)中的不同攝像機的視頻的多個窗口。操作人 員在實現(xiàn)這種監(jiān)視功能時，可能由于監(jiān)視的大量不同場景和出現(xiàn)在各種場景中的大量活動 而分散注意力。于是，在行業(yè)中需要向用戶提供使用戶能夠更有效地把注意力放在用戶需 要監(jiān)視的視頻信息上的顯示的方法和系統(tǒng)。
[0005] 另外，監(jiān)控系統(tǒng)捕獲的大量視頻數(shù)據(jù)使取證視頻搜索的復雜性增加以及使對以容 易理解的和多信息的方式展示分析的結果、搜索或事件的方法的需要增加。
【發(fā)明內(nèi)容】
[0006] -種展示視頻的方法的例子包括接收來自視頻源的多個視頻數(shù)據(jù)；分析該多個視 頻數(shù)據(jù)；利用像對象地點大小、顏色等那樣的相關視頻內(nèi)容元數(shù)據(jù)識別多個視頻數(shù)據(jù)中與 背景部分不同的前景對象的存在；將前景對象分類成不同前景對象類別；接收選擇前景對 象類別的用戶輸入；以及從多個視頻數(shù)據(jù)中生成包含背景部分和只在所選前景對象類別中 的前景對象的視頻幀或靜止畫面。
[0007] 這樣方法的實現(xiàn)可以包括一種或多種如下特征。該方法進一步包括如下步驟：根 據(jù)第一更新速率處理與所選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)；根據(jù)第二更新速率 處理與背景部分相聯(lián)系的數(shù)據(jù)；動態(tài)地發(fā)送與所選前景對象類別中的前景對象相聯(lián)系的數(shù) 據(jù)；以及根據(jù)第二更新速率發(fā)送與背景部分相聯(lián)系的數(shù)據(jù)，其中第一更新速率大于第二更 新速率。該方法進一步包括如下步驟：接收對分類在所選前景對象類別中的第一前景對象 的故事板圖像（storyboard image)的用戶請求；分析生成的視頻巾貞以便獲取包含第一前 景對象的多個幀；以及生成包含背景部分的圖像和示出第一前景對象在一段時間上的運動 的第一前景對象的多個圖像。生成包含背景部分的圖像和示出第一前景對象在一段時間上 的運動的第一前景對象的多個圖像的步驟包括在第一前景對象的多個圖像之間沒有任何 重疊地生成包含背景部分的圖像和示出第一前景對象在一段時間上的運動的第一前景對 象的多個圖像。生成包含背景部分的圖像和示出第一前景對象在一段時間上的運動的第一 前景對象的多個圖像的步驟進一步包括生成示出第一前景對象的運動方向的線。生成示出 第一前景對象的運動方向的線的步驟包含生成示出第一前景對象的運動方向的線和第一 前景對象沿著該線的運動的時段的指示。從多個視頻數(shù)據(jù)中生成包含背景部分和只在所選 前景對象類別中的前景對象的視頻幀的步驟包括將所選前景對象類別中的前景對象拼接 到背景部分中的步驟。從多個視頻數(shù)據(jù)中生成包含背景部分和只在所選前景對象類別中的 前景對象的視頻幀的步驟包括將不同時間上的所選前景對象類別中的前景對象拼接到背 景部分中的步驟。將前景對象分類成前景對象類別的步驟包括如下步驟：利用透視變換校 準對象以確定物理尺寸；最初利用高斯概率模式或確定性模型，根據(jù)其物理尺寸和運動方 向分類對象；確定對象尺寸是否在一群人和一輛車的尺寸之間；如果對象尺寸在一群人和 一輛車的尺寸之間，則使運動斑點的垂直形狀輪廓變平滑；以及分析運動斑點的變平滑垂 直形狀輪廓，以便根據(jù)輪廓上峰的數(shù)量將對象識別成一群人或一輛車。
[0008] -種展示視頻的系統(tǒng)的例子包括適用于執(zhí)行如下步驟的處理器：接收來自視頻源 的多個視頻數(shù)據(jù)；分析該多個視頻數(shù)據(jù)；識別多個視頻數(shù)據(jù)中與背景部分不同的前景對象 的存在；將前景對象分類成前景對象類別；接收選擇前景對象類別的用戶輸入；以及從多 個視頻數(shù)據(jù)中生成包含背景部分和只在所選前景對象類別中的前景對象的視頻幀。
[0009] 這樣系統(tǒng)的實現(xiàn)可以包括一種或多種如下特征。該處理器進一步適用于：根據(jù)第 一更新速率處理與所選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)；根據(jù)第二更新速率處理 與背景部分相聯(lián)系的數(shù)據(jù)；動態(tài)地發(fā)送與所選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)； 以及根據(jù)第二更新速率發(fā)送與背景部分相聯(lián)系的數(shù)據(jù)，其中第一更新速率大于第二更新速 率。該處理器進一步適用于：接收對分類在所選前景對象類別中的第一前景對象的故事板 圖像的用戶請求；分析生成的視頻幀以便獲取包含第一前景對象的多個幀；以及生成包含 背景部分的圖像和示出第一前景對象在一段時間上的運動的第一前景對象的多個圖像。該 處理器進一步適用于在第一前景對象的多個圖像之間沒有任何重疊地生成包含背景部分 的圖像和示出第一前景對象在一段時間上的運動的第一前景對象的多個圖像。該處理器進 一步適用于生成包含背景部分的圖像、示出第一前景對象在一段時間上的運動的第一前景 對象的多個圖像、和示出第一前景對象的運動方向的線。該處理器進一步適用于生成示出 第一前景對象的運動方向的線和第一前景對象沿著該線的運動的時段的指示。該處理器適 用于將所選前景對象類別中的前景對象拼接到背景部分中。
[0010] 一種非短暫計算機可讀介質(zhì)的例子包括配置成使處理器執(zhí)行如下步驟的指令：接 收來自視頻源的多個視頻數(shù)據(jù)；分析該多個視頻數(shù)據(jù)；識別多個視頻數(shù)據(jù)中與背景部分不 同的前景對象的存在；將前景對象分類成前景對象類別；接收選擇前景對象類別的用戶輸 入；以及從多個視頻數(shù)據(jù)中生成包含背景部分和只在所選前景對象類別中的前景對象的視 頻幀。
[0011] 這樣非短暫計算機可讀介質(zhì)的實現(xiàn)可以包括一種或多種如下特征。該非短暫計算 機可讀介質(zhì)進一步包括配置成使處理器執(zhí)行如下步驟的指令：根據(jù)第一更新速率處理與所 選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)；根據(jù)第二更新速率處理與背景部分相聯(lián)系的 數(shù)據(jù)；動態(tài)地發(fā)送與所選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)；以及根據(jù)第二更新速 率發(fā)送與背景部分相聯(lián)系的數(shù)據(jù)，其中第一更新速率大于第二更新速率。該非短暫計算機 可讀介質(zhì)進一步包含配置成使處理器執(zhí)行如下步驟的指令：接收對分類在所選前景對象類 別中的第一前景對象的故事板圖像的用戶請求；分析生成的視頻幀以便獲取包含第一前景 對象的多個幀；以及生成包含背景部分的圖像和示出第一前景對象在一段時間上的運動的 第一前景對象的多個圖像。生成包含背景部分的圖像和示出第一前景對象在一段時間上的 運動的第一前景對象的多個圖像的指令包括配置成使處理器執(zhí)行如下步驟的指令：在第一 前景對象的多個圖像之間沒有任何重疊地生成包含背景部分的圖像和示出第一前景對象 在一段時間上的運動的第一前景對象的多個圖像。生成包含背景部分的圖像和示出第一前 景對象在一段時間上的運動的第一前景對象的多個圖像的指令進一步包括配置成使處理 器生成示出第一前景對象的運動方向的線的指令。配置成使處理器生成示出第一前景對象 的運動方向的線的指令包含使處理器生成示出第一前景對象的運動方向的線和第一前景 對象沿著該線的運動的時段的指示的指令。從多個視頻數(shù)據(jù)中生成包含背景部分和只在所 選前景對象類別中的前景對象的視頻幀的指令包括使處理器將所選前景對象類別中的前 景對象拼接到背景部分中的指令。
[0012] 通過審閱如下詳細描述、圖形和權利要求書將更充分地了解本文所述的過程和系 統(tǒng)，及其伴隨的優(yōu)點、應用和特征。
【專利附圖】
【附圖說明】
[0013] 圖1是包括發(fā)送器和接收器的高清晰度視頻傳輸系統(tǒng)的簡化圖；
[0014] 圖2是顯示在圖1中的發(fā)送器的組件的示范性框圖；
[0015] 圖3是顯示在圖1中的接收器的組件的示范性框圖；
[0016] 圖4是編碼視頻的示范性過程的方框流程圖；
[0017] 圖5是解碼視頻的示范性過程的方框流程圖；
[0018] 圖6是攝像機捕獲的視頻內(nèi)容中對象分類的示范性過程的流程圖；
[0019] 圖7是合成圖像以便顯示的過程的示范性實施例的流程圖；以及
[0020] 圖8是使用一個或多個所討論實施例創(chuàng)建的故事板圖像的示范性例示。
[0021] 在這些圖形中，具有類似相關特性和/或特征的組件可以具有相同標號。
【具體實施方式】
[0022] 本文討論提供高效地和有效地分析和展示視頻內(nèi)容的機制的技術。尤其，如與多 個視頻幀所表示的場景的背景不同地識別前景對象。在識別前景對象時，區(qū)分語義明顯的 和語義不明顯的運動（例如，非重復與重復運動）。例如，可以將樹葉微小的和重復的擺動 確定為語義不明顯的，應歸入場景的背景中?？梢砸詭俾侍幚硪曨l，但可以動態(tài)地發(fā)送對 象。在我們的實現(xiàn)中，將根據(jù)時間和空間準則更新對象。如果對象運動了預定距離，則需要 更新，否則，如果停留了一段時間，則以預定速率（第一更新速率）再次更新。因此，第一更 新速率將是30個幀每秒。它可以是1個幀每秒或更慢。
[0023] 本文所述的技術可以用于在各種通信系統(tǒng)上傳送視頻和相關元數(shù)據(jù)。例如，可 以在像如下那樣的各種有線和無線通信系統(tǒng)上發(fā)送高清晰度視頻和相關元數(shù)據(jù)：基于以 太網(wǎng)、基于同軸、基于電力線、基于WiFi (802. 11系列標準）、碼分多址（CDMA)、時分多址 (TDMA)、頻分多址（FDMA)、正交 FDMA(OFDMA)、單載波 FDMA(SC-FDMA)系統(tǒng)等。
[0024] 如本文所使用，包括在權利要求書中，如用在以"的至少一個"結尾的項目的列表 中"或"指示選言列表以便，例如，"A、B或C的至少一個"的列表指的是A或B或C或AB或 AC或BC或ABC (即，A和B和C)。無線通信網(wǎng)絡不包含無線發(fā)送的所有通信物，而是被配 置成包含無線發(fā)送的至少一些通信物。
[0025] 參照圖1，所示的是包括發(fā)送器和接收器的視頻傳輸系統(tǒng)的簡化圖。傳輸系統(tǒng)100 包括發(fā)送器102、網(wǎng)絡104和接收器106。發(fā)送器102優(yōu)選的是編碼、分析和發(fā)送，例如，高 清晰度視頻和視頻內(nèi)容元數(shù)據(jù)的設備。例如，發(fā)送器102可以是視頻捕獲設備（例如，包括 攝像機的計算設備、智能攝像機、視頻采集卡、和相同類型的其它設備）、與一個或多個視頻 捕獲設備（例如，外部攝像機）和/或視頻編碼設備連接的計算設備（例如，臺式計算機、 膝上型電腦、平板設備、計算機服務器、視頻轉(zhuǎn)碼器、和相同類型的其它設備）、視頻捕獲設 備的模塊、計算設備的模塊等。例如，發(fā)送器102可以是嵌在攝像機內(nèi)的模塊或視頻轉(zhuǎn)碼器 的模塊。如本文所使用，視頻包括整個運動視頻和每隔一段時間拍攝的靜止照片。接收器 106優(yōu)選的是接收和解碼，例如，高清晰度視頻和元數(shù)據(jù)的設備。接收器106可以是，例如， 臺式計算機、膝上型電腦、平板設備、計算機服務器、移動設備、移動電話、監(jiān)視系統(tǒng)等。
[0026] 網(wǎng)絡104優(yōu)選的是有助于兩個或更多個設備之間的通信的任何適當網(wǎng)絡。例如， 網(wǎng)絡104可以是閉環(huán)通信系統(tǒng)、局域網(wǎng)（像內(nèi)聯(lián)網(wǎng)那樣）、廣域網(wǎng)LAN(像互聯(lián)網(wǎng)那樣）等。 發(fā)送器102被配置成通過網(wǎng)絡104將編碼圖像和像元數(shù)據(jù)那樣的其它數(shù)據(jù)發(fā)送給接收器 106。例如，發(fā)送器102可以向接收器106提供可以解碼成視頻流（例如，高清晰度視頻） 以便向用戶展示的一系列編碼圖像。為了支持圖像的編碼和解碼，發(fā)送器102可以進一步 將事件信息（例如，在視頻流中出現(xiàn)了新對象的指示等）提供給接收器106。
[0027] 參照圖2,發(fā)送器102包括成像設備202、處理器204、存儲器206、通信子系統(tǒng) 208、和輸入/輸出（I/O)子系統(tǒng)210。處理器204優(yōu)選的是智能硬件設備，例如，像INTEL 公司（INTEL? )、AMD公司（AMD? )、ARM公司（ARM?)制造的那些那樣的中央處理單 元（CPU)、微控制器、專用集成電路（ASIC)、數(shù)字信號處理器（DSP)(例如，德州儀器公司的 DAVINCI?系列的DSP)、和相同類型的其它設備。存儲器206包括物理和/或有形存儲介 質(zhì)。這樣的介質(zhì)可以采取許多形式，包括，但不限于，非易失性介質(zhì)和易失性介質(zhì)。非易失 性介質(zhì)包括，例如，像只讀存儲器（ROM)那樣的光和/或磁盤。例示性地，非易失性介質(zhì)可 以是硬盤驅(qū)動器、閃存驅(qū)動器等。易失性介質(zhì)非限制性地包括各種類型的隨機訪問存儲器 (RAM)。例示性地，易失性介質(zhì)可以是動態(tài)隨機訪問存儲器（DRAM)、靜態(tài)隨機訪問存儲器 (SRAM)等。存儲器206存儲計算機可讀、計算機可執(zhí)行軟件代碼，其中包含配置成當被執(zhí) 行時，使處理器204實現(xiàn)本文所述的各種功能的指令。這些功能實現(xiàn)視頻傳輸系統(tǒng)。在一 些實現(xiàn)中，存儲器206可以存儲對象和背景圖像。例如，存儲器206可以存儲在從成像設備 202接收的多個幀中檢測的前景對象的圖像。存儲器206可以進一步存儲包括與每個所檢 測前景對象相對應的標識符、對象圖像、出處、和/或其它屬性的對象列表。
[0028] 成像設備202優(yōu)選的是捕獲原始視頻數(shù)據(jù)的硬件和/或軟件的任何適當組合體， 例如，基于電荷耦合器件（CCD)、互補金屬氧化物半導體（CMOS)圖像傳感器技術、和/或熱 成像傳感器等的設備。發(fā)送器102可以包括任何數(shù)量的成像設備（包括零個）。
[0029] 發(fā)送器102另外或可替代地可以從直接與通信子系統(tǒng)208的一個或多個端口和/ 或I/O子系統(tǒng)210的一個或多個端口連接的外部視頻捕獲設備和/或視頻編碼設備（例如， 外部攝像機、生成編碼視頻的計算設備等）接收原始或編碼視頻數(shù)據(jù)。
[0030] 通信子系統(tǒng)208優(yōu)選的是與其它設備（例如，顯示在圖3中的接收器106、其它攝 像機、和相同類型的其它設備）通信的硬件和/或軟件的任何適當組合體。通信子系統(tǒng)208 可以配置成與，例如，閉環(huán)通信系統(tǒng)、局域網(wǎng)（例如，內(nèi)聯(lián)網(wǎng)）、廣域網(wǎng)LAN(例如，互聯(lián)網(wǎng)）、 和相同類型的其它設備連接。I/O子系統(tǒng)210優(yōu)選的是管理與輸入/輸出設備的通信和/ 或輸入/輸出設備的操作的硬件和/或軟件的任何適當組合體。
[0031] 發(fā)送器102接收的視頻數(shù)據(jù)可以被處理器204編碼或壓縮成數(shù)字格式。例如，發(fā) 送器102可以按照一種或多種更新速率對數(shù)據(jù)進行分析、識別數(shù)據(jù)中的前景對象和背景部 分、編碼數(shù)據(jù)并發(fā)送數(shù)據(jù)。編碼視頻數(shù)據(jù)可以經(jīng)由網(wǎng)絡104流動到或發(fā)送給接收器106。
[0032] 參照圖3,接收器106包括顯示器302、處理器304、存儲器306、通信子系統(tǒng)308、 和I/O子系統(tǒng)310。處理器304優(yōu)選的是智能硬件設備，例如，像INTEL公司（INTEL? )、 AMD公司（AMD?)、ARM公司（ARM?)制造的那些那樣的中央處理單元（CPU)、微控制器、 專用集成電路（ASIC)、數(shù)字信號處理器（DSP)、和相同類型的其它設備。存儲器306包括物 理和/或有形存儲介質(zhì)。這樣的介質(zhì)可以采取許多形式，包括，但不限于，非易失性介質(zhì)和 易失性介質(zhì)。非易失性介質(zhì)包括，例如，像只讀存儲器（ROM)那樣的光和/或磁盤。例示性 地，非易失性介質(zhì)可以是硬盤驅(qū)動器、閃存驅(qū)動器等。易失性介質(zhì)非限制性地包括各種類型 的隨機訪問存儲器（RAM)。例示性地，易失性介質(zhì)可以是動態(tài)隨機訪問存儲器（DRAM)、靜態(tài) 隨機訪問存儲器（SRAM)等。存儲器306存儲計算機可讀、計算機可執(zhí)行軟件代碼，其中包 含配置成當被執(zhí)行時，使處理器304實現(xiàn)本文所述的各種功能的指令。這些功能實現(xiàn)視頻 傳輸系統(tǒng)。在一些實現(xiàn)中，存儲器306可以存儲前景對象和背景圖像。例如，存儲器306可 以存儲前景對象的圖像。存儲器306可以進一步存儲包括與每個所檢測前景對象相對應的 標識符、對象圖像、出處、和/或其它屬性的對象列表。
[0033] 通信子系統(tǒng)308優(yōu)選的是與其它設備（例如，顯示在圖3中的發(fā)送器）通信的硬件 和/或軟件的任何適當組合體。通信子系統(tǒng)308可以配置成與，例如，閉環(huán)通信系統(tǒng)、局域 網(wǎng)、廣域網(wǎng)LAN(例如，互聯(lián)網(wǎng)）、和相同類型的其它設備連接。顯示器302優(yōu)選的是像陰極射 線管（CRT)監(jiān)視器、液晶顯示（LCD)監(jiān)視器、基于等離子的監(jiān)視器、投影儀、和相同類型的其 它設備那樣、向用戶顯示圖像的任何適當設備。I/O子系統(tǒng)310優(yōu)選的是管理與像鍵盤、鼠 標、觸摸板、掃描儀、打印機、攝像機、和相同類型的其它設備那樣的輸入/輸出設備的通信 和/或這樣輸入/輸出設備的操作的硬件和/或軟件的任何適當組合體。像鍵盤、鼠標、和 觸摸板那樣的設備可以被用戶用于向處理器304提供用戶輸入，以便如下面所詳細討論， 提供有關要拼接到背景圖像中加以顯示或供用戶使用的前景圖像的用戶選擇選項。
[0034] 雖然本文所述的各種配置針對視頻的展示，但應當認識到，可以作出修改以覆蓋 其它背景。例如，可以作出修改以便在窄帶寬連線上實現(xiàn)RADAR、LIDAR和基于其它對象的 檢測監(jiān)視。
[0035] 參照圖4,以及進一步參考圖1和2,編碼視頻的過程400包括所示的方框。但是， 過程400只是示范性的，而不是限制性的。過程400可以，例如，通過添加、除去、重新排列 和/或同時執(zhí)行一些方框加以變更。例如，可以同時執(zhí)行處理前景對象和背景的方框406 和408。還可以對如所示和所述的過程400作出其它變更。
[0036] 過程400可以通過接收來自像成像設備那樣的視頻源的視頻幀從方框402開始。 在方框404中，過程400應用排除靜態(tài)背景圖像和存在語義不明顯運動（例如，紅旗隨風飄 揚）的圖像的高斯混合模型。根據(jù)高斯模型的應用，可以在接收的幀中將前景對象（也就 是說，感興趣的對象）識別成與幀的背景不同。在方框406中，根據(jù)第一更新速率處理前景 對象。還將附加信息作為視頻內(nèi)容元數(shù)據(jù)來發(fā)送。例如，可以發(fā)送像給定幀中的對象的外 娜I輿半忒彳云油抓垤的甜角車杜_亦古協(xié)4狀由.榀抿笛一 W瓿埔袞々卜擁作士呰獸的一部 識別的幀的一些部分。例如，更新速率可以規(guī)定每十五分鐘一次地更新背景。其結果是，每 十五分鐘一次地生成和發(fā)送編碼背景圖像。對象和背景的編碼是可選的。如果不將背景和 對象嵌在元數(shù)據(jù)中，則需要在服務器上解碼視頻內(nèi)容，以便在展示時重新創(chuàng)建背景圖像和 提取對象。
[0037] 參照圖5,以及進一步參考圖1和3,解碼視頻的過程500包括所示的方框。但是， 過程500只是示范性的，而不是限制性的。過程500可以，例如，通過添加、除去、重新排列 和/或同時執(zhí)行一些方框加以變更。
[0038] 過程500可以通過接收數(shù)據(jù)從方框502開始。該數(shù)據(jù)可以包括編碼圖像和/或事 件信息。在方框504中，過程500可以確定接收數(shù)據(jù)的數(shù)據(jù)類型。該數(shù)據(jù)類型可以包括事 件、背景、運動對象、和靜止對象類型。在方框506中，根據(jù)識別的對象類型處理接收的數(shù) 據(jù)。例如，如果數(shù)據(jù)是事件類型的，則可以將對象添加到用于跟蹤視頻流的幀內(nèi)的對象的對 象列表中或從其中除去對象。作為另一個例子，如果數(shù)據(jù)是背景類型的，則可以解碼數(shù)據(jù)并 將其拼接到前景對象中，以便生成可以向用戶展示的視頻幀。作為又一個例子，如果數(shù)據(jù)是 對象類型的，則可以解碼數(shù)據(jù)并與其它圖像（例如，其它對象圖像、背景圖像、和相似類型 的其它圖像）拼接，以便生成可以向用戶展示的視頻幀。
[0039] 作為過程400和500的結果，可以經(jīng)由像計算機工作站那樣的接收器向用戶展示 包括多個視頻幀以及相關視頻內(nèi)容元數(shù)據(jù)的視頻流。
[0040] 圖6是攝像機捕獲的視頻內(nèi)容中對象分類的示范性過程1400的流程圖。在方框 1401中，通過像圖1中的發(fā)送器那樣的攝像機捕獲視頻內(nèi)容的幀。在方框1402中通過，例 如，圖2中的處理器204或圖3中的處理器304處理捕獲的圖像幀，以便模擬攝像機視場的 背景。如前所討論，可以創(chuàng)建背景的模型以便識別攝像機視場中的哪些項目屬于背景以及 哪些在前景中。無需通過視頻分析算法跟蹤或分類背景中像樹木、石頭、標牌、家具、和其它 這樣的背景項目那樣的項目?？梢詫⑾窕旌细咚鼓Ｐ汀⒁苿悠骄?、和非參數(shù)手段那樣的各種 技術用于開發(fā)背景的模型。也可以將其它技術用于創(chuàng)建背景的模型。一旦開發(fā)出背景的模 型，接著就可以通過處理器204從攝像機（例如，發(fā)送器102)捕獲的視頻內(nèi)容中提取前景 像素，以及接著可以在方框1403中通過處理器204將前景像素分組在一起以便形成運動 塊。然后可以在方框1404中通過處理器204在視頻內(nèi)容的相繼幀上跟蹤對象，以及處理器 204可以在方框1405中提取每個被跟蹤對象的對象特征。然后在方框1406中，處理器204 可以使用提取的對象特征分類對象。
[0041] 可以按照對象的縱橫比、物理尺寸和形狀的垂直輪廓從一輛車或一群人中分類出 單個人來。攝像機的視場利用透視變換方法來校準。借助于透視變換，可以根據(jù)對象的底 部在地面上的假設獲取對象在不同地點上的物理尺寸。根據(jù)校準的對象尺寸，可以細化分 類結果。如果對象的寬度在0.5米到1.2米之間以及高寬比1.5到4之間，則可以將該對 象分類成一個人。如果對象的寬度超過3米以及它的高寬縱橫比在0. 1到0. 7之間，并且 它的運動方向向左或向右，則可以將它分類成車。如果對象的寬度超過1. 5米以及它的高 寬縱橫比超過2,并且它的運動方向向上或向下，則可以將它分類成車。上面提出的方法可 以利用高斯模型來更新。給定每個類別的變量的均值和標準偏差，可以估計該類別的概率。 例如，對于人員檢測，設μ pw = 〇. 8是人的平均寬度和〇 pw = 0. 3是人的寬度的平均偏差， 以及μ p。= 2. 7是商寬縱橫比的平均值和〇 PR = 1. 2是人的商寬縱橫比的平均偏差，則：
[0042]
【權利要求】
1. 一種展示視頻的方法，包含：接收來自視頻源的多個視頻數(shù)據(jù)；分析該多個視頻數(shù) 據(jù)；識別多個視頻數(shù)據(jù)中與背景部分不同的前景對象的存在；將前景對象分類成前景對象 類別；接收選擇前景對象類別的用戶輸入；以及從多個視頻數(shù)據(jù)中生成包含背景部分和只 在所選前景對象類別中的前景對象的視頻幀。
2. 如權利要求1所述的方法，進一步包含：根據(jù)第一更新速率處理與所選前景對象類 別中的前景對象相聯(lián)系的數(shù)據(jù)；根據(jù)第二更新速率處理與背景部分相聯(lián)系的數(shù)據(jù)；動態(tài)地 發(fā)送與所選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)；以及根據(jù)第二更新速率發(fā)送與背景 部分相聯(lián)系的數(shù)據(jù)，其中第一更新速率大于第二更新速率。
3. 如權利要求1所述的方法，進一步包含：接收對分類在所選前景對象類別中的第一 前景對象的故事板圖像的用戶請求；分析生成的視頻幀以便獲取包含第一前景對象的多個 幀；以及生成包含背景部分的圖像和示出第一前景對象在一段時間上的運動的第一前景對 象的多個圖像。
4. 如權利要求3所述的方法，其中生成包含背景部分的圖像和示出第一前景對象在一 段時間上的運動的第一前景對象的多個圖像的步驟包含：在第一前景對象的多個圖像之間 沒有任何重疊地生成包含背景部分的圖像和示出第一前景對象在一段時間上的運動的第 一前景對象的多個圖像。
5. 如權利要求3所述的方法，其中生成包含背景部分的圖像和示出第一前景對象在一 段時間上的運動的第一前景對象的多個圖像的步驟進一步包含：生成示出第一前景對象的 運動方向的線。
6. 如權利要求5所述的方法，其中生成示出第一前景對象的運動方向的線的步驟包含 生成示出第一前景對象的運動方向的線和第一前景對象沿著該線的運動的時段的指示。
7. 如權利要求1所述的方法，其中從多個視頻數(shù)據(jù)中生成包含背景部分和只在所選前 景對象類別中的前景對象的視頻幀的步驟包含：將所選前景對象類別中的前景對象拼接到 背景部分上的步驟。
8. -種展示視頻的系統(tǒng)，包含：適用于執(zhí)行如下步驟的處理器：接收來自視頻源的多 個視頻數(shù)據(jù)；分析該多個視頻數(shù)據(jù)；識別多個視頻數(shù)據(jù)中與背景部分不同的前景對象的存 在；將前景對象分類成前景對象類別；接收選擇前景對象類別的用戶輸入；以及從多個視 頻數(shù)據(jù)中生成包含背景部分和只在所選前景對象類別中的前景對象的視頻幀。
9. 如權利要求8所述的系統(tǒng)，其中該處理器進一步適用于：根據(jù)第一更新速率處理與 所選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)；根據(jù)第二更新速率處理與背景部分相聯(lián)系 的數(shù)據(jù)；動態(tài)地發(fā)送與所選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)；以及根據(jù)第二更新 速率發(fā)送與背景部分相聯(lián)系的數(shù)據(jù)，其中第一更新速率大于第二更新速率。
10. 如權利要求8所述的系統(tǒng)，其中該處理器進一步適用于：接收對分類在所選前景對 象類別中的第一前景對象的故事板圖像的用戶請求；分析生成的視頻幀以便獲取包含第一 前景對象的多個幀；以及生成包含背景部分的圖像和示出第一前景對象在一段時間上的運 動的第一前景對象的多個圖像。
11. 如權利要求10所述的系統(tǒng)，其中該處理器進一步適用于生成包含背景部分的圖像 和示出第一前景對象在一段時間上的運動的第一前景對象的多個圖像。
12. 如權利要求10所述的系統(tǒng)，其中該處理器進一步適用于生成包含背景部分的圖 像、示出第一前景對象在一段時間上的運動的第一前景對象的多個圖像、和示出第一前景 對象的運動方向的線。
13. 如權利要求12所述的系統(tǒng)，其中該處理器進一步適用于生成示出第一前景對象的 運動方向的線和第一前景對象沿著該線的運動的時段的指示。
14. 如權利要求8所述的系統(tǒng)，其中該處理器適用于將所選前景對象類別中的前景對 象拼接到背景部分上。
15. -種非短暫計算機可讀介質(zhì)，包含配置成使處理器執(zhí)行如下步驟的指令：接收來 自視頻源的多個視頻數(shù)據(jù)；分析該多個視頻數(shù)據(jù)；識別多個視頻數(shù)據(jù)中與背景部分不同的 前景對象的存在；將前景對象分類成前景對象類別；接收選擇前景對象類別的用戶輸入； 以及從多個視頻數(shù)據(jù)中生成包含背景部分和只在所選前景對象類別中的前景對象的視頻 幀。
16. 如權利要求15所述的非短暫計算機可讀介質(zhì)，進一步包含配置成使處理器執(zhí)行如 下步驟的指令：根據(jù)第一更新速率處理與所選前景對象類別中的前景對象相聯(lián)系的數(shù)據(jù)； 根據(jù)第二更新速率處理與背景部分相聯(lián)系的數(shù)據(jù)；動態(tài)地發(fā)送與所選前景對象類別中的前 景對象相聯(lián)系的數(shù)據(jù)；以及根據(jù)第二更新速率發(fā)送與背景部分相聯(lián)系的數(shù)據(jù)，其中第一更 新速率大于第二更新速率。
17. 如權利要求15所述的非短暫計算機可讀介質(zhì)，進一步包含配置成使處理器執(zhí)行如 下步驟的指令：接收對分類在所選前景對象類別中的第一前景對象的故事板圖像的用戶請 求；分析生成的視頻幀以便獲取包含第一前景對象的多個幀；以及生成包含背景部分的圖 像和示出第一前景對象在一段時間上的運動的第一前景對象的多個圖像。
18. 如權利要求17所述的非短暫計算機可讀介質(zhì)，其中生成包含背景部分的圖像和示 出第一前景對象在一段時間上的運動的第一前景對象的多個圖像的指令包含配置成使處 理器執(zhí)行如下步驟的指令：生成包含背景部分的圖像和示出第一前景對象在一段時間上的 運動的第一前景對象的多個圖像。
19. 如權利要求17所述的非短暫計算機可讀介質(zhì)，其中生成包含背景部分的圖像和示 出第一前景對象在一段時間上的運動的第一前景對象的多個圖像的指令進一步包含配置 成使處理器生成示出第一前景對象的運動方向的線的指令。
20. 如權利要求19所述的非短暫計算機可讀介質(zhì)，其中配置成使處理器生成示出第一 前景對象的運動方向的線的指令包含使處理器生成示出第一前景對象的運動方向的線和 第一前景對象沿著該線的運動的時段的指示的指令。
21. 如權利要求15所述的非短暫計算機可讀介質(zhì)，其中從多個視頻數(shù)據(jù)中生成包含背 景部分和只在所選前景對象類別中的前景對象的視頻幀的指令包含使處理器將所選前景 對象類別中的前景對象拼接到背景部分上的指令。
22. 如權利要求1所述的方法，其中將前景對象分類成前景對象類別的步驟包括如下 步驟：利用透視變換校準對象以確定物理尺寸；最初利用高斯概率模式或確定性模型，根 據(jù)其物理尺寸和運動方向分類對象；確定對象尺寸是否在一群人和一輛車的尺寸之間；如 果對象尺寸在一群人和一輛車的尺寸之間，則使運動斑點的垂直形狀輪廓變平滑；以及分 析運動斑點的變平滑垂直形狀輪廓，以便根據(jù)輪廓上峰的數(shù)量將對象識別成一群人或一輛 車。
【文檔編號】G08B13/196GK104160408SQ201280070986
【公開日】2014年11月19日 申請日期:2012年12月28日 優(yōu)先權日:2011年12月29日
【發(fā)明者】L.王, F.阿格達西, G.米勒 申請人:派爾高公司