一種管理和分析多媒體信息的系統(tǒng)和方法
【專(zhuān)利摘要】本發(fā)明提出了一種無(wú)人機(jī)數(shù)據(jù)處理和管理系統(tǒng)，其包括編碼廣播設(shè)備和數(shù)據(jù)管理器，該系統(tǒng)向終端用戶提供單獨(dú)的接口，用于從任何設(shè)備搜索和共享任何視頻或圖像資源，而不需要客戶端軟件。資源的數(shù)據(jù)輸入可包括無(wú)人機(jī)視頻、照片、交通攝像頭、固定監(jiān)視系統(tǒng)、iOS和安卓設(shè)備圖片，以及其它數(shù)據(jù)(如文本、電子郵件)，還包括來(lái)自所有形式的社交媒體比如Twitter、Instagram、Facebook等的輸入?；谠频墓芾砥饔袇f(xié)作和共享思想的功能，但同時(shí)還具有數(shù)據(jù)保密、安全性保護(hù)、監(jiān)管鏈控制和審計(jì)記錄維護(hù)。分析工具被相應(yīng)地集成為“插件”或可用的應(yīng)用程序資源庫(kù)，其很容易被刪除，添加，以及基于用戶需求、系統(tǒng)要求和成本限制進(jìn)行自定義。
【專(zhuān)利說(shuō)明】
_種管理和分析多媒體信息的系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及用于連接互聯(lián)網(wǎng)和移動(dòng)網(wǎng)絡(luò)的無(wú)人機(jī)集成硬件和軟件系統(tǒng)。本發(fā)明包括無(wú)人機(jī)編碼流裝置、軟件系統(tǒng)和接口，終端用戶可通過(guò)該接口搜索來(lái)自各種孤立來(lái)源的視頻和照片饋送的地理信息，從而進(jìn)行直接的數(shù)據(jù)訪問(wèn)并且很容易地建立對(duì)諸如規(guī)則應(yīng)用、時(shí)間軸構(gòu)建、監(jiān)管鏈和其它各種參數(shù)的分析。
【背景技術(shù)】
[0002]本發(fā)明來(lái)源于涉及了對(duì)用于電影制片廠的全運(yùn)動(dòng)視頻(FMV)和無(wú)人機(jī)(UAV)的資產(chǎn)管理項(xiàng)目。關(guān)于無(wú)人機(jī)的一些問(wèn)題，與指揮鏈、監(jiān)管鏈和審計(jì)數(shù)據(jù)等問(wèn)題有關(guān)。
[0003]源自無(wú)人機(jī)的動(dòng)態(tài)數(shù)據(jù)流通常需要進(jìn)行管理。目前對(duì)于來(lái)自無(wú)人機(jī)和其它類(lèi)型遠(yuǎn)程傳感器的商業(yè)視頻和圖像，缺乏面向消費(fèi)者的融合和管理系統(tǒng)。前述傳感器的范圍可從最復(fù)雜的無(wú)人機(jī)視頻流到使用蘋(píng)果或安卓手機(jī)拍攝并發(fā)布在互聯(lián)網(wǎng)上的照片。其它傳感器的例子包括艦載傳感器、閉路電視、水下航行器、儀表盤(pán)攝像頭、可穿戴相機(jī)、建筑物或者家庭安全傳感器以及Twitter、Instagram、Facebook和智能手機(jī)的傳感器數(shù)據(jù)等等。
[0004]對(duì)于集成系統(tǒng)而言更進(jìn)一步的需要是，使用低成本的硬件和軟件來(lái)實(shí)現(xiàn)此類(lèi)管理功能的方法。
[0005]對(duì)構(gòu)成本發(fā)明的硬件設(shè)備的設(shè)計(jì)目標(biāo)是接受各種類(lèi)型的視頻格式，包括HDM1、SD1、模擬、數(shù)字、分量或復(fù)合信號(hào)，以便生成可供在網(wǎng)站上觀看的標(biāo)準(zhǔn)h.264或WebM饋送的信息。此外，本發(fā)明的硬件能夠存檔具有密鑰長(zhǎng)度值(KLV)元數(shù)據(jù)的運(yùn)動(dòng)圖像標(biāo)準(zhǔn)配置文件(MISP)傳輸流。
[0006]此外，還需要提供一個(gè)有內(nèi)置GPS功能的系統(tǒng)，該系統(tǒng)具有附加的GPS定位元件，以使終端用戶可以通過(guò)其視頻文檔來(lái)搜索，并且例如，不僅可以看到傳感器在看何處，還可以看到平臺(tái)傳感器在何時(shí)何地被導(dǎo)航通過(guò)目標(biāo)位置，以及傳感器從何處過(guò)來(lái)。另外，還需要提供一個(gè)有靈活存檔功能的系統(tǒng)，該系統(tǒng)使用標(biāo)準(zhǔn)的存儲(chǔ)設(shè)備，比如SD存儲(chǔ)卡。
[0007]因此，本發(fā)明提供了一種能夠提供數(shù)小時(shí)的視頻和其它數(shù)據(jù)傳感器存儲(chǔ)能力的存檔。例如，在移動(dòng)4G或者LTE不可用的情況下，該系統(tǒng)將提供一個(gè)通過(guò)內(nèi)置的數(shù)據(jù)管理和分析工具將被存檔的數(shù)據(jù)上傳的一鍵上傳選項(xiàng)。該系統(tǒng)還包括內(nèi)置WiFi和以太網(wǎng)功能，用于加快本地共享和廣域網(wǎng)絡(luò)互聯(lián)。
[0008]本發(fā)明的硬件組件也可被加固，并且可以有蓄電能力以便于在遠(yuǎn)離電源時(shí)進(jìn)行遠(yuǎn)程操作。
[0009]此外，形成本發(fā)明一部分的軟件系統(tǒng)被設(shè)計(jì)成用于部分地解決圖1中強(qiáng)調(diào)的問(wèn)題。
[0010]圖1是一個(gè)犯罪現(xiàn)場(chǎng)的航拍圖，其中原來(lái)停在一棟建筑旁邊的拖車(chē)101被偷了。而警察不知道它是何時(shí)或如何被偷的。警察沒(méi)有任何數(shù)據(jù)的原因是，他們沒(méi)有得到相關(guān)的安全攝像頭信息。這些數(shù)據(jù)并未起到作用，相反陷入了如圖2所示的各種數(shù)據(jù)孤島中。
[0011 ]特別地，在圖2中，拖車(chē)目標(biāo)可視區(qū)域1I有至少十個(gè)潛在的攝像頭的饋送源401 -410，所有這些饋送源本應(yīng)在警方報(bào)告進(jìn)入系統(tǒng)時(shí)已經(jīng)被整合，并在警官的“手頭”上作為調(diào)查資源隨時(shí)可用于協(xié)助追捕拖車(chē)竊賊。
[0012]解鎖孤立信息資源的一種方法是給終端用戶提供一個(gè)集成接口，這與以方便的方式收集互聯(lián)網(wǎng)數(shù)據(jù)有很大的相同之處。這樣的結(jié)果是，輸入信息或者無(wú)人機(jī)視頻之類(lèi)的內(nèi)容能以用戶友好的方式被查看、分析和存儲(chǔ)。
[0013]本發(fā)明上述的以及其它的目標(biāo)、特征和優(yōu)勢(shì)，將在對(duì)后序的如附圖所示的示例性實(shí)施方式的具體描述中體現(xiàn)得更加明顯，其中相同的參考序號(hào)通常代表本發(fā)明中相同的部分或者相同的示例性實(shí)施方式。
【附圖說(shuō)明】
[0014]圖1是顯示被盜車(chē)輛位置的航拍圖；
[0015]圖2是顯示被盜車(chē)輛附近孤立的攝像機(jī)位置的航拍圖；
[0016]圖3是本發(fā)明原理的流程框圖；
[0017]圖4是編碼廣播設(shè)備330的電路圖；
[0018]圖5是連同管理器350—起使用的知情決策環(huán)(informed decis1n loop)的流程圖；
[0019]圖6是在本發(fā)明中使用的使用設(shè)置功能(usesetting funct1n)的相機(jī)區(qū)域的一個(gè)示例；
[0020]圖7是包括管理器350的單元的流程框圖；
[0021]圖8顯示了如與無(wú)人機(jī)系統(tǒng)(UAS)地面站320相關(guān)地部署的本發(fā)明提供的改進(jìn)；
[0022]圖9顯示了倫敦恐怖襲擊爆炸的地圖定位；
[0023]圖10是由執(zhí)行了管理器350功能的集成服務(wù)器產(chǎn)生的圖形用戶界面的互聯(lián)網(wǎng)頁(yè)面的屏幕截圖(以下簡(jiǎn)稱(chēng)“屏幕截圖”);
[0024]圖11是一個(gè)顯示來(lái)自事件墻(eventwall)的數(shù)據(jù)類(lèi)型的圖形用戶界面的屏幕截圖；
[0025]圖12是圖形用戶界面提醒設(shè)置功能的屏幕截圖；
[0026]圖13是管理器350的地圖成像特征的屏幕截圖；
[0027]圖14是另一個(gè)任務(wù)的消息發(fā)布的圖形用戶界面屏幕截圖；
[0028]圖15是一個(gè)顯示搜索結(jié)果的擴(kuò)展地圖的圖形用戶界面屏幕截圖；
[0029]圖16是一個(gè)通過(guò)用戶描述的、在圖15的地圖上的指定區(qū)域的圖形用戶界面屏幕截圖；
[0030]圖17是另一個(gè)街區(qū)地圖搜索的圖形用戶界面屏幕截圖；
[0031]圖18是一個(gè)目標(biāo)偵查請(qǐng)求(TOR)任務(wù)的圖形用戶界面屏幕截圖；
[0032]圖19是更加詳細(xì)地描繪了TOR特征的圖形用戶界面屏幕截圖；
[0033]圖20是描繪管理器350的視頻播放功能的圖形用戶界面屏幕截圖；
[0034]圖21是傳感器標(biāo)簽的詳細(xì)操作的圖形用戶界面屏幕截圖；
[0035]圖22是地圖標(biāo)簽功能的圖形用戶界面屏幕截圖；
[0036]圖23是顯示地圖標(biāo)簽功能進(jìn)一步操作的圖形用戶界面屏幕截圖；
[0037]圖24是提醒/聊天標(biāo)簽功能的圖形用戶界面屏幕截圖；
[0038]圖25是視頻播放器播放目錄標(biāo)簽功能的圖形用戶界面屏幕截圖；
[0039]圖26是管理器時(shí)間軸功能的圖形用戶界面屏幕截圖；
[0040]圖27是所構(gòu)建的時(shí)間軸圖像的圖形用戶界面屏幕截圖；
[0041]圖28是來(lái)自位于時(shí)間順序圖上的證據(jù)鎖定區(qū)的圖形用戶界面屏幕截圖；
[0042]圖29是以一次系列爆炸為例的時(shí)間軸功能的圖形用戶界面屏幕截圖；
[0043]圖30是更詳細(xì)的時(shí)間軸功能的圖形用戶界面屏幕截圖。
【具體實(shí)施方式】
[0044]圖3是本發(fā)明的系統(tǒng)300的單元的流程框圖。如圖所示，系統(tǒng)300接收各種輸入312，其中包括來(lái)自無(wú)人機(jī)310的輸入。傳感器數(shù)據(jù)312包括標(biāo)準(zhǔn)和/或非標(biāo)準(zhǔn)格式的遙感數(shù)據(jù)以及模擬或者數(shù)字的視頻。除了無(wú)人機(jī)，輸入312還可以包括社交媒體饋送、移動(dòng)設(shè)備數(shù)據(jù)、圖像或其它傳感器數(shù)據(jù)。無(wú)人機(jī)系統(tǒng)(UAS)地面站320接收無(wú)人機(jī)載荷312，并反過(guò)來(lái)把視頻和傳感器數(shù)據(jù)320輸出到具有存儲(chǔ)能力的視頻編碼廣播設(shè)備330。關(guān)于該編碼廣播設(shè)備330的設(shè)計(jì)和功能的更多細(xì)節(jié)如圖4所示。在工作時(shí)，編碼器/廣播設(shè)備以同步或異步的傳感器數(shù)據(jù)/遙感數(shù)據(jù)和視頻322的形式，接收來(lái)自無(wú)人機(jī)系統(tǒng)地面站320的視頻饋送322。然后單元330對(duì)模擬視頻信號(hào)進(jìn)行編碼，和/或?qū)?shù)字視頻信號(hào)轉(zhuǎn)碼為與運(yùn)動(dòng)圖像標(biāo)準(zhǔn)配置文件(MISP)兼容的數(shù)據(jù)流。與MISP兼容的數(shù)據(jù)流還通過(guò)編碼器被嵌入KLV元數(shù)據(jù)。
[0045]編碼廣播設(shè)備330執(zhí)行三個(gè)同時(shí)的操作。首先，其把經(jīng)過(guò)編碼的直播視頻根據(jù)分析通過(guò)WiFi或以太網(wǎng)連接338傳輸?shù)奖镜財(cái)?shù)據(jù)緩存340。本地緩存340可依用戶選擇，根據(jù)關(guān)聯(lián)分析342按順序存儲(chǔ)經(jīng)過(guò)編碼的直播數(shù)據(jù)。
[0046]第二步，本地緩存340向?yàn)g覽器346和/或一個(gè)或多個(gè)移動(dòng)設(shè)備348提供數(shù)據(jù)訪問(wèn)、分析或其它使用。編碼器/廣播設(shè)備330通過(guò)蜂窩數(shù)據(jù)鏈路332向云或其它設(shè)備350傳輸直播視頻。在優(yōu)選實(shí)施例中，蜂窩數(shù)據(jù)鏈路將被加密。
[0047]第三步，編碼器/廣播設(shè)備330通過(guò)鏈路325把更高質(zhì)量版本的視頻/數(shù)據(jù)饋送流入或?qū)懭雰?nèi)部存儲(chǔ)設(shè)備，目的是提高通過(guò)云存儲(chǔ)的上傳質(zhì)量，例如長(zhǎng)期存儲(chǔ)存檔352。存檔數(shù)據(jù)也可以向本地緩存342或原始內(nèi)容傳輸網(wǎng)絡(luò)(CDN)354和/或遠(yuǎn)程⑶N 360的內(nèi)存提供數(shù)據(jù)。
[0048]被編碼廣播的直播饋送332或存檔的編碼內(nèi)容334可供在原始⑶N354或者任何其它本地或遠(yuǎn)程⑶N 340或者360上的任何視頻處理應(yīng)用或工具使用。在優(yōu)選實(shí)施例中，視頻數(shù)據(jù)被提供給視頻和傳感器數(shù)據(jù)管理器350，其中傳感器數(shù)據(jù)管理器350在位于云355的原始⑶N 354的集成服務(wù)器上操作，其包括分析功能，以及通過(guò)一個(gè)基于網(wǎng)頁(yè)的接口的一鍵上傳的操作功能。
[0049]最后，現(xiàn)有線路傳輸或互聯(lián)網(wǎng)絡(luò)可以與基于云的管理器350交互，執(zhí)行本地操作；例如，可以通過(guò)一個(gè)遠(yuǎn)程操作中心360實(shí)現(xiàn)操作。數(shù)據(jù)可以被存儲(chǔ)362，或通過(guò)瀏覽器傳遞給適當(dāng)?shù)墓ぷ髡净蚍?wù)器364，或被傳遞給一個(gè)或多個(gè)移動(dòng)單元366。
[0050]圖4是一個(gè)編碼器/廣播設(shè)備330的電路布局圖。主信號(hào)處理器DSP420連接到輸入信道，以便經(jīng)由視頻多路復(fù)用器芯片432接收HDMI數(shù)據(jù)430、432，經(jīng)由模塊480接收GPS和蜂窩數(shù)據(jù)470，以及通過(guò)WiFi模塊490接收WiFi輸入信號(hào)。SDI和HDMI音頻通過(guò)立體音頻編解碼器462和音頻多路復(fù)用器芯片460進(jìn)行處理。音頻輸入流主要用于監(jiān)聽(tīng)無(wú)人機(jī)發(fā)動(dòng)機(jī)噪聲，但其可以用于其它應(yīng)用(例如船馬達(dá)噪聲，水下航行器螺旋槳噪聲；以及來(lái)自移動(dòng)設(shè)備的用戶聊天)C3DSP處理器420通過(guò)成對(duì)的總線427和429分別與DDR-RAM芯片426和428相連接。此外，DSP由現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)440控制，F(xiàn)PGA 440執(zhí)行動(dòng)態(tài)編碼/解碼、數(shù)據(jù)存檔和信號(hào)分包和封裝等邏輯功能。
[0051 ] 視頻編碼特性包括單通道HD和SD編碼。對(duì)于HD，編碼器處理HD-SDI，HDMI和VGA格式以及HDMI直通。SD輸入包括復(fù)合模擬(NTSC/PAL)和SD-SDI。編碼器產(chǎn)生一個(gè)傳輸流(美國(guó)國(guó)家地理空間情報(bào)局(NGA)認(rèn)可的MISP格式)和一個(gè)基本碼流(H.264)。直播的基本碼流，其經(jīng)由加密的蜂窩數(shù)據(jù)連接332，被接近實(shí)時(shí)地傳輸?shù)交ヂ?lián)網(wǎng)云355(圖3)。編碼器350還通過(guò)WiFi或以太網(wǎng)338(圖3)，接近實(shí)時(shí)地把直播基本碼流傳輸給本地用戶。在324(圖3)，編碼器把使用256位AES加密的高質(zhì)量(全分辨率的元數(shù)據(jù))傳輸流以NGA認(rèn)可的MISP格式存檔，并且是存檔到SD卡422(與轉(zhuǎn)換器424—起)JD卡是可移動(dòng)的，因此存檔內(nèi)容能夠隨后再向視頻傳感器管理器350或者向所希望的其它地方發(fā)布。
[0052]因此，編碼器/廣播設(shè)備330避免了現(xiàn)有系統(tǒng)的很多弊端。
[0053]如圖8右側(cè)所示，應(yīng)急車(chē)輛810不需要停在附近，因?yàn)榫幋a器/廣播設(shè)備330不需要發(fā)電機(jī)820供電(圖8左側(cè)所示指明了沒(méi)有編碼器330的系統(tǒng))。同樣也不需要部署一個(gè)配備有典型無(wú)人機(jī)組件的設(shè)備車(chē)830，如配備遙控潛水器(ROV)、地面機(jī)器人、地面站、網(wǎng)絡(luò)交換機(jī)、無(wú)線接入點(diǎn)和高清電視(HDTV)等，所有這些都必須連接電源820。編碼器/廣播設(shè)備330解決的另一個(gè)缺陷是提供連接，因?yàn)橥ǔ](méi)有辦法把視頻從地面站320傳輸?shù)揭恍┬枰玫降牡胤?，例如卡?chē)810、設(shè)備車(chē)830或者云355(不連通以虛線840代表)。
[0054]相比之下，如圖8右側(cè)所示，編碼器/廣播設(shè)備330通過(guò)互聯(lián)網(wǎng)云355為所有經(jīng)過(guò)身份驗(yàn)證的用戶842、844提供直播視頻訪問(wèn)，不管用戶在什么位置。這樣，遠(yuǎn)程計(jì)算機(jī)用戶844可以通過(guò)云355訪問(wèn)視頻。手機(jī)用戶842可以從云或者從WiFi 338或366直接訪問(wèn)視頻，只要其距離近得足以位于WiFi熱點(diǎn)區(qū)域內(nèi)即可。而且，用戶可以訪問(wèn)活動(dòng)視頻和直播視頻。
[0055]現(xiàn)在將根據(jù)圖5詳細(xì)描述管理器350的一些操作。
[0056]管理器350向用戶，如應(yīng)急響應(yīng)人員，提供支持知情決策環(huán)50的協(xié)作工具、報(bào)告和工作流程。這些用戶通常在事件開(kāi)始52后登錄，經(jīng)過(guò)登錄步驟54，用戶身份驗(yàn)證56，并且依照系統(tǒng)級(jí)別權(quán)限和策略60獲得用戶數(shù)據(jù)訪問(wèn)授權(quán)58。這些步驟能夠使用對(duì)于具有一般技能的人而言可用的操作流程和工具來(lái)完成。
[0057]然后，經(jīng)過(guò)授權(quán)的用戶被詢問(wèn)關(guān)于任務(wù)類(lèi)型62的問(wèn)題，如果他們的回答是“否”，則他們要選擇任務(wù)64。隨后用戶進(jìn)入決策環(huán)50。
[0058]應(yīng)急響應(yīng)是一種協(xié)作性和交互性的活動(dòng)。新信息不斷進(jìn)入。個(gè)人和團(tuán)隊(duì)不斷地分析信息并與他人共享分析結(jié)果。接收新信息和分析結(jié)果的人對(duì)其做出響應(yīng)，這些響應(yīng)又可能觸發(fā)新的信息和其它的響應(yīng)。在這種連續(xù)不斷的循環(huán)中的每時(shí)每刻，團(tuán)隊(duì)和個(gè)人使用管理器350保持知情并且溝通新的信息。這發(fā)生在知情決策環(huán)50內(nèi)部。該決策環(huán)包括搜索內(nèi)容(asset)/發(fā)布的信息72，發(fā)布提醒或提醒內(nèi)容74，創(chuàng)建一個(gè)供他人瀏覽的信息發(fā)布76，評(píng)論別人發(fā)布的信息78，以及上傳內(nèi)容80。個(gè)人也可以瀏覽被發(fā)布的信息/內(nèi)容84，標(biāo)記感興趣的項(xiàng)目86，瀏覽感興趣的項(xiàng)目88以及通過(guò)圖形用戶界面(GUI)聊天90。個(gè)人根據(jù)一些選項(xiàng)決定下一步行動(dòng)。通過(guò)這一行動(dòng)使得他們或其它人得知更多情況，并促使其做出額外的決策和額外的行動(dòng)。
[0059]圖6顯示了確定攝像機(jī)視野120的方法，該方法構(gòu)成了基于位置搜索固定攝像機(jī)的基礎(chǔ)。
[0060]在通過(guò)管理器350控制的攝像機(jī)登記過(guò)程中，攝像機(jī)和在攝像機(jī)視野120中的一定數(shù)量的固定物體的GPS坐標(biāo)將被采集。如圖6所示，多個(gè)對(duì)象121-128被登記到攝像機(jī)視野120中。采集到的坐標(biāo)121-128被饋送至一算法，該算法在每個(gè)攝像機(jī)相應(yīng)的視野120中創(chuàng)建了一個(gè)可計(jì)算的GPS坐標(biāo)“網(wǎng)格”。系統(tǒng)將擁有所有經(jīng)過(guò)登記的攝像機(jī)所能看到的數(shù)據(jù)，而固定攝像機(jī)/閉路電視系統(tǒng)知道時(shí)間，在將兩者結(jié)合后，用戶可以根據(jù)時(shí)間和地點(diǎn)搜索數(shù)據(jù)，而系統(tǒng)將只搜索相關(guān)的攝像機(jī)記錄。
[0061]圖7是示出了管理器350的單元的流程框圖。每個(gè)單元可包括獨(dú)立的功能單元(如專(zhuān)用處理器)，或安裝在作為互聯(lián)網(wǎng)上的原始內(nèi)容傳輸網(wǎng)絡(luò)CDN—部分的集成服務(wù)器354上的軟件模塊。如圖3所示，集成服務(wù)器可以作為公共的或私有的云網(wǎng)絡(luò)355的一部分，本地和遠(yuǎn)程用戶都可以像在傳統(tǒng)場(chǎng)景中所知的那樣去訪問(wèn)它。下面進(jìn)一步描述管理器350的其它操作。
[0062]終端用戶接入他們的遠(yuǎn)程移動(dòng)設(shè)備366，就發(fā)生在他們附近的事件710進(jìn)行通信。在這個(gè)情況下，本區(qū)域內(nèi)的應(yīng)急響應(yīng)人員捕獲了火災(zāi)710的照片，則該應(yīng)急響應(yīng)人員把文本、圖像或視頻通過(guò)互聯(lián)網(wǎng)或他們的手機(jī)網(wǎng)絡(luò)380提交給管理器350。提交的消息以安全的SSL加密的JSON格式，作為從應(yīng)急響應(yīng)人員的移動(dòng)客戶端366到應(yīng)用程序編程接口API 720的呼叫，被管理器350接收。然后，接收到的輸入要通過(guò)管理器的所有適用策略的驗(yàn)證。在本實(shí)施例中，這些策略包括身份驗(yàn)證732和授權(quán)734。身份驗(yàn)證和授權(quán)可使用通用的用戶模型或用戶配置文件736。用戶模型檢索來(lái)自存儲(chǔ)器352的數(shù)據(jù)以便加載用戶屬性，身份驗(yàn)證732和授權(quán)734策略可使用這些用戶屬性來(lái)允許或拒絕訪問(wèn)和行為。這些策略可以反映一些準(zhǔn)貝1J，例如醫(yī)院設(shè)備的健康保險(xiǎn)流通與責(zé)任法案(HIPAA)的要求，警務(wù)安全，軍事安全和公司安全，消防部門(mén)或其它應(yīng)急響應(yīng)部門(mén)的準(zhǔn)則，等等。
[0063]到達(dá)這一點(diǎn)的所有操作和所有后續(xù)操作，被建模為日志738的實(shí)例，并被保存到存儲(chǔ)器352。在通過(guò)所有策略730的驗(yàn)證后，管理器360開(kāi)始把接收應(yīng)急響應(yīng)人員所提交事件的操作交給控制器740。具體地，控制器740通過(guò)各種模式加載和保存信息。在這種情況下，應(yīng)急響應(yīng)人員發(fā)布消息的行為已經(jīng)自動(dòng)創(chuàng)建了消息發(fā)布742、事件744、視頻746、位置750和內(nèi)容748，以及眾多的日志738實(shí)例。這些模型實(shí)例中的一些與應(yīng)急響應(yīng)人員的用戶736實(shí)例，以及用戶當(dāng)前所在團(tuán)隊(duì)752、任務(wù)754和位置756相關(guān)的實(shí)例相關(guān)聯(lián)。所有這些都作為新的文檔或文件或文件夾被保存到存儲(chǔ)器352，每個(gè)模型存一個(gè)文檔。每個(gè)模型實(shí)例中還保存了關(guān)聯(lián)，其中包括關(guān)聯(lián)的雙方。此外，控制器740產(chǎn)生消息381，并發(fā)送給所有訂閱了任一模型實(shí)例的客戶端。這些操作通過(guò)使用TCP/IP套接字的加密通信經(jīng)過(guò)互聯(lián)網(wǎng)380進(jìn)行，或在本地338進(jìn)行。
[0064]舉例來(lái)說(shuō)，客戶端收到一個(gè)或多個(gè)模型變動(dòng)的通知后，將更新他們的用戶經(jīng)驗(yàn)設(shè)置(UX)，以顯示與變更后的模型相關(guān)的新信息。他們通過(guò)使用對(duì)報(bào)告服務(wù)的安全HTTP調(diào)用來(lái)完成這一操作，如在傳統(tǒng)技術(shù)中所知的那樣，進(jìn)行客戶端設(shè)備上的用戶經(jīng)驗(yàn)設(shè)置顯示。在這個(gè)示例中，操作中心的工作人員看到了從應(yīng)急響應(yīng)人員的移動(dòng)設(shè)備366發(fā)布的消息。工作人員把這條新消息標(biāo)記為高優(yōu)先級(jí)的提醒。這一舉動(dòng)通過(guò)互聯(lián)網(wǎng)380或本地網(wǎng)絡(luò)338將消息383發(fā)送回管理器350。這條消息要經(jīng)過(guò)如上所述的所有必需的策略檢查730。在通過(guò)策略檢查后，控制器740開(kāi)始實(shí)施提醒。提醒模型758的實(shí)例被創(chuàng)建，并與應(yīng)急響應(yīng)人員366創(chuàng)建的消息發(fā)布實(shí)例相關(guān)聯(lián)。這被保存到存儲(chǔ)器352。通知實(shí)例760也被創(chuàng)建。最后，訂閱了提醒758或者通知760的客戶端會(huì)收到通知，并相應(yīng)地更新他們的用戶經(jīng)驗(yàn)設(shè)置，并且該應(yīng)急響應(yīng)人員366也會(huì)看到關(guān)于提醒758的通知。聚合是任意組的模型實(shí)例。這些聚合可以用來(lái)匯集不同的視頻、圖片、消息提醒等用于任何用途。聚合770可被設(shè)定為可更新的，也可被設(shè)定為不可更新的。不可更新的聚合770可以接受添加新的模型實(shí)例。一旦添加，這些實(shí)例將連同所有訪問(wèn)的記錄和實(shí)例所有的先前版本一起，被復(fù)制到聚合770。復(fù)制的數(shù)據(jù)是永久的，不會(huì)再發(fā)生改變。模型實(shí)例一旦被復(fù)制到聚合770，就不能被刪除。因此，不可更新的聚合可以用來(lái)保存證據(jù)的監(jiān)管鏈。
[0065]分析模型的實(shí)例表示對(duì)其它模型實(shí)例進(jìn)行二次分析的結(jié)果。例如，一個(gè)面部識(shí)別分析服務(wù)可以分析與多個(gè)視頻模型實(shí)例相關(guān)的視頻數(shù)據(jù)。對(duì)于可以識(shí)別出某張臉的每個(gè)視頻模型實(shí)例，分析服務(wù)可保存涉及該視頻模型實(shí)例的相應(yīng)分析模型實(shí)例。另外，其還可以保存一個(gè)分析模型實(shí)例，作為其操作和參數(shù)的記錄。鏈路模型實(shí)例被用來(lái)記錄一個(gè)網(wǎng)絡(luò)通用資源標(biāo)識(shí)符(URI)的位置，例如twitter上一個(gè)消息發(fā)布的位置。
[0066]現(xiàn)在，在圖9中描述管理器系統(tǒng)350的優(yōu)勢(shì)。如前面結(jié)合圖2所述，當(dāng)警察開(kāi)始調(diào)查被盜的拖車(chē)時(shí)，他們?cè)谑ПI地點(diǎn)附近發(fā)現(xiàn)了多個(gè)攝像機(jī)源401-410。然而，這些管理器源的數(shù)據(jù)的存儲(chǔ)方式使其非常難以被訪問(wèn)和使用。
[0067]首先，大量的數(shù)據(jù)被記錄在磁帶或者駐留在每個(gè)攝像機(jī)的專(zhuān)用數(shù)字視頻記錄儀(DVR)的內(nèi)存中。因此，獲取此類(lèi)數(shù)據(jù)本身就需要花費(fèi)大量的時(shí)間去收集，因?yàn)槠渖婕暗将@取物理存在的每個(gè)磁帶或者DVR單元。
[0068]其次，不使用耗時(shí)的模擬-數(shù)字轉(zhuǎn)換，這些數(shù)據(jù)就不能與軟件分析工具整合到一起。此外，這些存儲(chǔ)格式不允許地理空間搜索，因?yàn)楹艽笠徊糠謹(jǐn)?shù)據(jù)缺乏遙感信息。
[0069]圖9顯示了需要該系統(tǒng)的另一個(gè)例子，其與2005年7月7日的倫敦公共汽車(chē)爆炸案有關(guān)。即使當(dāng)時(shí)YouTube已經(jīng)是可用的網(wǎng)絡(luò)資源，但是調(diào)查人員仍不能使用監(jiān)視或攝像數(shù)據(jù)進(jìn)行監(jiān)控。這是因?yàn)閅ouTube僅限于視頻輸入，其數(shù)據(jù)不可搜索，而且其不能處理直播饋送內(nèi)容。相反，圖9重建了倫敦爆炸案，包括事件涉及的背包(如2013年波士頓馬拉松爆炸案)。然而，倫敦調(diào)查人員為了重建數(shù)據(jù)視頻記錄，不得不拿來(lái)全倫敦的硬盤(pán)。
[0070]由于倫敦爆炸案和其它像波士頓馬拉松爆炸案一樣的悲劇，不僅對(duì)如圖4所示的數(shù)據(jù)編碼器有明顯的需求，而且對(duì)可以把所有的數(shù)據(jù)源按“故事主線”的前后關(guān)系自動(dòng)整合的基于軟件的管理器也有很大的需求。此外，還有對(duì)駐于互聯(lián)網(wǎng)云中的有序資源的需求，以便不同的用戶可以迅速快捷地訪問(wèn)這些數(shù)據(jù)。不像當(dāng)時(shí)的倫敦，現(xiàn)在所有這些基礎(chǔ)設(shè)施都已存在，并且可以快速訪問(wèn)，這在波士頓馬拉松爆炸案中已得到證實(shí)。
[0071]此外，還需要一個(gè)單獨(dú)的接口，其用于從任何設(shè)備搜索和共享任何視頻或圖像資源，而不需要客戶端軟件。這些資源的數(shù)據(jù)輸入可以包括無(wú)人機(jī)視頻、照片、交通攝像頭、固定監(jiān)視系統(tǒng)、1S和安卓設(shè)備圖片，以及其它數(shù)據(jù)(如文本、電子郵件)，還包括來(lái)自所有形式的社交媒體比如Twitter、Instagram、Facebook等的輸入。
[0072]基于云的管理器350(圖3)有協(xié)作和共享思想的功能，但同時(shí)還具有數(shù)據(jù)保密、安全性保護(hù)、監(jiān)管鏈控制和審計(jì)記錄維護(hù)。分析工具被相應(yīng)地集成為“插件”或可用的應(yīng)用程序資源庫(kù)，其很容易被刪除，添加，以及基于用戶需求、系統(tǒng)要求和成本限制進(jìn)行自定義。
[0073]目前基于云的管理器350允許訪問(wèn)數(shù)據(jù)塊，并且包括被適當(dāng)保護(hù)的私有數(shù)據(jù)?？梢允褂靡唤M適當(dāng)?shù)囊?guī)則對(duì)數(shù)據(jù)進(jìn)行動(dòng)態(tài)監(jiān)測(cè)。例如，可以把各種區(qū)域性的隱私法則應(yīng)用于地理空間映射的無(wú)人機(jī)輸入流，從而使得能夠動(dòng)態(tài)地改變?cè)L問(wèn)權(quán)限，比如當(dāng)無(wú)人機(jī)攝像頭經(jīng)過(guò)州或國(guó)家邊界時(shí)。由于其地理映射和數(shù)據(jù)協(xié)調(diào)能力，系統(tǒng)創(chuàng)建了一個(gè)用戶友好的方式來(lái)定義各種規(guī)則和法律。
[0074]雖然該管理器是規(guī)則無(wú)關(guān)的，但其提供了應(yīng)用程序編程接口，對(duì)于例如警察、國(guó)家安全機(jī)構(gòu)或有特殊保密需要的商業(yè)客戶(例如，HIPAA法案下有關(guān)病人隱私的急救系統(tǒng))這樣的用戶，可以由用戶設(shè)置保密、監(jiān)管鏈和審計(jì)規(guī)則。
[0075]例如，存在新的非軍事無(wú)人機(jī)數(shù)據(jù)的市場(chǎng)。最近，美國(guó)聯(lián)邦航空管理局允許無(wú)人機(jī)在美國(guó)上空飛行。無(wú)人機(jī)輸出的數(shù)據(jù)可以為本發(fā)明提供重要的資源。如前面在圖3中指出的那樣，本發(fā)明330可以處理固定監(jiān)測(cè)數(shù)據(jù)、twitter數(shù)據(jù)以及1S或安卓設(shè)備輸出的數(shù)據(jù)。但無(wú)人機(jī)數(shù)據(jù)更引人注目，因?yàn)槟壳斑€沒(méi)有用于無(wú)人機(jī)數(shù)據(jù)的商業(yè)平臺(tái)。通過(guò)創(chuàng)建無(wú)人機(jī)數(shù)據(jù)管理、監(jiān)控和分析平臺(tái)350，重要數(shù)據(jù)可以傳遞到互聯(lián)網(wǎng)云，這會(huì)大大降低人力資源管理的需求。顧名思義，本發(fā)明使用可用的技術(shù)解決了大數(shù)據(jù)問(wèn)題，使得用戶可以有效地篩選大量的數(shù)據(jù)，并可以很容易地把許多可用的分析工具應(yīng)用于數(shù)據(jù)。換言之，有太多的信息等同于沒(méi)有足夠的信息。目前的系統(tǒng)會(huì)被數(shù)據(jù)淹沒(méi)。實(shí)時(shí)監(jiān)測(cè)的分析變得繁瑣費(fèi)時(shí)，并且阻礙了調(diào)查和行動(dòng)的及時(shí)進(jìn)行。
[0076]僅在美國(guó)，無(wú)人機(jī)每年產(chǎn)生的視頻數(shù)據(jù)如果連續(xù)觀看的話，需要看24年。而且，更新的無(wú)人機(jī)模型預(yù)計(jì)產(chǎn)生的信息將會(huì)是2012年的三十倍。
[0077]此外，新的無(wú)人機(jī)資源必然產(chǎn)生安全問(wèn)題。數(shù)據(jù)保密、保護(hù)、監(jiān)管鏈(共享的)、靜止數(shù)據(jù)、傳輸中數(shù)據(jù)一一所有這些都有不同的審計(jì)需求和法律后果。由于大量的法律問(wèn)題，一些無(wú)人機(jī)用戶只是簡(jiǎn)單地不去記錄數(shù)據(jù)。對(duì)于這些用戶，無(wú)人機(jī)，作為一個(gè)數(shù)據(jù)來(lái)源，就成為無(wú)效的了。例如，一些用戶擔(dān)心無(wú)人機(jī)數(shù)據(jù)會(huì)成為證據(jù)，并有可能導(dǎo)致“毒害” 一個(gè)案件；根據(jù)信息自由法(FOIA)的要求還需要審計(jì)。目前，用戶甚至不能確定無(wú)人機(jī)是否設(shè)置為“不記錄”模式。
[0078]幫助解決這些法律挑戰(zhàn)的市場(chǎng)是巨大的。用戶包括應(yīng)急響應(yīng)人員、精細(xì)農(nóng)業(yè)、效用檢驗(yàn)、房地產(chǎn)、建筑、保護(hù)區(qū)管理、交通基礎(chǔ)設(shè)施，以及安全和治安等等。
[0079]目前有很多此類(lèi)應(yīng)用程序，但其都不具有本管理器350的優(yōu)勢(shì)和特點(diǎn)。在Evemote、Skitch、Dropbox、Facebook、Twitter、NetfIix、Google Instant中都有此類(lèi)應(yīng)用程序。例如Evemote，提供了一個(gè)地理空間標(biāo)記和頭腦風(fēng)暴工具；Skitch提供了一個(gè)應(yīng)用程序，其類(lèi)似約翰.馬登(John Madden)內(nèi)容示意圖(注釋和標(biāo)記工具)。
[0080]圖10是管理器350的一個(gè)圖形用戶界面1600的截圖，其為所有數(shù)據(jù)的管理、訪問(wèn)、監(jiān)控和協(xié)調(diào)提供了一個(gè)事件墻1602。該GUI是作為內(nèi)容傳輸網(wǎng)絡(luò)⑶N源中的集成服務(wù)器的一個(gè)網(wǎng)頁(yè)提供的，其包括多個(gè)領(lǐng)域的合作，比如共享數(shù)據(jù)提醒1604的頁(yè)面部分，以及即時(shí)在線聊天1606。后面將描述該GUI的應(yīng)用示例。GUI的數(shù)據(jù)處理和存儲(chǔ)過(guò)程如圖3中的系統(tǒng)流程框圖所示。
[0081 ]事件墻1602使一個(gè)終端用戶可以在他/她的瀏覽器(346、364)或移動(dòng)設(shè)備(348、366)上顯示該用戶參加過(guò)的所有活動(dòng)的“任務(wù)”和過(guò)去的“任務(wù)”(在下面將更詳細(xì)描述)。隨著新信息被記錄、檢索或者研究和共享，更新被發(fā)布在事件墻1602，通過(guò)互聯(lián)網(wǎng)380的內(nèi)容傳輸網(wǎng)絡(luò)CDN源，或者通過(guò)當(dāng)?shù)氐腤iFi連接338傳遞給用戶。從本質(zhì)上講，終端用戶被賦予在事件墻上發(fā)布任何東西的能力。
[0082]圖10是一場(chǎng)森林火災(zāi)任務(wù)的不例，其以各種視圖顯不在事件墻1608上。在GUI1604的右邊部分上關(guān)于任務(wù)的提醒被用不同顏色編碼，從而使得所有關(guān)于“加萊納(Galena)火災(zāi)”的提醒很容易被發(fā)現(xiàn)。關(guān)于“管道監(jiān)測(cè)”的獨(dú)立任務(wù)也被發(fā)布在事件墻1604上，以不同的顏色標(biāo)出。而關(guān)于這一獨(dú)立任務(wù)的提醒，其在事件墻1604上同樣是用不同顏色編碼的。
[0083]圖11是顯示了事件墻上的數(shù)據(jù)類(lèi)型的GUI的截圖。在GUI1600的左邊顯示了能夠在GUI 1602上指定的數(shù)據(jù)類(lèi)型。數(shù)據(jù)類(lèi)型包括消息、“信息”、隊(duì)友、照片、視頻和事件1702。部分1704將第三方應(yīng)用報(bào)告、分析數(shù)據(jù)和工具進(jìn)行列表。
[0084]GUI部分1706顯示由管理器350覆蓋的任務(wù)組的列表。這些任務(wù)組被按照各個(gè)用戶訪問(wèn)管理器350的安全級(jí)別提供給終端用戶。當(dāng)前用戶可訪問(wèn)所有任務(wù)組，其包括管道監(jiān)測(cè)、火災(zāi)監(jiān)測(cè)、精細(xì)農(nóng)業(yè)、礦業(yè)、電力線檢查、火山和地震監(jiān)測(cè)、以及災(zāi)害響應(yīng)。
[0085]提醒1604只與被監(jiān)視的高亮顯示的任務(wù)有關(guān)。
[0086]圖12是提醒過(guò)濾GUI1800的屏幕截圖。如圖所示，提醒可與一般提醒策略相關(guān)聯(lián)，通過(guò)顏色進(jìn)行區(qū)分，以便終端用戶只看到重要提醒。如圖所示，綠色提醒1802意味著任務(wù)的狀態(tài)是正常的，紅色提醒1804表明有問(wèn)題需要注意并且需要采取行動(dòng);黃色提醒1806是對(duì)可能發(fā)生的問(wèn)題的警告信號(hào)并且需要得到有關(guān)處理方式的建議;藍(lán)色提醒1808是發(fā)送給用戶的關(guān)于任務(wù)情況的一般消息。當(dāng)然，為了有效地利用數(shù)據(jù)，系統(tǒng)管理員可以采用任何提醒策略。
[0087]圖13是管理器350的地圖成像特性的屏幕截圖。在圖13中間的圖像上還有一個(gè)時(shí)間軸(在下面進(jìn)行描述)AUI 1602的左上角還提供了地圖成像1902，其是可以放大的。團(tuán)隊(duì)領(lǐng)導(dǎo)者的頁(yè)面還可以顯示與他人(比如環(huán)保員工)不同的信息，而團(tuán)隊(duì)領(lǐng)導(dǎo)者的頁(yè)面也會(huì)與任務(wù)指揮者的頁(yè)面有所不同。例如，任務(wù)指揮者可能會(huì)使用Wiki工具來(lái)幫助他或她建立即時(shí)報(bào)告，該即時(shí)報(bào)告為系統(tǒng)和其它用戶給出了可供追隨的重要的事件描述。
[0088]通過(guò)點(diǎn)擊任務(wù)組1706(圖11)，GUI 1602顯示了聚集于某一特定任務(wù)的事件墻1604，為所有的參與者顯示出發(fā)布的消息、更新和提醒。視頻饋送被直接集成到墻視圖中，而其它數(shù)據(jù)則來(lái)自例如眾包、dropbox風(fēng)格的文檔共享，或來(lái)自其它標(biāo)記的內(nèi)容。如前所述，能夠被發(fā)布的數(shù)據(jù)的類(lèi)型可以包括圖像、視頻、標(biāo)簽和提醒、文本文件、word文檔、excel電子表格和Powerpoint文稿。
[0089]圖14是加萊納消防任務(wù)的GUI1602的另一個(gè)視圖。如圖所示，提醒2002是由所有任務(wù)發(fā)布的消息，這允許操作員迅速切換到不同任務(wù)，并且監(jiān)視和管理新出現(xiàn)的問(wèn)題。還可以使用dropbox工具2004，其包括視頻、文檔和外部鏈路集成。這個(gè)工具上的所有文件被索弓丨，并且根據(jù)地理位置表示在地圖1902上。GUI的左下部分2006提供了一個(gè)任務(wù)專(zhuān)輯，其中包括與該任務(wù)相關(guān)的所有圖像和視頻。
[0090]當(dāng)從事件墻1604移到任務(wù)頁(yè)面1900時(shí)，GUI1602的右側(cè)會(huì)發(fā)生變化。尤其是右側(cè)現(xiàn)在顯示特定于該任務(wù)的提醒2008和參與者聊天2010。
[0091]圖15是顯示數(shù)據(jù)搜索功能2102的搜索結(jié)果的擴(kuò)展地圖1902的圖形用戶界面屏幕截圖。具體地，地圖搜索功能依賴于用戶在屏幕上畫(huà)框。在一個(gè)實(shí)施例中，用戶用單個(gè)手指來(lái)畫(huà)框。一旦框被創(chuàng)建，其就被添加到事件墻以用于分析。
[0092]圖16是通過(guò)用戶畫(huà)框指定地圖2202中的某一區(qū)域的圖形用戶界面屏幕截圖，在本實(shí)施例中是畫(huà)在谷歌地圖上用于快速搜索。畫(huà)框的區(qū)域可以是方形，圓形或者任意形狀。用戶還可以給所畫(huà)感興趣的區(qū)域加上書(shū)簽2204，并共享書(shū)簽和/或接收基于該書(shū)簽區(qū)域上有關(guān)活動(dòng)的提醒。地圖區(qū)域的搜索結(jié)果顯示在2206。結(jié)果清單包括任務(wù)名稱(chēng)、視頻開(kāi)始和結(jié)束的時(shí)間、所獲取的視頻的持續(xù)時(shí)間和數(shù)據(jù)源平臺(tái)。
[0093]圖17是另一個(gè)街區(qū)地圖搜索的圖形用戶界面屏幕截圖。在該圖中，地圖搜索是在包括大量固定攝像機(jī)位置的街區(qū)進(jìn)行的。固定攝像機(jī)比如2320被顯示在地圖上，還包括搜索區(qū)域2302。在GUI 1602的底部，搜索結(jié)果顯示在區(qū)域2304。然而，不同于加萊納火災(zāi)任務(wù)的例子，這里的映射區(qū)域包括來(lái)自許多固定監(jiān)控?cái)z像頭的數(shù)據(jù)，其可以在搜索結(jié)果部分2304觀看到視頻的縮略圖。此外，搜索結(jié)果可以用來(lái)創(chuàng)建視頻時(shí)間軸，該時(shí)間軸與每天的時(shí)間或者在給定區(qū)域選定的時(shí)間相匹配。時(shí)間軸功能將與圖26-28結(jié)合作進(jìn)一步的描述。
[0094]在圖形用戶界面1602左邊，給出了一個(gè)搜索區(qū)域2310，其中用戶可以按照開(kāi)始和結(jié)束日期以及按照開(kāi)始時(shí)間和結(jié)束時(shí)間進(jìn)行搜索。此外，還為位于區(qū)域2302中的攝像頭提供了固定攝像頭搜索列表2312，其中每個(gè)攝像頭都可以從搜索請(qǐng)求中選擇/去掉。此外，分析工具可自動(dòng)部署與司法和數(shù)據(jù)相關(guān)的法律規(guī)定相關(guān)的插件，以便篩選數(shù)據(jù)，并且刪除違反這些法律的數(shù)據(jù)，或者標(biāo)記那些需要批準(zhǔn)才能使用的數(shù)據(jù)資源。另外，分析工具還可以用來(lái)建立特定的法律參數(shù)或閾值，如建立可能的動(dòng)機(jī)。還可以利用額外的分析搜索焦點(diǎn)信息，如面部識(shí)別、汽車(chē)牌照、或其它可用的產(chǎn)品或服務(wù)。
[0095]其它形式的標(biāo)記工具可用于被加了書(shū)簽的區(qū)域。同時(shí)，不同的用戶可以在被加了書(shū)簽的區(qū)域(如2302)標(biāo)記不同的項(xiàng)目。最后，加了書(shū)簽的區(qū)域是自動(dòng)更新的，并且在狀態(tài)變化時(shí)或者更新信息可用時(shí)，自動(dòng)生成提醒。例如，高溫提醒、水災(zāi)提醒、狀態(tài)變化提醒、甚至地面壓力提醒都可以被系統(tǒng)自動(dòng)提取、標(biāo)記和發(fā)出提醒。
[0096]本發(fā)明的另一個(gè)方面是，其可以提供收到信息的屬性。例如，對(duì)于固定攝像機(jī)位置，現(xiàn)有的視頻源可能不會(huì)包括相關(guān)遙感數(shù)據(jù)，但為了確定攝像機(jī)的位置甚至其從流動(dòng)的遙感流拍攝的內(nèi)容，這些遙感數(shù)據(jù)是必需的。因此，本發(fā)明可以看向固定點(diǎn)，并且給自動(dòng)指向該位置的偽遙感流中插入坐標(biāo)。
[0097]圖18是目標(biāo)偵查請(qǐng)求(TOR)任務(wù)2400的圖形用戶界面屏幕截圖。TOR的價(jià)值在于，其允許序號(hào)與偵查區(qū)域相關(guān)聯(lián)。例如，在過(guò)去，在颶風(fēng)艾克(Ike)期間，要給飛行員提供一百二十個(gè)坐標(biāo)點(diǎn)的列表，以便讓每個(gè)飛行員進(jìn)行監(jiān)測(cè)。但這些坐標(biāo)點(diǎn)的順序是隨機(jī)的。其結(jié)果是，飛行員對(duì)這些固定坐標(biāo)點(diǎn)的監(jiān)測(cè)雜亂無(wú)章。在任務(wù)結(jié)束的時(shí)候，一共只有16個(gè)固定坐標(biāo)點(diǎn)被找到。TOR工具2400則解決了這個(gè)缺陷。
[0098]TOR工具包括軟件目標(biāo)分析，其中通過(guò)點(diǎn)擊圖像2402，可以在該圖像上確定一個(gè)目標(biāo)并為其分配優(yōu)先級(jí)2404-2410。然后為每個(gè)選定的目標(biāo)創(chuàng)建坐標(biāo)，并按邏輯順序排序。對(duì)每個(gè)目標(biāo)2412創(chuàng)建注解，使得用戶可以根據(jù)其它目標(biāo)判斷準(zhǔn)則來(lái)判斷該目標(biāo)的重要性。還創(chuàng)建目標(biāo)偵查列表2420，其中列出每一個(gè)目標(biāo)，及其軍事網(wǎng)格參考系統(tǒng)(MGRS)、最后一次偵查的時(shí)間、其優(yōu)先級(jí)、該目標(biāo)偵察請(qǐng)求發(fā)起人、以及系統(tǒng)中的其它偵查請(qǐng)求的數(shù)據(jù)。這樣TOR功能就為飛行員生成了被優(yōu)化的飛行計(jì)劃和目標(biāo)清單，該清單啟動(dòng)了整個(gè)監(jiān)管鏈過(guò)程。
[0099]圖19是更詳細(xì)地描繪了TOR特征的圖形用戶界面的屏幕截圖。如上所述，每個(gè)目標(biāo)使用目標(biāo)點(diǎn)功能2510來(lái)識(shí)別。目標(biāo)偵查工具2512激活了在屏幕上選定目標(biāo)的目標(biāo)點(diǎn)功能。使用標(biāo)尺2514來(lái)測(cè)量與目標(biāo)相關(guān)聯(lián)的地理坐標(biāo)，然后提供關(guān)于該目標(biāo)的信息，用作其它用途，比如無(wú)人機(jī)飛行路線所必需的坐標(biāo)。目標(biāo)書(shū)簽功能2516類(lèi)似于地圖書(shū)簽，一旦書(shū)簽被激活，只要監(jiān)測(cè)到目標(biāo)，系統(tǒng)就將生成提醒。目標(biāo)請(qǐng)求者注解2412包括最后一次觀測(cè)到的目標(biāo)圖像2520。
[0100]圖20是描繪管理器350的視頻播放功能的圖形用戶界面屏幕截圖。如圖所示，視頻播放器提供了兩個(gè)功能。第一個(gè)是其產(chǎn)生需要響應(yīng)的提醒2602。系統(tǒng)監(jiān)控提醒的響應(yīng)，并且可以對(duì)響應(yīng)應(yīng)用內(nèi)置的規(guī)則，或者也可以不用。第二個(gè)是標(biāo)簽功能2602。例如，為了創(chuàng)建一個(gè)阻燃劑滴位，需要給映射的區(qū)域加上標(biāo)簽。例如，被加上標(biāo)簽的位置2602可能是一個(gè)正與計(jì)劃灑阻燃劑的工作人員聊天的消防觀測(cè)員。被加上標(biāo)簽的位置是至關(guān)重要的，不僅因?yàn)橐苊庾枞紕⒃谙狸?duì)員身上，還因?yàn)橐峁┑孛嫱ㄐ藕陀^察。傳感器數(shù)據(jù)標(biāo)簽2610為用戶提供與視頻源相關(guān)的數(shù)據(jù)，從而使得評(píng)估視頻源。
[0101]圖21是傳感器標(biāo)簽具體操作(可定制)的圖形用戶界面屏幕截圖。視頻圖像顯示部分2702與無(wú)損文本覆蓋2712結(jié)合，協(xié)助操作員完成監(jiān)控目標(biāo)化操作。例如，指南針2710通過(guò)相關(guān)的指南針單元(如飛行方向指示器2714和正確北方2716)放置在所需的目標(biāo)區(qū)域。還可用視頻播放器工具欄2720。工具欄的功能包括具有地理空間坐標(biāo)的提醒產(chǎn)生器2722，具有通/斷開(kāi)關(guān)2724的文本覆蓋，和標(biāo)尺功能2726，其可以用來(lái)測(cè)量?jī)蓚€(gè)點(diǎn)之間的距離。工具2728被設(shè)計(jì)成生成地理空間標(biāo)簽，并且工具2730和2732分別生成視頻剪輯或相機(jī)快照(兩者都有地理空間標(biāo)簽)。
[0102]應(yīng)該注意的是，管理器350給圖像數(shù)據(jù)增加了一層時(shí)間編碼，其精確到毫秒，從而使得可以將圖像數(shù)據(jù)在以后重新組裝。系統(tǒng)350被設(shè)計(jì)成在聊天中加上了時(shí)間戳遙感內(nèi)容。這樣，操作者才能夠使整個(gè)系統(tǒng)帶有時(shí)間編碼。
[0103]圖22是地圖標(biāo)簽功能的圖形用戶界面屏幕截圖。地圖標(biāo)簽2810顯示在視頻屏幕2702旁邊。在本實(shí)施例中，地圖標(biāo)簽顯示了飛行路徑2812，灑落目標(biāo)位置2815，以及傳感器的當(dāng)前位置(比如目前攝像機(jī)/傳感器視野的中心點(diǎn))2814。還顯示了鄰近目標(biāo)位置的提醒源2602的位置。
[0104]圖23是顯示地圖標(biāo)簽2810功能進(jìn)一步操作的圖形用戶界面屏幕截圖。2810包括對(duì)屏幕部分2702上視頻負(fù)責(zé)的相關(guān)無(wú)人機(jī)掛載傳感器/攝像頭傾斜角度2910的信息。
[0105]圖24是視頻播放器⑶I的提醒/聊天標(biāo)簽3002功能的圖形用戶界面屏幕截圖。提醒窗口 3004列出了由另一個(gè)用戶推送的預(yù)設(shè)關(guān)鍵詞喜好產(chǎn)生的所有提醒。該列表中包括在視頻圖像2702中被地理編碼的提醒點(diǎn)3006。聊天窗口 3008提供了一個(gè)監(jiān)管鏈記錄，因?yàn)槠浒凑諘r(shí)間和位置同步到視頻，所以對(duì)于評(píng)估系統(tǒng)的人來(lái)說(shuō)是完全可搜索的3010。姓名標(biāo)簽3012允許用戶只查看那些由特定用戶發(fā)布的聊天，并且也可以即時(shí)查看所有評(píng)估了被標(biāo)記位置數(shù)據(jù)的用戶。
[0106]圖25是視頻播放器播放目錄標(biāo)簽3110功能的圖形用戶界面屏幕截圖。當(dāng)攝像機(jī)移動(dòng)時(shí)該標(biāo)簽起作用，這樣系統(tǒng)可以推斷出坐標(biāo)。標(biāo)簽3110允許用戶為其它直播數(shù)據(jù)插入標(biāo)尺與時(shí)間信息。直播任務(wù)欄3112列出了不在感興趣的核心點(diǎn)但在同一地理區(qū)域的所有直播視頻或其它圖像數(shù)據(jù)。這些數(shù)據(jù)可以包括twitter圖像、飛機(jī)視頻、新聞等等。這個(gè)區(qū)域作用的方式類(lèi)似于電視直播頻道指南。
[0107]存檔任務(wù)欄3114把要存檔的數(shù)據(jù)根據(jù)與目標(biāo)區(qū)域聯(lián)系緊密度來(lái)排列。已閱欄3116包括所有帶書(shū)簽的或者已閱的視頻。最后，共享的窗口區(qū)3118引入被推薦給用戶觀看的視頻。例如，可能有一個(gè)來(lái)自更遠(yuǎn)處的固定攝像機(jī)視圖，或紅外版本的視頻甚至更原始的傳感器數(shù)據(jù)，比如感興趣區(qū)域內(nèi)的碳?xì)浠衔镗欅E的數(shù)據(jù)。
[0108]本發(fā)明沒(méi)有展示的另一個(gè)特征是報(bào)告鍵。報(bào)告鍵可以是一個(gè)Wiki系統(tǒng)，其生成幻燈片來(lái)提供信息。用戶，如項(xiàng)目經(jīng)理，可以創(chuàng)建其自己的報(bào)告。單選按鈕允許用戶自定義報(bào)生口 ο
[0109]圖26是管理器時(shí)間軸功能的圖形用戶界面屏幕截圖；如圖所示，搜索功能(如圖17中例子所示)3206還可以包括時(shí)間軸功能。這個(gè)功能使得用戶可以基于選自加書(shū)簽的地圖區(qū)域的圖像/視頻來(lái)構(gòu)建時(shí)間軸。如圖所示，在選定的時(shí)間段內(nèi)的感興趣的圖像/視頻被拖進(jìn)一個(gè)搜索結(jié)果列表。此外，這些圖像被存儲(chǔ)在證據(jù)鎖定區(qū)3202。在那里把項(xiàng)目復(fù)制(如果尚未復(fù)制的話)、存儲(chǔ)進(jìn)系統(tǒng)，并標(biāo)記為特殊項(xiàng)目，可供集成服務(wù)器/CDN 354用于分析處理。然后用分析工具3204處理證據(jù)鎖定區(qū)3202中的信息，把相關(guān)適用的法律和規(guī)定應(yīng)用于選定的數(shù)據(jù)。如圖所示，列表3214顯示了拖進(jìn)證據(jù)鎖定區(qū)3202所有項(xiàng)目。這些規(guī)則的運(yùn)行有特定的目的，即成為支持重要法律要求的可用的證據(jù)，比如成為支持搜查或逮捕行動(dòng)的可能原因。
[0110]圖27和圖28是地圖和所構(gòu)造的時(shí)間線圖的圖形用戶界面屏幕截圖。在使用過(guò)程中，用戶在地圖上拖動(dòng)鼠標(biāo)或光標(biāo)，使區(qū)域3614中的3610、3612高亮顯示。將鼠標(biāo)/光標(biāo)拖動(dòng)到標(biāo)簽3610等等上，會(huì)使相應(yīng)的事件3610在時(shí)間軸3620上按順序高亮顯示，反之亦然。如圖28所示，每一塊數(shù)據(jù)被繪制在時(shí)間圖上，而感興趣的事件3610位于中間。這些圖像可反映所有的數(shù)據(jù)類(lèi)型，包括Twitter圖片3650。時(shí)間軸3620上的回形針圖標(biāo)3660表示有分析工具處理這些數(shù)據(jù)，并把分析結(jié)果和原始視頻/圖像綁定。縱軸3680代表與這一事件的物理距離，而水平軸3620則表示在位于顯示區(qū)域中心位置的、感興趣的事件之前或之后的時(shí)間差。點(diǎn)擊時(shí)間軸上的標(biāo)簽，會(huì)顯示分析結(jié)果和相關(guān)視頻/圖像3690。
[0111]證據(jù)鎖定區(qū)的圖像已經(jīng)通過(guò)了法律分析檢驗(yàn)，以時(shí)間排序的方式置于地圖上，提供了帶有時(shí)間戳和地理地標(biāo)的圖像的大致路徑，并連同有在證據(jù)鎖定區(qū)中用到的審計(jì)跟蹤信息。因此，對(duì)適用于基于事件的應(yīng)用程序而言，時(shí)間軸成為了數(shù)據(jù)挖掘引擎。
[0112]總之，時(shí)間軸功能包括:拖拽圖像，定格圖像，然后將其拖入證據(jù)框，自動(dòng)創(chuàng)建圖像圖標(biāo)，把該圖標(biāo)置于時(shí)間軸上，并與訪問(wèn)該時(shí)間軸映射的其它人進(jìn)行共享。然后被標(biāo)記有時(shí)間軸的圖像引用被映射以確定嫌疑人的運(yùn)動(dòng)路徑。
[0113]圖29是以一次橄欖球場(chǎng)中的系列爆炸為例的時(shí)間軸功能的圖形用戶界面屏幕截圖。在⑶I 1602上，事件墻上顯示被識(shí)別的視頻和圖像。地圖3510也顯示了這個(gè)帶有虛構(gòu)的爆炸3520的時(shí)間和地點(diǎn)標(biāo)簽的橄欖球場(chǎng)。如圖30所示，在地圖3510上繪有框3610，而時(shí)間和日期搜索參數(shù)被輸入搜索框3550。返回的搜索結(jié)果列表顯示在地圖3530下方。然后用戶可以閱讀結(jié)果，從中尋找感興趣的結(jié)果，并且在點(diǎn)擊感興趣的結(jié)果后，會(huì)彈出具體內(nèi)容，或者在結(jié)果列表右邊框中播放具體內(nèi)容(圖中沒(méi)有顯示)。具體內(nèi)容旁邊還會(huì)出現(xiàn)一個(gè)復(fù)選框，使用戶可以選定自己感興趣的內(nèi)容。單擊復(fù)選框，則該內(nèi)容(可以是照片、視頻、文檔或其它信息)被截取到時(shí)間軸3530并呈現(xiàn)在地圖上。當(dāng)用戶切換到時(shí)間軸視圖模式時(shí)(沒(méi)有顯示出來(lái))，可以查看時(shí)間軸。結(jié)果，時(shí)間軸中的元素將會(huì)呈現(xiàn)在地圖中，以便顯示事件的位置以及跨位置和時(shí)間跟蹤項(xiàng)目的模式。
[0114]一旦把選定項(xiàng)目從搜索結(jié)果中移動(dòng)到時(shí)間軸3530，可能的原因已被確認(rèn)，視頻/圖像或其它確認(rèn)數(shù)據(jù)就成為了證據(jù)鎖定區(qū)的一部分，可用于使用各種相關(guān)的分析工具作進(jìn)一步的數(shù)據(jù)挖掘和處理。數(shù)據(jù)處理的結(jié)果被加上標(biāo)簽，并被標(biāo)注于視頻/圖像，并用圖標(biāo)3540在時(shí)間軸3530上表示出來(lái)。
[0115]圖30是來(lái)自時(shí)間順序圖3530上的證據(jù)鎖定區(qū)的圖像的圖形用戶界面屏幕截圖。時(shí)間軸上，圖像和視頻的顯示也有所不同。例如，一個(gè)或多個(gè)視頻3620顯示了在時(shí)間軸3530上持續(xù)的時(shí)間，而照片3650則表示為一個(gè)瞬間，反映這張照片的拍攝時(shí)間。視頻或圖像上還顯示有回形針或記事本圖標(biāo)，表示其是手動(dòng)標(biāo)記的(記事本)，或是由分析工具標(biāo)記的(回形針)。時(shí)間軸上顯示的項(xiàng)目也被畫(huà)在地圖上(見(jiàn)圖28)，從事件到事件從開(kāi)始到結(jié)束會(huì)有一條線來(lái)表示。
[0116]盡管參照一些實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但可以理解的是，本發(fā)明并不只限于這些細(xì)節(jié)所描述的內(nèi)容。前面的描述中已經(jīng)提出了各種替換和修改的方案，對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)還可以進(jìn)行其它修改。所有替換和修改都應(yīng)落入在本發(fā)明范圍內(nèi)，如所附的權(quán)利要求書(shū)中所述。
【主權(quán)項(xiàng)】
1.一種無(wú)人機(jī)數(shù)據(jù)管理系統(tǒng)，包括: 無(wú)人機(jī)； 無(wú)人機(jī)系統(tǒng)地面站； 信號(hào)編碼廣播設(shè)備； 本地緩存，其用于接收來(lái)自所述編碼廣播設(shè)備的數(shù)據(jù)進(jìn)行本地存儲(chǔ)； 數(shù)據(jù)管理器，其位于互聯(lián)網(wǎng)云上，用于接收來(lái)自所述信號(hào)編碼廣播設(shè)備的直播視頻數(shù)據(jù)和來(lái)自所述本地緩存的存檔數(shù)據(jù)；以及 遠(yuǎn)程內(nèi)容傳送網(wǎng)絡(luò)，其用于將信號(hào)傳輸?shù)诫娔X瀏覽器和至少一個(gè)移動(dòng)設(shè)備，其中來(lái)自所述無(wú)人機(jī)的動(dòng)態(tài)數(shù)據(jù)流被管理，并與來(lái)自其它遠(yuǎn)程傳感器的圖像和數(shù)據(jù)融合，以便通過(guò)所述瀏覽器傳送給終端用戶。2.如權(quán)利要求1所述的無(wú)人機(jī)數(shù)據(jù)管理系統(tǒng)，其中所述編碼廣播設(shè)備包括用來(lái)存儲(chǔ)直播編碼數(shù)據(jù)并附帶選擇的分析功能的本地?cái)?shù)據(jù)緩存。3.如權(quán)利要求1所述的無(wú)人機(jī)數(shù)據(jù)管理系統(tǒng)，還包括用戶身份認(rèn)證，以使所述編碼廣播設(shè)備能夠通過(guò)互聯(lián)網(wǎng)向認(rèn)證用戶傳輸無(wú)人機(jī)直播視頻，以及接收來(lái)自認(rèn)證用戶的通信信息。4.如權(quán)利要求1所述的無(wú)人機(jī)數(shù)據(jù)管理系統(tǒng)，其中至少一個(gè)移動(dòng)設(shè)備的用戶能夠與直接來(lái)自互聯(lián)網(wǎng)或移動(dòng)網(wǎng)絡(luò)連接的無(wú)人機(jī)視頻互動(dòng)。5.如權(quán)利要求1所述的無(wú)人機(jī)數(shù)據(jù)管理系統(tǒng)，其中系統(tǒng)從所述信號(hào)編碼廣播設(shè)備向所述系統(tǒng)管理器提供活動(dòng)或者直播視頻。6.—個(gè)數(shù)據(jù)管理系統(tǒng)，包括: 集成服務(wù)器，其位于互聯(lián)網(wǎng)云處； 存檔內(nèi)存，其連接到所述集成服務(wù)器，用于存儲(chǔ)與MISP兼容的傳輸流信號(hào)，并且內(nèi)嵌KLV元數(shù)據(jù)； 本地高速緩存內(nèi)存； 本地WiFi連接；以及 信號(hào)編碼廣播設(shè)備，其具有多個(gè)傳感器輸入，用于通過(guò)WiFi連接把編碼的直播視頻傳輸?shù)剿霰镜馗咚倬彺妫阎辈ヒ曨l傳輸?shù)剿黾煞?wù)器，以及把高質(zhì)量的上傳內(nèi)容流入所述存檔內(nèi)存。7.如權(quán)利要求6所述的數(shù)據(jù)管理系統(tǒng)，還包括在所述集成服務(wù)器和所述編碼廣播設(shè)備之間的蜂窩鏈路，用來(lái)傳輸和接收在所述服務(wù)器和所述編碼廣播設(shè)備之間的加密數(shù)據(jù)。8.如權(quán)利要求6所述的數(shù)據(jù)管理系統(tǒng)，其中所述集成服務(wù)器作為傳感器數(shù)據(jù)管理器平臺(tái)，以便通過(guò)基于網(wǎng)絡(luò)的接口，為用戶提供分析功能和一鍵上傳功能。9.如權(quán)利要求6所述的數(shù)據(jù)管理系統(tǒng)，還包括本地內(nèi)容傳輸網(wǎng)絡(luò)，其通過(guò)固定電話或互聯(lián)網(wǎng)與所述集成服務(wù)器通信。10.如權(quán)利要求9所述的數(shù)據(jù)管理系統(tǒng)，其中所述本地內(nèi)容傳輸網(wǎng)絡(luò)還包括能夠與所述集成服務(wù)器通信的工作站、服務(wù)器和移動(dòng)單元。11.一個(gè)多傳感器數(shù)據(jù)管理系統(tǒng)，包括: 多個(gè)傳感器源，其連接到信號(hào)傳輸設(shè)備； 傳輸連接，其從傳輸設(shè)備到基于互聯(lián)網(wǎng)的服務(wù)器； 數(shù)據(jù)管理單元，其允許不同的用戶通過(guò)互聯(lián)網(wǎng)云訪問(wèn)多個(gè)傳感器的數(shù)據(jù)；以及 接口，其為用戶提供對(duì)來(lái)自互聯(lián)網(wǎng)或移動(dòng)網(wǎng)絡(luò)連接設(shè)備的多個(gè)傳感器數(shù)據(jù)進(jìn)行數(shù)據(jù)搜索和共享功能。12.如權(quán)利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，其中所述多個(gè)傳感器源包括無(wú)人機(jī)視頻、照片、交通攝像頭，固定監(jiān)控?cái)z像頭，1S和安卓設(shè)備照片，文本，電子郵件以及Twitter、Instagram 和 Facebook 的數(shù)據(jù)。13.如權(quán)利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括作為插件模塊或基于存儲(chǔ)的應(yīng)用被提供給所述管理器單元的分析工具。14.如權(quán)利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，其中所述管理器單元包括動(dòng)態(tài)監(jiān)測(cè)工具，其用來(lái)把區(qū)域性特定的法律和規(guī)定應(yīng)用于地理空間映射傳感器數(shù)據(jù)，以使某些數(shù)據(jù)在應(yīng)用適用法律和規(guī)定作分析時(shí)具有合法性。15.如權(quán)利要求14所述的多傳感器數(shù)據(jù)管理系統(tǒng)，其中所述規(guī)定包括當(dāng)?shù)睾蛧?guó)家的警方對(duì)證據(jù)的要求。16.如權(quán)利要求14所述的多傳感器數(shù)據(jù)管理系統(tǒng)，其中所述規(guī)定包括隱私規(guī)定，法規(guī)包括HIPAA。17.如權(quán)利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括事件管理器，其包括多個(gè)協(xié)作區(qū)域、提醒消息和特定于任務(wù)的索引。18.如權(quán)利要求11所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括: 映射單元，其用于把來(lái)自所述多個(gè)傳感器源的數(shù)據(jù)用地理空間表示并加上坐標(biāo)，變成實(shí)時(shí)在線地圖；以及 時(shí)間軸單元，其用于把來(lái)自映射傳感器源的數(shù)據(jù)集成到時(shí)間軸上顯示，顯示的坐標(biāo)上還帶有傳感器類(lèi)型，傳感器距離和傳感器數(shù)據(jù)的時(shí)間。19.如權(quán)利要求18所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括證據(jù)鎖定單元，其用于基于用戶對(duì)數(shù)據(jù)專(zhuān)門(mén)規(guī)定的規(guī)則的成功應(yīng)用來(lái)測(cè)試和存儲(chǔ)時(shí)間軸集成的數(shù)據(jù)。20.如權(quán)利要求19所述的多傳感器數(shù)據(jù)管理系統(tǒng)，還包括證據(jù)映射單元，其用于用連接所述地理空間映射數(shù)據(jù)元素的線重繪地圖，以便重建多個(gè)所述傳感器數(shù)據(jù)關(guān)聯(lián)的蹤跡，所述地理空間映射數(shù)據(jù)元素儲(chǔ)存在所述證據(jù)鎖定單元中。
【文檔編號(hào)】H04N7/20GK105917647SQ201480068288
【公開(kāi)日】2016年8月31日
【申請(qǐng)日】2014年11月14日
【發(fā)明人】詹森·巴頓, 喬恩·加斯托
【申請(qǐng)人】Ksi數(shù)據(jù)科技公司