基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法
【專利摘要】基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法，設(shè)置監(jiān)測系統(tǒng)進行監(jiān)測，監(jiān)測系統(tǒng)包括視頻采集端、服務(wù)器端和視頻播放端，所述視頻采集端、服務(wù)器端和視頻播放端通過網(wǎng)絡(luò)連接，智能移動終端采集現(xiàn)場視頻數(shù)據(jù)，將視頻數(shù)據(jù)與對應(yīng)上下文數(shù)據(jù)傳輸至服務(wù)器端，視頻播放端通過網(wǎng)絡(luò)連接服務(wù)器端，調(diào)看視頻，實現(xiàn)現(xiàn)場監(jiān)測。本發(fā)明可以靈活方便地在任何時候任何地點進行實時的視頻采集及傳輸，并且集成了現(xiàn)場視頻位置信息等上下文感知信息，減小交互瓶頸，使得用戶不再需要人為地對視頻進行分類、添加備注，方便于對視頻進行搜索分析，使得系統(tǒng)具有更強的適應(yīng)性；采用混合方式的3G手機視頻傳輸QOS策略，視頻質(zhì)量好，畫面流暢。
【專利說明】基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于電子通信【技術(shù)領(lǐng)域】，涉及安防技術(shù)，具體為一種基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法。
【背景技術(shù)】
[0002]上下文感知技術(shù)是物聯(lián)網(wǎng)和智能交互的基礎(chǔ)，這里的上下文感知指的是能夠用于客戶用戶狀態(tài)的一切信息。隨著傳感技術(shù)的發(fā)展，基于上下文感知計算逐步進入到辦公、家居、交通、旅游、移動計算、醫(yī)療衛(wèi)生等多個領(lǐng)域。而智能手機已經(jīng)集成了 GPS模塊、攝像頭、麥克風(fēng)、重力加速器、陀螺儀、光傳感器、溫度傳感器等模塊，通過智能手機多傳感器配合很容易獲取用戶的上下文信息，比如位置、行為狀態(tài)、周邊環(huán)境等。同時3G網(wǎng)絡(luò)也得到廣泛應(yīng)用，理論上已經(jīng)可達到2M以上上行速度，基本上能滿足H.264編碼的視頻傳輸需求。利用智能手機攝像頭采集并傳輸現(xiàn)場，并將位置信息向遠端提供實時現(xiàn)場視頻，能迅速構(gòu)建低成本低廉的現(xiàn)場環(huán)境監(jiān)測系統(tǒng)，在突發(fā)事件應(yīng)急指揮，交通數(shù)據(jù)采集，新聞采訪等領(lǐng)域都有廣泛的應(yīng)用。
[0003]隨著3G無線網(wǎng)絡(luò)技術(shù)、數(shù)字視頻壓縮技術(shù)的發(fā)展，移動視頻監(jiān)控已經(jīng)成為監(jiān)控領(lǐng)域的重要組成部分，而監(jiān)控本身也向著移動化、智能化方向發(fā)展。但是，鑒于目前的視頻監(jiān)控系統(tǒng)服務(wù)信息單一、實時視頻畫面不清晰的局限性，相關(guān)人員的流動性及數(shù)據(jù)分析的深入化等多方面的因素，現(xiàn)在的網(wǎng)絡(luò)視頻監(jiān)控的系統(tǒng)或現(xiàn)有的無線網(wǎng)絡(luò)監(jiān)控系統(tǒng)已經(jīng)不能滿足用戶日益增長的多元化的需求。對于基于網(wǎng)絡(luò)平臺的視頻監(jiān)控平臺，不再適應(yīng)于例如突發(fā)視頻應(yīng)急指揮這樣對靈活性及及時性要求高的需求，而且對監(jiān)控視頻的分析處理也不能滿足深度分析的需求，總得來說，現(xiàn)在的視頻監(jiān)控系統(tǒng)存在以下缺點:
[0004](I)對現(xiàn)場上下文件感知度低，在海量信息檢索、事件追溯等方面應(yīng)用受到很大的限制，并且可擴展性比較差；
[0005](2)實時視頻傳輸受3G網(wǎng)絡(luò)信號限制，常因丟包而出現(xiàn)圖像花屏，延遲較大，圖像不連續(xù)等問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的問題是:現(xiàn)有移動視頻監(jiān)控系統(tǒng)對現(xiàn)場上下文件感知度低，可擴展性比較差，不能滿足使用需求；另外，實時視頻傳輸受網(wǎng)絡(luò)信號限制，容易出現(xiàn)丟包、延遲、圖像不連續(xù)等問題。
[0007]本發(fā)明的技術(shù)方案為:基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法，設(shè)置監(jiān)測系統(tǒng)進行監(jiān)測，監(jiān)測系統(tǒng)包括視頻采集端、服務(wù)器端和視頻播放端，所述視頻采集端、服務(wù)器端和視頻播放端通過網(wǎng)絡(luò)連接,其中
[0008]視頻采集端采用智能移動終端設(shè)備，包括3G智能手機和平板，智能移動終端設(shè)備設(shè)有攝像頭，采集視頻數(shù)據(jù)，智能移動終端設(shè)備自身的傳感器配合感知現(xiàn)場的對應(yīng)上下文數(shù)據(jù)；智能移動終端設(shè)備通過3G網(wǎng)絡(luò)將視頻數(shù)據(jù)與對應(yīng)上下文數(shù)據(jù)傳輸至服務(wù)器端，上下文數(shù)據(jù)結(jié)合視頻參數(shù)生成的XML視頻摘要和視頻數(shù)據(jù)中的I幀使用面向連接的TCP連接，視頻數(shù)據(jù)中的P幀使用UDP傳輸；
[0009]服務(wù)器端提供數(shù)據(jù)存儲、視頻流生成及視頻調(diào)看服務(wù)的功能，服務(wù)器端將由視頻采集端接收到的視頻數(shù)據(jù)打包成RTSP流，并構(gòu)造Web直播服務(wù)器，視頻數(shù)據(jù)的地址與對應(yīng)上下文信息存儲在服務(wù)器端的數(shù)據(jù)庫中，通過Web直播服務(wù)器的視頻列表界面與服務(wù)調(diào)用接口向視頻播放端提供視頻查詢與播放服務(wù)；
[0010]所述現(xiàn)場監(jiān)測方法具體為:智能移動終端采集現(xiàn)場視頻數(shù)據(jù)，通過預(yù)錄不同分辨率的本地文件獲取視頻參數(shù)，并在智能移動終端進行存儲，將攝像頭采集到的視頻數(shù)據(jù)重定向到本地Socket端口，再從本地Socket端口截獲數(shù)據(jù)，從而得到實時網(wǎng)絡(luò)視頻數(shù)據(jù)流；提取視頻數(shù)據(jù)的關(guān)鍵幀I幀，與智能移動終端設(shè)備自身的其它傳感器感知到的現(xiàn)場位置、溫度，結(jié)合視頻參數(shù)，生成XML摘要；視頻采集端將數(shù)據(jù)傳輸至服務(wù)器端，視頻播放端通過網(wǎng)絡(luò)連接服務(wù)器端，調(diào)看視頻，實現(xiàn)現(xiàn)場監(jiān)測。
[0011 ] 對智能移動終端設(shè)備的視頻數(shù)據(jù)采用混合方式的3G視頻傳輸QOS策略，包括本地?zé)o損存儲、TCP與UPD混合傳輸、丟幀及自適應(yīng)碼流調(diào)整:
[0012]I)、本地?zé)o損存儲流，在智能移動終端設(shè)備的存儲器中設(shè)置一個固定存儲空間，循環(huán)保存無丟包的視頻，在W1-Fi或USB條件下，再通過IP網(wǎng)絡(luò)將存儲的視頻數(shù)據(jù)轉(zhuǎn)存至服務(wù)器端；
[0013]2),TCP與UDP混合傳輸，采用TCP協(xié)議與UDP協(xié)議混合傳輸視頻數(shù)據(jù)，TCP協(xié)議用于傳輸視頻數(shù)據(jù)的I幀、視頻參數(shù)及控制指令，UPD協(xié)議用于傳輸視頻數(shù)據(jù)的P幀；
[0014]3)、丟幀，當(dāng)智能移動終端設(shè)備的網(wǎng)絡(luò)發(fā)送速率S小于視頻采集碼流K，并持續(xù)5s以上，啟動丟幀，丟棄一些P幀用于改善因短時網(wǎng)絡(luò)質(zhì)量原因造成的阻塞問題；
[0015]4)、自適應(yīng)碼流調(diào)整，當(dāng)智能移動終端設(shè)備的網(wǎng)絡(luò)發(fā)送速率持續(xù)小于視頻編碼速度時，判定為帶寬容量不夠，此時采取改變分辨率與幀率的方法自適應(yīng)調(diào)整攝像頭采集碼流:分辨率調(diào)整按CIF — QVGA — QCIF順序調(diào)整，幀率改變使用TCP傳輸模型中的加法增加倍數(shù)減少AIMD擁塞控制算法，當(dāng)網(wǎng)絡(luò)傳輸被判定為輕載時，加性嘗試增加幀率，當(dāng)擁堵時，乘性減少幀率。
[0016]進一步的，視頻傳輸QOS策略實施時，計算智能移動終端設(shè)備當(dāng)前編碼條件下的碼流K，并實時監(jiān)聽智能移動終端設(shè)備的線程網(wǎng)絡(luò)發(fā)送流量S，當(dāng)S持續(xù)小于K時，產(chǎn)生網(wǎng)絡(luò)阻塞，采用狀態(tài)監(jiān)聽計時的方法進行碼流調(diào)節(jié)，分別取C1=0.85、C2=0.5、C3=0.25作為丟幀、降幀率及改變分辨的閾值，當(dāng)S〈CiK，i=l，2，3時，啟動計時器，達到5s后，依次啟動丟幀、丟幀、降幀率及改變分辨率的策略。
[0017]本發(fā)明智能移動終端設(shè)備感知的對應(yīng)上下文數(shù)據(jù)源于外部上下文和內(nèi)部傳感器，外部上下文包括網(wǎng)絡(luò)環(huán)境、用戶交互及系統(tǒng)時間，內(nèi)部傳感器包括GPS/W1-Fi接入、加速器、陀螺儀、攝像頭和麥克風(fēng)，所述內(nèi)部傳感器捕獲智能移動終端設(shè)備持有者所在位置與方向，出行模式及周邊圖像與聲音環(huán)境。
[0018]進一步的，所述視頻采集端采集的視頻數(shù)據(jù)為H.264視頻流數(shù)據(jù)。
[0019]本發(fā)明視頻播放端包括計算機PC、智能手機和平板電腦，視頻播放界面包括視頻播放器和瀏覽器。
[0020]智能移動終端采集現(xiàn)場視頻數(shù)據(jù)時，通過預(yù)錄不同分辨率的本地文件獲取視頻參數(shù)，不同分辨率包括CIF (Common Intermediate Format,標(biāo)準(zhǔn)化圖像格式)、QCIF (Quartercommon intermediate format 四分之一標(biāo)準(zhǔn)化圖像格式)和 QVGA (Video Graphics Array四分之一視頻圖形陣列)。
[0021]本發(fā)明針對現(xiàn)有移動視頻監(jiān)控系統(tǒng)，特別是對現(xiàn)有交通網(wǎng)的監(jiān)控存在的不足，提供并實現(xiàn)一種基于上下文感知的智能手機交通現(xiàn)場視頻采集與傳輸方案，可以靈活方便地在任何時候任何地點進行實時的視頻采集及傳輸，并且集成了現(xiàn)場視頻位置信息等上下文感知信息，極大地減小用戶注意力以及交互瓶頸，使得用戶不再需要人為地對視頻進行分類、添加備注，系統(tǒng)會根據(jù)上下文感知信息自動生成，這樣分類機標(biāo)簽統(tǒng)一，也方便于對視頻進行搜索分析，使得系統(tǒng)具有更強的適應(yīng)性。本發(fā)明還利用上下文感知技術(shù)，結(jié)合監(jiān)控視頻而生成視頻摘要，在海量信息檢索、事件追溯等方面應(yīng)用廣泛，如應(yīng)急事件處理過程中的事故位置，交通違法舉證中的速度等。進一步的，本發(fā)明采用混合方式的3G手機視頻傳輸QOS策略，視頻質(zhì)量好，畫面比較流暢。
【專利附圖】

【附圖說明】
[0022]圖1是本發(fā)明中智能移動終端信息采集與服務(wù)系統(tǒng)的架構(gòu)圖；
[0023]圖2是智能手機上下文感知的框架圖；
[0024]圖3是Android手機H.264視頻流提取的流程圖；
[0025]圖4是帶上下文信息的手機視頻摘要示意圖；
[0026]圖5是3G手機視頻QOS保證的流程圖。
【具體實施方式】
[0027]本發(fā)明方法通過設(shè)置監(jiān)測系統(tǒng)進行監(jiān)測，監(jiān)測系統(tǒng)包括視頻采集端、服務(wù)器端和視頻播放端，所述視頻采集端、服務(wù)器端和視頻播放端通過網(wǎng)絡(luò)連接，其架構(gòu)圖如圖1所示。其中:
[0028]視頻采集端采用智能移動終端設(shè)備，包括3G智能手機和平板，智能移動終端設(shè)備設(shè)有攝像頭，攝像頭充當(dāng)攝像機功能，采集視頻數(shù)據(jù)，智能移動終端設(shè)備自身的傳感器配合感知現(xiàn)場的對應(yīng)上下文數(shù)據(jù)；智能移動終端設(shè)備通過3G網(wǎng)絡(luò)將視頻數(shù)據(jù)與對應(yīng)上下文數(shù)據(jù)傳輸至服務(wù)器端，視頻摘要信息和關(guān)鍵幀使用可靠的TCP連接，視頻數(shù)據(jù)中的P幀使用UDP傳輸；從視頻清晰度考慮，所述視頻采集端采集的視頻數(shù)據(jù)優(yōu)選為H.264視頻流數(shù)據(jù)；
[0029]服務(wù)器端提供數(shù)據(jù)存儲、視頻流生成及視頻調(diào)看服務(wù)的功能，服務(wù)器端將由視頻采集端接收到的視頻數(shù)據(jù)打包成RTSP流，并構(gòu)造Web直播服務(wù)器，視頻數(shù)據(jù)的地址與對應(yīng)上下文信息存儲在服務(wù)器端的數(shù)據(jù)庫中，通過Web直播服務(wù)器的視頻列表界面與服務(wù)調(diào)用接口向視頻播放端提供視頻查詢與播放服務(wù)；
[0030]所述現(xiàn)場監(jiān)測方法具體為:智能移動終端設(shè)備采集現(xiàn)場視頻數(shù)據(jù)，通過預(yù)錄不同分辨率的本地文件獲取視頻參數(shù)，并在智能移動終端進行存儲，采用視頻文件存儲重定位方法，將攝像頭采集到的視頻數(shù)據(jù)重定向到本地Socket端口，再從本地Socket端口截獲數(shù)據(jù)，從而得到實時網(wǎng)絡(luò)視頻數(shù)據(jù)流；提取視頻數(shù)據(jù)的關(guān)鍵幀，與智能移動終端設(shè)備自身的其它傳感器感知到的現(xiàn)場位置、溫度，結(jié)合視頻參數(shù)，生成XML摘要；視頻采集端將數(shù)據(jù)傳輸至服務(wù)器端，視頻播放端通過網(wǎng)絡(luò)連接服務(wù)器端，調(diào)看視頻，實現(xiàn)現(xiàn)場監(jiān)測。[0031]本發(fā)明智能移動終端設(shè)備的上下文感知的框架，如圖2所示，以智能手機為例，上下文感知源主要來自外部上下文和內(nèi)部傳感器，前者包括網(wǎng)絡(luò)環(huán)境、用戶交互及系統(tǒng)時間等，后者主要包括GPS/W1-Fi接入、加速器、陀螺儀、攝像頭/麥克風(fēng)等，這些傳感器可以捕獲手機持有者所在位置與方向，出行模式及周邊圖像與聲音環(huán)境。一般來說，智能手機環(huán)境上下文感知包括下面幾個步驟:1)信息采集，通過傳感器采集數(shù)據(jù)，如經(jīng)偉度、三維重力變化、視頻/音頻；2)上下文數(shù)據(jù)存儲，數(shù)據(jù)存儲在本地SD卡或通過網(wǎng)絡(luò)發(fā)送到遠端服務(wù)器；
3)數(shù)據(jù)分析，通過模式識別、匹配，數(shù)據(jù)融合等技術(shù)手段，提取上下文數(shù)據(jù)的實際意義，如通過加速器參數(shù)的X，y, z三個軸變化規(guī)律識別手機持有者的出行狀態(tài)，通過GPS位置變化與時間差獲得速度等；4)信息表示，將上下文信息以可理解位置信息、行動模式、視/音頻流等上下文語義形式，并在人機界面中進行呈現(xiàn)或作為其他系統(tǒng)的參數(shù)輸入，如地圖上的位置標(biāo)注或作為某個程序模塊的觸發(fā)參數(shù)等。通過地理位置、行為模式、網(wǎng)絡(luò)接入方式等多種上下文融合后的信息輸出，可作為智能設(shè)備現(xiàn)場感知的觸發(fā)條件或控制輸入，減少用戶操作干預(yù)動作，提高設(shè)備或軟件的智能性。
[0032]這里以安卓智能手機再進一步說明本發(fā)明的實施，智能移動終端設(shè)備即安卓手機采用Android系統(tǒng)Camera接口方案采集H.264視頻數(shù)據(jù)。視頻參數(shù)SPS (SequenceParameter Set,序列參數(shù)集)/PPS (Picture Parameter Set,圖像參數(shù)集)是 H.264 視頻解碼的依據(jù)，不同圖像分辨率的圖像參數(shù)都有區(qū)別，實時ES (Elementary Stream,基本碼流)流中需要定期發(fā)送序列參數(shù)集SPS/圖像參數(shù)集PPS參數(shù)。在本發(fā)明中，通過預(yù)錄CIF/QCIF/QVGA等不同分辨率的本地文件獲取視頻參數(shù)，并在手機端進行存儲，不同分辨率分別為標(biāo)準(zhǔn)化圖像格式CIF (Common Intermediate Format)、四分之一標(biāo)準(zhǔn)化圖像格式QCIF(Quarter common intermediate format)和四分之一視頻圖形陣列 QVGA(Video GraphicsArray)。為了獲取實時網(wǎng)絡(luò)發(fā)送流，將攝像頭采集的視頻數(shù)據(jù)重定向到本地Socket端口，再從本地Socket端口截獲數(shù)據(jù)，從而得到實時網(wǎng)絡(luò)視頻數(shù)據(jù)流，工作流程如圖3所示。
[0033]本發(fā)明提取H.264視頻流的關(guān)鍵幀I幀，與手機感知到的現(xiàn)場位置、溫度，結(jié)合視頻參數(shù)，生成XML摘要，摘要文檔結(jié)構(gòu)如圖4所示。
[0034]3G信號質(zhì)量受到基站位置部署、天氣狀況和終端密集程度等多種因素影響，無線傳輸?shù)膩G包率較大，如果丟失H.2641幀，會造成嚴重的圖像失真和馬賽克。
[0035]本發(fā)明提出一種混合方式的3G手機視頻傳輸QOS策略，具體做法包括本地?zé)o損存儲、TCP與UPD混合傳輸、丟幀及自適應(yīng)調(diào)整。
[0036](I)本地?zé)o損存儲流。在手機存儲卡開辟一個固定存儲空間，循環(huán)保存無丟包的視頻，在W1-Fi或USB條件下，再通過IP網(wǎng)絡(luò)轉(zhuǎn)存至服務(wù)器。
[0037](2) TCP與UDP混合傳輸。H.264編碼視頻參數(shù)與I幀非常重要，視頻參數(shù)錯誤會導(dǎo)致無法解碼，I幀錯誤會產(chǎn)生嚴重馬賽克，且會導(dǎo)致錯誤擴散。為了保證傳輸質(zhì)量，采用TCP與UDP混合傳輸，TCP傳輸傳輸I幀、視頻參數(shù)及控制指令，UPD傳輸P幀。
[0038](3)丟幀。當(dāng)網(wǎng)絡(luò)發(fā)送速率小于視頻采集碼流時，會導(dǎo)致緩存數(shù)量增加，造成Socket阻塞。此時，適當(dāng)丟棄一些P幀，如圖5，有利于改善因短時網(wǎng)絡(luò)質(zhì)量原因(基站切換、瞬間干擾、運動遮擋等)造成的阻塞問題，這里丟幀數(shù)可根據(jù)智能移動終端的實際情況進行設(shè)定。
[0039](4)自適應(yīng)碼流調(diào)整。當(dāng)網(wǎng)絡(luò)發(fā)送速率持續(xù)小于視頻編碼速度時，可判定為帶寬容量不夠，此時，簡單丟幀行為不能改善視頻質(zhì)量。采取改變分辨率與幀率的方法，自適應(yīng)調(diào)整攝像頭采集碼流。分辨率調(diào)整按CIF — QVGA — QCIF順序調(diào)整，幀率改變采用TCP傳輸模型中著名的 AIMD(Additive Increase Multiplicative Decrease)算法，當(dāng)網(wǎng)絡(luò)傳輸被判定為輕載時，加性嘗試增加幀率，當(dāng)擁堵時，乘性減少幀率。
[0040]上述QOS算法具體實現(xiàn)過程如圖5所示，計算當(dāng)前編碼條件下碼流K，并實時監(jiān)聽線程網(wǎng)絡(luò)發(fā)送流量S，當(dāng)S持續(xù)小于K時，會造成緩存區(qū)內(nèi)數(shù)據(jù)累積或溢出，最終導(dǎo)致阻塞?？紤]3G網(wǎng)絡(luò)傳輸經(jīng)常產(chǎn)生瞬時網(wǎng)絡(luò)質(zhì)量下降，我們狀態(tài)監(jiān)聽計時的方法進行碼流調(diào)節(jié)。分別取C1=0.85、C2=0.5、C3=0.25作為丟幀、降幀率及改變分辨的閾值，當(dāng)S〈CiK，i=l，2，3時，啟動計時器，達到5s后，依次啟動丟幀、丟幀、降幀率及改變分辨率的策略。
[0041]本發(fā)明結(jié)合上下文感知技術(shù)，生成監(jiān)控視頻而生成的視頻摘要，在海量信息檢索、事件追溯等方面應(yīng)用廣泛，如應(yīng)急事件處理過程中的事故位置，交通違法舉證中的速度等，并極大地減小用戶注意力以及交互瓶頸，使得系統(tǒng)具有更強的適應(yīng)性。
【權(quán)利要求】
1.基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法，其特征是設(shè)置監(jiān)測系統(tǒng)進行監(jiān)測，監(jiān)測系統(tǒng)包括視頻采集端、服務(wù)器端和視頻播放端，所述視頻采集端、服務(wù)器端和視頻播放端通過網(wǎng)絡(luò)連接，其中 視頻采集端采用智能移動終端設(shè)備，包括3G智能手機和平板，智能移動終端設(shè)備設(shè)有攝像頭，采集視頻數(shù)據(jù)，智能移動終端設(shè)備自身的傳感器配合感知現(xiàn)場的對應(yīng)上下文數(shù)據(jù)；智能移動終端設(shè)備通過3G網(wǎng)絡(luò)將視頻數(shù)據(jù)與對應(yīng)上下文數(shù)據(jù)傳輸至服務(wù)器端，上下文數(shù)據(jù)結(jié)合視頻參數(shù)生成的XML視頻摘要和視頻數(shù)據(jù)中的I幀使用面向連接的TCP連接，視頻數(shù)據(jù)中的P幀使用m)P傳輸； 服務(wù)器端提供數(shù)據(jù)存儲、視頻流生成及視頻調(diào)看服務(wù)的功能，服務(wù)器端將由視頻采集端接收到的視頻數(shù)據(jù)打包成RTSP流，并構(gòu)造Web直播服務(wù)器，視頻數(shù)據(jù)的地址與對應(yīng)上下文信息存儲在服務(wù)器端的數(shù)據(jù)庫中，通過Web直播服務(wù)器的視頻列表界面與服務(wù)調(diào)用接口向視頻播放端提供視頻查詢與播放服務(wù)； 所述現(xiàn)場監(jiān)測方法具體為:智能移動終端采集現(xiàn)場視頻數(shù)據(jù)，通過預(yù)錄不同分辨率的本地文件獲取視頻參數(shù)，并在智能移動終端進行存儲，將攝像頭采集到的視頻數(shù)據(jù)重定向到本地Socket端口，再從本地Socket端口截獲數(shù)據(jù)，從而得到實時網(wǎng)絡(luò)視頻數(shù)據(jù)流；提取視頻數(shù)據(jù)的關(guān)鍵幀I幀，與智能移動終端設(shè)備自身的其它傳感器感知到的現(xiàn)場位置、溫度，結(jié)合視頻參數(shù)，生成XML摘要；視頻采集端將數(shù)據(jù)傳輸至服務(wù)器端，視頻播放端通過網(wǎng)絡(luò)連接服務(wù)器端，調(diào)看視頻，實現(xiàn)現(xiàn)場監(jiān)測。
2.根據(jù)權(quán)利要求1所述的基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法，其特征是對智能移動終端設(shè)備的視頻數(shù)據(jù)采用混合方式的3G視頻傳輸QOS策略，包括本地?zé)o損存儲、TCP與UPD混合傳輸、丟幀及自適應(yīng)碼流調(diào)整: 1)、本地?zé)o損存儲流，在智能移動終端設(shè)備的存儲器中設(shè)置一個固定存儲空間，循環(huán)保存無丟包的視頻，在W1-Fi或USB條件下，再通過IP網(wǎng)絡(luò)將存儲的視頻數(shù)據(jù)轉(zhuǎn)存至服務(wù)器端; 2)、TCP與UDP混合傳輸，采用TCP協(xié)議與UDP協(xié)議混合傳輸視頻數(shù)據(jù)，TCP協(xié)議用于傳輸視頻數(shù)據(jù)的I幀、視頻參數(shù)及控制指令，UPD協(xié)議用于傳輸視頻數(shù)據(jù)的P幀； 3)、丟幀，當(dāng)智能移動終端設(shè)備的網(wǎng)絡(luò)發(fā)送速率S小于視頻采集碼流K，并持續(xù)5s以上，啟動丟幀，丟棄一些P幀用于改善因短時網(wǎng)絡(luò)質(zhì)量原因造成的阻塞問題； 4)、自適應(yīng)碼流調(diào)整，當(dāng)智能移動終端設(shè)備的網(wǎng)絡(luò)發(fā)送速率持續(xù)小于視頻編碼速度時，判定為帶寬容量不夠，此時采取改變分辨率與幀率的方法自適應(yīng)調(diào)整攝像頭采集碼流:分辨率調(diào)整按CIF — QVGA — QCIF順序調(diào)整，幀率改變使用TCP傳輸模型中的加法增加倍數(shù)減少AIMD擁塞控制算法，當(dāng)網(wǎng)絡(luò)傳輸被判定為輕載時，加性嘗試增加幀率，當(dāng)擁堵時，乘性減少幀率。
3.根據(jù)權(quán)利要求2所述的基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法，其特征是視頻傳輸QOS策略實施時，計算智能移動終端設(shè)備當(dāng)前編碼條件下的碼流K，并實時監(jiān)聽智能移動終端設(shè)備的線程網(wǎng)絡(luò)發(fā)送流量S，當(dāng)S持續(xù)小于K時，產(chǎn)生網(wǎng)絡(luò)阻塞，采用狀態(tài)監(jiān)聽計時的方法進行碼流調(diào)節(jié)，分別取C1=0.85,C2=0.5,C3=0.25作為丟幀、降幀率及改變分辨的閾值，當(dāng)S〈CiK，i=l，2，3時，啟動計時器，達到5s后，依次啟動丟幀、丟幀、降幀率及改變分辨率的策略。
4.根據(jù)權(quán)利要求1或2或3所述的基于上下文感知的智能移動終端現(xiàn)場監(jiān)測方法，其特征是智能移動終端設(shè)備感知的對應(yīng)上下文數(shù)據(jù)源于外部上下文和內(nèi)部傳感器，外部上下文包括網(wǎng)絡(luò)環(huán)境、用戶交互及系統(tǒng)時間，內(nèi)部傳感器包括GPS/W1-Fi接入、加速器、陀螺儀、攝像頭和麥克風(fēng)，所述內(nèi)部傳感器捕獲智能移動終端設(shè)備持有者所在位置與方向，出行模式及周邊圖像與聲音環(huán)境。
5.根據(jù)權(quán)利要求1或2或3所述的基于上下文感知的智能手機現(xiàn)場監(jiān)測方法，其特征是所述視頻采集端采集的視頻數(shù)據(jù)為H.264視頻流數(shù)據(jù)。
6.根據(jù)權(quán)利要求1或2或3所述的基于上下文感知的智能手機現(xiàn)場監(jiān)測方法，其特征是視頻播放端包括計算機PC、智能手機和平板電腦，視頻播放界面包括視頻播放器和瀏覽器。
7.根據(jù)權(quán)利要求1或2或3所述的基于上下文感知的智能手機現(xiàn)場監(jiān)測方法，其特征是智能移動終端采集現(xiàn)場視頻數(shù)據(jù)時，通過預(yù)錄不同分辨率的本地文件獲取視頻參數(shù)，不同分辨率包括標(biāo)準(zhǔn)化圖像格式CIF、四分之一標(biāo)準(zhǔn)化圖像格式QCIF和四分之一視頻圖形陣列 QVG A。
【文檔編號】H04N19/00GK103716584SQ201310633880
【公開日】2014年4月9日 申請日期:2013年11月30日 優(yōu)先權(quán)日:2013年11月30日
【發(fā)明者】阮雅端, 陳湘軍, 陳飛玲, 施靜靜, 郁建橋, 陳啟美 申請人:南京大學(xué)