專利名稱：基于優(yōu)化h.264編碼標準的手機視頻監(jiān)視裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及手機視頻監(jiān)視，更具體地說，涉及一種基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視裝置及方法。
背景技術(shù)：
H. 264是一種高性能的視頻編解碼技術(shù)。H. 264最大的優(yōu)勢是具有很高的數(shù)據(jù)壓縮比率，在同等圖像質(zhì)量的條件下，H. 264的壓縮比是MPEG-2的2倍以上，是MPEG-4的1.5 2倍。與此同時，H.264在具有高壓縮比的同時還擁有高質(zhì)量流暢的圖像。
目前，公知的攝像裝置都是采用基于同軸電纜的有線傳輸或者2. 4GHZ的無線通信方法，只能傳輸幾百米的距離，這樣限制了使用范圍。而支持遠程視頻傳輸?shù)腝Q攝像裝置需要計算機及其相關(guān)軟件的支持，在使用時間與方式上很不方便。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)的上述攝像裝置不能方便地、全天候地實現(xiàn)遠距離傳輸?shù)娜毕?，提供一種基于優(yōu)化H.264編碼標準的手機視頻監(jiān)視裝置及方法。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是構(gòu)造一種基于優(yōu)化H.264編碼標準的手機視頻監(jiān)視裝置，包括
音頻數(shù)字化模塊及視頻數(shù)字化模塊，分別對獲取的音頻信號及視頻信號進行數(shù)字化采樣；
與所述視頻數(shù)字化模塊及音頻數(shù)字化模塊連接的音視頻處理與壓縮模塊，用于對視頻信號進行降噪處理及采用優(yōu)化的H.264壓縮算法對視頻數(shù)據(jù)進行壓縮，采用優(yōu)化的AMR算法對音頻數(shù)據(jù)進行壓縮，同時在壓縮后的音視頻數(shù)據(jù)中疊加通道號、監(jiān)視日期及時間；
與所述音視頻處理和壓縮模塊連接的網(wǎng)絡(luò)通信接口，用于將壓縮后的音視頻數(shù)據(jù)發(fā)送至遠程手機端，通過相應(yīng)的播放軟件對音視頻信號進行播放。
在本發(fā)明所述的手機視頻監(jiān)視裝置中，所述音視頻處理與壓縮模塊還用
于
建立兩個時間上間隔一定距離的視頻流滑窗w、『2;
將視頻信號的圖像幀/4之前的m幅圖像存入滑窗^ ,當前圖像幀A之后的n幅圖像存入滑窗^;
分別對視頻流滑窗^ 、『2中的圖像4與圖像幀^進行差分；對差值圖像/Z^、 /^2進行與運算，求出交集；融合圖像中的運動目標信息，獲取完整的運動目標。
在本發(fā)明所述的手機視頻監(jiān)視裝置中，所述手機視頻監(jiān)視裝置支持RTP協(xié)議和RTSP協(xié)議，能根據(jù)網(wǎng)絡(luò)信道情況自動切換TCP協(xié)議和UDP協(xié)議；采用面向私網(wǎng)TCP穿透的打洞方式，能根據(jù)網(wǎng)絡(luò)信道情況在QCIF、 CIF及Dl視頻格式之間自動切換。
在本發(fā)明所述的手機視頻監(jiān)視裝置中，所述手機視頻監(jiān)視裝置對視頻信號指定的圖像區(qū)域采用指定的顏色塊填充，對前端輸入的視頻數(shù)據(jù)進行覆蓋填充后再進行降噪處理及采用優(yōu)化的H. 264壓縮算法進行壓縮。
在本發(fā)明所述的手機視頻監(jiān)視裝置中，所述手機視頻監(jiān)視裝置還具有基于TCP5000端口的音頻雙向?qū)χv功能，通過設(shè)置在前端及手機端的音頻通話裝置實現(xiàn)該功能。
在本發(fā)明所述的手機視頻監(jiān)視裝置中，所述手機視頻監(jiān)視裝置還包括基于多幀差分運動目標偵測的自動報警單元，在出現(xiàn)異常情況時，該自動報警單元將視頻圖像和圖片傳輸給手機終端或者通過郵件發(fā)送到手機終端。
在本發(fā)明所述的手機視頻監(jiān)視裝置中，所述手機視頻監(jiān)視裝置還設(shè)有用于自動檢測客戶端來自有線Internet網(wǎng)絡(luò)或者是無線GPRS手機網(wǎng)絡(luò)并能自動調(diào)整碼流以適應(yīng)信道帶寬的偵測單元；當計算機用戶通過Internet網(wǎng)絡(luò)訪問所述視頻監(jiān)視裝置時，偵測單元通過相應(yīng)的客戶端標識碼判斷其網(wǎng)絡(luò)帶寬，并向該
客戶端傳送碼率較大的音視頻數(shù)據(jù)，以保證Internet上計算機端用戶能獲得較好的視頻圖像；當手機端用戶通過GPRS網(wǎng)絡(luò)訪問監(jiān)視裝置時，偵測單元同樣地通過客戶端標識碼檢測出其帶寬情況，并自動向該客戶端傳送碼率較小的音視頻圖像，以保證在無線GPRS網(wǎng)絡(luò)上的手機端用戶能獲得較流暢的視頻圖像。
在本發(fā)明所述的手機視頻監(jiān)視裝置中，所述手機視頻監(jiān)視裝置還包括用于在多種語言之間自動切換的語言切換模塊，根據(jù)用戶所使用操作系統(tǒng)的語言環(huán)境，自動啟動操作系統(tǒng)語言的瀏覽與控制頁面。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是構(gòu)造一種基于優(yōu)化H.264編碼標準的手機視頻監(jiān)視方法，包括以下步驟
Sl 、分別對獲取的音頻信號及視頻信號進行數(shù)字化采樣并傳輸至音視頻處理與壓縮模塊；
52、 對視頻信號進行降噪處理，采用優(yōu)化的H. 264壓縮算法對視頻數(shù)據(jù)進行壓縮，采用優(yōu)化的AMR算法對音頻數(shù)據(jù)進行壓縮，同時在壓縮后的音視頻數(shù)據(jù)中疊加通道號、監(jiān)視日期及時間；
53、 將壓縮后的音視頻數(shù)據(jù)發(fā)送至遠程手機端，通過相應(yīng)的播放軟件對音視頻信號進行播放。
在本發(fā)明所述的手機視頻監(jiān)視方法中，所述手機視頻監(jiān)視方法還包括通過以下步驟實現(xiàn)提前6秒的錄像功能
設(shè)定兩塊緩沖區(qū)A和B，錄制計數(shù)單元x初始化為0， A緩沖區(qū)單獨錄制8S時間的視頻信息，將A緩沖區(qū)劃分為8個相同區(qū)段；
B緩沖區(qū)單獨錄制IS時間的視頻信息，錄制計數(shù)單元x增加1，當?shù)竭_255時，錄制計數(shù)單元x變?yōu)?;
當緩沖區(qū)B錄制完IS視頻信息時，將緩沖區(qū)B中數(shù)據(jù)拷貝到A緩沖區(qū)中的y區(qū)段，y=x Mod 8;
若發(fā)生事件觸發(fā)，則將當前緩沖區(qū)A中數(shù)據(jù)拷貝到目標視頻存儲區(qū)，繼續(xù)進行視頻錄像，并清空緩沖區(qū)A、 B。實施本發(fā)明基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視裝置及方法，具有以下有益效果采用優(yōu)化的 1.264壓縮算法，無需計算機支持，通過網(wǎng)絡(luò)通信接口 (如RJ45接口)支持以太網(wǎng)傳輸，兼容CMOS攝像頭與CCD攝像頭；合法用戶可以瀏覽遠程視頻與控制云臺；可實現(xiàn)遠距離通訊、攝像及視頻監(jiān)視；具有先進可靠的多幀差分運動檢測功能，可有效避免虛檢和漏檢情況的發(fā)生。


下面將結(jié)合附圖及實施例對本發(fā)明作進一步說明，附圖中圖1是本發(fā)明基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視裝置的方框圖；圖2是本發(fā)明的手機視頻監(jiān)視裝置的系統(tǒng)級的示意圖；圖3是本發(fā)明基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視裝置的原理圖；圖4是本發(fā)明的面向私網(wǎng)TCP穿透的打洞方法的示意圖；圖5是本發(fā)明的視頻采集過程的流程圖；圖6是本發(fā)明的視頻采集過程的運動檢測的工作原理圖；圖7是本發(fā)明基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視方法的流程圖；圖8是本發(fā)明基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視方法的運動目標檢測的流程圖。
具體實施例方式
為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
如圖1所示，圖中示出本發(fā)明基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視裝置的方框圖。所示的包括音頻數(shù)字化模塊l、視頻數(shù)字化模塊2、音視頻處理與壓縮模塊3、程序存儲器4、數(shù)據(jù)存儲器5、電源模塊6、網(wǎng)絡(luò)通信接口 7和云臺8。音頻數(shù)字化模塊1及視頻數(shù)字化模塊2分別對獲取的音頻信號及視頻信號進行數(shù)字化采樣。音視頻處理與壓縮模塊3與視頻數(shù)字化模塊1及音頻數(shù)字化模塊2連接，用于對視頻信號進行降噪處理及采用優(yōu)化的H. 264壓縮算法對視頻數(shù)據(jù)進行壓縮，采用優(yōu)化的AMR算法對音頻數(shù)據(jù)進行壓縮，同時在壓縮后的音視頻數(shù)據(jù)中疊加通道號、監(jiān)視日期及時間。網(wǎng)絡(luò)通信接口 8與音視頻處理與壓縮模塊連接，用于將壓縮后的音視頻數(shù)據(jù)發(fā)送至遠程手機端，通過相應(yīng)的播放軟件對音視頻信號進行播放。數(shù)據(jù)存儲器5以及程序存儲器4分別與音視頻處理與壓縮模塊3連接，在程序存儲器4中的程序控制下，音視頻處理與壓縮模塊3在數(shù)據(jù)存儲器5中采用優(yōu)化H. 264壓縮算法對音視頻數(shù)據(jù)進行壓縮。云臺8與音視頻處理與壓縮模塊3連接，并且受遠程終端發(fā)送的控制指令控制。此外，本發(fā)明的網(wǎng)絡(luò)攝像裝置還包括與音頻數(shù)字化模塊2連接的麥克風以及與視頻數(shù)字化模塊1連接的攝像頭，其中所述攝像頭包括CMOS (互補性氧化金屬半導體,Complementary Metal-Oxide Semiconductor)攝像頭禾口CCD攝像頭(電荷藕合器件，Charge Coupled Device)。
根據(jù)本發(fā)明的實施例，音視頻處理與壓縮模塊3還用于建立兩個視頻流滑窗^、『2;將視頻信號的圖像幀/,之前的m幅圖像存入滑窗^，當前圖像幀厶之后的n幅圖像存入滑窗『2;分別對視頻流滑窗^、 ^中的圖像乙與圖像幀A進行差分；對差值圖像/Z^、 /Z^進行與運算，求出交集；融合圖像中的運動目標信息，獲取完整的運動目標。本發(fā)明以累積三幀時間差分法對背景差分法得到的運動檢測結(jié)果進行判斷檢驗，解決了運動檢測中的虛檢和漏檢問題。該方法能夠有效提高時間差分法對運動目標速度的適應(yīng)性，提取出較為完整的運動目標圖像。
攝像頭獲取的模擬視頻信號經(jīng)過視頻數(shù)字化模塊1采樣后，以HU656格式進入音視頻處理與壓縮模塊3。同時音頻信號經(jīng)過音頻數(shù)字化模塊2，以串行數(shù)字格式進入音視頻處理與壓縮模塊3。在程序存儲器4中的CCS嵌入式操作系統(tǒng)的控制下，音視頻處理與壓縮模塊在數(shù)據(jù)存儲器5中采用優(yōu)化H264壓縮算法對音視頻數(shù)據(jù)進行壓縮，合法用戶可以通過網(wǎng)絡(luò)通信接口 7 (即RJ45網(wǎng)絡(luò)接口)瀏覽遠程視頻與控制云臺8。
圖2是本發(fā)明的手機視頻監(jiān)視裝置的系統(tǒng)級的示意圖，即手機視頻監(jiān)視裝置應(yīng)用在監(jiān)控網(wǎng)絡(luò)中的示意圖。圖中示出了終端服務(wù)器、GPRS服務(wù)器、DDNS服務(wù)器、報警服務(wù)器、手機視頻監(jiān)視裝置、手機終端、計算機終端。幾臺服務(wù)器通過RJ45連接在一起，而終端服務(wù)器通過WIFI連接到報警服務(wù)器。手機視頻監(jiān)視裝置通過GPRS網(wǎng)絡(luò)連接到手機終端，速度可達到15幀/秒以上。計算機終端和手機終端分別通過RJ45和WIFI連接到報警服務(wù)器，當出現(xiàn)異常情況時，報警服務(wù)器可向計算機終端和手機終端發(fā)送視頻圖像和圖片或者通過郵件發(fā)送報警信息。
如圖3所示，圖中示出了本發(fā)明基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視裝置的原理圖。在圖2中，Ul為視頻數(shù)字化芯片l，采用的是TVP5150，用于實現(xiàn)視頻信號數(shù)字化。U2為音頻數(shù)字化芯片2，采用的是CS4299，用于實現(xiàn)音頻信號數(shù)字化。U3為音視頻處理壓縮DSP芯片3，采用的是DM6441，用于完成音視頻處理與H.264壓縮。U4為程序存儲器4，采用的是W39LV040P，用于存放運行程序(即CSS嵌入式操作系統(tǒng))。U5為數(shù)據(jù)存儲器5，采用的是W981216DH，用于存放數(shù)字視頻信息。U6為電源6，采用的是AIC1117，其接收5V電源輸入，并輸出3. 3V與1. 8V穩(wěn)壓電源。U7為RJ45網(wǎng)絡(luò)通信接口 7，采用的是RTL8201，用于實現(xiàn)遠程終端對壓縮后的音視頻數(shù)據(jù)的讀取及云臺控制。
在本發(fā)明的實施例中，本發(fā)明的網(wǎng)絡(luò)攝像裝置具有關(guān)鍵幀抓拍的功能。根據(jù)H.264基線檔次(Baseline Profile)的定義，編碼器的編碼輸出包含I幀(關(guān)鍵幀)和P幀(非關(guān)鍵幀)。關(guān)鍵幀包含一幅完整的圖像信息，而非關(guān)鍵幀則是根據(jù)前面的P幀或I幀預測出來的，只包含相對前導幀的變化量，也就是說P幀并不包含完整的圖像信息。編碼器輸出的I幀之間有一百至幾百個P幀，由于I幀間距較長， 一般在一個I幀過去后到下一個I幀到來需要幾秒鐘的時間。然而在一些場合，如圖像抓拍或者開始錄像等，都需要以一幅完整的圖像信息作為開始，為保證抓拍能正常進行，此時依照本發(fā)明的應(yīng)用程序會向編碼器請求輸出一個關(guān)鍵幀并進行抓拍。
在本發(fā)明的實施例中，本發(fā)明的手機視頻監(jiān)視裝置支持實時傳輸協(xié)議(RTP)和實時流傳輸協(xié)議(RTSP)，根據(jù)網(wǎng)絡(luò)信道情況自動切換傳輸控制協(xié)議(TCP)和用戶數(shù)據(jù)報協(xié)議(UDP);采用面向私網(wǎng)傳輸控制協(xié)議(TCP)穿透的打洞方式，根據(jù)網(wǎng)絡(luò)信道情況在QCIF、 CIF及D1視頻格式之間自動切換，請參考圖3所示。本發(fā)明采用優(yōu)化的H. 264壓縮算法對音視頻信號進行壓縮，通過GPRS網(wǎng)絡(luò)進行手機監(jiān)控可達到15幀/秒以上。
圖4是本發(fā)明的面向私網(wǎng)TCP穿透的打洞方法的示意圖。在此需要注意的是1、箭頭指向端為S/C模型的S端，箭頭發(fā)出端為C端；2、協(xié)助服務(wù)器Server轉(zhuǎn)發(fā)網(wǎng)頁時，需要做URL的轉(zhuǎn)換工作和TCP包flag的傳遞工作；3、當有多個Clientj:連接同一個Client—S時，Client—S為每個不同的Client—C分配不同的音/視頻數(shù)據(jù)口，而臨時打洞口、注冊口、網(wǎng)頁轉(zhuǎn)發(fā)口都分別可以共用；4、當Client—C端判斷自己與想要連接的Client一S在同一私網(wǎng)內(nèi)時(HairPin)，就不再通過協(xié)助服務(wù)器Server而直接相連。
以下是面向私網(wǎng)TCP穿透NAT流程
1、 位于一個私網(wǎng)NA乙S內(nèi)的客戶端Clientj:(—般是一臺PC機)，通過一臺位于公網(wǎng)上的"私網(wǎng)穿透協(xié)助服務(wù)器Server"的協(xié)助，連接另一臺位于同一或另一個私網(wǎng)NAT—C內(nèi)的客戶端Client—S (即網(wǎng)絡(luò)攝像裝置)，獲取網(wǎng)頁和音視頻數(shù)據(jù)；
2、 客戶端Client—S通過注冊口 ，與協(xié)助服務(wù)器Server之間有一個長TCP連接，并通過此口隨時準備接收協(xié)助服務(wù)器Server發(fā)來的命令與參數(shù)；
3、 客戶端Clientj:通過臨時打洞口/注冊口穿透協(xié)助服務(wù)器Server,提出連接申請，獲取想要連接的客戶端Client—S的網(wǎng)絡(luò)參數(shù)；
4、 客戶端Client—S收到協(xié)助服務(wù)器Server轉(zhuǎn)發(fā)來的客戶端Client—C的打洞命令后，在協(xié)助服務(wù)器Server之間再臨時建立一個短TCP連接(臨時打洞口)，協(xié)助服務(wù)器Server獲取此短TCP連接的外網(wǎng)IP與端口號，這才是客戶端Clientj:要直接訪問的客戶端Client—S的外網(wǎng)IP與端口號；
5、 客戶端Client_S關(guān)閉剛才建立的短TCP連接，但重用剛才短TCP連接使用的端口號，向客戶端Clientj:發(fā)起連接。此連接是不可能成功的，但可以在自己一方的NAT上打一個"洞"，為客戶端Client一C發(fā)起的向客戶端Client—S的連接提供了通路；
6、 客戶端Client—C向客戶端Client_S發(fā)起連接；
7、 客戶端Clientj:與協(xié)助服務(wù)器Server之間沒有長TCP注冊口，只有申請打洞時使用的短TCP連接，申請完畢獲得客戶端Client一S的外網(wǎng)IP與端口號后即關(guān)閉此短TCP連接，并重用此短TCP連接使用的端口號直接向客戶端Client_S發(fā)起連接；
8、協(xié)助服務(wù)器Server會維護一個客戶端Client一S的注冊/注銷名單。
以下是整個系統(tǒng)工作(包含穿透)流程
1、 客戶端Client—C通過IE訪問私網(wǎng)穿透協(xié)助服務(wù)器Server,得到協(xié)助服務(wù)器Server傳來的如下網(wǎng)頁
歡迎使用高斯貝爾私網(wǎng)穿透協(xié)助服務(wù)器，請登陸
您的用戶名
您想連接的用戶名
協(xié)助服務(wù)器服務(wù)密碼
確定(按鍵)
2、 登陸成功后，協(xié)助服務(wù)器Server向客戶端Client—S發(fā)起連接，因為客戶端Client—S在私網(wǎng)NAT—S內(nèi)，連接肯定是不成功的。協(xié)助服務(wù)器Server讀取本次連接所使用的端口號A (在Server—端，系統(tǒng)自動產(chǎn)生的)，并作為參數(shù)之一，由注冊口發(fā)送給客戶端Client—S，并關(guān)閉剛才的連接。客戶端Client_S連接協(xié)助服務(wù)器Server剛才的端口 A，雖然也不會成功，但卻在NAT—S上打了一個"洞"。然后關(guān)閉剛才建立的連接，重用剛才使用的端口 B
(在Client—S—端，也是系統(tǒng)自動產(chǎn)生的)建立起網(wǎng)絡(luò)服務(wù)器，同時將使用的端口號B通過注冊口發(fā)送給連接協(xié)助服務(wù)器Server。協(xié)助服務(wù)器Server重用剛才使用的端口 A，再次向Client_S的端口 B發(fā)起連接，由于在NAT_S上已經(jīng)有"洞"，正常情況下是可以成功的。
3、 客戶端Client一S發(fā)送注冊網(wǎng)頁給協(xié)助服務(wù)器Server,由協(xié)助服務(wù)器Server轉(zhuǎn)發(fā)給客戶端Client_C。網(wǎng)頁中有下載并安裝OCX插件的提示。只有正確安裝了此OCX插件，客戶端Client—C才能正常顯示視頻。
后面的所有頁面?zhèn)魉凸ぷ鳎际怯蓞f(xié)助服務(wù)器Server轉(zhuǎn)發(fā)的。客戶端Client_C的網(wǎng)頁端口號是由瀏覽器自動產(chǎn)生的，是變化的。協(xié)助服務(wù)器Server針對客戶端Client_C的網(wǎng)頁端口號是固定的80，針對客戶端Client—S的網(wǎng)頁端口號A是系統(tǒng)自動產(chǎn)生的，但是系統(tǒng)必須記憶它并保活，以保證在與Client—S的服務(wù)器連接斷開后，端口不變且還有效。
客戶端Client_S的網(wǎng)頁端口號B也是系統(tǒng)自動產(chǎn)生的，但是由于網(wǎng)頁服務(wù)器沒有關(guān)閉，系統(tǒng)自然記憶了它。但是要通過協(xié)助服務(wù)器Server的?；睿拍芫S持其NAT的不變。
4、 客戶端Client一C中的OCX插件通過臨時打洞口/注冊口向協(xié)助服務(wù)器Server提出連接客戶端Client—S的音/視頻數(shù)據(jù)口的打洞請求，所使用的端口號C是系統(tǒng)自動產(chǎn)生的可重用端口號。
5、 協(xié)助服務(wù)器Server通過長TCP連接的注冊口，通知客戶端Client—S進行音/視頻數(shù)據(jù)口 "打洞"的準備工作，并將客戶端Client—C的外網(wǎng)IP地址與端口號發(fā)送給客戶端CIient—S;
6、 客戶端Client—S向協(xié)助服務(wù)器Server的臨時打洞口發(fā)起短TCP連接，協(xié)助服務(wù)器Server從中獲取客戶端Client—S的外網(wǎng)IP地址與端口號；
7、 客戶端Client—S關(guān)閉剛才建立的短TCP連接，再重用此短TCP連接使用的端口號D，并根據(jù)從協(xié)助服務(wù)器Server獲得的客戶端Client_C的外網(wǎng)IP地址與端口號發(fā)送打洞連接包，從而在自己一方的NAT上打一個通向客戶端Client一C的"洞"，然后關(guān)閉剛才的連接，并重用剛才使用的端口號D，建立音/視頻數(shù)據(jù)服務(wù)器；
協(xié)助服務(wù)器Server將獲取的客戶端Client—S的外網(wǎng)參數(shù)，轉(zhuǎn)發(fā)給客戶端Client—C?？蛻舳薈lient—C中的OCX插件關(guān)閉此連接，并重用此連接所使用的端口號C，直接向客戶端Client—S的音/視頻數(shù)據(jù)口D發(fā)起連接。由于此時NAT_S中已經(jīng)有了 "洞"，正常情況下是可以連接成功的。此連接是長TCP連接，能不斷地傳送音/視頻數(shù)據(jù)。
在本發(fā)明的另一實施例中，本發(fā)明的網(wǎng)絡(luò)攝像裝置具有視頻遮擋功能。視頻遮擋是對指定的圖像區(qū)域采用指定的顏色塊填充，這樣該區(qū)域的圖像就被遮擋住，用戶無法看到該區(qū)域的圖像內(nèi)容。 一般來說，視頻遮擋需要在編碼前完成，即對前端輸入進來的原始數(shù)據(jù)(RGB或YUV)進行覆蓋填充后再進行視頻編碼。在本發(fā)明進一步的實施例中，本發(fā)明的網(wǎng)絡(luò)攝像裝置能在視頻流上疊加時間、設(shè)備號等文字信息，其實現(xiàn)原理跟視頻遮擋類似，同樣是對編碼前的原始數(shù)據(jù)進行圖像疊加處理。與視頻遮擋不同的是，在這里用于視頻疊加的是各種文字、符號的字體點陣信息而不是顏色塊。
在本發(fā)明進一步的實施例中，本發(fā)明的網(wǎng)絡(luò)攝像裝置具有先進的運動偵測功能。圖5示出了本發(fā)明的視頻采集的工作流程圖。其中，運動檢測的目的是從監(jiān)視視頻圖像序列中檢測并提取出運動目標。在實際應(yīng)用中，不同的監(jiān)視環(huán)境對運動檢測方法具有不同的需求。對于監(jiān)視系統(tǒng)或網(wǎng)絡(luò)攝像而言，快速、準確地進行運動檢測是確保系統(tǒng)正常運行的關(guān)鍵。目前所使用的視頻監(jiān)視系統(tǒng)在運動檢測過程中卻存在著較多的虛檢、漏檢現(xiàn)象，其具體表現(xiàn)在
1、 抗干擾能力較差，運動檢測過程中往往無法排除那些不需要處理的情況，如樹葉的搖動、飄揚的旗幟以及小物體移動等；
2、 在光線突變條件下無法進行運動檢測，從而造成監(jiān)視系統(tǒng)因為重新初始化而形成安全漏洞；
3、 對背景與運動目標相互轉(zhuǎn)化時的運動檢測問題無法有效解決，從而導致虛檢、漏檢。
這些問題嚴重降低了視頻監(jiān)視系統(tǒng)的安全保障能力，針對監(jiān)視環(huán)境的實際需求，在總結(jié)現(xiàn)有運動檢測方法的優(yōu)點與不足的基礎(chǔ)上，提出了一種基于時間差分與背景差分的運動檢測方法。該方法首先建立混合高斯背景模型，通過背景差分法進行運動目標提取，然后利用累積三幀時間差分法對提取出的運動目標進行判斷檢測，以得到準確的運動目標圖像，并利用該結(jié)果對背景進行及時更新，最后對檢測出的運動目標圖像進行陰影剔除及后處理工作，以方便下一步的目標分類工作。
為了解決運動檢測中的虛檢、漏檢問題，本發(fā)明提供了一種累積三幀時間差分法對背景差分法得到的運動檢測結(jié)果進行判斷檢驗。該方法能夠有效提高時間差分法對運動目標速度的適應(yīng)性，提取出較為完整的運動目標圖像。如圖6所示，上述方法如下
第一，建立兩個時間上間隔一定距離的視頻流滑窗^、『2;第二，采集圖像，將當前圖像幀/,之前的m幅圖像存入滑窗^，當前圖像幀A之后的n幅圖像存入滑窗^ (m、 n為累積參數(shù)，根據(jù)實驗環(huán)境與應(yīng)用需求而定。本文中m取為5， n取為3);
第三，分別將視頻流滑窗^、 ^中的圖像4與幀圖像A進行差分；<formula>formula see original document page 15</formula>
其中，/^為差值圖像，乙為視頻流滑窗^、『2中的圖像，4為待測圖像。T為差分閾值。
第四，對差值圖像/^、 /Z^進行與運算，求出交集；
fl^7Zwl(/,7') = l&/Zw2(/,y) = l
77
0e/化 (3)
其中，/Z(—2)為差值圖像/^與/^求交集后的二值圖像，共計，"幅圖像。第五，融合圖像中的運動目標信息，得到完整的運動目標。
<formula>formula see original document page 15</formula>
其中，/為累積三幀時間差分法得到的運動目標二值圖像。
此外，根據(jù)本發(fā)明進一步的特征，本發(fā)明還對化264編碼進行了優(yōu)化。代碼的優(yōu)化分為三個層次項目級優(yōu)化、算法級優(yōu)化、指令級優(yōu)化。
項目級優(yōu)化是對項目的整體優(yōu)化，主要手段有以下幾點首先是利用CCS
編譯器提供的優(yōu)化功能，對優(yōu)化選項進行選擇和配置，如打開0-3選項等。其次對程序結(jié)構(gòu)進行調(diào)整，對不適合DSP執(zhí)行的語句進行改寫，以提高代碼的并行性。最后是對內(nèi)存進行合理分配，因為DSP資源有限，本發(fā)明把一些常用數(shù)據(jù)，如全局變量、程序等數(shù)據(jù)分配到訪問速度高的片內(nèi)內(nèi)存，把占用空間較大的數(shù)據(jù)分配在片外，如幀存等。
算法級優(yōu)化是利用化264的自身特點，提出快速髙效算法，從算法上挖掘潛力，提高運行速度，達到優(yōu)化目的。這部分工作主要集中在編碼器優(yōu)化方面。視頻編碼中，運動估計部分是運算量最大的一塊，對于H.264，單幀參考，運動估計占總運算量的70%， 5幀參考，這個比例能達到90%，因此，提出有效快速的運動估計算法非常有必要，通過研究提出了基于預測和早停止技術(shù)的運動估計算法，主要方法是利用周邊鄰塊對當前塊運動矢量進行預測，并設(shè)定自適應(yīng)閾值，使搜索提前停止。本發(fā)明提出的算法，在搜索窗32時，每塊平均搜索點數(shù)3—4個左右，和全搜索算法的4225余個點相比，提高速度1000多倍。和一些經(jīng)典快速算法相比，優(yōu)勢也很明顯，在H.264算法中，亞象素運動估計采用全搜索，1/4精度下，需要搜索16個點。本發(fā)明提出了自己的亞象素快速搜索算法，平均搜索點數(shù)7個，節(jié)省運算量60%以上。本發(fā)明提出的新算法提高編碼速度很明顯，而且質(zhì)量也較好，PSNR損失不到0. 06dB，碼率增大2%左右。這對于運動估計算法基本可以忽略不計。此外，針對幀間編碼7中塊大小匹配模式，以及幀內(nèi)預測13中模式太過復雜，運算量太大的問題，提出了本發(fā)明自適應(yīng)模式選擇算法，不需要將所有模式全部計算，就能找到一種相對最優(yōu)的模式。這些算法都大大提高了代碼的運行速度，在速度與質(zhì)量上達到較好的折中。
指令級優(yōu)化是指循環(huán)拆解將C語言中的for循環(huán)打開，排流水線，提高并行性，調(diào)用系統(tǒng)提供的豐富的內(nèi)聯(lián)函數(shù)，調(diào)整數(shù)據(jù)結(jié)構(gòu)，將需要大規(guī)模訪問的數(shù)據(jù)，在內(nèi)存中將它們放置在一起，方便DMA機制的訪問，或并行指令的處理，如插值函數(shù)模塊。將耗時函數(shù)抽取出來，用線性匯編改寫，充分利用豐富的媒體處理指令，最大限度的利用DSP的并行性。例如，運動估計中頻繁調(diào)用的SAD計算，是對相應(yīng)象素點做差，并對殘差場求絕對值和的計算。原始算法是對每一對象素點分別求差，再對其絕對值累加。本發(fā)明對其進行了線性匯編的改寫，使用了 SUBABS4 (—次對兩對4字節(jié)數(shù)據(jù)做差并求絕對值)，D0TPU4 ( —次對兩對4字節(jié)數(shù)據(jù)做內(nèi)積)，LDW\UMV (—次讀取4字節(jié)數(shù)據(jù))等指令，使代碼并行性有了很大提高。對16X16的塊來說，優(yōu)化前需要指令1000余條，優(yōu)化后，200條就足夠。本發(fā)明充分利用系統(tǒng)并行性，對耗時函數(shù)進行匯編語言改寫，涉及函數(shù)有DCT變換、反DCT變換、整象素運動估計、亞象素搜索、幀內(nèi)編碼函數(shù)、插值函數(shù)等，效果明顯。
在進一步的實施例中，本發(fā)明的網(wǎng)絡(luò)攝像裝置還具有RTP和RTCP功能。RTP (Realtime Transport Protocol實時傳輸協(xié)議)由IETF (InternetEngineering Task Force,互聯(lián)網(wǎng)工程任務(wù)組)的音頻/視頻傳輸工作組制定，主要實現(xiàn)實時數(shù)據(jù)的傳輸，它在包頭中提供編碼類型，包中數(shù)據(jù)的采樣時刻和數(shù)據(jù)包的序號，根據(jù)這些信息發(fā)送和接受方可以協(xié)商編碼類型，可以對接收到的數(shù)據(jù)包進行排序等工作；RTCP (Realtime Transport Control Protocol實時傳輸控制協(xié)議)主要負責傳輸質(zhì)量的監(jiān)控以及傳送發(fā)送者的一些標志信息。在RTP會話期間，各參與者周期性地傳送RTCP包，包中含有己發(fā)送的數(shù)據(jù)包的數(shù)量、丟失的數(shù)據(jù)包的數(shù)量等統(tǒng)計資料。因此，服務(wù)器可以利用這些信息動態(tài)地改變傳輸速率，甚至改變有效載荷類型。RTP和RTCP配合使用，能以有效的反饋和最小的開銷使傳輸效率最佳化，故特別適合傳送網(wǎng)上的實時數(shù)據(jù)。試驗和研究表明，RTP/RTCP所提出的實時數(shù)據(jù)的傳輸機制是行之有效的。
在本發(fā)明進一步的實施例中，本發(fā)明的手機視頻監(jiān)視裝置還具有基于TCP5000端口的音頻雙向?qū)χv功能，通過設(shè)置在前端及手機端的音頻通話裝置實現(xiàn)該功能。
在本發(fā)明進一步的實施例中，本發(fā)明的手機視頻監(jiān)視裝置還包括基于多幀差分運動目標偵測的自動報警單元，在出現(xiàn)異常情況時，該自動報警單元將視頻圖像和圖片傳輸給手機終端或者通過郵件發(fā)送到手機終端。
在本發(fā)明進一步的實施例中，本發(fā)明的手機視頻監(jiān)視裝置還設(shè)有用于自動檢測客戶端來自有線Internet網(wǎng)絡(luò)或者是無線GPRS手機網(wǎng)絡(luò)并能自動調(diào)整碼流以適應(yīng)信道帶寬的偵測單元；當計算機用戶通過Internet網(wǎng)絡(luò)訪問所述視頻監(jiān)視裝置時，偵測單元通過相應(yīng)的客戶端標識碼判斷其網(wǎng)絡(luò)帶寬，并向該客戶端傳送碼率較大的音視頻數(shù)據(jù)，以保證Internet上計算機端用戶能獲得較好的視頻圖像；當手機端用戶通過GPRS網(wǎng)絡(luò)訪問監(jiān)視裝置時，偵測單元同樣地通過客戶端標識碼檢測出其帶寬情況，并自動向該客戶端傳送碼率較小的音視頻圖像，以保證在無線GPRS網(wǎng)絡(luò)上的手機端用戶能獲得較流暢的視頻圖像。
在本發(fā)明進一步的實施例中，本發(fā)明的手機視頻監(jiān)視裝置還包括用于在多種語言之間自動切換的語言切換模塊，根據(jù)用戶所使用操作系統(tǒng)的語言環(huán)境，自動啟動操作系統(tǒng)語言的瀏覽與控制頁面。如圖7所示，圖中示出了本發(fā)明基于優(yōu)化H. 264編碼標準的手機視頻監(jiān)視方法的流程圖。在步驟702中，分別對獲取的音頻信號及視頻信號進行數(shù)字化采樣并傳輸至音視頻處理與壓縮模塊，視頻信號以特定的數(shù)據(jù)格式(即ITU656數(shù)據(jù)格式)傳輸至音視頻處理與壓縮模塊，音頻信號以特定的音頻格式(即串行數(shù)據(jù)格式)傳輸至音視頻處理與壓縮模塊。在步驟704中，對視頻信號進行降噪處理，采用優(yōu)化的H. 264壓縮算法對視頻數(shù)據(jù)進行壓縮，采用優(yōu)化的AMR算法對音頻數(shù)據(jù)進行壓縮，同時在壓縮后的音視頻數(shù)據(jù)中疊加通道號、監(jiān)視曰期及時間。在步驟706中，根據(jù)RTP與RTSP協(xié)議，根據(jù)通過網(wǎng)絡(luò)通信接口 (即RJ45網(wǎng)絡(luò)接口)將壓縮后的音視頻數(shù)據(jù)發(fā)送至遠程手機端，通過相應(yīng)的播放軟件對音視頻信號進行播放。
在實施例中，在程序存儲器中的程序控制下，音視頻處理與壓縮模塊在數(shù)據(jù)存儲器中采用H. 264壓縮算法對音視頻數(shù)據(jù)進行壓縮。通過麥克風及攝像頭可以分別采集模擬音頻信號和模擬視頻信號，其中所述攝像頭包括CMOS攝像頭和CCD攝像頭。此外，所述網(wǎng)絡(luò)攝像方法還包括遠程控制終端發(fā)送控制指令對云臺進行控制。
圖8示出了本發(fā)明的運動檢測過程的方法流程圖。在步驟802中，建立兩個時間上間隔一定距離的視頻流滑窗^、『2。在步驟704中，采集視頻信號，將當前圖像幀A之前的m幅圖像存入滑窗^ ，當前圖像幀^之后的n幅圖像存入滑窗K。在步驟806中，分別對視頻流滑窗^、『2中的圖像/ 與幀圖像/,進行差分。在步驟808中，對差值圖像/Z^、 /Z^進行與運算，求出交集。在步驟810中，融合圖像中的運動目標信息，獲取完整的運動目標。本發(fā)明以累積三幀時間差分法對背景差分法得到的運動檢測結(jié)果進行判斷檢驗，解決了運動檢測中的虛檢和漏檢問題。該方法能夠有效提高時間差分法對運動目標速度的適應(yīng)性，提取出較為完整的運動目標圖像。
在本發(fā)明的實施例中，本發(fā)明具有提前6S時間錄像的功能。 一般的視頻錄像只能實現(xiàn)突發(fā)事件發(fā)生后一段時間的事件觸發(fā)錄像功能，提前錄像功能就是事件觸發(fā)錄像中用于記錄突發(fā)事件發(fā)生前一段時間視頻信息的功能，使得視頻監(jiān)控系統(tǒng)不僅不需要對全部時間內(nèi)的視頻內(nèi)容進行記錄，可以節(jié)約大量的存儲空間；而且可以對突發(fā)事件發(fā)生前的6S時間內(nèi)發(fā)生的事情進行記錄，解決事件觸發(fā)延時所帶來的警情數(shù)據(jù)丟失問題。
本發(fā)明采用基于雙緩沖區(qū)的提前錄像方法，該方法如下設(shè)定兩塊緩沖區(qū)
A和B，錄制計數(shù)單元x初始化為0， A緩沖區(qū)可以單獨錄制8S時間的視頻信息，將A緩沖區(qū)劃分為8個相同區(qū)段；B緩沖區(qū)可以單獨錄制IS時間的視頻信息，錄制計數(shù)單元x增加l，當?shù)竭_255時，錄制計數(shù)單元x變?yōu)?;當緩沖區(qū)B錄制完1S視頻信息時，將緩沖區(qū)B中數(shù)據(jù)拷貝到A緩沖區(qū)中的y區(qū)段，y=x Mod 8。若發(fā)生事件觸發(fā)，則將當前緩沖區(qū)A中數(shù)據(jù)拷貝到目標視頻存儲區(qū)，繼續(xù)進行視頻錄像，并清空緩沖區(qū)A、 B。
以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡是本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1、一種基于優(yōu)化H.264編碼標準的手機視頻監(jiān)視裝置，其特征在于，包括音頻數(shù)字化模塊及視頻數(shù)字化模塊，分別對獲取的音頻信號及視頻信號進行數(shù)字化采樣；與所述視頻數(shù)字化模塊及音頻數(shù)字化模塊連接的音視頻處理與壓縮模塊，用于對視頻信號進行降噪處理及采用優(yōu)化的H.264壓縮算法對視頻數(shù)據(jù)進行壓縮，采用優(yōu)化的AMR算法對音頻數(shù)據(jù)進行壓縮，同時在壓縮后的音視頻數(shù)據(jù)中疊加通道號、監(jiān)視日期及時間；與所述音視頻處理與壓縮模塊連接的網(wǎng)絡(luò)通信接口，用于將壓縮后的音視頻數(shù)據(jù)發(fā)送至遠程手機端，通過相應(yīng)的播放軟件對音視頻信號進行播放。
2、 根據(jù)權(quán)利要求1所述的手機視頻監(jiān)視裝置，其特征在于，所述音視頻 處理與壓縮模塊還用于建立兩個時間上間隔一定距離的視頻流滑窗^、將視頻信號的圖像幀/ft之前的m幅圖像存入滑窗^ ，當前圖像幀/t之后的 n幅圖像存入滑窗^;分別對視頻流滑窗^ 、『2中的圖像乙與圖像幀/4進行差分； 對差值圖像/Z^、 /Z^進行與運算，求出交集； 融合圖像中的運動目標信息，獲取完整的運動目標。
3、 根據(jù)權(quán)利要求1所述的手機視頻監(jiān)視裝置，其特征在于，所述手機視 頻監(jiān)視裝置支持RTP協(xié)議和RTSP協(xié)議，能根據(jù)網(wǎng)絡(luò)信道情況自動切換TCP協(xié) 議和UDP協(xié)議；采用面向私網(wǎng)TCP穿透的打洞方式，能根據(jù)網(wǎng)絡(luò)信道情況在 QCIF、 CIF及D1視頻格式之間自動切換。
4、 根據(jù)權(quán)利要求1所述的手機視頻監(jiān)視裝置，其特征在于，所述手機視 頻監(jiān)視裝置對視頻信號指定的圖像區(qū)域采用指定的顏色塊填充，對前端輸入的 視頻數(shù)據(jù)進行覆蓋填充后再進行降噪處理及采用優(yōu)化的H.264壓縮算法進行 壓縮。
5、 根據(jù)權(quán)利要求1所述的手機視頻監(jiān)視裝置，其特征在于，所述手機視頻監(jiān)視裝置還具有基于TCP5000端口的音頻雙向?qū)χv功能，通過設(shè)置在前端及 手機端的音頻通話裝置實現(xiàn)該功能。
6、 根據(jù)權(quán)利要求2所述的手機視頻監(jiān)視裝置，其特征在于，所述手機視頻監(jiān)視裝置還包括基于多幀差分運動目標偵測的自動報警單元，在出現(xiàn)異常情 況時，該自動報警單元將視頻圖像和圖片傳輸給手機終端或者通過郵件發(fā)送到 手機終端。
7、 根據(jù)權(quán)利要求1所述的手機視頻監(jiān)視裝置，其特征在于，所述手機視 頻監(jiān)視裝置還設(shè)有用于自動檢測客戶端來自有線Internet網(wǎng)絡(luò)或者是無線 GPRS手機網(wǎng)絡(luò)并能自動調(diào)整碼流以適應(yīng)信道帶寬的偵測單元；當計算機用戶 通過Internet網(wǎng)絡(luò)訪問所述視頻監(jiān)視裝置時，偵測單元通過相應(yīng)的客戶端標識 碼判斷其網(wǎng)絡(luò)帶寬，并向該客戶端傳送碼率較大的音視頻數(shù)據(jù)，以保證Internet 上計算機端用戶能獲得較好的視頻圖像；當手機端用戶通過GPRS網(wǎng)絡(luò)訪問監(jiān) 視裝置時，偵測單元同樣地通過客戶端標識碼檢測出其帶寬情況，并自動向該 客戶端傳送碼率較小的音視頻圖像，以保證在無線GPRS網(wǎng)絡(luò)上的手機端用戶 能獲得較流暢的視頻圖像。
8、 根據(jù)權(quán)利要求1所述的手機視頻監(jiān)視裝置，其特征在于，所述手機視 頻監(jiān)視裝置還包括用于在多種語言之間自動切換的語言切換模塊，根據(jù)用戶所 使用操作系統(tǒng)的語言環(huán)境，自動啟動操作系統(tǒng)語言的瀏覽與控制頁面。
9、 一種基于優(yōu)化H.264編碼標準的手機視頻監(jiān)視方法，其特征在于，包括以下步驟 、 分別對獲取的音頻信號及視頻信號進行數(shù)字化采樣并傳輸至音視頻處 理與壓縮模塊； 、 對視頻信號進行降噪處理，采用優(yōu)化的H. 264壓縮算法對視頻數(shù)據(jù)進 行壓縮，采用優(yōu)化的AMR算法對音頻數(shù)據(jù)進行壓縮，同時在壓縮后的音視頻 數(shù)據(jù)中疊加通道號、監(jiān)視日期及時間； 、 將壓縮后的音視頻數(shù)據(jù)發(fā)送至遠程手機端，通過相應(yīng)的播放軟件對音 視頻信號進行播放。
10、根據(jù)權(quán)利要求9所述的手機視頻監(jiān)視方法，其特征在于，所述手機視頻監(jiān)視方法還包括通過以下步驟實現(xiàn)提前6秒的錄像功能設(shè)定兩塊緩沖區(qū)A和B，錄制計數(shù)單元x初始化為0， A緩沖區(qū)單獨錄制8S時間的視頻信息，將A緩沖區(qū)劃分為8個相同區(qū)段；B緩沖區(qū)單獨錄制IS時間的視頻信息，錄制計數(shù)單元x增加1，當?shù)竭_255時，錄制計數(shù)單元x變?yōu)?;當緩沖區(qū)B錄制完IS視頻信息時，將緩沖區(qū)B中數(shù)據(jù)拷貝到A緩沖區(qū)中的y區(qū)段，y=x Mod 8;若發(fā)生事件觸發(fā)，則將當前緩沖區(qū)A中數(shù)據(jù)拷貝到目標視頻存儲區(qū)，繼續(xù)進行視頻錄像，并清空緩沖區(qū)A、 B。
全文摘要
本發(fā)明涉及一種基于優(yōu)化H.264編碼標準的手機視頻監(jiān)視裝置及方法，該方法包括分別對獲取的音頻信號及視頻信號進行數(shù)字化采樣；對視頻信號進行降噪處理，采用優(yōu)化H.264壓縮算法對視頻數(shù)據(jù)進行壓縮，采用優(yōu)化AMR算法對音頻數(shù)據(jù)進行壓縮，在壓縮后的音視頻數(shù)據(jù)中疊加通道號、監(jiān)視日期及時間；將壓縮后的音視頻數(shù)據(jù)通過RTP與RTSP協(xié)議發(fā)送至手機端，通過相應(yīng)的播放軟件對音視頻信號進行播放。本發(fā)明采用面向私網(wǎng)TCP穿透的打洞方式，具有可靠多幀差分運動目標偵測功能、基于雙緩沖區(qū)的提前錄像功能、隱私區(qū)域保護功能、多語言自動切換功能、有線/無線自動偵測功能、基于TCP5000端口的音頻雙向?qū)χv功能、自動報警功能。
文檔編號H04N7/18GK101568029SQ20081018974
公開日2009年10月28日 申請日期2008年12月30日 優(yōu)先權(quán)日2008年11月28日
發(fā)明者鷹 童, 謝建斌 申請人:深圳市高斯貝爾家居智能電子有限公司