一種視頻數(shù)據(jù)和地理位置信息的融合方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及航空攝影測量領(lǐng)域，具體而言，設(shè)及一種視頻數(shù)據(jù)和地理位置信息的 融合方法和裝置。
【背景技術(shù)】
[0002] 無人機(jī)低空遙感系統(tǒng)因其結(jié)構(gòu)簡單、成本低、風(fēng)險(xiǎn)小、機(jī)動靈活等特點(diǎn)，在搶險(xiǎn)救 災(zāi)、=維實(shí)景、智慧城市、地理國情監(jiān)測等應(yīng)用中保持強(qiáng)勢增長與快速拓展。
[0003] 無人機(jī)低空遙感系統(tǒng)可W搭載多種輕型傳感器，例如在無人機(jī)上搭載高清攝影機(jī) 進(jìn)行電力巡檢，較傳統(tǒng)的人工電力巡檢方法的工作量大和條件艱苦等特點(diǎn)相比，其可W自 動對傳輸線路的導(dǎo)線及絕緣子串進(jìn)行攝像，并攜帶錄像返回W便查看;再例如，在無人機(jī)上 搭載的高清攝影機(jī)進(jìn)行野生動物的保護(hù)，即在野生動物保護(hù)區(qū)使用無人機(jī)監(jiān)測偷獵活動， 既能發(fā)現(xiàn)和識別破壞自然的活動，又能避免自然保護(hù)者與偷獵者的直接正面沖突。然而目 前無人機(jī)獲取的實(shí)時(shí)視頻數(shù)據(jù)并不帶有地理坐標(biāo)，使用者還不能迅速精確地定位到發(fā)生故 障的電力線和偷獵者的位置。
[0004] 針對上述問題，相關(guān)技術(shù)提供了一種具有定位信息的移動視頻采集系統(tǒng)，能夠?yàn)?電力巡檢、移動偵測、交通實(shí)景導(dǎo)航等領(lǐng)域的異常地點(diǎn)的快速定位、準(zhǔn)確量測等提供了可 能。具體的，上述系統(tǒng)集視頻信息、音頻信息、GPS(Global化Sitioning System,全球定位 系統(tǒng)）定位信息于一體，針對上述信息，上述系統(tǒng)使用ASF(Advanced Streaming化rmat，高 級串流格式)作為容器，通過在ASF文件頭對象中存儲由GI^接收到的空間信息，在每接收一 條GPS信息，就在編碼中添加一條空間信息記錄，然后將視頻信息、音頻信息按照MPGE-4方 式進(jìn)行壓縮編碼，最終把空間信息、視頻和音頻信息在ASF容器內(nèi)部組織起來。然后，利用 ASF內(nèi)部時(shí)間軸，W及視頻、音頻和空間信息之間的時(shí)域約束關(guān)系，在ASF內(nèi)部時(shí)間軸上選取 參考點(diǎn)，完成視頻、音頻和空間信息的同步，W實(shí)現(xiàn)視頻信息、音頻信息和空間定位信息的 實(shí)時(shí)自動融合，形成真正具有定位信息的視頻流。
[0005] 但是，發(fā)明人在研究中發(fā)現(xiàn)，上述地理位置數(shù)據(jù)的接收時(shí)間間隔大于視頻數(shù)據(jù)的 接收間隔，運(yùn)使得某些帖的視頻數(shù)據(jù)并沒有GI^信息，并且上述系統(tǒng)進(jìn)行地理信息和視頻數(shù) 據(jù)的融合方法是基于ASF流媒體的，使得畫面質(zhì)量清晰度較差。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于提供一種視頻數(shù)據(jù)和地理位置信息的融合方法和裝置，W保證 了視頻帖影像的地理精度，能夠?qū)崿F(xiàn)IMU/GPS數(shù)據(jù)與視頻數(shù)據(jù)的同步，具有通用性。
[0007] 第一方面，本發(fā)明實(shí)施例提供了 一種視頻數(shù)據(jù)和地理位置信息的融合方法，包括： [000引利用無人機(jī)實(shí)時(shí)獲取目標(biāo)區(qū)域的視頻數(shù)據(jù)和所述視頻數(shù)據(jù)的地理位置信息;所述 地理位置信息包括:全球定位系統(tǒng)GPS/慣性測量單元IMU數(shù)據(jù)；
[0009]對獲取的所述地理位置信息進(jìn)行插值處理，得到在時(shí)間和數(shù)量上均與所述視頻數(shù) 據(jù)的數(shù)量相匹配的多個(gè)地理位置信息；
[0010] 將所述視頻數(shù)據(jù)和所述地理位置信息進(jìn)行壓縮編碼，得到帶有地理位置信息的視 頻數(shù)據(jù)；
[0011] 計(jì)算獲取的第一帖視頻數(shù)據(jù)和第一包GPS/IMU數(shù)據(jù)之間的時(shí)間差值A(chǔ) t;
[0012] 使用音頻視頻交錯(cuò)格式AVI對所述帶有地理位置信息的視頻數(shù)據(jù)和所述時(shí)間差值 A t進(jìn)行封裝處理，得到帶有地理編碼的視頻數(shù)據(jù)。
[0013] 結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中，所 述對獲取的所述地理位置信息進(jìn)行插值處理，得到在時(shí)間和數(shù)量上均與所述視頻數(shù)據(jù)的數(shù) 量相匹配的多個(gè)地理位置信息包括：
[0014] 按照獲取所述地理位置信息的先后順序，依次獲取連續(xù)的兩個(gè)地理位置信息和所 述地理位置信息對應(yīng)的時(shí)間；其中，所述地理位置信息包括:Xs、Ys、Zs、CO、d)和K六個(gè)元素； Xs、Ys、Zs分別表示=維空間中的=個(gè)坐標(biāo)；CO、d)和K分別表示物體在=維空間中=個(gè)旋轉(zhuǎn) 角度；
[0015] 通過W下插值方程對獲取的連續(xù)的兩個(gè)地理位置信息中的Xs、Ys、Zs、&、《、K進(jìn)行 插值運(yùn)算

得到插值方程的斜 ， 率數(shù)據(jù)和截距數(shù)據(jù);其中，k表示斜率，b表示截距，t表示時(shí)間；
[0017] 將計(jì)算的所述插值方程的斜率數(shù)據(jù)、截距數(shù)據(jù)W及對應(yīng)的時(shí)間數(shù)據(jù)代入所述插值 方程中進(jìn)行計(jì)算處理，得到與所述視頻數(shù)據(jù)的數(shù)量相同的多個(gè)地理位置信息。
[0018] 結(jié)合第一方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第二種 可能的實(shí)施方式，其中，所述計(jì)算獲取的第一帖視頻數(shù)據(jù)和第一包GPS/IMU數(shù)據(jù)之間的時(shí)間 差值A(chǔ)t包括：
[0019] 在獲取到第一包GPS/IMU數(shù)據(jù)時(shí)，記錄所述第一包GPS/IMU數(shù)據(jù)對應(yīng)的第一時(shí)間點(diǎn) Tgps;
[0020] 在獲取到第一帖視頻數(shù)據(jù)時(shí)，記錄所述第一帖視頻數(shù)據(jù)對應(yīng)的第二時(shí)間點(diǎn)Tvide。； [002。 計(jì)算所述第一時(shí)間點(diǎn)Tgps與所述第二時(shí)間點(diǎn)Tvide。之間的時(shí)間差值A(chǔ) t。
[0022] 結(jié)合第一方面的第二種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第=種 可能的實(shí)施方式，其中，所述使用音頻視頻交錯(cuò)格式AVI對所述帶有地理位置信息的視頻數(shù) 據(jù)和所述時(shí)間差值A(chǔ) t進(jìn)行封裝處理，得到帶有地理編碼的視頻數(shù)據(jù)包括：
[0023] 在AVI的文件頭中添加所述地理位置信息的標(biāo)識信息;其中，所述標(biāo)識信息包括所 述IMU/GPS數(shù)據(jù)的一下信息中的一種或多種:標(biāo)識符、長度、類型、與所述視頻數(shù)據(jù)之間時(shí)間 差值A(chǔ)t;
[0024] 在AVI的數(shù)據(jù)塊中依次存儲插值處理得到的多個(gè)斜率數(shù)據(jù)和截距數(shù)據(jù)W及所述斜 率數(shù)據(jù)和截距數(shù)據(jù)對應(yīng)的時(shí)間；其中，所述數(shù)據(jù)塊中還存儲有獲取的視頻數(shù)據(jù)，所述視頻數(shù) 據(jù)中攜帶有第一帖視頻數(shù)據(jù)對應(yīng)的第二時(shí)間點(diǎn)Tvide。。
[0025] 結(jié)合第一方面的第=種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第四種 可能的實(shí)施方式，其中，所述在AVI的數(shù)據(jù)塊中依次存儲插值處理得到的多個(gè)斜率數(shù)據(jù)和截 距數(shù)據(jù)W及所述斜率數(shù)據(jù)和截距數(shù)據(jù)對應(yīng)的時(shí)間包括：
[0026] 將所述AVI的數(shù)據(jù)塊的存儲區(qū)域劃分為視頻存儲區(qū)域和地理位置信息存儲區(qū)域； 其中，所述視頻存儲區(qū)域存儲有獲取的視頻數(shù)據(jù)；
[0027] 將計(jì)算得到的所述多個(gè)斜率數(shù)據(jù)和截距數(shù)據(jù)W及所述斜率數(shù)據(jù)和截距數(shù)據(jù)對應(yīng) 的時(shí)間依次存儲在所述地理位置信息存儲區(qū)域中。
[0028] 結(jié)合第一方面的第四種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第五種 可能的實(shí)施方式，其中，所述視頻存儲區(qū)域和所述地理位置信息存儲區(qū)域均為一個(gè)或多個(gè)。
[0029] 第二方面，本發(fā)明實(shí)施例還提供了一種視頻數(shù)據(jù)和地理位置信息的融合裝置，包 括：
[0030] 獲取模塊，用于利用無人機(jī)實(shí)時(shí)獲取目標(biāo)區(qū)域的視頻數(shù)據(jù)和所述視頻數(shù)據(jù)的地理 位置信息;所述地理位置信息包括:全球定位系統(tǒng)GPS/慣性測量單元IMU數(shù)據(jù)；
[0031] 插值處理模塊，用于對獲取的所述地理位置信息進(jìn)行插值處理，得到在時(shí)間和數(shù) 量上均與所述視頻數(shù)據(jù)的數(shù)量相匹配的多個(gè)地理位置信息；
[0032] 壓縮編碼模塊，用于將所述視頻數(shù)據(jù)和所述地理位置信息進(jìn)行壓縮編碼，得到帶 有地理位置信息的視頻數(shù)據(jù)；
[0033] 計(jì)算模塊，用于計(jì)算獲取的第一帖視頻數(shù)據(jù)和第一包GPS/IMU數(shù)據(jù)之間的時(shí)間差 值A(chǔ)t;
[0034] 封裝處理模塊，用于使用音頻視頻交錯(cuò)格式AVI對所述帶有地理位置信息的視頻 數(shù)據(jù)和所述時(shí)間差值A(chǔ) t進(jìn)行封裝處理，得到帶有地理編碼的視頻數(shù)據(jù)。
[0035] 結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第一種可能的實(shí)施方式，其中，所 述插值處理模塊包括：
[0036] 獲取單元，用于按照獲取所述地理位置信息的先后順序，依次獲取連續(xù)的兩個(gè)地 理位置信息和所述地理位置信息對應(yīng)的時(shí)間；其中，所述地理位置信息包括:Xs、Ys、Zs、O、 d)和K六個(gè)元素 ;Xs、Ys、ZS分別表示=維空間中的=個(gè)坐標(biāo)；CO、d)和K分別表示物體在=維 空間中S個(gè)旋轉(zhuǎn)角度；
[0037] 插值運(yùn)算單元，用于通過W下插值方程對獲取的連續(xù)的兩個(gè)地理位置信息中的 )(s、Ys、Zs、4、W、K進(jìn)行插值運(yùn)算

得到插值方程的斜 ，： 率數(shù)據(jù)和截距數(shù)據(jù);其中，k表示斜率，b表示截距，t表示時(shí)間；
[0039] 計(jì)算處理單元，用于將計(jì)算的所述插值方程的斜率數(shù)據(jù)、截距數(shù)據(jù)W及對應(yīng)的時(shí) 間數(shù)據(jù)代入所述插值方程中進(jìn)行計(jì)算處理，得到與所述視頻數(shù)據(jù)的數(shù)量相同的多個(gè)地理位 置信息。
[0040] 結(jié)合第二方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第二方面的第二種 可能的實(shí)施方式，其中，所述計(jì)算模塊包括：
[0041 ] 第一記錄單元，用于在獲取到第一包GPS/IMU數(shù)據(jù)時(shí)，記錄所述第一包GPS/IMU數(shù) 據(jù)對應(yīng)的第一時(shí)間點(diǎn)Tcps;
[0042] 第二記錄單元，用于在獲取到第一帖視頻數(shù)據(jù)時(shí)，記錄所述第一帖視頻數(shù)據(jù)對應(yīng) 的束一時(shí)間點(diǎn)Tvideo ;
[0043] 計(jì)算單元，用于計(jì)算所述第一時(shí)間點(diǎn)Tgps與所述第二時(shí)間點(diǎn)Tvide。之間的時(shí)間差值 At。
[0044] 結(jié)合第二方面的第二種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第二方面的第=種 可能的實(shí)施方式，其中，所述封裝處理模塊包括：
[0045] 添加單元，用于在AVI的文件頭中添加所述地理位置信息的標(biāo)識信息；其中，所述 標(biāo)識信息包括所述IMU/GPS數(shù)據(jù)的一下信息中的一種或多種:標(biāo)識符、長度、類型、與所述視 頻數(shù)據(jù)之間時(shí)間差值A(chǔ)t;
[0046] 存儲單元，用于在AVI的數(shù)據(jù)塊中依次存儲插值處理得到的多個(gè)斜率數(shù)據(jù)和截距 數(shù)據(jù)W及所述斜率數(shù)據(jù)和截距數(shù)據(jù)對應(yīng)的時(shí)間；其中，所述數(shù)據(jù)塊中還存儲有獲取的視頻 數(shù)據(jù)，所述視頻數(shù)據(jù)中攜帶有第一帖視頻數(shù)據(jù)對應(yīng)的第二時(shí)間點(diǎn)Tvide。。
[0047] 本發(fā)