本發(fā)明涉及無(wú)人機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步方法及裝置。

背景技術(shù)：

在無(wú)人機(jī)飛行過(guò)程中，視頻圖像數(shù)據(jù)與遙測(cè)數(shù)據(jù)是分別記錄和存儲(chǔ)的(視頻圖像數(shù)據(jù)是無(wú)人機(jī)載荷產(chǎn)生與存儲(chǔ)，遙測(cè)數(shù)據(jù)是飛控系統(tǒng)產(chǎn)生與存儲(chǔ))，并在飛行結(jié)束后分別生成視頻圖像數(shù)據(jù)文件和遙測(cè)數(shù)據(jù)文件。由于通訊延遲、鏈路不穩(wěn)等因素，視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)往往是不同步的，即視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)無(wú)法一一對(duì)應(yīng)起來(lái)。然而，隨著無(wú)人機(jī)應(yīng)用的推廣，對(duì)無(wú)人機(jī)數(shù)據(jù)的分析以及進(jìn)一步的深化和細(xì)化，需要對(duì)無(wú)人機(jī)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)進(jìn)行同步處理。

為解決數(shù)據(jù)同步的問(wèn)題，現(xiàn)有的一種做法是采用人工方式根據(jù)無(wú)人機(jī)位置和視頻內(nèi)容進(jìn)行對(duì)比與同步，這種方式不僅費(fèi)時(shí)費(fèi)力，而且由于人工處理的局限性導(dǎo)致同步結(jié)果也不夠理想。另一種做法是利用圖像匹配方法實(shí)現(xiàn)相對(duì)位置的計(jì)算，由于圖像匹配算法的計(jì)算量大、效率低，消耗的計(jì)算資源與時(shí)間過(guò)多，無(wú)法有效地應(yīng)用在實(shí)際的視頻處理中。

綜上，目前亟需一種更為有效的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步方法，在實(shí)現(xiàn)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步的基礎(chǔ)上，提高數(shù)據(jù)同步的效率和準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線處理方法及裝置，用于在實(shí)現(xiàn)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步的基礎(chǔ)上，提高同步的效率和準(zhǔn)確性。

本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線處理方法，包括：

獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；

對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析和運(yùn)動(dòng)編碼，得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

對(duì)獲取的視頻圖像數(shù)據(jù)采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，得到所述視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)，進(jìn)而得到基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

至少根據(jù)所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

可選地，所述至少根據(jù)所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，包括：

根據(jù)基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼的匹配結(jié)果、基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼的匹配結(jié)果以及所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理。

可選地，所述基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和所述基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼是通過(guò)下述方式得到的：

對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析，得到無(wú)人機(jī)狀態(tài)參數(shù)和載荷狀態(tài)參數(shù)；

根據(jù)所述無(wú)人機(jī)狀態(tài)參數(shù)，得到所述基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；

根據(jù)所述載荷狀態(tài)參數(shù)，得到所述基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼。

可選地，所述基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼是通過(guò)下述方式得到的：

采用支持向量機(jī)對(duì)所述灰度投影法的運(yùn)動(dòng)估計(jì)結(jié)果進(jìn)行識(shí)別，得到無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段和載荷運(yùn)動(dòng)形成的視頻段；

根據(jù)所述無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；

根據(jù)所述載荷運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼。

本發(fā)明實(shí)施例提供一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步裝置，該裝置包括：

獲取模塊，用于獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；

遙測(cè)數(shù)據(jù)分析模塊，用于對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析和運(yùn)動(dòng)編碼，得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

視頻圖像數(shù)據(jù)分析模塊，用于對(duì)獲取的視頻圖像數(shù)據(jù)采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，得到所述視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)，進(jìn)而得到基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

同步模塊，用于至少根據(jù)所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

可選地，所述同步模塊具體用于：

根據(jù)基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼的匹配結(jié)果、基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼的匹配結(jié)果以及所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理。

可選地，所述遙測(cè)數(shù)據(jù)分析模塊還用于，通過(guò)下述方式得到所述基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和所述基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼：

對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析，得到無(wú)人機(jī)狀態(tài)參數(shù)和載荷狀態(tài)參數(shù)；

根據(jù)所述無(wú)人機(jī)狀態(tài)參數(shù)，得到所述基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；

根據(jù)所述載荷狀態(tài)參數(shù)，得到所述基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼。

可選地，所述視頻圖像數(shù)據(jù)分析模塊還用于，通過(guò)下述方式得到所述基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼：

采用支持向量機(jī)對(duì)所述灰度投影法的運(yùn)動(dòng)估計(jì)結(jié)果進(jìn)行識(shí)別，得到無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段和載荷運(yùn)動(dòng)形成的視頻段；

根據(jù)所述無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；

根據(jù)所述載荷運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼。

本發(fā)明的上述實(shí)施例中，獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析和運(yùn)動(dòng)編碼，得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；對(duì)獲取的視頻圖像數(shù)據(jù)采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，得到視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)，進(jìn)而得到基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；至少根據(jù)基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。本發(fā)明實(shí)施例中，根據(jù)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)分別得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼，進(jìn)而根據(jù)匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，由于遙測(cè)數(shù)據(jù)的采樣頻率低于視頻圖像數(shù)據(jù)的采樣頻率，通過(guò)匹配和插值處理后，可得到與視頻圖像數(shù)據(jù)中的圖像幀對(duì)應(yīng)的遙測(cè)數(shù)據(jù)，不僅實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步，而且保證了同步的準(zhǔn)確性；且，本發(fā)明實(shí)施例中采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，大大提高了運(yùn)動(dòng)估計(jì)的效率，進(jìn)而從整體上提高了數(shù)據(jù)同步的效率。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)要介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步方法所對(duì)應(yīng)的流程示意圖；

圖2為無(wú)人機(jī)的運(yùn)動(dòng)模式編碼示意圖；

圖3為本發(fā)明實(shí)施例提供的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步方法的整體流程示意圖；

圖4為本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1為本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步方法所對(duì)應(yīng)的流程示意圖，如圖1所示，該方法包括：

步驟101，獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；

步驟102，對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析和運(yùn)動(dòng)編碼，得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

步驟103，對(duì)獲取的視頻圖像數(shù)據(jù)采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，得到所述視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)，進(jìn)而得到基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

步驟104至少根據(jù)所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

需要說(shuō)明的是，本發(fā)明實(shí)施例中上述各個(gè)步驟的編號(hào)僅為一種執(zhí)行過(guò)程的示例性說(shuō)明，本發(fā)明實(shí)施例不對(duì)各個(gè)步驟做明確具體的先后順序限定，有些步驟可以同時(shí)進(jìn)行，或不按上述編號(hào)進(jìn)行，例如，步驟102和步驟103可以同時(shí)進(jìn)行，或者可以先執(zhí)行步驟103中的內(nèi)容，再執(zhí)行步驟102中的內(nèi)容。

本發(fā)明實(shí)施例中，根據(jù)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)分別得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼，進(jìn)而根據(jù)匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，由于遙測(cè)數(shù)據(jù)的采樣頻率低于視頻圖像數(shù)據(jù)的采樣頻率，通過(guò)匹配和插值處理后，可得到與視頻圖像數(shù)據(jù)中的圖像幀對(duì)應(yīng)的遙測(cè)數(shù)據(jù)，不僅實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步，而且保證了同步的準(zhǔn)確性；且，本發(fā)明實(shí)施例中采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，大大提高了運(yùn)動(dòng)估計(jì)的效率，進(jìn)而從整體上提高了數(shù)據(jù)同步的效率。

具體地，在步驟102中，根據(jù)無(wú)人機(jī)遙測(cè)協(xié)議對(duì)遙測(cè)數(shù)據(jù)進(jìn)行解析，得到經(jīng)度、緯度、高度、俯仰、橫滾、偏航等無(wú)人機(jī)狀態(tài)參數(shù)；根據(jù)載荷遙測(cè)協(xié)議對(duì)遙測(cè)數(shù)據(jù)進(jìn)行解析，得到載荷狀態(tài)參數(shù)；隨后，根據(jù)解析得到的無(wú)人機(jī)狀態(tài)參數(shù)、載荷狀態(tài)參數(shù)，將遙測(cè)數(shù)據(jù)按照時(shí)間維度進(jìn)行分段，分別命名為無(wú)人機(jī)運(yùn)動(dòng)段A和載荷運(yùn)動(dòng)段B，如圖2所示，無(wú)人機(jī)運(yùn)動(dòng)段A和載荷運(yùn)動(dòng)段B的分布情況即為無(wú)人機(jī)的運(yùn)動(dòng)模式編碼，即為基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼。本發(fā)明實(shí)施例中，分段的依據(jù)可以是該段中載荷是否存在明顯的運(yùn)動(dòng)，具體可根據(jù)載荷狀態(tài)參數(shù)來(lái)判斷載荷是否存在明顯的運(yùn)動(dòng)，判斷標(biāo)準(zhǔn)可由本領(lǐng)域技術(shù)人員根據(jù)經(jīng)驗(yàn)設(shè)置。

在各段遙測(cè)數(shù)據(jù)中，根據(jù)無(wú)人機(jī)狀態(tài)參數(shù)和載荷狀態(tài)參數(shù)，采用旋轉(zhuǎn)矩陣方法對(duì)載荷觀測(cè)區(qū)域進(jìn)行定位，將相鄰幀之間的定位結(jié)果進(jìn)行比較，計(jì)算出相對(duì)運(yùn)動(dòng)幅度和方向，根據(jù)運(yùn)動(dòng)幅度和方向進(jìn)行運(yùn)動(dòng)編碼。即根據(jù)無(wú)人機(jī)狀態(tài)參數(shù)，得到基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；根據(jù)載荷狀態(tài)參數(shù)，得到基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼。

具體地，在步驟103中，采用灰度投影法實(shí)現(xiàn)對(duì)視頻圖像數(shù)據(jù)的快速運(yùn)動(dòng)估計(jì)，得到所述視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)(包括相對(duì)運(yùn)動(dòng)方向和大小)，進(jìn)而根據(jù)相對(duì)運(yùn)動(dòng)方向和大小，進(jìn)行編碼。其中，相對(duì)運(yùn)動(dòng)的方向分為上下左右四個(gè)方向。

采用支持向量機(jī)對(duì)所述灰度投影法的運(yùn)動(dòng)估計(jì)結(jié)果進(jìn)行識(shí)別，得到無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段和載荷運(yùn)動(dòng)形成的視頻段；根據(jù)所述無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；根據(jù)所述載荷運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼。

本發(fā)明實(shí)施例中，由于遙測(cè)數(shù)據(jù)的采樣頻率通常低于視頻圖像數(shù)據(jù)的采樣頻率，因此，需要對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，從而可以得到與視頻圖像數(shù)據(jù)中的圖像幀同步的遙測(cè)數(shù)據(jù)。具體地，在步驟104中，根據(jù)基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼的匹配結(jié)果、基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼的匹配結(jié)果以及所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)，實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步。

圖3為本發(fā)明實(shí)施例提供的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步方法的整體流程示意圖。下面結(jié)合圖3對(duì)本發(fā)明實(shí)施例中遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步方法進(jìn)行具體介紹。如圖3所示：

步驟301，獲取待同步的遙測(cè)數(shù)據(jù)；

步驟302，根據(jù)無(wú)人機(jī)遙測(cè)協(xié)議和載荷遙測(cè)協(xié)議對(duì)遙測(cè)數(shù)據(jù)進(jìn)行解析，然后執(zhí)行步驟303和步驟304；

步驟303，進(jìn)行載荷運(yùn)動(dòng)狀態(tài)分析，得到基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼；

步驟304，進(jìn)行無(wú)人機(jī)運(yùn)動(dòng)狀態(tài)分析，得到基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；

步驟305，通過(guò)運(yùn)動(dòng)模式編碼，得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

步驟401，獲取待同步的視頻圖像數(shù)據(jù)；

步驟402，采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，得到視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)；

步驟403，采用支持向量機(jī)對(duì)所述灰度投影法的運(yùn)動(dòng)估計(jì)結(jié)果進(jìn)行識(shí)別，得到無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段和載荷運(yùn)動(dòng)形成的視頻段，并得到運(yùn)動(dòng)模式編碼；

步驟404，根據(jù)所述無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；

步驟405，根據(jù)所述載荷運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼；

步驟406，根據(jù)運(yùn)動(dòng)模式編碼，得到基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

步驟501，將基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼進(jìn)行載荷模式匹配；

步驟502，將基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼進(jìn)行無(wú)人機(jī)模式匹配；

步驟503，將基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼進(jìn)行綜合運(yùn)動(dòng)匹配；

步驟504，對(duì)步驟501至步驟503中的匹配結(jié)果進(jìn)行綜合計(jì)算，進(jìn)而對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理；

步驟505，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)，實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的離線同步。

需要說(shuō)明的是，本發(fā)明實(shí)施例中上述各個(gè)步驟的編號(hào)僅為一種執(zhí)行過(guò)程的示例性說(shuō)明，本發(fā)明實(shí)施例不對(duì)各個(gè)步驟做明確具體的先后順序限定，有些步驟可以同時(shí)進(jìn)行，或不按上述編號(hào)進(jìn)行，例如，步驟301和步驟401可以同時(shí)進(jìn)行，或者步驟301發(fā)生于步驟401之后。

本發(fā)明的上述實(shí)施例中，獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析和運(yùn)動(dòng)編碼，得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；對(duì)獲取的視頻圖像數(shù)據(jù)采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，得到視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)，進(jìn)而得到基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；至少根據(jù)基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。本發(fā)明實(shí)施例中，根據(jù)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)分別得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼，進(jìn)而根據(jù)匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，由于遙測(cè)數(shù)據(jù)的采樣頻率低于視頻圖像數(shù)據(jù)的采樣頻率，通過(guò)匹配和插值處理后，可得到與視頻圖像數(shù)據(jù)中的圖像幀對(duì)應(yīng)的遙測(cè)數(shù)據(jù)，不僅實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步，而且保證了同步的準(zhǔn)確性；且，本發(fā)明實(shí)施例中采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，大大提高了運(yùn)動(dòng)估計(jì)的效率，進(jìn)而從整體上提高了數(shù)據(jù)同步的效率。

針對(duì)上述方法流程，本發(fā)明實(shí)施例還提供一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步裝置，該裝置的具體內(nèi)容可以參照上述方法實(shí)施。

基于相同構(gòu)思，圖4為本發(fā)明實(shí)施例提供的一種遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)的離線同步裝置的結(jié)構(gòu)示意圖，該裝置包括：

獲取模塊601，用于獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；

遙測(cè)數(shù)據(jù)分析模塊602，用于對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析和運(yùn)動(dòng)編碼，得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

視頻圖像數(shù)據(jù)分析模塊603，用于對(duì)獲取的視頻圖像數(shù)據(jù)采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，得到所述視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)，進(jìn)而得到基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；

同步模塊604，用于至少根據(jù)所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與所述視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。

較佳地，所述同步模塊604具體用于：

根據(jù)基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼的匹配結(jié)果、基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼的匹配結(jié)果以及所述基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)所述遙測(cè)數(shù)據(jù)進(jìn)行插值處理。

較佳地，所述遙測(cè)數(shù)據(jù)分析模塊602還用于，通過(guò)下述方式得到所述基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和所述基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼：

對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析，得到無(wú)人機(jī)狀態(tài)參數(shù)和載荷狀態(tài)參數(shù)；

根據(jù)所述無(wú)人機(jī)狀態(tài)參數(shù)，得到所述基于遙測(cè)數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；

根據(jù)所述載荷狀態(tài)參數(shù)，得到所述基于遙測(cè)數(shù)據(jù)的載荷運(yùn)動(dòng)編碼。

較佳地，所述視頻圖像數(shù)據(jù)分析模塊603還用于，通過(guò)下述方式得到所述基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼和所述基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼：

采用支持向量機(jī)對(duì)所述灰度投影法的運(yùn)動(dòng)估計(jì)結(jié)果進(jìn)行識(shí)別，得到無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段和載荷運(yùn)動(dòng)形成的視頻段；

根據(jù)所述無(wú)人機(jī)運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的無(wú)人機(jī)運(yùn)動(dòng)編碼；

根據(jù)所述載荷運(yùn)動(dòng)形成的視頻段，得到所述基于視頻圖像數(shù)據(jù)的載荷運(yùn)動(dòng)編碼。

從上述內(nèi)容可以看出：本發(fā)明的上述實(shí)施例中，獲取待同步的遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)；對(duì)獲取到的遙測(cè)數(shù)據(jù)進(jìn)行解析和運(yùn)動(dòng)編碼，得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；對(duì)獲取的視頻圖像數(shù)據(jù)采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，得到視頻圖像數(shù)據(jù)中相鄰圖像幀的相對(duì)運(yùn)動(dòng)狀態(tài)，進(jìn)而得到基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼；至少根據(jù)基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼的匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，得到與視頻圖像數(shù)據(jù)同步的遙測(cè)數(shù)據(jù)。本發(fā)明實(shí)施例中，根據(jù)遙測(cè)數(shù)據(jù)和視頻圖像數(shù)據(jù)分別得到基于遙測(cè)數(shù)據(jù)的綜合運(yùn)動(dòng)編碼和基于視頻圖像數(shù)據(jù)的綜合運(yùn)動(dòng)編碼，進(jìn)而根據(jù)匹配結(jié)果，對(duì)遙測(cè)數(shù)據(jù)進(jìn)行插值處理，由于遙測(cè)數(shù)據(jù)的采樣頻率低于視頻圖像數(shù)據(jù)的采樣頻率，通過(guò)匹配和插值處理后，可得到與視頻圖像數(shù)據(jù)中的圖像幀對(duì)應(yīng)的遙測(cè)數(shù)據(jù)，不僅實(shí)現(xiàn)視頻圖像數(shù)據(jù)和遙測(cè)數(shù)據(jù)的同步，而且保證了同步的準(zhǔn)確性；且，本發(fā)明實(shí)施例中采用灰度投影法進(jìn)行運(yùn)動(dòng)估計(jì)，大大提高了運(yùn)動(dòng)估計(jì)的效率，進(jìn)而從整體上提高了數(shù)據(jù)同步的效率。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。