本發(fā)明涉及無人機(jī)視頻圖像處理技術(shù)，具體涉及一種航拍圖像處理及獲取方法、無人機(jī)、頭戴顯示設(shè)備及系統(tǒng)。

背景技術(shù)：

在無人機(jī)航拍過程中，通過全景第一人稱視角(First Person View，簡稱為FPV)的方式，操作者可實(shí)時(shí)的沉浸式體驗(yàn)航拍視角，并通過頭戴顯示設(shè)備(如虛擬現(xiàn)實(shí)(Virtual Reality簡稱為VR)頭盔)內(nèi)部的加速度傳感器將頭部轉(zhuǎn)動信息實(shí)時(shí)發(fā)送給飛機(jī)上的云臺等鏡頭控制單元，讓鏡頭跟著操作者的頭部運(yùn)動方向運(yùn)動，使操作者可自由控制其在空中的視角。

無人機(jī)接收到頭戴顯示設(shè)備傳來的姿態(tài)信息后，要通過控制云臺的電機(jī)運(yùn)作使鏡頭完成相應(yīng)的姿態(tài)變換動作，以切換到操作者期望的視角上。但是，由于機(jī)電轉(zhuǎn)換過程中存在延遲問題，目前無法將鏡頭的反應(yīng)延遲縮短至100ms以內(nèi)，因此操作者在轉(zhuǎn)動頭部時(shí)，會感覺到頭戴顯示設(shè)備顯示屏上接收到的航拍視頻存在延遲，一般操作者在操作1～2分鐘后，可能會由于神經(jīng)反饋紊亂的原因而發(fā)生眩暈現(xiàn)象，因而導(dǎo)致這種全景FPV的模式很難推廣開來成為常規(guī)的無人機(jī)操作及航拍的模式。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種航拍圖像處理方法，包括：

獲取頭戴顯示設(shè)備的視野變化坐標(biāo)，其中，所述視野變化坐標(biāo)指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化；

從無人機(jī)拍攝的圖像中截取與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像；

將所述視場角的圖像發(fā)送至所述頭戴顯示設(shè)備。

本發(fā)明提供一種無人機(jī)，包括：

信息獲取單元，用于獲取頭戴顯示設(shè)備的視野變化坐標(biāo)，其中，所述視野變化坐標(biāo)指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化；

圖像截取單元，用于從無人機(jī)拍攝的圖像中截取與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像；

圖像發(fā)送單元，用于將所述視場角的圖像發(fā)送至所述頭戴顯示設(shè)備。

本發(fā)明提供一種航拍圖像獲取方法，包括：

確定視野變化坐標(biāo)，其中，所述視野變化坐標(biāo)指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化；

將所述視野變化坐標(biāo)發(fā)送至無人機(jī)；

接收所述無人機(jī)的發(fā)送的圖像，其中，所述圖像為所述無人機(jī)從拍攝圖像中截取的與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像。

本發(fā)明提供一種頭戴顯示設(shè)備，包括：

信息確定單元，用于確定視野變化坐標(biāo)，其中，所述視野變化坐標(biāo)指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化；

信息發(fā)送單元，用于將所述視野變化坐標(biāo)發(fā)送至無人機(jī)；

圖像接收單元，用于接收所述無人機(jī)的發(fā)送的圖像，其中，所述圖像為所述無人機(jī)從拍攝圖像中截取的與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像。

本發(fā)明提供一種航拍系統(tǒng)，包括：無人機(jī)及頭戴顯示設(shè)備，所述無人機(jī)與頭戴顯示設(shè)備無線連接；

所述頭戴顯示設(shè)備用于確定視野變化坐標(biāo)，并將所述視野變化坐標(biāo)發(fā)送至無人機(jī)，其中，所述視野變化坐標(biāo)指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化；

所述無人機(jī)用于接收所述視野變化坐標(biāo)，從無人機(jī)拍攝的圖像中截取與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像，并將所述視場角的圖像發(fā)送至所述頭戴顯示設(shè)備；

所述頭戴顯示設(shè)備接收所述視場角的圖像并顯示。

本發(fā)明實(shí)施例中，可以消除由于圖像傳輸?shù)臅r(shí)間延遲導(dǎo)致用戶眩暈的問題。

當(dāng)然實(shí)施本申請的任一產(chǎn)品或者方法必不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明一實(shí)施例的應(yīng)用場景示意圖；

圖2為本發(fā)明一實(shí)施例的航拍圖像處理方法流程圖；

圖3為本發(fā)明實(shí)施例的視野變化坐標(biāo)確定方法流程圖；

圖4為本發(fā)明實(shí)施例的頭戴顯示設(shè)備的結(jié)構(gòu)示意圖；

圖5為本發(fā)明實(shí)施例的信息確定單元的結(jié)構(gòu)框圖；

圖6為本發(fā)明實(shí)施例的坐標(biāo)確定模塊的結(jié)構(gòu)框圖；

圖7為本發(fā)明實(shí)施例的航拍圖像處理方法流程圖；

圖8為本發(fā)明實(shí)施例的無人機(jī)的結(jié)構(gòu)示意圖；

圖9為本發(fā)明實(shí)施例的圖像截取單元的結(jié)構(gòu)示意圖；

圖10為本發(fā)明實(shí)施例的航拍系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1為本發(fā)明一實(shí)施例的應(yīng)用場景示意圖。本發(fā)明實(shí)施例的技術(shù)方案可以在無人機(jī)101與頭戴顯示設(shè)備102之間實(shí)現(xiàn)相關(guān)操作?，F(xiàn)有技術(shù)中在實(shí)現(xiàn)相關(guān)操作時(shí)，頭戴顯示設(shè)備102通過其上的傳感部件測量姿態(tài)信息并傳輸至無人機(jī)101，無人機(jī)101接收到頭戴顯示設(shè)備傳來的姿態(tài)信息后，要通過控制云臺的電機(jī)運(yùn)作使鏡頭完成相應(yīng)的姿態(tài)變換動作，以切換到操作者期望的視角上。但是，由于機(jī)電轉(zhuǎn)換過程中存在延遲問題，佩戴頭戴顯示設(shè)備的操作者在轉(zhuǎn)動頭部時(shí)，會感覺到頭戴顯示設(shè)備的顯示屏上接收到的航拍視頻存在延遲，從而發(fā)生眩暈現(xiàn)象。基于此，本發(fā)明通過頭戴顯示設(shè)備102確定用戶的視野變化坐標(biāo)并傳輸給無人機(jī)101，無人機(jī)101根據(jù)視野變化坐標(biāo)從圖像中抽取用戶欲觀看的圖像部分，然后再進(jìn)行將圖像傳輸給頭戴顯示設(shè)備102，可以改善圖像傳輸?shù)难舆t問題，其中，該無人機(jī)101可以為固定翼飛機(jī)或者為多旋翼飛機(jī)。

圖2是本申請?zhí)岢龅暮脚膱D像處理方法的一種實(shí)施例的方法流程圖，雖然本申請?zhí)峁┝巳缦率鰧?shí)施例或附圖所示的方法操作步驟或裝置結(jié)構(gòu)，但基于常規(guī)或者無需創(chuàng)造性的勞動在所述方法或裝置中可以包括更多或者更少的操作步驟或模塊結(jié)構(gòu)。在邏輯性上不存在必要因果關(guān)系的步驟或結(jié)構(gòu)中，這些步驟的執(zhí)行順序或裝置的模塊結(jié)構(gòu)不限于本申請實(shí)施例提供的執(zhí)行順序或模塊結(jié)構(gòu)。所述的方法或模塊結(jié)構(gòu)的在實(shí)際中的裝置或終端產(chǎn)品執(zhí)行時(shí)，可以按照實(shí)施例或者附圖所示的方法或模塊結(jié)構(gòu)連接進(jìn)行順序執(zhí)行或者并行執(zhí)行(例如并行處理器或者多線程處理的環(huán)境)。

圖2為本發(fā)明實(shí)施例的航拍圖像處理方法流程圖，如圖2所示，該航拍圖像處理方法可以包括如下步驟：

S201：確定視野變化坐標(biāo)；

S202：將所述視野變化坐標(biāo)發(fā)送至無人機(jī)；

S203：接收所述無人機(jī)的發(fā)送的圖像，其中，所述圖像為所述無人機(jī)從拍攝圖像中截取的與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像。

圖1所示航拍圖像處理方法的執(zhí)行主體可以為頭戴顯示設(shè)備，由圖1所示的流程可知，本發(fā)明中，頭戴顯示設(shè)備通過確定用戶的視野變化坐標(biāo)，發(fā)送給無人機(jī)，并接收無人機(jī)根據(jù)視野變化坐標(biāo)從拍攝圖像中截取的視場角的圖像，最后將該圖像顯示于頭戴顯示設(shè)備的顯示屏上。這樣，本實(shí)施例的延遲只包括視野變化坐標(biāo)發(fā)送至無人機(jī)的時(shí)間延遲及接收視場角的圖像的時(shí)間延長，總延遲時(shí)間較小，可以消除用戶眩暈。

本發(fā)明實(shí)施例中，視野變化坐標(biāo)用于指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化，基于該視野變化坐標(biāo)，無人機(jī)才能從無人機(jī)獲得視野變化坐標(biāo)對應(yīng)的視場角的圖像。

一實(shí)施例中，如圖3所示，確定視野變化坐標(biāo)，包括如下步驟：

S301：獲取頭戴顯示設(shè)備上的姿態(tài)傳感部件采集的頭戴顯示設(shè)備的初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息。

姿態(tài)傳感部件可以用于測量頭戴顯示設(shè)備處于初始姿態(tài)以及處于實(shí)時(shí)姿態(tài)時(shí)的姿態(tài)信息，姿態(tài)傳感部件包括加速度傳感器以及陀螺儀至少之一。

一實(shí)施例中，初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息均可以包括頭戴顯示設(shè)備的顯示屏的關(guān)鍵點(diǎn)坐標(biāo)，顯示屏可以至少為以下其中之一：

顯示屏為矩形，關(guān)鍵點(diǎn)坐標(biāo)包括矩形的四個(gè)頂點(diǎn)坐標(biāo)；

顯示屏為橢圓形，關(guān)鍵點(diǎn)坐標(biāo)包括橢圓的四個(gè)頂點(diǎn)坐標(biāo)；

顯示屏為圓形，關(guān)鍵點(diǎn)坐標(biāo)包括圓形相互垂直兩條直徑與圓的交點(diǎn)的坐標(biāo)。

姿態(tài)傳感部件采集初始姿態(tài)信息時(shí)，可以直接利用加速度傳感器和/或陀螺儀獲得關(guān)鍵點(diǎn)坐標(biāo)。

姿態(tài)傳感部件采集初始姿態(tài)信息時(shí)，可以通過如下方法得到：首先，加速度傳感器和/或陀螺儀測量頭戴顯示設(shè)備的加速度信息，根據(jù)該加速度信息，可以得到頭戴顯示設(shè)備的實(shí)時(shí)位移信息，根據(jù)位移信息及初始姿態(tài)信息對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)可以得到頭戴顯示設(shè)備的關(guān)鍵點(diǎn)坐標(biāo)，即得到頭戴顯示設(shè)備的實(shí)時(shí)姿態(tài)信息。

頭戴顯示設(shè)備與無人機(jī)連接時(shí)，頭戴顯示設(shè)備處于初始姿態(tài)，可以實(shí)現(xiàn)靜態(tài)圖像傳輸，此時(shí)可以需要將頭戴顯示設(shè)備與無人機(jī)進(jìn)行標(biāo)定，標(biāo)定頭戴顯示設(shè)備處于初始姿態(tài)時(shí)當(dāng)前視野的預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)，同時(shí)可以獲取姿態(tài)傳感部件采集的上述初始姿態(tài)信息。

標(biāo)定頭戴顯示設(shè)備當(dāng)前視野的預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)時(shí)，初始姿態(tài)可以按照如下方式得到：佩戴頭戴顯示設(shè)備的用戶選好起始站立位置及朝向，并在該站立位置保持頭部水平向前，此時(shí)頭戴顯示設(shè)備的姿態(tài)作為初始姿態(tài)。

佩戴頭戴顯示設(shè)備的用戶轉(zhuǎn)動頭部時(shí)，姿態(tài)傳感部件就可以采集頭戴顯示設(shè)備實(shí)時(shí)姿態(tài)信息。

S302：依據(jù)所述初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息確定所述視野變化坐標(biāo)。

一實(shí)施例中，可以依據(jù)初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息之間的變化量確定所述預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)的變化量。該預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)的變化量可以指示視野變化坐標(biāo)，頭戴顯示設(shè)備從無人機(jī)獲取的視場角的圖像為無人機(jī)根據(jù)該預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)的變化量從拍攝圖像中截取圖像。

利用本實(shí)施例的航拍圖像處理方法，可以使得時(shí)間延遲只包括視野變化坐標(biāo)發(fā)送至無人機(jī)的時(shí)間延遲及接收視場角的圖像的時(shí)間延長，總延遲時(shí)間較小，可以消除用戶眩暈。

基于與上述圖2所示的航拍圖像獲取方法相同的發(fā)明構(gòu)思，本申請?zhí)峁┮环N頭戴顯示設(shè)備，如下面實(shí)施例所述。由于該頭戴顯示設(shè)備解決問題的原理與上述航拍圖像獲取方法相似，因此該頭戴顯示設(shè)備的實(shí)施可以參見上述航拍圖像獲取方法的實(shí)施，重復(fù)之處不再贅述。

圖4為本發(fā)明實(shí)施例的頭戴顯示設(shè)備的結(jié)構(gòu)示意圖，如圖4所示，該頭戴顯示設(shè)備包括：

信息確定單元401，用于確定視野變化坐標(biāo)，其中，所述視野變化坐標(biāo)指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化；信息確定單元401是頭戴顯示設(shè)備中確定用戶的視野變化的部分，可以是軟件、硬件或二者的結(jié)合，例如可以是完成確定用戶的視野變化的功能的輸入輸出接口、處理芯片等元器件。

信息發(fā)送單元402，用于將所述視野變化坐標(biāo)發(fā)送至無人機(jī)；信息發(fā)送單元402是頭戴顯示設(shè)備中發(fā)送視野變化坐標(biāo)的部分，可以是軟件、硬件或二者的結(jié)合，例如可以是完成確定視野變化坐標(biāo)發(fā)送功能的輸入輸出接口、處理芯片等元器件。

圖像接收單元403，用于接收所述無人機(jī)的發(fā)送的圖像，其中，所述圖像為所述無人機(jī)從拍攝圖像中截取的與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像。圖像接收單元403是頭戴顯示設(shè)備中接收無人機(jī)發(fā)送到圖像的部分，可以是軟件、硬件或二者的結(jié)合，例如可以是完成圖像接收功能的輸入輸出接口、處理芯片等元器件。

一實(shí)施例中，如圖5所示，信息確定單元401包括：

信息獲取模塊501，用于獲取頭戴顯示設(shè)備上的姿態(tài)傳感部件采集的頭戴顯示設(shè)備的初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息；

坐標(biāo)確定模塊502，用于依據(jù)所述初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息確定所述視野變化坐標(biāo)。

姿態(tài)傳感部件可以用于測量頭戴顯示設(shè)備處于初始姿態(tài)以及處于實(shí)時(shí)姿態(tài)時(shí)的姿態(tài)信息，姿態(tài)傳感部件包括加速度傳感器以及陀螺儀至少之一。

一實(shí)施例中，如圖6所示，坐標(biāo)確定模塊502包括：

標(biāo)定模塊601，在所述頭戴顯示設(shè)備處于初始姿態(tài)時(shí)標(biāo)定當(dāng)前視野的預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)，同時(shí)獲取所述初始姿態(tài)信息；

變化量確定模塊602，用于依據(jù)所述初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息之間的變化量確定所述預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)的變化量，其中，所述預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)的變化量指示所述視野變化坐標(biāo)。

本發(fā)明實(shí)施例中，初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息均可以包括頭戴顯示設(shè)備的顯示屏的關(guān)鍵點(diǎn)坐標(biāo)，顯示屏可以至少為以下其中之一：

顯示屏為矩形，關(guān)鍵點(diǎn)坐標(biāo)包括矩形的四個(gè)頂點(diǎn)坐標(biāo)；

顯示屏為橢圓形，關(guān)鍵點(diǎn)坐標(biāo)包括橢圓的四個(gè)頂點(diǎn)坐標(biāo)；

顯示屏為圓形，關(guān)鍵點(diǎn)坐標(biāo)包括圓形相互垂直兩條直徑與圓的交點(diǎn)的坐標(biāo)。

姿態(tài)傳感部件采集初始姿態(tài)信息時(shí)，可以直接利用加速度傳感器和/或陀螺儀獲得關(guān)鍵點(diǎn)坐標(biāo)。

姿態(tài)傳感部件采集初始姿態(tài)信息時(shí)，可以通過如下方法得到：首先，加速度傳感器和/或陀螺儀測量頭戴顯示設(shè)備的加速度信息，根據(jù)該加速度信息，可以得到頭戴顯示設(shè)備的實(shí)時(shí)位移信息，根據(jù)位移信息及初始姿態(tài)信息對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)可以得到頭戴顯示設(shè)備的關(guān)鍵點(diǎn)坐標(biāo)，即得到頭戴顯示設(shè)備的實(shí)時(shí)姿態(tài)信息。

利用本實(shí)施例的頭戴顯示設(shè)備，可以使得時(shí)間延遲只包括視野變化坐標(biāo)發(fā)送至無人機(jī)的時(shí)間延遲及接收視場角的圖像的時(shí)間延長，總延遲時(shí)間較小，可以消除用戶眩暈。

圖7為本發(fā)明實(shí)施例的航拍圖像處理方法流程圖，如圖7所示，該航拍圖像處理方法可以包括如下步驟：

S701：獲取頭戴顯示設(shè)備的視野變化坐標(biāo)；

S702：從無人機(jī)拍攝的圖像中截取與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像；

S703：將所述視場角的圖像發(fā)送至所述頭戴顯示設(shè)備。

圖7所示航拍圖像處理方法的執(zhí)行主體可以為無人機(jī)，由圖1所示的流程可知，本發(fā)明中，無人機(jī)首先獲取頭戴顯示設(shè)備的視野變化坐標(biāo)，然后從無人機(jī)拍攝的圖像中截取與視野變化坐標(biāo)對應(yīng)的視場角的圖像，最后將視場角的圖像發(fā)送至所述頭戴顯示設(shè)備，本發(fā)明只需將截取的視場角的圖像發(fā)送至頭戴顯示設(shè)備，可以減少圖像傳輸?shù)臅r(shí)間延遲，消除用戶眩暈的問題。

S701中，視野變化坐標(biāo)用于指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化，基于該視野變化坐標(biāo)，無人機(jī)才能從無人機(jī)獲得視野變化坐標(biāo)對應(yīng)的視場角的圖像。

該視野變化坐標(biāo)可以由頭戴顯示設(shè)備的初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息確定。頭戴顯示設(shè)備與無人機(jī)連接時(shí)，頭戴顯示設(shè)備處于初始姿態(tài)，此時(shí)可以需要將頭戴顯示設(shè)備與無人機(jī)進(jìn)行標(biāo)定，標(biāo)定頭戴顯示設(shè)備處于初始姿態(tài)時(shí)當(dāng)前視野的預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)。頭戴顯示設(shè)備處于預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)時(shí)代姿態(tài)信息為初始姿態(tài)信息，佩戴頭戴顯示設(shè)備的用戶轉(zhuǎn)動頭部時(shí)，可以獲得頭戴顯示設(shè)備的實(shí)時(shí)姿態(tài)信息。

一實(shí)施例中，頭戴顯示設(shè)備可以依據(jù)初始姿態(tài)信息及實(shí)時(shí)姿態(tài)信息之間的變化量可以確定預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)的變化量，其中，該預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)的變化量指示該視野變化坐標(biāo)。根據(jù)該預(yù)設(shè)關(guān)鍵點(diǎn)坐標(biāo)的變化量，無人機(jī)可以從無人機(jī)拍攝的圖像中截取與視野變化坐標(biāo)對應(yīng)的視場角的圖像。

將初始姿態(tài)信息對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)作為全景視頻的起始參考點(diǎn)，那么初始姿態(tài)信息對應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)的范圍將作為參考基準(zhǔn)區(qū)域(即視野范圍，該視野范圍為視場角的參數(shù)，例如視場角為110度電情況下，視野范圍為110度)，根據(jù)參考基準(zhǔn)區(qū)域，就可以從拍攝的全景圖像中找到實(shí)時(shí)姿態(tài)信息中的關(guān)鍵點(diǎn)坐標(biāo)的范圍對應(yīng)的視場角的圖像，從拍攝的全景圖像中將該視場角的圖像截取下來即可得到用戶頭部轉(zhuǎn)到當(dāng)前位置需要觀看的圖像。

S702中，需要先獲取無人機(jī)的相機(jī)拍攝的圖像，基于無人機(jī)對相機(jī)拍攝的圖像，可以從中截取與視野變化坐標(biāo)對應(yīng)的視場角的圖像。本發(fā)明實(shí)施例中，無人機(jī)的相機(jī)拍攝的圖像可以為單鏡頭拍攝的非全景圖像，可以為全景相機(jī)拍攝的全景圖像，下面以全景圖像為例進(jìn)行說明，并非用于限定。

獲取無人機(jī)的相機(jī)拍攝的圖像時(shí)，可以根據(jù)無人機(jī)上的全景相機(jī)的采樣間隔以及接收到視野變化坐標(biāo)的延遲確定待存儲的圖像的幀數(shù)并存儲該待存儲的圖像，具體描述如下：

無人機(jī)上的全景相機(jī)拍攝的全景視頻會實(shí)時(shí)緩存在無人機(jī)上的存儲空間里，緩存的全景圖像的幀數(shù)需要根據(jù)全景攝像頭的采樣間隔及無人機(jī)接收到視野變化坐標(biāo)的延遲確定。實(shí)踐中，該延遲一般需要小于10ms。理論上，30幀的全景相機(jī)的攝像頭采樣間隔是33ms，60幀的全景相機(jī)的攝像頭采樣間隔是16.5ms，均大于10ms的傳輸延遲，所以只要緩存1幀全景圖像，就能保證保存下10ms之前的那一幀全景圖像。同理，120幀的攝像頭，采樣間隔是8.25ms，小于10ms，僅緩存1幀圖像的話，可能10ms之后截取全景圖像的指令到達(dá)時(shí)，其所對應(yīng)的那幀全景圖像經(jīng)過8.25ms后被新的緩存幀全景圖像覆蓋掉，所以至少要緩存2幀全景圖像，才能保障與指令對應(yīng)的那幀全景圖像被保存了下來。從存儲(緩存)的全景圖像中，可以截取與視野變化坐標(biāo)對應(yīng)的視場角的圖像。

另外，為保障可靠性，多緩存一幀全景圖像進(jìn)行冗余，例如，對于30幀及60幀的全景相機(jī)的攝像頭，可以緩存2幀全景圖像，對于120幀的全景相機(jī)的攝像頭，可以緩存3幀全景圖像。

利用本發(fā)明的航拍圖像處理方法，航拍視頻視角變換的延遲只包括無人機(jī)接收到視野變化坐標(biāo)的延遲(頭戴顯示設(shè)備的視野變化坐標(biāo)到達(dá)無人機(jī)的延遲，小于10ms)及視場角的圖像發(fā)送至頭戴顯示設(shè)備的延遲(可以小于40ms)，這樣就可以保障操作者(頭戴顯示設(shè)備佩戴著)視角變換時(shí)，頭戴顯示設(shè)備顯示的圖像變換延遲小于50ms。經(jīng)過實(shí)踐的結(jié)果可知，這種量級的圖傳延遲，絕大部分操作者已經(jīng)無法分辨出，可以長期保持在全景FPV的模式下而不會眩暈。

基于與圖7所示的航拍圖像處理方法相同的發(fā)明構(gòu)思，本申請?zhí)峁┮环N無人機(jī)，如下面實(shí)施例所述。由于該無人機(jī)解決問題的原理與航拍圖像處理方法相似，因此該無人機(jī)的實(shí)施可以參見上述航拍圖像處理方法的實(shí)施，重復(fù)之處不再贅述。

圖8為本發(fā)明實(shí)施例的無人機(jī)的結(jié)構(gòu)示意圖，如圖8所示，該無人機(jī)包括：

信息獲取單元801，用于獲取頭戴顯示設(shè)備的視野變化坐標(biāo)，其中，所述視野變化坐標(biāo)指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化；信息獲取單元801是無人機(jī)中獲取視野變化坐標(biāo)的部分，可以是軟件、硬件或二者的結(jié)合，例如可以是完成視野變化坐標(biāo)獲取功能的輸入輸出接口、處理芯片等元器件。

圖像截取單元802，用于從無人機(jī)拍攝的圖像中截取與所述視野變化坐標(biāo)對應(yīng)的視場角的圖像；圖像截取單元802是無人機(jī)中截取圖像的部分，可以是軟件、硬件或二者的結(jié)合，例如可以是完成圖像截取功能的輸入輸出接口、處理芯片等元器件。

圖像發(fā)送單元803，用于將所述視場角的圖像發(fā)送至所述頭戴顯示設(shè)備。圖像發(fā)送單元803是無人機(jī)中發(fā)送圖像的部分，可以是軟件、硬件或二者的結(jié)合，例如可以是完成圖像發(fā)送功能的輸入輸出接口、處理芯片等元器件。

一實(shí)施例中，如圖9所示，圖像截取單元802包括：

圖像獲取模塊901，用于獲取所述無人機(jī)拍攝的圖像，所述圖像為全景圖像；

圖像截取模塊902，用于從獲取所述圖像中截取與所述述視野變化坐標(biāo)對應(yīng)的視場角的圖像。

一實(shí)施例中，圖像獲取模塊901可以用于：根據(jù)所述無人機(jī)上的攝像頭的采樣間隔以及接收到視野變化坐標(biāo)的延遲確定待存儲的圖像的幀數(shù)并存儲所述待存儲的圖像。

本發(fā)明實(shí)施例中，無人機(jī)的相機(jī)拍攝的圖像可以為單鏡頭拍攝的非全景圖像，可以為全景相機(jī)拍攝的全景圖像，下面以全景圖像為例進(jìn)行說明，并非用于限定。

圖像獲取模塊901獲取無人機(jī)的相機(jī)拍攝的圖像時(shí)，可以根據(jù)無人機(jī)上的全景相機(jī)的采樣間隔以及接收到視野變化坐標(biāo)的延遲確定待存儲的圖像的幀數(shù)并存儲該待存儲的圖像，具體描述如下：

無人機(jī)上的全景相機(jī)拍攝的全景視頻會實(shí)時(shí)緩存在無人機(jī)上的存儲空間里，緩存的全景圖像的幀數(shù)需要根據(jù)全景攝像頭的采樣間隔及無人機(jī)接收到視野變化坐標(biāo)的延遲確定。實(shí)踐中，該延遲一般需要小于10ms。理論上，30幀的全景相機(jī)的攝像頭采樣間隔是33ms，60幀的全景相機(jī)的攝像頭采樣間隔是16.5ms，均大于10ms的傳輸延遲，所以只要緩存1幀全景圖像，就能保證保存下10ms之前的那一幀全景圖像。同理，120幀的攝像頭，采樣間隔是8.25ms，小于10ms，僅緩存1幀圖像的話，可能10ms之后截取全景圖像的指令到達(dá)時(shí)，其所對應(yīng)的那幀全景圖像經(jīng)過8.25ms后被新的緩存幀全景圖像覆蓋掉，所以至少要緩存2幀全景圖像，才能保障與指令對應(yīng)的那幀全景圖像被保存了下來。從存儲(緩存)的全景圖像中，可以截取與視野變化坐標(biāo)對應(yīng)的視場角的圖像。

另外，為保障可靠性，多緩存一幀全景圖像進(jìn)行冗余，例如，對于30幀及60幀的全景相機(jī)的攝像頭，可以緩存2幀全景圖像，對于120幀的全景相機(jī)的攝像頭，可以緩存3幀全景圖像。

利用本發(fā)明的無人機(jī)，可以使得航拍視頻視角變換的延遲只包括無人機(jī)接收到視野變化坐標(biāo)的延遲(頭戴顯示設(shè)備的視野變化坐標(biāo)到達(dá)無人機(jī)的延遲，小于10ms)及視場角的圖像發(fā)送至頭戴顯示設(shè)備的延遲(可以小于40ms)，這樣就可以保障操作者(頭戴顯示設(shè)備佩戴著)視角變換時(shí)，頭戴顯示設(shè)備顯示的圖像變換延遲小于50ms。經(jīng)過實(shí)踐的結(jié)果可知，這種量級的圖傳延遲，絕大部分操作者已經(jīng)無法分辨出，可以長期保持在全景FPV的模式下而不會眩暈。

圖10為本發(fā)明實(shí)施例的航拍系統(tǒng)的結(jié)構(gòu)示意圖，如圖10所示，該航拍系統(tǒng)包括：無人機(jī)1001及頭戴顯示設(shè)備1002，無人機(jī)1001與頭戴顯示設(shè)備1002無線連接；

頭戴顯示設(shè)備1002用于確定視野變化坐標(biāo)，并將所述視野變化坐標(biāo)發(fā)送至無人機(jī)1001，其中，所述視野變化坐標(biāo)指示佩戴所述頭戴顯示設(shè)備的用戶的視野變化。

無人機(jī)1001用于頭戴顯示設(shè)備1002發(fā)送到視野變化坐標(biāo)，從無人機(jī)上的相機(jī)拍攝的圖像中截取與視野變化坐標(biāo)對應(yīng)的視場角的圖像，并將視場角的圖像發(fā)送至所述頭戴顯示設(shè)備1002。

頭戴顯示設(shè)備1002接收無人機(jī)1001發(fā)送到視場角的圖像并顯示。

利用本發(fā)明實(shí)施例的航拍系統(tǒng)，可以使得延遲只包括視野變化坐標(biāo)發(fā)送至無人機(jī)的時(shí)間延遲及接收視場角的圖像的時(shí)間延長，總延遲時(shí)間較小，可以消除用戶眩暈。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲器中，使得存儲在該計(jì)算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

本發(fā)明中應(yīng)用了具體實(shí)施例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。