交叉引用

本發(fā)明要求如下優(yōu)先權(quán)：編號為62/281,810，申請日為2016年1月22日的美國臨時專利申請。編號為15/395,407，申請日為2016年12月30日的美國專利申請。上述美國專利申請在此一并作為參考。

本發(fā)明涉及一種圖像捕捉以及處理技術(shù)。特別地，本發(fā)明涉及一種使用控制裝置控制設(shè)備運動的控制系統(tǒng)及其方法，其中，上述設(shè)備包含圖像捕捉裝置，并且上述圖像捕捉裝置連接移動裝置(movingdevice)。

背景技術(shù)：

近年來，可攜式裝置(例如，移動裝置或手持裝置)變得越來越高級且具有更多功能。例如，移動裝置可接收電子郵件消息；電話簿具有允許多媒體播放的高級管理應(yīng)用以及具有各種各樣的其他功能。隨著上述裝置變得越來越便利且通用，人們的生活越來越離不開上述裝置。

隨著計算機技術(shù)的發(fā)展，可提供自拍(selfie)功能的自拍裝置越來越多。通過伸長舉著拍照設(shè)備(例如，手持數(shù)碼相機或智能手機)的手臂進行自拍，用戶可對自己的臉部進行拍照。當啟用自拍功能時，用戶變?yōu)榕恼漳繕?，并且在拍照設(shè)備前面拍攝用戶場景。

構(gòu)圖(composition)是好自拍圖像的一項主要因素。然而，當前的自拍裝置存在許多缺點。例如，當前自拍裝置具有有限的視場(fieldofview，fov)，從而很難將多個人包含在一張照片中，或者使用當前拍照設(shè)備很難取得所需背景。當在自拍期間使用自拍桿或者三腳架時，需要設(shè)置拍照設(shè)備，而且用戶位于無法夠到拍照設(shè)備的位置。在這種情況下，很難檢查要拍攝的預(yù)覽圖像以及圖像構(gòu)圖。

此外，許多具有攝像機的飛行器(例如，無人機)可用作拍照設(shè)備從而執(zhí)行圖像捕捉或拍攝操作。用戶可控制飛行器以生成具有合適圖像構(gòu)圖的好圖像。為此，用戶需要手動操作飛行器的技術(shù)從而改變圖像構(gòu)圖。然而，上述對飛行器的操作往往會超出用戶的熟練程度，并且需要太多時間與精力去練習(xí)如何操作。

因此，亟需一種容易確定圖像構(gòu)圖以解決上述問題的控制系統(tǒng)及其方法。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明提供一種控制設(shè)備運動的方法及其控制系統(tǒng)。

根據(jù)本發(fā)明實施例，提供一種控制設(shè)備運動的方法，其中，使用控制裝置對該設(shè)備進行控制，該設(shè)備包含圖像捕捉裝置，并且該圖像捕捉裝置連接能夠移動該圖像捕捉裝置的移動裝置，該方法包含：在該控制裝置顯示模塊上顯示該圖像捕捉裝置提供的預(yù)覽圖像；從該控制裝置的輸入模塊檢測用于改變該預(yù)覽圖像的第一輸入信號；基于該第一輸入信號獲取待捕捉的第一圖像，其中，該第一圖像與該已改變預(yù)覽圖像相關(guān)聯(lián)；根據(jù)該第一圖像生成一個或多個第一控制命令；以及通過通信鏈路將該一個或多個第一控制命令發(fā)送至該設(shè)備，以控制該圖像捕捉裝置與該移動裝置的運動，從而獲取待返回至該控制裝置的第二圖像。

根據(jù)本發(fā)明另一實施例，提供一種控制系統(tǒng)，包含：設(shè)備，該設(shè)備包含圖像捕捉裝置，并且該圖像捕捉裝置連接能夠移動該圖像捕捉裝置的移動裝置；以及控制裝置，通過通信鏈路耦接該設(shè)備，用于控制該設(shè)備中該圖像捕捉裝置與該移動裝置的運動，其中，配置該控制裝置在該控制裝置顯示模塊上顯示該圖像捕捉裝置提供的預(yù)覽圖像；從輸入模塊檢測用于改變該預(yù)覽圖像的第一輸入信號；基于該第一輸入信號獲取待捕捉的第一圖像；根據(jù)該第一圖像生成一個或多個第一控制命令；以及通過通信鏈路將該一個或多個第一控制命令發(fā)送至該設(shè)備，以控制該圖像捕捉裝置與該移動裝置的運動，從而獲取待返回至該控制裝置的第二圖像，其中，該第一圖像與該已改變預(yù)覽圖像相關(guān)聯(lián)并且返回的該第二圖像與該第一圖像相同。

本發(fā)明提供的控制設(shè)備運動的方法及其控制系統(tǒng)可改善用戶體驗。

附圖說明

圖1是根據(jù)本發(fā)明實施例描述的控制系統(tǒng)的示意圖；

圖2是根據(jù)本發(fā)明實施例的使用控制裝置控制設(shè)備運動的方法流程圖；

圖3a至圖3d是根據(jù)本發(fā)明實施例描述的改變顯示模塊上預(yù)覽圖像以及改變設(shè)備中圖像捕捉裝置與移動裝置的相關(guān)運動的示意圖；

圖4是根據(jù)本發(fā)明另一實施例描述的使用控制裝置控制設(shè)備運動的示意流程圖；

圖5a與圖5b是根據(jù)本發(fā)明實施例描述的計算所需移動距離與動作的示意圖；

圖6a是根據(jù)本發(fā)明實施例描述的改善傳輸延遲的示意圖；

圖6b是根據(jù)本發(fā)明另一實施例描述的改善傳輸延遲的示意圖。

具體實施方式

在說明書及權(quán)利要求書當中使用了某些詞匯來指稱特定的元件。所屬技術(shù)領(lǐng)域的技術(shù)人員應(yīng)可理解，硬件制造商可能會用不同的名詞來稱呼同一個元件。本說明書及權(quán)利要求書并不以名稱的差異作為區(qū)分元件的方式，而是以元件在功能上的差異作為區(qū)分的準則。在通篇說明書及權(quán)利要求項中所提及的“包含”為一開放式的用語，故應(yīng)解釋成“包含但不限定于”。此外，“耦接”一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表第一裝置可直接電氣連接于第二裝置，或通過其它裝置或連接手段間接地電氣連接至第二裝置。

接下來的描述是實現(xiàn)本發(fā)明的最佳實施例，其是為了描述本發(fā)明原理的目的，并非對本發(fā)明的限制?？梢岳斫獾厥?，本發(fā)明實施例可由軟件、硬件、固件或其任意組合來實現(xiàn)。

圖1是根據(jù)本發(fā)明實施例描述的控制系統(tǒng)的示意圖。控制系統(tǒng)1包含控制裝置100以及設(shè)備200，其中控制裝置100通過通信鏈路300與設(shè)備200進行耦接以控制設(shè)備200。更具體地，配置控制裝置100控制設(shè)備200中圖像捕捉裝置與移動裝置的運動。通信鏈路300可為有線或無線通信鏈路，例如，wi-fi(例如，ieee802.11a/b/g/n)、藍牙、wi-max通信等。在實施例中，控制裝置100可為個人計算機或可攜式裝置(例如，移動電話、平板電腦、數(shù)碼相機/錄像機、游戲機或其他任何能執(zhí)行本發(fā)明方法的適當裝置)。

控制裝置100包含通信模塊110、控制器120、存儲模塊130、顯示模塊140以及輸入模塊150。配置通信模塊110執(zhí)行與有線或無線網(wǎng)絡(luò)的有線或無線收發(fā)操作。更具體地，通信模塊110可進一步包含射頻電路(未示出)。射頻電路可耦接至一個或多個天線(未示出)并且可允許通過無線網(wǎng)絡(luò)與一個或多個其他裝置、計算機及/或服務(wù)器進行通信?？刂蒲b置100可支持各種通信協(xié)議，例如，碼分多址(cdma)、全球移動通信系統(tǒng)(gsm)、增強型數(shù)據(jù)速率gsm演進技術(shù)(edge)、高速下行分組接入技術(shù)(hsdpa)、wi-fi(例如，ieee802.11a/b/g/n)、藍牙、wi-max通信協(xié)議以及用于電子郵件、即時通信(im)及/或短消息業(yè)務(wù)(sms)的協(xié)議，但本發(fā)明并不局限于此。

控制器120可為通用處理器、微控制單元(microcontrolunit，mcu)、應(yīng)用處理器、數(shù)字信號處理器(dsp)或者類似裝置，用于控制通信模塊110與設(shè)備200進行通信；將數(shù)據(jù)存儲入存儲模塊130或從存儲模塊130中提取數(shù)據(jù)；向顯示模塊140發(fā)送一連串幀數(shù)據(jù)(例如，文字消息、圖像等)以及從輸入模塊150接收信號。特別地，控制器120協(xié)調(diào)通信模塊110、存儲模塊130、顯示模塊140以及輸入模塊150的上述操作以實現(xiàn)本發(fā)明的方法。

存儲模塊130可為存儲器(例如，閃存或非易失性隨機存取存儲器(nvram))、磁存儲器(例如，硬盤、磁帶)、光盤或用于存儲應(yīng)用指令及/或程序代碼、通信協(xié)議及/或本發(fā)明方法的上述裝置組合。例如，可將用戶從偏好圖像構(gòu)圖輸入轉(zhuǎn)化的圖像捕捉裝置及/或移動裝置的運動以生成控制命令的算法的程序代碼預(yù)存在存儲模塊130中。控制器120可從存儲模塊130加載上述算法的程序代碼，并且執(zhí)行上述算法的程序代碼以控制生成命令。

顯示模塊140可為液晶顯示器(lcd)、發(fā)光二極管(led)顯示器或電子紙顯示器(electronicpaperdisplay，epd)等，用于提供顯示功能。替換地，顯示模塊140可進一步包含一個或多個觸摸傳感器，其位于顯示模塊頂部或底部并且用于感應(yīng)觸摸、接觸或目標(例如，手指或觸摸筆)臨近。

輸入模塊150包含一個或多個按鈕、鍵盤、鼠標、觸摸板、麥克風(fēng)及/或揚聲器等，作為與用戶進行交互的人機界面(man-machineinterface，mmi)。在實施例中，輸入模塊150可為觸摸板、觸摸感應(yīng)屏幕、非接觸式3d交互系統(tǒng)或眼球追蹤系統(tǒng)等，本發(fā)明并不局限于此。

當顯示模塊140是觸摸感應(yīng)屏幕時，其可使用現(xiàn)在所知或者今后發(fā)展出的多種觸摸感應(yīng)技術(shù)檢測其上的接觸、運動或敲擊，其中上述多種觸摸感應(yīng)技術(shù)可包含但不限于電容、電阻、紅外線及表面聲波觸摸感應(yīng)技術(shù)，也包含決定與觸摸感應(yīng)屏幕接觸的一個或多個接觸點的其他近距離傳感器陣列或其他元件。然而，觸摸感應(yīng)屏幕也可顯示控制裝置100的可視化輸出。

顯示模塊140可進一步提供與用戶10進行交互的用戶界面，從而使得用戶10通過用戶界面輸入命令或動作。用戶10可為人或能決定預(yù)覽圖像構(gòu)圖的機器。

設(shè)備200進一步包含通信裝置210、圖像捕捉裝置220以及移動裝置230，其中可將圖像捕捉裝置220裝配圖像捕捉功能，以捕捉靜態(tài)圖像或視頻圖像?？膳渲猛ㄐ叛b置210使其與控制裝置100進行通信。移動裝置230是能夠?qū)D像捕捉裝置220移至特定位置的移動裝置，例如，汽車、飛行器等。在實施例中，也可將移動裝置230與圖像捕捉裝置220進行集成。

通信裝置210與通信模塊110類似。具體地，配置通信裝置210通過通信鏈路300(例如，wi-fi或藍牙網(wǎng)絡(luò))執(zhí)行與通信模塊110之間的有線或無線收發(fā)操作。

圖像捕捉裝置220可為用于捕捉圖像的一個或多個光學(xué)傳感器。例如，圖像捕捉裝置220可為具有一個或多個ccd或cmos傳感器的相機，但本發(fā)明并不局限于此。圖像捕捉裝置220進一步包含一個或多個鏡頭模塊222，其為指向目標的光學(xué)系統(tǒng)，并且可將目標處的光濃縮至圖像捕捉裝置220中的像素(未示出)。即使圖像捕捉裝置220的位置是固定的，可進一步改變鏡頭模塊222的位置以執(zhí)行變焦功能(包含拉近或拉遠操作)。

在實施例中，控制裝置110可為手持裝置(例如，手機)，其具有觸摸屏幕與無線收發(fā)機，其中無線收發(fā)機用于提供控制裝置100與設(shè)備200之間的無線通信，并且設(shè)備200可為裝配相機與無線收發(fā)機的飛行器(例如，無人機或無人駕駛飛行器)，用于捕捉靜態(tài)圖像或視頻圖像，其中，上述圖像是無線傳輸至手持裝置并且在手持裝置的觸控屏幕上進行顯示。在另一實施例中，控制裝置100可為具有相機與觸控屏幕的移動裝置，圖像捕捉裝置220可為移動裝置的相機，并且移動裝置230可為移動裝置的相機的鏡頭模塊，本發(fā)明并不局限于此。

值得注意的是，上述每個指定應(yīng)用對應(yīng)指令集合，其中，該指令集合用于執(zhí)行上述一個或多個功能?？墒褂密浖?或硬件實施控制裝置100的各種功能，其中，上述硬件可包含一個或多個信號處理電路及/或?qū)Ｓ眉呻娐?。值得注意的是，圖1的實施例所示的元件僅是為了描述的目的，并不意味著對本發(fā)明的范圍限制。

更具體地，配置控制裝置100在控制裝置100的顯示模塊140上顯示圖像捕捉裝置220提供的預(yù)覽圖像；配置控制裝置100從輸入模塊150檢測輸入信號以改變顯示模塊140上的預(yù)覽圖像；配置控制裝置100基于已檢測輸入信號獲取待捕捉的第一圖像；配置控制裝置100根據(jù)第一圖像生成一個或多個第一控制命令；以及配置控制裝置100通過通信鏈路300將一個或多個第一控制命令發(fā)送至設(shè)備200，以控制圖像捕捉裝置220與移動裝置230捕捉第二圖像并將其返回至控制裝置100。第一圖像與已改變的預(yù)覽圖像相關(guān)聯(lián)，并且理想地，返回的第二圖像與第一圖像相同。

圖2是根據(jù)本發(fā)明實施例的使用控制裝置控制設(shè)備運動的方法流程圖。在示例中，圖1中的控制系統(tǒng)1可執(zhí)行上述方法。在本發(fā)明中使用圖1的控制系統(tǒng)1解釋本流程圖，但本發(fā)明并不局限于控制系統(tǒng)1。

在步驟s202，當用戶10希望拍照時，在控制裝置100的顯示模塊140顯示圖像捕捉裝置220(例如，相機)提供的預(yù)覽圖像，用于用戶10進行檢查。例如，圖1中的控制器120可執(zhí)行步驟s202。更具體地，在許多實施例中，用戶10可將設(shè)備200指向用戶自身，并且對自己進行拍照。在這種情況下，用戶變?yōu)榇蹲降哪繕?，因此也可稱為自拍。在實施例中，用戶10可使用設(shè)備200捕捉其他目標圖像。具體地，當接收拍照請求時，控制器120可通過通信模塊110激活圖像捕捉裝置220以捕捉圖像，并且通過通信裝置210將已捕捉圖像返回至控制裝置100作為在顯示模塊140上顯示的供用戶10觀看的預(yù)覽圖像。圖像捕捉裝置220將捕捉位于圖像捕捉裝置220前面場景20中具有目標22的圖像，并且將其返回至控制裝置100作為預(yù)覽圖像。例如，基于圖像捕捉裝置220的視場(fov)范圍確定場景20的尺寸。圖像捕捉裝置220的fov范圍越大，則場景20的尺寸也越大。可根據(jù)圖像捕捉裝置220的移動，改變圖像捕捉裝置220的fov范圍。

接著，用戶10可希望改變顯示模塊140上顯示的預(yù)覽圖像。根據(jù)通過輸入模塊150接收的指示或手勢，用戶10可在改變顯示模塊140上的預(yù)覽圖像的同時構(gòu)建待捕捉的第一圖像的圖像構(gòu)圖。

當用戶10改變預(yù)覽圖像時，在步驟s204，通過輸入模塊150檢測到用于改變預(yù)覽圖像的輸入信號。例如，圖1中的控制器120可執(zhí)行步驟s204。在實施例中，當輸入模塊150是可觸式用戶界面時，用戶可通過與可觸式用戶界面接觸的手勢改變預(yù)覽圖像。例如，通過根據(jù)輸入模塊150在預(yù)覽圖像上畫定范圍或使用手指接觸預(yù)覽圖像的兩點，用戶可設(shè)定所需圖像構(gòu)圖的圖框，從而改變預(yù)覽圖像的圖像構(gòu)圖。在其他實施例中，當輸入模塊150是非觸式用戶界面時，用戶10也可根據(jù)非觸式用戶界面提供的輸入模塊150(例如，按鍵或鍵盤)改變預(yù)覽圖像。

在檢測到用于改變預(yù)覽圖像的輸入信號時，在步驟s206，基于已檢測輸入信號，獲取待捕捉的第一圖像，其中，第一圖像與已改變預(yù)覽圖像相關(guān)聯(lián)。圖1中的控制器120可執(zhí)行步驟s206?？刂破?20可生成或獲取第一圖像，其中，在第一圖像中，根據(jù)對應(yīng)目標22的已檢測輸入信號，移動預(yù)覽圖像中目標22的位置。換句話說，第一圖像的構(gòu)圖可與前述預(yù)覽圖像的構(gòu)圖不同。

在取得第一圖像后，在步驟s208，根據(jù)第一圖像生成一個或多個第一控制命令。例如，圖1中的控制器120可執(zhí)行步驟s208。

具體地，控制器120可生成一個或多個控制命令，用于移動設(shè)備200中移動裝置230與圖像捕捉裝置220，或指導(dǎo)設(shè)備200中移動裝置230與圖像捕捉裝置220的運動。例如，在控制裝置100是具有觸控屏幕的手持裝置(例如，手機)并且移動裝置230是飛行器的實施例中，可使用控制命令操縱飛行器沿著俯仰角、偏航角與翻滾角的至少一個繞軸自轉(zhuǎn)以及向前、向后、向左與向右移動中的至少一個水平移動進行飛行，以控制飛行器的飛行方向。在前述實施例中，在飛行器裝配圖像捕捉裝置(例如，相機)的情況下，當飛行器連接相機以實現(xiàn)圖像捕捉(例如，捕捉靜態(tài)圖像或移動/視頻圖像)與對焦功能時，通過對手持裝置的觸控屏幕的擠壓/拉伸手勢，提供另一控制命令以激活圖像捕捉裝置的對焦功能。

此后，在步驟s210，通過通信鏈路300將一個或多個第一控制命令發(fā)送至設(shè)備200以控制圖像捕捉裝置220與移動裝置230的運動，從而捕捉待返回至控制裝置100的第二圖像，其中，理想地，返回的第二圖像與第一圖像相同。圖1中的控制器120可執(zhí)行步驟s210。即，返回的第二圖像具有與第一圖像相同的構(gòu)圖。

更具體地，對圖像捕捉裝置與移動裝置的運動控制可包含一個或多個下列動作：控制移動裝置230以改變圖像捕捉裝置220的位置、旋轉(zhuǎn)圖像捕捉裝置220以及啟用圖像捕捉裝置220上的對焦(畫面拉近拉遠)操作。

例如，用戶10可在預(yù)覽圖像基礎(chǔ)上輸入一個或多個手勢或預(yù)定姿勢，以改變預(yù)覽圖像從而生成控制裝置100的輸入模塊150中的待捕捉的第一圖像。接著，控制器120檢測那些輸入信號(例如，手勢或操作)，并且根據(jù)已檢測的輸入信號生成控制命令，以及將上述控制命令通過通信模塊110發(fā)送至設(shè)備200。更具體地，控制器120可進一步包含軟件以接收用戶的觸控手勢，并且應(yīng)用算法將用戶10的照片構(gòu)圖偏好輸入轉(zhuǎn)化為圖像捕捉裝置220及/或移動裝置230的運動，從而生成控制命令。

在另一實施例中，顯示模塊140可為觸摸感應(yīng)屏幕，其中，該觸摸感應(yīng)屏幕包含能夠檢測顯示模塊140上用戶輸入(例如，觸控動作)的觸摸感應(yīng)模塊，以及可手動改變預(yù)覽圖像。例如，當啟用圖像捕捉功能時，首先，控制器120可向設(shè)備200發(fā)送控制命令以激活圖像捕捉裝置220從而捕捉包含目標22(例如，用戶或其他目標)的當前位置場景20的圖像。接著，將圖像捕捉裝置220捕捉的圖像進行顯示以作為顯示模塊140上的預(yù)覽圖像。用戶10可首先檢查預(yù)覽圖像，并且接著，使用其手指或觸摸筆通過輸入模塊150選擇并決定所需構(gòu)圖，例如，畫定區(qū)域或接觸顯示模塊140上的兩個點，并且控制器120可通過輸入模塊150檢測一個或多個輸入信號。接著，控制器120可生成各自控制命令，以響應(yīng)已檢測的用戶輸入信號，并且相應(yīng)控制圖像捕捉裝置220與移動裝置230的運動。

例如，當已檢測輸入信號包含旋轉(zhuǎn)手勢時，根據(jù)該旋轉(zhuǎn)手勢生成旋轉(zhuǎn)命令。上述旋轉(zhuǎn)命令可包含指示如何旋轉(zhuǎn)圖像捕捉裝置220的旋轉(zhuǎn)信息，例如，旋轉(zhuǎn)角度及/或旋轉(zhuǎn)方向。當從控制裝置100接收旋轉(zhuǎn)命令時，移動裝置230或圖像捕捉裝置220可根據(jù)包含在旋轉(zhuǎn)命令中的旋轉(zhuǎn)信息旋轉(zhuǎn)圖像捕捉裝置220。例如，如果旋轉(zhuǎn)命令指示180度的旋轉(zhuǎn)角度，則可將圖像捕捉裝置220旋轉(zhuǎn)180度。

當已檢測輸入信號包含平移手勢(pangesture)時，根據(jù)該平移手勢生成平移命令。上述平移命令可包含指示移動裝置230如何移動圖像捕捉裝置220的平移信息，例如，移動距離及/或移動方向。當從控制裝置100接收平移命令時，移動裝置230可根據(jù)平移命令將圖像捕捉裝置220朝著移動方向移至目標位置。

當已檢測輸入信號包含縮放手勢時，根據(jù)縮放手勢生出縮放命令。上述縮放命令可指示移動裝置230應(yīng)如何移動圖像捕捉裝置220(例如，靠近或遠離目標22)，并且指示圖像捕捉裝置220是否應(yīng)執(zhí)行對焦(拉近或拉遠)操作。當從控制裝置220接收縮放命令時，如果需要，則移動裝置230可將圖像捕捉裝置220移至目標位置，并且圖像捕捉裝置220可執(zhí)行對應(yīng)的對焦(拉近或拉遠)操作。

例如，當移動裝置230是飛行器并且圖像捕捉裝置220是與飛行器相連的相機時，用戶10可改變預(yù)覽圖像以在控制裝置100的顯示模塊140上輸入偏愛圖像構(gòu)圖，接著，控制裝置100基于已檢測輸入信號生成控制命令，以控制飛行器的運動及/或行動從而啟動飛行器與相機以自動移至具有適當相機焦距的適當位置，從而捕捉圖像。在實施例中，可使用控制命令通過操縱飛行器沿著俯仰角、偏航角與翻滾角的至少一個繞軸自轉(zhuǎn)以及向前、向后、向左與向右移動中的至少一個水平移動進行飛行從而實現(xiàn)自動移至適當位置的步驟。

例如，請參考圖3a至圖3d。圖3a至圖3d是根據(jù)本發(fā)明實施例描述的改變顯示模塊140上預(yù)覽圖像以及改變設(shè)備中圖像捕捉裝置與移動裝置的相關(guān)運動的示意圖，其中，圖3a是描述控制系統(tǒng)的實施例，圖3b至圖3d是分別描述對應(yīng)平移手勢、縮放手勢與旋轉(zhuǎn)手勢輸入信號的圖像捕捉裝置與移動裝置的相關(guān)運動示意圖。為了方便解釋，可將圖3a中的控制系統(tǒng)應(yīng)用于圖3b至圖3d作為本實施例的示例，本發(fā)明并不局限于此。進一步地，在圖3b至圖3d的每個圖中，左半部分代表顯示模塊上顯示的預(yù)覽圖像的改變，右半部分代表真實場景中圖像捕捉裝置與移動裝置的相關(guān)運動。

如圖3a所示，描述了控制系統(tǒng)1的實施例，其中控制裝置100是手機，并且設(shè)備200包含飛行器(例如，無人機)與相機。移動裝置230是飛行器，并且圖像捕捉裝置220是與飛行器相連的相機。在本實施例中，用戶10正使用手機進行自拍?？刂蒲b置100包含顯示模塊140，其進一步提供與用戶進行交互的可觸式用戶界面。如圖3b的右側(cè)所示，當目標是用戶自身并且相機的位置并未與用戶的位置對齊時，圖3b的左上部分顯示預(yù)覽圖像30。在預(yù)覽圖像30中，目標22位于預(yù)覽圖像的右側(cè)。接著，用戶10想要將目標22移至預(yù)覽圖像的中央，所以其用手指向左滑動(例如，點擊目標并移至左側(cè))以在觸控屏幕上輸入平移手勢。當檢測到平移手勢的輸入時，控制裝置100的控制器120可根據(jù)平移手勢生成設(shè)備200的平移命令。當從控制裝置100接收平移命令時，如圖3b的右下側(cè)所示，移動裝置230根據(jù)平移命令將圖像捕捉裝置220移至目標位置以對齊用戶位置。圖像捕捉裝置220在目標位置捕捉另一圖像，并且如圖3b的左下側(cè)所示，將其返回至控制裝置作為第二圖像31。在第二圖像31中，如用戶所需，目標22位于預(yù)覽圖像的中央?yún)^(qū)域。

相似地，如圖3c的左上側(cè)所示，用戶進一步希望對目標22執(zhí)行放大操作，因此其在觸控屏幕上輸入縮放手勢。目標22與圖像捕捉裝置220之間的距離是d。當檢測到縮放手勢的輸入信號時，控制裝置100的控制器120可根據(jù)縮放手勢生成設(shè)備200的縮放命令。當從控制裝置100接收縮放命令時，如圖3c的右下側(cè)所示，移動裝置230根據(jù)縮放命令將圖像捕捉裝置220移至靠近目標22。例如，目標22與圖像捕捉裝置220之間的距離變?yōu)閐/2。圖像捕捉裝置220在上述位置捕捉另一圖像，并且如圖3c的左下側(cè)所示，將其返回至控制裝置作為第二圖像32。在這種情況中，可進一步根據(jù)縮放命令控制圖像捕捉裝置220的鏡頭模塊222以執(zhí)行相應(yīng)對焦(拉近或拉遠)操作。

如圖3d所示，用戶可在輸入模塊150上輸入旋轉(zhuǎn)手勢。當在預(yù)覽圖像40的基礎(chǔ)上檢測到旋轉(zhuǎn)手勢的輸入信號時，控制裝置100的控制器根據(jù)旋轉(zhuǎn)手勢生成設(shè)備200的旋轉(zhuǎn)命令。當從控制裝置100接收旋轉(zhuǎn)命令時，如圖3d的右下側(cè)所示，根據(jù)旋轉(zhuǎn)命令將圖像捕捉裝置220進行旋轉(zhuǎn)。圖像捕捉裝置220在上述位置捕捉另一圖像，并且如圖3d的左下側(cè)所示，將其返回至控制裝置作為第二圖像33。

在另一實施例中，一旦接收到已返回第二圖像，控制器在顯示模塊140上顯示第二圖像作為預(yù)覽圖像，并且進一步檢測用于改變用戶界面上的第二圖像的輸入信號?；谝褭z測輸入信號獲取待捕捉的第三圖像，其中，第三圖像與已改變第二圖像相關(guān)聯(lián)。相似地，根據(jù)第三圖像，生成一個或多個第二控制命令。接著，通過通信鏈路300，將一個或多個第二控制命令發(fā)送至設(shè)備200以控制圖像捕捉裝置與移動裝置的運動，進而捕捉第四圖像。將捕捉的第四圖像返回至控制裝置。理想地，返回的第四圖像將與第三圖像相同。

值得注意的是，控制裝置100是手機僅是為了說明的目的，并不是對本發(fā)明的限制。在另一實施例中，控制裝置100可為帶照相功能的虛擬現(xiàn)實(virtualreality，vr)眼鏡，并且設(shè)備200包含飛行器(例如，無人機)與相機。移動裝置230是飛行器，并且圖像捕捉裝置220是與飛行器相連的相機。在具體操作上，首先，控制裝置100在其顯示模塊上顯示圖像捕捉裝置220提供的預(yù)覽圖像，其中上述顯示模塊上的預(yù)覽圖像可為用戶佩戴控制裝置100所看到的圖像。接著，如果用戶想要修改預(yù)覽圖像的構(gòu)圖，則通過控制裝置100的照相功能，捕捉用戶的手勢作為輸入信號(例如，用戶在vr眼鏡的照相功能的前方做出手勢以供照相功能捕捉)，用于改變預(yù)覽圖像。例如，上述手勢可類似于圖3a至圖3d中在輸入模塊上輸入的手勢(例如，平移手勢、縮放手勢、旋轉(zhuǎn)手勢等)。最后，通過與上述改變后的預(yù)覽圖像相關(guān)的控制命令，控制圖像捕捉裝置220與移動裝置230的運動，以捕獲與改變后預(yù)覽圖像相同的圖像。

圖4是根據(jù)本發(fā)明另一實施例描述的使用控制裝置控制設(shè)備運動的示意流程圖。例如，圖1中的控制系統(tǒng)1可執(zhí)行方法。為了方便解釋流程圖，這里利用圖1的控制系統(tǒng)1，但本發(fā)明并不局限于此。在本實施例中，設(shè)備200可為裝配有相機的飛行器，并且控制裝置100為手機。

在步驟s402，手機在顯示模塊上顯示相機提供的預(yù)覽圖像。接著，在步驟s404，手機進一步通過手機的輸入模塊確定是否檢測到用于改變預(yù)覽圖像構(gòu)圖的用戶輸入信號。如果答案為是，則意味著改變預(yù)覽圖像的構(gòu)圖。在步驟s406，手機計算所需的移動距離以及動作，并且在步驟s408基于計算結(jié)果確定或再指派相機的目標位置。接著，如果有需要，流程返回至步驟s404繼續(xù)確定是否存在用戶輸入信息并且重新計算相機的目標位置。

圖5a與圖5b是根據(jù)本發(fā)明實施例描述的計算所需移動距離與動作的示意圖。如圖5a所示，假設(shè)在觸控屏幕上檢測到拖拽距離x用于改變觸控屏幕上顯示的預(yù)覽圖像，并且真實場景中相機與目標之間的距離是d。接著，根據(jù)下列公式計算相機的移動距離y：y＝2×d×tan(α)，其中，如圖5b所示，α是對應(yīng)攝像機的fov的夾角?？梢岳斫獾氖牵瑸榱私忉屃鞒虉D，這里利用了移動距離計算公式，但本發(fā)明并不局限于此。對于本領(lǐng)域技術(shù)人員，可將各種公式或方法應(yīng)用于移動距離計算，本發(fā)明并不局限于上述公式。

如果在步驟s404確定未檢測到用于改變預(yù)覽圖像構(gòu)圖的用戶輸入信息，則手機可生成一個或多個控制命令并且將其發(fā)送至設(shè)備200。在步驟s410，設(shè)備200確定相機是否到達目標位置。如果未到達，則在步驟s412，設(shè)備200繼續(xù)指示飛行器以將相機移至目標位置。如果到達目標位置，則在步驟s414，相機在目標位置捕捉圖像。在捕捉到圖像后，在步驟s416，設(shè)備200將已捕捉圖像返回至手機并且在手機的顯示模塊上顯示已捕捉圖像作為下一預(yù)覽圖像(即，第二圖像)。

在實施例中，當設(shè)備200捕捉第二圖像并且準備將其返回至控制裝置100時，由于基于網(wǎng)絡(luò)執(zhí)行上述返回操作，因此在控制裝置100與設(shè)備200之間存在傳輸延遲。為了改進傳輸圖像期間控制裝置100與設(shè)備200之間的傳輸延遲，接下來提供幾種改進傳輸延遲的實施例。

在實施例中，可通過根據(jù)已檢測輸入信號部分顯示已捕捉圖像作為顯示模塊上的預(yù)覽圖像，降低控制裝置100與設(shè)備200之間的傳輸延遲。當接收第二圖像時，顯示第二圖像的第一裁剪區(qū)域作為預(yù)覽圖像。接著，當從輸入模塊檢測到輸入信號時，確定第二圖像的第二裁剪區(qū)域，并且顯示第二圖像的第二裁剪區(qū)域作為預(yù)覽圖像。

例如，控制裝置100可請求設(shè)備200捕捉圖像，其中，上述圖像的分辨率大于顯示模塊的顯示區(qū)域的分辨率。接著，控制裝置100可顯示部分捕捉圖像作為顯示模塊上的預(yù)覽圖像(例如，僅顯示捕捉圖像的中央?yún)^(qū)域)。當檢測到向左拖拽手勢(例如，通過向左滑動手勢)時，相應(yīng)將顯示區(qū)域轉(zhuǎn)移至右側(cè)以選擇第二圖像的第二裁剪區(qū)域作為預(yù)覽圖像。由于僅顯示捕捉圖像的一部分作為預(yù)覽圖像，所以無需再次發(fā)送整幀。

圖6a是根據(jù)本發(fā)明實施例描述的改善傳輸延遲的示意圖。如圖6a所示，假設(shè)捕捉的第二圖像600的分辨率大于顯示預(yù)覽圖像的顯示區(qū)域的分辨率。當接收第二圖像600時，控制器120可進一步確定第二圖像600的第一裁剪區(qū)域602，并且將其進行顯示作為預(yù)覽圖像。接著，當從顯示模塊處檢測到輸入信號，則控制器120可選擇第二圖像600的第二裁剪區(qū)域604并且根據(jù)已檢測輸入信號將其進行顯示?？刂破?20可根據(jù)已檢測輸入信號調(diào)整第二圖像中裁剪區(qū)域的位置，并且接著在顯示模塊上顯示第二圖像的裁剪區(qū)域作為預(yù)覽圖像，用于用戶觀看。

在另一實施例中，為了流暢移動，當根據(jù)已檢測輸入信號取得顯示模塊上的第一移動距離時，控制器120可進一步基于已確定第一移動距離生成指示第二移動距離的控制命令，其中上述第二移動距離是圖像捕捉裝置220需移動的距離。第一移動距離可數(shù)倍于第二移動距離。例如，第一移動距離可五倍于第二移動距離。相似地，第二移動距離可數(shù)倍于第一移動距離。例如，第二移動距離可五倍于第一移動距離。

在另一實施例中，可通過對第二圖像進行圖像壓縮或插值，降低控制裝置100與設(shè)備200之間的傳輸延遲，從而改善用戶體驗。

更具體地，首先，設(shè)備200發(fā)送第一分辨率版本的第二圖像至控制裝置100。顯示第一分辨率版本的第二圖像作為顯示模塊上的預(yù)覽圖像。接著，設(shè)備200發(fā)送全分辨率版本的第二圖像至控制裝置100。最后，顯示全分辨率版本的第二圖像作為顯示模塊上的預(yù)覽圖像。

在本實施例中，設(shè)備200壓縮全分辨率版本的第二圖像以生成低分辨率版本的第二圖像。例如，如果全分辨率版本的第二圖像具有1024×768的分辨率，則低分辨率版本的第二圖像可具有320×240的分辨率。

當控制裝置100接收低分辨率版本的第二圖像時，在顯示模塊上顯示低分辨率版本的第二圖像用于用戶觀看。由于低分辨率圖像在傳輸過程中需要比全分辨率圖像較小網(wǎng)絡(luò)帶寬，所以控制裝置的用戶可迅速預(yù)覽第二圖像，從而避免傳輸延遲。接著，設(shè)備200將全分辨率版本的第二圖像發(fā)送至控制裝置100。在顯示模塊上顯示全分辨率版本的第二圖像。通過上述漸進傳輸，即，首先顯示低分辨率圖像，接著顯示全分辨率圖像，可降低控制裝置100與設(shè)備200之間的傳輸延遲。

在另一實施例中，可通過根據(jù)已檢測輸入信號在顯示模塊上顯示標識(indicator)，降低控制裝置100與設(shè)備200之間的傳輸延遲，其中，上述顯示操作優(yōu)先于接收設(shè)備返回的第二圖像。例如，如圖6b所示，當向左移動用戶手指時，優(yōu)先于從設(shè)備接收第二圖像，控制裝置可在顯示模塊顯示的預(yù)覽圖像上顯示標識(例如，向右的箭頭)，以實時響應(yīng)用戶。此外，在從一個預(yù)覽圖像到另一預(yù)覽圖像的轉(zhuǎn)換期間，可模糊(blur)圖像直到接收已捕捉圖像為止。對于本領(lǐng)域技術(shù)人員來說，優(yōu)先于接收設(shè)備返回的第二圖像，可為用戶提供各種標識或圖像效果，本發(fā)明并不局限于圖6b中的圖像效果。

在另一實施例中，當設(shè)備200與顯示裝置(未示出)相連接時，可進一步將指示如何移動圖像捕捉裝置獲取第二圖像的指示信息顯示在設(shè)備的顯示裝置上。具體地，在本實施例中，可進一步將控制命令轉(zhuǎn)換為指示信息(指示如何移動圖像捕捉裝置獲取第二圖像)，從而使得設(shè)備的用戶可根據(jù)指示信息手動移動圖像捕捉裝置以獲取第二圖像。例如，指示信息可顯示“請將設(shè)備向右移動xx厘米”，以指示設(shè)備需要向右移動預(yù)定距離，并且相應(yīng)地，設(shè)備的用戶可作為移動設(shè)備的移動裝置。

在另一實施例中，控制器120可基于第一圖像確定圖像捕捉裝置200的目標位置，并且使用第一控制命令控制移動裝置230以將圖像捕捉裝置220移至目標位置。當停止移動移動裝置230(例如，由于控制距離限制或障礙回避)并且未將圖像捕捉裝置200移動至目標位置時，圖像捕捉裝置220進一步通過使用鏡頭模塊222執(zhí)行光學(xué)變焦操作以移動至目標位置及/或當在已經(jīng)執(zhí)行光學(xué)變焦操作后圖像捕捉裝置仍未移動至目標位置時，執(zhí)行數(shù)碼變焦操作以移動至目標位置。

在另一實施例中，圖像捕捉裝置220與控制器120可進一步集成在設(shè)備中。在本實施例中，控制器120耦接圖像捕捉裝置220，其中，配置控制器120在設(shè)備的顯示裝置上顯示圖像捕捉裝置220提供的預(yù)覽圖像、從設(shè)備的輸入模塊檢測改變預(yù)覽圖像的輸入信息、基于已檢測輸入信號獲取待捕捉的第一圖像、根據(jù)第一圖像生成一個或多個第一控制命令，以及使用上述一個或多個第一控制命令控制圖像捕捉裝置220的鏡頭模塊222的運動以設(shè)定位置從而捕捉在顯示模塊上顯示的第二圖像作為下一預(yù)覽圖像。

鑒于上述實施例，本發(fā)明提供根據(jù)控制裝置控制設(shè)備運動的方法及其控制系統(tǒng)，其中，上述設(shè)備包含圖像捕捉裝置，以及上述圖像捕捉裝置連接至移動裝置。本發(fā)明的方法可為用戶提供構(gòu)圖以在控制裝置側(cè)改變預(yù)覽圖像，并且自動發(fā)送輸入信息以改變移動裝置與圖像捕捉裝置的運動，從而直接捕捉所需場景。本發(fā)明的方法無需專業(yè)人員的專業(yè)技術(shù)，并且可提供更好的用戶體驗。

呈現(xiàn)上述描述以允許本領(lǐng)域技術(shù)人員根據(jù)特定應(yīng)用以及其需要的內(nèi)容實施本發(fā)明。所述實施例的各種修改對于本領(lǐng)域技術(shù)人員來說是顯而易見的，并且可將上述定義的基本原則應(yīng)用于其他實施例。因此，本發(fā)明不局限于所述的特定實施例，而是符合與提供的原則及新穎特征相一致的最寬范圍。在上述細節(jié)描述中，為了提供對本發(fā)明的徹底理解，描述了各種特定細節(jié)。然而，本領(lǐng)域技術(shù)人員可以理解本發(fā)明是可實施的。

上述的本發(fā)明實施例可在各種硬件、軟件編碼或兩者組合中進行實施。本發(fā)明的實施例也可為在數(shù)據(jù)信號處理器(digitalsignalprocessor,dsp)中執(zhí)行的執(zhí)行上述程序的程序代碼。本發(fā)明也可涉及計算機處理器、數(shù)字信號處理器、微處理器或現(xiàn)場可編程門陣列(fieldprogrammablegatearray,fpga)執(zhí)行的多種功能?？筛鶕?jù)本發(fā)明配置上述處理器執(zhí)行特定任務(wù)，其通過執(zhí)行定義了本發(fā)明揭示的特定方法的機器可讀軟件代碼或固件代碼來完成?？蓪④浖a或固件代碼發(fā)展為不同的程序語言與不同的格式或形式。也可為了不同的目標平臺編譯軟件代碼。然而，根據(jù)本發(fā)明執(zhí)行任務(wù)的軟件代碼與其他類型配置代碼的不同代碼樣式、類型與語言不脫離本發(fā)明的精神與范圍。

在不脫離本發(fā)明精神或本質(zhì)特征的情況下，可以其他特定形式實施本發(fā)明。描述示例被認為說明的所有方面并且無限制。因此，本發(fā)明的范圍由權(quán)利要求書指示，而非前面描述。所有在權(quán)利要求等同的方法與范圍中的變化皆屬于本發(fā)明的涵蓋范圍。