專利名稱：在移動站遠程控制裝載的攝像機的方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在移動車輛上裝載的設(shè)備的遠程控制領(lǐng)域，尤其涉及用于從遠程站控 制移動站中的攝像機的方法和設(shè)備，其中移動站發(fā)送包含至少一個目標對象的圖像到所述 遠程站，該目標對象位于所述攝像機探測到的區(qū)域中。本發(fā)明也涉及記載在記錄介質(zhì)上的計算機程序，當在計算機上運行該程序時，其 能夠?qū)崿F(xiàn)本發(fā)明的方法。
背景技術(shù)：
通過控制設(shè)備與攝像機之間的信號交換、使用與距離、攝像機的運動速度以及傳 送條件相適應的通信技術(shù)及協(xié)議，可以實現(xiàn)位于遠程站中的控制設(shè)備對移動攝像機的遠程 控制。例如，當攝像機被裝載在無人駕駛飛機上并且所交換的信號經(jīng)過一個慢速信道例 如通過衛(wèi)星傳送時，由于控制信號從遠程站經(jīng)由慢速信道到無人駕駛飛機的傳送時間、以 及攝像機圖像到遠程站的傳送時間，會產(chǎn)生延遲現(xiàn)象。因此，當遠程站中的操作者指定該 遠程站上顯示的圖像中的目標對象，并發(fā)送一個命令到攝像機以指示其跟蹤所指定的對象 時，該命令經(jīng)過一延遲時段到達攝像機，在此期間，操作者在時刻T指定的圖像中的對象， 已經(jīng)與接收到命令時在無人駕駛飛機中看到的圖像中的對象不再具有相同的位置。更具體 地說，如果延遲時段是L秒，在時刻T顯示在地面站點上的圖像是裝載的設(shè)備在時刻T-L獲 得的那一幅圖像，在時刻T從站點發(fā)出的命令在將在時刻T+L由裝載的設(shè)備接收。如果在攝像機解釋完先前的命令之前，操作者發(fā)送第二命令到攝像機，將會發(fā)生 跳躍現(xiàn)象(pumping phenomenon)，其結(jié)果是操作者失去對攝像機的控制，因為它們沒有考 慮到在延遲時段間發(fā)送的命令的影響。本發(fā)明的一個目的是彌補上述現(xiàn)有技術(shù)的缺點。

發(fā)明內(nèi)容
這些目的通過從遠程站控制移動站中的攝像機的方法而被實現(xiàn)，其中移動站發(fā)送 包含至少一個目標對象的圖像到所述遠程站，該目標對象位于所述攝像機探測到的區(qū)域 中。根據(jù)本發(fā)明的方法包括以下步驟-遠程站估計從移動站派發(fā)命令與所述移動站執(zhí)行命令之間的延遲時段L；-移動站發(fā)送所述攝像機在時刻T-L獲取的第一圖像到遠程站；-遠程站將所述第一圖像中目標對象的位置發(fā)送到移動站；-該移動站將第一圖像中目標對象的位置與在在所述第一圖像之后獲取的至少第 二圖像中所述對象的位置進行比較；-如果在彼此相關(guān)的經(jīng)重新對準的兩幅圖像中所述經(jīng)比較的位置是相同的，則所 述移動站發(fā)送所述位置到所述遠程站進行驗證；
-否則，移動站獨立并實時地確定所述第二圖像中目標對象的軌跡，隨后實時地控 制裝載的攝像機以實現(xiàn)在所預測的軌跡上跟蹤所述目標對象。通過根據(jù)在時刻T-L目標對象的位置和移動向量的預測性計算而優(yōu)選地確定第 二圖像中目標對象的軌跡。在第一實施例中，根據(jù)本發(fā)明的方法還包括以下步驟在遠程站-重新對準第一圖像和第二圖像，-確定在場景中移動的由攝像機觀測的所有對象的位置和速度向量，-在移動的對象中或者在背景元素中確定第一圖像中的目標對象的位置和速度向 量，-計算在時刻T+L的目標對象的位置和速度的預測值，-從遠程站向移動站發(fā)送指定的位置、預測的位置以及預測的速度向量。借助于根據(jù)本發(fā)明的方法，在沒有將攝像機從遠程站移動的附加命令的情況下， 移動站能夠根據(jù)預測的位置及預測的速度向量來確定在時刻T+L獲得的第二圖像中目標 對象的位置，該第二圖像與重新對準的在時刻T-L獲得的第一圖像有關(guān)。在另一變化中，通過估計瞬時單應性來完成第一圖像和第二圖像的重新調(diào)整，并 且通過對數(shù)據(jù)加蓋時戳并且通過同步遠程站和移動站來估計延遲時間L。在第二實施例中，該方法還包括含有將每幅圖像的瞬時單應性以及從時刻T-L到 時刻T+L的移動對象的全部位置記錄在所述移動站中的步驟。在第二實施例中，不再需要在遠程站進行預測。該方法如下進行-在時刻T+L移動站接收到定位目標對象的請求(該請求在時刻T在移動站的本 地圖像中被指定，并且在時刻T-L發(fā)送到遠程站的圖像之后獲得)時，從遠程站發(fā)送的位置 和速度向量與在時刻T-L得到的圖像中所計算的位置和速度向量相同，-將它們與在移動站上裝載的設(shè)備在時刻T-L記錄的數(shù)據(jù)相比較，-在時刻T-L已經(jīng)完成比較之后，取決于目標是固定的還是移動的，通過應用連續(xù) 的單應性、或者通過監(jiān)視移動對象的軌跡，在移動站上裝載的設(shè)備記錄的數(shù)據(jù)使得在當前 時刻T+L能夠根據(jù)這些數(shù)據(jù)推導出目標對象的位置和速度向量。目標對象通常可以是車輛、個人、建筑物或者任意類型的固定或移動的飛行器。在目標對象是移動的情況下，如果在T-L和T+L之間的時刻t，其軌跡離開了攝像 機的視野范圍，通過基于在時刻t其位置及其速度向量的預測性計算，在移動站估計從時 刻t以后的每幅圖像中的所述目標對象的位置。在為此沒有增加額外的命令的情況下，該方法因此允許攝像機獨立地修正其視野 范圍，從而將以該方式預測的目標對象的位置包含進來。采用從時刻t到時刻T+L的連續(xù) 圖像的所有的瞬時單應性，以及基于其在先前圖像中的運動對象的運動在時刻t的預測， 進行預測性計算。在根據(jù)本發(fā)明的方法的特定應用中，攝像機在無人駕駛的飛機上。根據(jù)本發(fā)明的方法由用于從遠程站控制移動站上的攝像機的設(shè)備實現(xiàn)，其中移動 站發(fā)送包含至少一個目標對象的圖像到所述遠程站，該目標對象位于所述攝像機探測到的 區(qū)域中。
根據(jù)本發(fā)明，所述遠程站包括-用于估計從移動站派發(fā)命令與所述移動站執(zhí)行所述命令之間的延遲時段L的模 塊，并且所述移動站包括-用于將所述攝像機在時刻T-L獲得的第一圖像中目標對象的位置與在所述第一 圖像之后獲得的至少第二圖像中所述對象的位置進行比較的模塊，-用于能夠?qū)崟r地確定所述第二圖像中目標對象的軌跡的預測性計算的模塊，-用于實時地控制裝載的攝像機，以在所預測的軌跡上進行目標對象的跟蹤的模 塊。通過記載在記錄介質(zhì)上的應用程序，可以實現(xiàn)根據(jù)本發(fā)明的方法，當該程序在計 算機上執(zhí)行時，該方法能夠從遠程站控制移動站中的攝像機，其中所述移動站發(fā)送包含至 少一個目標對象的圖像到所述遠程站，該目標對象位于所述攝像機探測到的區(qū)域中。該應用程序包括-遠程站中的第一可執(zhí)行模塊，其包括·用于估計從移動站派發(fā)命令與所述移動站執(zhí)行所述命令之間的延遲時段L的指 令，·用于確定從一幅圖像到另一幅圖像固定對象及移動對象的運動，以方便目標對 象的指定的指令，-移動站中的第二可執(zhí)行模塊，其包括·用于將所述攝像機在時刻T-L獲得的第一圖像中目標對象的位置與在所述第一 圖像之后獲得的至少第二圖像中所述對象的位置進行比較的指令，·用于實時地確定所述第二圖像中目標對象的軌跡的指令，以及·用于實時地控制裝載的攝像機，以在所預測的軌跡上進行目標對象的跟蹤的指 令。


根據(jù)下面的描述，本發(fā)明的其他特征和優(yōu)點將變得清楚，其參照附圖作為非限制 性的例子給出，其中圖1圖示性地說明了根據(jù)本發(fā)明的方法的實施例，圖2是說明了在圖1的移動站中進行的圖像處理的方塊圖，圖3說明了在圖1的遠程站中進行的處理，圖4圖示性地說明了本發(fā)明特定實施例的步驟。
具體實施例方式圖1圖示性地說明了裝載了由遠程站4控制的一個或多個觀測攝像機的移動站2。移動站2是在地區(qū)6上空飛行的無人駕駛飛機，目標對象8位于地區(qū)6中，該目標 對象8例如是車輛，其位置在所有時間都要被遠程站4掌握。遠程站4通常是控制無人駕駛飛機的地面站。無人駕駛飛機2上的攝像機連續(xù)地從地區(qū)6發(fā)送圖像到遠程站4。作為響應，遠程站4發(fā)送信號到無人駕駛飛機2，該信號指示所接收到的圖像中目標對象8的位置。如圖2所說明的，傳送信道會產(chǎn)生延遲時間L。因而，站點4在時刻T觀測到的圖 像對應于無人駕駛飛機2上的攝像機在時刻T-L獲得的圖像，并且在時刻T從遠程站4向 無人駕駛飛機2發(fā)送的所有命令將在時刻T+L到達無人駕駛飛機。因而，攝像機對目標對象8的跟蹤需要不斷更新發(fā)送到無人駕駛飛機2的指定信 號。根據(jù)本發(fā)明的方法使得無人駕駛飛機能夠獨立地進行這種更新，從而避免了向無 人駕駛飛機2連續(xù)發(fā)送指定信號。這種更新可以通過在遠程站4和無人駕駛飛機2之間以分布式方式進行并行處理 而獲得。使得T是在遠程站4接收到的圖像中指定目標對象的準確時間，并且遠程站4接 收的所有圖像是之前加蓋時戳的，這些圖像中的每一幅都由唯一的標識符識別。圖2說明了在遠程站4中進行的圖像處理。這些處理包括以下步驟-由一個或多個傳感器提取圖像中的特征點(步驟10)；-跟蹤從一幅圖像到另一幅圖像的特征點(步驟12)；-不論比較點是否連續(xù)，基于比較點來計算兩幅圖像間的瞬時單應性(步驟14)；-通過所述瞬時單應性在先前圖像的參照系統(tǒng)中重新調(diào)整圖像(步驟16)-在所觀測到的場景的參照系統(tǒng)中，確定哪些點或者哪些像素正在移動(步驟18)-采用諸如相對距離或者移動的適應性之類的幾何標準將移動點聚集成對象(步 驟 20)；-根據(jù)一個或多個先前圖像中的位置，估計對象在圖像中的位置及速度向量(步 馬聚22) ο在本發(fā)明的特定實施例中，在每幅圖像中，確定將要跟蹤的點的平均數(shù)，這整體上 依賴于像素的數(shù)目。典型地，可以考慮Harris點或Plessey點，或者更多的復雜描述符，諸 如SIFT或者SURF。可以通過KLT(Kanade-Lucas-Tomasi)類型的方法，或者通過與每個點 相關(guān)聯(lián)的卡爾曼濾波器來完成跟蹤，或者更簡單的，通過經(jīng)由Hough變換來重新調(diào)整點云 (point of cloud)來進行，例如，一旦新的圖像部分出現(xiàn)或者所跟蹤的點離開圖像，就添加 新的點。在跟蹤點密度最小的圖像區(qū)域中，通過先前描述的方法，通常是Harris方法來計 算新的點。在3D差距過于明顯、特別是在飛行高度非常低的情況下，通過RANSAC類型的方 法，用基本矩陣或者本質(zhì)矩陣的計算來代替單應性的計算，以忠實于所觀測到的場景的投
影結(jié)構(gòu)。在時刻T的目標指定導致了圖像中點的選擇。如果指定點處于移動對象上，那么該指定將等同于對象的選擇；否則，該指定點將 是一個“背景”點，其速度向量將等于背景的平移運動向量。在根據(jù)本發(fā)明的方法的特定實施例中，該系統(tǒng)自動選擇最接近于操作者8指定的 移動對象。在本發(fā)明的另一實施例中，通過自動目標探測/識別算法來完成該指定。而后該 命令以包含圖像位置、速度向量、屬性(固定或移動目標)以及時戳的結(jié)構(gòu)的形式被發(fā)送到無人駕駛飛機2 (遠程站在時刻T處理在時刻T-L獲得的圖像)。圖3說明了在無人駕駛飛機2進行的處理。這些處理包括以下步驟-由一個或多個傳感器提取圖像中的特征點(步驟30)，-采用與遠程站4中使用的同樣的方法來跟蹤所述特征點(步驟32)，-采用與遠程站4中使用的同樣的方法來確定從一幅圖像到下一幅圖像的瞬時單 應性(步驟34)，-確定移動對象(步驟36)，以及-采用與遠程站中使用的同樣的方法來估計每幅圖像中所述對象的位置和速度向 量(步驟38)。當指定命令在時刻T+L到達，并且涉及到代表在時刻T-L獲得的圖像中目標對象 的位置和速度向量的狀態(tài)向量時，采用這個發(fā)送的狀態(tài)向量在2L秒內(nèi)進行運動的預測。應 當注意到，由于從無人駕駛飛機2到遠程站4的圖像與時戳一起發(fā)送，從而可以知道該向量。如果這是一個固定目標，則預測點即被認為是目標，如果是一個移動目標，在位置 和速度向量方面最符合預測的移動對象被選擇作為目標。如果預測離開了圖像的框架，仍 然會考慮其位置。通過修正所述攝像機的視野的軸，將使得目標被帶回到攝像機的觀察范 圍內(nèi)。在特定實施例中，采用卡爾曼濾波器進行預測。應當注意到，如所描述的，可以在 裝載的設(shè)備上或者地面上進行這種預測。因此，由于在時刻T指定的在圖像T-L中的對象現(xiàn)在在圖像T+L中被發(fā)現(xiàn)，則跟蹤 該對象是可能的。而后可以采用預定的動作，例如將視野的軸調(diào)整到所指定的目標上。圖4圖示性地說明了本發(fā)明特定實施例的步驟。根據(jù)該實施例，該方法包括以下步驟-由一個或多個傳感器提取圖像中的特征點(步驟40)，-采用與遠程站4中使用的同樣的方法來跟蹤所述特征點(步驟42)，-采用與遠程站4中使用的同樣的方法來確定從一幅圖像到下一幅圖像的瞬時單 應性(步驟44)，-確定移動對象(步驟46)，以及-采用與遠程站4中使用的同樣的方法來估計每幅圖像中所述對象的位置和速度 向量(步驟48)，-在最后的2L秒(最少)，對于所有圖像記錄所有比較點、單應性以及移動對象 (在每個時刻的位置和速度向量)(步驟50)。當指定命令在時刻T+L到達無人駕駛飛機2，并且涉及到在時刻T-L獲得的圖像中 的目標的狀態(tài)向量(位置及速度)時；則參考在時刻T-L記錄的歷史來查找所指定的對象。如果這是移動對象，其將出現(xiàn)在記錄移動對象的表格中。最可靠的一個將被選擇。 而后，使用跟蹤該點的歷史直接查找當前圖像中對象的位置。如果該點暫時或長時間離開了圖像的框架，則采用瞬時單應性、最后觀察到的時 間的速度向量，以及在后續(xù)圖像的參考系統(tǒng)中該速度向量的重新調(diào)整來預測其位置。
如果這是“背景”對象，則通過其在圖像T-L中的位置指定該對象。然后通過應用 連續(xù)圖像之間的瞬時單應性來計算后續(xù)圖像中該對象的位置。因此，在每幅圖像中獲得的 位置可以通過相互關(guān)系，例如通過使用KLT類型的跟蹤而進行驗證。無論對象是否是暫時性地脫離攝像機的視野范圍，都可以連續(xù)進行預測。當在時刻T-L對象是固定的，而在時刻T+L對象是移動的情況下，從時刻t到T+L， 以及從時刻T-L到時刻t分別采用先前的技術(shù)，其中時刻t是對象開始移動的時刻。-跟蹤在圖像T+L中發(fā)現(xiàn)的指定對象。這包括所估計的位置在當前圖像的框架以外的情況。-應用預定的動作(例如，將攝像機對準對象)。
權(quán)利要求
1.一種用于從遠程站控制在移動站上裝載的攝像機的方法，其中所述移動站發(fā)送包含 至少一個目標對象的圖像到所述遠程站，該目標對象位于所述攝像機探測到的區(qū)域中，在 該方法中-所述遠程站估計在從所述移動站派發(fā)命令與所述移動站執(zhí)行所述命令之間的延遲時段L，-所述移動站發(fā)送所述攝像機在時刻T-L獲得的第一圖像到所述遠程站， -所述遠程站將所述第一圖像中目標對象的位置發(fā)送到所述移動站， -該移動站將所述第一圖像中目標對象的位置與在所述第一圖像之后獲得的至少第二 圖像中所述對象的位置進行比較，-如果在彼此相關(guān)地重新對準的兩幅圖像中的經(jīng)比較的位置是相同的，則所述移動站 發(fā)送所述位置到所述遠程站以進行驗證，-否則，所述移動站獨立并實時地確定所述第二圖像中目標對象的軌跡，隨后實時地控 制所裝載的攝像機以實現(xiàn)在所預測的軌跡上跟蹤所述目標對象。
2.根據(jù)權(quán)利要求1所述的方法，其中通過根據(jù)所述目標對象在時刻T-L的位置和運動 向量的預測性計算，來確定在所述第二圖像中目標對象的軌跡。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于所述方法還包括以下步驟 在所述遠程站-重新對準所述第一圖像和所述第二圖像，-確定在場景中移動的由所述攝像機觀察到的所有對象的位置和速度向量， -在所述移動的對象中或者在背景元素中確定所述第一圖像中目標對象的位置和速度向量，-計算在時刻T+L的所述目標對象的位置和速度的預測值， -向所述移動站發(fā)送指定的位置、預測的位置以及預測的速度向量。
4.根據(jù)權(quán)利要求3所述的方法，其中通過估計瞬時單應性來完成所述第一圖像和所述 第二圖像的重新調(diào)整。
5.根據(jù)權(quán)利要求4所述的方法，還包括含有將每幅圖像的瞬時單應性、以及從時刻T-L 到時刻T+L的移動對象的全部位置記錄在所述移動站中的步驟。
6.根據(jù)權(quán)利要求1所述的方法，其中通過對數(shù)據(jù)加蓋時戳并且通過對所述遠程站和所 述移動站進行同步，來估計延遲時間L。
7.根據(jù)權(quán)利要求1所述的方法，其中所述目標對象是固定的或者是移動的。
8.根據(jù)權(quán)利要求7所述的方法，其中如果所述目標對象是移動的，并且如果在T-L和 T+L之間的時刻t其軌跡離開了所述攝像機的視野范圍，則通過根據(jù)在時刻t的所述目標對 象的位置及其速度向量的預測性計算，來在所述移動站估計所述目標對象的位置。
9.根據(jù)權(quán)利要求1到8中任意一項所述的方法，其中所述攝像機裝載在無人駕駛飛機上。
10.根據(jù)權(quán)利要求1到9中的一項所述的方法，其中所述目標對象是個人、車輛或者任 意類型的飛行器。
11.一種用于從遠程站控制在移動站上裝載的攝像機的設(shè)備，其中所述移動站發(fā)送包 含至少一個目標對象的圖像到所述遠程站，該目標對象位于所述攝像機探測到的區(qū)域中，該設(shè)備的特征在于，所述遠程站包括-用于估計在從所述移動站派發(fā)命令與所述移動站執(zhí)行所述命令之間的延遲時段L的 模塊，并且所述移動站包括-用于將所述攝像機在時刻T-L獲得的第一圖像中目標對象的位置與在所述第一圖像 之后獲得的至少第二圖像中所述對象的位置進行比較的模塊，-用于能夠?qū)崟r地確定所述第二圖像中目標對象的軌跡的預測性計算的模塊， -用于實時地控制所裝載的攝像機以在所預測的軌跡上跟蹤所述目標對象的模塊。
12. 一種記載在記錄介質(zhì)上的計算機程序，所述計算機程序包含指令，當在計算機上執(zhí) 行該程序時，所述指令從遠程站控制在移動站上裝載的攝像機，其中所述移動站發(fā)送包含 至少一個目標對象的圖像到所述遠程站，該目標對象位于所述攝像機探測到的區(qū)域中， 該應用程序包括-所述遠程站中的第一可執(zhí)行模塊，其包括 用于估計在從所述移動站派發(fā)命令與所述移動站執(zhí)行所述命令之間的延遲時段L的 計算機可讀指令， 用于確定固定對象及移動對象從一幅圖像到另一幅圖像的運動以方便所述目標對象 的指定的計算機可讀指令，-所述移動站中的第二可執(zhí)行模塊，其包括 用于將所述攝像機在時刻T-L獲得的第一圖像中目標對象的位置與在所述第一圖像 之后獲得的至少第二圖像中所述對象的位置進行比較的計算機可讀指令， 用于實時地確定所述第二圖像中目標對象的軌跡的計算機可讀指令，以及 用于實時地控制所裝載的攝像機以在所預測的軌跡上跟蹤所述目標對象的計算機可 讀指令。
全文摘要
本發(fā)明涉及遠程控制在移動車輛上裝載的設(shè)備的領(lǐng)域，尤其涉及用于從遠程站控制在移動站上裝載的攝像機的方法和設(shè)備。根據(jù)本發(fā)明，遠程站估計在從移動站派發(fā)命令與移動站執(zhí)行命令之間的延遲時間L；移動站發(fā)送攝像機在時刻T-L獲得的第一圖像到遠程站；遠程站將第一圖像中目標對象的位置發(fā)送到移動站；該移動站(i)將第一圖像中目標對象的位置與在第一圖像之后獲得的至少第二圖像中該對象的位置進行比較，(ii)自動并實時地確定第二圖像中目標對象的軌跡，隨后，(iii)實時地控制裝載的攝像機以在所預測的軌跡上跟蹤目標對象。
文檔編號G06T7/20GK102124491SQ200980131531
公開日2011年7月13日 申請日期2009年8月18日 優(yōu)先權(quán)日2008年8月20日
發(fā)明者M·斯圖爾澤 申請人:歐洲航空防務(wù)和航天公司