專利名稱：用于照相機單元的控制裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于照相機單元的控制裝置，尤其涉及用于如 用于4吏正預(yù)設(shè)位置的位移的監(jiān)視照相機等照相才幾單元的控制裝 置、控制照相機單元的方法以及用于實現(xiàn)控制方法的程序。
背景技術(shù)：
傳統(tǒng)地，已知這樣 一 種技術(shù)由能夠進行平轉(zhuǎn)/俯仰 (pan/tilt)操作的電動云臺 (electrically-driven panhead )支持 照相機，并使用來自控制器的控制信號，來遠程控制電動云臺 的平轉(zhuǎn)/俯仰操作以及調(diào)焦和變焦等照相機的操作。這種技術(shù)被 應(yīng)用于例如監(jiān)浮見照相才幾系統(tǒng)。另外，已知這樣一種功能預(yù)先 將包括平轉(zhuǎn)/俯仰位置、變焦位置、焦點位置的預(yù)設(shè)位置存儲在 照相機的存儲器中，并僅通過進行關(guān)聯(lián)按鈕操作，就能自動再 現(xiàn)在存儲器中存儲的預(yù)設(shè)位置之一。然而，具有高倍率能力的 變焦照相機存在如下問題由于變焦過程中平轉(zhuǎn)/俯仰操作的停 止精度不足，導(dǎo)致預(yù)設(shè)位置發(fā)生位移。
為了解決該問題，公開了這樣一種技術(shù)當?shù)怯涱A(yù)設(shè)位置 時，將照相機在每個預(yù)設(shè)位置時拍攝的圖像(登記位置圖像) 與預(yù)設(shè)位置的信息一起存儲(參見例如日本特開2003-098576 )。 在該技術(shù)中，當再現(xiàn)照相機的預(yù)設(shè)位置之一時，對照相機處于 再現(xiàn)位置時拍攝的圖像(再現(xiàn)位置圖像)和登記位置圖像進行 圖像處理以檢測圖像位移量。然后，基于檢測到的圖像位移量 來控制云臺的驅(qū)動，使得照相機沿減小位移的方向移動，從而 提高了再現(xiàn)預(yù)設(shè)位置時的停止精度。
然而，在日本特開2003-098576公開的^f支術(shù)中，如果由于地
震或與人的接觸引起的施加給照相機的外力，導(dǎo)致再現(xiàn)位置圖 像發(fā)生了從登記位置圖像的大量位移，則不可能校正預(yù)設(shè)位置 的位移。另外，不可能以比登記位置圖像的設(shè)置精度更高的精 度來校正預(yù)設(shè)位置的位移。

發(fā)明內(nèi)容
本發(fā)明4是供一種用于照相機單元的控制裝置、控制照相機 單元的方法以及用于實現(xiàn)控制方法的程序，其中該照相機單元
能夠處理以下兩種情況照相機單元從預(yù)設(shè)位置大幅位移的情 況和照相機單元從預(yù)設(shè)位置稍微位移的情況，并且使得可以提 高位移校正的精度和可靠性。
根據(jù)本發(fā)明的第一方面，提供一種控制裝置，其連接到照 相機單元，包括存儲控制單元，用于將所述照相機單元的拍 攝位置與在所述照相機單元的所述拍攝位置通過多次拍攝而分 別獲得的焦距相互不同的多個校正圖像相互關(guān)聯(lián)地存儲在存儲 單元中；比較單元，用于將在所述拍攝位置新拍攝的拍攝圖像 與所述多個校正圖像進行比較；以及校正單元，用于根據(jù)所述 比較單元的比較結(jié)果，來對所述照相機單元相對于所述拍攝位 置的位移進行校正。
利用根據(jù)本發(fā)明第 一 方面的配置，存儲在所存儲的照相機 單元的各預(yù)設(shè)位置以各自不同的焦距拍攝的校正圖像，使得照 相機單元可以處理如下兩種情況照相機單元從預(yù)設(shè)位置大幅 位移的情況和照相機從預(yù)設(shè)位置稍微位移的情況，從而可以提 高位移校正的精度和可靠性。
根據(jù)本發(fā)明的第二方面，提供 一 種控制照相機單元的方法， 包括存儲控制步驟，用于將所述照相機單元的拍攝位置與在 所述照相機單元的所述拍攝位置通過多次拍攝而分別獲得的焦
距相互不同的多個校正圖像相互關(guān)聯(lián)地存儲在存儲單元中；比 較步驟，用于將在所述拍攝位置新拍攝的拍攝圖像與所述多個
校正圖像進行比較；以及校正步驟，用于根據(jù)所述比較步驟的
比較結(jié)果，對所述照相機單元相對于所述拍攝位置的位移進行校正。
根據(jù)本發(fā)明的第三方面，提供一種用于使計算機執(zhí)行控制
照相機單元的方法的程序，所述方法包括存儲控制步驟，用 于將所述照相機單元的拍攝位置與在所述照相機單元的所述拍 攝位置通過多次拍攝而分別獲得的焦距相互不同的多個校正圖 像相互關(guān)聯(lián)地存儲在存儲單元中；比較步驟，用于將在所述拍 攝位置新拍攝的拍攝圖像與所述多個校正圖像進行比較；以及 校正步驟，用于根據(jù)所述比較步驟的比較結(jié)果，對所述照相機 單元相對于所述拍攝位置的位移進行校正。
根據(jù)下面參考附圖的詳細說明，本發(fā)明的特征和優(yōu)點將更 加顯而易見。


圖l是示出根據(jù)本發(fā)明的實施例的包括用于照相機單元的 控制裝置的攝像設(shè)備的整體配置的框圖。
圖2是由圖l中出現(xiàn)的CPU執(zhí)行的校正圖像存儲處理的流程圖。
圖3是圖2的步驟S203中執(zhí)行的圖像存儲焦距設(shè)定處理的
流程圖。
圖4A是說明設(shè)置兩個預(yù)設(shè)的情況的預(yù)設(shè)信息的圖。 圖4B是說明設(shè)置三個預(yù)設(shè)的情況的預(yù)設(shè)信息的圖。 圖4 C是說明設(shè)置四個預(yù)設(shè)的情況的預(yù)設(shè)信息的圖。 圖5是由圖l中出現(xiàn)的CPU執(zhí)行的位移校正處理的流程圖。
圖6A是說明拍攝圖像和校正圖像的、用于說明在圖5的步 驟S 410中執(zhí)行的圖像匹配處理的圖。
圖6B是說明拍攝圖像的、用于說明在圖5的步驟S410中執(zhí) 行的圖像匹配處理的圖。
圖7A是說明不存在峰位置指示值的情況的、示出在參考圖 6A和圖6B說明的圖像匹配處理中計算出的匹配區(qū)域和搜索區(qū) 域之間的相關(guān)度的例子的圖。
圖7B是說明存在峰位置指示值的情況的、示出在參考圖6A 和圖6B說明的圖像匹配處理中計算出的匹配區(qū)域和搜索區(qū)域 之間的相關(guān)度的例子的圖。
圖7C是說明峰位置指示值等于0的情況的、示出在參考圖 6A和圖6B說明的圖像匹配處理中計算出的匹配區(qū)域和搜索區(qū) 域之間的相關(guān)度的例子的圖。
具體實施例方式
現(xiàn)在將參考示出本發(fā)明實施例的附圖詳細說明本發(fā)明。
圖l是示出根據(jù)本發(fā)明的實施例的包括用于照相機單元的 控制裝置的攝像設(shè)備的整體配置的框圖。
如圖.所示，作為攝像設(shè)備的監(jiān)視照相機系統(tǒng)包括監(jiān)視照相 機113和客戶控制設(shè)備112。經(jīng)由網(wǎng)絡(luò)連接到監(jiān)視照相機113的客 戶控制設(shè)備112可以控制監(jiān)視照相機113 。
監(jiān)視照相機113包括照相機單元100。照相機單元100是監(jiān)視 照相機113的機械部分，包括鏡頭、CCD攝像裝置和能夠在平轉(zhuǎn) 方向或俯仰方向驅(qū)動鏡筒的電動機。照相機單元10 0用于固定安 裝在例如天花板的情況。
此外，監(jiān)視照相機113包括照相機信號處理電路101、圖像 存儲器102、圖像處理電路103、校正圖像存儲器104、圖像比較
電路105和存4諸器106。此外，監(jiān)視照相機113包才舌變焦/調(diào)焦控 制電路107、平轉(zhuǎn)/俯仰控制電路108、網(wǎng)絡(luò)接口 109以及CPU 110。 監(jiān)視照相機113中的塊經(jīng)由總線11 l相互連接。
CPU 110根據(jù)存儲在存儲器106中的程序進行操作。當從程 序發(fā)出命令以將監(jiān)視照相機113拍攝的圖像發(fā)送到客戶控制設(shè) 備112并在其中存儲該圖像時，照相機信號處理電路101對從照 相機單元10 0的C C D攝像裝置接收到的電信號進行照相機信號 處理。通過照相機信號處理將電信號放大至最佳水平，然后該 電信號被轉(zhuǎn)換為視頻信號或圖像信號。
通過照相機信號處理獲得的圖像被臨時存儲在圖像存儲器 102中，然后圖像處理電路103將該圖像轉(zhuǎn)換為作為預(yù)定圖像格 式的JPG。將轉(zhuǎn)換成JPG的圖像經(jīng)由網(wǎng)絡(luò)接口 109發(fā)送到客戶控 制設(shè)備112以存儲在其中。
此外，當從客戶控制設(shè)備112向監(jiān)視照相機113發(fā)出變焦驅(qū) 動命令或平轉(zhuǎn)/俯仰驅(qū)動命令時，存儲器106中的程序經(jīng)由網(wǎng)絡(luò) 接口 109接收命令。CPU IIO向變焦/調(diào)焦控制電^各107和/或平轉(zhuǎn) /俯仰控制電路108發(fā)出驅(qū)動命令，從而改變照相機單元IOO的方 向和/或變焦或者倍率。
圖像比較電路10 5比較校正圖像存儲器10 4中存儲的過去圖 像的特征分量和從照相機信號處理電路101獲得的現(xiàn)在圖像的 特征分量，從而檢測這兩個圖像之間的位移量，并將檢測出的 位移量轉(zhuǎn)換成平轉(zhuǎn)/俯仰控制值。
接著，將說明本監(jiān)視照相機的預(yù)設(shè)操作的概要。
用戶通過操作客戶控制設(shè)備112來指定預(yù)設(shè)編號，從而選擇 預(yù)設(shè)設(shè)定模式。用戶在觀看監(jiān)視照相機113拍攝的圖像時，通過 操作平轉(zhuǎn)/俯仰功能和變焦功能來確定監(jiān)視照相機113的視角， 然后從客戶控制設(shè)備112向監(jiān)視照相機113發(fā)出預(yù)設(shè)設(shè)置命令。監(jiān)視照相機113經(jīng)由網(wǎng)絡(luò)接口 109接收預(yù)設(shè)設(shè)置命令。然后， 將接收到預(yù)設(shè)設(shè)置命令時(在預(yù)設(shè)時)獲得的平轉(zhuǎn)/俯仰角度信 息、變焦信息和拍攝圖像作為預(yù)設(shè)信息與預(yù)設(shè)編號關(guān)聯(lián)地存儲
在存儲器106中。
下面將參考圖2所示的流程圖說明用于在預(yù)設(shè)時將校正圖 像存儲在校正圖像存儲器104中的校正圖像存儲處理。
圖2是圖l中出現(xiàn)的CPU IIO執(zhí)行的校正圖像存儲處理的流程圖。
參考圖2，用戶操作客戶控制設(shè)備112以開始預(yù)設(shè)的設(shè)定。 可以將多個預(yù)設(shè)存儲在存儲器106中，因此，預(yù)設(shè)編號由Pn表示。
首先，根據(jù)預(yù)設(shè)位置的真實設(shè)置，CPU IIO將在預(yù)設(shè)位置 以預(yù)設(shè)時選擇的焦距拍攝的圖像作為校正圖像IMri—p存儲在校 正圖《象存儲器104中(步驟S202 )。附圖標記IMn一p表示在分配 了預(yù)設(shè)編號P n的預(yù)設(shè)位置拍攝的校正圖像。
接著，執(zhí)行下面將參考圖3進行說明的圖像存儲焦距設(shè)定處 理，并計算在預(yù)設(shè)時選擇的焦距以外的焦距(步驟S203 )。在 拍攝將被存儲在校正圖像存儲器104的校正圖像的情況下的后 面的步驟中，將使用在變焦/調(diào)焦控制電路107進行變焦驅(qū)動時 在步驟S203中計算出的焦距。
然后，基于在步驟S203中計算的結(jié)果，判斷是否要將以在 預(yù)設(shè)時選擇的焦距以外的其它焦距拍攝的校正圖像存儲在校正 圖像存儲器104中(步驟S204 )。
如果在步驟S204中判斷為要將以其它焦距拍攝的校正圖 像存儲在校正圖像存儲器104中，則處理進入步驟S205。在步 驟S205 ，變焦/調(diào)焦控制電路107進行變焦驅(qū)動以獲得步驟S203 中計算的其中一個焦距。接著，CPU IIO判斷在通過變焦驅(qū)動
獲得的位置(變焦位置)拍攝的圖像是否適合作為校正圖像(步
驟S206 )。
如杲在步驟S 2 06判斷為在變焦位置拍攝的圖像適合作為 校正圖像，則將在變焦位置的圖像IMn—x作為校正圖像存儲在 校正圖像存儲器104中(步驟S207 )。應(yīng)當注意，附圖標記IMn—x 中的下標n表示預(yù)設(shè)編號，下標x表示焦距信息。如果用t代替x， 則表示圖像是在長焦端(telephoto end )拍攝的，而如果用w代 替x,則圖像是在廣角端(wide-angle end)拍攝.的。此外，代 替x的數(shù)值表示倍率。
在步驟S207中將校正圖像存儲在校正圖像存儲器1 04中 后，或者當在步驟S206中判斷為在變焦位置拍攝的圖像不適合 作為校正圖像時，處理返回步驟S204u
如果在步驟S204中判斷為不將以其它焦距拍攝的校正圖 像存儲在校正圖像存儲器104中，即，如果以其它焦距拍攝的校 正圖像不是必要的，則處理進入步驟S208。在步驟S208, CPU 110計算新存儲的圖像IMn一x的匹配區(qū)域，以在后來用于圖像匹 配。在該步驟，將圖像垂直地和水平地都分割成5段以獲得25 個區(qū)域，并且將低通濾波器和高通濾波器應(yīng)用于每個區(qū)域的亮 度信息，從而計算區(qū)域內(nèi)的邊緣分量(edge component )。然后， 判斷每個區(qū)域中的邊緣分量的數(shù)量是否不小于預(yù)定值，而具有 數(shù)量比預(yù)定值大的邊緣分量并且包含最高邊緣分量的區(qū)域被判 斷為匹配區(qū)域。
接著，更新存儲在用于管理預(yù)設(shè)信息的存儲器106的區(qū)域中 的預(yù)設(shè)信息(步驟S209 )，之后結(jié)束該處理。
圖3是圖2的步驟S 2 0 3中執(zhí)行的圖像存儲焦距設(shè)定處理的
流程圖。
參考圖3， CPU 110判斷監(jiān)視照相機113是否處于監(jiān)視照相
機113的固定倍率模式和普通模式兩個模式之一的固定倍率模
式(步驟S302 )。如果監(jiān)視照相機113處于固定倍率模式，則將
以與相對于預(yù)設(shè)時的變焦位置的圖像的各預(yù)定倍率對應(yīng)的焦距
拍攝的所有校正圖像設(shè)置為要存儲在校正圖像存儲器104中(步 驟S303 )，之后結(jié)束該處理。例如，假設(shè)預(yù)設(shè)時的變焦位置具 有倍率8，則將在分別具有倍率4、 12、 16和20的各變焦位置(焦 距)拍攝的圖像設(shè)置為要作為校正圖像存儲在校正圖像存儲器 104中。
如果在步驟S302中判斷為監(jiān)視照相機113不處于固定倍車 模式，即，如果監(jiān)視照相機U3處于普通模式，則處理進入步驟 S304。在步驟S304中，CPU 110判斷表示到目前為止設(shè)置的預(yù) 設(shè)的數(shù)量的預(yù)設(shè)計數(shù)N是否不大于可以由用戶以定制的方式設(shè) 置的預(yù)定計數(shù)M。
如果在步驟S304判斷為預(yù)設(shè)計數(shù)N不大于預(yù)定計數(shù)M,則 處理進入步驟S305。在步驟S305中，將長焦端的圖像(長焦圖 像)和廣角端的圖像(廣角圖像)都設(shè)置為要存儲在校正圖像 存儲器104中，之后結(jié)束該處理。
如果在步驟S 3 0 4判斷為預(yù)設(shè)計數(shù)N大于預(yù)定計數(shù)M,則處 理進入步驟S306。在步驟S306中，CPU IIO將此時設(shè)置的焦距 Pn與各預(yù)設(shè)位置的焦距(Pn: n=0 n-l )中的每個焦距進行比較， 從而判斷焦距Pn從長焦端和廣角端是否都在第M個內(nèi)。如果焦 距Pn從長焦端和廣角端都在第M個內(nèi)，則處理進入步驟S305。
另 一方面，如果在步驟S306判斷為焦距Pn從長焦端和廣角 端不是都在第M個內(nèi)，則處理進入步驟S307。在步驟S307, CPU 1 l.O判斷焦距Pn從長焦端是否在第M個內(nèi)。
如果在步驟S307判斷為焦距Pn從長焦端在第M個內(nèi)，則僅 將長焦圖像設(shè)置為要存儲在校正圖像存儲器104中(步驟
S308 )，之后該處理結(jié)束。如果在步驟S307判斷為焦距Pn從長 焦端不在第M個內(nèi)，則處理進入步4聚S309。在步竭tS309，判斷 焦距Pn從廣角端是否在第M個內(nèi)。
如果在步驟S309判斷為焦距Pn從廣角端在第M個內(nèi)，則僅 將廣角圖像設(shè)置為要存儲在校正圖像存儲器104中(步驟 S310),之后該處理結(jié)束。如果在步驟S309判斷為焦距Pn/人廣 角端不在第M個預(yù)設(shè)位置內(nèi)，則僅將在預(yù)設(shè)位置拍攝的圖像設(shè) 置為要存儲在校正圖像存儲器104中(步驟S311)，之后該處理 結(jié)束。
在圖2所示的處理中將設(shè)置為要以關(guān)聯(lián)焦距拍攝的每個圖 像作為校正圖像存儲在校正圖像存儲器104中。
圖4A、4B和4C是通過圖2中的處理存儲在存儲器106中的預(yù) 設(shè)信息的圖，其中，圖4A示出設(shè)置兩個預(yù)設(shè)的情況，圖4B示出 設(shè)置三個預(yù)設(shè)的情況，以及圖4 C示出設(shè)置四個預(yù)設(shè)的情況。
在圖4A 4C中，假設(shè)將校正圖像的數(shù)量(即，步驟S304中 預(yù)定計數(shù)M)設(shè)置為2，并在普通模式中存儲多個預(yù)設(shè)信息。
在圖4A中，1號預(yù)設(shè)和2號預(yù)設(shè)中的每個存儲平轉(zhuǎn)和俯仰角 信息、校正圖像和與校正圖像關(guān)聯(lián)的匹配區(qū)域信息。由于預(yù)設(shè) 計數(shù)N小于預(yù)定計數(shù)M-2，因此分別在廣角端、長焦端和預(yù)設(shè) 位置拍攝的3個圖像都被登記。在匹配區(qū)域列的方框中記載的字 母p、 w和t分別與預(yù)設(shè)圖像(IMn—p)、廣角圖像(IMn—w)和 長焦圖像(IMn—1)關(guān)聯(lián)，并且每個參數(shù)表示圖像中的區(qū)域。例 如，p( 13 )表示在預(yù)設(shè)位置拍攝的圖像中的區(qū)域13是匹配區(qū)域。
參考圖4B， 3號預(yù)設(shè)中的變焦信息(倍率)是x8,當與其 它預(yù)設(shè)信息中的變焦信息(倍率)比較時，x8從長焦端和廣角 端都是第二，因此，將在廣角端、長焦端和預(yù)設(shè)位置分別拍攝 的三個校正圖像與3號預(yù)設(shè)關(guān)聯(lián)地存儲。另一方面，消除了關(guān)于
l號預(yù)設(shè)中的長焦圖像的信息，其中l(wèi)號預(yù)設(shè)的變焦信息從長焦
端是第三，還消除了關(guān)于2號預(yù)設(shè)中的廣角圖像的信息，其中2
號預(yù)設(shè)的變焦信息從廣角端是第三。
此外，參考圖4C, 4號預(yù)設(shè)中的變焦信息(倍率)是xl8， 當與其它預(yù)設(shè)信息中的變焦信息(倍率)比較時，xl8從廣角端 是第四，因此，將在長焦端和預(yù)設(shè)位置分別拍攝的兩個校正圖 像與4號預(yù)設(shè)關(guān)聯(lián)地存儲。另一方面，消除了關(guān)于3號預(yù)設(shè)中的 長焦圖像的信息，其中3號預(yù)設(shè)的變焦信息從長焦端是第三。
如上所述，將對應(yīng)于設(shè)置值M二-2的數(shù)量的長焦圖像和相同 數(shù)量的廣角圖像均作為校正圖像存儲在預(yù)設(shè)信息的所有預(yù)設(shè)中 的某處。例如，在具有上述預(yù)設(shè)信息的監(jiān)視照相機113中，通過 用戶搡作設(shè)置用于巡回(patrol )預(yù)設(shè)位置的巡回程序，由此 CPU 110通過使照相機單元100移位到預(yù)設(shè)位置來校正各預(yù)設(shè) 位置的位移。
圖5是由圖l中出現(xiàn)的CPU執(zhí)行的位移校正處理的流程圖。
在圖5的位移校正處理中，假設(shè)用戶操作或計時器程序發(fā)出 用于使照相機單元110移動到如上所述預(yù)先登記的預(yù)設(shè)位置之 一的指令，并基于預(yù)設(shè)信息進行平轉(zhuǎn)/俯仰驅(qū)動和/或變焦驅(qū)動。 緊接著，CPU 110判斷是否存在存儲在校正圖像存儲器104中的 在預(yù)設(shè)位置拍攝的任何校正圖像(步驟S402 )。
如果在步驟S402中判斷為在校正圖像存儲器104中沒有存 儲與預(yù)設(shè)位置關(guān)聯(lián)的校正圖像，則結(jié)束該處理。另一方面，如 果在步驟S402中判斷為在校正圖像存儲器104中存儲有與預(yù)設(shè) 位置關(guān)聯(lián)的校正圖像，則處理進入步驟S403。在步驟S403中， CPU UO選擇預(yù)設(shè)位置圖像IMn—p作為用于與從照相機信號處 理電路101獲得的當前拍攝圖像(IM一T)進行比較的比較圖像。
然后，圖像處理電路103對用于比較的兩個圖像即預(yù)設(shè)位置
圖像IMn—p和當前拍攝圖像(IM —T )中的每個進行縮小處理(步 驟S據(jù))。
接著，圖像比較電路105對這些縮小的圖像進行圖像匹配處 理，并計算這兩個圖像之間的匹配，從而獲得與這兩個圖像之 間的像素位移相對應(yīng)的全局向量(步驟S405 )。
然后，CPU IIO判斷是否檢測到全局向量(步驟S406 )。如 果在步驟S406判斷為沒有檢測到全局向量，則縮小的圖像之間 幾乎不相關(guān)，因此，處理進入步驟S407。
在步驟S407， CPU IIO判斷廣角圖像(IMn—w)是否被作 為校正圖像與當前預(yù)設(shè)位置關(guān)聯(lián)地存儲在校正圖像存儲器104 中。如果判斷為廣角圖像(IMn—w)被作為校正圖像存儲在校 正圖像存儲器104中，則將比較圖像改變?yōu)閺V角圖像，并同時向 廣角端進行照相機單元100的變焦驅(qū)動(步驟S408 ),之后處理 返回到步驟S404。然后，執(zhí)行步驟S404以及之后步驟以相互比 較在當前預(yù)設(shè)位置選擇的廣角圖像。
如果在步驟S407判斷為沒有廣角圖像UMn一w)與當前預(yù) 設(shè)位置相關(guān)聯(lián)地存儲在校正圖像存儲器104中，則該處理結(jié)束。 當然，在甚至在廣角端檢測的圖像位移也太大的情況下，可以 強制進行用于重設(shè)平轉(zhuǎn)/俯仰位置的操作。
如果在步驟S406判斷為檢測到全局向量，貝'JCPU IIO從用 于比較的校正圖像選擇匹配區(qū)域(步驟S409 )。然后，CPU 110 進行用于比較關(guān)于匹配區(qū)域的圖像的信息和關(guān)于當前拍攝圖像 (IM—T)的信息的圖像匹配處理(步驟S410)。此時，當將圖 像沿在步驟S406檢測到的全局向量的方向移動時，CPU IIO進 行匹配處理。
圖6A和圖6B是用于說明在圖5的步驟S410中執(zhí)行的圖像匹 配處理的圖，其中，圖6A示出拍攝圖像和校正圖像兩者，而圖
6B僅示出拍攝圖像。
參考圖6 A ,實線圍繞的部分表示當?shù)怯浟祟A(yù)設(shè)時存儲在校 正圖像存儲器104中的校正圖像IMn x 。雙點劃線圍繞的部分表 示當將照相片幾單元U)0再次變焦到預(yù)設(shè)位置時從照相才幾信號處 理電路101獲得的拍攝圖像IM J:。圖6 A示出由于關(guān)聯(lián)電動機的 失步(loss of synchronism )、設(shè)備的碰撞或地震等導(dǎo)致預(yù)設(shè)位 置位移的情況。
通過在步驟S4()5對縮小的圖像進行的圖像匹配已經(jīng)大致 將雙點劃線部分和實線部分如何相互位移檢測為全局向量G 。 此外，假設(shè)校正圖像〗Mn x中的匹配區(qū)域?qū)?yīng)于虛線圍繞的區(qū) 域。該匹配區(qū)域由對角分別具有像素位置(i ， j )和像素位置 (i+p, j+p)的矩形來設(shè)置。此外，在示出的例子中，像素(i， j )的亮度信息由Y ( i, j )表示。
圖6B示出全局向量G、匹配區(qū)域和用于圖像匹配的搜索區(qū) 域之間的關(guān)系，其中，拍攝圖像IM—T的外框由實線表示。將具 有如下位置的區(qū)域定義為搜索區(qū)域，該位置是通過將與全局向 量G對應(yīng)的值相加到與校正圖像中的匹配區(qū)域?qū)?yīng)的拍攝圖像 IM—T中的區(qū)域的像素位置(i, j)和(i+p， j+p)所獲得的位 置，即在各自對角端的位置{ (i， j) +。}和位置{ (i+p, j+p) +G}。圖像比較電路105根據(jù)全部搜索區(qū)域內(nèi)的亮度信息和顏色 信息來計算匹配區(qū)域和搜索區(qū)域之間的相關(guān)度。
匹配區(qū)域和搜索區(qū)域之間的相關(guān)度為通過對全部區(qū)域上的 相應(yīng)像素之間的亮度信息和顏色信息的差進行積分所獲得的值 的倒數(shù)。更具體地，匹配區(qū)域和搜索區(qū)域之間的亮度信息的相 關(guān)度ZY由以下公式(1 )表示<formula>formula see original document page 15</formula>(1)
類似地，也從顏色信息計算匹配區(qū)域和搜索區(qū)域之間的相
關(guān)度。假設(shè)從顏色信息i獲得的相關(guān)度由zci表示，并且從顏色 信息2獲得的相關(guān)度由^C2表示，則匹配區(qū)域和搜索區(qū)域之間的 相關(guān)度由以下公式(2)表示
圖7A 7C是分另'J示出參考圖6A和圖6B說明的圖像匹配處 理中計算出的匹配區(qū)域和搜索區(qū)域之間的相關(guān)度的例子的圖， 其中，圖7A示出像素移位量的峰位置指示值H不存在的情況， 圖7B示出峰位置指示值H存在的情況，圖7C示出峰位置指示值 H等于()的情況
在圖7A 7C中的每個中，橫軸表示搜索區(qū)域中的像素移位 量，縱軸表示匹配區(qū)域和搜索區(qū)域之間的相關(guān)度。
在圖7A的情況下，匹配區(qū)域和搜索區(qū)域之間的相關(guān)度從未 超過關(guān)亍任何像素移位量的閾值S,并保持在低水平。該狀態(tài) 不會在圖5的步驟S406中檢測到全局向量的情況下發(fā)生。同樣 在檢測全局向量時，通過相同的方法評估匹配區(qū)域和搜索區(qū)域 之間的相關(guān)度，并且如果相關(guān)度沒有超過閾值S,則在步驟S406 判斷為沒有^r測到全局向量。
在圖7B的情況下，在搜索區(qū)域進行像素移位時繼續(xù)相關(guān)度 的評估，并發(fā)現(xiàn)了相關(guān)度超過閣值S的峰位置指示值H。將此時 的像素移位量計算為峰位置指示值H。
在圖7C的情況下，峰位置指示值H處于沒有進行移位的位 置。這意味著在匹配區(qū)域和搜索區(qū)域之間沒有像素位移。同樣 在這種情況下，在步驟S406判斷為沒有檢測到全局向量。
因此，將匹配區(qū)域和搜索區(qū)域之間的圖像位移檢測為與峰 位置指示值H對應(yīng)的像素移位量。使用焦距將該像素移位量逆
計算成平轉(zhuǎn)/俯仰驅(qū)動量。
再次參考圖5中流程圖，在步驟S410中，CPU110執(zhí)行圖像 匹配，然后計算平轉(zhuǎn)/俯仰驅(qū)動量。接著，基于計算出的驅(qū)動量， CPU IIO使用平轉(zhuǎn)/俯仰控制電路108進行平轉(zhuǎn)/俯仰驅(qū)動(步驟 S411)。然后，判斷在比拍攝用于當前圖像匹配的校正圖像的 位置更接近長焦端的位置拍攝的校正圖像是否被存儲在校正圖 像存儲器104中(步驟S412)。
如果在步驟S 41 2判斷為在更接近長焦端的位置拍攝的校 正圖像沒有被存儲在校正圖像存儲器104中，則結(jié)束該處理。另 一方面，如果在更接近長焦端的位置拍攝的校正圖像被存儲在 校正圖像存儲器1 04中，則將比較圖像改變?yōu)樵诟咏L焦端的 位置拍攝的校正圖像，并將照相機單元100向長角端變焦(步驟 S413)，之后處理返回到步驟S404。
利用上述序列，當預(yù)設(shè)位置發(fā)生位移時，相互比較以不同 焦距拍攝的校正圖像和拍攝圖像，從而可以根據(jù)兩個圖像之間 的位移來校正預(yù)設(shè)位置的位移。此外，由于存儲了以各不同焦 距拍攝的校正圖像，所以可以通過小變焦驅(qū)動量校正預(yù)設(shè)位置 的位移。
根據(jù)本發(fā)明，當?shù)怯涱A(yù)設(shè)信息時，在將焦距改變?yōu)殚L焦端 和廣角端之后在預(yù)設(shè)平轉(zhuǎn)/俯仰位置拍攝的校正圖像被存儲在 校正圖像存儲器104中。這使得可以使用長焦端校正圖像進行位 移后的預(yù)設(shè)位置的微調(diào)，以及使用廣角端校正圖像進行位移后 的預(yù)設(shè)位置的粗調(diào)。即，可以處理如下兩種情況照相機單元 1 OO從預(yù)設(shè)位置大幅位移的情況和照相機單元1 OO從預(yù)設(shè)位置稍 微位移的情況，從而可以提高位移校正的精度和可靠性。此外， 由于通過在多個預(yù)設(shè)信息之間進行比較來選擇并且在校正圖像 存儲器104中存儲僅在各預(yù)設(shè)位置以最佳焦距分別拍攝的校正
圖像，所以不僅可以減少用于存儲校正圖像的存儲資源，還可 以進行高度精確的校正。
應(yīng)當理解，本發(fā)明還可以通過向系統(tǒng)或設(shè)備提供存儲有用 于實現(xiàn)上述實施例的功能的軟件的程序代碼的存儲介質(zhì)并利用
該系統(tǒng)或設(shè)備的計算機(或CPU、 MPU)來讀取并執(zhí)行所述存
儲介質(zhì)中所存儲的程序代碼來實現(xiàn)。
在這種情況下，從所述存儲介質(zhì)中所讀取的程序代碼本身 可以實現(xiàn)上述實施例的功能，因此，程序代碼和存儲有所述程 序代碼的存儲介質(zhì)也構(gòu)成了本發(fā)明.
可用于提供程序代碼的存儲介質(zhì)的例子包括軟盤(floppy (注冊商標))、硬盤、磁光盤、如CD-R()M、 CD-R、 CD-RW、 DVD-ROM、 DVD-RAM、 DVI)-RW或DVD+RW等光盤、磁帶、 非易失性存儲卡以及1U)M?？蛇x地，可以通過網(wǎng)絡(luò)下載程序。
此外，應(yīng)當理解，不僅可以通過l丸行由計算機讀取的程序 代碼，還可以通過在計算機上運行的OS (操作系統(tǒng))等基于程 序代碼的指令來執(zhí)行部分或全部的實際操作，來實現(xiàn)上述實施 例的功能。
此外，應(yīng)當理解，可以通過將從存儲介質(zhì)中所讀取的程序 代碼寫入插入計算機的功能擴展板所提供的存儲器中或與計算 機相連接的功能擴展單元所提供的存儲器中，然后所述功能擴 展板或功能擴展單元中所提供的CPU等基于所述程序代碼的指 令來執(zhí)行部分或全部的實際操作，來實現(xiàn)上述實施例的功能。
盡管參考示例性實施例說明了本發(fā)明，但應(yīng)該明白，本發(fā)
明不限于所公開的示例性實施例。所附權(quán)利要求書的范圍將符 合最寬的解釋，以包含所有這樣的修改和等同結(jié)構(gòu)以及功能。
本申請要求2007年7月5日提交的日本專利申請 2007-177632的權(quán)利,在此通過引用來包含其全部內(nèi)容。
權(quán)利要求
1.一種控制裝置，其連接到照相機單元，包括存儲控制單元，用于將所述照相機單元的拍攝位置與在所述照相機單元的所述拍攝位置通過多次拍攝而分別獲得的焦距相互不同的多個校正圖像相互關(guān)聯(lián)地存儲在存儲單元中；比較單元，用于將在所述拍攝位置新拍攝的拍攝圖像與所述多個校正圖像進行比較；以及校正單元，用于根據(jù)所述比較單元的比較結(jié)果，來對所述照相機單元相對于所述拍攝位置的位移進行校正。
2. 根據(jù)權(quán)利要求J所述的控制裝置，其特征在于，所述比 較單元確定所述新拍攝圖像和所述多個校正圖像中的其中 一個 之間的相關(guān)性，并且所述校正單元根據(jù)相關(guān)度來選擇所述比較 單元要使用的校正圖像。
3. 根據(jù)權(quán)利要求2所述的控制裝置，其特征在于，當所述 相關(guān)性大時，所述校正單元選擇以比所述多個校正圖像中的所 述其中一個長的焦距拍攝的校正圖像，而當所述相關(guān)性小時，選擇以比所述多個校正圖像中的所述其中一個短的焦距拍攝的 校正圖像。
4. 根據(jù)權(quán)利要求l所述的控制裝置，其特征在于，根據(jù)所 述照相機單元在拍攝位置的焦距大小，所述存儲控制單元改變 要存儲的校正圖像的數(shù)量。
5. 根據(jù)權(quán)利要求l所述的控制裝置，其特征在于，所述存 儲控制單元對所述照相機單元的多個拍攝位置中的每個存儲所 述多個校正圖像。
6. —種控制照相機單元的方法，包括 存儲控制步驟，用于將所述照相機單元的拍攝位置與在所述照相機單元的所述拍攝位置通過多次拍攝而分別獲得的焦距 相互不同的多個校正圖像相互關(guān)聯(lián)地存儲在存儲單元中；比較步驟，用于將在所述拍攝位置新拍攝的拍攝圖像與所述多個校正圖像進行比較；以及校正步驟，用于根據(jù)所述比較步驟的比較結(jié)果，對所述照 相機單元相對于所述拍4聶位置的位移進行校正。
全文摘要
本發(fā)明提供一種用于照相機單元的控制裝置和方法。該照相機單元能夠處理以下兩種情況照相機單元從預(yù)設(shè)位置大幅位移的情況和照相機單元從預(yù)設(shè)位置稍微位移的情況，使得可以提高位移校正的精度和可靠性。變焦/調(diào)焦控制電路和平轉(zhuǎn)/俯仰控制電路驅(qū)動照相機單元。存儲器存儲表示拍攝位置和照相機單元的焦距的預(yù)設(shè)信息。校正圖像存儲器存儲在拍攝位置以不同焦距拍攝的校正圖像。圖像比較電路比較照相機單元在拍攝位置拍攝的圖像和存儲的校正圖像，并計算位移量。CPU基于計算出的位移量來校正平轉(zhuǎn)/俯仰控制電路的驅(qū)動量。
文檔編號H04N5/232GK101340517SQ20081010806
公開日2009年1月7日 申請日期2008年7月4日 優(yōu)先權(quán)日2007年7月5日
發(fā)明者竹內(nèi)健悟 申請人:佳能株式會社