本申請是申請日為2014年1月17日、申請?zhí)枮?01410023015.x、發(fā)明名稱為“攝像裝置及其控制方法、遠(yuǎn)程控制裝置及其控制方法”的發(fā)明專利申請的分案申請。

本發(fā)明涉及包括配備有用于追蹤任意被攝體的追蹤功能的攝像裝置以及外部控制該攝像裝置的遠(yuǎn)程控制終端的系統(tǒng)。

背景技術(shù)：

日本特開2009-273033號公報公開了一種包括照相機(jī)以及能夠外部控制該照相機(jī)的控制器的照相機(jī)系統(tǒng)。在該照相機(jī)系統(tǒng)中，通過操作者操作控制器，在觀察從照相機(jī)發(fā)送的拍攝的圖像數(shù)據(jù)的同時，能夠在期望的被攝體的位置設(shè)置(指定)焦點位置。以這種設(shè)置，控制器向照相機(jī)發(fā)送與設(shè)置的被攝體的位置相關(guān)的信息。由此，照相機(jī)能夠基于接收的位置信息在期望的被攝體的位置執(zhí)行af處理等。

諸如數(shù)碼相機(jī)的一些攝像裝置能夠通過在攝像畫面內(nèi)選擇任意被攝體來自動追蹤所選擇的被攝體。

在從控制器控制照相機(jī)的上述系統(tǒng)中，由于花時間來通過通信發(fā)送和接收數(shù)據(jù)，所以發(fā)生通信時滯(timelag)。例如，當(dāng)要通過控制器顯示照相機(jī)拍攝的圖像時，因為花時間來傳送所拍攝的圖像數(shù)據(jù)，所以直到要通過控制器顯示拍攝的圖像前花費時間。由于這種通信時滯，當(dāng)操作者通過控制器檢查拍攝的圖像時，從圖像被攝取時起延遲顯示該圖像。這也適用于當(dāng)從控制器向照相機(jī)給出控制命令時的情況。由于通信時滯，照相機(jī)接收到從控制器指定期望的被攝體的位置時起被延遲的位置信息。

因為在上述系統(tǒng)中發(fā)生通信時滯，所以通過利用上述系統(tǒng)例如進(jìn)行針對正在移動的被攝體的追蹤控制時可能存在如下所述的問題。例如，如圖6中所示，當(dāng)操作者在控制器中指定并發(fā)送期望的被攝體(動物)的位置時，在照相機(jī)接收到該位置信息時，被攝體可能不在操作者指定的位置處。

尤其是，如果被攝體移動過快或者如果通信時滯較長，則問題變得更加明顯。在操作者希望追蹤的被攝體已經(jīng)不在該位置的情況下，此時碰巧在該指定位置的被攝體將被追蹤。因此，存在焦點及曝光的調(diào)節(jié)可能與操作者所期望的不同的擔(dān)憂。在這種情況下，為了更加精確地追蹤被攝體，控制器需要預(yù)見操作者希望追蹤的被攝體的移動，同時，需要考慮通信時滯的時長來選擇被攝體。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種能夠與通信時滯無關(guān)地精確追蹤由操作者外部指定的被攝體的攝像裝置、遠(yuǎn)程控制裝置、以及該攝像裝置和該遠(yuǎn)程控制裝置的控制方法。

根據(jù)本發(fā)明的一方面，提供了一種攝像裝置，其適于與該攝像裝置外部的遠(yuǎn)程控制裝置一起使用，該攝像裝置包括：攝像單元，其用于對拍攝的圖像進(jìn)行光電轉(zhuǎn)換以生成表示所述圖像的圖像信號；通信單元，其將所生成的圖像信號發(fā)送到所述遠(yuǎn)程控制裝置，當(dāng)在由所述遠(yuǎn)程控制裝置的顯示單元顯示的圖像上指定被攝體時，所述通信單元從所述遠(yuǎn)程控制裝置接收該被攝體的位置信息，并且所述通信單元接收向與在指定被攝體時顯示的圖像相對應(yīng)的圖像信號賦予的賦予信息；計算單元，其基于所接收到的賦予信息計算通信時滯；存儲單元，其在預(yù)定時段期間存儲由所述攝像單元生成的圖像信號；選擇單元，其基于所述通信時滯選擇由所述存儲單元存儲的圖像信號；以及指定單元，其基于所選擇的圖像信號以及從所述遠(yuǎn)程控制裝置接收到的位置信息，從在所選擇的圖像信號之后生成的圖像信號中指定被攝體的第一追蹤區(qū)域。

根據(jù)本發(fā)明的另一方面，提供了一種遠(yuǎn)程控制裝置，其適于與該遠(yuǎn)程控制裝置外部的攝像裝置一起使用，該遠(yuǎn)程控制裝置包括：顯示單元，其顯示與從所述攝像裝置接收到的圖像信號相對應(yīng)的圖像；生成單元，其在由顯示單元顯示的圖像上指定被攝體的情況下，生成與指定所述被攝體的位置相關(guān)的位置信息；以及通信單元，其從所述攝像裝置接收圖像信號以及向圖像信號賦予的賦予信息，在由所述顯示單元顯示的圖像上指定被攝體的情況下，所述通信單元將所述位置信息發(fā)送給所述攝像裝置，并且所述通信單元將向與在指定被攝體時顯示的圖像相對應(yīng)的圖像信號賦予的賦予信息發(fā)送給所述攝像裝置，其中，所述攝像裝置基于所述位置信息以及根據(jù)通信時滯所選擇的圖像信號，來從在所選擇的圖像信號之后生成的圖像信號中指定被攝體的第一追蹤區(qū)域，所述通信時滯是基于所述賦予信息而計算的。

根據(jù)本發(fā)明的另一方面，提供了一種攝像裝置的控制方法，所述攝像裝置具有用于對拍攝的圖像進(jìn)行光電轉(zhuǎn)換以生成表示所述圖像的圖像信號的攝像單元，所述攝像裝置適于與所述攝像裝置外部的遠(yuǎn)程控制裝置一起使用，所述控制方法包括以下步驟：發(fā)送所生成的圖像信號；當(dāng)在由所述遠(yuǎn)程控制裝置的顯示單元顯示的圖像上指定被攝體時，從所述遠(yuǎn)程控制裝置接收該被攝體的位置信息；接收向與在指定被攝體時顯示的圖像相對應(yīng)的圖像信號賦予的賦予信息；基于接收到的賦予信息計算通信時滯；在預(yù)定時段期間存儲由所述攝像單元生成的圖像信號；以及基于接收到位置信息時計算的通信時滯選擇存儲的圖像信號；以及基于所選擇的圖像信號以及從所述遠(yuǎn)程控制裝置接收到的位置信息，從在所選擇的圖像信號之后生成的圖像信號中指定被攝體的第一追蹤區(qū)域。

根據(jù)本發(fā)明的另一方面，提供了一種遠(yuǎn)程控制裝置的控制方法，所述遠(yuǎn)程控制裝置適于與該遠(yuǎn)程控制裝置外部的攝像裝置一起使用，所述控制方法包括以下步驟：接收由所述攝像裝置生成的圖像信號以及向圖像信號賦予的賦予信息；在顯示單元上顯示與從所述攝像裝置接收到的圖像信號相對應(yīng)的圖像；當(dāng)在由所述顯示單元顯示的圖像上指定被攝體時，生成與指定該被攝體的位置相關(guān)的位置信息；當(dāng)在由所述顯示單元顯示的圖像上指定被攝體時，向所述攝像裝置發(fā)送所述位置信息；以及向所述攝像裝置發(fā)送向與在指定被攝體時顯示的圖像相對應(yīng)的圖像信號賦予的賦予信息，其中，所述攝像裝置基于所述位置信息以及根據(jù)通信時滯所選擇的圖像信號，來從在所選擇的圖像信號之后生成的圖像信號中指定被攝體的第一追蹤區(qū)域，所述通信時滯是基于所述賦予信息而計算的。

通過以下參照附圖對示例性實施例的描述，本發(fā)明的其他特征將變得清楚。

附圖說明

圖1是例示本發(fā)明各實施例中的攝像裝置及遠(yuǎn)程控制終端的結(jié)構(gòu)的框圖。

圖2a是例示本發(fā)明各實施例中的攝像裝置中進(jìn)行的處理的流程圖。

圖2b是例示本發(fā)明各實施例中的遠(yuǎn)程控制終端中進(jìn)行的處理的流程圖。

圖3a是例示在進(jìn)行實施例1中的遠(yuǎn)程控制期間攝像裝置中進(jìn)行的處理的流程圖。

圖3b是例示在進(jìn)行實施例1中的遠(yuǎn)程控制期間遠(yuǎn)程控制終端中進(jìn)行的處理的流程圖。

圖4是例示在實施例1中的攝像裝置中進(jìn)行的追蹤開始處理的流程圖。

圖5是例示本發(fā)明的各實施例中的攝像裝置中進(jìn)行的追蹤繼續(xù)處理的流程圖。

圖6例示了當(dāng)通過遠(yuǎn)程控制終端作出追蹤命令時在包括攝像裝置和遠(yuǎn)程控制終端的系統(tǒng)中發(fā)生的問題。

圖7例示了在包括攝像裝置和遠(yuǎn)程控制終端的系統(tǒng)中在本發(fā)明的實施例1中指定追蹤被攝體的方法。

圖8a是例示在實施例2中進(jìn)行遠(yuǎn)程控制的期間在攝像裝置中進(jìn)行的處理的流程圖。

圖8b是例示在實施例2中進(jìn)行遠(yuǎn)程控制的期間在遠(yuǎn)程控制終端中進(jìn)行的處理的流程圖。

圖9是例示在實施例2中在攝像裝置中進(jìn)行的追蹤開始處理的流程圖。

圖10a是例示在實施例3中在進(jìn)行遠(yuǎn)程控制期間在攝像裝置中進(jìn)行的處理的流程圖。

圖10b是例示在實施例3中在進(jìn)行遠(yuǎn)程控制期間在遠(yuǎn)程控制終端中進(jìn)行的處理的流程圖。

圖11是例示在實施例3中在攝像裝置中進(jìn)行的追蹤開始處理的流程圖。

圖12a是例示在實施例1的變型例中在進(jìn)行遠(yuǎn)程控制期間在攝像裝置中進(jìn)行的處理的流程圖。

圖12b是例示在實施例1的變型例中在進(jìn)行遠(yuǎn)程控制期間在遠(yuǎn)程控制終端中進(jìn)行的處理的流程圖。

圖13是例示在實施例1的變型例中在攝像裝置中進(jìn)行的追蹤開始處理的流程圖。

圖14是例示在實施例1的變型例中的圖案匹配處理的流程圖。

圖15例示了在包括攝像裝置和遠(yuǎn)程控制終端的系統(tǒng)中在實施例1的變型例中指定追蹤被攝體的處理。

具體實施方式

<實施例1>

在下文中，將參照附圖來描述本發(fā)明的實施例1。以下描述的實施例是實現(xiàn)本發(fā)明的手段的示例，并且可以根據(jù)適用本發(fā)明的裝置的結(jié)構(gòu)以及各種條件被任意修改或改變。因此，本發(fā)明并不限于以下實施例。

圖1是例示本發(fā)明實施例中配備有圖像處理功能的攝像裝置以及配備有遠(yuǎn)程(外部)操作攝像裝置的功能的遠(yuǎn)程控制終端(遠(yuǎn)程控制裝置、或通信裝置)的結(jié)構(gòu)的框圖。

如圖1中所示，根據(jù)本實施例的照相機(jī)系統(tǒng)包括照相機(jī)10和遠(yuǎn)程控制終端20。通過分別包括攝像側(cè)通信器169(攝像側(cè)通信單元)和遠(yuǎn)程控制側(cè)通信器241(遠(yuǎn)程控制側(cè)通信單元)的照相機(jī)10和遠(yuǎn)程控制終端20，可以在它們之間發(fā)送和接收信息。

首先，將描述照相機(jī)(攝像裝置)10的結(jié)構(gòu)。照相機(jī)10被構(gòu)造為使得通過攝像鏡頭11來獲得圖像信號。照相機(jī)10包括攝像元件(cmos)121，cds/agc122，定時生成器(tg)123以及圖像輸入控制器124。照相機(jī)10還包括追蹤信號處理器125和被攝體區(qū)域檢測器126。照相機(jī)10還包括變倍透鏡驅(qū)動器131，光闌驅(qū)動器132，聚焦驅(qū)動器133，操作部134以及系統(tǒng)控制器14。照相機(jī)10還包括總線15、記錄介質(zhì)控制器161、記錄介質(zhì)162、顯示控制器163、顯示器164、af檢測器165、sdram166、rom167、閃存rom168、攝像側(cè)通信器169、以及偏差(deflection)檢測器17。

系統(tǒng)控制器14用作綜合控制整個照相機(jī)的操作的控制器。系統(tǒng)控制器14基于來自操作部134的輸入、根據(jù)預(yù)定控制程序來控制各個部分。

在經(jīng)由總線15連接的rom167中，存儲有由系統(tǒng)控制器14執(zhí)行的控制程序以及控制需要的各種數(shù)據(jù)。在經(jīng)由總線15連接的閃存rom169中，存儲有與照相機(jī)10的操作相關(guān)的諸如用戶設(shè)置信息的各種設(shè)置信息。經(jīng)由總線15連接的sdram166用作針對系統(tǒng)控制器14的運算工作區(qū)，并且用作存儲圖像數(shù)據(jù)的臨時存儲區(qū)。以這種方式，在本發(fā)明中，sdram166用作用于將攝像元件121攝取的圖像信號存儲預(yù)定時間段的存儲器。

攝像鏡頭(攝像光學(xué)系統(tǒng))11包括固定第一透鏡單元111、變倍透鏡112、光闌113、固定第二透鏡單元114、以及聚焦補(bǔ)償透鏡115。

變倍透鏡112通過被變倍透鏡驅(qū)動器131驅(qū)動來沿攝像光學(xué)系統(tǒng)的光軸前后移動。在該實施例中，前側(cè)意味著向著被攝體側(cè)，后側(cè)意味著向著圖像側(cè)。聚焦補(bǔ)償透鏡115通過被聚焦驅(qū)動器133驅(qū)動來沿攝像光學(xué)系統(tǒng)的光軸前后移動。

系統(tǒng)控制器14控制變倍透鏡驅(qū)動器131以及聚焦驅(qū)動器133以控制變倍透鏡112的位置以及聚焦補(bǔ)償透鏡115的位置，并進(jìn)行攝像鏡頭11的變焦以及聚焦。

光闌113被構(gòu)造為具有例如虹膜光闌，并且通過光闌驅(qū)動器132驅(qū)動來操作。系統(tǒng)控制器14控制光闌驅(qū)動器132以控制光闌113的孔徑量(f數(shù))，并控制至攝像元件121的入射光量。

各攝像元件(攝像設(shè)備)121是被構(gòu)造為具有cmos傳感器或ccd傳感器的光電轉(zhuǎn)換元件(光電二極管)。通過攝像鏡頭11在攝像元件121的光接收面上形成的被攝體圖像通過光電二極管被轉(zhuǎn)換成與入射光量對應(yīng)的信號電荷。根據(jù)來自系統(tǒng)控制器14的命令、基于從tg123施加的驅(qū)動脈沖，從攝像元件121順序讀取各光電二極管中累積的信號電荷作為與所述信號電荷對應(yīng)的電壓信號(圖像信號)。在本實施例中，cmos傳感器用作攝像元件。然而，也可以使用諸如ccd傳感器的其他結(jié)構(gòu)的攝像元件。

cds/agc122是用于去除從攝像元件121輸出的圖像信號中包括的復(fù)位噪聲(低頻)的相關(guān)雙采樣電路(cds)以及用于放大圖像信號并且用于將圖像信號控制為一定大小的電平的agc電路。cds/agc122對從攝像元件121輸出的圖像信號進(jìn)行相關(guān)雙采樣處理并且放大圖像信號。

圖像輸入控制器124輸入從cds/agc122輸出的圖像信號并且將所述圖像信號存儲在sdram166中。sdram166中存儲的圖像信號要通過顯示控制器163被顯示在顯示器164中。在圖像信號要被存儲的模式下，圖像信號通過存儲介質(zhì)控制器161被存儲在存儲介質(zhì)162中。在通過遠(yuǎn)程控制終端20的遠(yuǎn)程控制時，圖像信號通過攝像側(cè)通信器169被發(fā)送到遠(yuǎn)程控制終端20中的遠(yuǎn)程控制側(cè)通信器241(接收器)。在后述的實施例1的變型例中，圖像信號在sdram166中被存儲與通信延遲時間對應(yīng)的時長。這將在實施例1的變型例的描述中被詳細(xì)說明。

系統(tǒng)控制器14中的追蹤圖像生成器141輸入sdram166中存儲的圖像信號，并且如果通過操作部134給出追蹤命令，則生成追蹤圖像(追蹤圖像信號)。在本實施例中，觸摸屏是操作部134之一，以顯示圖像上的觸摸的坐標(biāo)為中心的預(yù)定區(qū)域為追蹤圖像。替代使用觸摸屏，可以采用通過操作操作鍵來設(shè)置要追蹤的區(qū)域或區(qū)域自身的中心坐標(biāo)的系統(tǒng)。生成的追蹤圖像信號被存儲在sdram166中。在后述的實施例1的變型例中，如果從遠(yuǎn)程控制終端給出追蹤命令，則追蹤圖像生成器141可以基于由遠(yuǎn)程控制終端20中的遠(yuǎn)程控制側(cè)追蹤圖像生成器211生成的坐標(biāo)信息、由過去的圖像信號生成追蹤圖像信號。這也將在實施例1的變型例的描述中被詳細(xì)說明。

追蹤信號處理器125根據(jù)來自系統(tǒng)控制器14的命令從sdram166輸入追蹤圖像信號，并由追蹤圖像信號生成包括色彩信息的直方圖以及亮度信息的直方圖的特征(特征信息)。

關(guān)于要被輸入到追蹤信號處理器125的圖像信號，可以輸入由稍后將描述的遠(yuǎn)程控制終端20中的遠(yuǎn)程控制側(cè)追蹤圖像生成器211生成的(追蹤)圖像信號。稍后將對此進(jìn)行詳細(xì)描述。

被攝體區(qū)域檢測器126基于上述特征值對當(dāng)前正被攝取的圖像信號進(jìn)行搜索處理以搜索追蹤被攝體(目標(biāo)被攝體)，并指定在攝像畫面中的預(yù)定區(qū)域中是否存在與追蹤被攝體對應(yīng)的被攝體。如果追蹤被攝體存在，則基于被攝體存在的位置坐標(biāo)來決定追蹤區(qū)域并且其結(jié)果被發(fā)送到系統(tǒng)控制器14以進(jìn)行af控制等。被攝體存在的位置坐標(biāo)被存儲在sdram166中，通過在下次以及之后檢測追蹤被攝體區(qū)域時利用該信息，要進(jìn)行搜索處理以搜索追蹤被攝體的區(qū)域可以被限制。當(dāng)指定追蹤被攝體區(qū)域時，每次被攝體存在的位置坐標(biāo)被更新時，要存儲在sdram166中的位置坐標(biāo)被更新。

這樣，在本實施例中，上述追蹤信號處理器125和被攝體區(qū)域檢測器126用作用于指定追蹤被攝體的追蹤區(qū)域的指定部分。

當(dāng)系統(tǒng)控制器14接收到上述追蹤區(qū)域時，系統(tǒng)控制器14向af檢測器165發(fā)送追蹤區(qū)域信息。基于追蹤區(qū)域信息，af檢測器165將攝像畫面中包括追蹤被攝體的位置設(shè)置為要用于焦點檢測的區(qū)域(焦點檢測范圍)。接著，af檢測器165計算設(shè)置的焦點檢測范圍的焦點水平并將計算的焦點水平發(fā)送到系統(tǒng)控制器14。接收到結(jié)果的系統(tǒng)控制器14根據(jù)接收的焦點水平來控制聚焦驅(qū)動器133，并且聚焦驅(qū)動器133控制聚焦補(bǔ)償透鏡115。系統(tǒng)控制器14還基于追蹤區(qū)域來生成與該區(qū)域相關(guān)的直方圖并控制光闌驅(qū)動器132，使得基于直方圖來進(jìn)行在閃光rom168中設(shè)置的適當(dāng)?shù)钠毓猓赃M(jìn)行針對追蹤區(qū)域的ae控制。

攝像側(cè)通信器(第一通信器)169進(jìn)行與稍后將描述的遠(yuǎn)程控制終端20中的遠(yuǎn)程控制側(cè)通信器241的通信，并且發(fā)送和接收各種信息。稍后將對要通信的信息的內(nèi)容進(jìn)行描述。

接著，將描述遠(yuǎn)程控制終端20的結(jié)構(gòu)。遠(yuǎn)程控制終端20包括遠(yuǎn)程控制側(cè)系統(tǒng)控制器21以及遠(yuǎn)程控制側(cè)操作部22。遠(yuǎn)程控制終端20還包括總線23、遠(yuǎn)程控制側(cè)通信器241、遠(yuǎn)程控制側(cè)顯示控制器242、遠(yuǎn)程控制側(cè)顯示器243、遠(yuǎn)程控制側(cè)sdram244、遠(yuǎn)程控制側(cè)rom245以及遠(yuǎn)程控制側(cè)閃存rom246。遠(yuǎn)程控制終端20被構(gòu)造為使得通過遠(yuǎn)程控制側(cè)通信器241(接收器與發(fā)送器)來進(jìn)行與照相機(jī)10中的攝像側(cè)通信器169之間的攝像信號以及諸如照相機(jī)控制信息的信息的發(fā)送和接收。

遠(yuǎn)程控制側(cè)系統(tǒng)控制器21用作綜合控制整個遠(yuǎn)程控制終端的操作的控制器。遠(yuǎn)程控制側(cè)系統(tǒng)控制器21基于來自遠(yuǎn)程控制側(cè)操作部22的輸入根據(jù)預(yù)定控制程序來控制各個部分，還生成用于控制照相機(jī)10的各種控制信息。

在經(jīng)由總線23連接的遠(yuǎn)程控制側(cè)rom245中，存儲有通過遠(yuǎn)程控制側(cè)系統(tǒng)控制器21執(zhí)行的控制程序以及控制所需的各種數(shù)據(jù)等。在遠(yuǎn)程控制側(cè)閃存rom246中，存儲有與遠(yuǎn)程控制終端20的操作相關(guān)的諸如用戶設(shè)置信息的各種設(shè)置信息。

遠(yuǎn)程控制側(cè)sdram244用作針對遠(yuǎn)程控制側(cè)系統(tǒng)控制器21的運算工作區(qū)并且還用作存儲接收的圖像信號等的臨時存儲區(qū)。

遠(yuǎn)程控制側(cè)顯示控制器242在遠(yuǎn)程控制側(cè)顯示器243中顯示對應(yīng)于通過遠(yuǎn)程控制側(cè)通信器241從攝像側(cè)通信器169接收的接收圖像信號的圖像，所接收的信號被存儲在遠(yuǎn)程控制側(cè)sdram244中。

接著，將詳細(xì)描述遠(yuǎn)程控制側(cè)通信器241與攝像側(cè)通信器169之間的通信。每次攝像元件121攝取圖像時，攝像側(cè)通信器169在沒有從遠(yuǎn)程控制側(cè)通信器241接收到確認(rèn)的情況下，繼續(xù)向遠(yuǎn)程控制側(cè)通信器241發(fā)送圖像信號。遠(yuǎn)程控制側(cè)通信器(第二通信器)241在每次接收到圖像信號時將圖像信號存儲在遠(yuǎn)程控制側(cè)sdram244中，并且通過遠(yuǎn)程控制側(cè)顯示控制器242將圖像信號顯示在遠(yuǎn)程控制側(cè)顯示器243中。如果在遠(yuǎn)程控制側(cè)顯示器243中的顯示完成前從攝像側(cè)通信器169接收到新圖像信號，則新接收的圖像信號被忽視并且遠(yuǎn)程控制側(cè)顯示控制器242繼續(xù)正在執(zhí)行的當(dāng)前顯示處理。以這種方式，在遠(yuǎn)程控制終端20中進(jìn)行流媒體回放。遠(yuǎn)程控制側(cè)系統(tǒng)控制器21通過遠(yuǎn)程控制側(cè)通信器241向照相機(jī)10發(fā)送與照相機(jī)10相關(guān)的控制信息以及設(shè)置改變信息。系統(tǒng)控制器14根據(jù)由攝像側(cè)通信器169接收的控制信息來控制照相機(jī)10并且通過根據(jù)設(shè)置改變信息改變閃存rom168中的各種設(shè)置信息來改變照相機(jī)設(shè)置。例如，如果通過遠(yuǎn)程控制側(cè)系統(tǒng)控制器21進(jìn)行變焦操作，則系統(tǒng)控制器14通過通信接收與變焦相關(guān)的控制信息(與變焦方向以及變焦鏡頭驅(qū)動量相關(guān)的信息)。然后，系統(tǒng)控制器14基于控制信息來控制變倍透鏡驅(qū)動器131以進(jìn)行變焦。另外，例如，如果通過遠(yuǎn)程控制側(cè)系統(tǒng)控制器21改變了記錄圖像質(zhì)量，則系統(tǒng)控制器14通過通信接收與記錄圖像質(zhì)量相關(guān)的設(shè)置改變信息(記錄圖像質(zhì)量改變信息)并且通過將該信息重寫入閃存rom168來改變記錄圖像質(zhì)量設(shè)置。

以這種方式，在照相機(jī)10與遠(yuǎn)程控制終端20之間通信信息，并且可以在遠(yuǎn)程控制終端20中執(zhí)行圖像信號的確認(rèn)以及照相機(jī)10的控制。

當(dāng)照相機(jī)10通過攝像側(cè)通信器169發(fā)送由攝像元件121以重復(fù)方式攝取的攝像信號(圖像信號)時，系統(tǒng)控制器14具有的時間信息也通過附加到圖像信號來被發(fā)送。遠(yuǎn)程控制終端20在通過遠(yuǎn)程控制顯示控制器242在遠(yuǎn)程控制側(cè)顯示器243中的顯示完成時，通過遠(yuǎn)程控制側(cè)通信器241將附加到顯示的圖像信號的時間信息(附加信息)與發(fā)送到照相機(jī)10的上述控制信息相分離地發(fā)送回到照相機(jī)10。由此，照相機(jī)10同時發(fā)送攝取的圖像信號以及當(dāng)圖像信號被發(fā)送時的時間信息，并且每次遠(yuǎn)程控制側(cè)控制器242進(jìn)行接收的圖像信號的顯示時遠(yuǎn)程控制終端20將該時間信息發(fā)送回給照相機(jī)10。當(dāng)照相機(jī)10從遠(yuǎn)程控制側(cè)通信器241接收到上述時間信息時，系統(tǒng)控制器14(計算器)由照相機(jī)10中的當(dāng)前時間信息與接收的時間信息之間的差來計算照相機(jī)10與遠(yuǎn)程控制終端20之間的通信延遲時間。計算出的通信延遲時間被存儲在sdram166中。

接著，將描述從在遠(yuǎn)程控制終端20中進(jìn)行被攝體追蹤命令時到攝像裝置進(jìn)行追蹤時的操作流程。如果通過遠(yuǎn)程控制側(cè)操作部22發(fā)出追蹤命令，則遠(yuǎn)程控制側(cè)系統(tǒng)控制器21中的遠(yuǎn)程控制側(cè)追蹤圖像生成器(提取器)211輸入遠(yuǎn)程控制側(cè)sdram244中存儲的圖像信號(第一圖像信號)，并生成追蹤圖像(第二圖像信號)。在本實施例中，遠(yuǎn)程控制側(cè)操作部22是觸摸屏，并且中心位于圖像信號中被觸摸的坐標(biāo)處的預(yù)定區(qū)域是追蹤圖像。遠(yuǎn)程控制側(cè)操作部22可以不是觸摸屏，并且可以采用追蹤區(qū)域的中心坐標(biāo)或者區(qū)域自身可以通過操作鍵來設(shè)置的系統(tǒng)。所生成的追蹤圖像由遠(yuǎn)程控制側(cè)通信器241根據(jù)來自遠(yuǎn)程控制側(cè)系統(tǒng)控制器21的命令發(fā)送到攝像側(cè)通信器169。

當(dāng)從攝像側(cè)通信器169接收到追蹤圖像時，系統(tǒng)控制器14假設(shè)追蹤命令從遠(yuǎn)程控制終端20被給出并且將追蹤圖像存儲在sdram166中，同時，追蹤信號處理器125輸入追蹤圖像。如上所述，追蹤信號處理器125由追蹤圖像信號生成包括色彩信息的直方圖以及亮度信息的直方圖的特征(特征信息)。如上所述，被攝體區(qū)域檢測器126基于特征對當(dāng)前正被攝取的圖像信號(第三圖像信號)進(jìn)行搜索處理以搜索追蹤被攝體，并指定在攝像畫面中的預(yù)定區(qū)域中是否存在對應(yīng)于追蹤被攝體的被攝體。如果在預(yù)定區(qū)域中存在追蹤被攝體，則基于追蹤被攝體存在的位置坐標(biāo)來決定追蹤區(qū)域并且其結(jié)果被發(fā)送到系統(tǒng)控制器14以進(jìn)行af和ae控制(進(jìn)行聚焦或調(diào)節(jié)曝光)。追蹤被攝體存在的位置坐標(biāo)被存儲在sdram166中，通過在下次以及之后檢測追蹤被攝體區(qū)域時利用該信息，要進(jìn)行搜索處理以搜索追蹤被攝體的區(qū)域能夠被限制。當(dāng)指定追蹤被攝體區(qū)域時，每次追蹤被攝體存在的位置坐標(biāo)被更新時，要存儲在sdram166中的位置坐標(biāo)被更新。

因此，通過在遠(yuǎn)程控制終端20中生成追蹤圖像并將其發(fā)送到照相機(jī)10以及通過照相機(jī)10基于追蹤圖像指定追蹤被攝體存在的區(qū)域，發(fā)出基于遠(yuǎn)程控制終端20的追蹤命令。在這種實施例中，能夠利用來自遠(yuǎn)程控制終端20的追蹤命令來進(jìn)行精確的追蹤而不需要考慮成為問題的通信時滯。

接著，將詳細(xì)描述被攝體追蹤功能。當(dāng)通過操作部134或遠(yuǎn)程控制側(cè)操作部22給出追蹤被攝體的追蹤(開始)命令時，追蹤圖像生成器141或遠(yuǎn)程控制側(cè)追蹤圖像生成器211通過由追蹤被命令時的位置信息定義預(yù)定范圍來生成追蹤圖像。在本實施例中，通過定義中心在觸摸屏中的觸摸坐標(biāo)的預(yù)定范圍來生成追蹤圖像。預(yù)定范圍需要為至少使得能夠生成不頻繁引起追蹤控制中的誤追蹤的特征(特征信息)的大小。預(yù)定范圍可以是固定范圍或者可以采用預(yù)定范圍可以根據(jù)用戶設(shè)置等改變的系統(tǒng)。針對生成的追蹤圖像，通過追蹤信號處理器125生成色彩信息的直方圖以及亮度信息的直方圖，并且這些直方圖為追蹤圖像的特征。在本實施例中，生成色彩及亮度的直方圖，然而，可以僅生成任意一者。在被攝體區(qū)域檢測器126中，由當(dāng)前正被攝取的圖像信號生成具有與追蹤圖像大小類似大小的圖像作為追蹤候選圖像。與追蹤圖像類似地，針對追蹤候選圖像通過追蹤信號處理器125生成色彩和亮度的直方圖，并且這些直方圖為追蹤候選圖像的特征。

被攝體區(qū)域檢測器126計算追蹤圖像的特征與追蹤候選圖像的特征之間的各色彩信息的差以及亮度信息的差，對計算出的值的總和進(jìn)行計算并存儲結(jié)果。同時，追蹤候選圖像的位置信息也被存儲。另外，通過由當(dāng)前正被攝取的圖像信號順序生成追蹤候選圖像來進(jìn)行匹配，計算各追蹤候選圖像的特征中的要素與追蹤圖像的特征中的要素之間的差，并計算所述差的總和。特征中的要素之間的差的總和的最小值、以及對應(yīng)于該最小值的追蹤候選圖像的位置信息，以通過被利用來重寫預(yù)先存儲的信息的方式來被存儲。如果最后獲得的特征中的要素之間的差的總和小于預(yù)定值，則將對應(yīng)于該總和的追蹤候選圖像指定為追蹤被攝體，并且根據(jù)存儲的位置信息來將預(yù)定區(qū)域設(shè)置為追蹤區(qū)域。這里，與特征之間的差的總和相關(guān)的預(yù)定值，在基于允許追蹤想要的被攝體的比率以及允許不誤追蹤不想要的被攝體的比率來執(zhí)行追蹤操作的情況下被決定。因此，追蹤區(qū)域被決定并且追蹤開始。

接著，將描述追蹤繼續(xù)方法。關(guān)于用于繼續(xù)追蹤的信息，將追蹤圖像以及追蹤區(qū)域被設(shè)置的位置信息存儲在sdram166中。當(dāng)繼續(xù)追蹤時，在每次進(jìn)行攝像時，如上所述通過被攝體區(qū)域檢測器126和追蹤信號處理器125基于存儲在sdram166中的追蹤圖像來進(jìn)行攝像信號與追蹤圖像之間的匹配。此時，基于存儲的追蹤區(qū)域被設(shè)置的位置信息，要進(jìn)行匹配的攝像信號的范圍被限制。通過在追蹤區(qū)域被設(shè)置的位置為中心的預(yù)定范圍內(nèi)進(jìn)行匹配，能夠避免由于進(jìn)行不必要范圍的匹配引起的誤追蹤，并且能夠縮短運算時間。通過設(shè)計在從追蹤繼續(xù)處理被進(jìn)行起直到下一追蹤繼續(xù)處理要被進(jìn)行為止的時間段中想要追蹤的被攝體在攝像畫面內(nèi)能夠移動的最大距離，要進(jìn)行匹配的預(yù)定范圍被設(shè)置到如果被攝體移動最大距離則能夠覆蓋被攝體的運動的范圍。如果該范圍大，則即使被攝體移動大的距離被攝體也可以被追蹤，但是可能頻繁發(fā)生誤追蹤。如果該范圍小，則如果被攝體移動大的距離則被攝體無法被追蹤，但是不頻繁發(fā)生誤追蹤。

當(dāng)再次進(jìn)行匹配以繼續(xù)追蹤時，如上所述，如果最后獲得的特征中的要素之間的差的總和小于預(yù)定值，則確定對應(yīng)于最后獲得的總和的追蹤候選圖像為追蹤被攝體，并且由追蹤候選圖像的位置信息利用預(yù)定區(qū)域來更新追蹤區(qū)域。另外，利用此時追蹤候選圖像的位置信息來重寫sdram166中存儲的位置信息以進(jìn)行更新。在下一追蹤繼續(xù)處理時，可以通過利用更新的位置信息來設(shè)置適當(dāng)?shù)钠ヅ鋮^(qū)域。以這種方式，執(zhí)行追蹤的繼續(xù)。不需要針對每次攝像進(jìn)行追蹤繼續(xù)處理。例如，可以控制為使得每隔預(yù)定攝像次數(shù)來進(jìn)行追蹤繼續(xù)處理。由于追蹤繼續(xù)處理之間的攝像間隔較長，因此如果被攝體移動大的距離，則被攝體無法被追蹤。然而，處理時間能夠被削減。

這里，將描述追蹤的終止。如果當(dāng)追蹤正在進(jìn)行中時從操作部134或遠(yuǎn)程控制側(cè)操作部22給出追蹤終止命令，則系統(tǒng)控制器14終止追蹤并返回到非追蹤操作。例如，當(dāng)追蹤被終止時，針對追蹤區(qū)域設(shè)置的af區(qū)域返回到通常設(shè)置的af區(qū)域。類似地，如果在追蹤正在進(jìn)行中時經(jīng)過了預(yù)定時間段而不能指定想要追蹤的被攝體，則追蹤終止。如果不能指定追蹤被攝體的預(yù)定待機(jī)時間段長，則再次指定追蹤被攝體以及重新開始追蹤的可能性高，但是要返回到通常狀態(tài)的處理要被延遲。如果不能指定追蹤被攝體的預(yù)定待機(jī)時間段短，則將發(fā)生上述情況的相反情況。

如上所述，進(jìn)行開始、繼續(xù)以及終止被攝體的追蹤的處理。

接著，參照圖2a及圖2b至圖5，將詳細(xì)描述本實施例中的具有上述結(jié)構(gòu)的照相機(jī)10和遠(yuǎn)程控制終端20的操作。

圖2a是例示實施例1中的在照相機(jī)10中的系統(tǒng)控制器14中進(jìn)行的照相機(jī)的遠(yuǎn)程控制處理的流程圖。圖2b是例示實施例1中的在遠(yuǎn)程控制終端20中的遠(yuǎn)程控制控制器21中進(jìn)行的照相機(jī)的遠(yuǎn)程控制處理的流程圖。圖2a的流程圖例示了在照相機(jī)的遠(yuǎn)程控制模式期間照相機(jī)10的操作，并且各處理用“sc”表示。圖2b的流程圖例示了在照相機(jī)的遠(yuǎn)程控制模式期間遠(yuǎn)程控制終端20的操作，并且各處理用“sr”表示。

首先，將描述在照相機(jī)中進(jìn)行的處理。步驟sc001表示當(dāng)照相機(jī)不被遠(yuǎn)程控制時照相機(jī)的控制(下文中，稱為照相機(jī)的通?？刂?，并且在該控制被執(zhí)行后處理進(jìn)行到步驟sc002。當(dāng)照相機(jī)在通?？刂葡聲r不進(jìn)行遠(yuǎn)程控制，因此將省略通?？刂频脑斍?。然而，在通?？刂葡?，照相機(jī)的各種控制、所攝取信號以及追蹤命令的顯示僅在照相機(jī)中進(jìn)行。在步驟sc002中，確定是否要執(zhí)行照相機(jī)的遠(yuǎn)程控制模式。

如果在步驟sc002中給出執(zhí)行照相機(jī)的遠(yuǎn)程控制模式的命令，則處理進(jìn)行到步驟sc003，如果在步驟sc002中未給出該命令，則處理進(jìn)行到步驟sc001。在步驟sc003中，確定照相機(jī)的遠(yuǎn)程控制模式是否被取消。如果確定照相機(jī)的遠(yuǎn)程控制模式未取消，則處理進(jìn)行到步驟sc004，如果確定照相機(jī)的遠(yuǎn)程控制模式被取消，則處理進(jìn)行到步驟sc001。如果在響應(yīng)于執(zhí)行照相機(jī)的遠(yuǎn)程控制模式的命令正在建立與遠(yuǎn)程控制終端20的通信的同時照相機(jī)的遠(yuǎn)程控制模式被取消，則進(jìn)行步驟sc001中的照相機(jī)的通?？刂?。

在步驟sc004中，建立與遠(yuǎn)程控制終端20的通信。通信建立命令被發(fā)送到遠(yuǎn)程控制終端20，如果返回來從遠(yuǎn)程控制終端20接收到通信建立使能信息，則假設(shè)通信被建立。然后，通信建立完成信息被發(fā)送到遠(yuǎn)程控制終端20并且處理進(jìn)行到步驟sc005。如果由于對發(fā)送到遠(yuǎn)程控制終端20的通信建立命令的響應(yīng)超時而無法建立通信，則處理返回到步驟sc003并且再次確定照相機(jī)的遠(yuǎn)程控制模式是否被取消。

在步驟sc005中，照相機(jī)設(shè)置信息被發(fā)送到遠(yuǎn)程控制終端20，從而共享在與遠(yuǎn)程控制終端建立通信時的照相機(jī)設(shè)置。在執(zhí)行步驟sc005的處理后，處理進(jìn)行到步驟sc006。另外，雖然以下將詳細(xì)描述，但是照相機(jī)設(shè)置信息在從遠(yuǎn)程控制終端20向照相機(jī)10給出設(shè)置改變命令時還被發(fā)送到遠(yuǎn)程控制終端20以共享該設(shè)置。在步驟sc006中，確定當(dāng)前照相機(jī)模式是攝像模式還是回放模式。如果確定當(dāng)前照相機(jī)模式是攝像模式，則處理進(jìn)行到步驟sc007，如果確定當(dāng)前照相機(jī)模式是回放模式，則處理進(jìn)行到步驟sc008。稍后將參照圖3a和圖3b描述步驟sc007。

在步驟sc008中，進(jìn)行回放模式下的處理。記錄的視頻在照相機(jī)中回放，并且回放的視頻還被使得在遠(yuǎn)程控制終端20中顯示。另外，通過遠(yuǎn)程控制終端20針對照相機(jī)10執(zhí)行想要回放的視頻的選擇以及視頻回放期間的各種命令(回放、停止、快進(jìn)等)。詳情將被省略。在執(zhí)行步驟sc007或步驟sc008的處理之后，處理進(jìn)行到步驟sc009。在步驟sc009中，確定電源是否關(guān)閉。如果確定電源未關(guān)閉，則處理進(jìn)行到步驟sc010，如果確定電源關(guān)閉，則處理結(jié)束。在步驟sc010中，確定是否通過遠(yuǎn)程控制終端20給出照相機(jī)的遠(yuǎn)程控制模式的取消命令。如果確定未給出照相機(jī)的遠(yuǎn)程控制模式的取消命令，則處理進(jìn)行到步驟sc011。如果確定給出照相機(jī)的遠(yuǎn)程控制模式的取消命令，則處理返回到步驟sc001并且進(jìn)行照相機(jī)的通?？刂?不被遠(yuǎn)程控制)。

在步驟sc011中，確定是否通過遠(yuǎn)程控制終端20給出了在攝像模式與回放模式之間的切換命令。如果確定給出了模式切換命令，則處理進(jìn)行到步驟sc012，如果確定沒有給出模式切換命令，則處理返回到步驟sc005。在步驟sc012中，如果當(dāng)前模式是攝像模式，則照相機(jī)設(shè)置被改變至回放模式，如果當(dāng)前模式是回放模式，則照相機(jī)設(shè)置被改變至攝像模式，之后，處理返回到步驟sc005。在步驟sc005中，與遠(yuǎn)程控制終端共享攝像模式與回放模式之間的切換以及在步驟sc007中進(jìn)行的照相機(jī)設(shè)置信息的改變并且在所設(shè)置的模式下進(jìn)行操作。

接著，將描述遠(yuǎn)程控制終端中進(jìn)行的處理。步驟sr001表示當(dāng)不進(jìn)行照相機(jī)的遠(yuǎn)程控制時遠(yuǎn)程控制終端的控制(下文中，稱為遠(yuǎn)程控制終端的通常控制)。因為在遠(yuǎn)程控制終端的通?？刂浦胁贿M(jìn)行遠(yuǎn)程控制，所以省略詳情。然而，執(zhí)行遠(yuǎn)程控制終端中配備的其他功能(互聯(lián)網(wǎng)、音樂回放、視頻回放等)。在步驟sr002中，確定是否執(zhí)行照相機(jī)的遠(yuǎn)程控制模式。如果在步驟sr002中確定執(zhí)行照相機(jī)的遠(yuǎn)程控制模式，則處理進(jìn)行到步驟sr003，如果確定不執(zhí)行，則遠(yuǎn)程控制終端繼續(xù)在步驟sr001中執(zhí)行的各種處理。在步驟sr003中，確定照相機(jī)的遠(yuǎn)程控制模式是否被取消。如果確定遠(yuǎn)程控制模式未被取消，則處理進(jìn)行到步驟sr004，如果確定遠(yuǎn)程控制模式被取消，則處理返回到步驟sr001。

在步驟sr004中，建立與照相機(jī)10的通信。如果從照相機(jī)10接收到通信建立命令，則向照相機(jī)10發(fā)送通信建立使能信息，如果相對的再次從照相機(jī)10接收到通信完成信息，則假設(shè)通信被建立并且處理進(jìn)行到步驟sr005。如果未從照相機(jī)10接收到通信建立命令以及如果由于超時無法建立通信，則處理返回到步驟sr003并且再次確定照相機(jī)的遠(yuǎn)程控制模式是否被取消。如果確定給出照相機(jī)的遠(yuǎn)程控制模式的取消命令，則處理返回到步驟sr001并且重新開始遠(yuǎn)程控制終端20的各種控制。在步驟sr005中，為了將通信被建立時照相機(jī)10的設(shè)置反映在遠(yuǎn)程控制終端中，從照相機(jī)10接收設(shè)置信息以在遠(yuǎn)程控制終端中設(shè)置與接收的設(shè)置信息類似的設(shè)置。

例如，接收照相機(jī)的當(dāng)前聚焦模式是af還是mf并且設(shè)置相同的設(shè)置，使得進(jìn)行諸如在af模式時將用于手動控制聚焦的圖標(biāo)灰視化的控制。在執(zhí)行步驟sr005的處理之后，處理進(jìn)行到步驟sr006。

另外，盡管以下將詳細(xì)描述，但是當(dāng)從遠(yuǎn)程控制終端20向照相機(jī)10命令設(shè)置改變時，為了共享這種設(shè)置，照相機(jī)10的設(shè)置信息也被再次接收并且設(shè)置被反映在遠(yuǎn)程控制終端20中。在步驟sr006中，確定當(dāng)前照相機(jī)模式是攝像模式還是回放模式。如果確定當(dāng)前照相機(jī)模式是攝像模式，則處理進(jìn)行到步驟sr007，如果確定當(dāng)前照相機(jī)模式是回放模式，則處理進(jìn)行到步驟sr008。

將參照圖3a和圖3b在以下描述步驟sr007。在步驟sr008中，進(jìn)行回放模式的處理。通過遠(yuǎn)程控制終端20針對照相機(jī)10執(zhí)行想要回放的視頻的選擇以及視頻回放期間的各種命令(回放、停止、快進(jìn)等)，同時，顯示在照相機(jī)10中回放的視頻。這里，詳情被省略。在執(zhí)行步驟sr007或步驟sr008的處理后，處理進(jìn)行到步驟sr009。

在步驟sr009中，確定電源是否關(guān)閉。如果確定電源未關(guān)閉，則處理進(jìn)行到步驟sr010，如果確定電源關(guān)閉，則處理結(jié)束。在步驟sr010中，確定是否在遠(yuǎn)程控制終端20中執(zhí)行了照相機(jī)的遠(yuǎn)程控制模式的取消命令。如果確定執(zhí)行了照相機(jī)的遠(yuǎn)程控制模式的取消命令，則處理進(jìn)行到步驟sr011，如果確定未執(zhí)行照相機(jī)的遠(yuǎn)程控制命令，則處理進(jìn)行到步驟sr012。

在步驟sr011中，照相機(jī)的遠(yuǎn)程控制模式的取消命令被發(fā)送到照相機(jī)10并且同時處理返回到步驟sr001中以進(jìn)行遠(yuǎn)程控制終端的通?？刂啤Ｔ诓襟Esr012中，確定是否在遠(yuǎn)程控制終端20中執(zhí)行了攝像模式與回放模式之間的切換命令。如果確定執(zhí)行了模式切換命令，則處理進(jìn)行到步驟sr013，如果確定未執(zhí)行模式切換命令，則處理返回到步驟sr005并且遠(yuǎn)程控制終端繼續(xù)照相機(jī)的遠(yuǎn)程控制模式的處理。在步驟sr013中，照相機(jī)模式的切換命令被發(fā)送到照相機(jī)10并且處理返回到步驟sr005。在步驟sr005中，與遠(yuǎn)程控制終端共享攝像模式與回放模式之間的切換并且在設(shè)置的模式下執(zhí)行操作。

將參照圖3a和圖3b所示的流程圖來描述圖2a中的步驟sc007的遠(yuǎn)程控制期間的照相機(jī)的控制以及步驟sr007的遠(yuǎn)程控制期間的遠(yuǎn)程控制終端的控制。

圖3a中的流程圖例示了遠(yuǎn)程控制期間的照相機(jī)的控制，圖3b中的流程圖例示了遠(yuǎn)程控制期間的遠(yuǎn)程控制終端的控制。

首先，將描述照相機(jī)中進(jìn)行的處理。在步驟sc101中，圖像信號被發(fā)送到遠(yuǎn)程控制終端20并且處理進(jìn)行到步驟sc102。在照相機(jī)側(cè)，圖像信號在遠(yuǎn)程控制終端20不確認(rèn)圖像信號的接收的情況下被發(fā)送。在步驟sc102中，確定是否通過遠(yuǎn)程控制終端20改變了照相機(jī)設(shè)置。如果確定照相機(jī)設(shè)置被改變，則處理進(jìn)行到步驟sc103，如果確定照相機(jī)設(shè)置沒有改變，則處理進(jìn)行到步驟sc104。在步驟sc103中，通過遠(yuǎn)程控制終端20改變的照相機(jī)設(shè)置被反映在照相機(jī)10中并且處理進(jìn)行到步驟sc104。例如，如果記錄圖像質(zhì)量在遠(yuǎn)程控制終端中被改變，則在步驟sc103中改變的記錄圖像質(zhì)量的設(shè)置被反映在照相機(jī)中。

在步驟sc104中，確定是否通過遠(yuǎn)程控制終端20給出了追蹤開始命令。如果確定給出了追蹤開始命令，則處理進(jìn)行到步驟sc105，如果確定未給出，則處理進(jìn)行到步驟sc108。在本實施例中，如果接收到追蹤圖像，則假設(shè)給出了追蹤開始命令。在步驟sc105中，基于接收的追蹤圖像來進(jìn)行追蹤開始處理并且處理進(jìn)行到步驟sc106。稍后將參照圖4對步驟sc105的處理進(jìn)行描述。在步驟sc106中，確定在步驟sc105中追蹤是否成功。如果確定追蹤不成功，則處理進(jìn)行到步驟sc107，如果確定追蹤成功，則處理進(jìn)行到步驟sc112并切換至追償處理以外的另一處理。在步驟sc107中，假設(shè)追蹤不成功，則不可追蹤信息被發(fā)送到遠(yuǎn)程控制終端20?；谠诓襟Esc105中發(fā)出的用1比特來表示追蹤的成功/不成功的不可追蹤信息，來確定追蹤是否成功。

接著，在步驟sc108中，該步驟sc108作為如果在步驟sc104中確定沒有給出追蹤開始命令則處理進(jìn)行到的步驟，確定是否追蹤當(dāng)前正被進(jìn)行。如果確定追蹤正被進(jìn)行，則處理進(jìn)行到步驟sc109。如果否，則處理進(jìn)行到步驟sc112并且切換至除追蹤處理外的另一處理。在步驟sc109中，該步驟sc109作為當(dāng)追蹤當(dāng)前正被進(jìn)行時處理進(jìn)行到的步驟，進(jìn)行追蹤繼續(xù)處理并且處理進(jìn)行到步驟sc110。稍后將參照圖5來描述追蹤繼續(xù)處理。

在步驟sc110中，確定在步驟sc109中是否存在不可追蹤信息或者是否從遠(yuǎn)程控制終端20命令了追蹤停止。如果以上的任意一者應(yīng)用，則處理進(jìn)行到步驟sc111。如果否，則處理進(jìn)行到步驟sc112并且切換到除追蹤處理外的另一處理。在步驟sc111中，進(jìn)行追蹤終止處理(追蹤停止處理)，然后，處理進(jìn)行到步驟sc112并且切換到除追蹤處理外的另一處理。如果追蹤無法被繼續(xù)，即追蹤被攝體無法被指定，或者如果用戶停止追蹤，則追蹤終止并且照相機(jī)返回到通常攝像狀態(tài)。在本實施例中，通常攝像狀態(tài)是用于調(diào)節(jié)af和ae的框被設(shè)置在畫面中心而不是在追蹤區(qū)域的狀態(tài)。通常攝像狀態(tài)不限于本實施例的結(jié)構(gòu)，可以采用其他結(jié)構(gòu)，只要其為未進(jìn)行追蹤的狀態(tài)即可。

接著，在步驟sc112中，該步驟sc112為在進(jìn)行與追蹤相關(guān)的處理后處理進(jìn)行至的步驟，確定是否命令了通過遠(yuǎn)程控制終端20的照相機(jī)控制。如果確定命令了通過遠(yuǎn)程控制終端20的照相機(jī)控制，則處理進(jìn)行到步驟sc113，如果否，則處理進(jìn)行到步驟sc114。在步驟sc113中，根據(jù)來自遠(yuǎn)程控制終端20的照相機(jī)控制命令來控制照相機(jī)并且處理進(jìn)行到步驟sc114。作為在步驟sc112和步驟sc113中進(jìn)行的處理的示例，如果遠(yuǎn)程控制終端20命令進(jìn)行變焦，則根據(jù)變焦命令來進(jìn)行變焦。在步驟sc114中，通過照相機(jī)自身進(jìn)行照相機(jī)設(shè)置和控制并且處理結(jié)束。在步驟sc114中，接受通過操作照相機(jī)自身進(jìn)行的照相機(jī)設(shè)置中的改變以及照相機(jī)控制命令，并且根據(jù)其來控制照相機(jī)10。此時還進(jìn)行無需遵照用戶命令進(jìn)行的諸如af的照相機(jī)控制。這里，省略詳情。

接著，將描述遠(yuǎn)程控制終端中進(jìn)行的處理。在步驟sr101中，開始從照相機(jī)10的圖像信號的接收并且處理進(jìn)行到步驟sr102。盡管在后述的步驟sr114中進(jìn)行接收的圖像信號的顯示，但是在假設(shè)在前一遠(yuǎn)程控制期間在遠(yuǎn)程控制終端的控制下在步驟sr114中已經(jīng)顯示圖像信號的情況下來描述在下文中描述的從步驟sr102到步驟sr113的處理。在步驟sr102中，確定是否通過遠(yuǎn)程控制終端20中的用戶命令了照相機(jī)設(shè)置的改變。如果確定命令了設(shè)置改變，則處理進(jìn)行到步驟sr103，如果否，則處理進(jìn)行到步驟sr104。在步驟sr103中，照相機(jī)設(shè)置的改變信息被發(fā)送到照相機(jī)10。

接著，在步驟sr104中，確定是否在遠(yuǎn)程控制終端20中命令了追蹤開始。如果確定命令了追蹤開始，則處理進(jìn)行到步驟sr105，如果否，則處理進(jìn)行到步驟sr109。在本實施例中，在遠(yuǎn)程控制終端20中顯示圖像信號，同時，如果在可以進(jìn)行觸摸操作的觸摸屏上觸摸了被攝體，則命令追蹤開始。在步驟sr105中，由遠(yuǎn)程控制終端20中當(dāng)前正被顯示的圖像信號提取并生成追蹤被攝體的追蹤圖像并且處理進(jìn)行到步驟sr106。追蹤圖像的提取范圍是中心在被攝體被觸摸的觸摸坐標(biāo)的預(yù)定范圍。在步驟sr106中，追蹤圖像被發(fā)送到照相機(jī)10并且處理進(jìn)行到步驟sr107。本實施例涉及通過發(fā)送追蹤圖像來遠(yuǎn)程進(jìn)行追蹤開始命令。傳統(tǒng)上，在被攝體位置信息作為用于遠(yuǎn)程命令開始追蹤的信息被通信(發(fā)送)的情況下，如上所述因為由于通信時滯想要追蹤的被攝體不在所通信(發(fā)送)的被攝體位置，所以誤追蹤成了問題。鑒于這種問題，在本實施例中，追蹤圖像被發(fā)送并且通過進(jìn)行圖案匹配追蹤被攝體被指定。因此，用戶遠(yuǎn)程指定的被攝體能夠被精確追蹤。

接著，在步驟sr107中，確定是否接收到不可追蹤信息，當(dāng)由于作為在照相機(jī)側(cè)在步驟sc105中進(jìn)行的追蹤開始處理的結(jié)果圖案匹配失敗而引起追蹤不成功時從照相機(jī)10發(fā)送該不可追蹤信息。如果確定接收到不可追蹤信息，則處理進(jìn)行到步驟sr108，如果否，則處理進(jìn)行到步驟sr109。在步驟sr108中，為了向用戶通知在照相機(jī)側(cè)追蹤不成功，顯示追蹤不成功的指示并且處理進(jìn)行到步驟sr109。通過顯示追蹤不成功的指示，用戶可以被促使再次進(jìn)行追蹤命令。在步驟sr109中，確定是否通過遠(yuǎn)程控制終端20命令了追蹤終止。如果確定命令了追蹤終止，則處理進(jìn)行到步驟sr110，如果否，則處理進(jìn)行到步驟sr111。追蹤終止命令是當(dāng)追蹤當(dāng)前正被進(jìn)行時用戶希望終止追蹤時進(jìn)行的操作。通過用戶觸摸遠(yuǎn)程控制終端20中顯示的追蹤停止圖標(biāo)，進(jìn)行追蹤終止命令。在步驟sr110中，追蹤終止命令被發(fā)送到照相機(jī)10并且處理進(jìn)行到步驟sr111。

在步驟sr111中，確定是否命令了基于遠(yuǎn)程控制終端20的照相機(jī)控制。如果確定命令了基于遠(yuǎn)程控制終端20的照相機(jī)控制，則處理進(jìn)行到步驟sr112，如果否，則處理進(jìn)行到步驟sr113。在步驟sr112中，關(guān)于在遠(yuǎn)程控制終端20中進(jìn)行的照相機(jī)控制的信息被發(fā)送到照相機(jī)并且處理進(jìn)行到步驟sr113。例如，如果通過遠(yuǎn)程控制終端20進(jìn)行了變焦，則使得進(jìn)行變焦的控制信息被發(fā)送到照相機(jī)10。在步驟sr113中，確定是否完成了在步驟sr101中開始接收的圖像信號的接收。如果確定接收完成，則處理進(jìn)行到步驟sr114，如果確定接收未完成，則處理進(jìn)行到步驟sr115。在步驟sr114中，進(jìn)行完成接收的圖像信號的顯示處理并且處理結(jié)束。在步驟sr115中，從步驟sr102至步驟sr112針對照相機(jī)10進(jìn)行的各種命令信息被初始化(在不存在命令的狀態(tài))，并且處理返回到步驟sr102以從步驟sr102再次進(jìn)行處理。

雖然每次在照相機(jī)側(cè)進(jìn)行攝像時圖像信號被發(fā)送到遠(yuǎn)程控制終端20，但是遠(yuǎn)程控制終端20不是必須顯示全部圖像信號，圖像信號是否被顯示取決于遠(yuǎn)程控制終端20的處理能力以及電路狀況。遠(yuǎn)程控制終端20的處理能力越低，則圖像信號以相對照相機(jī)中的顯示周期更被延遲的周期來被顯示。即使在步驟sr101中開始接收的圖像信號繼續(xù)被接收時，可以在遠(yuǎn)程控制終端20中進(jìn)行照相機(jī)設(shè)置的改變、照相機(jī)控制的進(jìn)行、以及針對當(dāng)前正被顯示的圖像的追蹤開始命令。即，在步驟sr113中完成接收之前，可以經(jīng)由步驟sr115的處理進(jìn)行從步驟sr102到步驟sr112的處理。當(dāng)圖像信號的接收完成時，在步驟sr114中在遠(yuǎn)程控制終端20中顯示圖像信號，并且在進(jìn)行下一遠(yuǎn)程控制的遠(yuǎn)程控制終端的控制之后在步驟sr101中再次開始圖像信號的接收。當(dāng)圖像信號正再次被接收時，針對當(dāng)前正被顯示的圖像信號的各種處理的命令被接受。在步驟sr101中對圖像信號的接收的開始階段，諸如剛好在遠(yuǎn)程控制開始之后并且尚未顯示圖像信號時，步驟sr102、步驟sr104、步驟sr107、步驟sr109以及步驟sr111的處理全部被確定為否。以這種方式，各個步驟被跳過，而不接受各種控制命令。在步驟sr114中首次顯示圖像信號后，接受從步驟sr102至步驟sr112的各種控制命令。

接著，將通過利用圖4的流程圖來描述圖3a中的步驟sc105的追蹤開始處理。

在步驟sc201中，從遠(yuǎn)程控制終端20接收的追蹤圖像的特征(特征信息)被提取并且處理進(jìn)行到步驟sc202。在步驟sc202中，從當(dāng)前正在照相機(jī)中被攝取的攝像信號的一部分提取(計算)特征。在步驟sc201中以及在步驟sc202中提取的特征是如上所述的色彩信息的直方圖以及亮度信息的直方圖。在步驟sc202中從攝像信號提取的部分的大小類似于從遠(yuǎn)程控制終端20接收的追蹤圖像的大小。每次處理通過后述的步驟sc208返回到步驟sc202時，通過在攝像信號的預(yù)定范圍內(nèi)依次改變要在攝像信號中提取的位置來進(jìn)行匹配。這里，用于進(jìn)行匹配的范圍越大，則找到追蹤被攝體的可能越高，但是誤追蹤的可能也變高。關(guān)于提取位置的改變方法，針對各行改變提取位置，并且當(dāng)一行的提取完成時，針對接下來一列的行進(jìn)行提取。當(dāng)然，可以優(yōu)先列進(jìn)行提取。關(guān)于提取范圍，提取圖像可以交疊或者可以不交疊，這可以根據(jù)追蹤精度來確定。如果提取圖像要交疊，例如，在每次偏移1像素來生成提取圖像的情況下，因為精確地進(jìn)行匹配，所以追蹤精度提高。另一方面，例如，如果與一個提取圖像鄰接的范圍被設(shè)置為另一提取圖像使得提取圖像不交疊，則用于匹配的計算量被削減，但是追蹤精度不太精確。

接著，在步驟sc203中，計算在步驟sc201中提取的特征(特征信息)與步驟sc202中提取的特征之間的差并且處理進(jìn)行到步驟sc204。在步驟sc204中，確定在步驟sc203中計算的特征之間的差是否小于當(dāng)前存儲的特征之間的差值。如果確定計算的差小于當(dāng)前存儲的差值，則處理進(jìn)行到步驟sc205，如果否，則處理進(jìn)行到步驟sc207。如上所述，獲得追蹤圖像與攝像信號的特征之間的差，這里，差越小，匹配越好。因此，在步驟sc204中確定特征之間的差是否目前最小，并且最小值要通過進(jìn)行后述處理被存儲。如果在步驟sc204中尚未保持特征之間的差，則處理不可避免地進(jìn)行到步驟sc205。

在步驟sc205中，計算出的特征間的差的最小值被存儲并且處理進(jìn)行到步驟sc206。在步驟sc206中，在步驟sc202中提取的攝像信號中的中心位置坐標(biāo)被存儲并且處理進(jìn)行到步驟sc207。如果追蹤被攝體被指定，則該中心位置信息要用于設(shè)置追蹤區(qū)域。盡管在本實施例中使用中心位置坐標(biāo)，但是無須說，例如，可以使用區(qū)域的左上的坐標(biāo)而不是中心坐標(biāo)。

接著，在步驟sc207中，確定在步驟sc205中存儲的特征之間的差的最小值是否大于預(yù)定值以及是否超出用于進(jìn)行圖案匹配的時限(即，用于進(jìn)行圖案匹配的時間是否結(jié)束)。如果確定存儲的特征之間的最小差值小于預(yù)定值或如果確定時間尚未結(jié)束，則處理進(jìn)行到步驟sc208。如果確定存儲的特征之間的最小差值大于預(yù)定值以及時間結(jié)束，則處理進(jìn)行到步驟sc212。在即使花長時間來進(jìn)行圖案匹配也不出現(xiàn)具有特征之間的小值的圖案的情況下，想要追蹤的被攝體不在用于進(jìn)行匹配的范圍內(nèi)的可能性高。因此，針對圖案匹配設(shè)置時限，并且進(jìn)行如果特征之間的最小差值大于預(yù)定值以及如果經(jīng)過時限則終止匹配的處理。這種時限可以根據(jù)存儲的特征之間的最小差值改變，并且可以設(shè)置為最小值越大，則時限結(jié)束越快。

接著，在步驟sc208中，確定是否針對全部的匹配范圍進(jìn)行了在步驟sc202中進(jìn)行的圖像信號的提取。如果確定針對全部的匹配范圍進(jìn)行了提取，則處理進(jìn)行到步驟sc209。如果確定未針對全部的匹配范圍進(jìn)行提取，則處理返回到步驟sc202并且照相機(jī)繼續(xù)從步驟sc202到步驟sc207的圖案匹配處理。

在步驟sc209中，圖案匹配結(jié)束并且確定最后存儲的特征之間的最小差值是否小于預(yù)定值。如果確定最小值小于預(yù)定值，則處理進(jìn)行到步驟sc210，如果否，則處理進(jìn)行到步驟sc212。在步驟sc210中，在假設(shè)追蹤被攝體被指定的情況下，中心位于步驟sc208中存儲的攝像信號的位置坐標(biāo)的追蹤區(qū)域被設(shè)置并且處理進(jìn)行到步驟sc211。在步驟sc211中，從遠(yuǎn)程控制終端20接收的追蹤圖像以及攝像信號的位置坐標(biāo)被存儲并且處理結(jié)束。存儲的追蹤圖像以及攝像信號的位置坐標(biāo)在進(jìn)行后述的追蹤繼續(xù)處理時被使用。在當(dāng)特征之間的最小差值大于預(yù)定值以及用于進(jìn)行匹配的時間結(jié)束時處理進(jìn)行至的步驟sc212中，假設(shè)追蹤被攝體未指定并且不可追蹤信息被發(fā)出，之后，處理結(jié)束。當(dāng)不可追蹤信息被發(fā)出時，追蹤被攝體未被指定的指示在圖3a的步驟sc107中被發(fā)送到遠(yuǎn)程控制終端20。

如上所述，追蹤被攝體被指定并且通過基于從遠(yuǎn)程控制終端20接收的追蹤圖像進(jìn)行圖案匹配來設(shè)置追蹤區(qū)域。當(dāng)通過遠(yuǎn)程控制終端20進(jìn)行追蹤命令時，圖像信號自身替代指定圖像的位置信息被通信(發(fā)送)以進(jìn)行圖案匹配。因此，由于通信時滯的被攝體的誤追蹤能夠被避免并且追蹤被攝體能夠被更精確地指定。通過照相機(jī)10針對追蹤區(qū)域進(jìn)行諸如af和ae的控制，能夠針對用戶希望追蹤的被攝體容易地設(shè)置優(yōu)選聚焦和曝光。

接著，將通過利用圖5的流程圖來描述圖3a中的步驟sc109的追蹤繼續(xù)處理。

在步驟sc301中，從在圖4所示的追蹤開始處理中的步驟sc211中存儲的追蹤圖像提取特征(特征信息)，并且處理進(jìn)行到步驟sc302。在步驟sc302中，由在圖4所示的追蹤開始處理中的步驟sc211中或在前述的步驟sc312中存儲的位置信息定義用于進(jìn)行匹配的范圍，并且處理進(jìn)行到步驟sc303。通過將預(yù)先匹配的位置信息設(shè)為中心來設(shè)置匹配范圍，可以更容易地指定追蹤被攝體。

在步驟sc303中，從在步驟sc302中設(shè)置的匹配范圍內(nèi)的攝像信號中提取具有與在步驟sc301中使用的追蹤被攝體的大小相同大小的圖像，并且從中提取特征，之后，處理進(jìn)行到步驟sc304。在步驟sc304中，計算在步驟sc301與步驟sc303中提取的特征之間的差，并且處理進(jìn)行到步驟sc305。在步驟sc305中，確定直到此時計算的特征之間的差是否小于當(dāng)前存儲的特征之間的差值。如果確定計算的差小于當(dāng)前存儲的差值，則處理進(jìn)行到步驟sc306，如果否，則處理進(jìn)行到步驟sc308。在步驟sc306中，假設(shè)計算出的特征值之間的差最小的情況下，該值被存儲并且處理進(jìn)行到步驟sc307。在步驟sc307中，在步驟sc303中被提取的攝像信號的位置信息被存儲，并且處理進(jìn)行到步驟sc308。

在步驟sc305的確定時，如果在步驟sc306中尚未存儲特征之間的最小差值，則處理不可避免地進(jìn)行到步驟sc306。接著，在步驟sc308中，確定在步驟sc306中存儲的特征之間的差的最小值是否大于預(yù)定值以及是否用于進(jìn)行圖案匹配的時間結(jié)束。如果確定存儲的特征之間的最小差值小于預(yù)定值或如果確定時間尚未結(jié)束，則處理進(jìn)行到步驟sc309。如果確定存儲的特征之間的最小差值大于預(yù)定值并且時間結(jié)束，則處理進(jìn)行到步驟sc314。步驟sc308的處理的詳情被省略，因為其類似于針對圖4的步驟sc207描述的處理。

在步驟sc309中，確定是否針對在步驟sc302中設(shè)置的全部匹配范圍進(jìn)行了匹配。如果確定針對全部匹配范圍進(jìn)行了匹配，則處理進(jìn)行到步驟sc310，如果否，則處理返回到步驟sc303并且繼續(xù)圖案匹配處理。在步驟sc310中，確定在步驟sc306中存儲的特征之間的最小差值是否小于作為圖案匹配的結(jié)果的預(yù)定值。如果確定最小差值小于預(yù)定值，則處理進(jìn)行到步驟sc311，如果否，則處理進(jìn)行到步驟sc314。在步驟sc311中，假設(shè)追蹤被攝體被指定的情況下，追蹤區(qū)域被設(shè)置為中心為步驟sc307中存儲的攝像信號的位置信息的范圍并且處理進(jìn)行到步驟sc312。

在步驟sc312中，在步驟sc311中設(shè)置的追蹤區(qū)域的位置信息被存儲并且處理進(jìn)行到步驟sc313。在下次追蹤繼續(xù)處理期間在步驟sc302中使用在步驟sc312中存儲的坐標(biāo)信息。在步驟sc313中，不可追蹤計數(shù)器被清零并且處理結(jié)束。將在后述的步驟sc314至步驟sc317的描述中說明不可追蹤計數(shù)器。

以這種方式，通過針對順序攝取的攝像信號重復(fù)進(jìn)行圖案匹配，追蹤區(qū)域被順序指定并且追蹤繼續(xù)。接著，在如果特征之間的最小差值大于預(yù)定值以及如果用于匹配的時間結(jié)束則處理進(jìn)行至的步驟sc314中，不可追蹤計數(shù)器被增加并且處理進(jìn)行到步驟sc315。不可追蹤計數(shù)器是用于對當(dāng)追蹤繼續(xù)處理被執(zhí)行時未能連續(xù)指定追蹤被攝體的次數(shù)進(jìn)行計數(shù)的計數(shù)器。在步驟sc315中，確定不可追蹤計數(shù)器是否表示等于或大于預(yù)定次數(shù)的值。如果確定不可追蹤計數(shù)器表示等于或大于預(yù)定次數(shù)的值，則處理進(jìn)行到步驟sc316，如果否，則處理進(jìn)行到步驟sc317。

在步驟sc316中，在假設(shè)追蹤被攝體不被指定的情況下，不可追蹤信息被發(fā)出并且處理結(jié)束。如果不可追蹤信息被發(fā)出，則通過圖3a中的步驟sc111進(jìn)行追蹤終止處理。在步驟sc317中，照相機(jī)切換至追蹤控制被暫時終止的狀態(tài)并且處理結(jié)束。追蹤控制被暫時終止的狀態(tài)是不針對追蹤控制區(qū)域進(jìn)行照相機(jī)控制并且諸如af和ae的控制被暫時終止的狀態(tài)。

這里，將詳細(xì)描述步驟sc314至步驟sc317。在追蹤繼續(xù)處理時，存在即使追蹤被攝體暫時無法被指定也可以再次被指定的可能。例如，可以聯(lián)想到過去正被追蹤的被攝體在一度位于框外后再次返回到框內(nèi)的情況或者另一被攝體在過去正被追蹤的被攝體前徑直穿過的情況?？紤]到這類情況，等待時間被設(shè)置為使得即使被攝體暫時無法被指定也可以再次被指定。該等待時間對應(yīng)于不可追蹤計數(shù)器，并且在步驟sc316中不發(fā)出不可追蹤信息直到不可追蹤計數(shù)器等于或大于預(yù)定次數(shù)為止。

然而，如果不能指定追蹤被攝體，則無法針對當(dāng)前設(shè)置的追蹤區(qū)域進(jìn)行af和ae控制。因此，在步驟sc317中暫時終止這類控制。以這種方式，即使暫時無法指定追蹤被攝體，當(dāng)追蹤被攝體再次出現(xiàn)時能夠繼續(xù)追蹤。

如上所述，當(dāng)要通過從遠(yuǎn)程控制終端20給出的追蹤命令進(jìn)行追蹤控制時，系統(tǒng)控制器14通過利用由遠(yuǎn)程控制終端20中的遠(yuǎn)程控制側(cè)追蹤圖像生成器211生成的追蹤圖像來進(jìn)行追蹤控制。追蹤圖像被存儲在遠(yuǎn)程控制側(cè)sdram244中并且從由遠(yuǎn)程控制側(cè)顯示控制器242顯示的圖像數(shù)據(jù)中提取。遠(yuǎn)程控制終端20通過遠(yuǎn)程控制側(cè)通信器241將追蹤圖像發(fā)送到照相機(jī)10，并且照相機(jī)10通過由追蹤信號處理器125和被攝體區(qū)域檢測器1126基于追蹤圖像指定追蹤區(qū)域來進(jìn)行追蹤控制。

在本實施例中，中心位于進(jìn)行追蹤命令的坐標(biāo)的追蹤圖像被作為當(dāng)給出追蹤命令時要從遠(yuǎn)程控制終端20發(fā)送到照相機(jī)10的信息來被發(fā)送。追蹤圖像包括作為色彩信息的直方圖以及亮度信息的直方圖的至少一者的特征(特征信息)。傳統(tǒng)上，被命令追蹤的坐標(biāo)自身從如圖6所示的遠(yuǎn)程控制終端被發(fā)送，并且存在由于通信時滯錯誤追蹤用戶想要追蹤的被攝體以外的被攝體的問題。作為選擇，存在鑒于上述問題用戶需要在通過將通信時滯考慮在內(nèi)的位置進(jìn)行追蹤命令。另一方面，在本實施例中，中心在進(jìn)行了追蹤命令的坐標(biāo)(位置信息)處的追蹤圖像如圖7所示被發(fā)送，并且通過進(jìn)行照相機(jī)側(cè)內(nèi)的圖案匹配來執(zhí)行追蹤被攝體區(qū)域。由此，不受通信時滯的影響，能夠精確地追蹤用戶想要追蹤的被攝體，而且用戶能夠進(jìn)行追蹤命令而不擔(dān)憂通信時滯。

<實施例2>

在下文中，將參照附圖描述本發(fā)明的實施例2。

裝置結(jié)構(gòu)的描述被省略，因為該結(jié)構(gòu)與實施例1中參照圖1描述的結(jié)構(gòu)類似。然而，本實施例中的遠(yuǎn)程控制側(cè)通信器241在當(dāng)通過遠(yuǎn)程控制側(cè)操作部22進(jìn)行追蹤命令時，除了發(fā)送由遠(yuǎn)程控制側(cè)追蹤圖像生成器211生成的追蹤圖像外，還發(fā)送針對圖像信號進(jìn)行追蹤命令的位置信息(坐標(biāo)信息)。在除了追蹤圖像外還發(fā)送追蹤圖像被指定的坐標(biāo)信息的這種系統(tǒng)中，當(dāng)通過遠(yuǎn)程控制終端20進(jìn)行追蹤控制命令時，能夠更精確地指定追蹤被攝體。以下將描述詳情。

關(guān)于本實施例中的具有圖1所示結(jié)構(gòu)的照相機(jī)10和遠(yuǎn)程控制終端20的操作，通過利用實施例1中的圖2a和圖2b以及圖5描述的處理被類似地應(yīng)用。因此，其描述被省略。

將參照圖8a、圖8b和圖9來詳細(xì)描述本實施例中的具有上述結(jié)構(gòu)的照相機(jī)10和遠(yuǎn)程控制終端20的操作。

圖8a是在實施例2中在圖2a的步驟sc007的遠(yuǎn)程控制期間照相機(jī)的控制的流程圖，圖8b是在實施例2中在圖2b的步驟sc007的遠(yuǎn)程控制期間遠(yuǎn)程控制終端的控制的流程圖。圖8a中的流程圖例示了遠(yuǎn)程控制期間照相機(jī)的控制，圖8b中的流程圖例示了遠(yuǎn)程控制期間遠(yuǎn)程控制終端的控制。

首先，將描述照相機(jī)中進(jìn)行的處理。從步驟sc401到步驟sc403的處理的描述被省略，因為它們類似于圖3a中的步驟sc101到步驟sc103的處理。在步驟sc404中，確定是否在遠(yuǎn)程控制終端20中進(jìn)行追蹤開始命令。如果確定進(jìn)行了追蹤開始命令，則處理進(jìn)行到步驟sc405，如果否，則處理進(jìn)行到步驟sc408。在圖3a的步驟sc104中，如果從遠(yuǎn)程控制終端20接收到追蹤圖像，則確定給出了追蹤開始命令。然而，在本實施例的步驟sc404中，還進(jìn)一步接收與追蹤圖像的中心坐標(biāo)對應(yīng)的信息。詳情將在以下描述遠(yuǎn)程控制側(cè)重的處理時被說明。從步驟sc405到步驟sc414的處理的描述被省略，因為它們類似于圖3a中的從步驟sc105到步驟sc114的處理。

接著，將描述遠(yuǎn)程控制終端中進(jìn)行的處理。從步驟sr401到步驟sr405的處理的描述被省略，因為它們類似于圖3b中的從步驟sr101到步驟sr105的處理。將描述在步驟sr404中通過用戶進(jìn)行追蹤開始命令并且基于進(jìn)行追蹤開始命令的坐標(biāo)信息從步驟sr405中正顯示的圖像信號提取追蹤圖像之后進(jìn)行的步驟sr406。在步驟sr406中，除了在步驟sr405中提取的追蹤圖像外，還進(jìn)一步發(fā)送進(jìn)行追蹤開始命令的圖像信號的坐標(biāo)信息。如上所述，在本實施例中，通過在要發(fā)送的信息中不僅包括追蹤圖像而且包括追蹤圖像被指定的坐標(biāo)信息，當(dāng)進(jìn)行以下將參照圖9描述的追蹤開始處理時能夠更精確地指定追蹤被攝體。從步驟sr407到步驟sr415的處理的描述被省略，因為它們類似于圖3b中的從步驟sr107到步驟sr115的處理。

接著，將通過利用圖9所示的流程圖來描述實施例2中的在圖8a的步驟sc405中進(jìn)行的追蹤開始處理。步驟sc501的描述被省略，因為其是與圖4的步驟sc201相同的處理。在提取在步驟sc501中接收的追蹤圖像的特征(特征信息)后，處理進(jìn)行到步驟sc502，在步驟sc502中，基于追蹤圖像被指定的坐標(biāo)信息來確定要進(jìn)行匹配的攝像信號的范圍中的中心位置并且處理進(jìn)行到步驟sc503。從步驟sc503到步驟sc513的處理的描述被省略，因為它們類似于圖4中從步驟sc202到步驟sc212的處理。

在追蹤開始處理中，如果在進(jìn)行圖案匹配時可以適當(dāng)?shù)卦O(shè)置用于進(jìn)行圖案匹配的范圍，則通過圖案匹配指定被攝體的可能性能夠被提高。關(guān)于用于進(jìn)行圖案匹配的范圍，考慮到想要追蹤的被攝體存在于遠(yuǎn)程控制終端中指定的位置附近，優(yōu)選將匹配范圍設(shè)置在中心為追蹤位置的位置。然而，在實施例1中，無法在照相機(jī)側(cè)識別在遠(yuǎn)程控制終端20中指定的位置信息。鑒于此，在如本實施例追蹤圖像被指定的坐標(biāo)信息被發(fā)送的系統(tǒng)中，在照相機(jī)側(cè)能夠識別用戶在遠(yuǎn)程控制終端中指定了圖像信號中的哪個位置。如果能夠在照相機(jī)側(cè)識別指定了圖像信號中的哪個位置，則匹配范圍的中心位置可以被設(shè)置到該指定位置。

以這種方式，通過遠(yuǎn)程控制側(cè)通信器241進(jìn)一步發(fā)送在遠(yuǎn)程控制終端20中的遠(yuǎn)程控制側(cè)操作部22中進(jìn)行了追蹤命令的位置信息，照相機(jī)10可以知道進(jìn)行追蹤命令的位置信息。通過知道該位置信息，照相機(jī)10可以大致估計用戶想要追蹤的被攝體存在于攝像信號中的哪個位置。通過照相機(jī)10基于位置信息設(shè)置圖案匹配范圍的中心位置，想要追蹤的被攝體存在于匹配范圍中的機(jī)會增加并且更加可能能夠指定追蹤被攝體。另外，因為避免在不太可能存在追蹤被攝體的范圍中進(jìn)行圖案匹配，所以誤追蹤能夠被限制。

<實施例3>

在下文中，將參照附圖來描述本發(fā)明的實施例3。

裝置結(jié)構(gòu)的描述被省略，因為該結(jié)構(gòu)類似于實施例1中參照圖1描述的結(jié)構(gòu)。在實施例1中，作為要被通信的信息，照相機(jī)10通過攝像側(cè)通信器169重復(fù)地發(fā)送攝像信號。遠(yuǎn)程控制終端20通過遠(yuǎn)程控制側(cè)通信器241發(fā)送當(dāng)通過遠(yuǎn)程控制側(cè)操作部22進(jìn)行追蹤命令時由遠(yuǎn)程控制側(cè)追蹤圖像生成器211生成的追蹤圖像。然而，本實施例中要被通信的信息不僅是上述信息。在本實施例中，系統(tǒng)控制器14具有的時間信息通過當(dāng)照相機(jī)10通過攝像側(cè)通信器169以重復(fù)方式發(fā)送攝像信號時被附加到攝像信號的方式也被發(fā)送。另外，遠(yuǎn)程控制終端20在通過遠(yuǎn)程控制側(cè)顯示控制器242在遠(yuǎn)程控制側(cè)顯示器243中的攝像信號的顯示完成時通過遠(yuǎn)程控制側(cè)通信器241將附加到顯示的攝像信號的時間信息發(fā)送回給照相機(jī)10。

以這種方式，在本實施例中的通信系統(tǒng)中，不僅僅當(dāng)在遠(yuǎn)程控制側(cè)操作部22中進(jìn)行追蹤命令時，而且在每次通過遠(yuǎn)程控制側(cè)顯示控制器242進(jìn)行攝像信號的顯示時，遠(yuǎn)程控制終端20發(fā)送信息。另外，關(guān)于通信的內(nèi)容，照相機(jī)10進(jìn)一步發(fā)送時間信息并且遠(yuǎn)程控制終端20將時間信息發(fā)送回給照相機(jī)10。當(dāng)照相機(jī)10從遠(yuǎn)程控制側(cè)通信器241接收到時間信息時，系統(tǒng)控制器(通信延遲時間測量部)14由照相機(jī)10中的當(dāng)前時間信息和接收的時間信息來計算照相機(jī)10與遠(yuǎn)程控制終端20之間的通信延遲時間。在本實施例中，當(dāng)在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令時，通過基于通信延遲時間信息改變照相機(jī)10中的圖案匹配范圍，能夠更容易地指定追蹤被攝體。

在本實施例中，與實施例2類似，通過遠(yuǎn)程控制側(cè)通信器241不僅發(fā)送當(dāng)在遠(yuǎn)程控制側(cè)操作部22中進(jìn)行追蹤命令時由遠(yuǎn)程控制側(cè)追蹤圖像生成器211生成的追蹤圖像，而且發(fā)送進(jìn)行追蹤命令的坐標(biāo)信息。

在本實施例中的如圖1所示構(gòu)造的照相機(jī)10和遠(yuǎn)程控制終端20的操作中，類似地進(jìn)行實施例1中參照圖2a和圖2b以及圖5描述的處理。因此，其描述被省略。

將參照圖10a、圖10b和圖11來詳細(xì)描述本實施例中的具有上述結(jié)構(gòu)的照相機(jī)10和遠(yuǎn)程控制終端20的操作。

圖10a是實施例3中的在圖2a中的步驟sc007的遠(yuǎn)程控制下照相機(jī)的控制的流程圖，圖10b是實施例3中的在圖2b中的步驟sr007的遠(yuǎn)程控制期間遠(yuǎn)程控制終端的控制的流程圖。圖10a中的流程圖例示了遠(yuǎn)程控制期間照相機(jī)的控制，圖10b中的流程圖例示了遠(yuǎn)程控制期間遠(yuǎn)程控制終端的控制。

首先，將描述照相機(jī)中進(jìn)行的處理。在步驟sc601中，圖像信號以及當(dāng)照相機(jī)10向遠(yuǎn)程控制終端20發(fā)送所述圖像信號時的時間(下文中，稱為照相機(jī)圖像發(fā)送時間)被發(fā)送到遠(yuǎn)程控制終端20。在本實施例中，除了圖像信號外，照相機(jī)圖像發(fā)送時間也被發(fā)送。

從步驟sc602到步驟sc603以及從步驟sc605到步驟sc614的處理的描述被省略，因為它們類似于圖3a中從步驟sc102到步驟sc103以及從步驟sc105到步驟sc114的處理。另外，步驟sc604的處理的描述被省略，因為其類似于圖8a中的步驟sc404的處理。在步驟sc615中，在步驟sc614中進(jìn)行通過照相機(jī)自身的照相機(jī)控制等后處理進(jìn)行到該步驟sc615，確定是否從遠(yuǎn)程控制終端20接收到照相機(jī)圖像發(fā)送時間。如果確定接收到照相機(jī)圖像發(fā)送時間，則處理進(jìn)行到步驟sc616，如果確定未接收到照相機(jī)圖像發(fā)送時間，則處理結(jié)束。在步驟sc616中，計算通信延遲時間并且處理結(jié)束。

接著，將描述遠(yuǎn)程控制終端中進(jìn)行的處理。在步驟sr601中，開始從照相機(jī)10的圖像信號的接收，并且照相機(jī)圖像發(fā)送時間也被接收，處理進(jìn)行到步驟sr602。從步驟sr602到步驟sr605以及從步驟sr607到步驟sr615的處理的描述被省略，因為它們類似于圖3b中的步驟sr102到步驟sr105以及從步驟sr107到步驟sr115的處理。另外，步驟sr606的處理的描述被省略，因為其類似于圖8b中的步驟sr406的處理。將描述在步驟sr623中完成在步驟sc601中開始的圖像信號的接收之后以及在步驟sr614中進(jìn)行圖像信號的顯示處理之后處理進(jìn)行到的步驟sr616。在步驟sr616中，在步驟sr601中接收的照相機(jī)圖像發(fā)送時間被按照原樣發(fā)送回給照相機(jī)并且處理結(jié)束。

在本實施例中，當(dāng)照相機(jī)在步驟sc601中以重復(fù)方式發(fā)送圖像信號時，表示發(fā)送時間的照相機(jī)圖像發(fā)送時間通過附加到圖像信號也被發(fā)送。作為響應(yīng)，每次圖像信號的接收完成并且在步驟sr614中進(jìn)行圖像信號的顯示時，遠(yuǎn)程控制終端20在步驟sr616中將照相機(jī)圖像發(fā)送時間發(fā)送回給照相機(jī)。在步驟sc616中，在照相機(jī)側(cè)由當(dāng)照相機(jī)圖像發(fā)送時間被接收時的時間與照相機(jī)圖像發(fā)送時間之間的差來計算通信延遲時間。通信延遲時間表示直到照相機(jī)10發(fā)送圖像并且遠(yuǎn)程控制終端20顯示圖像信號并完成針對照相機(jī)10的通信為止在照相機(jī)與遠(yuǎn)程控制終端之間來回的通信時間。根據(jù)通信電路的狀況，該通信延遲時間隨著時間而改變。在本實施例中，通過進(jìn)一步包括計算通信延遲時間的系統(tǒng)，能夠在追蹤開始處理(稍后在圖11的描述中說明)中容易地指定追蹤被攝體。

接著，將通過利用圖11的流程圖來描述實施例3中的在圖10a的步驟sc605中進(jìn)行的追蹤開始處理。步驟sc701以及從步驟sc705到步驟sc715的處理的描述被省略，因為它們類似于圖4中的步驟sc201以及從步驟sc202到步驟sc212的處理。另外，步驟sc702的處理的描述被省略，因為其類似于圖9中的步驟sc502的處理。將描述在步驟sc702中利用進(jìn)行追蹤命令的位置信息來進(jìn)行匹配位置的設(shè)置之后處理進(jìn)行到的步驟sc703。在步驟sc703中，確定在圖10的步驟sc616中計算的通信延遲時間是否等于或長于預(yù)定閾值。如果確定通信延遲時間等于或長于預(yù)定閾值，則處理進(jìn)行到步驟sc704，如果否，則處理進(jìn)行到步驟sc705。在步驟sc704中，當(dāng)前設(shè)置的匹配范圍被重設(shè)以使得更大并且處理進(jìn)行到步驟sc705。

通信延遲時間越長，則在遠(yuǎn)程控制終端20中指定被攝體后直到要在照相機(jī)中指定追蹤被攝體之前的時間越長。即，隨著通信延遲時間變得越長，想要追蹤的被攝體在攝像畫面內(nèi)存在的位置可能遠(yuǎn)離該被攝體被指定時的位置的可能性增加。如果追蹤被攝體的位置從該被攝體被指定時的位置移動的距離大到該被攝體不在圖案匹配范圍內(nèi)的程度，則該被攝體無法被指定并且追蹤變得不可能。鑒于此，在如本實施例的系統(tǒng)中可以識別通信延遲時間的系統(tǒng)中，當(dāng)確定通信延遲時間長時，圖案匹配范圍被重設(shè)為使得更大。以這種方式，即使通信延遲時間長并且追蹤被攝體的位置改變巨大，存在追蹤被攝體能被指定的巨大可能。在本實施例中，根據(jù)通信延遲時間是否大于閾值來放大匹配范圍。然而，可以控制為使得隨著通信時間變得更長來逐漸放大匹配范圍。如果通信延遲時間足夠短，則可以控制為使得縮小匹配范圍。

如上所述，本實施例除了包括照相機(jī)10以重復(fù)方式發(fā)送圖像信號并且遠(yuǎn)程控制終端20在通過遠(yuǎn)程控制側(cè)操作部22進(jìn)行追蹤命令時發(fā)送由遠(yuǎn)程控制側(cè)追蹤圖像生成器211生成的圖像的通信系統(tǒng)外，還包括上述通信系統(tǒng)。即，本實施例包括發(fā)送時間信息被附加到照相機(jī)10以重復(fù)方式發(fā)送的攝像信號并且遠(yuǎn)程控制終端20在每次通過遠(yuǎn)程控制側(cè)顯示控制器242進(jìn)行顯示時發(fā)送回該時間信息的通信系統(tǒng)。通過包括用于發(fā)送和接收時間信息的通信系統(tǒng)，照相機(jī)10與遠(yuǎn)程控制終端20之間的通信延遲時間能夠被識別。通過基于通信延遲時間改變圖案匹配范圍，即使通信延遲時間長，指定追蹤被攝體的可能性增加并且從遠(yuǎn)程控制終端20的追蹤控制能夠容易進(jìn)行。

雖然參照示例性實施例描述了本發(fā)明，但是應(yīng)當(dāng)理解，本發(fā)明并不限于所公開的示例性實施例。應(yīng)當(dāng)對所附權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)和功能。上述實施例的部分可以被任意組合。

<實施例1的變型例>

在下文中，將參照附圖來描述本發(fā)明的實施例1的變型例。

首先，將描述從遠(yuǎn)程控制終端20進(jìn)行被攝體追蹤命令時到攝像裝置進(jìn)行追蹤時的流程。在圖1中，如果通過遠(yuǎn)程控制側(cè)操作部22進(jìn)行了追蹤命令，則遠(yuǎn)程控制系統(tǒng)控制器21中的遠(yuǎn)程控制側(cè)追蹤圖像生成器211(生成器)生成進(jìn)行命令的坐標(biāo)信息(位置信息)。在該變型例中，遠(yuǎn)程控制側(cè)操作部22是觸摸屏，利用在遠(yuǎn)程控制側(cè)顯示器243中正顯示的圖像中觸摸的坐標(biāo)來生成坐標(biāo)信息。遠(yuǎn)程控制側(cè)操作部22可以不是觸摸屏，可以采用能夠通過操作鍵來設(shè)置追蹤被攝體區(qū)域的坐標(biāo)的系統(tǒng)。生成的坐標(biāo)信息根據(jù)來自遠(yuǎn)程控制側(cè)系統(tǒng)控制器21的命令由遠(yuǎn)程控制側(cè)通信器241發(fā)送到攝像側(cè)通信器169。在假設(shè)在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令的情況下系統(tǒng)控制器14將從攝像側(cè)通信器169接收的坐標(biāo)信息存儲在sdram166中并且還開始追蹤開始處理。

不難理解，sdram166存儲表示過去拍攝的圖像的圖像信號isi,isi+1,isi+2...(“過去圖像信號”)，存在共同表示相應(yīng)過去圖像ii,ii+1,ii+2...的這樣一組過去圖像信號isi,isi+1,isi+2...，例如一組每像素n個圖像信號。首先，系統(tǒng)控制器14(選擇器)從sdram166中存儲的過去圖像信號中，選擇從坐標(biāo)信息被接收時的時間追溯對應(yīng)于通信延遲時間的時長的存儲的過去圖像信號issel。這里選擇的追溯對應(yīng)于通信延遲時間的時長的過去圖像信號issel表示與當(dāng)在遠(yuǎn)程控制終端側(cè)選擇被攝體時顯示的圖像相同的過去圖像isel。系統(tǒng)控制器14將選擇的過去圖像信號輸入到追蹤圖像生成器141并生成具有中心對應(yīng)于接收的坐標(biāo)信息的預(yù)定區(qū)域的追蹤圖像。

接著，追蹤信號處理器125輸入生成的追蹤圖像并且如上所述由生成的追蹤圖像信號生成包括色彩信息的直方圖以及亮度信息的直方圖的特征(特征信息)。被攝體區(qū)域檢測器126基于生成的特征、對表示過去圖像isel+1(即，在圖像序列中由選擇的過去圖像信號issel表示的圖像isel的下一個圖像)的存儲的過去圖像信號issel+1進(jìn)行搜索處理以搜索追蹤被攝體，并且確定在過去圖像序列的下一個圖像issel+1中的預(yù)定區(qū)域中是否存在對應(yīng)于追蹤被攝體的被攝體。如果在預(yù)定區(qū)域中存在追蹤被攝體，則基于追蹤被攝體存在的位置坐標(biāo)來確定追蹤區(qū)域。

然而，當(dāng)要在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令時，在照相機(jī)側(cè)，這通常對應(yīng)于對其指定追蹤被攝體的過去圖像issel+1過去是多個圖像的狀態(tài)，因為存在很大的通信時滯。因此，在照相機(jī)側(cè)，需要對表示由選擇的過去圖像信號issel表示的圖像isel之后的下一個圖像isel+1(選擇的過去圖像isel與當(dāng)前圖像icurr之間的第一干涉圖像)的圖像信號issel+1進(jìn)行追蹤被攝體的第一指定處理，并且需要對直到當(dāng)前圖像icurr之前的圖像icurr-1的其他干涉圖像重復(fù)該處理。在系統(tǒng)控制器14中，當(dāng)針對表示第一干涉圖像的圖像信號issel+1指定了追蹤區(qū)域時，通過追蹤信號處理器125和被攝體區(qū)域檢測器126對表示其他干涉圖像的圖像信號issel+1,issel+1,...issel+1進(jìn)行用于指定追蹤被攝體的至少一個其他指定處理。通過重復(fù)如上所述的追蹤被攝體的指定，在考慮通信延遲時間存儲的過去圖像信號的序列中依次指定追蹤被攝體，并且最后，針對當(dāng)前圖像信號iscurr進(jìn)行追蹤被攝體的指定。然而，如果通信延遲時間極短，則可以基于選擇的過去圖像信號針對當(dāng)前圖像信號來進(jìn)行追蹤被攝體的指定，而無需按照過去圖像的序列依次指定追蹤被攝體。當(dāng)追蹤被攝體在當(dāng)前圖像信號中被指定時，其結(jié)果被發(fā)送到系統(tǒng)控制器14以進(jìn)行af和ae控制(進(jìn)行聚焦以及調(diào)節(jié)曝光)。

另外，在當(dāng)前圖像信號iscurr中指定的追蹤被攝體存在的位置坐標(biāo)被存儲在sdram166中，并且通過在下次以及之后檢測追蹤被攝體區(qū)域時利用該信息，用于進(jìn)行搜索處理以搜索追蹤被攝體的區(qū)域能夠被限制。每次被攝體存在的位置坐標(biāo)在追蹤被攝體區(qū)域被指定時更新，sdram166中存儲的位置坐標(biāo)也被更新。

通過上述過程，在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令并且在照相機(jī)中開始追蹤(圖15)。當(dāng)進(jìn)行追蹤時，其中進(jìn)行了追蹤命令的圖像與從追蹤位置提取了特征的圖像需要相同。這是因為，除非圖像相同，否則存在想要追蹤的被攝體不在進(jìn)行追蹤命令的位置的可能性。為了從與其中在遠(yuǎn)程控制終端20中進(jìn)行了追蹤命令的圖像相同的圖像中提取特征，照相機(jī)10測量照相機(jī)10與遠(yuǎn)程控制終端20之間的通信延遲時間并且預(yù)先存儲對應(yīng)于該通信延遲時間的時長的圖像信號。

此時，對應(yīng)通信延遲時間的時長的圖像信號要被存儲的理由在于，因為當(dāng)在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令時，在照相機(jī)10由于通信延遲接收到坐標(biāo)信息的時間，行進(jìn)了對應(yīng)通信延遲時間的時長的圖像在照相機(jī)10中被顯示。該通信延遲時間根據(jù)通信條件不時改變。因此，過去圖像被相應(yīng)地存儲。這里，可以存儲略長于通信延遲時間的時長的過去圖像。

當(dāng)在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令時，照相機(jī)10選擇從坐標(biāo)信息被接收的時間起追溯對應(yīng)通信延遲時間的時長的過去圖像，并且從中心位于該圖像的接收的坐標(biāo)信息的區(qū)域提取特征(特征信息)?；谠撎卣鳎眠^去圖像信號按照時間順序來依次進(jìn)行圖案匹配，最后，在當(dāng)前正被攝取的圖像信號中指定追蹤被攝體。即使在某個過去圖像中找到追蹤被攝體，存在在當(dāng)前正被攝取的圖像信號中被攝體與接收到的位置相距大的距離的可能性。

例如，在特征被提取的狀態(tài)下當(dāng)利用當(dāng)前圖像信號進(jìn)行圖案匹配時、想要追蹤的被攝體相距大的距離的情況下，存在如果圖案匹配區(qū)域小則無法找到被攝體的可能性。另外，存在如果圖案匹配區(qū)域大則錯誤識別追蹤被攝體的可能性。通過按時間順序來依次指定被攝體，能夠更精確地指定追蹤被攝體。在這種系統(tǒng)中，即使當(dāng)在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令時，能夠改善通信時滯的問題并且能夠精確地指定想要追蹤的被攝體。

在本變型例中，照相機(jī)10中存儲的過去圖像的刷新周期為攝取的圖像的各個。然而，為了削減sdram166中的存儲量，圖像可以被稀疏化以被存儲。該刷新周期需要被設(shè)置為使得當(dāng)按照時間順序指定被攝體時至少追蹤被攝體可以被確定。這可以基于要進(jìn)行被攝體指定的圖案匹配范圍以及要被追蹤的被攝體的最大移動距離來確定。另外，在本變型例中，基于通信延遲時間在存儲的過去圖像信號中指定在遠(yuǎn)程控制終端20中觸摸的圖像。然而，可以被處理為使得選擇具有與在遠(yuǎn)程控制終端20中觸摸的圖像相同幀信息的圖像。在刷新周期大的情況下，可能不存在通信延遲時間或幀信息匹配的過去圖像。在這種情況下，要選擇最接近的圖像。

接著，將詳細(xì)描述被攝體追蹤功能。這里，在照相機(jī)10中進(jìn)行追蹤命令的情況將被描述為示例。當(dāng)通過操作部134給出追蹤被攝體的追蹤命令時，追蹤圖像生成器141利用中心位于當(dāng)例如在觸摸屏的觸摸坐標(biāo)處進(jìn)行追蹤命令時的位置信息的預(yù)定范圍來生成追蹤圖像。該預(yù)定范圍需要為至少使得能夠生成不頻繁引起追蹤控制中的誤追蹤的特征(特征信息)的大小。預(yù)定范圍可以是固定范圍或者可以采用預(yù)定范圍可以根據(jù)用戶設(shè)置等改變的系統(tǒng)。針對生成的追蹤圖像，通過追蹤信號處理器125生成色彩信息的直方圖以及亮度信息的直方圖，并且這些直方圖為追蹤圖像的特征。在本變型例中，生成色彩及亮度的直方圖，然而，可以僅生成任意一者。

在被攝體區(qū)域檢測器126中，由當(dāng)前正被攝取的圖像信號生成具有與追蹤圖像大小類似大小的圖像作為追蹤候選圖像。與追蹤圖像類似地，針對追蹤候選圖像通過追蹤信號處理器125生成色彩和亮度的直方圖，并且這些直方圖為追蹤候選圖像的特征。被攝體區(qū)域檢測器126計算追蹤圖像的特征與追蹤候選圖像的特征之間的各色彩信息的差以及亮度信息的差，對計算出的值的總和進(jìn)行計算并存儲結(jié)果。同時，追蹤候選圖像的位置信息也被存儲。

另外，通過由當(dāng)前正被攝取的圖像信號順序生成追蹤候選圖像來進(jìn)行匹配，計算各追蹤候選圖像的特征中的要素與追蹤圖像的特征中的要素之間的差，并計算所述差的總和。特征中的要素之間的差的總和的最小值、以及對應(yīng)于該最小值的追蹤候選圖像的位置信息，以通過被利用來重寫預(yù)先存儲的信息的方式來被存儲。如果最后獲得的特征中的要素之間的差的總和小于預(yù)定值，則將對應(yīng)于該總和的追蹤候選圖像指定為追蹤被攝體，并且根據(jù)存儲的位置信息來將預(yù)定區(qū)域設(shè)置為追蹤區(qū)域。這里，與特征之間的差的總和相關(guān)的預(yù)定值，在基于允許追蹤想要的被攝體的比率以及允許不誤追蹤不想要的被攝體的比率來執(zhí)行追蹤操作的情況下被確定。因此，追蹤區(qū)域被確定并且追蹤開始。這里，當(dāng)在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令時，通常需要通過isel至icurr的過去圖像依次進(jìn)行圖案匹配。

接著，將描述追蹤繼續(xù)方法。關(guān)于用于繼續(xù)追蹤的信息，追蹤候選圖像以及追蹤區(qū)域被設(shè)置的位置信息被存儲在sdram166中。當(dāng)繼續(xù)追蹤時，如上所述通過被攝體區(qū)域檢測器126和追蹤信號處理器125基于每次進(jìn)行攝像時存儲在sdram166中的追蹤圖像來進(jìn)行攝像信號與追蹤圖像之間的匹配。

此時，基于存儲的追蹤區(qū)域被設(shè)置的位置信息，要進(jìn)行匹配的攝像信號的范圍被限制。通過在具有追蹤區(qū)域被設(shè)置為中心的位置的預(yù)定范圍內(nèi)進(jìn)行匹配，能夠避免由于進(jìn)行不必要范圍的匹配引起的誤追蹤，并且能夠縮短運算時間。通過設(shè)計在從追蹤繼續(xù)處理被進(jìn)行起直到下一追蹤繼續(xù)處理要被進(jìn)行為止的時間段中想要追蹤的被攝體在攝像畫面內(nèi)能夠移動的最大距離，要進(jìn)行匹配的預(yù)定范圍被設(shè)置到如果被攝體移動最大距離則能夠覆蓋被攝體的運動的范圍。如果該范圍大，則即使被攝體移動大的距離被攝體也可以被追蹤，但是可能頻繁發(fā)生誤追蹤。如果該范圍小，則如果被攝體移動大的距離則被攝體無法被追蹤，但是不頻繁發(fā)生誤追蹤。當(dāng)再次進(jìn)行匹配以繼續(xù)追蹤時，如上所述，如果最后獲得的特征中的要素之間的差的總和小于預(yù)定值，則確定對應(yīng)于最后獲得的總和的追蹤候選圖像為追蹤被攝體，并且根據(jù)追蹤候選圖像的位置信息利用預(yù)定區(qū)域來更新追蹤區(qū)域。

另外，利用此時更新的追蹤候選圖像的位置信息來重寫sdram166中存儲的位置信息。在下一追蹤繼續(xù)處理時，可以通過利用更新的位置信息設(shè)置適當(dāng)?shù)钠ヅ鋮^(qū)域。以這種方式，進(jìn)行追蹤的繼續(xù)。不需要每次攝像時都進(jìn)行追蹤繼續(xù)處理。例如，可以被控制為使得每預(yù)定攝像次數(shù)來進(jìn)行追蹤繼續(xù)處理。隨著追蹤繼續(xù)處理之間的攝像間隔變長，如果被攝體移動大的距離則該被攝體無法被追蹤。然而，處理時間能被削減。

這里，將描述追蹤的終止。如果當(dāng)追蹤正在進(jìn)行中時從操作部134或遠(yuǎn)程控制側(cè)操作部22給出追蹤終止命令，則系統(tǒng)控制器14終止追蹤并且返回到非追蹤操作。例如，當(dāng)追蹤終止時，針對追蹤區(qū)域設(shè)置的af區(qū)域返回到通常設(shè)置的af區(qū)域。類似地，如果當(dāng)追蹤正在進(jìn)行時經(jīng)過預(yù)定時間段不能指定想要追蹤的被攝體，則追蹤終止。如果不能指定追蹤被攝體期間的預(yù)定待機(jī)時間段長，則再次指定追蹤被攝體并且重新開始追蹤的可能性高，但是返回到通常狀態(tài)的處理要被延遲。如果不能指定追蹤被攝體期間的預(yù)定待機(jī)時間段短，則將發(fā)生上述情況的相反情況。

如上所述，進(jìn)行了開始、繼續(xù)以及終止被攝體的追蹤的處理。

接著，將參照圖12a和圖12b至圖15來描述根據(jù)本變型例的具有圖1所示的結(jié)構(gòu)的照相機(jī)10和遠(yuǎn)程控制終端20的操作。

本變型例中的在照相機(jī)10中的系統(tǒng)控制器14以及遠(yuǎn)程控制終端20中的遠(yuǎn)程控制側(cè)系統(tǒng)控制器21中進(jìn)行的一般遠(yuǎn)程控制處理的描述將被省略，因為它們類似于圖2a和圖2b中的上述流程圖。

接著，將通過利用圖12a和圖12b中的流程圖來描述在圖2a中的步驟sc007的遠(yuǎn)程控制期間的照相機(jī)控制以及在圖2b中的步驟sr007的遠(yuǎn)程控制期間的遠(yuǎn)程控制終端控制。

圖12a中的流程圖例示了遠(yuǎn)程控制期間的照相機(jī)的控制，圖12b中的流程圖例示了在遠(yuǎn)程控制期間的遠(yuǎn)程控制終端的控制。

首先，將描述照相機(jī)中進(jìn)行的處理。在步驟sc801中，圖像信號以及照相機(jī)10將所述圖像信號發(fā)送到遠(yuǎn)程控制終端20時的時間(下文中，稱為照相機(jī)圖像發(fā)送時間)被發(fā)送到遠(yuǎn)程控制終端20并且處理進(jìn)行到步驟sc802。照相機(jī)在不確認(rèn)在遠(yuǎn)程控制終端20對圖像信號的接收的情況下發(fā)送圖像信號。在步驟sc802，確定是否通過遠(yuǎn)程控制終端20改變了照相機(jī)設(shè)置。如果確定照相機(jī)設(shè)備被改變，則處理進(jìn)行到步驟sc803，如果確定照相機(jī)設(shè)備未改變，則處理進(jìn)行到步驟sc804。在步驟sc803中，通過遠(yuǎn)程控制終端20改變的照相機(jī)設(shè)置被反映在照相機(jī)10中并且處理進(jìn)行到步驟sc804。

例如，如果記錄圖像質(zhì)量在遠(yuǎn)程控制終端中被改變，則在步驟sc803中記錄圖像質(zhì)量的改變后的設(shè)置被反映在照相機(jī)中。在步驟sc804中，確定是否通過遠(yuǎn)程控制終端20給出了追蹤開始命令。如果確定給出了追蹤開始命令，則處理進(jìn)行到步驟sc805，如果未給出，則處理進(jìn)行到步驟sc808。在本變型例中，當(dāng)從遠(yuǎn)程控制終端20接收到追蹤被攝體位置信息(追蹤被攝體坐標(biāo)信息)時，假設(shè)給出了追蹤開始命令。

在步驟sc805中，基于接收的追蹤被攝體位置信息來進(jìn)行追蹤開始處理并且處理進(jìn)行到步驟sc806。將在以下在圖13的描述中說明步驟sc805的處理的詳情。在步驟sc806中，確定在步驟sc805中追蹤是否成功。如果確定在步驟sc805中追蹤不成功，則處理進(jìn)行到步驟sc807，如果確定追蹤成功，則處理進(jìn)行到步驟sc812并且切換至除追蹤處理外的另一處理。

在步驟sc807中，在假設(shè)追蹤不成功的情況下，不可追蹤信息被發(fā)送到遠(yuǎn)程控制終端20?；谠诓襟Esc805中發(fā)出的用1比特表示追蹤的成功/不成功的不可追蹤信息，來確定追蹤是否成功。接著，在步驟sc808中，該步驟sc808為如果確定在步驟sc804中未給出追蹤開始命令則處理進(jìn)行到的步驟，確定追蹤當(dāng)前是否正在進(jìn)行。如果確定追蹤正在進(jìn)行，則處理進(jìn)行到步驟sc809。如果否，則處理進(jìn)行到步驟sc812并且切換至除追蹤處理外的另一處理。當(dāng)追蹤當(dāng)前正被進(jìn)行時處理進(jìn)行到步驟sc809，在步驟sc809中，進(jìn)行追蹤繼續(xù)處理并且處理進(jìn)行到步驟sc810。追蹤繼續(xù)處理的詳情將被省略，因為它們類似于圖5中的流程圖。在步驟sc810中，確定在步驟sc809中是否存在不可追蹤信息或者是否從遠(yuǎn)程控制終端20命令了追蹤停止。如果以上的任意一者應(yīng)用，則處理進(jìn)行到步驟sc811。如果否，則處理進(jìn)行到步驟sc812并且切換至除追蹤處理外的另一處理。

在步驟sc811中，進(jìn)行追蹤終止處理，然后，處理進(jìn)行到步驟sc812并且切換至除追蹤處理外的另一處理。如果無法繼續(xù)追蹤，即無法指定追蹤被攝體，或者如果用戶停止追蹤，則追蹤被終止并且照相機(jī)返回到通常攝像狀態(tài)。在本變型例中，通常攝像狀態(tài)是用于調(diào)節(jié)af和ae的框被設(shè)置在畫面中心并且不在追蹤區(qū)域的狀態(tài)。通常攝像狀態(tài)不限于該變型例的結(jié)構(gòu)并且可以采用其他結(jié)構(gòu)，只要其為不進(jìn)行追蹤的狀態(tài)即可。

接著，在進(jìn)行與追蹤相關(guān)的處理后處理進(jìn)行到步驟sc812，在步驟sc812中，確定是否命令了通過遠(yuǎn)程控制終端20的照相機(jī)控制。如果確定命令了通過遠(yuǎn)程控制終端20的照相機(jī)控制，則處理進(jìn)行到步驟sc813，如果否，則處理進(jìn)行到步驟sc814。在步驟sc813中，根據(jù)來自遠(yuǎn)程控制終端20的照相機(jī)控制命令來控制照相機(jī)并且處理進(jìn)行到步驟sc814。作為在步驟sc812和步驟sc813中進(jìn)行的處理的示例，如果遠(yuǎn)程控制終端20命令進(jìn)行變焦，則根據(jù)變焦命令進(jìn)行變焦。在步驟sc814中，通過照相機(jī)自身進(jìn)行照相機(jī)設(shè)置和控制并且處理進(jìn)行到步驟sc815。在步驟sc814中，接受通過操作照相機(jī)自身進(jìn)行的照相機(jī)設(shè)置中的改變以及照相機(jī)控制命令，并且根據(jù)它們來控制照相機(jī)10。

此時還進(jìn)行無需遵照用戶命令進(jìn)行的諸如af的照相機(jī)控制。這里，詳情被省略。在步驟sc815中，確定是否從遠(yuǎn)程控制終端20接收到了照相機(jī)圖像發(fā)送時間。如果確定接收到了照相機(jī)圖像發(fā)送時間，則處理進(jìn)行到步驟sc816，如果確定未接收到照相機(jī)圖像發(fā)送時間，則處理結(jié)束。在步驟sc816中，計算通信延遲時間并且處理結(jié)束。

接著，將描述在遠(yuǎn)程控制終端中進(jìn)行的處理。在步驟sr801中，開始從照相機(jī)10的圖像信號的接收并且還接收照相機(jī)圖像發(fā)送時間，處理進(jìn)行到步驟sr802。雖然在后述的步驟sr814中進(jìn)行接收的圖像信號的顯示，但是在假設(shè)圖像信號在前一遠(yuǎn)程控制期間在遠(yuǎn)程控制終端的控制下在步驟sr814中已經(jīng)被顯示的情況下來描述下文描述的從步驟sr802到步驟sr813的處理。在步驟sr802中，確定是否通過遠(yuǎn)程控制終端20中的用戶命令了照相機(jī)設(shè)置的改變。如果確定命令了設(shè)置改變，則處理進(jìn)行到步驟sr803，如果否，則處理進(jìn)行到步驟sr804。

在步驟sr803中，照相機(jī)設(shè)置的改變信息被發(fā)送到照相機(jī)10。接著，在步驟sr804中，確定是否在遠(yuǎn)程控制終端20中命令了追蹤開始。如果確定命令了追蹤開始，則處理進(jìn)行到步驟sr805，如果否，則處理進(jìn)行到步驟sr809。在本變型例中，在遠(yuǎn)程控制終端20中顯示圖像信號并且同時，如果在可以進(jìn)行觸摸操作的觸摸屏上觸摸了被攝體，則命令追蹤開始。

在步驟sr805中，利用用戶觸摸的坐標(biāo)來生成追蹤被攝體位置信息并且處理進(jìn)行到步驟sr806。在步驟sr806中，追蹤被攝體位置信息被發(fā)送到照相機(jī)10并且處理進(jìn)行到步驟sr807。

接著，在步驟sr807中，確定是否接收到由于作為在照相機(jī)側(cè)在步驟sc805中進(jìn)行的追蹤開始處理的結(jié)果圖案匹配失敗而引起追蹤不成功時從照相機(jī)10發(fā)送的不可追蹤信息。如果確定接收到不可追蹤信息，則處理進(jìn)行到步驟sr808，如果否，則處理進(jìn)行到步驟sr809。

在步驟sr808中，為了向用戶通知在照相機(jī)側(cè)追蹤不成功，顯示追蹤不成功的指示并且處理進(jìn)行到步驟sr809。通過顯示追蹤不成功的指示，用戶可以被促使再次進(jìn)行追蹤命令。在步驟sr809中，確定是否通過遠(yuǎn)程控制終端20命令了追蹤終止。如果確定命令了追蹤終止，則處理進(jìn)行到步驟sr810，如果否，則處理進(jìn)行到步驟sr811。追蹤終止命令是當(dāng)追蹤當(dāng)前正被進(jìn)行時用戶希望終止追蹤時進(jìn)行的操作。通過用戶觸摸遠(yuǎn)程控制終端20中顯示的追蹤停止圖標(biāo)，進(jìn)行追蹤終止命令。

在步驟sr810中，追蹤終止命令被發(fā)送到照相機(jī)10并且處理進(jìn)行到步驟sr811。在步驟sr811中，確定是否命令了通過遠(yuǎn)程控制終端20的照相機(jī)控制。如果確定命令了通過遠(yuǎn)程控制終端20的照相機(jī)控制，則處理進(jìn)行到步驟sr812，如果否，則處理進(jìn)行到步驟sr813。在步驟sr812中，關(guān)于在遠(yuǎn)程控制終端20中進(jìn)行的照相機(jī)控制的信息被發(fā)送到照相機(jī)并且處理進(jìn)行到步驟sr813。例如，如果通過遠(yuǎn)程控制終端20進(jìn)行變焦，則使得進(jìn)行變焦的控制信息被發(fā)送到照相機(jī)10。在步驟sr813中，確定是否完成了在步驟sr801中開始接收的圖像信號的接收。如果確定接收完成，則處理進(jìn)行到步驟sr814，如果確定接收未完成，則處理進(jìn)行到步驟sr815。

在步驟sr814中，進(jìn)行完成接收的圖像信號的顯示處理并且處理進(jìn)行到步驟sc816。在步驟sr816中，在步驟sr801中接收的照相機(jī)圖像發(fā)送時間被按照原樣發(fā)送回給照相機(jī)并且處理結(jié)束。在步驟sr815中，從步驟sr802至步驟sr812針對照相機(jī)10進(jìn)行的各種命令信息被初始化(處于不存在命令的狀態(tài))，并且處理返回到步驟sr802以從步驟sr802再次進(jìn)行處理。雖然每次在照相機(jī)側(cè)進(jìn)行攝像時圖像信號被發(fā)送到遠(yuǎn)程控制終端20，但是遠(yuǎn)程控制終端20可以不是必須顯示全部圖像信號，圖像信號是否被顯示取決于遠(yuǎn)程控制終端20的處理能力以及電路狀況。隨著遠(yuǎn)程控制終端20的處理能力變低，圖像信號以相對照相機(jī)中的顯示周期更被延遲的周期來被顯示。即使在步驟sr801中開始接收的圖像信號繼續(xù)被接收時，可以在遠(yuǎn)程控制終端20中進(jìn)行照相機(jī)設(shè)置的改變、照相機(jī)控制的進(jìn)行、以及針對當(dāng)前正被顯示的圖像的追蹤開始命令。

即，在步驟sr813中完成接收之前，可以經(jīng)由步驟sr815的處理進(jìn)行從步驟sr802到步驟sr812的處理。當(dāng)圖像信號的接收完成時，在步驟sr814中在遠(yuǎn)程控制終端20中顯示圖像信號，并且在進(jìn)行下一遠(yuǎn)程控制期間的遠(yuǎn)程控制終端的控制之后在步驟sr801中再次開始圖像信號的接收。當(dāng)圖像信號正再次被接收時，針對當(dāng)前正被顯示的圖像信號的各種處理的命令被接受。在步驟sr801中對圖像信號的接收的開始階段，諸如剛好在遠(yuǎn)程控制開始之后并且尚未顯示圖像信號時，步驟sr802、步驟sr804、步驟sr807、步驟sr809以及步驟sr811的處理全部被確定為否。以這種方式，各個步驟被跳過，而不接受各種控制命令。在步驟sr814中首次顯示圖像信號后，接受從步驟sr802至步驟sr812的各種控制命令。

在本變型例中，當(dāng)照相機(jī)在步驟sc801中以重復(fù)方式發(fā)送圖像信號時，表示發(fā)送時間的照相機(jī)圖像發(fā)送時間通過附加到圖像信號也被發(fā)送。作為響應(yīng)，每次圖像信號的接收完成并且在步驟sr814中進(jìn)行圖像信號的顯示時，遠(yuǎn)程控制終端20在步驟sr816中將照相機(jī)圖像發(fā)送時間發(fā)送回給照相機(jī)。在步驟sc816中，在照相機(jī)側(cè)由當(dāng)照相機(jī)圖像發(fā)送時間被接收時的時間與照相機(jī)圖像發(fā)送時間之間的差來計算通信延遲時間。通信延遲時間表示直到照相機(jī)10發(fā)送圖像并且遠(yuǎn)程控制終端20顯示圖像信號并完成針對照相機(jī)10的通信為止在照相機(jī)與遠(yuǎn)程控制終端之間來回的通信時間。根據(jù)通信電路的狀況，該通信延遲時間隨著時間而改變。

如在圖15的說明中所描述，為了進(jìn)行被攝體的追蹤命令，需要在與其中用戶進(jìn)行了被攝體追蹤命令的圖像相同的圖像中并且在與追蹤命令被進(jìn)行的坐標(biāo)相同的坐標(biāo)處指定被攝體。當(dāng)在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令時，繼遠(yuǎn)程控制終端20中顯示的圖像之后而來的圖像已經(jīng)被顯示在照相機(jī)中。因此，過去圖像被存儲在照相機(jī)中，從而針對與其中在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令的圖像相同的圖像進(jìn)行追蹤命令。為了存儲其中在遠(yuǎn)程控制終端20中進(jìn)行了追蹤命令的圖像，對應(yīng)于至少上述通信延遲時間(照相機(jī)與遠(yuǎn)程控制終端之間來回的通信時間)的時長的圖像需要被存儲。在照相機(jī)10中，過去圖像總是以這種方式被存儲。當(dāng)在步驟sr804中進(jìn)行追蹤開始命令時，基于在上述步驟sr806中通信的被攝體位置信息以及當(dāng)追蹤開始命令被給出時在步驟sc816中計算的通信延遲時間來在步驟sc805中進(jìn)行追蹤開始處理。

接著，將通過利用圖13的流程圖來描述圖12a中的步驟sc805的追蹤開始處理。

在步驟sc901中，在存儲的過去圖像中，與用戶在遠(yuǎn)程控制終端對其指定目標(biāo)被攝體的顯示圖像相同的圖像isel被選擇作為要從中提取特征(特征信息)的圖像，并且處理進(jìn)行到步驟sc902。要提取的特征如上所述包括色彩信息的直方圖以及亮度信息的直方圖。在本變型例中，基于用戶在遠(yuǎn)程控制終端對其指定目標(biāo)被攝體的顯示圖像的時間信息來選擇過去圖像。然而，作為另選方案，可以選擇如下系統(tǒng)：在該系統(tǒng)中，與過去圖像一起存儲過去圖像的幀信息，并且存儲的過去圖像的幀信息與用戶在遠(yuǎn)程控制終端對其指定目標(biāo)被攝體的顯示圖像相匹配。在步驟sc902中，針對在步驟sc901中選擇的圖像，從中心位于從遠(yuǎn)程控制終端20接收的被攝體位置信息的預(yù)定區(qū)域提取特征并且處理進(jìn)行到步驟sc903。順便提及，選擇的存儲的過去圖像不需要與顯示的圖像完全相同，只要這兩個圖像充分對應(yīng)，使得能夠使用從遠(yuǎn)程控制終端20接收的被攝體位置信息、基于從選擇的存儲的過去圖像中提取的區(qū)域進(jìn)行圖案匹配即可。例如，選擇的存儲的過去圖像與顯示的圖像可以具有相同的時間信息或幀信息，而具有不同的分辨率和質(zhì)量。

在步驟sc903中，在存儲的過去圖像中，使用作為選擇圖像isel的下一個圖像的圖像isel+1，并且處理進(jìn)行到步驟sc904。在步驟sc904中，基于在步驟sc902中提取的特征以及在步驟sc903中使用的圖像isel+1來進(jìn)行圖案匹配，并且處理進(jìn)行到步驟sc905。稍后將下圖14的說明中描述步驟sc904的詳情。

在步驟sc905中，確定是否在步驟sc904中發(fā)出了不可追蹤信息。如果確定未發(fā)出不可追蹤信息，則處理進(jìn)行到步驟sc906，如果確定發(fā)出了不可追蹤信息，則確定無法進(jìn)行追蹤并且處理結(jié)束。在步驟sc906中，確定是否針對在當(dāng)前時間正被攝取的當(dāng)前圖像icurr進(jìn)行圖案匹配。如果確定針對當(dāng)前圖像icurr進(jìn)行了圖案匹配，則處理進(jìn)行到步驟sc907，如果確定尚未針對當(dāng)前圖像icurr進(jìn)行圖案匹配，則處理返回到步驟sc903。如以上在圖15的說明中所述，通過重復(fù)從步驟sc903到步驟sc906的處理，在存儲的過去圖像中依次指定追蹤被攝體存在的區(qū)域(第二追蹤區(qū)域)。然后，最終，針對在當(dāng)前時間正被攝取的當(dāng)前圖像icurr進(jìn)行圖案匹配并且其中存在追蹤被攝體的區(qū)域(第一追蹤區(qū)域)被指定。由此，即使追蹤被攝體的移動距離大，也可以在當(dāng)前正被攝取的圖像中指定追蹤被攝體。

接著，在當(dāng)在步驟sc906中針對當(dāng)前正被攝取的當(dāng)前圖像icurr進(jìn)行了圖案匹配時處理進(jìn)行到的步驟sc907中，追蹤區(qū)域被設(shè)置到中心位于最后存儲的位置信息的區(qū)域并且處理進(jìn)行到步驟sc908。最后存儲的位置信息對應(yīng)于在當(dāng)前正被攝取的圖像中找到想要追蹤的被攝體的位置。針對該追蹤區(qū)域，照相機(jī)10進(jìn)行圖12a的步驟sc814中的af和ae處理。在步驟sc908中，作為用于繼續(xù)追蹤的信息，在步驟sc902中從中提取特征的追蹤圖像以及在步驟sc907中利用來設(shè)置追蹤區(qū)域的位置信息被存儲并且處理結(jié)束。基于這些信息，在圖12a的步驟sc809中進(jìn)行追蹤繼續(xù)處理。

如上所述，由于通信延遲時間，在過去圖像中指定其中通過遠(yuǎn)程控制終端20進(jìn)行追蹤命令的圖像并且基于從遠(yuǎn)程控制終端20接收的追蹤被攝體的位置信息來提取追蹤被攝體的特征。另外，通過基于該特征從指定的過去圖像按照時間順序針對圖像進(jìn)行圖案匹配，在當(dāng)前正被攝取的圖像中指定追蹤被攝體。通過在照相機(jī)中存儲對應(yīng)通信延遲時間的時長的過去圖像、指定與在遠(yuǎn)程控制終端20中進(jìn)行了追蹤命令的圖像相同的圖像并基于位置信息提取特征，能夠避免由于通信時滯而誤追蹤被攝體并且能夠更精確地指定追蹤被攝體。通過照相機(jī)10針對追蹤區(qū)域進(jìn)行諸如af和ae的控制，能夠針對用戶希望追蹤的被攝體容易地設(shè)置優(yōu)選聚焦和曝光。

接著，將通過利用圖14的流程圖來描述圖13中的步驟sc904的圖案匹配處理。在步驟sc1001中，針對在步驟sc903中選擇的圖像設(shè)置圖案匹配范圍并且處理進(jìn)行到步驟sc1002。在前一圖案匹配處理中設(shè)置的、中心位于在前述的步驟sc1006中最后存儲的位置信息的范圍被設(shè)置。該位置信息為想要追蹤的被攝體被期望存在的位置。如果這是第一圖案匹配處理，則從遠(yuǎn)程控制終端20接收的當(dāng)在圖13中的步驟sc902中計算特征時使用的位置信息被參照。在步驟sc1002中，從圖案匹配區(qū)域的部分區(qū)域中提取特征并且處理進(jìn)行到步驟sc1003。

在步驟sc1002中要從中提取特征的區(qū)域的大小類似于在圖13的步驟sc902中從中提取特征的區(qū)域的大小。另外，每次處理通過后述的步驟sc1008返回到步驟sc1002時，通過在圖像信號中的預(yù)定范圍內(nèi)按順序改變提取圖像信號的位置來進(jìn)行與圖像信號的匹配。這里，用于進(jìn)行匹配的范圍越大，找到追蹤被攝體的可能性越高，但是誤追蹤的可能性也變高。關(guān)于提取位置的改變方法，針對各行改變提取位置，并且當(dāng)一行的提取完成時，然后針對下一列的行進(jìn)行提取。當(dāng)然，也可以以列為優(yōu)先進(jìn)行提取。關(guān)于提取范圍，提取圖像可以交疊或者可以不交疊，這可以根據(jù)追蹤精度來確定。如果提取圖像要交疊，例如，在每次偏移1像素來生成提取圖像的情況下，因為精確地進(jìn)行匹配，所以追蹤精度提高。

另一方面，例如，如果在與追蹤圖像鄰接的范圍設(shè)置另一追蹤圖像使得追蹤圖像不交疊，則匹配的計算量被削減，但是追蹤精度也被降低。接著，在步驟sc1003中，計算在步驟圖13的步驟sc902中提取的特征與步驟sc1002中提取的特征之間的差并且處理進(jìn)行到步驟sc1004。在步驟sc1004中，確定在步驟sc1003中計算的特征之間的差是否小于當(dāng)前存儲的差值。如果確定計算的差值小于當(dāng)前存儲的差值，則處理進(jìn)行到步驟sc1005，如果否，則處理進(jìn)行到步驟sc1007。以這種方式，獲得想要追蹤的被攝體的特征與圖案匹配目標(biāo)圖像的特征之間的差，這里，差越小，則匹配越好。

因此，在步驟sc1004中確定特征之間的差是否目前最小，并且最小值通過后述處理被存儲。如果在步驟sc1004中尚未保持特征之間的差，則處理不可避免地進(jìn)行到步驟sc1005。在步驟sc1005中，計算出的特征之間的差的最小值被存儲并且處理進(jìn)行到步驟sc1006。

在步驟sc1006中，在步驟sc1002中從中提取特征的區(qū)域的中心位置坐標(biāo)被存儲并且處理進(jìn)行到步驟sc1007。該中心位置信息是針對當(dāng)前執(zhí)行圖案匹配所利用的圖像信號獲得最佳匹配的位置信息，最終，追蹤被攝體被期望存在的位置信息被存儲。該位置信息用于在下一圖案匹配處理中在步驟sc1001中設(shè)置圖案匹配范圍。作為選擇，如果選擇的被利用來進(jìn)行圖案匹配的圖像是照相機(jī)當(dāng)前正攝取的圖像，則位置信息用于設(shè)置追蹤區(qū)域。盡管在本變型例中使用中心位置坐標(biāo)，但是無須說，例如，可以使用區(qū)域的左上的坐標(biāo)而不是中心位置。

接著，在步驟sc1007中，確定在步驟sc1005中存儲的特征之間的差的最小值是否大于預(yù)定值以及用于進(jìn)行圖案匹配的時間是否結(jié)束。如果確定存儲的特征之間的最小差值小于預(yù)定值或如果確定時間尚未結(jié)束，則處理進(jìn)行到步驟sc1008。如果確定存儲的特征之間的最小差值大于預(yù)定值以及時間結(jié)束，則處理進(jìn)行到步驟sc1010。在甚至花長時間來進(jìn)行圖案匹配也不出現(xiàn)具有特征之間的小值的圖案的情況下，想要追蹤的被攝體不在用于進(jìn)行匹配的范圍內(nèi)的可能性高。因此，針對圖案匹配設(shè)置時限，并且進(jìn)行如果特征之間的最小差值大于預(yù)定值并且如果經(jīng)過時限則終止匹配的處理。這種時限可以根據(jù)存儲的特征之間的最小差值改變，并且可以設(shè)置為最小值越大，則時限結(jié)束越快。

接著，在步驟sc1008中，確定是否針對全部的匹配區(qū)域進(jìn)行了在步驟sc1002中進(jìn)行的特征的提取。如果確定針對全部的匹配區(qū)域進(jìn)行了特征的提取，則處理進(jìn)行到步驟sc1009。如果確定未針對全部的匹配區(qū)域進(jìn)行特征的提取，則處理返回到步驟sc1002并且針對當(dāng)前選擇的圖像信號繼續(xù)從步驟sc1002到步驟sc1007的圖案匹配處理。在步驟sc1009中，圖案匹配結(jié)束并且確定最后存儲的特征之間的最小差值是否小于預(yù)定值。如果確定最小差值小于預(yù)定值，則處理結(jié)束，如果否，則處理進(jìn)行到步驟sc1010。如果特征之間的最小差值小于預(yù)定值，則在假設(shè)追蹤被攝體被找到的情況下，繼續(xù)圖13的追蹤開始處理。

在當(dāng)特征之間的最小差值大于預(yù)定值以及用于進(jìn)行匹配的時間結(jié)束時處理進(jìn)行到的步驟sc1010中，假設(shè)追蹤被攝體未被指定并且不可追蹤信息被發(fā)出，之后，處理結(jié)束。當(dāng)在圖13的步驟sc905中發(fā)出用于取消追蹤開始處理的不可追蹤信息時，在圖12a的步驟sc807中向遠(yuǎn)程控制終端20發(fā)送追蹤被攝體未被指定的指示。

如上所述，針對選擇的過去圖像進(jìn)行圖案匹配并且獲得追蹤被攝體被期望存在的位置信息。通過按照圖像序列來依次針對過去圖像進(jìn)行圖案匹配，獲得追蹤被攝體在當(dāng)前正被攝取的圖像中存在的位置信息。

在下文中進(jìn)行的圖12a中的步驟sc809的追蹤繼續(xù)處理的描述被省略，因為其類似于如上所述的圖5的流程圖。

如上所述，照相機(jī)不僅向遠(yuǎn)程控制終端20發(fā)送攝取的圖像信號而且發(fā)送圖像信號的發(fā)送時間信息，并且每次圖像信號被顯示時、遠(yuǎn)程控制終端20將該發(fā)送時間信息按照原樣發(fā)送回給照相機(jī)。照相機(jī)10一直由在從遠(yuǎn)程控制終端20接收到發(fā)送時間信息時的時間信息與接收的發(fā)送時間信息之間的差來測量通信延遲時間，并且照相機(jī)10將攝取的對應(yīng)于至少通信延遲時間的時長的圖像信號存儲在sdram166中。當(dāng)利用來自遠(yuǎn)程控制終端20的追蹤命令進(jìn)行追蹤控制時，系統(tǒng)控制器14接收由遠(yuǎn)程控制側(cè)系統(tǒng)控制器21生成的、被利用來進(jìn)行追蹤命令的坐標(biāo)信息。通過考慮通信延遲時間(從發(fā)送表示圖像的圖像信號到接收當(dāng)該圖像顯示在遠(yuǎn)程控制終端處時由用戶指定的坐標(biāo)信息的延遲)、并在至少等于延遲時間的存儲時間段內(nèi)存儲過去圖像，系統(tǒng)控制器14能夠在sdram166中存儲的過去圖像中選擇在遠(yuǎn)程控制終端20中進(jìn)行追蹤命令時在遠(yuǎn)程控制側(cè)顯示器243中顯示的圖像。

另外，追蹤圖像生成器141利用選擇的圖像中的中心位于接收的坐標(biāo)信息的預(yù)定區(qū)域來生成追蹤被攝體的圖像(追蹤圖像)。系統(tǒng)控制器14通過基于追蹤被攝體的圖像在當(dāng)前正被追蹤信號處理器125和被攝體區(qū)域檢測器126攝取的圖像信號中指定追蹤被攝體來進(jìn)行追蹤控制。為了在當(dāng)前正被攝取的圖像信號中指定追蹤被攝體，從被利用來生成追蹤被攝體的圖像的過去圖像信號開始按照時間順序來依次在存儲的過去圖像與追蹤被攝體的圖像之間進(jìn)行圖案匹配。

在本變型例中，不僅利用追蹤被攝體的位置信息而且還通過將通信延遲時間考慮在內(nèi)指定追蹤被攝體，來通過遠(yuǎn)程控制終端20進(jìn)行追蹤命令。由此，諸如由于通信延遲的影響誤追蹤用戶希望追蹤的被攝體以外的被攝體以及用戶需要針對通過將通信時滯考慮在內(nèi)估計的位置進(jìn)行追蹤命令的問題被改善。結(jié)果是，與通信延遲無關(guān)地，能夠更精確地追蹤用戶想要追蹤的被攝體并且無需用戶擔(dān)憂通信延遲而能夠進(jìn)行追蹤命令。

因此，根據(jù)本發(fā)明，由用戶遠(yuǎn)程指定的被攝體能夠不顧通信時滯而被更精確地追蹤。

雖然參照示例性實施例對本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明并不限于所公開的示例性實施例。應(yīng)當(dāng)對所附權(quán)利要求的范圍給予最寬的解釋，以使其涵蓋所有這些變型例以及等同的結(jié)構(gòu)和功能。

(其他實施例)

本發(fā)明的目的還可以按照如下描述來實現(xiàn)。即，其中存儲有描述用于實現(xiàn)上述實施例的功能的過程的軟件的程序代碼的非暫時性計算機(jī)可讀存儲介質(zhì)(存儲介質(zhì))要被提供給攝像裝置或遠(yuǎn)程控制終端。然后，攝像裝置或遠(yuǎn)程控制終端的計算機(jī)(或cpu、mpu等)讀取存儲介質(zhì)中存儲的程序代碼并執(zhí)行該程序代碼。

在這種情況下，從存儲介質(zhì)讀取的程序代碼自身實現(xiàn)了本發(fā)明的新功能，并且其中存儲有該程序代碼的存儲介質(zhì)以及程序構(gòu)成了本發(fā)明。

關(guān)于用于提供程序代碼的存儲介質(zhì)，例如，建議軟盤、硬盤、光盤、磁光盤等。另外，還可以使用cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd-r、電磁磁帶、非易失性存儲卡、rom等。

可以執(zhí)行實現(xiàn)本發(fā)明的程序，該程序可以存儲在除了存儲器或記錄介質(zhì)以外的載體介質(zhì)中。例如，載體介質(zhì)可以是諸如信號的發(fā)送介質(zhì)。在這種情況下，可以通過網(wǎng)絡(luò)以信號形式的發(fā)送(下載或上傳)來提供程序。網(wǎng)絡(luò)可以是互聯(lián)網(wǎng)。特別地，實現(xiàn)本發(fā)明的程序可以是從諸如itunes(蘋果公司的注冊商標(biāo))或googleplay的app(應(yīng)用程序)商店下載的app。

另外，通過允許計算機(jī)讀取的程序代碼被執(zhí)行，實現(xiàn)上述實施例的功能。而且，本發(fā)明包括通過計算機(jī)上運行的os(操作系統(tǒng))例如基于通過程序代碼給出的命令進(jìn)行部分或全部實際處理并且通過這種處理來實現(xiàn)上述實施例的功能的情況。

另外，本發(fā)明包括以下情況。首先從存儲介質(zhì)讀取程序代碼，并且將該程序代碼寫入到插入計算機(jī)的擴(kuò)展板或與計算機(jī)連接的擴(kuò)展單元中提供的存儲器。之后，基于該程序代碼的命令，通過例如擴(kuò)展板或擴(kuò)展單元中提供的cpu來進(jìn)行部分或全部實際處理。

本發(fā)明可以優(yōu)選應(yīng)用于利用諸如小型數(shù)碼相機(jī)、單反鏡頭照相機(jī)、視頻照相機(jī)等的攝像裝置以及諸如移動電話、麥克風(fēng)、便攜游戲設(shè)備等的遠(yuǎn)程控制終端構(gòu)成的系統(tǒng)。

根據(jù)本發(fā)明的另一方面，提供了一種攝像裝置，其適于與該攝像裝置外部的遠(yuǎn)程控制裝置一起使用，該攝像裝置包括：

攝像單元，其用于對一系列拍攝的圖像進(jìn)行光電轉(zhuǎn)換，以生成各自表示所述一系列圖像中的一個圖像的一系列圖像信號；

圖像存儲單元，其用于存儲所述一系列拍攝圖像中的一個或多個圖像；

通信單元，其將生成的所述圖像信號以及識別分別由發(fā)送的圖像信號表示的拍攝圖像的圖像標(biāo)識信息發(fā)送到所述遠(yuǎn)程控制裝置，并且還從所述遠(yuǎn)程控制裝置接收與發(fā)送的所述圖像信號中的一個相關(guān)的該圖像標(biāo)識信息、以及與用戶在由所述一個圖像信號表示的圖像中指定的目標(biāo)被攝體相關(guān)的位置信息；以及

控制單元，其使用接收的所述圖像標(biāo)識信息以及位置信息來在存儲在所述圖像存儲單元中的所述一系列圖像中的一個中檢測目標(biāo)被攝體。

在一個實施例中，所述圖像標(biāo)識信息是指示表示相關(guān)圖像的圖像信號被發(fā)送到所述遠(yuǎn)程控制裝置的時間的定時信息。

在另一實施例中，所述圖像標(biāo)識信息是圖像的幀標(biāo)識符。

優(yōu)選地，當(dāng)基于發(fā)送的所述圖像信號中的一個在所述遠(yuǎn)程控制裝置(20)的顯示器(243)上顯示圖像時，由所述遠(yuǎn)程控制裝置的用戶指定所述目標(biāo)被攝體，并且接收的所述位置信息表示所顯示的圖像中的所述用戶指定的目標(biāo)被攝體所在的位置。

優(yōu)選地，接收的所述圖像標(biāo)識信息識別所顯示的圖像。

優(yōu)選地，所述控制單元使所述圖像存儲至少等于拍攝由圖像信號表示的圖像與所述通信單元在基于相關(guān)圖像信號的圖像顯示在所述遠(yuǎn)程控制裝置處之后接收到所述圖像標(biāo)識信息和位置信息之間的時滯的時間段。

優(yōu)選地，所述控制單元測量所述攝像裝置與所述遠(yuǎn)程控制裝置之間的通信時滯，并根據(jù)所測量的時滯設(shè)置存儲時間段。

當(dāng)在由第一圖像信號表示的圖像與當(dāng)前圖像信號表示的當(dāng)前圖像之間攝像單元拍攝至少一個干涉圖像時，所述控制單元優(yōu)選在至少包括第一步驟和第二步驟的步驟中進(jìn)行所述圖案匹配，在所述第一步驟中，在由第二圖像信號表示的圖像與該干涉圖像之間進(jìn)行圖案匹配，以在所述干涉圖像中識別所述目標(biāo)被攝體的追蹤區(qū)域，在所述第二步驟中，在所述第一步驟的所述干涉圖像與隨后的干涉圖像之間進(jìn)行圖案匹配，以在由所述當(dāng)前圖像信號表示的圖像中識別追蹤區(qū)域。

根據(jù)本發(fā)明的另一方面，提供了一種遠(yuǎn)程控制裝置(20)，其適于與該遠(yuǎn)程控制裝置外部的實現(xiàn)本發(fā)明的之前方面的攝像裝置(10)一起使用，該遠(yuǎn)程控制裝置包括：

接收單元(241)，其接收分別表示由所述攝像裝置拍攝的一系列圖像的圖像信號，并且還接收識別分別由接收的所述圖像信號表示的拍攝圖像的圖像標(biāo)識信息；

顯示單元(243)，其顯示基于接收的所述圖像信號的圖像；

目標(biāo)被攝體指定單元，其在所述顯示單元顯示基于接收的所述圖像信號的所述圖像時，使得所述遠(yuǎn)程控制裝置的用戶能夠在所顯示的圖像中指定目標(biāo)被攝體；以及

發(fā)送單元(241)，其被構(gòu)造為向所述攝像裝置發(fā)送針對當(dāng)用戶指定所述目標(biāo)被攝體時顯示的圖像的所接收的圖像標(biāo)識信息。

在一個實施例中，所述圖像標(biāo)識信息是指示表示相關(guān)圖像的圖像信號被發(fā)送到所述遠(yuǎn)程控制裝置的時間的定時信息。

在另一實施例中，所述圖像標(biāo)識信息是圖像的幀標(biāo)識符。

優(yōu)選地，所述發(fā)送單元還向所述攝像裝置發(fā)送與所顯示的圖像中的所述用戶指定的目標(biāo)被攝體所在的部分相關(guān)的位置信息。

本發(fā)明的其他方法方面提供了實現(xiàn)本發(fā)明的倒數(shù)第二裝置方面的攝像裝置的控制方法、以及實現(xiàn)本發(fā)明的最后一個裝置方面的遠(yuǎn)程控制裝置的控制方法。

本發(fā)明的另一方面提供了當(dāng)由攝像裝置中的處理器或計算機(jī)執(zhí)行時使該處理器或計算機(jī)執(zhí)行本發(fā)明的最后一個方法方面的攝像裝置的控制方法的程序。

本發(fā)明的另一方面提供了當(dāng)由遠(yuǎn)程控制裝置中的處理器或計算機(jī)執(zhí)行時使該處理器或計算機(jī)執(zhí)行本發(fā)明的最后一個方法方面的遠(yuǎn)程控制裝置的控制方法的程序。