追蹤裝置及追蹤方法
【專利摘要】本發(fā)明提供追蹤裝置及追蹤方法。追蹤裝置包含群組化設(shè)定部、追蹤特征檢測部和追蹤部。所述群組化設(shè)定部根據(jù)對焦狀態(tài)對多個焦點檢測區(qū)域進行群組化。所述追蹤特征檢測部檢測進行所述群組化后的所述焦點檢測區(qū)域內(nèi)的所述追蹤對象的特征量。所述追蹤部根據(jù)群組數(shù)，按照作為處于所述對焦狀態(tài)的所述焦點檢測區(qū)域的第1追蹤位置或者作為所述特征量的部分的第2追蹤位置來追蹤所述追蹤對象。
【專利說明】追蹤裝置及追蹤方法
[0001]對相關(guān)申請的交叉引用
[0002]本申請基于2012年10月15日提交的在先日本專利申請2012-227758并主張其優(yōu)先權(quán)，在此以參考的方式并入其全部內(nèi)容。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及例如應(yīng)用于數(shù)碼相機等攝像裝置的、提高了對于作為追蹤對象的被攝體的追蹤性能的追蹤裝直。
【背景技術(shù)】
[0004]作為追蹤被攝體的技術(shù)，例如有日本特開2007-011054號公報、日本特開2009-268086號公報。日本特開2007-011054號公報公開了利用例如在對比度自動對焦(對比度AF)中使用的AF評價值來追蹤被攝體的技術(shù)。該公報公開了如下技術(shù):在驅(qū)動對焦透鏡的同時，針對多個AF區(qū)域，根據(jù)攝像元件的輸出信號運算對比度檢測信號，根據(jù)該運算出的對比度檢測信號來檢測在AF區(qū)域間的被攝體移動，根據(jù)該檢測結(jié)果求出對焦位置。
[0005]日本特開2009-268086號公報公開了使用用于追蹤被攝體的至少2個區(qū)域來追蹤被攝體的技術(shù)。該公報公開了如下技術(shù):在對被攝體攝像而取得的圖像數(shù)據(jù)上具有用于追蹤被攝體的第I區(qū)域和第2區(qū)域，始終將第I區(qū)域作為基準區(qū)域進行被攝體的追蹤，將第2區(qū)域獨立于第I區(qū)域進行被攝體的追蹤。
[0006]圖21示出追蹤動作中的某個時刻的幀圖像的一例。圖22示出追蹤動作中的I幀后的幀圖像的一例。在數(shù)碼相機的攝像畫面I中，存在作為追蹤對象的人物等被攝體(追蹤被攝體)A，并且在追蹤位置BI顯示有用于追蹤被攝體A的追蹤框W。攝像畫面I中示出了配置成二維狀的多個焦點檢測區(qū)域C。這些焦點檢測區(qū)域C檢測對于被攝體A的對焦狀態(tài)。這些焦點檢測區(qū)域C例如與攝像元件中被配置成二維狀的多個焦點檢測用像素對應(yīng)，該攝像元件是在數(shù)碼相機中將多個像素配置成二維狀而成的。
[0007]追蹤框W是根據(jù)被攝體A的尺寸而設(shè)定的。在追蹤框W中，用于追蹤被攝體A的焦點檢測區(qū)域C的個數(shù)可以根據(jù)該追蹤框W的尺寸而變化。例如在圖21所示的幀圖像中，追蹤框W具有與被攝體A的尺寸對應(yīng)的大小。在追蹤框W內(nèi)，根據(jù)該追蹤框W的尺寸例如包含10個焦點檢測區(qū)域C。在圖22所示的I幀后的幀圖像中，追蹤框W追蹤向右側(cè)移動的被攝體A,而向該右側(cè)移動到達追蹤位置BI。追蹤框W的尺寸不會伴隨追蹤而變化,該追蹤框W中所包含的焦點檢測區(qū)域C的個數(shù)也是10個。
[0008]如圖23所示，在被攝體A附近或與被攝體A相鄰地存在其他被攝體E，然后，如圖24所示，存在被攝體A與被攝體E分離的情況。該情況下，如圖23所示，當(dāng)與被攝體A相鄰地存在被攝體E時，追蹤框W位于追蹤位置B2，以包含2個被攝體A、E，并且其尺寸被設(shè)定為較大。在追蹤框W內(nèi)例如包含20個焦點檢測區(qū)域C。
[0009]然而，當(dāng)從追蹤框W包含2個被攝體A、E的狀態(tài)變化為如圖24所示那樣被攝體A與被攝體E分離時，追蹤框W有可能轉(zhuǎn)換為對其他被攝體E的追蹤而位于追蹤位置B3。[0010]本發(fā)明的目的在于提供一種追蹤裝置，即便在被攝體附近或與被攝體相鄰地存在其他被攝體，也不會從作為追蹤對象的被攝體轉(zhuǎn)換到其他被攝體，從而能夠提高追蹤的可靠性。

【發(fā)明內(nèi)容】

[0011]根據(jù)本發(fā)明的追蹤裝置，其具有:群組化設(shè)定部，其在包含追蹤對象的圖像數(shù)據(jù)中的多個焦點檢測區(qū)域中，根據(jù)對焦狀態(tài)對所述多個焦點檢測區(qū)域進行群組化；追蹤特征檢測部，其檢測由所述群組化設(shè)定部進行群組化后的所述群組的區(qū)域內(nèi)的所述追蹤對象的特征量；以及追蹤部，其將對于所述追蹤對象處于對焦狀態(tài)的所述焦點檢測區(qū)域設(shè)定為第I追蹤位置，將由所述追蹤特征檢測部檢測出的所述特征量的部分設(shè)定為第2追蹤位置，根據(jù)進行所述群組化后的群組數(shù)，并根據(jù)所述第I追蹤位置或所述第2追蹤位置來追蹤所述追蹤對象。
[0012]根據(jù)本發(fā)明的追蹤方法，其包含以下步驟:在包含追蹤對象的圖像數(shù)據(jù)中的多個焦點檢測區(qū)域中，根據(jù)對焦狀態(tài)對所述多個焦點檢測區(qū)域進行群組化；檢測進行所述群組化后的所述群組的區(qū)域內(nèi)的所述追蹤對象的特征量；將對于所述追蹤對象處于對焦狀態(tài)的所述焦點檢測區(qū)域設(shè)定為第I追蹤位置，將所述追蹤對象的特征量的部分設(shè)定為第2追蹤位置，根據(jù)進行所述群組化后的群組數(shù)，并根據(jù)所述第I追蹤位置或所述第2追蹤位置來追蹤所述追蹤對象。
[0013]本發(fā)明的其他目標和優(yōu)點將在以下的說明中闡述，部分的目標和優(yōu)點將通過說明變得清楚，或者可以通過本發(fā)明的實踐而得知?？梢酝ㄟ^以下特別指出的手段和組合實現(xiàn)和獲得本發(fā)明的目標和優(yōu)點。
【專利附圖】

【附圖說明】
[0014]被并入且構(gòu)成說明書的一部分的附圖例示了本發(fā)明的實施例，并與以上給出的一般說明和以下給出的實施例的詳細說明一起用于解釋本發(fā)明的原理。
[0015]圖1是示出具有本發(fā)明的追蹤裝置的攝像裝置的一個實施方式的結(jié)構(gòu)圖。
[0016]圖2是示出該裝置中的群組化設(shè)定電路進行的與焦點檢測區(qū)域的對焦狀態(tài)對應(yīng)的群組化的圖。
[0017]圖3是示出該裝置中的群組化設(shè)定電路進行的具體的群組化動作的圖。
[0018]圖4是示出該裝置中的群組化設(shè)定電路進行的具體的群組化動作的圖。
[0019]圖5A是用于說明該裝置中的臉部檢測處理電路從圖像數(shù)據(jù)中檢測被攝體的臉部時取得與臉部器官的各相關(guān)量的圖。
[0020]圖5B是示出該裝置中的臉部檢測處理電路從圖像數(shù)據(jù)中檢測被攝體的臉部時的相關(guān)量成為最大的情況的圖。
[0021]圖6A是用于說明該裝置中的亮度追蹤處理電路使用亮度信息的(N-1)幀中的追蹤的作用的圖。
[0022]圖6B是用于說明該裝置中的亮度追蹤處理電路使用亮度信息的追蹤的作用中的參照圖像數(shù)據(jù)與基準圖像數(shù)據(jù)之間的差分絕對值和的圖。
[0023]圖7A是用于說明該裝置中的顏色信息追蹤處理電路使用顏色信息的(N-1)幀中的追蹤的作用的圖。
[0024]圖7B是用于說明該裝置中的顏色信息追蹤處理電路使用顏色信息的追蹤的作用中的在(N-1)幀中的追蹤處理的開始位置的圖。
[0025]圖8是該裝置中的攝影動作流程圖。
[0026]圖9示出在由該裝置中的臉檢測處理電路檢測到的臉部上顯示的追蹤框的圖。
[0027]圖10是示出在由該裝置中的臉檢測處理電路檢測到的臉部上顯示的追蹤框的圖。
[0028]圖11是該裝置中的追蹤處理流程圖。
[0029]圖12是示出該裝置中的釋放AF處理時的釋放AF對焦區(qū)域的圖。
[0030]圖13是示出通過該裝置中的追蹤特征檢測電路追蹤被攝體的亮度/顏色信息追蹤區(qū)域的圖。
[0031 ] 圖14A是該裝置中的第I追蹤處理流程圖。
[0032]圖14B是該裝置中的第I追蹤處理流程圖。
[0033]圖15是該裝置中的優(yōu)先追蹤位置判定流程圖。
[0034]圖16是示出在該裝置中的優(yōu)先追蹤位置判定中，對于被攝體具有I個焦點檢測區(qū)域群組的情況下的構(gòu)圖。
[0035]圖17是示出在該裝置中的優(yōu)先追蹤位置判定中，2個被攝體接近的狀態(tài)下，具有I個焦點檢測區(qū)域群組的情況下的構(gòu)圖。
[0036]圖18是示出在該裝置中的優(yōu)先追蹤位置判定中，2個被攝體遠離的狀態(tài)下，具有2個焦點檢測區(qū)域群組的情況下的構(gòu)圖。
[0037]圖19是用于說明車體進入了該裝置的拍攝被攝體的構(gòu)圖內(nèi)時的追蹤動作的圖。
[0038]圖20是用于說明車體進入了該裝置的拍攝被攝體的構(gòu)圖內(nèi)時的追蹤結(jié)果的圖。
[0039]圖21是用于說明追蹤的【背景技術(shù)】的圖。
[0040]圖22是用于說明該【背景技術(shù)】的圖。
[0041]圖23是示出在該【背景技術(shù)】中，在被攝體的附近或與被攝體相鄰地存在其他被攝體時的追蹤框的圖。
[0042]圖24是示出作為該【背景技術(shù)】的課題、即追蹤框轉(zhuǎn)換為其他被攝體的追蹤的情況的圖。
【具體實施方式】
[0043]以下，參照附圖對本發(fā)明的一個實施方式進行說明。
[0044]圖1示出具有追蹤裝置的攝像裝置100的一例的結(jié)構(gòu)圖。攝像裝置(本裝置)100包含攝影光學(xué)系統(tǒng)102、焦點調(diào)整機構(gòu)104、光圈106、光圈驅(qū)動機構(gòu)108、快門110、快門驅(qū)動機構(gòu)112、攝像元件114、攝像元件接口(IF)電路116、SDRAMl 18、顯示元件120、顯示元件驅(qū)動電路122、觸摸面板124、觸摸面板驅(qū)動電路126、記錄介質(zhì)128、搭載CPU1301的系統(tǒng)控制器130、相機操作開關(guān)132、閃存(FlashROM) 134。
[0045]攝像部101包含攝影光學(xué)系統(tǒng)102、焦點調(diào)整機構(gòu)104、光圈106、光圈驅(qū)動機構(gòu)108、快門110、快門驅(qū)動機構(gòu)112、攝像元件114、攝像元件接口(IF)電路116。
[0046]攝影光學(xué)系統(tǒng)102將來自被攝體的光束F會聚到攝像元件114的受光面上。攝影光學(xué)系統(tǒng)102包含對焦透鏡等多個透鏡。焦點調(diào)整機構(gòu)104包含電動機和該電動機的驅(qū)動電路等。焦點調(diào)整機構(gòu)104根據(jù)CPU1301的控制，在攝影光學(xué)系統(tǒng)102內(nèi)的對焦透鏡的光軸方向(圖示點劃線方向)上驅(qū)動該對焦透鏡。
[0047]光圈106開閉自如，并且調(diào)整經(jīng)由攝影光學(xué)系統(tǒng)102入射到攝像元件114的光束F的量。光圈驅(qū)動機構(gòu)108包含用于驅(qū)動光圈106的驅(qū)動機構(gòu)。光圈驅(qū)動機構(gòu)108根據(jù)系統(tǒng)控制器130內(nèi)的CPU1301的控制來驅(qū)動光圈106。
[0048]快門110將攝像元件114的受光面設(shè)為遮光狀態(tài)或曝光狀態(tài)，調(diào)整攝像元件114的曝光時間?？扉T驅(qū)動機構(gòu)112包含用于驅(qū)動快門110的驅(qū)動機構(gòu)。快門驅(qū)動機構(gòu)112根據(jù)系統(tǒng)控制器130內(nèi)的CPU1301的控制來驅(qū)動快門110。
[0049]攝像元件114包含受光面。經(jīng)由攝影光學(xué)系統(tǒng)102會聚的來自被攝體的光束F在攝像元件114的受光面上成像。攝像元件114的受光面是將多個像素配置成二維狀而成的。在攝像元件114的受光面的光入射側(cè)設(shè)有濾色器。攝像元件114將與在受光面上成像的光束F對應(yīng)的像(被攝體像)轉(zhuǎn)換為與其光量對應(yīng)的電信號(以下稱作圖像信號)。作為攝像元件114，公知有例如CCD方式或CMOS方式等各種結(jié)構(gòu)的攝像元件。濾色器的顏色排列公知有例如拜耳排列等各種的排列。本實施方式的攝像元件114的結(jié)構(gòu)不限于特定的結(jié)構(gòu)，可以使用各種結(jié)構(gòu)的攝像元件。
[0050]攝像元件IF電路116按照CPU1301的控制來驅(qū)動攝像元件114，讀出通過攝像元件114的驅(qū)動而輸出的圖像信號。攝像元件IF電路116對從攝像元件114讀出的圖像信號實施⑶S (相關(guān)雙采樣)處理和AGC (自動增益控制)處理等模擬處理，將該模擬處理后的圖像信號轉(zhuǎn)換為數(shù)字信號(以下稱作圖像數(shù)據(jù))。
[0051]在SDRAM118中例如作為存儲區(qū)域形成有工作區(qū)域118a、追蹤圖像區(qū)域118b、追蹤色日志區(qū)域118c、追蹤數(shù)據(jù)日志區(qū)域118d。
[0052]在工作區(qū)域118a中暫時存儲在攝像裝置100的各部中產(chǎn)生的數(shù)據(jù)。工作區(qū)域118a中暫時存儲的數(shù)據(jù)例如是通過攝像元件IF電路116得到的圖像數(shù)據(jù)等。
[0053]在追蹤圖像區(qū)域118b中暫時存儲追蹤圖像數(shù)據(jù)。追蹤圖像數(shù)據(jù)是包含進行追蹤處理時的追蹤對象即被攝體的幀的圖像數(shù)據(jù)。
[0054]在追蹤色日志區(qū)域118c中暫時存儲對作為追蹤對象的被攝體進行追蹤時的顏色
信息日志。
[0055]在追蹤數(shù)據(jù)日志區(qū)域118d中暫時存儲追蹤數(shù)據(jù)日志。在本實施方式中，使用被攝體的臉部、亮度信息、顏色信息等的多個追蹤處理來追蹤被攝體。由此，在追蹤數(shù)據(jù)日志區(qū)域IlSd中暫時存儲在該追蹤處理中所使用的追蹤數(shù)據(jù)。
[0056]顯示元件120例如是液晶顯示器(IXD)。顯示元件120對實時取景用的圖像和記錄介質(zhì)128中所記錄的圖像數(shù)據(jù)等各種圖像進行顯示。以下，將顯示元件120稱作IXD120。顯示元件驅(qū)動電路122根據(jù)通過CPU1301的控制而輸入的圖像數(shù)據(jù)來驅(qū)動IXD120，在IXD120
中顯示圖像。
[0057]觸摸面板124在IXD120的顯示畫面上一體地設(shè)置。觸摸面板124檢測用戶的手指等對LCD120的顯示畫面上的接觸(觸摸)，輸出包含示出該觸摸位置的坐標的接觸檢測信號。觸摸面板驅(qū)動電路126驅(qū)動觸摸面板124，并且將來自觸摸面板124的接觸檢測信號發(fā)送到CPU1301。CPU1301從來自觸摸面板124的接觸檢測信號中檢測用戶對顯示畫面上的接觸操作，執(zhí)行與該接觸操作對應(yīng)的處理。
[0058]記錄介質(zhì)128例如是存儲卡。記錄介質(zhì)128記錄由攝影動作得到的圖像文件128a。圖像文件128a是對圖像數(shù)據(jù)賦予預(yù)定的文件頭而形成的。在文件頭中，記錄表示攝影條件的數(shù)據(jù)和表示追蹤位置的數(shù)據(jù)等作為標簽數(shù)據(jù)。
[0059]系統(tǒng)控制器130控制攝像裝置100整體的動作。系統(tǒng)控制器130包含CPU1301、作為各種控制電路的AF控制電路1302、AE控制電路1303、圖像處理電路1304、作為焦點檢測信息取得電路的測距位置設(shè)定電路1305、群組化設(shè)定電路1306和追蹤特征檢測電路1307、作為追蹤處理電路的追蹤位直設(shè)定電路1308和追蹤電路1309、臉檢測處理電路1310、売度追蹤處理電路1311、顏色信息追蹤處理電路1312、以及存儲器控制電路1313。
[0060]CPU1301控制焦點調(diào)整機構(gòu)104、光圈驅(qū)動機構(gòu)108、快門驅(qū)動機構(gòu)112、顯示元件驅(qū)動電路122、觸摸面板驅(qū)動電路126等的動作，并且控制系統(tǒng)控制器130內(nèi)部的上述各種控制電路的動作。
[0061]本裝置100包含通過CPU1301的動作控制來追蹤追蹤對象的功能。如上述圖21所示，追蹤功能包含多個焦點檢測區(qū)域C。追蹤功能根據(jù)各焦點檢測區(qū)域C對于作為圖像數(shù)據(jù)中的追蹤對象的被攝體A的各對焦狀態(tài)來追蹤被攝體A。
[0062]AF控制電路1302控制對比度AF處理。具體而言，AF控制電路1302提取由攝像元件IF電路116得到的圖像數(shù)據(jù)的高頻分量，通過對提取到的高頻分量進行累加，由此取得AF用的對焦評價值。CPU1301 —邊根據(jù)對焦評價值來評價圖像數(shù)據(jù)的對比度，一邊控制焦點調(diào)整機構(gòu)104，將攝影光學(xué)系統(tǒng)102的對焦透鏡調(diào)整到成為對焦狀態(tài)的位置。
[0063]AE控制電路1303控制AE動作。具體而言，AE控制電路1303使用由攝像元件IF電路116得到的圖像數(shù)據(jù)來計算被攝體的亮度。AE控制電路1303根據(jù)被攝體的亮度來計算曝光時的光圈106的開口量(光圈值)、快門110的開放時間(快門速度值)。
[0064]圖像處理電路1304對圖像數(shù)據(jù)進行各種圖像處理。圖像處理例如包含顏色校正處理、伽馬(Y )校正處理、壓縮處理等。圖像處理電路1304還對被壓縮的圖像數(shù)據(jù)實施解壓縮處理。
[0065]焦點檢測信息取得電路包含測距位置設(shè)定電路1305、群組化設(shè)定電路1306和追蹤特征檢測電路1307。焦點檢測信息取得電路取得對于通過圖21所示的多個焦點檢測區(qū)域C檢測到的被攝體A的對焦狀態(tài)。
[0066]測距位置設(shè)定電路1305在多個焦點檢測區(qū)域C中設(shè)定對于作為追蹤對象的被攝體A處于對焦狀態(tài)的焦點檢測區(qū)域C。例如圖21所示，測距位置設(shè)定電路1305在焦點檢測區(qū)域C內(nèi)的多個焦點檢測用像素中檢測對于被攝體A的對焦狀態(tài)。
[0067]群組化設(shè)定電路1306根據(jù)對焦狀態(tài)對由測距位置設(shè)定部1305所設(shè)定的焦點檢測區(qū)域C進行群組化。例如圖2所示，當(dāng)存在2組對于被攝體處于對焦狀態(tài)的多個焦點檢測區(qū)域C (斜線部分)時，群組化設(shè)定電路1306對這些焦點檢測區(qū)域C的各組進行群組化，并分別設(shè)為焦點檢測區(qū)域群組C1、C2。形成這些焦點檢測區(qū)域群組C1、C2意味著存在2個被攝體。
[0068]具體而言，在進行群組化的情況下，如圖3所示，群組化設(shè)定部1306將多個焦點檢測區(qū)域C中彼此相鄰并且為相同的焦距的各焦點檢測區(qū)域作為相同的I個群組而進行群組化。例如當(dāng)各焦點檢測區(qū)域Ca、Cb彼此相鄰并且是相同的焦距時，群組化設(shè)定部1306將這些焦點檢測區(qū)域Ca、Cb作為同I個群組而進行群組化。
[0069]關(guān)于各焦點檢測區(qū)域C的相鄰，圖3的附圖中，不限于左右的位置關(guān)系的各焦點檢測區(qū)域Ca、Cb之間，也可以是處于上下關(guān)系的各焦點檢測區(qū)域Ca、Cc之間、處于斜向關(guān)系的各焦點檢測區(qū)域Ca、Cd之間。
[0070]在進行群組化的情況下，如圖4所示，群組化設(shè)定部1306將由測距位置設(shè)定部1305設(shè)定的例如焦點檢測區(qū)域Ca，以及相對于該焦點檢測區(qū)域Ca隔開預(yù)先設(shè)定的像素數(shù)的焦點檢測區(qū)域Ce和與該焦點檢測區(qū)域Ce相鄰的焦點檢測區(qū)域Cf作為不同的群組，例如焦點檢測區(qū)域群組Cl、C2而進行群組化。
[0071]追蹤特征檢測電路1307檢測由群組化設(shè)定部1306進行群組化后的例如焦點檢測區(qū)域群組Cl、C2區(qū)域內(nèi)的作為追蹤對象的被攝體A的特征量。追蹤特征檢測電路1307檢測人體的臉部、亮度、顏色作為被攝體A的特征量。
[0072]追蹤位置設(shè)定電路1308將由測距位置設(shè)定部1308設(shè)定的焦點檢測區(qū)域C設(shè)定為第I追蹤位置。追蹤位置設(shè)定電路1308將由追蹤特征檢測部1307檢測到的特征量的部分即作為被攝體A的特征量的人體的臉部、亮度、顏色部分設(shè)定為第2追蹤位置。
[0073]追蹤電路1309根據(jù)由群組化設(shè)定部1306設(shè)定的群組的數(shù)量，根據(jù)由追蹤位置設(shè)定部1308設(shè)定的第I追蹤位置(焦點檢測區(qū)域C)，在由多個連續(xù)的幀構(gòu)成的動態(tài)圖像上追蹤作為追蹤對象的被攝體A (第I追蹤處理)，或者根據(jù)第2追蹤位置(作為被攝體A的特征量的臉部、亮度、顏色部分)，在由多個連續(xù)的幀構(gòu)成的動態(tài)圖像上追蹤作為追蹤對象的被攝體A (第2追蹤處理)。
[0074]當(dāng)通過群組化設(shè)定部1306群組化為多個群組、例如焦點檢測區(qū)域群組Cl、C2時，追蹤電路1309根據(jù)第2追蹤位置與多個群組之間的位置關(guān)系來選擇第I追蹤位置(焦點檢測區(qū)域C)或第2追蹤位置(作為被攝體A的特征量的臉部、亮度、顏色部分)。
[0075]如果不存在由群組化設(shè)定部1306設(shè)定的群組，則追蹤電路1309選擇第2追蹤位置(作為被攝體A的特征量的臉部、亮度、顏色部分)。如果群組是I個，則追蹤電路1309選擇第I追蹤位置(焦點檢測區(qū)域C)。如果群組是多個，則追蹤電路1309根據(jù)第2追蹤位置和處于對焦狀態(tài)的焦點檢測區(qū)域C來選擇第I或第2追蹤位置。
[0076]如果是由多個連續(xù)的幀構(gòu)成的動態(tài)圖像，則追蹤電路1309按照多個幀圖像中的每一個幀圖像來更新第I或第2追蹤位置，在多個攝像數(shù)據(jù)上追蹤作為追蹤對象的被攝體A0
[0077]臉檢測處理電路1310檢測圖像數(shù)據(jù)中的被攝體(人物)的臉部，進行該臉部的追蹤。臉檢測處理求出在動態(tài)圖像的各幀中得到的圖像數(shù)據(jù)與例如圖5A所示的各臉部器官402,404,406的各相關(guān)量。臉部器官402是與人物的鼻部周圍的陰影的圖案對應(yīng)的圖像數(shù)據(jù)。臉部器官404是與人物的眼部周圍的陰影的圖案對應(yīng)的圖像數(shù)據(jù)。臉部器官406是與人物的嘴部周圍的陰影的圖案對應(yīng)的圖像數(shù)據(jù)。如圖5B所示，當(dāng)成為表示人物的臉部的預(yù)定配置時，圖像數(shù)據(jù)與各臉部器官402、404、406的各相關(guān)量成為最大。設(shè)為當(dāng)各相關(guān)量成為最大時，在包含各臉部器官402、404、406的區(qū)域408中存在臉。在該圖中，將臉部區(qū)域設(shè)為矩形區(qū)域，但也可以設(shè)為圓形區(qū)域。
[0078]亮度追蹤處理電路1311使用圖像數(shù)據(jù)的亮度信息來追蹤被攝體A。在使用亮度信息的追蹤處理中，例如在圖6A所示的(N-1)幀中設(shè)定了追蹤對象的情況下，將(N-1)幀的圖像數(shù)據(jù)作為評價圖像數(shù)據(jù)存儲在SDRAM118中。亮度追蹤處理電路1311將包含評價圖像數(shù)據(jù)的追蹤對象的預(yù)定范圍202的圖像數(shù)據(jù)設(shè)定為基準圖像數(shù)據(jù)(以下設(shè)為基準圖像數(shù)據(jù)202)。然后，亮度追蹤處理電路1311從參照圖像數(shù)據(jù)內(nèi)搜索與評價圖像數(shù)據(jù)中所包含的基準圖像數(shù)據(jù)202對應(yīng)的部分。
[0079]舉例對N幀的追蹤處理進行說明。首先，亮度追蹤處理電路1311將N幀的圖像數(shù)據(jù)作為參照圖像數(shù)據(jù)存儲到SDRAM118中。亮度追蹤處理電路1311求出參照圖像數(shù)據(jù)中的預(yù)定的搜索范圍204的圖像數(shù)據(jù)與基準圖像數(shù)據(jù)202的相關(guān)量，從預(yù)定的搜索范圍204的圖像數(shù)據(jù)內(nèi)搜索與基準圖像數(shù)據(jù)202對應(yīng)的部分。相關(guān)量是例如根據(jù)基準圖像數(shù)據(jù)與參照圖像數(shù)據(jù)的差分絕對值和(按照每個像素求出亮度差的絕對值，并對其進行累加后得到的結(jié)果)來判定的。
[0080]例如，當(dāng)設(shè)為求出了圖6B所示的參照圖像數(shù)據(jù)的區(qū)域206內(nèi)的參照圖像數(shù)據(jù)與基準圖像數(shù)據(jù)202的差分絕對值和時，參照圖像數(shù)據(jù)的區(qū)域206與基準圖像數(shù)據(jù)202明顯是不同的圖像數(shù)據(jù)，差分絕對值和較大。與此相對，當(dāng)設(shè)為求出參照圖像數(shù)據(jù)的區(qū)域208與基準圖像數(shù)據(jù)202的差分絕對值和時，差分絕對值和較小。這樣，隨著參照圖像數(shù)據(jù)與基準圖像數(shù)據(jù)202的相關(guān)量變大，差分絕對值和變小。
[0081]在使用亮度信息的追蹤處理中，從參照圖像數(shù)據(jù)中搜索相關(guān)量最大、即差分絕對值和最小的區(qū)域。在圖6B所示的例中，差分絕對值和最小的區(qū)域為區(qū)域208。
[0082]在追蹤位置日志區(qū)域中，將記錄區(qū)域208中一致度最高的位置記錄為追蹤位置。在存在多個記錄為追蹤位置的位置的情況下，例如將靠近區(qū)域208的中心的位置作為追蹤位置。在下次的追蹤處理時，優(yōu)先將該追蹤位置作為追蹤處理的開始位置。能夠減少追蹤處理所需的時間。
[0083]顏色信息追蹤處理電路1312根據(jù)特征信息、例如顏色信息從由攝像部101的攝像所取得的圖像數(shù)據(jù)中進行被攝體、例如人物的臉部的追蹤。顏色信息追蹤處理電路1312使用由攝像部101的攝像所取得的圖像數(shù)據(jù)的顏色信息來進行人物的臉部的追蹤處理。
[0084]簡單地對使用顏色信息的追蹤處理進行說明。使用顏色信息的追蹤處理對被判定為是與在評價圖像數(shù)據(jù)內(nèi)所設(shè)定的顏色信息相同的顏色信息的區(qū)域、即追蹤顏色區(qū)域進行追蹤。
[0085]例如圖7A所示，在(N-1)幀中指定了被攝體的某個位置302的情況下，顏色信息追蹤處理電路1312取得評價圖像數(shù)據(jù)中的位置302的顏色信息。顏色信息追蹤處理電路1312將位置302作為追蹤處理的開始位置，搜索具有與該位置302相同的顏色信息的區(qū)域。
[0086]具體而言,顏色信息追蹤處理電路1312以位置302為開始位置朝向周圍依次取得顏色信息，判定取得的顏色信息與位置302的顏色信息是否相同。在判定的結(jié)果為顏色信息與位置302的顏色信息相同的情況下，顏色信息追蹤處理電路1312將位置302包含進追蹤顏色區(qū)域中。在不能判定為取得的顏色信息與位置302的顏色信息相同的情況下，顏色信息追蹤處理電路1312不將位置302包含進追蹤顏色區(qū)域中。
[0087]在這樣搜索到追蹤顏色區(qū)域時，例如，在圖7A所示的單色的被攝體的情況下，內(nèi)接于被攝體的矩形區(qū)域304成為追蹤顏色區(qū)域。設(shè)為在追蹤位置日志區(qū)域中記錄的追蹤位置與例如追蹤顏色區(qū)域304的重心位置、例如圖7A所示的位置302相同。在下次的追蹤處理中，將追蹤位置(位置302)設(shè)為追蹤處理的開始位置。[0088]舉例示出N幀的追蹤處理，顏色信息追蹤處理電路1312在作為圖7B所示的參照圖像數(shù)據(jù)而存儲的N幀的圖像數(shù)據(jù)的預(yù)定搜索范圍中，將(N-1)幀的追蹤位置302設(shè)為追蹤處理的開始位置。顏色信息追蹤處理電路1312從追蹤位置302的周圍起依次搜索可判定為與追蹤顏色區(qū)域304的顏色信息為相同顏色信息的區(qū)域作為追蹤顏色區(qū)域。在該圖所示的例中，區(qū)域306成為追蹤顏色區(qū)域。顏色信息追蹤處理電路1312將重心位置308作為追蹤位置，將該追蹤位置308記錄在追蹤位置日志區(qū)域中。在追蹤顏色區(qū)域日志區(qū)域中，記錄表示追蹤顏色區(qū)域306的范圍的信息(例如，四角的位置)。
[0089]存儲器控制電路1313是通過CPU1301等來進行用于訪問SDRAM118、記錄介質(zhì)128、閃存134的控制的接口。
[0090]相機操作開關(guān)132是由用戶操作的各種操作部件。相機操作開關(guān)132例如包含釋放按鈕、動態(tài)圖像按鈕、模式撥盤、選擇鍵、電源按鈕等。
[0091]釋放按鈕包含第I釋放開關(guān)和第2釋放開關(guān)。第I釋放開關(guān)在用戶半按下釋放按鈕時打開。通過打開第I釋放開關(guān)來進行AF處理等攝影準備動作。第2釋放開關(guān)在用戶全按下釋放按鈕時打開。通過打開第2釋放開關(guān)來進行靜態(tài)圖像攝影用的曝光動作。
[0092]動態(tài)圖像按鈕是用于指示動態(tài)圖像攝影的開始或結(jié)束的操作部件。當(dāng)由用戶按下動態(tài)圖像按鈕時，動態(tài)圖像攝影處理開始。當(dāng)在動態(tài)圖像攝影處理執(zhí)行中按下動態(tài)圖像按鈕時，動態(tài)圖像攝影處理結(jié)束。
[0093]模式撥盤是用于選擇攝像裝置的攝影設(shè)定的操作部件。在本實施方式中，作為攝像裝置的攝影設(shè)定，例如可以選擇靜態(tài)圖像攝影模式和動態(tài)圖像攝影模式。靜態(tài)圖像攝影模式是用于對靜態(tài)圖像進行攝影的攝影設(shè)定。動態(tài)圖像攝影模式是用于對動態(tài)圖像進行攝影的攝影設(shè)定。
[0094]選擇鍵是用于進行例如菜單畫面上的項目的選擇和確定的操作部件。當(dāng)由用戶操作了選擇鍵時，進行菜單畫面上的項目的選擇或確定。
[0095]電源按鈕是用于接通或斷開本裝置100的電源的操作部件。當(dāng)由用戶操作了電源按鈕時，本裝置100起動而成為能夠進行動作的狀態(tài)。在本裝置起動的期間內(nèi)按下電源按鈕時，本裝置100成為省電待機狀態(tài)。
[0096]在閃存134中存儲有用于CPU1301執(zhí)行各種處理的程序代碼。閃存134中存儲有本裝置100的攝影動作流程圖和攝影光學(xué)系統(tǒng)102、光圈106及攝像元件114等的動作所需要的控制參數(shù)，以及圖像處理電路1304中的圖像處理所需要的控制參數(shù)等各種控制參數(shù)。閃存134中還存儲有臉檢測處理電路1310中的臉檢測中使用的臉部器官的數(shù)據(jù)和用于顯示追蹤框的數(shù)據(jù)等。
[0097]接著，參照圖8所示的攝影動作流程圖來說明如上所述構(gòu)成的本裝置的攝影動作。
[0098]CPU1301從閃存134讀入需要的程序代碼，控制本裝置100的動作。
[0099]在步驟SlOO中，CPU1301判定當(dāng)前的本裝置100的攝影設(shè)定是靜態(tài)圖像攝影模式和動態(tài)圖像攝影模式中的哪種。攝影設(shè)定是利用模式撥盤來設(shè)定的。
[0100]當(dāng)判定的結(jié)果為攝影設(shè)定是靜態(tài)圖像攝影模式時，在步驟S102中，CPU1301開始實時取景動作。實時取景動作如下所述。CPU1301在控制快門驅(qū)動機構(gòu)112使快門110開放后，控制攝像兀件IF電路116,開始攝像兀件114的攝像。CPU1301將作為攝像兀件114的攝像結(jié)果而存儲在RAM118的工作區(qū)域中的圖像數(shù)據(jù)輸入到圖像處理電路1304，實施實時取景顯示用的圖像處理。CPU1301將被圖像處理為實時取景顯示用的圖像數(shù)據(jù)輸入到顯示元件驅(qū)動電路122,在顯示元件120中顯示圖像。CPU1301通過反復(fù)執(zhí)行以上的顯示動作，對被攝體的圖像進行動態(tài)圖像顯示(實時取景顯示)。用戶可以通過該動態(tài)圖像顯示觀察被攝體。
[0101]在步驟S104中，CPU1301判定第I釋放開關(guān)是否被打開。通過進行該判定，CPU1301繼續(xù)進行實時取景動作直到判定為第I釋放開關(guān)打開為止。
[0102]當(dāng)判定的結(jié)果為第I釋放開關(guān)被打開時，在步驟S106中，CPU1301進行釋放AF處理。在該釋放AF處理中，CPU1301通過掃描驅(qū)動將對焦透鏡驅(qū)動至對焦位置。S卩，在掃描驅(qū)動中，CPU1301控制焦點調(diào)整機構(gòu)104在預(yù)定的掃描范圍內(nèi)朝一個方向驅(qū)動對焦透鏡，同時對由AF控制電路1302依次計算出的對焦評價值進行評價。CPU1301在對焦評價值的評價結(jié)果為對比度成為最大的透鏡位置處，停止對焦透鏡的驅(qū)動。在AF前的對焦透鏡的位置與對焦位置的差較大的情況下進行這樣的掃描驅(qū)動。
[0103]在步驟S108中，例如圖21所示,CPU1301控制顯示元件驅(qū)動電路122,在顯示元件120中顯示追蹤框W。追蹤框W被顯示在顯示元件120的畫面上的作為追蹤對象的被攝體A的位置上。例如，當(dāng)將通過釋放AF進行了對焦的被攝體A作為追蹤對象時，也可以將追蹤框W顯示在該被攝體A上。
[0104]在通過臉檢測處理電路1310檢測到被攝體A的臉部的情況下，例如圖9或圖10所示，也可以將追蹤框Dl顯示在臉部上。在通過觸摸面板124指定了在顯示元件120的畫面上顯示的被攝體A的情況下，也可以將追蹤框Dl顯示在被攝體A上。
[0105]在步驟SllO中，CPU1301進行追蹤被攝體A的追蹤處理。
[0106]在步驟S112中，CPU1301進行AF處理以對焦到追蹤位置的被攝體A，并且進行AE處理以使追蹤位置的被攝體A的曝光適當(dāng)。在追蹤處理后的AF處理中，通過掃描驅(qū)動或擺動驅(qū)動使對焦透鏡驅(qū)動至對焦位置。在擺動驅(qū)動中，CPU1301判定在驅(qū)動了對焦透鏡時由AF控制電路1302計算出的對焦評價值是否相對于前次的透鏡位置處的對焦評價值增大。
[0107]在判定的結(jié)果為對焦評價值增大的情況下，CPU1301在與前次相同的方向上對對焦透鏡進行微小驅(qū)動。在對焦評價值減小的情況下，CPU1301在與前次相反的方向上對對焦透鏡進行微小驅(qū)動。CPU1301高速地反復(fù)進行這樣的動作，逐漸將對焦透鏡驅(qū)動至對焦位置。
[0108]在AE處理中，CPU1301計算用于將由AE控制電路1303計算出的追蹤位置的被攝體的亮度設(shè)為預(yù)先設(shè)定的適當(dāng)量(適當(dāng)曝光量)的正式曝光時的光圈106的開口量(光圈值)、快門110的開放時間(快門速度值)。
[0109]在步驟S114中，CPU1301判定第2釋放開關(guān)是否被打開。在判定為第2釋放開關(guān)未被打開時，CPU1301執(zhí)行步驟SllO的追蹤處理以后的處理。當(dāng)設(shè)定為靜態(tài)圖像攝影模式時，CPU1301繼續(xù)進行追蹤處理直到第2釋放開關(guān)被打開為止。
[0110]在第2釋放開關(guān)被打開后，步驟S116中，CPU1301控制顯示元件驅(qū)動電路122不顯示追蹤框Dl。
[0111]在步驟SI 18中，CPU1301進行將靜態(tài)圖像數(shù)據(jù)記錄到記錄介質(zhì)128中的處理。在進行記錄處理時，CPU1301控制快門驅(qū)動機構(gòu)112使快門110關(guān)閉。然后，CPU1301控制光圈驅(qū)動機構(gòu)108而將光圈106縮小至之前計算出的光圈值。接著，CPU1301控制快門驅(qū)動機構(gòu)112，使快門110開放之前計算出的開放時間，同時進行基于攝像元件114的攝像(曝光)。
[0112]CPU1301將經(jīng)由攝像元件114得到的靜態(tài)圖像數(shù)據(jù)在圖像處理電路1304中進行處理。CPU1301對在圖像處理電路1304中處理后的靜態(tài)圖像數(shù)據(jù)賦予文件頭來生成靜態(tài)圖像文件，將生成的靜態(tài)圖像文件記錄在記錄介質(zhì)128中。
[0113]在步驟S120中，CPU1301將表示作為上述步驟SllO的追蹤處理的結(jié)果而得到的追蹤位置的數(shù)據(jù)補寫到之前記錄在記錄介質(zhì)128中的靜態(tài)圖像文件中。
[0114]另一方面，當(dāng)在上述步驟SlOO中判定為攝影設(shè)定是動態(tài)圖像攝影模式時，CPU1301在步驟S122中開始實時取景動作。
[0115]在判定為作為動態(tài)圖像攝影打開的指示的動態(tài)圖像按鈕被打開時，CPU1301在步驟S126中控制顯示元件驅(qū)動電路122,在顯示元件120中例如圖9或圖10所示,在臉部上顯示追蹤框Dl。
[0116]在步驟S128中，CPU1301進行追蹤被攝體A的追蹤處理。
[0117]在步驟S130中，CPU1301向AF控制電路1302指示AF處理以對焦到追蹤位置的被攝體A，并且向AE控制電路1303指示AE處理以使得追蹤位置的被攝體A的曝光變得適當(dāng)。在此時的AF處理中，CPU1301通過擺動驅(qū)動使攝影光學(xué)系統(tǒng)102的對焦透鏡驅(qū)動至對焦位置。
[0118]在步驟S132中，CPU1301進行將動態(tài)圖像數(shù)據(jù)記錄到記錄介質(zhì)128中的處理。在進行該記錄處理時，CPU1301控制光圈驅(qū)動機構(gòu)108，將光圈106縮小至在AE處理中計算出的光圈值。CPU1301使攝像元件114在與AE處理中計算出的快門速度值對應(yīng)的時間內(nèi)執(zhí)行攝像(曝光)。在曝光結(jié)束后，CPU1301生成動態(tài)圖像文件并記錄在記錄介質(zhì)128中。CPU1301在圖像處理電路1304中對經(jīng)由攝像元件114得到的動態(tài)圖像數(shù)據(jù)進行處理，將在圖像處理電路1304中處理后的動態(tài)圖像數(shù)據(jù)記錄在動態(tài)圖像文件中。
[0119]在步驟S134中，CPU1301將表示作為上述步驟S128的追蹤處理的結(jié)果而得到的追蹤位置的數(shù)據(jù)記錄到之前記錄在記錄介質(zhì)128中的動態(tài)圖像文件中。
[0120]在步驟S136中，CPU1301判定動態(tài)圖像按鈕是否被關(guān)閉。在判定的結(jié)果為判定為動態(tài)圖像按鈕未被關(guān)閉時，CPU1301執(zhí)行步驟S128的追蹤處理以后的處理。
[0121]這樣，在動態(tài)圖像攝影模式時，在動態(tài)圖像按鈕被關(guān)閉之前，繼續(xù)進行追蹤處理和動態(tài)圖像數(shù)據(jù)的記錄。當(dāng)判定為動態(tài)圖像按鈕被關(guān)閉時，CPU1301在步驟S138中控制顯示元件驅(qū)動電路122不顯示追蹤框Dl。
[0122]接著，參照圖11所示的追蹤處理流程圖來說明追蹤動作。
[0123]在步驟S200中，CPU1301判定是否是開始追蹤被攝體A的第I幀的圖像數(shù)據(jù)。
[0124]當(dāng)判定的結(jié)果為是追蹤開始的第I幀時，步驟S202中，當(dāng)?shù)贗釋放開關(guān)被打開時，CPU1301進行對圖12所示的釋放AF對焦區(qū)域AFE的釋放AF處理。在該釋放AF處理中，CPUl301進行掃描驅(qū)動，將對焦透鏡驅(qū)動至對焦位置。CPU1301進行釋放AF處理，在對被攝體A的對焦位置處停止對焦透鏡的驅(qū)動。CPU1301將對被攝體A的對焦位置更新作為基準焦點信息。
[0125]在步驟S204中，如圖12所示，測距位置設(shè)定電路1305在釋放AF對焦區(qū)域AFE中，更新作為基準的焦點檢測區(qū)域C (斜線部分)。[0126]在步驟S206中，CPU 1301通過攝像元件114進行攝像，通過攝像元件IF電路116取得幀圖像數(shù)據(jù)。在步驟S208中，CPU1301將該幀圖像數(shù)據(jù)取入到SDRAMl 18中。
[0127]在步驟S210中，CPU1301設(shè)定成根據(jù)由測距位置設(shè)定電路1305設(shè)定的焦點檢測區(qū)域F、即多個焦點檢測區(qū)域C中對于作為追蹤對象的被攝體A處于對焦狀態(tài)的焦點檢測區(qū)域F，來進行對被攝體A的第I追蹤處理。
[0128]在步驟S212中，追蹤特征檢測電路1307檢測由群組化設(shè)定部1306群組化后的例如焦點檢測區(qū)域群組C1、C2的區(qū)域內(nèi)的第2追蹤處理用的被攝體A的特征量。追蹤特征檢測電路1307檢測人體的臉部、亮度、顏色作為被攝體A的特征量。
[0129]在步驟S214中，追蹤特征檢測電路1307根據(jù)作為被攝體A的特征量的人體的臉部、亮度、顏色信息來計算被攝體A的追蹤位置。圖13示出根據(jù)對于被攝體A的亮度、顏色信息來追蹤被攝體A的亮度/顏色信息追蹤區(qū)域Gl。
[0130]在步驟S216中，CPU1301進行優(yōu)先追蹤位置的判定，在該優(yōu)先追蹤位置的判定中，判定優(yōu)先進行根據(jù)對于作為追蹤對象的被攝體A處于對焦狀態(tài)的焦點檢測區(qū)域F來追蹤被攝體A的第I追蹤處理、或者根據(jù)作為被攝體A的特征量的人體的臉部、亮度、顏色來追蹤被攝體A的第2追蹤處理中的哪個處理。
[0131]在步驟S218中，CPU1301判定優(yōu)先追蹤位置的判定結(jié)果即該所判定的第I追蹤處理或第2追蹤處理的可靠性。在步驟S220中，CPU1301計算被攝體A的追蹤位置。在步驟S222中，CPU1301更新圖21所示的追蹤框W的位置和尺寸。
[0132]接著，參照圖14A和圖14B所示的第I追蹤處理流程圖來說明第I追蹤處理的動作。
[0133]在步驟S300中，群組化設(shè)定電路1306將根據(jù)對焦狀態(tài)對焦點檢測區(qū)域C進行群組化時的群組號(No)初始化為“O”。例如將對圖2所示的焦點檢測區(qū)域群組C1、C2賦予的群組號初始化為“O”。
[0134]在步驟S302中，測距位置設(shè)定電路1305輸出來自攝像元件114中的全部焦點檢測用像素的圖像信號，取得對于全部焦點檢測區(qū)域C中的被攝體A的對焦狀態(tài)等焦點信息。能夠通過焦點信息來判別例如在圖12所示的多個焦點檢測區(qū)域C中，分別對于被攝體A是已經(jīng)對焦還是未對焦。
[0135]在步驟S304中，群組化設(shè)定電路1306設(shè)定焦點檢測區(qū)域C的區(qū)域數(shù)i。首先，群組化設(shè)定電路1306將區(qū)域數(shù)i設(shè)定為“ I”，然后，重復(fù)循環(huán)“ I”。在循環(huán)“ I”中，判定多個焦點檢測區(qū)域C的每個(i=l、2、3、…、n)被群組化到焦點檢測區(qū)域群組C1、C2等中的哪一個群組中。
[0136]在步驟S306中，如下式(I)所示，群組化設(shè)定電路1306求出焦點檢測區(qū)域C的焦點信息與基準焦點信息的差分的絕對值，判定該絕對值是否小于預(yù)先設(shè)定的閾值。
[0137]I焦點檢測區(qū)域C的焦點信息-基準焦點信息I <閾值…(I)
[0138]當(dāng)判定的結(jié)果為焦點檢測區(qū)域C的焦點信息與基準焦點信息的差分的絕對值小于閾值時，群組化設(shè)定電路1306在步驟S308中判定焦點檢測區(qū)域C的區(qū)域數(shù)i是否不為“O”。
[0139]當(dāng)判定的結(jié)果為焦點檢測區(qū)域C的區(qū)域數(shù)i不為“0”即為“I”時，群組化設(shè)定電路1306在步驟S310中轉(zhuǎn)移到循環(huán)“2”。[0140]在循環(huán)“2”中，群組化設(shè)定電路1306將焦點檢測區(qū)域群組號設(shè)定為J (=1)。
[0141]在步驟S312中，群組化設(shè)定電路1306判定是否是與該焦點檢測區(qū)域群組號J(=l)同一群組的焦點檢測區(qū)域C。在該判定中，判定作為判定對象的焦點檢測區(qū)域C是否與焦點檢測區(qū)域群組號為J (=1)的焦點檢測區(qū)域C相鄰。
[0142]當(dāng)判定的結(jié)果為相鄰時，在步驟S314中，群組化設(shè)定電路1306將作為判定對象的焦點檢測區(qū)域C追加為與焦點檢測區(qū)域群組號J (=1)同一群組。
[0143]當(dāng)上述判定的結(jié)果為不相鄰時，群組化設(shè)定電路1306不將作為判定對象的焦點檢測區(qū)域C追加為與焦點檢測區(qū)域群組號J (=1)同一群組。群組化設(shè)定電路1306重復(fù)步
驟S312、S314，按照每個焦點檢測區(qū)域群組號J (=1、2、3.....m)判定相鄰而成為同一群組
的焦點檢測區(qū)域C。
[0144]在步驟S318中，群組化設(shè)定電路1306判定作為判定對象的焦點檢測區(qū)域C是否與多個焦點檢測區(qū)域群組、例如群組號J (=1、2、3)相鄰。
[0145]當(dāng)判定的結(jié)果為作為判定對象的焦點檢測區(qū)域C與多個焦點檢測區(qū)域群組相鄰時，在步驟S320中，群組化設(shè)定電路1306將該相鄰的多個焦點檢測區(qū)域群組、例如群組號J (=1、2、3)合并為I個群組號J (=1)。
[0146]在步驟S322中，群組化設(shè)定電路1306根據(jù)下式(2)來修正群組號J。
[0147]群組號J=群組號J-相鄰群組數(shù)-1...(2)
[0148]在步驟S324中，群組化設(shè)定電路1306判定作為判定對象的焦點檢測區(qū)域C的相鄰的焦點檢測區(qū)域群組號J是否不存在。
[0149]當(dāng)判定的結(jié)果為不存在相鄰的焦點檢測區(qū)域群組號J時，群組化設(shè)定電路1306在步驟S326中將焦點檢測區(qū)域群組號J遞增I。在步驟S328中，群組化設(shè)定電路1306向焦點檢測區(qū)域群組號J追加焦點檢測區(qū)域C (i=l、2、3.....n)。
[0150]在步驟S330中，群組化設(shè)定電路1306重復(fù)以上的循環(huán)“I”。
[0151]在步驟S332中，群組化設(shè)定電路1306搜索包含基準焦點檢測區(qū)域C的焦點檢測區(qū)域群組號J。
[0152]群組化設(shè)定電路1306在步驟S334中判定搜索的結(jié)果是否具有包含基準焦點檢測區(qū)域C的焦點檢測區(qū)域群組號J。
[0153]當(dāng)判定的結(jié)果為具有包含基準焦點檢測區(qū)域C的焦點檢測區(qū)域群組號J時，群組化設(shè)定電路1306在步驟S336中將包含基準焦點檢測區(qū)域C的焦點檢測區(qū)域群組號J作為第I追蹤位置。
[0154]另一方面，當(dāng)不存在包含基準焦點檢測區(qū)域C的焦點檢測區(qū)域群組號J時，群組化設(shè)定電路1306在步驟S338中將全部的焦點檢測區(qū)域群組號J作為第I追蹤位置。
[0155]如以上那樣，當(dāng)如圖3所示，多個焦點檢測區(qū)域C中彼此相鄰并且為相同的焦距的各焦點檢測區(qū)域，例如各焦點檢測區(qū)域Ca、Cb彼此相鄰并且為相同的焦距時，群組化設(shè)定部1306將這些焦點檢測區(qū)域Ca、Cb作為相同的I個群組而進行群組化。
[0156]關(guān)于各焦點檢測區(qū)域C的相鄰，圖3的附圖中，不限于左右的位置關(guān)系的各焦點檢測區(qū)域Ca、Cb之間，也可以是處于上下關(guān)系的各焦點檢測區(qū)域Ca、Cc之間、處于斜向關(guān)系的各焦點檢測區(qū)域Ca、Cd之間。
[0157]如圖4所示，群組化設(shè)定部1306搜索相對于由測距位置設(shè)定部1305設(shè)定的例如焦點檢測區(qū)域Ca相離預(yù)先設(shè)定的像素數(shù)的焦點檢測區(qū)域Ce和該焦點檢測區(qū)域Ce，將這些焦點檢測區(qū)域Ce和與該焦點檢測區(qū)域Ce相鄰的焦點檢測區(qū)域Cf作為另外的群組，例如焦點檢測區(qū)域群組Cl、C2而進行群組化。
[0158]接著，參照圖15所示的優(yōu)先追蹤位置判定流程圖來說明優(yōu)先追蹤位置判定的動作。
[0159]追蹤電路1309根據(jù)由群組化設(shè)定部1306設(shè)定的群組的數(shù)量，并按照由追蹤位置設(shè)定部1308設(shè)定的第I追蹤位置(焦點檢測區(qū)域C)或第2追蹤位置(作為被攝體A的特征量的臉部、亮度、顏色部分)來追蹤作為追蹤對象的被攝體A。
[0160]具體而言，在步驟S400中，追蹤電路1309判定第I追蹤位置(焦點檢測區(qū)域C)的群組數(shù)是“0”、“ I”或“2以上”中的哪一個。
[0161]當(dāng)判定的結(jié)果為第I追蹤位置(焦點檢測區(qū)域C)的群組數(shù)是“0”時，追蹤電路1309在步驟S404中選擇第2追蹤位置(作為被攝體A的特征量的臉部、亮度、顏色部分)，將第2追蹤位置作為追蹤位置。
[0162]當(dāng)上述判定的結(jié)果為第I追蹤位置(焦點檢測區(qū)域C)的群組數(shù)是“I”時，追蹤電路1309在步驟S406中選擇第I追蹤位置(焦點檢測區(qū)域C)，將第I追蹤位置作為追蹤位置。例如，圖16示出具有I個焦點檢測區(qū)域群組Cl的被攝體A的構(gòu)圖。
[0163]在步驟S412中，追蹤電路1309根據(jù)第I追蹤位置(焦點檢測區(qū)域C)的焦點信息來更新基準焦點信息。
[0164]在步驟S414中，追蹤電路1309根據(jù)第I追蹤位置(焦點檢測區(qū)域C)的焦點信息來更新基準焦點檢測區(qū)域C。
[0165]在步驟S416中，追蹤電路1309根據(jù)第I追蹤位置(焦點檢測區(qū)域C)來校正第2追蹤位置(作為被攝體A的特征量的臉部、亮度、顏色部分)。
[0166]當(dāng)上述判定的結(jié)果為第I追蹤位置(焦點檢測區(qū)域C)的群組數(shù)是“2以上”時，追蹤電路1309在步驟S402中判定是否存在含有第2追蹤位置(作為被攝體A的特征量的臉部、亮度、顏色部分)的焦點檢測區(qū)域群組C1、C2等。例如，圖17示出2個被攝體A、E接近的狀態(tài)的構(gòu)圖。圖18示出2個被攝體A、E離開的狀態(tài)的構(gòu)圖。2個被攝體A、E離開的狀態(tài)相當(dāng)于具有2個焦點檢測區(qū)域群組Cl、C2即2以上的群組數(shù)的狀態(tài)。
[0167]當(dāng)上述判定的結(jié)果為存在含有第2追蹤位置的焦點檢測區(qū)域群組Cl、C2等時，在步驟S408中，追蹤電路1309將含有第2追蹤位置的焦點檢測區(qū)域群組Cl、C2等作為第I追蹤位置(焦點檢測區(qū)域C)，根據(jù)該第I追蹤位置的焦點信息來更新基準焦點檢測區(qū)域C，轉(zhuǎn)移到步驟S412。
[0168]另一方面，當(dāng)不存在含有第2追蹤位置的焦點檢測區(qū)域群組Cl、C2等時，在步驟S410中，追蹤電路1309根據(jù)第2追蹤位置(作為被攝體A的特征量的臉部、亮度、顏色部分)來更新基準焦點檢測區(qū)域C。
[0169]由此，上述第I實施方式設(shè)定多個焦點檢測區(qū)域C中的對于被攝體A處于對焦狀態(tài)的焦點檢測區(qū)域C，根據(jù)對焦狀態(tài)對焦點檢測區(qū)域C進行群組化，檢測焦點檢測區(qū)域群組Cl、C2等區(qū)域內(nèi)的被攝體A的特征量，設(shè)定處于對焦狀態(tài)的焦點檢測區(qū)域C作為第I追蹤位置，或者設(shè)定被攝體A的特征量部分作為第2追蹤位置，根據(jù)焦點檢測區(qū)域群組Cl、C2等的群組數(shù)，并根據(jù)第I或第2追蹤位置來追蹤被攝體A。由此，在上述第I實施方式中，即便在被攝體A的附近或與被攝體A相鄰地存在其他的被攝體E，也不會從作為追蹤對象的被攝體A轉(zhuǎn)換到其他的被攝體E,能夠可罪地追蹤作為追蹤對象的被攝體A,能夠提聞追蹤的可靠性。
[0170]在將焦點檢測區(qū)域C作為焦點檢測區(qū)域群組而進行了群組化的情況下，如果不存在焦點檢測區(qū)域群組，則選擇第2追蹤位置。如果群組數(shù)是I個，則選擇第I追蹤位置。如果群組數(shù)是2以上的多個，則根據(jù)第2追蹤位置和處于對焦狀態(tài)的焦點檢測區(qū)域C來選擇第I或第2追蹤位置。由此，例如圖17所示，即便從2個被攝體A、E接近的狀態(tài)成為圖18所示2個被攝體A、E離開的狀態(tài),追蹤對象也不會從被攝體A轉(zhuǎn)移到被攝體E,能夠?qū)⒆粉檶ο笤O(shè)為被攝體A而繼續(xù)追I?示。
[0171]如圖19所示，當(dāng)車體H作為其他被攝體進入拍攝被攝體A的構(gòu)圖內(nèi)時，追蹤特征檢測電路1307根據(jù)作為車體H的特征量的亮度、顏色信息來計算車體H的追蹤位置，根據(jù)這些亮度、顏色信息來設(shè)定追蹤車體H的亮度/顏色信息追蹤區(qū)域G2。
[0172]另外,具有該圖所示的被攝體A和車體H是指,例如圖18所示,在作為焦點檢測區(qū)域群組Cl、C2，第I追蹤位置(焦點檢測區(qū)域C)的群組數(shù)為“2以上”，并且是圖19所示的情況下時，在被攝體A的焦點檢測區(qū)域群組Cl內(nèi)不包含車體H的第2追蹤位置(作為車體H的特征量的臉部、亮度、顏色部分)。
[0173]如圖20所示，追蹤電路1309將含有第2追蹤位置的焦點檢測區(qū)域群組Cl作為第I追蹤位置(焦點檢測區(qū)域C)，根據(jù)該第I追蹤位置的焦點信息來更新基準焦點檢測區(qū)域C。
[0174]因此，即便車體H進入了拍攝被攝體A的構(gòu)圖內(nèi)，追蹤對象也不會從被攝體A轉(zhuǎn)移到被攝體E，能夠?qū)⒆稴示對象設(shè)為被攝體A來繼續(xù)追I?示。
[0175]本領(lǐng)域技術(shù)人員將容易地想起其他優(yōu)點和變形例。因此，本發(fā)明的更廣的方面不限于這里給出和描述的具體細節(jié)和代表性實施例。因此，可以在不脫離如用所附權(quán)利要求及它們的等同例定義的一般發(fā)明概念的精神或范圍的情況下進行各種變形。
【權(quán)利要求】
1.一種追蹤裝置，其具有: 群組化設(shè)定部，其在包含追蹤對象的圖像數(shù)據(jù)中的多個焦點檢測區(qū)域中，根據(jù)對焦狀態(tài)對所述多個焦點檢測區(qū)域進行群組化； 追蹤特征檢測部，其檢測由所述群組化設(shè)定部進行群組化后的所述群組的區(qū)域內(nèi)的所述追蹤對象的特征量；以及 追蹤部，其將對于所述追蹤對象處于對焦狀態(tài)的所述焦點檢測區(qū)域設(shè)定為第I追蹤位置，將由所述追蹤特征檢測部檢測出的所述特征量的部分設(shè)定為第2追蹤位置，根據(jù)進行所述群組化后的群組數(shù)，并按照所述第I追蹤位置或所述第2追蹤位置來追蹤所述追蹤對象。
2.一種追蹤裝置，其具有: 追蹤部，其具有多個焦點檢測區(qū)域，根據(jù)所述各焦點檢測區(qū)域?qū)τ趫D像數(shù)據(jù)中包含的追蹤對象的各對焦狀態(tài)來追蹤所述追蹤對象； 測距位置設(shè)定部，其在所述多個焦點檢測區(qū)域中設(shè)定對于所述追蹤對象處于對焦狀態(tài)的所述焦點檢測區(qū)域； 群組化設(shè)定部，其根據(jù)對焦狀態(tài)對由所述測距位置設(shè)定部設(shè)定的所述焦點檢測區(qū)域進行群組化； 追蹤特征檢測部，其檢測由所述群組化設(shè)定部進行群組化后的所述群組的區(qū)域內(nèi)的所述追蹤對象的特征量；以及 追蹤位置設(shè)定部，其將由所述測距位置設(shè)定部設(shè)定的所述焦點檢測區(qū)域設(shè)定為第I追蹤位置，將由所述追蹤特征檢`測部檢測出的所述特征量的部分設(shè)定為第2追蹤位置， 所述追蹤部根據(jù)由所述群組化設(shè)定部設(shè)定的所述群組的數(shù)量，并按照由所述追蹤位置設(shè)定部設(shè)定的所述第I追蹤位置或所述第2追蹤位置，在所述多個攝像數(shù)據(jù)上追蹤所述追蹤對象。
3.根據(jù)權(quán)利要求1或2所述的追蹤裝置，其中， 所述群組化設(shè)定部將所述多個焦點檢測區(qū)域中彼此相鄰并且為相同焦距的所述各焦點檢測區(qū)域群組化為I個群組。
4.根據(jù)權(quán)利要求1或2所述的追蹤裝置，其中， 所述群組化設(shè)定部將與所述測距位置設(shè)定部所設(shè)定的所述焦點檢測區(qū)域相分離的所述焦點檢測區(qū)域以及與該焦點檢測區(qū)域相鄰的所述焦點檢測區(qū)域群組化為另外的群組。
5.根據(jù)權(quán)利要求1或2所述的追蹤裝置，其中， 所述追蹤特征檢測部檢測臉部、亮度、顏色作為所述追蹤對象的特征量。
6.根據(jù)權(quán)利要求1或2所述的追蹤裝置，其中， 在由所述群組化設(shè)定部群組化為多個群組后，所述追蹤部根據(jù)所述第2追蹤位置與所述多個群組之間的位置關(guān)系來選擇所述第I追蹤位置或所述第2追蹤位置。
7.根據(jù)權(quán)利要求6所述的追蹤裝置，其中， 當(dāng)不存在由所述群組化設(shè)定部設(shè)定的所述群組時，所述追蹤部選擇所述第2追蹤位置，當(dāng)所述群組是I個時，所述追蹤部選擇所述第I追蹤位置，當(dāng)所述群組是多個時，所述追蹤部根據(jù)所述第2追蹤位置和處于所述對焦狀態(tài)的所述焦點檢測區(qū)域來選擇所述第I追蹤位置或所述第2追蹤位置。
8.根據(jù)權(quán)利要求1或2所述的追蹤裝置，其中， 所述圖像數(shù)據(jù)由連續(xù)的多個幀圖像構(gòu)成， 所述追蹤部按照所述多個幀圖像中的每一個幀圖像來更新所述第I追蹤位置或所述第2追蹤位置，在所述多個攝像數(shù)據(jù)上追蹤所述追蹤對象。
9.一種追蹤方法，其包含以下步驟: 在包含追蹤對象的圖像數(shù)據(jù)中的多個焦點檢測區(qū)域中，根據(jù)對焦狀態(tài)對所述多個焦點檢測區(qū)域進行群組化； 檢測進行所述群組化后的所述群組的區(qū)域內(nèi)的所述追蹤對象的特征量； 將對于所述追蹤對象處于對焦狀態(tài)的所述焦點檢測區(qū)域設(shè)定為第I追蹤位置，將所述追蹤對象的特征量的部分設(shè)定為第2追蹤位置，根據(jù)進行所述群組化后的群組數(shù)，并按照所述第I追蹤位置或所述第2追蹤位置來追蹤所述追蹤對象。
10.一種追蹤方法，其包含以下步驟: 在根據(jù)多個焦點檢測區(qū)域?qū)τ诎粉檶ο蟮膱D像數(shù)據(jù)中的追蹤對象的各對焦狀態(tài)來追蹤所述追蹤對象的情況下， 在所述多個焦點檢測區(qū)域中，設(shè)定對于所述追蹤對象處于對焦狀態(tài)的所述焦點檢測區(qū)域； 根據(jù)對焦狀態(tài)對進行了所述設(shè)定的所述焦點檢測區(qū)域進行群組化； 檢測進行所述群組化后的所述群組的區(qū)域內(nèi)的所述追蹤對象的特征量； 將處于所述對焦狀態(tài)的所述焦點檢測區(qū)域設(shè)定為第I追蹤位置，或者將所述追蹤對象的所述特征量的部分設(shè)定為第2追蹤位置； 根據(jù)進行所述群組化后的所述群組的數(shù)量，并按照所述設(shè)定后的所述第I追蹤位置或所述第2追蹤位置，在所述多個攝像數(shù)據(jù)上追蹤所述追蹤對象。
11.根據(jù)權(quán)利要求9或10所述的追蹤方法，其中， 在所述群組化中，將所述多個焦點檢測區(qū)域中彼此相鄰并且為相同焦距的所述各焦點檢測區(qū)域作為I個群組。
12.根據(jù)權(quán)利要求9或10所述的追蹤方法，其中， 在所述群組化中，將與被設(shè)定為對于所述追蹤對象處于對焦狀態(tài)的所述焦點檢測區(qū)域相分離的所述焦點檢測區(qū)域、以及與該焦點檢測區(qū)域相鄰的所述焦點檢測區(qū)域群組化為另外的群組。
13.根據(jù)權(quán)利要求9或10所述的追蹤方法，其中， 檢測臉部、亮度、顏色作為所述追蹤對象的特征量。
14.根據(jù)權(quán)利要求9或10所述的追蹤方法，其中， 當(dāng)群組化為多個群組時，在所述追蹤中，根據(jù)所述第2追蹤位置與所述多個群組之間的位置關(guān)系來選擇所述第I追蹤位置或所述第2追蹤位置。
15.根據(jù)權(quán)利要求14所述的追蹤方法，其中， 在所述追蹤中，如果不存在所述群組，則選擇所述第2追蹤位置，如果所述群組是I個，則選擇所述第I追蹤位置， 如果所述群組是多個，則根據(jù)所述第2追蹤位置和處于所述對焦狀態(tài)的所述焦點檢測區(qū)域來選擇所述第I追蹤位置或所述第2追蹤位置。
16.根據(jù)權(quán)利要求9或10所述的追蹤方法，其中， 所述圖像數(shù)據(jù)由連續(xù)的多個幀圖像構(gòu)成， 在所述追蹤中，按照所述多個幀圖像中的每一個幀圖像來更新所述第I追蹤位置或所述第2追蹤位置，在所述 多個攝像數(shù)據(jù)上追蹤所述追蹤對象。
【文檔編號】H04N9/04GK103731604SQ201310479013
【公開日】2014年4月16日 申請日期:2013年10月14日 優(yōu)先權(quán)日:2012年10月15日
【發(fā)明者】米山尚 申請人:奧林巴斯映像株式會社