圖像處理裝置、圖像處理方法和記錄介質(zhì)的制作方法
【專利摘要】提出一種能夠精確地跟蹤移動(dòng)對(duì)象的跟蹤方法。一種圖像處理設(shè)備，包括：距離信息獲取單元，用于獲取到要由圖像捕獲元件捕獲的被攝體的距離的信息；像素值信息獲取單元，用于獲取對(duì)應(yīng)于被攝體的圖像的像素值信息；以及跟蹤單元，用于基于獲取的距離信息和像素值信息，跟蹤移動(dòng)的對(duì)象。圖像捕獲元件具有相位差像素，用于檢測(cè)被攝體的相位差并且執(zhí)行對(duì)焦調(diào)節(jié)。距離信息獲取單元基于由相位差像素檢測(cè)的相位距離獲取距離信息。
【專利說明】圖像處理裝置、圖像處理方法和記錄介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置、圖像處理方法和記錄介質(zhì)。
【背景技術(shù)】
[0002]作為圖像處理裝置，例如，已知當(dāng)成像運(yùn)動(dòng)對(duì)象時(shí)自動(dòng)跟蹤對(duì)象的成像裝置(見專利文獻(xiàn)I)。
[0003]專利文獻(xiàn)I描述了一種成像裝置，其通過基于目標(biāo)顏色或亮度，從多個(gè)圖像重復(fù)檢測(cè)目標(biāo)圖像來跟蹤目標(biāo)圖像。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)I JP2010-113129A
【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]然而，根據(jù)專利文獻(xiàn)I中的技術(shù)，如果可以跟蹤的多個(gè)對(duì)象具有相同顏色或亮度，那么存在跟蹤不同于所希望對(duì)象的對(duì)象的可能性。例如，如果兩個(gè)對(duì)象正如交叉移動(dòng)，并且兩個(gè)對(duì)象具有相同顏色或亮度，那么存在跟蹤目標(biāo)從一個(gè)對(duì)象切換為另一個(gè)的可能性。
[0009]因此，本公開提出了一種能夠以高精度跟蹤移動(dòng)對(duì)象的跟蹤方法。
[0010]對(duì)于問題的解決方案
[0011]根據(jù)本公開，提供了一種圖像處理裝置，包括:距離信息獲取單元，其獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息；像素值信息獲取單元，其獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及跟蹤單元，其基于獲取的距離信息和獲取的像素值信息跟蹤移動(dòng)的對(duì)象。
[0012]根據(jù)本公開，提供了一種圖像處理方法，包括:獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息；獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及基于獲取的距離信息和獲取的像素值信息跟蹤移動(dòng)的對(duì)象。
[0013]根據(jù)本公開，提供了一種具有記錄在其上的程序的記錄介質(zhì)，所述程序使得計(jì)算機(jī)執(zhí)行:獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息；獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及基于獲取的距離信息和像素值信息跟蹤移動(dòng)的對(duì)象。
[0014]然后，根據(jù)本公開，基于獲取的距離信息和像素值信息跟蹤移動(dòng)的對(duì)象的圖像。因此，即使例如多個(gè)對(duì)象具有相同的顏色、亮度等的像素值信息，也可以基于距離信息識(shí)別各個(gè)對(duì)象并跟蹤希望的對(duì)象，并且因此可以以高精度跟蹤移動(dòng)對(duì)象。
[0015]本發(fā)明的有益效果
[0016]根據(jù)本公開，如上所述，可以以高精度跟蹤移動(dòng)對(duì)象。
【專利附圖】

【附圖說明】[0017]圖1是示出根據(jù)第一實(shí)施例的成像裝置的外部配置的前視圖。
[0018]圖2是示出根據(jù)第一實(shí)施例的成像裝置的外部配置的后視圖。
[0019]圖3是示出根據(jù)第一實(shí)施例的成像裝置的電配置的框圖。
[0020]圖4是圖示圖像傳感器的配置的圖。
[0021]圖5是圖示圖像傳感器的配置的圖。
[0022]圖6是示出成像裝置的跟蹤功能的配置示例的框圖。
[0023]圖7是示出在跟蹤移動(dòng)對(duì)象的同時(shí)捕獲圖像時(shí)成像裝置的操作示例的流程圖。
[0024]圖8是示出成像模式的選擇處理的流程圖。
[0025]圖9是示出AF選擇處理的流程圖。
[0026]圖10是示出AF模式的選擇處理的流程圖。
[0027]圖11是示出對(duì)象跟蹤和對(duì)焦跟蹤處理的流程圖。
[0028]圖12是示出要跟蹤的對(duì)象的圖。
[0029]圖13是示出AF點(diǎn)位置和對(duì)象距成像裝置的距離之間的關(guān)系的曲線圖。
[0030]圖14是圖示其中對(duì)象移動(dòng)的方向的預(yù)測(cè)方法的圖。
[0031]圖15是示出根據(jù)第二實(shí)施例的成像裝置的外部配置的前視圖。
[0032]圖16是示出根據(jù)第二實(shí)施例的成像裝置的外部配置的后視圖。
[0033]圖17是根據(jù)第二實(shí)施例的成像裝置的縱向視圖。
[0034]圖18是示出根據(jù)第二實(shí)施例的成像裝置的電配置的框圖。
[0035]圖19是根據(jù)第三實(shí)施例的成像裝置的縱向視圖。
[0036]圖20是示出根據(jù)第三實(shí)施例的成像裝置的電配置的框圖。
【具體實(shí)施方式】
[0037]下文中，將參照附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意到，在該說明書和附圖中，具有基本相同功能和結(jié)構(gòu)的元件用相同的參考標(biāo)號(hào)標(biāo)識(shí)表示，并且省略重復(fù)說明。
[0038]以下面示出的順序提供描述:
[0039]1.第一實(shí)施例
[0040]1-1.成像裝置的外部配置
[0041]1-2.成像裝置的電配置
[0042]1-3.圖像傳感器的詳細(xì)配置
[0043]1-4.對(duì)象跟蹤功能
[0044]1-5.成像裝置的操作
[0045]1-6.第一實(shí)施例的概述
[0046]2.第二實(shí)施例
[0047]2-1.成像裝置的外部配置
[0048]2-2.成像裝置的內(nèi)部配置
[0049]2-3.成像裝置的電配置
[0050]2-4.對(duì)象跟蹤功能
[0051]3.第三實(shí)施例
[0052]〈1.第一實(shí)施例>[0053](1-1.成像裝置的外部配置)
[0054]將參照?qǐng)D1和圖2描述作為根據(jù)第一實(shí)施例的圖像處理裝置的示例的成像裝置I的外部配置。圖1是示出根據(jù)第一實(shí)施例的成像裝置I的外部配置的前視圖。圖2是示出根據(jù)第一實(shí)施例的成像裝置I的外部配置的后視圖。
[0055]成像裝置I配置為例如緊湊型數(shù)字照相機(jī)。成像裝置I包括相機(jī)主體10和固定到相機(jī)主體10的成像鏡頭2。
[0056]在圖1中，內(nèi)置閃光燈318和安排在頂面的快門按鈕307提供在相機(jī)主體10的前偵U。如圖2所示，LCD (液晶顯示器)311提供在相機(jī)主體10的后側(cè)。
[0057]快門按鈕307是按下開關(guān)，其能夠執(zhí)行其中向下半按快門按鈕的“半按狀態(tài)”操作以及其中進(jìn)一步向下全按快門按鈕的“全按狀態(tài)”操作。當(dāng)在靜態(tài)圖像捕獲模式下向下半按快門按鈕307時(shí)，執(zhí)行捕獲對(duì)象的靜態(tài)圖像的準(zhǔn)備操作(諸如曝光控制值的設(shè)置和對(duì)焦檢測(cè)的準(zhǔn)備操作)。另一方面，當(dāng)進(jìn)一步向下全按快門按鈕307時(shí)，執(zhí)行成像操作(包括曝光圖3中示出的圖像傳感器4、對(duì)通過曝光獲得的圖像信號(hào)執(zhí)行預(yù)定圖像處理、以及在存儲(chǔ)卡等中記錄圖像信號(hào)的一系列操作)。
[0058]IXD311包括能夠顯示圖像的彩色液晶觸摸面板，并且顯示作為由圖像傳感器4捕獲的對(duì)象圖像的直通圖像，并且回放記錄的圖像。IXD311還用于設(shè)置在成像裝置I中實(shí)施的功能或模式，并且顯示其設(shè)置屏幕。替代IXD311，可以使用能夠觸摸輸入的有機(jī)EL或等離子體顯示裝置。
[0059]主開關(guān)(未示出)安排在相機(jī)主體10的頂面上，并且配置為每次按壓開關(guān)時(shí)打開或關(guān)閉成像裝置I的按壓開關(guān)。
[0060]成像鏡頭2用作捕獲來自對(duì)象的光(光圖像)的鏡頭窗，并且還用作將對(duì)象光引導(dǎo)到安排在相機(jī)主體10的內(nèi)部的圖像傳感器4的成像光學(xué)系統(tǒng)。成像鏡頭2包括包含沿著光軸順序安排的多個(gè)透鏡的透鏡組。透鏡組包含用于調(diào)節(jié)對(duì)焦的對(duì)焦透鏡和用于可變能力的變焦透鏡，并且這些透鏡每個(gè)沿著光軸方向驅(qū)動(dòng)，用于可變能力或?qū)拐{(diào)整。
[0061](1-2.成像裝置的電配置)
[0062]將參照?qǐng)D3描述根據(jù)第一實(shí)施例的成像裝置I的電配置。圖3是示出根據(jù)第一實(shí)施例的成像裝置I的電配置的框圖。
[0063]如圖3所示，成像裝置I包括成像鏡頭2、相機(jī)DSP單元3、圖像傳感器4、預(yù)處理單元5、LCD16、記錄介質(zhì)19、操作單元22、CPU20、USB23、EEPR0M24、RAM25、閃光燈27和存儲(chǔ)器28。
[0064]成像鏡頭2通過在相機(jī)DSP (數(shù)字信號(hào)處理器)單元3的控制下，改變變焦透鏡、對(duì)焦和光圈，將入射光會(huì)聚在隨后的圖像傳感器4的成像面上，從而在隨后的圖像傳感器4的成像面上形成光學(xué)圖像。
[0065]圖像傳感器4成像對(duì)象。圖像傳感器4是CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)固態(tài)圖像傳感器等，并且通過驅(qū)動(dòng)預(yù)處理單元5光電轉(zhuǎn)換在成像面上形成的光學(xué)圖像，以輸出成像信號(hào)作為成像結(jié)果。
[0066]圖像傳感器4安排在與Z軸垂直的平面(XY平面)上，并且接收對(duì)象光。在圖像傳感器4中，通過包括光電二極管配置的多個(gè)像素以矩陣形狀二位排列。然后，普通像素和相位差像素排列在每個(gè)像素的接收面上，在普通像素中以1:2:1的比率布置具有相互不同光譜特性的例如R(紅色)、G (綠色)和B (藍(lán)色)的濾色鏡，相位差像素用于通過對(duì)象光的光瞳分割檢測(cè)對(duì)焦。
[0067]圖像傳感器4生成并且輸出關(guān)于通過成像鏡頭2之后形成的對(duì)象光圖像的R(紅色)、G (綠色)和B (藍(lán)色)的每個(gè)顏色分量的模擬電信號(hào)(圖像信號(hào))作為R、G和B的每個(gè)顏色的圖像信號(hào)，并且還輸出相位差信息。稍后將描述圖像傳感器4的詳細(xì)配置。
[0068]預(yù)處理單元5驅(qū)動(dòng)圖像傳感器4，并且還通過對(duì)從圖像傳感器4輸出的圖像信號(hào)執(zhí)行信號(hào)處理輸出圖像數(shù)據(jù)。預(yù)處理單元5包括時(shí)序發(fā)生器(TG)6、V驅(qū)動(dòng)器7和⑶S/AGC/ADC單元8。
[0069]時(shí)序發(fā)生器(TG)6生成并且輸出各種時(shí)序信號(hào)作為圖像傳感器4的驅(qū)動(dòng)標(biāo)準(zhǔn)，并且V驅(qū)動(dòng)器7基于由時(shí)序發(fā)生器6生成的時(shí)序信號(hào)驅(qū)動(dòng)圖像傳感器4。
[0070]⑶S/AGC/ADC單元8使從圖像傳感器4輸出的成像信號(hào)經(jīng)歷相關(guān)雙采樣(CTS)，從而生成例如原色的色彩信號(hào)。此外，在通過自動(dòng)增益控制(AGC)校正色彩信號(hào)的信號(hào)電平之后，CDS/AGC/ADC單元8通過模擬到數(shù)字轉(zhuǎn)換器(ADC)生成圖像數(shù)據(jù)。然后，CDS/AGC/ADC單元8輸出圖像數(shù)據(jù)到相機(jī)DSP單元3。
[0071]相機(jī)DSP單元3在中央處理單元(CPU) 20的控制下切換操作，并且使用存儲(chǔ)器28執(zhí)行與從預(yù)處理單元5輸出的圖像數(shù)據(jù)的記錄、回放、監(jiān)視等相關(guān)的處理。存儲(chǔ)器28形成相機(jī)DSP單元3的工作區(qū)。
[0072]相機(jī)DSP單元3包括相機(jī)信號(hào)處理單元11、存儲(chǔ)器控制器12、鏡頭控制器13、分辨率轉(zhuǎn)換單元14、顯示控制器15、圖像編解碼器17、介質(zhì)控制器18、BIU21和閃光燈控制器26。
[0073]相機(jī)信號(hào)處理單元11對(duì)從預(yù)處理單元5輸出的圖像數(shù)據(jù)執(zhí)行白平衡調(diào)整處理、伽馬校正處理等，經(jīng)由存儲(chǔ)器控制器12將處理的圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器28中，并且輸出圖像數(shù)據(jù)到分辨率轉(zhuǎn)換單元14。相機(jī)信號(hào)處理單元11還從圖像數(shù)據(jù)檢測(cè)光圈校正和自動(dòng)對(duì)焦調(diào)整所需的信息，并且將信息輸出到鏡頭控制器13。
[0074]存儲(chǔ)器控制器12是控制外部添加到相機(jī)DSP單元3的存儲(chǔ)器28的控制器，并且將從相機(jī)DSP單元3的每個(gè)單元輸出的圖像數(shù)據(jù)記錄到存儲(chǔ)器28，并且還讀取和輸出存儲(chǔ)器28中記錄的圖像數(shù)據(jù)到相機(jī)DSP單元3的每個(gè)單元。
[0075]分辨率轉(zhuǎn)換單元14轉(zhuǎn)換存儲(chǔ)器28中存儲(chǔ)的圖像數(shù)據(jù)或從相機(jī)信號(hào)處理單元11輸出的圖像數(shù)據(jù)的分辨率，并且將圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器28中。相應(yīng)地，相機(jī)DSP單元3將由圖像傳感器4獲得的成像結(jié)果轉(zhuǎn)換為傳遞到LCD16用于顯示的分辨率，并且還將成像結(jié)果轉(zhuǎn)換為由用戶指示用于記錄介質(zhì)19的分辨率。相機(jī)DSP單元3切除成像結(jié)果的部分區(qū)域，并且執(zhí)行與分辨率轉(zhuǎn)換相關(guān)的處理，從而執(zhí)行電子變焦或回放變焦的處理。
[0076]顯示控制器15通過存儲(chǔ)器28中存儲(chǔ)的圖像數(shù)據(jù)驅(qū)動(dòng)液晶顯示器(IXD) 16，從而顯示成像結(jié)果的監(jiān)視圖像或顯示記錄介質(zhì)中記錄的成像結(jié)果。
[0077]圖像編解碼器17壓縮存儲(chǔ)器28中存儲(chǔ)的圖像數(shù)據(jù)，以便輸出壓縮的圖像數(shù)據(jù)到相機(jī)DSP單元3的每個(gè)單元，或者相反地解壓存儲(chǔ)器28中存儲(chǔ)的圖像數(shù)據(jù)，以便輸出解壓的圖像數(shù)據(jù)到相機(jī)DSP單元3的每個(gè)單元。JPEG(聯(lián)合圖像編碼專家組)的技術(shù)應(yīng)用于靜態(tài)圖像以壓縮或解壓數(shù)據(jù)。另一方面，諸如IS0/IEC JTC1/SC29WG11的MPEGl (運(yùn)動(dòng)圖像專家組I)、MPEG2和MPEG4以及ITU-T的H.263和H.264/MPEG4-AVC (先進(jìn)視頻編碼)的使用運(yùn)動(dòng)矢量的數(shù)據(jù)壓縮技術(shù)應(yīng)用于運(yùn)動(dòng)圖像。
[0078]介質(zhì)控制器18將存儲(chǔ)器28中記錄的圖像數(shù)據(jù)記錄在記錄介質(zhì)19中，并且還讀取記錄介質(zhì)19中記錄的圖像數(shù)據(jù)以輸出圖像數(shù)據(jù)到存儲(chǔ)器28。作為記錄介質(zhì)19，可以廣泛地應(yīng)用各種記錄介質(zhì)，諸如通過半導(dǎo)體存儲(chǔ)器的所謂存儲(chǔ)卡、如可記錄DVD (數(shù)字多功能盤)和可記錄⑶(致密盤)的光盤、以及硬盤驅(qū)動(dòng)器。
[0079]鏡頭控制器13基于從相機(jī)信號(hào)處理單元11獲得的信息控制鏡頭塊2的光圈，并且還通過所謂爬山(hill-climbing)方法控制鏡頭塊2的自動(dòng)對(duì)焦。鏡頭控制器13還在CPU20的控制下響應(yīng)于用戶的操作，改變鏡頭塊2的變焦。
[0080]BIU (總線接口單元)21是CPU20和相機(jī)DSP單元3之間的接口，并且通過其輸入和輸出與通過CPU20的相機(jī)DSP單元3的控制有關(guān)的命令。
[0081]閃光燈控制器26控制閃光燈27的光量為閃光成像模式下由CPU20設(shè)置的光量。
[0082]操作單元22是成像裝置I中提供的操作控制或者IXD16的顯示屏中提供的通過觸摸面板的用戶界面，并且將通過用戶的操作通知CPU20。
[0083]USB (通用串行總線)23是存儲(chǔ)類兼容接口，并且連接諸如各人計(jì)算機(jī)的外部設(shè)備以將各種數(shù)據(jù)輸入外部設(shè)備/從外部設(shè)備輸出各種數(shù)據(jù)。
[0084]EEPROM(電可擦除可編程只讀存儲(chǔ)器)24是記錄CPU20的處理程序等的記錄介質(zhì)。RAM25是CPU20的工作存儲(chǔ)器。在成像裝置I中，CPU20的處理程序(例如，執(zhí)行對(duì)象跟蹤功能的程序)可以通過預(yù)先安裝在成像裝置I中提供。替代通過預(yù)安裝提供程序，程序還可以通過經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)的安裝提供，或者通過諸如存儲(chǔ)卡、光盤、磁盤等的各種類型的介質(zhì)提供。
[0085]CPU20是控制成像裝置I的操作的控制器，并且通過執(zhí)行EEPR0M24中記錄的處理程序，響應(yīng)于通過用戶對(duì)操作單元22等的操作控制每個(gè)單元的操作。
[0086]也就是說，當(dāng)通過操作單元22的操作指示圖像捕獲時(shí)，CPU20通過控制預(yù)處理單元5和相機(jī)DSP單元3的操作從圖像傳感器4獲取作為運(yùn)動(dòng)圖像的成像結(jié)果以順序處理成像結(jié)果，并且經(jīng)由相機(jī)信號(hào)處理單元11和存儲(chǔ)器控制器12順序?qū)⒊上窠Y(jié)果存儲(chǔ)在存儲(chǔ)器28中。CPU20還通過分辨率轉(zhuǎn)換單元14轉(zhuǎn)換作為成像結(jié)果順序存儲(chǔ)在存儲(chǔ)器中的圖像數(shù)據(jù)的分辨率，并且通過顯示控制器115由圖像數(shù)據(jù)驅(qū)動(dòng)IXD16。因此，在將作為運(yùn)動(dòng)圖像的成像結(jié)果記錄在存儲(chǔ)器28中的同時(shí)，CPU20在IXD16中顯示成像結(jié)果的監(jiān)視圖像。
[0087]如果，在此狀態(tài)下，由用戶指示作為靜態(tài)圖像的成像結(jié)果的記錄，則CPU20停止存儲(chǔ)器28中相機(jī)信號(hào)處理單元11的輸出數(shù)據(jù)的存儲(chǔ)。然后，CPU20通過分辨率轉(zhuǎn)換單元14將指示獲取成像結(jié)果時(shí)存儲(chǔ)器28中存儲(chǔ)的圖像數(shù)據(jù)轉(zhuǎn)換為由用戶指示的分辨率。CPU20還通過圖像編解碼器17壓縮已經(jīng)經(jīng)歷分辨率轉(zhuǎn)換處理的圖像數(shù)據(jù)，然后將壓縮的圖像數(shù)據(jù)記錄在記錄介質(zhì)19中。在處理序列中，CPU20指示分辨率轉(zhuǎn)換單元14創(chuàng)建縮略圖圖像，并且由此創(chuàng)建用于索引的縮略圖圖像。CPU20還將縮略圖圖像記錄為記錄介質(zhì)19中記錄的成像結(jié)果的索引圖像。
[0088]類似地，指示由用戶指示的作為運(yùn)動(dòng)圖像的記錄的開始，CPU20停止存儲(chǔ)器28中相機(jī)信號(hào)處理單元11的輸出數(shù)據(jù)的存儲(chǔ)，并且開始通過分辨率轉(zhuǎn)換單元14的從相機(jī)信號(hào)處理單元11輸出的圖像數(shù)據(jù)的分辨率轉(zhuǎn)換處理。CPU20還指示由分辨率轉(zhuǎn)換單元14處理的圖像數(shù)據(jù)通過圖像編解碼器17的圖像壓縮處理，并且指示記錄介質(zhì)18記錄通過圖像編解碼器17的成像結(jié)果。同樣在該處理中，CPU20指示分辨率轉(zhuǎn)換單元14創(chuàng)建當(dāng)開始記錄時(shí)第一幀的縮略圖圖像，并且將縮略圖圖像記錄在記錄介質(zhì)19中作為記錄介質(zhì)19中記錄的成像結(jié)果的索引圖像。
[0089](1-3.圖像傳感器的詳細(xì)配置)
[0090]將參照?qǐng)D4和5描述圖像傳感器4的配置。圖4和5是圖示圖像傳感器4的配置的圖。
[0091]如圖4所示，圖像傳感器4配置為能夠通過在成像面IOlf上以矩形形狀規(guī)定的多個(gè)AF區(qū)域EF的每個(gè)，基于相位差檢測(cè)方法檢測(cè)對(duì)焦。
[0092]在每個(gè)AF區(qū)域Ef中，在用作聚焦透鏡的微透鏡ML(圖5中示出的線圈)和光電二極管之間提供包括R像素111、G像素112和B像素113的普通像素(下文中，也稱為“普通像素”)，在R像素111、G像素112和B像素113中每個(gè)分別布置R(紅色)、G (綠色)和B (藍(lán)色)的濾色鏡。另一方面，在每個(gè)AF區(qū)域Ef中提供用于實(shí)現(xiàn)光瞳分割功能以執(zhí)行相位差A(yù)F的一對(duì)像素(下文中，也稱為“AF像素對(duì)”)120f。多個(gè)AF像素對(duì)120f是通過檢測(cè)對(duì)象的相位差調(diào)節(jié)對(duì)焦的相位差像素。在AF區(qū)域Ef中，基本上通過普通像素110獲取對(duì)象的圖像信息，普通像素110的數(shù)目大于AF像素對(duì)120f的數(shù)目。
[0093]在AF區(qū)域Ef中，Gr線LI和Gb線L2形成為不具有光瞳分割功能的普通像素110的水平線(下文中，也稱為“普通像素線”)Ln，在Gr線LI中在水平方向交替安排G像素112和R像素111，在Gb線L2中在水平方向交替安排B像素113和G像素112。通過在水平方向交替安排的Gr線LI和Gb線L2，由各組普通像素110配置拜耳陣列。
[0094]同樣在AF區(qū)域Ef中，由包括與沿著水平方向重復(fù)安排的普通像素110相同配置(直徑和曲率)的一個(gè)微透鏡ML的AF像素對(duì)120f，在垂直方向周期性地形成其中并排安排多個(gè)AF像素對(duì)120f的AF線Lf。優(yōu)選的是提供如在垂直方向上相互鄰近的AF線Lf之間插入缺少AF線Lf的對(duì)象的圖像信息所需那么多(例如，4或更多)的普通像素線Ln。作為在AF線Lf上或下鄰近的兩個(gè)普通像素線Ln的組合，可以組合相同類型的水平線(Gr線LI或Gb線L2)或者不同類型的水平線(一條Gr線LI和一條Gb線L2)。
[0095](1-4.對(duì)象跟蹤功能)
[0096]成像裝置I首先基于距離信息和像素值信息(顏色信息等)，開始通過任何AF點(diǎn)檢測(cè)的對(duì)象的跟蹤，并且繼續(xù)將對(duì)象的最近部分對(duì)焦。此外，通過在預(yù)測(cè)距當(dāng)前對(duì)焦位置的對(duì)焦移動(dòng)量以及對(duì)象前一幀的對(duì)焦位置的同時(shí)跟蹤對(duì)焦，可以捕獲對(duì)焦的移動(dòng)對(duì)象的圖像。
[0097]圖6是示出成像裝置I的跟蹤功能的配置示例的框圖。如圖6所示，成像裝置I包括距離信息獲取單元210、像素值信息獲取單元220、對(duì)象識(shí)別單元230、預(yù)測(cè)單元240和跟蹤單元250。圖6中示出的元件由圖3中示出的相機(jī)DSP單元3、預(yù)處理單元5、CPU20等實(shí)現(xiàn)。
[0098]距離信息獲取單元210獲取直到要成像的對(duì)象的距離信息。更具體地，距離信息獲取單元210基于由圖像傳感器4的AF像素對(duì)120f檢測(cè)的相位差，獲取距離信息。距離信息獲取單元210還獲取位于不同位置的對(duì)象的距離信息。也就是說，距離信息獲取單元210獲取連續(xù)幀的每幀中對(duì)象的距離信息。
[0099]距離信息獲取單元210可以根據(jù)對(duì)象的尺寸使多個(gè)AF像素對(duì)120f的部分稀薄，獲取距離信息。例如，如果對(duì)象具有等于預(yù)定尺寸或更大的尺寸，則距離信息獲取單元210稀疏多個(gè)AF像素對(duì)120f的部分。即使以此方式稀疏AF像素對(duì)120f，如果對(duì)象具有大尺寸，則僅僅稍稍影響檢測(cè)的精度。此外，稀疏要檢測(cè)的AF像素對(duì)120f的數(shù)目在節(jié)電上有效。距離信息獲取單元210將獲取的距離信息輸出到對(duì)象識(shí)別單元230和預(yù)測(cè)單元240。
[0100]像素值信息獲取單元220獲取對(duì)應(yīng)于對(duì)象的對(duì)象像素的像素值信息。在此，像素值信息例如是關(guān)于對(duì)象像素的顏色和亮度的信息。像素值信息獲取單元220獲取連續(xù)幀中每幀的對(duì)象像素的像素值信息。像素值信息獲取單元220將獲取的像素值信息輸出到跟蹤單元250。
[0101]對(duì)象識(shí)別單元230基于獲取的距離信息識(shí)別要跟蹤的對(duì)象。例如，對(duì)象識(shí)別單元230識(shí)別其包括在距離信息中的距離小于預(yù)定值的對(duì)象。當(dāng)與背景比較時(shí)，從成像裝置I到如人的對(duì)象的距離短，并且通過設(shè)置其距離小于預(yù)定值的對(duì)象作為要跟蹤的對(duì)象，可以適當(dāng)?shù)刈R(shí)別移動(dòng)的人。對(duì)象識(shí)別單元230將識(shí)別結(jié)果輸出到預(yù)測(cè)單元240。
[0102]預(yù)測(cè)單元240基于多條獲取的距離信息，預(yù)測(cè)目的地位置中要跟蹤的對(duì)象的距離信息。例如，預(yù)測(cè)單元240使用位于多個(gè)幀中緊接在前的對(duì)象的距離信息預(yù)測(cè)目的地位置的距離信息。預(yù)測(cè)單元240將預(yù)測(cè)結(jié)果輸出到跟蹤單元250。
[0103]跟蹤單元250基于獲取的距離信息和像素值信息跟蹤移動(dòng)對(duì)象。在此，跟蹤單元250跟蹤由對(duì)象識(shí)別單元230識(shí)別的對(duì)象。因此，即使多個(gè)對(duì)象例如具有相同的顏色、亮度等的像素值信息，可以基于距離信息識(shí)別各個(gè)對(duì)象，并且可以跟蹤希望的對(duì)象，因此可以以聞精度跟蹤移動(dòng)對(duì)象。
[0104]如果目的地位置的對(duì)象的像素值信息與緊接在前位置的對(duì)象的像素值信息相同，則跟蹤單元250跟蹤對(duì)象。換句話說，如果目的地位置的對(duì)象的像素值信息與緊接在前位置的對(duì)象的像素值信息不相同，則跟蹤單元250停止跟蹤。因此，可以避免具有不同像素值信息的對(duì)象的跟蹤，并且因此可以以更高精度跟蹤對(duì)象。
[0105](1-5.成像裝置的操作)
[0106]將參照?qǐng)D7描述在跟蹤移動(dòng)對(duì)象的同時(shí)捕獲圖像時(shí)成像裝置I的操作示例。圖7是示出在跟蹤移動(dòng)對(duì)象的同時(shí)捕獲圖像時(shí)成像裝置I的操作示例的流程圖。
[0107]通過由用戶激活成像裝置，開始圖7中的流程圖。在步驟501中，在IXD311中顯示由圖像傳感器4捕獲的直通圖像。用戶通過觀看顯示的直通圖像確認(rèn)對(duì)象和構(gòu)圖。
[0108]接下來，在步驟502中，接收由用戶選擇的成像模式。
[0109]在此，成像裝置I具有多個(gè)成像模式，并且具有例如自動(dòng)模式和程序模式。自動(dòng)模式是其中基于測(cè)光值選擇快門速度、F數(shù)、ISO敏感度、閃光燈的閃光和AF點(diǎn)的模式。程序模式是包括快門優(yōu)先AE模式和光圈優(yōu)先AE模式的模式，在快門優(yōu)先AE模式中基于用戶通過操作單元任意選擇的快門速度決定曝光，在光圈優(yōu)先AE模式中類似地選擇光圈。用戶通過對(duì)于成像條件的調(diào)整，從這些模式中選擇適當(dāng)?shù)某上衲Ｊ?。在自?dòng)模式中，基于稍后描述的測(cè)量的結(jié)果，閃光燈的閃光自動(dòng)出現(xiàn)。在不同于自動(dòng)模式的其他成像模式中，用戶選擇強(qiáng)制閃光或不閃光。可以通過諸如模式設(shè)置轉(zhuǎn)盤等的操作部件進(jìn)行這些選擇。
[0110](成像模式的選擇處理)
[0111]將參照?qǐng)D8描述步驟502中執(zhí)行的成像模式的選擇處理。圖8是示出成像模式的選擇處理的流程圖。[0112]在步驟601中，如果成像模式不是自動(dòng)模式(否)，則處理進(jìn)到步驟602。另一方面，如果成像模式是自動(dòng)模式(是)，則處理進(jìn)到步驟606。接下來，在步驟602中，如果成像模式不是程序模式(否)，則處理進(jìn)到步驟603。另一方面，如果成像模式是程序模式(是)，則處理進(jìn)到步驟604。
[0113]在步驟603中，用戶基于緊接在前測(cè)量的測(cè)光值，任意地選擇快門速度、F數(shù)、ISO敏感度和閃光燈的閃光。
[0114]在步驟604中，用戶基于緊接在前測(cè)量的測(cè)光值，決定快門速度、F數(shù)和ISO敏感度中的一個(gè)或多個(gè)設(shè)置，并且其他設(shè)置被自動(dòng)決定。然后，在步驟605中，用戶設(shè)置是否閃光閃光燈。
[0115]在步驟606中，成像裝置I基于緊接在前測(cè)量的測(cè)光值，自動(dòng)設(shè)置快門速度、F數(shù)、ISO敏感度和閃光燈的閃光。然后，在步驟607中，通過適應(yīng)由用戶決定的構(gòu)圖，自動(dòng)選擇AF點(diǎn)。
[0116]在返回到圖7中的流程圖之前，在步驟502中完成成像模式的選擇處理。在步驟503中，接收通過適應(yīng)要由用戶成像的構(gòu)圖選擇并且旨在用于AF的AF區(qū)域。
[0117]在此，寬AF、中心固定AF和局部AF可用于AF區(qū)域。在寬AF中，成像裝置I從所有AF點(diǎn)自動(dòng)選擇確定為最佳的AF點(diǎn)。在中心固定AF中，固定存在于中心的AF點(diǎn)。在局部AF中，AF點(diǎn)設(shè)為來自可選擇的AF點(diǎn)的任何位置。然后，用戶通過適應(yīng)對(duì)象和構(gòu)圖的環(huán)境選擇AF區(qū)域。當(dāng)選擇自動(dòng)模式作為成像模式時(shí)，AF區(qū)域變?yōu)閷扐F。在局部AF中對(duì)象跟蹤和對(duì)焦跟蹤運(yùn)打。
[0118](AF區(qū)域選擇處理)
[0119]將參照?qǐng)D9描述步驟503中執(zhí)行的AF區(qū)域選擇處理。圖9是示出AF區(qū)域選擇處理的流程圖。
[0120]在步驟701中，如果選擇自動(dòng)模式作為成像模式(是)，則處理進(jìn)到步驟707。另一方面，如果選擇不同于自動(dòng)模式的模式作為成像模式(否)，則處理進(jìn)到步驟702。
[0121]在步驟702中，如果用戶選擇寬AF(是)，則處理進(jìn)到步驟707。另一方面，如果選擇不同于寬AF的AF區(qū)域(否)，則處理進(jìn)到步驟703。在步驟703中，如果用戶選擇中心固定AF (是)，則處理進(jìn)到步驟706。另一方面，如果選擇局部AF (否)，則處理進(jìn)到步驟704。
[0122]在步驟704中，設(shè)置局部AF作為AF區(qū)域。然后，在步驟705中，由用戶從所有AF點(diǎn)選擇任意一點(diǎn)。
[0123]在步驟706中，設(shè)置中心固定AF作為AF區(qū)域。在此情況下，存在于中心的AF點(diǎn)用于對(duì)焦檢測(cè)。在步驟707中，設(shè)置寬AF作為AF區(qū)域。在此情況下，成像裝置I從所有AF點(diǎn)自動(dòng)選擇確定為最佳的AF點(diǎn)。
[0124]在返回到圖7中的流程圖之前，在步驟503中完成AF區(qū)域選擇處理。在步驟504中，接收適應(yīng)對(duì)象的環(huán)境的由用戶選擇的AF模式。
[0125]單個(gè)AF、連續(xù)AF和自動(dòng)AF可用做AF模式。在單個(gè)AF中，對(duì)焦調(diào)節(jié)狀態(tài)固定在向下半按快門按鈕307(圖1)時(shí)的AF點(diǎn)。在連續(xù)AF中，在向下半按快門按鈕307同時(shí)，AF點(diǎn)的對(duì)焦總是連續(xù)調(diào)節(jié)。在自動(dòng)AF中，成像裝置I通過適應(yīng)對(duì)象的移動(dòng)切換單個(gè)AF和連續(xù)AF。在連續(xù)AF中對(duì)象跟蹤和對(duì)焦跟蹤運(yùn)行。
[0126](AF模式選擇處理)[0127]將參照?qǐng)D10描述在步驟504中執(zhí)行的AF模式選擇處理。圖10是示出AF模式的選擇處理的流程圖。
[0128]在步驟801中，如果用戶選擇單個(gè)AF作為AF模式(是)，則處理進(jìn)到步驟805。另一方面，如果選擇不同于單個(gè)AF的AF作為AF模式(否)，則處理進(jìn)到步驟802。
[0129]在步驟802中，如果用戶選擇連續(xù)AF作為AF模式(是)，則處理進(jìn)到步驟804。另一方面，如果選擇不同于連續(xù)AF的AF作為AF模式(否)，則處理進(jìn)到步驟803。
[0130]在步驟803中，設(shè)置自動(dòng)AF作為AF模式。在步驟804中，設(shè)置連續(xù)AF作為AF模式。在步驟805中，設(shè)置單個(gè)AF作為AF模式。
[0131]在返回到圖7中的流程圖之前，在步驟504中完成AF模式的選擇處理。在步驟505中，由圖像傳感器4(圖3)測(cè)量對(duì)象。取決于設(shè)置的成像模式，決定快門速度、F數(shù)、ISO敏感度和閃光燈的閃光的設(shè)置。接下來，在步驟506中，執(zhí)行對(duì)象跟蹤和對(duì)焦跟蹤。
[0132](對(duì)象跟蹤和對(duì)焦跟蹤)
[0133]將參照?qǐng)D11描述步驟506中的對(duì)象跟蹤和對(duì)焦跟蹤處理。圖11是示出對(duì)象跟蹤和對(duì)焦跟蹤處理的流程圖。
[0134]在步驟901中，如果選擇局部AF作為AF區(qū)域(是)，則處理進(jìn)到步驟902。另一方面，如果選擇不同于局部AF的AF作為AF區(qū)域(否)，則不執(zhí)行對(duì)象跟蹤和對(duì)焦跟蹤處理，并且處理進(jìn)到圖7中步驟507中的處理。
[0135]在步驟902中，如果要自動(dòng)對(duì)焦的對(duì)象處于直通圖像中(是)，則處理進(jìn)到步驟903。另一方面，如果要自動(dòng)對(duì)焦的對(duì)象不處于直通圖像中(否)，則重復(fù)步驟902中的確定直到對(duì)象進(jìn)入直通圖像。
[0136]在步驟903中，如果AF點(diǎn)與對(duì)象重疊(是)，則處理進(jìn)到步驟904。另一方面，如果AF點(diǎn)與對(duì)象不重疊(否)，則重復(fù)步驟903中的確定直到AF點(diǎn)與對(duì)象重疊。
[0137]在步驟904中，如果向下半按快門按鈕307 (是)，則處理進(jìn)到步驟905。另一方面，如果沒有向下半按快門按鈕307 (否)，則處理進(jìn)到步驟903。
[0138]在步驟905中，對(duì)象識(shí)別單元230基于AF點(diǎn)的距離信息(由距離信息獲取單元210獲取的距離信息)識(shí)別對(duì)象，并且跟蹤單元250設(shè)置最接近成像裝置I的識(shí)別對(duì)象的點(diǎn)作為要對(duì)焦跟蹤的點(diǎn)。
[0139]將參照?qǐng)D12和13描述對(duì)象跟蹤和要對(duì)焦跟蹤的點(diǎn)的設(shè)置。圖12是示出要跟蹤的對(duì)象的圖。圖13是示出AF點(diǎn)位置和對(duì)象距成像裝置I的距離之間的關(guān)系的曲線圖。
[0140]由沿著圖12中的虛線箭頭X存在的AF點(diǎn)檢測(cè)的距離信息具有如圖13中的1201的分布。圖13中的水平軸代表對(duì)應(yīng)于虛線箭頭X的水平方向的AF點(diǎn)位置，并且垂直線代表距成像裝置I的距離。
[0141]在此，具有范圍1202中的距離信息(預(yù)定距離Dl或更小)的AF點(diǎn)的集合識(shí)別為對(duì)象。假設(shè)范圍1202為依賴于對(duì)象的形狀可變。點(diǎn)1203是最接近成像裝置I的點(diǎn)，并且組合對(duì)應(yīng)于點(diǎn)1203的距離信息和從圖像傳感器4的普通像素獲得的顏色信息以設(shè)為要對(duì)焦跟蹤的點(diǎn)。此外，從普通像素獲得的亮度信息或者與參考圖像對(duì)照匹配的圖案可以用作與距離信息的組合。
[0142]如果識(shí)別為對(duì)象的AF點(diǎn)的數(shù)目超過例如所有AF點(diǎn)的50% (對(duì)象大)，則圖像傳感器101可以通過稀疏AF像素的一些線讀取。這是因?yàn)榧词雇ㄟ^稀疏AF像素的一些線減少AF點(diǎn)的數(shù)目并且通過讀取圖像傳感器101，實(shí)際上也不影響距離信息的操作，即使當(dāng)對(duì)象以高速移動(dòng)時(shí)，也可以正確地操作距離信息。
[0143] 通過返回到圖11中示出的流程圖，描述將繼續(xù)。在步驟906中，預(yù)測(cè)單元240預(yù)測(cè)在步驟905中設(shè)置的要對(duì)焦跟蹤的點(diǎn)移動(dòng)的方向，也就是說，對(duì)象移動(dòng)的方向。
[0144]將參照?qǐng)D14描述對(duì)象移動(dòng)的方向的預(yù)測(cè)方法。圖14是圖示對(duì)象移動(dòng)的方向的預(yù)測(cè)方法的圖。
[0145]在此，假設(shè)在步驟905中向下半按快門按鈕時(shí)對(duì)象的位置是Pt。然后，一幀之前的位置是位置Pt-ι，并且一幀之后的位置是Pt+i。如果通過使用三維坐標(biāo)表示為Xt+l，Yt+l，Zt+l，則可以通過以下公式⑴到(3)確定要預(yù)測(cè)的位置Pt+Ι:
[0146]Xt+1 = Xt+ (Xt - Xt-1)…(I)
[0147]Yt+1 = Yt+(Yt - Yt-1)...(2)
[0148]Zt+1 = Zt+ (Zt - Zt-1)…(3)
[0149]根據(jù)連續(xù)跟蹤對(duì)焦所需，通過運(yùn)算上面的公式(I)到(3)預(yù)測(cè)對(duì)象移動(dòng)的方向。X和Y方向?qū)?yīng)于圖像傳感器4的平面，并且Z方向的值等于到對(duì)象的距離R，并且基于該值執(zhí)行AF。在預(yù)測(cè)期間可以確定目的地點(diǎn)的對(duì)象的像素值信息是否與緊接在前點(diǎn)的對(duì)象的像素值信息相同，以只是在兩條像素值信息相同時(shí)繼續(xù)跟蹤。
[0150]如果保持向下半按快門按鈕(否)，則重復(fù)步驟904到906。另一方面，如果在步驟907中向下全按快門按鈕(是)，則處理進(jìn)到步驟507。這在步驟506中完成對(duì)象跟蹤和對(duì)焦跟蹤處理，以返回到圖7中的流程圖。
[0151]在步驟507中，實(shí)際上捕獲靜態(tài)圖像。接下來，在步驟508中，在步驟507中的成像結(jié)果記錄在存儲(chǔ)卡中以終止一系列操作。
[0152](1-6.第一實(shí)施例的概述)
[0153]如上圖像處理裝置的成像裝置I獲取直到由圖像傳感器4捕獲的對(duì)象的距離信息，獲取關(guān)于該對(duì)象的像素值信息，并且基于獲取的距離信息和像素值信息跟蹤移動(dòng)對(duì)象的圖像。因此，即使對(duì)象變形或伴隨復(fù)雜的移動(dòng)，也可以在以高精度在全屏幕上跟蹤對(duì)象的同時(shí)捕獲對(duì)焦的圖像。此外，即使對(duì)象位于接近成像裝置1，也可以通過圖像傳感器4的高速驅(qū)動(dòng)，以高速檢測(cè)對(duì)焦。
[0154]〈2.第二實(shí)施例〉
[0155](2-1.成像裝置的外部配置)
[0156]將參照?qǐng)D15和16描述根據(jù)第二實(shí)施例的成像裝置I的外部配置。圖15是示出根據(jù)第二實(shí)施例的成像裝置I的外部配置的前視圖。圖16是示出根據(jù)第二實(shí)施例的成像裝置I的外部配置的后視圖。在以下描述中，具有與第一實(shí)施例中相同參考標(biāo)號(hào)的組件具有類似功能，并且因此省略其重復(fù)描述。
[0157]成像裝置I配置為例如單鏡頭反光數(shù)字照相機(jī)。成像裝置I包括相機(jī)主體10和作為可互換鏡頭的成像鏡頭2，成像鏡頭2可以自由地附接到相機(jī)主體10和從相機(jī)主體10分離。
[0158]如圖15所示，在相機(jī)主體10的前側(cè)，提供在前面的基本中心中插入成像鏡頭2的安裝單元301、安排在安裝單元301的右側(cè)的鏡頭互換按鈕302以及實(shí)現(xiàn)抓握的抓握部分303。此外在相機(jī)主體10的前側(cè)上，提供安排在前左上部分的模式設(shè)置盤305、安排在前右上部分的控制值設(shè)置盤306以及安排在抓握部分303的頂面的快門按鈕307。
[0159]如圖16所示，在相機(jī)主體10的后側(cè)，提供IXD(液晶顯示器)311、安排到IXD311的左邊的設(shè)置按鈕組312、安排到IXD311的右邊的十字鍵314。此外在相機(jī)主體10的后側(cè)上，提供安排在十字鍵314的中心的按壓按鈕315、布置在IXD311上面的EVF(電子取景器)316以及圍繞EVF316的眼罩321。此外在相機(jī)主體10的后側(cè)上，提供布置在EVF316左邊的主開關(guān)317以及布置在EVF316右邊的曝光校正按鈕323和AE鎖定按鈕324。此外，提供布置在EVF316上面的閃光燈單元318和連接端子單元319。
[0160]在安裝單元301中提供用于電連接的連接器以及用于到插入的成像鏡頭2的機(jī)械連接的耦合器。鏡頭互換按鈕302是在應(yīng)當(dāng)移除插入安裝單元301的成像鏡頭2時(shí)按壓的按鈕302。
[0161]抓握部分303是用戶捕獲圖像時(shí)抓握的成像裝置I的部分，并且提供有適于手指形狀以提升裝配性能的表面不規(guī)則。在抓握部分303內(nèi)部提供電池外殼和卡外殼(未示出)。作為相機(jī)的電源的電池69B(見圖18)安放在電池外殼中，并且用于記錄捕獲圖像的圖像數(shù)據(jù)的存儲(chǔ)卡67 (見圖18)可移除地安放在卡外殼中。順便提及，用戶檢測(cè)用戶是否抓握抓握部分303的抓握傳感器可以提供在抓握部分303中。
[0162]模式設(shè)置盤305和控制值設(shè)置盤306由基本盤形的部件構(gòu)成，其可以在與相機(jī)主體10的頂面基本平行的表面中旋轉(zhuǎn)。模式設(shè)置盤305用于交替選擇在成像裝置I實(shí)施的模式或功能。要選擇的模式包括自動(dòng)曝光(AE)控制模式、自動(dòng)對(duì)焦(AF)控制模式、各種成像模式(諸如捕獲一個(gè)靜態(tài)圖像的靜態(tài)圖像模式和連續(xù)捕獲圖像的連續(xù)成像模式)和回放記錄的圖像的回放模式。另一方面，控制值設(shè)置盤306用于對(duì)于在成像裝置I中實(shí)施的各種功能設(shè)置控制值。
[0163]設(shè)置按鈕組312包括操作在成像裝置I中實(shí)施的各種功能的按鈕。設(shè)置按鈕組312包含用于確定從在LCD311中顯示的菜單屏幕中選擇的內(nèi)容的選擇確定開關(guān)、選擇取消開關(guān)、用于切換菜單屏幕的內(nèi)容的菜單顯示開關(guān)、顯示開/關(guān)開關(guān)、以及顯示放大開關(guān)。
[0164]十字鍵314具有環(huán)部件，其包括在圓周方向以規(guī)定間隔安排的多個(gè)按壓部分(圖16中的三角標(biāo)記)，并且配置為能夠通過包括在按壓部分中的觸點(diǎn)(開關(guān))(未示出)，檢測(cè)每個(gè)按壓部分的按壓操作。按壓按鈕315安排在十字鍵314的中心。十字鍵314和按壓按鈕315用于改變成像放大率、要在IXD311等中回放的預(yù)先記錄圖像、以及用于設(shè)置成像條件(F數(shù)、快門速度、閃光燈的閃光等)的輸入指令。
[0165]EVF316包括液晶面板310(見圖17)，并且顯示由圖像傳感器101 (見圖17)捕獲的圖像或者回放記錄的圖像。利用在實(shí)際成像(用于圖像記錄的圖像)之前在基于由圖像傳感器101連續(xù)生成的圖像信號(hào)以動(dòng)態(tài)模式顯示對(duì)象的EVF316或IXD311中的實(shí)時(shí)取景(預(yù)覽)顯示，用戶可以視覺上識(shí)別由圖像傳感器101實(shí)際成像的對(duì)象。
[0166]主開關(guān)317是向左和右滑動(dòng)的2觸滑動(dòng)開關(guān)，成像裝置I在主開關(guān)317設(shè)為左時(shí)打開并且在主開關(guān)317設(shè)為右時(shí)關(guān)閉。閃光燈單元318配置為彈出內(nèi)置閃光燈。另一方面，當(dāng)外部閃光燈安裝在相機(jī)主體10上時(shí)，連接端子單元319用于連接外部閃光燈。
[0167]眼罩321是具有抑制外部光進(jìn)入EVF316的擋光特性的“C”形遮擋部件。曝光校正按鈕323是手動(dòng)調(diào)節(jié)曝光值(F數(shù)或快門速度)的按鈕，并且AE鎖定按鈕324是固定曝光的按鈕。[0168]成像鏡頭2用作捕獲來自對(duì)象的光(光圖像)的鏡頭窗，并且還用作將對(duì)象的光引導(dǎo)到相機(jī)主體10內(nèi)部安排的圖像傳感器101中的成像光學(xué)系統(tǒng)。執(zhí)行上面的鏡頭互換按鈕302的按壓操作，成像鏡頭2可以從相機(jī)主體10移除。
[0169](2-2.成像裝置的內(nèi)部配置)
[0170]將參照?qǐng)D17描述根據(jù)第二實(shí)施例的成像裝置I的內(nèi)部配置。圖17是根據(jù)第二實(shí)施例的成像裝置I的縱向視圖。如圖17所示，在相機(jī)主體10內(nèi)部提供圖像傳感器101、作為顯示單元的示例的EVF316等。
[0171]圖像傳感器101具有與第一實(shí)施例中的圖像傳感器4相同的功能，并且具有圖5中示出的普通像素Iio和AF像素對(duì)120f。
[0172]快門單元40在光軸方向上安排在圖像傳感器101前面?？扉T單元40包括在上下方向上移動(dòng)的簾，并且配置為機(jī)械焦平面快門，其通過其打開操作和關(guān)閉操作執(zhí)行沿著光軸LT引導(dǎo)到圖像傳感器101的對(duì)象光的光路打開操作和光路阻擋操作。如果圖像傳感器101是能夠完全電子快門的圖像傳感器，則可以省略快門單元40。
[0173]EVF316包括液晶面板310和目鏡106。液晶面板310配置為例如能夠顯示圖像的彩色液晶面板，并且能夠顯示由圖像傳感器101捕獲的圖像。目鏡106將在液晶面板310中顯示的對(duì)象圖像引導(dǎo)到EVF316的外部。利用如上所述配置的EVF316，用戶可以視覺地識(shí)別由圖像傳感器101成像的對(duì)象。
[0174](2-3.成像裝置的電配置)
[0175]將參照?qǐng)D18描述根據(jù)第二實(shí)施例的成像裝置I的電配置。圖18是示出根據(jù)第二實(shí)施例的成像裝置I的電配置的框圖。相同的參考標(biāo)號(hào)附加到與圖15到17中那些組件相同的組件。
[0176]除了上述圖像傳感器101和快門單元40外，在相機(jī)主體10中提供AFE(模擬前端)5、圖像處理單元61、圖像存儲(chǔ)器614、主控制單元62、閃光燈電路63、操作單元64、VRAM65 (65a、65b)、卡接口(I/F) 66、存儲(chǔ)卡67、通信接口(I/F) 68、電源電路69和電池69B。
[0177]圖像傳感器101由CMOS彩色區(qū)域傳感器形成，并且由稍后描述的定時(shí)控制電路51控制諸如圖像傳感器101的曝光操作的開始(以及結(jié)束)、包括在圖像傳感器101中的每個(gè)像素的輸出選擇和像素信號(hào)的讀取的成像操作。
[0178]AFE5提供用于導(dǎo)致預(yù)定操作的定時(shí)脈沖到圖像傳感器101。AFE5還對(duì)從圖像傳感器101輸出的圖像信號(hào)(由CMOS區(qū)域傳感器的每個(gè)像素接收的模擬信號(hào)組)執(zhí)行預(yù)定信號(hào)處理，以將該信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)并且輸出該數(shù)字信號(hào)到圖像處理單元61。AFE5包括定時(shí)控制電路51、信號(hào)處理單元52和A/D轉(zhuǎn)換單元53。
[0179]定時(shí)控制電路51基于從主控制單元62輸出的參考時(shí)鐘，生成預(yù)定定時(shí)脈沖(導(dǎo)致垂直掃描脈沖Φνη、水平掃描脈沖Φνπκ復(fù)位信號(hào)等的脈沖Φνι.)。定時(shí)控制電路51還輸出生成的定時(shí)脈沖到圖像傳感器101，以控制圖像傳感器101的成像操作。定時(shí)控制電路51還輸出預(yù)定定時(shí)脈沖到信號(hào)處理單元52和A/D轉(zhuǎn)換單元53，以分別控制信號(hào)處理單元52和A/D轉(zhuǎn)換單元53的操作。
[0180]信號(hào)處理單元52對(duì)從圖像傳感器101輸出的模擬圖像信號(hào)執(zhí)行預(yù)定模擬信號(hào)處理。信號(hào)處理單元52包括⑶S(相關(guān)雙采樣)電路、AGC(自動(dòng)增益控制)電路、箝位電路等。A/D轉(zhuǎn)換單元53基于從定時(shí)控制電路51輸出的定時(shí)脈沖，將從信號(hào)處理單元52輸出的模擬R、G、B圖像信號(hào)轉(zhuǎn)換為由多個(gè)位(例如，12位)形成的數(shù)字圖像信號(hào)。
[0181]圖像處理單元61通過對(duì)從AFE5輸出的圖像數(shù)據(jù)執(zhí)行預(yù)定信號(hào)處理，創(chuàng)建圖像文件，并且包括黑電平校正電路611、白平衡控制電路612和伽馬校正電路613。捕獲到圖像處理單元61中的圖像數(shù)據(jù)與圖像傳感器101的讀取同步暫時(shí)寫入圖像存儲(chǔ)器614中，并且此后訪問寫入圖像傳感器614的圖像數(shù)據(jù)以便由圖像處理單元61的每個(gè)塊處理。
[0182]黑電平校正電路611將由A/D轉(zhuǎn)換單元53A/D轉(zhuǎn)換的R、G、B的每個(gè)數(shù)字圖像信號(hào)的黑電平校正為參考黑電平。
[0183]白平衡校正電路612基于根據(jù)光源的白色參考，轉(zhuǎn)換R (紅色)、G (綠色)、B (藍(lán)色)的每個(gè)顏色分量的數(shù)字信號(hào)的電平(白平衡(WB)調(diào)節(jié))。也就是說，白平衡控制電路612基于由主控制單元62提供的WB調(diào)節(jié)數(shù)據(jù)，從亮度、色度數(shù)據(jù)等識(shí)別成像對(duì)象中假定原始為白色的部分。然后，白平衡控制電路612確定識(shí)別的部分中R、G、B每個(gè)的顏色分量的平均值、G/R比率和G/B比率，以使用各比率作為R和B的校正增益進(jìn)行電平校正。
[0184]伽馬校正電路613校正WB調(diào)節(jié)的圖像數(shù)據(jù)的灰度特性。更具體地，伽馬校正電路613通過使用用于每個(gè)顏色分量的預(yù)設(shè)伽馬校正表格，使得圖像數(shù)據(jù)的電平經(jīng)歷非線性變換以及偏差調(diào)節(jié)。
[0185]圖像存儲(chǔ)器614是臨時(shí)存儲(chǔ)成像模式中從圖像處理單元61輸出的圖像數(shù)據(jù)的存儲(chǔ)器，并且還用作由主控制單元62對(duì)圖像數(shù)據(jù)執(zhí)行預(yù)定處理的工作區(qū)域。在回放模式中，圖像存儲(chǔ)器614臨時(shí)存儲(chǔ)從存儲(chǔ)卡67讀取的圖像數(shù)據(jù)。
[0186]主控制單元62配置為包含像例如用于存儲(chǔ)控制程序的ROM和用于臨時(shí)存儲(chǔ)數(shù)據(jù)的RAM的存儲(chǔ)單元的微計(jì)算機(jī)，并且控制成像裝置I的每個(gè)單元的操作。
[0187]閃光燈電路63將在閃光燈成像模式中閃光燈單元318或連接到連接端子單元319的外部閃光燈的光量控制為由主控制單元62設(shè)置的光量。
[0188]操作單元64包括上述模式設(shè)置盤305、控制值設(shè)置盤306、快門按鈕307、設(shè)置按鈕組312、十字鍵314、按壓按鈕315、主開關(guān)317，并且用于輸入操作信息到主控制單元62。
[0189]VRAM65a、65b具有對(duì)應(yīng)于IXD311和EVF316的像素?cái)?shù)目的圖像信號(hào)的存儲(chǔ)容量，并且是主控制單元62與IXD311和EVF316之間的緩沖存儲(chǔ)器?？↖/F66是實(shí)現(xiàn)存儲(chǔ)卡67和主控制單元62之間信號(hào)的發(fā)送/接收的接口。存儲(chǔ)卡67是用于存儲(chǔ)由主控制單元62生成的圖像數(shù)據(jù)的記錄介質(zhì)。通信I/F68是實(shí)現(xiàn)圖像數(shù)據(jù)等到個(gè)人計(jì)算機(jī)和其他外部設(shè)備的傳輸?shù)慕涌凇?br> [0190]電源電路69例如由恒壓電路配置，并且生成用于驅(qū)動(dòng)諸如像主控制單元62、圖像傳感器101和其他各種驅(qū)動(dòng)單元的控制單元的整個(gè)成像裝置I的電壓。順便提及，由從主控制單元62提供到電源電路69的控制信號(hào)執(zhí)行圖像傳感器101的通電控制。電池69B配置為諸如鎳氫電池的二次電池或者諸如堿性電池的原電池，并且是給整個(gè)成像裝置I供電的電源。
[0191]相機(jī)主體10還包括相位差A(yù)F操作電路77，其基于從黑電平校正電路611輸出的黑電平校正圖像數(shù)據(jù)，執(zhí)行使用圖像傳感器101的自動(dòng)對(duì)焦(AF)控制所需的操作。
[0192](2-4.對(duì)象跟蹤操作)
[0193]此外，根據(jù)第二實(shí)施例的成像裝置I具有與第一實(shí)施例中的對(duì)象跟蹤功能類似的對(duì)象跟蹤功能。也就是說，根據(jù)第二實(shí)施例的成像裝置I獲取到由圖像傳感器101成像的對(duì)象的距離信息，或者關(guān)于對(duì)象的像素值信息，并且基于獲取的距離信息和像素值信息跟蹤移動(dòng)對(duì)象。
[0194]因此，即使例如多個(gè)對(duì)象具有相同的顏色、亮度等的像素值信息，也可以基于距離信息識(shí)別各個(gè)圖像，并且可以跟蹤希望的對(duì)象，因此可以以高精度跟蹤移動(dòng)圖像。
[0195]〈3.第三實(shí)施例〉
[0196]當(dāng)與第二實(shí)施例比較時(shí)，根據(jù)第三實(shí)施例的成像裝置I具有類似的外部配置，但是內(nèi)部配置不同。因此，下面將主要描述與第二實(shí)施例中的那些部分不同的部分。
[0197]圖19是根據(jù)第三實(shí)施例的成像裝置的縱向視圖。圖20是示出根據(jù)第三實(shí)施例的成像裝置I的電配置的框圖。
[0198]如圖19所示，在相機(jī)主體10內(nèi)部提供兩個(gè)圖像傳感器100、101、反射鏡單元1031等。兩個(gè)圖像傳感器的圖傳感器100用于捕獲靜態(tài)圖像(實(shí)際成像)，并且圖像傳感器101具有用于直通圖像的成像和相位差檢測(cè)的相位差像素。圖像傳感器101對(duì)應(yīng)于具有相位差像素的第一圖像傳感器，并且圖像傳感器100對(duì)應(yīng)于用于生成實(shí)時(shí)取景顯示圖像的第二圖像傳感器。
[0199]透射反射鏡單元1031配置為透射/反射部件，其向提供在相機(jī)主體10的上部中的圖像傳感器101和光軸LT上的圖像傳感器100反射和透射對(duì)象光，并且安全地安裝在相機(jī)主體10中。透射和反射的比率設(shè)為5:5，但是可以根據(jù)每個(gè)圖像傳感器的特性任意地改變。
[0200]已經(jīng)通過成像鏡頭2的對(duì)象光由透射反射鏡單元1031向上反射，并且此外已經(jīng)通過成像鏡頭2的一部分對(duì)象光通過透射反射鏡單元1031進(jìn)入圖像傳感器100。此外，一部分對(duì)象光由透射反射鏡單元1031反射，并且反射的對(duì)象光進(jìn)入圖像傳感器101。
[0201]圖像傳感器100安排在與Y軸平行的平面(XY平面)上，并且接收已經(jīng)通過透射反射鏡單元1031的對(duì)象光。圖像傳感器101安排在與Y軸垂直的平面(XZ平面)上，并且接收對(duì)象光。圖像傳感器101具有與第二實(shí)施例中的圖像傳感器101的功能類似的功能，并且具有圖5所示的普通像素110和AF像素對(duì)120f。另一方面，圖像傳感器100具有普通像素110，但不具有AF像素對(duì)120f。
[0202]如圖20所示，快門單元40安排朝向圖像傳感器100的前面。快門單元40配置為機(jī)械焦平面快門，其執(zhí)行對(duì)象光向圖像傳感器100的光路打開操作和光路阻擋操作。如果圖像傳感器100是能夠完全電子快門的圖像傳感器，則可以省略快門單元40。
[0203]AFE5提供用于導(dǎo)致預(yù)定操作的定時(shí)脈沖到圖像傳感器100、101，并且還對(duì)從圖像傳感器100、101輸出的圖像信號(hào)(由CMOS區(qū)域傳感器的每個(gè)像素接收的模擬信號(hào)組)執(zhí)行預(yù)定信號(hào)處理，以便將該信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)并且輸出該數(shù)字信號(hào)到圖像處理單元61。通過包括定時(shí)控制電路51、信號(hào)處理單元52和A/D轉(zhuǎn)換單元53配置AFE5。
[0204]定時(shí)控制電路51基于從主控制單元62輸出的參考時(shí)鐘，生成預(yù)定定時(shí)脈沖(導(dǎo)致垂直掃描脈沖Φνη、水平掃描脈沖Φνπκ復(fù)位信號(hào)Φνι.等的脈沖)，并且輸出生成的定時(shí)脈沖到圖像傳感器100、101，以控制圖像傳感器100、101的成像操作。定時(shí)控制電路51還輸出預(yù)定定時(shí)脈沖到信號(hào)處理單元52和A/D轉(zhuǎn)換單元53，以分別控制信號(hào)處理單元52和A/D轉(zhuǎn)換單元53的操作。
[0205]信號(hào)處理單元52對(duì)從圖像傳感器101輸出的模擬圖像信號(hào)執(zhí)行預(yù)定模擬信號(hào)處理。信號(hào)處理單元52包括⑶S(相關(guān)雙采樣)電路、AGC(自動(dòng)增益控制)電路、箝位電路等。A/D轉(zhuǎn)換單元53基于從定時(shí)控制電路51輸出的定時(shí)脈沖，將從信號(hào)處理單元52輸出的模擬R、G、B圖像信號(hào)和相位差像素信號(hào)轉(zhuǎn)換為由多個(gè)位(例如，12位)形成的數(shù)字圖像信號(hào)。
[0206]此外，第三實(shí)施例具有與第一和第二實(shí)施例中的對(duì)象跟蹤功能類似的對(duì)象跟蹤功能。因此，即使對(duì)象變形或者伴隨復(fù)雜移動(dòng)，也可以在以高精度全屏幕上跟蹤對(duì)象的同時(shí)捕獲對(duì)焦的圖像。此外，即使對(duì)象位于接近成像裝置1，也可以通過圖像傳感器的高速驅(qū)動(dòng)，以聞速檢測(cè)對(duì)焦。
[0207]此外，在第三實(shí)施例中，在通過EVF316的對(duì)象圖像的實(shí)時(shí)取景顯示期間圖像傳感器100成像對(duì)象。通過以此方式獨(dú)立地提供捕獲旨在用于實(shí)時(shí)取景顯示的直通圖像的圖像傳感器101和捕獲靜態(tài)圖像的圖像傳感器100，在捕獲靜態(tài)圖像時(shí)可以一起顯示直通圖像。
[0208]上面已經(jīng)參照附圖描述了本公開的優(yōu)選實(shí)施例，盡管本公開當(dāng)然不限于上面的示例。本領(lǐng)域的技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)可以發(fā)現(xiàn)各種替換和修改，并且應(yīng)該理解它們將自然進(jìn)入本公開的技術(shù)范圍內(nèi)。
[0209]圖像處理裝置在上面的實(shí)施例中假設(shè)為圖像捕獲裝置，但是其不限于此。圖像處理裝置僅僅必須具有用于捕獲被攝體的圖像的功能，并且例如可以是移動(dòng)電話、PDA(個(gè)人數(shù)字助理)、便攜式AV播放器、電子書、電子詞典等。
[0210]此外，盡管上述實(shí)施例的流程圖中示出的各步驟當(dāng)然可以根據(jù)上述順序以時(shí)間順序處理，但是它們可以不必以時(shí)間順序處理，并且可以獨(dú)立地或者以并行方式處理。不必說在以時(shí)間順序處理各步驟的情況下，可以根據(jù)情況適當(dāng)?shù)馗淖兏鞑襟E的順序。
[0211]通過在本公開中描述的圖像處理裝置的處理可以通過使用軟件、硬件或軟件和硬件的組合的任何來實(shí)施。構(gòu)成軟件的程序例如預(yù)先存儲(chǔ)在每個(gè)裝置內(nèi)部或外部安裝的存儲(chǔ)介質(zhì)中。此外，每個(gè)程序在運(yùn)行時(shí)讀取到例如RAM(隨機(jī)存取存儲(chǔ)器)，并且由諸如CPU的處理器運(yùn)行。
[0212]此外，本技術(shù)還可以如下配置:
[0213](I) 一種圖像處理裝置，包括:
[0214]距離信息獲取單元，其獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息；
[0215]像素值信息獲取單元，其獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及
[0216]跟蹤單元，其基于獲取的距離信息和獲取的像素值信息跟蹤移動(dòng)的對(duì)象。
[0217](2)如(I)所述的圖像處理裝置，
[0218]其中所述圖像傳感器包括相位差像素，用于檢測(cè)所述對(duì)象的相位差并且調(diào)節(jié)對(duì)焦，并且
[0219]其中所述距離信息獲取單元基于由所述相位差像素檢測(cè)到的相位差，獲取所述距離信息。
[0220](3)如(I)所述的圖像處理裝置，
[0221]其中所述圖像傳感器包括多個(gè)相位差像素，并且
[0222]其中所述距離信息獲取單元通過根據(jù)所述對(duì)象的尺寸稀疏所述多個(gè)相位差像素的一部分，獲取所述距離信息。[0223](4)如(I)到(3)的任一所述的圖像處理裝置，還包括:
[0224]對(duì)象識(shí)別單元，其基于獲取的距離信息，識(shí)別要跟蹤的對(duì)象，
[0225]其中所述跟蹤單元跟蹤由所述對(duì)象識(shí)別單元識(shí)別的對(duì)象。
[0226](5)如(I)到(4)的任一所述的圖像處理裝置，還包括:
[0227]顯示單元，其對(duì)于對(duì)應(yīng)于所述對(duì)象的圖像執(zhí)行實(shí)時(shí)取景顯示，
[0228]其中當(dāng)所述顯示單元對(duì)于所述圖像執(zhí)行實(shí)時(shí)取景顯示時(shí)，所述圖像傳感器成像所述對(duì)象。
[0229](6)如(5)所述的圖像處理裝置，
[0230]其中所述圖像傳感器是包括用于檢測(cè)所述對(duì)象的相位差并且調(diào)節(jié)對(duì)焦的相位差像素的第一圖像傳感器，并且
[0231]其中所述圖像處理裝置還包括第二圖像傳感器，用于所述顯示單元對(duì)其執(zhí)行實(shí)時(shí)取景顯示的圖像的生成。
[0232](7)如(I)到(6)的任一所述的圖像處理裝置，
[0233]其中所述距離信息獲取單元獲取位于不同位置的對(duì)象的各條距離信息，并且
[0234]其中所述圖像處理裝置還包括預(yù)測(cè)單元，其基于獲取的各條距離信息，預(yù)測(cè)在作為目的地的位置的對(duì)象的距離信息。
[0235](8)如(I)到(7)的任一所述的圖像處理裝置，其中當(dāng)在作為目的地的位置的對(duì)象的像素值信息與在最后位置的對(duì)象的像素值信息相同時(shí)，所述跟蹤單元跟蹤所述對(duì)象。
[0236](9) 一種圖像處理方法，包括:
[0237]獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息；
[0238]獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及
[0239]基于獲取的距離信息和獲取的像素值信息跟蹤移動(dòng)的對(duì)象。
[0240](10) 一種具有記錄在其上的程序的記錄介質(zhì)，所述程序使得計(jì)算機(jī)執(zhí)行:
[0241]獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息；
[0242]獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及
[0243]基于獲取的距離信息和像素值信息跟蹤移動(dòng)的對(duì)象。
[0244]參考標(biāo)號(hào)列表
[0245]I成像裝置
[0246]4、100、101圖像傳感器
[0247]110普通像素
[0248]120f AF 像素對(duì)
[0249]210距離信息獲取單元
[0250]220像素值信息獲取單元
[0251]230對(duì)象識(shí)別單元
[0252]240預(yù)測(cè)單元
[0253]250跟蹤單元
【權(quán)利要求】
1.一種圖像處理裝置，包括: 距離信息獲取單元，其獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息； 像素值信息獲取單元，其獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及 跟蹤單元，其基于獲取的距離信息和獲取的像素值信息跟蹤移動(dòng)的對(duì)象。
2.如權(quán)利要求1所述的圖像處理裝置， 其中所述圖像傳感器包括相位差像素，用于檢測(cè)所述對(duì)象的相位差并且調(diào)節(jié)對(duì)焦，以及 其中所述距離信息獲取單元基于由所述相位差像素檢測(cè)到的相位差，獲取所述距離信肩、O
3.如權(quán)利要求2所述的圖像處理裝置， 其中所述圖像傳感器包括多個(gè)相位差像素，以及 其中所述距離信息獲取單元通過根據(jù)所述對(duì)象的尺寸稀疏所述多個(gè)相位差像素的一部分，獲取所述距離信息。
4.如權(quán)利要求1所述的圖像處理裝置，還包括: 對(duì)象識(shí)別單元，其基于獲取的距離信息，識(shí)別要跟蹤的對(duì)象， 其中所述跟蹤單元跟蹤由所述對(duì)象識(shí)別單元識(shí)別的對(duì)象。
5.如權(quán)利要求1所述的圖像處理裝置，還包括: 顯示單元，其對(duì)于對(duì)應(yīng)于所述對(duì)象的圖像執(zhí)行實(shí)時(shí)取景顯示， 其中當(dāng)所述顯示單元對(duì)于所述圖像執(zhí)行實(shí)時(shí)取景顯示時(shí)，所述圖像傳感器成像所述對(duì)象。
6.如權(quán)利要求5所述的圖像處理裝置， 其中所述圖像傳感器是包括用于檢測(cè)所述對(duì)象的相位差并且調(diào)節(jié)對(duì)焦的相位差像素的第一圖像傳感器，并且 其中所述圖像處理裝置還包括第二圖像傳感器，用于所述顯示單元對(duì)其執(zhí)行實(shí)時(shí)取景顯示的圖像的生成。
7.如權(quán)利要求1所述的圖像處理裝置， 其中所述距離信息獲取單元獲取位于不同位置的對(duì)象的各條距離信息，并且其中所述圖像處理裝置還包括預(yù)測(cè)單元，其基于獲取的各條距離信息，預(yù)測(cè)在作為目的地的位置的對(duì)象的距離信息。
8.如權(quán)利要求1所述的圖像處理裝置，其中當(dāng)在作為目的地的位置的對(duì)象的像素值信息與在最后位置的對(duì)象的像素值信息相同時(shí)，所述跟蹤單元跟蹤所述對(duì)象。
9.一種圖像處理方法，包括: 獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息； 獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及 基于獲取的距離信息和獲取的像素值信息跟蹤移動(dòng)的對(duì)象。
10.一種具有記錄在其上的程序的記錄介質(zhì)，所述程序使得計(jì)算機(jī)執(zhí)行: 獲取關(guān)于直到由圖像傳感器成像的對(duì)象的距離的距離信息； 獲取對(duì)應(yīng)于所述對(duì)象的圖像的像素值信息；以及 基于獲取的距離信息和像素值信息跟蹤移動(dòng)的對(duì)象。
【文檔編號(hào)】H04N5/225GK103988490SQ201280060388
【公開日】2014年8月13日 申請(qǐng)日期:2012年11月20日 優(yōu)先權(quán)日:2011年12月13日
【發(fā)明者】增田篤 申請(qǐng)人:索尼公司