達到預定時間時，確定塊BK的被攝體具有接近趨勢。在這種情況下，例如，當如在塊BK(X)中那樣存在確定結果通常為“I”的被攝體時，加快確定結束的定時。即，確定時段長度依賴于確定處理的情形而變化。作為另一個例子，從確定開始到確定結束的時段被設定為固定的時段長度。
[0343]將參考圖14來描述由控制單元30進行的接近確定和主要被攝體確定處理的具體例子。以下要描述的處理是通過控制單元30的距離變化計算單元30b和主要被攝體確定單元30a的功能來執(zhí)行的處理。
[0344]當控制單元30開始接近確定和主要被攝體確定處理時，首先，在步驟F200中設定變量TSF = O (主要被攝體未確定)并將計數(shù)值bCnt (m) = O設定為初始設定，其中變量TSF是指示主要被攝體的設定是否完成的標記。
[0345]計數(shù)值bCnt (m) = O是關于通過比較上述距離變化量和距離確定閾值Thd而獲得的確定結果用于確定時間長度的計數(shù)器的值。
[0346]應當指出，“m”指示自然數(shù)1、2、3…并且計數(shù)值bCnt(m)設定為與塊BK1、BK2、BK3、...、BK(M)中的每一塊對應的計數(shù)值。為了該處理，bCntl、bCnt2、…和bCnt(M)被用作關于塊BKl至BK(M)的計數(shù)值。為了流程圖的描述，假設關于計數(shù)值bCnt(m)的處理是指對計數(shù)值bCntl、bCnt2、…和bCnt(M)的每一個執(zhí)行的處理。
[0347]在圖14的處理中描述的Db(m)指示關于每個塊檢測的距離，而bDiff (m)指示每個塊BK的距離變化量。關于距離Db(m)和距離變化量bDiff (m)的處理用來表示用于關于塊BKl至BK (M)的距離和距離變化量的處理。
[0348]這同樣適用于確定標記Flg(m)和偏移值OFS(m)。
[0349]例如，控制單元30在每一幀的定時執(zhí)行步驟F201至F217的處理。
[0350]在步驟F201中，控制單元30從距離計算單元29取得關于某幀中的各個塊BKl至BK(M)的距離信息Dbl至Db (M)。該信息例如是在圖12B的下部示出的關于距離的值的信息。
[0351]在步驟F202中控制單元30對每個塊BK執(zhí)行時間匹配處理，并且在步驟F203中針對每個塊BK獲得距離變化量bDiff (m)。即，距離變化量bDiff (m)是當前幀的距離值與前一幀的距離值之差。
[0352]即，獲得“距離變化量bDiff (m) = Db (m) — Db(m)pre”。Db (m) pre是當前處理目標塊BK(m)在前一幀中的對應塊BK(m)的距離值。
[0353]這里，將參考圖15和圖16來描述步驟F202的時間匹配處理。如上所述，在時間推移時，相同的被攝體不一定都位于每一幀的捕獲圖像數(shù)據(jù)上的相同的塊。當被攝體和成像裝置10之間的相對位置在水平和垂直方向上變化時，例如，在一些情況下，在緊接著的前一幀中位于塊BK4的被攝體在當前幀中位于塊BK5。考慮這種情況，輸出與塊BK5的前一幀的距離差，這個差值不是被攝體的距離變化量。因此，在步驟F202中執(zhí)行被攝體與塊的匹配(跟蹤)。
[0354]將參考圖16示意性地進行描述。圖16示出圖像中某個被攝體P的位置在當前幀F(xiàn)Rc與前一幀F(xiàn)Rpre之間偏離的情況。
[0355]在當前幀F(xiàn)Rc中，假設被攝體P的面部部分存在于塊BK(y)中。但是，在前一幀F(xiàn)Rpre中，該面部部分不存在于相同的塊BK (y) pre中而是位于塊BK (z) pre中。由于原本需要獲得被攝體P的距離變化，因此在這種情況下期望在當前幀F(xiàn)Rc的塊BK(y)中獲得的距離變化量bDiff(y)是與前一幀F(xiàn)Rpre的塊BK(z)pre的距離值之差。因此，執(zhí)行時間匹配處理，使得這里提到的塊BK(Z)pre被認為是關于塊BK(y)的前一幀的塊。
[0356]將參考圖15來描述步驟F202的時間匹配處理。
[0357]在圖15的步驟F230中，控制單元30首先確認以與當前幀F(xiàn)Rc的目標塊BK(m)對應的前一幀F(xiàn)Rpre的塊BK(m)pre為中心的九個塊的距離信息。
[0358]對于圖16中的塊BK (y)，控制單元30確認以前一幀F(xiàn)Rpre的相同的塊BK (y) pre為中心被粗框包圍的九個塊。如圖中所示，這九個塊被稱為BKxl至BKx9。假設塊BKxl至BKx9 的距離值為“10”、“10”、“9”、“10”、“7”、“6”、“9”、“7”和“5” (單位例如是米)。假設當前幀的塊BK (y)的距離值為“ 5 ”，如圖中所示。
[0359]當確認了塊BKxl至BKx9中每一塊的距離值時，控制單元30在步驟F231中如下計算當前幀F(xiàn)Rc的目標塊BK (m)與前一幀F(xiàn)Rpre的各對應塊BKxl至BKx9之間的絕對距離差 bDiffXl 至 bDiffX9。
[0360]bDiffXl = Db(m) - Db (BKxl)
[0361 ] bDiffX2 = I Db (m) - Db (BKx2)
[0362]…
[0363]bDiffX9 = I Db (m) - Db (BKx9)
[0364]這里，距離Db(m)是目標塊BK(m)的距離值，而在圖16的例子中是塊BK(y)的距離值“5”。
[0365]距離Db (BKxl)至Db (BKx9)是九個塊BKxl至BKx9的距離值，而在圖16的例子中是上述值 “ 10 ”、“ 10 ”、“ 9 ’，、“ 10 ”、“ 7 ’，、“ 6 ’，、“ 9 ’，、“ 7 ” 和 “ 5 ”。
[0366]在步驟F232中，控制單元30確定bDiffXl至bDiffX9中絕對距離差的最小值。然后，在步驟F233中，絕對距離差是最小值的塊被設定為與當前目標塊BK(m)對應的前一幀的塊BK，而塊BK的距離Db被設定為前一幀的距離Db (m) pre。然后，利用距離Db (m) pre來執(zhí)行圖14的步驟F203中的距離變化量“bDiff (m) = Db (m) - Db (m) pre”的計算。
[0367]例如，在圖16的例子中，由于塊BKx9是絕對距離差為最小值的塊，因此與處理目標塊BK (y)對應的前一幀的塊是塊BKx9，并且考慮距離值Db (m) pre = 5。
[0368]S卩，在被攝體距離或位置在水平和垂直方向上對于一幀的時間幾乎不變化的假設下，關于當前幀的塊，在前一幀的相同塊附近搜索絕對距離差小的塊并且該塊被設定為(相同被攝體的)對應的塊。
[0369]在圖14的步驟F202中，以這種方式對每個塊BK執(zhí)行匹配。因而，關于每個塊BK(m)在步驟F203中計算的距離變化量bDiff (m)指示相同被攝體的距離變化。
[0370]在步驟F204中，控制單元30確認變量TSF。當設定變量TSF = O時，處理前進到步驟F205。步驟F204的意義與圖6的步驟F104的意義相同。
[0371]在步驟F205、F206和F207中，控制單元30確認每個塊BK(m)的距離變化量bDiff (m)是否指示接近。
[0372]SP，如圖13B中所描述的，利用距離確定閾值Thd來確定距離變化量bDiff (m)是否是指示預定量或更多的接近的變化量。
[0373]因此，在步驟F205中，控制單元30比較每個塊BK的距離變化量bDiff (m)與距離確定閾值Thd。當滿足“bDiff (m)〈Thd”時，在步驟F206中設定確定標記Flg(m) = 1(接近)。當不滿足“bDiff (m)〈Thd”時，在步驟F207中設定確定標記Flg (m) = O (未接近)。
[0374]確定標記Flg(n)與圖13C中描述的確定結果“ I”或“O”對應。
[0375]隨后，在步驟F208、F209和F210中，控制單元30依賴于確定標記Flg(m)是“I”還是“O”來設定用于計數(shù)處理的偏移值OFS (m)。
[0376]例如，當設定確定標記Flg(m) = I時，控制單元30在步驟F209中設定偏移值OFS(m) = α。這里，α是用于使計數(shù)器遞增的預定值。例如，設定α = I。
[0377]當設定確定標記Flg(m) = O時，控制單元30在步驟F210中設定偏移值OFS(m)=β。這里，β是用于保持計數(shù)值或使計數(shù)值遞減的預定值。當計數(shù)值被保持時，設定β=0。當計數(shù)器遞減時，例如，設定β = -1o
[0378]然后，在步驟F211中，控制單元30執(zhí)行對觀察到接近的時間長度進行計數(shù)的計數(shù)器的計數(shù)值bCNT(m)的處理。具體而言，設定bCNT(n) = bCNT (m)+OFS (m)。
[0379]當考慮α = I并且在前面的步驟F209中設定偏移值OFS (m)時，計數(shù)值bCNT(m)遞增。
[0380]當考慮β = O (或者β =-1)并且在步驟F210中設定偏移值OFS (m)時，計數(shù)值bCNT (m)保持(或者遞減)。
[0381]當檢測到接近時，計數(shù)值bCNT(m)遞增。因此，計數(shù)值是與檢測到塊BK(m)的被攝體接近的時段長度對應的值。當沒有檢測到接近(例如，被攝體人停止的情形)并且計數(shù)值bCNT(m)配置為保持時，計數(shù)值bCNT(m)是接近檢測的累計值。因此，當多次檢測到接近時，計數(shù)值bCNT(m)增加。當沒有檢測到接近并且計數(shù)值bCNT(m)配置為減小時，計數(shù)值bCNT(m)根據(jù)平均接近而增加。但是，當沒有檢測到接近并且計數(shù)值遞減時，計數(shù)值bCNT(n)根據(jù)平均接近而增加。但是，當沒有檢測到接近時，計數(shù)值減小。因此，當被攝體暫時停止或遠離時，接近趨勢的后續(xù)確定可能是不利的。
[0382]然后，在步驟F212中，控制單元30確定每個塊BK(m)是否具有接近趨勢。具體而言，控制單元30確定指示接近檢測的時間長度的計數(shù)值bCNT (m)是否變成等于或大于預定時間閾值Tht的值。
[0383]當沒有一個塊BK (m)的計數(shù)值bCNT (m)達到時間閾值Tht時，在步驟F213中保持變量TSF = 0，在步驟F217中不確定為確定的結束，而處理返回步驟F201。在這種情況下，基于對后續(xù)幀輸入的每個塊BK(m)的距離信息Db(m)來如上所述那樣執(zhí)行步驟F201之后的處理。
[0384]在步驟F217中，當設定變量TSF = O時，假設主要被攝體確定沒有完成而確定處理繼續(xù)。當設定變量TSF = I時，假設主要被攝體確定完成。這個步驟與圖6的步驟F116相同。例如，即使當通過并行執(zhí)行的用戶的人工操控來設定主要被攝體時，處理也可以從步驟F217結束(中斷結束)。
[0385]在某個時間長度期間執(zhí)行通過接近確定來執(zhí)行的主要被攝體確定。因此，當一段時間(幀數(shù))不對每個塊BK(m)執(zhí)行處理時，確定在步驟F217中不結束，處理返回步驟F201，并且處理重復。
[0386]這里，例如，如圖13中所示，某個塊BK(X)可以是不連續(xù)的，但是存在在多個幀中檢測到被攝體的接近的情形。于是，存在隨著時間推移塊BK(X)的計數(shù)值bCnt(x)在步驟F211中遞增的許多機會，因此計數(shù)值bCnt (X)比其它塊的計數(shù)值bCntl、bCnt2等更早前進。然后，在某個時間點，計數(shù)值bCnt (x)首先達到時間閾值Tht。
[0387]在這種情況下，控制單元30使處理從步驟F212前進到步驟F214。
[0388]在步驟F214中，控制單元30確定計數(shù)值bCnt (m)達到時間閾值Tht的塊BK (m)是包含主要被攝體的塊，并執(zhí)行主要被攝體的設定。即，在某個時段期間被攝體平均地接近的塊被確定為被攝體具有“接近趨勢”的塊，并且執(zhí)行主要被攝體的設定。然后，在步驟F215中，設定變量TSF = I。
[0389]然后，在步驟F216中，輸出主要被攝體信息，以例如向利用該主要被攝體信息的應用程序或控制程序發(fā)送或者從該應用程序或控制程序接收該主要被攝體信息。
[0390]在這種情況下，在步驟F217中考慮結束確定。
[0391]這里，將在步驟F214中描述主要被攝體的設定。在圖14的處理的情況下，步驟F212中接近趨勢的確定是以塊BK為單位執(zhí)行的，而不需要以被攝體為單元執(zhí)行。因而，在步驟F214中，基于塊來搜索被攝體范圍，并且該被攝體范圍被確定為主要被攝體。
[0392]將參考圖17和圖18進行詳細的描述。
[0393]圖18A示出一幀的圖像數(shù)據(jù)的一部分。虛線指示塊BK。
[0394]現(xiàn)在，假設被攝體P正在接近并且在步驟F212中在某個時間點某個塊BK(p)被確定為具有接近的趨勢。這里，塊BK(p)是被攝體P的一部分，而僅將塊BK (P)的一部分設定為主要被攝體是不適當?shù)?。因此，為了將被攝體P的范圍設定為主要被攝體，控制單元30在步驟F214中執(zhí)行圖17中所示的處理。
[0395]首先，在步驟F240中，計算在步驟F212中確定為具有接近趨勢的塊BK(m)與其它塊BK的每一個之間的距離差。即，計算例如作為塊BK(m)的圖18八中的塊漲(?)與幀中所有其它塊BKl至BK (M)(這里除塊BK (P)以外)之間的距離值之差。然后，在步驟F241中，提取距離差在預定值內的塊BK。
[0396]由圖18B中的對角線指示的塊BK是與塊BK(p)的距離差在預定值內的塊。
[0397]接下來，在步驟F242中，控制單元30使與被確定為在以上述方式提取的塊BK中具有接近趨勢的塊BK(m)(圖18中的塊BK(p))連續(xù)的塊形成組。連續(xù)的塊是指在圖像平面上具有物理連續(xù)關系的塊，諸如與塊BK (P)相鄰的塊以及還與該相鄰塊相鄰的塊。例如，形成圖18C中所示的塊組MA。
[0398]然后，在步驟F243中，控制單元30將形成的塊組MA設定為形成主要被攝體圖像的區(qū)域，將這個圖像范圍設定為主要被攝體，并且生成主要被攝體信息。
[0399]因此，在一些情況下在步驟F242中與其它塊無關地形成組的塊數(shù)僅是一個塊。在這種情況下，只有被確定為具有接近趨勢的塊BK(m)的范圍可以被確定為主要被攝體。
[0400]當通過執(zhí)行這種處理來實現(xiàn)以塊為單位的接近趨勢的確定時，可以基于塊將某個被攝體的圖像區(qū)域適當?shù)卦O定為主要被攝體圖像。這是因為當被攝體相同時幾乎不發(fā)生距離值之差，因此可以如上所述那樣通過提取距離差小的塊并使連續(xù)的塊形成組來適當?shù)卮_定被攝體的范圍。
[0401]被設定為主要被攝體的被攝體圖像的區(qū)域可以是形成的塊組的區(qū)域，或者多個塊的區(qū)域可以設定為形狀類似于圓形、橢圓形或方形的主要被攝體圖像的區(qū)域。
[0402]另外，可以在形成的塊組的范圍內執(zhí)行圖像分析，通過面部檢測、身體檢測等來確定輪廓，并且該輪廓可以被確定為主要被攝體。
[0403]除了上述處理，在步驟F214中也可以執(zhí)行另一處理以確定主要被攝體。例如，如在第一實施例中那樣，可以在數(shù)字信號處理單元20或控制單元30中設置候選檢測單元27，并且可以與圖14的處理并行地提取候選圖像。在這種情況下，可以搜索在步驟F212中將塊BK(m)確定為具有接近趨勢的候選圖像框，并且該候選圖像框的被攝體可以設定為主要被攝體。
[0404]以這種方式，執(zhí)行接近確定和主要被攝體確定處理。
[0405]在接近確定和主要被攝體確定處理中，針對從圖像劃分的每個塊在多個幀中確定接近趨勢。然后，基于接近趨勢的塊的確定來執(zhí)行主要被攝體的設定。因此，如在第一實施例中那樣，顯著改進了在成像時的可操作性。例如當通過主要被攝體確定來對主要被攝體自動執(zhí)行對焦控制或曝光控制時，可以以高質量捕獲靜止圖像或移動圖像。
[0406]其它各種具體的處理例可以被認為是接近確定和主要被攝體確定處理。例如，如在圖6的接近確定時所描述的，即使在圖14的情況下，當在步驟F210中設定β = O時，在檢測累計接近的情形的情況下確定接近趨勢。當在步驟F210中設定β =-1時，在檢測平均接近的情形的情況下確定接近趨勢。當在步驟F208中考慮確定標記Flg(η) = O并且計數(shù)值bCNT(m)復位成零時，只有持續(xù)接近的塊BK被確定為具有接近的趨勢。在各情況下，都可以獲得第一實施例中所述的優(yōu)點。
[0407]例如，當在預定時間條件下在持續(xù)、累計或平均的意義上檢測到接近時，被攝體被確定為具有接近的趨勢，但是確定的權重可以臨時變化。具體而言，代入步驟F209中設定的偏移值OFS (m)的值α逐步增加或相反地逐步減小。
[0408]另外，也可以考慮如下處理例:設定給定確定時段，并在該確定時段內，將計數(shù)值bCNT(m)最大的塊BK (m)或者計數(shù)值bCNT(m)等于或大于預定值的一個或多個塊BK (m)設定為步驟F214的目標，以確定該塊BK為主要被攝體。
[0409]可以考慮將另一個條件作為AND條件添加到接近趨勢的確定，以便確定被攝體為主要被攝體。例如，以下事實也可以添加到條件:塊BK(m)的被攝體距離小于預定距離的事實、包含在塊BK(m)中的被攝體是特定圖像類型的事實、或者塊BK(m)在離幀圖像中心點預定距離(基于X和y坐標的距離)內的事實。
[0410]所有塊BKl至BK(M)都已經(jīng)被設定為目標并且處理已經(jīng)執(zhí)行。但是，例如，諸如只有在圖像數(shù)據(jù)中心部分附近的塊BK的一些塊BK可以被設定為目標，并且可以執(zhí)行圖14的處理。例如，當考慮拍攝者調整成像方向以盡可能在中心部分捕獲拍攝者想設定為主要被攝體的被攝體時，只有中心部分附近的塊BK可以被設定為目標并且可以執(zhí)行圖14的處理，由此提尚主要被攝體設定的精確性。另外，可以減小控制單兀30的處