專利名稱：攝像裝置及圖像再生裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種能夠拍攝運(yùn)動圖像的攝像裝置。另外，本發(fā)明還涉及 一種對運(yùn)動圖像進(jìn)行再生的圖像再生裝置。
背景技術(shù)：
在利用監(jiān)控?cái)z像機(jī)的系統(tǒng)中實(shí)現(xiàn)了運(yùn)動物體的捕捉和跟蹤功能。在這 種系統(tǒng)中，從基于監(jiān)控?cái)z像機(jī)得到的圖像中的指定區(qū)域內(nèi)檢測到運(yùn)動物體 (可疑者)時就會報(bào)警。另外，具有顯示跟蹤結(jié)果的功能從而使監(jiān)控人員 容易確認(rèn)的系統(tǒng)也逐漸被實(shí)用化。
利用圖像的跟蹤技術(shù)釆用以下方法來實(shí)現(xiàn)設(shè)定跟蹤模式后，在圖像 內(nèi)搜索模式位置的模式匹配法；基于光學(xué)流向檢測運(yùn)動物體位置的方法； 跟蹤顏色等拍照對象特征的方法等。
以往，以在監(jiān)控?cái)z像機(jī)中的利用或機(jī)器人視覺實(shí)現(xiàn)為目的研究了采用 圖像處理的運(yùn)動物體的捕捉和跟蹤技術(shù)，但是近幾年，也在面向普通消費(fèi) 者的數(shù)碼相機(jī)中開始使用該技術(shù)了。例如，公開了跟蹤指定的拍照對象并 通過切取處理從拍攝圖像中切取適合于所關(guān)注的拍照對象的構(gòu)圖的圖像 的方法。
若進(jìn)行將主要拍照對象作為跟蹤目標(biāo)的跟蹤處理并且從拍攝圖像中 切取包括跟蹤目標(biāo)的像的圖像區(qū)域，則能夠向用戶提供對跟蹤目標(biāo)具有良 好的構(gòu)圖的運(yùn)動圖像。但是，基于圖像處理的跟蹤不會始終成功，由于各 種因素改變跟蹤的容易度導(dǎo)致相機(jī)丟失跟蹤目標(biāo)也很常見。例如，基于跟 蹤目標(biāo)的顏色信息進(jìn)行跟蹤時，若背景顏色與跟蹤目標(biāo)的顏色相似，會存 在跟蹤的容易度降低從而相機(jī)丟失跟蹤目標(biāo)的情況。若跟蹤的容易度降 低，則顯然也會降低跟蹤的可靠度。
如圖30 (a)斬示，在跟蹤的可靠度或容易度高的狀態(tài)下，在拍攝圖 像901內(nèi)設(shè)定關(guān)注跟蹤目標(biāo)900的切取區(qū)域902，并將切取區(qū)域902內(nèi)的圖像作為切取圖像來生成和記錄即可。但是，在跟蹤的可靠度或容易度低 的狀態(tài)下，若進(jìn)行與可靠度或容易度高時相同的切取處理，則有可能如圖
30 (b)所示，在拍攝圖像911內(nèi)設(shè)定的切取區(qū)域912中不存在跟蹤目標(biāo) 910。圖30 (b)是在基于顏色信息進(jìn)行跟蹤處理時，假設(shè)背景當(dāng)中存在具 有類似于跟蹤目標(biāo)的顏色的物體從而將該物體誤認(rèn)為是跟蹤目標(biāo)時的情 況的圖。
盡管相機(jī)的拍攝區(qū)域內(nèi)包含了作為跟蹤目標(biāo)的主要拍照對象，但是相 機(jī)中記錄的切取圖像內(nèi)未包含該主要拍照對象的像的情況是最不希望發(fā) 生的情況，因此應(yīng)該極力避免這種情況的發(fā)生。
以上記載了利用關(guān)注于跟蹤目標(biāo)的切取處理時(即，利用電子變焦時) 的問題，但是關(guān)注于跟蹤目標(biāo)而進(jìn)行光學(xué)變焦時也會產(chǎn)生同樣的情況。另 外，若要將拍攝時應(yīng)當(dāng)進(jìn)行的處理在圖像再生時迸行，則也會發(fā)生同樣的 情況。再者，想要實(shí)現(xiàn)關(guān)注于跟蹤目標(biāo)的自動聚焦控制等時也會發(fā)生同樣 的情況。
另外，提出了各種各樣的利用電子變焦和/或光學(xué)變焦來獲取關(guān)注于跟 蹤目標(biāo)的圖像的技術(shù)，但是在以往的技術(shù)中，事實(shí)上對跟蹤的可靠度或容 易度并沒有予以考慮。另外，還提出了與跟蹤目標(biāo)在圖像中的移動相應(yīng)地 移動自動聚焦控制中利用的區(qū)域的技術(shù)，但是該技術(shù)中也沒有予以考慮對 跟蹤的可靠度或容易度。

發(fā)明內(nèi)容
本發(fā)明的第l攝像裝置的特征在于，具有攝像元件，其通過依次拍 攝來輸出表示拍攝圖像列的信號；跟蹤處理部，其基于所述攝像元件的輸
出信號依次檢測所述拍攝圖像列上的跟蹤目標(biāo)的位置，從而在所述拍攝圖
像列上跟蹤所述跟蹤目標(biāo)；切取處理部，其按每個拍攝圖像基于檢測出的 所述位置在所述拍攝圖像內(nèi)設(shè)定切取區(qū)域，并提取所述切取區(qū)域內(nèi)的圖像 作為切取圖像或輸出表示所述切取區(qū)域的位置和大小的切取信息；和跟蹤 評價部，其根據(jù)所述攝像元件的輸出信號，評價基于所述跟蹤處理部的跟 蹤的可靠性或容易性的程度；所述切取處理部根據(jù)評價出的所述程度改變 所述切取區(qū)域的大小。艮P，具體而言，例如，所述切取處理部使所述程度被評價為比較高時 的所述切取區(qū)域的大小比所述程度被評價為比較低時的所述切取區(qū)域的 大小更小。
另外，具體而言，例如，所述切取處理部基于評價的所述程度與拍攝 圖像上的所述跟蹤目標(biāo)的大小來設(shè)定所述切取區(qū)域的大小。
另外，具體而言，例如，所述跟蹤評價部接受形成所述拍攝圖像列的 拍攝圖像作為被運(yùn)算圖像，將所述被運(yùn)算圖像的整體區(qū)域劃分為出現(xiàn)所述 跟蹤目標(biāo)的跟蹤目標(biāo)區(qū)域和所述跟蹤目標(biāo)區(qū)域以外的背景區(qū)域，并且根據(jù) 所述跟蹤目標(biāo)區(qū)域的圖像特征與所述背景區(qū)域的圖像特征的對比來評價 所述程度。
本發(fā)明的第2攝像裝置的特征在于，具有攝像元件，其通過依次拍 攝來輸出表示拍攝圖像列的信號；跟蹤處理部，其基于所述攝像元件的輸 出信號依次檢測所述拍攝圖像列上的跟蹤目標(biāo)的位置，從而在所述拍攝圖 像列上跟蹤所述跟蹤目標(biāo)；視角調(diào)整部，其調(diào)整拍攝中的視角；和跟蹤評 價部，其根據(jù)所述攝像元件的輸出信號，評價基于所述跟蹤處理部的跟蹤 的可靠性或容易性的程度；所述視角調(diào)整部根據(jù)評價出的所述程度改變所 述視角。
艮P，具體而言，例如，所述視角調(diào)整部按照在所述程度被評價為較高 時使拍攝圖像上的所述跟蹤目標(biāo)的大小較大，并且在所述程度被評價為較 低時使拍攝圖像上的所述跟蹤目標(biāo)的大小較小的方式，根據(jù)所述程度調(diào)整 所述視角。
另外，具體而言，例如，所述視角調(diào)整部基于評價的所述程度與拍攝 圖像上的所述跟蹤目標(biāo)的大小來設(shè)定所述視角。
另外，具體而言，例如，所述跟蹤評價部接受形成所述拍攝圖像列的 拍攝圖像作為被運(yùn)算圖像，將所述被運(yùn)算圖像的整體區(qū)域劃分為出現(xiàn)所述 跟蹤目標(biāo)的跟蹤目標(biāo)區(qū)域和所述跟蹤目標(biāo)區(qū)域以外的背景區(qū)域，并且根據(jù) 所述跟蹤目標(biāo)區(qū)域的圖像特征與所述背景區(qū)域的圖像特征的對比來評價 所述程度。
本發(fā)明的第1圖像再生裝置是一種將切取圖像列的圖像信號向顯示部 或向外部輸出的裝置，其特征在于，具有圖像獲取部，其從記錄部讀取通過對拍攝目標(biāo)進(jìn)行依次拍攝而得到的圖像信號，從而獲得基于所述圖像
信號的輸入圖像列；跟蹤處理部，其基于所述輸入圖像列的圖像信號依次
檢測所述輸入圖像列上的跟蹤目標(biāo)的位置，從而在所述輸入圖像列上跟蹤
所述跟蹤目標(biāo)；切取處理部，其按每個輸入圖像基于檢測出的所述位置在 所述輸入圖像內(nèi)設(shè)定切取區(qū)域，并提取所述切取區(qū)域內(nèi)的圖像作為切取圖 像；和跟蹤評價部，其根據(jù)所述輸入圖像列的圖像信息，評價基于所述跟 蹤處理部的跟蹤的可靠性或容易性的程度；所述切取處理部根據(jù)評價出的 所述程度改變所述切取區(qū)域的大小。
本發(fā)明的第3攝像裝置的特征在于，具有攝像元件，其通過依次拍 攝來輸出表示拍攝圖像列的信號；跟蹤處理部，其基于所述攝像元件的輸 出信號依次檢測所述拍攝圖像列上的跟蹤目標(biāo)的位置，從而在所述拍攝圖 像列上跟蹤所述跟蹤目標(biāo)；區(qū)域設(shè)定部，其基于檢測出的所述位置在各拍 攝圖像內(nèi)設(shè)定評價值收集區(qū)域；獲取條件控制部，其基于各拍攝圖像的所 述評價值收集區(qū)域內(nèi)的圖像信號，控制所述拍攝圖像列的獲取條件；和跟 蹤評價部，其根據(jù)所述攝像元件的輸出信號，評價基于所述跟蹤處理部的 跟蹤的可靠性或容易性的程度；所述區(qū)域設(shè)定部根據(jù)評價出的所述程度改 變所述評價值收集區(qū)域的大小。
本發(fā)明的第2圖像再生裝置的其特征在于，具有圖像獲取部，其從 記錄部讀取通過對拍攝目標(biāo)進(jìn)行依次拍攝而得到的圖像信號，從而獲得基 于所述圖像信號的輸入圖像列；跟蹤處理部，其基于所述輸入圖像列的圖 像信號依次檢測所述輸入圖像列上的跟蹤目標(biāo)的位置，從而在所述輸入圖 像列上跟蹤所述跟蹤目標(biāo)；區(qū)域設(shè)定部，其基于檢測出的所述位置在各輸 入圖像內(nèi)設(shè)定評價值收集區(qū)域；輸出圖像生成部，其生成基于各輸入圖像 的所述評價值收集區(qū)域內(nèi)的圖像信號對所述輸入圖像列進(jìn)行加工后的輸 出圖像列；和跟蹤評價部，其根據(jù)所述輸入圖像列的圖像信息，評價基于 所述跟蹤處理部的跟蹤的可靠性或容易性的程度；該圖像再生裝置將所述 輸出圖像列的圖像信號向顯示部或向外部輸出的裝置，所述區(qū)域設(shè)定部根 據(jù)評價出的所述程度改變所述評價值收集區(qū)域的大小。
另外，例如，在上述攝像裝置或圖像再生裝置中，所述跟蹤評價部也 可基于所述拍攝圖像或所述輸入圖像上的跟蹤目標(biāo)的大小來評價所述程
8度。
另外，例如，在上述攝像裝置或圖像再生裝置中，所述跟蹤評價部也 可基于所述拍攝圖像或所述輸入圖像上的跟蹤目標(biāo)的位置來評價所述程 度。
另外，例如，在上述攝像裝置或圖像再生裝置中，所述跟蹤評價部還 可基于所述拍攝圖像列或所述輸入圖像列上的跟蹤目標(biāo)的運(yùn)動來評價所 述程度。
另外，例如，在上述攝像裝置或圖像再生裝置中，所述跟蹤評價部也 可基于所述拍攝圖像列或所述輸入圖像列上的跟蹤目標(biāo)的圖像特征的變 化量來評價所述程度。
另外，例如，在上述攝像裝置或圖像再生裝置中，所述跟蹤評價部可 從所述拍攝圖像或所述輸入圖像上的所述跟蹤目標(biāo)的圖像特征與所述跟 蹤目標(biāo)周邊的圖像特征之間的對比中評價所述程度。
另外，例如，在上述攝像裝置或圖像再生裝置中，所述跟蹤評價部也 可基于所述拍攝圖像或所述輸入圖像上的所述跟蹤目標(biāo)的周邊的亮度來 評價所述程度。
另外，例如，在上述攝像裝置或圖像再生裝置中，所述跟蹤評價部還 可基于針對所述跟蹤目標(biāo)的光源色溫的推定結(jié)果來評價所述程度。
另外，例如，在上述攝像裝置或圖像再生裝置中，所述跟蹤評價部也 可基于所述拍攝圖像或所述輸入圖像中包含的噪聲的大小來評價所述程 度。
本發(fā)明的意義或效果將通過以下的實(shí)施方式的說明變得更加明確。但 是，以下的實(shí)施方式始終只是本發(fā)明的一個實(shí)施方式，本發(fā)明或各結(jié)構(gòu)要 素的用語意義并不僅限于以下的實(shí)施方式公開的內(nèi)容。


圖1是本發(fā)明的第1實(shí)施方式的攝像裝置的整體模塊圖。
圖2是圖1的攝像部的內(nèi)部結(jié)構(gòu)圖。 圖3是圖1的攝像裝置的外觀立體圖。
圖4是本發(fā)明的第1實(shí)施方式中設(shè)置在攝像裝置內(nèi)的特別是有關(guān)拍照對象跟蹤功能的部件的模塊圖。
圖5是表示本發(fā)明的第1實(shí)施方式的拍攝模式中攝像裝置的動作的流 程的流程圖。
圖6是表示本發(fā)明的第1實(shí)施方式中在跟蹤處理中參照的初始設(shè)定用 幀圖像的一例的圖。
圖7是表示本發(fā)明的第1實(shí)施方式中作為幀圖像的被運(yùn)算圖像被劃分
為多個小塊的情況的圖。
圖8是用于說明由圖4的跟蹤可靠度評價部執(zhí)行的跟蹤可靠度的評價 方法的圖，在作為幀圖像的被運(yùn)算圖像上疊加了跟蹤目標(biāo)的中心等的圖。
圖9 (a) (c)是表示本發(fā)明的第1實(shí)施方式中根據(jù)跟蹤可靠度可 變設(shè)定切取區(qū)域的尺寸的情況的圖。
圖10是表示本發(fā)明的第1實(shí)施方式中切取區(qū)域的設(shè)定方法步驟的流 程圖。
圖11是本發(fā)明的第1實(shí)施方式中在XY坐標(biāo)平面上表示圖像的圖。 圖12 (a)是表示本發(fā)明的第1實(shí)施方式的幀圖像中的跟蹤目標(biāo)區(qū)域 的圖。
圖12 (b)是表示本發(fā)明的第1實(shí)施方式的幀圖像中的切取區(qū)域的圖。 圖13是表示本發(fā)明的第1實(shí)施方式中暫時設(shè)定的切取區(qū)域從幀圖像 突出的情況的圖。
圖14是表示本發(fā)明的第1實(shí)施方式中按時間序列排列的幀圖像列及 從這些圖像列提取的切取圖像列的圖。
圖15是本發(fā)明的第2實(shí)施方式中設(shè)置在攝像裝置內(nèi)的特別是有關(guān)拍 照對象跟蹤功能的部件的模塊圖。
圖16是表示本發(fā)明的第2實(shí)施方式的拍攝模式中攝像裝置的動作的 流程的流程圖。
圖17是表示本發(fā)明的第2實(shí)施方式中變焦透鏡位置、視角、光學(xué)變 焦倍率之間的關(guān)系的圖。
圖18 (a) (c)是表示本發(fā)明的第2實(shí)施方式中根據(jù)跟蹤可靠度可
變設(shè)定視角(拍攝視角)的情況的圖。
圖19是本發(fā)明的第3實(shí)施方式的攝像裝置的部分模塊圖。圖20是本發(fā)明的第3實(shí)施方式的設(shè)置在攝像裝置上的AF評價值計(jì)算 部的內(nèi)部模塊圖。
圖21是本發(fā)明的第3實(shí)施方式的幀圖像中設(shè)置的AF評價區(qū)域內(nèi)包括 多個小塊的情況的圖。
圖22是表示本發(fā)明的第3實(shí)施方式的有關(guān)拍攝模式的攝像裝置的動 作的流程的流程圖。
圖23是本發(fā)明的第4實(shí)施方式的攝像裝置的部分模塊圖。
圖24是表示本發(fā)明的第4實(shí)施方式中在圖像再生動作時執(zhí)行的處理 的步驟的流程圖。
圖25是表示本發(fā)明的第5實(shí)施方式中兩張幀圖像與兩圖像間的光學(xué) 流向的圖。
圖26是表示本發(fā)明的第6實(shí)施方式中被運(yùn)算圖像上的圖像中心與跟 蹤目標(biāo)的中心的圖。
圖27是表示本發(fā)明的第6實(shí)施方式中按時間序列排列的幀圖像列和 幀圖像間的運(yùn)動矢量的圖。
圖28是表示本發(fā)明的第6實(shí)施方式的跟蹤目標(biāo)的周邊亮度級與可靠 度評價值之間的關(guān)系的圖。
圖29是表示本發(fā)明的第6實(shí)施方式中按每一個跟蹤目標(biāo)幀圖像推定 的色溫分布的圖。
圖30 (a)和>)是表示在現(xiàn)有技術(shù)中分別在跟蹤的可靠度或容易度 比較高和比較低時假設(shè)的切取區(qū)域的設(shè)定例的圖。
具體實(shí)施例方式
下面，參照圖來具體說明本發(fā)明的實(shí)施方式。被參照的各圖中，在相 同的部分上附加了相同的符號，且原則上省略關(guān)于相同的部分的重復(fù)說 明。
(第1實(shí)施方式)
首先，對本發(fā)明的第1實(shí)施方式進(jìn)行說明。圖1是第1實(shí)施方式的攝 像裝置的整體模塊圖。攝像裝置1是能夠拍攝和記錄靜態(tài)圖像及運(yùn)動圖像 的數(shù)碼攝像機(jī)。
ii攝像裝置1具有攝像部11、 AFE (Analog Front End) 12、主控制 部13、內(nèi)部存儲器14、顯示部15、記錄介質(zhì)16、操作部17。
圖2表示攝像部11的內(nèi)部結(jié)構(gòu)圖。攝像部11具有光學(xué)系統(tǒng)35、光圈 32、由CCD (Charge Coupled Devices)或CMOS (Complementary Metal Oxide Semiconductor)圖像傳感器構(gòu)成的攝像元件(固體攝像元件)33、 用于驅(qū)動控制光學(xué)系統(tǒng)35或光圈32的驅(qū)動器34。光學(xué)系統(tǒng)35由包括變 焦透鏡30和聚焦透鏡31的多個透鏡形成。變焦透鏡30和聚焦透鏡31能 在光軸方向上移動。驅(qū)動器34通過基于來自主控制部13的控制信號，對 變焦透鏡30和聚焦透鏡31的各位置以及光圈32的開度進(jìn)行驅(qū)動控制， 從而控制攝像部11的焦距(視角)和焦點(diǎn)位置以及入射到攝像元件33的 入射光量。
攝像元件33對通過光學(xué)系統(tǒng)35及光圈32入射的表示拍照對象的光 學(xué)像進(jìn)行光電變換，且向AFE12輸出通過該光電變換獲得的電信號。更 具體而言，攝像元件33具有矩陣狀二維排列的多個受光像素，在各拍攝 中各受光像素蓄積與曝光時間相應(yīng)的電荷量的信號電荷。具有與所蓄積的 信號電荷的電荷量成比例的大小的來自各受光像素的模擬信號隨著在攝 像裝置1內(nèi)生成的驅(qū)動脈沖而依次向AFE12輸出。曝光時間的長度由主 控制部13控制。
AFE12放大從攝像部11 (攝像元件33)輸出的模擬信號，并將被放 大的模擬信號變換為數(shù)字信號。AFE12將該數(shù)字信號依次向主控制部13 輸出。AFE12的信號放大的放大率由主控制部13控制。
主控制部13具有CPU (Central Processing Unit) 、 ROM (Read Only Memory)及RAM (Random Access Memory)等，起到影像信號處理部的 作用。主控制部13基于AFE12的輸出信號生成表示由攝像部11拍攝的 圖像的影像信號。另外主控制部13還具有作為控制顯示部15的顯示內(nèi)容 的顯示控制部的功能，并對顯示部15進(jìn)行顯示上必要的控制。
內(nèi)部存儲器14由SDRAM (Synchronous Dynamic Random Access Memory)等形成，暫時存儲攝像裝置1內(nèi)生成的各種數(shù)據(jù)。顯示部15是 由液晶顯示面板等構(gòu)成的顯示裝置，在主控制部13的控制下，顯示拍攝 的圖像或存儲在記錄介質(zhì)16上的圖像等。記錄介質(zhì)16是SD (SecureDigital)存儲卡等非易失性存儲器，在基于主控制部13的控制下，存儲拍 攝的圖像等。
操作部17接受來自外部的操作。對操作部17的操作內(nèi)容傳達(dá)到主控 制部13。操作部17中具有用于指示靜態(tài)圖像的拍攝及記錄的快門按鈕(未 圖示)、用于指示運(yùn)動圖像的拍攝及記錄的錄像按鈕(未圖示)等。
攝像裝置1的動作模式包括能夠拍攝靜態(tài)圖像或運(yùn)動圖像的拍攝模 式、能夠在顯示部15上再生存儲于記錄介質(zhì)16中的靜態(tài)圖像或運(yùn)動圖像 的再生模式。在拍攝模式下，以規(guī)定的幀周期依次進(jìn)行拍攝并從攝像元件 33獲取拍攝圖像列。構(gòu)成該拍攝圖像列的各圖像稱為"幀圖像"。圖像列 (例如拍攝圖像列)意味著按時間序列排列的多個圖像。能夠?qū)瑘D像列 作為運(yùn)動圖像顯示在顯示部15的顯示畫面上。
圖3表示從拍攝者一側(cè)看到的攝像裝置1的外觀立體圖。圖3中還圖 示了作為拍照對象的人。拍攝者通過確認(rèn)顯示在顯示部15的顯示畫面上 的拍照對象的模樣，能夠確認(rèn)攝像裝置l的拍攝范圍。
攝像裝置1具有利用圖像處理的拍照對象跟蹤功能，在實(shí)現(xiàn)該拍照對 象跟蹤功能時進(jìn)行特征動作。通過對操作部17實(shí)施規(guī)定操作使得拍照對 象跟蹤功能變?yōu)橛行?。以下所示的動作只要未做特別限定，就是拍照對象 跟蹤功能變?yōu)橛行r的攝像裝置1的動作(對后述的其它實(shí)施方式也相 同)。此外，將表示圖像的數(shù)據(jù)稱為圖像數(shù)據(jù)。某幀圖像的圖像數(shù)據(jù)表示 該幀圖像的光學(xué)像，且由AFE12的輸出信號生成。也能將圖像數(shù)據(jù)換稱 為圖像信號。另外，也有稱作表示圖像數(shù)據(jù)的信號與影像信號的時候，圖 像數(shù)據(jù)與影像信號是等效的。
圖4是攝像裝置1內(nèi)的特別是與拍照對象跟蹤功能有關(guān)的部件的模塊 圖。圖4中，由符號51 54表示的各部件設(shè)置在圖1的主控制部13內(nèi)。 形成幀圖像列的各幀圖像的圖像數(shù)據(jù)依次分配給跟蹤處理部51、跟蹤可靠 度評價部52及切取處理部53。
跟蹤處理部51通過基于幀圖像列的圖像數(shù)據(jù)依次檢測各幀圖像內(nèi)的 特定拍照對象的位置，由此跟蹤幀圖像列中的特定拍照對象的位置。下面 將應(yīng)跟蹤的特定拍照對象稱為"跟蹤目標(biāo)"。考慮跟蹤目標(biāo)為人的情況。
跟蹤處理部51還具有作為臉部檢測部(未圖示)的功能，基于幀圖像的圖像數(shù)據(jù)從幀圖像中檢測人的臉部，并提取包括檢測出的臉部的臉部 區(qū)域。實(shí)現(xiàn)該功能的處理稱為臉部檢測處理。作為檢測包括在圖像中的臉 部的方法公知有各種各樣的方法，跟蹤處理部51能夠采用任何一種方法。
例如，如特開2000-105819號公報(bào)公開的方法，可以通過從幀圖像提取膚 色區(qū)域來檢測臉部(臉部區(qū)域)，也可以利用特開2006-211139號公報(bào)或 特開2006-72770號公報(bào)公開的方法來檢測臉部(臉部區(qū)域)。
跟蹤可靠度評價部52基于幀圖像列的圖像數(shù)據(jù)評價基于跟蹤處理部 51的跟蹤的可靠度(跟蹤的可靠性的程度)或跟蹤的容易度(跟蹤的容易 性的程度)。跟蹤的可靠度與跟蹤的容易度具有相同的意義或類似的意義。 嚴(yán)密地說，跟蹤的可靠度解釋為一種表示過去執(zhí)行的跟蹤有多可靠的指 標(biāo)，跟蹤的容易度解釋為一種表示從現(xiàn)在開始要執(zhí)行的跟蹤有多容易的指 標(biāo)。跟蹤的容易度越高跟蹤的可靠度也變得越高，跟蹤的容易度越低跟蹤 的可靠度也變得越低。在以下的說明中，為了簡化敘述，認(rèn)為"跟蹤處理 部51評價的是跟蹤的可靠度"，也能將跟蹤的可靠度換稱為跟蹤的容易 度。另外，跟蹤的可靠度與跟蹤的容易度指同樣的指標(biāo)。
切取處理部53基于由跟蹤處理部51進(jìn)行的跟蹤處理的結(jié)果和由跟蹤 可靠度評價部52進(jìn)行的跟蹤可靠度的評價結(jié)果，在幀圖像內(nèi)設(shè)定切取區(qū) 域，該切取區(qū)域包括具有與跟蹤目標(biāo)對應(yīng)的圖像數(shù)據(jù)的跟蹤目標(biāo)區(qū)域，從 幀圖像切取該切取區(qū)域內(nèi)的圖像。將切取出的切取區(qū)域內(nèi)的圖像稱為"切 取圖像"。切取區(qū)域比幀圖像的整體區(qū)域要小，并且切取圖像相當(dāng)于幀圖 像的部分圖像。因此，切取圖像的圖像尺寸(水平方向及垂直方向的像素 數(shù))比幀圖像的圖像尺寸要小。由切取處理部53生成的切取圖像的圖像 數(shù)據(jù)依次分配給分辨率變換部54。
分辨率變換部54執(zhí)行用于提高切取圖像的分辨率的圖像處理(以下， 稱為分辨率提高處理)。例如，通過線性插值等插值處理或者通過超清晰 處理來提高切取圖像的分辨率。特別將分辨率提高后的切取圖像稱為輸出 圖像。分辨率變換部54生成和輸出上述輸出圖像的圖像數(shù)據(jù)。 (拍攝時的動作)
參照圖5對實(shí)現(xiàn)拍照對象跟蹤功能時的攝像裝置1的操作進(jìn)行更詳細(xì) 的說明。圖5是表示在拍攝模式中攝像裝置1的動作的流程的流程圖。在攝像模式下，拍照對象跟蹤功能變?yōu)橛行r，圖4的跟蹤處理部51對依 次輸入的幀圖像進(jìn)行臉部檢測處理。依次輸入的幀圖像在顯示部15上更 新顯示。主控制部13 —方面確認(rèn)是否從當(dāng)前的幀圖像中檢測到了臉部(步 驟Sll)，另一方面確認(rèn)是否對操作部17進(jìn)行了規(guī)定的跟蹤開始指示操作 (步驟S12)，當(dāng)檢測到了臉部且對操作部17進(jìn)行了規(guī)定的跟蹤開始指示 操作時，過渡到步驟S13執(zhí)行步驟S13的處理。
在步驟S13中，跟蹤處理部51將在步驟S13之前獲得的檢測出了臉 部的幀圖像作為初始設(shè)定用幀圖像來獲取，基于初始設(shè)定用幀圖像的圖像 數(shù)據(jù)設(shè)定跟蹤目標(biāo)和跟蹤顏色。
參照圖6來說明跟蹤目標(biāo)和跟蹤顏色的設(shè)定方法。圖6的圖像201表 示初始設(shè)定用幀圖像的一例。在圖6中，虛線矩形區(qū)域211是通過臉部檢 測處理從初始設(shè)定用幀圖像201提取的臉部區(qū)域。跟蹤處理部51將具有 臉部區(qū)域211中包含的臉部的人作為跟蹤目標(biāo)來設(shè)定。提取臉部區(qū)域211 后，跟蹤處理部51檢測作為包括與該臉部區(qū)域211對應(yīng)的人的身體部位 的區(qū)域的身體區(qū)域212。身體區(qū)域212是在臉部區(qū)域211的下方側(cè)(從眉 間朝向嘴部的方向側(cè))的矩形區(qū)域。在初始設(shè)定用幀圖像中依賴于臉部區(qū) 域211的位置及大小來決定身體區(qū)域212的位置及大小。
其次，跟蹤處理部51基于身體區(qū)域212內(nèi)圖像的圖像數(shù)據(jù)特定身體 區(qū)域212內(nèi)的顏色，將特定的顏色作為跟蹤顏色來設(shè)定。例如，基于形成 身體區(qū)域212內(nèi)圖像的各像素的顏色信號(例如，RGB信號)生成身體區(qū) 域212內(nèi)圖像的顏色直方圖。然后，基于該顏色直方圖求出身體區(qū)域212 內(nèi)圖像的支配顏色或最頻繁顏色，將該求出的顏色作為跟蹤顏色來設(shè)定。 某一圖像的支配顏色是指占據(jù)該圖像的圖像區(qū)域的大部分的顏色，某一圖 像的最頻繁顏色是指該圖像的顏色直方圖中具有最高度數(shù)的顏色(支配顏 色與最頻繁顏色是相同的存在)。或者，也可以通過平均化形成身體區(qū)域 212內(nèi)圖像的各像素的顏色信號來求出身體區(qū)域212內(nèi)圖像的平均顏色， 并將該平均顏色作為跟蹤顏色來設(shè)定。
此外，在步驟S13中，也可以將跟蹤目標(biāo)和跟蹤顏色通過對操作部17 的手動操作來設(shè)定。例如，用戶寧過對操作部17的操作來指定應(yīng)成為跟 蹤目標(biāo)的人在幀圖像上的位置，由此設(shè)定跟蹤目標(biāo)，并通過對操作部17
15的操作來指定跟蹤顏色，由此設(shè)定跟蹤顏色。
在步驟S13中設(shè)定跟蹤目標(biāo)和跟蹤顏色之后，反復(fù)執(zhí)行由步驟S21
S25構(gòu)成的循環(huán)處理，在該循環(huán)處理中，跟蹤處理部51對設(shè)定跟蹤目標(biāo)和
跟蹤顏色之后獲得的幀圖像列執(zhí)行跟蹤處理。特別將形成應(yīng)實(shí)施該跟蹤處
理的圖像列的各幀圖像稱為跟蹤目標(biāo)幀圖像。跟蹤處理部51基于跟蹤目 標(biāo)幀圖像列的圖像數(shù)據(jù)，檢測各跟蹤目標(biāo)幀圖像中的跟蹤目標(biāo)的位置及大 小。
跟蹤處理部51基于跟蹤目標(biāo)具有的顏色信息進(jìn)行跟蹤處理?；陬?色信息的跟蹤處理的方法能夠使用特開平5-284411號公報(bào)、特開 2000-48211號公報(bào)、特開2001-169169號公報(bào)等公開的方法。在上述的例 子中，根據(jù)如上述設(shè)定的跟蹤顏色表現(xiàn)跟蹤目標(biāo)具有的顏色信息。因此， 跟蹤處理部51基于跟蹤目標(biāo)幀圖像的顏色信號從跟蹤目標(biāo)幀圖像提取具 有與跟蹤顏色的類似性高的顏色的區(qū)域。這里，提取的區(qū)域可看作在跟蹤 目標(biāo)幀圖像內(nèi)的跟蹤目標(biāo)的身體區(qū)域。
更具體而言，例如，在關(guān)注的跟蹤目標(biāo)幀圖像內(nèi)，設(shè)定具有與跟蹤目 標(biāo)的身體區(qū)域大小同等大小的跟蹤框，在搜索范圍內(nèi)依次改變跟蹤框的位 置，同時執(zhí)行跟蹤框內(nèi)的圖像顏色與跟蹤顏色之間的類似性評價，在獲得 最大的類似性的跟蹤框的位置上判斷存在跟蹤目標(biāo)的身體區(qū)域。當(dāng)前的對 跟蹤目標(biāo)幀圖像的搜索范圍以前一次的跟蹤目標(biāo)幀圖像中的跟蹤目標(biāo)的 位置為基準(zhǔn)而設(shè)定。通常，該搜索范圍是以前一次的跟蹤目標(biāo)幀圖像中的 跟蹤目標(biāo)的位置為中心的矩形區(qū)域，搜索范圍的尺寸(圖像尺寸)比幀圖 像的整體區(qū)域的尺寸小。
跟蹤處理部51通過對不斷輸入的跟蹤目標(biāo)幀圖像執(zhí)行基于上述的顏 色信息的跟蹤處理，從而檢測出各跟蹤目標(biāo)幀圖像的跟蹤目標(biāo)的位置。例 如，跟蹤目標(biāo)的位置由該跟蹤目標(biāo)的身體區(qū)域的中心坐標(biāo)值表現(xiàn)。
另夕卜，跟蹤目標(biāo)幀圖像上的跟蹤目標(biāo)的大小因跟蹤目標(biāo)與攝像裝置1 之間的實(shí)際空間上的距離變化等而變化。因此，需要根據(jù)跟蹤目標(biāo)幀圖像 上的跟蹤目標(biāo)的大小來適當(dāng)改變上述的跟蹤框的大小，該改變通過在公知 的跟蹤算法中使用的拍照對象尺寸檢測方法來實(shí)現(xiàn)。例如，在跟蹤目標(biāo)幀 圖像中，若假設(shè)離預(yù)測存在跟蹤目標(biāo)的身體的點(diǎn)充分遠(yuǎn)的點(diǎn)上出現(xiàn)背景，則跟蹤處理部51根據(jù)兩點(diǎn)的圖像特征來分類出兩點(diǎn)間的各位置的像素屬 于背景還是跟蹤目標(biāo)。圖像特征包括亮度信息和顏色信息。由該分類推定 跟蹤目標(biāo)的輪廓。然后，從該輪廓推定跟蹤目標(biāo)的大小，并根據(jù)該推定的 大小設(shè)定跟蹤框的大小。
設(shè)定跟蹤框的大小與檢測出跟蹤目標(biāo)幀圖像中的跟蹤目標(biāo)的身體區(qū) 域的大小是相同的。另外，由于跟蹤目標(biāo)的大小與身體區(qū)域的大小成比例， 因此檢測出身體區(qū)域的大小的同時跟蹤目標(biāo)的大小也被確定。因此，跟蹤 處理部51變成檢測各跟蹤目標(biāo)幀圖像中的跟蹤目標(biāo)的位置和大小。包括 表示檢測出的位置和大小的信息(換言之，表示跟蹤目標(biāo)區(qū)域的位置和大
小的信息)的跟蹤結(jié)果信息傳達(dá)到跟蹤可靠度評價部52和切取處理部53 (參照圖4)。
跟蹤處理部51基于跟蹤目標(biāo)的位置和大小的檢測結(jié)果能夠設(shè)定出現(xiàn) 了跟蹤目標(biāo)的整體影像的圖像區(qū)域。在幀圖像的整體區(qū)域內(nèi)，跟蹤目標(biāo)的 整體影像表示的圖像區(qū)域(存在表示跟蹤目標(biāo)的圖像數(shù)據(jù)的區(qū)域)稱為跟 蹤目標(biāo)區(qū)域，跟蹤目標(biāo)未出現(xiàn)的圖像區(qū)域(不存在表示跟蹤目標(biāo)的圖像數(shù) 據(jù)的區(qū)域)稱為背景區(qū)域。跟蹤目標(biāo)區(qū)域包括跟蹤目標(biāo)的整體影像，且盡 可能將其設(shè)定得小。
另外，作為推定跟蹤目標(biāo)幀圖像中的跟蹤目標(biāo)的大小(主要拍照對象 的大小)的方法，也能采用與上述的方法不同的其它的任意方法(例如， 特開2004-94680號公報(bào)公開的方法或特開平9-189934號公報(bào)公開的方 法)。
下面對圖5所示的步驟S21 S25中執(zhí)行的各處理進(jìn)行說明。在步驟 S13中設(shè)定了跟蹤目標(biāo)和跟蹤顏色之后，首先執(zhí)行步驟S21的處理。
在步驟S21中，從當(dāng)前時間的1張幀圖像的AFE12的輸出信號獲取 當(dāng)前的幀圖像。這里獲取的幀圖像是如上所述的跟蹤目標(biāo)幀圖像。在之后 的步驟S22中，跟蹤處理部51通過上述的跟蹤處理來檢測在步驟S21中 得到的當(dāng)前的幀圖像中的跟蹤目標(biāo)的位置和大小，并且生成包括表示檢測 出的位置和大小的信息的跟蹤結(jié)果信息，并向跟蹤可靠度評價部52和切 取處理部53輸出跟蹤結(jié)果信息。
在步驟S22之后的步驟S23中，跟蹤可靠度評價部52評價當(dāng)前時間的跟蹤可靠度，換言之，對步驟S21的幀圖像評價檢測出的跟蹤目標(biāo)的位 置(和大小)的可靠度。
下面例示該評價方法。表示已評價的可靠度的評價值稱為可靠度評價 值，并將其用EVr表示。能按每一個跟蹤目標(biāo)幀圖像算出可靠度評價值。
EVk取0以上100以下的值，且跟蹤可靠度被評價得越高可靠度評價值EVa 越大。
跟蹤可靠度評價部52將在步驟S21中獲取的跟蹤目標(biāo)幀圖像作為被 運(yùn)算圖像來處理。然后，如圖7所示，通過在水平方向和垂直方向上將被 運(yùn)算圖像的整體區(qū)域分割成多塊，從而在被運(yùn)算圖像內(nèi)設(shè)定多個小塊?，F(xiàn) 在，將水平方向和垂直方向的分割數(shù)分別設(shè)為M和N (M和N是2以上 的整數(shù))。各小塊由二維排列的多個像素形成。另外，作為表示被運(yùn)算圖 像內(nèi)的小塊的水平位置和垂直位置的記號，引用m和n (m是滿足l《m 《M的整數(shù)值，且n是滿足1《n《N的整數(shù)值)。m和n設(shè)定為m變 得越大其水平位置就越朝向右方，n變得越大其垂直位置就越朝向下方。 水平位置為m、垂直位置為n的小塊表示為小塊[m， n]。
跟蹤可靠度評價部52基于跟蹤結(jié)果信息辨別被運(yùn)算圖像中的跟蹤目 標(biāo)的身體區(qū)域的中心，特定其中心的位置屬于哪一個小塊。圖8的點(diǎn)250 表示該中心?，F(xiàn)在假設(shè)該中心250屬于小塊[mo， n0] (mo是滿足1《m《 M的整數(shù)值，且no是滿足l《n《N的整數(shù)值)。另夕卜，通過利用上述的 拍照對象尺寸檢測方法，將各小塊分類為表示跟蹤目標(biāo)的圖像數(shù)據(jù)的小塊 或表示背景的圖像數(shù)據(jù)的小塊。前者小塊稱為拍照對象塊，后者小塊稱為 背景塊。圖8形象化地表示了將出現(xiàn)在中心250周邊的跟蹤目標(biāo)的顏色與 背景顏色相異的情況。
可將所有拍照對象塊合成后的區(qū)域作為跟蹤目標(biāo)區(qū)域，將所有背景塊 合成后的區(qū)域作為背景區(qū)域。
跟蹤可靠度評價部52按每一個背景塊算出表示設(shè)定的跟蹤顏色與背 景塊內(nèi)的圖像的顏色之間的差的色差評價值。假設(shè)有Q個背景塊，且分別 用C鵬[1] C服[Q]來表示對第1 第Q背景塊算出的色差評價值(Q是滿 足不等式"2《Q《(MxN) -1"的整數(shù))。例如，計(jì)算色差評價值CDIS[1] 時，通過平均化屬于第1背景塊的各像素的顏色信號(例如，RGB信號)求出第1背景塊內(nèi)的像素的平均顏色，并檢測該平均顏色在RGB色空間 上的位置。另一方面，還檢測對跟蹤目標(biāo)設(shè)定的跟蹤顏色在RGB色空間 上的位置，將RGB色空間上的兩位置間的距離作為色差評價值Cms[l]來 計(jì)算。由此，對比的顏色的差異增大時色差評價值Cms[l]會增大。另外， 歸一化RGB色空間，使色差評價值C服[l]的取值范圍在0以上1以下。 其它的色差評價值Cws[2] CDK[Q]也由同樣的方法計(jì)算。另外，用于求出 色差評價值的色空間也可以是RGB色空間以外(例如，HSV色空間)的 空間。對于某一個關(guān)注的圖像區(qū)域，該圖像區(qū)域內(nèi)的顏色在色空間上的位 置也可以說成是一種表示該圖像區(qū)域內(nèi)的圖像的特征的量(圖像特征量)。
而且，跟蹤可靠度評價部52按每一個背景塊算出表示中心250與背 景塊之間在被運(yùn)算圖像上的空間位置之差的位置差評價值。分別用 Pms[l] Pms[Q]表示對第1 第Q背景塊算出的位置差評價值。對某背景 塊的位置差評價值是中心250與該背景塊的4個頂點(diǎn)內(nèi)相對于中心250最 近的頂點(diǎn)之間的距離。小塊[l， l]為第l背景塊，并且Kmo且Kno，如 圖8所示，小塊[l， 1]的4個頂點(diǎn)內(nèi)頂點(diǎn)251離中心250最近時，位置差 評價值Pms[l]是中心250與頂點(diǎn)251之間在被運(yùn)算圖像上的空間距離。歸 一化被運(yùn)算圖像的空間區(qū)域，使位置差評價值Pws[l]的取值范圍在O以上 1以下。其它的位置差評價值Pms[2] P服[Q]也由同樣的方法計(jì)算。
跟蹤可靠度評價部52，基于如上所述地求出的色差評價值及位置差評
價值，由下式(1)算出對關(guān)注的被運(yùn)算圖像的合并距離CPDB。然后，利
用該合并距離CPDB，由下式(2)算出對關(guān)注的被運(yùn)算圖像的可靠度評價
值EVR。即，"CPDIS>100"時使"EVR=0" ， "CPDIS《100"時使"EVR=100-
CPDIS"。由該計(jì)算方法了解到跟蹤目標(biāo)附近存在與跟蹤顏色同色或類似色
的背景，則可靠度評價值EVR就會降低。<formula>formula see original document page 19</formula>在圖5的步驟S23中評價了跟蹤可靠度之后，執(zhí)行步驟S24的處理。在步驟S24中，切取處理部53基于從跟蹤處理部51輸出的最新的跟蹤結(jié) 果信息和由跟蹤可靠度評價部52評價的最新的跟蹤可靠度，在步驟S21 中得到的幀圖像的整體區(qū)域內(nèi)設(shè)定切取區(qū)域，將該切取區(qū)域內(nèi)的圖像作為 切取圖像從該幀圖像切出。
此時，若幀圖像上的跟蹤目標(biāo)的大小是一定的，則如圖9 (a) (c) 所示設(shè)定切取區(qū)域，使切取區(qū)域的尺寸隨著跟蹤可靠度變高而減小。圖9 (a) 、 (b)和(c)表示跟蹤可靠度分別為第l、第2、第3可靠度時的 切取區(qū)域的設(shè)定的情況。假設(shè)在第1 第3可靠度內(nèi)，第1可靠度是最高 的可靠度，第3可靠度是最低的可靠度。在圖9 (a) (c)中，實(shí)線四 角框內(nèi)的圖像271 273表示應(yīng)設(shè)定切取區(qū)域的幀圖像，虛線四角框內(nèi)的 圖像281 2S3表示切取區(qū)域。各切取區(qū)域內(nèi)的人是跟蹤目標(biāo)。由于跟蹤 目標(biāo)具有的跟蹤顏色的類似顏色位于跟蹤目標(biāo)的周圍，因此對幀圖像272 和273的跟蹤可靠度比幀圖像271的跟蹤可靠度低。
對幀圖像271設(shè)定的切取區(qū)域281的尺寸小于對幀圖像272設(shè)定的切 取區(qū)域282的尺寸，且切取區(qū)域282的尺寸小于對幀圖像273設(shè)定的切取 區(qū)域283的尺寸。切取區(qū)域的尺寸是表示切取區(qū)域的大小的切取區(qū)域的圖 像尺寸，由屬于切取區(qū)域內(nèi)的像素?cái)?shù)來表示。
參照圖10來更詳細(xì)地說明步驟S24的切取區(qū)域的設(shè)定方法的例子。 圖10是表示切取區(qū)域的設(shè)定方法步驟的流程圖，由切取處理部53依次執(zhí) 行圖10所示的步驟S31 S35的各處理。
說明圖IO所示的處理之前，先參照圖11說明圖像上的坐標(biāo)值的意義 等。圖11是在XY坐標(biāo)平面上表示了幀圖像等的任意圖像300的圖。XY 坐標(biāo)平面是將相互垂直的X軸和Y軸作為坐標(biāo)軸的二維坐標(biāo)平面，X軸 延伸的方向與圖像300的水平方向平行，Y軸延伸的方向與圖像300的垂 直方向平行。另外，討論圖像上的物體或區(qū)域時，將該物體或區(qū)域在X軸 方向上的大小(尺寸)作為物體或區(qū)域的寬度來獲得，將該物體或區(qū)域在 Y軸方向上的大小(尺寸)作為物體或區(qū)域的高度來獲得。用(x， y)表 示圖像300上的關(guān)注的某點(diǎn)的坐標(biāo)值。x和y分別表示關(guān)注的點(diǎn)的水平方 向和垂直方向的坐標(biāo)值。X軸和Y軸在原點(diǎn)O交叉，從原點(diǎn)O看，X軸 的正方向是向右方向，X軸的負(fù)方向是向左方向，Y軸的正方向是向上方向，Y軸的負(fù)方向是向下方向。
對圖10所示的步驟S31 S35的各處理進(jìn)行說明。首先，在步驟S31 中，切取處理部53利用由跟蹤結(jié)果信息表示的跟蹤目標(biāo)的高度HA，且由 式"Hb:1^xHa"算出切取高度HB。 k,是預(yù)先設(shè)定的比1大的常數(shù)。在 圖12 (a)中表示應(yīng)設(shè)定切取區(qū)域的幀圖像310，并且在幀圖像310中由 矩形區(qū)域311表示存在跟蹤目標(biāo)的圖像數(shù)據(jù)的跟蹤目標(biāo)區(qū)域。在圖12(b) 中表示與圖12 (a)所示的相同的幀圖像310，并且對幀圖像310由矩形 區(qū)域312表示應(yīng)設(shè)定的切取區(qū)域。另外，在圖12 (a)中，由矩形區(qū)域表 示了跟蹤目標(biāo)區(qū)域，但是跟蹤目標(biāo)區(qū)域的外形不僅限于矩形。
作為矩形區(qū)域3U的跟蹤目標(biāo)區(qū)域的高度方向的大小(尺寸)為跟蹤 目標(biāo)的高度HA，作為矩形區(qū)域312的切取區(qū)域的高度方向的大小(尺寸) 為切取高度HB。另外，分別由Ho和Wo表示幀圖像310的整體區(qū)域的高 度方向和寬度方向的大小(尺寸)。
在步驟S31中算出的切取高度，在步驟S32中根據(jù)表示跟蹤可靠度的 可靠度評價值EVR來修正。修正后的切取高度由HB'表示(但是，也有 不進(jìn)行實(shí)質(zhì)性的修正而變成HB' 二Hb的情況)。具體而言，通過比較最新 的可靠度評價值EVK與規(guī)定的閾值TH,、 TH2來判斷以下的第1 第3不 等式中的哪一個不等式成立。預(yù)先設(shè)定閾值TH,和TH2，使不等式"100> TH^ TH2>0"成立，例如為TH產(chǎn)95且=TH2=75 。
并且，第1不等式"EV^TH,成立時，在Hb'的位置上代入Hb。 即，第l不等式成立時，對在步驟S31中算出的切取高度不進(jìn)行修正。
第2不等式"TH一EVr》TH2"成立時，由式"Hb' =Hbx (l+(l-E VR/100) /2))"算出修正后的切取高度Hb' 。 S卩，第2不等式成立時， 增大修正切取高度。
第3不等式"TH2> EVR"成立時，在HB'的位置上代入HB0。 HB0 是基于幀圖像310的高度Ho的常數(shù)，例如，與高度Ho—致的常數(shù)或比高 度Ho略小的常數(shù)。第3不等式成立時，也增大修正切取高度。
在步驟S32之后的步驟S33中，利用—修正后的切取高度Hb'，由式 "WB=k2xHB'"算出切取竟度Wb。切取寬度WB是作為矩形區(qū)域312的 切取區(qū)域的寬度方向的大小(尺寸)。另外，k2是預(yù)先設(shè)定的常數(shù)(例如，k2=16/9)。若跟蹤目標(biāo)區(qū)域的寬度方向的大小比起高度方向的大小并未異
常地大時，將變成切取區(qū)域包含跟蹤目標(biāo)區(qū)域。在本例中，假設(shè)了跟蹤目 標(biāo)為人且人的個子方向與圖像的垂直方向一致的情況，不設(shè)定寬度方向的 大小比起高度方向的大小異常地大的跟蹤區(qū)域。
之后，在步驟S34中，切取處理部53從跟蹤結(jié)果信息獲取跟蹤目標(biāo) 的中心CNA的坐標(biāo)值(xA， yA)，且設(shè)定切取區(qū)域的中心CNe的坐標(biāo)值 (xB， yB)，使(xB， yB) = (xA， yA)。
在該階段設(shè)定的切取區(qū)域有可能包括從幀圖像310的整體區(qū)域突出的 區(qū)域。例如，有可能如圖13所示，切取區(qū)域312a的部分區(qū)域位于幀圖像 310整體區(qū)域外且?guī)瑘D像310的上方一側(cè)。位于幀圖像310整體區(qū)域外的、 切取區(qū)域的部分區(qū)域稱為突出區(qū)域。突出區(qū)域的突出方向的大小稱為突出 量。
在步驟S35中，判斷是否存在突出區(qū)域。不存在突出區(qū)域時，由通過 步驟S31 S34的處理設(shè)定的切取高度hb'、切取竟度Wb、坐標(biāo)值(xb， yB)決定的切取區(qū)域，變成在圖5所示的步驟S24中應(yīng)設(shè)定的最終的切取 區(qū)域。
當(dāng)存在突出區(qū)域時，對由通過步驟S31 S34的處理設(shè)定的切取高度 HB'、切取寬度WB、坐標(biāo)值(xb， yB)決定的切取區(qū)域進(jìn)行切取位置調(diào) 整，將切取位置調(diào)整后的切取區(qū)域作為在圖5所示的步驟S24中應(yīng)設(shè)定的 最終的切取區(qū)域。
在切取位置調(diào)整中，修正切取區(qū)域的中心CNB的坐標(biāo)值，使突出量恰 好為零。例如，如圖13所示，幀圖像310的上方一側(cè)上突出有切取區(qū)域 312a時，將切取區(qū)域的中心CNB向下方移動與突出量相應(yīng)的量。即，設(shè) 突出量為Ay時，由"yB' =yB-Ay"算出修正后的y軸坐標(biāo)值yB'，將在 圖5所示的步驟S24中應(yīng)設(shè)定的最終的切取區(qū)域的中心CNB的坐標(biāo)值設(shè)為 (xB， yB"。
同樣地，幀圖像的下方一側(cè)上突出有切取區(qū)域時，將切取區(qū)域的中心 CNB向上方移動與突出量相應(yīng)的量，幀圖像的右側(cè)上突出有切取區(qū)域時， 將切取區(qū)域的中心CNB向左方向移動與突出量相應(yīng)的量，幀圖像的左側(cè)上 突出有切取區(qū)域時，將切取區(qū)域的中心CNB向右方向移動與突出量相應(yīng)的
22量，將移動后的切取區(qū)域設(shè)定為最終的切取區(qū)域。
另外，通過向切取區(qū)域的下方移動，在切取區(qū)域的下方一側(cè)再次出現(xiàn) 切取區(qū)域的突出時，對切取區(qū)域的大小(切取高度和切取寬度)進(jìn)行減少 修正，使得消除該突出。在切取高度HB'比較大時易發(fā)生需要減少修正 的情況。
再次參照圖5。如上所述，設(shè)定切取區(qū)域，并從步驟S21中得到的幀
圖像生成切取圖像之后，執(zhí)行步驟S25的處理。在步驟S25中，分辨率變 換部54通過執(zhí)行用于提高切取圖像分辨率的分辨率提高處理來生成輸出 圖像(即，提高分辨率后的切取圖像)。
分辨率提高處理，例如，通過利用一張幀圖像的圖像數(shù)據(jù)的插值處理 來實(shí)現(xiàn)。此時，例如，應(yīng)切取切取圖像的幀圖像的圖像尺寸為1920X1080， 且提高分辨率前的切取圖像的圖像尺寸為960X540時，通過分別在水平 方向和垂直方向上將提高分辨率前的切取圖像的圖像尺寸擴(kuò)大至2倍來生 成具有1920X1080的圖像尺寸的切取圖像(即，提高分辨率后的切取圖 像)。通過利用插值處理的分辨率變換來實(shí)現(xiàn)圖像尺寸的擴(kuò)大。作為插值 處理的方法能利用鄰近點(diǎn)(nearest neighbor)法、雙線性法、雙三次法等 各種方法。
另外，也可以向經(jīng)過上述的插值處理得到的提高分辨率后的切取圖像 (以下，稱為清晰化前圖像)進(jìn)一步施加清晰化處理，將清晰化處理后的 圖像(以下，稱為清晰化后圖像)作為分辨率變換部54的輸出圖像。例 如，也能夠通過向清晰化前圖像實(shí)施利用了邊緣突出濾波器(微分濾波器 等)或反銳化掩模濾波器(imsharp mask filter)的濾波來生成清晰化后圖 像。利用反銳化掩模濾波器的濾波稱為反銳化掩蔽(unsharp masking)。 在反銳化掩蔽中，平滑化清晰化前圖像來生成平滑化圖像之后，生成該平 滑化圖像與清晰化前圖像之間的差分圖像。然后，通過合成差分圖像與清 晰化前圖像使該差分圖像的各像素值與清晰化前圖像的各像素值互相補(bǔ) 充來生成清晰化后圖像。
或者，也可以通過利用了多張幀圖像的超清晰處理來實(shí)現(xiàn)分辨率提高 處理。在超清晰處理中，參照存在位置偏移的多個低分辨率圖像，基于多 個低分辨率圖像間的位置偏移量與多個低分辨率圖像的圖像數(shù)據(jù)，通過進(jìn)行低分辨率圖像的高清晰化生成一張高分辨率圖像。分辨率變換部54能
夠利用公知的任意的超清晰處理。例如，能利用特開2005-197910號公報(bào)、 特開2007-205號公報(bào)、特開2007-193508號公報(bào)等公開的超清晰處理方法。 例如，利用3張幀圖像來進(jìn)行超清晰處理時，進(jìn)行如下處理。當(dāng)前， 每經(jīng)過1幀周期的時間時，按順序訪問時刻tn.2、 t^、 tn、 tn+1、 tn+2、……， 如圖14所示，在時刻Ui獲取的幀圖像稱為時刻tn+i的幀圖像(i為整數(shù))。
然后，用CU表示從時刻U的幀圖像切取的切取圖像。此時，利用3張
切取圖像CIn+i、 CIn+i+1、 Cln+i+2生成一張高分辨率圖像。
考慮I為(-2)的情況列舉具體例子。在得到切取圖像CIn的時刻， 參照3張切取圖像CIn.2、 CIw、 CIn，將切取圖像CIw、 CIw、 CIn分別作
為第1、第2、第3觀測低分辨率圖像來處理并進(jìn)行超清晰處理。將第1 觀測低分辨率圖像作為基準(zhǔn)，檢測出第1與第2觀測低分辨率圖像之間的 位置偏移量和第1與第3觀測低分辨率圖像之間的位置偏移量。位置偏移
量是包括水平分量和垂直分量的二維量，也稱為運(yùn)動量或運(yùn)動矢量。位置 偏移量利用代表點(diǎn)匹配法、塊匹配法、梯度法等來檢測，使其具有子像素 的分辨率。g卩，將比觀測低分辨率圖像內(nèi)的相鄰的像素的間隔短的距離作 為最小檢測單位來檢測位置偏移量。
另一方面，作為初始的高分辨率圖像，生成利用線性插值或雙三次插 值增大了第1觀測低分辨率圖像的水平和垂直方向的像素?cái)?shù)后的圖像。然 后，利用檢測出的上述各位置偏移量，推定構(gòu)筑當(dāng)前時刻的高分辨率圖像
的3張低分辨率圖像，并更新高分辨率圖像使推定的各低分辨率圖像與各 觀測低分辨率圖像之間的誤差最小。最終得到的高分辨率圖像相當(dāng)于分辨
率提高后的切取圖像CIn.2。其它的切取圖像也用同樣的方法提高分辨率。 例如，對切取圖像CI^的分辨率的提高利用切取圖像CIn-,、 CIn、 CI^來實(shí)現(xiàn)。
圖5的步驟S25的處理結(jié)束后，回到步驟S21，反復(fù)執(zhí)行由上述的步 驟S21 S25構(gòu)成的循環(huán)處理。
作為運(yùn)動圖像，在顯示部15上顯示通過上述循環(huán)處理的反復(fù)執(zhí)行得 到的、按時間序列排列的分辨率變換部54的輸出圖像列，并且，在將該 輸出圖像列的圖像數(shù)據(jù)記錄到記錄介質(zhì)16中。但是，作為運(yùn)動圖像也能在顯示部15上顯示輸入到切取處理部53的幀圖像或從切取處理部53輸 出的切取圖像列，而且也能在記錄介質(zhì)16中記錄幀圖像列和切取圖像列 的圖像數(shù)據(jù)。
若將記錄介質(zhì)16內(nèi)的圖像數(shù)據(jù)讀出到任意的圖像再生裝置，則在該 圖像再生裝置上能夠再生顯示相對于跟蹤目標(biāo)具有良好的構(gòu)圖的切取圖 像的運(yùn)動圖像。特別是，若能讀出分辨率提高后的切取圖像的圖像數(shù)據(jù)， 則能夠再生顯示高精細(xì)的切取圖線的運(yùn)動圖像。
進(jìn)行所關(guān)注的拍照對象的運(yùn)動圖像拍攝時，以往為了不丟失其拍照對 象，需要在攝像裝置的顯示畫面上確認(rèn)拍照對象的同時根據(jù)拍照對象的運(yùn) 動來操作攝像裝置的拍攝方向和變焦倍率。因此，拍攝者必須集中于拍攝， 很難一邊與關(guān)注的拍照對象進(jìn)行溝通一邊進(jìn)行拍攝，或一邊把注意力放在 其它地方一邊進(jìn)行拍攝。另一方面，根據(jù)本實(shí)施方式，只要以較寬的視角 進(jìn)行拍攝使得在拍攝區(qū)域內(nèi)容納關(guān)注的拍照對象(即，跟蹤目標(biāo))，就能 通過利用了跟蹤處理的切取處理來依次生成包括關(guān)注的拍照對象的切取 圖像。因此，拍攝者只要將攝像裝置朝向關(guān)注的拍照對象的方向，即便不 予以關(guān)注也能得到自己期望的拍照對象的影像。而且，再生時，能夠欣賞 以適當(dāng)?shù)臉?gòu)圖切取的關(guān)注的拍照對象的影像。
進(jìn)行該切取處理時，如上所述，跟蹤可靠度較高時將切取區(qū)域的尺寸 變得較小，跟蹤可靠度較低時將切取區(qū)域的尺寸變得較大。因此，對關(guān)注 的拍照對象能夠獲得具有良好的構(gòu)圖的運(yùn)動圖像，并且跟蹤可靠度較低 時，能夠避免關(guān)注的拍照對象沒有包括在切取區(qū)域內(nèi)的情況(參照圖30 (b))的發(fā)生。
另外，在上述的說明中，設(shè)定了攝像裝置1的拍攝區(qū)域內(nèi)只包括1人 的情況，但是在拍攝區(qū)域內(nèi)包括多個人時，作為跟蹤目標(biāo)選擇該多人當(dāng)中 的1人即可。例如，從初始檢測用幀圖像中提取各人物的臉部區(qū)域，在顯 示部15的顯示畫面上顯示明確了臉部區(qū)域的初始檢測用幀圖像的基礎(chǔ)上， 由用戶選擇應(yīng)選作跟蹤目標(biāo)的一個人。該選擇由對操作部17的操作進(jìn)行。 或者，也可以使顯示部15作為所謂的觸摸面板而起作用，通過對該觸摸 面板的操作進(jìn)行選擇。或者，進(jìn)一步也可以在攝像裝置l上預(yù)先登記應(yīng)選 作跟蹤目標(biāo)的人物的臉的圖像。此時，攝像裝置l自動搜索該登記的臉是否包括在初始檢測用幀圖像中，判斷為登記的臉包括在初始檢測用幀圖像 中時，作為跟蹤目標(biāo)選擇具有該登記的臉的人。
另外，在拍攝區(qū)域內(nèi)包括多個人時，也可以分別將多個人作為跟蹤目 標(biāo)，并設(shè)定多個包括跟蹤目標(biāo)的跟蹤目標(biāo)區(qū)域。例如，在拍攝區(qū)域內(nèi)包括 2個人時，將每個人作為跟蹤目標(biāo)，個別設(shè)定顯示一方的人物像的跟蹤目 標(biāo)區(qū)域和顯示另一方的人物像的跟蹤目標(biāo)區(qū)域。然后，對各跟蹤目標(biāo)區(qū)域 設(shè)定切取區(qū)域，從1張幀圖像提取2張切取圖像，也可在記錄介質(zhì)16上 個別存儲分辨率提高前或后的各切取圖像的圖像數(shù)據(jù)。在圖像再生時，例 如，由用戶選擇上述的兩個人當(dāng)中的一人，對選擇的人再生顯示切取圖像 的運(yùn)動圖像即可。
(圖像再生時的動作)
以上說明了關(guān)于在拍攝時執(zhí)行跟蹤處理、切取處理和分辨率提高處理 時的操作，但是這些處理也可以在圖像再生時執(zhí)行。說明此時的圖像再生 時的攝像裝置l的動作。在該圖像再生動作之前，拍攝運(yùn)動圖像時得到的
按時間序列排列的幀圖像列的所有圖像數(shù)據(jù)記錄于記錄介質(zhì)16中。
在圖像再生時，從記錄介質(zhì)16以時間序列順序依次讀出幀圖像到配 置到圖4的跟蹤處理部51、跟蹤可靠度評價部52和切取處理部53的前級 的圖像獲取部(未圖示)中，將該圖像數(shù)據(jù)以時間序列順序分配給跟蹤處 理部51、跟蹤可靠度評價部52和切取處理部53，執(zhí)行上述的圖5所示的 步驟S11 S13和S21 25的處理。
然后，在顯示部15上作為運(yùn)動圖像顯示通過反復(fù)執(zhí)行由步驟S21 S25構(gòu)成的循環(huán)處理而得到的按時間序列排列的分辨率變換部54的輸出 圖像列即可。也能在顯示部15上顯示從切取處理部53輸出的切取圖像作 為運(yùn)動圖像。實(shí)現(xiàn)圖像再生動作時，攝像裝置1起到圖像再生裝置的作用。 若進(jìn)行如上所述的圖像再生動作，則能夠再生對于所關(guān)注的拍照對象 而言具有良好的構(gòu)圖的運(yùn)動圖像，并且在跟蹤可靠度較低時能夠避免關(guān)注
的拍照對象沒有包括在再生圖像內(nèi)的情況的發(fā)生。
另外，上述的例子中，在設(shè)置于攝像裝置1的顯示部15上再生顯示 圖像，但是也可以通過向攝像裝置1的外部的顯示裝置(未圖示)提供想 要顯示的圖像的圖像數(shù)據(jù)，在該外部的顯示裝置上顯示分辨率提高前或后
26的切取圖像。另外，也可以根據(jù)需要通過因特網(wǎng)等向利用該圖像數(shù)據(jù)的外 部設(shè)備(運(yùn)營網(wǎng)站的服務(wù)器等)提供分辨率提高前或后的切取圖像的圖像 數(shù)據(jù)。
另外，以上記載了拍攝時執(zhí)行跟蹤處理、切取處理和分辨率提高處理 的方法以及圖像再生時執(zhí)行跟蹤處理、切取處理和分辨率提高處理的方
法，但是也可以將這些處理分為2個部分處理，并在拍攝時執(zhí)行一個部分 處理且在圖像再生時執(zhí)行另一個部分處理。
具體而言，如下所述的處理的分配方法是有效的。首先，在拍攝時， 通過執(zhí)行圖5所示的步驟S11 S13和S21 S25的各處理，并且使圖4所 示的切取處理部53執(zhí)行步驟S24的處理，使得在步驟S21中得到的幀圖 像的整個區(qū)域內(nèi)設(shè)定切取區(qū)域。但是，此時不進(jìn)行實(shí)際的切取處理，且向 切取處理部53輸出指示設(shè)定的切取區(qū)域的尺寸(大小)和位置的切取信 息，將該切取信息與幀圖像列的圖像數(shù)據(jù)建立關(guān)聯(lián)后記錄到記錄介質(zhì)16 中。進(jìn)行這樣的記錄時，能省略圖4所示的分辨率變換部54。另外，切取 區(qū)域的位置應(yīng)在圖5所示的步驟S24中設(shè)定，并由切取區(qū)域中心CNB的坐 標(biāo)值規(guī)定(也參照圖10)。
切取信息與圖像數(shù)據(jù)的建立關(guān)聯(lián)方法是任意的。例如，可以將幀圖像 的圖像數(shù)據(jù)保存在記錄于記錄介質(zhì)16的圖像文件的主體區(qū)域中，并且將 對應(yīng)于該圖像數(shù)據(jù)的切取信息保存在該圖像文件的標(biāo)題區(qū)域?；贓xif (Exchangeable image file format)的文件格式時，標(biāo)題區(qū)域也稱作Exif標(biāo) 簽或Exif區(qū)域。圖像文件的文件格式也能夠基于任意的規(guī)格。
圖像再生時，圖像再生裝置(例如攝像裝置1)從記錄介質(zhì)16以時間 序列的順序依次一同讀取幀圖像與切取信息，并根據(jù)切取信息從幀圖像列 生成切取圖像列，且作為運(yùn)動圖像再生顯示生成的切取圖像列。該圖像再 生裝置上設(shè)有圖4所示的分辨率變換部54時，也能夠通過對根據(jù)切取信 息而生成的切取圖像列執(zhí)行上述的分辨率提高處理，從而由分辨率變換部 54生成輸出圖像列(分辨率提高后的切取圖像列)，作為運(yùn)動圖像再生顯 示該輸出圖像列。
拍攝中特別要求處理的高速化和電力低消耗化，如上所述，若在圖像 再生時進(jìn)行實(shí)際切取圖像的處理和分辨率提高處理，則會減輕拍攝時的處理的負(fù)荷并實(shí)現(xiàn)拍攝時處理的高速化和電力低消耗化。
(第2實(shí)施方式)
下面，說明本發(fā)明的第2實(shí)施方式。第2實(shí)施方式的攝像裝置的整體 模塊與圖1所示的攝像裝置相同，但是為了區(qū)別第1實(shí)施方式的攝像裝置 和第2實(shí)施方式的攝像裝置，用符號la來表示第2實(shí)施方式的攝像裝置。 攝像裝置la的攝像部11的內(nèi)部結(jié)構(gòu)與圖2所示的結(jié)構(gòu)相同，攝像裝置la 的外觀立體圖與圖3所示的立體圖相同。而且，只要不產(chǎn)生矛盾，攝像裝 置la能夠?qū)崿F(xiàn)第1實(shí)施方式的攝像裝置1所實(shí)現(xiàn)的所用功能，并且只要 不產(chǎn)生矛盾，第1實(shí)施方式中所記載的事項(xiàng)也適用于第2實(shí)施方式。
與攝像裝置1同樣地，攝像裝置la也具有利用圖像處理的拍照對象 跟蹤功能。但是，為了生成具有與跟蹤可靠度相應(yīng)的良好的構(gòu)圖的圖像， 在攝像裝置l中可變設(shè)定了切取區(qū)域的尺寸(換言之，將電子變焦中的變 焦倍率設(shè)定為可變的方式)，但是在攝像裝置la中，以可變設(shè)定攝像部 ll的視角(換言之，光學(xué)變焦的變焦倍率)來代替上述方式。
在圖15中，表示了攝像裝置la內(nèi)的特別是與拍照對象跟蹤功能有關(guān) 的部件的模塊圖。在圖15中，由符號51、 52、 63表示的各部件設(shè)置在圖 1的主控制部13內(nèi)。形成幀圖像列的各幀圖像的圖像數(shù)據(jù)依次分配到跟蹤 處理部51和跟蹤可靠度評價部52。設(shè)置在攝像裝置la的跟蹤處理部51 和跟蹤可靠度評價部52與在第1實(shí)施方式中所述的那些部件相同。
參照圖16說明實(shí)現(xiàn)拍照對象跟蹤功能時攝像裝置la的動作。圖16 是表示拍攝模式下的攝像裝置la的動作的流程的流程圖。在拍攝模式下， 拍照對象跟蹤功能變?yōu)橛行r，跟蹤處理部51對依次輸入的幀圖像進(jìn)行 臉部檢測處理。主控制部13 —方面確認(rèn)是否從當(dāng)前的幀圖像中檢測到了 臉部(步驟Sll)，另一方面確認(rèn)對操作部17是否進(jìn)行了規(guī)定的跟蹤開始 指示操作(步驟S12)，檢測出臉部且對操作部17進(jìn)行了規(guī)定的跟蹤開始 指示操作時，過渡到步驟S13執(zhí)行步驟S13的處理。
在步驟S13中，跟蹤處理部51基于初始設(shè)定用幀圖像的圖像數(shù)據(jù)設(shè) 定跟蹤目標(biāo)和跟蹤顏色。該設(shè)定方法與在第1實(shí)施方式中所述的設(shè)定方法 相同。設(shè)定跟蹤目標(biāo)和跟蹤顏色之后，反復(fù)執(zhí)行由步驟S21 S23和S34構(gòu)成的循環(huán)處理，但是在該循環(huán)處理中，跟蹤處理部51對設(shè)定了跟蹤目 標(biāo)和跟蹤顏色之后得到的跟蹤目標(biāo)幀圖像列執(zhí)行跟蹤處理。跟蹤處理的方 法與在第1實(shí)施方式中所述的處理方法相同。
步驟S21 S23的各處理與在第1實(shí)施方式中所述的那些處理相同。 即，在步驟S21中獲取當(dāng)前的幀圖像(跟蹤目標(biāo)幀圖像)，在之后的步驟 S22中通過跟蹤處理檢測該當(dāng)前的幀圖像中的跟蹤目標(biāo)的位置和大小，并 且生成包括表示檢測出的位置和大小的信息的跟蹤結(jié)果信息。跟蹤結(jié)果信 息輸出到跟蹤可靠度評價部52鄰視角調(diào)整部63。在步驟S22之后的步驟 S23中，跟蹤可靠度評價部52通過可靠度評價值EVR的計(jì)算評價當(dāng)前時 刻的跟蹤可靠度。
第2實(shí)施方式中，在步驟S23中評價跟蹤可靠度之后，執(zhí)行步驟S34 的處理。在步驟S34中，視角調(diào)整部63基于從跟蹤處理部51輸出的最新 的跟蹤結(jié)果信息和由跟蹤可靠度評價部52評價的最新的跟蹤可靠度調(diào)整 攝像部ll的視角。
視角的調(diào)整通過調(diào)整圖2所示的變焦透鏡30的位置來實(shí)現(xiàn)。變焦透 鏡30能夠在圖2所示的光學(xué)系統(tǒng)35內(nèi)向光軸方向移動。光學(xué)系統(tǒng)35內(nèi) 的變焦透鏡30的位置稱作變焦透鏡位置。如圖17所示，隨著變焦透鏡位
置從寬的一端朝向窄的一端，攝像部11的視角(拍攝視角)減小并且光 學(xué)變焦倍率增大。寬的一端和窄的一端表示變焦透鏡30的全部移動范圍
的兩端。
假設(shè)跟蹤可靠度以外的其它條件(拍照對象距離等)都一定時，在步 驟S34中調(diào)整變焦透鏡位置，使跟蹤可靠度變得越高視角變得越小。其結(jié) 果，跟蹤可靠度變得越高，幀圖像上的跟蹤目標(biāo)的大小(和跟蹤目標(biāo)區(qū)域 的大小)就會變大。
圖18 (a) 、 (b) 、 (c)分別表示跟蹤可靠度維持在第1、第2、第 3可靠度時得到的幀圖像401、 402、 403。假設(shè)拍攝幀圖像401、 402、 403 時，跟蹤目標(biāo)的拍照對象距離相同。跟蹤目標(biāo)的拍照對象距離指實(shí)際空間 中的攝像裝置la與作為跟蹤目標(biāo)的人物之間的距離。
圖18 (a) 、 (b) 、 (c)中虛線矩形區(qū)域411、 412、 413分別是在 幀圖像401、 402、 403內(nèi)設(shè)定的跟蹤目標(biāo)區(qū)域。假設(shè)在第1 第3可靠度內(nèi)，第l可靠度的可靠度最高，第3可靠度的可靠度最低。由于跟蹤目標(biāo)
具有的跟蹤顏色的類似顏色位于跟蹤目標(biāo)周圍，因此對幀圖像402和403 的跟蹤可靠度比幀圖像401的跟蹤可靠度低。
拍攝幀圖像401時的攝像部11的視角比拍攝幀圖像402時的攝像部 11的視角小，且拍攝幀圖像402時的攝像部11的視角比拍攝幀圖像403 時的攝像部ll的視角小。因此，在跟蹤目標(biāo)區(qū)域411 413的尺寸(圖像 尺寸)內(nèi)，跟蹤目標(biāo)區(qū)域411的尺寸最大，跟蹤目標(biāo)區(qū)域413的尺寸最小。
如上所述，按照跟蹤可靠度變得越高幀圖像上的跟蹤目標(biāo)的大小(和 跟蹤目標(biāo)區(qū)域的大小)增大的方式調(diào)整攝像部ll的視角。圖18(a) (c) 所示的例子的情況下，基于跟蹤結(jié)果信息和跟蹤可靠度調(diào)整視角，使跟蹤 可靠度為第1跟蹤可靠度時，幀圖像上的跟蹤目標(biāo)的大小(或跟蹤目標(biāo)區(qū) 域411的大小)變成第1大小，并且跟蹤可靠度為第2跟蹤可靠度時，幀 圖像上的跟蹤目標(biāo)的大小(或跟蹤目標(biāo)區(qū)域412的大小)變成第2大小， 并且跟蹤可靠度為第3跟蹤可靠度時，幀圖像上的跟蹤目標(biāo)的大小(或跟 蹤目標(biāo)區(qū)域413的大小)變成第3大小。這里，在第1 第3大小內(nèi)，第 l大小最大，第3大小最小。
能夠由包含在跟蹤結(jié)果信息的跟蹤目標(biāo)的大小信息決定應(yīng)如何調(diào)整 視角。例如，在步驟S23中評價的跟蹤可靠度為第1可靠性且在步驟S21 中得到的幀圖像上的跟蹤目標(biāo)的大小為第2大小時，按照使下次以后得到 的幀圖像上的跟蹤目標(biāo)的大小變成第1大小方式的方式調(diào)整視角，其調(diào)整 量為相當(dāng)于第1大小與第2大小之差的那部分。視角調(diào)整部63能夠參照 預(yù)先設(shè)定的査找表等來決定相當(dāng)于該第1大小與第2大小之差的視角調(diào)整
另外，在跟蹤目標(biāo)位于拍攝區(qū)域的端部，且縮小視角有可能會引起跟 蹤目標(biāo)的一部分或全部在拍攝區(qū)域之外時，禁止視角的減小。
在步驟S34的處理之后回到步驟S21,反復(fù)執(zhí)行由上述的步驟S21 S23和S34構(gòu)成的循環(huán)處理。在顯示部15上作為運(yùn)動圖像顯示通過上述 循環(huán)處理的反復(fù)執(zhí)行得到的按時間序列排列的幀圖像列，并且將該幀圖像 列的圖像數(shù)據(jù)記錄到記錄介質(zhì)16上。只要將記錄介質(zhì)16內(nèi)的圖像數(shù)據(jù)讀 取到任意的圖像再生裝置，就能夠在該圖像再生裝置中再生顯示對跟蹤目標(biāo)具有良好的構(gòu)圖的運(yùn)動圖像。
如本實(shí)施方式所述，只要根據(jù)跟蹤可靠度調(diào)整視角，就能夠獲得相對 于關(guān)注的拍照對象具有良好的構(gòu)圖的運(yùn)動圖像，并且跟蹤可靠度較低時， 能夠避免關(guān)注的拍照對象沒有包括在拍攝區(qū)域內(nèi)的情況的發(fā)生。
(第3實(shí)施方式)
下面，說明本發(fā)明的第3實(shí)施方式。第3實(shí)施方式的攝像裝置的整體
模塊圖與圖1所示的攝像裝置相同，但是為了區(qū)別第1實(shí)施方式的攝像裝
置和第3實(shí)施方式的攝像裝置，用符號lb來表示第3實(shí)施方式的攝像裝 置。攝像裝置lb的攝像部ll的內(nèi)部結(jié)構(gòu)與圖2所示的結(jié)構(gòu)相同，攝像裝 置lb的外觀立體圖與圖3所示的立體圖相同。而且，只要不產(chǎn)生矛盾， 攝像裝置lb能夠?qū)崿F(xiàn)第1或第2實(shí)施方式的攝像裝置所實(shí)現(xiàn)的所有功能， 并且只要不產(chǎn)生矛盾，第1或第2實(shí)施方式中所記載的事項(xiàng)也適用于第3 實(shí)施方式。
圖19表示了與第3實(shí)施方式的特征動作有關(guān)的攝像裝置lb的部分模 塊圖。圖19所示的跟蹤處理部51、跟蹤可靠度評價部52和評價區(qū)域設(shè)定 部73設(shè)置在圖1所示的主控制部13內(nèi)。形成幀圖像列的各幀圖像的圖像 數(shù)據(jù)依次分配到跟蹤處理部51和跟蹤可靠度評價部52。設(shè)置在攝像裝置 lb的跟蹤處理部51和跟蹤可靠度評價部52與在第1實(shí)施方式中所述的那 些部件相同。由跟蹤處理部51生成的跟蹤結(jié)果信息分配到跟蹤可靠度評 價部52和評價區(qū)域設(shè)定部73，由跟蹤可靠度評價部52產(chǎn)生的跟蹤可靠度 的評價結(jié)果分配到評價區(qū)域設(shè)定部73。
包括攝像裝置lb的本發(fā)明的攝像裝置在拍攝模式中能夠執(zhí)行基于圖 像數(shù)據(jù)的自動聚焦控制(以下，稱作AF控制)。
在AF控制中，基于在幀圖像內(nèi)設(shè)定的AF評價區(qū)域內(nèi)的圖像數(shù)據(jù)算 出AF評價值，并按照使AF評價值取最大值(嚴(yán)格地說是極大值)的方 式利用所謂的登山控制來控制圖2所示的聚焦透鏡31的位置。因此，能 夠在對焦于出現(xiàn)在AF評價區(qū)域內(nèi)的拍照對象的狀態(tài)下進(jìn)行幀圖像列(即， 運(yùn)動圖像)的拍攝。
攝像裝置lb執(zhí)行跟蹤處理并以幀圖像上的跟蹤目標(biāo)的位置為基準(zhǔn)設(shè)
31定AF評價區(qū)域的位置，并且根據(jù)跟蹤可靠度可變設(shè)定AF評價區(qū)域的尺 寸(圖像尺寸)。關(guān)于AF控制，下面更具體說明該方法。
首先，說明用于導(dǎo)出AF評價值的AF評價值計(jì)算部80。圖20是AF 評價值計(jì)算部80的內(nèi)部模塊圖。AF評價值計(jì)算部80設(shè)置在圖1所示的 主控制部13內(nèi)。AF評價值計(jì)算部80將幀圖像作為被運(yùn)算圖像來處理， 如參照圖7的說明，通過在水平方向和垂直方向分割幀圖像的整體區(qū)域， 在幀圖像的整體區(qū)域上設(shè)定(MXN)個小塊。
AF評價值計(jì)算部80具有提取部81、 HPF (高通濾波器)82、累計(jì)部 83，按每一個幀圖像計(jì)算一個AF評價值。提取部81中分配有幀圖像的影 像信號。提取部81從該影像信號中提取亮度信號。HPF82只提取由提取 部81提取的亮度信號中的規(guī)定的高頻分量。例如，由具有規(guī)定的濾波器 尺寸的拉普拉斯濾波器形成HPF82,進(jìn)行將該拉普拉斯濾波器作用于幀圖 像的各像素的空間濾波。從而，從HPF82依次得到與該拉普拉斯濾波器相 應(yīng)的濾波器特性的輸出值。累計(jì)部83累計(jì)由HPF82提取的高頻分量的大 小(即，HPF82的輸出值的絕對值)。該累計(jì)按每一個小塊個別進(jìn)行，將 某一小塊內(nèi)的高頻分量的大小的累計(jì)值作為該小塊的模塊AF值。
另一方面，從圖19的評價區(qū)域設(shè)定部73向AF評價值計(jì)算部80提供 規(guī)定AF評價區(qū)域的位置和大小的AF評價區(qū)域信息。累計(jì)部83根據(jù)屬于 根據(jù)AF評價區(qū)域信息的AF評價區(qū)域的小塊的模塊AF值算出AF評價值。 屬于AF評價區(qū)域的小塊為1個時，將該小塊的模塊AF值本身作為AF 評價值來輸出，如圖21所示，屬于AF評價區(qū)域的小塊為多個時，將該多 個小塊的模塊AF值的平均值作為AF評價值來輸出。
參照圖22來說明利用跟蹤可靠度評價結(jié)果的AF評價區(qū)域的設(shè)定方 法。圖22是表示在拍攝模式下的攝像裝置lb的動作的流程的流程圖。在 拍攝模式下，拍照對象跟蹤功能變?yōu)橛行r，跟蹤處理部51對依次輸入 的幀圖像進(jìn)行臉部檢測處理。主控制部13 —方面確認(rèn)是否從當(dāng)前的幀圖 像檢測到了臉部(步驟Sll)，另一方面確認(rèn)對操作部17是否進(jìn)行了規(guī)定 的跟蹤開始指示操作(步驟S12)，檢測出臉部且對操作部17進(jìn)行了規(guī)定 的跟蹤開始指示操作時，過渡到步驟S13執(zhí)行步驟S13的處理。
在步驟S13中，跟蹤處理部51基于初始設(shè)定用幀圖像的圖像數(shù)據(jù)設(shè)定跟蹤目標(biāo)和跟蹤顏色。該設(shè)定方法與在第1實(shí)施方式中所述的設(shè)定方法
相同。設(shè)定跟蹤目標(biāo)和跟蹤顏色之后，反復(fù)執(zhí)行由步驟S21 S23和S44 構(gòu)成的循環(huán)處理，但是在該循環(huán)處理中，跟蹤處理部51對設(shè)定了跟蹤目 標(biāo)和跟蹤顏色之后得到的跟蹤目標(biāo)幀圖像列執(zhí)行跟蹤處理。跟蹤處理的方 法與在第1實(shí)施方式中所述的處理方法相同。
步驟S21 S23的各處理與在第1實(shí)施方式中所述的那些處理相同。 即，在步驟S21中獲取當(dāng)前的幀圖像(跟蹤目標(biāo)幀圖像)，在之后的步驟 S22中通過跟蹤處理檢測該當(dāng)前的幀圖像中的跟蹤目標(biāo)的位置和大小，并 且生成包括表示檢測出的位置和大小的信息的跟蹤結(jié)果信息。跟蹤結(jié)果信 息輸出到跟蹤可靠度評價部52和評價區(qū)域設(shè)定部73。在步驟S22之后的 步驟S23中，跟蹤可靠度評價部52通過可靠度評價值EVK的計(jì)算評價當(dāng) 前時刻的跟蹤可靠度。
第3實(shí)施方式中，在步驟S23中評價了跟蹤可靠度之后，執(zhí)行步驟 S44的處理。在步驟S44中，評價區(qū)域設(shè)定部73基于從跟蹤處理部51輸 出的最新的跟蹤結(jié)果信息和由跟蹤可靠度評價部52評價的最新的跟蹤可 靠度設(shè)定AF評價區(qū)域。該AF評價區(qū)域?qū)Ξ?dāng)前得到的最新的幀圖像或在 之后得到的幀圖像進(jìn)行設(shè)定。
AF評價區(qū)域的中心位置與在步驟S21中得到的最新的幀圖像的跟蹤 目標(biāo)區(qū)域的中心位置相同。另一方面，基于在跟蹤結(jié)果信息中規(guī)定的跟蹤 目標(biāo)的大小使跟蹤目標(biāo)區(qū)域包含在AF評價區(qū)域之中，并且根據(jù)跟蹤可靠 度可變設(shè)定AF評價區(qū)域的尺寸。與跟蹤可靠度相應(yīng)的AF評價區(qū)域的尺 寸的設(shè)定方法與在第1實(shí)施方式中所述的與跟蹤可靠度相應(yīng)的切取區(qū)域的 尺寸的設(shè)定方法相同，關(guān)于該設(shè)定方法的第1實(shí)施方式的技術(shù)也適用于本 實(shí)施方式。適用該設(shè)定方法時，只要將第1實(shí)施方式的說明中的切取區(qū)域 代替為AF評價區(qū)域即可。g卩，例如，在幀圖像上的跟蹤目標(biāo)的大小一定 時，設(shè)定AF評價區(qū)域的尺寸，使隨著跟蹤可靠度變高而AF評價區(qū)域的 尺寸變小。實(shí)際上，按照參照圖10說明的方法，只要根據(jù)基于跟蹤結(jié)果 信息的跟蹤目標(biāo)的大小和跟蹤可靠度(EVR)，設(shè)定AF評價區(qū)域的位置 和大小即可。
包括攝像裝置lb的本發(fā)明的攝像裝置在拍攝模式下，也能夠執(zhí)行基于圖像數(shù)據(jù)的自動光圈控制(以下，稱為AE控制)和自動白平衡(white balance)控制(以下，稱為AWB控制)，對AE控制和AWB控制也能 適用對AF控制所述的可變設(shè)定評價區(qū)域的方法。
在AE控制中，將根據(jù)圖2所示的光圈32的開度決定的光圈值、AFE12 (參照圖1)中的信號放大的放大幅度和幀圖像拍攝時的曝光時間的長度 作為3個AE控制對象來處理。而且，由設(shè)定在幀圖像內(nèi)的AE評價區(qū)域 內(nèi)的圖像數(shù)據(jù)算出AE評價值，且在幀圖像列內(nèi)，通過控制3個AE控制 對象內(nèi)的1個以上使AE評價值保持在規(guī)定的值或該值附近，從而將AE 評價區(qū)域內(nèi)的圖像的亮度(亮度等級)保持在期望的亮度上。
攝像裝置lb內(nèi)的AE評價值計(jì)算部(未圖示)按每一個幀圖像算出1 個AE評價值。AE評價值為屬于AE評價區(qū)域內(nèi)的像素的亮度值的平均值。 另外，亮度值意味著亮度信號的值，亮度值越大，則具有該亮度值的像素 的亮度就越高。
在AWB控制中，根據(jù)設(shè)定在幀圖像內(nèi)的AWB評價區(qū)域內(nèi)的圖像數(shù) 據(jù)算出AWB評價值，并基于AWB評價值調(diào)整幀圖像整體的白平衡，使 AWB評價區(qū)域內(nèi)的白平衡變成期望的白平衡。AWB控制，例如在生成幀 圖像的圖像數(shù)據(jù)的過程中，通過對攝像元件33的紅色受光像素的輸出信 號值、綠色受光像素的輸出信號值或藍(lán)色受光像素的輸出信號值或者這些 信號值中的2個以上乘以與AWB評價值相應(yīng)的AWB系數(shù)來實(shí)現(xiàn)。
攝像裝置lb內(nèi)的AWB評價值計(jì)算部(未圖示)按每一個幀圖像算出 1個AWB評價值。圖2所示的攝像元件33是單板式攝像元件，攝像元件 33的各受光像素前面排列有濾色器。濾色器中具有只透過光的紅色分量的 紅濾色器、只透過光的綠色分量的綠濾色器、只透過光的藍(lán)色分量的藍(lán)濾
色器。濾色器的排列，例如是貝葉(x^r亇一)排列。前面排列有紅濾色
器、綠濾色器、藍(lán)濾色器的受光像素分別稱作紅色受光像素、綠色受光像 素、藍(lán)色受光像素。紅色受光像素、綠色受光像素、藍(lán)色受光像素分別只 與光學(xué)系統(tǒng)35的入射光的紅色分量、綠色分量、藍(lán)色分量反應(yīng)。
因?yàn)閹瑘D像由攝像元件33的各感光圖像的輸出信號表示，因此假設(shè) 在攝像元件33的攝像面上也設(shè)定AWB評價區(qū)域。AWB評價值計(jì)算部將 屬于AWB評價區(qū)域的各紅色受光像素的輸出信號值的平均值作為紅色評價值來計(jì)算，將屬于AWB評價區(qū)域的各綠色受光像素的輸出信號值的平
均值作為綠色評價值來計(jì)算，且將屬于AWB評價區(qū)域的各藍(lán)色受光像素 的輸出信號值的平均值作為藍(lán)色評價值來計(jì)算。AWB評價值由紅色評價 值、綠色評價值、藍(lán)色評價值構(gòu)成。
另外，執(zhí)行AF控制時應(yīng)調(diào)整的相機(jī)控制參數(shù)中包括聚焦透鏡31的位 置，且執(zhí)行AF控制時應(yīng)調(diào)整的相機(jī)控制參數(shù)中包括AFE12的信號放大的 放大幅度和/或拍攝幀圖像時的曝光時間的長度，且執(zhí)行AF控制時應(yīng)調(diào)整 的相機(jī)控制參數(shù)中包括上述AWB系數(shù)。為了獲得依賴于相機(jī)控制參數(shù)的 運(yùn)動圖像，根據(jù)相機(jī)控制參數(shù)規(guī)定運(yùn)動圖像的獲取條件。S卩，在執(zhí)行AF、 AE或AWB控制時，基于AF、 AE或AWB評價區(qū)域(評價值收集區(qū)域) 內(nèi)的圖像數(shù)據(jù)控制運(yùn)動圖像的獲取條件，例如，該控制由主控制部13內(nèi) 的獲取條件控制部(未圖示)來執(zhí)行。
在AE控制或AWB控制中應(yīng)用評價區(qū)域的可變設(shè)定方法時，在圖22 所示的步驟S44中，評價區(qū)域設(shè)定部73基于從跟蹤處理部52輸出的最新 的跟蹤結(jié)果信息和由跟蹤可靠度評價部52評價的最新的跟蹤可靠度設(shè)定 AE評價區(qū)域或AWE評價區(qū)域。該AE評價區(qū)域或AWB評價區(qū)域?qū)Ξ?dāng)前 得到的最新的幀圖像或在之后得到的幀圖像進(jìn)行設(shè)定。
AE評價區(qū)域或AWB評價區(qū)域的中心位置與在步驟S21中得到的最 新的幀圖像中的跟蹤目標(biāo)區(qū)域的中心位置相同。另一方面，基于由跟蹤結(jié) 果信息規(guī)定的跟蹤目標(biāo)的大小使跟蹤目標(biāo)區(qū)域包含在AE評價區(qū)域或 AWB評價區(qū)域之中，并且根據(jù)跟蹤可靠度可變設(shè)定AE.評價區(qū)域或AWB 評價區(qū)域的尺寸。根據(jù)跟蹤可靠度的AE評價區(qū)域或AWB評價區(qū)域的尺 寸的設(shè)定方法與在第1實(shí)施方式中所述的根據(jù)跟蹤可靠度的切取區(qū)域的尺 寸的設(shè)定方法相同，關(guān)于該方法的第1實(shí)施方式的技術(shù)也適用于本實(shí)施方 式。適用該方法時，只要將第1實(shí)施方式的說明中的切取區(qū)域代替為AE 評價區(qū)域或AWB評價區(qū)域即可。g卩，例如，在幀圖像上的跟蹤目標(biāo)的大 小一定時，設(shè)定AE評價區(qū)域或AWB評價區(qū)域的尺寸，使隨著跟蹤可靠 度變高而AE評價區(qū)域或AWB評價區(qū)域的尺寸變小。實(shí)際上，按照參照 圖IO說明的方法，只要根據(jù)基于跟蹤結(jié)果信息的跟蹤目標(biāo)的大小和跟蹤 可靠度(EVR)，設(shè)定AE評價區(qū)域或AWB評價區(qū)域的位置和大小即可。在步驟S44的處理之后回到步驟S21，反復(fù)執(zhí)行由上述的步驟S21 S23和S44構(gòu)成的循環(huán)處理。在顯示部15上作為運(yùn)動圖像顯示通過該循 環(huán)處理的反復(fù)執(zhí)行得到的按時間序列排列的幀圖像列，并且將該幀圖像列 的圖像數(shù)據(jù)記錄到記錄介質(zhì)16上。
跟蹤可靠度較低時，將不同于實(shí)際的跟蹤目標(biāo)的物體當(dāng)作跟蹤目標(biāo)的 誤檢測的可能性比較高。因此，跟蹤可靠度較低時，若與跟蹤可靠度較高 時同樣地設(shè)定小的AF、 AE、 AWB評價區(qū)域的尺寸，則可能發(fā)生對焦在 與關(guān)注的拍照對象完全無關(guān)的背景，并進(jìn)行了圖像亮度調(diào)整或白平衡調(diào)整 的情況。考慮到這些，在本實(shí)施方式中，根據(jù)跟蹤可靠度可變設(shè)定AF、 AE、 AWB評價區(qū)域的尺寸。因此，能夠避免上述情況的發(fā)生。
(第4實(shí)施方式)
下面對本發(fā)明的第4實(shí)施方式進(jìn)行說明。第4實(shí)施方式的攝像裝置的 整體模塊與圖1所示的攝像裝置相同，但是為了區(qū)別第1實(shí)施方式的攝像 裝置和第4實(shí)施方式的攝像裝置，用符號lc來表示第4實(shí)施方式的攝像 裝置。攝像裝置lc的攝像部ll的內(nèi)部結(jié)構(gòu)與圖2所示的結(jié)構(gòu)相同，攝像 裝置lc的外觀立體圖與圖3所示的立體圖相同。而且，只要不產(chǎn)生矛盾， 攝像裝置lc能夠?qū)崿F(xiàn)第1或第2實(shí)施方式的攝像裝置所實(shí)現(xiàn)的所有功能， 并且只要不產(chǎn)生矛盾，第1或第2實(shí)施方式中所記載的事項(xiàng)也適用于第4 實(shí)施方式。
攝像裝置lc在圖像再生時，能夠執(zhí)行與在第3實(shí)施方式中記載的AE 控制類似的控制(以下，稱為再生時AE控制)和與在第3實(shí)施方式中記 載的AWB控制類似的控制(以下，稱為生成時AWB控制)。該圖像再 生操作之前，假設(shè)在拍攝運(yùn)動圖像時得到的按時間序列排列的幀圖像列的 所有圖像數(shù)據(jù)記錄在記錄介質(zhì)16中。本實(shí)施方式的以下的動作是再生模 式下的攝像裝置lc的動作。
圖23表示了與第4實(shí)施方式的特征動作有關(guān)的攝像裝置lc的部分模 塊圖。圖23所示的符號51、 52、 101 104表示的各部件設(shè)置在圖l所示 的主控制部13內(nèi)。圖像獲取部101從記錄介質(zhì)16依次按時間序列順序讀 出幀圖像，將各幀圖像的圖像數(shù)據(jù)依次按時間序列順序分配到跟蹤處理部
3651、跟蹤可靠度評價部52、評價值計(jì)算部103、圖像加工部104。設(shè)置在 攝像裝置lc的跟蹤處理部51和跟蹤可靠度評價部52與在第1實(shí)施方式 中所述的那些部件相同。由跟蹤處理部51生成的跟蹤結(jié)果信息分配到跟 蹤可靠度評價部52和評價區(qū)域設(shè)定部102，由跟蹤可靠度評價部52產(chǎn)生 的跟蹤可靠度的評價結(jié)果分配到評價區(qū)域設(shè)定部102。
跟蹤處理部51在對操作部17進(jìn)行了規(guī)定的跟蹤開始指示操作的時 刻，作為初始設(shè)定用幀圖像捕捉分配到自身的幀圖像，基于該初始設(shè)定用 幀圖像的圖像數(shù)據(jù)設(shè)定跟蹤目標(biāo)和跟蹤顏色。其中，假設(shè)初始設(shè)定用幀圖 像中存在成為跟蹤目標(biāo)的人物。跟蹤目標(biāo)和跟蹤顏色的設(shè)定方法與在第1 實(shí)施方式中所述的方法相同。
設(shè)定跟蹤目標(biāo)和跟蹤顏色之后，執(zhí)行按照圖24所示的流程的動作。 圖24是表示再生時AE控制的動作順序的流程圖。
設(shè)定跟蹤目標(biāo)和跟蹤顏色之后，反復(fù)執(zhí)行由步驟S21 S23和S54 S56構(gòu)成的循環(huán)處理，但是在該循環(huán)處理中，跟蹤處理部51對設(shè)定了跟蹤 目標(biāo)和跟蹤顏色之后得到的跟蹤目標(biāo)幀圖像列執(zhí)行跟蹤處理。跟蹤處理的 方法與在第1實(shí)施方式中所述的處理方法相同。
步驟S21 S23的各處理與在第1實(shí)施方式中所述的那些處理相同。 即，在步驟S21中獲取當(dāng)前的幀圖像(跟蹤目標(biāo)幀圖像)，在之后的步驟 S22中通過跟蹤處理檢測該當(dāng)前的幀圖像中的跟蹤目標(biāo)的位置和大小，并 且生成包括表示檢測出的位置和大小的信息的跟蹤結(jié)果信息。跟蹤結(jié)果信 息輸出到跟蹤可靠度評價部52和評價區(qū)域設(shè)定部102。在步驟S22之后的 步驟S23中，跟蹤可靠度評價部52通過可靠度評價值EVR的計(jì)算評價當(dāng) 前時刻的跟蹤可靠度。
再生時AE控制中，在步驟S23中評價跟蹤可靠度之后，執(zhí)行步驟S54 的處理。在步驟S54中，評價區(qū)域設(shè)定部102基于從跟蹤處理部51輸出 的最新的跟蹤結(jié)果信息和由跟蹤可靠度評價部52評價的最新的跟蹤可靠 度設(shè)定AE評價區(qū)域。該AE評價區(qū)域?qū)υ诓襟ES21中得到的最新的幀圖 像進(jìn)行設(shè)定。
AE評價區(qū)域的中心位置與在步驟S21中得到的最新的幀圖像的跟蹤 目標(biāo)區(qū)域的中心位置相同。另一方面，基于由跟蹤結(jié)果信息規(guī)定的跟蹤目標(biāo)的大小使跟蹤目標(biāo)區(qū)域包含在AE評價區(qū)域之中，并且根據(jù)跟蹤可靠度
可變設(shè)定AE評價區(qū)域的尺寸。根據(jù)跟蹤可靠度的AE評價區(qū)域的尺寸的 設(shè)定方法與在第1實(shí)施方式中所述的根據(jù)跟蹤可靠度的切取區(qū)域的尺寸的 設(shè)定方法相同，關(guān)于該方法的第1實(shí)施方式的技術(shù)也適用于本實(shí)施方式。 適用該方法時，只要將第1實(shí)施方式的說明中的切取區(qū)域代替為AE評價 區(qū)域即可。即，例如，在幀圖像上的跟蹤目標(biāo)的大小一定時，設(shè)定AE評 價區(qū)域的尺寸，使隨著跟蹤可靠度變高而AE評價區(qū)域的尺寸變小。實(shí)際 上，按照參照圖IO說明的方法，只要根據(jù)基于跟蹤結(jié)果信息的跟蹤目標(biāo) 的大小和跟蹤可靠度(EVR)，設(shè)定AE評價區(qū)域的位置和大小即可。
在步驟S54之后的步驟S55中，評價值計(jì)算部103將在步驟S54中設(shè) 定的AE評價區(qū)域適用于在步驟S21中獲得的幀圖像上，基于該幀圖像的 AE評價區(qū)域內(nèi)的圖像數(shù)據(jù)算出針對該幀圖像的AE評價值。AE評價值的 計(jì)算方法與在第3實(shí)施方式中所述的那些計(jì)算方法相同。
然后，在步驟S56中，圖像加工部104基于在步驟S55中算出的AE 評價值加工在步驟S21中獲得的幀圖像來生成加工幀圖像。再生時AE控 制中，將根據(jù)AE評價值的一定值與在步驟S21中獲得的幀圖像的各像素 的亮度值相乘，通過該操作得到的圖像作為加工幀圖像。因此，將包括跟 蹤目標(biāo)區(qū)域的AE評價區(qū)域內(nèi)的圖像的亮度(亮度等級)保持在期望的亮 度上。
在步驟S56的處理之后回到步驟S21，反復(fù)執(zhí)行由上述的步驟S21 S23和S54 S56構(gòu)成的循環(huán)處理。在顯示部15上作為運(yùn)動圖像顯示通過 該循環(huán)處理的反復(fù)執(zhí)行得到的按時間序列排列的幀圖像列。也可以將該加 工幀圖像列的圖像數(shù)據(jù)記錄到記錄介質(zhì)16中。
以上說明了再生時進(jìn)行AE控制時的動作，再生時AWB控制也通過 執(zhí)行步驟S21 S23和S54 S56的各處理來實(shí)現(xiàn)。但是，再生時進(jìn)行AWB 控制時，將上述的AE評價區(qū)域和AE評價值分別替代為AWB評價區(qū)域 和AWB評價值。基于幀圖像的AWB評價區(qū)域內(nèi)的圖像數(shù)據(jù)算出AWB 評價值，且在步驟S56中，基于AWB評價值加工幀圖像。在再生時AWB 控制中，基于AWB評價值調(diào)整幀圖像整體的色平均，使AWB評價區(qū)域 內(nèi)的白平衡變成期望的白平衡。白平衡調(diào)整后的幀圖像是應(yīng)由圖像加工部104生成的加工幀圖像。
跟蹤可靠度較低時，將不同于實(shí)際的跟蹤目標(biāo)的物體當(dāng)作跟蹤目標(biāo)的 誤檢測的可能性比較高。因此，跟蹤可靠度較低時，若與跟蹤可靠度較高
時同樣地設(shè)定小的AE或AWB評價區(qū)域的尺寸，則可能發(fā)生對與關(guān)注的 拍照對象完全無關(guān)的背景進(jìn)行圖像亮度調(diào)整或白平衡調(diào)整的情況。考慮到 這些，在本實(shí)施方式中，根據(jù)跟蹤可靠度可變設(shè)定AE或AWB評價區(qū)域 的尺寸。因此，能夠避免上述情況的發(fā)生。
另外，上述的例子中，在設(shè)置在攝像裝置lc中的顯示部15上再生顯 示了加工幀圖像列，但是也可以通過向攝像裝置lc的外部的顯示裝置(未 圖示)提供想要顯示的圖像的圖像數(shù)據(jù)，在該外部的顯示裝置上顯示加工 幀圖像列。另外，也可以根據(jù)需要通過因特網(wǎng)等向利用該圖像數(shù)據(jù)的外部 設(shè)備(運(yùn)營網(wǎng)站的服務(wù)器等)提供加工幀圖像列的圖像數(shù)據(jù)。
(第5實(shí)施方式)
下面說明本發(fā)明的第5實(shí)施方式。在上述的各實(shí)施方式中，說明了基 于顏色信息的跟蹤處理方法，圖4等所示的跟蹤處理部51能夠采用其它 的任意的跟蹤處理方法。將例示其它的跟蹤處理方法的實(shí)施方式作為第5 實(shí)施方式。第5實(shí)施方式中所述的內(nèi)容將與上述的第1 第4實(shí)施方式組 合后實(shí)施。
例如，跟蹤處理部51能夠通過利用圖像匹配來執(zhí)行幀圖像列中的跟 蹤目標(biāo)的位置的跟蹤。利用圖像匹配的跟蹤處理是眾所周知的，簡單說明 基于時刻tn.,的幀圖像與時刻tn的幀圖像之間的圖像匹配(模板匹配)的 跟蹤處理。另外，假設(shè)已檢測出時刻tn.,的幀圖像上的跟蹤目標(biāo)的位置。 另外，如第1實(shí)施方式中所述，拍攝完時刻Vi的幀圖像之后拍攝時刻tn 的幀圖像(參照圖14)。
跟蹤處理部51關(guān)注作為時刻t^的幀圖像的整體區(qū)域中的一部分且表 現(xiàn)了跟蹤目標(biāo)的一部分或整體的圖像區(qū)域， 一方面將該關(guān)注的圖像區(qū)域內(nèi)
的圖像作為模板圖像，另一方面在時刻tn的幀圖像內(nèi)設(shè)定跟蹤框。然后，
在搜索范圍內(nèi)依次改變跟蹤框的位置同時執(zhí)行跟蹤框內(nèi)的圖像與模板圖 像之間的類似性評價，在得到最大的類似性(換言之是最小的相異度)的跟蹤框的位置，判定存在時刻tn的幀圖像上的跟蹤目標(biāo)。以時刻U的幀 圖像中的跟蹤目標(biāo)的位置為基準(zhǔn)設(shè)定對應(yīng)于時刻tn的幀圖像的搜索范圍。 通常，該搜索范圍是以時刻V,的幀圖像中的跟蹤目標(biāo)的位置為中心的矩 形區(qū)域，搜索范圍的尺寸(圖像尺寸)比幀圖像的整體區(qū)域的尺寸小。
跟蹤處理部51利用圖像匹配進(jìn)行跟蹤處理時，由跟蹤可靠度評價部
52計(jì)算的可靠度評價值EVa的計(jì)算方法也與第1實(shí)施方式中所述的方法 不同。說明利用了圖像匹配的跟蹤處理中應(yīng)用的可靠度評價值EVK的計(jì)算方法。
跟蹤可靠度評價部52將各幀圖像作為被運(yùn)算圖像來操作，利用在第1 實(shí)施方式中所述的方法，通過在被運(yùn)算圖像內(nèi)設(shè)定多個小塊并且將各小塊 分類為拍照對象塊或背景塊，將各幀圖像的整體區(qū)域劃分為跟蹤目標(biāo)區(qū)域 和背景區(qū)域(參照圖7)。然后，將上述的模板圖像所在的小塊作為小塊 [m0， rio]來操作，按每一個背景塊算出表示時刻tn的幀圖像的小塊[mo， no]內(nèi)的圖像與時刻tn的幀圖像的背景塊內(nèi)的圖像之間的相異度的相異度 評價值。
假設(shè)有Q個背景塊，分別用Cd,sa[1] Cdka[Q]來表示対第1 第Q背 景塊算出的相異度評價值(Q是滿足不等式"2《Q《(MxN) -1"的整數(shù))。
例如，對應(yīng)于時刻t。的幀圖像的相異度評價值cdba[1]，作為從屬于時刻
tn的幀圖像的小塊[mo， no]的各像素的像素值(例如亮度值)與屬于時刻 tn的幀圖像的第i背景塊的各像素的像素值(例如亮度值)之間的對比中 求得的SAD (Sum of Absolute Difference)或SSD (Sum of Square Difference)(這里i是自然數(shù))。因此，對比圖像間的相異度增大時相異 度評價值C服a[i]也會變大。另外，歸一化相異度評價值，使相異度評價 值C服a[i]的取值范圍在0以上1以下。當(dāng)然，對于某一關(guān)注的圖像區(qū)域 來說，屬于該圖像區(qū)域的像素的像素值(例如亮度值)是一種表示該圖像 區(qū)域內(nèi)的圖像的特征的量(圖像特征量)。
另一方面，將小塊[mo， no]的中心作為參照圖8所述的中心250來操 作，與在第1實(shí)施方式中所述的方法相同地求出對應(yīng)于第1 第Q背景塊 的位置差評價值Pms[l] Pms[Q]。然后，通過將相異度評價值CDISA[i^A 到Q^[i]中并利用上述的式(1)，從而算出合并距離CP^s，利用該合并距寓CPdk，并按照上述的式(2)算出針對所關(guān)注的被運(yùn)算圖像(在該例
中是時刻t。的幀圖像)的可靠度評價值EV^從該計(jì)算方法可以了解到，
跟蹤目標(biāo)附近存在具有與跟蹤目標(biāo)模樣類似的模樣的物體時，可靠度評價
值EVa將變低。
跟蹤處理部51不利用圖像匹配，而是通過利用光學(xué)流向信息也能夠 執(zhí)行在幀圖像列中的跟蹤目標(biāo)的位置的跟蹤。雖然利用光學(xué)流向信息的跟
蹤處理是公知的的技術(shù)，但是簡單說明在時刻的幀圖像與時刻tn的幀
圖像之間基于光學(xué)流向信息的跟蹤處理。假設(shè)時刻的幀圖像上的跟蹤
目標(biāo)的位置是已檢測出的位置。圖25表示了時刻V,和時刻tn的幀圖像501 和502以及兩圖像間的光學(xué)流向503。光學(xué)流向503內(nèi)的實(shí)線箭頭表示對 應(yīng)于跟蹤目標(biāo)的運(yùn)動矢量。
跟蹤處理部51通過對比時刻tn-,和時刻tn的幀圖像來求出對比圖像間 的光學(xué)流向。光學(xué)流向是用矢量表現(xiàn)對比圖像間圖像上的物體的運(yùn)動的運(yùn) 動矢量束，利用代表點(diǎn)匹配法、模式匹配法、梯度法等而導(dǎo)出的。跟蹤處 理部51根據(jù)該運(yùn)動矢量束搜索具有大致相同方向且具有大致相同大小的 運(yùn)動矢量的集合，并判斷在存在該運(yùn)動矢量的集合的位置上存在作為跟蹤 目標(biāo)的運(yùn)動物體(g卩，判斷該位置就是時刻tn的幀圖像上的跟蹤目標(biāo)的位
置)。該搜索在搜索范圍內(nèi)完成，對于時刻tn的幀圖像的搜索范圍以時刻
tw的幀圖像的跟蹤目標(biāo)的位置為基準(zhǔn)來設(shè)定。通常，該搜索范圍是以時刻
V,的幀圖像的跟蹤目標(biāo)的位置為中心的矩形區(qū)域，搜索范圍的尺寸(圖像
尺寸)比幀圖像的整體區(qū)域的尺寸小。另外，也能基于搜索到的運(yùn)動矢量 的集合存在的范圍設(shè)定跟蹤目標(biāo)區(qū)域。
跟蹤處理部51利用光學(xué)流向信息進(jìn)行跟蹤處理時，由跟蹤可靠度評 價部52進(jìn)行的可靠度評價值EVa的計(jì)算方法也與第1實(shí)施方式中記載的 方法不同。說明利用了光學(xué)流向信息的跟蹤處理中應(yīng)用的可靠度評價值E
VR的計(jì)算方法。
跟蹤可靠度評價部52將各幀圖像作為被運(yùn)算圖像來處理，并利用第1 實(shí)施方式中記載的方法在被運(yùn)算圖像內(nèi)設(shè)定多個小塊并且通過將各小塊 分類為拍照對象塊或背景塊，來將各幀圖像的整體區(qū)域切分為跟蹤目標(biāo)區(qū) 域和背景區(qū)域(參照圖7)?，F(xiàn)在，將時刻t^和時刻tn的幀圖像間的光學(xué)
41流向假設(shè)為對應(yīng)于時刻tn的幀圖像的光學(xué)流向。然后，將時刻tn的幀圖像
中跟蹤目標(biāo)(跟蹤目標(biāo)的中心)所在的小塊作為小塊[mo， no]來處理，并 按每個背景塊算出表示對應(yīng)于時刻tn的幀圖像的小塊[mo， no]內(nèi)的光學(xué)流
向、與對應(yīng)于時刻t。的幀圖像的背景塊內(nèi)的光學(xué)流向之間的相異度的運(yùn)動 相異度評價值。
假設(shè)存在Q個背景塊，分別用Q^B[1] QMSB[Q]來表示對應(yīng)第1 第
Q背景塊算出的運(yùn)動相異度評價值(Q是滿足不等式"2《Q《(MxN) -1" 的整數(shù))。將對應(yīng)于時刻tn的幀圖像的小塊[mo， no]內(nèi)的光學(xué)流向和對應(yīng) 于時刻tn的幀圖像的第i背景塊內(nèi)的光學(xué)流向，分別稱為第1和第2光學(xué) 流向。貝lj，例如，基于形成第l光學(xué)流向的運(yùn)動矢量的方向及大小與形成 第2光學(xué)流向的運(yùn)動矢量的方向及大小的對比結(jié)果，按照對比的方向越不
同就越增加且對比的大小越不同就越增加的方式算出對應(yīng)于時刻tn的幀圖 像的運(yùn)動相異度評價值CwsB[i](這里，i是自然數(shù))。此時，歸一化運(yùn)動
相異度評價值，使運(yùn)動相異度評價值QnsB[i]的取值范圍在O以上l以下。 關(guān)于某一關(guān)注的圖像區(qū)域，能夠?qū)υ搱D像區(qū)域?qū)С龅墓鈱W(xué)流向捕捉為表 示該圖像區(qū)域內(nèi)的圖像的、關(guān)于運(yùn)動的特征的量(圖像特征量)。
另一方面，將小塊[mo， no]的中心作為參照圖8記載的中心250來處 理，與在第1實(shí)施方式中記載的方法同樣地，求出相對于第1 第Q背景
塊的位置差評價值PlMS[l] PD!S[Q]。然后，通過將運(yùn)動相異度評價值CmsB[i]
代入C服[i]并利用上述式(1)算出合并距離CPDIS，利用該合并距離CPDIS 并由上述式(2)算出對應(yīng)于關(guān)注的被運(yùn)算圖像(在當(dāng)前的例中，是時刻 tn的幀圖像)的可靠度評價值EV^從該計(jì)算方法可以了解到，跟蹤目標(biāo) 附近存在具有與跟蹤目標(biāo)的運(yùn)動類似地運(yùn)動的物體時，可靠度評價值EVR 將變低。
(第6實(shí)施方式)
下面，說明本發(fā)明的第6實(shí)施方式。在第6實(shí)施方式中，說明跟蹤可 靠度的導(dǎo)出方法的進(jìn)一步變形例，即可靠度評價值EVR的計(jì)算方法的進(jìn)一 步變形例。第6實(shí)施方式中記載的內(nèi)容要與上述的各實(shí)施方式組合而實(shí)施。
以下，作為可靠度評價值EVR的計(jì)算方法例示第1 第IO計(jì)算方法。圖4等中所示的跟蹤可靠度評價部52能夠利用第1 第10計(jì)算方法的任
何一種算出針對被運(yùn)算圖像(即，應(yīng)算出可靠度評價值EVa的跟蹤目標(biāo)幀 圖像)的可靠度評價值EVK。
另外，在第1實(shí)施方式中使可靠度評價值EVR取了 0以上100以下 的值，但是在第6實(shí)施方式中使可靠度評價值EVR取0以上1以下的值， 使跟蹤可靠度越被評價為高，則可靠度評價值EVK越接近于上限值1。因 此，將第6實(shí)施方式的各計(jì)算方法適用于上述的各實(shí)施方式時，只要將由 第6實(shí)施方式的各計(jì)算方法算出的可靠度評價值EVr放大100倍即可。
說明第1計(jì)算方法。在第1實(shí)施方式中記載了如下所述的跟蹤處理。 跟蹤顏色設(shè)定后，在作為被運(yùn)算圖像的跟蹤目標(biāo)幀圖像內(nèi)設(shè)定搜索范圍和 跟蹤框，通過在搜索范圍內(nèi)依次改變跟蹤框的位置同時執(zhí)行跟蹤框內(nèi)的圖 像的顏色與跟蹤顏色之間的類似性評價，從而檢測出跟蹤目標(biāo)幀圖像上的 跟蹤目標(biāo)的位置。對當(dāng)前的跟蹤目標(biāo)幀圖像的搜索范圍以前一次跟蹤目標(biāo) 幀圖像中的跟蹤目標(biāo)的位置為基準(zhǔn)來設(shè)定。
在這樣的跟蹤處理中，跟蹤目標(biāo)幀圖像上的跟蹤目標(biāo)的大小小時，跟 蹤的穩(wěn)定性會降低。例如，具有與跟蹤顏色類似的顏色的物體(不同于跟 蹤目標(biāo)的物體)進(jìn)入搜索范圍內(nèi)時，即使該物體比較小，若跟蹤目標(biāo)的大 小較小時，也會提高誤檢測出該物體即為跟蹤目標(biāo)的可能性。相反，跟蹤 后標(biāo)的大小較大時，無論是否存在該物體，都會減少產(chǎn)生誤檢測的可能性。
考慮到這樣的情況，在第l計(jì)算方法中，基于被運(yùn)算圖像上的跟蹤目 標(biāo)的大小來算出可靠度評價值EVa。具體而言，由以下式(6-1)算出對應(yīng) 于被運(yùn)算圖像的可靠度評價值EVR。
EVR = TgtSize / AreaSize …(6 — i)
這里，TgtSize是在被運(yùn)算圖像中表示判斷存在跟蹤目標(biāo)的圖像數(shù)據(jù) 的圖像區(qū)域的大小的數(shù)值，AreaSize是表示被運(yùn)算圖像的上述搜索范圍的 大小的數(shù)值。
能夠用像素?cái)?shù)表示大小TgtSize。具體而言，例如，能夠?qū)儆谏鲜?搜索范圍內(nèi)的像素內(nèi)表示跟蹤目標(biāo)的圖像數(shù)據(jù)的像素的總數(shù)代入到TgtSize中。如第1實(shí)施方式中所述，基于跟蹤結(jié)果信息能夠?qū)⒈贿\(yùn)算圖 像的圖像區(qū)域分類為表示跟蹤目標(biāo)的圖像數(shù)據(jù)的跟蹤目標(biāo)區(qū)域和表示背 景的圖像數(shù)據(jù)的背景區(qū)域，屬于該跟蹤目標(biāo)區(qū)域的圖像的總數(shù)能夠代入到 TgtSize中。用像素?cái)?shù)表示TgtSize時，AreaSize設(shè)定為屬于上述搜索范圍 的像素的總數(shù)。
或者，也可以用圖像上的面積表示大小TgtSize。 g卩，在跟蹤處理中 能夠?qū)⒏櫮繕?biāo)的外形近似為比較簡單的形狀(例如，橢圓或矩形)，也 可以由通過該近似得到的跟蹤目標(biāo)的外形內(nèi)的面積表示TgtSize。具體而 言，例如，能夠?qū)⒈贿\(yùn)算圖像上的跟蹤目標(biāo)區(qū)域的面積代入到TgtSize中。 在第1實(shí)施方式中跟蹤目標(biāo)區(qū)域的外形是矩形，但是該外形也可以是矩形 以外的其它形狀。用面積表示TgtSize時，AreaSize設(shè)定為被運(yùn)算圖像上 的搜索范圍的面積。
說明第2計(jì)算方法。在第2計(jì)算方法中，將基于被運(yùn)算圖像上的跟蹤 目標(biāo)的位置算出可靠度評價值EVK。具體而言，按照下式(6-2)算出針對 被運(yùn)算圖像的可靠度評價值EVK。其中，式(6-2)右邊的值變成負(fù)值時， 設(shè)定EVk為零。
EVR =l-(TDist/StdDist) …(6 — 2)
如圖26所述，TDist是跟蹤目標(biāo)的中心位置601與被運(yùn)算圖像的中心 位置602之間的距離(g卩，位置601和602間的被運(yùn)算圖像上的空間位置 差)，StdDist是預(yù)先設(shè)定的基準(zhǔn)距離。跟蹤目標(biāo)的中心位置601，例如， 是基于針對被運(yùn)算圖像的跟蹤結(jié)果信息的在第1實(shí)施方式中所述的中心 250的位置(參照圖8)。
通常用戶按照應(yīng)成為跟蹤目標(biāo)的關(guān)注拍照對象配置在圖像的中央附 近的方式操作攝像裝置。因此，對于在圖像端部中檢測出跟蹤目標(biāo)的跟蹤 結(jié)果會懷疑可靠性。另外，跟蹤目標(biāo)在圖像端部時，跟蹤目標(biāo)很容易跑出 攝像裝置的拍攝區(qū)域外(易引起所謂超屏)。此時，從跟蹤維持的角度來 看重要的是降低跟蹤可靠度從而使拍攝視角定位在增大方向。考慮到這 些，在第2計(jì)算方法中，判斷出跟蹤目標(biāo)的位置越接近于圖像的中心越增大可靠度評價值EVp相反時減少可靠度評價值EVR。 [第3計(jì)算方法〗
說明第3計(jì)算方法。第3計(jì)算方法中，將在不同的跟蹤目標(biāo)幀圖像間 基于跟蹤目標(biāo)的運(yùn)動矢量的大小算出可靠度評價值EVK。具體而言，按照 下式(6-3)算出針對被運(yùn)算圖像的可靠度評價值EVR。其中，式(6-3) 右邊的值變成負(fù)值時，設(shè)定EVa為零。
EVR=H|Vt|/lVstd|) …(6-3)
Vt表示作為被運(yùn)算圖像的第l跟蹤目標(biāo)幀圖像與比第l跟蹤目標(biāo)幀圖 像更早拍攝的第2跟蹤目標(biāo)幀圖像之間的跟蹤目標(biāo)的運(yùn)動矢量，I Vt i 表示該運(yùn)動矢量Vt的大小。Vstd是預(yù)先設(shè)定的基準(zhǔn)矢量，I Vstd l表示基 準(zhǔn)矢量Vstd的大小。
運(yùn)動矢量Vt是表示從第2跟蹤目標(biāo)幀圖像上的跟蹤目標(biāo)的位置看到 的第1跟蹤目標(biāo)幀圖像上的跟蹤目標(biāo)的位置的矢量(即，運(yùn)動矢量Vt是 將第2跟蹤目標(biāo)幀圖像作為基準(zhǔn)圖像的運(yùn)動矢量)。第1和第2跟蹤目標(biāo) 幀圖像上的跟蹤目標(biāo)的位置分別指，例如，基于針對第l和第2跟蹤目標(biāo) 幀圖像的跟蹤結(jié)果信息的第1和第2跟蹤目標(biāo)幀圖像上的中心250的位置 (參照圖8)。另外，第2跟蹤目標(biāo)幀圖像是比第1跟蹤目標(biāo)幀圖像提早 n幀周期拍攝的幀圖像(這里，n是l以上的整數(shù))。另外，也可以將比 第1跟蹤目標(biāo)幀圖像更早拍攝的多個幀圖像的每一個看作第2跟蹤目標(biāo)幀 圖像，并將該多個幀圖像的每一個與第1跟蹤目標(biāo)幀圖像之間的跟蹤目標(biāo) 的運(yùn)動矢量的平均作為Vt來使用。
在作為第1和第2跟蹤目標(biāo)幀圖像的拍攝間隔的評價期間中得到跟蹤 目標(biāo)的位置急劇變化的跟蹤結(jié)果時，該跟蹤結(jié)果的可靠性受到懷疑。另外， 跟蹤目標(biāo)的運(yùn)動快時，跟蹤目標(biāo)易超屏，且也會存在跟蹤處理中易丟失跟 蹤目標(biāo)的情況。考慮到這些，在第3計(jì)算方法中，基于跟蹤目標(biāo)的運(yùn)動矢 量的大小算出可靠度評價值EVR。
說明第4計(jì)算方法。在第4計(jì)算方法中，基于在第3計(jì)算方法中記載 的跟蹤目標(biāo)的運(yùn)動矢量Vt與基準(zhǔn)矢量Vstd所成的角度e算出可靠度評價
45值EVK。但是，第4計(jì)算方法中的運(yùn)動矢量Vt表示，作為被運(yùn)算圖像的
第1跟蹤目標(biāo)幀圖像與比第1跟蹤目標(biāo)幀圖像提前1個幀周期拍攝的跟蹤
目標(biāo)幀圖像之間的跟蹤目標(biāo)的運(yùn)動矢量，第4計(jì)算方法中的基準(zhǔn)矢量Vstd 表示這之前得到的跟蹤目標(biāo)的運(yùn)動矢量。
參照圖27補(bǔ)充說明第4計(jì)算方法中的運(yùn)動矢量Vt和基準(zhǔn)矢量Vstd 的意義?，F(xiàn)在，假設(shè)每流過1幀周期的時間時依次訪問時刻V4、 tn.3、 tn.2、
t^、 V，將在時刻tn-i中獲得的跟蹤目標(biāo)幀圖像稱為時刻tn.i的跟蹤目標(biāo)
幀圖像或只稱為時刻Vi的幀圖像。另外，用如圖27所示的V[i， i-l]表示
將時刻Vi的幀圖像作為基準(zhǔn)的、時刻tn,和tn.w)的幀圖像間的跟蹤目標(biāo) 的運(yùn)動矢量。
在這樣的前提下，若應(yīng)算出可靠度評價值EVK的被運(yùn)算圖像為t。的幀
圖像，則第4計(jì)算方法中的運(yùn)動矢量Vt是矢量V[1， 0]，且第4計(jì)算方法 中的基準(zhǔn)矢量Vstd是矢量V[2， l]?；蛘?，基準(zhǔn)矢量Vstd也可以是對矢 量V[2， 1]與比矢量V[2， l]更早算出的跟蹤目標(biāo)的l個或多個運(yùn)動矢量的 平均矢量(例如，V[2， 1]與V[3， 2]的平均矢量)。
利用如上所述的矢量Vt和Vstd并按照下式(6-4)算出針對被運(yùn)算圖 像的可靠度評價值EV^
EVR=(l + C0Se)/2 ... (6 —4)
=(l + (Vt.Vstd)/(]Vt|x|Vstdl))/2
運(yùn)動矢量Vt的方向表示圖像上的跟蹤目標(biāo)的最近的運(yùn)動的方向，基 準(zhǔn)矢量Vstd的方向表示圖像上的跟蹤目標(biāo)的過去的運(yùn)動的方向。跟蹤目 標(biāo)在運(yùn)動圖像上運(yùn)動時，很多時候其運(yùn)動方向大致上一定，對于運(yùn)動方向 變化急劇的跟蹤結(jié)果會懷疑可靠性?？紤]到這些，在第4計(jì)算方法中，上
述角度e較大時使可靠度評價值eVk狡小，上述角度e較小時使可靠度評
價值EVR較大。
說明第5計(jì)算方法。第5計(jì)算方法是組合第3和第4計(jì)算方法的方法。 具體而言，在第5計(jì)算方法中，按照下式(6-5)算出針對被運(yùn)算圖像的可 靠度評價值EVR。這里，EV^表示應(yīng)按照上述式(6-3)算出的EVr， EVR5 表示應(yīng)按照上述式(6-4)算出的EVr。EVR=￡VR4xEVR5 …(6-5)
說明第6計(jì)算方法。在第6計(jì)算方法中，基于從分類為跟蹤目標(biāo)的像 素得到的特征量的幀間相關(guān)(換言之，基于跟蹤目標(biāo)的特征量在幀間的變 化量)算出可靠度評價值EVR。具體而言，按照下式(6-6)算出針對被運(yùn) 算圖像的可靠度評價值EVR。其中，式(6-6)的右邊的值變成負(fù)值時，設(shè) 定EVa為零。
￡VR=1-(IVAL(n)-VAL(n-1)1)/VALbase …(6-6)
這里，VAL (n)是針對第n個跟蹤目標(biāo)幀圖像(即，圖27所示的時 刻tn的幀圖像)的特征量，VAL (n-l)是針對第(n-l)個跟蹤目標(biāo)幀圖 像(即，圖27所示的時刻V,的幀圖像)的特征量，VALbase是預(yù)先設(shè)定 的基準(zhǔn)特征量。
如上所述，基于跟蹤結(jié)果信息，將各跟蹤目標(biāo)幀圖像的整體區(qū)域分類 為表示跟蹤目標(biāo)的圖像數(shù)據(jù)的跟蹤目標(biāo)區(qū)域和表示背景的圖像數(shù)據(jù)的背 景區(qū)域，設(shè)定第i個跟蹤目標(biāo)幀圖像的跟蹤目標(biāo)區(qū)域的特征量為VAL (i) (這里，i是n或(n-l))。
特征量VAL (i)也可以是與跟蹤處理中用于跟蹤目標(biāo)的識別的特征 量同一種類的特征量。即，具體而言，例如，如第l實(shí)施方式中記載的基 于顏色信息進(jìn)行跟蹤目標(biāo)的身體區(qū)域的跟蹤時，基于第i個跟蹤目標(biāo)幀圖 像中的身體區(qū)域的圖像數(shù)據(jù)求出第i個跟蹤目標(biāo)幀圖像的身體區(qū)域的顏色 (以下稱為第i特征色)。能夠?qū)⒃诘?實(shí)施方式中記載的基于初始設(shè)定 用幀圖像的圖像數(shù)據(jù)導(dǎo)出跟蹤色的方法，利用在基于第i個跟蹤目標(biāo)幀圖 像的圖像數(shù)據(jù)導(dǎo)出第i特征色的方法中。而且，將色空間(例如，RGB或 HSV色空間)上的第i特征色的位置作為VAL (i)。此時，式(6-6)的 IVAL (n) -VAL (n-l) l是色空間上的第n特征色的位置與第(n-l)特征 色的位置間的距離。
特征量VAL (i)也可以是與在跟蹤處理中用于跟蹤目標(biāo)的識別的特 征量不同的特征量。即，具體而言，例如，如第1實(shí)施方式中記載的基于顏色信息進(jìn)行跟蹤目標(biāo)的身體區(qū)域的跟蹤時，基于第i個跟蹤目標(biāo)幀圖像
的身體區(qū)域的圖像數(shù)據(jù)求出第i個跟蹤目標(biāo)幀圖像的身體區(qū)域的亮度等級
(以下稱為第i亮度等級)。能夠?qū)儆诘趇個跟蹤目標(biāo)幀圖像的身體區(qū)
域的各像素的平均亮度作為第i亮度等級。而且，將第i亮度等級作為VAL (i)即可。此時，式(6-6)的IVAL (n) ■ VAL (n-l) l變成表示第n和 (n-l)個跟蹤目標(biāo)幀圖像間的跟蹤目標(biāo)(身體區(qū)域)的亮度差。
另外，也可以將針對在第n個跟蹤目標(biāo)幀圖像之前得到的多個跟蹤目 標(biāo)幀圖像的特征量的平均或加權(quán)平均代入到式(6-6)的VAL (n-l)中。 即，例如，也可以將針對第(n-l)禾n (n-2)個跟蹤目標(biāo)幀圖像的特征量 的平均代入到式(6-6)的VAL (n-l)中。
得到跟蹤目標(biāo)的特征量急劇變化的跟蹤結(jié)果時，該跟蹤結(jié)果的可靠性 不可靠?？紤]到這些，在第6計(jì)算方法中，基于表示跟蹤目標(biāo)的圖像特征 的特征量的變化量來算出可靠度評價值EVR。 [第7計(jì)算方法]
說明第7計(jì)算方法。在第1實(shí)施方式中記載了如下的技術(shù)。
設(shè)定跟蹤顏色之后，在作為被運(yùn)算圖像的跟蹤目標(biāo)幀圖像內(nèi)設(shè)定搜索 范圍和跟蹤框，通過在搜索范圍內(nèi)依次改變跟蹤框的位置并且執(zhí)行跟蹤框 內(nèi)的圖像顏色與跟蹤顏色之間的類似性評價，從而能夠檢測出跟蹤目標(biāo)幀 圖像上的跟蹤目標(biāo)的位置。
通過將被運(yùn)算圖像的整體區(qū)域分解為多個小塊(參照圖7)并將各小 塊分類為拍照對象塊和背景塊中的任一個，能夠使被運(yùn)算圖像的整體區(qū)域 分類為作為拍照對象塊群的合成區(qū)域的跟蹤目標(biāo)區(qū)域和作為背景塊群的 合成區(qū)域的背景區(qū)域。
能夠?qū)⒏欘伾c第i背景塊顏色之間的相異度作為色差評價值 Cois[i]來求出。色差評價值C園[i]取0以上1以下的值。
在第7計(jì)算方法中，利用該色差評價值Qns[i]，由以下式(6-7)算出
針對被運(yùn)算圖像的可靠度評價值EVR。 " 、<formula>formula see original document page 48</formula>式(6-7)右邊的2意味著被運(yùn)算圖像中屬于跟蹤目標(biāo)的周邊區(qū)域的 各背景塊的色差評價值的累積。被運(yùn)算圖像中的跟蹤目標(biāo)的周邊區(qū)域指， 例如，從對該被運(yùn)算圖像設(shè)定的上述搜索范圍中將跟蹤目標(biāo)區(qū)域除外而剩 下的圖像區(qū)域，或者從稍大于或稍小于該搜索范圍的圖像區(qū)域中將跟蹤目 標(biāo)區(qū)域除外而剩下的圖像區(qū)域，或者從被運(yùn)算圖像的整體區(qū)域?qū)⒏櫮繕?biāo) 區(qū)域除外而剩下的圖像區(qū)域。現(xiàn)在，假設(shè)第1 第R背景塊屬于跟蹤目標(biāo) 的周邊區(qū)域(R是2以上的整數(shù))。貝U，由式(6-7)算出的EVr是相対 于第1 第R背景塊算出的色差評價值C服[l] Qns[R]的總和與 (l-ColArea)的乘積。
ColArea表示與跟蹤顏色具有相同或類似顏色的背景塊在周邊區(qū)域中 所占的比例。例如，色差評價值C肥[i]在規(guī)定的閾值以下時，判斷第i背 景塊具有的顏色是與跟蹤顏色相同或類似的顏色，反之，判斷第i背景塊 具有的顏色非類似于跟蹤顏色。假設(shè)尺=100，且在第1 第IOO背景塊內(nèi)， 判斷出只有第1 第40背景塊具有與跟蹤顏色相同或類似的顏色時， ColArea是400/。。
若跟蹤目標(biāo)的周邊區(qū)域的顏色與跟蹤顏色相差很大，則基于顏色信息 的跟蹤是穩(wěn)定的，若該顏色與跟蹤顏色相似，則基于顏色信息的跟蹤是不 穩(wěn)定的。另外，跟蹤目標(biāo)的周邊存在越多的跟蹤顏色的相似顏色，則會變 得越不穩(wěn)定。第7計(jì)算方法提供對應(yīng)于這些的可靠性評價。
說明第9計(jì)算方法。利用第9計(jì)算方法時，在圖4等中所示的跟蹤可 靠度評價部52按每一個跟蹤目標(biāo)幀圖像基于跟蹤目標(biāo)幀圖像的圖像數(shù)據(jù) 推定跟蹤目標(biāo)幀圖像的光源的色溫(也能在跟蹤可靠度評價部52以外的 部件中進(jìn)行該推定)。
作為色溫的推定方法能利用公知的任意的推定方法。例如，與在被運(yùn) 算圖像內(nèi)設(shè)置小塊[m， n]同樣地(參照圖7)，在關(guān)注的跟蹤目標(biāo)幀圖像 內(nèi)設(shè)定多個小塊，并按每個小塊基于小塊的圖像數(shù)據(jù)將該小塊的顏色分類 為色飽和度較高的物體色或色飽和度較低的光源色。將具有被分類為光源 色的顏色的小塊稱為光源色模塊。按每個光源色模塊基于光源色模塊的R、 G、 B信號推定光源的色溫，并能夠?qū)⑾鄬τ诟鞴庠瓷K推定的色溫的 平均作為對關(guān)注的跟蹤目標(biāo)幀圖像的色溫來推定。在圖29中例示了按每 個跟蹤目標(biāo)幀圖像推定的色溫的分布。
在第9計(jì)算方法中，利用該推定色溫，由以下式(6-9)算出針對被運(yùn) 算圖像的可靠度評價值EVp其中，式(6-9)右邊的值變成負(fù)值時，設(shè)定 EVa為零。
EVR = 1 -(CTi -CTstd) …(6-9)
這里，CTi是針對在被運(yùn)算圖像更早得到的多個跟蹤目標(biāo)幀圖像的推 定色溫的方差，CTstd是預(yù)先設(shè)定的基準(zhǔn)方差。
方差CTi大則表示拍攝跟蹤目標(biāo)幀圖像時的光源的色溫經(jīng)常變化。在
50基于顏色信息的跟蹤處理中，光源的色溫變化大則很難執(zhí)行穩(wěn)定的跟蹤。 第9計(jì)算方法提供對應(yīng)這些情況的可靠性評價。
說明第10計(jì)算方法。在第10計(jì)算方法中，基于包括在跟蹤目標(biāo)幀圖 像中的噪聲的大小算出可靠度評價值EVw具體而言，由以下式(6-10A) (6-10C)算出相對于被運(yùn)算圖像的可靠度評價值EVR。其中，式(6-10B) 的右邊的值變成負(fù)值時，設(shè)定NRtgt為零，式(6-10C)的右邊的值變成 負(fù)值時，設(shè)定NRsrd為零。
EVR = NRtgt x NRsrd
NRtgt =-(atgt/obase) NRsrd = 1 一 ((jsrd / abase)
包括在被運(yùn)算圖像的跟蹤目標(biāo)區(qū)域內(nèi)的平坦部稱作第1平坦部，包括 在被運(yùn)算圖像的跟蹤目標(biāo)的周邊區(qū)域內(nèi)的平坦部稱作第2平坦部。跟蹤目 標(biāo)的周邊區(qū)域的意義與在第7計(jì)算方法的說明中記載的意義相同。otgt是 第1平坦部內(nèi)的各像素的亮度值的標(biāo)準(zhǔn)偏差，asrd是第2平坦部內(nèi)的各像 素的亮度值的標(biāo)準(zhǔn)偏差，(Tbase是預(yù)先設(shè)定的基準(zhǔn)標(biāo)準(zhǔn)偏差。
otgt自身或otgt的正平方根表示包括在第1平坦部內(nèi)的圖像中的噪聲 的大小或第l平坦部內(nèi)的圖像的信噪比(asrd也同樣)。因此，包括在跟 蹤目標(biāo)區(qū)域和/或周邊區(qū)域的噪聲的大小較大時，通過crtgt禾B/或cjsrd的減 少會減少可靠度評價值EVK。
能夠?qū)⒌?平坦部設(shè)定為以下方式。在被運(yùn)算圖像的跟蹤目標(biāo)區(qū)域內(nèi) 設(shè)定具有規(guī)定圖像尺寸的評價塊，使評價塊的位置在跟蹤目標(biāo)區(qū)域內(nèi)向水 平或垂直方向每次移動l個像素，并且在每次移動時求出評價塊內(nèi)的各像 素的亮度值的標(biāo)準(zhǔn)偏差。從而求出多個標(biāo)準(zhǔn)偏差。特定與該多個標(biāo)準(zhǔn)偏差 內(nèi)的最小的標(biāo)準(zhǔn)偏差對應(yīng)的評價塊的位置，并在該位置上作為第1平坦部 設(shè)定被配置的評價塊內(nèi)的圖像區(qū)域。第2平坦部的設(shè)定方法也相同。設(shè)定 第2平坦部時，在跟蹤目標(biāo)的周邊區(qū)域內(nèi)配置評價塊。
包括在跟蹤目標(biāo)區(qū)域和/或周邊區(qū)域中的噪聲的大小大時會破壞跟蹤 的穩(wěn)定性。第IO計(jì)算方法提供對應(yīng)這些情況的可靠性評價。
…(6 — 1 0 A)
…(6 — 1 0 B) …(6 — 1 OC)作為可靠度評價值EVK的計(jì)算方法個別說明了第1 第10計(jì)算方法，
也能由組合了第1 第10計(jì)算方法內(nèi)的2個以上計(jì)算方法的方法算出可靠 度評價值EVK。另外，在上述的第1 第IO計(jì)算方法中說明了每算出相對
于1張被運(yùn)算圖像的可靠度評價值EVk吋利用llA張跟蹤目標(biāo)幀圖像的方
法(iu是1以上的整數(shù))，但是在第1 第IO計(jì)算方法中，只要不產(chǎn)生 矛盾，計(jì)算時也可利用riB張跟蹤目標(biāo)幀圖像(iib是1以上的整數(shù)，nA# nB)。
例如，在上述的第l計(jì)算方法的說明中，每次計(jì)算針對作為被運(yùn)算圖 像的時刻tn的幀圖像的可靠度評價值EVR時，僅利用了時刻tn的幀圖像的 圖像數(shù)據(jù)，但是在該計(jì)算中也可以利用時刻k和時刻tn.,的幀圖像的圖像
數(shù)據(jù)。即，更具體而言，例如，也可以通過將時刻tn的幀圖像的跟蹤目標(biāo)
的大小TgtSize與時刻的幀圖像的跟蹤目標(biāo)的大小TgtSize的平均代入 到上述式(6-1)的TgtSize中，從而算出針對時刻tn的幀圖像的可靠度評 價值EVR。
(變形等)
第1 第6實(shí)施方式中記載的內(nèi)容只要不產(chǎn)生矛盾則能夠相互組合而 實(shí)施。另外，上述的說明中所示的具體的數(shù)值僅僅是例示，顯然能夠?qū)⑦@ 些數(shù)值改變?yōu)楦鞣N各樣的數(shù)值。作為上述實(shí)施方式的變形例或注釋事項(xiàng)， 以下記載注釋1 注釋5。各注釋中記載的內(nèi)容只要不產(chǎn)生矛盾則能夠任 意組合。
在上述的各實(shí)施方式中，例示了跟蹤目標(biāo)為人物時的情況，但是跟蹤 目標(biāo)也可以不是人物。例如，也可以將汽車等車輛或移動的機(jī)器人作為跟 蹤目標(biāo)。
在上述的各實(shí)施方式中，將幀作為單位來考慮并對幀圖像列進(jìn)行了包 括臉部檢測處理或跟蹤處理的各種處理，但是也可以將場作為單位來考慮 并對區(qū)域圖像列進(jìn)行那些處理。
[注釋3]也可以將表示由跟蹤可靠度評價部52評價的跟蹤可靠度的指標(biāo)顯示
在顯示部15上。該指標(biāo)與應(yīng)顯示在顯示部15上的運(yùn)動圖像一起顯示在顯 示部15上。 [注釋4]
各實(shí)施方式的攝像裝置能夠通過硬件或硬件與軟件的組合來實(shí)現(xiàn)。特 別是圖4、圖15、圖19、圖23中所示的各部件能夠通過硬件、軟件或者 硬件與軟件的組合來實(shí)現(xiàn)。利用軟件構(gòu)成攝像裝置時，關(guān)于由軟件實(shí)現(xiàn)的 各部件的模塊圖變成表示該部件的功能模塊圖。另外，也可以通過作為程 序記述需要執(zhí)行的計(jì)算處理的全部或一部分，并在程序執(zhí)行裝置(例如計(jì) 算機(jī))上執(zhí)行該程序，從而實(shí)現(xiàn)該計(jì)算處理的全部或一部分。
在運(yùn)動圖像再生時，包括圖4的符號51 54所示的部件的裝置和包 括圖23的符號51、 52和101 104所示的裝置分別作為圖像再生裝置而 起作用。也可以當(dāng)作該圖像再生裝置中包括形成攝像裝置的其它部件(顯 示部15等)。也可以通過能夠讀入記錄介質(zhì)16的記錄數(shù)據(jù)的攝像裝置的 外部設(shè)備(未圖示)實(shí)現(xiàn)該圖像再生裝置。
權(quán)利要求
1、一種攝像裝置，其特征在于，具有攝像元件，其通過依次拍攝來輸出表示拍攝圖像列的信號；跟蹤處理部，其基于所述攝像元件的輸出信號依次檢測所述拍攝圖像列上的跟蹤目標(biāo)的位置，從而在所述拍攝圖像列上跟蹤所述跟蹤目標(biāo)；切取處理部，其按每個拍攝圖像基于檢測出的所述位置在所述拍攝圖像內(nèi)設(shè)定切取區(qū)域，并提取所述切取區(qū)域內(nèi)的圖像作為切取圖像或輸出表示所述切取區(qū)域的位置和大小的切取信息；和跟蹤評價部，其根據(jù)所述攝像元件的輸出信號，評價基于所述跟蹤處理部的跟蹤的可靠性或容易性的程度；所述切取處理部根據(jù)評價出的所述程度改變所述切取區(qū)域的大小。
2、 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于所述切取處理部使所述程度被評價為比較高時的所述切取區(qū)域的大小比所述程度被評價為比較低時的所述切取區(qū)域的大小更小。
3、 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于所述切取處理部基于評價出的所述程度與拍攝圖像上的所述跟蹤目標(biāo)的大小來設(shè)定所述切取區(qū)域的大小。
4、 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于所述跟蹤評價部接受形成所述拍攝圖像列的拍攝圖像作為被運(yùn)算圖像，將所述被運(yùn)算圖像的整體區(qū)域劃分為出現(xiàn)所述跟蹤目標(biāo)的跟蹤目標(biāo)區(qū)域和所述跟蹤目標(biāo)區(qū)域以外的背景區(qū)域，并且根據(jù)所述跟蹤目標(biāo)區(qū)域的圖像特征與所述背景區(qū)域的圖像特征的對比來評價所述程度。
5、 一種攝像裝置，其特征在于，具有攝像元件，其通過依次拍攝來輸出表示拍攝圖像列的信號；跟蹤處理部，其基于所述攝像元件的輸出信號依次檢測所述拍攝圖像列上的跟蹤目標(biāo)的位置，從而在所述拍攝圖像列上跟蹤所述跟蹤目標(biāo)；視角調(diào)整部，其調(diào)整拍攝中的視角；禾口跟蹤評價部，其根據(jù)所述攝像元件的輸出信號，評價基于所述跟蹤處理部的跟蹤的可靠性或容易性的程度；所述視角調(diào)整部根據(jù)評價出的所述程度改變所述視角。
6、 根據(jù)權(quán)利要求5所述的攝像裝置，其特征在于所述視角調(diào)整部按照在所述程度被評價為較高時使拍攝圖像上的所述跟蹤目標(biāo)的大小較大、且在所述程度被評價為較低時使拍攝圖像上的所述跟蹤目標(biāo)的大小較小的方式，根據(jù)所述程度調(diào)整所述視角。
7、 根據(jù)權(quán)利要求6所述的攝像裝置，其特征在于所述視角調(diào)整部基于評價出的所述程度與拍攝圖像上的所述跟蹤目標(biāo)的大小來設(shè)定所述視角。
8、 根據(jù)權(quán)利要求5所述的攝像裝置，其特征在于所述跟蹤評價部接受形成所述拍攝圖像列的拍攝圖像作為被運(yùn)算圖像，將所述被運(yùn)算圖像的整體區(qū)域劃分為出現(xiàn)所述跟蹤目標(biāo)的跟蹤目標(biāo)區(qū)域和所述跟蹤目標(biāo)區(qū)域以外的背景區(qū)域，并且根據(jù)所述跟蹤目標(biāo)區(qū)域的圖像特征與所述背景區(qū)域的圖像特征的對比來評價所述程度。
9、 一種圖像再生裝置，其特征在于，具有圖像獲取部，其從記錄部讀取通過對拍攝目標(biāo)進(jìn)行依次拍攝而得到的圖像信號，從而獲得基于所述圖像信號的輸入圖像列；跟蹤處理部，其基于所述輸入圖像列的圖像信號依次檢測所述輸入圖像列上的跟蹤目標(biāo)的位置，從而在所述輸入圖像列上跟蹤所述跟蹤目標(biāo)；切取處理部，其按每個輸入圖像基于檢測出的所述位置在所述輸入圖像內(nèi)設(shè)定切取區(qū)域，并提取所述切取區(qū)域內(nèi)的圖像作為切取圖像；和跟蹤評價部，其根據(jù)所述輸入圖像列的圖像信息，評價基于所述跟蹤處理部的跟蹤的可靠性或容易性的程度；該圖像再生裝置將切取圖像列的圖像信號向顯示部或外部輸出，所述切取處理部根據(jù)評價出的所述程度改變所述切取區(qū)域的大小。
10、 一種攝像裝置，其特征在于，具有攝像元件，其通過依次拍攝來輸出表示拍攝圖像列的信號；跟蹤處理部，其基于所述攝像元件的輸出信號依次檢測所述拍攝圖像列上的跟蹤目標(biāo)的位置，從而在所述拍攝圖像列上跟蹤所述跟蹤目標(biāo)；區(qū)域設(shè)定部，其基于檢測出的所述位置在各拍攝圖像內(nèi)設(shè)定評價值收集區(qū)域；獲取條件控制部，其基于各拍攝圖像的所述評價值收集區(qū)域內(nèi)的圖像信號，控制所述拍攝圖像列的獲取條件；和跟蹤評價部，其根據(jù)所述攝像元件的輸出信號，評價基于所述跟蹤處理部的跟蹤的可靠性或容易性的程度；所述區(qū)域設(shè)定部根據(jù)評價出的所述程度改變所述評價值收集區(qū)域的大小。
11、 一種圖像再生裝置，其特征在于，具有圖像獲取部，其從記錄部讀取通過對拍攝目標(biāo)進(jìn)行依次拍攝而得到的圖像信號，從而獲得基于所述圖像信號的輸入圖像列；跟蹤處理部，其基于所述輸入圖像列的圖像信號依次檢測所述輸入圖像列上的跟蹤目標(biāo)的位置，從而在所述輸入圖像列上跟蹤所述跟蹤目標(biāo)；區(qū)域設(shè)定部，其基于檢測出的所述位置在各輸入圖像內(nèi)設(shè)定評價值收集區(qū)域；輸出圖像生成部，其生成基于各輸入圖像的所述評價值收集區(qū)域內(nèi)的圖像信號對所述輸入圖像列進(jìn)行加工后的輸出圖像列；和跟蹤評價部，其根據(jù)所述輸入圖像列的圖像信息，評價基于所述跟蹤處理部的跟蹤的可靠性或容易性的程度；該圖像再生裝置將所述輸出圖像列的圖像信號向顯示部或外部輸出，所述區(qū)域設(shè)定部根據(jù)評價出的所述程度改變所述評價值收集區(qū)域的大小。
全文摘要
本發(fā)明提供一種攝像裝置及圖像再生裝置。其中，該攝像裝置具有通過依次拍攝來輸出表示拍攝圖像列的信號的攝像元件；通過基于所述攝像元件的輸出信號依次檢測所述拍攝圖像列上的跟蹤目標(biāo)的位置，從而在所述拍攝圖像列上跟蹤所述跟蹤目標(biāo)的跟蹤處理部；按每個拍攝圖像基于檢測出的所述位置在所述拍攝圖像內(nèi)設(shè)定切取區(qū)域，并提取所述切取區(qū)域內(nèi)的圖像作為切取圖像或輸出表示所述切取區(qū)域的位置和大小的切取信息的切取處理部；和基于所述攝像元件的輸出信號評價基于所述跟蹤處理部的跟蹤的可靠性或容易性的程度的跟蹤評價部。所述切取處理部根據(jù)評價出的所述程度改變所述切取區(qū)域的大小。
文檔編號G06T7/20GK101605209SQ200910202859
公開日2009年12月16日 申請日期2009年5月26日 優(yōu)先權(quán)日2008年5月26日
發(fā)明者克拉麗莎·梁, 橫畠正大, 藤田日出人 申請人:三洋電機(jī)株式會社