被攝體區(qū)域跟蹤設(shè)備及其控制方法
【專利摘要】本發(fā)明提供一種被攝體區(qū)域跟蹤設(shè)備及其控制方法。被攝體區(qū)域跟蹤設(shè)備具有：面部檢測單元，用于基于面部的特征量，從所提供的圖像檢測面部區(qū)域；人身體檢測單元，用于基于人身體的特征量，檢測人身體的區(qū)域；以及主被攝體判斷單元，用于通過使用面部檢測單元和人身體檢測單元的檢測結(jié)果，獲得每一個被攝體的優(yōu)先級，并且判斷高優(yōu)先級的主被攝體；其中，對于僅通過人身體檢測單元所檢測到的被攝體，根據(jù)面部檢測單元的被攝體的過去的檢測結(jié)果，改變優(yōu)先級。
【專利說明】被攝體區(qū)域跟蹤設(shè)備及其控制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種被攝體區(qū)域跟蹤設(shè)備及其控制方法和程序。
【背景技術(shù)】
[0002]一種用于從圖像自動檢測特定被攝體模式的圖像處理技術(shù)是有用的，并且使用該圖像處理技術(shù)來例如指定人的面部的區(qū)域。在諸如通信會議系統(tǒng)、人機界面、安保系統(tǒng)、用于跟蹤人的面部的監(jiān)視系統(tǒng)和圖像壓縮等的許多領(lǐng)域下，可以使用這類圖像處理技術(shù)。在諸如數(shù)字照相機或數(shù)字攝像機等的攝像設(shè)備中，從拍攝圖像檢測特定被攝體，并且將檢測結(jié)果設(shè)置為控制對象，從而優(yōu)化焦點和曝光。例如，日本特開2005-318554公開了一種攝像設(shè)備，該攝像設(shè)備檢測圖像中的人的面部的位置以聚焦于該面部，并且在對于該面部最佳的曝光下拍攝圖像。日本特開2009-211311也提出了用于從圖像檢測人身體的上半身、并且對人的數(shù)量進行計數(shù)的圖像處理設(shè)備和方法。
[0003]然而，當從圖像檢測到人的面部時，在由于人向后等，因而沒有充分獲得面部的特征的情況下，不能檢測到該面部。在從圖像檢測到人身體的上半身的情況下，即使人向后，也可以檢測到上半身。然而，如果人處于特殊姿勢，或者如果在圖像中不存在人身體的上半身的區(qū)域的一部分，不能檢測到上半身。也就是說，可檢測狀況根據(jù)被攝體的檢測方法而改變。因此，為了減少不能檢測到被攝體的狀況和提高檢測率，考慮一起使用不同檢測方法的方法。例如，通過對于未能檢測到其面部的被攝體使用人身體的檢測的結(jié)果，可以提高被攝體的檢測率。
[0004]有一種主被攝體判斷技術(shù)，該技術(shù)用于從所檢測到的被攝體中選擇在諸如聚焦等的攝像控制時所使用的被攝體(主被攝體)。在檢測到多個被攝體的情況下，使用這類技術(shù)來例如從這些被攝體中選擇要進行焦點和曝光的調(diào)整的一個主被攝體。需要該主被攝體判斷技術(shù)來自動判斷用戶想要拍攝的目標拍攝被攝體。
[0005]通過從圖像檢測人身體，即使在被攝體向后、并且不能看見面部的狀態(tài)下，也可以檢測到被攝體。然而，即使檢測到了面部，也存在用戶不想選擇該面部作為主被攝體的情況。例如，在兒童等始終運動的場景下，為了提高被攝體的檢測和跟蹤的穩(wěn)定性，用戶也希望使用在人向后等時的檢測數(shù)據(jù)作為主被攝體的數(shù)據(jù)。在拍攝吉祥物正在跳舞的這類表演時，存在將向后的觀眾碰巧拍攝進照片中的情況。在這類場景下，即使檢測到了向后的觀眾，用戶也不希望選擇這類圖像作為主被攝體。

【發(fā)明內(nèi)容】

[0006]考慮到上述問題做出本發(fā)明，并且本發(fā)明的一個方面是使得在被攝體區(qū)域跟蹤設(shè)備中，能夠根據(jù)從圖像所檢測到的被攝體利用多個不同檢測方法來適當選擇主被攝體。
[0007]根據(jù)本發(fā)明的一個方面，提供一種被攝體區(qū)域跟蹤設(shè)備，其用于從所提供的圖像檢測目標被攝體區(qū)域，并且跟蹤所檢測到的被攝體區(qū)域，所述被攝體區(qū)域跟蹤設(shè)備包括:第一檢測部件，用于基于第一特征量，從所述圖像檢測預(yù)定被攝體區(qū)域；第二檢測部件，用于基于不同于所述第一特征量的第二特征量，從所述圖像檢測預(yù)定被攝體區(qū)域；以及主被攝體判斷部件，用于通過使用所述第一檢測部件的檢測結(jié)果和所述第二檢測部件的檢測結(jié)果來獲得每一個被攝體的優(yōu)先級，并且從被攝體中判斷高優(yōu)先級的主被攝體，其中，對于所述第一檢測部件未檢測到的、但是所述第二檢測部件檢測到了的被攝體，所述主被攝體判斷部件根據(jù)該被攝體的在所述第一檢測部件中的過去的檢測結(jié)果來改變優(yōu)先級。
[0008]根據(jù)本發(fā)明的另一方面，提供一種被攝體區(qū)域跟蹤設(shè)備，其用于從所提供的圖像檢測目標被攝體區(qū)域，并且跟蹤所檢測到的被攝體區(qū)域，所述被攝體區(qū)域跟蹤設(shè)備包括:第一檢測部件，用于從所述圖像檢測被攝體的面部區(qū)域；第二檢測部件，用于從所述圖像檢測不同于被攝體的面部區(qū)域的預(yù)定區(qū)域；以及主被攝體判斷部件，用于基于所述第一檢測部件的檢測結(jié)果和所述第二檢測部件的檢測結(jié)果，確定主被攝體，其中，所述主被攝體判斷部件從包括過去的被攝體的、所述第一檢測部件檢測到了面部區(qū)域的被攝體中，選擇所述主被攝體。
[0009]根據(jù)本發(fā)明的又一方面，提供一種攝像設(shè)備，其包括:攝像部件，用于提供拍攝圖像；上述的被攝體區(qū)域跟蹤設(shè)備；以及控制部件，用于根據(jù)所述被攝體區(qū)域跟蹤設(shè)備所輸出的被攝體的信息，控制所述攝像部件中的攝像條件。
[0010]根據(jù)本發(fā)明的又一方面，提供一種顯示設(shè)備，其包括:顯示部件，用于顯示所提供的圖像；上述的被攝體區(qū)域跟蹤設(shè)備；以及控制部件，用于根據(jù)所述被攝體區(qū)域跟蹤設(shè)備所輸出的被攝體的信息，控制所述顯示部件中的圖像的顯示條件。
[0011 ] 根據(jù)本發(fā)明的一方面，提供一種被攝體區(qū)域跟蹤設(shè)備的控制方法，其中，所述被攝體區(qū)域跟蹤設(shè)備用于從所提供的圖像檢測目標被攝體區(qū)域，并且跟蹤所檢測到的被攝體區(qū)域，所述控制方法包括以下步驟:第一檢測步驟，用于基于第一特征量，從所述圖像檢測預(yù)定被攝體區(qū)域；第二檢測步驟，用于基于不同于所述第一特征量的第二特征量，從所述圖像檢測預(yù)定被攝體區(qū)域；以及主被攝體判斷步驟，用于通過使用所述第一檢測步驟的檢測結(jié)果和所述第二檢測步驟的檢測結(jié)果來獲得每一個被攝體的優(yōu)先級，并且從被攝體中判斷高優(yōu)先級的主被攝體，其中，在所述主被攝體判斷步驟中，對于在所述第一檢測步驟中未檢測到的、但是在所述第二檢測步驟中檢測到了的被攝體，根據(jù)該被攝體的在所述第一檢測步驟中的過去的檢測結(jié)果來改變優(yōu)先級。
[0012]根據(jù)本發(fā)明的一方面，提供一種被攝體區(qū)域跟蹤設(shè)備的控制方法，其中，所述被攝體區(qū)域跟蹤設(shè)備用于從所提供的圖像檢測目標被攝體區(qū)域，并且跟蹤所檢測到的被攝體區(qū)域，所述控制方法包括以下步驟:第一檢測步驟，用于從所述圖像檢測被攝體的面部區(qū)域；第二檢測步驟，用于從所述圖像檢測不同于被攝體的面部區(qū)域的預(yù)定區(qū)域；以及主被攝體判斷步驟，用于基于所述第一檢測步驟的檢測結(jié)果和所述第二檢測步驟的檢測結(jié)果，確定主被攝體，其中，在所述主被攝體判斷步驟中，從包括過去的被攝體的、在所述第一檢測步驟中檢測到了面部區(qū)域的被攝體中，選擇所述主被攝體。
[0013]通過以下參考附圖對典型實施例的說明，本發(fā)明的其他特征將顯而易見。
【專利附圖】

【附圖說明】
[0014]包含在說明書中并構(gòu)成說明書的一部分的附圖，示出本發(fā)明的典型實施例、特征和方面，并與說明書一起用來解釋本發(fā)明的原理。[0015]圖1是示出根據(jù)本發(fā)明實施例的攝像設(shè)備的結(jié)構(gòu)的例子的圖。
[0016]圖2是示出實施例中的檢測結(jié)果整合單元的結(jié)構(gòu)的例子的圖。
[0017]圖3是示出實施例中的攝像設(shè)備的處理的例子的流程圖。
[0018]圖4是用于說明實施例中的幀內(nèi)相關(guān)判斷單元的處理的圖。
[0019]圖5是示出實施例中的主被攝體判斷的處理的流程圖。
[0020]圖6A和6B是用于說明實施例中的主被攝體判斷的優(yōu)先級的圖。
[0021]圖7是示出可以實現(xiàn)根據(jù)本發(fā)明實施例的被攝體區(qū)域跟蹤設(shè)備的計算機功能的圖。
【具體實施方式】
[0022]下面參考附圖詳細說明本發(fā)明的各種典型實施例、特征和方面。
[0023]圖1是示出根據(jù)本發(fā)明實施例的具有被攝體區(qū)域跟蹤設(shè)備的攝像設(shè)備100的結(jié)構(gòu)的例子的框圖。本實施例的攝像設(shè)備100具有:面部檢測單元109，用于將目標檢測被攝體的被攝體區(qū)域設(shè)置為人面部的區(qū)域，并且從圖像檢測人面部區(qū)域；以及人身體檢測單元110，用于檢測人身體的區(qū)域。
[0024]在攝像設(shè)備100中，通過包括攝像透鏡的攝像光學(xué)系統(tǒng)101轉(zhuǎn)換用于形成被攝體圖像的光，并且該光入射至攝像元件102。攝像元件102是例如電荷耦合裝置(CCD)圖像傳感器或者互補金屬氧化物半導(dǎo)體(CMOS)圖像傳感器。攝像元件102具有各自具有光電轉(zhuǎn)換元件的多個像素，并且以像素為單元輸出與輸入光的強度相對應(yīng)的電信號。也就是說，從攝像元件102輸出的電信號是通過利用攝像元件102對示出入射被攝體圖像的光進行光電轉(zhuǎn)換所獲得的信號，并且是示出包括通過攝像元件102所拍攝的被攝體圖像的圖像的模擬圖像信號。
[0025]模擬信號處理單元103對從攝像元件102輸出的圖像信號進行諸如相關(guān)雙采樣(CDS)等的模擬信號處理。AD (模擬/數(shù)字)轉(zhuǎn)換單元104將從模擬信號處理單元103輸出的模擬圖像信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)的格式。將通過AD轉(zhuǎn)換單元104轉(zhuǎn)換成數(shù)字格式的圖像信號輸入給控制單元105和圖像處理單元106。
[0026]控制單元105是中央處理單元(CPU)或者微控制器等，并且集中控制攝像設(shè)備100的操作。控制單元105將存儲在只讀存儲器(ROM)(未示出)中的程序代碼展開在隨機存取存儲器(RAM)(未示出)中的工作區(qū)域，并且順序進行執(zhí)行，從而控制攝像設(shè)備100的各功能單元。
[0027]圖像處理單元106對輸入的數(shù)字格式的圖像信號執(zhí)行諸如伽馬校正或者白平衡處理等的圖像處理。除普通圖像處理以外，圖像處理單元106還具有用于使用與從稍后描述的主被攝體判斷單元112所提供的圖像中的特定被攝體區(qū)域有關(guān)的信息，執(zhí)行圖像處理的功能。
[0028]顯示單元107是例如液晶顯示器(IXD)或者有機電致發(fā)光(EL)顯示器等，并且基于從圖像處理單元106所提供的圖像信號來顯示圖像。攝像設(shè)備100以時序方式將通過攝像元件102所順序拍攝的圖像顯示在顯示單元107上，從而使得顯示單元107用作電子取景器(EVF)。顯示單元107可以顯示通過稍后描述的主被攝體判斷單元112所選擇的被攝體區(qū)域的一部分等?？梢詫膱D像處理單元106所輸出的圖像信號記錄在記錄介質(zhì)108中。記錄介質(zhì)108是例如可從攝像設(shè)備100拆卸的存儲卡。記錄圖像信號的記錄介質(zhì)可以是被內(nèi)置在攝像設(shè)備100中的存儲器、或者與攝像設(shè)備100連接的外部設(shè)備，從而使得其可以與攝像設(shè)備100進行通信。
[0029]面部檢測單元109是第一檢測單元的例子。面部檢測單元109接收從圖像處理單元106所提供的圖像信號，檢測圖像中的預(yù)定目標被攝體，并且指定被攝體區(qū)域。面部檢測單元109從圖像指定人面部區(qū)域作為被攝體區(qū)域。如果在圖像中存在多個人的面部，則檢測數(shù)量與人的數(shù)量一樣的區(qū)域。作為面部檢測單元109的檢測方法，可以采用眾所周知的面部檢測方法。在與面部檢測有關(guān)的相關(guān)技術(shù)中，例如，存在下面的方法:使用與面部有關(guān)的知識(膚色信息、或者諸如眼、鼻、口等的部分等)的方法和通過以神經(jīng)網(wǎng)絡(luò)為代表的學(xué)習(xí)算法構(gòu)成用于面部檢測的識別器的方法等。在面部檢測中，為了提高識別率，通常通過組合這些方法來進行面部識別。例如，如日本特開2002-251380所述，提及了一種通過使用小波變換和圖像特征量等來進行面部檢測的方法。將面部檢測單元107的檢測結(jié)果提供給稍后描述的檢測結(jié)果整合單元111。
[0030]人身體檢測單元110是第二檢測單元的例子。人身體檢測單元110接收從圖像處理單元106所提供的圖像信號，將目標被攝體區(qū)域設(shè)置成人身體的上半身的區(qū)域，并且從圖像檢測預(yù)定區(qū)域。如果在圖像中存在多個人，則檢測數(shù)量與人的數(shù)量一樣的區(qū)域。作為人身體檢測單元110的檢測方法，例如，可以使用日本特開2009-211311等所述的方法。在本實施例中，人身體檢測單元110將人身體的局部上半身的輪廓的邊緣強度設(shè)置成局部特征量，并且檢測人身體的上半身的區(qū)域。作為用于從圖像提取特征量的方法，存在諸如Sobel濾波器、Prewitt濾波器和Haar濾波器等的各種類型的方法。根據(jù)通過人識別器所提取的局部特征量，區(qū)分人身體的上半身和人身體的非上半身?；谥T如AdaBoost學(xué)習(xí)等的機器學(xué)習(xí)，進行人識別器的識別。將人身體檢測單元110中的檢測結(jié)果提供給稍后描述的檢測結(jié)果整合單元111。
[0031]檢測結(jié)果整合單元111將面部檢測單元109中的檢測結(jié)果與人身體檢測單元110中的檢測結(jié)果進行比較，整合同一被攝體的檢測結(jié)果，并且將整合的結(jié)果提供給主被攝體判斷單元112。檢測結(jié)果整合單元111在同一被攝體和不同時間的檢測結(jié)果中的該被攝體的檢測結(jié)果之間進行對應(yīng)。也就是說，通過判斷同一被攝體在時間軸方向上的檢測結(jié)果，檢測結(jié)果整合單元111起著跟蹤被攝體的作用。稍后將詳細說明檢測結(jié)果整合單元111。
[0032]基于從檢測結(jié)果整合單元111所提供的檢測結(jié)果，主被攝體判斷單元112從所檢測到的被攝體中確定主要處理的被攝體(主被攝體)。將與所確定的主被攝體有關(guān)的信息提供給例如控制單元105和圖像處理單元106。主被攝體判斷單元112根據(jù)所檢測到的被攝體的當前面部檢測和過去面部檢測的檢測結(jié)果，判斷是否選擇僅通過人身體檢測單元110所檢測到的被攝體作為主被攝體的候選。如果存在多個主被攝體的候選，則主被攝體判斷單元112基于圖像中所檢測到的被攝體的位置和大小，選擇主被攝體。稍后將詳細說明主被攝體判斷單元112的處理。
[0033]控制單元105在例如通過攝像元件102拍攝被攝體時，可以控制諸如焦點狀態(tài)和曝光狀態(tài)等的攝像條件。例如，控制單元105基于從AD轉(zhuǎn)換器104所輸出的圖像信號，控制攝像光學(xué)系統(tǒng)101的焦點控制機構(gòu)(未示出)和曝光控制機構(gòu)(未示出)。例如，焦點控制機構(gòu)是用于驅(qū)動攝像光學(xué)系統(tǒng)101中所包括的攝像透鏡的致動器等，并且曝光控制機構(gòu)是用于驅(qū)動攝像光學(xué)系統(tǒng)101中所包括的光圈和快門的致動器等。
[0034]在焦點控制機構(gòu)和曝光控制機構(gòu)的控制中，控制單元105可以使用從主被攝體判斷單元112所提供的被攝體區(qū)域的信息。例如，控制單元105可以使用被攝體區(qū)域的對比度值進行焦點控制，并且可以使用被攝體區(qū)域的亮度值進行曝光控制。因此，攝像設(shè)備100具有用于在考慮拍攝圖像中的特定被攝體區(qū)域的情況下，在攝像條件下執(zhí)行攝像處理的功能。控制單元105還控制攝像元件102的讀出，例如攝像元件102的輸出定時和輸出像素等。在圖1所示的結(jié)構(gòu)中，通過例如圖像處理單元106、面部檢測單元109、人身體檢測單元110、檢測結(jié)果整合單元111和主被攝體判斷單元112，實現(xiàn)作為根據(jù)本實施例的被攝體區(qū)域跟蹤設(shè)備的功能。
[0035]圖2是示出檢測結(jié)果整合單元111的結(jié)構(gòu)的例子的框圖。檢測結(jié)果整合單元111具有面部檢測結(jié)果獲取單元201、人身體檢測結(jié)果獲取單元202、區(qū)域估計單元203、幀內(nèi)相關(guān)判斷單元204和幀間相關(guān)判斷單元205。
[0036]面部檢測結(jié)果獲取單元201獲得通過面部檢測單元109所檢測到的結(jié)果。作為檢測結(jié)果，面部檢測結(jié)果獲取單元201獲得所檢測到的人的數(shù)量、示出與所檢測到的人的數(shù)量一樣多的數(shù)量的人的圖像中的區(qū)域的位置和大小、以及檢測結(jié)果的可靠性等。人身體檢測結(jié)果獲取單元202獲得通過人身體檢測單元110所檢測到的結(jié)果。作為檢測結(jié)果，人身體檢測結(jié)果獲取單元202獲得所檢測到的人的數(shù)量、示出與所檢測到的人的數(shù)量一樣多的數(shù)量的人的圖像中的區(qū)域的位置和大小、以及檢測結(jié)果的可靠性等。區(qū)域估計單元203根據(jù)通過人身體檢測結(jié)果獲取單元202所獲得的檢測結(jié)果，估計與通過面部檢測單元109所檢測到的區(qū)域相對應(yīng)的部分區(qū)域。作為估計方法，這里假定，例如，基于面部檢測單元109的檢測區(qū)域和人身體檢測單元110的檢測區(qū)域之間的關(guān)系，通過線性變換估計該部分區(qū)域。
[0037]幀內(nèi)相關(guān)判斷單元204基于由面部檢測結(jié)果獲取單元202所獲得的檢測結(jié)果和由人身體檢測結(jié)果獲取單元202所獲得并通過區(qū)域估計單元203所估計的檢測結(jié)果之間在位置和大小方面的類似性，指定同一被攝體的檢測結(jié)果。假定，面部檢測單元109和人身體檢測單元110中的每一個基于在相同時間所拍攝的圖像，檢測到了目標被攝體區(qū)域。幀內(nèi)相關(guān)判斷單元204將通過面部檢測單元109所檢測到的被攝體設(shè)置成面部檢測結(jié)果。對于僅由人身體檢測單元110所檢測到的被攝體，幀內(nèi)相關(guān)判斷單元204將區(qū)域估計單元203所估計作為與面部區(qū)域相對應(yīng)的部分區(qū)域的結(jié)果，設(shè)置成檢測結(jié)果。
[0038]幀間相關(guān)判斷單元205將幀內(nèi)相關(guān)判斷單元204的當前檢測結(jié)果和檢測結(jié)果整合單元111的緊前一檢測結(jié)果進行比較，并且指定同一被攝體的檢測結(jié)果。以與幀內(nèi)相關(guān)判斷單元204相同的方式，幀間相關(guān)判斷單元205基于檢測結(jié)果之間在位置和大小方面的類似性，指定同一被攝體的檢測結(jié)果。通過針對幀間相關(guān)判斷單元205在時間軸方向上的檢測結(jié)果進行對應(yīng)，可以參考每一被攝體的過去的檢測結(jié)果。
[0039]參考圖3，說明根據(jù)本實施例的攝像設(shè)備100中主要與主被攝體判斷有關(guān)的處理的流程。圖像處理單元106讀取通過利用AD轉(zhuǎn)換單元104將通過攝像元件102所獲得的拍攝圖像轉(zhuǎn)換成數(shù)字數(shù)據(jù)所獲得的圖像，作為輸入圖像(S301)。隨后，面部檢測單元109基于面部的特征量數(shù)據(jù)(第一特征量)，從輸入圖像檢測面部區(qū)域，并且輸出檢測數(shù)據(jù)(S302)。作為面部檢測單元109的檢測數(shù)據(jù)，獲得圖像中的檢測結(jié)果的數(shù)量及檢測結(jié)果的位置和大小、以及檢測結(jié)果的可靠性等。人身體檢測單元110基于人身體的特征量數(shù)據(jù)(第二特征量)從輸入圖像檢測人身體的區(qū)域，并且輸出檢測數(shù)據(jù)(S303)。作為人身體檢測單元110的檢測數(shù)據(jù)，獲得圖像中的檢測結(jié)果的數(shù)量及檢測結(jié)果的位置、大小和方向、以及檢測結(jié)果的可靠性等。圖3所示的步驟S302和S303的處理順序沒有限制。
[0040]隨后，檢測結(jié)果整合單元111通過在同一幀(在相同時間所拍攝的圖像)所獲得的面部檢測單元109的檢測結(jié)果和人身體檢測單元110的檢測結(jié)果之間的幀內(nèi)相關(guān)判斷，整合兩種類型的檢測結(jié)果(S304)。參考圖4，說明檢測結(jié)果整合單元111的幀內(nèi)相關(guān)判斷單元204的檢測結(jié)果的整合處理。在圖4中，附圖標記401?405表示在相同時間所拍攝的圖像，并且它們的處理步驟不同。在圖像401?405中，示意性示出人，并且按照從左開始的順序示出被攝體A、被攝體B和被攝體C。在圖4中，附圖標記406?418表示各個處理步驟的檢測區(qū)域。
[0041]圖像401表示通過面部檢測結(jié)果獲取單元201所獲得的面部檢測結(jié)果。如實線的矩形406和407所不，在被攝體A和B中，檢測到面部區(qū)域，并且在被攝體C中，由于被攝體C向后，因而假定沒有檢測到面部區(qū)域。圖像402表示通過人身體檢測結(jié)果獲取單元202所獲得的人身體檢測結(jié)果。如實線的矩形408和409所示，在被攝體B和C中，檢測到了面部區(qū)域，并且在被攝體A中，假定由于姿勢的影響，因而沒有檢測到人身體的區(qū)域。
[0042]圖像403表示通過區(qū)域估計單元203根據(jù)人身體檢測結(jié)果獲取單元202的結(jié)果估計與由面部檢測單元109所檢測到的面部區(qū)域相對應(yīng)的部分區(qū)域的結(jié)果。虛線的矩形410表示從通過實線的矩形408所示的人身體的區(qū)域而估計的結(jié)果。虛線的矩形411表示從通過實線的矩形409所示的人身體的區(qū)域而估計的結(jié)果。
[0043]圖像404表示幀內(nèi)相關(guān)判斷單元204的處理的狀態(tài)。假定實線的矩形412和413是通過面部檢測結(jié)果獲取單元201所獲得的檢測結(jié)果。假定虛線的矩形414和415是通過人身體檢測結(jié)果獲取單元202所獲得的、并且通過區(qū)域估計單元203所估計的檢測結(jié)果。在通過實線的矩形412和413所示的檢測結(jié)果和通過虛線的矩形414和415所示的檢測結(jié)果中，幀內(nèi)相關(guān)判斷單元204計算候選的區(qū)域形狀和位置坐標的類似度。如果所計算出的類似度等于或大于預(yù)定閾值，則幀內(nèi)相關(guān)判斷單元204判斷為檢測結(jié)果是同一被攝體的檢測結(jié)果。如果所計算出的類似度小于預(yù)定閾值，則判斷為檢測結(jié)果是不同被攝體的檢測結(jié)果。在圖4所示的圖像404的例子中，矩形413和414被判斷為是同一被攝體的檢測結(jié)果。在其他組合中，判斷為它們是不同被攝體的檢測結(jié)果。
[0044]圖像405表示作為幀內(nèi)相關(guān)判斷單元204的處理的結(jié)果的、通過整合面部檢測的數(shù)據(jù)和人身體檢測的數(shù)據(jù)所獲得的結(jié)果。在被攝體A和B中，由于它們具有面部檢測的結(jié)果，因而使用該面部檢測結(jié)果作為整合數(shù)據(jù)。另一方面，在被攝體C中，由于僅檢測到了人身體的檢測結(jié)果，因而使用通過根據(jù)人身體檢測結(jié)果來估計面部區(qū)域所獲得的結(jié)果，作為整合數(shù)據(jù)。因此，通過實線的矩形416和417所示的檢測結(jié)果，是通過面部檢測結(jié)果獲取單元201所獲得的檢測結(jié)果，并且通過實線的矩形418所示的檢測結(jié)果，是通過區(qū)域估計單元203所估計的面部區(qū)域。
[0045]返回至圖3，在步驟S304通過幀內(nèi)相關(guān)判斷整合面部檢測的數(shù)據(jù)和人身體檢測的數(shù)據(jù)之后，進行幀間相關(guān)判斷單元205的幀間相關(guān)判斷(S305)。在幀間相關(guān)判斷中，在檢測結(jié)果整合單元111的緊前一檢測結(jié)果和幀內(nèi)相關(guān)判斷的當前檢測結(jié)果中，指定同一被攝體的檢測結(jié)果。盡管幀內(nèi)相關(guān)判斷單元204進行針對同一時間的圖像的不同檢測數(shù)據(jù)的相關(guān)判斷，但是幀間相關(guān)判斷單元205進行不同時間的檢測數(shù)據(jù)的相關(guān)判斷。以與幀內(nèi)相關(guān)判斷單元204相同的方式，幀間相關(guān)判斷單元205基于檢測結(jié)果的位置和大小的類似性，指定同一被攝體的檢測結(jié)果。通過幀間相關(guān)判斷單元205的幀間相關(guān)判斷，可以在時間軸方向上指定同一被攝體。換句話說，使得完成被攝體在時間軸方向上的對應(yīng)，這意味著正在跟蹤被攝體。
[0046]隨后，主被攝體判斷單元112執(zhí)行用于從檢測結(jié)果整合單元111所獲得的檢測數(shù)據(jù)中選擇主被攝體的候選、并且確定主被攝體的主被攝體判斷處理(S306)。攝像設(shè)備100基于所確定的主被攝體的信息，執(zhí)行攝像控制和圖像處理(S307)。隨后，當獲得新的拍攝圖像時，重復(fù)執(zhí)行上述步驟S301?S307的處理。
[0047]參考圖5說明圖3所示步驟S306的主被攝體判斷單元112的主被攝體判斷處理的流程。首先，對于通過檢測結(jié)果整合單元111所檢測到的所有被攝體，主被攝體判斷單元112判斷是否執(zhí)行主被攝體判斷的優(yōu)先級的計算(S501)。如果存在未進行優(yōu)先級的計算的所檢測到的被攝體(S501為“否”)，則主被攝體判斷單元112確認被攝體的當前幀中的檢測結(jié)果(S502)。假定檢測結(jié)果示出通過面部檢測和/或人身體檢測而檢測到了被攝體。
[0048]在僅通過人身體檢測單元110的人身體檢測而檢測到被攝體的情況下(S502為“是”)，主被攝體判斷單元112判斷被攝體的過去檢測結(jié)果是否包括面部檢測單元109的面部檢測(S503)。在所檢測到的被攝體的過去不存在面部檢測結(jié)果的情況下(S503為“否”)，主被攝體判斷單元112將該被攝體的優(yōu)先級當作為O (S504)。處理程序返回至步驟S501。另一方面，在所檢測到的被攝體包括過去的面部檢測結(jié)果的情況下(S503為“是”)，主被攝體判斷單元112基于位置和大小等，計算被攝體的優(yōu)先級(S505)。如果當前幀中的檢測狀態(tài)不是僅基于人身體檢測單元110的人身體檢測(S502為“否”)，則主被攝體判斷單元112基于位置和大小等，計算被攝體的優(yōu)先級(S505)。在計算優(yōu)先級之后，處理程序返回至步驟S501。
[0049]換句話說，在所檢測到的被攝體包括當前和過去的面部檢測單元109的面部檢測中的檢測數(shù)據(jù)的情況下，主被攝體判斷單元112將所檢測到的被攝體設(shè)置為主被攝體的候選，并且執(zhí)行優(yōu)先級的計算。如果所檢測到的被攝體不包括當前和過去的面部檢測單元109的面部檢測中的檢測數(shù)據(jù)，則主被攝體判斷單元112將優(yōu)先級設(shè)置成0，以表示所檢測到的被攝體不是主被攝體的候選。假定將優(yōu)先級設(shè)置成正值、并且其最小值為O。
[0050]參考圖6A和6B說明步驟S505的優(yōu)先級的計算的例子。在圖6A中，橫軸表示與圖像中心的距離，并且縱軸表示優(yōu)先級計算時的位置權(quán)重。以下面的方式設(shè)置優(yōu)先級權(quán)重:圖像中心和所檢測到的被攝體之間的距離越小,則權(quán)重越大,并且圖像中心和所檢測到的被攝體之間的距離越大，則權(quán)重越小。在圖6B中，橫軸表示所檢測到的被攝體的大小，并且縱軸表示優(yōu)先級計算時的大小權(quán)重。以下面的方式設(shè)置優(yōu)先級權(quán)重:所檢測到的被攝體在顯示畫面上的大小越小，則權(quán)重越小，并且所檢測到的被攝體在顯示畫面上的大小越大，則權(quán)重越大。如果所檢測到的被攝體在顯示畫面上的大小等于或者小于第一預(yù)定大小，則將權(quán)重設(shè)置成常數(shù)。如果所檢測到的被攝體在顯示畫面上的大小等于或大于第二預(yù)定大小，則將權(quán)重設(shè)置成常數(shù)。將通過將這些位置權(quán)重和大小權(quán)重相乘所獲得的值當作為優(yōu)先級。上述優(yōu)先級計算是一個例子，并且權(quán)重的設(shè)置不局限于此。作為權(quán)重的要素，還可以考慮檢測的可靠性或者檢測的持續(xù)時間等。[0051]返回至圖5，如果對于所有所檢測到的被攝體完成了優(yōu)先級計算(S501為“是”)，則主被攝體判斷單元112從所檢測到的被攝體中選擇最高優(yōu)先級的被攝體(S506)。如果所選擇的最高優(yōu)先級的被攝體的優(yōu)先級不是O (S507為“是”)，則主被攝體判斷單元112選擇該被攝體作為主被攝體(S508)。如果所選擇的最高優(yōu)先級的被攝體的優(yōu)先級等于O (S507為“否”)，則主被攝體判斷單元112基于不存在主被攝體來進行處理(S509)。也就是說，如果所有所檢測到的被攝體僅是在當前和過去的人身體檢測單元HO的人身體檢測的被攝體，則產(chǎn)生不存在主被攝體的狀態(tài)。
[0052]在基于是否存在過去的面部檢測單元109的面部檢測來進行該判斷的前提下，說明了步驟S503的判斷處理。除根據(jù)是否存在面部檢測的判斷以外，還可以向判斷條件添加面部檢測的可靠性、連續(xù)性、位置或者大小等。對于下面的例子說明了本發(fā)明:在該例子中，在步驟S503，在所檢測到的被攝體的過去不存在面部檢測結(jié)果的情況下，將所檢測到的被攝體的優(yōu)先級設(shè)置成O。然而，本發(fā)明不局限于此。還可以以下面的方式進行配置:對于在過去不存在面部檢測結(jié)果的所檢測到的被攝體，在步驟S505，以與在過去存在面部檢測結(jié)果的所檢測到的被攝體的情況相同的方式獲得優(yōu)先級，并且將通過將該優(yōu)先級乘以諸如
0.5等的小于I的系數(shù)所獲得的值設(shè)置成最終優(yōu)先級。如上所述，通過使用在所檢測到的被攝體的過去不存在面部檢測結(jié)果的情況下將優(yōu)先級改變成小的值這樣的配置，盡管主被攝體始終向后，但是如果其他被攝體向后，也可以選擇該主被攝體作為主被攝體。
[0053]如上所述，根據(jù)本實施例，在作為被攝體區(qū)域跟蹤設(shè)備中的輔助面部檢測的、使用人身體檢測的被攝體檢測中，在使用基于人身體檢測的檢測數(shù)據(jù)的情況下，考慮被攝體的面部檢測的檢測結(jié)果，進行主被攝體判斷。因此，可以降低將用戶的非目標被攝體選擇為主被攝體這一錯誤。從所檢測到的被攝體中適當選擇主被攝體，并且可以提高主被攝體的判斷精度。更具體地說，在使用多個不同檢測方法從圖像的被攝體檢測中，對于第一檢測單元未檢測到的、但是第二檢測單元檢測到了的被攝體，根據(jù)第一檢測單元中的過去檢測結(jié)果，改變該被攝體的優(yōu)先級。因此，可以考慮第一檢測單元中的過去檢測結(jié)果，從所檢測到的被攝體中適當選擇主被攝體，并且可以提高主被攝體的判斷精度。
[0054]本發(fā)明的其他實施例
[0055]盡管作為例子，以上對于將被攝體區(qū)域跟蹤設(shè)備應(yīng)用于攝像設(shè)備的情況說明了本實施例，但是應(yīng)用被攝體區(qū)域跟蹤設(shè)備的設(shè)備不局限于攝像設(shè)備。例如，可以將用于進行被攝體區(qū)域跟蹤的被攝體區(qū)域跟蹤設(shè)備應(yīng)用于用于顯示從外部設(shè)備或記錄介質(zhì)等所提供的圖像(再現(xiàn)數(shù)據(jù))的顯示設(shè)備。在該顯示設(shè)備中，使用再現(xiàn)數(shù)據(jù)作為被攝體區(qū)域跟蹤處理的數(shù)據(jù)，并且執(zhí)行被攝體區(qū)域跟蹤處理?；谕ㄟ^被攝體區(qū)域跟蹤處理所提取的被攝體的信息(圖像中的被攝體的位置和大小等)，顯示設(shè)備中的諸如微控制器等的控制單元，控制顯示圖像時的顯示條件。具體地說，將諸如框等的、示出被攝體的信息疊加顯示至圖像中的被攝體的位置，或者進行根據(jù)被攝體區(qū)域的亮度和色度信息的顯示圖像的亮度和色調(diào)等的控制。
[0056]還通過執(zhí)行下面的處理實現(xiàn)本發(fā)明。也就是說，通過網(wǎng)絡(luò)或者各種類型的記錄介質(zhì)將用于實現(xiàn)上述實施例的功能的軟件(程序)提供給系統(tǒng)或設(shè)備，并且該系統(tǒng)或設(shè)備的計算機(或者CPU或MPU等)讀出該程序，而且根據(jù)該程序執(zhí)行該處理。
[0057]例如,上述實施例所示的被攝體區(qū)域跟蹤設(shè)備具有如圖7所示的計算機功能700,并且通過CPU 701執(zhí)行上述實施例中的操作。如圖7所示，計算機功能700具有CPU 701、ROM 702和RAM 703。計算機功能700還具有:操作單元(CONS)的控制器(CONSC) 705和諸如IXD等的用作為顯示單元的顯示器(DISP) 710的顯示控制器(DISPC) 706。此外，計算機功能700具有:硬盤(HD) 711的控制器(DCONT) 707和諸如軟盤等的存儲裝置(STD) 712、以及網(wǎng)絡(luò)接口卡(NIC) 708。這些功能單元701、702、703、705、706、707和708通過系統(tǒng)總線704連接，從而使得它們可以相互通信。
[0058]CPU 701執(zhí)行存儲在ROM 702或HD 711中的軟件、或者從STD 712所提供的軟件，從而集中控制與系統(tǒng)總線704連接的各結(jié)構(gòu)單元。也就是說，CPU701從ROM 702,HD 711或STD 712讀出用于執(zhí)行上述操作的處理程序，并且執(zhí)行該處理程序，從而進行用于實現(xiàn)上述實施例中的操作的控制。RAM703用作CPU 701的主存儲器或者工作區(qū)。
[0059]CONSC 705 控制從CONS 709 輸入的指示。DISPC 706 控制DISP 710 的顯示。DCONT707控制對HD 711和STD 712的存取，其中，在HD 711和STD 712中，存儲引導(dǎo)程序、各種類型的應(yīng)用程序、用戶文件、網(wǎng)絡(luò)管理程序和上述實施例中的處理程序等。NIC 708與網(wǎng)絡(luò)713上連接的其他設(shè)備雙向發(fā)送和接收數(shù)據(jù)。
[0060]上述實施例僅是用于實現(xiàn)本發(fā)明的實施例的例子，并且不得限制性解釋本發(fā)明的技術(shù)范圍。也就是說，在不脫離本發(fā)明的技術(shù)理念或其原理特征的情況下，可以以各種形式實現(xiàn)本發(fā)明。
[0061]盡管參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功倉泛。
【權(quán)利要求】
1.一種被攝體區(qū)域跟蹤設(shè)備，其用于從所提供的圖像檢測目標被攝體區(qū)域，并且跟蹤所檢測到的被攝體區(qū)域，所述被攝體區(qū)域跟蹤設(shè)備包括: 第一檢測部件，用于基于第一特征量，從所述圖像檢測預(yù)定被攝體區(qū)域； 第二檢測部件，用于基于不同于所述第一特征量的第二特征量，從所述圖像檢測預(yù)定被攝體區(qū)域；以及 主被攝體判斷部件，用于通過使用所述第一檢測部件的檢測結(jié)果和所述第二檢測部件的檢測結(jié)果來獲得每一個被攝體的優(yōu)先級，并且從被攝體中判斷高優(yōu)先級的主被攝體， 其中，對于所述第一檢 測部件未檢測到的、但是所述第二檢測部件檢測到了的被攝體，所述主被攝體判斷部件根據(jù)該被攝體的在所述第一檢測部件中的過去的檢測結(jié)果來改變優(yōu)先級。
2.根據(jù)權(quán)利要求1所述的被攝體區(qū)域跟蹤設(shè)備，其中，還包括檢測結(jié)果整合部件，所述檢測結(jié)果整合部件用于將所述第一檢測部件的檢測結(jié)果與所述第二檢測部件的檢測結(jié)果進行比較，并且整合同一被攝體的檢測結(jié)果，以及 其中，所述主被攝體判斷部件針對由所述檢測結(jié)果整合部件所整合后的檢測結(jié)果示出的所檢測到的每一個被攝體，設(shè)置優(yōu)先級。
3.根據(jù)權(quán)利要求2所述的被攝體區(qū)域跟蹤設(shè)備，其中，對于所述第一檢測部件未檢測到的、但是所述第二檢測部件檢測到了的被攝體，在過去所述第一檢測部件未檢測到該被攝體的情況下，所述主被攝體判斷部件將優(yōu)先級降低至小于在過去所述第一檢測部件檢測到該被攝體的情況下的優(yōu)先級的值。
4.根據(jù)權(quán)利要求2所述的被攝體區(qū)域跟蹤設(shè)備，其中，對于所述第一檢測部件未檢測到的、但是所述第二檢測部件檢測到了的被攝體，在過去所述第一檢測部件未檢測到該被攝體的情況下，所述主被攝體判斷部件不將該被攝體判斷為所述主被攝體。
5.根據(jù)權(quán)利要求2所述的被攝體區(qū)域跟蹤設(shè)備，其中，對于具有所述第一檢測部件的檢測結(jié)果的被攝體，所述檢測結(jié)果整合部件使用所述第一檢測部件的檢測結(jié)果作為整合后的檢測結(jié)果，以及對于僅具有所述第二檢測部件的檢測結(jié)果的被攝體，所述檢測結(jié)果整合部件使用將所述第二檢測部件的檢測結(jié)果轉(zhuǎn)換成與所述第一檢測部件所檢測的被攝體區(qū)域相對應(yīng)的部分區(qū)域而得到的區(qū)域，作為整合后的檢測結(jié)果。
6.根據(jù)權(quán)利要求1所述的被攝體區(qū)域跟蹤設(shè)備，其中，在選擇多個被攝體作為所述主被攝體的候選的情況下，所述主被攝體判斷部件基于被攝體的位置和大小，從所述主被攝體的候選中選擇一個被攝體作為所述主被攝體。
7.根據(jù)權(quán)利要求1所述的被攝體區(qū)域跟蹤設(shè)備，其中，所述第一檢測部件檢測人面部的區(qū)域作為被攝體區(qū)域，并且所述第二檢測部件檢測人身體的區(qū)域作為被攝體區(qū)域。
8.根據(jù)權(quán)利要求1所述的被攝體區(qū)域跟蹤設(shè)備，其中，在當前和過去所述第一檢測部件對被攝體的檢測結(jié)果滿足用于如下的要素的條件的情況下，所述主被攝體判斷部件選擇該被攝體作為所述主被攝體的候選，其中所述要素是檢測的可靠性、檢測的持續(xù)時間、位置和大小中的至少一個。
9.一種攝像設(shè)備，其包括: 攝像部件，用于提供拍攝圖像； 根據(jù)權(quán)利要求1所述的被攝體區(qū)域跟蹤設(shè)備；以及控制部件，用于根據(jù)所述被攝體區(qū)域跟蹤設(shè)備所輸出的被攝體的信息，控制所述攝像部件中的攝像條件。
10.一種顯示設(shè)備，其包括: 顯示部件，用于顯示所提供的圖像； 根據(jù)權(quán)利要求1所述的被攝體區(qū)域跟蹤設(shè)備；以及 控制部件，用于根據(jù)所述被攝體區(qū)域跟蹤設(shè)備所輸出的被攝體的信息，控制所述顯示部件中的圖像的顯示條件。
11.一種被攝體區(qū)域跟蹤設(shè)備的控制方法，其中，所述被攝體區(qū)域跟蹤設(shè)備用于從所提供的圖像檢測目標被攝體區(qū)域，并且跟蹤所檢測到的被攝體區(qū)域，所述控制方法包括以下步驟: 第一檢測步驟，用于基于第一特征量，從所述圖像檢測預(yù)定被攝體區(qū)域； 第二檢測步驟，用于基于不同于所述第一特征量的第二特征量，從所述圖像檢測預(yù)定被攝體區(qū)域；以及 主被攝體判斷步驟，用于通過使用所述第一檢測步驟的檢測結(jié)果和所述第二檢測步驟的檢測結(jié)果來獲得每一個被攝體的優(yōu)先級，并且從被攝體中判斷高優(yōu)先級的主被攝體，其中，在所述主被攝體判斷步驟中，對于在所述第一檢測步驟中未檢測到的、但是在所述第二檢測步驟中檢測到了的被攝體，根據(jù)該被攝體的在所述第一檢測步驟中的過去的檢測結(jié)果來改變優(yōu)先級。
12.—種被攝體區(qū)域跟蹤設(shè)備，其用于從所提供的圖像檢測目標被攝體區(qū)域，并且跟蹤所檢測到的被攝體區(qū)域，所述被攝體區(qū)域跟蹤設(shè)備包括: 第一檢測部件，用于從所述圖像檢測被攝體的面部區(qū)域； 第二檢測部件，用于從所述圖像檢測不同于被攝體的面部區(qū)域的預(yù)定區(qū)域；以及主被攝體判斷部件，用于基于所述第一檢測部件的檢測結(jié)果和所述第二檢測部件的檢測結(jié)果，確定主被攝體， 其中，所述主被攝體判斷部件從包括過去的被攝體的、所述第一檢測部件檢測到了面部區(qū)域的被攝體中，選擇所述主被攝體。
13.根據(jù)權(quán)利要求12所述的被攝體區(qū)域跟蹤設(shè)備，其中，所述第二檢測部件檢測人身體的區(qū)域作為被攝體區(qū)域。
14.一種攝像設(shè)備，其包括: 攝像部件，用于提供拍攝圖像； 根據(jù)權(quán)利要求13所述的被攝體區(qū)域跟蹤設(shè)備；以及 控制部件，用于根據(jù)所述被攝體區(qū)域跟蹤設(shè)備所輸出的被攝體的信息，控制所述攝像部件中的攝像條件。
15.—種顯不設(shè)備,其包括: 顯示部件，用于顯示所提供的圖像； 根據(jù)權(quán)利要求13所述的被攝體區(qū)域跟蹤設(shè)備；以及 控制部件，用于根據(jù)所述被攝體區(qū)域跟蹤設(shè)備所輸出的被攝體的信息，控制所述顯示部件中的圖像的顯示條件。
16.一種被攝體區(qū) 域跟蹤設(shè)備的控制方法，其中，所述被攝體區(qū)域跟蹤設(shè)備用于從所提供的圖像檢測目標被攝體區(qū)域，并且跟蹤所檢測到的被攝體區(qū)域，所述控制方法包括以下步驟: 第一檢測步驟，用于從所述圖像檢測被攝體的面部區(qū)域； 第二檢測步驟，用于從所述圖像檢測不同于被攝體的面部區(qū)域的預(yù)定區(qū)域；以及主被攝體判斷步驟，用于基于所述第一檢測步驟的檢測結(jié)果和所述第二檢測步驟的檢測結(jié)果，確定主被攝體， 其中，在所述主被攝體 判斷步驟中，從包括過去的被攝體的、在所述第一檢測步驟中檢測到了面部區(qū)域的被攝體中，選擇所述主被攝體。
【文檔編號】G06K9/00GK103905727SQ201310741937
【公開日】2014年7月2日 申請日期:2013年12月27日 優(yōu)先權(quán)日:2012年12月27日
【發(fā)明者】辻良介 申請人:佳能株式會社