專利名稱：圖像處理設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、控制圖像處理設(shè)備的方法和存儲介質(zhì)，尤其涉及能夠顯示三維視頻圖像的圖像處理設(shè)備、控制該圖像處理設(shè)備的方法和存儲介質(zhì)。
背景技術(shù)：
近年來，作為三維(3D)視頻圖像提供的電影等的數(shù)量增大，并且根據(jù)該趨勢，正在開發(fā)能夠進行三維顯示的家用TV設(shè)置。此外，已知設(shè)置有兩個攝像光學(xué)系統(tǒng)的照相機作為用于拍攝3D視頻圖像的設(shè)備，并且消費型三維拍攝照相機也已經(jīng)出現(xiàn)。最近的數(shù)字照相機和視頻照相機均配備有用于在拍攝前檢測人物并在照相機的 液晶面板上所顯示的面部區(qū)域上疊加面部框的功能。照相機使用面部框內(nèi)的圖像控制曝光、聚焦等的拍攝參數(shù)，從而照相機能夠獲得對于人物被攝體最優(yōu)化的圖像。關(guān)于上述三維拍攝照相機，通過對照相機主體設(shè)置可以觀看三維圖像的顯示部，可以在檢查三維效果的同時進行拍攝。在該情況下，三維地顯示正在拍攝的被攝體，因此，需要在三維顯示的同時在人面部區(qū)域上疊加面部框。傳統(tǒng)地，提出了以下裝置通過在三維圖像數(shù)據(jù)上疊加用于指示三維圖像上的預(yù)定位置的鼠標指針或要與三維圖像一起顯示的文字信息來顯示三維圖像數(shù)據(jù)(參見例如日本特開 2001-326947)。該三維圖像顯示裝置連接至一般的個人計算機并用于使用鼠標編輯三維圖像或使用鍵盤將文字輸入至三維圖像。在該裝置中，當在三維圖像上存在諸如鼠標指針等的指示單元時，進行控制以根據(jù)三維圖像上放置指示單元的位置處的視差來顯示具有視差的指示單元，以提高三維圖像上的指示單元的可視性。在該相關(guān)背景技術(shù)中，當對利用三維拍攝照相機所拍攝的左右視頻圖像進行面部檢測時，面部框的大小和面部框相對于面部區(qū)域的相對位置在左右視頻圖像之間變化。這將參考圖22詳細說明。在圖22中，對三維拍攝照相機所拍攝的左右視頻圖像1901和1902進行面部檢測，并且根據(jù)面部檢測的結(jié)果以在各面部區(qū)域上疊加的方式顯示面部框1903 1908。由于分別對左右視頻圖像1901和1902進行面部檢測，因而各面部框的大小和面部框相對于相關(guān)聯(lián)的面部區(qū)域的相對位直在左視頻圖像1901和右視頻圖像1902之間變化。結(jié)果，在三維觀看時面部框看上去雙重模糊，或者導(dǎo)致面部和面部框之間的三維效果的差異，或者左右面部框?qū)ο嚓P(guān)聯(lián)的人物被攝體的移動跟隨的程度不同，這降低了三維圖像的可視性。日本特開2001-326947所公開的技術(shù)用于根據(jù)諸如鼠標指針等的指示單元的位置來調(diào)整指示單元的視差。因此，將鼠標指針的大小等設(shè)置為預(yù)定值，以使得不在左右圖像之間變化。關(guān)于左右圖像各自上的指針的移動，檢測鼠標操作，并且基于檢測的結(jié)果調(diào)整顯示位置和視差。因此，不能基于從經(jīng)由左右攝像系統(tǒng)各自輸入的視頻圖像所檢測到的信息而在適當?shù)奈恢萌S地顯示諸如面部框等的標記。

發(fā)明內(nèi)容
本發(fā)明提供一種能夠以疊加在三維視頻圖像上的方式適當?shù)仫@示面部框的圖像處理設(shè)備、控制圖像處理設(shè)備的方法和存儲介質(zhì)。在本發(fā)明的第一方面中，一種圖像處理設(shè)備，其包括顯示單元，所述圖像處理設(shè)備包括獲取單元，用于獲取通過拍攝被攝體而獲得的兩個視頻圖像；檢測單元，用于檢測所述獲取單元所獲取的兩個視頻圖像中的各視頻圖像內(nèi)的面部區(qū)域；面部區(qū)域設(shè)置單元，用于將所述檢測單元在所述兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的面部區(qū)域與所述檢測單元在所述兩個視頻圖像中的另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)，并且設(shè)置相關(guān)聯(lián)的面部區(qū)域顯示在所述顯示單元上的位置和大小，以使得所述相關(guān)聯(lián)的面部區(qū)域的位置和大小相互一致；面部區(qū)域相關(guān)信息生成單元，用于生成面部區(qū)域相關(guān)信息，所述面部區(qū)域相關(guān)信息包括所述顯示單元上要顯示表示所述面部區(qū)域設(shè)置單元所設(shè)置的面部區(qū)域的面部區(qū)域圖像的位置；面部區(qū)域圖像生成單元，用于根據(jù)所述面部區(qū)域相關(guān)信息生成單元所 生成的面部區(qū)域相關(guān)信息來生成所述面部區(qū)域圖像；以及輸出單元，用于分別將所述兩個視頻圖像與所述面部區(qū)域圖像生成單元所生成的面部區(qū)域圖像進行合成，并且將合成后的視頻圖像輸出至所述顯示單元。在本發(fā)明的第二方面中，一種控制圖像處理設(shè)備的方法，所述圖像處理設(shè)備包括顯示單元，所述方法包括獲取通過拍攝被攝體而獲得的兩個視頻圖像；檢測所獲取的兩個視頻圖像中的各視頻圖像內(nèi)的面部區(qū)域；將在所述兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的面部區(qū)域與在所述兩個視頻圖像中的另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)，并且設(shè)置相關(guān)聯(lián)的面部區(qū)域顯示在所述顯示單元上的位置和大小，以使得所述相關(guān)聯(lián)的面部區(qū)域的位置和大小相互一致；生成面部區(qū)域相關(guān)信息，所述面部區(qū)域相關(guān)信息包括所述顯示單元上要顯示表示所設(shè)置的面部區(qū)域的面部區(qū)域圖像的位置；根據(jù)所生成的面部區(qū)域相關(guān)信息來生成所述面部區(qū)域圖像；以及分別將所述兩個視頻圖像與所生成的面部區(qū)域圖像進行合成，并且將合成后的視頻圖像輸出至所述顯示單元。在本發(fā)明的第三方面中，一種非瞬態(tài)計算機可讀存儲介質(zhì)，其存儲用于執(zhí)行控制圖像處理設(shè)備的方法的程序，所述圖像處理設(shè)備包括顯示單元，其中，所述方法包括獲取通過拍攝被攝體而獲得的兩個視頻圖像；檢測所獲取的兩個視頻圖像中的各視頻圖像內(nèi)的面部區(qū)域；將在所述兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的面部區(qū)域與在所述兩個視頻圖像中的另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)，并且設(shè)置相關(guān)聯(lián)的面部區(qū)域顯示在所述顯示單元上的位置和大小，以使得所述面部區(qū)域的位置和大小相互一致；生成面部區(qū)域相關(guān)信息，所述面部區(qū)域相關(guān)信息包括所述顯示單元上要顯示表示所設(shè)置的面部區(qū)域的面部區(qū)域圖像的位置；根據(jù)所生成的面部區(qū)域相關(guān)信息來生成所述面部區(qū)域圖像；以及分別將所述兩個視頻圖像與所生成的面部區(qū)域圖像進行合成，并且將合成后的視頻圖像輸出至所述顯示單元。根據(jù)本發(fā)明，可以提供能夠以疊加在三維視頻圖像上的方式適當?shù)仫@示面部框的圖像處理設(shè)備。通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。


圖I是作為根據(jù)本發(fā)明第一實施例的圖像處理設(shè)備的三維攝像設(shè)備的示意框圖。圖2是圖I中出現(xiàn)的右眼觀看面部檢測部的示意框圖。圖3是示出圖I中的三維攝像設(shè)備的顯示面板上所顯示的視頻圖像的例子的圖。圖4是用于說明被攝體圖像之間的差的圖。圖5是投影面上所獲得的左視頻圖像和投影面上所獲得的右視頻圖像的圖。圖6是示出在左右視頻圖像之間切換的定時的圖。圖7是示出左右攝像光學(xué)系統(tǒng)正在拍攝人物被攝體的狀態(tài)的示意圖。
圖8A是各自包含兩個被攝體圖像的左右視頻圖像的示意圖。圖8B和8C是示出各自的相關(guān)值的圖。圖9是與各自的面部框合成后的左右視頻圖像的示意圖。圖10是在左右攝像光學(xué)系統(tǒng)正在拍攝被攝體時被攝體移動至箭頭所表示的位置的情況下所獲得的面部框的示意圖。圖11是示出根據(jù)被攝體的移動而移動被攝體圖像和面部框的狀態(tài)的示意圖。圖12是示出從面部區(qū)域的檢測至面部區(qū)域的顯示的處理的時序圖。圖13是圖I中出現(xiàn)的MPU所執(zhí)行的面部框繪制處理的流程圖。圖14是示出校正視差以使得三維視圖中的面部框看起來分別與由虛線表示的初始位置相比位于被攝體的更前面的位置處的典型情況的圖。圖15A、15B和15C是示出面部區(qū)域圖像的例子的圖，其中，圖15A示出使用箭頭GUI組件的典型情況，圖15B示出使用各自具有部分開口的矩形形狀的GUI組件的典型情況，以及圖15C示出使用符號A和B識別由各面部框所表示的人物的典型情況。圖16是作為根據(jù)本發(fā)明第二實施例的圖像處理設(shè)備的三維攝像設(shè)備的示意框圖。圖17是圖16中出現(xiàn)的防振處理部的示意框圖。圖18A是分別由右眼觀看面部檢測部和左眼觀看面部檢測部檢測到的各被攝體圖像的面部區(qū)域的示意圖。圖18B和18C是示出各自的相關(guān)值的圖。圖19是要輸出至顯示面板的左右視頻圖像和面部框的示意圖。圖20是示出根據(jù)被攝體的移動來移動被攝體圖像和面部框的狀態(tài)的示意圖。圖21A是示出面部框的移動量和動畫繪制所需的移動量之間的關(guān)系的圖。圖21B是示出針對移動量的插值所生成的圖形線的圖。圖22是用于說明各面部框相對于其它面部框的位置的變化的圖。
具體實施例方式以下將參考示出本發(fā)明實施例的附圖詳細說明本發(fā)明。注意，在本實施例中，將本發(fā)明的圖像處理設(shè)備應(yīng)用至三維攝像設(shè)備。圖I是作為根據(jù)本發(fā)明第一實施例的圖像處理設(shè)備的、由附圖標記10表示的三維攝像設(shè)備的示意框圖。
參考圖1，右眼觀看光學(xué)系統(tǒng)(光學(xué)系統(tǒng)R)101和左眼觀看光學(xué)系統(tǒng)(光學(xué)系統(tǒng)L) 104均包括具有變焦透鏡的鏡頭。右眼觀看攝像部(攝像部R) 102和左眼觀看攝像部(攝像部L) 105均包括諸如CMOS傳感器或CCD傳感器等的攝像裝置和模擬數(shù)字轉(zhuǎn)換器，攝像裝置用于拍攝來自相關(guān)聯(lián)的透過右眼觀看光學(xué)系統(tǒng)101和左眼觀看光學(xué)系統(tǒng)104的光的圖像。右眼觀看信號處理器(信號處理器R) 103和左眼觀看信號處理器(信號處理器L) 106各自進行包括對從相關(guān)聯(lián)的右眼觀看攝像部102和左眼觀看攝像部105輸出的信號進行轉(zhuǎn)換的處理。存儲器107存儲視頻數(shù)據(jù)、編碼數(shù)據(jù)和控制數(shù)據(jù)等。在以下說明中，還將右眼觀看光學(xué)系統(tǒng)101、右眼觀看攝像部102和右眼觀看信號處理器103總稱為右眼觀看攝像光學(xué)系統(tǒng)(攝像光學(xué)系統(tǒng)R) 130。同樣，還將左眼觀看光學(xué)系統(tǒng)104、左眼觀看攝像部105和左眼觀看信號處理器106總稱為左眼觀看攝像光學(xué)系統(tǒng)(攝像光學(xué)系統(tǒng)L) 131。這些攝像光學(xué)系統(tǒng)130和131與用于獲取通過拍攝被攝體所產(chǎn)生的兩個視頻圖像的獲取單元相對應(yīng)。右眼觀看面部檢測部(面部檢測部R) 108和左眼觀看面部檢測部(面部檢測部L) 109與用于檢測通過攝像光學(xué)系統(tǒng)130和131所產(chǎn)生的兩個視頻圖像各自的面部區(qū)域的檢測單元相對應(yīng)。
視差信息檢測部110基于從右眼觀看面部檢測部108和左眼觀看面部檢測部109各自獲取的面部區(qū)域信息來檢測視差信息，從而關(guān)聯(lián)從兩個視頻圖像各自檢測到的面部區(qū)域。視差信息檢測部110與面部區(qū)域設(shè)置單元相對應(yīng)，面部區(qū)域設(shè)置單元用于將由右眼觀看面部檢測部108和左眼觀看面部檢測部109中的一個在兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的面部區(qū)域與由面部檢測部R108和L109中的另一個在另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)，并使得用于在顯示面板114上顯示的相關(guān)聯(lián)的面部區(qū)域各自的位置和大小相互一致。面部框控制部111基于來自相關(guān)聯(lián)的右眼觀看面部檢測部108和左眼觀看面部檢測部109的面部區(qū)域信息和視差信息檢測部110所檢測到的視差信息來控制各面部框的顯示位置和大小以及面部框的移動。面部框控制部111與面部區(qū)域相關(guān)信息生成單元相對應(yīng)，面部區(qū)域相關(guān)信息生成單元用于生成包括顯示面板114上的如下位置的面部區(qū)域相關(guān)信息，其中，在該位置處，根據(jù)基于視差信息檢測部110所檢測到的視差信息而設(shè)置的面部區(qū)域，顯示表示該面部區(qū)域的面部區(qū)域圖像。圖形處理器112生成要疊加在所拍攝圖像上的諸如圖標和字符串等的⑶I組件。此外，圖形處理器112基于來自面部框控制部111的信息來生成面部框⑶I組件，并在存儲器107的預(yù)定區(qū)域中繪制GUI組件。圖形處理器112與用于根據(jù)面部區(qū)域相關(guān)信息生成面部區(qū)域圖像(例如，諸如圖標和字符串等的⑶I組件)的面部區(qū)域圖像生成單元相對應(yīng)。視頻信號處理器113將經(jīng)由右眼觀看光學(xué)系統(tǒng)101和左眼觀看光學(xué)系統(tǒng)104所拍攝的視頻數(shù)據(jù)和圖形處理器112所繪制的⑶I組件進行合成，然后，將合成后的圖像輸出至顯示面板114。視頻信號處理器113與用于將兩個視頻圖像和面部區(qū)域圖像進行合成并且將表示所產(chǎn)生的合成圖像的各視頻信號輸出至顯示面板114的輸出單元相對應(yīng)。顯示面板114(顯示單元)基于從視頻信號處理器113輸出的視頻信號來顯示合成后的視頻圖像?？梢岳缤ㄟ^液晶面板或有機EL(電致發(fā)光)面板來實現(xiàn)顯示面板114。以下將說明三維視頻圖像的顯示。編碼部115對存儲在存儲器107中的、針對后述的一對左右液晶快門眼鏡120的左右視點的左右眼視頻數(shù)據(jù)進行壓縮編碼，并將壓縮編碼后的數(shù)據(jù)存儲在存儲器107中。此外，在再現(xiàn)的情況下，編碼部115對從存儲介質(zhì)117讀出并存儲在存儲器107中的壓縮編碼后的數(shù)據(jù)進行解碼，然后，將解碼后的數(shù)據(jù)存儲在存儲器107中。記錄和再現(xiàn)部116將存儲器107中存儲的編碼數(shù)據(jù)寫入存儲介質(zhì)117中，此外，記錄和再現(xiàn)部116讀出存儲介質(zhì)117中記錄的數(shù)據(jù)。作為存儲介質(zhì)117，可以使用諸如閃速存儲器或SD卡等的半導(dǎo)體存儲器、諸如DVD或BD等的光盤、或硬盤等?？刂婆_部118檢測諸如按鈕和開關(guān)等的操作構(gòu)件的操作狀態(tài)。此外，當顯示面板114上覆蓋有觸摸面板時，控制臺部118檢測手指或筆在觸摸面板上的觸摸操作或移動。MPU(微處理器)119能夠經(jīng)由未示出的控制總線控制各種處理塊。此外，MPU 119進行各種計算處理等來控制設(shè)備的整體操作。
外部連接接口 121連接至視頻信號處理器113并且在本實施例中將預(yù)定同步信號等輸出至用于三維顯示的液晶快門眼鏡120。左右液晶快門眼鏡120被配置為可以根據(jù)預(yù)定同步信號使得各液晶快門交替打開和關(guān)閉，從而使得用戶能夠在拍攝或再現(xiàn)期間觀看三維視頻圖像。圖2是圖I中出現(xiàn)的右眼觀看面部檢測部108的示意框圖。將拍攝視頻圖像臨時存儲在存儲器107中。右眼觀看面部檢測部108的特征點提取部202接收右眼觀看用的右拍攝視頻圖像并檢測特征點。特征點包括視頻邊緣信息、顏色信息和輪廓信息。所提取的特征點的特征數(shù)據(jù)被傳送至面部區(qū)域判斷部203并對其進行預(yù)定處理，從而判斷面部區(qū)域。可以使用各種已知的技術(shù)來進行面部區(qū)域的判斷。例如，一種可用方法是基于邊緣信息提取作為面部的組成要素的眼部、鼻部和嘴部的區(qū)域，并且在區(qū)域之間的相對位置滿足預(yù)定關(guān)系時，將包含各組成要素的區(qū)域的較大區(qū)域判斷為面部區(qū)域。另一可用方法是當作為膚色區(qū)域而被提取的區(qū)域的形狀和大小落入匹配人物被攝體的范圍內(nèi)時，將該膚色區(qū)域判斷為面部區(qū)域。面部位置和大小生成部204根據(jù)從面部區(qū)域判斷部203輸出的數(shù)據(jù)來生成與面部區(qū)域的中心位置和二維大小有關(guān)的信息。將所生成的數(shù)據(jù)輸出至視差信息檢測部110。左眼觀看面部檢測部109除了使用左眼觀看用的左拍攝視頻圖像以外，進行與右眼觀看面部檢測部108相同的處理，因此省略其說明。圖3是示出圖I中的三維攝像設(shè)備10的顯示面板114上所顯示的視頻圖像的例子的圖。在圖3中，通過線纜將左右液晶快門眼鏡120連接至三維攝像設(shè)備10。顯示面板114由液晶面板形成，并顯示正在拍攝的視頻圖像。假定在不戴液晶快門眼鏡120的情況下觀看針對三維觀看所拍攝的視頻圖像，將通過左右攝像光學(xué)系統(tǒng)分別獲得的被攝體圖像150和151顯示為重像，其中，被攝體圖像150和151相互移位。圖4是用于說明被攝體圖像之間的移位的圖。在圖4中，當利用左右攝像光學(xué)系統(tǒng)130和131拍攝被攝體132時，投影在投影面133和134上的被攝體圖像在投影面上的位置不同，這導(dǎo)致了被攝體圖像之間的移位。
圖5是經(jīng)由投影面133獲得的左視頻圖像和經(jīng)由投影面134獲得的右視頻圖像的圖。在圖5中，被攝體圖像135和136是被攝體132的視頻圖像。如圖5所示，在各自不同的位置顯示被攝體圖像135和136。當根據(jù)垂直同步信號在顯示面板114上交替顯示這兩個視頻圖像并在不使用液晶快門眼鏡的情況下觀看時，如圖3所示，被攝體132被觀看
為重像。將如圖5所示左右視頻圖像之間的被攝體圖像的位置的水平移位稱為視差。視差隨著從攝像光學(xué)系統(tǒng)至被攝體的距離的改變而改變。圖6是示出用于在左右視頻圖像之間切換的定時的圖。在三維顯示時，如圖6所示以例如左I、右I、左2、右2的序列在左右視頻圖像之間 切換的同時交替顯示所拍攝的左右視頻圖像。通過圖I中出現(xiàn)的視頻信號處理器113來進行該處理。根據(jù)垂直同步信號來進行顯示切換。與視頻信號之間的切換同步地經(jīng)由外部連接接口 121輸出同步信號。液晶快門眼鏡120根據(jù)如圖6所示的同步信號打開和關(guān)閉左快門和右快門。結(jié)果，在左I的視頻圖像的顯示期間僅打開左快門，并且因此僅投向左眼投影圖像。另一方面，在右I的視頻圖像的顯示期間僅打開右快門，并且因此僅投向右眼投影圖像。通過重復(fù)和交替進行這些操作，拍攝者可以將正在拍攝的視頻圖像觀看為三維圖像。圖7是示出正在利用左右攝像光學(xué)系統(tǒng)拍攝人物被攝體300和301的狀態(tài)的示意圖。圖8A示出各自包含兩個被攝體圖像的左右視頻圖像，以及圖8B和8C示出各自的
相關(guān)值。將通過拍攝圖7中出現(xiàn)的被攝體300和301所拍攝的左右圖像分別顯示為圖8A所示的左右視頻圖像。將利用右眼觀看面部檢測部108以及左眼觀看面部檢測部109各自檢測到的被攝體圖像302和303以及306和307的面部區(qū)域分別顯示為矩形面部區(qū)域304和305以及308和309。視差信息檢測部110使用從右眼觀看面部檢測部108和左眼觀看面部檢測部109獲取的面部區(qū)域信息和拍攝圖像數(shù)據(jù)將左視頻圖像的面部區(qū)域和右視頻圖像的面部區(qū)域相關(guān)聯(lián)并檢測左面部區(qū)域和右面部區(qū)域之間的視差。首先，使用與在左視頻圖像內(nèi)檢測到的面部區(qū)域304和305有關(guān)的信息，從存儲器107中存儲的拍攝視頻圖像獲得參考圖像。使用面部區(qū)域304獲得圖SB中出現(xiàn)的參考圖像310。使用面部區(qū)域305獲得圖8C中出現(xiàn)的參考圖像311。設(shè)置搜索區(qū)域以從圖8A的右視頻圖像檢測與參考圖像310相對應(yīng)的面部區(qū)域。在本示例中，沿著穿過矩形面部區(qū)域304的垂直中心的掃描線320進行搜索處理。因此，沿著右視頻圖像上的掃描線320水平移動參考圖像310的垂直中心，從而確定參考圖像310和右視頻圖像之間在各預(yù)定采樣點處的相關(guān)值。使用已知的技術(shù)計算相關(guān)值。例如，面部區(qū)域304的圖像以重疊方式放置在右視頻圖像上，并且確定面部區(qū)域304的各像素的值和右視頻圖像的在位置上與面部區(qū)域304的像素相對應(yīng)的像素的值之間的差。每當沿著掃描線320移動面部區(qū)域304時計算像素值的差的總和。進行像素差計算的兩個圖像越相似，這兩個圖像之間的像素值的差的總和越小。因此，可以使用差的總和的倒數(shù)作為相關(guān)值。
圖8B不出參考圖像310和右視頻圖像之間的相關(guān)值。在圖8B中，相關(guān)值越大,表示相似度越高。相似度在參考圖像310處于峰值位置312時最高，因此，在峰值位置312處，圖8A中的面部區(qū)域308與面部區(qū)域304相關(guān)聯(lián)。同樣，圖SC示出使用從面部區(qū)域305獲得的參考圖像311沿著掃描線321進行搜索處理時獲得的相關(guān)值。該相關(guān)值在參考圖像311處于峰值位置313時最高，因此，在峰值位置313處，面部區(qū)域305與面部區(qū)域309相關(guān)聯(lián)。注意，針對各峰值位置處的相關(guān)值設(shè)置圖8B和8C中出現(xiàn)的閾值350，以評價兩個面部區(qū)域之間的關(guān)聯(lián)的可靠性。左右視頻圖像各自的兩個面部區(qū)域僅當在峰值位置處的相關(guān)值不小于所設(shè)置的閾值時相互關(guān)聯(lián)，而當峰值小于閾值時不關(guān)聯(lián)。不相互關(guān)聯(lián)的面部區(qū)域不需要在其上疊加面部框，因此，不對該面部區(qū)域進行下述的處理。這防止將面部框疊加在例如左右視頻圖像中的僅一個視頻圖像的所拍攝的被攝體的面部上。如上所述，當最大相關(guān)值小于預(yù)定閾值時，圖形處理器112不生成面部區(qū)域圖像。
盡管在圖SB和SC中，沿著右視頻圖像的預(yù)定掃描線進行用于獲得水平方向上的一行的相關(guān)值的處理，但可以僅在右視頻圖像內(nèi)所檢測到的面部區(qū)域308或309的附近獲得相關(guān)值以縮短處理時間。此外，盡管在本示例中，基于與左視頻圖像內(nèi)的面部區(qū)域有關(guān)的信息生成參考圖像，但可以從右視頻圖像生成參考圖像。通過執(zhí)行上述處理序列，可以關(guān)聯(lián)面部區(qū)域。基于與相關(guān)聯(lián)的面部區(qū)域有關(guān)的信息來調(diào)整用于面部框的疊加的視差。在本示例中，使用獲得相關(guān)值的峰值(最大相關(guān)值)的位置來設(shè)置面部框之間的視差。更具體地，在左視頻圖像內(nèi)，將面部區(qū)域304和305各自的水平和垂直中心位置設(shè)置作為各面部框的中心。設(shè)置右視頻圖像內(nèi)的面部區(qū)域308的面部框以使得該面部框的水平中心與圖8B中的峰值位置312相對應(yīng)，并且該面部框的垂直中心與掃描線320相對應(yīng)。對于面部區(qū)域309，設(shè)置其面部框以使得該面部框的水平中心與圖SC中的峰值位置313相對應(yīng)并且該面部框的垂直中心與掃描線321相對應(yīng)。由此，視差信息檢測部110生成表示在兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的面部區(qū)域的圖像作為參考圖像，然后，基于另一個視頻圖像的與該參考圖像的相關(guān)值最高的區(qū)域，將在該另一個視頻圖像內(nèi)檢測到的面部區(qū)域與在該一個視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)。將兩個面部區(qū)域的大小進行相互比較，并將面部框的大小設(shè)置為較大面部區(qū)域的大小。因此,在圖8A中的面部區(qū)域304和面部區(qū)域308之間,將較大的面部區(qū)域308的大小設(shè)置作為面部框大小。此外，在面部區(qū)域305和面部區(qū)域309之間，將較大的面部區(qū)域305的大小設(shè)置作為面部框大小。通過將面部區(qū)域的寬度和高度相乘來計算各面部區(qū)域的面積以進行各面部區(qū)域的大小之間的比較，并且將具有較大面積的一個面部區(qū)域的寬度和高度選擇作為面部框的大小。盡管在本示例中，在相關(guān)聯(lián)的各面部區(qū)域的面積之間進行比較，但可以分別對相關(guān)聯(lián)的面部區(qū)域的寬度和高度進行比較，并且可以選擇具有最大寬度值和高度值的面部區(qū)域的寬度和高度。如上所述，視差信息檢測部110使得面部框的大小與相關(guān)聯(lián)的面部區(qū)域中面積較大的面部區(qū)域的大小相等。
視差信息檢測部110通過上述處理生成與相互關(guān)聯(lián)的一對面部區(qū)域以及要對各面部區(qū)域設(shè)置的面部框的位置和大小有關(guān)的信息(面部區(qū)域相關(guān)信息)，并將該信息輸出至面部框控制部111。面部框控制部111將與要繪制的面部框的坐標、面部框的顏色和面部框的形狀有關(guān)的信息在預(yù)定時刻輸出至圖形處理器112。圖形處理器112基于所獲取的信息生成面部框⑶I組件，并在存儲器107的預(yù)定區(qū)域中將面部框⑶I組件的圖像形成為OSD (在屏顯示)中貞。視頻信號處理器113從存儲器107讀出左右視頻圖像和如上形成的包括面部框的左右OSD幀，并將OSD幀中各幀和相關(guān)聯(lián)的視頻圖像進行合成，并將合成后的左右視頻圖像輸出至顯示面板114。圖9是與各自的面部框合成后的左右視頻圖像的示意圖。 將面部框330、331、332和333分別疊加在被攝體圖像302、303、306和307上。通過上述處理調(diào)整針對相關(guān)聯(lián)的面部區(qū)域的面部框之間的視差，并以相同的大小繪制面部框。圖10是在當左右攝像光學(xué)系統(tǒng)正在拍攝被攝體501時被攝體501移動至箭頭所表示的位置的情況下所獲得的面部框的示意圖。在圖10中，基于面部框的視差將面部框502和503虛擬地設(shè)置在被攝體空間中。可以根據(jù)被攝體的移動來調(diào)整面部框的視差，從而實現(xiàn)面部框的三維效果和被攝體的三維效果之間的一致。圖11是示出根據(jù)被攝體的移動來移動被攝體圖像和面部框的狀態(tài)的示意圖。隨著被攝體移動，左視頻圖像內(nèi)的被攝體圖像507移動至被攝體圖像506的位置，并且根據(jù)被攝體圖像的移動，面部框505也移動至面部框504的位置。同樣，在右視頻圖像內(nèi)，被攝體圖像511移動至被攝體圖像510的位置，面部框509移動至面部框508的位置。圖12是示出從面部區(qū)域的檢測至面部區(qū)域的顯示的處理的時序圖。圖13是圖I中出現(xiàn)的MPU 119所執(zhí)行的面部框繪制處理的流程圖。將參考圖12和13說明用于根據(jù)面部框的移動而更新面部框的定時。首先，參考圖12，由各虛線表示的時間點TfTll與垂直同步信號的定時相對應(yīng)。此外面部檢測L”示出左眼觀看面部檢測部109的狀態(tài)，以及“面部檢測R”示出右眼觀看面部檢測部108的狀態(tài)?！耙暡顧z測/面部框控制”示出視差信息檢測部110和面部框控制部111的控制?！皥D形處理”示出圖形處理器112的控制?！耙曨l信號處理”示出視頻信號處理器113的控制。左眼觀看面部檢測部109和右眼觀看面部檢測部108各自可以在任意時刻開始面部檢測，但在圖12中，假定例如在時刻Tl同時開始左右面部檢測。因此，在圖13中，左眼觀看面部檢測部109和右眼觀看面部檢測部108各自進行操作以開始面部區(qū)域更新(步驟S701)，然后，等待更新處理的完成(步驟S702)。然而，左右視頻圖像不相同，因此，在左右視頻圖像內(nèi)檢測面部所耗費的時間通常不同。再次參考圖12，左眼觀看面部檢測部109 (“面部檢測L”)在時刻T3和T4之間完成處理，然后設(shè)置面部區(qū)域信息。另一方面，右眼觀看面部檢測部108 ( “面部檢測R”)在時刻T2和T3之間完成處理，然后設(shè)置面部區(qū)域信息。在步驟S702中，檢測是否更新了面部區(qū)域，并且當在圖12的時刻T41獲得左右面部檢測的結(jié)果時，判斷為更新了面部區(qū)域(步驟S702中為“是”)。然后，視差信息檢測部110獲取左右面部區(qū)域各自的中心坐標和大小(步驟S703)。
此后，視差信息檢測部110參考左視頻圖像內(nèi)的面部區(qū)域而生成參考圖像(步驟S704)，并開始視差檢測(步驟S705)。當在圖12的時刻T61完成視差檢測時，判斷為完成了視差檢測(步驟S705中為“是”)，并且處理進入步驟S706。面部控制部111基于視差信息來調(diào)整左面部框信息和右面部框信息(步驟S706)。在圖12中，在時刻T81在圖形處理器112中設(shè)置面部框信息，從而開始左右面部框的繪制(步驟S707)。然后，等待面部框的繪制的完成(步驟S708)。當面部框的繪制完成時(步驟S708中為“是”)，如圖12所示，在時刻T91，視頻信號處理器113讀出所繪制的面部框的數(shù)據(jù)，并且設(shè)置適用于顯示面板114的輸出(步驟S709)。因此，在時刻T10，更新并顯示顯示面板114上的面部框。即，將到目前為止所顯示的顯示I的畫面更新至面部框移動了的顯示2的畫面。重復(fù)執(zhí)行上述處理序列，從而進行面部框的移動。如圖12所示，在同一垂直同步信號的同一時刻移動左右面部框，這防止分別移動左右面部框。 圖14是示出校正視差以使得三維視圖內(nèi)的面部框404和405看起來分別與由虛線表示的初始位置相比位于被攝體400和401的更前面的位置處的典型情況的圖。如圖14所示，可以進行面部框的視差的偏移量調(diào)整以使得可以三維觀看到面部框404和405在各被攝體400和401的前方，從而使得面部框404和405在三維觀看時清晰可見。由此，面部區(qū)域圖像可以在顯示面板114上顯示在表示與面部區(qū)域圖像相關(guān)聯(lián)的面部的圖像前方。結(jié)果，可以如同被攝體的面部在畫框中一樣三維地觀看面部。因此，即使發(fā)生檢測誤差等，也可以防止面部看上去如同從面部框向前投影一樣從而導(dǎo)致拍攝者感覺不自然。盡管在本實施例中，由矩形框包圍面部區(qū)域，但也可以使用其它⑶I組件來顯示面部區(qū)域。圖15A、15B和15C是示出面部區(qū)域圖像的例子的圖。圖15A示出使用箭頭⑶I組件的典型情況。圖15B示出使用具有部分開口的矩形形狀的⑶I組件的典型情況。圖15C示出使用符號A和B來識別由各面部框所表示的人物的典型情況。參考圖15A，使用顏色不同的箭頭以將相互關(guān)聯(lián)的人物面部與其它相互關(guān)聯(lián)的人物面部相區(qū)別。在圖15C的情況下，當設(shè)備附加設(shè)置了人物識別功能時，不僅可以顯示面部框，還可以顯示所登記的人物的名字等來代替符號A。面部區(qū)域可以由任意其它方法表示，只要可以識別面部區(qū)域即可。由此，圖形處理器112可以被配置為生成表示相互關(guān)聯(lián)的面部區(qū)域的面部區(qū)域圖像作為與相關(guān)聯(lián)的面部區(qū)域唯一相對應(yīng)的同一面部區(qū)域圖像。圖16是作為根據(jù)本發(fā)明第二實施例的圖像處理設(shè)備的三維攝像設(shè)備20的示意框圖。三維攝像設(shè)備20與根據(jù)第一實施例的三維攝像設(shè)備10的區(qū)別在于用于將左右面部區(qū)域相關(guān)聯(lián)并檢測面部框的視差的視差信息檢測部180和用于進行面部框控制的面部框控制部181。此外，三維攝像設(shè)備20設(shè)置有用于處理在三維拍攝期間發(fā)生的振動的防振處理部182。圖17是圖16中出現(xiàn)的防振處理部182的示意框圖。在圖17中，運動檢測部240從存儲器107接收作為以幀為單位的幀圖像的拍攝視頻圖像。在運動檢測部240中，在連續(xù)的幀之間檢測運動矢量，并計算水平和垂直方向上各自的運動量。檢測運動矢量的方法可以使用已知的技術(shù)。剪切位置生成部241根據(jù)運動檢測部240所檢測到的運動量來生成用于從原始圖像幀剪切預(yù)定區(qū)域的信息。例如，生成與剪切開始點的坐標有關(guān)的信息以及寬度和高度的信息。視頻圖像剪切部242使用剪切位置生成部241所生成的剪切位置信息來從存儲器107中的圖像幀剪切預(yù)定區(qū)域，并將所剪切出的區(qū)域存儲在存儲器107中。盡管在本示例中，存儲器107中存儲的視頻圖像被電子地剪切并進行防振處理，但應(yīng)當理解為，可以在光學(xué)系統(tǒng)中例如利用鏡頭移動來進行防振的校正。由此，從通過拍攝被攝體所獲得的兩個視頻圖像消除了由于振動所弓I起的模糊。在本實施例的三維攝像設(shè)備20中，可以例如利用控制臺部118的按鈕或開關(guān)來使得防振處理操作有效或無效。當使得防振處理操作有效時，對所拍攝的左右視頻圖像進行 上述防振處理，然后，執(zhí)行在面部檢測之后的用于面部框顯示的處理。圖18A是分別由右眼觀看面部檢測部108和左眼觀看面部檢測部109檢測到的被攝體圖像803和805的面部區(qū)域的示意圖。圖18B和18C示出各自的相關(guān)值。在圖18A中，基于左視頻圖像內(nèi)的面部檢測結(jié)果所獲得的面部區(qū)域802處于從被攝體圖像803移位的狀態(tài)。圖18B示出通過在從左視頻圖像內(nèi)的面部區(qū)域802生成的參考圖像806和右視頻圖像之間沿著掃描線801進行相關(guān)運算而獲得的結(jié)果。如圖18B所示，在峰值位置807處獲得相關(guān)值的峰值808。然而，在參考圖像806中，被攝體的面部由于面部區(qū)域檢測誤差而部分丟失。為此，峰值位置807從右視頻圖像的被攝體圖像805的中心輕微向左偏離。因此，當基于峰值位置807來設(shè)置面部框時，在從被攝體圖像805偏離的位置處繪制面部框。這樣做是因為基于左視頻圖像內(nèi)的面部區(qū)域進行關(guān)聯(lián)處理和視差調(diào)整。在第二實施例中，如圖18C所示，使用基于右視頻圖像內(nèi)的面部區(qū)域804獲得的參考圖像809來確定與左視頻圖像的相關(guān)值。結(jié)果，在峰值位置810處檢測到相關(guān)值的峰值811。將由此檢測到的兩個峰值808和811相互進行比較，并且選擇給出較高的相關(guān)值的峰值的參考圖像。在本示例中，由于峰值811的相關(guān)值較高，因而參考面部區(qū)域804設(shè)置面部框，其中，從面部區(qū)域804生成參考圖像809。結(jié)果，在視差信息檢測部180中，將面部區(qū)域804的水平和垂直中心設(shè)置作為被攝體圖像805的面部框的中心。此外，將左右面部區(qū)域802和804中較大的面部區(qū)域的大小設(shè)置作為面部框的大小。在左視頻圖像內(nèi)，對于與被攝體圖像805相關(guān)聯(lián)的被攝體圖像803，將面部框的中心的水平坐標設(shè)置為峰值位置810的水平坐標，并將面部框的中心的垂直坐標設(shè)置為掃描線801的垂直坐標。如上所述，視差信息檢測部180將在兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的表示面部區(qū)域的圖像設(shè)置作為第一參考圖像(本示例中的參考圖像809)，并在另一視頻圖像內(nèi)搜索與第一參考圖像的相關(guān)值最高的區(qū)域。此外，視差信息檢測部180將在另一視頻圖像內(nèi)檢測到的表示面部區(qū)域的圖像設(shè)置作為第二參考圖像(本示例中的參考圖像806)，并在該一個視頻圖像內(nèi)搜索與第二參考圖像的相關(guān)值最高的區(qū)域。此后，通過使用作為第一參考圖像和第二參考圖像的搜索的結(jié)果而獲得最高相關(guān)值的區(qū)域，視差信息檢測部180將一個視頻圖像內(nèi)檢測到的面部區(qū)域和另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)。圖19是輸出至顯示面板114的左右視頻圖像和面部框的示意圖。圖19示出通過參考圖18A 18C所述的處理，將具有適當大小的面部框820和821在各自適當?shù)奈恢锰幆B加在左右被攝體圖像803和805上。圖20示意性示出以下狀態(tài)當被攝體移動時，左視頻圖像內(nèi)的被攝體圖像906移動至被攝體圖像905的位置，并且因此面部框902移動至面部框901的位置，以及右視頻圖像內(nèi)的被攝體圖像908移動至被攝體圖像907的位置，并且因此面部框904移動至面部框903的位置。將參考圖20說明面部框控制部111的操作。
在圖20中，將左視頻圖像內(nèi)面部框的移動量表示為移動量A，以及將右視頻圖像內(nèi)面部框的移動量表示為移動量B。如圖20所示，左右面部框各自的移動量根據(jù)被攝體的位置和至被攝體的距離而改變。當移動量大時，以閃爍方式繪制面部框，這使得在三維顯示時難以觀看面部框。為了解決這個問題，在本實施例中，在移動左右面部框的情況下，根據(jù)左右面部框各自的移動量以預(yù)定時間間隔進行動畫繪制，以實現(xiàn)平滑的面部框移動。在移動面部框時進行動畫繪制的意思是，例如當將面部框的中心位置從第一位置改變?yōu)榈诙恢脮r，不是通過一次移動而是通過逐步的移動將面部框的顯示的位置從第一位置改變?yōu)榈诙恢?。圖21A是示出面部框的移動量和動畫繪制所需的移動量之間的關(guān)系的圖，以及圖21B是示出移動量的插值所生成的圖形線的圖。面部框控制部111基于當前的面部框坐標和下次要更新的面部框坐標來計算參考圖20說明的移動量A和B。然后，面部框控制部111在移動量A和移動量B之間進行比較，并基于移動量A和B中的較大者、參考圖21A的表來設(shè)置移動時間段。例如，在移動量A等于20并且移動量B等于10的情況下，基于移動量A從圖21A的表中選擇移動時間段5T。在圖21A中，符號T表不與例如被傳送至顯不面板的垂直同步信號的間隔相對應(yīng)的更新間隔。結(jié)果，面部框控制部111進行控制以使得在5T的時間間隔內(nèi)分別移動左右面部框。在本示例中，進行控制以使得面部框控制部111插值出并設(shè)置與如圖21B所示的各更新間隔T相對應(yīng)的左右面部框各自的移動量。對于面部框904，生成在與5T的更新間隔相對應(yīng)的時間段內(nèi)達到移動量B的線B，并且使用線B來插值出與各更新間隔T相對應(yīng)的移動量。另一方面，對于面部框902，生成在與5T的更新間隔相對應(yīng)的時間段內(nèi)達到移動量A的線A，并且使用線A來插值出與各更新間隔T相對應(yīng)的移動量。面部框控制部111通過使用針對相關(guān)聯(lián)的面部框904和902設(shè)置的與各更新間隔T相對應(yīng)的移動量，在更新中心坐標的同時將與左右面部框904和902各自的中心坐標有關(guān)的信息輸出至圖形處理器112。圖形處理器112基于左右面部框各自的中心坐標和大小在存儲器107的OSD幀中繪制面部框。盡管在本示例中，垂直同步信號用于設(shè)置更新間隔，但可以使用以預(yù)定時間間隔而操作的計數(shù)器等。例如，可以使用例如以預(yù)定時間間隔而操作的振蕩器或軟件計時器來設(shè)置更新間隔。此外，更新間隔可以變化，只要其精度在能夠?qū)崿F(xiàn)動畫中面部框移動的平滑感的范圍內(nèi)即可。通過上述處理，相互關(guān)聯(lián)的左右面部框相互同步地進行平滑轉(zhuǎn)變，因此可以提供在三維觀看時清晰可見的顯示畫面。如上所述，面部框控制部181能夠以預(yù)定定時(B卩，根據(jù)垂直同步信號)更新各面部區(qū)域的位置并計算所檢測到的各面部區(qū)域的移動量。面部框控制部111根據(jù)所計算得到的移動量在移動前的位置和移動后的位置之間插值出顯示面部區(qū)域圖像的位置，并以預(yù)定定時將面部區(qū)域的位置更新至插值所得到的位置。還可以利用讀出并執(zhí)行記錄在存儲器裝置上的程序以進行上述實施例的功能的系統(tǒng)或設(shè)備的計算機(或者CPU或MPU等裝置)和通過下面的方法實現(xiàn)本發(fā)明的方面，其中，利用系統(tǒng)或設(shè)備的計算機通過例如讀出并執(zhí)行記錄在存儲器裝置上的程序以進行上述實施例的功能來進行上述方法的步驟。為此，例如，通過網(wǎng)絡(luò)或者通過用作存儲器裝置的各種類型的記錄介質(zhì)(例如，計算機可讀介質(zhì))將該程序提供給計算機。 盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功倉泛。本申請要求于2011年5月11日提交的日本專利申請2011-106212的優(yōu)先權(quán)，其全部內(nèi)容通過引用包含于此。
權(quán)利要求
1.一種圖像處理設(shè)備，其包括顯示單元，所述圖像處理設(shè)備包括 獲取單元，用于獲取通過拍攝被攝體而獲得的兩個視頻圖像； 檢測單元，用于檢測所述獲取單元所獲取的兩個視頻圖像中的各視頻圖像內(nèi)的面部區(qū)域； 面部區(qū)域設(shè)置單元，用于將所述檢測單元在所述兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的面部區(qū)域與所述檢測單元在所述兩個視頻圖像中的另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)，并且設(shè)置相關(guān)聯(lián)的面部區(qū)域顯示在所述顯示單元上的位置和大小，以使得所述相關(guān)聯(lián)的面部區(qū)域的位置和大小相互一致； 面部區(qū)域相關(guān)信息生成單元，用于生成面部區(qū)域相關(guān)信息，所述面部區(qū)域相關(guān)信息包括所述顯示單元上要顯示表示所述面部區(qū)域設(shè)置單元所設(shè)置的面部區(qū)域的面部區(qū)域圖像的位置； 面部區(qū)域圖像生成單元，用于根據(jù)所述面部區(qū)域相關(guān)信息生成單元所生成的面部區(qū)域相關(guān)信息來生成所述面部區(qū)域圖像；以及 輸出單元，用于分別將所述兩個視頻圖像與所述面部區(qū)域圖像生成單元所生成的面部區(qū)域圖像進行合成，并且將合成后的視頻圖像輸出至所述顯示單元。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述面部區(qū)域圖像生成單元生成各自表示相關(guān)聯(lián)的面部區(qū)域的面部區(qū)域圖像，其中針對相關(guān)聯(lián)的面部區(qū)域中的每個面部區(qū)域的面部區(qū)域圖像為同一面部區(qū)域圖像。
3.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述面部區(qū)域相關(guān)信息生成單元以預(yù)定定時更新各面部區(qū)域的位置，并且能夠計算所述檢測單元所檢測到的各面部區(qū)域的移動量，以及所述面部區(qū)域相關(guān)信息生成單元根據(jù)所計算出的移動量在移動前的位置和移動后的位置之間插值出用于顯示面部區(qū)域圖像的位置，并且以所述預(yù)定定時將面部區(qū)域的位置更新為所插值出的位置。
4.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述面部區(qū)域設(shè)置單元將表示所述檢測單元在所述一個視頻圖像內(nèi)檢測到的面部區(qū)域的面部區(qū)域圖像設(shè)置作為參考圖像，并且通過使用所述另一視頻圖像內(nèi)與所述參考圖像的相關(guān)值最高的區(qū)域，將在所述一個視頻圖像內(nèi)檢測到的面部區(qū)域與在所述另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)。
5.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述面部區(qū)域設(shè)置單元將表示所述檢測單元在所述一個視頻圖像內(nèi)檢測到的面部區(qū)域的面部區(qū)域圖像設(shè)置作為第一參考圖像，以在所述另一視頻圖像內(nèi)搜索與所述第一參考圖像的相關(guān)值最高的區(qū)域，并且將表示所述檢測單元在所述另一視頻圖像內(nèi)檢測到的面部區(qū)域的面部區(qū)域圖像設(shè)置作為第二參考圖像，以在所述一個視頻圖像內(nèi)搜索與所述第二參考圖像的相關(guān)值最高的區(qū)域，從而通過使用作為使用所述第一參考圖像搜索所述另一視頻圖像和使用所述第二參考圖像搜索所述一個視頻圖像的結(jié)果而獲得最高相關(guān)值的區(qū)域，所述面部區(qū)域設(shè)置單元將在所述一個視頻圖像內(nèi)檢測到的面部區(qū)域與在所述另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)。
6.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其特征在于，當最高的相關(guān)值小于預(yù)定閾值時，所述面部區(qū)域圖像生成單元不生成所述面部區(qū)域圖像。
7.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，所述面部區(qū)域設(shè)置單元使所述大小與所述相關(guān)聯(lián)的面部區(qū)域中面積較大的面部區(qū)域的大小一致。
8.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，在所述顯示單元上，所述面部區(qū)域圖像顯示在與所述面部區(qū)域圖像相對應(yīng)的面部的圖像之前。
9.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其特征在于，在從通過拍攝所述被攝體而獲得的所述兩個視頻圖像消除了由于振動所弓I起的模糊。
10. 一種控制圖像處理設(shè)備的方法，所述圖像處理設(shè)備包括顯示單元，所述方法包括 獲取通過拍攝被攝體而獲得的兩個視頻圖像； 檢測所獲取的兩個視頻圖像中的各視頻圖像內(nèi)的面部區(qū)域； 將在所述兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的面部區(qū)域與在所述兩個視頻圖像中的另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)，并且設(shè)置相關(guān)聯(lián)的面部區(qū)域顯示在所述顯示單元上的位置和大小，以使得所述相關(guān)聯(lián)的面部區(qū)域的位置和大小相互一致； 生成面部區(qū)域相關(guān)信息，所述面部區(qū)域相關(guān)信息包括所述顯示單元上要顯示表示所設(shè)置的面部區(qū)域的面部區(qū)域圖像的位置； 根據(jù)所生成的面部區(qū)域相關(guān)信息來生成所述面部區(qū)域圖像；以及分別將所述兩個視頻圖像與所生成的面部區(qū)域圖像進行合成，并且將合成后的視頻圖像輸出至所述顯示單元。
全文摘要
本發(fā)明涉及圖像處理設(shè)備及其控制方法。該圖像處理設(shè)備能夠以疊加在三維視頻圖像上的方式適當?shù)仫@示面部框。在作為圖像處理設(shè)備的三維攝像設(shè)備中，通過拍攝被攝體獲取兩個視頻圖像，并在兩個視頻圖像中的各視頻圖像內(nèi)檢測面部區(qū)域。在兩個視頻圖像中的一個視頻圖像內(nèi)檢測到的面部區(qū)域和在兩個視頻圖像中的另一視頻圖像內(nèi)檢測到的面部區(qū)域相關(guān)聯(lián)。三維攝像設(shè)備生成包括顯示面板上要顯示面部區(qū)域圖像的位置的面部區(qū)域相關(guān)信息。根據(jù)面部區(qū)域相關(guān)信息生成面部區(qū)域圖像。將兩個視頻圖像與各面部區(qū)域圖像合成，并將合成后的視頻圖像輸出至顯示面板。
文檔編號H04N13/02GK102780893SQ201210147488
公開日2012年11月14日 申請日期2012年5月11日 優(yōu)先權(quán)日2011年5月11日
發(fā)明者片山達嗣 申請人:佳能株式會社