專利名稱：攝像控制方法及控制裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及控制技術(shù)，特別涉及一種攝像控制方法、以及一種攝像控制裝置。
背景技術(shù)：
在攝像過程中，通常需要被拍攝對象調(diào)整其頭部姿態(tài)、以使雙眼基本正對攝像頭的鏡頭。然而，在包括多人的群體場景中，被拍攝對象可能會由于相互間的不斷交談而相應(yīng) 改變自身的頭部姿態(tài)，從而難以達(dá)到盡可能多的被拍攝對象的人頭注意方向都正對攝像頭 的鏡頭。如此一來，就不得不通過手動調(diào)整攝像頭鏡頭的方向，以捕捉可基本正對所有被 拍攝對象雙眼的角度，從而造成拍攝的效率和準(zhǔn)確度較低。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提供了一種攝像控制方法、以及一種攝像控制裝置，能夠依據(jù)群 體頭部姿態(tài)自動調(diào)節(jié)攝像角度、以提高拍攝調(diào)節(jié)的效率和準(zhǔn)確度。本發(fā)明提供的一種攝像控制方法，在多人群體場景中設(shè)置主攝像頭、以及與拍攝 方向與主攝像頭呈預(yù)定角度的輔助攝像頭，并預(yù)先保存不同的三維人臉模版，且該攝像控 制方法包括a、從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖像；b、定位每個二維人臉圖像中的雙眼和鼻尖位置；C、利用每個二維人臉圖像中的雙眼和鼻尖位置、以及輔助攝像頭拍攝到的人臉深 度信息，確定每個二維人臉圖像所匹配的三維人臉模版；d、利用匹配的三維人臉模版，分別建立表征多人群體場景中對應(yīng)人體頭部姿態(tài)的 重構(gòu)三維人臉；e、計算各重構(gòu)三維人臉的注意Gaze方向，所述Gaze方向為重構(gòu)三維人臉的雙目 及鼻尖所構(gòu)成平面的法線方向的量化；f、依據(jù)各重構(gòu)三維人臉的Gaze方向調(diào)節(jié)主攝像機的拍攝方向和/或焦距。所述步驟e包括el、分別利用第i個重構(gòu)三維人臉在主攝像機焦平面中的位置(xui，yui)、以及主 攝像機的焦距f，計算每個重構(gòu)三維人臉在主攝像機坐標(biāo)系下的旋轉(zhuǎn)矩陣<formula>formula see original document page 4</formula>，其中，<formula>formula see original document page 4</formula>e2、分別計算表示第i個重構(gòu)三維人臉的姿勢矩陣<formula>formula see original document page 4</formula>表示第 i個重構(gòu)三維人臉的Gaze方向相對于主攝像機拍攝方向偏移角度的量化，其中， <formula>formula see original document page 4</formula>為主攝像機坐 標(biāo)系在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣，<formula>formula see original document page 4</formula>為當(dāng)前幀中第i個重構(gòu)三維人臉相比 于前一幀中第i個重構(gòu)三維人臉在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣。
所述步驟f包括fll、計算各重構(gòu)三維人臉的姿勢矩陣Rp。se」所表示的偏移角度量化的方差；fl2、利用所述方差表示的方向調(diào)節(jié)主攝像機的拍攝方向；或者，所述步驟f包括f21、計算各重構(gòu)三維人臉的姿勢矩陣Rp_」所表示的偏移角度量化的均值；f22、利用所述均值表示的方向調(diào)節(jié)主攝像機的拍攝方向； 再或者，所述步驟f包括f31、從各重構(gòu)三維人臉的姿勢矩陣Rp_ ,中所表示的偏移角度量化隨機選擇一 個；f32、利用選擇的姿勢矩陣Rp_」所表示的偏移角度量化調(diào)節(jié)主攝像機的拍攝方 向。所述步驟a之前，進(jìn)一步產(chǎn)生可引起多人群體匯聚注意方向的信號。所述信號為音頻信號。本發(fā)明提供的一種攝像控制裝置，包括人臉檢測單元，用于從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖像， 所述主攝像頭設(shè)置在多人群體場景中；區(qū)域定位單元，用于定位每個二維人臉圖像中的雙眼和鼻尖位置；模版匹配單元，用于利用每個二維人臉圖像中的雙眼和鼻尖位置、以及輔助攝像 頭拍攝到的人臉深度信息，確定每個二維人臉圖像所匹配的三維人臉模版，所述輔助攝像 頭與所述主攝像頭呈預(yù)定角度；三維重構(gòu)單元，用于利用匹配的三維人臉模版，分別建立表征多人群體場景中對 應(yīng)人體頭部姿態(tài)的重構(gòu)三維人臉； 方向計算單元，用于計算各重構(gòu)三維人臉的注意Gaze方向，所述Gaze方向為重構(gòu) 三維人臉的雙目及鼻尖所構(gòu)成平面的法線方向的量化；旋轉(zhuǎn)控制單元，用于依據(jù)各重構(gòu)三維人臉的Gaze方向調(diào)節(jié)主攝像機的拍攝方向 和/或焦距。所述方向計算單元包括第一計算子單元，別利用第i個重構(gòu)三維人臉在主攝像機焦平面中的位置(xui， yui)、以及主攝像機的焦距f，計算每個重構(gòu)三維人臉在主攝像機坐標(biāo)系下的旋轉(zhuǎn)矩陣
<formula>formula see original document page 5</formula>其中，<formula>formula see original document page 5</formula>第二計算子單元，分別計算表示第i個重構(gòu)三維人臉的姿勢矩陣Rp。se i，Rpose i 表示第i個重構(gòu)三維人臉的Gaze方向相對于主攝像機拍攝方向偏移角度的量化，其中， Rpose.,小c，—'(Μ，《P <)RH，t，ΨJ ,『Ο。，Φ。，Vc)為主攝像機 坐標(biāo)系在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣，R-1Owi, Φ￥ , vwi)為當(dāng)前幀中第i個重構(gòu)三維人臉相 比于前一幀中第i個重構(gòu)三維人臉在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣。所述旋轉(zhuǎn)控制單元包括方差計算子單元，計算各重構(gòu)三維人臉的姿勢矩陣Rp。se」所表示的偏移角度量化 的方差；
第一執(zhí)行子單元，利用所述方差表示的方向調(diào)節(jié)主攝像機的拍攝方向；或者，所述旋轉(zhuǎn)控制單元包括均值計算子單元，計算各重構(gòu)三維人臉的姿勢矩陣Rpose_i所表示的偏移角度量化的均值；第二執(zhí)行子單元，利用所述均值表示的方向調(diào)節(jié)主攝像機的拍攝方向；再或者，所述旋轉(zhuǎn)控制單元包括隨機選擇子單元，從各重構(gòu)三維人臉的姿勢矩陣Rpose_i中隨機選擇一個；第三執(zhí)行子單元，利用選擇的姿勢矩陣Rpose_i所表示的偏移角度量化調(diào)節(jié)主攝像 機的拍攝方向。進(jìn)一步包括信號發(fā)生單元，用于在人臉檢測單元接收主攝像頭拍攝到的畫面圖像 之前，產(chǎn)生可引起多人群體匯聚注意方向的信號。所述信號發(fā)生單元為音頻發(fā)生器。由上述技術(shù)方案可見，本發(fā)明設(shè)置主攝像頭、以及與拍攝方向與主攝像頭呈預(yù)定 角度的輔助攝像頭，先從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖像、并定位 每個二維人臉圖像中的雙眼和鼻尖位置，然后利用每個二維人臉圖像中的雙眼和鼻尖位 置、以及輔助攝像頭拍攝到的人臉深度信息確定每個二維人臉圖像所匹配的三維人臉模 版，再利用匹配的三維人臉模版分別建立表征多人群體場景中對應(yīng)人體頭部姿態(tài)的重構(gòu)三 維人臉，最后計算各重構(gòu)三維人臉的Gaze方向的量化，從而實現(xiàn)人頭姿態(tài)估計；利用人頭 姿態(tài)估計得到的各重構(gòu)三維人臉的Gaze方向，即可自動調(diào)節(jié)主攝像機的拍攝方向和/或焦 距，從而提高拍攝調(diào)節(jié)的效率和準(zhǔn)確度。


圖1為本發(fā)明實施例中攝像控制方法的示例性流程示意圖；圖2為本發(fā)明實施例中主攝像機坐標(biāo)系下旋轉(zhuǎn)矩陣各角度的示意圖；圖3為本發(fā)明實施例中攝像控制裝置的示例性結(jié)構(gòu)示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下參照附圖并舉實施例，對 本發(fā)明進(jìn)一步詳細(xì)說明。本實施例中，主要是先通過二維人臉圖像估計出各人頭姿態(tài)的注意(Gaze)方向， 然后利用各人頭姿態(tài)的Gaze方向自動調(diào)節(jié)攝像機的拍攝角度。圖1為本發(fā)明實施例中的攝像控制方法的示例性流程示意圖。如圖1所示，本實 施例中的攝像控制方法，在多人群體場景中設(shè)置主攝像頭、以及與拍攝方向與主攝像頭呈 預(yù)定角度的輔助攝像頭，其中，多人群體場景中具有世界坐標(biāo)系、主攝像頭和輔助攝像頭還 分別具有各自的坐標(biāo)系，且該攝像控制方法包括步驟101，從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖像。實際應(yīng)用中，本步驟可以利用自適應(yīng)增強(AdaBoost)等現(xiàn)有人臉檢測技術(shù)，如 果利用AdaBoost實現(xiàn)二維人臉圖像的檢測，則提取的人臉特征可以采用局部二值模式 (Local Byte Pattern)，此類人臉特征概括了局部灰度級結(jié)構(gòu)，利用相應(yīng)的算子分別將各像素與其鄰域像素比較，即可得到每個像素的二進(jìn)制取值，即LBP(xc,yc)=∑2isign+(pi-pc)其中，LBP (χ。，yc)表示像素c的局部二值模式灰度值，Pc表示像素c的實際灰度 值，Pi表示像素c的第i個鄰域像素的實際灰度值，sign為符號函數(shù)。步驟102，定位每個二維人臉圖像中的雙眼和鼻尖位置。實際應(yīng)用中，本步驟中可以依據(jù)人臉結(jié)構(gòu)的經(jīng)驗值識別出雙眼和鼻尖位置，其中， 考慮到人臉的鼻尖對光照和其鄰域的皮膚紋理差別較小，因而可以先確定包含有鼻尖及其 鄰域的區(qū)域，然后在該區(qū)域內(nèi)確定鼻尖位置。步驟103，利用每個二維人臉圖像中的雙眼和鼻尖位置、以及輔助攝像頭拍攝到的 人臉深度信息，在預(yù)先保存的所有三維人臉模版中，確定每個二維人臉圖像最為匹配的三 維人臉模版。步驟104，利用匹配的三維人臉模版，分別建立表征多人群體場景中對應(yīng)人體頭部 姿態(tài)的重構(gòu)三維人臉。實際應(yīng)用中，本步驟中的處理過程實際上是將匹配的三維人臉模版按照二維人臉 圖像的姿態(tài)還原至世界坐標(biāo)系中。步驟105，計算各重構(gòu)三維人臉的Gaze方向，Gaze方向表示重構(gòu)三維人臉的雙目 及鼻尖所構(gòu)成平面的法線方向在世界坐標(biāo)系中的量化。實際應(yīng)用中，如何確定Gaze方向可以采用多種現(xiàn)有方式來實現(xiàn)，而除了現(xiàn)有的多 種方式之外，參見圖2，本步驟中又提供了一種新的方式并具體包括如下處理過程a、分別利用第i個重構(gòu)三維人臉在主攝像機焦平面中的位置(xui，yui)、以及主 攝像機的焦距f，計算每個重構(gòu)三維人臉在主攝像機坐標(biāo)系下的旋轉(zhuǎn)矩陣!^(ΦχΛ Φ,Λ
Λ h、甘 dnyUi Φ二= _arctan~p=^=、
Φζ )，其中，φχ 二 arctanf、”Φ^=0；b、分別計算表示第i個重構(gòu)三維人臉的姿勢矩陣Rp。se」，Rpose i表示第i個重構(gòu)三 維人臉的Gaze方向相對于主攝像機拍攝方向偏移角度的量化，其中，Rpose,=R-1(《，Φ。’ψ。\R-1 (θ。，Φ。，Ψ。)為主攝像機坐標(biāo)系在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣、該旋轉(zhuǎn)矩陣可以 依據(jù)主攝像機坐標(biāo)系預(yù)先設(shè)置的標(biāo)定值來得到，對于利用坐標(biāo)系標(biāo)定值獲取坐標(biāo)系旋轉(zhuǎn)矩 陣的過程，本領(lǐng)域技術(shù)人員可以參照現(xiàn)有方式來實現(xiàn)，在此不再贅述；R-1Owi, ，為 當(dāng)前幀中第i個重構(gòu)三維人臉相比于前一幀中第i個重構(gòu)三維人臉在世界坐標(biāo)系中的旋轉(zhuǎn) 矩陣，對于利用連續(xù)兩幀中同一人頭獲取旋轉(zhuǎn)矩陣的過程，本領(lǐng)域技術(shù)人員可以參照現(xiàn)有 方式來實現(xiàn)，在此不再贅述。步驟106，依據(jù)各重構(gòu)三維人臉的Gaze方向調(diào)節(jié)主攝像機的拍攝方向和/或焦距， 以使多人群體場景中盡可能多的人頭注意方向正對攝像頭的鏡頭。當(dāng)然，如果主攝像機的 拍攝方向調(diào)整，則可以隨之調(diào)整輔助攝像機，以使輔助攝像機拍攝角度與主攝像機所呈的 角度固定不變。實際應(yīng)用中，本步驟中調(diào)節(jié)主攝像機拍攝方向可以依據(jù)不同的實際需求任意設(shè) 定，本實施例給出了如下的幾種可選方式
方差方式，計算各重構(gòu)三維人臉的姿勢矩陣Rp_」所表示的偏移角度量化的方差， 并利用所述方差表示的方向調(diào)節(jié)主攝像機的拍攝方向；均值方式，計算各重構(gòu)三維人臉的姿勢矩陣Rp_」所表示的偏移角度量化的均值， 并利用所述均值表示的方向調(diào)節(jié)主攝像機的拍攝方向；隨機方式，從各重構(gòu)三維人臉的姿勢矩陣Rp_ i中所表示的偏移角度量化隨機選 擇一個，并利用選擇的姿勢矩陣i所表示的偏移角度量化調(diào)節(jié)主攝像機的拍攝方向。需要說明的是，本實施例中的攝像控制方法，主要關(guān)注的是利用Gaze方向作為攝像頭調(diào)節(jié)的控制條件、以及如何獲取該Gaze方向，至于如何實施對攝像頭拍攝方向和/或 焦距的調(diào)整，本領(lǐng)域技術(shù)人員可依據(jù)實際需要任意設(shè)定，例如，參照概率學(xué)、幾何圖形學(xué)等 各類計算方式設(shè)定其他的調(diào)節(jié)方式，在此不再一一贅述。此外，考慮到多人群體場景中，各人頭姿態(tài)的Gaze方向有可能是離散的，那么此 時，無論采用哪一種調(diào)節(jié)方式均不能夠最佳地將主攝像頭拍攝方向?qū)?zhǔn)所有人頭姿態(tài)的 Gaze方向，因此，在執(zhí)行步驟101之前，可以產(chǎn)生例如音頻信號等能夠引起多人群體匯聚注 意方向的信號，然后再執(zhí)行上述步驟101至106的流程；最佳狀態(tài)下，多人群體的注意方向 可存在匯聚點，此式調(diào)整主攝像機的拍攝方向和/或焦距、使匯聚點位于焦平面內(nèi)即可。至此，上述循環(huán)執(zhí)行的流程結(jié)束。以上，是對本實施例中攝像控制方法的詳細(xì)說明，下面，再對本實施例中的攝像控 制裝置進(jìn)行說明。圖3為本發(fā)明實施例中攝像控制裝置的示例性結(jié)構(gòu)示意圖。如圖3所示，本實施 例中的攝像控制裝置包括人臉檢測單元301，用于從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖 像，所述主攝像頭設(shè)置在具有世界坐標(biāo)系的多人群體場景中，且主攝像頭具有自身的攝像 坐標(biāo)系；實際應(yīng)用中，人臉檢測單元301可以利用AdaBoost等現(xiàn)有人臉檢測技術(shù)，如果利用 AdaBoost實現(xiàn)二維人臉圖像的檢測，則提取的人臉特征可以采用局部二值模式，此類人臉 特征概括了局部灰度級結(jié)構(gòu)，利用相應(yīng)的算子分別將各像素與其鄰域像素比較，即可得到
每個像素的二進(jìn)制取值，即LBP(x。,ye)=^2iSign(Pi-Pe)，LBP (x。，y。)表示像素c的局部二值
—0
模式灰度值，P。表示像素C的實際灰度值，Pi表示像素C的第i個鄰域像素的實際灰度值， sign為符號函數(shù)。區(qū)域定位單元302，用于定位每個二維人臉圖像中的雙眼和鼻尖位置；實際應(yīng)用 中，區(qū)域定位單元302可以依據(jù)人臉結(jié)構(gòu)的經(jīng)驗值識別出雙眼和鼻尖位置，其中，考慮到人 臉的鼻尖對光照和其鄰域的皮膚紋理差別較小，因而可以先確定包含有鼻尖及其鄰域的區(qū) 域，然后在該區(qū)域內(nèi)確定鼻尖位置。模版匹配單元303，用于利用每個二維人臉圖像中的雙眼和鼻尖位置、以及輔助攝 像頭拍攝到的人臉深度信息，在預(yù)先保存的所有三維人臉模版中，確定每個二維人臉圖像 所匹配的三維人臉模版，所述輔助攝像頭與前述主攝像頭呈預(yù)定角度，且輔助攝像頭也具 有自身的攝像坐標(biāo)系。三維重構(gòu)單元304，用于利用匹配的三維人臉模版，分別建立表征多人群體場景中 對應(yīng)人體頭部姿態(tài)的重構(gòu)三維人臉；實際應(yīng)用中，可以看作是三維重構(gòu)單元304將匹配的三維人臉模版按照二維人臉圖像的姿態(tài)還原至世界坐標(biāo)系中。方向計算單元305，用于計算各重構(gòu)三維人臉的Gaze方向，所述Gaze方向為重構(gòu) 三維人臉的雙目及鼻尖所構(gòu)成平面的法線方向的量化；實際應(yīng)用中，如何確定Gaze方向可 以采用多種現(xiàn)有方式來實現(xiàn)，而除了現(xiàn)有的多種方式之外，方向計算單元305可以采用一 種新的方式并具體包括第一計算子單元和第二計算子單元(圖3中均未示出)，其中，第一計算子單元，分別利用第i個重構(gòu)三維人臉在主攝像機焦平面中的位置 (xui, yui)、以及主攝像機的焦距f，計算每個重構(gòu)三維人臉在主攝像機坐標(biāo)系下的旋轉(zhuǎn)矩陣
<formula>formula see original document page 9</formula>其中，< = arctan’5 =—arctan^j、<=0;第二計算子單元，分別計算表示第i個重構(gòu)三維人臉的姿勢矩陣Rp。se—i，Rp。se— i表示第i個重構(gòu)三維人臉的Gaze方向相對于主攝像機拍攝方向偏移角度的量化， Rpose t，K)RK，《,，的)RK，^wi-Φ。，為主攝像機坐 標(biāo)系在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣、該旋轉(zhuǎn)矩陣可以依據(jù)主攝像機坐標(biāo)系預(yù)先設(shè)置的標(biāo)定值 來得到，對于利用坐標(biāo)系標(biāo)定值獲取坐標(biāo)系旋轉(zhuǎn)矩陣的過程，本領(lǐng)域技術(shù)人員可以參照現(xiàn) 有方式來實現(xiàn)，在此不再贅述；R-1Owi, 為當(dāng)前幀中第i個重構(gòu)三維人臉相比于 前一幀中第i個重構(gòu)三維人臉在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣，對于利用連續(xù)兩幀中同一人頭 獲取旋轉(zhuǎn)矩陣的過程，本領(lǐng)域技術(shù)人員可以參照現(xiàn)有方式來實現(xiàn)，在此不再贅述。旋轉(zhuǎn)控制單元306，用于依據(jù)各重構(gòu)三維人臉的Gaze方向調(diào)節(jié)主攝像機的拍攝方 向和/或焦距，以使多人群體場景中盡可能多的人頭注意方向正對攝像頭的鏡頭，當(dāng)然，如 果主攝像機的拍攝方向調(diào)整，則可以隨之調(diào)整輔助攝像機，以使輔助攝像機拍攝角度與主 攝像機所呈的角度固定不變；實際應(yīng)用中，旋轉(zhuǎn)控制單元306調(diào)節(jié)主攝像機拍攝方向可以 依據(jù)不同的實際需求任意設(shè)定，本實施例給出了方差方式、均值方式、隨機方式，其中，如果采用方差方式，則旋轉(zhuǎn)控制單元306可以包括(圖3中未示出)方差計算子 單元，計算各重構(gòu)三維人臉的姿勢矩陣i所表示的偏移角度量化的方差；第一執(zhí)行子單 元，利用所述方差表示的方向調(diào)節(jié)主攝像機的拍攝方向；如果采用均值方式，則旋轉(zhuǎn)控制單元306可以包括(圖3中未示出)均值計算子 單元，計算各重構(gòu)三維人臉的姿勢矩陣i所表示的偏移角度量化的均值；第二執(zhí)行子單 元，利用所述均值表示的方向調(diào)節(jié)主攝像機的拍攝方向；如果采用隨機方式，則旋轉(zhuǎn)控制單元306可以包括(圖3中未示出)隨機選擇子 單元，從各重構(gòu)三維人臉的姿勢矩陣Rp。sei中隨機選擇一個；第三執(zhí)行子單元，利用選擇的 姿勢矩陣i所表示的偏移角度量化調(diào)節(jié)主攝像機的拍攝方向。需要說明的是，本實施例中的攝像控制裝置，主要關(guān)注的是利用Gaze方向作為攝 像頭調(diào)節(jié)的控制條件、以及如何獲取該Gaze方向，至于旋轉(zhuǎn)控制單元306如何實施對攝像 頭拍攝方向和/或焦距的調(diào)整，本領(lǐng)域技術(shù)人員可依據(jù)實際需要任意設(shè)定，例如，參照概率 學(xué)、幾何圖形學(xué)等各類計算方式設(shè)定其他的調(diào)節(jié)方式，在此不再一一贅述。此外，考慮到多人群體場景中，各人頭姿態(tài)的Gaze方向有可能是離散的，那么此 時，無論采用哪一種調(diào)節(jié)方式均不能夠最佳地將主攝像頭拍攝方向?qū)?zhǔn)所有人頭姿態(tài)的 Gaze方向，因此，如圖3所示的裝置中還可以進(jìn)一步包括如虛線框所示的信號發(fā)生單元 307，用于在人臉檢測單元301接收主攝像頭拍攝到的畫面圖像之前，產(chǎn)生可引起多人群體匯聚注意方向的信號；最佳狀態(tài)下，多人群體的注意方向可存在匯聚點，此式調(diào)整主攝像機 的拍攝方向和/或焦距、使匯聚點位于焦平面內(nèi)即可。實際應(yīng)用中，信號發(fā)生單元307可以 選用音頻發(fā)生器。如上可見，本實施例設(shè)置主攝像頭、以及與拍攝方向與主攝像頭呈預(yù)定角度的輔 助攝像頭，先從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖像、并定位每個二維 人臉圖像中的雙眼和鼻尖位置，然后利用每個二維人臉圖像中的雙眼和鼻尖位置、以及輔 助攝像頭拍攝到的人臉深度信息確定每個二維人臉圖像所匹配的三維人臉模版，再利用匹 配的三維人臉模版分別建立表征多人群體場景中對應(yīng)人體頭部姿態(tài)的重構(gòu)三維人臉，最后 計算各重構(gòu)三維人臉的Gaze方向的量化，從而實現(xiàn)人頭姿態(tài)估計；利用人頭姿態(tài)估計得到 的各重構(gòu)三維人臉的Gaze方向，即可自動調(diào)節(jié)主攝像機的拍攝方向，從而提高拍攝調(diào)節(jié)的 效率和準(zhǔn)確度。
以上所述僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范圍。凡在 本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換以及改進(jìn)等，均應(yīng)包含在本發(fā)明的保 護(hù)范圍之內(nèi)。
權(quán)利要求
一種攝像控制方法，其特征在于，在多人群體場景中設(shè)置主攝像頭、以及與拍攝方向與主攝像頭呈預(yù)定角度的輔助攝像頭，并預(yù)先保存不同的三維人臉模版，且該攝像控制方法包括a、從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖像；b、定位每個二維人臉圖像中的雙眼和鼻尖位置；c、利用每個二維人臉圖像中的雙眼和鼻尖位置、以及輔助攝像頭拍攝到的人臉深度信息，確定每個二維人臉圖像所匹配的三維人臉模版；d、利用匹配的三維人臉模版，分別建立表征多人群體場景中對應(yīng)人體頭部姿態(tài)的重構(gòu)三維人臉；e、計算各重構(gòu)三維人臉的注意Gaze方向，所述Gaze方向為重構(gòu)三維人臉的雙目及鼻尖所構(gòu)成平面的法線方向的量化；f、依據(jù)各重構(gòu)三維人臉的Gaze方向調(diào)節(jié)主攝像機的拍攝方向和/或焦距。
2.如權(quán)利要求1所述的攝像控制方法，其特征在于，所述步驟e包括el、分別利用第i個重構(gòu)三維人臉在主攝像機焦平面中的位置(xui，yui)、以及主攝像機 的焦距f，計算每個重構(gòu)三維人臉在主攝像機坐標(biāo)系下的旋轉(zhuǎn)矩陣R-1 ( Φxih，Φ,Λ Φζ。，其<formula>formula see original document page 2</formula>Φ:,=0;e2、分別計算表示第i個重構(gòu)三維人臉的姿勢矩陣Rp。se—i，Rp。se—i表示第i個重構(gòu)三維人臉的Gaze方向相對于主攝像機拍攝方向偏移角度的量化，其中，Rpose_i=R-1(θc,Φc, φc)R-1(θhxi,Φhxi, φhxi)R1(θwi,Φwi, φwi),R-1(θc,Φc, φc)為主攝像機坐標(biāo)系在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣，R-1(θc,Φc, φc)為當(dāng)前幀中第i個重構(gòu)三維人臉相比于前一幀中第i個重構(gòu)三維人臉在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣。
3.如權(quán)利要求2所述的攝像控制方法，其特征在于， 所述步驟f包括fll、計算各重構(gòu)三維人臉的姿勢矩陣Rpose_i所表示的偏移角度量化的方差； fl2、利用所述方差表示的方向調(diào)節(jié)主攝像I幾的拍攝方向； 或者，所述步驟f包括f21、計算各重構(gòu)三維人臉的姿勢矩陣Rpose_i所表示的偏移角度量化的均值； f22、利用所述均值表示的方向調(diào)節(jié)主攝像I幾的拍攝方向； 再或者，所述步驟f包括f31、從各重構(gòu)三維人臉的姿勢矩陣Rpose_i中所表示的偏移角度量化隨機選擇一個； f32、利用選擇的姿勢矩陣Rpose_i所表示的偏移角度量化調(diào)節(jié)主攝像機的拍攝方向。
4.如權(quán)利要求1至3中任一項所述的攝像控制方法，其特征在于，所述步驟a之前，進(jìn) 一步產(chǎn)生可引起多人群體匯聚注意方向的信號。
5.如權(quán)利要求4所述的攝像控制方法，其特征在于，所述信號為音頻信號。
6.一種攝像控制裝置，其特征在于，包括人臉檢測單元，用于從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖像，所述 主攝像頭設(shè)置在多人群體場景中；區(qū)域定位單元，用于定位每個二維人臉圖像中的雙眼和鼻尖位置；模版匹配單元，用于利用每個二維人臉圖像中的雙眼和鼻尖位置、以及輔助攝像頭拍 攝到的人臉深度信息，確定每個二維人臉圖像所匹配的三維人臉模版，所述輔助攝像頭與 所述主攝像頭呈預(yù)定角度；三維重構(gòu)單元，用于利用匹配的三維人臉模版，分別建立表征多人群體場景中對應(yīng)人 體頭部姿態(tài)的重構(gòu)三維人臉；方向計算單元，用于計算各重構(gòu)三維人臉的注意Gaze方向，所述Gaze方向為重構(gòu)三維 人臉的雙目及鼻尖所構(gòu)成平面的法線方向的量化；旋轉(zhuǎn)控制單元，用于依據(jù)各重構(gòu)三維人臉的Gaze方向調(diào)節(jié)主攝像機的拍攝方向和/或 焦距。
7.如權(quán)利要求6所述的攝像控制裝置，其特征在于，所述方向計算單元包括 第一計算子單元，別利用第i個重構(gòu)三維人臉在主攝像機焦平面中的位置(xui，yui)、以及主攝像機的焦距f，計算每個重構(gòu)三維人臉在主攝像機坐標(biāo)系下的旋轉(zhuǎn)矩陣<formula>formula see original document page 3</formula>)，其中，<formula>formula see original document page 3</formula>第二計算子單元，分別計算表示第i個重構(gòu)三維人臉的姿勢矩陣Rp。Sd，Rp。&表 示第i個重構(gòu)三維人臉的Gaze方向相對于主攝像機拍攝方向偏移角度的量化，其中， Rp。se」=R—(《，K)RK，《丨，Φ',)R"1 (^wi, Φ^, ΨJ ,『(θ。，Φ。，Vc)為主攝像機坐 標(biāo)系在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣，R1Owi, Φ￥ , vwi)為當(dāng)前幀中第i個重構(gòu)三維人臉相比 于前一幀中第i個重構(gòu)三維人臉在世界坐標(biāo)系中的旋轉(zhuǎn)矩陣。
8.如權(quán)利要求7所述的攝像控制裝置，其特征在于， 所述旋轉(zhuǎn)控制單元包括方差計算子單元，計算各重構(gòu)三維人臉的姿勢矩陣Rp_ i所表示的偏移角度量化的方差；第一執(zhí)行子單元，利用所述方差表示的方向調(diào)節(jié)主攝像機的拍攝方向； 或者，所述旋轉(zhuǎn)控制單元包括均值計算子單元，計算各重構(gòu)三維人臉的姿勢矩陣Rp_ i所表示的偏移角度量化的均值；第二執(zhí)行子單元，利用所述均值表示的方向調(diào)節(jié)主攝像機的拍攝方向； 再或者，所述旋轉(zhuǎn)控制單元包括隨機選擇子單元，從各重構(gòu)三維人臉的姿勢矩陣i中隨機選擇一個； 第三執(zhí)行子單元，利用選擇的姿勢矩陣i所表示的偏移角度量化調(diào)節(jié)主攝像機的 拍攝方向。
9.如權(quán)利要求6至8中任一項所述的攝像控制裝置，其特征在于，進(jìn)一步包括信號發(fā)生 單元，用于在人臉檢測單元接收主攝像頭拍攝到的畫面圖像之前，產(chǎn)生可引起多人群體匯 聚注意方向的信號。
10.如權(quán)利要求9所述的攝像控制方法，其特征在于，所述信號發(fā)生單元為音頻發(fā)生ο
全文摘要
本發(fā)明公開了一種攝像控制方法及裝置。本發(fā)明設(shè)置主攝像頭、以及與拍攝方向與主攝像頭呈預(yù)定角度的輔助攝像頭，先從主攝像頭拍攝到的畫面圖像中檢測到若干二維人臉圖像、并定位每個二維人臉圖像中的雙眼和鼻尖位置，然后利用每個二維人臉圖像中的雙眼和鼻尖位置、以及輔助攝像頭拍攝到的人臉深度信息確定每個二維人臉圖像所匹配的三維人臉模版，再利用匹配的三維人臉模版分別建立表征多人群體場景中對應(yīng)人體頭部姿態(tài)的重構(gòu)三維人臉，最后計算各重構(gòu)三維人臉的注意方向的量化，從而實現(xiàn)人頭姿態(tài)估計；利用人頭姿態(tài)估計得到的各重構(gòu)三維人臉的注意方向，即可自動調(diào)節(jié)主攝像機的拍攝方向和/或焦距，從而提高拍攝調(diào)節(jié)的效率和準(zhǔn)確度。
文檔編號H04N5/232GK101815174SQ20101003387
公開日2010年8月25日 申請日期2010年1月11日 優(yōu)先權(quán)日2010年1月11日
發(fā)明者崔國勤 申請人:北京中星微電子有限公司