專利名稱：基于皮膚顏色區(qū)域和面部區(qū)域的視點檢測器的制作方法
技術領域：
本發(fā)明大體涉及基于皮膚顏色區(qū)域和面部區(qū)域來檢測視點。
背景技術：
技術的進步已產(chǎn)生更小且更強大的計算裝置。舉例來說，當前存在多種便攜式個人計算裝置，包含無線計算裝置，例如較小、輕重量且易于由用戶攜帶的便攜式無線電話、個人數(shù)字助理(PDA)和尋呼裝置。更具體來說，便攜式無線電話(例如，蜂窩式電話和因特網(wǎng)協(xié)議(IP)電話)可經(jīng)由無線網(wǎng)絡傳遞語音和數(shù)據(jù)包。此外，許多此類無線電話包含并入其中的其它類型的裝置。舉例來說，無線電話還可包含數(shù)字靜態(tài)相機、數(shù)字攝像機和用以顯示從觀看者的視點來觀看的圖像的顯示器。然而，通常僅可觀察到相機所瞄向的方向上的圖像。即，即使觀看者移動他/她的視點，觀看者也通常會看到相同的圖像。

發(fā)明內(nèi)容
當在二維(2D)顯示屏上再造三維(3D)視覺效果時，來自觀看者雙眼的有立體感的視覺通常用作創(chuàng)造視覺效果的一個因素。然而，另一因素，即觀看者的位置和/或觀看方向，也可用于再造3D視覺效果?？苫诿娌扛櫋⒀劬Ω櫥蛲ㄟ^在裝置處使用相機而組合面部跟蹤與眼睛跟蹤來確定觀看者相對于具有相機的裝置的顯示器的位置或視點。一旦確定了觀看者的視點，就可基于觀看者的所檢測到的視點而移動由相機俘獲且顯示在顯示器上的圖像內(nèi)的對象。通過應用觀看者的位置和觀看方向，可設計一種系統(tǒng)，其根據(jù)基于觀看者的位置的不同視點來運行多媒體應用程序。在特定說明性實施例中，揭示一種基于皮膚顏色區(qū)域和面部區(qū)域來確定人的視點的方法。所述方法包含接收對應于由相機俘獲的圖像的圖像數(shù)據(jù)。所述方法進一步包含確定人相對于耦合到所述相機的裝置的顯示器的視點?？赏ㄟ^基于所述人的所確定的皮膚顏色區(qū)域來確定所述人的面部區(qū)域，以及通過基于所述面部區(qū)域來跟蹤所述人的面部位置來確定所述人的視點。對象可能會響應于所述人的所確定的視點而在所述圖像內(nèi)移動。在另一特定實施例中，揭示一種經(jīng)配置以基于人的皮膚顏色區(qū)域和面部區(qū)域來確定所述人的視點的設備。所述設備包含皮膚顏色檢測器，所述皮膚顏色檢測器經(jīng)配置以檢測人在對應于由相機俘獲的圖像的圖像數(shù)據(jù)內(nèi)的皮膚顏色區(qū)域。所述設備進一步包含面部檢測器，所述面部檢測器經(jīng)配置以基于所述人的所檢測到的皮膚顏色區(qū)域來檢測所述圖像的面部區(qū)域。所述設備進一步包含視點檢測器，所述視點檢測器經(jīng)配置以檢測所述人相對于耦合到所述相機的裝置的顯示器的視點。所述人的視點可至少部分基于所檢測到的皮膚顏色區(qū)域來確定，其中所述視點檢測器進一步經(jīng)配置以基于所述檢測到的面部區(qū)域來跟蹤所述人的面部位置。一個或一個以上對象可響應于所述人的所確定的視點而在所述圖像內(nèi)移動。由所揭示實施例中的至少一些所提供的一個特定優(yōu)點在于，可檢測觀看者的視點，使得顯示器上的對象可基于所檢測到的視點而移動，從而在不需要透鏡狀顯示器或特殊眼鏡的情況下在二維顯示器上創(chuàng)造三維視覺效果。在檢視整個申請案后，將明白本發(fā)明的其它方面、優(yōu)點和特征，申請案包含以下部分


具體實施方式
和權利要求書。


圖I為用以基于人的視點來顯示圖像數(shù)據(jù)的系統(tǒng)的特定說明性實施例的框圖；圖2為用于基于人的視點顯示圖像數(shù)據(jù)的系統(tǒng)中的圖像處理器管線的特定說明性實施例的框圖；圖3為基于人的視點顯示描繪似然值和所估計中心像素位置的圖像數(shù)據(jù)的系統(tǒng)的特定說明性實施例；圖4為從不同視點顯示的對象的特定說明性實施例；圖5為基于人的視點顯示圖像數(shù)據(jù)的方法的特定說明性實施例的框圖；圖6為跟蹤用于確定人的視點的面部的方法的特定說明性實施例的框圖；圖7為包含具有基于皮膚顏色區(qū)域和面部區(qū)域的視點檢測器的處理器的代表性無線通信裝置的框圖。
具體實施例方式可通過在裝置處使用相機而基于觀看者的皮膚顏色區(qū)域和面部區(qū)域來確定觀看者相對于具有相機的裝置的顯示器的位置或視點。一旦確定了觀看者的視點，就可基于觀看者的所檢測到的視點而移動由相機俘獲且顯示在顯示器上的圖像內(nèi)的一個或一個以上對象。參看圖1，描繪且大體用100指定基于人的視角來顯示圖像數(shù)據(jù)的系統(tǒng)的特定說明性實施例。系統(tǒng)100包含電子裝置101，所述電子裝置101包含顯示器124、相機120和耦合到顯示器124和相機120的圖像處理管線102。電子裝置101展示為在人130附近。電子裝置101還包含存儲包含對象的圖像數(shù)據(jù)116的存儲器114。電子裝置101經(jīng)配置以確定人130相對于顯示器124的視點128，且基于視點128的位置來調(diào)整顯示在顯示器124上的圖像126的視角。在特定實施例中，相機120配置在一個位置，使得人130在人130觀看顯示器124的同時處于相機120的視圖內(nèi)。詳細地說，相機120可包含透鏡和圖像傳感器(未展示)。所述圖像傳感器可經(jīng)配置以獲取圖像數(shù)據(jù)121，且將圖像數(shù)據(jù)121提供到圖像處理器管線102。在特定實施例中，圖像處理器管線102經(jīng)配置以接收圖像數(shù)據(jù)121，且基于人130的所檢測到的視點128來調(diào)整顯示器124的圖像126的視角。圖像處理器管線102包含皮膚顏色檢測器104、面部位置跟蹤器106、視點檢測器110和視角調(diào)整模塊112。在特定實施例中，皮膚顏色檢測器104接收對應于由相機120俘獲的圖像的圖像數(shù)據(jù)。舉例來說，在皮膚顏色檢測器104處所接收的圖像數(shù)據(jù)可直接從相機120接收，例如圖像數(shù)據(jù)121?；蛘?，皮膚顏色檢測器104可接收已經(jīng)在圖像處理器管線102內(nèi)例如經(jīng)由去馬賽克、壞像素校正或其它圖像處理而經(jīng)過處理的圖像數(shù)據(jù)。皮膚顏色檢測器104可經(jīng)配置以比較圖像數(shù)據(jù)121的色度值，以確定圖像數(shù)據(jù)121的每一特定像素是對應于皮膚顏色區(qū)還是非皮膚顏色區(qū)。為進行說明，皮膚顏色檢測器104可比較特定像素的色度紅色值與指示非皮膚區(qū)域的較高和較低色度紅色閾值。另外，皮膚顏色檢測器104可確定圖像數(shù)據(jù)121的像素的色度藍色值，且比較所述色度藍色值與指示皮膚區(qū)域與非皮膚區(qū)域之間的邊界的一個或一個以上色度藍色閾值。皮膚顏色檢測器104經(jīng)配置以產(chǎn)生指示皮膚顏色區(qū)域105的輸出。在特定實施例中，面部位置跟蹤器106可經(jīng)配置以從皮膚顏色檢測器104接收皮膚顏色區(qū)域105，且跟蹤面部在圖像數(shù)據(jù)121內(nèi)的位置。舉例來說，面部位置跟蹤器106可檢查所識別出的皮膚顏色區(qū)域 105中的一者或一者以上以執(zhí)行面部辨識，或以其它方式確定面部是否存在于圖像數(shù)據(jù)121內(nèi)。在特定實施例中，面部位置跟蹤器106可經(jīng)配置以從皮膚顏色檢測器104接收包含像素的皮膚顏色區(qū)域105，所述像素具有在皮膚顏色區(qū)內(nèi)的色度值。面部位置跟蹤器106可經(jīng)配置以根據(jù)第一一維搜索基于色度平均值和色度方差值來識別一行圖像數(shù)據(jù)，且面部位置跟蹤器106可經(jīng)配置以根據(jù)第二一維搜索基于色度平均值和色度方差值來識別一列圖像數(shù)據(jù)。在特定實施例中，對應于圖像數(shù)據(jù)內(nèi)的一行選定像素的像素的第一計數(shù)可響應于選定像素的色度值與色度平均值之間的比較滿足差異閾值而遞增，且圖像數(shù)據(jù)內(nèi)的選定像素的對應列可響應于選定像素的色度值與速度平均值之間的比較滿足差異閾值而遞增。可基于像素的第一計數(shù)和像素的第二計數(shù)來確定估計的中心像素位置。在特定實施例中，視點檢測器110經(jīng)配置以從面部位置跟蹤器106接收指示所定位的面部的信息，且基于人130的所定位的面部確定人130的視點，例如視點128。視點檢測器110可經(jīng)配置以將指示所檢測到的視點的數(shù)據(jù)提供到視角調(diào)整模塊112。在特定實施例中，視角調(diào)整模塊112經(jīng)配置以從存儲器114接收包含對象的圖像數(shù)據(jù)116以供顯示在顯示器124上。視角調(diào)整模塊112可進一步經(jīng)配置以從視點檢測器110接收指示所檢測到的視點的數(shù)據(jù)，且根據(jù)人130的視點的移動來修改包含對象的圖像數(shù)據(jù)116。舉例來說，由于觀看者130的所檢測到的視點128的改變，圖像數(shù)據(jù)116內(nèi)的對象可能會在顯示在顯示器124處之前移動。舉例來說，如果人的視點(例如圖I的視點128)改變，那么圖像內(nèi)的對象可取決于已改變的視點而向左移動或旋轉或向右移動或旋轉。為進行說明，如果人的視點從中心向左改變，那么所檢測到的視點在顯示器124的中心處的對象(例如，圖4的對象404)可向左移動或旋轉。為進行說明，如果人的視點從中心向右改變，那么所檢測到的視點在顯示器124的中心處的對象(例如，圖4的對象404)可能會向右移動或旋轉。在操作期間，人130可選擇將在顯示器124處顯示的圖像126。在人130正注視圖像126的同時，相機120可能正反復地獲取人的圖像數(shù)據(jù)121，所述圖像數(shù)據(jù)121被提供到圖像處理器管線102。圖像處理器管線102可通過在皮膚顏色檢測器104處檢測皮膚顏色區(qū)、在面部位置跟蹤器106處跟蹤人的面部位置、在視點檢測器110處檢測人的視點128，以及將所檢測到的視點數(shù)據(jù)提供到視角調(diào)整模塊112來跟蹤人130的面部。視角調(diào)整模塊112可基于人130的所檢測到的視點128來更改將在顯示器124處顯示的圖像126。對象響應于視點而移動的經(jīng)更新的圖像數(shù)據(jù)113被提供到顯示器124，且圖像126被更新。結果，人130相對于顯示器124或相對于相機120的移動可導致對象在圖像126內(nèi)的移動，從而創(chuàng)造圖像126的三維透視圖的印象。舉例來說，可通過將具有深度信息的二維內(nèi)容顯現(xiàn)為具有深度依賴性透視投影而將三維視覺效果添加到所述內(nèi)容。盡管包含相機120、顯示器124、圖像處理器管線102和存儲器114的元件描繪為在單一電子裝置101內(nèi)，但在其它實施例中，所述元件可處于單獨裝置中。舉例來說，相機可耦合到獨立顯示器，例如陰極射線管顯示器、等離子顯示器或液晶二極管顯示器。參看圖2，描繪且大體上以200指示用于基于觀看者的視角顯示圖像數(shù)據(jù)的系統(tǒng)中的圖像處理器管線的特定說明性實施例。圖像處理器管線202包含皮膚顏色檢測電路204、面部檢測電路206、眼睛檢測電路208、響應皮膚顏色和面部檢測電路的視點檢測器210，以及面部位置歷史電路212。在特定實施例中，皮膚顏色檢測電路204可經(jīng)配置以接收對應于圖像的圖像數(shù)據(jù)221，且可經(jīng)配置以比較圖像數(shù)據(jù)的色度值以確定圖像數(shù)據(jù)的每一特定像素對應于皮膚顏色區(qū)還是對應于非皮膚顏色區(qū)。在特定實施例中，皮膚顏色檢測電路204包含色度藍色 (Cb)閾值233和色度紅色(Cr)閾值235。舉例來說，皮膚顏色檢測電路204可比較特定像素的色度紅色值與指示非皮膚區(qū)域的一個或一個以上色度紅色閾值235 (例如，上色度紅色閾值和下色度紅色閾值)。另外，皮膚顏色檢測電路204可確定圖像數(shù)據(jù)的像素的色度藍色值且比較所述色度藍色值與指示皮膚區(qū)域與非皮膚區(qū)域之間的邊界的一個或一個以上色度藍色閾值233。在特定實施例中，可(例如)通過滿足皮膚顏色檢測電路204的色度藍色閾值233和色度紅色閾值235來識別具有在皮膚顏色范圍內(nèi)的色度值的像素。皮膚顏色檢測電路204可經(jīng)配置以產(chǎn)生指示皮膚顏色區(qū)域的包含具有在皮膚顏色范圍內(nèi)的色度的像素的輸出。在特定實施例中，面部檢測電路206經(jīng)配置以從皮膚顏色檢測電路204接收皮膚顏色區(qū)域輸出且檢測圖像數(shù)據(jù)內(nèi)的面部區(qū)域的位置。在特定實施例中，面部檢測電路206包含動態(tài)閾值243、行面部檢測電路245、列面部檢測電路247，以及色度差電路249。在特定實施例中，面部檢測電路206經(jīng)配置以接收皮膚顏色檢測電路204的包含具有在皮膚顏色范圍內(nèi)的色度值的像素的輸出。在特定實施例中，行面部檢測電路245可經(jīng)配置以識別圖像數(shù)據(jù)的行且列面部檢測電路247可經(jīng)配置以識別圖像數(shù)據(jù)的列。舉例來說，行面部檢測電路245可經(jīng)配置以根據(jù)第一一維搜索基于色度平均值和色度方差值來識別圖像數(shù)據(jù)的行，且列面部檢測電路247可經(jīng)配置以根據(jù)第二一維搜索基于色度平均值和色度方差值來識別圖像數(shù)據(jù)的列。在特定實施例中，色度差電路249可經(jīng)配置以比較所識別像素的色度值與色度平均值且響應于比較結果滿足差閾值來選擇所識別像素。差閾值可基于色度方差值。在特定實施例中，當掃描候選區(qū)域內(nèi)的較多像素且在像素處滿足差閾值時對應于圖像數(shù)據(jù)內(nèi)的選定像素的行的第一像素計數(shù)或與色度平均值的似然可增加，且當掃描候選區(qū)域內(nèi)的較多像素且在像素處滿足差閾值時對應于圖像數(shù)據(jù)內(nèi)的選定像素的列的第二像素計數(shù)或與色度平均值的似然可增加。在特定實施例中，可定位滿足差閾值的具有最大像素計數(shù)或與色度平均值的似然的列片段，且可定位滿足差閾值的具有最大像素計數(shù)或與色度平均值的似然的行片段。峰值列片段和峰值行片段的位置可用以確定面部區(qū)域的所估計中心像素位置，如參看圖3更詳細地描述。在特定實施例中，眼睛檢測電路208經(jīng)配置以從面部檢測電路206接收面部位置數(shù)據(jù)且檢測圖像數(shù)據(jù)內(nèi)的人的眼睛。可利用眼睛檢測電路208以進一步精化面部位置數(shù)據(jù)且確認面部區(qū)域內(nèi)的面部的位置。
在特定實施例中，視點檢測器210經(jīng)配置以從眼睛檢測電路208接收指示面部的所定位眼睛的信息且基于人的所定位面部確定人的視點。在特定實施例中，視點檢測器210經(jīng)配置以從面部位置歷史212接收前一面部位置數(shù)據(jù)。舉例來說，在特定實施例中，當在圖像數(shù)據(jù)中搜索人的面部時，可基于由面部位置歷史212提供的歷史面部位置數(shù)據(jù)設立初始候選搜索區(qū)域。舉例來說，電子裝置可以前已受訓練以通過人的膚色找到人的面部。在那種情況下，包含皮膚數(shù)據(jù)(例如，膚色的色度紅色和色度藍色閾值以及平均值和方差)的先前或歷史面部位置數(shù)據(jù)可存儲于電子裝置的存儲器中。在操作期間，圖像處理器管線202可通過在皮膚顏色檢測電路204處檢測皮膚顏色區(qū)來檢測人的面部，在面部檢測電路206處檢測人的面部，在眼睛檢測電路208處檢測人的眼睛，且在視點檢測器210處檢測人的視點。在特定實施例中，可至少部分基于由面部位置歷史212提供的歷史面部位置數(shù)據(jù)來檢測人的視點。參看圖3，描繪且大體上以300指示基于觀看者的視角顯示圖像數(shù)據(jù)的系統(tǒng)的特 定說明性實施例。候選區(qū)域302包含非皮膚區(qū)域304、面部區(qū)域306和皮膚區(qū)域308。為了說明的清晰起見，皮膚區(qū)域308在形狀上描繪為矩形。然而，皮膚區(qū)域308可為不規(guī)則形狀，且可含有落入膚色范圍內(nèi)的來自包含非皮膚對象的一個或一個以上對象的像素。皮膚區(qū)域308包含所估計中心像素322和測試中代表性像素345。候選區(qū)域302在X-Y坐標系中進行說明，其中X軸340安置于水平方向上且y軸330安置于垂直方向上。描繪沿著x軸340的水平似然值318 (其不用以指示峰值位置)且描繪沿著I軸330的垂直似然值320 (其不用以指示峰值位置)。每一水平似然值與眾多像素342相關聯(lián)，且每一垂直似然值與眾多像素332相關聯(lián)。基于水平似然值318，可定位峰值水平片段310，且基于垂直似然值320，可定位峰值垂直片段312。沿著X軸340設立第一動態(tài)閾值314且沿著y軸330設立第二動態(tài)閾值316。在操作期間，掃描圖像數(shù)據(jù)的與人的面部區(qū)域306有關的候選區(qū)域302。對于皮膚區(qū)域308內(nèi)的每一像素樣本，累加樣本像素數(shù)據(jù)。在掃描候選區(qū)域302中的所有像素之后，計算膚色閾值且計算取樣像素數(shù)據(jù)的所測量膚色的平均值和方差。對于在膚色閾值內(nèi)的每一像素樣本，通過測量取樣像素與平均值的距離并比較所述距離與方差來選擇性地累加似然值。如果所述距離在方差內(nèi)，那么累加水平似然值318和垂直似然值320。在完成水平似然值318和垂直似然值320的選定累加之后，設立水平動態(tài)閾值314和垂直動態(tài)閾值316。在特定實施例中，當經(jīng)取樣像素與膚色的平均值的水平似然(例如，距離)測量在方差內(nèi)時，對應于圖像數(shù)據(jù)內(nèi)一行選定像素的第一像素計數(shù)可遞增，且當經(jīng)取樣像素與膚色的平均值的垂直似然測量在方差內(nèi)時，對應于圖像數(shù)據(jù)內(nèi)一列選定像素的第二像素計數(shù)可遞增。在設立水平動態(tài)閾值和垂直動態(tài)閾值之后，在634處檢測從水平似然值開始的峰值水平片段和從垂直似然值開始的峰值垂直片段。在特定實施例中，可定位具有滿足垂直似然測量的最大像素計數(shù)的列或峰值列，且可定位具有滿足水平似然測量的最大像素計數(shù)的行或峰值行。峰值垂直片段312和峰值水平片段310的位置可用以確定面部區(qū)域306的所估計中心像素位置322。參看圖4，其描繪且大體上以400標示從不同視點顯示的圖像內(nèi)的對象的特定說明性實施例。在402處展示具有在顯示器的左側的視點的對象,在404處展示具有在顯示器的中心的視點的對象，且在406處展示具有在顯示器的右側的視點的對象。舉例來說，如果人的視點改變(例如，圖I的視點128)，那么圖像內(nèi)的對象可取決于“新的”或已改變視點而移動或旋轉到左側或移動或旋轉到右側。為了說明，如果人的視點從中心改變到左側，那么具有在顯示器(例如，圖I的顯示器124)的中心的所檢測視點的對象可移動或旋轉到左側，如402處所說明。類似地，如果人的視點從中心改變到右側，那么具有在顯示器的中心的所檢測視點的對象可移動或旋轉到右側，如406處所說明。參看圖5，描繪且大體上以500指示基于人的視角顯示圖像數(shù)據(jù)的方法的特定說明性實施例的框圖。在502處，接收對應于由相機(例如，圖I的相機120)俘獲的圖像的圖像數(shù)據(jù)。圖像包含顯示于耦合到相機的裝置處的至少一個對象。前進到504，確定人相對于耦合到或并入有相機的裝置的顯示器(例如，圖I的顯示器124)的視點(例如，圖I的視點128)。移動到506，通過基于所確定皮膚顏色區(qū)域(例如，圖I的皮膚顏色區(qū)域105)確定人的面部區(qū)域來確定視點。繼續(xù)到508，通過基于所確定面部區(qū)域跟蹤人的面部位置來進一步確定視點。在特定實施例中，可通過面部跟蹤模塊(例如，圖I的面部位置跟蹤器106)來跟蹤面部位置。進行到510，響應于人的所確定視點，移動顯示于顯示器處的一個或一個以上對象。
參看圖6，描繪且大體上以600指示跟蹤面部的方法的特定說明性實施例的框圖。方法600可由無線電子裝置(例如，圖I的系統(tǒng)100的電子裝置101)執(zhí)行。在602處，從相機取景器接收彩色空間中的輸入數(shù)據(jù)，例如具有亮度分量(Y)、色度藍色分量(Cb)和色度紅色分量(Cr)的彩色空間(例如，YCbCr彩色空間)。舉例來說，可從相機(例如，圖I的相機120)接收圖像數(shù)據(jù)(例如，圖I的圖像數(shù)據(jù)121)。在604處，可確定系統(tǒng)調(diào)適是否開始。舉例來說，可確定是否進入用戶辨識訓練模式。在特定實施例中，可由用戶(例如)通過按壓耦合到電子裝置的按鍵或按鈕來人工地進入用戶辨識訓練模式中。或者，可自動進入用戶辨識訓練模式中。如果進入用戶辨識訓練模式，那么在606處可掃描候選區(qū)域。舉例來說，可掃描圖像數(shù)據(jù)的與人的面部區(qū)域有關的區(qū)域。在608處，可確定候選區(qū)域中的像素是否在膚色范圍內(nèi)。對于在膚色范圍內(nèi)的每一像素，在610處可累加樣本像素數(shù)據(jù)，且在612處可確定是否已掃描候選區(qū)域中的所有像素。如果未掃描候選區(qū)域中的所有像素，那么處理返回到606。在掃描候選區(qū)域中的所有像素之后，在614處可計算膚色閾值，且在614處還可計算取樣像素數(shù)據(jù)的所測量膚色的平均值和方差。在616處可復位Cb和Cr中的膚色的平均值和方差，且在618處可復位YCbCr中的膚色的閾值。因此，膚色閾值可與特定人(例如，用戶)相關聯(lián)。在面部跟蹤過程中，在620處可確定像素樣本是否在膚色閾值內(nèi)。如果像素樣本在膚色閾值內(nèi)，那么在622處可進行像素樣本與膚色的平均值相比的似然測量。在特定實施例中，可通過測量樣本像素與膚色的平均值的距離(例如，樣本像素與平均值之間的膚色值的差)來進行似然測量。在624處可確定距離是否在方差內(nèi)。在特定實施例中，對于在膚色閾值內(nèi)的每一像素樣本，通過測量取樣像素與平均值的距離并比較所述距離與方差來累加似然值。如果所述距離在方差內(nèi)，那么在626處可累加水平似然值和垂直似然值。在完成水平似然值和垂直似然值的累加之后，在632處可設立水平動態(tài)閾值和垂直動態(tài)閾值。在特定實施例中，當取樣像素與膚色的平均值的水平似然(例如，距離)測量在方差內(nèi)時對應于圖像數(shù)據(jù)內(nèi)的選定像素的行的第一像素計數(shù)或與色度平均值的似然可增加，且當取樣像素與膚色的平均值的垂直似然測量在方差內(nèi)時對應于圖像數(shù)據(jù)內(nèi)的選定像素的列的第二像素計數(shù)或與色度平均值的似然可增加。在設立水平動態(tài)閾值和垂直動態(tài)閾值之后，在634處可從水平似然值檢測峰值水平片段且從垂直似然值檢測峰值垂直片段。在特定實施例中，可定位滿足垂直似然測量的具有最大像素計數(shù)的列或峰值列，且可定位滿足水平似然測量的具有最大像素計數(shù)的行或峰值行。在636處，峰值垂直片段和峰值水平片段的位置可用以確定面部區(qū)域的所估計中心像素位置且確定所找到的面部區(qū)域是否為觀看者的面部區(qū)域或有效面部區(qū)域。如果所找到的區(qū)域有效，那么在650處定位觀看者的面部，且過程結束。如果所找到的區(qū)域無效，那么在638處可復位候選搜索區(qū)域，且過程可回復到630，其中搜索候選區(qū)域。如果在604處系統(tǒng)調(diào)適不開始，那么在640處可確定面部跟蹤系統(tǒng)是否開始。舉例來說，電子裝置可已受訓練以通過人的膚色找到人的面部且可繞過系統(tǒng)調(diào)適或訓練模式且直接轉到面部跟蹤模式。在特定實施例中，可由用戶(例如)通 過按壓耦合到電子裝置的按鍵或按鈕來人工地進入面部跟蹤系統(tǒng)中?；蛘?，可自動進入面部跟蹤系統(tǒng)中。如果面部跟蹤系統(tǒng)開始，那么在642處設立初始候選搜索區(qū)域。在特定實施例中，可基于歷史面部位置數(shù)據(jù)設立初始候選搜索區(qū)域。在特定實施例中，面部位置數(shù)據(jù)可由圖2的面部位置歷史212提供。在設立初始候選搜索區(qū)域之后，在630處可搜索候選區(qū)域。如果面部跟蹤系統(tǒng)不開始，那么過程回復到604。一旦確定觀看者的視點，可基于觀看者的所檢測視點移動顯示于顯示器上的一個或一個以上對象。通過應用觀看者的位置和觀看方向，可設計基于觀看者的位置從不同視點運行多媒體應用程序的系統(tǒng)。圖7為包含基于皮膚顏色區(qū)域和面部區(qū)域的視點檢測器764的設備700的特定實施例的框圖。裝置700可在無線電子裝置中實施且包含耦合到存儲器732的處理器710，例如，數(shù)字信號處理器(DSP)。相機接口控制器770耦合到處理器710且也耦合到相機772 (例如，視頻相機)。相機控制器770可響應于處理器710(例如)用于自動聚焦和自動曝光控制。顯示器控制器726耦合到處理器710且耦合到顯示器裝置728。編碼器/解碼器(CODEC) 734也可耦合到處理器710。揚聲器736和麥克風738可耦合到CODEC 734。無線接口 740可耦合到處理器710且耦合到無線天線742。處理器710還可適于產(chǎn)生經(jīng)處理的圖像數(shù)據(jù)780。顯示器控制器726經(jīng)配置以接收經(jīng)處理的圖像數(shù)據(jù)780，且將經(jīng)處理的圖像數(shù)據(jù)780提供到顯示裝置728。存儲器732可經(jīng)配置以接收并存儲經(jīng)處理的圖像數(shù)據(jù)780，且無線接口 740可經(jīng)配置以擷取經(jīng)處理的圖像數(shù)據(jù)780以經(jīng)由天線742傳輸。另外，存儲器732可經(jīng)配置以接收并存儲用戶皮膚數(shù)據(jù)782，例如特定像素的色度紅色值和色度藍色值,色度紅色和色度藍色閾值,和膚色的平均值和方差，且無線接口 740可經(jīng)配置以接收用戶皮膚數(shù)據(jù)782以經(jīng)由天線742傳輸。在特定實施例中，基于皮膚顏色區(qū)域和面部區(qū)域的視點檢測器764實施為可在處理器710處執(zhí)行的計算機代碼，例如在計算機可讀媒體處存儲的計算機可執(zhí)行指令。舉例來說，程序指令782可包含用以基于人的所確定的皮膚顏色區(qū)域來確定人的面部區(qū)域的代碼、用以基于所述面部區(qū)域來跟蹤人的面部位置的代碼，以及響應于所述人的所檢測到的視點來移動圖像內(nèi)的對象的代碼。
在特定實施例中，處理器710、顯示器控制器726、存儲器732、CODEC 734、無線接口 740和相機控制器770包含于系統(tǒng)級封裝或芯片上系統(tǒng)裝置722中。在特定實施例中，輸入裝置730和電力供應器744耦合到芯片上系統(tǒng)裝置722。此外，在特定實施例中，如圖7中所說明，顯示裝置728、輸入裝置730、揚聲器736、麥克風738、無線天線742、視頻相機772和電力供應器744處于芯片上系統(tǒng)裝置722外部。然而，顯示裝置728、輸入裝置730、揚聲器736，、麥克風738、無線天線742、相機772和電力供應器744中的每一者可耦合到芯片上系統(tǒng)裝置722的組件，例如接口或控制器。所述領域的技術人員將進一步了解，結合本文所揭示的實施例描述的各種說明性邏輯塊、配置、模塊、電路和算法步驟可實施為電子硬件、由處理器執(zhí)行的計算機軟件，或其組合。上文已大體在功能性方面描述各種說明性組件、塊、配置、模塊、電路和步驟。這種功能性實施為硬件還是由處理器執(zhí)行的軟件取決于特定應用和外加于總體系統(tǒng)上的設計約束。所屬領域的技術人員可針對每一特定應用以不同方式實施所描述功能性，但所述實施決策不應被解釋為導致偏離本發(fā)明的范圍。
在一個或一個以上示范性實施例中，所描述的功能可實施于硬件、由處理器執(zhí)行的軟件、固件，或其任何組合中。所揭示的功能可針對包括程序代碼的計算機可讀媒體，所述程序代碼在裝置中執(zhí)行時使所述裝置執(zhí)行本文所述的技術中的一者或一者以上。在所述情況下，計算機可讀媒體可包括有形存儲媒體，例如隨機存取存儲器(RAM)、同步動態(tài)隨機存取存儲器(SDRAM)、只讀存儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可編程只讀存儲器(EEPROM)、FLASH存儲器，等等。所述程序代碼可以計算機可讀指令的形式存儲在存儲器中。在所述情況下，例如DSP等處理器可執(zhí)行存在在存儲器中的指令，以執(zhí)行圖像處理技術中的一者或一者以上。在一些情況下，所述技術可由DSP執(zhí)行，所述DSP調(diào)用各種硬件組件以加速圖像處理。在其它情況下，本文所描述的單元可實施為微處理器、一個或一個以上專用集成電路(ASIC)、一個或一個以上現(xiàn)場可編程門陣列(FPGA)，或一些其它硬件-軟件組合。 可直接以硬件、以由處理器執(zhí)行的軟件模塊或以上述兩者的組合實施結合本文所揭示的實施例而描述的方法或算法的步驟。硬件模塊可駐留于隨機存取存儲器(RAM)、閃存存儲器、只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、寄存器、硬盤、可移動磁盤、壓縮光盤只讀存儲器(CD-ROM)，或先前技術中已知的任何其它形式的有形存儲媒體。示范性存儲媒體耦合到處理器，使得處理器可從存儲媒體讀取信息，且可將信息寫入到存儲媒體。在替代方案中，存儲媒體可與處理器成一體式。處理器及存儲媒體可駐留在專用集成電路(ASIC)中。ASIC可駐留在計算裝置或用戶終端中。在替代方案中，處理器及存儲媒體可作為離散組件駐留在計算裝置或用戶終端中。提供所揭示實施例的先前描述以使得所述領域的技術人員能夠制作或使用所揭示的實施例。對于所屬領域的技術人員來說，對這些實施例的各種修改將為顯而易見的，且可在不偏離本發(fā)明的范圍的情況下將本文中所定義的原理應用于其它實施例。因此，本發(fā)明無意限于本文中所展示的實施例，而是將賦予本發(fā)明與如由所附權利要求書界定的原理和新穎特征一致的可能的最廣范圍。
權利要求
1.一種方法，其包括 接收對應于由攝影機俘獲的圖像的圖像數(shù)據(jù)，所述圖像包含將在耦合到所述攝影機的裝置處顯示的至少一個對象； 確定人相對于耦合到所述攝影機的所述裝置的顯示器的視點，其中確定所述視點包括基于所述人的所確定的皮膚顏色區(qū)域確定所述人的面部區(qū)域以及基于所述面部區(qū)域來跟蹤所述人的面部位置；以及 響應于所述人的所述所確定的視點而移動在所述顯示器處顯示的所述至少一個對象。
2.根據(jù)權利要求I所述的方法，其中所述人的所述皮膚顏色區(qū)域是基于對應于皮膚顏色的色度平均值和色度方差值來確定的。
3.根據(jù)權利要求2所述的方法，其進一步包括執(zhí)行用戶辨識訓練過程以確定對應于所 述人的所述皮膚顏色的所述色度平均值和所述色度方差值。
4.根據(jù)權利要求I所述的方法，其中檢測所述視點進一步包括檢測所述面部區(qū)域內(nèi)的眼睛以確認面部在所述面部區(qū)域內(nèi)的位置。
5.根據(jù)權利要求I所述的方法，其中確定所述視點進一步包括基于面部的前一位置選擇所述圖像的第一區(qū)域來進行處理。
6.根據(jù)權利要求5所述的方法，其中響應于在所述選定區(qū)域內(nèi)未檢測到面部，選擇比所述第一區(qū)域大的第二區(qū)域來進行處理。
7.根據(jù)權利要求I所述的方法，其中確定所述視點進一步包括識別具有在皮膚顏色范圍內(nèi)的色度值的像素。
8.根據(jù)權利要求I所述的方法，其中跟蹤所述面部位置包含通過以下操作估計所述人的所述面部區(qū)域的中心像素位置響應于用戶辨識訓練模式 掃描與所述人的所述面部區(qū)域有關的所述圖像數(shù)據(jù)的候選區(qū)域； 對于在膚色范圍內(nèi)的每一像素，累加樣本像素數(shù)據(jù)； 在掃描所述候選區(qū)域中的所有像素之后 計算膚色閾值；以及 計算所述經(jīng)取樣的像素數(shù)據(jù)的測量膚色的平均值和方差； 對于在所述膚色閾值內(nèi)的每一像素樣本，通過以下操作選擇性地累加似然值 測量所述樣本像素到所述平均值的距離； 比較所述距離與所述方差； 當所述距離在所述方差內(nèi)時 累加水平和垂直似然值； 在完成所述似然值的所述選擇性累加時 配置動態(tài)閾值以找到所述水平和垂直似然值中的每一者中的峰值區(qū)段； 基于對所述動態(tài)閾值的評估來檢測峰值水平區(qū)段和峰值垂直區(qū)段；以及 基于所述峰值水平區(qū)段和所述峰值垂直區(qū)段來確定所估計的中心像素位置。
9.根據(jù)權利要求8所述的方法，其進一步包括復位所述經(jīng)取樣的像素數(shù)據(jù)的所述所測量膚色的所述平均值和所述方差。
10.根據(jù)權利要求8所述的方法，其進一步包括證實所述中心像素位置在所述人的所述面部區(qū)域內(nèi)。
11.根據(jù)權利要求8所述的方法，其進一步包括最初基于所述面部的前一位置來搜索所述候選區(qū)域。
12.根據(jù)權利要求8所述的方法，其中所述膚色閾值與特定人相關聯(lián)。
13.—種設備,其包括 皮膚顏色檢測器，其經(jīng)配置以檢測人在對應于由攝影機俘獲的圖像的圖像數(shù)據(jù)內(nèi)的皮膚顏色區(qū)域； 面部檢測器，其經(jīng)配置以基于所述人的所述檢測到的皮膚顏色區(qū)域來檢測所述圖 像的面部區(qū)域；以及 視點檢測器，其經(jīng)配置以至少部分基于所檢測到的皮膚顏色區(qū)域來檢測所述人相對于耦合到所述攝影機的裝置的顯示器的視點，其中所述視點檢測器進一步經(jīng)配置以基于所述檢測到的面部區(qū)域來跟蹤所述人的面部位置； 其中所述圖像內(nèi)的對象響應于所述人的所述檢測到的視點而移動。
14.根據(jù)權利要求13所述的裝置，其中所述皮膚顏色區(qū)域是基于對應于皮膚顏色的色度平均值和色度方差值來檢測的。
15.根據(jù)權利要求13所述的裝置，其進一步包括所述顯示器和所述攝影機，且其中所述皮膚顏色檢測器在圖像處理管線內(nèi)，所述圖像處理管線經(jīng)耦合以從所述攝影機接收所述圖像數(shù)據(jù)且將顯示內(nèi)容提供到所述顯示器。
16.根據(jù)權利要求13所述的裝置，其中跟蹤所述面部位置包含通過以下操作估計所述人的所述面部區(qū)域的中心像素位置 響應于用戶辨識訓練模式 掃描與所述人的所述面部區(qū)域有關的圖像數(shù)據(jù)的候選區(qū)域； 對于在膚色范圍內(nèi)的每一像素，累加樣本像素數(shù)據(jù)； 在掃描所述候選區(qū)域中的所有像素之后 計算膚色閾值；以及 計算所述經(jīng)取樣的像素數(shù)據(jù)的測量膚色的平均值和方差； 對于在所述膚色閾值內(nèi)的每一像素樣本，通過以下操作選擇性地累加似然值 測量所述樣本像素到所述平均值的距離； 比較所述距離與所述方差； 當所述距離在所述方差內(nèi)時 累加水平和垂直似然值； 在完成所述似然值的所述選擇性累加時 配置動態(tài)閾值以找到所述水平和垂直似然值中的每一者中的峰值區(qū)段； 基于對所述動態(tài)閾值的評估來檢測峰值水平區(qū)段和峰值垂直區(qū)段；以及 基于所述峰值水平區(qū)段和所述峰值垂直區(qū)段來確定所估計的中心像素位置。
17.一種存儲可由計算機執(zhí)行的代碼的計算機可讀有形媒體，所述代碼包括 可由所述計算機執(zhí)行以接收對應于由攝影機俘獲的圖像的圖像數(shù)據(jù)的代碼； 可由所述計算機執(zhí)行以確定人相對于耦合到所述攝影機的裝置的顯示器的視點的代碼，其中所述確定所述人的視點的代碼包括可由所述計算機執(zhí)行以基于所述人的所確定的皮膚顏色區(qū)域確定所述人的面部區(qū)域的代碼以及基于所述面部區(qū)域來跟蹤所述人的面部位置的代碼；以及 可由所述計算機執(zhí)行以響應于所述人的所述檢測到的視點而移動所述圖像內(nèi)的對象的代碼。
18.根據(jù)權利要求17所述的計算機可讀有形媒體，其進一步包括可由所述計算機執(zhí)行以執(zhí)行用戶辨識訓練過程以基于所述人的皮膚顏色來確定對應于所述人的所述皮膚顏色的色度平均值和色度方差值的代碼。
19.根據(jù)權利要求17所述的計算機可讀有形媒體，其中確定所述人的所述視點的所述代碼進一步包括可由所述計算機執(zhí)行以檢測所述面部區(qū)域內(nèi)的眼睛以確認面部在所述面部區(qū)域內(nèi)的位置的代碼。
20.根據(jù)權利要求17所述的計算機可讀有形媒體，其進一步包括用于通過以下操作估計所述人的所述面部區(qū)域的中心像素位置的代碼 響應于用戶辨識訓練模式 掃描與所述人的所述面部區(qū)域有關的圖像數(shù)據(jù)的候選區(qū)域； 對于在膚色范圍內(nèi)的每一像素，累加樣本像素數(shù)據(jù)； 在掃描所述候選區(qū)域中的所有像素之后 計算膚色閾值；以及 計算所述經(jīng)取樣的像素數(shù)據(jù)的測量膚色的平均值和方差； 對于在所述膚色閾值內(nèi)的每一像素樣本，通過以下操作選擇性地累加似然值 測量所述樣本像素到所述平均值的距離； 比較所述距離與所述方差； 當所述距離在所述方差內(nèi)時 累加水平和垂直似然值； 在完成所述似然值的所述選擇性累加時 配置動態(tài)閾值以找到所述水平和垂直似然值中的每一者中的峰值區(qū)段； 基于對所述動態(tài)閾值的評估來檢測峰值水平區(qū)段和峰值垂直區(qū)段；以及 基于所述峰值水平區(qū)段和所述峰值垂直區(qū)段來確定所估計的中心像素位置。
21.根據(jù)權利要求20所述的計算機可讀有形媒體，其進一步包括可由所述計算機執(zhí)行以復位所述經(jīng)取樣的像素數(shù)據(jù)的所述測量膚色的所述平均值和所述方差的代碼。
22.根據(jù)權利要求20所述的計算機可讀有形媒體，其進一步包括可由所述計算機執(zhí)行以證實所述中心像素位置在所述人的所述面部區(qū)域內(nèi)的代碼。
23.根據(jù)權利要求20所述的計算機可讀有形媒體，其進一步包括可由所述計算機執(zhí)行以最初基于所述面部的前一位置搜索所述候選區(qū)域的代碼。
24.—種設備,其包括 用于接收對應于由攝影機俘獲的圖像的圖像數(shù)據(jù)的裝置； 用于確定人相對于耦合到所述攝影機的裝置的顯示器的視點的裝置，其中所述用于確定所述視點的裝置包括用于基于所述人的所確定的皮膚顏色區(qū)域確定所述人的面部區(qū)域的裝置以及用于基于所述面部區(qū)域來跟蹤所述人的面部位置的裝置；以及用于響應于所述人的所述檢測到的視點而移動所述圖像內(nèi)的對象的裝置。
25.根據(jù)權利要求24所述的裝置，其中所述人的所述皮膚顏色區(qū)域是基于對應于皮膚顏色的色度平均值和色度方差值來確定的。
26.根據(jù)權利要求24所述的裝置，其中所述用于跟蹤所述面部位置的裝置包含通過以下操作估計所述面部區(qū)域的中心像素位置 響應于用戶辨識訓練模式 掃描與所述人的所述面部區(qū)域有關的圖像數(shù)據(jù)的候選區(qū)域； 對于在膚色范圍內(nèi)的每一像素，累加樣本像素數(shù)據(jù)； 在掃描所述候選區(qū)域中的所有像素之后 計算膚色閾值；以及 計算所述經(jīng)取樣的像素數(shù)據(jù)的測量膚色的平均值和方差； 對于在所述膚色閾值內(nèi)的每一像素樣本，通過以下操作選擇性地累加似然值 測量所述樣本像素到所述平均值的距離； 比較所述距離與所述方差； 當所述距離在所述方差內(nèi)時 累加水平和垂直似然值； 在完成所述似然值的所述選擇性累加時 配置動態(tài)閾值以找到所述水平和垂直似然值中的每一者中的峰值區(qū)段； 基于對所述動態(tài)閾值的評估來檢測峰值水平區(qū)段和峰值垂直區(qū)段；以及 基于所述峰值水平區(qū)段和所述峰值垂直區(qū)段來確定所估計的中心像素位置。
全文摘要
在特定說明性實施例中，揭示一種基于皮膚顏色區(qū)域和面部區(qū)域來確定人的視點的方法。所述方法包含接收對應于由攝影機俘獲的圖像的圖像數(shù)據(jù)，所述圖像包含將在耦合到所述攝影機的裝置處顯示的至少一個對象。所述方法進一步包含確定所述人相對于耦合到所述攝影機的所述裝置的顯示器的視點?？赏ㄟ^基于所述人的所確定的皮膚顏色區(qū)域來確定所述人的面部區(qū)域以及基于所述面部區(qū)域來跟蹤所述人的面部位置來確定所述人的視點。在所述顯示器處顯示的一個或一個以上對象可響應于所述人的所確定的視點而移動。
文檔編號G06K9/00GK102859534SQ201180020144
公開日2013年1月2日 申請日期2011年4月22日 優(yōu)先權日2010年4月22日
發(fā)明者畢寧, 齊英勇, 周清 申請人:高通股份有限公司