專利名稱：三維控制端點的辨識方法及應用其的計算機可讀介質的制作方法
技術領域：
本發(fā)明涉及一種控制端點的辨識方法及應用該方法的裝置，且特別涉及一種三維控制端點的辨識方法及使用其的計算機可讀介質。
背景技術：
多點觸控功能是觸控屏幕接口中一項十分便利的功能，多點觸控的精神在于可以利用更貼進人類的動作習慣來操作系統(tǒng)，更加拉進人與計算機的距離。第一種已知技術的做法先定義物件特征，如拳頭的顏色特征、形狀特征或紋理特征。之后再擷取圖像。接著將物件特征與圖像中的特征區(qū)塊進行比對以找出控制端點。第二種已知技術的做法進一步利用深度特征來過濾背景以防止復雜背景所造成的誤判。第三種已知技術的做法則是找出三維控制區(qū)域，并在三維控制區(qū)域中利用深度信息與手部特征找出最接近攝影機的控制端點ο

發(fā)明內容
本發(fā)明涉及一種三維控制端點的辨識方法及使用其的計算機可讀介質。根據(jù)本發(fā)明的一方面，提出一種三維控制端點的辨識方法。三維控制端點的辨識方法包括接收深度信息，深度信息相關于圖像擷取裝置所擷取的圖像；根據(jù)深度信息產生相關于三維區(qū)塊的三維區(qū)塊信息；根據(jù)深度信息產生參考平面；根據(jù)三維區(qū)塊信息及參考平面產生連接群組；以及選擇連接群組中最接近圖像擷取裝置的三維區(qū)塊做為控制端點ο根據(jù)本發(fā)明的另一方面，提出一種計算機可讀介質。計算機可讀介質具有數(shù)個程序指令以執(zhí)行一三維控制端點的辨識方法，三維控制端點的辨識方法包括接收深度信息， 深度信息相關于圖像擷取裝置所擷取的圖像；根據(jù)深度信息產生相關于三維區(qū)塊的三維區(qū)塊信息；根據(jù)深度信息產生參考平面；根據(jù)三維區(qū)塊信息及參考平面產生連接群組；以及選擇連接群組中最接近圖像擷取裝置的三維區(qū)塊做為控制端點。為讓本發(fā)明的上述內容能更明顯易懂，下文特舉一優(yōu)選實施例，并配合附圖，作詳細說明如下


圖1繪示為一種三維控制端點的辨識系統(tǒng)。圖2繪示為一種三維控制端點的辨識方法的流程圖。圖3繪示為產生三維區(qū)塊信息的細部流程圖。圖4繪示為凸點的示意圖。圖5繪示為濾除噪聲區(qū)塊前的示意圖。圖6繪示為濾除噪聲區(qū)塊后的示意圖。圖7繪示為圖像中所有凸點的示意圖。
5
圖8繪示為圖像中所有三維區(qū)塊的示意圖。圖9繪示為產生參考平面的細部流程圖。圖10繪示為空間分布統(tǒng)計的示意圖。圖11繪示為產生連接群組的細部流程圖。圖12繪示為第一種三維區(qū)塊連接結果示意圖。圖13繪示為第二種三維區(qū)塊連接結果示意圖。圖14繪示為第三種三維區(qū)塊連接結果示意圖。圖15繪示為于二個三維區(qū)塊的連結上找出基準參考點的示意圖。圖16繪示為第一種三維區(qū)塊類型示意圖。圖17繪示為第二種三維區(qū)塊類型示意圖。圖18繪示為第三種三維區(qū)塊類型示意圖。圖19繪示為連接群組的示意圖。主要元件符號說明10 三維控制端點的辨識系統(tǒng)21 25、221 225、231 233、241 243 步驟410,410(1) ~ 410(4)凸點50 參考平面60(1)、6(K2)連接群組110:計算機120 計算機可讀介質420.420(a) ,420(b) ,420(1) ~ 420(9)三維區(qū)塊430 基準參考點
具體實施例方式為了正確地辨識出控制端點，下述實施例提供一種三維控制端點的辨識方法及使用其的計算機可讀介質。計算機可讀介質具有數(shù)個程序指令以執(zhí)行一三維控制端點的辨識方法，三維控制端點的辨識方法包括接收深度信息，深度信息相關于圖像擷取裝置所擷取的圖像；根據(jù)深度信息產生相關于三維區(qū)塊的三維區(qū)塊信息；根據(jù)深度信息產生參考平面；根據(jù)三維區(qū)塊信息及參考平面產生連接群組；以及選擇連接群組中最接近圖像擷取裝置的三維區(qū)塊做為控制端點。三維控制端點的辨識方法及計算機可讀介質請同時參照圖1及圖2，圖1繪示為一種三維控制端點的辨識系統(tǒng)，圖2繪示為一種三維控制端點的辨識方法的流程圖。三維控制端點的辨識系統(tǒng)10包括計算機110及計算機可讀介質(Computer-Readable Medium) 120。計算機可讀介質120具有數(shù)個程序指令， 供計算機110載入以執(zhí)行三維控制端點的辨識方法。計算機可讀介質120例如為磁盤、光盤、磁帶或是硬盤機。三維控制端點的辨識方法包括如下步驟首先如步驟21所示，接收深度信息。深度信息相關于一圖像擷取裝置所擷取的圖像，而圖像擷取裝置例如為紅外線攝影機或雙攝影機。接著如步驟22所示，根據(jù)深度信息產生相關于三維區(qū)塊的三維區(qū)塊信息。跟著如步驟23所示，根據(jù)深度信息產生參考平面。然后如步驟M所示，根據(jù)三維區(qū)塊信息及參考平面產生連接群組。最后如步驟25所示，從連接群組中選擇最接近圖像擷取裝置的三維區(qū)塊做為控制端點。后續(xù)將進一步分別說明產生三維區(qū)塊信息、參考平面及連接群組的步驟。產生三維區(qū)塊信息請同時參照圖3至圖8，圖3繪示為產生三維區(qū)塊信息的細部流程圖，圖4繪示為凸點的示意圖，圖5繪示為濾除噪聲區(qū)塊前的示意圖，圖6繪示為濾除噪聲區(qū)塊后的示意圖，圖7繪示為圖像中所有凸點的示意圖，圖8繪示為圖像中所有三維區(qū)塊的示意圖。前述步驟22進一步包括步驟221至225。首先如步驟221所示，根據(jù)深度信息沿水平方向及垂直方向檢測出圖像擷取裝置所擷取的圖像中所有凸點410。所謂的凸點410是指在一個圖像中存在一個相對于其他周邊更為隆起的一定高度的特征像素點(如圖4繪示)。接著如步驟222所示，根據(jù)凸點410與凸點410的周邊像素點的深度差異將圖7 繪示的凸點410擴展為圖8繪示的三維區(qū)塊420。需說明的是，步驟222系檢查凸點410周邊所有像素點的深度信息。當凸點410周邊所有像素點的深度差異在一預設范圍內時，即將凸點410周邊深度差異在一預設范圍內的像素點納入擴展范圍內，使得凸點410擴展為三維區(qū)塊420。跟著如步驟223所示，根據(jù)深度變化過濾三維區(qū)塊420中的噪聲區(qū)塊。需說明的是，步驟223也可與步驟222同步執(zhí)行。舉例來說，在圖5繪示的凸點410(1)擴展時，擴展的動作接觸到另一個凸點41(K2)。此時步驟223即將凸點410(2)與凸點410(1)的深度信息進行比對。當凸點410(2)的深度差異在一預設范圍內時，我們便會將凸點410(2)融入凸點410(1)的擴展范圍內，并且去除掉凸點410(2)擴展的權力(如圖6繪示)，而凸點 410(1)擴展為三維區(qū)塊420 (a)。相似地，當凸點410 (4)的深度差異在一預設范圍內時，我們便會將凸點410(4)融入凸點410(3)的擴展范圍內，并且去除掉凸點410(4)擴展的權力，而凸點410C3)擴展為三維區(qū)塊420(b)。藉此，我們可以簡化前述步驟222的運算次數(shù)， 并在準確度不變的前提下達到加速的效果。然后如步驟2M所示，判斷圖像中所有凸點410是否檢查完畢，如果否則重復前述步驟222及步驟223。不過在步驟223中被去除擴展的權力的凸點將不會再納入運算，如圖 5及圖6繪示的凸點410(2)及凸點41(K4)。步驟2 會重復檢查直到前述步驟221中所檢測的所有凸點410都被檢查完畢為止。接著如步驟225所示，產生相關于三維區(qū)塊420的三維區(qū)塊信息。進一步來說，當前述步驟2M找出所有三維區(qū)塊420后，步驟225系先于所有三維區(qū)塊420分別找出代表點，代表點例如為三維區(qū)塊420的重心。當三維區(qū)塊420的代表點決定后，再產生相關于代表點的三維區(qū)塊信息。產生參考平面請同時參照圖9至圖10，圖9繪示為產生參考平面的細部流程圖，圖10繪示為空間分布統(tǒng)計的示意圖。前述步驟23進一步包括步驟231至233。首先如步驟231所示，根據(jù)深度信息計算空間分布統(tǒng)計。進一步來說，步驟231通過深度信息評估圖像中每一個像素在三維空間的對應位置，進而重建一個三維場景。藉此通過三維場景可得到如圖10繪示的空間分布統(tǒng)計。在圖10中，原點表示圖像擷取裝置所在位置，而χ軸表示距離圖像擷取
7裝置的遠近，y軸則表示像素個數(shù)的多寡。由于χ軸表示距離圖像擷取裝置的遠近，因此圖 10繪示的空間分布統(tǒng)計即表示不同深度下的像素個數(shù)。接著如步驟232所示，區(qū)間平滑化及整體加權調整圖10繪示的空間分布統(tǒng)計。進一步來說，為了去除空間分布統(tǒng)計中小細節(jié)噪聲的影響，步驟232利用模糊化的作法，平滑了原始的空間分布統(tǒng)計，減輕小細節(jié)噪聲的影響。舉例來說，步驟232可選擇取一定范圍的深度區(qū)段(y軸坐標中一定大小的區(qū)域)，將深度區(qū)段所對應的像素加總后平均取得此深度區(qū)段的代表值。接著，再逐步移動此深度區(qū)段并且重復進行前述運算，讓這些噪聲不會影響到其后的運算，接下來通過與攝影機距離的關系，加權評估整體的空間分布統(tǒng)計，進而達到整體加權調整的目標。跟著如步驟233所示，過濾噪聲平面以產生參考平面。進一步來說，為了在圖10 繪示的空間分布統(tǒng)計中找出適格的參考平面，步驟233會先找出空間分布統(tǒng)計中的最高峰值y_，并以最高峰值y_為基準產生評估標準。舉例來說，以最高峰值ymax的30%為判定依據(jù)，如果有一個峰值的像素值沒有超過這個基準值則不會被選取為適合的參考平面，而被判定成噪聲平面后過濾。經(jīng)由步驟233的過濾運算后，圖10繪示的空間分布統(tǒng)計中可以發(fā)現(xiàn)I1合乎要求。步驟233再以最高峰值ymax及峰值yi為基準，分析出峰值區(qū)間內的χ軸的空間像素分布圖，分割出近似深度的不同使用者的參考平面。產生連接群組請同時圖11至圖19，圖11繪示為產生連接群組的細部流程圖，圖12繪示為第一種三維區(qū)塊連接結果示意圖，圖13繪示為第二種三維區(qū)塊連接結果示意圖，圖14繪示為第三種三維區(qū)塊連接結果示意圖，圖15繪示為于二個三維區(qū)塊的連結上找出基準參考點的示意圖，圖16繪示為第一種三維區(qū)塊類型示意圖，圖17繪示為第二種三維區(qū)塊類型示意圖，圖18繪示為第三種三維區(qū)塊類型示意圖，圖19繪示為連接群組的示意圖。當前述三維區(qū)塊信息及三維區(qū)塊信息產生完畢后，前述步驟M即可根據(jù)三維區(qū)塊信息及參考平面分析出三維區(qū)塊間的連結性，并且依照三維區(qū)塊的連結性去產生連接群組。前述步驟M進一步包括步驟241至對3。首先如步驟241所示，根據(jù)三維區(qū)塊之間的距離將距離相近的三維區(qū)塊相連接。 進一步來說，步驟241會依照三維區(qū)塊之間的距離將相近的三維區(qū)塊連接在一起，而三維區(qū)塊之間的距離可通過歐幾里德距離來計算區(qū)塊間的距離。一般來說，三維區(qū)塊420(1)至 420(3)正確的連接方向應是如圖12繪示朝向參考平面50進行連接，且三維區(qū)塊420(4)至 420(6)正確的連接方向也應是如圖12繪示朝向參考平面50進行連接。然而，如果單純地僅以歐幾里德距離來評估二個三維區(qū)塊是否相連時，則有可能會發(fā)生如圖13或圖14繪示的連接錯誤。為了避免錯誤連接的情事發(fā)生，步驟241利用歐幾里德距離找出最接近的三維區(qū)塊后，尚須通過后續(xù)步驟242檢查三維區(qū)塊間的連接是否正確。如果三維區(qū)塊間的連接無法通過步驟M2的檢查時，便需重回到步驟Ml。當回到步驟241后，則需找出次接近的三維區(qū)塊，并再次通過后續(xù)步驟242檢查。接著如步驟242所示，在相連接的二個三維區(qū)塊的連結上找出深度最低的一點做為基準參考點430，并根據(jù)基準參考點430判斷連結是否符合預設連接狀態(tài)，如果連結不符合預設連接狀態(tài)，則重復執(zhí)行步驟Ml。進一步來說，如圖15繪示，步驟241先將三維區(qū)塊 420(7)及420 (8)連線上所有的點的深度計算出來，再從這些點中找出深度最底的點，并且定義深度最底的點為基準參考點430。當深度最底的點和基準參考點430的關系如圖16繪示時，表示三維區(qū)塊420 (7)及420 (8)連結上沒有相對低的基準參考點430。這樣的連接代表沿著手部往參考平面連接，所以圖16繪示的三維區(qū)塊420 (7)及420 (8)的連結符合預設連接狀態(tài)。此外，當深度最底的點和基準參考點430的關系如圖17繪示時，表示基準參考點 430雖低于三維區(qū)塊420 (7)及420 (8)，但基準參考點430與三維區(qū)塊420 (7)及420 (8)的距離在一定的限度內。就連結的整體性看來，圖17繪示仍舊是向著參考平面進行連接，所以圖17繪示的三維區(qū)塊420 (7)及420 (8)的連結符合預設連接狀態(tài)。另外，當深度最底的點和基準參考點430的關系如圖18繪示時，表示基準參考點 430遠低于三維區(qū)塊420 (7)及420 (8)。如果三維區(qū)塊420 (7)及420 (8)分別為雙手之前端，而基準參考點430在參考平面上。此時就算三維區(qū)塊420 (7)及420 (8)靠的再近，三維區(qū)塊420(7)及420(8)間的連接關也不合乎預設連接狀態(tài)。因此三維區(qū)塊420(7)及420(8) 不會被連接。需重回到步驟對1，并找出次接近的三維區(qū)塊。同理，不論二個人靠的再近，只要其手部端點的三維區(qū)塊連線上存在一個陷落的基準參考點430，我們就不會將其連接起來。如此一來可以克服多點對應在多人意欲進行操作時彼此互相干擾的問題，以確保三維區(qū)塊間的連接符合預設的連接狀態(tài)。跟著如步驟243所示，集合彼此相連且連回參考平面的三維區(qū)塊以產生連接群組。進一步來說，如圖19繪示，如果三維區(qū)塊420(1)及420 (4)可以正確連回參考平面50 時，則三維區(qū)塊420(1)及420 (4)為合理的控制端點。相反地，如果三維區(qū)塊420 (9)無法正確連回參考平面50時，則三維區(qū)塊420(9)無法成為合理的控制端點，而為空間中的噪聲。 藉此，步驟243集合彼此相連且連回參考平面的三維區(qū)塊420(1)至420C3)以產生連接群組60(1)，并集合彼此相連且連回參考平面的三維區(qū)塊420 (4)至420 (6)以產生連接群組 60 (2) 0之后前述步驟25可在連接群組60(1)及連接群組60( 中選擇最接近圖像擷取裝置的三維區(qū)塊420(1)及420 (4)做為控制端點。本發(fā)明上述實施例所公開的三維控制端點的辨識方法及計算機可讀介質，具有多項優(yōu)點，以下僅列舉部分優(yōu)點說明如下一、在復雜背景中亦能正確地檢測出控制端點。二、不需限定使用者的操作位置及距離。三、能以人體類型趨勢找出最正確的控制端點，并將多人操作時彼此造成的影響降到最低。綜上所述，雖然本發(fā)明已以一優(yōu)選實施例公開如上，然其并非用以限定本發(fā)明。本發(fā)明所屬領域技術人員，在不脫離本發(fā)明的精神和范圍內，當可作各種的更動與潤飾。因此，本發(fā)明的保護范圍當視所附權利要求書所界定者為準。
9
權利要求
1.一種三維控制端點的辨識方法，包括接收一深度信息，該深度信息相關于一圖像擷取裝置所擷取的圖像； 根據(jù)該深度信息產生相關于多個三維區(qū)塊的多個三維區(qū)塊信息； 根據(jù)該深度信息產生至少一參考平面；根據(jù)這些三維區(qū)塊信息及該參考平面產生至少一連接群組；以及選擇該連接群組中最接近該圖像擷取裝置的三維區(qū)塊做為一控制端點。
2.如權利要求1所述的三維控制端點的辨識方法，其中產生多個三維區(qū)塊信息的該步驟包括根據(jù)該深度信息檢測出多個凸點；根據(jù)這些凸點與這些凸點的周邊像素點的深度差異將這些凸點擴展為這些三維區(qū)塊；以及產生相關于這些三維區(qū)塊的這些三維區(qū)塊。
3.如權利要求2所述的三維控制端點的辨識方法，其中產生多個三維區(qū)塊信息的該步驟還包括根據(jù)深度變化過濾這些三維區(qū)塊中的噪聲區(qū)塊。
4.如權利要求2所述的三維控制端點的辨識方法，其中產生多個三維區(qū)塊信息的該步驟還包括判斷這些凸點是否檢查完畢，如果否則重復將這些凸點擴展為這些三維區(qū)塊的該步驟ο
5.如權利要求2所述的三維控制端點的辨識方法，其中產生多個三維區(qū)塊信息的該步驟還包括于這些三維區(qū)塊中分別找出多個代表點；以及產生相關于這些代表點的這些三維區(qū)塊信息。
6.如權利要求5所述的三維控制端點的辨識方法，其中這些代表點分別為這些三維區(qū)塊的重心。
7.如權利要求1所述的三維控制端點的辨識方法，其中產生至少一參考平面的該步驟包括根據(jù)該深度信息計算一空間分布統(tǒng)計； 區(qū)間平滑化及整體加權調整該空間分布統(tǒng)計；以及過濾一噪聲平面以產生該參考平面。
8.如權利要求7所述的三維控制端點的辨識方法，其中該空間分布統(tǒng)計為不同深度所對應的像素個數(shù)。
9.如權利要求7所述的三維控制端點的辨識方法，其中過濾一噪聲平面以產生該參考平面的該步驟中根據(jù)該空間分布統(tǒng)計的最高峰值產生該參考平面。
10.如權利要求1所述的三維控制端點的辨識方法，其中產生至少一連接群組的該步驟包括根據(jù)這些三維區(qū)塊之間的距離將距離相近的三維區(qū)塊相連接； 于相連接的該二個三維區(qū)塊的一連結上找出深度最低的一點做為一基準參考點，并根據(jù)該基準參考點判斷該連結是否符合一預設連接狀態(tài)，如果該連結不符合該預設連接狀態(tài)，則重復執(zhí)行該連接步驟；以及集合彼此相連且連回該參考平面的三維區(qū)塊以產生該連接群組。
11.如權利要求10所述的三維控制端點的辨識方法，其中于該連接步驟系先將距離最接近的兩個三維區(qū)塊相連接，如果距離最接近的兩個三維區(qū)塊的連結不符合該預設連接狀態(tài)，則選擇距離次接近的兩個三維區(qū)塊。
12.—種計算機可讀介質，具有多個程序指令以執(zhí)行一三維控制端點的辨識方法，該三維控制端點的辨識方法包括接收一深度信息，該深度信息相關于一圖像擷取裝置所擷取的圖像； 根據(jù)該深度信息產生相關于多個三維區(qū)塊的多個三維區(qū)塊信息； 根據(jù)該深度信息產生至少一參考平面；根據(jù)這些三維區(qū)塊信息及該參考平面產生至少一連接群組；以及選擇該連接群組中最接近該圖像擷取裝置的三維區(qū)塊做為一控制端點。
13.如權利要求12所述的計算機可讀介質，其中產生多個三維區(qū)塊信息的該步驟包括根據(jù)該深度信息檢測出多個凸點；根據(jù)這些凸點與這些凸點的周邊像素點的深度差異將這些凸點擴展為這些三維區(qū)塊；以及產生相關于這些三維區(qū)塊的這些三維區(qū)塊信息。
14.如權利要求13所述的計算機可讀介質，其中產生多個三維區(qū)塊信息的該步驟還包括根據(jù)深度變化過濾這些三維區(qū)塊中的噪聲區(qū)塊。
15.如權利要求13所述的計算機可讀介質，其中產生多個三維區(qū)塊信息的該步驟還包括判斷這些凸點是否檢查完畢，如果否則重復將這些凸點擴展為這些三維區(qū)塊的該步馬聚ο
16.如權利要求13所述的計算機可讀介質，其中產生多個三維區(qū)塊信息的該步驟還包括于這些三維區(qū)塊中分別找出多個代表點；以及產生相關于這些代表點的這些三維區(qū)塊信息。
17.如權利要求16所述的計算機可讀介質，其中這些代表點分別為這些三維區(qū)塊的重心。
18.如權利要求12所述的計算機可讀介質，其中產生至少一參考平面的該步驟包括 根據(jù)該深度信息計算一空間分布統(tǒng)計；區(qū)間平滑化及整體加權調整該空間分布統(tǒng)計；以及過濾一噪聲平面以產生該參考平面。
19.如權利要求18所述的計算機可讀介質，其中該空間分布統(tǒng)計為不同深度所對應的像素個數(shù)。
20.如權利要求18所述的計算機可讀介質，其中過濾一噪聲平面以產生該參考平面的該步驟中根據(jù)該空間分布統(tǒng)計的最高峰值產生該參考平面。
21.如權利要求12所述的計算機可讀介質，其中產生至少一連接群組的該步驟包括 根據(jù)這些三維區(qū)塊之間的距離將距離相近的三維區(qū)塊相連接；于相連接的該二個三維區(qū)塊的一連結上找出深度最低的一點做為一基準參考點，并根據(jù)該基準參考點判斷該連結是否符合一預設連接狀態(tài)，如果該連結不符合該預設連接狀態(tài)，則重復執(zhí)行該連接步驟；以及集合彼此相連且連回該參考平面的三維區(qū)塊以產生該連接群組。
22.如權利要求21所述的計算機可讀介質，其中于該連接步驟系先將距離最接近的兩個三維區(qū)塊相連接，如果距離最接近的兩個三維區(qū)塊的連結不符合該預設連接狀態(tài)，則選擇距離次接近的兩個三維區(qū)塊。
全文摘要
一種三維控制端點的辨識方法及使用其的計算機可讀介質。三維控制端點的辨識方法包括接收深度信息，深度信息相關于圖像擷取裝置所擷取的圖像；根據(jù)深度信息產生相關于三維區(qū)塊的三維區(qū)塊信息；根據(jù)深度信息產生參考平面；根據(jù)三維區(qū)塊信息及參考平面產生連接群組；以及選擇連接群組中最接近圖像擷取裝置的三維區(qū)塊做為控制端點。
文檔編號G06F3/042GK102331883SQ20101022554
公開日2012年1月25日 申請日期2010年7月14日 優(yōu)先權日2010年7月14日
發(fā)明者廖志彬, 王科翔, 蔡曜陽, 黃捷 申請人:財團法人工業(yè)技術研究院