專利名稱：圖像處理裝置、圖像處理方法和計算機程序的制作方法
技術領域：
本發(fā)明涉及一種使用矩形濾波器從圖像檢測期望物體的圖像處理裝置、圖像處理方法和計算機程序，更具體地講，涉及一種當使用積分圖像計算矩形特征時減少存儲緩沖器量的圖像處理裝置、圖像處理方法和計算機程序。
背景技術：
當執(zhí)行例如面部識別的物體檢測時，濾波器用作提取圖像的特征量的單元。如果單獨使用這個濾波器，則它可以僅僅用作“弱鑒別器(或弱學習器)”，該屬性稍好于隨機并且例如使用正號/負號指示是否可以從圖像識別期望物體(例如，被攝體的面部或微笑的面部)。然而，通過線性耦合多個弱鑒別器，可以建立更強的鑒別器(例如，見日本未審專利申請公開 No. 2009-140369)。
使用矩形濾波器或基于Haar基的Haar類濾波器作為獨立弱鑒別器。矩形濾波器是一種包括黑矩形和白矩形的組合的簡單結(jié)構。弱鑒別器根據(jù)通過在檢索區(qū)域上疊加矩形濾波器獲得的矩形特征確定是否檢測到物體，即根據(jù)同黑矩形對應的區(qū)域內(nèi)的亮度值的和與同白矩形對應的區(qū)域內(nèi)的亮度值的和之間的差是否大于閾值來確定是否檢測到物體。
為了迅速計算矩形特征，提出了一種使用作為中間圖像的積分圖像的方法(例如，見Paul Viola&Michael Jones“ Robust Real-TimeFace Detection" (International Journal of Computer Vision, 2004)) 0積分圖像是通過圖像特征量的累積和(即積分像素值)表示輸入圖像的像素點的圖像。例如，如果輸入圖像是亮度圖像，則積分圖像是通過亮度積分值表示輸入圖像內(nèi)的每個像素點(χ，y)的積分像素值的圖像，其中所述亮度積分值是基于對在對角線上具有輸入圖像的原點(0，0)和像素點(X，y)作為頂點的矩形內(nèi)的所有像素點的亮度值進行積分獲得的。如果使用積分圖像，則可以簡單地計算圖像內(nèi)的某矩形區(qū)域的亮度值的和。因此，在矩形濾波器(1次微分濾波器)包括一個白矩形和一個黑矩形的情況下，如果使用積分圖像迅速計算同白矩形對應的區(qū)域的亮度值的和與同黑矩形對應的區(qū)域的亮度值的和，則可以通過從前者的和減去后者的和來獲得矩形特征。
如果當在輸入圖像上掃描矩形濾波器時使用積分圖像，則可以迅速計算矩形特征。然而，由于為了保持產(chǎn)生的積分圖像需要大小與輸入圖像相同的存儲緩沖器，所以例如在硬件安裝過程中出現(xiàn)問題。例如，如果處理包括640X480像素的視頻圖形陣列(VGA)， 則需要用于輸入圖像的307. 2千字節(jié)緩沖器(在8比特的情況下)以及用于積分圖像的 1，228，800字節(jié)(1. 2兆字節(jié)如果1個像素由4個字節(jié)進行表示)緩沖器。

發(fā)明內(nèi)容
期望提供一種能夠適于使用矩形濾波器從圖像中檢測期望物體的優(yōu)良的圖像處理裝置和圖像處理方法以及計算機程序。
期望提供一種當使用積分圖像計算矩形特征時能夠減少存儲緩沖器量的優(yōu)良的圖像處理裝置和圖像處理方法以及計算機程序。
根據(jù)本發(fā)明的一個實施例，提供了一種圖像處理裝置，包括掃描單元，被構造為在待檢測的圖像上掃描檢索窗口 ；以及鑒別單元，被構造為在每個掃描位置對檢索窗口的圖像應用用于檢測期望的物體的一個或更多個矩形濾波器以計算一個或更多個矩形特征， 以及基于獲得的一個或更多個矩形特征來鑒別是否檢測到物體，其中，掃描單元在每個掃描位置產(chǎn)生與檢索窗口的大小對應的積分圖像并且將積分圖像保持在預定的存儲緩沖器中，以及其中，鑒別單元使用保持在存儲緩沖器中的積分圖像，對于每個掃描位置處的檢索窗口的圖像計算矩形特征。
當移動掃描位置時，掃描單元可以從存儲緩沖器丟棄在接下來的掃描位置不需要的區(qū)域的積分圖像，計算新加到檢索窗口的區(qū)域的積分圖像，并且將計算的積分圖像添加并保持在存儲緩沖器中。
當移動掃描位置時，掃描單元可以將與在接下來的掃描位置新加到檢索窗口的區(qū)域相鄰的區(qū)域的積分圖像繼續(xù)保持在存儲緩沖器中，并且可以使用保持在存儲緩沖器中的所述相鄰的區(qū)域的積分圖像來遞歸地計算新加到檢索窗口的區(qū)域的積分圖像。
當在當前掃描行上移動掃描位置時，掃描單元可以將剛好在下一個掃描行之前的一個像素或更多個像素的像素寬度的像素行的積分圖像繼續(xù)保持在存儲緩沖器中，并且可以在下一個掃描行上的每個掃描位置使用保持的像素行的積分圖像來遞歸地計算檢索窗口的區(qū)域的積分圖像。
當在垂直方向上在待檢測的圖像上執(zhí)行掃描時，掃描單元可以在每個掃描行產(chǎn)生與檢索窗口的寬度對應的一列的區(qū)域的積分圖像。
當在水平方向上在待檢測的圖像上執(zhí)行掃描時，掃描單元可以在每個掃描行產(chǎn)生與檢索窗口的高度對應的一行的區(qū)域的積分圖像。
根據(jù)本發(fā)明的另一個實施例，提供了一種圖像處理方法，包括如下步驟在待檢測的圖像上掃描檢索窗口，在每個掃描位置產(chǎn)生與檢索窗口的大小對應的積分圖像，并且將積分圖像保持在預定的存儲緩沖器中；以及在每個掃描位置對檢索窗口的圖像應用用于檢測期望的物體的一個或更多個矩形濾波器，使用保持在存儲緩沖器中的積分圖像計算一個或更多個矩形特征，并且基于獲得的一個或更多個矩形特征來鑒別是否檢測到物體。
根據(jù)本發(fā)明的另一個實施例，提供了一種以計算機可讀格式進行描述從而在計算機上執(zhí)行從待檢測的圖像檢測期望的物體的處理的計算機程序，所述計算機程序使得計算機起到以下部件的作用掃描部件，被構造為在待檢測的圖像上掃描檢索窗口，在每個掃描位置產(chǎn)生與檢索窗口的大小對應的積分圖像，并且將積分圖像保持在預定的存儲緩沖器中；以及鑒別部件，被構造為在每個掃描位置對檢索窗口的圖像應用用于檢測期望的物體的一個或多更個矩形濾波器，使用保持在存儲緩沖器中的積分圖像計算一個或更多個矩形特征，并且基于獲得的一個或更多個矩形特征來鑒別是否檢測到物體。
本發(fā)明的計算機程序定義了一種以計算機可讀格式進行描述從而在計算機上實現(xiàn)預定處理的計算機程序。換言之，通過安裝本發(fā)明的計算機程序，在計算機上執(zhí)行協(xié)作操作從而可以獲得與本發(fā)明的圖像處理裝置相同的效果。
根據(jù)本發(fā)明，在使用矩形濾波器的物體檢測中，可以提供一種優(yōu)良的圖像處理裝置、圖像處理方法和計算機程序，它們可以減少當計算矩形特征時使用的用于保持積分圖像的存儲緩沖器量。
4 根據(jù)本發(fā)明，在使用矩形濾波器的物體檢測處理中，使用積分圖像迅速計算矩形特征。然而，由于在每個掃描位置產(chǎn)生與檢索窗口的大小對應的部分積分圖像，所以存儲緩沖器的容量與部分積分圖像的大小一致。同保持與待檢測的整個圖像的大小對應的積分圖像的情況相比，可以明顯減少用于積分圖像的存儲緩沖器的容量。
根據(jù)本發(fā)明，由于當掃描時對于新包括在檢索窗口中的區(qū)域計算積分圖像并且把積分圖像添加并保持在存儲緩沖器中，并且同時繼續(xù)在存儲緩沖器中保持與已經(jīng)計算的檢索窗口對應的積分圖像之中的在接下來的掃描位置仍必需的值，所以可以減少積分圖像的計算量。
根據(jù)本發(fā)明，使用已經(jīng)計算的與目標像素點相鄰的像素點的積分像素值來遞歸地計算加到存儲緩沖器的區(qū)域的積分圖像?？梢院喕繕讼袼攸c的積分圖像的計算。
根據(jù)本發(fā)明，由于使用當在前一掃描行上移動掃描位置時保持的像素行的積分圖像來遞歸地計算檢索窗口的區(qū)域的積分圖像，所以可以簡化積分圖像的計算。存儲緩沖器的容量與能夠保持檢索窗口的積分圖像和像素行的大小對應。因此，同保持與待檢測的整個圖像的大小對應的積分圖像的情況相比，可以明顯減少存儲容量。
根據(jù)本發(fā)明，存儲緩沖器的容量同能夠保持與檢索窗口的寬度對應的一列的積分圖像的大小對應。因此，同保持與待檢測的整個圖像的大小對應的積分圖像的情況相比，可以明顯減少存儲容量。
根據(jù)本發(fā)明，存儲緩沖器的容量同能夠保持與檢索窗口的寬度對應的一行的積分圖像的大小對應。因此，同保持與待檢測的整個圖像的大小對應的積分圖像的情況相比，可以明顯減少存儲容量。
基于本發(fā)明的下面實施例或者附圖的詳細描述，本發(fā)明的其它目的、特征和優(yōu)點將變得清楚。


圖IA是示出矩形濾波器的結(jié)構例子(1次微分濾波器)的圖； 圖IB是示出矩形濾波器的結(jié)構例子O次微分濾波器)的圖； 圖IC是示出矩形濾波器的結(jié)構例子(3次微分濾波器)的圖； 圖ID是示出矩形濾波器的結(jié)構例子(拉普拉斯濾波器)的圖； 圖2A是示出被應用到矩形濾波器之前的輸入圖像的圖； 圖2B是示出對圖2A所示的輸入圖像應用1次微分垂直濾波器的結(jié)果的圖； 圖2C是示出應用到圖2A所示的輸入圖像的1次微分垂直濾波器的圖； 圖3是示出使用多個矩形濾波器從輸入圖像檢測物體的順序處理的示意圖； 圖4是示出計算應用到用于垂直/水平方向的矩形濾波器的積分圖像的方法的圖； 圖5是示出從三個相鄰像素點的積分像素值和目標像素點的亮度值計算目標像素點的積分像素值的方法的圖； 圖6是示出使用用于垂直/水平矩形濾波器的積分圖像迅速計算圖像內(nèi)的某矩形區(qū)域內(nèi)的亮度值的和的方法的圖； 圖7是示出計算應用到用于傾斜方向的矩形濾波器的積分圖像的方法的圖； 圖8是示出了根據(jù)三個相鄰像素點的積分像素值和目標像素點的亮度值來計算目標像素點的積分像素值的方法的圖； 圖9是示出使用用于傾斜矩形濾波器的積分圖像來迅速計算圖像內(nèi)的某矩形區(qū)域內(nèi)的亮度值的和的圖； 圖10是示出根據(jù)本發(fā)明的一個實施例的物體檢測裝置10的功能結(jié)構的示意性框圖； 圖11是示出縮放單元產(chǎn)生縮小的圖像的狀態(tài)； 圖12是示出掃描單元在輸入圖像上掃描具有預定的窗口大小的檢索窗口 S的狀態(tài)的圖； 圖13是示出鑒別單元的結(jié)構的圖； 圖14A是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖14B是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖14C是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖14D是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖14E是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖14F是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖14G是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖15是示出當輸入圖像的垂直方向(Y方向)是掃描行時所需的存儲緩沖器的容量的圖； 圖16是示出當輸入圖像的水平方向(X方向)是掃描行時所需的存儲緩沖器的容量的圖； 圖17是示出通過用于垂直/水平方向的矩形濾波器使用積分圖像計算矩形特征的順序處理的流程圖； 圖18是示出一種狀態(tài)的圖，其中，如果輸入圖像的垂直方向是掃描方向，則對于每個掃描行產(chǎn)生與檢索窗口的寬度對應的積分圖像并且保持在存儲緩沖器中，即，批量地產(chǎn)生與檢索窗口的寬度對應的1個掃描行的積分圖像并且將積分圖像保持在存儲緩沖器中； 圖19是示出一種狀態(tài)的圖，其中，如果輸入圖像的垂直方向是掃描方向，則對于每個掃描行產(chǎn)生與檢索窗口的高度對應的積分圖像并且保持在存儲緩沖器中，即，批量地產(chǎn)生與檢索窗口的高度對應的1個掃描行的積分圖像并且將積分圖像保持在存儲緩沖器中； 圖20A是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖20B是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖20C是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖20D是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖20E是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖20F是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖； 圖20G是示出用于在輸入圖像的每個掃描位置新計算積分像素值的區(qū)域和用于在存儲緩沖器中保持積分像素值的區(qū)域的圖；以及 圖21是示出使用積分圖像通過用于傾斜方向的矩形濾波器來計算矩形特征的順序處理的流程圖。
具體實施例方式將在下文中參照附圖詳細描述本發(fā)明的實施例。
基于Haar基的矩形濾波器是包括黑矩形和白矩形的組合的二維濾波器。微分次數(shù)根據(jù)黑矩形和白矩形的數(shù)目而變化。矩形濾波器主要劃分成白矩形和黑矩形排列在垂直方向或水平方向的用于垂直/水平方向的矩形濾波器和白矩形和黑矩形排列在傾斜方向上的用于傾斜方向的矩形濾波器(在本發(fā)明中，為了簡化說明，僅僅使用了在傾斜方向上傾斜士 45度的傾斜濾波器)。
圖IA到圖IC示出了矩形濾波器。1次微分濾波器可以從輸入圖像提取從白變成黑或從黑變成白的特征(見圖1A)。2次微分濾波器可以從輸入圖像提取按照白一黑一白的順序或者黑一白一黑的順序進行變化的特征(見圖1B)。3次微分濾波器可以從輸入圖像提取按照白一黑一白一黑的順序進行復雜變化的特征(見圖1C)。此外，可以使用圖ID所示的拉普拉斯濾波器。在圖像識別領域，通過將黑和白矩形的方向和大小改變0度、45度、 90度和135度來提取物體的特征的方法是公知的。
圖2B示出了對圖2A所示的輸入圖像應用圖2C所示的1次微分垂直濾波器的結(jié)果。從該附圖可以看出如果使用在垂直方向上具有黑和白矩形邊界的垂直濾波器，則可以從輸入圖像提取垂直方向的邊緣。盡管沒有示出，但是如果使用在水平方向上具有黑和白矩形邊界的水平濾波器，則可以從輸入圖像提取水平方向的邊緣。
圖IA到圖ID所示的每個矩形濾波器都可以是一個弱鑒別器。弱鑒別器通過確定在檢索區(qū)域上疊加矩形濾波器獲得矩形特征，即根據(jù)同黑矩形對應的區(qū)域內(nèi)的亮度值的和與同白矩形對應的區(qū)域內(nèi)的亮度值的和之間的差是否大于閾值，來確定是否檢測到物體。 例如，使用眼睛區(qū)域的亮度值低于面頰區(qū)域的亮度值的學習結(jié)果，有一定概率能基于矩形特征從輸入圖像鑒別面部區(qū)域。盡管單個弱鑒別器僅稍微好于隨機，但是可以通過線性耦合多個弱鑒別器來建立更強的鑒別器。這個鑒別系統(tǒng)通常劃分成學習階段和識別階段，并且從大量的圖像采樣和矩形特征執(zhí)行統(tǒng)計學習。例如，可以采用boosting(Adaboost)作為學習概要。
如上所述，如果使用積分圖像，則可以迅速計算矩形特征。圖3示意性示出了基于矩形特征檢測物體的順序處理。
首先，從輸入圖像準備積分圖像。由于對于垂直/水平矩形濾波器和對于傾斜方向矩形濾波器準備積分圖像的方法不同(以后描述)，所以對于垂直/水平矩形濾波器和對于傾斜方向矩形濾波器準備兩種類型的積分圖像。
接下來，在輸入圖像上掃描每個矩形濾波器，對每個掃描位置(x，y)的矩形特征求和(或者加權求和)，并且計算檢測得分F(x，y)。通過使用積分圖像，可以在每個掃描位置迅速計算矩形特征(見圖6、圖9和下面說明)。當檢測得分達到一定閾值或更大時，確定在那個掃描位置(X，y)檢測到期望物體。
例如，使用統(tǒng)計學習器(例如，boosting或支持向量機(SVM))預先學習檢測得分 F(x,y)的閾值。在使用boosting的情況下，如果從掃描位置(x，y)的第i個矩形濾波器獲得的矩形特征設置為 \(χ，》，則檢測得分？(1 y)被描述為方程(1)。盡管方程(1)是普通算術平均，但是可以對每個矩形特征fi(x，y)進行加權求和以獲得檢測得分F(χ，y)(以后描述)O 方程1
權利要求
1.一種圖像處理裝置，包括掃描單元，被構造為在待檢測的圖像上掃描檢索窗口 ；以及鑒別單元，被構造為在每個掃描位置對檢索窗口的圖像應用用于檢測期望物體的一個或更多個矩形濾波器，從而計算一個或更多個矩形特征，以及基于所獲得的一個或更多個矩形特征來鑒別是否檢測到物體，其中，掃描單元在每個掃描位置產(chǎn)生與檢索窗口的大小對應的積分圖像并且將積分圖像保持在預定的存儲緩沖器中，以及其中，鑒別單元使用保持在存儲緩沖器中的積分圖像，對于每個掃描位置處的檢索窗口的圖像計算矩形特征。
2.根據(jù)權利要求1的圖像處理裝置，其中，當移動掃描位置時，掃描單元從存儲緩沖器丟棄在接下來的掃描位置不需要的區(qū)域的積分圖像，計算新加到檢索窗口的區(qū)域的積分圖像，并且將計算的積分圖像添加并保持在存儲緩沖器中。
3.根據(jù)權利要求2的圖像處理裝置，其中，當移動掃描位置時，掃描單元將與在接下來的掃描位置新加到檢索窗口的區(qū)域相鄰的區(qū)域的積分圖像繼續(xù)保持在存儲緩沖器中，并且使用保持在存儲緩沖器中的所述相鄰的區(qū)域的積分圖像遞歸地計算新加到檢索窗口的區(qū)域的積分圖像。
4.根據(jù)權利要求2的圖像處理裝置，其中，當在當前掃描行上移動掃描位置時，掃描單元將剛好在下一個掃描行之前的一個像素或更多個像素的像素寬度的像素行的積分圖像繼續(xù)保持在存儲緩沖器中，并且在下一個掃描行上的每個掃描位置使用保持的像素行的積分圖像遞歸地計算檢索窗口的區(qū)域的積分圖像。
5.根據(jù)權利要求1的圖像處理裝置，其中，當在垂直方向上在待檢測的圖像上執(zhí)行掃描時，掃描單元在每個掃描行產(chǎn)生與檢索窗口的寬度對應的一列的區(qū)域的積分圖像。
6.根據(jù)權利要求1的圖像處理裝置，其中，當在水平方向上在待檢測的圖像上執(zhí)行掃描時，掃描單元在每個掃描行產(chǎn)生與檢索窗口的高度對應的一行的區(qū)域的積分圖像。
7.一種圖像處理方法，包括如下步驟在待檢測的圖像上掃描檢索窗口，在每個掃描位置產(chǎn)生與檢索窗口的大小對應的積分圖像，并且將積分圖像保持在預定的存儲緩沖器中；以及在每個掃描位置對檢索窗口的圖像應用用于檢測期望的物體的一個或更多個矩形濾波器，使用保持在存儲緩沖器中的積分圖像計算一個或更多個矩形特征，并且基于獲得的一個或更多個矩形特征來鑒別是否檢測到物體。
8.一種以計算機可讀格式進行描述從而在計算機上執(zhí)行從待檢測的圖像檢測期望的物體的處理的計算機程序，所述計算機程序使得計算機起到以下部件的作用掃描部件，被構造為在待檢測的圖像上掃描檢索窗口，在每個掃描位置產(chǎn)生與檢索窗口的大小對應的積分圖像，并且將積分圖像保持在預定的存儲緩沖器中；以及鑒別部件，被構造為在每個掃描位置對檢索窗口的圖像應用用于檢測期望的物體的一個或更多個矩形濾波器，使用保持在存儲緩沖器中的積分圖像計算一個或更多個矩形特征，并且基于獲得的一個或更多個矩形特征來鑒別是否檢測到物體。
全文摘要
本發(fā)明涉及圖像處理裝置、圖像處理方法和計算機程序。一種圖像處理裝置，包括掃描單元，被構造為在待檢測的圖像上掃描檢索窗口；以及鑒別單元，被構造為在每個掃描位置對檢索窗口的圖像應用用于檢測期望的物體的一個或更多個矩形濾波器以計算一個或更多個矩形特征，以及基于獲得的一個或更多個矩形特征來鑒別是否檢測到物體。掃描單元在每個掃描位置產(chǎn)生與檢索窗口的大小對應的積分圖像并且將積分圖像保持在預定的存儲緩沖器中，以及鑒別單元使用保持在存儲緩沖器中的積分圖像，對于每個掃描位置處的檢索窗口的圖像計算矩形特征。
文檔編號G06K9/46GK102194119SQ20111004069
公開日2011年9月21日 申請日期2011年2月18日 優(yōu)先權日2010年3月1日
發(fā)明者橫野順 申請人:索尼公司