專(zhuān)利名稱(chēng)：基于運(yùn)動(dòng)估計(jì)的掃描指紋圖像重構(gòu)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理和匹配技術(shù)領(lǐng)域，特別涉及視頻編碼的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)，采用亞像素精度的可變塊匹配多幀運(yùn)動(dòng)估計(jì)的方法，實(shí)現(xiàn)滑動(dòng)式指紋傳感器的圖像重構(gòu)。
背景技術(shù)：
由于指紋特征的唯一性和穩(wěn)定性，指紋識(shí)別技術(shù)很早便應(yīng)用在刑偵領(lǐng)域，并且已經(jīng)取得了巨大的成功。近年來(lái)各種領(lǐng)域身份認(rèn)證的需求不斷增長(zhǎng)，并且隨著公眾地逐步接受和認(rèn)可，自動(dòng)指紋識(shí)別系統(tǒng)(AFIS)技術(shù)必將在民用市場(chǎng)得到更為廣泛的應(yīng)用。自動(dòng)指紋識(shí)別技術(shù)的應(yīng)用和推廣又是和指紋傳感器技術(shù)的發(fā)展密切相關(guān)的。傳統(tǒng)的指紋傳感器一般通過(guò)將手指靠近或按壓在傳感器上來(lái)檢測(cè)指紋，因此傳感器的尺寸一般相對(duì)于指紋要大一些。為了滿(mǎn)足結(jié)構(gòu)緊湊、體積更小的需求，一種通過(guò)在傳感器表面滑動(dòng)手指檢測(cè)指紋的微型傳感器便應(yīng)運(yùn)而生?；瑒?dòng)式指紋傳感器作為傳統(tǒng)型傳感器的”縮微”版本，橫向尺寸不變(300或256像素)，縱向僅取2～32行，利用整個(gè)手指掃過(guò)傳感器來(lái)形成連續(xù)的圖像，再用軟件重建指紋圖像。這種傳感器體積小、功耗低、價(jià)格便宜且耐受汗?jié)n影響，適于應(yīng)用在手機(jī)、智能電話(huà)、PDA或移動(dòng)存儲(chǔ)設(shè)備等場(chǎng)合。但是，目前已有的軟件重構(gòu)的指紋圖像，存在不同程度的失真和變形，影響了后續(xù)識(shí)別算法的精度，因此限制著滑動(dòng)式指紋傳感器進(jìn)一步的推廣應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明采用亞像素精度的可變塊匹配多幀運(yùn)動(dòng)估計(jì)的方法，實(shí)時(shí)地、準(zhǔn)確地計(jì)算出連續(xù)掃描圖像的運(yùn)動(dòng)向量，變換得到不同的幀之間離散的相對(duì)位移，重建指紋圖像。
基于運(yùn)動(dòng)估計(jì)的掃描指紋圖像重構(gòu)方法，包括步驟緩存并實(shí)時(shí)地更新連續(xù)掃描的圖像；預(yù)測(cè)圖像的運(yùn)動(dòng)向量，動(dòng)態(tài)地選取參考宏塊，確定預(yù)測(cè)匹配塊所在的幀及其位置，對(duì)預(yù)測(cè)匹配塊所在的幀圖像作插值，在預(yù)測(cè)匹配塊的鄰域內(nèi)搜索最佳匹配塊，得到亞像素精度的運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)向量；自適應(yīng)調(diào)整運(yùn)動(dòng)搜索范圍；變換連續(xù)幀圖像的運(yùn)動(dòng)向量，拼接指紋圖像。
還包括步驟緩存連續(xù)掃描的圖像，并且實(shí)時(shí)地更新，這種方式實(shí)時(shí)地清除已完成拼接的圖像，只保存相應(yīng)幀的運(yùn)動(dòng)向量和重建的指紋圖像，有效地減輕了存儲(chǔ)的壓力，并且滿(mǎn)足實(shí)時(shí)性要求。
還包括步驟假定在局部范圍內(nèi)，滑動(dòng)的手指以勻速或勻加速運(yùn)動(dòng)，預(yù)測(cè)圖像的運(yùn)動(dòng)向量。
還包括步驟根據(jù)預(yù)測(cè)運(yùn)動(dòng)向量的數(shù)值，動(dòng)態(tài)地選取參考宏塊，這種選取宏塊的方法，可以得到更加精確的分?jǐn)?shù)形式的運(yùn)動(dòng)向量。
還包括步驟亞像素精度的運(yùn)動(dòng)估計(jì)的像素插值，這種方法可以得到半像素或1/4像素精度的運(yùn)動(dòng)向量。
還包括步驟以運(yùn)動(dòng)向量和預(yù)測(cè)向量的差值作為反饋量，自適應(yīng)調(diào)整搜索匹配塊的范圍，這種方法的優(yōu)勢(shì)在于，當(dāng)手指滑動(dòng)的速度變化較大時(shí)，既能夠保證快速地搜索到最佳匹配塊，又能夠避免搜索陷入局部最優(yōu)點(diǎn)。還包括步驟變換連續(xù)幀圖像的運(yùn)動(dòng)向量，得到不同的幀之間離散的相對(duì)位移，拼接指紋圖像，這種方法充分利用了掃描圖像有限的垂直分辨率，有效地解決了因運(yùn)動(dòng)向量水平分量較小而難以準(zhǔn)確描述掃描圖像左右偏移的問(wèn)題。


圖1是基于運(yùn)動(dòng)估計(jì)的掃描指紋圖像重構(gòu)方法的實(shí)現(xiàn)過(guò)程圖。
圖2是可變塊匹配多幀運(yùn)動(dòng)估計(jì)示意圖。
圖3是運(yùn)動(dòng)向量計(jì)算流程圖。
圖4是掃描指紋圖像重構(gòu)結(jié)果1的圖。
圖5是掃描指紋圖像重構(gòu)結(jié)果2的圖。
具體實(shí)施例方式
這種基于運(yùn)動(dòng)估計(jì)的掃描指紋圖像重構(gòu)方法的實(shí)現(xiàn)過(guò)程如圖1所示，具體步驟如下(1-1)分割定位手指掃過(guò)傳感器的起始位置，方法是統(tǒng)計(jì)連續(xù)掃描圖像的對(duì)比度直方圖，迭代選取閾值，以此判斷是背景還是指紋圖像，輔助硬件檢測(cè)定位掃描指紋圖像的起始位置；(1-2)緩存連續(xù)掃描的圖像。以8行傳感器為例，緩存10幀連續(xù)掃描的圖像，并且實(shí)時(shí)地更新；(1-3)計(jì)算緩存的連續(xù)圖像的運(yùn)動(dòng)向量；(1-4)拼接指紋圖像。充分利用掃描圖像有限的垂直分辨率，變換連續(xù)幀圖像的運(yùn)動(dòng)向量，得到不同的幀之間離散的相對(duì)位移，根據(jù)位移關(guān)系拼接相應(yīng)的幀，重建指紋圖像。以8行傳感器為例，表1所示為運(yùn)動(dòng)向量垂直分量轉(zhuǎn)換的結(jié)果，對(duì)應(yīng)幀的水平分量疊加，即可得到水平分量的轉(zhuǎn)換結(jié)果。實(shí)際上，根據(jù)一般人手指的滑動(dòng)速度，可以設(shè)定掃描圖像的采樣頻率，使得運(yùn)動(dòng)向量的垂直分量在 之間，即用戶(hù)手指的滑動(dòng)速度差異為12倍，可以滿(mǎn)足多數(shù)應(yīng)用場(chǎng)合的需要。本發(fā)明對(duì)8行傳感器的最大適用范圍在 之間，即可以容忍最大差別為63倍的速度范圍。
(1-5)更新緩存并判斷手指掃描是否終止。清除已完成拼接的圖像，更新緩存，采用同步驟(1)動(dòng)態(tài)閾值分割的方法，并結(jié)合運(yùn)動(dòng)向量判斷，如手指停止滑動(dòng)，則重構(gòu)過(guò)程結(jié)束，否則轉(zhuǎn)步驟(2)。
圖2的可變塊匹配多幀運(yùn)動(dòng)估計(jì)，利用兩幅掃描圖像來(lái)說(shuō)明——當(dāng)前幀和預(yù)測(cè)匹配塊所在的幀，亞像素精度的運(yùn)動(dòng)估計(jì)需要對(duì)預(yù)測(cè)匹配塊所在的幀進(jìn)行像素插值，參考宏塊在當(dāng)前幀動(dòng)態(tài)地選取，搜索最佳匹配塊的范圍選取在插值得到的像素陣上預(yù)測(cè)匹配塊的鄰域，在下面的運(yùn)動(dòng)向量計(jì)算步驟中，將會(huì)詳細(xì)地描述這種運(yùn)動(dòng)估計(jì)的過(guò)程。
運(yùn)動(dòng)向量計(jì)算假定每幀圖像中的所有像素做同一運(yùn)動(dòng)，則當(dāng)前幀的運(yùn)動(dòng)向量可以用圖像宏塊的運(yùn)動(dòng)向量來(lái)表示。
圖3是運(yùn)動(dòng)向量計(jì)算流程。具體實(shí)現(xiàn)步驟如下(3-1)計(jì)算初始運(yùn)動(dòng)向量。在圖像的當(dāng)前幀選取M×N像素的子塊，作為初始運(yùn)動(dòng)估計(jì)的參考宏塊，設(shè)傳感器的分辨率為C×L，則可以取M＝C-2P，N＝1～L-1，其中P＝8～16。采用全搜索算法(FSA)，在上一幀搜索到與參考宏塊最匹配的宏塊，塊匹配的準(zhǔn)則為絕對(duì)平均誤差準(zhǔn)則(MAE)，即尋找灰度絕對(duì)平均誤差最小的圖像宏塊。參考宏塊與匹配塊在二維平面上的位移即為初始運(yùn)動(dòng)向量。如果預(yù)測(cè)運(yùn)動(dòng)向量的垂直分量小于或等于1，則重新選取參考宏塊，隔幀搜索匹配塊，參考宏塊與匹配塊在二維平面上的位移除以間隔的幀數(shù)即得到初始運(yùn)動(dòng)向量。
(3-2)預(yù)測(cè)運(yùn)動(dòng)向量。假定在局部范圍內(nèi)，滑動(dòng)的手指以勻速或勻加速運(yùn)動(dòng)。以8行傳感器為例，在當(dāng)前幀以前1～18幀的局部范圍內(nèi)，若假定為勻速運(yùn)動(dòng)，則預(yù)測(cè)運(yùn)動(dòng)向量為局域內(nèi)運(yùn)動(dòng)向量的加權(quán)平均值；若假定為勻加速運(yùn)動(dòng)，則首先加權(quán)平均局域內(nèi)運(yùn)動(dòng)向量的前向差值，結(jié)果再與當(dāng)前幀前1～6幀的運(yùn)動(dòng)向量的均值求和，得到預(yù)測(cè)運(yùn)動(dòng)向量。由于在下面的步驟中，采用動(dòng)態(tài)地選取宏塊和搜索反饋的機(jī)制，這兩種假定是等效的，實(shí)驗(yàn)結(jié)果亦證明了這兩種假定的有效性。如果當(dāng)前幀為初始3次緩存的幀，則預(yù)測(cè)運(yùn)動(dòng)向量選取初始運(yùn)動(dòng)向量。
(3-3)動(dòng)態(tài)地選取參考宏塊。由于采用亞像素精度和多幀運(yùn)動(dòng)估計(jì)的方法，可以根據(jù)預(yù)測(cè)運(yùn)動(dòng)向量的數(shù)值，選取合適的可變參考宏塊。
(3-4)根據(jù)預(yù)測(cè)運(yùn)動(dòng)向量和參考宏塊的大小確定預(yù)測(cè)匹配塊所在的幀及其位置。
(3-5)對(duì)預(yù)測(cè)匹配塊所在的幀圖像作亞像素精度的運(yùn)動(dòng)估計(jì)的像素插值。采用雙線(xiàn)性插值法，得到半像素或 像素位置的點(diǎn)，形成以 像素或 像素為間距的像素陣。
(3-6)計(jì)算運(yùn)動(dòng)向量。采用絕對(duì)平均誤差準(zhǔn)則，在插值得到的像素陣上預(yù)測(cè)匹配塊的鄰域內(nèi)搜索最佳匹配塊。參考宏塊與最佳匹配塊在二維平面上的位移即為亞像素精度的多幀運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)向量。對(duì)于隔幀搜索的匹配塊，運(yùn)動(dòng)向量需除以間隔的幀數(shù)。
(3-7)自適應(yīng)調(diào)整運(yùn)動(dòng)搜索范圍。以運(yùn)動(dòng)向量和預(yù)測(cè)向量的差值作為反饋量，自適應(yīng)地調(diào)整運(yùn)動(dòng)估計(jì)搜索最佳匹配塊的范圍。
圖4的掃描指紋圖像重構(gòu)結(jié)果1，平均運(yùn)動(dòng)向量垂直分量為1.49像素/幀，根據(jù)我們?cè)O(shè)定的掃描圖像的采樣頻率，這個(gè)數(shù)據(jù)接近于一般人的手指滑動(dòng)速度，水平分量為0.02像素/幀，表示左右偏移較小，圖示左側(cè)為原始的連續(xù)掃描圖像及其局部放大圖，右側(cè)為利用我們的方法重構(gòu)指紋圖像的結(jié)果。
圖5的掃描指紋圖像重構(gòu)結(jié)果2，平均運(yùn)動(dòng)向量垂直分量為2.02像素/幀，相對(duì)于一般人的手指滑動(dòng)速度較快，水平分量為0.35像素/幀，表明左右偏移較大，圖示左側(cè)為原始的連續(xù)掃描圖像及其局部放大圖，右側(cè)為利用我們的方法重構(gòu)指紋圖像的結(jié)果。
由圖4和圖5的圖像重構(gòu)結(jié)果可以看出，本發(fā)明適應(yīng)手指掃描變化的范圍較大，重構(gòu)指紋圖像的效果好，具有很強(qiáng)的實(shí)用性。

表1運(yùn)動(dòng)向量垂直分量變換表
權(quán)利要求
1.基于運(yùn)動(dòng)估計(jì)的掃描指紋圖像重構(gòu)方法，包括步驟緩存并實(shí)時(shí)地更新連續(xù)掃描的圖像；預(yù)測(cè)圖像的運(yùn)動(dòng)向量，動(dòng)態(tài)地選取參考宏塊，確定預(yù)測(cè)匹配塊所在的幀及其位置，對(duì)預(yù)測(cè)匹配塊所在的幀圖像作插值，在預(yù)測(cè)匹配塊的鄰域內(nèi)搜索最佳匹配塊，得到亞像素精度的運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)向量；自適應(yīng)調(diào)整運(yùn)動(dòng)搜索范圍；變換連續(xù)幀圖像的運(yùn)動(dòng)向量，拼接指紋圖像。
2.按權(quán)利要求1所述的方法，其特征在于，還包括步驟緩存連續(xù)掃描的圖像，并且實(shí)時(shí)地更新，這種方式實(shí)時(shí)地清除已完成拼接的圖像，只保存相應(yīng)幀的運(yùn)動(dòng)向量和重建的指紋圖像，有效地減輕了存儲(chǔ)的壓力，并且滿(mǎn)足實(shí)時(shí)性要求。
3.按權(quán)利要求1所述的方法，其特征在于，還包括步驟假定在局部范圍內(nèi)，滑動(dòng)的手指以勻速或勻加速運(yùn)動(dòng)，預(yù)測(cè)圖像的運(yùn)動(dòng)向量。
4.按權(quán)利要求1所述的方法，其特征在于，還包括步驟根據(jù)預(yù)測(cè)運(yùn)動(dòng)向量的數(shù)值，動(dòng)態(tài)地選取參考宏塊，這種選取宏塊的方法，可以得到更加精確的分?jǐn)?shù)形式的運(yùn)動(dòng)向量。
5.按權(quán)利要求1所述的方法，其特征在于，還包括步驟亞像素精度的運(yùn)動(dòng)估計(jì)的像素插值，這種方法可以得到半像素或1/4像素精度的運(yùn)動(dòng)向量。
6.按權(quán)利要求1所述的方法，其特征在于，還包括步驟以運(yùn)動(dòng)向量和預(yù)測(cè)向量的差值作為反饋量，自適應(yīng)調(diào)整搜索匹配塊的范圍，這種方法的優(yōu)勢(shì)在于，當(dāng)手指滑動(dòng)的速度變化較大時(shí)，既能夠保證快速地搜索到最佳匹配塊，又能夠避免搜索陷入局部最優(yōu)點(diǎn)。
7.按權(quán)利要求1所述的方法，其特征在于，還包括步驟變換連續(xù)幀圖像的運(yùn)動(dòng)向量，得到不同的幀之間離散的相對(duì)位移，拼接指紋圖像，這種方法充分利用了掃描圖像有限的垂直分辨率，有效地解決了因運(yùn)動(dòng)向量水平分量較小而難以準(zhǔn)確描述掃描圖像左右偏移的問(wèn)題。
8.按權(quán)利要求1所述的方法，其具體步驟如下(1-1)分割定位手指掃過(guò)傳感器的起始位置，統(tǒng)計(jì)連續(xù)掃描圖像的對(duì)比度直方圖，迭代選取閾值，以此判斷是背景還是指紋圖像；(1-2)緩存連續(xù)掃描的圖像；(1-3)計(jì)算緩存的連續(xù)圖像的運(yùn)動(dòng)向量；(1-4)拼接指紋圖像，充分利用掃描圖像有限的垂直分辨率，變換連續(xù)幀圖像的運(yùn)動(dòng)向量，得到不同的幀之間離散的相對(duì)位移，根據(jù)位移關(guān)系拼接相應(yīng)的幀，重建指紋圖像；(1-5)更新緩存并判斷手指掃描是否終止，清除已完成拼接的圖像，更新緩存，采用同步驟(1-1)動(dòng)態(tài)閾值分割的方法，并結(jié)合運(yùn)動(dòng)向量判斷，如手指停止滑動(dòng)，則重構(gòu)過(guò)程結(jié)束，否則轉(zhuǎn)步驟(1-2)。
9.按權(quán)利要求8所述的方法，運(yùn)動(dòng)向量計(jì)算假定每幀圖像中的所有像素做同一運(yùn)動(dòng)，則當(dāng)前幀的運(yùn)動(dòng)向量可以用圖像宏塊的運(yùn)動(dòng)向量來(lái)表示，具體實(shí)現(xiàn)步驟如下(3-1)計(jì)算初始運(yùn)動(dòng)向量，在圖像的當(dāng)前幀選取M×N像素的子塊，作為初始運(yùn)動(dòng)估計(jì)的參考宏塊，設(shè)傳感器的分辨率為C×L，則可以取M＝C-2P，N＝1～L-1，其中P＝8～16，采用全搜索算法，在上一幀搜索到與參考宏塊最匹配的宏塊，塊匹配的準(zhǔn)則為絕對(duì)平均誤差準(zhǔn)則，即尋找灰度絕對(duì)平均誤差最小的圖像宏塊，參考宏塊與匹配塊在二維平面上的位移即為初始運(yùn)動(dòng)向量，如果預(yù)測(cè)運(yùn)動(dòng)向量的垂直分量小于或等于1，則重新選取參考宏塊，隔幀搜索匹配塊，參考宏塊與匹配塊在二維平面上的位移除以間隔的幀數(shù)即得到初始運(yùn)動(dòng)向量；(3-2)預(yù)測(cè)運(yùn)動(dòng)向量；(3-3)動(dòng)態(tài)地選取參考宏塊；(3-4)根據(jù)預(yù)測(cè)運(yùn)動(dòng)向量和參考宏塊的大小確定預(yù)測(cè)匹配塊所在的幀及其位置；(3-5)對(duì)預(yù)測(cè)匹配塊所在的幀圖像作亞像素精度的運(yùn)動(dòng)估計(jì)的像素插值，采用雙線(xiàn)性插值法，得到半像素或 像素位置的點(diǎn)，形成以 像素或 像素為間距的像素陣；(3-6)計(jì)算運(yùn)動(dòng)向量，采用絕對(duì)平均誤差準(zhǔn)則，在插值得到的像素陣上預(yù)測(cè)匹配塊的鄰域內(nèi)搜索最佳匹配塊，參考宏塊與最佳匹配塊在二維平面上的位移即為亞像素精度的多幀運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)向量，對(duì)于隔幀搜索的匹配塊，運(yùn)動(dòng)向量需除以間隔的幀數(shù)；(3-7)自適應(yīng)調(diào)整運(yùn)動(dòng)搜索范圍，以運(yùn)動(dòng)向量和預(yù)測(cè)向量的差值作為反饋量，自適應(yīng)地調(diào)整運(yùn)動(dòng)估計(jì)搜索最佳匹配塊的范圍。
全文摘要
本發(fā)明涉及圖像處理和匹配技術(shù)領(lǐng)域，一種基于運(yùn)動(dòng)估計(jì)的掃描指紋圖像重構(gòu)方法，包括步驟分割定位手指掃過(guò)傳感器的起始和結(jié)束位置；緩存并實(shí)時(shí)地更新連續(xù)掃描的圖像；假定在局部范圍內(nèi)，滑動(dòng)的手指以勻速或勻加速運(yùn)動(dòng)，預(yù)測(cè)圖像的運(yùn)動(dòng)向量；根據(jù)預(yù)測(cè)運(yùn)動(dòng)向量，動(dòng)態(tài)地選取參考宏塊，并預(yù)測(cè)匹配塊所在的幀及其位置，進(jìn)行亞像素精度的運(yùn)動(dòng)估計(jì)的像素插值，在預(yù)測(cè)匹配塊鄰域內(nèi)搜索最佳匹配塊，得到運(yùn)動(dòng)向量；以運(yùn)動(dòng)向量和預(yù)測(cè)向量的差值作為反饋量，自適應(yīng)調(diào)整搜索匹配塊的范圍；變換連續(xù)幀圖像的運(yùn)動(dòng)向量，拼接指紋圖像。
文檔編號(hào)H04N7/32GK1889092SQ200510012049
公開(kāi)日2007年1月3日 申請(qǐng)日期2005年6月30日 優(yōu)先權(quán)日2005年6月30日
發(fā)明者王陽(yáng)生, 趙緒營(yíng), 師忠超, 漆進(jìn) 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所