解決圖像形變的結構的制作方法
【專利摘要】本發(fā)明提供的解決圖像形變的結構，其特征在于，包括幀圖像提供模塊、數據傳輸模塊、第一RAM選擇模塊、第二RAM選擇模塊、相關性模塊、RAM存儲陣列、直方圖統(tǒng)計模塊、鎖幀狀態(tài)控制模塊、圖像檢測模塊；本發(fā)明提供的解決圖像形變的結構，適用于兩張或兩張以上相鄰間具有部分重疊的圖像相關性計算，且圖像無旋轉。用ASIC的方式實現了高速、低成本、計算量小且流水化的結構。
【專利說明】解決圖像形變的結構
【技術領域】
[0001]本發(fā)明涉及圖像識別領域，尤其涉及解決圖像形變的結構。
【背景技術】
[0002]圖像拼接技術通過將一組具有部分重疊的圖像進行無縫拼接而得到超寬視角的圖像。這一類技術的出現使采集圖像的設備更普通化。近年來這一技術在視頻處理領域、醫(yī)學圖像處理領域、指紋領域和軍事領域中均有廣泛的應用。因此，研究并提出一種精確而快速的圖像拼接算法具有十分重要的現實意義。
[0003]現有的圖像拼接技術拼接完成的圖像幾何形變較為嚴重。這在對于后端處理時的很多環(huán)節(jié)都會造成嚴重的影響，直接影響到圖像識別率。且在估計相鄰圖像片的冗余度的過程中，現有的方法太消耗硬件資源，或者需要消耗較長的處理時間，從而使產品的性價比降低。

【發(fā)明內容】

[0004]為解決上述技術問題，本發(fā)明提供的解決圖像形變的結構，其特征在于，包括幀圖像提供模塊、數據傳輸模塊、第一 RAM選擇模塊、第二 RAM選擇模塊、相關性模塊、RAM存儲陣列、直方圖統(tǒng)計模塊、鎖幀狀態(tài)控制模塊、圖像檢測模塊；
[0005]所述鎖幀狀態(tài)控制模塊根據相關性模塊計算出的偏移量數據、圖像檢測模塊提供的圖像檢測信號、直方圖統(tǒng)計模塊提供的下限灰度門限值，判斷此幀是否需要鎖幀或釋放鎖中貞，輸出鎖巾貞控制信號給第一 RAM選擇模塊和第二 RAM選擇模塊；
[0006]所述鎖幀狀態(tài)控制模塊判斷此幀是否需要鎖幀或釋放鎖幀的依據為:若兩幀圖像在采集對象相對于采集窗口的主要移動方向上的位移沒達到規(guī)定的閾值，則丟棄當前幀，采用下一幀圖像代替當前幀與模板幀進行相關性計算，模板幀為當前鎖幀的那一幀；若兩幀圖像之間的位移達到了規(guī)定的閾值，則輸出當前進行相關性計算的模板幀，把當前幀轉換成模板幀鎖定，進行下一輪相關性計算。
[0007]所述RAM存儲陣列由四個或四個以上的RAM組成；所述RAM存儲陣列的分配為:
[0008]至少用一個RAM存儲當前正在進行相關性計算的當前幀圖像數據，定義為當前幀RAM ;至少用一個RAM存儲當前正在進行相關性計算的模板幀圖像數據，定義為模板幀RAM ；至少用一個RAM存儲當前正在采集的幀圖像數據，定義為輸入幀RAM ;至少用一個RAM存儲當前釋放鎖幀傳出的圖像數據，定義為輸出幀RAM;還可以包含一個RAM存儲當前相關性矩陣，定義為相關性矩陣RAM。
[0009]所述幀圖像提供模塊提供采集到的每一幀圖像，并將幀圖像通過第一 RAM選擇模塊選擇放入RAM存儲陣列中的輸入幀RAM ；
[0010]所述數據傳輸模塊傳輸相關性數據、偏移量數據、幀圖像；
[0011]所述第一 RAM選擇模塊將接收的幀圖像數據選擇放入RAM存儲陣列中的輸入幀RAM中，并將當前幀RAM和模板幀RAM中的選定數據傳入相關性模塊；所述第二 RAM選擇模塊對輸出幀RAM讀地址、讀數據和讀使能進行處理和中轉；
[0012]所述直方圖統(tǒng)計模塊實時求出每一幀圖像數據的原始直方圖，再根據直方圖分別求出其對應下限灰度門限；
[0013]所述圖像檢測模塊通過實時采集的幀圖像數據及相關性模塊計算出的相關性數據判斷采集對象相對于采集窗口的狀態(tài)。
[0014]所述RAM存儲陣列的存儲規(guī)則為:
[0015]在釋放鎖幀情況下，存放模板幀RAM變?yōu)榇娣泡敵鰩琑AM，輸出被釋放的模板幀；存放當前幀RAM變?yōu)榇娣拍０鍘琑AM，成為下一次相關性計算比對的位移模板；存放輸入幀RAM變?yōu)榇娣女斍皫琑AM，和模板幀進行相關性計算；存放輸出幀RAM變?yōu)榇娣泡斎霂琑AM ；
[0016]在鎖幀情況下，存放當前幀的RAM和存放輸入幀的RAM互換，將當前幀RAM變?yōu)檩斎霂琑AM，并丟棄當前幀，把輸入幀變?yōu)楫斍皫鲞\算。
[0017]所述判斷此幀是否需要鎖幀或釋放鎖幀的依據還包括:若圖像檢測模塊提供的圖像檢測信號為采集窗口未采集到有效采集對象，則此時始終更新鎖幀，并清零鎖幀計數；
[0018]若圖像檢測模塊提供的圖像檢測信號為采集窗口采集到有效采集對象但采集對象未開始移動，則判斷直方圖統(tǒng)計的前后兩幀下限灰度門限的差值是否達到閾值；或兩幀數據有相關性偏移量；或當鎖幀計數達到規(guī)定的閾值時，判定當前幀強制更新鎖幀，并清零鎖幀計數；
[0019]若圖像檢測模塊提供的圖像檢測信號為采集窗口采集到有效采集對象且采集對象開始移動，且此時水平或垂直偏移量之和大于以鎖幀計數的增大而減小的閾值分量時，更新鎖幀，并清零鎖幀計數。
[0020]所述模塊幀和當前幀之間間隔有幀數，其間隔的幀數取決于鎖幀判斷；若當前模板幀和當前幀滿足釋放鎖幀條件，釋放鎖幀之后模板幀和當前幀之間的幀數為O ;若當前模板幀和當前幀不滿足釋放鎖幀要求，釋放鎖幀之后模板幀和當前幀之間的幀數大于等于
1
[0021]所述相關性模塊根據接收的第一 RAM選擇模塊傳來的模板幀和當前幀計算兩幀圖像的相關性；若所述模板幀為兩幀圖像中參照不動的那一幀，則所述當前幀為兩幀圖像中參照模板幀上下左右移動的另一幀圖像。根據模板幀和當前幀的覆蓋情況，選取兩幀圖像覆蓋區(qū)域的部分或全部數據，將兩幀圖像覆蓋區(qū)域中的一一對應的數據求差值平方之和得到當前覆蓋情況下的相關性運算結果；
[0022]兩幀圖像在所有覆蓋情況下的相關性運算結果組成相關性矩陣；所述相關性矩陣由相關性模塊輸出到RAM存儲陣列存儲及偏移量跟蹤模塊，并由偏移量跟蹤模塊計算兩幀圖像的偏移量數據。
[0023]所述相關性數據包括相關性矩陣的最大值、最小值及其坐標；所述偏移量數據包括參與運算的兩幀圖像的水平或垂直方向的偏移量，水平和垂直方向的速度、水平和垂直方向的速度權重。
[0024]所述閾值為根據試驗得到的經驗值。
[0025]本發(fā)明提供的解決圖像形變的結構，適用于兩張或兩張以上相鄰間具有部分重疊的圖像相關性計算，且圖像無旋轉。用ASIC的方式實現了高速、低成本、計算量小且流水化的結構。利用此方法拼接的圖像，由于算法精度高、誤差小，能明顯的糾正有圖像錯位、圖像形變、短圖像、圖像拖尾等現象，為后續(xù)處理打好基礎；尤其適合指紋類商業(yè)產品的推廣。
【專利附圖】

【附圖說明】
[0026]圖1為本發(fā)明鎖幀機制下的模塊架構圖；
[0027]圖2為各個幀圖像數據在采集流程上的先后順序示意圖；
[0028]圖3為本發(fā)明RAM存儲陣列中各RAM的跳轉關系圖，其中圖3_1為鎖幀和解除鎖幀時各RAM的跳轉關系圖，圖3-2為在釋放鎖幀情況下RAM的轉換圖，圖3_3為在鎖幀情況下RAM的轉換圖。
【具體實施方式】
[0029]下面結合附圖來說明本發(fā)明的優(yōu)選實施例，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0030]如圖1所示，解決圖像形變的結構，包括幀圖像提供模塊1、數據傳輸模塊2、第一RAM選擇模塊3、第二 RAM選擇模塊4、相關性模塊5、RAM存儲陣列6、直方圖統(tǒng)計模塊7、鎖幀狀態(tài)控制模塊8、圖像檢測模塊9。
[0031]幀圖像提供模塊I提供采集到的每一幀圖像，并將幀圖像通過第一RAM選擇模塊3選擇放入RAM存儲陣列6中的輸入幀RAM。數據傳輸模塊2傳輸相關性數據、幀圖像、閾值參數。第一 RAM選擇模塊3將接收的幀圖像數據放入RAM存儲陣列6中的輸入幀RAM中，并對幀圖像提供模塊I提供的RAM讀寫地址、讀寫數據、讀寫使能信號進行處理和中轉。第二 RAM選擇模塊4對數據傳輸模塊2提供的RAM讀地址和讀使能進行處理和中轉。
[0032]相關性模塊5計算當前幀的相關性數據和偏移量數據，其方法為接收第一 RAM選擇模塊3傳來的兩幀圖像，并將兩幀圖像分別設為模板幀和當前幀，若所述模板幀為兩幀圖像中參照不動的那一幀，則所述當前幀為兩幀圖像中參照模板幀上下左右移動的另一幀圖像。根據模板幀和當前幀的覆蓋情況，選取兩幀圖像覆蓋區(qū)域的一部分或全部數據，將兩幀圖像覆蓋區(qū)域中的一一對應的數據求差值平方之和得到當前覆蓋情況下的相關性運算結果；兩幀圖像在各種覆蓋情況下的相關性運算結果組成兩幀圖像的相關性矩陣。所述相關性數據包括相關性矩陣的最大值、最小值及其坐標。
[0033]相關性模塊5將相關性數據并行輸出到數據傳輸模塊2、圖像檢測模塊9和鎖幀狀態(tài)控制模塊8，并將相關性矩陣輸出到RAM存儲陣列6。相關性模塊5對相關性矩陣進行偏移量計算，得到當前幀的偏移量數據，所述偏移量數據包括參與運算的兩幀水平或垂直方向的偏移量，水平和垂直方向的速度、水平和垂直方向的速度權重等。
[0034]RAM存儲陣列6用于循環(huán)存儲幀圖像或相關性矩陣及其他數據，由四個或四個以上RAM組成。RAM存儲陣列6分配為:至少用一個RAM存儲當前正在進行相關性計算的當前幀圖像數據，定義為當前幀RAM ;至少用一個RAM存儲當前正在進行相關性計算的模板幀圖像數據，定義為模板幀RAM ;至少用一個RAM存儲當前正在采集的幀圖像數據，定義為輸入幀RAM ;至少用一個RAM存儲當前釋放鎖幀傳出的圖像數據，定義為輸出幀RAM ;還可以包含一個RAM存儲當前相關性矩陣，定義為相關性矩陣RAM。
[0035]直方圖統(tǒng)計模塊7實時求出每一幀圖像數據的原始直方圖，再根據直方圖分別求出其對應的下限灰度門限LTH。[0036]下限灰度門限值的求取方法為:設定一個閾值灰度greyTH和下限灰度門限比例low_Rate，其中閾值灰度greyTH為在圖像灰度范圍內任意選取的整數，下限灰度門限比例low_Rate為O到I的任意小數。實時統(tǒng)計每一巾貞圖像的直方圖，求出低于閾值灰度greyTH像素個數總和為cnt_th,則下限灰度門限LTH為:從零開始計數到cnt_thX low_Rate處的像素灰度。
[0037]圖像檢測模塊9通過實時采集的幀圖像數據及相關性模塊5計算出的相關性數據判斷采集對象相對于采集窗口的狀態(tài)，包括:采集窗口采集到有效采集對象、采集窗口未采集到有效采集對象及采集對象在采集窗口上移動等狀態(tài)。
[0038]例如在刮擦式指紋傳感器中，檢測到手指，即為檢測到有效采集對象。
[0039]鎖幀狀態(tài)控制模塊8在相關性模塊5每幀的相關性計算中判斷此幀是否需要鎖幀或釋放鎖幀，輸出鎖幀控制信號給第一 RAM選擇模塊3和第二 RAM選擇模塊4。鎖幀狀態(tài)控制模塊8判斷此幀是否需要鎖幀或釋放鎖幀的依據為:若兩幀圖像在采集對象相對于采集窗口的主要移動方向上的位移沒達到規(guī)定的閾值，則丟棄當前幀，采用下一幀圖像代替當前幀并與模板幀參與相關性計算，此時的模板幀為當前鎖幀的那一幀；若兩幀圖像之間的位移達到了規(guī)定的閾值，則輸出當前進行相關性計算的模板幀，再把當前幀轉換成模板幀鎖定，進行下一輪相關性計算。所述規(guī)定的閾值為根據試驗得到的經驗值。
[0040]在每一幀數據判斷完圖像檢測后，鎖幀狀態(tài)控制模塊8開始工作。鎖幀狀態(tài)控制模塊8根據相關性模塊計算出的偏移量數據、圖像檢測模塊提供的圖像檢測信號及直方圖統(tǒng)計模塊提供的下限灰度門限LTH，得出是否更新鎖幀和鎖幀計數。更新鎖幀的條件為:如果圖像檢測模塊9提供的圖像檢測信號為采集窗口未采集到有效采集對象，則此時始終更新鎖幀，并清零鎖幀計數。若圖像檢測模塊9提供的圖像檢測信號為采集窗口采集到有效采集對象但采集對象未開始移動，則判斷直方圖統(tǒng)計的前后兩幀下限灰度門限的差值是否達到閾值；或兩幀數據在采集對象相對于采集窗口的主要移動方向上有偏移量，即相關性模塊計算出水平或垂直偏移量不為零；或當鎖幀計數達到規(guī)定的閾值時，判定當前幀強制更新鎖幀，并清零鎖幀計數。若圖像檢測模塊提供的圖像檢測信號為采集窗口采集到有效采集對象且開始移動，且此時水平和垂直偏移量之和大于以鎖幀計數的增大而減小的閾值分量時，更新鎖幀，并清零鎖幀計數。
[0041]如圖2所示為各個幀圖像數據在采集流程上的先后順序示意圖，其中模板幀和當前幀之間間隔的幀數取決于鎖幀判斷，如果當前模板幀和當前幀滿足釋放鎖幀要求，釋放鎖幀之后模板幀和當前幀之間的幀數為0，如果當前模板幀和當前幀不滿足釋放鎖幀要求，釋放鎖幀之后模板幀和當前幀之間的幀數大于等于I。因此模板幀可能是很早以前采集的圖像數據被鎖存，和當前幀進行相關性計算。
[0042]如圖3所示，在釋放鎖幀情況下，存放模板幀RAM變?yōu)榇娣泡敵鰩琑AM，輸出被釋放的模板幀；存放當前幀RAM變?yōu)榇娣拍０鍘琑AM，成為下一次相關性計算的比對位移模板；存放輸入幀RAM變?yōu)榇娣女斍皫琑AM，和模板幀進行相關性計算；存放輸出幀RAM變?yōu)榇娣泡斎霂琑AM。此過程順序輪循轉換。
[0043]在鎖幀情況下，存放當前幀的RAM和存放輸入幀的RAM互換。即當前幀RAM變?yōu)檩斎霂琑AM，即丟棄當前幀,把輸入幀變?yōu)楫斍皫鲞\算。
[0044]本發(fā)明提供的解決圖像形變的結構用ASIC的方式實現了高速、低成本、計算量小且流水化的結構。利用此方法拼接的圖像，由于算法精度高、誤差小，能明顯的糾正有圖像錯位、圖像形變、短圖像、圖像拖尾等現象，為后續(xù)處理打好基礎；尤其適合指紋類商業(yè)產品的推廣。
[0045]本領域的技術人員在不脫離權利要求書確定的本發(fā)明的精神和范圍的條件下，還可以對以上內容進行各種各樣的修改。因此本發(fā)明的范圍并不僅限于以上的說明，而是由權利要求書的范圍來確定的。
【權利要求】
1.解決圖像形變的結構，其特征在于，包括幀圖像提供模塊、數據傳輸模塊、第一RAM選擇模塊、第二 RAM選擇模塊、相關性模塊、RAM存儲陣列、直方圖統(tǒng)計模塊、鎖幀狀態(tài)控制模塊、圖像檢測模塊； 所述鎖幀狀態(tài)控制模塊根據相關性模塊計算出的偏移量數據、圖像檢測模塊提供的圖像檢測信號、直方圖統(tǒng)計模塊提供的下限灰度門限值，判斷此幀是否需要鎖幀或釋放鎖幀，輸出鎖幀控制信號給第一 RAM選擇模塊和第二 RAM選擇模塊； 所述鎖幀狀態(tài)控制模塊判斷此幀是否需要鎖幀或釋放鎖幀的依據為:若兩幀圖像在采集對象相對于采集窗口的主要移動方向上的位移沒達到規(guī)定的閾值，則丟棄當前幀，采用下一幀圖像代替當前幀與模板幀進行相關性計算，模板幀為當前鎖幀的那一幀；若兩幀圖像之間的位移達到了規(guī)定的閾值，則輸出當前進行相關性計算的模板幀，把當前幀轉換成模板幀鎖定，進行下一輪相關性計算。
2.根據權利要求1所述的解決圖像形變的結構，其特征在于，所述幀圖像提供模塊提供采集到的每一幀圖像，并將幀圖像通過第一 RAM選擇模塊選擇放入RAM存儲陣列中的輸入幀RAM ； 所述數據傳輸模塊傳輸相關性數據、偏移量數據、幀圖像； 所述第一 RAM選擇模塊將接收的幀圖像數據選擇放入RAM存儲陣列中的輸入幀RAM中，并將當前幀RAM和模 板幀RAM中的選定數據傳入相關性模塊；所述第二 RAM選擇模塊對輸出幀RAM讀地址、讀數據和讀使能進行處理和中轉；所述直方圖統(tǒng)計模塊實時求出每一幀圖像數據的原始直方圖，再根據直方圖分別求出其對應下限灰度門限； 所述圖像檢測模塊通過實時 采集的幀圖像數據及相關性模塊計算出的相關性數據判斷采集對象相對于采集窗口的狀態(tài)。
3.根據權利要求1或2所述的解決圖像形變的結構，其特征在于，所述RAM存儲陣列由四個或四個以上的RAM組成；所述RAM存儲陣列的分配為: 至少用一個RAM存儲當前正在進行相關性計算的當前幀圖像數據，定義為當前幀RAM ；至少用一個RAM存儲當前正在進行相關性計算的模板幀圖像數據，定義為模板幀RAM ;至少用一個RAM存儲當前正在采集的幀圖像數據，定義為輸入幀RAM ;至少用一個RAM存儲當前釋放鎖幀傳出的圖像數據，定義為輸出幀RAM;還可以包含一個RAM存儲當前相關性矩陣，定義為相關性矩陣RAM。
4.根據權利要求3所述的解決圖像形變的結構，其特征在于，所述RAM存儲陣列的存儲規(guī)則為: 在釋放鎖幀情況下，存放模板幀RAM變?yōu)榇娣泡敵鰩琑AM，輸出被釋放的模板幀；存放當前幀RAM變?yōu)榇娣拍０鍘琑AM，成為下一次相關性計算的比對的位移模板；存放輸入幀RAM變?yōu)榇娣女斍皫琑AM，和模板幀進行相關性計算；存放輸出幀RAM變?yōu)榇娣泡斎霂琑AM ； 在鎖幀情況下，存放當前幀的RAM和存放輸入幀的RAM互換，將當前幀RAM變?yōu)檩斎霂琑AM,并丟棄當前幀，把輸入幀變?yōu)楫斍皫鲞\算。
5.根據權利要求1所述的解決圖像形變的結構，其特征在于，所述判斷此幀是否需要鎖幀或釋放鎖幀的依據還包括:若圖像檢測模塊提供的圖像檢測信號為采集窗口未采集到有效采集對象，則此時始終更新鎖幀，并清零鎖幀計數； 若圖像檢測模塊提供的圖像檢測信號為采集窗口采集到有效采集對象但采集對象未開始移動，則判斷直方圖統(tǒng)計的前后兩幀下限灰度門限的差值是否達到閾值；或兩幀數據在采集對象相對于采集窗口的主要移動方向上有偏移量；或當鎖幀計數達到規(guī)定的閾值時，判定當前幀強制更新鎖幀，并清零鎖幀計數； 若圖像檢測模塊提供的圖像檢測信號為采集窗口采集到有效采集對象且采集對象開始移動，且此時水平和垂直偏移量之和大于以鎖幀計數的增大而減小的閾值分量時，更新鎖幀，并清零鎖幀計數。
6.根據權利要求1所述的解決圖像形變的結構，其特征在于，所述模塊幀和當前幀之間間隔有幀數，其間隔的幀數取決于鎖幀判斷；若當前模板幀和當前幀滿足釋放鎖幀條件，釋放鎖幀之后模板幀和當前幀之間的幀數為O ;若當前模板幀和當前幀不滿足釋放鎖幀要求，釋放鎖幀之后模板幀和當前幀之間的幀數大于等于I。
7.根據權利要求1或6所述的解決圖像形變的結構，其特征在于，所述相關性模塊根據接收的第一 RAM選擇模塊傳來的模板幀和當前幀計算兩幀圖像的相關性；若所述模板幀為兩幀圖像中參照不動的那一幀，則所述當前幀為兩幀圖像中參照模板幀上下左右移動的另一幀圖像。根據模板幀和當前幀的覆蓋情況，選取兩幀圖像覆蓋區(qū)域的部分或全部數據，將兩幀圖像覆蓋區(qū)域中的一一對應的數據求差值平方之和得到當前覆蓋情況下的相關性運算結果； 兩幀圖像在所有覆蓋情況下的相關性運算結果組成相關性矩陣；所述相關性矩陣由相關性模塊輸出到RAM存儲陣列存儲及偏移量跟蹤模塊，并由偏移量跟蹤模塊計算兩幀圖像的偏移量數據。
8.根據權利要求1所述的解決圖像形變的結構，其特征在于，所述相關性數據包括相關性矩陣的最大值、最小值及其坐標；所述偏移量數據包括參與運算的兩幀圖像的水平或垂直方向的偏移量，水平和`垂直方向的速度、水平和垂直方向的速度權重。
【文檔編號】G06T1/00GK103679623SQ201210345140
【公開日】2014年3月26日 申請日期:2012年9月18日 優(yōu)先權日:2012年9月18日
【發(fā)明者】張婭舸 申請人:成都方程式電子有限公司