定位卡片區(qū)域的方法和設(shè)備的制作方法
【專利摘要】本申請(qǐng)涉及一種定位卡片區(qū)域的方法和設(shè)備，其中，該方法可以包括：在針對(duì)卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相關(guān)的目標(biāo)直線段；將所述目標(biāo)直線段組合成四邊形并從中確定候選四邊形；在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候選直線段；以及基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的特性相符的目標(biāo)四邊形定位為卡片區(qū)域。根據(jù)本申請(qǐng)的技術(shù)方案，通過(guò)利用卡片的數(shù)字序列的特性，從而驗(yàn)證復(fù)雜背景下得到的多個(gè)候選四邊形的有效性并最終確定卡片區(qū)域，進(jìn)而實(shí)現(xiàn)了在復(fù)雜的環(huán)境背景下對(duì)卡片區(qū)域的快速且精確的定位。
【專利說(shuō)明】定位卡片區(qū)域的方法和設(shè)備

【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及圖像處理領(lǐng)域，更具體地涉及一種定位卡片區(qū)域的方法和設(shè)備。

【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的發(fā)展，在線支付、手機(jī)支付等快捷支付已經(jīng)越來(lái)越普遍。在此期間， 需要銀行卡用戶直接輸入卡信息的情況越來(lái)越多。使用圖像捕捉設(shè)備獲取銀行卡卡面信 息，輔助信息快速錄入也已成為潮流趨勢(shì)。
[0003] 目前市面上的大部分此類應(yīng)用程序都難以提供令人滿意的用戶體驗(yàn)，其中很關(guān)鍵 的一點(diǎn)就是用戶使用手機(jī)拍攝卡片時(shí)，卡片定位算法無(wú)法適應(yīng)多變的復(fù)雜背景，難以快速 精確的進(jìn)行卡片定位。大部分程序往往需要用戶將卡片放置的相對(duì)簡(jiǎn)單的背景下，并且需 要手動(dòng)觸發(fā)拍照后再做檢測(cè)和識(shí)別。從交互體驗(yàn)上來(lái)說(shuō)，這樣的使用方式極其不自然的，會(huì) 導(dǎo)致用戶容忍度快速下降。
[0004] 因此，需求一種在集快速、準(zhǔn)確和便捷于一身的銀行卡信息輸入方式中快速準(zhǔn)確 定位卡片區(qū)域的方法。


【發(fā)明內(nèi)容】

[0005] 因此，本申請(qǐng)的目的在于提供一種在針對(duì)卡片拍攝的圖像幀中定位卡片區(qū)域的技 術(shù)，以克服上述缺陷。
[0006] 根據(jù)本申請(qǐng)一個(gè)方面的實(shí)施例，提供一種定位卡片區(qū)域的方法，包括：在針對(duì)卡片 拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相關(guān)的目標(biāo)直線段；將所述目標(biāo)直線段組合 成四邊形并從中確定候選四邊形；在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān) 的候選直線段；以及基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的特性 相符的目標(biāo)四邊形定位為卡片區(qū)域。
[0007] 根據(jù)本申請(qǐng)的實(shí)施例，在該方法中，所述預(yù)定義區(qū)域是基于圖像幀上的引導(dǎo)框的 四周的預(yù)定范圍。
[0008] 根據(jù)本申請(qǐng)的實(shí)施例，在該方法中，在所述圖像幀的預(yù)定義區(qū)域中確定與卡片邊 緣相關(guān)的目標(biāo)直線段進(jìn)一步包括：查找圖像幀中的預(yù)定義區(qū)域中的直線段；以及將與引導(dǎo) 框的四條邊界所形成的夾角小于第一夾角閾值的直線段確定為目標(biāo)直線段。
[0009] 根據(jù)本申請(qǐng)的實(shí)施例，在該方法中，查找圖像幀中的預(yù)定義區(qū)域中的直線段進(jìn)一 步包括：使用最小二乘法對(duì)預(yù)定義區(qū)域中的邊緣進(jìn)行直線擬合以查找到直線段。
[0010] 根據(jù)本申請(qǐng)的實(shí)施例，在該方法中，分別在候選四邊形內(nèi)的特定區(qū)域中確定與數(shù) 字序列相關(guān)的候選直線段進(jìn)一步包括：在所述四邊形的特定區(qū)域內(nèi)進(jìn)行邊緣檢測(cè)以獲取包 含邊緣信息的二值圖像；針對(duì)所述二值圖像執(zhí)行Hough變換以獲得與數(shù)字特征序列相關(guān)的 直線段；以及從直線段中確定與數(shù)字特征序列相關(guān)的候選直線段。
[0011] 根據(jù)本申請(qǐng)的實(shí)施例，該方法進(jìn)一步包括：基于目標(biāo)四邊形,獲取與該目標(biāo)四邊形 圖像相映射的矩形圖像。
[0012] 根據(jù)本申請(qǐng)的實(shí)施例，在該方法中，基于目標(biāo)四邊形,獲取與該目標(biāo)四邊形圖像相 映射的矩形圖像包括：基于目標(biāo)四邊形，獲取所述目標(biāo)四邊形到矩形的單映矩陣；以及基 于所述單映矩陣，獲取與該目標(biāo)四邊形圖像相映射的矩形圖像。
[0013] 根據(jù)本申請(qǐng)另一方面的實(shí)施例，提供一種定位卡片區(qū)域的設(shè)備，包括：第一線段 確定模塊，用于在針對(duì)卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相關(guān)的目標(biāo)直線 段；形狀確定模塊，用于將所述目標(biāo)直線段組合成四邊形并從中確定候選四邊形；第二線 段確定模塊，用于在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候選直線段； 以及卡片定位模塊，用于基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的 特性相符的目標(biāo)四邊形定位為卡片區(qū)域。
[0014] 與現(xiàn)有技術(shù)相比，根據(jù)本申請(qǐng)的技術(shù)方案，通過(guò)利用卡片的數(shù)字序列的特性，從而 驗(yàn)證復(fù)雜背景下得到的多個(gè)候選四邊形的有效性并最終確定卡片區(qū)域，進(jìn)而實(shí)現(xiàn)了在復(fù)雜 的環(huán)境背景下對(duì)卡片區(qū)域的快速且精確的定位。

【專利附圖】

【附圖說(shuō)明】
[0015] 此處所說(shuō)明的附圖用來(lái)提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申 請(qǐng)的示意性實(shí)施例及其說(shuō)明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中：
[0016] 圖1示出了根據(jù)本申請(qǐng)實(shí)施例的定位卡片區(qū)域方法的流程圖；
[0017] 圖2示出了根據(jù)本申請(qǐng)實(shí)施例的在所述圖像幀的預(yù)定義區(qū)域中查找目標(biāo)直線段 的步驟流程圖；
[0018] 圖3示意性地示出了根據(jù)本申請(qǐng)實(shí)施例的確定目標(biāo)四邊形的示意圖；
[0019] 圖4示意性地示出了根據(jù)本申請(qǐng)實(shí)施例的將卡片圖像由目標(biāo)四邊形歸一化為矩 形的示意圖；以及
[0020] 圖5示出了根據(jù)本申請(qǐng)實(shí)施例的卡片區(qū)域定位設(shè)備的框圖。

【具體實(shí)施方式】
[0021] 為使本申請(qǐng)的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本申請(qǐng)具體實(shí)施例及 相應(yīng)的附圖對(duì)本申請(qǐng)技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實(shí)施例僅是本申請(qǐng)一 部分實(shí)施例，而不是全部的實(shí)施例。基于本申請(qǐng)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做 出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請(qǐng)保護(hù)的范圍。
[0022] 參考圖1，圖1示出了根據(jù)本申請(qǐng)實(shí)施例的定位卡片區(qū)域方法的流程圖。
[0023] 在步驟S110處，在針對(duì)卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定目標(biāo)直線段。
[0024] 在本申請(qǐng)的一個(gè)應(yīng)用場(chǎng)景中，例如，當(dāng)用戶通過(guò)諸如便攜式電腦、掌上電腦、手機(jī) 之類的便攜式終端進(jìn)行在線支付而需要輸入諸如卡號(hào)、有效期等的銀行卡信息時(shí)，可以通 過(guò)便攜式終端的圖像獲取裝置例如攝像頭來(lái)識(shí)別和輸入卡信息。那么首先就需要定位卡片 區(qū)域。因此，首先要在針對(duì)所述卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定目標(biāo)直線段。
[0025]確定目標(biāo)直線段的過(guò)程如圖2所示。例如，在步驟201處，可以查找針對(duì)卡片拍攝 的圖像幀中的預(yù)定義區(qū)域中的直線段，然后在步驟2〇2處將與預(yù)定義區(qū)域的四條邊界所形 成夾角小于第一夾角閾值的直線段確定為目標(biāo)直線段。其中，預(yù)定義區(qū)域是基于圖像幀上 的引導(dǎo)框的四周的預(yù)定范圍。其中，該引導(dǎo)框是虛擬的且覆蓋于所拍攝的圖像幀上的。其 中，可以使用最小二乘法對(duì)預(yù)定義區(qū)域中的邊緣進(jìn)行直線擬合以查找到直線段。
[0026] 具體而言，以銀行卡為例，例如需要拍攝該銀行卡并對(duì)圖像幀中的該銀行卡的位 置進(jìn)行定位，那么在拍攝視窗中使用引導(dǎo)框(引導(dǎo)框可以是與卡片形狀相適應(yīng)的的，例如可 以是矩形)作為引導(dǎo)，在對(duì)銀行卡拍攝時(shí)會(huì)試圖將卡片與顯示視窗上的引導(dǎo)框進(jìn)行對(duì)齊。更 具體地，顯示視窗將顯示攝像頭所拍攝到的場(chǎng)景，引導(dǎo)框?qū)?huì)以〇SD (On Screen Display 隨屏顯示技術(shù))方式疊加在所顯示的實(shí)時(shí)視頻上，從而形成一個(gè)引導(dǎo)框。用戶移動(dòng)攝像頭或 者卡片，嘗試將所拍攝到的卡片圖像與引導(dǎo)框進(jìn)行對(duì)齊，在此過(guò)程中連續(xù)采集視頻幀并且 可以在視頻幀中選取任意圖像幀并對(duì)其預(yù)定義區(qū)域進(jìn)行邊緣檢測(cè)，并使用最小二乘法對(duì)邊 緣檢測(cè)結(jié)果進(jìn)行直線擬合，并且將與引導(dǎo)區(qū)域的四條邊界所形成的夾角小于第一夾角閾值 的直線段確定為目標(biāo)直線段。所述第一夾角閾值例如可以選擇為20度。
[0027] 在查找到目標(biāo)直線段之后，該方法繼續(xù)到步驟1〇2。在步驟102處，將所述目標(biāo)直 線段組合成四邊形并從中確定候選四邊形。
[0028] 具體而言，根據(jù)在步驟101處查找到的目標(biāo)直線段，組合成可能的所有四邊形。接 著，可以對(duì)所有四邊形再進(jìn)行篩選。例如，如果一個(gè)四邊形的鄰邊夾角小于第二角度閾值， 則將其濾除。所述第二夾角閾值范圍例如可以選擇為70度到110度內(nèi)的任意度數(shù)。最終 篩選出符合要求的一個(gè)或多個(gè)候選四邊形。記錄所述一個(gè)或多個(gè)候選四邊形的四個(gè)頂點(diǎn)位 置以備后續(xù)使用。
[0029] 在步驟103處，在候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候選直線 段。
[0030] 具體而言，首先，可以在候選四邊形的特定區(qū)域內(nèi)進(jìn)行邊緣檢測(cè)以獲取包含邊緣 信息的二值圖像，然后針對(duì)所述二值圖像執(zhí)行Hough變換以獲得與數(shù)字序列相關(guān)的直線 段。其中，所述特定區(qū)域可以是與候選四邊形中的數(shù)字序列相關(guān)聯(lián)的區(qū)域。例如，以銀行卡 為例，所述特定區(qū)域?yàn)殂y行卡卡號(hào)所處的區(qū)域。
[0031] 基于所獲得的直線段，濾除長(zhǎng)度過(guò)短以及與候選四邊形上下邊夾角過(guò)大的線段從 而從上述直線段中確定與數(shù)字序列相關(guān)的候選直線段。例如，長(zhǎng)度超過(guò)引導(dǎo)框長(zhǎng)邊的1/2 長(zhǎng)度的直線段將被刪除。例如，如果直線段與候選四邊形所形成的夾角大于1〇度，則該直 線段也將被刪除。通過(guò)上述方式，檢測(cè)到的剩余的直線段作為與數(shù)字序列相關(guān)的候選直線 段。其中，該候選直線段是數(shù)字序列的上邊緣和下邊緣所形成的兩條線段。
[0032] 以上各個(gè)段落中關(guān)于直線段的長(zhǎng)度以及夾角的選擇僅為本申請(qǐng)的可選示例，本申 請(qǐng)不限于此，而是還可以按照需要進(jìn)行其他適當(dāng)?shù)倪x擇。
[0033] 在步驟104處，基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的 特性相符的目標(biāo)四邊形定位為卡片區(qū)域。
[0034] 具體而言，在步驟103處獲得了與數(shù)字序列相關(guān)的候選直線段，例如，與銀行卡的 卡號(hào)序列相關(guān)的候選直線段。然后如圖3所示，基于候選直線段并根據(jù)數(shù)字序列的特性，將 與所述數(shù)字序列的特性相符的目標(biāo)四邊形定位為卡片區(qū)域。圖3示意性地示出了根據(jù)本申 請(qǐng)實(shí)施例的定位目標(biāo)四邊形的示意圖。
[0035] 基于與候選直線段相關(guān)的數(shù)字序列，利用數(shù)字序列的特性驗(yàn)證四邊形的有效性， 濾除不符合該特性的所有四邊形,將與所述數(shù)字序列的特性相符的目標(biāo)四邊形定位為卡片 區(qū)域。具體而言，與候選直線段相關(guān)的數(shù)字序列的特性也即是該透視投影特性。透視投影特 性是指數(shù)字區(qū)域的上邊緣和下邊緣所構(gòu)成線段的消隱點(diǎn)與卡片卡面位置所形成的四邊形 的上下兩條邊的消隱點(diǎn)重合(在平行的情況下，消隱點(diǎn)出現(xiàn)在無(wú)窮遠(yuǎn))，并且數(shù)字區(qū)域上下 邊緣形成的夾角應(yīng)小于等于四邊形上下兩條邊的夾角。也即是說(shuō)，候選直線段與目標(biāo)四邊 形之間符合透視投影特性，從而利用與候選直線段相關(guān)的透視投影特性來(lái)確定與之相符的 目標(biāo)四邊形。因此，基于上述原則，濾除不符合透視投影特性的多余線段所形成的四邊形， 獲得目標(biāo)四邊形。
[0036] 這里需要指出的是，上面的實(shí)施例都是以銀行卡為例，但實(shí)際上，本申請(qǐng)中的方案 并不限于銀行卡，而是可以應(yīng)用于符合標(biāo)準(zhǔn)的各種標(biāo)準(zhǔn)卡片，例如身份證、會(huì)員卡等等。
[0037] 根據(jù)本申請(qǐng)實(shí)施例的方法，進(jìn)一步可以包括基于目標(biāo)四邊形，獲取與該四邊形圖 像相映射的矩形圖像?；谀繕?biāo)四邊形，獲取目標(biāo)四邊形到矩形的單映矩陣，然后基于所述 單映矩陣，獲取與該目標(biāo)四邊形圖像相映射的矩形圖像。
[0038] 圖4示意性地示出了根據(jù)本申請(qǐng)實(shí)施例的將卡片圖像由目標(biāo)四邊形歸一化為矩 形的步驟示意圖。由于已知目標(biāo)卡片為矩形，因此求解上一步檢測(cè)到的目標(biāo)四邊形到矩形 的單映矩陣，通過(guò)該單映矩陣，將目標(biāo)四邊形圖像映射成為一個(gè)矩形圖像，該矩形圖像就是 矯正后的卡片圖像。映射公式如下：
[0039]

【權(quán)利要求】
1. 一種定位卡片區(qū)域的方法，其特征在于，包括： 在針對(duì)卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相關(guān)的目標(biāo)直線段； 將所述目標(biāo)直線段組合成四邊形并從中確定候選四邊形； 在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候選直線段；以及 基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的特性相符的目標(biāo)四邊 形定位為卡片區(qū)域。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)定義區(qū)域是基于圖像幀上的引導(dǎo) 框的四周的預(yù)定范圍。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述圖像幀的預(yù)定義區(qū)域中確定與卡 片邊緣相關(guān)的目標(biāo)直線段進(jìn)一步包括： 查找圖像幀中的預(yù)定義區(qū)域中的直線段；以及 將與引導(dǎo)框的四條邊界所形成的夾角小于第一夾角閾值的直線段確定為目標(biāo)直線段。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，查找圖像幀中的預(yù)定義區(qū)域中的直線段 進(jìn)一步包括：使用最小二乘法對(duì)預(yù)定義區(qū)域中的邊緣進(jìn)行直線擬合以查找到直線段。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，分別在候選四邊形內(nèi)的特定區(qū)域中確定 與數(shù)字序列相關(guān)的候選直線段進(jìn)一步包括： 在所述四邊形的特定區(qū)域內(nèi)進(jìn)行邊緣檢測(cè)以獲取包含邊緣信息的二值圖像； 針對(duì)所述二值圖像執(zhí)行Hough變換以獲得與數(shù)字特征序列相關(guān)的直線段；以及 從直線段中確定與數(shù)字特征序列相關(guān)的候選直線段。 _
6. 根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，進(jìn)一步包括：基于目標(biāo)四邊形，獲取與該目標(biāo) 四邊形圖像相映射的矩形圖像。
7. 根據(jù)權(quán)利要求6所述的方法，基于目標(biāo)四邊形，獲取與該目標(biāo)四邊形圖像相映射的 矩形圖像包括： 基于目標(biāo)四邊形，獲取所述目標(biāo)四邊形到矩形的單映矩陣；以及 基于所述單映矩陣，獲取與該目標(biāo)四邊形圖像相映射的矩形圖像。
8. -種定位卡片區(qū)域的設(shè)備，其特征在于，包括： 第一線段確定模塊，用于在針對(duì)卡片拍攝的圖像幀的預(yù)定義區(qū)域中確定與卡片邊緣相 關(guān)的目標(biāo)直線段； 形狀確定模塊，用于將所述目標(biāo)直線段組合成四邊形并從中確定候選四邊形； 第二線段確定模塊，用于在所述候選四邊形內(nèi)的特定區(qū)域中確定與數(shù)字序列相關(guān)的候 選直線段；以及 卡片定位模塊，用于基于與候選直線段相關(guān)的數(shù)字序列的特性，將與所述數(shù)字序列的 特性相符的目標(biāo)四邊形定位為卡片區(qū)域。
9. 根據(jù)權(quán)利要求8所述的設(shè)備，其特征在于，所述預(yù)定義區(qū)域是基于圖像巾貞上的引導(dǎo) 框的四周的預(yù)定范圍。
10. 根據(jù)權(quán)利要求9所述的設(shè)備，其特征在于，所述第一線段確定模塊進(jìn)一步包括： 查找子模塊，用于查找圖像幀中的預(yù)定義區(qū)域中的直線段；以及 第一線段確定子模塊，用于將與引導(dǎo)框的四條邊界所形成的夾角小于第一夾角閾值的 直線段確定為目標(biāo)直線段。
11. 根據(jù)權(quán)利要求10所述的設(shè)備，其特征在于，查找子模塊使用最小二乘法對(duì)預(yù)定義 區(qū)域中的邊緣進(jìn)行直線擬合以查找到直線段。
12. 根據(jù)權(quán)利要求8所述的設(shè)備，其特征在于，所述第二線段確定模塊進(jìn)一步包括： 檢測(cè)子模塊，用于在所述四邊形的特定區(qū)域內(nèi)進(jìn)行邊緣檢測(cè)以獲取包含邊緣信息的二 值圖像； 變換子模塊，用于針對(duì)所述二值圖像執(zhí)行Hough變換以獲得與數(shù)字特征序列相關(guān)的直 線段；以及 第二線段確定子模塊，用于從所述直線段中確定與數(shù)字特征序列相關(guān)的候選直線段。
13. 根據(jù)權(quán)利要求8-12任一項(xiàng)所述的設(shè)備，其特征在于，進(jìn)一步包括：獲取模塊，用于 基于目標(biāo)四邊形，獲取與該目標(biāo)四邊形圖像相映射的矩形圖像。
14. 根據(jù)權(quán)利要求13所述的設(shè)備，獲取模塊包括： 第一獲取子模塊，用于基于目標(biāo)四邊形，獲取所述目標(biāo)四邊形到矩形的單映矩陣；以及 第二獲取子模塊，用于基于所述單映矩陣，獲取與該目標(biāo)四邊形圖像相映射的矩形圖 像。
【文檔編號(hào)】G06T7/60GK104217444SQ201310216574
【公開(kāi)日】2014年12月17日 申請(qǐng)日期:2013年6月3日 優(yōu)先權(quán)日:2013年6月3日
【發(fā)明者】陳果, 李揚(yáng) 申請(qǐng)人:支付寶（中國(guó)）網(wǎng)絡(luò)技術(shù)有限公司