本發(fā)明涉及紙幣識(shí)別、視覺(jué)障礙人群輔助技術(shù)領(lǐng)域，尤其涉及一種基于RGB-D相機(jī)的視障人士紙幣識(shí)別眼鏡。

背景技術(shù)：

隨著社會(huì)的發(fā)展，視障人士的生活質(zhì)量越來(lái)越受到政府和社會(huì)的關(guān)注。絕大部分視障人士從盲校畢業(yè)后選擇從事盲人按摩獲得一定的收入來(lái)源。據(jù)中國(guó)殘疾人聯(lián)合會(huì)統(tǒng)計(jì)，每年全國(guó)有超過(guò)三萬(wàn)人接受政府和醫(yī)療機(jī)構(gòu)的盲人按摩培訓(xùn)學(xué)習(xí)。其中，紙幣識(shí)別是輔助視障人士順利融入社會(huì)獲得經(jīng)濟(jì)來(lái)源的一項(xiàng)基本需求。

當(dāng)前，紙幣識(shí)別大多是針對(duì)自動(dòng)取款機(jī)和自動(dòng)販賣機(jī)上實(shí)現(xiàn)的紙幣形態(tài)單一、無(wú)復(fù)雜背景環(huán)境限制的算法。該算法無(wú)法滿足視障人士在實(shí)際應(yīng)用中的實(shí)時(shí)處理輸出結(jié)果，沒(méi)有去除復(fù)雜背景環(huán)境的完整方案，因此需要一套完整的適用于視障人士的紙幣識(shí)別方法。

適用于視障人士的紙幣識(shí)別算法少之極少，其原因在于難以解決復(fù)雜環(huán)境下的任意形態(tài)的紙幣識(shí)別。實(shí)際應(yīng)用在視障人士的紙幣識(shí)別需要面臨的挑戰(zhàn)有：復(fù)雜的背景環(huán)境、紙幣的多呈現(xiàn)形式、紙幣的磨損狀況、外界環(huán)境的改變、實(shí)時(shí)性等，在算法設(shè)計(jì)時(shí)要做到全面考慮。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是解決視障人士紙幣識(shí)別問(wèn)題，旨在為視障人士提供一種基于RGB-D相機(jī)的視障人士紙幣識(shí)別眼鏡。

本發(fā)明通過(guò)以下技術(shù)方案來(lái)解決技術(shù)問(wèn)題：一種基于RGB-D相機(jī)的視障人士紙幣識(shí)別眼鏡，所述眼鏡包含眼鏡本體、RGB-D相機(jī)、處理器、語(yǔ)音模塊。所述RGB-D相機(jī)、處理器、語(yǔ)音模塊均安裝在眼鏡本體上，其中，RGB-D相機(jī)安裝在眼鏡本體的前部，用于采集含有深度信息的彩色圖像，處理器、語(yǔ)音模塊均嵌入式安裝在眼鏡本體的鏡腳內(nèi)，處理器用于圖像處理識(shí)別紙幣的面值，語(yǔ)音模塊將處理結(jié)果反饋給視障人士，識(shí)別過(guò)程如下：

(1)獲取紙幣識(shí)別結(jié)果范圍內(nèi)的標(biāo)準(zhǔn)紙幣中n個(gè)不同面值的正反面圖像，共2n幅；將2n幅圖像的尺寸進(jìn)行歸一化處理，得到2n幅標(biāo)準(zhǔn)紙幣圖像；分別遍歷每幅標(biāo)準(zhǔn)紙幣圖像的SURF特征點(diǎn)，并生成相應(yīng)的描述特征點(diǎn)的描述子；

(2)獲取紙幣正面分類器和紙幣反面分類器；

用RGB-D相機(jī)獲取不同光照條件下的正樣本和負(fù)樣本。所述正樣本是只含有完整紙幣的彩色圖像，將正樣本的尺寸進(jìn)行歸一化處理，通常歸一化為40像素*20像素；正樣本分為兩類，紙幣正面的正樣本和紙幣反面的正樣本；負(fù)樣本是指不含有紙幣的彩色圖像，將負(fù)樣本轉(zhuǎn)化成灰度圖。

提取紙幣正面正樣本和負(fù)樣本的Haar特征，并利用Adaboost算法形成紙幣正面分類器；同理，提取紙幣反面正樣本和負(fù)樣本的Haar特征，并利用Adaboost算法形成紙幣反面分類器。

(3)用RGB-D相機(jī)獲取包含深度信息的待測(cè)彩色圖像，將待測(cè)彩色圖像中深度值在0.3～0.8米范圍內(nèi)的像素保留RGB彩色信息，其余像素設(shè)置為白色。

(4)將步驟2中紙幣正面分類器和紙幣反面分類器對(duì)步驟3中深度值處理后的待測(cè)彩色圖像進(jìn)行處理，找到分類器的匹配區(qū)域，并用長(zhǎng)度是寬度2倍的矩形框出分類器的匹配區(qū)域，該匹配區(qū)域即為感興趣區(qū)域。

(5)提取步驟4得到的感興趣區(qū)域的SURF特征點(diǎn)，并生成相應(yīng)的描述特征點(diǎn)的描述子。

(6)將步驟5中的感興趣區(qū)域的SURF特征點(diǎn)分別和步驟1中的2n幅標(biāo)準(zhǔn)紙幣圖像的SURF特征點(diǎn)匹配，具體步驟如下：

(6.1)通過(guò)正向、反向兩種方式篩選相同匹配點(diǎn)對(duì)；

所述正向篩選方式為：針對(duì)標(biāo)準(zhǔn)紙幣圖像中的每個(gè)SURF特征點(diǎn)Q，利用KNN算法找到其在感興趣區(qū)域中歐氏距離最近與次近的兩個(gè)SURF特征點(diǎn)P₁、P₂，得到兩個(gè)正向匹配點(diǎn)對(duì)(Q\P₁、Q\P₂)；計(jì)算Q\P₁和Q\P₂的歐氏距離，分別為D₁、D₂。歐氏距離的計(jì)算公式如下，

其中，D_ij表示感興趣區(qū)域中的第i個(gè)特征點(diǎn)與標(biāo)準(zhǔn)圖像中的第j個(gè)特征點(diǎn)間的歐氏距離，X_ik表示感興趣區(qū)域中的第i個(gè)特征點(diǎn)描述子的第k維分量，X_jk表示標(biāo)準(zhǔn)圖像中的第j個(gè)特征點(diǎn)描述子的第k維分量，n表示SURF特征點(diǎn)的生成的描述子的維數(shù)。然后，計(jì)算最近歐氏距離D₁與次近歐氏距離D₂的比值Ratio₁＝D₁/D₂，Ratio₁的值越小，則匹配點(diǎn)對(duì)的質(zhì)量越高；設(shè)置歐氏距離比值閾值Ratio，將Ratio₁小于Ratio的特征點(diǎn)對(duì)Q\P₁作為正向篩選方式中的有效匹配點(diǎn)對(duì)，從而可以得到正向篩選方式中有效匹配點(diǎn)對(duì)集合。

所述反向篩選方式為：針對(duì)感興趣區(qū)域中的每個(gè)SURF特征點(diǎn)P，利用KNN算法找到其在標(biāo)準(zhǔn)紙幣圖像中歐氏距離最近與次近的兩個(gè)SURF特征點(diǎn)Q₁、Q₂，得到兩個(gè)反向匹配點(diǎn)對(duì)(P\Q₁、P\Q₂)；計(jì)算P\Q₁和P\Q₂的歐氏距離，分別為D₃、D₄。然后，計(jì)算最近歐氏距離D₃與次近歐氏距離D₄的比值Ratio₂＝D₃/D₄，Ratio₂小于歐氏距離比值閾值Ratio的特征點(diǎn)對(duì)P\Q₁為反向篩選方式中的有效匹配點(diǎn)對(duì)，從而可以得到反向篩選方式中有效匹配點(diǎn)對(duì)集合。

(6.2)找到步驟6.1正向篩選方式和反向篩選方式中兩兩相互匹配的有效匹配點(diǎn)對(duì)，作為優(yōu)質(zhì)匹配點(diǎn)對(duì)。

(6.3)將步驟6.2得到的優(yōu)質(zhì)匹配點(diǎn)對(duì)用RANSAC算法進(jìn)一步移除不合理的匹配點(diǎn)對(duì)。RANSAC算法可以利用隨機(jī)選擇的優(yōu)質(zhì)匹配點(diǎn)對(duì)計(jì)算得到標(biāo)準(zhǔn)紙幣圖像和感興趣區(qū)域轉(zhuǎn)換的基本矩陣，并將不符合基本矩陣的異常點(diǎn)排除。

(7)分別統(tǒng)計(jì)步驟6中感興趣區(qū)域與2n幅標(biāo)準(zhǔn)紙幣圖像SURF特征點(diǎn)匹配的優(yōu)質(zhì)匹配點(diǎn)對(duì)數(shù)目R₁,R₂,…,R_2n，計(jì)算R_k＝MAX[R₁,R₂,…,R_2n]。設(shè)置優(yōu)質(zhì)匹配點(diǎn)對(duì)數(shù)目閾值R，若R_k大于R，則第k幅標(biāo)準(zhǔn)紙幣圖像對(duì)應(yīng)的面值為識(shí)別結(jié)果；否則，判定為無(wú)紙幣。

將步驟7中的結(jié)果通過(guò)語(yǔ)音模塊反饋給視障人士。

本方法相比現(xiàn)有的紙幣識(shí)別方法，其有益效果是：

1.該紙幣識(shí)別方法融合了機(jī)器學(xué)習(xí)和SURF特征點(diǎn)檢測(cè)，避免了只用機(jī)器學(xué)習(xí)需要的大量樣本訓(xùn)練以及只用SURF特征點(diǎn)檢測(cè)的幀率大大降低的缺點(diǎn)，先用少量樣本訓(xùn)練出來(lái)的分類器找出可能為紙幣的區(qū)域，減小后續(xù)處理對(duì)象的尺寸，再通過(guò)SURF特征點(diǎn)進(jìn)一步精確確定紙幣的面值。

2.該算法繼承了SURF特征點(diǎn)檢測(cè)的尺度不變性和旋轉(zhuǎn)不變性，在光照有變化時(shí)也具有良好的魯棒性，適用于視障人士實(shí)際應(yīng)用過(guò)程中遇到的復(fù)雜多變的外界環(huán)境。

3.該算法繼承了機(jī)器學(xué)習(xí)識(shí)別紙幣的實(shí)時(shí)性。在分類器找到的感興趣區(qū)域中，雖然有一些不含紙幣的區(qū)域，但紙幣總是包含在其中的，不會(huì)遺漏圖像中的紙幣。

4.該算法采用RGB-D相機(jī)將待測(cè)彩色圖像中絕大部分深度值不可靠的點(diǎn)去除。由于本紙幣識(shí)別方法識(shí)別紙幣的正確率主要依賴于SURF特征點(diǎn)的匹配，將明顯錯(cuò)誤的像素提前移除，可避免后續(xù)的SURF特征點(diǎn)誤匹配。

5.該算法可以準(zhǔn)確判斷有無(wú)紙幣，并在有紙幣時(shí)輸出紙幣面值，操作方法便捷，與正常人相同，無(wú)需額外操作。

6.該算法采用改進(jìn)的SURF特征點(diǎn)匹配，移除錯(cuò)誤匹配點(diǎn)對(duì)以及質(zhì)量較差的匹配點(diǎn)對(duì)，提高了特征點(diǎn)匹配的質(zhì)量，降低了紙幣面值誤識(shí)別的幾率，避免視障人士由于誤識(shí)別造成的經(jīng)濟(jì)損失。

7.該算法可以識(shí)別多張紙幣。將多張紙幣依次平鋪，則該算法可以依次輸出多張紙幣的面值；前提是每張紙幣都有足夠多的特征點(diǎn)可以檢測(cè)到，若有紙幣被遮擋的面積過(guò)大，則該紙幣無(wú)法識(shí)別。

附圖說(shuō)明

圖1為標(biāo)準(zhǔn)紙幣圖像的示意圖。

圖2為紙幣正樣本和負(fù)樣本的示意圖。

圖3為RGB-D相機(jī)采集的待測(cè)彩色圖像示意圖。

圖4為待測(cè)彩色圖像深度值提取后的圖像示意圖。

圖5為使用分類器框出感興趣區(qū)域的示意圖。

圖6為眼鏡的結(jié)構(gòu)示意圖。

具體實(shí)現(xiàn)方式

本發(fā)明提供一種基于RGB-D相機(jī)的視障人士紙幣識(shí)別眼鏡，如圖6所示，所述眼鏡包含眼鏡本體、RGB-D相機(jī)、處理器、語(yǔ)音模塊。所述RGB-D相機(jī)、處理器、語(yǔ)音模塊均安裝在眼鏡本體上，其中，RGB-D相機(jī)安裝在眼鏡本體的前部，用于采集含有深度信息的彩色圖像，處理器、語(yǔ)音模塊均嵌入式安裝在眼鏡本體的鏡腳內(nèi)，處理器用于圖像處理識(shí)別紙幣的面值，語(yǔ)音模塊將處理結(jié)果反饋給視障人士，紙幣識(shí)別的具體步驟如下：

(1)獲取紙幣識(shí)別結(jié)果范圍內(nèi)的標(biāo)準(zhǔn)紙幣中n個(gè)不同面值的正反面圖像，共2n幅；將2n幅圖像的尺寸進(jìn)行歸一化處理，得到2n幅標(biāo)準(zhǔn)紙幣圖像；分別遍歷每幅標(biāo)準(zhǔn)紙幣圖像的SURF特征點(diǎn)，并生成相應(yīng)的描述特征點(diǎn)的描述子；

(2)獲取紙幣正面分類器和紙幣反面分類器；

用RGB-D相機(jī)獲取不同光照條件下的正樣本和負(fù)樣本，正樣本和負(fù)樣本的數(shù)量通常在百位數(shù)量級(jí)以上。所述正樣本是只含有完整紙幣的彩色圖像，將正樣本的尺寸進(jìn)行歸一化處理，通常歸一化為40像素*20像素；正樣本分為兩類，紙幣正面的正樣本和紙幣反面的正樣本；負(fù)樣本是指不含有紙幣的彩色圖像，將負(fù)樣本轉(zhuǎn)化成灰度圖。

提取紙幣正面正樣本和負(fù)樣本的Haar特征，并利用Adaboost算法形成紙幣正面分類器；同理，提取紙幣反面正樣本和負(fù)樣本的Haar特征，并利用Adaboost算法形成紙幣反面分類器。

(3)用RGB-D相機(jī)獲取包含深度信息的待測(cè)彩色圖像，將待測(cè)彩色圖像中深度值在0.3～0.8米范圍內(nèi)的像素保留RGB彩色信息，其余像素設(shè)置為白色。

(4)將步驟2中紙幣正面分類器和紙幣反面分類器對(duì)步驟3中深度值處理后的待測(cè)彩色圖像進(jìn)行處理，找到分類器的匹配區(qū)域，并用長(zhǎng)度是寬度2倍的矩形框出分類器的匹配區(qū)域，該匹配區(qū)域即為感興趣區(qū)域。

(5)提取步驟4得到的感興趣區(qū)域的SURF特征點(diǎn)，并生成相應(yīng)的描述特征點(diǎn)的描述子。

(6)將步驟5中的感興趣區(qū)域的SURF特征點(diǎn)分別和步驟1中的2n幅標(biāo)準(zhǔn)紙幣圖像的SURF特征點(diǎn)匹配，具體步驟如下：

(6.1)通過(guò)正向、反向兩種方式篩選相同匹配點(diǎn)對(duì)；

所述正向篩選方式為：針對(duì)標(biāo)準(zhǔn)紙幣圖像中的每個(gè)SURF特征點(diǎn)Q，利用KNN算法找到其在感興趣區(qū)域中歐氏距離最近與次近的兩個(gè)SURF特征點(diǎn)P₁、P₂，得到兩個(gè)正向匹配點(diǎn)對(duì)(Q\P₁、Q\P₂)；計(jì)算Q\P₁和Q\P₂的歐氏距離，分別為D₁、D₂。歐氏距離的計(jì)算公式如下，

其中，D_ij表示感興趣區(qū)域中的第i個(gè)特征點(diǎn)與標(biāo)準(zhǔn)圖像中的第j個(gè)特征點(diǎn)間的歐氏距離，X_ik表示感興趣區(qū)域中的第i個(gè)特征點(diǎn)描述子的第k維分量，X_jk表示標(biāo)準(zhǔn)圖像中的第j個(gè)特征點(diǎn)描述子的第k維分量，n表示SURF特征點(diǎn)的生成的描述子的維數(shù)。然后，計(jì)算最近歐氏距離D₁與次近歐氏距離D₂的比值Ratio₁＝D₁/D₂，Ratio₁的值越小，則匹配點(diǎn)對(duì)的質(zhì)量越高；設(shè)置歐氏距離比值閾值Ratio，將Ratio₁小于Ratio的特征點(diǎn)對(duì)Q\P₁作為正向篩選方式中的有效匹配點(diǎn)對(duì)，從而可以得到正向篩選方式中有效匹配點(diǎn)對(duì)集合。

所述反向篩選方式為：針對(duì)感興趣區(qū)域中的每個(gè)SURF特征點(diǎn)P，利用KNN算法找到其在標(biāo)準(zhǔn)紙幣圖像中歐氏距離最近與次近的兩個(gè)SURF特征點(diǎn)Q₁、Q₂，得到兩個(gè)反向匹配點(diǎn)對(duì)(P\Q₁、P\Q₂)；計(jì)算P\Q₁和P\Q₂的歐氏距離，分別為D₃、D₄。然后，計(jì)算最近歐氏距離D₃與次近歐氏距離D₄的比值Ratio₂＝D₃/D₄，Ratio₂小于歐氏距離比值閾值Ratio的特征點(diǎn)對(duì)P\Q₁為反向篩選方式中的有效匹配點(diǎn)對(duì)，從而可以得到反向篩選方式中有效匹配點(diǎn)對(duì)集合。

(6.2)找到步驟6.1正向篩選方式和反向篩選方式中兩兩相互匹配的有效匹配點(diǎn)對(duì)，作為優(yōu)質(zhì)匹配點(diǎn)對(duì)。SURF特征點(diǎn)匹配的數(shù)量反映了感興趣區(qū)域與標(biāo)準(zhǔn)紙幣的相似度，數(shù)量越多，相似度越高。

(6.3)將步驟6.2得到的優(yōu)質(zhì)匹配點(diǎn)對(duì)用RANSAC算法進(jìn)一步移除不合理的匹配點(diǎn)對(duì)。RANSAC算法可以利用隨機(jī)選擇的優(yōu)質(zhì)匹配點(diǎn)對(duì)計(jì)算得到標(biāo)準(zhǔn)紙幣圖像和感興趣區(qū)域轉(zhuǎn)換的基本矩陣，并將不符合基本矩陣的異常點(diǎn)排除，該步驟可以將錯(cuò)誤的匹配點(diǎn)對(duì)排除。

(7)分別統(tǒng)計(jì)步驟6中感興趣區(qū)域與2n幅標(biāo)準(zhǔn)紙幣圖像SURF特征點(diǎn)匹配的優(yōu)質(zhì)匹配點(diǎn)對(duì)數(shù)目R₁,R₂,…,R_2n，計(jì)算R_k＝MAX[R₁,R₂,…,R_2n]。設(shè)置優(yōu)質(zhì)匹配點(diǎn)對(duì)數(shù)目閾值R，若R_k大于R，則第k幅標(biāo)準(zhǔn)紙幣圖像對(duì)應(yīng)的面值為識(shí)別結(jié)果；否則，判定為無(wú)紙幣。

(8)將步驟7中的結(jié)果通過(guò)語(yǔ)音模塊反饋給視障人士。