本發(fā)明涉及人體尺寸數(shù)據(jù)測(cè)量領(lǐng)域，特別是指一種基于二維圖像信息的足部三維測(cè)量方法及其足-鞋匹配系統(tǒng)。

背景技術(shù)：

人體尺寸數(shù)據(jù)是一項(xiàng)重要的基礎(chǔ)數(shù)據(jù)資源，是產(chǎn)品造型和空間布局的基本依據(jù)，其應(yīng)用幾乎涉及所有工業(yè)設(shè)計(jì)領(lǐng)域。隨著社會(huì)進(jìn)步和科技發(fā)展，人們?cè)絹碓街匾暪I(yè)設(shè)計(jì)和人類工效學(xué)的應(yīng)用，而人體尺寸數(shù)據(jù)是進(jìn)行工業(yè)設(shè)計(jì)和人類工效學(xué)應(yīng)用的前提和基礎(chǔ)。各種與人有關(guān)的標(biāo)準(zhǔn)的確立都是以人體尺寸數(shù)據(jù)為基礎(chǔ)，并進(jìn)而應(yīng)用到工業(yè)設(shè)計(jì)中。

足部尺寸數(shù)據(jù)對(duì)于鞋楦的設(shè)計(jì)、制鞋廠商、定制鞋等也是至關(guān)重要。傳統(tǒng)的獲得足部尺寸的方法是采用手工測(cè)量的方法，用直尺、卡尺、卷尺等工具對(duì)足長(zhǎng)、足寬、足圍、足背高、足趾高等多組數(shù)據(jù)進(jìn)行手工測(cè)量并獲取相關(guān)數(shù)值。隨著技術(shù)的進(jìn)步，足部三維掃描儀(激光式、結(jié)構(gòu)光式等)開始大規(guī)模的用于足部尺寸的專業(yè)掃描和測(cè)量，同時(shí)避免了手工測(cè)量?jī)H僅獲得二維尺寸數(shù)據(jù)的缺點(diǎn)，足部三維掃描儀可獲得人體足部的三維尺寸信息更有利于鞋類相關(guān)產(chǎn)品的研發(fā)和設(shè)計(jì)參考。

但上述兩種方法均存在各自的缺陷，首先，手工測(cè)量一是時(shí)間較長(zhǎng)，而且需要有經(jīng)驗(yàn)的量足師或者裁縫進(jìn)行足部尺寸的測(cè)量，效率較低；二是，手工測(cè)量?jī)H僅得到的是二維尺寸數(shù)據(jù)無法獲得足部的三維數(shù)據(jù)信息；其次，足部三維掃描儀的缺點(diǎn)在于價(jià)格較貴一般在幾萬或者十幾萬左右，成本過高導(dǎo)致大部分企業(yè)并不會(huì)大批量的購買該儀器，而導(dǎo)致在大樣本測(cè)量的時(shí)候，無法快速測(cè)量大批量的數(shù)據(jù)、也導(dǎo)致時(shí)間成本的增加。

此外，由于不同鞋廠所采用的制造鞋靴產(chǎn)品的鞋楦不同，導(dǎo)致同一碼數(shù)的不同品牌的鞋靴其內(nèi)部尺寸也各有不同，這對(duì)消費(fèi)在網(wǎng)上購買鞋類產(chǎn)品的時(shí)候產(chǎn)生了極大的不便，同時(shí)也增加了線上銷售平臺(tái)的退單率。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提出一種基于二維圖像信息的足部三維測(cè)量方法及其應(yīng)用足-鞋匹配系統(tǒng)，其特殊之處是基于移動(dòng)終端便攜性，讓每個(gè)用戶可以在家里或者任何地方進(jìn)行足部尺寸的三維測(cè)量，并通過云端的數(shù)據(jù)庫為用戶匹配最適合其腳型的鞋靴類產(chǎn)品。

本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

首先本發(fā)明提供了一種基于二維圖像信息足部三維重建方法，包括以下步驟：

s1)使用移動(dòng)終端的相機(jī)對(duì)足部進(jìn)行一組二維圖像的拍攝；

s2)由基于運(yùn)動(dòng)的結(jié)構(gòu)恢復(fù)算法來恢復(fù)地面信息并計(jì)算相機(jī)在三維空間中的位置和朝向；

s3)對(duì)相機(jī)拍攝到的一組二維圖像進(jìn)行物體分割，得到側(cè)影圖像；

s4)根據(jù)步驟s3)得到的側(cè)影圖像由側(cè)影重建技術(shù)恢復(fù)足部的3d模型，并得到關(guān)鍵二維數(shù)據(jù)。

上述技術(shù)方案中，步驟s2)由基于運(yùn)動(dòng)的結(jié)構(gòu)恢復(fù)算法來恢復(fù)地面信息并計(jì)算相機(jī)在三維空間中的位置和朝向，具體包括：

s21)通過相應(yīng)軟件讀取相機(jī)的各個(gè)內(nèi)部參數(shù)；

s22)在拍攝照片的同時(shí)從相機(jī)的慣性傳感器中讀取相機(jī)的運(yùn)動(dòng)信息；

s23)根據(jù)步驟s22)讀取的運(yùn)動(dòng)信息估計(jì)出粗略的相機(jī)位置信息；

s24)求解物體表面的每一點(diǎn)的三維坐標(biāo)及每一張照片里相機(jī)的三維坐標(biāo)及朝向。

上述技術(shù)方案中，所述相機(jī)的運(yùn)動(dòng)信息為相機(jī)的加速度等信息。

由于相機(jī)的三維坐標(biāo)已經(jīng)有了一個(gè)很接近真實(shí)值的初始值，從而使該算法得到簡(jiǎn)化，提高了運(yùn)算速度。

上述技術(shù)方法中，步驟s3)對(duì)相機(jī)拍攝到的一組二維圖像進(jìn)行物體分割，得到側(cè)影圖像，具體為：

s31)根據(jù)人體皮膚的特定顏色分布區(qū)分足部和非足部；

s32)使用高斯混合模型參數(shù)化表示膚色所占據(jù)的區(qū)域；

s33)用0和1分別標(biāo)明足部和背景所占據(jù)的區(qū)域，得到側(cè)影圖像。

人體膚色的主要差異在亮度上，在去除了亮度的色彩空間中，即使是考慮到黃白黑棕等人種差別，不同人的膚色仍然集中分布于一個(gè)很小的區(qū)域。

使用高斯混合模型(gaussianmixedmodel)可以參數(shù)化表示膚色所占據(jù)的區(qū)域，從而大大簡(jiǎn)化膚色與非膚色的判別。

上述技術(shù)方案中，所述側(cè)影重建技術(shù)是通過可見殼(visualhull)算法實(shí)現(xiàn)的。

利用以上基于二維圖像信息足部三維重建方法，本發(fā)明還設(shè)計(jì)了一種足-鞋匹配系統(tǒng)，其包括以下結(jié)構(gòu)：

掃描系統(tǒng)，包括：

基于移動(dòng)終端的足部三維掃描系統(tǒng)、及標(biāo)定系統(tǒng)；

鞋靴內(nèi)部結(jié)構(gòu)三維掃描系統(tǒng)，包括可放置于鞋楦內(nèi)部的小型三維空間掃描儀、及接收其掃描信息的數(shù)據(jù)處理終端；

云端服務(wù)器，包括：

足部大數(shù)據(jù)云端，其通過無線網(wǎng)絡(luò)與所述移動(dòng)終端進(jìn)行數(shù)據(jù)連接和交換，并對(duì)來自移動(dòng)終端的數(shù)據(jù)依照基于二維圖像信息足部三維重建方法進(jìn)行數(shù)據(jù)處理；

鞋靴大數(shù)據(jù)云端，通過無線網(wǎng)絡(luò)與所述小型三維掃描儀的數(shù)據(jù)處理終端相連接，將鞋靴內(nèi)部的三維數(shù)據(jù)進(jìn)行分類和整理；

匹配系統(tǒng)，用于將足部大數(shù)據(jù)云端和鞋靴大數(shù)據(jù)云端的數(shù)據(jù)進(jìn)行二維數(shù)據(jù)的配對(duì)和三維數(shù)據(jù)的匹配。

上述技術(shù)方案中，所述移動(dòng)終端可以為手機(jī)或者平板，以及其他具有操作系統(tǒng)的移動(dòng)終端。

上述技術(shù)方案中，所述標(biāo)定系統(tǒng)為一個(gè)已知尺寸的平面物品，如a4紙、身份證、銀行卡或駕駛執(zhí)照等。

上述技術(shù)方案中，足部大數(shù)據(jù)云端對(duì)移動(dòng)終端掃描信息的數(shù)據(jù)處理具體為：將移動(dòng)終端掃描的二維圖像信息，進(jìn)行移動(dòng)終端分類篩選后，在遠(yuǎn)端依照前述基于二維圖像信息足部三維重建方法進(jìn)行處理，形成足部三維數(shù)據(jù)，并基于標(biāo)定系統(tǒng)的尺寸信息，對(duì)足部三維數(shù)據(jù)進(jìn)行自動(dòng)數(shù)據(jù)分析，依據(jù)出足部三維關(guān)鍵特征點(diǎn)，計(jì)算得出多個(gè)二維尺寸。

上述技術(shù)方案中，所述小型三維空間掃描儀放置于鞋靴的中部進(jìn)行鞋靴內(nèi)部三維尺寸掃描，所述數(shù)據(jù)處理終端獲得數(shù)據(jù)后進(jìn)行三維數(shù)據(jù)重建，并依據(jù)一些特征點(diǎn)，自動(dòng)測(cè)量楦內(nèi)部的多個(gè)二維尺寸，并將所有數(shù)據(jù)結(jié)果上傳到鞋靴大數(shù)據(jù)云端。

與現(xiàn)有技術(shù)相比較，本發(fā)明提供的基于二維圖像信息足部三維重建方法及其應(yīng)用的足-鞋匹配系統(tǒng)，可利用普通移動(dòng)終端如手機(jī)等進(jìn)行足部拍攝的照片重建足部3d模型并得出關(guān)鍵二維尺寸，操作簡(jiǎn)單，無需專業(yè)人員操作，使得每個(gè)普通用戶在家里或者任何地方進(jìn)行足部尺寸的三維測(cè)量，并通過云端為用戶匹配最合適的鞋靴產(chǎn)品，應(yīng)用市場(chǎng)及其廣泛。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明足-鞋匹配系統(tǒng)的結(jié)構(gòu)組成示意圖。

圖2為本發(fā)明的基于二維圖像信息足部三維重建方法中所采用的側(cè)影圖像。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是 全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

首先本發(fā)明提供了一種基于二維圖像信息足部三維重建方法，包括以下步驟：

s1)使用移動(dòng)終端的相機(jī)對(duì)足部進(jìn)行一組二維圖像的拍攝；

s2)由基于運(yùn)動(dòng)的結(jié)構(gòu)恢復(fù)算法來恢復(fù)地面信息并計(jì)算相機(jī)在三維空間中的位置和朝向；

s3)對(duì)相機(jī)拍攝到的一組二維圖像進(jìn)行物體分割，得到側(cè)影圖像；

s4)根據(jù)步驟s3)得到的側(cè)影圖像由側(cè)影重建技術(shù)恢復(fù)足部的3d模型并得到關(guān)鍵二維數(shù)據(jù)。

上述技術(shù)方案中，步驟s2)由基于運(yùn)動(dòng)的結(jié)構(gòu)恢復(fù)算法來恢復(fù)地面信息并計(jì)算相機(jī)在三維空間中的位置和朝向，具體包括：

s21)通過相應(yīng)軟件讀取相機(jī)的各個(gè)內(nèi)部參數(shù)；

s22)在拍攝照片的同時(shí)從相機(jī)的慣性傳感器中讀取其運(yùn)動(dòng)信息；

s23)根據(jù)步驟s22)讀取的運(yùn)動(dòng)信息估計(jì)出粗略的相機(jī)位置信息；

s24)求解物體表面的每一點(diǎn)的三維坐標(biāo)及每一張照片里相機(jī)的三維坐標(biāo)及朝向。

上述技術(shù)方案中，所述相機(jī)的運(yùn)動(dòng)信息為相機(jī)的加速度等信息。

由于相機(jī)的三維坐標(biāo)已經(jīng)有了一個(gè)很接近真實(shí)值的初始值，從而使該算法得到簡(jiǎn)化，提高了運(yùn)算速度。

上述技術(shù)方法中，步驟s3)對(duì)相機(jī)拍攝到的一組二維圖像進(jìn)行物體分割，得到側(cè)影圖像，具體為：

s31)根據(jù)人體皮膚的特定顏色分布區(qū)分足部和非足部；

s32)使用高斯混合模型參數(shù)化表示膚色所占據(jù)的區(qū)域；

s33)用0和1分別標(biāo)明足部和背景所占據(jù)的區(qū)域，得到側(cè)影圖像。

人體膚色的主要差異在亮度上，在去除了亮度的色彩空間中，即使是考慮到黃白黑棕等人種差別，不同人的膚色仍然集中分布于一個(gè)很小的區(qū)域。

使用高斯混合模型(gaussianmixedmodel)可以參數(shù)化表示膚色所占據(jù)的區(qū)域，從而大大簡(jiǎn)化膚色與非膚色的判別。

經(jīng)過膚色檢測(cè)，我們可以得到一個(gè)二進(jìn)制圖像，用0和1分別標(biāo)明圖中足部和背景(如地面，報(bào)紙等)所占據(jù)的區(qū)域，這種圖像又稱為側(cè)影圖像(silhouetteimage)，如圖2所示。

上述技術(shù)方案中，所述側(cè)影重建技術(shù)是通過visualhull(可見殼)算法現(xiàn)實(shí)的。

可見殼算法是通過一系列側(cè)影圖像及每張圖像所對(duì)應(yīng)相機(jī)姿態(tài)來對(duì)所測(cè)物體幾何體進(jìn)行恢復(fù)。

其基本的工作原理可以理解為：在已知相機(jī)姿態(tài)(坐標(biāo)和轉(zhuǎn)角)及相機(jī)內(nèi)部參數(shù)的情況下(這一步我們已經(jīng)通過基于運(yùn)動(dòng)的結(jié)構(gòu)恢復(fù)算法中獲取)，我們可以通過相機(jī)中心和側(cè)影圖像邊界投射出一個(gè)錐體，待恢復(fù)的物體形狀可以是這個(gè)錐體內(nèi)任意的一個(gè)幾何體。同樣的方法，我們對(duì)其它的側(cè)影圖像都可以產(chǎn)生一個(gè)從不同角度投射出的錐體。真實(shí)的物體必須滿足它在所有的錐體里，這需要對(duì)所有錐體進(jìn)行一個(gè)交集運(yùn)算。通過這種方式，在我們對(duì)足部進(jìn)行360度掃描之后，我們就可以恢復(fù)一個(gè)滿足所有足部側(cè)影的3d足部模型。

給定人腳3d模型后，要實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)量足，首先基于機(jī)器學(xué)習(xí)的足部測(cè)量技術(shù)，在訓(xùn)練足部數(shù)據(jù)庫中，每個(gè)足部3d模型的關(guān)鍵點(diǎn)都由標(biāo)記員標(biāo)定，訓(xùn)練過程中，計(jì)算機(jī)在關(guān)鍵點(diǎn)周圍的3d點(diǎn)云中提取特征描述子，找出關(guān)鍵點(diǎn)與非關(guān)鍵點(diǎn)在特征描述子空間中的差異及分布模型，并用機(jī)器學(xué)習(xí)中的隨機(jī)森林技術(shù)加以擬合。使用訓(xùn)練好的隨機(jī)森林，我們可以在新的3d足部模型中找到相應(yīng)的關(guān)鍵點(diǎn)。為了提高檢測(cè)精度，彌補(bǔ)特征描述子在平滑區(qū)域不能準(zhǔn)確定位的缺陷，我們還使用了基于無向圖的足部關(guān)鍵點(diǎn)網(wǎng)格模型，利用臨近關(guān)鍵點(diǎn)之間的幾何關(guān)系約束修正檢測(cè)到的關(guān)鍵點(diǎn)。最后，通過這些關(guān)鍵點(diǎn)測(cè)量各足部模型參數(shù)就簡(jiǎn)化為了歐式距離或測(cè)地線距離的度量問題，最終得到關(guān)鍵的二維尺寸數(shù)據(jù)。

利用以上基于二維圖像信息足部三維重建方法，本發(fā)明還設(shè)計(jì)了一種足-鞋匹配系統(tǒng)，其包括以下結(jié)構(gòu)：

掃描系統(tǒng)，包括：

基于移動(dòng)終端的足部三維掃描系統(tǒng)、及標(biāo)定系統(tǒng)；

鞋靴內(nèi)部結(jié)構(gòu)三維掃描系統(tǒng)，包括可放置于鞋楦內(nèi)部的小型三維空間掃描儀、及接收其掃描信息的數(shù)據(jù)處理終端；

云端服務(wù)器，包括：

足部大數(shù)據(jù)云端，其通過無線網(wǎng)絡(luò)與所述移動(dòng)終端進(jìn)行數(shù)據(jù)連接和交換，并對(duì)來自移動(dòng)終端的數(shù)據(jù)依照基于二維圖像信息足部三維重建方法進(jìn)行數(shù)據(jù)處理；

鞋靴大數(shù)據(jù)云端，通過無線網(wǎng)絡(luò)與所述小型三維掃描儀的數(shù)據(jù)處理終端相連接，將鞋靴內(nèi)部的三維數(shù)據(jù)進(jìn)行分類和整理；

匹配系統(tǒng)，用于將足部大數(shù)據(jù)云端和鞋靴大數(shù)據(jù)云端的數(shù)據(jù)進(jìn)行二維數(shù)據(jù)的配對(duì)和三維數(shù)據(jù)的匹配。

上述技術(shù)方案中，所述移動(dòng)終端可以為手機(jī)或者平板，以及其他具有操作系統(tǒng)的移動(dòng)終端。

上述技術(shù)方案中，所述標(biāo)定系統(tǒng)為一個(gè)已知尺寸的平面物品，如a4紙、身份證、銀行卡、駕駛執(zhí)照等。

上述技術(shù)方案中，足部大數(shù)據(jù)云端對(duì)移動(dòng)終端掃描信息的數(shù)據(jù)處理具體為：將移動(dòng)終端掃描的二維圖像信息，進(jìn)行移動(dòng)終端分類篩選后，在遠(yuǎn)端依照前述基于二維圖像信息足部三維重建方法進(jìn)行處理，形成足部三維數(shù)據(jù)，并基于標(biāo)定系統(tǒng)的尺寸信息，對(duì)足部三維數(shù)據(jù)進(jìn)行自動(dòng)數(shù)據(jù)分析，依據(jù)出足部三維關(guān)鍵特征點(diǎn)，計(jì)算得出多個(gè)二維尺寸。

上述技術(shù)方案中，所述小型三維空間掃描儀放置于鞋靴的中部進(jìn)行鞋靴內(nèi)部三維尺寸掃描，所述數(shù)據(jù)處理終端獲得數(shù)據(jù)后進(jìn)行三維數(shù)據(jù)重建，并依據(jù)一些特征點(diǎn)，自動(dòng)測(cè)量楦內(nèi)部的多個(gè)二維尺寸，并將所有數(shù)據(jù)結(jié)果上傳到鞋靴大數(shù)據(jù)云端。

本發(fā)明的足-鞋匹配系統(tǒng)，其使用方法舉例如下：

步驟1：將小型三維空間掃描儀放置于鞋楦內(nèi)部進(jìn)行鞋靴內(nèi)部尺寸的三維掃描，將獲得的三維數(shù)據(jù)和自動(dòng)計(jì)算的二維尺寸均上傳到鞋靴大數(shù)據(jù)云端；二維尺寸包括鞋靴內(nèi)部的鞋長(zhǎng)、鞋寬、足趾處圍度、鞋跟圍、鞋背高等可量化的尺寸；鞋靴大數(shù)據(jù)云端包括大量不同款式、品牌、功能的鞋靴內(nèi)部尺寸數(shù)據(jù)。

步驟2：進(jìn)行足部尺寸三維掃描：拍攝前，被掃描的腳不穿襪子踩在一張報(bào)紙上，腳側(cè)放一張身份證；拍攝時(shí)，首先打開app，手持手機(jī)環(huán)繞自己的足部拍攝一段包含自己足部各個(gè)角度的視頻。

步驟3：手機(jī)app通過無線網(wǎng)絡(luò)把這段視頻自動(dòng)上傳到足部大數(shù)據(jù)云端上；服務(wù)器端從這段視頻重建出用戶足型的3d模型并計(jì)算出各個(gè)足型二維尺寸參數(shù)，參數(shù)包括足長(zhǎng)、足寬、足趾圍、足背圍、足背高等可量化的二維尺寸參數(shù)。

步驟4：足部大數(shù)據(jù)云端足部數(shù)據(jù)與鞋靴大數(shù)據(jù)云端的鞋靴數(shù)據(jù)進(jìn)行二維尺寸和三維結(jié)構(gòu)的多重匹配。先以二維尺寸篩選鞋靴，再以3d模型進(jìn)行足型與鞋型的3d配準(zhǔn)，從而找出與足型最為匹配的鞋靴產(chǎn)品。

與現(xiàn)有技術(shù)相比較，本發(fā)明提供的基于二維圖像信息足部三維重建方法及其應(yīng)用的足-鞋匹配系統(tǒng)，可利用普通移動(dòng)終端如手機(jī)等進(jìn)行足部拍攝的照片重建足部3d模型并得出關(guān)鍵二維尺寸，操作簡(jiǎn)單，無需專業(yè)人員操作，使得每個(gè)普通用戶在家里或者任何地方進(jìn)行足部尺寸的三維測(cè)量，并通過云端為用戶匹配最合適的鞋靴產(chǎn)品，應(yīng)用市場(chǎng)及其廣泛。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。