圖像處理設(shè)備、圖像處理系統(tǒng)和圖像處理方法
【專利說(shuō)明】圖像處理設(shè)備、圖像處理系統(tǒng)和圖像處理方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)以2014年3月3日提交的日本專利申請(qǐng)N0.2014-040875和2015年I月15日提交的日本專利申請(qǐng)N0.2015-006080為基礎(chǔ)，并要求它們的優(yōu)先權(quán)，通過(guò)引用的方式將其全部?jī)?nèi)容并入本文。
技術(shù)領(lǐng)域
[0003]文中描述的實(shí)施例總體上涉及圖像處理設(shè)備、圖像處理系統(tǒng)和圖像處理方法。
【背景技術(shù)】
[0004]已公開有各種用于顯示試穿衣物的對(duì)象的虛擬圖像的技術(shù)。例如，已經(jīng)公開有顯示試穿某件衣服的第一對(duì)象的合成圖像的技術(shù)。
[0005]常規(guī)的實(shí)踐方式是使預(yù)先準(zhǔn)備好的尺碼的成衣的圖像與第一對(duì)象的圖像合成，而無(wú)論第一對(duì)象的體型如何。因此，難以提供表現(xiàn)實(shí)際穿著不同尺碼衣物的第一對(duì)象的圖像。

【發(fā)明內(nèi)容】

[0006]文中描述的實(shí)施例的目的在于提供一種圖像處理設(shè)備、圖像處理系統(tǒng)和圖像處理方法，它們能夠在對(duì)象的體型的基礎(chǔ)上提供對(duì)象的試穿衣物的圖像。
[0007]根據(jù)實(shí)施例，一種圖像處理設(shè)備包括第一獲取器、第二獲取器、接收器和識(shí)別器。第一獲取器獲取第一對(duì)象的對(duì)象圖像。第二獲取器獲取表示第一對(duì)象的體型的第一體型參數(shù)。接收器接收有關(guān)所要試穿的衣物的識(shí)別信息。識(shí)別器被配置為從第一信息中的與接收到的識(shí)別信息相關(guān)聯(lián)的多幅衣物圖像中識(shí)別出與第二體型參數(shù)相關(guān)聯(lián)的衣物圖像作為將要輸出的衣物圖像，其中，所述第二體型參數(shù)與所述第一體型參數(shù)的非相似度小于等于閾值，在所述第一信息中，多個(gè)衣物尺碼、多個(gè)第二體型參數(shù)和多幅衣物圖像與每一個(gè)有關(guān)衣物的識(shí)別信息相關(guān)聯(lián)，所述第二體型參數(shù)與每一個(gè)所述衣物尺碼相對(duì)應(yīng)并表示不同體型，并且所述衣物圖像均表示第二對(duì)象穿著每一所述衣物尺碼的衣物的狀態(tài)，所述第二對(duì)象具有由與相對(duì)應(yīng)的衣物尺碼相關(guān)聯(lián)的相對(duì)應(yīng)的第二體型參數(shù)所表示的體型。
[0008]根據(jù)上文所述的圖像處理設(shè)備，能夠在對(duì)象的體型的基礎(chǔ)上提供對(duì)象試穿衣物的狀態(tài)的圖像。
【附圖說(shuō)明】
[0009]圖1是說(shuō)明圖像處理系統(tǒng)的功能配置的方框圖；
[0010]圖2A和2B是所述圖像處理系統(tǒng)的外視圖的示意性表示；
[0011]圖3是第一信息的示范性數(shù)據(jù)結(jié)構(gòu)的示意圖；
[0012]圖4是具體說(shuō)明第一信息的示意圖；
[0013]圖5是第二信息的示范性數(shù)據(jù)結(jié)構(gòu)的示意圖；
[0014]圖6是第三信息的示范性數(shù)據(jù)結(jié)構(gòu)的示意圖；
[0015]圖7是用于解釋第一體型參數(shù)的估算的示意圖；
[0016]圖8是用于解釋有關(guān)第一對(duì)象的姿勢(shì)信息的計(jì)算的示意圖；
[0017]圖9是用于解釋衣物圖像識(shí)別的示意圖；
[0018]圖10是用于解釋姿勢(shì)信息的示意圖；
[0019]圖11是用于解釋合成圖像的示意圖；
[0020]圖12是用于解釋第一信息的配準(zhǔn)和更新的示意圖；
[0021]圖13A和13B是用于解釋特征區(qū)域的尺寸的計(jì)算的示意圖；
[0022]圖14是說(shuō)明示范性輪廓線提取的示意圖；
[0023]圖15是說(shuō)明示范性第二位置計(jì)算的示意圖；
[0024]圖16是圖像處理的流程圖；
[0025]圖17是識(shí)別過(guò)程和調(diào)整過(guò)程的流程圖；
[0026]圖18是第一位置計(jì)算過(guò)程的流程圖；
[0027]圖19是第二位置計(jì)算過(guò)程的流程圖；
[0028]圖20是用于解釋合成圖像生成的示意圖；
[0029]圖21是說(shuō)明另一圖像處理系統(tǒng)的不意圖；以及
[0030]圖22是說(shuō)明示范性硬件配置的方框圖。
【具體實(shí)施方式】
[0031]現(xiàn)在將參考附圖詳細(xì)說(shuō)明各種實(shí)施例。
[0032]第一實(shí)施例
[0033]圖1是說(shuō)明根據(jù)第一實(shí)施例的圖像處理系統(tǒng)10的功能配置的方框圖。圖像處理系統(tǒng)10包括圖像處理設(shè)備12、第一成像器和第二成像器14A和14B (下文統(tǒng)稱為成像器14)、輸入單元16、存儲(chǔ)器18、重量測(cè)量器19和顯示器20。將成像器14、輸入單元16、存儲(chǔ)器18、重量測(cè)量器19和顯示器20按照能夠交換信號(hào)的方式連接至圖像處理設(shè)備12。
[0034]在根據(jù)第一實(shí)施例的圖像處理系統(tǒng)10中，提供與成像器14、輸入裝置16、存儲(chǔ)器18、重量測(cè)量器19和顯示器20分離的圖像處理設(shè)備12。但是，在圖像處理系統(tǒng)10中，可以使圖像處理設(shè)備12與成像器件14、輸入裝置16、存儲(chǔ)器18、重量測(cè)量器19和顯示器20的至少其中之一集成。
[0035]第一成像器14A捕獲并獲取第一對(duì)象的圖像。第一成像器14A在每一既定間隔內(nèi)捕獲一次第一對(duì)象的圖像。第一成像器14A將所捕獲的對(duì)象圖像依次輸出至圖像處理設(shè)備12。通過(guò)使第一成像器14A—次捕獲第一對(duì)象的圖像，并將所述圖像依次輸出至圖像處理設(shè)備12，圖像處理設(shè)備12可以獲取到包括在不同的時(shí)間上捕獲的多幅對(duì)象圖像的活動(dòng)圖像。
[0036]第一對(duì)象是將試穿衣物的對(duì)象。第一對(duì)象可以是將試穿衣物的任何對(duì)象，其可以是生物或者非生物。例如，生物可以是的人，也可以是諸如狗或貓的寵物。非生物可以是人形或者寵物形狀的模特、衣物或者其他各種不受限制的物體。第一對(duì)象可以是穿著衣物的生物或非生物。
[0037]衣物是指第一對(duì)象能夠穿著的物品。衣物的例子包括外套、裙子、長(zhǎng)褲、鞋、帽，但是衣物不限于此。
[0038]對(duì)象圖像是位圖圖像。對(duì)象圖像是為每一像素指定指示顏色或亮度的像素值的對(duì)象圖像。第一成像器14A是能夠捕獲對(duì)象的圖像的已知照相機(jī)裝置。
[0039]第二成像器14B通過(guò)捕獲圖像獲取深度圖。
[0040]有時(shí)將深度圖稱為距離圖。深度圖是為每一個(gè)像素指定與第二成形器14B的距離的圖像。在第一實(shí)施例中，可以通過(guò)向?qū)ο髨D像應(yīng)用諸如立體匹配的已知處理而建立深度圖，或者可以通過(guò)使第二成像器14B按照與捕獲所述對(duì)象圖像的條件相同的條件捕獲圖像而獲取所述深度圖?？梢圆捎萌魏文軌颢@取深度圖的已知照相機(jī)裝置作為第二成像器14B。
[0041]在第一實(shí)施例中，第一成像器件14A和第二成像器14B在同一定時(shí)上捕獲第一對(duì)象的圖像。通過(guò)未示出的控制器對(duì)第一成像器14A和第二成像器14B加以控制，從而(例如)使其按照相同的定時(shí)依次同步捕獲圖像。之后，成像器14將第一對(duì)象的對(duì)象圖像和通過(guò)捕獲圖像而獲取到的深度圖依次輸出至圖像處理設(shè)備12。
[0042]顯示器20是用于顯示各種圖像的裝置。顯示器20是諸如液晶顯示器(LCD)的顯示裝置。在第一實(shí)施例中，顯示器20顯示圖像處理設(shè)備12生成的后面將予以說(shuō)明的合成圖像。圖像處理系統(tǒng)10還可以包括用于打印合成圖像的打印單元或者用于將合成圖像通過(guò)網(wǎng)絡(luò)傳輸至外部裝置的傳輸單元。
[0043]輸入單元16接收用戶輸入。在第一實(shí)施例中，“用戶” 一詞泛指任何操作者，包括第一對(duì)象和第二對(duì)象。下文將詳細(xì)描述所述第一對(duì)象和第二對(duì)象。
[0044]輸入單元16是用于允許用戶做出各種操作輸入的機(jī)構(gòu)。輸入單元16的例子包括鼠標(biāo)、按鈕、遙控器、鍵盤、諸如傳聲器的聲音識(shí)別裝置和圖象識(shí)別裝置之一或者它們的任何組合。在采用圖像識(shí)別裝置作為輸入單元16時(shí)，所述裝置可以接收面向輸入單元16的用戶的手勢(shì)作為各種用戶指令。在這樣的配置中，將對(duì)應(yīng)于諸如手勢(shì)的運(yùn)動(dòng)的指令信息預(yù)先存儲(chǔ)到圖象識(shí)別裝置中，所述圖像識(shí)別裝置可以讀取對(duì)應(yīng)于所識(shí)別出的手勢(shì)的指令信息，并接受用戶操作指令。
[0045]輸入單元16也可以是用于從諸如發(fā)射各種類型的信息的移動(dòng)終端的外部裝置接收指示用戶操作指令的信號(hào)的通信裝置。在這樣的配置中，輸入單元16可以從外部裝置接收指示操作指令的信號(hào)作為用戶發(fā)出的操作指令。
[0046]輸入單元16可以與顯示器20集成。具體而言，可以將輸入單元16和顯示器20提供為具有輸入功能和顯示功能的用戶接口(UI)。這樣的Π的例子包括具有觸摸屏的IXD。
[0047]重量測(cè)量器19是已知的用于測(cè)量第一對(duì)象的重量的儀器。例如，在第一對(duì)象到重量測(cè)量器19上時(shí)，將使重量測(cè)量器19測(cè)量第一對(duì)象的體重。之后，重量測(cè)量器19將作為測(cè)量結(jié)果的重量輸出至圖像處理設(shè)備12。
[0048]圖2A和2B是所述圖像處理系統(tǒng)10的外視圖的示意圖。
[0049]如圖2A所示，例如，將圖像處理系統(tǒng)10中的顯示器20嵌入到矩形外殼51的一面上。在外殼51的內(nèi)部提供圖像處理設(shè)備12(參考圖1)。在圖像處理系統(tǒng)10中，將表現(xiàn)正在試穿各種衣物的第一對(duì)象P的圖像的合成圖像W顯示到顯示器20上。諸如人的第一對(duì)象P從(例如)面向顯示器20的位置看到顯示器20上顯示的合成圖像W。在面向顯示器20的區(qū)域的地面上提供重量測(cè)量器19。在第一對(duì)象P來(lái)到面向顯示器20的位置時(shí)，重量測(cè)量器19測(cè)量第一對(duì)象P的重量。
[0050]外殼51支撐輸入單元16和成像器14 (第一成像器14A和第二成像器14B)。在圖2A所示的范例中，在外殼51的顯示器的20沿水平方向的相應(yīng)端部提供輸入單元16和第一成像器14A。在外殼51中的顯示器20的頂部提供第二成像器14B。安裝輸入單元16的位置不限于此。也可以在任何其他能夠捕獲第一對(duì)象P的圖像的位置提供第一成像器14A和第二成像器14B，而不限于上文解釋的例子。
[0051]圖像處理系統(tǒng)10可以是圖2B所示的移動(dòng)終端。在這樣的配置中，被配置為移動(dòng)終端的圖像處理系統(tǒng)10的外殼51A設(shè)有具有顯示器20和輸入單元16的功能的Π、第一成像器14A和第二成像器14B。在外殼51A的內(nèi)部提供圖像處理設(shè)備12 (參考圖1)。
[0052]響應(yīng)于用戶在輸入單元16上發(fā)出操作指令，通過(guò)輸入單元16輸入各種類型的信息。如前所述，第一成像器14A和第二成像器14B按照相同的定時(shí)同步地依次捕獲第一對(duì)象P的圖像。之后，第一成像器14A和第二成像器14B將捕獲的對(duì)象圖像和深度圖依次輸出至圖像處理設(shè)備12。
[0053]重新參照?qǐng)D1，存儲(chǔ)器18在其內(nèi)存儲(chǔ)各種類型的數(shù)據(jù)。在第一實(shí)施例中，將第一信息、第二?目息、第二?目息和第四?目息預(yù)先存儲(chǔ)到存儲(chǔ)器18內(nèi)。
[0054]第一信息是這樣的信息，其中，使多個(gè)衣物尺碼、與每一衣物尺碼相關(guān)聯(lián)并且表示不同體型的多個(gè)第二體型參數(shù)、第二對(duì)象的多幅衣物圖像與每條衣物識(shí)別信息相關(guān)聯(lián)，所述第二對(duì)象具有由各自的第二體型參數(shù)表示的體型并且穿著對(duì)應(yīng)衣物尺碼的衣物。在下文中，有時(shí)將衣物識(shí)別信息稱為衣物ID。
[0055]第二對(duì)象是在捕獲第一信息中所包含的衣物圖像時(shí)穿著該衣物的對(duì)象。按照與第一對(duì)象相同的方式，第二對(duì)象可以是任何穿戴著衣物的對(duì)象，其可以是諸如人的生物或者是諸如人形模特的非生物。
[0056]圖3是第一信息的示范性數(shù)據(jù)結(jié)構(gòu)的示意圖。
[0057]在圖3所示的范例中，第一信息是使衣物類型、衣物ID、衣物尺碼、第二體型參數(shù)、模型ID、姿勢(shì)信息、衣物圖像和屬性信息彼此相關(guān)聯(lián)的信息。
[0058]衣物類型指定在以預(yù)定分類條件將衣物劃分成多個(gè)類型時(shí)衣物被劃歸的衣物類型。衣物類型的例子包括上裝、外衣和下裝，但不限于此。
[0059]衣物ID(衣物識(shí)別信息)是一條用于識(shí)別出一件衣物的信息。衣物具體是指已制成的衣物。衣物ID的例子包括產(chǎn)品編號(hào)和衣物名稱，但不限于此。例如，采用已知的日本貨號(hào)(JAN)代碼作為產(chǎn)品編號(hào)。例如，采用衣物的產(chǎn)品名稱作為其名稱。
[0060]衣物尺碼是指示衣物的尺寸的信息。例如，衣物尺碼是已制成的衣物的尺寸，例如，S、M、L、LL或XL。衣物尺碼的類型不限于這一例子。例如，可以根據(jù)成衣制造或銷售的國(guó)家對(duì)衣物尺碼的類型給出不同的指示。
[0061]第二體型參數(shù)是一條指示第二對(duì)象的體型的信息。第二體型參數(shù)可以包括一個(gè)或多個(gè)參數(shù)。所述參數(shù)是對(duì)人體的一個(gè)或多個(gè)部位的度量。所述度量不需要實(shí)際測(cè)量，也可以包括測(cè)量的估值以及任何其他對(duì)應(yīng)于測(cè)量的值(例如，用戶輸入的任何值)。
[0062]在第一實(shí)施例中，例如，參數(shù)是與在定制或購(gòu)買衣物之前測(cè)得的人體的每一部分相對(duì)應(yīng)的測(cè)量值或者體重。具體而言，第二體型參數(shù)包括胸圍、腰圍、臀圍、身高、肩寬和體重中的至少一個(gè)參數(shù)。第二體型參數(shù)不限于上文列舉的這些參數(shù)。例如，第二體型參數(shù)還可以包括袖長(zhǎng)和內(nèi)縫。
[0063]在第一信息中，預(yù)先使衣物尺碼與表示不同體型的多個(gè)第二體型參數(shù)相關(guān)聯(lián)。換言之，在第一信息中，使某一衣物ID的衣物尺寸中的每者與多個(gè)表示不同體型的第二體型參數(shù)相關(guān)聯(lián)。
[0064]具有相同或大致相同的體型的用戶可能穿著不同尺碼的衣物，例如，S、M、L或LL。換言之，某一體型的用戶所穿著的衣物的尺碼不限于一種，用戶可能根據(jù)衣物的風(fēng)格或類型而穿著不同尺寸的衣物。
[0065]為了解決這一問(wèn)題，在第一實(shí)施例中，預(yù)先使第一信息中的某一衣物ID的衣物尺碼的每者與多個(gè)表示不同體型的第二體型參數(shù)相關(guān)聯(lián)。
[0066]模型ID是識(shí)別具有對(duì)應(yīng)的第二體型參數(shù)表示的體型的第二對(duì)象的識(shí)別信息。
[0067]衣物圖像是為每一像素指定了指示衣物的顏色、亮度等的像素值的圖像。第一信息包括對(duì)應(yīng)于第二體型參數(shù)的衣物圖像。換言之，在第一信息中，使多個(gè)表示不同體型的第二體型參數(shù)與和衣物ID相關(guān)聯(lián)的衣物尺碼中的每者相關(guān)聯(lián)，并且使衣物圖像與第二體型參數(shù)中的每者相關(guān)聯(lián)。
[0068]衣物圖像是具有對(duì)應(yīng)的第二體型參數(shù)所表示的體型并穿著對(duì)應(yīng)衣物尺碼的衣物的第二對(duì)象的圖像，所述衣物尺碼和第二體型參數(shù)是那些在第一信息中與所述衣物圖像相關(guān)聯(lián)的衣物尺碼和第二體型參數(shù)。換言之，與和衣物尺碼之一相關(guān)聯(lián)的各體型參數(shù)相關(guān)聯(lián)的衣物圖像是多個(gè)具有各第二體型參數(shù)表示的不同體型的第二對(duì)象穿著著同一尺碼的衣物的圖像。
[0069]姿勢(shì)信息是指示在捕獲所述衣物圖像時(shí)第二對(duì)象的姿勢(shì)的信息。姿勢(shì)信息指示第二對(duì)象相對(duì)于照相機(jī)裝置14的取向、移動(dòng)等。
[0070]第二對(duì)象的取向指示在捕獲所述衣物圖像時(shí)，穿著著在所述衣物圖像中捕獲的衣物的第二對(duì)象相對(duì)于照相機(jī)裝置14的取向。第二對(duì)象的取向的例子包括正向，其中，臉和身體相對(duì)于照相機(jī)裝置14朝向正面，還包括側(cè)向，其中，臉和身體相對(duì)于照相機(jī)裝置14朝向側(cè)面，還包括除了正向和側(cè)向以外的任何其他方向。
[0071]通過(guò)表示穿著在所述衣物對(duì)象中捕獲的衣物的第二對(duì)象的骨骼的位置的骨骼信息指示第二對(duì)象的移動(dòng)。所述骨骼信息是為每一像素指定的信息，其中，使指示穿著衣物圖像中的衣物的第二對(duì)象的骨骼的位置的信息對(duì)應(yīng)于衣物圖像中的每一像素的像素位置。在第一實(shí)施例中，所述姿勢(shì)信息包括有關(guān)第二對(duì)象的取向和骨骼信息。
[0072]在第一實(shí)施例中，第一信息包括多幅對(duì)應(yīng)于不同姿勢(shì)信息的衣物圖像作為對(duì)應(yīng)于第二體型參數(shù)的衣物圖像。
[0073]換言之，在第一實(shí)施例中，衣物圖像是穿著者特定尺碼的衣物，具有對(duì)應(yīng)的第二體型參數(shù)表示的體型并且具有拍攝第二對(duì)象的圖像時(shí)所處的姿勢(shì)的第二對(duì)象的圖像。
[0074]屬性信息是指示通過(guò)對(duì)應(yīng)的衣物ID識(shí)別出的衣物的屬性的信息。屬性信息的例子包括衣物的名稱、制造商(例如，商標(biāo)名稱)、形狀、顏色、材料和價(jià)格。
[0075]第一信息可以是任何至少使衣物ID、衣物尺碼、第二體型參數(shù)和衣物圖像彼此相關(guān)聯(lián)的信息。換言之，第一信息可以不包括衣物類型、模型ID、姿勢(shì)信息和屬性信息的至少其中之一。
[0076]第一信息可以是還使穿著衣物的方式(例如，系扣還是不系扣)相關(guān)聯(lián)的信息。在這種情況下，第一信息可以存儲(chǔ)多幅對(duì)應(yīng)于各種以外穿著方式的衣物圖像作為對(duì)應(yīng)于某一姿勢(shì)信息的衣物圖像。
[0077]圖4是具體說(shuō)明第一信息的示意圖。如圖4所示，第一信息包括對(duì)應(yīng)于第二體型參數(shù)的相應(yīng)集合(參考圖4中的附圖標(biāo)記52)的衣物圖像。換言之，在第一信息中，使通過(guò)衣物ID(具有商標(biāo)A的毛線衫BBB)識(shí)別的衣物的尺碼(M尺碼、L尺碼和S尺碼)中的每者與多個(gè)第二體型參數(shù)的集合相關(guān)聯(lián)，其中，每一參數(shù)表示不同的體型。在第一信息中，還使衣物圖像61A(衣物圖像61A1到61A3)與第二體型參數(shù)的相應(yīng)集合相關(guān)聯(lián)。在圖4所示的例子中，第二體型參數(shù)包括