的耳機設(shè)計有關(guān)）的三維結(jié)構(gòu)，及對非常適合用戶特 定耳朵的耳機的三維模型進行建模。
[0059] 在本發(fā)明的一些實施例中，用戶耳朵的多個圖像中110使用電子通信裝置102的 相機進行捕獲。耳朵的多個圖像110是在用戶耳朵附近放置有參考物體時進行捕獲。參考 物體有助于分析用戶耳朵的大小。在掃描或繪制或錄像以捕獲耳朵圖像的過程中，可在耳 朵附近放置易發(fā)現(xiàn)的家用產(chǎn)品如硬幣。執(zhí)行掃描時，參考物體在處理所述耳朵模型尺度時 可用作測量參照。在本發(fā)明的一些實施例中，用戶可使用單獨的相機，將手機屏幕或平板電 腦屏幕對陣相機捕獲至少一張耳朵圖片，或使用鏡子將手機屏幕和耳朵同時捕獲在同一幀 中。該手機或平板電腦的屏幕通過將顯示在該屏幕上的可下載QR條碼，可用作已掃描模型 的尺度參照。使用單獨相機捕獲的圖像或視頻110可傳送并存儲在電子通信裝置102中或 直接傳送至服務(wù)器104。該移動應(yīng)用程序108可訪問移動通信設(shè)備102的存儲器和/或存 儲位置，以在耳朵附近有參考物體時，選擇使用單獨相機捕獲的圖像和/或視頻。因此可通 過使用使用本發(fā)明的計算機實現(xiàn)系統(tǒng)100測量耳朵的精確尺寸和形狀并可生成等效的三 維模型。
[0060] 圖5A示出流程圖，顯示了通過利用與計算機實現(xiàn)系統(tǒng)100進行通信的移動應(yīng)用程 序108生產(chǎn)個性化耳機裝置114的方法。該方法開始于提供安裝了移動應(yīng)用程序108的電 子通信裝置102,用于捕獲用戶至少一只耳朵的至少一個前部和/或背部結(jié)構(gòu)（也可能是頸 部/耳朵背部/用戶頭部的其他結(jié)構(gòu)，若與用戶喜愛的耳機設(shè)計相關(guān)），如方框500所示。 然后如方框502所示，移動應(yīng)用程序108從移動通信裝置102中啟動，以捕獲詳細說明耳朵 及用戶頸部/頭部（若相關(guān)）的至少一個前部結(jié)構(gòu)和/或至少一個背部結(jié)構(gòu)的視頻和/或 多個圖像。該移動應(yīng)用程序108可在捕獲處理過程中對用戶進行指導(dǎo)，如通過引導(dǎo)耳朵或 用戶頭部結(jié)構(gòu)的哪一部分來捕獲及用戶應(yīng)按哪個方向移動其頭部或按哪個方向移動相機/ 捕獲裝置。然后，可在移動應(yīng)用程序108中對所捕獲的視頻和/或多個圖像進行處理，以檢 查所捕獲的視頻是否足以處理三維耳機模型，如方框504中所示。這可以通過檢查該移動 應(yīng)用程序108的反饋結(jié)果來完成?？稍诓东@視頻或圖像的過程中對所捕獲的視頻或多個圖 像進行驗證。捕獲耳朵視頻或多個圖象的過程中，如果相機的運動速度可能大于預(yù)定的速 度，或者如果捕獲失焦，則該移動應(yīng)用程序108可自動檢測，并通知用戶有關(guān)的錯誤方法， 可指導(dǎo)用戶再次執(zhí)行捕獲。然后，用戶可從所述移動應(yīng)用程序108的用戶界面選擇耳機的 所需產(chǎn)品類型、樣式和佩戴偏好、人體工程學(xué)和音景偏好、附件等，如方框506所示。將在具 有標準尺寸物品作為參照物的情況下捕獲視頻或圖像，如在耳朵附近放置一個硬幣或標尺 以精確地確定耳朵的形狀和大小?，F(xiàn)在，具有耳機所需產(chǎn)品類型、樣式和佩戴等用戶偏好的 所捕獲視頻或圖像將傳輸?shù)椒?wù)器104,其通過通信網(wǎng)絡(luò)106與三維打印機裝置112進行 通信，如方框508所示。然后如方框510所示，將對詳述用戶耳朵前部和/或后部結(jié)構(gòu)的視 頻或圖像進行處理，以經(jīng)由涉及以下操作的攝影測量過程來創(chuàng)建用戶耳朵的3D模型：搜索 和匹配多個圖像中的特征點、建立粗云點、建立密集云點、運行云點清理過程以從云點創(chuàng)建 平滑網(wǎng)格。然后如方框512所示，將根據(jù)用戶耳朵的所述3D模型，以及通過將多個用戶偏 好和選項發(fā)送至三維打印機裝置112之前在服務(wù)器104中進行處理，來創(chuàng)建耳機的三維模 型。根據(jù)用戶耳朵的3D模型以及用戶所需產(chǎn)品和產(chǎn)品偏好，包括從移動應(yīng)用程序108的用 戶界面印制耳機的材料選項，對耳機的3D模型進行處理。然后如方框514所示，可操作三 維打印機裝置112來印制個性化耳機裝置114。然后將不同的音頻電子元件插入到所述個 性化耳機裝置114外殼中，該外殼使用用于生成個性化耳機裝置114的上述方法進行印制。 在一些實施例中，將在使用三維打印機裝置112進行印制的過程中將音頻電子元件插入到 個性化耳機裝置114。后處理程序：提供各種可能的后處理步驟，具體取決于戶偏好，包括 (1)翻滾平滑處理以平滑3D打印；（2)蒸氣精加工；（3)移印或絲網(wǎng)印刷，以在耳機上印刷 圖形；(4)氣相沉積，以在印制耳機上涂覆金屬涂層；（5) "脫蠟鑄造"；(6)預(yù)期耳機模具的 3D印制，以采用各種材料進行鑄造，如樹脂、聚氨酯、金屬、橡膠等使用三維打印機尚未有效 印制的其他材料；和/或（7)對印制耳機進行涂覆、噴涂或浸涂。這些不同的后處理程序可 被用于實現(xiàn)用戶的外觀和/或功利性（如舒適性、耐久性、耐熱性）目標。
[0061] 圖5B示出流程圖，顯示了通過利用與計算機實現(xiàn)系統(tǒng)100進行通信的網(wǎng)站生產(chǎn)個 性化耳機裝置114的方法。該方法開始于啟動與計算機實現(xiàn)系統(tǒng)100相關(guān)聯(lián)的網(wǎng)站，用于 通過提供詳述了用戶至少一只耳朵的至少一個前部和/或背部結(jié)構(gòu)（也可能是頸部/耳朵 背部/用戶頭部的其他結(jié)構(gòu)，若與用戶喜愛的耳機設(shè)計相關(guān)）的至少一個視頻或多個圖像 設(shè)計個性化耳機裝置114,如方框516所示。然后，可通過所述服務(wù)器對上傳的視頻或多個 圖像進行處理，以檢查所捕獲的視頻是否足以處理三維耳機模型，如方框518所示。將通過 與用于設(shè)計個性化耳機裝置114的計算機實現(xiàn)系統(tǒng)100相關(guān)聯(lián)的至少一個服務(wù)器對上傳的 視頻或多個圖像進行驗證。然后，用戶可從該網(wǎng)站的用戶界面選擇耳機的所需產(chǎn)品類型、樣 式和佩戴偏好、人體工程學(xué)和音景偏好、附件等，如方框520所示。應(yīng)在具有標準尺寸物品 作為參照物的情況下捕獲視頻或圖像，如在耳朵附近放置一個硬幣或標尺以精確地確定耳 朵的形狀和大小?，F(xiàn)在，具有耳機所需產(chǎn)品類型、樣式和佩戴等用戶偏好的已上傳視頻或圖 像將傳輸?shù)椒?wù)器104,其通過通信網(wǎng)絡(luò)106與三維打印機裝置112進行通信，如方框522 所示。然后如方框524所示，將對詳述用戶耳朵前部和/或后部結(jié)構(gòu)的視頻或圖像進行處 理，以經(jīng)由涉及以下操作的攝影測量過程來創(chuàng)建用戶耳朵的3D模型：搜索和匹配多個圖像 中的特征點、建立粗云點、建立密集云點、運行云點清理過程以從云點創(chuàng)建平滑網(wǎng)格。然后 如方框526所示，將根據(jù)用戶耳朵的所述3D模型，以及通過將經(jīng)由網(wǎng)站輸入的多個用戶偏 好和選項發(fā)送至三維打印機裝置112之前進行處理，來創(chuàng)建耳機的三維模型。根據(jù)用戶耳 朵的3D模型以及用戶所需產(chǎn)品和產(chǎn)品偏好，包括從該網(wǎng)站的用戶界面印制耳機的材料選 項，對耳機的3D模型進行處理。然后如方框528所示，將所述個性化耳機裝置的三維模型 發(fā)送至三維打印機裝置112以印制個性化耳機裝置114。然后將不同的音頻電子元件插入 到所述個性化耳機裝置114外殼中，該外殼使用用于生成個性化耳機裝置114的上述方法 進行印制。在一些實施例中，將在使用三維打印機裝置112進行印制的過程中將音頻電子 元件插入到個性化耳機裝置114。后處理程序：提供各種可能的后處理步驟，具體取決于戶 偏好，包括（1)翻滾平滑處理以平滑3D打??；（2)蒸氣精加工；（3)移印或絲網(wǎng)印刷，以在耳 機上印刷圖形；（4)氣相沉積，以在印制耳機上涂覆金屬涂層；（5) "脫蠟鑄造"；（6)預(yù)期耳 機模具的3D印制，以采用各種材料進行鑄造，如樹脂、聚氨酯、金屬、橡膠等使用三維打印 機尚未有效印制的其他材料；和/或（7)對印制耳機進行涂覆、噴涂或浸涂。這些不同的后 處理程序可被用于實現(xiàn)用戶的外觀和/或功利性（如舒適性、耐久性、耐熱性）目標。
[0062] 圖A-6E示出用于捕獲用戶至少一只耳朵的多個圖像和/或視頻110的移動應(yīng)用 程序108的多個用戶界面。若要登錄/注冊到所述移動應(yīng)用程序108或應(yīng)用程序網(wǎng)站，用 戶將被帶到網(wǎng)頁的登錄部分或可能進一步包括多個信息描述部分（用于描述包括但不限 于以下信息，生產(chǎn)個性化耳機裝置112用計算機實現(xiàn)系統(tǒng)100的多個用途和優(yōu)點）的用戶 界面。注冊的用戶可在該網(wǎng)站的登錄部分或移動應(yīng)用程序108的用戶界面上輸入用戶憑證 如用戶名和密碼，以登錄該移動應(yīng)用程序108或應(yīng)用程序網(wǎng)站。用戶名可以是用戶的郵件 ID或用戶選擇的用戶名。對于尚未在該網(wǎng)站或移動應(yīng)用程序108用戶界面上進行注冊的用 戶，用戶可通過在該網(wǎng)站或該移動應(yīng)用程序108的用戶界面上提供多個信息進行注冊。可 為用戶提供用于登錄到服務(wù)器104所運行的網(wǎng)站和在電子通信裝置102上運行的移動應(yīng)用 程序108,及與在服務(wù)器104上運行的3D建模應(yīng)用程序相關(guān)聯(lián)的的至少一個唯一用戶憑證。 該網(wǎng)站和移動應(yīng)用程序108被配置為允許使用多個服務(wù)的多個登錄憑證進行登錄，這些服 務(wù)包括但不限于谷歌郵箱、Facebook、亞馬遜、Linkedln、谷歌+、雅虎郵件等，從而可避免必 須使用其自己的憑證注冊/登錄到該網(wǎng)站和移動應(yīng)用程序108,也可加速注冊/登錄到該網(wǎng) 站和移動應(yīng)用程序108的過程。要進行注冊，用戶需提供多個信息，包括姓名、聯(lián)系信息如 地址、電話號碼等（如果有）?；蛘?，用戶可選擇將用戶名和密碼用作用戶憑證。需要郵件 地址和電話號碼，但對完成注冊而言并非是必須的。為完成該注冊過程，用戶需提供至少一 種形式的確認，如郵件地址確認、電話號碼確認等。此外，用戶還需要接受與生產(chǎn)個性化耳 機裝置114用計算機實現(xiàn)系統(tǒng)100相關(guān)的服務(wù)條款。確認這些項目后，用戶即可登錄到該 網(wǎng)站或移動應(yīng)用程序108。登錄到該網(wǎng)站或移動應(yīng)用程序108后，用戶可將其檔案鏈接至社 交網(wǎng)絡(luò)帳戶，如 Instagram、Twitter、Tumblr、Google+、Pinterest、Facebook 等。
[0063] 登錄到該網(wǎng)站或移動應(yīng)用程序108后，用戶可被重定向至其檔案頁面。該檔案頁 面可能包括該用戶的多個聯(lián)系信息，包括電話號碼、郵件ID、社交網(wǎng)站ID等，用于使其他用 戶聯(lián)系或與其他用戶進行通信。該檔案頁面可能還包括至以下信息的鏈接：有關(guān)用戶耳機 裝置的多個設(shè)計、對用戶其他設(shè)計給出的多個反饋、用戶評級和用戶收到的評分。與單個 用戶相關(guān)聯(lián)的檔案可在任何時間進行定制，以更改/并入多個信息和整理已創(chuàng)建檔案的內(nèi) 容。
[0064] 登錄到該網(wǎng)站或移動應(yīng)用程序108后，將對多數(shù)用戶顯示生產(chǎn)個性化耳機裝置 114用計算機實現(xiàn)系統(tǒng)100的啟動頁面的用戶界面，用戶可在該界面上找到有關(guān)該系統(tǒng)所 提供服務(wù)的多個信息。該啟動頁的用戶界面可以包括多個選項和至少一個培訓(xùn)的多個鏈 接，用于使用該網(wǎng)站或移動應(yīng)用程序108捕獲詳述用戶耳朵或用戶頭部其他相關(guān)部位（若 適用）結(jié)構(gòu)的至少一個視頻和/或圖像。在一些實施例中，登錄后，該應(yīng)用程序可播放視頻 /動畫教程，告知用戶如何圍繞其耳朵捕獲視頻。在一些實施例中，本教程顯示了如何掃描 以捕獲后腦勺從而調(diào)整頸線的長度或創(chuàng)建一條連接左右耳機的黑色實線，或者用于創(chuàng)建耳 機的頭頂連接。該移動應(yīng)用程序108和網(wǎng)站允許用戶選擇并上傳描述耳朵形狀和大小的至 少一個圖像或視頻，并將所述圖像/視頻存儲在所述電子通信裝置102的存儲器位置中或 從其他存儲設(shè)備訪問這些圖像/視頻。另外，該移動應(yīng)用程序108和網(wǎng)站可啟動所述電子 通信裝置102的至少一個相機，用于捕獲用戶耳朵前部和后部結(jié)構(gòu)的視頻或圖像。詳述用 戶耳朵結(jié)構(gòu)的所捕獲視頻和/或多個圖像將通過使用安裝在電子通信裝置102中的移動應(yīng) 用程序108進行驗證，或如圖3所示，若圖像/視頻上傳自其他可視數(shù)據(jù)捕獲設(shè)備，則可能 在所述服務(wù)器104上執(zhí)行該驗證過程。如圖3所示，所述移動應(yīng)用程序108和/或服務(wù)器 104可能在捕獲過程中自動驗證所述視頻和/或多個圖像的質(zhì)量，用戶將會看見其掃描區(qū) 域、仍需掃描或重新掃描/重新捕獲區(qū)域的屏幕反饋。
[0065] 用于捕獲所述多個圖像和/或視頻110的所述移動應(yīng)用程序108的用戶界面的多 個屏幕截圖顯示在圖6A-6E中。圖6A顯示所述移動應(yīng)用程序108開始使用所述電子通信 裝置102掃描物體時的用戶界面的屏幕截圖。用戶可以先放置一個具有標準尺寸的參照物 體，例如但不限于，在耳朵附近放置一個硬幣，然后可以開始捕獲過程。用戶可在耳朵附近 放置有參照物的情況下，將其頭部固定好，然后移動所述電子通信裝置102的相機以捕獲 耳朵的結(jié)構(gòu)，或在固定所述電子通信裝置102的相機時，可移動其頭部。三維地圖顯示在視 頻捕獲的頂部，其上有動畫箭頭移動以顯示用戶應(yīng)移動相機的方向或移動頭部的方向。所 捕獲的視頻可以通過在所述服務(wù)器104中運行的所述3D建模應(yīng)用程序進行處理，并且可以 被用來構(gòu)造個性化耳機裝置114的主體部分。圖6B至圖6D顯示相機移動過程中的屏幕截 圖。當(dāng)在耳朵附近放置有參照物如硬幣時，將相機在頭部周圍移動以捕獲耳朵的形狀和大 小。用戶可將硬幣固定在耳朵附近，然后使用從所述移動應(yīng)用程序108啟動的相機捕獲耳 朵及相鄰放置硬幣的圖像或視頻，或可使用任何視頻或圖像捕獲設(shè)備捕獲耳朵及相鄰放置 硬幣的圖像或視頻。然后可通過所述移動應(yīng)用程序108或使用該網(wǎng)站將這些視頻上傳至所 述服務(wù)器104。掃描區(qū)域時，動畫箭頭可能會改變顏色如綠色，如圖所示。如果相機移動過 快或如果對象失焦，或用戶按錯誤方向移動相機，則可能會在用戶界面上顯示錯誤消息，如 圖6A所示。在這種情況下，用戶可以重復(fù)捕獲視頻或圖像的過程。如果視頻或圖像捕獲成 功，則動畫箭頭可能變成綠色，如圖6E所示。在某些情況下，如果視頻或圖像成功捕獲，將 在所述移動應(yīng)用程序108中進行處理，以顯示掃描的低分辨率模型且視頻和/或多個圖像 將被上傳到所述服務(wù)器104以通過所述通信網(wǎng)絡(luò)106進行進一步的處理。
[0066] 在一些實施例中，從所述移動應(yīng)用程序108或網(wǎng)站發(fā)送的有關(guān)耳朵的所述多個圖 像或視頻的處理將在云計算引擎上完成，以允許根據(jù)需求調(diào)整計算能力。用戶也可選擇上 傳采用不同相機拍攝的視頻，或上傳使用任何其他技術(shù)如前面所述的那些技術(shù)就其耳朵完 成的三維掃描。用戶還可發(fā)送耳朵模具的掃描，或可選擇將耳朵模具發(fā)送至所述個性化耳 機裝置114的公司或制造商進行掃描。相機參數(shù)可與視頻素材一起發(fā)送。如果這是一個內(nèi) 置手機相機，則可通過所述移動應(yīng)用程序108發(fā)送該手機型號，以識別鏡頭規(guī)格，從而使用 所述3D建模應(yīng)用程序310更好地校準3D耳機模型的重構(gòu)，及補償鏡頭失真。如果該視頻是 從外部相機上傳，用戶需提供使用的相機型號和鏡頭。然后將該規(guī)格與服務(wù)器數(shù)據(jù)庫中提 供的數(shù)據(jù)進行比較。若相機型號和鏡頭的數(shù)據(jù)不在服務(wù)器數(shù)據(jù)庫中，用戶可能需要拍攝可 通過該平臺打印的網(wǎng)格或其他印刷圖形的一個照片，以計算失真。當(dāng)視頻正被上傳到所述 服務(wù)器104時，將對用戶顯示特征低多邊形網(wǎng)格。該低多邊形網(wǎng)格可能顯示在特征模型的 頂部。手機移動，或移動或觸摸屏幕會移動模型，并且可允許該對象的有限3D視圖。另外， 在某些情況下，所述耳機裝置的多個模型和設(shè)計可能疊加顯示在用戶耳朵的3D模型上，以 模擬用戶戴上耳機時耳機的外觀和狀態(tài)。
[0067] 然后通過所述3D建模應(yīng)用程序的攝影測量算法對詳述耳朵結(jié)構(gòu)的所述多個圖像 或視頻進行處理。所述3D建模應(yīng)用程序的攝影測量算法包括創(chuàng)建所述耳機裝置三維模型 的四個主要步驟。該攝影測量算法的第一步包含特征點和匹配過程。在此過程中，對通過 所述移動應(yīng)用程序或網(wǎng)站發(fā)送的用戶耳朵的圖像進行分析或搜索圖片中可描繪強烈視覺 元素的任何點，如角部、形狀和顏色的急劇變化，這些被稱為"特征點"。因此，可以通過查找 圖像中的特征點對耳朵的形狀進行建模。從第一個圖像中識別出特征點后，再使用攝影測 量程序搜索其他圖像中的相同點。然后攝影測量算法將執(zhí)行束調(diào)整步驟。在此步驟中，通 過使用相機上的匹配特征點和信息如鏡頭、傳感器大小等，該攝影測量程序計算粗點云。該 攝影測量算法的束調(diào)整步驟最后定位用戶耳朵的二維圖像，這些圖像通過所述網(wǎng)站或移動 應(yīng)用程序在三維空間中捕獲并上傳，定義了二者之間的空間關(guān)系。攝影測量算法的第三步， 將在束調(diào)整步驟中生成粗點云，并將在隨后的步驟中生成密集點云以供進一步處理。攝影 測量算法的最后一步即創(chuàng)建掃描網(wǎng)格的過程，將根據(jù)密集點云創(chuàng)建"掃描樣"網(wǎng)格。因此， 將根據(jù)用戶耳朵的圖像創(chuàng)建包含耳機裝置三維模型表面的三維模型。此時，也可應(yīng)用圖像 的特征，所以"掃描樣"網(wǎng)格包含表面各點的顏色信息。因此將對詳述用戶耳朵前部和/或 后部結(jié)構(gòu)的視頻或圖像進行處理，以經(jīng)由涉及以下操作的攝影測量過程來創(chuàng)建用戶耳朵的 3D模型：搜索和匹配多個圖像中的特征點、建立粗云點、建立密集云點、運行云點清理過程 以從云點創(chuàng)建平滑網(wǎng)格等。該3D模型將發(fā)送至所述服務(wù)器104,并將確認通知以文本消息、 郵件或應(yīng)用程序通知或手機推送消息的方式發(fā)送給用戶。如果該過程失敗，則這些圖像不 能進一步用于創(chuàng)建耳機的3D模型，并發(fā)送通知給用戶以重復(fù)捕獲。然后將對掃描的數(shù)據(jù)執(zhí) 行多個網(wǎng)格的操作，該網(wǎng)格操作過程包括在所述三維模型上執(zhí)行的一系列操作，如縮放、提 取、焊接到另一個網(wǎng)格、校正非流形網(wǎng)格等。在某些情況下，如果通過掃描用戶耳朵所捕獲 的數(shù)據(jù)由于照明條件差或用戶耳朵復(fù)雜的幾何形狀而質(zhì)量較差，則用戶耳朵某些區(qū)域可能 未掃描清楚，不足以單獨使用攝影測量分析就可對用戶耳朵進行準確建模。在這些情況下， 除了利用攝影測量算法創(chuàng)建用戶耳朵模型外，還需執(zhí)行加入統(tǒng)計分析的附加步驟，以更全 面、更準確地創(chuàng)建用戶耳朵的模型?？蓜?chuàng)建多個人耳印模的數(shù)據(jù)庫，該