的光圖案、光圖案的所 得到的識(shí)別和所檢測(cè)到的手抖動(dòng)移動(dòng)； 圖4示出3D重建的步驟的示例； 圖5示出光圖案結(jié)構(gòu)的一些可能變型； 圖6圖示手抖動(dòng)補(bǔ)償系統(tǒng)； 圖7圖示從連續(xù)圖像提取光圖案的方法； 圖8圖示二進(jìn)制化的示例； 圖9示出攝像機(jī)視圖和投影儀視圖上對(duì)應(yīng)條紋的邊緣之間的匹配過(guò)程； 圖10示出一致匹配的曲線追蹤； 圖11圖示圖像獲取過(guò)程； 圖12圖示圖像分割步驟； 圖13圖示食物辨別步驟； 圖14和15圖示高級(jí)丸劑計(jì)算(例如脂肪含量、血糖指數(shù)）； 圖16和17圖示移動(dòng)設(shè)備中的實(shí)現(xiàn)的各種選項(xiàng)(例如移動(dòng)電話、葡萄糖儀、胰島素栗控制 器），作為擴(kuò)展或附件或者作為本機(jī)嵌入式部件。
【具體實(shí)施方式】
[0028] 本文公開(kāi)了一種用于利用移動(dòng)設(shè)備估計(jì)食物的體積的系統(tǒng)。該系統(tǒng)使用攝像機(jī)和 光圖案投影儀。在其上具有和不具有投影光圖案的食物的圖像使得能夠計(jì)算立體形狀、圖 像分割和辨別步驟，識(shí)別和辨別所述圖像中的一個(gè)或多個(gè)食物類(lèi)型，而通過(guò)使用形狀和分 割和辨別結(jié)果來(lái)計(jì)算體積。通過(guò)應(yīng)用離線或遠(yuǎn)程可訪問(wèn)數(shù)據(jù)庫(kù)，一個(gè)或多個(gè)碳水化合物值 被估計(jì)并且一個(gè)或多個(gè)關(guān)聯(lián)的胰島素丸劑劑量被提供。發(fā)展包括如下各項(xiàng):光圖案、不同光 源和關(guān)聯(lián)的光譜屬性的編碼、運(yùn)動(dòng)補(bǔ)償、附加光學(xué)器件、脂肪含量的估計(jì)和關(guān)聯(lián)的多波丸 劑。本發(fā)明可以例如在葡萄糖儀或者被提供有測(cè)試條端口或移動(dòng)電話的胰島素栗控制器中 實(shí)現(xiàn)。
[0029] 本文公開(kāi)了一種設(shè)備，附連或嵌入到移動(dòng)電話中，以用于取回由外部的小型單元 構(gòu)成的表面的三維結(jié)構(gòu)以生成和/或投影表面上的一個(gè)或多個(gè)低強(qiáng)度光圖案和數(shù)據(jù)處理算 法。該設(shè)備在預(yù)定的位置處被放置在移動(dòng)電話上或中，且由移動(dòng)電話控制。作為控制信道， 可以使用藍(lán)牙、電話插孔或移動(dòng)電話閃光燈。該控制由專(zhuān)用軟件應(yīng)用執(zhí)行。移動(dòng)電話軟件在 具有和不具有圖案突出顯示的情況下順序地拍攝物體的兩張照片。使用圖像的所得到的減 法來(lái)提取圖案。另外，表面的3D形狀和關(guān)聯(lián)的體積被計(jì)算。為了估計(jì)碳水化合物含量，所計(jì) 算的形狀連同自動(dòng)或半自動(dòng)食物分割和辨別的結(jié)果和營(yíng)養(yǎng)數(shù)據(jù)庫(kù)一起被使用。
[0030] 圖1圖示當(dāng)一些特定實(shí)施例被實(shí)現(xiàn)時(shí)方法的實(shí)際使用的示例。根據(jù)本發(fā)明的設(shè)備 (包括一個(gè)或多個(gè)圖像或視頻獲取裝置和一個(gè)或多個(gè)投影儀裝置)被附接到移動(dòng)電話?？?替代地，這樣的設(shè)備被嵌入在移動(dòng)電話中。在其中設(shè)備在固定位置中被附接到移動(dòng)電話的 情況下，光圖案的取向是預(yù)定義的，并允許在移動(dòng)電話上使用簡(jiǎn)化算法。專(zhuān)用的應(yīng)用可以在 移動(dòng)電話上由用戶(hù)啟動(dòng)。移動(dòng)電話然后被放置在取向朝向盤(pán)裝菜的某個(gè)位置中。用戶(hù)利用 例如顯示器上的虛擬控件啟動(dòng)測(cè)量(例如，按壓按鈕或激活觸摸屏區(qū)域）。應(yīng)用（"app"）觸發(fā) 連續(xù)的子步驟。它首先開(kāi)啟照射(光源的投影）。可選地，可以通過(guò)開(kāi)啟移動(dòng)電話閃光燈來(lái)實(shí) 現(xiàn)觸發(fā)。還可以通過(guò)經(jīng)由藍(lán)牙或電話插孔而傳輸?shù)皆O(shè)備的命令來(lái)實(shí)現(xiàn)觸發(fā)。該設(shè)備的光學(xué) 物鏡形成到特定圖案中的光源束。圖案的形狀可以是預(yù)定義的(或自適應(yīng)的，當(dāng)例如連續(xù)照 明發(fā)生時(shí)）。光圖案的投影覆蓋移動(dòng)電話攝像機(jī)的所有視場(chǎng)。執(zhí)行一張圖片拍攝（圖像獲 取）。然后，應(yīng)用關(guān)閉照明并在不突出顯示的情況下重復(fù)拍攝。然后，應(yīng)用區(qū)分盤(pán)裝菜中存在 的不同食物元素，計(jì)算不同體積和不同的關(guān)聯(lián)食物類(lèi)別。最后，應(yīng)用提出一個(gè)或多個(gè)丸劑值 給用戶(hù)。在一些實(shí)施例中，分割的圖像被示出為指示不同辨別部分和關(guān)聯(lián)的碳水化合物值。 在一些進(jìn)一步的實(shí)施例中，脂肪含量和其他營(yíng)養(yǎng)值也被估計(jì)，并且可以提出多波丸劑，以匹 配血糖上升的動(dòng)力學(xué)與體內(nèi)的胰島素效果。
[0031] 在一些實(shí)施例中，移動(dòng)設(shè)備的位置可以是使用操作為取景器的屏幕來(lái)調(diào)整的，其 中保證突出顯示所選擇的具有光圖案的視場(chǎng)。換句話說(shuō)，按照原則，取景器把攝像機(jī)聚焦在 正確的物體上，光學(xué)器件的視場(chǎng)被設(shè)計(jì)為覆蓋攝像機(jī)的視場(chǎng)。
[0032] 在一些實(shí)施例中，在膳食的消耗之前執(zhí)行方法的步驟，并且在膳食被消耗之后重 復(fù)方法的步驟。通過(guò)減去所估計(jì)的體積，可以進(jìn)行進(jìn)一步的碳水化合物估計(jì)。用戶(hù)未完全吃 掉膳食可能是非常確實(shí)的，并且在這樣的情況下，將必須執(zhí)行減法操作。由于食物盤(pán)可以被 分割成若干個(gè)部分(對(duì)應(yīng)于不同食物類(lèi)別，例如牛排和馬鈴薯），因此可以存在若干個(gè)體積 的關(guān)聯(lián)估計(jì)并且接下來(lái)可以提出全局胰島素丸劑推薦，或者每個(gè)與不同食物部分相關(guān)聯(lián)的 若干個(gè)丸劑值，所述一個(gè)或多個(gè)胰島素劑量對(duì)應(yīng)于實(shí)際消耗的食物。
[0033] 圖2是體積估計(jì)的方法的示意性和示例性工作流程。移動(dòng)設(shè)備上的預(yù)先安裝的應(yīng) 用（"app"或程序)包括用戶(hù)界面，以允許用戶(hù)與系統(tǒng)交互，例如啟動(dòng)或停止測(cè)量。用戶(hù)將移 動(dòng)電話保持在感興趣物體(例如，盤(pán)上的食物)之上的固定位置處。然后，應(yīng)用在最小時(shí)間框 架內(nèi)自動(dòng)獲得物體的兩次拍攝。在圖像獲取后，程序使用兩個(gè)所獲取的圖像來(lái)提取圖案。這 是通過(guò)從沒(méi)有光圖案的簡(jiǎn)單圖像中減去含有光圖案的圖像來(lái)執(zhí)行的。減法的結(jié)果被用于獲 得光圖案及其形狀。在具有減法和光圖案檢測(cè)的迭代過(guò)程之前或之后或之中，由用戶(hù)手抖 動(dòng)引起的偽像被檢測(cè)和校正。手抖動(dòng)生成運(yùn)動(dòng)模糊，其可以被公式化為卷積核，該核可以被 自動(dòng)檢測(cè)到且然后通過(guò)使用圖像降噪而自動(dòng)補(bǔ)償。此外，多視圖方法允許:通過(guò)使用圖像序 列上的共同特征來(lái)檢測(cè)運(yùn)動(dòng);計(jì)算相對(duì)姿態(tài)和取向?？商娲?，可以使用圖像之間的共同點(diǎn) 來(lái)應(yīng)用一般投影和圖像扭曲變換，并且因此，該一般投影和圖像扭曲變換可以用于將一個(gè) 圖像映射到另一個(gè)上，從而去除由于運(yùn)動(dòng)而導(dǎo)致的偽像。光流是圖像扭曲的密集等同物，其 可以發(fā)現(xiàn)更優(yōu)的變換，并提供更準(zhǔn)確的誤差補(bǔ)償。一旦檢測(cè)到運(yùn)動(dòng)，它就由圖像重映射來(lái)校 正。
[0034]若干種方法可以用于3D重建。
[0035]例如，可以通過(guò)計(jì)算各個(gè)線的變形來(lái)執(zhí)行從光圖案的3D重建。梯度也可以被視為 沿每一條線延伸，并且，可以通過(guò)三角測(cè)量來(lái)計(jì)算場(chǎng)景的深度。三角測(cè)量在于使用多個(gè)攝像 機(jī)上投影點(diǎn)的已知三角連接性來(lái)取回它們?cè)诳臻g中的位置。考慮到空間中的點(diǎn)的投影幾何 形狀，空間中的點(diǎn)的投影處于連結(jié)該點(diǎn)和攝像機(jī)中心的直線上。當(dāng)存在多個(gè)攝像機(jī)時(shí)，將點(diǎn) 連結(jié)到兩個(gè)攝像機(jī)的段和連結(jié)兩個(gè)攝像機(jī)中心的段形成三角形，并且點(diǎn)的投影處于連結(jié)點(diǎn) 和攝像機(jī)的兩個(gè)段上。所述三角測(cè)量使用點(diǎn)的投影，以重建對(duì)應(yīng)的三角形，其中第三個(gè)角是 3D場(chǎng)景中的點(diǎn)。這個(gè)步驟被應(yīng)用到圖像之間的所有對(duì)應(yīng)關(guān)系。獲得點(diǎn)的云，點(diǎn)的云代表在圖 像中描繪的場(chǎng)景。通過(guò)使用根據(jù)本發(fā)明的不同實(shí)施例的投影光圖案來(lái)促進(jìn)在不同圖像中點(diǎn) 的對(duì)應(yīng)投影的識(shí)別(稱(chēng)為《點(diǎn)對(duì)應(yīng)關(guān)系》)。例如，使用條紋圖案，發(fā)現(xiàn)多個(gè)圖像中的點(diǎn)對(duì)應(yīng)關(guān) 系與發(fā)現(xiàn)多個(gè)圖像中的對(duì)應(yīng)條紋的任務(wù)相比被簡(jiǎn)化。通過(guò)同時(shí)在這兩個(gè)圖像中傳播條紋 索引遠(yuǎn)離參考（'水平地'），單個(gè)參考條紋是獲得針對(duì)所有點(diǎn)的匹配所必需的。通過(guò)沿條紋 ("垂直地"）傳播索引，條紋內(nèi)的逐漸阻塞可以被處置。每當(dāng)穿越黑和白邊界時(shí)，水平傳播的 步驟都增加條紋索引。垂直傳播條紋索引的步驟針對(duì)所連接的部件中的點(diǎn)保持相同的索 弓丨。通過(guò)在每個(gè)點(diǎn)處選擇最小傳播索引，獲得正確的條紋匹配(除非在前景中存在大物體的 集合，掩蔽感興趣物體，但在實(shí)踐中，當(dāng)掃描食物時(shí)或類(lèi)似地當(dāng)掃描平坦表面上的簡(jiǎn)單場(chǎng)景 時(shí)，這不會(huì)發(fā)生）。
[0036]圖3示出所分析的物體的示例，具有和不具有在其上投影的光圖案、光圖案的所得 到的識(shí)別和所檢測(cè)到的手抖動(dòng)移動(dòng)。圖3A示出具有在其上投影的光圖案（即，亮條紋）的物 體(例如雞翅）。圖3B示出不具有突出顯示的物體。圖3C代表兩個(gè)圖像之間的減法的結(jié)果，得 到光圖案的識(shí)別。攝像機(jī)的移動(dòng)可以由于手抖動(dòng)（由箭頭標(biāo)記在圖像上)而被觀察到。
[0037]圖4示出3D重建的步驟的示例，包括圖像的減法、噪聲去除步驟和3D形狀計(jì)算步 驟。圖4A和圖4B示出具有和不具有光圖案的測(cè)試圖像。圖4C示出在沒(méi)有"手抖動(dòng)"的情況下 原始圖像(A)和(B)的減法結(jié)果。圖4D示出光圖案的處理并且使它們1像素薄。圖4E示出從線 的變形計(jì)算的3D模型。
[0038]圖5示出光圖案結(jié)構(gòu)的一些可能的變化，這些變化僅是示例。圖案的元素的形狀可 以就其關(guān)于局部深度的變形而言給出關(guān)于到物體的距離的信息。光圖案可以是從光源直接 獲得的，來(lái)自被附接到移動(dòng)裝置或被本機(jī)嵌入在移動(dòng)設(shè)備中的設(shè)備中的可更換或預(yù)定義的 掩?；蚍枪鈱W(xué)元件。例如，移動(dòng)電話閃光燈可以包含形成光圖案的光學(xué)元件、幅度波帶片。 圖案的結(jié)構(gòu)可以變化，如由圖5(A)條紋、（B)重復(fù)元素、（C)圓點(diǎn)或甚至(D)其混合物中的一 些示例所示。
[0039]根據(jù)本方法的3D信息提取在分析光圖案在所分析的表面上的反射的技術(shù)上被簡(jiǎn) 化。在優(yōu)選實(shí)施例中，通過(guò)使用靜態(tài)光圖案對(duì)表面進(jìn)行編碼來(lái)獲得3D信息。仍然，根據(jù)本方 法的一些進(jìn)一步發(fā)展，在圖像/視頻獲取(獲取例如更多圖像)期間移動(dòng)或旋轉(zhuǎn)(一個(gè)或多 個(gè))光圖案可以是可能的，該附加步驟可以使得能夠節(jié)省關(guān)于表面的條紋的二進(jìn)制信息(并 且接下來(lái)推斷關(guān)于被分析的表面的各部分的性質(zhì)和紋理的信息）。
[0040] 圖6圖示了手抖動(dòng)補(bǔ)償系統(tǒng)。雖然固定攝像機(jī)（即，在圖像獲取期間具有空間中的 穩(wěn)定條件)導(dǎo)致準(zhǔn)確的體積測(cè)量，但本發(fā)明的一些實(shí)施例在移動(dòng)性情形中（即，在圖像獲取 期間具有空間中的相對(duì)不穩(wěn)定的條件)實(shí)現(xiàn)圖像獲取。當(dāng)移動(dòng)設(shè)備由人握持時(shí)，在執(zhí)行圖像 獲取的同時(shí)(在獲得表面的快照的同時(shí)），用戶(hù)的手可能抖動(dòng)。
[0041] 根據(jù)本發(fā)明的一些實(shí)施例，設(shè)備的由于手抖動(dòng)而導(dǎo)致的所檢測(cè)到的移動(dòng)可以被考 慮，以補(bǔ)償這些移動(dòng)并最終減小噪聲偽像。所描述的方法有利地利用在該設(shè)備中且針對(duì)該 設(shè)備測(cè)量且可用的加速度計(jì)和/或運(yùn)動(dòng)傳感器數(shù)據(jù)。因此，通過(guò)考慮補(bǔ)償數(shù)據(jù)（即，由手抖動(dòng) 生成的偽像），該方法可以超出純圖案線提取的處置。作為結(jié)果，體積的準(zhǔn)確度增加。在沒(méi)有 補(bǔ)償?shù)那闆r下，由于手抖動(dòng)而導(dǎo)致的偽像線將以其他方式參與不太準(zhǔn)確(但仍然有價(jià)值)的 三維重建。
[0042]各種機(jī)構(gòu)或部件可以被用于補(bǔ)償手抖動(dòng):運(yùn)動(dòng)傳感器(例如加速度計(jì)或陀螺儀）， 用于圖像穩(wěn)定的機(jī)械(和/或電氣)光學(xué)元件。在優(yōu)選實(shí)施例中，移動(dòng)電話的現(xiàn)有光學(xué)元件被 使用，并且手抖動(dòng)由軟件校正基于加速