食物體積和碳水化合物的估計(jì)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般地涉及用于估計(jì)食物的體積和糖類（以下稱為碳水化合物)含量的方 法、系統(tǒng)和設(shè)備。
【背景技術(shù)】
[0002] 移動電話關(guān)聯(lián)的應(yīng)用代表快速增長的市場，其為用戶提供了針對各種各樣的任務(wù) 的許多有幫助的工具。最近在硬件和信號處理方面的成就已經(jīng)提高了這些工具的可使用性 并給予用戶機(jī)會來靠他們自己執(zhí)行準(zhǔn)確測量。
[0003] 同樣地，存在對適合于飲食的自我評估的便攜設(shè)備的增長的需求，其中對于患有I 型糖尿病的患者而言尤其強(qiáng)烈需要?；加刑悄虿〉娜说目倲?shù)估計(jì)達(dá)到4億，并且這個數(shù)量在 接下來的幾十年中將大大增加。針對患有糖尿病的人的關(guān)鍵任務(wù)之一是對食物攝取的量和 類型的控制。對他們來說，飲食影響血糖會比對于健康個人多得多。臨床研究已經(jīng)表明，對 接受強(qiáng)化胰島素治療的兒童和青少年，±l〇g碳水化合物計(jì)數(shù)的不準(zhǔn)確性不會惡化餐后控 制，而± 20g變化顯著影響餐后血糖。
[0004] 由于各種各樣的食物類型和食物份的復(fù)雜不規(guī)則形狀，食物攝入估計(jì)是不小的任 務(wù)。圖像處理和計(jì)算機(jī)視覺技術(shù)已經(jīng)取得了一些進(jìn)展，但眾多不確定性依然存在且累積(食 物的類型的辨別、體積的估計(jì)、多種多樣的照明條件等）。關(guān)于體積(其是關(guān)鍵參數(shù))的估計(jì)， 針對工業(yè)活動的可用3D掃描技術(shù)(使用中等功率消耗激光器來掃描物體和重建3D形狀)不 適配于移動和個人環(huán)境。工業(yè)激光器需要重要的能量來源，可能對于眼睛來說是危險(xiǎn)的，且 可能需要若干個圖像獲取設(shè)備。
[0005] 專利文獻(xiàn)針對工業(yè)環(huán)境中的3D或體積估計(jì)而被開發(fā)，但對于銷售量大的類型環(huán)境 來說是稀缺的。
[0006] EP2161537公開了一種位置測量裝置，包括:把第一束照射到物體的第一照射部 分;把第二束照射到物體的第二照射部分;捕獲物體的圖像的捕獲部分;處理部分，其通過 處理由捕獲部分捕獲的圖像來生成第一差異圖像和第二差異圖像;提取部分，其從第一差 異圖像提取物體的輪廓和特征點(diǎn)；計(jì)算部分，其基于第二差異圖像來計(jì)算位于物體上的反 射點(diǎn)的三維坐標(biāo)；以及確定部分，其通過相對于物體的預(yù)定建模數(shù)據(jù)匹配輪廓、特征點(diǎn)和三 維坐標(biāo)來確定物體的位置。該系統(tǒng)呈現(xiàn)出缺點(diǎn)。
[0007] Shang等人的〃Dietary intake assessment using integrated sensors and software", Proceedings of SPIE, Vol. 8304 page 830403描述了由以下各項(xiàng)構(gòu)成的系 統(tǒng):移動設(shè)備，集成智能電話和集成激光器封裝；智能電話上的軟件，用于數(shù)據(jù)收集和激光 控制；算法，處理針對食物體積估計(jì)的所獲取的數(shù)據(jù)；以及數(shù)據(jù)庫和接口，用于數(shù)據(jù)存儲和 管理。激光器封裝創(chuàng)建結(jié)構(gòu)化光圖案，特別是激光網(wǎng)格。
[0008] 該系統(tǒng)利用攝像機(jī)圍繞食物的緩慢移動收集視頻，并收集視頻序列，攝像機(jī)被穩(wěn) 定在若干個位置處。在視頻收集期間開啟和關(guān)閉激光器，導(dǎo)致交替地具有和不具有激光網(wǎng) 格的視頻幀。由于兩個相鄰幀之間的運(yùn)動被認(rèn)為是小的，因此可以通過從網(wǎng)格圖像中減去 非網(wǎng)格圖像來提取激光網(wǎng)格線。
[0009] 因?yàn)橹悄茈娫拑H具有中等計(jì)算能力，所以它適合于數(shù)據(jù)收集而不適合于體積估 計(jì)。因此，所獲取的網(wǎng)格視頻被傳輸?shù)椒?wù)器以用于進(jìn)一步處理。此外，食物類型是由用戶 手動識別的，同時(shí)也手動執(zhí)行對其運(yùn)動較小的若干對圖像的選擇。這些限制了系統(tǒng)的可使 用性。
[0010] 存在對估計(jì)物體(如食物）的體積和推導(dǎo)食物營養(yǎng)價(jià)值及其胰島素丸劑建議的方 法、系統(tǒng)和便攜設(shè)備的需要。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明涉及供攝像機(jī)使能便攜設(shè)備(如移動電話、智能電話)用于使用結(jié)構(gòu)化光進(jìn) 行的食物體積估計(jì)、用于通過圖像分析進(jìn)行的食物分割/辨別和用于高級丸劑提議特征的 應(yīng)用。使用數(shù)據(jù)分析/處理和表面突出顯示的變化的組合，3D掃描原理被適配于移動設(shè)備， 如移動電話，其呈現(xiàn)特定圖像獲取條件。示例教導(dǎo)如何過濾噪聲和信號偽像。本發(fā)明的實(shí)施 例解決了包括下述各項(xiàng)的技術(shù)問題:對光源的小型化，以使其可能用作可附接設(shè)備;優(yōu)化處 理算法以適應(yīng)對移動設(shè)備的計(jì)算功率約束；以及實(shí)現(xiàn)有效的噪聲降低。
[0012] 這是通過如權(quán)利要求1中所描述的本發(fā)明系統(tǒng)實(shí)現(xiàn)的。
[0013] 本文公開了一種系統(tǒng)，用于估計(jì)物體的體積，所述系統(tǒng)包括當(dāng)由處理器執(zhí)行時(shí)導(dǎo) 致包括以下各項(xiàng)的操作的指令:從圖像獲取部件接收物體的第一圖像;利用光圖案投影部 件在物體的表面上投影光圖案;從圖像獲取部件接收物體的第二圖像，第二圖像被突出顯 示有所述光圖案;使第一和第二圖像相減;識別物體上的投影光圖案;和在給定投影光圖案 的變形的情況下，計(jì)算物體的立體形狀和體積。
[0014] 在可選發(fā)展中，光圖案投影部件的照射功率可以在5mW之下。對于環(huán)境照明條件， 合適的照射功率可以在〇.5mW之上。在發(fā)展中，光圖案投影部件包括從列表中選擇的一個或 多個光源，該列表包括低強(qiáng)度半導(dǎo)體激光器二極管、LED、有機(jī)LED(OLED)、預(yù)先存在的移動 電話閃光燈，諸如白光LED或小型化鹵素?zé)艋蚱浣M合。更優(yōu)選地，光源被操作在連續(xù)模式中 或在脈動模式中，具有大約〇. 1到100Hz之間的脈沖頻率，甚至更優(yōu)選地，0.5和10Hz之間的 脈沖頻率。
[0015] 在特定實(shí)施例中，光源的功率消耗小于0.7W，特別地，功率消耗處于大約0.05W和 大約0.7W之間的范圍內(nèi)。
[0016] 在發(fā)展中，系統(tǒng)，特別是光圖案投影部件，包括光學(xué)物鏡，光學(xué)物鏡被適配為形成 和投影和/或聚焦光圖案到物體上。優(yōu)選地，光學(xué)物鏡具有從光源的照射功率的總輸出的在 60%以下的照射損耗。
[0017] 在發(fā)展中，光圖案投影部件和圖像獲取部件的相對姿態(tài)和取向在圖像獲取操作 和/或光圖案投影操作期間是靜態(tài)的或不變的。在發(fā)展中，投影光圖案由幾何主題構(gòu)成，幾 何主題諸如是條紋、或點(diǎn)、或重復(fù)圖形元素或其組合的序列。特別地，幾何主題具有明亮區(qū) 域，該明亮區(qū)域處的功率密度在55mWt/cm 2之下。
[0018] 在發(fā)展中，光圖案是通過顏色和/或相位和/或幅度調(diào)制來編碼的。在發(fā)展中，光圖 案的編碼是預(yù)定義的并與圖像獲取部件同步。所有顏色分量的總照射功率等于光圖案投影 部件的光源的輸出照射或在其之下。
[0019] 在發(fā)展中，編碼可以是通過把一個或多個源的光譜匹配到圖像獲取部件的濾波器 的最大傳輸速率來實(shí)現(xiàn)的。在發(fā)展中，系統(tǒng)還包括如下操作:通過補(bǔ)償在圖像獲取操作期間 圖像獲取部件的移動來校正第一和/或第二圖像。在進(jìn)一步的發(fā)展中，補(bǔ)償是通過處理從與 移動設(shè)備關(guān)聯(lián)的加速度計(jì)和/或陀螺儀和/或運(yùn)動傳感器和/或機(jī)械光學(xué)部件和/或電氣光 學(xué)部件和/或攝像機(jī)追蹤部件和/或磁力計(jì)和/或計(jì)算機(jī)視覺跟蹤設(shè)備接收的數(shù)據(jù)來執(zhí)行 的。
[0020] 在發(fā)展中，補(bǔ)償是通過如下方式執(zhí)行的：通過多視圖幾何方法(例如，使用圖像特 征的姿態(tài)解算機(jī))或投影扭曲；或通過分段線性、投影或更高階扭曲；或通過反卷積;或通過 取向圖像銳化;或通過在具有圖像減法的迭代改善過程之前或之后或之中的光流檢測。在 發(fā)展中，物體是食物，且進(jìn)一步包括如下操作:執(zhí)行第一和/或第二圖像的食物辨別以估計(jì) 所述圖像中的一個或多個食物類型和與所述食物類型相關(guān)聯(lián)的一個或多個體積。在發(fā)展 中，食物識別操作包括如下操作中的一個或多個:分割圖像、識別圖像的經(jīng)分割的部分的顏 色和/或紋理特征、和針對圖像的一個或多個經(jīng)分割的部分執(zhí)行基于機(jī)器學(xué)習(xí)的分類、或其 組合。
[0021] 在發(fā)展中，系統(tǒng)還包括如下操作:通過把確定的食物類型的估計(jì)體積與從數(shù)據(jù)庫 中檢索的單位體積值相乘來估計(jì)在第一或第二圖像中捕獲的膳食的一個或多個膳食特性， 所述數(shù)據(jù)庫被遠(yuǎn)程存儲(例如群集、服務(wù)器和/或計(jì)算機(jī)網(wǎng)絡(luò))且通過任何可用的有線和無 線通信信道而訪問，和/或本地存儲在設(shè)備上，和/或通過使用光學(xué)字符辨別(OCR)從食物標(biāo) 簽確定和/或與地理位置數(shù)據(jù)相關(guān)聯(lián)和/或由用戶提供。在進(jìn)一步的發(fā)展中，膳食或其部分 的一個或多個特性是如下各項(xiàng)中的一個或多個:碳水化合物含量、脂肪含量、蛋白質(zhì)含量、 血糖指數(shù)(GI)、血糖負(fù)荷(GL)和/或胰島素指數(shù)（II)或其組合。在發(fā)展中，本文提供了基于 所述一個或多個膳食特性的胰島素劑量推薦和/或丸劑分布建議。在發(fā)展中，光圖案的投影 以及特別地由系統(tǒng)執(zhí)行的整個傳遞途徑是通過語音命令或通過手勢命令和/或通過觸摸屏 命令和/或鍵盤和/或通過地理圍欄和/或地理定位和/或通過跟隨預(yù)定義的時(shí)間調(diào)度來觸 發(fā)的。在發(fā)展中，圖像獲取部件和光圖案投影部件被嵌入在移動設(shè)備中，所述移動設(shè)備諸如 是葡萄糖儀或被提供有測試條端口或移動電話的胰島素栗控制器。
[0022] 在發(fā)展中，光圖案投影部件可附接到移動設(shè)備。優(yōu)選地，光圖案投影部件被插入， (即，被連接到）系統(tǒng)的電接觸槽，特別諸如是優(yōu)選地手持設(shè)備(例如，優(yōu)選地，智能電話）的 充電槽或USB槽。
[0023] 在發(fā)展中，第一或第二圖像是視頻幀，并且圖像獲取部件是視頻攝像機(jī)。
[0024] 在發(fā)展中，一個或多個操作被連續(xù)地、并且特別地自動地重復(fù)，直到基于與包括如 下各項(xiàng)中的一個或多個的準(zhǔn)則相關(guān)聯(lián)的預(yù)定義閾值將第一和/或第二圖像的獲取認(rèn)為是足 夠的：圖像質(zhì)量、手抖動的關(guān)聯(lián)測量值、靜止圖像或視頻幀之間的時(shí)間延遲、所得到的光圖 案或其組合。
[0025] 在進(jìn)一步的實(shí)施例中，圖像獲取部件具有處于5勒克斯之下的靈敏度。
[0026] 本文公開了一種計(jì)算機(jī)程序，包括用于當(dāng)所述計(jì)算機(jī)程序在一個或多個合適部件 上執(zhí)行時(shí)執(zhí)行根據(jù)本公開的一個或多個操作的指令。本文還公開了一種計(jì)算機(jī)可讀介質(zhì)， 具有編碼在其上的這種計(jì)算機(jī)程序。
【附圖說明】
[0027] 圖1圖示了方法的實(shí)施例的實(shí)際使用； 圖2是體積估計(jì)的方法的示意性和示例性工作流程； 圖3示出所分析的物體的示例，具有和不具有被投影在該物體上