別 的訪問權(quán)限訪問嵌入式攝像機(jī)可以允許使用更高的幀速率。幀速率范圍本身僅由計算速度 和光傳感器（電荷耦合器件單元或CCD)的電荷累積特性限制。電荷累積時間是單個像素收 集足夠的光并返回測量所必要的時間。該最小電荷延遲把使用硅結(jié)構(gòu)的圖像獲取速度限制 到標(biāo)準(zhǔn)照明條件下大約200fps(在2013年）。在所描述的實施例中，圖像獲取的速度對應(yīng)于 外部光圖案源的切換速率。在移動電話實施例中，這個速率與移動電話閃光燈相關(guān)。在一些 估計中，根據(jù)目前可用的技術(shù)，圖像獲取速度的時間可以在100至800毫秒的范圍（對應(yīng)于1 到lOfps)內(nèi)變化。換句話說，一個或多個光圖案投影和一個或多個圖像獲取可發(fā)生在短時 間框架(比如一秒鐘）內(nèi)。
[0098] 在一些實施例中，物體的圖像獲取可以使用智能電話或移動設(shè)備的視頻模式來執(zhí) 行。軟件應(yīng)用程序觸發(fā)光圖案投影儀源，并在同一時間啟動視頻記錄模式。在預(yù)定義時間延 遲后，光源被關(guān)閉，并且移動設(shè)備繼續(xù)記錄一段時間，該段時間等于某個預(yù)定義時間。為了 優(yōu)化計算，獲取至少兩個視頻幀（一個具有投影光圖案和一個不具有投影光圖案）。在一些 實施例中，由開啟和關(guān)閉投影構(gòu)成的序列被重復(fù)并且圖像被連續(xù)地獲取。一對或多對圖像 然后出于優(yōu)化目的被選擇。選擇標(biāo)準(zhǔn)包括攝像機(jī)位置和取向、時間延遲或時間段、圖像質(zhì)量 或光圖案的所得提取的差異的量化。在一些實施例中，該選擇最小化時間延遲和/或最大化 幀之間的光圖案強(qiáng)度。為了識別具有和不具有光圖案的圖像;開啟/關(guān)閉光源事件的時間可 以被記錄，和/或能夠檢測具有光圖案的幀和不具有光圖案的幀之間的過渡。為了辨別在其 上具有和不具有光圖案的圖像，可發(fā)生另一個可選的步驟，所述子步驟包括比較后續(xù)圖像 的直方圖。在其他可選實施例中，諸如時間延遲、幀速率或其他硬件規(guī)格之類的參數(shù)可用于 鑒別兩組圖像(具有和不具有投影光圖案）。在確定具有和不具有投影光圖案的圖像對的視 頻序列之后，可確定一個或多個最佳圖像對，例如每個組中的一個?？梢赃x擇使用最小必要 變換的最好的一雙或一對幀，以去除例如抖動和移動。在確定最好的一雙幀之后，可以執(zhí)行 目前所描述的方法的其他步驟。
[0099] 在進(jìn)一步的發(fā)展中，根據(jù)本發(fā)明所描述的步驟或?qū)嵤├械囊粋€或多個的計算可 以被連續(xù)執(zhí)行，并且用于提高圖像獲取的可選設(shè)備(或強(qiáng)制性指令)被動態(tài)地顯示用戶（例 如利用顯示在屏幕上的箭頭，以便暗示移位移動電話、以屏幕上的物體為中心、改變視角 等）。圖像獲取也可以被自動觸發(fā)(例如不要求用戶按下按鈕或觸摸屏幕）。例如，這樣的自 適應(yīng)圖像獲取設(shè)備或本發(fā)明的其他實施例可以被重復(fù)，直到基于與包括如下各項中的一個 或多個的標(biāo)準(zhǔn)相關(guān)聯(lián)的預(yù)定義閾值認(rèn)為圖像的獲取足夠：圖像質(zhì)量、手抖動的關(guān)聯(lián)測量值、 靜止圖像或視頻幀之間的時間延遲、產(chǎn)生的計算光圖案或其組合。
[0100] 本發(fā)明的實施例可以采取完全硬件實施例、完全軟件實施例或包含硬件和軟件元 件的實施例的形式。軟件包括但不限于固件、常駐軟件、微代碼等。硬件實現(xiàn)方式可以表現(xiàn) 出處理性能的優(yōu)勢。此外，本發(fā)明的一些實施例可以采取計算機(jī)程序產(chǎn)品的形式，該計算機(jī) 程序產(chǎn)品可從計算機(jī)可用或計算機(jī)可讀介質(zhì)訪問，計算機(jī)可用或計算機(jī)可讀介質(zhì)提供供計 算機(jī)或任何指令執(zhí)行系統(tǒng)使用或與計算機(jī)或任何指令執(zhí)行系統(tǒng)關(guān)聯(lián)的程序代碼。一種計算 機(jī)可用或計算機(jī)可讀裝置可以是如下任何裝置:該裝置可以包含、存儲、通信、傳播、或傳輸 供指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備關(guān)聯(lián)的程序。
【主權(quán)項】
1. 一種系統(tǒng)，用于估計盤上的食物（單個或多個）的碳水化合物含量，所述系統(tǒng)包括當(dāng) 由處理器執(zhí)行時導(dǎo)致包括以下各項的操作的指令： -從圖像獲取部件接收食物的第一圖像； -利用光圖案投影部件在食物的表面上投影光圖案； -從圖像獲取部件接收食物的第二圖像，第二圖像被突出顯示有所述光圖案； -識別在第一和第二圖像之間圖像獲取部件的移動； -通過基于偽像補(bǔ)償在圖像獲取操作期間圖像獲取部件的移動來校正第一和/或第二 圖像以得到經(jīng)校正的圖像對； -使經(jīng)校正的圖像對的第一和第二圖像相減； -基于第一和第二校正圖像的相減來識別食物上的投影光圖案;和 -在給定投影光圖案的變形的情況下，計算食物的立體形狀和體積； -從第一圖像進(jìn)行食物的分割和辨別； -通過使用營養(yǎng)數(shù)據(jù)庫、基于食物的體積、分割和辨別來計算食物的碳水化合物含量。2. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中光圖案投影部件的照射功率在5mW之下并 連續(xù)操作，或處于具有大約〇. 5Hz直到10Hz之間的脈沖頻率的脈動模式中。3. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中光圖案投影部件包括從列表中選擇的一個 或多個光源，所述列表包括低強(qiáng)度半導(dǎo)體激光器二極管、LED、有機(jī)LED(OLED)、預(yù)先存在的 移動電話閃光燈，諸如具有小于大約〇. 7W的電功率消耗、特別是具有大約0.05W和大約0.7W 之間的電功率消耗、并且更具體地〇. 05W和0.7W之間的電功率消耗的白光LED或小型化鹵素 燈或其組合。4. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中光圖案投影部件包括光源和光學(xué)物鏡，光 學(xué)物鏡被適配為形成和投影和/或聚焦光圖案到食物上，其中功率密度在55mWt/cm 2的預(yù)定 義值之下。5. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中光圖案投影部件以及圖像獲取部件的相對 姿態(tài)和取向在圖像獲取或光圖案投影期間是靜態(tài)的。6. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中光圖案具有明亮區(qū)域，其中功率密度在 55mWt/cm2 之下。7. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中光圖案由幾何主題構(gòu)成，幾何主題諸如是 條紋、或圓點(diǎn)、或重復(fù)圖形元素或其組合的序列。8. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中光圖案是通過顏色和/或相位和/或幅度調(diào) 制來編碼的。9. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其中光圖案的編碼是預(yù)定義的，并與圖像獲取部件和數(shù) 據(jù)處理同步。10. 所述的系統(tǒng)，還包括:通過補(bǔ)償在圖像獲取操作期間圖像獲取部件的移動來校正第 一和/或第二圖像的操作還通過處理從運(yùn)動傳感器接收的數(shù)據(jù)而執(zhí)行。11. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中所述補(bǔ)償在圖像獲取操作期間圖像獲取 部件的移動是通過如下方式執(zhí)行的:通過多視圖幾何方法或投影扭曲；或通過分段線性、投 影或更高階扭曲；或通過反卷積;或通過取向圖像銳化;或通過在利用圖像相減的迭代改善 過程之前或之后或之中的光流檢測。12. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中食物分割和辨別操作包括如下各項操作 中的一個或多個:分割圖像、識別圖像的經(jīng)分割的部分的顏色和/或紋理特征、和針對圖像 的一個或多個經(jīng)分割的部分執(zhí)行基于機(jī)器學(xué)習(xí)的分類、或其組合。13. 根據(jù)權(quán)利要求12所述的系統(tǒng)，還包括如下步驟:通過把所確定的食物類型的所估計 的體積與從數(shù)據(jù)庫中檢索的單位體積值相乘來估計在第一或第二圖像中捕獲的膳食的一 個或多個膳食特性，所述數(shù)據(jù)庫從因特網(wǎng)訪問，和/或本地存儲在設(shè)備上，和/或通過使用 OCR而從食物標(biāo)簽確定，和/或與地理位置數(shù)據(jù)相關(guān)聯(lián)，和/或由用戶提供。14. 根據(jù)權(quán)利要求13所述的系統(tǒng)，其中膳食或膳食的部分的一個或多個特性是如下各 項中的一個或多個:碳水化合物含量、脂肪含量、蛋白質(zhì)含量、血糖指數(shù)(GI)、血糖負(fù)荷(GL) 和/或胰島素指數(shù)(Π )或其組合。15. 根據(jù)權(quán)利要求14或15所述的系統(tǒng)，還包括如下步驟:基于所述一個或多個膳食特性 提供胰島素劑量推薦和/或丸劑分布建議。16. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中該系統(tǒng)被觸發(fā)并自動運(yùn)行，光圖案的投影 是通過語音命令或通過手勢命令和/或通過觸摸屏命令和/或通過地理定位和/或通過遵循 預(yù)定義的時間調(diào)度來觸發(fā)的。17. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中圖像獲取部件和光圖案投影部件被嵌入 在移動設(shè)備中，所述移動設(shè)備諸如是血糖儀或者被提供有測試條端口或移動電話或智能電 話的胰島素栗控制器。18. 根據(jù)權(quán)利要求17所述的系統(tǒng)，其中光圖案投影部件經(jīng)由夾具或經(jīng)由插入到電接觸 槽中而可附接到移動設(shè)備，所述電接觸槽特別諸如是功率充電槽或USB槽。19. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中第一或第二圖像基于視頻幀。20. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中一個或多個操作被連續(xù)地自動重復(fù)，直到 基于與包括如下各項中的一個或多個的準(zhǔn)則相關(guān)聯(lián)的預(yù)定義閾值將第一和/或第二圖像的 獲取認(rèn)為是足夠的為止:圖像質(zhì)量、手抖動的關(guān)聯(lián)測量值、靜止圖像或視頻幀之間的時間延 遲、所得到的光圖案或其組合。21. 根據(jù)前述任一權(quán)利要求所述的系統(tǒng)，其中圖像獲取部件被嵌入在手持設(shè)備中，并具 有大約0.3直到大約3勒克斯之間的靈敏度。22. -種計算機(jī)程序，包括用于當(dāng)所述計算機(jī)程序在一個或多個合適部件上執(zhí)行時執(zhí) 行前述權(quán)利要求中任一項的一個或多個操作的指令。23. -種計算機(jī)可讀介質(zhì)，具有編碼在其上的根據(jù)權(quán)利要求22所述的計算機(jī)程序。
【專利摘要】本文公開了一種系統(tǒng)，用于利用移動設(shè)備估計板上食物、例如膳食的體積。所述系統(tǒng)使用攝像機(jī)和光圖案投影儀。在其上具有和不具有投影光圖案的食物的圖像使得能夠計算立體形狀和體積，而圖像分割和辨別步驟估計所述圖像中的一個或多個食物類型。通過應(yīng)用可訪問的知識數(shù)據(jù)庫，碳水化合物含量被估計，并且關(guān)聯(lián)的胰島素丸劑劑量被提供。發(fā)展包括光圖案、不同光源和關(guān)聯(lián)的波長的編碼、運(yùn)動補(bǔ)償、附加光學(xué)器件、脂肪含量的估計和關(guān)聯(lián)的多波丸劑。本發(fā)明可以被實現(xiàn)在葡萄糖儀中或者在被提供有測試條端口或移動電話的胰島素泵控制器中。
【IPC分類】G06T7/00
【公開號】CN105580052
【申請?zhí)枴緾N201480037619
【發(fā)明人】J.德海斯, S.舍夫?？? A.索尼, A.格倫伯格, M.安蒂莫波洛斯, S.穆賈卡考
【申請人】豪夫邁·羅氏有限公司, 伯爾尼大學(xué)
【公開日】2016年5月11日
【申請日】2014年7月1日
【公告號】EP3017423A1, US20160163037, WO2015000890A1