度計(jì)或運(yùn)動(dòng)傳感器數(shù)據(jù)來(lái)補(bǔ)償。加速度計(jì)是測(cè)量固 有加速度的設(shè)備。加速度計(jì)的單軸和多軸(例如3軸)模型可用于檢測(cè)固有加速度(或g_力） 的量值和方向，作為向量的量，并可以用來(lái)感測(cè)取向（因?yàn)橹亓扛淖兊姆较颍?、坐?biāo)加速度 (只要它產(chǎn)生g_力或g_力的改變）、振動(dòng)、沖擊、和電阻性介質(zhì)中的下降（固有加速度改變的 情況，因?yàn)樗_(kāi)始于〇處，然后增加）。微機(jī)械加工加速度計(jì)越來(lái)越多地存在于便攜電子設(shè)備 和視頻游戲控制器中，以檢測(cè)設(shè)備的位置或提供游戲輸入。在商業(yè)設(shè)備中，壓電、壓阻和電 容性部件通常用于將機(jī)械運(yùn)動(dòng)轉(zhuǎn)換成電信號(hào)。加速度計(jì)和/或陀螺儀可以被用于補(bǔ)償手抖 動(dòng)?？梢詥为?dú)使用加速度計(jì)?？梢詥为?dú)使用陀螺儀?？梢允褂猛勇輧x與加速度計(jì)的組合。陀 螺儀允許取向和旋轉(zhuǎn)的計(jì)算。這樣的部件已被引入到消費(fèi)電子產(chǎn)品中且在設(shè)備中可容易得 至|J。與多個(gè)智能電話內(nèi)的先前單獨(dú)加速度計(jì)相比，陀螺儀的集成已經(jīng)允許在3D空間內(nèi)更準(zhǔn) 確辨別運(yùn)動(dòng)。消費(fèi)電子產(chǎn)品中的陀螺儀頻繁地與加速度計(jì)(加速度傳感器)組合以用于更魯 棒的方向和運(yùn)動(dòng)感測(cè)?？梢允褂闷渌麢C(jī)構(gòu):攝像機(jī)追蹤、磁強(qiáng)計(jì)、由計(jì)算機(jī)視覺(jué)進(jìn)行的位置 追足示。
[0043]此外，一個(gè)或多個(gè)附加光學(xué)元件可以用于校正手抖動(dòng)或振動(dòng)。一些噪聲消除傳感 器可以被確實(shí)地使用。例如，（一個(gè)或多個(gè))另外附加光圖案可以被引入，并且其變形的尺寸 和/或反射光的強(qiáng)度可以被進(jìn)一步分析。這樣的附加光學(xué)元件可以被本機(jī)實(shí)現(xiàn)在特定移動(dòng) 設(shè)備中，例如，在胰島素栗的遙控器中，或者可以通過(guò)擴(kuò)展設(shè)備而被實(shí)現(xiàn)以連接到標(biāo)準(zhǔn)移動(dòng) 電話或遙控器。機(jī)電光學(xué)裝置也可以被用于補(bǔ)償攝像機(jī)或其他成像設(shè)備的橫搖和傾斜(角 移動(dòng)，等同于偏航和俯仰）。它被用在圖像穩(wěn)定雙筒鏡、靜止和視頻攝像機(jī)、以及天文望遠(yuǎn)鏡 中。在靜止攝像機(jī)的情況下，攝像機(jī)抖動(dòng)在較慢快門速度處(在黑暗中）特別成問(wèn)題。
[0044] 在視頻攝像機(jī)的情況下，攝像機(jī)抖動(dòng)在所記錄的視頻中引起可見(jiàn)的逐幀跳動(dòng)。在 視頻實(shí)施例中，通過(guò)逐視頻幀移位電子圖像，足以抵消運(yùn)動(dòng)，可以使用實(shí)時(shí)數(shù)字圖像穩(wěn)定。 這樣的技術(shù)使用可見(jiàn)幀的邊界以外的像素，以提供針對(duì)運(yùn)動(dòng)的緩沖。該技術(shù)減少來(lái)自視頻 的分散振動(dòng)，或通過(guò)允許在不模糊圖像的情況下增加曝光時(shí)間來(lái)改進(jìn)靜止圖像質(zhì)量。該技 術(shù)不影響圖像的噪聲水平，除了當(dāng)圖像被外推時(shí)在極端邊界中。
[0045] 現(xiàn)在討論手抖動(dòng)補(bǔ)償?shù)倪M(jìn)一步實(shí)施例。根據(jù)另一實(shí)施例，在測(cè)量期間的手抖動(dòng)和/ 或手移動(dòng)可以通過(guò)單應(yīng)性(從一個(gè)圖像到另一個(gè)的投影變換)而近似。當(dāng)改變3D場(chǎng)景中的視 點(diǎn)時(shí)，物體的圖像變形對(duì)平面來(lái)說(shuō)投影的且對(duì)所有非平面物體來(lái)說(shuō)是非投影的。然而，如果 攝像機(jī)的移動(dòng)小，則圖像中的非投影變換在幅度方面也小且可以通過(guò)投影變換而近似。此 外，要求不是像素之間的精確匹配，而是顏色和鄰域方面的接近精確匹配。
[0046]在另一個(gè)實(shí)施例中，圖像扭曲被用于校正圖像之間的抖動(dòng)。通過(guò)下述方式進(jìn)行扭 曲：發(fā)現(xiàn)兩個(gè)圖像之間的稀疏像素對(duì)應(yīng)關(guān)系，對(duì)圖像進(jìn)行網(wǎng)格化（teSSellating)(三角測(cè) 量、四邊測(cè)量等等），以及將局部變換應(yīng)用到每個(gè)元素以將它們映射到它們?cè)诘诙D像中的 對(duì)應(yīng)元素。
[0047]在另一個(gè)實(shí)施例中，圖像特征從所獲取的圖像提取，特征之間的對(duì)應(yīng)關(guān)系被估計(jì) 且用于計(jì)算手抖動(dòng)之前和之后的相對(duì)攝像機(jī)姿態(tài)(利用5點(diǎn)、7點(diǎn)或8點(diǎn)算法）。一旦所有的圖 像被矯正，變換(例如，移位、旋轉(zhuǎn)、縮放)就被應(yīng)用到經(jīng)矯正的圖像以把來(lái)自一個(gè)圖像的每 個(gè)元素?cái)M合到另一圖像的的對(duì)應(yīng)元素。
[0048]在另一個(gè)實(shí)施例中，使用光流。在這樣的發(fā)展中，一個(gè)圖像中的每個(gè)像素被映射到 另一圖像中的對(duì)應(yīng)像素。可以使用全局方法（相位相關(guān)方法)或局部方法(例如，平方差之 和、絕對(duì)差之和)或利用差分方法(1^^38-1^1^(16、!1〇1'11-3(31111111<:方法等)來(lái)檢測(cè)運(yùn)動(dòng)。
[0049]在另一個(gè)實(shí)施例中，應(yīng)用去模糊的一個(gè)或多個(gè)步驟。例如，利用線性移位不變?yōu)V波 器的逆卷積被應(yīng)用于圖像以增加細(xì)節(jié)。所述一個(gè)或多個(gè)濾波器的選擇取決于應(yīng)用。在優(yōu)選 的實(shí)施例中，濾波器可以由空間平移(運(yùn)動(dòng)模糊)和隨機(jī)化部件(抖動(dòng))構(gòu)成。
[0050] 要注意的是，這些補(bǔ)償方法可以被組合并且它們利用或受益于移動(dòng)電話的現(xiàn)有內(nèi) 部硬件。例如，在測(cè)量過(guò)程期間由移動(dòng)電話采取的路徑(在空間中）是時(shí)間的線性倍數(shù)加上 加速度計(jì)測(cè)量值隨時(shí)間的雙積分。該系列的陀螺測(cè)量值指示設(shè)備在所有時(shí)間點(diǎn)處的取向。 這樣的信息可以允許視點(diǎn)的改變的計(jì)算。這繼而促進(jìn)先前描述的不同實(shí)施例或方法的應(yīng) 用。
[0051] ΔΡ，位置的差異，被定義為：
其中： ? v(to)是設(shè)備的原始速度，它是未知的且被假定為0， ?茲(6)是給定時(shí)間處的加速度向量，它可以從內(nèi)置加速度計(jì)獲得， ? ti-to是可從系統(tǒng)時(shí)鐘獲得的兩個(gè)圖像捕獲之間的時(shí)間。
[0052] 取向可以通過(guò)以下步驟獲得： ?陀螺測(cè)量(如果可用的話）； ?根據(jù)加速度計(jì)數(shù)據(jù)對(duì)旋轉(zhuǎn)加速度進(jìn)行積分。該數(shù)據(jù)可以從3個(gè)不同加速度計(jì)數(shù)據(jù)流以 及它們?cè)谠O(shè)備中的放置的知識(shí)檢索。
[0053] 圖7圖示從連續(xù)圖像提取光圖案的方法。該附圖示出了圖像獲取過(guò)程，其由兩個(gè)圖 像的獲取序列構(gòu)成，這兩個(gè)圖像為(A)-個(gè)被突出顯示有光圖案的圖像和(B)-個(gè)正常圖 像，即，沒(méi)有投影光圖案的圖像。在圖7A上，外部光源被附接到移動(dòng)電話設(shè)備(或者是其組成 部分）。它生成編碼光圖案。該圖案被投影在所研究的表面上(在本情況中為在所服務(wù)的食 物上）。可以通過(guò)空間、相位和/或幅度調(diào)制（即，強(qiáng)度或顏色改變)來(lái)執(zhí)行編碼。突出顯示的 區(qū)域應(yīng)當(dāng)至少對(duì)應(yīng)于移動(dòng)電話攝像機(jī)視場(chǎng)(F0V)。該要求意味著:圖案安全地覆蓋感興趣物 體且部分地覆蓋圍繞它的桌子區(qū)域。然后，用戶啟動(dòng)安裝(預(yù)先安裝)在他/她的移動(dòng)電話上 的專門應(yīng)用并在確保整個(gè)膳食處于攝像機(jī)的F0V內(nèi)（例如，移動(dòng)電話可以被與桌子平行地放 置在約30厘米的距離處）的位置和角度處保持電話。應(yīng)用經(jīng)由移動(dòng)電話閃光燈、藍(lán)牙、電話 插孔等來(lái)觸發(fā)外部光源（圖案投影儀）。獲取通過(guò)圖案而突出顯示的盤裝菜的圖像。在圖7B 上，應(yīng)用關(guān)閉外部光源，并且另一個(gè)圖片被拍攝。這兩個(gè)圖像可以被以最小的延遲獲取，以 便最小化攝像機(jī)抖動(dòng)和運(yùn)動(dòng)模糊?？梢允褂梅淳矸e方法(在計(jì)算上昂貴)或定向圖像銳化來(lái) 執(zhí)行運(yùn)動(dòng)校正。
[0054] -旦圖像獲取完成，光圖案的高對(duì)比度圖像就被提取。該操作通過(guò)使用這兩個(gè)圖 像的逐像素減法而實(shí)現(xiàn)：
其中X和y是像素的坐標(biāo)，是坐標(biāo)(X，y)處的所得的強(qiáng)度。對(duì) 應(yīng)于包含光圖案的圖像和沒(méi)有光圖案的圖像中像素的顏色強(qiáng)度?？梢葬槍?duì)所有顏色通道執(zhí) 行減法，或者如果激光源波長(zhǎng)已知且唯一，則只針對(duì)一個(gè)顏色通道執(zhí)行減法。下一步驟是使 用二進(jìn)制化和/或其他方法的邊緣檢測(cè)。
[0055] 圖8示出二進(jìn)制化的示例：圖8A示出了有噪聲的所捕獲的條紋圖案，并且圖8B示出 了閾值選擇后所得到的二進(jìn)制標(biāo)志（黑_〇,白-1)。為了在檢測(cè)之前加強(qiáng)I sub中的邊緣，可以 應(yīng)用若干種方法，例如在給定固定閾值的情況下Isub的簡(jiǎn)單二進(jìn)制化(轉(zhuǎn)換為黑白）：
其中4,辦4是具有坐標(biāo)X和y的像素的二進(jìn)制值。這樣的操作的結(jié)果是反射光圖案（圖 8B)。閾值可以自適應(yīng)地根據(jù)圖像的統(tǒng)計(jì)分析(均值、中位數(shù)、直方圖搜索)確定。像素跳動(dòng)可 以通過(guò)在小鄰域(不超過(guò)條紋的寬度)上選擇模態(tài)二進(jìn)制標(biāo)志而被去除。通過(guò)只保持具有另 一標(biāo)志的直接鄰居的一個(gè)標(biāo)志的像素(例如，具有白色鄰居的黑色像素或具有黑色鄰居的 白色像素)來(lái)從二進(jìn)制圖像提取邊緣。在沒(méi)有二進(jìn)制化的情況下，使用Canny或Sobel算子、 相位相干方法或小波來(lái)提取邊緣。
[0056] 現(xiàn)在討論光圖案的編碼。
[0057] 在發(fā)展中，可以使用突出顯示照射的幅度和相位調(diào)制，以實(shí)現(xiàn)圖像上光圖案的更 好辨別。
[0058] 在光圖案被編碼的實(shí)施例中，可以使用兩個(gè)進(jìn)一步的發(fā)展。第一個(gè)是使用Bruijn 代碼(對(duì)條紋進(jìn)行顏色編碼），并且第二個(gè)是使用時(shí)間編碼。偏振、相位調(diào)制和幅度調(diào)制也可 以被使用。這些發(fā)展允許可能在圖像獲取中出現(xiàn)的阻塞的最小化。它們可以被組合使用。
[0059] 圖9示出處于平行立體設(shè)置中的攝像機(jī)視圖和投影儀視圖上對(duì)應(yīng)條紋的邊緣之間 的匹配過(guò)程。所得到的圖像(攝像機(jī)視圖）由垂直移動(dòng)的水平線掃描。此外，圖9呈現(xiàn)了攝像 機(jī)和被檢測(cè)的投影儀視圖之間的對(duì)應(yīng)關(guān)系。
[0060] 圖10示出針對(duì)一致匹配的曲線追蹤的可選步驟。遵循針對(duì)梯度(或穿過(guò)所連接的 鄰域)的（取向）法向來(lái)重建曲線?？梢酝ㄟ^(guò)從圖像的一端到另一端追蹤曲線來(lái)獲得一致匹 配?？商娲兀梢允褂脗鞑シ椒?。
[0061] 圖11(A和B)圖示了由成像傳感器(攝像機(jī)）、結(jié)構(gòu)化光投影儀和感興趣物體組成的 結(jié)構(gòu)化光裝置的設(shè)計(jì)。光圖案被投影(經(jīng)由投影儀)到感興趣物體，同時(shí)攝像機(jī)獲取對(duì)應(yīng)物 體圖像（由所投影的圖案突出顯示）?？梢酝ㄟ^(guò)測(cè)量所捕獲的圖像和反射的圖像之間的失真 來(lái)獲得深度信息。最簡(jiǎn)單且常用的圖案是條紋的序列，而其他編碼光圖案是可適用的。必須 指出的是，所提出的解決方案指代已知攝像機(jī)-投影儀配置的系統(tǒng)。圖11A示出了知道每個(gè) 圖像中的投影(P1和P2 )以及攝像機(jī)的中心（CC )和投影儀的中心（PC )的情況下3D場(chǎng)景點(diǎn) (SP)的深度估計(jì)。在知道系統(tǒng)配置(攝像機(jī)和投影儀之間的相對(duì)平移和取向、內(nèi)部投影儀參 數(shù)和內(nèi)部攝像機(jī)參數(shù)）以及已經(jīng)檢測(cè)到的對(duì)應(yīng)關(guān)系的情況下，3D點(diǎn)（SP)的深度/相對(duì)位置可 以被估計(jì)。具體地:i )所檢測(cè)到的對(duì)應(yīng)關(guān)系指定3D點(diǎn)到每個(gè)圖像的投影(PI，P2) ; ii )SP到攝 像機(jī)圖像的投影處于連結(jié)該點(diǎn)和攝像機(jī)中心(CC)的線中。這同樣適用于3D點(diǎn)到投影儀圖像 的投影。這兩條線按照定義相交于SP;iii)在知道CC和PC以及3D點(diǎn)的兩個(gè)投影(P1和P2)的情 況下，SP的深度可以被估計(jì)。
[0062] 根據(jù)一個(gè)實(shí)施例，可以獲取單個(gè)圖像(物體的單個(gè)圖像，連同其上的投影光圖案一 起）。在這樣的情況下，應(yīng)用閾值濾波器并且