運(yùn)動模糊補(bǔ)償?shù)闹谱鞣椒?br> 【專利摘要】本發(fā)明公開一種用于當(dāng)借助于3D掃描器執(zhí)行對象的至少一部分的3D掃描時(shí)補(bǔ)償運(yùn)動模糊的方法，其中由于當(dāng)執(zhí)行掃描時(shí)掃描器和對象相對于彼此移動而發(fā)生運(yùn)動模糊，并且其中運(yùn)動模糊補(bǔ)償包括：確定在采集焦平面圖像的序列期間是否有掃描器和對象之間的相對運(yùn)動；如果相對運(yùn)動被確定，基于被確定運(yùn)動執(zhí)行運(yùn)動補(bǔ)償；以及從焦平面圖像的序列生成3D表面。
【專利說明】運(yùn)動模糊補(bǔ)償
【技術(shù)領(lǐng)域】
[0001]本發(fā)明大體上涉及一種用于補(bǔ)償運(yùn)動模糊的系統(tǒng)和方法。更特別地，本發(fā)明涉及借助于3D掃描器在對象的至少一部分的3D掃描中進(jìn)行運(yùn)動模糊補(bǔ)償。
【背景技術(shù)】
[0002]運(yùn)動模糊補(bǔ)償在對象的2D掃描或成像中是眾所周知的。
[0003]在對象的3D掃描、例如光學(xué)掃描中提供運(yùn)動模糊補(bǔ)償以便獲得被掃描對象的優(yōu)秀虛擬3D模型仍然存在問題。

【發(fā)明內(nèi)容】

[0004]公開了一種用于當(dāng)借助于3D掃描器執(zhí)行對象的至少一部分的3D掃描時(shí)補(bǔ)償運(yùn)動模糊的方法，其中由于當(dāng)執(zhí)行掃描時(shí)所述掃描器和所述對象相對于彼此移動而發(fā)生運(yùn)動模糊，并且其中運(yùn)動模糊補(bǔ)償包括:
[0005]-確定在采集焦平面圖像的序列期間是否有所述掃描器和所述對象之間的相對運(yùn)動；
[0006]-如果相對運(yùn)動被確定，基于被確定運(yùn)動執(zhí)行運(yùn)動補(bǔ)償；以及
[0007]-從所述焦平面圖像的序列生成3D表面。
[0008]在一些實(shí)施例中所述3D掃描包括:`[0009]-生成探測光，
[0010]-朝著所述對象傳輸所述探測光，由此照明所述對象的至少一部分，
[0011]-傳輸從所述對象返回到包括傳感器元件的陣列的照相機(jī)的光，
[0012]-借助于光學(xué)系統(tǒng)在所述照相機(jī)上成像從所述對象返回到所述照相機(jī)的傳輸光的至少一部分，
[0013]-借助于聚焦光學(xué)器件改變所述對象上的焦平面的位置，
[0014]-從所述傳感器元件的陣列獲得至少一個(gè)圖像，
[0015]-確定以下的一個(gè)或多個(gè)聚焦位置:
[0016]-用于焦平面位置的序列的多個(gè)傳感器元件的每一個(gè)，或
[0017]-用于焦平面位置的序列的多個(gè)傳感器元件組的每一個(gè)。
[0018]在一些實(shí)施例中所述3D掃描包括:
[0019]-生成探測光，
[0020]-朝著所述對象傳輸所述探測光，由此照明所述對象的至少一部分，
[0021]-傳輸從所述對象返回到包括傳感器元件的陣列的照相機(jī)的光，
[0022]-借助于光學(xué)系統(tǒng)在所述照相機(jī)上成像從所述對象返回到所述照相機(jī)的傳輸光的至少一部分，其中所述光學(xué)系統(tǒng)包括聚焦光學(xué)器件，當(dāng)所述3D掃描器相對于所述對象布置時(shí)所述聚焦光學(xué)器件配置成用于限定所述對象上的焦平面，
[0023]-通過移動所述聚焦光學(xué)器件改變所述對象上的焦平面的位置，[0024] -從所述傳感器元件的陣列獲得至少一個(gè)焦平面圖像，
[0025]-確定以下的一個(gè)或多個(gè)聚焦位置:
[0026]-用于焦平面位置的序列的多個(gè)傳感器元件的每一個(gè)，或
[0027]-用于焦平面位置的序列的多個(gè)傳感器元件組的每一個(gè)。
[0028]在一些實(shí)施例中，傳感器元件的聚焦位置對應(yīng)于焦平面的位置，其中焦平面與對象表面的一部分交叉，并且其中從對象表面的該部分返回的光線成像到該特定傳感器元件上。在其中圖案布置成將結(jié)構(gòu)提供給探測光的實(shí)施例中，指定傳感器元件的聚焦位置可以對應(yīng)于焦平面的位置，其中對于該傳感器元件圖案在正被掃描的對象上聚焦。當(dāng)焦平面的位置在值的范圍上變化時(shí)，照相機(jī)可以記錄處于聚焦位置的該傳感器元件的相關(guān)度的高值。
[0029]在一些實(shí)施例中，通過在生成3D表面之前運(yùn)動補(bǔ)償每個(gè)焦平面圖像從焦平面圖像的序列生成3D表面。
[0030]在一些實(shí)施例中，從焦平面圖像的序列生成3D表面并且隨后執(zhí)行運(yùn)動補(bǔ)償以確定在焦平面采集期間的相對運(yùn)動。
[0031 ] 在一些實(shí)施例中，通過相對于3D掃描器的其它光學(xué)部件平移聚焦光學(xué)器件和/或通過相對于掃描器的殼體移動聚焦光學(xué)器件改變焦平面的位置。
[0032]在用于生成3D表面的焦平面圖像的序列中例如可以有200個(gè)以上焦平面圖像(例如225個(gè)焦平面圖像)。
[0033]在一些實(shí)施例中,用于在照相機(jī)上成像從對象返回到照相機(jī)的傳輸光的光學(xué)系統(tǒng)也用于朝著對象傳輸探測光和/或用于傳輸從對象返回到照相機(jī)的光。
[0034]傳感器元件的陣列可以包括適合于在掃描器中采集圖像的(一個(gè)或多個(gè))圖像傳感器、(一個(gè)或多個(gè))光傳感器和類似物。掃描大體上表示使用激光、白光等的光學(xué)掃描或成像。
[0035]在一些實(shí)施例中組合沿著光軸的方向捕捉的焦平面圖像的序列以提供深度圖像。
[0036]在一些實(shí)施例中對象的至少一部分在焦平面圖像的序列中的焦平面圖像的至少一個(gè)中聚焦。
[0037]在一些實(shí)施例中序列中的每個(gè)焦平面圖像的采集之間的時(shí)期是固定的/預(yù)定的/已知的。
[0038]可以在采集先前的焦平面圖像之后一定時(shí)期采集每個(gè)焦平面圖像。聚焦光學(xué)器件可以在每個(gè)圖像的采集之間移動，并且因此可以與先前的焦平面圖像相比在離對象不同距離處或在相對于對象的不同位置處采集每個(gè)焦平面圖像。
[0039]焦平面圖像捕捉的一個(gè)周期可以從聚焦光學(xué)器件處于位置P直到聚焦光學(xué)器件再次處于位置P。該周期可以表示掃頻?？梢杂欣缑棵?5次掃頻。
[0040]然后可以組合多個(gè)3D表面或子掃描以產(chǎn)生對象的全掃描以便生成對象的3D模型。換句話說，可以通過組合在掃描對象的至少一部分期間采集的多個(gè)所述3D表面或子掃描生成對象的3D模型。
[0041]在一些實(shí)施例中，通過分析單獨(dú)的焦平面圖像并且識別其中對象的一部分聚焦成像到照相機(jī)中的每個(gè)焦平面的部分(如果有的話)生成焦平面圖像的指定序列的子掃描。然后組合聚焦部分以提供子掃描。子掃描因此可以包括對應(yīng)于被識別聚焦部分的3D點(diǎn)。可以通過使用計(jì)算機(jī)執(zhí)行算法三角測量子掃描的3D點(diǎn)生成指定子掃描的3D表面。
[0042]在一些實(shí)施例中，每當(dāng)焦平面位置從由周期覆蓋的位置的范圍的一個(gè)端點(diǎn)變化到該范圍的相反端點(diǎn)時(shí)獲得焦平面圖像的序列使得對于每個(gè)周期采集兩個(gè)序列。
[0043]在一些實(shí)施例中通過分析序列本身執(zhí)行確定在采集焦平面圖像的序列期間掃描器的相對運(yùn)動?？梢酝ㄟ^分析序列的焦平面圖像確定采集焦平面圖像的序列期間掃描器和對象的相對運(yùn)動。例如可以基于在不同焦平面圖像中識別的結(jié)構(gòu)或表面部分確定相對運(yùn)動。
[0044]借助于硬件的運(yùn)動檢測
[0045]在一些實(shí)施例中確定在采集焦平面圖像的序列期間掃描器的相對運(yùn)動由在掃描器中和/或上的傳感器和/或由對象上的傳感器和/或由掃描器和對象所處的房間中的傳感器執(zhí)行。
[0046]運(yùn)動傳感器可以是小傳感器，例如微機(jī)電系統(tǒng)(MEMS)運(yùn)動傳感器。運(yùn)動傳感器可以測量3D中所有運(yùn)動，即，針對三個(gè)主坐標(biāo)軸的平移和旋轉(zhuǎn)。益處在于:
[0047]-運(yùn)動傳感器可以檢測運(yùn)動以及振動和/或搖動。這樣實(shí)現(xiàn)的掃描例如可以通過使用所述的補(bǔ)償技術(shù)進(jìn)行校正。
[0048]-運(yùn)動傳感器可以幫助彼此拼接和/或配準(zhǔn)部分掃描和不同3D表面。當(dāng)掃描器的視場小于待掃描的對象時(shí)該優(yōu)點(diǎn)是相關(guān)的。在該情況下，掃描器應(yīng)用于對象的小區(qū)域(一次一個(gè))，然后組合所述小區(qū)域以獲得全掃描。在理想情況下，運(yùn)動傳感器可以提供空間掃描的局部坐標(biāo)之間的所需相對剛性-運(yùn)動變換，原因是它們測量每個(gè)空間掃描中的掃描裝置的相對位置。具有有限精度的運(yùn)動傳感器仍然可以例如基于迭代最近點(diǎn)類的算法提供部分掃描的基于軟件的拼接/配準(zhǔn)的初估，導(dǎo)致減少的計(jì)算時(shí)間。
[0049]即使感測平移運(yùn)動很不精確，3軸加速度計(jì)可以提供相對于掃描裝置的重力的方向。磁力計(jì)還可以在該情況下從地球的磁場提供相對于掃描裝置的方向信息。所以，這樣的裝置可以幫助拼接/配準(zhǔn)。
[0050]在一些實(shí)施例中通過確定傳感器中的一個(gè)或多個(gè)的位置和取向確定運(yùn)動。
[0051 ] 在一些實(shí)施例中借助于布置在手持式掃描器中的一個(gè)或多個(gè)物理部件確定運(yùn)動。
[0052]在一些實(shí)施例中借助于3D位置傳感器確定運(yùn)動。
[0053]在一些實(shí)施例中借助于光學(xué)跟蹤確定運(yùn)動。
[0054]光學(xué)跟蹤可以包括(一個(gè)或多個(gè))LED和(一個(gè)或多個(gè))照相機(jī)，其中(一個(gè)或多個(gè))LED可以閃爍并且閃爍可以由(一個(gè)或多個(gè))照相機(jī)檢測。
[0055]在一些實(shí)施例中借助于一個(gè)或多個(gè)陀螺儀確定運(yùn)動。
[0056]陀螺儀是用于基于角動量守恒的原理測量或保持取向的裝置。機(jī)械陀螺儀基本上是其軸自由采取任何方向的轉(zhuǎn)輪或轉(zhuǎn)盤。用于確定傳感器的取向的陀螺儀可以是機(jī)械陀螺儀、電子、微芯片封裝MEMS陀螺儀裝置、固態(tài)環(huán)形激光器、光纖陀螺儀、量子陀螺儀和/或類似物。
[0057]在一些實(shí)施例中借助于一個(gè)或多個(gè)加速度計(jì)確定運(yùn)動。
[0058]在一些實(shí)施例中借助于一個(gè)或多個(gè)磁力計(jì)確定運(yùn)動。
[0059]在一些實(shí)施例中借助于一個(gè)或多個(gè)電磁線圈確定運(yùn)動。
[0060]在一些實(shí)施例中，借助于計(jì)算機(jī)化測量臂確定運(yùn)動。[0061]測量臂例如可以來自FARO Technologies。在測量臂中可以有用于測量臂的移動的測角器。
[0062]在一些實(shí)施例中借助于傳感器配置成在其上移動的一個(gè)或多個(gè)軸確定運(yùn)動。
[0063]基于軸的系統(tǒng)的例子是坐標(biāo)測量機(jī)(CMM)，其是一種用于測量對象的物理幾何特征的裝置。該機(jī)器可以是計(jì)算機(jī)控制的。典型的CMM由三個(gè)軸(X，Y，Z)組成，并且這些軸在典型的三維坐標(biāo)系中彼此正交。每個(gè)軸具有指示該軸的位置的尺度系統(tǒng)。測量可以由附連到該機(jī)器的第三移動軸的探頭限定，并且機(jī)器將讀取來自接觸式探頭的輸入。探頭可以是機(jī)械的、光學(xué)的、激光或白光等。
[0064]在一些實(shí)施例中傳感器配置成在其上移動的軸是平移和/或旋轉(zhuǎn)軸。
[0065]對于被采集的每個(gè)焦平面圖像存在傳感器、例如手持式掃描器的六個(gè)自由度，原因是掃描器是可以執(zhí)行三維空間中的運(yùn)動的剛性體，其中運(yùn)動可以是在三個(gè)垂直軸X、1、z上的平移，該平移是前/后、上/下、左/右的運(yùn)動，并且這與圍繞三個(gè)垂直軸的旋轉(zhuǎn)組合。因此運(yùn)動具有六個(gè)自由度，原因是沿著三個(gè)軸的每一個(gè)的移動彼此無關(guān)并且與圍繞這些軸的任何一個(gè)的旋轉(zhuǎn)無關(guān)。
[0066]在一些實(shí)施例中借助于紋理圖像傳感器確定運(yùn)動，所述紋理圖像傳感器具有的焦深大于聚焦光學(xué)器件的焦深。
[0067]在一些實(shí)施例中，3D掃描器的光學(xué)系統(tǒng)配置成用第一焦深在照相機(jī)上成像從對象返回到照相機(jī)的傳感器元件的陣列的傳輸光的至少一部分。
[0068]包括第二照相機(jī)的3D掃描器
[0069]在一些實(shí)施例中，3D掃描器包括第二照相機(jī)，所述第二照相機(jī)配置成用大于第一景深的第二景深捕捉被選擇光線中`的至少一些。在一些情況下可能有利的是第二景深圖像具有這樣大的景深使得對象的所有被掃描部分聚焦。第二景深圖像也可以具有與第一景深圖像相同的視角。
[0070]在一些實(shí)施例中，3D掃描器包括第二光學(xué)系統(tǒng)，所述第二光學(xué)系統(tǒng)包括用于選擇從對象返回的光線的一部分并且將這些光線成像到第二照相機(jī)上的裝置。
[0071]在一些實(shí)施例中，第二照相機(jī)是具有幾毫米的直徑的小型照相機(jī)。小型照相機(jī)可以足夠小使得它可以放置在3D掃描器的光學(xué)系統(tǒng)的光束路徑中而不明顯地改變視場。
[0072]此外，可能有利的是第二景深圖像可以具有大幀率，例如30fps或60fps。在手持式聚焦掃描器中高幀率可以用于通過分析大景深圖像中的特征點(diǎn)的運(yùn)動幫助跟蹤掃描器和正被掃描的對象的相對運(yùn)動。
[0073]此外，可能有利的是第二景深圖像可以是彩色的。這可以允許將顏色紋理疊加到3D被掃描表面上。
[0074]此外，可能有利的是彩色的第二景深圖像可以用于區(qū)分正被掃描的對象上的不同材料或表面。這樣的區(qū)分可以有用于對象的3D數(shù)據(jù)的進(jìn)一步處理。
[0075]在一些實(shí)施例中通過改變對象上的焦平面的位置基本上不影響第二景深圖像。
[0076]借助于焦平面圖像序列分析的運(yùn)動檢測
[0077]在一些實(shí)施例中通過分析序列和在所述序列之前和/或之后獲得的一個(gè)或多個(gè)其它序列來執(zhí)行確定在采集焦平面圖像的序列期間掃描器的相對運(yùn)動。
[0078]在一些實(shí)施例中在確定運(yùn)動中涉及的每個(gè)序列覆蓋對象的表面的一部分，所述部分具有與至少另一個(gè)序列所覆蓋的表面的一部分的至少部分重疊。
[0079]在一些實(shí)施例中假設(shè)對象的至少一部分是剛性體。
[0080]在一些實(shí)施例中運(yùn)動確定和3D表面生成包括:
[0081]-從第一序列生成第一3D表面,假設(shè)沒有來自第一序列的運(yùn)動模糊，
[0082]-從至少第二序列生成至少第二3D表面，假設(shè)沒有模糊，
[0083]-估計(jì)相對于所生成的3D表面的每一個(gè)的掃描器位置，
[0084]-通過拼接確定所生成的3D表面之間的重疊，由此在共同坐標(biāo)系中表達(dá)至少兩個(gè)3D表面和相對掃描器位置，
[0085]-從在共同坐標(biāo)系中獲得的相對掃描器位置確定第一序列期間的相對掃描器運(yùn)動。
[0086]在一些實(shí)施例中運(yùn)動確定和3D表面生成包括:
[0087]-從第一序列生成第一3D表面,假設(shè)沒有來自第一序列的運(yùn)動模糊，
[0088]-從至少第二序列生成至少第二3D表面，假設(shè)沒有模糊，
[0089]-估計(jì)所生成的3D表面的每一個(gè)的相對掃描器位置，
[0090]-通過拼接確定所生成的3D表面之間的重疊，使得在共同坐標(biāo)系中表達(dá)至少兩個(gè)3D表面和相對掃描器位置，
[0091]-從在共同坐標(biāo)系中獲得的相對掃描器位置確定第一序列期間的相對掃描器運(yùn)動。
[0092]在一些實(shí)施例中運(yùn)動確定和3D表面生成包括:
[0093]-從第一序列生成第一3D表面,假設(shè)沒有來自第一序列的運(yùn)動模糊，
[0094]-從至少第二序列生成至少第二3D表面，假設(shè)沒有模糊，
[0095]-估計(jì)所生成的3D表面的每一個(gè)的相對掃描器位置，
[0096]-通過拼接確定所生成的3D表面之間的重疊，并且在共同坐標(biāo)系中表達(dá)至少兩個(gè)3D表面和相對掃描器位置，
[0097]-基于在共同坐標(biāo)系中獲得的相對掃描器位置確定采集第一序列和第二序列之間的相對掃描器運(yùn)動。
[0098]應(yīng)當(dāng)理解第一和第二序列以及第一和第二 3D表面不必是在對象的掃描期間采集的第一和第二序列或第一和第二 3D表面，而是可以是在該掃描期間采集的任何兩個(gè)序列和3D表面。
[0099]所生成的3D表面的相對掃描器位置可以對應(yīng)于從其生成該3D表面的焦平面圖像的序列的采集期間掃描器相對于對象的平均位置。在焦平面圖像的序列的采集期間有相對運(yùn)動尤其是這樣。
[0100]第一序列期間的相對掃描器運(yùn)動可以基于運(yùn)動從相對于第一生成的3D表面的掃描器位置到相對于第二生成的3D表面的掃描器位置是平滑的假設(shè)從在共同坐標(biāo)系中獲得的相對掃描器位置獲得?？赡苄枰诿總€(gè)生成的3D表面上和/或在焦平面圖像上的時(shí)間戳以用于確定相對掃描器運(yùn)動。
[0101]當(dāng)已例如通過拼接確定所生成的3D表面之間的重疊時(shí)，可以確定3D表面的相對取向和位置。例如，所生成的3D表面可以投影到共同坐標(biāo)系中。可以相對于所生成的3D表面給出估計(jì)相對掃描器位置并且這些位置也可以投影到共同坐標(biāo)系中，使得3D表面和相對掃描器位置可以在共同坐標(biāo)系中表達(dá)。
[0102]在一些實(shí)施例中運(yùn)動確定和3D表面生成包括以迭代方式一次或多次執(zhí)行以下步驟:
[0103]-在對應(yīng)于所生成的3D表面的序列的每一個(gè)期間從在共同坐標(biāo)系中獲得的相對掃描器位置確定相對掃描器運(yùn)動，
[0104]-基于被確定的相對掃描器運(yùn)動執(zhí)行3D表面的每一個(gè)的運(yùn)動補(bǔ)償，
[0105]-通過拼接重新確定所生成的3D表面之間的(一個(gè)或多個(gè))重疊，由此在共同坐標(biāo)系中表達(dá)所有3D表面和相對掃描器位置，
[0106]-從在共同坐標(biāo)系中重新獲得的相對掃描器位置重新確定第一序列期間的相對掃描器運(yùn)動，
[0107]-基于重新確定的運(yùn)動重新執(zhí)行運(yùn)動補(bǔ)償；以及
[0108]-從焦平面圖像的序列重新生成3D表面。
[0109]在一些實(shí)施例中，運(yùn)動確定和3D表面生成包括:
[0110]a:在用于生成3D表面的焦平面圖像的序列的采集期間從相對掃描器位置確定相對掃描器運(yùn)動；
[0111]b:基于被確定的相對掃描器運(yùn)動執(zhí)行3D表面的每一個(gè)的運(yùn)動補(bǔ)償；
[0112]c:確定運(yùn)動補(bǔ)償?shù)?D表面之間的(一個(gè)或多個(gè))重疊并且在共同坐標(biāo)系中表達(dá)所有3D表面和相對掃描器位置；
`[0113]d:從在步驟c中確定的相對掃描器位置確定相對掃描器運(yùn)動的更精確量度；
[0114]e:執(zhí)行基于相對掃描器運(yùn)動的更精確量度的進(jìn)一步運(yùn)動補(bǔ)償；以及
[0115]f:從在步驟e中進(jìn)行運(yùn)動補(bǔ)償?shù)慕蛊矫鎴D像的序列生成3D表面。
[0116]在一些實(shí)施例中，以迭代方式執(zhí)行步驟a到d中的至少一些，使得一次或多次執(zhí)行這些步驟中的至少一些。
[0117]在一些實(shí)施例中，在步驟b中執(zhí)行的3D表面的每一個(gè)的運(yùn)動補(bǔ)償包括基于被確定的相對掃描器運(yùn)動的單獨(dú)的焦平面圖像的運(yùn)動補(bǔ)償。
[0118]在一些實(shí)施例中，在步驟e中執(zhí)行的3D表面的每一個(gè)的進(jìn)一步運(yùn)動補(bǔ)償包括基于相對掃描器運(yùn)動的更精確量度的單獨(dú)的焦平面圖像的運(yùn)動補(bǔ)償。
[0119]不同類型的可能運(yùn)動
[0120]在一些實(shí)施例中掃描器是手持式的。
[0121]在一些實(shí)施例中焦平面圖像的采集適合于在掃描器和對象的相對運(yùn)動期間被執(zhí)行。
[0122]因此當(dāng)傳感器正相對于對象移動時(shí)可以執(zhí)行焦平面圖像的采集。然而當(dāng)傳感器和對象未相對于彼此移動時(shí)仍然可以采集焦平面圖像中的一些。但是應(yīng)當(dāng)理解當(dāng)傳感器正相對于對象移動時(shí)可以采集焦平面圖像?，F(xiàn)有技術(shù)不提供相對于3D掃描器的運(yùn)動補(bǔ)償，其中當(dāng)手持式掃描器和由此傳感器正在移動時(shí)可以采集焦平面圖像，即，在現(xiàn)有技術(shù)的掃描器中在運(yùn)動期間采集的焦平面圖像不會被處理并且用于獲得對象的組裝掃描。
[0123]在一些實(shí)施例中掃描器的運(yùn)動是自由的并且不被限制到任何預(yù)定/某個(gè)/特定運(yùn)動模式。
[0124]在一些實(shí)施例中掃描器是桌面掃描器。[0125]在一些實(shí)施例中掃描器和/或?qū)ο蟊幌拗频窖刂粋€(gè)或多個(gè)軸移動。
[0126]在一些實(shí)施例中所述軸是平移和/或旋轉(zhuǎn)軸。
[0127]不同類型的運(yùn)動確定
[0128]在一些實(shí)施例中沿著一個(gè)空間或旋轉(zhuǎn)坐標(biāo)確定運(yùn)動。
[0129]在一些實(shí)施例中沿著二到六個(gè)空間和/或旋轉(zhuǎn)坐標(biāo)中的任何一個(gè)或多個(gè)確定運(yùn)動。
[0130]不同類型的運(yùn)動補(bǔ)償
[0131 ] 在一些實(shí)施例中被確定運(yùn)動被登記/記錄/表示為焦平面圖像的序列的至少兩個(gè)焦平面圖像的速度向量。
[0132]在一些實(shí)施例中被確定運(yùn)動被登記/記錄/表示為序列中的焦平面圖像的全序列的恒定速度和/或旋轉(zhuǎn)向量。
[0133]在一些實(shí)施例中被確定運(yùn)動被登記/記錄/表示為擬合在焦平面圖像之間的曲線/軌跡。
[0134]在一些實(shí)施例中擬合曲線/軌跡沿著一個(gè)或多個(gè)平移和/或旋轉(zhuǎn)尺度。
[0135]在一些實(shí)施例中運(yùn)動補(bǔ)償包括將序列中的焦平面圖像中的一個(gè)或多個(gè)虛擬地移位到對應(yīng)于序列中的焦平面圖像中的另一個(gè)(例如序列中的焦平面圖像中的第一個(gè)或靠近所述序列的中間的焦平面)的位置和/或取向的位置和/或取向。所述一個(gè)或多個(gè)焦平面圖像移位到的序列中的焦平面圖像中的所述另一個(gè)可以是基于該圖像中的焦點(diǎn)的質(zhì)量選擇的焦平面圖像。
[0136]在一些實(shí)施例中運(yùn)動補(bǔ)償包括根據(jù)相應(yīng)虛擬移位的焦平面圖像用第二 3D點(diǎn)代替所生成的3D表面上的第一 3D點(diǎn)。
[0137]在一些實(shí)施例中運(yùn)動補(bǔ)償包括移位一個(gè)或多個(gè)像素，例如移位由傳感器元件采集的數(shù)據(jù)。
[0138]可以移位例如6X6像素、8X8像素等的像素組。
[0139]虛擬3D模型的創(chuàng)建
[0140]在一些實(shí)施例中借助于所生成的3D表面中的一個(gè)或多個(gè)創(chuàng)建對象的虛擬3D模型。
[0141]此外，所公開的方法也可以提供運(yùn)動展開，基于多個(gè)標(biāo)準(zhǔn)針對相關(guān)材料、例如牙齒優(yōu)化LED功率，借助于LED調(diào)節(jié)的孔閉合，虛擬預(yù)備，舊和新掃描的組合，使用聚焦掃描的獨(dú)立掃描，從2D圖像自動分割，檢測來自2D圖像的其它特征，當(dāng)執(zhí)行預(yù)備時(shí)便于使用多個(gè)線的特征，在膝診斷中、在腦應(yīng)用中、在手術(shù)工具中使用聚焦掃描，使X射線掃描與聚焦掃描、實(shí)時(shí)預(yù)備引導(dǎo)對準(zhǔn)等。
[0142]對準(zhǔn)/配準(zhǔn)
[0143]在一些實(shí)施例中通過對準(zhǔn)/配準(zhǔn)至少兩個(gè)后續(xù)3D表面確定至少兩個(gè)后續(xù)3D表面之間的運(yùn)動。
[0144]這可以借助于迭代最近點(diǎn) (ICP)的方法或類似方法執(zhí)行。迭代最近點(diǎn)(ICP)的方法可以用于對準(zhǔn)，并且它用于最小化點(diǎn)云之間的差異。ICP可以用于重建來自不同掃描的2D或3D表面。ICP迭代地修正最小化兩個(gè)原始掃描的點(diǎn)之間的距離所需的變換，即，平移或旋轉(zhuǎn)。用于ICP的輸入可以是來自兩個(gè)原始掃描的點(diǎn)、變換的初始估計(jì)和用于停止迭代的標(biāo)準(zhǔn)。輸出因此將是細(xì)化變換。
[0145]附加地和/或替代地，最小二乘擬合的方法可以用于對準(zhǔn)。
[0146]在一些實(shí)施例中通過選擇至少兩個(gè)3D表面上的相應(yīng)點(diǎn)并且最小化至少兩個(gè)3D表面之間的距離執(zhí)行對準(zhǔn)/配準(zhǔn)。
[0147]相應(yīng)點(diǎn)可以是兩個(gè)表面上的最近點(diǎn)或由來自另一表面上的點(diǎn)法向向量確定的點(diǎn)等。距離可以關(guān)于平移和旋轉(zhuǎn)最小化。
[0148]在一些實(shí)施例中在迭代過程中繼續(xù)對準(zhǔn)/配準(zhǔn)以獲得改善的運(yùn)動估計(jì)。
[0149]在一些實(shí)施例中基于對準(zhǔn)確定每個(gè)序列的傳感器位置。
[0150]在一些實(shí)施例中對準(zhǔn)包括對準(zhǔn)至少兩個(gè)3D表面的坐標(biāo)系。
[0151]在一些實(shí)施例中對準(zhǔn)包括借助于匹配/比較對準(zhǔn)一個(gè)或多個(gè)特定特征，例如至少兩個(gè)3D表面共有的一個(gè)或多個(gè)特定特征，例如預(yù)備牙齒的邊界線。
[0152]在一些實(shí)施例中對準(zhǔn)包括借助于匹配/比較對準(zhǔn)至少兩個(gè)3D表面的一個(gè)或多個(gè)周邊特征。
[0153]在一些實(shí)施例中對準(zhǔn)包括配準(zhǔn)至少兩個(gè)3D表面。
[0154]在一些實(shí)施例中對準(zhǔn)包括應(yīng)用配準(zhǔn)中的最大允許誤差的預(yù)定標(biāo)準(zhǔn)。
[0155]在一些實(shí)施例中運(yùn)動補(bǔ)償包括從對象的兩個(gè)或更多個(gè)掃描重建自洽表面模型和掃描器相對于對象的運(yùn)動和/或旋轉(zhuǎn)，其中兩個(gè)連續(xù)掃描至少部分地重疊。
[0156]本發(fā)明中所述的方法和裝置用于使用光作為非接觸探測劑提供對象的3D表面配準(zhǔn)。在一些實(shí)施例中，以照明圖案的形式提供探測光以提供對象上的光振蕩。圖案的變化/振蕩可以是空間的，例如靜態(tài)棋盤狀圖案，和/或它可以是時(shí)間變化的，例如通過在正被掃描的對象上移動圖案。本發(fā)明提供在焦平面位置的范圍上的圖案的焦平面的變化，同時(shí)保持掃描器和對象的固定空間關(guān)系。不意味著必須以掃描器和對象的固定空間關(guān)系提供掃描，而是僅僅意味著可以以掃描器和對象的固定空間關(guān)系變化(掃描)焦平面。這提供基于本發(fā)明的手持式掃描器解決方案。
[0157]在一些實(shí)施例中來自傳感器元件的陣列的信號是光強(qiáng)度。
[0158]本發(fā)明的一個(gè)實(shí)施例包括用于朝著對象傳輸探測光的第一光學(xué)系統(tǒng)，例如透鏡的布置，和用于成像從對象返回到照相機(jī)的光的第二光學(xué)系統(tǒng)。
[0159]在一些實(shí)施例中，僅僅一個(gè)光學(xué)系統(tǒng)將圖案成像到對象上并且例如沿著相同的光軸、然而沿著相反的光路將對象或?qū)ο蟮闹辽僖徊糠殖上竦秸障鄼C(jī)上。
[0160]在一些實(shí)施例中，光學(xué)系統(tǒng)提供將圖案成像到正被探測的對象上并且從正被探測的對象成像到照相機(jī)?？梢砸赃@樣的方式調(diào)節(jié)焦平面使得被探測對象上的圖案的圖像沿著光軸、例如從掃描區(qū)域的一個(gè)端部到另一個(gè)端部以相等步幅移位。包含圖案的探測光提供對象上的亮和暗的圖案。具體地，當(dāng)對于固定焦平面圖案隨著時(shí)間變化時(shí)，然后對象上的聚焦區(qū)域可以顯示亮和暗的振蕩圖案。離焦區(qū)域?qū)@示光振蕩中的更小或無對比度。
[0161]一般而言本發(fā)明的描述基于入射在對象上的光從對象的表面漫射地和/或鏡面反射地反射。但是應(yīng)當(dāng)理解掃描裝置和方法不限于該情況。它們也可應(yīng)用于例如入射光穿透表面并且反射和/或散射和/或引起對象中的熒光和/或磷光。足夠透明對象中的內(nèi)表面也可以由照明圖案照明并且成像到照相機(jī)上。在該情況下體積掃描是可能的。一些浮游生物是這樣的對象的例子。[0162]當(dāng)應(yīng)用時(shí)間變化圖案時(shí)，可以通過在焦平面的不同位置并且在圖案的不同實(shí)例收集多個(gè)2D圖像獲得單個(gè)子掃描。當(dāng)在單像素位置焦平面與掃描表面重合時(shí)，圖案將點(diǎn)聚焦地并且以高對比度投影到表面上，由此引起像素值隨著時(shí)間的大變化或幅度。對于每個(gè)像素因此能夠識別每個(gè)像素將聚焦的聚焦平面的單獨(dú)的設(shè)置。通過使用所使用的光學(xué)系統(tǒng)的知識，能夠在單獨(dú)的像素的基礎(chǔ)上將對比度信息對比焦平面的位置變換成3D表面信息。
[0163]因此，在本發(fā)明的一個(gè)實(shí)施例中通過確定焦平面的范圍的多個(gè)傳感器元件的每一個(gè)的光振蕩幅度計(jì)算焦點(diǎn)位置。
[0164]對于靜態(tài)圖案可以通過在焦平面的不同位置收集多個(gè)2D圖像獲得單個(gè)子掃描。當(dāng)焦平面與掃描表面重合時(shí)，圖案將點(diǎn)聚焦地并且以高對比度投影到表面上。高對比度引起對象的表面上的靜態(tài)圖案的大空間變化，由此提供相鄰像素組上的像素值的大變化或幅度。對于每個(gè)像素組因此能夠識別每個(gè)像素組將聚焦的聚焦平面的單獨(dú)的設(shè)置。通過使用所使用的光學(xué)系統(tǒng)的知識，能夠在單獨(dú)的像素組的基礎(chǔ)上將對比度信息對比焦平面的位置變換成3D表面信息。
[0165]因此，在本發(fā)明的一個(gè)實(shí)施例中通過確定焦平面的范圍的多個(gè)傳感器元件組的每一個(gè)的光振蕩幅度計(jì)算焦點(diǎn)位置。
[0166]可以以本領(lǐng)域中已知的多種方式執(zhí)行圖像數(shù)據(jù)從2D到3D的轉(zhuǎn)換。即，可以通過當(dāng)記錄不同焦平面的范圍的光幅度時(shí)找到對應(yīng)于照相機(jī)的傳感器陣列中的每個(gè)傳感器元件或每個(gè)傳感器元件組的最大光振蕩幅度的平面確定被探測對象的3D表面結(jié)構(gòu)。在一些實(shí)施例中，從掃描區(qū)域的一個(gè)端部到另一個(gè)端部以相等步幅調(diào)節(jié)焦平面。焦平面可以在足夠大的范圍內(nèi)移動以至少與正被掃描的對象的表面重合。
[0167]在一些實(shí)施例中，掃描器包括位于光路中的至少一個(gè)分束器。例如，對象的圖像可以借助于分束器形成于照相機(jī)中。在圖中示出分束器的示例性使用。
[0168]在一些實(shí)施例中，光在包`括透鏡系統(tǒng)的光學(xué)系統(tǒng)中傳輸。該透鏡系統(tǒng)可以朝著對象傳輸圖案并且將從對象反射的光成像到照相機(jī)。
[0169]在遠(yuǎn)心光學(xué)系統(tǒng)中，離焦點(diǎn)具有與聚焦點(diǎn)相同的放大倍數(shù)。遠(yuǎn)心投影因此可以顯著地容易將采集的2D圖像數(shù)據(jù)映射到3D圖像。因此，在一些實(shí)施例中，光學(xué)系統(tǒng)在被探測對象的空間中基本上是遠(yuǎn)心的。光學(xué)系統(tǒng)在圖案和照相機(jī)的空間中也可以是遠(yuǎn)心的。
[0170]變化焦點(diǎn)
[0171]在3D掃描器包括可移動聚焦光學(xué)器件的實(shí)施例中，在不相對于正被掃描的對象移動掃描器的情況下焦平面的變化(即，掃描)是可能的。焦平面可以變化，例如以周期性方式連續(xù)地變化，即使圖案生成裝置(照相機(jī))和正被掃描的對象相對于彼此固定。此外，3D表面采集時(shí)間應(yīng)當(dāng)足夠小以減小探頭和牙齒之間的相對運(yùn)動的影響，例如減小震動效應(yīng)。在一些實(shí)施例中，焦平面借助于例如通過移動聚焦光學(xué)器件移動的至少一個(gè)聚焦元件變化。在一些實(shí)施例中，焦平面以預(yù)定頻率周期性地變化。所述頻率可以為至少1Hz，例如至少 2Hz、3、4、5、6、7、8、9 或至少 10Hz，例如至少 20、40、60、80 或至少 IOOHz0
[0172]在一些實(shí)施例中，聚焦元件是光學(xué)系統(tǒng)的一部分，即，聚焦元件可以是透鏡系統(tǒng)中的透鏡。掃描器的一些實(shí)施例包括用于調(diào)節(jié)和控制聚焦元件的位置的裝置，例如平移臺。以該方式例如可以通過沿著光軸來回平移聚焦元件改變焦平面。
[0173]如果以若干Hz的頻率來回平移聚焦元件，這可能導(dǎo)致掃描器的不穩(wěn)定性。掃描器的一些實(shí)施例因此包括用于減小和/或消除來自聚焦元件調(diào)節(jié)系統(tǒng)的振動和/或震動的裝置，由此增加掃描器的穩(wěn)定性。這可以至少部分地由用于固定和/或保持聚焦元件調(diào)節(jié)系統(tǒng)的質(zhì)心的裝置、例如配重提供以大致平衡聚焦元件的移動；例如，通過與聚焦元件的移動相反地平移配重。如果配重和聚焦元件由相同的平移裝置連接和驅(qū)動，則可以實(shí)現(xiàn)操作的容易性。然而這可能僅僅將振動顯著減小到一階。如果配重平衡裝置圍繞配重平衡軸旋轉(zhuǎn)，則可能有與配重所產(chǎn)生的扭矩相關(guān)的問題。本發(fā)明的另一實(shí)施例因此包括用于減小和/或消除來自聚焦元件調(diào)節(jié)系統(tǒng)的一階、二階、三階和/或更高階振動和/或震動的裝置，由此增加掃描器的穩(wěn)定性。
[0174]在本發(fā)明的另一實(shí)施例中一個(gè)以上光學(xué)元件移動以移位焦平面的位置。在該實(shí)施例中期望這些元件一起移動并且元件物理地相鄰。
[0175]在一些實(shí)施例中，光學(xué)系統(tǒng)對于所有焦平面位置是遠(yuǎn)心的或近遠(yuǎn)心的。因此，SP使光學(xué)系統(tǒng)中的一個(gè)或多個(gè)透鏡可以來回移位以改變焦平面位置，也保持光學(xué)系統(tǒng)的遠(yuǎn)心性。
[0176]掃描器的一些實(shí)施例包括焦距比(focus gearing)。焦距比是透鏡的移動和焦平面位置的移動之間的相關(guān)性。例如2的焦距比表示Imm的聚焦元件的平移對應(yīng)于2mm的焦平面位置的平移。焦距比可以由光學(xué)系統(tǒng)的合適設(shè)計(jì)提供。焦距比的優(yōu)點(diǎn)在于聚焦元件的小移動可以對應(yīng)于焦平面位置的大變化。在本發(fā)明的特定實(shí)施例中，焦距比在0.1到100之間,例如在0.1到I之間，例如在I到10之間，例如在2到8之間，例如在3到6之間，例如至少10，例如至少20。
[0177]在本發(fā)明的另一實(shí)施例中聚焦元件是液體透鏡。液體透鏡可以控制焦平面而不使用任何移動部件。
[0178]照相機(jī)
[0179]照相機(jī)可以是包含標(biāo)準(zhǔn)C`XD或CMOS芯片并且傳感器元件(像素)的每條線具有一個(gè)A/D轉(zhuǎn)換器的標(biāo)準(zhǔn)數(shù)字照相機(jī)。然而，為了增加幀率根據(jù)本發(fā)明的掃描器可以包括包含每條像素線多個(gè)A/D轉(zhuǎn)換器、例如每條像素線至少2、4、8或16個(gè)A/D轉(zhuǎn)換器的高速照相機(jī)。
[0180]圖案
[0181]在一些實(shí)施例中，3D掃描器配置成用于提供具有嵌入圖案的探測光，所述圖案投影到正被掃描的對象上。圖案可以是靜態(tài)的或時(shí)間變化的。時(shí)間變化圖案可以提供對象上和/或中的亮和暗的變化。具體地，當(dāng)對于固定焦平面圖案隨著時(shí)間變化時(shí)，然后對象上的聚焦區(qū)域?qū)@示亮和暗的振蕩圖案。離焦區(qū)域?qū)@示光振蕩中的更小或無對比度。靜態(tài)圖案可以提供對象上和/或中的亮和暗的空間變化。具體地，聚焦區(qū)域?qū)@示空間中的亮和暗的振蕩圖案。離焦區(qū)域?qū)@示空間光振蕩中的更小或無對比度。
[0182]可以從外部光源提供光，然而優(yōu)選地掃描器包括至少一個(gè)光源和圖案生成裝置以產(chǎn)生圖案。在信噪比方面有利的是將光源設(shè)計(jì)成使得圖案的未掩蔽部分中的強(qiáng)度在空間中盡可能接近均勻。在另一實(shí)施例中光源和圖案生成裝置整合到單個(gè)部件、例如分段LED中。分段LED可以提供靜態(tài)圖案和/或它可以通過順序地打開和關(guān)閉不同段自身提供時(shí)間變化圖案。在本發(fā)明的一個(gè)實(shí)施例中時(shí)間變化圖案隨著時(shí)間周期性地變化。在本發(fā)明的另一實(shí)施例中靜態(tài)圖案在空間中周期性地變化。
[0183]來自光源(外部或內(nèi)部)的光可以透射通過圖案生成裝置，由此生成圖案。例如圖案生成裝置包括至少一個(gè)半透明和/或透明圖案元件。為了生成時(shí)間變化圖案可以使用具有不透明掩模的輪。例如掩模包括優(yōu)選地按照對稱順序放置的多個(gè)徑向輻條。掃描器也可以包括用于旋轉(zhuǎn)和/或平移圖案元件的裝置。為了生成靜態(tài)圖案可以使用具有不透明掩模的玻璃板。例如掩模包括線條圖案或棋盤狀圖案。一般而言所述掩模優(yōu)選地具有旋轉(zhuǎn)和/或平移周期性。圖案元件位于光路中。因此，來自光源的光可以透射通過圖案元件，例如橫向地透射通過圖案元件。然后可以通過旋轉(zhuǎn)和/或平移圖案元件生成時(shí)間變化圖案。生成靜態(tài)圖案的圖案元件在掃描期間不需要移動。
[0184]相關(guān)
[0185]本發(fā)明的一個(gè)目的是提供短掃描時(shí)間和實(shí)時(shí)處理，例如提供對掃描器操作者的實(shí)時(shí)反饋以進(jìn)行整個(gè)牙弓的快速掃描。然而，實(shí)時(shí)高分辨率3D掃描產(chǎn)生大量數(shù)據(jù)。所以可以優(yōu)選地在掃描器外殼中(即，靠近光學(xué)部件)提供一些數(shù)據(jù)處理以減小例如到達(dá)推車、工作站或顯示器的數(shù)據(jù)傳送率。為了加速數(shù)據(jù)處理時(shí)間并且為了提取具有最佳信噪比的聚焦信息，可以嵌入和/或執(zhí)行各種相關(guān)技術(shù)。這例如可以在照相機(jī)電子設(shè)備中執(zhí)行以區(qū)分離焦信息?？梢詰?yīng)用圖案以在正被掃描的對象上提供具有嵌入空間結(jié)構(gòu)的照明。確定聚焦信息然后可以涉及計(jì)算該空間結(jié)構(gòu)化光信號(我們稱為輸入信號)和圖案自身的變化(我們稱為參考信號)的相關(guān)度。一般而言如果輸入信號與參考信號重合則這樣的相關(guān)度的量值高。如果輸入信號顯示小或無變化，則相關(guān)度的量值低。如果輸入信號顯示大空間變化但是該變化不同于參考信號的變化，則相關(guān)度的量值也低。在本發(fā)明的另一實(shí)施例中掃描器和/或掃描器頭部可以是無線的，由此簡化掃描器的操縱和操作并且增加在困難的掃描情況下(例如口內(nèi)或耳內(nèi)掃描)的可訪問性。然而，無線操作還可以增加局部數(shù)據(jù)處理的需要以避免原始3D數(shù)據(jù)的無線傳輸。
[0186]在一些實(shí)施例中，參考信號由圖案生成裝置提供并且可以是周期性的。輸入信號的變化可以是周期性的并且它可以被限制到一個(gè)或幾個(gè)周期。可以與輸入信號無關(guān)地確定參考信號。具體地在周期性 變化的情況下，振蕩輸入和參考信號之間的相位可以是已知的，與輸入信號無關(guān)。在周期性變化的情況下相關(guān)性典型地涉及變化的幅度。如果振蕩輸入和參考信號之間的相位不是已知的，則在可以確定輸入信號的變化幅度被確定之前可能必須確定輸入信號的余弦和正弦部分。當(dāng)相位已知時(shí)這不是必要的。
[0187]為了借助于照相機(jī)獲得對象的清晰圖像，在照相機(jī)的圖像傳感器的曝光時(shí)間期間對象必須聚焦并且照相機(jī)的光學(xué)器件和對象必須成固定空間關(guān)系。應(yīng)用于本發(fā)明這將意味著圖案和焦點(diǎn)應(yīng)當(dāng)以離散步幅變化以能夠針對在照相機(jī)中采樣的每個(gè)圖像固定圖案和焦點(diǎn)，即，在傳感器陣列的曝光時(shí)間期間固定。然而，為了增加圖像數(shù)據(jù)的靈敏度，傳感器陣列的曝光時(shí)間應(yīng)當(dāng)在傳感器幀率允許的范圍內(nèi)盡可能高。因此，在一些實(shí)施例中當(dāng)圖案連續(xù)地變化(例如，通過連續(xù)地旋轉(zhuǎn)圖案輪)并且焦平面連續(xù)地移動時(shí)在照相機(jī)中記錄(采樣)圖像。這意味著單獨(dú)的圖像將稍微模糊，原因是當(dāng)圖案變化并且焦平面移動時(shí)它們是圖像的時(shí)間積分的結(jié)果?？赡茴A(yù)期這種情況導(dǎo)致數(shù)據(jù)質(zhì)量的降低，但是實(shí)際上圖案和焦平面的同時(shí)變化的優(yōu)點(diǎn)遠(yuǎn)大于缺點(diǎn)。
[0188]在一些實(shí)施例中當(dāng)圖案固定并且焦平面連續(xù)地移動(即，圖案不移動)時(shí)在照相機(jī)中記錄(采樣)圖像。當(dāng)光源是分段光源、例如以適當(dāng)方式閃爍的分段LED時(shí)可能就是這種情況。在該實(shí)施例中通過引起光感測元件上的變化的分段LED上的單獨(dú)的段的幾何形狀和在每次記錄時(shí)施加到LED的不同段的電流的現(xiàn)有知識的組合獲得圖案的知識。
[0189]在本發(fā)明的又一實(shí)施例中當(dāng)圖案連續(xù)地變化并且焦平面固定時(shí)在照相機(jī)中記錄(采樣)圖像。
[0190]在本發(fā)明的又一實(shí)施例中當(dāng)圖案和焦平面固定時(shí)在照相機(jī)中記錄(采樣)圖像。
[0191]空間相關(guān)
[0192]上述相關(guān)原理(時(shí)間相關(guān)和光學(xué)相關(guān))需要圖案隨著時(shí)間變化。如果光學(xué)系統(tǒng)和照相機(jī)提供的橫向分辨率是掃描對象所需的至少兩倍，則可能用靜態(tài)圖案、即不隨著時(shí)間變化的圖案進(jìn)行掃描。該原理被稱為“空間相關(guān)”。因此至少用在不同傳感器位置記錄的傳感器信號計(jì)算相關(guān)度。
[0193]光學(xué)系統(tǒng)的橫向分辨率應(yīng)當(dāng)被理解為光學(xué)系統(tǒng)、例如透鏡系統(tǒng)中的光學(xué)元件將正被掃描的對象上的空間頻率成像到某個(gè)點(diǎn)的能力。光學(xué)系統(tǒng)的調(diào)制傳遞曲線典型地用于描述光學(xué)系統(tǒng)中的空間頻率的成像。例如可以將光學(xué)系統(tǒng)的分辨率限定為正被掃描的對象上的空間頻率，其中調(diào)制傳遞曲線減小到例如50%。照相機(jī)的分辨率是單獨(dú)的照相機(jī)傳感器元件的間隔和光學(xué)系統(tǒng)的分辨率的組合效應(yīng)。
[0194]在空間相關(guān)中相關(guān)度表示在空間中而不是在時(shí)間中出現(xiàn)的輸入信號和參考信號之間的相關(guān)性。因此，在本發(fā)明的一個(gè)實(shí)施例中被測量3D幾何形狀的分辨率等于照相機(jī)的分辨率。然而，對于空間相關(guān)性，被測量3D幾何形狀的分辨率低于照相機(jī)的分辨率，例如低至少2倍，例如低至少3倍，例如低至少4倍，例如低至少5倍，例如低至少10倍。在一些實(shí)施例中，傳感器元件陣列分成傳感器元件組，優(yōu)選矩形組，例如傳感器元件的方形組，優(yōu)選相鄰傳感器元件。掃描、即被測量3D幾何形狀的分辨率然后將由這些傳感器元件組的尺寸確定。在這些傳感器元件組內(nèi)提供光信號的振蕩，并且然后可以通過分析傳感器元件組獲得光振蕩的幅度。可以在數(shù)據(jù)處理階段提供將傳感器元件陣列分成組，即，分割不是物理分割，由此可能需要特別適合的傳`感器陣列。因此，分成組是“虛擬的”，即使組中的單像素是實(shí)際物理像素。
[0195]在本發(fā)明的一個(gè)實(shí)施例中圖案具有沿著至少一個(gè)空間坐標(biāo)的平移周期性。在本發(fā)明的另一實(shí)施例中空間周期性圖案與傳感器元件的陣列的行和/或列對準(zhǔn)。例如在靜態(tài)線條圖案的情況下照相機(jī)中的像素的行或列可以平行于圖案的線條?；蛘咴陟o態(tài)棋盤狀圖案的情況下棋盤的行和列可以分別與照相機(jī)中的像素的行和列對準(zhǔn)。對準(zhǔn)表示照相機(jī)上的圖案的圖像與照相機(jī)的傳感器陣列中的傳感器元件的“圖案”對準(zhǔn)。因此，圖案生成裝置和照相機(jī)的某個(gè)物理位置和取向需要掃描器的光學(xué)部件的某個(gè)配置以用于使圖案與照相機(jī)的傳感器陣列對準(zhǔn)。
[0196]在本發(fā)明的另一實(shí)施例中圖案的至少一個(gè)空間周期對應(yīng)于傳感器元件組。在本發(fā)明的另一實(shí)施例中所有傳感器元件組包含相同數(shù)量的元件并且具有相同的形狀。例如當(dāng)棋盤狀圖案的周期對應(yīng)于照相機(jī)上的例如2X2、3X3、4X4、5X5、6X6、7X7、8X8、9X9、IOX 10或更多像素的方形組。
[0197]在又一實(shí)施例中圖案的一個(gè)或多個(gè)邊緣與傳感器元件的陣列的一個(gè)或多個(gè)邊緣對準(zhǔn)和/或重合。例如，棋盤狀圖案可以以這樣的方式與照相機(jī)像素對準(zhǔn)使得照相機(jī)上的棋盤狀圖案的圖像的邊緣與像素的邊緣重合。
[0198]在空間相關(guān)中圖案配置的無關(guān)知識允許計(jì)算光感測的每個(gè)組的相關(guān)度。對于空間周期性照明，可以計(jì)算該相關(guān)度而不必估計(jì)光強(qiáng)度振蕩的余弦和正弦部分?？梢栽?D掃描之前獲得圖案配置的知識。
[0199]與時(shí)間相關(guān)相比，空間相關(guān)具有的優(yōu)點(diǎn)是不需要移動圖案。這意味著可以在3D掃描之前獲得圖案配置的知識。相反地，時(shí)間相關(guān)的優(yōu)點(diǎn)是它的更高分辨率，原因是不需要像素分組。
[0200]當(dāng)嵌入有允許很高幀率的圖像傳感器時(shí)，所有相關(guān)原理能夠以很小的運(yùn)動模糊進(jìn)行運(yùn)動中的對象的3D掃描。也能夠隨著時(shí)間跟蹤移動對象(“4D掃描”)，具有例如在機(jī)器視覺和動態(tài)變形測量中的有用應(yīng)用。在該背景下的很高幀率為至少500，但是優(yōu)選地至少2000幀每秒。
[0201]將相關(guān)度極值變換到3D空間坐標(biāo)
[0202]可以由通過光學(xué)系統(tǒng)的光線跟蹤完成使照相機(jī)傳感器或照相機(jī)傳感器組的被識別(一個(gè)或多個(gè))焦點(diǎn)位置與3D空間坐標(biāo)關(guān)聯(lián)。在可以執(zhí)行這樣的光線跟蹤之前需要知道光學(xué)系統(tǒng)的參數(shù)。本發(fā)明的一個(gè)實(shí)施例包括校準(zhǔn)步驟以獲得這樣的知識。本發(fā)明的另一實(shí)施例包括校準(zhǔn)步驟，其中針對多個(gè)焦點(diǎn)位置記錄已知幾何形狀的對象的圖像。這樣的對象可以是平面棋盤狀圖案。然后，可以通過生成校準(zhǔn)對象的模擬光線跟蹤圖像并且然后調(diào)節(jié)光學(xué)系統(tǒng)參數(shù)從而最小化模擬和記錄圖像之間的差異而校準(zhǔn)掃描器。
[0203]在本發(fā)明的另一實(shí)施例中校準(zhǔn)步驟需要針對若干不同校準(zhǔn)對象和/或一個(gè)校準(zhǔn)對象的若干不同取向和/或位置記錄多個(gè)焦點(diǎn)位置的圖像。
[0204]知道光學(xué)系統(tǒng)的參數(shù)，可以利用反向光線跟蹤技術(shù)估計(jì)2D — 3D映射。這需要優(yōu)選地通過校準(zhǔn)已知掃描器的光學(xué)系統(tǒng)?？梢詧?zhí)行以下步驟:
[0205]1.從圖像的每個(gè)像素(在圖像傳感器處)，跟蹤從圖像傳感器開始并且通過光學(xué)系統(tǒng)的一定數(shù)量的光線(反向光線`跟蹤)。
[0206]2.從發(fā)射的光線，計(jì)算焦點(diǎn)，所有這些光線大致交叉的點(diǎn)。該點(diǎn)表示2D像素將聚焦、即產(chǎn)生光振蕩幅度的全局最大值的3D坐標(biāo)。
[0207]3.用它們的相應(yīng)3D坐標(biāo)生成所有像素的查找表。
[0208]針對覆蓋掃描器的操作范圍的多個(gè)不同聚焦透鏡位置重復(fù)以上步驟。
[0209]當(dāng)應(yīng)用時(shí)間變化圖案時(shí)，可以通過在焦平面的不同位置并且在圖案的不同實(shí)例收集多個(gè)2D圖像獲得單個(gè)子掃描。當(dāng)在單像素位置焦平面與掃描表面重合時(shí)，圖案將點(diǎn)聚焦地并且以高對比度投影到表面上，由此引起像素值隨著時(shí)間的大變化或幅度。對于每個(gè)像素因此能夠識別每個(gè)像素將聚焦的聚焦平面的單獨(dú)的設(shè)置。通過使用所使用的光學(xué)系統(tǒng)的知識，能夠在單獨(dú)的像素的基礎(chǔ)上將對比度信息對比焦平面的位置變換成3D表面信息。
[0210]因此，在本發(fā)明的一個(gè)實(shí)施例中通過確定焦平面的范圍的多個(gè)傳感器元件的每一個(gè)的光振蕩幅度計(jì)算焦點(diǎn)位置。
[0211]對于靜態(tài)圖案可以通過在焦平面的不同位置收集多個(gè)2D圖像獲得單個(gè)子掃描。當(dāng)焦平面與掃描表面重合時(shí)，圖案將點(diǎn)聚焦地并且以高對比度投影到表面上。高對比度引起對象的表面上的靜態(tài)圖案的大空間變化，由此提供相鄰像素組上的像素值的大變化或幅度。對于每個(gè)像素組因此能夠識別每個(gè)像素組將聚焦的聚焦平面的單獨(dú)的設(shè)置。通過使用所使用的光學(xué)系統(tǒng)的知識，能夠在單獨(dú)的像素組的基礎(chǔ)上將對比度信息對比焦平面的位置變換成3D表面信息。[0212]因此，在本發(fā)明的一個(gè)實(shí)施例中通過確定焦平面的范圍的多個(gè)傳感器元件組的每一個(gè)的光振蕩幅度計(jì)算焦點(diǎn)位置。
[0213]可以以本領(lǐng)域中已知的多種方式執(zhí)行圖像數(shù)據(jù)從2D到3D的轉(zhuǎn)換。即，可以通過當(dāng)記錄不同焦平面的范圍的光幅度時(shí)找到對應(yīng)于照相機(jī)的傳感器陣列中的每個(gè)傳感器元件或每個(gè)傳感器元件組的最大光振蕩幅度的平面確定被探測對象的3D表面結(jié)構(gòu)。在一些實(shí)施例中，從掃描區(qū)域的一個(gè)端部到另一個(gè)端部以相等步幅調(diào)節(jié)焦平面?？赡軆?yōu)選的是焦平面可以在足夠大的范圍內(nèi)移動以至少與正被掃描的對象的表面重合。
[0214]本發(fā)明涉及不同方面，所述方面包括在上文和在下文中所述的方法，以及相應(yīng)方法、設(shè)備、使用和/或產(chǎn)品裝置，每一個(gè)產(chǎn)生結(jié)合第一次提及的方面描述的一個(gè)或多個(gè)益處和優(yōu)點(diǎn)，并且每一個(gè)具有對應(yīng)于結(jié)合第一次提及的方面描述和/或在附帶的權(quán)利要求中公開的實(shí)施例的一個(gè)或多個(gè)實(shí)施例。
[0215]特別地，在本文中公開一種用于當(dāng)借助于3D掃描器執(zhí)行對象的至少一部分的3D掃描時(shí)補(bǔ)償運(yùn)動模糊的系統(tǒng)，其中由于當(dāng)執(zhí)行掃描時(shí)所述掃描器和所述對象相對于彼此移動而發(fā)生運(yùn)動模糊，并且其中所述運(yùn)動模糊補(bǔ)償系統(tǒng)包括:
[0216]-用于確定在采集焦平面圖像的序列期間是否有所述掃描器和所述對象之間的相對運(yùn)動的裝置；
[0217]-如果相對運(yùn)動被確定，用于基于被確定運(yùn)動執(zhí)行運(yùn)動補(bǔ)償?shù)难b置；以及
[0218]-用于從所述焦平面圖像的序列生成3D表面的裝置。
[0219]在一些實(shí)施例中，用于確定在采集焦平面圖像的序列期間是否有掃描器和對象之間的相對運(yùn)動的裝置、用于基于被確定運(yùn)動執(zhí)行運(yùn)動補(bǔ)償?shù)难b置和用于從焦平面圖像的序列生成3D表面的裝置包括數(shù)據(jù)處理裝置，例如計(jì)算機(jī)或微處理器。
[0220]在一些實(shí)施例中，3D掃描器包括具有存儲在其上的一個(gè)或多個(gè)計(jì)算機(jī)指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述計(jì)算機(jī)指令包括用于執(zhí)行根據(jù)本發(fā)明的用于補(bǔ)償運(yùn)動模糊的方法的指令。
[0221]公開了一種掃描器系統(tǒng)，其包括:
[0222]-聚焦掃描裝置，所述聚焦掃描裝置配置成用于根據(jù)本發(fā)明的方法；以及
[0223]-數(shù)據(jù)處理裝置，所述數(shù)據(jù)處理裝置包括具有存儲在其上的一個(gè)或多個(gè)計(jì)算機(jī)指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述計(jì)算機(jī)指令包括用于執(zhí)行本發(fā)明的方法的指令。
[0224]此外，本發(fā)明涉及一種計(jì)算機(jī)程序產(chǎn)品，其包括程序代碼裝置，當(dāng)在數(shù)據(jù)處理系統(tǒng)上執(zhí)行所述程序代碼裝置時(shí)，所述程序代碼裝置用于導(dǎo)致所述數(shù)據(jù)處理系統(tǒng)執(zhí)行根據(jù)實(shí)施例中的任何一個(gè)的方法，以及計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括存儲在所述程序代碼裝置上的計(jì)算機(jī)可讀介質(zhì)。
[0225]定義
[0226]圖案:包括橫向平面中的嵌入空間結(jié)構(gòu)的光信號。也可以被稱為“照明圖案”。
[0227]時(shí)間變化圖案:隨著時(shí)間變化的圖案，即，嵌入空間結(jié)構(gòu)隨著時(shí)間變化。也可以被稱為“時(shí)間變化照明圖案”。在下文中也被稱為“條紋”。
[0228]靜態(tài)圖案:不隨著時(shí)間變化的圖案，例如靜態(tài)棋盤狀圖案或靜態(tài)線條圖案。
[0229]圖案配置:圖案的狀態(tài)。知道在某個(gè)時(shí)間的圖案配置相當(dāng)于知道在該時(shí)間的照明的空間結(jié)構(gòu)。對于周期性圖案，圖案配置將包括圖案相位的信息。如果正被掃描的對象的表面元成像到照相機(jī)上，則知道圖案配置相當(dāng)于知道圖案的什么部分正在照明表面元。
[0230]焦平面:其中從圖案發(fā)射的光線會聚以在正被掃描的對象上形成圖像的表面。焦平面不需要是平坦的。它可以是彎曲表面。
[0231]光學(xué)系統(tǒng):傳輸、準(zhǔn)直和/或成像光、例如朝著對象傳輸探測光、在對象上和/或中成像圖案并且在照相機(jī)上成像對象或?qū)ο蟮闹辽僖徊糠值墓鈱W(xué)部件、例如透鏡的布置。
[0232]光軸:由光束的傳播限定的軸線。光軸常常是直線。在本發(fā)明的一些實(shí)施例中光軸由多個(gè)光學(xué)部件的配置、例如光學(xué)系統(tǒng)中的透鏡的配置限定。如果例如一個(gè)光學(xué)系統(tǒng)將探測光傳輸?shù)綄ο蟛⑶伊硪粋€(gè)光學(xué)系統(tǒng)將對象成像到照相機(jī)上，則可以有一個(gè)以上光軸。光軸可以由將圖案傳輸?shù)綄ο笊喜⑶覍ο蟪上竦秸障鄼C(jī)上的光學(xué)系統(tǒng)中的光的傳播限定。光軸將常常與掃描器的縱軸線重合。
[0233]光路:由光從光源傳播到照相機(jī)限定的路徑。因此，光路的一部分常常與光軸重合。光軸可以是直線，但是例如當(dāng)光例如借助于分束器、反射鏡、光纖等進(jìn)行反射、散射、彎曲、分裂和/或類似處理時(shí)，光路可以是非直線。
[0234]遠(yuǎn)心系統(tǒng):以這樣的方式提供成像使得主光線平行于光學(xué)系統(tǒng)的光軸的光學(xué)系統(tǒng)。在遠(yuǎn)心系統(tǒng)中離焦點(diǎn)具有與聚焦點(diǎn)大致相同的放大倍數(shù)。這可以在數(shù)據(jù)處理中提供優(yōu)勢。完美遠(yuǎn)心光學(xué)系統(tǒng)難以獲得，然而大致遠(yuǎn)心或近遠(yuǎn)心的光學(xué)系統(tǒng)可以通過精心光學(xué)設(shè)計(jì)提供。因此，當(dāng)提到遠(yuǎn)心光學(xué)系統(tǒng)時(shí)應(yīng)當(dāng)理解它可以僅僅是近遠(yuǎn)心的。
[0235]掃描長度:視場的橫向尺度。如果探頭尖端(即，掃描頭)包括折疊光學(xué)器件以在不同于、例如垂直于光軸的方向上引導(dǎo)探測光，則掃描長度是平行于光軸的橫向尺度。
[0236]掃描對象:待掃描并且掃描器提供關(guān)于其表面的信息的對象。“掃描對象”可以只被稱為“對象”。
[0237]照相機(jī):包括響應(yīng)成像傳感器上的光輸入的多個(gè)傳感器的成像傳感器。傳感器可以在2D陣列中按照行和列排序。
[0238]輸入信號:來自照相機(jī)中的傳感器的光輸入信號或傳感器輸入信號。這可以是在傳感器的曝光時(shí)間或積分期間入射在傳感器上的光的積分強(qiáng)度。一般而言，它轉(zhuǎn)化為圖像內(nèi)的像素值。也可以被稱為“傳感器信號”。
[0239]參考信號:從圖案導(dǎo)出的信號。參考信號也可以表示加權(quán)函數(shù)或加權(quán)向量或參考向量。
[0240]相關(guān)度:參考信號和輸入信號之間的相關(guān)程度的量度。相關(guān)度可以被限定為使得如果參考信號和輸入信號彼此線性地關(guān)聯(lián)，則相關(guān)度獲得比它們不線性地關(guān)聯(lián)更大的量值。在一些情況下相關(guān)度是光振蕩幅度。
[0241]圖像:圖像可以被視為值的2D陣列(當(dāng)用數(shù)字照相機(jī)獲得時(shí))，或在光學(xué)器件中圖像指示在被成像表面和圖像表面之間存在關(guān)系，其中從所述被成像表面上的一個(gè)點(diǎn)出現(xiàn)的光線大致會聚到所述圖像表 面上的一個(gè)點(diǎn)。
[0242]強(qiáng)度:在光學(xué)器件中，強(qiáng)度是每單位面積的光功率的量度。在用包括多個(gè)單獨(dú)的感測元件的照相機(jī)進(jìn)行圖像記錄中，強(qiáng)度可以用于表示單獨(dú)的感測元件上的被記錄光信號。在該情況下強(qiáng)度反映在圖像記錄中涉及的曝光時(shí)間期間感測元件上的每單位面積的光功率的時(shí)間積分。
[0243]對準(zhǔn):在該文獻(xiàn)中在兩個(gè)不同的背景下使用術(shù)語對準(zhǔn)。對準(zhǔn)可以表示對準(zhǔn)兩個(gè)3D表面，例如彼此配準(zhǔn)兩個(gè)3D表面以便創(chuàng)建被掃描對象的虛擬模型。對準(zhǔn)也可以表示圖案例如與傳感器元件的陣列的行和/或列對準(zhǔn)。
【專利附圖】

【附圖說明】
[0244]參考附圖，本發(fā)明的以上和/或附加目的、特征和優(yōu)點(diǎn)將由本發(fā)明的實(shí)施例的以下示例性和非限定性詳細(xì)描述進(jìn)一步闡釋，其中:
[0245]圖1顯示用于當(dāng)借助于3D掃描器執(zhí)行對象的至少一部分的3D掃描時(shí)補(bǔ)償運(yùn)動模糊的方法的流程圖。
[0246]圖2顯示手持式掃描器的例子。
[0247]圖3顯示手持式掃描器的例子。
[0248]圖4顯示可以在掃描中覆蓋的口中的牙齒的一部分的例子。
[0249]圖5顯示用于生成3D表面的不同子掃描在牙齒組上如何分布的例子。
[0250]圖6顯示牙齒的兩個(gè)聚焦圖像的例子。
[0251]圖7顯示焦平面圖像的例子。
[0252]圖8顯示用于補(bǔ)償焦平面圖像中的運(yùn)動的例子。
[0253]圖9顯示對準(zhǔn)3D表面并且補(bǔ)償3D表面中的運(yùn)動的例子。
[0254]圖10顯示子掃描 的3D表面的運(yùn)動補(bǔ)償?shù)睦印?br> 【具體實(shí)施方式】
[0255]在以下描述中，參考附圖，附圖通過圖示顯示可以如何實(shí)施本發(fā)明。
[0256]圖1顯示用于當(dāng)借助于3D掃描器執(zhí)行對象的至少一部分的3D掃描時(shí)補(bǔ)償運(yùn)動模糊的方法的流程圖。
[0257]由于當(dāng)執(zhí)行掃描時(shí)掃描器和對象相對于彼此移動而發(fā)生運(yùn)動模糊。運(yùn)動模糊補(bǔ)償包括:
[0258]在步驟101確定在采集焦平面圖像的序列期間是否有掃描器和對象之間的相對運(yùn)動。
[0259]如果相對運(yùn)動被確定，在步驟102基于被確定運(yùn)動執(zhí)行運(yùn)動補(bǔ)償。
[0260]在步驟103從焦平面圖像的序列生成3D表面。
[0261]在一些情況下，在步驟101-103之前已生成第一 3D表面并且步驟102中的運(yùn)動補(bǔ)償和/或步驟103中的3D表面的生成可以基于該第一 3D表面。
[0262]運(yùn)動補(bǔ)償也可以包括基于焦平面圖像的序列自身確定相對掃描器運(yùn)動。
[0263]圖2顯示手持式掃描器的例子。
[0264]手持式掃描器201包括用于發(fā)射光的光源202、空間圖案203、分束器204、可移動聚焦光學(xué)器件205 (例如透鏡)和圖像傳感器206。
[0265]來自光源202的光通過光學(xué)系統(tǒng)來回移動。在該通過期間,光學(xué)系統(tǒng)將圖案203成像到正被掃描的對象208上并且還將正被掃描的對象208成像到圖像傳感器206上。可移動聚焦光學(xué)器件205包括聚焦元件，例如透鏡，并且可以移動使得被探測對象208上的圖案203的圖像焦平面的位置可以移位。體現(xiàn)聚焦光學(xué)器件的一種方式是沿著光軸物理地來回移動單透鏡元件。裝置可以包括在不同于透鏡系統(tǒng)的光軸的方向上、例如在垂直于透鏡系統(tǒng)的光軸的方向上將光引導(dǎo)到裝置之外的偏振光學(xué)器件和/或折疊光學(xué)器件。作為整體，光學(xué)系統(tǒng)提供將圖案成像到正被探測的對象上并且從正被探測的對象成像到圖像傳感器、例如照相機(jī)。裝置的一個(gè)應(yīng)用可以是用于確定口腔中的牙齒的3D結(jié)構(gòu)。另一個(gè)應(yīng)用可以是用于確定耳道和耳的外部分的3D形狀。
[0266]圖2中的光軸是由通過光學(xué)系統(tǒng)中的光源、光學(xué)器件和透鏡的直線限定的軸線。這也對應(yīng)于圖2中所示的掃描器的縱軸線。光路是從光源到對象并且返回到照相機(jī)的光的路徑。光路例如可以借助于分束器和折疊光學(xué)器件改變方向。
[0267]以這樣的方式調(diào)節(jié)聚焦光學(xué)器件的位置或聚焦元件的構(gòu)造使得被掃描對象上的圖案的圖像沿著光軸、例如從掃描區(qū)域的一個(gè)端部到另一個(gè)端部以相等步幅移位。當(dāng)對于固定焦點(diǎn)位置的圖案隨著時(shí)間以周期性方式變化時(shí)，然后對象上的聚焦區(qū)域?qū)@示空間變化圖案。離焦區(qū)域?qū)@示光變化中的更小或無對比度。可以通過當(dāng)記錄不同焦點(diǎn)位置的范圍的相關(guān)度時(shí)找到對應(yīng)于圖像傳感器陣列中的每個(gè)傳感器或圖像傳感器陣列中的每個(gè)傳感器組的相關(guān)度的極值的平面來確定被探測對象的3D表面結(jié)構(gòu)。在一些情況下從掃描區(qū)域的一個(gè)端部到另一個(gè)端部以相等步幅移動焦點(diǎn)位置。掃描區(qū)域也可以被稱為掃描體積。
[0268]在插入件209中看到聚焦區(qū)域的例子，并且在插入件210中看到離焦區(qū)域的例子。
[0269]圖3顯示手持式掃描器的例子。
[0270]手持式掃描器301包括用于發(fā)射光的光源302、空間圖案303、分束器304、可移動聚焦光學(xué)器件305 (例如透鏡)、圖像傳感器306和可以進(jìn)入腔中以用于掃描對象308的尖端或探頭307。在該例子中對象308是口腔中的牙齒。
[0271]圖4顯示可以在掃描中覆蓋的口中的牙齒的一部分的例子
[0272]在圖4a)中在俯視圖`中看到牙齒408，并且在圖4b)中在透視圖中看到牙齒408。
[0273]用于焦平面圖像的一個(gè)序列的掃描體積411的例子由透明框指示。掃描體積可以為例如17 X 15 X 20mm,其中15mm可以是掃描體積的“高度”,對應(yīng)于聚焦光學(xué)器件可以移動焦平面的距離。
[0274]圖5顯示用于生成3D表面的不同子掃描在牙齒組上如何分布的例子。
[0275]在圖上指示四個(gè)子掃描512。每個(gè)子掃描提供被掃描牙齒的3D表面。3D表面部分地重疊，由此可以通過比較兩個(gè)或更多個(gè)3D表面的重疊部分確定在采集焦平面圖像期間執(zhí)行的掃描器的運(yùn)動。
[0276]圖6顯示牙齒的兩個(gè)聚焦圖像的例子。
[0277]圖6a)顯示焦平面圖像613，其中圖像的左上部分中的區(qū)域聚焦。
[0278]圖6b)顯示與圖6a)中相同的牙齒的區(qū)域的另一個(gè)焦平面圖像614，其中在圖像的右中下部分中的另一區(qū)域聚焦。
[0279]圖6c)顯示圖6a)中的焦平面圖像613是在牙齒的頂部獲得的焦平面圖像，并且圖6b)中的焦平面圖像614是在牙齒的居中定位凹陷處獲得的焦平面圖像。箭頭線615指示焦平面的全序列所覆蓋的距離。
[0280]圖6d)顯示通過確定傳感器元件或傳感器元件組的量值(例如對比度、光強(qiáng)度等)的極值點(diǎn)確定兩個(gè)焦點(diǎn)位置。在該圖中可以看到焦平面圖像613具有在大約1400處的極值點(diǎn)，而焦平面圖像614具有在大約4100處的極值點(diǎn)。
[0281]圖7顯示焦平面圖像的例子。[0282]圖7a)顯示在不同時(shí)間t0，tl…tn獲得的、從前面看到的多個(gè)焦平面圖像。為了簡化未在圖像上顯示特征，但是通常焦平面圖像可以類似于圖6中所示的圖像613和614。這也由在時(shí)間t0獲得的焦平面圖像上的附圖標(biāo)記713和在時(shí)間t4獲得的焦平面圖像上的附圖標(biāo)記714表示。應(yīng)當(dāng)注意實(shí)際上圖6中的兩個(gè)焦平面圖像可能在時(shí)間上不如圖7中所示的那么接近。
[0283]圖7b)顯示在不同時(shí)間t0，tl, t2, t3, t4, t5獲得的、從上面看到的多個(gè)焦平面圖像。在這里看到焦平面圖像上的區(qū)域或特征(圓點(diǎn))位于不同焦平面圖像上的不同位置。這樣的原因可以在于在采集焦平面圖像期間手持式掃描器已移動。由于區(qū)域或特征在圖像中向右移動，因此這對應(yīng)于當(dāng)采集圖像時(shí)掃描器已朝左移動。這由圖中的向量V的方向指示。
[0284]圓點(diǎn)應(yīng)當(dāng)實(shí)際上在不同的焦點(diǎn)圖像中在它們的輪廓上或多或少地尖銳，原因是區(qū)域或特征將在一個(gè)或多個(gè)圖像中聚焦和離焦。
[0285]圖7c)顯示從圖7a)和7b)中的焦平面圖像的序列可以生成3D表面716。
[0286]然而，為了從圖7a)和7b)中的焦平面圖像生成圖7c)中的3D表面可以假設(shè)當(dāng)采集圖像時(shí)沒有掃描器和對象的相對運(yùn)動。
[0287]當(dāng)采集焦平面圖像的下一個(gè)序列時(shí)，生成另一 3D表面，并且當(dāng)通過比較它們的3D點(diǎn)彼此對準(zhǔn)/配準(zhǔn)這兩個(gè)3D表面時(shí)，然后可以檢測在采集圖7a)和7b)中的焦平面圖像期間有掃描器和對象之間的相對運(yùn)動。
[0288]圖8顯示用于補(bǔ)償焦平面圖像中的運(yùn)動的例子。
[0289]圖8a)顯示在不同時(shí)間t0，tl…t5獲得的多個(gè)焦平面圖像。由圓點(diǎn)指示的區(qū)域在不同焦平面圖像中不在相同的位置，這指示在采集焦平面圖像期間對象和掃描器已相對于彼此移動。
[0290]圖Sb)顯示通過在該例子中朝左平移地校正焦平面圖像補(bǔ)償運(yùn)動。
[0291]圖Sc)顯示如果需要也可以通過旋轉(zhuǎn)地校正焦平面圖像補(bǔ)償運(yùn)動。
[0292]由于在這些圖中僅僅在2D中繪制焦平面圖像，因此可能看不到焦平面圖像也需要旋轉(zhuǎn)校正以用于補(bǔ)償運(yùn)動。
[0293]圖9顯示對準(zhǔn)3D表面并且補(bǔ)償3D表面中的運(yùn)動的例子。
[0294]圖9a)顯示例如可以從圖7中所示的焦平面圖像生成的3D表面916。
[0295]圖9b)顯示可以在相對于圖7中的圖像的焦平面圖像的后續(xù)序列中生成的另一 3D表面917。
[0296]圖9c)顯示試圖對準(zhǔn)/配準(zhǔn)兩個(gè)3D表面916、917。由于兩個(gè)3D表面916、917具有對應(yīng)于牙齒的相同區(qū)域的3D點(diǎn)，因此能夠通過比較兩個(gè)3D表面中的相應(yīng)點(diǎn)執(zhí)行對準(zhǔn)。
[0297]圖9d)顯示當(dāng)兩個(gè)3D表面916、917已合并在一起時(shí)的合成3D表面918。
[0298]圖9e)顯示可以基于合成3D表面918確定在采集生成3D表面916和917的焦平面圖像期間由掃描器執(zhí)行的相對運(yùn)動，并且可以基于該被確定運(yùn)動將合成3D表面918校正為最后“校正” 3D表面919。
[0299]圖10顯示子掃描的3D表面的運(yùn)動補(bǔ)償?shù)睦印?br> [0300]圖1Oa)顯示從在對象的掃描的三個(gè)連續(xù)子掃描中采集的焦平面圖像生成的三個(gè)3D表面1020、1021、1022。在下文中，子掃描被稱為子掃描A (1020)、子掃描B (1021)和子掃描C (1022)。子掃描B的運(yùn)動補(bǔ)償可以基于子掃描A和子掃描。[0301]圖10b)顯示在不補(bǔ)償3D掃描器和對象的相對運(yùn)動的情況下對準(zhǔn)的三個(gè)3D表面1020、1021、1022。圖1Oc)顯示對應(yīng)于例如已從運(yùn)動補(bǔ)償算法(例如考慮子掃描A和C的運(yùn)動補(bǔ)償算法)確定的子掃描B的運(yùn)動補(bǔ)償3D表面10211的示意圖。
[0302]運(yùn)動補(bǔ)償算法可以用于在對象的掃描中采集的每個(gè)子掃描并且所有這些子掃描的運(yùn)動補(bǔ)償3D表面然后可以組合以生成對象的3D模型1023，如圖1Od)中所見。在生成的3D模型1023中，在掃描期間由掃描器和對象的相對運(yùn)動導(dǎo)致的任何模糊已被減輕或者可能減小到微量。
[0303]下面提供配置用于子掃描的運(yùn)動補(bǔ)償?shù)倪\(yùn)動補(bǔ)償算法的例子。運(yùn)動補(bǔ)償算法(MC算法)需要用于子掃描B的運(yùn)動補(bǔ)償?shù)娜齻€(gè)連續(xù)子掃描A、B和C。子掃描可以由具有一系列3D點(diǎn)(x，y, z)的點(diǎn)云組成。每個(gè)3D點(diǎn)還具有時(shí)間戳，該時(shí)間戳指示何時(shí)記錄3D點(diǎn)，即，該點(diǎn)源自焦點(diǎn)圖像的堆疊中的哪個(gè)圖像。
[0304]對于每個(gè)子掃描，從所述子掃描的坐標(biāo)到共同“世界坐標(biāo)系”的仿射變換的良好估計(jì)例如從先前應(yīng)用的ICP算法被提供。這些變換表示為Ta、Tb和T。。為了保持該例子中的計(jì)算透明，變換僅僅是平移并且不包含旋轉(zhuǎn)部分:
【權(quán)利要求】
1.一種用于當(dāng)借助于3D掃描器執(zhí)行對象的至少一部分的3D掃描時(shí)補(bǔ)償運(yùn)動模糊的方法，其中由于當(dāng)執(zhí)行掃描時(shí)所述掃描器和所述對象相對于彼此移動而發(fā)生運(yùn)動模糊，并且其中運(yùn)動模糊補(bǔ)償包括: -確定在采集焦平面圖像的序列期間是否有所述掃描器和所述對象之間的相對運(yùn)動； -如果相對運(yùn)動被確定，基于被確定運(yùn)動執(zhí)行運(yùn)動補(bǔ)償；以及 -從所述焦平面圖像的序列生成3D表面。
2.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中所述3D掃描包括: -生成探測光， -朝著所述對象傳輸所述探測光，由此照明所述對象的至少一部分， -傳輸從所述對象返回到包括傳感器元件的陣列的照相機(jī)的光， -借助于光學(xué)系統(tǒng)在所述照相機(jī)上成像從所述對象返回到所述照相機(jī)的傳輸光的至少一部分，其中所述光學(xué)系統(tǒng)包括聚焦光學(xué)器件，當(dāng)所述3D掃描器相對于所述對象布置時(shí)所述聚焦光學(xué)器件配置成用于限定所述對象上的焦平面， -通過移動所述聚焦光學(xué)器件改變所述對象上的焦平面的位置， -從所述傳感器元件的陣列獲得至少一個(gè)焦平面圖像， -確定以下的一個(gè)或多個(gè)聚焦位置: -用于焦平面位置的序列的多個(gè)傳感器元件的每一個(gè)，或 -用于焦平面位置的序列的多個(gè)傳感器`元件組的每一個(gè)。
3.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中組合沿著光軸的方向捕捉的焦平面圖像的序列以提供深度圖像。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中所述對象的至少一部分在焦平面圖像的序列中的焦平面圖像的至少一個(gè)中聚焦。
5.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中序列中的每個(gè)焦平面圖像的采集之間的時(shí)期是固定的/預(yù)定的/已知的。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中通過分析序列本身執(zhí)行確定在采集焦平面圖像的序列期間所述掃描器的相對運(yùn)動。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中確定在采集焦平面圖像的序列期間所述掃描器的相對運(yùn)動由在所述掃描器中的傳感器和/或所述掃描器上的傳感器和/或由所述對象上的傳感器和/或由所述掃描器和所述對象所處的房間中的傳感器執(zhí)行。
8.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中通過分析序列和在所述序列之前和/或之后獲得的一個(gè)或多個(gè)其它序列執(zhí)行確定在采集焦平面圖像的序列期間所述掃描器的相對運(yùn)動。
9.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于紋理圖像傳感器確定運(yùn)動，所述紋理圖像傳感器具有的焦深大于聚焦光學(xué)器件的焦深。
10.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中通過確定傳感器中的一個(gè)或多個(gè)的位置和取向確定運(yùn)動。
11.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于布置在手持式掃描器中的一個(gè)或多個(gè)物理部件確定運(yùn)動。
12.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于3D位置傳感器確定運(yùn)動。
13.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于光學(xué)跟蹤確定運(yùn)動。
14.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于一個(gè)或多個(gè)陀螺儀確定運(yùn)動。
15.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于一個(gè)或多個(gè)加速度計(jì)確定運(yùn)動。
16.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于一個(gè)或多個(gè)磁力計(jì)確定運(yùn)動。
17.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于一個(gè)或多個(gè)電磁線圈確定運(yùn)動。
18.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于計(jì)算機(jī)化測量臂確定運(yùn)動。
19.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于傳感器配置成在其上移動的一個(gè)或多個(gè)軸確定運(yùn)動。
20.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中傳感器配置成在其上移動的軸是平移和/或旋轉(zhuǎn)軸。
21.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中在確定運(yùn)動中涉及的每個(gè)序列覆蓋所述對象的表面的一部 分，所述部分具有與至少另一個(gè)序列所覆蓋的表面的一部分的至少部分重疊。
22.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中假設(shè)所述對象的至少一部分是剛性體。
23.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中運(yùn)動確定和3D表面生成包括: -從第一序列生成第一 3D表面,假設(shè)沒有來自第一序列的運(yùn)動模糊， -從至少第二序列生成至少第二 3D表面，假設(shè)沒有模糊， -估計(jì)相對于所生成的3D表面的每一個(gè)的掃描器位置， -通過拼接確定所生成的3D表面之間的重疊，由此在共同坐標(biāo)系中表達(dá)至少兩個(gè)3D表面和相對掃描器位置， -從在共同坐標(biāo)系中獲得的相對掃描器位置確定第一序列期間的相對掃描器運(yùn)動。
24.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中運(yùn)動確定和3D表面生成包括以迭代方式一次或多次執(zhí)行以下步驟: -在對應(yīng)于所生成的3D表面的序列的每一個(gè)期間從在共同坐標(biāo)系中獲得的相對掃描器位置確定相對掃描器運(yùn)動， -基于被確定的相對掃描器運(yùn)動執(zhí)行3D表面的每一個(gè)的運(yùn)動補(bǔ)償， -通過拼接重新確定所生成的3D表面之間的一個(gè)或多個(gè)重疊，由此在共同坐標(biāo)系中表達(dá)所有3D表面和相對掃描器位置， -從在共同坐標(biāo)系中重新獲得的相對掃描器位置重新確定第一序列期間的相對掃描器運(yùn)動， -基于重新確定的運(yùn)動重新執(zhí)行運(yùn)動補(bǔ)償；以及-從焦平面圖像的序列重新生成3D表面。
25.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中所述掃描器是手持式的。
26.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中焦平面圖像的采集適合于在所述掃描器和所述對象的相對運(yùn)動期間被執(zhí)行。
27.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中所述掃描器的運(yùn)動是自由的并且不被限制到任何預(yù)定/某個(gè)/特定運(yùn)動模式。
28.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中所述掃描器是桌面掃描器。
29.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中所述掃描器和/或所述對象被限制到沿著一個(gè)或多個(gè)軸移動。
30.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中所述軸是平移和/或旋轉(zhuǎn)軸。
31.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中沿著一個(gè)空間或旋轉(zhuǎn)坐標(biāo)確定運(yùn)動。
32.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中沿著二到六個(gè)空間和/或旋轉(zhuǎn)坐標(biāo)中的任何一個(gè)或多個(gè)確定運(yùn)動。
33.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中被確定的運(yùn)動被登記/記錄/表示為焦平面圖像的序列的至少兩個(gè)焦平面圖像的速度向量。
34.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中被確定的運(yùn)動被登記/記錄/表示為序列中的焦平面圖像的全序列的恒定速度和/或旋轉(zhuǎn)向量。
35.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中被確定的運(yùn)動被登記/記錄/表示為擬合在焦平面圖像之間的曲線/軌跡。
36.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中擬合曲線/軌跡沿著一個(gè)或多個(gè)平移和/或旋轉(zhuǎn)尺度。
37.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中運(yùn)動補(bǔ)償包括將序列中的焦平面圖像中的一個(gè)或多個(gè)虛擬地移位到對應(yīng)于序列中的焦平面圖像中的另一個(gè)、例如序列中的焦平面圖像中的第一個(gè)的位置和/或取向的位置和/或取向。
38.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中運(yùn)動補(bǔ)償包括根據(jù)相應(yīng)虛擬移位的焦平面圖像用第二 3D點(diǎn)代替所生成的3D表面上的第一 3D點(diǎn)。
39.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中運(yùn)動補(bǔ)償包括移位一個(gè)或多個(gè)像素。
40.根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法，其中借助于所生成的3D表面中的一個(gè)或多個(gè)創(chuàng)建所述對象的虛擬3D模型。
41.一種計(jì)算機(jī)程序產(chǎn)品，其包括程序代碼裝置，當(dāng)在數(shù)據(jù)處理系統(tǒng)上執(zhí)行所述程序代碼裝置時(shí)，所述程序代碼裝置用于導(dǎo)致所述數(shù)據(jù)處理系統(tǒng)執(zhí)行根據(jù)前述權(quán)利要求中任一項(xiàng)或多項(xiàng)所述的方法。
42.根據(jù)前述權(quán)利要求所述的計(jì)算機(jī)程序產(chǎn)品，其包括存儲在所述程序代碼裝置上的計(jì)算機(jī)可讀介質(zhì)。
43.—種用于當(dāng)借助于3D掃描器執(zhí)行對象的至少一部分的3D掃描時(shí)補(bǔ)償運(yùn)動模糊的系統(tǒng)，其中由于當(dāng)執(zhí)行掃描時(shí)所述掃描器和所述對象相對于彼此移動而發(fā)生運(yùn)動模糊，并且其中所述運(yùn)動模糊補(bǔ)償系統(tǒng)包括:-用于確定在采集焦平面圖像的序列期間是否有所述掃描器和所述對象之間的相對運(yùn)動的裝置； -如果相對運(yùn)動被確定，用于基于被確定的運(yùn)動執(zhí)行運(yùn)動補(bǔ)償?shù)难b置；以及 -用于從所述焦平面圖像的`序列生成3D表面的裝置。
【文檔編號】A61C13/00GK103491897SQ201180068050
【公開日】2014年1月1日 申請日期:2011年12月21日 優(yōu)先權(quán)日:2010年12月21日
【發(fā)明者】R·費(fèi)斯克, M·范德普爾, 亨里克·奧杰倫德, K·E·漢森, A·加爾達(dá) 申請人:3形狀股份有限公司