帶有包含用于照明受試主題的固定圖案光學部的圖案移動裝置的便攜式結(jié)構(gòu)光測量模塊 ...的制作方法
【技術(shù)領(lǐng)域】
[0001] -般來說，本發(fā)明涉及利用結(jié)構(gòu)光照明（SLI)技術(shù)的表面三維（3-D)測量的領(lǐng)域。 如所使用的"SLI"表示術(shù)語結(jié)構(gòu)光照明或經(jīng)常簡化為結(jié)構(gòu)光。更具體的說，本發(fā)明涉及一 種新型便攜式模塊/設(shè)備以及測量和記錄受試目標/受檢主題的3-D表面的特性的相關(guān)光 學技術(shù)。模塊采用光源，來自光源的光沿著包括固定圖案光學部的線性或旋轉(zhuǎn)圖案移動裝 置通過的通路引導，疊加/重疊的SLI圖案隨著由多個SLI圖案組成的所選的疊加SLI圖 案從線性或旋轉(zhuǎn)圖案移動裝置顯現(xiàn)。從線性圖案移動裝置顯現(xiàn)的新型SLI圖案通過偏振分 束器引導，然后，在操作中，通過鏡頭組件引導的偏振光唯一被構(gòu)造成輔助SLI圖案和攝像 機功能的投影。然后偏振的、投影SLI圖案光前行以被重新引導（例如，通過反射）以照明 受試區(qū)域/受試目標或受檢主題的3-D表面。
[0002] 模塊/設(shè)備設(shè)計的進一步獨特之處是遠離感興趣（諸如在受檢哺乳動物牙齒的情 況下，子表面的性質(zhì)是否為半透明）的被照明3-D表面反射的光被反向引導至模塊中并進 一步通過鏡頭組件（優(yōu)選包括多個透鏡元件）反向重新引導。這種已經(jīng)通過獨特的鏡頭組 件反向重新引導的反光同樣離開，然后被引導至攝像機圖像傳感器中。通過圖像傳感器捕 獲的數(shù)字SLI圖像信息包含用于傳統(tǒng)處理和存儲的感興趣的3-D表面特性的信息。
[0003] 可使用本發(fā)明的模塊/設(shè)備和相關(guān)技術(shù)來檢查3-D目標/主題的各種感興趣區(qū) 域。雖然在此表示為適于手動操作的便攜式裝置，但是將理解的是，也可縮小在需要更小或 微型模塊的區(qū)域/內(nèi)部中使用的新型組件的尺寸或可增大尺寸以收集關(guān)于覆蓋更大區(qū)域 的感興趣3-D區(qū)域的信息。這種感興趣區(qū)域包括：當研究牙齒健康時哺乳動物口腔內(nèi)的區(qū) 域或皮膚或組織區(qū)域；或以表征管線內(nèi)部（對受試管線內(nèi)部進行測量）或檢查正在制造的 半導體晶片的3-D表面；或以檢查印刷電路板/印刷電線板（PCB/PWB);和物品或制造產(chǎn)品 (部件、組件、食品、包裝）的其它這種表面檢查。
[0004] 可在代表其受托人承認并提交的美國專利申請?zhí)?3/297, 233和13/297, 246中找 到附加的背景信息和技術(shù)支持。
【背景技術(shù)】
[0005] 歷史回顧
[0006] 多年來，已經(jīng)使用被稱為結(jié)構(gòu)光（或SLI)的目標測量技術(shù)測量目標的3-D特征。 然而，目前的實施計算繁重且可用的系統(tǒng)具有很大的占地面積。因為常規(guī)SLI表面測量系 統(tǒng)利用復雜的電子驅(qū)動的SLI信號處理投影單元以投影SLI圖案一且投影的每一個SLI圖 案需要專用的投影單元一不現(xiàn)實的是利用常規(guī)SLI表面測量系統(tǒng)來執(zhí)行實時測量以監(jiān)控 位于相對小空間（體積）中的諸如位于哺乳動物的口腔或耳內(nèi)的表面（口腔內(nèi)表面和耳 內(nèi)表面）；位于機械（例如，在制造工廠中發(fā)現(xiàn)的機械）內(nèi)部的表面；位于管線內(nèi)等的表面。 另外，用于進行3-D表面測量的多個復雜SLI圖案必需的投影的性質(zhì)-其中投影的每一個 SLI圖案需要專用的投影單元-已經(jīng)進一步引領(lǐng)常規(guī)SLI表面測量系統(tǒng)以進行3-D表面實 時測量的應(yīng)用。
[0007] 結(jié)構(gòu)光（即，結(jié)構(gòu)光照明）、共焦成像、飛行時間、和并行共焦顯微鏡各均被認為是 3-D測量技術(shù)。目前使用SLI在利用攝像機（鏡頭和處理單元）測量遠離感興趣表面反射 的圖像的同時通過利用投影儀將多個SLI圖案（柵、條紋、橢圓圖案等）投影至感興趣表面 上來觀測感興趣表面以推斷在感興趣表面上生成的圖案的合成失真。已知攝像機和投影儀 的幾何形狀（存在用于這種映射的許多種傳統(tǒng)技術(shù)），通過三角測量的方式計算關(guān)于表面 失真的逐點深度信息。利用諸如在vision,caltech.edu/bouguetj/calib_doc/ :"這種工 具箱在Windows系統(tǒng)、Unix系統(tǒng)和Linux系統(tǒng)的Matlab5.x、Matlab6·χ和Matlab7·χ 上工作并不需要任何具體Matlab工具箱（例如，不需要優(yōu)化工具箱）"等傳統(tǒng)熟知的映射 技術(shù)來計算攝像機的世界坐標。利用用于Matlab的傳統(tǒng)攝像機校準工具箱，計算將世界坐 標整合至攝像機和投影儀的坐標系統(tǒng)上的必需系數(shù)。以這種方式，限定攝像機（即，在攝像 機每個單獨的像素）、投影儀（即，信息投影行的原點）和位于常常被稱為"真實世界"坐標 系的外部參照系中的受試目標之間的數(shù)學關(guān)系。
[0008] 題目為"利用數(shù)字視頻投影系統(tǒng)用于三維表面輪廓和測距的方法和設(shè)備"的美國 專利US6, 788, 210利用一系列復雜的相互連接的專用投影儀單元嚙合以在感興趣表面上 生成期望的投影多圖案圖像。US6, 788, 210的圖5示出了一種用于投影系統(tǒng)的傳統(tǒng)光學結(jié) 構(gòu)。美國專利US5, 633, 755提供了關(guān)于光學系統(tǒng)的結(jié)構(gòu)及其電子控制方法的附加細節(jié)。題 目為"裝備投影儀的DMD"的美國專利US6, 874, 894B2詳述了稱為"德州儀器DMD"的投影 儀，即投影設(shè)備的"DLP裝置"的系統(tǒng)。
[0009] 正如人們可以理解的，US6,788,210的圖5中所描繪的系統(tǒng)和US6,874,894 的圖5中所描繪的系統(tǒng)在結(jié)構(gòu)上和功能上是相同的。如US6, 788, 210所解釋的，利 用組件46以生成圖像。這種組件如現(xiàn)有技術(shù)已經(jīng)標記在US6, 874, 894的圖6中 標記為113。也被稱為DMD或DLP裝置的德州儀器DMD是復雜的半導體器件，具體 稱為光學MEMS裝置。在Hornbeck,LarryJ.的"DigitalLightProcessingfor High-Brightness,High-ResolutionApplications,"SPIEVol. 3013pps. 27-40 中進一步 詳述了DMD。僅以背景的方式，在域dip.com.的因特網(wǎng)找到其內(nèi)容。
[0010] 美國專利US6, 977, 732描述了DMD測量小目標的三維形狀的應(yīng)用。如此處解釋的， 需要附加的復雜電子系統(tǒng)以操作基于DMD的投影系統(tǒng)：其具有用于三維測量的電子微型顯 示器。精工愛普生（SEIK0-EPS0N)制造了用于投影應(yīng)用的液晶裝置。索尼、豪威科技和JVC 都在硅器件上制造了用于投影應(yīng)用的液晶。如DMD-樣，電子控制的常規(guī)裝置使得光圖案 的投影需要復雜的光學控制電子結(jié)構(gòu)和光學結(jié)構(gòu)。
[0011] 計算機化裝置、存儲器和存儲裝置/介質(zhì)
[0012] I.數(shù)字計筧機。處理器是一組響應(yīng)于和處理驅(qū)動計算機化裝置的指令的邏輯裝置 /電路。中央處理單元（CPU)被認為是數(shù)字或其它類型計算機化系統(tǒng)的計算部分。經(jīng)常簡 稱為處理器，CPU由控制單元、程序定序器和算術(shù)邏輯單元（ALU)-進行計算和比較的高速 電路組成。將數(shù)從存儲器傳送到ALU進行計算并將結(jié)果發(fā)送回存儲器。將字母數(shù)字數(shù)據(jù)從 存儲器發(fā)送到ALU進行比較。在由于其物理尺寸極小，所以通常被稱為微處理器的單個"芯 片"上可包含計算機的CPU。眾所周知，簡單計算機的基本元件包括CPU、時鐘和主存儲器； 而完整的計算機系統(tǒng)需要加入控制單元、輸入裝置、輸出裝置和存儲裝置以及操作系統(tǒng)。稱 為"微處理器"的微小裝置典型地包含作為集成電路連同相關(guān)聯(lián)的總線接口的CPU的處理 組件。微控制器典型地包含一個或多個微處理器、存儲器和作為集成電路（1C)的I/O電路。 使用計算機指令來觸發(fā)通過CPU進行的計算。
[0013] II.計算機存儲器和計算機可讀存儲裝置。同時單詞"存儲器（memory) "舊稱為 暫時存儲數(shù)據(jù)，"存儲裝置（storage) "傳統(tǒng)上用來指將諸如用戶輸入的用于長時間保存的 數(shù)字數(shù)據(jù)半永久或永久保存在一個地方，然而，這些術(shù)語的定義已經(jīng)模糊。在此將與各種 計算機處理結(jié)構(gòu)兼容的眾所周知的計算機可讀存儲裝置技術(shù)的非窮盡列表分類用于參考： (1)磁帶技術(shù)；（2)磁盤技術(shù)，其包括軟盤/磁盤、固定硬盤（通常處于臺式機、筆記本電腦、 工作站、主機和大型主機互連以創(chuàng)造一個"云"環(huán)境等中；（3)固態(tài)硬盤（SSD)技術(shù)，其包括 DRAM和"閃速存儲器"；（4)光盤技術(shù)，其包括磁光盤、PD、CD-ROM、CD-R、CD-RW、DVD-ROM、 DVD-R、DVD-RAM、WORM、0R0M、全息光盤技術(shù)、固態(tài)光盤技術(shù)等。
[0014] 多頻圖案的用途
[0015] 本文所公開的新技術(shù)和系統(tǒng)利用劉等人于2010年8月6日提交的題目為"在3D 結(jié)構(gòu)光系統(tǒng)中的多頻相位多路復用（DFPM)和周期編碼相位測量（PCPM)圖案策略和用于相 位測量圖案策略的基于查找表（LUT)的實時數(shù)據(jù)處理"（"ProvApp'626"）的美國臨時專 利申請61/371，626公開的獨特技術(shù)，為了其技術(shù)背景討論，在此全部引入以作參考。劉等 人于2011年8月8日提交的美國實用新型申請13/205,607("UtilApp'607"）的授權(quán)先 于劉等人的ProvApp' 626:ProvApp' 626和UtilApp' 607兩者的技術(shù)公開以符合本技術(shù) 規(guī)范的程度在此全部引入以作參考。請注意的是，ProvApp'626或UtilApp'607兩者都 不歸本實用新型專利申請的專利權(quán)人共有。
[0016]ProvApp' 626和UtilApp' 607中所公開的獨特SLI圖案技術(shù)包括：
[0017] (1)獨特圖案策略組件（如在標有部分A"用于高速3D形狀測量的雙頻圖案方 案"、標有部分B"用于3D實時獲取和數(shù)據(jù)處理的周期編碼相位測量策略"的ProvApp' 626 中找到的技術(shù)討論中進一步詳述一這些部分A和部分B的每一個涵蓋了通過以如下面進一 步解釋的下述兩種傳統(tǒng)電路信號/電流傳播型：AC交流電和DC直流電類比的方式引入的 新型多頻圖案的示例）；
[0018] (2)獨特解碼圖像處理組件（在ProvApp' 626的技術(shù)討論和標有部分C"用于結(jié) 構(gòu)光照明實時相位和3D表面重構(gòu)的基于LUT的處理"中進一步詳述。）
[0019] 如上所述和ProvApp'626和UtilApp'607中的詳述，與傳統(tǒng)電路信號/電流傳 播型：AC特點和DC特點類比來說，引入在ProvApp' 626中所公開的新型多頻圖案的部分A 和部分B中提出的兩個示例。
[0020] 在負責人控制AC電氣系統(tǒng)被創(chuàng)造為"雙頻相位復用"（DFPM)之后，部分A中詳述 的多頻圖案流行。
[0021] 部分A中的材料早期發(fā)布在 2010年 3 月 1 日 /Vol. 18,No. 5/0pticsExpress5233 并記錄在標有示例01的UtilApp' 607中。在負責人控制AC電氣系統(tǒng)被創(chuàng)造為"周期編碼 相位測量"(PCPM)之后，部分B中詳述的多頻圖案流行。雙頻相位復用（DFPM)圖案包括兩 個疊加正弦曲線，一個是單頻相位正弦曲線，另一個是高頻相位正弦曲線，在通過圖像傳感 器接收/獲取圖案數(shù)據(jù)后，分離兩種圖案的相位。使用單頻相位來展開高頻相位。然后，利 用展開的高頻相位用于3-D重構(gòu)。直流電流傳播之后流行的周期編碼相位測量（PCPM)圖 案與直接嵌入至高頻基本圖案中的周期信息一起生成使得能暫時從PCPM圖案展開高頻相 位。
[0022] 如UtilApp'607所解釋的一下面大量引用了其說明書一利用獨特的多頻圖 案，'607技術(shù)完成：
[0023] ------從UtilApp' 607引用的文本開始------
[0024] …通過投影在感興趣表面上利用至少一個攝像機對觀察中的外形感興趣表面進 行基于3D三角測量的圖像獲取，多頻圖案包括表示至少第一疊加正弦曲線和第二疊加正 弦曲線的同時投影的多個像素，每一個通過像素表示的正弦曲線具有獨特時間頻率且每一 個投影的像素滿足：
[0025]
[0026] 其中If是在特殊瞬時/時刻用于第η個投影圖像的投影儀的像素的強度（p代表 投影儀）；Κ是表示分量正弦曲線數(shù)的整數(shù)（例如，對于雙頻正弦曲線圖案Κ等于2,對于三 頻正弦曲線Κ等于3等），每一個分量正弦曲線具有不同時間頻率，其中Κ< (Ν+1) /2 ;參數(shù) 蹲表示確定分量正弦曲線的幅度或信號強度的常量;Αρ是用于確保Zf所有的值大于0 (也 就是說，投影儀單元不會投影幅度小于〇的光）的標量；fk是對應(yīng)于時間頻率k的第k個 正弦曲線的空間頻率；/表示在投影圖像的空間坐標。例如，yp可表示投影圖像的垂直行 坐標或水平列坐標；η表示相移指數(shù)或序列順序（例如，先投影η= 0圖案，然后投影η= 1 圖案等，有效表示離散時間的特定時刻）。Ν是相移的總數(shù)，S卩，投影圖案的總數(shù)量，對于每 一個投影圖案，通過攝像機（或者說，攝像機的圖像傳感器）會捕獲相應(yīng)圖像。當整個使用 時，上標"c"涉及與攝像機捕獲的圖像或一系列圖像（視頻）相關(guān)的參數(shù)，而上標"P"涉及 投影儀。
[0027] 投影像素以滿足等式1. 1，根據(jù)由下述表達式控制的特殊技術(shù)限定然后通過攝像 機捕獲的圖像的像素：
[0028]
[0029] 項q( "eta"）表示因通過攝像機的光傳感器引入至