本申請是申請?zhí)枮?01280033381.2、申請日為2012年7月3日、發(fā)明名稱為“用于投影體監(jiān)測的方法和裝置”的發(fā)明專利申請的分案申請。

相關(guān)申請

本申請依據(jù)35u.s.c.§119(e)請求2011年7月5日提交的申請序列號為61/504,608的美國臨時申請、和2011年10月14日提交的申請序列號為61/547,251的美國臨時申請的優(yōu)先權(quán)，這些申請通過引用合并于此。

本發(fā)明總體上涉及機(jī)器視覺，尤其涉及投影體的監(jiān)測，諸如用于機(jī)器防護(hù)或其他物體入侵檢測環(huán)境。

背景技術(shù)：

機(jī)器視覺系統(tǒng)在各種應(yīng)用中得到應(yīng)用，地域監(jiān)測是較典型的例子。監(jiān)測物體入侵限定地帶是“地域防護(hù)”應(yīng)用的關(guān)鍵方面，諸如危險性機(jī)器防護(hù)。對機(jī)器防護(hù)而言，已知各種方法，諸如使用物理障礙、聯(lián)鎖系統(tǒng)、安全墊、光幕以及飛行時間激光掃描儀監(jiān)測。

而機(jī)器視覺系統(tǒng)可以用作一個或多個上述機(jī)器防護(hù)的方法的補充或與其一起使用，機(jī)器視覺系統(tǒng)還可以說是地域防護(hù)的更佳和更為靈活的解決方案。作為其多個優(yōu)點中的一個，機(jī)器視覺系統(tǒng)可以監(jiān)測機(jī)器周圍具有復(fù)雜的空間運動的三維邊界，而平面光幕邊界可能是不切實際或過于復(fù)雜的安全配置，或者這樣的防護(hù)設(shè)備會妨礙機(jī)器操作。

另一方面，確保機(jī)器視覺系統(tǒng)的正確操作具有挑戰(zhàn)性，尤其在與最小檢測能力和最大(物體)檢測響應(yīng)時間的動態(tài)、持續(xù)的驗證有關(guān)的高安全性應(yīng)用中。當(dāng)使用用于危險性機(jī)器防護(hù)和其他高安全性應(yīng)用的機(jī)器視覺系統(tǒng)時，這種類型的驗證與確保失效保護(hù)的故障檢測一起提出了很大的挑戰(zhàn)。

技術(shù)實現(xiàn)要素：

根據(jù)本文提供的教導(dǎo)的一個方案，機(jī)器視覺系統(tǒng)包括一個或多個傳感器單元，每個傳感器單元有利地配置為使用一組間隔開的圖像傳感器中的不同配對，以便為主監(jiān)測帶提供冗余的物體檢測，而同時為可能遮蔽主監(jiān)測帶的物體提供檢測。另外，多種“緩解(mitigation)”和提高措施提供了安全性設(shè)計和穩(wěn)定的操作。這樣的緩解和提高措施例如包括：不良像素檢測和映射、用于改進(jìn)的物體檢測的基于聚類的像素處理、用于故障檢測的測試圖像注入、雙重通道、用于高安全性物體檢測的冗余處理、時域濾波以減少錯誤檢測、以及使用高動態(tài)范圍(hdr)圖像，用于改善各種環(huán)境照明條件下的操作。

在示例性配置中，一種投影體監(jiān)測裝置包括感測單元，所述感測單元包括：(至少)四個圖像傳感器，例如四個攝像頭。這些圖像傳感器具有共同交疊主監(jiān)測帶的相應(yīng)的傳感器視場，并且所述圖像傳感器布置為使得第一圖像傳感器和第二圖像傳感器形成第一主基線對，所述第一主基線對的間隔限定第一主基線，第三圖像傳感器和第四圖像傳感器形成第二主基線對，所述第二主基線對的間隔限定第二主基線。所述圖像傳感器還布置為使得第一圖像傳感器和第三圖像傳感器形成第一次基線對，所述第一次基線對的間隔限定第一次基線，第二圖像傳感器和第四圖像傳感器形成第二次基線對，所述第二次基線對的間隔限定第二次基線。所述主基線比所述次基線長。

傳感器單元還包括多個圖像處理電路，所述圖像處理電路配置為使用從所述主基線對獲取的圖像數(shù)據(jù)來冗余地檢測所述主監(jiān)測帶內(nèi)的物體，例如，圖像傳感器的每個主基線對將立體視覺圖像反饋到立體處理通道中，所述立體處理通道由立體視覺圖像對來確定3d范圍數(shù)據(jù)。所述圖像處理電路還配置為使用從所述次基線對獲取的圖像數(shù)據(jù)來檢測遮蔽物體。如果物體相對于所述主監(jiān)測帶阻擋一個或多個所述傳感器視場，則其為“遮蔽物體”。

根據(jù)本文提供的另一個方案，一種投影體監(jiān)測裝置包括傳感器單元，所述傳感器單元包括：四個圖像傳感器，具有全部交疊監(jiān)測帶的相應(yīng)的傳感器視場，并且所述四個圖像傳感器布置為使得第一圖像傳感器和第二圖像傳感器形成第一主基線對，所述第一主基線對的間隔限定第一主基線，第三圖像傳感器和第四圖像傳感器形成第二主基線對，所述第二主基線對的間隔限定第二主基線，所述四個圖像傳感器還布置為使得第一圖像傳感器和第三圖像傳感器形成第一次基線對，所述第一次基線對的間隔限定第一次基線，第二圖像傳感器和第四圖像傳感器形成第二次基線對，所述第二次基線對的間隔限定第二次基線，其中所述主基線比所述次基線長；其中所述第一至第四圖像傳感器布置在單一外殼中的單一直線上。

根據(jù)本文提供的再一個方案，一種投影體監(jiān)測裝置包括傳感器單元，所述傳感器單元包括：四個圖像傳感器，具有全部交疊監(jiān)測帶的相應(yīng)的傳感器視場，并且所述四個圖像傳感器布置為使得第一圖像傳感器和第二圖像傳感器形成第一主基線對，所述第一主基線對的間隔限定第一主基線，第三圖像傳感器和第四圖像傳感器形成第二主基線對，所述第二主基線對的間隔限定第二主基線，所述四個圖像傳感器還布置為使得第一圖像傳感器和第三圖像傳感器形成第一次基線對，所述第一次基線對的間隔限定第一次基線，第二圖像傳感器和第四圖像傳感器形成第二次基線對，所述第二次基線對的間隔限定第二次基線，其中所述主基線比所述次基線長；其中所述第一主基線和所述第二主基線彼此平行；以及所述第一次基線和所述第二次基線彼此平行。

當(dāng)然，本發(fā)明并不限于上述特征和優(yōu)點。實際上，本領(lǐng)域技術(shù)人員通過閱讀下面詳細(xì)的描述并查看附圖將了解額外的特征和優(yōu)點。

附圖說明

圖1是包括控制單元和一個或多個傳感器單元的投影體監(jiān)測裝置的一個實施例的框圖。

圖2是傳感器單元的一個實施例的框圖。

圖3a至圖3c是用于在傳感器單元中的一組四個圖像傳感器之間建立主基線對和次基線對的幾何布置示例的框圖。

圖4是在示例性傳感器單元中的圖像處理電路的一個實施例的框圖。

圖5是例如在圖4的圖像處理電路中實現(xiàn)的功能性處理塊的一個實施例的框圖。

圖6是由示例性傳感器單元的傳感器視場限定的各種地帶的圖。

圖7a和圖7b是示出在為投影體監(jiān)測指定的最小檢測距離內(nèi)的有限檢測帶(zldc)、并且還示出在主監(jiān)測帶的兩側(cè)上的側(cè)遮蔽帶(zss)的圖。

圖8是傳感器單元的示例性配置的圖，包括其圖像傳感器及其各自的視場。

具體實施方式

圖1示出投影體監(jiān)測裝置10的示例性實施例，投影體監(jiān)測裝置10提供了對主監(jiān)測帶12的基于圖像的監(jiān)測，主監(jiān)測帶12包括包含例如一個或多個危險性機(jī)器項(圖中未示出)的三維空間體。投影體監(jiān)測裝置10(以下簡稱為“裝置10”)操作為基于圖像的監(jiān)測系統(tǒng)，例如用于防護(hù)人員或者物體的入侵到主監(jiān)測帶12中。

應(yīng)指出的是，地帶12的界限由共同交疊的相關(guān)聯(lián)的傳感器視場14限定，下文將更加詳細(xì)地說明。寬泛而言，裝置10配置為使用圖像處理和立體視覺技術(shù)來檢測人員或者物體的入侵到所防護(hù)的三維(3d)地帶(其也可以稱為所防護(hù)的“地域”)中。典型的應(yīng)用包括但不限于：地域監(jiān)測和周邊防護(hù)。在地域監(jiān)測示例中，經(jīng)常進(jìn)入的地域的部分邊界為硬防護(hù)，由光幕或者其他機(jī)制防護(hù)入口點，而裝置10作用為次級防護(hù)系統(tǒng)。同樣，在周邊防護(hù)的示例中，裝置10監(jiān)測不經(jīng)常進(jìn)入和未防護(hù)的地域。

當(dāng)然，裝置10可以同時起到兩種作用，或者隨變化的環(huán)境而在各模式之間切換。另外，可以理解的是，裝置10可以包括連接到有關(guān)機(jī)器或其電源系統(tǒng)的信號和/或可以具有到工廠控制網(wǎng)絡(luò)等的連接。

作為多種預(yù)期用途的補充，在所示的示例性實施例中，裝置10包括一個或多個傳感器單元16。每個傳感器單元16(也稱為“傳感頭”)包括多個圖像傳感器18。圖像傳感器18固定在傳感器單元16的主體或外殼內(nèi)，使得所有的視場(fov)14共同交疊以限定作為3d區(qū)域的主監(jiān)測帶12。當(dāng)然，如下文將說明的，一個或多個實施例中的裝置10允許用戶在主監(jiān)測帶12內(nèi)配置監(jiān)測多個地帶或3d邊界，例如，在主監(jiān)測帶12內(nèi)基于3d范圍來配置高安全性和/或警告地帶。

傳感器單元16中的每一個經(jīng)由電纜或其他鏈接22連接到控制單元20。在一個實施例中，鏈接22為將電力供應(yīng)給傳感器單元16并且在傳感器單元16與控制單元20之間提供通信或其他信號的“poe”(上電以太網(wǎng))鏈接。傳感器單元16和控制單元20一同操作用于感測地帶12中(或在地帶12的一些所配置的子區(qū)域中)的物體。在至少一個實施例中，每個傳感器單元16獨立于其他傳感器單元16實施其監(jiān)測功能，并且將其監(jiān)測狀態(tài)通過安全的以太網(wǎng)連接或其他鏈接22傳達(dá)到控制單元20。接著，控制單元20處理來自每個傳感器單元16的監(jiān)測狀態(tài)并且使用此信息根據(jù)可配置的安全性輸入和輸出來控制機(jī)器。

例如，在所示的實施例中，控制單元20包括控制電路24，例如，一個或多個微處理器、dsp、asic、fpga或其他數(shù)字處理電路。在至少一個實施例中，控制電路24包括存儲器或存儲計算機(jī)程序的另一計算機(jī)可讀介質(zhì)，其由控制電路24中的數(shù)字處理器來執(zhí)行，這至少部分地配置為根據(jù)本文教導(dǎo)的控制單元20。

控制單元20還包括一定的輸入/輸出(i/o)電路，其可以以模塊化的方式，例如以模塊化的i/o單元26來布置。i/o單元26可以包括相同的電路，或者可以為給定類型的接口信號使用給定的i/o單元26，例如，一個用于網(wǎng)絡(luò)通信，一個用于一定類型的控制信號等。對于機(jī)器防護(hù)應(yīng)用，至少一個i/o單元26被配置用于機(jī)器安全性控制，并且包括i/o電路28，i/o電路28響應(yīng)于由傳感器單元16檢測到的物體入侵而提供安全性繼電器輸出(ossda，ossdb)用于停用或停止危險性機(jī)器。還可以設(shè)置相同的電路用于模式控制和激活信號(開始，輔助等)。此外，控制單元本身可以為通信、狀態(tài)信號等提供一定范圍的“全局”i/o。

在其物體檢測功能方面，裝置10主要依賴于立體技術(shù)來查找在其(共同的)視場中出現(xiàn)的物體的3d位置。為此，圖2示出示例性傳感器單元16，傳感器單元16包括四個圖像傳感器18，這里為參照的清楚起見單獨編號為圖像傳感器18-1、18-2、18-3和18-4。傳感器單元16內(nèi)的單獨的圖像傳感器18的視場14全部部分交疊，并且被視場14所有共同交疊的區(qū)域限定了上述主監(jiān)測帶12。

主體或外殼30以間隔開的布置來固定單獨的圖像傳感器18，所述間隔開的布置限定多個“基線”。這里，術(shù)語“基線”定義用于獲取圖像對的一對圖像傳感器18之間的間隔距離。在所示的布置中，可以看見兩條“長”基線和兩條“短”基線(這里，在相對意義上使用術(shù)語“長”和“短”)。長基線包括由第一對圖像傳感器18之間的間隔距離限定的第一主基線32-1，其中所述第一對包括圖像傳感器18-1和18-2，長基線還包括由第二對圖像傳感器18之間的間隔距離限定的第二主基線32-2，其中所述第二對包括圖像傳感器18-3和18-4。

同樣，短基線包括由第三對圖像傳感器18之間的間隔距離限定的第一次基線34-1，其中所述第三對包括圖像傳感器18-1和18-3，短基線還包括由第四對圖像傳感器18之間的間隔距離限定的第二次基線34-2，其中所述第四對包括圖像傳感器18-2和18-4。對此，應(yīng)當(dāng)理解的是，相同組四個圖像傳感器18的不同組合作為不同圖像傳感器18的配對操作，其中這些配對在其相關(guān)聯(lián)的基線和/或如何使用上可以不同。

第一主基線32-1和第二主基線32-2可以相等，或者可以為不同的長度。同樣，第一次基線34-1和第二次基線34-2可以相等，或者可以為不同的長度。非限制性地，在示例情況下，最短的主基線32大于最長的次基線34的長度的兩倍。作為另一點靈活性，可以使用其他幾何布置來獲得四個圖像傳感器18的分布，用于操作為主基線對和次基線對。參見圖3a-圖3c，示出了給定傳感器單元16中的圖像傳感器18的示例性幾何布置

除了需要建立主基線對和次基線對的物理布置以外，應(yīng)當(dāng)理解的是，傳感器單元16本身配置為根據(jù)基線配對定義來在邏輯上操作圖像傳感器18，使得根據(jù)這些定義來處理圖像對。對此，再次參照圖2所示的示例，傳感器單元16包括一個或多個圖像處理電路36，其配置為從相應(yīng)的一個圖像傳感器18獲取圖像數(shù)據(jù)、處理圖像數(shù)據(jù)、并且響應(yīng)于這樣的處理的結(jié)果，例如，通知控制單元20檢測到物體入侵等。

傳感器單元16還包括控制單元接口電路38、電源/穩(wěn)壓電路40以及可選地包括紋理光源42。此處，紋理光源42為傳感器單元16提供將圖案化光投影到主監(jiān)測帶12中或更一般地投影到其所包括的圖像傳感器18的視場14中的機(jī)制。

在這里使用的術(shù)語“紋理”指的是在任何給定的圖像傳感器18的視場14內(nèi)的圖像對比度中的局部變化。紋理光源42可以集成在每個傳感器單元16內(nèi)，或者可以單獨供電并位于傳感器單元16的鄰近。在這兩種情況下，將人工紋理的光源合并到裝置10中提供了將合成紋理添加到任何給定的圖像傳感器18的視場14中的低紋理區(qū)域的優(yōu)點。也就是說，沒有足夠自然紋理以支持3d測距的區(qū)域可以用所添加的由紋理光源42提供的合成實景紋理來照明，用于在傳感器視場14內(nèi)精確和完整地3d測距。

圖像處理電路36包括：例如一個或多個微處理器、dsp、fpga、asic或其他數(shù)字處理電路。在至少一個實施例中，圖像處理電路36包括存儲器存儲計算機(jī)程序的另一計算機(jī)可讀介質(zhì)，其執(zhí)行至少部分地配置傳感器單元16以實施本文公開的圖像處理和其他操作。當(dāng)然，也可設(shè)想其他布置，諸如圖像處理和3d分析的某些部分在硬件(例如fpga)中實施并且某些其他部分在一個或多個微處理器中實施。

考慮到上述基線布置，裝置10可以被理解為包括至少一個感測單元16，其包括(至少)四個圖像傳感器18，圖像傳感器18具有相應(yīng)的傳感器視場14，傳感器視場14全部交疊主監(jiān)測帶12并且布置為使得第一圖像傳感器18-1和第二圖像傳感器18-2形成第一主基線對，第一主基線對的間隔限定第一主基線32-1，第三圖像傳感器18-3和第四圖像傳感器18-4形成第二主基線對，第二主基線對的間隔限定第二主基線32-2。

如圖所示，圖像傳感器18還布置為使得第一圖像傳感器18-1和第三圖像傳感器18-3形成第一次基線34-1，并且第二圖像傳感器18-2和第四圖像傳感器18-4形成第二次基線34-2。主基線32比次基線34長。

傳感器單元16還包括多個圖像處理電路36，圖像處理電路36配置為使用從主基線對獲得的圖像數(shù)據(jù)來冗余地檢測主監(jiān)測帶12內(nèi)的物體，并且還配置為使用從次基線對獲得的圖像數(shù)據(jù)來檢測遮蔽物體。也就是說，傳感器單元16的圖像處理電路36配置為通過檢測在經(jīng)由對由第一主基線對獲得的圖像數(shù)據(jù)的立體圖像處理推導(dǎo)出的范圍數(shù)據(jù)中，或在經(jīng)由對由第二主基線對獲得的圖像數(shù)據(jù)的立體圖像處理推導(dǎo)出的范圍數(shù)據(jù)中檢測這樣的物體的存在，來冗余地檢測主監(jiān)測帶12內(nèi)的物體。

于是，如果從通過對來自圖像傳感器18-1和18-2的圖像對立體處理而獲得的(3d)范圍數(shù)據(jù)中分辨出物體，和/或如果從通過對來自圖像傳感器18-3和18-4的圖像對立體處理而獲得的(3d)范圍數(shù)據(jù)中分辨出這樣的物體，則檢測到物體。對此，第一圖像傳感器18-1和第二圖像傳感器18-2可以被視為第一“立體對”，并且應(yīng)用到從第一圖像傳感器18-1和第二圖像傳感器18-2獲得的圖形對的圖像校正和立體處理可以被視為第一立體“通道”。

同樣地，第三圖像傳感器18-3和第四圖像傳感器18-4可以被視為第二“立體對”，并且應(yīng)用到從第三圖像傳感器18-3和第四圖像傳感器18-4獲得的圖形對的圖像校正和立體處理可以被視為第二立體“通道”，第二立體通道獨立于第一立體通道。于是，兩個立體通道提供在主監(jiān)測帶12內(nèi)的冗余物體檢測。

在這里，可以指出的是，主監(jiān)測帶12由表示距離傳感器單元16(傳感器單元16使用主基線對檢測物體處)的最小范圍的最小檢測距離來定邊界。除了經(jīng)由主基線對使用冗余物體檢測的可靠性和安全性以外，作為進(jìn)一步的優(yōu)點，次基線對用于檢測遮蔽物體。也就是說，對來自作為第一次基線對的圖像傳感器18-1和18-3和作為第二次基線對的圖像傳感器18-2和18-4的圖像數(shù)據(jù)的邏輯配對和處理，用于檢測在最小監(jiān)測距離內(nèi)和/或不在所有四個傳感器視場14內(nèi)的物體。

寬泛而言，“遮蔽物體”相對于主監(jiān)測帶12阻擋一個或多個傳感器視場14。在至少一個實施例中，傳感器單元16的圖像處理電路36被配置成通過對于每個次基線對檢測由在次基線對中的圖像傳感器18獲得的圖像數(shù)據(jù)之間的強(qiáng)度差，或者通過評估對由在次基線對中的圖像傳感器18獲得的圖像數(shù)據(jù)立體圖像處理所產(chǎn)生的范圍數(shù)據(jù)，來檢測遮蔽物體。

遮蔽物體檢測解決了許多潛在的危險情況，包括以下幾項：人工干預(yù)，其中在zldc或zss中無法通過立體視覺檢測到小物體但可以將物體遮蔽在主監(jiān)測帶12中遮蔽物體；點源污染，其中由立體視覺無法檢測到光學(xué)表面的污染但可以遮蔽主監(jiān)測帶12物體；重影，其中強(qiáng)烈的定向燈可能會導(dǎo)致圖像傳感器18上的多次內(nèi)部反射而降低對比度，并且可能導(dǎo)致檢測能力的下降；眩光，其中圖像傳感器18的光學(xué)表面具有輕度污染，定向燈可能會導(dǎo)致眩光而降低對比度，并且可能導(dǎo)致檢測能力的下降；以及靈敏度的改變，其中圖像傳感器18中的單個的像素靈敏度的改變可能會導(dǎo)致檢測能力的下降。

現(xiàn)參照圖8，在主基線對中的左側(cè)和右側(cè)圖像傳感器18之間的延伸角度(vergingangle)的存在施加如圖所示的最終配置。這些延伸角度提供了遮蔽物體檢測的基礎(chǔ)，其中，在示例性配置中，圖像處理電路36基于在從給定的次基線對中的圖像傳感器18獲得的圖像數(shù)據(jù)之間查找顯著的強(qiáng)度差，與從相同次基線對中的其他圖像傳感器18獲得的對應(yīng)圖像數(shù)據(jù)相比，而在zldc中實施遮蔽物體檢測。因為對于這么小的基線，更遠(yuǎn)處的物體會造成非常小的差異，所以顯著強(qiáng)度差表示存在近距離物體。

通過分析相關(guān)對數(shù)據(jù)中的一個圖像(圖像1)上的每個像素，并且對其他圖像(圖像2)為給定搜索窗口搜索在某些閾值(th)內(nèi)的強(qiáng)度匹配，來計算基本圖像強(qiáng)度差。如果沒有匹配，則表示像素屬于更接近一定范圍的東西，因為其差異大于搜索窗口尺寸，并且該像素被標(biāo)記為“不同的”。圖像差因而為二元的。

因為由于遮蔽物體導(dǎo)致的圖像差基于使用次基線對34-1或34-2中的一個而獲得的圖像對中產(chǎn)生的差異，所以如果物體與該基線對其并且來回穿過所保護(hù)的地帶，則將導(dǎo)致沒有發(fā)現(xiàn)圖像差。還使用基于準(zhǔn)水平線檢測的附加的來回穿過的物體檢測算法，來在無法由基本圖像差算法可靠地檢測到的角度內(nèi)(+/－十五度)檢測物體。

此外，如果遮蔽物體較大和/或非常接近(例如，如果其覆蓋圖像傳感器18的整個視場14)，則甚至可能無法提供可檢測的水平線。然而，因為一個或多個實施例中的裝置配置要求需要在啟動/驗證階段中，在主監(jiān)測帶12內(nèi)必須有至少一個參考標(biāo)記可見，所以使用基于參考標(biāo)記的緩解措施來檢測這種情形。

為檢測超出zldc但在主監(jiān)測帶12外部的物體，圖像傳感器18的延伸角度可以配置為使得在主監(jiān)測帶12的兩側(cè)上基本上消除zss。此外，或可替代地，圖像處理電路36使用小范圍立體視覺方法來檢測物體，其中次基線對用于在視場的非常有限的部分上，僅在合適的圖像邊界處檢測物體。

而且，如上所述，在一些實施例中，每個傳感器單元16中的圖像傳感器18被配置為獲取圖像幀，其中包括高曝光圖像幀和低曝光圖像幀。例如，圖像處理電路36被配置為動態(tài)地控制各個圖像傳感器18的曝光時間，使得在使用較長的曝光時間和使用較短的曝光時間之間獲取的圖像不同。此外，圖像處理電路36被配置為，至少相對于由主基線對獲取的圖像幀，融合對應(yīng)的高曝光和低曝光圖像幀，以獲得高動態(tài)范圍(hdr)圖像，并且立體處理來自每個主基線對的所述hdr圖像的流，用于冗余檢測主監(jiān)測帶中的物體。

例如，圖像傳感器18-1被控制為產(chǎn)生低曝光圖像幀和隨后的高曝光圖像幀，并且組合這兩個幀以獲得第一hdr圖像。一般而言，可以組合兩個或多個不同的曝光幀以產(chǎn)生hdr圖像。以連續(xù)的采集時間間隔重復(fù)此過程，于是得到第一hdr圖像的流。在相同的采集時間間隔中，圖像傳感器18-2被控制為產(chǎn)生低曝光和高曝光圖像幀，組合所述低曝光和高曝光圖像幀以制作第二hdr圖像流。來自任何給定的采集時間間隔的第一hdr圖像流和第二hdr圖像流形成對應(yīng)的hdr圖像對，立體處理所述hdr圖像對(可能在立體處理之前的進(jìn)一步的預(yù)處理之后)。經(jīng)由第二主基線對(即圖像傳感器18-3和18-4)獲得其他立體通道中的hdr圖像對的類似流。

還可以進(jìn)行附加的圖像預(yù)處理。例如，在一些實施例中，將來自每個立體通道的hdr圖像對修正，使得其對應(yīng)于這樣的對極幾何(epipolargeometry)：其中包括在主基線對中的圖像傳感器中的對應(yīng)光軸是平行的并且該對極線為經(jīng)修正的圖像中的對應(yīng)圖像行。

將來自兩個立體通道的hdr圖像對修正，然后由包括在圖像處理電路36中的立體視覺處理器電路處理。立體視覺處理器電路被配置為實施立體視覺匹配算法，所述算法計算經(jīng)修正的由每個立體通道中圖像傳感器18獲得的圖像中的對應(yīng)實景點之間的差異，并且基于所述差異，計算相對于所述圖像傳感器18的位置的實景點的3d位置。

更詳細(xì)而言，示例性的傳感器單元16包含四個圖像傳感器18，其被分組為兩個立體通道，一個通道表示為包括圖像傳感器18-1和18-2的第一主主基線對，其分隔開稱為第一主基線32-1的第一距離，其他通道表示為包括圖像傳感器18-3和18-4的第二主主基線對，其分隔開稱為第二主基線32-2的第二距離。

來自每個圖像傳感器的18的多個原始圖像組合在一起以產(chǎn)生由圖像傳感器的18的視場14捕獲的實景的高動態(tài)范圍圖像。將每個立體通道的高動態(tài)范圍圖像修正，使得其對應(yīng)于對應(yīng)光軸為平行的對極幾何并且所述對極線為對應(yīng)的圖像行。經(jīng)修正的圖像由上述立體視覺處理器電路處理，其執(zhí)行立體視覺匹配算法，以計算對應(yīng)實景點之間的差異，于是計算相對于傳感器單元16的給定位置的那些點的3d位置。

對此，主監(jiān)測帶12是由圖像傳感器18的共同視場(fov)限制的3d投影體。差異搜索窗口的最大尺寸限制由立體設(shè)置可測量的最短距離，于是限制主監(jiān)測帶12的最短可允許范圍。此距離也稱為“有限監(jiān)測帶”(zldc)。同樣，包括在主監(jiān)測帶12內(nèi)的最大距離由施加在裝置10上的誤差容限限制。

處理來自主基線對的圖像以產(chǎn)生對應(yīng)于主監(jiān)測帶12內(nèi)的物體表面上的3d點的主監(jiān)測帶12的3d點的云數(shù)據(jù)。通過數(shù)據(jù)壓縮、聚類和分割算法進(jìn)一步分析此3d點云數(shù)據(jù)，以確定所限定的最小尺寸的物體是否進(jìn)入主監(jiān)測帶12。當(dāng)然，通過裝置10的處理邏輯的配置，主監(jiān)測帶12可以包括不同級別的報警以及不同數(shù)量和類型的監(jiān)測帶，包括非高安全性警告地帶和高安全性受保護(hù)地帶。

在圖1所示的示例性分布結(jié)構(gòu)中，控制單元20處理來自一個或多個傳感器單元16的入侵信號并且對應(yīng)地控制一個或多個機(jī)器，例如主監(jiān)測帶12中的危險性機(jī)器，或者提供關(guān)于由傳感器單元16檢測到的關(guān)于入侵的其他信號或狀態(tài)信息。同時控制單元20還可以通過在控制單元20與傳感器單元16之間的通信鏈接22將電力提供給傳感器單元16，例如在用戶不愿采用poe連接的情況下，傳感器單元16還可以具有單獨的電力輸入。此外，盡管未示出，可以連接“端跨(endspan)”單元作為控制單元20與給定的一個傳感器單元16之間的中間單元，以為傳感器單元16、i/o擴(kuò)展等提供局部電力。

根據(jù)端跨單元是否并入裝置中，控制單元20的一些實施例被配置為支持“地帶選擇”，其中應(yīng)用到控制單元20的一組“地帶選擇”輸入的數(shù)據(jù)或信號圖案動態(tài)地控制在裝置10的運行期間由傳感器單元16監(jiān)測的3d邊界。在裝置10的配置過程中設(shè)置所監(jiān)測的地帶。同時監(jiān)測被配置為由特定傳感器單元16監(jiān)測的所有地帶，并且控制單元20將來自傳感器單元16的入侵狀態(tài)關(guān)聯(lián)到所選擇的控制單元20中的i/o單元26。在配置過程中定義在傳感器單元16與其地帶之間或者多個地帶與特定的控制單元20中的i/o單元26之間的映射。此外，控制單元20可以提供使得整個系統(tǒng)從控制單元故障狀況復(fù)位而恢復(fù)的全局復(fù)位信號輸入。

因為其使用在高安全性監(jiān)測應(yīng)用中，所以一個或多個實施例中的傳感器單元16合并了一系列安全性設(shè)計的功能。例如，根據(jù)iec61496-3的3型安全設(shè)備的基本要求包括以下項目：(1)無單個故障可以導(dǎo)致產(chǎn)品以非安全方式故障，必須防止或檢測這樣的故障并且在系統(tǒng)的指定檢測響應(yīng)時間之內(nèi)響應(yīng)；以及(2)累積的故障不會導(dǎo)致產(chǎn)品以非安全方式故障，需要后臺測試以防止故障的累積導(dǎo)致高安全性故障。

用于基于比較兩個通道的處理結(jié)果是否一致來在主監(jiān)測帶12中檢測物體的雙重立體通道滿足了單個故障要求。兩個通道之間的偏差表示一個或兩個通道中的故障。通過在裝置10的檢測響應(yīng)時間之內(nèi)檢查這樣的偏差，裝置10可以立即進(jìn)入安全出錯狀況。可替代地，還可以采用物體檢測的更保守的方法，其中來自任一個主基線對的檢測見過可以觸發(fā)機(jī)器停止以保持主監(jiān)測帶12安全。如果在兩個基線對之間的不一致持續(xù)一段較長時間(例如幾秒到幾分鐘)，則可以檢測出故障，并且裝置10可以進(jìn)入安全出錯(故障)狀況。

可以將附加的動態(tài)故障檢測和自診斷操作合并到裝置10中。例如，在一些實施例中，傳感器單元16的圖像處理電路36包括單個立體視覺處理電路，立體視覺處理電路被配置為實施從兩個立體通道獲得的圖像對的立體視覺處理，即從第一主基線對的圖像傳感器18-1和18-2獲取的圖像對，以及從第二主基線對的圖像傳感器18-3和18-4獲取的圖像對。立體視覺處理電路或“svp”是例如asic或以高速實施立體視覺圖像處理任務(wù)的其他數(shù)字信號處理器。

使用特殊的測試幀來檢測svp中的故障狀況，測試幀在每個響應(yīng)時間周期注入svp一次。對應(yīng)于測試輸入的svp輸出與預(yù)期的結(jié)果比較。測試幀專門構(gòu)建為測試svp的所有高安全性內(nèi)部功能。

svp和/或圖像處理電路36還可以合并其他緩解措施。例如，圖像處理電路36在圖像傳感器18中使用原始圖像和經(jīng)修正的圖像來識別“不良”像素。圖像處理電路36使用從圖像傳感器18獲取的原始圖像，來識別噪聲、亮點(stuck)或者低靈敏度的像素，并且在后臺運行相關(guān)的不良像素測試。測試圖像幀可以用于不良像素檢測，其中設(shè)想三種類型的測試圖像幀：(a)低集成度測試幀(litf)，其是對應(yīng)于非常低的集成時間的圖像捕獲，其當(dāng)傳感器單元16在典型的照明條件下操作時產(chǎn)生非常接近暗噪聲水平的平均像素強(qiáng)度；(b)高集成度測試幀(hitf)，其是對應(yīng)于至少三個不同曝光時間間隔中的一個的圖像捕獲；(c)數(shù)字測試幀(dtpf)，其是注入到電路中用于從圖像傳感器18獲取圖像幀的測試圖案。每個響應(yīng)時間周期可以捕獲每種類型的一個測試圖像。以這種方式，可以收集每種類型的許多測試圖像并且在指定的后臺測試周期(幾分鐘到幾小時)的過程中分析這些測試圖像。

進(jìn)一步的緩解措施包括：(a)噪聲像素檢測，其中使用一組多個litf的像素數(shù)據(jù)的時間序列方差與最大閾值比較；(b)亮點像素檢測(高或低)，其中使用一組多個litf和hitf的像素數(shù)據(jù)的相同時間序列方差與最大閾值比較；(c)低靈敏度像素檢測，其中所測量的像素強(qiáng)度的響應(yīng)與在若干個曝光水平處的hitf的預(yù)期響應(yīng)比較；(d)針對不良像素檢測，其中已知的數(shù)字測試圖案的圖像處理與預(yù)期結(jié)果比較，以檢查圖像處理電路的正確操作；(e)從經(jīng)修正的圖像識別不良像素，其中飽和的、欠飽和的以及遮蔽像素與被認(rèn)為不適合精確度校正的像素一同落入此類別，每個幀可以使用運行時間圖像數(shù)據(jù)實施一次這樣的測試；(f)動態(tài)范圍測試，其中像素與對應(yīng)于圖像傳感器18的合適的動態(tài)范圍的高閾值和低閾值比較。

例如，如圖4所示的傳感器單元16的圖像處理電路中的36的一個實施例，使用硬件和基于軟件的電路配置的混合來實現(xiàn)上述功能。可以看到上述在這里標(biāo)記為400的svp，以及多個交叉連接的處理器電路例如，圖像處理器電路402-1和402-2(“圖像處理器”)以及控制處理器電路404-1和404-2(“控制處理器”)。在非限制性示例中，此圖像處理器402-1和402-2是fpga，并且控制處理器404-1和404-2是微處理器/微控制器設(shè)備，例如texasinstrumentsam3892微處理器。

圖像處理器402-1和402-2包括存儲器或與存儲器相關(guān)聯(lián)，例如sdram設(shè)備406的存儲器，作用為用于處理來自圖像傳感器18的圖像幀的工作存儲器。圖像處理器402-1和402-2可以被配置在開機(jī)或復(fù)位時由相應(yīng)的控制處理器404-1和404-2配置，控制處理器404-1和404-2也包括存儲器(例如sdram設(shè)備408)或與存儲器相關(guān)聯(lián)，并且包括在閃存設(shè)備410中的開機(jī)/配置數(shù)據(jù)。

在相應(yīng)的圖像處理器402之間和相應(yīng)的控制處理器404之間可見的交叉連接提供了雙重通道，使用圖像傳感器18的第一和第二主基線對來冗余監(jiān)測主監(jiān)測帶12。對此，可以看到“左側(cè)”圖像傳感器18-1和18-3聯(lián)接到圖像處理器402-1和圖像處理器402-2。同樣，“右側(cè)”圖像傳感器18-2和18-4聯(lián)接到兩個圖像處理器402。

此外，在功能任務(wù)的示例性劃分中，圖像處理器402-1和控制處理器404-1建立系統(tǒng)定時并且支持至控制單元20的物理層(phy)接口38，接口38可以是以太網(wǎng)接口?？刂铺幚砥?04-1還負(fù)責(zé)配置svp400，其中圖像處理器402-1充當(dāng)至svp的主機(jī)接口的網(wǎng)關(guān)?？刂铺幚砥?04-1還控制配置圖像傳感器18的總線接口。而且，圖像處理器402-1還包括至同一總線的連接以便在實施曝光控制操作時提供更大的精確性。

接著，控制處理器404-2和圖像處理器402-2形成相對于上述操作的冗余處理通道。在這個功能中，圖像處理器402-2監(jiān)測圖像處理器402-1的時鐘產(chǎn)生和圖像數(shù)據(jù)的隔行掃描。因此，兩個圖像處理器402均輸出所有圖像傳感器18的圖像數(shù)據(jù)，而僅圖像處理器402-1生成圖像傳感器的時鐘和同步信號。

圖像處理器402-2冗余地實施亮點和噪聲像素檢測算法，并且使用從svp主機(jī)接口捕獲的深度數(shù)據(jù)來對保護(hù)帶侵犯冗余地進(jìn)行聚類(cluster)。最終，由圖像處理器402-2和控制處理器404-2得到的誤差檢測算法、聚類和目標(biāo)跟蹤必須完全鏡像于來自圖像處理器402-1和控制處理器404-1的，否則圖像處理電路36將宣布發(fā)生故障，觸發(fā)整個裝置10進(jìn)入操作的故障狀態(tài)。

每個圖像處理器402與sdram設(shè)備406一同操作，以便支持緩沖數(shù)據(jù)用于所有圖像幀，諸如用于高動態(tài)范圍的融合、噪聲像素統(tǒng)計、svp測試幀、保護(hù)帶以及用于診斷的所捕獲的視頻幀。這些外部存儲器還允許圖像處理器402在實現(xiàn)時實施圖像修正或多分辨率分析。

每個控制處理器404和其相應(yīng)的圖像處理器402之間的接口為高速串行接口，諸如高速pci或sata型串行接口。可替代地，可以在其之間使用多位并行接口。無論何種方式，圖像處理電路36都使用svp400的“主機(jī)接口”用于svp400的控制并用于訪問該輸出深度和修正圖像數(shù)據(jù)。svp400的主機(jī)接口設(shè)計為運行得足夠快以與圖像捕獲速度相稱的速度發(fā)送所有需要的輸出。

此外，處理器間通信通道允許兩個冗余控制處理器404在操作中保持同步。雖然控制處理器404-1控制phy接口38，但是控制處理器404-1不能做裝置10(例如，裝置10依次控制主監(jiān)測帶12內(nèi)的危險性機(jī)器的運行/停止?fàn)顟B(tài))的運行/停止?fàn)顟B(tài)的最終決定。相反，在控制處理器404-2還需要產(chǎn)生特定的機(jī)器運行解鎖碼(或類似的值)，控制處理器404-1將所述機(jī)器運行解鎖碼通過phy接口38轉(zhuǎn)發(fā)到控制單元20。然后，控制單元20做出關(guān)于傳感器單元16的兩個冗余通道是否一致為正確的機(jī)器狀態(tài)而最終決定。于是，控制單元20根據(jù)來自傳感器單元16的雙重冗余通道的狀態(tài)指示，將例如其ossd輸出的運行/停止?fàn)顟B(tài)設(shè)定為正確的運行/停止?fàn)顟B(tài)?？商娲?，在另一示例性實施例中，傳感器單元16可以自己做關(guān)于傳感器單元16的兩個冗余通道是否一致為正確的機(jī)器狀態(tài)的最終決定。

控制處理器404-1和404-2之間的處理器間接口還提供了更新傳感器單元的配置以及為控制處理器404-2編制圖像程序的途徑。一種替代方法是在兩個控制處理器404之間共享單個閃存，而此布置可能需要額外的電路以適當(dāng)?shù)刂С謨蓚€控制處理器404的開機(jī)順序。

一般而言，像素級的處理操作都偏向圖像處理器402，并且使用快速的、基于fpga的硬件來實現(xiàn)圖像處理器402是這種布置的補充。然而，在一些實施例中使用的一些誤差檢測算法需要控制處理器404來實施某些像素級的處理操作。

然而，即使在這里，圖像處理器402也可以在給定的圖像幀或多個幀內(nèi)指示相關(guān)“窗口”，并且僅將對應(yīng)于相關(guān)窗口的像素數(shù)據(jù)發(fā)送到控制處理器404用于處理。這種方法還有助于減少經(jīng)過在圖像處理器402和控制處理器404之間的接口的數(shù)據(jù)量并且減少控制處理器404所需的訪問帶寬和存儲器帶寬要求。

因為圖像處理器402-1為svp400產(chǎn)生隔行掃描的圖像數(shù)據(jù)，所以圖像處理器402-1還可以配置為將測試圖像幀注入svp400，用于測試svp400是否正常操作。然后，圖像處理器402-2會監(jiān)測測試幀并且從svp400輸出結(jié)果。為了簡化處理器設(shè)計，圖像處理器402-2可以配置為僅檢查所注入的測試幀的crc，而不保持注入到svp400中的測試幀的自身的冗余副本。

在一些實施例中，圖像處理電路36被配置成盡可能使得圖像處理器402實施所需的每個像素的操作，而控制處理器404處理更高級的操作和浮點運算。關(guān)于處理功能的分配的進(jìn)一步細(xì)節(jié)，使用下述功能劃分。

對于圖像傳感器定時生成，一個圖像處理器402產(chǎn)生所有的定時，并且其他圖像處理器402驗證該定時。一個控制處理器404將定時參數(shù)發(fā)送到產(chǎn)生定時的圖像處理器402，并且驗證由該圖像處理器402制作的定時措施而實施其他圖像處理器402的定時驗證。

對于hdr圖像融合，圖像處理器402使用hdr融合功能來緩沖并組合使用低集成度和高集成度的傳感器曝光獲取的圖像對?？刂铺幚砥?04向圖像處理器402提供對hdr融合功能必要的設(shè)定/配置數(shù)據(jù)(例如，色調(diào)映射和加權(quán)陣列)。可替代地，控制處理器402交替使用圖像幀寄存器內(nèi)容，以取得短/長曝光模式。

對于圖像修正功能，圖像處理器402插值修正，由從圖像傳感器18取得的原始圖像數(shù)據(jù)推導(dǎo)出無失真圖像數(shù)據(jù)。對應(yīng)地，控制處理器404產(chǎn)生用于獲得經(jīng)修正的無失真圖像數(shù)據(jù)的校準(zhǔn)和修正參數(shù)。

一個圖像處理器402提供svp400的配置界面。該圖像處理器402還將經(jīng)修正的圖像發(fā)送到svp400并且從svp400提取對應(yīng)的深度映射(圖像像素的3d范圍數(shù)據(jù))。使用交替匹配算法，例如，歸一化互相關(guān)(ncc)，圖像處理器402可以視需要進(jìn)一步提高子像素插值的精度?？刂铺幚砥?04使用由一個圖像處理器402提供的網(wǎng)關(guān)來配置svp400。

對于聚類，圖像處理器402聚類前臺和經(jīng)“緩解”的像素并且為每個這樣的聚類生成統(tǒng)計數(shù)據(jù)。對應(yīng)地，控制處理器404為主監(jiān)測帶12產(chǎn)生保護(hù)邊界，例如警告邊界、高安全性邊界等，這限定了用于評估是否檢測到物體觸發(fā)入侵警告、高安全性停機(jī)等的實際3d范圍。

對于物體持久化，控制處理器404實施時域濾波、運動追蹤和物體拆分合并功能。

對于不良像素檢測操作，圖像處理器402為不良像素保持每個像素的統(tǒng)計數(shù)據(jù)以及插值數(shù)據(jù)。可選地，控制處理器404將工廠缺陷列表加載到圖像處理器402中。所述工廠缺陷列表允許，例如，在制造過程中測試圖像傳感器18，使得可以將不良像素檢測并記錄在映射中或其他數(shù)據(jù)結(jié)構(gòu)中，使得可以將已知的不良像素通知給圖像處理器402。

對于曝光控制操作，圖像傳感器402收集全局的強(qiáng)度統(tǒng)計數(shù)據(jù)并調(diào)整曝光時間。對應(yīng)地，控制處理器404提供曝光控制參數(shù)，或者可選地，實現(xiàn)每個幀的比例-積分-微分(pid)控制或類似的反饋控制曝光。

對于動態(tài)范圍操作，圖像處理器402產(chǎn)生動態(tài)范圍緩解位。對應(yīng)地，控制處理器404將動態(tài)范圍限制提供給圖像處理器402。

對于遮蔽物體檢測操作，圖像處理器402在必要時建立額外的經(jīng)轉(zhuǎn)換的圖像，并且實現(xiàn)例如像素匹配搜索以檢測由在每個次基線對中的兩個圖像傳感器18獲取的圖像數(shù)據(jù)之間的圖像差。例如，像素匹配搜索用于比較由圖像傳感器18-1獲取的圖像數(shù)據(jù)和由圖像傳感器18-3獲取的數(shù)據(jù)，其中兩個傳感器18-1和18-3包括第一次基線對。在由包括圖像傳感器18-2和18-4的第二次基線對獲取的圖像數(shù)據(jù)之間進(jìn)行類似的比較。為了支持遮蔽物體檢測操作，控制處理器404將限制和/或其他參數(shù)提供給圖像傳感器402。

對于參考標(biāo)記檢測算法，圖像處理器402建立無失真圖像，在圖像數(shù)據(jù)內(nèi)實現(xiàn)ncc搜索參考標(biāo)記，并且查找最佳匹配?？刂铺幚砥?04使用ncc的結(jié)果來計算經(jīng)修正的圖像的校準(zhǔn)和焦點長度校正。控制處理器404還可以對窗口像素地域?qū)嵤挋z查(聚焦)。參考標(biāo)記緩解算法的一些其他方案也可能需要經(jīng)修正的圖像。

在一些實施例中，svp400可以實施圖像修正，而在圖像處理電路402中實施圖像修正可以具有多個優(yōu)點。例如，這樣的處理可以更自然地存在于圖像處理器402中，因為這實現(xiàn)了由圖像處理器402實施的其他操作。例如，必須以和圖像數(shù)據(jù)相同的方式來修正圖像傳感器不良像素映射(亮度或噪聲)。如果已經(jīng)需要圖像處理器402實現(xiàn)圖像數(shù)據(jù)的修正，則圖像處理器402修正不良像素映射可以是有道理的，以保證圖像和不良像素修正之間的一致性。

此外，至少在某些情況下，對未經(jīng)修正的無失真圖像，參考標(biāo)記跟蹤的效果最佳。用于去除失真的插值邏輯與修正類似，因此，如果圖像處理器402建立無失真圖像，則圖像處理器402可以包括類似配置的附加的資源來實施修正。

此外，遮蔽物體檢測需要每個次基線34-1和34-2的至少一個額外的圖像轉(zhuǎn)換。svp400可能沒有進(jìn)行這些額外的修正的吞吐量，而圖像處理器402能夠輕松地容納額外的處理。

有利于圖像處理器402中的大多數(shù)基于像素的處理的另一個方案涉及zldc。減少zldc一個可能的方式是使用圖像數(shù)據(jù)的多分辨率分析。例如，在輸入對應(yīng)的“歸一化”圖像之后，在線性維度中將經(jīng)兩倍因子縮小的圖像輸入到svp400。這種布置會使由svp400實現(xiàn)的最大差異擴(kuò)大到三倍。

在由svp400實施的立體相關(guān)處理(稱為“立體視覺處理”)的另一方案中，至svp400的輸入是原始的或經(jīng)修正的圖像對。對于每個輸入的圖像對，svp400的輸出是每個像素的深度(或差異)值、相關(guān)性得分和/或相關(guān)運算符位以及經(jīng)修正的圖像數(shù)據(jù)。相關(guān)性得分為對應(yīng)于相關(guān)性的數(shù)值數(shù)字，并且于是提供了輸出可靠性的措施。相關(guān)運算符位表示所討論的像素是否需要與其相關(guān)性得分的特定方面有關(guān)聯(lián)的預(yù)定的標(biāo)準(zhǔn)。

然而，聚類操作很容易流水線化，因而有利于在圖像處理器402的基于fgpa的實施例中實現(xiàn)。如所指出的，聚類處理將前臺像素連接為“聚類”，并且由圖像處理電路36實現(xiàn)的整個物體檢測算法的更高級判定像素的數(shù)量、聚類的大小和像素密度是否值得跟蹤。

一旦聚類了像素組，數(shù)據(jù)量就顯著小于完全深度圖像流。因為這一事實并且因為跟蹤物體的復(fù)雜性，所以物體的識別和跟蹤在控制處理器404中實施，至少在使用微處理器或dsp實現(xiàn)控制處理器404時是較為有利的。

在不良像素檢測中，圖像處理電路36使用高集成度測試幀和低集成度測試幀的序列來檢查亮點(高/低)像素和噪聲像素。在裝置10的檢測響應(yīng)時間內(nèi)更新來自亮點像素緩解的不良像素，而該算法需要多個測試幀以檢測噪聲像素。這些算法在來自圖像傳感器18的原始圖像數(shù)據(jù)上進(jìn)行。

亮點像素測試基于很容易在圖像處理器402中得到支持的簡單的檢測算法，然而，噪聲像素測試，雖然算法簡單，但是需要為整個像素幀緩沖像素統(tǒng)計數(shù)據(jù)。于是，就圖像處理器402進(jìn)行這種處理的程度而言，圖像處理器402需要配備足夠的內(nèi)存用于這種緩沖。

更寬泛而言，在實施例的體系結(jié)構(gòu)中，來自圖像傳感器18的原始圖像數(shù)據(jù)僅從圖像傳感器18流至圖像處理器402。原始圖像數(shù)據(jù)不必從圖像處理器402流至控制處理器404。然而，如所指出的，不良圖像傳感器像素必須經(jīng)過與圖像像素相同的修正轉(zhuǎn)換，使得聚類算法可以將其應(yīng)用到正確的修正圖像的坐標(biāo)中。對此，對于不良圖像，圖像處理器402必須能夠鏡像由svp400完成的相同的修正映射。

當(dāng)識別出不良像素時，將不良像素的值替換為由對相鄰的“好”像素插值得到的值。由于此處理需要多條掃描線的歷史，所以該處理可以流水線化并且適于在圖像處理器402的任何基于fpga的版本中實現(xiàn)。

雖然不良像素檢測的某些方案是簡單的算法，但是物體遮蔽檢測包括若干相關(guān)的功能，包括：(a)每個次基線對中的圖像傳感器18之間的強(qiáng)度比較；(b)后期處理操作，諸如圖像形態(tài)學(xué)處理以抑制誤檢；(c)檢測延伸到受保護(hù)地帶之外并且仍滿足上述(a)的可能表示均勻的遮蔽物體的水平線。

基因參考標(biāo)記的誤差檢測算法設(shè)計為檢測若干條件，包括：焦點損失、對比度損失、圖像傳感器對齊損失、全景(world)損失(3d坐標(biāo))注冊、以及一個或多個其他圖像傳感器的誤差。

圖5示出對應(yīng)于上述圖像處理功能的“功能”電路或處理塊，其可選地包括視頻輸出電路412，以提供對應(yīng)于圖像傳感器18的視場14的輸出視頻，可選地帶有與所配置的邊界等相關(guān)的信息。應(yīng)理解的是，圖5的示例中所設(shè)置的所示處理塊分布在圖像處理器402和控制處理器404之間。

考慮到這一點，可以看到功能塊包括以下項目：曝光控制功能500、不良像素檢測功能502、不良像素修正功能504、hdr融合功能506、不良像素插值功能508、圖像失真校正及修正功能510、立體關(guān)聯(lián)和ncc子像素插值功能512、動態(tài)范圍檢查功能514、遮蔽物體檢測功能516、對比度圖案檢查功能518、參考標(biāo)記緩解功能520、每個地帶的聚類功能522、物體持久性和運動算法功能524、以及故障/診斷功能526。應(yīng)指出的是，可以與基于主監(jiān)測帶12的雙重信道監(jiān)測的冗余物體檢測一同，冗余地實施一個或多個這些功能。

圖像捕獲發(fā)生在連續(xù)時間段(稱為“幀”)序列中。作為示例，圖像處理電路36以60fps的幀速率運行。每個基線32或34對應(yīng)于一對圖像傳感器18，例如，第一對包括圖像傳感器18-1和18-2，第二對包括圖像傳感器18-3和18-4，第三對包括圖像傳感器18-1和18-3以及第四對包括圖像傳感器18-2和18-4。

為每個基線同時捕獲原始圖像數(shù)據(jù)。在原始圖像中檢測噪聲、亮點或低靈敏度的像素，并將其用于產(chǎn)生不良像素映射。使用插值方法利用正常的相鄰像素來校正檢測到的故障像素信號。此校正步驟使處理流水線的后續(xù)階段上的故障像素的影響最小化。

為每個基線對順序拍攝高曝光圖像和低曝光圖像。因此，每個序列的圖像幀包含交替的高曝光和低曝光圖像。會為測試目的而保留在圖像流期間的每個響應(yīng)周期的一個或兩個幀，其中“圖像流”是指在來自每一對圖像傳感器18的每個圖像幀基礎(chǔ)上流動的圖像數(shù)據(jù)。

來自每個圖像傳感器18的高曝光和低曝光幀根據(jù)本文所描述的hdr融合處理組合成新的圖像。由此產(chǎn)生的hdr圖像具有延伸的擴(kuò)展動態(tài)范圍并被稱為高動態(tài)范圍(hdr)幀。應(yīng)指出的是，由于其以60hz的速率取不同的曝光度的兩個原始圖像來建立對應(yīng)的hdr圖像，所以hdr幀率現(xiàn)在為30hz。存在一個每個成像器30hz的hdr圖像流或每個基線30hz的hdr圖像對。

對圖像進(jìn)一步預(yù)處理以校正光學(xué)失真，并且圖像還經(jīng)過在計算機(jī)視覺中被稱為“修正”的轉(zhuǎn)換。所得到的圖像被稱為“經(jīng)修正的圖像”或“經(jīng)修正的圖像數(shù)據(jù)”。作為參考，可以看到從功能塊510輸出這樣的數(shù)據(jù)。不良像素映射也經(jīng)過相同的修正轉(zhuǎn)換，以備后用(參加修正塊504)。所得到的不良像素數(shù)據(jù)包含可以用在聚類處理中的像素權(quán)重。

來自功能塊510的經(jīng)修正的圖像數(shù)據(jù)用于實施若干檢查，包括：動態(tài)范圍檢查，其中像素與飽和度閾值和未飽和度閾值比較并且如果其落在這些閾值之外則被標(biāo)記為不良；以及遮蔽物體檢查，其中分析像素以判定物體是否存在于zldc在或者“側(cè)遮蔽帶”(zss)中。如果存在這樣的物體，則可能在一個或多個傳感器視場14中投射陰影，有效地使得傳感器單元16無法看到落入陰影中的物體。對應(yīng)于被遮蔽的區(qū)域的像素組被標(biāo)記為“不良”，以便識別此潛在危險狀況。

在遮蔽物體檢測功能516中實施這樣的操作。進(jìn)一步的檢查包括不良對比度圖案檢查，這里為對比度圖案分析的圖像可能使得所得到的范圍測量不可靠。不符合測試標(biāo)準(zhǔn)的像素標(biāo)記為“不良的”。與此同時，將經(jīng)修正的圖像輸入到svp400，在圖5中以塊512部分地表示。如果設(shè)計是基于單個的svp400，則將每個主基線32-1和32-2的hdr圖像幀以疊加的輸入速率60hz交替地輸入到svp400。為做到這一點，在svp400處理一個基線32-1或32-2的對應(yīng)hdr幀的同時緩沖另一個基線32-1或32-2的hdr幀。對范圍數(shù)據(jù)進(jìn)行后期處理以查找并排除低質(zhì)量范圍點，并且逐步改善準(zhǔn)確性，然后與所限定的檢測邊界比較。

3d范圍數(shù)據(jù)在檢測邊界內(nèi)的像素被分組到聚類中。直接識別出的不良像素或通過評估像素權(quán)重識別出的不良像素也包括在聚類處理中。可以為多個檢測邊界并行實施聚類處理。檢測到的聚類的尺寸與最小物體尺寸比較，并且在若干幀的過程中跟蹤達(dá)到或超過最小物體尺寸的聚類，以抑制錯誤的故障檢測。如果檢測到的聚類在與最小尺寸物體一致以最短時間段(即限定的若干連續(xù)幀)，則該事件被分類為入侵。入侵信息與如從其他測試檢測到的故障狀態(tài)一同例如使用安全的以太網(wǎng)協(xié)議發(fā)送到控制單元20。

利用經(jīng)修正的圖像數(shù)據(jù)與物體檢測處理并行實施，如在塊520中和視需要作為光學(xué)故障的自測試而實施的參考標(biāo)記監(jiān)測。參考標(biāo)記監(jiān)測任務(wù)不僅提供光學(xué)故障的診斷，還響應(yīng)由于熱漂移導(dǎo)致的靈敏度的較小變異來提供調(diào)整用于圖像修正的參數(shù)的機(jī)制。

此外，一組后臺和運行時測試提供還用于將傳感器單元16的狀態(tài)傳達(dá)到控制單元20的輸出。進(jìn)一步的處理包括獨立于上述處理功能運行的曝光控制算法，參見塊500。曝光控制算法允許調(diào)整靈敏度，以補償緩慢變化的照明條件，并且允許在測試幀周期的坐標(biāo)特異性測試。

雖然有利地結(jié)合上面的示例算法以產(chǎn)生穩(wěn)定而安全的機(jī)器視覺系統(tǒng)，但是可以理解的是，這些示例應(yīng)被理解為可以經(jīng)過較小變化的非限制性示例。寬泛而言，相對于主監(jiān)測帶12的物體檢測處理使用立體視覺圖像處理技術(shù)來測量3d歐幾里得距離。

這樣，雙重基線、遮蔽檢測以及高動態(tài)范圍圖像的特征均進(jìn)一步改進(jìn)了基礎(chǔ)的立體視覺圖像處理技術(shù)。雙重基線32-1和32-2為主監(jiān)測帶12提供來自冗余第一和第二立體信道的物體檢測信息。第一立體通道獲得第一基線物體檢測信息，而第二立體信道獲得第二基線物體檢測信息。來自第一基線的物體檢測信息與來自第二基線的物體檢測信息比較。比較的不一致表示失靈或故障狀態(tài)。

雖然主基線32用于在主監(jiān)測帶12中主要物體的檢測，但是次基線34用于遮蔽物體檢測，實施遮蔽物體檢測以確保接近傳感器單元16的第一物體不在視覺上阻擋或遮蔽遠(yuǎn)離傳感器單元16的第二物體。這包括所需的由一個圖像傳感器18檢測不被另一圖像傳感器18檢測到的物體的處理能力。

圖6和圖7a/b提供了關(guān)于遮蔽物體檢測、以及zldc和zss區(qū)域的有用的圖例。在一個或多個實施例中，并且具體參照圖6，圖像傳感器18-1和18-2操作為第一立體對，為第一立體通道的處理提供立體圖像對，圖像傳感器18-3和18-410操作為第二立體對，為第二立體通道的處理提供立體圖像對，圖像傳感器18-1和18-3操作為第三立體對，為第三立體通道的處理提供立體圖像對，并且圖像傳感器18-2和18-4操作為第四立體對，為第四立體通道的處理提供立體圖像對。第一對和第二對分別由主基線32-1和32-2分隔開，而第三對和第四對分別由次基線34-1和34-2分隔開。

如上文所指出的，傳感器單元16的圖像處理單路36所使用的主要物體測距技術(shù)是位于兩個不同優(yōu)勢點處的兩個圖像傳感器18之間的立體關(guān)聯(lián)，搜索用于匹配像素并基于像素差異計算范圍的對極線。

至少對主監(jiān)測帶12應(yīng)用此主要物體測距技術(shù)，并且圖6示出了用于在主監(jiān)測帶12中檢測物體的第一立體通道和第二立體通道。也就是說，通過相關(guān)聯(lián)由第一圖像傳感器18-1捕獲的圖像和由第二圖像傳感器18-2(第一立體通道)捕獲的圖像，并且關(guān)聯(lián)由第三圖像傳感器18-3捕獲的圖像和由第四圖像傳感器18-4(第二立體通道)捕獲的圖像，來在主監(jiān)測帶12中檢測物體。于是，第一立體通道和第二立體通道提供對主監(jiān)測帶12中的物體的冗余的檢測能力。

第三和第四立體通道用于對次監(jiān)測帶成像，次監(jiān)測帶包括以下傳感器視場14：(1)在zldc內(nèi)部和/或(2)在一個zss內(nèi)。對此，應(yīng)理解的是，使用基于差異的檢測算法在由每個次基線對獲取的圖像對上操作，在zldc中的給定的最小尺寸的物體足夠近而可以被檢測出。然而，因為隨著物體距離增加所觀察到的圖像差異減小，所以這些基于差異的檢測算法不會檢測超出zldc限制以外而在一個zcc內(nèi)的物體(其中所述物體不出現(xiàn)在所有傳感器視場14中)。一個或兩個風(fēng)險緩解措施可以用于解決zss中的遮蔽物體檢測。

首先，如圖8所示，傳感器單元16可以配置為使得圖像傳感器18的延伸角度為使zss最小化。其次，使用立體關(guān)聯(lián)處理可以為由第一和第二次基線對捕獲的圖像檢測在zss中的物體。也就是說，圖像處理電路16可以配置為關(guān)聯(lián)由第一圖像傳感器18-1捕獲的圖像和由第三圖像傳感器18-3(第三立體通道)捕獲的圖像，并關(guān)聯(lián)由第二圖像傳感器18-2捕獲的圖像與由第四圖像傳感器18-4(第四立體通道)捕獲的圖像。于是，圖像處理電路36為從第一和第二立體通道(第一和第二主基線對的圖像傳感器18)獲取的圖像數(shù)據(jù)使用立體關(guān)聯(lián)處理，用于在主監(jiān)測帶12中的物體檢測，而為從第三和第四立體通道(第一和第二次基線對的圖像傳感器18)獲取的圖像數(shù)據(jù)使用強(qiáng)度差和立體關(guān)聯(lián)處理中的一個或兩者，用于在zldc和zss中的物體檢測。

如在圖7a和7b中以示例方式所示，第三和第四立體通道用于在次監(jiān)測帶中檢測可以在主監(jiān)測帶12中遮蔽物體的物體。緊接在傳感器單元16的前方的區(qū)域和主監(jiān)測帶12的兩側(cè)的區(qū)域無法使用主基線立體通道(即對應(yīng)于主基線32-1和32-2第一和第二立體通道)用于物體檢測。

例如，圖7b示出在主監(jiān)測帶12和傳感器單元16之間，即在zldc內(nèi)可能遮蔽主監(jiān)測帶12中的物體的遮蔽物體“1”。在圖中，因為物體“a”和“b”落在主監(jiān)測帶12被遮蔽物體“1”相對于一個或多個圖像傳感器18遮蔽的區(qū)域內(nèi)，所以在主監(jiān)測帶12內(nèi)的物體“a”和“b”可以看到而無法檢測到。

圖7b還示出另一遮蔽示例，其中物體“2”在最小監(jiān)測范圍之外(超出zldc邊界)但定位在主監(jiān)測帶12的一側(cè)。換而言之，物體“2”落在一個zss中，于是在該相同側(cè)上相對于一個或多個圖像傳感器18投射陰影在主監(jiān)測帶12內(nèi)。因此，可能無法可靠地檢測到在主監(jiān)測帶12內(nèi)但落在物體“2”的投射陰影內(nèi)的物體“c”。

于是，雖然不一定用為主監(jiān)測帶12中的物體檢測設(shè)置的相同的測距分辨率中檢測到遮蔽物體，但是檢測遮蔽物體對于傳感器單元16很重要。因此，圖像處理電路36可以被視為具有全分辨率的主要物體檢測機(jī)制、主監(jiān)測帶12內(nèi)的物體的冗余監(jiān)測以及次級物體檢測機(jī)制，以檢測zldc內(nèi)部的物體的存在，具有第三級物體檢測機(jī)制以檢測zss區(qū)域中的物體的存在。左右側(cè)支架的延伸角度的存在施加了最終的圖像傳感器/fov配置，諸如圖8的示例。延伸角度可以配置為以便消除或大致上減少主監(jiān)測帶12兩側(cè)的zss，使得降低或消除側(cè)遮蔽危險。

zldc區(qū)域的檢測物體基于檢測在位于傳感器單元16的每側(cè)處的相鄰圖像傳感器18之間是否有顯著的不同。例如，這種處理涉及來自圖像傳感器18-1的圖像數(shù)據(jù)與來自圖像傳感器18-3的圖像數(shù)據(jù)的比較。(類似處理比較圖像傳感器18-2和18-4)。當(dāng)存在接近傳感器單元16和這些相近的間隔開的圖像傳感器對中的一個的物體時，在相鄰處內(nèi)簡單地比較其相應(yīng)的像素強(qiáng)度將揭示出顯著的不同。通過在一個圖像中標(biāo)記不具有在給定搜索窗口內(nèi)對應(yīng)于另一圖像的相同處的匹配的強(qiáng)度的那些點來查找這樣的不同。判定“匹配”的標(biāo)準(zhǔn)設(shè)計為使得比較對每一個成像器中的平均增益和/或噪聲水平不敏感。

作為另一示例，次(短)基線長度t和主(長)基線長度t之間的關(guān)系可以表示為t/t＝d/d。這里，d是主基線的最大差異搜索范圍，并且d是圖像差算法的搜索窗口的尺寸。

此方法設(shè)計為在zldc內(nèi)部或靠近基線長度檢測物體。遠(yuǎn)離zldc區(qū)域的物體將對應(yīng)于圖像數(shù)據(jù)中的非常小的差異，于是當(dāng)比較來自相近間隔開的傳感器對的圖像時，將不會產(chǎn)生圖像之間的這樣的顯著的差別。為了檢測可能超出zldc邊界之外但在主監(jiān)測帶12的一側(cè)上的物體，相近間隔開的傳感器對可以操作為立體對，以僅在對應(yīng)的zss區(qū)域內(nèi)搜索物體的方式處理其對應(yīng)的立體圖像對。

當(dāng)然，在所有或一些上述物體檢測處理中，hdr圖像的使用允許傳感器單元16在多種環(huán)境照明條件下工作。在hdr圖像融合的一個示例性實施例中，圖像處理電路36實施若干操作。例如，校準(zhǔn)處理用作恢復(fù)制造階段所要求的圖像傳感器的逆響應(yīng)函數(shù)(crf)，g：z→r的特征步驟。g的域為取值范圍為10至1023的10位(成像器數(shù)據(jù)分辨率)的整數(shù)(表示為z)。由實數(shù)r設(shè)置范圍。

在運行時，crf用于組合以不同曝光度所取的圖像來建立輻照圖像e。由此，使用對數(shù)運算符色調(diào)映射所恢復(fù)的輻照圖像，然后重新映射為適于svp400處理的12位強(qiáng)度圖像。

設(shè)想恢復(fù)crf的幾種不同的校準(zhǔn)/特征算法。例如參見p.debevec和j.malik的作品，“recoveringhighdynamicrangeradiancemapsfromphotographs(從照片恢復(fù)高動態(tài)范圍輻照圖像)”，siggraph1998，以及t.mitsunaga和s.nayar的“radiometricselfcalibration(輻照度自校準(zhǔn))”，cvpr1999。

在任何情況下，下面的偽代碼總結(jié)了如在運行時所實施的hdr融合算法的示例。算法輸入包括：crfg，低曝光幀il，低曝光時間tl，高曝光幀ih，以及高曝光時間th。匹配算法輸出是12位輻照圖像e。

對于每個像素p，

其中w：z→r為加權(quán)函數(shù)(例如高斯、帽狀加權(quán)函數(shù)等)。該算法基線映射lne(p)→[0,4096]以獲得12位的輻照圖像e，這將被理解為涉及偏移和縮放操作。

因為運行時hdr融合算法獨立在每個像素上操作，所以所建議的hdr方案適于在支持并行處理的基本上任何平臺上實現(xiàn)。出于這個原因，基于fpga實現(xiàn)的圖像處理器402變得非常有利。

當(dāng)然，取決于性能要求和應(yīng)用的細(xì)節(jié)，這些和其他實現(xiàn)的細(xì)節(jié)可以變化，至少在一定程度上變化。寬泛而言，本文教導(dǎo)使用投影體監(jiān)測的方法，所述方法包括從具有均交疊主監(jiān)測帶12的相應(yīng)的傳感器視場的四個圖像傳感器18獲取圖像數(shù)據(jù)。圖像傳感器18布置為使得第一圖像傳感器18-1和第二圖像傳感器18-2形成第一主基線對，第一主基線對的間隔限定第一主基線，第三圖像傳感器18-3和第四圖像傳感器18-4形成第二主基線對，第二主基線對的間隔限定第二主基線，圖像傳感器18還布置為使得第一圖像傳感器18-1和第三圖像傳感器18-3形成第一次基線對，第一次基線對的間隔限定第一次基線，第二圖像傳感器18-2和第四圖像傳感器18-4形成第二次基線對，第二次基線對的間隔限定第二次基線，其中主基線比次基線長。

在一個示例性布置中，四個圖像傳感器被布置為間隔開第一次基線的兩個左側(cè)圖像傳感器18，以形成第一次基線對，以及間隔開第二次基線的兩個右側(cè)圖像傳感器18，以形成第二次基線對。四個圖像傳感器18還布置為使得一個左側(cè)圖像傳感器18與一個右側(cè)圖像傳感器18配對以形成間隔開第一主基線的第一主基線對，而另一左側(cè)圖像傳感器18與另一右側(cè)圖像傳感器18配對以形成間隔開第二主基線的第二主基線對。這里，“左側(cè)”和“右側(cè)”是相對的術(shù)語，意思是相對較近地間隔開的相應(yīng)對圖像傳感器18，而同時相應(yīng)對相對彼此間隔開更大距離。于是，可以適應(yīng)豎直布置，其中“左”和“右”等同于“頂部”和“底部”。

回看圖2，一個左側(cè)圖像傳感器18-1與一個右側(cè)圖像傳感器18-2配對以形成間隔開第一主基線32-1的第一主基線對。類似地，另一左側(cè)圖像傳感器18-3與另一右側(cè)圖像傳感器18-4配對以形成間隔開第二主基線32-2的第二主基線對。

基于此有利的圖像傳感器的物理布置和來自圖像傳感器的圖像數(shù)據(jù)的關(guān)聯(lián)的功能對，所述方法包括基于來自每個主基線對的圖像數(shù)據(jù)的立體視覺處理在主監(jiān)測帶中冗余地檢測物體。更進(jìn)一步地，所述方法包括通過基于處理來自每個次基線對的圖像數(shù)據(jù)來檢測遮蔽物體有利地緩解來自遮蔽物體造成的風(fēng)險。

明顯的是，受益于具有在上文描述和相關(guān)附圖中呈現(xiàn)的教導(dǎo)，本領(lǐng)域技術(shù)人員可以想到所述公開的發(fā)明的修改和其他實施例。因此，應(yīng)理解的是，本發(fā)明不限于所公開的具體實施例，而是意圖將修改和其他實施例包括在本公開的范圍內(nèi)。雖然本文使用了具體術(shù)語，但是其僅在一般性和描述性意義上使用，而不用于限制的目的。