本發(fā)明的實施例涉及一種用于在3D空間中確定視線方向(即，方向向量)或視線(包括位置向量和方向向量)而不必用戶校準的3D圖像分析器，其中，用戶的視線方向是待確定的。進一步的實施例涉及一種用于識別對準和/或視線方向的具有3D圖像分析器的圖像分析系統(tǒng)，并涉及一種用于識別對準和/或視線方向的相應(yīng)方法。
背景技術(shù)：
：關(guān)于自動確定人類視線方向，存在不同類別的系統(tǒng)。一種常見類別是基于視頻的系統(tǒng)，該系統(tǒng)利用一個或多個相機記錄人的眼睛并在線或離線分析這些視頻記錄以從其確定視線方向。以基于視頻確定視線方向為規(guī)則的系統(tǒng)，對于每個用戶，在使用之前以及在一些情況下附加地在使用期間(例如，當離開相機的檢測區(qū)時或者在用戶和系統(tǒng)之間的位置改變的情況下)，需要校準過程，以能夠確定用戶的視線方向。此外，這些系統(tǒng)中的一些系統(tǒng)需要非常具體限定的相機布置以及彼此的照明或者朝用戶的非常具體的相機布置以及關(guān)于用戶位置的先前知識(例如，在德國專利no.DE102004046617A1中所公開的)，以能夠執(zhí)行對視線方向的確定。因此，需要一種改進的構(gòu)思。技術(shù)實現(xiàn)要素：一個目的是允許有效且可靠的方向識別，例如，視線方向識別。該目的通過獨立權(quán)利要求來實現(xiàn)。其它實施例在從屬權(quán)利要求中限定。本發(fā)明的實施例創(chuàng)造一種用于確定視線方向或視線(包括例如視線方向向量和位置向量，例如，位置向量指示瞳孔中點以及視線方向向量開始的地方)或視點的3D圖像分析器，其中，所述3D圖像分析器被配置為至少接收基于第一圖像確定的一個第一組圖像數(shù)據(jù)以及基于第一圖像確定的另一組信息，其中，第一圖像包含將三維對象從第一視角顯示到第一圖像平面中所產(chǎn)生的圖案(例如，瞳孔、虹膜或橢圓的圖案)，并且其中，所述另一組也包含具有將同一三維對象從另一視角顯示到另一圖像平面中所產(chǎn)生的圖案的圖像，或者其中，所述另一組包含描述了三維對象的至少一個點與第一圖像平面之間的(相對)關(guān)系的信息。所述3D圖像分析器包括位置計算器和對準計算器。所述位置計算器被配置為基于第一組、根據(jù)另外圖像確定的另一組以及第一圖像和所述另外圖像的視角之間的幾何關(guān)系來計算三維空間內(nèi)圖案的位置，或者基于第一組以及第一圖像中至少兩個特性特征彼此之間在統(tǒng)計上評估的關(guān)系來計算三維空間內(nèi)圖案的位置，或者基于第一組以及三維對象的至少一個點與第一圖像平面之間的位置關(guān)系來計算三維空間內(nèi)圖案的位置。所述對準計算器被配置為按每圖像計算兩個可能的3D視線向量，并從這兩個可能的3D視線向量確定在三維空間中圖案被對準所根據(jù)的3D視線向量，其中，所述計算和所述確定基于第一組、所述另一組以及計算出的圖案的位置。因此，已經(jīng)認識到本發(fā)明的主旨是，基于通過上述位置計算器確定的圖案的位置-空間中對象的對準，例如，空間中瞳孔的對準(由此，視線方向)，和/或視線(包括視線方向向量和位置向量，例如，位置向量指示瞳孔中點以及視線方向向量開始的地方)，可以確定例如來自第一視角的至少一組圖像數(shù)據(jù)和附加信息和/或另一組圖像數(shù)據(jù)(來自另一視角)。通過位置計算器執(zhí)行對準的確定，其中，在第一步驟中，位置計算器確定圖案的位置。然后，從圖案的該特定位置開始，存在圖案可以被對準所根據(jù)的兩個可能的3D視線向量。因此，這兩個可能的3D視線向量例如被確定為使得圖案的光學畸變可以與圖案的基本形狀進行比較，并且從中確定圖案朝圖像的光學平面傾斜的量(參見第一組圖像數(shù)據(jù))。從在傾斜的情況下被描繪為橢圓的(圓形)瞳孔的示例開始，變得顯然的是，存在瞳孔相對于光學平面的兩個可能的傾斜度，這導致瞳孔的橢圓形狀的繪示。因此，對準計算器基于另一組圖像數(shù)據(jù)或基于附加信息進行確定，其中，所述另一組圖像數(shù)據(jù)或附加信息也基于第一組圖像信息來獲得，并對應(yīng)于理論上可行的傾斜度和/或?qū)嶋H3D視線向量，由此，對應(yīng)于實際視線方向。因此(通過使用3D位置計算和虛擬投影平面)，優(yōu)選地，可以確定視線方向向量和/或視線(包括所搜索圖案和方向向量)，而無需預先知曉瞳孔與相機之間的距離或者無需相機(例如，通過瞳孔中點)的光軸的精確定位。根據(jù)實施例，可以通過以下方式發(fā)生適用3D視線向量的確定和/或選擇：確定(來自另一視角的)另一組圖像數(shù)據(jù)的兩個另外的可能的3D視線向量，其中，來自第一組圖像數(shù)據(jù)的3D視線向量與來自另一組圖像數(shù)據(jù)的3D視線向量相對應(yīng)，由此，其是實際3D視線向量。備選地，根據(jù)另外的實施例，還可以例如在以下事實方面分析第一組圖像數(shù)據(jù)：(在瞳孔中點開始)通過這兩個可能的3D視線向量掃描第一圖像中描繪的眼睛鞏膜的多少像素。從而，選擇掃描鞏膜的較少像素的3D視線向量。替代對鞏膜的分析，還可行的是，選擇如下3D視線向量：沿其投影到圖像中的投影(從瞳孔中點開始)，瞳孔中點與眼睛睜開的邊緣之間的距離更小。根據(jù)另外的實施例，通過統(tǒng)計確定的關(guān)系，例如，兩個臉部特征(例如，鼻子、眼睛)之間的距離，也可以被協(xié)商，以計算圖案中的點(例如，瞳孔或虹膜中心)的3D位置。這些統(tǒng)計關(guān)系被預先確定并存儲在存儲器中。根據(jù)另外的實施例，上述圖案中的點的3D位置的確定不限于使用通過統(tǒng)計確定的值。其還可以基于上游計算器的結(jié)果而發(fā)生，其中，上游計算器提供臉部特征(例如，鼻子、眼睛)的3D位置或上面提到的圖案的3D位置。根據(jù)另外的實施例，從可能的3D視線向量中選擇實際3D視線向量還可以基于圖案(例如，瞳孔或虹膜中心)的3D位置并基于臉部特征(例如，眼睛的邊緣、嘴的邊緣)的上述3D位置而發(fā)生。根據(jù)另外的實施例，對準計算通過以下方式而發(fā)生：針對第一圖像計算由于包括光學交點周圍的光學特性的實際第一投影平面的旋轉(zhuǎn)所導致的第一虛擬投影平面，使得被定義為與第一虛擬投影平面垂直的第一虛擬光軸通過所識別的圖案的中點延伸。優(yōu)選地，根據(jù)另外的實施例，針對另外圖像，通過包括光學交點周圍的光學特性的實際第二投影平面的旋轉(zhuǎn)，計算第二虛擬位置，使得被定義為與第二虛擬投影平面垂直的第二虛擬光軸通過邊緣圖案的中點延伸。通過使用上述虛擬投影平面，之后可以基于第一圖像和第二圖像分別計算兩個可能的3D視線向量，其中一個相應(yīng)的3D視線向量(在理想情況下，確切地講，在與現(xiàn)實具有微小偏差的情況下)對應(yīng)于實際3D視線向量。根據(jù)另外的實施例，3D視線矢量可以通過一組方程來描述，其中，每個方程描述各個軸和各個虛擬投影平面相對于3D視線矢量的幾何關(guān)系。參考第一虛擬投影平面，通過第一方程，基于第一組圖像數(shù)據(jù)，可以描述3D視線向量，其中，可以得到第一方程的兩個解。參考第二虛擬投影平面，基于第二組圖像數(shù)據(jù)的第二方程導致關(guān)于3D視線向量的兩個(另外的)解。相應(yīng)地，可以通過第一方程的一個解向量與第二方程的一個解向量的測量平均來計算實際3D視線向量。這兩個向量通過以下事實來限定：它們的差小于這兩個方程的解向量的其他組合之間的差，使得系統(tǒng)從包括第一方程和第二方程的方程具有一個明確的解。第一方程的上述解向量等于第二方程的上述解向量+/-10％。根據(jù)另外的實施例，3D圖像分析器可以實現(xiàn)在包括例如選擇性自適應(yīng)數(shù)據(jù)處理器的處理單元中。根據(jù)另外的實施例，3D圖像分析器可以是用于跟蹤瞳孔的圖像分析系統(tǒng)的一部分。這種圖像分析系統(tǒng)通常包括用于至少一個相機的至少一個霍夫路徑，或者優(yōu)選地，用于至少兩個相機的兩個霍夫路徑。此外，每個霍夫路徑可以包括一個預處理器以及一個霍夫變換單元。附加地，該霍夫變換單元還可以包括用于分析收集到的圖案并用于輸出一組圖像數(shù)據(jù)的單元。根據(jù)另外的實施例，建立了一種用于確定視線方向或視線的方法。所述方法包括以下步驟：接收基于第一圖像確定的至少一個第一組圖像數(shù)據(jù)以及基于第一圖像或另外圖像確定的另一組信息，其中，第一圖像將三維對象的圖案從第一視角顯示在第一圖像平面中，并且其中，所述另一組包含具有將同一三維對象從另一視角顯示到另一圖像平面中所產(chǎn)生的圖案的圖像，或者包括描述三維對象的至少一個點與第一圖像平面之間的關(guān)系的信息。所述方法還包括以下步驟：基于第一組、根據(jù)另外圖像確定的另一組以及第一圖像和所述另外圖像的視角之間的幾何關(guān)系來計算三維空間中圖案的位置，或者基于第一組以及第一圖像中至少兩個特性特征彼此之間在統(tǒng)計上確定的關(guān)系來計算三維空間中圖案的位置，或者基于第一組以及三維對象的至少一個點與第一圖像平面之間的位置關(guān)系來計算三維空間中圖案的位置。在第三步驟中，在三維空間中計算圖案被對準所根據(jù)的3D視線向量，其中，所述計算基于第一組圖像數(shù)據(jù)、所述另一組信息以及計算的圖案的位置而發(fā)生。根據(jù)另外的實施例，該方法可以由計算機執(zhí)行。在這方面，另外的實施例涉及一種具有用于執(zhí)行上述方法的程序代碼的計算機可讀數(shù)字存儲介質(zhì)。附圖說明隨后，基于附圖示出本發(fā)明的實施例。附圖中示出了：圖1是根據(jù)實施例的3D圖像分析器的示意框圖；圖2a是根據(jù)實施例的具有預處理器和霍夫變換單元的霍夫處理器的示意框圖；圖2b是根據(jù)實施例的預處理器的示意框圖；圖2c是用于檢測直線(線段)的霍夫核的示意圖示；圖3a是根據(jù)實施例的霍夫變換單元的可能實現(xiàn)的示意框圖；圖3b是根據(jù)實施例的減速矩陣的單個單元；圖4a至圖4d是根據(jù)實施例的霍夫變換單元的進一步實現(xiàn)的示意框圖；圖5a是根據(jù)實施例的具有兩個圖像處理器和后處理單元的立體相機組件的示意框圖，其中，每個圖像處理器包括一個霍夫處理器；圖5b是用于說明利用圖5a的單元可行的視點檢測以及用于解釋在單視場情況下的視點檢測的眼睛的示例性圖像；圖6至圖7進一步示出了對附加實施例和/或方面的解釋；圖8a至圖8c是與投影平面相關(guān)的光學系統(tǒng)的示意圖示；以及圖8d是具有在相關(guān)描述中提及的參數(shù)的橢圓的示意圖示；圖8e是將3D空間中的圓描述為平面的橢圓以說明基于橢圓的參數(shù)計算3D空間中的圓的對準的示意圖示；以及圖9a至圖9i進一步示出了對霍夫變換單元的背景知識的解釋。具體實施方式以下，參考附圖詳細描述本發(fā)明的實施例。應(yīng)當注意的是，用相同的附圖標記提供相同的元件，使得其描述彼此適用和/或可交換。圖1示出了具有位置計算器404和對準計算器408的3D圖像分析器400。3D圖像分析器被配置為基于至少一組圖像數(shù)據(jù)，然而優(yōu)選地基于第一組圖像數(shù)據(jù)和第二組圖像數(shù)據(jù)，確定3D空間中的視線方向(由此，3D視線方向)。與同樣確定的視線上的點(例如，3D空間中的瞳孔或虹膜中心)一起，從該點以及上述視線方向，產(chǎn)生3D視線，其還可以用作計算3D視點的基礎(chǔ)。用于進行確定的基本方法包括三個基本步驟：接收基于第一圖像802a(參見圖8a)確定的至少一個第一組圖像數(shù)據(jù)以及基于第一圖像802a和另外圖像802b確定的另一組信息。從而，第一圖像802a從第一圖像平面的第一視角顯示三維對象806a的圖案804a(參見圖8b)。所述另一組通常包括另外圖像802b。對于另外的實施例，備選地，所述另一組還可以包含以下信息(而非具體的圖像數(shù)據(jù))中的一項或多項：三維對象806a的點PMP與第一圖像平面802之間的位置關(guān)系、在臉部或眼睛中若干特征點彼此之間的位置關(guān)系、在傳感器方面臉部或眼睛中的特征點的位置關(guān)系、臉部的位置和對準。在下一步驟中，基于第一組、所述另一組以及第一圖像802a與第二圖像802的視角之間的幾何關(guān)系，來計算三維空間中圖案806a的位置。備選地，可以基于第一組以及第一圖像804a中的至少兩個特性特征彼此之間的在統(tǒng)計上評估的關(guān)系來計算三維空間中圖案806的位置。該單元操作的最后步驟涉及計算三維空間中圖案804a和804b所對準到的3D視線向量。該計算基于第一組和第二組而發(fā)生。以下通過圖8a至圖8e描述用于該視線方向計算的詳細計算示例。計算瞳孔中點如已描述的，通過相機鏡頭808a和808b描繪圓形瞳孔806a，在圖像傳感器802a和802b上分別出現(xiàn)了橢圓瞳孔投影(參見圖8a)。瞳孔的中心位于兩個傳感器802a和802b上，因此，在各個相機圖像中還總是描繪出橢圓的中點EMPK1和EMPK2。因此，由于這兩個橢圓中點EMPK1和EMPK2的立體背投影(stereoscopicrearprojection)，可以通過物鏡模型確定3D瞳孔中點。與之相關(guān)的可選需求是理想的時間同步的圖像，使得所描述的從兩個相機拍攝的場景相同，并因此，在相同位置采集到瞳孔中點。最初，針對每個相機，必須計算橢圓中點的背投影光束RS，其沿著對象與在光學系統(tǒng)的物側(cè)(H1)的交點之間的相交光束行進(圖8a)。RS(t)=RS0+t·RSn→---(A1)]]>該背投影光束由方程(A1)定義。其包括起始點RS0和標準化的方向向量從而從物鏡的兩個主點H1和H2以及從傳感器平面中的橢圓中心EMP，導致方程(A2)和(A3)所示的所用物鏡模型(圖8b)。為此，三個點(H1、H2和EMP)必須全部可用于眼睛跟蹤器坐標系。RS0＝H1(A2)RSn→H2-EMP|H2-EMP|---(A3)]]>主點可以通過以下方程來計算：H2=KO+b·Kn→]]>以及H1=KO+(b+d)·Kn→,]]>直接來自物鏡和相機參數(shù)(圖8b)，其中，KO是相機傳感器平面的中點，是相機傳感器平面的法向向量?？梢詮挠梢韵路匠烫峁┑南惹按_定的橢圓中心參數(shù)xm和ym計算相機坐標系中的3D橢圓中心：PCamera=PCameraxPCamerayPCameraz=(PimagexPimagey0+SoffsetxSoffsety0-12·SresxSresy0)·SPxGr]]>其中，Pimage是相機圖像的像素分辨率，Soffset是傳感器上的開始讀出圖像的位置，Sres是傳感器的分辨率，SPxGr是傳感器的像素大小。在理想情況下，所搜索瞳孔中點是兩個背投影光束RSK1和RSK2的交點。然而，利用實際確定的模型參數(shù)和橢圓中點，已經(jīng)通過最小測量誤差，在3D空間中不再產(chǎn)生直線的交點。在該系列中既不相交也不平行的兩條直線在幾何中被指定為斜線(skewline)。在背投影的情況下，可以假設(shè)這兩條斜線非常接近地分別通過瞳孔中點。因此，瞳孔中點在這兩條直線之間的線的一半上位于它們彼此距離最小的位置。兩條斜線之間的最短距離由與這兩條直線垂直的連接線來表示?？梢愿鶕?jù)方程(A4)計算在兩個背投影光束上的垂直直立線的方向向量作為其方向向量的交叉乘積。n→St=RSn→K1xRSn→K2---(A4)]]>背投影光束之間的最短連接線的位置由方程(A5)來定義。通過使再RSK1sRSK2t和產(chǎn)生可以計算s、t和u的方程組。RSKI(s)+un→StRSK2(t)---(A5)]]>因此，在使用針對s和u計算的值之后，位于背投影光束之間的線的一半處的所搜索瞳孔中點PMP產(chǎn)生于方程(A6)。PMP=RSK1(s)+u2·n→St---(A6)]]>作為用于所計算的瞳孔中點的精度的指示符，附加地，可以計算背投影光束之間的最小距離dRS。模型參數(shù)和橢圓參數(shù)越精確，dRS越小。dRS=u·|n→St|---(A7)]]>計算出的瞳孔中點是這兩種參數(shù)之一，這兩種參數(shù)確定將由眼睛跟蹤器確定的眼睛的視線。此外，需要計算以下描述的視線方向向量用于計算瞳孔中點的該方法的優(yōu)點是，相機到眼睛之間的距離不必牢牢地存儲在系統(tǒng)中。例如，這是在DE102004046617A1的專利說明書中描述的方法所需要的。視線方向向量的計算要確定的視線方向向量對應(yīng)于圓形瞳孔表面的法向向量，因此，是由于3D空間中指定的瞳孔的對準。從針對瞳孔在相機傳感器上的兩個橢圓形狀的投影可以確定的橢圓參數(shù)，可以確定瞳孔的位置和對準。由此，投影橢圓的兩個半軸的長度以及旋轉(zhuǎn)角度顯示出瞳孔和/或視線方向相對于相機位置的對準的特性。例如在DE102004046617A1的專利說明書中描述了一種用于從橢圓參數(shù)以及眼睛跟蹤系統(tǒng)中牢牢存儲的相機和眼睛之間的距離來計算視線方向的方法。如圖8e所示，該方法假設(shè)平行投影，由此，通過傳感器法線和投影到傳感器的瞳孔的中點所限定的直線通過瞳孔中點。為此，需要預先知道相機到眼睛的距離并將其牢牢地存儲在眼睛跟蹤系統(tǒng)中。然而，利用該方法中呈現(xiàn)的相機物鏡的模型(其描述了實際對象的顯示行為)，發(fā)生對象到圖像傳感器的立體投影(perspectiveprojection)。由于此，可以執(zhí)行瞳孔中點的計算，并且不必預先知道相機到眼睛的距離，與上面提到的專利說明書相比，這構(gòu)成了重要改進之一。然而，由于立體投影，在傳感器上顯示的瞳孔橢圓的形狀與平行投影的結(jié)果相反，不僅是因為瞳孔相對于傳感器表面的傾斜。如圖8b所示，瞳孔中點與相機物鏡的光軸之間的偏轉(zhuǎn)角(deflection)δ同樣地影響瞳孔投影的形狀，并因此影響從其確定的橢圓參數(shù)。與圖8b的圖示相反，瞳孔與相機之間的幾百毫米的距離相對于在2mm和8mm之間的瞳孔半徑非常大。因此，隨著瞳孔相對于光軸的傾斜所發(fā)生的瞳孔投影與理想橢圓形狀的偏差非常小，并可以忽略。為了能夠計算視線方向向量必須消除角度δ對橢圓參數(shù)的影響，使得瞳孔橢圓的形狀僅受瞳孔的對準影響。如果瞳孔中點PMP直接位于相機系統(tǒng)的光軸上，則總是進行這種假定。因此，可以通過計算虛擬相機系統(tǒng)vK的傳感器上的瞳孔投影來消除角度δ的影響，其中，所述虛擬相機系統(tǒng)vK的光軸直接通過先前計算的瞳孔中點PMP，如圖8c所示?？梢詮脑枷鄼C系統(tǒng)804a(圖8b中的K)繞其物側(cè)主點H1旋轉(zhuǎn)的參數(shù)來計算這種虛擬相機系統(tǒng)804a’(圖8c中的vK)的位置和對準。因此，這同時對應(yīng)于虛擬相機系統(tǒng)804a’的物側(cè)主點vH1。因此，所示對象的相交光束的方向向量在虛擬光學系統(tǒng)808c’的前面和后面，與原始相機系統(tǒng)中的相同。在眼睛跟蹤器坐標系中發(fā)生用于確定視線方向向量的所以進一步計算。如下獲得虛擬相機vK的標準的法向向量vKn→=PMP-H1|PMP-H1|---(A8)]]>對于進一步的過程，需要計算繞眼睛跟蹤器坐標系的繞x軸(vKθ)、繞y軸以及繞z軸(vKψ)的旋轉(zhuǎn)角度，以獲得向量其中，必須旋轉(zhuǎn)關(guān)于眼睛跟蹤器坐標系的幾個軸的眼睛跟蹤器坐標系的z方向的單位向量。由于眼睛跟蹤器坐標系的x方向的單位向量以及y方向的單位向量大約旋轉(zhuǎn)角度vKθ、和vKψ，可以計算向量vKx和其指示眼睛跟蹤器坐標系中的虛擬傳感器的x軸和y軸。為了獲得虛擬相機系統(tǒng)804a’(圖8c)的位置，必須按照其位于瞳孔中點PMP的相交光束上的方式，通過利用方程(A9)計算其位置向量和/或坐標原點vK0，其中，坐標原點vK0同時是圖像傳感器的中點。vK0=vH1-(d+b)·vKn→---(A9)]]>為此所需的主點之間的距離d以及主平面2與傳感器平面之間的距離b必須已知或例如通過實驗裝置來確定。此外，像側(cè)主點的位置產(chǎn)生于方程(A10)vH2=vH1-d·vKn→---(A10)]]>為了計算虛擬傳感器804a’上的瞳孔投影，最初，需要原始位置中的傳感器上的先前確定的橢圓的邊緣點RP3D。這些邊緣點產(chǎn)生于相機圖像中的橢圓E的邊緣點RP2D，其中與圖8d相對應(yīng)地，Ea是橢圓的短半軸，Eb是橢圓的長半軸，和是橢圓的中點坐標，Eα是橢圓的旋轉(zhuǎn)角度?？梢詮腅、傳感器S和相機K的參數(shù)，通過方程(A11)至(A14)計算眼睛跟蹤器坐標系中的一個點RP3D的位置，其中，指示根據(jù)圖8d的邊緣點RP2D在橢圓圓周上的位置。x′y′=Ea·cos(ω)Eb·sin(ω)---(A11)]]>RP2D=x′·cos(Eα)+y′·sin(Eα)+Exm-x′·sin(Eα)+y′·cos(Eα)+Eym---(A12)]]>s1t1=(RP2D·12·Sres-Soffet)·SPxGr---(A13)]]>RP3D=K0+s1·Kx→+t1·Ky→---(A14)]]>將瞳孔邊緣點顯示為傳感器上的橢圓邊緣點RP3D的原始相機系統(tǒng)中的一個相交光束KS的方向與將同一瞳孔邊緣點顯示為虛擬傳感器上的橢圓邊緣點RP3D的虛擬相機系統(tǒng)中的相交光束vKS的方向相同。圖8b和圖8c中的橢圓邊緣點的相交光束證明了這方面。因此，兩個光束KS和vKS具有從方程(A15)產(chǎn)生的相同的方向向量。對于虛擬傳感器側(cè)相交光束vKS的位置向量vKS0，vKS0＝vH2總是適用的。vKSn→=KSn→=RP3D-H2|RP3D-H2|---(A15)]]>與虛擬相機vK的x-y平面相對應(yīng)的虛擬傳感器平面和虛擬相交光束在方程(A16)中換算，其中，通過求解s2和t2，獲得它們交點的參數(shù)。經(jīng)此，可以通過方程(A17)計算虛擬相機的圖像中的像素坐標中的橢圓邊緣點。vKS0+r2·vKSn→=K0+s2·Kx→+t2·Ky→---(A16)]]>vRP2D=s2t2·1SPxGr+(12Sres-Soffset)---(A17)]]>之后，從一些虛擬邊緣點vRP2D，可以通過橢圓擬合來計算虛擬橢圓vE的參數(shù)，例如，利用根據(jù)Fitzgibbon等的“直接最小二乘擬合”算法。為此，需要至少六個虛擬邊緣點vRP2D，其中，可以通過使用方程(A11)中的幾個ω與上述路徑來計算所述虛擬邊緣點。這樣確定的虛擬橢圓vE的形狀僅取決于瞳孔的對準。此外，虛擬橢圓vE的中點總是在虛擬傳感器的中心，并且與和相機法線相對應(yīng)的傳感器法線一起形成沿通過瞳孔中點PMP的光軸延伸的直線。因此，滿足了其后基于DE102004046617A1的專利說明書中所呈現(xiàn)的方法計算視線方向的需求。從而，利用該方法，現(xiàn)在也可以通過使用上述虛擬相機系統(tǒng)來確定視線方向，如果瞳孔中點位于實際相機系統(tǒng)的光軸的軸之外(在實際應(yīng)用中幾乎總是這種情況)。如圖8e所示，現(xiàn)在，在虛擬主平面1中接受先前計算的虛擬橢圓vE。由于vE的中點位于虛擬傳感器的中心，因此，在光軸上，3D橢圓中點vE‘MP對應(yīng)于虛擬主點1。同時，其是虛擬主平面1中的瞳孔中點PMP的丟棄的垂腳(perpendicularfoot)。以下，僅使用橢圓vE的長短軸比和旋轉(zhuǎn)角度。vE的這些形狀參數(shù)因而可以相對于主平面1不變地使用，因為它們參考的2D傳感器平面的x軸和y軸的對準與3D傳感器平面相對應(yīng)，并因此還對應(yīng)于主平面1的對準?？梢酝ㄟ^瞳孔的兩種不同的對準來產(chǎn)生相機圖像中的瞳孔806a的每個圖像。因此，在評估瞳孔形狀期間，如圖8e所示，從每個相機的結(jié)果產(chǎn)生視圖的兩個可能直線與虛擬主平面1的兩個虛擬交點vS。與圖8e中的幾何比率相對應(yīng)地，可以如下確定兩個可能的視線方向和已知瞳孔中點與橢圓中點vE’MP之間的距離A是：A＝|vH1-PMP|(A18)由此，可以利用方程A19確定r。r=a2-b2b·A---(A19)]]>針對以下方程，類似地計算兩個方向向量以及其中，從vH1至vS1以及至vS2對準所述兩個方向向量：Mθ=cos(θ)0sin(θ)010-sin(θ)0cos(θ)]]>根據(jù)vKθ，vKψ和vEα：之后，可以確定兩個虛擬交點vS1以及vS2，并且由此，可能的視線方向以及vS1=vH1+r·rn→,1---(A22)]]>vS2=vH1+r·rn→,2---(A23)]]>Pn→,1=vS1-PMP|vS1-PMP|---(A24)]]>Pn→,2=vS2-PMP|vS2-PMP|---(A25)]]>為了確定實際視線方向，需要相機1(以及)和相機2(以及)的可能視線方向。從這四個向量中，每個相機的相應(yīng)的一個向量指示實際視線方向，因此，理想地，這兩個標準的向量相同。為了識別它們，對于所有四種可能組合，從一個相機的向量并從另一相機的向量，形成分別選擇的可能視線方向向量的差。具有最小差的組合包含所搜索的向量。通常，這些導致待確定的視線方向向量當平均時，必須假設(shè)幾乎同時捕獲到圖像，使得兩個相機收集到相同的瞳孔位置以及相同的對準，并因此，相同的視線方向。作為所計算的視線方向向量的準確性的測量，附加地，可以計算指示實際視線方向的兩個平均向量和之間的角度Wdiff。Wdiff越小，到目前為止計算所用的模型參數(shù)和橢圓中點越準確?？梢岳靡韵路匠逃嬎阆鄬τ谕椎姆ň€位置的視點θBW和φBW(平行于眼睛跟蹤器坐標系的z軸)：以及在應(yīng)當考慮視線方向與眼睛的光軸和/或與瞳孔法線的系統(tǒng)偏差的情況下，可以將相應(yīng)角度與所確定的視點θBW和φBW相加。然后，必須通過以下方程計算新的視線方向向量：從新視點θBW’和φBW’以及利用視線方向向量(除了來自方程A6的瞳孔中點PMP之外)，還已知將由3D圖像分析器確定的視線(LoS)的第二參數(shù)。這可以從以下方程推導出。LoS(t)=PMP+t·Pn→.]]>以上介紹的方法的實施不依賴于平臺，從而以上介紹的方法也可以在例如PC的不同硬件平臺上執(zhí)行。圖2a示出了具有預處理器102和霍夫變換單元104的霍夫處理器100。預處理器102構(gòu)成了第一信號處理階段并在信息上連接到霍夫變換單元104?；舴蜃儞Q單元104具有延遲濾波器106，其可以包括至少一個(然而，優(yōu)選地，多個)延遲元件108a、108b、108c、110a、110b和110c。延遲濾波器106的延遲元件108a至108c以及110a至110c通常布置為矩陣，因此，在列108和110與行a至c中，信令連接到彼此。根據(jù)圖2a中的實施例，延遲元件108a至108c和/或110a至110c中的至少一個具有可調(diào)節(jié)的延遲時間，這里通過“+/-”符號來表現(xiàn)。為了激活延遲元件108a至108c以及110a至110c和/或為了對其進行控制，可以提供單獨的控制邏輯和/或控制寄存器(未示出)。該控制邏輯經(jīng)由可選的切換元件109a至109c和/或111a至111c控制各個延遲元件108a至108c和/或110a至110c的延遲時間，例如，所述可選的切換元件109a至109c和/或111a至111c可以包括復用器和旁路?；舴蜃儞Q單元104可以包括附加配置寄存器(未示出)，用于對各個延遲元件108a至108c以及110a至110c進行初始配置。預處理器102的目標在于，通過各個樣本112a、112b和112c可以被霍夫變換單元104有效處理的方式來處理各個樣本112a、112b和112c。為此，預處理器102接收圖像數(shù)據(jù)和/或多個樣本112a、112b和112c，并且例如以旋轉(zhuǎn)的形式和/或以反折(reflection)的形式執(zhí)行預處理，以向霍夫變換單元104輸出幾個版本(參見112a和112a’)。如果霍夫變換單元104具有一個霍夫核106，則該輸出可以連續(xù)地發(fā)生，或者如果提供了幾個霍夫核，則該輸出還可以并行地發(fā)生。因此，這意味著，根據(jù)該實施方式，n個版本的圖像被整體并行地輸出和處理，被半并行地(由此，僅部分并行地)輸出和處理，或者被連續(xù)地輸出和處理。預處理器102中的預處理用于利用搜索圖案或霍夫核配置檢測幾個類似圖案(上升和下降的直線)，以下通過利用第一樣本112a對其進行說明。例如，該樣本可以被旋轉(zhuǎn)例如大約90°，以獲得旋轉(zhuǎn)版本112a’。該旋轉(zhuǎn)過程具有附圖標記114。由此，旋轉(zhuǎn)可以發(fā)生大約90°，還可以是大約180°或270°或者一般地大約360°/n，借以應(yīng)當注意的是，根據(jù)下游霍夫變換(參見霍夫變換單元104)，僅進行90°旋轉(zhuǎn)會是非常有效的。參照圖2b和圖2c解決這些次方面。此外，圖像112a還可以被反折，以獲得反折版本112a”。反折的過程具有附圖標記116。反折116對應(yīng)于存儲器的向后讀出?；诜凑郯姹?12a”以及基于旋轉(zhuǎn)版本112a’，通過執(zhí)行過程114或116，可以從旋轉(zhuǎn)且反折版本112a”’獲得第四版本。基于反折116，檢測到如隨后所述的具有相同霍夫核配置的兩個相似圖案(例如，向右開的半圓和向左開的半圓)?；舴蜃儞Q單元104被配置為在由預處理器102提供的版本112a或112a’(或112a”或112a”’)中檢測預定的搜索圖案，例如橢圓或橢圓的一部分、圓或圓的一部分、直線或一段。為此，與所搜索預定圖案相對應(yīng)地配置濾波器裝置。根據(jù)各個配置，延遲元件108a至108c或110a至110c中的一些被激活或旁路(bypassed)。因此，當將待檢查的圖像112a或112a’的片帶(filmstrip)應(yīng)用于變換單元104時，一些像素被延遲元件108a至108c選擇性地延遲，這對應(yīng)于中間存儲，而其他像素被直接發(fā)送到下一列110。由于該過程，彎曲的或傾斜的幾何形狀“變直”。根據(jù)加載的圖像數(shù)據(jù)112a或112a’和/或確切地講，根據(jù)圖像112a或112a’的所應(yīng)用行的圖像結(jié)構(gòu)，在列108或110之一中發(fā)生高列量(columnamount)，而其他列中的列量較低。列量經(jīng)由列量輸出108x或110x而輸出，這里借以可選地，可以提供用于建立每個列108或110的列量的加法元件(未示出)。利用列量中的一個列量的最大值，可以假設(shè)存在所搜索圖像結(jié)構(gòu)或所搜索圖像結(jié)構(gòu)的一部分或者至少存在與所搜索結(jié)構(gòu)的一致性的關(guān)聯(lián)度。因此，這意味著，按每個處理步驟，片帶被進一步移動大約一個像素或大約一個列108或110，從而利用每個處理步驟，通過起始直方圖，可以識別出是否檢測到所搜索結(jié)構(gòu)之一，或者存在所搜索結(jié)構(gòu)的可能性是否相應(yīng)地高。換言之，這意味著，覆蓋列108或110的各自列量的閾值表明檢測到所搜索圖像結(jié)構(gòu)的一部分，借以每個列108或110與所搜索圖案或所搜索圖案的特征(例如，直線的角度或圓的半徑)相關(guān)聯(lián)。這里應(yīng)當注意的是，對于各個結(jié)構(gòu)，不僅相應(yīng)線110的各延遲元件110a、110b和110c是決定性的，而且具體地，與在后延遲元件110a、110b和110c結(jié)合的在前延遲元件108a、108b和108c也是決定性的。與目前工藝水平相對應(yīng)地，延遲元件或旁路的這種激活或結(jié)構(gòu)是先驗預定的。經(jīng)由可變延遲元件108a至108c或110a至110c(延遲元件)，可以在正在進行的操作期間調(diào)整所搜索特征(由此，例如，半徑或增幅)。由于各列108和110彼此連接，在調(diào)節(jié)延遲元件108a至108c或110a至110c之一的延遲時間的過程中發(fā)生濾波器106的整個濾波器特性的改變。由于霍夫變換單元104的濾波器106的濾波器特性的靈活調(diào)節(jié)，可以在運行期間調(diào)整變換核106，從而可以收集并利用相同霍夫核106跟蹤例如動態(tài)圖像內(nèi)容(例如對于小瞳孔和大瞳孔)。在圖3c中，其涉及關(guān)于延遲時間可以如何調(diào)節(jié)的確切實現(xiàn)。為了實現(xiàn)具有更大靈活性的霍夫處理器100或變換單元104，優(yōu)選地，將所有延遲元件108a、108b、108c、110a、110b和/或110c(或所提及的延遲元件中的至少一個)實施為具有可變延遲時間或可離散切換的延遲時間，從而在正在進行的操作期間，可以在待檢測的不同圖案之間或在待檢測的圖案的不同特征之間切換。根據(jù)另外的實施例，所示的霍夫核104的大小是可配置的(在操作期間或在之前)，從而可以激活或停用附加霍夫單元(Houghcell)。根據(jù)另一實施例，變換單元104可以連接到用于例如利用控制器(未示出)調(diào)節(jié)相同延遲元件，或者確切地講用于調(diào)節(jié)各延遲元件108a至108c以及110a至110c的裝置?？刂破骼绮贾迷谙掠翁幚韱卧?，并被配置為調(diào)節(jié)濾波器106的延遲特性，如果圖案不能被識別，或者如果識別不是足夠好(圖像內(nèi)容與存在所搜索圖案時的所搜索圖案的低一致性)。參照圖5a，其涉及該控制器。上述實施例具有以下優(yōu)點：實現(xiàn)起來容易且靈活，并且特別地能夠?qū)崿F(xiàn)在FPGA(現(xiàn)場可編程門陣列)上。這衛(wèi)所涉及的背景是，上述并行霍夫變換的進展沒有衰退并且這么說是完全并行化的。因此，進一步的實施例涉及FPGA，其至少具有霍夫變換單元104和/或預處理器102。將上述設(shè)備實現(xiàn)為FPGA，例如XILINXSpartan3ADSP，可以通過使用96MHz的頻率來實現(xiàn)例如60FPS的非常高的幀率以及640×480的分辨率，由于具有多個列108和110的上述結(jié)構(gòu)104，可以進行并行處理或所謂的并行霍夫變換。在這點上應(yīng)當注意的是，關(guān)于以上及之后的實施例，首要地，用“視線方向”或“視線向量”表示眼睛的光軸。眼睛的該光軸應(yīng)與眼睛的視軸相區(qū)分，然而，其中，眼睛的光軸可以用作對視軸的估計，因為這些軸通常彼此依賴。因此，例如，通過包括眼睛的光軸的校正角度，可以計算方向或方向向量，甚至這是對眼睛的實際視軸的對準的明確更好的估計。圖2a和圖2b示出了預處理器102，其用于對具有幀112a、112b和112c的視頻數(shù)據(jù)流112進行預處理。預處理器102被配置為接收樣本112作為二值邊緣圖像或者甚至作為梯度圖像，并基于所述圖像執(zhí)行旋轉(zhuǎn)114或反折116，以獲得四個版本112a、112a’、112a”和112a”’。為此，背景是，通常，由霍夫變換單元執(zhí)行的并行霍夫變換基于圖像112a的兩個或四個分別經(jīng)預處理的例如轉(zhuǎn)移大約90°的版本。如圖2b所示，最初，在兩個版本112a和112a’被水平反折(參見112a到112a”以及112a’到112a”’)之前，發(fā)生90°旋轉(zhuǎn)(112a到112a’)。為了執(zhí)行反折116和/或旋轉(zhuǎn)114，預處理器在相應(yīng)實施例中具有內(nèi)部或外部存儲器，其用于裝載接收到的圖像數(shù)據(jù)112。預處理器102的旋轉(zhuǎn)114和/或反折116的處理取決于下游霍夫變換、并行霍夫核的數(shù)目(并行化程度)和并行霍夫核的配置，如參照圖2c具體描述的。在這方面，預處理器102可以被配置為經(jīng)由輸出126，根據(jù)與以下三個星座圖(constellation)之一相對應(yīng)的下游霍夫變換單元104的并行化程度而輸出預處理后的視頻流：100％并行化：同時輸出四個視頻數(shù)據(jù)流，即，一個非旋轉(zhuǎn)且非反折的版本112a、一個旋轉(zhuǎn)大約90°的版本112a’以及分別反折的版本112a”和112a”’。50％并行化：在第一步中輸出兩個視頻數(shù)據(jù)流，即，非旋轉(zhuǎn)的112a和反折大約90％的112a’，并且在第二步中輸出分別反折的變體112a”和112a”’。25％并行化：順序地分別輸出一個視頻數(shù)據(jù)流，即，非旋轉(zhuǎn)的112a、旋轉(zhuǎn)大約90°的112a’、反折的112a”以及反折且旋轉(zhuǎn)的112a”’。作為以上變體的替代，還將想到，基于第一版本，建立另外三個完全旋轉(zhuǎn)的版本，例如，旋轉(zhuǎn)大約90°、180°和270°，基于此，執(zhí)行霍夫變換。根據(jù)另外的實施例，預處理器102可以被配置為執(zhí)行進一步圖像處理步驟，例如上采樣。附加地，預處理器還可以創(chuàng)建梯度圖像。對于梯度圖像創(chuàng)建將是圖像預處理的部分的情況，灰度值圖像(初始圖像)可以在FPGA中旋轉(zhuǎn)。圖2c示出了兩個霍夫核配置128和130，例如，對于兩個并行31×31霍夫核，被配置為識別直線或直線段。此外，應(yīng)用單位圓132，以說明在哪個角部分(anglesegment)中可以進行檢測。在這點上應(yīng)當注意的是，要以白點示出延遲元件的方式來分別查看霍夫核配置128和130?；舴蚝伺渲?28對應(yīng)于所謂的類型1霍夫核，而霍夫核配置120對應(yīng)于所謂的類型2霍夫核。從這兩個霍夫核配置128和130的比較可以得出，一個構(gòu)成了另一個的逆。利用第一霍夫核配置128，可以檢測3π/4和π/2之間的部分1中的直線，而可以通過利用霍夫核配置130檢測部分3π/2到5π/4(部分2)中的直線。為了實現(xiàn)在其他部分中的檢測，如上所述，將霍夫核配置128和130應(yīng)用于各個圖像的旋轉(zhuǎn)版本。因此，通過利用霍夫核配置128，可以收集π/4和零之間的部分1r，并且通過利用霍夫核配置130，可以收集π和3π/4之間的部分2r。備選地，當僅使用一個霍夫核(例如，類型1霍夫核)時，圖像一次旋轉(zhuǎn)大約90°、一次旋轉(zhuǎn)大約180°以及一次旋轉(zhuǎn)大約270°會是有用的，以收集直線對準的上述變體。另一方面，由于靈活性，在霍夫核的配置期間，可以僅使用一種霍夫核類型，該類型在正在進行的操作期間被重新配置，或者關(guān)于該類型，各個延遲元件可以通過霍夫核與逆類型相對應(yīng)的方式被打開或關(guān)閉。因此，換言之，這意味著，當使用預處理器102(在50％并行化操作中)以及僅具有一個霍夫核且僅具有一次圖像旋轉(zhuǎn)的可配置霍夫變換單元104時，可以顯示整個功能，否則只能通過兩個并行霍夫核來涵蓋整個功能。在這方面，變得清楚的是，各個霍夫核配置或?qū)舴蚝祟愋偷倪x擇取決于由預處理器102執(zhí)行的預處理。圖3a示出了具有m列108、110、138、140、141和143以及n行a、b、c、d、e和f從而形成m×n個單元的霍夫核104。濾波器的列108、110、138、140、141和143表示所搜索結(jié)構(gòu)的特定特性，例如，對于特定曲線或特定直線增幅。每個單元包括延遲元件，其在延遲時間方面是可調(diào)節(jié)的，借以在該實施例中，由于提供了具有旁路的可切換延遲元件的事實，實現(xiàn)了調(diào)節(jié)機制。以下，參照圖3b，代表性地描述所有單元的構(gòu)造。圖3b的單元(108a)包括延遲元件142、諸如復用器的遠程可控開關(guān)144以及旁路146。通過遠程可控開關(guān)144，行信號可以經(jīng)由延遲元件142來傳送，或者可以未延遲的導向交點148。一方面，交點148連接到針對列(例如108)的量元件150，而另一方面，經(jīng)由該交點148，還連接了下一單元(例如110a)。通過所謂的配置寄存器160(參見圖3a)配置復用器144。在這點上應(yīng)當注意的是，這里示出的附圖標記160僅與配置寄存器160的直接耦接到復用器144的一部分相關(guān)。配置寄存器160的元件被配置為控制復用器144，并經(jīng)由第一信息輸入160a接收配置信息，所述配置信息例如源自存儲在FPGA內(nèi)部BRAM163中的配置矩陣。該配置信息可以是按照逐個列的比特串，并與所配置的延遲單元(142+144)中的幾個延遲單元(還在變換期間)的配置相關(guān)。因此，可以經(jīng)由輸出160b另外發(fā)送所述配置信息。由于在操作的任意時間點進行重新配置是不可能的，配置寄存器160或配置寄存器160的單元經(jīng)由另外的信號輸入160c接收所謂的使能信號，通過該使能信號開始重新配置。關(guān)于這點的背景是，霍夫核的重新配置需要一定時間，這取決于延遲元件的數(shù)目或者具體地取決于列的大小。由此，對于每個列元件，關(guān)聯(lián)時鐘周期，并且由于BRAM163或配置邏輯160，發(fā)生較少時鐘周期的延遲。對于基于視頻的圖像處理，對重新配置的總延遲通常是可以忽略的。假設(shè)在本實施例中，利用CMOS傳感器記錄的視頻數(shù)據(jù)流具有水平消隱和垂直消隱，由此水平消隱或垂直消隱時間可以用于重新配置。由于這種情況，在FPGA中實現(xiàn)的霍夫核結(jié)構(gòu)的大小預先確定了針對霍夫核配置的最大尺寸。如果例如使用較小的配置，則這些配置垂直居中并在水平方向上與霍夫核結(jié)構(gòu)的列1對準?；舴蚝私Y(jié)構(gòu)的未使用元件全部用激活的延遲元件占用著。利用各延遲元件(142+144)以這種方式處理的數(shù)據(jù)流的評估逐列地發(fā)生。為此，逐列地進行合計，以檢測局部量最大值，其顯示出所識別的搜索結(jié)構(gòu)。每列108、110、138、140、141和143的總和用于確定分配給相應(yīng)列的值，該值表示對于結(jié)構(gòu)的特征之一與所搜索結(jié)構(gòu)的一致性的程度。為了按每列108、110、138、140、141或143確定列量的局部極大值，提供所謂的比較器108v、110v、138v、140v、141v或143v，它們連接到各個量元件150?？蛇x地，在不同列108、110、138、140、141或143的各個比較器108v、110v、138v、140v、141v、143v之間，還可以設(shè)置另外的延遲元件153，延遲元件153用于比較相鄰列的列量。詳細地，在濾波器的通過期間，針對所搜索圖案的特征具有一致性的最高程度的列108、110、138或140總是被挑選出濾波器。在檢測列量的局部最大值(比較之前、之后的列)期間，可以假設(shè)存在所搜索結(jié)構(gòu)。因此，比較的結(jié)果是列號(可能地包括列量＝一致性的程度)，其中，已經(jīng)識別出局部最大值，或者找到了所搜索結(jié)構(gòu)的特征，例如，列138。優(yōu)選地，該結(jié)果包括所謂的多維霍夫空間，該多維霍夫空間包括所搜索結(jié)構(gòu)的所有相關(guān)參數(shù)，例如，圖案的類別(例如，直線或半圓)、圖案的一致性的程度、結(jié)構(gòu)的特征(關(guān)于曲線段的曲線的強度或者關(guān)于直線段的增幅和長度)以及所搜索圖案的位置或方位。換言之，這意味著，對于霍夫空間中的每個點，將相應(yīng)結(jié)構(gòu)的灰度值添加在圖像段中。因此，形成了最大值，通過利用所述最大值，可以容易地定位霍夫空間中的所搜索結(jié)構(gòu)并且將所搜索結(jié)構(gòu)導回至圖像段。圖3b的霍夫核單元可以具有可選的流水線延遲元件162(流水線-延遲)，該流水線延遲元件162例如布置在該單元的輸出并且被配置為對通過延遲元件142延遲的信號以及通過旁路145未延遲的信號進行延遲。如參照圖1所示，這種單元還可以包括具有可變性的一個延遲元件或者多個切換且旁路的延遲元件，使得延遲時間在幾個階段中可調(diào)。在這方面，替代地，將想到在如圖3b所示的霍夫核單元的實現(xiàn)之外的其他實現(xiàn)。以下，參照圖5a說明圖像處理系統(tǒng)1000內(nèi)的上述設(shè)備的應(yīng)用。圖5a示出了具有預處理器102和霍夫變換單元104的FPGA實現(xiàn)的圖像處理器10a。此外，在預處理器102之前，可以在圖像處理器10a中實現(xiàn)輸入級12，輸入級12被配置為從相機14a接收圖像數(shù)據(jù)或圖像樣本。為此，輸入級12可以例如包括圖像交接部(imagetakeoverintersection)12a、分割和邊緣檢測器12b以及用于相機控制的裝置12c。用于相機控制的裝置12c連接到圖像交接部12a和相機14，并用于控制如加強明暗度(intensification)和/或光照的因素。圖像處理器10a還包括所謂的霍夫特征提取器16，其被配置為分析由霍夫變換單元104輸出的且包括用于圖案識別的所有相關(guān)信息的多維霍夫空間，并基于分析結(jié)果輸出所有霍夫特征的匯編(compilation)。詳細地，這里發(fā)生霍夫特征空間的平滑，即，借助本地濾波器的空間平滑或者霍夫空間的變薄(拒絕與圖案識別不相關(guān)的信息)。考慮圖案的類別和結(jié)構(gòu)的特征來執(zhí)行所述變薄，使得霍夫概率空間中的非極大值淡出。此外，對于變薄，還可以定義閾值，使得可以預先確定例如結(jié)構(gòu)的最小或最大可容許特征，例如最小或最大曲線或者最小或最大增幅。通過基于閾值的拒絕，還可以發(fā)生霍夫概率空間中的噪聲抑制。原始圖像段中的所有剩余點的參數(shù)的分析再變換導致例如以下霍夫特征：對于彎曲結(jié)構(gòu)，可以發(fā)送位置(x坐標和y坐標)、出現(xiàn)概率、半徑和角度(其表明弧向哪個方向打開)。對于直線，可以確定以下參數(shù)：位置(x坐標和y坐標)、出現(xiàn)概率、角度(表明直線的增幅)以及代表直線段的長度。該變薄的霍夫空間由霍夫特征提取器16輸出，或者一般地由圖像處理器10a輸出，以在后處理單元18處進行處理。另外的實施例包括使用圖像處理系統(tǒng)內(nèi)的3D圖像分析器400(圖5a)以及上游圖像處理器10a(圖5a)或上游霍夫處理器，其中，調(diào)整霍夫處理器以及具體地后處理單元18，用于檢測被顯示為橢圓的瞳孔或虹膜。霍夫處理器的后處理單元可以例如被實現(xiàn)為嵌入式處理器，并且根據(jù)其應(yīng)用，可以包括不同的子單元，以下對其進行示例性說明。后處理單元18(圖5a)可以包括霍夫特征后幾何轉(zhuǎn)換器202。該幾何轉(zhuǎn)換器202被配置為分析由霍夫特征提取器輸出的一個或多個預定義的搜索圖案，并輸出幾何解釋參數(shù)。因此，幾何轉(zhuǎn)換器202可以例如被配置為基于檢測到的霍夫特征輸出幾何參數(shù)，例如，第一直徑、第二直徑、關(guān)于橢圓(瞳孔)或圓的中點的移位和位置。根據(jù)優(yōu)選實施例，幾何轉(zhuǎn)換器202用于通過利用3到4個霍夫特征(例如，曲線)來檢測并選擇瞳孔。由此，包括如下標準：例如，與所搜索結(jié)構(gòu)或霍夫特征的一致性的程度、待檢測的霍夫特征或預定圖案的曲線、霍夫特征的位置和方位。所選霍夫特征組合被布置為：首先，根據(jù)所獲得的霍夫特征的量進行布置，并在第二行中，根據(jù)與所搜索結(jié)構(gòu)的一致性的程度進行布置。在布置之后，在該點的霍夫特征組合被選擇，并且據(jù)此，擬合橢圓，該橢圓最有可能在相機圖像內(nèi)表示瞳孔。此外，后處理單元18(圖5a)包括可選的控制器204，其被形成為將控制信號返回到圖像處理器10a(參見控制通道206)，或者確切地講，返回到霍夫變換單元104，基于此，濾波器106的濾波器特性是可調(diào)節(jié)的。關(guān)于濾波器核106的動態(tài)調(diào)節(jié)，控制器204通常連接到幾何轉(zhuǎn)換器202，以分析所識別的幾何形狀的幾何參數(shù)，并且以能夠?qū)缀涡螤钸M行更精確識別的方式在所定義邊界內(nèi)跟蹤霍夫核。該過程是連續(xù)的，例如，開始于上一霍夫核配置(上次使用的霍夫核的大小)并且一旦識別202提供了不足的結(jié)果就被跟蹤。因此，對于瞳孔或橢圓檢測的上述示例，如果人接近相機14a，則控制器可以調(diào)節(jié)橢圓大小，例如，這取決于待記錄的對象與相機14a之間的距離。基于上次調(diào)節(jié)并基于橢圓的幾何參數(shù)，濾波器特性的控制據(jù)此發(fā)生。根據(jù)另外的實施例，后處理單元18可以具有選擇性的自適應(yīng)數(shù)據(jù)處理器300。該數(shù)據(jù)處理器的目的是，對數(shù)據(jù)序列內(nèi)的異常值(outlier)和流失值(dropout)進行后處理，以例如執(zhí)行數(shù)據(jù)序列的平滑。因此，該選擇性的自適應(yīng)數(shù)據(jù)處理器300被配置為接收由幾何轉(zhuǎn)換器202輸出的若干組值，由此每一組被分配給相應(yīng)樣本。數(shù)據(jù)處理器300的濾波器處理器基于所述若干組，以如下方式執(zhí)行對值的選擇：用內(nèi)部確定的數(shù)據(jù)值(交換值)交換難以置信的組中的數(shù)據(jù)值(例如，異常值或流失值)，并且剩余組中的數(shù)據(jù)值被進一步不變地使用。詳細地，發(fā)送可信組(不包含異常值或流失值)的數(shù)據(jù)值，并且用可信組的數(shù)據(jù)值(例如，之前數(shù)據(jù)值或若干之前數(shù)據(jù)值的平均值)交換不可信組(包含異常值或流失值)的數(shù)據(jù)值。由此，從發(fā)送的值以及或許從交換值所產(chǎn)生的數(shù)據(jù)序列被連續(xù)地平滑。因此，這意味著，例如，根據(jù)指數(shù)平滑的原理，發(fā)生數(shù)據(jù)序列(例如，所確定的橢圓中點坐標)的自適應(yīng)時間平滑，由此，(例如，由于瞳孔檢測期間的錯誤檢測所導致的)待平滑的數(shù)據(jù)序列的流失值和異常值不會導致平滑后數(shù)據(jù)的波動。詳細地，數(shù)據(jù)處理器可以對新接收的組中的數(shù)據(jù)值進行平滑，如果其沒有落入以下標準內(nèi)：-根據(jù)通過組中的附加值之一被量化的一致性的關(guān)聯(lián)度，利用所搜索結(jié)構(gòu)，其是數(shù)據(jù)序列的流失值。-根據(jù)關(guān)聯(lián)的尺寸參數(shù)或幾何參數(shù)，如果例如實際對象的尺寸偏離先前對象太多，則其是流失值。-根據(jù)實際數(shù)據(jù)值與基于先前數(shù)據(jù)值所確定的閾值的比較，如果實際數(shù)據(jù)值(例如，實際位置值)不在閾值之間，則其是流失值。對此的說明性示例是，例如對象的實際位置坐標(組中的數(shù)據(jù)值)是否偏離之前由選擇性的自適應(yīng)數(shù)據(jù)處理器確定的位置坐標太多。此外，如果滿足了這些標準之一，則輸出之前的值或至少進行協(xié)商，以對實際值進行平滑。為了在平滑期間獲得可能地小延遲，可選地，與過去值相比，對實際值定級更高(strongerrated)。因此，在應(yīng)用指數(shù)平滑期間，可以通過以下公式來確定實際值：實際上平滑的值＝實際值×平滑系數(shù)+上次平滑的值×(1-平滑系數(shù))針對待平滑數(shù)據(jù)的趨向，在所定義邊界內(nèi)動態(tài)地調(diào)整平滑系數(shù)，例如，減小相當恒定值的發(fā)展或者增大關(guān)于傾斜或下降值的發(fā)展。如果長期地，關(guān)于待平滑的幾何參數(shù)(橢圓參數(shù))發(fā)生較大的跳躍，則數(shù)據(jù)處理器由此將平滑后值的發(fā)展調(diào)整至新的值。通常，還可以例如在初始化期間通過利用參數(shù)來配置該選擇性的自適應(yīng)數(shù)據(jù)處理器300，由此經(jīng)由這些參數(shù)，確定平滑行為，例如，流失值的最大時間段或者最大平滑因子。因此，該選擇性的自適應(yīng)數(shù)據(jù)處理器300或者一般地后處理單元18可以輸出待識別的圖案的位置和幾何形狀具有高精度的可信值。為此，后處理單元具有交接部(intersection)18a，經(jīng)由交接部18a，可選地，還可以接收外部控制命令。如果要平滑更多的數(shù)據(jù)序列，則還可以想到，針對每個數(shù)據(jù)序列使用單獨的選擇性的自適應(yīng)數(shù)據(jù)處理器，或者通過按每組數(shù)據(jù)值可以對不同數(shù)據(jù)序列進行處理的方式來調(diào)節(jié)選擇性的自適應(yīng)數(shù)據(jù)處理器。以下，通過具體的實施例來總體地描述選擇性的自適應(yīng)數(shù)據(jù)處理器300的以上特征：數(shù)據(jù)處理器300例如可以具有兩個或更多個輸入以及一個輸出。對于待處理的數(shù)據(jù)序列，提供所述輸入中(接收數(shù)據(jù)值)的一個輸入。輸出是基于所選擇數(shù)據(jù)的平滑后的序列。對于所述選擇，對另外的輸入(接收用于對數(shù)據(jù)值進行更精確評估的附加值)進行協(xié)商和/或數(shù)據(jù)序列本身。在數(shù)據(jù)處理器300內(nèi)進行處理期間，發(fā)生數(shù)據(jù)序列的改變，由此，對數(shù)據(jù)序列內(nèi)異常值的處理和流失值的處理進行區(qū)分。異常值：在選擇期間，(在待處理的數(shù)據(jù)序列內(nèi))布置異常值，并用其他(內(nèi)部確定的)值交換異常值。流失值：針對待處理的數(shù)據(jù)序列的質(zhì)量的評估，對一個或多個另外的輸入信號(附加值)進行協(xié)商。通過利用一個或多個閾值而發(fā)生所述評估，由此，將數(shù)據(jù)分為“高”質(zhì)量和“低”質(zhì)量。將具有低質(zhì)量的數(shù)據(jù)評估為流失值，并用其他(內(nèi)部確定的)值交換該數(shù)據(jù)。在接下來的步驟中，例如，發(fā)生數(shù)據(jù)序列的平滑(例如，時間序列的指數(shù)平滑)。針對平滑，對經(jīng)過流失值和異常值調(diào)整的數(shù)據(jù)序列進行協(xié)商。平滑可以通過可變(自適應(yīng))系數(shù)而發(fā)生。針對待處理的數(shù)據(jù)的等級(level)的差，調(diào)整平滑系數(shù)。根據(jù)另外的實施例，還可能的是，后處理單元18包括圖像分析器，例如，3D圖像分析器400。在3D圖像分析器400的情況下，與后處理單元18一起，還可以提供包括圖像處理器10b和相機14的進一步的圖像收集單元。因此，兩個相機14a和14b以及圖像處理器10a和10b建立了立體相機布置，由此，優(yōu)選地，圖像處理器10b與圖像處理器10a相同。3D圖像分析器400與基本實施例相對應(yīng)，被配置為接收基于一個第一圖像(參見相機14a)所確定的至少一組圖像數(shù)據(jù)以及基于第二圖像(參見相機14b)所確定的第二組圖像數(shù)據(jù)，其中，第一圖像和第二圖像顯示來自不同視角的圖案，并且被配置為基于此計算視點或3D視線向量(3Dgazevector)。為此，3D圖像分析器400包括位置計算器404和對準計算器408。位置計算器404被配置為基于第一組、第二組以及視角之間的或者第一相機14a與第二相機14b之間的幾何關(guān)系，來計算三維空間內(nèi)圖案的位置。對準計算器408被配置為計算3D視線向量，例如視線方向，所識別的圖案在三維空間內(nèi)對準到所述視線方向，由此，該計算基于第一組、第二組以及計算出的位置(參見位置計算器404)。另外的實施例還可以利用相機的圖像數(shù)據(jù)和另一組信息(例如，臉部或眼睛中特征點的相對位置或絕對位置)進行操作，所述信息用于計算圖案的位置(例如，瞳孔或虹膜中點)并用于選擇實際視線方向向量。為此，其可以例如被叫做所謂的3D相機系統(tǒng)模型，例如，該3D相機系統(tǒng)模型在配置文件中存儲了所有模型參數(shù)，如位置參數(shù)、光學參數(shù)(參見相機14a和14b)。以下，基于瞳孔識別的示例，現(xiàn)在描述3D圖像分析器400的整體功能。在3D圖像分析器400中存儲或記載的模型包括關(guān)于相機單元即關(guān)于相機傳感器的數(shù)據(jù)(例如，像素大小、傳感器大小和分辨率)、關(guān)于所用物鏡的數(shù)據(jù)(例如，焦距和物鏡失真)、待識別的對象的數(shù)據(jù)或特征(例如，眼睛的特征)以及關(guān)于另外相關(guān)對象(例如，在使用系統(tǒng)1000的情況下作為輸入設(shè)備的顯示器)的數(shù)據(jù)。3D位置計算器404通過三角測量法，基于兩個或者甚至多個相機圖像(參見14a和14b)計算眼睛位置或瞳孔中點。為此，經(jīng)由圖像處理器10a和10b、幾何轉(zhuǎn)換器202和選擇性的自適應(yīng)數(shù)據(jù)處理器300的處理鏈，在這兩個相機圖像(參見14a和14b)中設(shè)置有點的2D坐標。從所傳送的2D坐標，針對兩個相機14a和14b，通過利用3D相機模型，具體地，考慮光學參數(shù)，來計算將3D點在傳感器上顯示為2D點的光線。假設(shè)兩條直線彼此距離最短的點(在理想情況下，直線的交點)是所搜索3D點的位置。該3D位置與結(jié)合模型參數(shù)描述所傳送2D坐標的精度的誤差測量一起經(jīng)由交接部18a輸出作為結(jié)果，或者發(fā)送到視線方向計算器408?；?D空間內(nèi)的該位置，視線方向計算器408可以確定從瞳孔的兩個橢圓形狀的投影至相機傳感器的視線方向，而無需進行校準并且無需知道眼睛和相機系統(tǒng)之間的距離。為此，除了圖像傳感器的3D位置參數(shù)之外，視線方向計算器408使用通過幾何分析器202確定的橢圓參數(shù)以及通過位置計算器404確定的位置。從瞳孔中點的3D位置和圖像傳感器的位置，通過實際相機單元的旋轉(zhuǎn)，計算虛擬相機單元，其中，虛擬相機單元的光軸穿過3D瞳孔中點。之后，分別從實際傳感器上瞳孔的投影，計算虛擬傳感器上瞳孔的投影，從而出現(xiàn)兩個虛擬橢圓。從兩個虛擬圖像傳感器上的虛擬橢圓的參數(shù)，可以計算在與相應(yīng)虛擬傳感器平面平行的任意平面上眼睛的兩個視點。利用四個視點和3D瞳孔中點，可以計算四個視線方向向量，因此，每個相機分別有兩個向量。從這四個可能的視線方向向量中，一個相機的正好一個向量與另一相機的一個向量總是幾乎相同。兩個相同的向量指示眼睛的所搜索視線方向，隨后，由視線方向計算器404經(jīng)由交接部18a輸出所搜索視線方向。該3D計算的具體優(yōu)點是，瞳孔大小和3D視線方向的3D眼睛位置的非接觸式且完全免校準的確定不依賴于關(guān)于眼睛朝相機的位置的知識?？紤]3D空間模型對3D眼睛位置和3D視線方向的分析確定使相機的數(shù)目任意(大于1)以及3D空間中相機的位置任意。短的延遲時間以及同時具有高幀率實現(xiàn)了所描述系統(tǒng)1000的實時能力。此外，可選地但不是必要地，還可以固定所謂的時間制度(timeregime)，使得連續(xù)結(jié)果之間的時間差恒定。例如，優(yōu)選地在安全關(guān)鍵應(yīng)用中，關(guān)于其，結(jié)果必須在固定時間段內(nèi)可用，并且這可以通過使用FPGA進行計算來實現(xiàn)。根據(jù)替代變型，還可以僅利用一個相機執(zhí)行視線方向確定。為此，一方面，必需基于相機的圖像數(shù)據(jù)以及可能地基于一組附加信息來計算3D瞳孔中點，另一方面，從可以按每相機計算的兩個可能視線方向向量中，必須選擇實際視線方向向量，稍后參照圖5b對其進行說明。關(guān)于確定3D瞳孔中點，存在幾種可能性。一種可能性是基于對第一相機圖像中特征點之間的關(guān)系的評估。從而，基于第一相機圖像中的瞳孔中點，考慮如上所述的相機的光學系統(tǒng)，計算穿過3D瞳孔中點的直線，然而，其中，尚未可知的是，在該直線上的何處找到所搜索瞳孔中點。為此，需要相機或相機的準確主點1(圖8a中的H1K1)之間的距離。如果確定了第一相機圖像中的至少兩個特性特征(例如，瞳孔中點)并且它們彼此間的距離是已知的，例如通過一大群人統(tǒng)計評估出的值，則可以估計該信息。然后，可以通過將特性特征之間所確定的距離(例如，以像素為單位)與被稱為特性的統(tǒng)計值的距離(例如，以像素為單位)以及與到相機的已知距離相關(guān)，來估計相機和3D瞳孔中點之間的距離。用于獲得3D瞳孔中點的另外的變型是，在第二組信息內(nèi)(例如，通過用于3D臉部檢測的上游模塊，根據(jù)3D臉部檢測，在3D空間中確定臉部特征點或眼睛區(qū)域的位置)，將其位置或其到相機的距離提供給3D圖像分析器。為了確定實際視線方向向量，在關(guān)于“3D圖像分析器”的先前描述中，其包括用于免校準眼睛跟蹤的方法，迄今需要來自不同視角的至少兩個相機圖像。關(guān)于視線方向的計算，存在一個位置，在該位置處，按每相機圖像，正好確定兩個可能的視線方向向量，由此，分別地，在虛擬相機傳感器中心與3D瞳孔中點之間的交線處，第二向量對應(yīng)于第一向量的反射(reflection)。在從其他相機圖像產(chǎn)生的兩個向量中，正好一個向量幾乎對應(yīng)于從第一相機圖像計算的向量。這些相對應(yīng)的向量指示待確定的視線方向。為了能夠也利用相機執(zhí)行免校準眼睛跟蹤，必須在從相機圖像確定的兩個可能的視線方向向量(以下“v1”和“v2”)中選擇實際視線方向向量(以下“vb”)。參考圖5b對該處理進行示例性說明。圖5b示出了包括瞳孔的眼球(綠框)的可見部分以及兩個可能的視線方向v1和v2。關(guān)于選擇視線方向“vb”，存在可以分別使用或組合使用的多種可能性，以選擇實際視線方向向量。通常，從兩個可能的3D視線向量中選擇正確的3D視線向量，其中，例如，根據(jù)實施例，僅使用一個單個相機圖像(+附加信息)。以下說明這些可能性中的一些可能性(所列不是最終的)，其中，假設(shè)已經(jīng)在該選擇的時間點確定了v1和v2(參見圖5a)：根據(jù)第一種可能性，可以在相機圖像中發(fā)生基于鞏膜的評估(虹膜周圍的白色皮膚)。定義了2個光束(開始于瞳孔中點并無限長)，一個沿v1的方向，一個沿v2的方向。這兩個光束分別被投射到眼睛的相機圖像中，并從瞳孔中點傳播到圖像邊緣。使屬于較少鞏膜的像素失真的光束屬于實際視線方向向量vb。鞏膜的像素在灰度值上與相鄰虹膜的像素和眼瞼的像素不同。如果屬于所捕捉的眼睛的臉部從相機轉(zhuǎn)移太遠(由此，如果相機的光軸與垂直于臉部平面的直立向量之間的角度變得太大)，則本方法達到其限制。根據(jù)第二種可能性，可以在眼睛打開期間發(fā)生對瞳孔中點的位置的評估。在眼睛打開期間或在眼球的可見部分內(nèi)瞳孔中點的位置可以用于選擇實際視線方向向量。與之相關(guān)的一種可能性是定義兩個光束(開始于瞳孔中點并無限長)，一個沿v1的方向，一個沿v2的方向。這兩個光束分別被投射到眼睛的相機圖像中，并從瞳孔中點傳播到圖像邊緣。在相機圖像中沿兩個光束，分別地，確定瞳孔中點與眼睛開口的邊緣(在圖5b中綠色標記的)之間的距離。出現(xiàn)較短距離的光束屬于實際視線方向向量。如果屬于所捕捉的眼睛的臉部從相機轉(zhuǎn)移太遠(由此，如果相機的光軸與垂直于臉部平面的直立向量之間的角度變得太大)，則本方法達到其限制。根據(jù)第三種可能性，可以朝向參考瞳孔中點發(fā)生對瞳孔中點的位置的評估。在眼睛打開期間或在眼球的可見部分內(nèi)在相機圖像中所確定的瞳孔中點的位置可以與參考瞳孔中點一起用于選擇實際視線方向向量。對此的一種可能性是定義2個光束(開始于瞳孔中點并無限長)，一個沿v1的方向，一個沿v2的方向。這兩個光束分別被投射到眼睛的相機圖像中，并從瞳孔中點傳播到圖像的邊緣。在眼睛睜開期間的參考瞳孔中點對應(yīng)于在眼睛看向用于圖像記錄的相機的方向時的瞳孔中點(更確切地講，在相機的第一主點的方向上)。投射到相機圖像中的在該圖像中距參考瞳孔中點具有較大距離的光束屬于實際視線方向向量。關(guān)于確定參考瞳孔中點，存在幾種可能性，以下描述其中一些可能性：可能性1(應(yīng)用的特定情況)：在眼睛直接看向相機傳感器中心方向的情況下，參考瞳孔中點產(chǎn)生于所確定的瞳孔中點。如果虛擬傳感器平面上的瞳孔輪廓(參見關(guān)于視線方向計算的描述)表征為圓，則進行這樣的假定?？赡苄?(應(yīng)用的一般情況)：隨著對參考瞳孔中點的位置的粗略估計，可以使用眼睛開口表面的焦點(focus)。如果臉部所位于的平面不平行于相機的傳感器平面，則該估計方法達到其限制。如果臉部平面朝相機傳感器平面的傾斜是已知的(例如，通過之前執(zhí)行的對頭位置和對準的確定)并且這用于校正所估計的參考瞳孔中點的位置，則該限制可以得到補償。此外，該方法要求3D瞳孔中點與虛擬傳感器的光軸之間的距離遠遠小于3D瞳孔中點與相機之間的距離。可能性3(應(yīng)用的一般情況)：如果眼睛中點的3D位置是可用的，則可以確定3D眼睛中點與虛擬傳感器中點之間的直線以及該直線與眼球表面的交點。參考瞳孔中點產(chǎn)生于該交點轉(zhuǎn)換到相機圖像中的位置。根據(jù)另外的實施例，并且關(guān)于霍夫處理器的使用，替代FPGA10a和10b，可以使用ASIC(專用芯片)，特別地其可以高數(shù)量地實現(xiàn)且具有非常低的單元成本。然而，綜述，可以確定的是，獨立于霍夫處理器10a和10b的實施，由于高效處理和相關(guān)的低內(nèi)部時鐘需求，可以實現(xiàn)低能耗。不管這些特征，這里使用的霍夫處理器或在霍夫處理器上執(zhí)行的方法非常穩(wěn)健并且不容易失敗。在這點上應(yīng)當注意的是，如圖2a所示的霍夫處理器100可以在與具體地關(guān)于圖5所示的不同特征的各種組合中使用。根據(jù)圖2a的霍夫處理器的應(yīng)用是：例如，用于短暫打盹的報警系統(tǒng)或疲勞檢測器作為汽車行業(yè)中的駕駛輔助系統(tǒng)(或者一般地用于安全相關(guān)的人機接口)。由此，通過評估眼睛(例如，覆蓋瞳孔作為對眨眼程度的測量)以及考慮視點和焦點，可以檢測特定疲勞圖案。此外，關(guān)于用于技術(shù)設(shè)備的輸入設(shè)備或輸入接口，可以使用霍夫處理器；由此，之后，眼睛位置和視線方向用作輸入?yún)?shù)。確切的應(yīng)用將是：分析或支持用戶例如通過突出顯示特定聚焦區(qū)域的方式來觀看屏幕內(nèi)容。這樣的應(yīng)用是：輔助生活、計算機游戲領(lǐng)域，關(guān)于通過包括視線方向?qū)?D可視化進行優(yōu)化，關(guān)于市場和媒體開發(fā)，或者關(guān)于眼科診斷和特別感興趣的療法。如上已經(jīng)指出的，上述方法的實施不依賴于平臺，從而上述方法也可以在例如PC的其他硬件平臺上執(zhí)行。因此，進一步的實施例涉及一種用于霍夫處理的方法，具有以下步驟：通過使用預處理器處理分別具有圖像的大多數(shù)樣本，其中，各樣本的圖像被旋轉(zhuǎn)和/或反折，從而針對每個樣本輸出相應(yīng)樣本的圖像的大多數(shù)版本；以及通過使用霍夫變換單元基于所述大多數(shù)版本收集大多數(shù)樣本中的預定圖案，其中，所述霍夫變換單元具有延遲濾波器，所述延遲濾波器具有依賴于所選預定圖案組的濾波器特性。即使在結(jié)合可調(diào)節(jié)特性的以上說明中，總是參考濾波器特性，在這點上應(yīng)當注意的是，根據(jù)進一步的實施例，可調(diào)節(jié)特性還可以涉及關(guān)于快速2D相關(guān)的后處理特性(曲線或失真特性)。參考圖4a至圖4d對該實施方式進行說明。圖4a示出了快速2D相關(guān)的處理鏈1000。2D相關(guān)的處理鏈至少包括用于2D曲線的功能塊1105以及用于融合(merging)的功能塊1110。圖4b中示出了關(guān)于2D曲線的過程。圖4b以模板示出了示例性的匯編。通過圖4c并結(jié)合圖4d，變得顯然的是，基于該處理鏈1000，可以如何提取霍夫特征。圖4c示例性地示出了用于識別橢圓1115的具有n個模板的逐像素相關(guān)(在這種情況下，例如，針對具有不同增幅的直線)，而圖4d示出了逐像素相關(guān)的結(jié)果，由此通常經(jīng)由n個結(jié)果圖像仍然發(fā)生最大搜索。每個結(jié)果圖像按每像素包含一個霍夫特征。以下，在整體背景下描述該霍夫處理。與利用具有可調(diào)節(jié)特性的延遲濾波器的實現(xiàn)(針對并行FPGA結(jié)構(gòu)所優(yōu)化的實現(xiàn))相反，關(guān)于這里概述的霍夫處理，其具體地針對基于PC的實現(xiàn)，該處理的一部分將通過另一方法交換。到目前為止，事實是延遲濾波器的準每列表示所搜索結(jié)構(gòu)(例如，具有不同增幅的直線段)。通過濾波器后，具有最高量值的列號是決定性的。由此，列號表示所搜索結(jié)構(gòu)的特性，量值指示對與所搜索結(jié)構(gòu)的一致性的測量。關(guān)于基于PC的實現(xiàn)，用快速2D相關(guān)交換延遲濾波器。先前的延遲濾波器應(yīng)根據(jù)特定圖案的特性的位置n的大小而形成。將該n個特性在存儲器中存儲為模板。之后，將預處理后的圖像(例如，二值邊緣圖像或梯度圖像)逐像素地傳遞。在每個像素位置，具有下層圖像內(nèi)容(與后處理特性相對應(yīng))的所有存儲的模板分別被同步(即，像素位置(模板的大小)的環(huán)境被評估)。該過程被稱為數(shù)字圖像處理中的相關(guān)。因此，對于每個模板，獲得相關(guān)值，即，對與下層圖像內(nèi)容的一致性的測量。因此，后者對應(yīng)的列量形成了先前的延遲濾波器?，F(xiàn)在，(按每像素)對具有最高相關(guān)值的模板進行確定，并存儲其模板號(模板號描述了所搜索結(jié)構(gòu)的特性，例如，直線段的增幅)。因此，按每像素，獲得相關(guān)值和模板號。由此，可以完整地描述已經(jīng)概述的霍夫特征。還應(yīng)當注意的是，可以在局部區(qū)域中以及在頻率區(qū)域中執(zhí)行各個模板與圖像內(nèi)容的相關(guān)。這意味著初始圖像首先分別與所有n個模板進行相關(guān)。獲得N個結(jié)果圖像。如果這些結(jié)果圖像疊加放置(如在立方體中)，則將(通過所有平面)搜索按每像素的最高相關(guān)值。由此，各個平面隨后表示立方體中的各個模板。結(jié)果，再次獲得各個圖像，隨后，各個圖像按每像素包含相關(guān)測量和模板號-由此按每像素一個霍夫特征。即使始終結(jié)合“瞳孔識別”描述以上方面，以上概述的方面也可用于進一步的應(yīng)用。這里，例如，將提及應(yīng)用“用于短暫打盹的報警系統(tǒng)”，以下對其進行詳細地說明。用于短暫打盹的報警系統(tǒng)是至少包括圖像收集單元、照明單元、處理單元以及聲學和/或光學信令單元的系統(tǒng)。通過評估用戶所記錄的圖像，設(shè)備能夠識別用戶開始短暫打盹或疲勞或偏轉(zhuǎn)(deflection)，并警告用戶。例如，可以通過以下形式開發(fā)該系統(tǒng)：使用CMOS圖像傳感器，并且在紅外范圍內(nèi)對場景進行照明。這具有以下優(yōu)點：設(shè)備獨立于環(huán)境光而工作，并且特別地不會使用戶失明。作為處理單元，使用嵌入式處理器系統(tǒng)，其執(zhí)行下層操作系統(tǒng)上的軟件代碼。信令單元可以例如包括多頻蜂鳴器和RGB-LED?？梢酝ㄟ^以下事實形式發(fā)生對記錄圖像的評估：在第一處理階段，利用分類器執(zhí)行臉部和眼睛檢測以及眼睛分析。該處理階段提供了用于對準臉部、眼睛位置和眨眼反射程度的第一指示?；诖?，在之后步驟中，可以執(zhí)行基于模型的眼睛精確分析。由此使用的眼睛模型可以例如包括：瞳孔和/或虹膜位置、瞳孔和/或虹膜大小、對眼瞼和眼睛邊緣點的描述。由此，這是足夠的，如果在每個時間點，這些要素中的一些要素被找到和評估。還可以經(jīng)由若干圖像跟蹤各個要素，從而不用在每個圖像中再次完全搜索各個要素?？梢允褂没舴蛱卣?，以執(zhí)行臉部檢測或眼睛檢測或眼睛分析或眼睛精確分析。2D圖像分析器可以用于臉部檢測或眼睛檢測或眼睛分析。對于在臉部檢測或眼睛檢測或眼睛分析期間對所確定的結(jié)果值或中間結(jié)果或值發(fā)展的平滑，可以使用所描述的自適應(yīng)的選擇性數(shù)據(jù)處理器。對眨眼反射的程度和/或眼睛精確分析結(jié)果的按時間順序的評估可以用于確定用戶的短暫打盹或疲勞或偏轉(zhuǎn)。附加地，還可以使用如結(jié)合3D圖像分析器所描述的免校準視線方向確定，以獲得用于確定用戶的短暫打盹或疲勞或偏轉(zhuǎn)的更好結(jié)果。此外，為了使這些結(jié)果穩(wěn)定，可以使用選擇性自適應(yīng)數(shù)據(jù)處理器。根據(jù)實施例，初始圖像階段中的霍夫處理器可以包括用于相機控制的單元。根據(jù)實施例，基于特定視線方向，可以確定所謂的視點(視線與另一平面的交點)，例如用于控制PC。如上已經(jīng)指出的，上述方法的實施獨立于平臺，從而上述方法也可以在例如PC的其他硬件平臺上執(zhí)行。雖然已結(jié)合設(shè)備描述了一些方面，但是應(yīng)當理解：這些方面還包括對相應(yīng)方法的描述，使得設(shè)備的塊或組件還應(yīng)被理解為相應(yīng)的方法步驟或方法步驟的特征。通過與之類比，結(jié)合方法步驟或作為方法步驟所描述的各方面也包括對相應(yīng)設(shè)備的相應(yīng)塊或細節(jié)或特征的描述。一些或所有方法步驟可以由裝置(通過使用硬件裝置)來執(zhí)行，例如，可編程計算機或電子開關(guān)(electronicswitch)的微處理器。關(guān)于一些實施例，可以由這種裝置來執(zhí)行最重要方法步驟中的某一個或多個方法步驟。根據(jù)具體實現(xiàn)要求，本發(fā)明的實施例可以實現(xiàn)為硬件或軟件?？梢酝ㄟ^使用其上存儲有電可讀控制信號的數(shù)字存儲介質(zhì)來實施實現(xiàn)方式，例如，軟盤、DVD、藍光盤、CD、ROM、PROM、EPROM、EEPROM或閃存、硬盤或任何其他磁或光存儲器，其可以與可編程計算機系統(tǒng)協(xié)作或合作，使得執(zhí)行相應(yīng)方法。因此，數(shù)字存儲介質(zhì)可以是計算機可讀的。根據(jù)本發(fā)明的一些實施例因此包括具有電可讀控制信號的數(shù)據(jù)載體，該電可讀控制信號能夠與可編程計算機系統(tǒng)協(xié)作從而執(zhí)行本文所述的方法之一。通常，本發(fā)明的實施例可以實現(xiàn)為具有程序代碼的計算機程序產(chǎn)品，其中，在所述計算機程序產(chǎn)品在計算機上運行時，所述程序代碼可有效執(zhí)行所述方法之一。程序代碼可以例如存儲在機器可讀載體上。另外的實施例包括用于執(zhí)行本文所述的方法之一的計算機程序，其中，該計算機程序存儲在機器可讀載體上。因此，換言之，根據(jù)本發(fā)明的方法的一個實施例是具有程序代碼的計算機程序，該程序代碼用于在計算機程序在計算機上運行時執(zhí)行本文所限定的方法之一。根據(jù)本發(fā)明的方法的另一實施例從而是數(shù)據(jù)載體(或數(shù)字存儲介質(zhì)或計算機可讀介質(zhì))，其上記錄有用于執(zhí)行本文限定的方法之一的計算機程序。因此，根據(jù)本發(fā)明的方法的另一實施例是包括用于執(zhí)行本文所限定的方法之一的計算機程序的數(shù)據(jù)流或信號序列。所述數(shù)據(jù)流或信號序列可以例如被配置為例如經(jīng)由數(shù)據(jù)通信連接(例如，經(jīng)由互聯(lián)網(wǎng))被傳送。另一實施例包括被配置或調(diào)整為執(zhí)行本文所限定的方法之一的處理單元，例如計算機或可編程邏輯器件。另一實施例包括其上安裝有用于執(zhí)行本文所限定的方法之一的計算機程序的計算機。根據(jù)本發(fā)明的另一實施例包括被設(shè)計為向接收方發(fā)送用于執(zhí)行本文所限定的至少一個方法的計算機程序的設(shè)備或系統(tǒng)。例如，可以通過電或光的方式發(fā)生所述發(fā)送。接收方可以是計算機、移動設(shè)備、存儲器設(shè)備或類似設(shè)備。所述設(shè)備或系統(tǒng)可以例如包括用于向接收方發(fā)送計算機程序的文件服務(wù)器。關(guān)于一些實施例，可編程邏輯器件(例如，現(xiàn)場可編程門陣列FPGA)可以用于執(zhí)行本文所限定的方法的一些或全部功能。關(guān)于一些實施例，現(xiàn)場可編程門陣列可以與微處理器協(xié)作以執(zhí)行本文所限定的方法之一。通常，關(guān)于一些實施例，所述方法由任意硬件設(shè)備來執(zhí)行。這可以是通用硬件(如計算機處理器(CPU))或?qū)Ｓ糜谒龇椒ǖ挠布?例如，ASIC)。以下，換句話說，從另外兩個角度來描述上述的本發(fā)明或本發(fā)明的多個方面：集成眼睛跟蹤器集成眼睛跟蹤器包括FPGA優(yōu)化算法的編譯，所述FPGA優(yōu)化算法適合于通過利用從相機實時圖像的并行霍夫變換來提取(橢圓)特征(霍夫特征)并且從所述特征計算視線方向。通過評估所提取的特征，可以確定瞳孔橢圓。當使用位置和對準彼此已知的幾個相機時，可以確定瞳孔中點的3D位置以及3D視線方向和瞳孔直徑。關(guān)于計算，對相機圖像中橢圓的位置和形狀進行協(xié)商。不需要針對各個用戶的系統(tǒng)校準以及相機與所分析的眼睛之間的距離的知識。具體地，所使用的圖像處理算法的特征在于，針對FPGA(現(xiàn)場可編程門陣列)上的處理對算法進行優(yōu)化。所述算法能夠在FPGA上實現(xiàn)具有恒定刷新率、最小延遲時段和最小資源消耗的非?？焖俚膱D像處理。因此，這些模塊針對需要小的構(gòu)造體積的時間關(guān)鍵型、延遲關(guān)鍵型和安全關(guān)鍵型應(yīng)用(例如，駕駛輔助系統(tǒng))、醫(yī)療診斷系統(tǒng)(例如，perimeters)以及人機界面應(yīng)用(例如，移動設(shè)備)。問題-在幾個(實時)相機圖像中對3D空間中3D眼睛位置和3D視線方向的穩(wěn)健檢測以及對瞳孔大小的檢測-非常短的反應(yīng)時間(或處理時間)-小的構(gòu)造-通過集成解決方案的自主功能(獨立于PC)技術(shù)發(fā)展水平-眼睛跟蹤器系統(tǒng)○SteffenMarkert：對人眼的視線方向的實時確定(畢業(yè)論文和專利DE102004046617A1)○AndrewT.Duchowski：眼睛跟蹤方法：理論與實踐-并行霍夫變換○JohannesKatzmann：橢圓霍夫變換的實時實現(xiàn)(畢業(yè)論文和專利DE102005047160B4)○ChristianHolland-Nell：基于針對圓的霍夫變換的瞳孔檢測算法的實現(xiàn)(畢業(yè)論文和專利DE102005047160B4)當前技術(shù)發(fā)展水平的缺點-眼睛跟蹤器系統(tǒng)○缺點：■眼睛跟蹤系統(tǒng)通常在使用之前需要進行(復雜的)校準■根據(jù)Markert(專利DE102004046617A1)的系統(tǒng)是免校準的，然而，其僅工作在以下特定條件下：1.相機與瞳孔中點之間的距離必須已知且在文件上2.該方法僅適用于3D瞳孔中點位于相機的光軸內(nèi)的情況■針對PC硬件對整個處理進行優(yōu)化，因此，整個處理還經(jīng)受其缺點(在處理期間沒有固定的時間制度是可行的)■需要有效系統(tǒng)，因為算法具有非常高的資源消耗■長的處理時間段，并因此，長的延遲時間段，直到結(jié)果是可用的(部分地依賴于待評估的圖像大小)-并行霍夫變換○缺點：■僅可以對二值邊緣圖像進行變換■變換僅提供了與圖像坐標(找到結(jié)構(gòu)的位置，而不是：命中概率和進一步的結(jié)構(gòu)特征)相關(guān)的二值結(jié)果■在正在進行的操作期間不能靈活調(diào)整變換核，并因此對于動態(tài)圖像內(nèi)容(例如，小瞳孔和大瞳孔)的適用性是不足的。■不能在操作期間將變換核重新配置成其他結(jié)構(gòu)，并因此針對對象識別的適用性有限實施方式整個系統(tǒng)從其中顯示出同一眼睛的兩個或更多個相機圖像分別確定多維霍夫特征的列表，并在此基礎(chǔ)上分別計算瞳孔橢圓的位置和形狀。從這兩個橢圓的參數(shù)以及僅從相機彼此的位置和排列，可以完全免校準地確定瞳孔中點的3D位置以及3D視線方向和瞳孔直徑。作為硬件平臺，使用至少兩個圖像傳感器、FPGA和/或下游微處理器系統(tǒng)的組合(而不強制需要PCI)。“霍夫預處理”、“并行霍夫變換”、“霍夫特征提取器”、“至橢圓轉(zhuǎn)換器的霍夫特征”、“核大小控制”、“時間智能平滑濾波器”、“3D相機系統(tǒng)模型”、“3D位置計算”和“3D視線方向計算”涉及集成眼睛跟蹤器的各個功能模塊。它們遵循如下集成眼睛跟蹤器的圖像處理鏈：圖6示出了集成眼睛跟蹤器中的各個功能模塊的框圖?？驁D示出了集成眼睛跟蹤器的各個處理階段。以下，呈現(xiàn)出各模塊的詳細描述?！瘛盎舴蝾A處理”○功能■具體地通過圖像旋轉(zhuǎn)對用于模塊“并行霍夫變換”的視頻流進行上采樣，并且根據(jù)模塊“并行霍夫變換”的并行化程度對要變換的圖像進行上采樣○輸入■二值邊緣圖像或梯度圖像○輸出■根據(jù)后續(xù)模塊的并行化程度，具有來自輸入的上采樣像素數(shù)據(jù)的一個或多個視頻流○詳細描述■基于該原理，可以將并行霍夫變換從四個分別約為90°扭曲的主方向應(yīng)用于圖像內(nèi)容■為此，在預處理中，發(fā)生大約90°的圖像旋轉(zhuǎn)■其余的兩個方向被以下事實覆蓋：旋轉(zhuǎn)的圖像和非旋轉(zhuǎn)的圖像分別被水平地反折(通過存儲器中的圖像矩陣字段的反向讀出)■根據(jù)模塊的并行化程度，針對輸出產(chǎn)生以下三個星座圖(constellation)：●100％并行化：同時輸出四個視頻數(shù)據(jù)流：大約90°旋轉(zhuǎn)、非旋轉(zhuǎn)以及分別被反折●50％并行化：輸出兩個視頻數(shù)據(jù)流：大約90°旋轉(zhuǎn)和非旋轉(zhuǎn)，依次發(fā)生分別反折的變化的輸出●25％并行化：輸出一個視頻數(shù)據(jù)流：大約90°旋轉(zhuǎn)和非旋轉(zhuǎn)，并分別地依次輸出它們的反折的變化●“并行霍夫變換”○功能■簡單圖案(具有不同尺寸和增幅的直線以及具有不同半徑和取向的曲線)及其在二值邊緣或梯度圖像中出現(xiàn)概率的并行識別○輸入■對于并行霍夫變換，上采樣的邊緣或梯度圖像(“霍夫預處理”模塊的輸出)○輸出■包含所搜索結(jié)構(gòu)的所有相關(guān)參數(shù)的多維霍夫空間○詳細描述■通過復雜的基于延遲的局部濾波器對輸入進行處理，該局部濾波器具有用于像素數(shù)據(jù)的所定義的“通過方向”且通過以下特征來表征：●包括延遲元件的具有可變大小的濾波器核●對于濾波器針對所搜索圖案的自適應(yīng)調(diào)節(jié)，延遲元件可以在操作期間接通和斷開●濾波器的每列表示所搜索結(jié)構(gòu)(曲線或直線增幅)的特定特性●通過濾波器列的總和提供了由相應(yīng)列表示的結(jié)構(gòu)的特性的出現(xiàn)概率●當通過濾波器時，總是輸出具有所搜索圖案的特性的最高出現(xiàn)概率的列■對于每個圖像像素，濾波器提供了霍夫空間中包含以下信息的一個點：●圖案的類別(例如，直線或半圓)●圖案的出現(xiàn)概率●結(jié)構(gòu)的特性(曲線的強度或者對于直線：增幅和長度)●圖像中結(jié)構(gòu)的位置或取向■作為變換結(jié)果，產(chǎn)生多維圖像，以下稱為霍夫空間。●“霍夫特征提取器”○功能■從包含用于模式識別的相關(guān)信息的霍夫空間提取特征○輸入■多維霍夫空間(“并行霍夫變換”模塊的輸出)○輸出■包含用于模式識別的相關(guān)信息的霍夫特征的列表○詳細描述■霍夫特征空間的平滑(通過局部濾波進行空間校正)■通過修改的“非最大抑制”使霍夫空間“變薄”(抑制用于模式識別的非相關(guān)信息)：●通過考慮圖案的類別和結(jié)構(gòu)的特性使對于處理不相關(guān)的點淡出(霍夫概率空間中的“非極大值”)●借助適當?shù)拈撝凳够舴蚩臻g的點進一步變?。骸鹜ㄟ^霍夫概率空間中的閾值進行噪聲抑制○指示對于結(jié)構(gòu)的最小和最大可容許特性的區(qū)間(例如，關(guān)于彎曲結(jié)構(gòu)的最小/最大曲線或者關(guān)于直線的最低/最高增幅)■原始圖像范圍中的所有剩余點的參數(shù)的分析再變換導致以下霍夫特征：●具有以下參數(shù)的彎曲結(jié)構(gòu)：○位置(x-和y-圖像坐標)○霍夫特征的出現(xiàn)概率○弧的半徑○指示弧沿哪個方向開口的角度●具有以下參數(shù)的直線：○位置(x-和y-圖像坐標)○霍夫特征的出現(xiàn)概率○指示直線的增幅的角度○所表示的直線段的長度●“霍夫特征至橢圓轉(zhuǎn)換器”○功能■選擇3至4個霍夫特征(曲線)，其具有最高概率地描述了圖像中的瞳孔邊緣(橢圓)并沉到橢圓○輸入■相機圖像中所有檢測到的霍夫特征(曲線)的列表○輸出■具有最高概率地表示瞳孔的橢圓的參數(shù)○詳細描述■從所有霍夫特征(曲線)的列表，形成3至4個霍夫特征的組合，由于其參數(shù)，該3至4個霍夫特征可以描述水平極值點和垂直極值點■從而，以下標準影響霍夫特征的選擇：●霍夫特征的分數(shù)(概率)●霍夫特征的曲線●霍夫特征彼此的位置和取向■如下布置所選擇的霍夫特征組合：●首先，根據(jù)所包含的霍夫特征的數(shù)目●其次，根據(jù)所包含的霍夫特征的組合概率■在布置之后，選擇處于第一位的霍夫特征組合，并擬合相機圖像中最有可能表示瞳孔的橢圓●“核大小控制”○功能■并行霍夫變換的濾波器核(霍夫核)到實際橢圓大小的動態(tài)調(diào)節(jié)○輸入■最后使用的霍夫核大小■在相應(yīng)相機圖像中表示瞳孔的橢圓的參數(shù)○輸出■更新后的霍夫核大小○詳細描述■根據(jù)由“至橢圓轉(zhuǎn)換器的霍夫特征”計算的橢圓的大小(半軸的長度)，跟蹤霍夫核大小，以在檢測極值點期間提高霍夫變換結(jié)果的精度●“時間智能平滑濾波器”○功能■根據(jù)指數(shù)平滑的原理，對(例如，所確定的橢圓中點坐標的)數(shù)據(jù)序列同時進行自適應(yīng)平滑，由此，待平滑的數(shù)據(jù)序列內(nèi)的流失值或極端異常值不會導致平滑后數(shù)據(jù)的波動○輸入■在模塊的每次激活時間，數(shù)據(jù)序列和相關(guān)聯(lián)質(zhì)量標準中的相應(yīng)的一個值(例如，擬合橢圓的出現(xiàn)概率)○輸出■平滑后的數(shù)據(jù)值(例如，橢圓中點坐標)○詳細描述■通過一組濾波器參數(shù)，在初始化濾波器時，可以確定其行為■如果實際輸入值沒有落入以下類別之一內(nèi)，則該實際輸入值用于平滑：●與相關(guān)聯(lián)的出現(xiàn)概率相對應(yīng)，是數(shù)據(jù)序列中的流失值●與相關(guān)聯(lián)的橢圓參數(shù)相對應(yīng)，是異常值○如果實際橢圓的大小與先前橢圓的大小相異太多○實際位置朝橢圓的最后位置的差太大■此外，如果這些標準之一被滿足，則輸出先前確定的值，否則，對用于平滑的當前值進行協(xié)商■為了在平滑期間獲得可能地小延遲，與過去值相比，對當前值定級更高：●當前平滑的值＝當前值×平滑系數(shù)+上次平滑的值×(1-平滑系數(shù))●針對待平滑的數(shù)據(jù)的趨勢，在所定義的邊界內(nèi)動態(tài)調(diào)整平滑系數(shù)：○減少數(shù)據(jù)序列中相當恒定值的發(fā)展○增加數(shù)據(jù)序列中增大值或減小值的發(fā)展■如果長期發(fā)生關(guān)于待平滑的橢圓參數(shù)的較大飛躍，則對濾波器以及由此也對平滑后值的發(fā)展進行調(diào)整●“3D相機系統(tǒng)模型”○功能■3D空間的建模，在所述3D空間中設(shè)置有若干相機、用戶(或其眼睛)以及可能地屏幕○輸入■包含所有模型的模型參數(shù)(位置參數(shù)、光學參數(shù)、其他參數(shù)等)的配置文件○輸出■提供用于該模型內(nèi)計算的統(tǒng)計框架和功能○詳細描述■對模型的所有元素的空間位置(位置和旋轉(zhuǎn)角度)及其幾何形狀(例如，像素大小、傳感器大小、分辨率)和光學(例如，焦距、物鏡失真)特性進行建模■在該時間點，模型包括以下元素：●相機單元，包括：○相機傳感器○物鏡●眼睛●顯示器■除了模型的所有元素的特性以外，具體地，提供下面描述的功能“3D位置計算”(用于計算眼睛位置)和“3D視線方向計算”(用于計算視線方向)■借助該模型，除其他事項外，可以計算3D視線(包括瞳孔中點和(與人眼的生物學和生理學相對應(yīng)地校正的)視線方向向量)■可選地，還可以計算觀看者在3D模型的另一對象上(例如，在顯示器上)的視點以及觀看者的關(guān)注區(qū)域●“3D位置計算”○功能■通過三角測量法計算由兩個或更多個相機捕獲的點(例如，瞳孔中點)的空間位置(3D坐標)○輸入■兩個相機圖像中一個點的2D坐標○輸出■該點的3D坐標■誤差測量：描述與模型參數(shù)結(jié)合的所傳送2D坐標的精度○詳細描述■從所傳送的2D坐標，通過利用針對兩個相機的“3D相機系統(tǒng)模型”(具體地，考慮光學參數(shù))，計算將3D點顯示為傳感器上的2D點的光束■將這些光束描述為模型的3D空間中的直線■假設(shè)兩條直線具有最小距離的點(在理想情況下，直線的交點)是所搜索的3D點●“3D視線方向計算”○功能■從瞳孔到相機傳感器的兩個橢圓形狀的投影確定視線方向，而無需校準且無需知曉眼睛和相機系統(tǒng)之間的距離○輸入■圖像傳感器的3D位置參數(shù)■投影到兩個圖像傳感器的瞳孔的橢圓參數(shù)■兩個圖像傳感器上橢圓中點的3D位置■瞳孔中點的3D位置○輸出■用向量和角度表示的3D視線方向○詳細描述■從瞳孔中點的3D位置和圖像傳感器的位置，通過實際相機單元的旋轉(zhuǎn)，計算虛擬相機單元，其中，虛擬相機單元的光軸穿過3D瞳孔中點?！鲋?，從瞳孔到實際傳感器的投影(瞳孔的投影)，分別計算虛擬傳感器，從而可以說出現(xiàn)兩個虛擬橢圓■從虛擬橢圓的參數(shù)，針對兩個傳感器，可以在與相應(yīng)傳感器平面任意平行的平行平面上分別計算眼睛的兩個視點■利用這四個視點和3D瞳孔中點，可以計算四個視線方向向量(分別來自每個相機結(jié)果的兩個向量)■從這四個視線方向向量中，總是有恰好一個向量與一個相機的向量或另一相機的向量(幾乎)相同■兩個相同的向量指示眼睛的所搜索的視線方向，隨后，該視線方向由模塊“3D視線方向計算”作為結(jié)果進行提供。4.a)優(yōu)點-獨立于眼睛朝向相機的位置，非接觸且完全免校準地確定3D眼睛位置、3D視線方向和瞳孔大小-(通過包括3D空間模型)對3D眼睛位置和3D視線方向的分析確定使相機的數(shù)目任意(大于2)以及3D空間中相機的位置任意。-測量投影到相機的瞳孔以及由此準確確定瞳孔大小-由于完全并行處理而無需在處理鏈中遞歸而導致高幀率(例如，在一個XILINXSpartan3ADSP@96MHz上是60FPS@640x480)以及短延遲時段-使用針對并行FPGA結(jié)構(gòu)已開發(fā)的FPGA硬件和算法-使用霍夫變換(在所描述的用于FPGA硬件的調(diào)整形式中)以針對對象識別進行穩(wěn)健特征提取(這里：瞳孔橢圓的特征)-在FPGA中的并行處理上，對用于霍夫變換結(jié)果的后處理的算法進行優(yōu)化-固定的時間制度(連續(xù)結(jié)果之間的恒定時間差)-如完全集成到芯片上的最小構(gòu)造空間-低能耗-由于尺度效應(yīng)(scalingeffect)的利用，將處理直接移植到FPGA到ASIC的可能性→具有高質(zhì)量的有成本效益的解決方案應(yīng)用-在(實況)相機圖像數(shù)據(jù)流中，檢測3D眼睛位置和3D視線方向，其可以用于以下應(yīng)用：○安全相關(guān)領(lǐng)域■例如，作為汽車行業(yè)中的駕駛輔助系統(tǒng)的短暫打盹報警系統(tǒng)或疲勞檢測豁，評估眼睛(例如，瞳孔的覆蓋度作為眨眼程度的測量)并考慮視點和焦點○人機界面■作為技術(shù)設(shè)備的輸入接口(眼睛位置和視線方向可以用作輸入?yún)?shù))■支持用戶觀看屏幕內(nèi)容(例如，突出顯示所觀看的區(qū)域)■例如，●在輔助生活領(lǐng)域中●對于計算機游戲●視線方向支持用于頭戴式設(shè)備的輸入●通過包括視線方向優(yōu)化3D可視化○市場和媒體開發(fā)■例如，通過評估測試人的空間視線方向和視點，評價廣告的吸引力○眼科診斷(例如，客觀視野檢查法)和療法FPGA-臉部跟蹤器本發(fā)明的一個方面涉及一種自主(獨立于PC的)系統(tǒng)，具體地，該自主系統(tǒng)使用FPGA優(yōu)化的算法并且適合于檢測相機實時圖像中的臉部及其(空間)位置。具體地，所用算法的特征在于，它們在FPGA(現(xiàn)場可編程門陣列)上針對處理被優(yōu)化，并且與現(xiàn)有方法相比，進展好，而無需在處理中遞歸。所述算法允許在FPGA中實現(xiàn)具有恒定幀率、最小延遲時段和最小資源消耗的非?？焖俚膱D像處理。因而，這些模塊針對需要小的構(gòu)造體積的時間關(guān)鍵型/延遲關(guān)鍵型/安全關(guān)鍵型應(yīng)用(例如，駕駛輔助系統(tǒng))或者如人機界面的應(yīng)用(例如，用于移動設(shè)備)。此外，通過使用第二相機，可以高度準確地、免校準地且非接觸地確定用戶針對圖像中的特定點的空間位置。問題在(實時)相機圖像中，穩(wěn)健的基于硬件的臉部檢測-通過使用立體相機系統(tǒng)檢測3D空間中的臉部和眼睛位置-非常短的反應(yīng)時間(或處理時間)-小的構(gòu)造-通過集成解決方案的自主功能(獨立于PC)技術(shù)發(fā)展水平-文獻：○ChristianKüblbeck，AndreasErnst：使用修改的統(tǒng)計變換在視頻序列中進行臉部檢測和跟蹤(Facedetectionandtrackinginvideosequencesusingthemodifiedcensustransformation)○PaulViola，MichaelJones：穩(wěn)健的實時對象檢測(RobustReal-timeObjectDetection)當前臉部跟蹤器系統(tǒng)的缺點-針對PC系統(tǒng)(更一般地：通用處理器)優(yōu)化整體處理，并且因此，整體處理也經(jīng)受其缺點(例如，在處理期間固定的時間制度是不可行的(示例：依據(jù)圖像內(nèi)容，例如，背景，跟蹤可能需要更長時間))-順序處理；初始圖像被接連帶入不同尺度階段(直至達到最低尺度階段)并且利用關(guān)于臉部的多級分類器被分別搜索○根據(jù)必須計算多少尺度階段或者必須計算分類器的多少級，處理時間段發(fā)生變化，直至結(jié)果可用-為了實現(xiàn)高幀率，因為已經(jīng)到PC硬件優(yōu)化的算法具有非常高的資源消耗(具體地，關(guān)于嵌入式處理器系統(tǒng))，所以需要有效系統(tǒng)-基于檢測到的臉部位置，分類器只提供不準確的眼睛位置(眼睛“位置”-具體地，瞳孔中點-不被分析性地確定(或測量)并且因此經(jīng)受高的不準確度)-所確定的臉部和眼睛位置僅在2D圖像坐標中可用，在3D中不可用實施方式整體系統(tǒng)從相機圖像(其中僅顯示一個臉部)確定臉部位置，并且通過使用該位置確定左眼和右眼的瞳孔中點的位置。如果使用排列彼此已知的兩個或更多個相機，則這兩點可以被指示用于三維空間?？梢栽谑褂谩凹裳劬Ω櫰鳌钡南到y(tǒng)中進一步處理所確定的兩個眼睛位置?！安⑿袌D像縮放器”、“并行臉部取景器”、“并行眼睛分析器”、“并行瞳孔分析器”、“時間智能平滑濾波器”、“3D相機系統(tǒng)模型”和“3D位置計算”涉及整個系統(tǒng)(FPGA臉部跟蹤器)的各個功能模塊。它們遵循如下FPGA臉部跟蹤器的圖像處理鏈：圖7a示出了FPGA臉部跟蹤器中的各個功能模塊的框圖。對于臉部跟蹤，強制需要功能模塊“3D相機系統(tǒng)模型”和“3D位置計算”，然而，當使用立體相機系統(tǒng)并計算用于確定空間位置(例如，用于在兩個相機圖像中計算2D臉部中點期間確定3D頭位置)的兩個相機上的適當點時使用所述功能模塊。FPGA臉部跟蹤器的模塊“特征提取(分類)”基于FraunhoferIIS(德國，埃爾蘭根)的Küblbeck/Ernst的特征提取和分類，并在統(tǒng)計特征(censusfeature)的基礎(chǔ)上使用其分類的調(diào)整變型?？驁D示出了FPGA臉部跟蹤系統(tǒng)的各個處理階段。以下，呈現(xiàn)出各模塊的詳細描述?！瘛安⑿袌D像縮放器”○功能■并行計算初始圖像的縮放階段，并在新的圖像矩陣中布置計算的縮放階段，以便允許后續(xù)圖像處理模塊同時分析所有縮放階段圖7b示出了初始圖像(原始圖像)以及并行圖像縮放器的結(jié)果(降尺度圖像)。○輸入■原始分辨率的初始圖像○輸出■以適于后續(xù)臉部跟蹤模塊的布置包含初始圖像的多個縮放變型的新圖像矩陣○詳細描述■通過并行計算初始圖像的不同縮放階段，建立圖像金字塔■為了保證在目標矩陣內(nèi)先前計算的縮放階段的限定布置，通過利用各種標準發(fā)生各個縮放階段的圖像坐標到目標矩陣的圖像坐標系的變換：●限定縮放階段之間的最小距離，以抑制相鄰階段中分析結(jié)果的串擾●限定到目標矩陣的邊緣的距離，以保證從圖像部分地投射的臉部的分析●“并行臉部取景器”○功能■從聯(lián)合布置在矩陣中的若干縮放階段的分類結(jié)果檢測臉部如圖7c所示，分類的結(jié)果(在右側(cè))構(gòu)成了并行臉部取景器的輸入?！疠斎搿霭舾煽s放階段的分類的圖像矩陣○輸出■臉部所位于的概率最高的位置(考慮若干標準)○詳細描述■噪聲抑制以限制分類結(jié)果■通過利用局部量濾波器(amountfilter)和最大濾波器(maximumfilter)的組合，對縮放尺度內(nèi)的分類結(jié)果進行空間校正■可選地以在所有縮放階段上和不在所有縮放階段的臉部尺寸，在最高出現(xiàn)概率上對臉部定位■對在所選縮放階段上和不在所選縮放階段的結(jié)果位置進行空間平均●考慮以下標準而發(fā)生對所述平均中所包括的縮放階段的選擇：○在所查看的縮放階段中所選臉部的中點的差○動態(tài)確定的量濾波器的最高結(jié)果的偏差○縮放階段的抑制而無需分類結(jié)果■對“并行臉部取景器”的檢測性能進行基于閾值的調(diào)整●“并行眼睛分析器”○功能■在臉部檢測期間并行檢測相應(yīng)臉部中眼睛的位置(對于并非理想地在正面捕獲的且扭曲的臉部，這是尤其重要的)○輸入■包含初始圖像的若干縮放階段的圖像矩陣(來自“并行圖像縮放器”模塊)以及相應(yīng)的當前位置(來自“并行臉部取景器”模塊)，其中，所搜索臉部位于該當前位置的概率最高○輸出■在由“并行臉部取景器”當前檢測到的臉部中眼睛的位置和相關(guān)概率值○詳細描述■基于降尺度的初始圖像，在其由“并行臉部取景器”提供的臉部區(qū)域內(nèi)的限定范圍(眼睛范圍)中，如以下所述執(zhí)行對于每個眼睛的眼睛搜索：●從臉部區(qū)域內(nèi)的憑經(jīng)驗確定的眼睛的一般位置限定眼睛范圍?！窭脤ｉT形成的基于相關(guān)性的局部濾波器，在眼睛范圍內(nèi)確定存在眼睛的概率(將該圖像段中的眼睛簡化描述為伴隨光環(huán)境的一點暗面)●準確的眼睛位置(含其概率)產(chǎn)生于先前計算的概率山(probabilitymountain)中的最小搜索●“并行瞳孔分析器”○功能■基于先前確定的眼睛位置，在所檢測到的眼睛內(nèi)檢測瞳孔中點的位置(從而，眼睛位置的精度增加，這對于瞳孔的測量或后續(xù)評估是重要的)○輸入■原始分辨率的初始圖像以及所確定的眼睛位置和臉部大小(來自“并行眼睛分析器”或“并行臉部取景器”)○輸出■瞳孔在所評估的圖像內(nèi)的位置以及指示是否已找到瞳孔的狀態(tài)○詳細描述■基于所確定的眼睛位置和臉部大小，在眼睛周圍識別待處理的圖像部分■除該圖像矩陣之外，建立包含圖像列的最小值的向量以及包含圖像行的最小值的向量■在這些向量內(nèi)(從最小灰度值)，如以下所述，在水平方向和垂直方向上分別檢測瞳孔中點：●檢測各向量的最小值(作為瞳孔內(nèi)的位置)●基于該最小值，在向量內(nèi)，沿正方向和負方向，確定以下位置，在該位置處，超過與所有向量元素的動態(tài)范圍按比例相關(guān)的可調(diào)閾值●這兩個向量中這些范圍的中點一起形成了瞳孔在所分析圖像中的中點●“時間智能平滑濾波器”○功能■對(例如，所確定的臉部坐標的)數(shù)據(jù)序列進行自適應(yīng)時間平滑，由此，流失值、不合理值(absurdvalue)或極端異常值不會導致平滑后數(shù)據(jù)的波動○輸入■在模塊的每次激活時間，數(shù)據(jù)序列和相關(guān)聯(lián)質(zhì)量標準中的相應(yīng)的一個值(關(guān)于臉部跟蹤：臉部得分(facescore)和找到臉部的降尺度階段)○輸出■平滑后的數(shù)據(jù)值(例如，臉部坐標)○詳細描述■通過一組濾波器參數(shù)，在濾波器的初始化期間，可以確定其行為■如果當前輸入值沒有落入以下類別之一內(nèi)，則該當前輸入值用于平滑：●根據(jù)相關(guān)得分，是數(shù)據(jù)序列的流失值●根據(jù)相關(guān)降尺度階段，是不合理值(在過遠的降尺度階段中已經(jīng)確定的值)●根據(jù)朝向用于平滑的最后值的差太大，是異常值■此外，如果這些標準之一被滿足，則輸出先前確定的平滑值，否則，對用于平滑的當前值進行協(xié)商■為了在平滑期間獲得可能地低延遲，與過去值相比，對當前值定級更高：●當前平滑的值＝當前值×平滑系數(shù)+上次平滑的值×(1-平滑系數(shù))●針對待平滑的數(shù)據(jù)的趨勢，在所定義的邊界內(nèi)動態(tài)調(diào)整平滑系數(shù)：○減少數(shù)據(jù)序列中相當恒定值的發(fā)展○增加數(shù)據(jù)序列中增大值或減小值的發(fā)展■如果長期發(fā)生關(guān)于待平滑的橢圓參數(shù)的較大飛躍，則對濾波器以及由此也對平滑后值的發(fā)展進行調(diào)整●“3D相機系統(tǒng)模型”○功能■3D空間的建模，在所述3D空間中設(shè)置有若干相機、用戶(或其眼睛)以及可能地屏幕○輸入■包含模型的所有元素的模型參數(shù)(位置參數(shù)、光學參數(shù)等)的配置文件○輸出■提供用于該模型內(nèi)計算的統(tǒng)計框架和功能○詳細描述■對模型的所有元素的空間位置(位置和旋轉(zhuǎn)角度)及其幾何形狀(例如，像素大小、傳感器大小、分辨率)和光學(例如，焦距、物鏡失真)特性進行建?！鲈谠摃r間點，模型包括以下元素：●相機單元，包括：○相機傳感器○物鏡●眼睛●顯示器■除了模型的所有元素的特性以外，具體地，提供下面描述的功能“3D位置計算”(用于計算眼睛位置)和“3D視線方向計算”(用于計算視線方向)■在其他應(yīng)用情況下，還提供以下功能：●借助該模型，除其他事項外，可以計算3D視線(包括瞳孔中點和(與人眼的生物學和生理學相對應(yīng)的)視線方向向量)●可選地，還可以計算觀看者在3D模型的另一對象上(例如，在顯示器上)的視點以及觀看者的關(guān)注區(qū)域●“3D位置計算”○功能■計算由兩個或更多個相機捕獲的點(例如，瞳孔中點)的空間位置(3D坐標)○輸入■點在兩個相機圖像中的2D坐標○輸出■該點的3D坐標■誤差測量：描述與模型參數(shù)結(jié)合的所傳送2D坐標的精度○詳細描述■從所傳送的2D坐標，通過利用針對兩個相機的“3D相機系統(tǒng)模型”(具體地，考慮光學參數(shù))，計算將3D點顯示為傳感器上的2D點的光束■將這些光束描述為模型的3D空間中的直線■假設(shè)兩條直線具有最小距離的點(在理想情況下，直線的交點)是所搜索的3D點。優(yōu)點在(實時)相機圖像中確定2D形式的臉部位置和眼睛位置，并且(通過包括3D空間模型)在3D空間中重新計算所述位置的3D形式-對3D下呈現(xiàn)的算法進行優(yōu)化以在FPGA中具有實時能力和并行處理-由于完全并行處理而無需在處理鏈中遞歸而導致高幀率(在XILINXSpartan3ADSP@48MHz上是60FPS@640x480)以及短延遲時段→非常快速的圖像處理和具有最小延遲的結(jié)果的輸出-由于可以用一個組件(FPGA)實現(xiàn)全部功能而導致最小構(gòu)造空間-低能耗-固定的時間制度(連續(xù)結(jié)果之間的恒定時間差)，并因此，注定用于安全關(guān)鍵型應(yīng)用-由于尺度效應(yīng)(scalingeffect)的利用，將處理從FPGA直接移植到ASIC(專用集成電路)的可能性→具有高質(zhì)量的非常有成本效益的解決方案應(yīng)用-與軟件解決方案相比，應(yīng)用期間的優(yōu)點○自主功能(片上系統(tǒng))○易于轉(zhuǎn)移到ASIC中的可能性○集成到現(xiàn)有系統(tǒng)/開關(guān)中節(jié)省空間-與軟件解決方案相似的應(yīng)用領(lǐng)域(在(實時)相機圖像數(shù)據(jù)流中，檢測臉部位置和相應(yīng)眼睛位置，用于以下列出的應(yīng)用)○安全應(yīng)用■例如，汽車領(lǐng)域中的短暫打盹報警系統(tǒng)，評估眼睛(眨眼程度)以及眼睛和頭的移動○人機通信■例如，用于技術(shù)設(shè)備的輸入接口(頭或眼睛位置作為輸入?yún)?shù))○視線跟蹤■例如，臉部和眼睛位置，作為用于視線方向確定的初步階段(結(jié)合“集成眼睛跟蹤器”)○市場■例如，通過確定頭和眼睛的參數(shù)(特別是位置)評估廣告的吸引力以下，公開關(guān)于上述各方面的進一步背景知識?；舴蛱卣魈崛‰S后的本實施例的目的是，在并行霍夫變換的基礎(chǔ)上，開發(fā)一種用于特征提取的穩(wěn)健方法。為此，修改霍夫核，并且提出一種用于特征提取的方法，該方法減少變換的結(jié)果并將它們劃分成每個圖像對應(yīng)幾個“特征向量”。之后，用MATLAB工具箱實施新開發(fā)的方法并對其進行測試。最后，呈現(xiàn)該新方法的FPGA實現(xiàn)。用于直線和圓的并行霍夫變換并行霍夫變換使用不同大小的霍夫核，所述霍夫核必須通過用于相應(yīng)應(yīng)用的配置矩陣來配置。以下呈現(xiàn)用于建立這種配置矩陣的數(shù)學上下文和方法。MATLABalc_config_lines_curvatures.m表示這些方法，并建立針對不同大小的半圓和直線的配置矩陣。為了建立配置矩陣，最初需要計算用于不同霍夫核的離散表現(xiàn)的曲線的陣列。已經(jīng)證明了對于曲線陣列的要求(建立規(guī)定)。考慮這些建立規(guī)定，特別地，直線和半圓適合于霍夫核的配置。對于視線方向確定，使用具有用于半圓(或曲線)的配置的霍夫核。出于完整性的原因，這里還導出用于直線(或直線段)的配置。證明了確定用于直線的曲線陣列的數(shù)學上下文。計算用于直線的曲線陣列的起始點是(B1)中的線性直線方程。y＝m·x+n(B1)可以通過增幅m的變化產(chǎn)生曲線陣列。為此，將0°至45°的直線增幅劃分成相同大小的區(qū)間。區(qū)間的數(shù)目取決于霍夫核大小，并對應(yīng)于霍夫核線(Houghcoreline)的數(shù)目?？梢酝ㄟ^0至coreheigt的控制變量Ycore來調(diào)節(jié)增幅。m=1coreheigt·ycore---(B2)]]>通過值為0至核寬的控制變量(在(B3)中用xcore替換)的變化來計算曲線陣列的函數(shù)值。y=1coreheigt·ycore·xcore---(B3)]]>對于2D圖中的離散表示，必須對函數(shù)值四舍五入。在(Katzmann2005，p.37-38)上說明了用于半圓的曲線陣列的計算，并且示出在圖9b中。用于計算曲線陣列的起始點是坐標格式的圓方程。r2＝(x-xM)2+(y-yM)2(B4)在xM＝0(圓心在y軸上的位置)、x＝xcore的情況下，針對曲線陣列的函數(shù)值變換到y(tǒng)遵循(B5)。y=r2-xcore2+yM---(B5)]]>由于yM和r不是已知的，必須替換掉它們。為此，可以從圖9b導出(B6)和(B7)的數(shù)學上下文。yM＝h-r(B6)r2=yM2+(corewidth2)2---(B7)]]>通過將(B7)轉(zhuǎn)換到y(tǒng)M以及yM必須總為負(參見圖9b)的條件，獲得(B8)。yM=r2-(corewidth2)2·(-1)---(B8)]]>將(B8)用在(B5)中導致(B9)。y=r2-xcore2+r2-(corewidth2)2·(-1)---(B9)]]>從圖9b，變得更清楚的是，霍夫核是樞紐中心的，并位于圓坐標系的y軸上。變量xcore通常是從0到corewidth-1，因此，必須通過-對其進行校正。y=r2-xcore2-(corewidth2)2+·r2-(corewidth2)2·(-1)---(B10)]]>但是，半徑缺失，其通過將(B6)用在(B7)中并通過進一步轉(zhuǎn)換而被獲得。r2=(h-r)2+(corewidth2)2---(B11)]]>r2=h2-2hr+r2+(corewidth2)2---(B12)]]>r=h2+(corewidth2)22·h---(B13)]]>為了產(chǎn)生曲線陣列，最后，變量h必須從0到變化。這通過從0到coreheight的控制變量ycore而發(fā)生。r=(ycore2)2+(corewidth2)22·ycore2---(B14)]]>如關(guān)于直線，必須在2D圖中對離散表現(xiàn)的y值四舍五入。可以通過方程(B15)容易地確定用于類型2的霍夫核的曲線陣列。yTyp_2＝coreheigt-yTyp_1(B15)基于曲線陣列，對于所有霍夫尺寸，可以分別確定用于直線和圓的兩種配置(類型1和類型2)。因此，直接從曲線陣列確定配置(參見Katzmann2005，p.35-36)。配置矩陣可以被“零”或“一”占據(jù)。從而，“一”表示霍夫核中所用延遲元件。最初，用零值在霍夫核尺寸上將配置矩陣初始化。之后，進行以下步驟：1.以曲線陣列的第一曲線開始，并測試第一x索引數(shù)的y值。如果y值大于零，則在完全相同的位置(相同的x索引)在相同行(相同的y索引)中用其占據(jù)配置矩陣的元素。2.通過曲線陣列的所有曲線，修改具有相同x索引的y值。如果在第一步驟中元素被其占據(jù)，則減去所有y值中的一個。如果在第一步驟中元素未被占據(jù)，則什么也不做。3.通過步驟1和步驟2，只要配置矩陣的所有元素趨近。在圖9c中，逐步展現(xiàn)了配置過程。最后，回應(yīng)霍夫核配置的一些特殊性。針對直線的配置總是根據(jù)霍夫核的寬度只表示直線段。二值邊緣圖像中的較長的直線段可選地從檢測到的一些直線段組合而成。直線段的角度(或增幅)的分辨率取決于霍夫核的高度。針對圓的配置總是表示半圓頂點附近的圓弧。僅曲線陣列的最高y索引數(shù)(最小半徑)表示完整的半圓。所開發(fā)的配置可以用于新霍夫核?；舴蚝说男薷腍olland-Nell的FPGA實現(xiàn)的決定性的缺點是霍夫核的剛性配置。延遲線在合成之前必須被參數(shù)化并且之后被牢固地沉積在硬件結(jié)構(gòu)中(Holland-Nell，p.48-49)。在運行期間改變(例如，霍夫核尺寸)是不可能的。在這點上，新方法變得更加靈活。新霍夫核還將在運行期間，在FPGA中被完全重新配置。這具有若干優(yōu)點。一方面，不必并行提出兩個霍夫核(類型1和類型2)，另一方面，還可以使用用于直線和半圓的不同配置。此外，霍夫核大小可以在運行期間靈活地改變。先前霍夫核結(jié)構(gòu)包括延遲和旁路，并且在FPGA合成之前，確定要使用哪個路徑。以下，該結(jié)構(gòu)通過復用器、用于配置延遲元件(切換復用器)的另外的寄存器并通過流水線延遲而擴展?？梢栽谶\行期間修改配置寄存器。通過這種方式，可以將不同配置矩陣帶入霍夫核中。通過設(shè)置流水線延遲，F(xiàn)PGA中的合成工具在霍夫核設(shè)計的實施期間具有更多自由，并且可以實現(xiàn)更高的時鐘率。流水線延遲突破了FPGA結(jié)構(gòu)內(nèi)的時間關(guān)鍵路徑。在圖9d中，展現(xiàn)了延遲元件的新設(shè)計。與根據(jù)Katzmann和Holland-Nell的先前實現(xiàn)相比，新霍夫核的延遲元件建立得有點更復雜。關(guān)于延遲元件的靈活配置，需要附加寄存器，并且復用器占用進一步的邏輯資源(必須以LUT形式實施在FPGA中)。流水線延遲是可選的。除延遲元件的修改外，還實施對霍夫核的設(shè)計的修改。在圖9e中展現(xiàn)了新霍夫核。與先前霍夫核相比，首先，將實施新的表示法。由于圖9e中旋轉(zhuǎn)大約90°的設(shè)計，原先稱為初始直方圖的信號的“行量”現(xiàn)在被稱為“列量”。因此，霍夫核的每一列表示曲線陣列的曲線。此外，新霍夫核可以在運行期間被新配置矩陣沖擊。配置矩陣歸檔在FPGA內(nèi)部BRAM中，并由配置邏輯加載。這按逐列的位串將配置加載到鏈式配置寄存器中(參見圖9d)?；舴蚝说闹匦屡渲眯枰囟〞r間段，并取決于列的長度(或延遲線的量)。因此，每個列元素需要時鐘周期以及通過BRAM的一些航向周期(tackcycle)的延遲，并且添加配置邏輯。雖然關(guān)于重新配置的整體延遲是不利的，但是對于基于視頻的圖像處理，其是可以接受的。通常，利用CMOS傳感器記錄的視頻數(shù)據(jù)流具有水平消隱和垂直消隱。因此，重新配置可以在水平消隱時間中沒有問題地發(fā)生。在FPGA中實現(xiàn)的霍夫核結(jié)構(gòu)的尺寸還預先確定霍夫核配置的最大可能尺寸。如果使用較小的配置，則這些配置在霍夫核結(jié)構(gòu)的列1，在水平方向上垂直居中對準(參見圖9f)。霍夫核結(jié)構(gòu)的未使用元件全部被延遲占用。對于x坐標的校正，較小配置的正確對準很重要(參見公式(B17)至(B19))。如之前，向霍夫核饋送通過所配置的延遲線的二值邊緣圖像。利用每個處理步驟，經(jīng)由整個霍夫核計算列量，并且分別將列量與先前列的量信號進行比較。如果列提供了較高的總值，則原始列的總值被重寫。作為初始信號，新霍夫核提供列總值以及相關(guān)聯(lián)的列號。稍后，基于這些值，可以進行以下聲明：找到結(jié)構(gòu)(由列號表示)并檢測到出現(xiàn)概率(由總值表示)?；舴蚝说某跏夹盘栠€可以被稱為霍夫空間或累加器空間。與通常的霍夫變換相比，霍夫空間可用于圖像坐標系中的并行霍夫變換。這意味著，對于每個圖像坐標，輸出與列號相關(guān)聯(lián)的總值。對于眼睛圖像的完整變換，必須分別通過非旋轉(zhuǎn)圖像和旋轉(zhuǎn)圖像的類型1和類型2的一個霍夫核。因此，在變換后，不僅與列號相關(guān)聯(lián)的列量而且霍夫核類型和初始圖像(非旋轉(zhuǎn)或旋轉(zhuǎn))的對準都是可用的。此外，對于直線和半圓，可以分別使用不同的霍夫核大小和配置。因而，除提到的結(jié)果外，還可以指示曲線類型和霍夫核大小?？偟膩碚f，下表中示出了新霍夫核大小的結(jié)果數(shù)據(jù)集。關(guān)于并行霍夫變換，對于每個圖像點，產(chǎn)生這樣的數(shù)據(jù)集。利用修改的霍夫核結(jié)構(gòu)進行并行霍夫變換，對于初始圖像的每個視點，產(chǎn)生對結(jié)果數(shù)據(jù)集的概述。與Katzmann和Holland-Nell的霍夫核的二值的且基于閾值的輸出相比，該新霍夫核結(jié)構(gòu)產(chǎn)生了顯著更多的初始數(shù)據(jù)。由于這種數(shù)據(jù)量難以處理，呈現(xiàn)一種用于特征提取的方法，其顯著減少了結(jié)果數(shù)據(jù)量。類型2霍夫核以及圖像旋轉(zhuǎn)對于關(guān)于并行霍夫變換的實施例，已經(jīng)介紹了圖像旋轉(zhuǎn)的必要性和類型2霍夫核的特殊性。關(guān)于并行霍夫變換，初始圖像必須通過霍夫核四次。這是必要的，從而能夠在不同角度位置檢測直線和半圓。如果僅使用類型1霍夫核，則將必須在初始位置處理圖像，并將圖像旋轉(zhuǎn)大約90°、180°和270°。通過包括類型2霍夫核，省略大約180°和270°的旋轉(zhuǎn)。如果利用類型2霍夫核處理非旋轉(zhuǎn)初始圖像，則這對應(yīng)于利用類型1霍夫核處理大約180°旋轉(zhuǎn)的初始圖像。與旋轉(zhuǎn)大約270°類似。這可以被以下處理替換：利用類型2霍夫核處理大約90°旋轉(zhuǎn)的圖像。對于FPGA實現(xiàn)，附加旋轉(zhuǎn)的省略具有積極效果，因為圖像旋轉(zhuǎn)通常僅借助外部存儲器來解決。根據(jù)所應(yīng)用的硬件，只有特定帶寬(最大可能數(shù)據(jù)率)在FPGA和存儲組件之間是可用的。關(guān)于類型2霍夫核的使用，外部存儲組件的帶寬僅被大約90°的旋轉(zhuǎn)占用。關(guān)于Holland-Nell的先前實現(xiàn)，需要在FPGA中實施類型1的霍夫核和類型2的霍夫核。利用修改的霍夫核設(shè)計，現(xiàn)在還可以將霍夫核結(jié)構(gòu)在FPGA中實施一次，并且上傳類型1或類型2的配置。由于這種新功能，僅利用一個霍夫核并且僅利用一次圖像旋轉(zhuǎn)，可以將初始圖像進行完全變換。仍然要考慮的是，在僅利用一個霍夫核的處理期間，在霍夫核中還發(fā)生四倍的數(shù)據(jù)率。關(guān)于具有60fps和VGA分辨率的視頻數(shù)據(jù)流，像素數(shù)據(jù)率共達24MHz。在這種情況下，霍夫核將必須以96MHz進行操作，這對于Spartan三代的FPGA已經(jīng)構(gòu)成了高時鐘率。為了優(yōu)化設(shè)計，應(yīng)當在霍夫核結(jié)構(gòu)內(nèi)利用流水線延遲增強操作。特征提取特征提取代表先前表格中的數(shù)據(jù)集進行工作。這些數(shù)據(jù)集可以概括在特征向量中(B16)。以下，可以將特征向量稱為霍夫特征。MV＝[MVX，MVY，MV0，MVKS，MVH，MVG-1，MVA](B16)特征向量分別包括檢測到的特征的各自x坐標和y坐標(MVx和MVy)、方位MV0、曲線強度MVKS、頻率MVH、霍夫核尺寸MVG-1和檢測到的結(jié)構(gòu)的類別MVA?？梢詮囊韵卤砀瘾@得特征向量的各元素的詳細含義和值范圍?；舴蛱卣飨蛄康脑丶捌浜x和值范圍。方位的計算取決于圖像旋轉(zhuǎn)和變換所用的霍夫核類型。從上述表，變得顯然的是，關(guān)于直線和半圓的兩個元素MV0和MVKS具有不同含義。關(guān)于直線，方位和曲線強度的組合形成了所檢測到的直線段在0°到180°的角度中的位置角度。從而，方位表明角度區(qū)域，曲線強度表示該范圍內(nèi)的具體角度?；舴蚝嗽酱?更確切地，霍夫核列可用的越多)，角度分辨率越精細。關(guān)于半圓，方位表示半圓的位置角度或?qū)?。原則上，可以僅在四個排列中檢測半圓。關(guān)于半圓配置，曲線強度表示半徑。除方位MV0和曲線強度MVKS外，關(guān)于坐標(MVx和MVy)應(yīng)考慮進一步的特殊特征(參見圖9g)。關(guān)于直線，該坐標總是表示中點，關(guān)于半圓或曲線，該坐標總是表示頂點。利用該假定，y坐標可以與所實現(xiàn)的霍夫核結(jié)構(gòu)相對應(yīng)地校正，并且不依賴于變換所用的配置的大小(參見圖9f)。與局部濾波器類似，y坐標被垂直居中地表示。對于x坐標，建立通過霍夫核列的上下文，已提供了命中(在特征向量中，用標號MVKS存儲霍夫核列)。根據(jù)霍夫核類型和圖像旋轉(zhuǎn)，還可以指示用于三種不同情況的計算規(guī)定。對于類型1的霍夫核，分別參考用于非旋轉(zhuǎn)初始圖像和旋轉(zhuǎn)初始圖像的公式(B17)。如果類型2的霍夫核可用，則必須根據(jù)圖像旋轉(zhuǎn)來參考公式(B18)或公式(B19)。MVxcorrected=MVxdetected+floor((MVKS+1)2)---(B17)]]>MVxcorrected=imagewidthnon-rotated-(MVxdetected+floor((MVKS+1)2))---(B18)]]>MVxcorrected=imagewidthrotated-(MVxdetected+floor((MVKS+1)2))---(B19)]]>利用指令“取整(floor)”，對分數(shù)有理數(shù)進行向下四舍五入。在FPGA中，這對應(yīng)于二進制小數(shù)的簡單切割。在已經(jīng)確定方位并且已經(jīng)校正霍夫特征的坐標之后，可以進行實際特征提取。對于特征提取，使用三個閾值并結(jié)合非最大值抑制運算符。非最大值抑制運算符對于直線和半圓是不同的。通過閾值，給定最小曲線強度和最大曲線強度并且確定最小頻率非最大值抑制運算符可以看做大小為3×3的局部運算符(參見圖9h)。如果恰好滿足(B23)中的非最大值抑制運算符(nms-運算符)的條件并且超過根據(jù)公式(B20)至(B22)的閾值，則總是產(chǎn)生針對半圓(或曲線)的有效特征。MVnms2,2KS≥MVKSmin---(B20)]]>MVnms2,2KS≥MVKSmax---(B21)]]>MVnms2,2H≥MVHmin---(B22)]]>由于非最大值抑制，抑制了在特征向量的頻率空間中不構(gòu)成局部極大值的霍夫特征。以這種方式，抑制了對所搜索結(jié)構(gòu)沒有貢獻且與后處理無關(guān)的霍夫特征。僅通過可以預先有效調(diào)節(jié)的三個閾值，將特征提取參數(shù)化?？梢詮南卤淼贸鰧﹂撝档脑敿氄f明。詳細描述用于從霍夫空間提取霍夫特征的三個閾值。與根據(jù)Katzmann的方法相比，參數(shù)指示有相似功能。關(guān)于直線，可以同樣地推導出大小為3×3(參見圖9h)的非最大值抑制運算符。從而，應(yīng)當考慮一些特殊性。與曲線不同，不根據(jù)沿二值邊緣發(fā)展的數(shù)個最大值的連續(xù)發(fā)生而檢測關(guān)于直線段的所搜索結(jié)構(gòu)。因此，非最大值抑制可以基于Canny邊緣檢測算法中的方法。根據(jù)霍夫核類型以及檢測到的角度區(qū)域，可以區(qū)分三種情況(參見圖9i并結(jié)合上表)。由于對旋轉(zhuǎn)坐標的再變換僅發(fā)生在非最大值抑制之后，對于旋轉(zhuǎn)的以及非旋轉(zhuǎn)的初始圖像，所述情況區(qū)分都是有效的。應(yīng)當使用哪種nms-運算符分別取決于霍夫核類型以及角度區(qū)域。由具有直線配置的霍夫核提供的角度區(qū)域通過角度區(qū)域平分來劃分?？梢詫⒔嵌葏^(qū)域平分指示為霍夫核列(小數(shù)點折射)通過公式(B24)描述依據(jù)霍夫核大小的數(shù)學上下文。在霍夫特征所位于的角度區(qū)域中，參考具有所傳送的命中(MVKS)的霍夫核列，其可以直接與角度區(qū)域平分的霍夫核列進行比較。MVKShalf=tan(452)·π180·Houghcoresize---(B24)]]>如果已選擇了運算符，則與用于曲線的非最大值抑制相似，可以請求關(guān)于相應(yīng)nms-運算符的條件(公式(B25)至(B27))。如果滿足所有條件并且如果附加地超過根據(jù)公式(B20)至(B22)的閾值，則可以假定在位置nms2，2處的霍夫特征。對一個nms-運算符的確定取決于發(fā)生命中的角度區(qū)域和霍夫核類型。特征提取的完成形成所旋轉(zhuǎn)霍夫特征的再旋轉(zhuǎn)以及x和y坐標。對于后處理，應(yīng)當再次將這些用于圖像坐標系。如果處理了旋轉(zhuǎn)的初始圖像，則不管曲線類型如何(不管是直線還是曲線)，總是執(zhí)行再變換。在公式(B28)和(B29)中，描述數(shù)學上下文。非旋轉(zhuǎn)初始圖像的寬度是指圖像寬度。MVy=MVxred---(B28)]]>MVx=imagewidth-MVyred---(B29)]]>通過利用特征提取，可以將并行霍夫變換的結(jié)果數(shù)據(jù)減少到幾個點。然后，這些可以作為特征向量傳送到后處理。上述實施例僅構(gòu)成對本發(fā)明的原理的說明。應(yīng)當理解的是：本文所述的布置和細節(jié)的修改和變形對于本領(lǐng)域其他技術(shù)人員將是顯而易見的。因此，旨在僅由所附專利權(quán)利要求的保護范圍而不由本文中通過描述和解釋實施例的方式所給出的具體細節(jié)來限制本發(fā)明。當前第1頁1 2 3