本發(fā)明的實(shí)施例涉及一種2D圖像分析器以及相應(yīng)的方法。
背景技術(shù)：
：在數(shù)字圖像處理的許多情況下，初始圖像的若干縮放版本用于模式識(shí)別。這種模式識(shí)別器的一個(gè)示例是根據(jù)Viola-Jones的分類(lèi)器，其中，針對(duì)特定模型尺寸對(duì)該分類(lèi)器進(jìn)行訓(xùn)練。根據(jù)所搜索圖案(例如，臉部或眼睛)朝向相機(jī)系統(tǒng)所具有的距離，發(fā)生較大的顯示或較小的顯示。由于分類(lèi)器的固定模型尺寸，因此，必須在所記錄圖像的若干縮放級(jí)中進(jìn)行搜索，以在一個(gè)縮放級(jí)中獲得與分類(lèi)器的模型尺寸的最佳一致性。通常按照升序或降序(參見(jiàn)圖像金字塔)搜索縮放級(jí)。該順序處理尤其非常不適合于并行架構(gòu)(例如，F(xiàn)PGA)。因此，需要一種改進(jìn)的構(gòu)思。技術(shù)實(shí)現(xiàn)要素：目的是允許有效且可靠的模式識(shí)別。該目的通過(guò)獨(dú)立權(quán)利要求來(lái)實(shí)現(xiàn)。其它實(shí)施例在從屬權(quán)利要求中限定。實(shí)施例創(chuàng)建一種具有圖像縮放器、圖像生成器和圖案查找器的2D圖像分析器。所述圖像縮放器被配置為接收具有所搜索圖案的圖像，并根據(jù)縮放因子對(duì)接收的圖像進(jìn)行縮放。所述圖像生成器被配置為產(chǎn)生概覽圖像，所述概覽圖像包括接收的且縮放的圖像的多個(gè)副本，其中，每個(gè)副本關(guān)于不同的縮放因子被縮放。所述圖案查找器被配置為將預(yù)定圖案與概覽圖像內(nèi)的多個(gè)接收的或縮放的圖像進(jìn)行比較，并輸出關(guān)于位置的信息，在所述位置處，所搜索圖案與所述預(yù)定圖案之間的一致性最大，其中，所述位置涉及接收的且縮放的圖像的相應(yīng)副本。因此，本發(fā)明的主旨是以下事實(shí)：特定圖案的可識(shí)別性隨著圖像尺寸而變化。這里，尤其已經(jīng)意識(shí)到，對(duì)不同縮放級(jí)的順序處理會(huì)是極其低效的。因此，本發(fā)明的實(shí)施例創(chuàng)建一種具有圖案查找器的圖像分析器，其中，在不同縮放級(jí)中將圖案查找器應(yīng)用于概覽圖像，所述概覽圖像包括含有所搜索圖案的圖像。由于以發(fā)送方式布置在概覽圖像中的這些不同縮放級(jí)，可以實(shí)現(xiàn)的是，可以?xún)H在一個(gè)步驟中一起搜索若干或全部感興趣的縮放級(jí)(以及不像往常一樣一個(gè)接一個(gè)地在若干縮放級(jí)上應(yīng)用模式識(shí)別)。這通過(guò)以下方式來(lái)發(fā)生：模式識(shí)別僅發(fā)生在概覽圖像上。在這點(diǎn)上，在概覽圖像與所搜索圖案具有最大一致性的情況下，一方面，哪個(gè)縮放級(jí)傳送了該一致性(縮放圖像在概覽圖像內(nèi)的位置)是顯然的，另一方面，其位于哪個(gè)位置(圖像中的x坐標(biāo)、y坐標(biāo))是顯然的(關(guān)于縮放因子校正的、縮放圖像在概覽圖像內(nèi)的位置)。因此，簡(jiǎn)而言之，這提供了以下優(yōu)點(diǎn)：通過(guò)僅在概覽圖像上執(zhí)行模式識(shí)別，可以更有效地大量收集所搜索圖案，尤其是在并行架構(gòu)上，例如，F(xiàn)PGA。由于縮放的知識(shí)，在絕對(duì)圖像中，也可以計(jì)算搜索圖案的位置。因此，根據(jù)另外的實(shí)施例，根據(jù)相應(yīng)縮放因子將每個(gè)縮放圖像分配到概覽圖像中的相應(yīng)位置。由此，可以通過(guò)以下算法來(lái)計(jì)算相應(yīng)位置，所述算法考慮概覽圖像中各縮放圖像之間的間隔、縮放圖像到概覽圖像中的一個(gè)或多個(gè)邊界的間隔和/或其他預(yù)定義條件。根據(jù)另外的實(shí)施例，將圖案查找器應(yīng)用于準(zhǔn)備的該概覽圖像，所述圖案查找器被配置為在概覽圖像的統(tǒng)計(jì)變換版本中或在轉(zhuǎn)換到霍夫特征空間中的概覽圖像的版本中或在轉(zhuǎn)換到梯度圖像中的概覽圖像的版本中或一般地在轉(zhuǎn)換到特征空間中的概覽圖像的版本中，來(lái)識(shí)別一個(gè)或多個(gè)局部最大值，其中，局部最大值的位置指示在接收的且縮放的圖像的相應(yīng)副本中所識(shí)別的預(yù)定圖案的位置。根據(jù)另外的實(shí)施例，圖案查找器包括分類(lèi)和后處理。分類(lèi)由此被應(yīng)用于轉(zhuǎn)換到特征空間中的概覽圖像，并在圖像內(nèi)容與搜索圖案一致的位置處提供高值(局部最大值)。因此，對(duì)于分類(lèi)，可以查閱根據(jù)現(xiàn)有技術(shù)狀態(tài)的常用方法(例如，根據(jù)Viola-Jones)。分類(lèi)后的概覽圖像現(xiàn)在可以相應(yīng)地經(jīng)受后處理。為此，最初，利用局部量濾波器對(duì)分類(lèi)后的概覽圖像進(jìn)行平滑，并且以這種方式，還對(duì)局部最大值的位置進(jìn)行局部校正。與此并行地，使用局部最大值濾波器，以通過(guò)經(jīng)量濾波器校正的局部最大值獲得得分(在大多數(shù)情況下，得分是分類(lèi)的結(jié)果，因此，是圖像內(nèi)容與搜索圖案的一致性的度量)。結(jié)果，再次，分類(lèi)后的概覽圖像具有分類(lèi)器的得分，但是現(xiàn)在具有經(jīng)局部校正的局部最大值。與先前實(shí)施例相對(duì)應(yīng)地，將相應(yīng)縮放級(jí)分配到概覽圖像中的局部最大值的每個(gè)位置(除了在縮放級(jí)以一個(gè)在另一個(gè)下面的方式隔開(kāi)且朝向概覽圖像邊界的位置處)。根據(jù)在縮放級(jí)內(nèi)最大值所位于的地方，可以通過(guò)關(guān)于相應(yīng)縮放級(jí)的縮放因子對(duì)相應(yīng)位置進(jìn)行校正來(lái)將該位置重新轉(zhuǎn)換到原始圖像。因此，將原始坐標(biāo)中的絕對(duì)位置分配到概覽圖像中的每個(gè)位置(除了在縮放級(jí)以一個(gè)在另一個(gè)下面的方式且朝向概覽圖像邊界隔開(kāi)的位置處)。如果已經(jīng)在縮放級(jí)內(nèi)提取了最大值，則還可以通過(guò)從相鄰縮放級(jí)協(xié)商相應(yīng)局部最大值來(lái)再次對(duì)該位置校正一次，并且發(fā)生經(jīng)由相鄰縮放級(jí)的平均。另外的實(shí)施例涉及2D圖像分析器的確切實(shí)現(xiàn)，根據(jù)第一組實(shí)施例，2D圖像分析器可以被設(shè)計(jì)為嵌入式處理器或可編程邏輯或客戶(hù)端特定芯片(ASIC)，或者根據(jù)第二組實(shí)施例，2D圖像分析器可以被實(shí)現(xiàn)為運(yùn)行在計(jì)算機(jī)上的方法(計(jì)算機(jī)程序)。因此，一個(gè)實(shí)施例包括用于分析2D圖像的方法，具有以下步驟：根據(jù)縮放因子對(duì)包括所搜索圖案的接收?qǐng)D像進(jìn)行縮放，并產(chǎn)生概覽圖像，所述概覽圖像包括接收的且縮放的圖像的多個(gè)副本，其中，每個(gè)副本關(guān)于不同的縮放因子被縮放。在下一步驟，發(fā)生概覽圖像到特征空間(例如，霍夫特征空間)的轉(zhuǎn)換，然后，進(jìn)行分類(lèi)以確定與預(yù)定圖案(例如，眼睛)的一致性的度量。然后，在概覽圖像內(nèi)的多個(gè)接收的且縮放的圖像中搜索最大值，以輸出關(guān)于位置的信息，在所述位置處，所搜索圖案與所述預(yù)定圖案之間的一致性最大，其中，所述位置涉及接收的且縮放的圖像的相應(yīng)副本。如果需要的話(huà)，則所述位置可以通過(guò)局部量和最大值濾波器的組合來(lái)校正，并經(jīng)由相鄰縮放級(jí)被平均。根據(jù)另外的實(shí)施例，所述2D圖像分析器可以與2D圖像分析系統(tǒng)組合，其中，所述分析系統(tǒng)具有評(píng)估單元，所述評(píng)估單元監(jiān)控預(yù)定圖案以及尤其是瞳孔(或一般地，用戶(hù)的眼睛區(qū)域或眼睛)，并確定其狀態(tài)。因而，特別地，可以檢測(cè)眼睛的缺少反應(yīng)，例如，由于短暫打盹而不能再睜開(kāi)的眼睛。根據(jù)另外的實(shí)施例，所述2D圖像分析器可以連接到另外的處理單元，所述處理單元包括選擇性自適應(yīng)數(shù)據(jù)處理器，所述選擇性自適應(yīng)數(shù)據(jù)處理器被配置為與圖像分析器交換若干數(shù)據(jù)組并處理這些數(shù)據(jù)組。因而，在這方面，如下處理數(shù)據(jù)組：僅發(fā)送可信數(shù)據(jù)組，而用可信部分替換數(shù)據(jù)的不可信部分。根據(jù)另外的實(shí)施例，所述2D圖像分析器還可以連接到3D圖像分析器，所述3D圖像分析器基于至少一組圖像數(shù)據(jù)并結(jié)合附加信息來(lái)確定空間中對(duì)象的對(duì)準(zhǔn)(由此，例如，視點(diǎn))。該3D圖像分析器包括兩個(gè)主要單元，即，用于確定三維空間中圖案的位置的位置計(jì)算器以及用于確定準(zhǔn)確傳遞該圖案的軸的對(duì)準(zhǔn)計(jì)算器。根據(jù)另外的實(shí)施例，所述2D圖像分析器還可以與霍夫處理器連接，所述霍夫處理器繼而劃分成以下兩個(gè)子單元：預(yù)處理器，被配置為接收分別包括圖像的多個(gè)樣本并且旋轉(zhuǎn)和/或反折(reflect)相應(yīng)樣本的圖像并輸出各個(gè)樣本中的每個(gè)樣本的圖像的多個(gè)版本?；舴蜃儞Q單元，被配置為基于所述多個(gè)版本收集多個(gè)樣本中的預(yù)定搜索圖案，其中，依賴(lài)于搜索圖案的特性在霍夫變換單元中是可調(diào)節(jié)的。用于對(duì)霍夫結(jié)果進(jìn)行后處理的處理單元被配置為分析收集到的圖案并輸出一組幾何參數(shù)，其中，該組幾何參數(shù)描述了針對(duì)每個(gè)樣本的圖案的位置和/或幾何形狀。附圖說(shuō)明隨后，基于附圖示出本發(fā)明的實(shí)施例。附圖中示出了：圖1是根據(jù)實(shí)施例的2D圖像分析器的示意框圖；圖2a是根據(jù)實(shí)施例的具有預(yù)處理器和霍夫變換單元的霍夫處理器的示意框圖；圖2b是根據(jù)實(shí)施例的預(yù)處理器的示意框圖；圖2c是用于檢測(cè)直線(xiàn)(線(xiàn)段)的霍夫核的示意圖示；圖3a是根據(jù)實(shí)施例的霍夫變換單元的可能實(shí)現(xiàn)的示意框圖；圖3b是根據(jù)實(shí)施例的減速矩陣的單個(gè)單元；圖4a至圖4d是根據(jù)實(shí)施例的霍夫變換單元的進(jìn)一步實(shí)現(xiàn)的示意框圖；圖5a是根據(jù)實(shí)施例的具有兩個(gè)圖像處理器和后處理單元的立體相機(jī)組件的示意框圖，其中，每個(gè)圖像處理器包括一個(gè)霍夫處理器；圖5b是用于說(shuō)明利用圖5a的單元可行的視點(diǎn)檢測(cè)以及用于解釋在單視場(chǎng)情況下的視點(diǎn)檢測(cè)的眼睛的示例性圖像；圖6至圖7進(jìn)一步示出了對(duì)附加實(shí)施例和/或方面的解釋?zhuān)粓D8a至圖8e是光學(xué)系統(tǒng)的示意圖示；圖9a至圖9i進(jìn)一步示出了對(duì)霍夫變換單元的背景知識(shí)的解釋。具體實(shí)施方式以下，參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。應(yīng)當(dāng)注意的是，用相同的附圖標(biāo)記指示相同的元件，使得其描述彼此適用和/或可交換。圖1示出了具有圖像縮放器702、圖像生成器704和圖案查找器706的2D圖像分析器700。圖像縮放器702被配置為接收包括所搜索圖案711的圖像710(參見(jiàn)圖7b)。在圖像縮放器702中，利用不同的縮放因子對(duì)接收的圖像710進(jìn)行縮放。從而，例如，可以發(fā)生如下所示的降尺寸(downsizing)。在該降尺寸期間，基于圖像710，產(chǎn)生接收的且縮放的圖像710’、710”、710”’至710““““‘的多個(gè)副本，其中，應(yīng)當(dāng)注意的是，縮放級(jí)的數(shù)目不受限制。這多個(gè)縮放圖像710至710““““‘通過(guò)圖像生成器704組裝成概覽圖像712，由此，概覽圖像712包括所接收的且縮放的圖像710’至710““““‘的多個(gè)副本。從而，可以通過(guò)以下算法來(lái)計(jì)算概覽圖像內(nèi)縮放圖像的各個(gè)位置，所述算法考慮概覽圖像中各縮放圖像之間的間隔、縮放圖像到概覽圖像的一個(gè)或多個(gè)邊界的間隔和/或其他預(yù)定義條件。在該概覽圖像712中，通過(guò)利用圖案查找器706，現(xiàn)在可以檢測(cè)所搜索圖案711。因此，代替一個(gè)接一個(gè)地在若干縮放級(jí)上施加模式識(shí)別，僅將模式識(shí)別施加一次至概覽圖像，由此，各個(gè)縮放級(jí)被“編碼”為概覽圖像內(nèi)的位置信息。對(duì)各個(gè)縮放級(jí)的這種處理在FPGA架構(gòu)上尤其有利，因?yàn)檫@里一個(gè)接一個(gè)地對(duì)各個(gè)縮放級(jí)進(jìn)行順序處理將相對(duì)復(fù)雜。不同的縮放圖像將必須分別存儲(chǔ)在存儲(chǔ)器中并且被分別處理，然后，使結(jié)果相合。因此，一次生成概覽圖像，然后，可以在一個(gè)步驟中對(duì)概覽圖像進(jìn)行處理。以這種方式，可以最佳地利用并行FPGA架構(gòu)。根據(jù)另外的實(shí)施例，將還可以將該概覽圖像710變換成特征圖像710a，其中這里通常使用統(tǒng)計(jì)變換(censustransformation)。基于該統(tǒng)計(jì)變換后的圖像710a，將還可以想到的是，進(jìn)行分類(lèi)以檢測(cè)假彩色圖像710b(參見(jiàn)圖7c)?？蛇x地，根據(jù)另外的實(shí)施例，附加地，可以在2D圖像分析器中設(shè)置后處理單元(未示出)(參見(jiàn)圖5a)。后處理單元允許應(yīng)用局部量和最大值濾波器的組合，以校正分類(lèi)后的概覽圖像中的局部最大值的位置?？蛇x地，由此，還可以發(fā)生在縮放級(jí)之一中找到的最大值與來(lái)自相鄰縮放級(jí)的相應(yīng)最大值的位置的平均。因此，發(fā)生概覽圖像中相鄰縮放級(jí)的平均超過(guò)和遠(yuǎn)離。參照?qǐng)D7a描述該2D圖像分析器的另外的實(shí)施例或變型。圖2a示出了具有預(yù)處理器102和霍夫變換單元104的霍夫處理器100。預(yù)處理器102構(gòu)成了第一信號(hào)處理級(jí)并在信息上鏈接到霍夫變換單元104。霍夫變換單元104具有延遲濾波器106，其可以包括至少一個(gè)(然而，優(yōu)選地，多個(gè))延遲元件108a、108b、108c、110a、110b和110c。延遲濾波器106的延遲元件108a至108c以及110a至110c通常布置為矩陣，因此，在列108和110與行a至c中，信令連接到彼此。根據(jù)圖2a中的實(shí)施例，延遲元件108a至108c和/或110a至110c中的至少一個(gè)具有可調(diào)節(jié)的延遲時(shí)間，這里通過(guò)“+/-”符號(hào)來(lái)表現(xiàn)。為了激活延遲元件108a至108c以及110a至110c和/或?yàn)榱藢?duì)其進(jìn)行控制，可以提供單獨(dú)的控制邏輯和/或控制寄存器(未示出)。該控制邏輯經(jīng)由可選的切換元件109a至109c和/或111a至111c控制各個(gè)延遲元件108a至108c和/或110a至110c的延遲時(shí)間，例如，所述可選的切換元件109a至109c和/或111a至111c可以包括復(fù)用器和旁路?；舴蜃儞Q單元104可以包括附加配置寄存器(未示出)，用于對(duì)各個(gè)延遲元件108a至108c以及110a至110c進(jìn)行初始配置。預(yù)處理器102的目標(biāo)在于，通過(guò)各個(gè)樣本112a、112b和112c可以被霍夫變換單元104有效處理的方式來(lái)處理各個(gè)樣本112a、112b和112c。為此，預(yù)處理器102接收?qǐng)D像數(shù)據(jù)和/或多個(gè)樣本112a、112b和112c，并且例如以旋轉(zhuǎn)的形式和/或以反折(reflection)的形式執(zhí)行預(yù)處理，以向霍夫變換單元104輸出若干版本(參見(jiàn)112a和112a’)。如果霍夫變換單元104具有一個(gè)霍夫核106，則該輸出可以串行地發(fā)生，或者如果提供了若干霍夫核，則該輸出還可以并行地發(fā)生。因此，這意味著，根據(jù)該實(shí)施方式，n個(gè)版本的圖像被整體并行地輸出和處理，被半并行地(由此，僅部分并行地)輸出和處理，或者被串行地輸出和處理。預(yù)處理器102中的預(yù)處理用于利用搜索圖案或霍夫核配置來(lái)檢測(cè)若干類(lèi)似圖案(上升和下降的直線(xiàn))，以下通過(guò)利用第一樣本112a對(duì)其進(jìn)行說(shuō)明。例如，該樣本可以被旋轉(zhuǎn)例如大約90°，以獲得旋轉(zhuǎn)版本112a’。該旋轉(zhuǎn)過(guò)程具有附圖標(biāo)記114。由此，旋轉(zhuǎn)可以發(fā)生大約90°，還可以是大約180°或270°或者一般地大約360°/n，借以應(yīng)當(dāng)注意的是，根據(jù)下游霍夫變換(參見(jiàn)霍夫變換單元104)，僅進(jìn)行90°旋轉(zhuǎn)會(huì)是非常有效的。參照?qǐng)D2b和圖2c解決這些子方面。此外，圖像112a還可以被反折，以獲得反折版本112a”。反折的過(guò)程具有附圖標(biāo)記116。反折116對(duì)應(yīng)于存儲(chǔ)器的向后讀出?；诜凑郯姹?12a”以及基于旋轉(zhuǎn)版本112a’，通過(guò)執(zhí)行過(guò)程114或116，可以從旋轉(zhuǎn)且反折版本112a”’獲得第四版本?；诜凑?16，檢測(cè)到如隨后所述的具有相同霍夫核配置的兩個(gè)相似圖案(例如，向右開(kāi)的半圓和向左開(kāi)的半圓)?；舴蜃儞Q單元104被配置為在由預(yù)處理器102提供的版本112a或112a’(或112a”或112a”’)中檢測(cè)預(yù)定的搜索圖案，例如橢圓或橢圓的一部分、圓或圓的一部分、直線(xiàn)或一段。為此，與所搜索預(yù)定圖案相對(duì)應(yīng)地配置濾波器裝置。根據(jù)各個(gè)配置，延遲元件108a至108c或110a至110c中的一些被激活或旁路(bypassed)。因此，當(dāng)將待檢查的圖像112a或112a’的片帶(filmstrip)應(yīng)用于變換單元104時(shí)，一些像素被延遲元件108a至108c選擇性地延遲，這對(duì)應(yīng)于中間存儲(chǔ)，而其他像素被直接發(fā)送到下一列110。由于該過(guò)程，彎曲的或傾斜的幾何形狀“變直”。根據(jù)加載的圖像數(shù)據(jù)112a或112a’和/或確切地講，根據(jù)圖像112a或112a’的所應(yīng)用行的圖像結(jié)構(gòu)，在列108或110之一中發(fā)生高列量(columnamount)，而其他列中的列量較低。列量經(jīng)由列量輸出108x或110x而輸出，這里借以可選地，可以提供用于建立每個(gè)列108或110的列量的加法元件(未示出)。利用列量中的一個(gè)列量的最大值，可以假設(shè)存在所搜索圖像結(jié)構(gòu)或所搜索圖像結(jié)構(gòu)的一部分或者至少存在與所搜索結(jié)構(gòu)的一致性的關(guān)聯(lián)度。因此，這意味著，按每個(gè)處理步驟，片帶被進(jìn)一步移動(dòng)大約一個(gè)像素或大約一個(gè)列108或110，從而利用每個(gè)處理步驟，通過(guò)起始直方圖，可以識(shí)別出是否檢測(cè)到所搜索結(jié)構(gòu)之一，或者存在所搜索結(jié)構(gòu)的可能性是否相應(yīng)地高。換言之，這意味著，覆蓋列108或110的各自列量的閾值表明檢測(cè)到所搜索圖像結(jié)構(gòu)的一部分，借以每個(gè)列108或110與所搜索圖案或所搜索圖案的特征(例如，直線(xiàn)的角度或圓的半徑)相關(guān)聯(lián)。這里應(yīng)當(dāng)注意的是，對(duì)于各個(gè)結(jié)構(gòu)，不僅相應(yīng)線(xiàn)110的各延遲元件110a、110b和110c是決定性的，而且具體地，與在后延遲元件110a、110b和110c結(jié)合的在前延遲元件108a、108b和108c也是決定性的。與目前工藝水平相對(duì)應(yīng)地，延遲元件或旁路的這種激活或結(jié)構(gòu)是先驗(yàn)預(yù)定的。經(jīng)由可變延遲元件108a至108c或110a至110c(延遲元件)，可以在正在進(jìn)行的操作期間調(diào)整所搜索特征(由此，例如，半徑或增幅)。由于各列108和110彼此連接，在調(diào)節(jié)延遲元件108a至108c或110a至110c之一的延遲時(shí)間的過(guò)程中發(fā)生濾波器106的整個(gè)濾波器特性的改變。由于霍夫變換單元104的濾波器106的濾波器特性的靈活調(diào)節(jié)，可以在運(yùn)行期間調(diào)整變換核106，從而可以收集并利用相同霍夫核106跟蹤例如動(dòng)態(tài)圖像內(nèi)容(例如對(duì)于小瞳孔和大瞳孔)。在圖3c中，其涉及關(guān)于延遲時(shí)間可以如何調(diào)節(jié)的確切實(shí)現(xiàn)。為了實(shí)現(xiàn)具有更大靈活性的霍夫處理器100或變換單元104，優(yōu)選地，將所有延遲元件108a、108b、108c、110a、110b和/或110c(或所提及的延遲元件中的至少一個(gè))實(shí)施為具有可變延遲時(shí)間或可離散切換的延遲時(shí)間，從而在正在進(jìn)行的操作期間，可以在待檢測(cè)的不同圖案之間或在待檢測(cè)的圖案的不同特征之間切換。根據(jù)另外的實(shí)施例，所示的霍夫核104的大小是可配置的(在操作期間或在之前)，從而可以激活或停用附加霍夫單元(Houghcell)。根據(jù)另一實(shí)施例，變換單元104可以連接到用于例如利用控制器(未示出)調(diào)節(jié)相同延遲元件，或者確切地講用于調(diào)節(jié)各延遲元件108a至108c以及110a至110c的裝置?？刂破骼绮贾迷谙掠翁幚韱卧?，并被配置為調(diào)節(jié)濾波器106的延遲特性，如果圖案不能被識(shí)別，或者如果識(shí)別不是足夠好(圖像內(nèi)容與存在所搜索圖案時(shí)的所搜索圖案的低一致性)。參照?qǐng)D5a，其涉及該控制器。上述實(shí)施例具有以下優(yōu)點(diǎn)：實(shí)現(xiàn)起來(lái)容易且靈活，并且特別地能夠?qū)崿F(xiàn)在FPGA(現(xiàn)場(chǎng)可編程門(mén)陣列)上。這里所涉及的背景是，上述并行霍夫變換的進(jìn)展沒(méi)有衰退并且這么說(shuō)是完全并行化的。因此，進(jìn)一步的實(shí)施例涉及FPGA，其至少具有霍夫變換單元104和/或預(yù)處理器102。將上述設(shè)備實(shí)現(xiàn)為FPGA，例如XILINXSpartan3ADSP，可以通過(guò)使用96MHz的頻率來(lái)實(shí)現(xiàn)例如60FPS的非常高的幀率以及640×480的分辨率，由于具有多個(gè)列108和110的上述結(jié)構(gòu)104，可以進(jìn)行并行處理或所謂的并行霍夫變換。圖2a和圖2b示出了預(yù)處理器102，其用于對(duì)具有幀112a、112b和112c的視頻數(shù)據(jù)流112進(jìn)行預(yù)處理。預(yù)處理器102被配置為接收樣本112作為二值邊緣圖像或者甚至作為梯度圖像，并基于所述圖像執(zhí)行旋轉(zhuǎn)114或反折116，以獲得四個(gè)版本112a、112a’、112a”和112a”’。為此，背景是，通常，由霍夫變換單元執(zhí)行的并行霍夫變換基于圖像112a的兩個(gè)或四個(gè)分別經(jīng)預(yù)處理的例如轉(zhuǎn)移大約90°的版本。如圖2b所示，最初，在兩個(gè)版本112a和112a’被水平反折(參見(jiàn)112a到112a”以及112a’到112a”’)之前，發(fā)生90°旋轉(zhuǎn)(112a到112a’)。為了執(zhí)行反折116和/或旋轉(zhuǎn)114，預(yù)處理器在相應(yīng)實(shí)施例中具有內(nèi)部或外部存儲(chǔ)器，其用于裝載接收到的圖像數(shù)據(jù)112。預(yù)處理器102的旋轉(zhuǎn)114和/或反折116的處理取決于下游霍夫變換、并行霍夫核的數(shù)目(并行化程度)和并行霍夫核的配置，如參照?qǐng)D2c具體描述的。在這方面，預(yù)處理器102可以被配置為經(jīng)由輸出126，根據(jù)與以下三個(gè)星座圖(constellation)之一相對(duì)應(yīng)的下游霍夫變換單元104的并行化程度而輸出預(yù)處理后的視頻流：100％并行化：同時(shí)輸出四個(gè)視頻數(shù)據(jù)流，即，一個(gè)非旋轉(zhuǎn)且非反折的版本112a、一個(gè)旋轉(zhuǎn)大約90°的版本112a’以及分別反折的版本112a”和112a”’。50％并行化：在第一步中輸出兩個(gè)視頻數(shù)據(jù)流，即，非旋轉(zhuǎn)的112a和反折大約90％的112a’，并且在第二步中輸出分別反折的變體112a”和112a”’。25％并行化：順序地分別輸出一個(gè)視頻數(shù)據(jù)流，即，非旋轉(zhuǎn)的112a、旋轉(zhuǎn)大約90°的112a’、反折的112a”以及反折且旋轉(zhuǎn)的112a”’。作為以上變體的替代，還將想到，基于第一版本，建立另外三個(gè)完全旋轉(zhuǎn)的版本，例如，旋轉(zhuǎn)大約90°、180°和270°，基于此，執(zhí)行霍夫變換。根據(jù)另外的實(shí)施例，預(yù)處理器102可以被配置為執(zhí)行進(jìn)一步圖像處理步驟，例如上采樣。附加地，預(yù)處理器還可以創(chuàng)建梯度圖像。對(duì)于梯度圖像創(chuàng)建將是圖像預(yù)處理的部分的情況，灰度值圖像(初始圖像)可以在FPGA中旋轉(zhuǎn)。圖2c示出了兩個(gè)霍夫核配置128和130，例如，對(duì)于兩個(gè)并行31×31霍夫核，被配置為識(shí)別直線(xiàn)或直線(xiàn)段。此外，應(yīng)用單位圓132，以說(shuō)明在哪個(gè)角部分(anglesegment)中可以進(jìn)行檢測(cè)。在這點(diǎn)上應(yīng)當(dāng)注意的是，要以白點(diǎn)示出延遲元件的方式來(lái)分別查看霍夫核配置128和130?；舴蚝伺渲?28對(duì)應(yīng)于所謂的類(lèi)型1霍夫核，而霍夫核配置120對(duì)應(yīng)于所謂的類(lèi)型2霍夫核。從這兩個(gè)霍夫核配置128和130的比較可以得出，一個(gè)構(gòu)成了另一個(gè)的逆。利用第一霍夫核配置128，可以檢測(cè)3π/4和π/2之間的部分1中的直線(xiàn)，而可以通過(guò)利用霍夫核配置130檢測(cè)部分3π/2到5π/4(部分2)中的直線(xiàn)。為了實(shí)現(xiàn)在其他部分中的檢測(cè)，如上所述，將霍夫核配置128和130應(yīng)用于各個(gè)圖像的旋轉(zhuǎn)版本。因此，通過(guò)利用霍夫核配置128，可以收集π/4和零之間的部分1r，并且通過(guò)利用霍夫核配置130，可以收集π和3π/4之間的部分2r。備選地，當(dāng)僅使用一個(gè)霍夫核(例如，類(lèi)型1霍夫核)時(shí)，圖像一次旋轉(zhuǎn)大約90°、一次旋轉(zhuǎn)大約180°以及一次旋轉(zhuǎn)大約270°會(huì)是有用的，以收集直線(xiàn)對(duì)準(zhǔn)的上述變體。另一方面，由于靈活性，在霍夫核的配置期間，可以?xún)H使用一種霍夫核類(lèi)型，該類(lèi)型在正在進(jìn)行的操作期間被重新配置，或者關(guān)于該類(lèi)型，各個(gè)延遲元件可以通過(guò)霍夫核與逆類(lèi)型相對(duì)應(yīng)的方式被打開(kāi)或關(guān)閉。因此，換言之，這意味著，當(dāng)使用預(yù)處理器102(在50％并行化操作中)以及僅具有一個(gè)霍夫核且僅具有一次圖像旋轉(zhuǎn)的可配置霍夫變換單元104時(shí)，可以顯示整個(gè)功能，否則只能通過(guò)兩個(gè)并行霍夫核來(lái)涵蓋整個(gè)功能。在這方面，變得清楚的是，各個(gè)霍夫核配置或?qū)舴蚝祟?lèi)型的選擇取決于由預(yù)處理器102執(zhí)行的預(yù)處理。圖3a示出了具有m列108、110、138、140、141和143以及n行a、b、c、d、e和f從而形成m×n個(gè)單元的霍夫核104。濾波器的列108、110、138、140、141和143表示所搜索結(jié)構(gòu)的特定特性，例如，對(duì)于特定曲線(xiàn)或特定直線(xiàn)增幅。每個(gè)單元包括延遲元件，其在延遲時(shí)間方面是可調(diào)節(jié)的，借以在該實(shí)施例中，由于提供了具有旁路的可切換延遲元件的事實(shí)，實(shí)現(xiàn)了調(diào)節(jié)機(jī)制。以下，參照?qǐng)D3b，代表性地描述所有單元的構(gòu)造。圖3b的單元(108a)包括延遲元件142、諸如復(fù)用器的遠(yuǎn)程可控開(kāi)關(guān)144以及旁路146。通過(guò)遠(yuǎn)程可控開(kāi)關(guān)144，行信號(hào)可以經(jīng)由延遲元件142來(lái)傳送，或者可以未延遲的導(dǎo)向交點(diǎn)148。一方面，交點(diǎn)148連接到針對(duì)列(例如108)的量元件150，而另一方面，經(jīng)由該交點(diǎn)148，還連接了下一單元(例如110a)。通過(guò)所謂的配置寄存器160(參見(jiàn)圖3a)配置復(fù)用器144。在這點(diǎn)上應(yīng)當(dāng)注意的是，這里示出的附圖標(biāo)記160僅與配置寄存器160的直接耦接到復(fù)用器144的一部分相關(guān)。配置寄存器160的元件被配置為控制復(fù)用器144，并經(jīng)由第一信息輸入160a接收配置信息，所述配置信息例如源自存儲(chǔ)在FPGA內(nèi)部BRAM163中的配置矩陣。該配置信息可以是按照逐個(gè)列的比特串，并與所配置的延遲單元(142+144)中的若干延遲單元(還在變換期間)的配置相關(guān)。因此，可以經(jīng)由輸出160b另外發(fā)送所述配置信息。由于在操作的任意時(shí)間點(diǎn)進(jìn)行重新配置是不可能的，配置寄存器160或配置寄存器160的單元經(jīng)由另外的信號(hào)輸入160c接收所謂的使能信號(hào)，通過(guò)該使能信號(hào)開(kāi)始重新配置。關(guān)于這點(diǎn)的背景是，霍夫核的重新配置需要一定時(shí)間，這取決于延遲元件的數(shù)目或者具體地取決于列的大小。由此，對(duì)于每個(gè)列元件，關(guān)聯(lián)時(shí)鐘周期，并且由于BRAM163或配置邏輯160，發(fā)生較少時(shí)鐘周期的延遲。對(duì)于基于視頻的圖像處理，對(duì)重新配置的總延遲通常是可以忽略的。假設(shè)在本實(shí)施例中，利用CMOS傳感器記錄的視頻數(shù)據(jù)流具有水平消隱和垂直消隱，由此水平消隱或垂直消隱時(shí)間可以用于重新配置。由于這種情況，在FPGA中實(shí)現(xiàn)的霍夫核結(jié)構(gòu)的大小預(yù)先確定了針對(duì)霍夫核配置的最大尺寸。如果例如使用較小的配置，則這些配置垂直居中并在水平方向上與霍夫核結(jié)構(gòu)的列1對(duì)準(zhǔn)?；舴蚝私Y(jié)構(gòu)的未使用元件全部用激活的延遲元件占用著。利用各延遲元件(142+144)以這種方式處理的數(shù)據(jù)流的評(píng)估逐列地發(fā)生。為此，逐列地進(jìn)行合計(jì)，以檢測(cè)局部量最大值，其顯示出所識(shí)別的搜索結(jié)構(gòu)。每列108、110、138、140、141和143的總和用于確定分配給相應(yīng)列的值，該值表示對(duì)于結(jié)構(gòu)的特征之一與所搜索結(jié)構(gòu)的一致性的程度。為了按每列108、110、138、140、141或143確定列量的局部極大值，提供所謂的比較器108v、110v、138v、140v、141v或143v，它們連接到各個(gè)量元件150?？蛇x地，在不同列108、110、138、140、141或143的各個(gè)比較器108v、110v、138v、140v、141v、143v之間，還可以設(shè)置另外的延遲元件153，延遲元件153用于比較相鄰列的列量。詳細(xì)地，在濾波器的通過(guò)期間，針對(duì)所搜索圖案的特征具有一致性的最高程度的列108、110、138或140總是被挑選出濾波器。在檢測(cè)列量的局部最大值(比較之前、之后的列)期間，可以假設(shè)存在所搜索結(jié)構(gòu)。因此，比較的結(jié)果是列號(hào)(可能地包括列量＝一致性的程度)，其中，已經(jīng)識(shí)別出局部最大值，或者找到了所搜索結(jié)構(gòu)的特征，例如，列138。優(yōu)選地，該結(jié)果包括所謂的多維霍夫空間，該多維霍夫空間包括所搜索結(jié)構(gòu)的所有相關(guān)參數(shù)，例如，圖案的類(lèi)別(例如，直線(xiàn)或半圓)、圖案的一致性的程度、結(jié)構(gòu)的特征(關(guān)于曲線(xiàn)段的曲線(xiàn)的強(qiáng)度或者關(guān)于直線(xiàn)段的增幅和長(zhǎng)度)以及所搜索圖案的位置或方位。換言之，這意味著，對(duì)于霍夫空間中的每個(gè)點(diǎn)，將相應(yīng)結(jié)構(gòu)的灰度值添加在圖像段中。因此，形成了最大值，通過(guò)利用所述最大值，可以容易地定位霍夫空間中的所搜索結(jié)構(gòu)并且將所搜索結(jié)構(gòu)導(dǎo)回至圖像段。圖3b的霍夫核單元可以具有可選的流水線(xiàn)延遲元件162(流水線(xiàn)-延遲)，該流水線(xiàn)延遲元件162例如布置在該單元的輸出并且被配置為對(duì)通過(guò)延遲元件142延遲的信號(hào)以及通過(guò)旁路145未延遲的信號(hào)進(jìn)行延遲。如參照?qǐng)D1所示，這種單元還可以包括具有可變性的一個(gè)延遲元件或者多個(gè)切換且旁路的延遲元件，使得延遲時(shí)間在若干階段中可調(diào)。在這方面，替代地，將想到在如圖3b所示的霍夫核單元的實(shí)現(xiàn)之外的其他實(shí)現(xiàn)。以下，參照?qǐng)D5a說(shuō)明圖像處理系統(tǒng)1000內(nèi)的上述設(shè)備的應(yīng)用。圖5a示出了具有預(yù)處理器102和霍夫變換單元104的FPGA實(shí)現(xiàn)的圖像處理器10a。此外，在預(yù)處理器102之前，可以在圖像處理器10a中實(shí)現(xiàn)輸入級(jí)12，輸入級(jí)12被配置為從相機(jī)14a接收?qǐng)D像數(shù)據(jù)或圖像樣本。為此，輸入級(jí)12可以例如包括圖像交接部(imagetakeoverintersection)12a、分割和邊緣檢測(cè)器12b以及用于相機(jī)控制的裝置12c。用于相機(jī)控制的裝置12c連接到圖像交接部12a和相機(jī)14，并用于控制如光照和/或加強(qiáng)明暗度(intensification)的因素。圖像處理器10a還包括所謂的霍夫特征提取器16，其被配置為分析由霍夫變換單元104輸出的且包括用于圖案識(shí)別的所有相關(guān)信息的多維霍夫空間，并基于分析結(jié)果輸出所有霍夫特征的匯編(compilation)。詳細(xì)地，這里發(fā)生霍夫特征空間的平滑，即，借助本地濾波器的空間平滑或者霍夫空間的變薄(拒絕與圖案識(shí)別不相關(guān)的信息)?？紤]圖案的類(lèi)別和結(jié)構(gòu)的特征來(lái)執(zhí)行所述變薄，使得霍夫概率空間中的非極大值淡出。此外，對(duì)于變薄，還可以定義閾值，使得可以預(yù)先確定例如結(jié)構(gòu)的最小或最大可容許特征，例如最小或最大曲線(xiàn)或者最小或最大增幅。通過(guò)基于閾值的拒絕，還可以發(fā)生霍夫概率空間中的噪聲抑制。原始圖像段中的所有剩余點(diǎn)的參數(shù)的分析再變換導(dǎo)致例如以下霍夫特征：對(duì)于彎曲結(jié)構(gòu)，可以發(fā)送位置(x坐標(biāo)和y坐標(biāo))、出現(xiàn)概率、半徑和角度(其表明弧向哪個(gè)方向打開(kāi))。對(duì)于直線(xiàn)，可以確定以下參數(shù)：位置(x坐標(biāo)和y坐標(biāo))、出現(xiàn)概率、角度(表明直線(xiàn)的增幅)以及代表直線(xiàn)段的長(zhǎng)度。該變薄的霍夫空間由霍夫特征提取器16輸出，或者一般地由圖像處理器10a輸出，以在后處理單元18處進(jìn)行處理。后處理單元可以例如被實(shí)現(xiàn)為嵌入式處理器，并且根據(jù)其應(yīng)用，可以包括不同的子單元，以下對(duì)其進(jìn)行示例性說(shuō)明。后處理單元18可以包括霍夫特征后幾何轉(zhuǎn)換器202。該幾何轉(zhuǎn)換器202被配置為分析由霍夫特征提取器輸出的一個(gè)或多個(gè)預(yù)定義的搜索圖案，并輸出幾何解釋參數(shù)。因此，幾何轉(zhuǎn)換器202可以例如被配置為基于檢測(cè)到的霍夫特征輸出幾何參數(shù)，例如，第一直徑、第二直徑、關(guān)于橢圓(瞳孔)或圓的中點(diǎn)的移位和位置。根據(jù)優(yōu)選實(shí)施例，幾何轉(zhuǎn)換器202用于通過(guò)利用2到3個(gè)霍夫特征(例如，曲線(xiàn))來(lái)檢測(cè)并選擇瞳孔。由此，包括如下標(biāo)準(zhǔn)：例如，與所搜索結(jié)構(gòu)或霍夫特征的一致性的程度、待檢測(cè)的霍夫特征或預(yù)定圖案的曲線(xiàn)、霍夫特征的位置和方位。所選霍夫特征組合被布置為：首先，根據(jù)所獲得的霍夫特征的量進(jìn)行布置，并在第二行中，根據(jù)與所搜索結(jié)構(gòu)的一致性的程度進(jìn)行布置。在布置之后，在該點(diǎn)的霍夫特征組合被選擇，并且據(jù)此，擬合橢圓，該橢圓最有可能在相機(jī)圖像內(nèi)表示瞳孔。此外，后處理單元18包括可選的控制器204，其被形成為將控制信號(hào)返回到圖像處理器10a(參見(jiàn)控制通道206)，或者確切地講，返回到霍夫變換單元104，基于此，濾波器106的濾波器特性是可調(diào)節(jié)的。關(guān)于濾波器核106的動(dòng)態(tài)調(diào)節(jié)，控制器204通常連接到幾何轉(zhuǎn)換器202，以分析所識(shí)別的幾何形狀的幾何參數(shù)，并且以能夠?qū)缀涡螤钸M(jìn)行更精確識(shí)別的方式在所定義邊界內(nèi)跟蹤霍夫核。該過(guò)程是連續(xù)的，例如，開(kāi)始于上一霍夫核配置(上次使用的霍夫核的大小)并且一旦識(shí)別202提供了不足的結(jié)果就被跟蹤。因此，對(duì)于瞳孔或橢圓檢測(cè)的上述示例，如果人接近相機(jī)14a，則控制器可以調(diào)節(jié)橢圓大小，例如，這取決于待記錄的對(duì)象與相機(jī)14a之間的距離?；谏洗握{(diào)節(jié)并基于橢圓的幾何參數(shù)，濾波器特性的控制據(jù)此發(fā)生。根據(jù)另外的實(shí)施例，后處理單元18可以具有選擇性的自適應(yīng)數(shù)據(jù)處理器300。該數(shù)據(jù)處理器的目的是，對(duì)數(shù)據(jù)序列內(nèi)的異常值(outlier)和流失值(dropout)進(jìn)行后處理，以例如執(zhí)行數(shù)據(jù)序列的平滑。因此，該選擇性的自適應(yīng)數(shù)據(jù)處理器300被配置為接收由幾何轉(zhuǎn)換器202輸出的若干組值，由此每一組被分配給相應(yīng)樣本。數(shù)據(jù)處理器300的濾波器處理器基于所述若干組，以如下方式執(zhí)行對(duì)值的選擇：用內(nèi)部確定的數(shù)據(jù)值(交換值)交換不可信組中的數(shù)據(jù)值(例如，異常值或流失值)，并且剩余組中的數(shù)據(jù)值被進(jìn)一步不變地使用。詳細(xì)地，發(fā)送可信組(不包含異常值或流失值)的數(shù)據(jù)值，并且用可信組的數(shù)據(jù)值(例如，之前數(shù)據(jù)值或若干之前數(shù)據(jù)值的平均值)交換不可信組(包含異常值或流失值)的數(shù)據(jù)值。由此，從發(fā)送的值以及或許從交換值所產(chǎn)生的數(shù)據(jù)序列被連續(xù)地平滑。因此，這意味著，例如，根據(jù)指數(shù)平滑的原理，發(fā)生數(shù)據(jù)序列(例如，所確定的橢圓中點(diǎn)坐標(biāo))的自適應(yīng)時(shí)間平滑，由此，(例如，由于瞳孔檢測(cè)期間的錯(cuò)誤檢測(cè)所導(dǎo)致的)待平滑的數(shù)據(jù)序列的流失值和異常值不會(huì)導(dǎo)致平滑后數(shù)據(jù)的波動(dòng)。詳細(xì)地，數(shù)據(jù)處理器可以對(duì)新接收的組中的數(shù)據(jù)值進(jìn)行平滑，如果其沒(méi)有落入以下標(biāo)準(zhǔn)內(nèi)：-根據(jù)通過(guò)組中的附加值之一被量化的一致性的關(guān)聯(lián)度，利用所搜索結(jié)構(gòu)，其是數(shù)據(jù)序列的流失值。-根據(jù)關(guān)聯(lián)的尺寸參數(shù)或幾何參數(shù)，如果例如實(shí)際對(duì)象的尺寸偏離先前對(duì)象太多，則其是流失值。-根據(jù)實(shí)際數(shù)據(jù)值與基于先前數(shù)據(jù)值所確定的閾值的比較，如果實(shí)際數(shù)據(jù)值(例如，實(shí)際位置值)不在閾值之間，則其是流失值。對(duì)此的說(shuō)明性示例是，例如對(duì)象的實(shí)際位置坐標(biāo)(組中的數(shù)據(jù)值)是否偏離之前由選擇性的自適應(yīng)數(shù)據(jù)處理器確定的位置坐標(biāo)太多。此外，如果滿(mǎn)足了這些標(biāo)準(zhǔn)之一，則輸出之前的值或至少進(jìn)行協(xié)商，以對(duì)實(shí)際值進(jìn)行平滑。為了在平滑期間獲得可能地小延遲，可選地，與過(guò)去值相比，對(duì)實(shí)際值定級(jí)更高(strongerrated)。因此，在應(yīng)用指數(shù)平滑期間，可以通過(guò)以下公式來(lái)確定實(shí)際值：實(shí)際上平滑的值＝實(shí)際值×平滑系數(shù)+上次平滑的值×(1-平滑系數(shù))針對(duì)待平滑數(shù)據(jù)的趨向，在所定義邊界內(nèi)動(dòng)態(tài)地調(diào)整平滑系數(shù)，例如，減小相當(dāng)恒定值的發(fā)展或者增大關(guān)于傾斜或下降值的發(fā)展。如果長(zhǎng)期地，關(guān)于待平滑的幾何參數(shù)(橢圓參數(shù))發(fā)生較大的跳躍，則數(shù)據(jù)處理器由此將平滑后值的發(fā)展調(diào)整至新的值。通常，還可以例如在初始化期間通過(guò)利用參數(shù)來(lái)配置該選擇性的自適應(yīng)數(shù)據(jù)處理器300，由此經(jīng)由這些參數(shù)，確定平滑行為，例如，流失值的最大時(shí)間段或者最大平滑因子。因此，該選擇性的自適應(yīng)數(shù)據(jù)處理器300或者一般地后處理單元18可以輸出待識(shí)別的圖案的位置和幾何形狀具有高精度的可信值。為此，后處理單元具有交接部(intersection)18a，經(jīng)由交接部18a，可選地，還可以接收外部控制命令。如果要平滑更多的數(shù)據(jù)序列，則還可以想到，針對(duì)每個(gè)數(shù)據(jù)序列使用單獨(dú)的選擇性的自適應(yīng)數(shù)據(jù)處理器，或者通過(guò)按每組數(shù)據(jù)值可以對(duì)不同數(shù)據(jù)序列進(jìn)行處理的方式來(lái)調(diào)節(jié)選擇性的自適應(yīng)數(shù)據(jù)處理器。以下，通過(guò)具體的實(shí)施例來(lái)總體地描述選擇性的自適應(yīng)數(shù)據(jù)處理器300的以上特征：數(shù)據(jù)處理器300例如可以具有兩個(gè)或更多個(gè)輸入以及一個(gè)輸出。對(duì)于待處理的數(shù)據(jù)序列，提供所述輸入中(接收數(shù)據(jù)值)的一個(gè)輸入。輸出是基于所選擇數(shù)據(jù)的平滑后的序列。對(duì)于所述選擇，對(duì)另外的輸入(接收用于對(duì)數(shù)據(jù)值進(jìn)行更精確評(píng)估的附加值)進(jìn)行協(xié)商和/或數(shù)據(jù)序列本身。在數(shù)據(jù)處理器300內(nèi)進(jìn)行處理期間，發(fā)生數(shù)據(jù)序列的改變，由此，對(duì)數(shù)據(jù)序列內(nèi)異常值的處理和流失值的處理進(jìn)行區(qū)分。異常值：在選擇期間，(在待處理的數(shù)據(jù)序列內(nèi))布置異常值，并用其他(內(nèi)部確定的)值交換異常值。流失值：針對(duì)待處理的數(shù)據(jù)序列的質(zhì)量的評(píng)估，對(duì)一個(gè)或多個(gè)另外的輸入信號(hào)(附加值)進(jìn)行協(xié)商。通過(guò)利用一個(gè)或多個(gè)閾值而發(fā)生所述評(píng)估，由此，將數(shù)據(jù)分為“高”質(zhì)量和“低”質(zhì)量。將具有低質(zhì)量的數(shù)據(jù)評(píng)估為流失值，并用其他(內(nèi)部確定的)值交換該數(shù)據(jù)。在接下來(lái)的步驟中，例如，發(fā)生數(shù)據(jù)序列的平滑(例如，時(shí)間序列的指數(shù)平滑)。針對(duì)平滑，對(duì)經(jīng)過(guò)流失值和異常值調(diào)整的數(shù)據(jù)序列進(jìn)行協(xié)商。平滑可以通過(guò)可變(自適應(yīng))系數(shù)而發(fā)生。針對(duì)待處理的數(shù)據(jù)的等級(jí)(level)的差，調(diào)整平滑系數(shù)。根據(jù)另外的實(shí)施例，還可能的是，后處理單元18包括圖像分析器，例如，3D圖像分析器400。在3D圖像分析器400的情況下，與后處理單元18一起，還可以提供包括圖像處理器10b和相機(jī)14的進(jìn)一步的圖像收集單元。因此，兩個(gè)相機(jī)14a和14b以及圖像處理器10a和10b建立了立體相機(jī)布置，由此，優(yōu)選地，圖像處理器10b與圖像處理器10a相同。3D圖像分析器400被配置為接收基于一個(gè)第一圖像(參見(jiàn)相機(jī)14a)所確定的至少一組圖像數(shù)據(jù)以及基于第二圖像(參見(jiàn)相機(jī)14b)所確定的第二組圖像數(shù)據(jù)，由此，第一圖像和第二圖像顯示來(lái)自不同視角的圖案，并且被配置為基于此計(jì)算視點(diǎn)或3D視線(xiàn)矢量(3Dgazevector)。為此，3D圖像分析器400包括位置計(jì)算器404和對(duì)準(zhǔn)計(jì)算器408。位置計(jì)算器404被配置為基于第一組、第二組以及視角之間的或者第一相機(jī)14a與第二相機(jī)14b之間的幾何關(guān)系，來(lái)計(jì)算三維空間內(nèi)圖案的位置。對(duì)準(zhǔn)計(jì)算器408被配置為計(jì)算3D視線(xiàn)矢量，例如視線(xiàn)方向，所識(shí)別的圖案在三維空間內(nèi)對(duì)準(zhǔn)到所述視線(xiàn)方向，由此，該計(jì)算基于第一組、第二組以及計(jì)算出的位置(參見(jiàn)位置計(jì)算器404)。為此，其可以例如被叫做所謂的3D相機(jī)系統(tǒng)模型，例如，該3D相機(jī)系統(tǒng)模型在配置文件中存儲(chǔ)了所有模型參數(shù)，如位置參數(shù)、光學(xué)參數(shù)(參見(jiàn)相機(jī)14a和14b)。以下，基于瞳孔識(shí)別的示例，現(xiàn)在描述3D圖像分析器400的整體功能。在3D圖像分析器400中存儲(chǔ)或記載的模型包括關(guān)于相機(jī)單元即關(guān)于相機(jī)傳感器的數(shù)據(jù)(例如，像素大小、傳感器大小和分辨率)、關(guān)于所用物鏡的數(shù)據(jù)(例如，焦距和物鏡失真)、待識(shí)別的對(duì)象的數(shù)據(jù)或特征(例如，眼睛的特征)以及關(guān)于另外相關(guān)對(duì)象(例如，在使用系統(tǒng)1000的情況下作為輸入設(shè)備的顯示器)的數(shù)據(jù)。3D位置計(jì)算器404通過(guò)三角測(cè)量法，基于兩個(gè)或者甚至多個(gè)相機(jī)圖像(參見(jiàn)14a和14b)計(jì)算眼睛位置或瞳孔中點(diǎn)。為此，經(jīng)由圖像處理器10a和10b、幾何轉(zhuǎn)換器202和選擇性的自適應(yīng)數(shù)據(jù)處理器300的處理鏈，在這兩個(gè)相機(jī)圖像(參見(jiàn)14a和14b)中設(shè)置點(diǎn)的2D坐標(biāo)。從所傳送的2D坐標(biāo)，針對(duì)兩個(gè)相機(jī)10a和10b，通過(guò)利用3D相機(jī)模型，具體地，考慮光學(xué)參數(shù)，來(lái)計(jì)算將3D點(diǎn)在傳感器上顯示為2D點(diǎn)的光線(xiàn)。假設(shè)兩條直線(xiàn)彼此距離最短的點(diǎn)(在理想情況下，直線(xiàn)的交點(diǎn))是所搜索3D點(diǎn)的位置。該3D位置與結(jié)合模型參數(shù)描述所傳送2D坐標(biāo)的精度的誤差測(cè)量一起經(jīng)由交接部18a輸出作為結(jié)果，或者發(fā)送到視線(xiàn)方向計(jì)算器408?；?D空間內(nèi)的該位置，視線(xiàn)方向計(jì)算器408可以確定從瞳孔的兩個(gè)橢圓形狀的投影至相機(jī)傳感器的視線(xiàn)方向，而無(wú)需進(jìn)行校準(zhǔn)并且無(wú)需知道眼睛和相機(jī)系統(tǒng)之間的距離。為此，除了圖像傳感器的3D位置參數(shù)之外，視線(xiàn)方向計(jì)算器408使用通過(guò)幾何分析器202確定的橢圓參數(shù)以及通過(guò)位置計(jì)算器404確定的位置。從瞳孔中點(diǎn)的3D位置和圖像傳感器的位置，通過(guò)實(shí)際相機(jī)單元的旋轉(zhuǎn)，計(jì)算虛擬相機(jī)單元，其中，虛擬相機(jī)單元的光軸穿過(guò)3D瞳孔中點(diǎn)。之后，分別從實(shí)際傳感器上瞳孔的投影，計(jì)算虛擬傳感器上瞳孔的投影，從而出現(xiàn)兩個(gè)虛擬橢圓。從虛擬橢圓的參數(shù)，可以計(jì)算在與相應(yīng)虛擬傳感器平面平行的任意平面上眼睛的兩個(gè)視點(diǎn)。利用四個(gè)視點(diǎn)和3D瞳孔中點(diǎn)，可以計(jì)算四個(gè)視線(xiàn)方向向量，因此，每個(gè)相機(jī)分別有兩個(gè)向量。從這四個(gè)可能的視線(xiàn)方向矢量中，一個(gè)相機(jī)的正好一個(gè)矢量與另一相機(jī)的一個(gè)矢量總是幾乎相同。兩個(gè)相同的矢量指示眼睛的所搜索視線(xiàn)方向，隨后，由視線(xiàn)方向計(jì)算器404經(jīng)由交接部18a輸出所搜索視線(xiàn)方向。該3D計(jì)算的具體優(yōu)點(diǎn)是，瞳孔大小和3D視線(xiàn)方向的3D眼睛位置的非接觸式且完全免校準(zhǔn)的確定不依賴(lài)于關(guān)于眼睛朝向相機(jī)的位置的知識(shí)?？紤]3D空間模型對(duì)3D眼睛位置和3D視線(xiàn)方向的分析確定使相機(jī)的數(shù)目任意(大于1)以及3D空間中相機(jī)的位置任意。短的延遲時(shí)間以及同時(shí)具有高幀率實(shí)現(xiàn)了所描述系統(tǒng)1000的實(shí)時(shí)能力。此外，還固定所謂的時(shí)間制度(timeregime)，使得連續(xù)結(jié)果之間的時(shí)間差恒定。根據(jù)替代變型，還可以執(zhí)行視線(xiàn)方向確定，如以下參照?qǐng)D5所述。在關(guān)于“3D圖像分析器”的先前描述中，其包括用于免校準(zhǔn)眼睛跟蹤的方法，迄今需要來(lái)自不同視角的至少兩個(gè)相機(jī)圖像。關(guān)于視線(xiàn)方向的計(jì)算，存在一個(gè)位置，在該位置處，按每相機(jī)圖像，正好確定兩個(gè)可能的視線(xiàn)方向矢量，由此，分別地，在相機(jī)與瞳孔中點(diǎn)之間的交線(xiàn)處，第二矢量對(duì)應(yīng)于第一矢量的反射(reflection)。在從其他相機(jī)圖像產(chǎn)生的兩個(gè)矢量中，正好一個(gè)矢量幾乎對(duì)應(yīng)于從第一相機(jī)圖像計(jì)算的矢量。這些相對(duì)應(yīng)的矢量指示待確定的視線(xiàn)方向。為了能夠也利用相機(jī)執(zhí)行免校準(zhǔn)眼睛跟蹤，必須在從相機(jī)圖像確定的兩個(gè)可能的視線(xiàn)方向矢量(以下“v1”和“v2”)中選擇實(shí)際視線(xiàn)方向矢量(以下“vb”)。參考圖5b對(duì)該處理進(jìn)行說(shuō)明。圖5b示出了包括瞳孔的眼球(綠框)的可見(jiàn)部分以及兩個(gè)可能的視線(xiàn)方向v1和v2。關(guān)于選擇視線(xiàn)方向“vb”，存在可以分別使用或組合使用的多種可能性，以選擇實(shí)際視線(xiàn)方向矢量。以下說(shuō)明這些可能性中的一些可能性(所列不是最終的)，其中，假設(shè)已經(jīng)在該選擇的時(shí)間點(diǎn)確定了v1和v2(參見(jiàn)圖5a)：因此，可以在相機(jī)圖像中發(fā)生第一種可能性(虹膜周?chē)陌咨つw)。定義了2個(gè)光束(開(kāi)始于瞳孔中點(diǎn)并無(wú)限長(zhǎng))，一個(gè)沿v1的方向，一個(gè)沿v2的方向。這兩個(gè)光束分別被投射到眼睛的相機(jī)圖像中，并從瞳孔中點(diǎn)傳播到圖像邊緣。使屬于較少鞏膜的像素失真的光束屬于實(shí)際視線(xiàn)方向向量vb。鞏膜的像素在灰度值上與相鄰虹膜的像素和眼瞼的像素不同。如果屬于所捕捉的眼睛的臉部從相機(jī)轉(zhuǎn)移太遠(yuǎn)(由此，如果相機(jī)的光軸與垂直于臉部平面的直立矢量之間的角度變得太大)，則本方法達(dá)到其極限。根據(jù)第二種可能性，可以在眼睛睜開(kāi)期間發(fā)生對(duì)瞳孔中點(diǎn)的位置的評(píng)估。在眼睛睜開(kāi)期間或在眼球的可見(jiàn)部分內(nèi)瞳孔中點(diǎn)的位置可以用于選擇實(shí)際視線(xiàn)方向矢量。與之相關(guān)的一種可能性是定義兩個(gè)光束(開(kāi)始于瞳孔中點(diǎn)并無(wú)限長(zhǎng))，一個(gè)沿v1的方向，一個(gè)沿v2的方向。這兩個(gè)光束分別被投射到眼睛的相機(jī)圖像中，并從瞳孔中點(diǎn)傳播到圖像邊緣。在相機(jī)圖像中沿兩個(gè)光束，分別地，確定瞳孔中點(diǎn)與眼睛開(kāi)口的邊緣(在圖5b中綠色標(biāo)記的)之間的距離。出現(xiàn)較短距離的光束屬于實(shí)際視線(xiàn)方向矢量。如果屬于所捕捉的眼睛的臉部從相機(jī)轉(zhuǎn)移太遠(yuǎn)(由此，如果相機(jī)的光軸與垂直于臉部平面的直立矢量之間的角度變得太大)，則本方法達(dá)到其極限。根據(jù)第三種可能性，可以朝向參考瞳孔中點(diǎn)發(fā)生對(duì)瞳孔中點(diǎn)的位置的評(píng)估。在眼睛睜開(kāi)期間或在眼球的可見(jiàn)部分內(nèi)在相機(jī)圖像中所確定的瞳孔中點(diǎn)的位置可以與參考瞳孔中點(diǎn)一起用于選擇實(shí)際視線(xiàn)方向矢量。對(duì)此的一種可能性是定義2個(gè)光束(開(kāi)始于瞳孔中點(diǎn)并無(wú)限長(zhǎng))，一個(gè)沿v1的方向，一個(gè)沿v2的方向。這兩個(gè)光束分別被投射到眼睛的相機(jī)圖像中，并從瞳孔中點(diǎn)傳播到圖像的邊緣。在眼睛睜開(kāi)期間參考瞳孔中點(diǎn)對(duì)應(yīng)于眼睛直接看向用于圖像記錄的相機(jī)傳感器中心方向時(shí)的瞳孔中點(diǎn)。投射到相機(jī)圖像中的在該圖像中距參考瞳孔中點(diǎn)具有最小距離的光束屬于實(shí)際視線(xiàn)方向矢量。關(guān)于確定參考瞳孔中點(diǎn)，存在幾種可能性，以下描述其中一些可能性：可能性1(應(yīng)用的特定情況)：在眼睛直接看向相機(jī)傳感器中心方向的情況下，參考瞳孔中點(diǎn)產(chǎn)生于所確定的瞳孔中點(diǎn)。如果虛擬傳感器平面上的瞳孔輪廓(參見(jiàn)關(guān)于視線(xiàn)方向計(jì)算的描述)表征為圓，則進(jìn)行這樣的假定?？赡苄?(應(yīng)用的一般情況)：隨著對(duì)參考瞳孔中點(diǎn)的位置的粗略估計(jì)，可以使用眼睛開(kāi)口表面的焦點(diǎn)(focus)。如果臉部所位于的平面不平行于相機(jī)的傳感器平面，則該估計(jì)方法達(dá)到其限制。如果臉部平面朝相機(jī)傳感器平面的傾斜是已知的(例如，通過(guò)之前執(zhí)行的對(duì)頭位置和對(duì)準(zhǔn)的確定)并且這用于校正所估計(jì)的參考瞳孔中點(diǎn)的位置，則該限制可以得到補(bǔ)償?？赡苄?(應(yīng)用的一般情況)：如果眼睛中點(diǎn)的3D位置是可用的，則可以確定3D眼睛中點(diǎn)與虛擬傳感器中點(diǎn)之間的直線(xiàn)以及其與眼球表面的交點(diǎn)。參考瞳孔中點(diǎn)產(chǎn)生于該交點(diǎn)轉(zhuǎn)換到相機(jī)圖像中的位置。根據(jù)另外的實(shí)施例，替代FPGA10a和10b，可以使用ASIC(專(zhuān)用芯片)，特別地其可以高數(shù)量地實(shí)現(xiàn)且具有非常低的成本。然而，綜述，可以確定的是，獨(dú)立于霍夫處理器10a和10b的實(shí)施，由于高效處理和相關(guān)的低內(nèi)部時(shí)鐘需求，可以實(shí)現(xiàn)低能耗。不管這些特征，這里使用的霍夫處理器或在霍夫處理器上執(zhí)行的方法非常魯棒并且不容易失敗。在這點(diǎn)上應(yīng)當(dāng)注意的是，如圖2a所示的霍夫處理器100可以在與具體地關(guān)于圖5所示的不同特征的各種組合中使用。根據(jù)圖1的霍夫處理器的應(yīng)用是：例如，用于短暫打盹的報(bào)警系統(tǒng)或疲勞檢測(cè)器作為汽車(chē)行業(yè)中的駕駛輔助系統(tǒng)(或者一般地用于安全相關(guān)的人機(jī)接口)。由此，通過(guò)評(píng)估眼睛(例如，覆蓋瞳孔作為對(duì)眨眼程度的測(cè)量)以及考慮視點(diǎn)和焦點(diǎn)，可以檢測(cè)特定疲勞圖案。此外，關(guān)于用于技術(shù)設(shè)備的輸入設(shè)備或輸入接口，可以使用霍夫處理器；由此，之后，眼睛位置和視線(xiàn)方向用作輸入?yún)?shù)。確切的應(yīng)用將是：支持用戶(hù)在觀看屏幕內(nèi)容時(shí)例如突出顯示特定的關(guān)注區(qū)域。這樣的應(yīng)用是：輔助生活、計(jì)算機(jī)游戲領(lǐng)域，關(guān)于通過(guò)包括視線(xiàn)方向?qū)?D可視化進(jìn)行優(yōu)化，關(guān)于市場(chǎng)和媒體開(kāi)發(fā)，或者關(guān)于眼科診斷和特別感興趣的療法。如上已經(jīng)指出的，上述方法的實(shí)施不依賴(lài)于平臺(tái)，從而上述方法也可以在例如PC的其他單元上執(zhí)行。因此，進(jìn)一步的實(shí)施例涉及一種用于霍夫處理的方法，具有以下步驟：通過(guò)使用預(yù)處理器處理分別具有圖像的大多數(shù)樣本，其中，各樣本的圖像被旋轉(zhuǎn)和/或反折，從而針對(duì)每個(gè)樣本輸出相應(yīng)樣本的圖像的大多數(shù)版本；以及通過(guò)使用霍夫變換單元基于所述大多數(shù)版本收集大多數(shù)樣本中的預(yù)定圖案，其中，所述霍夫變換單元具有延遲濾波器，所述延遲濾波器具有依賴(lài)于所選預(yù)定圖案組的濾波器特性。即使在結(jié)合可調(diào)節(jié)特性的以上說(shuō)明中，總是參考濾波器特性，在這點(diǎn)上應(yīng)當(dāng)注意的是，根據(jù)進(jìn)一步的實(shí)施例，可調(diào)節(jié)特性還可以涉及關(guān)于快速2D相關(guān)的后處理特性(曲線(xiàn)或失真特性)。參考圖4a至圖4d對(duì)該實(shí)施方式進(jìn)行說(shuō)明。圖4a示出了快速2D相關(guān)的處理鏈1000。2D相關(guān)的處理鏈至少包括用于2D曲線(xiàn)的功能塊1105以及用于融合(merging)的功能塊1110。圖4b中示出了關(guān)于2D曲線(xiàn)的過(guò)程。圖4b以模板示出了示例性的匯編。通過(guò)圖4c并結(jié)合圖4d，變得顯然的是，基于該處理鏈1000，可以如何提取霍夫特征。圖4c示例性地示出了用于識(shí)別橢圓1115的具有n個(gè)模板的逐像素相關(guān)(在這種情況下，例如，針對(duì)具有不同增幅的直線(xiàn))，而圖4d示出了逐像素相關(guān)的結(jié)果，由此通常經(jīng)由n個(gè)結(jié)果圖像仍然發(fā)生最大搜索。每個(gè)結(jié)果圖像按每像素包含一個(gè)霍夫特征。以下，在整體背景下描述該霍夫處理。與利用具有可調(diào)節(jié)特性的延遲濾波器的實(shí)現(xiàn)(針對(duì)并行FPGA結(jié)構(gòu)所優(yōu)化的實(shí)現(xiàn))相反，關(guān)于這里概述的霍夫處理，其具體地針對(duì)基于PC的實(shí)現(xiàn)，該處理的一部分將通過(guò)另一方法交換。到目前為止，事實(shí)是延遲濾波器的準(zhǔn)每列表示所搜索結(jié)構(gòu)(例如，具有不同增幅的直線(xiàn)段)。通過(guò)濾波器后，具有最高量值的列號(hào)是決定性的。由此，列號(hào)表示所搜索結(jié)構(gòu)的特性，量值指示對(duì)與所搜索結(jié)構(gòu)的一致性的測(cè)量。關(guān)于基于PC的實(shí)現(xiàn)，用快速2D相關(guān)交換延遲濾波器。先前的延遲濾波器應(yīng)根據(jù)特定圖案的特性的位置n的大小而形成。將該n個(gè)特性在存儲(chǔ)器中存儲(chǔ)為模板。之后，將預(yù)處理后的圖像(例如，二值邊緣圖像或梯度圖像)逐像素地傳遞。在每個(gè)像素位置，具有下層圖像內(nèi)容(與后處理特性相對(duì)應(yīng))的所有存儲(chǔ)的模板分別被同步(即，像素位置(模板的大小)的環(huán)境被評(píng)估)。該過(guò)程被稱(chēng)為數(shù)字圖像處理中的相關(guān)。因此，對(duì)于每個(gè)模板，獲得相關(guān)值，即，對(duì)與下層圖像內(nèi)容的一致性的測(cè)量。因此，后者對(duì)應(yīng)的列量形成了先前的延遲濾波器?，F(xiàn)在，(按每像素)對(duì)具有最高相關(guān)值的模板進(jìn)行確定，并存儲(chǔ)其模板號(hào)(模板號(hào)描述了所搜索結(jié)構(gòu)的特性，例如，直線(xiàn)段的增幅)。因此，按每像素獲得相關(guān)值和模板號(hào)。由此，可以完整地描述已經(jīng)概述的霍夫特征。還應(yīng)當(dāng)注意的是，可以在局部區(qū)域中以及在頻率區(qū)域中執(zhí)行各個(gè)模板與圖像內(nèi)容的相關(guān)。這意味著初始圖像首先分別與所有n個(gè)模板進(jìn)行相關(guān)。獲得N個(gè)結(jié)果圖像。如果這些結(jié)果圖像疊加放置(如在立方體中)，則將(通過(guò)所有平面)搜索按每像素的最高相關(guān)值。由此，各個(gè)平面隨后表示立方體中的各個(gè)模板。結(jié)果，再次獲得各個(gè)圖像，隨后，各個(gè)圖像按每像素包含相關(guān)測(cè)量和模板號(hào)-由此，按每像素一個(gè)霍夫特征。即使始終結(jié)合“瞳孔識(shí)別”描述以上方面，以上概述的方面也可用于進(jìn)一步的應(yīng)用。這里，例如，將提及應(yīng)用“用于短暫打盹的報(bào)警系統(tǒng)”，以下對(duì)其進(jìn)行詳細(xì)地說(shuō)明。用于短暫打盹的報(bào)警系統(tǒng)是至少包括圖像收集單元、照明單元、處理單元以及聲學(xué)和/或光學(xué)信令單元的系統(tǒng)。通過(guò)評(píng)估用戶(hù)所記錄的圖像，設(shè)備能夠識(shí)別用戶(hù)開(kāi)始短暫打盹或疲勞或偏轉(zhuǎn)(deflection)，并警告用戶(hù)。例如，可以通過(guò)以下形式開(kāi)發(fā)該系統(tǒng)：使用CMOS圖像傳感器，并且在紅外范圍內(nèi)對(duì)場(chǎng)景進(jìn)行照明。這具有以下優(yōu)點(diǎn)：設(shè)備獨(dú)立于環(huán)境光而工作，并且特別地不會(huì)使用戶(hù)失明。作為處理單元，使用嵌入式處理器系統(tǒng)，其執(zhí)行下層操作系統(tǒng)上的軟件代碼。信令單元目前包括多頻蜂鳴器和RGB-LED?？梢酝ㄟ^(guò)以下事實(shí)形式發(fā)生對(duì)記錄圖像的評(píng)估：在第一處理級(jí)，利用分類(lèi)器執(zhí)行臉部和眼睛檢測(cè)以及眼睛分析。該處理級(jí)提供了用于對(duì)準(zhǔn)臉部、眼睛位置和眨眼反射程度的第一指示?；诖耍谥蟛襟E中，執(zhí)行基于模型的眼睛精確分析。由此使用的眼睛模型可以例如包括：瞳孔和/或虹膜位置、瞳孔和/或虹膜大小、對(duì)眼瞼和眼睛邊緣點(diǎn)的描述。由此，這是足夠的，如果在每個(gè)時(shí)間點(diǎn)，這些要素中的一些要素被找到和評(píng)估。還可以經(jīng)由若干圖像跟蹤各個(gè)要素，從而不用在每個(gè)圖像中再次完全搜索各個(gè)要素。可以使用先前描述的霍夫特征，以執(zhí)行臉部檢測(cè)或眼睛檢測(cè)或眼睛分析或眼睛精確分析。先前描述的2D圖像分析器可以用于臉部檢測(cè)或眼睛檢測(cè)或眼睛分析。對(duì)于在臉部檢測(cè)或眼睛檢測(cè)或眼睛分析期間對(duì)所確定的結(jié)果值或中間結(jié)果或值發(fā)展的平滑，可以使用所描述的自適應(yīng)的選擇性數(shù)據(jù)處理器。對(duì)眨眼反射的程度和/或眼睛精確分析結(jié)果的按時(shí)間順序的評(píng)估可以用于確定用戶(hù)的短暫打盹或疲勞或偏轉(zhuǎn)。附加地，還可以使用如結(jié)合3D圖像分析器所描述的免校準(zhǔn)視線(xiàn)方向確定，以獲得用于確定用戶(hù)的短暫打盹或疲勞或偏轉(zhuǎn)的更好結(jié)果。此外，為了使這些結(jié)果穩(wěn)定，可以使用自適應(yīng)的選擇性數(shù)據(jù)處理器。在用于確定眼睛位置的“短暫打盹報(bào)警系統(tǒng)”實(shí)施例中所描述的過(guò)程還可以用于確定任意其他定義的2D位置，例如鼻子位置或臉部?jī)?nèi)的鼻根位置。當(dāng)使用來(lái)自一個(gè)圖像的一組信息以及另一組信息時(shí)，還可以在3D空間中確定該位置，其中，可以從另一相機(jī)的圖像生成所述另一組信息，或者通過(guò)評(píng)估第一相機(jī)圖像中的對(duì)象之間的關(guān)系來(lái)生成所述另一組信息。根據(jù)實(shí)施例，初始圖像級(jí)中的霍夫處理器可以包括用于相機(jī)控制的單元。雖然已結(jié)合設(shè)備描述了一些方面，但是應(yīng)當(dāng)理解：這些方面還包括對(duì)相應(yīng)方法的描述，使得設(shè)備的塊或組件還應(yīng)被理解為相應(yīng)的方法步驟或方法步驟的特征。通過(guò)與之類(lèi)比，結(jié)合方法步驟或作為方法步驟所描述的各方面也包括對(duì)相應(yīng)設(shè)備的相應(yīng)塊或細(xì)節(jié)或特征的描述。一些或所有方法步驟可以由裝置(通過(guò)使用硬件裝置)來(lái)執(zhí)行，例如，可編程計(jì)算機(jī)或電子開(kāi)關(guān)(electronicswitch)的微處理器。關(guān)于一些實(shí)施例，可以由這種裝置來(lái)執(zhí)行最重要方法步驟中的某一個(gè)或多個(gè)方法步驟。根據(jù)具體實(shí)現(xiàn)要求，本發(fā)明的實(shí)施例可以實(shí)現(xiàn)為硬件或軟件?？梢酝ㄟ^(guò)使用其上存儲(chǔ)有電可讀控制信號(hào)的數(shù)字存儲(chǔ)介質(zhì)來(lái)實(shí)施實(shí)現(xiàn)方式，例如，軟盤(pán)、DVD、藍(lán)光盤(pán)、CD、ROM、PROM、EPROM、EEPROM或閃存、硬盤(pán)或任何其他磁或光存儲(chǔ)器，其可以與可編程計(jì)算機(jī)系統(tǒng)協(xié)作或合作，使得執(zhí)行相應(yīng)方法。因此，數(shù)字存儲(chǔ)介質(zhì)可以是計(jì)算機(jī)可讀的。根據(jù)本發(fā)明的一些實(shí)施例因此包括具有電可讀控制信號(hào)的數(shù)據(jù)載體，該電可讀控制信號(hào)能夠與可編程計(jì)算機(jī)系統(tǒng)協(xié)作從而執(zhí)行本文所述的方法之一。通常，本發(fā)明的實(shí)施例可以實(shí)現(xiàn)為具有程序代碼的計(jì)算機(jī)程序產(chǎn)品，其中，在所述計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí)，所述程序代碼可有效執(zhí)行所述方法之一。程序代碼可以例如存儲(chǔ)在機(jī)器可讀載體上。另外的實(shí)施例包括用于執(zhí)行本文所述的方法之一的計(jì)算機(jī)程序，其中，該計(jì)算機(jī)程序存儲(chǔ)在機(jī)器可讀載體上。因此，換言之，根據(jù)本發(fā)明的方法的一個(gè)實(shí)施例是具有程序代碼的計(jì)算機(jī)程序，該程序代碼用于在計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行本文所限定的方法之一。本發(fā)明方法的另一實(shí)施例從而是數(shù)據(jù)載體(或數(shù)字存儲(chǔ)介質(zhì)或計(jì)算機(jī)可讀介質(zhì))，其上記錄有用于執(zhí)行本文描述的任何方法的計(jì)算機(jī)程序。因此，根據(jù)本發(fā)明的方法的另一實(shí)施例是包括用于執(zhí)行本文所限定的方法之一的計(jì)算機(jī)程序的數(shù)據(jù)流或信號(hào)序列。所述數(shù)據(jù)流或信號(hào)序列可以例如被配置為例如經(jīng)由數(shù)據(jù)通信連接(例如，經(jīng)由互聯(lián)網(wǎng))被傳送。另一實(shí)施例包括被配置或調(diào)整為執(zhí)行本文所限定的方法之一的處理單元，例如計(jì)算機(jī)或可編程邏輯器件。另一實(shí)施例包括其上安裝有用于執(zhí)行本文所限定的方法之一的計(jì)算機(jī)程序的計(jì)算機(jī)。根據(jù)本發(fā)明的另一實(shí)施例包括被設(shè)計(jì)為向接收方發(fā)送用于執(zhí)行本文所限定的至少一個(gè)方法的計(jì)算機(jī)程序的設(shè)備或系統(tǒng)。例如，可以通過(guò)電或光的方式發(fā)生所述發(fā)送。接收方可以是計(jì)算機(jī)、移動(dòng)設(shè)備、存儲(chǔ)器設(shè)備或類(lèi)似設(shè)備。所述設(shè)備或系統(tǒng)可以例如包括用于向接收方發(fā)送計(jì)算機(jī)程序的文件服務(wù)器。關(guān)于一些實(shí)施例，可編程邏輯器件(例如，現(xiàn)場(chǎng)可編程門(mén)陣列FPGA)可以用于執(zhí)行本文所限定的方法的一些或全部功能。關(guān)于一些實(shí)施例，現(xiàn)場(chǎng)可編程門(mén)陣列可以與微處理器協(xié)作以執(zhí)行本文所限定的方法之一。通常，關(guān)于一些實(shí)施例，所述方法由任意硬件設(shè)備來(lái)執(zhí)行。這可以是通用硬件(如計(jì)算機(jī)處理器(CPU))或?qū)Ｓ糜谒龇椒ǖ挠布?例如，ASIC)。以下，換句話(huà)說(shuō)，從另外兩個(gè)角度來(lái)描述上述的本發(fā)明或本發(fā)明的多個(gè)方面：集成眼睛跟蹤器集成眼睛跟蹤器包括FPGA優(yōu)化算法的編譯，所述FPGA優(yōu)化算法適合于通過(guò)利用從相機(jī)實(shí)時(shí)圖像的并行霍夫變換來(lái)提取(橢圓)特征(霍夫特征)。之后，通過(guò)評(píng)估所提取的特征，可以確定瞳孔橢圓。當(dāng)使用位置和對(duì)準(zhǔn)彼此已知的若干相機(jī)時(shí)，可以確定瞳孔中點(diǎn)的3D位置以及3D視線(xiàn)方向和瞳孔直徑。關(guān)于計(jì)算，對(duì)相機(jī)圖像中橢圓的位置和形狀進(jìn)行協(xié)商。不需要針對(duì)各個(gè)用戶(hù)的系統(tǒng)校準(zhǔn)以及相機(jī)與所分析的眼睛之間的距離的知識(shí)。具體地，所使用的圖像處理算法的特征在于，針對(duì)FPGA(現(xiàn)場(chǎng)可編程門(mén)陣列)上的處理對(duì)算法進(jìn)行優(yōu)化。所述算法能夠在FPGA上實(shí)現(xiàn)具有恒定刷新率、最小延遲時(shí)段和最小資源消耗的非?？焖俚膱D像處理。因此，這些模塊針對(duì)需要小的構(gòu)造體積的時(shí)間關(guān)鍵型、延遲關(guān)鍵型和安全關(guān)鍵型應(yīng)用(例如，駕駛輔助系統(tǒng))、醫(yī)療診斷系統(tǒng)(例如，周長(zhǎng))以及人機(jī)界面應(yīng)用(例如，移動(dòng)設(shè)備)。目的技術(shù)問(wèn)題-在若干(實(shí)時(shí))相機(jī)圖像中對(duì)3D空間中3D眼睛位置和3D視線(xiàn)方向的魯棒檢測(cè)以及對(duì)瞳孔大小的檢測(cè)-非常短的反應(yīng)時(shí)間(或處理時(shí)間)-小的構(gòu)造-通過(guò)集成解決方案的自主功能(獨(dú)立于PC)技術(shù)發(fā)展水平-眼睛跟蹤器系統(tǒng)οSteffenMarkert：對(duì)人眼的視線(xiàn)方向的實(shí)時(shí)確定(畢業(yè)論文和專(zhuān)利DE102004046617A1)οAndrewT.Duchowski：眼睛跟蹤方法：理論與實(shí)踐-并行霍夫變換οJohannesKatzmann：橢圓霍夫變換的實(shí)時(shí)實(shí)現(xiàn)(畢業(yè)論文和專(zhuān)利DE102005047160B4)οChristianHolland-Nell：基于針對(duì)圓的霍夫變換的瞳孔檢測(cè)算法的實(shí)現(xiàn)(畢業(yè)論文和專(zhuān)利DE102005047160B4)實(shí)際技術(shù)發(fā)展水平的缺點(diǎn)-眼睛跟蹤器系統(tǒng)ο缺點(diǎn)：眼睛跟蹤系統(tǒng)通常在使用之前需要進(jìn)行(復(fù)雜的)校準(zhǔn)根據(jù)Markert(專(zhuān)利DE102004046617A1)的系統(tǒng)是免校準(zhǔn)的，然而，其僅工作在以下特定條件下：1.相機(jī)與瞳孔中點(diǎn)之間的距離必須已知且在文件上2.該方法僅適用于3D瞳孔中點(diǎn)位于相機(jī)的光軸內(nèi)的情況針對(duì)PC硬件對(duì)整個(gè)處理進(jìn)行優(yōu)化，因此，整個(gè)處理還經(jīng)受其缺點(diǎn)(在處理期間沒(méi)有固定的時(shí)間制度是可行的)需要有效系統(tǒng)，因?yàn)樗惴ň哂蟹浅８叩馁Y源消耗長(zhǎng)的處理時(shí)間段，并因此，長(zhǎng)的延遲時(shí)間段，直到結(jié)果是可用的(部分地依賴(lài)于待評(píng)估的圖像大小)-并行霍夫變換ο缺點(diǎn)：僅可以對(duì)二值邊緣圖像進(jìn)行變換變換僅提供了與圖像坐標(biāo)(找到結(jié)構(gòu)的位置，而不是：命中概率和進(jìn)一步的結(jié)構(gòu)特征)相關(guān)的二值結(jié)果在正在進(jìn)行的操作期間不能靈活調(diào)整變換核，并因此對(duì)于動(dòng)態(tài)圖像內(nèi)容(例如，小瞳孔和大瞳孔)的適用性是不足的。不能在操作期間將變換核重新配置成其他結(jié)構(gòu)，并因此針對(duì)對(duì)象識(shí)別的適用性有限實(shí)施方式整個(gè)系統(tǒng)從其中顯示出同一眼睛的兩個(gè)或更多個(gè)相機(jī)圖像分別確定多維霍夫特征的列表，并在此基礎(chǔ)上分別計(jì)算瞳孔橢圓的位置和形狀。從這兩個(gè)橢圓的參數(shù)以及僅從相機(jī)彼此的位置和排列，可以完全免校準(zhǔn)地確定瞳孔中點(diǎn)的3D位置以及3D視線(xiàn)方向和瞳孔直徑。作為硬件平臺(tái)，使用至少兩個(gè)圖像傳感器、FPGA和/或下游微處理器系統(tǒng)的組合(而不強(qiáng)制需要PCI)?！盎舴蝾A(yù)處理”、“并行霍夫變換”、“霍夫特征提取器”、“至橢圓轉(zhuǎn)換器的霍夫特征”、“核大小控制”、“時(shí)間智能平滑濾波器”、“3D相機(jī)系統(tǒng)模型”、“3D位置計(jì)算”和“3D視線(xiàn)方向計(jì)算”涉及集成眼睛跟蹤器的各個(gè)功能模塊。它們遵循如下集成眼睛跟蹤器的圖像處理鏈：圖6示出了集成眼睛跟蹤器中的各個(gè)功能模塊的框圖?？驁D示出了集成眼睛跟蹤器的各個(gè)處理級(jí)。以下，呈現(xiàn)出各模塊的詳細(xì)描述?！盎舴蝾A(yù)處理”ο功能具體地通過(guò)圖像旋轉(zhuǎn)對(duì)用于模塊“并行霍夫變換”的視頻流進(jìn)行上采樣，并且根據(jù)模塊“并行霍夫變換”的并行化程度對(duì)要變換的圖像進(jìn)行上采樣ο輸入二值邊緣圖像或梯度圖像ο輸出根據(jù)后續(xù)模塊的并行化程度，具有來(lái)自輸入的上采樣像素?cái)?shù)據(jù)的一個(gè)或多個(gè)視頻流ο詳細(xì)描述基于該原理，可以將并行霍夫變換從四個(gè)分別約為90°扭曲的主方向應(yīng)用于圖像內(nèi)容為此，在預(yù)處理中，發(fā)生大約90°的圖像旋轉(zhuǎn)其余的兩個(gè)方向被以下事實(shí)覆蓋：旋轉(zhuǎn)的圖像和非旋轉(zhuǎn)的圖像分別被水平地反折(通過(guò)存儲(chǔ)器中的圖像矩陣字段的反向讀出)根據(jù)模塊的并行化程度，針對(duì)輸出產(chǎn)生以下三個(gè)星座圖(constellation)：100％并行化：同時(shí)輸出四個(gè)視頻數(shù)據(jù)流：大約90°旋轉(zhuǎn)、非旋轉(zhuǎn)以及分別被反折50％并行化：輸出兩個(gè)視頻數(shù)據(jù)流：大約90°旋轉(zhuǎn)和非旋轉(zhuǎn)，依次發(fā)生分別反折的變化的輸出25％并行化：輸出一個(gè)視頻數(shù)據(jù)流：大約90°旋轉(zhuǎn)和非旋轉(zhuǎn)，并分別地依次輸出它們的反折的變化“并行霍夫變換”ο功能簡(jiǎn)單圖案(具有不同尺寸和增幅的直線(xiàn)以及具有不同半徑和取向的曲線(xiàn))及其在二值邊緣或梯度圖像中出現(xiàn)概率的并行識(shí)別ο輸入對(duì)于并行霍夫變換，上采樣的邊緣或梯度圖像(“霍夫預(yù)處理”模塊的輸出)ο輸出包含所搜索結(jié)構(gòu)的所有相關(guān)參數(shù)的多維霍夫空間ο詳細(xì)描述通過(guò)復(fù)雜的基于延遲的局部濾波器對(duì)輸入進(jìn)行處理，該局部濾波器具有用于像素?cái)?shù)據(jù)的所定義的“通過(guò)方向”且通過(guò)以下特征來(lái)表征：包括延遲元件的具有可變大小的濾波器核對(duì)于濾波器針對(duì)所搜索圖案的自適應(yīng)調(diào)節(jié)，延遲元件可以在操作期間接通和斷開(kāi)濾波器的每列表示所搜索結(jié)構(gòu)(曲線(xiàn)或直線(xiàn)增幅)的特定特性通過(guò)濾波器列的總和提供了由相應(yīng)列表示的結(jié)構(gòu)的特性的出現(xiàn)概率當(dāng)通過(guò)濾波器時(shí)，總是輸出具有所搜索圖案的特性的最高出現(xiàn)概率的列對(duì)于每個(gè)圖像像素，濾波器提供了霍夫空間中包含以下信息的一個(gè)點(diǎn)：圖案的類(lèi)別(例如，直線(xiàn)或半圓)圖案的出現(xiàn)概率結(jié)構(gòu)的特性(曲線(xiàn)的強(qiáng)度或者對(duì)于直線(xiàn)：增幅和長(zhǎng)度)圖像中結(jié)構(gòu)的位置或取向作為變換結(jié)果，產(chǎn)生多維圖像，以下稱(chēng)為霍夫空間?！盎舴蛱卣魈崛∑鳌宝瞎δ軓陌糜谀Ｊ阶R(shí)別的相關(guān)信息的霍夫空間提取特征ο輸入多維霍夫空間(“并行霍夫變換”模塊的輸出)ο輸出包含用于模式識(shí)別的相關(guān)信息的霍夫特征的列表ο詳細(xì)描述霍夫特征空間的平滑(通過(guò)局部濾波進(jìn)行空間校正)通過(guò)修改的“非最大抑制”使霍夫空間“變薄”(抑制用于模式識(shí)別的非相關(guān)信息)：通過(guò)考慮圖案的類(lèi)別和結(jié)構(gòu)的特性使對(duì)于處理不相關(guān)的點(diǎn)淡出(霍夫概率空間中的“非極大值”)借助適當(dāng)?shù)拈撝凳够舴蚩臻g的點(diǎn)進(jìn)一步變薄：ο通過(guò)霍夫概率空間中的閾值進(jìn)行噪聲抑制ο指示對(duì)于結(jié)構(gòu)的最小和最大可容許特性的區(qū)間(例如，關(guān)于彎曲結(jié)構(gòu)的最小/最大曲線(xiàn)或者關(guān)于直線(xiàn)的最低/最高增幅)原始圖像范圍中的所有剩余點(diǎn)的參數(shù)的分析再變換導(dǎo)致以下霍夫特征：具有以下參數(shù)的彎曲結(jié)構(gòu)：ο位置(x-和y-圖像坐標(biāo))ο霍夫特征的出現(xiàn)概率ο弧的半徑ο指示弧沿哪個(gè)方向開(kāi)口的角度具有以下參數(shù)的直線(xiàn)：ο位置(x-和y-圖像坐標(biāo))ο霍夫特征的出現(xiàn)概率ο指示直線(xiàn)的增幅的角度ο所表示的直線(xiàn)段的長(zhǎng)度“霍夫特征至橢圓轉(zhuǎn)換器”ο功能選擇3至4個(gè)霍夫特征(曲線(xiàn))，其具有最高概率地描述了圖像中的瞳孔邊緣(橢圓)并設(shè)定到橢圓ο輸入相機(jī)圖像中所有檢測(cè)到的霍夫特征(曲線(xiàn))的列表ο輸出具有最高概率地表示瞳孔的橢圓的參數(shù)ο詳細(xì)描述從所有霍夫特征(曲線(xiàn))的列表，形成3至4個(gè)霍夫特征的組合，由于其參數(shù)，該3至4個(gè)霍夫特征可以描述水平極值點(diǎn)和垂直極值點(diǎn)從而，以下標(biāo)準(zhǔn)影響霍夫特征的選擇：霍夫特征的分?jǐn)?shù)(概率)霍夫特征的曲線(xiàn)霍夫特征彼此的位置和取向如下布置所選擇的霍夫特征組合：首先，根據(jù)所包含的霍夫特征的數(shù)目其次，根據(jù)所包含的霍夫特征的組合概率在布置之后，選擇處于第一位的霍夫特征組合，并擬合相機(jī)圖像中最有可能表示瞳孔的橢圓“核大小控制”ο功能并行霍夫變換的濾波器核(霍夫核)到實(shí)際橢圓大小的動(dòng)態(tài)調(diào)節(jié)ο輸入最后使用的霍夫核大小在相應(yīng)相機(jī)圖像中表示瞳孔的橢圓的參數(shù)ο輸出更新后的霍夫核大小ο詳細(xì)描述根據(jù)由“至橢圓轉(zhuǎn)換器的霍夫特征”計(jì)算的橢圓的大小(半軸的長(zhǎng)度)，跟蹤霍夫核大小，以在檢測(cè)極值點(diǎn)期間提高霍夫變換結(jié)果的精度“時(shí)間智能平滑濾波器”ο功能根據(jù)指數(shù)平滑的原理，對(duì)(例如，所確定的橢圓中點(diǎn)坐標(biāo)的)數(shù)據(jù)序列同時(shí)進(jìn)行自適應(yīng)平滑，由此，待平滑的數(shù)據(jù)序列內(nèi)的流失值或極端異常值不會(huì)導(dǎo)致平滑后數(shù)據(jù)的波動(dòng)ο輸入在模塊的每次激活時(shí)間，數(shù)據(jù)序列和相關(guān)聯(lián)質(zhì)量標(biāo)準(zhǔn)中的相應(yīng)的一個(gè)值(例如，擬合橢圓的出現(xiàn)概率)ο輸出平滑后的數(shù)據(jù)值(例如，橢圓中點(diǎn)坐標(biāo))ο詳細(xì)描述通過(guò)一組濾波器參數(shù)，在初始化濾波器時(shí)，可以確定其行為如果實(shí)際輸入值沒(méi)有落入以下類(lèi)別之一內(nèi)，則該實(shí)際輸入值用于平滑：與相關(guān)聯(lián)的出現(xiàn)概率相對(duì)應(yīng)，是數(shù)據(jù)序列中的流失值與相關(guān)聯(lián)的橢圓參數(shù)相對(duì)應(yīng)，是異常值ο如果實(shí)際橢圓的大小與先前橢圓的大小相異太多ο實(shí)際位置朝橢圓的最后位置的差太大此外，如果這些標(biāo)準(zhǔn)之一被滿(mǎn)足，則輸出先前確定的值，否則，對(duì)用于平滑的當(dāng)前值進(jìn)行協(xié)商為了在平滑期間獲得可能地小延遲，與過(guò)去值相比，對(duì)當(dāng)前值定級(jí)更高：當(dāng)前平滑的值＝當(dāng)前值×平滑系數(shù)+上次平滑的值×(1-平滑系數(shù))針對(duì)待平滑的數(shù)據(jù)的趨勢(shì)，在所定義的邊界內(nèi)動(dòng)態(tài)調(diào)整平滑系數(shù)：ο減少數(shù)據(jù)序列中相當(dāng)恒定值的發(fā)展ο增加數(shù)據(jù)序列中增大值或減小值的發(fā)展如果長(zhǎng)期發(fā)生關(guān)于待平滑的橢圓參數(shù)的較大飛躍，則對(duì)濾波器以及由此也對(duì)平滑后值的發(fā)展進(jìn)行調(diào)整“3D相機(jī)系統(tǒng)模型”ο功能3D空間的建模，在所述3D空間中設(shè)置有若干相機(jī)、用戶(hù)(或其眼睛)以及可能地屏幕ο輸入包含所有模型的模型參數(shù)(位置參數(shù)、光學(xué)參數(shù)、其他參數(shù)等)的配置文件ο輸出提供用于該模型內(nèi)計(jì)算的統(tǒng)計(jì)框架和功能ο詳細(xì)描述對(duì)模型的所有元素的空間位置(位置和旋轉(zhuǎn)角度)及其幾何形狀(例如，像素大小、傳感器大小、分辨率)和光學(xué)(例如，焦距、物鏡失真)特性進(jìn)行建模在該時(shí)間點(diǎn)，模型包括以下元素：相機(jī)單元，包括：ο相機(jī)傳感器ο物鏡眼睛顯示器除了模型的所有元素的特性以外，具體地，提供下面描述的功能“3D位置計(jì)算”(用于計(jì)算眼睛位置)和“3D視線(xiàn)方向計(jì)算”(用于計(jì)算視線(xiàn)方向)借助該模型，除其他事項(xiàng)外，可以計(jì)算3D視線(xiàn)(包括瞳孔中點(diǎn)和(與人眼的生物學(xué)和生理學(xué)相對(duì)應(yīng)地校正的)視線(xiàn)方向向量)可選地，還可以計(jì)算觀看者在3D模型的另一對(duì)象上(例如，在顯示器上)的視點(diǎn)以及觀看者的關(guān)注區(qū)域“3D位置計(jì)算”ο功能通過(guò)三角測(cè)量法計(jì)算由兩個(gè)或更多個(gè)相機(jī)捕獲的點(diǎn)(例如，瞳孔中點(diǎn))的空間位置(3D坐標(biāo))ο輸入兩個(gè)相機(jī)圖像中一個(gè)點(diǎn)的2D坐標(biāo)ο輸出該點(diǎn)的3D坐標(biāo)誤差測(cè)量：描述與模型參數(shù)結(jié)合的所傳送2D坐標(biāo)的精度ο詳細(xì)描述從所傳送的2D坐標(biāo)，通過(guò)利用針對(duì)兩個(gè)相機(jī)的“3D相機(jī)系統(tǒng)模型”(具體地，考慮光學(xué)參數(shù))，計(jì)算將3D點(diǎn)顯示為傳感器上的2D點(diǎn)的光束將這些光束描述為模型的3D空間中的直線(xiàn)假設(shè)兩條直線(xiàn)具有最小距離的點(diǎn)(在理想情況下，直線(xiàn)的交點(diǎn))是所搜索的3D點(diǎn)“3D視線(xiàn)方向計(jì)算”ο功能從瞳孔到相機(jī)傳感器的兩個(gè)橢圓形狀的投影確定視線(xiàn)方向，而無(wú)需校準(zhǔn)且無(wú)需知曉眼睛和相機(jī)系統(tǒng)之間的距離ο輸入圖像傳感器的3D位置參數(shù)投影到兩個(gè)圖像傳感器的瞳孔的橢圓參數(shù)兩個(gè)圖像傳感器上橢圓中點(diǎn)的3D位置瞳孔中點(diǎn)的3D位置ο輸出用向量和角度表示的3D視線(xiàn)方向ο詳細(xì)描述從瞳孔中點(diǎn)的3D位置和圖像傳感器的位置，通過(guò)實(shí)際相機(jī)單元的旋轉(zhuǎn)，計(jì)算虛擬相機(jī)單元，其中，虛擬相機(jī)單元的光軸穿過(guò)3D瞳孔中點(diǎn)。之后，從瞳孔到實(shí)際傳感器的投影(瞳孔的投影)，分別計(jì)算虛擬傳感器，從而可以說(shuō)出現(xiàn)兩個(gè)虛擬橢圓從虛擬橢圓的參數(shù)，針對(duì)兩個(gè)傳感器，可以在與相應(yīng)傳感器平面任意平行的平行平面上分別計(jì)算眼睛的兩個(gè)視點(diǎn)利用這四個(gè)視點(diǎn)和3D瞳孔中點(diǎn)，可以計(jì)算四個(gè)視線(xiàn)方向矢量(分別來(lái)自每個(gè)相機(jī)結(jié)果的兩個(gè)矢量)從這四個(gè)視線(xiàn)方向矢量中，總是有恰好一個(gè)矢量與一個(gè)相機(jī)的矢量或另一相機(jī)的矢量(幾乎)相同兩個(gè)相同的矢量指示眼睛的所搜索的視線(xiàn)方向，隨后，該視線(xiàn)方向由模塊“3D視線(xiàn)方向計(jì)算”作為結(jié)果進(jìn)行提供。4.a)優(yōu)點(diǎn)-獨(dú)立于眼睛朝向相機(jī)的位置，非接觸且完全免校準(zhǔn)地確定3D眼睛位置、3D視線(xiàn)方向和瞳孔大小-(通過(guò)包括3D空間模型)對(duì)3D眼睛位置和3D視線(xiàn)方向的分析確定使相機(jī)的數(shù)目任意(大于2)以及3D空間中相機(jī)的位置任意。-測(cè)量投影到相機(jī)的瞳孔以及由此準(zhǔn)確確定瞳孔大小-由于完全并行處理而無(wú)需在處理鏈中遞歸而導(dǎo)致高幀率(例如，在一個(gè)XILINXSpartan3ADSP@96MHz上是60FPS@640x480)以及短延遲時(shí)段-使用針對(duì)并行FPGA結(jié)構(gòu)已開(kāi)發(fā)的FPGA硬件和算法-使用霍夫變換(在所描述的用于FPGA硬件的調(diào)整形式中)以針對(duì)對(duì)象識(shí)別進(jìn)行魯棒特征提取(這里：瞳孔橢圓的特征)-在FPGA中的并行處理上，對(duì)用于霍夫變換結(jié)果的后處理的算法進(jìn)行優(yōu)化-固定的時(shí)間制度(連續(xù)結(jié)果之間的恒定時(shí)間差)-如完全集成到芯片上的最小構(gòu)造空間-低能耗-由于尺度效應(yīng)(scalingeffect)的利用，將處理直接移植到FPGA到ASIC的可能性→具有高質(zhì)量的有成本效益的解決方案解決方法-(部分地)使用其他算法(例如，用于橢圓檢測(cè)的不同對(duì)象識(shí)別方法)用于專(zhuān)利侵權(quán)的證據(jù)的可能性-顯然地，專(zhuān)利侵權(quán)可能存在，如果相應(yīng)的產(chǎn)品是包括FPGA和微處理器的快速且完全免校準(zhǔn)的眼睛跟蹤系統(tǒng)。-通過(guò)復(fù)制/克隆FPGA比特文件/網(wǎng)絡(luò)列表的專(zhuān)利侵權(quán)的證據(jù)ο例如，通過(guò)賬目金額將容易地證明ο此外，比特文件可以綁定到FPGA-ID→然后，將僅通過(guò)使用FPGA類(lèi)似ID，復(fù)制是可能的-通過(guò)拆卸FPGA比特文件/網(wǎng)絡(luò)列表的專(zhuān)利侵權(quán)的證據(jù)ο通過(guò)拆卸各個(gè)FPGA比特文件/網(wǎng)絡(luò)列表，將可以識(shí)別對(duì)專(zhuān)利侵權(quán)的指示ο只是可能難以呈現(xiàn)具體的證據(jù)-通過(guò)“拆卸”處理器代碼的專(zhuān)利侵權(quán)的證據(jù)ο將可以識(shí)別指示，只是具體證據(jù)幾乎是不可能的應(yīng)用-在(實(shí)況)相機(jī)圖像數(shù)據(jù)流中，檢測(cè)3D眼睛位置和3D視線(xiàn)方向，其可以用于以下應(yīng)用：ο安全相關(guān)領(lǐng)域例如，作為汽車(chē)行業(yè)中的駕駛輔助系統(tǒng)的短暫打盹報(bào)警系統(tǒng)或疲勞檢測(cè)器，評(píng)估眼睛(例如，瞳孔的覆蓋度作為眨眼程度的測(cè)量)并考慮視點(diǎn)和焦點(diǎn)ο人機(jī)界面作為技術(shù)設(shè)備的輸入接口(眼睛位置和視線(xiàn)方向可以用作輸入?yún)?shù))支持用戶(hù)觀看屏幕內(nèi)容(例如，突出顯示所觀看的區(qū)域)例如，在輔助生活領(lǐng)域中對(duì)于計(jì)算機(jī)游戲視線(xiàn)方向支持用于頭戴式設(shè)備的輸入通過(guò)包括視線(xiàn)方向優(yōu)化3D可視化ο市場(chǎng)和媒體開(kāi)發(fā)例如，通過(guò)評(píng)估測(cè)試人的空間視線(xiàn)方向和視點(diǎn)，評(píng)價(jià)廣告的吸引力ο眼科診斷(例如，客觀視野檢查法)和療法FPGA-臉部跟蹤器本發(fā)明的一個(gè)方面涉及一種自主(獨(dú)立于PC的)系統(tǒng)，具體地，該自主系統(tǒng)使用FPGA優(yōu)化的算法并且適合于檢測(cè)相機(jī)實(shí)時(shí)圖像中的臉部及其(空間)位置。具體地，所用算法的特征在于，它們?cè)贔PGA(現(xiàn)場(chǎng)可編程門(mén)陣列)上針對(duì)處理被優(yōu)化，并且與現(xiàn)有方法相比，進(jìn)展好，而無(wú)需在處理中遞歸。所述算法允許在FPGA中實(shí)現(xiàn)具有恒定幀率、最小延遲時(shí)段和最小資源消耗的非?？焖俚膱D像處理。因而，這些模塊針對(duì)需要小的構(gòu)造體積的時(shí)間關(guān)鍵型/延遲關(guān)鍵型/安全關(guān)鍵型應(yīng)用(例如，駕駛輔助系統(tǒng))或者如人機(jī)界面的應(yīng)用(例如，用于移動(dòng)設(shè)備)。此外，通過(guò)使用第二相機(jī)，可以高度準(zhǔn)確地、免校準(zhǔn)地且非接觸地確定用戶(hù)針對(duì)圖像中的特定點(diǎn)的空間位置。目的技術(shù)問(wèn)題在(實(shí)時(shí))相機(jī)圖像中，魯棒的基于硬件的臉部檢測(cè)-通過(guò)使用立體相機(jī)系統(tǒng)檢測(cè)3D空間中的臉部和眼睛位置-非常短的反應(yīng)時(shí)間(或處理時(shí)間)-小的構(gòu)造-通過(guò)集成解決方案的自主功能(獨(dú)立于PC)技術(shù)發(fā)展水平-文獻(xiàn)：οChristianKüblbeck，AndreasErnst：使用修改的統(tǒng)計(jì)變換在視頻序列中進(jìn)行臉部檢測(cè)和跟蹤(Facedetectionandtrackinginvideosequencesusingthemodifiedcensustransformation)οPaulViola，MichaelJones：魯棒的實(shí)時(shí)對(duì)象檢測(cè)(RobustReal-timeObjectDetection)當(dāng)前臉部跟蹤器系統(tǒng)的缺點(diǎn)-針對(duì)PC系統(tǒng)(更一般地：通用處理器)優(yōu)化整體處理，并且因此，整體處理也經(jīng)受其缺點(diǎn)(例如，在處理期間固定的時(shí)間制度是不可行的(示例：依據(jù)圖像內(nèi)容，例如，背景，跟蹤可能需要更長(zhǎng)時(shí)間))-順序處理；初始圖像被接連帶入不同尺度階段(直至達(dá)到最低尺度階段)并且利用關(guān)于臉部的多級(jí)分類(lèi)器被分別搜索ο根據(jù)必須計(jì)算多少尺度階段或者必須計(jì)算分類(lèi)器的多少級(jí)，處理時(shí)間段發(fā)生變化，直至結(jié)果可用-為了實(shí)現(xiàn)高幀率，因?yàn)橐呀?jīng)到PC硬件優(yōu)化的算法具有非常高的資源消耗(具體地，關(guān)于嵌入式處理器系統(tǒng))，所以需要高效系統(tǒng)-基于檢測(cè)到的臉部位置，分類(lèi)器只提供不準(zhǔn)確的眼睛位置(眼睛“位置”-具體地，瞳孔中點(diǎn)-不被分析性地確定(或測(cè)量)并且因此經(jīng)受高的不準(zhǔn)確度)-所確定的臉部和眼睛位置僅在2D圖像坐標(biāo)中可用，在3D中不可用實(shí)施方式整體系統(tǒng)從相機(jī)圖像(其中僅顯示一個(gè)臉部)確定臉部位置，并且通過(guò)使用該位置確定左眼和右眼的瞳孔中點(diǎn)的位置。如果使用排列彼此已知的兩個(gè)或更多個(gè)相機(jī)，則這兩點(diǎn)可以被指示用于三維空間?？梢栽谑褂谩凹裳劬Ω櫰鳌钡南到y(tǒng)中進(jìn)一步處理所確定的兩個(gè)眼睛位置?！安⑿袌D像縮放器”、“并行臉部取景器”、“并行眼睛分析器”、“并行瞳孔分析器”、“時(shí)間智能平滑濾波器”、“3D相機(jī)系統(tǒng)模型”和“3D位置計(jì)算”涉及整個(gè)系統(tǒng)(FPGA臉部跟蹤器)的各個(gè)功能模塊。它們遵循如下FPGA臉部跟蹤器的圖像處理鏈：圖7a示出了FPGA臉部跟蹤器800中的各個(gè)功能模塊的框圖。對(duì)于臉部跟蹤，強(qiáng)制需要功能模塊“3D相機(jī)系統(tǒng)模型”802和“3D位置計(jì)算”804，然而，當(dāng)使用立體相機(jī)系統(tǒng)并計(jì)算用于確定空間位置(例如，用于在兩個(gè)相機(jī)圖像中計(jì)算2D臉部中點(diǎn)期間確定3D頭位置)的兩個(gè)相機(jī)上的適當(dāng)點(diǎn)時(shí)使用所述功能模塊。FPGA臉部跟蹤器的模塊“特征提取(分類(lèi))”806基于FraunhoferIIS(德國(guó)，埃爾蘭根)的Küblbeck/Ernst的特征提取和分類(lèi)，并在統(tǒng)計(jì)特征(censusfeature)的基礎(chǔ)上使用其分類(lèi)的調(diào)整變型。框圖示出了FPGA臉部跟蹤系統(tǒng)的各個(gè)處理級(jí)。以下，呈現(xiàn)出各模塊的詳細(xì)描述?！安⑿袌D像縮放器702”ο功能并行計(jì)算初始圖像的縮放級(jí)，并在新的圖像矩陣中布置計(jì)算的縮放級(jí)，以便允許后續(xù)圖像處理模塊同時(shí)分析所有縮放級(jí)圖7b示出了初始圖像710(原始圖像)以及并行圖像縮放器的結(jié)果712(降尺度圖像)。ο輸入原始分辨率的初始圖像710ο輸出712以適于后續(xù)臉部跟蹤模塊的布置包含初始圖像的多個(gè)縮放變型的新圖像矩陣ο詳細(xì)描述通過(guò)并行計(jì)算初始圖像的不同縮放級(jí)，建立圖像金字塔為了保證在目標(biāo)矩陣內(nèi)先前計(jì)算的縮放級(jí)的限定布置，通過(guò)利用各種標(biāo)準(zhǔn)發(fā)生各個(gè)縮放級(jí)的圖像坐標(biāo)到目標(biāo)矩陣的圖像坐標(biāo)系的變換：限定縮放級(jí)之間的最小距離，以抑制相鄰階段中分析結(jié)果的串?dāng)_限定到目標(biāo)矩陣的邊緣的距離，以保證從圖像部分地投射的臉部的分析“并行臉部取景器808”ο功能從聯(lián)合布置在矩陣中的若干縮放級(jí)的分類(lèi)結(jié)果檢測(cè)臉部。并行臉部取景器808可類(lèi)比于圖1的取景器，其中，取景器706包括一般的功能范圍(識(shí)別另外的圖案，如瞳孔識(shí)別)。如圖7c所示，分類(lèi)的結(jié)果(在右側(cè))構(gòu)成了并行臉部取景器的輸入。ο輸入712包含若干縮放級(jí)的分類(lèi)的圖像矩陣ο輸出臉部所位于的概率最高的位置(考慮若干標(biāo)準(zhǔn))ο詳細(xì)描述噪聲抑制以限制分類(lèi)結(jié)果通過(guò)利用局部量和最大濾波器(localamountandmaximumfilter)的組合，對(duì)縮放尺度內(nèi)的分類(lèi)結(jié)果進(jìn)行空間校正可選地以在所有縮放級(jí)上和不在所有縮放級(jí)的臉部尺寸，在最高出現(xiàn)概率上對(duì)臉部定位對(duì)在所選縮放級(jí)上和不在所選縮放級(jí)的結(jié)果位置進(jìn)行空間平均考慮以下標(biāo)準(zhǔn)而發(fā)生對(duì)所述平均中所包括的縮放級(jí)的選擇：ο在所查看的縮放級(jí)中所選臉部的中點(diǎn)的差ο動(dòng)態(tài)確定的量濾波器的最高結(jié)果的偏差ο縮放級(jí)的抑制而無(wú)需分類(lèi)結(jié)果對(duì)“并行臉部取景器”的檢測(cè)性能進(jìn)行基于閾值的調(diào)整“并行眼睛分析器810”ο功能在臉部檢測(cè)期間并行檢測(cè)相應(yīng)臉部中眼睛的位置(對(duì)于并非理想地在正面捕獲的且扭曲的臉部，這是尤其重要的)ο輸入包含初始圖像的若干縮放級(jí)的圖像矩陣(來(lái)自“并行圖像縮放器”模塊)以及相應(yīng)的當(dāng)前位置(來(lái)自“并行臉部取景器”模塊)，其中，所搜索臉部位于該當(dāng)前位置的概率最高ο輸出在由“并行臉部取景器”當(dāng)前檢測(cè)到的臉部中眼睛的位置和相關(guān)概率值ο詳細(xì)描述基于降尺度的初始圖像，在其由“并行臉部取景器”提供的臉部區(qū)域內(nèi)的限定范圍(眼睛范圍)中，如以下所述執(zhí)行對(duì)于每個(gè)眼睛的眼睛搜索：從臉部區(qū)域內(nèi)的憑經(jīng)驗(yàn)確定的眼睛的一般位置限定眼睛范圍。利用專(zhuān)門(mén)形成的基于相關(guān)性的局部濾波器，在眼睛范圍內(nèi)確定存在眼睛的概率(將該圖像段中的眼睛簡(jiǎn)化描述為伴隨光環(huán)境的一點(diǎn)暗面)準(zhǔn)確的眼睛位置(含其概率)產(chǎn)生于先前計(jì)算的概率山(probabilitymountain)中的最小搜索“并行瞳孔分析器812”ο功能基于先前確定的眼睛位置，在所檢測(cè)到的眼睛內(nèi)檢測(cè)瞳孔中點(diǎn)的位置(從而，眼睛位置的精度增加，這對(duì)于瞳孔的測(cè)量或后續(xù)評(píng)估是重要的)ο輸入原始分辨率的初始圖像以及所確定的眼睛位置和臉部大小(來(lái)自“并行眼睛分析器”或“并行臉部取景器”)ο輸出瞳孔在所評(píng)估的圖像內(nèi)的位置以及指示是否已找到瞳孔的狀態(tài)ο詳細(xì)描述基于所確定的眼睛位置和臉部大小，在眼睛周?chē)R(shí)別待處理的圖像部分除該圖像矩陣之外，建立包含圖像列的最小值的矢量以及包含圖像行的最小值的矢量在這些矢量?jī)?nèi)(從最小灰度值)，如以下所述，在水平方向和垂直方向上分別檢測(cè)瞳孔中點(diǎn)：檢測(cè)各矢量的最小值(作為瞳孔內(nèi)的位置)基于該最小值，在矢量?jī)?nèi)，沿正方向和負(fù)方向，確定以下位置，在該位置處，超過(guò)與所有矢量元素的動(dòng)態(tài)范圍按比例相關(guān)的可調(diào)閾值這兩個(gè)矢量中這些范圍的中點(diǎn)一起形成了瞳孔在所分析圖像中的中點(diǎn)“時(shí)間智能平滑濾波器814”ο功能對(duì)(例如，所確定的臉部坐標(biāo)的)數(shù)據(jù)序列進(jìn)行自適應(yīng)時(shí)間平滑，由此，流失值、不合理值(absurdvalue)或極端異常值不會(huì)導(dǎo)致平滑后數(shù)據(jù)的波動(dòng)ο輸入針對(duì)模塊的每次激活時(shí)間，數(shù)據(jù)序列和相關(guān)聯(lián)質(zhì)量標(biāo)準(zhǔn)中的相應(yīng)的一個(gè)值(關(guān)于臉部跟蹤：臉部得分(facescore)和找到臉部的降尺度階段)ο輸出平滑后的數(shù)據(jù)值(例如，臉部坐標(biāo))ο詳細(xì)描述通過(guò)一組濾波器參數(shù)，在濾波器的初始化期間，可以確定其行為如果當(dāng)前輸入值沒(méi)有落入以下類(lèi)別之一內(nèi)，則該當(dāng)前輸入值用于平滑：根據(jù)相關(guān)得分，是數(shù)據(jù)序列的流失值根據(jù)相關(guān)降尺度階段，是不合理值(在過(guò)遠(yuǎn)的降尺度階段中已經(jīng)確定的值)根據(jù)朝向用于平滑的最后值的差太大，是異常值此外，如果這些標(biāo)準(zhǔn)之一被滿(mǎn)足，則輸出先前確定的平滑值，否則，對(duì)用于平滑的當(dāng)前值進(jìn)行協(xié)商為了在平滑期間獲得可能地低延遲，與過(guò)去值相比，對(duì)當(dāng)前值定級(jí)更高：當(dāng)前平滑的值＝當(dāng)前值×平滑系數(shù)+上次平滑的值×(1-平滑系數(shù))針對(duì)待平滑的數(shù)據(jù)的趨勢(shì)，在所定義的邊界內(nèi)動(dòng)態(tài)調(diào)整平滑系數(shù)：ο減少數(shù)據(jù)序列中相當(dāng)恒定值的發(fā)展ο增加數(shù)據(jù)序列中增大值或減小值的發(fā)展如果長(zhǎng)期發(fā)生關(guān)于待平滑的橢圓參數(shù)的較大飛躍，則對(duì)濾波器以及由此也對(duì)平滑后值的發(fā)展進(jìn)行調(diào)整“3D相機(jī)系統(tǒng)模型804a”ο功能3D空間的建模，在所述3D空間中設(shè)置有若干相機(jī)、用戶(hù)(或其眼睛)以及可能地屏幕ο輸入包含模型的所有元素的模型參數(shù)(位置參數(shù)、光學(xué)參數(shù)等)的配置文件ο輸出提供用于該模型內(nèi)計(jì)算的統(tǒng)計(jì)框架和功能ο詳細(xì)描述對(duì)模型的所有元素的空間位置(位置和旋轉(zhuǎn)角度)及其幾何形狀(例如，像素大小、傳感器大小、分辨率)和光學(xué)(例如，焦距、物鏡失真)特性進(jìn)行建模在該時(shí)間點(diǎn)，模型包括以下元素：相機(jī)單元，包括：ο相機(jī)傳感器ο物鏡眼睛顯示器除了模型的所有元素的特性以外，具體地，提供下面描述的功能“3D位置計(jì)算”(用于計(jì)算眼睛位置)和“3D視線(xiàn)方向計(jì)算”(用于計(jì)算視線(xiàn)方向)在其他應(yīng)用情況下，還提供以下功能：借助該模型，除其他事項(xiàng)外，可以計(jì)算3D視線(xiàn)(包括瞳孔中點(diǎn)和(與人眼的生物學(xué)和生理學(xué)相對(duì)應(yīng)的)視線(xiàn)方向向量)可選地，還可以計(jì)算觀看者在3D模型的另一對(duì)象上(例如，在顯示器上)的視點(diǎn)以及觀看者的關(guān)注區(qū)域“3D位置計(jì)算804”ο功能計(jì)算由兩個(gè)或更多個(gè)相機(jī)捕獲的點(diǎn)(例如，瞳孔中點(diǎn))的空間位置(3D坐標(biāo))ο輸入點(diǎn)在兩個(gè)相機(jī)圖像中的2D坐標(biāo)ο輸出該點(diǎn)的3D坐標(biāo)誤差測(cè)量：描述與模型參數(shù)結(jié)合的所傳送2D坐標(biāo)的精度ο詳細(xì)描述從所傳送的2D坐標(biāo)，通過(guò)利用針對(duì)兩個(gè)相機(jī)的“3D相機(jī)系統(tǒng)模型”(具體地，考慮光學(xué)參數(shù))，計(jì)算將3D點(diǎn)顯示為傳感器上的2D點(diǎn)的光束將這些光束描述為模型的3D空間中的直線(xiàn)假設(shè)兩條直線(xiàn)具有最小距離的點(diǎn)(在理想情況下，直線(xiàn)的交點(diǎn))是所搜索的3D點(diǎn)優(yōu)點(diǎn)在(實(shí)時(shí))相機(jī)圖像中確定2D形式的臉部位置和眼睛位置，并且(通過(guò)包括3D空間模型)在3D空間中重新計(jì)算所述位置的3D形式-對(duì)3D下呈現(xiàn)的算法進(jìn)行優(yōu)化以在FPGA中具有實(shí)時(shí)能力和并行處理-由于完全并行處理而無(wú)需在處理鏈中遞歸而導(dǎo)致高幀率(在XILINXSpartan3ADSP@48MHz上是60FPS@640x480)以及短延遲時(shí)段→非?？焖俚膱D像處理和具有最小延遲的結(jié)果的輸出-由于可以用一個(gè)組件(FPGA)實(shí)現(xiàn)全部功能而導(dǎo)致最小構(gòu)造空間-低能耗-固定的時(shí)間制度(連續(xù)結(jié)果之間的恒定時(shí)間差)，并因此，注定用于安全關(guān)鍵型應(yīng)用-由于尺度效應(yīng)(scalingeffect)的利用，將處理從FPGA直接移植到ASIC(專(zhuān)用集成電路)的可能性→具有高質(zhì)量的非常有成本效益的解決方案解決方法-使用用于各子功能的整體功能的其他算法用于專(zhuān)利侵權(quán)的證據(jù)的可能性-通過(guò)復(fù)制/克隆FPGA比特文件/網(wǎng)絡(luò)列表的專(zhuān)利侵權(quán)的證據(jù)ο例如，通過(guò)賬目金額將容易地證明ο此外，比特文件可以綁定到FPGA-ID→然后，將僅通過(guò)使用FPGA類(lèi)似ID，復(fù)制是可能的-通過(guò)“拆卸”FPGA比特文件/網(wǎng)絡(luò)列表的專(zhuān)利侵權(quán)的證據(jù)ο通過(guò)拆卸各個(gè)FPGA比特文件/網(wǎng)絡(luò)列表，將可以識(shí)別對(duì)專(zhuān)利侵權(quán)的指示ο可能難以呈現(xiàn)具體的證據(jù)應(yīng)用-與軟件解決方案相比，應(yīng)用期間的優(yōu)點(diǎn)ο自主功能(片上系統(tǒng))ο易于轉(zhuǎn)移到ASIC中的可能性ο集成到現(xiàn)有系統(tǒng)/開(kāi)關(guān)中節(jié)省空間-與軟件解決方案相似的應(yīng)用領(lǐng)域(在(實(shí)時(shí))相機(jī)圖像數(shù)據(jù)流中，檢測(cè)臉部位置和相應(yīng)眼睛位置，用于以下列出的應(yīng)用)ο安全應(yīng)用例如，汽車(chē)領(lǐng)域中的短暫打盹報(bào)警系統(tǒng)，評(píng)估眼睛(眨眼程度)以及眼睛和頭的移動(dòng)ο人機(jī)通信例如，用于技術(shù)設(shè)備的輸入接口(頭或眼睛位置作為輸入?yún)?shù))ο視線(xiàn)跟蹤例如，臉部和眼睛位置，作為用于視線(xiàn)方向確定的初步階段(結(jié)合“集成眼睛跟蹤器”)ο市場(chǎng)營(yíng)銷(xiāo)例如，通過(guò)確定頭和眼睛的參數(shù)(特別是位置)評(píng)估廣告的吸引力以下，通過(guò)兩個(gè)例子，公開(kāi)關(guān)于上述各方面的進(jìn)一步背景知識(shí)。以下通過(guò)圖8a至圖8e描述用于該視線(xiàn)方向計(jì)算的詳細(xì)計(jì)算示例。計(jì)算瞳孔中點(diǎn)如已描述的，通過(guò)相機(jī)鏡頭808a和808b描繪圓形瞳孔806a，在圖像傳感器802a和802b上分別出現(xiàn)了橢圓瞳孔投影(參見(jiàn)圖8a)。瞳孔的中心位于兩個(gè)傳感器802a和802b上，因此，在各個(gè)相機(jī)圖像中還總是描繪出橢圓的中點(diǎn)和因此，由于這兩個(gè)橢圓中點(diǎn)和的立體背投影(stereoscopicrearprojection)，可以通過(guò)物鏡模型確定3D瞳孔中點(diǎn)。與之相關(guān)的可選需求是理想的時(shí)間同步的圖像，使得所描述的從兩個(gè)相機(jī)拍攝的場(chǎng)景相同，并因此，在相同位置采集到瞳孔中點(diǎn)。最初，針對(duì)每個(gè)相機(jī)，必須計(jì)算橢圓中點(diǎn)的背投影光束路其沿著對(duì)象與在光學(xué)系統(tǒng)的物側(cè)(H1)的交點(diǎn)之間的相交光束行進(jìn)(圖8a)。RS(t)=RS0+t·RSn→---(A1)]]>該背投影光束由等式(A1)定義。其包括起始點(diǎn)RS0和標(biāo)準(zhǔn)化的方向向量從而從物鏡的兩個(gè)主點(diǎn)H1和H2以及從傳感器平面中的橢圓中心EMP，導(dǎo)致等式(A2)和(A3)所示的所用物鏡模型(圖8b)。為此，所有三個(gè)點(diǎn)(H1、H2和EMP)必須全部可用于眼睛跟蹤器坐標(biāo)系。RS0＝H1(A2)RSn→H2-EMP|H2-EMP|---(A3)]]>主點(diǎn)可以通過(guò)以下等式來(lái)計(jì)算：H2=KO+b·Kn→]]>以及H1=K0+(b+d)·Kn→]]>直接形成物鏡和相機(jī)參數(shù)(圖8b)，其中，K0是相機(jī)傳感器平面的中點(diǎn)，是相機(jī)傳感器平面的法向矢量?？梢詮挠梢韵碌仁教峁┑南惹按_定的橢圓中心參數(shù)xm和ym計(jì)算相機(jī)坐標(biāo)系中的3D橢圓中心：PCamera=PCameraxPCamerayPCameraz=(PimagexPimagey0+SoffsetxSoffsety0-12·SresxSresy0)·SPxGr]]>其中，Pimage是相機(jī)圖像的像素分辨率，Soffset是傳感器上的開(kāi)始讀出圖像的位置，Sres是傳感器的分辨率，SPxGr是傳感器的像素大小。在理想情況下，所搜索瞳孔中點(diǎn)是兩個(gè)背投影光束RSK1和RSK2的交點(diǎn)。然而，利用實(shí)際確定的模型參數(shù)和橢圓中點(diǎn)，已經(jīng)通過(guò)最小測(cè)量誤差，在3D空間中不再產(chǎn)生直線(xiàn)的交點(diǎn)。在該系列中既不相交也不平行的兩條直線(xiàn)在幾何中被指定為斜線(xiàn)(skewline)。在背投影的情況下，可以假設(shè)這兩條斜線(xiàn)非常接近地分別通過(guò)瞳孔中點(diǎn)。因此，瞳孔中點(diǎn)在這兩條直線(xiàn)之間的線(xiàn)的一半上位于它們彼此距離最小的位置。兩條斜線(xiàn)之間的最短距離由與這兩條直線(xiàn)垂直的連接線(xiàn)來(lái)表示?？梢愿鶕?jù)等式(A4)計(jì)算在兩個(gè)背投影光束上的垂直直立線(xiàn)的方向向量作為其方向向量的交叉乘積。n→St=RSn→K1xRSn→K2---(A4)]]>背投影光束之間的最短連接線(xiàn)的位置由等式(A5)來(lái)定義。通過(guò)使用RSK1(s)、RSK2(t)和產(chǎn)生可以計(jì)算s、t和u的方程組。RSK1(s)+un→StRSK2(t)---(A5)]]>因此，在使用針對(duì)s和u計(jì)算的值之后，位于背投影光束之間的線(xiàn)的一半處的所搜索瞳孔中點(diǎn)PMP產(chǎn)生于等式(A6)。PMP=RSK1(s)+u2·n→St---(A6)]]>作為用于所計(jì)算的瞳孔中點(diǎn)的精度的指示符，附加地，可以計(jì)算背投影光束之間的最小距離dRS。模型參數(shù)和橢圓參數(shù)越精確，dRS越小。dRS=u·|n→St|---(A7)]]>計(jì)算出的瞳孔中點(diǎn)是這兩種參數(shù)之一，這兩種參數(shù)確定將由眼睛跟蹤器確定的眼睛的視線(xiàn)。此外，需要計(jì)算以下描述的視線(xiàn)方向矢量用于計(jì)算瞳孔中點(diǎn)的該方法的優(yōu)點(diǎn)是，相機(jī)到眼睛之間的距離不必牢牢地存儲(chǔ)在系統(tǒng)中。例如，這是在DE102004046617A1的專(zhuān)利說(shuō)明書(shū)中描述的方法所需要的。視線(xiàn)方向向量的計(jì)算要確定的視線(xiàn)方向向量對(duì)應(yīng)于圓形瞳孔表面的法向向量，因此，是由于3D空間中指定的瞳孔的對(duì)準(zhǔn)。從針對(duì)瞳孔在相機(jī)傳感器上的兩個(gè)橢圓形狀的投影可以確定的橢圓參數(shù)，可以確定瞳孔的位置和對(duì)準(zhǔn)。由此，投影橢圓的兩個(gè)半軸的長(zhǎng)度以及旋轉(zhuǎn)角度顯示出瞳孔和/或視線(xiàn)方向相對(duì)于相機(jī)位置的對(duì)準(zhǔn)的特性。例如在DE102004046617A1的專(zhuān)利說(shuō)明書(shū)中描述了一種用于從橢圓參數(shù)以及眼睛跟蹤系統(tǒng)中牢牢存儲(chǔ)的相機(jī)和眼睛之間的距離來(lái)計(jì)算視線(xiàn)方向的方法。如圖8e所示，該方法假設(shè)平行投影，由此，通過(guò)傳感器法線(xiàn)和投影到傳感器的瞳孔的中點(diǎn)所限定的直線(xiàn)通過(guò)瞳孔中點(diǎn)。為此，需要預(yù)先知道相機(jī)到眼睛的距離并將其牢牢地存儲(chǔ)在眼睛跟蹤系統(tǒng)中。然而，利用該方法中呈現(xiàn)的相機(jī)物鏡的模型(其描述了實(shí)際對(duì)象的顯示行為)，發(fā)生對(duì)象到圖像傳感器的立體投影(perspectiveprojection)。由于此，可以執(zhí)行瞳孔中點(diǎn)的計(jì)算，并且不必預(yù)先知道相機(jī)到眼睛的距離，與上面提到的專(zhuān)利說(shuō)明書(shū)相比，這構(gòu)成了重要改進(jìn)之一。然而，由于立體投影，在傳感器上顯示的瞳孔橢圓的形狀與平行投影的結(jié)果相反，不僅是因?yàn)橥紫鄬?duì)于傳感器表面的傾斜。如圖8b所示，瞳孔中點(diǎn)與相機(jī)物鏡的光軸之間的偏轉(zhuǎn)角(deflection)δ同樣地影響瞳孔投影的形狀，并因此影響從其確定的橢圓參數(shù)。與圖8b的圖示相反，瞳孔與相機(jī)之間的幾百毫米的距離相對(duì)于在2mm和8mm之間的瞳孔半徑非常大。因此，隨著瞳孔相對(duì)于光軸的傾斜所發(fā)生的瞳孔投影與理想橢圓形狀的偏差非常小，并可以忽略。為了能夠計(jì)算視線(xiàn)方向矢量必須消除角度δ對(duì)橢圓參數(shù)的影響，使得瞳孔橢圓的形狀僅受瞳孔的對(duì)準(zhǔn)影響。如果瞳孔中點(diǎn)PMP直接位于相機(jī)系統(tǒng)的光軸上，則總是進(jìn)行這種假定。因此，可以通過(guò)計(jì)算虛擬相機(jī)系統(tǒng)vK的傳感器上的瞳孔投影來(lái)消除角度δ的影響，其中，所述虛擬相機(jī)系統(tǒng)vK的光軸直接通過(guò)先前計(jì)算的瞳孔中點(diǎn)PMP，如圖8c所示?？梢詮脑枷鄼C(jī)系統(tǒng)804a(圖8b中的K)繞其物側(cè)主點(diǎn)H1旋轉(zhuǎn)的參數(shù)來(lái)計(jì)算這種虛擬相機(jī)系統(tǒng)804a’(圖8c中的vK)的位置和對(duì)準(zhǔn)。因此，這同時(shí)對(duì)應(yīng)于虛擬相機(jī)系統(tǒng)804a’的物側(cè)主點(diǎn)vH1。因此，所示對(duì)象的相交光束的方向向量在虛擬光學(xué)系統(tǒng)808c’的前面和后面，與原始相機(jī)系統(tǒng)中的相同。在眼睛跟蹤器坐標(biāo)系中發(fā)生用于確定視線(xiàn)方向向量的所以進(jìn)一步計(jì)算。如下獲得虛擬相機(jī)vK的標(biāo)準(zhǔn)的法向矢量vKn‾=PMP-H1|PMP-H1|---(A8)]]>對(duì)于進(jìn)一步的過(guò)程，需要計(jì)算繞眼睛跟蹤器坐標(biāo)系的x軸(rKθ)、繞y軸以及繞z軸(vKψ)的旋轉(zhuǎn)角度，以獲得向量其中，必須旋轉(zhuǎn)關(guān)于眼睛跟蹤器坐標(biāo)系的若干軸的眼睛跟蹤器坐標(biāo)系的z方向的單位向量。由于眼睛跟蹤器坐標(biāo)系的x方向的單位向量以及y方向的單位向量大約旋轉(zhuǎn)角度vKθ、和vKψ，可以計(jì)算向量vKx和其指示眼睛跟蹤器坐標(biāo)系中的虛擬傳感器的x軸和y軸。為了獲得虛擬相機(jī)系統(tǒng)804a’(圖8c)的位置，必須按照其位于瞳孔中點(diǎn)PMP的相交光束上的方式，通過(guò)利用等式(A9)計(jì)算其位置向量和/或坐標(biāo)原點(diǎn)vK0，其中，坐標(biāo)原點(diǎn)vK0同時(shí)是圖像傳感器的中點(diǎn)。vK0=vH1-(d+b)·vKn→---(A9)]]>為此所需的主點(diǎn)之間的距離d以及主平面2與傳感器平面之間的距離b必須已知或例如通過(guò)實(shí)驗(yàn)裝置來(lái)確定。此外，像側(cè)主點(diǎn)的位置產(chǎn)生于等式(A10)。vH2=vH1-d·vKn→---(A10)]]>為了計(jì)算虛擬傳感器804a’上的瞳孔投影，最初，需要原始位置中的傳感器上的先前確定的橢圓的邊緣點(diǎn)RP3D。這些邊緣點(diǎn)產(chǎn)生于相機(jī)圖像中的橢圓E的邊緣點(diǎn)RP2D，其中與圖8d相對(duì)應(yīng)地，Ea是橢圓的短半軸，Eb是橢圓的長(zhǎng)半軸，和是橢圓的中點(diǎn)坐標(biāo)，Eα是橢圓的旋轉(zhuǎn)角度?？梢詮腅、傳感器S和相機(jī)K的參數(shù)，通過(guò)等式(A11)至(A14)計(jì)算眼睛跟蹤器坐標(biāo)系中的一個(gè)點(diǎn)RP3D的位置，其中，指示根據(jù)圖8d的邊緣點(diǎn)RP2D在橢圓圓周上的位置。x′y′=Ea·cos(ω)Eb·sin(ω)---(A11)]]>RP2D=x′·cos(Eα)+y′·sin(Eα)+Exm-x′·sin(Eα)+y′·cos(Eα)+Eym---(A12)]]>s1t1=(RP2D·12·Sres-Soffset)·SPxGr---(A13)]]>RP3D=K0+s1·Kx→+t1·Ky→---(A14)]]>將瞳孔邊緣點(diǎn)顯示為傳感器上的橢圓邊緣點(diǎn)RP3D的原始相機(jī)系統(tǒng)中的一個(gè)相交光束KS的方向與將同一瞳孔邊緣點(diǎn)顯示為虛擬傳感器上的橢圓邊緣點(diǎn)RP3D的虛擬相機(jī)系統(tǒng)中的相交光束vKS的方向相同。圖8b和圖8c中的橢圓邊緣點(diǎn)的相交光束證明了這方面。因此，兩個(gè)光束KS和vKS具有從等式(A15)產(chǎn)生的相同的方向向量。對(duì)于虛擬傳感器側(cè)相交光束vKS的位置向量vKS0，vKS0＝vH2總是適用的。vKSn→=KSn→=RP3D-H2|RP3D-H2|---(A15)]]>與虛擬相機(jī)vK的x-y平面相對(duì)應(yīng)的虛擬傳感器平面和虛擬相交光束在等式(A16)中換算，其中，通過(guò)求解s2和t2，獲得它們交點(diǎn)的參數(shù)。經(jīng)此，可以通過(guò)等式(A17)計(jì)算虛擬相機(jī)的圖像中的像素坐標(biāo)中的橢圓邊緣點(diǎn)。vKS0+r2·vKSn→=K0+s2·Kx→+t2·Ky→]]>(A16)vRP2D=s2t2·1SPxGr+(12Sres-Soffset)---(A17)]]>之后，從一些虛擬邊緣點(diǎn)vRP2D，可以通過(guò)橢圓擬合來(lái)計(jì)算虛擬橢圓vE的參數(shù)，例如，利用根據(jù)Fitzgibbon等的“直接最小二乘擬合”算法。為此，需要至少六個(gè)虛擬邊緣點(diǎn)vRP2D，其中，可以通過(guò)使用等式(A11)中的若干ω與上述路徑來(lái)計(jì)算所述虛擬邊緣點(diǎn)。這樣確定的虛擬橢圓vE的形狀僅取決于瞳孔的對(duì)準(zhǔn)。此外，虛擬橢圓vE的中點(diǎn)總是在虛擬傳感器的中心，并且與和相機(jī)法線(xiàn)相對(duì)應(yīng)的傳感器法線(xiàn)一起形成沿通過(guò)瞳孔中點(diǎn)PMP的光軸延伸的直線(xiàn)。因此，滿(mǎn)足了其后基于DE102004046617A1的專(zhuān)利說(shuō)明書(shū)中所呈現(xiàn)的方法計(jì)算視線(xiàn)方向的需求。從而，利用該方法，現(xiàn)在也可以通過(guò)使用上述虛擬相機(jī)系統(tǒng)來(lái)確定視線(xiàn)方向，如果瞳孔中點(diǎn)位于實(shí)際相機(jī)系統(tǒng)的光軸的軸之外(在實(shí)際應(yīng)用中幾乎總是這種情況)。如圖8e所示，現(xiàn)在，在虛擬主平面1中接受先前計(jì)算的虛擬橢圓vE。由于vE的中點(diǎn)位于虛擬傳感器的中心，因此在光軸上3D橢圓中點(diǎn)vE‘MP對(duì)應(yīng)于虛擬主點(diǎn)1。同時(shí)，其是虛擬主平面1中的瞳孔中點(diǎn)PMP的丟棄的垂腳(perpendicularfoot)。以下，僅使用橢圓vE的長(zhǎng)短軸比和旋轉(zhuǎn)角度。vE的這些形狀參數(shù)因而可以相對(duì)于主平面1不變地使用，因?yàn)樗鼈儏⒖嫉?D傳感器平面的x軸和y軸的對(duì)準(zhǔn)與3D傳感器平面相對(duì)應(yīng)，并因此還對(duì)應(yīng)于主平面1的對(duì)準(zhǔn)?？梢酝ㄟ^(guò)瞳孔的兩種不同的對(duì)準(zhǔn)來(lái)產(chǎn)生相機(jī)圖像中的瞳孔806a的每個(gè)圖像。因此，在評(píng)估瞳孔形狀期間，如圖8e所示，從每個(gè)相機(jī)的結(jié)果產(chǎn)生視圖的兩個(gè)可能直線(xiàn)與虛擬主平面1的兩個(gè)虛擬交點(diǎn)vS。與圖8e中的幾何比率相對(duì)應(yīng)地，可以如下確定兩個(gè)可能的視線(xiàn)方向和已知瞳孔中點(diǎn)與橢圓中點(diǎn)vE’MP之間的距離A是：A＝|vH1-PMP|(A18)由此，可以利用等式A19確定r。r=a2-b2b·A---(A19)]]>針對(duì)以下等式，類(lèi)似地計(jì)算兩個(gè)方向向量以及其中，從vH1至vS1以及至vS2對(duì)準(zhǔn)所述兩個(gè)方向向量：Mθ=cos(θ)0sin(θ)010-sin(θ)0cos(θ)]]>從vK、vK、vK和vE：之后，可以確定兩個(gè)虛擬交點(diǎn)vS1以及vS2，并且由此，可能的視線(xiàn)方向以及vS1=vH1+r·rn→,1---(A22)]]>vS2=vH1+r·rn→,2]]>(A23)Pn→,1=vS1-PMP|vS1-PMP|---(A24)]]>Pn→,2=vS2-PMP|vS2-PMP|---(A25)]]>為了確定實(shí)際視線(xiàn)方向，需要相機(jī)1和相機(jī)2的可能視線(xiàn)方向。從這四個(gè)向量中，每個(gè)相機(jī)的相應(yīng)的一個(gè)向量指示實(shí)際視線(xiàn)方向，因此，理想地，這兩個(gè)標(biāo)準(zhǔn)的向量相同。為了識(shí)別它們，對(duì)于所有四種可能組合，從一個(gè)相機(jī)的向量并從另一相機(jī)的向量，形成分別選擇的可能視線(xiàn)方向向量的差。具有最小差的組合包含所搜索的向量。通常，這些導(dǎo)致待確定的視線(xiàn)方向向量當(dāng)平均時(shí)，必須假設(shè)幾乎同時(shí)捕獲到圖像，使得兩個(gè)相機(jī)收集到相同的瞳孔位置以及相同的對(duì)準(zhǔn)，并因此，相同的視線(xiàn)方向。作為所計(jì)算的視線(xiàn)方向矢量的準(zhǔn)確性的程度，附加地，可以計(jì)算指示實(shí)際視線(xiàn)方向的兩個(gè)平均矢量和之間的角度Wdiff。Wdiff越小，到目前為止計(jì)算所用的模型參數(shù)和橢圓中點(diǎn)越準(zhǔn)確?？梢岳靡韵碌仁接?jì)算相對(duì)于瞳孔的法線(xiàn)位置的視點(diǎn)θBW和φBW(平行于眼睛跟蹤器坐標(biāo)系的z軸)：以及在應(yīng)當(dāng)考慮視線(xiàn)方向與眼睛的光軸和/或與瞳孔法線(xiàn)的系統(tǒng)偏差的情況下，可以將相應(yīng)角度與所確定的視點(diǎn)θBW和φBW相加。然后，必須通過(guò)以下等式計(jì)算新的視線(xiàn)方向向量：從新視點(diǎn)θBW’和φBW’以及利用視線(xiàn)方向向量(除了來(lái)自等式A6的瞳孔中點(diǎn)PMP之外)，還已知將由3D圖像分析器確定的視線(xiàn)(LoS)的第二參數(shù)。這可以從以下等式推導(dǎo)出。LoS(t)=PMP+t·Pn→.]]>以上介紹的方法的實(shí)施不依賴(lài)于平臺(tái)，從而以上介紹的方法也可以在例如PC的不同硬件平臺(tái)上執(zhí)行。開(kāi)發(fā)用于處理特征提取方法的方法隨后的本實(shí)施例的目的是，在并行霍夫變換的基礎(chǔ)上，開(kāi)發(fā)一種用于特征提取的魯棒方法。為此，修改霍夫核，并且提出一種用于特征提取的方法，該方法減少變換的結(jié)果并將它們劃分成每個(gè)圖像對(duì)應(yīng)若干“特征向量”。之后，用MATLAB工具箱實(shí)施新開(kāi)發(fā)的方法并對(duì)其進(jìn)行測(cè)試。最后，呈現(xiàn)該新方法的FPGA實(shí)現(xiàn)。用于直線(xiàn)和圓的并行霍夫變換并行霍夫變換使用不同大小的霍夫核，所述霍夫核必須通過(guò)用于相應(yīng)應(yīng)用的配置矩陣來(lái)配置。以下呈現(xiàn)用于建立這種配置矩陣的數(shù)學(xué)上下文和方法。MATLABalc_config_lines_curvatures.m表示這些方法，并建立針對(duì)不同大小的半圓和直線(xiàn)的配置矩陣。為了建立配置矩陣，最初需要計(jì)算用于不同霍夫核的離散表現(xiàn)的曲線(xiàn)的陣列。已經(jīng)證明了對(duì)于曲線(xiàn)陣列的要求(建立規(guī)定)。考慮這些建立規(guī)定，特別地，直線(xiàn)和半圓適合于霍夫核的配置。對(duì)于視線(xiàn)方向確定，使用具有用于半圓(或曲線(xiàn))的配置的霍夫核。出于完整性的原因，這里還導(dǎo)出用于直線(xiàn)(或直線(xiàn)段)的配置。示出了確定用于直線(xiàn)的曲線(xiàn)陣列的數(shù)學(xué)上下文。計(jì)算用于直線(xiàn)的曲線(xiàn)陣列的起始點(diǎn)是(B1)中的線(xiàn)性直線(xiàn)方程。y＝m·x+n(B1)可以通過(guò)增幅m的變化產(chǎn)生曲線(xiàn)陣列。為此，將0°至45°的直線(xiàn)增幅劃分成相同大小的區(qū)間。區(qū)間的數(shù)目取決于霍夫核大小，并對(duì)應(yīng)于霍夫核線(xiàn)(Houghcoreline)的數(shù)目?？梢酝ㄟ^(guò)0至coreheigt的控制變量Ycore來(lái)調(diào)節(jié)增幅。m=1coreheigt·ycore---(B2)]]>通過(guò)值為0至核寬的控制變量(在(B3)中用Xcore替換)的變化來(lái)計(jì)算曲線(xiàn)陣列的函數(shù)值。y=1coreheigt·ycore·xcore---(B3)]]>對(duì)于2D圖中的離散表示，必須對(duì)函數(shù)值四舍五入。在(Katzmann2005，p.37-38)上說(shuō)明了用于半圓的曲線(xiàn)陣列的計(jì)算，并且示出在圖9b中。用于計(jì)算曲線(xiàn)陣列的起始點(diǎn)是坐標(biāo)格式的圓方程。r2=(x-xM)2+(y-yM)2---(B4)]]>在XM＝0(圓心在y軸上的位置)、x＝Xcore的情況下，針對(duì)曲線(xiàn)陣列的函數(shù)值變換到y(tǒng)遵循(B5)。y=r2-xcore2+yM---(B5)]]>由于yM和r不是已知的，必須替換掉它們。為此，可以從圖9b導(dǎo)出(B6)和(B7)的數(shù)學(xué)上下文。yM＝h-r(B6)r2=yM2+(corewidth2)2---(B7)]]>通過(guò)將(B7)轉(zhuǎn)換到y(tǒng)M以及條件yM必須總為負(fù)(參見(jiàn)圖9b)來(lái)獲得(B8)。yM=r2-(corewidth2)2·(-1)---(B8)]]>將(B8)用在(B5)中導(dǎo)致(B9)。y=r2-xcore2+r2-(corewidth2)2·(-1)---(B9)]]>從圖9b，變得更清楚的是，霍夫核是樞紐中心的，并位于圓坐標(biāo)系的y軸上。變量Xcore通常是從0到corewidth-1，因此，必須通過(guò)-但是，半徑缺失，其通過(guò)將(B6)用在(B7)中并通過(guò)進(jìn)一步轉(zhuǎn)換而獲得。r2=(h-r)2+(corewidth2)2---(B11)]]>r2=h2-2hr+r2+(corewidth2)2---(B12)]]>r=h2+(corewidth2)22·h---(B13)]]>為了產(chǎn)生曲線(xiàn)陣列，最后，變量h必須從0到變化。這通過(guò)從0到coreheight的控制變量ycore而發(fā)生。r=(ycore2)2+(corewidth2)22·ycore2---(B14)]]>如關(guān)于直線(xiàn)，必須在2D圖中對(duì)離散表現(xiàn)的y值四舍五入。可以通過(guò)等式(B15)容易地確定用于類(lèi)型2的霍夫核的曲線(xiàn)陣列。yTyp_2＝coreheigt-yTyp_1(B15)基于曲線(xiàn)陣列，對(duì)于所有霍夫尺寸，可以分別確定用于直線(xiàn)和圓的兩種配置(類(lèi)型1和類(lèi)型2)。因此，直接從曲線(xiàn)陣列確定配置(參見(jiàn)Katzmann2005，p.35-36)。配置矩陣可以被“零”或“一”占據(jù)。從而，“一”表示霍夫核中所用延遲元件。最初，用零值在霍夫核尺寸上將配置矩陣初始化。之后，進(jìn)行以下步驟：1.以曲線(xiàn)陣列的第一曲線(xiàn)開(kāi)始，并測(cè)試第一x索引數(shù)的y值。如果y值大于零，則在完全相同的位置(相同的x索引)在相同行(相同的y索引)中用其占據(jù)配置矩陣的元素。2.通過(guò)曲線(xiàn)陣列的所有曲線(xiàn)，修改具有相同x索引的y值。如果在第一步驟中元素被其占據(jù)，則減去所有y值中的一個(gè)。如果在第一步驟中元素未被占據(jù)，則什么也不做。3.通過(guò)步驟1和步驟2，只要配置矩陣的所有元素趨近。在圖9c中，逐步展現(xiàn)了配置過(guò)程。最后，回應(yīng)霍夫核配置的一些特殊性。針對(duì)直線(xiàn)的配置總是根據(jù)霍夫核的寬度只表示直線(xiàn)段。二值邊緣圖像中的較長(zhǎng)的直線(xiàn)段可選地從檢測(cè)到的一些直線(xiàn)段組合而成。直線(xiàn)段的角度(或增幅)的分辨率取決于霍夫核的高度。針對(duì)圓的配置總是表示半圓頂點(diǎn)附近的圓弧。僅曲線(xiàn)陣列的最高y索引數(shù)(最小半徑)表示完整的半圓。所開(kāi)發(fā)的配置可以用于新霍夫核?；舴蚝说男薷腍olland-Nell的FPGA實(shí)現(xiàn)的決定性的缺點(diǎn)是霍夫核的剛性配置。延遲線(xiàn)在合成之前必須被參數(shù)化并且之后被牢固地沉積在硬件結(jié)構(gòu)中(Holland-Nell，p.48-49)。在運(yùn)行期間改變(例如，霍夫核尺寸)是不可能的。在這點(diǎn)上，新方法變得更加靈活。新霍夫核還將在運(yùn)行期間，在FPGA中被完全重新配置。這具有若干優(yōu)點(diǎn)。一方面，不必并行提出兩個(gè)霍夫核(類(lèi)型1和類(lèi)型2)，另一方面，還可以使用用于直線(xiàn)和半圓的不同配置。此外，霍夫核大小可以在運(yùn)行期間靈活地改變。先前霍夫核結(jié)構(gòu)包括延遲和旁路，并且在FPGA合成之前，確定要使用哪個(gè)路徑。以下，該結(jié)構(gòu)通過(guò)復(fù)用器、用于配置延遲元件(切換復(fù)用器)的另外的寄存器并通過(guò)流水線(xiàn)延遲而擴(kuò)展?？梢栽谶\(yùn)行期間修改配置寄存器。通過(guò)這種方式，可以將不同配置矩陣帶入霍夫核中。通過(guò)設(shè)置流水線(xiàn)延遲，F(xiàn)PGA中的合成工具在霍夫核設(shè)計(jì)的實(shí)施期間具有更多自由，并且可以實(shí)現(xiàn)更高的時(shí)鐘率。流水線(xiàn)延遲突破了FPGA結(jié)構(gòu)內(nèi)的時(shí)間關(guān)鍵路徑。在圖9d中，展現(xiàn)了延遲元件的新設(shè)計(jì)。與根據(jù)Katzmann和Holland-Nell的先前實(shí)現(xiàn)相比，新霍夫核的延遲元件建立得有點(diǎn)更復(fù)雜。關(guān)于延遲元件的靈活配置，需要附加寄存器，并且復(fù)用器占用進(jìn)一步的邏輯資源(必須以L(fǎng)UT形式實(shí)施在FPGA中)。流水線(xiàn)延遲是可選的。除延遲元件的修改外，還實(shí)施對(duì)霍夫核的設(shè)計(jì)的修改。在圖9e中展現(xiàn)了新霍夫核。與先前霍夫核相比，首先，將實(shí)施新的表示法。由于圖9e中旋轉(zhuǎn)大約90°的設(shè)計(jì)，原先稱(chēng)為初始直方圖的信號(hào)的“行量”現(xiàn)在被稱(chēng)為“列量”。因此，霍夫核的每一列表示曲線(xiàn)陣列的曲線(xiàn)。此外，新霍夫核可以在運(yùn)行期間被新配置矩陣沖擊。配置矩陣歸檔在FPGA內(nèi)部BRAM中，并由配置邏輯加載。這按逐列的位串將配置加載到鏈?zhǔn)脚渲眉拇嫫髦?參見(jiàn)圖9d)?；舴蚝说闹匦屡渲眯枰囟〞r(shí)間段，并取決于列的長(zhǎng)度(或延遲線(xiàn)的量)。因此，每個(gè)列元素需要時(shí)鐘周期以及通過(guò)BRAM的一些航向周期(tackcycle)的延遲，并且添加配置邏輯。雖然關(guān)于重新配置的整體延遲是不利的，但是對(duì)于基于視頻的圖像處理，其是可以接受的。通常，利用CMOS傳感器記錄的視頻數(shù)據(jù)流具有水平消隱和垂直消隱。因此，重新配置可以在水平消隱時(shí)間中沒(méi)有問(wèn)題地發(fā)生。在FPGA中實(shí)現(xiàn)的霍夫核結(jié)構(gòu)的尺寸還預(yù)先確定霍夫核配置的最大可能尺寸。如果使用較小的配置，則這些配置在霍夫核結(jié)構(gòu)的列1，在水平方向上垂直居中對(duì)準(zhǔn)(參見(jiàn)圖9f)。霍夫核結(jié)構(gòu)的未使用元件全部被延遲占用。對(duì)于x坐標(biāo)的校正，較小配置的正確對(duì)準(zhǔn)很重要(參見(jiàn)公式(B17)至(B19))。如之前向霍夫核饋送通過(guò)所配置的延遲線(xiàn)的二值邊緣圖像。利用每個(gè)處理步驟，經(jīng)由整個(gè)霍夫核計(jì)算列量，并且分別將列量與先前列的量信號(hào)進(jìn)行比較。如果列提供了較高的總值，則原始列的總值被重寫(xiě)。作為初始信號(hào)，新霍夫核提供列總值以及相關(guān)聯(lián)的列號(hào)。稍后，基于這些值，可以進(jìn)行以下聲明：找到結(jié)構(gòu)(由列號(hào)表示)并檢測(cè)到出現(xiàn)概率(由總值表示)?；舴蚝说某跏夹盘?hào)還可以被稱(chēng)為霍夫空間或累加器空間。與通常的霍夫變換相比，霍夫空間可用于圖像坐標(biāo)系中的并行霍夫變換。這意味著，對(duì)于每個(gè)圖像坐標(biāo)，輸出與列號(hào)相關(guān)聯(lián)的總值。對(duì)于眼睛圖像的完整變換，必須分別通過(guò)非旋轉(zhuǎn)圖像和旋轉(zhuǎn)圖像的類(lèi)型1和類(lèi)型2的一個(gè)霍夫核。因此，在變換后，不僅與列號(hào)相關(guān)聯(lián)的列量而且霍夫核類(lèi)型和初始圖像(非旋轉(zhuǎn)或旋轉(zhuǎn))的對(duì)準(zhǔn)都是可用的。此外，對(duì)于直線(xiàn)和半圓，可以分別使用不同的霍夫核大小和配置。因而，除提到的結(jié)果外，還可以指示曲線(xiàn)類(lèi)型和霍夫核大小?？偟膩?lái)說(shuō)，下表中示出了新霍夫核大小的結(jié)果數(shù)據(jù)集。關(guān)于并行霍夫變換，對(duì)于每個(gè)圖像點(diǎn)，產(chǎn)生這樣的數(shù)據(jù)集。利用修改的霍夫核結(jié)構(gòu)進(jìn)行并行霍夫變換，對(duì)于初始圖像的每個(gè)視點(diǎn)，產(chǎn)生對(duì)結(jié)果數(shù)據(jù)集的概述。與Katzmann和Holland-Nell的霍夫核的二值的且基于閾值的輸出相比，該新霍夫核結(jié)構(gòu)產(chǎn)生了顯著更多的初始數(shù)據(jù)。由于這種數(shù)據(jù)量難以處理，呈現(xiàn)一種用于特征提取的方法，其顯著減少了結(jié)果數(shù)據(jù)量。類(lèi)型2霍夫核以及圖像旋轉(zhuǎn)對(duì)于關(guān)于并行霍夫變換的實(shí)施例，已經(jīng)介紹了圖像旋轉(zhuǎn)的必要性和類(lèi)型2霍夫核的特殊性。關(guān)于并行霍夫變換，初始圖像必須通過(guò)霍夫核四次。這是必要的，從而能夠在不同角度位置檢測(cè)直線(xiàn)和半圓。如果僅使用類(lèi)型1霍夫核，則將必須在初始位置處理圖像，并將圖像旋轉(zhuǎn)大約90°、180°和270°。通過(guò)包括類(lèi)型2霍夫核，省略大約180°和270°的旋轉(zhuǎn)。如果利用類(lèi)型2霍夫核處理非旋轉(zhuǎn)初始圖像，則這對(duì)應(yīng)于利用類(lèi)型1霍夫核處理大約180°旋轉(zhuǎn)的初始圖像。與旋轉(zhuǎn)大約270°類(lèi)似。這可以被以下處理替換：利用類(lèi)型2霍夫核處理大約90°旋轉(zhuǎn)的圖像。對(duì)于FPGA實(shí)現(xiàn)，附加旋轉(zhuǎn)的省略具有積極效果，因?yàn)閳D像旋轉(zhuǎn)通常僅借助外部存儲(chǔ)器來(lái)解決。根據(jù)所應(yīng)用的硬件，只有特定帶寬(最大可能數(shù)據(jù)率)在FPGA和存儲(chǔ)組件之間是可用的。關(guān)于類(lèi)型2霍夫核的使用，外部存儲(chǔ)組件的帶寬僅被大約90°的旋轉(zhuǎn)占用。關(guān)于Holland-Nell的先前實(shí)現(xiàn)，需要在FPGA中實(shí)施類(lèi)型1的霍夫核和類(lèi)型2的霍夫核。利用修改的霍夫核設(shè)計(jì)，現(xiàn)在還可以將霍夫核結(jié)構(gòu)在FPGA中實(shí)施一次，并且上傳類(lèi)型1或類(lèi)型2的配置。由于這種新功能，僅利用一個(gè)霍夫核并且僅利用一次圖像旋轉(zhuǎn)，可以將初始圖像進(jìn)行完全變換。仍然要考慮的是，在僅利用一個(gè)霍夫核的處理期間，在霍夫核中還發(fā)生四倍的數(shù)據(jù)率。關(guān)于具有60fps和VGA分辨率的視頻數(shù)據(jù)流，像素?cái)?shù)據(jù)率共達(dá)24MHz。在這種情況下，霍夫核將必須以96MHz進(jìn)行操作，這對(duì)于Spartan三代的FPGA已經(jīng)構(gòu)成了高時(shí)鐘率。為了優(yōu)化設(shè)計(jì)，應(yīng)當(dāng)在霍夫核結(jié)構(gòu)內(nèi)利用流水線(xiàn)延遲增強(qiáng)操作。特征提取特征提取代表先前表格中的數(shù)據(jù)集進(jìn)行工作。這些數(shù)據(jù)集可以概括在特征矢量中(B16)。以下，可以將特征矢量稱(chēng)為霍夫特征。MV＝[MVX，MVY，MV0，MVKS，MVH，MVG-1，MVA](B16)特征矢量分別包括檢測(cè)到的特征的各自x坐標(biāo)和y坐標(biāo)(MVx和MVy)、方位MV0、曲線(xiàn)強(qiáng)度MVKS、頻率MVH、霍夫核尺寸MVG-1和檢測(cè)到的結(jié)構(gòu)的類(lèi)別MVA?？梢詮囊韵卤砀瘾@得特征矢量的各元素的詳細(xì)含義和值范圍。霍夫特征向量的元素及其含義和值范圍。方位的計(jì)算取決于圖像旋轉(zhuǎn)和變換所用的霍夫核類(lèi)型。從上述表，變得顯然的是，關(guān)于直線(xiàn)和半圓的兩個(gè)元素MV0和MVKS具有不同含義。關(guān)于直線(xiàn)，方位和曲線(xiàn)強(qiáng)度的組合形成了所檢測(cè)到的直線(xiàn)段在0°到180°的角度中的位置角度。從而，方位表明角度區(qū)域，曲線(xiàn)強(qiáng)度表示該范圍內(nèi)的具體角度?；舴蚝嗽酱?更確切地，霍夫核列可用的越多)，角度分辨率越精細(xì)。關(guān)于半圓，方位表示半圓的位置角度或?qū)?zhǔn)。原則上，可以?xún)H在四個(gè)排列中檢測(cè)半圓。關(guān)于半圓配置，曲線(xiàn)強(qiáng)度表示半徑。除方位MV0和曲線(xiàn)強(qiáng)度MVKS外，關(guān)于坐標(biāo)(MVx和MVy)應(yīng)考慮進(jìn)一步的特殊特征(參見(jiàn)圖9g)。關(guān)于直線(xiàn)，該坐標(biāo)總是表示中點(diǎn)，關(guān)于半圓或曲線(xiàn)，該坐標(biāo)總是表示頂點(diǎn)。利用該假定，y坐標(biāo)可以與所實(shí)現(xiàn)的霍夫核結(jié)構(gòu)相對(duì)應(yīng)地校正，并且不依賴(lài)于變換所用的配置的大小(參見(jiàn)圖9f)。與局部濾波器類(lèi)似，y坐標(biāo)被垂直居中地表示。對(duì)于x坐標(biāo)，建立通過(guò)霍夫核列的上下文，已提供了命中(在特征向量中，用標(biāo)號(hào)MVKS存儲(chǔ)霍夫核列)。根據(jù)霍夫核類(lèi)型和圖像旋轉(zhuǎn)，還可以指示用于三種不同情況的計(jì)算規(guī)定。對(duì)于類(lèi)型1的霍夫核，分別參考用于非旋轉(zhuǎn)初始圖像和旋轉(zhuǎn)初始圖像的公式(B17)。如果類(lèi)型2的霍夫核可用，則必須根據(jù)圖像旋轉(zhuǎn)來(lái)參考公式(B18)或公式(B19)。MVxcorrected=MVxdetected+floor((MVKS+1)2)---(B17)]]>MVxcorrected=imagewidthnon-rotated-(MVxdetected+floor((MVKS+1)2))---(B18)]]>MVxcorrected=imagewidthrotated-(MVxdetected+floor((MVKS+1)2))---(B19)]]>利用指令“向下取整(floor)”，對(duì)分?jǐn)?shù)有理數(shù)進(jìn)行向下舍入。在FPGA中，這對(duì)應(yīng)于二進(jìn)制小數(shù)的簡(jiǎn)單切割。在已經(jīng)確定方位并且已經(jīng)校正霍夫特征的坐標(biāo)之后，可以進(jìn)行實(shí)際特征提取。對(duì)于特征提取，使用三個(gè)閾值并結(jié)合非最大值抑制運(yùn)算符。非最大值抑制運(yùn)算符對(duì)于直線(xiàn)和半圓是不同的。通過(guò)閾值，給定最小曲線(xiàn)強(qiáng)度和最大曲線(xiàn)強(qiáng)度并且確定最小頻率非最大值抑制運(yùn)算符可以看做大小為3×3的局部運(yùn)算符(參見(jiàn)圖9h)。如果恰好滿(mǎn)足(B23)中的非最大值抑制運(yùn)算符(nms-運(yùn)算符)的條件并且超過(guò)根據(jù)公式(B20)至(B22)的閾值，則總是產(chǎn)生針對(duì)半圓(或曲線(xiàn))的有效特征。MVnms2,2KS≥MVKSmin---(B20)]]>MVnms2,2KS≥MVKSmax---(B21)]]>MVnms2,2H≥MVHmin---(B22)]]>由于非最大值抑制，抑制了在特征向量的頻率空間中不構(gòu)成局部極大值的霍夫特征。以這種方式，抑制了對(duì)所搜索結(jié)構(gòu)沒(méi)有貢獻(xiàn)且與后處理無(wú)關(guān)的霍夫特征。僅通過(guò)可以預(yù)先有效調(diào)節(jié)的三個(gè)閾值，將特征提取參數(shù)化?？梢詮南卤淼贸鰧?duì)閾值的詳細(xì)說(shuō)明。詳細(xì)描述用于從霍夫空間提取霍夫特征的三個(gè)閾值。與根據(jù)Katzmann的方法相比，以相似功能來(lái)指示參數(shù)。關(guān)于直線(xiàn)，可以同樣地推導(dǎo)出大小為3×3(參見(jiàn)圖9h)的非最大值抑制運(yùn)算符。從而，應(yīng)當(dāng)考慮一些特殊性。與曲線(xiàn)不同，不根據(jù)沿二值邊緣發(fā)展的數(shù)個(gè)最大值的連續(xù)發(fā)生而檢測(cè)關(guān)于直線(xiàn)段的所搜索結(jié)構(gòu)。因此，非最大值抑制可以基于Canny邊緣檢測(cè)算法中的方法。根據(jù)霍夫核類(lèi)型以及檢測(cè)到的角度區(qū)域，可以區(qū)分三種情況(參見(jiàn)圖9i并結(jié)合上表)。由于對(duì)旋轉(zhuǎn)坐標(biāo)的再變換僅發(fā)生在非最大值抑制之后，對(duì)于旋轉(zhuǎn)的以及非旋轉(zhuǎn)的初始圖像，所述情況區(qū)分都是有效的。應(yīng)當(dāng)使用哪種nms-運(yùn)算符分別取決于霍夫核類(lèi)型以及角度區(qū)域。由具有直線(xiàn)配置的霍夫核提供的角度區(qū)域通過(guò)角度區(qū)域平分來(lái)劃分。可以將角度區(qū)域平分指示為霍夫核列(小數(shù)點(diǎn)折射)通過(guò)公式(B24)描述依據(jù)霍夫核大小的數(shù)學(xué)上下文。在霍夫特征所位于的角度區(qū)域中，參考具有所傳送的命中(MVKS)的霍夫核列，其可以直接與角度區(qū)域平分的霍夫核列進(jìn)行比較。MVKShalf=tan(452)·π180·Houghcoresize---(B24)]]>如果已選擇了運(yùn)算符，則與用于曲線(xiàn)的非最大值抑制相似，可以請(qǐng)求關(guān)于相應(yīng)nms-運(yùn)算符的條件(公式(B25)至(B27))。如果滿(mǎn)足所有條件并且如果附加地超過(guò)根據(jù)公式(B20)至(B22)的閾值，則可以假定在位置nms2，2處的霍夫特征。對(duì)一個(gè)nms-運(yùn)算符的確定取決于發(fā)生命中的角度區(qū)域和霍夫核類(lèi)型。特征提取的完成形成所旋轉(zhuǎn)霍夫特征的再旋轉(zhuǎn)以及x和y坐標(biāo)。對(duì)于后處理，應(yīng)當(dāng)再次將這些用于圖像坐標(biāo)系。如果處理了旋轉(zhuǎn)的初始圖像，則不管曲線(xiàn)類(lèi)型如何(不管是直線(xiàn)還是曲線(xiàn))，總是執(zhí)行再變換。在公式(B28)和(B29)中，描述數(shù)學(xué)上下文。非旋轉(zhuǎn)初始圖像的寬度是指圖像寬度。MVy=MVxrot---(B28)]]>MVx=imagewidth-MVyrot---(B29)]]>通過(guò)利用特征提取，可以將并行霍夫變換的結(jié)果數(shù)據(jù)減少到若干點(diǎn)。然后，這些可以作為特征向量傳送到后處理。上述實(shí)施例僅構(gòu)成對(duì)本發(fā)明的原理的說(shuō)明。應(yīng)當(dāng)理解的是：本文所述的布置和細(xì)節(jié)的修改和變形對(duì)于本領(lǐng)域其他技術(shù)人員將是顯而易見(jiàn)的。因此，旨在僅由所附專(zhuān)利權(quán)利要求的保護(hù)范圍而不由本文中通過(guò)描述和解釋實(shí)施例的方式所給出的具體細(xì)節(jié)來(lái)限制本發(fā)明。當(dāng)前第1頁(yè)1 2 3