專利名稱：圖像速度計(jì)算裝置和圖像速度計(jì)算方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及一種圖像速度計(jì)算裝置，更具體地說(shuō)，本發(fā)明涉及一種用于計(jì)算拍攝圖像的速度的圖像速度計(jì)算裝置和圖像速度計(jì)算方法。
背景技術(shù)：
日本特開平11 -160335號(hào)公報(bào)描述了一種傳統(tǒng)圖像速度計(jì)算裝置。該公報(bào)中記載了為了計(jì)算圖像速度，計(jì)算目標(biāo)對(duì)象的光流(optical flow)(即，表示圖像移動(dòng)的矢量)。根據(jù)所算出的光流的方向和大小，計(jì)算圖像速度。
為了計(jì)算光流，對(duì)車載照相機(jī)產(chǎn)生的圖像應(yīng)用梯度計(jì)算方法。梯度計(jì)算方法假定通過(guò)求解基于離散采樣的圖像的聯(lián)立約束方程可以計(jì)算光流。該方法還假定保留目標(biāo)對(duì)象的灰度值。然而，在目標(biāo)對(duì)象快速移動(dòng)時(shí)，該目標(biāo)對(duì)象的灰度值分布顯著波動(dòng)。因此，當(dāng)目標(biāo)對(duì)象快速移動(dòng)時(shí)，難以精確計(jì)算圖像速度。因此，需要一種即使當(dāng)圖像速度計(jì)算目標(biāo)高速移動(dòng)時(shí)，仍可以精確計(jì)算圖像速度的改進(jìn)型圖像速度計(jì)算裝置。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，提供一種圖像速度計(jì)算裝置，該圖像速度計(jì)算裝置包括照相機(jī)；以及耦合到所述照相機(jī)的微型計(jì)算機(jī)，所述微型計(jì)算機(jī)被配置成基于由所述照相機(jī)拍攝的多個(gè)圖像確定圖像流，基于所確定的圖像流確定曝光時(shí)間，以及基于所確定的曝光時(shí)間計(jì)算圖像速度。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種圖像速度計(jì)算裝置，該圖像速度計(jì)算裝置包括照相機(jī)，其具有可控制的曝光時(shí)間并且能夠拍攝多個(gè)對(duì)象圖像；耦合到所述照相機(jī)的微型計(jì)算機(jī)，所述微型計(jì)算機(jī)被配置成確定由所述照相機(jī)拍攝的圖像中出現(xiàn)的至少一個(gè)像素的對(duì)象圖像流，確定曝光時(shí)間以獲得預(yù)定圖像流，以及基于所述照相機(jī)的曝光時(shí)間計(jì)算圖像速度；以及照相機(jī)控制器，其耦合到所述微型計(jì)算機(jī)和所述照相機(jī)，所述照相機(jī)控制器被配置成接收來(lái)自所述微型計(jì)算機(jī)的曝光時(shí)間信息并控制所述照相機(jī)的曝光時(shí)間。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種圖像速度計(jì)算裝置，該圖像速度計(jì)算裝置包括拍攝單元，用于拍攝多個(gè)對(duì)象圖像；圖像流確定單元，用于在所述拍攝單元的曝光期間當(dāng)所述對(duì)象移動(dòng)時(shí)確定在所述拍攝單元拍攝的所述多個(gè)圖像中所述對(duì)象的圖像流等于或大于一個(gè)像素；以及圖像速度計(jì)算單元，用于當(dāng)所述1像素移動(dòng)確定單元確定所述圖像流是1像素流時(shí)基于所述拍攝單元的曝光時(shí)間計(jì)算圖像速度。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種用于確定對(duì)象速度的方法，其包括利用照相機(jī)拍攝多個(gè)對(duì)象圖像；確定所述對(duì)象在所述圖像中是否移動(dòng)了多于預(yù)定數(shù)目的像素；改變所述照相機(jī)的快門速度直到確定所述對(duì)象在每個(gè)圖像中移動(dòng)不超過(guò)所述預(yù)定數(shù)目的像素；以及基于所述照相機(jī)的快門速度計(jì)算對(duì)象速度。


當(dāng)結(jié)合附圖進(jìn)行研究時(shí)，本發(fā)明的目的、特征和附帶優(yōu)點(diǎn)的各種例子，將更容易理解，在全部附圖中，同樣的附圖標(biāo)記表示相同或者類似的部分，其中圖1是示出根據(jù)本發(fā)明的各方面制造的典型圖像速度計(jì)算裝置系統(tǒng)的配置的框圖；
圖2是示出根據(jù)本發(fā)明第一實(shí)施例進(jìn)行精確圖像速度計(jì)算的一組步驟的流程圖；圖3的(a)至(f)是用于圖解說(shuō)明如何利用頻率分析來(lái)計(jì)算精確圖像速度的例子的一系列圖；圖4是示出利用圖3的(a)至(f)所示的計(jì)算方法進(jìn)行精確圖像速度計(jì)算的一組步驟的流程圖；圖5的(a)至(f)是用于圖解說(shuō)明如何利用邊緣分析進(jìn)行精確圖像速度計(jì)算的例子的一系列圖；圖6的(a)示出利用安裝在車輛前部的照相機(jī)拍攝的車輛前面的圖像；圖6的(b)示出圖6的(a)所示的拍攝圖像的圖像速度分布；圖7是示出當(dāng)照相機(jī)或者其它拍攝裝置安裝在移動(dòng)體上時(shí)，可以獲得精確圖像速度計(jì)算的一組步驟的流程圖；圖8的(a)是示出在指定的時(shí)刻T0后，在間隔為T的時(shí)刻T0-T4，目標(biāo)相對(duì)于照相機(jī)的移動(dòng)的示意圖；圖8的(b)至(e)示出照相機(jī)以不同的曝光時(shí)間曝光的一幀內(nèi)捕獲的四個(gè)拍攝圖像；以及圖9示出利用能夠以如圖8所示的多個(gè)不同曝光時(shí)間捕獲圖像的照相機(jī)進(jìn)行精確圖像速度計(jì)算的一組步驟。
具體實(shí)施例方式
盡管本發(fā)明能夠以各種形式的實(shí)施例來(lái)實(shí)現(xiàn)，但是在附圖中示出并在下文中描述了優(yōu)選實(shí)施例，同時(shí)應(yīng)該理解，本公開應(yīng)當(dāng)看作是本發(fā)明的例子，而不是意圖將本發(fā)明局限于所說(shuō)明的特定實(shí)施例。還應(yīng)該理解，本說(shuō)明書的本節(jié)的標(biāo)題，即，“具體實(shí)施方式
”涉及中國(guó)專利局的要求，而不是暗示也不應(yīng)該推斷為限制所說(shuō)明的主題。
在本公開中，單詞“a”或“an”被認(rèn)為包括單個(gè)和多個(gè)二者。反之，提到多個(gè)時(shí)，根據(jù)需要也包括單個(gè)。
圖1是示出根據(jù)本發(fā)明的各方面制造的圖像速度計(jì)算裝置的典型實(shí)施例的配置的框圖。概括地說(shuō)，該圖像速度計(jì)算裝置包括拍攝裝置、圖像存儲(chǔ)器、圖像流確定裝置、曝光時(shí)間改變裝置、圖像速度計(jì)算裝置。該圖像速度計(jì)算裝置還可以包括例如1個(gè)像素移動(dòng)確定裝置等像素移動(dòng)確定裝置、1個(gè)像素移動(dòng)改變裝置以及監(jiān)視器5。
拍攝裝置可以例如是高速照相機(jī)1?？梢詫D像流確定裝置、曝光時(shí)間改變裝置、圖像速度計(jì)算裝置以及1個(gè)像素移動(dòng)確定裝置包含在例如存儲(chǔ)器2和微型計(jì)算機(jī)3中?？梢杂衫缯障鄼C(jī)控制部分4來(lái)構(gòu)成1個(gè)像素移動(dòng)改變裝置。
照相機(jī)1用來(lái)捕獲拍攝圖像。圖像存儲(chǔ)器2將照相機(jī)1捕獲的圖像的亮度級(jí)轉(zhuǎn)換為數(shù)字值并保存該數(shù)字值。微型計(jì)算機(jī)3對(duì)保存在圖像存儲(chǔ)器2中的圖像進(jìn)行處理，以計(jì)算移動(dòng)區(qū)的圖像速度。圖像速度是移動(dòng)區(qū)的單位時(shí)間的移動(dòng)量，該移動(dòng)區(qū)是對(duì)應(yīng)于在圖像上移動(dòng)的目標(biāo)的區(qū)域。
當(dāng)計(jì)算圖像速度時(shí)，微型計(jì)算機(jī)3還計(jì)算要被設(shè)置的照相機(jī)1的快門速度，然后，將該快門速度發(fā)送到照相機(jī)控制部分4。照相機(jī)控制部分4控制照相機(jī)1的快門速度以獲得微型計(jì)算機(jī)3指示的快門速度。此時(shí)，根據(jù)照相機(jī)1的電子快門或者機(jī)械快門的速度確定了曝光時(shí)間的長(zhǎng)度。
照相機(jī)的曝光時(shí)間與快門速度成反比。具體來(lái)說(shuō)，曝光時(shí)間增加時(shí)，快門速度降低。反之，曝光時(shí)間減少時(shí)，快門速度升高。監(jiān)視器5用于顯示存儲(chǔ)在圖像存儲(chǔ)器2中的圖像和圖像速度信息。
圖2是示出根據(jù)本發(fā)明第一實(shí)施例進(jìn)行精確圖像速度計(jì)算的一組步驟的流程圖。首先，在S101，拍攝裝置獲得拍攝圖像，在圖1所示的實(shí)施例中，拍攝裝置是高速照相機(jī)1。接著，在S102，當(dāng)拍攝圖像中出現(xiàn)圖像流時(shí)，提取圖像流區(qū)。
在本發(fā)明的本實(shí)施例中，一個(gè)像素指構(gòu)成一個(gè)圖像的最小單位。圖像流是指例如在照相機(jī)1曝光期間，拍攝目標(biāo)對(duì)象移動(dòng)了一個(gè)或者多個(gè)像素時(shí)出現(xiàn)的所謂的圖像的流動(dòng)。例如，行人在車輛前面跑動(dòng)的情況下，或者從行駛的車輛連續(xù)捕獲前面的圖像時(shí)的情況下，圖像中的對(duì)象可能從中心流向外圍。
在S103，測(cè)量圖像流區(qū)的曝光時(shí)間。接著，在S104，確定圖像流區(qū)的曝光時(shí)間的長(zhǎng)度。如果曝光時(shí)間長(zhǎng)，則執(zhí)行S105的處理，如果曝光時(shí)間不太長(zhǎng)，則執(zhí)行S106的處理。如果曝光時(shí)間太長(zhǎng)，則在S105將照相機(jī)1的曝光時(shí)間減小指定值，然后，返回S101。如果曝光時(shí)間不太長(zhǎng)，則在S106計(jì)算當(dāng)前曝光時(shí)間的倒數(shù)，以計(jì)算圖像流區(qū)的速度，然后，返回S101。
如上所述，因?yàn)楫?dāng)拍攝圖像中出現(xiàn)圖像流時(shí)提取圖像流區(qū)，所以改變照相機(jī)1的曝光時(shí)間對(duì)多個(gè)捕獲的拍攝圖像進(jìn)行處理。當(dāng)出現(xiàn)圖像流時(shí)，縮短曝光時(shí)間，并根據(jù)縮短后的曝光時(shí)間計(jì)算目標(biāo)的圖像速度。這樣，即使當(dāng)目標(biāo)在屏幕上高速移動(dòng)時(shí)，也可以計(jì)算該目標(biāo)的圖像速度。
圖3的(a)至(f)包括用于圖解說(shuō)明如何利用頻率分析來(lái)計(jì)算精確的圖像速度的例子的一系列圖。圖3的(a)示出拍攝圖像。位置31表示觀測(cè)區(qū)，而位置32表示圖像中的對(duì)象。圖3的(b)示出利用照相機(jī)1捕獲一幀圖像的拍攝周期。幀是對(duì)應(yīng)于照相機(jī)1捕獲的一個(gè)圖像的單位。圖3的(c)示出照相機(jī)1的曝光時(shí)間。圖3的(d)示出拍攝圖像#1至#5。圖3的(e)示出對(duì)應(yīng)于拍攝圖像#1至#5的頻率分析#1至#5。圖3的(f)分別示出在頻率分析#1至#5中得到的高頻成分。
如果曝光時(shí)間長(zhǎng)，則在打開快門曝光時(shí)，高速移動(dòng)的對(duì)象最終流動(dòng)一個(gè)像素以上。因此在如圖3的(d)中的拍攝圖像#1至#3所示的拍攝圖像上最終出現(xiàn)圖像流。然而，當(dāng)曝光時(shí)間縮短時(shí)，在打開快門曝光期間，目標(biāo)不再移動(dòng)一個(gè)像素以上。因此，可以捕獲如圖3的(d)中的拍攝圖像#4和#5所示的沒有圖像流的圖像。
當(dāng)以圖3的(e)所示的方式對(duì)拍攝圖像#1至#5進(jìn)行頻率分析時(shí)，當(dāng)拍攝圖像上存在顯著圖像流時(shí)產(chǎn)生較少的高頻成分。反之，當(dāng)拍攝圖像上存在較小的圖像流時(shí)，產(chǎn)生較多的高頻成分。
如圖3的(f)所示，當(dāng)圖像中不存在圖像流時(shí)，高頻成分達(dá)到最大，而且穩(wěn)定下來(lái)(不再發(fā)生變化)。因此，通過(guò)以迭代處理縮短曝光時(shí)間可以找到不再出現(xiàn)圖像流的點(diǎn)。在高頻成分與前一迭代中產(chǎn)生的高頻成分相同的曝光時(shí)間停止迭代處理。在該點(diǎn)，曝光時(shí)間等于對(duì)象移動(dòng)一個(gè)像素所需的時(shí)間。即，曝光時(shí)間的倒數(shù)成為目標(biāo)的圖像速度。
圖4是示出利用圖3的(a)至(f)所示及以上所述的計(jì)算方法進(jìn)行精確圖像速度計(jì)算的一組步驟的流程圖。首先，在S201，獲取照相機(jī)1(如圖1所示)或者其它拍攝裝置的拍攝圖像。接著，在S202，在拍攝圖像中選擇觀測(cè)區(qū)(參見圖3中的31)，當(dāng)出現(xiàn)圖像流時(shí)，提取圖像流區(qū)。接著，在S203，利用例如快速傅立葉變換(Fast Fourier transform，F(xiàn)FT)技術(shù)對(duì)所提取的圖像流區(qū)進(jìn)行頻率分析，以觀測(cè)高頻成分的變化。
在S204，判斷高頻成分是否發(fā)生了變化。為此，將給定曝光時(shí)間的拍攝圖像中的圖像流區(qū)的高頻成分與使用縮短后的曝光時(shí)間的拍攝圖像中的圖像流區(qū)的高頻成分進(jìn)行比較。如果變化量等于或者小于指定值，則執(zhí)行S205的處理。如果變化量大于指定值，則執(zhí)行S206的處理。如果變化量等于或者小于指定值，則在S205計(jì)算當(dāng)前曝光時(shí)間的倒數(shù)以計(jì)算高速移動(dòng)區(qū)的速度，然后進(jìn)入S207。相反，如果變化量大于指定值，則在S206將照相機(jī)1的曝光時(shí)間縮短指定值，然后返回到S201。最后，在S207，在監(jiān)視器5上顯示在S205計(jì)算出的圖像速度的適當(dāng)監(jiān)視指示，然后返回到S201。
如上所述，因?yàn)榇_定了拍攝圖像上的圖像流，所以通過(guò)快速改變照相機(jī)1的曝光時(shí)間處理多個(gè)拍攝圖像，以提取沒有圖像流的拍攝圖像。然后，根據(jù)所用的曝光時(shí)間計(jì)算目標(biāo)的圖像速度，即使目標(biāo)高速移動(dòng)時(shí)，也可以精確計(jì)算目標(biāo)的圖像速度。
圖5的(a)至(f)是圖解說(shuō)明如何進(jìn)行精確圖像速度計(jì)算的例子的一系列圖。圖5的(a)至(f)所示的圖像速度計(jì)算與圖3的(a)至(e)所示的圖像速度計(jì)算不同。然而，圖5的(a)至(f)中的圖與圖3的(a)至(e)中的圖類似，因此省略對(duì)重復(fù)部分的解釋。
圖5的(a)示出拍攝圖像。圖5的(b)示出利用照相機(jī)1或者其它拍攝裝置捕獲一幀拍攝圖像的拍攝周期。幀是對(duì)應(yīng)于照相機(jī)1所捕獲的一個(gè)圖像的單位。圖5的(c)示出各種曝光時(shí)間。圖5的(d)示出拍攝圖像#1至#5。圖5的(e)示出分別對(duì)應(yīng)于圖5的(d)中拍攝圖像#1至#5的邊緣圖像#1至#5。圖5的(f)示出圖5的(e)中邊緣圖像#1至#5的邊緣強(qiáng)度。
與圖3的(a)至(e)類似，當(dāng)曝光時(shí)間長(zhǎng)時(shí)，在打開快門曝光期間高速移動(dòng)的對(duì)象最終移動(dòng)一個(gè)像素以上。因此，在如圖5的(d)中的拍攝圖像#1至#3所示的所捕獲的拍攝圖像中出現(xiàn)圖像流。然而，當(dāng)曝光時(shí)間縮短時(shí)，在打開快門曝光期間目標(biāo)不再移動(dòng)一個(gè)像素以上。這樣，可以捕獲如圖5的(d)中的拍攝圖像#4和#5所示的沒有圖像流的圖像。
觀測(cè)拍攝圖像#1至#5的邊緣強(qiáng)度發(fā)現(xiàn)，圖像流越大邊緣強(qiáng)度越弱。反之，圖像流越小邊緣強(qiáng)度越大。
當(dāng)如圖5的(f)所示沒有圖像流時(shí)，邊緣強(qiáng)度達(dá)到最大并穩(wěn)定下來(lái)。
通過(guò)將曝光時(shí)間連續(xù)縮短到提取的邊緣強(qiáng)度不再變化時(shí)的曝光時(shí)間，可以找到不再出現(xiàn)圖像流的點(diǎn)。在該點(diǎn)，曝光時(shí)間是目標(biāo)移動(dòng)一個(gè)像素所需的時(shí)間。即，曝光時(shí)間的倒數(shù)成為目標(biāo)的圖像速度。這樣，即使目標(biāo)在屏幕上高速移動(dòng)時(shí)，通過(guò)計(jì)算曝光時(shí)間的倒數(shù)，也可以計(jì)算目標(biāo)的圖像速度。
在本發(fā)明的范圍內(nèi)，例如可以將照相機(jī)1或者其它拍攝裝置(或者整個(gè)圖像速度計(jì)算裝置)安裝在例如汽車等移動(dòng)體上。根據(jù)本發(fā)明的該方面，將照相機(jī)1安裝在例如車輛的前部，以捕獲車輛前面的圖像。監(jiān)視器5安裝在車輛內(nèi)，以顯示圖像存儲(chǔ)器2保存的圖像，同時(shí)疊加微型計(jì)算機(jī)3計(jì)算出的圖像速度信息。利用照相機(jī)控制部分4改變照相機(jī)1的曝光時(shí)間，微型計(jì)算機(jī)3計(jì)算圖像速度。
圖6的(a)示出利用安裝在車輛前部的照相機(jī)1拍攝的車輛前面的圖像。圖6的(b)示出圖6的(a)所示拍攝圖像的圖像速度分布。對(duì)水平方向上各坐標(biāo)位置的圖像速度進(jìn)行處理，并繪制出(由于車輛，即照相機(jī)1的移動(dòng))導(dǎo)致的最頻繁的圖像速度。在圖6的(a)中，位置61表示低速移動(dòng)對(duì)象，而位置62表示高速移動(dòng)對(duì)象。在圖6的(b)中，位置63表示低速移動(dòng)區(qū)，而位置64表示高速移動(dòng)區(qū)。
當(dāng)車輛在公路上向前行駛，并且照相機(jī)1或者其它拍攝裝置在光軸(y軸)方向移動(dòng)時(shí)，圖像相對(duì)于照相機(jī)1的光軸向側(cè)向移動(dòng)。此外，圖像離開照相機(jī)1的光軸方向越遠(yuǎn)，速度變得越快。根據(jù)這些特征，靠近照相機(jī)1的光軸捕獲的對(duì)象圖像在圖像上幾乎不移動(dòng)，該對(duì)象圖像保持靜止，作為低速移動(dòng)對(duì)象61，它在各幀上的移動(dòng)不超過(guò)一個(gè)像素(幀是表示照相機(jī)1捕獲的一個(gè)圖像的單位)。這樣，通過(guò)計(jì)數(shù)低速移動(dòng)體61停留在特定像素上的幀數(shù)，可以計(jì)算低速移動(dòng)體61的圖像速度。
高速移動(dòng)區(qū)64移動(dòng)超過(guò)一個(gè)像素，因此在拍攝圖像的每一端示出高速移動(dòng)對(duì)象62。根據(jù)低速移動(dòng)區(qū)63的圖像速度分布(如圖6的(b)中的實(shí)線所示)考慮到空間連續(xù)性，可以估計(jì)高速移動(dòng)區(qū)64的圖像速度分布(如圖6的(b)中的虛線所示)。為了進(jìn)行該估計(jì)，必須存在以上述方式計(jì)算的低速移動(dòng)體61。這樣，根據(jù)所估計(jì)出的低速移動(dòng)區(qū)63的圖像速度分布來(lái)校正高速移動(dòng)區(qū)64的圖像速度。因此，即使當(dāng)照相機(jī)1移動(dòng)時(shí)，也可以消除由照相機(jī)1的移動(dòng)所產(chǎn)生的相對(duì)速度。
圖7是示出當(dāng)將照相機(jī)1或者其它拍攝裝置安裝在移動(dòng)體上時(shí)，進(jìn)行精確圖像速度計(jì)算的一組步驟的流程圖。下面將說(shuō)明采用圖5的(a)至(f)所示圖像速度計(jì)算方法的本發(fā)明例子。
首先，在S401，獲取照相機(jī)1(如圖1所示)或者其它拍攝裝置的拍攝圖像。接著，在S402，對(duì)該拍攝圖像執(zhí)行索貝爾(Sobel)濾波處理，并將該拍攝圖像存儲(chǔ)在圖像存儲(chǔ)器2內(nèi)以計(jì)算橫向邊緣圖像。接著，在S403，通過(guò)將在S402中計(jì)算出的橫向邊緣圖像延遲一幀來(lái)獲得圖像，并將延遲后的圖像保存在圖像存儲(chǔ)器2內(nèi)。接著，在S404，計(jì)算示出在S402計(jì)算出的橫向邊緣圖像與在S 40 3計(jì)算出的延遲后的橫向圖像之間的差分的圖像。接著，在S405，根據(jù)在S404計(jì)算出的橫向邊緣差分圖像確定是否存在邊緣。如果存在邊緣，則執(zhí)行S406，而如果不存在邊緣，則執(zhí)行S408。
在S406，計(jì)數(shù)(輪詢)在步驟S405提取的圖像差分圖像中該邊緣位于同一個(gè)像素中的幀數(shù)。接著，在S407，求得在S406計(jì)數(shù)的在該邊緣位于同一像素中的幀數(shù)的倒數(shù)，以計(jì)算橫向邊緣的圖像速度。這是低速圖像的速度。然后，將該低速圖像的速度發(fā)送到監(jiān)視器5(參見圖1)。
相反，當(dāng)在S405判定沒有邊緣時(shí)，在S408計(jì)算在S402提取的橫向邊緣的邊緣強(qiáng)度。接著，在S409，對(duì)每個(gè)x坐標(biāo)(圖像的水平方向)計(jì)算在該同一x坐標(biāo)處存在圖像速度數(shù)量最多的速度。然后，根據(jù)所計(jì)算出的低圖像速度分布，通過(guò)滿足空間連續(xù)性來(lái)估計(jì)高速圖像的速度分布(圖6的(b)中的虛線)。這樣，計(jì)算出了包括位于屏幕每一端的高速移動(dòng)區(qū)的所有x坐標(biāo)的圖像速度分布。
接著，在S410，根據(jù)在S409計(jì)算的圖像速度分布信息，消除車輛(即，照相機(jī)1或者其它拍攝裝置)移動(dòng)產(chǎn)生的相對(duì)速度，以校正高速圖像的速度。即，讀出位于移位了對(duì)應(yīng)于在S409估計(jì)的圖像速度的程度的位置的前一幀的橫向邊緣的邊緣強(qiáng)度。
在S411，將利用給定曝光時(shí)間(在S408計(jì)算的)拍攝的拍攝圖像的圖像流區(qū)上的邊緣強(qiáng)度與利用縮短后的曝光時(shí)間拍攝的拍攝圖像的圖像流區(qū)上的邊緣強(qiáng)度(在S410讀出的)進(jìn)行比較。如果變化量等于或者小于規(guī)定值，則執(zhí)行S412的處理過(guò)程，而如果變化量大于規(guī)定值，則執(zhí)行S413的處理過(guò)程。如果變化量等于或者小于該規(guī)定值，則在S412，計(jì)算當(dāng)前曝光時(shí)間的倒數(shù)，作為在S405提取的橫向邊緣的圖像速度。相反，如果變化量大于該規(guī)定值，則在S413，保留橫向邊緣位置和在S408計(jì)算的邊緣強(qiáng)度。
在S414，將照相機(jī)1的曝光時(shí)間縮短指定值，然后，返回S401。在S415，在監(jiān)視器5上顯示在S407和S412計(jì)算的圖像速度的適當(dāng)監(jiān)視指示。利用不同的色調(diào)，將微型計(jì)算機(jī)3計(jì)算的圖像信息疊加在圖像存儲(chǔ)器2保存的圖像上。例如，以藍(lán)色顯示在屏幕上向右側(cè)移動(dòng)的圖像，而以紅色顯示向左側(cè)移動(dòng)的圖像。
因?yàn)榫哂锌梢岳迷诘退僖苿?dòng)區(qū)測(cè)量的圖像速度來(lái)估計(jì)高速移動(dòng)區(qū)的移動(dòng)的配置，所以即使當(dāng)照相機(jī)1或者拍攝裝置安裝在移動(dòng)體上并且移動(dòng)時(shí)，也可以消除因?yàn)樵撘苿?dòng)產(chǎn)生的相對(duì)圖像速度。因此，即使當(dāng)照相機(jī)1安裝在車輛等移動(dòng)體上并且該移動(dòng)體正在移動(dòng)時(shí)，也可以計(jì)算圖像速度。此外，甚至可以計(jì)算靠近移動(dòng)的照相機(jī)1并且正在以相對(duì)高的速度移動(dòng)的目標(biāo)的圖像速度。
本發(fā)明的一個(gè)方面是，利用能夠從指定時(shí)間開始以多個(gè)不同曝光時(shí)間捕獲圖像的照相機(jī)或者其它拍攝裝置(請(qǐng)參考圖1所示的照相機(jī)1)來(lái)計(jì)算圖像速度。圖8的(a)是示出在指定的時(shí)刻T0后在間隔為T的時(shí)刻T0-T4目標(biāo)相對(duì)于照相機(jī)的移動(dòng)的示意圖。θ1是照相機(jī)1的每個(gè)像素的視場(chǎng)角。θ2、θ3和θ4分別是在相應(yīng)時(shí)刻T0至T4從照相機(jī)1到目標(biāo)延伸的角度。盡管在該圖中作為例子只給出T0至T4，但是可以包括更多個(gè)時(shí)刻。
圖8的(b)至(e)分別示出的拍攝圖像#1至#4是以不同曝光時(shí)間T0-T1、T0-T2、T0-T3以及T0-T4進(jìn)行曝光時(shí)，捕獲的一幀拍攝圖像。即，在曝光了該曝光時(shí)間后，在相應(yīng)時(shí)刻T1、T2、T3和T4捕獲圖像。例如，當(dāng)T秒等于移動(dòng)一個(gè)像素所需的時(shí)間時(shí)，因?yàn)榕臄z圖像#1曝光T秒，即，T0-T1，所以目標(biāo)出現(xiàn)在同一像素內(nèi)。對(duì)于拍攝圖像#2至#4， 因?yàn)樵赥0-T2、T0-T3以及T0-T4期間快門處于打開的同時(shí)，目標(biāo)分別移動(dòng)2個(gè)像素、3個(gè)像素和4個(gè)像素，所以出現(xiàn)圖像流。
因?yàn)閺闹付〞r(shí)刻T0開始，以多個(gè)曝光時(shí)間捕獲圖像，所以通過(guò)執(zhí)行如上所述的頻率分析(請(qǐng)參考圖3)或者如上所述的邊緣強(qiáng)度觀測(cè)(請(qǐng)參考圖5)，可以提取不出現(xiàn)拍攝圖像#1至#4中的圖像流的圖像。然后，測(cè)量相應(yīng)的圖像速度。
圖9示出利用可以以如圖8所示的多個(gè)不同曝光時(shí)間捕獲圖像的照相機(jī)進(jìn)行精確圖像速度計(jì)算的一組步驟。作為例子，下面的描述采用如上所述的頻率分析作為計(jì)算圖像速度的方法(參見圖3)。因?yàn)樵赟501至S507(參見圖9)執(zhí)行與S401至S407(參見圖6)中完全相同的處理，所以省略重復(fù)的說(shuō)明。
如果在S505判定在S504提取的差分圖像中不存在邊緣，則在S508，通過(guò)以指定的速率改變一幀中的時(shí)間，將照相機(jī)1或者其它拍攝裝置控制成以多個(gè)曝光時(shí)間拍攝圖像。接著，在S509，對(duì)以不同的曝光時(shí)間捕獲的多個(gè)圖像進(jìn)行頻率分析。在S510，根據(jù)頻率分析的結(jié)果，檢測(cè)高頻成分達(dá)到最大值而且穩(wěn)定來(lái)下的曝光時(shí)間。接著，在S511，計(jì)算在S510檢測(cè)到的曝光時(shí)間的倒數(shù)作為圖像速度。最后，在S512，將在S507和S511計(jì)算的圖像速度信息顯示在監(jiān)視器5上。
如上所述，因?yàn)楸緦?shí)施例被配置成對(duì)從指定時(shí)刻T0開始以多個(gè)不同快門速度捕獲的圖像進(jìn)行處理，所以可以以指定時(shí)間T0為基準(zhǔn)在多個(gè)曝光時(shí)間觀測(cè)該目標(biāo)。這樣，甚至可以計(jì)算高速移動(dòng)的目標(biāo)的圖像速度。
因?yàn)樵谝粠瑑?nèi)以多個(gè)不同曝光時(shí)間捕獲圖像，所以可以縮短處理時(shí)間。此外，與如上所述及圖6所示的實(shí)施例不同，因?yàn)椴还烙?jì)高速移動(dòng)區(qū)的圖像速度，所以可以提高速度計(jì)算精度。
在此，為了有助于理解本發(fā)明的技術(shù)思想，提供了上面描述的實(shí)施例。這決不是限制本發(fā)明。因此，上述實(shí)施例中公開的各單元包括屬于本發(fā)明的技術(shù)范圍的所有設(shè)計(jì)修改及其等同物。
以上所述僅是對(duì)本發(fā)明原理的說(shuō)明。此外，因?yàn)閷?duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，容易想到許多修改和變更，所以不想將本發(fā)明完全局限于所示和所描述的確切構(gòu)造和操作，因此，所有適當(dāng)?shù)男薷暮偷韧锒悸淙氡景l(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種圖像速度計(jì)算裝置，包括照相機(jī)；以及耦合到所述照相機(jī)的微型計(jì)算機(jī)，所述微型計(jì)算機(jī)被配置成基于由所述照相機(jī)拍攝的多個(gè)圖像確定圖像流，基于所確定的圖像流確定曝光時(shí)間，以及基于所確定的曝光時(shí)間計(jì)算圖像速度。
2.一種圖像速度計(jì)算裝置，包括照相機(jī)，其具有可控制的曝光時(shí)間并且能夠拍攝多個(gè)對(duì)象圖像；耦合到所述照相機(jī)的微型計(jì)算機(jī)，所述微型計(jì)算機(jī)被配置成確定由所述照相機(jī)拍攝的圖像中出現(xiàn)的至少一個(gè)像素的對(duì)象圖像流，確定曝光時(shí)間以獲得預(yù)定圖像流，以及基于所述照相機(jī)的曝光時(shí)間計(jì)算圖像速度；以及照相機(jī)控制器，其耦合到所述微型計(jì)算機(jī)和所述照相機(jī)，所述照相機(jī)控制器被配置成接收來(lái)自所述微型計(jì)算機(jī)的曝光時(shí)間信息并控制所述照相機(jī)的曝光時(shí)間。
3.根據(jù)權(quán)利要求2所述的圖像速度計(jì)算裝置，其特征在于，所述微型計(jì)算機(jī)進(jìn)一步被配置成對(duì)圖像迭代地應(yīng)用頻率分析以確定高頻成分，以及減少所述曝光時(shí)間直到所確定的高頻成分在圖像與圖像之間基本相同。
4.根據(jù)權(quán)利要求2所述的圖像速度計(jì)算裝置，其特征在于，所述微型計(jì)算機(jī)進(jìn)一步被配置成確定所述圖像的邊緣強(qiáng)度以及減少所述曝光時(shí)間直到所述邊緣強(qiáng)度在圖像與圖像之間基本相同。
5.根據(jù)權(quán)利要求2所述的圖像速度計(jì)算裝置，其特征在于，所述微型計(jì)算機(jī)進(jìn)一步被配置成檢測(cè)低速移動(dòng)區(qū)并通過(guò)計(jì)數(shù)低速移動(dòng)體移動(dòng)一個(gè)像素的圖像數(shù)目來(lái)確定該低速移動(dòng)體的圖像速度。
6.根據(jù)權(quán)利要求2所述的圖像速度計(jì)算裝置，其特征在于，所述微型計(jì)算機(jī)進(jìn)一步被配置成通過(guò)計(jì)數(shù)低速移動(dòng)區(qū)移動(dòng)預(yù)定數(shù)目像素的圖像數(shù)目來(lái)計(jì)算所述低速移動(dòng)區(qū)的圖像速度；以及基于所述照相機(jī)的曝光時(shí)間和所述低速移動(dòng)區(qū)的圖像速度來(lái)估計(jì)高速移動(dòng)區(qū)中對(duì)象的圖像速度。
7.根據(jù)權(quán)利要求6所述的圖像速度計(jì)算裝置，其特征在于，所計(jì)算出的低速移動(dòng)區(qū)的圖像速度對(duì)應(yīng)于所述照相機(jī)的速度，以及對(duì)所述高速移動(dòng)區(qū)中對(duì)象的圖像速度的估計(jì)用于修正所述照相機(jī)的速度。
8.根據(jù)權(quán)利要求2所述的圖像速度計(jì)算裝置，其特征在于，所述預(yù)定像素流包括小于兩個(gè)的像素。
9.根據(jù)權(quán)利要求2所述的圖像速度計(jì)算裝置，其特征在于，所述預(yù)定像素流包括一個(gè)像素。
10.一種圖像速度計(jì)算裝置，其包括拍攝單元，用于拍攝多個(gè)對(duì)象圖像；圖像流確定單元，用于在所述拍攝單元的曝光期間當(dāng)所述對(duì)象移動(dòng)時(shí)確定在所述拍攝單元拍攝的所述多個(gè)圖像中所述對(duì)象的圖像流等于或大于一個(gè)像素；以及圖像速度計(jì)算單元，用于當(dāng)所述1像素移動(dòng)確定單元確定所述圖像流是1像素流時(shí)基于所述拍攝單元的曝光時(shí)間計(jì)算圖像速度。
11.根據(jù)權(quán)利要求10所述的圖像速度計(jì)算裝置，其特征在于，所述圖像速度計(jì)算單元進(jìn)一步包括低速移動(dòng)區(qū)檢測(cè)單元，用于檢測(cè)被判定為所述拍攝圖像沒有流動(dòng)一個(gè)或更多個(gè)像素的區(qū)域；以及低速移動(dòng)區(qū)圖像速度計(jì)算單元，用于當(dāng)所述低速移動(dòng)區(qū)檢測(cè)單元判定所述拍攝圖像移動(dòng)了大于一個(gè)像素時(shí)，通過(guò)計(jì)數(shù)移動(dòng)一個(gè)像素所需的幀數(shù)來(lái)計(jì)算所述低速移動(dòng)區(qū)的圖像速度。
12.根據(jù)權(quán)利要求11所述的圖像速度計(jì)算裝置，其特征在于，所述對(duì)象被確定處于高速移動(dòng)區(qū)，并且所述圖像速度計(jì)算單元進(jìn)一步包括基于所述照相機(jī)的曝光時(shí)間和所述低速移動(dòng)區(qū)的圖像速度估計(jì)高速移動(dòng)區(qū)中對(duì)象的速度的單元。
13.一種用于確定對(duì)象速度的方法，其包括利用照相機(jī)拍攝多個(gè)對(duì)象圖像；確定所述對(duì)象在所述圖像中是否移動(dòng)了多于預(yù)定數(shù)目的像素；改變所述照相機(jī)的快門速度直到確定所述對(duì)象在每個(gè)圖像中移動(dòng)不超過(guò)所述預(yù)定數(shù)目的像素；以及基于所述照相機(jī)的快門速度計(jì)算對(duì)象速度。
14.根據(jù)權(quán)利要求13所述的用于確定對(duì)象速度的方法，其進(jìn)一步包括通過(guò)計(jì)數(shù)低速移動(dòng)區(qū)移動(dòng)預(yù)定數(shù)目像素的圖像數(shù)目來(lái)計(jì)算該低速移動(dòng)區(qū)的圖像速度；以及基于所述照相機(jī)的曝光時(shí)間和所述低速移動(dòng)區(qū)的圖像速度來(lái)估計(jì)所述對(duì)象的速度。
全文摘要
提供一種圖像速度計(jì)算裝置和圖像速度計(jì)算方法。該圖像速度計(jì)算裝置具有照相機(jī)、微型計(jì)算機(jī)和照相機(jī)控制器。該照相機(jī)具有可控制的曝光時(shí)間，并且能夠拍攝多個(gè)對(duì)象圖像。該微型計(jì)算機(jī)耦合到該照相機(jī)并被配置成確定該照相機(jī)所拍攝的圖像中出現(xiàn)的至少一個(gè)像素的對(duì)象圖像流，確定曝光時(shí)間以獲得預(yù)定的圖像流以及基于該照相機(jī)的曝光時(shí)間計(jì)算圖像速度。該照相機(jī)控制器被配置成接收來(lái)自該微型計(jì)算機(jī)的曝光時(shí)間信息并控制該照相機(jī)的曝光時(shí)間。
文檔編號(hào)G01P3/36GK1987484SQ20061016747
公開日2007年6月27日 申請(qǐng)日期2006年12月20日 優(yōu)先權(quán)日2005年12月20日
發(fā)明者西內(nèi)秀和 申請(qǐng)人:日產(chǎn)自動(dòng)車株式會(huì)社