專利名稱：圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種根據(jù)設(shè)定于圖像中的窗口內(nèi)的圖像信息來計(jì)算光流的圖像處理
直O(jiān)
背景技術(shù)：
光流是指，從時(shí)間上連續(xù)的圖像中求出圖像內(nèi)的各點(diǎn)(像素、區(qū)域)的速度場， 并用矢量表示圖像內(nèi)的物體的運(yùn)動(dòng)的量。光流的計(jì)算方法之一是利用梯度法的方法。在 梯度法中，作為約束條件，假定設(shè)定于圖像中的窗口內(nèi)的各點(diǎn)具有大小相同的光流，從 而導(dǎo)出亮度梯度和光流的關(guān)系式，并根據(jù)該關(guān)系式，以窗口為單位計(jì)算光流。然而，當(dāng)在相同窗口內(nèi)存在具有不同光流的物體(例如，不同的多個(gè)移動(dòng)體、 移動(dòng)體及其周邊的背景)時(shí)，光流的誤差將變大。因此，在專利文獻(xiàn)1所述的裝置中， 利用在不同時(shí)刻獲取的多個(gè)圖像，通過梯度法計(jì)算出各個(gè)區(qū)域(各個(gè)窗口)的光流和光流 誤差，當(dāng)目標(biāo)區(qū)域的光流誤差大于目標(biāo)區(qū)域的周邊區(qū)域的光流誤差時(shí)，代入周邊區(qū)域的 光流以作為目標(biāo)區(qū)域的光流。在先技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1:日本特開2007-172554號(hào)公報(bào)專利文獻(xiàn)2 日本特開2008-26999號(hào)公報(bào)

發(fā)明內(nèi)容
本發(fā)明所要解決的課題由于在現(xiàn)有的方法中，用于計(jì)算光流的窗口被設(shè)定為統(tǒng)一的大小，因而無論是 存在于近處的物體，還是存在于遠(yuǎn)處的物體，均由大小相同的窗口來計(jì)算光流。另外， 存在于遠(yuǎn)處的物體與存在于近處的物體相比，在圖像中的尺寸更小。因此，由于有時(shí) 會(huì)出現(xiàn)與針對存在于近處的物體的窗口相比，針對存在于遠(yuǎn)處的物體的窗口中包含了更 多的背景的像素，或者存在于遠(yuǎn)處的物體也進(jìn)入到了針對存在于近處物體的窗口內(nèi)的情 況，因而，由各個(gè)窗口計(jì)算的光流誤差有可能會(huì)增大。因此，在采用上述裝置的情況 下，周邊區(qū)域的光流誤差也可能會(huì)增大，當(dāng)替換成這種誤差增大了的周邊區(qū)域的光流 時(shí)，誤差有可能會(huì)被累積。因此，本發(fā)明的課題在于，提供一種在以窗口為單位計(jì)算光流時(shí)提高光流的計(jì) 算精度的圖像處理裝置。解決課題的方法本發(fā)明所涉及的圖像處理裝置為，其利用在不同時(shí)間拍攝的多個(gè)圖像，并根據(jù) 窗口內(nèi)的圖像信息而針對處理對象計(jì)算光流，其特征在于，具有位置獲取單元，其獲 取處理對象的位置信息；設(shè)定單元，其根據(jù)由所述位置獲取單元獲取的位置信息，設(shè)定 用于計(jì)算光流的窗口的大小。
在該圖像處理裝置中，通過位置獲取單元獲取處理對象(通過光流而檢測出運(yùn) 動(dòng)的對象)的位置信息(例如，距拍攝位置的相對距離或橫向位置)。圖像上的物體的大 小，按照該物體和拍攝位置之間的位置關(guān)系而變化。另外，有時(shí)光流的大小也會(huì)按照該 物體和拍攝位置之間的位置關(guān)系而變化。因此，在圖像處理裝置中，按照該處理對象的 位置信息，由設(shè)定單元設(shè)定用于計(jì)算光流的窗口的大小，并針對每個(gè)設(shè)定的窗口，根據(jù) 窗口內(nèi)的圖像信息來計(jì)算光流。以這種方式，在圖像處理裝置中，通過按照處理對象的 位置信息來設(shè)定大小適于處理對象的窗口，能夠減少由窗口內(nèi)所包含的除處理對象之外 的物體引起的誤差的影響，并能夠提高光流的計(jì)算精度。而且，由于不由統(tǒng)一大小的窗 口來計(jì)算光流，而由大小與處理對象的位置信息相對應(yīng)的窗口來計(jì)算光流，因而還能夠 減少計(jì)算量。在本發(fā)明的所述圖像處理裝置中，優(yōu)選為，拍攝位置和處理對象在橫向位置上 的差越大，設(shè)定單元將窗口的大小設(shè)定得越大。自拍攝位置的橫向位置越遠(yuǎn)，光流越增大。由于在光流較大的情況下，當(dāng)設(shè)定 較小的窗口時(shí)，光流將不收斂，或者需要通過使較小的窗口逐步移動(dòng)來多次計(jì)算光流， 因而計(jì)算量將增大。因此，在該圖像處理裝置中，拍攝位置和處理對象在橫向位置上的 差越大，設(shè)定單元將窗口的大小設(shè)定得越大，由此，能夠設(shè)定適合于光流大小的窗口。 其結(jié)果是，能夠進(jìn)一步提高光流的計(jì)算精度。在本發(fā)明的所述處理裝置中，位置獲取單元為雷達(dá)，其結(jié)構(gòu)也可以為，根據(jù)雷 達(dá)的檢測結(jié)果來設(shè)定處理對象。在該圖像處理裝置中，通過雷達(dá)獲取處理對象的位置信息，根據(jù)由雷達(dá)檢測的 結(jié)果來設(shè)定處理對象。雷達(dá)能夠高精度地獲取位置信息。因此，在被雷達(dá)檢測到時(shí)， 由于物體確實(shí)存在于該被檢測出的位置上，因而，將在該位置上設(shè)定關(guān)于處理對象的窗 口。通過這種方式，在圖像處理裝置中，按照用雷達(dá)檢測出的位置來設(shè)定處理對象的窗 口，并限定計(jì)算光流的處理區(qū)域，由此，能夠進(jìn)一步減少計(jì)算量。發(fā)明效果本發(fā)明通過按照處理對象的位置信息來設(shè)定大小適于處理對象的窗口，從而能 夠提高光流的計(jì)算精度。


圖1為本實(shí)施方式所涉及的周邊監(jiān)視裝置的結(jié)構(gòu)圖。圖2為表示相對于到特征點(diǎn)的距離和橫向位置的、拍攝圖像中的大小、光流大 小、窗口大小的表格。圖3為從上空觀察本車周邊(前方一側(cè))時(shí)的俯視圖的一個(gè)示例。圖4為針對圖3所示的本車周邊的拍攝圖像而由圖1的ECU設(shè)定計(jì)算光流用的 窗口的圖。圖5為針對圖3所示的本車周邊的拍攝圖像而通過現(xiàn)有的方法設(shè)定計(jì)算光流用的 窗口的圖。圖6為表示圖1的ECU中的主處理流程的流程圖。圖7為表示圖1的ECU中的窗口尺寸設(shè)定處理流程的流程圖。
符號(hào)說明1……周邊監(jiān)視裝置2……照相機(jī)3……毫米波傳感器4......ECU
具體實(shí)施例方式下面，參照附圖，對本發(fā)明所涉及的圖像處理裝置的實(shí)施方式進(jìn)行說明。在本實(shí)施方式中，將本發(fā)明所涉及的圖像處理裝置應(yīng)用在搭載于車輛的周邊監(jiān) 視裝置上。本實(shí)施方式所涉及的周邊監(jiān)視裝置檢測本車前方的障礙物(例如，其它車 輛、自行車、行人等移動(dòng)物體、墜落物等靜止物體)，并將該檢測到的障礙物信息輸出到 駕駛支援裝置(防止碰撞裝置等)處，或者通過聲音或顯示的方式提供給駕駛員。并且， 檢測方向被設(shè)為前方，但也可以設(shè)定為側(cè)方、后方等其它方向。參照圖1 圖5，對本實(shí)施方式所涉及的周邊監(jiān)視裝置1進(jìn)行說明。圖1為本 實(shí)施方式所涉及的周邊監(jiān)視裝置的結(jié)構(gòu)圖。圖2為表示相對于到特征點(diǎn)為止的距離和橫 向位置的拍攝圖像中的大小、光流大小、窗口大小的表格。圖3為從上空觀察本車周邊 (前方一側(cè))時(shí)的俯視圖的一個(gè)示例。圖4為針對圖3所示的本車周邊的拍攝圖像而由圖 1的ECU設(shè)定計(jì)算光流用的窗口的圖。圖5為針對圖3所示的本車周邊的拍攝圖像而通 過現(xiàn)有的方法設(shè)定計(jì)算光流用的窗口的圖。周邊監(jiān)視裝置1根據(jù)從時(shí)間上連續(xù)的幀之間的圖像中檢測到的光流來檢測障礙 物信息。尤其，周邊監(jiān)視裝置1為了提高光流的計(jì)算精度，針對每個(gè)處理對象(障礙 物)，按照圖像上的位置來設(shè)定用于計(jì)算光流的窗口。周邊監(jiān)視裝置1具有照相機(jī)2、毫 米波傳感器3和ECU (Electronic Control Unit 電子控制模塊)4。而且，在本實(shí)施方式中，毫米波傳感器3相當(dāng)于權(quán)利要求書所述的位置獲取單 元，ECU4中的處理相當(dāng)于權(quán)利要求書所述的設(shè)定單元。照相機(jī)2為拍攝本車前方的照相機(jī)。照相機(jī)2被安裝在本車的前側(cè)中央。照相 機(jī)2拍攝本車前方，并將該拍攝圖像信息作為圖像信號(hào)而發(fā)送給ECU4。該拍攝圖像為每 隔一定時(shí)間(例如，三十分之一秒)的幀圖像。毫米波傳感器3為利用毫米波來檢測物體的雷達(dá)傳感器。毫米波傳感器3被安 裝在本車前側(cè)中央的規(guī)定的高度位置(能夠可靠地檢測到作為檢測對象的障礙物的高度 位置)上。毫米波傳感器3沿左右方向掃描毫米波的同時(shí)從本車向前方發(fā)送毫米波，并 接收反射回來的毫米波。針對每個(gè)能夠接收到反射回來的毫米波的檢測點(diǎn)，在毫米波傳感器3中，根據(jù) 毫米波從發(fā)送到接收的時(shí)間及毫米波的速度，計(jì)算出距前方物體的相對距離。而且，在 毫米波傳感器3中，根據(jù)在當(dāng)前時(shí)刻ω計(jì)算出的相對距離與在前一時(shí)刻(t-i)計(jì)算出的 相對距離的變化，而計(jì)算與前方物體的相對速度。另外，在毫米波傳感器3中，對在反 射回來的毫米波中以最大強(qiáng)度反射回來的毫米波的方向進(jìn)行檢測，并根據(jù)該方向求出本 車的行駛方向和物體的方向所成的角度，且根據(jù)該角度計(jì)算出物體的橫向位置。而且， 在毫米波傳感器3中，將由該檢測到的毫米波信息(針對每個(gè)檢測物體的相對距離、相對速度、相對橫向位置等)構(gòu)成的毫米波信號(hào)發(fā)送給ECU4。此外，也可以由ECU4來執(zhí)行 關(guān)于相對距離、相對速度、橫向位置等的計(jì)算，此時(shí)，從毫米波傳感器3，將由針對每個(gè) 檢測點(diǎn)的發(fā)送時(shí)刻、接收時(shí)刻、掃描方向、接收強(qiáng)度等構(gòu)成的毫米波信息發(fā)送給ECU4。ECU4 為由 CPU (Central Processing Unit 中央處理器)、ROM (Read OnlyMemory 只讀存儲(chǔ)器)、RAM (Random Access Memory 隨機(jī)存取存儲(chǔ)器)和圖像 處理芯片等構(gòu)成的電子控制單元，并統(tǒng)一控制周邊監(jiān)視裝置1。在ECU4中，每隔一定時(shí) 間，讀取來自照相機(jī)2的圖像信號(hào)和來自毫米波傳感器3的毫米波信號(hào)，并按時(shí)間序列存 儲(chǔ)毫米波信息和拍攝圖像信息。而且，在ECU4中，利用這些信息執(zhí)行用于檢測障礙物 信息的處理，并將檢測出的障礙物信息(例如，相對距離、相對速度、相對橫向位置、 移動(dòng)方向、移動(dòng)速度)輸出到駕駛支援裝置中、或者提供給駕駛員。在對由ECU4執(zhí)行的具體處理進(jìn)行說明之前，先對由ECU4處理的用于計(jì)算光流 的窗口的大小進(jìn)行說明。障礙物離照相機(jī)2 (拍攝位置)的距離越近，圖像上的物體的大 小越大，距離越遠(yuǎn)，圖像上的物體的大小越小。因此，在按照障礙物的大小而使窗口的 大小最優(yōu)化時(shí)，需要在障礙物離照相機(jī)2的距離較近時(shí)將窗口設(shè)定得較大，在距離較遠(yuǎn) 時(shí)將窗口設(shè)定得較小。另外，由于本車正在朝向存在障礙物的前方行駛，因而障礙物離照相機(jī)2的橫 向位置越近，光流的大小越小，而橫向位置越遠(yuǎn)，光流的大小越大。由于對較大的光流 設(shè)定較小的窗口時(shí)，光流將不收斂，或者需要通過使較小的窗口逐步偏移來多次計(jì)算光 流，因而計(jì)算量將增大。因此，在按照光流的大小來使窗口的大小最優(yōu)化時(shí)，需要在障 礙物離照相機(jī)2的橫向位置較近時(shí)將窗口設(shè)定得較小，在較遠(yuǎn)時(shí)將窗口設(shè)定得較大。在圖2中，將上述的關(guān)系制成了表格。在從照相機(jī)2到障礙物(特征點(diǎn))的距 離較遠(yuǎn)且橫向位置較近時(shí)，圖像中的大小變小，光流的大小也變小，因而，將窗口的大 小設(shè)為“小尺寸”。在距離較遠(yuǎn)且橫向位置較遠(yuǎn)時(shí)，圖像中的大小變小，光流的大小成 為中等程度，因而，將窗口的大小設(shè)為“中尺寸”。在距離較近且橫向位置較近時(shí)，圖 像中的大小變大，光流的大小成為中等程度，因而，將窗口的大小設(shè)為“中尺寸”。在 距離較近且橫向位置較遠(yuǎn)時(shí)，圖像中的大小變大，光流的大小變大，因而，將窗口的大 小設(shè)為“大尺寸”。并且，雖然在距離較遠(yuǎn)且橫向位置較遠(yuǎn)時(shí)和在距離較近且橫向位置 較近時(shí)，均將窗口設(shè)為了中尺寸，但是，也可以將窗口的大小設(shè)為相同程度的尺寸，或 者，還可以將在距離較近且橫向位置較近時(shí)的窗口的大小設(shè)定得稍大。并且，本車的車速越高，光流的大小越大，車速越低，光流的大小越小。因 此，也可以考慮本車的車速，當(dāng)車速較高時(shí)，將窗口設(shè)定得較大，當(dāng)車速較低時(shí)，將窗 口設(shè)定得較小。接下來，對ECU4中的處理進(jìn)行具體說明。在ECU4中，從當(dāng)前時(shí)刻(t)的幀圖 像中檢測特征點(diǎn)(障礙物)。在該特征點(diǎn)的檢測中，應(yīng)用了現(xiàn)有的方法，例如，使用邊緣 檢測方法。在ECU4中，針對每個(gè)被檢測出的特征點(diǎn)，獲取與該特征點(diǎn)相對應(yīng)的毫米波信 息(尤其是相對的距離和橫向位置)。而且，在ECU4中，根據(jù)相對距離，判斷距本車 (照相機(jī)2)的距離是否較近(相對距離是否在距離閾值以下)。距離閾值為，用于判斷 到障礙物的距離是近還是遠(yuǎn)的閾值，其可以通過實(shí)驗(yàn)等預(yù)先進(jìn)行設(shè)定，或者也可以通過考慮圖像中的障礙物(例如行人)的大小等而進(jìn)行設(shè)定。另外，在ECU4中，根據(jù)相對 橫向位置，判斷距本車(照相機(jī)2)的橫向位置是否較近(相對橫向位置是否在橫向位置 閾值以下)。橫向位置閾值為，用于判斷障礙物的橫向位置是近還是遠(yuǎn)的閾值，其可以通 過實(shí)驗(yàn)等預(yù)先進(jìn)行設(shè)定，或者也可以通過考慮圖像中的障礙物的大小等而進(jìn)行設(shè)定。當(dāng)判斷為距離較遠(yuǎn)且橫向位置較近時(shí)，在ECU4中，將用于計(jì)算光流的窗口設(shè) 定為小尺寸。當(dāng)判斷為距離較遠(yuǎn)且橫向位置較遠(yuǎn)時(shí)，在ECU4中，將窗口設(shè)定為中尺 寸。當(dāng)判斷為距離較近且橫向位置較近時(shí)，在ECU4中，將窗口設(shè)定為中尺寸。當(dāng)判斷 為距離較近且橫向位置較遠(yuǎn)時(shí)，在ECU4中，將窗口設(shè)定為大尺寸。關(guān)于該窗口的大、 中、小尺寸，可以通過實(shí)驗(yàn)等預(yù)先進(jìn)行設(shè)定，或者，也可以通過考慮圖像中的障礙物的 大小等而進(jìn)行設(shè)定。在ECU4中，針對每個(gè)設(shè)定的窗口，利用連續(xù)幀之間的圖像，通過梯度法(作為 約束條件，假定窗口內(nèi)的各點(diǎn)具有大小相同的光流)來計(jì)算窗口中的光流。通過梯度法 進(jìn)行的光流的計(jì)算，應(yīng)用了現(xiàn)有的方法。而且，在ECU4中，針對每個(gè)特征點(diǎn)(障礙物)，依據(jù)毫米波信息(相對距離、 相對速度、相對橫向位置等)和光流(移動(dòng)方向、移動(dòng)速度、移動(dòng)量等)等來設(shè)定障礙 物信息。而且，在ECU4中，將該障礙物信息輸出到駕駛支援裝置中，或者提供給駕駛 員。并且，作為障礙物的其它信息，也可以從圖像中檢測出障礙物的大小，而且，還可 以利用模型識(shí)別等方式檢測出障礙物的類別。在圖3所示的示例的情況下，在單側(cè)一車道的道路中，本車正在沿箭頭MD所示 的方向行駛，在本車前方，存在4個(gè)障礙物01、02、03、04(例如行人)。障礙物Ol 距本車的距離較近，橫向位置較遠(yuǎn)。障礙物02距本車的距離較近，橫向位置也較近。 障礙物03距本車的距離較遠(yuǎn)，橫向位置較近。障礙物04距本車的距離較遠(yuǎn)，橫向位置 也較遠(yuǎn)。在此，為了易于理解說明，障礙物01、02、03、04被設(shè)定為，正在以同樣的 速度朝著本車的方向行進(jìn)。圖4中，圖示了對圖3所示的本車前方的周邊景致進(jìn)行拍攝而獲得的圖像，在該 圖像中，圖示了在ECU4中設(shè)定的針對各個(gè)障礙物(特征點(diǎn))的窗口。并且，在圖4、 圖5中，用X記號(hào)表示了來自毫米波傳感器3的位置檢測結(jié)果，用箭頭表示了光流(但 是，光流Fl、F2、F3、F4不是以窗口為單位計(jì)算出的光流，而是僅由障礙物01、02、 03、04求得的理想的光流(不包含誤差))。用實(shí)線的長方形表示障礙物，用虛線的長 方形表示窗口。關(guān)于障礙物01，由于距離較近因而圖像上的大小增大，且由于橫向位置 較遠(yuǎn)因而光流Fl也增大，從而設(shè)定了與該圖像上的大小和光流的大小相對應(yīng)的大尺寸的 窗口 W1。關(guān)于障礙物02，由于距離較近因而圖像上的大小增大，但由于橫向位置較近 因而光流F2相比障礙物Ol的光流縮小了，因而設(shè)定了小于障礙物Ol的窗口尺寸的、中 尺寸的窗口 W2。關(guān)于障礙物03，由于距離較遠(yuǎn)因而圖像上的大小縮小，且由于橫向位 置較近因而光流F3也變小，而設(shè)定了與該圖像上的大小和光流的大小相對應(yīng)的小尺寸的 窗口 W3。關(guān)于障礙物04，由于距離較遠(yuǎn)因而圖像上的大小縮小，且因橫向位置較遠(yuǎn)因 而光流F4變得大于障礙物03的光流，因而設(shè)定了大于障礙物03的窗口尺寸的、中尺寸 的窗口 W4。圖5中，圖示了拍攝圖3所示的本車前方的周邊景致時(shí)的圖像，在該圖像中，也圖示了用現(xiàn)有的方法設(shè)定的窗口。在現(xiàn)有的方法中，統(tǒng)一地設(shè)定了相同大小的窗口 Wl，、W2，、W4，，這些窗口 Wl，、W2，、W4，為能夠充分包含障礙物的較大尺 寸的窗口。包含障礙物02的窗口 W2’相對于光流F2的大小的比例而言尺寸較大，其 還包含了障礙物03。因此，窗口 W2’的光流是根據(jù)兩個(gè)障礙物02、03的圖像信息和 背景的圖像信息而計(jì)算出的，因而作為障礙物02的光流，其誤差增大。另外，包含障礙 物04的窗口 W4’相對于圖像上的障礙物04的大小或光流F4的大小而言尺寸過大，其 大部分為背景。因此，窗口 W4’的光流，是根據(jù)較小的障礙物04的圖像信息和較大背 景的圖像信息而計(jì)算出的，因此，作為障礙物04的光流，其誤差增大。下面參照圖1和圖2，對周邊監(jiān)視裝置1中的動(dòng)作進(jìn)行說明。尤其，按照圖6和 圖7的順序?qū)CU4中的處理進(jìn)行說明。圖6為表示圖1的ECU中的主處理流程的流程 圖。圖7為表示圖1的ECU中的窗口尺寸設(shè)定處理的流程的流程圖。在照相機(jī)2中，每隔一定時(shí)間對本車前方進(jìn)行拍攝，并將由其圖像信息構(gòu)成的 圖像信號(hào)發(fā)送至ECU4。在毫米波傳感器3中，每隔一定時(shí)間進(jìn)行毫米波掃描，并計(jì)算關(guān) 于各個(gè)檢測點(diǎn)的相對距離、相對速度、相對橫向位置等，且將由各個(gè)檢測點(diǎn)的毫米波信 息構(gòu)成的毫米波信號(hào)發(fā)送至ECU4。在ECU4中，每隔一定時(shí)間接收來自照相機(jī)2的圖像信號(hào)，并獲取當(dāng)前時(shí)刻(t) 的幀圖像(Si)。該各個(gè)幀圖像按時(shí)間序列被暫時(shí)存儲(chǔ)在ECU4內(nèi)。而且，在ECU4中， 從當(dāng)前時(shí)刻(0的幀圖像中提取特征點(diǎn)(S2)。在ECU4中，針對每個(gè)提取的特征點(diǎn)，設(shè)定用于計(jì)算光流的窗口(S3)。在ECU4 中，每隔一定時(shí)間，接收來自毫米波傳感器3的毫米波信號(hào)，從毫米波信息中獲取有關(guān) 特征點(diǎn)的相對距離和相對橫向位置(S30)。該毫米波信息按時(shí)間序列被暫時(shí)存儲(chǔ)在ECU4 內(nèi)。而且，在ECU4中，判斷到特征點(diǎn)的距離是否較近(S31)。當(dāng)在S31中判斷為 距離較近時(shí)，在ECU4中，判斷橫向位置是否較遠(yuǎn)(S32)。另外，當(dāng)在S31中判斷為距 離較遠(yuǎn)時(shí)，在ECU4中，判斷橫向位置是否較遠(yuǎn)(S33)。當(dāng)在S32中判斷為橫向位置較遠(yuǎn)時(shí)(即，到特征點(diǎn)的距離較近且橫向位置較遠(yuǎn) 時(shí))，將窗口尺寸設(shè)定為大尺寸(S34)。當(dāng)在S32中判斷為橫向位置較近時(shí)(即，到特征 點(diǎn)的距離較近且橫向位置較近時(shí))，將窗口尺寸設(shè)定為中尺寸(S35)。當(dāng)在S33中判斷為 橫向位置較遠(yuǎn)時(shí)(即，到特征點(diǎn)的距離較遠(yuǎn)且橫向位置較遠(yuǎn)時(shí))，將窗口尺寸設(shè)定為中尺 寸(S35)。當(dāng)在S33中判斷為橫向位置較近時(shí)(即，到特征點(diǎn)的距離較遠(yuǎn)且橫向位置較 近時(shí))，將窗口尺寸設(shè)定為小尺寸(S36)。在ECU4中，針對每個(gè)設(shè)定的窗口，利用當(dāng)前時(shí)刻(t)的幀圖像和前一時(shí)刻(t_l) 的幀圖像，通過梯度法計(jì)算光流(S4)。而且，在ECU4中，從各個(gè)特征點(diǎn)的毫米波信息和各個(gè)窗口的光流中提取每個(gè) 障礙物的信息，并將障礙物信息輸出至駕駛支援裝置，或者通過聲音或顯示的方式提供 給駕駛員。根據(jù)該周邊監(jiān)視裝置1，通過按照到特征點(diǎn)(障礙物)的相對距離、相對橫向位 置來設(shè)定用于計(jì)算光流的窗口尺寸，從而使窗口尺寸成為與圖像上的障礙物的大小和光 流的大小相對應(yīng)的尺寸。因此，能夠減少因窗口內(nèi)所包含的作為處理對象的障礙物之外的物體而引起的誤差的影響，并能夠提高光流的計(jì)算精度。另外，由于未使用統(tǒng)一大小 的窗口來計(jì)算光流，而使用針對每個(gè)障礙物的準(zhǔn)確尺寸的窗口來計(jì)算光流，因而還能夠 減少處理量。另外，根據(jù)周邊監(jiān)視裝置1，由于僅針對被檢測出的特征點(diǎn)設(shè)定窗口并計(jì)算光 流，因而能夠進(jìn)一步減少處理量。另外，根據(jù)周邊監(jiān)視裝置1，由于能夠通過毫米波傳感 器3高精度地取得各個(gè)特征點(diǎn)的位置信息，因而能夠依據(jù)該高精度的位置信息而設(shè)定準(zhǔn) 確的窗口尺寸。上面，對本發(fā)明所涉及的實(shí)施方式進(jìn)行了說明，但是本發(fā)明并不限于上述的實(shí) 施方式，其也可以通過各種各樣的方式來實(shí)施。例如，在本實(shí)施方式中，本發(fā)明應(yīng)用在了搭載于車輛上、并用于檢測車輛周邊 的障礙物的周邊監(jiān)視裝置中，但是，其也可適用在具有計(jì)算光流的功能的各種各樣的圖 像處理裝置中。另外，也可以搭載于機(jī)器人等其它移動(dòng)體上，或者，還可以應(yīng)用于如 下情況，即，被設(shè)置在非移動(dòng)體的規(guī)定場所，并由圖像處理裝置一側(cè)以靜止?fàn)顟B(tài)計(jì)算光 流。另外，雖然在本實(shí)施方式中，作為位置獲取單元應(yīng)用了毫米波傳感器，但是也 可以使用激光傳感器等其它的雷達(dá)傳感器，還可以使用雷達(dá)之外的位置獲取單元。另外，在本實(shí)施方式中，為了計(jì)算光流而應(yīng)用了梯度法，但也可應(yīng)用模式匹配 等的其它方法來計(jì)算光流。另外，雖然在本實(shí)施方式中，采用了按照照相機(jī)(車輛)與各個(gè)特征點(diǎn)的相對距 離和橫向位置來設(shè)定窗口大小的結(jié)構(gòu)，但也可以采用，僅按照距離和橫向位置中的某一 個(gè)來設(shè)定窗口的大小的結(jié)構(gòu)，還可以采用，按照距離和橫向位置之外的位置信息的參數(shù) 來設(shè)定窗口的大小的結(jié)構(gòu)。另外，雖然在本實(shí)施方式中采用了如下結(jié)構(gòu)，S卩，從圖像中檢測出特征點(diǎn)，并 利用針對特征點(diǎn)的毫米波傳感器的檢測結(jié)果，來設(shè)定針對處理對象的窗口，但是也可以 采用如下結(jié)構(gòu)，即，以毫米波傳感器所檢測出的物體作為處理對象而直接設(shè)定窗口。另 外，還可以不采用對特征點(diǎn)進(jìn)行限定并設(shè)定窗口的方式，而采用針對圖像整體來設(shè)定窗 口的方式。另外，雖然在本實(shí)施方式中，將窗口的大小設(shè)為了三個(gè)等級(jí)(或者四個(gè)等級(jí))， 但是，也可以按照相對距離或橫向位置而設(shè)為兩個(gè)等級(jí)或者五個(gè)等級(jí)以上。距離閾值、 橫向位置閾值也可以與之對應(yīng)地設(shè)定多個(gè)等級(jí)。工業(yè)上的可利用性本發(fā)明通過按照處理對象的位置信息來設(shè)定大小適于處理對象的窗口，從而能 夠提高光流的計(jì)算精度。
權(quán)利要求
1.一種圖像處理裝置，其利用在不同時(shí)間拍攝的多個(gè)圖像，并根據(jù)窗口內(nèi)的圖像信 息而針對處理對象計(jì)算光流，其特征在于，具有位置獲取單元，其獲取處理對象的位置信息；設(shè)定單元，其根據(jù)由所述位置獲取單元獲取的位置信息，設(shè)定用于計(jì)算光流的窗口 的大小。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于，拍攝位置與處理對象在橫向位置上的差越大，所述設(shè)定單元將窗口的大小設(shè)定得越大。
3.如權(quán)利要求1或權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述位置獲取單元為雷達(dá)，根據(jù)由所述雷達(dá)獲得的檢測結(jié)果，來設(shè)定處理對象。
全文摘要
本發(fā)明的課題在于，提供一種在以窗口為單位計(jì)算光流時(shí)提高光流的計(jì)算精度的圖像處理裝置。本發(fā)明提供一種圖像處理裝置，其利用在不同時(shí)間拍攝的多個(gè)圖像，并根據(jù)窗口內(nèi)的圖像信息而針對處理對象計(jì)算光流，其特征在于，具有位置獲取單元，其獲取處理對象的位置信息；設(shè)定單元，其根據(jù)由位置獲取單元獲取的位置信息，設(shè)定用于計(jì)算光流的窗口的大小。
文檔編號(hào)G06T1/00GK102016921SQ20098010071
公開日2011年4月13日 申請日期2009年7月30日 優(yōu)先權(quán)日2008年8月1日
發(fā)明者內(nèi)田尚秀 申請人:豐田自動(dòng)車株式會(huì)社