專利名稱：運(yùn)動(dòng)矢量檢測(cè)設(shè)備和檢測(cè)運(yùn)動(dòng)矢量的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及檢測(cè)用于運(yùn)動(dòng)圖像壓縮編碼器或類似設(shè)備中的運(yùn)動(dòng)矢量的檢測(cè)設(shè)備和方法。
背景技術(shù)：
對(duì)于監(jiān)測(cè)普通圖像或類似圖像而言，塊匹配型的運(yùn)動(dòng)檢測(cè)方案是重要的技術(shù)，在此方案中，從與運(yùn)動(dòng)物體相關(guān)的兩個(gè)不同圖像中搜索匹配區(qū)域，以便由此檢測(cè)匹配區(qū)域的運(yùn)動(dòng)矢量。最近，該方案已作為基本技術(shù)投入使用，尤其是用在運(yùn)動(dòng)圖像壓縮編碼技術(shù)中，例如高效編碼運(yùn)動(dòng)圖像的MPEG(運(yùn)動(dòng)圖像專家組)。運(yùn)動(dòng)矢量的檢測(cè)包括必要的大量的計(jì)算處理，為了使計(jì)算變得更快和更有效，至今已開發(fā)出了許多技術(shù)(例如，見JP-A-1-295379)。
至今，已有了具有如圖1的框圖中所示的相關(guān)計(jì)算裝置的運(yùn)動(dòng)矢量傳感器。通過使用由參照?qǐng)D像存儲(chǔ)器102保留的先前幀(以下稱其為“參照?qǐng)D像”)以及由輸入圖像存儲(chǔ)器101保留的當(dāng)前幀(以下稱其為“輸入圖像”)來檢測(cè)輸入圖像的值得注意的區(qū)域(以下稱其為“輸入塊”)的運(yùn)動(dòng)矢量。在此情況下，如圖2中的搜索范圍概念圖所示，相關(guān)器103確定輸入塊的相關(guān)系數(shù)及另一圖像區(qū)域(以下稱其為“參照塊”)的相關(guān)系數(shù)，在此，參照塊的尺寸與輸入塊相同，位于與輸入塊垂直或水平分離開的位置上，并把與輸入塊的位置相應(yīng)的參照?qǐng)D像中的位置來作為開始搜索的參照位置。將這樣確定的相關(guān)系數(shù)存儲(chǔ)在相關(guān)系數(shù)存儲(chǔ)器104中。
用比較器105來比較各個(gè)輸入塊彼此的相關(guān)系數(shù)。將搜索標(biāo)準(zhǔn)位置移到達(dá)到最大相關(guān)性(即達(dá)到最小相關(guān)系數(shù))的位置上。這樣，在對(duì)在尚未計(jì)算相關(guān)系數(shù)的方向上的參照塊進(jìn)行相關(guān)性操作的同時(shí)，對(duì)搜索標(biāo)準(zhǔn)位置的相關(guān)性變得最大的位置進(jìn)行搜索。
圖3是視圖，該圖用具體的例子來說明這個(gè)方法，這個(gè)方法被稱為一次一個(gè)(one-at-a-time)方法。參照?qǐng)D3來說明現(xiàn)有的一次一個(gè)方法。首先，計(jì)算開始搜索的搜索位置1的相關(guān)系數(shù)。然后，按時(shí)間序列(time-series)方式計(jì)算右搜索位置2的相關(guān)系數(shù)和左搜索位置3的相關(guān)系數(shù)，比較器從搜索位置1到3的相關(guān)系數(shù)中找到最小的值。在此，假定搜索位置3的相關(guān)系數(shù)小于其它搜索位置的相關(guān)系數(shù)，計(jì)算搜索位置3左側(cè)的位置(搜索位置4)的相關(guān)系數(shù)，比較器確定搜索位置3的相關(guān)系數(shù)大于或小于搜索位置4的相關(guān)系數(shù)。在此假定比較的結(jié)果是(搜索位置4的相關(guān)系數(shù))＜(搜索位置3的相關(guān)系數(shù))。
在用相同方式將相關(guān)系數(shù)一直計(jì)算到搜索位置7的相關(guān)系數(shù)的情況下，如果得到(搜索位置6的相關(guān)系數(shù))＜(搜索位置7的相關(guān)系數(shù))(即右和左搜索位置的相關(guān)系數(shù)大于中心搜索位置的相關(guān)系數(shù))的關(guān)系，相關(guān)器103則按照時(shí)間序列方式，參照搜索位置6來確定上方的搜索位置8的相關(guān)系數(shù)和下方的搜索位置9的相關(guān)系數(shù)。比較器104從搜索位置6、8和9的相關(guān)系數(shù)中確定最小的相關(guān)值。如果搜索位置8的相關(guān)系數(shù)被認(rèn)為是最小，則計(jì)算參照搜索位置8的右搜索位置10的相關(guān)系數(shù)和左搜索位置11的相關(guān)系數(shù)，并由比較器103來確定這樣計(jì)算的相關(guān)系數(shù)中的最小值。
隨后，右搜索位置的相關(guān)系數(shù)和左搜索位置的相關(guān)系數(shù)以相同的方式確定。將具有較高相關(guān)度(即較小的相關(guān)系數(shù))的搜索位置用作為搜索中心。與右搜索位置的相關(guān)系數(shù)和左搜索位置的相關(guān)系數(shù)相比，如果中心搜索位置的相關(guān)系數(shù)最大，則搜索上方的搜索位置的相關(guān)系數(shù)和下方的搜索位置的相關(guān)系數(shù)，從而把基準(zhǔn)改到具有較高相關(guān)度的位置上。最后進(jìn)行相對(duì)于上、下、左、右的搜索位置的相關(guān)性，中心的相關(guān)性變?yōu)樽畲蟮奈恢玫乃阉鳎瑥亩鴻z測(cè)呈現(xiàn)出最大相關(guān)性的搜索位置作為運(yùn)動(dòng)矢量。如上所述，根據(jù)現(xiàn)有的方法，通過連續(xù)的處理，來計(jì)算相鄰搜索位置的相關(guān)系數(shù)并確定呈現(xiàn)出最大相關(guān)性的位置。
普通的相關(guān)性操作方法是將參照?qǐng)D像和輸入圖像之間的差的絕對(duì)值相加。在公式1中示出了計(jì)算相關(guān)系數(shù)的公式。
S=Σx=0NxΣy=0Ny|I(Px+x,Py+y)-R(Px+x+dx,Py+y+dy)|]]>Nx，Ny....塊的橫向和縱向尺寸I(x，y)，R(x，y)....屬于輸入圖像的位置(x，y)的圖像數(shù)據(jù)Px，Py....參照搜索位置
dx，dy....距搜索參照位置的偏離量如上面的公式所示，相關(guān)性操作需要許多計(jì)算操作。因此，如圖4所示，通常執(zhí)行一種處理方法，使在對(duì)圖像數(shù)據(jù)采樣之前，將塊劃分成位于偶數(shù)位置上的一組塊和位于奇數(shù)位置上的一組塊(下面將此方法稱為“子采樣(sub-sampling)”)，從而，減少了進(jìn)行相關(guān)操作所需要的計(jì)算操作的次數(shù)。
在上述的背景技術(shù)的方法中，只提供了一個(gè)相關(guān)運(yùn)算符。因此，存在這樣的問題，即要耗費(fèi)極長(zhǎng)的時(shí)間來搜索最大相關(guān)位置。例如，在圖3的實(shí)施例中，需要執(zhí)行15個(gè)相關(guān)操作。
通常，計(jì)算相關(guān)系數(shù)需要耗費(fèi)很多時(shí)間。因此，在采用這樣的方法的情況下，使得通過該方法對(duì)屬于標(biāo)準(zhǔn)塊的圖像數(shù)據(jù)和屬于參照塊的圖像數(shù)據(jù)進(jìn)行子采樣來縮短時(shí)間，如圖4所示，屬于偶數(shù)位置上的參照塊的子采樣的圖像數(shù)據(jù)不同于屬于奇數(shù)位置上的參照塊的子采樣的圖像數(shù)據(jù)。
例如，在圖4中，計(jì)算第一行的塊所需要的子采樣的圖像數(shù)據(jù)不同于計(jì)算第二行的塊所需要的子采樣的圖像數(shù)據(jù)。最終，由于子采樣操作而使得流水線(pipeline)處理變得不可能進(jìn)行。與通過流水線處理來進(jìn)行計(jì)算操作的情況相比，則出現(xiàn)了相關(guān)操作需要長(zhǎng)得多的時(shí)間的問題。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)設(shè)備和方法，與由運(yùn)動(dòng)圖像壓縮編碼設(shè)備在運(yùn)動(dòng)矢量檢測(cè)期間所使用的背景技術(shù)的一次一個(gè)方法所進(jìn)行的極值搜索相比，本發(fā)明方法使極值搜索變得更快。此外，本發(fā)明的目的還在于提供一種用于檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)設(shè)備和方法，使能對(duì)偶數(shù)的子采樣圖像數(shù)據(jù)進(jìn)行流水線處理。
本發(fā)明的運(yùn)動(dòng)矢量傳感器是這樣的運(yùn)動(dòng)矢量傳感器，它通過塊匹配方法來檢測(cè)運(yùn)動(dòng)矢量，所述塊匹配方法用于計(jì)算在標(biāo)準(zhǔn)圖像中的關(guān)注的標(biāo)準(zhǔn)塊和參照?qǐng)D像中的圖像塊之間的相關(guān)性，該傳感器包括多個(gè)相關(guān)性計(jì)算單元，對(duì)搜索范圍內(nèi)的搜索位置通過流水線方法進(jìn)行并行處理，所述搜索范圍通過以參照?qǐng)D像上的位于與標(biāo)準(zhǔn)塊相同位置的圖像塊作為中心位置來定義；該傳感器還包括搜索裝置，它在根據(jù)按照相關(guān)性計(jì)算的結(jié)果而預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)來順序運(yùn)動(dòng)中心位置的同時(shí)，搜索相關(guān)性極值。
根據(jù)上述，通過由流水線系統(tǒng)使用多個(gè)相關(guān)性計(jì)算單元來對(duì)相關(guān)性計(jì)算進(jìn)行并行處理。因此，與通過現(xiàn)有的一次一個(gè)方法進(jìn)行的搜索相比，能夠加快極值搜索。此外，在根據(jù)預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)運(yùn)動(dòng)中心位置的同時(shí)，搜索相關(guān)性極值，因而，能夠有效地搜索極值。
本發(fā)明的運(yùn)動(dòng)矢量傳感器還包括子采樣圖像生成器，通過對(duì)標(biāo)準(zhǔn)圖像和參照?qǐng)D像進(jìn)行子采樣，根據(jù)搜索位置為多個(gè)信道產(chǎn)生圖像數(shù)據(jù)。
據(jù)此，使用多信道的子采樣圖像數(shù)據(jù)來進(jìn)行相關(guān)性計(jì)算。從而，避免了由于子采樣而引起的流水線處理的劣化，因此，縮短了搜索運(yùn)動(dòng)矢量所需要的時(shí)間或擴(kuò)大了在預(yù)定時(shí)間段內(nèi)的運(yùn)動(dòng)矢量的搜索范圍。這樣，則可能搜索快速運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)矢量。
在本發(fā)明中，由預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)來確定搜索范圍，以使得在一次運(yùn)動(dòng)中心位置之后能夠確定相關(guān)性極值，或者在兩次運(yùn)動(dòng)中心位置之后能夠確定相關(guān)性極值。
據(jù)此，在一次運(yùn)動(dòng)搜索范圍的中心位置之后，或者，在最壞的情況下，在兩次運(yùn)動(dòng)中心位置之后，可以確定相關(guān)性極值。
在本發(fā)明中，如果用參照?qǐng)D像上的矩形來表達(dá)搜索范圍，而且當(dāng)最小相關(guān)值的當(dāng)前位置位于矩形的一個(gè)邊的中心時(shí)，該預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)則設(shè)置搜索范圍，以使得該位置成為下一搜索范圍的一個(gè)邊的中心，并使得包括最大數(shù)量的未搜索的搜索位置；如果最小相關(guān)值的當(dāng)前位置位于矩形的角上，該預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)則設(shè)置搜索范圍，以使得該位置成為下一搜索范圍的中心。
據(jù)此，設(shè)置搜索范圍，以便包括所有的符合第一搜索位置設(shè)置標(biāo)準(zhǔn)的搜索位置，從而能夠在下一次搜索結(jié)束時(shí)，確定當(dāng)前的最小相關(guān)系數(shù)是否是極值。
在本發(fā)明中，在用參照?qǐng)D像上的矩形來表達(dá)搜索范圍時(shí)，如果最小相關(guān)值的當(dāng)前位置位于矩形的一個(gè)邊的中心，預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)則設(shè)置搜索范圍，以使得該位置成為下一搜索范圍的一個(gè)邊的中心，并使得包括最大數(shù)量的未搜索的搜索位置；如果最小值的當(dāng)前位置位于矩形的角上，預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)則設(shè)置包括此位置并運(yùn)動(dòng)以便包括最大數(shù)量的未搜索的搜索位置的搜索范圍。
據(jù)此，在做斜向運(yùn)動(dòng)時(shí)能夠進(jìn)行這樣一種運(yùn)動(dòng)，以包括最大數(shù)量的未搜索的搜索位置。因此，在根據(jù)搜索位置設(shè)置標(biāo)準(zhǔn)來設(shè)置搜索范圍，以使得該位置成為如先前所述的下一搜索范圍的中心時(shí)，在斜向運(yùn)動(dòng)期間完成搜索之前所經(jīng)歷的時(shí)間，增加缺陷的發(fā)生可以被防止。
在本發(fā)明中，如果最小相關(guān)性位置的當(dāng)前位置位于矩形的角上，并且，在設(shè)置包括該位置在內(nèi)并運(yùn)動(dòng)以便包括最大數(shù)量的未搜索的搜索位置的搜索范圍之后，如果所達(dá)到的最小相關(guān)值的位置是相同的位置，該預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)則設(shè)置以最小相關(guān)值的位置為中心的搜索范圍。
據(jù)此，在保證斜向方向上的搜索速度的同時(shí)，在至少運(yùn)動(dòng)兩次之后，能夠確定當(dāng)前的最小值是極值。因此，可以跟蹤快速運(yùn)動(dòng)的對(duì)象，并能減少多余的計(jì)算，從而能達(dá)到減少電能消耗的效果。
在本發(fā)明中，如果相關(guān)性計(jì)算操作的次數(shù)超過了預(yù)定的次數(shù)，則可通過更換搜索位置設(shè)置標(biāo)準(zhǔn)來設(shè)置新的搜索范圍。
據(jù)此，如果相關(guān)性計(jì)算操作的次數(shù)有所增加，則更換搜索位置設(shè)置標(biāo)準(zhǔn)，以便能夠設(shè)置新的搜索范圍。從而，能夠在開始啟動(dòng)搜索和進(jìn)行搜索的時(shí)間之間改變搜索范圍的設(shè)置。結(jié)果，能夠?qū)⑺阉髦苯舆M(jìn)行到相關(guān)系數(shù)的極值附近。這樣，則可指望將搜索直接收斂在極值附近。
在本發(fā)明中，如果相關(guān)性計(jì)算操作的次數(shù)降到預(yù)定次數(shù)以下，則通過更換搜索位置設(shè)置標(biāo)準(zhǔn)來設(shè)置新的搜索范圍。
據(jù)此，如果相關(guān)性最小值降到了預(yù)定值以下，則更換搜索位置設(shè)置標(biāo)準(zhǔn)，以便能夠設(shè)置新的搜索范圍。因此，能夠在開始啟動(dòng)搜索和進(jìn)行搜索的時(shí)間之間改變搜索范圍的設(shè)置。結(jié)果，能夠使搜索直接進(jìn)行到相關(guān)系數(shù)的極值附近。這樣，則可指望將搜索直接收斂于極值附近。
在本發(fā)明中，如果與當(dāng)前標(biāo)準(zhǔn)塊相鄰的標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量的檢測(cè)結(jié)果是可用的，則可根據(jù)是否使用相鄰標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量的評(píng)估來選擇搜索位置設(shè)置標(biāo)準(zhǔn)，從而設(shè)置搜索范圍。
據(jù)此，如果使用相鄰標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量，則能通過更換搜索位置設(shè)置標(biāo)準(zhǔn)來設(shè)置新的搜索范圍。因此，能夠在開始啟動(dòng)搜索和進(jìn)行搜索的時(shí)間之間改變搜索范圍的設(shè)置。結(jié)果，能夠使搜索直接進(jìn)行到相關(guān)系數(shù)的極值附近。這樣，則可指望將搜索直接收斂在極值附近。
在本發(fā)明中，能夠通過進(jìn)行控制來禁止搜索過的搜索位置的相關(guān)性計(jì)算。
據(jù)此，禁止搜索過的搜索位置的相關(guān)性計(jì)算，從而，削減多余的計(jì)算并達(dá)到減少電能消耗的效果。
本發(fā)明的運(yùn)動(dòng)矢量傳感器還包括相關(guān)系數(shù)存儲(chǔ)器，用于順序存儲(chǔ)呈現(xiàn)最大相關(guān)性的相關(guān)性最小值；比較器，它根據(jù)相關(guān)性計(jì)算的進(jìn)行來檢測(cè)呈現(xiàn)最大相關(guān)性的相關(guān)性最小值和搜索位置；計(jì)算范圍設(shè)置單元，它根據(jù)呈現(xiàn)最大相關(guān)性的搜索位置來確定下一搜索范圍；搜索完成確定器，它確定最大相關(guān)性位置的相關(guān)性最小值是否達(dá)到了相關(guān)性極值。
根據(jù)本發(fā)明的檢測(cè)運(yùn)動(dòng)矢量的方法包括指定圖像幀中的參照像素的地址以及參照像素的相鄰范圍N；計(jì)算以參照像素為中心的(2N+1)^2個(gè)塊和偏移該(2N+1)^2個(gè)塊M(1≤M≤N)個(gè)塊的那些塊之間的相關(guān)性；在與所獲得的(2N+1)^2塊的相關(guān)性中選擇呈現(xiàn)最大相關(guān)性的那些塊；輸出所選擇的塊的中心像素的地址。
根據(jù)本發(fā)明，與用現(xiàn)有的一次一個(gè)方法進(jìn)行的搜索相比，能夠加速極值的搜索。此外，在根據(jù)預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)來運(yùn)動(dòng)中心位置的同時(shí)，搜索相關(guān)性極值。因此，能夠有效地進(jìn)行極值搜索。這樣，在一次運(yùn)動(dòng)搜索范圍的中心位置之后，或者，在最壞的情況下，在兩次運(yùn)動(dòng)中心位置之后，達(dá)到能夠搜索相關(guān)性極值的效果。
此外，根據(jù)本發(fā)明，避免了由于子采樣而造成的流水線處理效率的劣化，并能縮短搜索運(yùn)動(dòng)矢量所需要的時(shí)間，或者是能夠擴(kuò)大在預(yù)定的時(shí)間內(nèi)的運(yùn)動(dòng)矢量的搜索范圍。這樣，則可以搜索快速運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)矢量。
計(jì)算所需要的時(shí)間短，這樣則能最終減少處理所需要的電能消耗，并使裝備有運(yùn)動(dòng)矢量傳感器的便攜式設(shè)備小型化，而且能用電池來長(zhǎng)時(shí)間地驅(qū)動(dòng)該設(shè)備。


圖1是方框圖，該圖示出了背景技術(shù)中的運(yùn)動(dòng)矢量傳感器的示例配置。
圖2是用于檢測(cè)運(yùn)動(dòng)矢量的參照?qǐng)D像的搜索范圍的概念圖。
圖3A是概念圖，該圖說明了用于檢測(cè)運(yùn)動(dòng)矢量的背景技術(shù)的一次一個(gè)方法的操作。
圖3B是概念圖，該圖說明了用于檢測(cè)運(yùn)動(dòng)矢量的背景技術(shù)的一次一個(gè)方法的操作。
圖4是視圖，該圖示出了示例子采樣的標(biāo)準(zhǔn)塊和示例子采樣的參照塊。
圖5A和圖5B是視圖，該圖示出了根據(jù)本發(fā)明的第一實(shí)施例到第四實(shí)施例的在運(yùn)動(dòng)矢量傳感器中相關(guān)性計(jì)算單元的流水線處理的時(shí)序。
圖6是方框圖，該圖示出了根據(jù)本發(fā)明的第一實(shí)施例到第四實(shí)施例的運(yùn)動(dòng)矢量傳感器的配置。
圖7是方框圖，該圖示出了根據(jù)本發(fā)明的第五實(shí)施例的運(yùn)動(dòng)矢量傳感器的配置。
圖8A、8B、8C、8D1、8D2、8D3、8E是視圖，該圖示出了按照搜索位置設(shè)置標(biāo)準(zhǔn)并根據(jù)最小相關(guān)系數(shù)的當(dāng)前位置來設(shè)置下一搜索范圍的方法。
圖9是視圖，該圖示出了根據(jù)本發(fā)明的第一實(shí)施例的搜索最小相關(guān)系數(shù)的位置的具體例子。
圖10是視圖，該圖示出了根據(jù)本發(fā)明的第二實(shí)施例的搜索最小相關(guān)系數(shù)的位置的具體例子。
圖11A1、11A2、11B、11C、11D1、11D2是視圖，該圖示出了根據(jù)本發(fā)明的第三實(shí)施例的搜索最小相關(guān)系數(shù)的位置的具體例子。
圖12是視圖，該圖示出了根據(jù)本發(fā)明的第五實(shí)施例的運(yùn)動(dòng)矢量傳感器中相關(guān)性計(jì)算單元的流水線處理的時(shí)序。
圖13A、13B、13C、13D、13E是視圖，該圖說明了根據(jù)搜索位置來改變進(jìn)行子采樣的位置的方式。
圖14是流程圖，該圖示出了根據(jù)本發(fā)明的第一實(shí)施例到第四實(shí)施例來搜索最小相關(guān)系數(shù)的位置的過程。
圖15是流程圖，該圖示出了根據(jù)本發(fā)明的第四實(shí)施例的在搜索最小相關(guān)系數(shù)的位置期間搜索范圍設(shè)置的過程。
圖16是流程圖，該圖示出了根據(jù)本發(fā)明的第四實(shí)施例的在搜索最小相關(guān)系數(shù)的位置期間搜索范圍設(shè)置的過程。
圖17是流程圖，該圖示出了根據(jù)本發(fā)明的第四實(shí)施例的在搜索最小相關(guān)系數(shù)的位置期間搜索范圍設(shè)置的過程。
圖18是流程圖，該圖示出了在能夠使用相鄰標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量的情況下，確定搜索開始位置的過程。
具體實(shí)施例方式
以下，將參照附圖來詳細(xì)說明本發(fā)明的實(shí)施例。
(第一實(shí)施例)圖6是方框圖，該圖示出了根據(jù)本發(fā)明的第一實(shí)施例的運(yùn)動(dòng)矢量傳感器的配置。在此實(shí)施例中，配置了相關(guān)性計(jì)算設(shè)備，以便能夠在以某個(gè)搜索標(biāo)準(zhǔn)位置為中心的八個(gè)方向上對(duì)相關(guān)性操作進(jìn)行流水線(或并行)處理；這八個(gè)方向是朝上的方向、朝下的方向、朝右的方向、朝左的方向、朝右上方的方向、朝右下方的方向、朝左上方的方向、朝左下方的方向。
在圖6中，標(biāo)號(hào)101表示用于保留輸入圖像的輸入圖像存儲(chǔ)器101；標(biāo)號(hào)102表示用于保留參照?qǐng)D像的參照?qǐng)D像存儲(chǔ)器；標(biāo)號(hào)103表示用于計(jì)算相關(guān)系數(shù)的多個(gè)相關(guān)性計(jì)算單元(相關(guān)性計(jì)算設(shè)備1到相關(guān)性計(jì)算設(shè)備9)；標(biāo)號(hào)104表示最小相關(guān)系數(shù)存儲(chǔ)器；105表示比較器；106表示最小相關(guān)系數(shù)位置存儲(chǔ)器；107表示運(yùn)動(dòng)矢量設(shè)置設(shè)備；108表示地址生成器，它順序產(chǎn)生未示出的行存儲(chǔ)器的地址；109表示搜索終止確定器；110表示計(jì)算范圍設(shè)置單元；111表示經(jīng)搜索位置存儲(chǔ)器；112表示相關(guān)性計(jì)算控制單元。每個(gè)相關(guān)性計(jì)算單元103具有差分運(yùn)算符，用以計(jì)算輸入圖像和參照?qǐng)D像間的差，還有用于確定差分絕對(duì)值的電路，以及對(duì)結(jié)果進(jìn)行相加的加法器。
下面將參照?qǐng)D5A和圖5B和圖6來詳細(xì)說明用于計(jì)算以搜索標(biāo)準(zhǔn)位置為中心的九個(gè)位置的相關(guān)系數(shù)的流水線處理。本實(shí)施例以假定不對(duì)輸入圖像和參照?qǐng)D像進(jìn)行子采樣為基礎(chǔ)。圖5A是視圖，該圖示出了時(shí)序，根據(jù)該時(shí)序，圖6所示的相關(guān)性計(jì)算設(shè)備1到相關(guān)性計(jì)算設(shè)備9在八個(gè)方向上計(jì)算中心位置的相關(guān)系數(shù)和周圍位置的相關(guān)系數(shù)(所有九個(gè)位置上的相關(guān)系數(shù))。
圖5B是視圖，該圖示出了輸入圖像數(shù)據(jù)和參照?qǐng)D像數(shù)據(jù)的結(jié)構(gòu)，在計(jì)算全部九個(gè)位置上的相關(guān)性時(shí)，這兩者都是需要的。對(duì)于16×16像素的標(biāo)準(zhǔn)塊，需要18×18像素的參照?qǐng)D像，它在垂直和水平方向上都比參照塊要寬一個(gè)像素。
在圖5A中，第一行是相關(guān)性計(jì)算單元1的操作時(shí)序，該單元進(jìn)行參照位置的左上位置(位置1)的相關(guān)性操作。同樣地，第二行和隨后的行是位置T、“t”、L、C、R、“b”、B和“r”的相關(guān)性計(jì)算單元2到9的操作時(shí)序。
首先，分別將在輸入圖像存儲(chǔ)器101中的屬于標(biāo)準(zhǔn)塊(16個(gè)像素)的行1的圖像數(shù)據(jù)和在參照?qǐng)D像存儲(chǔ)器102中的屬于參照?qǐng)D像(18個(gè)像素)的行1的圖像數(shù)據(jù)分別讀到行存儲(chǔ)器1(未示出)和行存儲(chǔ)器2(未示出)中。相關(guān)性計(jì)算單元1利用由地址生成器108順序產(chǎn)生的地址，從行存儲(chǔ)器1和行存儲(chǔ)器2中讀取像素?cái)?shù)據(jù)。利用差分運(yùn)算符來計(jì)算像素?cái)?shù)據(jù)集之間的差，并將這些差的絕對(duì)值相加，從而計(jì)算行1的相關(guān)系數(shù)1。
在相關(guān)性計(jì)算單元1的差分運(yùn)算符后面的一個(gè)時(shí)鐘信號(hào)的時(shí)間延遲，相關(guān)性計(jì)算單元2的差分運(yùn)算符開始操作，計(jì)算從行存儲(chǔ)器1和行存儲(chǔ)器2中讀取的像素?cái)?shù)據(jù)集之間的差，并將這些差的絕對(duì)值相加，從而計(jì)算行1的相關(guān)系數(shù)T。
在相關(guān)性計(jì)算單元1的差分運(yùn)算符后面的兩個(gè)時(shí)鐘信號(hào)的時(shí)間延遲，相關(guān)性計(jì)算單元3的差分運(yùn)算符開始操作，計(jì)算從行存儲(chǔ)器1和行存儲(chǔ)器2中讀取的像素?cái)?shù)據(jù)集之間的差，并將這些差的絕對(duì)值相加，從而計(jì)算行1的相關(guān)系數(shù)“t”。
如果相關(guān)性計(jì)算單元1到3已完成了存儲(chǔ)在行存儲(chǔ)器1和行存儲(chǔ)器2中的像素?cái)?shù)據(jù)的計(jì)算(經(jīng)過18個(gè)時(shí)鐘信號(hào))，則將參照?qǐng)D像(18個(gè)像素)的屬于行2的圖像數(shù)據(jù)裝載到行存儲(chǔ)器2中。此外，將標(biāo)準(zhǔn)塊的屬于行2的數(shù)據(jù)裝載到行存儲(chǔ)器1中。將標(biāo)準(zhǔn)塊的屬于行1的數(shù)據(jù)裝載到行存儲(chǔ)器3(未示出)中。此時(shí)，可以將行存儲(chǔ)器1中的數(shù)據(jù)作為屬于行存儲(chǔ)器3的數(shù)據(jù)來傳輸。
相關(guān)性計(jì)算單元1到3對(duì)行存儲(chǔ)器1和行存儲(chǔ)器2再次進(jìn)行相同的操作，從而繼續(xù)計(jì)算相關(guān)系數(shù)“1”、相關(guān)系數(shù)T和行2的相關(guān)系數(shù)“t”。相關(guān)性計(jì)算單元4到6也像相關(guān)性計(jì)算單元1到3那樣，對(duì)行存儲(chǔ)器1和行存儲(chǔ)器3進(jìn)行相同的操作，從而計(jì)算相關(guān)系數(shù)L、相關(guān)系數(shù)C和相關(guān)系數(shù)R。
如果相關(guān)性計(jì)算單元1到6已完成了上述的操作(經(jīng)過18個(gè)時(shí)鐘信號(hào))，則將與標(biāo)準(zhǔn)塊的行3、2和1相對(duì)應(yīng)的像素?cái)?shù)據(jù)裝載到行存儲(chǔ)器1、行存儲(chǔ)器3和行存儲(chǔ)器4(未示出)中。此外，將屬于參照?qǐng)D像的與行3相對(duì)應(yīng)的像素?cái)?shù)據(jù)裝載到行存儲(chǔ)器2中。
隨后，相關(guān)性計(jì)算單元1到6重復(fù)上述的操作，并同時(shí)更新在行存儲(chǔ)器中的數(shù)據(jù)。相關(guān)性計(jì)算單元7到9也像相關(guān)性計(jì)算單元1到3那樣，對(duì)行存儲(chǔ)器4與2，重復(fù)同樣的操作。
隨后，同樣地重復(fù)把數(shù)據(jù)存儲(chǔ)到行存儲(chǔ)器中以及相關(guān)性操作，直到各個(gè)相關(guān)性計(jì)算單元完成了標(biāo)準(zhǔn)塊的行1到行16的相關(guān)系數(shù)的計(jì)算為止。現(xiàn)在，將完成了相關(guān)系數(shù)計(jì)算的搜索位置順序地存儲(chǔ)到經(jīng)搜索位置存儲(chǔ)器111中(也可以采用設(shè)置與位置相應(yīng)的標(biāo)記而不存儲(chǔ)位置的方法)。
在此實(shí)施例中，通過使用未示出的行存儲(chǔ)器來進(jìn)行相關(guān)性操作。然而，也可以使用另一種配置，在此配置中，地址生成器直接指定輸入圖像存儲(chǔ)器的行存儲(chǔ)器的行地址和參照?qǐng)D像存儲(chǔ)器的行存儲(chǔ)器的行地址來讀取像素?cái)?shù)據(jù)，而不使用行存儲(chǔ)器。該配置的優(yōu)點(diǎn)與由上述配置而產(chǎn)生的優(yōu)點(diǎn)相同。
通常，圖1所示的相關(guān)性計(jì)算單元103以時(shí)間序列方式操作，以計(jì)算在上下左右方向上的相關(guān)系數(shù)。如果需要一個(gè)時(shí)鐘信號(hào)來計(jì)算一個(gè)像素的差的絕對(duì)值，則在現(xiàn)有的方法中需要1024個(gè)時(shí)鐘信號(hào)(16像素×16像素×4步驟)。相反的是，圖6所示的相關(guān)性計(jì)算單元1到9利用本實(shí)施例的流水線處理彼此并行地操作，以使得在九個(gè)方向上計(jì)算相關(guān)系數(shù)所需要的操作周期變?yōu)?24個(gè)周期((16+2)×(16+2))。
當(dāng)中心的相關(guān)系數(shù)變?yōu)樽钚≈禃r(shí)；即，在周圍八個(gè)方向上的所有的相關(guān)系數(shù)都大于中心的相關(guān)系數(shù)時(shí)，由于這些相關(guān)性計(jì)算操作都是作為圖6所示的相關(guān)性計(jì)算操作的基本操作來進(jìn)行的，因此，該計(jì)算操作是通過將中心位置作為搜索結(jié)果而完成的。
如果已經(jīng)完成了包括用于搜索相關(guān)性極值的輸入塊和周圍塊在內(nèi)的全部九個(gè)位置的相關(guān)性操作，比較器105則從存儲(chǔ)在最小相關(guān)系數(shù)存儲(chǔ)器104中的最小相關(guān)系數(shù)和此時(shí)所獲得的相關(guān)系數(shù)中搜索最小的相關(guān)系數(shù)。
如果已經(jīng)搜索了在最小相關(guān)系數(shù)的位置周圍的所有的八個(gè)方向，搜索終止確定器109則存儲(chǔ)對(duì)完成搜索的確定及搜索的結(jié)果，從而終止后續(xù)的搜索。結(jié)果，可以繼續(xù)最小相關(guān)系數(shù)的搜索。例如，即使在第N+1次搜索操作中，遞減的相關(guān)系數(shù)已變成遞增的相關(guān)系數(shù)，也能直接確定第N次搜索操作的結(jié)果是極值。
如果尚未完成搜索并且上下左右任何一個(gè)位置的相關(guān)系數(shù)都具有最小值，那么，計(jì)算范圍確定器110則利用搜索位置設(shè)置標(biāo)準(zhǔn)1來設(shè)置搜索范圍(搜索標(biāo)準(zhǔn)位置)(見圖8A和8B)。
如果最小值的當(dāng)前位置是中心(圖8A)，搜索位置設(shè)置標(biāo)準(zhǔn)1則設(shè)置搜索范圍(搜索標(biāo)準(zhǔn)位置)，以使得該位置成為下一搜索范圍的一個(gè)邊的中心，并包含最大數(shù)量的未搜索的搜索位置(圖8A中的空白塊)。此外，如果最小值的當(dāng)前位置是角(圖8B)，則設(shè)置搜索范圍以使得該位置成為下一搜索范圍的中心。盡管圖8A中只示出了右搜索標(biāo)準(zhǔn)位置，但是，上、下、左、右方向上的參照位置是彼此相同的。
搜索位置設(shè)置裝置設(shè)置搜索范圍使得包括所有的搜索位置設(shè)置標(biāo)準(zhǔn)，從而，在完成下一搜索操作的時(shí)間點(diǎn)，能夠確定當(dāng)前的最小相關(guān)系數(shù)是否是極值。在最小相關(guān)系數(shù)的當(dāng)前位置周圍的八個(gè)方向上的搜索位置之中設(shè)置搜索標(biāo)準(zhǔn)位置。這樣做的原因在于，能夠確定當(dāng)前的最小相關(guān)性位置的最小相關(guān)系數(shù)是否是下一搜索操作中的極值。
當(dāng)在任何對(duì)角線的方向上取得最小值時(shí)，則設(shè)置搜索標(biāo)準(zhǔn)位置以便包納符合圖8B所示的搜索位置設(shè)置標(biāo)準(zhǔn)1的全部搜索位置以及除那些搜索過的位置以外的最大數(shù)量的未搜索的位置。這樣做的原因與在上下左右的任何方向上獲取最小值的情況下的原因相同；這就是說，在完成下一搜索操作的時(shí)間點(diǎn)，能夠?qū)?dāng)前的最小值確定為極值。此外，在搜索過的位置含于當(dāng)前搜索位置中時(shí)，則可以禁止這些位置的相關(guān)性計(jì)算。
圖9示出了上述的搜索操作的具體例子。圖14示出了搜索過程的流程圖。在圖9中，利用由圖6所示的相關(guān)性計(jì)算單元1到9執(zhí)行的相關(guān)性計(jì)算來計(jì)算由位置11到1r指示的計(jì)算范圍1中的相關(guān)系數(shù)。由比較器105來確定最小相關(guān)系數(shù)的位置。在此，假定位置1L是最小相關(guān)系數(shù)的位置。
計(jì)算范圍設(shè)置單元110設(shè)置計(jì)算范圍2(位置21到2r)，以便包納搜索位置設(shè)置標(biāo)準(zhǔn)1(圖9的2t，2R，2r)并最大化未搜索區(qū)域。以與搜索范圍1相同的方式，對(duì)計(jì)算范圍2進(jìn)行相關(guān)性計(jì)算和最大相關(guān)性位置的確定。此處，假定位置21最小。
計(jì)算范圍設(shè)置單元110設(shè)置計(jì)算范圍3(位置31到3r)，以便包納符合根據(jù)圖8B的搜索位置設(shè)置標(biāo)準(zhǔn)1的搜索位置并進(jìn)行相關(guān)性計(jì)算。下面將按照相同的方式來進(jìn)行相關(guān)性計(jì)算并繼續(xù)搜索，直到在周圍八個(gè)方向的中心找到最小相關(guān)系數(shù)(最大相關(guān)性)的位置為止。圖9的概念圖示出了屏幕上參照塊的尺寸。
參照?qǐng)D14所示的流程圖來說明上述的操作。
步驟201設(shè)置搜索開始位置，以便指定第一操作的計(jì)算范圍。
步驟202清除相關(guān)系數(shù)存儲(chǔ)器。
步驟203利用計(jì)算范圍設(shè)置單元110來指定在標(biāo)準(zhǔn)塊中的圖像數(shù)據(jù)和參照塊中的圖像數(shù)據(jù)，這兩個(gè)塊都與計(jì)算范圍中的搜索過的位置相對(duì)應(yīng)。
步驟204通過流水線處理計(jì)算各個(gè)搜索位置的相關(guān)系數(shù)。
步驟205利用比較器105來確定計(jì)算范圍內(nèi)的最小相關(guān)系數(shù)。
步驟206將在步驟S205中確定的最小相關(guān)系數(shù)與存儲(chǔ)在存儲(chǔ)器中的最小相關(guān)系數(shù)相比較，并根據(jù)需要，在步驟S207中更新存儲(chǔ)在存儲(chǔ)器中的最小相關(guān)系數(shù)。
步驟208如果尚未搜索在存儲(chǔ)器中的最小相關(guān)系數(shù)的搜索位置周圍的八個(gè)像素，則回到步驟S203。
步驟209根據(jù)在存儲(chǔ)器中的最小相關(guān)系數(shù)和相應(yīng)的位置來確定運(yùn)動(dòng)矢量。
(第二實(shí)施例)在第一實(shí)施例中，搜索位置設(shè)置裝置確定搜索標(biāo)準(zhǔn)位置，以便總能夠通過下一搜索操作來確定極值。然而，根據(jù)此方法，利用在對(duì)角線方向位移的時(shí)間已經(jīng)搜索到了四個(gè)搜索位置。因此，在快速運(yùn)動(dòng)對(duì)象的情況下，在完成搜索之前所經(jīng)過的時(shí)間(計(jì)算操作的次數(shù))則增加了。于是，則出現(xiàn)增加計(jì)算所消耗電能的問題，并在預(yù)定的時(shí)間段內(nèi)不能完成運(yùn)動(dòng)矢量的搜索(視頻幀速率)。
在上下左右的方向上，能夠確定極值而不包括未搜索的位置。因此，根據(jù)第二實(shí)施例的搜索位置設(shè)置裝置2使得能夠僅在對(duì)角線方向上發(fā)生最大的運(yùn)動(dòng)，而不設(shè)置使得能夠確定下一搜索參照位置的極值的區(qū)域。然而，如果進(jìn)行了設(shè)置而在當(dāng)前搜索標(biāo)準(zhǔn)位置和下一搜索標(biāo)準(zhǔn)位置之間又沒有重疊，則可能會(huì)搜索到假(false)極值。由于這個(gè)緣故，如圖8C所示，至少要提供一個(gè)重疊。
然而，即使在最小相關(guān)性的位置再次是相同位置的情況下，也不能將這個(gè)位置確定為極值。因此，如圖8C所示，增加確定極值所需要的位置作為搜索位置設(shè)置標(biāo)準(zhǔn)3；設(shè)置搜索范圍，以使得再次是相同位置的最小相關(guān)性位置成為該范圍的中心；并計(jì)算相關(guān)系數(shù)。
隨后，在下一次搜索操作之后，在搜索操作時(shí)，為了能夠確定當(dāng)前最小值作為極值，則進(jìn)行設(shè)置以不可避免地包括圖8C所示的未搜索的搜索位置設(shè)置標(biāo)準(zhǔn)2，如果已經(jīng)搜索過了在搜索位置設(shè)置標(biāo)準(zhǔn)2中的位置之一，則還應(yīng)該包括搜索位置設(shè)置標(biāo)準(zhǔn)3，以及最大數(shù)量的其它未搜索的位置。
圖8D1到8D3示出了這個(gè)實(shí)施例。在圍繞最小相關(guān)系數(shù)的當(dāng)前位置的八個(gè)方向上的搜索標(biāo)準(zhǔn)位置中設(shè)置搜索標(biāo)準(zhǔn)位置。其原因在于，要確定在下一搜索操作之后，在搜索操作時(shí)，最小相關(guān)性的當(dāng)前位置是否是極值。
通過設(shè)置如上所述的搜索標(biāo)準(zhǔn)位置，在確保對(duì)角線方向上的搜索速度的同時(shí)，在至少運(yùn)動(dòng)兩次之后，能夠確定當(dāng)前的最小值是極值。結(jié)果，能夠跟蹤快速運(yùn)動(dòng)的對(duì)象，減少了無用的計(jì)算。因此，能夠產(chǎn)生減少電能消耗的效果。
圖10示出了本實(shí)施例中的具體的搜索例子。在第一步中，位置11最小。因此，在圖10示出的第二步中，計(jì)算范圍設(shè)置單元110將以位置2C為中心的范圍設(shè)置為包括搜索位置設(shè)置標(biāo)準(zhǔn)2的計(jì)算范圍，在此范圍中存在最大數(shù)量的未搜索過的位置。
圖8D1到圖8D3示出了在完成搜索后直接獲得計(jì)算范圍(搜索范圍)的操作。在此，塊中的標(biāo)號(hào)示意性地表明了計(jì)算過程的步驟；塊中的標(biāo)記“a”示意性地代表已經(jīng)搜索過的搜索位置。
圖8D1示出了三步完成搜索的方式，在此，黑實(shí)心塊代表最大相關(guān)性。在第二步中，對(duì)在第一步中發(fā)現(xiàn)的最大相關(guān)性位置(黑實(shí)心塊)進(jìn)行相關(guān)性計(jì)算，此計(jì)算是針對(duì)包括符合搜索位置設(shè)置標(biāo)準(zhǔn)2的搜索位置的計(jì)算范圍2而進(jìn)行的。因此，在黑實(shí)心塊呈現(xiàn)最大相關(guān)性時(shí)，設(shè)置計(jì)算范圍3，以便包括剩余的搜索位置設(shè)置標(biāo)準(zhǔn)3。
圖8D2示出了在已對(duì)塊中用標(biāo)記“a”代表的搜索位置進(jìn)行了相關(guān)性計(jì)算的情況下，檢測(cè)黑實(shí)心塊中的最大相關(guān)性的方式。設(shè)置計(jì)算范圍，以避免在第二步中已計(jì)算過相關(guān)系數(shù)的那些塊。因此，在搜索進(jìn)行到第三步時(shí)，己經(jīng)計(jì)算過了全部的搜索位置設(shè)置標(biāo)準(zhǔn)2的相關(guān)系數(shù)和搜索位置設(shè)置標(biāo)準(zhǔn)3中的某一些的相關(guān)系數(shù)。設(shè)置計(jì)算范圍，以便包括在第三步中的搜索位置設(shè)置標(biāo)準(zhǔn)3。
在圖8D3中，已對(duì)塊中用標(biāo)記“a”代表的搜索位置進(jìn)行了相關(guān)性計(jì)算。然而，在搜索已進(jìn)入第二步時(shí)的某點(diǎn)上，已經(jīng)計(jì)算過了搜索位置設(shè)置標(biāo)準(zhǔn)2中的某一些。因此，設(shè)置計(jì)算范圍，以便包括在第二步中剩余的搜索位置設(shè)置標(biāo)準(zhǔn)2、3。
圖8E是例子，在此例中，如果在第三步中在橫向上設(shè)置了搜索范圍，則設(shè)置計(jì)算范圍，以避免出現(xiàn)與在第一步中已對(duì)其進(jìn)行過相關(guān)性計(jì)算的那些塊的重疊；這就是說，使得未搜索過的位置的數(shù)目最大化。
(第三實(shí)施例)第一和第二實(shí)施例已經(jīng)說明了搜索位置是3×3的情況；這就是說，搜索位置是9。但是，甚至可將相同的概念用到搜索位置的數(shù)目增加到超過9的情況之中。然而，在上下左右的方向上，則根據(jù)檢測(cè)到最小相關(guān)系數(shù)的位置來改變?cè)O(shè)置搜索位置的位置，以便更有效地搜索極值。在3×3的搜索范圍中，設(shè)置搜索位置以便只在上下左右方向中的一個(gè)方向上擴(kuò)展范圍。例如，在搜索位置為5×5的情況下，可以在圖11A1、11A2、11B、11C、11D1、11D2所示的三個(gè)方向上，即稍許向上的方向、稍許向下的方向和右水平方向上，根據(jù)檢測(cè)的最小值的位置，設(shè)置搜索范圍。
圖11A1和11A2與圖8A相對(duì)應(yīng)。相對(duì)于上下左右的方向，出現(xiàn)右水平位置、上水平位置以及下水平位置(未示出)的搜索位置設(shè)置標(biāo)準(zhǔn)1。圖11B和11C與圖8B和8C相對(duì)應(yīng)，并示出了能夠相應(yīng)于第一和第二實(shí)施例進(jìn)行操作的搜索位置設(shè)置標(biāo)準(zhǔn)1到3。具體地說，圖11C示出了在最小相關(guān)系數(shù)的位置到達(dá)四個(gè)角之一時(shí)，用來設(shè)置搜索位置設(shè)置標(biāo)準(zhǔn)2和3的方法。
利用相應(yīng)于第一實(shí)施例的操作，設(shè)置下一步的搜索范圍，以便包括所有的未搜索過的搜索位置設(shè)置標(biāo)準(zhǔn)1和最大數(shù)量的未搜索過的搜索位置(圖11A1、11A2、11B、11C、11D1、11D2中的空白塊)，并由此來搜索最小相關(guān)系數(shù)的位置。
當(dāng)四個(gè)角的任何一個(gè)呈現(xiàn)最小相關(guān)系數(shù)時(shí)，利用相應(yīng)于第二實(shí)施例的操作來設(shè)置下一步的搜索范圍，以便包括所有的未搜索過的搜索位置設(shè)置標(biāo)準(zhǔn)2。如果只搜索了搜索位置設(shè)置標(biāo)準(zhǔn)2中的一個(gè)，則設(shè)置下一步的搜索范圍，以便包括搜索位置設(shè)置標(biāo)準(zhǔn)3和最大數(shù)量的其它未搜索過的位置，從而搜索最小相關(guān)系數(shù)的位置。
圖11D1和11D2示出了在使用搜索位置設(shè)置標(biāo)準(zhǔn)2和3時(shí)運(yùn)動(dòng)搜索范圍的方式。圖11D1示出了在三步中確定最大相關(guān)性的位置(黑實(shí)心塊)的方式。在第二步中，設(shè)置搜索范圍以便包括所有的搜索位置設(shè)置標(biāo)準(zhǔn)2。在第三步中，己搜索了所有的搜索位置設(shè)置標(biāo)準(zhǔn)2，因此，設(shè)置搜索范圍以便包括所有的搜索位置設(shè)置標(biāo)準(zhǔn)2和3。
在已對(duì)塊中的由標(biāo)記“a”表示的搜索位置進(jìn)行了相關(guān)計(jì)算的情況下，圖11D2示出了在確定最大相關(guān)性的位置之前的兩個(gè)最近的步驟。在第二步中，在這兩個(gè)最近的步驟之前，已搜索了某些搜索位置設(shè)置標(biāo)準(zhǔn)2。由于這個(gè)緣故，設(shè)置搜索范圍以便包括所有的搜索位置設(shè)置標(biāo)準(zhǔn)2和3。
(第四實(shí)施例)本實(shí)施例以自適應(yīng)方式切換在第一實(shí)施例中所描述的搜索位置設(shè)置裝置和在第二實(shí)施例中所描述的搜索位置設(shè)置裝置。在開始啟動(dòng)搜索時(shí)，根據(jù)第二實(shí)施例來設(shè)置搜索范圍。如果已經(jīng)進(jìn)行了搜索，則根據(jù)第一實(shí)施例來設(shè)置搜索范圍。結(jié)果，能夠使搜索直接進(jìn)行到極值相關(guān)系數(shù)附近。從而，能夠指望搜索直接收斂在極值附近。
根據(jù)相關(guān)系數(shù)可將第一實(shí)施例的方法切換到第二實(shí)施例的方法。如果假定相關(guān)系數(shù)為預(yù)定的尺寸或更大，則根據(jù)第二實(shí)施例的方法來設(shè)置搜索范圍。如果假定相關(guān)系數(shù)小于預(yù)定尺寸，則根據(jù)第一實(shí)施例的方法來設(shè)置搜索范圍，從而，可指望達(dá)到類似的效果。
圖15到圖18是流程圖，它們示出了本實(shí)施例的搜索過程。圖15到圖17僅示出了圖14中步驟3的計(jì)算范圍設(shè)置。
在圖15中，如果搜索操作的數(shù)目，即進(jìn)行相關(guān)性計(jì)算的次數(shù)超過了預(yù)定數(shù)，則切換搜索位置設(shè)置標(biāo)準(zhǔn)。在圖16中，如果當(dāng)前塊的相關(guān)系數(shù)的尺寸變得小于預(yù)定值，則切換搜索位置設(shè)置標(biāo)準(zhǔn)。
如果在啟動(dòng)搜索時(shí)，檢測(cè)到與當(dāng)前計(jì)算的標(biāo)準(zhǔn)塊相鄰的標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量，而不是當(dāng)前計(jì)算的標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量，則通過使用檢測(cè)結(jié)果來確定搜索開始位置，從而能夠指望加速相關(guān)系數(shù)的直到極值附近的搜索。
為了控制開始搜索的位置，如圖7的方框圖所示，本實(shí)施例的運(yùn)動(dòng)矢量傳感器裝配有開始位置設(shè)置單元113，下面將要對(duì)此加以說明。
圖18是流程圖，該圖說明了在能夠使用相鄰標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量的情況下，用于確定是否采用搜索開始位置的過程。在圖17中，根據(jù)確定的結(jié)果來切換搜索位置設(shè)置標(biāo)準(zhǔn)。
(第五實(shí)施例)相關(guān)性計(jì)算需要許多計(jì)算操作。例如，在對(duì)16×16像素的標(biāo)準(zhǔn)塊進(jìn)行相關(guān)性計(jì)算的情況下，則需要256次減或256次加。由于這個(gè)緣故，通常要進(jìn)行子采樣操作，例如，如圖4和圖13A、13B、13C、13D、13E所示，僅使用標(biāo)準(zhǔn)塊中的偶數(shù)像素。
此時(shí)，根據(jù)搜索位置來改變進(jìn)行子采樣的位置。下面將參照?qǐng)D13A、13B、13C、13D、13E對(duì)此加以說明。圖13A示出了對(duì)16×16像素的標(biāo)準(zhǔn)塊進(jìn)行子采樣的方式。用灰色表示圖中所用的像素。
圖13B、13C和13D示出了搜索標(biāo)準(zhǔn)位置的參照塊。在此，用圖13B、13C和13D中的粗線框來表示圖13E中所示的搜索位置“1”、T和“t”的參照塊。通過比較圖13B和13C能夠看出，如果搜索位置偏移像素，則會(huì)改變參照塊的子采樣位置。雖然未示出另一搜索位置，但是可以通過使由粗線框指示的參照塊向下偏移一行來達(dá)到這個(gè)位置。
在進(jìn)行子采樣時(shí)，不能同時(shí)進(jìn)行圖5所示的1、3、4、6、7和9行(而不是搜索位置T、C和B)的流水線處理和2、5和8行(搜索位置T、C和B)的流水線處理。或者，必須為行1、3、4、6、7和9的獨(dú)立流水線處理和行2、5和8的獨(dú)立流水線處理做好準(zhǔn)備。
在本實(shí)施例中，準(zhǔn)備了兩個(gè)通過對(duì)參照?qǐng)D像子采樣而形成的圖像數(shù)據(jù)信道。對(duì)于除了搜索位置T、C和B以外的搜索位置的相關(guān)性計(jì)算以及搜索位置T、C和B的相關(guān)性計(jì)算，使用分離的參照塊的圖像存儲(chǔ)器，從而能夠進(jìn)行流水線處理。
盡管未示出，但同樣地增加了采樣參照塊的圖像存儲(chǔ)器的數(shù)量，即使是在對(duì)每?jī)蓚€(gè)像素或每三個(gè)像素而不是對(duì)每個(gè)像素進(jìn)行子采樣的情況下也是如此。例如，在對(duì)每?jī)蓚€(gè)像素進(jìn)行子采樣時(shí)，將搜索位置“t”、L和“b”分配給參照?qǐng)D像存儲(chǔ)器1；將搜索位置T、C和B分配給參照?qǐng)D像存儲(chǔ)器2；將其它的搜索位置分配給參照?qǐng)D像存儲(chǔ)器3，從而能達(dá)到類似的效果。
圖7是方框圖，該圖示出了根據(jù)本發(fā)明第五實(shí)施例的運(yùn)動(dòng)矢量傳感器的配置。在圖7中，對(duì)于圖6所示的第一實(shí)施例的配置，根據(jù)子采樣的方法，將參照?qǐng)D像存儲(chǔ)器102的數(shù)量增加到“n”。
并不需要物理地劃分參照?qǐng)D像存儲(chǔ)器102，而只需要該參照?qǐng)D像存儲(chǔ)器能夠進(jìn)行同時(shí)存取。例如，將較高級(jí)的單個(gè)的地址分配給參照?qǐng)D像存儲(chǔ)器1，將較低級(jí)的單個(gè)的地址分配給參照?qǐng)D像存儲(chǔ)器2(或者可以進(jìn)而將此單個(gè)的地址劃分為多個(gè)級(jí)別)。
圖12是視圖，該圖示出了在對(duì)每個(gè)像素進(jìn)行子采樣的情況下，相關(guān)性計(jì)算單元1到9按照與圖5A和圖5B相同的方式來計(jì)算相關(guān)系數(shù)的時(shí)序。這些相關(guān)性計(jì)算單元的基本操作與圖5A和圖5B所示的相關(guān)性計(jì)算單元的基本操作相同。然而，分配給這些相關(guān)性計(jì)算單元的參照?qǐng)D像存儲(chǔ)器是不同的。
如上所述，在本實(shí)施例中，根據(jù)子采樣的方法，使用了多個(gè)參照?qǐng)D像存儲(chǔ)器。因此，避免了由于子采樣造成的流水線效率劣化，并且能夠縮短搜索運(yùn)動(dòng)矢量所需要的時(shí)間，或者能擴(kuò)大在預(yù)定時(shí)間內(nèi)的運(yùn)動(dòng)矢量的搜索范圍。這樣，則可以搜索快速運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)矢量。
與采用現(xiàn)有的一次一個(gè)方法所進(jìn)行的檢測(cè)相比，根據(jù)本發(fā)明的用于檢測(cè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量檢測(cè)設(shè)備和方法能夠加速極值的搜索。在根據(jù)預(yù)定的搜索位置設(shè)置標(biāo)準(zhǔn)來運(yùn)動(dòng)中心位置的同時(shí)，搜索相關(guān)性極值。因此，能夠有效地進(jìn)行極值搜索。在一次運(yùn)動(dòng)搜索范圍的中心位置之后，或者，最壞的情況下，在兩次運(yùn)動(dòng)中心位置之后，達(dá)到了能夠搜索相關(guān)性極值的效果。作為由運(yùn)動(dòng)圖像壓縮編碼設(shè)備使用的運(yùn)動(dòng)矢量檢測(cè)技術(shù)或類似技術(shù)，本發(fā)明的設(shè)備和方法是很有用的。
本申請(qǐng)基于日本專利申請(qǐng)No.2004-187953，將其合并于此以供參照。
權(quán)利要求
1.一種運(yùn)動(dòng)矢量傳感器，其通過塊匹配方法來檢測(cè)運(yùn)動(dòng)矢量，所述塊匹配方法用于計(jì)算在標(biāo)準(zhǔn)圖像的關(guān)注的標(biāo)準(zhǔn)塊和參照?qǐng)D像的圖像塊之間的相關(guān)性，該傳感器包括多個(gè)相關(guān)性計(jì)算單元，對(duì)搜索范圍內(nèi)的搜索位置通過流水線方法進(jìn)行并行處理，所述搜索范圍通過以參照?qǐng)D像上的位于與標(biāo)準(zhǔn)塊相同位置的圖像塊作為中心位置來定義；搜索裝置，根據(jù)相關(guān)性計(jì)算的結(jié)果，在按照預(yù)定搜索位置設(shè)置標(biāo)準(zhǔn)來順序運(yùn)動(dòng)中心位置的同時(shí)，搜索相關(guān)性極值。
2.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量傳感器，還包括子采樣圖像生成器，所述子采樣圖像生成器通過對(duì)標(biāo)準(zhǔn)圖像和參照?qǐng)D像進(jìn)行子采樣，根據(jù)搜索位置對(duì)多個(gè)信道產(chǎn)生圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量傳感器，其中，預(yù)定搜索位置設(shè)置標(biāo)準(zhǔn)確定搜索范圍，以便在運(yùn)動(dòng)中心位置一次后，能夠確定相關(guān)性極值，或者在運(yùn)動(dòng)中心位置兩次后，能夠確定相關(guān)性極值。
4.根據(jù)權(quán)利要求3的運(yùn)動(dòng)矢量傳感器，其中，如果由參照?qǐng)D像上的矩形來表示搜索范圍，并且最小相關(guān)值的當(dāng)前位置位于矩形的一個(gè)邊的中心，那么，預(yù)定搜索位置設(shè)置標(biāo)準(zhǔn)設(shè)置搜索范圍，以使得該位置成為下一搜索范圍的一個(gè)邊的中心，并使得包括最大數(shù)量的未搜索的搜索位置；并且，如果最小值的當(dāng)前位置位于矩形的角，則預(yù)定搜索位置設(shè)置標(biāo)準(zhǔn)設(shè)置搜索范圍，以使得該位置成為下一搜索范圍的中心。
5.根據(jù)權(quán)利要求3的運(yùn)動(dòng)矢量傳感器，其中，如果由參照?qǐng)D像上的矩形來表示搜索范圍，并且最小相關(guān)值的當(dāng)前位置位于矩形的一個(gè)邊的中心，那么，預(yù)定搜索位置設(shè)置標(biāo)準(zhǔn)設(shè)置搜索范圍，以使得該位置成為下一搜索范圍的一個(gè)邊的中心，并使得包括最大數(shù)量的未搜索的搜索位置；并且，如果最小值的當(dāng)前位置位于矩形的角，則預(yù)定搜索位置設(shè)置標(biāo)準(zhǔn)設(shè)置搜索范圍，所述搜索范圍包括該位置并被運(yùn)動(dòng)以包括最大數(shù)量的未搜索的搜索位置。
6.根據(jù)權(quán)利要求4的運(yùn)動(dòng)矢量傳感器，其中，如果最小相關(guān)值的當(dāng)前位置位于矩形的角，并且在設(shè)置包括該位置并被運(yùn)動(dòng)以包括最大數(shù)量的未搜索的搜索位置的搜索范圍之后，所達(dá)到的最小相關(guān)值的位置是相同位置，則預(yù)定搜索位置設(shè)置標(biāo)準(zhǔn)設(shè)置以最小相關(guān)值的位置為中心的搜索范圍。
7.根據(jù)權(quán)利要求3的運(yùn)動(dòng)矢量傳感器，其中，如果相關(guān)性計(jì)算操作的次數(shù)超過了預(yù)定數(shù)，則通過更換搜索位置設(shè)置標(biāo)準(zhǔn)來設(shè)置新的搜索范圍。
8.根據(jù)權(quán)利要求3的運(yùn)動(dòng)矢量傳感器，其中，如果相關(guān)性計(jì)算操作的次數(shù)低于預(yù)定數(shù)，則通過更換搜索位置設(shè)置標(biāo)準(zhǔn)來設(shè)置新的搜索范圍。
9.根據(jù)權(quán)利要求3的運(yùn)動(dòng)矢量傳感器，其中，如果與當(dāng)前標(biāo)準(zhǔn)塊相鄰的標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量的檢測(cè)結(jié)果可以使用，則根據(jù)是否使用相鄰標(biāo)準(zhǔn)塊的運(yùn)動(dòng)矢量的評(píng)估，來選擇搜索位置設(shè)置標(biāo)準(zhǔn)，從而設(shè)置搜索范圍。
10.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量傳感器，其中，進(jìn)行控制以禁止經(jīng)搜索的搜索位置的相關(guān)性計(jì)算。
11.根據(jù)權(quán)利要求1的運(yùn)動(dòng)矢量傳感器，還包括相關(guān)系數(shù)存儲(chǔ)器，順序存儲(chǔ)呈現(xiàn)最大相關(guān)性的相關(guān)性最小值；比較器，根據(jù)相關(guān)性計(jì)算的過程來檢測(cè)呈現(xiàn)最大相關(guān)性的相關(guān)性最小值和搜索位置；計(jì)算范圍設(shè)置單元，根據(jù)呈現(xiàn)最大相關(guān)性的搜索位置來確定下一搜索范圍；以及搜索完成確定器，確定最大相關(guān)性位置的相關(guān)性最小值是否已達(dá)到相關(guān)性極值。
12.用于檢測(cè)運(yùn)動(dòng)矢量的方法，包括指定圖像幀中的參照像素的地址以及參照像素的相鄰范圍N；計(jì)算在以參照像素為中心的(2N+1)^2個(gè)塊和偏移該(2N+1)^2個(gè)塊M(1≤M≤N)個(gè)塊的塊之間的相關(guān)性；在與所得到的(2N+1)^2個(gè)塊的相關(guān)性中選擇呈現(xiàn)最大相關(guān)性的塊；以及輸出所選擇的塊的中心像素的地址。
全文摘要
本發(fā)明涉及以位于與關(guān)注的標(biāo)準(zhǔn)塊相同位置上的參照?qǐng)D像塊而確定的搜索范圍中的搜索位置，通過使用多個(gè)相關(guān)性計(jì)算單元，以流水線方法通過并行處理來進(jìn)行相關(guān)性計(jì)算。當(dāng)根據(jù)按照相關(guān)性計(jì)算的結(jié)果的預(yù)定搜索位置設(shè)置標(biāo)準(zhǔn)順序運(yùn)動(dòng)中心位置時(shí)，搜索相關(guān)性極值。此外，在多個(gè)信道的系統(tǒng)存儲(chǔ)器中保留與搜索位置相對(duì)應(yīng)的多個(gè)信道的子采樣圖像數(shù)據(jù)，并通過使用多個(gè)相關(guān)性計(jì)算單元，以流水線方法，通過并行處理，對(duì)搜索位置進(jìn)行相關(guān)性計(jì)算。
文檔編號(hào)H04N7/12GK1713732SQ20051008102
公開日2005年12月28日 申請(qǐng)日期2005年6月27日 優(yōu)先權(quán)日2004年6月25日
發(fā)明者中村研史, 豬熊一行 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社