圖像處理裝置和方法、圖像處理系統(tǒng)和程序的制作方法
【專利摘要】本發(fā)明提供一種圖像處理裝置，包括：在立體攝像機(jī)中包括的多個(gè)成像單元，所述多個(gè)成像單元被配置為對(duì)第一圖形圖案進(jìn)行成像，所述第一圖形圖案包括為多個(gè)特征點(diǎn)的圖案和鏡面；以及校正參數(shù)計(jì)算單元，所述校正參數(shù)計(jì)算單元被配置為基于在由所述多個(gè)成像單元成像的第一圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)攝像單元的間隙進(jìn)行校正的校正參數(shù)。
【專利說明】圖像處理裝置和方法、圖像處理系統(tǒng)和程序
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2012年11月2日提交的日本在先專利申請(qǐng)JP2012-243180的權(quán)益，其全部?jī)?nèi)容通過引用包含于此。
【技術(shù)領(lǐng)域】
[0003]本公開涉及一種圖像處理裝置和方法、圖像處理系統(tǒng)和程序。具體地，本公開涉及一種圖像處理裝置和方法、圖像處理系統(tǒng)和程序，其可以容易地在小空間中以高準(zhǔn)確性實(shí)現(xiàn)對(duì)拍攝立體圖像的多個(gè)攝像機(jī)的校準(zhǔn)。
【背景技術(shù)】
[0004]通常，可以通過使用多個(gè)攝像機(jī)來拍攝三維圖像的技術(shù)很普及。
[0005]作為生成三維圖像的方法，已知通過設(shè)定兩個(gè)不同視點(diǎn)的攝像機(jī)形成立體攝像機(jī)，基于由該立體攝像機(jī)拍攝的立體圖像計(jì)算視差，并且通過使用該視差生成三維圖像的常見方法。
[0006]附帶地，雖然以在適當(dāng)?shù)姆较蛏显O(shè)定這里使用的兩個(gè)不同視點(diǎn)的攝像機(jī)為前提，但是已知無論如何設(shè)定它們，都產(chǎn)生特定物理間隙。因此，通常，通過對(duì)于兩個(gè)視點(diǎn)的攝像機(jī)的各個(gè)成像方向獲得由圖形圖案形成的圖像，并且通過使用成像結(jié)果預(yù)先進(jìn)行的校準(zhǔn)來計(jì)算出校正參數(shù)，由這些校正參數(shù)校正實(shí)際成像結(jié)果，并使用實(shí)際成像結(jié)果。
[0007]作為該立體攝像機(jī)的校準(zhǔn)方法，通過在改變視點(diǎn)的同時(shí)獲得在其上打印了位置關(guān)系已知的多個(gè)特征點(diǎn)的圖形圖案的多個(gè)圖像，來計(jì)算射影變換參數(shù)(projectivetransformation parameter),并且實(shí)現(xiàn)校準(zhǔn)(例如參見 “AFlexible New Technique forCamera Calibration, http://research, microsoft.com/ ?zhang，，)。
[0008]然而，在這種方法中，由于在不同的視點(diǎn)對(duì)圖形圖案進(jìn)行多次拍攝，因此需要移動(dòng)該圖形圖案或者移動(dòng)攝像機(jī)，這增加了調(diào)整工時(shí)。
[0009]因此,作為僅通過一次成像來執(zhí)行校準(zhǔn)以不增加“A Flexible NewTechnique forCamera Calibration, http://research, microsoft.com/ ?zhang，，中的調(diào)整工時(shí)的方法，提出了重疊具有透過性的兩個(gè)校準(zhǔn)圖形圖案，同時(shí)拍攝具有不同深度的兩個(gè)或更多個(gè)圖形圖案，并計(jì)算校正參數(shù)的方法(例如參見JP2006-250889A)。
[0010]然而，在“AFlexible New Technique for Camera Calibration, http://research, microsoft.com/?zhang”和JP2006-250889A兩者的技術(shù)中，當(dāng)對(duì)攝像機(jī)(即成像區(qū)域)相對(duì)于核線(即基線)的間隙角進(jìn)行估計(jì)和校正時(shí)，需要以子像素精度測(cè)量具有不同深度的兩個(gè)或更多個(gè)特征點(diǎn)的幾何位置關(guān)系。
[0011]因此，提出了如下技術(shù):通過同時(shí)獲得包括與平面圖形圖案不同深度的紋理圖像，并且使右側(cè)圖像和左側(cè)圖像的立體匹配的誤差量最小，可以容易并且準(zhǔn)確地對(duì)相對(duì)于校正目標(biāo)攝像機(jī)的基線方向(=右側(cè)攝像機(jī)和左側(cè)攝像機(jī)的核線)的右側(cè)攝像機(jī)成像區(qū)域和左側(cè)攝像機(jī)成像區(qū)域的傾斜進(jìn)行校正(其沒能僅通過一個(gè)圖像(第一深度)的平面檢測(cè)執(zhí)行校正)(例如 JP2011-253376A)。

【發(fā)明內(nèi)容】

[0012]然而，通過JP2006-250889A和JP2011-253376A中的方法，當(dāng)拍攝具有不同深度的圖像時(shí)，需要充分地保證深度方向上的空間，并且由于需要保證足夠?qū)挼目臻g來對(duì)在工廠中生產(chǎn)的立體攝像機(jī)進(jìn)行校準(zhǔn)，因此制造成本增加。
[0013]鑒于這些狀況作出并特別設(shè)計(jì)了本發(fā)明，以對(duì)一個(gè)圖形圖案設(shè)置鏡(鏡面)，由根據(jù)包括圖形圖案上的圖案和在鏡上映出的圖案的圖像計(jì)算的具有不同深度的特征點(diǎn)來估計(jì)兩個(gè)攝像機(jī)(即成像區(qū)域)相對(duì)于核線(即基線)的間隙角，并且基于估計(jì)的間隙角計(jì)算校正參數(shù)。
[0014]根據(jù)本公開的實(shí)施例，提供一種圖像處理裝置，包括:在立體攝像機(jī)中包括的多個(gè)成像單元，所述多個(gè)成像單元被配置為對(duì)第一圖形圖案進(jìn)行成像，所述第一圖形圖案包括為多個(gè)特征點(diǎn)的圖案和鏡面；以及校正參數(shù)計(jì)算單元，所述校正參數(shù)計(jì)算單元被配置為基于在由所述多個(gè)成像單元成像的第一圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)攝像單元的間隙進(jìn)行校正的校正參數(shù)。
[0015]所述校正參數(shù)計(jì)算單元可以計(jì)算對(duì)所述多個(gè)成像單元中的兩個(gè)成像單元的三個(gè)軸方向上的間隙和所述兩個(gè)成像單元相對(duì)于基線的旋轉(zhuǎn)角的間隙進(jìn)行校正的校正參數(shù)。
[0016]所述兩個(gè)成像單元相對(duì)于基線的旋轉(zhuǎn)角的間隙可以包括通過將所述成像單元的成像方向當(dāng)作軸而獲得的并且與所述基線垂直的旋轉(zhuǎn)角的間隙，以及通過將與所述成像單元的成像方向垂直的方向當(dāng)作軸而獲得的并且與所述基線垂直的旋轉(zhuǎn)角的間隙。
[0017]所述校正參數(shù)計(jì)算單元可以使用從所述成像單元到所述第一圖形圖案的距離、從所述成像單元到在所述第一圖形圖案中設(shè)置的鏡面的距離以及作為已知視差的、所述第一圖形圖案和第二圖形圖案之間的距離，來計(jì)算對(duì)所述兩個(gè)成像單元的三個(gè)軸方向上的間隙和所述兩個(gè)成像單元相對(duì)于基線的旋轉(zhuǎn)角的間隙進(jìn)行校正的校正參數(shù)。
[0018]所述多個(gè)成像單元可以對(duì)在所述第一圖形圖案中包括的圖案和在所述鏡面中映出的第二圖形圖案中包括的圖案進(jìn)行成像。
[0019]所述第二圖形圖案可以包括鏡面。所述多個(gè)成像單元可以對(duì)在所述第一圖形圖案中包括的圖案、以及在所述第一圖形圖案的鏡面中映出并在構(gòu)成所述第二圖形圖案的鏡面中映出的并且被包括在所述第一圖形圖案中的圖案進(jìn)行成像。
[0020]根據(jù)本公開的實(shí)施例，提供一種圖像處理方法，包括:由在立體攝像機(jī)中包括的多個(gè)成像單元執(zhí)行對(duì)第一圖形圖案進(jìn)行成像的成像處理，所述第一圖形圖案包括為多個(gè)特征點(diǎn)的圖案和鏡面；以及執(zhí)行校正參數(shù)計(jì)算處理，所述校正參數(shù)計(jì)算處理基于在多次所述成像處理中成像的圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)成像單元的間隙進(jìn)行校正的校正參數(shù)。
[0021]根據(jù)本公開的實(shí)施例，提供一種程序，用于使計(jì)算機(jī)執(zhí)行如下處理:由在立體攝像機(jī)中包括的多個(gè)成像單元對(duì)第一圖形圖案進(jìn)行成像，所述第一圖形圖案包括為多個(gè)特征點(diǎn)的圖案和鏡面；以及基于在所述成像步驟中的多次處理中成像的圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)成像單元的間隙進(jìn)行校正的校正參數(shù)。
[0022]根據(jù)本公開的另一實(shí)施例，提供一種圖像處理系統(tǒng)，包括:圖像處理裝置，所述圖像處理裝置包括多個(gè)成像單元；以及圖形圖案，所述圖形圖案被配置為在所述成像單元的成像方向上進(jìn)行校準(zhǔn)。所述圖形圖案包括在面對(duì)所述多個(gè)成像單元的位置設(shè)置的、為多個(gè)特征點(diǎn)的圖案以及鏡面。所述圖像處理裝置包括所述多個(gè)成像單元以及校正參數(shù)計(jì)算單元，所述多個(gè)成像單元被包括在立體攝像機(jī)中并且對(duì)所述圖形圖案進(jìn)行成像，所述校正參數(shù)計(jì)算單元基于在由所述多個(gè)成像單元成像的所述圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)成像單元的間隙進(jìn)行校正的校正參數(shù)。
[0023]根據(jù)本公開的第一實(shí)施例，形成立體攝像機(jī)的多個(gè)成像單元對(duì)第一圖形圖案進(jìn)行成像，所述第一圖形圖案包括為多個(gè)特征點(diǎn)的圖案和鏡面，并且基于在由所述多個(gè)成像單元成像的第一圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)攝像單元的間隙進(jìn)行校正的校正參數(shù)。
[0024]根據(jù)本公開的第二實(shí)施例，圖像處理裝置通過形成立體攝像機(jī)的多個(gè)成像單元對(duì)圖形圖案進(jìn)行成像，所述圖形圖案包括為多個(gè)特征點(diǎn)的圖案和鏡面，并且基于在由所述多個(gè)成像單元成像的第一圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)攝像單元的間隙進(jìn)行校正的校正參數(shù)。
[0025]本公開的第一和第二實(shí)施例的圖像處理裝置和圖像處理系統(tǒng)可以是進(jìn)行圖像處理的獨(dú)立裝置和系統(tǒng)或塊。
[0026]根據(jù)本公開的實(shí)施例中的一個(gè)或更多個(gè)，即使在有限的空間中，也可以容易地以高準(zhǔn)確性實(shí)現(xiàn)立體攝像機(jī)的校準(zhǔn)。
【專利附圖】

【附圖說明】
[0027]圖1是指示應(yīng)用本公開的圖像處理系統(tǒng)的實(shí)施例的外觀的配置示例的圖；
[0028]圖2是示出圖1中的圖像處理系統(tǒng)中的立體攝像機(jī)和圖形圖案的布局的一個(gè)示例的圖；
[0029]圖3是示出圖2中的立體攝像機(jī)側(cè)的圖形圖案的示例的圖；
[0030]圖4是示出圖1中的圖像處理系統(tǒng)中的立體攝像機(jī)的外觀配置示例的圖；
[0031]圖5是用于實(shí)現(xiàn)圖1中的圖像處理系統(tǒng)的功能的功能框圖；
[0032]圖6是用于描述校準(zhǔn)處理的流程圖；
[0033]圖7是用于描述立體攝像機(jī)拍攝的圖像的圖；
[0034]圖8是用于描述圖形圖案的示例的圖；
[0035]圖9是示出通過拍攝的圖形圖案的圖案得到的特征點(diǎn)的示例的圖；
[0036]圖10是用于定義校準(zhǔn)需要的校正參數(shù)的圖；
[0037]圖11是用于基于校準(zhǔn)需要的基線來定義校正參數(shù)的圖；
[0038]圖12是用于描述深度檢測(cè)處理的流程圖；
[0039]圖13是用于描述校準(zhǔn)之前和之后的通過拍攝的圖形圖案得到的特征點(diǎn)的圖；
[0040]圖14是示出立體攝像機(jī)和圖形圖案的另一布局的圖；以及
[0041]圖15是用于描述通用個(gè)人計(jì)算機(jī)的配置示例的圖。
【具體實(shí)施方式】
[0042]下文中，參考附圖，詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，用相同的附圖標(biāo)記表示具有基本相同的功能和結(jié)構(gòu)的構(gòu)成元素，并且省略對(duì)這些構(gòu)成元素的重復(fù)說明。
[0043]<圖像處理系統(tǒng)的外觀的配置示例>
[0044]圖1示出了被應(yīng)用了本發(fā)明的圖像處理系統(tǒng)的一個(gè)實(shí)施例的外觀的配置示例。在圖1中的圖像處理系統(tǒng)中，首先，立體攝像機(jī)11的成像單元21-1和21-2拍攝圖形圖案12，圖形圖案12包括圖案31-1至31-N，并且在圖形圖案12中還設(shè)置了鏡32。這時(shí)，除了圖形圖案12的圖案31-1至31-N之外，立體攝像機(jī)11的成像單元21_1和21_2還拍攝在鏡32中映出的圖形圖案12之外的其它圖案或者由紋理形成的圖形圖案13，并且將其提供給校準(zhǔn)單元14。
[0045]因此，校準(zhǔn)單元14基于由成像單元21-1和21-2獲得的兩個(gè)圖像，計(jì)算對(duì)成像單元21-1和21-2之間的間隙進(jìn)行校正的校正參數(shù)，并且使立體攝像機(jī)11對(duì)其進(jìn)行存儲(chǔ)。另夕卜，當(dāng)使用立體攝像機(jī)11實(shí)現(xiàn)深度檢測(cè)處理時(shí)，深度檢測(cè)單元15使用校正參數(shù)對(duì)由立體攝像機(jī)11的成像單元21-1和21-2獲得的圖像進(jìn)行校正，并且檢測(cè)視差圖像(即深度圖像)。
[0046]更具體地，圖1中的圖像處理系統(tǒng)包括立體攝像機(jī)11、圖形圖案12、圖形圖案13、校準(zhǔn)單元14和深度檢測(cè)單元15。立體攝像機(jī)11包括在水平方向上以預(yù)定間隔布置的并且在同一方向上獲得圖像的成像單元21-1和21-2。在校準(zhǔn)處理中，立體攝像機(jī)11通過成像單元21-1和21-2拍攝設(shè)置了鏡32的圖形圖案12，并且將兩個(gè)拍攝到的圖像提供給校準(zhǔn)單元14。隨后，立體攝像機(jī)11存儲(chǔ)在校準(zhǔn)單元14中通過基于這兩個(gè)圖像進(jìn)行的校準(zhǔn)處理而計(jì)算的校正參數(shù)。
[0047]此外，在深度檢測(cè)處理中，立體攝像機(jī)11通過成像單元21-1和21-2獲得圖像，將這些圖像提供給深度檢測(cè)單元15，并且響應(yīng)于這些圖像將在校準(zhǔn)處理中存儲(chǔ)的校正參數(shù)提供給深度檢測(cè)單元15。在使用校正參數(shù)對(duì)立體攝像機(jī)11拍攝的圖像進(jìn)行校正之后，深度檢測(cè)單元15基于兩個(gè)校正后的圖像檢測(cè)視差圖像。
[0048]如圖2所示，在相對(duì)于立體攝像機(jī)11的面對(duì)位置、相對(duì)于設(shè)置成像單元21-1和21-2的表面平行地設(shè)置圖形圖案12，并且在立體攝像機(jī)11的基本前面的位置設(shè)置鏡32。此外，在立體攝像機(jī)11后面，在面對(duì)圖形圖案12的位置平行地設(shè)置圖形圖案13。如圖3所示，圖形圖案13包括圖案41。通過這種配置，立體攝像機(jī)11的成像單元21-1和21-2拍攝圖形圖案12的圖案31-1至31-N，并且拍攝圖3所示的包括圖案41的圖形圖案13，其中，圖形圖案13設(shè)置在立體攝像機(jī)11的背面，并且圖形圖案13被映在設(shè)置在圖形圖案12中的鏡32中。由于以這種方式獲得的圖像包括設(shè)置在圖形圖案12上的圖案31和在鏡32中映出的圖案41，因此其遵從一個(gè)圖像包括具有與成像單元21-1和21-2不同的距離的圖案。其結(jié)果是，不需要拍攝具有不同距離的圖案來作為各個(gè)圖像。
[0049]如圖4所示，立體攝像機(jī)11的成像單元21-1和21_2的成像方向是與方向DX平行并且與直基線B垂直的方向PLX和PRX，方向DX垂直于構(gòu)成立體攝像機(jī)11的底架，直基線B連接安裝了成像單元21-1和21-2的位置。此外，下面，假設(shè)成像單元21-1和21_2之間的安裝間隔是沿著基線B的距離b。此外，如圖2所示，假設(shè)立體攝像機(jī)11的成像單元21-1和21-2的成像區(qū)域和圖形圖案12之間的距離是距離Z0，立體攝像機(jī)11的成像單元21-1和21-2的成像區(qū)域和鏡32之間的距離是距離Z1，并且鏡32的前表面和圖形圖案13之間的距離是距離Z2。[0050]校準(zhǔn)單元14進(jìn)行校準(zhǔn)處理，基于從立體攝像機(jī)11提供的圖像計(jì)算用于對(duì)成像單元21-1和21-2的成像方向進(jìn)行校正的校正參數(shù)，并且將其存儲(chǔ)在立體攝像機(jī)11中。
[0051]深度檢測(cè)單元15獲取立體攝像機(jī)11拍攝的圖像，并且獲取立體攝像機(jī)11提供的通過校準(zhǔn)處理計(jì)算后的校正參數(shù)。隨后，深度檢測(cè)單元15使用校正參數(shù)對(duì)立體攝像機(jī)11提供的圖像進(jìn)行校正，基于校正后的圖像以像素單位計(jì)算距離，并且檢測(cè)視差圖像(即深度圖像)。
[0052]<用于實(shí)現(xiàn)圖像處理系統(tǒng)的每個(gè)配置的功能>
[0053]接下來，參考圖5中的功能框圖，描述用于實(shí)現(xiàn)圖1中的圖像處理系統(tǒng)的每個(gè)配置的功能。同樣，圖5的上部的配置示出了在立體攝像機(jī)11和校準(zhǔn)單元14中進(jìn)行校準(zhǔn)處理時(shí)的配置，并且圖5的下部的配置示出了在立體攝像機(jī)11和深度檢測(cè)單元15中進(jìn)行深度檢測(cè)處理時(shí)的配置。
[0054]立體攝像機(jī)11包括成像單元21-1和21-2以及參數(shù)存儲(chǔ)單元61。成像單元21_1和21-2包括諸如CCD (電荷耦合器件)和CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的成像元件。成像單元21-1和21-2在水平方向上以預(yù)定距離b的間隔布置，相對(duì)于由連接成像單元21-1和21-2的安裝位置的直線形成的基線B在同一方向上拍攝包括鏡32的圖形圖案12，并且在對(duì)拍攝的圖像進(jìn)行校準(zhǔn)處理時(shí)將結(jié)果提供給校準(zhǔn)單元14。此外，在深度檢測(cè)處理中，成像單元21-1和21-2將拍攝的圖像提供給深度檢測(cè)單元15。這里，在不具體彼此區(qū)分成像單元21-1和21-2的情況下，可以將它們簡(jiǎn)稱為“成像單元21”，并且這同樣適用于其它部件。
[0055]參數(shù)存儲(chǔ)單元61存儲(chǔ)在校準(zhǔn)單元14中通過校準(zhǔn)處理計(jì)算的校正參數(shù)，并且在深度檢測(cè)處理中將存儲(chǔ)的校正參數(shù)與拍攝的圖像一起提供給深度檢測(cè)單元15。
[0056]校準(zhǔn)單元14包括特征點(diǎn)坐標(biāo)檢測(cè)單元101、參數(shù)估計(jì)單元102和參數(shù)存儲(chǔ)單元103。
[0057]特征點(diǎn)坐標(biāo)檢測(cè)單元101以子像素級(jí)別檢測(cè)包括立體攝像機(jī)11提供的圖像中的圖案的交叉點(diǎn)的特征點(diǎn)的坐標(biāo)，并且將其提供給參數(shù)估計(jì)單元102。
[0058]參數(shù)估計(jì)單元102基于特征點(diǎn)信息估計(jì)在立體攝像機(jī)11的成像單元21-1和21_2中校準(zhǔn)所需要的校正參數(shù)，并且將估計(jì)的校正參數(shù)提供給參數(shù)存儲(chǔ)單元103。
[0059]參數(shù)存儲(chǔ)單元103使立體攝像機(jī)11的參數(shù)存儲(chǔ)單元61保存并存儲(chǔ)校準(zhǔn)單元14提供的校正參數(shù)。
[0060]深度檢測(cè)單元15包括參數(shù)獲取單元121、校正單元122和立體匹配單元123。參數(shù)獲取單元121讀取并獲取存儲(chǔ)在立體攝像機(jī)11的參數(shù)存儲(chǔ)單元61中的校正參數(shù)，并且將其提供給校正單元122。
[0061]在深度檢測(cè)處理中，校正單元122獲取由立體攝像機(jī)11的成像單元21-1和21_2拍攝的兩個(gè)圖像，使用參數(shù)獲取單元121提供的校正參數(shù)進(jìn)行校正，并且將校正后的圖像提供給立體匹配單元123。
[0062]立體匹配單元123根據(jù)兩個(gè)校正后的圖像通過立體匹配處理以像素單位計(jì)算距離，并且生成并輸出視差圖像作為深度檢測(cè)結(jié)果。
[0063]<校準(zhǔn)處理>
[0064]接下來，參考圖6中的流程圖，描述校準(zhǔn)處理。
[0065]在步驟Sll中，立體攝像機(jī)11使用成像單元21-1和21_2拍攝包括左右兩個(gè)圖像的立體圖像，并且將其提供給校準(zhǔn)單元14。這時(shí)，校準(zhǔn)單元14的特征點(diǎn)坐標(biāo)檢測(cè)單元101獲取立體攝像機(jī)11提供的圖像。
[0066]在步驟S12中，特征點(diǎn)坐標(biāo)檢測(cè)單元101檢測(cè)是獲取的右側(cè)圖像和左側(cè)圖像中的圖案的特征點(diǎn)的坐標(biāo)，并且將它們提供給參數(shù)估計(jì)單元102。也就是說，例如，在右側(cè)圖像和左側(cè)圖像是圖7中的圖像PL和PR的情況下，特征點(diǎn)坐標(biāo)檢測(cè)單元101以子像素級(jí)別檢測(cè)相應(yīng)的“ + ”圖案PTL和PTR的交叉點(diǎn)的位置，并且檢測(cè)到它們?yōu)?XL，YL)和(XR，YR)。[0067]這里，對(duì)于由與右側(cè)攝像機(jī)和左側(cè)攝像機(jī)相對(duì)應(yīng)的成像單元21-1和21-2拍攝的特征點(diǎn)的像素單位坐標(biāo)(xL，yL)和(xR，yR)，當(dāng)近似假設(shè)鏡頭焦距為I時(shí)，當(dāng)成像單元21_1和21-2的像素間距是p[mm/像素]，并且焦距是f[mm]時(shí)，可以用下面的公式(I)到(4)表示成像區(qū)域上的距離。
[0068]XL = xLxp/f…(I)
[0069]YL=yLxp/f …(2)
[0070]XR=xRXp/f?…(3)
[0071]YR=yRxp/f...(4)
[0072]因此，在下面的說明中，如果沒有另外指出，則通過如上所述的假設(shè)焦點(diǎn)距離近似為I的情況下成像區(qū)域上的坐標(biāo)表示特征點(diǎn)坐標(biāo)。此外，可以任選地對(duì)由于鏡頭失真而產(chǎn)生的坐標(biāo)偏移進(jìn)行校正，以提供針孔攝像機(jī)模型，并且假設(shè)輸入了理想坐標(biāo)。
[0073]這里，在圖7所示的示例中，為了容易理解，雖然示出了圖案的數(shù)量是一個(gè)的情況，但是例如，如圖8的上部所示，實(shí)際假設(shè)圖形圖案12和13具有包括由網(wǎng)格點(diǎn)等形成的多個(gè)圖案的配置。隨后，在圖8中的圖形圖案12和13中，如圖8的下部所示，檢測(cè)角落C的位置作為特征點(diǎn)坐標(biāo)，角落C是黑塊體和白塊體的邊緣部分的交叉點(diǎn)。
[0074]此外，在圖8的上部，設(shè)置黑塊體和白塊體在圖形圖案13中比在圖形圖案12中大。在立體攝像機(jī)11的成像單元21-1和21-2的成像位置和圖形圖案12之間的距離是A的情況下，由于立體攝像機(jī)11的成像單元21-1和21-2在鏡32中映出圖形圖案13的狀態(tài)下對(duì)圖形圖案13進(jìn)行拍攝，因此實(shí)際作為設(shè)置在由離立體攝像機(jī)11基本為2A的距離分開的位置的圖形圖案而被拍攝，因此它們被設(shè)置為大于圖形圖案12。這里，作為立體攝像機(jī)11和圖形圖案12之間的距離，可以設(shè)置各種距離。此外，圖形圖案12和13的大小不限于在圖8的上部示出的大小。
[0075]圖9示出了由如上所述的特征點(diǎn)坐標(biāo)檢測(cè)單元101發(fā)現(xiàn)的、通過使用圖8的圖形圖案12和13由立體攝像機(jī)11拍攝的圖像得到的特征點(diǎn)坐標(biāo)的檢測(cè)結(jié)果。也就是說，對(duì)于圖9中的圖像PL’和PR’，通過使用圖8中的圖形圖案12和13，將根據(jù)由立體攝像機(jī)11的成像單元21-1和21-2拍攝的圖像PL和PR得到的特征點(diǎn)坐標(biāo)表示為包括“ + ”號(hào)的圖像PL’和PR’。水平方向上的數(shù)值表示使用圖像中心作為原點(diǎn)指示X方向上的像素位置的坐標(biāo)值，并且垂直方向上的數(shù)值表示使用圖像中心作為原點(diǎn)指示Y方向上的像素位置的坐標(biāo)值。此外，區(qū)域ZL和ZR是圖像PL’和PR’中的通過在鏡32中映出的圖形圖案13的圖案得到的特征點(diǎn)坐標(biāo)。
[0076]因此，與區(qū)域ZL和ZR外部的特征點(diǎn)坐標(biāo)相比，區(qū)域ZL和ZR內(nèi)部的特征點(diǎn)坐標(biāo)是距離成像單元21-1和21-2的成像區(qū)域更遠(yuǎn)的位置上的圖案的坐標(biāo)。相反，與區(qū)域ZL和ZR內(nèi)部的特征點(diǎn)坐標(biāo)相比，區(qū)域ZL和ZR外部的特征點(diǎn)坐標(biāo)是更靠近成像單元21-1和21-2的成像區(qū)域的位置上的圖案的坐標(biāo)。
[0077]在步驟S13中，參數(shù)估計(jì)單元102基于關(guān)于特征點(diǎn)坐標(biāo)的信息估計(jì)校準(zhǔn)使用的校正參數(shù)(Θ，φ_，α，φ base, a base),并且將估計(jì)的校正參數(shù)(Θ，φ.，α，Φ base, a base)提供給參數(shù)存儲(chǔ)單元103。
[0078]這里，在詳細(xì)描述校正參數(shù)(θ，(|λ，α，Cp base, a base)的估計(jì)方法時(shí)，定義下面的坐標(biāo)系。也就是說，如圖10所示，假設(shè)由成像單元21-1和21-2拍攝的圖像的成像區(qū)域F的中心位置為原點(diǎn)，假設(shè)水平向右方向?yàn)檎⒍xX軸，假設(shè)垂直向上方向?yàn)檎?，并定義Y軸，并且假設(shè)遠(yuǎn)離成像區(qū)域F的方向?yàn)檎?，并定義Z軸。
[0079]另外，如圖11的左側(cè)部分所示，當(dāng)假設(shè)相對(duì)于成像單元21-1和21-2的X軸(包括基線B)(其中，X軸的正方向指向觀察者)，逆時(shí)針方向?yàn)檎龝r(shí)，將旋轉(zhuǎn)(傾斜)角分別定義為0R和0L。此外，如圖11的中心部分所示，當(dāng)假設(shè)相對(duì)于成像單元21-1和21-2的Y軸(包括基線B)(其中，Y軸的正方向指向觀察者)，逆時(shí)針方向?yàn)檎龝r(shí)，將旋轉(zhuǎn)(平移)角分別定義為《P R和9L。此外，如圖11的右側(cè)部分所示，當(dāng)假設(shè)相對(duì)于成像單元21-1和21-2
的Z軸(包括基線B)(其中，Z軸的正方向指向觀察者)，逆時(shí)針方向?yàn)檎龝r(shí)，將旋轉(zhuǎn)(翻轉(zhuǎn)(rot))角分別定義為CtR和a L0
[0080]也就是說，立體攝像機(jī)11的校準(zhǔn)的目的是通過估計(jì)每個(gè)軸的旋轉(zhuǎn)角(Θ L，Θ R, φ:L, 9:R, aL, a R)，滿足在將基線B作為核線進(jìn)行處理時(shí)的核線約束，并且計(jì)算校正參數(shù)，以使得將右側(cè)特征點(diǎn)和左側(cè)特征點(diǎn)設(shè)置在同一基線(即核線)上。
[0081]然而，對(duì)于作為相對(duì)于X軸的旋轉(zhuǎn)角的0L和0R，不存在相對(duì)于基線B的約束，并且僅必需計(jì)算左右之間的相對(duì)角度(Θ L- Θ R)。
[0082]當(dāng)對(duì)上面的內(nèi)容進(jìn)行組織時(shí)，當(dāng)假設(shè)右側(cè)和左側(cè)成像單元21-1和21-2之間的相對(duì)角度(即相對(duì)于XYZ軸的右側(cè) 和左側(cè)成像單元21-1和21-2之間的旋轉(zhuǎn)角的差)為Θ、?P和a，并且假設(shè)基于基線B的絕對(duì)角度(相對(duì)于YZ軸)是《P._base和a _base時(shí)，它們
可以用下面的方程(5)到(9)表示。
[0083]Θ = Θ L- Θ R...(5)
[0084]Φ = (J)L-(J)R...(6)
[0085]a=aL_aR...(7)
[0086]Φ _b8sex0.5 X ( Θ L+ Θ R)…⑶
[0087]a _base=0.5* ( a L+a R)…(9)
[0088]這里，θ、φ和α表示指示成像單元21-1和21_2之間的相對(duì)角度的參數(shù)。更具體地，Θ表示指示成像單元21-1和21-2的垂直間隙的參數(shù)。此外，Φ表示指示成像單元21-1和21-2的絕對(duì)距離間隙的參數(shù)。此外，α表示指示成像單元21_1和21_2的旋轉(zhuǎn)間隙的參數(shù)。另外，tP-J^ase和a _base表示指示相對(duì)于基線B約束的絕對(duì)角度的參數(shù)。也就是說，9._base表示相對(duì)于基線B圍繞Y軸的絕對(duì)角度，并且a _base表示相對(duì)于基線B圍繞Z軸的絕對(duì)值，也就是說，按照視差改變的Y間隙量。
[0089]參數(shù)估計(jì)單元102按照下面的方式估計(jì)這些校正參數(shù)(Θ，φ, α，φbase, a base)。
[0090]也就是說，當(dāng)假設(shè)某一未處理的特征點(diǎn)P的絕對(duì)坐標(biāo)是(X，Y, Z)，并且假設(shè)基線B上的成像單元21-1和21-2之間的距離是b時(shí)，以下面的方程(10)和(11)表示右側(cè)和左側(cè)成像單元21-1和21-2中的實(shí)際坐標(biāo)(x_L，y_L, z_L)和(x_R，y_R, z_R)。
[0091]
【權(quán)利要求】
1.一種圖像處理裝置，包括: 在立體攝像機(jī)中包括的多個(gè)成像單元，所述多個(gè)成像單元被配置為對(duì)第一圖形圖案進(jìn)行成像，所述第一圖形圖案包括為多個(gè)特征點(diǎn)的圖案和鏡面；以及 校正參數(shù)計(jì)算單元，所述校正參數(shù)計(jì)算單元被配置為基于在由所述多個(gè)成像單元成像的第一圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)攝像單元的間隙進(jìn)行校正的校正參數(shù)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述校正參數(shù)計(jì)算單元計(jì)算對(duì)所述多個(gè)成像單元中的兩個(gè)成像單元的三個(gè)軸方向上的間隙和所述兩個(gè)成像單元相對(duì)于基線的旋轉(zhuǎn)角的間隙進(jìn)行校正的校正參數(shù)。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述兩個(gè)成像單元相對(duì)于基線的旋轉(zhuǎn)角的間隙包括通過將所述成像單元的成像方向當(dāng)作軸而獲得的并且與所述基線垂直的旋轉(zhuǎn)角的間隙，以及通過將與所述成像單元的成像方向垂直的方向當(dāng)作軸而獲得的并且與所述基線垂直的旋轉(zhuǎn)角的間隙。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述校正參數(shù)計(jì)算單元使用從所述成像單元到所述第一圖形圖案的距離、從所述成像單元到在所述第一圖形圖案中設(shè)置的鏡面的距離以及作為已知視差的、所述第一圖形圖案和第二圖形圖案之間的距離，來計(jì)算對(duì)所述兩個(gè)成像單元的三個(gè)軸方向上的間隙和所述兩個(gè)成像單元相對(duì)于基線的旋轉(zhuǎn)角的間隙進(jìn)行校正的校正參數(shù)。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述多個(gè)成像單元對(duì)在所述第一圖形圖案中包括的圖案和在所述鏡面中映出的第二圖形圖案中包括的圖案進(jìn)行成像。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置， 其中，所述第二圖形圖案包括鏡面，以及 其中，所述多個(gè)成像單元對(duì)在所述第一圖形圖案中包括的圖案、以及在所述第一圖形圖案的鏡面中映出并在構(gòu)成所述第二圖形圖案的鏡面中映出的并且被包括在所述第一圖形圖案中的圖案進(jìn)行成像。
7.一種圖像處理方法，包括: 由在立體攝像機(jī)中包括的多個(gè)成像單元執(zhí)行對(duì)第一圖形圖案進(jìn)行成像的成像處理，所述第一圖形圖案包括為多個(gè)特征點(diǎn)的圖案和鏡面；以及 執(zhí)行校正參數(shù)計(jì)算處理，所述校正參數(shù)計(jì)算處理基于在多次所述成像處理中成像的圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)成像單元的間隙進(jìn)行校正的校正參數(shù)。
8.—種圖像處理系統(tǒng),包括: 圖像處理裝置，所述圖像處理裝置包括多個(gè)成像單元；以及 圖形圖案，所述圖形圖案被配置為在所述成像單元的成像方向上進(jìn)行校準(zhǔn)， 其中，所述圖形圖案包括在面對(duì)所述多個(gè)成像單元的位置設(shè)置的、為多個(gè)特征點(diǎn)的圖案以及鏡面，以及 其中，所述圖像處理裝置包括所述多個(gè)成像單元以及校正參數(shù)計(jì)算單元，所述多個(gè)成像單元被包括在立體攝像機(jī)中并且對(duì)所述圖形圖案進(jìn)行成像，所述校正參數(shù)計(jì)算單元基于在由所述多個(gè)成像單元成像的所述圖形圖案中包括的圖案和在所述鏡面中映出的圖案，計(jì)算對(duì)所述多個(gè)成像單元的間隙進(jìn)行校正的校正參數(shù)。
【文檔編號(hào)】G06T7/00GK103813151SQ201310462079
【公開日】2014年5月21日 申請(qǐng)日期:2013年9月30日 優(yōu)先權(quán)日:2012年11月2日
【發(fā)明者】明官佳宏, 小柳津秀紀(jì), 德永陽, 大場(chǎng)章男, 勢(shì)川博之 申請(qǐng)人:索尼公司, 索尼電腦娛樂公司