本實用新型總體地涉及立體相機裝置，具體地涉及一種雙目相機裝置。

背景技術(shù)：

雙目相機是一種日益受關(guān)注的能夠提供立體視覺的設(shè)備?；陔p目相機獲得的圖像，通過雙目視差原理，能夠計算出雙目相機所拍攝到的物體相對于相機的三維空間位置。

在三位空間位置計算中，雙目相機的兩個成像鏡頭之間的位置關(guān)系影響很大，因此該位置關(guān)系需要進行校準和標(biāo)定。在初次校準和標(biāo)定之后，由于雙目相機中兩個成像鏡頭之間的連接不可能是理想的剛體連接，所以在使用過程中，機械連接會發(fā)生緩慢的形變，導(dǎo)致雙目相機的原始標(biāo)定參數(shù)失效。通常的做法一種是返廠重新標(biāo)定，另一種做法是動態(tài)標(biāo)定。返廠重新標(biāo)定會影響雙目相機的使用。動態(tài)標(biāo)定通常是實時提取雙目圖像中的特征點進行重標(biāo)定，但是在特征不明顯的情況下，往往會導(dǎo)致動態(tài)標(biāo)定失敗，甚至?xí)夯瘶?biāo)定結(jié)果。

因此，一方面，當(dāng)雙目相機需要重新校準和標(biāo)定時，人們需要及時了解到這一情況；另一方面，還需要一種能夠不影響雙目相機使用又能有效校準和標(biāo)定的辦法。

技術(shù)實現(xiàn)要素：

本實用新型的目的是提供一種雙目相機，其能夠至少部分地解決現(xiàn)有技術(shù)中的問題。

根據(jù)本實用新型的第一方面，提供一種雙目相機，其包括第一成像鏡頭和第二成像鏡頭以及分別用于感測第一成像鏡頭和第二成像鏡頭成像得到的圖像的第一圖像傳感器和第二圖像傳感器，還包括：第一光路轉(zhuǎn)換裝置，其設(shè)置在所述第一成像鏡頭的物側(cè)，用于接收進入雙目相機的第一入射光束并提供投射向所述第一成像鏡頭的第一成像光束和方向不同于第一成像光束的校準用光束；校準用標(biāo)記，其設(shè)置在所述校準用光束的光路中以便被其照明，并且相對于所述第一成像鏡頭固定；第二光路轉(zhuǎn)換裝置，其設(shè)置在所述第二成像鏡頭的物側(cè)，用于接收進入雙目相機的第二入射光束并使之至少部分地成為投射向所述第二成像鏡頭的第二成像光束；以及校準用鏡頭，其設(shè)置在所述校準用標(biāo)記和第二光路轉(zhuǎn)換裝置之間，用于對所述校準用標(biāo)記進行成像，其中，所述第二光路轉(zhuǎn)換裝置還用于接收所述校準用鏡頭出射的光束并使之至少部分投射向所述第二成像鏡頭，從而使得所述校準用標(biāo)記經(jīng)由所述校準用鏡頭和第二成像鏡頭成像在第二圖像傳感器上。

所述第一光路轉(zhuǎn)換裝置可以為分束鏡或者通過機械或電學(xué)方式控制以選擇性地透射和反射的光學(xué)裝置。

所述第二光路轉(zhuǎn)換裝置可以為分束鏡或者通過機械或電學(xué)方式控制以選擇性地透射和反射的光學(xué)裝置。

所述校準用標(biāo)記可以為設(shè)置在第一光路轉(zhuǎn)換裝置與校準用鏡頭之間的板狀件，其上包括透光部分和不透光部分，從而形成校準用圖案。

或者，所述校準用標(biāo)記可以為形成在所述第一光路轉(zhuǎn)換裝置的光學(xué)表面上的校準用圖案。

在一些實施方式中，所述第一光路轉(zhuǎn)換裝置可以包括被所述第一入射光束照射的光學(xué)表面，所述校準用標(biāo)記為形成在該光學(xué)表面上的校準用圖案。優(yōu)選，所述光學(xué)表面包括第一部分和第二部分，所述第一部分使照射到其上的所述第一入射光束的至少一部分成為所述校準用光束，而所述第二部分使照射到其上的所述第一入射光束基本上全部投射向第一成像鏡頭，所述第一部分和第二部分形成所述校準用圖案。所述第二部分可以為半透半反部分。

在另一些實施方式中，所述第一光路轉(zhuǎn)換裝置可以為棱鏡型分束鏡，所述校準用標(biāo)記為形成在所述棱鏡型分束鏡的出射表面上的校準用圖案，其中所述校準用光束從該出射表面出射。優(yōu)選地，所述校準用圖案是通過蝕刻制作在所述出射表面上的。

優(yōu)選地，所述校準用鏡頭相對于所述第一成像鏡頭和第一光路轉(zhuǎn)換裝置固定，或者相對于第二成像鏡頭和第二光路轉(zhuǎn)換裝置固定。

根據(jù)本實用新型實施例的雙目相機，通過設(shè)置相對于第一成像鏡頭固定的校準用標(biāo)記，并使之通過第二成像鏡頭成像在第二圖像傳感器上，所以校準用標(biāo)記成像所得的圖像可以作為反映兩個成像鏡頭相對位置的一個參考標(biāo)識。校準用標(biāo)記和校準用鏡頭等部件內(nèi)置于雙目相機的內(nèi)部，不增大相機的外形。此外，通過第一光路轉(zhuǎn)換裝置，使得無需增加額外的光源就能夠?qū)崿F(xiàn)校準用標(biāo)記的照明。另外，校準用鏡頭與第二成像鏡頭的配合使用，使得能夠?qū)π视脴?biāo)記良好地成像，增加了光路的調(diào)節(jié)靈活性。

此外，根據(jù)本實用新型實施例的雙目相機非常有利于動態(tài)獲得可靠的特征點，并使得能夠自動計算和校準雙目相機的兩個成像鏡頭的相對位置關(guān)系。

附圖說明

從下面結(jié)合附圖對本實用新型實施例的詳細描述中，本實用新型的這些和/或其它方面和優(yōu)點將變得更加清楚并更容易理解，其中：

圖1為根據(jù)本實用新型第一實施例的雙目相機的示意圖；

圖2為根據(jù)本實用新型第二實施例的雙目相機的示意圖；

圖3為根據(jù)本實用新型第三實施例的雙目相機的示意圖；

圖4為可應(yīng)用于圖3所示雙目相機的第一光束轉(zhuǎn)換裝置/校準用標(biāo)記的示意圖；

圖5示出了根據(jù)本實用新型第四實施例的用于雙目相機的自校準方法的一個示例。

具體實施方式

下面結(jié)合附圖和實施例對本申請作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋相關(guān)發(fā)明，而非對該發(fā)明的限定。為了便于描述，附圖中僅示出了與發(fā)明相關(guān)的部分。

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本申請。

圖1為根據(jù)本實用新型第一實施例的雙目相機100的示意圖，其中僅示出了與發(fā)明相關(guān)的光學(xué)成像部分。雙目相機100包括第一成像鏡頭11、第一圖像傳感器12、第二成像鏡頭13以及第二圖像傳感器14。第一和第二成像鏡頭11、13具有預(yù)定的相對位置。如圖所示，同一物體通過第一和第二成像鏡頭11、13分別成像到第一圖像傳感器12和第二圖像傳感器14，而且所成圖像相對于圖像中對應(yīng)光軸O1和O2的中心位置具有不同的偏移x1和x2?；谠摬煌钠埔约皟蓚€鏡頭的相對位置參數(shù)，可以計算出被成像物體相對于相機的空間位置。

常規(guī)地，如圖1所示，第一和第二成像鏡頭11、13可以并排布置，即兩者的光軸O1和O2相互平行且彼此偏離一定距離d，同時兩個鏡頭在光軸方向上的位置是一致的。當(dāng)然，隨著雙目相機的發(fā)展，第一和第二成像鏡頭11、13可以具有其它的相對位置關(guān)系。鏡頭的相對位置關(guān)系通過一些參數(shù)來表征。當(dāng)鏡頭位置校準之后，確定這些參數(shù)的過程又稱為標(biāo)定。

由于雙目相機的兩個鏡頭的相對位置是空間位置計算的基礎(chǔ)，所以無論具體的相對位置如何，希望盡可能剛性地保持這種相對位置關(guān)系。另一方面，實際上，剛性地保持兩個鏡頭的相對位置是非常困難的，所以人們需要及時地了解鏡頭的相對位置變化的程度。為此，本實用新型的發(fā)明人提出，在雙目相機的光路中植入校準用標(biāo)記和用于對校準用標(biāo)記成像的校準用鏡頭，該成像的效果可以反映和顯示兩個鏡頭的相對位置關(guān)系。為了實現(xiàn)上述“植入”，根據(jù)本實用新型的雙目相機還包括光路轉(zhuǎn)換裝置，以便利用已有的成像光束對校準用標(biāo)記進行照明，以及便于利用已有的圖像傳感器，從而不再需要額外的光源和圖像傳感器。

具體地，在圖1所示第一實施例中，雙目相機100進一步包括第一光路轉(zhuǎn)換裝置20、校準用標(biāo)記30、校準用鏡頭40和第二光路轉(zhuǎn)換裝置50。

第一光路轉(zhuǎn)換裝置20設(shè)置在第一成像鏡頭11的物側(cè)，其接收進入雙目相機的第一入射光束a1并提供投射向第一成像鏡頭11的第一成像光束b1以及方向不同于第一成像光束b1的校準用光束。

根據(jù)本實用新型，并不要求第一光路轉(zhuǎn)換裝置20同時提供第一成像光束b1和校準用光束。第一光路轉(zhuǎn)換裝置20可以在一個時間(例如雙目相機的正常使用中)單獨提供第一成像光束b1(例如在圖1所示構(gòu)造中全部透射第一入射光束a1)，在另一時間(例如啟動鏡頭位置觀測功能時)單獨提供校準光束(例如在圖1所示構(gòu)造中全部反射第一入射光束a1)，或者同時提供第一成像光束b1和校準用光束(例如在圖1所示構(gòu)造中對第一入射光束a1是半透半反射的)。第一光路轉(zhuǎn)換裝置20還可以配置為實現(xiàn)上述工作方式的組合。

第一光路轉(zhuǎn)換裝置20可以為分束鏡或者通過機械或電學(xué)方式控制以選擇性地透射和反射的光學(xué)裝置。第一光路轉(zhuǎn)換裝置20也可以是局部反射局部透射的光學(xué)元件或者任何其它適合的元件。

作為示例，圖1示出由棱鏡型分束鏡(例如偏振分光棱鏡(PBS))構(gòu)成的第一光路轉(zhuǎn)換裝置20。該示例中，第一光路轉(zhuǎn)換裝置20在其分束面20a上可以實現(xiàn)半透半反射，從而將進入的第一入射光束a1分為第一成像光束b1和校準用光束。

應(yīng)該理解的是，盡管這里示出的是第一光路轉(zhuǎn)換裝置20透射第一入射光束形成第一成像光束而反射第一入射光束形成校準用光束，但是本實用新型并不限于此，第一光路轉(zhuǎn)換裝置20也可以根據(jù)第一和第二成像鏡頭11、13的不同布置而通過反射形成第一成像光束、通過透射形成校準用光束。

校準用標(biāo)記30設(shè)置在校準用光束的光路中以便被后者照明，并且相對于第一成像鏡頭11固定。

在圖1所示實施例中，校準用標(biāo)記30包括設(shè)置在第一光路轉(zhuǎn)換裝置與校準用鏡頭之間的板狀件，其上包括透光部分和不透光部分，從而形成校準用圖案。

第二光路轉(zhuǎn)換裝置50設(shè)置在第二成像鏡頭13的物側(cè)，其接收進入雙目相機100的第二入射光束a2并使之至少部分成為投射向第二成像鏡頭13的第二成像光束b2。

校準用鏡頭40設(shè)置在校準用標(biāo)記30和第二光路轉(zhuǎn)換裝置50之間。第二光路轉(zhuǎn)換裝置50接收校準用鏡頭40出射的光束并使之至少部分投射向第二成像鏡頭13，從而使得校準用標(biāo)記30經(jīng)由校準用鏡頭40和第二成像鏡頭50成像在第二圖像傳感器14上。

校準用鏡頭40可以為單個鏡頭或者鏡頭組。本實用新型不限于校準用鏡頭40的具體形式，只要其能夠與第二成像鏡頭13以將校準用標(biāo)記30成像到第二圖像傳感器14上。

此外，在優(yōu)選的示例中，校準用鏡頭40相對于第一成像鏡頭11和第一光路轉(zhuǎn)換裝置20固定，或者相對于第二成像鏡頭13和第二光路轉(zhuǎn)換裝置50固定。這樣做的目的是保證校準用標(biāo)記的成像有效、可靠地反映出第一和第二成像鏡頭的相對位置關(guān)系。

類似于第一光路轉(zhuǎn)換裝置20，根據(jù)本實用新型，第二光路轉(zhuǎn)換裝置50也并不必須同時投射第二成像光束b2和校準用鏡頭40出射的光束。第二光路轉(zhuǎn)換裝置50可以在一個時間(例如雙目相機的正常使用中)僅投射第二成像光束b2，在另一時間(例如啟動鏡頭位置觀測功能時)僅投射校準用鏡頭40出射的光束，或者同時投射兩者。第二光路轉(zhuǎn)換裝置50還可以配置為實現(xiàn)上述工作方式的組合。

第二光路轉(zhuǎn)換裝置50可以為分束鏡或者通過機械或電學(xué)方式控制以選擇性地透射和反射的光學(xué)裝置。第二光路轉(zhuǎn)換裝置50也可以是局部反射局部透射的光學(xué)元件或者任何其它適合的元件。作為示例，圖1示出了由平板型分束鏡構(gòu)成的第二光路轉(zhuǎn)換裝置50。

由于校準用標(biāo)記30相對于第一成像鏡頭11固定，而校準用標(biāo)記30經(jīng)由第二成像鏡頭13被成像，所以當(dāng)?shù)谝缓偷诙上耒R頭11、13之間的相對位置變化時，校準用標(biāo)記30所成的像也發(fā)生變化。例如，所成像的位置、大小、清晰度中的一者或多者可能發(fā)生變化。

這樣，通過校準用標(biāo)記30的成像情況的變化與否以及/或者變化的程度，可以判斷第一和第二成像鏡頭11、13的相對位置的變化。

而且，鏡頭相對位置處于校準好的狀態(tài)時，可以記錄下對應(yīng)的校準用標(biāo)記30的成像特征以作為參考基準；在鏡頭相對位置發(fā)生變化之后進行校準時，可以參照該參考基準，通過調(diào)整鏡頭的相對位置使得獲得符合該參考基準的校準用標(biāo)記30的成像，來實現(xiàn)雙目相機的重新校準。

根據(jù)第一實施例的雙目相機100中，由于校準用標(biāo)記30形成為獨立可調(diào)節(jié)的元件，所以對校準光路的調(diào)節(jié)的靈活性較大。

圖2為根據(jù)本實用新型第二實施例的雙目相機200的示意圖。根據(jù)第二實施例的雙目相機200與根據(jù)第一實施例的雙目相機100結(jié)構(gòu)基本上相同，不同之處在于：雙目相機200中，校準用標(biāo)記30’不是分立的元件，而是形成為第一光路轉(zhuǎn)換裝置20的出射表面20b上的校準用圖案，其中校準用光束從該出射表面20b出射。

在一些情況下，構(gòu)成校準用標(biāo)記30’的校準用圖案可以通過蝕刻制作在出射表面20b上。當(dāng)然，本實用新型并不限于此，校準用圖案也可以通過例如噴涂而繪制在出射表面20b上。

在圖2所示示例中，第一光路轉(zhuǎn)換裝置20為棱鏡型分束鏡，而校準用標(biāo)記30’形成為蝕刻在該棱鏡型分束鏡的棱鏡表面上的校準用圖案。

由于將校準用標(biāo)記30’集成在第一光路轉(zhuǎn)換裝置20上，減少了零件數(shù)量，同時可以減小由于校準用標(biāo)記30’的位置誤差引入的雙目相機的誤差。

圖3示意性地示出了根據(jù)本實用新型第三實施例的雙目相機300。根據(jù)第三實施例的雙目相機300與根據(jù)第二實施例的雙目相機200的結(jié)構(gòu)基本上相同，不同之處在于：第一光路轉(zhuǎn)換裝置20'包括被第一入射光束a1照射的光學(xué)表面20'a，校準用標(biāo)記30"為形成在該光學(xué)表面20'a上的校準用圖案。

在圖3所示示例中，第一入射光束a1照射校準用標(biāo)記30"的校準用圖案，被校準用圖案反射的光線可以形成校準用光束。這種情況下校準用標(biāo)記30"相當(dāng)于設(shè)置于校準用光束的光路的起始端。

盡管圖3中將第一光路轉(zhuǎn)換裝置20'示出為平板型的元件，但是本實用新型并不限于此。例如當(dāng)?shù)谝还饴忿D(zhuǎn)換裝置20'為棱鏡型分束鏡時，校準用標(biāo)記30"可以形成在分束鏡兩個對合的棱鏡的對合表面(即分束面)上。

圖4示意性地示出了可應(yīng)用于圖3所示雙目相機的第一光路轉(zhuǎn)換裝置20'/校準用標(biāo)記30"。更確切地說，圖4示出了形成在第一光路轉(zhuǎn)換裝置20'的光學(xué)表面20'a上的校準用圖案。

如圖4所示，光學(xué)表面20'a包括第一部分20'a-1和第二部分20'a-2，第一部分20'a-1使照射到其上的第一入射光束a1的至少一部分成為校準用光束，例如第一部分20'a-1可以為半透半反部分；而第二部分20'a-2使照射到其上的第一入射光束a1基本上全部投射向第一成像鏡頭11，例如第二部分20'a-2可以為完全透射的部分。第一部分20'a-1和第二部分20'a-2形成校準用圖案，從而形成校準用標(biāo)記30"。在圖4所示示例中，校準用圖案是一個2*2的框。這個圖案經(jīng)過圖3中的校準用鏡頭40、第二光路轉(zhuǎn)換裝置50和第二成像鏡頭13，成像在第二圖像傳感器14上。優(yōu)選，當(dāng)雙目相機處于良好的校準狀態(tài)時，校準用圖案在第二圖像傳感器14上清晰地成像。

下面將結(jié)合圖5介紹根據(jù)本實用新型第四實施例的用于雙目相機的自校準方法的一個示例，其中雙目相機為根據(jù)本實用新型上述實施例的雙目相機。

如圖5所示，根據(jù)本實用新型第四實施例的用于雙目相機的自校準方法包括以下處理：

S01:標(biāo)定雙目相機，可以包括標(biāo)定雙目相機的內(nèi)部參數(shù)和/或外部參數(shù)。

S02:標(biāo)定之后，通過第二圖像傳感器采集校準用標(biāo)記的圖像。在根據(jù)本實用新型上述實施例的雙目相機中，可以調(diào)節(jié)第一光路轉(zhuǎn)換裝置使之提供校準用光束，并調(diào)節(jié)第二光路轉(zhuǎn)換裝置使之將來自校準用鏡頭的光束投射向第二成像鏡頭，從而校準用標(biāo)記經(jīng)由校準用鏡頭和第二成像鏡頭被成像到第二圖像傳感器上。優(yōu)選地，可以調(diào)節(jié)校準用鏡頭，使得當(dāng)雙目相機處于正確標(biāo)定狀態(tài)下時，校準用標(biāo)記在第二圖像傳感器上清晰成像，并采集該圖像。

S03:提取校準用標(biāo)記在該圖像中的特征參數(shù)并存儲作為參考基準。所述特征參數(shù)例如可以包括校準用標(biāo)記在圖像中的位置、大小和清晰度中的至少一者，或者可以為任何其它適合的參數(shù)。甚至，可以提取整個圖像本身作為特征參數(shù)，并作為參考基準。

以上處理S01～S03是為了提供合適的參考基準，但是這些處理的具體方式本身僅僅是舉例性的，而非根據(jù)本實用新型實施例的自校準方法所必需。例如，在標(biāo)定雙目相機的同時，對校準用標(biāo)記的成像光路進行調(diào)節(jié)，使得校準用標(biāo)記在第二圖像傳感器上清晰成像和/或成像在預(yù)定位置上，并以理論計算獲得的或者推斷得到的有關(guān)校準用標(biāo)記的圖像的特征參數(shù)，例如成像位置或者成像得到的圖形尺寸或清晰度，作為參考基準。

S11:通過第二圖像傳感器采集校準用標(biāo)記的圖像。在雙目相機的使用過程中，為了檢測雙目相機的兩個成像鏡頭的相對位置關(guān)系，可以定時采集校準用標(biāo)記的圖像，也根據(jù)使用者的手動觸發(fā)或者根據(jù)雙目相機的其它下游設(shè)備的反饋的觸發(fā)而不定時地采集校準用標(biāo)記的圖像。

S12:提取所述圖像中的特征參數(shù)。與處理S03中類似，這里的特征參數(shù)例如可以包括校準用標(biāo)記在圖像中的位置、大小和清晰度中的至少一者，或者可以為任何其它適合的參數(shù)。在一些實施情況下，可以提取整個圖像本身作為特征參數(shù)，并作為參考基準。

S13:將處理S12中獲得的特征參數(shù)與預(yù)先存儲的參考基準比較。這里參考基準例如可以是通過上述處理S01～S03獲得的，但是本實用新型的自校準方法不限于此。

S14:當(dāng)特征參數(shù)與參考基準的差超過預(yù)定閾值時，判斷雙目相機需要重新標(biāo)定。特征參數(shù)相對于參考基準偏離的程度能夠反映校準用標(biāo)記成像光路的變形程度，而校準用標(biāo)記成像光路的變形程度與雙目相機的兩個成像鏡頭之間的相對位置關(guān)系的變化程度是一致或者至少高度地正相關(guān)，這使得能夠以特征參數(shù)與參考基準的差來作為判斷雙目鏡頭的相對位置的量值。所述“預(yù)定閾值”可以通過計算獲得，也可以通過試驗來設(shè)定合適的值。

S15:判斷雙目相機需要重新標(biāo)定之后，發(fā)出提示信息，以提示使用者雙目相機需要重新標(biāo)定。提示信息可以是聲音、視覺、觸覺或其它任何適當(dāng)形式的。使用者接收到該信息之后，可以及時地對雙目相機重新標(biāo)定。

S16:判斷雙目相機需要重新標(biāo)定之后，基于所述特征參數(shù)與參考基準計算雙目相機的兩個成像鏡頭的相對位置變化量，并對雙目相機自動進行重新標(biāo)定。如以上已經(jīng)討論的，特征參數(shù)相對于參考基準偏離的程度能夠反映校準用標(biāo)記成像光路的變形程度，從而反映雙目相機的兩個成像鏡頭之間的相對位置關(guān)系的變化?！盎谒鎏卣鲄?shù)與參考基準計算雙目相機的兩個成像鏡頭的相對位置變化量”可以通過對雙目相機的光學(xué)系統(tǒng)的構(gòu)造及其形變進行建模，然后通過計算獲得；也可以通過試驗來設(shè)定特征參數(shù)與相對位置變化量的對應(yīng)關(guān)系。然后，根據(jù)本實用新型，該自動校準方法根據(jù)相對位置的變化量，自動對雙目相機進行重新標(biāo)定。例如，可以通過變換矩陣重新獲得雙目相機的標(biāo)定參數(shù)。這里重新標(biāo)定的參數(shù)可以僅包括雙目相機的內(nèi)部參數(shù)或者其中的部分。

在判斷雙目相機需要重新標(biāo)定之后，根據(jù)本實用新型實施例的用于雙目相機的自校準方法可以包括以上處理S15和S16中的一者或兩者，但是并不限于此。自校準方法也可以包括處理S15和S16以外的其它處理，例如僅僅計算雙目相機的兩個成像鏡頭的相對位置的變化量，并將這些變化量傳送給其他設(shè)備(例如與雙目相機相連接以處理該雙目相機輸出的圖像的計算機設(shè)備)。在一些實施情況下，可以直接向所述其他設(shè)備傳送提取的特征參數(shù)。作為替代，根據(jù)本實用新型實施例的自校準方法還可以包括上述處理的不同組合。

以上已經(jīng)描述了本實用新型的各實施例，上述說明是示例性的，并非窮盡性的，并且也不限于所披露的各實施例。在不偏離所說明的各實施例的范圍和精神的情況下，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。因此，本實用新型的保護范圍應(yīng)該以權(quán)利要求的保護范圍為準。