專(zhuān)利名稱(chēng)：信息處理方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及校準(zhǔn)與圖像捕捉設(shè)備有關(guān)的參數(shù)的技術(shù)。
背景技術(shù)：
由于通常使用的攝像機(jī)(照相機(jī))的鏡頭不是理想的針孔攝像機(jī)的鏡頭，這樣的攝像機(jī)捕捉的圖像常常包括鏡頭導(dǎo)致的畸變，比如桶形畸變等，而不是理想的透視投影。因此，當(dāng)由計(jì)算機(jī)或者類(lèi)似設(shè)備進(jìn)行圖像處理時(shí)，普遍進(jìn)行對(duì)圖像的畸變進(jìn)行校準(zhǔn)的處理。
傳統(tǒng)上，對(duì)于這樣的處理，使用這樣一種方法捕捉校準(zhǔn)圖案的圖像，根據(jù)該圖像計(jì)算攝像機(jī)的畸變和透視投影轉(zhuǎn)換參數(shù)。S.Uchiyama，K.Takemoto，K.Satoh，H.Yamamoto and H.Tamura“MR PlatformA basic body on which mixed reality applications arebuilt，”P(pán)roc.IEEE/ACM Int’l Symp.On Mixed and AugmentedReality(ISMAR 2002)，pp.246-253，2002描述了這樣的傳統(tǒng)的圖像畸變校準(zhǔn)方法。
例如，作為畸變模型，已知有下述等式x’＝k2×(xi-cx)y’＝k2×(yi-cy)d＝1-k1(x’2+y’2)xo＝x’×d+cxyo＝y(tǒng)’×d+cy(1)其中(xi，yi)表示沒(méi)有任何畸變的理想位置，(xo，yo)表示有畸變的位置，(cx，cy)表示畸變中心位置。
用于估計(jì)參數(shù)的基本序列如下A)準(zhǔn)備初始值(cx，cy，k1和k2)；
B)使用過(guò)程A)中的畸變參數(shù)，從網(wǎng)格狀觀察點(diǎn)(xo，yo)計(jì)算畸變校正后的點(diǎn)(xc，yc)；C)用最小二乘法計(jì)算用來(lái)將網(wǎng)格點(diǎn)轉(zhuǎn)換到(xc，yc)的對(duì)應(yīng)性(homography)；D)計(jì)算用過(guò)程C)的對(duì)應(yīng)性轉(zhuǎn)換網(wǎng)格點(diǎn)所需的(xh，yh)；注意，過(guò)程C)和D)對(duì)應(yīng)于對(duì)(xc，yc)進(jìn)行保留畸變的線性近似的操作。
E)用過(guò)程A)的畸變參數(shù)逆校正(xh，yh)，以計(jì)算(xho，yho)；F)使用(xo，yo)和(xho，yho)之間的差，用牛頓法(the Newtonmethod)優(yōu)化畸變參數(shù)。
但是，為了如上所述計(jì)算攝像機(jī)畸變，需要預(yù)處理，例如捕捉分布在垂直于攝像機(jī)光軸的平面上的已知標(biāo)記的圖像。當(dāng)校準(zhǔn)圖案放置得不垂直時(shí)，就會(huì)出現(xiàn)誤差。
由于攝像機(jī)的透視投影轉(zhuǎn)換參數(shù)必須在稍后單獨(dú)計(jì)算，就必須進(jìn)行兩次校準(zhǔn)以計(jì)算畸變參數(shù)和透視投影轉(zhuǎn)換參數(shù)。對(duì)于第二次校準(zhǔn)，需要不僅捕捉垂直校準(zhǔn)圖案的圖像，還要捕捉多個(gè)方向的校準(zhǔn)圖案的圖像。這導(dǎo)致很麻煩的操作。
圖3是前述傳統(tǒng)的畸變參數(shù)計(jì)算處理的流程圖。
通過(guò)捕捉校準(zhǔn)圖案的圖像，獲得實(shí)際捕捉到的圖像(步驟S301)。檢測(cè)所獲得的捕捉到的圖像中的標(biāo)記(觀察點(diǎn))并獲取它們的位置(步驟S302)。接下來(lái)，通過(guò)上述方法計(jì)算校準(zhǔn)參數(shù)(畸變參數(shù))(步驟S303)。保存計(jì)算出來(lái)的校準(zhǔn)參數(shù)(步驟S304)。
另外，在根據(jù)圖3的流程圖的處理之后，必須計(jì)算攝像機(jī)的透視投影參數(shù)。
上述例子沒(méi)有考慮長(zhǎng)寬比包括誤差的情況。當(dāng)長(zhǎng)寬比不是精確的1∶1時(shí)，畸變參數(shù)就包括誤差。
作為另一種現(xiàn)有技術(shù)，可以參閱微軟技術(shù)報(bào)告Technical ReportMSR-TR-98-71。該文獻(xiàn)披露了一種同時(shí)計(jì)算攝像機(jī)的透視投影參數(shù)和畸變參數(shù)的方法。但是，由于在該文獻(xiàn)中沒(méi)有考慮長(zhǎng)寬比，長(zhǎng)寬比的誤差導(dǎo)致了攝像機(jī)的透視投影參數(shù)和畸變參數(shù)的誤差。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供一種解決攝像機(jī)參數(shù)估算中長(zhǎng)寬比誤差不利地影響畸變參數(shù)的精度這樣的問(wèn)題的技術(shù)。
本發(fā)明的另一個(gè)目的是，即使不是在垂直于攝像機(jī)光軸的平面上設(shè)置圖案，也能高精度地估計(jì)畸變校正參數(shù)。
為了實(shí)現(xiàn)本發(fā)明的目的，例如提供了本發(fā)明的信息處理方法，包括下列方案。
也就是，一種信息處理方法，用于估算校正參數(shù)，包括長(zhǎng)寬比、N次徑向畸變參數(shù)以及M次徑向畸變參數(shù)(M＞N)，該方法包括獲取步驟，獲取通過(guò)用圖像捕捉設(shè)備捕捉包括標(biāo)記的圖案圖像而獲得的捕捉到的圖像；檢測(cè)步驟，從所述捕捉到的圖像中檢測(cè)所述標(biāo)記；第一估算步驟，在固定M次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算長(zhǎng)寬比和N次徑向畸變參數(shù)(M＞N)；以及第二估算步驟，在固定估算出的長(zhǎng)寬比和估算出的N次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算M次徑向畸變參數(shù)(M＞N)。
為了實(shí)現(xiàn)本發(fā)明的目的，例如提供了本發(fā)明的信息處理設(shè)備，包括下列方案。
也就是，一種信息處理設(shè)備，用于估算校正參數(shù)，包括長(zhǎng)寬比、N次徑向畸變參數(shù)以及M次徑向畸變參數(shù)(M＞N)，該設(shè)備包括獲取單元，用于獲取通過(guò)用圖像捕捉設(shè)備捕捉包括標(biāo)記的圖案圖像而獲得的捕捉到的圖像；檢測(cè)單元，用于從所述捕捉到的圖像中檢測(cè)所述標(biāo)記；第一估算單元，用于在固定M次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算長(zhǎng)寬比和N次徑向畸變參數(shù)(M＞N)；以及第二估算單元，用于在固定估算出的長(zhǎng)寬比和估算出的N次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算M次徑向畸變參數(shù)(M＞N)。
從下面結(jié)合附圖對(duì)舉例的實(shí)施方式的說(shuō)明可以清楚本發(fā)明的其他特征。


圖1的框示了包括作為圖像捕捉設(shè)備的攝像機(jī)101和執(zhí)行校正處理的計(jì)算機(jī)102的系統(tǒng)的硬件布置的例子；圖2圖示了用根據(jù)第一實(shí)施方式的系統(tǒng)校準(zhǔn)(校正)與攝像機(jī)101相關(guān)的參數(shù)的狀態(tài)；圖3是傳統(tǒng)的畸變參數(shù)計(jì)算處理的流程圖；圖4是圖示了常見(jiàn)的桶形畸變；圖5是用于校準(zhǔn)與攝像機(jī)101相關(guān)的參數(shù)的處理的流程圖。
具體實(shí)施例方式
下面根據(jù)附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式。
第一實(shí)施方式圖1的框示了包括作為圖像捕捉設(shè)備的攝像機(jī)101和執(zhí)行校正處理的計(jì)算機(jī)102在內(nèi)的系統(tǒng)的硬件布置的例子。
攝像機(jī)101是符合NTSC的大眾型攝像機(jī)，具有鏡頭徑向畸變。攝像機(jī)101捕捉的圖像作為NTSC信號(hào)輸出到計(jì)算機(jī)102。
計(jì)算機(jī)102包括捕捉設(shè)備103、CPU 104、存儲(chǔ)器105、顯示設(shè)備106和輸入設(shè)備107。注意，計(jì)算機(jī)102的結(jié)構(gòu)不限于圖1所示，根據(jù)需要可以加以修改。
捕捉設(shè)備103接收攝像機(jī)101輸出的NTSC信號(hào)，將其轉(zhuǎn)換為數(shù)據(jù)(圖像數(shù)據(jù))，將圖像數(shù)據(jù)輸出到存儲(chǔ)器105。
CPU 104利用存儲(chǔ)在存儲(chǔ)器105中的程序和數(shù)據(jù)控制整個(gè)計(jì)算機(jī)102，并執(zhí)行后面要描述的由計(jì)算機(jī)102實(shí)現(xiàn)的各個(gè)處理。
存儲(chǔ)器105可以根據(jù)需要提供各種區(qū)，比如用于臨時(shí)存儲(chǔ)從捕捉設(shè)備103輸出的圖像數(shù)據(jù)的區(qū)，當(dāng)CPU 104執(zhí)行各種處理時(shí)使用的工作區(qū)，等等。注意，該工作區(qū)也包括臨時(shí)存儲(chǔ)作為CPU 104對(duì)該圖像數(shù)據(jù)執(zhí)行各種處理的結(jié)果的數(shù)據(jù)(已處理過(guò)的圖像數(shù)據(jù))的區(qū)。
顯示設(shè)備106包括CRT、液晶顯示器等，能夠顯示圖像、文本等。
輸入設(shè)備107包括鍵盤(pán)、鼠標(biāo)等，當(dāng)操作者操作輸入設(shè)備時(shí)能夠向CPU 104發(fā)出各種指令。
圖2圖示了用上述系統(tǒng)校準(zhǔn)(校正)與攝像機(jī)101相關(guān)的參數(shù)的狀態(tài)。注意，圖2中相同的附圖標(biāo)記表示與圖1中相同的部件，其說(shuō)明在下面省略了。
附圖標(biāo)記201表示用于校準(zhǔn)與攝像機(jī)101相關(guān)的參數(shù)的校準(zhǔn)圖案，其例如是在上面印刷了預(yù)定圖案的紙張。下面描述黑點(diǎn)202。
在該實(shí)施方式中，攝像機(jī)101捕捉這樣的圖案的圖像，捕捉到的圖像被輸出到計(jì)算機(jī)102。攝像機(jī)101具有鏡頭畸變。因此，捕捉到的圖案圖像受到該鏡頭畸變的影響。
圖4中示出的附圖標(biāo)記402圖示了常見(jiàn)的桶形畸變。當(dāng)使用沒(méi)有畸變的理想鏡頭捕捉印刷有網(wǎng)格的校準(zhǔn)圖案的圖像時(shí)，可以獲得沒(méi)有任何畸變的網(wǎng)格圖像401。但是，例如由于鏡頭畸變，實(shí)際上捕捉到具有桶形畸變的圖像402。
當(dāng)在混合現(xiàn)實(shí)設(shè)備或者類(lèi)似設(shè)備中合成實(shí)際捕捉到的圖像與虛擬現(xiàn)實(shí)視頻時(shí)，這種畸變就導(dǎo)致配準(zhǔn)誤差。另外，這種畸變還導(dǎo)致使用圖像進(jìn)行位置測(cè)量時(shí)發(fā)生誤差。
因此，根據(jù)該實(shí)施方式，校準(zhǔn)與攝像機(jī)101相關(guān)的參數(shù)，以防止捕捉到的圖像由于鏡頭畸變而變形，就像圖像402舉例所示的那樣。
圖5是用于校準(zhǔn)與攝像機(jī)101相關(guān)的參數(shù)的處理的流程圖。注意，用于使CPU 104執(zhí)行圖5中的處理的程序和數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器105中。當(dāng)CPU 104使用這些程序和數(shù)據(jù)執(zhí)行所述處理時(shí)，計(jì)算機(jī)102實(shí)現(xiàn)下面要描述的各個(gè)處理。
該實(shí)施方式使用x’＝kq×(xi-cx)y’＝kq×kv2h×(yi-cy)d＝1-kc(x，2+y’2)xo＝x’×d+cxyo＝y(tǒng)’×d+cy(2)其中(xi，yi)表示沒(méi)有任何畸變的理想位置，(xo，yo)表示有畸變的位置，kc是徑向畸變的三次參數(shù)，kq是徑向畸變的五次參數(shù)，kv2h是表示長(zhǎng)寬比的參數(shù)，(cx，cy)包括指示畸變中心位置的參數(shù)。
這樣，畸變校正參數(shù)包括徑向畸變的三次參數(shù)kc、徑向畸變的五次參數(shù)kq、長(zhǎng)寬比kv2h以及畸變中心位置(cx，cy)。
在攝像機(jī)校準(zhǔn)中要估算的透視投影轉(zhuǎn)換參數(shù)包括焦距(fx，fy)和主點(diǎn)位置(Px，Py)，外在參數(shù)包括位置“位置”和方向“方向”。
焦距fx是與水平方向的視場(chǎng)角相關(guān)的參數(shù)，焦距fy是與豎直方向的視場(chǎng)角相關(guān)的參數(shù)。
如上所述，在本實(shí)施方式中，與攝像機(jī)101相關(guān)的參數(shù)包括kc、kq、kv2h、cx、cy、fx、fy、px、py、位置和方向。
注意，焦距和長(zhǎng)寬比理論上具有下述關(guān)系fy＝fx×kv2h焦距(fx，fy)被用作透視投影參數(shù)，長(zhǎng)寬比kv2h被用作畸變校正參數(shù)。也就是，焦距(fx，fy)和長(zhǎng)寬比kv2h被獨(dú)立地使用。因此，作為本實(shí)施方式的優(yōu)化處理的結(jié)果而獲得的焦距(fx，fy)和長(zhǎng)寬比kv2h并不總是滿足上述等式。
在步驟S501中，估算初始參數(shù)。kc和kq的初始值可以被設(shè)為0，除非攝像機(jī)101的鏡頭具有異常大的畸變?；冎行?cx，cy)的初始值可以被設(shè)置在圖像(攝像機(jī)101捕捉到的圖像)的中心，除非使用了特殊鏡頭(專(zhuān)用鏡頭)。如果用特殊鏡頭作為攝像機(jī)101的鏡頭，則畸變的初始參數(shù)進(jìn)行相應(yīng)的設(shè)置。
作為kv2h的初始值，可以設(shè)置所用設(shè)備的理論值。當(dāng)使用通用計(jì)算機(jī)來(lái)捕捉符合NTSC的視頻信號(hào)時(shí)，可以以大約1∶1的長(zhǎng)寬比捕捉視頻信號(hào)。因此，將“1∶1”設(shè)置為表示長(zhǎng)寬比的參數(shù)kv2h。注意，該長(zhǎng)寬比包括誤差，但是將其作為在這種情況下使用的初始值是沒(méi)有任何問(wèn)題的。
基于圖案的布局信息(黑點(diǎn)202的位置，網(wǎng)格交點(diǎn)之間的距離，等等)，通過(guò)使用圖像間對(duì)應(yīng)性的攝像機(jī)參數(shù)估算計(jì)算來(lái)估算透視投影參數(shù)和外在參數(shù)(fx、fy、px、py、位置、方向)。參照黑點(diǎn)202確定多個(gè)圖像之間網(wǎng)格的對(duì)應(yīng)點(diǎn)。
在步驟S502，從攝像機(jī)101捕捉到的校準(zhǔn)圖案的圖像中檢測(cè)線條，并檢測(cè)被檢測(cè)到的線條的交點(diǎn)(圖2所示的網(wǎng)格的交點(diǎn))。令(xo，yo)是每一個(gè)檢測(cè)到的交點(diǎn)(此后被稱(chēng)為觀察點(diǎn)或者標(biāo)記)在該圖像上的坐標(biāo)位置。
在本實(shí)施方式中，由于同時(shí)估算攝像機(jī)101的透視投影參數(shù)和外在參數(shù)，所以獲取在攝像機(jī)101和校準(zhǔn)圖案201之間具有不同位置關(guān)系的多個(gè)圖像。為了在整個(gè)圖像區(qū)域上更加精確地估算畸變，希望網(wǎng)格完整地出現(xiàn)在每一個(gè)單獨(dú)的圖像區(qū)域中。
在步驟S503中，設(shè)置fx＝fy＝f(預(yù)定值)。這是因?yàn)榻咕鄥?shù)fx和fy的大小之間的差基本上與長(zhǎng)寬比kv2h相同，從而，在估算了一個(gè)參數(shù)之后，估算作為殘余誤差的另一個(gè)參數(shù)。
在步驟S504，將五次畸變系數(shù)kq固定為0。
在現(xiàn)有技術(shù)中，是在固定長(zhǎng)寬比的情況下進(jìn)行參數(shù)估算的。但是，公式(2)的畸變模型公式的前提是長(zhǎng)寬比是精確的。如果長(zhǎng)寬比包含誤差，則生成的模型在豎直方向和水平方向具有不同強(qiáng)度的徑向畸變。
與基于徑向畸變的三次參數(shù)kc的變化量以及基于長(zhǎng)寬比kv2h的變化量相比，基于徑向畸變的五次參數(shù)kq的變化量的值非常小。因此，當(dāng)與kc和kv2h同時(shí)估算kq時(shí)，kq就被埋沒(méi)在計(jì)算誤差當(dāng)中了，并且無(wú)法收斂。另外，由于kc和kq相互間具有強(qiáng)的關(guān)聯(lián)，如果同時(shí)估算它們的話，它們很可能陷入局部解。因此，在本實(shí)施方式中，初始地將五次畸變系數(shù)kq固定為0，估算其他參數(shù)。
這樣，在本實(shí)施方式中，優(yōu)先于精確校正徑向畸變所需的徑向畸變五次參數(shù)(kq的估算)來(lái)估算長(zhǎng)寬比kv2h。然后，在像面(其長(zhǎng)寬比已校正)上，估算在所有方向上與鏡頭中心沒(méi)有任何偏差的徑向畸變五次參數(shù)kq(kq的估算)。
下面說(shuō)明作為估算其他參數(shù)的過(guò)程的步驟S505到S507。
在步驟S505中，使用初始化的參數(shù)，進(jìn)行圖案坐標(biāo)系上的觀察點(diǎn)到像平面上的透視投影，并進(jìn)行鏡頭畸變逆校正。在該步驟中，計(jì)算觀察點(diǎn)在像平面上要映射到的位置的坐標(biāo)(xp，yp)。
在步驟S506中，使用在步驟S505中計(jì)算的坐標(biāo)(xp，yp)和在步驟S502中檢測(cè)到的觀察點(diǎn)的坐標(biāo)位置(xo，yo)之間的差，用牛頓法校正(更新)與攝像機(jī)101相關(guān)的參數(shù)(cx、cy、kc、kv2h、f、px、py、位置、方向)。由于在步驟S503中定義了fx＝fy＝f，所以焦距的參數(shù)只有f。
此時(shí)，在牛頓法中，計(jì)算和使用xi/cx、xi/cy、xi/kc、xi/kv2h、xi/f、xi/px、xi/py、xi/(位置)、xi/(方向)、yi/cx、yi/cy、yi/kc、yi/kv2h、yi/f、yi/px、yi/py、yi/(位置)、yi/(方向)。
在步驟S507中，計(jì)算殘余誤差，檢查殘余誤差是否變?yōu)榈扔诨蛘咝∮陬A(yù)定值(優(yōu)化要計(jì)算的參數(shù))。如果殘余誤差等于或者大于所述預(yù)定值，則流程返回步驟S505，重復(fù)上述處理。由于根據(jù)牛頓法的數(shù)值計(jì)算處理對(duì)于本領(lǐng)域普通技術(shù)人員是已知的，因此在這里省略其描述。
如果殘余誤差變得等于或小于所述預(yù)定值，則流程前進(jìn)到步驟S508。
在步驟S509和S510中的優(yōu)化處理中，在已在步驟S505到S507中優(yōu)化的參數(shù)(cx、cy、kc、kv2h、f、px、py、位置和方向)固定的情況下優(yōu)化五次畸變參數(shù)kq。
也就是，在校正了長(zhǎng)寬比的像平面上，估算在所有方向上相對(duì)于鏡頭中心沒(méi)有任何偏差的徑向畸變的五次參數(shù)kq。
在步驟S508中，將直到步驟S507的過(guò)程計(jì)算出的參數(shù)固定，將五次畸變系數(shù)kq設(shè)為變量。注意，預(yù)先計(jì)算xi/kq和yi/kq。
下面描述作為估算徑向畸變的五次參數(shù)kq的處理的步驟S509到S511。
在步驟S509中，使用在步驟S505到S507的處理中計(jì)算出的參數(shù)，將圖案坐標(biāo)系上的觀察點(diǎn)透視投影到像平面上，并且進(jìn)行鏡頭畸變的逆校正。在該步驟中，計(jì)算觀察點(diǎn)在像平面上要映射到的位置的坐標(biāo)(xp，yp)。
在步驟S510中，使用在步驟S509中計(jì)算出的坐標(biāo)(xp，yp)和在步驟S502中檢測(cè)到的觀察點(diǎn)的坐標(biāo)位置(xo，yo)之間的差，用牛頓法更新kq。
在步驟S511中，計(jì)算殘余誤差，檢查殘余誤差是否等于或者小于預(yù)定值(優(yōu)化要計(jì)算的參數(shù))。如果殘余誤差等于或大于所述預(yù)定值，則流程返回步驟S509，重復(fù)隨后的處理。
在步驟S512中檢查在步驟S507和S511中計(jì)算的殘余誤差的和是否等于或小于預(yù)定值。如果該和等于或大于所述預(yù)定值，則流程返回步驟S505，重復(fù)隨后的處理。當(dāng)流程返回步驟S505時(shí)，用在步驟S509到S511中計(jì)算出的kq代替0。
在步驟S513中，在步驟S512中最終確定的五次系數(shù)kq和長(zhǎng)寬比kv2h被固定。這是因?yàn)樵陔S后的優(yōu)化中不能與kc同時(shí)估算kq。為什么固定長(zhǎng)寬比的原因，是為了獨(dú)立地估算基本上與長(zhǎng)寬比具有相同含義的(fx，fy)。
在步驟S514中，將fx和fy設(shè)置為獨(dú)立的豎直和水平參數(shù)。執(zhí)行步驟S515到S517的處理。
在步驟S515中，使用在步驟S505到S512的處理中計(jì)算出的參數(shù)，將圖案坐標(biāo)系上的觀察點(diǎn)透視投影到像平面上，并且進(jìn)行鏡頭畸變的逆校正。在該步驟中，計(jì)算觀察點(diǎn)在像平面上要映射到的位置的坐標(biāo)(xp，yp)。
在步驟S516中，使用在步驟S515計(jì)算的坐標(biāo)(xp，yp)和在步驟S502檢測(cè)到的觀察點(diǎn)的坐標(biāo)位置(xo，yo)之間的差，用牛頓法更新fx和fy。
在步驟S517中，計(jì)算殘余誤差，檢查殘余誤差是否變得等于或者小于預(yù)定值(優(yōu)化要計(jì)算的參數(shù))。如果殘余誤差等于或大于所述預(yù)定值，流程返回步驟S515，重復(fù)所述處理。
在實(shí)際的計(jì)算之后，fx和fy為幾乎相同的值，但是獨(dú)立計(jì)算它們能夠?qū)崿F(xiàn)更為精確的再現(xiàn)。
對(duì)于校正結(jié)果，預(yù)先計(jì)算畸變參數(shù)和縮放比例，可以在用顯示設(shè)備106中所包含的功能進(jìn)行轉(zhuǎn)換的情況下顯示校正結(jié)果。
如上所述，根據(jù)該實(shí)施方式，在攝像機(jī)校準(zhǔn)中，校準(zhǔn)圖案不需要垂直放置，能夠容易地進(jìn)行校準(zhǔn)，從而消除了圖案未垂直放置時(shí)導(dǎo)致的誤差。
在攝像機(jī)的畸變參數(shù)估算中，長(zhǎng)寬比的誤差不會(huì)不利地影響畸變參數(shù)的精度，因而可以進(jìn)行精確的估算。
在本實(shí)施方式中，同時(shí)計(jì)算畸變校正參數(shù)、攝像機(jī)的透視投影轉(zhuǎn)換參數(shù)以及外在參數(shù)。因此，與現(xiàn)有技術(shù)中不同，不需要進(jìn)行兩次校準(zhǔn)?，F(xiàn)有技術(shù)是這樣的在獲取用于畸變校正參數(shù)計(jì)算的圖像并且計(jì)算了畸變校正參數(shù)之后，計(jì)算用于攝像機(jī)的透視投影轉(zhuǎn)換參數(shù)計(jì)算的圖像以及透視投影轉(zhuǎn)換參數(shù)。
在上述實(shí)施方式中，計(jì)算五次系數(shù)kq，但是也可以省略該計(jì)算。在這種情況下，在圖5的流程圖中，省略步驟S508到S512的處理。
即使鏡頭畸變模型(例如除了考慮徑向外，還考慮切向畸變)不同于上述實(shí)施方式的畸變模型，也能象上述實(shí)施方式一樣在考慮長(zhǎng)寬比的情況下估算畸變參數(shù)和透視投影轉(zhuǎn)換參數(shù)。
另外，fx和fy不需要總是單獨(dú)地估算。在這種情況下，可以省略步驟S513到S517的處理。
其他實(shí)施方式本發(fā)明的目的可以按如下方式實(shí)現(xiàn)。也就是，將記錄有能夠?qū)崿F(xiàn)上述實(shí)施方式的功能的軟件的程序代碼的記錄介質(zhì)(或者存儲(chǔ)介質(zhì))提供給系統(tǒng)或者設(shè)備。該系統(tǒng)或者設(shè)備的計(jì)算機(jī)(或者CPU或MPU)讀出并執(zhí)行記錄介質(zhì)中存儲(chǔ)的程序代碼。在這種情況下，從記錄介質(zhì)中讀出的程序代碼本身實(shí)現(xiàn)上述實(shí)施方式的功能，記錄程序代碼的記錄介質(zhì)構(gòu)成本發(fā)明。
當(dāng)計(jì)算機(jī)執(zhí)行讀出的程序代碼時(shí)，在計(jì)算機(jī)上運(yùn)行的操作系統(tǒng)(OS)等基于程序代碼的指令執(zhí)行部分或者全部實(shí)際的處理操作。本發(fā)明還包括這樣一種情況上述實(shí)施方式的功能由該處理實(shí)現(xiàn)。
另外，假設(shè)從記錄介質(zhì)讀出的程序代碼被寫(xiě)入被插入或者連接到計(jì)算機(jī)的功能擴(kuò)展卡或者功能擴(kuò)展單元的存儲(chǔ)器。之后，由設(shè)在功能擴(kuò)展卡或者功能擴(kuò)展單元中的CPU等基于程序代碼的指令執(zhí)行部分或者全部實(shí)際的處理操作，從而實(shí)現(xiàn)上述實(shí)施方式的功能。這樣的情況也被包括在本發(fā)明中。
當(dāng)將本發(fā)明應(yīng)用于記錄介質(zhì)時(shí)，記錄介質(zhì)存儲(chǔ)對(duì)應(yīng)于前述流程圖的程序代碼。
盡管上面參照舉例的實(shí)施方式描述了本發(fā)明，但是應(yīng)當(dāng)理解本發(fā)明不限于所公開(kāi)的舉例的實(shí)施方式。對(duì)所附的權(quán)利要求的范圍應(yīng)賦予最寬的解釋?zhuān)园ㄋ羞@樣的修改和等同結(jié)構(gòu)與功能。
權(quán)利要求
1.一種信息處理方法，用于估算校正參數(shù)，包括長(zhǎng)寬比、N次徑向畸變參數(shù)以及M(M＞N)次徑向畸變參數(shù)，該方法包括獲取步驟，獲取通過(guò)用圖像捕捉設(shè)備捕捉包括標(biāo)記的圖案圖像而獲得的捕捉到的圖像；檢測(cè)步驟，從所述捕捉到的圖像中檢測(cè)所述標(biāo)記；第一估算步驟，在固定M(M＞N)次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算長(zhǎng)寬比和N次徑向畸變參數(shù)；以及第二估算步驟，在固定估算出的長(zhǎng)寬比和估算出的N次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算M(M＞N)次徑向畸變參數(shù)。
2.如權(quán)利要求1所述的方法，其中，所述方法估算畸變校正參數(shù)和透視投影轉(zhuǎn)換參數(shù)，所述透視投影轉(zhuǎn)換參數(shù)包括焦距和主點(diǎn)位置，所述獲取步驟包括獲取多個(gè)捕捉到的圖像的步驟，所述第一估算步驟包括在固定M(M＞N)次徑向畸變參數(shù)的情況下，估算所述長(zhǎng)寬比、N次徑向畸變參數(shù)、焦距和主點(diǎn)位置的步驟，并且所述第二估算步驟包括在固定估算出的長(zhǎng)寬比、估算出的N次徑向畸變參數(shù)、焦距和主點(diǎn)位置的情況下估算M(M＞N)次徑向畸變參數(shù)的步驟。
3.如權(quán)利要求2所述的方法，其中，所述焦距包括與水平方向相關(guān)的第一焦距和與豎直方向相關(guān)的第二焦距，所述第一估算步驟包括在第一焦距與第二焦距相等的假設(shè)前提下估算所述長(zhǎng)寬比、N次徑向畸變參數(shù)、焦距和主點(diǎn)位置的步驟，并且所述方法還包括第三估算步驟，在固定估算出的長(zhǎng)寬比和估算出的M(M＞N)次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算第一焦距和第二焦距。
4.如權(quán)利要求1所述的方法，其中所述第一估算步驟和第二估算步驟使用重復(fù)的操作。
5.一種信息處理設(shè)備，用于估算校正參數(shù)，包括長(zhǎng)寬比、N次徑向畸變參數(shù)以及M(M＞N)次徑向畸變參數(shù)，該設(shè)備包括獲取單元，用于獲取通過(guò)用圖像捕捉設(shè)備捕捉包括標(biāo)記的圖案圖像而獲得的捕捉到的圖像；檢測(cè)單元，用于從所述捕捉到的圖像中檢測(cè)所述標(biāo)記；第一估算單元，用于在固定M(M＞N)次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算長(zhǎng)寬比和N次徑向畸變參數(shù)；以及第二估算單元，用于在固定估算出的長(zhǎng)寬比和估算出的N次徑向畸變參數(shù)的情況下，使用檢測(cè)到的標(biāo)記的圖像位置來(lái)估算M(M＞N)次徑向畸變參數(shù)。
全文摘要
本申請(qǐng)涉及信息處理方法和設(shè)備。從包括多個(gè)標(biāo)記的圖案圖像中檢測(cè)標(biāo)記。計(jì)算檢測(cè)到的標(biāo)記在捕捉到的圖像上的第一位置。使用與圖像捕捉設(shè)備相關(guān)的參數(shù)，計(jì)算表示所述標(biāo)記在捕捉到的圖像上的位置的第二位置。在固定圖像捕捉設(shè)備的鏡頭的徑向畸變的參數(shù)的情況下，使用第一位置和第二位置之間的差來(lái)校正圖像捕捉設(shè)備的鏡頭的所述徑向畸變參數(shù)之外的參數(shù)。使用校正后的參數(shù)，計(jì)算表示所述標(biāo)記在捕捉到的圖像上的位置的第三位置。使用第一位置和第三位置之間的差，校正所述徑向畸變參數(shù)。
文檔編號(hào)H04N5/232GK1913592SQ20061010815
公開(kāi)日2007年2月14日 申請(qǐng)日期2006年7月28日 優(yōu)先權(quán)日2005年7月29日
發(fā)明者守田憲司, 內(nèi)山晉二 申請(qǐng)人:佳能株式會(huì)社