本發(fā)明涉及計算機(jī)圖像領(lǐng)域，具體的說，涉及對多目視覺數(shù)據(jù)采集中攝像機(jī)進(jìn)行同步。

背景技術(shù)：

隨著硬件技術(shù)的發(fā)展，攝像機(jī)被廣泛地應(yīng)用于數(shù)據(jù)采集。近年來，基于攝像機(jī)的多目視覺數(shù)據(jù)采集成為了計算機(jī)圖形學(xué)、計算機(jī)圖像領(lǐng)域的研究熱點。多目視覺指的是通過多個攝像機(jī)從不同角度對同一物體進(jìn)行拍攝，從而利用采集到的數(shù)據(jù)進(jìn)行視覺測量、三維重建等工作。

多目視覺的實現(xiàn)基于各個攝像機(jī)之間的同步性，尤其是在拍攝高速運(yùn)動或快速變化的物體時，例如拍攝火焰時，需要確保各個攝像機(jī)之間具有較高的同步性。在各個攝像機(jī)所捕獲的視頻圖像數(shù)據(jù)的時間存在較大差異的情況下，將無法采用這些數(shù)據(jù)進(jìn)行后續(xù)的研究工作。因而，針對多攝像機(jī)的同步是實現(xiàn)多目視覺數(shù)據(jù)采集的關(guān)鍵技術(shù)。

在現(xiàn)有技術(shù)中，為了保證多攝像機(jī)的同步，通常采用三種方式：

一種是使用高度精準(zhǔn)的工業(yè)級硬件設(shè)備來確保各個攝像機(jī)之間的同步性。然而，這樣的攝像機(jī)造價高昂且受限于工業(yè)技術(shù)所能達(dá)到的標(biāo)準(zhǔn)，致使此種方式難以得到廣泛地應(yīng)用。

第二種方式是基于拍攝場景中的幾何特征進(jìn)行特征跟蹤和幾何約束，從而同步各個攝像機(jī)所拍攝的畫面。然而，很多拍攝目標(biāo)中并不存在明顯的特征信息和幾何形狀，致使此種方式無法實施。

另一種方式是在不同攝像機(jī)所拍攝的畫面中插入變形的子幀，以達(dá)到同步的目的。然而，此種方式并不適用于所拍攝物體形態(tài)變化快速、劇烈的情況。

技術(shù)實現(xiàn)要素：

因此，本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種用于同步多ccd攝像機(jī)的方法，包括：

1)將各個ccd攝像機(jī)進(jìn)行拍攝的幀率調(diào)整為與頻閃儀的頻率保持一致；

2)采用所述ccd攝像機(jī)對已開啟的頻閃儀進(jìn)行拍攝；

3)根據(jù)各個所述ccd攝像機(jī)所拍攝到的頻閃儀圖像中光源的位置與拖影亮斑的位置之間的距離，調(diào)整所述ccd攝像機(jī)的快門速度。

優(yōu)選地，根據(jù)所述方法，其中步驟3)包括：

3-1)判斷各個所述ccd攝像機(jī)所拍攝到的頻閃儀圖像中光源的位置與拖影亮斑的位置之間的距離之間的差異是否超過允許的誤差范圍；

3-2)對于所述差異超過允許的誤差范圍的情況，調(diào)整相應(yīng)的ccd攝像機(jī)的快門速度，直到由各個所述ccd攝像機(jī)所拍攝到的頻閃儀圖像中光源的位置與拖影亮斑的位置之間的距離之間的差異落入誤差范圍內(nèi)。

優(yōu)選地，根據(jù)所述方法，其中步驟3)包括：

3-01)獲得各個所述ccd攝像機(jī)所拍攝到的頻閃儀圖像中光源的位置；

3-02)針對每一個攝像機(jī)，檢測其所拍攝圖像中的拖影亮斑的位置是否處于τ-ε至τ+ε的范圍中，其中，τ為在完成調(diào)節(jié)時光源的位置與拖影亮斑的位置之間的距離，ε為應(yīng)用場景允許存在的誤差值；

3-03)對于所述拖影亮斑的位置不處于τ-ε至τ+ε的范圍中的情況，調(diào)整相應(yīng)的ccd攝像機(jī)的快門速度。

優(yōu)選地，根據(jù)所述方法，其中所述各個ccd攝像機(jī)具有相同或相近的ccd層數(shù)，并且所述各個ccd攝像機(jī)的每行電子的傳輸時間相同或相近。

優(yōu)選地，根據(jù)所述方法，其中通過以下方式獲得各個所述ccd攝像機(jī)所拍攝到的頻閃儀圖像中光源的位置，包括：

a-1)由各個ccd攝像機(jī)拍攝所述頻閃儀，使得所拍攝圖像中存在明顯的光源；

a-2)針對所采集到的各個圖像，分別統(tǒng)計每幅圖像中各列和或各行的像素強(qiáng)度和，以確定光源所處的列和或行。

優(yōu)選地，根據(jù)所述方法，其中步驟a-2)包括：

a-2-1)針對所采集到的各個圖像，將每幅圖像中連續(xù)n列和或n行像素強(qiáng)度作為一個單位進(jìn)行統(tǒng)計；

a-2-2)將連續(xù)n列和或n行像素強(qiáng)度之和最大的n列和或n行中位于中間一列和或一行的位置作為所述光源所處的列和或行。

優(yōu)選地，根據(jù)所述方法，在步驟a-1)中所述頻閃儀具有高于設(shè)定的閾值的閃爍頻率，并且步驟a-2)包括：

a-2.1)針對所采集到的各個圖像，確定每幅圖像中的連續(xù)飽和像素段；

a-2.1)將所述連續(xù)飽和像素段的中間位置作為所述光源所處的列和或行。

優(yōu)選地，根據(jù)所述方法，其中通過以下方式獲得各個所述ccd攝像機(jī)所拍攝到的頻閃儀圖像中拖影亮斑的位置，包括：

b-1)在關(guān)閉所述頻閃儀的情況下，由各個攝像機(jī)拍攝場景的背景圖像；

b-2)在開啟所述頻閃儀的情況下，由已被調(diào)節(jié)為具有與所述頻閃儀的頻率一致的拍攝幀率的各個攝像機(jī)拍攝所述場景下的頻閃儀圖像；

b-3)對所述背景圖像及所述場景下的頻閃儀圖像進(jìn)行比較，以確定所述拖影亮斑的位置。

并且，本發(fā)明還提供了一種計算機(jī)可讀存儲介質(zhì)，其中存儲有計算機(jī)程序，所述計算機(jī)程序在被執(zhí)行時用于實現(xiàn)前述任意一項所述的方法。

以及，一種用于同步多ccd攝像機(jī)的系統(tǒng)，包括：

存儲裝置；及

處理器；

其中，所述存儲裝置用于存儲計算機(jī)程序，所述計算機(jī)程序在被所述處理器執(zhí)行時用于實現(xiàn)如前述任意一項所述的方法。

與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：

可以使用造價相對較低的消費(fèi)級攝像機(jī)，大幅降低進(jìn)行多目視覺數(shù)據(jù)采集的成本；不要求所拍攝場景中必須存在特征信息或幾何形狀，可以拍攝形態(tài)變化快速、劇烈的物體。通過實驗證明，根據(jù)本發(fā)明的方案可以保持較高的同步精度，并且可以將同步誤差控制在5毫秒以內(nèi)。

附圖說明

以下參照附圖對本發(fā)明實施例作進(jìn)一步說明，其中：

圖1示意性地示出了ccd進(jìn)行成像的工作原理圖；

圖2(a)是光源一直發(fā)光時出現(xiàn)拖影亮帶的成像的示意圖；

圖2(b)是頻閃光源出現(xiàn)拖影亮斑的成像的示意圖；

圖3示出了亮斑位于光源的上方的拖影現(xiàn)象的成像原理；

圖4示出了亮斑位于光源的下方的拖影現(xiàn)象的成像原理；

圖5是根據(jù)本發(fā)明的一個實施例同步多ccd攝像機(jī)的方法的流程圖。

具體實施方式

下面結(jié)合附圖和具體實施方式對本發(fā)明作詳細(xì)說明。

發(fā)明人通過研究發(fā)現(xiàn)，可以利用電荷耦合元件(charge-coupleddevice，ccd)的拖影現(xiàn)象，實現(xiàn)對多臺ccd攝像機(jī)的同步。

所述ccd是一種用于成像的半導(dǎo)體器件，圖1示出了ccd攝像機(jī)中ccd成像感知器的成像過程。參考圖1，在進(jìn)行成像時，首先由半導(dǎo)體材料進(jìn)行感光，將收集到的光子轉(zhuǎn)化為電荷，并將產(chǎn)生的電子逐行地(即逐層地)向下垂直傳輸。當(dāng)電子被傳輸至ccd成像感知器最下一行的寄存器時，對電子進(jìn)行水平傳輸，并將電子轉(zhuǎn)換為電壓通過輸出放大器得到數(shù)字信息。在所有行的元件完成上述過程后，ccd成像感知器便完成了對一幀圖像的成像過程。

而在電子被逐層傳輸?shù)倪^程中，光源在繼續(xù)被ccd芯片感光后，會使得在最終所生成圖像光源位置的縱向方向上出現(xiàn)亮帶或亮斑。圖2示出了一個典型拖影現(xiàn)象，其中圖(a)光源一直發(fā)光時ccd攝像機(jī)所拍攝的圖像，圖(b)為光源為頻閃光源時所拍攝的圖像。在本領(lǐng)域中，通常將上述拖影現(xiàn)象看作是由于拍攝環(huán)境而導(dǎo)致的不期望出現(xiàn)的現(xiàn)象，在拍攝時往往希望避免在所拍攝的畫面中出現(xiàn)拖影現(xiàn)象。

然而，發(fā)明人發(fā)現(xiàn)，可以在進(jìn)行多目視覺數(shù)據(jù)采集的初期，利用高亮度所帶來拖影，對多個ccd攝像機(jī)進(jìn)行同步，其原理如下。

發(fā)明人利用具有固定閃爍頻率的頻閃儀作為被拍攝場景中的一個或多個光源進(jìn)行測試，發(fā)現(xiàn)當(dāng)頻閃儀的頻率大于ccd攝像機(jī)的幀率時，會發(fā)生如圖2(b)所示出的拖影現(xiàn)象，即在光源的上方和下方均出現(xiàn)了亮斑。而當(dāng)適當(dāng)調(diào)低頻閃儀的頻率后，所產(chǎn)生的亮斑的數(shù)量隨之減少，直到頻閃儀的頻率與ccd攝像機(jī)的幀率一致時，亮斑的數(shù)量減少到一個或零個。通過調(diào)節(jié)頻閃儀的頻率以及開啟時間，可以確保只出現(xiàn)一個亮斑。

在僅出現(xiàn)一個亮斑時，存在亮斑位于光源的上方、以及亮斑位于光源的下方這兩種情況。

假設(shè)，ccd攝像機(jī)生成一幀圖像所需的時長為tperiod，其大小等于幀率的倒數(shù)?？梢詫⒃摃r長劃分為“獲取圖像”、以及“讀出圖像”這兩階段，即，

tperiod＝tacquisition+tread。

在獲取圖像的階段tacquisition，打開快門進(jìn)行感光，將光子轉(zhuǎn)化為電荷；在讀出圖像的階段tread，讀出所有行的電子timage_read，并進(jìn)行其他操作telse(包括將電子轉(zhuǎn)換為電壓信號、成像存續(xù)等)，因而將tread表示為，

tread＝timage_read+telse。

若ccd成像感知器的分辨率為m×n，其傳輸每行電子時間為tper_row，即，

timage_read＝n×tper_row。

圖3示出了亮斑位于光源的上方的情況，即亮斑比光源更晚成像。

參考圖3，在開始成像第i幀圖像時(即在時刻)，ccd芯片感光成像出如在該時刻下虛線所示出的圖像，可以看到在該圖像靠下方的位置處呈現(xiàn)出一個光源的像。隨著電子逐行地向下垂直傳輸，頻閃儀在傳輸?shù)倪^程中閃亮，此時(即在時刻)，在前一時刻所生成的圖像向下移動δd的距離，并且ccd芯片再次感光成像出如在時刻下虛線所示出的圖像，所述再次感光所新生成的圖像與前一時刻生成的圖像在畫面上完全一致，均可以在同一位置處觀察到光源的成像。電子繼續(xù)向下傳輸，完成最終的成像，此時(即在到達(dá)時)，所最終形成的第i幀圖像是在時刻以及時刻感光生成的兩張圖像重合后的結(jié)果。

通過圖3可以看出，在所述最終形成的第i幀圖像上，再次曝光產(chǎn)生的亮斑位于首次曝光的光源像上方δd的位置處。因此，對于第i幀圖像，可以將亮斑與光源間的像素距離δd⁽ⁱ⁾表示為，

其中，表示第i幀開始傳輸?shù)臅r刻，頻閃儀在攝像機(jī)傳輸?shù)趇幀的過程中閃亮的時刻。

對于同一幀而言，頻閃儀閃亮的時間是唯一確定的。并且，在采用相同型號的ccd攝像機(jī)時，每行電子的傳輸時間tper_row也是固定不變的。

因此，對于再次曝光產(chǎn)生的亮斑位于首次曝光的光源像上方δd的位置處的情況而言，為了保證各個攝像機(jī)具有相同的只需保證各個攝像機(jī)能夠拍攝出具有相同δd⁽ⁱ⁾的圖像即可。

圖4示出了亮斑位于光源的下方的情況，即亮斑是所拍攝的前一幀中的成像，比當(dāng)前幀中的光源更早成像。

參考圖4，在開始成像第i-1幀圖像時(即在時刻)，ccd芯片感光成像出如在該時刻下虛線所示出的第i-1幀圖像。在頻閃儀閃亮后，(即之后的一個時刻)，ccd芯片再次感光成像出的圖像與在前一時刻所生成的圖像重合δd層，對于一個n層的ccd而言，在前一時刻所生成的圖像向下移動n-δd的距離。

通過圖4可以看出，在最終生成的第i幀圖像中，亮斑像位于光源像上方δd的位置處。因此，對于第i幀圖像，可以將亮斑與光源間的像素距離δd⁽ⁱ⁾表示為，

為了對各個攝像機(jī)進(jìn)行同步，需要保證每個攝像機(jī)均在相同的時刻開始成像，即需要保證他們所拍攝的幀具有相同的而綜合圖3和圖4這兩種情況，可以看出，開始成像的時刻僅與頻閃儀閃光的時刻ccd的層數(shù)n、ccd傳輸每行電子時間tper_row、亮斑與光源間的像素距離δd⁽ⁱ⁾相關(guān)。對于同一幀而言，頻閃儀閃亮的時間是唯一確定的。在采用相同型號的ccd攝像機(jī)時，ccd的層數(shù)n、以及每行電子的傳輸時間tper_row也是固定不變的。

因此，對于，亮斑像位于光源像上方δd的位置處的情況而言，為了保證各個攝像機(jī)具有相同的只需保證各個攝像機(jī)能夠拍攝出具有相同δd⁽ⁱ⁾的圖像即可。

綜合考慮如圖3和圖4所示出的兩種情況，可以發(fā)現(xiàn)，不論亮斑像位于光源像上方或是下方，在采用多個具有相同或相近的ccd層數(shù)、并且具有每行電子的傳輸時間相同或相近的特性的攝像機(jī)時，僅需調(diào)節(jié)使得各個攝像機(jī)所拍攝圖像上的δd均相等，便可以使得各個攝像機(jī)具有相同的tstart。

由于本發(fā)明需要調(diào)節(jié)亮斑位置，會引入同步誤差，因此可以進(jìn)一步地量化誤差，計算tper_row?？梢韵葘㈩l閃儀的閃爍頻率調(diào)至約10倍于視頻幀率，然后選擇在光源同側(cè)的亮斑進(jìn)行位置計算，計算方式如下：

其中，δdsmear表示相鄰兩個光斑在圖像中的距離，單位為像素，fflash表示頻閃儀的閃爍頻率，可以通過頻閃儀的顯示窗口讀出具體數(shù)值。

基于上述結(jié)論，本發(fā)明提出了一種用于多ccd攝像機(jī)的同步方法。

根據(jù)本發(fā)明的一個實施例，參考圖5，所述方法包括：

步驟1.將各個ccd攝像機(jī)進(jìn)行視頻拍攝的幀率調(diào)整為與頻閃儀的頻率保持一致。

如前文中所述，通過調(diào)節(jié)頻閃儀的頻率以及開啟時間，可以使得在所拍攝的畫面中由于“拖影現(xiàn)象”所產(chǎn)生的亮斑數(shù)量僅為一個。在亮斑數(shù)量減少到一個的情況下，可以認(rèn)為此時頻閃儀的頻率與ccd攝像機(jī)的幀率保持一致。

在本發(fā)明中，既可以人為地觀察所拍攝的圖像，也可以利用諸如圖像識別的技術(shù)來判斷所拍攝圖像上亮斑的數(shù)量，以確定是否需要調(diào)節(jié)頻閃儀的配置。

步驟2.利用所述ccd攝像機(jī)拍攝已開啟的頻閃儀，通過調(diào)節(jié)各個攝像機(jī)的快門速度，改變拍攝到的光源與拖影亮斑之間的距離，直到各個攝像機(jī)所拍攝到的所述距離均相等。

假設(shè)，在完成調(diào)節(jié)時所述距離的準(zhǔn)確值或預(yù)判值為τ，應(yīng)用場景允許存在的誤差值為ε，則當(dāng)每個攝像機(jī)所拍攝到的頻閃儀與拖影亮斑間的距離調(diào)節(jié)為處于τ-ε至τ+ε的范圍中時，便完成了對各個攝像機(jī)的同步過程。

在本發(fā)明中，可以利用任意現(xiàn)有的圖像識別技術(shù)以確定每個攝像機(jī)所拍攝的圖像上光源與拖影亮斑之間的距離大小，也可以通過人肉眼地進(jìn)行識別。發(fā)明人發(fā)現(xiàn)，在通過人肉眼進(jìn)行識別的過程中，會引入5毫米以內(nèi)的誤差。這是由于，對于大多數(shù)現(xiàn)有設(shè)備而言，像素每行的傳遞時間約為0.05毫秒。由于實驗中需要手動調(diào)節(jié)亮斑位置，因此無法期望使拖影亮斑與頻閃儀間的距離在各視頻序列中保持嚴(yán)格一致。但是可以通過5次以內(nèi)的手工調(diào)節(jié)將此距離的差距控制在100行以內(nèi)，所以通過本發(fā)明提供的方法可以方便地實現(xiàn)誤差精度在0.05毫秒×100＝5毫秒以內(nèi)的同步。

基于通過圖像識別或人肉眼識別出的結(jié)果，可以使得各個攝像機(jī)在不同分辨率之間進(jìn)行切換以調(diào)整快門速度，從而將各個攝像機(jī)所拍攝圖像上的頻閃儀與拖影光斑間的距離調(diào)節(jié)至相等。

下面將通過具體的實施例來介紹所述調(diào)節(jié)過程。

以使用monarchinstrumentnova-strobedbx頻閃儀為例，dbx頻閃儀的頻率范圍為0.50至333.33次/秒，調(diào)控步長為0.01次/秒?？梢酝ㄟ^軟件程序、或人肉眼判斷來檢測頻閃儀及拖影亮斑的位置，進(jìn)而通過調(diào)整兩者間的距離值，完成攝像機(jī)的同步調(diào)整設(shè)置，所述方法包括：

步驟2.1.檢測圖像中的頻閃儀(即光源)的位置。

可以首先將頻閃儀的閃爍頻率調(diào)至最高(333.33次/秒)，此時，在攝像機(jī)采集到的圖像中，在頻閃儀所在位置的上下位置將產(chǎn)生密集的亮斑。這里拍攝高頻閃爍的頻閃儀的目的在于，使得所拍攝圖像中存在明顯的光源。在此步驟中，不必限制所述攝像機(jī)的拍攝幀率是否與頻閃儀的頻率保持一致。

然后，對所采集到的圖像進(jìn)行檢測，統(tǒng)計圖像的各列的像素強(qiáng)度之和。理論上，頻閃儀的位置應(yīng)位于像素強(qiáng)度和最大的那一列，為了減小誤差，以連續(xù)5列像素作為一個統(tǒng)計單位，取連續(xù)5列像素強(qiáng)度和最大的5列，并將中間一列(即第3列)作為頻閃儀的在圖像橫向上(所在列)的位置。

在確定了頻閃儀的成像在圖像橫向上的位置后，需要進(jìn)一步確定其在圖像縱向上的位置。當(dāng)頻閃儀閃爍頻率較高時，會導(dǎo)致光子在頻閃儀位置過度累積，使像素處于過飽和狀態(tài)，進(jìn)而溢出到附近的像素。因此，對頻閃儀所在列的像素進(jìn)行搜索，統(tǒng)計連續(xù)飽和像素所集中的位置，取最大連續(xù)飽和像素段的中間位置，即為頻閃儀在圖像縱向上(所在行)的位置。應(yīng)當(dāng)理解，上述判斷頻閃儀在圖像縱向或橫向上的位置的方法是互通的。并且，在一些實施例中，也可以僅獲取頻閃儀在圖像上的縱向上的位置或僅獲取頻閃儀在圖像上的橫向上的位置，只要所獲得的位置信息可被用于計算如圖3、圖4中所示出的δd即可。

步驟2.2.針對每一個攝像機(jī)，檢測其所拍攝圖像中的拖影亮斑的位置是否處于τ-ε至τ+ε的范圍中。

如前文中所述，根據(jù)拖影亮斑發(fā)生的原理可知，其在圖像中的橫向位置與頻閃儀的成像在圖像中的橫向位置保持一致。因此，在此步驟中只需要確定亮斑在圖像中的縱向位置。

首先，關(guān)閉頻閃儀，由各個攝像機(jī)拍攝獲取拍攝場景的背景圖像。

隨后，開啟頻閃儀，通過調(diào)節(jié)使得各個攝像機(jī)采集視頻幀率與頻閃儀的頻率一致，并由各個攝像機(jī)拍攝獲取當(dāng)前拍攝場景下的頻閃儀圖像。

對所拍攝到的當(dāng)前拍攝場景下的頻閃儀圖像與拍攝場景的背景圖像進(jìn)行比較，例如進(jìn)行求取差值，以獲得圖像中拖影亮斑的位置。優(yōu)選地，在求取差值后的結(jié)果中處于頻閃儀所在列的特定方向(或上或下，根據(jù)拍攝場景而定，且各攝像機(jī)保持統(tǒng)一)位于距離τ-ε至τ+ε個像素的范圍內(nèi)搜索，是否存在連續(xù)多個像素的具有高亮度(例如，根據(jù)經(jīng)驗值，可以該標(biāo)準(zhǔn)選取為連續(xù)5個像素的亮度值大于120)。

若不存在，則重置該攝像機(jī)的快門開啟時間，并重新拍攝在開啟頻閃儀的情況下的場景圖像，以與背景圖像進(jìn)行比較，直到在τ-ε至τ+ε個的范圍內(nèi)檢測到具有高亮度的連續(xù)的多個像素。

在結(jié)束針對所有攝像機(jī)的調(diào)節(jié)后，即實現(xiàn)了攝像機(jī)的同步設(shè)置。

結(jié)合上述分析及實施例可以看出，拖影現(xiàn)象是ccd芯片在成像過程中，由于感光形成的電子按行依次輸出成像，導(dǎo)致過亮的光源在電子傳輸過程中，繼續(xù)被ccd芯片感光，而在最后生成的圖像中，光源位置縱向兩側(cè)出現(xiàn)過亮的條帶或者斑點的現(xiàn)象。本發(fā)明將利用ccd芯片的這一特征，實現(xiàn)多臺ccd攝像機(jī)的同步。

最后所應(yīng)說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案而非限制。盡管上文參照實施例對本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，都不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。