專利名稱：一種計算光照的運動場景圖像捕獲方法及裝置的制作方法
技術領域：
本發(fā)明涉及計算攝像學中的新型采集機制技術領域，特別涉及一種計算光照的運 動場景圖像捕獲方法及裝置。
背景技術：
目前，針對高速運動場景采集，計算攝像學領域相關的研究正如火如荼的展開，國 際上一些頂級實驗室和研究機構已經設計并實現(xiàn)了多個采集系統(tǒng)和對應算法。為此，早在2005年，斯坦福大學的Bennett實現(xiàn)了一個由52個緊密排列的低速相 機間插采集以虛擬單視角高速相機的采集系統(tǒng)，若每個低速相機的幀率為20幀每秒，那么 該采集系統(tǒng)的采集幀率可以達到52拉0 = 1040幀每秒。但該系統(tǒng)利用大規(guī)模相機陣列僅 實現(xiàn)單視角高速視頻采集，并且每一幀采集都是短曝光，間插的相機越多，虛擬幀率越高曝 光時間越短，采集圖像的信噪比越低。2006年，麻省理工大學的Raskar等人設計并實現(xiàn)了 編碼曝光采集系統(tǒng)，通過在一次圖像采集內，按照特定規(guī)則開閉快門，獲取頻譜無零點的卷 積核函數。但是，該系統(tǒng)只能對勻速直線運動和簡單背景的場景進行采集。2009年Raskar 等人又提出了連續(xù)變曝光的運動去模糊算法，該方法只需要采集視頻的連續(xù)幀之間曝光時 間發(fā)生變化，使得聯(lián)合頻譜無零點即可，但是，該方法針對單視角，并且只對直線運動等簡 單場景有效。2009年kllent等人提出了交替長短曝光的采集方法實現(xiàn)單視角高速場景采 集和場景運動信息估計，但是該方法受限于“短一長一短”的采集模式，對高速場景在時間 域上的信息捕獲不連續(xù)，信息丟失較大。目前對視頻圖像的采集有著單視角采集的局限性，并且對于需要拍攝物體的運動 方式也存在著制約。

發(fā)明內容
本發(fā)明的目的旨在至少解決上述的技術缺陷之一。為達到上述目的，本發(fā)明一方提出一種計算光照的運動場景圖像捕獲方法及裝 置，本發(fā)明的計算光照的運動場景圖像捕獲方法能夠通過多視角對視頻圖像進行采集，并 且能夠采集高速運動的場景圖像。其中，該方法包括以下步驟根據預先設置的光照編碼 模式控制光源的發(fā)光與熄滅，并根據所述光照編碼模式利用采集裝置同步采集運動場景圖 像；分割所述運動場景圖像的前景圖像和背景圖像，以提取目標運動場景圖像；根據所述 目標運動場景圖像的曝光時間采用解耦方法對所述目標運動場景圖像進行時間范圍上的 解耦，以得到所述目標運動場景圖像在多個時間點上的解耦反投影輪廓；以及根據預先保 存的所述目標運動場景圖像的精確初始模型對所述多個時間點上的解耦反投影輪廓進行 捕捉，以得到所述目標運動場景在當前時間的精確圖像。在本發(fā)明的一個實施例中，所述光照編碼模式為由數字0和數字1組合而成的二 進制序列，當判斷所述二進制序列對應位為1時對應光源發(fā)光，當判斷所述二進制序列對 應位為0時對應光源熄滅。
4
在本發(fā)明的一個實施例中，所述光源為多個高頻LED光源組合而成，所述多個高 頻LED光源分別按照所述光照編碼模式進行亮滅。在本發(fā)明的一個實施例中，所述采集裝置為多個低速相機，所述多個低速相機處 于長曝光狀態(tài)，當所述光源亮時所述多個低速相機分別采集所述運動場景圖像，當所述光 源熄滅時所述多個低速相機停止采集。在本發(fā)明的一個實施例中，所述光照編碼模式控制所述光源在不同時間亮滅，并 控制空間分布不同的光源亮滅，所述多個低速相機根據所述光源的亮滅同步采集所述運動 場景圖像，且根據不同的所述光源亮滅，多個低速相機采集所述運動場景圖像不同。在本發(fā)明的一個實施例中，所述不同光照編碼模式控制時間和空間上分布不同的 光源的亮滅，所述多個低速相機分別在不同光源發(fā)光時以多視角采集所述運動場景圖像。本發(fā)明的另一方面還提出了一種計算光照的運動場景圖像捕獲裝置，包括光源 設備；控制裝置，所述控制裝置用于根據預先設置的光照編碼模式控制光源設備的發(fā)光與 熄滅；采集裝置，所述采集裝置用于根據所述光照編碼模式采集所述運動場景圖像；以及 附屬設備，其中，所述光源設備、采集裝置和控制裝置設置在所述附屬設備內。在本發(fā)明的一個實施例中，所述光照編碼模式為數字0和數字1組合而成的二進 制序列，當判斷所述二進制序列對應位為1時對應光源發(fā)光，當判斷所述二進制序列對應 位為0時對應光源熄滅。在本發(fā)明的一個實施例中，所述光源設備的分布、亮度和角度根據不同的需要而 變化，其中，所述光源設備為所述多個可精確控制的高頻LED光源。在本發(fā)明的一個實施例中，所述采集裝置的個數和空間分布按照不同的需要而變 化，其中，所述采集設備為多個低速相機，且所述多個低速相機處于長曝光狀態(tài)，當所述光 源設備發(fā)光時所述多個低速相機分別采集所述運動場景圖像，當所述光源設備熄滅時所述 多個低速相機停止采集。在本發(fā)明的一個實施例中，所述不同光照編碼模式控制時間和空間上分布不同的 光源的亮滅，所述多個低速相機分別在不同光源發(fā)光時以多視角采集所述運動場景圖像。在本發(fā)明的一個實施例中，所述附屬設備為表面附有黑色幕布且內部附有綠色幕 布的半球形框架，其中，所述光源設備和所述采集設備分別均勻分布在所述附屬設備內一 個或多個平面上。通過本發(fā)明實施例的方法和裝置，能夠通過多視角對視頻圖像進行采集，并且能 夠采集高速運動的場景圖像，且通過對光照亮滅的控制及時空間插方法采集得到的圖像在 圖像的重構上有更好的效果。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為本發(fā)明實施例的計算光照的運動場景圖像捕獲方法的流程圖；圖2為本發(fā)明實施例的計算光照的運動場景圖像捕獲裝置的結構圖3a_;3e為本發(fā)明實施例的采集設備示意圖；圖4a_4b為本發(fā)明實施例的光源設備配置和幕布環(huán)境示意圖；圖5為本發(fā)明實施例的LED光源與相機的控制時序圖；圖6為本發(fā)明實施例的編碼模式成像積分與連續(xù)長曝光成像積分的對比圖；圖7a_7b為本發(fā)明實施例的采集圖像與連續(xù)長曝光模式下的采集結果的對比圖；圖8為現(xiàn)有技術中編碼光照和長曝光的頻譜對比圖；以及圖9a_9b為本發(fā)明實施例的運動捕捉結果的運動模糊圖像重建算法示意圖。
具體實施例方式下面詳細描述本發(fā)明的全部實施例，所述實施例的示例在附圖中示出，其中自始 至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參 考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。本發(fā)明是針對目前對高速運動場景圖像采集往往通過單視角的采集方法，而一旦 采用多視角的采集方法又不能對高速運動的場景圖像進行采集，因此，本發(fā)明提出了一種 通過多視角采集高速運動場景圖像，并通過優(yōu)化光照編碼的方式獲取運動場景圖像的計算 光照的運動場景圖像捕獲方法和裝置。以下就結合附圖1-9對本發(fā)明實施例的計算光照的運動場景圖像捕獲方法的流 程做詳細描述，同時對本發(fā)明實施例的計算光照的運動場景圖像捕獲裝置的結構的工作原 理做詳細描述。如圖1所示，為本發(fā)明實施例的計算光照的運動場景圖像捕獲方法的流程圖。步驟S101，根據預先設置的光照編碼模式控制光源的發(fā)光與熄滅，并根據所述光 照編碼模式利用采集裝置同步采集所述運動場景圖像，其中，所述采集設備在所述光源發(fā) 光時采集所述運動場景圖像。具體地，為了采集到用戶所需要的運動場景圖像，不能夠以普通長曝光的模式下 通過采集設備采集運動場景圖像，以普通長曝光模式采集到的圖像包含的圖像信息少，而 且圖像質量不高，因此，在本發(fā)明的一個實施例中，為了避免長曝光下采集圖像，因此需要 對光源進行周而復始的亮與滅的控制，通過此種控制能夠使采集圖像在短曝光的模式下采 集，而控制程序根據用戶預先設定的光照編碼模式進行亮滅控制。在本發(fā)明的一個實施例 中，該光源的光照編碼模式為數字0和數字1組合而成的二進制序列，控制程序根據此二 進制序列對光源的亮滅進行控制，當控制程序識別到當前二進制序列的當前位為1時，對 相應的光源進行高電平觸發(fā)，此時，該光源處于發(fā)光狀態(tài)，相應的采集設備能夠采集到此刻 的運動場景圖像信息，當識別到當前二進制序列的當前位為0時，控制對應的光源熄滅，此 時，對應的采集設備將采集不到任何圖像，因此，采集圖像能夠按照用戶規(guī)定的光照編碼方 式進行采集。在本發(fā)明的一個具體實施例中，該光源為多個高頻LED光源組合而成，該多個高 頻LED光源分別按照不同規(guī)定的光照編碼模式進行亮滅，為了增加對光源的可控性，該多 個高頻LED光源能夠通過控制程序控制多個高頻LED光源在空間上的分布，并且根據需要 控制各個LED光源的亮度程度和照射的角度。在本發(fā)明的一個具體實施例中，采集裝置為多個低速相機，多個低速相機處于長
6曝光狀態(tài)，當光源亮時該多個低速相機分別采集運動場景圖像，當光源熄滅時該多個低速 相機停止采集，為了使相機能夠多角度的采集場景圖像，在本發(fā)明的具體實施例中，通過調 整相機在空間上的布局，使相機能夠根據用戶的需要以各個角度采集圖像，因此，實現(xiàn)了時 空間插采集的方式，并且實現(xiàn)了多角度，高精度的采集高速運動的場景圖像信息。步驟S102，分割所述運動場景圖像的前景圖像和背景圖像，以提取目標運動場景 圖像。具體地，根據步驟SlOl的方法得到的高速運動場景的多角度，多組合的圖像信 息，對每個圖像分別進行目標運動場景圖像提取，為了能夠準確，可靠的分割出運動場景圖 像的目標運動場景和背景圖像，在本發(fā)明的具體實施例中，設置運動場景的背景為綠色幕 布，以綠色作為背景能夠更方便，準確的提取出前景的目標運動場景。當然，本領域的技術 人員知道，采用綠色幕布作為背景只是為了更好的體現(xiàn)出本發(fā)明的發(fā)明效果，而采用其它 顏色的背景也能夠實現(xiàn)前景的提取，因此，這些基于本發(fā)明思想的改變和變換都應列為本 發(fā)明的保護范圍。步驟S103，根據所述目標運動場景圖像的曝光時間采用解耦方法對所述目標運動 場景圖像進行時間范圍上的解耦，以得到所述目標運動場景圖像在多個時間點上的解耦反 投影輪廓。具體地，在本發(fā)明的一個實施例中，假設該目標運動場景圖像的曝光時間為1秒， 而相機數量為5個，則可以對該目標運動場景圖像在時間域上進行N個解耦反投影輪廓，其 中，N =曝光時間/相機數量，在此處，N = 1/5 = 0. 2秒，所以在此處解耦的反投影輪廓為 5個。步驟S104，根據預先保存的所述目標運動場景圖像的精確初始模型對所述多個時 間點上的解耦反投影輪廓進行捕捉，以得到所述目標運動場景在當前時間的精確圖像。在本發(fā)明實施例的另一方面還提出一種用在此方法上的計算光照的運動場景圖 像捕獲裝置，如圖2所示，為本發(fā)明實施例的計算光照的運動場景圖像捕獲裝置的結構圖。 在本發(fā)明的一個具體實施例中，該計算光照的運動場景圖像捕獲裝置200包括光源設備 210、控制裝置220、采集裝置230和附屬設備M0。具體地，控制裝置220用于根據預先設 置的光照編碼模式控制光源設備210的發(fā)光與熄滅，光源設備210可以為多個LED光源組 合而成，其每個LED光源具有高頻率，且空間分布、光照亮度和照射角度可調，通過控制器 根據控制程序按照相應的光照編碼模式對每個LED光源進行亮滅控制。采集裝置230用于 根據所述光照編碼模式采集所述運動場景圖像，其中，當所述光源設備210發(fā)光時所述采 集裝置230采集所述運動場景圖像，在本發(fā)明的一個實施例中，所述采集裝置為多個低速 相機，且每個相機分別按照光源的亮滅對場景進行同步的采集，換言之，當光源發(fā)光時，采 集圖像，而當光源熄滅是，相應的相機停止采集，另外，多個低速相機在空間上是可變換的， 每個低速相機可以均勻分布在一個平面上，也可以根據用戶的需要分布在幾個不同的平面 上，因此，能夠對場景進行多角度的采集，并且實現(xiàn)了時空間插采集的方式，在時間和空間 上有著不同的組合采集方式，這樣能夠采集到更多的運動信息，并且采集的信息冗余性小， 為后續(xù)的恢復提供更多的信息。在本發(fā)明的一個具體實施例中，附屬設備240為一個直徑 六米的半球形框架，外部由黑色幕布遮蔽，防止外部光線照射進來，而內部由綠色幕布構 成，以便提取圖像的前景信息。其中，光源設備210、采集設備230按照一定的規(guī)則分布在附屬設備240中。具體地，如圖3a_;3b所示，為本發(fā)明實施例的采集設備示意圖。在本發(fā)明的一個實 施例中，采集設備如圖3a所示，該采集設備內有20個低速相機，可以均勻的分布在一個圓 形平面上，也可以將其中15個相機緊貼幕布上一圈分布，另外5個相機在半球頂部的一個 小圓平面均勻分布。如圖: - 所示，該多視角相機設備可以實現(xiàn)高速場景的同步采集以 及時空間插采集。如圖4a_4b所示，為本發(fā)明實施例的光源設備配置和幕布環(huán)境示意圖。在本發(fā)明 的一個實施例中，如圖如所示，最上面一圈均勻分布著40個LED，中間一圈均勻分布50個 LED，下面一圈均勻分布著60個LED，每一組LED都獨立控制，可以實現(xiàn)高精度的同步亮滅已 經高頻率的同步亮滅，且同步精度達到微秒級別，同時LED亮滅頻率可以高達1000Hz。每個 LED的位置，朝向，都是可以變化調節(jié)的，在實際采集中，根據曝光時間的長短不同可以使用 不同LED的組合。如圖4b所示，以實現(xiàn)光照的優(yōu)化控制。如圖5所示，為本發(fā)明實施例的LED光源與相機的控制時序圖。在本發(fā)明的一個 實施例中，相機與LED光源時間同步，在暗室環(huán)境下，相機傳感器長曝光，在計算編碼光照 該位為1的情況下場景信號被采集到，否則沒有任何光的信息被傳感器接收。換言之，控制 程序按照光照編碼模式對光源進行亮滅控制，當控制程序判斷光照編碼模式的當前位為1 時，觸發(fā)對應的光源發(fā)光，否則控制對應的光源熄滅。如圖6所示，為本發(fā)明實施例的編碼模式成像積分與連續(xù)長曝光成像積分的對比 圖。在本發(fā)明的一個實施例中，在光照編碼模式下場景信號只有在對應位為1的情況下才 會積分，當光照編碼模式對應位為0時，從圖中可以看出線性沒有遞增，而是平行于左邊過 度到直至下個對應位為1時再次積分。而連續(xù)長曝光成像積分每時每刻都在增長，使成像 積分準確度下降。如圖7a_7b所示，為本發(fā)明實施例的采集圖像與連續(xù)長曝光模式下的采集結果的 對比圖。在本發(fā)明的一個實施例中，圖7a為采用本發(fā)明方法和裝置采集的圖像，圖7b為采 用普通長曝光模式采集的圖像。其中，不同的編碼模式對應著不同的運動信息結構化效果。 如下面三種編碼模式分別對應不同的采集效果Cl :0100001001010111001000001100000010000100 ；C2 :0101111000111110101111001100001000101000 ；C3 :0101001100000010100110000001010011000000ο如圖8所示，為現(xiàn)有技術中的編碼光照和長曝光的頻譜對比圖?？梢娋幋a曝光將 長曝光模糊圖像卷積核對應的零點給消除了，形成了寬帶無零點卷積核，這對于后續(xù)的去 運動模糊具有非常好的效果。如圖9a_9b所示，為本發(fā)明實施例的運動捕捉結果的運動模糊圖像重建算法示意 圖。在本發(fā)明的一個實施例中，圖9a_9b具有與計算光照相對應的結構化信息。其中，圖9a 為采用本發(fā)明運動分割后的目標運動場景圖像，結合采集時的計算編碼光照信息以及運動 捕捉得到的模型動態(tài)信息來提取每一個解耦短曝光對應的紋理信息，如圖9b所示，為相應 的N個反投影輪廓，其中，N的個數取決于相機的個數，即N =相機個數，并對目標圖像估計 運動模糊核，進行重構。通過本發(fā)明提出的計算光照的運動場景圖像捕獲方法及裝置，能夠通過多視角對視頻圖像進行采集，并且能夠采集高速運動的場景圖像，且通過對光照亮滅的控制及時空 間插方法采集得到的圖像在圖像的重構上有更好的效果。 盡管已經示出和描述了本發(fā)明的實施例，對于本領域的普通技術人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權利要求及其等同限定。
權利要求
1.一種計算光照的運動場景圖像捕獲方法，其特征在于，包括以下步驟根據預先設置的光照編碼模式控制光源的發(fā)光與熄滅，并根據所述光照編碼模式利用 采集裝置同步采集運動場景圖像；分割所述運動場景圖像的前景圖像和背景圖像，以提取目標運動場景圖像；根據所述目標運動場景圖像的曝光時間采用解耦方法對所述目標運動場景圖像進行 時間范圍上的解耦，以得到所述目標運動場景圖像在多個時間點上的解耦反投影輪廓；以 及根據預先保存的所述目標運動場景圖像的精確初始模型對所述多個時間點上的解耦 反投影輪廓進行捕捉，以得到所述目標運動場景在當前時間的精確圖像。
2.如權利要求1所述的計算光照的運動場景圖像捕獲方法，其特征在于，所述光照編 碼模式為由數字0和數字1組合而成的二進制序列，當判斷所述二進制序列對應位為1時 使對應光源發(fā)光，當判斷所述二進制序列對應位為0時使對應光源熄滅。
3.如權利要求2所述的計算光照的運動場景圖像捕獲方法，其特征在于，所述光源由 多個高頻LED光源組合而成，所述多個高頻LED光源分別按照所述光照編碼模式進行亮滅。
4.如權利要求1所述的計算光照的運動場景圖像捕獲方法，其特征在于，所述采集裝 置為多個低速相機，所述多個低速相機處于長曝光狀態(tài)，當所述光源發(fā)光時所述多個低速 相機分別采集到所述運動場景圖像。
5.如權利要求4所述的計算光照的運動場景圖像捕獲方法，其特征在于，所述光照編 碼模式控制所述光源在不同時間亮滅，并控制空間分布不同的光源亮滅，所述多個低速相 機根據所述光源的亮滅同步采集所述運動場景圖像，且根據不同的所述光源亮滅，多個低 速相機采集所述運動場景圖像不同。
6.如權利要求5所述的計算光照的運動場景圖像捕獲方法，其特征在于，所述不同光 照編碼模式控制時間和空間上分布不同的光源的亮滅，所述多個低速相機分別在不同光源 發(fā)光時以多視角采集所述運動場景圖像。
7.一種計算光照的運動場景圖像捕獲裝置，其特征在于，包括光源設備；控制裝置，所述控制裝置用于根據預先設置的光照編碼模式控制光源設備的發(fā)光與熄滅；采集裝置，所述采集裝置用于根據所述光照編碼模式采集所述運動場景圖像；以及附屬設備，其中，所述光源設備、采集裝置和控制裝置設置在所述附屬設備內。
8.如權利要求7所述的計算光照的運動場景圖像捕獲裝置，其特征在于，所述光照編 碼模式為數字0和數字1組合而成的二進制序列，當判斷所述二進制序列對應位為1時對 應光源發(fā)光，當判斷所述二進制序列對應位為0時對應光源熄滅。
9.如權利要求8所述的計算光照的運動場景圖像捕獲裝置，其特征在于，所述光源設 備的分布、亮度和角度根據不同的需要而變化，其中，所述光源設備為所述多個可精確控制 的高頻LED光源。
10.如權利要求7所述的計算光照的運動場景圖像捕獲裝置，其特征在于，所述采集裝 置的個數和空間分布按照不同的需要而變化，其中，所述采集設備為多個低速相機，且所述 多個低速相機處于長曝光狀態(tài)，當所述光源設備發(fā)光時所述多個低速相機分別采集到所述運動場景圖像。
11.如權利要求10所述的計算光照的運動場景圖像捕獲裝置，其特征在于，所述不同 光照編碼模式控制時間和空間上分布不同的光源的亮滅，所述多個低速相機分別在不同光 源發(fā)光時以多視角采集所述運動場景圖像。
12.如權利要求7所述的計算光照的運動場景圖像捕獲裝置，其特征在于，所述附屬設 備為表面附有黑色幕布且內部附有綠色幕布的半球形框架，其中，所述光源設備和所述采 集設備分別均勻分布在所述附屬設備內至少一個平面上。
全文摘要
本發(fā)明提出一種計算光照的運動場景圖像捕獲方法及裝置，其中，該方法包括以下步驟根據預先設置的光照編碼模式控制光源的發(fā)光與熄滅，并同步采集運動場景；分割運動場景的前景和背景，以提取目標運動場景；根據目標運動場景的曝光時間對目標運動場景進行解耦，以得到目標運動場景的多個解耦反投影輪廓；和根據預先保存的目標運動場景的精確初始模型對多個解耦反投影輪廓進行捕捉，以得到目標運動場景在當前時間的精確圖像。通過本發(fā)明的方法和裝置能夠對高速運動的場景進行多視角的圖像采集，并且通過對光照亮滅的控制及時空間插方法采集得到的圖像在圖像的重構上有更好的效果。
文檔編號H04N5/232GK102104735SQ20111003194
公開日2011年6月22日 申請日期2011年1月28日 優(yōu)先權日2011年1月28日
發(fā)明者戴瓊海, 武迪, 索津莉 申請人:清華大學