專利名稱：圖像數據處理方法及攝像系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種圖像數據處理方法，這種方法將圖像數組中在顯示圖像前景的目標數據與顯示圖像背景的數組分開，本發(fā)明還涉及一種尤其適用于實現這種方法的攝像系統(tǒng)。
在電視技術中，已知有所謂的蘭盒方法(Blue-Box-Verfahren)，在這種方法中，將形成有待拍攝的調節(jié)背景的一個表面設計成單色的、特別是蘭色的背景。在這種背景前對目標一般是用第一電視攝像機以每秒50至60半幀的圖像頻率攝像，而同時用第二電視攝像機對替代第一圖像的蘭色背景的替代背景，例如氣象圖進行攝像。兩個并行拍攝的圖像序列在混合器中被同步疊加，蘭色背景區(qū)域被第二電視攝像機所拍攝的圖像替代。
在所謂的蘭盒方法中，有兩種不同的基本方法，其中，第一種方法基于對顏色值的定義(背景顯示色被定義為透明的)，而在第二種工業(yè)上特別是由Ultimatte公司實現的方法中，通過恒定的背景亮度和/或色域飽和度來定義背景。
已知方法的優(yōu)點是，對模擬圖像數據的處理相對簡單，并能實時進行。而其缺點是，在大多數情況下須對蘭色，經常也須對綠色背景作非常好的照明，因為顏色及顏色的亮度和/或飽和度在高質量的拍攝圖像序列中必須非常均勻，而這只能通過對顯示背景的彩色表面非常好的照明實現。但這種照明的費用卻很大，因為對攝影室來說典型的照明時間約為一周，通常甚至更長。不算與之相關的人力，也需要耗費很多電力，并且對參與攝制的人來說會產生令人不適的高溫。其缺點還在于，必須避免陰影和/或反射，這又增加了照明的難度。用已知的方法不能解決反射的問題，對陰影的糾正也很有限。
本發(fā)明提供了一種與之不同的、具有權利要求1特征的圖像數據處理方法，以及具有權利要求13特征的攝像系統(tǒng)。
本發(fā)明出于這樣的考慮，以一個與攝像機的攝像頻率相調協(xié)的頻率改變背景。這里對“調協(xié)”理解為，背景變化的頻率與攝像頻率之間的的比例已知。這里它可以是整數也可以是攝像頻率的任意倍數。攝像頻率優(yōu)選是重現頻率的若干倍，例如為通常電視圖像頻率的兩倍，即約為每秒100至120半幀。如下面將要描述的，本發(fā)明的方法基本上可以在達到每秒數千幀的任意攝像頻率下，以及據此調協(xié)的背景變化頻率下工作。前提是，兩個前后相接攝制的幀的內容(前景)不能改變或者至少沒有明顯的改變，因為圖像序列中的每個第二幀被作為參考幀使用。
本發(fā)明的方法使數碼相機的使用成為可能，并利用其技術上的優(yōu)點。用雙倍頻率拍攝圖像序列，以及用根據此頻率確定的相應的頻率改變背景，導致一個圖像對序列，其中，構成圖像對的兩個圖像(以常規(guī)運動速度拍攝的目標)，除了從一次拍攝到下一次拍攝按規(guī)定變化的背景外，相互間沒有或幾乎沒有不同。因此圖像對中的一幅圖像可以作為另一幅圖像的參考圖像。
利用數字攝像技術的優(yōu)點，即，可以將每個被拍攝的圖像的圖像點(像素)直接與接續(xù)其后的圖像的相應的圖像點進行比較，對圖像對中的兩個圖像進行比較，其中例如將參考圖像的每個圖像點從另一幅圖像中的相應圖像點減去。對構成拍攝前景的目標的比較結果在沒有變化的情況下(非運動或緩慢運動物體)為零或接近于零，在輕微變化的情況下(快速運動的物體)為非零的不同的任意值，而對背景平面的比較結果為預先確定的值，因為一幅拍攝的圖像的背景與下一幅圖像的背景間的變化是按規(guī)定進行的。背景的變化可以通過兩種狀態(tài)間的轉換或在兩種狀態(tài)間逐漸連續(xù)地，例如正弦振蕩的形式實現。
為了將構成攝像前景的目標與其背景分開，即所謂的“截取”，將所有在比較構成圖像對的兩個圖像時具有一定內容的圖像點刪除，并在必要時用并行拍攝的圖像內容(例如氣象圖)替代之。第二幀圖像的來源是任意的。除了所述并行拍攝的圖像，還可以用單一圖像(固定圖像)作為背景，或者還可以例如用計算機產生的圖像或圖像序列。
在本發(fā)明的優(yōu)選實施方式中，為了確定將攝像圖像數組的元素分配給目標數組還是背景數組，對以重現頻率拍攝的攝像圖像在不同時刻的數組進行比較。攝像頻率可以例如是之后重現頻率的三倍，因此，在重現頻率內，即在一個重現頻率的相應周期內，可以拍攝三幅圖像。為了識別攝像圖像中的任意元素是目標還是背景，將這三幅圖像進行比較。所述比較是以有利的方式成對進行的。例如將該三幅圖像序列中的第一幅攝像圖像首先與第二幅圖像進行比較，然后與第三幅圖像進行比較，最后將第二幅圖像與第三幅圖像進行比較。為了經濟地實施所述方法，可以分步驟進行比較，其中，只有當前面的步驟沒有得出明確結果時，即不能明確分辨出攝像圖像元素是目標元素還是背景元素時，才實施后面的比較步驟。
在特別有利的實施方式中，所述比較是減去攝像圖像數組中具有相同坐標或區(qū)域的元素，其中，攝像圖像數組中相互比較的元素可以是單個像素，也可以是像素域。像素域的比較尤其具有優(yōu)點，它使本方法可以更快地實施。這里可以首先選取較大的像素域，以便以后在需要時將其逐步劃分為較小的域。按照本發(fā)明的方法不僅能夠比較兩維像素域，而且也能對n維像素域進行比較。
如前所述，按照本發(fā)明的方法可以在達到每秒數千幀的任意攝像頻率下實現。攝像頻率越高，在一個重現周期內所拍攝的具有不同背景狀態(tài)(尤其是背景亮度)的圖像就越多，由此，比較次數，即比較對的排列明顯上升。由此也為將攝像圖像元素分配給背景數組或目標數組提供了更好的基本條件。
本發(fā)明還提供了這種可能性，即在高攝像頻率及漸進改變背景的情況下，在攝像圖像中對目標的反射特性進行分析，并由此推斷出目標的折射率及材料。這又使得目標數組的相關數組元素能與新的、替代原始攝像背景的替代背景相適應。與現有技術中的方法不同，按照本發(fā)明的方法不僅能夠糾正反射(及陰影)，而且還能對其進行分析，以識別圖像元素的目標屬性或背景屬性，或使圖像及目標與替代背景相匹配。因此按照本發(fā)明可以識別目標及背景上的陰影和/或反射，并根據應用或用戶的愿望將其刪除或以其他的方式方法調節(jié)和處理。
本發(fā)明方法的實現首選所謂的人工智能(KI)的神經網絡或其他方法。由此能夠很好地實現對圖像元素是目標、背景、反射、陰影等的識別和分配。
最后，本發(fā)明還提供了這種可能性，不僅能對攝像圖像數組在兩維區(qū)域(目標及背景屬性)的排列進行分析，而且還能獲得目標及背景的其他信息，如速度等。這使得可以進一步推斷出攝像圖像數組的三維數據(與攝像機的距離等)，因此本發(fā)明不僅適用于兩維圖像數據處理，而且也適用于多維圖像數據處理。
本發(fā)明的另一優(yōu)點是，在攝像過程中，攝像背景只部分地改變。
為了實現本發(fā)明的方法，首選應用薄膜狀或片狀元件，它們可以很快達到目標光學變化，即，它們的顏色和/或亮度和/或飽和度能夠在極短的時間內從第一預定值變?yōu)榈诙A定值。這里電致發(fā)光或電致變色平面元件尤其適用，如在現有技術中已知的那樣。
本發(fā)明的其他優(yōu)點及實現在下面的描述及附圖中給出。
應該理解，前面所提及的以及后面將要描述的特征，在本發(fā)明的范圍內，不僅能夠用于已給的組合，而且能夠用于其他組合或所有設備。
下面將借助本發(fā)明的一種優(yōu)選實施方式結合附圖對本發(fā)明加以詳細描述。


圖1所示為本發(fā)明的圖解框圖。
圖2所示為應用于本發(fā)明的一個分析單元的框圖。
本發(fā)明的中心構成部件是通過一個或多個攝像機(攝像機1至n)對一個或多個目標(目標1至m)攝像，其中，所述目標處于背景前。按照本發(fā)明，所述背景是受高頻影響的，及可改變的。其中，變化頻率與攝像機的攝像頻率相調協(xié)。背景的變化特別是涉及到背景的顏色和/或亮度和/或飽和度。
影響背景變化的參數除了變化頻率外，還有顏色、亮度和/或飽和度。對攝像機來說，影響變化的參數除了常規(guī)的攝像機參數外，還有攝像頻率，必要時還有限定的某一圖像區(qū)域x*y。這些參數由分析單元控制，其中直接控制，特別是對在背景上調節(jié)攝像機的控制，是可能的。
利用攝像機1至攝像機n，對由背景包圍的目標，即由背景環(huán)繞的目標1至目標m攝像，其中攝像機的攝像頻率是其后重現頻率的若干倍。作為結果，有n個攝像機在單位時間z內，所攝制的Az個攝像圖像，它們被送入在圖2中較詳細地示出的分析單元。
圖2所示的分析單元為攝像機1至n配有各自的攝像機相關的分析單元，Az個攝像圖像的數據被分別送入其中。同樣考慮送入每個攝像機相關的分析單元的附加參數，如前所述，在每個攝像機相關的分析單元中將目標與背景分開，其中將每個攝像圖像元素(像素或像素域)識別并分類為“目標”或“背景”。在成功分類之后，將屬于背景的圖像元素去除，并用替代背景的圖像元素替代之。在簡單應用中，這種替代背景為靜態(tài)不變的圖片，例如氣象圖。但較復雜的應用也是可能的，并可通過本發(fā)明的方法使之易于實現，如在攝影室攝像時，淡入分別攝制的、或由計算機產生的動態(tài)圖像作為背景。識別的過程已在前面敘述過。
由每個攝像機相關的分析單元產生的圖像數據然后被送入一個與拍攝時刻相關的中央分析單元，該中央分析單元具有一個用于分析多個時間單位的緩沖器，用于同步和確認由攝像機相關的分析單元所傳遞的數據。使用多臺攝像機可以產生適用于再現觀察者可以從不同視角觀察的“三維”圖像的圖像數據。對這種拍攝并再現方法有例如在德國專利申請199 13 853.2中所描述的。
分析單元輸出由與拍攝時刻相關的中央分析單元產生的數據，作為結果(比較圖1)，有單幅圖像(幀)，其中背景和目標相互分開。所產生的幀的典型再現頻率約為25至30秒-1(電視圖像頻率)。
權利要求
1.一種圖像數據處理方法，這種方法將圖像數組中顯示圖像前景的目標數據(目標數組)與顯示圖像背景的數組(背景數組)分開，其中，以一個與攝像機的攝像頻率相調協(xié)的頻率改變攝像機所要拍攝的背景。
2.如權利要求1所述的方法，其中，背景的改變通過兩種狀態(tài)間的轉換實現。
3.如權利要求1所述的方法，其中，背景的改變通過利用多個中間狀態(tài)在兩種狀態(tài)間進行逐漸轉換來實現。
4.如權利要求1至3中任一項所述的方法，其中，背景的顏色和/或亮度和/或飽和度被改變。
5.如權利要求1至4中任一項所述的方法，其中，攝像機的攝像頻率是重現頻率的若干倍。
6.如權利要求5所述的方法，其中，攝像頻率是常規(guī)電視圖像頻率的兩倍。
7.如權利要求1至6中任一項所述的方法，其中，為了確定將攝像圖像數組的元素分類為目標數組或背景數組，對在一個重現頻率內的不同時刻拍攝的攝像圖像數組進行比較。
8.如權利要求7所述的方法，其中，所述比較包含減去攝像圖像數組中具有相同坐標或區(qū)域的元素。
9.如權利要求7或8所述的方法，其中，相互比較的攝像圖像數組的元素是像素。
10.如權利要求8或9所述的方法，其中，相互比較的攝像圖像數組的元素是多維像素域。
11.如權利要求1至6中任一項所述的方法，其中，為了識別和分類攝像圖像數組的元素，使用人工智能的方法，如神經網絡。
12.如權利要求6至11中任一項所述的方法，其中，作為攝像圖像數組中屬于背景數組而標識的元素，由替代背景數組中具有相應坐標或區(qū)域的元素取代。
13.一種攝像系統(tǒng)，特別是用于實現如權利要求1至12中任一項所述方法的攝像系統(tǒng)，它具有至少一個攝像機，用于對背景前的目標攝像，其中背景的改變以一個與攝像機的攝像頻率相調協(xié)的頻率進行。
14.如權利要求13所述的攝像系統(tǒng)，其中，用光學上可被影響的薄膜狀或片狀元件作為背景。
15.如權利要求14所述的攝像系統(tǒng)，其中，所述背景元件是一個電致發(fā)光或電致變色平面元件。
全文摘要
本發(fā)明涉及一種圖像數據處理方法,這種方法將圖像數組中在顯示圖像前景的目標數據(目標數組)與顯示圖像背景的數組(背景數組)分開,以根據攝像機的攝像頻率所確定的頻率改變由攝像機要拍攝的背景。所述背景的改變通過例如兩種狀態(tài)間的轉換,或利用多個中間狀態(tài)在兩種狀態(tài)間逐漸過渡來實現。本發(fā)明還涉及一種攝像系統(tǒng),特別是用于實現本發(fā)明的方法的攝像系統(tǒng)。
文檔編號H04N5/272GK1372761SQ00812470
公開日2002年10月2日 申請日期2000年7月17日 優(yōu)先權日1999年7月15日
發(fā)明者斯蒂芬·塞澤, 迪特馬·賴特 申請人:斯坎諾瓦有限責任公司