專利名稱：圖像處理裝置及監(jiān)視系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及一種利用設置在車輛上的多臺攝像機的攝像圖像生成合成圖像的圖像處理技術(shù)，特別是屬于對于在駕駛車輛時被利用在作為安全確認輔助裝置中的監(jiān)視系統(tǒng)有效的技術(shù)。
作為一種以往的利用拍攝車輛周圍的攝像機進行監(jiān)視的裝置，人們知道有特開平11-78692號公報所述的車用影像提供裝置。這種裝置在車輛的周圍安裝提供車輛影像的多臺攝像機，通過把由各個攝像機拍攝的圖像進行變形，保持邊界連續(xù)性地進行合成，作成新的圖像并顯示在顯示器上。
上述那樣的車輛周圍監(jiān)視系統(tǒng)是以一旦設置了攝像機通常其設置位置和方向不發(fā)生變化作為前提來執(zhí)行圖像處理。這是因為在考慮攝像機的設置位置和方向的同時實時地進行生成合成圖像的圖像處理，從處理時間和裝置的復雜程度方面來看，很難作到實用化。
另一方面，從車輛的空氣力學方面和外形設計方面等考慮，被使用在這樣的監(jiān)視系統(tǒng)中的攝像機很有可能被設置在車門反光鏡的安裝部附近、后背箱蓋、發(fā)動機罩等的可動部分上。
這時，將會產(chǎn)生如下的問題。
即，安裝攝像機的可動部分的狀態(tài)變化對攝像機的攝像圖像產(chǎn)生影響可能使合成圖像中形成錯位。例如，把攝像機安裝在車門反光鏡附近的場合，當打開車門時，由于攝像機的方向發(fā)生變化，所以，在合成圖像中只有使用該攝像機圖像的部分產(chǎn)生錯位。結(jié)果是顯示出令使用者不適的畫面。
另外，在把攝像機安裝在固定部分的場合也會發(fā)生同樣的問題。例如在車門呈打開狀態(tài)時，在該車門被拍攝到特定的攝像機的攝像圖像里的場合，在合成圖像中只有使用該攝像機圖像的部分形成錯位。合成圖像上的錯位將會造成使使用者感到不適的不良后果。
為了解決上述的問題，本發(fā)明的目的是通過構(gòu)成一種利用設置在車輛上的多臺攝像機的攝像圖像來生成合成圖像的圖像處理裝置，使即使在由于車輛的可動部分的狀態(tài)變化攝像機的攝像圖像受到影響的場合，所顯示的圖像也不會令使用者感到不適。
為了實現(xiàn)上述目的，本發(fā)明的解決方案是，作為圖像處理裝置，具有把設置在車輛上對車輛的周圍進行拍攝的多臺攝像機的攝像圖像作為輸入，根據(jù)這些攝像圖像生成合成圖像并輸出到顯示裝置的圖像處理部，上述圖像處理部對應上述車輛的可動部分的狀態(tài)，切換上述合成圖像的顯示狀態(tài)。
依照上述本發(fā)明，由于對應車輛的可動部分的狀態(tài)合成圖像的顯示狀態(tài)被切換，所以，即使在因車輛可動部分的狀態(tài)變化使合成圖像發(fā)生異常的場合，也可以避免顯示令使用者感到不適的圖像。另外，通過切換合成圖像的顯示狀態(tài)，可以使使用者盡快地了解可動部分的狀態(tài)，例如在車輛行駛中所不希望的狀態(tài)。
并且，在上述本發(fā)明的圖像處理裝置中，所述圖像處理部當由于上述可動部分的狀態(tài)變化，上述多臺攝像機中的至少1臺的設置位置或方向發(fā)生變化，使上述合成圖像發(fā)生異常時，把上述合成圖像的顯示狀態(tài)從正常模式切換到異常模式。
另外，在上述本發(fā)明的圖像處理裝置中，所述圖像處理部在異常模式下，在生成合成圖像時不使用設置位置或方向發(fā)生變化的攝像機圖像。
另外，在上述本發(fā)明的圖像處理裝置中，所述圖像處理部由于上述可動部分的狀態(tài)變化，上述多臺攝像機中的至少1臺的攝像圖像里上述可動部分的所在區(qū)域發(fā)生變化，使上述合成圖像發(fā)生異常時，把上述合成圖像的顯示狀態(tài)從正常模式切換到異常模式。
另外，在上述本發(fā)明的圖像處理裝置中，所述圖像處理部在異常模式下，在生成合成圖像時不使用在攝像圖像中上述可動部分所在的區(qū)域發(fā)生變化的攝像機圖像。
另外，在上述本發(fā)明的圖像處理裝置中，所述圖像處理部在異常模式下不輸出合成圖像。
另外，在上述本發(fā)明的圖像處理裝置中，所述圖像處理部在異常模式下取代合成圖像輸出信息或在輸出合成圖像的同時輸出信息。
依照上述的發(fā)明，使用者可以通過信息了解到合成圖像的異常。另外，在輸出表示可動部分的具體狀態(tài)變化的信息的場合，使用者可以盡快地了解車輛的狀況。
另外，在上述本發(fā)明的圖像處理裝置中，上述可動部分至少包括車門、發(fā)動機蓋和后背箱蓋，上述圖像處理部對應上述車門、發(fā)動機蓋和后背箱蓋的開閉狀態(tài)切換上述合成圖像的顯示狀態(tài)。
另外，在上述本發(fā)明的圖像處理裝置中，上述可動部分至少包括輪胎，上述圖像處理部對應上述輪胎的方向角切換上述合成圖像的顯示狀態(tài)。
本發(fā)明還提供一種具有上述本發(fā)明的圖像處理裝置的監(jiān)視系統(tǒng)，具有設置在車輛上對該車輛的周圍進行拍攝的多臺攝像機、顯示裝置和把上述多臺攝像機的攝像圖像作為輸入，根據(jù)這些攝像圖像生成合成圖像并輸出到上述顯示裝置的圖像處理部，上述圖像處理部對應上述車輛的可動部分的狀態(tài)切換上述合成圖像的顯示狀態(tài)。
以下，參照附圖對本發(fā)明的實施例1進行詳細地說明。


圖1表示本發(fā)明實施例1的監(jiān)視系統(tǒng)構(gòu)成的方框圖。
圖2表示本發(fā)明實施例1中的照相機設置的一例。
圖3是表示本發(fā)明實施例1中的照相機設置和各個照相機所拍攝的圖像的一例。
圖4是表示因車輛可動部分的狀態(tài)變化所致的不正常的合成圖像的一例。
圖5表示具有顯示切換部時的車輛可動部分與照相機的對應關(guān)系的數(shù)據(jù)。
圖6是表示本發(fā)明的合成圖像顯示狀態(tài)的一例切換的圖。
圖7是表示一例信息圖像的圖。
圖8是表示構(gòu)圖表及車輛的可動部分的狀態(tài)與應顯示信息圖像的對應關(guān)系的表格。
圖9表示一例構(gòu)圖表的模式圖。
圖10表示圖像合成動作的全體過程的流程圖。
圖11是詳細表示圖10所示的過程中的步驟S20的流程圖。
圖12是詳細表示圖10所示的過程中的步驟S30的流程圖。
圖13表示本發(fā)明實施例2的監(jiān)視系統(tǒng)的構(gòu)成的方框圖。
圖中2-圖像處理部，3-顯示裝置，11-照相機。
實施例1圖1是表示本發(fā)明實施例1的監(jiān)視系統(tǒng)的構(gòu)成的方框圖。在圖1所示的監(jiān)視系統(tǒng)中，圖像處理部2把從攝像部1輸出的多幅攝像圖像作為輸入，生成把這些圖像合成后的新圖像。這個合成圖像通過顯示裝置3進行顯示。由圖像處理部2構(gòu)成本發(fā)明的圖像處理裝置。
圖2表示本實施例的一例攝像機的配置，圖3表示一例各個攝像機的攝像圖像。這里，如圖2及圖3所示的那樣配置8臺攝像機。另外，在圖2及圖3的攝像機配置中，為了消除周圍的死角最好是確定各個攝像機的位置和方向使在相鄰的攝像機的圖像有相互重疊的區(qū)域。
圖像處理部2把圖3所示的8幅攝像機的圖像進行變形、合成，例如生成從車輛的上方垂直向下看那樣的合成圖像。為了生成合成圖像，需要進行圖像變形處理和對變形后的部分圖像的合成處理(包括邊界處理)，但是在圖1的構(gòu)成中設置有構(gòu)圖表參照部22，利用構(gòu)圖表MPT可通過一個工序完成攝像圖像的加工處理。對于構(gòu)圖表在下面進行說明。
構(gòu)圖表選擇部41用于選擇合成圖像的顯示內(nèi)容，提示對應所選擇的顯示內(nèi)容的構(gòu)圖表MPT?？梢匀藶榈剡M行選擇，也可以對應擋位、方向盤或車窗等的車輛的狀態(tài)自動地進行選擇。選擇構(gòu)圖表MPT的信號同時被輸送到構(gòu)圖表參照部22和信息輸出部26。
顯示切換部23接收表示車輛的可動部分的狀態(tài)的狀態(tài)信號S1對合成圖像的顯示狀態(tài)進行切換。例如在由于可動部分的狀態(tài)變化使多臺攝像機中的某部攝像機的設置位置或方向發(fā)生變化，使合成圖像發(fā)生異常時，把合成圖像的顯示狀態(tài)從正常模式切換成異常模式。在異常模式下，例如不使用發(fā)生設置位置或方向變化的攝像機的攝像圖像來生成合成圖像。
圖4是由于車輛的可動部分的狀態(tài)變化形成不正常的合成圖像的一例。通過觀察圖4的合成圖像可以知道是由于車輛的右側(cè)車門呈打開狀態(tài)造成了攝像機1及攝像機2的攝像圖像發(fā)生變化，使攝像機1和攝像機2的攝像圖像部分發(fā)生錯位。
因此，本實施例利用設置有攝像機的右車門、左車門、后背箱蓋及發(fā)動機罩的開閉狀態(tài)作為車輛的可動部分的狀態(tài)。即，狀態(tài)信號S1向顯示切換部23輸入例如“右側(cè)車門處于打開狀態(tài)”“發(fā)動機罩處于關(guān)閉狀態(tài)”等的信息。顯示切換部23中預置有表示圖5所示那樣的車輛的可動部分與攝像機編號的對應關(guān)系的數(shù)據(jù)，利用這個對應關(guān)系和狀態(tài)信號S1所表示的信息進行合成圖像的顯示狀態(tài)的切換。
圖6表示本發(fā)明的合成圖像的相識狀態(tài)的切換的一例。該圖中的(a)是正常模式的合成圖像。在車輛的可動部分全部為關(guān)閉狀態(tài)時合成圖像為正常，顯示如圖6(a)那樣的圖像。圖6(b)是在異常模式下的合成圖像的一例，可認為是右側(cè)車門呈打開狀態(tài)。在圖6(b)的合成圖像中，不把設置在右側(cè)車門的攝像機1及攝像機2的攝像圖像進行圖像合成取而代之在該區(qū)域填充規(guī)定的顏色。另外，也可以用其它的紋理或以適當?shù)臅r間間隔變換顏色的形式取代使用規(guī)定顏色的填充。
本實施例通過改寫構(gòu)圖表MPT的構(gòu)圖數(shù)據(jù)來實現(xiàn)這樣的合成圖像的顯示狀態(tài)的切換。
另外，在異常模式下，也可以中斷合成圖像本身的輸出或者從信息輸出部26輸出信息。
圖6(c)表示在異常模式下不輸出合成圖像，僅輸出表示右側(cè)車門呈打開狀態(tài)的信息。圖6(d)表示在顯示圖6(b)所示的合成圖像的同時輸出與圖6(c)相同的信息。如圖6(d)所示，不僅在合成圖像的生成中不使用受可動部分的狀態(tài)變化影響的攝像機圖像，還輸出把作為該原因的可動部分的狀態(tài)變化(例如車門呈打開狀態(tài)等)通知給使用者的信息，使駕駛員等能夠盡快地了解自己車輛的狀態(tài)。
信息輸出部26例如以圖像的形式預先存儲有應顯示的信息，接收表示車輛的可動部分的狀態(tài)的狀態(tài)信號S1和從構(gòu)圖表選擇部41輸出的選擇構(gòu)圖表MPT的選擇信號，選擇對應合成圖像應顯示的信息圖像并輸出到圖像信號生成部24。
圖7表示存儲在信息輸出部26中的信息圖像的一例，在圖7的例中，表示信息的部分為白色(在用RGB的各個256級灰度表示時為(255,255,255))，以外的部分顯示為黑色(0,0,0)。設定信息圖像的尺寸與合成圖像的尺寸相同。
信息圖像的信息內(nèi)容和顯示位置根據(jù)在生成合成圖像時所使用的構(gòu)圖表和發(fā)生狀態(tài)變化的可動部分的種類的不同而不同。因此，理想的是準備分別對應各種設想條件的信息圖像，針對各種狀況選擇使用對應的信息圖像。
圖8表示在合成圖像中使用的構(gòu)圖表及車輛的可動部分的狀態(tài)與應顯示的信息圖像的對應關(guān)系。例如，圖8的第2行表示當前選擇的構(gòu)圖表為生成“俯視”圖像用的圖像，并且在車輛可動部分中的“右側(cè)車門”為打開狀態(tài)的場合，選擇第1號圖像作為信息圖像。圖7(a)是第1號信息圖像的實例。由于當構(gòu)圖表為“俯視”、“右側(cè)車門”為打開狀態(tài)時，在圖像合成中不使用設置在右側(cè)車門上的攝像機的攝像圖像，所以，在合成圖像上的應顯示使用設置在右側(cè)車門上的攝像機圖像的位置上顯示表示“右側(cè)車門呈打開狀態(tài)”的信息。
信息輸出部26預先記憶有如圖8所示的信息，接收表示車輛的可動部分的狀態(tài)的狀態(tài)信號S1和構(gòu)圖表MPT的選擇信號，選擇輸出應顯示的信息圖像。圖像信號生成部24接收從信息輸出部26輸出的信息圖像，與從圖像合成部21輸出的合成圖像重疊顯示。
信息圖像的重疊例如可以采用分別取出合成圖像及信息圖像中的各個像素的RGB值，把取值大的一方輸出等的方法。例如把這個方法運用在圖7(a)的信息圖像的場合，對于信息圖像的黑像素的部分使用合成圖像的RGB值，另一方面，對于信息圖像的白像素的部分則使用信息圖像的RGB值，結(jié)果形成只有信息的部分被重疊在合成圖像上的圖像顯示。在這個場合下，理想的是為了使被重疊后的白色信息清晰可見，在合成圖像上的不使用攝像機圖像的部分填充暗顏色。
另外，在利用這個重疊方法表示所有可動部分都呈關(guān)閉狀態(tài)(即正常模式)的合成圖像的場合，只要準備好作為信息圖像的如圖7(b)所示的那樣全部涂成黑(0,0,0)顏色的圖像便可。也就是，只要準備好作為圖8中最下行所示的第7號信息圖像的如圖7(b)所示的圖像便可。當然，在正常模式下，也可以使信息輸出部26不輸出信息圖像。
另外，在有多處可動部分呈打開狀態(tài)的場合，可以采取如下的方法。例如，選擇“俯視”作為構(gòu)圖表，并且在左右車門都呈打開狀態(tài)的場合，信息輸出部26首先選擇對應各自條件的信息圖像的第1號(例如圖7(a))及第2號(例如圖7(c))的圖像。然后從第1號圖像及第2號圖像中取出各個像素的RGB值，選擇值大的一方生成新的信息圖像(例如圖7(d))，然后輸出到圖像信號生成部24。
另外，這里是利用文字來表示信息，但不限于文字，例如可以利用簡圖或圖標表示信息。另外，在異常模式下的不需要輸出信息的場合，當然也可以省略掉信息輸出部26。
以下，對構(gòu)圖表的改寫進行詳細的說明。
所謂“構(gòu)圖表”是記述合成圖像的像素與各個攝像機圖像的像素數(shù)據(jù)之間的對應關(guān)系的表格，使用它可進行高速的合成圖像的生成處理。
攝像機圖像的像素與合成圖像的像素之間既有1對1對應的場合，也有多個對1對應的場合。具體是1對1還是多個對1，由攝像機的設置位置和生成合成圖像的種類所決定。例如在進行攝像機圖像的邊界部的邊界處理的場合，攝像機圖像的像素與合成圖像的像素大多為多對1的對應。
圖9是表示一例構(gòu)圖表的模式圖。在圖9所示的構(gòu)圖表中，對應合成圖像的各個像素坐標(i,j)分別設置構(gòu)圖數(shù)據(jù)。
例如，對應像素坐標(i1,j1)分別設置構(gòu)圖數(shù)據(jù)MP1。這個構(gòu)圖數(shù)據(jù)MP1表示為了生成合成圖像的坐標(i1,j1)的像素，只使用攝像機1的攝像圖像的坐標(12,45)的像素數(shù)據(jù)。另外，由于必要度為“1”，這個場合，作為合成圖像的坐標(i1,j1)的像素值直接使用攝像機1的攝像圖像的坐標(12,45)的像素數(shù)據(jù)。
另外，對應像素坐標((i2,j2)設置構(gòu)圖表數(shù)據(jù)MP2。這個構(gòu)圖數(shù)據(jù)MP2表示為了生成合成圖像的坐標(i2,j2)的像素，只使用攝像機1的攝像圖像的坐標(10,10)的像素數(shù)據(jù)和攝像機0的攝像圖像的坐標(56,80)的像素數(shù)據(jù)。在這個場合下，合成圖像的坐標(i2,j2)的像素值根據(jù)必要度可被確定為例如，像素值={(攝像機1的坐標(56,80)的像素值)×0.5+(攝像機0的坐標(10,10)的像素值)×0.3}/(0.5+0.3)。
利用幾何換算或人工計算預先作成這樣的構(gòu)圖表，可以高速地生成例如表示車輛周圍全體和后方或側(cè)方的合成圖像的所希望的合成圖像。并且通過改變用于生成合成圖像的構(gòu)圖表，可以容易地切換合成圖像的顯示模式。這個顯示模式即可以通過手動切換也可以對應車輛的行駛狀態(tài)自動地進行切換。
具體的是，構(gòu)圖表例如被存儲在ROM(包括EEPROM等的可擦寫ROM)或RAM中。構(gòu)圖表的存儲，例如可以通過把由圖像處理部內(nèi)的處理器計算求出的構(gòu)圖數(shù)據(jù)寫入ROM或RAM來實現(xiàn)，也可以通過把被提供的定型的構(gòu)圖表數(shù)據(jù)利用通信線路或磁盤驅(qū)動器等的數(shù)據(jù)傳送手段寫入到RAM或ROM中。
下面，對利用構(gòu)圖表MPT及顯示切換部23生成合成圖像的工作過程進行說明。
圖10是表示本實施例的圖像合成動作全體過程的流程圖。首先，在步驟S11進行攝像部1的楨存儲器12a、12b的切換。時序信號生成部25生成生成合成圖像的動畫系列的時序信號。當從時序信號生成部25輸出開始讀取圖像的時序信號時，攝像部1進行寫入各個攝像機11的攝像圖像的楨存儲器與被圖像處理部2參照的楨存儲器的切換。這是因為為了如下面所述的那樣由于使被圖像處理部2參照的攝像機圖像的像素位置與攝像機11的寫入順序無關(guān)，形成跳躍，所以使寫入與參照之間不會發(fā)生干擾。
然后，在步驟S12，時序生成部25在合成輸出的時間段設定應輸出的合成圖像的像素。
然后，在步驟S13，構(gòu)圖表參照部22把對應由時序信號生成部25設定的像素構(gòu)圖數(shù)據(jù)從設定好的構(gòu)圖表MPT中讀出，輸出到顯示切換部23。在步驟S20，顯示切換部23接收狀態(tài)信號S1，在必要時，改寫從構(gòu)圖表參照部22讀出的構(gòu)圖數(shù)據(jù)。然后輸出到像素合成部21。在后面對步驟S20進行詳細說明。
在步驟S30，圖像合成部21對應輸入的構(gòu)圖數(shù)據(jù)合成由時序信號生成部25設定的像素值，并輸出到圖像信號生成部24。然后，在步驟S14，圖像信號生成部24對應時序信號生成部25的時序信號，把輸入的合成圖像的像素值轉(zhuǎn)換成圖像信號，輸出到顯示裝置3。
時序信號生成部25對一楨的所有像素執(zhí)行步驟S12以下的處理(S15,S16)，當執(zhí)行完一楨的最后像素的處理后，開始進行下一楨的處理。
當然也可以以場為單位進行處理。
圖11是表示在圖10所示過程中的步驟S20中顯示切換部23的動作的流程圖。
首先在步驟S21從輸入的狀態(tài)信號S1中讀取車輛的可動部分，即，右側(cè)車門、左側(cè)車門、后背箱蓋和發(fā)動機罩的開閉狀態(tài)。當可動部分為打開狀態(tài)時(在S22為是)進行步驟S23，從如圖5所示的預先設有的數(shù)據(jù)中獲得設置在可動部分上的攝像機編號。另一方面，當為關(guān)閉狀態(tài)時(在S22為否)讀取其它可動部分的開閉狀態(tài)(S27,S21)。
在步驟25中，檢查在步驟S23取得的攝像機編號是否與寫在構(gòu)圖數(shù)據(jù)中的攝像機編號一致。如果一致(在S25為是)則進入步驟S26，把構(gòu)圖數(shù)據(jù)中的與該攝像機編號相關(guān)的數(shù)據(jù)改寫為表示攝像機為不可使用狀態(tài)的內(nèi)容。在圖11的例中，把攝像機編號、X坐標及Y坐標全部改寫為“-1”。另一方面，如果攝像機編號一致(在S25為否)則繼續(xù)讀取其它可動部分的開閉狀態(tài)(S27,S21)。
當執(zhí)行完對所有可動部分的上述處理后(S27的是)，進入步驟S28，再次計算構(gòu)圖數(shù)據(jù)的必要度，然后結(jié)束處理。
以圖9所示的構(gòu)圖數(shù)據(jù)MP2被輸入到顯示切換部23的場合作為實例對步驟S20中的顯示切換部23的動作進行具體的說明。這里為了說明，假定只有車輛的右側(cè)車門為打開狀態(tài)。
首先，由于知道車輛的右側(cè)車門為打開狀態(tài)(S21,S22)，參照圖5所示的對應關(guān)系，取得設置在右側(cè)車門上的攝像機的編號“1”及“2”(S23)。
然后，檢查攝像機編號“1”及“2”與在構(gòu)圖數(shù)據(jù)MP2中記述的攝像機編號是否一致(S25)。由于攝像機編號“1”已記述在構(gòu)圖數(shù)據(jù)MP2中，所以把與攝像機1相關(guān)的數(shù)據(jù)改寫為表示攝像機為不可使用狀態(tài)的內(nèi)容(S26)。另一方面，由于攝像機編號“2”在構(gòu)圖數(shù)據(jù)MP2中未被記述，所以不進行改寫。
由于其它的可動部分全為關(guān)閉狀態(tài)，所以進入步驟S28，進行必要度的再計算。這里，對于不可使用的攝像機1的必要度設定為“0”，對攝像機0的必要度設定為“1”。
圖12是表示在圖10所示的過程中的步驟S30中具體的像素合成處理的流程圖。
首先，在步驟S31對合成像素的值“0”進行初始化。
然后，在步驟S32從對應的構(gòu)圖數(shù)據(jù)中讀取攝像機編號、像素的X，Y坐標及必要度。當讀出的攝像機編號為可以使用時，從存儲該攝像機圖像的楨存儲器中讀出對應X,Y坐標的像素值并保持(S34)。另一方面，當讀出的攝像機編號為不可使用時，保持表示攝像機為不可使用的規(guī)定的像素值(例如為黑)并且將其輸出(S35,S39)。
在步驟S36，按照必要度對保持的像素值進行疊加，疊加計算合成像素的值。
對于在構(gòu)圖數(shù)據(jù)中記述的全部攝像機編號反復執(zhí)行上述的處理(S37,S38)，當處理結(jié)束后(在S37為是)，輸出合成的像素值(S39)。
如上所述，通過切換合成圖像的顯示狀態(tài)，即使車輛的可動部分的狀態(tài)發(fā)生變化，合成圖像異常時，也可以避免使使用者感到不適。
實施例2圖13是表示本發(fā)明的實施例2的監(jiān)視系統(tǒng)的構(gòu)成的方框圖。在圖13中，對于與圖1相同的構(gòu)成部分使用與圖1相同的符號，并省略對其的詳細說明。
圖13的構(gòu)成的特征是，顯示切換部23A通過對應狀態(tài)信號S1進行對從攝像部1到像素合成部21A有無攝像機圖像輸入的切換，來實現(xiàn)合成圖像的顯示切換。即，在像素合成部21A的攝像機圖像的輸入一側(cè)設置開關(guān)31，當顯示切換部23A通過狀態(tài)信號S1判斷出某個可動部分呈打開狀態(tài)時，根據(jù)圖5所示的信息確定在生成合成圖像中不可使用的攝像機，控制開關(guān)31的切換使該攝像機的攝像圖像不輸入到像素合成部21A。
所以，本實施例雖然與實施例1一樣地利用構(gòu)圖表進行圖像合成，但是在圖10所示的過程中省略了改變構(gòu)圖數(shù)據(jù)的處理S20，在這點與實施例1不同。即，由于用物理方式中斷了攝像機的攝像圖像的輸入，當然就不需要了對應可動部分的狀態(tài)來改變構(gòu)圖數(shù)據(jù)的處理S20。同時也省略掉了圖12的過程中的步驟S33,S35。
另外，這個實施例2的構(gòu)成也可以適用于不使用構(gòu)圖表的構(gòu)成的圖像處理部。
另外，在上述的各個實施例中，顯示裝置3采用典型的液晶顯示器，也可以使用等離子顯示器等的其它顯示設備。另外，也可以共用車載型的GPS終端顯示器或所謂的車輛導航系統(tǒng)的顯示器。另外，攝像部1所使用的攝像機11是具有典型的CCD或CMOS元件等的固體攝像元件的彩色或黑白的數(shù)碼攝像機，也可以使用其它的攝像設備。
另外，上述的各個實施例設想造成合成圖像的異常是因為如車門或發(fā)動機蓋的可動部分的狀態(tài)變化使攝像機的設置位置和方向發(fā)生了變化。然而，另外也有由于可動部分的狀態(tài)變化使攝像機的攝像圖像中的可動部分所在的區(qū)域發(fā)生變化，使合成圖像異常的場合。例如，在車門被打開時，該被打開的車門被拍攝到某個攝像機的攝像圖像內(nèi)的場合。
在這樣的場合下，也是取代如圖5所示的數(shù)據(jù)，預先在顯示切換部中準備好表示可動部分與攝像圖像受該可動部分的狀態(tài)變化影響的攝像機的對應關(guān)系的數(shù)據(jù)，通過執(zhí)行與上述各個實施例相同的處理可獲得相同的效果。
另外，也可以取代開閉狀態(tài)的2值信息，例如，利用反映打開程度的信息。例如，在車門只有微小的打開時保持正常模式，當打開的程度超過規(guī)定的門限時，從正常模式切換到異常模式。另外，可動部分不限于車門、發(fā)動機蓋及后背箱蓋，還有輪胎、天線、可動式反光鏡和車燈等。例如，也可以在車胎對合成圖像產(chǎn)生影響的場合，對應輪胎的方向角度切換顯示狀態(tài)。
另外，本發(fā)明所適用的車輛包括普通汽車、輕型汽車、貨車及客車等。另外，作為能夠適用本發(fā)明的技術(shù)思想的車輛，吊車、鏟車等的特殊車輛都屬于本發(fā)明所適用的車輛。
另外，在以上的說明中，把本發(fā)明的監(jiān)視系統(tǒng)和圖像處理裝置以車輛作為適用對像，同樣可以應用在車輛以外的移動體，例如飛機和船舶等。另外，也可以把攝像機設置在移動體以外的監(jiān)視對像，例如商店、住宅、展廳等。
另外，對于多臺攝像機的設置不限于本說明所述的位置和臺數(shù)。
另外，可以利用專用的硬件，也可以利用軟件來實現(xiàn)本發(fā)明的圖像處理裝置的全部機能或一部分機能。另外，可以利用存儲有使計算機執(zhí)行本發(fā)明的圖像處理裝置機能的程序記錄媒體或傳送媒體。
依照如上所述的本發(fā)明，即使在由于車輛的可動部分的狀態(tài)變化造成合成圖像發(fā)生異常的場合，也可以避免顯示使使用者感到不適的圖像。另外，通過切換合成圖像的顯示狀態(tài)可以讓使用者盡快地知道可動部分的狀態(tài)，例如在車輛行駛時所不希望的狀態(tài)。
權(quán)利要求
1．一種圖像處理裝置，具有把設置在車輛上對車輛的周圍進行拍攝的多臺攝像機的攝像圖像作為輸入，根據(jù)這些攝像圖像生成合成圖像并輸出到顯示裝置的圖像處理部，其特征在于上述圖像處理部對應上述車輛的可動部分的狀態(tài)，能切換上述合成圖像的顯示狀態(tài)。
2．權(quán)利要求1所述的圖像處理裝置，其特征在于上述圖像處理部當由于上述可動部分的狀態(tài)變化，上述多臺攝像機中的至少1臺的設置位置或方向發(fā)生變化，使上述合成圖像發(fā)生異常時，把上述合成圖像的顯示狀態(tài)從正常模式切換到異常模式。
3．權(quán)利要求2所述的圖像處理裝置，其特征在于上述圖像處理部在異常模式下，在生成合成圖像時不使用設置位置或方向發(fā)生變化的攝像機圖像。
4．權(quán)利要求1所述的圖像處理裝置，其特征在于上述圖像處理部由于上述可動部分的狀態(tài)變化，上述多臺攝像機中的至少1臺的攝像圖像里上述可動部分的所在區(qū)域發(fā)生變化，使上述合成圖像發(fā)生異常時，把上述合成圖像的顯示狀態(tài)從正常模式切換到異常模式。
5．權(quán)利要求4所述的圖像處理裝置，其特征在于上述圖像處理部在異常模式下，在生成合成圖像時不使用在攝像圖像中上述可動部分所在的區(qū)域發(fā)生變化的攝像機圖像。
6．權(quán)利要求2或4所述的圖像處理裝置，其特征在于上述圖像處理部在異常模式下不輸出合成圖像。
7．權(quán)利要求2或4所述的圖像處理裝置，其特征在于上述圖像處理部在異常模式下取代合成圖像輸出信息或者在輸出合成圖像的同時輸出信息。
8．權(quán)利要求1所述的圖像處理裝置，其特征在于上述可動部分至少包括車門、發(fā)動機蓋和后背箱蓋，上述圖像處理部對應上述車門、發(fā)動機蓋和后背箱蓋的開閉狀態(tài)切換上述合成圖像的顯示狀態(tài)。
9．權(quán)利要求1所述的圖像處理裝置，其特征在于上述可動部分至少包括輪胎，上述圖像處理部對應上述輪胎的方向角切換上述合成圖像的顯示狀態(tài)。
10．一種監(jiān)視系統(tǒng)，具有設置在車輛上對該車輛的周圍進行拍攝的多臺攝像機、顯示裝置和把上述多臺攝像機的攝像圖像作為輸入，根據(jù)這些攝像圖像生成合成圖像并輸出到上述顯示裝置的圖像處理部，其特征在于上述圖像處理部對應上述車輛的可動部分的狀態(tài)切換上述合成圖像的顯示狀態(tài)。
全文摘要
一種圖像處理裝置及監(jiān)視系統(tǒng),其像素合成部21接收從攝像部1輸出的攝像機圖像,參照構(gòu)圖表MPT生成合成圖像。顯示切換部23接收表示車門和發(fā)動機蓋等的可動部分的狀態(tài)信號S1,當可動部分的狀態(tài)變化對攝像機圖像產(chǎn)生影響時,改變構(gòu)圖數(shù)據(jù)使合成圖像不使用該攝像機圖像。該圖像處理裝置在車輛上的多臺攝像機的攝像圖像進行合成的圖像處理時,即使車輛的可動部分的狀態(tài)發(fā)生變化,也不會顯示不協(xié)調(diào)的圖像。
文檔編號H04N7/18GK1325802SQ0111824
公開日2001年12月12日 申請日期2001年5月24日 優(yōu)先權(quán)日2000年5月26日
發(fā)明者岡本修作, 中川雅通, 石井浩史, 登一生, 森村淳 申請人:松下電器產(chǎn)業(yè)株式會社