專利名稱：監(jiān)視系統(tǒng)、其控制方法和用于監(jiān)視系統(tǒng)的半導(dǎo)體集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于監(jiān)視移動物體的監(jiān)視系統(tǒng)、用于控制所述系統(tǒng)的方法、以及用于所述系統(tǒng)的半導(dǎo)體集成電路。
背景技術(shù)：
近來，在顯示裝置上顯示照相機拍攝的與車輛周圍環(huán)境有關(guān)的圖像數(shù)據(jù)、或者通過合成圖像而生成的圖像數(shù)據(jù)的監(jiān)視系統(tǒng)已廣泛作為監(jiān)視移動物體的監(jiān)視系統(tǒng)。圖13是示出現(xiàn)有技術(shù)的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。圖13中所示的監(jiān)視系統(tǒng)配備有照相機(camera)I、圖像處理單元2和顯示裝置3。圖像處理單元2處理照相機I拍攝的圖像數(shù)據(jù)。顯示裝置3顯示從圖像處理單元2輸入的圖像。配備有監(jiān)視系統(tǒng)的車輛的駕駛員基于顯示裝置3上顯示的信息在確認安全條件的同時向前或向后駕駛。
這種監(jiān)視系統(tǒng)應(yīng)用于關(guān)于專利文獻I所述的結(jié)構(gòu)。具體地，存在一種監(jiān)視系統(tǒng)，其顯示合成圖像，從而拓寬視場并使得駕駛員能夠在僅確認顯示裝置的同時向后駕駛。此外，為了易于感知到駕駛員的車輛的近鄰周圍環(huán)境之間的位置關(guān)系，另一監(jiān)視系統(tǒng)向駕駛員提供關(guān)于駕駛員的車輛的近鄰的信息，并同時顯示周圍環(huán)境的圖像，仿佛從駕駛員的車輛上方看到它們一樣?，F(xiàn)有技術(shù)文獻專利文獻專利文獻I JP-A-2002-12522
發(fā)明內(nèi)容
本發(fā)明要解決的問題然而，現(xiàn)有技術(shù)的監(jiān)視系統(tǒng)在照相機等拍攝的信息不能恰當(dāng)?shù)匕l(fā)送到顯示裝置時可能導(dǎo)致問題。必須通過消除這種問題發(fā)生的風(fēng)險以及升級安全性來增強故障保護功能。具體地，在監(jiān)視系統(tǒng)發(fā)生故障的情況中，系統(tǒng)必須適當(dāng)?shù)靥幚碓陲@示裝置上顯示在駕駛員的眼睛中表現(xiàn)為正確的圖像的情形。例如，針對監(jiān)視系統(tǒng)由于任何故障已經(jīng)停止工作、同時原本要輸出的圖像之前的圖像仍然保留在顯示裝置上的情形的故障保護功能是有必要的。當(dāng)在顯示裝置上顯示明確表示故障的圖像時，駕駛員意識到監(jiān)視系統(tǒng)的故障。此時，駕駛員可以通過使用輔助功能(例如，后視鏡)將車輛臨時移動到安全位置來避免事故。然而，如果駕駛員在原本要顯示的圖像之前的圖像仍然保留在顯示裝置上的同時繼續(xù)駕駛，則發(fā)生事故碰撞的概率將增加。本發(fā)明的目的在于提供一種監(jiān)視系統(tǒng)、用于控制所述監(jiān)視系統(tǒng)的方法和用于所述監(jiān)視系統(tǒng)的半導(dǎo)體集成電路，所述監(jiān)視系統(tǒng)能夠在所述監(jiān)視系統(tǒng)已經(jīng)由于任何原因停止了工作、同時原本要顯示的圖像之前的圖像仍保留在顯示裝置上的情況下，向用戶通知所述監(jiān)視系統(tǒng)發(fā)生了故障。
解決問題的手段本發(fā)明提供一種監(jiān)視移動物體的監(jiān)視系統(tǒng)，包括照相機，拍攝周圍環(huán)境的圖像并將如此拍攝的圖像作為圖像信號輸出；圖像處理單元，處理從所述照相機輸入的圖像信號，從而生成圖像數(shù)據(jù)；顯示裝置，顯示與所述圖像處理單元生成的圖像數(shù)據(jù)一致的圖像；運動感測單元，感測所述移動物體在運動中；以及圖像比較單元，以預(yù)定周期接收所述圖像處理單元生成的圖像數(shù)據(jù)的輸入，并且在所述運動感測單元檢測到所述移動物體在運動中時，將所述圖像處理單元生成的第一圖像數(shù)據(jù)與在所述第一圖像數(shù)據(jù)之前至少一個周期中生成的第二圖像數(shù)據(jù)進行比較，所述圖像比較單元具有判定單元，根據(jù)比較結(jié)果判定所述 圖像處理單元中是否存在故障；以及發(fā)送單元，在所述判定單元判定存在故障時將故障信息發(fā)送到所述顯示裝置。因此，當(dāng)監(jiān)視系統(tǒng)因為任何故障而不工作、同時原本要顯示的圖像之前的圖像仍保留在顯示裝置上時，監(jiān)視系統(tǒng)可以向駕駛員報告監(jiān)視系統(tǒng)的故障。因此，當(dāng)監(jiān)視系統(tǒng)應(yīng)用于作為移動物體的車輛時，駕駛員可以獲知監(jiān)視系統(tǒng)的故障，并通過使用輔助功能(例如后視鏡)將車輛暫時駕駛到安全位置，從而能夠避免事故。因此，可以使車輛的安全性升級，并實現(xiàn)了對安全性敏感的系統(tǒng)的構(gòu)造。本發(fā)明還提供一種監(jiān)視系統(tǒng)，其包括第一存儲器和第二存儲器，存儲所述圖像處理單元生成的圖像數(shù)據(jù)，所述第一存儲器存儲所述第一圖像數(shù)據(jù)，并且所述第二存儲器存儲所述第二圖像數(shù)據(jù)。結(jié)果，可以通過將兩個圖像數(shù)據(jù)彼此比較，由此執(zhí)行連續(xù)的圖像比較。在發(fā)生故障的情況中，可以立即引起用戶的注意。此外，本發(fā)明還提供一種監(jiān)視系統(tǒng)，所述第一存儲器和所述第二存儲器各自具有至少兩個或更多圖像數(shù)據(jù)。因此，可以通過將兩個圖像數(shù)據(jù)進行比較而執(zhí)行連續(xù)的圖像比較。在發(fā)生故障時，可以立即引起用戶的注意，并且可以在多個周期存儲圖像數(shù)據(jù)。使用如此存儲的數(shù)據(jù)進行比較，這使得可以容易地判定問題是故障還是暫時失靈。本發(fā)明還提供一種監(jiān)視系統(tǒng)，當(dāng)檢測到故障時所述圖像比較單元暫停圖像比較。由此，將圖像處理單元生成的警報屏幕和先前圖像數(shù)據(jù)彼此進行比較。因此，可以防止系統(tǒng)由于圖像之間存在差別而沒有發(fā)生故障的情況本發(fā)明提供一種監(jiān)視系統(tǒng)，所述第二存儲器被提供在所述圖像比較單元內(nèi)。從而，可以縮短信號傳輸距離，并防止在信號傳輸中發(fā)生延遲。此外，還獲得減小布置半導(dǎo)體集成電路的基底的面積以及功耗的優(yōu)點。本發(fā)明提供一種監(jiān)視系統(tǒng)，從所述圖像比較單元發(fā)送的故障信息通過所述圖像處理單元而發(fā)送到所述顯示裝置。通過圖像處理單元發(fā)送故障信息，這使得可以將警報信息疊加在顯示屏幕上或者改變顯示模式，例如警報顯示屏幕的顏色或亮度，從而有助于吸引駕駛員的注意力。本發(fā)明還提供一種監(jiān)視系統(tǒng)，除了具有所述顯示裝置外還包括用于報告故障的裝置，將從所述圖像比較單元發(fā)送的故障信息發(fā)送到所述用于報告故障的裝置，而不涉及所述圖像處理單元。從而可以在不涉及圖像處理單元的情況下將故障信息輸出到顯示裝置。甚至當(dāng)圖像處理單元的所有功能都不可靠時，也可以報告是否發(fā)生故障。具體地，當(dāng)發(fā)送故障時并且當(dāng)圖像處理單元的執(zhí)行圖像處理并向顯示裝置輸出結(jié)果的部分存在故障時，可以確實地引起駕駛員的注意。本發(fā)明還提供一種監(jiān)視系統(tǒng)，所述顯示裝置根據(jù)所述發(fā)送單元發(fā)送的故障信息提供單色顯示或警報顯示。由此,用戶能夠容易地意識到故障。本發(fā)明還提供一種監(jiān)視系統(tǒng)，當(dāng)所述移動物體是車輛時，所述運動感測單元通過使用輪胎旋轉(zhuǎn)信號和速度表的速度信號或操作信號來感測所述車輛在運動中。由此，當(dāng)車輛在運動中時，可以將監(jiān)視系統(tǒng)的故障發(fā)送給駕駛員，從而可以避免事故。 本發(fā)明還提供一種監(jiān)視系統(tǒng)，所述圖像處理單元具有拍攝圖像處理單元、警報顯示圖像生成單元和顯示圖像選擇單元；并且當(dāng)所述圖像比較單元判定存在故障時，所述顯示圖像選擇單元使得所述顯示裝置優(yōu)先顯示所述警報顯示圖像生成單元生成的圖像數(shù)據(jù)，而不是所述拍攝圖像處理單元生成的圖像數(shù)據(jù)。從而，通過使用警報顯示屏幕生成單元生成的圖像數(shù)據(jù)發(fā)送故障信息，這有助于以直接的方式吸引用戶的注意。本發(fā)明還提供一種監(jiān)視系統(tǒng)，至少所述圖像處理單元、所述運動感測單元和所述圖像比較單元實施在一個半導(dǎo)體集成電路基底上。從而，可以縮短信號傳輸距離并防止在信號傳輸中發(fā)生延遲。此外，還獲得減小布置半導(dǎo)體集成電路的基底的面積以及功耗的優(yōu)點。本發(fā)明提供一種監(jiān)視系統(tǒng)，所述第一存儲器和所述第二存儲器的至少一個是位于所述半導(dǎo)體集成電路基底外部的外部存儲器。從而，可以設(shè)法減小半導(dǎo)體集成電路的尺寸。本發(fā)明還提供一種監(jiān)視系統(tǒng)，包括信號生成單元，用于生成對應(yīng)于關(guān)于所述圖像比較單元的預(yù)定周期的信號，通過能夠改變所述周期的硬件或者硬件與軟件的組合來構(gòu)造所述信號生成單元。從而，可以以符合移動物體的運動的周期來檢測監(jiān)視系統(tǒng)的故障。本發(fā)明還提供一種用于控制監(jiān)視移動物體的監(jiān)視系統(tǒng)的方法，包括圖像處理步驟，處理從拍攝周圍環(huán)境的圖像并輸出圖像信號的照相機輸入的圖像信號，從而生成圖像數(shù)據(jù)；顯示步驟，顯示根據(jù)所述圖像處理步驟生成的圖像數(shù)據(jù)的圖像；運動感測步驟，感測所述移動物體在運動中；圖像比較步驟，以預(yù)定周期接收所述圖像處理步驟所生成的圖像數(shù)據(jù)的輸入，并且在所述運動感測步驟中檢測到所述移動物體在運動中時，將所述圖像處理步驟中生成的當(dāng)前圖像數(shù)據(jù)與在所述圖像數(shù)據(jù)的生成之前至少一個周期中生成的過去圖像數(shù)據(jù)進行比較，判定步驟，根據(jù)比較結(jié)果判定所述照相機或圖像處理單元中是否存在故障；以及發(fā)送步驟，在所述判定步驟中判定存在故障時將故障信息發(fā)送到顯示裝置。因此，當(dāng)監(jiān)視系統(tǒng)因為任何故障而不工作、同時原本要顯示的圖像之前的圖像仍保留在顯示裝置上時，監(jiān)視系統(tǒng)可以向駕駛員報告監(jiān)視系統(tǒng)的故障。因此，當(dāng)監(jiān)視系統(tǒng)應(yīng)用于作為移動物體的車輛時，駕駛員可以獲知監(jiān)視系統(tǒng)的故障，并通過使用輔助功能(例如后視鏡)將車輛暫時駕駛到安全位置，從而能夠避免事故。因此，可以使車輛的安全性升級，并實現(xiàn)了對安全性敏感的系統(tǒng)的構(gòu)造。本發(fā)明還提供一種半導(dǎo)體集成電路，包括圖像處理單元，處理從照相機輸入的圖像信號，從而生成圖像數(shù)據(jù)；運動感測單元，感測移動物體在運動中；以及圖像比較單元，以預(yù)定周期接收所述圖像處理單元所生成的圖像數(shù)據(jù)的輸入，并且在所述運動感測單元檢測到所述移動物體在運動中時，將所述圖像處理單元所生成的第一圖像數(shù)據(jù)與在所述第一圖像數(shù)據(jù)之前至少一個周期中生成的第二圖像數(shù)據(jù)進行比較，所述圖像比較單元具有判定單元，根據(jù)比較結(jié)果判定所述照相機或所述圖像處理單元中是否存在故障；以及在所述判定單元判定存在故障時輸出故障信息。從而，當(dāng)監(jiān)視系統(tǒng)因為任何故障而不工作、同時原本要顯示的圖像之前的圖像仍 保留在顯示裝置上時，監(jiān)視系統(tǒng)可以向駕駛員報告監(jiān)視系統(tǒng)的故障。因此，當(dāng)監(jiān)視系統(tǒng)應(yīng)用于作為移動物體的車輛時，駕駛員可以獲知監(jiān)視系統(tǒng)的故障，并通過使用輔助功能(例如后視鏡)將車輛暫時駕駛到安全位置，從而能夠避免事故。因此，可以使車輛的安全性升級，并實現(xiàn)了對安全性敏感的系統(tǒng)的構(gòu)造。本發(fā)明的優(yōu)點本發(fā)明的監(jiān)視系統(tǒng)、用于控制所述監(jiān)視系統(tǒng)的方法以及用于所述監(jiān)視系統(tǒng)的半導(dǎo)體集成電路使得當(dāng)監(jiān)視系統(tǒng)已經(jīng)因為任何原因而不工作、同時原本要顯示的圖像之前的圖像仍保留在顯示裝置上時，能夠向用戶通知監(jiān)視系統(tǒng)發(fā)生故障。因此，當(dāng)本發(fā)明應(yīng)用于車輛或移動物體時，駕駛員可以意識到監(jiān)視系統(tǒng)發(fā)生了故障，并可以通過使用輔助功能(例如后視鏡)將車輛暫時駕駛到安全位置來避免事故。因此，可以使車輛的安全性升級，并實現(xiàn)了對安全性敏感的系統(tǒng)的構(gòu)造。


圖I是示出第一實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。圖2是示出圖像處理單元的結(jié)構(gòu)的框圖。圖3是示出圖像存儲器的結(jié)構(gòu)的框圖。圖4是示出圖像處理單元中的圖像處理的周期的時序圖。圖5是示出監(jiān)視系統(tǒng)的操作過程的時序圖。圖6是示出監(jiān)視系統(tǒng)的操作過程的時序圖。圖7是示出監(jiān)視系統(tǒng)的操作過程的時序圖。圖8是示出當(dāng)改變進行圖像比較的周期時的結(jié)構(gòu)的框圖。圖9是示出監(jiān)視系統(tǒng)的操作過程的流程圖。圖10是示出第二實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。圖11是示出第三實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。圖12是示出第四實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。圖13是示出現(xiàn)有技術(shù)的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。
具體實施例方式參照

本發(fā)明的監(jiān)視系統(tǒng)、用于控制所述系統(tǒng)的方法以及用于所述系統(tǒng)的半導(dǎo)體集成電路的實施例。本實施例的監(jiān)視系統(tǒng)適用于監(jiān)視用戶的車輛的近鄰周圍環(huán)境的監(jiān)視系統(tǒng)，所述車輛上安裝有照相機。(第一實施例)圖I是示出第一實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。如圖I中所示，第一實施例的監(jiān)視系統(tǒng)包括照相機10 ;具有圖像處理單元20、周期信號生成單元40、圖像比較計算單元50和運動感測單元60的半導(dǎo)體集成電路100 ;圖像存儲器70 ;以及顯示裝置30。監(jiān)視系統(tǒng)具有CPU和存儲器。CPU執(zhí)行存儲在存儲器中的控制程序，從而與硬件一起實施各個單元的功能。順便提及，也可以用硬件實施所有功能。監(jiān)視系統(tǒng)配備有至少一個照相機10，并且照相機10拍攝車輛及其周圍環(huán)境的圖像。圖像處理單元20合成從照相機10輸入的多個圖像信號，從而生成合成圖像，并輸出所述合成圖像。所述圖像被存儲在圖像存儲器70中。接著，從圖像存儲器70輸出的圖像信號(圖像數(shù)據(jù))輸出到顯示裝置30，并且顯示裝置30顯示與所述信號對應(yīng)的圖像。圖像信 號還輸出到圖像比較計算單元50，并存儲在圖像比較計算單元50中提供的圖像存儲器51中。運動感測單元60檢測車輛是否在運行中，并將感測結(jié)果輸出到圖像比較計算單元50?，F(xiàn)在參照圖2說明圖像處理單元20的結(jié)構(gòu)和操作。圖像處理單元20包括拍攝圖像處理單元21，其處理從照相機10輸出的圖像信號；故障標(biāo)志22，當(dāng)存在故障時向所述故障標(biāo)志22提供從圖像比較計算單元50輸出的信號pi ;警報顯示圖像生成單元23，其輸出用于報告故障的警報顯示圖像；以及顯示圖像選擇單元24，其選擇從拍攝圖像處理單元21輸出的信號或從警報顯示圖像生成單元23輸出的信號之一作為要顯示在顯示裝置30上的圖像信號。圖像比較計算單元50將輸出信號pi輸出到顯示圖像選擇單元24，以報告是否存在故障。當(dāng)輸出信號pi改變?yōu)樗鲂盘柋硎驹趫D像之間存在匹配的狀態(tài)時設(shè)定故障標(biāo)志22。故障標(biāo)志22保持所述狀態(tài)，直到故障復(fù)位。當(dāng)故障復(fù)位時，故障標(biāo)志22也復(fù)位。當(dāng)檢測到輸出信號pi的狀態(tài)表示在圖像之間存在匹配時或者當(dāng)設(shè)定故障標(biāo)志時，顯示圖像選擇單元24選擇從警報顯示圖像生成單元23輸出的信號，并將如此選擇的信號輸入到圖像存儲器70。對于其余情況，即不存在任何故障的常規(guī)狀態(tài)，顯示圖像選擇單元24將從拍攝圖像處理單元21輸出的圖像輸出到圖像存儲器70。如圖3中所示，圖像存儲器70和圖像比較計算單元50各自具有幀I和幀2，用于存儲至少兩個以預(yù)定周期更新的圖像數(shù)據(jù)。現(xiàn)在參照圖4說明圖像處理單元20的處理時序。從照相機10輸出的圖像信號輸入到順序地處理信號的圖像處理單元20。在此情況下，如圖4中所示，可以在輸出在第n-1個圖像的處理之后生成的圖像的同時，并行地處理作為下一圖像的“第η個”圖像。當(dāng)運動感測單元60檢測到車輛的運動時，圖像比較計算單元50通過使用所述結(jié)構(gòu)以預(yù)定周期將當(dāng)前圖像數(shù)據(jù)與在至少一個先前周期中獲取的過去圖像數(shù)據(jù)進行比較，從而確認照相機10或圖像處理單元20是否已經(jīng)發(fā)生故障?，F(xiàn)在通過使用圖5至圖7中示出的時序圖詳細說明故障檢測方法。首先，如圖5中所示，圖像處理單元20順序地處理從照相機10輸入的圖像信號，并輸出如此處理的圖像信號。如此輸出的圖像η-1、η、η+1、……交替地存儲在圖像存儲器70的幀I或幀2中，并接著順序地輸出到顯示裝置30。同時，圖像存儲器70也向圖像比較計算單元50輸出圖像。圖像比較計算單元50將輸入圖像一個接著一個存儲到圖像存儲器51的幀I或幀2中。在圖像存儲器70的幀I中存儲的圖像被存儲在圖像存儲器51的幀I中，并且圖像存儲器70的幀2中存儲的圖像被存儲在圖像存儲51的幀2中。在第η-i個圖像已存儲在圖像存儲器70的幀I中時，將圖像數(shù)據(jù)在延遲后輸入到圖像存儲器51。結(jié)果，第n-3個圖像被存儲在圖像存儲器51的幀I中。當(dāng)運動感測單元60檢測到車輛在運動時，圖像比較計算單元50以給定周期將存儲在圖像存儲器70的幀I中的圖像與存儲在圖像存儲器51的幀I中的圖像進行比較，并將存儲在圖像存儲器70的幀2中的圖像與存儲在圖像存儲器51的幀2中的圖像進行比較。當(dāng)在圖像之間存在差別時，圖像比較計算單元50判定不存在任何故障。同時，當(dāng)在圖像處理單元中發(fā)生故障時，如圖6中所示，存儲在圖像存儲器中的圖像不更新。當(dāng)圖像比較計算單元50將存儲在各個幀中的圖像彼此進行比較時，它們之間變得匹配。當(dāng)在圖像之間存在匹配時，圖像比較計算單元50已經(jīng)判定存在故障。如圖7中所示，要向駕駛員報告故障的警報顯示圖像被存儲在圖像存儲器70的幀I和幀2中，所述圖像存儲器70將圖像輸入到顯示裝置30。 如上所示，圖像比較計算單元50在故障檢測期間執(zhí)行圖像匹配，從而判定要比較的兩個圖像數(shù)據(jù)(即，當(dāng)前圖像數(shù)據(jù)和過去圖像數(shù)據(jù))之間的相似性。具體地，當(dāng)在兩個圖像之間存在高相關(guān)性時，這兩個圖像被判定為基本相同。因為盡管車輛周圍環(huán)境發(fā)生了變化但兩個圖像保持不變，所以判定存在故障。同時，當(dāng)在兩個圖像之間存在低相關(guān)性時，這兩個圖像被判定為彼此不同。因此，判定不存在任何故障。在發(fā)生故障的情況下，圖像比較計算單元50向圖像處理單元20輸出報告故障的輸出信號pi。在接收到報告故障的輸出信號pi時，圖像處理單元20執(zhí)行針對照相機10或圖像處理單元20的故障的情況的圖像處理。具體地，圖像處理單元20輸出警報顯示圖像的圖像信號，從而將顯示裝置30上的顯示改變?yōu)閱紊@示或警報顯示。然而，以上操作的前提條件是圖像處理單元20保持執(zhí)行用于故障的圖像處理并將故障信息發(fā)送到顯示裝置30的常規(guī)無故障功能。在接收到報告曾經(jīng)在圖像之間存在匹配的輸出信號pi時，圖像處理單元20停止輸出圖像，直到故障狀態(tài)復(fù)位。此時，顯示裝置30保持顯示存儲在圖像存儲器70中的警報顯示圖像。此外，在輸出報告曾經(jīng)在圖像之間存在匹配的輸出信號Pl之后，圖像比較計算單元50可以暫停(halt)圖像比較，直到故障狀態(tài)復(fù)位。當(dāng)圖像比較計算單元50執(zhí)行比較時，將預(yù)定周期設(shè)定為顯著短于作為試圖剎車的人的反應(yīng)時間與在車輛變?yōu)橥Ｖ怪敖?jīng)過的機械時間的和的反應(yīng)時間段的時段。如前面所提到的，通過在多個周期上的一定時間段中檢查車輛的運動，可以判定問題是故障還是暫時失靈(temporal failure)。運動感測單元60配備有選擇電路80，其從用于通過不同的感測系統(tǒng)檢測車輛運動的多個電路中選擇任一個。作為用于通過不同感測系統(tǒng)感測車輛運動的電路，選擇電路80與下述電路連接用于發(fā)送輪胎的旋轉(zhuǎn)信號kl的旋轉(zhuǎn)確認電路81 ;用于發(fā)送速度表的速度信號k2的速度確認電路82 ;以及用于發(fā)送另一運動信號k3的運動確認電路83。運動感測單元60根據(jù)從選擇電路80選擇的電路輸入的信號，向圖像比較計算單元60重復(fù)地饋送表不車輛是否在運動的輸出信號p2。用于生成等于預(yù)定周期的信號的周期信號生成單元40也連接到圖像比較計算單元50。圖像比較計算單元50進行比較的周期不是作為預(yù)定周期的固定值，而是可以根據(jù)來源于周期信號生成單元40的輸出信號p3相應(yīng)地改變?yōu)樽罴阎芷凇Ｔ诒緦嵤├?，周期信號生成單?0配備有至少一個或更多個(N)周期選擇端子41?？梢詢H通過硬件步進地改變周期，只要例如在高電平和低電平之間切換輸入到周期選擇端子41的信號。具體地，當(dāng)提供一個周期選擇端子41時，周期信號生成單元40可以在兩個電平中選擇周期。此外，當(dāng)提供N個(整數(shù)個)周期選擇端子41時，周期信號生成單元40可以在2N個電平中選擇周期。被饋送了周期信號生成單元40選擇的輸出信號p3的圖像比較計算單元50以對應(yīng)于所選擇的輸出信號p3的周期，將當(dāng)前圖像數(shù)據(jù)與在至少一個先前周期中獲取的過去圖像數(shù)據(jù)進行比較。也可以向周期選擇端子41輸入其電平可以模擬量變化的信號來取代高/低電平信號。在此情況下，模數(shù)轉(zhuǎn)換電路(ADC)插入在周期信號生成單元40與一個周期選擇端子41之間，從而使得能夠連續(xù)地改變周期。
此外，圖像比較計算單元50進行比較的周期也可以通過軟件改變。圖8是示出當(dāng)通過軟件改變圖像比較計算單元50進行比較的周期時采用的結(jié)構(gòu)的框圖。周期選擇寄存器42連接到周期信號生成單元40。根據(jù)軟件設(shè)定的值，周期選擇寄存器42向周期信號生成單元40輸出用于選擇周期的輸出信號p4。周期選擇寄存器42所選擇的周期的寬度(選擇的范圍)取決于從周期選擇寄存器42輸入的輸出信號p4的數(shù)目。當(dāng)輸出信號p4的數(shù)目是M時，周期信號生成單元40可以在2M個電平中選擇周期。此外，周期信號生成單元40所選擇的輸出信號p3饋送到圖像比較計算單元50，從而圖像比較計算單元50以對應(yīng)于所選擇的輸出信號p3的周期，將當(dāng)前圖像數(shù)據(jù)與在至少一個先前周期中獲取的過去圖像數(shù)據(jù)進行比較?，F(xiàn)在說明具有以上結(jié)構(gòu)的監(jiān)視系統(tǒng)的操作。圖9是示出監(jiān)視系統(tǒng)的操作過程的流程圖。作為位于監(jiān)視系統(tǒng)中的微計算機中的CPU執(zhí)行存儲在存儲器中的控制程序的結(jié)果的功能，實施所述操作。圖像比較計算單元50以預(yù)定周期重復(fù)地執(zhí)行操作。首先，圖像比較計算單元50根據(jù)從運動感測單元60輸入的輸出信號p2，判定車輛是否在運動(步驟SI)。當(dāng)車輛被判定為沒有運動時，圖像比較計算單元50立即終止處理。同時，當(dāng)車輛被判定為在運動時，圖像比較計算單元50將當(dāng)前圖像數(shù)據(jù)與在至少一個先前周期中獲得的過去數(shù)據(jù)進行比較(步驟S2)。要彼此進行比較的圖像數(shù)據(jù)的組合不限于上述，而是可以從多個可能的組合中合適地選擇組合。圖像比較計算單元50根據(jù)圖像數(shù)據(jù)之間的比較結(jié)果，判定照相機10或圖像處理單元20是否發(fā)生故障(步驟S3)。當(dāng)不存在任何故障時，圖像比較計算單元50直接終止處理。同時，當(dāng)存在故障時，圖像比較計算單元50向圖像處理單元20輸出報告故障的輸出信號pi (步驟S4)。在接收到輸出信號pi時，圖像處理單元20處理在照相機10或圖像處理單元20發(fā)生故障時獲取的圖像，并輸出顯示圖像處理信息(故障信息)的圖像信號g2，從而將顯示裝置30改變?yōu)閱紊@示或警報顯示。接著，圖像比較計算單元50終止處理。當(dāng)監(jiān)視系統(tǒng)由于任何故障不工作、同時原本要顯示的圖像之前的圖像仍然保留在顯示裝置30上時，第一實施例的監(jiān)視系統(tǒng)可以向駕駛員報告監(jiān)視系統(tǒng)的故障。結(jié)果，駕駛員可以得知監(jiān)視系統(tǒng)的故障，并通過使用輔助功能(例如后視鏡)將車輛暫時駕駛到安全位置，從而能夠避免事故。因此可以使車輛的安全性升級，并且實現(xiàn)了對安全性敏感的系統(tǒng)的構(gòu)造。此外，通過圖像處理單元20發(fā)送故障信息使得可以在顯示屏幕上疊加警報信息或改變顯示模式(例如警報顯示屏幕的顏色或亮度)，從而有助于吸引駕駛員的注意。此外，可以在車輛運動的同時將監(jiān)視系統(tǒng)的故障傳達給駕駛員，從而駕駛員可以避免事故。只要使得周期可變，就可以以符合移動物體(例如車輛)的運動的周期檢測到監(jiān)視系統(tǒng)的故障。除了在硬件或軟件中包括缺陷(bug)，圖像處理單元20的故障的原因還包括進行另一處理的圖像處理單元20由于吞吐量的臨時增加而落后于圖像處理的情況。在本實施例中，通過顯示裝置30的顯示屏幕報告關(guān)于故障的警報。也可以通過使 用顯示屏幕與另一方法組合來報告警報。(第二實施例)圖10是示出包括另一警報通告裝置的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖，所述另一警報通告裝置被添加到關(guān)于第一實施例所述的結(jié)構(gòu)中。與關(guān)于第一實施例所述的構(gòu)成要素相同的構(gòu)成要素被標(biāo)以相同的附圖標(biāo)記，并且省略對它們的重復(fù)說明。下面將說明與關(guān)于第一實施例所述的結(jié)構(gòu)和操作不同的結(jié)構(gòu)和操作。圖10中所示的監(jiān)視系統(tǒng)配備有警報指示單元90和警報聲音生成單元91，作為警報生成單元，從圖像比較計算單元50向所述警報指示單元90和警報聲音生成單元91輸入輸出信號pl。在本實施例中，圖像比較計算單元50將報告故障的輸出信號Pl輸入到圖像處理單元20，并且還將輸出信號pl輸入到警報指示單元90和警報聲音生成單元91。除了顯示裝置30提供的警報顯示之外，警報指示單元90也提供警報顯示。此外，警報聲音生成單元91發(fā)出警報聲音。順便提及，可以僅提供和激活警報指示單元90和警報聲音生成單元91
之一 O 除了顯示裝置30提供的警報顯示之外，警報指示單元90因此也提供警報顯示，并且警報聲音生成單元91也發(fā)出警報聲音，從而使得可以確定地將駕駛員的注意力吸引到故障上。特別地，甚至當(dāng)圖像處理單元20與顯示裝置30之間的功能存在故障時，將輸出信號Pl直接從圖像比較計算單元50輸入到警報指示單元90和警報聲音生成單元91中也能夠確定地吸引駕駛員的注意力。此外，由于將輸出信號Pl直接輸入到警報指示單元90和警報聲音生成單元91而不涉及圖像處理單元20和圖像存儲器70，所以可以在檢測到故障時立即向駕駛員報告故障。(第三實施例)圖11是示出第三實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。省略與關(guān)于第一實施例所述的構(gòu)成要素相同的構(gòu)成要素的重復(fù)說明。下面說明與關(guān)于第一實施例所述的結(jié)構(gòu)和操作不同的結(jié)構(gòu)和操作。在本實施例中，圖像比較計算單元50中不提供已經(jīng)內(nèi)置到第一實施例的圖像比較計算單元50中的圖像存儲器70。圖像存儲器51提供在半導(dǎo)體集成電路200外部。本實施例中采用的圖像存儲器70存儲從圖像處理單元20輸出的圖像信號，并將如此存儲的圖像信號輸出到顯示裝置30、圖像存儲器51和圖像比較計算單元50。圖像存儲器51存儲從圖像存儲器70輸出的圖像信號，并將如此存儲的圖像信號輸出到圖像比較計算單元50。在此情況下，從圖像存儲器70輸入的圖像“η”以及從圖像存儲器51輸入的在圖像“η”之前一個周期的圖像n-1被同時輸入到圖像比較計算單元50。當(dāng)運動感測單元60確認車輛在運動時，圖像比較計算單元50以預(yù)定的周期將圖像“η”與圖像“n-1”進行比較，從而在所有時間確認照相機10或圖像處理單元50是否發(fā)生故障。在故障檢測期間，圖像比較計算單元50執(zhí)行圖像匹配，判定彼此比較的兩個圖像數(shù)據(jù)(即，當(dāng)前圖像數(shù)據(jù)和過去圖像數(shù)據(jù))之間的相似性。更具體地，當(dāng)在這兩個圖像之間存在高相關(guān)性時，這兩個圖像被判定為基本相同。因為盡管車輛周圍環(huán)境發(fā)生變化但這兩個圖像保持不變，所以判定存在故障。同時，當(dāng)兩個圖像之間存在低相關(guān)性時，這兩個圖像被判定為彼此不同。因此，判定不存在任何故障。在發(fā)生故障的情況下，圖像比較計算單元50向圖像處理單兀20輸出報告故障的輸出信號pl 。在接收到輸出信號pl時，圖像處理單元20執(zhí)行針對照相機10或圖像處理單元20的故障的情況的圖像處理。具體地，圖像處理單元20輸出表示圖像處理信息(故障信息)的圖像信號，從而將顯示裝置30上的顯示改變?yōu)閱紊@示或警報顯示。順便提及，以上操作的前提條件是圖像處理單元20保持執(zhí)行用于故障的圖像處理并將故障信息發(fā)送給顯示裝置30的常規(guī)無故障功能。在已經(jīng)檢測到故障的情況下，圖像比較計算單元50暫停后續(xù)圖像比較。在此情況下，顯示裝置30優(yōu)選顯示警報。如上，使用半導(dǎo)體集成電路200的外部存儲器，而不是內(nèi)置于圖像比較計算單元50中的圖像存儲器51，從而可以使半導(dǎo)體集成電路小型化。周期信號生成單元40也可以以與關(guān)于第一實施例所述的相同方式連接到圖像比較計算單元50。圖像比較計算單元50執(zhí)行比較的周期不是作為預(yù)定周期的固定值，而是可以根據(jù)來源于周期信號生成單元40的輸出信號p3相應(yīng)地改變到最佳周期。在此方面，周期選擇端子41或周期選擇寄存器也可以連接到周期信號生成單元40，從而改變周期。此外，除了通過顯示裝置30提供警報顯示之外，如關(guān)于第一實施例中所述的，還可以生成警報指示單元90提供的警報顯示或警報聲音生成單元91發(fā)出的警報聲音。(第四實施例)圖12是示出第四實施例的監(jiān)視系統(tǒng)的結(jié)構(gòu)的框圖。省略與關(guān)于第一實施例所述的構(gòu)成要素相同的構(gòu)成要素的重復(fù)說明。下面說明與關(guān)于第一實施例所述的結(jié)構(gòu)和操作不同的結(jié)構(gòu)和操作。在本實施例中，在第一實施例中置于半導(dǎo)體集成電路外部的圖像存儲器70提供在半導(dǎo)體集成電路300內(nèi)。在所有其他方面，監(jiān)視系統(tǒng)在執(zhí)行和處理上與關(guān)于第一實施例所描述的監(jiān)視系統(tǒng)是同樣的。如上所提及，將圖像存儲器70放置在半導(dǎo)體集成電路中，這使得可以縮短信號傳輸距離，并防止信號傳輸發(fā)生延遲。還獲得減小功耗和布置半導(dǎo)體集成電路的基底的面積的優(yōu)點。周期信號生成單元40也可以以與關(guān)于第一實施例所述的相同方式連接到圖像比較計算單元50。圖像比較計算單元50進行比較的周期可以根據(jù)來源于周期信號生成單元40的輸出信號p3相應(yīng)地改變到最佳周期，而不是固定的預(yù)定周期。在此方面，周期選擇端子41或周期選擇寄存器也可以連接到周期信號生成單元40，從而改變周期。此外，除了通過顯示裝置30提供警報顯示之外，如關(guān)于第一實施例中所述的，還可以生成警報指示單元90提供的警報顯示或警報聲音生成單元91發(fā)出的警報聲音。第一至第四實施例示出了監(jiān)視系統(tǒng)應(yīng)用到車輛的情況。然而，本發(fā)明也可以以相同的方式應(yīng)用于車輛以外的移動物體。車輛以外的移動物體包括可移動監(jiān)視相機等。在第一至第四實施例中，已經(jīng)將監(jiān)視系統(tǒng)簡單地描述為整體構(gòu)造為單元的系統(tǒng)。然而，也可以將外部照相機、外部顯示裝置、以及監(jiān)視單元與其他內(nèi)置單元彼此分離地構(gòu)造。然而，本發(fā)明不限于關(guān)于第一至第四實施例所描述的結(jié)構(gòu)。本發(fā)明可以適用于任何結(jié)構(gòu)，只要所述結(jié)構(gòu)能夠?qū)嵤╆P(guān)于權(quán)利要求中所描述的功能或關(guān)于第一至第四實施例描述的結(jié)構(gòu)所呈現(xiàn)的功能。雖然已經(jīng)參照具體實施例詳細描述了本發(fā)明，但本領(lǐng)域的技術(shù)人員可知，可以在不偏離本發(fā)明的精神和范圍的情況下對本發(fā)明進行各種修改或改變。本專利申請基于2010年3月5日提交的日本專利申請(JP-2010-049740)，通過引用將其全部細節(jié)合并到這里。工業(yè)實用性本發(fā)明的監(jiān)視系統(tǒng)作為在原本要顯示的圖像之前的圖像仍然保持顯示在顯示裝置上時、向用戶報告發(fā)生故障的監(jiān)視系統(tǒng)是有用的。附圖標(biāo)記列表I、10 照相機2、20圖像處理單元21拍攝圖像處理單元22故障標(biāo)志24顯示圖像選擇單元3、30顯示裝置40周期信號生成單元41周期選擇端子42周期選擇寄存器50圖像比較計算單元51圖像存儲器511圖像存儲器51中的幀I522圖像存儲器51中的幀260運動感測單元70圖像存儲器71圖像存儲器70中的幀I72圖像存儲器70中的幀280選擇電路81旋轉(zhuǎn)確認電路82速度確認電路90警報指示單元91警報聲音生成單元100、200、300半導(dǎo)體集成電路
權(quán)利要求
1.ー種監(jiān)視移動物體的監(jiān)視系統(tǒng)，包括 照相機，拍攝周圍環(huán)境的圖像并輸出圖像信號； 圖像處理單元，處理從所述照相機輸入的圖像信號，以生成圖像數(shù)據(jù)； 顯示裝置，顯示根據(jù)所述圖像處理單元生成的圖像數(shù)據(jù)的圖像； 運動感測單元，感測所述移動物體在運動中；以及 圖像比較單元，以預(yù)定周期接收所述圖像處理單元生成的圖像數(shù)據(jù)的輸入，并且在所述運動感測單元檢測到所述移動物體在運動中時，將所述圖像處理單元生成的第一圖像數(shù)據(jù)與在所述第一圖像數(shù)據(jù)之前至少ー個周期中生成的第二圖像數(shù)據(jù)進行比較， 所述比較單元具有 判定単元，根據(jù)比較結(jié)果判定所述照相機或所述圖像處理單元中是否存在故障；以及 發(fā)送單元，在所述判定単元判定存在故障時，將故障信息發(fā)送到所述顯示裝置。
2.如權(quán)利要求I所述的監(jiān)視系統(tǒng)，還包括 第一存儲器和第二存儲器，存儲所述圖像處理單元生成的圖像數(shù)據(jù)； 所述第一存儲器存儲所述第一圖像數(shù)據(jù)，并且所述第二存儲器存儲所述第二圖像數(shù)據(jù)。
3.如權(quán)利要求2所述的監(jiān)視系統(tǒng)，所述第一存儲器和所述第二存儲器各自具有至少兩個或更多圖像數(shù)據(jù)。
4.如權(quán)利要求I至3中的任一項所述的監(jiān)視系統(tǒng)，當(dāng)檢測到故障時，所述圖像比較單元暫停圖像比較。
5.如權(quán)利要求2或3所述的監(jiān)視系統(tǒng)，所述第二存儲器被提供在所述圖像比較單元內(nèi)。
6.如權(quán)利要求I至5中的任ー項所述的監(jiān)視系統(tǒng)，從所述圖像比較單元發(fā)送的故障信息通過所述圖像處理單元發(fā)送到所述顯示裝置。
7.如權(quán)利要求6所述的監(jiān)視系統(tǒng)，除了具有所述顯示裝置外，還包括用于報告故障的裝置，從所述圖像比較單元發(fā)送的故障信息被發(fā)送到所述用于報告故障的裝置，而不涉及所述圖像處理單元。
8.如權(quán)利要求I至7中的任ー項所述的監(jiān)視系統(tǒng)，所述顯示裝置根據(jù)所述發(fā)送單元發(fā)送的故障信息提供單色顯示或警報顯示。
9.如權(quán)利要求I至7中的任一項所述的監(jiān)視系統(tǒng)，當(dāng)所述移動物體是車輛時，所述運動感測単元通過使用輪胎旋轉(zhuǎn)信號、速度表的速度信號或操作信號來感測所述車輛在運動中。
10.如權(quán)利要求I至9中的任ー項所述的監(jiān)視系統(tǒng)，所述圖像處理單元具有拍攝圖像處理單元、警報顯示圖像生成単元和顯示圖像選擇單元；并且 當(dāng)所述圖像比較單元判定存在故障時，所述顯示圖像選擇單元使得所述顯示裝置優(yōu)先顯示所述警報顯示圖像生成単元生成的圖像數(shù)據(jù)，而不是所述拍攝圖像處理單元生成的圖像數(shù)據(jù)。
11.如權(quán)利要求I至10中的任一項所述的監(jiān)視系統(tǒng)，至少所述圖像處理單元、所述運動感測單元和所述圖像比較單元實施在一個半導(dǎo)體集成電路基底上。
12.如權(quán)利要求11所述的監(jiān)視系統(tǒng)，所述第一存儲器和所述第二存儲器的至少ー個包括位于所述半導(dǎo)體集成電路基底外部的外部存儲器。
13.如權(quán)利要求I至3中的任ー項所述的監(jiān)視系統(tǒng)，還包括信號生成単元，用于生成對應(yīng)于關(guān)于所述圖像比較單元的預(yù)定周期的信號， 通過能夠改變所述周期的硬件或者所述硬件與軟件的組合來構(gòu)造所述信號生成単元。
14.一種用于控制監(jiān)視移動物體的監(jiān)視系統(tǒng)的方法，包括 圖像處理步驟，處理從拍攝周圍環(huán)境的圖像并輸出圖像信號的照相機輸入的圖像信號，從而生成圖像數(shù)據(jù)； 顯示步驟，顯示根據(jù)所述圖像處理步驟中生成的圖像數(shù)據(jù)的圖像； 運動感測步驟，感測所述移動物體在運動中； 圖像比較步驟，以預(yù)定周期接收所述圖像處理步驟中生成的圖像數(shù)據(jù)的輸入，并且在所述運動感測步驟中檢測到所述移動物體在運動中吋，將所述圖像處理步驟中生成的當(dāng)前圖像數(shù)據(jù)與在所述圖像數(shù)據(jù)的生成之前至少ー個周期中生成的過去圖像數(shù)據(jù)進行比較，判定步驟，根據(jù)比較結(jié)果判定所述照相機或圖像處理單元是否存在故障；以及發(fā)送步驟，在所述判定步驟中判定存在故障時，將故障信息發(fā)送到顯示裝置。
15.—種半導(dǎo)體集成電路,包括 圖像處理單元，處理從照相機輸入的圖像信號，以生成圖像數(shù)據(jù)； 運動感測單兀I，感測移動物體在運動中；以及 圖像比較單元，以預(yù)定周期接收所述圖像處理單元生成的圖像數(shù)據(jù)的輸入，并且在所述運動感測單元檢測到所述移動物體在運動中時，將所述圖像處理單元生成的第一圖像數(shù)據(jù)與在所述第一圖像數(shù)據(jù)之前至少ー個周期中生成的第二圖像數(shù)據(jù)進行比較， 所述比較單元具有 判定単元，根據(jù)比較結(jié)果判定所述照相機或所述圖像處理單元中是否存在故障；并且 在所述判定単元判定存在故障時輸出故障信息。
全文摘要
一種監(jiān)視系統(tǒng)，配備有圖像比較單元，當(dāng)運動感測單元判定車輛在運行中時，所述圖像比較單元根據(jù)從運動感測單元輸入的輸出信號，將當(dāng)前圖像與在當(dāng)前周期之前至少一個周期中獲得的過去圖像數(shù)據(jù)進行比較。圖像比較單元基于比較結(jié)果判定在照相機或圖像處理單元中是否發(fā)生故障。當(dāng)發(fā)生故障時，圖像比較單元將通知存在故障的輸出信號輸出到圖像處理單元。在接收到輸出信號時，圖像處理單元執(zhí)行發(fā)生故障時的圖像處理，并發(fā)送故障信息與圖像信號，以便將顯示裝置上的顯示改變?yōu)閱紊@示或警報顯示。因此，當(dāng)在顯示裝置上顯示先前圖像時，如果監(jiān)視系統(tǒng)由于任何故障而停止，則可以向駕駛員通知故障。
文檔編號H04N7/18GK102783146SQ201180012469
公開日2012年11月14日 申請日期2011年3月3日 優(yōu)先權(quán)日2010年3月5日
發(fā)明者下田直之, 來田和久, 柴田晃宏, 遠藤岳志 申請人:松下電器產(chǎn)業(yè)株式會社