專利名稱：圖象處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及執(zhí)行多個圖象處理功能的圖象處理裝置，特別涉及圖象處 理功能的任務(wù)安排。
背景技術(shù)：
隨著計算機(jī)技術(shù)及映像技術(shù)的進(jìn)步，用一個圖象處理裝置實現(xiàn)多個圖 象處理功能越來越重要。例如在使用汽車搭載的照相機(jī)的圖象處理裝置中， 為了降低成本，迫切要求能夠用一個裝置處理車線識別及障礙物檢知等多 個圖象處理功能。用一個裝置實現(xiàn)多個圖象處理功能時，計算機(jī)將多個功 能分割成被稱作"任務(wù)"的細(xì)化的處理功能后，執(zhí)行處理。在這里，不使 多個圖象處理功能引起故障地管理任務(wù)，十分重要。圖象處理中的任務(wù)管 理，在大多數(shù)情況下，被與映像輸入的時刻同步控制。在汽車等搭載的圖 象處理裝置中，為了在實際時間(實時)進(jìn)行處理，需要始終輸入映像， 在對象的圖象數(shù)據(jù)可以處理后，執(zhí)行圖象處理功能。在這種實際時間的系 統(tǒng)中。映像的記錄時刻，被作為任務(wù)安排的控制間隔使用。
在專利文獻(xiàn)1中，定義規(guī)定各任務(wù)的起動的時間間隔的幀，使用定義 了的幀進(jìn)行任務(wù)安排。具體地說，假設(shè)某一定周期的連續(xù)的幀，編制安排 表，用安排表控制哪個功能在哪個幀動作。用于圖象處理裝置時，能夠用 映像的同步信號規(guī)定的間隔定義幀。
專利文獻(xiàn)2公布了使用映像的同步信號，特定要處理的圖象數(shù)據(jù)，規(guī) 定處理的時刻的方法。在這里，對于映像數(shù)據(jù)的配信，使用以映像的同步
信號定義的幀號，進(jìn)行決定用哪個幀配信哪個視頻數(shù)據(jù)的安排。
專利文獻(xiàn)1: JP特開平6—67899號公報 專利文獻(xiàn)2: JP特開2000—299841號公報
在識別汽車的行駛環(huán)境之類的圖象處理裝置中，必須相應(yīng)汽車的速度 及計測對象的物體的動態(tài)，來執(zhí)行圖象處理功能。例如高速移動時，必 須縮短處理周期地進(jìn)行控制，以免看漏對象物體。另外，功能被安全系統(tǒng) 使用時，則需要根據(jù)狀況，在短時間內(nèi)多次實施相同的處理，提高可靠性 等。這時，必須根據(jù)使其動作的任務(wù)的變更及周圍狀況的變化，頻繁地變 更執(zhí)行任務(wù)的安排?？墒?，在專利文獻(xiàn)1及專利文獻(xiàn)2公開的那種使用安 排表的安排管理方法中，變更安排之際，需要考慮在安排表中注冊的所有 的任務(wù)，從而使變更相當(dāng)困難。例如，假設(shè)某個功能的時刻發(fā)生變更，那 就需要在把握所有的功能的動作狀態(tài)的基礎(chǔ)上，變更安排表?？墒?，由于 難以把握到所有的功能的詳細(xì)的動作狀態(tài)，所以變更很不容易。進(jìn)而，編 制安排表之際，需要與任務(wù)的執(zhí)行周期最長的數(shù)據(jù)吻合。因此，即使將安 排間隔拉長，也需要與最長的周期吻合地編制其它的任務(wù)的安排，從而使 管理和變更作業(yè)相當(dāng)復(fù)雜。這樣，存在著在發(fā)生功能的追加及替換、周期 的變更之際，需要在把握所有的功能的動作狀態(tài)的基礎(chǔ)上，變更安排表的 問題
發(fā)明內(nèi)容

本發(fā)明能夠在多個圖象處理功能動作的狀況下，容易進(jìn)行實現(xiàn)各功能 的任務(wù)的管理。就是說，本發(fā)明的目的在于根據(jù)周圍的狀況的變化，需 要變更各任務(wù)的處理周期時，容易追加新的功能、刪除功能。
本發(fā)明涉及的圖象取得時刻控制方法及圖象處理裝置，由下列單元構(gòu)
成映像取得單元；映像幀附加單元，該映像幀附加單元給取得的映像附 加幀號；要求映像幀判別單元，該要求映像幀判別單元判斷是不是圖象處
理功能使用的幀；要求映像幀取得通知單元，該要求映像幀取得通知單元 在取得的映像幀是圖象處理功能使用的幀時，將映像取得通知相應(yīng)的圖象
處理任務(wù)；要求映像幀取得受理單元，該要求映像幀取得受理單元的特征 在于，能夠按照圖象處理功能的處理內(nèi)容，用幀單位指定圖象處理功能要 求的映像，受理為了實現(xiàn)圖象處理功能而必要的處理任務(wù)，和為了實現(xiàn)圖 象處理功能而必要的映像幀的取得。
采用本發(fā)明后，容易在多個圖象處理功能動作的狀態(tài)下，管理實現(xiàn)各 功能的任務(wù)。具體地說，容易進(jìn)行由于作為圖象處理的對象的周圍的狀況 變化而發(fā)生的各任務(wù)的處理周期的變更、功能的追加、刪除等。另外，因 為可以獨立控制各任務(wù)，所以能夠動態(tài)地下載程序，或者按照功能，使執(zhí) 行程序的形態(tài)不同，能夠按照功能實施修改及功能變更的作業(yè)。


圖1是講述使用了本發(fā)明的圖象處理裝置的結(jié)構(gòu)的圖形。
圖2是講述任務(wù)管理表的圖形。
圖3是講述圖象處理功能的處理時刻的圖形。
圖4是講述圖象取得處理和圖象處理的時刻的圖形。
圖5是講述圖象取得指令和垂直同步信號插入處理的處理流程的圖形。
圖6是講述任務(wù)中的圖象處理的流程的圖形。
圖7是講述取得幀信息的表的圖形。
圖8是講述取得要求幀編號注冊處理的流程的圖形。
圖9是講述照相機(jī)控制的處理時刻的圖形。
圖IO是講述任務(wù)注冊的用戶接口的圖形。
圖11是講述任務(wù)注冊的用戶接口的圖形。
圖12是講述取得幀信息的表的其它示例的圖形。
圖13是講述取得要求幀編號注冊處理的其它示例的流程的圖形。
圖14是講述圖象取得和處理時刻的圖形。
圖15是講述本發(fā)明的處理流程的圖形。
圖16是講述使用了本發(fā)明的圖象處理裝置的任務(wù)結(jié)構(gòu)的圖形。
具體實施例方式
下面，參照附圖，詳細(xì)講述本發(fā)明涉及的實施方式。使用圖l,講述本 實施方式的圖象處理裝置的結(jié)構(gòu)。在本實施方式的圖象處理裝置1中，由
攝象機(jī)、攝像元件、硬盤記錄器等映像取得單元100輸入映像數(shù)據(jù)。輸入 的映像數(shù)據(jù)110，被映像解碼器10分離成同步信號11和圖象數(shù)據(jù)12。映 像數(shù)據(jù)110是模擬信息時，映像解碼器IO相當(dāng)于被稱作"視頻解碼器"的 器件，具備模擬 數(shù)字變換及同步分離功能。同步信號11和圖象數(shù)據(jù)12， 被輸入映像輸入控制器20。在映像輸入控制器20中，判定輸入的圖象數(shù)據(jù) 12是不是處理使用的數(shù)據(jù)，是處理使用的數(shù)據(jù)時，向存儲介質(zhì)40傳輸。輸 入控制器20和處理器30、存儲介質(zhì)40被用物理性的信號線50連接到一起， 通常被總線連接。存儲介質(zhì)40記錄的圖象數(shù)據(jù)，被用處理器30處理。處 理結(jié)果，被通信單元31向外部的控制器及系統(tǒng)輸出。
下面，使用圖10，講述實施例的軟件結(jié)構(gòu)。在該例中，假設(shè)用于汽車
的圖象處理裝置，作為圖象處理功能，實現(xiàn)有關(guān)汽車的使用了圖象處理的
運(yùn)轉(zhuǎn)支援及娛樂的應(yīng)用功能。軟件用圖1所示的處理器30處理。作為圖象 處理功能，例如監(jiān)視功能A1、行駛記錄器功能A2、車線偏離報警功能A3、 插入車輛報警功能A4，作為應(yīng)用程序的任務(wù)動作。各應(yīng)用程序，構(gòu)筑在能 夠管理多個任務(wù)的與多任務(wù)對應(yīng)的操作系統(tǒng)上。除了應(yīng)用程序以外，作為 主要的程序，還有將系統(tǒng)初始化的初始化功能P1、選擇啟動的圖象處理或 執(zhí)行動作的圖象處理功能的圖象處理任務(wù)管理功能P2、管理向駕駛員提供 信息及功能選擇等的用戶接口功能P3、按照各圖象處理功能的結(jié)果指令外 部控制的通信功能P4、受各圖象處理功能的委托讀入映像的圖象取得功能 P5。各圖象處理功能，為了取得圖象處理使用的圖象數(shù)據(jù)，呼叫圖象讀入 功能P5的圖象取得指令，取得圖象數(shù)據(jù)。圖2示出在圖象處理任務(wù)管理功 能P2中，預(yù)先注冊能夠執(zhí)行的程序的任務(wù)管理表的例子。
用圖1講述的圖象處理裝置處理的各種圖象處理功能，如圖2的任務(wù)
管理表中所列舉的那樣，作為處理對象的圖象的畫質(zhì)的高 低或圖象處理 的處理間隔等，被按照規(guī)格規(guī)定。該處理間隔，對于各功能即使對圖象處 理要求的應(yīng)答速度慢也行的則取大，而對于要求迅速的應(yīng)答速度的功能則 取小。 一般的處理間隔，能夠象圖2的示例那樣推測。可是，還要考慮到 隨著周圍狀況的變化，處理間隔是"中"的應(yīng)用程序突然變成"小"的情 況。作為這時的具體的例子，可以列舉汽車速度加快，用迄今為止的處理 間隔，不能夠跟蹤狀況的場面等。另外，和前面的車及對面的車的車間距 離變小，成為危險的狀況后，有時必須減小處理間隔，盡快檢知危險。這 種處理間隔的變更，在執(zhí)行的圖象處理功能只有一個時，能夠簡單的實現(xiàn)。 但是用一個軟件執(zhí)行多個圖象處理功能時，由于需要考慮圖象的讀入時刻 及執(zhí)行各圖象處理功能所需的處理能力等，所以絕非易事。
另外，為了實現(xiàn)各圖象處理功能，而控制圖象的質(zhì)量，諸如變更快門 速度、調(diào)整增益等?？墒牵瑸槭拐f明簡單，在以下的發(fā)明的實施方式中， 將多個圖象處理功能使用的圖象，作為一種。
下面，使用圖3，詳細(xì)講述多個圖象處理功能在一個圖象處理裝置上怎 樣動作。在圖3中，作為映像信號，示出垂直同步信號lll。在這里，在垂 直同步信號的一個周期(信號Low Low的期間)，構(gòu)成一個幀。在垂直同 步信號111下面記述的編號，是在任務(wù)管理中使用的映像幀編號。在圖3 中，表示出監(jiān)視功能A1、行駛記錄器功能A2、車線偏離報警功能A3、插 入車輛報警功能A4等多個圖象處理功能并列進(jìn)行動作的狀況。位于各圖象 處理功能的虛線上的矩形G10 G43，表示在圖象處理中使用的圖象數(shù)據(jù)。 就是說，表示各圖象處理功能使用矩形描繪的時刻的映像幀中的圖象數(shù)據(jù) 進(jìn)行處理。在監(jiān)視功能A1中，因為每幀記錄圖象數(shù)據(jù)，所以每幀取得用于 記錄的圖象數(shù)據(jù)(G10 G16)進(jìn)行處理。關(guān)于行駛記錄器功能A2，由于 不必象監(jiān)視功能那樣進(jìn)行每幀處理，而每隔兩幀處理映像數(shù)據(jù)，所以讀入 圖象數(shù)據(jù)G20、 G21進(jìn)行處理。關(guān)于車線偏離報警功能A3，以3幀間隔取 得圖象數(shù)據(jù)，處理圖象數(shù)據(jù)G30、 G31。在插入車輛報警功能A4中，由于 需要處理2枚連續(xù)的圖象數(shù)據(jù)，所以取得連續(xù)的圖象幀——圖象數(shù)據(jù)G40、
G41的組合和隔開成為處理周期的3幀間隔的圖象數(shù)據(jù)G42、 G43的組合， 進(jìn)行處理。
象現(xiàn)有技術(shù)那樣，預(yù)先設(shè)想各圖象處理功能的處理周期，存在管理任 務(wù)安排的任務(wù)，該任務(wù)采用根據(jù)安排表，把握、控制各圖象處理功能的狀 況的集中控制形式時，管理的圖象處理功能的數(shù)量增加后，給圖象處理功 能附加優(yōu)先順序等，就成為更加困難的問題。本發(fā)明就是要提供解決該問 題的手段，其具體構(gòu)造，將通過揭示各個圖象處理功能怎樣進(jìn)行處理來講述。
作為圖象處理功能，以車線偏離報警功能A3為例，使用圖4，講述處 理的簡要流程。本實施方式中的車線偏離報警功能A3，使用以3幀間隔取 得的圖象數(shù)據(jù)執(zhí)行處理。首先，調(diào)出映像幀號N-3的圖象數(shù)據(jù)——"圖象1 "， 記錄到存儲介質(zhì)40中。然后，在實現(xiàn)車線偏離報警功能A3的處理任務(wù)中， 從結(jié)束記錄"圖象1"后，開始執(zhí)行實施車線識別及報警的"處理1"。在 本實施方式中，在"處理1"中，執(zhí)行讀入"圖象2"的處理。在該讀入處 理中，根據(jù)汽車的速度及車線的種別、周圍的狀況等，決定下一個成為必 要的圖象數(shù)據(jù)的映像幀號，進(jìn)行取得步驟。取得步驟，用下列圖象取得指 令進(jìn)行。
Capturelmage (圖象管理編號，映像幀號) (公式l) 在這里，所謂"圖象管理編號"，是為了從圖象處理功能一側(cè)參照取得 的映像幀的圖象數(shù)據(jù)的處理所必需的信息的編號，例如使用為了存取存放 圖象數(shù)據(jù)的排列的前頭指針及管理表而定義的編號。然后，根據(jù)該圖象取 得指令，指定下一個圖象處理所必需的映像幀編號，在"處理l"中，進(jìn)行 "圖象2"的數(shù)據(jù)取得步驟。在圖4中，進(jìn)行下一個處理的圖象數(shù)據(jù)的"圖 象2"，是映像幀編號N+1的圖象數(shù)據(jù)，所以執(zhí)行
Capturelmage (# "圖象2"， N+l) (公式2) 在這里，"井'圖象2，"，表示將取得的圖象數(shù)據(jù)作為"圖象2"后，為了 參照的管理表的編號。執(zhí)行該圖象取得指令后，車線偏離報警功能A3的任
務(wù)，作為"圖象2"，能夠取得映像幀編號N+1的圖象數(shù)據(jù)。關(guān)于這時的處
理，使用圖1、圖5、圖6加以講述。
映像取得單元100輸出的映像數(shù)據(jù)110，被輸入映像解碼器10，該映 像數(shù)據(jù)110，被分離成同步信號11和圖象數(shù)據(jù)12后，又被輸入映像輸入控 制器20。在映像輸入控制器20中，具備根據(jù)同步信號11產(chǎn)生垂直同步信 號插入23的垂直同步信號插入單元21，和選擇必要的圖象數(shù)據(jù)后傳輸給存 儲介質(zhì)40的圖象數(shù)據(jù)傳輸單元22。圖象處理使用的圖象數(shù)據(jù)，被圖象數(shù)據(jù) 傳輸單元22選擇，選擇的圖象數(shù)據(jù)24，通過信號線50做媒介，傳輸給存 儲介質(zhì)40后被記錄。另外，圖象數(shù)據(jù)傳輸單元22在結(jié)束傳輸必要的圖象 數(shù)據(jù)后，輸出讀入結(jié)束插入26。
在這里，圖象處理的起動被軟件控制。具體地說，在擁有垂直同步信 號插入單元21和圖象數(shù)據(jù)傳輸單元22的進(jìn)行映像讀入控制的寄存器中， 設(shè)定指令執(zhí)行圖象的讀入后，就執(zhí)行圖5所示的圖象取得指令的處理。
首先，根據(jù)圖象處理功能，為了取得圖象處理所必要的圖象，調(diào)出公 式1所示的圖象取得指令。如圖5 (a)所示，調(diào)出該圖象取得指令后，用 圖象讀入功能P5執(zhí)行圖象取得指令(SOl)。在圖象取得指令的內(nèi)部，要求 取得映像幀受理單元400將取得的圖象數(shù)據(jù)的映像幀編號，注冊到取得幀 信息D1的表中(S02)。關(guān)于在這里使用的表，將在后文使用圖7講述。將 取得的圖象數(shù)據(jù)的映像幀編號，記錄到取得幀信息D1的表中后，停止圖象 取得指令(S09)。然后，讀入注冊的圖象數(shù)據(jù)，直到按照后文講述的垂直
同步信號插入處理^生的通知W02進(jìn)行起床處理為止，成為等待圖象取得 Sll，再次成為執(zhí)行狀態(tài)后，返回調(diào)出圖象取得指令的圖象處理功能，繼續(xù) 進(jìn)行圖象處理。
由映像取得單元100輸入映像數(shù)據(jù)后，垂直同步信號插入單元21就定 期地發(fā)生垂直同步信號插入23。接收該垂直同步信號插入23后，執(zhí)行圖5 (b)所示的垂直同步信號插入處理。首先發(fā)生插入，進(jìn)入插入子程序后， 映像幀附加單元200給傳輸給存儲介質(zhì)40的圖象數(shù)據(jù)附加映像幀編號
(504) 。該編號，是圖3所示的映像幀編號，按照圖象數(shù)據(jù)的輸入，附加 一連串的編號。
在本實施方式中，開始執(zhí)行映像讀入所必要的圖象處理功能后，該映 像幀編號的附加，也在每個幀中進(jìn)行，在執(zhí)行圖象處理的整個期間，給輸 入的圖象數(shù)據(jù)附加固有的映像幀編號。接著，要求映像幀判別單元300對 給讀入的圖象數(shù)據(jù)附加的映像幀編號，和在步驟S02中記錄到取得幀信息 Dl的表中、迄今為止用圖象取得指令指定的取得簍求的某個幀號進(jìn)行對照
(505) 。根據(jù)該對照的判定(S06)的結(jié)果，給讀入的圖象數(shù)據(jù)附加的映像 幀編號，和發(fā)出取得要求的幀編號條件中的某一個一致時，由要求映像幀 讀入通知單元500向發(fā)出該取得要求的圖象處理功能的任務(wù)，發(fā)送通知W02
(S07)。該通知使用系統(tǒng)呼叫等，由將圖象處理功能的任務(wù)置于執(zhí)行狀態(tài) 的起床處理實現(xiàn)。另外，不成為取得要求的對象的幀號時，不執(zhí)行起床處 理S06地停止垂直同步信號插入處理，等待再次發(fā)生垂直同步信號插入。
圖6示出執(zhí)行圖象處理功能的任務(wù)的處理流程。在圖象處理功能中， 在任務(wù)起動后，進(jìn)行初始設(shè)定等，開始處理后，進(jìn)行執(zhí)行圖象取得指令的 S01,通常成為停止?fàn)顟B(tài)，直到在執(zhí)行該圖象取得指令時，取得要求的圖象 數(shù)據(jù)為止。獲得要求的圖象數(shù)據(jù)后，通過起床處理重新開始動作，反復(fù)進(jìn) 行圖象處理S10。執(zhí)行圖象取得指令后，如圖5 (a)的流程圖所示，成為 圖象取得插入等待Sll，直到輸入希望的映像幀編號的圖象數(shù)據(jù)為止。輸入 圖象處理使用的映像幀編號的數(shù)據(jù)后，執(zhí)行進(jìn)行起床處理的通知W02，圖
象處理功能的任務(wù)起床，執(zhí)行圖象處理Sll，再次執(zhí)行圖象取得指令(SOl)。 循環(huán)執(zhí)行這一連串的處理。
以上，講述了圖象處理功能為一個時的動作。下面，講述多個圖象處 理功能動作時的情況。關(guān)于用圖5 (a)、 (b)講述的圖象取得指令的處理及 垂直同步信號插入處理，需要由多個圖象處理功能非同步地處理。因此， 在本實施方式中，使其執(zhí)行圖16所示的實現(xiàn)圖象處理功能A1 A4的任務(wù) (以下稱作"圖象處理功能任務(wù)")和實現(xiàn)圖象讀入功能P5的任務(wù)(以下 稱作"圖象讀入任務(wù)")。圖象讀入任務(wù)，接收各圖象處理功能需要的圖象 數(shù)據(jù)的映像幀編號，將它存入數(shù)據(jù)庫，作為取得幀信息D1管理，讀入成為 對象的映像幀編號的圖象數(shù)據(jù)后，進(jìn)行使提出了取得要求的圖象處理功能 任務(wù)起床的處理。下面，講述這時的取得幀信息D1的有關(guān)處理流程和表的 內(nèi)容。
首先，詳細(xì)講述取得幀信息D1的表。在本實施方式中，假設(shè)各圖象處 理功能任務(wù)需要的圖象的質(zhì)量相同。就是說，將在所有的處理中，讀入的 映像的快門速度、增益、白色平衡等表現(xiàn)圖象的質(zhì)量的參數(shù)都相同，作為 前提。圖7表示取得幀信息D1的表的結(jié)構(gòu)。表T01成為排列，要素由表示 注冊到表中的信息的有效/無效的有效標(biāo)記、與注冊了取得要求幀編號的圖 象處理功能的任務(wù)對應(yīng)的ID以及用圖象取得指令設(shè)定的取得要求幀編號構(gòu) 成。設(shè)想這時在與任務(wù)對應(yīng)的ID中，例如經(jīng)過標(biāo)記處理后，給各比特分配 分配一個任務(wù)ID，就是說，各比特與一個任務(wù)對應(yīng)，該比特為1后，就意 味著對應(yīng)的任務(wù)起床。
在這里，使用圖8，講述將取得的映像幀編號注冊到該表TOl中的取得 要求幀編號注冊處理S02的處理流程。執(zhí)行圖象取得指令后，就檢索表TOl 中注冊了的取得要求幀編號，判定有要求的映像幀編號是不是已經(jīng)有來自 其它圖象處理功能的取得要求的編號(S31)。圖象取得指令要求的映像幀 編號，是己經(jīng)注冊的映像幀編號時，對于與任務(wù)對應(yīng)的ID，執(zhí)行使與執(zhí)行 圖象取得指令的任務(wù)的任務(wù)ID對應(yīng)的比特成為1的處理，讀入該映像幀編
號的圖象數(shù)據(jù)后，使該任務(wù)起床地設(shè)定(S32)。沒有注冊時，追加新的信 息，將新的有取得要求的映像幀編號注冊到取得要求幀編號的一欄中，在
與任務(wù)對應(yīng)的ID中，使與執(zhí)行圖象取得指令的任務(wù)的ID對應(yīng)的比特成為1 (S34)。這樣，具備與來自多個功能的取得要求對應(yīng)的結(jié)構(gòu)后，多個圖象 處理功能能夠單獨地將要求的映像幀編號注冊到取得幀信息ID的表中，能 夠根據(jù)垂直同步信號插入，單獨地進(jìn)行任務(wù)的起床處理。
在以上講述的實施方式中，以相同質(zhì)量的圖象、即由單一的照相機(jī)控 制參數(shù)取得圖象為前提，來講述多個圖象處理功能使用的映像?？墒牵?更攝象器件的快門速度、模擬 數(shù)字變換器的增益調(diào)整、視場角等的照相 機(jī)控制參數(shù)后，有時必須生成圖象處理功能要求的質(zhì)量的圖象。就是說，
取得處理的圖象時，除了有關(guān)圖象管理編號、映像幀編號的信息以外，指 定照相機(jī)控制必要的信息，也十分有效。這時的圖象處理裝置的結(jié)構(gòu)，可 以設(shè)想是圖1的映像取得單元100能夠變更圖象質(zhì)量的那種照相機(jī)等的攝 像器件。以下，講述該處理。
如圖9所示，在圖象處理中，為了提高識別率，在讀入圖象之前，往 往需要根據(jù)照相機(jī)的移動速度、周圍的明亮度及檢出對象物的光亮度，進(jìn) 行增益調(diào)整及快門速度的調(diào)整等曝光控制。進(jìn)行這種照相機(jī)控制時，為了 提出將以后拍攝的映像幀作為對象的圖象取得要求，而進(jìn)行考慮了攝影時 刻的照相機(jī)控制的任務(wù)管理，相當(dāng)復(fù)雜。例如想用某個確定的照相機(jī)控制 的參數(shù)，取得10幀后的圖象數(shù)據(jù)時，必須在第9幀執(zhí)行照相機(jī)控制的處理。 用別的任務(wù)進(jìn)行這種照相機(jī)控制的處理，用各圖象處理功能分擔(dān)進(jìn)行，相 當(dāng)復(fù)雜，難以編制程序。
因此，如果給圖象取得指令的自變量，添加照相機(jī)控制用的信息，能 夠進(jìn)行照相機(jī)控制，那么開發(fā)各圖象處理功能的編程員，只要執(zhí)行一個命 令，就能夠很容易地進(jìn)行必要的照相機(jī)控制。
Captnrelmage (圖象管理編號，映像幀編號式，快門速度，增益，視場 角) (公式4)
這時，給圖象取得指令，設(shè)定想取得的圖象的快門速度、模擬，數(shù)字 變換增益、決定映像的視場范圍的視場角，和取得的圖象數(shù)據(jù)的映像幀編 號一起指定。用圖5講述的垂直同步信號插入處理附加映像幀編號(S04)， 將該映像幀編號和取得幀信息對照時，將下一個映像幀攝影需要的照相機(jī) 控制參數(shù)，設(shè)定成攝像器件——映像取得單元100。圖9中的"曝光2"， 由于在讀入"圖象2"的時刻的1幀前執(zhí)行，所以是與該時刻吻合地設(shè)定照 相機(jī)控制參數(shù)的處理。這種動作也對輸入的映像連續(xù)附加固有的幀編號和 進(jìn)行管理，所以能夠事先知道攝影時刻。
在照相機(jī)控制中，除了快門速度、增益、視場角以外，還存在許多變
更讀入的圖象的質(zhì)量的參數(shù)，例如調(diào)整顏色的白色平衡、伽馬修正的系數(shù) 等。用一個命令管理這些參數(shù)，和必要的映像幀編號吻合地提出要求后， 能夠減輕程序開發(fā)的負(fù)荷
接著，各圖象處理功能設(shè)定各自要求的照相機(jī)控制參數(shù)，指定取得的 圖象數(shù)據(jù)的映像幀編號時，產(chǎn)生對于同一個映像幀編號的圖象數(shù)據(jù)，設(shè)定 多個照相機(jī)控制參數(shù)的問題。下面，講述這時的措施。
在圖7所示的取得幀信息中，由于使對于取得的圖象的照相機(jī)控制相 周，所以為了管理映像的共享，只要使要求方的任務(wù)和有取得要求的映像 幀編號對應(yīng)就行?？墒牵障鄼C(jī)控制不同時，就需要對照相機(jī)控制使用的 參數(shù)全部加以管理，判定多個圖象處理功能能不能共享讀入的圖象數(shù)據(jù)。 因此，在本實施例的變形的取得幀信息中的表T02中，如圖12所示，將快 門速度、增益、視場角等照相機(jī)控制參數(shù)與取得要求幀編號對應(yīng)管理。然 后，對于多個圖象處理功能能不能共享取得的圖象數(shù)據(jù)，規(guī)定在用表T02 管理的照相機(jī)控制參數(shù)相同時，能夠共享。能夠共享圖象數(shù)據(jù)時，注冊與 任務(wù)對應(yīng)的ID共享的圖象處理功能的任務(wù)ID，用已經(jīng)講述過的方法，將圖 象數(shù)據(jù)提供給任務(wù)。
接著，講述照相機(jī)的控制參數(shù)不同、不能夠共享的情況。攝像器件是
一個時，對于相同的映像幀，從物理的角度上說，是不能夠接收多個照相 機(jī)控制參數(shù)的設(shè)定要求的。這時，參照提出要求的圖象處理功能的任務(wù)優(yōu) 先順序等，決定優(yōu)先設(shè)定哪個參數(shù)。關(guān)于設(shè)定參數(shù)的優(yōu)先順序，操作系統(tǒng) 對此進(jìn)行著管理。可以采用參照要求方的任務(wù)優(yōu)先順序的方法，和各圖象 處理功能與操作系統(tǒng)不同地獨自決定優(yōu)先順序，管理該優(yōu)先順序，選擇設(shè) 定參數(shù)的方法。無論哪個方法，有來自優(yōu)先順序高的任務(wù)的要求時，就取 消以前的設(shè)定，根據(jù)新的來自優(yōu)先順序高的任務(wù)的要求進(jìn)行設(shè)定。下面， 使用圖13，講述該處理的流程。
這時的處理，和圖8所示的處理流程基本相同。執(zhí)行圖象讀入指令后， 首先對于指定的取得要求幀編號，確認(rèn)是否己經(jīng)有取得要求(S31)。已經(jīng) 有取得要求時，判定新的有取得要求的讀入和照相機(jī)控制參數(shù)能否共享化
(5310) 。能夠共享化時，向與共享圖象數(shù)據(jù)的現(xiàn)存的取得要求幀編號的任 務(wù)對應(yīng)的ID，追加任務(wù)編號(S32)，結(jié)束處理。不能夠共享化時，判斷哪 個要求的圖象讀入優(yōu)先，決定與取得要求幀編號對應(yīng)的照相機(jī)的控制參數(shù)
(5311) 。如上所述，可以按照操作系統(tǒng)管理的任務(wù)的優(yōu)先順序決定，或者 對讀入的圖象另行決定優(yōu)先順序。對于優(yōu)先順序低、被取消的圖象取得要 求，有如下3種對應(yīng)模式。
(1) 取消圖象取得要求，將要求被取消的情況，通知提出取得要求的 任務(wù)。為了再度提出取得要求，由圖象處理功能的任務(wù)執(zhí)行新的取得要求。
(2) 將被取消的取得要求幀之前的映像幀，重新作為取得要求幀指定。
(3) 將被取消的取得要求幀之后的映像幀，重新作為取得要求幀指定。
選擇這3個方法后執(zhí)行。采取對應(yīng)模式(2)、 (3)時。決定再度取得 要求幀編號(處理S312)，使處理返回S311，重新進(jìn)行決定的取得要求幀 編號的注冊處理。在該處理之后，系統(tǒng)決定讀入的圖象。在這里，在決定 映像讀入的優(yōu)先順序的方法中，不僅有用操作系統(tǒng)管理的優(yōu)先順序，而且 還有在沖突安全等需要采取緊急措施時，或者與自己的車的速度息息相關(guān)， 需要用圖象本身決定的間隔取得時等，按照周圍及汽車的狀況，個別決定 的方法。
關(guān)于任務(wù)采用的上述的模式及任務(wù)的優(yōu)先順序，參照圖2所示的任務(wù) 管理表，就可以一目了然。在任務(wù)管理表中，在執(zhí)行任務(wù)之前，按照要實 現(xiàn)的每個圖象處理功能，注冊與各圖象處理功能對應(yīng)的任務(wù)、注冊了的任 務(wù)的任務(wù)ID、上述圖象讀入被取消時的再取得動作模式、表示注冊了的任 務(wù)信息的有效/無效的標(biāo)記、任務(wù)的優(yōu)先順序以及有關(guān)任務(wù)執(zhí)行的圖象處理 所要求的圖象質(zhì)量及圖象讀入間隔的信息等信息。
在以上講述的實施方式中，如用圖4講述的那樣，講述了處理按照某 個規(guī)定的周期結(jié)束、沒有延遲的情況。可是，實際上，處理時間隨著取得 的圖象數(shù)據(jù)的內(nèi)容及圖象處理以外的處理而變動。處理時間短時，如果取
得要求幀編號沒有變化，就和用圖4講述的處理時刻同樣。例如如果分
析"處理1"用短時間結(jié)束、"圖象2"的讀入處理的時刻在N-2的幀發(fā)生 的狀態(tài)，那么"圖象2"的取得要求幀編號為N+1時，就等待讀入N+1幀， 所以"處理2"的處理開始時刻沒有變更。使用圖14、圖15，講述"處理 1"延遲時的處理。"處理1"延伸，不能夠執(zhí)行旨在取得"圖象2"的圖 象取得指令時，由于重新決定要取得的映像幀的映像幀編號，所以在圖象 處理功能的任務(wù)中，進(jìn)行如圖15的處理流程所示的那種取得幀編號更新處 理。在取得幀編號更新處理中，首先為了把握在什么時刻執(zhí)行圖象取得處 理，而取得現(xiàn)在的映像幀編號(S010)，根據(jù)該信息，進(jìn)行延遲處理，決定 進(jìn)行圖象取得要求的映像幀編號(SOll)。然后，對于決定的映像幀編號， 執(zhí)行圖象取得指令(SOl)。
在決定該映像幀編號時，考慮2個延遲處理。在延遲處理事例1中， 隨著處理的延遲，將圖象數(shù)據(jù)的取得要求幀編號由N+l變更成N+2。在該 事例中，單純使圖象讀入處理的時刻錯開，能夠防止處理出現(xiàn)故障。在延 遲處理事例2中，原封不動地執(zhí)行映像幀N+l的取得要求。因此，將取得 的過去的圖象數(shù)據(jù)，和圖象數(shù)據(jù)的映像幀編號一起記錄到存儲介質(zhì)40中后 就可以。在存儲介質(zhì)40中，確保能夠記錄k幀的圖象數(shù)據(jù)的存儲容量后， 到記錄了圖象數(shù)據(jù)的k幀之后為止，出現(xiàn)該映像幀的取得要求時，可以給
要求方的任務(wù)分發(fā)圖象數(shù)據(jù)。這樣，在采用延遲處理事例2的情況下，由 于在執(zhí)行圖象取得指令之前，已經(jīng)并列進(jìn)行圖象數(shù)據(jù)的取得，所以要求的 映像幀的讀入一結(jié)束，要求方任務(wù)就能夠取得要求的圖象數(shù)據(jù)，能夠開始 下一個圖象處理。
在本實施方式中，某個圖象處理功能的處理延遲時，能夠不參照其它 的處理，變更映像的取得時刻。另外，需要照相機(jī)控制的圖象處理功能時， 可以在執(zhí)行圖象取得指令之際，進(jìn)行用圖13講述的圖象數(shù)據(jù)共享的確認(rèn)處 理。在要求方任務(wù)的優(yōu)先順序低時，以及照相機(jī)控制趕不上等時，不能夠 共享圖象數(shù)據(jù)，還有可能影響到處理周期延長的圖象處理功能以外的任務(wù)。 可是，由于對于圖象處理功能優(yōu)先順序高的處理，優(yōu)先進(jìn)行處理，所以能 夠不引起故障地進(jìn)行處理。
在以上的實施方式中，講述了用一個攝象器件的情況。但是即使存在 多個攝象器件時，也能夠用同樣的方法指定要取得的圖象的幀編號。就是 說，在要求取得圖象之際，可以通過選擇攝象器件來指定
使用本發(fā)后，在容易組合多個圖象處理功能的同時，還容易追加、 刪除各個圖象處理功能。另外，關(guān)于映像的插入處理的任務(wù)及安排處理， 通常需要在整個系統(tǒng)中進(jìn)行編輯及鏈接處理。這時，在實際上己經(jīng)被汽車 搭載的狀態(tài)下，不能夠只從網(wǎng)絡(luò)下載一部分圖象處理功能后裝入，或者在 維修保養(yǎng)作業(yè)中進(jìn)行修改。可是，采用本發(fā)明后，由于能夠和各圖象處理 功能獨立地控制插入處理及任務(wù)的安排管理，所以作為任務(wù)的執(zhí)行形態(tài)， 能夠用獨立的形式構(gòu)成，能夠從網(wǎng)絡(luò)下載任務(wù)，或者按照個別的任務(wù)進(jìn)行 修改。
上述情況時，可以成為具有圖IO所示的那種用戶接口的圖象處理裝置。 該用戶接口，能夠自由選擇駕駛員希望的功能。該用戶接口的管理，由圖 16所示的用戶接口功能P3執(zhí)行。用戶接口功能P3，根據(jù)圖2的任務(wù)管理 表的信息，進(jìn)行圖IO所示的圖象處理功能的選擇畫面的顯示處理。在該畫
18
面中，駕駛員指定某個圖象處理功能時，該信息被發(fā)送給用戶接口功能P3。 用戶接口功能P3將選擇的圖象處理功能的信息發(fā)送給圖象處理任務(wù)管理功
能P2。在圖象處理任務(wù)管理功能P2中，起動有起動要求的圖象處理任務(wù)(例 如車線偏離報警)，在執(zhí)行處理的同時，還將任務(wù)管理表的有效標(biāo)記改寫成
"ON"。
這時，起動的圖象處理任務(wù)，能夠和以前動作的其它的圖象處理任務(wù) 獨立地執(zhí)行。這樣，采用本發(fā)明后，由于能夠簡易地變更圖象處理功能的 組合，所以能夠進(jìn)行自由的選擇。另外，由于各圖象處理功能獨立動作， 所以如果定義圖象取得處理的接口，就能夠?qū)?zhí)行模塊作為別的文件，能 夠與動態(tài)載荷對應(yīng)。就是說，可以在別的執(zhí)行文件上實現(xiàn)用圖5、圖6、圖 16講述的處理及任務(wù)結(jié)構(gòu)，能夠?qū)D象處理功能A1 A4作為別的文件。 這樣的處理，在信息控制的程序中，存在著為了劃分執(zhí)行文件的各種安裝 方法。
采用本發(fā)明后，由于各功能的程序不受功能增減的影響，所以不需要 進(jìn)行編輯，能夠?qū)⒏鞴δ芊指畛蓡蝹€的執(zhí)行文件。將功能分割成單個的執(zhí) 行文件后，如圖11所示，可以通過通信單元31做媒介，向網(wǎng)絡(luò)存取圖象 處理功能安裝的文件，下載希望的功能后，注冊到圖2的任務(wù)管理表中， 能夠追加本車的圖象處理功能。就是說，釆用本發(fā)明后，如圖10所示，可 以只執(zhí)行一部分圖象處理，用戶能夠自由選擇執(zhí)行的應(yīng)用程序。另外，由 于能夠互不干涉地控制各圖象處理功能，所以能夠經(jīng)由網(wǎng)絡(luò)下載新的圖象 處理功能，或者刪除已有的應(yīng)用程序。
權(quán)利要求
1、一種圖象處理裝置，執(zhí)行進(jìn)行圖象處理的任務(wù)，其特征在于，具備要求映像幀取得受理單元，該單元受理來自所述任務(wù)的圖象數(shù)據(jù)的要求；映像幀附加單元，該單元將識別編號附加到由映像取得單元取得的圖象數(shù)據(jù)上；要求映像幀判別單元，該單元判斷附加了幀編號的圖象數(shù)據(jù)是不是所述任務(wù)要求的圖象數(shù)據(jù)；以及要求映像幀取得通知單元，該單元在附加了所述幀編號的圖象數(shù)據(jù)是所述任務(wù)要求的圖象數(shù)據(jù)時，通知取得了該任務(wù)要求的圖象數(shù)據(jù)的情況，來自所述任務(wù)的圖象數(shù)據(jù)的要求，作為確定圖象數(shù)據(jù)的信息，包含指定圖象數(shù)據(jù)的識別編號或確定該識別編號的數(shù)學(xué)公式的信息。
2、 如權(quán)利要求1所述的圖象處理裝置，其特征在于要求映像幀取 得受理單元從所述任務(wù)受理的圖象數(shù)據(jù)的要求，在包含確定所述圖象數(shù)據(jù) 的信息的同時，還包含照相機(jī)控制參數(shù)，所述照相機(jī)控制參數(shù)是用于控制 取得所述要求的圖象數(shù)據(jù)的所述映像取得單元的。
3、 如權(quán)利要求2所述的圖象處理裝置，其特征在于所述照相機(jī)控 制參數(shù)，是決定讀入的圖象的質(zhì)量的參數(shù)，至少包含快門速度、模擬*數(shù) 字變換增益、視場角中的某一個。
4、 如權(quán)利要求1所述的圖象處理裝置，其特征在于還具備存儲裝 置，該存儲裝置將確定所述任務(wù)要求的圖象數(shù)據(jù)的信息與該任務(wù)的識別信 息關(guān)聯(lián)管理；當(dāng)確定所述要求的圖象數(shù)據(jù)的信息，與由所述映像幀附加單元附加的 圖象數(shù)據(jù)的識別編號一致時，發(fā)送與由所述存儲裝置管理的任務(wù)的識別信 息對應(yīng)的任務(wù)插入信號，進(jìn)行圖象處理的任務(wù)安排。
5、 如權(quán)利要求3所述的圖象處理裝置，其特征在于還具備存儲裝 置，該存儲裝置將確定所述任務(wù)要求的圖象數(shù)據(jù)的信息、所述照相機(jī)控制 參數(shù)和圖象處理的任務(wù)的識別信息對應(yīng)存儲；對于被任務(wù)要求的圖象數(shù)據(jù)，根據(jù)所述存儲裝置的照相機(jī)控制參數(shù)， 判斷能否共享其它的任務(wù)要求的圖象數(shù)據(jù)。
全文摘要
圖象處理裝置，由下列單元構(gòu)成映像取得單元；映像幀附加單元，該映像幀附加單元給取得的映像附加幀號；要求映像幀判別單元，該要求映像幀判別單元判斷是不是圖象處理功能使用的幀；要求映像幀取得通知單元，該要求映像幀取得通知單元在取得的映像幀是圖象處理功能使用的幀時，將映像取得通知相應(yīng)的圖象處理任務(wù)；要求映像幀取得受理單元，該要求映像幀取得受理單元受理為了實現(xiàn)圖象處理功能而必要的處理任務(wù)，和為了實現(xiàn)圖象處理功能而必要的映像幀的取得。實現(xiàn)在通過任務(wù)實現(xiàn)多個圖象處理功能動作之際，變更隨著任務(wù)的執(zhí)行狀況的變化而變化的各任務(wù)的處理周期時，容易追加、刪除新的功能的任務(wù)的管理。
文檔編號G06T7/20GK101110932SQ20071013692
公開日2008年1月23日 申請日期2007年7月23日 優(yōu)先權(quán)日2006年7月21日
發(fā)明者中三川哲明, 入江耕太, 大塚裕史, 志磨健, 村松彰二, 樋口未來, 門司龍彥 申請人:株式會社日立制作所