本發(fā)明涉及車輛駕駛輔助裝置及車輛駕駛輔助裝置的動作方法(Driver assistance apparatus and method of thereof)，更詳細(xì)而言，涉及對立體影像的各幀基于多個動作中的各動作的執(zhí)行時間來執(zhí)行對多個動作的調(diào)度的車輛駕駛輔助裝置及車輛駕駛輔助裝置的動作方法。

背景技術(shù)：

車輛是向搭乘的用戶所需的方向移動的裝置。代表性的例子有汽車。

另外，為了使利用車輛的用戶方便使用，車輛具備各種傳感器和電子設(shè)備等是一種趨勢。尤其，正在開發(fā)出用于用戶的駕駛方便的各種各樣的裝置等。

最近隨著對自主車輛的關(guān)注增加，正在活躍地進(jìn)行著針對搭載在自主車輛上的傳感器的研究。作為搭載在自主車輛上的傳感器有攝像頭、紅外線傳感器、雷達(dá)、GPS、激光雷達(dá)(Lidar)、陀螺儀等，其中攝像頭是起到代替人眼的作用的傳感器而占據(jù)重要的位置。

另外，對從攝像頭獲取的影像進(jìn)行處理的處理器對各幀執(zhí)行多個動作。一般而言，處理器針對各幀根據(jù)已經(jīng)分別對多個動作進(jìn)行分配的時間來執(zhí)行動作。如果，在一個幀中根據(jù)所分配的時間執(zhí)行多個動作的過程中，輸入下一個幀的情況下，存在在前面的幀中未完全執(zhí)行的動作要中止并且要執(zhí)行下一個幀中的多個動作的問題。在此情況下，有可能存在處理器中所執(zhí)行的動作的結(jié)果產(chǎn)生錯誤的問題。并且，存在無法有效地使處理器運(yùn)行的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于，提供一種針對立體影像的各幀基于多個動作中的各動作的執(zhí)行時間來執(zhí)行對多個動作的調(diào)度的車輛駕駛輔助裝置及車輛駕駛輔助裝置的動作方法。

用于達(dá)到上述目的的根據(jù)本發(fā)明的實(shí)施例的車輛駕駛輔助裝置，在基于 由立體攝像頭模塊獲取的立體影像的第一幀執(zhí)行多個動作之后，基于上述立體影像的第二幀執(zhí)行多個動作，上述車輛駕駛輔助裝置具有調(diào)度部，上述調(diào)度部從上述立體攝像頭模塊接收上述第一幀，并在上述第一幀中執(zhí)行對上述多個動作的第一調(diào)度，測定根據(jù)上述第一調(diào)度的上述多個動作中的各動作的執(zhí)行時間，從上述立體攝像頭模塊接收上述第二幀，并在上述第二幀中基于測定出的上述各動作的執(zhí)行時間，執(zhí)行對上述多個動作的第二調(diào)度。

用于達(dá)到上述目的的根據(jù)本發(fā)明的實(shí)施例的車輛駕駛輔助裝置的動作方法，在基于由立體攝像頭模塊獲取的立體影像的第一幀執(zhí)行多個動作之后，基于上述立體影像的第二幀執(zhí)行多個動作，上述車輛駕駛輔助裝置的動作方法包括：從上述立體攝像頭模塊接收上述第一幀，并在上述第一幀中執(zhí)行對上述多個動作的第一調(diào)度(scheduling)的步驟；測定根據(jù)上述第一調(diào)度的上述多個動作中的各動作的執(zhí)行時間的步驟；以及從上述立體攝像頭模塊接收上述第二幀，并在上述第二幀中基于測定出的上述各動作的執(zhí)行時間，執(zhí)行對上述多個動作的第二調(diào)度的步驟。

上述車輛駕駛輔助裝置的動作方法還包括：測定根據(jù)第二調(diào)度執(zhí)行的上述多個動作中的各動作的執(zhí)行時間的步驟；以及從上述立體攝像頭模塊接收上述第三幀，并在上述第三幀中基于測定出的上述第二調(diào)度執(zhí)行的上述多個動作中的各動作的執(zhí)行時間，執(zhí)行對上述多個動作的第三調(diào)度，測定上述多個動作中的各動作的執(zhí)行時間的步驟。

上述車輛駕駛輔助裝置的動作方法還包括反復(fù)執(zhí)行如下過程的步驟，上述過程是：從上述立體攝像頭模塊接收上述第四幀，并在上述第四幀中基于與其之前的調(diào)度對應(yīng)的測定出的各動作的執(zhí)行時間，執(zhí)行對上述多個動作的第四調(diào)度，測定上述多個動作中的各動作的執(zhí)行時間。

上述車輛駕駛輔助裝置的動作方法還包括：在執(zhí)行第一調(diào)度之后的調(diào)度時，基于測定出的上述各動作的執(zhí)行時間，預(yù)測針對下一個幀的上述多個動作中的各動作的執(zhí)行時間的步驟；以及設(shè)定上述多個動作中的各動作的執(zhí)行順序的步驟。

上述車輛駕駛輔助裝置的動作方法還包括以下步驟：在執(zhí)行第一調(diào)度之后的調(diào)度時，對預(yù)測出的上述多個動作中的各動作的執(zhí)行時間進(jìn)行相加，在相加后的執(zhí)行預(yù)測時間在臨界值以上的情況下，排除上述多個動作中的一個 動作。

上述車輛駕駛輔助裝置的動作方法還包括：在執(zhí)行第一調(diào)度之后的調(diào)度時，對預(yù)測出的上述多個動作中的各動作的執(zhí)行時間進(jìn)行相加，在上述相加后的預(yù)測時間在臨界值以上的情況下，判斷上述多個動作中是否存在能夠排除執(zhí)行的動作的步驟；以及在由上述判斷部判斷為沒有能夠排除執(zhí)行的動作的情況下，上述執(zhí)行時間預(yù)測部對上述多個動作中的至少一個動作的執(zhí)行預(yù)測時間進(jìn)行調(diào)整的步驟。

在上述車輛駕駛輔助裝置的動作方法中，上述執(zhí)行順序被設(shè)定為，按照預(yù)測出的上述多個動作中的各動作的執(zhí)行時間較短的順序配置于優(yōu)先順序。

在上述車輛駕駛輔助裝置的動作方法中，上述執(zhí)行順序反映上述車輛的行駛環(huán)境或外部環(huán)境而設(shè)定。

在上述車輛駕駛輔助裝置的動作方法中，上述執(zhí)行順序按照已設(shè)定的默認(rèn)順序而設(shè)定。

在上述車輛駕駛輔助裝置的動作方法中，被排除的上述動作被設(shè)定為，在從上述立體攝像頭模塊接收下一個幀，并針對該下一個幀中執(zhí)行對上述多個動作的調(diào)度的情況下，由上述執(zhí)行順序設(shè)定部配置于優(yōu)先順序。

在上述車輛駕駛輔助裝置的動作方法中，被排除的上述動作是第一動作，在從上述立體攝像頭模塊接收下一個幀，并針對該下一個幀中執(zhí)行對上述多個動作的調(diào)度時，在上述多個動作中排除上述第一動作的任一個動作的測定出的執(zhí)行時間在基準(zhǔn)值以上的情況下，上述執(zhí)行順序設(shè)定部將上述基準(zhǔn)值以上的動作設(shè)定為比上述第一動作配置于優(yōu)先順序。

在上述的車輛駕駛輔助裝置的動作方法中，在執(zhí)行上述第一調(diào)度之后的調(diào)度時，在上述多個動作中的第一動作為上述車輛安全運(yùn)行相關(guān)動作的情況下，將上述第一動作設(shè)定為最優(yōu)先順序。

在上述車輛駕駛輔助裝置的動作方法中，上述第一動作被設(shè)定為，在從上述立體攝像頭模塊接收下一個幀，并針對該下一個幀中執(zhí)行對上述多個動作的調(diào)度的情況下，由上述執(zhí)行順序設(shè)定部配置于最優(yōu)先順序。

在上述車輛駕駛輔助裝置的動作方法中，在預(yù)測上述多個動作中的第一動作的執(zhí)行時間時，在基準(zhǔn)時間以上的范圍內(nèi)進(jìn)行預(yù)測，上述第一動作是上述多個動作中必須要執(zhí)行的動作，或者是在未執(zhí)行基準(zhǔn)時間以上的情況下執(zhí) 行動作的結(jié)果明顯降低的動作。

上述車輛駕駛輔助裝置的動作方法還包括：在執(zhí)行第一調(diào)度之后的調(diào)度時，基于測定出的上述各動作的執(zhí)行時間，預(yù)測針對下一個幀的上述多個動作中的各動作的執(zhí)行時間的步驟；基于預(yù)測出的上述各動作的執(zhí)行時間，對在執(zhí)行根據(jù)各調(diào)度的多個動作的第一動作執(zhí)行部及第二動作執(zhí)行部中執(zhí)行的動作進(jìn)行分配的步驟；以及設(shè)定被分配給上述第一動作執(zhí)行部及上述第二動作執(zhí)行部的動作中的各動作的執(zhí)行順序的步驟。

在上述車輛駕駛輔助裝置的動作方法中，基于預(yù)測出的上述各動作的執(zhí)行時間，以在上述第一動作執(zhí)行部中執(zhí)行的動作及在上述第二動作執(zhí)行部中執(zhí)行的動作形成平衡的方式進(jìn)行分配。

在上述車輛駕駛輔助裝置的動作方法中，在對上述第一動作執(zhí)行部分配上述多個動作中的第一動作及第二動作，并對上述第二動作執(zhí)行部分配上述多個動作中的第三動作的情況下，測定上述第一及第二各動作的執(zhí)行時間并進(jìn)行相加，判斷相加后的預(yù)測執(zhí)行時間是否在臨界值以上，在上述相加后的預(yù)測執(zhí)行時間在臨界值以上的情況下，上述第二動作執(zhí)行部還執(zhí)行上述第一動作及第二動作中的一個動作。

上述車輛駕駛輔助裝置的動作方法還包括在執(zhí)行第一調(diào)度之后的調(diào)度之前執(zhí)行2D及3D基礎(chǔ)的前處理的步驟，對上述第一動作執(zhí)行部分配多個動作中基于上述2D基礎(chǔ)的前處理而執(zhí)行的第一動作及第二動作，對上述第二動作執(zhí)行部分配多個動作中基于上述3D基礎(chǔ)的前處理而執(zhí)行的第三動作，還包括測定上述第一及第二各動作的執(zhí)行時間并進(jìn)行相加、并且判斷相加后的預(yù)測執(zhí)行時間是否在臨界值以上的步驟，在上述相加后的預(yù)測執(zhí)行時間在臨界值以上的情況下，上述第二動作執(zhí)行部基于上述3D基礎(chǔ)的前處理而執(zhí)行上述第一動作及第二動作中任一個動作及上述第三動作。

上述車輛駕駛輔助裝置的動作方法還包括：按照各調(diào)度而執(zhí)行上述多個動作的步驟；以及測定根據(jù)上述各調(diào)度的上述多個動作中的各動作的執(zhí)行時間的步驟。

上述車輛駕駛輔助裝置的動作方法還包括如下步驟：基于測定出的上述根據(jù)作為當(dāng)前調(diào)度的第一次調(diào)度的上述多個動作中的各動作的執(zhí)行時間、和測定出的上述根據(jù)作為第一次調(diào)度之后的調(diào)度的第二次調(diào)度的上述多個動 作中的各動作的執(zhí)行時間，計(jì)算出上述多個動作中的各動作的執(zhí)行時間變化量。

上述車輛駕駛輔助裝置的動作方法還包括如下步驟：在從上述立體攝像頭模塊接收對應(yīng)的幀，并在該幀中執(zhí)行針對上述多個動作的作為第二次調(diào)度之后的調(diào)度的第三次調(diào)度的情況下，反映上述各動作的執(zhí)行時間變化量。

上述車輛駕駛輔助裝置的動作方法還包括將基于根據(jù)各調(diào)度的多個動作中的各動作執(zhí)行的畫面輸出到顯示器的步驟。

上述車輛駕駛輔助裝置的動作方法還包括將測定出的上述上述多個動作中的各動作的執(zhí)行時間存儲唉存儲器中的步驟。

如上所述構(gòu)成的本發(fā)明的至少一個實(shí)施例的效果如下。

第一，在包括立體攝像頭的車輛駕駛輔助裝置中，測定已經(jīng)執(zhí)行的各動作的執(zhí)行時間，并基于測定出的各動作的執(zhí)行時間而執(zhí)行多個動作的調(diào)度，因此具有能有效地使用處理器的效果。

第二，通過有效地使用處理器，具有處理器負(fù)載減小的效果。

第三，具有能更穩(wěn)定地處理立體影像的效果。

第四，具有能夠?qū)τ脩籼峁└鶕?jù)立體影像的穩(wěn)定處理的信息的效果。

本發(fā)明的效果不限于以上提及的效果，本領(lǐng)域技術(shù)人員應(yīng)該能夠根據(jù)權(quán)利要求書的記載而清楚地理解未提及的其他效果。

附圖說明

圖1是示出了根據(jù)本發(fā)明的一個實(shí)施例的具備立體攝像頭的車輛的外觀的圖。

圖2是示出了附著于圖1的車輛上的立體攝像頭的外觀的圖。

圖3A至圖3B示出了根據(jù)本發(fā)明的一個實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的各種各樣的例子。

圖4A至圖4B示出了圖3A至圖3B的處理器的內(nèi)部框圖的各種各樣的例子。

圖5A至圖5B是在圖4A至圖4B的處理器的動作說明中所參照的圖。

圖6A至圖6B是在圖3A至圖3B的車輛駕駛輔助裝置的動作說明中所參照的圖。

圖7是圖1的車輛內(nèi)部的電子控制裝置的內(nèi)部框圖的一個例子。

圖8A至圖8B是根據(jù)本發(fā)明的實(shí)施例的在說明車輛駕駛輔助裝置的動作時所參照的流程圖。

圖9是根據(jù)本發(fā)明的實(shí)施例對車輛駕駛輔助裝置進(jìn)行說明時所參照的處理器的內(nèi)部框圖。

圖10舉例示出了根據(jù)本發(fā)明的實(shí)施例車輛駕駛輔助裝置具備多個處理器的情況。

圖11A至圖11B是在說明根據(jù)本發(fā)明的實(shí)施例的車輛駕駛輔助裝置的動作時所參照的處理器的內(nèi)部框圖。

圖12是根據(jù)本發(fā)明的實(shí)施例而在相同的狀況下對第一動作及第二動作的執(zhí)行時間進(jìn)行比較時所參照的圖。

圖13A至圖17是根據(jù)本發(fā)明的實(shí)施例而在不同的狀況下執(zhí)行第一動作及第二動作的情況下、對執(zhí)行時間進(jìn)行比較時所參照的圖。

附圖標(biāo)記說明

100:車輛駕駛輔助裝置

140:第一存儲器

141:DB

195:立體攝像頭

170:處理器

180:顯示器

410:前處理部

910:調(diào)度部

930:動作執(zhí)行部

950:執(zhí)行時間預(yù)測部

具體實(shí)施方式

以下，參照附圖對本說明書所公開的實(shí)施例進(jìn)行詳細(xì)說明，與附圖編號無關(guān)而相同或類似的結(jié)構(gòu)要素被賦予相同的附圖標(biāo)記，并省略對此的重復(fù)說明。以下說明中所使用的針對結(jié)構(gòu)要素的結(jié)尾詞“"模塊”及“部”是考慮到容易制作說明書而賦予或混用，其自身并不具有相互區(qū)別的意思或作用。并 且，當(dāng)說明本說明書中公開的實(shí)施例時，在判斷為對相關(guān)的公知技術(shù)的具體說明會影響本說明書中公開的實(shí)施例的要點(diǎn)的情況下，省略其詳細(xì)的說明。并且，附圖只是為了供人們?nèi)菀桌斫獗菊f明書中公開的實(shí)施例，附圖并不限制本說明書中公開的技術(shù)思想，應(yīng)理解為包括本發(fā)明的思想及技術(shù)范圍內(nèi)所包含的所有變更、等同物以及替代物。

第一、第二等包括序數(shù)的技術(shù)用語能夠用于說明各種各樣的結(jié)構(gòu)要素，但上述結(jié)構(gòu)要素不受上述技術(shù)用語的限制。上述技術(shù)用語僅用作將一個結(jié)構(gòu)要素區(qū)別于另一個結(jié)構(gòu)要素的目的。

當(dāng)提及了某個結(jié)構(gòu)要素與另一個結(jié)構(gòu)要素“連結(jié)”或“連接”時，應(yīng)該理解成雖然能夠與該另一個結(jié)構(gòu)要素直接連結(jié)或連接，但也可以在中間存在其他結(jié)構(gòu)要素。相反，當(dāng)提及了某個結(jié)構(gòu)要素與另一個結(jié)構(gòu)要素“直接連結(jié)”或“直接連接”時，應(yīng)理解成在中間不存在其他結(jié)構(gòu)要素。

只要在上下文中沒有明確指出不同的意思，則單數(shù)的表達(dá)包括多個的表達(dá)。

在本申請中，應(yīng)理解成“包括”或“具有”等技術(shù)用語用于指定說明書中記載的特征、數(shù)字、步驟、動作、結(jié)構(gòu)要素、部件或者它們的組合的存在，并不是預(yù)先排除一個或其以上的其他特征或數(shù)字、步驟、動作、結(jié)構(gòu)要素、部件或它們的組合的存在或附加可能性。

以下參照附圖對本發(fā)明進(jìn)行更詳細(xì)的說明。

本說明書中記載的車輛可以是包括汽車、摩托車的概念。以下，關(guān)于車輛主要說明汽車。

另外，本說明書中記載的車輛可以是包括具備發(fā)動機(jī)的車輛、具備發(fā)動機(jī)和電動馬達(dá)的混合動力車輛、具備電動馬達(dá)的電動車輛等的概念。以下，主要說明具備發(fā)動機(jī)的車輛。

另外，本說明書中記載的車輛駕駛輔助裝置可以稱為前置車輛駕駛輔助系統(tǒng)(Advanced Driver Assistance Systems，ADAS)或者前置車輛駕駛輔助裝置(Advanced Driver Assistance Apparatus，ADAA)。以下對根據(jù)本發(fā)明的各種各樣的實(shí)施例的車輛的車輛駕駛輔助裝置及具備該車輛駕駛輔助裝置的車輛進(jìn)行說明。

圖1是示出了根據(jù)本發(fā)明的一個實(shí)施例的具備立體攝像頭的車輛的外觀 的圖。

參照附圖，車輛200可以具備：通過動力源進(jìn)行旋轉(zhuǎn)的車輪103FR、103FL、103RL、..、用于調(diào)節(jié)車輛200的行進(jìn)方向的方向盤150、以及設(shè)置于車輛200內(nèi)部的立體攝像頭195。

立體攝像頭195可以具備多個攝像頭，由多個攝像頭獲取的立體影像可以在車輛駕駛輔助裝置(圖3的100)內(nèi)進(jìn)行信號處理。

另外，附圖中示出了立體攝像頭195具備兩個攝像頭的例子。

圖2是示出了附著于圖1的車輛上的立體攝像頭的外觀的圖。

參照附圖，立體攝像頭模塊195可以具有具備第一鏡頭193a的第一攝像頭195a、具備第二鏡頭193b的第二攝像頭195b。

另外，立體攝像頭模塊195可以具備分別用于遮蔽入射到第一鏡頭193a和第二鏡頭193b的光的第一遮光部(light shield)192a和第二遮光部192b。

附圖的立體攝像頭模塊195可以是能夠?qū)囕v200的頂棚或前表面玻璃進(jìn)行裝卸的結(jié)構(gòu)。

具備這種立體攝像頭模塊195的車輛駕駛輔助裝置(圖3的100)從立體攝像頭模塊195獲取針對車輛前方的立體影像，并基于立體影像來執(zhí)行差異(disparity)檢測，基于差異信息來執(zhí)行針對至少一個立體影像的目標(biāo)檢測，在目標(biāo)檢測之后，繼續(xù)跟蹤目標(biāo)的移動。

圖3A至圖3B示出了根據(jù)本發(fā)明的一個實(shí)施例的車輛駕駛輔助裝置的內(nèi)部框圖的各種各樣的例子。

圖3A至圖3B的車輛駕駛輔助裝置100可以根據(jù)計(jì)算機(jī)視覺(computer vision)基礎(chǔ)對從立體攝像頭195接收的立體影像進(jìn)行信號處理，從而生成車輛相關(guān)信息。在此，車輛相關(guān)信息可以包括用于直接對車輛進(jìn)行控制的車輛控制信息或者用于對車輛駕駛員進(jìn)行駕駛引導(dǎo)的車輛駕駛輔助信息。

首先，參照圖3A，圖3A的車輛駕駛輔助裝置100可以包括通信部120、接口部130、第一存儲器140、處理器170、電源供給部190以及立體攝像頭195。

通信部120能夠與移動終端600或服務(wù)器500以無線(wireless)方式交換數(shù)據(jù)。尤其，通信部120能夠與車輛駕駛員的移動終端以無線方式交換數(shù)據(jù)。作為無線數(shù)據(jù)通信方式，能夠使用藍(lán)牙(Bluetooth)、WiFi Direct、WiFi、 APiX等各種各樣的數(shù)據(jù)通信方式。

通信部120能夠從移動終端600或服務(wù)器500接收天氣信息、道路的交通狀況信息、例如TPEG(Transport Protocol Expert Group)信息。另外，在車輛駕駛輔助裝置100中，還能夠?qū)⒒诹Ⅲw影像而掌握的實(shí)時交通信息發(fā)送給移動終端600或服務(wù)器500。

另外，在用戶搭乘在車輛中的情況下，用戶的移動終端600和車輛駕駛輔助裝置100能夠自動地或者通過用戶的應(yīng)用程序的執(zhí)行而相互執(zhí)行配對(pairing)。

接口部130能夠接收車輛相關(guān)數(shù)據(jù)，或者將在處理器170中進(jìn)程處理或生成的信號發(fā)送至外部。為此，接口部130能夠通過有線通信或無線通信方式，與車輛內(nèi)部的控制部770、AVN(Audio Video Navigation：音視頻導(dǎo)航)裝置400、傳感器部760等執(zhí)行數(shù)據(jù)通信。

接口部130能夠通過與AVN裝置400的數(shù)據(jù)通信而接收與車輛行駛相關(guān)的地圖(map)信息。例如，AVN裝置400包括導(dǎo)航儀，接口部130從上述導(dǎo)航儀接收針對地圖(map)及地圖上的車輛的位置的信息，并傳遞給處理器170。

另外，接口部130能夠從控制部770或傳感器部760接收傳感器信息。

在此，傳感器信息可以包括車輛的滑移程度、車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜度信息、車輛前進(jìn)/后退信息、電池信息、燃料信息、輪胎信息、車輛燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息中的至少一種。

這種傳感器信息能夠從車輪速度傳感器、航向傳感器(heading sensor)、偏擺傳感器(yaw sensor)、陀螺傳感器(gyro sensor)、位置模塊(position module)、車輛前進(jìn)/后退傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、車身傾斜檢測傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤旋轉(zhuǎn)的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器等中獲取。另外，位置模塊可以包括用于接收GPS信息的GPS模塊。

另外，將傳感器信息中與車輛行駛相關(guān)的車輛方向信息、車輛位置信息、車輛角度信息、車輛速度信息、車輛斜度信息等命名為車輛行駛信息。

第一存儲器140能夠存儲用于處理器170的處理或控制的程序等、用于 車輛駕駛輔助裝置100總體的動作的各種各樣的數(shù)據(jù)。

第一存儲器140與處理器170電連接，能夠存儲針對單元的基本數(shù)據(jù)、用于單元的動作控制的控制數(shù)據(jù)、進(jìn)行輸入輸出的數(shù)據(jù)。第一存儲器140可以是ROM、RAM、EPROM、閃存器、硬盤等之類的各種各樣的存儲設(shè)備。

另外，第一存儲器140能夠存儲測定出的多個動作中的各動作的執(zhí)行時間。具體而言，第一存儲器140所具備的DB141能夠存儲在執(zhí)行時間測定部950中測定的多個動作中的各動作的執(zhí)行時間。例如，DB141能夠以幀為單位存儲第一至第三各動作的執(zhí)行時間。

音頻輸入部(未圖示)能夠被輸入用戶聲音。為此，可以具備麥克風(fēng)。所接收的聲音能夠轉(zhuǎn)換成電信號，并傳遞給處理器170。

處理器170對車輛駕駛輔助裝置100內(nèi)的各單元的總體動作進(jìn)行控制。

尤其，處理器170能夠執(zhí)行計(jì)算機(jī)視覺(computer vision)基礎(chǔ)的信號處理。隨之，處理器170從立體攝像頭195獲取針對車輛前方的立體影像，并基于立體影像，執(zhí)行針對車輛前方的差異運(yùn)算，基于運(yùn)算出的差異信息，執(zhí)行針對立體影像中至少一個的目標(biāo)檢測，在目標(biāo)檢測之后，繼續(xù)跟蹤目標(biāo)的移動。

尤其，處理器170在目標(biāo)檢測時能夠執(zhí)行行車線檢測(Lane Detection，LD)、周邊車輛檢測(Vehicle Detection，VD)、行人檢測(Pedestrian Detection，PD)、燈光檢測(Brightspot Detection，BD)、交通標(biāo)志牌檢測(Traffic Sign Recognition，TSR)、道路表面檢測等。

而且，處理器170能夠執(zhí)行相對于檢測出的周邊車輛的距離運(yùn)算、檢測出的周邊車輛的速度運(yùn)算、與檢測出的周邊車輛之間的速度差異運(yùn)算等。

另外，處理器170能夠基于立體影像而生成行駛中的道路的路面信息。例如，處理器170能夠基于立體影像內(nèi)的亮度數(shù)據(jù)的差異，區(qū)分為干燥(dry)狀態(tài)、潮濕(wet)狀態(tài)、積雪(snow)狀態(tài)、結(jié)冰(ice)狀態(tài)。具體而言，積雪狀態(tài)的亮度最高，干燥(dry)狀態(tài)、結(jié)冰狀態(tài)、潮濕狀態(tài)依次其亮度降低，通過對亮度進(jìn)行區(qū)分，能夠分別區(qū)分為干燥(dry)狀態(tài)、潮濕(wet)狀態(tài)、積雪(snow)狀態(tài)、結(jié)冰(ice)狀態(tài)。作為另一個例子，車輛駕駛輔助裝置100的處理器170能夠基于影像內(nèi)的發(fā)光強(qiáng)度(intensity)和曝光量(exposure)，區(qū)分為干燥(dry)狀態(tài)、潮濕(wet)狀態(tài)、積雪(snow) 狀態(tài)、結(jié)冰(ice)狀態(tài)。處理器170能夠基于道路前方的上坡或下坡及路面信息將用于控制制動器驅(qū)動部的控制信號輸出到控制部770。

另外，處理器170能夠通過通信部120接收天氣信息、道路的交通狀況信息、例如TPEG(Transport Protocol Expert Group)信息。

另外，處理器170還能夠?qū)崟r地掌握在車輛駕駛輔助裝置100中以立體影像為基礎(chǔ)來掌握的車輛周邊交通狀況信息。

另外，處理器170能夠通過接口部130從AVN裝置400接收地圖信息等。

另外，處理器170能夠通過接口部130從控制部770或傳感器部760接收傳感器信息。在此，傳感器信息可以包括車輛滑移信息、車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜度信息、車輛前進(jìn)/后退信息、電池信息、燃料信息、輪胎信息、車輛燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息中的至少一種。并且，處理器170能夠通過接口部130從控制部770接收車輛所具備的各個單元的控制信息。

另外，處理器170能夠接收由導(dǎo)航儀提供的在車輛200處于行駛中的道路中除去立體影像中所顯示的區(qū)域以外的道路信息，從而對道路狀態(tài)進(jìn)行預(yù)測。具體而言，處理器170能夠?qū)αⅢw影像中未顯示的車輛前方或后方的道路狀態(tài)進(jìn)行預(yù)測。在此，道路狀態(tài)可以包括道路的彎道、隧道及行車線數(shù)。

另外，處理器170能夠由DSP(digital signal processor)、ASIC(application specific integrated circuit)或者微型控制器(microcontroller)形成，并安裝在預(yù)定的電路板的一面上。

電源供給部190能夠通過處理器170的控制而供給各結(jié)構(gòu)要素的動作所需的電源。尤其，電源供給部190能夠接受從車輛內(nèi)部的電池等提供的電源。

立體攝像頭195可以具備多個攝像頭。以下如圖2等所示，當(dāng)作具備兩個攝像頭。

立體攝像頭195能夠在車輛200的頂棚或避風(fēng)屏(wind shield)上進(jìn)行裝卸，可以具有具備第一鏡頭193a的第一攝像頭195a、具備第二鏡頭193b的第二攝像頭195b。

另外，立體攝像頭195可以具備用于分別遮蔽入射到第一鏡頭193a和 第二鏡頭193b中的光的第一遮光部(light shield)192a和第二遮光部192b。

然后，參照圖3B，圖3B的車輛駕駛輔助裝置100與圖3A的車輛駕駛輔助裝置100相比，還可以具備輸入部110、顯示器180、音頻輸出部185。以下，僅對輸入部110、顯示器180、音頻輸出部185進(jìn)行說明。

輸入部110可以具備附著于車輛駕駛輔助裝置100、尤其立體攝像頭195上的多個按鈕或觸摸屏。通過多個按鈕或觸摸屏，能夠使車輛駕駛輔助裝置100的電源接通并進(jìn)行動作。此外，還能夠執(zhí)行各種各樣的輸入動作。

音頻輸出部185基于處理器170中所處理的音頻信號而將聲音輸出到外部。為此，音頻輸出部185可以具備至少一個揚(yáng)聲器。

顯示器180能夠顯示與車輛駕駛輔助裝置的動作相關(guān)的影像。為了顯示這種影像，顯示器180可以包括車輛內(nèi)部前表面的組件(cluster)或HUD(Head Up Display)。另外，在顯示器180為HUD的情況下，可以包括對車輛200的前面玻璃投射影像的投射模塊。

另外，顯示器180能夠輸出通過按照調(diào)度執(zhí)行動作而生成的畫面。例如，在調(diào)度部910執(zhí)行調(diào)度，并由動作執(zhí)行部930基于調(diào)度來執(zhí)行多個動作的情況下，顯示器180能夠輸出基于所執(zhí)行的動作的畫面。顯示器180按照處理器170的控制，能夠顯示通過按照第一調(diào)度執(zhí)行多個動作中的各動作生成的畫面或者通過按照第二調(diào)度執(zhí)行多個動作中的各動作生成的畫面。顯示器180按照處理器170的控制，能夠顯示通過按照第一調(diào)度執(zhí)行第一至第三動作生成的畫面或者通過按照第二調(diào)度執(zhí)行第一至第三動作生成的畫面。

如果，在按照第一調(diào)度執(zhí)行行車線檢測(Lane Detection)、行人檢測(Pedestrian Detection)、周邊車輛檢測(Vehicle Detection)的情況下，能夠在顯示器180上顯示通過執(zhí)行行車線檢測生成的行車線顯示畫面、通過執(zhí)行行人檢測生成的與行人之間的距離畫面、通過執(zhí)行周邊車輛檢測生成的周邊車輛的速度等。

圖4A至圖4B示出了圖3A至圖3B的處理器的內(nèi)部框圖的各種各樣的例子，圖5A至圖5B是在說明圖4A至圖4B的處理器的動作時所參照的圖。

首先，參照圖4A，圖4A是處理器170的內(nèi)部框圖的一個例子，車輛駕駛輔助裝置100內(nèi)的處理器170可以包括影像前處理部410、差異運(yùn)算部420、目標(biāo)檢測部434、目標(biāo)跟蹤部440、以及應(yīng)用程序部450。

影像前處理部(image preprocessor)410接收來自立體攝像頭195的立體影像，并執(zhí)行前處理(preprocessing)。

具體而言，影像前處理部410能夠執(zhí)行針對立體影像的噪聲降低(noise reduction)、改正(rectification)、校準(zhǔn)(calibration)、顏色增強(qiáng)(color enhancement)、顏色空間轉(zhuǎn)換(color space conversion；CSC)、內(nèi)插(interpolation)、攝像頭增益控制(camera gain control)等。隨之，能夠獲取比立體攝像頭195中所拍攝的立體影像更加鮮明的立體影像。

差異運(yùn)算部(disparity calculator)420接收在影像前處理部410中進(jìn)行了信號處理的立體影像，執(zhí)行針對所接收的立體影像的立體匹配(stereo matching)，獲取按照立體匹配的差異地圖(dispartiy map)。即，能夠獲取關(guān)于車輛前方的針對立體影像的差異信息。

此時，立體匹配能夠以立體影像的像素單位或者預(yù)定塊單位執(zhí)行。另外，差異地圖是指將立體影像、即左、右影像的時差信息(binocular parallax information)用數(shù)值來表示的地圖。

分割部(segmentation unit)432能夠基于來自差異運(yùn)算部420的差異信息，針對立體影像中的至少一個，執(zhí)行分割(segment)及分組(clustering)。

具體而言，分割部432能夠基于差異信息，針對立體影像中的至少一個，分離背景(background)和前景(foreground)。

例如，能夠?qū)⒉町惖貓D中的差異信息為預(yù)定值以下的區(qū)域運(yùn)算成背景，并除去相應(yīng)部分。由此，能夠相對地分離前景。

作為另一個例子，能夠?qū)⒉町惖貓D中的差異信息為預(yù)定值以上的區(qū)域運(yùn)算成前景，并抽取相應(yīng)部分。由此，能夠分離前景。

如此，基于以立體影像為基礎(chǔ)來抽取的差異信息，分離前景和背景，從而在之后的目標(biāo)檢測時能夠降低信號處理速度、信號處理量等。

然后，目標(biāo)檢測部(object detector)434能夠基于來自分割部432的影像分割，檢測目標(biāo)。

即，目標(biāo)檢測部434能夠基于差異信息，針對立體影像中的至少一個，檢測目標(biāo)。

具體而言，目標(biāo)檢測部434能夠針對立體影像中的至少一個，檢測目標(biāo)。例如，能夠從通過影像分割而分離的前景檢測出目標(biāo)。

然后，目標(biāo)確認(rèn)部(object verification unit)436對所分離的目標(biāo)進(jìn)行分類(classify)，并進(jìn)行確認(rèn)(verify)。

為此，目標(biāo)確認(rèn)部436能夠使用利用神經(jīng)式網(wǎng)絡(luò)(neural network)的識別法、SVM(Support Vector Machine)方法、利用Haar-like特征的利用AdaBoost識別的方法、或者HOG(Histograms of Oriented Gradients)方法等。

另外，目標(biāo)確認(rèn)部436能夠?qū)Υ鎯υ诘谝淮鎯ζ?40中的目標(biāo)和檢測出的目標(biāo)進(jìn)行比較，從而確認(rèn)目標(biāo)。

例如，目標(biāo)確認(rèn)部436能夠確認(rèn)位于車輛周邊的周邊車輛、行車線、道路表面、標(biāo)志牌、危險(xiǎn)區(qū)域、隧道等。

目標(biāo)跟蹤部(object tracking unit)440執(zhí)行針對所確認(rèn)的目標(biāo)的跟蹤。例如，能夠按順序確認(rèn)所獲取的立體影像中的目標(biāo)，對所確認(rèn)的目標(biāo)的移動或移動矢量進(jìn)行運(yùn)算，基于運(yùn)算出的移動或移動矢量，跟蹤相應(yīng)目標(biāo)的移動等。隨之，能夠跟蹤位于車輛周邊的周邊車輛、行車線、道路表面、標(biāo)志牌、危險(xiǎn)區(qū)域、隧道等。

然后，應(yīng)用程序部450能夠基于位于車輛周邊的各種各樣的目標(biāo)、例如其他車輛、行車線、道路表面、標(biāo)志牌等，對車輛200的危險(xiǎn)程度等進(jìn)行運(yùn)算。并且，能夠運(yùn)算與前車的碰撞可能性、車輛的滑移與否等。

而且，應(yīng)用程序部450能夠基于運(yùn)算出的危險(xiǎn)程度、碰撞可能性、或滑移與否等，將用于告知用戶這種信息的消息等作為車輛駕駛輔助信息而輸出。或者，還能夠?qū)⒂糜谲囕v200的姿態(tài)控制或行駛控制的控制信號作為車輛控制信息而生成。

圖4B是處理器的內(nèi)部框圖的另一個例子。

參照附圖，圖4B的處理器170與圖4A的處理器170相比，內(nèi)部結(jié)構(gòu)單元相同，但信號處理順序不同這一點(diǎn)上存在差別。以下，僅說明該差別。

目標(biāo)檢測部434能夠接收立體影像，并針對立體影像中的至少一個，檢測目標(biāo)。不同于圖4A，不是基于差異信息而對分割后的影像檢測目標(biāo)，而是能夠從立體影像直接檢測目標(biāo)。

然后，目標(biāo)確認(rèn)部(object verification unit)436基于來自分割部432的影像分割、及在目標(biāo)檢測部434檢測出的目標(biāo)，對檢測及分離后的目標(biāo)進(jìn)行分類(classify)，并進(jìn)行確認(rèn)(verify)。

為此，目標(biāo)確認(rèn)部436能夠使用利用神經(jīng)式網(wǎng)絡(luò)(neural network)的識別法、SVM(Support Vector Machine)方法、利用Haar-like特征的利用AdaBoost識別的方法、或者HOG(Histograms of Oriented Gradients)方法等。

圖5A和圖5B是在以第一及第二幀區(qū)間中分別獲取的立體影像為基礎(chǔ)來說明圖4A的處理器170的動作方法時所參照的圖。

首先，參照圖5A，在第一幀區(qū)間期間，立體攝像頭195獲取立體影像。

處理器170內(nèi)的差異運(yùn)算部420接收在影像前處理部410進(jìn)行了信號處理的立體影像FR1a、FR1b，執(zhí)行針對所接收的立體影像FR1a、FR1b的立體匹配，獲取差異地圖(dispartiy map)520。

差異地圖(dispartiy map)520是對立體影像FR1a、FR1b之間的時差進(jìn)行了水平劃分，并且能夠運(yùn)算成，差異水平越大，與車輛之間的距離越近，差異水平越小，與車輛之間的距離越遠(yuǎn)。

另外，在顯示這種差異地圖的情況下，能夠顯示成差異水平越大，具有越高的亮度，差異水平越小，具有越低的亮度。

在附圖中示出了如下情況，在差異地圖520內(nèi)第一行車線至第四行車線528a、528b、528c、528d等分別具有相應(yīng)的差異水平，施工區(qū)域522、第一前方車輛524、第二前方車輛526分別具有相應(yīng)的差異水平。

分割部432和目標(biāo)檢測部434、目標(biāo)確認(rèn)部436基于差異地圖520，執(zhí)行針對立體影像FR1a、FR1b中的至少一個的分割、目標(biāo)檢測及目標(biāo)確認(rèn)。

在附圖中示出了如下情況，使用差異地圖520，執(zhí)行針對第二立體影像FR1b的目標(biāo)檢測及確認(rèn)。

即，能夠在影像530內(nèi)，對第一行車線至第四行車線538a、538b、538c、538d、施工區(qū)域532、第一前方車輛534、第二前方車輛536執(zhí)行目標(biāo)檢測及確認(rèn)。

然后，參照圖5B，在第二幀區(qū)間期間，立體攝像頭195獲取立體影像。

處理器170內(nèi)的差異運(yùn)算部420接收在影像前處理部410進(jìn)行了信號處理的立體影像FR2a、FR2b，執(zhí)行針對所接收的立體影像FR2a、FR2b的立體匹配，獲取差異地圖(dispartiy map)540。

在附圖中示出了如下情況，在差異地圖540內(nèi)，第一行車線至第四行車線548a、548b、548c、548d等分別具有相應(yīng)的差異水平，施工區(qū)域542、第 一前方車輛544、第二前方車輛546分別具有相應(yīng)的差異水平。

分割部432和目標(biāo)檢測部434、目標(biāo)確認(rèn)部436基于差異地圖540，執(zhí)行針對立體影像FR2a、FR2b中的至少一個的分割、目標(biāo)檢測及目標(biāo)確認(rèn)。

在附圖中示出了如下情況，使用差異地圖540，執(zhí)行針對第二立體影像FR2b的目標(biāo)檢測及確認(rèn)。

即，能夠在影像550內(nèi)對第一行車線至第四行車線558a、558b、558c、558d、施工區(qū)域552、第一前方車輛554、第二前方車輛556執(zhí)行目標(biāo)檢測及確認(rèn)。

另外，目標(biāo)跟蹤部440能夠?qū)D5A和圖5B進(jìn)行比較，執(zhí)行針對確認(rèn)出的目標(biāo)的跟蹤。

具體而言，目標(biāo)跟蹤部440能夠基于在圖5A和圖5B中確認(rèn)出的各目標(biāo)的移動或移動矢量，跟蹤相應(yīng)目標(biāo)的移動等。隨之，能夠執(zhí)行針對位于車輛周邊的行車線、施工區(qū)域、第一前方車輛、第二前方車輛等的跟蹤。

圖6A至圖6B是在說明圖3的車輛駕駛輔助裝置的動作時所參照的圖。

首先，圖6A是示出了在車輛內(nèi)部所具備的立體攝像頭195中拍攝的車輛前方狀況的圖。尤其，用鳥瞰圖(bird eye view)來顯示車輛前方狀況。

參照附圖可知，從左側(cè)到右側(cè)，依次存在第一行車線642a、第二行車線644a、第三行車線646a、第四行車線648a，在第一行車線642a與第二行車線644a之間存在施工區(qū)域610a，在第二行車線644a與第三行車線646a之間存在第一前方車輛620a，在第三行車線646a與第四行車線648a之間配置有第二前方車輛630a。

然后，圖6B示出了將由車輛駕駛輔助裝置掌握的車輛前方狀況與各種信息一起顯示的情況。尤其，如圖6B的影像還能夠在車輛駕駛輔助裝置所提供的顯示器180或AVN裝置400中顯示。

圖6B不同于6a，示出了以在立體攝像頭195中拍攝的影像為基礎(chǔ)來顯示信息的情況。

參照附圖可知，從左側(cè)到右側(cè)依次存在第一行車線642b、第二行車線644b、第三行車線646b、第四行車線648b，在第一行車線642b與第二行車線644b之間存在施工區(qū)域610b，在第二行車線644b與第三行車線646b之間存在第一前方車輛620b，在第三行車線646b與第四行車線648b之間配置 有第二前方車輛630b。

車輛駕駛輔助裝置100能夠以立體攝像頭195中拍攝的立體影像為基礎(chǔ)而進(jìn)行信號處理，確認(rèn)針對施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b的目標(biāo)。并且，能夠確認(rèn)第一行車線642b、第二行車線644b、第三行車線646b、第四行車線648b。

另外，在附圖中示出了如下情況，為了表示針對施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b的目標(biāo)確認(rèn)，分別用輪廓突出顯示。

另外，車輛駕駛輔助裝置100能夠以立體攝像頭195中所拍攝的立體影像為基礎(chǔ)，運(yùn)算針對施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b的距離信息。

在附圖中示出了顯示有分別與施工區(qū)域610b、第一前方車輛620b、第二前方車輛630b對應(yīng)的運(yùn)算出的第一距離信息611b、第二距離信息621b、第三距離信息631b的情況。

另外，車輛駕駛輔助裝置100能夠從控制部770或傳感器部760接收針對車輛的傳感器信息。尤其，能夠接收車輛速度信息、齒輪信息、表示車輛的旋轉(zhuǎn)角(偏擺角)發(fā)生變化的速度的偏擺率信息(yaw rate)、車輛的角度信息。并且顯示這些信息。

在附圖中示出了在車輛前方影像上部670顯示車輛速度信息672、齒輪信息671、偏擺率信息673、并且在車輛前方影像下部680顯示車輛的角度信息682的情況，但能夠適用各種各樣的例子。此外，車輛的寬度信息683、道路的曲率信息681能夠與車輛的角度信息682一起顯示。

另外，車輛駕駛輔助裝置100能夠通過通信部120或接口部130來接收針對車輛行駛中的道路的速度限制信息等。在附圖中示出了顯示有速度限制信息640b的情況。

車輛駕駛輔助裝置100可以通過顯示器180等來顯示圖6B所示的各種各樣的信息，但與此不同，也可以無特殊顯示而存儲各種信息。而且，能夠利用這種信息來有效應(yīng)用于各種各樣的應(yīng)用程序中。

圖7是圖1的車輛內(nèi)部的電子控制裝置的內(nèi)部框圖的一個例子。

參照附圖，車輛200可以具備用于車輛控制的電子控制裝置700。電子控制裝置700能夠與上述的車輛駕駛輔助裝置100及AVN裝置400交換數(shù) 據(jù)。

電子控制裝置700可以具備輸入部710、通信部720、第二存儲器740、燈驅(qū)動部751、轉(zhuǎn)向驅(qū)動部752、制動器驅(qū)動部753、動力源驅(qū)動部754、天窗驅(qū)動部755、懸架裝置驅(qū)動部756、空調(diào)驅(qū)動部757、車窗驅(qū)動部758、氣囊驅(qū)動部759、傳感器部760、控制部770、顯示部780、音頻輸出部785及電源供給部790。

輸入部710可以具備配置在車輛200內(nèi)部的多個按鈕或觸摸屏。通過多個按鈕或觸摸屏，能夠執(zhí)行各種各樣的輸入動作。

通信部720能夠以無線(wireless)方式與移動終端600或服務(wù)器500交換數(shù)據(jù)。尤其，通信部720能夠以無線方式與車輛駕駛員的移動終端交換數(shù)據(jù)。作為無線數(shù)據(jù)通信方式，可以使用藍(lán)牙(Bluetooth)、WiFi Direct、WiFi、APiX等各種各樣的數(shù)據(jù)通信方式。

通信部720能夠從移動終端600或服務(wù)器500接收天氣信息、道路的交通狀況信息、例如TPEG(Transport Protocol Expert Group)信息。

另外，在用戶搭乘在車輛中的情況下，用戶的移動終端600和電子控制裝置700能夠自動地或者通過用戶的應(yīng)用程序的執(zhí)行來相互執(zhí)行配對。

第二存儲器740能夠存儲用于控制部770的處理或控制的程序等、用于電子控制裝置700總體的動作的各種各樣的數(shù)據(jù)。

第二存儲器740與控制部770電連接，能夠存儲針對單元的基本數(shù)據(jù)、用于單元的動作控制的控制數(shù)據(jù)、進(jìn)行輸入輸出的數(shù)據(jù)。第二存儲器740可以是ROM、RAM、EPROM、閃存器、硬盤等之類的各種各樣的存儲設(shè)備。

燈驅(qū)動部751能夠?qū)ε渲迷谲囕v內(nèi)部、外部的燈的接通/斷開進(jìn)行控制。并且，能夠控制燈的光的強(qiáng)度、方向等。例如，能夠執(zhí)行針對方向指示燈、制動器燈等的控制。

轉(zhuǎn)向驅(qū)動部752能夠執(zhí)行針對車輛200內(nèi)的轉(zhuǎn)向裝置(steering apparatus)(未圖示)的電子式控制。由此，能夠?qū)囕v的行進(jìn)方向進(jìn)行變更。

制動器驅(qū)動部753能夠執(zhí)行針對車輛200內(nèi)的制動器裝置(brake apparatus)(未圖示)的電子式控制。例如，能夠?qū)ε渲迷谲囕喩系闹苿悠鞯膭幼鬟M(jìn)行控制，從而降低車輛200的速度。作為另一個例子，使分配配置在左側(cè)車輪和右側(cè)車輪上的制動器的動作不同，從而能夠?qū)④囕v200的行進(jìn) 方向向左側(cè)或右側(cè)進(jìn)行調(diào)整。

動力源驅(qū)動部754能夠執(zhí)行針對車輛200內(nèi)的動力源的電子式控制。

例如，在化石燃料基礎(chǔ)的發(fā)動機(jī)(未圖示)作為動力源的情況下，動力源驅(qū)動部754能夠執(zhí)行針對發(fā)動機(jī)的電子式控制。由此，能夠?qū)Πl(fā)動機(jī)的輸出轉(zhuǎn)矩等進(jìn)行控制。在動力源驅(qū)動部754為發(fā)動機(jī)的情況下，能夠按照控制部770的控制，對發(fā)動機(jī)輸出轉(zhuǎn)矩進(jìn)行限制而限制車輛的速度。

作為另一個例子，在基于電的馬達(dá)(未圖示)為動力源的情況下，動力源驅(qū)動部754能夠執(zhí)行針對馬達(dá)的控制。由此，能夠?qū)︸R達(dá)的轉(zhuǎn)速、轉(zhuǎn)矩等進(jìn)行控制。

天窗驅(qū)動部755能夠執(zhí)行針對車輛200內(nèi)的天窗裝置(sunroof apparatus)(未圖示)的電子式控制。例如，能夠?qū)μ齑暗拇蜷_或關(guān)閉進(jìn)行控制。

懸架裝置驅(qū)動部756能夠執(zhí)行針對車輛200內(nèi)的懸架裝置(suspension apparatus)(未圖示)電子式控制。例如，在道路表面上存在彎曲的情況下，通過對懸架裝置進(jìn)行控制，能夠控制成使車輛200的振動減少。

空調(diào)驅(qū)動部757能夠執(zhí)行針對車輛200內(nèi)的空調(diào)裝置(air cinditioner)(未圖示)的電子式控制。例如，在車輛內(nèi)部的溫度較高的情況下，空調(diào)裝置進(jìn)行動作，從而能夠控制成使冷氣供給到車輛內(nèi)部。

車窗驅(qū)動部758能夠執(zhí)行針對車輛200內(nèi)的車窗裝置(window apparatus)(未圖示)的電子式控制。例如，能夠?qū)囕v的側(cè)面的左、右車窗的打開或關(guān)閉進(jìn)行控制。

氣囊驅(qū)動部759能夠執(zhí)行針對車輛200內(nèi)的氣囊裝置(airbag apparatus)的電子式控制。例如，但存在危險(xiǎn)時，能夠控制成使氣囊膨脹。

傳感器部760對與車輛100的行駛等相關(guān)的信號進(jìn)行傳感。為此，傳感器部760可以具備航向傳感器(heading sensor)、偏擺傳感器(yaw sensor)、陀螺傳感器(gyro sensor)、位置模塊(position module)、車輛前進(jìn)/后退傳感器、車輪傳感器(wheel sensor)、車輛速度傳感器、車身傾斜檢測傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤旋轉(zhuǎn)的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器等。

由此，傳感器部760能夠獲取針對車輛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜度信息、 車輛前進(jìn)/后退信息、電池信息、燃料信息、輪胎信息、車輛燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息等的傳感信號。

另外，除此之外，傳感器部760還可以具備加速踏板傳感器、壓力傳感器、發(fā)動機(jī)轉(zhuǎn)速傳感器(engine speed sensor)、空氣流量傳感器(AFS)、進(jìn)氣溫度傳感器(ATS)、水溫傳感器(WTS)、節(jié)流閥位置傳感器(TPS)、TDC傳感器、曲軸轉(zhuǎn)角傳感器(CAS)等。

控制部770能夠?qū)﹄娮涌刂蒲b置700內(nèi)的各單元的總體動作進(jìn)行控制。在此，控制部770可以是ECU(電子控制單元)。

通過由輸入部710進(jìn)行的輸入，能夠執(zhí)行特定動作，或者接收由傳感器部760傳感的信號，并發(fā)送到車輛駕駛輔助裝置100，從AVN裝置400接收地圖信息，對各種驅(qū)動部751、752、753、754、756的動作進(jìn)行控制。

并且，控制部770能夠從通信部720接收天氣信息、道路的交通狀況信息、例如TPEG(Transport Protocol Expert Group)信息。

顯示部780能夠顯示與車輛駕駛輔助裝置的動作相關(guān)的影像。為了顯示這種影像，顯示部780可以包括車輛內(nèi)部前表面的組件(cluster)或HUD(Head Up Display)。另外，在顯示部780為HUD的情況下，可以包括對車輛200的前面玻璃投射影像的投射模塊。另外，顯示部780可以包括能夠進(jìn)行輸入的觸摸屏。

音頻輸出部785將來自控制部770的電信號轉(zhuǎn)換成音頻信號后進(jìn)行輸出。為此，可以具備揚(yáng)聲器等。音頻輸出部785還能夠輸出與輸入部710、即按鈕的動作相對應(yīng)的聲音。

電源供給部790能夠通過控制部770的控制而供給各結(jié)構(gòu)要素的動作所需的電源。尤其，電源供給部790能夠接受從車輛內(nèi)部的電池(未圖示)等提供的電源。

圖8A至圖8B是根據(jù)本發(fā)明的實(shí)施例的說明車輛駕駛輔助裝置的動作時所參照的流程圖。

參照圖8A，處理器170接收立體影像(S810)。立體影像可以包括多個幀。車輛駕駛輔助裝置100中所包含的立體攝像頭模塊195能夠連續(xù)獲取立體影像，處理器170能夠從立體攝像頭模塊195連續(xù)接收立體影像。例如，處理器170能夠接收第一幀。接著，處理器170能夠接收第二幀。接著，處 理器170能夠接收第三幀。在此，第一至第三幀可以是按照所獲取的順序從立體攝像頭模塊195傳遞給處理器170的立體影像。第一至第三幀表示由處理器170按時間的經(jīng)過接收的幀，但并不意味著必須在第一幀之后接收第二幀，而且在第二幀之后接收第三幀。即，在第一及第二幀之間可以包括至少一個幀，并且，在第二及第三幀之間可以包括至少一個幀。

若接收到立體影像，則處理器170能夠執(zhí)行前處理(preprocessing)(S815)。

例如，處理器170能夠執(zhí)行針對立體影像的噪聲降低(noise reduction)、改正(rectification)、校準(zhǔn)(calibration)、顏色增強(qiáng)(color enhancement)、顏色空間轉(zhuǎn)換(color space conversion；CSC)、內(nèi)插(interpolation)、攝像頭增益控制(camera gain control)等。隨之，能夠獲取比在立體攝像頭195中拍攝的立體影像更加鮮明的立體影像。

另外，處理器170能夠執(zhí)行3D(Three Dimensional)基礎(chǔ)的前處理及2D(Two Dimensional)基礎(chǔ)的前處理。例如，處理器170能夠執(zhí)行3D基礎(chǔ)的前處理。在此，3D基礎(chǔ)的前處理能夠用于執(zhí)行檢測與預(yù)定目標(biāo)之間的距離的動作。例如，處理器170能夠執(zhí)行2D基礎(chǔ)的前處理。在此，2D基礎(chǔ)的前處理能夠用于執(zhí)行目標(biāo)檢測動作。處理器170在執(zhí)行動作時，能夠適當(dāng)選擇3D或2D基礎(chǔ)的前處理來利用?；蛘?，處理器170能夠?qū)?D或2D基礎(chǔ)的前處理進(jìn)行組合而利用。

另外，前處理的執(zhí)行能夠在處理器170所具備的前處理部410中執(zhí)行。

在執(zhí)行前處理后，處理器170能夠執(zhí)行對多個動作的調(diào)度(S820)。在此，調(diào)度可以是對多個動作中的各動作預(yù)測執(zhí)行時間對多個動作類別中的各動作設(shè)定執(zhí)行順序的動作。此時，處理器170能夠基于對多個動作中的各動作測定出的執(zhí)行時間來執(zhí)行調(diào)度。在此，測定出的執(zhí)行時間可以是在S895步驟中測定出的執(zhí)行時間?；蛘?，測定出的執(zhí)行時間可以是在S897步驟中存儲在DB141中的執(zhí)行時間。

處理器170能夠從立體攝像頭模塊195接收第一幀，并針對第一幀執(zhí)行對多個動作的第一調(diào)度。接著，處理器170能夠按照第一調(diào)度，執(zhí)行多個動作。接著，處理器170能夠測定按照第一調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間。接著，處理器170能夠從立體攝像頭模塊195接收第二幀，并針 對第二幀執(zhí)行對多個動作的第二調(diào)度。此時，處理器170能夠基于測定出的多個動作中的各動作的執(zhí)行時間來執(zhí)行第二調(diào)度。

例如，處理器170能夠從立體攝像頭模塊195接收第一幀，并針對第一幀執(zhí)行對第一至第三動作的第一調(diào)度。接著，處理器170能夠按照第一調(diào)度，執(zhí)行第一至第三動作。接著，處理器170能夠測定按照第一調(diào)度執(zhí)行的第一至第三各動作的執(zhí)行時間。接著，處理器170能夠從立體攝像頭模塊195接收第二幀，并針對第二幀執(zhí)行對第一至第三動作的第二調(diào)度。此時，處理器170能夠基于測定出的第一至第三各動作的執(zhí)行時間來執(zhí)行第二調(diào)度。

然后，處理器170能夠按照第二調(diào)度，執(zhí)行第一至第三動作。接著，處理器170能夠測定按照第二調(diào)度執(zhí)行的第一至第三各動作的執(zhí)行時間。接著，處理器170能夠從立體攝像頭模塊195接收第三幀，并針對第三幀執(zhí)行對第一至第三動作的第三調(diào)度。此時，處理器170在執(zhí)行與第二調(diào)度對應(yīng)的第一至第三動作時，能夠基于測定出的第一至第三各動作的執(zhí)行時間來執(zhí)行第二調(diào)度。

然后，處理器170能夠從立體攝像頭模塊195接收第四幀，并針對第四幀，基于測定出的與之前的調(diào)度對應(yīng)的各動作的執(zhí)行時間，來執(zhí)行對第一至第三動作的第四調(diào)度，并按照第四調(diào)度執(zhí)行第一至第三動作，并測定各動作的執(zhí)行時間，處理器170能夠反復(fù)執(zhí)行該過程。

另外，在執(zhí)行第二調(diào)度后，處理器170能夠按照第二調(diào)度執(zhí)行多個動作。接著，處理器170能夠測定按照第二調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間。接著，處理器170能夠基于測定出的按照第一調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間以及測定出的按照第二調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間，并計(jì)算出多個動作中的各動作的執(zhí)行時間的變化量。

例如，處理器170能夠按照第一調(diào)度執(zhí)行第一動作，并測定第一動作執(zhí)行時間。并且，處理器170能夠按照第二調(diào)度執(zhí)行第一動作，并測定第一動作執(zhí)行時間。接著，處理器170能夠基于按照第一調(diào)度執(zhí)行的第一動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第一動作執(zhí)行時間，來計(jì)算出第一動作執(zhí)行時間的變化量。

例如，處理器170能夠按照第一調(diào)度執(zhí)行第二動作，并測定第二動作執(zhí)行時間。并且，處理器170能夠按照第二調(diào)度執(zhí)行第二動作，并測定第二動 作執(zhí)行時間。接著，處理器170能夠基于按照第一調(diào)度執(zhí)行的第二動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第二動作執(zhí)行時間，來計(jì)算出第二動作執(zhí)行時間的變化量。

例如，處理器170能夠按照第一調(diào)度執(zhí)行第三動作，并測定第三動作執(zhí)行時間。并且，處理器170能夠按照第二調(diào)度執(zhí)行第三動作，并測定第三動作執(zhí)行時間。接著，處理器170能夠基于按照第一調(diào)度執(zhí)行的第三動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第三動作執(zhí)行時間，來計(jì)算出第三動作執(zhí)行時間的變化量。

另外，在從立體攝像頭模塊195接收第三幀，并針對第三幀執(zhí)行對第一至第三動作的第三調(diào)度的情況下，處理器170能夠反應(yīng)各動作的執(zhí)行時間的變化量。例如，處理器170能夠通過對測定出的按照第二調(diào)度執(zhí)行的第一至第三動作的執(zhí)行時間分別加上第一至第三各動作的執(zhí)行時間的變化量，來預(yù)測第一至第三各動作的執(zhí)行時間。接著，處理器170能夠設(shè)定第一至第三動作中的各動作的執(zhí)行順序。

可以在處理器170所具備的調(diào)度部910執(zhí)行調(diào)度。具體而言，調(diào)度部910中所包含的執(zhí)行時間預(yù)測部913能夠針對多個動作中的各動作預(yù)測執(zhí)行時間。調(diào)度部910中所包含的執(zhí)行順序設(shè)定部915能夠?qū)Χ鄠€動作分別設(shè)定執(zhí)行順序。

關(guān)于調(diào)度，參照圖8B進(jìn)行詳細(xì)說明。

在完成調(diào)度的情況下，處理器170能夠按照調(diào)度執(zhí)行多個動作(S890)。多個動作可以在動作執(zhí)行部930中執(zhí)行。

例如，動作執(zhí)行部930能夠在第一幀上按照第一調(diào)度來執(zhí)行第一動作931、第二動作932及第三動作933。并且，動作執(zhí)行部930能夠在第二幀上按照第二調(diào)度來執(zhí)行第一動作931、第二動作932及第三動作933。并且，動作執(zhí)行部930能夠在第三幀上按照第三調(diào)度來執(zhí)行第一動作931、第二動作932及第三動作933。

在按照調(diào)度執(zhí)行了動作之后，處理器170能夠針對多個動作中的各動作測定執(zhí)行時間(S895)。

例如，處理器170能夠針對第一幀測定出按照第一調(diào)度執(zhí)行第一動作所需的時間。并且，處理器170能夠針對第二幀測定出按照第二調(diào)度執(zhí)行第一 動作所需的時間。并且，處理器170能夠針對第三幀測定出按照第三調(diào)度執(zhí)行第一動作所需的時間。

例如，處理器170能夠針對第一幀測定出按照第一調(diào)度執(zhí)行第二動作所需的時間。并且，處理器170能夠針對第二幀測定出按照第二調(diào)度執(zhí)行第二動作所需的時間。并且，處理器170能夠針對第三幀測定出按照第三調(diào)度執(zhí)行第二動作所需的時間。

例如，處理器170能夠針對第一幀測定出按照第一調(diào)度執(zhí)行第三動作所需的時間。并且，處理器170能夠針對第二幀測定出按照第二調(diào)度執(zhí)行第三動作所需的時間。并且，處理器170能夠針對第三幀測定出按照第三調(diào)度執(zhí)行第三動作所需的時間。

對多個動作中的各動作的執(zhí)行時間的測定可以在執(zhí)行時間測定部950中執(zhí)行。

在完成對多個動作中的各動作的執(zhí)行時間的測定的情況下，處理器170能夠?qū)y定出的執(zhí)行時間存儲到DB141中(S897)。在此，DB141可以表示第一存儲器140所具備的規(guī)定的數(shù)據(jù)庫。

例如，處理器170能夠在第一幀中將測定出的第一至第三動作執(zhí)行時間存儲到DB141中。例如，處理器170能夠?qū)⑨槍Φ诙瑴y定出的第一至第三動作執(zhí)行時間存儲到DB141中。例如，處理器170能夠?qū)⑨槍Φ谌龓瑴y定出的第一至第三動作執(zhí)行時間存儲到DB141中。

圖8B是根據(jù)本發(fā)明的實(shí)施例的圖8A中的S820步驟的詳細(xì)流程圖。

參照圖8B，在執(zhí)行前處理之后，處理器170能夠預(yù)測多個動作中的各動作的執(zhí)行時間(S82)。

處理器170能夠基于在前一個幀中測定出的多個動作中的各動作的執(zhí)行時間，在下一個幀中預(yù)測多個動作中的各動作的執(zhí)行時間。

根據(jù)第一實(shí)施例，處理器170能夠基于針對第一幀測定出的多個動作中的各動作的執(zhí)行時間，來針對第二幀預(yù)測多個動作中的各動作的執(zhí)行時間。處理器170能夠基于針對第二幀測定出的多個動作中的各動作的執(zhí)行時間，來針對第三幀預(yù)測多個動作中的各動作的執(zhí)行時間。

根據(jù)第二實(shí)施例，處理器170測定按照第一調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間。接著，處理器170測定按照第二調(diào)度執(zhí)行的多個動作中的 各動作的執(zhí)行時間。接著，處理器170能夠基于測定出的按照第一調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間以及測定出的按照第二調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間，計(jì)算出多個動作中的各動作的執(zhí)行時間的變化量。接著，針對第三幀執(zhí)行對多個動作的第三調(diào)度時，處理器170能夠反應(yīng)各動作的執(zhí)行時間的變化量。例如，處理器170通過對測定出的按照第二調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間分別加上多個動作中的各動作的執(zhí)行時間的變化量，能夠預(yù)測多個動作中的各動作的執(zhí)行時間。

另外，多個動作中的各動作的執(zhí)行時間的變化量能夠連續(xù)計(jì)算。例如，處理器170能夠計(jì)算出與第一及第二幀相對應(yīng)的各動作的執(zhí)行時間的變化量。并且，處理器170能夠計(jì)算出與第二及第三幀相對應(yīng)的各動作的執(zhí)行時間的變化量。并且，處理器170能夠計(jì)算出與第三及第四幀相對應(yīng)的各動作的執(zhí)行時間的變化量。在此情況下，各個執(zhí)行時間的變化量可以具有最小值、最大值及平均值。根據(jù)實(shí)施例，處理器170能夠在累積存儲的執(zhí)行時間的變化量中以最大值為基準(zhǔn)來預(yù)測多個動作中的各動作的執(zhí)行時間。在此情況下，具有執(zhí)行時間預(yù)測產(chǎn)生誤差的概率減小的優(yōu)點(diǎn)。

根據(jù)第一實(shí)施例，處理器170能夠測定按照第一調(diào)度執(zhí)行的第一動作執(zhí)行時間。接著，處理器170在執(zhí)行第二調(diào)度時，能夠基于測定出的按照第一調(diào)度執(zhí)行的第一動作執(zhí)行時間，來針對第二幀預(yù)測第一動作執(zhí)行時間。并且，處理器170能夠測定按照第二調(diào)度執(zhí)行的第一動作執(zhí)行時間。接著，處理器170在執(zhí)行第三調(diào)度時，能夠基于測定出的按照第二調(diào)度執(zhí)行的第一動作執(zhí)行時間，來針對第三幀預(yù)測第一動作執(zhí)行時間。

根據(jù)第二實(shí)施例，處理器170能夠測定按照第一調(diào)度執(zhí)行的第一動作的執(zhí)行時間。并且，處理器170能夠測定按照第二調(diào)度執(zhí)行的第一動作的執(zhí)行時間。接著，處理器170能夠基于按照第一調(diào)度執(zhí)行的第一動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第一動作執(zhí)行時間，計(jì)算出第一動作執(zhí)行時間的變化量。接著，處理器170能夠通過對按照第二調(diào)度執(zhí)行的第一動作的執(zhí)行時間加上第一動作執(zhí)行時間的變化量，來針對第三調(diào)度預(yù)測第一動作的執(zhí)行時間。

根據(jù)第一實(shí)施例，處理器170能夠測定按照第一調(diào)度執(zhí)行的第二動作執(zhí)行時間。接著，處理器170在執(zhí)行第二調(diào)度時，能夠基于測定出的按照第一 調(diào)度執(zhí)行的第二動作執(zhí)行時間，來針對第二幀預(yù)測第二動作執(zhí)行時間。并且，處理器170能夠測定按照第二調(diào)度執(zhí)行的第二動作執(zhí)行時間。接著，處理器170在執(zhí)行第三調(diào)度時，能夠基于測定出的按照第二調(diào)度執(zhí)行的第二動作執(zhí)行時間，來針對第三幀預(yù)測第二動作執(zhí)行時間。

根據(jù)第二實(shí)施例，處理器170能夠測定按照第一調(diào)度執(zhí)行的第二動作的執(zhí)行時間。并且，處理器170能夠測定按照第二調(diào)度執(zhí)行的第二動作的執(zhí)行時間。接著，處理器170能夠基于按照第一調(diào)度執(zhí)行的第二動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第二動作執(zhí)行時間，來計(jì)算出第二動作執(zhí)行時間的變化量。接著，處理器170通過對按照第二調(diào)度執(zhí)行的第一動作的執(zhí)行時間加上第二動作執(zhí)行時間的變化量，來針對第三調(diào)度預(yù)測第一動作的執(zhí)行時間。

根據(jù)第一實(shí)施例，處理器170能夠測定按照第一調(diào)度執(zhí)行的第三動作執(zhí)行時間。接著，處理器170在執(zhí)行第二調(diào)度時，能夠基于測定出的按照第一調(diào)度執(zhí)行的第三動作執(zhí)行時間，來針對第二幀預(yù)測第三動作執(zhí)行時間。并且，處理器170能夠測定按照第二調(diào)度執(zhí)行的第三動作執(zhí)行時間。接著，處理器170在執(zhí)行第三調(diào)度時，能夠基于測定出的按照第二調(diào)度執(zhí)行的第三動作執(zhí)行時間，來針對第三幀預(yù)測第三動作執(zhí)行時間。

根據(jù)第二實(shí)施例，處理器170能夠測定按照第一調(diào)度執(zhí)行的第三動作的執(zhí)行時間。并且，處理器170能夠測定按照第二調(diào)度執(zhí)行的第三動作的執(zhí)行時間。接著，處理器170能夠基于按照第一調(diào)度執(zhí)行的第三動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第三動作執(zhí)行時間，來計(jì)算出第三動作執(zhí)行時間的變化量。接著，處理器170通過對按照第二調(diào)度執(zhí)行的第一動作的執(zhí)行時間加上第二動作執(zhí)行時間的變化量，能夠針對第三調(diào)度預(yù)測第三動作的執(zhí)行時間。

另外，處理器170在預(yù)測第一動作的執(zhí)行時間時，能夠在基準(zhǔn)時間以上的范圍內(nèi)進(jìn)行預(yù)測。在此，第一動作可以是多個動作中必須要執(zhí)行的動作。并且，第一動作可以是在不執(zhí)行基準(zhǔn)時間以上的情況下，執(zhí)行動作的結(jié)果會明顯降低的動作。如果，執(zhí)行行人檢測(Pedestrian Detection)動作的時間小于25msec時不能實(shí)現(xiàn)準(zhǔn)確的檢測的情況下，處理器170能夠在25msec以上的范圍內(nèi)對行人檢測進(jìn)行預(yù)測。

在預(yù)測多個動作中的各動作的執(zhí)行時間之后，處理器170能夠?qū)Χ鄠€動作中的各動作執(zhí)行預(yù)測時間進(jìn)行相加(S830)。例如，處理器170能夠?qū)Φ? 一至第三動作的執(zhí)行預(yù)測時間進(jìn)行相加。

之后，處理器170能夠設(shè)定多個動作中的各動作的執(zhí)行順序(S835)。

例如，處理器170能夠根據(jù)預(yù)定的基準(zhǔn)，來對第一至第三動作設(shè)定先執(zhí)行哪個動作并且后執(zhí)行哪個動作。

在此，執(zhí)行順序可以是按照在S825步驟中預(yù)測的多個動作中的各動作的執(zhí)行時間從短到長的順序來設(shè)定的。如果，預(yù)測出的執(zhí)行時間從短到長的順序?yàn)榈谝粍幼鳌⒌诙幼?、第三動作的情況下，處理器170能夠以第一動作、第二動作及第三動作的順序設(shè)定執(zhí)行順序。在此情況下，通過先執(zhí)行預(yù)測出的執(zhí)行時間較短的動作，具有能夠在有限的時間內(nèi)執(zhí)行更多的動作的優(yōu)點(diǎn)。

在此，執(zhí)行順序能夠通過反應(yīng)車輛的行駛環(huán)境或外部環(huán)境來設(shè)定。處理器170能夠基于從立體攝像頭模塊195接收的立體影像來判斷行駛環(huán)境或外部環(huán)境?；蛘?，處理器170能夠基于通過接口部130接收的各種傳感器信息而判斷行駛環(huán)境或外部環(huán)境。此時，行駛環(huán)境可以是車輛所行駛的道路的種類為高速道路、國道、鄉(xiāng)村道路及市內(nèi)道路中的任一種。并且，外部環(huán)境可以是車輛所行駛的區(qū)間的狀態(tài)、車輛行駛時的天氣的狀態(tài)及車輛所行駛的時間中的任一種。

在此，執(zhí)行順序能夠按照已設(shè)定的默認(rèn)(default)順序進(jìn)行設(shè)定。例如，在測定多個動作中的各動作的執(zhí)行時間之前，處理器170能夠按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序、即，在前一個幀中無法測定多個動作執(zhí)行時間的情況下，處理器170能夠按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序。如果，在最初設(shè)定執(zhí)行順序的情況、或者產(chǎn)生錯誤之后設(shè)定執(zhí)行順序的情況下，處理器170能夠按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序。或者，處理器170能夠在預(yù)定的環(huán)境下按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序。如果，在車輛的外部環(huán)境為隧道進(jìn)入或退出區(qū)間的情況、日出或日落時間的情況、以及下雨或下雪的天氣的情況中的一個的情況下，處理器170能夠按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序。

另外，在多個動作中存在必須要執(zhí)行的動作的情況下，處理器170能夠?qū)⒈仨殘?zhí)行動作設(shè)定為最優(yōu)先順序。如果，在第一動作為車輛安全運(yùn)行相關(guān)動作的情況下，處理器170在執(zhí)行順序中能夠?qū)⒌谝粍幼髟O(shè)定為最優(yōu)先順序。 例如，處理器170能夠?qū)⒍鄠€動作中與行人安全相關(guān)的行人檢測(Pedestrian Detection)在執(zhí)行順序中設(shè)定為最優(yōu)先順序。存儲器140能夠預(yù)先存儲必須要執(zhí)行的動作列表。處理器170能夠按照存儲在存儲器140中的列表，在執(zhí)行順序中首先設(shè)定優(yōu)先順序之后，設(shè)定之后的順序。

另外，在第二幀中在多個動作中存在必須要執(zhí)行的動作的情況下，處理器170能夠?qū)⒈仨殘?zhí)行動作設(shè)定為最優(yōu)先順序。如果，在第二幀中第一動作為車輛安全運(yùn)行相關(guān)動作的情況下，處理器170能夠在執(zhí)行順序中將第一動作設(shè)定為最優(yōu)先順序。接著，在從立體攝像頭模塊195接收上述第三幀并針對第三幀執(zhí)行對上述第一至第三動作的第三調(diào)度的情況下，處理器170能夠反復(fù)在執(zhí)行順序中將第一動作設(shè)定為最優(yōu)先順序。

在設(shè)定動作執(zhí)行順序之后，處理器170能夠判斷相加的執(zhí)行預(yù)測時間是否在臨界值以上(S840)。在此，臨界值可以意味著處理器170能夠處理的極限值。例如，在連續(xù)接收的多個幀中，在接收下一個幀之前要完成當(dāng)前幀的動作。在此情況下，臨界值可以意味著在接收下一個幀之前，在當(dāng)前幀中處理器170能夠執(zhí)行動作的時間。如果，在第一幀中執(zhí)行多個動作之后、在第二幀中執(zhí)行多個動作的情況下，處理器170在第一幀中執(zhí)行的多個動作要在接收第二幀之前執(zhí)行。在此情況下，臨界值可以意味著在接收第二幀之前在第一幀中處理器170能夠執(zhí)行動作的時間。

在相加后的執(zhí)行預(yù)測時間不在臨界值以上的情況下，處理器170能夠執(zhí)行調(diào)度后的多個動作(S890)。

在相加后的執(zhí)行預(yù)測時間在臨界值以上的情況下，處理器170能夠判斷在多個動作中是否存在能夠排除的動作(S845)。例如，處理器170能夠判斷在第一至第三動作中是否存在能夠排除的動作。

如果，在存在能夠排除的動作的情況下，處理器170能夠排除被判斷為能夠排除的動作(S850)。例如，在第一動作被判斷為能夠排除的動作的情況下，處理器170能夠排除第一動作。如果，在車輛進(jìn)行高速道路行駛的情況下，由于在高速道路上沒有行人，因此能夠排除行人檢測。在這種狀況下，當(dāng)相加后的執(zhí)行預(yù)測時間在臨界值以上時，處理器170能夠在多個動作中將行人檢測動作判斷為能夠排除的動作。

另外，將被排除的動作在下一個幀中進(jìn)行調(diào)度的情況下，能夠在執(zhí)行順 序中配置于優(yōu)先順序。例如，在第二幀中在排除第一動作的狀態(tài)下，處理器170接收第三幀并針對第三幀執(zhí)行對上述第一至第三動作的第三調(diào)度的情況下，處理器170能夠?qū)⒌谝粍幼髟趫?zhí)行順序中配置于優(yōu)先順序。

另外，將被排除的動作在下一個幀中進(jìn)行調(diào)度的情況下，能夠在執(zhí)行順序中考慮其他動作的測定出的執(zhí)行時間而配置于優(yōu)先順序。例如，在第二幀中在排除第一動作的狀態(tài)下，處理器170接收第三幀并針對第三幀執(zhí)行對上述第一至第三動作的第三調(diào)度的情況下，處理器170考慮第二及第三動作的執(zhí)行時間而設(shè)定執(zhí)行順序。具體而言，在第二及第三動作中的一個的執(zhí)行時間為已設(shè)定的基準(zhǔn)值以上的情況下，處理器170能夠?qū)⒕哂谢鶞?zhǔn)值以上的執(zhí)行時間的動作判斷為重要動作。此時，處理器170能夠在執(zhí)行順序中將具有基準(zhǔn)值以上的執(zhí)行時間的動作與第一動作相比配置于優(yōu)先順序。

在排除了被判斷為能夠排除的動作之后，處理器170對多個動作中的各動作執(zhí)行預(yù)測時間進(jìn)行相加(S825)，在設(shè)定多個動作中的各動作的執(zhí)行順序之后(S835)，再次判斷相加后的執(zhí)行預(yù)測時間是否在臨界值以上(S840)。

如果，在不存在能夠排除的動作的情況下，處理器170能夠調(diào)整多個動作的執(zhí)行預(yù)測時間(S855)。例如，處理器170能夠調(diào)整第一至第三動作中至少一個動作的執(zhí)行預(yù)測時間。如果，在第一動作的執(zhí)行預(yù)測時間與第二動作及第三動作的執(zhí)行預(yù)測時間相比過長的情況下，處理器170能夠縮短第一動作的執(zhí)行預(yù)測時間。如果，第一至第三動作的執(zhí)行預(yù)測時間相似的情況下，處理器170能夠分別縮短第一至第三動作的執(zhí)行預(yù)測時間。

在調(diào)整了執(zhí)行預(yù)測時間之后，處理器170對多個動作中的各動作執(zhí)行預(yù)測時間進(jìn)行相加(S825)，在設(shè)定多個動作中的各動作的執(zhí)行順序之后(S835)，再次判斷相加后的執(zhí)行預(yù)測時間是否在臨界值以上(S840)。

圖9是根據(jù)本發(fā)明的實(shí)施例而說明車輛駕駛輔助裝置時所參照的處理器的內(nèi)部框圖。

參照圖9，處理器170可以包括前處理部410、調(diào)度部910、動作執(zhí)行部930及執(zhí)行時間測定部950。

處理器170從立體攝像頭模塊195接收立體影像(S810)。立體影像可以包括多個幀。車輛駕駛輔助裝置100中所包含的立體攝像頭模塊195能夠連續(xù)獲取立體影像，處理器170能夠從立體攝像頭模塊195連續(xù)接收立體影 像。例如，處理器170能夠接收第一幀。接著，處理器170能夠接收第二幀。接著，處理器170能夠接收第三幀。在此，第一至第三幀可以是按照所獲取的順序而從立體攝像頭模塊195傳遞到處理器170的立體影像。第一至第三幀隨著時間的流逝而顯示由處理器170接收的幀，但并不意味著必須在第一幀之后接收第二幀、且在第二幀之后接收第三幀。即，在第一及第二幀之間可以包括至少一個幀，在第二及第三幀之間可以包括至少一個幀。

前處理部410能夠從立體攝像頭模塊195接收立體影像，并執(zhí)行前處理。

例如，處理器170能夠執(zhí)行針對立體影像的噪聲降低(noise reduction)、改正(rectification)、校準(zhǔn)(calibration)、顏色增強(qiáng)(color enhancement)、顏色空間轉(zhuǎn)換(color space conversion；CSC)、內(nèi)插(interpolation)、攝像頭增益控制(camera gain control)等。隨之，能夠獲取比立體攝像頭195中拍攝的立體影像更加鮮明的立體影像。

另外，前處理部410能夠執(zhí)行3D基礎(chǔ)的前處理及2D基礎(chǔ)的前處理。例如，前處理部410能夠執(zhí)行3D基礎(chǔ)的前處理。如果，3D基礎(chǔ)的前處理能夠用于執(zhí)行檢測與預(yù)定目標(biāo)之間的距離的動作。例如，前處理部410能夠執(zhí)行2D基礎(chǔ)的前處理。如果，2D基礎(chǔ)的前處理能夠用于執(zhí)行目標(biāo)檢測動作。前處理部410在執(zhí)行動作時，能夠適當(dāng)選擇3D或2D基礎(chǔ)的前處理而利用。或者，前處理部410能夠?qū)?D或2D基礎(chǔ)的前處理進(jìn)行組合而利用。

調(diào)度部910能夠執(zhí)行對多個動作的調(diào)度。在此，調(diào)度可以是針對多個動作中的各動作預(yù)測執(zhí)行時間，并針對多個動作中的各動作設(shè)定執(zhí)行順序的動作。調(diào)度部910能夠基于針對多個動作中的各動作測定出的執(zhí)行時間來執(zhí)行調(diào)度。在此，測定出的執(zhí)行時間可以是在執(zhí)行時間測定部950中測定出的執(zhí)行時間?；蛘撸瑴y定出的執(zhí)行時間可以是存儲在DB141中的執(zhí)行時間。

例如，調(diào)度部910能夠接收第一幀，并針對第一幀執(zhí)行對第一至第三動作的第一調(diào)度。接著，動作執(zhí)行部930能夠按照第一調(diào)度來執(zhí)行第一至第三動作。接著，執(zhí)行時間測定部950能夠測定按照第一調(diào)度執(zhí)行的第一至第三各動作的執(zhí)行時間。接著，調(diào)度部910能夠接收第二幀，并針對第二幀執(zhí)行對第一至第三動作的第二調(diào)度。此時，調(diào)度部910能夠基于測定出的第一至第三各動作的執(zhí)行時間來執(zhí)行第二調(diào)度。

另外，在執(zhí)行第二調(diào)度之后，動作執(zhí)行部930能夠按照第二調(diào)度來執(zhí)行 第一至第三動作。接著，執(zhí)行時間測定部950能夠測定按照第二調(diào)度執(zhí)行的第一至第三各動作的執(zhí)行時間。接著，調(diào)度部910能夠基于測定出的按照第一調(diào)度執(zhí)行的第一至第三各動作的執(zhí)行時間、和測定出的按照第二調(diào)度執(zhí)行的第一至第三各動作的執(zhí)行時間，計(jì)算出第一至第三各動作的執(zhí)行時間的變化量。

具體而言，調(diào)度部910可以包括變化量計(jì)算部911、執(zhí)行時間預(yù)測部913、執(zhí)行順序設(shè)定部915及判斷部917。

變化量計(jì)算部911能夠計(jì)算出多個動作中的各動作的執(zhí)行時間的變化量。

例如，變化量計(jì)算部911能夠基于按照第一調(diào)度執(zhí)行的多個動作的執(zhí)行時間及按照第二調(diào)度執(zhí)行的多個動作的執(zhí)行時間，計(jì)算出多個動作的執(zhí)行時間的變化量。

例如，變化量計(jì)算部911能夠基于按照第一調(diào)度執(zhí)行的第一動作的執(zhí)行時間及按照第二調(diào)度執(zhí)行的第一動作的執(zhí)行時間，計(jì)算出第一動作執(zhí)行時間的變化量。

例如，變化量計(jì)算部911能夠基于按照第一調(diào)度執(zhí)行的第二動作的執(zhí)行時間及按照第二調(diào)度執(zhí)行的第二動作的執(zhí)行時間，計(jì)算出第二動作執(zhí)行時間的變化量。

例如，變化量計(jì)算部911能夠基于按照第一調(diào)度執(zhí)行的第三動作的執(zhí)行時間及按照第二調(diào)度執(zhí)行的第三動作的執(zhí)行時間，計(jì)算出第三動作執(zhí)行時間的變化量。

另外，能夠?qū)?zhí)行時間的變化量累積存儲到DB141中。

另外，多個動作中的各動作的執(zhí)行時間的變化量能夠連續(xù)計(jì)算。例如，變化量計(jì)算部911能夠計(jì)算出第一及第二幀中的根據(jù)各動作的執(zhí)行時間的執(zhí)行時間的變化量。并且，變化量計(jì)算部911能夠計(jì)算出第二及第三幀中的根據(jù)各動作的執(zhí)行時間的執(zhí)行時間的變化量。并且，變化量計(jì)算部911能夠計(jì)算出第三及第四幀中的根據(jù)各動作的執(zhí)行時間的執(zhí)行時間的變化量。在此情況下，各個執(zhí)行時間的變化量可以具有最小值、最大值、平均值。根據(jù)實(shí)施例，變化量計(jì)算部911能夠在累積而存儲的執(zhí)行時間的變化量中以最大值為基準(zhǔn)來預(yù)測多個動作中的各動作的執(zhí)行時間。在此情況下，具有執(zhí)行時間預(yù) 測產(chǎn)生誤差的概率降低的優(yōu)點(diǎn)。

執(zhí)行時間預(yù)測部913能夠預(yù)測多個動作中的各動作的執(zhí)行時間。

執(zhí)行時間預(yù)測部913能夠基于在前一個幀中測定出的多個動作中的各動作的執(zhí)行時間，在下一個幀中預(yù)測多個動作中的各動作的執(zhí)行時間。

根據(jù)第一實(shí)施例，執(zhí)行時間預(yù)測部913能夠基于針對第一幀測定出的多個動作中的各動作的執(zhí)行時間，針對第二幀預(yù)測多個動作中的各動作的執(zhí)行時間。執(zhí)行時間預(yù)測部913能夠基于針對第二幀測定出的多個動作中的各動作的執(zhí)行時間，針對第三幀預(yù)測多個動作中的各動作的執(zhí)行時間。

根據(jù)第二實(shí)施例，執(zhí)行時間測定部950測定按照第一調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間。接著，執(zhí)行時間測定部950測定按照第二調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間。接著，變化量計(jì)算部911能夠基于測定出的按照第一調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間、和測定出的按照第二調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間，計(jì)算出多個動作中的各動作的執(zhí)行時間的變化量。接著，針對第三幀執(zhí)行對多個動作的第三調(diào)度的情況下，執(zhí)行時間預(yù)測部913能夠反映各動作的執(zhí)行時間的變化量。例如，執(zhí)行時間預(yù)測部913通過對測定出的按照第二調(diào)度執(zhí)行的多個動作中的各動作的執(zhí)行時間分別加上多個動作中的各動作的執(zhí)行時間的變化量，能夠預(yù)測多個動作中的各動作的執(zhí)行時間。

根據(jù)第一實(shí)施例，執(zhí)行時間測定部950能夠測定按照第一調(diào)度執(zhí)行的第一動作執(zhí)行時間。接著，執(zhí)行時間預(yù)測部913在執(zhí)行第二調(diào)度時，能夠基于測定出的按照第一調(diào)度執(zhí)行的第一動作執(zhí)行時間，針對第二幀預(yù)測第一動作執(zhí)行時間。并且，執(zhí)行時間測定部950能夠測定按照第二調(diào)度執(zhí)行的第一動作執(zhí)行時間。接著，執(zhí)行時間預(yù)測部915在執(zhí)行第三調(diào)度時，能夠基于測定出的按照第二調(diào)度執(zhí)行的第一動作執(zhí)行時間，針對第三幀預(yù)測第一動作執(zhí)行時間。

根據(jù)第二實(shí)施例，執(zhí)行時間測定部950能夠測定按照第一調(diào)度執(zhí)行的第一動作的執(zhí)行時間。并且，執(zhí)行時間測定部950能夠測定按照第二調(diào)度執(zhí)行的第一動作的執(zhí)行時間。接著，變化量計(jì)算部911能夠基于按照第一調(diào)度執(zhí)行的第一動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第一動作執(zhí)行時間，來計(jì)算出第一動作執(zhí)行時間的變化量。接著，執(zhí)行時間預(yù)測部915能夠通過對按照第 二調(diào)度執(zhí)行的第一動作的執(zhí)行時間加上第一動作執(zhí)行時間的變化量，來針對第三調(diào)度預(yù)測第一動作的執(zhí)行時間。

根據(jù)第一實(shí)施例，執(zhí)行時間測定部950能夠測定按照第一調(diào)度執(zhí)行的第二動作執(zhí)行時間。接著，執(zhí)行時間預(yù)測部913在執(zhí)行第二調(diào)度時，能夠基于測定出的按照第一調(diào)度執(zhí)行的第二動作執(zhí)行時間，來針對第二幀預(yù)測第二動作執(zhí)行時間。并且，執(zhí)行時間測定部950能夠測定按照第二調(diào)度執(zhí)行的第二動作執(zhí)行時間。接著，執(zhí)行時間預(yù)測部915在執(zhí)行第三調(diào)度時，能夠基于測定出的按照第二調(diào)度執(zhí)行的第二動作執(zhí)行時間，來針對第三幀預(yù)測第二動作執(zhí)行時間。

根據(jù)第二實(shí)施例，執(zhí)行時間測定部950能夠測定按照第一調(diào)度執(zhí)行的第二動作的執(zhí)行時間。并且，執(zhí)行時間測定部950能夠測定按照第二調(diào)度執(zhí)行的第二動作的執(zhí)行時間。接著，變化量計(jì)算部911能夠基于按照第一調(diào)度執(zhí)行的第二動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第二動作執(zhí)行時間，來計(jì)算出第二動作執(zhí)行時間的變化量。接著，執(zhí)行時間預(yù)測部915能夠通過對按照第二調(diào)度執(zhí)行的第一動作的執(zhí)行時間加上第二動作執(zhí)行時間的變化量，來針對第三調(diào)度預(yù)測第一動作的執(zhí)行時間。

根據(jù)第一實(shí)施例，執(zhí)行時間測定部950能夠測定按照第一調(diào)度執(zhí)行的第三動作執(zhí)行時間。接著，執(zhí)行時間預(yù)測部913在執(zhí)行第二調(diào)度時，能夠基于測定出的按照第一調(diào)度執(zhí)行的第三動作執(zhí)行時間，來針對第二幀預(yù)測第三動作執(zhí)行時間。并且，執(zhí)行時間測定部950能夠測定按照第二調(diào)度執(zhí)行的第三動作執(zhí)行時間。接著，執(zhí)行時間預(yù)測部915在執(zhí)行第三調(diào)度時，能夠基于測定出的按照第二調(diào)度執(zhí)行的第三動作執(zhí)行時間，來針對第三幀預(yù)測第三動作執(zhí)行時間。

根據(jù)第二實(shí)施例，執(zhí)行時間測定部950能夠測定按照第一調(diào)度執(zhí)行的第三動作的執(zhí)行時間。并且，執(zhí)行時間測定部950能夠測定按照第二調(diào)度執(zhí)行的第三動作的執(zhí)行時間。接著，變化量計(jì)算部911能夠基于按照第一調(diào)度執(zhí)行的第三動作執(zhí)行時間及按照第二調(diào)度執(zhí)行的第三動作執(zhí)行時間，計(jì)算出第三動作執(zhí)行時間的變化量。接著，執(zhí)行時間預(yù)測部915能夠通過對按照第二調(diào)度執(zhí)行的第一動作的執(zhí)行時間加上第二動作執(zhí)行時間的變化量，來針對第三調(diào)度預(yù)測第三動作的執(zhí)行時間。

另外，執(zhí)行時間預(yù)測部913在預(yù)測第一動作的執(zhí)行時間時，能夠在基準(zhǔn)時間以上的范圍內(nèi)進(jìn)行預(yù)測。在此，第一動作可以是多個動作中必須要執(zhí)行的動作。并且，第一動作可以是在未執(zhí)行基準(zhǔn)時間以上的情況下、執(zhí)行動作的結(jié)果明顯降低的動作。如果，在行人檢測(Pedestrian Detection)動作執(zhí)行小于25msec的時間的情況下，當(dāng)未實(shí)現(xiàn)準(zhǔn)確的檢測時，執(zhí)行時間預(yù)測部913能夠在25msec以上的范圍內(nèi)對行人檢測進(jìn)行預(yù)測。

執(zhí)行順序設(shè)定部915能夠設(shè)定多個動作中的各動作的執(zhí)行順序。例如，執(zhí)行順序設(shè)定部915能夠根據(jù)預(yù)定的基準(zhǔn)，對第一至第三動作中哪個動作以在優(yōu)先順序執(zhí)行且哪個動作以在后順序執(zhí)行進(jìn)行設(shè)定。

在此，執(zhí)行順序能夠設(shè)定成按照從執(zhí)行時間預(yù)測部913預(yù)測出的多個動作中的各動作的執(zhí)行時間較短的順序配置于優(yōu)先順序。如果，在預(yù)測出的執(zhí)行時間以第一動作、第二動作、第三動作的順序較長的情況下，執(zhí)行順序設(shè)定部915能夠按照第一動作、第二動作及第三動作的順序設(shè)定執(zhí)行順序。在此情況下，通過首先執(zhí)行預(yù)測出的執(zhí)行時間較短的動作，具有能夠在有限的時間內(nèi)執(zhí)行更多的動作的優(yōu)點(diǎn)。

在此，執(zhí)行順序可以反映車輛的行駛環(huán)境或外部環(huán)境而設(shè)定。另外，處理器170還可以包括行駛環(huán)境及外部環(huán)境判斷部(未圖示)。行駛環(huán)境及外部環(huán)境判斷部(未圖示)能夠基于從立體攝像頭模塊195接收的立體影像而判斷行駛環(huán)境或外部環(huán)境。或者，行駛環(huán)境及外部環(huán)境判斷部(未圖示)能夠基于通過接口部130接收的各種傳感器信息而判斷行駛環(huán)境或外部環(huán)境。此時，行駛環(huán)境可以是車輛所行駛的道路的種類為高速道路、國道、鄉(xiāng)村道路及市內(nèi)道路中的任一種。并且，外部環(huán)境可以是車輛所行駛的區(qū)間的狀態(tài)、車輛行駛時的天氣的狀態(tài)及車輛所行駛的時間中的任一種。

在此，執(zhí)行順序能夠按照已設(shè)定的默認(rèn)(default)順序進(jìn)行設(shè)定。例如，在測定多個動作中的各動作的執(zhí)行時間之前，執(zhí)行順序設(shè)定部915能夠按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序。即，在前一個幀中無法測定多個動作執(zhí)行時間的情況下，執(zhí)行順序設(shè)定部915能夠按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序。如果，在最初設(shè)定執(zhí)行順序的情況、或者在產(chǎn)生錯誤之后設(shè)定執(zhí)行順序的情況下，執(zhí)行順序設(shè)定部915能夠按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序?；蛘撸瑘?zhí)行順序設(shè)定部915能夠在預(yù)定的環(huán)境下按照已設(shè)定的默認(rèn)順 序來設(shè)定執(zhí)行順序。如果，在車輛的外部環(huán)境為隧道進(jìn)入或退出區(qū)間的情況、日出或日落時間的情況、以及下雨或下雪的天氣的情況中的任一種的情況下，執(zhí)行順序設(shè)定部915能夠按照已設(shè)定的默認(rèn)順序來設(shè)定執(zhí)行順序。

另外，在多個動作中存在必須要執(zhí)行的動作的情況下，執(zhí)行順序設(shè)定部915能夠?qū)⒈仨殘?zhí)行動作設(shè)定為最優(yōu)先順序。如果，在第一動作為車輛安全運(yùn)行相關(guān)動作的情況下，執(zhí)行順序設(shè)定部915能夠在執(zhí)行順序中將第一動作設(shè)定為最優(yōu)先順序。例如，執(zhí)行順序設(shè)定部915能夠?qū)⒍鄠€動作中與行人安全相關(guān)的行人檢測(Pedestrian Detection)在執(zhí)行順序中設(shè)定為最優(yōu)先順序。存儲器140能夠預(yù)先存儲必須要執(zhí)行的動作列表。執(zhí)行順序設(shè)定部915能夠按照存儲在存儲器140中的列表，在執(zhí)行順序中首先設(shè)定優(yōu)先順序之后，設(shè)定之后的順序。

另外，在第二幀中存在多個動作中必須要執(zhí)行的動作的情況下，執(zhí)行順序設(shè)定部915能夠?qū)⒈仨殘?zhí)行動作設(shè)定為最優(yōu)先順序。如果，在第二幀中第一動作為車輛安全運(yùn)行相關(guān)動作的情況下，執(zhí)行順序設(shè)定部915能夠在執(zhí)行順序中將第一動作設(shè)定為最優(yōu)先順序。接著，在從立體攝像頭模塊195接收上述第三幀、并針對第三幀執(zhí)行對上述第一至第三動作的第三調(diào)度的情況下，執(zhí)行順序設(shè)定部915能夠反復(fù)在執(zhí)行順序中將第一動作設(shè)定為最優(yōu)先順序。

判斷部917能夠?qū)Χ鄠€動作中的各動作執(zhí)行預(yù)測時間進(jìn)行相加，并判斷相加后的執(zhí)行預(yù)測時間是否在臨界值以上。例如，判斷部917能夠?qū)Φ谝粍幼髦恋谌齽幼鞯膱?zhí)行預(yù)測時間進(jìn)行相加，并判斷相加后的執(zhí)行預(yù)測時間是否在臨界值以上。

在此，臨界值可以意味著處理器170能夠處理的極限值。例如，在連續(xù)接收的多個幀中，要在接收下一個幀之前完成當(dāng)前幀的動作。在此情況下，臨界值可以意味著在接收下一個幀之前、在當(dāng)前幀中處理器170能夠執(zhí)行動作的時間。如果，在第一幀中執(zhí)行多個動作之后在第二幀中執(zhí)行多個動作的情況下，處理器170在第一幀中執(zhí)行的多個動作要在接收第二幀之前執(zhí)行。在此情況下，臨界值可以意味著在接收第二幀之前、在第一幀中處理器170能夠執(zhí)行動作的時間。

在相加后的執(zhí)行預(yù)測時間不在臨界值以上的情況下，動作執(zhí)行部930能 夠執(zhí)行調(diào)度后的多個動作。

在相加后的執(zhí)行預(yù)測時間在臨界值以上的情況下，判斷部917能夠判斷在多個動作中是否存在能夠排除的動作。例如，判斷部917能夠判斷在第一至第三動作中是否存在能夠排除的動作。

如果，在存在能夠排除的動作的情況下，判斷部917能夠排除被判斷為能夠排除的動作。例如，在第一動作被判斷為能夠排除的動作的情況下，判斷部917能夠排除第一動作。如果，在車輛進(jìn)行高速道路行駛的情況下，由于在高速道路上沒有行人，因此能夠排除行人檢測。在這種狀況下，當(dāng)相加后的執(zhí)行預(yù)測時間在臨界值以上時，判斷部917能夠在多個動作中將行人檢測動作判斷為能夠排除的動作。

另外，被排除的動作在下一個幀中進(jìn)行調(diào)度的情況下，能夠在執(zhí)行順序中配置于優(yōu)先順序。例如，在第二幀中排除了第一動作的狀態(tài)下，接收第三幀并針對第三幀執(zhí)行對上述第一至第三動作的第三調(diào)度的情況下，執(zhí)行順序設(shè)定部915能夠?qū)⒌谝粍幼髟趫?zhí)行順序中配置于優(yōu)先順序。

另外，被排除的動作在下一個幀中進(jìn)行調(diào)度的情況下，能夠在執(zhí)行順序中考慮其他動作的測定出的執(zhí)行時間而配置于優(yōu)先順序。例如，在第二幀中排除了第一動作的狀態(tài)下，接收第三幀并針對第三幀執(zhí)行對上述第一至第三動作的第三調(diào)度的情況下，執(zhí)行順序設(shè)定部915能夠考慮第二及第三動作的執(zhí)行時間而設(shè)定執(zhí)行順序。具體而言，在第二及第三動作中任一個的執(zhí)行時間為已設(shè)定的基準(zhǔn)值以上的情況下，執(zhí)行順序設(shè)定部915能夠在執(zhí)行順序中將具有基準(zhǔn)值以上的執(zhí)行時間的動作與第一動作相比配置于優(yōu)先順序。

在排除了被判斷為能夠排除的動作之后，判斷部917能夠?qū)Χ鄠€動作中的各動作執(zhí)行預(yù)測時間進(jìn)行相加。執(zhí)行順序設(shè)定部915能夠設(shè)定多個動作中的各動作的執(zhí)行順序。判斷部917能夠再次判斷相加后的執(zhí)行預(yù)測時間是否在臨界值以上。

如果，在不存在能夠排除的動作的情況下，執(zhí)行時間預(yù)測部913能夠調(diào)整多個動作的執(zhí)行預(yù)測時間。例如，執(zhí)行時間預(yù)測部913能夠調(diào)整第一至第三動作中至少一個動作的執(zhí)行預(yù)測時間。如果，在第一動作的執(zhí)行預(yù)測時間與第二動作及第三動作的執(zhí)行預(yù)測時間相比過長的情況下，執(zhí)行時間預(yù)測部913能夠縮短第一動作的執(zhí)行預(yù)測時間。如果，在第一至第三動作的執(zhí)行預(yù) 測時間相似的情況下，執(zhí)行時間預(yù)測部913能夠分別縮短第一至第三動作的執(zhí)行預(yù)測時間。

在調(diào)整執(zhí)行預(yù)測時間之后，判斷部917能夠?qū)Χ鄠€動作中的各動作執(zhí)行預(yù)測時間進(jìn)行相加。執(zhí)行順序設(shè)定部915能夠設(shè)定多個動作中的各動作的執(zhí)行順序。判斷部917能夠再次判斷相加后的執(zhí)行預(yù)測時間是否在臨界值以上。

動作執(zhí)行部930可以是包括在圖4A至圖4B中說明的差異運(yùn)算部420、分割部432、目標(biāo)檢測部434、目標(biāo)確認(rèn)部436、目標(biāo)跟蹤部440及應(yīng)用程序部450的概念。在本說明書中，關(guān)于多個動作主要舉例說明目標(biāo)檢測，但是在本說明書中多個動作不限于目標(biāo)檢測。即，在本說明書中多個動作可以是包括在處理器170中能夠執(zhí)行的所有動作的概念。

動作執(zhí)行部930能夠按照調(diào)度來執(zhí)行多個動作。例如，動作執(zhí)行部930能夠在第一幀中按照第一調(diào)度來執(zhí)行第一動作931、第二動作932及第三動作933。并且，動作執(zhí)行部930能夠在第二幀中按照第二調(diào)度來執(zhí)行第一動作931、第二動作932及第三動作933。并且，動作執(zhí)行部930能夠在第三幀中按照第三調(diào)度來執(zhí)行第一動作931、第二動作932及第三動作933。在本附圖中僅示出至第三動作933，但當(dāng)然還能夠執(zhí)行第三動作933以上的動作。

例如，動作執(zhí)行部930能夠執(zhí)行行車線檢測(Lane Detection，LD)、周邊車輛檢測(Vehicle Detection，VD)、行人檢測(Pedestrian Detection，PD)、燈光檢測(Brightspot Detection，BD)、交通標(biāo)志牌檢測(Traffic Sign Recognition，TSR)、道路表面檢測、自行車檢測(Bicyle Detection，BD)、馬達(dá)循環(huán)檢測(Motor Cycle Detection，MCD)、遠(yuǎn)光燈協(xié)助(High Beam Assistance)等。

執(zhí)行時間測定部950能夠針對多個動作中的各動作測定執(zhí)行時間。

例如，執(zhí)行時間測定部950能夠針對第一幀測定按照第一調(diào)度執(zhí)行第一動作所需的時間。并且，執(zhí)行時間測定部950能夠在第二幀中測定按照第二調(diào)度執(zhí)行第一動作所需的時間。并且，執(zhí)行時間測定部950能夠針對第三幀測定按照第三調(diào)度執(zhí)行第一動作所需的時間。

例如，執(zhí)行時間測定部950能夠針對第一幀測定按照第一調(diào)度執(zhí)行第二動作所需的時間。并且，執(zhí)行時間測定部950能夠在第二幀中測定按照第二 調(diào)度執(zhí)行第二動作所需的時間。并且，執(zhí)行時間測定部950能夠針對第三幀測定按照第三調(diào)度執(zhí)行第二動作所需的時間。

例如，執(zhí)行時間測定部950能夠針對第一幀測定按照第一調(diào)度執(zhí)行第三動作所需的時間。并且，執(zhí)行時間測定部950能夠在第二幀中測定按照第二調(diào)度執(zhí)行第三動作所需的時間。并且，執(zhí)行時間測定部950能夠針對第三幀測定按照第三調(diào)度執(zhí)行第三動作所需的時間。

另外，針對多個動作中的各動作測定出的執(zhí)行時間能夠存儲在DB141中。在此，DB141可以意味著在第一存儲器140中所具備的預(yù)定的數(shù)據(jù)庫。

圖10示出了根據(jù)本發(fā)明的實(shí)施例而在車輛駕駛輔助裝置中具備多個處理器的情況。

參照圖10，處理器170可以是多個。例如，可以包括第一處理器1010、第二處理器1020及第三處理器1030。附圖中僅示出至第三處理器1030，但還可以包括其以上的處理器。

在具備多個處理器1010、1020、1030的情況下，多個動作能夠分到多個處理器1010、1020、1030中執(zhí)行。

例如，第一處理器1010可以是主處理器。第一處理器1010可以包括參照圖9進(jìn)行了說明的前處理部410、調(diào)度部910、第一動作執(zhí)行部930a、動作分配部(未圖示)及第一執(zhí)行時間測定部950a。第二處理器1020及第三處理器1030可以是副處理器。第二處理器1020可以包括第二動作執(zhí)行部930b及第二執(zhí)行時間測定部950b。第三處理器1030可以包括第三動作執(zhí)行部930c及第三執(zhí)行時間測定部950c。各個單元的動作如參照圖9進(jìn)行說明的內(nèi)容。

以下，以第一處理器1010及第二處理器1020的動作為基準(zhǔn)而進(jìn)行說明。

第一處理器1010能夠基于測定出的多個動作中的各動作的執(zhí)行時間，預(yù)測多個動作中的各動作的執(zhí)行時間。第一處理器1010能夠基于預(yù)測出的多個動作中的各動作的執(zhí)行時間，對在第一處理器1010及第二處理器1020中執(zhí)行的動作進(jìn)行分配。第一處理器1030能夠設(shè)定分別在第一處理器1010及第二處理器1020中執(zhí)行的動作中的各動作的執(zhí)行順序。

例如，第一處理器1010能夠基于測定出的各動作的執(zhí)行時間，預(yù)測第一至第三各動作的執(zhí)行時間。第一處理器1010能夠基于預(yù)測出的第一至第 三各動作的執(zhí)行時間，對第一處理器1010以執(zhí)行第一動作及第二動作的方式進(jìn)行分配，對第二處理器1020以執(zhí)行第三動作的方式進(jìn)行分配。第一處理器1010能夠設(shè)定分配給第一處理器1010的第一動作及第二動作和分配給第二處理器1020的第三動作各自的執(zhí)行順序。

另外，在對第一處理器1010分配第一動作及第二動作，且對第二處理器1020分配第三動作的情況下，第一處理器1010能夠測定第一及第二各動作的執(zhí)行時間并進(jìn)行相加。第一處理器1010能夠判斷相加后的預(yù)測執(zhí)行時間是否在臨界值以上。在此，臨界值可以意味著第一處理器1010能夠處理的極限值。例如，在連續(xù)接收的多個幀中，要在接收下一個幀之前完成當(dāng)前幀的動作。在此情況下，臨界值可以意味著在接收下一個幀之前，在當(dāng)前幀中第一處理器1010能夠執(zhí)行動作的時間。

如果，在相加后的預(yù)測執(zhí)行時間在臨界值以上的情況下，第一處理器1010能夠?qū)⒌谝粍幼骷暗诙幼髦械囊粋€動作再分配到第二處理器1020。在此情況下，第二處理器1020能夠進(jìn)一步執(zhí)行再分配的動作。即，第二處理器1020能夠進(jìn)一步執(zhí)行第一動作及第二動作中的一個動作。

另外，第一處理器1010中所包含的前處理部410能夠執(zhí)行2D及3D基礎(chǔ)的前處理。此時，第一處理器1010能夠?qū)⒒?D基礎(chǔ)的前處理而執(zhí)行的第一動作及第二動作分配給第一處理器1010，將基于3D基礎(chǔ)的前處理而執(zhí)行的第三動作分配給第二處理器1020。在此情況下，第一處理器1010能夠測定第一及第二各動作的執(zhí)行時間并進(jìn)行相加，判斷相加后的預(yù)測執(zhí)行時間是否在臨界值以上。在此，臨界值可以意味著第一處理器1010能夠處理的極限值。例如，在連續(xù)接收的多個幀中，要在接收下一個幀之前完成當(dāng)前幀的動作。在此情況下，臨界值可以意味著在接收下一個幀之前，在當(dāng)前幀中第一處理器1010能夠執(zhí)行動作的時間。

如果，在相加后的預(yù)測執(zhí)行時間在臨界值以上的情況下，第一處理器1010能夠?qū)⒌谝粍幼骷暗诙幼髦械囊粋€動作再分配到第二處理器1020。在此情況下，第二處理器1020能夠進(jìn)一步執(zhí)行再分配的動作。在此，第二處理器1020能夠進(jìn)一步執(zhí)行基于3D基礎(chǔ)的前處理而再分配的動作。即，第二處理器1020能夠進(jìn)一步基于3D基礎(chǔ)的前處理而執(zhí)行第一動作及第二動作中的一個動作。

如上所述，通過對在第一處理器1010及第二處理器1020中執(zhí)行的動作靈活地進(jìn)行分配，能有效地使用處理器170。并且，處理器170能夠執(zhí)行穩(wěn)定的動作。

另外，第一處理器1010能夠基于預(yù)測出的各動作的執(zhí)行時間，以在第一處理器1010中執(zhí)行的動作及在第二處理器1020中執(zhí)行的動作形成平衡的方式進(jìn)行分配。即，分配成在第一處理器1010中執(zhí)行的動作所需的時間、與在第二處理器1020中執(zhí)行的動作所需的時間之間的時間性差別較小。如果，在預(yù)測出的第一動作執(zhí)行時間為30msec，預(yù)測出的第二動作執(zhí)行時間為10msec，且預(yù)測出的第三動作執(zhí)行時間為5msec的情況下，第一處理器1010能夠以施加于第一及第二處理器1010、1020的負(fù)載形成平衡的方式，將第一動作分配給第一處理器1010，將第二及第三動作分配給第二處理器1020。

圖11A至圖11B是在說明根據(jù)本發(fā)明的實(shí)施例的車輛駕駛輔助裝置的動作時所參照的處理器的內(nèi)部框圖。

圖11A示出了不具備調(diào)度部910及執(zhí)行時間測定部950的處理器170的內(nèi)部框圖。

參照圖11A，處理器170可以包括前處理部410、動作執(zhí)行部930。

前處理部410能夠從立體攝像頭模塊195接收立體影像，并執(zhí)行前處理。例如，前處理部410能夠執(zhí)行3D基礎(chǔ)(Engine 3D)的前處理及2D基礎(chǔ)(Engine2D)的前處理。

動作執(zhí)行部930能夠以前處理為基礎(chǔ)，按照已設(shè)定的順序及時間而執(zhí)行多個動作。例如，動作執(zhí)行部930能夠按照已設(shè)定的順序及時間，執(zhí)行行車線檢測(Lane Detection，LD)、周邊車輛檢測(Vehicle Detection，VD)、行人檢測(Pedestrian Detection，PD)、燈光檢測(Brightspot Detection，BD)、交通標(biāo)志牌檢測(Traffic Sign Recognition，TSR)、道路表面檢測、自行車檢測(Bicyle Detection，BD)、馬達(dá)循環(huán)檢測(Motor Cycle Detection，MCD)、遠(yuǎn)光燈協(xié)助(High Beam Assistance)等。在此情況下，多個動作各自的處理時間及執(zhí)行順序已經(jīng)被確定，因此有可能存在難以應(yīng)對可變狀況的問題。

圖11B示出了具備調(diào)度部910及執(zhí)行時間測定部950的處理器170的內(nèi)部框圖。

參照圖11B，處理器170包括前處理部410、調(diào)度部910、動作執(zhí)行部 930及執(zhí)行時間測定部950。

前處理部410能夠從立體攝像頭模塊195接收立體影像，并執(zhí)行前處理。例如，前處理部410能夠執(zhí)行3D基礎(chǔ)(Engine 3D)的前處理及2D基礎(chǔ)(Engine2D)的前處理。

調(diào)度部910能夠執(zhí)行對多個動作的調(diào)度。在此，調(diào)度可以是針對多個動作中的各動作預(yù)測執(zhí)行時間，并針對多個動作中的各動作設(shè)定執(zhí)行順序的動作。調(diào)度部910能夠基于針對多個動作中的各動作測定出的執(zhí)行時間來執(zhí)行調(diào)度。在此，測定出的執(zhí)行時間可以是在執(zhí)行時間測定部950中測定出的執(zhí)行時間?；蛘?，測定出的執(zhí)行時間可以是存儲在DB141中的執(zhí)行時間。

動作執(zhí)行部930能夠按照調(diào)度來執(zhí)行多個動作。例如，動作執(zhí)行部930能夠按照在調(diào)度部910中執(zhí)行的調(diào)度，執(zhí)行行車線檢測(Lane Detection，LD)、周邊車輛檢測(Vehicle Detection，VD)、行人檢測(Pedestrian Detection，PD)、燈光檢測(Brightspot Detection，BD)、交通標(biāo)志牌檢測(Traffic Sign Recognition，TSR)、道路表面檢測、自行車檢測(Bicyle Detection，BD)、馬達(dá)循環(huán)檢測(Motor Cycle Detection，MCD)、遠(yuǎn)光燈協(xié)助(High Beam Assistance)等。

執(zhí)行時間測定部950能夠針對多個動作中的各動作測定執(zhí)行時間。針對多個動作中的各動作測定出的執(zhí)行時間能夠存儲在DB141中。并且，針對多個動作中的各動作測定出的執(zhí)行時間能夠傳遞到調(diào)度部910。

在此情況下，基于調(diào)度來執(zhí)行多個動作，因此具有穩(wěn)定且有效地在車輛輔助裝置100中執(zhí)行多個動作的效果。并且，通過車輛輔助裝置100的性能提高，能夠?qū)Υ畛嗽谲囕v中的用戶提供更好的便利。

圖12是根據(jù)本發(fā)明的實(shí)施例而在相同的狀況下，對第一動作及第二動作的執(zhí)行時間進(jìn)行比較時所參照的圖。

圖12A及圖12B分別示出了在進(jìn)行相互不同區(qū)間的高速道路行駛時，通過立體攝像頭模塊195獲取的影像。

在圖12A中，處理器170能夠執(zhí)行周邊車輛檢測(Vehicle Detection)。此時，處理器170能夠測定周邊車輛檢測動作執(zhí)行時間為12.334msec。并且，處理器170能夠執(zhí)行行車線檢測(Lane Detection)。此時，處理器170能夠測定行車線檢測動作執(zhí)行時間為17.874msec。

在圖12B中，處理器170能夠執(zhí)行周邊車輛檢測(Vehicle Detection)。此時，處理器170能夠測定周邊車輛檢測動作執(zhí)行時間為7.634msec。并且，處理器170能夠執(zhí)行行車線檢測(Lane Detection)。此時，處理器170能夠測定行車線檢測動作執(zhí)行時間為23.747msec。

如果，假設(shè)處理器170能夠處理的極限值為33msec，以對周邊車輛檢測分配11msec且對行車線檢測分配22msec的方式分配時間。在此情況下，如圖11A所示，在無調(diào)度的狀況下執(zhí)行動作的情況下，在圖12A中，行車線檢測能夠在被分配的時間內(nèi)正常執(zhí)行，而周邊車輛檢測超過了被分配的時間而無法正常執(zhí)行。

并且，在圖12B中，周邊車輛檢測能夠在被分配的時間內(nèi)正常執(zhí)行，而行車線檢測超出了被分配的時間而無法正常執(zhí)行。

如此，雖然處理器170具有能夠執(zhí)行所有的周邊車輛檢測動作及行車線檢測動作的能力，但是由于對各個動作一并分配時間，存在周邊車輛檢測動作及行車線檢測動作無法全部執(zhí)行的問題。

如果，如圖11B所示，在以前一個幀為基礎(chǔ)來執(zhí)行調(diào)度之后執(zhí)行動作的情況下，在圖12A中，處理器170能夠以12.334msec為基礎(chǔ)來預(yù)測周邊車輛檢測執(zhí)行時間，能夠以17.874msec為基礎(chǔ)來預(yù)測行車線檢測執(zhí)行時間。此時，能夠基于預(yù)測出的各自的時間來分配時間，因此12.334msec和17.874msec之和即30.198msec為作為極限值的33msec以下，因此周邊車輛檢測及行車線檢測均能正常執(zhí)行。

并且，在圖12B中，處理器170也能夠以7.634msec為基礎(chǔ)來預(yù)測周邊車輛檢測執(zhí)行時間，能夠以23.747msec為基礎(chǔ)來預(yù)測行車線檢測執(zhí)行時間。此時，能夠基于預(yù)測出的各自的時間來分配時間，因此7.634msec和23.747msec之和即31.381為作為極限值的33msec以下，因此周邊車輛檢測及行車線檢測均能正常執(zhí)行。

圖13A至圖17是根據(jù)本發(fā)明的實(shí)施例而在相互不同的狀況下，執(zhí)行第一動作及第二動作的情況下，對執(zhí)行時間進(jìn)行比較時所參照的圖。

圖13A至圖13B是在說明在車輛專用道路上行駛時，以通過立體攝像頭模塊195獲取的影像為基礎(chǔ)來進(jìn)行的周邊車輛檢測(Vehicle Detection)動作時進(jìn)行參照。

首先，參照圖13A，在從立體攝像頭模塊195接收的影像中，處理器170能夠檢測5臺的周邊車輛1310。

此時，如圖13B所示，能夠用曲線來表示根據(jù)幀(X軸)的測定執(zhí)行時間(VD)及執(zhí)行時間的變化量(VD diff)。

圖13B的(a)部分表示500幀中的測定執(zhí)行時間(VD)及執(zhí)行時間變化量(VD diff)，圖13B的(b)部分對圖13B的(a)部分中的預(yù)定部分進(jìn)行放大而表示50幀中的測定執(zhí)行時間(VD)及執(zhí)行時間變化量(VD diff)。

在圖13B的(a)部分中雖然看似周邊車輛檢測(VD)測定執(zhí)行時間存在急劇的變化，但如圖13B的(b)部分所示，如果對圖13B的(a)部分的局部進(jìn)行放大，則能夠確認(rèn)到變化的幅度平緩。

周邊車輛檢測執(zhí)行時間變化量(VD diff)表示之前的幀與下一個幀的測定執(zhí)行時間變化量。能夠確認(rèn)到周邊車輛檢測執(zhí)行時間變化量(VD diff)無較大的差別而幾乎保持恒定。

結(jié)果，各幀在車輛執(zhí)行時間上不存在較大的變化，因此能夠基于在之前的幀中測定出的周邊車輛檢測動作執(zhí)行時間，在下一個幀中預(yù)測周邊車輛檢測動作執(zhí)行時間。并且，能夠基于在之前的幀中計(jì)算出的周邊車輛檢測執(zhí)行時間變化量，在下一個幀中預(yù)測周邊車輛檢測動作執(zhí)行時間。

圖14A至圖14B是在說明在胡同道路上行駛時，以通過立體攝像頭模塊195獲取的影像為基礎(chǔ)來進(jìn)行的行人檢測(Pedestrian Detection)動作時進(jìn)行參照。

參照圖14A，在從立體攝像頭模塊195接收的影像中，處理器170能夠檢測出1臺周邊車輛1410。并且，處理器170能夠檢測出5名行人1420。

此時，如圖14B所示，能夠用曲線來表示根據(jù)幀(X軸)的測定執(zhí)行時間(PD)及執(zhí)行時間的變化量(PD diff)。

圖14B的(a)部分表示500幀中的測定執(zhí)行時間(PD)及執(zhí)行時間變化量(PD diff)，圖14B的(b)部分對圖14B的(a)部分的預(yù)定部分進(jìn)行放大而表示50幀中的測定執(zhí)行時間(PD)及執(zhí)行時間變化量(PD diff)。

在圖14B的(a)部分中雖然看似行人檢測(PD)測定執(zhí)行時間存在急劇的變化，但是如圖14B的(b)部分所示，如果對圖14B的(a)部分的局部進(jìn)行放大，則能夠確認(rèn)到變化的幅度平緩。

行人檢測執(zhí)行時間變化量(PD diff)表示之前的幀與下一個幀的測定執(zhí)行時間變化量。能夠確認(rèn)到行人檢測執(zhí)行時間變化量(PD diff)無較大的差別而幾乎保持恒定。

結(jié)果，各幀在車輛執(zhí)行時間上不存在較大變化，因此能夠基于在之前的幀中測定出的行人檢測動作執(zhí)行時間，在下一個幀中預(yù)測行人檢測動作執(zhí)行時間。并且，能夠基于在之前的幀中計(jì)算出的行人檢測執(zhí)行時間變化量，在下一個幀中預(yù)測行人檢測動作執(zhí)行時間。

圖15A至圖15B是在說明在車輛專用道路上行駛時，以通過立體攝像頭模塊195獲取的影像為基礎(chǔ)來進(jìn)行的周邊車輛檢測(Vehicle Detection)及行人檢測(Pedestrian Detection)動作時進(jìn)行參照。

參照圖15A，在從立體攝像頭模塊195接收的影像中，處理器170能夠檢測出5臺周邊車輛1510。并且，處理器170能夠檢測出1名行人1520。

參照圖15B，在車輛較多的車輛專用道路上，周邊車輛檢測(VD)與行人檢測(PD)相比需要更多的時間。在本附圖中，一般而言，當(dāng)考慮行人檢測(PD)與周邊車輛檢測(VD)相比需要更多的時間時，可以解釋為周邊車輛檢測(VD)與行人檢測(PD)相比需要相對較多的時間。

并且，與在胡同道路上行駛的情況(圖16B)相比時，車輛專用道路的周邊車輛檢測(VD)與胡同道路的周邊車輛檢測(VD)相比需要更多的時間。

另外，在行人較少的胡同道路上，行人檢測(PD)與周邊車輛檢測(VD)相比需要更少的時間。并且，與在胡同道路上行駛的情況(圖16B)相比時，車輛專用道路的行人檢測(PD)與胡同道路的行人檢測(PD)相比需要更少的時間。

結(jié)果，在車輛專用道路上周邊車輛檢測(VD)比行人檢測(PD)要求更多的時間。并且，在車輛專用道路的情況下，當(dāng)周邊車輛檢測(VD)與行人檢測(PD)相比優(yōu)先執(zhí)行時，能夠更有效地使處理器170運(yùn)行。

圖16A至圖16B是在說明在胡同道路上行駛時，以通過立體攝像頭模塊195獲取的影像為基礎(chǔ)來進(jìn)行的行人檢測(Pedestrian Detection)動作時進(jìn)行參照。

參照圖16A，在從立體攝像頭模塊195接收的影像中，處理器170能夠 檢測出1臺周邊車輛1610。并且，處理器170能夠檢測出5名行人1620。

參照圖16B，在行人較多的胡同道路上，行人檢測(PD)與周邊車輛檢測(VD)相比需要更多的時間。并且，與在車輛專用道路上行駛的情況(圖15B)相比時，胡同道路的行人檢測(PD)與車輛專用道路的行人檢測(PD)相比需要更多的時間。

另外，在周邊車輛較少的胡同道路上，周邊車輛檢測(VD)與行人檢測(PD)相比需要更少的時間。并且，與在車輛專用道路上行駛的情況(圖15B)相比時，胡同道路的周邊車輛檢測(VD)與車輛專用道路的周邊車輛檢測(VD)相比需要更少的時間。

結(jié)果，在胡同道路上行人檢測(PD)比周邊車輛檢測(VD)要求更多的執(zhí)行時間。并且，在胡同道路的情況下，當(dāng)行人檢測(PD)與周邊車輛檢測(VD)相比優(yōu)先執(zhí)行時，能更有效地使處理器170運(yùn)行。

圖17A用曲線來表示胡同道路(圖16A)及車輛專用道路(圖15A)中的周邊車輛檢測(VD)所需要的時間。

對周邊車輛檢測(VD)所需要的時間的最小值、最大值、平均值進(jìn)行比較可知，在各個中在車輛專用道路上周邊車輛檢測(VD)1720所需要的時間更多。其結(jié)果可知，與胡同道路的1710相比，在車輛專用道路上周邊車輛檢測(VD)1720中預(yù)測的執(zhí)行時間要更多，這樣才能準(zhǔn)確且有效地使處理器170運(yùn)行。

圖17B用曲線來表示胡同道路(圖16A)及車輛專用道路(圖15A)中的行人檢測(PD)所需要的時間。

對行人檢測(PD)所需要的時間的最小值、最大值、平均值進(jìn)行比較可知，在最小值中相似，在最大值及平均值中在胡同道路上行人檢測(PD)1730所需要的時間更多。其結(jié)果可知，與車輛專用道路的情況1740相比，在胡同道路上行人檢測(PD)1730中預(yù)測的執(zhí)行時間要更多，這樣才能準(zhǔn)確且有效地使處理器170運(yùn)行。

以下，對根據(jù)本發(fā)明的各種各樣的實(shí)施例的車輛的車輛駕駛輔助裝置的動作方法進(jìn)行說明。該車輛駕駛輔助裝置的動作方法可以是在基于立體影像的第一幀執(zhí)行多個動作之后，基于上述立體影像的第二幀執(zhí)行多個動作的動作方法。該車輛駕駛輔助裝置的動作方法可以包括：從立體攝像頭模塊接收 上述第一幀，并在上述第一幀中執(zhí)行對上述多個動作的第一調(diào)度(scheduling)的步驟；按照上述第一調(diào)度，執(zhí)行上述多個動作并測定上述多個動作中的各動作的執(zhí)行時間的步驟；從上述立體攝像頭模塊接收上述第二幀，并在上述第二幀中基于測定出的上述各動作的執(zhí)行時間，執(zhí)行對上述多個動作的第二調(diào)度的步驟；以及將基于根據(jù)上述第一調(diào)度的上述多個動作中的各動作執(zhí)行或者根據(jù)上述第二調(diào)度的上述多個動作中的各動作執(zhí)行的畫面輸出到顯示部的步驟。

上述的本發(fā)明能夠在記錄有程序的介質(zhì)中用計(jì)算機(jī)能夠讀取的代碼來實(shí)現(xiàn)。計(jì)算機(jī)能夠讀取的介質(zhì)包括存儲有由計(jì)算機(jī)系統(tǒng)能夠讀取的數(shù)據(jù)的所有種類的記錄裝置。作為計(jì)算機(jī)能夠讀取的介質(zhì)的例子，有HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁帶、軟盤、光數(shù)據(jù)存儲裝置等，并且還包括以載波(例如，通過互聯(lián)網(wǎng)的傳輸)形式實(shí)現(xiàn)的情況。并且，上述計(jì)算機(jī)還可以包括處理器170或控制部770。因此，上述的詳細(xì)說明在所有方面不應(yīng)解釋為限制性的，而是要理解為示意性的。本發(fā)明的范圍應(yīng)由所附的權(quán)利要求的合理性解釋來確定，在本發(fā)明的等同范圍內(nèi)的所有變更均包含于本發(fā)明的范圍。