本發(fā)明涉及設(shè)置在車輛的環(huán)視提供裝置以及車輛。
背景技術(shù):
車輛是用于將乘坐的用戶朝所需的方向移動的裝置。作為代表性的可舉例有汽車。
另外,為了給利用車輛的用戶提供便利,車輛中配備各種傳感器和電子裝置等漸成為一種趨勢。特別是,開發(fā)出用于用戶的駕駛便利的多種裝置等。
最近,隨著對自主駕駛車輛的關(guān)注度不斷提高,積極展開有關(guān)于自主駕駛車輛上搭載的傳感器的研究。作為自主駕駛車輛上搭載的傳感器有照相機、紅外線傳感器、雷達、gps、激光雷達(lidar)、陀螺儀等,其中,照相機作為用于向用戶提供多種信息的傳感器,其占據(jù)著重要的位置。
最近,在量產(chǎn)車輛中也設(shè)置有包括多個照相機的環(huán)視監(jiān)控(aroundviewmonitoring,avm)裝置。但是,現(xiàn)有技術(shù)的avm裝置僅提供俯視影像。僅利用這樣的俯視影像將無法充分地向用戶提供與各種狀況對應(yīng)的信息。
技術(shù)實現(xiàn)要素:
為了解決如上所述的問題,本發(fā)明的實施例的目的在于提供一種車輛用環(huán)視提供裝置,通過全向照相機獲取車輛周邊影像,并顯示與轉(zhuǎn)向角信息或道路的斜率信息相匹配的區(qū)域。
并且,本發(fā)明的實施例的目的在于提供一種包括所述車輛用環(huán)視提供裝置的車輛。
本發(fā)明的目的并不限定于以上提及到的目的,本領(lǐng)域的技術(shù)人員能夠通過以下的記載明確理解未被提及到的其他目的。
為了實現(xiàn)所述目的,本發(fā)明的實施例的車輛用環(huán)視提供裝置,其中,包括:顯示部;全向照相機模塊,安裝在車輛的一區(qū)域,獲取車輛周邊影像;接口部,接收轉(zhuǎn)向角信息或車體的斜率信息;以及處理器,基于所述車輛周邊影像生成全向影像,控制通過所述顯示部顯示所述全向影像中與所述轉(zhuǎn)向角信息或所述斜率信息相匹配的區(qū)域的影像。
為了實現(xiàn)所述目的,本發(fā)明的實施例的車輛,其中,包括:以上所述的環(huán)視提供裝置。
其他實施例的具體事項包括于詳細的說明及附圖中。
本發(fā)明的實施例具有如下效果的一種或其以上。
第一、能夠通過全向照相機以無死角的方式獲取車輛周邊的所有影像。
第二、根據(jù)轉(zhuǎn)向角信息或行駛道路的斜率信息有效地提供用戶所需的影像。并且,基于這樣的方式來誘導(dǎo)安全駕駛。
第三、根據(jù)行駛狀況有效地提供用戶所需的影像。并且,基于這樣的方式來誘導(dǎo)安全駕駛。
本發(fā)明的效果并不限定于以上提及到的效果,本領(lǐng)域的技術(shù)人員能夠從權(quán)利要求書的記載明確理解未被提及到的其他效果。
附圖說明
圖1是示出本發(fā)明的實施例的車輛的外觀的圖。
圖2a至圖2c是概略示出本發(fā)明的實施例的貼附在車輛的照相機的位置的圖。
圖3a至圖3c是在說明本發(fā)明的實施例的全向照相機模塊時作為參照的圖。
圖4是在說明本發(fā)明的實施例的車輛用環(huán)視提供裝置時作為參照的框圖。
圖5a至圖5b例示出圖4的處理器的內(nèi)部框圖。圖5c是例示出圖5a至圖5b的處理器中的對象檢測的圖。
圖6是在說明本發(fā)明的實施例的車輛用環(huán)視提供裝置的動作時作為參照的流程圖。
圖7是在說明本發(fā)明的實施例的車輛時作為參照的框圖。
圖8至圖19是在說明本發(fā)明的實施例的環(huán)視監(jiān)控提供裝置中提供影像的動作時作為參照的圖。
附圖標記的說明
100:車輛用環(huán)視提供裝置700:車輛
具體實施方式
以下參照附圖對本說明書所揭示的實施例進行詳細的說明,在此,與附圖標記無關(guān)的對相同或類似的結(jié)構(gòu)元件賦予相同的參照標記,并將省去對其重復(fù)的說明。在以下說明中使用的針對結(jié)構(gòu)元件的接尾詞“模塊”及“部”僅是考慮到便于說明書的撰寫而被賦予或混用,其自身并不帶有相互區(qū)分的含義或作用。并且,在對本發(fā)明揭示的實施例進行說明的過程中,如果判斷為對于相關(guān)的公知技術(shù)的具體說明會導(dǎo)致混淆本說明書所揭示的實施例的技術(shù)思想,則將省去對其詳細的說明。并且,所附的附圖僅是為了容易理解本說明書所揭示的實施例,不應(yīng)由所附的附圖來限定本發(fā)明所揭示的技術(shù)思想,而是應(yīng)當(dāng)涵蓋了本發(fā)明的思想及技術(shù)范圍中所包括的所有變更、均等物乃至替代物。
第一、第二等包含序數(shù)的術(shù)語可用于說明多種結(jié)構(gòu)元件,但是所述結(jié)構(gòu)元件并不由所述術(shù)語所限定。所述術(shù)語僅是用于將一個結(jié)構(gòu)元件與其他結(jié)構(gòu)元件區(qū)分的目的來使用。
如果提及到某個結(jié)構(gòu)元件“連接”或“接觸”于另一結(jié)構(gòu)元件,其可能是直接連接于或接觸于另一結(jié)構(gòu)元件,但也可被理解為是他們中間存在有其他結(jié)構(gòu)元件。反之,如果提及到某個結(jié)構(gòu)元件“直接連接”或“直接接觸”于另一結(jié)構(gòu)元件,則應(yīng)當(dāng)被理解為是他們之間不存在有其他結(jié)構(gòu)元件。
除非在上下文明確表示有另行的含義,單數(shù)的表達方式應(yīng)包括復(fù)數(shù)的表達方式。
在本申請中,“包括”或“具有”等術(shù)語僅是為了指定說明書上記載的特征、數(shù)字、步驟、動作、結(jié)構(gòu)元件、部件或其組合的存在,而并不意在排除一個或其以上的其他特征或數(shù)字、步驟、動作、結(jié)構(gòu)元件、部件或其組合的存在或添加的可能性。
本說明書中說明的車輛可以是包括汽車、摩托車的概念。以下,對于車輛將以汽車為主進行說明。
本說明書中描述的車輛可以是將作為動力源具有引擎的內(nèi)燃機車輛、作為動力源具有引擎和電動馬達的混合動力車輛、作為動力源具有電動馬達的電動汽車等均涵蓋的概念。
在以下的說明中,車輛的左側(cè)表示車輛的行駛方向的左側(cè),車輛的右側(cè)表示車輛的行駛方向的右側(cè)。
圖1是示出本發(fā)明的實施例的車輛的外觀的圖。
參照圖1,車輛700可包括:利用動力源進行旋轉(zhuǎn)的車輪103fr、103fl、103rl..;用于調(diào)節(jié)車輛700的行駛方向的轉(zhuǎn)向輸入構(gòu)件721a;以及貼附在車輛700的全向(全方向)照相機模塊195。附圖中為了說明上的便利,例示出將全向照相機模塊195安裝在車輛的車頂(roof),但是本發(fā)明并不限定于此。全向照相機模塊195可安裝在發(fā)動機罩、前風(fēng)擋、前保險杠、后風(fēng)擋、后備箱門、后保險杠、車門、擋泥板、側(cè)鏡等車輛車體中的任意區(qū)域。
全向照相機模塊195可獲取在其安裝的位置拍攝的車輛周邊影像。全向照相機模塊195獲取的圖像可在車輛用環(huán)視提供裝置100內(nèi)被信號處理。
另外,全向照相機模塊195可構(gòu)成為兩個以上。根據(jù)實施例,全向照相機模塊195可以有兩個、三個、四個或其以上。
圖2a至圖2c是概略示出本發(fā)明的實施例的貼附在車輛的照相機的位置的圖。
參照圖2a,全向照相機模塊195可配置在車輛700的車頂。配置在車輛700的車頂?shù)娜蛘障鄼C模塊195可獲取車輛700周邊全向圖像。全向照相機模塊195可以車輛700為中心獲取車輛700的前方、后方、左側(cè)方、右側(cè)方、下方、上方圖像。
全向照相機模塊195可以有多個。如圖2b所示,第一全向照相機模塊195a可配置在車輛的前方,第二全向照相機模塊195b可配置在車輛的后方。例如,第一全向照相機模塊195a可配置在車輛的發(fā)動機罩或前保險杠的一區(qū)域,第二全向照相機模塊195b可配置在車輛的后備箱或后保險杠的一區(qū)域。通過這樣地配置多個全向照相機模塊,能夠進一步減小被車輛700的車身遮擋的死角區(qū)域。
如圖2c所示,第一全向照相機模塊195a可配置在車輛的前方,第二全向照相機模塊195b可配置在車輛的后方,第三全向照相機模塊195c可配置在車輛的左側(cè)方,第四全向照相機模塊195d可配置在車輛的右側(cè)方。
第一及第二全向照相機模塊195a、195b可以如參照圖2b所述的方式進行配置。
第三全向照相機模塊195c可配置在車輛700的左前門、左后門、左前擋泥板、左后擋泥板、左側(cè)側(cè)鏡、左前輪罩、左后輪罩中的任一處。第四全向照相機模塊195d可配置在車輛700的右前門、右后門、右前擋泥板、右后擋泥板、右側(cè)側(cè)鏡、右前輪罩、右后輪罩中的任一處。通過這樣地配置多個全向照相機模塊,能夠進一步減小被車輛700的車身遮擋的死角區(qū)域。
圖3a至圖3c是在說明本發(fā)明的實施例的全向照相機模塊時作為參照的圖。
圖3a是在說明本發(fā)明的第一實施例的全向照相機模塊195時作為參照的圖。
參照圖3a,全向照相機模塊195可包括多個照相機301a、301b、301c、301d、301e、301f,…。多個照相機301a、301b、301c、301d、301e、301f,…可各自包括圖像傳感器(例如,ccd或cmos)以及鏡頭。多個照相機301a、301b、301c、301d、301e、301f,…各自可在多個方向獲取影像。獲取的多個影像可傳送給處理器170并進行合成。
在全向照相機模塊195配置于車輛700的情況下,可通過多個照相機301a、301b、301c、301d、301e、301f,…以車輛700為中心獲取全向影像。例如,全向照相機模塊195可獲取車輛的前方、后方、左側(cè)方、右側(cè)方、下方、上方影像。
另外,為了能夠獲取全向影像,可適當(dāng)?shù)卮_定多個照相機301a、301b、301c、301d、301e、301f,…的數(shù)目和位置。多個照相機301a、301b、301c、301d、301e、301f,…各自可具有適當(dāng)?shù)囊暯牵阅軌蚴蛊浍@取的影像與相鄰的照相機獲取的影像重疊一部分。
另外,處理器170可基于從多個照相機301a、301b、301c、301d、301e、301f,…各自獲取的影像中的相互重疊的部分中檢測出的規(guī)定的特征點來合成所有影像。例如,處理器170可在第一照相機301a獲取的第一影像和第二照相機301b獲取的第二影像的相重疊的區(qū)域檢測出共同的特征點。處理器170可基于檢測出的特征點來合成第一影像和第二影像。利用如上所述的方法,處理器170可對多個照相機301a、301b、301c、301d、301e、301f,…中接收到的多個影像進行合成,從而生成全向影像。
圖3b是在說明本發(fā)明的第二實施例的全向照相機模塊195時作為參照的圖。
參照圖3b,全向照相機模塊195可包括多個照相機311a、312a、312b、312c、312d、312e、312f,…。多個照相機311a、312a、312b、312c、312d、312e、312f,…各自可包括圖像傳感器(例如,ccd或cmos)以及鏡頭。多個照相機311a、312a、312b、312c、312d、312e、312f,…各自可在多個方向獲取影像。獲取的多個影像可傳送給處理器170并進行合成。
在全向照相機模塊195配置于車輛700的情況下,可通過多個照相機311a、312a、312b、312c、312d、312e、312f,…以車輛700為中心獲取全向影像。
例如,多個照相機311a、312a、312b、312c、312d、312e、312f,…中的第一照相機311a可獲取車輛700的上方影像。在此情況下,第一照相機311a優(yōu)選是廣角照相機。多個照相機311a、312a、312b、312c、312d、312e、312f,…中的除了第一照相機311a以外的其余照相機312a、312b、312c、312d、312e、312f,…可獲取車輛700的側(cè)方以及下方影像。
第一照相機311a獲取的影像和多個照相機311a、312a、312b、312c、312d、312e、312f,…中的除了第一照相機311a以外的其余照相機311a、312a、312b、312c、312d、312e、312f,…獲取的各個影像可重疊一部分。處理器170可基于從重疊的部分中檢測出的規(guī)定的特征點來合成影像。
并且,多個照相機311a、312a、312b、312c、312d、312e、312f,…中的除了第一照相機311a以外的其余照相機312a、312b、312c、312d、312e、312f,…獲取的各個影像可分別重疊一部分。處理器170可基于從重疊的部分中檢測出的規(guī)定的特征點來合成影像。
處理器170可對多個照相機311a、312a、312b、312c、312d、312e、312f,…中接收到的多個影像進行合成,從而生成全向影像。
圖3c是在說明本發(fā)明的第三實施例的全向照相機模塊195時作為參照的圖。
參照圖3c,全向照相機模塊195可包括照相機321以及拋物柱面鏡322(parabolicmirror)。照相機321可包括圖像傳感器(例如,ccd或cmos)以及鏡頭。
照相機321可獲取被拋物柱面鏡322反射的圖像。其中,圖像可以是全向影像。
圖4是在說明本發(fā)明的實施例的車輛用環(huán)視提供裝置時作為參照的框圖。
參照圖4,環(huán)視提供裝置100可包括:輸入部110、通信部120、接口部130、存儲器140、輸出部150、處理器170、供電部190以及全向照相機模塊195。
另輸入部110可設(shè)置有多個按鍵或觸摸屏。通過多個按鍵或觸摸屏可開啟環(huán)視提供裝置100的電源并使其進行動作。除此之外,可還執(zhí)行多種輸入動作。另外,根據(jù)實施例,輸入部110可還包括用于接收用戶語音輸入的語音輸入部。在此情況下,語音輸入部可包括能夠?qū)⒂脩舻恼Z音轉(zhuǎn)換為電信號的麥克風(fēng)。
通信部120可通過無線(wireless)方式與移動終端600、服務(wù)器601或其他車輛602進行數(shù)據(jù)交換。特別是,通信部120可通過無線方式與車輛駕駛者的移動終端進行數(shù)據(jù)交換。作為無線數(shù)據(jù)通信方式可有藍牙(bluetooth)、直通互聯(lián)(wifidirect)、wifi、apix或nfc等多種數(shù)據(jù)通信方式。
通信部120可從移動終端600或服務(wù)器601接收天氣信息、道路交通狀況信息,例如可接收傳輸協(xié)議專家組(transportprotocolexpertgroup,tpeg)信息。另外,可向移動終端600或服務(wù)器601傳送環(huán)視提供裝置100中確認的實時信息。
另外,在用戶乘坐車輛的情況下,用戶的移動終端600和環(huán)視提供裝置100可自動地或通過用戶執(zhí)行應(yīng)用程序來執(zhí)行彼此配對(pairing)。
通信部120可從外部服務(wù)器601接收信號燈變更信息。其中,外部服務(wù)器601可以是位于管制交通的交通管制所的服務(wù)器。
接口部130可接收車輛相關(guān)數(shù)據(jù)或向外部傳送處理器170中處理或生成的信號。為此,接口部130可通過有線通信或無線通信方式與車輛內(nèi)部的控制部770、車輛用顯示裝置400、檢測部760、車輛驅(qū)動部750等執(zhí)行數(shù)據(jù)通信。
接口部130可通過與控制部770、車輛用顯示裝置400或額外的導(dǎo)航裝置的數(shù)據(jù)通信來接收導(dǎo)航信息。其中,導(dǎo)航信息可包含:設(shè)定的目的地信息、與所述目的地對應(yīng)的路徑信息、與車輛行駛相關(guān)的地圖(map)信息、車輛的當(dāng)前位置信息。另外,導(dǎo)航信息可包含道路上的車輛的位置信息。
另外,接口部130可從控制部770或檢測部760接收傳感器信息。
其中,傳感器信息可包含車輛方向信息、車輛位置信息(gps信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息、是否下雨的信息中的至少一種信息。
這樣的傳感器信息可從航向傳感器(headingsensor)、橫擺傳感器(yawsensor)、陀螺儀傳感器(gyrosensor)、定位模塊(positionmodule)、車輛前進/倒車傳感器、車輪傳感器(wheelsensor)、車輛速度傳感器、車體傾斜檢測傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器、雨水傳感器、gps傳感器等中獲取。
另外,在傳感器信息中,可將與車輛行駛相關(guān)的車輛方向信息、車輛位置信息、車輛角度信息、車輛速度信息、車輛斜率信息等稱為車輛行駛信息。
接口部130可向控制部770或車輛驅(qū)動部750提供信號。其中,信號可以是控制信號。例如,處理器170可向動力源驅(qū)動部751提供用于加速的控制信號。例如,處理器170可通過接口部130向轉(zhuǎn)向驅(qū)動部752提供轉(zhuǎn)向控制信號。例如,處理器170可通過接口部130向制動驅(qū)動部753提供用于減速的控制信號。
接口部130可接收車輛700的檢測部760中包括的轉(zhuǎn)向角傳感器提供的轉(zhuǎn)向角信息。
接口部130可接收車輛700的檢測部760中包括的車體傾斜檢測傳感器提供的車體斜率信息。
接口部130可接收車輛700的檢測部760中包括的gps傳感器或通信部710中包括的位置信息模塊714提供的車輛的位置信息。
接口部130可接收車輛700的檢測部760中包括的車輛速度傳感器提供的車輛的行駛速度信息。
接口部130可接收車輛700的控制部770提供的轉(zhuǎn)向燈(turnsignal)信息。例如,接口部130可接收基于駕駛者的操作的左側(cè)或右側(cè)方向指示燈開啟(on)信息。
存儲器140可存儲用于處理器170的處理或控制的程序等、用于環(huán)視提供裝置100整體上的動作的多種數(shù)據(jù)。
存儲器140中可存儲用于確認對象的數(shù)據(jù)。例如,存儲器140中可存儲用于在通過全向照相機模塊195獲取的影像中檢測出規(guī)定對象時,可利用規(guī)定算法確認所述對象為何者的數(shù)據(jù)。
存儲器140中可存儲關(guān)于交通信息的數(shù)據(jù)。例如,存儲器140中可存儲用于在通過全向照相機模塊195獲取的影像中檢測出規(guī)定的交通信息時,可利用規(guī)定算法確認所述交通信息為何者的數(shù)據(jù)。
另外,存儲器140在硬件上可以是rom、ram、eprom、閃存盤、硬盤等多種存儲裝置。
輸出部150可包括:顯示部151以及音響輸出部152。
顯示部151可顯示處理器170中處理的各種信息。顯示部151可顯示與環(huán)視提供裝置100的動作相關(guān)的圖像。
顯示部151可顯示處理器170中生成的環(huán)視圖像。另外,在顯示環(huán)視圖像時可提供多種用戶界面,可具有能夠?qū)μ峁┑挠脩艚缑孢M行觸摸輸入的觸摸傳感器。
另外,顯示部151可實現(xiàn)為在室內(nèi)鏡、側(cè)鏡或側(cè)窗玻璃上顯示影像。
例如,顯示部151可配置在室內(nèi)鏡或側(cè)鏡。在此情況下,顯示部151可在平時執(zhí)行反射鏡的作用,而在發(fā)生規(guī)定事件時顯示影像。
例如,顯示部151可由透明顯示器形成,并與側(cè)窗玻璃相靠近地配置。或者,顯示部151可包括投射模塊,投射模塊可在側(cè)窗玻璃上投射影像。
另外,顯示部151可實現(xiàn)為在前風(fēng)擋上顯示影像。
例如,顯示部151可由透明顯示器形成,并與前風(fēng)擋相靠近地配置。或者,顯示部151可包括投射模塊,投射模塊可在前風(fēng)擋上投射影像。
音響輸出部152可基于處理器170中處理的音頻信號向外部輸出聲音。為此,音響輸出部152可設(shè)置有至少一個揚聲器。
處理器170控制環(huán)視提供裝置100內(nèi)的各單元的整體上的動作。
處理器170可對利用全向照相機模塊195獲取的車輛周邊影像進行處理。特別是,處理器170執(zhí)行基于計算機視覺(computervision)的信號處理。因此,處理器170可執(zhí)行對象檢測及對象跟蹤。特別是,處理器170在進行對象檢測時,可執(zhí)行車線檢測(lanedetection,ld)、周邊車輛檢測(vehicledetection、vd)、行人檢測(pedestriandetection,pd)、燈光檢測(brightspotdetection,bd)、交通信號檢測(trafficsignrecognition,tsr)、道路面檢測等。
處理器170可從利用全向照相機模塊195獲取的車輛周邊影像中檢測出信息。
信息可以是關(guān)于車輛行駛狀況的信息。例如,信息可以是包含車輛行駛的道路信息、交通法規(guī)信息、周邊車輛信息、車輛或行人信號燈信息、施工信息、交通狀況信息、停車場信息、車線信息等的概念。
處理器170將檢測出的信息與存儲器140中存儲的信息相比較,從而能夠確認出信息。
另外,處理器170可通過通信部120接收天氣信息、道路的交通狀況信息,例如,可接收傳輸協(xié)議專家組(transportprotocolexpertgroup,tpeg)信息。
另外,處理器170也可對環(huán)視提供裝置100中基于圖像確認的車輛周邊交通狀況信息實時進行確認。
另外,處理器170可通過接口部130從車輛用顯示裝置400或額外的導(dǎo)航裝置(未圖示)接收導(dǎo)航信息等。
另外,處理器170可通過接口部130從控制部770或檢測部760接收傳感器信息。其中,傳感器信息可包含車輛方向信息、車輛位置信息(gps信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息、方向盤旋轉(zhuǎn)信息中的至少一種信息。
處理器170可通過接口部130接收轉(zhuǎn)向角信息或斜率信息。處理器170可基于全向照相機模塊195獲取的車輛周邊影像來生成全向影像。其中,全向影像可以是關(guān)于以車輛700為中心圍繞車輛的所有空間的影像。
例如,處理器170可基于從全向照相機模塊195中包括的多個照相機獲取的影像中的相互重疊的區(qū)域的特征點來合成影像。例如,處理器170可在多個照相機中的第一照相機獲取的第一影像和多個照相機中的第二照相機獲取的第二影像的相重疊的區(qū)域檢測出共同的特征點。處理器170可基于共同的特征點來合成第一影像和第二影像。利用如上所述的方法,處理器170可對多個照相機獲取的多個影像分別進行合成,從而生成全向影像。
現(xiàn)有技術(shù)的avm(aroundviewmonitoring)裝置利用四個照相機獲取車輛的前方、后方、左側(cè)方、右側(cè)方圖像?,F(xiàn)有技術(shù)的avm裝置通過對獲取的圖像進行合成來提供環(huán)視圖像。此時,環(huán)視圖像可以是俯視圖像?,F(xiàn)有技術(shù)的avm裝置中使用的照相機具有規(guī)定的視角,并獲取車輛周邊路面影像。在此情況下,僅能夠提供車輛周邊的有限的信息。
但是,本發(fā)明的實施例的環(huán)視提供裝置100可基于通過全向照相機模塊195獲取的車輛周邊影像來提供全向影像。因此,本發(fā)明的實施例的環(huán)視提供裝置100與現(xiàn)有技術(shù)的avm裝置相比,能夠在更寬的區(qū)域范圍內(nèi)獲取信息并提供。
處理器170可控制通過顯示部151顯示全向影像中與轉(zhuǎn)向角信息或斜率信息相匹配的區(qū)域的影像。
在車輛700前進的情況下,處理器170可控制將全向影像中包含的車輛前方影像中與轉(zhuǎn)向角信息或斜率信息相匹配的區(qū)域的影像顯示在顯示部151。
處理器170可與轉(zhuǎn)向角信息成比例地控制將以全向照相機模塊195為基準的車輛700直行行駛方向的左側(cè)或右側(cè)區(qū)域的影像顯示在顯示部151。
處理器170可與斜率信息成比例地控制將以全向照相機模塊195為基準的車輛700直行行駛方向的上側(cè)或下側(cè)區(qū)域的影像顯示在顯示部151。
另外,車輛700可在平地行駛于與上坡相連接的區(qū)間。在此情況下,處理器170可通過對全向照相機模塊195獲取的影像進行處理來檢測出用于區(qū)分平地和上坡的地點。其中,可將區(qū)分平地和上坡的地點稱為拐點。處理器170可控制在距拐點規(guī)定距離之前,將車輛700的直行行駛方向的上側(cè)區(qū)域的影像顯示在顯示部151。
并且,車輛700可在平地行駛于與下坡相連接的區(qū)間。在此情況下,處理器170可通過對全向照相機模塊195獲取的影像進行處理來檢測出用于區(qū)分平地和下坡的地點。其中,可將區(qū)分平地和下坡的地點稱為拐點。處理器170可控制在距拐點規(guī)定距離之前,將車輛700的直行行駛方向的下側(cè)區(qū)域的影像顯示在顯示部151。
在車輛700倒車的情況下,處理器170可控制將所述全向影像中包含的車輛后方影像中與轉(zhuǎn)向角信息或斜率信息相匹配的區(qū)域的影像顯示在顯示部151。
處理器170可與轉(zhuǎn)向角信息成比例地控制將以全向照相機模塊195為基準的車輛700倒車行駛方向的左側(cè)或右側(cè)區(qū)域的影像顯示在顯示部151。
處理器170可與斜率信息成比例地控制將以全向照相機模塊195為基準的車輛700倒車行駛方向的上側(cè)或下側(cè)區(qū)域的影像顯示在顯示部151。
另外,車輛700可在平地行駛于與上坡相連接的區(qū)間。在此情況下,處理器170可通過對全向照相機模塊195獲取的影像進行處理來檢測出用于區(qū)分平地和上坡的地點。其中,可將區(qū)分平地和上坡的地點稱為拐點。處理器170可控制在距拐點規(guī)定距離之前,將車輛700的倒車行駛方向的上側(cè)區(qū)域的影像顯示在顯示部151。
并且,車輛700可在平地行駛于與下坡相連接的區(qū)間。在此情況下,處理器170可通過對全向照相機模塊195獲取的影像進行處理來檢測出用于區(qū)分平地和下坡的地點。其中,可將區(qū)分平地和下坡的地點稱為拐點。處理器170可控制在距拐點規(guī)定距離之前,將車輛700的倒車行駛方向的下側(cè)區(qū)域的影像顯示在顯示部151。
在車輛700掉頭的情況下,處理器170可控制將全向影像中包含的車輛前方影像和車輛后方影像中與車輛700的掉頭路徑相匹配的區(qū)域的影像進行顯示。
另外,處理器170可通過接口部130接收車輛700的位置信息。處理器170可與位置信息對應(yīng)地控制全向影像中顯示在顯示部151的區(qū)域的大小。
例如,在車輛700進入交叉路、駛?cè)肼坊蝰偝雎返那闆r下,處理器170可控制將全向影像中顯示在顯示部151的區(qū)域進行擴展。在此情況下,處理器170可控制顯示與車輛700行駛在一般道路時顯示在顯示部151的區(qū)域相比更加擴展的區(qū)域。通過這樣地進行控制,在進入交叉路、駛?cè)肼坊蝰偝雎窌r,提供影像和信息以使駕駛者能夠確保更寬的視野,從而能夠?qū)崿F(xiàn)安全運行。另外,可基于位置信息來判斷是否進入交叉路、駛?cè)肼坊蝰偝雎贰?/p>
另外,處理器170可通過接口部130接收車輛700的行駛速度信息。處理器170可與行駛速度信息對應(yīng)地控制全向影像中顯示在顯示部151的區(qū)域的大小。
在車輛700低速行駛的情況下(例如,在市內(nèi)行駛的情況下),駕駛者需要用肉眼確認離車輛700近距離內(nèi)的寬區(qū)域。相反地,在車輛700高速行駛的情況下(例如,在高速道路行駛的情況下),雖然是窄區(qū)域但駕駛者需要用肉眼確認至遠距離。通過與行駛速度對應(yīng)地控制全向影像中顯示在顯示部151的區(qū)域的大小,能夠在低速或高速行駛時與行駛速度相適應(yīng)地向駕駛者提供信息。
另外,處理器170可通過接口部130接收轉(zhuǎn)向燈信息。處理器170可與轉(zhuǎn)向燈信息對應(yīng)地控制全向影像中顯示在顯示部151的區(qū)域的位置。
由于在轉(zhuǎn)向燈輸入后進行轉(zhuǎn)向控制,根據(jù)轉(zhuǎn)向燈信息來控制全向影像中顯示在顯示部151的區(qū)域,能夠提供與駕駛者意圖對應(yīng)的適當(dāng)?shù)男畔ⅰ?/p>
供電部190可基于處理器170的控制供給各結(jié)構(gòu)元件的動作所需的電源。特別是,供電部190可從車輛內(nèi)部的電池等供給到電源。
全向照相機模塊195可安裝在車輛的一區(qū)域。全向照相機模塊195優(yōu)選地貼附在車輛的車體的一部分。例如,全向照相機模塊195可貼附在車輛的車頂、發(fā)動機罩或后備箱。
另外,全向照相機模塊195可以有多個。
全向照相機模塊195可獲取車輛周邊影像。其中,車輛周邊影像可以是以車輛為中心的全向周邊影像。例如,全向照相機模塊195可獲取車輛的前方、后方、左側(cè)方、右側(cè)方、下方以及上方影像。為了獲取全向周邊影像,全向照相機模塊195可包括多個照相機。
另外,全向照相機模塊195可包括第一全向照相機模塊195a和第二全向照相機模塊195b。
第一全向照相機模塊195a可安裝在車輛前方并在車輛前方獲取全向影像。例如,第一全向照相機模塊195a可安裝在車輛的發(fā)動機罩。第一全向照相機模塊195a可以安裝地點為基準獲取全向影像。
第二全向照相機模塊195b可安裝在車輛后方并在車輛后方獲取全向影像。例如,第二全向照相機模塊195b可安裝在車輛的后備箱或車頂?shù)暮蠖?。第二全向照相機模塊195b可以安裝地點為基準獲取全向影像。
全向照相機模塊195與參照圖3a至圖3c所述的相同。
圖5a至圖5b例示出圖4的處理器的內(nèi)部框圖。圖5c是例示出圖5a至圖5b的處理器中的對象檢測的圖。
首先,參照圖5a,圖5a是處理器170的內(nèi)部框圖的一例,車輛用環(huán)視提供裝置100內(nèi)的處理器170可包括:影像預(yù)處理部410、視差計算部420、對象檢測部434、對象跟蹤部440以及應(yīng)用部450。
影像預(yù)處理部410(imagepreprocessor)可接收來自多個照相機195a、…,195d的多個圖像或生成的環(huán)視圖像并執(zhí)行預(yù)處理(preprocessing)。
具體而言,影像預(yù)處理部410可執(zhí)行針對多個圖像或生成的環(huán)視圖像的降噪(noisereduction)、糾正(rectification)、校準(calibration)、色彩增強(colorenhancement)、色彩空間轉(zhuǎn)換(colorspaceconversion;csc)、內(nèi)插(interpolation)、照相機增益控制(cameragaincontrol)等。由此,能夠獲取相比多個照相機195a、…,195d中拍攝的多個圖像或生成的環(huán)視圖像更加清晰的圖像。
視差計算部420(disparitycalculator)接收影像預(yù)處理部410中進行信號處理的多個圖像或生成的環(huán)視圖像,針對以規(guī)定時間期間依次地接收的多個圖像或生成的環(huán)視圖像執(zhí)行立體匹配(stereomatching),能夠獲取基于立體匹配的視差圖(disparitymap)。即,能夠獲取關(guān)于車輛周邊的視差信息。
此時,可按圖像的像素單位或規(guī)定塊單位執(zhí)行立體匹配。另外,視差圖可表示用數(shù)值示出圖像,即,左、右圖像的視差(時差)信息(binocularparallaxinformation)的地圖。
分割部432(segmentationunit)可基于來自視差計算部420的視差信息,執(zhí)行圖像內(nèi)的分割(segment)及群集(clustering)。
具體而言,分割部432可基于視差信息對圖像中的至少一個分離出背景(background)和前景(foreground)。
例如,可將視差圖內(nèi)的視差信息為規(guī)定值以下的區(qū)域計算為背景,并除去相應(yīng)部分。由此,能夠相對地分離出前景。
作為另一例,可將視差圖內(nèi)的視差信息為規(guī)定值以上的區(qū)域計算為前景,并提取出相應(yīng)部分。由此,能夠分離出前景。
如上所述,以基于圖像提取出的視差信息為基礎(chǔ)分離出前景和背景,從而在隨后的對象檢測時,能夠縮短信號處理速度、信號處理量等。
接著,對象檢測部434(objectdetector)可基于來自分割部432的圖像分割而進行對象檢測。
即,對象檢測部434可基于視差信息對圖像中的至少一個進行對象檢測。
具體而言,對象檢測部434可對圖像中的至少一個進行對象檢測。例如,可從基于圖像分割分離出的前景中檢測對象。
接著,對象確認部436(objectverificationunit)可對分離出的對象進行分類(classify)并確認(verify)。
為此,對象確認部436可使用基于神經(jīng)網(wǎng)絡(luò)(neuralnetwork)的識別法、支持向量機(supportvectormachine,svm)方法、基于利用haar-like特征的adaboost的方法,或是梯度向量直方圖(histogramsoforientedgradients,hog)方法等。
另外,對象確認部436可將存儲器140中存儲的對象和檢測出的對象進行比較,從而確認出對象。
例如,對象確認部436可確認出位于車輛周邊的周邊車輛、車線、道路面、標識牌、危險區(qū)域、隧道等。
對象跟蹤部440(objecttrackingunit)可執(zhí)行針對確認出的對象的跟蹤。例如,依次地確認獲取的立體圖像內(nèi)的對象,對確認出的對象的移動或移動向量進行計算,并可基于計算出的移動或移動向量而跟蹤相應(yīng)對象的移動等。由此,能夠?qū)ξ挥谲囕v周邊的周邊車輛、車線、道路面、標識牌、危險區(qū)域、隧道等進行跟蹤。
圖5b是處理器的內(nèi)部框圖的另一例。
參照附圖,圖5b的處理器170與圖5a的處理器170具有相同的內(nèi)部結(jié)構(gòu)單元,其區(qū)別在于信號處理順序不同。以下,僅對其區(qū)別進行描述。
對象檢測部434可接收多個圖像或生成的環(huán)視圖像,并檢測多個圖像或生成的環(huán)視圖像內(nèi)的對象。與圖5a不同的,可直接從多個圖像或生成的環(huán)視圖像中檢測對象,而不是基于視差信息對被分割的圖像進行對象檢測。
接著,對象確認部436(objectverificationunit)基于來自分割部432的圖像分割以及對象檢測部434中檢測出的對象,對被檢測及分離的對象進行分類(classify)并確認(verify)。
為此,對象確認部436可使用基于神經(jīng)網(wǎng)絡(luò)(neuralnetwork)的識別法、支持向量機(supportvectormachine,svm)方法、基于利用haar-like特征的adaboost的方法,或是梯度向量直方圖(histogramsoforientedgradients,hog)方法等。
圖5c是基于在第一及第二幀區(qū)間分別獲取的圖像并為了說明圖5c的處理器170的動作方法而作為參照的圖。
參照圖5c,在第一及第二幀區(qū)間期間,多個照相機195a,…,195d分別依次地獲取圖像fr1a、fr1b。
處理器170內(nèi)的視差計算部420接收影像預(yù)處理部410中被信號處理的圖像fr1a、fr1b,對接收的圖像fr1a、fr1b執(zhí)行立體匹配,從而獲取視差圖520(disparitymap)。
視差圖520(disparitymap)對圖像fr1a、fr1b之間的視差進行了等級化,視差等級越高,可計算為與車輛的距離越近,而視差等級越小,則計算為與車輛的距離越遠。
另外,當(dāng)顯示這樣的視差圖時,可顯示為視差等級越大時具有越高的亮度,視差等級越小時具有越低的亮度。
在附圖中例示出,在視差圖520內(nèi),第一車線至第四車線528a、528b、528c、528d等分別具有相應(yīng)的視差等級,施工區(qū)域522、第一前方車輛524、第二前方車輛526分別具有相應(yīng)的視差等級。
分割部432、對象檢測部434、對象確認部436基于視差圖520執(zhí)行針對圖像fr1a、fr1b中的至少一個的分割、對象檢測及對象確認。
在附圖中例示出,使用視差圖520執(zhí)行針對第二圖像fr1b的對象檢測及確認。
即,在圖像530內(nèi),可執(zhí)行針對第一車線至第四車線538a、538b、538c、538d、施工區(qū)域532、第一前方車輛534、第二前方車輛536的對象檢測及確認。
另外,通過持續(xù)地獲取圖像,對象跟蹤部440能夠?qū)Υ_認出的對象執(zhí)行跟蹤。
圖6是在說明本發(fā)明的實施例的車輛用環(huán)視提供裝置的動作時作為參照的流程圖。
參照圖6,處理器170可從全向照相機模塊195接收車輛周邊影像(步驟s610)。
處理器170可基于車輛周邊影像生成全向影像(步驟s615)。其中,全向影像可以是關(guān)于以車輛700為中心圍繞車輛的所有空間的影像。
隨后,處理器170可通過接口部130接收轉(zhuǎn)向角信息、斜率信息、車輛的位置信息、行駛速度信息或轉(zhuǎn)向燈信息(步驟s620)。
處理器170可將全向影像中與轉(zhuǎn)向角信息、斜率信息、車輛的位置信息、行駛速度信息或轉(zhuǎn)向燈信息對應(yīng)的區(qū)域的影像顯示在顯示部151(步驟s630)。
圖7是在說明本發(fā)明的實施例的車輛時作為參照的框圖。
參照圖7,車輛700可包括:通信部710、輸入部720、檢測部760、輸出部740、車輛驅(qū)動部750、存儲器730、接口部780、控制部770、電源部790、環(huán)視提供裝置100以及車輛用顯示裝置400。
通信部710可包括能夠?qū)崿F(xiàn)車輛700和移動終端600之間、車輛700和外部服務(wù)器601之間或車輛700和其他車輛602的無線通信的至少一個模塊。并且,通信部710可包括用于將車輛700與至少一個網(wǎng)絡(luò)(network)相連接的至少一個模塊。
通信部710可包括廣播接收模塊711、無線網(wǎng)絡(luò)模塊712、近距離通信模塊713、位置信息模塊714、光通信模塊715以及v2x通信模塊716。
廣播接收模塊711通過廣播信道從外部的廣播管理服務(wù)器接收廣播信號或與廣播相關(guān)的信息。其中,廣播包括電臺廣播或tv廣播。
無線網(wǎng)絡(luò)模塊712指的是用于無線網(wǎng)絡(luò)連接的模塊,其可內(nèi)置或外置于車輛700。無線網(wǎng)絡(luò)模塊712在基于無線網(wǎng)絡(luò)技術(shù)的通信網(wǎng)中進行無線信號收發(fā)。
無線網(wǎng)絡(luò)技術(shù)例如有:無線局域網(wǎng)(wirelesslan,wlan)、無線高保真(wireless-fidelity,wi-fi)、無線高保真直連(wi-fi(wirelessfidelity)direct)、數(shù)字生活網(wǎng)絡(luò)聯(lián)盟(digitallivingnetworkalliance,dlna)、無線寬帶(wirelessbroadband,wibro)、全球微波接入互操作性(worldinteroperabilityformicrowaveaccess,wimax)、高速下行鏈路分組接入(highspeeddownlinkpacketaccess,hsdpa)、高速上行鏈路分組接入(highspeeduplinkpacketaccess,hsupa)、長期演進(longtermevolution,lte)、先進的長期演進(longtermevolution-advanced,lte-a)等,所述無線網(wǎng)絡(luò)模塊712基于還包括有以上未被羅列的網(wǎng)絡(luò)技術(shù)的范圍的至少一種無線網(wǎng)絡(luò)技術(shù)進行數(shù)據(jù)收發(fā)。例如,無線網(wǎng)絡(luò)模塊712可以無線方式與外部服務(wù)器510進行數(shù)據(jù)交換。無線網(wǎng)絡(luò)模塊712可從外部服務(wù)器601接收天氣信息、道路的交通狀況信息(例如,傳輸協(xié)議專家組(transportprotocolexpertgroup,tpeg)信息)。
近距離通信模塊713用于進行近距離通信(shortrangecommunication),可利用藍牙(bluetoothtm)、無線射頻(radiofrequencyidentification,rfid)、紅外線通信(infrareddataassociation;irda)、超寬帶(ultrawideband,uwb)、無線個域網(wǎng)(zigbee)、近場通信(nearfieldcommunication,nfc)、無線高保真(wireless-fidelity,wi-fi)、無線高保真直連(wi-fidirect)、無線通用串行總線(wirelessuniversalserialbus,wirelessusb)技術(shù)中的至少一種來支持近距離通信。
這樣的近距離通信模塊713可利用形成近距離無線通信網(wǎng)(wirelessareanetworks)來執(zhí)行車輛700和至少一個外部設(shè)備之間的近距離通信。例如,近距離通信模塊713可以無線方式與移動終端600進行數(shù)據(jù)交換。近距離通信模塊713可從移動終端600接收天氣信息、道路的交通狀況信息(例如,傳輸協(xié)議專家組(transportprotocolexpertgroup,tpeg))。在用戶乘坐車輛700的情況下,用戶的移動終端600和車輛700可自動地或通過用戶執(zhí)行應(yīng)用程序來執(zhí)行彼此配對。
位置信息模塊714是用于獲取車輛700的位置的模塊,作為其代表性的例有全球定位系統(tǒng)(globalpositioningsystem,gps)模塊。例如,當(dāng)在車輛中使用gps模塊時,能夠利用gps衛(wèi)星傳送的信號獲取車輛的位置。
光通信模塊715可包括光發(fā)送部及光接收部。
光接收部可將光(light)信號轉(zhuǎn)換為電信號以接收信息。光接收部可包括用于接收光的光電二極管(pd,photodiode)。光電二極管可將光轉(zhuǎn)換為電信號。例如,光接收部可通過從前方車輛中包括的光源發(fā)出的光接收前方車輛的信息。
光發(fā)送部可包括至少一個用于將電信號轉(zhuǎn)換為光信號的發(fā)光元件。其中,發(fā)光元件優(yōu)選為發(fā)光二極管(lightemittingdiode,led)。光發(fā)送部將電信號轉(zhuǎn)換為光信號并向外部發(fā)送。例如,光發(fā)送部可通過與規(guī)定頻率對應(yīng)的發(fā)光元件的閃爍來向外部發(fā)送光信號。根據(jù)實施例,光發(fā)送部可包括多個發(fā)光元件陣列。根據(jù)實施例,光發(fā)送部可與設(shè)于車輛700的車燈一體化。例如,光發(fā)送部可以是前照燈、車尾燈、剎車燈、方向指示燈及示廓燈中的至少一種。例如,光通信模塊715可通過光通信與其他車輛602進行數(shù)據(jù)交換。
v2x通信模塊716是用于與服務(wù)器601或其他車輛602執(zhí)行無線通信的模塊。v2x通信模塊716包括可實現(xiàn)車輛之間通信v2v或車輛和基礎(chǔ)設(shè)施(infra)之間通信v2i協(xié)議的模塊。車輛700可通過v2x通信模塊716與外部服務(wù)器601及其他車輛602執(zhí)行無線通信。
輸入部720可包括:駕駛操作構(gòu)件721、照相機195、麥克風(fēng)723及用戶輸入部724。
駕駛操作構(gòu)件721接收用于駕駛車輛700的用戶輸入。駕駛操作構(gòu)件721可包括:轉(zhuǎn)向輸入構(gòu)件721a、擋位輸入構(gòu)件721b、加速輸入構(gòu)件721c、制動輸入構(gòu)件721d。
轉(zhuǎn)向輸入構(gòu)件721a從用戶接收車輛700的行進方向輸入。轉(zhuǎn)向輸入構(gòu)件721a優(yōu)選地以輪盤(wheel)形態(tài)形成,從而通過旋轉(zhuǎn)可進行轉(zhuǎn)向輸入。根據(jù)實施例,轉(zhuǎn)向輸入構(gòu)件721a可形成為觸摸屏、觸摸板或按鍵。
擋位輸入構(gòu)件721b從用戶接收車輛700的駐車p、前進d、空擋n、倒車r的輸入。擋位輸入構(gòu)件721b優(yōu)選地以控制桿(lever)形態(tài)形成。根據(jù)實施例,擋位輸入構(gòu)件721b可形成為觸摸屏、觸摸板或按鍵。
加速輸入構(gòu)件721c從用戶接收用于車輛700的加速的輸入。制動輸入構(gòu)件721d從用戶接收用于車輛700的減速的輸入。加速輸入構(gòu)件721c及制動輸入構(gòu)件721d優(yōu)選地以踏板形態(tài)形成。根據(jù)實施例,加速輸入構(gòu)件721c或制動輸入構(gòu)件721d可形成為觸摸屏、觸摸板或按鍵。
照相機195可包括圖像傳感器和影像處理模塊。照相機195可對利用圖像傳感器(例如,cmos或ccd)獲取的靜態(tài)影像或動態(tài)影像進行處理。影像處理模塊對通過圖像傳感器獲取的靜態(tài)影像或動態(tài)影像進行加工,提取出所需的信息,并可將提取出的信息傳送給控制部770。另外,車輛700可包括:照相機195,用于拍攝車輛前方影像或車輛周邊影像;以及,內(nèi)部照相機,用于拍攝車輛內(nèi)部影像。
內(nèi)部照相機可獲取關(guān)于乘坐者的圖像。內(nèi)部照相機可獲取用于乘坐者的生物特征識別的圖像。
另外,圖7中示出照相機195包括于輸入部720,但是也可如參照圖1至圖6所述的以照相機195包括于環(huán)視提供裝置100的結(jié)構(gòu)進行說明。
麥克風(fēng)723可將外部的音響信號處理為電性數(shù)據(jù)。被處理的數(shù)據(jù)可根據(jù)車輛700上執(zhí)行中的功能以多種方式加以利用。麥克風(fēng)723可將用戶的語音指令轉(zhuǎn)換為電性數(shù)據(jù)。被轉(zhuǎn)換的電性數(shù)據(jù)可傳送給控制部770。
另外,根據(jù)實施例,照相機195或麥克風(fēng)723可以是包括于檢測部760的結(jié)構(gòu)元件,而不是包括于輸入部720的結(jié)構(gòu)元件。
用戶輸入部724用于從用戶輸入信息。當(dāng)通過用戶輸入部724輸入信息時,控制部770可與輸入的信息對應(yīng)地控制車輛700的動作。用戶輸入部724可包括觸摸式輸入構(gòu)件或機械式輸入構(gòu)件。根據(jù)實施例,用戶輸入部724可配置在方向盤的一區(qū)域。在此情況下,駕駛者在把持方向盤的狀態(tài)下,可利用手指操作用戶輸入部724。
檢測部760用于檢測與車輛700的行駛等相關(guān)的信號。為此,檢測部760可包括碰撞傳感器、車輪傳感器(wheelsensor)、速度傳感器、斜率傳感器、重量檢測傳感器、航向傳感器(headingsensor)橫擺傳感器(yawsensor)、陀螺儀傳感器(gyrosensor)、定位模塊(positionmodule)、車輛前進/倒車傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基于方向盤旋轉(zhuǎn)的轉(zhuǎn)向傳感器、車輛內(nèi)部溫度傳感器、車輛內(nèi)部濕度傳感器、雨水(rain)傳感器、超聲波傳感器、雷達、激光雷達(liadar:lightdetectionandranging)等。
由此,檢測部760能夠獲取與車輛碰撞信息、車輛方向信息、車輛位置信息(gps信息)、車輛角度信息、車輛速度信息、車輛加速度信息、車輛斜率信息、車輛前進/倒車信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內(nèi)部溫度信息、車輛內(nèi)部濕度信息、是否下雨的信息、方向盤旋轉(zhuǎn)角度等相關(guān)的檢測信號。
另外,檢測部760可還包括加速踏板傳感器、壓力傳感器、引擎轉(zhuǎn)速傳感器(enginespeedsensor)、空氣流量傳感器(afs)、吸氣溫度傳感器(ats)、水溫傳感器(wts)、節(jié)氣門位置傳感器(tps)、tdc傳感器、曲軸轉(zhuǎn)角傳感器(cas)等。
檢測部760可包括生物特征識別信息檢測部。生物特征識別信息檢測部檢測并獲取乘坐者的生物特征識別信息。生物特征識別信息可包含指紋識別(fingerprint)信息、虹膜識別(iris-scan)信息、網(wǎng)膜識別(retina-scan)信息、手模樣(handgeo-metry)信息、臉部識別(facialrecognition)信息、語音識別(voicerecognition)信息。生物特征識別信息檢測部可包括用于檢測乘坐者的生物特征識別信息的傳感器。其中,內(nèi)部照相機及麥克風(fēng)723可作為傳感器進行動作。生物特征識別信息檢測部可通過內(nèi)部照相機獲取手模樣信息、臉部識別信息。
輸出部740用于輸出控制部770中處理的信息,可包括:顯示部741、音響輸出部742及觸覺輸出部743。
顯示部741可顯示控制部770中處理的信息。例如,顯示部741可顯示車輛相關(guān)信息。其中,車輛相關(guān)信息可包含:用于對車輛的直接控制的車輛控制信息、或者用于向車輛駕駛者提供駕駛向?qū)У能囕v駕駛輔助信息。并且,車輛相關(guān)信息可包含:用于提示當(dāng)前車輛的狀態(tài)的車輛狀態(tài)信息或與車輛的運行相關(guān)的車輛運行信息。
顯示部741可包括液晶顯示器(liquidcrystaldisplay,lcd)、薄膜晶體管液晶顯示器(thinfilmtransistor-liquidcrystaldisplay,tftlcd)、有機發(fā)光二極管(organiclight-emittingdiode、oled)、柔性顯示器(flexibledisplay)、3d顯示器(3ddisplay)、電子墨水顯示器(e-inkdisplay)中的至少一種。
顯示部741可與觸摸傳感器構(gòu)成相互層次結(jié)構(gòu)或一體地形成,從而能夠?qū)崿F(xiàn)觸摸屏。這樣的觸摸屏用作為提供車輛700和用戶之間的輸入接口的用戶輸入部724的同時,可還提供車輛700和用戶之間的輸出接口。在此情況下,顯示部741可包括用于檢測針對顯示部741的觸摸的觸摸傳感器,以能夠利用觸摸方式輸入控制指令。當(dāng)通過這樣的結(jié)構(gòu)實現(xiàn)針對顯示部741的觸摸時,觸摸傳感器檢測出所述觸摸操作,控制部770據(jù)此產(chǎn)生與所述觸摸對應(yīng)的控制指令。通過觸摸方式輸入的內(nèi)容可以是文字或數(shù)字、或是各種模式下的指示或可指定的菜單項目等。
另外,顯示部741可包括儀表盤(cluster),以使駕駛者在進行駕駛的同時能夠確認車輛狀態(tài)信息或車輛運行信息。儀表盤可位于前圍板(dashboard)上方。在此情況下,駕駛者可在視線保持于車輛前方的狀態(tài)下,確認儀表盤上顯示的信息。
另外,根據(jù)實施例,顯示部741可由平視顯示器(headupdisplay,hud)實現(xiàn)。在顯示部741由hud實現(xiàn)的情況下,可通過設(shè)于風(fēng)擋的透明顯示器輸出信息。或者,顯示部741可設(shè)有投射模塊,以通過投射于風(fēng)擋的圖像來輸出信息。
音響輸出部742將來自控制部770的電信號轉(zhuǎn)換為音頻信號進行輸出。為此,音響輸出部742可設(shè)有揚聲器等。音響輸出部742可還輸出與用戶輸入部724動作對應(yīng)的聲音。
觸覺輸出部743用于產(chǎn)生觸覺性的輸出。例如,觸覺輸出部743可通過震動方向盤、安全帶、座墊,能夠使駕駛者感知到輸出。
車輛驅(qū)動部750可控制車輛各種裝置的動作。車輛驅(qū)動部750可接收環(huán)視提供裝置100提供的控制信號。車輛驅(qū)動部750可基于所述控制信號控制各裝置。
車輛驅(qū)動部750可控制車輛各種裝置的動作。車輛驅(qū)動部750可包括:動力源驅(qū)動部751、轉(zhuǎn)向驅(qū)動部752、制動驅(qū)動部753、車燈驅(qū)動部754、空調(diào)驅(qū)動部755、車窗驅(qū)動部756、氣囊驅(qū)動部757、天窗驅(qū)動部758及懸架驅(qū)動部759。
動力源驅(qū)動部751可執(zhí)行針對車輛700內(nèi)的動力源的電子式控制。
例如,在以基于化石燃料的引擎(未圖示)作為動力源的情況下,動力源驅(qū)動部751可執(zhí)行針對引擎的電子式控制。由此,能夠控制引擎的輸出扭矩等。在動力源驅(qū)動部751為引擎的情況下,根據(jù)控制部770的控制,通過限制引擎輸出扭矩能夠限制車輛的速度。
作為另一例,在以基于電的馬達(未圖示)作為動力源的情況下,動力源驅(qū)動部751可執(zhí)行針對馬達的控制。由此,能夠控制馬達的轉(zhuǎn)速、扭矩等。
動力源驅(qū)動部751可從環(huán)視提供裝置100接收加速控制信號。動力源驅(qū)動部751可根據(jù)接收到的加速控制信號來控制動力源。
轉(zhuǎn)向驅(qū)動部752可執(zhí)行針對車輛700內(nèi)的轉(zhuǎn)向裝置(steeringapparatus)的電子式控制。由此,能夠變更車輛的行進方向。轉(zhuǎn)向驅(qū)動部752可從環(huán)視提供裝置100接收轉(zhuǎn)向控制信號。轉(zhuǎn)向驅(qū)動部752可根據(jù)接收到的轉(zhuǎn)向控制信號來控制轉(zhuǎn)向裝置進行轉(zhuǎn)向。
制動驅(qū)動部753可執(zhí)行針對車輛700內(nèi)的制動裝置(brakeapparatus)(未圖示)的電子式控制。例如,通過控制車輪上配置的制動器的動作,能夠減小車輛700的速度。作為另一例,通過改變左輪和右輪上各配置的制動器的動作,可將車輛700的行進方向調(diào)整為左側(cè)或右側(cè)。制動驅(qū)動部753可從環(huán)視提供裝置100接收減速控制信號。制動驅(qū)動部753可根據(jù)接收到的減速控制信號來控制制動裝置。
車燈驅(qū)動部754可控制車輛內(nèi)、外部配置的車燈的開啟/關(guān)閉。并且,可控制車燈的亮度、方向等。例如,可執(zhí)行針對方向燈、剎車燈等的控制。
空調(diào)驅(qū)動部755可執(zhí)行針對車輛700內(nèi)的空調(diào)裝置(airconditioner)(未圖示)的電子式控制。例如,在車輛內(nèi)部的溫度高的情況下,通過使空調(diào)裝置進行動作,能夠控制向車輛內(nèi)部供給冷氣。
車窗驅(qū)動部756可執(zhí)行針對車輛700內(nèi)的車窗裝置(windowapparatus)的電子式控制。例如,能夠控制車輛的側(cè)面的左、右車窗的開放或封閉。
氣囊驅(qū)動部757可執(zhí)行針對車輛700內(nèi)的氣囊裝置(airbagapparatus)的電子式控制。例如,當(dāng)發(fā)生危險時,能夠控制氣囊被彈出。
天窗驅(qū)動部758可執(zhí)行針對車輛700內(nèi)的天窗裝置(sunroofapparatus)(未圖示)的電子式控制。例如,能夠控制天窗的開放或封閉。
懸架驅(qū)動部759可執(zhí)行針對車輛700內(nèi)的懸架裝置(suspensionapparatus)(未圖示)的電子式控制。例如,在道路面曲折的情況下,通過控制懸架裝置能夠控制減小車輛700的震動。懸架驅(qū)動部759可從環(huán)視提供裝置100接收懸架控制信號。懸架驅(qū)動部759可根據(jù)接收到的懸架控制信號來控制懸架裝置。
存儲器730與控制部770進行電性連接。存儲器730可存儲與單元相關(guān)的基本數(shù)據(jù)、用于單元的動作控制的控制數(shù)據(jù)、輸入輸出的數(shù)據(jù)。存儲器730在硬件上可以是rom、ram、eprom、閃存盤、硬盤等多種存儲裝置。存儲器730可存儲用于控制部770的處理或控制的程序等、用于車輛700整體的動作的多種數(shù)據(jù)。
接口部780可執(zhí)行與和車輛700相連接的多種外部裝置的通道作用。例如,接口部780可設(shè)有可與移動終端600相連接的端口,通過所述端口能夠與移動終端600進行連接。在此情況下,接口部780可與移動終端600進行數(shù)據(jù)交換。
另外,接口部780可執(zhí)行向連接的移動終端600供給電能的通道作用。在移動終端600與接口部780進行電性連接的情況下,根據(jù)控制部770的控制,接口部780將電源部790供給的電能提供給移動終端600。
控制部770可控制車輛700內(nèi)的各單元的整體上的動作??刂撇?70可命名為電子控制單元(electroniccontrolunit,ecu)。
控制部770在硬件上可利用專用集成電路(applicationspecificintegratedcircuits,asics)、數(shù)字信號處理器(digitalsignalprocessors,dsps)、數(shù)字信號處理設(shè)備(digitalsignalprocessingdevices,dspds)、可編程邏輯設(shè)備(programmablelogicdevices,plds)、現(xiàn)場可編程門陣列(fieldprogrammablegatearrays,fpgas)、處理器(processors)、控制器(controllers)、微控制器(micro-controllers),微處理器(microprocessors)、用于執(zhí)行其他功能的電性單元中的至少一種來實現(xiàn)。
電源部790可基于控制部770的控制而供給各結(jié)構(gòu)元件的動作所需的電源。特別是,電源部790可接收從車輛內(nèi)部的電池(未圖示)等供給的電源。
環(huán)視提供裝置100可與控制部770進行數(shù)據(jù)交換。環(huán)視提供裝置100中生成的控制信號可輸出給控制部770。環(huán)視提供裝置100可以是參照圖1至圖7所描述的環(huán)視提供裝置。
車輛用顯示裝置400可與控制部770進行數(shù)據(jù)交換??刂撇?70可從車輛用顯示裝置400或額外的導(dǎo)航裝置(未圖示)接收導(dǎo)航信息。其中,導(dǎo)航信息可包含所設(shè)定的目的地信息、與所述目的地對應(yīng)的路徑信息、與車輛行駛相關(guān)的地圖(map)信息或車輛位置信息。
圖8至圖19是在說明本發(fā)明的實施例的環(huán)視監(jiān)控提供裝置中提供影像的動作時作為參照的圖。
圖8是在說明本發(fā)明的實施例的提供全向影像的動作時作為參照的圖。
參照圖8,全向照相機模塊195可包括多個照相機。全向照相機模塊195可通過多個照相機獲取以車輛700為中心的車輛700外部的所有方向的車輛周邊影像。例如,多個照相機可獲取車輛700的前方、后方、左側(cè)方、右側(cè)方、下方以及上方影像。
另外,為了能夠獲取車輛700外部的所有方向的車輛周邊影像,可適當(dāng)?shù)卮_定多個照相機的數(shù)目和位置。
處理器170可接收全向照相機模塊195獲取的多個車輛周邊影像。處理器170可基于多個車輛周邊影像生成全向影像。例如,處理器170可通過特征點匹配對多個車輛周邊影像進行合成,從而生成全向影像810。
處理器170可通過顯示部151顯示全向影像810中的全部或一部分區(qū)域。
另外,附圖標記820表示全向影像810中根據(jù)行駛狀況來顯示在顯示部151的區(qū)域。
圖9至圖11是在說明本發(fā)明的實施例的對根據(jù)轉(zhuǎn)向角信息提供的影像進行控制的動作時作為參照的圖。
參照圖9,在車輛700前進直行行駛的情況下,處理器170可將全向影像810中的一區(qū)域820a顯示在顯示部151。例如,處理器170可將全向影像810中的車輛的前方影像顯示在顯示部151。
在將與駕駛狀況無關(guān)的過多的信息提供給駕駛者時,將妨礙駕駛并可能會引發(fā)事故。根據(jù)本發(fā)明的實施例,在車輛700前進行駛的情況下,在全向影像810中與行駛狀況相符合地提供車輛的前方影像。由此,駕駛者能夠集中于直行前進狀況進行駕駛,從而誘導(dǎo)安全駕駛。
參照圖10至圖11,處理器170可與轉(zhuǎn)向角信息成比例地控制將以全向照相機模塊195為基準的車輛700直行行駛方向的左側(cè)或右側(cè)區(qū)域的影像顯示在顯示部151。
如圖10所示,在通過方向盤721a接收到右側(cè)方向的轉(zhuǎn)向輸入的情況下,處理器170可將全向影像810中直行行駛方向的右側(cè)區(qū)域的影像820b顯示在顯示部151。
如圖11所示,在通過方向盤721a接收到左側(cè)方向的轉(zhuǎn)向輸入的情況下,處理器170可將全向影像810中直行行駛方向的左側(cè)區(qū)域的影像820c顯示在顯示部151。
另外,在根據(jù)輸入的轉(zhuǎn)向而轉(zhuǎn)向角發(fā)生變更的情況下,處理器170可根據(jù)變更的轉(zhuǎn)向角的程度來變更顯示的區(qū)域。
另外,處理器170可通過接口部130接收轉(zhuǎn)向燈信息。處理器170可與轉(zhuǎn)向燈信息對應(yīng)地控制全向影像中顯示在顯示部151的區(qū)域的位置。
在車輛700直行行駛中接收到右側(cè)方向的轉(zhuǎn)向燈信息的情況下,如圖10所示,處理器170可將直行行駛方向的右側(cè)區(qū)域的影像820b顯示在顯示部151。
在車輛700直行行駛中接收到左側(cè)方向的轉(zhuǎn)向燈信息的情況下,如圖11所示,處理器170可將直行行駛方向的左側(cè)區(qū)域的影像820c顯示在顯示部151。
圖12至圖13是在說明本發(fā)明的實施例的根據(jù)車體的斜率信息來提供影像的動作時作為參照的圖。
參照圖12至圖13,處理器170可與斜率信息成比例地控制將以全向照相機模塊195為基準的車輛700直行行駛方向的上側(cè)或下側(cè)區(qū)域的影像顯示在顯示部151。
車輛700可在形成有多種高低差的道路上行駛。
道路可以斜率變低的方式形成。在以斜率變低的方式形成的道路上行駛的情況下,車體的斜率也將變低。例如,平地與下坡相連接的區(qū)間、上坡與平地相連接的區(qū)間、上坡與下坡相連接的區(qū)間可以是以斜率變低的方式形成的道路區(qū)間。
相反地,道路可以斜率變高的方式形成。在以斜率變高的方式形成的道路上行駛的情況下,車體的斜率也將變高。例如,平地與上坡相連接的區(qū)間、下坡與平地相連接的區(qū)間、下坡與上坡相連接的區(qū)間可以是以斜率變高的方式形成的道路區(qū)間。
如圖12所示,在車輛700以斜率變低的方式形成的區(qū)間行駛的情況下,處理器170可將直行行駛方向的下側(cè)區(qū)域的影像820d顯示在顯示部151。
另外,處理器170可對全向照相機模塊195獲取的影像進行處理,從而檢測出斜率開始變低的地點??蓪⑿甭书_始變低的地點稱為拐點。處理器170可在距拐點規(guī)定距離之前,將車輛700的直行行駛方向的下側(cè)區(qū)域的影像顯示在顯示部151。
如圖13所示,車輛700在以斜率變高的方式形成的區(qū)間行駛的情況下,處理器170可將直行行駛方向的上側(cè)區(qū)域的影像820e顯示在顯示部151。
另外,處理器170可對全向照相機模塊195獲取的影像進行處理,從而檢測出斜率開始變高的地點??蓪⑿甭书_始變高的地點稱為拐點。處理器170可在距拐點規(guī)定距離之前,將車輛700的直行行駛方向的上側(cè)區(qū)域的影像顯示在顯示部151。
圖14是在說明本發(fā)明的實施例的車輛700倒車的情況下提供影像的動作時作為參照的圖。
參照圖14,在車輛700倒車直行行駛的情況下,處理器170可將全向影像810中的一區(qū)域820f顯示在顯示部151。例如,處理器170可將全向影像810中的車輛的后方影像顯示在顯示部151。
在將與駕駛狀況無關(guān)的過多的信息提供給駕駛者時,將妨礙駕駛并可能會引發(fā)事故。根據(jù)本發(fā)明的實施例,在車輛700倒車行駛的情況下,在全向影像810中與行駛狀況相符合地提供車輛的后方影像。由此,駕駛者能夠集中于直行倒車狀況進行駕駛,從而誘導(dǎo)安全駕駛。
另外,與前進行駛的情況類似地,在車輛700倒車的情況下,處理器170可與轉(zhuǎn)向角信息成比例地控制將以全向照相機模塊195為基準的車輛700倒車行駛方向的左側(cè)或右側(cè)區(qū)域的影像顯示在顯示部151。
例如,在接收到方向盤朝右側(cè)旋轉(zhuǎn)的轉(zhuǎn)向輸入的情況下,處理器170可將全向影像810中倒車行駛方向的右側(cè)區(qū)域的影像顯示在顯示部151。
例如,在接收到方向盤朝左側(cè)旋轉(zhuǎn)的轉(zhuǎn)向輸入的情況下,處理器170可將全向影像810中倒車行駛方向的左側(cè)區(qū)域的影像顯示在顯示部151。
圖15是在說明本發(fā)明的實施例的根據(jù)轉(zhuǎn)向角信息和車體的斜率信息來提供影像的動作時作為參照的圖。
車輛700可在形成有彎道(curve)且形成斜率的道路區(qū)間前進行駛。在此情況下,處理器170可控制將與轉(zhuǎn)向角信息和車體的斜率信息對應(yīng)的影像820g顯示在顯示部151。
假設(shè)接收到左側(cè)方向的轉(zhuǎn)向輸入且車體的斜率變高的情況下,處理器170可將直行行駛方向的左側(cè)及上側(cè)區(qū)域的影像820g顯示在顯示部151。
假設(shè)接收到左側(cè)方向的轉(zhuǎn)向輸入且車體的斜率變低的情況下,處理器170可將直行行駛方向的左側(cè)及下側(cè)區(qū)域的影像(未圖示)顯示在顯示部151。
假設(shè)接收到右側(cè)方向的轉(zhuǎn)向輸入且車體的斜率變高的情況下,處理器170可將直行行駛方向的右側(cè)及上側(cè)區(qū)域的影像(未圖示)顯示在顯示部151。
假設(shè)接收到右側(cè)方向的轉(zhuǎn)向輸入且車體的斜率變低的情況下,處理器170可將直行行駛方向的左側(cè)及下側(cè)區(qū)域的影像(未圖示)顯示在顯示部151。
圖16是在說明本發(fā)明的實施例的車輛700進入交叉路、駛?cè)肼坊蝰偝雎返那闆r下提供影像的動作時作為參照的圖。
參照圖16,在行駛中車輛700可進入交叉路、駛?cè)肼坊蝰偝雎贰T诖饲闆r下,處理器170可控制將全向影像810中顯示在顯示部151的區(qū)域進行擴展820h。
例如,處理器170可控制顯示與車輛700在一般道路上直行行駛時顯示在顯示部151的區(qū)域相比朝左右方向更加擴展的區(qū)域。
另外,處理器170可基于車輛700的位置信息來判斷車輛700是否進入交叉路、駛?cè)肼坊蝰偝雎贰;蛘?,處理?70可基于車輛周邊影像檢測出交叉路、駛?cè)肼坊蝰偝雎?。例如,處理?70可通過檢測出交叉路的信號燈、駛?cè)肼坊蝰偝雎返慕煌俗R牌等來進行判斷。
在車輛700進入交叉路、駛?cè)肼坊蝰偝雎返那闆r下,駕駛者需要以左右方向上具有更寬的視野的方式注視前方。這是因為,在交叉路的情況下,與直行行駛的情況不同的是還存在有在側(cè)方行駛的其他車輛。并且,在駛?cè)肼坊蝰偝雎返那闆r下,需要在以較大的角度形成的彎道區(qū)間行駛。根據(jù)本發(fā)明的實施例,在進入交叉路、駛?cè)肼坊蝰偝雎返那闆r下,通過控制全向影像810中顯示在顯示部151的區(qū)域進行擴展,在特殊的狀況下向駕駛者提供更寬的視野的影像,從而能夠誘導(dǎo)安全駕駛。
圖17是在說明本發(fā)明的實施例的車輛700以倒車方式從駐車空間出車的情況下提供影像的動作時作為參照的圖。
參照圖17,車輛700可以倒車方式從駐車空間進行出車。在此情況下,處理器170可控制全向影像810中顯示在顯示部151的區(qū)域進行擴展820i。
例如,處理器170可控制顯示與車輛700在一般道路上倒車行駛時顯示在顯示部151的區(qū)域相比朝左右方向更加擴展的區(qū)域。
另外,處理器170可基于車輛700的位置信息或車輛周邊影像來判斷車輛700是否以倒車方式從駐車空間出車。
在車輛700以倒車方式從駐車空間出車的情況下,駕駛者需要以左右方向上具有更寬的視野的方式注視后方。通過控制顯示在顯示部151的區(qū)域進行擴展,在特殊的狀況下向駕駛者提供更寬的視野的影像,從而能夠誘導(dǎo)安全駕駛。
圖18是在說明本發(fā)明的實施例的車輛700前進駐車的情況下提供影像的動作時作為參照的圖。
參照圖18,車輛700可進行前進駐車。在此情況下,處理器170可控制全向影像810中顯示在顯示部151的區(qū)域朝下方進行擴展820j。
例如,處理器170可控制顯示與車輛700在一般道路上前進行駛時顯示在顯示部151的區(qū)域相比更向下方擴展的區(qū)域。
另外,處理器170可基于車輛700的位置信息或車輛周邊影像來判斷車輛700是否在停車場進行前進駐車。
在車輛700在駐車空間前進駐車的情況下,駕駛者因被引擎艙遮擋而無法確認高度低的障礙物。在此情況下,通過以本發(fā)明的實施例所述的方式來提供影像,能夠確認出高度低的障礙物,從而預(yù)防車輛的破損等。其中,高度低的障礙物可以有路邊石、樁子(stopper)、交通錐(trafficcone)等。
圖19是在說明本發(fā)明的實施例的車輛700倒車駐車的情況下提供影像的動作時作為參照的圖。
參照圖19,車輛700可進行倒車駐車。在此情況下,處理器170可控制全向影像810中顯示在顯示部151的區(qū)域朝下方進行擴展820k。
例如,處理器170可控制顯示與車輛700在一般道路上倒車行駛時顯示在顯示部151的區(qū)域相比更朝下方擴展的區(qū)域。
另外,處理器170可基于車輛700的位置信息或車輛周邊影像來判斷車輛700是否在停車場進行倒車駐車。
在車輛700在駐車空間倒車駐車的情況下,駕駛者因被車體遮擋而無法確認高度低的障礙物。特別是,通過提供有側(cè)鏡及俯視畫面的現(xiàn)有技術(shù)的avm裝置也不易確認出高度低的障礙物。因此,通過以本發(fā)明的實施例所述的方式來提供影像,能夠確認出高度低的障礙物,從而預(yù)防車輛的破損等。其中,高度低的障礙物可以有路邊石、樁子(stopper)、交通錐(trafficcone)等。
前述的本發(fā)明可由在記錄有程序的介質(zhì)中計算機可讀取的代碼來實現(xiàn)。計算機可讀取的介質(zhì)包括存儲有可由計算機系統(tǒng)讀取的數(shù)據(jù)的所有種類的記錄裝置。計算機可讀取的介質(zhì)的例有硬盤驅(qū)動器(harddiskdrive,hdd)、固態(tài)盤(solidstatedisk,ssd)、硅盤驅(qū)動器(silicondiskdrive,sdd)、rom、ram、cd-rom、磁帶、軟盤、光數(shù)據(jù)存儲裝置等,并且也可以載波(例如,基于因特網(wǎng)的傳輸)的形態(tài)實現(xiàn)。并且,所述計算機也可包括處理器170或控制部770。因此,以上所述的詳細的說明在所有方面上不應(yīng)被理解為限制性的,而是應(yīng)當(dāng)被理解為時例示性的。本發(fā)明的范圍應(yīng)當(dāng)由對所附的權(quán)利要求書的合理的解釋而定,本發(fā)明的等價范圍內(nèi)的所有變更應(yīng)當(dāng)落入本發(fā)明的范圍。