專利名稱：車載應(yīng)用程序選擇系統(tǒng)和車載應(yīng)用程序選擇裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及適用于在車廂內(nèi)安裝了使用所拍攝的圖像進(jìn)行各種處理的裝置和軟件等的車輛的有效技術(shù)。
背景技術(shù)：
以往，曾經(jīng)提出了使用由安裝在車輛上的拍攝裝置(以下稱為“車載照相機(jī)”)拍攝的圖像向乘員提供服務(wù)的各種裝置和應(yīng)用程序軟件(以下稱為“車載應(yīng)用程序”)。作為這種車載應(yīng)用程序的示例有以下技術(shù)。通過拍攝并驗證駕駛員的面部圖像判斷駕駛員是否是合法駕駛員的技術(shù)(例如，參照專利文獻(xiàn)1)。通過從圖像中檢測駕駛員的視線方向和面部朝向來進(jìn)行旁視檢測的技術(shù)(例如，參照專利文獻(xiàn)2)。通過從圖像中檢測駕駛員的眼睛睜開程度來檢測駕駛員的清醒程度的技術(shù)(例如，參照專利文獻(xiàn)3)。
另外，車輛的乘員的身體姿勢容易受車輛的動作和運(yùn)轉(zhuǎn)狀況的影響。因此，所拍攝的圖像未必全部適合于上述的各種車載應(yīng)用程序。例如，在車輛隨著路面的凹凸而上下?lián)u晃的情況下，乘員也隨著車輛的搖晃而搖晃。在這種情況下進(jìn)行拍攝時，有可能拍攝出乘員的像上下晃動的圖像、或乘員的面部上部超出圖像區(qū)域的圖像等。這樣拍攝的低質(zhì)量的圖像在例如用于驗證處理或視線檢測處理等時，成為降低這些處理的精度的原因。
針對這種問題，具有以下技術(shù)(例如參照專利文獻(xiàn)4)算出汽車的搖晃量，使用所算出的搖晃量進(jìn)行圖像校正，從而生成沒有路面凹凸和操縱駕駛導(dǎo)致的搖晃的影響的圖像。但是，在執(zhí)行這種圖像校正時需要時間。因此，在拍攝了上述的質(zhì)量不夠好的圖像時，就成為車載應(yīng)用程序的動作產(chǎn)生延遲的原因。
并且，也有不進(jìn)行上述的圖像校正來解決問題的技術(shù)。例如，通過進(jìn)行圖像處理判斷所拍攝的圖像的質(zhì)量，在判斷為所拍攝的圖像的質(zhì)量不夠好的情況下，可以禁止使用該圖像的車載應(yīng)用程序的動作。但是，由于用于判斷所拍攝的圖像的質(zhì)量的圖像處理需要時間，結(jié)果，車載應(yīng)用程序的動作產(chǎn)生延遲。
另外，提出以下技術(shù)(例如參照專利文獻(xiàn)5)在車輛速度小于等于一定速度的情況下、舵角或橫擺速率大于等于規(guī)定值的情況下、或未佩戴安全帶的情況下，由于不是正常的行駛過程中而判斷為容易產(chǎn)生錯誤識別的狀態(tài)，禁止根據(jù)圖像對駕駛員的面部進(jìn)行識別的處理。在這種技術(shù)中，不進(jìn)行圖像處理，而判斷所拍攝的圖像質(zhì)量是否足夠好。并且，對于判斷為質(zhì)量不夠好的圖像，不是進(jìn)行圖像校正，而是禁止進(jìn)行使用這種圖像的處理。因此，可以避免因圖像處理或圖像校正造成的延遲。
專利文獻(xiàn)1 特開平11-043016號公報專利文獻(xiàn)2 特開平08-249454號公報專利文獻(xiàn)3 特開平10-035320號公報專利文獻(xiàn)4 特開2002-112252號公報專利文獻(xiàn)5 特開平06-293228號公報發(fā)明內(nèi)容但是，由于車載應(yīng)用程序有各種種類，所以即使在某種情況下拍攝的圖像不能在一個車載應(yīng)用程序中使用時，未必在其他車載應(yīng)用程序中也不能使用。例如，在上述技術(shù)中，在車輛速度小于等于一定速度的情況下或者舵角或橫擺速率大于等于規(guī)定值的情況下，由于識別為容易產(chǎn)生錯誤識別的狀態(tài)的基礎(chǔ)上，禁止根據(jù)在這些情況下所拍攝的圖像進(jìn)行駕駛員面部的識別處理。但是，根據(jù)車載應(yīng)用程序的種類，也有即使是有可能產(chǎn)生這種錯誤識別的低質(zhì)量的圖像也能充分進(jìn)行處理的情況。這樣，如果對可以動作的車載應(yīng)用程序的處理也禁止，將白白地降低車輛的性能。
并且，根據(jù)車載應(yīng)用程序的種類，例如，也有即使可以正常動作，但在特定情況下不需要動作的情況。如果執(zhí)行這種車載應(yīng)用程序，將對安裝在車輛上的信息處理裝置等的資源施加無用的負(fù)荷。結(jié)果，導(dǎo)致期望快速執(zhí)行的其他處理(其他車載應(yīng)用程序的處理)的延遲。
本發(fā)明的目的在于，提供一種不進(jìn)行圖像處理和圖像校正，通過把所拍攝的圖像提供給合適的車載應(yīng)用程序，使各種車載應(yīng)用程序無錯誤動作地快速動作的技術(shù)。
為了解決上述問題，本發(fā)明采用以下結(jié)構(gòu)。本發(fā)明是一種車載應(yīng)用程序選擇系統(tǒng)，具有拍攝單元，拍攝車輛的乘員的圖像；多個車載應(yīng)用程序執(zhí)行單元，使用由拍攝單元拍攝的圖像，分別對車輛乘員提供服務(wù)；傳感器，檢測車輛的整體或部分的狀態(tài)；以及選擇單元，根據(jù)傳感器的輸出，從多個車載應(yīng)用程序執(zhí)行單元中選擇應(yīng)該動作的單元，使所選擇的車載應(yīng)用程序執(zhí)行單元動作。
“服務(wù)”是指，例如對判斷為清醒程度低的乘員進(jìn)行催促清醒的動作(具體講是發(fā)出警告聲音，或使該乘員乘坐的座椅振動等的動作)的服務(wù)，或進(jìn)行個人驗證并僅在判斷為合法駕駛員的情況下起動發(fā)動機(jī)的服務(wù)等。
在本發(fā)明中，選擇單元以拍攝各圖像時的傳感器輸出為基礎(chǔ)，使用所拍攝的圖像選擇應(yīng)該進(jìn)行服務(wù)的車載應(yīng)用程序執(zhí)行單元。例如，選擇單元也可以構(gòu)成為以拍攝各圖像時的傳感器輸出為基礎(chǔ)，推測所拍攝的圖像的質(zhì)量，選擇使用推測出的質(zhì)量的圖像可以進(jìn)行動作的車載應(yīng)用程序執(zhí)行單元?！笆褂猛茰y質(zhì)量的圖像可以進(jìn)行動作”指即使使用推測出的質(zhì)量的圖像進(jìn)行動作時，也可以幾乎不降低其精度地進(jìn)行動作。并且，例如，選擇單元也可以構(gòu)成為以拍攝各圖像時的傳感器輸出為基礎(chǔ)，推測拍攝圖像時的車輛和乘員的狀態(tài)，選擇在所推測的狀態(tài)下需要的車載應(yīng)用程序執(zhí)行單元。
此處，質(zhì)量好的圖像是指，例如被攝體或被攝體的部分邊緣被鮮明地攝出的圖像、或被攝體被收在圖像框中的圖像等。另一方面，質(zhì)量不好的圖像是指，例如被攝體或被攝體的部分邊緣模糊的圖像、或被攝體超出圖像框的圖像等。
根據(jù)本發(fā)明，根據(jù)檢測車輛狀態(tài)的傳感器的輸出，選擇應(yīng)該動作的車載應(yīng)用程序執(zhí)行單元。即，根據(jù)車輛的狀態(tài)，選擇應(yīng)該動作的車載應(yīng)用程序執(zhí)行單元。
本發(fā)明的選擇單元也可以構(gòu)成為包括表存儲單元，存儲使傳感器的輸出、與使用根據(jù)傳感器的輸出推測的質(zhì)量的圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元相對應(yīng)的表；以及控制單元，從表中選擇與傳感器的輸出對應(yīng)的車載應(yīng)用程序執(zhí)行單元，使所選擇的車載應(yīng)用程序執(zhí)行單元動作。
在這樣構(gòu)成的本發(fā)明中，根據(jù)檢測車輛狀態(tài)的傳感器的輸出，選擇使用根據(jù)傳感器的輸出推測的質(zhì)量的圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元。因此，例如即使在可以推測為拍攝了質(zhì)量低的圖像(例如在驗證處理中產(chǎn)生錯誤驗證的可能性高的圖像)時，也選擇即使使用這種質(zhì)量低的圖像也能正常動作的車載應(yīng)用程序執(zhí)行單元，并使其執(zhí)行。所以，可以防止即使使用這種質(zhì)量低的圖像也能正常動作的車載應(yīng)用程序執(zhí)行單元也被禁止動作。
并且，本發(fā)明的選擇單元也可以構(gòu)成為包括表存儲單元，存儲使傳感器的輸出、與在根據(jù)傳感器的輸出推測的駕駛員狀態(tài)下需要的車載應(yīng)用程序執(zhí)行單元相對應(yīng)的表；以及控制單元，從表中選擇與傳感器的輸出對應(yīng)的車載應(yīng)用程序執(zhí)行單元，并使所選擇的車載應(yīng)用程序執(zhí)行單元動作。
在這樣構(gòu)成的本發(fā)明中，根據(jù)檢測車輛狀態(tài)的傳感器的輸出，選擇在根據(jù)傳感器的輸出推測的駕駛員狀態(tài)下需要的車載應(yīng)用程序執(zhí)行單元，并使其執(zhí)行。因此，例如即使是可以正常動作的車載應(yīng)用程序執(zhí)行單元，但在推測的駕駛員狀態(tài)下不需要的車載應(yīng)用程序執(zhí)行單元也不被選擇。所以，通過使不需要的車載應(yīng)用程序執(zhí)行單元不動作，可以防止導(dǎo)致真正需要動作的其他車載應(yīng)用程序執(zhí)行單元的處理延遲。
并且，本發(fā)明的傳感器包括檢測車輛的振動的傳感器，表將檢測表示大于等于規(guī)定振動的車輛振動的傳感器的輸出、僅與使用晃動的面部圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元對應(yīng)。此時，表還可以將其他傳感器的輸出與車載應(yīng)用程序執(zhí)行單元對應(yīng)。
在這樣構(gòu)成的本發(fā)明中，在檢測車輛狀態(tài)的傳感器計測到大于等于規(guī)定值的振動的情況下，僅選擇使用晃動的面部圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元，并使其執(zhí)行。一般地，在車輛振動的情況下，乘員的身體也振動，因此有可能拍攝出在振動方向晃動的圖像。但是，例如即使拍攝了晃動的圖像，也能通過控制單元選擇使用晃動的面部圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元。因此，可以防止已動作的車載應(yīng)用程序執(zhí)行單元產(chǎn)生錯誤動作。換言之，可以提高車載應(yīng)用程序執(zhí)行單元的動作精度。
并且，“使用晃動的面部圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元”也可以是例如通過從所輸入的圖像中檢測人的面部位置而動作的車載應(yīng)用程序執(zhí)行單元。一般地，面部的特征量(進(jìn)行面部驗證時使用的數(shù)據(jù))和視線等的檢測處理，如果不使用高質(zhì)量的圖像進(jìn)行處理有可能產(chǎn)生錯誤動作。另一方面，檢測人的面部位置的處理可以通過例如檢測橢圓形的膚色區(qū)域或檢測被推測為面部的濃度比的圖形來實現(xiàn)，所以即使是質(zhì)量較低的圖像、例如晃動的圖像也能正常進(jìn)行動作。因此，作為使用晃動的面部圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元的示例，采用通過檢測面部位置而動作的車載應(yīng)用程序執(zhí)行單元，由此可以防止錯誤動作。
本發(fā)明的第二方式是一種車載應(yīng)用程序選擇裝置，包括輸入單元，接受由拍攝單元拍攝的車輛的乘員圖像；判別單元，根據(jù)檢測車輛的整體或部分的狀態(tài)的傳感器的輸出，判別拍攝所接受的乘員圖像時的車輛的狀態(tài)；以及選擇單元，根據(jù)判別結(jié)果，選擇使用由拍攝單元拍攝的圖像分別向乘員提供服務(wù)的多個車載應(yīng)用程序中應(yīng)該提供所接受的乘員圖像的車載應(yīng)用程序。
在本發(fā)明的第二方式中，從通過輸入單元接受的圖像中，根據(jù)由判別單元判別的車輛的狀態(tài)，選擇單元選擇車載應(yīng)用程序。因此，通過使安裝了拍攝單元和上述傳感器的汽車具備本發(fā)明的第二方式的車載應(yīng)用程序選擇裝置，可以獲得和本發(fā)明的第一方式相同的效果。
本發(fā)明的第一方式和第二方式也可以通過利用信息處理裝置執(zhí)行程序來實現(xiàn)。即，確定用于使信息處理裝置執(zhí)行上述各單元執(zhí)行的處理的程序、或記錄了該程序的記錄介質(zhì)，以此可以獲得上述的作用和效果。
根據(jù)本發(fā)明，根據(jù)檢測車輛狀態(tài)的傳感器的輸出，選擇應(yīng)該動作的車載應(yīng)用程序執(zhí)行單元。因此，可以控制成不進(jìn)行圖像處理和圖像校正，使各種車載應(yīng)用程序無錯誤動作地快速動作。


圖1是表示應(yīng)用程序選擇系統(tǒng)的功能的方框圖。
圖2是表示表的示例的圖。
圖3是表示應(yīng)用程序選擇部的動作示例的流程圖。
圖4是表示應(yīng)用程序選擇部的動作示例的流程圖。
圖5是表示應(yīng)用程序選擇部的動作示例的流程圖。
符號說明1應(yīng)用程序選擇系統(tǒng)；2照相機(jī)；3車載傳感器；3a加速度傳感器；3b速度傳感器；3c舵角傳感器；3d齒輪傳感器；4車載應(yīng)用程序部；4a個人驗證部；4b打盹檢測部；4c旁視檢測部；4d視線檢測部；4e面部位置檢測部；5應(yīng)用程序選擇部；6車輛狀態(tài)判斷部；7表存儲部；7a表；8控制部。
具體實施例方式
以下，使用

應(yīng)用程序選擇系統(tǒng)1。另外，關(guān)于應(yīng)用程序選擇系統(tǒng)1的以下構(gòu)成只是示例，本發(fā)明的構(gòu)成不限于以下構(gòu)成。
(系統(tǒng)構(gòu)成)圖1是表示應(yīng)用程序選擇系統(tǒng)1的構(gòu)成示例的圖。使用圖1說明應(yīng)用程序選擇系統(tǒng)1的構(gòu)成。
應(yīng)用程序選擇系統(tǒng)1使用照相機(jī)2、車載傳感器3、車載應(yīng)用程序部4和應(yīng)用程序選擇部5構(gòu)成。以下，說明應(yīng)用程序選擇系統(tǒng)1具有的各構(gòu)成要素。
(照相機(jī))照相機(jī)2使用數(shù)字照相機(jī)/數(shù)字拍攝機(jī)等構(gòu)成。照相機(jī)2拍攝在車載應(yīng)用程序部4具備的各種應(yīng)用程序中使用的圖像。在應(yīng)用程序選擇系統(tǒng)1中，照相機(jī)2被設(shè)置用于拍攝乘坐在車輛駕駛席上的駕駛員的面部。
照相機(jī)2可以構(gòu)成為一直進(jìn)行拍攝，也可以在通過手動接通起動開關(guān)后、通過手動或定時器接通停止開關(guān)前的期間持續(xù)進(jìn)行拍攝，或者還可以構(gòu)成為根據(jù)安裝在車輛上的傳感器輸出，在規(guī)定條件下利用照相機(jī)2的控制裝置控制攝影開始/停止。
(車載傳感器)車載傳感器3使用各種傳感器構(gòu)成。車載傳感器3被設(shè)置在車輛上。車載傳感器3例如使用加速度傳感器3a、速度傳感器3b、舵角傳感器3c和齒輪傳感器3d構(gòu)成。車載傳感器3也可以根據(jù)需要使用其他傳感器構(gòu)成。
加速度傳感器3a測定車輛的加速度。加速度傳感器3a測定車輛相對地面的垂直方向的加速度。加速度傳感器3a例如使用3軸加速度傳感器構(gòu)成。
速度傳感器3b測定車輛的速度。速度傳感器3b測定相對車輛行進(jìn)方向的車輛速度。速度傳感器3b例如使用車輪速度傳感器構(gòu)成。
舵角傳感器3c測定車輛的舵角。舵角傳感器3c例如根據(jù)轉(zhuǎn)向器的位置測定舵角。
齒輪傳感器3d測定車輛的齒輪位置。齒輪傳感器3d至少檢測車輛的齒輪的空檔狀態(tài)和倒檔狀態(tài)。齒輪傳感器3d例如使用所謂的空檔傳感器和倒車燈開關(guān)構(gòu)成。
雖然未圖示，但作為其他車載傳感器，可以列舉出乘坐傳感器、照度傳感器。另外，也可以把GPS(Ground Positioning System全球定位系統(tǒng))、ETC(Electronic Toll Collection電子收費)、智能車門進(jìn)入(smart entry)等系統(tǒng)作為傳感器。
乘坐傳感器檢測駕駛員以外的其他乘員乘坐在哪個座椅上。乘坐傳感器例如使用薄膜開關(guān)構(gòu)成。
照度傳感器測定照相機(jī)的攝影環(huán)境的照度。照度傳感器例如可以利用內(nèi)置在照相機(jī)中的照度傳感器構(gòu)成，也可以是設(shè)置在儀表板上的照度傳感器。
如果把GPS接收機(jī)作為傳感器，可以測定車輛在地圖上的位置。通過測定在地圖上的位置，可以檢測車輛在何種狀態(tài)的道路上行駛。具體地講，可以檢測是在高速道路上行駛還是在彎道多的山道上行駛。
如果把ETC的車載器作為傳感器，可以檢測車輛位于ETC的收費口和收費時間。
如果把智能車門進(jìn)入的車載器作為傳感器，可以檢測持有遙控器的車輛使用者是否在車輛周圍。
(車載應(yīng)用程序部)車載應(yīng)用程序部4使用實現(xiàn)車載應(yīng)用程序的多個功能部構(gòu)成。車載應(yīng)用程序部4安裝在車輛上。
車載應(yīng)用程序部4在硬件上具有通過總線連接的CPU(中央運(yùn)算處理裝置)、主存儲裝置(RAM)、輔助存儲裝置等。輔助存儲裝置使用非易失性存儲裝置構(gòu)成。此處所說的非易失性存儲裝置是指所謂的ROM(包括Read-Only MemoryEPROM(Erasable Programmable Read-OnlyMemory)、EEPROM(Electrically Erasable Programmable Read-OnlyMemory)、掩模ROM等)，F(xiàn)RAM(Ferroelectric RAM)、硬盤等。并且，車載應(yīng)用程序部4根據(jù)適用的車載應(yīng)用程序?qū)Ρ匾b置進(jìn)行控制。關(guān)于和車載應(yīng)用程序?qū)?yīng)的裝置將在后面敘述。
車載應(yīng)用程序部4通過把存儲在輔助存儲裝置中的各種程序(OS、應(yīng)用程序等)加載到主存儲裝置中并由CPU執(zhí)行來發(fā)揮作用。并且，車載應(yīng)用程序部4的一部分或全部可以構(gòu)成為專用芯片。
車載應(yīng)用程序部4例如使用個人驗證部4a、打盹檢測部4b、旁視檢測部4c和氣囊噴出地點決定部4d構(gòu)成。這些各個功能部通過在上述CPU等的硬件上執(zhí)行各自的程序而實現(xiàn)。車載應(yīng)用程序部4根據(jù)需要也可以使用其他車載應(yīng)用程序構(gòu)成。但是，在應(yīng)用程序選擇系統(tǒng)1中，照相機(jī)2被設(shè)置用于拍攝駕駛員的面部。因此，在該示例中，適用于車載應(yīng)用程序部4的車載應(yīng)用程序限定為對駕駛員進(jìn)行的服務(wù)(處理)。
個人驗證部4a判斷車輛的駕駛員是否是合法的人員，只有在是合法的人員時才使發(fā)動機(jī)工作。個人驗證部4a使用由照相機(jī)2拍攝的圖像和預(yù)先登錄的合法人員的圖像進(jìn)行判斷(個人驗證處理)。個人驗證部4a發(fā)揮根據(jù)個人驗證處理的結(jié)果控制發(fā)動機(jī)的起動/停止的控制部的作用。
打盹檢測部4b判斷車輛的駕駛員是否在打盹，在判斷為打盹時執(zhí)行使駕駛員清醒的動作。打盹檢測部4b從由照相機(jī)2拍攝的圖像中獲取駕駛員的眼睛圖像，判斷眼皮是否睜開得大于等于一定寬度。打盹檢測部4b在判斷為眼皮未睜開得大于等于一定寬度時，例如通過使設(shè)置在駕駛席上的振動裝置振動、或從設(shè)置在車內(nèi)的揚(yáng)聲器發(fā)出警告聲音等，使駕駛員清醒。該情況下，打盹檢測部4b發(fā)揮作為振動裝置或揚(yáng)聲器的控制部的作用。并且，這種揚(yáng)聲器可以是預(yù)先在車輛上配備的音響設(shè)備用揚(yáng)聲器或作為旁視檢測部4c用配備的揚(yáng)聲器，也可以是作為打盹檢測部4b用而獨立準(zhǔn)備的揚(yáng)聲器。
旁視檢測部4c判斷車輛駕駛員是否在旁視(觀看旁邊)，在判斷為旁視時警告駕駛員不要看旁邊。旁視檢測部4c根據(jù)由照相機(jī)2拍攝的圖像判斷駕駛員的面部朝向。旁視檢測部4c在判斷為駕駛員的面部朝向旁邊大于等于規(guī)定角度時，通過從設(shè)置在車內(nèi)的揚(yáng)聲器發(fā)出警告聲音等來警告駕駛員。該情況下，旁視檢測部4c發(fā)揮作為揚(yáng)聲器的控制部的作用。并且，這種揚(yáng)聲器可以是預(yù)先設(shè)在車輛上的揚(yáng)聲器或作為打盹檢測部4b用配備的揚(yáng)聲器，也可以是作為旁視檢測部4c用而獨立配備的揚(yáng)聲器。
視線檢測部4d判斷車輛駕駛員在觀看何處、即檢測駕駛員的視線(注視點)。視線檢測部4d構(gòu)成為在檢測到車輛的障礙物時，在所檢測的駕駛員的注視點的方向平視顯示危險標(biāo)記(例如，參照特開平6-230132號公報，特開平9-7100號公報)。作為這種障礙物的示例，有處于車輛行進(jìn)方向的步行者、或車輛左轉(zhuǎn)彎時有可能卷入的二輪車等。在該情況下，視線檢測部4d發(fā)揮作為安裝在車輛上的進(jìn)行平視顯示的裝置的控制部的作用。
面部位置檢測部4e根據(jù)由照相機(jī)2拍攝的圖像檢測車輛的駕駛員的面部位置，判斷其頭部位于何處。并且，面部位置檢測部4e在噴出氣囊時，向駕駛員的頭部所在的位置噴出氣囊。面部位置檢測部4e在通過傳感器等檢測到車輛碰撞其他物體等時，發(fā)揮作為控制安裝在車輛上的氣囊裝置的控制部的作用，以向駕駛員的頭部位置噴出氣囊。
(應(yīng)用程序選擇部)應(yīng)用程序選擇部5根據(jù)車載傳感器3的各傳感器的輸出，判斷應(yīng)該對車載應(yīng)用程序部4的哪個車載應(yīng)用程序輸入由照相機(jī)2拍攝的各圖像(或應(yīng)該使哪個車載應(yīng)用程序動作)。首先，使用圖1說明應(yīng)用程序選擇部5的功能模塊。
應(yīng)用程序選擇部5在硬件上具有通過總線連接的CPU(中央運(yùn)算處理裝置)、主存儲裝置(RAM)、輔助存儲裝置等。輔助存儲裝置使用所謂的非易失性存儲裝置構(gòu)成。該CPU、RAM、輔助存儲裝置等也可以構(gòu)成為與車載應(yīng)用程序部4共享其一部分或全部。
應(yīng)用程序選擇部5通過向主存儲裝置加載存儲在輔助存儲裝置中的各種程序(OS、應(yīng)用程序等)并由CPU執(zhí)行，發(fā)揮作為包括車輛狀態(tài)判斷部6、表存儲部7和控制部8等的裝置的作用。特別是，車輛狀態(tài)判斷部6和控制部8通過由CPU執(zhí)行程序來實現(xiàn)。并且，車輛狀態(tài)判斷部6和控制部8也可以分別構(gòu)成為專用的芯片。以下，說明應(yīng)用程序選擇部5的各功能部。
(車輛狀態(tài)判斷部)車輛狀態(tài)判斷部6根據(jù)車載傳感器3(加速度傳感器3a、速度傳感器3b、舵角傳感器3c、齒輪傳感器3d)的輸出信號(數(shù)據(jù))，輸出表示車輛狀態(tài)的信號(Code)。在輸出信號為模擬信號的情況下，將輸出信號數(shù)字化。Code是具有5位二進(jìn)制數(shù)的變量。
車輛狀態(tài)判斷部6根據(jù)從加速度傳感器3a輸出的數(shù)據(jù)，算出車輛的垂直方向的加速度a。車輛狀態(tài)判斷部6判斷所算出的加速度a是否小于等于閾值Z1。并且，車輛狀態(tài)判斷部6根據(jù)從速度傳感器3b輸出的數(shù)據(jù)算出車輛的速度v。車輛狀態(tài)判斷部6判斷所算出的速度是否大于等于閾值Z2。并且，車輛狀態(tài)判斷部6根據(jù)從舵角傳感器3c輸出的數(shù)據(jù)算出車輛的轉(zhuǎn)向舵角θ。車輛狀態(tài)判斷部6判斷所算出的舵角θ是否大于等于閾值Z3。并且，車輛狀態(tài)判斷部6根據(jù)從齒輪傳感器3d輸出的數(shù)據(jù)判斷車輛的齒輪是否處于空檔狀態(tài)并且速度v為零。并且，車輛狀態(tài)判斷部6根據(jù)從齒輪傳感器3d輸出的數(shù)據(jù)判斷車輛的齒輪是否進(jìn)入倒退狀態(tài)。然后車輛狀態(tài)判斷部6根據(jù)這些判斷結(jié)果操作變量Code的值。
(表存儲部)表存儲部7使用所謂的非易失性存儲裝置構(gòu)成。表存儲部7存儲表7a。圖2是表示表7a的示例圖。以下說明表7a。
在表7a中，變量Code的值與車載應(yīng)用程序部4的各功能部(各車載應(yīng)用程序)相對應(yīng)。通過控制部8向與由車輛狀態(tài)判斷部6輸出的Code值對應(yīng)的車載應(yīng)用程序，輸入面部圖像。
此處，說明Code的值。Code的最右側(cè)的位表示是否判斷為車輛相對地面的垂直方向的加速度大于等于閾值、即是否判斷為車輛在高度方向正在進(jìn)行大于等于規(guī)定值的振動。該位為“1”時表示判斷為振動，為“0”時表示判斷為沒有振動。
Code的右起第二位表示是否判斷為相對行進(jìn)方向的車輛速度大于等于閾值。該位為“1”時表示判斷為大于等于閾值，為“0”時表示判斷為小于閾值。
Code的中間位表示是否判斷為轉(zhuǎn)向舵角大于等于閾值。該位為“1”時表示判斷為大于等于閾值，為“0”時表示判斷為小于閾值。
Code的左起第二位表示是否判斷為齒輪為空檔狀態(tài)并且速度為零，換言之是否判斷為車輛處于停車或存車狀態(tài)。該位為“1”時表示判斷為停車或存車狀態(tài)，該位為“0”時表示判斷為行駛狀態(tài)。
Code的最左側(cè)位表示是否判斷為齒輪進(jìn)入倒檔。該位為“1”時表示判斷為齒輪進(jìn)入倒檔，該位為“0”時表示判斷為齒輪未進(jìn)入倒檔。
下面，說明表7a的具體示例。Code“00001”對應(yīng)著面部位置檢測部4e。Code“00001”表示判斷為照相機(jī)2的圖像是車輛在相對行進(jìn)方向垂直的方向振動時拍攝的圖像。這種情況下，由于駕駛員的面部和眼睛的圖像有可能上下晃動，所以執(zhí)行精度要求不那么高的面部位置檢測部4e的處理。
Code“00010”對應(yīng)著面部位置檢測部4e、打盹檢測部4b、旁視檢測部4c、和視線檢測部4d。Code“00010”表示判斷為照相機(jī)2的圖像是在車輛以大于等于規(guī)定值的速度在某種程度上平坦的場所直線行駛的狀態(tài)下拍攝的。這種情況下，拍攝駕駛員的面部和眼睛的高質(zhì)量圖像的可能性大。因此，可以執(zhí)行對輸入圖像要求具有一定質(zhì)量的打盹檢測部4b、旁視檢測部4c和視線檢測部4d的處理。并且，也執(zhí)行面部位置檢測部4e的處理。
Code“00110”對應(yīng)著面部位置檢測部4e、視線檢測部4d和打盹檢測部4b。Code“00110”表示判斷為照相機(jī)2的圖像是在車輛以大于等于規(guī)定值的速度在某種程度上平坦的彎道或交叉路口行駛的狀態(tài)下拍攝的。這種情況下，拍攝駕駛員的面部和眼睛的高質(zhì)量圖像的可能性大，但由于是在彎道或交叉路口轉(zhuǎn)彎，駕駛員有意識地觀看旁邊的可能性也大。在這種情況下，旁視檢測部4c檢測到旁視并發(fā)出警告多屬不必要，對使用者來說該警告帶來煩惱。因此，該情況下，不執(zhí)行旁視檢測部4c的處理，執(zhí)行面部位置檢測部4e、視線檢測部4d和打盹檢測部4b的處理。
Code“01100”和“01000”對應(yīng)著個人驗證部4a和面部位置檢測部4e。Code“01100”和“01000”表示判斷為照相機(jī)2的圖像是在車輛停車時或存車時拍攝的。這種情況下，拍攝駕駛員的面部和眼睛的高質(zhì)量圖像的可能性大，而且由于本來也不在行駛中，所以不需要打盹檢測部4b、視線檢測部4d、和旁視檢測部4c的處理。因此，該情況下，執(zhí)行個人驗證部4a和面部位置檢測部4e的處理。
Code“10010”不對應(yīng)任何車載應(yīng)用程序。Code“10010”表示判斷為照相機(jī)2的圖像是在車輛以大于等于規(guī)定值的速度倒車時拍攝的。這種情況下，駕駛員回頭觀看后方，所以由照相機(jī)2不能拍攝到駕駛員面部的可能性大。因此，該情況下不執(zhí)行任何車載應(yīng)用程序。
也可以將車載應(yīng)用程序適當(dāng)對應(yīng)其他Code。車輛及駕駛員狀態(tài)的Code分配可以任意設(shè)定。并且，可以根據(jù)為了選擇車載應(yīng)用程序而檢測的車輛狀態(tài)的數(shù)量來增減Code的位。
(控制部)將由照相機(jī)2拍攝的圖像輸入到控制部8。并且，控制部8從表存儲部7中讀出與由車輛狀態(tài)判斷部6輸出的變量Code的值對應(yīng)的車載應(yīng)用程序。并且，控制部8向所讀出的車載應(yīng)用程序提供由照相機(jī)2拍攝的圖像，并命令其進(jìn)行處理。上述的各車載應(yīng)用程序也可以構(gòu)成為處于圖像和命令的待接收狀態(tài)，在接收到這些圖像和命令時進(jìn)行處理。
例如，在由車輛狀態(tài)判斷部6輸出的變量Code的值為“00001”時，控制部8讀出“面部位置檢測”作為對應(yīng)于“00001”的車載應(yīng)用程序。并且，控制部8把由照相機(jī)2拍攝的圖像發(fā)給面部位置檢測部4e，并命令其進(jìn)行處理。
(動作例)圖3～圖5是表示應(yīng)用程序選擇部5的動作示例的流程圖。使用圖3～圖5說明應(yīng)用程序選擇部5的動作示例。
首先，將由照相機(jī)2拍攝的圖像輸入到控制部8(圖3S01)。然后，將加速度傳感器3a的數(shù)據(jù)(輸出)輸入到車輛狀態(tài)判斷部6(S02)。并且，車輛狀態(tài)判斷部6以所輸入的加速度傳感器3a的數(shù)據(jù)為基礎(chǔ)，算出車輛的加速度a的值(S03)。車輛狀態(tài)判斷部6判斷所算出的加速度a的值是否小于等于閾值Z1。在加速度a大于閾值Z1的情況下(S04為否)，車輛狀態(tài)判斷部6定義變量Code，把“00001”代入該變量Code(S05)。另一方面，在加速度a小于等于閾值Z1的情況下(S04為是)，車輛狀態(tài)判斷部6定義變量Code，把“00000”代入該變量Code(S06)。
在S05的處理之后，執(zhí)行S21以后的處理。關(guān)于S21以后的處理將在后面敘述。在S06的處理之后，將速度傳感器3b的數(shù)據(jù)輸入到車輛狀態(tài)判斷部6(S07)。車輛狀態(tài)判斷部6以所輸入的速度傳感器3b的數(shù)據(jù)為基礎(chǔ)，算出車輛的速度v(S08)。車輛狀態(tài)判斷部6判斷所算出的速度v的值是否大于等于閾值Z2。在速度v大于等于閾值Z2的情況下(S09為是)，車輛狀態(tài)判斷部6把變量Code的值與“00010”的邏輯和代入變量Code(S10)。
在S10的處理之后，或者速度v小于閾值Z2的情況下(S09為否)，將舵角傳感器3c的數(shù)據(jù)輸入到車輛狀態(tài)判斷部6(圖4S11)。車輛狀態(tài)判斷部6以所輸入的舵角傳感器3c的數(shù)據(jù)為基礎(chǔ)，算出車輛具備的轉(zhuǎn)向器(方向盤)的舵角θ(S12)。車輛狀態(tài)判斷部6判斷所算出的舵角θ的值是否大于等于閾值Z3。在舵角θ大于等于閾值Z3的情況下(S13為是)，車輛狀態(tài)判斷部6把變量Code的值與“00100”的邏輯和代入變量Code(S14)。
在S14的處理之后，或者舵角θ小于閾值Z3的情況下(S13為否)，將齒輪傳感器3d的數(shù)據(jù)輸入到車輛狀態(tài)判斷部6(S15)。車輛狀態(tài)判斷部6以所輸入的齒輪傳感器3d的數(shù)據(jù)為基礎(chǔ)，判斷車輛的行駛狀態(tài)(S16)。在判斷為車輛的齒輪為空檔狀態(tài)并且速度v是零的情況下(S17為是)，車輛狀態(tài)判斷部6把變量Code的值與“01000”的邏輯和代入變量Code(S18)。
在S18的處理之后，執(zhí)行S21以后的處理。關(guān)于S21以后的處理將在后面敘述。在判斷為齒輪不是空檔狀態(tài)或速度v不是零的情況下(S17為否)，判斷齒輪是否進(jìn)入倒檔。在判斷為齒輪進(jìn)入倒檔的情況下(S19為是)，車輛狀態(tài)判斷部6把變量Code的值與“10000”的邏輯和代入變量Code(S20)。
在S20的處理之后，或者判斷為齒輪未進(jìn)入倒檔的情況下(S19為否)，執(zhí)行S21以后的處理。下面，說明S21以后的處理。首先，車輛狀態(tài)判斷部6把該時刻的變量Code的值輸入到控制部8(S21)。控制部8在表7a中讀出與所輸入的變量Code的值對應(yīng)的車載應(yīng)用程序。并且，控制部8向所讀出的車載應(yīng)用程序提供所輸入的圖像(S22)。
(作用/效果)在應(yīng)用程序選擇系統(tǒng)1中，根據(jù)車輛狀態(tài)應(yīng)該執(zhí)行的車載應(yīng)用程序被定義在表7a中。應(yīng)用程序選擇部5以車載傳感器3的輸出為基礎(chǔ)推測車輛的狀態(tài)，以推測結(jié)果為基礎(chǔ)僅使在表7a中定義的車載應(yīng)用程序正常動作(提供服務(wù))。換言之，應(yīng)用程序選擇部5根據(jù)從車載傳感器3的輸出結(jié)果推測的車輛狀態(tài)和駕駛員狀態(tài)等，選擇在這種狀態(tài)下應(yīng)該動作的最佳車載應(yīng)用程序。
因此，應(yīng)用程序選擇系統(tǒng)1發(fā)揮以下效果。首先，在根據(jù)車輛和駕駛員的狀態(tài)推測出由照相機(jī)2拍攝的圖像的質(zhì)量不夠好的情況下，不向需要高質(zhì)量的輸入圖像的車載應(yīng)用程序輸入這種圖像。因此，可以防止車載應(yīng)用程序因為輸入圖像的質(zhì)量差而產(chǎn)生的錯誤動作，能夠提高精度。并且，根據(jù)車輛和駕駛員的狀態(tài)推測為駕駛員不需要的車載應(yīng)用程序不執(zhí)行動作。所以，能夠防止向CPU等裝置施加不必要的負(fù)荷，而快速地執(zhí)行應(yīng)該執(zhí)行的其他處理。即，可以有效地活用安裝在車輛上的資源。
(變形示例)在車輛是自動變速的汽車(AT車)時，齒輪傳感器3d也可以構(gòu)成為檢測變速桿進(jìn)入停車(P)范圍。在該情況下，車輛狀態(tài)判斷部6在S17的處理中，進(jìn)行基于變速桿是否進(jìn)入停車范圍的判斷。
并且，適用于車載應(yīng)用程序部4的車載應(yīng)用程序(功能部)不限于對駕駛員進(jìn)行服務(wù)，也可以對乘坐在副駕駛席和后部座椅等上的人員進(jìn)行服務(wù)。該情況下，照相機(jī)2構(gòu)成為也拍攝乘坐在副駕駛席和后部座椅等上的人員。
并且，車載應(yīng)用程序部4的功能的一部分也可以設(shè)在車輛外的裝置(例如應(yīng)用程序服務(wù)器)上。該情況下，車載應(yīng)用程序部4和應(yīng)用程序服務(wù)器可以通過無線通信進(jìn)行數(shù)據(jù)的收發(fā)。例如也可以構(gòu)成為，在通過應(yīng)用程序服務(wù)器執(zhí)行車載應(yīng)用程序部4的打盹檢測部4b中，分析所輸入的圖像(由照相機(jī)2拍攝的圖像)、判斷駕駛員是否在打盹的處理，直接由打盹檢測部4b執(zhí)行根據(jù)該分析結(jié)果使駕駛員清醒的處理。
并且，個人驗證部4a可以進(jìn)行需要個人驗證處理的其他服務(wù)。該情況下，需要根據(jù)將要實施的服務(wù)的內(nèi)容等變更表7a的內(nèi)容。作為其他服務(wù)的示例，有根據(jù)以個人為單位預(yù)先登錄的內(nèi)容自動控制座椅位置、安全帶位置和反射鏡角度等的服務(wù)、根據(jù)實際運(yùn)轉(zhuǎn)中的乘員的面部圖像進(jìn)行驗證、在使用ETC等時提高安全性的服務(wù)(例如，參照特開2001-126091號公報)等。在進(jìn)行后者的服務(wù)等時，即使是正在行駛也需要實施服務(wù)，所以需要變更表7a。并且，應(yīng)用程序部4也可以具有多個進(jìn)行需要個人驗證的服務(wù)的功能部。
并且，打盹檢測部4b也可以根據(jù)除眼皮睜開的寬度以外的基準(zhǔn)(眨眼的次數(shù)、頻度或趨勢等)，判斷車輛駕駛員是否在打盹。
并且，旁視檢測部4c也可以根據(jù)除駕駛員的面部朝向以外的其他基準(zhǔn)(駕駛員的視線方向、視線從正面移開的頻度或視線從正面移開的時間等)，判斷車輛的駕駛員是否正在旁視。并且，旁視檢測部4c也可以利用除警告聲音以外的方法(使座椅振動、使警告燈亮燈、加重轉(zhuǎn)向器等)對使用者進(jìn)行警告。
并且，視線檢測部4d也可以進(jìn)行需要視線檢測處理的其他服務(wù)。該情況下，需要根據(jù)將要實施的服務(wù)的內(nèi)容等變更表7a的內(nèi)容。作為其他服務(wù)的示例，有根據(jù)視線的移動利用外部攝影裝置攝影視線方向和死角方向的服務(wù)(例如，參照特開平10-206789號公報)，在車輛上安裝有可視電話的情況下，檢測講話者(此時為駕駛員)的視線，根據(jù)其結(jié)果使講話者的眼睛附近的圖像變形的服務(wù)(例如，參照特開平6-6786號公報)等。在進(jìn)行后者的服務(wù)等時，例如從正在行駛中打可視電話比較危險的觀點考慮，需要僅在車輛停止的狀態(tài)下提供服務(wù)，所以需要變更表7a。并且，應(yīng)用程序部4也可以具有多個進(jìn)行需要視線檢測處理的服務(wù)的功能部。
并且，面部位置檢測部4e也可以進(jìn)行需要面部位置檢測處理的其他服務(wù)。該情況下，需要根據(jù)將要實施的服務(wù)的內(nèi)容等變更表7a的內(nèi)容。作為其他服務(wù)的示例，有根據(jù)駕駛員的面部位置把反射鏡的角度調(diào)整為最佳角度的服務(wù)(例如，參照特開2002-274265號公報)，根據(jù)面部位置控制空調(diào)的出氣口的風(fēng)向的服務(wù)(例如，參照專利3067381號公報)等。在進(jìn)行前者的服務(wù)等時，在車輛倒車時需要控制成與倒車相應(yīng)的反射鏡位置等，所以需要把表7a變更成即使齒輪為倒檔狀態(tài)時也動作。
權(quán)利要求
1.一種車載應(yīng)用程序選擇系統(tǒng)，具有攝像單元，拍攝車輛的乘員的圖像；多個車載應(yīng)用程序執(zhí)行單元，使用由所述攝像單元拍攝的圖像，分別提供對所述車輛乘員的服務(wù)；傳感器，檢測所述車輛的整體或部分的狀態(tài)；選擇單元，根據(jù)所述傳感器的輸出，從所述多個車載應(yīng)用程序執(zhí)行單元中選擇應(yīng)該動作的單元，使所選擇的車載應(yīng)用程序執(zhí)行單元動作。
2.根據(jù)權(quán)利要求1所述的車載應(yīng)用程序選擇系統(tǒng)，所述選擇單元包括表存儲單元，存儲將所述傳感器的輸出、與使用根據(jù)所述傳感器的輸出推測的質(zhì)量的圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元相對應(yīng)的表；控制單元，從所述表中選擇與所述傳感器的輸出對應(yīng)的車載應(yīng)用程序執(zhí)行單元，使所選擇的車載應(yīng)用程序執(zhí)行單元動作。
3.根據(jù)權(quán)利要求1所述的車載應(yīng)用程序選擇系統(tǒng)，所述選擇單元包括表存儲單元，存儲將所述傳感器的輸出、與在根據(jù)所述傳感器的輸出推測的駕駛員的狀態(tài)下需要的車載應(yīng)用程序執(zhí)行單元相對應(yīng)的表；控制單元，從所述表中選擇與所述傳感器的輸出對應(yīng)的車載應(yīng)用程序執(zhí)行單元，并使所選擇的車載應(yīng)用程序執(zhí)行單元動作。
4.根據(jù)權(quán)利要求2所述的車載應(yīng)用程序選擇系統(tǒng)，所述傳感器包括檢測車輛的振動的傳感器，所述表僅將檢測表示大于等于規(guī)定振動的所述車輛振動的傳感器的輸出、與使用晃動的面部圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元相對應(yīng)。
5.根據(jù)權(quán)利要求4所述的車載應(yīng)用程序選擇系統(tǒng)，使用所述晃動的面部圖像可以正常動作的車載應(yīng)用程序執(zhí)行單元，通過根據(jù)所輸入的圖像檢測人的面部位置來進(jìn)行動作。
6.一種車載應(yīng)用程序選擇裝置，包括接受單元，接受由攝像單元拍攝的車輛的乘員圖像；判別單元，根據(jù)檢測所述車輛的整體或部分的狀態(tài)的傳感器的輸出，判別拍攝所述接受的乘員圖像時的車輛的狀態(tài)；選擇單元，根據(jù)所述判別結(jié)果，選擇多個車載應(yīng)用程序中應(yīng)該提供所述接受的乘員圖像的車載應(yīng)用程序，其中，所述多個車載應(yīng)用程序使用由所述攝像單元拍攝的圖像分別提供對所述乘員的服務(wù)。
7.一種程序，用于使信息處理裝置執(zhí)行以下步驟接受由攝像單元拍攝的車輛的乘員圖像；根據(jù)檢測所述車輛的整體或部分的狀態(tài)的傳感器的輸出，判別拍攝所述接受的乘員圖像時的車輛的狀態(tài)；根據(jù)所述判別結(jié)果，選擇多個車載應(yīng)用程序中應(yīng)該提供所述接受的乘員圖像的車載應(yīng)用程序，其中，所述多個車載應(yīng)用程序使用由所述攝像單元拍攝的圖像分別提供對所述乘員的服務(wù)。
8.一種程序，用于使具有拍攝車輛的乘員圖像的攝像單元、檢測所述車輛的整體或部分的狀態(tài)的傳感器、和使用由所述攝像單元拍攝的圖像分別提供對所述車輛乘員的服務(wù)的多個車載應(yīng)用程序執(zhí)行單元的車輛上所安裝的信息處理裝置執(zhí)行以下步驟根據(jù)檢測所述車輛的整體或部分的狀態(tài)的傳感器的輸出，從所述多個車載應(yīng)用程序執(zhí)行單元中選擇應(yīng)該動作的單元；使所選擇的車載應(yīng)用程序執(zhí)行單元動作。
9.一種車載應(yīng)用程序選擇方法，包括以下步驟信息處理裝置接受由攝像單元拍攝的車輛的乘員圖像；信息處理裝置根據(jù)檢測所述車輛的整體或部分的狀態(tài)的傳感器的輸出，判別拍攝所述接受的乘員圖像時的車輛的狀態(tài)；信息處理裝置根據(jù)所述判別結(jié)果，選擇多個車載應(yīng)用程序中應(yīng)該提供所述接受的乘員圖像的車載應(yīng)用程序，其中，所述多個車載應(yīng)用程序使用由所述攝像單元拍攝的圖像分別提供對所述乘員的服務(wù)。
10.一種車載應(yīng)用程序選擇方法，包括以下步驟具有拍攝車輛的乘員圖像的攝像單元、檢測所述車輛的整體或部分的狀態(tài)的傳感器、和使用由所述攝像單元拍攝的圖像分別提供對所述車輛乘員的服務(wù)的多個車載應(yīng)用程序執(zhí)行單元的車輛上所安裝的信息處理裝置，根據(jù)檢測所述車輛的整體或部分的狀態(tài)的傳感器的輸出，從所述多個車載應(yīng)用程序執(zhí)行單元中選擇應(yīng)該動作的單元；所述信息處理裝置使所選擇的車載應(yīng)用程序執(zhí)行單元動作。
全文摘要
本發(fā)明提供一種車載應(yīng)用程序選擇系統(tǒng)和車載應(yīng)用程序選擇裝置，提供一種把所拍攝的圖像提供給合適的車載裝置或應(yīng)用程序并使它們動作以使各種車載應(yīng)用程序能夠進(jìn)行最佳動作的技術(shù)。根據(jù)來自檢測車輛狀態(tài)的傳感器的輸出，推測所拍攝的圖像的質(zhì)量、乘員狀態(tài)等，根據(jù)推測結(jié)果選擇并執(zhí)行應(yīng)該執(zhí)行的車載應(yīng)用程序。
文檔編號B60K28/00GK1640727SQ200510002158
公開日2005年7月20日 申請日期2005年1月14日 優(yōu)先權(quán)日2004年1月14日
發(fā)明者齊藤宏, 小鶴俊幸 申請人:歐姆龍株式會社