頭部姿態(tài)識別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提出了一種頭部姿態(tài)識別方法，包括以下步驟：采集車輛駕駛室的景物的深度圖；對深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域；建立坐標系，并將頭肩區(qū)域映射到坐標系中；根據(jù)至少兩幀深度圖的頭肩區(qū)域在坐標系中的位置判斷駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化。根據(jù)本發(fā)明實施例的頭部姿態(tài)識別方法，具有高的識別精度，且該方法操作簡單，易于實現(xiàn)。本發(fā)明還提出了一種頭部姿態(tài)識別系統(tǒng)。
【專利說明】
頭部姿態(tài)識別方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及系統(tǒng)汽車【技術(shù)領(lǐng)域】，特別涉及一種頭部姿態(tài)識別方法及系統(tǒng)。

【背景技術(shù)】
[0002]現(xiàn)有的姿態(tài)識別方法或者識別裝置，例如通過一臺攝像機拍攝手的圖像識別、手的形狀的模式識別處理、或者追蹤所識別的手的位置變化而檢測其動作的動作檢測處理等，得到對車輛搭載設(shè)備的操作信息。該裝置要求駕駛員的一只手離開方向盤，并且要求將手伸至指定區(qū)域，裝置才能進行手勢識別。而且，由于車輛在行駛過程中，太陽光或照明等外界光是不斷變化的，上述手勢開關(guān)裝置將遭遇精度下降的問題。
[0003]針對外界光變化的問題，還有一種包含多臺照相機的手勢判定系統(tǒng)，其中一臺是可見光照相機，另一臺是紅外線照相機，其能夠選擇兩種不同的光譜信息產(chǎn)生的手勢判定，由此提高判定精度。
[0004]然而，包含多臺照相機將遭遇系統(tǒng)成本大幅上升和結(jié)構(gòu)復(fù)雜的問題。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的旨在至少解決所述技術(shù)缺陷之一。
[0006]為此，本發(fā)明的一個目的在于提出一種頭部姿態(tài)識別方法。該方法具有識別精度高的優(yōu)點，且該方法操作簡單，易于實現(xiàn)。
[0007]本發(fā)明的另一個目的在于提出一種頭部姿態(tài)識別系統(tǒng)。
[0008]為達到上述目的，本發(fā)明第一方面的實施例公開了一種頭部姿態(tài)識別方法，包括以下步驟:采集車輛駕駛室的景物的深度圖；對所述深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域；建立坐標系，并將所述頭肩區(qū)域映射到所述坐標系中；以及根據(jù)至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置判斷所述駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化。
[0009]根據(jù)本發(fā)明實施例的頭部姿態(tài)識別方法，具有高的識別精度，且該方法操作簡單，易于實現(xiàn)。
[0010]本發(fā)明第二方面的實施例公開了一種頭部姿態(tài)識別系統(tǒng)，包括:深度圖采集模塊，用于采集車輛駕駛室的景物的深度圖；控制器，用于對所述深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域，并建立坐標系以將所述頭肩區(qū)域映射到所述坐標系中，以及根據(jù)至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置判斷所述駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化。
[0011]根據(jù)本發(fā)明實施例的頭部姿態(tài)識別系統(tǒng)，具有高的識別精度，且該系統(tǒng)結(jié)構(gòu)簡單、成本低。
[0012]本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。

【專利附圖】

【附圖說明】
[0013]本發(fā)明所述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中:
[0014]圖1是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的流程圖；
[0015]圖2是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的頭肩區(qū)域分割過程詳細流程圖；
[0016]圖3A、3B分別是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的在頭肩區(qū)域分割例程中計算機從TOF攝像機獲取的時間前后的兩幀深度圖Ma和Mb的圖像視圖；
[0017]圖3C、3D分別是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的在頭肩區(qū)域分割例程中創(chuàng)建的計算時間微分的圖像差視圖，以及去除背景的圖像差視圖；
[0018]圖4A至4D分別是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的在頭肩區(qū)域分割例程中創(chuàng)建的閾值化的深度圖，及其去除噪聲的閾值化的深度圖的視圖；
[0019]圖5是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的取坐標系原點的視圖；
[0020]圖6A、6B分別是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的創(chuàng)建坐標系的視圖；
[0021]圖7A、7B分別是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的頭部姿態(tài)判定例程中創(chuàng)建的計算姿態(tài)參數(shù)的視圖；
[0022]圖8是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的頭部姿態(tài)判定例程的實例流程圖；
[0023]圖9是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的設(shè)定的頭部姿態(tài)組合及其編號與設(shè)備操作預(yù)定義的對應(yīng)關(guān)系的視圖；
[0024]圖10是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的控制程序S200的例程流程圖；
[0025]圖11是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的觸發(fā)控制例程的控制藍牙電話設(shè)備的實例流程圖；
[0026]圖12是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的的點頭識別多選例程的實例流程圖；
[0027]圖13是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的控制空調(diào)器設(shè)備的實例流程圖；
[0028]圖14是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的空調(diào)器風力控制例程的實例流程圖；
[0029]圖15是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的構(gòu)造視圖；
[0030]圖16是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的電動座椅結(jié)構(gòu)及其調(diào)整參數(shù)的示意圖；
[0031]圖17是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的分割實例流程圖的差別；
[0032]圖18A、18B分別是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的在頭肩區(qū)域分害_程中創(chuàng)建的閾值化的深度圖TMa和TMb，及其執(zhí)行連通性分析的視圖；
[0033]圖19A、19B分別是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的創(chuàng)建的計算時間微分的閾值化的圖像差和取坐標系原點的視圖；
[0034]圖20A是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別系統(tǒng)的TOF攝像機構(gòu)造原理的示意圖；
[0035]圖20B、20C分別是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別系統(tǒng)的深度圖像、普通売度圖像的不意圖；
[0036]圖21是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別系統(tǒng)的構(gòu)造視圖；以及
[0037]圖22是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別系統(tǒng)的控制器120 (計算機120)的結(jié)構(gòu)的方框圖。

【具體實施方式】
[0038]下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。
[0039]在本發(fā)明的描述中，需要理解的是，術(shù)語“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底” “內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對本發(fā)明的限制。
[0040]在本發(fā)明的描述中，需要說明的是，除非另有規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內(nèi)部的連通，可以是直接相連，也可以通過中間媒介間接相連，對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解所述術(shù)語的具體含義。
[0041]以下結(jié)合附圖描述根據(jù)本發(fā)明實施例的頭部姿態(tài)識別方法及頭部姿態(tài)識別系統(tǒng)。
[0042]圖1是根據(jù)本發(fā)明一個實施例的頭部姿態(tài)識別方法的流程圖。如圖1所示，該方法包括如下步驟:
[0043]步驟SlOl:采集車輛駕駛室的景物的深度圖。
[0044]深度圖可通過飛行時間傳感器攝像機(T0F攝像機)采集得到的。具體地說，TOF攝像機一般由TOF傳感器(陣列)、透鏡、LED驅(qū)動器和LED燈(陣列)組成。其工作原理為:LED驅(qū)動器控制LED燈發(fā)出高頻率的調(diào)制脈沖光，脈沖光經(jīng)景物反射通過透鏡到達TOF傳感器，此過程中脈沖光飛行經(jīng)過了一段時間T_flight，這個時間T_flight被TOF傳感器感應(yīng)為相位差D_phasic。由于脈沖光的飛行時間與景物距離成正比，因此相位差與景物距離也成正比，景物距離計算公式為:
[0045]景物距離?(D_phasicXC)/(4XpiXfm),
[0046]其中C、p1、fm分別代表光速、圓周率、脈沖光調(diào)制頻率。TOF攝像機輸出的深度圖像信號(即車輛駕駛室的景物的深度圖)包含景物的距離信息，而不是景物反射外界光的亮度，因而在本發(fā)明的后續(xù)處理中利用深度圖像信號計算識別頭部姿態(tài)受到外界光變化影響較小，可以得到較好的計算精度。
[0047]車輛駕駛室的景物包含但不限于車窗、B柱、人、頭枕和頭枕后面的車艙背景。以不同深淺的填充灰色示意各景物遠離攝像機的不同距離。例如，比人更接近TOF攝像機的景物以0%灰色(白色)表示“很近”的距離；人(頭肩區(qū)域)以25%灰色表示“較近”的距離；B柱和頭枕以50%灰色表示“近”的距離；頭枕后面的車艙背景以75%灰色表示“較遠”的距離；車窗(車外景物)以100%灰色(黑色)表示“很遠”的距離。
[0048]由于人臉五官相對整個頭部前后尺寸而言深度變化較小，可以認為與頭肩區(qū)域具有同樣距離，因此五官的邊界在深度圖中變得不明顯并不作示意。示意圖中以淺灰色表示近距離、深灰色表示遠距離，當然本領(lǐng)域的技術(shù)人員也可以輕易地進行反色處理，即以深灰色表示近距離、淺灰色表示遠距離。數(shù)字圖像以像素為組成單位，像素具有色階深度，且色階以比特為單位，例如8比特灰色階可以產(chǎn)生256種不同深淺的灰色，即像素值處于[0，255]的范圍內(nèi)。當然還可以采用更大的色階數(shù)或更復(fù)雜的彩色色階進行表示。
[0049]步驟S102:對深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域。
[0050]例如:可通過如下方式對深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域:
[0051](I)計算至少兩幀深度圖對應(yīng)位置的像素的像素值之差。
[0052](2)提取像素值之差大于預(yù)設(shè)值的像素點集合。
[0053](3)根據(jù)像素點集合得到區(qū)域分割閾值和閾值誤差。
[0054](4)根據(jù)區(qū)域分割閾值和閾值誤差分別對至少兩幀深度圖進行閾值化處理，并得到至少兩幀深度圖對應(yīng)的第一和第二閾值化圖。
[0055](5)分別對第一和第二閾值化圖進行連通性分析和去噪處理以分別得到至少兩幀圖像中的頭肩區(qū)域與背景區(qū)域。
[0056]換言之，上述操作為將頭肩區(qū)域從駕駛艙背景中分離開來。更為具體地，如圖2所示，包括以下步驟:
[0057]步驟S121a:讀取相鄰前后時間(或相隔若干時間)的兩幀深度圖，如如圖3A所示的Ma和如圖3B所示Mb，并求取兩幀深度圖對應(yīng)位置的所有像素的像素值之差，該像素值之差稱為圖像差，如圖3C所示。由深度圖Ma和Mb對比可見，頭肩區(qū)域的位置發(fā)生變化，其中的部分像素值相減的絕對值遠大于零，如圖3C中的實線包圍的網(wǎng)格陰影區(qū)域；而頭肩區(qū)域以外的背景(如車窗、B柱等輪廓曲線)未有變化，其中像素值相減的絕對值約為零，如圖3C中的虛線區(qū)域。因此可以設(shè)定一個充分小的閾值(預(yù)設(shè)值)，將圖像差背景的像素值設(shè)定為零，僅保留實線包圍的網(wǎng)格陰影區(qū)域，去除虛線區(qū)域，如圖3D所示。
[0058]需要說明的是，在駕駛員幾乎不動時，圖3D的情況不會出現(xiàn)，此時可判定駕駛員并沒有動作。
[0059]步驟S122a:處理圖3D的情況。如圖3D所示，實線包圍的網(wǎng)格陰影區(qū)域包含4條相交的輪廓曲線La、Lb、Ra、Rb和3個交點T、BL、BR，其中La、Lb起于點T止于點BL, Ra、Rb起于點T止于點BR。La、Ra來自深度圖Ma的頭肩輪廓，Lb、Rb來自深度圖Mb的頭肩輪廓，La和Rb之間的像素位置是深度圖Ma和Mb中頭肩區(qū)域的交集Jab所在位置，Jab在深度圖Ma和Mb中包含的像素集合同屬于頭肩區(qū)域，因此根據(jù)Jab在深度圖Ma和Mb中指定位置的像素值估計區(qū)域分割閾值。由于Jab通常包含多行像素，因此可以按每行估計一個單行區(qū)域分割閾值，也可以對所有像素行只估計一個統(tǒng)一的區(qū)域分割閾值。這里，閾值包括閾值本身X和閾值誤差W。例如，X直接取Jab包含的像素值(或平均像素值)，w取某種根據(jù)像素值計算的方差。
[0060]步驟S123a:讀取深度圖Ma、Mb和區(qū)域分割閾值，并根據(jù)區(qū)域分割閾值對深度圖Ma、Mb進行閾值化處理。例如，對深度圖Ma、Mb中所有處于[X_w，X+w]范圍內(nèi)的像素值設(shè)定為Vobj=I，其他像素值設(shè)定為Vbg=O,得到閾值化圖TMa、TMb，如圖4A、4B所示，頭肩區(qū)域以及噪聲區(qū)域像素值為Vobj=I,背景區(qū)域像素值Vbg=0。
[0061]如圖4A和4B所示，頭肩區(qū)域像素值設(shè)定為Vobj=I,但閾值化有可能引入如噪聲A、噪聲B所示的與頭肩區(qū)域不相連的噪聲區(qū)域。這些噪聲區(qū)域在深度圖中包含與頭肩區(qū)域近似的距離信息，且噪聲區(qū)域形狀、位置、數(shù)量不確定，為了描述簡便，未在圖3A、3B的深度圖中示出。為了去除這些噪聲區(qū)域，進行步驟S124a和S125a的處理。
[0062]步驟S124a:對閾值化圖TMa、TMb進行連通性分析，即按行或按列掃描閾值化圖TMa, TMb，根據(jù)連通關(guān)系給各個區(qū)域標記不同的標記值，例如頭肩區(qū)域標記值為100，噪聲A區(qū)域標記值為101，噪聲B區(qū)域標記值為102。連通性分析采用的連通關(guān)系例如4-連通或8-連通關(guān)系。4-連通關(guān)系，即中心像素與其東、南、西、北4方向最近的四個像素中至少有一個像素，兩者像素值相同。8-連通關(guān)系，即中心像素與其東、南、西、北、東南、西南、東北、西北8方向最近的八個像素中至少有一個像素，兩者像素值相同。連通性分析的結(jié)果就是標記了若干個不連通的獨立區(qū)域，如圖4A、4B所示的頭肩區(qū)域、噪聲A、噪聲B等三個獨立區(qū)域。
[0063]步驟S125a:對標記了不同標記值的頭肩區(qū)域、噪聲A、噪聲B進行選取，由于頭肩區(qū)域必定包含步驟S122a中La和Rb輪廓曲線，因此將未包含La和Rb輪廓曲線的噪聲A、噪聲B區(qū)域的像素值設(shè)為零，得到去噪后的閾值化圖TMa、TMb,如圖4C、4D所示。
[0064]由于步驟S122a中的交集Jab的像素位置必定屬于頭肩區(qū)域，利用交集Jab的像素位置，步驟S125a可在省略步驟S124a的情況下完成處理，即以交集Jab的像素位置為起點，根據(jù)連通關(guān)系不斷把周圍屬于頭肩區(qū)域的其他像素位置加入到交集Jab中就可以了。而噪聲A、噪聲B由于與增大的交集Jab始終不滿足連通關(guān)系而被去除。由此，能夠?qū)㈩^肩區(qū)域從駕駛艙背景中分離開來。
[0065]步驟S103:建立坐標系，并將頭肩區(qū)域映射到坐標系中。在本發(fā)明的一個實施例中，坐標系為二維坐標系。其中，建立坐標系，并將所述頭肩區(qū)域映射到所述坐標系中，進一步包括:
[0066](I)根據(jù)至少兩幀圖像中的頭肩區(qū)域確定坐標系原點。
[0067](2)根據(jù)坐標系原點建立所述坐標系，并分別將至少兩幀圖像中的頭肩區(qū)域映射到所述坐標系中。
[0068]具體地說，在頭肩區(qū)域中設(shè)定坐標系，如圖5、6A和6B所示。
[0069]在圖5中，由于頭部動作發(fā)生時，交點BL、BR為頭部動作發(fā)力的最低點，因此取BL、BR連線中點或者頭部動作發(fā)力最低點的相關(guān)點作為頭肩區(qū)域的原點O。
[0070]在圖6A、6B中，對閾值化圖TMa、TMb，根據(jù)原點O創(chuàng)建X_Y直角坐標系，X水平軸由左向右指向，Y豎直軸由下向上指向，只考慮原點以上的Y半軸，因此坐標系只包含第一象限和二象限。由此，能夠在頭肩區(qū)域上設(shè)定坐標系原點，并根據(jù)原點創(chuàng)建直角坐標系。
[0071]步驟S104:根據(jù)至少兩幀深度圖的頭肩區(qū)域在坐標系中的位置判斷駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化。具體包括如下步驟:
[0072](I)根據(jù)至少兩幀深度圖的頭肩區(qū)域在坐標系中的位置分別得到駕駛員的頭部在至少兩幀深度圖中的姿態(tài)參數(shù)。
[0073](2)比較至少兩幀深度圖中的姿態(tài)參數(shù)。
[0074](3)當至少兩幀深度圖中的姿態(tài)參數(shù)發(fā)生改變時，判定駕駛員的頭部姿態(tài)發(fā)生變化。在該示例中，姿態(tài)參數(shù)包括:頭部高度、頭肩區(qū)域在所述坐標系中第一象限所占的像素總數(shù)以及頭肩區(qū)域在所述坐標系中第二象限所占的像素總數(shù)。
[0075]進一步而言，當判斷駕駛員的頭部姿態(tài)發(fā)生變化時，還包括:
[0076](I)根據(jù)至少兩幀深度圖的頭肩區(qū)域在坐標系中的位置確定頭部的變化趨勢。
[0077](2)根據(jù)變化趨勢判斷頭部動作。
[0078](3)根據(jù)頭部動作控制相應(yīng)的車輛負載執(zhí)行相應(yīng)的動作。
[0079]作為一個具體的示例,如圖8所示,包括如下步驟:。
[0080]步驟S141:根據(jù)每幀閾值化圖的X-Y直角坐標系計算姿態(tài)參數(shù)，如圖7A、7B所示，分別計算閾值化圖TMa、Tmb的姿態(tài)參數(shù)Htop、Count_lstQ和Count_2ndQ。其中Htop指定為頭高(頭部高度)，即頭頂一行與X軸之間的行數(shù)差(高度差)；Count_lstQ指定為頭肩區(qū)域在第一象限的像素總數(shù)，如圖7A、7B中位于第一象限中的頭肩區(qū)域；Count_2ndQ指定為頭肩區(qū)域在第二象限的像素總數(shù)，如圖7A、7B中位于第二象限中的頭肩區(qū)域。將多幀閾值化圖的姿態(tài)參數(shù)分別計算后，進入步驟S142。
[0081]步驟S142:讀取多幀閾值化圖的姿態(tài)參數(shù)，并進行幀與幀之間的參數(shù)比較。例如，從TMa到TMb, Htop參數(shù)變化很小，Count_2ndQ參數(shù)增大，Count_lstQ參數(shù)減小，因此可判定頭部向第二象限移動(向圖像左邊移動)，即可判定頭部在作“右擺頭”動作(駕駛員做出“右擺頭”動作，一般經(jīng)透鏡成像后的頭肩區(qū)域向圖像左邊移動)。
[0082]同理,若從TMa到TMb, Htop參數(shù)變化很小，Count_2ndQ參數(shù)減小，Count_lstQ參數(shù)增大，可判定頭部向第一象限移動，即可判定頭部在作“左擺頭”動作；若從TMa到TMb，Htop, Count_2ndQ和Count_lstQ參數(shù)都減小，可判定頭部在作“點頭”動作；若從TMa到TMb，Htop、Count_2ndQ和Count_lstQ參數(shù)都增大，可判定頭肩部在作“頭肩前移”動作，“頭肩前移”即頭肩部向前靠近TOF攝像機的動作。
[0083]此外,若Htop、Count_2ndQ和Count_lstQ參數(shù)都不變化,還可記錄姿態(tài)保持時間參數(shù)Tke印，因此可以判定識別具有保持時間長度的姿態(tài)。由此，可以判定單個頭部姿態(tài)以及多個頭部姿態(tài)的變化組合。
[0084]進一步地，可根據(jù)識別的頭部姿態(tài)組合設(shè)定相應(yīng)的編號，并將編號進行存儲，以便后續(xù)使用，如圖9所示，為本發(fā)明的一個實施例中的編號組合，左列表列出可以識別的頭部姿態(tài)組合以及設(shè)定的編號。
[0085]由此，能夠從計算機接收的深度圖中識別頭部姿態(tài)。
[0086]以下具體說明根據(jù)頭部動作控制相應(yīng)的車輛負載執(zhí)行相應(yīng)的動作。
[0087]具體地，可以由駕駛員的頭部姿態(tài)動作觸發(fā)，也可以由其他車輛搭載設(shè)備觸發(fā)。如圖10所示，執(zhí)行步驟S201至S207，這些步驟處于一個重復(fù)執(zhí)行的循環(huán)中。
[0088]步驟S201:(控制程序S200)首先通過車身網(wǎng)絡(luò)收發(fā)器從車身網(wǎng)絡(luò)讀取車身網(wǎng)絡(luò)信號。
[0089]步驟S202:判斷車身網(wǎng)絡(luò)信號中是否包含設(shè)備觸發(fā)請求信號。若是則執(zhí)行步驟S203，否則執(zhí)行步驟S205。
[0090]步驟S203:從設(shè)備觸發(fā)請求信號中讀取設(shè)備號。
[0091]步驟S204:根據(jù)設(shè)備號調(diào)用相應(yīng)的設(shè)備觸發(fā)控制程序，設(shè)備觸發(fā)控制程序調(diào)用完畢后返回控制程序S200的起始。
[0092]步驟S205:調(diào)用識別程序。
[0093]步驟S206:判斷識別程序返回的姿態(tài)編號是否大于5，若是則執(zhí)行步驟S207，否則返回步驟S201。
[0094]步驟S207:生成并發(fā)送姿態(tài)觸發(fā)控制信號，并返回控制程序S200的起始，否則直接返回控制程序S200的起始。
[0095]可以觸發(fā)控制程序S200的其他車輛搭載設(shè)備例如藍牙電話設(shè)備、空調(diào)器設(shè)備、音響設(shè)備等，并且通過設(shè)備觸發(fā)請求信號中包含的設(shè)備號來識別不同的車輛搭載設(shè)備，因此設(shè)備觸發(fā)控制程序針對不同設(shè)備可以有特定的控制方法。例如識別到藍牙電話設(shè)備號時調(diào)用設(shè)備觸發(fā)控制程序a，識別到空調(diào)器設(shè)備號時調(diào)用設(shè)備觸發(fā)控制程序b，依次類推。
[0096]如圖11，可以執(zhí)行設(shè)備觸發(fā)控制程序a，控制藍牙電話設(shè)備。具體地，包括如下步驟:
[0097]步驟S211a:驅(qū)動語音播報器130。
[0098]步驟S212a:語音播報器130在驅(qū)動下播報語音(接通來電請點頭)或播報其他事先設(shè)定的語音，其他事先設(shè)定的語音例如(接通來電請頭肩前移))。
[0099]步驟S213a:調(diào)用點頭識別多選程序，或頭肩前移識別多選程序，點頭識別多選程序有3個返回值，若返回值為I則執(zhí)行步驟S214a。若返回值為2則執(zhí)行步驟S215a，若返回值為3則執(zhí)行步驟S212a。
[0100]步驟S214a:生成接通電話的控制信號。
[0101]步驟S215a:生成掛斷電話的控制信號。
[0102]步驟S216a:控制信號生成之后，通過車身網(wǎng)絡(luò)收發(fā)器發(fā)送控制信號至車身網(wǎng)絡(luò)。藍牙電話設(shè)備從車身網(wǎng)絡(luò)讀取此控制信號即可執(zhí)行接通或掛斷電話的操作。
[0103]此外，在步驟S21 Ia至S212a中，如果從車身網(wǎng)絡(luò)收發(fā)器讀取的車身網(wǎng)絡(luò)觸發(fā)請求信號中還包含電話號碼信息，則還可以驅(qū)動語音播報器130播報包含電話號碼的語音。
[0104]在步驟S213a中，如圖12，點頭識別多選程序包含以下步驟:
[0105]步驟S231:調(diào)用識別程序S100。
[0106]步驟S232:三選一結(jié)構(gòu)。即對識別程序SlOO返回的姿態(tài)編號進行條件判斷，判斷條件包括:I (姿態(tài)編號等于4?)、條件2 (姿態(tài)編號等于2或3?)、條件3 (默認)。
[0107]步驟S233:返回值I時的相應(yīng)處理。
[0108]步驟S234:返回值2時的相應(yīng)處理。
[0109]步驟S235:返回值3時的相應(yīng)處理。
[0110]此外，由于姿態(tài)編號4的“點頭”動作可能會影響駕駛員視線偏離前視的安全方向，因此可以利用能夠保持視線前視的姿態(tài)編號5的“頭肩前移”動作替換“點頭”動作，保證操作過程中的安全性。將判斷條件I (姿態(tài)編號等于4?)修改為判斷條件I (姿態(tài)編號等于5?)，即可輕易將點頭識別多選程序替換為頭肩前移識別多選程序。由此，可以根據(jù)來電請求信號執(zhí)行控制藍牙電話設(shè)備的操作。
[0111]此外，如圖13，可以執(zhí)行設(shè)備觸發(fā)控制程序b，控制空調(diào)器設(shè)備執(zhí)行。由于觸發(fā)請求信號中還可以包含空調(diào)器設(shè)備的氣溫傳感器信息，具體包括:
[0112]步驟S211b:驅(qū)動語音播報器。
[0113]步驟S212b:語音播報器在被驅(qū)動下播報語音(已檢測到車內(nèi)氣溫過高)或播報其他事先設(shè)定的語音，氣溫過低時也可以播報語音(已檢測到車內(nèi)氣溫過低))。
[0114]步驟S213b:調(diào)用空調(diào)器風力控制控制程序。
[0115]步驟S214b:通過車身網(wǎng)絡(luò)收發(fā)器將步驟S213b返回的控制信號發(fā)送至車身網(wǎng)絡(luò)?？照{(diào)器設(shè)備從車身網(wǎng)絡(luò)讀取此控制信號即可執(zhí)行相應(yīng)操作。
[0116]在步驟S213b中，如圖14，空調(diào)器風力控制控制程序包含以下步驟:
[0117]步驟S241:將保存的風力等級變量N設(shè)定為I (例如空調(diào)器最小風力等級為I級)，此變量將作為后續(xù)語音播報參數(shù)和風力控制信號參數(shù)。
[0118]步驟S242驅(qū)動語音播報器。
[0119]步驟S243:語音播報器在CPU124的驅(qū)動下播報語音(空調(diào)器制冷至N級風力請點頭)或播報其他事先設(shè)定的語音，例如N設(shè)定為I或2時播報語音分別包含語音(I級)或(2級)等，氣溫過低時也可以播報(空調(diào)器制熱至N級風力請點頭)，改為識別頭肩前移動作也可以播報(空調(diào)器制冷至N級風力請頭肩前移))。
[0120]步驟S244:調(diào)用點頭識別多選程序(或頭肩前移識別多選程序)。
[0121]步驟S245:如果返回值為1，則讀取變量N并生成空調(diào)器制冷調(diào)風控制信號(即包含啟動空調(diào)器制冷和調(diào)節(jié)風力至N級的控制信號)。
[0122]步驟S246:如果返回值為2，則生成保持原狀控制信號(即不改變空調(diào)器現(xiàn)有狀態(tài)的控制信號)。
[0123]步驟S247:如果返回值為3，則將變量N設(shè)定為N+1(S247)。
[0124]步驟S248:判斷N是否小于8 (例如空調(diào)器最大風力等級小于8級)，
[0125]步驟S249:如果是，則等待I秒后返回步驟S242，否則空調(diào)器風力控制控制程序結(jié)束并返回。其中，步驟S245、S246之后空調(diào)器風力控制控制程序結(jié)束并返回。
[0126]由此，可以根據(jù)空調(diào)器氣溫傳感器觸發(fā)請求信號執(zhí)行控制空調(diào)器設(shè)備的操作。同理，可以根據(jù)其他車輛搭載設(shè)備的觸發(fā)請求執(zhí)行控制的操作。
[0127]在上述的一個示例中，設(shè)定諸如圖9的頭部姿態(tài)組合及其編號(左邊列表)和設(shè)備操作預(yù)定義(右邊列表)的對應(yīng)關(guān)系，可以在沒有其他車輛搭載設(shè)備觸發(fā)請求的情況下，直接根據(jù)識別的頭部姿態(tài)組合或編號生成控制相關(guān)車輛搭載設(shè)備的操作信號。例如，當判斷得到姿態(tài)編號等于6或7，根據(jù)圖9的對應(yīng)關(guān)系，則直接生成控制空調(diào)器設(shè)備“啟動制冷”或“關(guān)閉”的控制信號，并通過車身網(wǎng)絡(luò)收發(fā)器將控制信號發(fā)送至車身網(wǎng)絡(luò)，空調(diào)器設(shè)備從車身網(wǎng)絡(luò)讀取此控制信號即可執(zhí)行相應(yīng)操作。同理，只要設(shè)定了某種頭部姿態(tài)和某種車輛搭載設(shè)備操作的對應(yīng)關(guān)系，則可直接生成相關(guān)控制信號，并通過車身網(wǎng)絡(luò)收發(fā)器將控制信號發(fā)送至車身網(wǎng)絡(luò)，該車輛搭載設(shè)備從車身網(wǎng)絡(luò)讀取此控制信號執(zhí)行相應(yīng)操作。
[0128]由此，可以根據(jù)車輛搭載設(shè)備觸發(fā)請求信號或駕駛員姿態(tài)觸發(fā)請求信號，執(zhí)行控制車輛搭載設(shè)備的操作。
[0129]根據(jù)本發(fā)明實施例的頭部姿態(tài)識別方法，執(zhí)行深度圖的時間微分計算，并執(zhí)行閾值化和區(qū)域分析選取，從而將頭肩區(qū)域與背景分離；分離后，對頭肩區(qū)域設(shè)定原點和直角坐標系；計算坐標系中的頭部姿態(tài)參數(shù)，并根據(jù)姿態(tài)參數(shù)判定多幀深度圖中的姿態(tài)變化；最后根據(jù)車輛搭載設(shè)備觸發(fā)請求信號、駕駛員姿態(tài)觸發(fā)請求信號以及姿態(tài)變化組合與設(shè)備操作的對應(yīng)關(guān)系，執(zhí)行對相關(guān)車輛搭載設(shè)備的控制操作。由此，該方法可以根據(jù)車輛搭載設(shè)備觸發(fā)請求信號或駕駛員姿態(tài)觸發(fā)，執(zhí)行對相關(guān)車輛搭載設(shè)備的控制操作。
[0130]并且，利用TOF攝像機感應(yīng)的深度圖受外界光變化的影響較小，可以保持系統(tǒng)簡單性和具有較高的識別精度。
[0131]如圖15所示，在本發(fā)明的第二實施例中，電動座椅控制設(shè)備500通過車身網(wǎng)絡(luò)200進行通信。通常，電動座椅控制設(shè)備500能夠通過驅(qū)動座椅的若干個電機，對座椅的姿態(tài)和位置進行精細調(diào)整，相關(guān)的姿態(tài)和位置參數(shù)包括:座椅靠背傾斜角Chair_Angle、座椅在滑動導軌上的前后位置Chair_XPos以及座椅的高低Chair_YPos，如圖16所示。如無特殊說明，以下所述座椅均指定為駕駛員座椅。
[0132]對于駕駛員而言，座椅頭枕的位置確定了駕駛員安全行駛過程中最大的頭肩部活動范圍。而電動座椅控制設(shè)備500對Chair_Angle、Chair_XPos和Chair_YPos的調(diào)整也唯一確定了座椅頭枕的位置。
[0133]對于TOF攝像機來說，座椅頭枕位置唯一確定了深度圖中座椅頭枕的成像，即一旦座椅頭枕位置確定則座椅頭枕成像區(qū)域中心處的像素值(或座椅頭枕成像區(qū)域平均像素值)即是確定的。換言之，每一組(Chair_Angle\Chair_XPos\Chair_YPos)參數(shù)確定了座椅頭枕成像區(qū)域中心處的像素值(或座椅頭枕成像區(qū)域平均像素值)，這種(座椅參數(shù)一像素值)對應(yīng)關(guān)系可以事先測量并存儲為一張數(shù)據(jù)表Chair_datasheet。
[0134]由于座椅頭枕的位置確定了駕駛員安全行駛過程中的最大活動范圍，因此座椅頭枕的位置將TOF攝像機成像場景分為兩部分:一部分是座椅頭枕及其距離TOF攝像機更遠處的車艙背景的成像；另一部分是比座椅頭枕更接近TOF攝像機的駕駛員頭肩區(qū)域和其他噪聲區(qū)域的成像。從而座椅頭枕成像區(qū)域中心處的像素值(或座椅頭枕成像區(qū)域平均像素值)可以作為頭肩區(qū)域分割閾值。
[0135]具體地說。在圖2中，可將步驟S121a、S122a、S123a、S125a分別替換為如圖17中的步驟 S121b、S122b、S123b、S125b。
[0136]步驟S121b:通訊獲取座椅參數(shù)。
[0137]步驟S122b:查表獲取閾值。
[0138]步驟S123b:深度圖閾值化之二。
[0139]步驟S125b:頭肩區(qū)域選取之二，結(jié)合圖17所示。
[0140]在步驟S121b中，在車輛上電時通過車身網(wǎng)絡(luò)收發(fā)器和車身網(wǎng)絡(luò)從電動座椅控制設(shè)備第一次獲取座椅參數(shù)(Chair_Angle\Chair_XPos\Chai;r_YPos),并進行保存。而后定時監(jiān)測車身網(wǎng)絡(luò)收發(fā)器是否收到電動座椅控制設(shè)備的新參數(shù)通知，若有新參數(shù)通知則將保存的原有的座椅參數(shù)改寫為新參數(shù)。
[0141]在步驟S122b中根據(jù)存儲的座椅參數(shù)對Chair_datasheet執(zhí)行查表操作，查找當前座椅參數(shù)對應(yīng)的座椅頭枕成像區(qū)域中心處的像素值(或座椅頭枕成像區(qū)域平均像素值)，以此像素值作為頭肩區(qū)域的分割閾值X，將X進行存儲。
[0142]在步驟S123b中，讀取X、深度圖Ma和Mb，深度圖Ma、Mb如圖3A、3B所示。若事先設(shè)定TOF攝像機的成像方式為像素值隨成像物體距離增大而遞減，則對深度圖Ma和Mb中大于X的像素值設(shè)定為Vobj=I,其他像素值設(shè)定為Vbg=O,得到閾值化圖TMa、TMb，如圖18A、18B所示，頭肩區(qū)域以及噪聲區(qū)域像素值為Vobj=I,背景區(qū)域像素值Vbg=O ;若事先設(shè)定TOF攝像機的成像方式為像素值隨成像物體距離增大而遞增，則對深度圖Ma和Mb中小于X的像素值設(shè)定為Vobj=I,其他像素值設(shè)定為Vbg=O。
[0143]在步驟S124a中，通過同樣的連通性分析對閾值化圖Ma和Mb標記了頭肩區(qū)域、噪聲A、噪聲B、噪聲C等四個獨立區(qū)域，如圖18A、18B所示。
[0144]在步驟S125b中，由于步驟S123b的處理，比頭肩區(qū)域更近的車門板區(qū)域噪聲C也可能保留在閾值化圖Ma和Mb中，而一般車門板區(qū)域噪聲C貼近深度圖右邊緣其像素首先可被設(shè)定為零而去除，然后在頭肩區(qū)域、噪聲A、噪聲B之中選出一個包含最多像素的區(qū)域保留下來，如圖4C、4D所示，最后將去噪后的閾值化圖TMa、TMb進行存儲。由此，也能夠?qū)㈩^肩區(qū)域從駕駛艙背景中分離開來。
[0145]此外，通過讀取去噪后的閾值化圖TMa、TMb，并對TMa、TMb求圖像差，如圖19A所示；接著在圖像差中取頭部動作發(fā)力的最低點BL、BR兩點連線中點或頭部動作發(fā)力最低點的其它相關(guān)點為頭肩區(qū)域原點0，如圖19B所示。然后對存儲的閾值化圖TMa、TMb，根據(jù)原點O創(chuàng)建X-Y直角坐標系，X水平軸由左向右指向，Y豎直軸由下向上指向，只考慮原點以上的Y半軸，因此坐標系只包含第一、第二象限，如圖6A、6B所示。
[0146]由此，能夠在頭肩區(qū)域上設(shè)定坐標系原點，并根據(jù)原點設(shè)定直角坐標系。其余操作如上所述。
[0147]根據(jù)本發(fā)明實施例的頭部姿態(tài)識別方法可通過車身網(wǎng)絡(luò)通信獲取座椅參數(shù)，并利用座椅參數(shù)查表獲取頭肩區(qū)域分割閾值，并執(zhí)行閾值化和區(qū)域分析選取，從而將頭肩區(qū)域與背景分離；通過對分離出來的閾值化頭肩區(qū)域，設(shè)定原點和直角坐標系；并在坐標系中計算頭部姿態(tài)參數(shù)，并根據(jù)姿態(tài)參數(shù)判定多幀深度圖中的姿態(tài)變化；最后根據(jù)車輛搭載設(shè)備觸發(fā)請求信號、駕駛員姿態(tài)觸發(fā)請求信號以及姿態(tài)變化組合與設(shè)備操作的對應(yīng)關(guān)系，執(zhí)行對相關(guān)車輛搭載設(shè)備的控制操作。由此，車載頭部姿態(tài)識別系統(tǒng)可以根據(jù)車輛搭載設(shè)備觸發(fā)請求信號或駕駛員姿態(tài)觸發(fā)，執(zhí)行對相關(guān)車輛搭載設(shè)備的控制操作。
[0148]當然，在本發(fā)明的其它示例中，可讀取存儲在諸如磁盤或光盤之類的其它介質(zhì)上的程序。語音播報器也可以作為其他車輛搭載設(shè)備的部件的形式存在，通過車身網(wǎng)絡(luò)收發(fā)器和車身網(wǎng)絡(luò)發(fā)送控制信息驅(qū)動語音播報器130播報預(yù)先設(shè)定的語音。
[0149]根據(jù)本發(fā)明實施例的頭部姿態(tài)識別方法，具有高的識別精度，且該方法操作簡單，易于實現(xiàn)。
[0150]以下結(jié)合附圖描述根據(jù)本發(fā)明實施例的頭部姿態(tài)識別系統(tǒng)。如圖21所示。該系統(tǒng)包括:深度圖采集模塊圖中未示出和控制器120 (即計算機120)。在本發(fā)明的一個實施例中，深度圖采集模塊包括飛行時間傳感器攝像機110 (T0F攝像機110)。
[0151]如圖20A所示，TOF攝像機一般由TOF傳感器(陣列)、透鏡、LED驅(qū)動器和LED燈(陣列)組成。其工作原理在于，LED驅(qū)動器控制LED燈發(fā)出高頻率的調(diào)制脈沖光，脈沖光經(jīng)景物反射通過透鏡到達TOF傳感器，此過程中脈沖光飛行經(jīng)過了一段時間T_flight，這個時間T_flight被TOF傳感器感應(yīng)為相位差D_phasic。由于脈沖光的飛行時間與景物距離成正比，因此相位差與景物距離也成正比，景物距離計算公式為:
[0152]景物距離?(D_phasicXC)/(4XpiXfm),
[0153]其中C、p1、fm分別代表光速、圓周率、脈沖光調(diào)制頻率。TOF攝像機輸出的深度圖像信號包含景物的距離信息，而不是景物反射外界光的亮度，因而利用深度圖像信號計算識別頭部姿態(tài)受到外界光變化影響較小，可以得到較好的計算精度。
[0154]圖20B和20C分別示意了在同一景物由TOF攝像機成像的深度圖像和普通攝像機成像的普通亮度圖像。景物包含車窗、B柱、人、頭枕和頭枕后面的車艙背景。圖20B中以不同深淺的填充灰色示意各景物遠離攝像機的不同距離:例如，比人更接近TOF攝像機的景物以0%灰色(白色)表示“很近”的距離；人(頭肩區(qū)域)以25%灰色表示“較近”的距離柱和頭枕以50%灰色表示“近”的距離；頭枕后面的車艙背景以75%灰色表示“較遠”的距離；車窗(車外景物)以100%灰色(黑色)表示“很遠”的距離。由于人臉五官相對整個頭部前后尺寸而言深度變化較小，可以認為與頭肩區(qū)域具有同樣距離，因此五官的邊界在深度圖中變得不明顯并不作示意。示意圖中以淺灰色表示近距離、深灰色表示遠距離，當然技術(shù)上也可以輕易地進行反色處理，即以深灰色表示近距離、淺灰色表示遠距離。數(shù)字圖像以像素為組成單位，像素具有色階深度，且色階以比特為單位，例如8比特灰色階可以產(chǎn)生256種不同深淺的灰色，即像素值處于[0，255]的范圍內(nèi)。當然還可以采用更大的色階數(shù)或更復(fù)雜的彩色色階進行表示。由于TOF攝像機的組成及其工作方式并非本發(fā)明權(quán)利要求范圍，因此不再贅述。
[0155]其中，深度圖采集模塊110用于采集車輛駕駛室的景物的深度圖。控制器120用于對深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域，并建立坐標系以將頭肩區(qū)域映射到所述坐標系中，以及根據(jù)至少兩幀深度圖的頭肩區(qū)域在坐標系中的位置判斷駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化。其中，車輛負載包括但不限于:藍牙電話設(shè)備、空調(diào)器設(shè)備、語音播報器。
[0156]如圖21所示，頭部姿態(tài)識別系統(tǒng)100包括TOF攝像機110 (即作為深度圖成像裝置)，其用于通過感應(yīng)駕駛員頭肩區(qū)域和駕駛艙背景來創(chuàng)建深度圖；計算機120用于在深度圖中識別頭部姿態(tài)(即計算機120作為頭部姿態(tài)識別裝置)；以及與計算機120相連接的語音播報器130。
[0157]其中，計算機120還與車身網(wǎng)絡(luò)200相連接；車身網(wǎng)絡(luò)200可以與多個車輛搭載設(shè)備相連接，例如藍牙電話設(shè)備300、空調(diào)器設(shè)備400等。
[0158]如圖22所示，計算機120包括:視頻信號轉(zhuǎn)換器121，用于將TOF攝像機產(chǎn)生的深度圖轉(zhuǎn)換為數(shù)字信號；R0M122，用于存儲程序和固定數(shù)據(jù)；RAM123，用于存儲深度圖或用作數(shù)據(jù)的工作區(qū)；CPU124，基于R0M122存儲的程序執(zhí)行頭部識別程序和控制程序；車身網(wǎng)絡(luò)收發(fā)器125，用于將CPU124產(chǎn)生的控制信號發(fā)送至車身網(wǎng)絡(luò)200，以及接收車身網(wǎng)絡(luò)200的反饋信號反饋給CPU124。
[0159]例如:控制器120可通過如下方式對深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域:
[0160](I)計算至少兩幀深度圖對應(yīng)位置的像素的像素值之差。
[0161](2)提取像素值之差大于預(yù)設(shè)值的像素點集合。
[0162](3)根據(jù)像素點集合得到區(qū)域分割閾值和閾值誤差。
[0163](4)根據(jù)區(qū)域分割閾值和閾值誤差分別對至少兩幀深度圖進行閾值化處理，并得到至少兩幀深度圖對應(yīng)的第一和第二閾值化圖。
[0164](5)分別對第一和第二閾值化圖進行連通性分析和去噪處理以分別得到至少兩幀圖像中的頭肩區(qū)域與背景區(qū)域。
[0165]換言之，上述操作為將頭肩區(qū)域從駕駛艙背景中分離開來。更為具體地，如圖2所示，包括以下步驟:
[0166]步驟S121a:CPU124從RAM123讀取相鄰前后時間(或相隔若干時間)的兩幀深度圖Ma和Mb (如圖3A、3B所示)，并求取兩幀深度圖對應(yīng)位置的所有像素的像素值之差(稱為圖像差，如圖3C)。由深度圖Ma和Mb對比可見，頭肩區(qū)域的位置發(fā)生變化，其中的部分像素值相減的絕對值遠大于零，如圖3C中的實線包圍的網(wǎng)格陰影區(qū)域；而頭肩區(qū)域以外的背景(車窗、B柱等輪廓曲線)未有變化，其中像素值相減的絕對值約為零，如圖3C中的虛線區(qū)域。因此可以輕易設(shè)定一個充分小的閾值，將圖像差背景的像素值設(shè)定為零，僅保留實線包圍的網(wǎng)格陰影區(qū)域，去除虛線區(qū)域，如圖3D所示。
[0167]在駕駛員幾乎不動時，圖3D的情況不會出現(xiàn)，此時CPU124可判定系統(tǒng)處于待機或等待狀態(tài)。
[0168]步驟S122a:處理圖3D的情況。如圖3D所示，實線包圍的網(wǎng)格陰影區(qū)域包含4條相交的輪廓曲線La、Lb、Ra、Rb和3個交點T、BL、BR，其中La、Lb起于點T止于點BL, Ra、Rb起于點T止于點BR。La、Ra來自深度圖Ma的頭肩輪廓，Lb、Rb來自深度圖Mb的頭肩輪廓，La和Rb之間的像素位置是深度圖Ma和Mb中頭肩區(qū)域的交集Jab所在位置，Jab在深度圖Ma和Mb中包含的像素集合同屬于頭肩區(qū)域，因此根據(jù)Jab在深度圖Ma和Mb中指定位置的像素值估計區(qū)域分割閾值。由于Jab通常包含多行像素，因此可以按每行估計一個單行區(qū)域分割閾值，也可以對所有像素行只估計一個統(tǒng)一的區(qū)域分割閾值。這里，閾值包括閾值本身X和閾值誤差W。例如，X直接取Jab包含的像素值(或平均像素值)，w取某種根據(jù)像素值計算的方差。這些閾值被CPU124寫入RAM123。
[0169]步驟S123a =CPUl24從RAM123讀取深度圖Ma、Mb和區(qū)域分割閾值，并根據(jù)區(qū)域分割閾值對深度圖Ma、Mb進行閾值化處理。例如，對深度圖Ma、Mb中所有處于[X_w，X+w]范圍內(nèi)的像素值設(shè)定為Vobj=I,其他像素值設(shè)定為Vbg=O,得到閾值化圖TMa、TMb，如圖4A、4B所示，白色區(qū)域像素值為Vobj=I,黑色區(qū)域像素值Vbg=0。
[0170]如圖4A、4B所示，頭肩區(qū)域像素值設(shè)定為Vobj=I (白色區(qū)域)，但閾值化有可能引入如噪聲A、噪聲B所示的與頭肩區(qū)域不相連的噪聲區(qū)域。這些噪聲區(qū)域在深度圖中包含與頭肩區(qū)域近似的距離信息，且噪聲區(qū)域形狀、位置、數(shù)量不確定，為了描述簡便，未在圖3A、3B的深度圖中示出。為了去除這些噪聲區(qū)域，進行步驟S124a、S125a的處理。
[0171]步驟S124a =CPUl24對閾值化圖TMa、TMb進行連通性分析，即CPU124按行或按列掃描閾值化圖TMa、TMb，根據(jù)連通關(guān)系給各個區(qū)域標記不同的標記值，例如頭肩區(qū)域標記值為100，噪聲A區(qū)域標記值為101，噪聲B區(qū)域標記值為102。連通性分析采用的連通關(guān)系例如4-連通或8-連通關(guān)系。4-連通關(guān)系，即中心像素與其東、南、西、北4方向最近的四個像素中至少有一個像素，兩者像素值相同。8-連通關(guān)系，即中心像素與其東、南、西、北、東南、西南、東北、西北8方向最近的八個像素中至少有一個像素，兩者像素值相同。連通性分析的結(jié)果就是標記了若干個不連通的獨立區(qū)域，如圖4A、4B所示的頭肩區(qū)域、噪聲A、噪聲B等三個獨立區(qū)域。
[0172]步驟S125a:CPU124對標記了不同標記值的頭肩區(qū)域、噪聲A、噪聲B進行選取，由于頭肩區(qū)域必定包含步驟S122a中La和Rb輪廓曲線，因此將未包含La和Rb輪廓曲線的噪聲A、噪聲B區(qū)域的像素值設(shè)為零，得到去噪后的閾值化圖TMa、TMb，如圖4C、4D所示。然后，CPU124將去噪后的閾值化圖TMa、TMb寫入RAM123。
[0173]由于步驟S122a中的交集Jab的像素位置必定屬于頭肩區(qū)域，利用交集Jab的像素位置，步驟S125a可在省略步驟S124a的情況下完成處理，即以交集Jab的像素位置為起點，根據(jù)連通關(guān)系不斷把周圍屬于頭肩區(qū)域的其他像素位置加入到交集Jab中就可以了。而噪聲A、噪聲B由于與增大的交集Jab始終不滿足連通關(guān)系而被去除。由此，CPU124能夠?qū)㈩^肩區(qū)域從駕駛艙背景中分離開來。然后，執(zhí)行后續(xù)處理。
[0174]在本發(fā)明的一個實施例中，坐標系為二維坐標系。其中，控制器120(即計算機120)建立坐標系，并將頭肩區(qū)域映射到坐標系中，進一步包括:
[0175](I)根據(jù)至少兩幀圖像中的頭肩區(qū)域確定坐標系原點。
[0176](2)根據(jù)坐標系原點建立所述坐標系，并分別將至少兩幀圖像中的頭肩區(qū)域映射到所述坐標系中。
[0177]具體地說，在頭肩區(qū)域中設(shè)定坐標系，如圖5、6A和6B所示。
[0178]在圖5中，由于頭部動作發(fā)生時，交點BL、BR為頭部動作發(fā)力的最低點，因此CPU124取BL、BR連線中點或者頭部動作發(fā)力最低點的相關(guān)點作為頭肩區(qū)域的原點O。
[0179]在圖6A、6B中，CPU124對RAM123中存儲的閾值化圖TMa、TMb，根據(jù)原點O創(chuàng)建X-Y直角坐標系，X水平軸由左向右指向，Y豎直軸由下向上指向，只考慮原點以上的Y半軸，因此坐標系只包含第一、二象限。
[0180]由此，CPU124能夠在頭肩區(qū)域上設(shè)定坐標系原點，并根據(jù)原點創(chuàng)建直角坐標系。
[0181]在本發(fā)明的一個實施例中，控制器120 (即計算機120)根據(jù)至少兩幀深度圖的頭肩區(qū)域在坐標系中的位置判斷駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化。具體包括如下步驟:
[0182](I)根據(jù)至少兩幀深度圖的頭肩區(qū)域在坐標系中的位置分別得到駕駛員的頭部在至少兩幀深度圖中的姿態(tài)參數(shù)。
[0183](2)比較至少兩幀深度圖中的姿態(tài)參數(shù)。
[0184](3)當至少兩幀深度圖中的姿態(tài)參數(shù)發(fā)生改變時，判定駕駛員的頭部姿態(tài)發(fā)生變化。在該示例中，姿態(tài)參數(shù)包括:頭部高度、頭肩區(qū)域在所述坐標系中第一象限所占的像素總數(shù)以及頭肩區(qū)域在所述坐標系中第二象限所占的像素總數(shù)。
[0185]進一步而言，當判斷駕駛員的頭部姿態(tài)發(fā)生變化時，控制器120 (即計算機120)還用于:
[0186](I)根據(jù)至少兩幀深度圖的頭肩區(qū)域在坐標系中的位置確定頭部的變化趨勢。
[0187](2)根據(jù)變化趨勢判斷頭部動作。
[0188](3)根據(jù)頭部動作控制相應(yīng)的車輛負載執(zhí)行相應(yīng)的動作。
[0189]作為一個具體的示例,如圖8所示,包括如下步驟:。
[0190]步驟S141:CPU124根據(jù)每幀閾值化圖的X-Y直角坐標系計算姿態(tài)參數(shù)，如圖7A、7B所不,CPU124分別計算閾值化圖TMa、Tmb的姿態(tài)參數(shù)Htop、Count_lstQ和Count_2ndQ。其中Htop指定為頭高(頭部高度)，即頭頂一行與X軸之間的行數(shù)差(高度差)；Count_lstQ指定為頭肩區(qū)域在第一象限的像素總數(shù)，如圖7A、7B中位于第一象限中的頭肩區(qū)域；Count_2ndQ指定為頭肩區(qū)域在第二象限的像素總數(shù)，如圖7A、7B中位于第二象限中的頭肩區(qū)域。CPU124將多幀閾值化圖的姿態(tài)參數(shù)分別計算后，存儲到RAM123，進入步驟S142。
[0191]步驟S142:CPU124從RAM123中讀取多幀閾值化圖的姿態(tài)參數(shù)，并進行幀與幀之間的參數(shù)比較。例如，從TMa到TMb, Htop參數(shù)變化很小，Count_2ndQ參數(shù)增大，Count_lstQ參數(shù)減小，因此CPU124可判定頭部向第二象限移動(向圖像左邊移動)，即可判定頭部在作“右擺頭”動作(駕駛員做出“右擺頭”動作，一般經(jīng)透鏡成像后的頭肩區(qū)域向圖像左邊移動)。
[0192]同理，若從TMa到TMb, Htop參數(shù)變化很小，Count_2ndQ參數(shù)減小，Count_lstQ參數(shù)增大，CPU124可判定頭部向第一象限移動，即可判定頭部在作“左擺頭”動作；若從TMa到TMb, Htop、Count_2ndQ和Count_lstQ參數(shù)都減小，CPU124可判定頭部在作“點頭”動作；若從TMa到TMb，Htop、Count_2ndQ和Count_lstQ參數(shù)都增大，CPU 124可判定頭肩部在作“頭肩前移”動作，“頭肩前移”即頭肩部向前靠近TOF攝像機的動作。
[0193]此外，若Htop、Count_2ndQ和Count_lstQ參數(shù)都不變化,CPUl24還可記錄姿態(tài)保持時間參數(shù)Tke印，因此CPU124可以判定識別具有保持時間長度的姿態(tài)。由此，CPU124可以判定單個頭部姿態(tài)以及多個頭部姿態(tài)的變化組合。
[0194]進一步地，CPU124可根據(jù)識別的頭部姿態(tài)組合設(shè)定相應(yīng)的編號，并將編號寫入RAM123以便識別程序SlOO被調(diào)用時返回這些編號(即CPU124作為輸出姿態(tài)編號裝置)，以便后續(xù)使用，如圖9所示，為本發(fā)明的一個實施例中的編號組合，左列表列出可以識別的頭部姿態(tài)組合以及設(shè)定的編號。由此，CPU124能夠從計算機接收的深度圖中識別頭部姿態(tài)。
[0195]以下具體說明根據(jù)頭部動作控制相應(yīng)的車輛負載執(zhí)行相應(yīng)的動作。
[0196]具體地，可以由駕駛員的頭部姿態(tài)動作觸發(fā)，也可以由其他車輛搭載設(shè)備觸發(fā)。如圖10所示，執(zhí)行步驟S201至S207，這些步驟處于一個重復(fù)執(zhí)行的循環(huán)中。
[0197]步驟S201:(控制程序S200)首先通過車身網(wǎng)絡(luò)收發(fā)器從車身網(wǎng)絡(luò)讀取車身網(wǎng)絡(luò)信號。
[0198]步驟S202:判斷車身網(wǎng)絡(luò)信號中是否包含設(shè)備觸發(fā)請求信號。若是則執(zhí)行步驟S203，否則執(zhí)行步驟S205。
[0199]步驟S203:從設(shè)備觸發(fā)請求信號中讀取設(shè)備號。
[0200]步驟S204:根據(jù)設(shè)備號調(diào)用相應(yīng)的設(shè)備觸發(fā)控制程序，設(shè)備觸發(fā)控制程序調(diào)用完畢后返回控制程序S200的起始。
[0201]步驟S205:調(diào)用識別程序。
[0202]步驟S206:判斷識別程序返回的姿態(tài)編號是否大于5，若是則執(zhí)行步驟S207，否則返回步驟S201。
[0203]步驟S207:生成并發(fā)送姿態(tài)觸發(fā)控制信號，并返回控制程序S200的起始，否則直接返回控制程序S200的起始。
[0204]可以觸發(fā)控制程序S200的其他車輛搭載設(shè)備例如藍牙電話設(shè)備、空調(diào)器設(shè)備、音響設(shè)備等，并且通過設(shè)備觸發(fā)請求信號中包含的設(shè)備號來識別不同的車輛搭載設(shè)備，因此設(shè)備觸發(fā)控制程序針對不同設(shè)備可以有特定的控制方法。例如識別到藍牙電話設(shè)備號時調(diào)用設(shè)備觸發(fā)控制程序a，識別到空調(diào)器設(shè)備號時調(diào)用設(shè)備觸發(fā)控制程序b，依次類推。
[0205]如圖11，CPU124可以執(zhí)行設(shè)備觸發(fā)控制程序a，控制藍牙電話設(shè)備。具體地，包括如下步驟:
[0206]步驟S211a =CPUl24驅(qū)動語音播報器130。
[0207]步驟S212a:語音播報器130在CPU124的驅(qū)動下播報語音(接通來電請點頭)或播報其他事先設(shè)定的語音，其他事先設(shè)定的語音例如(接通來電請頭肩前移))。
[0208]步驟S213a:調(diào)用點頭識別多選程序，或頭肩前移識別多選程序，點頭識別多選程序有3個返回值，若返回值為I則執(zhí)行步驟S214a。若返回值為2則執(zhí)行步驟S215a，若返回值為3則執(zhí)行步驟S212a。
[0209]步驟S214a:生成接通電話的控制信號。
[0210]步驟S215a:生成掛斷電話的控制信號。
[0211]步驟S216a:控制信號生成之后，通過車身網(wǎng)絡(luò)收發(fā)器發(fā)送控制信號至車身網(wǎng)絡(luò)。藍牙電話設(shè)備從車身網(wǎng)絡(luò)讀取此控制信號即可執(zhí)行接通或掛斷電話的操作。
[0212]此外，在步驟S21 Ia至S212a中，如果從車身網(wǎng)絡(luò)收發(fā)器讀取的車身網(wǎng)絡(luò)觸發(fā)請求信號中還包含電話號碼信息，則還可以驅(qū)動語音播報器130播報包含電話號碼的語音。
[0213]在步驟S213a中，如圖12，點頭識別多選程序包含以下步驟:
[0214]步驟S231:調(diào)用識別程序S100。
[0215]步驟S232:三選一結(jié)構(gòu)。即對識別程序SlOO返回的姿態(tài)編號進行條件判斷，判斷條件包括:I (姿態(tài)編號等于4?)、條件2 (姿態(tài)編號等于2或3?)、條件3 (默認)。
[0216]步驟S233:返回值I時的相應(yīng)處理。
[0217]步驟S234:返回值2時的相應(yīng)處理。
[0218]步驟S235:返回值3時的相應(yīng)處理。
[0219]此外，由于姿態(tài)編號4的“點頭”動作可能會影響駕駛員視線偏離前視的安全方向，因此可以利用能夠保持視線前視的姿態(tài)編號5的“頭肩前移”動作替換“點頭”動作，保證操作過程中的安全性。將判斷條件I (姿態(tài)編號等于4?)修改為判斷條件I (姿態(tài)編號等于5?)，即可輕易將點頭識別多選程序替換為頭肩前移識別多選程序。由此，可以根據(jù)來電請求信號執(zhí)行控制藍牙電話設(shè)備的操作。
[0220]此外，如圖13，可以執(zhí)行設(shè)備觸發(fā)控制程序b，控制空調(diào)器設(shè)備執(zhí)行。由于觸發(fā)請求信號中還可以包含空調(diào)器設(shè)備的氣溫傳感器信息，具體包括:
[0221]步驟S211b:驅(qū)動語音播報器。
[0222]步驟S212b:語音播報器在被驅(qū)動下播報語音(已檢測到車內(nèi)氣溫過高)或播報其他事先設(shè)定的語音，氣溫過低時也可以播報語音(已檢測到車內(nèi)氣溫過低))。
[0223]步驟S213b:調(diào)用空調(diào)器風力控制控制程序。
[0224]步驟S214b:通過車身網(wǎng)絡(luò)收發(fā)器將步驟S213b返回的控制信號發(fā)送至車身網(wǎng)絡(luò)。空調(diào)器設(shè)備從車身網(wǎng)絡(luò)讀取此控制信號即可執(zhí)行相應(yīng)操作。
[0225]在步驟S213b中，如圖14，空調(diào)器風力控制控制程序包含以下步驟:
[0226]步驟S241:將保存的風力等級變量N設(shè)定為I (例如空調(diào)器最小風力等級為I級)，此變量將作為后續(xù)語音播報參數(shù)和風力控制信號參數(shù)。
[0227]步驟S242:驅(qū)動語音播報器。
[0228]步驟S243:語音播報器在CPU124的驅(qū)動下播報語音(空調(diào)器制冷至N級風力請點頭)或播報其他事先設(shè)定的語音，例如N設(shè)定為I或2時播報語音分別包含語音(I級)或(2級)等，氣溫過低時也可以播報(空調(diào)器制熱至N級風力請點頭)，改為識別頭肩前移動作也可以播報(空調(diào)器制冷至N級風力請頭肩前移))。
[0229]步驟S244:調(diào)用點頭識別多選程序(或頭肩前移識別多選程序)。
[0230]步驟S245:如果返回值為1，則讀取變量N并生成空調(diào)器制冷調(diào)風控制信號(即包含啟動空調(diào)器制冷和調(diào)節(jié)風力至N級的控制信號)。
[0231]步驟S246:如果返回值為2，則生成保持原狀控制信號(即不改變空調(diào)器現(xiàn)有狀態(tài)的控制信號)。
[0232]步驟S247:如果返回值為3，則將變量N設(shè)定為N+1 (S247)。
[0233]步驟S248:判斷N是否小于8 (例如空調(diào)器最大風力等級小于8級)，
[0234]步驟S249:如果是，則等待I秒后返回步驟S242，否則空調(diào)器風力控制控制程序結(jié)束并返回。其中，步驟S245、S246之后空調(diào)器風力控制控制程序結(jié)束并返回。
[0235]由此，可以根據(jù)空調(diào)器氣溫傳感器觸發(fā)請求信號執(zhí)行控制空調(diào)器設(shè)備的操作。同理，可以根據(jù)其他車輛搭載設(shè)備的觸發(fā)請求執(zhí)行控制的操作。
[0236]在上述的一個示例中，設(shè)定諸如圖9的頭部姿態(tài)組合及其編號(左邊列表)和設(shè)備操作預(yù)定義(右邊列表)的對應(yīng)關(guān)系，可以在沒有其他車輛搭載設(shè)備觸發(fā)請求的情況下，直接根據(jù)識別的頭部姿態(tài)組合或編號生成控制相關(guān)車輛搭載設(shè)備的操作信號。例如，當判斷得到姿態(tài)編號等于6或7，根據(jù)圖9的對應(yīng)關(guān)系，則直接生成控制空調(diào)器設(shè)備“啟動制冷”或“關(guān)閉”的控制信號，并通過車身網(wǎng)絡(luò)收發(fā)器將控制信號發(fā)送至車身網(wǎng)絡(luò)，空調(diào)器設(shè)備從車身網(wǎng)絡(luò)讀取此控制信號即可執(zhí)行相應(yīng)操作。同理，只要設(shè)定了某種頭部姿態(tài)和某種車輛搭載設(shè)備操作的對應(yīng)關(guān)系，則可直接生成相關(guān)控制信號，并通過車身網(wǎng)絡(luò)收發(fā)器將控制信號發(fā)送至車身網(wǎng)絡(luò)，該車輛搭載設(shè)備從車身網(wǎng)絡(luò)讀取此控制信號執(zhí)行相應(yīng)操作。
[0237]由此，可以根據(jù)車輛搭載設(shè)備觸發(fā)請求信號或駕駛員姿態(tài)觸發(fā)請求信號，執(zhí)行控制車輛搭載設(shè)備的操作。
[0238]根據(jù)本發(fā)明實施例的頭部姿態(tài)識別系統(tǒng)，執(zhí)行深度圖的時間微分計算，并執(zhí)行閾值化和區(qū)域分析選取，從而將頭肩區(qū)域與背景分離；分離后，對頭肩區(qū)域設(shè)定原點和直角坐標系；計算坐標系中的頭部姿態(tài)參數(shù)，并根據(jù)姿態(tài)參數(shù)判定多幀深度圖中的姿態(tài)變化?’最后根據(jù)車輛搭載設(shè)備觸發(fā)請求信號、駕駛員姿態(tài)觸發(fā)請求信號以及姿態(tài)變化組合與設(shè)備操作的對應(yīng)關(guān)系，執(zhí)行對相關(guān)車輛搭載設(shè)備的控制操作。由此，該系統(tǒng)可以根據(jù)車輛搭載設(shè)備觸發(fā)請求信號或駕駛員姿態(tài)觸發(fā)，執(zhí)行對相關(guān)車輛搭載設(shè)備的控制操作。
[0239]并且，利用TOF攝像機感應(yīng)的深度圖受外界光變化的影響較小，可以保持系統(tǒng)簡單性和具有較高的識別精度。
[0240]如圖15所示，在本發(fā)明的一個實施例中，電動座椅控制設(shè)備500通過車身網(wǎng)絡(luò)200進行通信。通常，電動座椅控制設(shè)備500能夠通過驅(qū)動座椅的若干個電機，對座椅的姿態(tài)和位置進行精細調(diào)整，相關(guān)的姿態(tài)和位置參數(shù)包括:座椅靠背傾斜角Chair_Angle、座椅在滑動導軌上的前后位置Chair_XPos以及座椅的高低Chair_YPos，如圖16所示。如無特殊說明，以下所述座椅均指定為駕駛員座椅。
[0241]對于駕駛員而言，座椅頭枕的位置確定了駕駛員安全行駛過程中最大的頭肩部活動范圍。而電動座椅控制設(shè)備500對Chair_Angle、Chair_XPos和Chair_YPos的調(diào)整也唯一確定了座椅頭枕的位置。
[0242]對于TOF攝像機來說，座椅頭枕位置唯一確定了深度圖中座椅頭枕的成像，即一旦座椅頭枕位置確定則座椅頭枕成像區(qū)域中心處的像素值(或座椅頭枕成像區(qū)域平均像素值)即是確定的。換言之，每一組(Chair_Angle\Chair_XPos\Chair_YPos)參數(shù)確定了座椅頭枕成像區(qū)域中心處的像素值(或座椅頭枕成像區(qū)域平均像素值)，這種(座椅參數(shù)一像素值)對應(yīng)關(guān)系可以事先測量并存儲為一張數(shù)據(jù)表Chair_datasheet。
[0243]由于座椅頭枕的位置確定了駕駛員安全行駛過程中的最大活動范圍，因此座椅頭枕的位置將TOF攝像機成像場景分為兩部分:一部分是座椅頭枕及其距離TOF攝像機更遠處的車艙背景的成像；另一部分是比座椅頭枕更接近TOF攝像機的駕駛員頭肩區(qū)域和其他噪聲區(qū)域的成像。從而座椅頭枕成像區(qū)域中心處的像素值(或座椅頭枕成像區(qū)域平均像素值)可以作為頭肩區(qū)域分割閾值。
[0244]具體地說。在圖2中，可將步驟S121a、S122a、S123a、S125a分別替換為如圖17中的步驟 S121b、S122b、S123b、S125b。
[0245]步驟S121b:通訊獲取座椅參數(shù)。
[0246]步驟S122b:查表獲取閾值。
[0247]步驟S123b:深度圖閾值化之二。
[0248]步驟S125b:頭肩區(qū)域選取之二，結(jié)合圖17所示。
[0249]在步驟S121b中，在車輛上電時通過車身網(wǎng)絡(luò)收發(fā)器和車身網(wǎng)絡(luò)從電動座椅控制設(shè)備第一次獲取座椅參數(shù)(Chair_Angle\Chair_XPos\Chai;r_YPos),并進行保存。而后定時監(jiān)測車身網(wǎng)絡(luò)收發(fā)器是否收到電動座椅控制設(shè)備的新參數(shù)通知，若有新參數(shù)通知則將保存的原有的座椅參數(shù)改寫為新參數(shù)。
[0250]在步驟S122b中根據(jù)存儲的座椅參數(shù)對Chair_datasheet執(zhí)行查表操作，查找當前座椅參數(shù)對應(yīng)的座椅頭枕成像區(qū)域中心處的像素值(或座椅頭枕成像區(qū)域平均像素值)，以此像素值作為頭肩區(qū)域的分割閾值X，將X進行存儲。
[0251]在步驟S123b中，讀取X、深度圖Ma和Mb，深度圖Ma、Mb如圖3A、3B所示。若事先設(shè)定TOF攝像機的成像方式為像素值隨成像物體距離增大而遞減，則對深度圖Ma和Mb中大于X的像素值設(shè)定為Vobj=I,其他像素值設(shè)定為Vbg=O,得到閾值化圖TMa、TMb，如圖18A、18B所示，頭肩區(qū)域以及噪聲區(qū)域像素值為Vob j=l，背景區(qū)域像素值Vbg=O ;若事先設(shè)定TOF攝像機的成像方式為像素值隨成像物體距離增大而遞增，則對深度圖Ma和Mb中小于X的像素值設(shè)定為Vobj=I,其他像素值設(shè)定為Vbg=O。
[0252]在步驟S124a中，通過同樣的連通性分析對閾值化圖Ma和Mb標記了頭肩區(qū)域、噪聲A、噪聲B、噪聲C等四個獨立區(qū)域，如圖18A、18B所示。
[0253]在步驟S125b中，由于步驟S123b的處理，比頭肩區(qū)域更近的車門板區(qū)域噪聲C也可能保留在閾值化圖Ma和Mb中，而一般車門板區(qū)域噪聲C貼近深度圖右邊緣其像素首先可被設(shè)定為零而去除，然后在頭肩區(qū)域、噪聲A、噪聲B之中選出一個包含最多像素的區(qū)域保留下來，如圖4C、4D所示，最后將去噪后的閾值化圖TMa、TMb進行存儲。由此，也能夠?qū)㈩^肩區(qū)域從駕駛艙背景中分離開來。
[0254]此外，通過讀取去噪后的閾值化圖TMa、TMb,并對TMa、TMb求圖像差，如圖19A所示；接著在圖像差中取頭部動作發(fā)力的最低點BL、BR兩點連線中點或頭部動作發(fā)力最低點的其它相關(guān)點為頭肩區(qū)域原點0，如圖19B所示。然后對存儲的閾值化圖TMa、TMb，根據(jù)原點O創(chuàng)建X-Y直角坐標系，X水平軸由左向右指向，Y豎直軸由下向上指向，只考慮原點以上的Y半軸，因此坐標系只包含第一、第二象限，如圖6A、6B所示。
[0255]由此，能夠在頭肩區(qū)域上設(shè)定坐標系原點，并根據(jù)原點設(shè)定直角坐標系。其余操作如上所述。
[0256]根據(jù)本發(fā)明實施例的頭部姿態(tài)識別系統(tǒng)可通過車身網(wǎng)絡(luò)通信獲取座椅參數(shù)，并利用座椅參數(shù)查表獲取頭肩區(qū)域分割閾值，并執(zhí)行閾值化和區(qū)域分析選取，從而將頭肩區(qū)域與背景分離；通過對分離出來的閾值化頭肩區(qū)域，設(shè)定原點和直角坐標系；并在坐標系中計算頭部姿態(tài)參數(shù)，并根據(jù)姿態(tài)參數(shù)判定多幀深度圖中的姿態(tài)變化；最后根據(jù)車輛搭載設(shè)備觸發(fā)請求信號、駕駛員姿態(tài)觸發(fā)請求信號以及姿態(tài)變化組合與設(shè)備操作的對應(yīng)關(guān)系，執(zhí)行對相關(guān)車輛搭載設(shè)備的控制操作。由此，車載頭部姿態(tài)識別系統(tǒng)可以根據(jù)車輛搭載設(shè)備觸發(fā)請求信號或駕駛員姿態(tài)觸發(fā)，執(zhí)行對相關(guān)車輛搭載設(shè)備的控制操作。
[0257]當然，在本發(fā)明的其它示例中，可讀取存儲在諸如磁盤或光盤之類的其它介質(zhì)上的程序。語音播報器也可以作為其他車輛搭載設(shè)備的部件的形式存在，通過車身網(wǎng)絡(luò)收發(fā)器和車身網(wǎng)絡(luò)發(fā)送控制信息驅(qū)動語音播報器130播報預(yù)先設(shè)定的語音。
[0258]根據(jù)本發(fā)明實施例的頭部姿態(tài)識別系統(tǒng)，具有高的識別精度，且該系統(tǒng)結(jié)構(gòu)簡單、成本低。
[0259]在本說明書的描述中，參考術(shù)語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對所述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。
[0260]盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領(lǐng)域的普通技術(shù)人員而言，可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
【權(quán)利要求】
1.一種頭部姿態(tài)識別方法，其特征在于，包括以下步驟: 采集車輛駕駛室的景物的深度圖； 對所述深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域； 建立坐標系，并將所述頭肩區(qū)域映射到所述坐標系中；以及 根據(jù)至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置判斷所述駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，當判斷所述駕駛員的頭部姿態(tài)發(fā)生變化時，還包括: 根據(jù)所述至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置確定所述頭部的變化趨勢； 根據(jù)所述變化趨勢判斷所述頭部動作； 根據(jù)所述頭部動作控制相應(yīng)的車輛負載執(zhí)行相應(yīng)的動作。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述深度圖是通過飛行時間傳感器攝像機采集得到的。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域，進一步包括: 計算所述至少兩幀深度圖對應(yīng)位置的像素的像素值之差； 提取所述像素值之差大于預(yù)設(shè)值的像素點集合； 根據(jù)所述像素點集合得到區(qū)域分割閾值和閾值誤差； 根據(jù)所述區(qū)域分割閾值和閾值誤差分別對所述至少兩幀深度圖進行閾值化處理，并得到所述至少兩幀深度圖對應(yīng)的第一和第二閾值化圖； 分別對所述第一和第二閾值化圖進行連通性分析和去噪處理以分別得到所述至少兩幀圖像中的頭肩區(qū)域與背景區(qū)域。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述建立坐標系，并將所述頭肩區(qū)域映射到所述坐標系中，進一步包括: 根據(jù)所述至少兩幀圖像中的頭肩區(qū)域確定坐標系原點； 根據(jù)所述坐標系原點建立所述坐標系，并分別將所述至少兩幀圖像中的頭肩區(qū)域映射到所述坐標系中。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述坐標系為二維坐標系。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置判斷所述駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化，進一步包括: 根據(jù)所述至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置分別得到所述駕駛員的頭部在所述至少兩幀深度圖中的姿態(tài)參數(shù)； 比較所述至少兩幀深度圖中的姿態(tài)參數(shù)； 當所述至少兩幀深度圖中的姿態(tài)參數(shù)發(fā)生改變時，判定所述駕駛員的頭部姿態(tài)發(fā)生變化。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述姿態(tài)參數(shù)包括: 頭部高度、頭肩區(qū)域在所述坐標系中第一象限所占的像素總數(shù)以及頭肩區(qū)域在所述坐標系中第二象限所占的像素總數(shù)。
9.一種頭部姿態(tài)識別系統(tǒng)，其特征在于，包括: 深度圖采集模塊，用于采集車輛駕駛室的景物的深度圖； 控制器，用于對所述深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域，并建立坐標系以將所述頭肩區(qū)域映射到所述坐標系中，以及根據(jù)至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置判斷所述駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述控制器還用于: 根據(jù)所述至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置確定所述頭部的變化趨勢； 根據(jù)所述變化趨勢判斷所述頭部動作； 根據(jù)所述頭部動作控制相應(yīng)的車輛負載執(zhí)行相應(yīng)的動作。
11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述深度圖采集模塊包括飛行時間傳感器攝像機。
12.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述控制器對所述深度圖進行分割以得到駕駛員的頭肩區(qū)域與背景區(qū)域，進一步包括: 計算所述至少兩幀深度圖對應(yīng)位置的像素的像素值之差； 提取所述像素值之差大于預(yù)設(shè)值的像素點集合； 根據(jù)所述像素點集合得到區(qū)域分割閾值和閾值誤差； 根據(jù)所述區(qū)域分割閾值和閾值誤差分別對所述至少兩幀深度圖進行閾值化處理，并得到所述至少兩幀深度圖對應(yīng)的第一和第二閾值化圖； 分別對所述第一和第二閾值化圖進行連通性分析和去噪處理以分別得到所述至少兩幀圖像中的頭肩區(qū)域與背景區(qū)域。
13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其特征在于，所述控制器建立坐標系，并將所述頭肩區(qū)域映射到所述坐標系中，進一步包括: 根據(jù)所述至少兩幀圖像中的頭肩區(qū)域確定坐標系原點； 根據(jù)所述坐標系原點建立所述坐標系，并分別將所述至少兩幀圖像中的頭肩區(qū)域映射到所述坐標系中。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，所述坐標系為二維坐標系。
15.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述控制器根據(jù)至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置判斷所述駕駛員的頭部姿態(tài)以及頭部姿態(tài)是否發(fā)生變化，進一步包括: 根據(jù)所述至少兩幀深度圖的頭肩區(qū)域在所述坐標系中的位置分別得到所述駕駛員的頭部在所述至少兩幀深度圖中的姿態(tài)參數(shù)； 比較所述至少兩幀深度圖中的姿態(tài)參數(shù)； 當所述至少兩幀深度圖中的姿態(tài)參數(shù)發(fā)生改變時，判定所述駕駛員的頭部姿態(tài)發(fā)生變化。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于，所述姿態(tài)參數(shù)包括: 頭部高度、頭肩區(qū)域在所述坐標系中第一象限所占的像素總數(shù)以及頭肩區(qū)域在所述坐標系中第二象限所占的像素總數(shù)。
17.根據(jù)權(quán)利要求10所述的系統(tǒng)，其特征在于，所述車輛負載包括藍牙電話設(shè)備、空調(diào)器設(shè)備、語音播報器。
【文檔編號】G06K9/00GK104182742SQ201310188582
【公開日】2014年12月3日 申請日期:2013年5月20日 優(yōu)先權(quán)日:2013年5月20日
【發(fā)明者】黃忠偉, 姜波, 劉錦江 申請人:比亞迪股份有限公司