基于目光連接的聲音命令下達(dá)裝置和方法
【專利摘要】本發(fā)明公開了基于目光連接的聲音命令下達(dá)裝置及方法。該方法包括：11，捕捉攝制以獲第一視頻數(shù)據(jù)；12，分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過t1，如有則獲方位信息，再執(zhí)行步驟2，否則繼續(xù)執(zhí)行步驟11；2，依據(jù)方位信息調(diào)整第二攝像機(jī)，使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制光線發(fā)射器以向人眼發(fā)射光線以獲得人眼的反光圖像；3，分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和反光圖像及位置判斷人眼是否正在注視攝像機(jī)；4，判斷人眼注視是否超過t2，如是則認(rèn)定目光連接且向?qū)?yīng)聲音采集器發(fā)送命令；5，聲音采集器采集聲音，識(shí)別聲音以獲語(yǔ)義內(nèi)容，將語(yǔ)義內(nèi)容提供給其它設(shè)備訪問，并判斷對(duì)話是否結(jié)束，如結(jié)束則執(zhí)行步驟1，如未結(jié)束，則忽略對(duì)話期間第一視頻數(shù)據(jù)中的人臉相關(guān)信息。
【專利說明】基于目光連接的聲音命令下達(dá)裝置和方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于目光連接的聲音命令下達(dá)裝置和方法。

【背景技術(shù)】
[0002]語(yǔ)音識(shí)別中有一個(gè)難點(diǎn)，就是聲音采集裝置無法判斷用戶什么時(shí)候在和其它對(duì)象聊天，什么時(shí)候是向語(yǔ)音系統(tǒng)下達(dá)命令，目前采用的手段多為通過設(shè)定按鈕來開啟錄音，這種方式帶來很多不便，而且既然要按下按鈕，在操作步驟簡(jiǎn)單的場(chǎng)景，下達(dá)語(yǔ)音命令就有些多余，直接制作不同的按鈕按下即可。


【發(fā)明內(nèi)容】

[0003]本發(fā)明提供了基于目光連接的聲音命令下達(dá)裝置和方法，其克服了【背景技術(shù)】中聲音命令下達(dá)裝置和方法所存在的不足。
[0004]本發(fā)明解決其技術(shù)問題的所采用的技術(shù)方案之一是:
[0005]基于目光連接的聲音命令下達(dá)裝置,包括至少一聲音米集器、一第一攝像機(jī)、一第一分析器、至少一裝設(shè)有第二攝像機(jī)和光線發(fā)射器的自動(dòng)云臺(tái)、一第二分析器和一控制器；
[0006]該第一攝像機(jī)用于捕捉攝制可視空間內(nèi)的圖像以獲第一視頻數(shù)據(jù)，該第一分析器信號(hào)連接第一攝像機(jī)以用于分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該用戶的人臉?biāo)幏轿磺抑辽賹⒎轿恍畔鬏斀o控制器；
[0007]該控制器信號(hào)連接自動(dòng)云臺(tái)和光線發(fā)射器，該控制器依據(jù)方位信息調(diào)整自動(dòng)云臺(tái)使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制光線發(fā)射器以向人眼發(fā)射光線，以獲得人眼的反光圖像；該第二分析器信號(hào)連接第二攝像機(jī)且分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和經(jīng)人眼反射的反光圖像及位置判斷人眼是否正在注視攝像機(jī)；
[0008]該控制器信號(hào)連接第二分析器以判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接且向?qū)?yīng)實(shí)時(shí)三維坐標(biāo)的聲音采集器發(fā)送命令以控制聲音采集器采集聲音。
[0009]一實(shí)施例之中:該光線發(fā)射器包括多個(gè)發(fā)射光源，所發(fā)射的光線為固定距離的多個(gè)發(fā)射光源組合發(fā)射，以獲得人眼的包含多個(gè)反光點(diǎn)的反光圖像。
[0010]—實(shí)施例之中:該每一自動(dòng)云臺(tái)的第二攝像機(jī)和光線發(fā)射器的發(fā)射光源相對(duì)固定在一起，并保持相對(duì)固定的距離，確保采集到的反光點(diǎn)圖像的穩(wěn)定和可計(jì)算性。
[0011]一實(shí)施例之中:該第一攝像機(jī)為廣角攝像機(jī)，該第一分析器為廣角圖像采集分析器；該第二攝像機(jī)為長(zhǎng)可變焦攝像機(jī)，第二分析器為長(zhǎng)焦圖像采集分析器。
[0012]一實(shí)施例之中:該第一分析器將該方位信息和人臉圖像傳輸給控制器；該第二攝像機(jī)依據(jù)控制器傳輸?shù)娜四槇D像進(jìn)行捕捉及自動(dòng)變焦調(diào)整，使攝制圖像調(diào)至合適大小。
[0013]一實(shí)施例之中:還包括一顯示裝置和一數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)內(nèi)保存有包括與人臉信息一一對(duì)應(yīng)在內(nèi)的用戶信息；該第二分析器還獲取人臉信息，控制器獲取人臉信息且依據(jù)人臉信息獲取用戶其它信息，并在顯示裝置上顯示該用戶相關(guān)的其它信息。
[0014]一實(shí)施例之中:該光線發(fā)射器發(fā)射出的光線為攝像機(jī)能捕捉且不刺激人眼的光線。
[0015]一實(shí)施例之中:還包括語(yǔ)義分析裝置，信號(hào)連接控制器和聲音采集器。
[0016]本發(fā)明解決其技術(shù)問題的所采用的技術(shù)方案之二是:
[0017]基于目光連接的聲音命令下達(dá)方法，包括:
[0018]步驟11，捕捉攝制可視空間內(nèi)的圖像以獲第一視頻數(shù)據(jù)；
[0019]步驟12，分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該人臉?biāo)幏轿磺耀@方位信息，然后執(zhí)行步驟2，否則繼續(xù)執(zhí)行步驟11 ;
[0020]步驟2，依據(jù)方位信息調(diào)整第二攝像機(jī)，使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制光線發(fā)射器以向人眼發(fā)射光線，所發(fā)射的光線為與第二攝像機(jī)固定距離的至少一個(gè)發(fā)射光源組合發(fā)射，以獲得人眼反射的反光圖像；
[0021]步驟3，分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和經(jīng)人眼反射的反光圖像及位置判斷人眼是否正在注視攝像機(jī)；
[0022]步驟4，判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接；
[0023]步驟5，向?qū)?yīng)實(shí)時(shí)三維坐標(biāo)的聲音采集器發(fā)送命令，聲音采集器采集聲音，識(shí)別聲音以獲語(yǔ)義內(nèi)容，將語(yǔ)義內(nèi)容提供給其它需要語(yǔ)義內(nèi)容的設(shè)備訪問，并判斷對(duì)話是否結(jié)束，如結(jié)束則執(zhí)行步驟1，如未結(jié)束，則忽略對(duì)話期間第一視頻數(shù)據(jù)中轉(zhuǎn)向攝像機(jī)組的人臉相關(guān)信息。
[0024]一實(shí)施例之中:該步驟3中，通過分析第二視頻數(shù)據(jù)，還獲取人臉圖像；
[0025]該步驟5中，控制器依據(jù)人臉圖像從數(shù)據(jù)庫(kù)中獲取對(duì)應(yīng)的用戶信息，還通過顯示器顯示對(duì)話過程中需要顯示的提前設(shè)定的與該用戶相關(guān)的其它信息。
[0026]本發(fā)明解決其技術(shù)問題的所采用的技術(shù)方案之三是:
[0027]基于目光連接的聲音命令下達(dá)方法，包括:
[0028]步驟11，捕捉攝制可視空間內(nèi)的圖像以獲第一視頻數(shù)據(jù)；
[0029]步驟12，分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該人臉?biāo)幏轿磺耀@方位信息，然后執(zhí)行步驟2，否則繼續(xù)執(zhí)行步驟11 ;
[0030]步驟2，依據(jù)方位信息調(diào)整第二攝像機(jī)，使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制光線發(fā)射器以向人眼發(fā)射光線，所發(fā)射的光線為固定距離的至少一個(gè)發(fā)射光源組合發(fā)射，以獲得人眼的反光圖像；
[0031]步驟3，分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和經(jīng)人眼反射的反光圖像及位置判斷人眼是否正在注視攝像機(jī)；
[0032]步驟4，判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接且同時(shí)執(zhí)行步驟5 ;
[0033]步驟5，向?qū)?yīng)實(shí)時(shí)三維坐標(biāo)的聲音采集器發(fā)送命令，聲音采集器采集聲音，識(shí)別聲音以獲語(yǔ)義內(nèi)容，將語(yǔ)義內(nèi)容提供給其它需要語(yǔ)義內(nèi)容的設(shè)備訪問，依據(jù)語(yǔ)音內(nèi)容判斷對(duì)話是否結(jié)束，或者通過特定軟件通過人工選擇結(jié)束對(duì)話，如結(jié)束則執(zhí)行步驟6 ；
[0034]步驟6，判斷是否還有其它人眼依據(jù)上述步驟建立目光連接，如是獲取其它人眼中仍然在保持試圖建立目光連接人眼序列中的一個(gè)的實(shí)時(shí)三維坐標(biāo)然后執(zhí)行步驟5，否則執(zhí)行步驟1。
[0035]一實(shí)施例之中:該步驟4種，判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接且同時(shí)執(zhí)行步驟5和步驟7 ；
[0036]該步驟7，包括:
[0037]步驟71，判斷是否還有其它人眼依據(jù)上述步驟建立目光連接，如是執(zhí)行步驟72，否則執(zhí)行步驟1 ;
[0038]步驟72，判斷其它人眼是否斷開目光連接且斷開時(shí)間超過設(shè)定時(shí)間t3，如是則直接執(zhí)行步驟71，否則第二攝像機(jī)繼續(xù)朝向該目光連接的人眼，然后執(zhí)行步驟71。
[0039]本技術(shù)方案與【背景技術(shù)】相比，它具有如下優(yōu)點(diǎn):
[0040]依據(jù)目光對(duì)接確認(rèn)聲音是否向設(shè)備發(fā)出命令，如是采集聲音執(zhí)行命令，因此能克服【背景技術(shù)】中所存在的不足。先判斷方位，再依據(jù)方位調(diào)整控制攝像機(jī)攝像，依據(jù)光線發(fā)射器發(fā)射信號(hào)，通過人眼圖像和經(jīng)人眼的反光點(diǎn)的圖像及位置判斷是否目光對(duì)接，判斷準(zhǔn)確，誤操作率低，方便快速。目光連接為準(zhǔn)確的一對(duì)一連接，解決了傳統(tǒng)技術(shù)無法判斷用戶是跟其它人說話還是在向系統(tǒng)下達(dá)命令的問題。通過人臉的實(shí)時(shí)三維坐標(biāo)控制該對(duì)應(yīng)的聲音采集器采集聲音，聲音清晰，避免雜音，成本低，能耗低。還通過顯示器顯示對(duì)話過程中需要顯示的提前設(shè)定的與該用戶的其它信息，能讓其它用戶了解誰(shuí)建立了連接，也能讓建立連接的用戶獲得一定的視覺反饋。

【專利附圖】

【附圖說明】
[0041]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。
[0042]圖1繪示了基于目光連接的聲音命令下達(dá)裝置的示意圖。

【具體實(shí)施方式】
[0043]請(qǐng)查閱圖1，基于目光連接的聲音命令下達(dá)裝置，包括至少一聲音采集器1、一第一攝像機(jī)7、一第一分析器8、至少一裝設(shè)有第二攝像機(jī)2和光線發(fā)射器3的自動(dòng)云臺(tái)4、一第二分析器5和一控制器6。該第一攝像機(jī)7為廣角攝像機(jī)7，根據(jù)需要，也可采用其它攝像機(jī)，如普通攝像機(jī)，該第一分析器8為廣角圖像采集分析器8，如采用其它攝像機(jī)，則相應(yīng)的可改用普通圖像采集分析器；該第二攝像機(jī)2為長(zhǎng)可變焦攝像機(jī)2，根據(jù)需要，也可采用其它攝像機(jī)，如普通攝像機(jī)，第二分析器3為長(zhǎng)焦圖像采集分析器3，如采用其它攝像機(jī)，則相應(yīng)的可改用普通圖像采集分析器。該光線發(fā)射器3發(fā)射出的光線為攝像機(jī)能捕捉且對(duì)人眼不刺激的光線，例如紅外光發(fā)射器或紫外光發(fā)射器。該聲音采集器1選用定向聲音采集器。
[0044]該控制器6信號(hào)連接所有聲音采集器1、第一分析器8、所有自動(dòng)云臺(tái)4、第二分析器5、所有光線發(fā)射器3 ;該第二分析器5信號(hào)連接所有第二攝像機(jī)2，該第一分析器8信號(hào)連接第一攝像機(jī)7。
[0045]該第一攝像機(jī)7用于捕捉攝制可視空間內(nèi)的圖像以獲第一視頻數(shù)據(jù)；該第一分析器8分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該用戶的人臉?biāo)幏轿磺抑辽賹⒎轿恍畔鬏斀o控制器6，其例如采用如下方式判斷持續(xù)停留時(shí)間:第一視頻數(shù)據(jù)是由第一攝像機(jī)7攝制固定場(chǎng)所的圖像連續(xù)組成的，判斷圖像某位置上是否有人臉轉(zhuǎn)向攝像機(jī)組方向(例如通過臉形及五官相對(duì)位置判斷是否為轉(zhuǎn)向攝像機(jī)組的人臉)，依據(jù)連續(xù)有同一人臉轉(zhuǎn)向攝像機(jī)組方向的圖像張數(shù)判斷該持續(xù)停留時(shí)間，依據(jù)人臉圖像所處位置判斷人臉?biāo)幏轿弧?br> [0046]該控制器6信號(hào)連接第一分析器8以至少獲取方位信息。該控制器6信號(hào)連接自動(dòng)云臺(tái)4，依據(jù)方位信息調(diào)整自動(dòng)云臺(tái)4，使自動(dòng)云臺(tái)4之上的第二攝像機(jī)2朝向該方位以能攝制人臉，使自動(dòng)云臺(tái)4之上的光線發(fā)射器3朝向人眼，該控制器6信號(hào)連接光線發(fā)射器3以控制光線發(fā)射器3能向人眼發(fā)射光線，所發(fā)射的光線為固定距離的至少一個(gè)發(fā)射光源組合發(fā)射，以獲得人眼不同部位的多個(gè)反光點(diǎn)組成的反光圖像。根據(jù)需要，可選擇一個(gè)發(fā)射光源發(fā)射單個(gè)光線以在人眼的不同部位產(chǎn)生多個(gè)反光點(diǎn)，或者，包括多個(gè)發(fā)射光源發(fā)射多個(gè)光線以產(chǎn)生多個(gè)發(fā)光點(diǎn)，當(dāng)然，不管是一個(gè)發(fā)射光源還是多個(gè)發(fā)射光源，該發(fā)射光源都相對(duì)第二攝像機(jī)固定。最好采用多個(gè)發(fā)射光源，其中，該每一自動(dòng)云臺(tái)的第二攝像機(jī)和光線發(fā)射器的多個(gè)發(fā)射光源相對(duì)固定在一起，確保采集到的反光點(diǎn)圖像的穩(wěn)定和可計(jì)算性。圖中發(fā)射光源個(gè)數(shù)為η個(gè)，相鄰的發(fā)射光源間隔布置且相對(duì)固定，11-ηη表示發(fā)射光源編號(hào)，其中有η個(gè)自動(dòng)云臺(tái),η表示各個(gè)平臺(tái)的編號(hào)。本實(shí)施例之中，該自動(dòng)云臺(tái)4例如包括一底座、一能相對(duì)底座活動(dòng)的平臺(tái)、一傳動(dòng)連接在平臺(tái)和底座的傳動(dòng)機(jī)構(gòu)及多個(gè)驅(qū)動(dòng)機(jī)構(gòu)，驅(qū)動(dòng)機(jī)構(gòu)驅(qū)動(dòng)傳動(dòng)機(jī)構(gòu)，以能帶動(dòng)平臺(tái)活動(dòng)，該活動(dòng)例如包括上下左右前后移動(dòng)、豎直面轉(zhuǎn)動(dòng)、水平面轉(zhuǎn)動(dòng)之類，或者，該活動(dòng)只包括水平面轉(zhuǎn)動(dòng)之類，等等。
[0047]該第二攝像機(jī)2攝制人臉以獲第二視頻數(shù)據(jù)。該第二分析器5信號(hào)連接第二攝像機(jī)2且分析第二視頻數(shù)據(jù)，以獲人臉的實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和經(jīng)人眼的多個(gè)反光點(diǎn)的反光圖像及位置判斷人眼是否正在注視攝像機(jī)，其中由于光線發(fā)射器和攝像機(jī)固定，因此根據(jù)人眼圖形和反光點(diǎn)在人眼圖像的位置及反光點(diǎn)之間的圖像及位置，既，能根據(jù)人眼圖像和該反光點(diǎn)的圖像及位置判斷人眼是否正在注視攝像機(jī)。該控制器信號(hào)連接第二分析器以判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接且向?qū)?yīng)該實(shí)時(shí)三維坐標(biāo)的聲音采集器1發(fā)送命令，啟動(dòng)可以覆蓋該位置的定向聲音采集器進(jìn)行聲音采集。該聲音采集器1優(yōu)選為多組，平均分布在整個(gè)攝像機(jī)組可視空間范圍內(nèi)，分布位置最好可將任何位置上的聲音進(jìn)行清晰采集，并且盡量減少周圍雜音。
[0048]最好，還包括語(yǔ)義分析裝置9，信號(hào)連接控制器6和聲音采集器1，語(yǔ)義分析裝置9采集聲音且識(shí)別聲音獲語(yǔ)義內(nèi)容，將語(yǔ)義內(nèi)容提供給其它需要語(yǔ)義信息的設(shè)備訪問。該其它需要語(yǔ)義信息的設(shè)備是指能訪問語(yǔ)義分析裝置9的供用戶控制的設(shè)備。該語(yǔ)義分析裝置，還依據(jù)語(yǔ)義內(nèi)容判斷該目標(biāo)對(duì)話是否結(jié)束，如是則對(duì)話結(jié)束且發(fā)送相關(guān)信息給控制器，則將第一攝像機(jī)當(dāng)前的采集目標(biāo)信息控制云臺(tái)轉(zhuǎn)向，進(jìn)入下一輪循環(huán)；如對(duì)話未結(jié)束，則保持云臺(tái)控制第二攝像機(jī)的持續(xù)追蹤，且忽略對(duì)話期間第一視頻數(shù)據(jù)中轉(zhuǎn)向攝像機(jī)組的人臉相關(guān)信息。根據(jù)需要，否則還判斷沒有語(yǔ)音的持續(xù)時(shí)間是否達(dá)到設(shè)定閥值，如是則對(duì)話結(jié)束且發(fā)送相關(guān)信息給控制器，否則繼續(xù)判斷。其中，單句語(yǔ)音命令結(jié)束可不視為對(duì)話結(jié)束。
[0049]優(yōu)選方案中，該第一分析器2將方位信息和人臉圖像一起傳輸給控制器6,該第二攝像機(jī)2依據(jù)控制器6傳輸?shù)娜四槇D像進(jìn)行捕捉及自動(dòng)變焦以使攝制的視頻中的人臉至合適大小，以可清晰捕捉到被捕捉人臉的眼球上的光線發(fā)射器造成的反光點(diǎn)。最好，控制器5除獲取反射光線和三維信息外，還獲取第二分析器5中第二視頻數(shù)據(jù)中的人臉；本實(shí)施例的裝置還包括顯示裝置10，顯示裝置10信號(hào)連接控制器6，顯示裝置10能顯示第二攝像機(jī)2攝制的人臉，使人臉和采集的聲音數(shù)據(jù)一一對(duì)應(yīng)。根據(jù)需要，控制器6還可信號(hào)連接數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)中保存有一一對(duì)應(yīng)的人臉和用戶信息，則控制器6識(shí)別人臉并獲取用戶的其它信息(如人臉外的其它信息，如姓名、工作號(hào)、應(yīng)用所需個(gè)性化參數(shù)等)，顯示裝置10可顯示提前設(shè)定的與該用戶相關(guān)的其它信息，使用戶信息和采集的聲音數(shù)據(jù)一一對(duì)應(yīng)，表示該命令終端已被該目標(biāo)占用。
[0050]基于目光連接的聲音命令下達(dá)方法，包括:
[0051]步驟11，第一攝像機(jī)捕捉攝制可視空間內(nèi)的圖像以獲得第一視頻數(shù)據(jù)；
[0052]步驟12，第一分析器分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該人臉?biāo)幏轿磺耀@方位信息，至少將方位信息傳送給控制器，然后執(zhí)行步驟2，否則繼續(xù)執(zhí)行步驟11 ；
[0053]步驟2，控制器6依據(jù)方位信息調(diào)整自動(dòng)云臺(tái)使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制發(fā)射器發(fā)射光線，所發(fā)射的光線為固定距離的多個(gè)發(fā)射光源組合發(fā)射，以獲得人眼的包含多個(gè)反光點(diǎn)的圖像；而且，最好，第二攝像機(jī)還依據(jù)人臉圖像進(jìn)行捕捉及自動(dòng)變焦調(diào)整，使圖像至合適大小。
[0054]步驟3，第二分析器5獲取并分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)、人臉圖像，且依據(jù)人眼圖像和經(jīng)人眼的多個(gè)反光點(diǎn)的圖像及位置判斷人眼是否正在注視攝像機(jī)；
[0055]步驟4，控制器5信號(hào)連接第二分析器5以判斷人眼注視是否超過設(shè)定時(shí)間t2，如超過t2則認(rèn)定目光連接且向?qū)?yīng)該實(shí)時(shí)三維坐標(biāo)的聲音采集器1發(fā)送命令；
[0056]步驟51，啟動(dòng)可以覆蓋該位置的定向聲音采集器采集聲音；第二分析器還將人臉圖像傳送給控制器，控制器依據(jù)人臉圖像從數(shù)據(jù)庫(kù)中獲取對(duì)應(yīng)的用戶信息，還通過顯示器顯示對(duì)話過程中需要顯示的提前設(shè)定的與該用戶信息相關(guān)的按照預(yù)設(shè)策略需要顯示的其它信息；
[0057]步驟52，語(yǔ)義分析裝置9信號(hào)連接控制器6和聲音采集器1，語(yǔ)義分析裝置9采集聲音且識(shí)別聲音獲知語(yǔ)義內(nèi)容，將語(yǔ)義內(nèi)容提供給其它需要語(yǔ)義信息的設(shè)備訪問。該語(yǔ)義分析裝置，依據(jù)語(yǔ)義內(nèi)容判斷該目標(biāo)對(duì)話是否結(jié)束，如是則對(duì)話結(jié)束且發(fā)送相關(guān)信息給控制器，否則判斷沒有語(yǔ)音的持續(xù)時(shí)間是否達(dá)到設(shè)定閥值，如是則對(duì)話結(jié)束且發(fā)送相關(guān)信息給控制器，否則繼續(xù)判斷。其中，單句語(yǔ)音命令結(jié)束可不視為對(duì)話結(jié)束。本實(shí)施例之中，根據(jù)語(yǔ)義分析裝置對(duì)語(yǔ)音的分析結(jié)果，如該目標(biāo)對(duì)話階段未結(jié)束，則忽略對(duì)話期間第一視頻數(shù)據(jù)中轉(zhuǎn)向攝像機(jī)組的人臉相關(guān)信息，則保持云臺(tái)控制第二攝像機(jī)的持續(xù)追蹤，如該目標(biāo)對(duì)話階段結(jié)束，則將第一攝像機(jī)當(dāng)前的采集目標(biāo)信息控制云臺(tái)轉(zhuǎn)向，進(jìn)入下一輪循環(huán)，執(zhí)行步驟11。
[0058]另一較佳實(shí)施例之中，基于目光連接的聲音命令下達(dá)方法，包括:
[0059]步驟11，捕捉攝制可視空間內(nèi)的圖像以獲第一視頻數(shù)據(jù)；
[0060]步驟12，分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該人臉?biāo)幏轿磺耀@方位信息，然后執(zhí)行步驟2，否則繼續(xù)執(zhí)行步驟11 ;
[0061]步驟2，依據(jù)方位信息調(diào)整第二攝像機(jī)，使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制光線發(fā)射器以向人眼發(fā)射光線，所發(fā)射的光線為固定距離的至少一個(gè)發(fā)射光源組合發(fā)射，以獲得人眼的反光圖像；
[0062]步驟3，分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和經(jīng)人眼反射的反光圖像及位置判斷人眼是否正在注視攝像機(jī)；
[0063]步驟4，判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接且同時(shí)執(zhí)行步驟5和步驟7 ；
[0064]步驟5，向?qū)?yīng)實(shí)時(shí)三維坐標(biāo)的聲音采集器發(fā)送命令，聲音采集器采集聲音，識(shí)別聲音以獲語(yǔ)義內(nèi)容，將語(yǔ)義內(nèi)容提供給其它需要語(yǔ)義內(nèi)容的設(shè)備訪問，依據(jù)語(yǔ)音內(nèi)容判斷對(duì)話是否結(jié)束，或者通過特定軟件通過人工選擇結(jié)束對(duì)話，如結(jié)束則執(zhí)行步驟6 ；
[0065]步驟6，判斷是否還有其它人眼依據(jù)上述步驟建立目光連接，如是獲取其它人眼中下一仍然在保持試圖建立目光連接人眼序列中的一個(gè)的實(shí)時(shí)三維坐標(biāo)然后執(zhí)行步驟5，否則執(zhí)行步驟1。
[0066]該步驟7，包括:
[0067]步驟71，判斷是否還有其它人眼依據(jù)上述步驟建立目光連接，如是執(zhí)行步驟72，否則執(zhí)行步驟1 ;
[0068]步驟72，判斷其它人眼是否斷開目光連接且斷開時(shí)間超過設(shè)定時(shí)間t3，如是則直接執(zhí)行步驟71，否則第二攝像機(jī)繼續(xù)朝向該目光連接的人眼，然后執(zhí)行步驟71。
[0069]以上所述，僅為本發(fā)明較佳實(shí)施例而已，故不能依此限定本發(fā)明實(shí)施的范圍，即依本發(fā)明專利范圍及說明書內(nèi)容所作的等效變化與修飾，皆應(yīng)仍屬本發(fā)明涵蓋的范圍內(nèi)。
【權(quán)利要求】
1.基于目光連接的聲音命令下達(dá)裝置，其特征在于:包括至少一聲音采集器、一第一攝像機(jī)、一第一分析器、至少一裝設(shè)有第二攝像機(jī)和光線發(fā)射器的自動(dòng)云臺(tái)、一第二分析器和一控制器； 該第一攝像機(jī)用于捕捉攝制可視空間內(nèi)的圖像以獲第一視頻數(shù)據(jù)，該第一分析器信號(hào)連接第一攝像機(jī)以用于分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該用戶的人臉?biāo)幏轿磺抑辽賹⒎轿恍畔鬏斀o控制器； 該控制器信號(hào)連接自動(dòng)云臺(tái)和光線發(fā)射器，該控制器依據(jù)方位信息調(diào)整自動(dòng)云臺(tái)使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制光線發(fā)射器以向人眼發(fā)射光線，以獲得人眼的反光圖像；該第二分析器信號(hào)連接第二攝像機(jī)且分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和經(jīng)人眼反射的反光圖像及位置判斷人眼是否正在注視攝像機(jī)； 該控制器信號(hào)連接第二分析器以判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接且向?qū)?yīng)實(shí)時(shí)三維坐標(biāo)的聲音采集器發(fā)送命令以控制聲音采集器采集聲音。
2.根據(jù)權(quán)利要求1所述的基于目光連接的聲音命令下達(dá)裝置，其特征在于:該光線發(fā)射器包括多個(gè)發(fā)射光源，所發(fā)射的光線為固定距離的多個(gè)發(fā)射光源組合發(fā)射，以獲得人眼的包含多個(gè)反光點(diǎn)的反光圖像。
3.根據(jù)權(quán)利要求2所述的基于目光連接的聲音命令下達(dá)裝置，其特征在于:該每一自動(dòng)云臺(tái)的第二攝像機(jī)和光線發(fā)射器的發(fā)射光源相對(duì)固定在一起，并保持相對(duì)固定的距離，確保采集到的反光點(diǎn)圖像的穩(wěn)定和可計(jì)算性。
4.根據(jù)權(quán)利要求1所述的基于目光連接的聲音命令下達(dá)裝置，其特征在于:該第一攝像機(jī)為廣角攝像機(jī)，該第一分析器為廣角圖像采集分析器；該第二攝像機(jī)為長(zhǎng)可變焦攝像機(jī)，第二分析器為長(zhǎng)焦圖像采集分析器。
5.根據(jù)權(quán)利要求1所述的基于目光連接的聲音命令下達(dá)裝置，其特征在于:該第一分析器將該方位信息和人臉圖像傳輸給控制器；該第二攝像機(jī)依據(jù)控制器傳輸?shù)娜四槇D像進(jìn)行捕捉及自動(dòng)變焦調(diào)整，使攝制圖像調(diào)至合適大小。
6.根據(jù)權(quán)利要求1所述的基于目光連接的聲音命令下達(dá)裝置，其特征在于:還包括一顯示裝置和一數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)內(nèi)保存有包括一一對(duì)應(yīng)人臉信息在內(nèi)的用戶信息；該第二分析器還獲取人臉信息，控制器獲取人臉信息且依據(jù)人臉信息獲取用戶其它信息，并在顯示裝置上顯示該用戶相關(guān)的其它信息。
7.根據(jù)權(quán)利要求1所述的基于目光連接的聲音命令下達(dá)裝置，其特征在于:該光線發(fā)射器發(fā)射出的光線為攝像機(jī)能捕捉且不刺激人眼的光線。
8.根據(jù)權(quán)利要求1所述的基于目光連接的聲音命令下達(dá)裝置，其特征在于:還包括語(yǔ)義分析裝置，信號(hào)連接控制器和聲音采集器。
9.基于目光連接的聲音命令下達(dá)方法，其特征在于:包括: 步驟11，捕捉攝制可視空間內(nèi)的圖像以獲第一視頻數(shù)據(jù)； 步驟12，分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該人臉?biāo)幏轿磺耀@方位信息，然后執(zhí)行步驟2，否則繼續(xù)執(zhí)行步驟11 ； 步驟2，依據(jù)方位信息調(diào)整第二攝像機(jī)，使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制光線發(fā)射器以向人眼發(fā)射光線，所發(fā)射的光線為固定距離的至少一個(gè)發(fā)射光源組合發(fā)射，以獲得人眼的反光圖像； 步驟3，分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和經(jīng)人眼反射的反光圖像及位置判斷人眼是否正在注視攝像機(jī)； 步驟4，判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接； 步驟5，向?qū)?yīng)實(shí)時(shí)三維坐標(biāo)的聲音采集器發(fā)送命令，聲音采集器采集聲音，識(shí)別聲音以獲語(yǔ)義內(nèi)容，將語(yǔ)義內(nèi)容提供給其它需要語(yǔ)義內(nèi)容的設(shè)備訪問，并判斷對(duì)話是否結(jié)束，如結(jié)束則執(zhí)行步驟1，如未結(jié)束，則忽略對(duì)話期間第一視頻數(shù)據(jù)中轉(zhuǎn)向攝像機(jī)組的人臉相關(guān)信肩、O
10.根據(jù)權(quán)利要求9所述的基于目光連接的聲音命令下達(dá)方法，其特征在于: 該步驟3中，通過分析第二視頻數(shù)據(jù)，還獲取人臉圖像； 該步驟5中，控制器依據(jù)人臉圖像從數(shù)據(jù)庫(kù)中獲取對(duì)應(yīng)的用戶信息，還通過顯示器顯示對(duì)話過程中需要顯示的提前設(shè)定的與該用戶相關(guān)的其它信息。
11.基于目光連接的聲音命令下達(dá)方法，其特征在于:包括: 步驟11，捕捉攝制可視空間內(nèi)的圖像以獲第一視頻數(shù)據(jù)；步驟12，分析第一視頻數(shù)據(jù)，判斷是否有人臉朝向第一攝像機(jī)且持續(xù)停留超過設(shè)定時(shí)間tl，如有則標(biāo)定該人臉?biāo)幏轿磺耀@方位信息，然后執(zhí)行步驟2，否則繼續(xù)執(zhí)行步驟11 ；步驟2，依據(jù)方位信息調(diào)整第二攝像機(jī)，使第二攝像機(jī)攝制人臉以獲第二視頻數(shù)據(jù)，控制光線發(fā)射器以向人眼發(fā)射光線，所發(fā)射的光線為固定距離的至少一個(gè)發(fā)射光源組合發(fā)射，以獲得人眼的反光圖像； 步驟3，分析第二視頻數(shù)據(jù)，以獲人臉實(shí)時(shí)三維坐標(biāo)，且依據(jù)人眼圖像和經(jīng)人眼反射的反光圖像及位置判斷人眼是否正在注視攝像機(jī)； 步驟4，判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接且同時(shí)執(zhí)行步驟5 ;步驟5，向?qū)?yīng)實(shí)時(shí)三維坐標(biāo)的聲音采集器發(fā)送命令，聲音采集器采集聲音，識(shí)別聲音以獲語(yǔ)義內(nèi)容，將語(yǔ)義內(nèi)容提供給其它需要語(yǔ)義內(nèi)容的設(shè)備訪問，依據(jù)語(yǔ)音內(nèi)容判斷對(duì)話是否結(jié)束，如結(jié)束則執(zhí)行步驟6 ; 步驟6，判斷是否還有其它人眼依據(jù)上述步驟建立目光連接，如是獲取其它人眼中仍然在保持試圖建立目光連接人眼序列中的一個(gè)的實(shí)時(shí)三維坐標(biāo)然后執(zhí)行步驟5，否則執(zhí)行步驟I。
12.根據(jù)權(quán)利要求11所述的基于目光連接的聲音命令下達(dá)方法，其特征在于: 該步驟4種，判斷人眼注視是否超過設(shè)定時(shí)間t2，如是則認(rèn)定目光連接且同時(shí)執(zhí)行步驟5和步驟7 ； 該步驟7,包括: 步驟71，判斷是否還有其它人眼依據(jù)上述步驟建立目光連接，如是執(zhí)行步驟72，否則執(zhí)行步驟I ; 步驟72，判斷其它人眼是否斷開目光連接且斷開時(shí)間超過設(shè)定時(shí)間t3，如是則直接執(zhí)行步驟71，否則第二攝像機(jī)繼續(xù)朝向該目光連接的人眼，然后執(zhí)行步驟71。
【文檔編號(hào)】H04N5/232GK104253944SQ201410461030
【公開日】2014年12月31日 申請(qǐng)日期:2014年9月11日 優(yōu)先權(quán)日:2014年9月11日
【發(fā)明者】陳飛 申請(qǐng)人:陳飛