本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域,特別是涉及一種交互控制方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
背景技術(shù):
隨著社會(huì)的進(jìn)步和科技的發(fā)展,人們之間的交互越來(lái)越頻繁,需要進(jìn)行交互的場(chǎng)景也越來(lái)越多。在傳統(tǒng)的訪客來(lái)訪場(chǎng)景中,對(duì)于來(lái)訪人員,通常需要工作人員對(duì)來(lái)訪人員進(jìn)行信息登記,再由工作人員通過(guò)人工方式與訪客進(jìn)行交互。
然而,傳統(tǒng)的這種通過(guò)人工方式登記來(lái)訪人員信息,再與訪客進(jìn)行交互的訪客交互方式,需要消耗大量的人力物力,而且引入了大量的工作量,導(dǎo)致與訪客交互的效率低下。
技術(shù)實(shí)現(xiàn)要素:
基于此,有必要針對(duì)傳統(tǒng)的訪客交互方式導(dǎo)致的與訪客交互的效率低下的問(wèn)題,提供一種交互控制方法、裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
一種交互控制方法,所述方法包括:
采集圖像幀;
根據(jù)所述圖像幀,獲取與對(duì)所述圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容;
根據(jù)所述圖像幀獲取趨向訪客移動(dòng)指令;所述趨向訪客移動(dòng)指令根據(jù)訪客空間狀態(tài)生成,所述訪客空間狀態(tài)根據(jù)所述圖像幀中所述訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量確定;
按照所述趨向訪客移動(dòng)指令移動(dòng),并輸出所述訪客交互內(nèi)容。
一種交互控制裝置,所述裝置包括:
采集模塊,用于采集圖像幀;
識(shí)別結(jié)果獲取模塊,用于根據(jù)所述圖像幀,獲取與對(duì)所述圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容;
指令獲取模塊,用于根據(jù)所述圖像幀獲取趨向訪客移動(dòng)指令;所述趨向訪客移動(dòng)指令根據(jù)訪客空間狀態(tài)生成,所述訪客空間狀態(tài)根據(jù)所述圖像幀中所述訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量確定;
輸出模塊,用于按照所述趨向訪客移動(dòng)指令移動(dòng),并輸出所述訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,所述識(shí)別結(jié)果獲取模塊還用于提取所述圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)所述人臉特征數(shù)據(jù)查詢與所述人臉圖像相匹配的訪客圖像;根據(jù)所述訪客圖像得到訪客身份識(shí)別結(jié)果;獲取與所述訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,所述識(shí)別結(jié)果獲取模塊還用于確定所述圖像幀中包括的人臉圖像占所述圖像幀的占比,提取占比超過(guò)預(yù)設(shè)占比的人臉圖像的人臉特征數(shù)據(jù);和/或,確定所述圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在一個(gè)實(shí)施例中,所述識(shí)別結(jié)果獲取模塊還用于將所述圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取所述神經(jīng)網(wǎng)絡(luò)模型輸出的與所述圖像幀相應(yīng)的特征圖;根據(jù)所述特征圖確定所述圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);將所述人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取所述訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的所述人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與所述人臉圖像相匹配的訪客圖像。
在一個(gè)實(shí)施例中,所述識(shí)別結(jié)果獲取模塊還用于根據(jù)所述訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與所述訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合所述訪客身份識(shí)別結(jié)果與所述訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,所述指令獲取模塊還用于提取所述圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)所述障礙物特征數(shù)據(jù)生成障礙物分布地圖;在所述障礙物分布地圖中,按照所述訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)所述移動(dòng)路徑生成趨向訪客移動(dòng)指令。
一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,所述計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行時(shí),使得所述處理器執(zhí)行交互控制方法的步驟。
一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器中儲(chǔ)存有計(jì)算機(jī)可讀指令,所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí),使得所述處理器執(zhí)行交互控制方法的步驟。
上述交互控制方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備,在采集到圖像幀后,就可以自動(dòng)地獲取與對(duì)該圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,以及根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量所確定的訪客空間狀態(tài)生成的趨向訪客移動(dòng)指令。這樣本地即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。
一種交互控制方法,所述方法包括:
接收訪客交互設(shè)備發(fā)送的圖像幀;
對(duì)所述圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果;
獲取與所述訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容;
根據(jù)所述圖像幀中所述訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,確定訪客空間狀態(tài);
根據(jù)所述訪客空間狀態(tài)生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令;
將所述訪客交互內(nèi)容和所述趨向訪客移動(dòng)指令發(fā)送至所述訪客交互設(shè)備,使得所述訪客交互設(shè)備執(zhí)行所述趨向訪客移動(dòng)指令,并輸出所述訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,所述對(duì)所述圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果,包括:
提取所述圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);
根據(jù)所述人臉特征數(shù)據(jù)查詢與所述人臉圖像相匹配的訪客圖像;
根據(jù)所述訪客圖像得到訪客身份識(shí)別結(jié)果。
在一個(gè)實(shí)施例中,所述提取所述圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:
確定所述圖像幀中包括的人臉圖像占所述圖像幀的占比,提取占比超過(guò)預(yù)設(shè)比例的人臉圖像的人臉特征數(shù)據(jù);和/或,
確定所述圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在一個(gè)實(shí)施例中,所述提取所述圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:
將所述圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;
獲取所述神經(jīng)網(wǎng)絡(luò)模型輸出的與所述圖像幀相應(yīng)的特征圖;
根據(jù)所述特征圖確定所述圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);
所述根據(jù)所述人臉特征數(shù)據(jù)查詢與所述人臉圖像相匹配的訪客圖像,包括:
將所述人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;
選取所述訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的所述人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與所述人臉圖像相匹配的訪客圖像。
在一個(gè)實(shí)施例中,所述獲取與所述訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容,包括:
根據(jù)所述訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;
查找與所述訪客屬性相應(yīng)的訪客交互內(nèi)容模板;
組合所述訪客身份識(shí)別結(jié)果與所述訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
一種交互控制裝置,所述裝置包括:
接收模塊,用于接收訪客交互設(shè)備發(fā)送的圖像幀;
識(shí)別模塊,用于對(duì)所述圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果;
獲取模塊,用于獲取與所述訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容;
確定模塊,用于根據(jù)所述圖像幀中所述訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,確定訪客空間狀態(tài);
指令生成模塊,用于根據(jù)所述訪客空間狀態(tài)生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令;
發(fā)送模塊,用于將所述訪客交互內(nèi)容和所述趨向訪客移動(dòng)指令發(fā)送至所述訪客交互設(shè)備,使得所述訪客交互設(shè)備執(zhí)行所述趨向訪客移動(dòng)指令,并輸出所述訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,所述識(shí)別模塊還用于提取所述圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)所述人臉特征數(shù)據(jù)查詢與所述人臉圖像相匹配的訪客圖像;根據(jù)所述訪客圖像得到訪客身份識(shí)別結(jié)果。
在一個(gè)實(shí)施例中,所述識(shí)別模塊還用于確定所述圖像幀中包括的人臉圖像占所述圖像幀的占比,提取占比超過(guò)預(yù)設(shè)占比的人臉圖像的人臉特征數(shù)據(jù);和/或,確定所述圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在一個(gè)實(shí)施例中,所述識(shí)別模塊還用于將所述圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取所述神經(jīng)網(wǎng)絡(luò)模型輸出的與所述圖像幀相應(yīng)的特征圖;根據(jù)所述特征圖確定所述圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);將所述人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取所述訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的所述人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與所述人臉圖像相匹配的訪客圖像。
在一個(gè)實(shí)施例中,所述獲取模塊根據(jù)所述訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與所述訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合所述訪客身份識(shí)別結(jié)果與所述訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,所述裝置還包括:
交互模塊,用于獲取根據(jù)所述訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)所述交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);建立所述訪客交互設(shè)備與所述交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備之間的通信連接。
一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令,所述計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行時(shí),使得所述處理器執(zhí)行交互控制方法的步驟。
一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器中儲(chǔ)存有計(jì)算機(jī)可讀指令,所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí),使得所述處理器執(zhí)行交互控制方法的步驟。
上述交互控制方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備,在接收到訪客交互設(shè)備發(fā)送的圖像幀后,對(duì)該圖像幀進(jìn)行人臉識(shí)別得到訪客身份識(shí)別結(jié)果,即可得到與訪客進(jìn)行互動(dòng)的訪客交互內(nèi)容。再根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,即可確定訪客空間狀態(tài),并生成使得訪客交互設(shè)備向訪客移動(dòng)的趨向訪客移動(dòng)指令。在將訪客交互內(nèi)容與趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備后,訪客交互設(shè)備即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。而且,訪客交互設(shè)備發(fā)送圖像幀后,按照接收到的趨向訪客移動(dòng)指令與訪客交互內(nèi)容即可自動(dòng)完成與訪客的交互過(guò)程,極大地降低了訪客交互設(shè)備的集成難度與維護(hù)成本。
附圖說(shuō)明
圖1為一個(gè)實(shí)施例中交互控制方法的應(yīng)用環(huán)境圖;
圖2為一個(gè)實(shí)施例中用于實(shí)現(xiàn)交互控制方法的服務(wù)器的內(nèi)部結(jié)構(gòu)圖;
圖3為一個(gè)實(shí)施例中用于實(shí)現(xiàn)交互控制方法的電子設(shè)備的內(nèi)部結(jié)構(gòu)圖;
圖4為一個(gè)實(shí)施例中交互控制方法的流程示意圖;
圖5為另一個(gè)實(shí)施例中交互控制方法的流程示意圖;
圖6為一個(gè)實(shí)施例中實(shí)現(xiàn)交互控制方法的設(shè)備架構(gòu)圖;
圖7為一個(gè)實(shí)施例中交互控制方法的時(shí)序圖;
圖8為一個(gè)實(shí)施例中交互控制裝置的結(jié)構(gòu)框圖;
圖9為另一個(gè)實(shí)施例中交互控制裝置的結(jié)構(gòu)框圖;
圖10為再一個(gè)實(shí)施例中交互控制裝置的結(jié)構(gòu)框圖;
圖11為又一個(gè)實(shí)施例中交互控制裝置的結(jié)構(gòu)框圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
圖1為一個(gè)實(shí)施例中交互控制方法的應(yīng)用環(huán)境圖。參照?qǐng)D1,該交互控制方法應(yīng)用于交互控制系統(tǒng)。交互控制系統(tǒng)包括訪客交互設(shè)備110和服務(wù)器120,訪客交互設(shè)備110通過(guò)網(wǎng)絡(luò)與服務(wù)器120連接。訪客交互設(shè)備110是可移動(dòng)的、且具有交互功能的設(shè)備。訪客交互設(shè)備110具體可以是機(jī)器人等。服務(wù)器120具體可以是獨(dú)立的物理服務(wù)器,也可以是物理服務(wù)器集群。該交互控制方法可應(yīng)用于訪客交互設(shè)備110,也可應(yīng)用于服務(wù)器120。
圖2為一個(gè)實(shí)施例中電子設(shè)備的內(nèi)部結(jié)構(gòu)示意圖。如圖2所示,該電子設(shè)備包括通過(guò)系統(tǒng)總線連接的處理器、非易失性存儲(chǔ)介質(zhì)、內(nèi)存儲(chǔ)器和網(wǎng)絡(luò)接口、攝像頭、揚(yáng)聲器和顯示屏。其中,電子設(shè)備的非易失性存儲(chǔ)介質(zhì)存儲(chǔ)有操作系統(tǒng),還可存儲(chǔ)有計(jì)算機(jī)可讀指令,該計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí),可使得處理器實(shí)現(xiàn)一種交互控制方法。該處理器用于提供計(jì)算和控制能力,支撐整個(gè)電子設(shè)備的運(yùn)行。該內(nèi)存儲(chǔ)器中可儲(chǔ)存有計(jì)算機(jī)可讀指令,該計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí),可使得所述處理器執(zhí)行一種交互控制方法。網(wǎng)絡(luò)接口用于與服務(wù)器進(jìn)行網(wǎng)絡(luò)通信,如發(fā)送圖像幀至服務(wù)器,接收服務(wù)器返回的訪客身份識(shí)別結(jié)果等。電子設(shè)備的顯示屏可以是液晶顯示屏或者電子墨水顯示屏等。該電子設(shè)備可以是訪客交互設(shè)備110。本領(lǐng)域技術(shù)人員可以理解,圖2中示出的結(jié)構(gòu),僅僅是與本申請(qǐng)方案相關(guān)的部分結(jié)構(gòu)的框圖,并不構(gòu)成對(duì)本申請(qǐng)方案所應(yīng)用于其上的電子設(shè)備的限定,具體的電子設(shè)備可以包括比圖中所示更多或更少的部件,或者組合某些部件,或者具有不同的部件布置。
圖3為一個(gè)實(shí)施例中服務(wù)器的內(nèi)部結(jié)構(gòu)示意圖。如圖2所示,該服務(wù)器包括通過(guò)系統(tǒng)總線連接的處理器、非易失性存儲(chǔ)介質(zhì)、內(nèi)存儲(chǔ)器和網(wǎng)絡(luò)接口。其中,該服務(wù)器的非易失性存儲(chǔ)介質(zhì)存儲(chǔ)有操作系統(tǒng)和數(shù)據(jù)庫(kù),還可以存儲(chǔ)有計(jì)算機(jī)可讀指令,該計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí),可使得處理器實(shí)現(xiàn)一種服務(wù)器的一種交互控制方法。該服務(wù)器的處理器用于提供計(jì)算和控制能力,支撐整個(gè)服務(wù)器的運(yùn)行。該內(nèi)存儲(chǔ)器中可儲(chǔ)存有計(jì)算機(jī)可讀指令,該計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí),可使得所述處理器執(zhí)行一種交互控制方法。該服務(wù)器的網(wǎng)絡(luò)接口用于據(jù)以與外部的電子設(shè)備通過(guò)網(wǎng)絡(luò)連接通信,比如接收電子設(shè)備發(fā)送的圖像幀以及向電子設(shè)備返回訪客身份識(shí)別結(jié)果等。服務(wù)器可以用獨(dú)立的服務(wù)器或者是多個(gè)服務(wù)器組成的服務(wù)器集群來(lái)實(shí)現(xiàn)。本領(lǐng)域技術(shù)人員可以理解,圖3中示出的結(jié)構(gòu),僅僅是與本申請(qǐng)方案相關(guān)的部分結(jié)構(gòu)的框圖,并不構(gòu)成對(duì)本申請(qǐng)方案所應(yīng)用于其上的服務(wù)器的限定,具體的服務(wù)器可以包括比圖中所示更多或更少的部件,或者組合某些部件,或者具有不同的部件布置。
如圖4所示,在一個(gè)實(shí)施例中,提供了一種交互控制方法。本實(shí)施例主要以該方法應(yīng)用于上述圖1中的服務(wù)器120來(lái)舉例說(shuō)明。參照?qǐng)D4,該交互控制方法具體包括如下步驟:
s402,接收訪客交互設(shè)備發(fā)送的圖像幀。
其中,訪客交互設(shè)備是可移動(dòng)的、且具有交互功能的設(shè)備。訪客交互設(shè)備可以是通過(guò)自身配置的裝置移動(dòng),也可以是借助外部輔助裝置移動(dòng)。訪客交互設(shè)備可通過(guò)顯示屏提供基于畫面的交互功能,也可以通過(guò)揚(yáng)聲器提供基于聲音的交互功能。
在一個(gè)實(shí)施例中,訪客交互設(shè)備可通過(guò)攝像頭,在攝像頭當(dāng)前的視野下采集圖像幀,將采集得到的圖像幀按照實(shí)時(shí)傳輸協(xié)議發(fā)送至服務(wù)器,服務(wù)器接收訪客交互設(shè)備發(fā)送的圖像幀。其中,攝像頭的視野可因訪客交互設(shè)備的姿態(tài)和位置的變化而變化。
在一個(gè)實(shí)施例中,訪客交互設(shè)備具體可按照固定或動(dòng)態(tài)的幀率采集圖像幀,將采集得到的圖像幀發(fā)送至服務(wù)器,服務(wù)器接收訪客交互設(shè)備發(fā)送的圖像幀。其中,固定或動(dòng)態(tài)的幀率能夠使圖像幀按照該固定或動(dòng)態(tài)的幀率播放時(shí)形成連續(xù)的動(dòng)態(tài)畫面,以使服務(wù)器可追蹤連續(xù)的動(dòng)態(tài)畫面中的特定對(duì)象。
在一個(gè)實(shí)施例中,訪客交互設(shè)備可調(diào)用攝像頭開(kāi)啟攝像掃描模式,并實(shí)時(shí)掃描當(dāng)前的視野下的目標(biāo)對(duì)象,訪客交互設(shè)備可檢測(cè)當(dāng)前的視野下的畫面中是否存在人臉圖像,若是,則按照一定的幀率實(shí)時(shí)地生成圖像幀,將所生成的圖像幀發(fā)送至服務(wù)器,服務(wù)器接收訪客交互設(shè)備發(fā)送的圖像幀。
在一個(gè)實(shí)施例中,攝像頭可以是訪客交互設(shè)備內(nèi)置的攝像頭,或者外置的與訪客交互設(shè)備關(guān)聯(lián)的攝像頭。
s404,對(duì)圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果。
其中,訪客身份識(shí)別結(jié)果是用于反映訪客身份的數(shù)據(jù)。訪客身份可以是訪客的名字、社會(huì)地位或者職位信息等。具體地,服務(wù)器可在接收到訪客交互設(shè)備發(fā)送的圖像幀后,先檢測(cè)該圖像幀中是否存在人臉圖像,若是,則對(duì)該圖像幀中包括的人臉圖像進(jìn)行識(shí)別。
在一個(gè)實(shí)施例中,服務(wù)器可將接收到的圖像幀輸入一個(gè)或者一次輸入多個(gè)分類器,檢測(cè)該圖像幀中是否存在人臉圖像。其中,用于檢測(cè)圖像幀中是否存在人臉圖像的分類器,是以人臉圖像和非人臉圖像為訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練得到的分類器。
進(jìn)一步地,服務(wù)器還可使用一個(gè)矩形窗口,按照預(yù)設(shè)方向和預(yù)設(shè)步長(zhǎng)在圖像幀中移動(dòng),從而進(jìn)行窗口掃描,在掃描時(shí)提取掃描至的窗口圖像中人臉圖像。服務(wù)器可在提取人臉圖像單元后,過(guò)濾掉重疊區(qū)域超過(guò)預(yù)設(shè)重疊閾值的人臉圖像單元,根據(jù)過(guò)濾后保留的人臉圖像單元得到人臉圖像。
在一個(gè)實(shí)施例中,服務(wù)器上設(shè)置有訪客圖像庫(kù),訪客圖像庫(kù)中包括若干訪客圖像。服務(wù)器可在接收到訪客交互設(shè)備發(fā)送的圖像幀后,將接收到的圖像幀中的人臉圖像與訪客圖像庫(kù)中包括的訪客圖像比較,檢測(cè)接收到的圖像幀和訪客圖像之間是否匹配。服務(wù)器可在接收到的圖像幀和訪客圖像之間匹配時(shí),判定該圖像幀包括的人臉圖像與訪客圖像為相同的人物圖像,獲取該訪客圖像對(duì)應(yīng)的訪客身份信息作為訪客身份識(shí)別結(jié)果。
其中,訪客圖像可以是用于反映對(duì)應(yīng)訪客的真實(shí)人臉圖像??蓮脑L客所上傳的個(gè)人資料、歷史發(fā)表的圖片信息中,由對(duì)應(yīng)訪客自定義選取的圖像,或由系統(tǒng)自動(dòng)地分析選取的一張圖片,作為相應(yīng)的訪客圖像。
在一個(gè)實(shí)施例中,服務(wù)器在檢測(cè)接收到的圖像幀和訪客圖像之間是否匹配,具體可計(jì)算接收到的圖像幀和訪客圖像之間的相似度。服務(wù)器可先提取接收到的圖像幀和訪客圖像各自的特征,從而計(jì)算兩特征之間的差異,特征之間的差異越大則相似度越低,特征之間的差異越小則相似度越高。其中,服務(wù)器計(jì)算接收到的圖像幀和訪客圖像之間的相似度時(shí),可以采用適于圖像處理器的加速算法,提高運(yùn)算速率。
在一個(gè)實(shí)施例中,服務(wù)器可在接收到訪客交互設(shè)備發(fā)送的圖像幀后,提取圖像幀中的圖像數(shù)據(jù),并檢測(cè)該圖像數(shù)據(jù)是否包含人臉特征數(shù)據(jù)。若服務(wù)器檢測(cè)到該圖像數(shù)據(jù)中包含人臉特征數(shù)據(jù),則判定該圖像幀中包括人臉圖像。服務(wù)器可進(jìn)一步從該圖像數(shù)據(jù)中提取人臉特征數(shù)據(jù),再將提取的人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相對(duì)應(yīng)的人臉特征數(shù)據(jù)比較,得到訪客身份識(shí)別結(jié)果。
s406,獲取與訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容。
其中,訪客交互內(nèi)容是與訪客進(jìn)行交互的內(nèi)容。訪客交互內(nèi)容可以包括文本、圖片、音頻或者視頻中的至少一種。訪客交互內(nèi)容可以是統(tǒng)一設(shè)置的內(nèi)容,也可以是與訪客身份相關(guān)的內(nèi)容,還可以是與訪客屬性相關(guān)的內(nèi)容。
訪客身份識(shí)別結(jié)果與訪客交互內(nèi)容關(guān)聯(lián),用于標(biāo)記訪客交互內(nèi)容。通過(guò)訪客身份識(shí)別結(jié)果可定位到相關(guān)聯(lián)的訪客交互內(nèi)容。一個(gè)訪客身份識(shí)別結(jié)果可以關(guān)聯(lián)一個(gè)或者多個(gè)訪客交互內(nèi)容。多個(gè)訪客身份識(shí)別結(jié)果可以關(guān)聯(lián)一個(gè)訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,服務(wù)器可事先設(shè)置訪客交互內(nèi)容,并將訪客交互內(nèi)容與訪客標(biāo)識(shí)關(guān)聯(lián),再將設(shè)置的訪客交互內(nèi)容存儲(chǔ)在數(shù)據(jù)庫(kù)或者文件中,在需要時(shí)從數(shù)據(jù)庫(kù)或者文件中讀取。服務(wù)器在識(shí)別得到訪客身份識(shí)別結(jié)果后,可拉取該訪客身份識(shí)別結(jié)果對(duì)應(yīng)的訪客標(biāo)識(shí)所關(guān)聯(lián)的訪客交互內(nèi)容。該訪客交互內(nèi)容可以是直接可輸出的訪客交互內(nèi)容,也可以是待補(bǔ)全的訪客交互內(nèi)容模板。
在一個(gè)實(shí)施例中,服務(wù)器上存儲(chǔ)有訪客數(shù)據(jù)。該訪客數(shù)據(jù)可以是訪客或者管理員上傳的訪客個(gè)人信息,也可以是服務(wù)器從互聯(lián)網(wǎng)上爬取的訪客互聯(lián)網(wǎng)數(shù)據(jù)。訪客互聯(lián)網(wǎng)數(shù)據(jù)比如,訪客在發(fā)微博消息場(chǎng)景下產(chǎn)生的微博消息以及評(píng)論場(chǎng)景下產(chǎn)生的評(píng)論信息等。
進(jìn)一步地,服務(wù)器具體可對(duì)訪客數(shù)據(jù)進(jìn)行語(yǔ)義分析或者詞頻分析,查找出能夠代表訪客的關(guān)鍵詞,從而根據(jù)該關(guān)鍵詞形成訪客標(biāo)簽。具體可再對(duì)關(guān)鍵詞進(jìn)行聚類,將獲得的每一類作為一個(gè)訪客標(biāo)簽;或者可將關(guān)鍵詞與已經(jīng)分類的訪客標(biāo)簽比較,從而將關(guān)鍵詞映射到訪客標(biāo)簽。訪客標(biāo)簽是對(duì)訪客的畫像,是訪客的特有標(biāo)識(shí)。訪客畫像是針對(duì)服務(wù)目標(biāo)群體真實(shí)特征的勾勒,是真實(shí)訪客的綜合原型。
更進(jìn)一步地,服務(wù)器可對(duì)應(yīng)于訪客標(biāo)簽設(shè)置訪客交互內(nèi)容。服務(wù)器在識(shí)別得到訪客身份識(shí)別結(jié)果后,可拉取該訪客身份識(shí)別結(jié)果對(duì)應(yīng)的訪客標(biāo)簽所關(guān)聯(lián)的訪客交互內(nèi)容。
s408,根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,確定訪客空間狀態(tài)。
其中,預(yù)設(shè)人臉模板是預(yù)先設(shè)置的參照人臉圖像。預(yù)設(shè)人臉模板可以是將參照自然人的人臉置于訪客交互設(shè)備攝像頭視野下的畫面中心位置采集的圖像。訪客空間狀態(tài)是訪客在三維空間中的狀態(tài),包括物理位置與姿態(tài)等。
具體地,服務(wù)器在對(duì)圖像幀中包括的人臉圖像進(jìn)行識(shí)別后,將識(shí)別完成的人臉圖像與預(yù)設(shè)人臉模板進(jìn)行比較,計(jì)算圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量。服務(wù)器在計(jì)算圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量時(shí),可先提取人臉圖像和預(yù)設(shè)人臉模板各自的特征,從而計(jì)算兩特征之間的差異量。服務(wù)器在計(jì)算得到圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量后,再根據(jù)該差異量得到訪客空間狀態(tài)。
s410,根據(jù)訪客空間狀態(tài)生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
其中,適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令用于驅(qū)使訪客交互設(shè)備向訪客移動(dòng)。趨向訪客移動(dòng)指令是已經(jīng)經(jīng)過(guò)轉(zhuǎn)化得到的、且能夠被相適配的設(shè)備對(duì)象直接執(zhí)行的指令。
具體地,服務(wù)器在確定圖像幀中識(shí)別出身份的人臉圖像所對(duì)應(yīng)的訪客空間狀態(tài)后,可根據(jù)該訪客空間狀態(tài)確定訪客交互設(shè)備移動(dòng)至訪客的移動(dòng)路徑,并確定訪客交互設(shè)備下一步行動(dòng)的行進(jìn)數(shù)據(jù)。該行進(jìn)數(shù)據(jù)可包括行進(jìn)方向和行進(jìn)速度等。服務(wù)器可再根據(jù)與訪客交互設(shè)備相適配的指令編譯協(xié)議,將確定的行進(jìn)數(shù)據(jù)轉(zhuǎn)化為適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,服務(wù)器可接收訪客交互設(shè)備連續(xù)發(fā)送的圖像幀序列,并在對(duì)圖像幀中的人臉圖像完成身份識(shí)別后,在圖像幀序列中追蹤識(shí)別成功的該人臉圖像,并對(duì)圖像幀序列中的各圖像幀確定對(duì)應(yīng)的訪客空間狀態(tài),根據(jù)該訪客空間狀態(tài)相應(yīng)調(diào)整移動(dòng)路徑,再根據(jù)移動(dòng)路徑相應(yīng)調(diào)整趨向訪客移動(dòng)指令。
s412,將訪客交互內(nèi)容和趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備,使得訪客交互設(shè)備執(zhí)行趨向訪客移動(dòng)指令,并輸出訪客交互內(nèi)容。
具體地,服務(wù)器可將獲取的訪客交互內(nèi)容和生成的趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備。訪客交互設(shè)備在接收到訪客交互內(nèi)容和趨向訪客移動(dòng)指令后,按照趨向訪客移動(dòng)指令趨向訪客移動(dòng),并輸出訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,訪客交互設(shè)備可調(diào)用顯示屏輸出訪客交互內(nèi)容。訪客交互內(nèi)容比如文本、圖片或者視頻等。訪客交互設(shè)備還可以獲取訪客交互內(nèi)容對(duì)應(yīng)的樣式數(shù)據(jù),從而按照該樣式數(shù)據(jù),在顯示屏中展示訪客交互內(nèi)容。訪客交互設(shè)備也可以調(diào)用揚(yáng)聲器輸出訪客交互內(nèi)容。訪客交互內(nèi)容比如音頻等。
上述交互控制方法,在接收到訪客交互設(shè)備發(fā)送的圖像幀后,對(duì)該圖像幀進(jìn)行人臉識(shí)別得到訪客身份識(shí)別結(jié)果,即可得到與訪客進(jìn)行互動(dòng)的訪客交互內(nèi)容。再根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,即可確定訪客空間狀態(tài),并生成使得訪客交互設(shè)備向訪客移動(dòng)的趨向訪客移動(dòng)指令。在將訪客交互內(nèi)容與趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備后,訪客交互設(shè)備即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。而且,訪客交互設(shè)備發(fā)送圖像幀后,按照接收到的趨向訪客移動(dòng)指令與訪客交互內(nèi)容即可自動(dòng)完成與訪客的交互過(guò)程,極大地降低了訪客交互設(shè)備的集成難度與維護(hù)成本。
在一個(gè)實(shí)施例中,步驟s404包括:提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像;根據(jù)訪客圖像得到訪客身份識(shí)別結(jié)果。
具體地,服務(wù)器上存儲(chǔ)有訪客圖像庫(kù)。訪客圖像庫(kù)包括若干訪客圖像,每幀訪客圖像對(duì)應(yīng)存儲(chǔ)有訪客標(biāo)識(shí)。訪客標(biāo)識(shí)用于唯一標(biāo)識(shí)一個(gè)訪客。
在一個(gè)實(shí)施例中,該交互控制方法中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù)的步驟包括:將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取神經(jīng)網(wǎng)絡(luò)模型輸出的與圖像幀相應(yīng)的特征圖;根據(jù)特征圖確定圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù)。
服務(wù)器可將訪客圖像庫(kù)中包括的訪客圖像逐一輸入神經(jīng)網(wǎng)絡(luò)模型,獲取該神經(jīng)網(wǎng)絡(luò)模型輸出的特征圖,從該特征圖中提取訪客圖像相應(yīng)的人臉特征數(shù)據(jù),將訪客圖像對(duì)應(yīng)于提取的人臉特征數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)或者文件中。服務(wù)器可在需要進(jìn)行身份識(shí)別時(shí),將訪客交互設(shè)備發(fā)送的圖像幀輸入該神經(jīng)網(wǎng)絡(luò)模型,根據(jù)輸出的特征圖提取人臉特征數(shù)據(jù),再?gòu)臄?shù)據(jù)庫(kù)或者文件中讀取訪客圖像相應(yīng)的人臉特征數(shù)據(jù)進(jìn)行對(duì)比。
其中,神經(jīng)網(wǎng)絡(luò)模型是由多層互相連接而形成的復(fù)雜網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)模型可包括多層特征轉(zhuǎn)換層,每層特征轉(zhuǎn)換層都有對(duì)應(yīng)的非線性變化算子,每層的非線性變化算子可以是多個(gè),每層特征轉(zhuǎn)換層中一個(gè)非線性變化算子對(duì)輸入的圖像進(jìn)行非線性變化,得到特征圖(featuremap)作為運(yùn)算結(jié)果。該神經(jīng)網(wǎng)絡(luò)模型是以包括人臉圖像的圖像作為訓(xùn)練數(shù)據(jù),進(jìn)行學(xué)習(xí)訓(xùn)練得到的模型。
服務(wù)器可以獲取最后一層網(wǎng)絡(luò)層輸出的特征圖。特征圖是由非線性變化算子對(duì)輸入的圖像進(jìn)行處理得到的響應(yīng)值構(gòu)成的。服務(wù)器可根據(jù)該特征圖確定輸入的圖像相應(yīng)的人臉特征數(shù)據(jù)。人臉特征數(shù)據(jù)可以是用于反映出人的性別、人臉的輪廓、發(fā)型、眼鏡、鼻子、嘴以及各個(gè)臉部器官之間的距離等其中的一種或多種特征信息。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:確定圖像幀中包括的人臉圖像占圖像幀的占比,提取占比超過(guò)預(yù)設(shè)占比的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
具體地,服務(wù)器可識(shí)別出圖像幀中的每個(gè)人臉圖像所包含的像素點(diǎn)的數(shù)量,并檢測(cè)該像素點(diǎn)的數(shù)量在整個(gè)圖像幀所包含的像素點(diǎn)中的占比,得到該人臉圖像在圖像幀上的占比,再將該占比與預(yù)設(shè)占比進(jìn)行比較。服務(wù)器可在占比超過(guò)預(yù)設(shè)占比的人臉圖像判定為符合條件的人臉圖像,提取該人臉圖像的人臉特征數(shù)據(jù)。
服務(wù)器還可檢測(cè)圖像幀中的每個(gè)人臉圖像的清晰度是否超過(guò)預(yù)設(shè)的清晰度閾值。其中,該清晰度用于反映相應(yīng)圖像幀中人臉圖像各細(xì)部影紋及其邊界的清晰程度。服務(wù)器可將選取的圖像幀轉(zhuǎn)化為灰度圖像,檢測(cè)灰度圖像的灰度變化率,根據(jù)灰度變化率確定清晰度。處灰度變化越快,表示清晰度越高;處灰度變化越慢,表示清晰度越低。
在一個(gè)實(shí)施例中,服務(wù)器還可以提取圖像幀中人臉圖像的特征點(diǎn),提取特征點(diǎn)的數(shù)量超過(guò)預(yù)設(shè)的特征點(diǎn)數(shù)量閾值的人臉圖像的人臉特征數(shù)據(jù)。其中,特征點(diǎn)是圖像幀中人臉圖像具有鮮明特性并能夠有效反映圖像本質(zhì)特征的點(diǎn),該特征點(diǎn)具有標(biāo)識(shí)人臉特征的能力。比如,臉部器官相應(yīng)的特征點(diǎn)等。特征點(diǎn)數(shù)量閾值可根據(jù)需要設(shè)置。
上述實(shí)施例中,當(dāng)檢測(cè)到人臉圖像占圖像幀的占比超過(guò)預(yù)設(shè)比例和/或清晰度超過(guò)預(yù)設(shè)的清晰度閾值時(shí),提取該人臉圖像的人臉特征數(shù)據(jù),從而保證了所提取的人臉特征數(shù)據(jù)的質(zhì)量。
在一個(gè)實(shí)施例中,根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像的步驟包括:將人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與人臉圖像相匹配的訪客圖像。
服務(wù)器在將訪客交互設(shè)備發(fā)送的圖像幀相應(yīng)的人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較時(shí),可計(jì)算兩人臉特征數(shù)據(jù)之間的差異,人臉特征數(shù)據(jù)之間的差異越大則相似度越低,人臉特征數(shù)據(jù)之間的差異越小則相似度越高。相似度可采用余弦相似度或者圖像間各自感知哈希值的漢明距離。
在本實(shí)施例中,通過(guò)神經(jīng)網(wǎng)絡(luò)模型提取人臉圖像的人臉特征數(shù)據(jù),再通過(guò)相應(yīng)的人臉特征數(shù)據(jù)之間的相似度來(lái)為訪客交互設(shè)備發(fā)送的圖像幀中的人臉圖像匹配訪客圖像,使得訪客身份識(shí)別結(jié)果更加準(zhǔn)確。
服務(wù)器在根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像后,可獲取與該訪客圖像存在對(duì)應(yīng)關(guān)系的訪客標(biāo)識(shí),從而將該訪客標(biāo)識(shí)作為與訪客交互設(shè)備發(fā)送的圖像幀中的人臉圖像相對(duì)應(yīng)的訪客身份識(shí)別結(jié)果。
上述實(shí)施例中,以人臉特征數(shù)據(jù)作為依據(jù)進(jìn)行訪客身份識(shí)別,將從接收到的圖像幀中提取的人臉特征圖像與反映訪客真實(shí)人臉的訪客圖像進(jìn)行匹配已完成身份識(shí)別,保證了訪客身份識(shí)別的準(zhǔn)確性。
在一個(gè)實(shí)施例中,步驟s406包括:根據(jù)所述訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與所述訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合所述訪客身份識(shí)別結(jié)果與所述訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
其中,訪客屬性是用于反映訪客特征的數(shù)據(jù)。訪客屬性比如訪客性別或者訪客社會(huì)地位等。訪客交互內(nèi)容模板是預(yù)先設(shè)置的用于生成訪客交互內(nèi)容的模板。比如,文本類型的訪客交互內(nèi)容相應(yīng)的訪客交互內(nèi)容模板可以是文本樣式等。
具體地,服務(wù)器可事先設(shè)置訪客交互內(nèi)容模板。該訪客交互內(nèi)容模板可以是統(tǒng)一的模板,比如“xxx,歡迎光臨!”;訪客交互內(nèi)容模板也可以是相應(yīng)于訪客屬性設(shè)置個(gè)性化的訪客交互內(nèi)容模板。訪客交互內(nèi)容模板可以是文本模板、音頻模板或者視頻模板等。
服務(wù)器在獲取到訪客身份識(shí)別結(jié)果后,根據(jù)該訪客身份識(shí)別結(jié)果獲取相對(duì)應(yīng)的訪客數(shù)據(jù),根據(jù)該訪客數(shù)據(jù)提取訪客屬性,再查找與該訪客屬性存在對(duì)應(yīng)關(guān)系的訪客交互內(nèi)容模板,將訪客身份識(shí)別結(jié)果,添加到查找到的訪客交互內(nèi)容模板中,生成訪客交互內(nèi)容。
舉例說(shuō)明,服務(wù)器識(shí)別出圖像幀中的人臉圖像相應(yīng)的訪客數(shù)據(jù)為:姓名“abc”,性別為“女”,訪客屬性相關(guān)的訪客交互內(nèi)容模板為“x女士,歡迎光臨!”,那么訪客交互內(nèi)容為“a女士,歡迎光臨!”。
在本實(shí)施例中,根據(jù)訪客屬性動(dòng)態(tài)生成個(gè)性化的訪客交互內(nèi)容,使得與訪客的交互內(nèi)容更豐富,交互內(nèi)容呈現(xiàn)方式多樣化。
在一個(gè)實(shí)施例中,交互控制方法中訪客空間狀態(tài)包括訪客深度距離和訪客朝向。步驟s408包括:根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。
具體地,預(yù)設(shè)人臉模板是預(yù)先設(shè)置的參照人臉圖像。預(yù)設(shè)人臉模板可以是將參照自然人的人臉置于訪客交互設(shè)備攝像頭視野下的畫面中心位置采集的圖像。訪客深度距離是訪客在自然空間中距離攝像頭的距離。訪客朝向用于反映訪客相對(duì)于攝像頭的方位。訪客朝向具體可以是訪客面部朝向。
服務(wù)器可預(yù)先檢測(cè)該預(yù)設(shè)人臉模板中人臉輪廓大小,該預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度,以及采集該預(yù)設(shè)人臉模板時(shí)參考人距離攝像頭的距離,并將得到的人臉輪廓大小、人臉偏轉(zhuǎn)角度與距離存儲(chǔ)。
服務(wù)器可在對(duì)圖像幀中包括的人臉圖像完成身份識(shí)別后,檢測(cè)該人臉圖像的人臉輪廓大小,將該人臉輪廓大小與預(yù)設(shè)人臉模板的人臉輪廓大小進(jìn)行對(duì)比,基于光學(xué)成像的計(jì)算模型計(jì)算訪客深度距離,即該人臉圖像對(duì)應(yīng)的自然人距離攝像頭的距離。
服務(wù)器還可檢測(cè)該人臉圖像的人臉偏轉(zhuǎn)角度,將該人臉偏轉(zhuǎn)角度與預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度對(duì)比,確定該人臉圖像相對(duì)于預(yù)設(shè)人臉模板的差異量,根據(jù)該差異量確定人臉圖像相對(duì)于預(yù)設(shè)人臉模板的偏轉(zhuǎn)角度,從而得到訪客朝向,即人臉圖像對(duì)應(yīng)的自然人相對(duì)于攝像頭的方位。
在本實(shí)施例中,以預(yù)設(shè)人臉模板所反映的自然人空間狀態(tài)為標(biāo)準(zhǔn),將圖像幀中包括的人臉圖像與預(yù)設(shè)人臉模板進(jìn)行對(duì)比,得到較為準(zhǔn)確的訪客空間狀態(tài),來(lái)實(shí)現(xiàn)根據(jù)訪客空間狀態(tài)對(duì)訪客交互設(shè)備的趨向訪客行動(dòng)規(guī)劃。
在一個(gè)實(shí)施例中,步驟s410包括:提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖;在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)移動(dòng)路徑生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
其中,障礙物分布地圖的表示方式可以是柵格表示方式、幾何信息表示方式或者拓?fù)浔硎痉绞降?。在一個(gè)實(shí)施例中,服務(wù)器可將圖像幀中環(huán)境圖像的障礙物信息離散數(shù)值化生成數(shù)字柵格地圖。具體地,服務(wù)器可使用一個(gè)矩形窗口,按照預(yù)設(shè)方向和預(yù)設(shè)步長(zhǎng)在圖像幀中移動(dòng),從而進(jìn)行窗口掃描,在掃描時(shí)提取掃描至的窗口圖像中障礙物信息,并將該障礙物信息數(shù)值化,得到與窗口圖像一一對(duì)應(yīng)的障礙物量化系數(shù),形成數(shù)字柵格地圖。該窗口圖像即為一個(gè)柵格單元,每個(gè)柵格單元對(duì)應(yīng)一個(gè)障礙物量化系數(shù)。該障礙物量化系數(shù)用于反映該柵格單元存在障礙物的可信度。數(shù)值越高表示該柵格單元存在障礙物的可能性越大。
服務(wù)器在生成障礙物分布地圖后,可再根據(jù)訪客空間狀態(tài)確定終點(diǎn)位置以及訪客交互設(shè)備在到達(dá)終端位置時(shí)的朝向。服務(wù)器再?gòu)恼系K物分布地圖中選取到達(dá)終點(diǎn)位置的移動(dòng)路徑。具體地,服務(wù)器可以根據(jù)數(shù)字柵格地圖包括的柵格單元對(duì)應(yīng)的障礙物量化系數(shù),選取連續(xù)的、且對(duì)應(yīng)的障礙物量化系數(shù)小的柵格單元,形成移動(dòng)路徑。
服務(wù)器可再根據(jù)移動(dòng)路徑,確定訪客交互設(shè)備下一步行動(dòng)的行進(jìn)數(shù)據(jù)。該行進(jìn)數(shù)據(jù)可包括行進(jìn)方向和行進(jìn)速度等。服務(wù)器可再根據(jù)與訪客交互設(shè)備相適配的指令編譯協(xié)議,將確定的行進(jìn)數(shù)據(jù)轉(zhuǎn)化為適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,服務(wù)器可接收訪客交互設(shè)備連續(xù)發(fā)送的圖像幀序列,并在對(duì)圖像幀中包括的人臉圖像完成身份識(shí)別后,在圖像幀序列中追蹤識(shí)別成功的該人臉圖像,并對(duì)圖像幀序列中的各圖像幀確定對(duì)應(yīng)的訪客空間狀態(tài),并根據(jù)該訪客空間狀態(tài)相應(yīng)調(diào)整移動(dòng)路徑。
在本實(shí)施例中,通過(guò)生成的障礙物分布地圖進(jìn)行路徑規(guī)劃,保證了對(duì)訪客交互設(shè)備趨向訪客運(yùn)動(dòng)的路徑規(guī)劃和避障的準(zhǔn)確性。
在一個(gè)實(shí)施例中,步驟s412之后,該交互控制方法還包括:獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);建立訪客交互設(shè)備與交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備之間的通信連接。
其中,交互指令用于觸發(fā)進(jìn)行交互的指令。交互對(duì)象標(biāo)識(shí)用于唯一標(biāo)識(shí)一個(gè)交互對(duì)象。交互對(duì)象具體可以是第三方用戶也可以是第三方服務(wù)設(shè)備等。
具體地,服務(wù)器中可存儲(chǔ)有與訪客相應(yīng)的訪客圖像和來(lái)訪事項(xiàng)。服務(wù)器可在對(duì)接收到的圖像幀中包括的人臉圖像身份識(shí)別成功之后,查詢與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的來(lái)訪事項(xiàng),并在查詢到來(lái)訪事項(xiàng)后,觸發(fā)交互指令。來(lái)訪事項(xiàng)比如,與第三方用戶進(jìn)行語(yǔ)音通話或者與第三方服務(wù)設(shè)備進(jìn)行數(shù)據(jù)傳輸?shù)取?/p>
舉例說(shuō)明,服務(wù)器在對(duì)訪客進(jìn)行身份識(shí)別并確認(rèn)該訪客為事先預(yù)定來(lái)訪的人員后,可確定該訪客需要訪問(wèn)的交互對(duì)象。服務(wù)器可建立訪客交互設(shè)備與交互對(duì)象對(duì)應(yīng)的終端的通話鏈接,使得訪客可直接通過(guò)訪客交互設(shè)備與被訪問(wèn)的交互對(duì)象進(jìn)行交互。服務(wù)器也可將被訪問(wèn)的交互對(duì)象的聯(lián)系方式發(fā)送至訪客交互設(shè)備,通過(guò)訪客交互設(shè)備向用戶展示。
在一個(gè)實(shí)施例中,訪客交互設(shè)備還包括聲音采集設(shè)備。在服務(wù)器建立訪客交互設(shè)備與交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備之間的通信連接后,訪客交互設(shè)備可調(diào)用聲音采集設(shè)備采集訪客音頻數(shù)據(jù),將采集到的音頻數(shù)據(jù)發(fā)送至服務(wù)器進(jìn)行響應(yīng)。
在本實(shí)施例中,根據(jù)訪客身份識(shí)別結(jié)果即可自動(dòng)發(fā)起的交互指令,為訪客提供第三方服務(wù),提高了訪客交互設(shè)備的實(shí)用性與服務(wù)覆蓋范圍。
如圖5所示,在一個(gè)實(shí)施例中,提供了一種交互控制方法。本實(shí)施例主要以該方法應(yīng)用于上述圖2中的電子設(shè)備來(lái)舉例說(shuō)明。參照?qǐng)D5,該交互控制方法具體包括如下步驟:
s502,采集圖像幀。
在一個(gè)實(shí)施例中,電子設(shè)備可通過(guò)攝像頭,在攝像頭當(dāng)前的視野下采集圖像幀,獲取采集得到的圖像幀。其中,攝像頭的視野可因訪客交互設(shè)備的姿態(tài)和位置的變化而變化。
在一個(gè)實(shí)施例中,電子設(shè)備具體可按照固定或動(dòng)態(tài)的幀率采集圖像幀,獲取采集得到的圖像幀。其中,固定或動(dòng)態(tài)的幀率能夠使圖像幀按照該固定或動(dòng)態(tài)的幀率播放時(shí)形成連續(xù)的動(dòng)態(tài)畫面,以使電子設(shè)備可追蹤連續(xù)的動(dòng)態(tài)畫面中的特定對(duì)象。
在一個(gè)實(shí)施例中,電子設(shè)備可調(diào)用攝像頭開(kāi)啟攝像掃描模式,并實(shí)時(shí)掃描當(dāng)前的視野下的目標(biāo)對(duì)象,電子設(shè)備可檢測(cè)當(dāng)前的視野下的畫面中是否存在人臉圖像,若是,則按照一定的幀率實(shí)時(shí)地生成圖像幀,獲取生成的圖像幀。
s504,根據(jù)圖像幀,獲取與對(duì)圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,電子設(shè)備可將采集到的圖像幀輸入一個(gè)或者一次輸入多個(gè)分類器,檢測(cè)該圖像幀中是否存在人臉圖像。其中,用于檢測(cè)圖像幀中是否存在人臉圖像的分類器,是以人臉圖像和非人臉圖像為訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練得到的分類器。
進(jìn)一步地,電子設(shè)備還可使用一個(gè)矩形窗口,按照預(yù)設(shè)方向和預(yù)設(shè)步長(zhǎng)在圖像幀中移動(dòng),從而進(jìn)行窗口掃描,在掃描時(shí)提取掃描至的窗口圖像中人臉圖像。電子設(shè)備可在提取人臉圖像單元后,過(guò)濾掉重疊區(qū)域超過(guò)預(yù)設(shè)重疊閾值的人臉圖像單元,根據(jù)過(guò)濾后保留的人臉圖像單元得到人臉圖像。
在一個(gè)實(shí)施例中,電子設(shè)備上設(shè)置有訪客圖像庫(kù),訪客圖像庫(kù)中包括若干訪客圖像。電子設(shè)備可在獲取采集的圖像幀后,將采集的圖像幀中包括的人臉圖像與訪客圖像庫(kù)中包括的訪客圖像比較,檢測(cè)采集的圖像幀和訪客圖像之間是否匹配。電子設(shè)備可在采集的圖像幀和訪客圖像之間匹配時(shí),判定該圖像幀包括的人臉圖像與訪客圖像為相同的人物圖像,獲取該訪客圖像對(duì)應(yīng)的訪客身份信息作為訪客身份識(shí)別結(jié)果。
在一個(gè)實(shí)施例中,電子設(shè)備在檢測(cè)采集的圖像幀和訪客圖像之間是否匹配,具體可計(jì)算采集的圖像幀和訪客圖像之間的相似度。電子設(shè)備可先提取采集的圖像幀和訪客圖像各自的特征,從而計(jì)算兩特征之間的差異,特征之間的差異越大則相似度越低,特征之間的差異越小則相似度越高。
在一個(gè)實(shí)施例中,電子設(shè)備可在獲取采集的圖像幀后,提取圖像幀中包括的圖像數(shù)據(jù),并檢測(cè)該圖像數(shù)據(jù)是否包含人臉特征數(shù)據(jù)。若電子設(shè)備檢測(cè)到該圖像數(shù)據(jù)中包含人臉特征數(shù)據(jù),則判定該圖像幀中包括人臉圖像。電子設(shè)備可進(jìn)一步從該圖像數(shù)據(jù)中提取人臉特征數(shù)據(jù),再將提取的人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相對(duì)應(yīng)的人臉特征數(shù)據(jù)比較,得到訪客身份識(shí)別結(jié)果。
在一個(gè)實(shí)施例中,電子設(shè)備在識(shí)別得到訪客身份識(shí)別結(jié)果后,可拉取該訪客身份識(shí)別結(jié)果對(duì)應(yīng)的訪客標(biāo)識(shí)所關(guān)聯(lián)的訪客交互內(nèi)容。該訪客交互內(nèi)容可以是直接可輸出的訪客交互內(nèi)容,也可以是待補(bǔ)全的訪客交互內(nèi)容模板。
在一個(gè)實(shí)施例中,電子設(shè)備上存儲(chǔ)有訪客數(shù)據(jù)。該訪客數(shù)據(jù)可以是訪客或者管理員上傳的訪客個(gè)人信息,也可以是電子設(shè)備從互聯(lián)網(wǎng)上爬取的訪客互聯(lián)網(wǎng)數(shù)據(jù)。進(jìn)一步地,電子設(shè)備具體可對(duì)訪客數(shù)據(jù)進(jìn)行語(yǔ)義分析或者詞頻分析,查找出能夠代表訪客的關(guān)鍵詞,從而根據(jù)該關(guān)鍵詞形成訪客標(biāo)簽。電子設(shè)備可對(duì)應(yīng)于訪客標(biāo)簽設(shè)置訪客交互內(nèi)容。電子設(shè)備在識(shí)別得到訪客身份識(shí)別結(jié)果后,可拉取該訪客身份識(shí)別結(jié)果對(duì)應(yīng)的訪客標(biāo)簽所關(guān)聯(lián)的訪客交互內(nèi)容。
s506,根據(jù)圖像幀獲取趨向訪客移動(dòng)指令;趨向訪客移動(dòng)指令根據(jù)訪客空間狀態(tài)生成,訪客空間狀態(tài)根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量確定。
在一個(gè)實(shí)施例中,電子設(shè)備在對(duì)圖像幀中包括的人臉圖像進(jìn)行識(shí)別后,將識(shí)別完成的人臉圖像與預(yù)設(shè)人臉模板進(jìn)行比較,計(jì)算圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量。電子設(shè)備在計(jì)算圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量時(shí),可先提取人臉圖像和預(yù)設(shè)人臉模板各自的特征,從而計(jì)算兩特征之間的差異量。電子設(shè)備在計(jì)算得到圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量后,再根據(jù)該差異量得到訪客空間狀態(tài)。
在一個(gè)實(shí)施例中,電子設(shè)備在確定圖像幀中識(shí)別出身份的人臉圖像所對(duì)應(yīng)的訪客空間狀態(tài)后,可根據(jù)該訪客空間狀態(tài)確定訪客交互設(shè)備移動(dòng)至訪客的移動(dòng)路徑,并確定訪客交互設(shè)備下一步行動(dòng)的行進(jìn)數(shù)據(jù)。該行進(jìn)數(shù)據(jù)可包括行進(jìn)方向和行進(jìn)速度等。電子設(shè)備可再根據(jù)與訪客交互設(shè)備相適配的指令編譯協(xié)議,將確定的行進(jìn)數(shù)據(jù)轉(zhuǎn)化為趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,電子設(shè)備可連續(xù)采集圖像幀,并在對(duì)圖像幀中包括的人臉圖像完成身份識(shí)別后,在圖像幀序列中追蹤識(shí)別成功的該人臉圖像,并對(duì)圖像幀序列中的各圖像幀確定對(duì)應(yīng)的訪客空間狀態(tài),根據(jù)該訪客空間狀態(tài)相應(yīng)調(diào)整移動(dòng)路徑,再根據(jù)移動(dòng)路徑相應(yīng)調(diào)整趨向訪客移動(dòng)指令。
s508,按照趨向訪客移動(dòng)指令移動(dòng),并輸出訪客交互內(nèi)容。
具體地,電子設(shè)備在獲取到訪客交互內(nèi)容和趨向訪客移動(dòng)指令后,按照趨向訪客移動(dòng)指令趨向訪客移動(dòng),并輸出訪客交互內(nèi)容。
上述交互控制方法,在采集到圖像幀后,就可以自動(dòng)地獲取與對(duì)該圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,以及根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量所確定的訪客空間狀態(tài)生成的趨向訪客移動(dòng)指令。這樣本地即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。
在一個(gè)實(shí)施例中,上述交互控制方法中根據(jù)圖像幀,獲取與對(duì)圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容的步驟包括:提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像;根據(jù)訪客圖像得到訪客身份識(shí)別結(jié)果;獲取與訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容。
具體地,電子設(shè)備上存儲(chǔ)有訪客圖像庫(kù)。訪客圖像庫(kù)包括若干訪客圖像,每幀訪客圖像對(duì)應(yīng)存儲(chǔ)有訪客標(biāo)識(shí)。訪客標(biāo)識(shí)用于唯一標(biāo)識(shí)一個(gè)訪客。
在一個(gè)實(shí)施例中,上述交互控制方法中提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù)的步驟包括:將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取神經(jīng)網(wǎng)絡(luò)模型輸出的與圖像幀相應(yīng)的特征圖;根據(jù)特征圖確定圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù)。
電子設(shè)備可將訪客圖像庫(kù)中包括的訪客圖像逐一輸入神經(jīng)網(wǎng)絡(luò)模型,獲取該神經(jīng)網(wǎng)絡(luò)模型輸出的特征圖,從該特征圖中提取訪客圖像相應(yīng)的人臉特征數(shù)據(jù),將訪客圖像對(duì)應(yīng)于提取的人臉特征數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)或者文件中。電子設(shè)備可將采集的圖像幀輸入該神經(jīng)網(wǎng)絡(luò)模型,根據(jù)輸出的特征圖提取人臉特征數(shù)據(jù),再?gòu)臄?shù)據(jù)庫(kù)或者文件中讀取訪客圖像相應(yīng)的人臉特征數(shù)據(jù)進(jìn)行對(duì)比。
電子設(shè)備可以獲取最后一層網(wǎng)絡(luò)層輸出的特征圖。特征圖是由非線性變化算子對(duì)輸入的圖像進(jìn)行處理得到的響應(yīng)值構(gòu)成的。電子設(shè)備可根據(jù)該特征圖確定輸入的圖像相應(yīng)的人臉特征數(shù)據(jù)。
在一個(gè)實(shí)施例中,上述交互控制方法中提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:確定圖像幀中包括的人臉圖像占圖像幀的占比,提取占比超過(guò)預(yù)設(shè)占比的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
具體地,電子設(shè)備可識(shí)別出圖像幀中的每個(gè)人臉圖像所包含的像素點(diǎn)的數(shù)量,并檢測(cè)該像素點(diǎn)的數(shù)量在整個(gè)圖像幀所包含的像素點(diǎn)中的占比,得到該人臉圖像在圖像幀上的占比,再將該占比與預(yù)設(shè)占比進(jìn)行比較。電子設(shè)備可在占比超過(guò)預(yù)設(shè)占比的人臉圖像判定為符合條件的人臉圖像,提取該人臉圖像的人臉特征數(shù)據(jù)。
電子設(shè)備還可檢測(cè)圖像幀中的每個(gè)人臉圖像的清晰度是否超過(guò)預(yù)設(shè)的清晰度閾值。其中,該清晰度用于反映相應(yīng)圖像幀中人臉圖像各細(xì)部影紋及其邊界的清晰程度。電子設(shè)備可將選取的圖像幀轉(zhuǎn)化為灰度圖像,檢測(cè)灰度圖像的灰度變化率,根據(jù)灰度變化率確定清晰度。處灰度變化越快,表示清晰度越高;處灰度變化越慢,表示清晰度越低。
在一個(gè)實(shí)施例中,電子設(shè)備還可以提取圖像幀中人臉圖像的特征點(diǎn),提取特征點(diǎn)的數(shù)量超過(guò)預(yù)設(shè)的特征點(diǎn)數(shù)量閾值的人臉圖像的人臉特征數(shù)據(jù)。其中,特征點(diǎn)是圖像幀中人臉圖像具有鮮明特性并能夠有效反映圖像本質(zhì)特征的點(diǎn),該特征點(diǎn)具有標(biāo)識(shí)人臉特征的能力。比如,臉部器官相應(yīng)的特征點(diǎn)等。特征點(diǎn)數(shù)量閾值可根據(jù)需要設(shè)置。
上述實(shí)施例中,當(dāng)檢測(cè)到人臉圖像占圖像幀的占比超過(guò)預(yù)設(shè)比例和/或清晰度超過(guò)預(yù)設(shè)的清晰度閾值時(shí),提取該人臉圖像的人臉特征數(shù)據(jù),從而保證了所提取的人臉特征數(shù)據(jù)的質(zhì)量。
在一個(gè)實(shí)施例中,上述交互控制方法中根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像的步驟包括:將人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與人臉圖像相匹配的訪客圖像。
電子設(shè)備在將采集的圖像幀相應(yīng)的人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較時(shí),可計(jì)算兩人臉特征數(shù)據(jù)之間的差異,人臉特征數(shù)據(jù)之間的差異越大則相似度越低,人臉特征數(shù)據(jù)之間的差異越小則相似度越高。相似度可采用余弦相似度或者圖像間各自感知哈希值的漢明距離。
在本實(shí)施例中,通過(guò)神經(jīng)網(wǎng)絡(luò)模型提取人臉圖像的人臉特征數(shù)據(jù),再通過(guò)相應(yīng)的人臉特征數(shù)據(jù)之間的相似度來(lái)為訪客交互設(shè)備發(fā)送的圖像幀中的人臉圖像匹配訪客圖像,使得訪客身份識(shí)別結(jié)果更加準(zhǔn)確。
電子設(shè)備在根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像后,可獲取與該訪客圖像存在對(duì)應(yīng)關(guān)系的訪客標(biāo)識(shí),從而將該訪客標(biāo)識(shí)作為與訪客交互設(shè)備發(fā)送的圖像幀中的人臉圖像相對(duì)應(yīng)的訪客身份識(shí)別結(jié)果。
上述實(shí)施例中,以人臉特征數(shù)據(jù)作為依據(jù)進(jìn)行訪客身份識(shí)別,將從采集到的圖像幀中提取的人臉特征圖像與反映訪客真實(shí)人臉的訪客圖像進(jìn)行匹配已完成身份識(shí)別,保證了訪客身份識(shí)別的準(zhǔn)確性。
在一個(gè)實(shí)施例中,上述交互控制方法中獲取與訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容的步驟包括:根據(jù)訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合訪客身份識(shí)別結(jié)果與訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
具體地,電子設(shè)備在獲取到訪客身份識(shí)別結(jié)果后,根據(jù)該訪客身份識(shí)別結(jié)果獲取相對(duì)應(yīng)的訪客數(shù)據(jù),根據(jù)該訪客數(shù)據(jù)提取訪客屬性,再查找與該訪客屬性存在對(duì)應(yīng)關(guān)系的訪客交互內(nèi)容模板,將訪客身份識(shí)別結(jié)果,添加到查找到的訪客交互內(nèi)容模板中,生成訪客交互內(nèi)容。
在本實(shí)施例中,根據(jù)訪客屬性動(dòng)態(tài)生成個(gè)性化的訪客交互內(nèi)容,使得與訪客的交互內(nèi)容更豐富,交互內(nèi)容呈現(xiàn)方式多樣化。
在一個(gè)實(shí)施例中,上述交互控制方法中訪客空間狀態(tài)包括訪客深度距離和訪客朝向。訪客空間狀態(tài)通過(guò)以下步驟確定:根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。
具體地,電子設(shè)備可在對(duì)圖像幀中包括的人臉圖像完成身份識(shí)別后,檢測(cè)該人臉圖像的人臉輪廓大小,將該人臉輪廓大小與預(yù)設(shè)人臉模板的人臉輪廓大小進(jìn)行對(duì)比,基于光學(xué)成像的計(jì)算模型計(jì)算訪客深度距離,即該人臉圖像對(duì)應(yīng)的自然人距離攝像頭的距離。電子設(shè)備還可檢測(cè)該人臉圖像的人臉偏轉(zhuǎn)角度,將該人臉偏轉(zhuǎn)角度與預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度對(duì)比,確定該人臉圖像相對(duì)于預(yù)設(shè)人臉模板的差異量,根據(jù)該差異量確定訪客朝向,即人臉圖像對(duì)應(yīng)的自然人相對(duì)于攝像頭的方位。
在本實(shí)施例中,以預(yù)設(shè)人臉模板所反映的自然人空間狀態(tài)為標(biāo)準(zhǔn),將圖像幀中包括的人臉圖像與預(yù)設(shè)人臉模板進(jìn)行對(duì)比,得到較為準(zhǔn)確的訪客空間狀態(tài),來(lái)實(shí)現(xiàn)根據(jù)訪客空間狀態(tài)對(duì)訪客交互設(shè)備的趨向訪客行動(dòng)規(guī)劃。
在一個(gè)實(shí)施例中,上述交互控制方法中趨向訪客移動(dòng)指令可通過(guò)以下步驟得到:提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖;在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)移動(dòng)路徑生成趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,電子設(shè)備可將圖像幀中環(huán)境圖像的障礙物信息離散數(shù)值化生成數(shù)字柵格地圖。電子設(shè)備在生成障礙物分布地圖后,可再根據(jù)訪客空間狀態(tài)確定終點(diǎn)位置以及訪客交互設(shè)備在到達(dá)終端位置時(shí)的朝向。電子設(shè)備再?gòu)恼系K物分布地圖中選取到達(dá)終點(diǎn)位置的移動(dòng)路徑。
電子設(shè)備可再根據(jù)移動(dòng)路徑,確定電子設(shè)備下一步行動(dòng)的行進(jìn)數(shù)據(jù)。該行進(jìn)數(shù)據(jù)可包括行進(jìn)方向和行進(jìn)速度等。電子設(shè)備可再根據(jù)與自身相適配的指令編譯協(xié)議,將確定的行進(jìn)數(shù)據(jù)轉(zhuǎn)化為趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,電子設(shè)備可連續(xù)采集的圖像幀,并在對(duì)圖像幀中包括的人臉圖像完成身份識(shí)別后,在圖像幀序列中追蹤識(shí)別成功的該人臉圖像,并對(duì)圖像幀序列中的各圖像幀確定對(duì)應(yīng)的訪客空間狀態(tài),并根據(jù)該訪客空間狀態(tài)相應(yīng)調(diào)整移動(dòng)路徑。
在本實(shí)施例中,通過(guò)生成的障礙物分布地圖進(jìn)行路徑規(guī)劃,保證了對(duì)訪客交互設(shè)備趨向訪客運(yùn)動(dòng)的路徑規(guī)劃和避障的準(zhǔn)確性。
在一個(gè)實(shí)施例中,步驟s508之后,該交互控制方法還包括:獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);與交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備建立通信連接。
其中,交互指令用于觸發(fā)進(jìn)行交互的指令。交互對(duì)象標(biāo)識(shí)用于唯一標(biāo)識(shí)一個(gè)交互對(duì)象。交互對(duì)象具體可以是第三方用戶也可以是第三方服務(wù)設(shè)備等。
具體地,電子設(shè)備中可存儲(chǔ)有與訪客相應(yīng)的訪客圖像和來(lái)訪事項(xiàng)。電子設(shè)備可在對(duì)采集到的圖像幀中包括的人臉圖像身份識(shí)別成功之后,查詢與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的來(lái)訪事項(xiàng),并在查詢到來(lái)訪事項(xiàng)后,觸發(fā)交互指令。來(lái)訪事項(xiàng)比如,與第三方用戶進(jìn)行語(yǔ)音通話或者與第三方服務(wù)設(shè)備進(jìn)行數(shù)據(jù)傳輸?shù)取?/p>
在本實(shí)施例中,根據(jù)訪客身份識(shí)別結(jié)果即可自動(dòng)發(fā)起的交互指令,為訪客提供第三方服務(wù),提高了訪客交互設(shè)備的實(shí)用性與服務(wù)覆蓋范圍。
圖6示出了一個(gè)實(shí)施例中實(shí)現(xiàn)交互控制方法的設(shè)備架構(gòu)圖。參考圖6,訪客交互設(shè)備包括用于采集圖像幀的攝像頭,用于展示交互內(nèi)容的顯示屏或揚(yáng)聲器,用于與服務(wù)器進(jìn)行數(shù)據(jù)交互的無(wú)線管理模塊,以及控制訪客交互設(shè)備移動(dòng)的行動(dòng)模塊。服務(wù)器包括與訪客交互設(shè)備或與第三方設(shè)備進(jìn)行數(shù)據(jù)交互的無(wú)線管理模塊,用于進(jìn)行訪客身份識(shí)別的工作模塊,用于存儲(chǔ)訪客圖像的數(shù)據(jù)庫(kù)模塊、用于生成訪客屬性相關(guān)的訪客交互內(nèi)容的組裝模塊,用于對(duì)數(shù)據(jù)進(jìn)行管理的網(wǎng)絡(luò)管理模塊,以及用于與第三方設(shè)備建立通信連接的第三方交互模塊。
上述實(shí)施例中,對(duì)采集到的圖像幀的處理過(guò)程可在訪客交互設(shè)備上進(jìn)行,也可在服務(wù)器上進(jìn)行。
圖7示出了一個(gè)實(shí)施例中交互控制方法的時(shí)序圖。參考圖7,訪客交互設(shè)備從訪客來(lái)訪的現(xiàn)實(shí)場(chǎng)景中采集圖像幀,再將采集的圖像幀發(fā)送至服務(wù)器。服務(wù)器在接收到圖像幀后,將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型,獲取該神經(jīng)網(wǎng)絡(luò)模型輸出的與該圖像幀相應(yīng)的特征圖。服務(wù)器可再確定圖像幀中包括的人臉圖像占該圖像幀的占比,從特征圖中提取占比超過(guò)預(yù)設(shè)比例的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,從特征圖中提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
服務(wù)器可在提取人臉特征數(shù)據(jù)后,將提取的人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較,選取所述訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的所述人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與所述人臉圖像相匹配的訪客圖像,根據(jù)該訪客圖像得到訪客身份識(shí)別結(jié)果。服務(wù)器可再根據(jù)訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性,查找與該訪客屬性相應(yīng)的訪客交互內(nèi)容模板,組合該訪客身份識(shí)別結(jié)果與該訪客交互內(nèi)容模板得到訪客交互內(nèi)容,再將訪客交互內(nèi)容發(fā)送至訪客交互設(shè)備。
服務(wù)器還可根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。服務(wù)器再提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù),根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖,在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑,根據(jù)移動(dòng)路徑生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令,再將趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備。
服務(wù)器還可在對(duì)圖像幀進(jìn)行人臉識(shí)別得到訪客身份識(shí)別結(jié)果后,獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令,根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí),建立訪客交互設(shè)備與交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備之間的通信連接。
上述在服務(wù)器中進(jìn)行的數(shù)據(jù)處理過(guò)程均可在訪客交互設(shè)備中進(jìn)行。
如圖8所示,在一個(gè)實(shí)施例中,提供了一種交互控制裝置800,包括:接收模塊801、識(shí)別模塊802、獲取模塊803、確定模塊804、指令生成模塊805和發(fā)送模塊806。
接收模塊801,用于接收訪客交互設(shè)備發(fā)送的圖像幀。
識(shí)別模塊802,用于對(duì)圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果。
獲取模塊803,用于獲取與訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容。
確定模塊804,用于根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,確定訪客空間狀態(tài)。
指令生成模塊805,用于根據(jù)訪客空間狀態(tài)生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
發(fā)送模塊806,用于將訪客交互內(nèi)容和趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備,使得訪客交互設(shè)備執(zhí)行趨向訪客移動(dòng)指令,并輸出訪客交互內(nèi)容。
上述交互控制裝置800,在接收到訪客交互設(shè)備發(fā)送的圖像幀后,對(duì)該圖像幀進(jìn)行人臉識(shí)別得到訪客身份識(shí)別結(jié)果,即可得到與訪客進(jìn)行互動(dòng)的訪客交互內(nèi)容。再根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,即可確定訪客空間狀態(tài),并生成使得訪客交互設(shè)備向訪客移動(dòng)的趨向訪客移動(dòng)指令。在將訪客交互內(nèi)容與趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備后,訪客交互設(shè)備即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。而且,訪客交互設(shè)備發(fā)送圖像幀后,按照接收到的趨向訪客移動(dòng)指令與訪客交互內(nèi)容即可自動(dòng)完成與訪客的交互過(guò)程,極大地降低了訪客交互設(shè)備的集成難度與維護(hù)成本。
在一個(gè)實(shí)施例中,識(shí)別模塊802還用于提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像;根據(jù)訪客圖像得到訪客身份識(shí)別結(jié)果。
在本實(shí)施例中,以人臉特征數(shù)據(jù)作為依據(jù)進(jìn)行訪客身份識(shí)別,將從接收到的圖像幀中提取的人臉特征圖像與反映訪客真實(shí)人臉的訪客圖像進(jìn)行匹配已完成身份識(shí)別,保證了訪客身份識(shí)別的準(zhǔn)確性。
在一個(gè)實(shí)施例中,識(shí)別模塊802還用于確定圖像幀中包括的人臉圖像占圖像幀的占比,提取占比超過(guò)預(yù)設(shè)占比的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在本實(shí)施例中,當(dāng)檢測(cè)到人臉圖像占圖像幀的占比超過(guò)預(yù)設(shè)比例和/或清晰度超過(guò)預(yù)設(shè)的清晰度閾值時(shí),提取該人臉圖像的人臉特征數(shù)據(jù),從而保證了所提取的人臉特征數(shù)據(jù)的質(zhì)量。
在一個(gè)實(shí)施例中,識(shí)別模塊802還用于將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取神經(jīng)網(wǎng)絡(luò)模型輸出的與圖像幀相應(yīng)的特征圖;根據(jù)特征圖確定圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);將人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與人臉圖像相匹配的訪客圖像。
在本實(shí)施例中,通過(guò)神經(jīng)網(wǎng)絡(luò)模型提取人臉圖像的人臉特征數(shù)據(jù),再通過(guò)相應(yīng)的人臉特征數(shù)據(jù)之間的相似度來(lái)為訪客交互設(shè)備發(fā)送的圖像幀中的人臉圖像匹配訪客圖像,使得訪客身份識(shí)別結(jié)果更加準(zhǔn)確。
在一個(gè)實(shí)施例中,獲取模塊803根據(jù)訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合訪客身份識(shí)別結(jié)果與訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
在本實(shí)施例中,根據(jù)訪客屬性動(dòng)態(tài)生成個(gè)性化的訪客交互內(nèi)容,使得與訪客的交互內(nèi)容更豐富,交互內(nèi)容呈現(xiàn)方式多樣化。
在一個(gè)實(shí)施例中,訪客空間狀態(tài)包括訪客深度距離和訪客朝向。確定模塊804還用于根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。
在本實(shí)施例中,以預(yù)設(shè)人臉模板所反映的自然人空間狀態(tài)為標(biāo)準(zhǔn),將圖像幀中包括的人臉圖像與預(yù)設(shè)人臉模板進(jìn)行對(duì)比,得到較為準(zhǔn)確的訪客空間狀態(tài),來(lái)實(shí)現(xiàn)根據(jù)訪客空間狀態(tài)對(duì)訪客交互設(shè)備的趨向訪客行動(dòng)規(guī)劃。
在一個(gè)實(shí)施例中,指令生成模塊805還用于提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖;在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)移動(dòng)路徑生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
在本實(shí)施例中,通過(guò)生成的障礙物分布地圖進(jìn)行路徑規(guī)劃,保證了對(duì)訪客交互設(shè)備趨向訪客運(yùn)動(dòng)的路徑規(guī)劃和避障的準(zhǔn)確性。
如圖9所示,在一個(gè)實(shí)施例中,交互控制裝置800還包括:交互模塊807。
交互模塊807,用于獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);建立訪客交互設(shè)備與交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備之間的通信連接。
在本實(shí)施例中,根據(jù)訪客身份識(shí)別結(jié)果即可自動(dòng)發(fā)起的交互指令,為訪客提供第三方服務(wù),提高了訪客交互設(shè)備的實(shí)用性與服務(wù)覆蓋范圍。
如圖10所示,在一個(gè)實(shí)施例中,提供了一種交互控制裝置1000,包括:采集模塊1001、識(shí)別結(jié)果獲取模塊1002、指令獲取模塊1003和輸出模塊1004。
采集模塊1001,用于采集圖像幀。
識(shí)別結(jié)果獲取模塊1002,用于根據(jù)圖像幀,獲取與對(duì)圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容。
指令獲取模塊1003,用于根據(jù)圖像幀獲取趨向訪客移動(dòng)指令;趨向訪客移動(dòng)指令根據(jù)訪客空間狀態(tài)生成,訪客空間狀態(tài)根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量確定。
輸出模塊1004,用于按照趨向訪客移動(dòng)指令移動(dòng),并輸出訪客交互內(nèi)容。
上述交互控制裝置1000,在采集到圖像幀后,就可以自動(dòng)地獲取與對(duì)該圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,以及根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量所確定的訪客空間狀態(tài)生成的趨向訪客移動(dòng)指令。這樣本地即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。
在一個(gè)實(shí)施例中,識(shí)別結(jié)果獲取模塊1002還用于提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像;根據(jù)訪客圖像得到訪客身份識(shí)別結(jié)果;獲取與訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容。
在本實(shí)施例中,以人臉特征數(shù)據(jù)作為依據(jù)進(jìn)行訪客身份識(shí)別,將從采集到的圖像幀中提取的人臉特征圖像與反映訪客真實(shí)人臉的訪客圖像進(jìn)行匹配已完成身份識(shí)別,保證了訪客身份識(shí)別的準(zhǔn)確性。
在一個(gè)實(shí)施例中,識(shí)別結(jié)果獲取模塊1002還用于確定圖像幀中包括的人臉圖像占圖像幀的占比,提取占比超過(guò)預(yù)設(shè)占比的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在本實(shí)施例中,當(dāng)檢測(cè)到人臉圖像占圖像幀的占比超過(guò)預(yù)設(shè)比例和/或清晰度超過(guò)預(yù)設(shè)的清晰度閾值時(shí),提取該人臉圖像的人臉特征數(shù)據(jù),從而保證了所提取的人臉特征數(shù)據(jù)的質(zhì)量。
在一個(gè)實(shí)施例中,識(shí)別結(jié)果獲取模塊1002還用于將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取神經(jīng)網(wǎng)絡(luò)模型輸出的與圖像幀相應(yīng)的特征圖;根據(jù)特征圖確定圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);將人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與人臉圖像相匹配的訪客圖像。
在本實(shí)施例中,通過(guò)神經(jīng)網(wǎng)絡(luò)模型提取人臉圖像的人臉特征數(shù)據(jù),再通過(guò)相應(yīng)的人臉特征數(shù)據(jù)之間的相似度來(lái)為訪客交互設(shè)備發(fā)送的圖像幀中的人臉圖像匹配訪客圖像,使得訪客身份識(shí)別結(jié)果更加準(zhǔn)確。
在一個(gè)實(shí)施例中,識(shí)別結(jié)果獲取模塊1002還用于根據(jù)訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合訪客身份識(shí)別結(jié)果與訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
在本實(shí)施例中,根據(jù)訪客屬性動(dòng)態(tài)生成個(gè)性化的訪客交互內(nèi)容,使得與訪客的交互內(nèi)容更豐富,交互內(nèi)容呈現(xiàn)方式多樣化。
在一個(gè)實(shí)施例中,訪客空間狀態(tài)包括訪客深度距離和訪客朝向。指令獲取模塊1003還用于根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。
在本實(shí)施例中,以預(yù)設(shè)人臉模板所反映的自然人空間狀態(tài)為標(biāo)準(zhǔn),將圖像幀中包括的人臉圖像與預(yù)設(shè)人臉模板進(jìn)行對(duì)比,得到較為準(zhǔn)確的訪客空間狀態(tài),來(lái)實(shí)現(xiàn)根據(jù)訪客空間狀態(tài)對(duì)訪客交互設(shè)備的趨向訪客行動(dòng)規(guī)劃。
在一個(gè)實(shí)施例中,指令獲取模塊1003還用于提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖;在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)移動(dòng)路徑生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
在本實(shí)施例中,通過(guò)生成的障礙物分布地圖進(jìn)行路徑規(guī)劃,保證了對(duì)訪客交互設(shè)備趨向訪客運(yùn)動(dòng)的路徑規(guī)劃和避障的準(zhǔn)確性。
如圖11所示,在一個(gè)實(shí)施例中,交互控制裝置1000還包括:交互模塊1005。
交互模塊1005,用于獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);與交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備建立通信連接。
在本實(shí)施例中,根據(jù)訪客身份識(shí)別結(jié)果即可自動(dòng)發(fā)起的交互指令,為訪客提供第三方服務(wù),提高了訪客交互設(shè)備的實(shí)用性與服務(wù)覆蓋范圍。
在一個(gè)實(shí)施例中,一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)可讀指令,該計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟:
接收訪客交互設(shè)備發(fā)送的圖像幀;
對(duì)圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果;
獲取與訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容;
根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,確定訪客空間狀態(tài);
根據(jù)訪客空間狀態(tài)生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令;
將訪客交互內(nèi)容和趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備,使得訪客交互設(shè)備執(zhí)行趨向訪客移動(dòng)指令,并輸出訪客交互內(nèi)容。
上述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)的計(jì)算機(jī)可讀指令在被執(zhí)行時(shí),在接收到訪客交互設(shè)備發(fā)送的圖像幀后,對(duì)該圖像幀進(jìn)行人臉識(shí)別得到訪客身份識(shí)別結(jié)果,即可得到與訪客進(jìn)行互動(dòng)的訪客交互內(nèi)容。再根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,即可確定訪客空間狀態(tài),并生成使得訪客交互設(shè)備向訪客移動(dòng)的趨向訪客移動(dòng)指令。在將訪客交互內(nèi)容與趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備后,訪客交互設(shè)備即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。而且,訪客交互設(shè)備發(fā)送圖像幀后,按照接收到的趨向訪客移動(dòng)指令與訪客交互內(nèi)容即可自動(dòng)完成與訪客的交互過(guò)程,極大地降低了訪客交互設(shè)備的集成難度與維護(hù)成本。
在一個(gè)實(shí)施例中,對(duì)圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果,包括:提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像;根據(jù)訪客圖像得到訪客身份識(shí)別結(jié)果。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:確定圖像幀中包括的人臉圖像占圖像幀的占比,提取占比超過(guò)預(yù)設(shè)比例的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取神經(jīng)網(wǎng)絡(luò)模型輸出的與圖像幀相應(yīng)的特征圖;根據(jù)特征圖確定圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù)。根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像,包括:將人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與人臉圖像相匹配的訪客圖像。
在一個(gè)實(shí)施例中,獲取與訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容,包括:根據(jù)訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合訪客身份識(shí)別結(jié)果與訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,訪客空間狀態(tài)包括訪客深度距離和訪客朝向。根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像以及預(yù)設(shè)人臉模板之間的差異量,確定訪客空間狀態(tài),包括:根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。
在一個(gè)實(shí)施例中,根據(jù)訪客空間狀態(tài)生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令,包括:提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖;在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)移動(dòng)路徑生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,計(jì)算機(jī)可讀指令使得處理器在執(zhí)行將訪客交互內(nèi)容和趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備,使得訪客交互設(shè)備執(zhí)行趨向訪客移動(dòng)指令,并輸出訪客交互內(nèi)容之后,執(zhí)行以下步驟:獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);建立訪客交互設(shè)備與交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備之間的通信連接。
在一個(gè)實(shí)施例中,一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)可讀指令,該計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟:
采集圖像幀;
根據(jù)圖像幀,獲取與對(duì)圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容;
根據(jù)圖像幀獲取趨向訪客移動(dòng)指令;趨向訪客移動(dòng)指令根據(jù)訪客空間狀態(tài)生成,訪客空間狀態(tài)根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量確定;
按照趨向訪客移動(dòng)指令移動(dòng),并輸出訪客交互內(nèi)容。
上述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)的計(jì)算機(jī)可讀指令在被執(zhí)行時(shí),在采集到圖像幀后,就可以自動(dòng)地獲取與對(duì)該圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,以及根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量所確定的訪客空間狀態(tài)生成的趨向訪客移動(dòng)指令。這樣本地即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。
在一個(gè)實(shí)施例中,根據(jù)圖像幀,獲取與對(duì)圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,包括:提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像;根據(jù)訪客圖像得到訪客身份識(shí)別結(jié)果;獲取與訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:確定圖像幀中包括的人臉圖像占圖像幀的占比,提取占比超過(guò)預(yù)設(shè)占比的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取神經(jīng)網(wǎng)絡(luò)模型輸出的與圖像幀相應(yīng)的特征圖;根據(jù)特征圖確定圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù)。根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像,包括:將人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與人臉圖像相匹配的訪客圖像。
在一個(gè)實(shí)施例中,獲取與訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,包括:根據(jù)訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合訪客身份識(shí)別結(jié)果與訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,訪客空間狀態(tài)包括訪客深度距離和訪客朝向。計(jì)算機(jī)可讀指令還使得處理器在執(zhí)行以下步驟:根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。
在一個(gè)實(shí)施例中,計(jì)算機(jī)可讀指令還使得處理器在執(zhí)行以下步驟:提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖;在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)移動(dòng)路徑生成趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,計(jì)算機(jī)可讀指令使得處理器在執(zhí)行按照訪客交互設(shè)備移動(dòng)指令移動(dòng),并輸出訪客交互內(nèi)容之后,執(zhí)行以下步驟:獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);與所述交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備建立通信連接。
一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,存儲(chǔ)器中儲(chǔ)存有計(jì)算機(jī)可讀指令,計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí),使得處理器執(zhí)行以下步驟:
接收訪客交互設(shè)備發(fā)送的圖像幀;
對(duì)圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果;
獲取與訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容;
根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,確定訪客空間狀態(tài);
根據(jù)訪客空間狀態(tài)生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令;
將訪客交互內(nèi)容和趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備,使得訪客交互設(shè)備執(zhí)行趨向訪客移動(dòng)指令,并輸出訪客交互內(nèi)容。
上述計(jì)算機(jī)設(shè)備,在接收到訪客交互設(shè)備發(fā)送的圖像幀后,對(duì)該圖像幀進(jìn)行人臉識(shí)別得到訪客身份識(shí)別結(jié)果,即可得到與訪客進(jìn)行互動(dòng)的訪客交互內(nèi)容。再根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量,即可確定訪客空間狀態(tài),并生成使得訪客交互設(shè)備向訪客移動(dòng)的趨向訪客移動(dòng)指令。在將訪客交互內(nèi)容與趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備后,訪客交互設(shè)備即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。而且,訪客交互設(shè)備發(fā)送圖像幀后,按照接收到的趨向訪客移動(dòng)指令與訪客交互內(nèi)容即可自動(dòng)完成與訪客的交互過(guò)程,極大地降低了訪客交互設(shè)備的集成難度與維護(hù)成本。
在一個(gè)實(shí)施例中,對(duì)圖像幀進(jìn)行人臉識(shí)別,得到訪客身份識(shí)別結(jié)果,包括:提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像;根據(jù)訪客圖像得到訪客身份識(shí)別結(jié)果。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:確定圖像幀中包括的人臉圖像占圖像幀的占比,提取占比超過(guò)預(yù)設(shè)比例的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取神經(jīng)網(wǎng)絡(luò)模型輸出的與圖像幀相應(yīng)的特征圖;根據(jù)特征圖確定圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù)。根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像,包括:將人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與人臉圖像相匹配的訪客圖像。
在一個(gè)實(shí)施例中,獲取與訪客身份識(shí)別結(jié)果關(guān)聯(lián)的訪客交互內(nèi)容,包括:根據(jù)訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合訪客身份識(shí)別結(jié)果與訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,訪客空間狀態(tài)包括訪客深度距離和訪客朝向。根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像以及預(yù)設(shè)人臉模板之間的差異量,確定訪客空間狀態(tài),包括:根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。
在一個(gè)實(shí)施例中,根據(jù)訪客空間狀態(tài)生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令,包括:提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖;在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)移動(dòng)路徑生成適用于訪客交互設(shè)備的趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,計(jì)算機(jī)可讀指令使得處理器在執(zhí)行將訪客交互內(nèi)容和趨向訪客移動(dòng)指令發(fā)送至訪客交互設(shè)備,使得訪客交互設(shè)備執(zhí)行趨向訪客移動(dòng)指令,并輸出訪客交互內(nèi)容之后,執(zhí)行以下步驟:獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);建立訪客交互設(shè)備與交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備之間的通信連接。
一種計(jì)算機(jī)設(shè)備,包括存儲(chǔ)器和處理器,存儲(chǔ)器中儲(chǔ)存有計(jì)算機(jī)可讀指令,計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí),使得處理器執(zhí)行以下步驟:
采集圖像幀;
根據(jù)圖像幀,獲取與對(duì)圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容;
根據(jù)圖像幀獲取趨向訪客移動(dòng)指令;趨向訪客移動(dòng)指令根據(jù)訪客空間狀態(tài)生成,訪客空間狀態(tài)根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量確定;
按照趨向訪客移動(dòng)指令移動(dòng),并輸出訪客交互內(nèi)容。
上述計(jì)算機(jī)設(shè)備,在采集到圖像幀后,就可以自動(dòng)地獲取與對(duì)該圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,以及根據(jù)圖像幀中訪客身份識(shí)別結(jié)果所對(duì)應(yīng)的人臉圖像與預(yù)設(shè)人臉模板之間的差異量所確定的訪客空間狀態(tài)生成的趨向訪客移動(dòng)指令。這樣本地即可自動(dòng)地按照趨向訪客移動(dòng)指令調(diào)整位置完成與訪客的交互過(guò)程,避免了人工操作的繁瑣步驟,極大地提高了與訪客交互的效率。
在一個(gè)實(shí)施例中,根據(jù)圖像幀,獲取與對(duì)圖像幀進(jìn)行人臉識(shí)別得到的訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,包括:提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù);根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像;根據(jù)訪客圖像得到訪客身份識(shí)別結(jié)果;獲取與訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:確定圖像幀中包括的人臉圖像占圖像幀的占比,提取占比超過(guò)預(yù)設(shè)占比的人臉圖像的人臉特征數(shù)據(jù);和/或,確定圖像幀中包括的人臉圖像的清晰度,提取清晰度超過(guò)清晰度閾值的人臉圖像的人臉特征數(shù)據(jù)。
在一個(gè)實(shí)施例中,提取圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù),包括:將圖像幀輸入神經(jīng)網(wǎng)絡(luò)模型;獲取神經(jīng)網(wǎng)絡(luò)模型輸出的與圖像幀相應(yīng)的特征圖;根據(jù)特征圖確定圖像幀中包括的人臉圖像的人臉特征數(shù)據(jù)。根據(jù)人臉特征數(shù)據(jù)查詢與人臉圖像相匹配的訪客圖像,包括:將人臉特征數(shù)據(jù)與訪客圖像庫(kù)中各訪客圖像相應(yīng)的人臉特征數(shù)據(jù)比較;選取訪客圖像庫(kù)中相應(yīng)的人臉特征數(shù)據(jù)與確定的人臉特征數(shù)據(jù)相似度最高的訪客圖像,作為與人臉圖像相匹配的訪客圖像。
在一個(gè)實(shí)施例中,獲取與訪客身份識(shí)別結(jié)果相關(guān)聯(lián)的訪客交互內(nèi)容,包括:根據(jù)訪客身份識(shí)別結(jié)果確定相應(yīng)的訪客屬性;查找與訪客屬性相應(yīng)的訪客交互內(nèi)容模板;組合訪客身份識(shí)別結(jié)果與訪客交互內(nèi)容模板得到訪客交互內(nèi)容。
在一個(gè)實(shí)施例中,訪客空間狀態(tài)包括訪客深度距離和訪客朝向。計(jì)算機(jī)可讀指令還使得處理器在執(zhí)行以下步驟:根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉輪廓大小,以及預(yù)設(shè)人臉模板的人臉輪廓大小之間的差異量,確定訪客深度距離;根據(jù)圖像幀中與訪客身份識(shí)別結(jié)果相對(duì)應(yīng)的人臉圖像的人臉偏轉(zhuǎn)角度,以及預(yù)設(shè)人臉模板的人臉偏轉(zhuǎn)角度之間的差異量,確定訪客朝向。
在一個(gè)實(shí)施例中,計(jì)算機(jī)可讀指令還使得處理器在執(zhí)行以下步驟:提取圖像幀中包括的環(huán)境圖像的障礙物特征數(shù)據(jù);根據(jù)障礙物特征數(shù)據(jù)生成障礙物分布地圖;在障礙物分布地圖中,按照訪客空間狀態(tài)規(guī)劃移動(dòng)路徑;根據(jù)移動(dòng)路徑生成趨向訪客移動(dòng)指令。
在一個(gè)實(shí)施例中,計(jì)算機(jī)可讀指令使得處理器在執(zhí)行按照訪客交互設(shè)備移動(dòng)指令移動(dòng),并輸出訪客交互內(nèi)容之后,執(zhí)行以下步驟:獲取根據(jù)訪客身份識(shí)別結(jié)果發(fā)起的交互指令;根據(jù)交互指令確定相應(yīng)的交互對(duì)象標(biāo)識(shí);與所述交互對(duì)象標(biāo)識(shí)對(duì)應(yīng)的設(shè)備建立通信連接。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程,是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成,所述的程序可存儲(chǔ)于一非易失性計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),可包括如上述各方法的實(shí)施例的流程。其中,所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(read-onlymemory,rom)等。
以上實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合,為使描述簡(jiǎn)潔,未對(duì)上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述,然而,只要這些技術(shù)特征的組合不存在矛盾,都應(yīng)當(dāng)認(rèn)為是本說(shuō)明書(shū)記載的范圍。
以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式,其描述較為具體和詳細(xì),但并不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是,對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn),這些都屬于本發(fā)明的保護(hù)范圍。因此,本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。