含義；訓(xùn)練關(guān)鍵點提取單元，對于每個訓(xùn)練視頻的每一幀圖像，提取表示唇部的結(jié)構(gòu)信息的訓(xùn)練關(guān)鍵點集；訓(xùn)練關(guān)鍵點跟蹤單元，跟蹤所述訓(xùn)練關(guān)鍵點集中的每一訓(xùn)練關(guān)鍵點在所述訓(xùn)練視頻的各幀圖像之間的位置的變化，以得到表示唇部動作的訓(xùn)練關(guān)鍵特征；以及訓(xùn)練單元，將每個訓(xùn)練視頻的所述訓(xùn)練關(guān)鍵特征作為待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的輸入，將與每個訓(xùn)練視頻相關(guān)聯(lián)的訓(xùn)練目標(biāo)作為所述神經(jīng)網(wǎng)絡(luò)的輸出，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)。
[0050]在另一實施例中，所述神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層、反饋層、全連接層和輸出層，并且，所述生成單元配置為:將作為特征向量序列的所述關(guān)鍵特征輸入所述輸入層；通過所述卷積層，從所述特征向量序列提取卷積層特征；通過所述反饋層，結(jié)合所述視頻的前一幀反饋層特征和后一幀反饋層特征，從所述卷積層特征提取當(dāng)前幀的反饋層特征；通過所述全連接層，對所述當(dāng)前幀的反饋層特征進(jìn)行抽象處理，以生成所述識別信息；以及通過所述輸出層輸出所述識別信息。
[0051]所述信息處理系統(tǒng)300的各個單元的具體配置和操作已經(jīng)在上面參照圖2所述的信息處理方法中詳細(xì)描述，在此不再重復(fù)。
[0052]通過本公開實施例的信息處理系統(tǒng)，能夠不受背景噪音影響地、快捷準(zhǔn)確地識別說話者所表達(dá)的含義，并將所述含義直觀地顯示，從而有利于背景噪音巨大的情況下的人際交流，也使得嚴(yán)重聽力障礙人士能夠流暢地與他人進(jìn)行交流。
[0053]需要指出的是，本公開實施例的信息處理方法和信息處理系統(tǒng)既可以以集中方式部署在諸如智能眼鏡(頭盔)、手機、平板電腦、個人計算機等的終端處，也可以以分布式方式部署在服務(wù)器端(云端)和所述終端處。在以集中式方式部署在終端處的情況下，本公開實施例的信息處理方法和信息處理系統(tǒng)可以以所謂的離線方式(即，不需要云端的參與)操作。在以分布式方式部署在服務(wù)器端和終端處的情況下，本公開實施例的信息處理方法和信息處理系統(tǒng)可以以所謂的在線方式(即，需要云端的參與)操作。
[0054]下面，將參照圖4描述根據(jù)本公開實施例的信息處理裝置。
[0055]圖4是示意性圖示根據(jù)本公開實施例的信息處理裝置的主要配置的框圖。如圖4所示，本公開實施例的信息處理裝置400主要包括:視頻采集單元410、發(fā)送單元420、接收單元430和顯示單元440。
[0056]所述視頻采集單元410采集包括被攝者的唇部動作的視頻。所述發(fā)送單元420將所述視頻發(fā)送至與所述信息處理裝置可通信地連接的計算機。所述接收單元430從所述計算機接收與所述被攝者通過所述唇部動作所表達(dá)的含義對應(yīng)的識別信息。所述顯示單元440顯示所述識別信息。
[0057]所述視頻采集單元410和所述顯示單元440的具體配置和操作已經(jīng)在前面參照圖1詳細(xì)描述，在此不再重復(fù)。所述發(fā)送模塊420和所述接收模塊430可實現(xiàn)為以各種通信協(xié)議與所述計算機進(jìn)行通信的通信模塊。所述通信可以是有線通信，也可以是無線通信。
[0058]具體地，在一實施例中，所述計算機識別所述視頻，以生成所述識別信息。示例性地，所述計算機包括:接收模塊，從所述信息處理裝置接收所述視頻；處理器；存儲器；存儲在所述存儲器中的計算機程序指令，在所述計算機程序指令被所述處理器運行時執(zhí)行以下步驟:識別所述視頻，以生成所述識別信息；以及發(fā)送模塊，將所述識別信息發(fā)送至所述信息處理裝置。所述計算機識別所述視頻的具體處理已經(jīng)在上面參照圖2的信息處理方法中詳細(xì)描述，在此不再重復(fù)。
[0059]需要指出的是，雖然上面以所述計算機將識別信息發(fā)送至所述信息處理裝置所包括的顯示單元進(jìn)行顯示的情況為例進(jìn)行了描述，但是，本領(lǐng)域技術(shù)人員能夠理解，取決于所述本公開實施例的應(yīng)用場景，所述信息處理裝置也可不包含顯示單元，所述計算機將所述識別信息發(fā)送至其他裝置處的顯示單元用于顯示。或者，所述計算機可以將所述識別信息發(fā)送至所述信息處理裝置所包括的顯示單元以及其他裝置處的顯示單元，以在兩者上進(jìn)行顯不O
[0060]在參照圖4所述的信息處理裝置400中，將所采集的視頻發(fā)送至例如位于云端的計算機，所述計算機執(zhí)行如上所述的操作之后將結(jié)果返回至所述信息處理裝置400，由此，能夠不受背景噪音影響地、快捷準(zhǔn)確地識別說話者所表達(dá)的含義并將其直觀顯示出來。由此，即便終端處的裝置的處理能力有限，也能夠通過與服務(wù)器側(cè)的計算機合作而實現(xiàn)人臉識別。
[0061]替代地，在終端處的裝置與服務(wù)器處的計算機之間的通信速率不高的情況下，或者在終端處的裝置的處理能力相對較高的情況下，所述裝置可以在終端處提取所述關(guān)鍵點集或基于所述關(guān)鍵點集而獲得的關(guān)鍵特征，并將所提取的所述特征集或所述關(guān)鍵特征發(fā)送至位于云端的服務(wù)器，以減少數(shù)據(jù)傳輸量，縮短用于數(shù)據(jù)傳輸?shù)臅r間。
[0062]也就是說，在一示例中，所述信息處理裝置可以可選地包括提取單元，用于對于所述視頻的每一幀圖像，提取所述圖像中表示唇部的結(jié)構(gòu)信息的關(guān)鍵點集。所述發(fā)送單元420替代發(fā)送所述視頻而發(fā)送所述關(guān)鍵點集。在所述云端的計算機處，在所述計算機程序指令被所述處理器運行時還執(zhí)行以下步驟:跟蹤所述關(guān)鍵點集中的每一關(guān)鍵點在各幀圖像之間的位置的變化，以得到表示唇部動作的關(guān)鍵特征；以及基于所述關(guān)鍵特征識別所述視頻，以生成所述識別信息。
[0063]在另一示例中，所述信息處理裝置可以可選地包括提取單元和跟蹤單元。所述提取單元用于對于所述視頻的每一幀圖像，提取所述圖像中表示唇部的結(jié)構(gòu)信息的關(guān)鍵點集。所述跟蹤單元用于跟蹤所述關(guān)鍵點集中的每一關(guān)鍵點在各幀圖像之間的位置的變化，以得到表示唇部動作的關(guān)鍵特征。所述發(fā)送單元420替代發(fā)送所述視頻而發(fā)送所述關(guān)鍵特征。在所述云端的計算機處，在所述計算機程序指令被所述處理器運行時還執(zhí)行以下步驟:基于所述關(guān)鍵特征識別所述視頻，以生成所述識別信息。
[0064]此外，根據(jù)本公開實施例，還提供了一種計算機程序產(chǎn)品。根據(jù)本公開實施例的計算機程序產(chǎn)品包括計算機可讀存儲介質(zhì)，在所述計算機可讀存儲介質(zhì)上存儲了計算機程序指令。
[0065]所述計算機程序指令在被計算機運行時可以實現(xiàn)根據(jù)本公開實施例的信息處理系統(tǒng)的各個功能模塊的功能，并且/或者可以執(zhí)行根據(jù)本公開實施例的信息處理方法。
[0066]例如，所述計算機程序指令在被計算機運行時可執(zhí)行以下步驟:采集包括被攝者的唇部動作的視頻，識別所述視頻，以生成與所述被攝者通過所述唇部動作所表達(dá)的含義對應(yīng)的識別信息以用于顯示。
[0067]所述計算機可讀存儲介質(zhì)例如可以包括智能電話的存儲卡、平板電腦的存儲部件、個人計算機的硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPROM)、便攜式緊致盤只讀存儲器(⑶-ROM)、USB存儲器、或者上述存儲介質(zhì)的任意組入口 ο
[0068]需要說明的是，在本說明書中，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
[0069]在本公開實施例中，單元/模塊可以