一種自動監(jiān)測與自主反應的裝置及方法
【專利摘要】本發(fā)明公開了一種自動監(jiān)測與自主反應的裝置及方法。該裝置包括：視頻采集單元，用于實時采集并發(fā)送視頻信息；音頻采集單元，用于實時采集并發(fā)送音頻信息；處理設備，用于響應于所接收的視頻、音頻信息，對視頻、音頻信息的內(nèi)容進行識別并發(fā)出指令信息；反應器，用于接收所述指令信息并按照所述指令信息作出反應。與現(xiàn)有技術相比，本發(fā)明使得攝像監(jiān)控系統(tǒng)監(jiān)視到某些情況時能夠自動處理和自主反應，而不需要人的干預。
【專利說明】一種自動監(jiān)測與自主反應的裝置及方法
【技術領域】
[0001]本發(fā)明涉及通信技術，尤其涉及一種自動監(jiān)測與自主反應的裝置及方法。
【背景技術】
[0002]現(xiàn)有技術中，存在著一種豕庭攝像監(jiān)控系統(tǒng)。在豕庭中安裝有攝像頭，在監(jiān)視端的屏幕上顯示采集到的視頻。但是，這種家庭攝像監(jiān)控系統(tǒng)僅能執(zhí)行監(jiān)視功能。如果監(jiān)視到某種情況需要處理時，仍需要人來處理。

【發(fā)明內(nèi)容】

[0003]本發(fā)明解決的技術問題之一是使得攝像監(jiān)控系統(tǒng)監(jiān)視到某些情況時能夠自動處理和自主反應，而不需要人的干預。
[0004]根據(jù)本發(fā)明的一個方面的一個實施例，提供了一種自動監(jiān)測與自主反應裝置，包括:視頻采集單元、音頻采集單元、處理設備以及反應器。視頻采集單元、音頻采集單元分別采集并發(fā)送視、音頻信息。處理設備響應于所接收的視、音頻信息，對視、音頻信息的內(nèi)容進行識別并向反應器發(fā)出指令信息。反應器接收到指令信息，按照指令信息作出反應。
[0005]根據(jù)本發(fā)明的一個實施例，所述反應器包括以下中的一個或多個:致動器，用于響應于所述指令信息是要求產(chǎn)生特定反應動作的信息，產(chǎn)生特定反應動作；揚聲器，用于響應于所述指令信息是要求發(fā)出特定反應聲音的信息，發(fā)出特定反應聲音；顯示器，用于響應于所述指令信息是要求顯示特定反應畫面的信息，顯示特定反應畫面。
[0006]根據(jù)本發(fā)明的一個實施例，所述處理設備耦合或包含有存儲器，用于存儲監(jiān)測和反應記錄，且響應于調(diào)取請求，處理設備調(diào)取存儲器上的相關記錄。
[0007]根據(jù)本發(fā)明的一個實施例，所述處理設備從視頻采集單元、音頻采集單元采集到的視頻、音頻信息中識別出人的特定動作或特定人的特定動作，并發(fā)出與該人的特定動作或特定人的特定動作對應的指令信息。
[0008]根據(jù)本發(fā)明的一個實施例，所述人或特定人是基于人臉識別、身高識別、聲音識別中的一個或多個來識別的。
[0009]根據(jù)本發(fā)明的一個實施例，處理設備還接收攜帶手機發(fā)出的無線信號，基于該無線信號中標明的攜帶手機的身份，來識別人或特定人。
[0010]根據(jù)本發(fā)明的一個實施例，特定動作是通過事先為特定動作建立模型，并從視頻采集單元、音頻采集單元分別采集到的視頻、音頻信息中搜索與建立的模型的匹配識別的。[0011 ] 根據(jù)本發(fā)明的一個實施例，所述模型是通過自學習的方式產(chǎn)生的。
[0012]根據(jù)本發(fā)明的一個實施例，所述模型是預先輸入的標準化的模型。
[0013]根據(jù)本發(fā)明的一個實施例，自動監(jiān)測與自主反應裝置還包括深度傳感器，所述特定動作是基于視頻采集單元、音頻采集單元分別采集到的視頻、音頻以及深度傳感器感測的深度識別的。
[0014]根據(jù)本發(fā)明的一個實施例，處理設備響應于識別出的特定動作和/或特定人的特定動作，匹配存儲器中的模型，預測下一步可能產(chǎn)生的動作，向致動器發(fā)出與該預測的動作對應的指令信息，致動器基于該指令信息產(chǎn)生該預測的動作。
[0015]根據(jù)本發(fā)明的一個實施例，存儲器還存儲與特定動作和/或特定人的特定動作對應的限制條件、以及如果該限制條件被滿足應采取的強制動作，處理設備響應于識別出的特定動作和/或特定人的特定動作，檢索與該特定動作和/或特定人的特定動作對應的限制條件，判斷該限制條件是否被滿足，且響應于判斷出該限制條件未被滿足，向致動器發(fā)出對應于該強制動作的指令信息，致動器基于該指令信息產(chǎn)生該強制的動作。
[0016]根據(jù)本發(fā)明的一個實施例，存儲器還存儲與特定動作和/或特定人的特定動作對應的限制條件，處理設備響應于識別出的特定動作和/或特定人的特定動作，檢索與該特定動作和/或特定人的特定動作對應的限制條件，判斷該限制條件是否被滿足，且響應于判斷出該限制條件未被滿足，向揚聲器或顯示器發(fā)出指示提醒的指令信息，揚聲器或顯示器基于該指令信息發(fā)出提醒聲音或顯示提醒畫面。
[0017]根據(jù)本發(fā)明的一個實施例，存儲器還存儲與特定動作和/或特定人的特定動作對應的互動聲音或畫面，處理設備響應于識別出的特定動作和/或特定人的特定動作，檢索與該特定動作和/或特定人的特定動作對應的互動聲音或畫面，向揚聲器或顯示器發(fā)出對應于該互動聲音或畫面的指令信息，由揚聲器基于該指令信息產(chǎn)生該互動聲音，或由顯不器基于該指令信息顯示該互動畫面。
[0018]根據(jù)本發(fā)明的另一個方面的一個實施例，提供了一種自動監(jiān)測與自主反應的方法，包括以下步驟:采集環(huán)境的視頻、音頻信息；響應于所采集的視頻、音頻信息，對視頻、音頻信息的內(nèi)容進行識別；基于識別結果做出反應。
[0019]根據(jù)本發(fā)明的一個實施例，所述反應包括以下中的一個或多個:產(chǎn)生特定反應動作；發(fā)出特定反應聲音；顯示特定反應畫面。
[0020]根據(jù)本發(fā)明的一個實施例，響應于所采集的視頻、音頻信息，對視頻、音頻信息的內(nèi)容進行識別的內(nèi)容包括:從采集到的視頻、音頻信息中識別出特定動作和/或特定人的特定動作。
[0021 ] 根據(jù)本發(fā)明的一個實施例，所述人或特定人是基于人臉識別、身高識別、聲音識別中的一個或多個來識別的。
[0022]根據(jù)本發(fā)明的一個實施例，該方法還包括接收攜帶手機發(fā)出的無線信號，且所述人或特定人是基于該無線信號中標明的攜帶手機的身份來識別的。
[0023]根據(jù)本發(fā)明的一個實施例，所述特定動作基于所采集的視頻、音頻信息和深度傳感器感測的深度進行識別。
[0024]根據(jù)本發(fā)明的一個實施例，特定動作是通過事先為特定動作建立模型，并從采集到的視頻、音頻信息中搜索與建立的模型的匹配識別的。
[0025]根據(jù)本發(fā)明的一個實施例，所述模型是通過自學習的方式產(chǎn)生的。
[0026]根據(jù)本發(fā)明的一個實施例，所述模型是預先輸入的標準化的模型。
[0027]由于本發(fā)明的一個實施例能夠對采集到的視、音頻信息內(nèi)容進行識別，并按照識別出的視、音頻信息的內(nèi)容作出反應，因此實現(xiàn)了攝像監(jiān)控系統(tǒng)監(jiān)視到某些情況時能夠自動處理和反應而不需要人的干預的效果。
[0028]本領域普通技術人員將了解，雖然下面的詳細說明將參考圖示實施例、附圖進行，但本發(fā)明并不僅限于這些實施例。而是，本發(fā)明的范圍是廣泛的，且意在僅通過后附的權利要求限定本發(fā)明的范圍。
【專利附圖】

【附圖說明】
[0029]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本發(fā)明的其它特征、目的和優(yōu)點將會變得更明顯:
[0030]圖1示出了根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應裝置的示意性框圖；
[0031]圖2示出了根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應裝置的外部正視圖；
[0032]圖3示出了根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應裝置的外部左視圖；
[0033]圖4示出了根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應方法的流程圖；
[0034]圖5示出了根據(jù)本發(fā)明的一個實施例的行為模式觸發(fā)的預測執(zhí)行系統(tǒng)的示意性框圖；
[0035]圖6示出了根據(jù)本發(fā)明的一個實施例的行為模式觸發(fā)的糾正致動系統(tǒng)的示意性框圖；
[0036]圖7示出了根據(jù)本發(fā)明的一個實施例的行為模式觸發(fā)的報警系統(tǒng)的示意性框圖；
[0037]圖8示出了根據(jù)本發(fā)明的一個實施例的行為模式觸發(fā)的互動系統(tǒng)的示意性框圖。
[0038]附圖中相同或相似的附圖標記代表相同或相似的部件。
【具體實施方式】
[0039]下面結合附圖對本發(fā)明作進一步詳細描述。
[0040]圖1示出了根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應裝置(nemo)l的示意性框圖。根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應裝置I包括視頻采集單元101、音頻采集單元102、處理設備105以及反應器107。視頻采集單元101、音頻采集單元102分別實時采集視、音頻并將其發(fā)送給處理設備105。處理設備105響應于所接收的視、音頻信息，對視、音頻信息的內(nèi)容進行識別并向反應器107發(fā)出指令信息。反應器107接收到指令信息，按照指令信息作出反應。
[0041]視頻采集單元是指用于視頻采集的裝置，例如攝像頭、攝像機、有攝像功能的手機等。音頻采集單元是指用于音頻采集的裝置，例如麥克風、錄音機、有錄音功能的手機等。處理設備是指具有數(shù)據(jù)處理、分析功能的設備，用來接收視頻采集單元、音頻采集單元發(fā)送來的視、音頻信息，并對所述視、音頻信息進行處理、識別，發(fā)出對應指令信息，例如一個CPU芯片、一臺計算機或多臺計算機組成的處理中心。
[0042]所述處理設備耦合或包含有存儲器1051，用于存儲監(jiān)測和反應記錄。響應于調(diào)取請求，處理設備105調(diào)取存儲器1051上的相關記錄。
[0043]如圖5所示，反應器107可以包括有以下中的一個或多個:致動器1071、揚聲器1072、顯示器1073。致動器1071例如是窗簾開關、電燈開關、熱水器開關等，用于響應于所述指令信息是要求產(chǎn)生特定反應動作的信息，產(chǎn)生特定反應動作。所述揚聲器1072例如是電腦音箱、外設獨立音箱、擴音器等，用于響應于所述指令信息是要求發(fā)出特定反應聲音的信息，發(fā)出特定反應聲音。所述顯示器1073例如是電腦屏幕、電視屏幕、外接顯示屏等，用于響應于所述指令信息是要求顯示特定反應畫面的信息，顯示特定反應畫面。[0044]反應器中包括的多種類型增加了反應的種類和靈活性，提高了用戶體驗。
[0045]圖2示出了根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應裝置的外部正視圖。在該實施例中，視頻采集單元101是位于顯示器1073上端的攝像頭。處理設備105封閉在底座中。
[0046]在工作過程中，視頻采集單元101、音頻采集單元102將其采集到的視、音頻信息發(fā)送給處理設備105，處理設備105對接收到的視、音頻信息進行識別，識別出人的特定動作或特定人的特定動作，向反應器107發(fā)出對應的指令信息，指令致動器1071、揚聲器1072、顯示器1073中的一個或多個完成反應動作。所述指令信息可以是產(chǎn)生特定動作的指令信息，發(fā)出特定聲音的指令信息或者是顯示特定畫面的指令信息。
[0047]這樣，就可以實現(xiàn)自動監(jiān)視環(huán)境中是否出現(xiàn)了特定動作，或特定人是否執(zhí)行了特定動作，一旦特定動作發(fā)生，就產(chǎn)生相應的反應的有益效果。
[0048]所述自動監(jiān)測與自主反應裝置I可以通過視頻采集單元101、音頻采集單元102以及其他裝置或單元，基于人臉識別、身高識別、聲音識別、攜帶手機發(fā)出的無線信號表明的身份中的一個或多個來識別人或特定人。多種識別人的方式結合相比于只靠單一的方式識另IJ，增加了識別人的準確度。
[0049]在識別人的情況下，由于人臉的模式是很像的，絕大多數(shù)人的身高也是在特定范圍內(nèi)、人的聲音頻率也是在特定范圍內(nèi)，因此，例如當拍攝的圖像中的某一區(qū)域與存儲的人臉的模式類似，且/或結合位置傳感器和/或深度傳感器感測到的人臉與自動監(jiān)測與反應裝置I的距離判斷出其身高在特定范圍內(nèi)，且/或音頻采集單元102采集到的音頻也在特定范圍內(nèi)，可識別出人的存在。
[0050]在識別特定人的情況下，可以預先將特定人的人臉的模式和/或身高和/或聲音頻率存儲在存儲器中。當拍攝的圖像中的某一區(qū)域與存儲的該特定人臉的模式匹配，且/或結合位置傳感器和/或深度傳感器感測到的該特定人臉與自動監(jiān)測與自主反應裝置I的距離判斷出其身高與存儲的身高匹配，且/或音頻采集單元102采集到的音頻的匹配與存儲的改特定人的聲音的頻率匹配時，可識別出特定人的存在。
[0051]識別人或特定人的存在也可以采用自學習的方法。例如，如果拍攝的圖像中的某個模式與采集到的聲音的某個頻率總是同時出現(xiàn)，可以在顯示器上顯示提示，即識別到了人，請自動監(jiān)測與自主反應裝置I旁的人判斷并命名。如果實況自動監(jiān)測與自主反應裝置I旁的人發(fā)現(xiàn)識別錯誤，則在顯示器的界面上反饋。接收到這種反饋后，在下一次拍攝的圖像中的這種模式與采集到的聲音的這種頻率同時出現(xiàn)時就不認為出現(xiàn)了人或特定人。在自學習的方式下，也可以預先不將特定人的人臉的模式和/或身高和/或聲音頻率存儲在存儲器中。
[0052]另外，也可以基于攜帶手機發(fā)出的無線信號表明的身份識別人或特定人。例如自動監(jiān)測與自主反應裝置I具有藍牙設備，用戶的手機中也具有藍牙無線單元。當自動監(jiān)測與自主反應裝置I識別出特定身份的藍牙無線單元出現(xiàn)在一定距離內(nèi)時，則認為識別出了特定人。
[0053]特定動作是通過事先為特定動作建立模型，并從視頻采集單元101、音頻采集單元102分別采集到的視頻、音頻信息中搜索與建立的模型的匹配識別的。
[0054]可選地，所述模型是預先輸入的標準化的模型，即人為地事先設定并根據(jù)設定的動作建立模型。例如，對于看電視這樣一個動作，建立一個模型:識別出一個人坐在沙發(fā)上；順著該人的目光方向看去，有一個物體；識別出該物體是電視；該人目光停留在電視上至少10秒。如果從視頻采集單元101拍攝的圖像中檢測到人，然后檢測到此人坐在沙發(fā)上(沙發(fā)的識別類似人臉識別，也可以通過模式匹配進行，也可以將人坐在沙發(fā)上的圖像整體作為一個對象進行模式匹配識別)，然后檢測此人的目光方向，然后檢測此人目光方向上的物體是否是電視(例如將電視作為一個對象進行模式匹配)，如果是則計數(shù)10秒。如果達到10秒則認為檢測到了看電視這樣一個動作。
[0055]當然，所述處理設備105也可以通過機器學習等自學習的方式自動建立動作模型。例如，處理設備105從視頻采集單元101、音頻采集單元102所采集的視、音頻中提取動作特征，并基于提取的特征建立動作模型。例如，從視頻采集單元101、音頻采集單元102所采集的視、音頻中發(fā)現(xiàn)有一個人坐在沙發(fā)上、順著此人目光看去的方向有一個電視、在此人目光停留在電視上的事件超過10秒的頻率超過閾值，則認為這是一個特定動作的模型。在這種情況下，動作模型可以不預先存儲在存儲器中，而是根據(jù)從視頻采集單元101、音頻采集單元102所采集的視、音頻以學習的方式提取動作的模型。
[0056]為了更準確地識別出特定動作，所述自動監(jiān)測與自主反應裝置I還包括深度傳感器197，由視頻采集單元101、音頻采集單元102以及深度傳感器通過采集的視、音頻以及感測的深度共同識別出特定動作。雖然在圖2中深度傳感器197位于顯示器上部邊框中心偏左的位置，其也可以設置在其他合理的位置。
[0057]深度傳感器197感測人或物體與自動監(jiān)測與自主反應裝置I的距離。當人或物體發(fā)生一個動作的時候，同樣的動作幅度由于與自動監(jiān)測與自主反應裝置I的距離不同在拍攝到的圖像中產(chǎn)生的變化幅度會是不同的。因此，結合深度傳感器，對動作能夠進行更準確的識別，從而提高識別精度。
[0058]圖3示出了根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應裝置的外部左視圖。如圖3所示，為了更好地采集信息，自動監(jiān)測與自主反應裝置I還可包括轉動裝置199，用于使視頻采集單元101轉動。優(yōu)選地，響應于從視頻采集單元101、音頻采集單元102分別采集到的視、音頻中識別出以下要素中的一個，轉動裝置199使視頻采集單元101向著面對識別出的要素的方向轉動:人或特定人；特定動作；異常狀況。
[0059]在一個實施例中，圖3所示的視頻采集單元101可以向著識別出的要素左右轉動。在另一個實施例中，圖3所示的視頻采集單元101可以向著識別出的要素上下左右轉動。
[0060]繼續(xù)參考圖2，如圖2所示，自動監(jiān)測與自主反應裝置I還可包括:光線傳感器198，用于感測自動監(jiān)測與自主反應裝置I周圍環(huán)境光線的變化，其中顯示器1073的顯示亮度是根據(jù)所述光線的變化調(diào)整的。如果周圍光線比較強，可以將顯示器的顯示亮度增加。如果周圍光線比較弱，可以將顯示器的顯示亮度減少。這樣，可以減少眼睛觀看顯示器的不舒適感。
[0061]雖然圖2中的光線傳感器位于顯示器上邊框的中心偏右的位置處，但其也可以設置在任何其他的合理的位置處。
[0062]以下是本發(fā)明實施例的幾個典型應用場景。
[0063]1.行為模式觸發(fā)的預測執(zhí)行系統(tǒng)
[0064]圖5示出了根據(jù)本發(fā)明的一個實施例的行為模式觸發(fā)的預測執(zhí)行系統(tǒng)的示意性框圖。在本實施例中，用戶每次回到家里，每次都是先換拖鞋，然后走到窗簾處將窗簾拉開。本實施例的自動監(jiān)測與自主反應裝置I就會學習用戶的行為模式，在用戶回到家里，換拖鞋后，幫用戶自動將窗簾拉開。
[0065]在此實施例中，致動器1071是窗簾開關。
[0066]圖5的行為模式觸發(fā)的預測執(zhí)行的具體過程如下。存儲器1051中存儲著視頻采集單元101、音頻采集單元102等識別出的各個人的各個動作的記錄。盡管一些動作不會產(chǎn)生反應器的反應，但這些動作仍然被記錄在存儲器1051中。當一些動作連續(xù)出現(xiàn)的次數(shù)超過一個預設的閾值，就把這些連續(xù)的動作記錄在存儲器1051中記錄為模型。例如，當用戶進門——換拖鞋——拉窗簾這一系列的動作出現(xiàn)超過10次，則將用戶進門——換拖鞋——拉窗簾記錄為模型。這時，當處理設備105根據(jù)視頻采集單元101、音頻采集單元102等采集的視、音頻識別出家里人或家里的特定人進門、然后換拖鞋，則認為與存儲器中存儲的用戶進門一換拖鞋一拉窗簾這一模型匹配，從而預測出下一步可能產(chǎn)生的動作是拉窗簾。因此，處理設備105向窗簾開關發(fā)出拉窗簾的指令信息，窗簾開關基于該指令信息拉上窗簾。
[0067]類型的應用場景還有例如，用戶進門，走進洗手間的洗澡龍頭下，摘下墻上掛著的洗澡用品，自動幫助用戶打開洗澡龍頭等。
[0068]I1.行為模式觸發(fā)的糾正致動系統(tǒng)
[0069]圖6示出了根據(jù)本發(fā)明的一個實施例的行為模式觸發(fā)的糾正致動系統(tǒng)的示意性框圖。在本實施例中，家長預先設定小孩看電視不能超過3個小時。如果超過3個小時，電視自動關機。
[0070]在此實施例中，致動器1071是電視開關。
[0071]圖6的行為模式觸發(fā)的糾正致動系統(tǒng)的工作過程如下。
[0072]存儲器1051存儲與特定動作和/或特定人的特定動作對應的限制條件、以及如果該限制條件被滿足應采取的強制動作。例如，前面提到的小孩看電視一不超過3小時一自動關機。
[0073]處理設備響應于從視頻采集單元101、音頻采集單元102采集的視、音頻信息識別出特定動作和/或特定人的特定動作，檢索與該特定動作和/或特定人的特定動作對應的限制條件，判斷該限制條件是否被滿足，且響應于判斷出該限制條件未被滿足，向致動器1071發(fā)出對應于該強制動作的指令信息，致動器1071基于該指令信息產(chǎn)生強制動作。例如，處理設備識別出小孩在看電視后，在存儲器1051中檢索出小孩看電視一不超過3小時一自動關機這樣一條信息，然后監(jiān)視小孩看電視的時長，當超過3小時后，向電視開關發(fā)出關電視的指令。電視開關基于該指令關電視。
[0074]其它的應用場景例如還有，睡覺超過8小時自動開燈開窗讓用戶起床等。
[0075]II1.行為模式觸發(fā)的報警系統(tǒng)
[0076]圖7示出了根據(jù)本發(fā)明的一個實施例的行為模式觸發(fā)的報警系統(tǒng)的示意性框圖。在本實施例中，當小孩看電視的時間超過3小時后，不是強制性關上電視，而是由揚聲器發(fā)出提醒。
[0077]行為模式觸發(fā)的報警系統(tǒng)的工作過程如下。
[0078]存儲器1051存儲與特定動作和/或特定人的特定動作對應的限制條件。例如，前面提到的小孩看電視一不超過3小時。[0079]處理設備105響應于識別出的特定動作和/或特定人的特定動作，檢索與該特定動作和/或特定人的特定動作對應的限制條件，判斷該限制條件是否被滿足，且響應于判斷出該限制條件未被滿足，向揚聲器1072發(fā)出指示提醒的指令信息。揚聲器1072基于該指令信息發(fā)出提醒聲音。例如，處理設備105識別出小孩在看電視后，在存儲器1051中監(jiān)視出小孩看電視一不超過3小時這一信息，監(jiān)視小孩看電視的時長。當判斷出超過3小時后，向揚聲器發(fā)出指示，指示揚聲器發(fā)出提醒。該提醒例如嘟嘟聲。
[0080]另外，也可以錄制好一段專用于該場景的提醒，例如“你看電視已經(jīng)超過3小時了，該歇歇了”，與小孩看電視一不超過3小時相關聯(lián)地存儲在存儲器中。處理設備105識別出小孩在看電視后，在存儲器1051中監(jiān)視出小孩看電視一不超過3小時一“你看電視已經(jīng)超過3小時了，該歇歇了”這一信息，監(jiān)視小孩看電視的時長。當判斷出超過3小時后，向揚聲器發(fā)出指示，指示揚聲器發(fā)出“你看電視已經(jīng)超過3小時了，該歇歇了”的語音提醒。
[0081]雖然圖7中示出了揚聲器1072，但也可以用顯示器1073取代揚聲器1072。當處理設備向顯示器發(fā)出提示提醒的指令信息后，顯示器基于該指令顯示提醒畫面。
[0082]IV.行為模式觸發(fā)的互動系統(tǒng)
[0083]圖8示出了根據(jù)本發(fā)明的一個實施例的行為模式觸發(fā)的互動系統(tǒng)的示意性框圖。在本實施例中，當家里的人走到洗衣機前時，顯示器1073上自動顯示洗衣機的操作步驟，供該人參考。
[0084]行為模式觸發(fā)的互動系統(tǒng)的工作過程如下。
[0085]存儲器1051存儲與特定動作和/或特定人的特定動作對應的互動畫面。例如人走到洗衣機面前一包含洗衣機的操作步驟的畫面。
[0086]處理設備105響應于從視頻采集單元101、音頻采集單元102采集到的視、音頻中識別到特定動作和/或特定人的特定動作，檢索與該特定動作和/或特定人的特定動作對應的互動畫面，向顯示器1073發(fā)出對應于該互動畫面的指令信息，由顯示器1073基于該指令信息顯示該互動畫面。例如，當處理設備105識別出人走到洗衣機面前時，在存儲器1051中檢索到人走到洗衣機面前一包含洗衣機的操作步驟的畫面這一條目，向顯示器1073發(fā)指令信息，由顯示器顯示包含洗衣機的操作步驟的畫面。
[0087]當然，顯示器1073可以被揚聲器1072代替。S卩，存儲器1051存儲與特定動作和/或特定人的特定動作對應的互動聲音。處理設備105響應于識別出的特定動作和/或特定人的特定動作，檢索與該特定動作和/或特定人的特定動作對應的互動聲音，向揚聲器1072或顯示器1073發(fā)出對應于該互動聲音的指令信息，由揚聲器1072基于該指令信息產(chǎn)生該互動聲音。
[0088]根據(jù)本發(fā)明的一個實施例，為了更好地采集信息，視頻采集單元101是可轉動的。優(yōu)選地，所述自動監(jiān)測與自主反應裝置I基于視頻采集單元101、音頻采集單元102所采集的視、音頻識別出以下要素中的一個，視頻采集單元101向著面對識別出的要素的方向轉動:人或特定人；特定動作。
[0089]在一個實施例中，圖3所示的視頻采集單元101可以向著識別出的要素左右轉動。在另一個實施例，圖3所示的視頻采集單元101可以向著識別出的要素上下左右轉動。
[0090]圖4示出了根據(jù)本發(fā)明一個實施例的自動監(jiān)測與自主反應方法2的流程圖。自動監(jiān)測與自主反應方法2包括:
[0091]步驟S1:采集環(huán)境的視頻、音頻信息；
[0092]步驟S2:響應于所采集的視頻、音頻信息，對視頻、音頻信息的內(nèi)容進行識別；
[0093]步驟S3:基于識別結果做出反應。
[0094]可選地，所述反應可包括以下中的一個或多個:產(chǎn)生特定反應動作；發(fā)出特定反應聲音；顯示特定反應畫面。
[0095]可選地，響應于所采集的視頻、音頻信息，對視頻、音頻信息的內(nèi)容進行識別的內(nèi)容可包括:從采集到的視頻、音頻信息中識別出特定動作和/或特定人的特定動作。
[0096]可選地，所述人或特定人可以是基于人臉識別、身高識別、聲音識別中的一個或多個來識別的。
[0097]可選地，該方法還可以包括接收攜帶手機發(fā)出的無線信號，且所述人或特定人是基于該無線信號中標明的攜帶手機的身份來識別的。
[0098]可選地，所述特定動作可基于所采集的視頻、音頻信息和深度傳感器感測的深度進行識別。
[0099]可選地，特定動作可以是通過事先為特定動作建立模型，并從采集到的視頻、音頻信息中搜索與建立的模型的匹配識別的。
[0100]可選地，所述模型可以是通過自學習的方式產(chǎn)生的。
[0101]可選地，所述模型可以是預先輸入的標準化的模型。
[0102]附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應當注意，在有些作為替換的實現(xiàn)中，方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如，兩個連續(xù)的方框實際上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機指令的組合來實現(xiàn)。
[0103]對于本領域技術人員而言，顯然本發(fā)明不限于上述示范性實施例的細節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其他的具體形式實現(xiàn)本發(fā)明。因此，無論從哪一點來看，均應將實施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。不應將權利要求中的任何附圖標記視為限制所涉及的權利要求。
【權利要求】
1.一種自動監(jiān)測與自主反應裝置(1)，包括: 視頻采集單元(101)，用于實時采集并發(fā)送視頻信息； 音頻采集單元(102)，用于實時采集并發(fā)送音頻信息； 處理設備(105)，用于響應于所接收的視頻、音頻信息，對視頻、音頻信息的內(nèi)容進行識別并發(fā)出指令信息； 反應器(107)，用于接收所述指令信息并按照所述指令信息作出反應。
2.根據(jù)權利要求1所述的自動監(jiān)測與自主反應裝置(1)，其中所述反應器(107)包括以下中的一個或多個: 致動器(1071)，用于響應于所述指令信息是要求產(chǎn)生特定反應動作的信息，產(chǎn)生特定反應動作； 揚聲器(1072)，用于響應于所述指令信息是要求發(fā)出特定反應聲音的信息，發(fā)出特定反應聲音； 顯示器(1073)，用于響應于所述指令信息是要求顯示特定反應畫面的信息，顯示特定反應畫面。
3.根據(jù)權利要求2所述的自動監(jiān)測與自主反應裝置(I)，所述處理設備(105)耦合或包含有存儲器(1051)， 用于存儲監(jiān)測和反應記錄，且響應于調(diào)取請求，處理設備(105)調(diào)取存儲器(1051)上的相關記錄。
4.根據(jù)權利要求3所述的自動監(jiān)測與自主反應裝置(I)，所述處理設備(105)從視頻采集單元(101)、音頻采集單元(102)采集到的視頻、音頻信息中識別出人的特定動作或特定人的特定動作，并發(fā)出與該人的特定動作或特定人的特定動作對應的指令信息。
5.根據(jù)權利要求4所述的自動監(jiān)測與自主反應裝置(I)，其中所述人或特定人是基于人臉識別、身高識別、聲音識別中的一個或多個來識別的。
6.根據(jù)權利要求4所述的自動監(jiān)測與自主反應裝置(1)，其中處理設備(105)還接收攜帶手機發(fā)出的無線信號，基于該無線信號中標明的攜帶手機的身份，來識別人或特定人。
7.根據(jù)權利要求4所述的自動監(jiān)測與自主反應裝置(I)，其中特定動作是通過事先為特定動作建立模型，并從視頻采集單元(101)、音頻采集單元(102)分別采集到的視頻、音頻信息中搜索與建立的模型的匹配識別的。
8.根據(jù)權利要求7所述的自動監(jiān)測與自主反應裝置(I)，其中所述模型是通過自學習的方式產(chǎn)生的。
9.根據(jù)權利要求7所述的自動監(jiān)測與自主反應裝置(I)，其中所述模型是預先輸入的標準化的模型。
10.根據(jù)權利要求4所述的自動監(jiān)測與自主反應裝置(I)，還包括深度傳感器，所述特定動作是基于視頻采集單元(101)、音頻采集單元(102)分別采集到的視頻、音頻以及深度傳感器感測的深度識別的。
【文檔編號】H04N7/18GK104023208SQ201410247458
【公開日】2014年9月3日 申請日期:2014年6月5日 優(yōu)先權日:2014年6月5日
【發(fā)明者】宋晨楓 申請人:北京小魚兒科技有限公司