背景技術(shù)：

人-機(jī)交互使用許多形式，包含語(yǔ)言(打字、語(yǔ)音辨識(shí)、屏幕上文字顯示、語(yǔ)音合成及其類似者)及視覺(靜態(tài)及視頻相機(jī)、圖形顯示器及其類似者)。臉部檢測(cè)、辨識(shí)、表情等等形成人與人通信的重要部分且因此對(duì)人機(jī)交互也較重要。存在適于在靜態(tài)圖像及視頻中檢測(cè)、跟蹤、辨識(shí)臉部的許多方法及應(yīng)用，包含情緒檢測(cè)、性別分類、唇讀、眼睛/注視跟蹤等。

用于臉部或一般對(duì)象檢測(cè)及跟蹤的傳統(tǒng)系統(tǒng)使用計(jì)算密集算法，所述計(jì)算密集算法需要高速、高功耗微處理器，用于移動(dòng)大量操作數(shù)的高消耗的數(shù)據(jù)路徑帶寬，及大使用量的存儲(chǔ)器。這些系統(tǒng)通常使用靜態(tài)/視頻相機(jī)捕獲基于強(qiáng)度的圖像并將其遞送到通用微處理器，所述通用微處理器分析所述圖像，在屏幕上顯示所收集的圖像，或基于因此所檢索的場(chǎng)景信息而以其它方式動(dòng)作。鑒于現(xiàn)有系統(tǒng)的高功率消耗，用于臉部或一般對(duì)象檢測(cè)的使用案例及應(yīng)用已變得相當(dāng)有限。舉例，對(duì)便攜式、電池供電裝置來(lái)說(shuō)，相機(jī)及處理器子系統(tǒng)無(wú)法大部分時(shí)間保持接通。

技術(shù)實(shí)現(xiàn)要素：

本文中所揭示的技術(shù)利用出于檢測(cè)、跟蹤、辨識(shí)及/或分析專用相機(jī)的視野中的主體、對(duì)象及場(chǎng)景的目的而將所述相機(jī)與專用計(jì)算機(jī)視覺(cv)計(jì)算硬件及專用低功率微處理器整合在一起的視覺傳感器。所述視覺傳感器使用所述所包含低功率微處理器來(lái)處理從所述相機(jī)檢索的信息且僅在需要時(shí)或如由應(yīng)用程序所定義及配置發(fā)送用于主處理器的“事件”(或已發(fā)生一或多個(gè)參考情況的指示)。此允許通用微處理器(其通常為相對(duì)高速且高功率以支持各種應(yīng)用程序)以如常規(guī)大部分時(shí)間保持處于低功率(例如，睡眠模式)，而僅在從所述視覺傳感器檢索到事件時(shí)才變成作用中的。

根據(jù)描述，用于感測(cè)動(dòng)態(tài)的基于場(chǎng)景的發(fā)生的智能傳感器可包括專用計(jì)算機(jī)視覺(cv)計(jì)算硬件，其經(jīng)配置以從包括多于一個(gè)傳感器像素的傳感器陣列接收傳感器數(shù)據(jù)且能夠使用來(lái)自所述傳感器陣列的相鄰傳感器像素的讀數(shù)來(lái)計(jì)算一或多個(gè)cv特征；及第一處理單元，與所述專用cv計(jì)算硬件以通信方式耦合且經(jīng)配置以處理由基于所述一或多個(gè)所計(jì)算cv特征的操作所產(chǎn)生的信號(hào)。智能傳感器可經(jīng)配置以響應(yīng)于所述第一處理單元對(duì)由基于所述一或多個(gè)所計(jì)算cv特征的所述操作所產(chǎn)生的所述信號(hào)的所述處理而產(chǎn)生事件以由第二處理單元接收，所述事件指示用于所述第二處理單元的參考情況。

智能傳感器可包含以下特征中的一或多者。所述參考情況可為以下各項(xiàng)中的一或多者：人臉進(jìn)入視野、人體進(jìn)入視野、人臉上表達(dá)的情緒、非人類動(dòng)物臉部進(jìn)入視野、非人類動(dòng)物身體進(jìn)入視野、人手進(jìn)入視野、手勢(shì)、參考對(duì)象進(jìn)入視野、從室內(nèi)環(huán)境到室外環(huán)境的改變、參考移動(dòng)、指示下降的場(chǎng)景中的快速移動(dòng)、指示碰撞風(fēng)險(xiǎn)的朝向?qū)ο蟮倪\(yùn)動(dòng)、指示危險(xiǎn)的場(chǎng)景中的移動(dòng)或?qū)ο?，或其任何組合。事件可包括臉部檢測(cè)。專用cv計(jì)算硬件可經(jīng)配置以提供局部二進(jìn)制模式(lbp)。智能傳感器可包括級(jí)聯(lián)分類器硬件，所述級(jí)聯(lián)分類器硬件經(jīng)配置以檢測(cè)參考對(duì)象在耦合到所述專用cv計(jì)算硬件的所述傳感器數(shù)據(jù)的子集中的存在?；谒鲆换蚨鄠€(gè)所計(jì)算cv特征的操作可包括由所述級(jí)聯(lián)分類器硬件執(zhí)行的操作，所述參考情況與所述參考對(duì)象相關(guān)聯(lián)。所述第一處理單元可經(jīng)配置以在所述級(jí)聯(lián)分類器硬件檢測(cè)到所述參考對(duì)象的所述存在時(shí)從所述級(jí)聯(lián)分類器硬件接收所述參考對(duì)象的所述存在的指示。所述專用cv計(jì)算硬件可經(jīng)配置以從所述傳感器陣列接收原始傳感器數(shù)據(jù)，且傳感器陣列與專用cv計(jì)算硬件之間未安置有任何圖像信號(hào)處理電路。所述專用cv計(jì)算硬件可包括集成電路。所述智能傳感器可經(jīng)配置以禁用所述專用cv計(jì)算硬件的至少部分以產(chǎn)生指示環(huán)境光感測(cè)、接近度檢測(cè)、參考對(duì)象的接近度、運(yùn)動(dòng)檢測(cè)，或其任何組合的至少一個(gè)較低功率光學(xué)傳感器讀數(shù)。所述智能傳感器可基于所述至少一個(gè)較低功率光學(xué)傳感器讀數(shù)而產(chǎn)生所述參考情況。所述智能傳感器可經(jīng)配置以在以較低功率模式操作時(shí)禁用所述專用cv計(jì)算硬件的至少部分，檢測(cè)所述較低功率模式中的場(chǎng)景改變，及基于所述場(chǎng)景改變的檢測(cè)而激活所述專用cv計(jì)算硬件。所述事件可指示所述第二處理單元的所述參考情況且進(jìn)一步包含與所述參考情況相關(guān)聯(lián)的數(shù)據(jù)。所述智能傳感器可經(jīng)配置以執(zhí)行較高功率操作作為基于所述一或多個(gè)所計(jì)算cv特征的所述操作的至少部分，所述較高功率操作消耗比較低功率操作多的功率，且基于所述事件提供關(guān)于所述較低功率操作的參數(shù)。所述智能傳感器可經(jīng)配置以執(zhí)行較低功率操作作為基于所述一或多個(gè)所計(jì)算cv特征的所述操作的至少部分，所述較低功率操作消耗比較高功率操作少的功率，且提供關(guān)于所述較高功率操作的傳感器讀數(shù)。

根據(jù)描述，一種用于確定臉部檢測(cè)事件的實(shí)例設(shè)備可包括：傳感器陣列，其包括多于一個(gè)傳感器像素；專用計(jì)算機(jī)視覺(cv)計(jì)算硬件，其能夠接收來(lái)自所述傳感器陣列的傳感器數(shù)據(jù)且使用來(lái)自所述傳感器陣列的相鄰傳感器像素的讀數(shù)來(lái)計(jì)算cv特征；及第一處理單元，其與所述專用cv計(jì)算硬件以通信方式耦合且經(jīng)配置以依據(jù)由基于所述一或多個(gè)所計(jì)算cv特征的操作所產(chǎn)生的一或多個(gè)信號(hào)而確定已檢測(cè)到臉部，且響應(yīng)于所述確定，產(chǎn)生待由第二處理單元接收的臉部檢測(cè)事件。

所述設(shè)備可包含以下特征中的一或多者。所述設(shè)備可包括所述第二處理單元，其中所述第一處理單元經(jīng)配置以在所述第二處理單元以低功率模式操作時(shí)將所述臉部檢測(cè)事件傳達(dá)到所述第二處理單元。所述專用cv計(jì)算硬件可經(jīng)配置以從所述傳感器陣列接收原始傳感器數(shù)據(jù)，且傳感器陣列與專用cv計(jì)算硬件之間未安置任何圖像信號(hào)處理電路。所述設(shè)備可包括外圍電路，其經(jīng)配置以提供以下各項(xiàng)中的至少一者：定時(shí)操作、聚焦操作、自動(dòng)曝光校正操作、對(duì)象檢測(cè)、對(duì)象辨識(shí)、存儲(chǔ)掃描窗口、事件排隊(duì)及/或處理操作、模擬處理、模/數(shù)轉(zhuǎn)換、積分操作、cv特征計(jì)算、基于級(jí)聯(lián)分類器的分類、基于直方圖的分類，或存儲(chǔ)器緩沖器，或其任何組合。所述設(shè)備可包括所述第二處理單元，且所述第一處理單元可經(jīng)進(jìn)一步配置以在所述第二處理單元以低功率模式操作時(shí)將所述臉部檢測(cè)事件傳達(dá)到所述第二處理單元。

根據(jù)描述，用于用設(shè)備感測(cè)動(dòng)態(tài)的基于場(chǎng)景的發(fā)生的方法，可包括：用專用計(jì)算機(jī)視覺(cv)計(jì)算硬件，接收來(lái)自包括多于一個(gè)傳感器像素的傳感器陣列的傳感器數(shù)據(jù)；用所述專用cv計(jì)算硬件，使用來(lái)自所述傳感器陣列的相鄰傳感器像素的讀數(shù)來(lái)計(jì)算一或多個(gè)cv特征；用第一處理單元，處理由基于所述一或多個(gè)所計(jì)算cv特征的操作所產(chǎn)生的信號(hào)；及響應(yīng)于所述第一處理單元對(duì)由基于所述一或多個(gè)所計(jì)算cv特征的所述操作所產(chǎn)生的所述信號(hào)的所述處理，產(chǎn)生事件以由第二處理單元接收，所述事件指示用于所述第二處理單元的參考情況。

所述方法可進(jìn)一步包含以下特征中的一或多者。所述參考情況可為以下各項(xiàng)中的一或多者：人臉進(jìn)入視野、人體進(jìn)入視野、人臉上表達(dá)的情緒、非人類動(dòng)物臉部進(jìn)入視野、非人類動(dòng)物身體進(jìn)入視野、人手進(jìn)入視野、手勢(shì)、參考對(duì)象進(jìn)入視野、從室內(nèi)環(huán)境到室外環(huán)境的改變、參考移動(dòng)、指示下降的場(chǎng)景中的快速移動(dòng)、指示碰撞風(fēng)險(xiǎn)的朝向?qū)ο蟮倪\(yùn)動(dòng)、指示危險(xiǎn)的場(chǎng)景中的移動(dòng)或?qū)ο?，或其任何組合。所述方法可包括：運(yùn)用所述專用cv計(jì)算硬件提供局部二進(jìn)制模式(lbp)。所述方法可包括：運(yùn)用級(jí)聯(lián)分類器硬件檢測(cè)所述傳感器數(shù)據(jù)的子集中存在參考對(duì)象，其中基于所述一或多個(gè)所計(jì)算cv特征的所述操作包括由所述級(jí)聯(lián)分類器硬件執(zhí)行的操作，所述參考情況與所述參考對(duì)象相關(guān)聯(lián)。所述方法可包括：在所述級(jí)聯(lián)分類器硬件檢測(cè)到所述參考對(duì)象的所述存在時(shí)，通過(guò)所述第一處理單元，從所述級(jí)聯(lián)分類器硬件接收所述參考對(duì)象的所述存在的指示。所述方法可包括：禁用所述專用cv計(jì)算硬件的至少部分以產(chǎn)生指示環(huán)境光感測(cè)、接近度檢測(cè)、參考對(duì)象的接近度、運(yùn)動(dòng)檢測(cè)，或其任何組合的至少一個(gè)較低功率光學(xué)傳感器讀數(shù)。所述方法可進(jìn)一步包括：基于所述至少一個(gè)較低功率光學(xué)傳感器讀數(shù)而檢測(cè)所述參考情況。所述方法可進(jìn)一步包括：在以較低功率模式操作時(shí)禁用所述專用cv計(jì)算硬件的至少部分，檢測(cè)在以所述較低功率模式操作時(shí)的場(chǎng)景改變；及基于所述場(chǎng)景改變的檢測(cè)而激活所述專用cv計(jì)算硬件的所述經(jīng)禁用的至少部分。運(yùn)用所述專用cv計(jì)算硬件接收來(lái)自所述傳感器陣列的所述傳感器數(shù)據(jù)包括：接收來(lái)自所述傳感器陣列的原始傳感器數(shù)據(jù)且其中在所述接收之前不對(duì)所述傳感器數(shù)據(jù)執(zhí)行任何圖像信號(hào)處理。

根據(jù)描述，一種用于確定臉部檢測(cè)事件的方法可包含：運(yùn)用專用計(jì)算機(jī)視覺(cv)計(jì)算硬件接收來(lái)自傳感器陣列的傳感器數(shù)據(jù)；使用來(lái)自所述傳感器陣列的相鄰傳感器像素的讀數(shù)來(lái)計(jì)算一或多個(gè)cv特征；及使用第一處理單元：依據(jù)由基于所述一或多個(gè)所計(jì)算cv特征的操作所產(chǎn)生的一或多個(gè)信號(hào)而確定已檢測(cè)到臉部；及響應(yīng)于所述確定，產(chǎn)生臉部檢測(cè)事件以由第二處理單元接收。運(yùn)用所述專用cv計(jì)算硬件接收來(lái)自所述傳感器陣列的所述傳感器數(shù)據(jù)可包括：接收來(lái)自所述傳感器陣列的原始傳感器數(shù)據(jù)且其中在所述接收之前不對(duì)所述傳感器數(shù)據(jù)執(zhí)行任何圖像信號(hào)處理。

附圖說(shuō)明

可通過(guò)參考以下圖來(lái)實(shí)現(xiàn)對(duì)各種實(shí)施例的性質(zhì)及優(yōu)點(diǎn)的進(jìn)一步理解。

圖1說(shuō)明其中用戶可與并有本文中所描述的特征及技術(shù)的移動(dòng)裝置交互的實(shí)例設(shè)置。

圖2a為根據(jù)一個(gè)實(shí)施例的包含傳感器系統(tǒng)及主處理器的配置的框圖。

圖2b為根據(jù)一個(gè)實(shí)施例的具有傳感器陣列單元、微處理器及實(shí)例外圍電路214的傳感器系統(tǒng)的框圖。

圖3a到3c為根據(jù)一些實(shí)施例說(shuō)明可如何利用傳感器系統(tǒng)的組件來(lái)提供低功率傳感器處理的框圖。

圖4為根據(jù)實(shí)施例的感測(cè)動(dòng)態(tài)的基于場(chǎng)景的情況的方法的流程圖。

圖5為實(shí)例傳感器陣列的簡(jiǎn)化說(shuō)明。

圖6為圖5的傳感器陣列的實(shí)例配置的簡(jiǎn)化說(shuō)明。

圖7到9為說(shuō)明用于使用傳感器系統(tǒng)進(jìn)行計(jì)算機(jī)視覺計(jì)算及較低功率光學(xué)傳感器讀數(shù)的實(shí)例方法的流程圖。

圖10a到10b為說(shuō)明用于計(jì)算機(jī)視覺計(jì)算及較低功率光學(xué)傳感器讀數(shù)的傳感器系統(tǒng)的實(shí)例狀態(tài)的狀態(tài)圖。

圖11a到11c說(shuō)明根據(jù)一些實(shí)施例的將傳感器讀數(shù)從多個(gè)傳感器元件轉(zhuǎn)換到cv特征的過(guò)程。

圖12為可利用本文中所描述的技術(shù)及特征的移動(dòng)裝置的實(shí)例的框圖。

具體實(shí)施方式

后續(xù)描述僅提供實(shí)施例，且并不意欲限制本發(fā)明的范圍、適用性或配置。確切地說(shuō)，實(shí)施例的后續(xù)描述將為所屬領(lǐng)域的技術(shù)人員提供用于實(shí)施實(shí)施例的啟用性描述。應(yīng)理解，可在不脫離本發(fā)明的范圍的情況下對(duì)元件的功能及配置作出各種改變。

圖1說(shuō)明其中用戶130可與并有本文中所描述的特征及技術(shù)的移動(dòng)裝置105交互的實(shí)例設(shè)置100。此處，用戶130可至少部分地經(jīng)由傳感器系統(tǒng)與移動(dòng)裝置105互動(dòng)，所述傳感器系統(tǒng)具有專用相機(jī)、專用計(jì)算機(jī)視覺(cv)計(jì)算硬件及專用低功率微處理器，如下文中所描述。這些特征使得移動(dòng)裝置105能夠檢測(cè)、跟蹤、辨識(shí)及/或分析主體(例如，用戶130)及相機(jī)的視野105內(nèi)的其它對(duì)象及場(chǎng)景。所述傳感器系統(tǒng)使用所述所包含嵌入式處理器來(lái)處理從所述相機(jī)檢索的信息且僅在需要時(shí)或如由應(yīng)用程序定義及配置時(shí)發(fā)送用于主處理器的“事件”(或已發(fā)生一或多個(gè)參考情況的指示)。此允許通用微處理器(其通常為相對(duì)高速且高功率以支持各種應(yīng)用程序)以如常規(guī)大部分時(shí)間保持處于低功率(例如，睡眠模式)，而僅在從所述傳感器系統(tǒng)接收事件時(shí)才變成作用中的。雖然參考移動(dòng)裝置105說(shuō)明及描述，但應(yīng)理解，能夠執(zhí)行對(duì)象檢測(cè)、辨識(shí)等的智能傳感器可用于各種應(yīng)用(包含物聯(lián)網(wǎng)(iot)應(yīng)用)中。

如本文中所描述，專用cv計(jì)算硬件至少部分地基于與相鄰傳感器元件相關(guān)聯(lián)的信號(hào)而計(jì)算或能夠計(jì)算傳感器陣列單元中的每一傳感器元件或像素的cv特征或局部cv特征。(本文中，術(shù)語(yǔ)“局部”指基于一或多個(gè)相鄰傳感器元件而非整個(gè)圖像的統(tǒng)計(jì)或其它數(shù)學(xué)評(píng)估所計(jì)算的特征。)如本文中所描述，包含主體傳感器元件的傳感器元件及相對(duì)靠近于主體傳感器元件的其它傳感器元件可被稱作相鄰傳感器元件。在本發(fā)明的某些方面中，相鄰傳感器元件可包含主體傳感器元件及緊鄰近主體傳感器元件的傳感器元件。在本發(fā)明的某些其它方面中，相鄰傳感器元件還可包含相對(duì)靠近于主體傳感器元件且并非緊相鄰的傳感器元件。例如，在某些情況中，從主體傳感器元件起三個(gè)傳感器元件內(nèi)的傳感器元件在多個(gè)傳感器的寬度或高度為六十四個(gè)傳感器元件時(shí)仍可被視為相鄰傳感器元件。

如本文中所描述，cv特征或局部cv特征可指檢測(cè)低級(jí)計(jì)算機(jī)視覺標(biāo)記或指示符，例如與每一傳感器元件或傳感器的像素相關(guān)聯(lián)的標(biāo)簽。如下文進(jìn)一步詳細(xì)指示，此些cv特征可包含例如符號(hào)梯度直方圖(hsg)及/或局部二進(jìn)制模式(lbp)的輸出。lbp計(jì)算可基于相鄰傳感器元件，例如，參考或主體傳感器像素及其八個(gè)緊鄰近的相鄰傳感器像素。lbp計(jì)算可基于參考像素的緊鄰近的相鄰像素的相應(yīng)強(qiáng)度差而對(duì)其每一者進(jìn)行評(píng)分。(將針對(duì)不同顏色通道(例如，紅色、藍(lán)色及綠色)使用不同lbp處理顏色。)hsg計(jì)算還使用相鄰傳感器元件，例如，參考像素及一或多個(gè)緊鄰近的相鄰像素以檢測(cè)場(chǎng)景內(nèi)的各種特征。

例如，在圖1的設(shè)置100中，用戶130可已在移動(dòng)裝置105的通用微處理器處于睡眠模式時(shí)拿起所述移動(dòng)裝置。然而，移動(dòng)裝置105的傳感器系統(tǒng)可保持作用中且可能夠(例如)辨識(shí)用于130的臉部、手勢(shì)、場(chǎng)景中的其它對(duì)象，及/或其類似者。在辨識(shí)已發(fā)生某些參考情況時(shí)—在此狀況下，用戶130的特殊臉部特征在傳感器系統(tǒng)的視野110內(nèi)—傳感器系統(tǒng)可將指示已辨識(shí)用戶130的臉部特征及/或致使移動(dòng)裝置的通用微處理器退出低功率模式且變得完全作用中的事件發(fā)送到移動(dòng)裝置的通用微處理器。

致使傳感器系統(tǒng)將事件發(fā)送到移動(dòng)裝置的通用微處理器的參考情況可取決于所要功能性而包含各種可cv檢測(cè)情況中的任一者。這些情況可包含(例如)臉部及/或?qū)ο髾z測(cè)、臉部及/或?qū)ο蟊孀R(shí)、手勢(shì)辨識(shí)，及/或其類似者。在一些實(shí)施例中，一或多個(gè)參考情況可由用戶130配置。下文中提供參考情況的額外實(shí)例。

因?yàn)閷Ｓ孟鄼C(jī)專用于傳感器系統(tǒng)，所以其可能并非主要用于拍攝照片或錄制視頻。因此，專用相機(jī)可不能產(chǎn)生基于強(qiáng)度的圖像。替代地，專用相機(jī)可包含像素級(jí)計(jì)算機(jī)視覺特征計(jì)算，如同lbp、梯度、邊緣、hsg及/或其它運(yùn)算，其中來(lái)自專用相機(jī)的相鄰傳感器像素用于計(jì)算cv特征以用于所述特征的低功率的基于硬件的計(jì)算。

也就是說(shuō)，盡管可使用包括專用相機(jī)的傳感器系統(tǒng)，但實(shí)施例并不限于此。更廣泛來(lái)說(shuō)，傳感器系統(tǒng)可包含傳感器陣列單元，所述傳感器陣列單元包含用于感測(cè)化學(xué)、視覺、聽覺、生物、機(jī)械及/或其它類型的輸入的傳感器單元。

另外，盡管圖1及其它實(shí)施例描述經(jīng)并入到移動(dòng)裝置中的傳感器系統(tǒng)，但實(shí)施例并不限于此。由本文中所描述的技術(shù)及特征帶來(lái)的功率節(jié)省可對(duì)移動(dòng)裝置(例如，移動(dòng)電話、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、便攜式媒體播放器及/或其類似者)具有特別益處，但其它裝置(例如，電視、桌上型計(jì)算機(jī)及/或可通常并不視為移動(dòng)的其它裝置)可利用本文中所描述的特征及技術(shù)。

圖2a為根據(jù)一個(gè)實(shí)施例說(shuō)明傳感器系統(tǒng)210(其在本文中還被稱作“智能傳感器”)可如何經(jīng)配置以在主處理器220可以低功率(例如，“睡眠”或“備用”)模式操作的同時(shí)實(shí)現(xiàn)高級(jí)感測(cè)操作的框圖。圖2a的組件可并入到較大電子裝置。下文關(guān)于圖5描述可傳感器系統(tǒng)210可并入其中的移動(dòng)裝置的實(shí)例。

此外，應(yīng)理解，替代實(shí)施例可不同于圖2a中所展示的組件。例如，如下文所描述，傳感器系統(tǒng)210的實(shí)施例可或可不包含外圍電路214、微處理器216及/或存儲(chǔ)器218。另外或替代地，實(shí)施例可取決于所要功能性而組合、分離、添加、省略及/或重新布置圖2a的組件。例如，在傳感器系統(tǒng)210包括傳感器陣列(例如，像素陣列或相機(jī))，可利用一些光學(xué)器件來(lái)在輸入(例如，光)到達(dá)傳感器陣列之前操縱所述輸入(例如，光)。應(yīng)注意，盡管實(shí)施例在本文中描述“圖像陣列”的使用，但實(shí)施例并不限于此，可更廣泛地使用未必產(chǎn)生或捕獲圖像的傳感器陣列。(圖2b(在下文更詳細(xì)描述)根據(jù)一個(gè)實(shí)施例說(shuō)明具有傳感器陣列單元212、微處理器216及實(shí)例外圍電路214的傳感器系統(tǒng)210。)

如圖2a中所說(shuō)明，接收輸入的傳感器系統(tǒng)210可包括傳感器陣列單元212、外圍電路214、微處理器216及/或存儲(chǔ)器218。電子傳感器可通過(guò)有線或無(wú)線連接與電子裝置的主處理器220(例如，移動(dòng)電話的應(yīng)用程序處理器)以通信方式耦合，此可提供查詢到傳感器系統(tǒng)210且從傳感器系統(tǒng)210接收事件及/或其它觸發(fā)。在一些實(shí)施例中，“主處理器”220可簡(jiǎn)單地對(duì)應(yīng)于比微處理器216大(例如，在處理能力方面較大及/或在電力使用方面較大)的處理單元。在一些實(shí)施方案中，微處理器216可對(duì)應(yīng)于專用微處理器或第一處理單元且可經(jīng)配置以消耗比主處理器220(其可對(duì)應(yīng)于第二處理單元)少的功率。

取決于電子傳感器的所要功能性，所使用傳感器陣列單元212的類型可變化。如先前所指示，傳感器陣列單元212可包含用于感測(cè)化學(xué)、視覺、聽覺、生物、機(jī)械及/或其它類型的輸入的傳感器單元的陣列(例如，一維或二維陣列)。例如，傳感器陣列單元212可包括相機(jī)傳感器或其它視覺及/或傳感器陣列，其中多個(gè)傳感器單元形成像素網(wǎng)格。

在一些實(shí)施例中，傳感器陣列單元212可包含“智能”陣列，所述“智能”陣列包含借以可對(duì)傳感器單元的一或多個(gè)輸出執(zhí)行操作的一些額外存儲(chǔ)器及/或邏輯電路。在一些實(shí)施例中，傳感器陣列中的每一傳感器像素可與存儲(chǔ)器及/或邏輯電路耦合，所述存儲(chǔ)器及/或邏輯電路可為或可并非外圍電路214的部分(下文更詳細(xì)地論述)。除傳感器單元的原始傳感器讀數(shù)外或作為其替代方案，傳感器陣列單元212及/或外圍電路的輸出可包含輸出。例如，在一些實(shí)施例中，傳感器陣列單元212及/或外圍電路可包含專用cv計(jì)算硬件，所述專用cv計(jì)算硬件經(jīng)配置以從包括多于一個(gè)傳感器像素的傳感器陣列單元212的傳感器陣列接收?qǐng)D像數(shù)據(jù)。可接著使用來(lái)自傳感器陣列的相鄰傳感器像素的讀數(shù)通過(guò)專用cv計(jì)算硬件來(lái)計(jì)算或提取cv特征，從而提供例如所計(jì)算hsg及/或lbp特征、標(biāo)簽或描述符的輸出。在一些實(shí)施例中，傳感器陣列單元212與專用cv計(jì)算硬件之間可未安置任何圖像信號(hào)處理電路。換句話說(shuō)，專用cv計(jì)算硬件可在對(duì)原始傳感器數(shù)據(jù)執(zhí)行任何圖像信號(hào)處理之前從傳感器陣列單元212接收原始傳感器數(shù)據(jù)。其它c(diǎn)v計(jì)算基于其它c(diǎn)v計(jì)算算法(包含邊緣檢測(cè)、拐角檢測(cè)、標(biāo)度不變特征變換(或sift)、快速魯棒特征(surf)、定向梯度直方圖(hog)、局部三進(jìn)制模式(ltp)等，以及上述中的任何者的擴(kuò)展)也是可能的。

傳感器陣列單元212的同步性(或異步性)也可取決于所要功能性。在一些實(shí)施例中，例如，傳感器陣列單元212可包括傳統(tǒng)(即，“基于幀”)相機(jī)，其中讀出電路經(jīng)定時(shí)以基于某些時(shí)序要求而提供對(duì)每一像素的周期性采樣。在一些實(shí)施例中，傳感器陣列單元212可包括事件驅(qū)動(dòng)陣列，通過(guò)所述事件驅(qū)動(dòng)陣列可在傳感器讀數(shù)或其它輸出到達(dá)某一閾值及/或改變某一閾值時(shí)確定傳感器輸出，而非按照特定采樣率(或除特定采樣率外)針對(duì)“智能”陣列，如上文所論述，傳感器讀數(shù)或其它輸出可包含額外存儲(chǔ)器及/或邏輯的輸出(例如，來(lái)自智能傳感器陣列的hsg或lbp輸出)。在一個(gè)實(shí)施例中，智能傳感器陣列可包括動(dòng)態(tài)視覺傳感器(dvs)，其中針對(duì)智能傳感器陣列中的每一像素，在像素值從先前值改變閾值量時(shí)異步地輸出所述值。在一些實(shí)施方案中，傳感器陣列單元212可為混合幀事件驅(qū)動(dòng)陣列，其以給定幀速率讀取值，但因僅讀取從上一讀取起已改變的陣列中的元件的值而節(jié)省功率。

外圍電路214還可取決于電子傳感器的所要功能性而變化。外圍電路214可經(jīng)配置以接收來(lái)自傳感器陣列單元212的信息。在一些實(shí)施例中，外圍電路214可接收來(lái)自傳感器陣列單元212內(nèi)的一些或所有像素、傳感器陣列電壓212的像素中電路的一些或全部(在具有顯著像素中電路的實(shí)施方案)或兩者的信息。針對(duì)其中傳感器陣列單元212提供同步輸出的實(shí)施例，例如，外圍電路可對(duì)傳感器陣列單元輸出提供定時(shí)及/或控制操作(例如，執(zhí)行基于幀及/或類似定時(shí))。由外圍電路214提供的其它功能性可包含事件排隊(duì)及/或處理操作、模擬處理、模/數(shù)轉(zhuǎn)換、積分操作(例如，像素值的一維或二維積分)、cv特征計(jì)算、對(duì)象分類(例如，基于級(jí)聯(lián)分類器的分類或基于直方圖的分類)，或直方圖操作、存儲(chǔ)器緩沖或其任何組合，“像素框值總和”、“相鄰像素值比較及取閾值”、“矢量點(diǎn)積計(jì)算”，及其類似者。在各種實(shí)施方案中，用于執(zhí)行此功能性的裝置可包含(例如)外圍電路214。在一些實(shí)施例中，外圍電路214耦合到傳感器陣列單元212的傳感器單元輸出且并不包含微處理器或其它處理單元。關(guān)于圖2b，下文中包含外圍電路214的一些實(shí)例。

這就是說(shuō)，一些實(shí)施例可進(jìn)一步包含耦合到外圍電路214的輸出的微處理器216。微處理器216通?？砂ㄌ幚韱卧?，所述處理單元相對(duì)于主處理器220以相對(duì)低功率操作。在一些實(shí)施方案中，微處理器216可使用其特有程序(例如，基于軟件)及數(shù)據(jù)存儲(chǔ)器來(lái)進(jìn)一步執(zhí)行計(jì)算機(jī)視覺及/或機(jī)器學(xué)習(xí)算法(其可基于幀及/或基于事件)。因此，微處理器216能夠在主處理器220以低功率模式操作的同時(shí)基于由傳感器陣列單元212接收的輸入執(zhí)行計(jì)算機(jī)視覺及/或機(jī)器學(xué)習(xí)功能。在微處理器216確定已發(fā)生需要到主處理器220的輸出的事件時(shí)，微處理器216可將事件傳達(dá)到主處理器220，此可使主處理器220離開其低功率模式且進(jìn)入正常操作模式。

任選地，在一些實(shí)施例中，可在將微處理器216的輸出中繼到主處理器220之前進(jìn)一步將其提供到存儲(chǔ)器218。存儲(chǔ)器218可包含由微處理器216基于將哪些事件或觸發(fā)發(fā)送到主處理器220所維持的工作存儲(chǔ)器及/或數(shù)據(jù)結(jié)構(gòu)。存儲(chǔ)器可用于(例如)存儲(chǔ)圖像、跟蹤所檢測(cè)對(duì)象，及/或執(zhí)行如下文關(guān)于圖2b更詳細(xì)論述的其它操作。另外或替代地，存儲(chǔ)器218可包含主處理器220可從傳感器系統(tǒng)210查詢的信息。主處理器220可執(zhí)行應(yīng)用程序軟件、算法等222，其中的一些可進(jìn)一步利用從傳感器系統(tǒng)210接收的信息。

如先前所述，傳感器系統(tǒng)210獨(dú)立于主處理器220執(zhí)行某些功能的能力(例如，圖像處理及/或計(jì)算機(jī)視覺功能)可在電子裝置中提供大量功率、速度及存儲(chǔ)器節(jié)省，所述電子裝置原本必須利用主處理器220來(lái)執(zhí)行傳感器系統(tǒng)210的功能中的一些或全部。特定來(lái)說(shuō)，傳感器陣列單元212、外圍電路214及微處理器216的組合允許能夠在由圖像陣列捕獲的動(dòng)態(tài)改變場(chǎng)景中檢測(cè)情況的場(chǎng)景理解。

在一個(gè)實(shí)例中，具有圖2a中所展示的配置的移動(dòng)電話可使用臉部檢測(cè)來(lái)退出備用模式。在此實(shí)例中，移動(dòng)電話進(jìn)入備用模式中，在所述備用模式中，移動(dòng)電話的顯示器被斷電，且主處理器220以低功率睡眠模式操作。然而，傳感器系統(tǒng)210及作為傳感器陣列單元212的圖像陣列繼續(xù)操作，從而在對(duì)象進(jìn)入及退出圖像陣列的視野時(shí)處理來(lái)自傳感器陣列212的數(shù)據(jù)。當(dāng)臉部進(jìn)入圖像陣列的視野時(shí)(例如在圖1中，當(dāng)用戶130的臉部進(jìn)入移動(dòng)裝置105的視野110中時(shí))，其可能被傳感器陣列單元212、外圍電路214、微處理器216或其任何組合檢測(cè)到。如果所檢測(cè)到的臉部保持在圖像陣列的視野中達(dá)閾限時(shí)間周期(例如，0.5秒、1秒、2秒等)，那么微處理器216可將臉部檢測(cè)事件發(fā)送到主處理器220，指示已發(fā)生臉部檢測(cè)。主處理器220及移動(dòng)電話的顯示器可接著切換回到正常操作模式。

如本文中別處所述，事件可為已發(fā)生一或多個(gè)參考情況的指示。更廣泛來(lái)說(shuō)，事件可包含與參考情況相關(guān)的數(shù)據(jù)。取決于所要功能性，包含在事件中的數(shù)據(jù)可指示所檢測(cè)的參考對(duì)象、與參考對(duì)象有關(guān)的位置信息、參考對(duì)象的數(shù)據(jù)、與所檢測(cè)的參考對(duì)象相關(guān)聯(lián)的移動(dòng)，及其類似者。此數(shù)據(jù)可以各種方式中的任一者傳達(dá)。例如，在對(duì)象檢測(cè)的狀況中，事件可為簡(jiǎn)單的二進(jìn)制輸出，其中“0”意味著尚未檢測(cè)到參考對(duì)象，且“1”意味著已檢測(cè)到參考對(duì)象。

事件可包含除已發(fā)生參考情況的指示外的信息。例如，事件還可包含與參考情況相關(guān)聯(lián)的一些數(shù)據(jù)。在一些實(shí)施例中，事件可包含n位/字節(jié)消息或多域消息，其中每一位或域經(jīng)映射到特定數(shù)據(jù)段。例如，事件可包含輸出，其中第一位/域指示是否已檢測(cè)到對(duì)象，第二位/域指示對(duì)象是在移動(dòng)還是靜止，第三位/域涉及對(duì)象的位置(或與位置相關(guān)的信息，例如，限界對(duì)象的最小框的四個(gè)拐角，或?qū)ο蟮墓战堑奈恢?，?，第四位/域涉及檢測(cè)到的對(duì)象的數(shù)目等。一般來(lái)說(shuō)，事件可包含任何數(shù)據(jù)(包含硬件計(jì)算cv特征)，或以任何方式與參考情況相關(guān)聯(lián)的圖像(除僅參考情況外還包含與參考情況有關(guān)的測(cè)量或計(jì)算)。

取決于所要功能性，參考情況可包含各種觸發(fā)(例如臉部或其它對(duì)象檢測(cè)事件，手勢(shì)事件，臉部及/或參考對(duì)象檢測(cè)及/或辨識(shí)，及其類似者)中的任一者。可使用各種臉部檢測(cè)算的中的任一者實(shí)施的臉部檢測(cè)可包含人臉或非人類動(dòng)物臉部(例如，狗、貓或其它寵物)進(jìn)入視野，或人體或非人類動(dòng)物身體進(jìn)入視野。此對(duì)象“進(jìn)入視野”可為對(duì)象的移動(dòng)及/或相機(jī)的移動(dòng)的結(jié)果。參考情況可能超過(guò)臉部檢測(cè)以從各種臉部特征及/或指示表情的那些特征的位置的分析來(lái)確定人臉的情緒或其它表情。另外或替代地，參考情況可包含對(duì)額外對(duì)象及/或?qū)ο笠苿?dòng)的檢測(cè)及/或辨識(shí)，例如，人手進(jìn)入視野、手勢(shì)、參考對(duì)象(例如，某些對(duì)象、標(biāo)識(shí)或其它參考對(duì)象)進(jìn)入視野，及其類似者。在一些實(shí)施例中，傳感器系統(tǒng)210可經(jīng)預(yù)經(jīng)配置以檢測(cè)某些參考對(duì)象。另外或替代地，由傳感器系統(tǒng)210進(jìn)行檢測(cè)及/或辨識(shí)的對(duì)象可通過(guò)用戶及/或由主處理器220執(zhí)行的應(yīng)用程序選擇。參考情況可包含所檢測(cè)到的環(huán)境改變(例如從室內(nèi)環(huán)境到室外環(huán)境的改變)、參考移動(dòng)、場(chǎng)景中的快速移動(dòng)(例如，指示降落)、朝向?qū)ο蟮倪\(yùn)動(dòng)(例如，指示碰撞的風(fēng)險(xiǎn))、指示危險(xiǎn)的場(chǎng)景中的移動(dòng)或?qū)ο?例如，火災(zāi)或火災(zāi)檢測(cè))，或其任何組合。在一些實(shí)施方案中，參考情況可與參考對(duì)象的檢測(cè)有關(guān)，或基于參考對(duì)象的檢測(cè)，如下文在圖2b及本文中的別處進(jìn)一步詳細(xì)描述。在一些實(shí)施方案中，一旦在圖像幀中檢測(cè)到參考對(duì)象，那么微處理器216可檢查以查看是否在隨后圖像幀中隨后檢測(cè)到相同對(duì)象。微處理器216可使用從外圍電路214接收到或由微處理器216自身產(chǎn)生的位置信息及與所檢測(cè)到對(duì)象相關(guān)聯(lián)的其它數(shù)據(jù)來(lái)確定參考情況的情況，此可基于參考對(duì)象的檢測(cè)。再次參考上一段中的臉部檢測(cè)的實(shí)例，如果對(duì)臉部(參考對(duì)象)的檢測(cè)保持在圖像陣列的視野達(dá)閾限時(shí)間周期，那么可發(fā)生臉部檢測(cè)(參考情況)，導(dǎo)致將對(duì)應(yīng)的臉部檢測(cè)事件發(fā)送到主處理器220。

圖2b說(shuō)明例如圖2a的傳感器系統(tǒng)210的傳感器系統(tǒng)的實(shí)例實(shí)施方案，包含傳感器陣列單元、cv計(jì)算硬件及微處理器，所述微處理器包含用于與第二微處理器進(jìn)行通信的接口。傳感器陣列單元212可包含相關(guān)雙采樣電路。例如，在其中使用組合式像素值或較低分辨率改進(jìn)cv計(jì)算的實(shí)施方案中，傳感器陣列單元212還可包含用以在將傳感器元件或像素信號(hào)或值輸出到線緩沖器230之前對(duì)所述信號(hào)進(jìn)行組合、求和或求平均的電路。線緩沖器230可包含一或多個(gè)線緩沖器以將表示圖像或圖像的部分的信號(hào)從傳感器陣列單元212傳送到視覺傳感器的其它部分。在一些實(shí)施方案中，傳感器元件陣列212(與更多常規(guī)傳感器陣列單元不同)可不包含用于圖像信號(hào)處理(isp)電路，且因此圖2b說(shuō)明其中未使用中間isp電路來(lái)連接傳感器陣列單元212及cv計(jì)算硬件242的實(shí)施方案，因此，在一些實(shí)施方案中，傳感器陣列單元212與硬件掃描窗口陣列238或?qū)Ｓ胏v計(jì)算硬件242之間未安置任何isp電路。例如，在一些實(shí)施方案中，由cv計(jì)算硬件242從傳感器陣列單元212接收的信號(hào)尚未經(jīng)受isp，例如，信號(hào)尚未經(jīng)受缺陷校正、白色平衡、顏色平衡、自動(dòng)聚焦、透鏡衰減、去馬賽克、去拜耳化或圖像清晰化或其任何組合中的一或多者。然而，在一些此類無(wú)isp實(shí)時(shí)方案中，一些處理可發(fā)生，例如聚焦或自動(dòng)曝光校正。尚未經(jīng)歷isp的此些信號(hào)可被稱作原始信號(hào)或原始傳感器讀數(shù)或原始傳感器數(shù)據(jù)。原始信號(hào)、原始傳感器讀數(shù)或原始傳感器數(shù)據(jù)可經(jīng)轉(zhuǎn)換成數(shù)字，經(jīng)積分以形成積分圖像，經(jīng)存儲(chǔ)在掃描窗口中，且專用cv計(jì)算硬件可經(jīng)配置以接收原始信號(hào)、原始傳感器讀數(shù)，或原始傳感器數(shù)據(jù)，但應(yīng)理解原始信號(hào)、原始傳感器讀數(shù)或原始傳感器數(shù)據(jù)已經(jīng)歷某一數(shù)據(jù)操縱(包含求和或積分)，但尚未經(jīng)歷isp。在一個(gè)實(shí)施方案中，傳感器陣列單元212為無(wú)isp電路的四分之一視頻圖形陣列(qvga)相機(jī)傳感器，其中陣列包括216×240個(gè)傳感器元件。

在各種實(shí)施方案中，cv計(jì)算硬件242可在數(shù)字或模擬域中執(zhí)行cv計(jì)算。因此，任選地，在數(shù)字實(shí)施方案中，模/數(shù)轉(zhuǎn)換器(adc)234可安置在線緩沖器230與cv計(jì)算硬件242之間。在一些實(shí)施方案中，cv計(jì)算硬件242在其為經(jīng)設(shè)計(jì)以幾乎不具有除計(jì)算cv特征、標(biāo)簽或描述符外的功能性的硬件的意義上為專用cv計(jì)算硬件。

在一些實(shí)施方案中，cv計(jì)算硬件242可使用與傳感器元件或像素的塊相關(guān)聯(lián)的信號(hào)的組合、和或平均數(shù)。在此些實(shí)施方案中，積分圖像可在輸入到cv計(jì)算硬件242之前用于計(jì)算此些組合、和或平均數(shù)。例如，為對(duì)多于四個(gè)像素進(jìn)行求和(例如，針對(duì)大于2×2(例如，3×3或11×11)的塊)，使用積分圖像，求和可能快得多，這是因?yàn)閮H需要進(jìn)行加或減四個(gè)值來(lái)確定積分圖像中的像素值的和，而非針對(duì)相應(yīng)3×3或11×11圖像塊對(duì)9或121個(gè)值進(jìn)行求和。因此，任選地，視覺傳感器還可包含二維積分硬件236，所述二維積分硬件用于基于表示由傳感器陣列單元中的至少一子組傳感器元件(例如，像素)取樣的圖像的信號(hào)中的至少一子集來(lái)計(jì)算圖像的至少一部分的積分圖像。如所說(shuō)明，二維積分計(jì)算硬件236可與專用cv計(jì)算硬件242通信。如先前所述，與直接加總傳感器元件的塊的信號(hào)值相比，可使用表示由傳感器陣列單元取樣的圖像的積分圖像及/或由傳感器陣列單元取樣的圖像的一部分的積分圖像來(lái)對(duì)所述信號(hào)值進(jìn)行更快速地組合、求和或求平均。二維積分硬件236可包含能夠基于來(lái)自傳感器陣列212的原始信號(hào)而在數(shù)字或模擬域中產(chǎn)生表示由傳感器陣列單元取樣的圖像的全部或部分的積分圖像的信號(hào)的電路。在一些實(shí)施方案中，由二維積分硬件236產(chǎn)生的積分圖像(其可為的由傳感器陣列單元取樣的圖像的僅一部分或取樣窗口的積分圖像)可經(jīng)存儲(chǔ)在硬件掃描窗口陣列238中，如圖2b中所說(shuō)明。例如，硬件掃描窗口陣列可包含用于存儲(chǔ)積分圖像的隨機(jī)存取存儲(chǔ)器(ram)陣列或其它形式的模擬或數(shù)字存儲(chǔ)器。在其中計(jì)算對(duì)應(yīng)于傳感器元件的塊的信號(hào)的組合、和或平均數(shù)沒有用(例如，像素級(jí)lbp)的實(shí)施方案中，應(yīng)理解，可不包含二維積分硬件236，且因此包含來(lái)自傳感器陣列單元230的模擬原始信號(hào)或來(lái)自adc234的經(jīng)轉(zhuǎn)換成數(shù)字的原始信號(hào)的取樣窗口可經(jīng)直接地存儲(chǔ)在硬件掃描窗口陣列238中。此外，應(yīng)理解，在一些實(shí)施方案中，二維積分硬件236另外或替代地可執(zhí)行一維積分。類似地，硬件掃描窗口陣列238可存儲(chǔ)對(duì)應(yīng)于由傳感器陣列230捕獲的圖像的取樣窗口的一維積分圖像。使用一維積分圖像可允許(例如)使用旋轉(zhuǎn)塊來(lái)計(jì)算多塊lbp以便檢測(cè)旋轉(zhuǎn)參考對(duì)象(例如，臉部)。任選地，可在二維積分硬件236之前或之后使用幀緩沖器(未說(shuō)明)。在幀緩沖器經(jīng)安置在二維積分硬件236之前的實(shí)施方案中，可將整個(gè)幀或圖像從傳感器陣列單元212傳送到幀緩沖器中。二維積分硬件236可接著產(chǎn)生經(jīng)存儲(chǔ)在幀緩沖器中的圖像的部分或窗口的積分圖像并將此些窗口存儲(chǔ)在硬件掃描窗口陣列238中。替代地，二維積分硬件236可積分整個(gè)圖像并將整個(gè)積分圖像存儲(chǔ)在安置在二維積分硬件236與硬件掃描窗口陣列238之間的幀緩沖器中，在此狀況下，存儲(chǔ)在幀緩沖器中的積分圖像的窗口可存儲(chǔ)在掃描窗口陣列238中。然而，應(yīng)理解，幀緩沖器為選用的，且二維積分硬件236可接收來(lái)自的傳感器陣列單元212的對(duì)應(yīng)于圖像的窗口或部分的數(shù)據(jù)且立即積分窗口或部分且將此些積分圖像窗口存儲(chǔ)在硬件掃描窗口陣列238中。

視覺傳感器還可包含cv計(jì)算硬件242。在一些實(shí)施方案中，cv計(jì)算硬件可至少部分地基于與接近于傳感器元件塊的多個(gè)相鄰傳感器元件相關(guān)聯(lián)的信號(hào)而計(jì)算一或多個(gè)主體傳感器元件塊的局部cv特征。例如，在cv計(jì)算硬件的局部二進(jìn)制模式(lbp)實(shí)施方案中，cv計(jì)算硬件可包含硬件，所述硬件接收對(duì)應(yīng)于原始圖像信號(hào)的信號(hào)值—或原始圖像信號(hào)的組合、和或平均數(shù)(例如，使用積分圖像產(chǎn)生)—且基于原始圖像信號(hào)而產(chǎn)生數(shù)字lbp標(biāo)簽或矢量。在其中計(jì)算多塊lbp的實(shí)施方案中，一或多個(gè)主體傳感器元件的塊可包含m×n個(gè)傳感器元件(例如，11×11個(gè)傳感器元件)的塊。還應(yīng)理解，也可進(jìn)行像素級(jí)lbp計(jì)算，其中其局部cv特征經(jīng)計(jì)算的一或多個(gè)主體傳感器元件的塊為單個(gè)主體傳感器元件。盡管上文所提及的cv計(jì)算硬件312經(jīng)描述為與專用微處理器320分離，但應(yīng)理解在一些實(shí)施方案中，專用cv計(jì)算硬件312可以專用微處理器320內(nèi)的硬件實(shí)施。

與在處理器(例如，通用處理器，例如應(yīng)用程序處理器或甚至微處理器216)中計(jì)算cv特征(例如，上文所論述的lbp標(biāo)簽)相比，在專用硬件中產(chǎn)生所述cv特征可降低視覺傳感器的功率。然而，視覺傳感器可仍包含耦合到cv計(jì)算硬件242的微處理器216以執(zhí)行除cv特征計(jì)算外的功能，例如，除cv特征計(jì)算外與cv相關(guān)操作或計(jì)算，或執(zhí)行與使用cv特征計(jì)算硬件242執(zhí)行的計(jì)算有關(guān)的額外cv特征計(jì)算。微處理器216接收來(lái)自cv計(jì)算硬件238的硬件計(jì)算cv特征且可執(zhí)行較高級(jí)計(jì)算機(jī)視覺操作，例如，對(duì)象分類檢測(cè)(其中臉部檢測(cè)可被視為特定狀況，而其它實(shí)例包含上部軀干、行人及汽車)，其中任務(wù)為發(fā)現(xiàn)圖像中屬于給定分類的所有對(duì)象的位置及大小，以及其它計(jì)算機(jī)視覺操作。此外，微處理器216可將控制信號(hào)提供到線緩沖器230、adc234、二維積分硬件236、硬件掃描窗口陣列238及cv計(jì)算硬件242。在一些實(shí)施方案中，為執(zhí)行對(duì)象分類檢測(cè)或其它計(jì)算機(jī)視覺操作，微處理器216可使用級(jí)聯(lián)分類器算法來(lái)執(zhí)行對(duì)象分類檢測(cè)，例如，臉部檢測(cè)。在任選實(shí)施方案中，進(jìn)一步功率節(jié)省是通過(guò)在硬件中實(shí)施級(jí)聯(lián)分類器來(lái)進(jìn)一步減少微處理器216上的計(jì)算負(fù)擔(dān)變得可能。

任選級(jí)聯(lián)分類器硬件244包含的級(jí)聯(lián)分類器的硬件實(shí)施方案。在一些實(shí)施方案中，使用機(jī)器學(xué)習(xí)技術(shù)就包含參考對(duì)象的實(shí)例的圖像的數(shù)據(jù)集對(duì)級(jí)聯(lián)分類器進(jìn)行訓(xùn)練，級(jí)聯(lián)分類器將經(jīng)訓(xùn)練以檢測(cè)或分類非對(duì)象的實(shí)例(例如，臉部及非臉部的圖像)，或汽車及非汽車的圖像，或上部軀干及非上部軀干的圖像等。例如，在第一階段中，級(jí)聯(lián)分類器硬件可請(qǐng)求cv計(jì)算硬件242計(jì)算關(guān)于存儲(chǔ)在(例如)硬件掃描窗口陣列238中的特定數(shù)目(l)個(gè)主體傳感器元件的lbp特征。另外，級(jí)聯(lián)分類器硬件244還將提供主體傳感器元件的位置{(x11,y11),…(x1l,y1l)}。一旦cv計(jì)算硬件242計(jì)算并提供所請(qǐng)求lbp特征(其可被視為矢量值)，級(jí)聯(lián)分類器硬件執(zhí)行l(wèi)bp特征中的每一者的點(diǎn)積與一或多個(gè)權(quán)數(shù)的求和以產(chǎn)生第一經(jīng)加權(quán)重標(biāo)量和值。一般來(lái)說(shuō)，將使每一lbp特征(lbp11,…,lbp1l)乘以給定權(quán)數(shù)(w11,…,w1l)，每一權(quán)數(shù)可不同。接著將第一經(jīng)加權(quán)重標(biāo)量和值與第一閾值進(jìn)行比較。如果標(biāo)量和小于閾值，那么根據(jù)給定概率，由存儲(chǔ)在硬件掃描窗口陣列238中的信號(hào)表示的圖像的部分中不存在任何參考對(duì)象，且因此級(jí)聯(lián)分類器硬件244發(fā)送信號(hào)到硬件掃描窗口陣列238，且任選地，到視覺傳感器的其它組件(例如，線緩沖器230及傳感器陣列單元212)以指示硬件掃描窗口陣列238應(yīng)繼續(xù)掃描及加總一或多個(gè)新列及/或行以及移除一或多個(gè)舊列及/或行。在圖像的后續(xù)窗口或?qū)?yīng)于傳感器陣列單元的后續(xù)傳感器元件子組的后續(xù)多個(gè)信號(hào)經(jīng)存儲(chǔ)在硬件掃描窗口陣列238中的情況下，過(guò)程可重新開始。應(yīng)理解，圖像的后續(xù)窗口可與圖像的上一窗口大部分重疊。在一些實(shí)施方案中，從左到右掃描圖像且一旦到達(dá)傳感器陣列單元212的末端，即可在向下移動(dòng)一或多個(gè)行之后再次從左到右掃描圖像。在另一實(shí)施方案中，可在向下移位一或多個(gè)行之后從右到左掃描圖像，此可允許與先前圖像的增加重疊。

如果標(biāo)量和相反地大于第一閾值，那么級(jí)聯(lián)分類器硬件244移動(dòng)到下一階段。在下一(在此實(shí)例中，第二)階段中，級(jí)聯(lián)分類器硬件再次請(qǐng)求cv計(jì)算硬件242提供存儲(chǔ)在硬件掃描窗口陣列238中的關(guān)于位置{(x21,y21),…(x2m,y2m)}處的m個(gè)主體傳感器元件的lbp特征。一旦cv計(jì)算硬件242計(jì)算并提供所請(qǐng)求lbp特征(lbp21,…,lbp2m)，級(jí)聯(lián)分類器硬件244執(zhí)行l(wèi)bp特征中的每一者的點(diǎn)積與一或多個(gè)權(quán)數(shù)(w21,…,w2m)的另一求和以產(chǎn)生第二經(jīng)加權(quán)重標(biāo)量和值。接著將第二經(jīng)加權(quán)重標(biāo)量和值與第二閾值進(jìn)行比較。如果標(biāo)量和小于第二閾值，那么存在參考對(duì)象存在于由存儲(chǔ)在硬件掃描窗口陣列238中的信號(hào)表示的圖像的部分中的低可能性，且級(jí)聯(lián)分類器將信號(hào)發(fā)送到視覺傳感器陣列中的其它組件以繼續(xù)掃描且移動(dòng)到圖像的下一部分。如果第二經(jīng)加權(quán)標(biāo)量和值大于第二閾值，那么處理繼續(xù)到第三階段，如上文所描述。在最終階段(例如n階段級(jí)聯(lián)分類器中的第n階段)結(jié)束時(shí)，如果第n經(jīng)加權(quán)標(biāo)量和值大于第n閾值，那么在存儲(chǔ)在硬件掃描窗口陣列238中的圖像的部分中檢測(cè)參考對(duì)象。級(jí)聯(lián)分類器硬件244可接著向微處理器216指示已檢測(cè)到參考對(duì)象，且可進(jìn)一步任選地指示其中檢測(cè)到參考對(duì)象或參考對(duì)象的部分的圖像的部分的位置。一般來(lái)說(shuō)，級(jí)聯(lián)分類器硬件244可經(jīng)配置以將檢測(cè)到參考對(duì)象的指示連同與參考對(duì)象相關(guān)聯(lián)的數(shù)據(jù)(例如，在檢測(cè)參考對(duì)象的過(guò)程中計(jì)算的cv特征、那些cv特征在圖像內(nèi)的位置或與由cv計(jì)算硬件242及/或級(jí)聯(lián)分類器硬件244執(zhí)行的計(jì)算或操作相關(guān)聯(lián)的任何其它數(shù)據(jù)中的全部或一些)一起發(fā)送到微處理器216。

硬件掃描窗口陣列238內(nèi)的主體傳感器元件(在每一階段計(jì)算其lbp特征、標(biāo)簽或矢量)的數(shù)目及位置經(jīng)大體編程到級(jí)聯(lián)分類器硬件244中且從上文所論述的機(jī)器學(xué)習(xí)訓(xùn)練得出。類似地，用以乘以lbp特征中的每一者的權(quán)數(shù)也是大體在機(jī)器學(xué)期訓(xùn)練期間經(jīng)確定且接著經(jīng)編程到級(jí)聯(lián)分類器硬件244中。階段的數(shù)目也由訓(xùn)練得出，且經(jīng)編程到級(jí)聯(lián)分類器硬件244。在一些實(shí)施方案中，級(jí)聯(lián)分類器可包含1到31個(gè)階段，例如，15個(gè)階段。在一些實(shí)施方案中，級(jí)聯(lián)分類器可包含1到31個(gè)階段，例如，15個(gè)階段。在一些實(shí)施方案中，級(jí)聯(lián)分類器硬件244可在其為經(jīng)設(shè)計(jì)以執(zhí)行級(jí)聯(lián)分類器功能且?guī)缀醪粓?zhí)行其它顯著功能的硬件的意義下被視為專用級(jí)聯(lián)分類器硬件。雖然上文所描述的實(shí)施方案涉及級(jí)聯(lián)分類器基于經(jīng)編程權(quán)數(shù)及閾值(基于先前在實(shí)驗(yàn)室中訓(xùn)練及機(jī)器學(xué)習(xí))以產(chǎn)生模型，但應(yīng)理解級(jí)聯(lián)分類器硬件244，或經(jīng)設(shè)計(jì)以基于從cv計(jì)算硬件242接收的硬件計(jì)算cv特征執(zhí)行cv操作的的外圍電路中的其它硬件可經(jīng)設(shè)計(jì)以現(xiàn)場(chǎng)執(zhí)行機(jī)器學(xué)習(xí)。

在剛所描述的實(shí)施方案中，微處理器216可接著確定如何處理(例如)參考對(duì)象檢測(cè)事件。例如，其可將事件發(fā)送到第二微處理器。在一些實(shí)施方案中，微處理器216及第二微處理器可對(duì)應(yīng)于圖2a的微處理器216及主處理器220。如圖2b中所說(shuō)明，微處理器216包含用于與第二微處理器通信的接口246。另外或替代地，微處理器216可隨時(shí)間跟蹤所檢測(cè)參考對(duì)象的位置(例如，在多個(gè)圖像上)以確定(例如)用于手勢(shì)辨識(shí)的移動(dòng)、碰撞的風(fēng)險(xiǎn)、危險(xiǎn)及/或其它事件。

更特定來(lái)說(shuō)，一些實(shí)施例可通過(guò)首先檢測(cè)對(duì)象接著確定其它特征來(lái)實(shí)現(xiàn)廣泛范圍的功能性。在此些實(shí)施例，可經(jīng)由外圍電路(例如，級(jí)聯(lián)分類器硬件244及/或其它專用硬件)進(jìn)行對(duì)象檢測(cè)，且可由微處理器216執(zhí)行額外操作。例如，可首先通過(guò)對(duì)象的檢測(cè)，接著(例如，使用微處理器)在對(duì)象已處于相機(jī)的視野中達(dá)臨限時(shí)間周期的確定來(lái)確定對(duì)象進(jìn)入視野。如上文所述，可通過(guò)檢測(cè)手勢(shì)控制對(duì)象(例如，手)，接著確定手的移動(dòng)來(lái)進(jìn)行手勢(shì)檢測(cè)?？赏ㄟ^(guò)檢測(cè)對(duì)象及確定指示與對(duì)象碰撞的風(fēng)險(xiǎn)的移動(dòng)(例如，通過(guò)相機(jī)、通過(guò)相機(jī)的視野內(nèi)的第二對(duì)象，等)來(lái)確定碰撞風(fēng)險(xiǎn)。所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到實(shí)施例可包含上述特征的任何組合，及/或這些特征的變化。

盡管上文的描述將級(jí)聯(lián)分類器硬件244稱作與微處理器216分離，但應(yīng)理解在一些實(shí)施方案中，級(jí)聯(lián)分類器硬件244可在微處理器216內(nèi)的硬件中實(shí)施。此外，級(jí)聯(lián)分類器硬件244可在一些實(shí)施方案中經(jīng)賦予某一控制功能性以允許其(如所說(shuō)明)控制cv計(jì)算硬件242及硬件掃描窗口陣列238。如此，級(jí)聯(lián)分類器硬件242可自動(dòng)從微處理器216檢測(cè)特征，且因此微處理器216可在級(jí)聯(lián)分類器硬件244執(zhí)行其功能的同時(shí)處于低功率狀態(tài)。如此，智能傳感器可基于一或多個(gè)所計(jì)算cv特征而執(zhí)行較低功率操作，且在(例如)檢測(cè)到對(duì)象時(shí)，級(jí)聯(lián)分類器硬件242可提供事件(包含數(shù)據(jù)，例如到微處理器216的傳感器讀數(shù))以喚醒微處理器216。微處理器216可接著確定下一動(dòng)作過(guò)程，例如，將通過(guò)接口246將事件發(fā)送到第二微處理器。應(yīng)理解，甚至在低功率狀態(tài)中，微處理器216可在一些實(shí)施方案中仍將控制信號(hào)提供到傳感器陣列單元212、線緩沖器230，等，或另外或替代地，此些控制信號(hào)可通過(guò)較低功率控制邏輯來(lái)提供。替代地，級(jí)聯(lián)分類器可在微處理器216上作為軟件算法運(yùn)行。此外，其它軟件算法可替代級(jí)聯(lián)分類器在微處理器上運(yùn)行。例如，可使用直方圖來(lái)執(zhí)行參考對(duì)象檢測(cè)，如圖11c中所描述。在一些此類實(shí)施方案中，可將針對(duì)存儲(chǔ)在掃描窗口陣列238中的圖像的樣本窗口所計(jì)算的所有l(wèi)bp標(biāo)簽的直方圖與參考直方圖進(jìn)行比較以檢測(cè)存儲(chǔ)在掃描窗口陣列238的樣本窗口中的臉部的存在。在一些實(shí)施方案中，專用硬件可經(jīng)實(shí)施以使用直方圖檢測(cè)(例如)臉部。替換級(jí)聯(lián)分類器硬件244或除其外，此實(shí)施方案可包含此類專用硬件。

在圖2b中所說(shuō)明的實(shí)施方案中，線緩沖器230、adc234、二維積分硬件236、硬件掃描窗口陣列238、cv計(jì)算硬件242、級(jí)聯(lián)分類器硬件244或其任何組合中的一者或多者可被視為外圍電路，所述外圍電路為在傳感器陣列單元212外部的電路且可對(duì)應(yīng)于圖2a的外圍電路214。還應(yīng)理解，剛剛所列舉的各種組件或其任何組合可經(jīng)實(shí)施代替作為傳感器陣列單元212內(nèi)的像素中電路。

圖3a到3c為說(shuō)明可如何利用傳感器系統(tǒng)210的組件來(lái)提供低功率傳感器處理的框圖。此處，僅說(shuō)明某些組件。應(yīng)理解，傳感器系統(tǒng)可具有額外組件，如圖2a及2b中所展示。

在圖3a中，外圍電路214與傳感器陣列單元212的多個(gè)傳感器單元輸出耦合。傳感器陣列單元212及/或外圍電路214包含專用cv計(jì)算硬件以使用多個(gè)傳感器單元輸出中的至少一子集來(lái)執(zhí)行特征檢測(cè)計(jì)算，其中多個(gè)傳感器單元輸出中的所述子集對(duì)應(yīng)于包括相鄰傳感器單元或像素的傳感器陣列單元212的區(qū)域(例如，圖像陣列)。因此，外圍電路214的輸出基于(至少部分地)特征檢測(cè)計(jì)算。此特征檢測(cè)計(jì)算可包含使用可提供特征檢測(cè)(例如，邊緣檢測(cè)、線檢測(cè)，等)的傳感器陣列單元212的相鄰傳感器單元或像素的各種計(jì)算中的任何者。此些特征檢測(cè)計(jì)算包含(例如)lbp、hsg，及其類似者。在一些實(shí)施例中，專用cv計(jì)算硬件可包括集成電路。

在圖3b中，第一處理單元217與智能圖像陣列213的一或多個(gè)輸出以通信方式耦合，其中多個(gè)傳感器像素與存儲(chǔ)器及/或邏輯電路耦合。此處，第一處理單元217可對(duì)應(yīng)于圖2a及2b的微處理器216，且智能圖像陣列213可對(duì)應(yīng)于圖2a及圖2b的傳感器陣列單元212。智能圖像陣列213可包含用于計(jì)算cv特征的專用cv計(jì)算硬件，所述cv特征使用來(lái)自相鄰傳感器像素的讀數(shù)來(lái)計(jì)算，如上文關(guān)于圖3a及/或圖2b所描述。如圖2a及2b中所展示，這兩個(gè)組件可并非彼此直接耦合，而是可具有中間電路。第一處理單元217處理從智能圖像陣列的一或多個(gè)輸出接收的信號(hào)以檢測(cè)參考情況。第一處理單元217接著產(chǎn)生事件(指示參考情況)以由第二處理單元(例如，圖2a的主處理器220)接收。

事件可基于處理由基于一或多個(gè)所計(jì)算cv特征的操作所產(chǎn)生的信號(hào)而產(chǎn)生。此些操作可在一些實(shí)施方案中包含由級(jí)聯(lián)分類器(例如，圖2b的級(jí)聯(lián)分類器硬件244)執(zhí)行以檢測(cè)臉部的操作或計(jì)算。事件是基于處理由那些操作所產(chǎn)生的信號(hào)而產(chǎn)生可因此包含微處理器處理信號(hào)，例如來(lái)自級(jí)聯(lián)分類器的檢測(cè)參考對(duì)象的指示。指示可包含與所檢測(cè)對(duì)象相關(guān)聯(lián)的數(shù)據(jù)，例如，位置、相關(guān)聯(lián)lbp特征及其位置，及/或圖像數(shù)據(jù)自身。此使得微處理器能夠通過(guò)在未檢測(cè)到任何參考對(duì)象時(shí)不分析圖像數(shù)據(jù)來(lái)節(jié)省能量。

在圖3c中，設(shè)置類似于圖3b。此處，第一處理單元217與圖像陣列215的一或多個(gè)輸出以通信方式耦合。此外，第一處理單元217可對(duì)應(yīng)于圖2a及/或2b的微處理器216，且圖像陣列215可類似地對(duì)應(yīng)于圖2a及/或2b的傳感器陣列單元212。然而，在此實(shí)施例中，第一處理單元217確定已檢測(cè)到臉部且產(chǎn)生用于第二處理單元的臉部檢測(cè)事件。取決于所要功能性，第一處理單元217可操作以使用從圖像陣列215的一或多個(gè)輸出接收的一或多個(gè)信號(hào)來(lái)檢測(cè)臉部。

圖4為根據(jù)實(shí)施例說(shuō)明感測(cè)動(dòng)態(tài)的基于場(chǎng)景的情況的方法400的流程圖。如同本文中所提供的其它圖，圖4經(jīng)提供作為非限制性實(shí)例。替代實(shí)施例可包含圖中所展示的功能性額外的功能性，及/或圖中的塊中的一或多者所展示的功能性可同時(shí)被省略、組合、分離及/或執(zhí)行。用于執(zhí)行塊的功能性的裝置可包含電子裝置的一或多個(gè)硬件及/或軟件組件，例如，圖5中所說(shuō)明及下文所描述的移動(dòng)裝置的一或多個(gè)組件。熟習(xí)此項(xiàng)技術(shù)者將認(rèn)識(shí)到許多變化。

方法400可在方框410處開始，其中專用cv硬件接收來(lái)自傳感器陣列的圖像數(shù)據(jù)。圖像數(shù)據(jù)可包含來(lái)自傳感器陣列的多個(gè)圖像像素的傳感器讀數(shù)。如先前所指示，專用cv硬件可實(shí)施于及/或并入到圖2a的傳感器陣列單元212及/或外圍電路214中。(傳感器陣列可被包含在傳感器陣列單元212中。)

在方框420處，通過(guò)專用cv計(jì)算硬件使用來(lái)自傳感器陣列的相鄰傳感器像素的讀數(shù)來(lái)計(jì)算一或多個(gè)cv特征。此處，cv特征可包含邊緣、線及其類似者，其可使用(例如)lbp、hsg及/或其它計(jì)算來(lái)計(jì)算。專用cv計(jì)算硬件的使用可實(shí)現(xiàn)快速及高效計(jì)算而無(wú)需使用相對(duì)較高量的能量及/或處理功率。

在方框425處，基于一或多個(gè)cv特征執(zhí)行一或多個(gè)cv操作。如先前所述，在外圍電路中可進(jìn)行此些操作。例如，如關(guān)于圖2b所描述，級(jí)聯(lián)分類器可執(zhí)行操作以檢測(cè)臉部或其它對(duì)象，且將指示對(duì)臉部或其它對(duì)象的檢測(cè)的信號(hào)提供到微處理器。然而，如下文所述，基于一或多個(gè)cv特征執(zhí)行cv操作可通過(guò)外圍電路(例如，專用硬件)及/或微處理器或兩者來(lái)執(zhí)行。執(zhí)行cv操作的硬件及/或軟件組件可產(chǎn)生輸出信號(hào)(例如，級(jí)聯(lián)分類器的輸出，直接從cv計(jì)算hw接收的指示lbp計(jì)算的信號(hào)，在微處理器內(nèi)內(nèi)部產(chǎn)生的信號(hào)，等)。微處理器將使用這些信號(hào)中的一或多者來(lái)確定已發(fā)生參考情況(例如，臉部檢測(cè))。

在方框430處，確定已發(fā)生參考情況。如先前所指示，參考情況可包含各種事件中的一或多者。這些事件可包含(例如)人臉進(jìn)入視野、人臉上表達(dá)的情緒、非人類動(dòng)物臉部進(jìn)入視野、人手進(jìn)入視野、手勢(shì)、參考對(duì)象進(jìn)入視野、從室內(nèi)環(huán)境到室外環(huán)境的改變、參考移動(dòng)、場(chǎng)景中指示下落的快速移動(dòng)、指示碰撞風(fēng)險(xiǎn)的朝向?qū)ο蟮倪\(yùn)動(dòng)、場(chǎng)景中指示危險(xiǎn)的移動(dòng)或?qū)ο螅蚱淙魏谓M合。在一些實(shí)施例中，這些參考情況可為預(yù)定義及/或用戶可配置的。

在方框440處，產(chǎn)生用于第二處理單元的事件，其中事件指示參考情況。如本文中所使用，術(shù)語(yǔ)“事件”描述經(jīng)提供到處理單元指示參考情況的信息。此處，將事件提供到第二處理單元。在一些實(shí)施例中，事件可簡(jiǎn)單地包含已發(fā)生參考情況的指示。在一些實(shí)施例中，事件可進(jìn)一步包含檢測(cè)到的參考情況的類型的指示。事件可由第一處理單元產(chǎn)生且發(fā)送到第二處理單元。在一些實(shí)施例中，在第一處理單元與第二處理單元之間可存在中間電路。

可注意，由圖4中所說(shuō)明的各種方框執(zhí)行的功能性可由傳感器系統(tǒng)(例如，圖2a及2b的傳感器系統(tǒng)210)的各種組件執(zhí)行，此取決于所要功能性。方框410及420的功能性(例如)可由像素中或外圍電路(例如，cv計(jì)算硬件)執(zhí)行。方框425的功能性(例如)可由微處理器或?qū)Ｓ糜布?例如，級(jí)聯(lián)分類器或其它專用硬件)執(zhí)行。在一些實(shí)施例中，方框425、430及440的功能性可全部由微處理器執(zhí)行。替代地，一些實(shí)施例可運(yùn)用外圍電路執(zhí)行方框425的功能性，且運(yùn)用微處理器執(zhí)行方框430及440的功能性。所屬領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到數(shù)個(gè)變化形式。

再次參考圖2a，本文中所描述的傳感器系統(tǒng)210的實(shí)施例可進(jìn)一步執(zhí)行涉及在相應(yīng)較低功率及較高功率模式中所使用的功率或能量消耗的不同類型的功能(例如，較低功率操作及較高功率操作)。在較高功率模式中，例如，傳感器系統(tǒng)可通過(guò)利用如本文中所描述非專用cv計(jì)算硬件來(lái)在傳感器系統(tǒng)210自身內(nèi)提供圖像處理能力。應(yīng)理解，本文中“較低功率”及“較高功率”的使用意欲為相對(duì)的。換句話說(shuō)，甚至在較高功率模式中，所描述的傳感器系統(tǒng)仍可能夠使用比運(yùn)用在軟件中運(yùn)行cv算法的微處理器來(lái)執(zhí)行那些相同基于cv計(jì)算低的功率來(lái)基于硬件計(jì)算cv特征執(zhí)行強(qiáng)大的基于cv的計(jì)算。如先前所詳述，專用cv計(jì)算硬件可包含并入到傳感器陣列單元212中的像素中電路，其可包含用于一些或全部像素的電路，能夠?qū)γ恳幌鄳?yīng)像素執(zhí)行處理，例如，檢測(cè)相對(duì)于一或多個(gè)相鄰像素的經(jīng)感測(cè)光強(qiáng)度，基于經(jīng)感測(cè)光的顏色或強(qiáng)度相對(duì)于相鄰像素的差異而檢測(cè)對(duì)象的邊緣，及/或進(jìn)行l(wèi)bp、hsg及/或其它c(diǎn)v計(jì)算。專用cv計(jì)算硬件可進(jìn)一步包含外圍電路214，所述外圍電路可另外或替代地用于像素中電路來(lái)執(zhí)行這些計(jì)算中的一些或全部。實(shí)施例可在不需要較高功率操作時(shí)禁用或以其它方式以低功率模式操作傳感器系統(tǒng)210的此專用cv計(jì)算硬件中的一些或全部，此可節(jié)省功率。因此，如本文中所描述，較高功率操作涉及專用cv計(jì)算硬件(例如，傳感器陣列單元212中的像素中電路及/或外圍電路214)，而在專用cv計(jì)算硬件中的一些或全部經(jīng)禁用或處于減少功率狀態(tài)中時(shí)執(zhí)行較低功率操作。

在一個(gè)實(shí)例中，傳感器系統(tǒng)210可配置傳感器陣列單元212以作為單個(gè)像素操作。在此狀況下，傳感器系統(tǒng)210可禁用所有像素中電路及/或外圍電路214。在此配置中，陣列的個(gè)別像素中的每一者有助于整個(gè)傳感器陣列的單個(gè)感測(cè)值。

圖5展示對(duì)圖2a的傳感器陣列單元212的簡(jiǎn)化說(shuō)明。在傳感器陣列單元212中，像素510經(jīng)布置成行及列且放置在接收光學(xué)器件的聚焦平面中以提供圖像捕獲。(為清楚起見，僅圖5中的一些像素510具有數(shù)個(gè)標(biāo)簽。)應(yīng)理解，傳感器陣列單元的特征(例如，像素大小、縱橫比、分辨率及其類似者)可取決于所要功能性而變化。例如，圖5的簡(jiǎn)化說(shuō)明展示10×10像素陣列，但實(shí)施例可具有數(shù)百、數(shù)千或數(shù)百萬(wàn)像素(或更多)。

如先前所指示，每一像素510可包含傳感器以及像素中電路以對(duì)像素510執(zhí)行cv計(jì)算。另外或替代地，外圍電路可經(jīng)包含以對(duì)像素執(zhí)行cv計(jì)算，如本文中別處所指示。繼續(xù)上述實(shí)例，傳感器陣列單元212的像素中電路及/或外圍電路中的一或多個(gè)組件可經(jīng)禁用以使得傳感器陣列單元212能夠以功率高效方式執(zhí)行較低功率操作以(例如)關(guān)斷除一個(gè)像素外的所有像素，或讀取并組合來(lái)自所有像素的感測(cè)值以僅作為單個(gè)像素有效地操作(被稱作“單像素模式”)。在此配置中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行一或多個(gè)較低功率操作，例如，環(huán)境光感測(cè)(als)、接近度檢測(cè)(pd)、接近參考對(duì)象檢測(cè)，或運(yùn)動(dòng)檢測(cè)。在一些狀況下，可使用具有僅單個(gè)像素的傳感器陣列來(lái)充分地執(zhí)行這些功能中的每一者。

另外或替代地，傳感器陣列單元212可在較低分辨率配置中實(shí)現(xiàn)傳感器陣列單元212可作為多個(gè)像素操作，而非實(shí)際上僅作為單個(gè)像素操作。如在圖6中所展示，傳感器陣列單元212的像素510的子群組610可各自以類似于上文所描述的單像素模式的方式操作，因此作為具有多個(gè)像素的傳感器有效地操作(在圖6的配置中，四個(gè)子群組610有效地形成2×2像素陣列)。再次，例如，傳感器系統(tǒng)210的專用cv計(jì)算硬件中的一些或全部(例如，外圍電路214及/或傳感器陣列單元212的像素中電路)可在此模式期間被禁用。在此配置中，傳感器系統(tǒng)210可執(zhí)行一或多個(gè)較低功率操作，例如als、pd、改變檢測(cè)(cd)，或運(yùn)動(dòng)檢測(cè)。雖然圖6的實(shí)例使用2×2像素的視在分辨率，但可配置其它降低的分辨率。此外，此降低的分辨率可包含聚集多個(gè)個(gè)別像素510以共同作為一些數(shù)目個(gè)像素操作，或可包含禁用傳感器陣列單元212中的像素510中的一或多者使得像素不感測(cè)光或在其經(jīng)禁用時(shí)不提供輸出。

如同關(guān)于圖3a到3c所描述的操作，傳感器系統(tǒng)210可經(jīng)配置以在其以較低功率操作的同時(shí)檢測(cè)一或多個(gè)參考情況且產(chǎn)生一或多個(gè)對(duì)應(yīng)的事件。例如，傳感器系統(tǒng)210可并入到移動(dòng)電話中且經(jīng)配置以在單個(gè)像素310的感測(cè)值指示由傳感器系統(tǒng)210檢測(cè)的光的量顯著增加時(shí)檢測(cè)參考情況。所檢測(cè)的光的量的此改變可指示移動(dòng)電話已被從用戶的口袋取出或已被從桌子或床頭柜拿起。傳感器系統(tǒng)210可在較低功率操作的同時(shí)確定發(fā)生此參考并產(chǎn)生向主處理器220指示參考情況的事件。在檢測(cè)到此事件，傳感器系統(tǒng)210可進(jìn)一步激活專用cv計(jì)算硬件來(lái)使得較高功率操作能夠執(zhí)行不同類型的cv操作，例如，臉部檢測(cè)及臉部辨識(shí)。

圖7為說(shuō)明用于使用傳感器系統(tǒng)作為光學(xué)傳感器的實(shí)例方法700的簡(jiǎn)化流程圖。如同本文中所提供的其它圖，圖7經(jīng)提供作為非限制性實(shí)例。另外，方法700可廣泛地應(yīng)用于本文中所描述的實(shí)施例，包含圖4中所展示的感測(cè)動(dòng)態(tài)的基于場(chǎng)景的情況的方法400。用于執(zhí)行圖7中所說(shuō)明的方方框的功能性的裝置可包含傳感器系統(tǒng)(例如，圖2a的傳感器系統(tǒng)210)的一或多個(gè)硬件組件。在一些實(shí)施例中，裝置可進(jìn)一步包含主處理器，例如圖2a的主處理器220。盡管方法500在下文經(jīng)描述為由圖2a的傳感器系統(tǒng)210執(zhí)行，但實(shí)施例并不限于此傳感器系統(tǒng)。

方法700可當(dāng)傳感器系統(tǒng)210起始較低功率操作時(shí)在方框710處開始。例如，在一個(gè)方面中，傳感器系統(tǒng)210起始als操作、pd操作、cd操作或md操作中的一者。在此方面中，傳感器系統(tǒng)210通過(guò)禁用專用cv計(jì)算硬件來(lái)起始較低功率操作，且配置傳感器陣列單元212從而以降低分辨率操作。如上文所論述，在不同實(shí)例中，降低分辨率可包含單個(gè)像素模式。在一些實(shí)施例中，傳感器系統(tǒng)210可起始多個(gè)較低功率操作，例如als操作及pd操作兩者、cd操作及md操作，或als操作、pd操作、cd操作及md操作中的全部四者。在起始較低功率操作之后，方法700繼續(xù)進(jìn)行到方框720。

在方框720處，在執(zhí)行較低功率操作的同時(shí)，傳感器系統(tǒng)210檢測(cè)參考情況。在其中傳感器系統(tǒng)210經(jīng)配置以執(zhí)行als功能的一個(gè)實(shí)例中，傳感器系統(tǒng)210產(chǎn)生至少一個(gè)較低功率光學(xué)傳感器讀數(shù)，所述低功率光學(xué)傳感器讀數(shù)可用于檢測(cè)參考情況。例如，較低功率光學(xué)傳感器讀數(shù)可指示環(huán)境光的量的改變，且傳感器系統(tǒng)210可在光的感測(cè)水平以超過(guò)參考閾值的速率改變，或以超過(guò)參考閾值的速率改變顏色時(shí)基于所述較低功率光學(xué)傳感器讀數(shù)而檢測(cè)參考情況。

在另一實(shí)例中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行pd功能。在此實(shí)例中，傳感器系統(tǒng)210進(jìn)一步包括光發(fā)射器，例如，發(fā)光二極管(led)，且傳感器陣列單元212經(jīng)配置以檢測(cè)反射光的量。當(dāng)所檢測(cè)反射光的量超過(guò)閾值時(shí)，傳感器系統(tǒng)210檢測(cè)參考情況。例如，傳感器系統(tǒng)210可檢測(cè)指示對(duì)象在傳感器系統(tǒng)210附近的參考情況。在一個(gè)方面中，當(dāng)所檢測(cè)反射光的量低于閾值時(shí)，傳感器系統(tǒng)210可檢測(cè)參考情況。例如，傳感器系統(tǒng)210可檢測(cè)對(duì)象不再在傳感器系統(tǒng)210附近的事件。

在一個(gè)實(shí)例中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行cd功能。改變檢測(cè)可檢測(cè)超過(guò)閾值的場(chǎng)景的改變，其中此場(chǎng)景改變對(duì)應(yīng)于參考情況，例如，如圖7的方框720中所描述。參考圖2b，在一些實(shí)施方案中，硬件掃描窗口陣列238、cv計(jì)算硬件242、級(jí)聯(lián)分類器244，及/或?qū)Ｓ梦⑻幚砥?16或其任何組合可經(jīng)禁用或處于低功率模式中。如此處所使用，經(jīng)禁用意欲指示此些組件在其功能性未被使用或其功能性較之其正常操作大幅度降低時(shí)處于降低功率狀態(tài)。因此，在此狀態(tài)中，與涉及cv特征計(jì)算及后續(xù)cv操作的正常操作相比，傳感器系統(tǒng)可以較低功率模式操作。關(guān)于傳感器陣列單元212中的大像素塊(例如，如在圖6中說(shuō)明，對(duì)應(yīng)于子群組610的塊)的像素值可經(jīng)求和以得到表示每一塊中的所有像素值的單一值。此求和可使用由二維積分硬件236提供的積分圖像計(jì)算并存儲(chǔ)(例如)在積分圖像幀緩沖器(圖2b中未展示)中。可接著及時(shí)逐幀比較塊求和。在給定塊中，如果與上一幀相比當(dāng)前幀的求和值的改變比參考改變閾值大，那么可檢測(cè)場(chǎng)景改變參考情況。在替代實(shí)施方案中，僅當(dāng)參考最小數(shù)目個(gè)塊登記此改變，才將檢測(cè)場(chǎng)景改變參考情況。例如，在具有經(jīng)劃分成81個(gè)塊(像素經(jīng)分組成9×9陣列，其中9×9陣列中的每一塊包含像素子陣列)的傳感器元件陣列的系統(tǒng)中，可如上文所描述檢測(cè)每一塊的改變，且在三個(gè)、四個(gè)或另一數(shù)目個(gè)塊寄存改變時(shí)，才可觸發(fā)場(chǎng)景改變參考情況。在檢測(cè)到場(chǎng)景改變時(shí)，傳感器系統(tǒng)210可進(jìn)一步激活硬件掃描窗口陣列238、cv計(jì)算硬件242、級(jí)聯(lián)分類器244及/或?qū)Ｓ梦⑻幚砥?16的任一組合。應(yīng)理解，上文所描述的cd操作可在無(wú)需使用積分圖像或二維積分硬件的情況下實(shí)施，但可使用其它硬件來(lái)確定總塊值。

在一個(gè)實(shí)例中，傳感器系統(tǒng)210可經(jīng)配置以執(zhí)行md功能。在此實(shí)例中，傳感器系統(tǒng)210配置傳感器陣列單元212以具有大于2×2像素分辨率的降低分辨率，但比傳感器陣列單元212中的像素的最大分辨率小。在此實(shí)例中，傳感器系統(tǒng)210經(jīng)配置以檢測(cè)不同有效像素處的感測(cè)光的相對(duì)改變。在此實(shí)例中，傳感器系統(tǒng)210分析在有效像素(例如，如圖6中所展示的子群組610)中的每一者處感測(cè)的光的量，確定在每一有效像素處感測(cè)的光的量相對(duì)于至少另一有效像素之間的第一組差。傳感器系統(tǒng)210接著檢測(cè)有效像素中的每一者處的感測(cè)光的第二量，且確定每一有效像素處感測(cè)的光的量相對(duì)于至少另一有效像素之間第二組差。傳感器系統(tǒng)210接著基于第一組差及第二組差而確定差的改變。如果差的改變超過(guò)參考運(yùn)動(dòng)閾值，那么傳感器系統(tǒng)210檢測(cè)參考情況。在一個(gè)方面中，如果第一有效像素指示所感測(cè)光相對(duì)于第二有效像素的正改變，且所述第一有效像素指示所感測(cè)光相對(duì)于第二有效像素的負(fù)改變，那么傳感器系統(tǒng)210可檢測(cè)運(yùn)動(dòng)事件。

在方框720處檢測(cè)參考情況可接著觸發(fā)至少一個(gè)較高功率操作的指示。在方框730中，傳感器系統(tǒng)210通過(guò)啟用專用cv計(jì)算硬件來(lái)起始較高功率操作。例如，傳感器系統(tǒng)210可起始臉部檢測(cè)操作或臉部辨識(shí)操作，或手勢(shì)辨識(shí)操作。替代地，傳感器系統(tǒng)210可起始對(duì)象檢測(cè)操作以檢測(cè)參考對(duì)象在由傳感器系統(tǒng)210捕獲的圖像中的存在。

在其中觸發(fā)較高功率操作的參考情況為pd操作的情況中，檢測(cè)由傳感器系統(tǒng)210捕獲的圖像中的參考對(duì)象可指示參考對(duì)象的接近度。因此，在此實(shí)例方法中，較高功率操作基于較低功率操作與較高功率操作之間的單向相依關(guān)系。單向相依關(guān)系在此實(shí)例中與僅在較低功率操作檢測(cè)參考情況之后發(fā)生的較高功率操作有關(guān)。

此外，較高功率操作可基于評(píng)估所述至少一個(gè)較低功率光學(xué)傳感器讀數(shù)。例如，如上文所論述，傳感器系統(tǒng)210可執(zhí)行較低功率als操作且起始較高功率操作。在一些實(shí)例中，較高功率操作還可評(píng)估較低功率als操作的傳感器讀數(shù)。例如，較高功率操作可包含臉部檢測(cè)或辨識(shí)功能。在一個(gè)方面中，傳感器系統(tǒng)210可在執(zhí)行臉部辨識(shí)功能時(shí)評(píng)估als傳感器讀數(shù)以確定環(huán)境光水平并調(diào)整曝光時(shí)間或光圈大小。或在一些方面中，pd功能可產(chǎn)生較高功率操作可評(píng)估以確定所檢測(cè)對(duì)象的估計(jì)范圍的傳感器讀數(shù)。在一些方面中，傳感器系統(tǒng)210可起始其它或多個(gè)較高功率操作。在一些方面中，傳感器系統(tǒng)210可重復(fù)地執(zhí)行方法700。例如，在執(zhí)行較高功率操作之后，傳感器系統(tǒng)210可重新開始方法700且在方框710處通過(guò)起始較低功率操作來(lái)執(zhí)行功能性。在檢測(cè)場(chǎng)景改變時(shí)，例如，傳感器系統(tǒng)210可進(jìn)一步激活額外組件(例如，硬件掃描窗口陣列238、cv計(jì)算硬件242、級(jí)聯(lián)分類器244及/或微處理器216)的任何組合以執(zhí)行一或多個(gè)較高功率操作。一旦執(zhí)行較高功率操作，傳感器系統(tǒng)210可接著返回到較低功率模式。

雖然圖7的方法700已經(jīng)描述為一系列較低功率及較高功率操作，但在一些實(shí)例中，傳感器系統(tǒng)210可基本上同時(shí)執(zhí)行較低功率操作及較高功率操作兩者。例如，在方框730處，在執(zhí)行較高功率操作之后，傳感器系統(tǒng)210可起始較低功率操作但繼續(xù)執(zhí)行較高功率操作。因此，在一些實(shí)例中，在方框710處，在傳感器系統(tǒng)210正執(zhí)行較低功率操作時(shí)，傳感器系統(tǒng)210可還執(zhí)行額外功能，例如，較高功率操作，且通過(guò)起始較低功率操作，傳感器系統(tǒng)210可未專有地執(zhí)行較低功率操作。此外，當(dāng)傳感器系統(tǒng)210在方框730處起始較高功率操作時(shí)，傳感器系統(tǒng)210在一些實(shí)例中可繼續(xù)執(zhí)行較低功率操作。

圖8展示用于使用傳感器系統(tǒng)作為光學(xué)傳感器的實(shí)例方法800。此外，方法800將關(guān)于圖2a中所展示的實(shí)例傳感器系統(tǒng)210進(jìn)行論述，但并不限于此傳感器系統(tǒng)。

方法800在方框810處開始，其中傳感器系統(tǒng)210如上文關(guān)于圖7的方法700所論述起始較低功率操作。在方框820處，在執(zhí)行較低功率操作的同時(shí)，傳感器系統(tǒng)210如上文關(guān)于圖7的方法700所論述檢測(cè)參考情況。在檢測(cè)到參考情況之后，方法800繼續(xù)進(jìn)行到方框830。

在方框830處，傳感器系統(tǒng)210提供用于較高功率操作的參數(shù)值。在一個(gè)實(shí)例中，傳感器系統(tǒng)210提供環(huán)境光的水平作為較高功率操作的配置設(shè)置。在此實(shí)例中，傳感器系統(tǒng)210可提供所述參數(shù)值作為與光強(qiáng)度或自動(dòng)曝光參數(shù)或與圖像的積分時(shí)間相關(guān)聯(lián)的配置設(shè)置。在另一實(shí)例中，傳感器系統(tǒng)210提供距對(duì)象的估計(jì)距離。在一個(gè)此實(shí)例中，如果傳感器系統(tǒng)210執(zhí)行pd操作且檢查對(duì)象，那么傳感器系統(tǒng)210提供到對(duì)象的估計(jì)距離或所檢測(cè)的反射光的量。在另一實(shí)例中，傳感器系統(tǒng)210提供較高功率操作的運(yùn)動(dòng)方向。在一個(gè)此實(shí)例中，傳感器系統(tǒng)210可經(jīng)配置以執(zhí)行塊登記改變(參見上文對(duì)cd的論述)的較低功率md操作及/或移動(dòng)且基于隨時(shí)間感測(cè)到的光的相對(duì)量的改變而檢測(cè)運(yùn)動(dòng)方向?？蓪⑦\(yùn)動(dòng)方向提供到較高功率操作，例如手勢(shì)檢測(cè)操作。

在一些實(shí)施例中，傳感器系統(tǒng)210可經(jīng)配置以提供指示由傳感器系統(tǒng)210觀看的場(chǎng)景可能為室內(nèi)場(chǎng)景還是室外場(chǎng)景的參數(shù)。例如，如果環(huán)境光的水平超過(guò)預(yù)定義閾值，那么傳感器系統(tǒng)210可提供指示場(chǎng)景為室外場(chǎng)景的參數(shù)，而如果環(huán)境光低于第二預(yù)定義閾值，那么傳感器系統(tǒng)210可提供指示場(chǎng)景為室內(nèi)場(chǎng)景的參數(shù)。在一些實(shí)例中，可基于以一或多個(gè)頻率檢測(cè)的峰值強(qiáng)度作出室內(nèi)/室外確定。

在一些實(shí)施例中，傳感器系統(tǒng)210可經(jīng)配置以提供指示場(chǎng)景中所關(guān)注的區(qū)域的參數(shù)。在一個(gè)實(shí)例中，傳感器系統(tǒng)210已配置傳感器陣列單元212從而以3×3有效像素的降低的分辨率操作。在此實(shí)例中，傳感器系統(tǒng)210可確定所關(guān)注的有效像素，此可基于所檢測(cè)到的環(huán)境光的改變、接近度檢測(cè)參考情況、有效像素中的一或多者的改變檢測(cè)，及/或所檢測(cè)的運(yùn)動(dòng)方向。在一個(gè)實(shí)例中，傳感器系統(tǒng)210可經(jīng)配置以提供與參考情況頻率相關(guān)聯(lián)的參數(shù)。在此實(shí)例中，傳感器系統(tǒng)210檢測(cè)事件的多個(gè)情況且確定發(fā)生事件的頻率。

根據(jù)一些實(shí)施例，可使用參數(shù)來(lái)確定較高功率操作。在一個(gè)實(shí)例中，參數(shù)可指示cv特征選擇操作。例如，參數(shù)可基于光強(qiáng)度而指示是使用lbp功能、hsg功能還是cv功能。在傳感器系統(tǒng)210提供參數(shù)之后，方法繼續(xù)進(jìn)行到方框840。

在方框840處，傳感器系統(tǒng)210如上文所論述使用參數(shù)(在方框830處提供)來(lái)起始較高功率操作。

如上文關(guān)于圖7的方法700所描述，雖然圖8的方法800已經(jīng)描述為一系列較低功率及較高功率操作，但在一些實(shí)例中，傳感器系統(tǒng)210可基本上同時(shí)地執(zhí)行較低功率操作及較高功率操作兩者。例如，在方框840處，在執(zhí)行較高功率操作之后，傳感器系統(tǒng)210可起始較低功率操作但繼續(xù)執(zhí)行較高功率操作。因此，在一些實(shí)例中，在方框810處，在傳感器系統(tǒng)210正執(zhí)行較低功率操作時(shí)，傳感器系統(tǒng)210可還執(zhí)行額外功能，例如，較高功率操作，且通過(guò)起始較低功率操作，傳感器系統(tǒng)210可未專有地執(zhí)行較低功率操作。此外，當(dāng)傳感器系統(tǒng)210在方框840處起始較高功率操作時(shí)，傳感器系統(tǒng)210在一些實(shí)例中可繼續(xù)執(zhí)行較低功率操作。此處，傳感器系統(tǒng)210可繼續(xù)運(yùn)用經(jīng)啟用的專用cv計(jì)算硬件操作，而非禁用專用cv計(jì)算硬件以執(zhí)行較低功率操作。然而，較低功率操作可簡(jiǎn)單地不利用專用cv計(jì)算硬件。

圖9展示用于使用傳感器系統(tǒng)作為光學(xué)傳感器的實(shí)例方法。如同本文中所描述的其它方法，方法900將關(guān)于圖2a中所展示的實(shí)例傳感器系統(tǒng)進(jìn)行論述，但并不限于此傳感器系統(tǒng)。

方法900在方框910處開始，其中傳感器系統(tǒng)210如上文所論述起始較高功率。在方框920處，傳感器系統(tǒng)210基于方框910處的較高功率操作而檢測(cè)參考情況，例如，臉部檢測(cè)或臉部辨識(shí)。在檢測(cè)到參考情況之后，方法900繼續(xù)進(jìn)行到方框930。

在塊930處，傳感器系統(tǒng)210提供關(guān)于較低功率操作的參數(shù)。在一個(gè)實(shí)施例中，較高功率操作可檢測(cè)在傳感器系統(tǒng)210附近的對(duì)象，且在一些實(shí)例中，系統(tǒng)可還確定距對(duì)象的估計(jì)距離。傳感器系統(tǒng)210可將指示對(duì)象的存在的包括參數(shù)的事件提供到較低功率操作，或還可(或替代地)提供指示距對(duì)象的距離的參數(shù)。此參數(shù)可由較低功率操作用于輔助或增強(qiáng)pd功能。例如，pd功能可能夠基于參數(shù)更準(zhǔn)確地檢測(cè)在傳感器附近的對(duì)象，例如，通過(guò)確立或調(diào)整臨限強(qiáng)度水平。

在一些實(shí)施例中，傳感器系統(tǒng)210可提供指示到光源的方向的參數(shù)。例如，較高功率操作可檢測(cè)所說(shuō)明對(duì)象或反射對(duì)象，及對(duì)象的位置或方向。傳感器系統(tǒng)210可基于指示光源的方向的較高功率操作而提供參數(shù)。較低功率操作可使用此參數(shù)，例如，在執(zhí)行als時(shí)。在一個(gè)實(shí)例中，較高功率操作可確定由傳感器系統(tǒng)210觀看的場(chǎng)景為室內(nèi)或室外場(chǎng)景。傳感器系統(tǒng)210可將參數(shù)提供到較低功率操作。例如，參數(shù)可輔助或增強(qiáng)較低功率操作，例如通過(guò)輔助als功能，通過(guò)提供與用于檢測(cè)環(huán)境照明的改變的閾值相關(guān)聯(lián)的信息。

在一些實(shí)施例中，實(shí)例傳感器系統(tǒng)210提供指示在由傳感器系統(tǒng)210觀看的場(chǎng)景中可見的房間的占用的指示符或人數(shù)的參數(shù)。例如，較高功率操作可在由傳感器系統(tǒng)210觀看的場(chǎng)景中檢測(cè)一或多個(gè)臉部，或一或多個(gè)人。傳感器系統(tǒng)210可接著提供指示場(chǎng)景中的人或臉部的數(shù)目或區(qū)域的占用程度的指示符的參數(shù)。在一個(gè)實(shí)例中，較低功率操作(例如，md功能)可使用此信息來(lái)更佳地檢測(cè)運(yùn)動(dòng)，或降低md功能對(duì)運(yùn)動(dòng)的敏感性。例如，如果傳感器系統(tǒng)210提供指示高占用程度的參數(shù)，那么md功能可切換到需要較強(qiáng)運(yùn)動(dòng)指示的預(yù)定閾值且因此md功能對(duì)運(yùn)動(dòng)較不敏感。替代地，如果傳感器系統(tǒng)210提供指示低占用程度的參數(shù)，那么md功能可增加其在檢測(cè)運(yùn)動(dòng)事件時(shí)的敏感度。在另一實(shí)例中，較高功率操作可設(shè)置用于上文所描述的cd操作的塊的閾值及/或最小數(shù)目。

在方框940處，傳感器系統(tǒng)210使用參數(shù)來(lái)起始較低功率操作。例如，傳感器系統(tǒng)210可指示如上文關(guān)于圖7及8所描述的較低功率操作。在此實(shí)例中，較低功率操作在起始之后經(jīng)配置以使用參數(shù)。例如，如上文所論述，pd功能可能夠基于參數(shù)更準(zhǔn)確地檢測(cè)在傳感器附近的對(duì)象，例如，通過(guò)確立或調(diào)整臨限強(qiáng)度水平。在一個(gè)實(shí)例中，參數(shù)可輔助或增強(qiáng)較低功率操作，例如通過(guò)輔助als功能，通過(guò)提供與用于檢測(cè)環(huán)境照明的改變的閾值相關(guān)聯(lián)的信息。

一些實(shí)施例可重復(fù)地執(zhí)行方法900。例如，在執(zhí)行較高功率操作之后，傳感器系統(tǒng)210可重新開始方法900且在方框910處起始較低功率操作。

如上文關(guān)于圖7及8的方法700、800所描述，雖然圖9的方法900已經(jīng)描述為一系列較高功率及較低功率操作，但在一些實(shí)例中，傳感器系統(tǒng)210可基本上同時(shí)地執(zhí)行較低功率操作及較高功率操作兩者。例如，在方框940處，在執(zhí)行較低功率操作之后，傳感器系統(tǒng)210可起始較高功率操作但繼續(xù)執(zhí)行較低功率操作。因此，在一些實(shí)例中，在方框910處，在傳感器系統(tǒng)210正執(zhí)行較高功率操作時(shí)，傳感器系統(tǒng)210可還執(zhí)行額外操作，例如，較低功率操作，且通過(guò)起始較高功率操作，傳感器系統(tǒng)210可未專有地執(zhí)行較高功率操作。此外，當(dāng)傳感器系統(tǒng)210在方框940處起始較低功率操作時(shí)，傳感器系統(tǒng)210在一些實(shí)例中可繼續(xù)執(zhí)行較高功率操作。

在一些實(shí)施例中，可組合一或多個(gè)方法。例如，圖7或8的方法可與圖9的方法組合。例如，在完成圖7的方法700的方框730之后，方法可繼續(xù)進(jìn)行到圖9的方法900的方框920。在一個(gè)實(shí)例中，在完成圖8的方法800的方框840之后，方法可繼續(xù)進(jìn)行到圖9的方法900的方框920。還預(yù)取其它組合。

圖10a展示關(guān)于可由傳感器系統(tǒng)210執(zhí)行的計(jì)算機(jī)視覺計(jì)算及較低功率光學(xué)傳感器讀數(shù)的實(shí)例狀態(tài)圖。圖10a包含兩個(gè)狀態(tài)，較低功率操作狀態(tài)1010及較高功率操作狀態(tài)1020。在較低功率操作狀態(tài)1010中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行一或多個(gè)較低功率操作且可獲得一或多個(gè)傳感器讀數(shù)。在較高功率操作狀態(tài)1020中，傳感器系統(tǒng)210經(jīng)配置以執(zhí)行一或多個(gè)較高功率操作(例如，計(jì)算機(jī)視覺計(jì)算及操作)，且可獲得一或多個(gè)傳感器讀數(shù)。在一些實(shí)施例中，傳感器系統(tǒng)210經(jīng)配置以處于較低功率操作狀態(tài)1010或較低功率操作狀態(tài)1020中，但不能同時(shí)地處于兩者中。在一個(gè)此實(shí)例中，傳感器系統(tǒng)210經(jīng)配置以基于傳感器讀數(shù)從一個(gè)狀態(tài)過(guò)渡到另一狀態(tài)，此可在狀態(tài)之間建立單向相依關(guān)系。例如，在一個(gè)實(shí)例中，較高功率操作的執(zhí)行取決于來(lái)自較低功率操作的傳感器讀數(shù)，或較低功率操作的執(zhí)行取決于來(lái)自較高功率操作的傳感器讀數(shù)。

然而，在一些實(shí)例中，傳感器系統(tǒng)210可經(jīng)配置以基本上同時(shí)地在兩個(gè)狀態(tài)1010、1020中操作。例如，在一個(gè)實(shí)例中，傳感器系統(tǒng)210可包括多個(gè)傳感器陣列單元212，其中的一者可經(jīng)配置以執(zhí)行較低功率操作且其中的另一者可經(jīng)配置以執(zhí)行較高功率操作。在一些實(shí)例中，傳感器系統(tǒng)210可細(xì)分傳感器陣列單元212使得傳感器陣列單元212的一部分經(jīng)配置以執(zhí)行一或多個(gè)較低功率操作，而傳感器陣列單元212的另一部分經(jīng)配置以執(zhí)行一或多個(gè)較高功率操作。在傳感器系統(tǒng)210經(jīng)配置以基本上同時(shí)地在兩個(gè)狀態(tài)1010、1020中操作的一個(gè)實(shí)例中，可基于來(lái)自狀態(tài)中的一者的傳感器讀數(shù)而建立單向相依關(guān)系，所述傳感器讀數(shù)致使起始另一狀態(tài)中的特定操作或致使重新配置另一狀態(tài)中的操作。在一些實(shí)施例中，一個(gè)狀態(tài)中的操作可提供由另一狀態(tài)中的操作使用的一或多個(gè)參數(shù)，例如，在圖10b中可見。

圖10b展示關(guān)于可由傳感器系統(tǒng)210執(zhí)行的計(jì)算機(jī)視覺計(jì)算及較低功率光學(xué)傳感器讀數(shù)的實(shí)例狀態(tài)圖。圖10b包含上文關(guān)于圖10a所描述的狀態(tài)，但還包含響應(yīng)于狀態(tài)1010、1020中的一者或兩者中的事件檢測(cè)而在狀態(tài)1010、1020之間的狀態(tài)過(guò)渡或信息傳遞。如同圖10a中的狀態(tài)圖，傳感器系統(tǒng)210可依序在兩個(gè)狀態(tài)1010、1020之間過(guò)渡，或可同時(shí)在兩個(gè)狀態(tài)1010、1020中操作。傳感器系統(tǒng)210可經(jīng)配置以檢測(cè)狀態(tài)中的每一者中的事件。在本發(fā)明中較早地描述參考情況的實(shí)例。如在圖10b中所展示，傳感器系統(tǒng)210基于從一個(gè)狀態(tài)中的功能到另一狀態(tài)中的一或多個(gè)功能的檢測(cè)事件而提供一或多個(gè)參數(shù)值。

例如，如果傳感器系統(tǒng)210在較低功率操作狀態(tài)1010中執(zhí)行pd操作且檢測(cè)到對(duì)象在傳感器系統(tǒng)210附件，那么傳感器系統(tǒng)210將參數(shù)值(例如指示檢測(cè)到對(duì)象的旗標(biāo)值或?qū)ο蟮墓烙?jì)范圍)提供到較高功率操作狀態(tài)1020中的計(jì)算機(jī)視覺功能(例如，臉部檢測(cè)功能)。在一些情況中，傳感器系統(tǒng)210還可從較低功率操作狀態(tài)1010過(guò)渡到較高功率操作狀態(tài)1020；然而，傳感器系統(tǒng)210可使用一或多個(gè)參數(shù)值激活或繼續(xù)執(zhí)行較高功率操作狀態(tài)1020中的操作。傳感器系統(tǒng)210還可檢測(cè)較高功率操作狀態(tài)1020中的事件且將一或多個(gè)參數(shù)值提供到較低功率操作且傳感器系統(tǒng)可過(guò)渡到較低功率操作狀態(tài)或使用一或多個(gè)參數(shù)值來(lái)激活或繼續(xù)執(zhí)行較低功率操作狀態(tài)1020中的操作。

圖11a、11b及11c說(shuō)明根據(jù)一些實(shí)施例的將傳感器讀數(shù)從多個(gè)傳感器元件轉(zhuǎn)換到cv特征的過(guò)程。

圖11a說(shuō)明來(lái)自經(jīng)考慮用于產(chǎn)生直方圖及檢測(cè)特征的傳感器陣列單元(例如，圖2a或2b的傳感器陣列單元212)的多個(gè)傳感器元件的傳感器讀數(shù)群組(窗口1102)。

圖11b說(shuō)明產(chǎn)生關(guān)于用于產(chǎn)生lbp標(biāo)簽的中心傳感器元件1104的二進(jìn)制閾值的過(guò)程。圖2b的cv計(jì)算硬件242可包含用于計(jì)算lbp標(biāo)簽的硬件。經(jīng)產(chǎn)生用于中心傳感器元件的標(biāo)簽可由二進(jìn)制值1111000表示。類似地，針對(duì)窗口1102的九個(gè)感覺元件中的每一者產(chǎn)生lbp標(biāo)簽。每一標(biāo)簽可從諸圖傳感器元件的角度提供cv特征的指示?？舍槍?duì)對(duì)應(yīng)于傳感器陣列中的多個(gè)主體傳感器元件的信號(hào)重復(fù)用以產(chǎn)生標(biāo)簽的閾值化。圖11b中所說(shuō)明的像素集lbp可經(jīng)擴(kuò)展以包含多塊lbp，其中通過(guò)將對(duì)應(yīng)于含有一或多個(gè)主體傳感器元件的塊的值(例如，與塊中的一或多個(gè)主體傳感器元件相關(guān)聯(lián)的值的和)與其相鄰傳感器元件塊進(jìn)行比較來(lái)針對(duì)所述含有一或多個(gè)主體傳感器元件的塊產(chǎn)生所說(shuō)明的二進(jìn)制閾值。可通過(guò)計(jì)算積分圖像來(lái)促進(jìn)對(duì)應(yīng)于傳感器元件塊中的每一者的值的計(jì)算。類似地，應(yīng)理解，還可類似地計(jì)算lbp的擴(kuò)展，例如局部三進(jìn)制模式(ltp)，此取決于主體傳感器元件與相鄰傳感器元件之間的差以而提供三個(gè)輸出。例如，在ltp的一個(gè)實(shí)施方案中，輸出在對(duì)應(yīng)于相鄰傳感器元件的信號(hào)比對(duì)應(yīng)于主體傳感器元件的信號(hào)加閾值大的情況下為一，輸出在對(duì)應(yīng)于相鄰傳感器元件的信號(hào)與對(duì)應(yīng)于主體傳感器元件的信號(hào)相比在閾值范圍內(nèi)的情況下為零，且輸出在對(duì)應(yīng)于相鄰傳感器元件的信號(hào)比對(duì)應(yīng)于主體傳感器元件的信號(hào)減去閾值小的情況下為負(fù)一。

圖11c說(shuō)明窗口(例如，表示來(lái)自傳感器元件陣列的某一子組傳感器元件的窗口)的歸一化直方圖，由關(guān)于來(lái)自窗口(例如，存儲(chǔ)在圖2b的硬件掃描窗口陣列238中的樣本窗口)的傳感器元件中的每一者的多個(gè)標(biāo)簽產(chǎn)生。在圖11c中所展示，來(lái)自窗口1102的傳感器讀數(shù)的lbp標(biāo)簽中的每一者可以(例如)256個(gè)時(shí)隙落在直方圖上任何處。因此，例如，當(dāng)將主體傳感器元件與其八個(gè)鄰居相比時(shí)，將產(chǎn)生8位數(shù)字，意指256個(gè)不同lbp標(biāo)簽可行。直方圖可表示在窗口中實(shí)際上產(chǎn)生給定lbp標(biāo)簽中的每一者的次數(shù)。為確定臉部是否存在與窗口中，在一個(gè)實(shí)施方案中，可將所產(chǎn)生直方圖與臉部的參考直方圖進(jìn)行比較?？捎?jì)算所產(chǎn)生直方圖與參考直方圖之間的交集，且從交集的和產(chǎn)生標(biāo)量和。如果標(biāo)量和比閾值大，那么根據(jù)給定概率，在窗口內(nèi)檢測(cè)到臉部。參考直方圖及閾值通常是在訓(xùn)練階段在(在此實(shí)例中)樣本臉部及樣本非臉部及其lbp直方圖的數(shù)據(jù)集上使用機(jī)器學(xué)習(xí)算法所確定的。一旦在訓(xùn)練階段針對(duì)相同架構(gòu)確定參考直方圖及閾值，即可將其編程在(例如)圖2a或2b的微處理器216中，或替代地，上述直方圖過(guò)程可由專用硬件執(zhí)行以針對(duì)圖像內(nèi)的給定窗口計(jì)算直方圖且確定窗口內(nèi)是否存在臉部或其它對(duì)象，類似于上文在圖2b中所論述的級(jí)聯(lián)是分類器硬件244。應(yīng)理解，替代將lbp標(biāo)簽用于直方圖產(chǎn)生，或除將lbp標(biāo)簽用于直方圖產(chǎn)生外，lbp標(biāo)簽也可由級(jí)聯(lián)分類其用于對(duì)象檢測(cè)，如圖2b中所論述。

圖12說(shuō)明可如上文所描述利用傳感器系統(tǒng)210的移動(dòng)裝置105的實(shí)施例。應(yīng)注意，圖12僅意欲提供對(duì)各種組件的廣義說(shuō)明，其中的任何者或全部可視情況使用?？勺⒁?，在一些情況中，由圖12所說(shuō)明的組件可經(jīng)定位到單個(gè)物理裝置及/或分布于各種網(wǎng)絡(luò)裝置間，所述各種網(wǎng)絡(luò)裝置可經(jīng)安置在不同物理位置處。

移動(dòng)裝置105經(jīng)展示包括可經(jīng)由總線1205電耦合(或可視情況以其它方式通信)的硬件元件。硬件元件可包含處理單元1210，所述處理單元可包含(非限制)一或多個(gè)通用處理器、一或多個(gè)專用處理器(例如數(shù)字信號(hào)處理(dsp)芯片、圖形加速處理器、專用集成電路(asic)及/或其類似者)，及/或其它處理結(jié)構(gòu)或構(gòu)件。在上文所描述的實(shí)施例中，處理單元1210可對(duì)應(yīng)于圖2a的主處理器220及/或關(guān)于圖4所描述的第二處理單元。如圖12中所展示，一些實(shí)施例可取決于所要功能性而具有單獨(dú)dsp1220。移動(dòng)裝置105還可包含一或多個(gè)輸入裝置1270(其可包含(非限制)觸摸屏、觸摸墊、麥克風(fēng)、按鈕、轉(zhuǎn)盤、開關(guān)及/或其類似者)；及一或多個(gè)輸出裝置1215(其可包含(非限制)顯示器、發(fā)光二極管(led)、揚(yáng)聲器及/或其類似者)。

移動(dòng)裝置105還可包含無(wú)線通信接口1230，其可包含(非限制)調(diào)制解調(diào)器、網(wǎng)卡、紅外線通信裝置、無(wú)線通信裝置，及/或芯片集(諸如藍(lán)牙裝置、ieee802.11裝置、ieee802.15.4裝置、wifi裝置、wimax裝置、蜂窩式通信設(shè)施，等)，及/或其類似者。無(wú)線通信接口1230可準(zhǔn)許與網(wǎng)絡(luò)、無(wú)線接入點(diǎn)、其它計(jì)算機(jī)系統(tǒng)及/或本文中所描述的任何其它電子裝置交換數(shù)據(jù)。可經(jīng)由發(fā)送及/或接收無(wú)線信號(hào)1234的一或多個(gè)無(wú)線通信天線1232實(shí)施通信。

取決于所要功能性，無(wú)線通信接口1230可包含單獨(dú)收發(fā)器以與基站收發(fā)器臺(tái)(蜂窩式網(wǎng)絡(luò)的基站)及/或接入點(diǎn)進(jìn)行通信。這些不同數(shù)據(jù)網(wǎng)絡(luò)可包含各種網(wǎng)絡(luò)類型。另外，無(wú)線廣域網(wǎng)絡(luò)(wwan)可為碼分多址接入(“cdma”)網(wǎng)絡(luò)、時(shí)分多址接入(“tdma”)網(wǎng)絡(luò)、頻分多址接入(“fdma”)網(wǎng)路、正交頻分多址接入(“ofdma”)系統(tǒng)、單波頻分多址接入(“sc-fdma”)網(wǎng)絡(luò)，wimax(ieee802.16)，等等。cdm網(wǎng)絡(luò)可實(shí)施一或多個(gè)無(wú)線電接入技術(shù)(“rat”)，例如cdma2000、寬帶-cdma(“w-cdma”)，等等。cdma2000包含is-95、is-2000及/或is-856標(biāo)準(zhǔn)。tdma網(wǎng)絡(luò)可實(shí)施全球移動(dòng)通信系統(tǒng)(“gsm”)、數(shù)字高級(jí)移動(dòng)電話系統(tǒng)(“d-amps”)，或一些其它rat。ofdma網(wǎng)絡(luò)可使用lte、高級(jí)lte，等等。lte、高級(jí)lte、gsm及w-cdma經(jīng)描述于來(lái)自3gpp的文檔中。cdma2000被描述于來(lái)自名稱為“第3代合作伙伴計(jì)劃2”(3gpp2)的社團(tuán)的文件中。3gpp及3gpp2文檔可公開獲得。無(wú)線局域網(wǎng)(wlan)也可為ieee802.11x網(wǎng)絡(luò)，且無(wú)線個(gè)人區(qū)域網(wǎng)絡(luò)(wpan)可為藍(lán)牙網(wǎng)絡(luò)、ieee802.15x，或某一其它類型的網(wǎng)絡(luò)。本文中所描述的技術(shù)還可用于wwan、wlan及/或wpan的任一組合。

移動(dòng)裝置105可進(jìn)一步包含傳感器1240。此些傳感器可包含(非限制)一或多個(gè)加速度計(jì)、陀螺儀、相機(jī)、磁力計(jì)、高度計(jì)、麥克風(fēng)、鄰近傳感器、光傳感器及其類似者。另外或替代地，傳感器1240可包含圖2a或2b的傳感器系統(tǒng)210及/或類似電子傳感器。因此，本文中所描述的實(shí)施例可在傳感器1240的傳感器系統(tǒng)210中包含第一處理器(例如，圖2a或2b中的微處理器216)，所述第一處理器產(chǎn)生關(guān)于圖12的處理單元1210(對(duì)應(yīng)于圖2a的主處理器220)中所包含的第二處理單元的事件。在一些實(shí)施例中，傳感器1240的第一處理單元(例如，圖2a或2b中的傳感器系統(tǒng)210的微處理器216)可依據(jù)從圖像陣列(例如，圖2a或2b的傳感器陣列單元212)的一或多個(gè)輸出接收的一或多個(gè)信號(hào)確定已檢測(cè)到臉部，且響應(yīng)于所述確定，產(chǎn)生用于第二處理單元(例如，圖12的處理單元1210)的臉部檢測(cè)事件。在一些實(shí)施例中，處理單元1210可以低功率模式操作，且在處理單元1210以低功率模式操作的同時(shí)，傳感器1240的第一處理單元(例如，圖2a或2b中的傳感器系統(tǒng)210的微處理器216)可操作以產(chǎn)生待由處理單元1210接收的事件及/或?qū)⑹录鬟_(dá)到處理單元1210。

移動(dòng)裝置的實(shí)施例還可包含衛(wèi)星定位系統(tǒng)(sps)接收器1280，所述衛(wèi)星定位系統(tǒng)(sps)接收器能夠使用sps天線1282從一或多個(gè)sps衛(wèi)星接收信號(hào)1284。sps接收器1280可使用常規(guī)技術(shù)從sps系統(tǒng)的衛(wèi)星(例如，全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)(例如，全球定位系統(tǒng)(gps))、伽利略、格洛納斯、羅盤、日本的準(zhǔn)天頂衛(wèi)星系統(tǒng)(qzss)、印度的印度區(qū)域?qū)Ш叫l(wèi)星系統(tǒng)(irnss)、中國(guó)的北斗衛(wèi)星導(dǎo)航系統(tǒng)，及或其類似者)提取移動(dòng)裝置的位置。此外，sps接收器1280可用于各種增強(qiáng)系統(tǒng)(例如，星基增強(qiáng)系統(tǒng)(sbas)，所述增強(qiáng)系統(tǒng)可與一或多個(gè)全球及/或區(qū)域?qū)Ш叫l(wèi)星系統(tǒng)相關(guān)聯(lián)或以其它方式啟用供與一或多個(gè)全球及/或區(qū)域?qū)Ш叫l(wèi)星系統(tǒng)使用。通過(guò)實(shí)例但非限制，sbas可包含增強(qiáng)系統(tǒng)，其提供完整性信息、差分校正等，例如，廣域增強(qiáng)系統(tǒng)(waas)、歐洲地球靜止導(dǎo)航重疊服務(wù)(egnos)、多功能衛(wèi)星增強(qiáng)系統(tǒng)(msas)、gps輔助型靜地增強(qiáng)導(dǎo)航或gps及靜地增強(qiáng)導(dǎo)航系統(tǒng)(gagan)，及/或其類似者。因此，如本文中所使用，sps可包含一或多個(gè)全球及/或區(qū)域?qū)Ш叫l(wèi)星系統(tǒng)及/或增強(qiáng)系統(tǒng)的任何組合，且sps信號(hào)可包含sps、類sps及/或與此一或多個(gè)sps相關(guān)聯(lián)的其它信號(hào)。

移動(dòng)裝置105可進(jìn)一步包含存儲(chǔ)器1260及/或與其通信。存儲(chǔ)器1260可包含(非限制)本地及/或網(wǎng)絡(luò)可存取存儲(chǔ)器、磁盤驅(qū)動(dòng)、驅(qū)動(dòng)陣列、光學(xué)存儲(chǔ)裝置、固態(tài)存儲(chǔ)裝置，例如可編程、可快閃更新及/或其類似者的隨機(jī)存取存儲(chǔ)器(“ram”)及/或只讀存儲(chǔ)器(“rom”)。此些存儲(chǔ)裝置可經(jīng)配置以實(shí)施任何適當(dāng)數(shù)據(jù)存儲(chǔ)，包含(非限制)各種文件系統(tǒng)、數(shù)據(jù)庫(kù)結(jié)構(gòu)及/或其類似者。圖2a的存儲(chǔ)器218(其可包含先前所列舉的存儲(chǔ)器類型中的任一者)可被包含在存儲(chǔ)器1260中或可不同于存儲(chǔ)器1260，此取決于所要功能性。

移動(dòng)裝置105的存儲(chǔ)器1260還可包括軟件元件(未展示)，包含操作系統(tǒng)、裝置驅(qū)動(dòng)、可執(zhí)行庫(kù)，及/或嵌入于計(jì)算機(jī)可讀媒體中的其它代碼，例如一或多個(gè)應(yīng)用程序，其可包括由各種實(shí)施例提供的計(jì)算機(jī)程序，及/或可經(jīng)設(shè)計(jì)以實(shí)施方法及/或配置系統(tǒng)，由其它實(shí)施例提供，如本文中所描述。在一方面中，接著此代碼及/或指令可用于配置及/或調(diào)適通用計(jì)算機(jī)(或其它裝置)以執(zhí)行根據(jù)所描述方法的一或多個(gè)操作。

熟習(xí)此項(xiàng)技術(shù)者將了解，可根據(jù)特定要求作出大量變化。舉例而言，還可使用自訂硬件，及/或特定元件可以硬件、軟件(包含便攜式軟件，諸如小程式，等)或兩者實(shí)施。此外，可使用到例如網(wǎng)絡(luò)輸入/輸出裝置的其它計(jì)算裝置的連接。

參考附圖，可包含存儲(chǔ)器的組件可包含非暫時(shí)性機(jī)器可讀媒體。如本文中所使用的術(shù)語(yǔ)“機(jī)器可讀媒體”及“計(jì)算機(jī)可讀媒體”指參與提供致使機(jī)器以特定方式操作的機(jī)器的數(shù)據(jù)的任何存儲(chǔ)媒體。在上文中所提供的實(shí)施例中，各種機(jī)器可讀媒體可經(jīng)涉及于將指令/代碼提供到處理單元及/或其它裝置以進(jìn)行執(zhí)行。另外或替代地，機(jī)器可讀媒體可用于存儲(chǔ)及/或載運(yùn)此些指令/代碼。在許多實(shí)施方案中，計(jì)算機(jī)可讀媒體為物理及/或有形存儲(chǔ)媒體。此媒體可呈許多形式，包含但不限于非易失性媒體、易失性媒體及傳輸媒體。計(jì)算機(jī)可讀媒體的共同形式包含(例如)磁性及/或光學(xué)媒體、打孔卡、紙帶、具有孔洞模式的任何其它物理體媒體、ram、prom、eprom、flash-eprom、任何其它存儲(chǔ)器芯片或卡匣、如下文中所描述的載波，或計(jì)算機(jī)可自其讀取指令及/或代碼的任何其它媒體。

本文中所論述的方法、系統(tǒng)及裝置為實(shí)例。各種實(shí)施例可在適當(dāng)時(shí)省略、取代或添加各種程序或組件。舉例來(lái)說(shuō)，可將關(guān)于某些實(shí)施例所描述的特征組合于其它實(shí)施例中。實(shí)施例的不同方面及元件可以類似方式組合。本文中所提供的圖的各種組件可以硬件及/或軟件體現(xiàn)。此外，技術(shù)演進(jìn)，且因此元件中的許多者為并不將本發(fā)明的范圍限制于那些特定實(shí)例的實(shí)例。

將此些信號(hào)稱作位、信息、值、元素、符號(hào)、字符、變數(shù)、項(xiàng)、數(shù)字、編號(hào)或其類似者有時(shí)已證明是便利的(主要出于共用的原因)。然而，應(yīng)理解，所有這些或相似術(shù)語(yǔ)應(yīng)與適當(dāng)物理量相關(guān)聯(lián)且僅為便利標(biāo)簽。除非另有具體規(guī)定，如從上文中的論述顯而易見，應(yīng)了解貫穿本說(shuō)明書，利用例如“處理”、“運(yùn)算”、“計(jì)算”、“確定”、“確認(rèn)”、“識(shí)別”、“相關(guān)聯(lián)”、“測(cè)量”、“執(zhí)行”或其類似者的術(shù)語(yǔ)的描述指特定設(shè)備(例如，專用計(jì)算機(jī)或類似專用電子計(jì)算裝置)的動(dòng)作或過(guò)程。因此，在本說(shuō)明書的上下文中，專用計(jì)算機(jī)或類似專用電子計(jì)算裝置能夠操縱或變換信號(hào)，通常在專用計(jì)算機(jī)或類似專用電子計(jì)算裝置的存儲(chǔ)器、寄存器或其它信息存儲(chǔ)裝置、傳輸裝置或顯示裝置內(nèi)表示為物理電子、電或磁量。

如本文中所使用，術(shù)語(yǔ)“及”與“或”可包含各種意義，其還預(yù)期至少部分地取決于其所使用的上下文。通常，“或”如果用于關(guān)聯(lián)列表(例如，a、b或c)意欲意指a、b及c(此處以包含意義下使用)，以及a、b或c(此處以不包含意義使用)。另外，如本文中所使用的術(shù)語(yǔ)“一或多個(gè)”可用于以單數(shù)形式描述任何特征、結(jié)構(gòu)或特性或可用于描述特征、結(jié)構(gòu)或特性的某一組合。然而，應(yīng)注意，此僅為說(shuō)明性實(shí)例且所主張標(biāo)的物并不限于此實(shí)例。此外，術(shù)語(yǔ)“中的至少一者”在用于關(guān)聯(lián)例如a、b或c的列表的條件下可經(jīng)解釋為意指a、b及/或c的任何組合，例如a、ab、aa、aab、aabbccc，等。

已描述數(shù)個(gè)實(shí)施例，可在不背離本發(fā)明的精神的情況下使用各種修改、替代構(gòu)造及等效物。舉例來(lái)說(shuō)，上述元件可僅為較大系統(tǒng)的組件，其中其它規(guī)則可優(yōu)于各種實(shí)施例的應(yīng)用或以其它方式修改所述應(yīng)用。此外，可在考慮上述元件之前、期間或之后進(jìn)行多個(gè)步驟。因此，上述描述并不限制本發(fā)明的范圍。