采用拖延期的視頻流的姿勢(shì)預(yù)處理來減少平臺(tái)功率的制作方法
【專利摘要】公開的技術(shù)用于處理視頻流以通過采用分步的分布式流水線過程來減少平臺(tái)功率，其中選擇性地執(zhí)行CPU密集處理。在一個(gè)示例情況下，這些技術(shù)在用戶的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)，其中初始閾值檢測(cè)部件（圖像擾動(dòng)）和用戶存在（例如，手部圖像）處理部件（可選地）接近或在系統(tǒng)的相機(jī)內(nèi)，并且相機(jī)位于或接近系統(tǒng)的主顯示器。閾值檢測(cè)級(jí)和/或目標(biāo)存在級(jí)可以在拖延期被選擇性禁用。例如，拖延期可以在50到1000毫秒的范圍中并且響應(yīng)于系統(tǒng)的用戶不可能作出導(dǎo)航姿勢(shì)或系統(tǒng)沒準(zhǔn)備好處理視頻的指示而被觸發(fā)，因此通過避免沒有導(dǎo)航姿勢(shì)的視頻幀的處理來保存功率。
【專利說明】采用拖延期的視頻流的姿勢(shì)預(yù)處理來減少平臺(tái)功率
【背景技術(shù)】
[0001]最終用戶的大多數(shù)計(jì)算機(jī)使用將最終用戶連接到因特網(wǎng)，并且通過瀏覽接口發(fā)生。常見使用和活動(dòng)包括例如基于搜索引擎的瀏覽、電子郵件、社交網(wǎng)絡(luò)、內(nèi)容消費(fèi)(例如，新聞文章和視頻觀看)、內(nèi)容共享(例如，照片、音樂等)、在線購(gòu)物和購(gòu)買、以及地圖和方向，只列出一些。這樣的常見因特網(wǎng)使用通常需要某個(gè)形式的基于用戶的導(dǎo)航，例如典型地用鼠標(biāo)或觸摸板和關(guān)鍵詞完成的導(dǎo)航。
[0002]在改進(jìn)用戶導(dǎo)航體驗(yàn)的努力中，已經(jīng)產(chǎn)生基于姿勢(shì)(gesture)的導(dǎo)航技術(shù)。特別地，用戶手部運(yùn)動(dòng)可以由所謂的網(wǎng)絡(luò)相機(jī)(webcam)記錄并且轉(zhuǎn)化成指針運(yùn)動(dòng)。結(jié)合網(wǎng)絡(luò)相機(jī)操作的典型的基于姿勢(shì)的導(dǎo)航應(yīng)用能夠模仿通常用常規(guī)鼠標(biāo)或觸摸板執(zhí)行的動(dòng)作:單擊、雙擊、拖拉和滾動(dòng)。用戶還可使用頭部運(yùn)動(dòng)來控制計(jì)算機(jī)或以其它方式影響導(dǎo)航。存在兩個(gè)使用相機(jī)實(shí)現(xiàn)人體姿勢(shì)的基本方法:使用具有所謂的標(biāo)記的對(duì)象的姿勢(shì)(其中在視場(chǎng)中部署的標(biāo)記與相機(jī)傳感器交互)，以及無標(biāo)記的姿勢(shì)(例如無標(biāo)記的手勢(shì))?？梢允褂玫湫陀糜诖蠹s3到5米(m)范圍中的觀察距離的三維或3D相機(jī)(具有Z深度)，或典型用于在大約0.5m范圍中的觀察距離的兩維或2D相機(jī)(從2D信息解釋3D運(yùn)動(dòng))，來實(shí)現(xiàn)無標(biāo)記的姿勢(shì)技術(shù)。
[0003]計(jì)算環(huán)境(例如，桌上型計(jì)算機(jī)或工作站、膝上型計(jì)算機(jī)或平板計(jì)算機(jī)、或游戲控制臺(tái))中的圖形處理通常需要多個(gè)復(fù)雜操作。這樣的操作包括例如關(guān)于確保圖像被適當(dāng)并及時(shí)渲染的那些、以及關(guān)于姿勢(shì)識(shí)別的那些。存在出現(xiàn)在這樣的操作的上下文中的多個(gè)重要的問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明一方面提供一種用于處理原始視頻流的系統(tǒng)。該系統(tǒng)包括:閾值檢測(cè)級(jí)，配置為確定所述視頻流的當(dāng)前幀是否充分不同于所述視頻流的前一幀，并且響應(yīng)于所述當(dāng)前幀沒有充分不同于所述前一幀，所述閾值檢測(cè)級(jí)還配置為停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理；以及目標(biāo)存在級(jí)，配置為確定所述當(dāng)前幀是否包括膚色顏色的(colored)像素，并且響應(yīng)于所述當(dāng)前幀不包括膚色顏色的像素，所述目標(biāo)存在級(jí)還配置為停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理；其中所述閾值檢測(cè)級(jí)和/或目標(biāo)存在級(jí)中的至少一個(gè)能夠在拖延期(hold-off period)被選擇性禁用。
[0005]本發(fā)明另一方面提供一種用于處理原始視頻流的系統(tǒng)。該系統(tǒng)包括:閾值檢測(cè)級(jí)，配置為確定所述視頻流的當(dāng)前幀是否充分不同于所述視頻流的前一幀，并且響應(yīng)于所述當(dāng)前幀沒有充分不同于所述前一幀，所述閾值檢測(cè)級(jí)還配置為停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理；目標(biāo)存在級(jí)，配置為確定所述當(dāng)前幀是否包括膚色顏色的像素，并且響應(yīng)于所述當(dāng)前幀不包括膚色顏色的像素，所述目標(biāo)存在級(jí)還配置為停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理；分割級(jí)，配置為接收來自所述當(dāng)前幀的數(shù)據(jù)，并且將感興趣的像素與不感興趣的像素分開，其中感興趣的像素被表示為二進(jìn)制大對(duì)象(blob)并且不感興趣的像素由非二進(jìn)制大對(duì)象表示；手部分析器(parser)級(jí)，配置為執(zhí)行從所述分割級(jí)接收的二進(jìn)制大對(duì)象數(shù)據(jù)的空間解釋；以及姿勢(shì)識(shí)別級(jí)，配置為執(zhí)行從所述手部分析器級(jí)接收的二進(jìn)制大對(duì)象數(shù)據(jù)的時(shí)間解釋并且識(shí)別用戶基于手部的導(dǎo)航姿勢(shì)；其中所述閾值檢測(cè)級(jí)、目標(biāo)存在級(jí)、分割級(jí)、分析器級(jí)和姿勢(shì)識(shí)別級(jí)以分步的(St印ped)分布式布置進(jìn)行配置，并且所述閾值檢測(cè)級(jí)和/或所述目標(biāo)存在級(jí)中的至少一個(gè)能夠在拖延期被選擇性禁用。
[0006]本發(fā)明又一方面提供一種使用原始視頻流的計(jì)算機(jī)導(dǎo)航方法。該方法包括:在第一處理級(jí)處確定所述視頻流的當(dāng)前幀是否充分不同于所述視頻流的前一幀，并且響應(yīng)于所述當(dāng)前幀沒有充分不同于所述前一幀，停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理；以及在第二處理級(jí)處確定所述當(dāng)前幀是否包括膚色顏色的像素，并且響應(yīng)于所述當(dāng)前幀不包括膚色顏色的像素，停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理；其中所述第一和第二處理級(jí)中的至少一個(gè)能夠在拖延期被選擇性禁用，所述拖延期在50到1000毫秒的范圍中并且響應(yīng)于沒有作出導(dǎo)航姿勢(shì)的指示而被觸發(fā)，因此通過避免沒有導(dǎo)航姿勢(shì)的視頻幀的處理來保存功率。
【專利附圖】

【附圖說明】
[0007]圖1a根據(jù)本發(fā)明的實(shí)施例用圖形圖示用于實(shí)施視頻流的姿勢(shì)預(yù)處理來減少平臺(tái)功耗的分步的分布式過程。
[0008]圖1b根據(jù)本發(fā)明的實(shí)施例圖示圖1a中分步的分布式過程的流程圖。
[0009]圖2a根據(jù)本發(fā)明的實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的系統(tǒng)的框圖。
[0010]圖2b根據(jù)本發(fā)明的實(shí)施例圖示來自圖2a中示出的系統(tǒng)的不同級(jí)(stage)的控制和數(shù)據(jù)流。
[0011]圖2c根據(jù)本發(fā)明的實(shí)施例示出用于過程中每個(gè)的典型CPU利用(給定特定計(jì)算系統(tǒng)設(shè)置)，并且因此示范可以通過使用視頻流過程的分步的分布式姿勢(shì)預(yù)處理而具有的改進(jìn)潛力。
[0012]圖3a根據(jù)本發(fā)明的實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的計(jì)算系統(tǒng)的示例使用情形。
[0013]圖3b-圖3e根據(jù)本發(fā)明的實(shí)施例各自圖示相機(jī)和GP電路的示例布置。
[0014]圖4根據(jù)本發(fā)明的實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的計(jì)算系統(tǒng)的框圖。
[0015]圖5根據(jù)本發(fā)明的另一實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的計(jì)算系統(tǒng)的框圖。
[0016]圖6根據(jù)本發(fā)明的另一實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的計(jì)算系統(tǒng)的框圖。
[0017]圖7根據(jù)本發(fā)明的實(shí)施例圖示可以減少多少平臺(tái)功耗的示例。
[0018]圖8根據(jù)本發(fā)明的另一實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的應(yīng)用編程接口(API)的框圖。
[0019]圖9圖示根據(jù)本發(fā)明的實(shí)施例配置的媒體系統(tǒng)。
[0020]圖10圖示根據(jù)本發(fā)明的實(shí)施例配置的移動(dòng)計(jì)算系統(tǒng)?！揪唧w實(shí)施方式】
[0021]公開的技術(shù)用于通過采用分步的分布式流水線(pipeline)過程來處理視頻流以減少平臺(tái)功率，其中選擇性地執(zhí)行CPU密集處理。根據(jù)一些實(shí)施例，這些技術(shù)特別地適用于視頻流的有效的基于手部的導(dǎo)航姿勢(shì)處理。該過程的分步的分布式特性允許減小在圖像處理之前將圖像數(shù)據(jù)從給定相機(jī)傳遞到存儲(chǔ)器所需的功率。在一個(gè)示例情況下，例如，在用戶的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)這些技術(shù)，其中初始閾值檢測(cè)(圖像擾動(dòng))部件和用戶存在(手部圖像)處理部件(可選地)接近或在系統(tǒng)的相機(jī)內(nèi)，并且相機(jī)位于或接近系統(tǒng)的主顯示器。這些技術(shù)還可包括當(dāng)用戶擺姿勢(shì)的手部忙于一些其它用戶活動(dòng)(例如，鍵盤、鼠標(biāo)或觸摸屏活動(dòng))時(shí)，通過在姿勢(shì)預(yù)處理期間選擇性地引入拖延期來減少圖像處理。當(dāng)計(jì)算機(jī)系統(tǒng)檢測(cè)到這樣的活動(dòng)時(shí)，可以安全地推斷基于手部的導(dǎo)航擺姿勢(shì)未被同時(shí)實(shí)施，并且因此圖像處理可以在那些無姿勢(shì)期期間以及在隨后簡(jiǎn)短的拖延期(例如，50到1000毫秒(mSec)、或50到500毫秒、或50到100毫秒)停止，拖延期通常反映用戶將他/她的手部從鼠標(biāo)/鍵盤/屏幕位置移回到通常實(shí)施基于手部的導(dǎo)航擺姿勢(shì)的中間位置所花費(fèi)的時(shí)間段。這樣的停止可以被選擇性地使用，例如只當(dāng)計(jì)算機(jī)系統(tǒng)在電池或以其它方式受限的功率上操作時(shí)。例如，計(jì)算機(jī)系統(tǒng)可以是具有在系統(tǒng)內(nèi)部和/或外部的顯示器和相機(jī)的任何移動(dòng)或固定計(jì)算系統(tǒng)。在一些情況下，這個(gè)中間位置的定位可以是用戶可配置的。
[0022]一般概沭
如先前解釋的，存在出現(xiàn)在圖形處理的上下文中的多個(gè)重要的問題，特別是關(guān)于姿勢(shì)識(shí)別。例如，執(zhí)行姿勢(shì)識(shí)別的典型2D和3D視頻圖像處理的工作量消耗相對(duì)大量的輸入/輸出(IO)功率，并且對(duì)中央處理單元(CPU)利用和平臺(tái)熱設(shè)計(jì)功率(有時(shí)被稱作TDP)預(yù)算作出最大貢獻(xiàn)(max out)。在相機(jī)“總是打開”并提供圖像用于處理并且因此即使在視覺圖像內(nèi)沒有相關(guān)事情發(fā)生也消耗功率的應(yīng)用中，這樣的問題加劇了。例如，捕獲圖像信息并且將它推送到CPU用于處理可以輕易消耗超過10瓦，即使對(duì)于簡(jiǎn)單姿勢(shì)或以其它方式在計(jì)算上簡(jiǎn)單的任務(wù)。大多數(shù)圖像處理工作量通常包括在計(jì)算上更復(fù)雜的任務(wù)并且以可用的最大視頻處理能力或接近可用的最大視頻處理能力來操作，并且內(nèi)在地由CPU利用和功率預(yù)算限制。因此，圖像處理應(yīng)用可以消耗所有可用的CPU周期，不留下或以其它方式留下不充分的CPU處理能力用于其它應(yīng)用。相機(jī)功率本身是在圖像處理之前將圖像數(shù)據(jù)從相機(jī)傳遞到存儲(chǔ)器所需的視頻捕獲功率(包括平臺(tái)控制器中心、CPU、和存儲(chǔ)器功率)的相對(duì)小的部分。圖像處理算法由這些因素有效地自我限制并且將消耗多得多的功率(如果它可用)。例如，典型的算法將幀速率自我限制到15幀每秒(FPS)，當(dāng)更好的識(shí)別將以更高的FPS發(fā)生時(shí)。因此，有可能可以用視頻圖像處理來消耗最大平臺(tái)功率，即使當(dāng)沒有將被分析的感興趣的影像(imagery)(例如，擺姿勢(shì)等)時(shí)。
[0023]因此，并且根據(jù)本發(fā)明的實(shí)施例，公開用于處理視頻流來減少平臺(tái)功率的技術(shù)。雖然可關(guān)于處理任何類型的視頻內(nèi)容來使用這些技術(shù)，但是根據(jù)一些實(shí)施例，它們特別適用于視頻流的有效的基于手部的導(dǎo)航姿勢(shì)處理。可以用分步的分布式方式來實(shí)現(xiàn)這些技術(shù)，使得極大減少在圖像處理之前將圖像數(shù)據(jù)從給定相機(jī)傳遞到存儲(chǔ)器所需的功率。例如，在一個(gè)示例情況下，在用戶的計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)這些技術(shù)，其中預(yù)處理部件接近或位于系統(tǒng)的相機(jī)內(nèi)，并且相機(jī)位于或接近系統(tǒng)的主顯示器。在一些這樣的實(shí)施例中，這些技術(shù)還包括通過在姿勢(shì)預(yù)處理期間選擇性地引入拖延期來減少圖像處理。更詳細(xì)地，當(dāng)用戶的手部忙于一些其它基于用戶接口的活動(dòng)(例如，基于鍵盤或鼠標(biāo)或觸摸屏的活動(dòng))時(shí)，可以識(shí)別沒有基于手部的導(dǎo)航姿勢(shì)的時(shí)期。當(dāng)由計(jì)算機(jī)系統(tǒng)檢測(cè)到這樣的活動(dòng)時(shí)，可以安全地推斷基于手部的導(dǎo)航擺姿勢(shì)未被同時(shí)實(shí)施，并且因此圖像處理可以在無姿勢(shì)期期間以及在隨后簡(jiǎn)短的拖延期(例如，50到500毫秒)被停止，拖延期通常反映用戶將他/她的手部從鼠標(biāo)/鍵盤/屏幕移回到通常實(shí)施基于手部的導(dǎo)航擺姿勢(shì)的中間位置所花費(fèi)的時(shí)間段。這樣的停止可被選擇性地使用，例如只當(dāng)計(jì)算機(jī)系統(tǒng)在電池功率上操作時(shí)。當(dāng)在外部電源上操作時(shí)，則拖延期可以根據(jù)一些實(shí)施例而被設(shè)置為零來提供瞬時(shí)響應(yīng)性，這是某些應(yīng)用(例如，基于手勢(shì)的游戲)期望的。
[0024]例如，計(jì)算機(jī)系統(tǒng)可以是膝上型計(jì)算機(jī)或上網(wǎng)本(其中顯示器是翻蓋(Iid)類型顯示器)、或桌上型計(jì)算機(jī)或工作站計(jì)算機(jī)或游戲控制臺(tái)(其中顯示器是外部顯示器)、或平板計(jì)算機(jī)或智能電話(其中顯示器是用戶接口和計(jì)算系統(tǒng)的殼體的完整部分)。例如，顯示器可以是IXD或CRT、或觸摸屏顯示器，并且可與計(jì)算裝置一體化(例如，平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、移動(dòng)電話)或在計(jì)算裝置外部(例如，桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)或平板計(jì)算機(jī))。例如，相機(jī)可以是單個(gè)2D相機(jī)或網(wǎng)絡(luò)相機(jī)，雖然可使用任何合適的相機(jī)技術(shù)，包括3D相機(jī)或所謂的立體相機(jī)對(duì)，并且可與計(jì)算裝置和/或顯示器一體化或在外部。
[0025]根據(jù)一個(gè)示例實(shí)施例，預(yù)處理部件包括閾值檢測(cè)級(jí)、目標(biāo)存在級(jí)、分割級(jí)、手部分析器級(jí)和姿勢(shì)識(shí)別級(jí)。閾值檢測(cè)級(jí)通常配置為確定視頻幀是否實(shí)際上是空的。如果幀不是空的或已經(jīng)以有意義的方式從最后幀改變，則處理轉(zhuǎn)到目標(biāo)存在級(jí)，目標(biāo)存在級(jí)配置為找到作為目標(biāo)的像素顏色(具體地是顏色匹配膚色特性的像素)。如果找到充分的皮膚顏色的像素來暗示可能存在手指，則處理轉(zhuǎn)到分割級(jí)，分割級(jí)配置為將感興趣的像素與不感興趣的像素分開并且因此可以作為自適應(yīng)膚色檢測(cè)級(jí)(膚色/非膚色邊緣檢測(cè))操作。在一個(gè)示例配置中，這一級(jí)將彩色視頻幀轉(zhuǎn)換成二進(jìn)制大對(duì)象(blob)圖像，其可以被編碼為單色或灰度級(jí)圖像。二進(jìn)制大對(duì)象用來表示皮膚顏色的像素的區(qū)域。根據(jù)一些示例實(shí)施例，這一級(jí)也配置成糾正相機(jī)噪聲和照明差別，并且使用腐蝕和放大變形方法來平滑二進(jìn)制大對(duì)象。
[0026]手部分析器級(jí)配置為執(zhí)行由分割級(jí)產(chǎn)生的二進(jìn)制大對(duì)象數(shù)據(jù)的空間解釋，并且嘗試將二進(jìn)制大對(duì)象數(shù)據(jù)映射到人體解剖幾何形狀。根據(jù)實(shí)施例，相關(guān)性選擇極大取決于使用情形和關(guān)于實(shí)施導(dǎo)航姿勢(shì)的人的相機(jī)觀看角度的假設(shè)。取決于場(chǎng)景，有時(shí)只需要邊緣數(shù)據(jù)，有時(shí)需要填充的二進(jìn)制大對(duì)象數(shù)據(jù)，并且有時(shí)需要有關(guān)節(jié)的手部模型。如將領(lǐng)會(huì)到的，取決于正被成像的主體部分的復(fù)雜性，解剖學(xué)上具體的分析可能難以概括并且因此難以放入固定功能件解決方案。然而，在這個(gè)使用情形中，可以在手部分析器級(jí)檢測(cè)手指，例如通過分析手部二進(jìn)制大對(duì)象的邊緣。例如，手部分析器級(jí)可配置用于比較邊緣的斜率來識(shí)別峰值(指尖)的位置。根據(jù)一些示例實(shí)施例，拇指和食指可以位于手部二進(jìn)制大對(duì)象內(nèi)，并且這些手指可以用作姿勢(shì)識(shí)別任務(wù)的目標(biāo)。姿勢(shì)識(shí)別級(jí)配置為執(zhí)行由手部分析器級(jí)生成的解剖/手部數(shù)據(jù)的時(shí)間解釋。例如，如果姿勢(shì)識(shí)別級(jí)用來檢測(cè)鼠標(biāo)等效的操作，則它可查找用戶的指尖和/或手部的位置改變。
[0027]注意，不是所有這五個(gè)預(yù)處理級(jí)必須接近或在計(jì)算系統(tǒng)的相機(jī)內(nèi)。也不是它們所有必須處于或接近計(jì)算系統(tǒng)的顯示器來實(shí)現(xiàn)功率節(jié)省。例如，如將根據(jù)本公開所領(lǐng)會(huì)的，如果閾值檢測(cè)級(jí)和目標(biāo)存在級(jí)是在接近顯示器的相機(jī)傳感器中實(shí)現(xiàn)的僅有級(jí)，并且剩下的級(jí)被實(shí)現(xiàn)在CPU中(例如，作為又將討論的姿勢(shì)API的一部分)，則這樣的實(shí)施例仍然會(huì)實(shí)現(xiàn)可觀的功率節(jié)省。而且，不同的使用模型可指示不同的實(shí)現(xiàn)策略。例如，可期望具有兩個(gè)模式操作:用于因特網(wǎng)導(dǎo)航(涉及相對(duì)低復(fù)雜性姿勢(shì)的更隨意使用)的2D模式，以及用于更密集的應(yīng)用(例如，可涉及相對(duì)高復(fù)雜性姿勢(shì)的CAD操縱、Photoshop)的3D模式。在這樣的實(shí)施例中，2D模式可全部在相機(jī)傳感器中執(zhí)行(以增加的相機(jī)成本為代價(jià))，而3D模式可在相機(jī)傳感器中執(zhí)行前兩個(gè)或三個(gè)級(jí)并且然后將原始圖像數(shù)據(jù)上傳到姿勢(shì)API用于由計(jì)算系統(tǒng)的CPU執(zhí)行的姿勢(shì)處理步驟(或?qū)⒛莻€(gè)原始圖像數(shù)據(jù)傳到專用軟件應(yīng)用)。在2D和3D模式兩者中，實(shí)現(xiàn)功率節(jié)省，尤其是當(dāng)相機(jī)的視場(chǎng)(FOV)內(nèi)沒有出現(xiàn)感興趣的事情時(shí)。
[0028]在一些實(shí)施例中，各種分步的分布式預(yù)處理部件到計(jì)算機(jī)系統(tǒng)的邏輯連接被實(shí)現(xiàn)為姿勢(shì)應(yīng)用編程接口(在下文中稱為“姿勢(shì)API”)。例如，根據(jù)一些實(shí)施例，姿勢(shì)API可呈現(xiàn)為擴(kuò)展的通用串行總線人接口(USB HID)類裝置。一般而言，姿勢(shì)API有效地暴露來自各種預(yù)處理級(jí)(閾值檢測(cè)、目標(biāo)存在、分割、手部分析器和姿勢(shì)識(shí)別)的信息，以使這樣的信息可以由計(jì)算系統(tǒng)的其它部分利用，如果這樣期望的話。在一些實(shí)施例中，API還可被編程或以其它方式配置為包括安全/隱私政策以便防止例如來自視頻流的不安全信息接入到計(jì)算系統(tǒng)的CPU或其它資源。
[0029]如將根據(jù)本公開領(lǐng)會(huì)的，本文提供的姿勢(shì)預(yù)處理視頻流技術(shù)可用于任何數(shù)量的應(yīng)用，包括改進(jìn)基于手勢(shì)的因特網(wǎng)導(dǎo)航以及基于手勢(shì)的計(jì)算機(jī)導(dǎo)航。可以應(yīng)用這些技術(shù)的一個(gè)具體這樣的應(yīng)用是在大約0.5m的距離處使用2D相機(jī)的無標(biāo)記手勢(shì)識(shí)別。然而，這些技術(shù)可應(yīng)用于包括基于3D的應(yīng)用的許多其它應(yīng)用，如果這樣期望的話。根據(jù)本公開許多使用模型將是顯而易見的，例如桌子或用戶的膝部或公園長(zhǎng)凳上的筆記本計(jì)算機(jī)或上網(wǎng)本、在家或辦公室的具有一個(gè)或多個(gè)外部顯示器的桌上型計(jì)算機(jī)或筆記本計(jì)算機(jī)或上網(wǎng)本、在工作/臥室環(huán)境中的桌上型計(jì)算機(jī)或筆記本計(jì)算機(jī)或上網(wǎng)本、咖啡館桌上的筆記本計(jì)算機(jī)或上網(wǎng)本、會(huì)議室桌上的筆記本計(jì)算機(jī)或上網(wǎng)本、飛機(jī)托盤頂部上的筆記本計(jì)算機(jī)或上網(wǎng)本、以及因特網(wǎng)咖啡館(例如，具有一個(gè)或多個(gè)外部顯示器的桌上型計(jì)算機(jī))，只列出一些。
[0030]如將根據(jù)本公開進(jìn)一步領(lǐng)會(huì)的，計(jì)算系統(tǒng)內(nèi)視頻處理任務(wù)的功耗應(yīng)該理想地與從計(jì)算系統(tǒng)的相機(jī)傳感器獲取的原始圖像數(shù)據(jù)的提取的等級(jí)相當(dāng)。換句話說，原始圖像數(shù)據(jù)消耗極小功率，增加地更多功率被消耗來將圖像閾值化(thresho I d )，而更多功率被消耗來檢測(cè)存在，等等。為此，根據(jù)實(shí)施例，預(yù)處理部件有效地實(shí)施分步的或漸進(jìn)式操作序列，其中增加地更多功率消耗在行進(jìn)中的每個(gè)級(jí)來生成視頻流圖像內(nèi)的更高級(jí)的相關(guān)信息或意義。然而注意，一些實(shí)施例可具有一些比后面的級(jí)使用更多功率的中間級(jí)，并且要求保護(hù)的發(fā)明不旨在限于展現(xiàn)功耗的任何特定進(jìn)展的級(jí)。例如，在一些實(shí)施例中，分割級(jí)比組合的其它四個(gè)級(jí)更計(jì)算密集?？偟膩碚f，預(yù)處理部件可以共同地并且有效地分析原始(未經(jīng)壓縮的)的視頻流或視頻流的子集，來確定視頻流圖像內(nèi)的意義或相關(guān)性。例如，可以在硬件中(例如，諸如Verilog或VHDL的寄存器傳遞語言、或其它門級(jí)邏輯或?qū)ｉT建立的半導(dǎo)體)、或軟件/固件中(例如，在微控制器中執(zhí)行的微碼)實(shí)現(xiàn)預(yù)處理部件。
[0031]系統(tǒng)架構(gòu)
圖1a根據(jù)本發(fā)明的實(shí)施例用圖形圖示用于實(shí)施視頻流的姿勢(shì)預(yù)處理來減少平臺(tái)功耗的分步的分布式過程。如可以看出的，存在可以在計(jì)算系統(tǒng)的CPU和分布式性能原語之間被有效地劃分的五個(gè)不同級(jí)別的數(shù)據(jù)提取。這些級(jí)別包括原始數(shù)據(jù)、閾值化、存在、命令、和識(shí)別。如可以進(jìn)一步看到的，與數(shù)據(jù)提取的這些級(jí)別中的每個(gè)相關(guān)聯(lián)的處理可以被實(shí)施在相機(jī)中(或其附近)、或在圖形處理單元(GPU)硬件加速中、或在CPU上執(zhí)行的應(yīng)用軟件中。如可以進(jìn)一步看到的，在這些級(jí)別中的至少一些處的處理可以用拖延期來實(shí)現(xiàn)，當(dāng)可以推斷沒有相關(guān)活動(dòng)正在相機(jī)的FOV中發(fā)生時(shí)，拖延期可用于在適當(dāng)?shù)臅r(shí)刻有效地禁用在那個(gè)級(jí)別處的處理，如本文解釋的。
[0032]例如，原始數(shù)據(jù)可以是編碼的視頻流或原始圖像流。原始數(shù)據(jù)通常指示未經(jīng)壓縮的圖像數(shù)據(jù)，然而編碼的視頻流通常被壓縮。壓縮算法通常用來通過低帶寬通信信道擬合(f it)大量的數(shù)據(jù)，并且這通常在相機(jī)傳感器硅內(nèi)完成。數(shù)據(jù)壓縮通常減少圖像的保真度并且使圖像處理更困難。在閾值化級(jí)別，可完成閾值化來檢測(cè)圖像中的擾動(dòng)以便粗略地識(shí)別用戶活動(dòng)的存在。例如，這樣的粗略識(shí)別將檢測(cè)從沒有用戶出現(xiàn)的數(shù)據(jù)幀的流到有用戶出現(xiàn)的數(shù)據(jù)幀的流的轉(zhuǎn)換，如由用戶運(yùn)動(dòng)(視頻內(nèi)容)和/或用戶語音(音頻內(nèi)容)指示的。如在這個(gè)示例實(shí)施例中可以看到的，原始數(shù)據(jù)和閾值化級(jí)別中的每個(gè)可以在相機(jī)內(nèi)或以其它方式接近相機(jī)而被處理。
[0033]一旦在閾值化級(jí)別處作出這樣的粗略識(shí)別，則可以在存在級(jí)別處識(shí)別內(nèi)容中具體用戶特征的存在。例如，具體用戶特征可包括用戶的臉部和/或手部。如另外參考圖1a中描繪的示例實(shí)施例可以看到的，處理的這個(gè)特定級(jí)別可在一些情況下在相機(jī)內(nèi)或以其它方式接近相機(jī)而被實(shí)施，或在其它情況下由GPU作為加速過程來實(shí)施，這取決于涉及的圖像分析的復(fù)雜性(例如，臉部分析可比手部分析更復(fù)雜)。
[0034]一旦作出具體用戶特征出現(xiàn)在內(nèi)容流中的這樣的精確識(shí)別，則那些用戶特征可以通常對(duì)于在命令級(jí)別處擺姿勢(shì)被評(píng)定。例如，臉部和/或手部活動(dòng)可以通常對(duì)于類似命令的姿勢(shì)(如同運(yùn)動(dòng)的手部或頭部轉(zhuǎn)動(dòng))被評(píng)定。如另外參考圖1a中描繪的示例實(shí)施例可以看到的，處理的這個(gè)特定級(jí)別可由GPU作為加速過程來實(shí)施。例如，在一些情況下，GPU可與CPU共處一地(co-locate)，或可經(jīng)由總線結(jié)構(gòu)在操作上耦合到CPU。在后者情況下，GPU可以在與CPU相同的母板上，或可在母板外部(例如，在操作上耦合到母板的專用圖形處理卡上，或在經(jīng)由通信端口在操作上耦合到計(jì)算系統(tǒng)的外部圖形處理裝置上)。
[0035]一旦識(shí)別類似命令的姿勢(shì)，則那個(gè)姿勢(shì)可以對(duì)于在識(shí)別等級(jí)的特定命令被評(píng)定。例如，命令可以是用于指引用戶正在執(zhí)行的在線購(gòu)物過程的用戶導(dǎo)航命令。例如，關(guān)于視頻內(nèi)容，基于臉部的姿勢(shì)可以經(jīng)過(subject to)臉部識(shí)別，和/或基于手部的姿勢(shì)可以經(jīng)過分析來識(shí)別符合美國(guó)符號(hào)語言(ASL)的手勢(shì)，以便識(shí)別給定命令。如另外參考圖1a中描繪的示例實(shí)施例可以看到的，處理的這個(gè)特定級(jí)別可由CPU上執(zhí)行的應(yīng)用軟件實(shí)施。
[0036]圖1b根據(jù)本發(fā)明的實(shí)施例圖示圖1a的分步的分布式過程的流程圖。如在這個(gè)示例實(shí)施例中可以看到的，視頻相機(jī)用來生成給定計(jì)算機(jī)設(shè)置處的用戶手部活動(dòng)的原始圖像數(shù)據(jù)。在其它實(shí)施例中，將被處理的視頻內(nèi)容可包括用戶的臉部活動(dòng)。如將根據(jù)本公開領(lǐng)會(huì)的，無論內(nèi)容類型，本文提供的用于預(yù)處理媒體內(nèi)容的分步的分布式技術(shù)可以按類似方式被等同地應(yīng)用。
[0037]流程以從可包括一個(gè)或多個(gè)相機(jī)的傳感器接收原始圖像數(shù)據(jù)流媒體(streaming)開始。如果使用多于一個(gè)相機(jī)，則因此可以處理每個(gè)視頻流，如本文所討論的。如可以看到的，在這個(gè)示例實(shí)施例中的初始處理級(jí)別(閾值化和存在級(jí)別)可以在拖延期期間被選擇性地禁用，如又將參考圖2a解釋的。為了圖1b的這個(gè)描述的剩余部分的目的，假設(shè)啟用在這些級(jí)別處的處理。
[0038]在閾值化級(jí)別處，分析視頻流來檢測(cè)視頻流中的擾動(dòng)。在一個(gè)示例實(shí)施例中，如果當(dāng)前視頻幀多于10%與前一視頻幀不同，則可以發(fā)出檢測(cè)信號(hào)。閾值可以從一個(gè)實(shí)施例到下一個(gè)而不同(例如，5%或者更多、或者50%或更多，等等)，并且可以按期望的給定因素，例如為給定計(jì)算系統(tǒng)(使用情形)設(shè)置而正被觀察的特定環(huán)境以及在那個(gè)環(huán)境/系統(tǒng)中改變的所期望的靈敏性程度)，而設(shè)置。如果不超過預(yù)先建立的粗略閾值，則過程繼續(xù)接收并監(jiān)視原始圖像數(shù)據(jù)。然而，如果超過粗略閾值，則過程繼續(xù)在存在級(jí)別處檢測(cè)圖像中的用戶手部。如以前解釋的，在一些實(shí)施例中，在閾值化級(jí)別和存在級(jí)別處的預(yù)處理可以被實(shí)施在相機(jī)電路中，或被實(shí)施在配置為接近相機(jī)部署并且在相對(duì)短的距離上(例如，小于0.lm，例如
0.05m或者更小，或經(jīng)由總線結(jié)構(gòu)或其它合適的通信端口直接耦合到相機(jī)殼體)在操作上與相機(jī)耦合的專用電路中，以使IO功率相對(duì)于在來自相機(jī)的所有圖像內(nèi)容被提供給CPU上執(zhí)行的應(yīng)用軟件時(shí)將使用的IO功率而減少。如將領(lǐng)會(huì)的，要求保護(hù)的發(fā)明不旨在限于專用電路與給定相機(jī)傳感器之間的距離的任何特定范圍；而是本文提供的使用分步的分布式預(yù)處理方案的概念可以在任何數(shù)量的配置中被實(shí)現(xiàn)。如果圖像不包括可識(shí)別為用戶手部的任何東西，則過程繼續(xù)接收并監(jiān)視原始圖像數(shù)據(jù)。
[0039]然而，如果圖像的確包括可識(shí)別為用戶手部的內(nèi)容，則過程在命令級(jí)別或以其它方式朝著命令級(jí)別繼續(xù)將成像的手部映射到與已知手勢(shì)相關(guān)聯(lián)的有關(guān)節(jié)的手部的模型。在一些這樣的示例實(shí)施例中，成像的手部與多個(gè)這樣的模型比較，并且為每個(gè)模型確定相似度分?jǐn)?shù)。過程在命令級(jí)別繼續(xù)確定圖像是否包括作出已知姿勢(shì)的手部。例如，在一些這樣的情況下，產(chǎn)生最高相似度分?jǐn)?shù)的模型可以被識(shí)別為匹配。在其它情況下，遇到的具有超過預(yù)先建立的閾值的相似度分?jǐn)?shù)的第一模型可以被識(shí)別為匹配(以使不一定需要測(cè)試所有模型)。如以前解釋的，在一些實(shí)施例中，這個(gè)命令級(jí)別預(yù)處理可以被實(shí)施為GPU加速過程。如果在命令級(jí)別處確定圖像不包括作出已知姿勢(shì)的手部，則過程返回到存在級(jí)別以便繼續(xù)關(guān)于圖像中是否存在用戶手部而分析視頻流。如將根據(jù)本公開領(lǐng)會(huì)的，命令級(jí)別可通知存在級(jí)別它的發(fā)現(xiàn)(例如，沒有二進(jìn)制大對(duì)象數(shù)據(jù))，使得存在級(jí)別處的處理以受教育的方式進(jìn)行。
[0040]然而，如果在命令級(jí)別處確定圖像的確包括作出已知姿勢(shì)的手部，則過程繼續(xù)將姿勢(shì)數(shù)據(jù)傳給應(yīng)用軟件用于在識(shí)別級(jí)別進(jìn)行處理。如以前解釋的，這個(gè)級(jí)別的處理趨向于是CPU密集的。另外注意，在這個(gè)示例情況中姿勢(shì)數(shù)據(jù)經(jīng)由USB HID API (姿勢(shì)API)傳上棧。將參考圖8又討論這個(gè)API。如將進(jìn)一步領(lǐng)會(huì)的，注意命令級(jí)別確定可足以明確識(shí)別已知手勢(shì)，并且將不需要執(zhí)行在基于CPU的識(shí)別級(jí)別處的后續(xù)處理，因此進(jìn)一步節(jié)省基于CPU的功耗。
[0041]因此，通過在相機(jī)內(nèi)或以其它方式接近相機(jī)進(jìn)行至少一些程度的視頻流的姿勢(shì)預(yù)處理可以實(shí)質(zhì)減少功耗，這在移動(dòng)計(jì)算裝置(例如，膝上型計(jì)算機(jī)、上網(wǎng)本、平板計(jì)算機(jī)、智能電話等)中可能是特別有幫助的。這是因?yàn)?，一般而言，大多?shù)視頻處理涉及可以在配置為并且定位成減少IO活動(dòng)和CPU工作量的分布式電路中被實(shí)施的相對(duì)低復(fù)雜性的處理，并且涉及更高復(fù)雜性處理的剩余百分比的處理可作為原始數(shù)據(jù)被發(fā)送到GPU用于加速處理和/或發(fā)送到CPU中的驅(qū)動(dòng)器(應(yīng)用軟件)用于處理。在此意義上，本文提供的技術(shù)通過使用在相機(jī)和GPU中(或其附近)運(yùn)行的專用分布式性能原語或硬件功能件來減少在通用CPU核中執(zhí)行的基于軟件的算法的需要。
[0042]圖2a根據(jù)本發(fā)明的實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的系統(tǒng)的框圖。如可以看到的，系統(tǒng)是配置有多個(gè)分布式部件(在此示例情況下為五個(gè))的姿勢(shì)處理流水線。在這個(gè)示例實(shí)施例中，部件中的兩個(gè)(閾值檢測(cè)級(jí)和目標(biāo)存在級(jí))被實(shí)現(xiàn)為在相機(jī)內(nèi)或以其它方式接近相機(jī)的姿勢(shì)預(yù)處理(GP)電路。響應(yīng)于拖延控制信號(hào)，這兩個(gè)部件中的每個(gè)可以被啟用或禁用(根據(jù)具體情況而定)，這將又參考表I進(jìn)行討論。如將根據(jù)本公開領(lǐng)會(huì)的，如果GP電路實(shí)際直接集成在相機(jī)電路內(nèi)或以其它方式充分接近相機(jī)(只要GP電路充分接近相機(jī)傳感器以便減少IO功率和CPU處理時(shí)間)或以其它方式比CPU更接近相機(jī)，則GP電路可被認(rèn)為是與相機(jī)“共處一地”。另一部件(分割級(jí))是GPU加速的。其它的兩個(gè)部件(手部分析器級(jí)和姿勢(shì)識(shí)別級(jí))在計(jì)算系統(tǒng)的CPU中被執(zhí)行。根據(jù)本公開，這個(gè)分步的分布式架構(gòu)的變化將是顯而易見的，其中任何這樣的分步的分布式架構(gòu)允許關(guān)于活躍和空閑功率場(chǎng)景的優(yōu)化。特別地，與相機(jī)和GPU共處一地的視頻處理部件是有效地更固定的功能件，因此比解決相同計(jì)算問題的傳統(tǒng)CPU要求更少功率。
[0043]如本文所使用的，“GP電路”是配置為實(shí)現(xiàn)圖2a中示出的五個(gè)級(jí)中的一個(gè)或多個(gè)的集成電路，它被實(shí)現(xiàn)在提供將被分析的視頻流的相機(jī)內(nèi)或者被實(shí)現(xiàn)為配置為由如以前解釋的相對(duì)短的連接來與那個(gè)相機(jī)直接耦合的專用電路(例如，以便與將所有視頻從相機(jī)傳到基于CPU的驅(qū)動(dòng)器的傳統(tǒng)技術(shù)相比減少IO功率和CPU周期)。共處一地的GP電路和相機(jī)中的每個(gè)可以集成在顯示器內(nèi)、或在顯示器外部、或一些合適的組合。例如，在一些具體示例實(shí)施例中，GP電路可以被實(shí)現(xiàn)在移動(dòng)計(jì)算裝置(例如，膝上型計(jì)算機(jī)、上網(wǎng)本等)的鉸鏈?zhǔn)斤@示器蓋內(nèi)并且接近也嵌入在那個(gè)蓋內(nèi)的相機(jī)電路。在其它這樣的示例基于蓋的顯示器情況下，GP電路可被直接實(shí)現(xiàn)在嵌入的相機(jī)本身內(nèi)。在其它示例情況下，例如，GP電路可被直接實(shí)現(xiàn)在外部相機(jī)內(nèi)，外部相機(jī)配置為夾住或以其它方式在操作上耦合到計(jì)算系統(tǒng)(例如，桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)等)的基于蓋的顯示器或外部顯示器。在另外其它示例情況下，GP電路可被實(shí)現(xiàn)在離散封裝件中并且配置為與這樣的外部相機(jī)在操作上耦合。在另外其它示例實(shí)施例中，GP電路可嵌在外部顯示器的殼體內(nèi)并且接近也嵌在那個(gè)顯示器內(nèi)的相機(jī)電路。在其它這樣的示例外部顯示器情況下，GP電路可被直接實(shí)現(xiàn)在嵌入的相機(jī)本身內(nèi)。如將根據(jù)本公開領(lǐng)會(huì)的，GP電路與相機(jī)電路之間的集成度或接近度越大，在相機(jī)與GP電路圖像處理子系統(tǒng)之間可以實(shí)現(xiàn)的IO功率減小越大。
[0044]閾值檢測(cè)級(jí)是流水線中的第一級(jí)并且配置為粗略地確定視頻幀是否實(shí)際上是空的。如果當(dāng)前視頻幀與前一幀足夠類似，則該幀被視為空的。例如，根據(jù)一個(gè)這樣的實(shí)施例，這可以使用低功率硅來實(shí)現(xiàn)，低功率硅實(shí)現(xiàn)合計(jì)并且比較每個(gè)幀的亮度(Iuma)通道的簡(jiǎn)單算法。如果視頻使用RGB顏色空間，則因?yàn)閅UV像素的大多數(shù)亮度分量被包括在RGB像素的綠色分量中，所以綠色分量在其位置被代替。如果當(dāng)前的與以前的之間的變化量大于給定閾值，則這將觸發(fā)移到下一級(jí)。否則，不發(fā)送空幀到下一級(jí)，這當(dāng)用戶不執(zhí)行姿勢(shì)時(shí)幫助管理功率。
[0045]根據(jù)實(shí)施例，目標(biāo)存在級(jí)配置為實(shí)現(xiàn)相對(duì)低復(fù)雜性的方法用于找到作為目標(biāo)的像素顏色。在一些情況下，這一級(jí)尋找顏色匹配膚色的特性的像素。例如，對(duì)膚色的匹配可以在配置為將RGB (或YUV)數(shù)據(jù)流轉(zhuǎn)換成HSV像素的硅中被實(shí)施。人類膚色占用色調(diào)中相對(duì)有限的范圍，從而允許快速、低功率固定功能的轉(zhuǎn)換和比較。注意目標(biāo)存在級(jí)不要求前一幀的信息或任何數(shù)據(jù)存儲(chǔ)。如果在掃描線路中找到足夠的皮膚顏色的像素以暗示可能出現(xiàn)手指，則處理轉(zhuǎn)換到下一級(jí)。否則，無目標(biāo)存在或不足數(shù)量的皮膚顏色的像素的幀沒有被發(fā)送到下一級(jí)，這當(dāng)用戶不執(zhí)行姿勢(shì)時(shí)幫助管理功率。
[0046]根據(jù)實(shí)施例，分割級(jí)配置為從目標(biāo)存在級(jí)接收目標(biāo)存在幀并且將感興趣的像素與不感興趣的像素分開。在一個(gè)示例情況下，這一級(jí)實(shí)現(xiàn)將彩色視頻幀轉(zhuǎn)換成二進(jìn)制大對(duì)象的圖像的自適應(yīng)膚色檢測(cè)算法，二進(jìn)制大對(duì)象的圖像可編碼為單色或灰度級(jí)圖像。例如，在灰度級(jí)圖像的情況下，非零像素可用于表示二進(jìn)制大對(duì)象的像素并且黑色像素指示非二進(jìn)制大對(duì)象像素。本質(zhì)上，二進(jìn)制大對(duì)象用來表示皮膚顏色的像素的區(qū)域。自適應(yīng)膚色檢測(cè)基于幀數(shù)據(jù)來適配皮膚色調(diào)下界和上界。除了使用腐蝕和放大變形方法來平滑對(duì)象之外，這也消除由于相機(jī)噪聲和照明引起的分散像素。如已知的，形態(tài)學(xué)是基于形狀處理數(shù)字圖像的數(shù)學(xué)方法。放大變形通常指的是擴(kuò)展或填充目標(biāo)對(duì)象的操作。腐蝕變形涉及類似的方法，但是在不是對(duì)象而是圖像的背景上操作。如將根據(jù)本公開領(lǐng)會(huì)的，許多GPU具有可以對(duì)于分割級(jí)的最佳實(shí)現(xiàn)受影響(leverage)的指令。
[0047]根據(jù)實(shí)施例，手部分析器級(jí)配置為執(zhí)行二進(jìn)制大對(duì)象數(shù)據(jù)的空間解釋。在一個(gè)特定示例情況下，該級(jí)嘗試將二進(jìn)制大對(duì)象數(shù)據(jù)映射到人體解剖幾何形狀，例如人手的模型或人體的模型，這取決于正在評(píng)價(jià)的目標(biāo)姿勢(shì)。如將根據(jù)本公開領(lǐng)會(huì)的，手部分析器級(jí)嘗試關(guān)聯(lián)二進(jìn)制大對(duì)象數(shù)據(jù)與人體部分/姿態(tài)的方式極大取決于使用情形以及關(guān)于人的相機(jī)觀看角度的假設(shè)。解釋二進(jìn)制大對(duì)象的方式也可以不同。在一些示例情況下，只使用邊緣確定人體幾何形狀可能是充分的。在其它場(chǎng)景中，填滿的二進(jìn)制大對(duì)象是更適當(dāng)?shù)摹Ｔ谝恍┣闆r下，來自分割級(jí)的二進(jìn)制大對(duì)象數(shù)據(jù)可需要附加的處理來移除二進(jìn)制大對(duì)象上對(duì)正確分析它們有害的視覺偽像，并且手部分析器級(jí)可配置為移除這樣的偽像。在相機(jī)配置為觀看用戶手部的情況下，可以通過分析手部二進(jìn)制大對(duì)象的邊緣來檢測(cè)手指。比較邊緣上不同采樣點(diǎn)處的斜率可以暗示峰值(例如，指尖)的位置。那些類似峰值的二進(jìn)制大對(duì)象的另外分析(在各種像素之間的距離和斜率方面)可以揭示指尖附連到指干。如有必要，這一級(jí)可以嘗試接合整個(gè)人手，包括所有5個(gè)指尖的位置。在一些情況下，檢測(cè)單個(gè)手指可能是充分的。在這個(gè)意義上，使用模型確定要求分析的數(shù)量。如以前指示的，解剖學(xué)上具體的分析(例如，手部分析)可難以概括，并且因此難以放入固定功能硅。因此，在一些實(shí)施例中，手部分析器級(jí)由CPU執(zhí)行。
[0048]根據(jù)本發(fā)明的實(shí)施例，姿勢(shì)識(shí)別級(jí)配置為執(zhí)行解剖/手部數(shù)據(jù)(從手部分析器級(jí)接收的二進(jìn)制大對(duì)象數(shù)據(jù))的時(shí)間解釋。例如，如果該級(jí)用于分析鼠標(biāo)或觸摸板操作，則它可以查找一個(gè)或多個(gè)指尖的位置改變。在一些情況下，原始相機(jī)圖像中的運(yùn)動(dòng)模糊可以使手部分析器級(jí)難以接合人體解剖。在這樣的情況下，姿勢(shì)識(shí)別級(jí)可以采用關(guān)于使用情形的假定來改進(jìn)姿勢(shì)解釋的可靠性。例如，如果手部分析器級(jí)在一個(gè)幀中成功地檢測(cè)完整手指但它只可以在下一幀中確定指尖位置(例如，不可以確認(rèn)指尖附連到“適當(dāng)?shù)摹笔种?，則姿勢(shì)識(shí)別級(jí)可假定它是在下一幀中的相同手指。
[0049]一般而言，分割級(jí)、手部分析器級(jí)和姿勢(shì)識(shí)別級(jí)可配置為將反饋發(fā)送到閾值檢測(cè)級(jí)或目標(biāo)存在級(jí)。例如，并且如在圖2a的示例實(shí)施例中可以看到的，如果手部分析器級(jí)實(shí)際找到可能是手部的足夠大的二進(jìn)制大對(duì)象，則它可以用信號(hào)通知閾值檢測(cè)級(jí)來將前一幀的亮度/綠色計(jì)數(shù)器復(fù)位到零，因此迫使下一幀指示它是非空幀。例如，在一個(gè)具體示例實(shí)施例中，這個(gè)類型的用信號(hào)通知可以通過GP電路的閾值檢測(cè)級(jí)硅上的單個(gè)管腳/導(dǎo)線來實(shí)現(xiàn)，其可從驅(qū)動(dòng)器進(jìn)行控制。備選地，根據(jù)另一實(shí)施例，它還可以在USB上被完成。這幫助防止非移動(dòng)的手部引起閾值檢測(cè)級(jí)認(rèn)為手部是靜態(tài)背景的一部分的場(chǎng)景。另一示例反饋環(huán)場(chǎng)景將是當(dāng)檢測(cè)到足夠大的二進(jìn)制大對(duì)象時(shí)迫使系統(tǒng)將數(shù)據(jù)直接從相機(jī)發(fā)送到分割級(jí)，而不將它發(fā)送到閾值檢測(cè)級(jí)和目標(biāo)存在級(jí)(如圖2a中描繪的并且標(biāo)為目標(biāo)存在-數(shù)據(jù)流)。這個(gè)類型的活動(dòng)可通過移除不必要的閾值有關(guān)的處理來改進(jìn)功率。然而注意，雖然這樣的反饋機(jī)制可提供進(jìn)一步程度的優(yōu)化，但是它們不是在所有實(shí)施例中必需的。例如，如果這些技術(shù)的實(shí)現(xiàn)是成本高昂的，則備選解決方案是每I或2秒回落到目標(biāo)存在級(jí)來檢查目標(biāo)是否持續(xù)地出現(xiàn)。在這樣的情況下，為這付出的處罰是價(jià)值姿勢(shì)命令數(shù)據(jù)的一個(gè)幀的損耗。
[0050]圖2b根據(jù)本發(fā)明的實(shí)施例描述來自圖2a系統(tǒng)的不同級(jí)的控制和數(shù)據(jù)。為了根據(jù)一個(gè)示例實(shí)施例提出的劃分，GP電路可以配置有閾值檢測(cè)級(jí)和目標(biāo)存在級(jí)，并且可以還配置為控制數(shù)據(jù)多工(mux)并且決定是否向上游發(fā)送數(shù)據(jù)(用于分割)來喚醒系統(tǒng)。根據(jù)一些這樣的實(shí)施例，利用這樣的按需發(fā)送數(shù)據(jù)的方法，可實(shí)現(xiàn)平臺(tái)功率的重要保存并且計(jì)算系統(tǒng)只在它需要醒著時(shí)才醒著。
[0051]如可以看到的，來自起始幀的原始數(shù)據(jù)被提供到閾值狀態(tài)，閾值狀態(tài)配置為對(duì)于感興趣區(qū)域檢測(cè)相較于前一幀的給定幀中的改變。如果不滿足改變閾值，則可減少FPS并且過程繼續(xù)以監(jiān)視幀的原始數(shù)據(jù)。如果滿足閾值，則原始數(shù)據(jù)被傳到目標(biāo)存在狀態(tài)，目標(biāo)存在狀態(tài)配置為在感興趣的色調(diào)范圍內(nèi)查找目標(biāo)存在。例如，可以使用由各種樣本聚集的經(jīng)驗(yàn)數(shù)據(jù)來確定色調(diào)范圍。在其它實(shí)施例中，色調(diào)范圍可以被確定為測(cè)量給定用戶的膚色的初始設(shè)置或校準(zhǔn)過程的一部分。在任何這樣的情況下，如果沒有找到合適的目標(biāo)，則將控制提供回到閾值狀態(tài)。否則，如果以給定幀速率(例如，默認(rèn)速率或如在這個(gè)控制環(huán)內(nèi)精制的)找到合適的目標(biāo)，則控制被傳到分割處理狀態(tài)，分割處理狀態(tài)實(shí)施如以前解釋的自適應(yīng)皮膚檢測(cè)。還注意，在一些實(shí)施例中，如以前解釋的，在某個(gè)情況下，例如當(dāng)檢測(cè)到足夠大的二進(jìn)制大對(duì)象時(shí)，系統(tǒng)可以將原始數(shù)據(jù)直接從相機(jī)發(fā)送到分割處理狀態(tài)，而不將它發(fā)送到閾值狀態(tài)和目標(biāo)存在狀態(tài)(如圖2b中描繪的并且標(biāo)為處理狀態(tài)期間的數(shù)據(jù)/控制流)。
[0052]在任何這樣的情況下，分割處理狀態(tài)配置為實(shí)施自適應(yīng)膚色檢測(cè)來分割圖像。在一些實(shí)施例中，可使用變形方法來消除噪聲并且平滑圖像。自適應(yīng)皮膚圖像信息被提供到手部分析器狀態(tài)，手部分析器狀態(tài)配置為將二進(jìn)制大對(duì)象數(shù)據(jù)映射到人體解剖幾何形狀，例如在此示例情況下的人手模型。如果手部分析器狀態(tài)無法確認(rèn)給定二進(jìn)制大對(duì)象與手部相關(guān)，則控制被回傳到目標(biāo)存在狀態(tài)(沒有檢測(cè)到二進(jìn)制大對(duì)象)。然而，如果手部分析器狀態(tài)確認(rèn)給定二進(jìn)制大對(duì)象與手部相關(guān)，則控制被傳到姿勢(shì)識(shí)別狀態(tài)(找到二進(jìn)制大對(duì)象)。然后姿勢(shì)識(shí)別狀態(tài)分析特定命令(例如，由用戶提供的導(dǎo)航命令)的手部數(shù)據(jù)。一旦結(jié)束這個(gè)分析，則那個(gè)幀的過程流程完成，并且在計(jì)算系統(tǒng)上執(zhí)行的給定應(yīng)用可因此受控制。
[0053]圖2c示出可以在GP電路中被實(shí)現(xiàn)的五個(gè)過程中的每個(gè)的典型CPU利用，給定包括2-2.66 GHz CPU和提供640x480像素幀的視頻數(shù)據(jù)的USB相機(jī)的特定設(shè)置。如可以看到的，分割采取最大利用，并且由于更少的迭代改變它是可以被加速的良好候選者。根據(jù)本發(fā)明的實(shí)施例，GPU加速的自適應(yīng)膚色檢測(cè)算法將幫助改進(jìn)總的系統(tǒng)性能和功率效率。由于工作量可以在CPU/GPU之間共享，這也將確保處理數(shù)據(jù)幀而沒有任何幀丟棄。當(dāng)找到更大的二進(jìn)制大對(duì)象時(shí)并且采用更長(zhǎng)的周長(zhǎng)長(zhǎng)度，看到典型的最差情況的手部分析器利用。根據(jù)一些示例實(shí)施例，在劃分如本文所描述的處理(例如，如果閾值檢測(cè)和目標(biāo)存在被分布到USB相機(jī)中或以其它方式接近USB相機(jī)，并且分割是GPU加速的)之后的總的CPU利用率將小于10% ο
[0054]示例使用情形和系統(tǒng)配置
圖3a根據(jù)本發(fā)明的實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的計(jì)算系統(tǒng)的示例使用情形。如可以看到的，用戶以常見或其它典型的方式正坐在計(jì)算系統(tǒng)前面。這個(gè)示例的計(jì)算系統(tǒng)表現(xiàn)為具有外部顯示器的桌上型布置，但如將領(lǐng)會(huì)的可以是任何合適的計(jì)算系統(tǒng)，例如膝上型計(jì)算機(jī)或上網(wǎng)本或使用基于蓋的顯示器的其它這樣的移動(dòng)計(jì)算裝置、或使用外部顯示器的移動(dòng)計(jì)算裝置、或例如平板計(jì)算機(jī)或智能電話的觸摸屏裝置。
[0055]在任何這樣的情況下，這個(gè)示例實(shí)施例的系統(tǒng)另外配置有相機(jī)和GP電路。例如，相機(jī)可用來捕獲用戶姿勢(shì)(例如手勢(shì))。在圖3a中描繪的這個(gè)示例情況下，相機(jī)和GP電路嵌入顯示器的頂部?jī)?nèi)以便提供包括如下區(qū)域的F0V:其中，用戶手部將通過使用例如計(jì)算機(jī)系統(tǒng)鍵盤、鼠標(biāo)、觸摸屏、或其它這樣的輸入裝置而是活動(dòng)的。然而注意，給定如本文所描述的系統(tǒng)的姿勢(shì)解釋能力，用戶不需要實(shí)際從事于這樣的輸入裝置。而是，如本文所論述的，用戶可以在處于FOV中的指定用戶輸入?yún)^(qū)域內(nèi)簡(jiǎn)單運(yùn)動(dòng)他或他的手部以便使用基于手部的姿勢(shì)與計(jì)算機(jī)系統(tǒng)有效地通信。圖3b-圖3e圖不相機(jī)和GP電路的各種不例布置。
[0056]圖3b圖示如下示例情況:其中，GP電路被集成或以其它方式被包含在相機(jī)的成像集成電路(硅或其它)內(nèi)來進(jìn)一步減少平臺(tái)功率(通過消除相機(jī)傳感器與圖像處理功能件中的至少一些之間的IO功率)。在這個(gè)示例情況(以及在圖3C-圖3e中示出的示例情況)下，GP電路至少包括閾值檢測(cè)和目標(biāo)存在電路，以及可能還包括本文中提供的其它姿勢(shì)預(yù)處理電路，如果這樣期望的話。圖3c圖示另一示例情況，其中相機(jī)和GP電路是彼此分開實(shí)現(xiàn)的但是仍然接近彼此并且由相對(duì)短的通信總線(在這個(gè)示例實(shí)施例中是USB總線)在操作上耦合。如將領(lǐng)會(huì)的，可使用任何數(shù)量的其它合適的通信端口和總線結(jié)構(gòu)。圖3d圖示另一示例情況，其中GP電路被集成或以其它方式被包含在相機(jī)的成像集成電路內(nèi)，并且相機(jī)嵌入顯示器內(nèi)。圖3e圖示另一示例情況，其中相機(jī)嵌入顯示器內(nèi)，并且GP電路配置為孤立裝置，所述孤立裝置配置為與裝置的USB端口在操作上耦合以便提供對(duì)其中嵌入的相機(jī)的接入。例如，在圖3a_圖3e中指示的任何這樣的情況下，顯示器可以在操作上是外部顯示器、觸摸屏顯示器、或基于蓋的顯示器。
[0057]圖4根據(jù)本發(fā)明的實(shí)施例圖示配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的膝上型計(jì)算系統(tǒng)的框圖。如可以看到的，這個(gè)示例具有膝上型計(jì)算機(jī)的典型形狀因數(shù)并且包括由鉸鏈在操作上耦合到顯示器部分的基板部分。例如，顯示器可具有觸摸屏能力，但也可以是LED顯示器。一般而言，除了與視頻內(nèi)容的分級(jí)式和分布式姿勢(shì)預(yù)處理有關(guān)的架構(gòu)和功能性以外，可以用常規(guī)或習(xí)慣的技術(shù)來實(shí)現(xiàn)許多示出的架構(gòu)和功能性(如所希望的)，其根據(jù)本發(fā)明的實(shí)施例來實(shí)現(xiàn)并且又將被討論。
[0058]在這個(gè)示例情況下，GP電路被包括在顯示器電路的傳感器數(shù)據(jù)處理塊中，傳感器數(shù)據(jù)處理塊經(jīng)由對(duì)應(yīng)的移動(dòng)產(chǎn)業(yè)處理器接口 -相機(jī)串行接口(MIP1-CSI)在操作上耦合到兩個(gè)集成相機(jī)。一個(gè)相機(jī)聚焦在第一用戶輸入?yún)^(qū)域上以便捕獲用戶手勢(shì)，并且另一相機(jī)聚焦在第二用戶輸入?yún)^(qū)域上以便捕獲用戶頭部和臉部姿勢(shì)。如將領(lǐng)會(huì)的，手部GP電路配置有閾值檢測(cè)級(jí)和目標(biāo)存在級(jí)用于用戶手勢(shì)處理，并且頭部-臉部GP電路配置有閾值檢測(cè)級(jí)和目標(biāo)存在級(jí)用于用戶頭部和/或臉部姿勢(shì)處理。因此，在這個(gè)示例情況下，GP電路可以被有效地分成兩個(gè)姿勢(shì)專用塊。在其它示例實(shí)施例中，一個(gè)相機(jī)可結(jié)合機(jī)械透鏡化組件來使用，機(jī)械透鏡化組件有效地允許單個(gè)相機(jī)捕獲兩個(gè)作為目標(biāo)的用戶輸入?yún)^(qū)域，如果這樣期望的話。在這樣的情況下，GP電路可實(shí)現(xiàn)為能夠處理涉及的各種姿勢(shì)類型中的每個(gè)的單個(gè)塊。
[0059]如將領(lǐng)會(huì)的，可以用類似的方式實(shí)現(xiàn)GP電路用于手部和頭部-臉部中的每個(gè)。如以前解釋的，無論解剖目標(biāo)，GP電路的閾值檢測(cè)級(jí)可以用例如配置為合計(jì)并且比較每個(gè)幀的亮度通道的門級(jí)邏輯或其它專門構(gòu)造的半導(dǎo)體來實(shí)現(xiàn)，并且如果當(dāng)前幀與前一幀之間的變化量大于給定閾值(例如，>3%改變，或>5%改變，或>10%改變)，則可以生成用戶檢測(cè)信號(hào)，因此觸發(fā)原始數(shù)據(jù)到目標(biāo)存在級(jí)的傳遞。否則，不變的或以其它方式為空的幀有效抑制這樣的檢測(cè)信號(hào)，因此在沒有姿勢(shì)的時(shí)間期間保存功率。在類似的方式中，并且不管解剖目標(biāo)，目標(biāo)存在級(jí)GP電路可以用例如配置成如下的門級(jí)邏輯或其它專門構(gòu)造的半導(dǎo)體來實(shí)現(xiàn):將RGB (或YUV)數(shù)據(jù)流掃描線轉(zhuǎn)換成HSV像素，并且將其中表示的像素色調(diào)值與膚色色調(diào)的相對(duì)有限范圍作比較。如果在掃描線中找到皮膚顏色的像素來暗示可能出現(xiàn)手指或臉部，則處理轉(zhuǎn)到分割級(jí)。否則，無目標(biāo)出現(xiàn)或不足數(shù)量的皮膚顏色的像素的幀沒有被發(fā)送到下一級(jí)或以其它方式被抑制，以便在沒有姿勢(shì)的時(shí)間期間保存功率。在其它實(shí)施例中，目標(biāo)存在級(jí)可被實(shí)現(xiàn)在GPU中，給定它的功能的平行特性(例如，給定掃描線內(nèi)每個(gè)像素的色調(diào)平行分析)。然而，如將領(lǐng)會(huì)的，在這樣的情況下，通常存在更高的IO功率成本來將那個(gè)圖像數(shù)據(jù)從相機(jī)傳送到GPU。盡管如此，使用GPU仍然避免關(guān)聯(lián)的CPU周期，所述CPU周期對(duì)在驅(qū)動(dòng)器級(jí)別處的那個(gè)圖像數(shù)據(jù)的處理將是必需的。
[0060]在這個(gè)示例實(shí)施例中，分割級(jí)與CPU共處一地(如有時(shí)完成的)，但其它實(shí)施例可利用與CPU通信的單獨(dú)GPU (如以前解釋的)。根據(jù)一個(gè)示例實(shí)施例，分割級(jí)配置為將它接收的彩色視頻中的每個(gè)幀轉(zhuǎn)換成二進(jìn)制大對(duì)象的圖像，其中非零像素表示二進(jìn)制大對(duì)象像素并且黑色像素指示非二進(jìn)制大對(duì)象像素。例如，在這樣的情況下，二進(jìn)制大對(duì)象可用于表示皮膚顏色的像素的區(qū)域。在這個(gè)意義上，分割級(jí)適配或以其它方式更清楚地定義給定幀內(nèi)基于皮膚色調(diào)的二進(jìn)制大對(duì)象的邊界，因此有效地減少給定圖像到二進(jìn)制布置(二進(jìn)制大對(duì)象和非二進(jìn)制大對(duì)象)的復(fù)雜性。這樣的基于掃描線的處理任務(wù)到平行處理的可控制性使分割級(jí)成為GPU實(shí)現(xiàn)的理想候選者。
[0061]在其它實(shí)施例中，可以按與目標(biāo)存在級(jí)的類似方式用門級(jí)邏輯或其它專門構(gòu)造的半導(dǎo)體來在GP電路中實(shí)現(xiàn)分割級(jí)。然而，定義二進(jìn)制大對(duì)象數(shù)據(jù)的邊界可通常要求處理更大數(shù)量的掃描線，這可以增加目標(biāo)存在級(jí)的復(fù)雜性。然而，這個(gè)復(fù)雜性可以例如通過使用適合于目標(biāo)解剖特征和合理程度的內(nèi)插的假設(shè)得以彌補(bǔ)。例如，假定作出和平符號(hào)的手部是目標(biāo)解剖特征，并且處理手部圖像的三個(gè)或四個(gè)掃描線。例如，第一掃描線可示出跨和平符號(hào)的“V”部分的上部取得的非膚色像素(三組)和膚色像素(兩組)的交替組。第二掃描線可類似地示出跨和平符號(hào)的“V”部分的下部取得的非膚色像素(三組)和膚色像素(兩組)的交替組，但兩個(gè)膚色像素部分之間的非膚色像素部分的長(zhǎng)度將更短。第三掃描線可示出跨手部主體部分取得的非膚色像素(兩組)和膚色像素(一組)的交替組，并且第四掃描線可示出跨手腕部分取得的非膚色像素(兩組)和膚色像素(一組)的交替組，其中手部主體部分中的膚色像素的組比手腕區(qū)域中的膚色像素的組更長(zhǎng)。因此，例如，如果這三個(gè)或四個(gè)掃描線的這樣的表征可以使用基于邏輯的比較來確認(rèn)，則與介入掃描線關(guān)聯(lián)的手部數(shù)據(jù)可以被插入或以其它方式估計(jì)并且可以因此指定整個(gè)膚色二進(jìn)制大對(duì)象的邊界。
[0062]手部分析器級(jí)和姿勢(shì)識(shí)別級(jí)可以由作為應(yīng)用驅(qū)動(dòng)器的一部分的基板中的CPU執(zhí)行，但如本文所描述的只有當(dāng)被較早的級(jí)激活時(shí)。再次，根據(jù)一些實(shí)施例，這樣的處理可備選地在GPU中執(zhí)行，或甚至在GP電路中執(zhí)行。為此目的，預(yù)處理功能件到GPU和/或GP電路的集成度可以基于例如成本收益分析，該分析平衡(在一方面)這樣的集成的費(fèi)用/成本與(在另一方面)功耗和CPU周期的節(jié)省。如將根據(jù)本公開領(lǐng)會(huì)的，以相對(duì)低的成本的重要節(jié)省可以通過在GP電路中實(shí)現(xiàn)閾值檢測(cè)級(jí)和目標(biāo)存在級(jí)、在GPU中實(shí)現(xiàn)分割級(jí)，并且允許手部分析器級(jí)和姿勢(shì)識(shí)別級(jí)在CPU上執(zhí)行來實(shí)現(xiàn)。到GP電路的進(jìn)一步集成的成本可以不是合理的或以其它方式合意的，但本發(fā)明不旨在這樣限制。
[0063]另外參考圖4，SRAM高速緩沖存儲(chǔ)器可用于存儲(chǔ)與視頻的有效處理關(guān)聯(lián)的參數(shù)，并且可以用任何其它類型的合適存儲(chǔ)器技術(shù)來實(shí)現(xiàn)。例如，在一些實(shí)施例中，存儲(chǔ)器可用于存儲(chǔ)幀內(nèi)的坐標(biāo)(通常包括由用戶提供的手勢(shì))。例如，這些坐標(biāo)可以基于經(jīng)驗(yàn)分析隨時(shí)間(overtime)建立和/或精制，或可以是用戶配置的。在任何情況下，這樣的坐標(biāo)可由GP電路(以及其它部件，如果這樣期望的話)使用以有效地進(jìn)一步減少圖像處理負(fù)載。在這個(gè)意義上，可以分析視頻流的子集。存儲(chǔ)器還可包括與特定用戶設(shè)置關(guān)聯(lián)的膚色的范圍。例如，此數(shù)據(jù)可以是基于經(jīng)驗(yàn)分析隨時(shí)間建立的，或可以是用戶配置的。許多其它類型的信息和數(shù)據(jù)可以被存儲(chǔ)在存儲(chǔ)器中，如將領(lǐng)會(huì)的。
[0064]性能原語是可以提供來支持GP電路的功能的可選部件，并且可在硬件和/或軟件中實(shí)現(xiàn)。例如，適合于處理手勢(shì)視頻的示例性能原語可以是矩陣乘法或求和模塊。另一示例功能件可以是傅里葉變換模塊以將圖像從空間域轉(zhuǎn)換到頻域以便于處理。在更一般的意義上，將由基于CPU的驅(qū)動(dòng)器處理使用的任何圖像處理工具可以在性能原語中實(shí)現(xiàn)來幫助分布式預(yù)處理功能件?？蛇x的隱私和安全政策模塊可以配置為提供針對(duì)惡意行為的保護(hù)，并且可實(shí)現(xiàn)來執(zhí)行一個(gè)或多個(gè)安全政策，例如與信任的裝置處理環(huán)境關(guān)聯(lián)的那些。例如，隱私和安全政策模塊可執(zhí)行政策，例如基于用戶的政策(例如，一些用戶可不想要打開相機(jī))和基于平臺(tái)的政策(例如，只有信任的平臺(tái)模塊(TPM)裝置可以經(jīng)由USB端口連接到平臺(tái)控制器中心(PCH))。
[0065]圖4中示出的其它顯示器和基板元件部分可按通常完成的或如以其它方式所期望的實(shí)現(xiàn)。圖5根據(jù)本發(fā)明的另一實(shí)施例圖示配置為實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的上網(wǎng)本計(jì)算系統(tǒng)的框圖。如可以看見的，系統(tǒng)的顯示器部分類似于圖4中示出的膝上型計(jì)算機(jī)系統(tǒng)的顯示器部分，并且以前的有關(guān)論述此處同樣可應(yīng)用。基板部分也類似，但配置稍微不同，給定它是上網(wǎng)本配置。因此，CPU可能是例如Intel?At0m?CPU或合適于上網(wǎng)本、上網(wǎng)機(jī)(nettop)和其它這樣的低功率微型計(jì)算系統(tǒng)的其它這樣的處理器。如以前解釋的，GPU可與CPU共處一地(如示出的或以其它方式與CPU在操作上耦合)。
[0066]圖6根據(jù)本發(fā)明的另一實(shí)施例圖示具有外部顯示器并且配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的計(jì)算系統(tǒng)的框圖。例如，計(jì)算系統(tǒng)可以是桌上型計(jì)算機(jī)或膝上型計(jì)算機(jī)(固定的或不固定的，在電池功率上運(yùn)行)。如可以看見的，系統(tǒng)的顯示器和基板部分可以類似于圖4和圖5中示出的系統(tǒng)的顯示器/基板部分，并且以前的有關(guān)論述此處同樣可應(yīng)用?？墒褂迷S多其它計(jì)算系統(tǒng)架構(gòu)和配置，并且要求保護(hù)的發(fā)明不旨在限于任何特定的一個(gè)。
[0067]圖7根據(jù)本發(fā)明的實(shí)施例指示通過將視頻預(yù)處理移出核/非核并且移入相機(jī)模塊而實(shí)現(xiàn)的功率節(jié)省?？偊すβ适窃谄脚_(tái)的備用電源上消耗的功率。如將根據(jù)本公開領(lǐng)會(huì)的，當(dāng)沒有東西出現(xiàn)在圖像中時(shí)，可基本上減少視頻操作的CPU C0%占有率。如可以進(jìn)一步看到的，雖然將圖像處理從核移到非核節(jié)省大約1.4瓦的功率(來自減少的CPU周期)，當(dāng)在相機(jī)傳感器本身內(nèi)執(zhí)行預(yù)處理(例如閾值檢測(cè)狀態(tài)和目標(biāo)存在狀態(tài))時(shí)(因此消除I/O功率)，實(shí)現(xiàn)大約3.6瓦的額外功率節(jié)省。
[0068]例如，可用于互聯(lián)網(wǎng)導(dǎo)航的示例手勢(shì)通常依靠粗粒度姿勢(shì)(例如，滾動(dòng)向上/向下、下一頁(yè)/上一頁(yè)、雙擊，等等)，單個(gè)精細(xì)粒度姿勢(shì)通常用于鼠標(biāo)運(yùn)動(dòng)。當(dāng)輸入具體文本信息時(shí)只需要在鍵盤上打字。典型類別的文本包括URL、用戶名字、密碼、搜索字(包括街道名等)。在許多場(chǎng)景中，需要很少或不需要鼠標(biāo)運(yùn)動(dòng)。因此，姿勢(shì)的簡(jiǎn)單性還允許姿勢(shì)識(shí)別被實(shí)現(xiàn)為相機(jī)本身內(nèi)的分布式過程。
[0069]姿勢(shì)API
圖8根據(jù)本發(fā)明的另一實(shí)施例圖示示出配置用于實(shí)施視頻流的分步的分布式姿勢(shì)預(yù)處理來減少平臺(tái)功耗的應(yīng)用編程接口(API)的框圖。在這一示例情況下，姿勢(shì)API是在這個(gè)特定系統(tǒng)上可用的一個(gè)或多個(gè)API (傳感器AP1、上下文API)。原始傳感器數(shù)據(jù)通過傳感器API來處理，并且姿勢(shì)API預(yù)處理原始傳感器數(shù)據(jù)并且暴露來自閾值檢測(cè)級(jí)和目標(biāo)存在級(jí)的信息(存在和閾值數(shù)據(jù))、以及來自分割級(jí)、手部分析器級(jí)和/或姿勢(shì)識(shí)別級(jí)的信息(姿勢(shì)數(shù)據(jù))，無論計(jì)算是否是在相機(jī)傳感器內(nèi)/接近相機(jī)傳感器或在CPU/主存儲(chǔ)器上運(yùn)行的軟件驅(qū)動(dòng)器內(nèi)執(zhí)行。如可以另外看到的，姿勢(shì)API可包括隱私和安全政策，例如基于用戶的政策(例如，一些用戶可不想要打開相機(jī))以及基于平臺(tái)的政策(例如，只有信任的平臺(tái)模塊(TPM)裝置可以經(jīng)由USB端口連接到平臺(tái)控制器中心(PCH))。如以前解釋的，姿勢(shì)API預(yù)處理原始視頻數(shù)據(jù)并且呈現(xiàn)為擴(kuò)展的USB HID類裝置。在這樣的情況下，原始數(shù)據(jù)不受影響并且呈現(xiàn)為標(biāo)準(zhǔn)USB視頻類裝置。
[0070]姿勢(shì)API可以被編程或以其它方式配置為將狀態(tài)消息傳遞給相機(jī)中的姿勢(shì)裝置端點(diǎn)，例如包括用戶輸入?yún)^(qū)域(例如，鍵盤/鼠標(biāo)區(qū)域，如在圖3a中示出的)的像素。外部顯示器的相機(jī)的過程與筆記本計(jì)算機(jī)的集成顯示器的相機(jī)的過程相同。在一個(gè)示例情況下，該過程包括:使鍵盤位于視頻流的視場(chǎng)中；以感興趣的像素(虛擬標(biāo)記)的形式將鍵盤信息傳遞給相機(jī)/GP電路；在相機(jī)傳感器/GP電路中開始手勢(shì)預(yù)處理任務(wù)；更新鍵盤位置(如需要的)；并且經(jīng)由姿勢(shì)API將姿勢(shì)處理信息呈現(xiàn)給平臺(tái)。在多顯示器或多鍵盤的系統(tǒng)中，用戶可以指示哪個(gè)顯示器或鍵盤是主要的。這里可使用任何數(shù)量的合適選項(xiàng)。
[0071]如先前也解釋的，由姿勢(shì)API解釋的手勢(shì)可用于增強(qiáng)其它補(bǔ)充輸入模態(tài)，例如由鍵盤和/或鼠標(biāo)接收的用戶輸入。各種搜索引擎當(dāng)前合并有許多鼠標(biāo)/觸摸姿勢(shì)，用戶可以將其用作捷徑來改進(jìn)它們的瀏覽體驗(yàn)。用戶可以啟用/禁用特定捷徑，并且如期望的添加新的定制捷徑。這樣的系統(tǒng)的一個(gè)缺點(diǎn)(除了缺乏標(biāo)準(zhǔn)化之外)是所有捷徑總共合計(jì)為將被使用的潛在巨大數(shù)量的姿勢(shì)，從而引起不可避免地禁止廣泛采用中的精神混亂。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供基于姿勢(shì)的命令的相對(duì)簡(jiǎn)單和簡(jiǎn)明的列表，其可以如所期望的進(jìn)行修改/擴(kuò)展。例如，一些可編程性可以是期望的，因?yàn)榇蠖鄶?shù)勤勞的用戶可能希望擴(kuò)展姿勢(shì)的列表，并且大多數(shù)用戶可能想要為他們的收藏夾(Favourite)中列出的網(wǎng)站添加個(gè)人化姿勢(shì)。大多數(shù)用戶通常一再地頻繁訪問相同的網(wǎng)頁(yè)(例如，Google、Gmail、Facebook等)。將這個(gè)系列的鍵盤/鼠標(biāo)命令減少成單個(gè)姿勢(shì)(或短系列的姿勢(shì))可改進(jìn)易用性并且加速用戶的頁(yè)面切換時(shí)間。
[0072]此外，可以考慮若干手勢(shì)所需的“中間返回”。“中間位置”是當(dāng)不執(zhí)行手勢(shì)時(shí)手部的統(tǒng)計(jì)平均位置。例如，當(dāng)手掌放在掌托上時(shí)，其中手指放在以下鍵上=Q-E-R-G-空格鍵-空格鍵-H-U-1-P。中間返回是手部到中間位置的返回(例如，在執(zhí)行一個(gè)手勢(shì)之后并且在開始下一姿勢(shì)之前)。在大多數(shù)計(jì)算系統(tǒng)使用模型中，手部保持在中間位置。期望最小化總的手勢(shì)，從而使手掌在手勢(shì)期間留在相同的物理位置中。因?yàn)閳D像處理算法將忽略相機(jī)FOV外部的所有視覺活動(dòng)，這簡(jiǎn)化了圖像處理。圖8中示出的其它部件和特征先前關(guān)于圖4-6進(jìn)行了討論或者如將領(lǐng)會(huì)的，可以以其它方式如通常完成的被實(shí)現(xiàn)。
[0073]拖延期
如先前解釋的，當(dāng)基于用戶的當(dāng)前活動(dòng)和/或他/她的計(jì)算機(jī)系統(tǒng)的操作狀態(tài)/環(huán)境在視頻流上執(zhí)行姿勢(shì)預(yù)處理任務(wù)時(shí)，還可引入拖延期，以便通過消除浪費(fèi)的處理周期來進(jìn)一步減少平臺(tái)功率。例如并且如先前解釋的，如果用戶正在鍵盤上打字或使用鼠標(biāo)或觸碰觸摸屏或趨向被識(shí)別或以其它方式被定義為除了基于手部的導(dǎo)航擺姿勢(shì)以外的一些事情的可檢測(cè)活動(dòng)，則可以假定用戶沒有同時(shí)作出基于手部的導(dǎo)航姿勢(shì)。因此，用戶將花費(fèi)有限數(shù)量的時(shí)間來將他/她的手部從當(dāng)前非擺姿勢(shì)活動(dòng)位置重新定位到從其開始作出期望手勢(shì)的中間位置。在此不擺姿勢(shì)期期間發(fā)生的任何圖像處理有效地總計(jì)為浪費(fèi)的處理周期和浪費(fèi)的功率，并且因此可被停止，這還有助于功率效率。
[0074]因此，在這樣的示例情況下，圖像處理可以在無姿勢(shì)期期間以及在隨后的簡(jiǎn)短拖延期停止。簡(jiǎn)短期(本文被稱作拖延期)可以例如在50到500毫秒、或50到250毫秒、或50到100毫秒的范圍中。在更一般的意義上，這個(gè)拖延期可以被設(shè)置為反映用戶將他/她的手部從鼠標(biāo)/鍵盤/屏幕移回到通常實(shí)施基于手部的導(dǎo)航姿勢(shì)的中間位置所花費(fèi)時(shí)間段的任何延遲。如先前解釋的，這個(gè)中間位置的定位可以是用戶可配置的。以類似的方式，拖延期也可以是用戶可配置的(如果這樣期望的話)以便提供定制的性能。
[0075]如將根據(jù)本公開進(jìn)一步領(lǐng)會(huì)的，可以選擇性地使用或以其它方式調(diào)整拖延期，這取決于操作的環(huán)境因素，例如當(dāng)前在計(jì)算機(jī)系統(tǒng)上執(zhí)行的應(yīng)用(例如，文字處理應(yīng)用對(duì)游戲應(yīng)用)、功率保存方案(例如，全功率模式對(duì)睡眠或其它低功率模式)、和/或那個(gè)計(jì)算機(jī)系統(tǒng)的功率源(例如，電池對(duì)市電電源(mains))。例如，根據(jù)一些實(shí)施例，當(dāng)在外部功率上操作時(shí)，則拖延期可以被設(shè)置為零或某個(gè)更低延遲以便提供更大的響應(yīng)性，這可以是取決于應(yīng)用而期望的。同樣地，當(dāng)執(zhí)行具有嚴(yán)格瞬時(shí)響應(yīng)性要求的應(yīng)用(例如某些游戲應(yīng)用)時(shí)，則拖延期可以被設(shè)置為零或某個(gè)更低延遲以便提供更大的瞬時(shí)響應(yīng)性。在其它示例場(chǎng)景中，如果計(jì)算機(jī)系統(tǒng)正在電池功率上運(yùn)行時(shí)，則例如50-100毫秒延遲可以是可接受的以適應(yīng)從低功率狀態(tài)醒來的平臺(tái)(例如，以便允許PCH/CPU/DRAM加電回來)。同樣地，如果近來發(fā)生按鍵按壓/鼠標(biāo)運(yùn)動(dòng)，則附加的50-100毫秒延遲可以是可接受的，這是因?yàn)楫?dāng)用戶的手部移回到中間位置時(shí)通常將沒有姿勢(shì)出現(xiàn)。一般的想法是:因?yàn)榭赡軟]有相關(guān)的事情出現(xiàn)在照相機(jī)的FOV中，例如當(dāng)用戶不可能作出姿勢(shì)時(shí)，或當(dāng)用戶正作出系統(tǒng)未準(zhǔn)備好解釋的姿勢(shì)時(shí)，在拖延期期間，圖像預(yù)處理的停止是可接受的。
[0076]如先前指出的，閾值檢測(cè)級(jí)和目標(biāo)存在級(jí)中的每個(gè)(或任何其它級(jí))可以響應(yīng)于拖延控制信號(hào)而被禁用，例如，當(dāng)存在用戶沒有作出需要分析的導(dǎo)航姿勢(shì)或系統(tǒng)沒準(zhǔn)備好解釋這樣的導(dǎo)航姿勢(shì)的指示時(shí)，所述拖延控制信號(hào)被選擇性地設(shè)置(或復(fù)位，根據(jù)具體情況而
定)。表1示范提供這樣的指示的示例活動(dòng)。__
【權(quán)利要求】
1.一種用于處理原始視頻流的系統(tǒng)，包括: 閾值檢測(cè)級(jí)，配置為確定所述視頻流的當(dāng)前幀是否充分不同于所述視頻流的前一幀，并且響應(yīng)于所述當(dāng)前幀沒有充分不同于所述前一幀，所述閾值檢測(cè)級(jí)還配置為停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理；以及 目標(biāo)存在級(jí)，配置為確定所述當(dāng)前幀是否包括膚色顏色的像素，并且響應(yīng)于所述當(dāng)前幀不包括膚色顏色的像素，所述目標(biāo)存在級(jí)還配置為停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理； 其中所述閾值檢測(cè)級(jí)和/或目標(biāo)存在級(jí)中的至少一個(gè)能夠在拖延期被選擇性禁用。
2.如權(quán)利要求1所述的系統(tǒng)，其中所述閾值檢測(cè)級(jí)配置為合計(jì)并且比較所述當(dāng)前幀的亮度通道與所述前一幀的亮度通道，并且如果所述當(dāng)前幀與所述前一幀之間的變化量大于給定閾值，則所述當(dāng)前幀的數(shù)據(jù)被傳到所述目標(biāo)存在級(jí)用于進(jìn)一步處理。
3.如權(quán)利要求1所述的系統(tǒng)，其中所述目標(biāo)存在級(jí)配置為將所述當(dāng)前幀的數(shù)據(jù)轉(zhuǎn)換成一個(gè)或多個(gè)HSV像素，并且如果找到充分?jǐn)?shù)量的膚色顏色的像素，則所述當(dāng)前幀的數(shù)據(jù)被傳到下一處理級(jí)。
4.如權(quán)利要求3所述的系統(tǒng)，其中所述下一處理級(jí)是分割級(jí)，所述分割級(jí)配置為將感興趣的像素與不感興趣的像素分開，其中感興趣的像素被表示為二進(jìn)制大對(duì)象，并且不感興趣的像素由非二進(jìn)制大對(duì)象表示。
5.如權(quán)利要求4所述的系統(tǒng)，其中所述分割級(jí)配置為如下中的至少一個(gè):消除由于相機(jī)噪聲和/或照明引起的分散像素，和/或使用腐蝕和/或放大變形方法來處理成像數(shù)據(jù)。
6.如權(quán)利要求4所述的系統(tǒng)，其中所述分割級(jí)在圖形處理單元(GPU)中實(shí)現(xiàn)。
7.如權(quán)利要求4所述的系統(tǒng)，還包括: 分析器級(jí)，配置為執(zhí)行從所述分割級(jí)接收的二進(jìn)制大對(duì)象數(shù)據(jù)的空間解釋。
8.如權(quán)利要求7所述的系統(tǒng)，其中所述分析器級(jí)通過將所述二進(jìn)制大對(duì)象數(shù)據(jù)映射到目標(biāo)人體結(jié)構(gòu)幾何形狀的模型來執(zhí)行空間解釋。
9.如權(quán)利要求8所述的系統(tǒng)，其中所述目標(biāo)人體結(jié)構(gòu)幾何形狀是手部。
10.如權(quán)利要求7所述的系統(tǒng)，還包括: 姿勢(shì)識(shí)別級(jí)，配置為執(zhí)行從所述分析器級(jí)接收的二進(jìn)制大對(duì)象數(shù)據(jù)的時(shí)間解釋。
11.如權(quán)利要求10所述的系統(tǒng)，其中所述分割級(jí)、分析器級(jí)和/或姿勢(shì)識(shí)別級(jí)中的至少一個(gè)配置為將反饋發(fā)送到所述閾值檢測(cè)級(jí)和/或所述目標(biāo)存在級(jí)中的至少一個(gè)。
12.如權(quán)利要求1所述的系統(tǒng)，其中所述拖延期在50到1000毫秒的范圍中，并且響應(yīng)于所述系統(tǒng)的用戶不可能作出導(dǎo)航姿勢(shì)或所述系統(tǒng)沒準(zhǔn)備好處理視頻的指示而被觸發(fā)。
13.一種成像裝置，包括權(quán)利要求1至12中任一項(xiàng)所述的系統(tǒng)和在操作上耦合到所述系統(tǒng)的相機(jī)。
14.如權(quán)利要求13所述的成像裝置，其中所述閾值檢測(cè)級(jí)和所述目標(biāo)存在級(jí)中的至少一個(gè)在所述相機(jī)的傳感器電路內(nèi)實(shí)現(xiàn)。
15.一種顯示器，包括權(quán)利要求1至12中任一項(xiàng)所述的系統(tǒng)。
16.—種用于處理原始視頻流的系統(tǒng),包括: 閾值檢測(cè)級(jí)，配置為確定所述視頻流的當(dāng)前幀是否充分不同于所述視頻流的前一幀，并且響應(yīng)于所述當(dāng)前幀沒有充分不同于所述前一幀，所述閾值檢測(cè)級(jí)還配置為停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理； 目標(biāo)存在級(jí)，配置為確定所述當(dāng)前幀是否包括膚色顏色的像素，并且響應(yīng)于所述當(dāng)前幀不包括膚色顏色的像素，所述目標(biāo)存在級(jí)還配置為停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理； 分割級(jí)，配置為接收來自所述當(dāng)前幀的數(shù)據(jù)，并且將感興趣的像素與不感興趣的像素分開，其中感興趣的像素被表示為二進(jìn)制大對(duì)象并且不感興趣的像素由非二進(jìn)制大對(duì)象表示； 手部分析器級(jí)，配置為執(zhí)行從所述分割級(jí)接收的二進(jìn)制大對(duì)象數(shù)據(jù)的空間解釋；以及 姿勢(shì)識(shí)別級(jí)，配置為執(zhí)行從所述手部分析器級(jí)接收的二進(jìn)制大對(duì)象數(shù)據(jù)的時(shí)間解釋并且識(shí)別用戶基于手部的導(dǎo)航姿勢(shì)； 其中所述閾值檢測(cè)級(jí)、目標(biāo)存在級(jí)、分割級(jí)、分析器級(jí)和姿勢(shì)識(shí)別級(jí)以分步的分布式布置進(jìn)行配置，并且所述閾值檢測(cè)級(jí)和/或所述目標(biāo)存在級(jí)中的至少一個(gè)能夠在拖延期被選擇性禁用。
17.如權(quán)利要求16所述的系統(tǒng)，其中所述閾值檢測(cè)級(jí)和/或所述目標(biāo)存在級(jí)中的至少一個(gè)在相機(jī)內(nèi)或接近相機(jī)實(shí)現(xiàn)，所述相機(jī)可在第一位置處部署并且具有包括用戶輸入?yún)^(qū)域的視場(chǎng)，并且所述分割級(jí)、分析器級(jí)和姿勢(shì)識(shí)別級(jí)位于不同于所述第一位置的一個(gè)或多個(gè)位置。
18.如權(quán)利要求17所述的系統(tǒng)，其中所述閾值檢測(cè)級(jí)和所述目標(biāo)存在級(jí)在顯示器內(nèi)實(shí)現(xiàn)。
19.如權(quán)利要求16所述的系統(tǒng)，其中所述分割級(jí)在圖形處理單元中實(shí)現(xiàn)，并且所述分析器級(jí)和所述姿勢(shì)識(shí)別級(jí)由應(yīng)用軟件實(shí)現(xiàn)。
20.如權(quán)利要求16所述的系統(tǒng)，還包括:應(yīng)用編程接口(API)，用于在操作上將一個(gè)或多個(gè)所述級(jí)耦合到所述系統(tǒng)配置為工作在其中的計(jì)算平臺(tái)。
21.如權(quán)利要求20所述的系統(tǒng)，其中所述API被表示為擴(kuò)展的通用串行總線人機(jī)接口(USB HID)類裝置。
22.如權(quán)利要求16所述的系統(tǒng)，其中所述拖延期在50到1000毫秒的范圍中，并且響應(yīng)于所述系統(tǒng)的用戶不可能作出導(dǎo)航姿勢(shì)或所述系統(tǒng)沒準(zhǔn)備好處理視頻的指示而被觸發(fā)。
23.—種媒體處理系統(tǒng),包括權(quán)利要求16至22中任一項(xiàng)所述的系統(tǒng)。
24.—種移動(dòng)計(jì)算系統(tǒng)，包括權(quán)利要求16至22中任一項(xiàng)所述的系統(tǒng)。
25.一種使用原始視頻流的計(jì)算機(jī)導(dǎo)航方法，包括: 在第一處理級(jí)處確定所述視頻流的當(dāng)前幀是否充分不同于所述視頻流的前一幀，并且響應(yīng)于所述當(dāng)前幀沒有充分不同于所述前一幀，停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理；以及 在第二處理級(jí)處確定所述當(dāng)前幀是否包括膚色顏色的像素，并且響應(yīng)于所述當(dāng)前幀不包括膚色顏色的像素，停止后續(xù)級(jí)對(duì)所述當(dāng)前幀的進(jìn)一步處理； 其中所述第一和第二處理級(jí)中的至少一個(gè)能夠在拖延期被選擇性禁用，所述拖延期在50到1000毫秒的范圍中并且響應(yīng)于沒有作出導(dǎo)航姿勢(shì)的指示而被觸發(fā)，因此通過避免沒有導(dǎo)航姿勢(shì)的視頻幀的處理來保存功率。
【文檔編號(hào)】G06K9/00GK103916647SQ201410010010
【公開日】2014年7月9日 申請(qǐng)日期:2014年1月9日 優(yōu)先權(quán)日:2013年1月9日
【發(fā)明者】J.伯爾 申請(qǐng)人:英特爾公司