無(wú)需用手的協(xié)助的制作方法
【專(zhuān)利說(shuō)明】無(wú)需用手的協(xié)助
【背景技術(shù)】
[0001] 各實(shí)施例一般涉及協(xié)助。更具體而言，各實(shí)施例涉及基于用戶(hù)動(dòng)作，與工作面相關(guān) 的，與從感興趣的區(qū)域中提取的內(nèi)容相關(guān)聯(lián)的支持操作的提供無(wú)需用手的協(xié)助的實(shí)現(xiàn)。
[0002] 協(xié)助可包括當(dāng)用戶(hù)正在與表面進(jìn)行交互時(shí)，諸如當(dāng)用戶(hù)正在從基于紙張工作面中 讀取和/或向基于紙張工作面寫(xiě)時(shí)，向用戶(hù)提供信息。在交互過(guò)程中，用戶(hù)可以暫停閱讀任 務(wù)和/或?qū)懭蝿?wù)，以切換到筆掃描儀，用于協(xié)助。用戶(hù)還可以暫停任務(wù)以握住攝像機(jī)，并捕 捉內(nèi)容，以獲得定義。這樣的技術(shù)可能不必要地給用戶(hù)帶來(lái)負(fù)擔(dān)，通過(guò)，例如，要求用戶(hù)切換 到專(zhuān)門(mén)工具，要求用戶(hù)握住攝像機(jī)或讓攝像機(jī)靜止，和/或中斷閱讀任務(wù)或?qū)懭蝿?wù)。另外， 協(xié)助技術(shù)還可以涉及內(nèi)容分析過(guò)程，該內(nèi)容分析過(guò)程使用與工作面相關(guān)的參考材料，諸如 通過(guò)訪問(wèn)印刷品的參考電子副本。這樣的內(nèi)容分析過(guò)程可能缺乏適當(dāng)?shù)剌o助用戶(hù)的足夠粒 度和/或不必要地浪費(fèi)諸如功率、存儲(chǔ)器、存儲(chǔ)等資源。
[0003] 附圖簡(jiǎn)述
[0004] 本領(lǐng)域內(nèi)技術(shù)人員通過(guò)閱讀下面的說(shuō)明書(shū)和權(quán)利要求書(shū)并參照附圖能清楚知道 各實(shí)施例的各種優(yōu)勢(shì)，在附圖中：
[0005] 圖1是根據(jù)一實(shí)施例的實(shí)現(xiàn)與基于用戶(hù)動(dòng)作從與工作面相關(guān)的感興趣的區(qū)域中 提取的內(nèi)容相關(guān)聯(lián)的支持操作的方法的示例的框圖；
[0006] 圖2是根據(jù)一實(shí)施例的基于用戶(hù)動(dòng)作實(shí)現(xiàn)與工作面相關(guān)的與從感興趣的區(qū)域中 提取的內(nèi)容相關(guān)聯(lián)的支持操作的方法的示例的流程圖；
[0007] 圖3是根據(jù)一實(shí)施例的實(shí)現(xiàn)從與基于工作面的用戶(hù)動(dòng)作相關(guān)的感興趣的區(qū)域中 提取的內(nèi)容相關(guān)聯(lián)的支持操作的基于顯示器的方法的示例的流程圖；
[0008] 圖4是根據(jù)一實(shí)施例的邏輯架構(gòu)的示例的框圖；
[0009] 圖5是根據(jù)一實(shí)施例的處理器的示例的框圖；以及
[0010] 圖6是根據(jù)實(shí)施例的系統(tǒng)的示例的框圖。
【具體實(shí)施方式】
[0011] 圖1示出了根據(jù)一實(shí)施例的基于一個(gè)或多個(gè)用戶(hù)動(dòng)作，實(shí)現(xiàn)與工作面相關(guān)的，與 從一個(gè)或多個(gè)感興趣的區(qū)域中提取的內(nèi)容相關(guān)聯(lián)的一個(gè)或多個(gè)支持操作的方法10。在所示 示例中，支撐物12可以支撐工作面14。工作面14可包括用于完成任務(wù)的任何介質(zhì)，其中任 務(wù)可涉及讀、寫(xiě)、繪圖，編寫(xiě)，等等，或其組合。另外，可以由于某種原因，完成任務(wù)。例如，任 務(wù)可包括個(gè)人任務(wù)（例如，業(yè)余活動(dòng)）、學(xué)術(shù)任務(wù)（例如，作業(yè)活動(dòng)）、專(zhuān)業(yè)任務(wù)（例如，職業(yè) 分配活動(dòng)），等等，或其組合。
[0012] 在一個(gè)示例中，工作面14可以涉及計(jì)算設(shè)備和/或數(shù)據(jù)平臺(tái)的顯示器，諸如能夠 以電子方式處理一個(gè)或多個(gè)用戶(hù)動(dòng)作（例如，觸摸動(dòng)作）的觸摸屏。在另一個(gè)示例中，工作 面14可能不能以電子方式處理用戶(hù)動(dòng)作中的一個(gè)或多個(gè)。工作面14可包括，例如，不能以 電子方式處理一個(gè)或多個(gè)用戶(hù)動(dòng)作的寫(xiě)表面，諸如紙張、黑板（例如，粉筆板）、白板（例如， 馬克筆板），支撐物12 (例如，桌子的表面），紙板，疊板，塑料、木材，等等的表面，或其組合。 工作面14也可以包括不能以電子方式處理用戶(hù)動(dòng)作中的一個(gè)或多個(gè)的讀表面，諸如雜志、 書(shū)、報(bào)紙等等的表面，或其組合。
[0013] 另外，支撐物12可以支撐設(shè)備16。設(shè)備16可包括諸如膝上型計(jì)算機(jī)、個(gè)人數(shù)字助 理（PDA)、無(wú)線(xiàn)智能電話(huà)、媒體內(nèi)容播放器、成像設(shè)備、移動(dòng)因特網(wǎng)設(shè)備（MID)之類(lèi)的任何計(jì) 算設(shè)備和/或數(shù)據(jù)平臺(tái)，諸如智能電話(huà)、智能平板、智能TV、計(jì)算機(jī)服務(wù)器等任何智能設(shè)備， 或其任何組合。在一個(gè)示例中，設(shè)備16包括相對(duì)較高性能的移動(dòng)平臺(tái)，諸如具有相對(duì)較高 的處理能力的筆記本（例如，Ultrabook?可翻轉(zhuǎn)筆記本、英特爾公司在美國(guó)和/或其他國(guó) 家的注冊(cè)商標(biāo)）。設(shè)備16可包括顯示器18,諸如觸摸屏。例如，顯示器18可以能夠接收來(lái) 自用戶(hù)的觸摸動(dòng)作，和/或能夠以電子方式處理觸摸動(dòng)作以實(shí)現(xiàn)與觸摸動(dòng)作相關(guān)聯(lián)的目標(biāo) (例如，突出顯示單詞、刪去單詞、選擇鏈接，等等）。
[0014] 另外，支撐物12還可以支撐圖像捕捉設(shè)備，該圖像捕捉設(shè)備可包括能夠捕捉圖像 的任何設(shè)備。在一個(gè)示例中，圖像捕捉設(shè)備可包括計(jì)算設(shè)備的集成攝像機(jī)、前向攝像機(jī)、后 向攝像機(jī)、旋轉(zhuǎn)攝像機(jī)、2D(二維）攝像機(jī)、3D(三維）攝像機(jī)、獨(dú)立攝像機(jī)，等等，或其組合。 在所示示例中，設(shè)備16包括可以由支撐物12支撐的集成的前向2D攝像機(jī)20。然而，圖 像捕捉設(shè)備和/或顯示器可以被定位在任何位置。例如，支撐物12可以支撐獨(dú)立攝像機(jī)， 該獨(dú)立攝像機(jī)可以，通過(guò)通信鏈路（例如，WiFi/無(wú)線(xiàn)保真，電氣與電子工程師學(xué)會(huì)/IEEE 802. 11-2007、無(wú)線(xiàn)局域網(wǎng)/LAN媒體訪問(wèn)控制（MAC)和物理層（PHY)規(guī)范、以太網(wǎng)、IEEE 802. 3-2005,等等），與不位于支撐物12上的一個(gè)或多個(gè)顯示器（例如，壁裝顯示器）進(jìn)行 通信。在另一個(gè)示例中，可以使用不位于支撐物12上的獨(dú)立攝像機(jī)（例如，壁裝攝像機(jī)）， 該獨(dú)立攝像機(jī)可通過(guò)通信鏈路與一個(gè)或多個(gè)顯示器進(jìn)行通信，不管顯示器是否由支撐物12 支持。
[0015] 另外，圖像捕捉設(shè)備也可通過(guò)視場(chǎng)來(lái)定義一個(gè)或多個(gè)任務(wù)區(qū)域。在所示示例中，視 場(chǎng)22可定義用戶(hù)可以執(zhí)行要由攝像機(jī)20觀察到的任務(wù)（例如，讀任務(wù)、寫(xiě)任務(wù)、繪圖任務(wù)， 等等）的一個(gè)或多個(gè)任務(wù)區(qū)域。例如，任務(wù)區(qū)域中的一個(gè)或多個(gè)可以由整個(gè)視場(chǎng)22、視場(chǎng) 22的一部分，等等，或其組合來(lái)定義。相應(yīng)地，支撐物12的至少一部分（例如，表面、邊緣， 等等）和/或工作面14 (例如，表面、用戶(hù)附近的區(qū)域，等等）可位于要由攝像機(jī)20觀察到 的任務(wù)區(qū)域和/或視場(chǎng)22中。類(lèi)似地，在使用獨(dú)立圖像捕捉設(shè)備的情況下，支撐物12至少 一部分和/或工作面14可以位于任務(wù)區(qū)域和/或獨(dú)立圖像捕捉設(shè)備的視場(chǎng)中，不管獨(dú)立圖 像捕捉設(shè)備是否由支撐物12支撐。
[0016] 如將比較詳細(xì)地討論的，設(shè)備16可包括識(shí)別一個(gè)或多個(gè)用戶(hù)動(dòng)作的手勢(shì)模塊。用 戶(hù)動(dòng)作中的一個(gè)或多個(gè)可包括指向工作面14的一個(gè)或多個(gè)可見(jiàn)的手勢(shì)，諸如指向手勢(shì)、加 下劃線(xiàn)手勢(shì)、畫(huà)圈手勢(shì)、標(biāo)記手勢(shì)、手指手勢(shì)、手形手勢(shì)，等等，或其組合。在一個(gè)示例中，可 見(jiàn)的手勢(shì)中的一個(gè)或多個(gè)可包括在工作面14的方向的請(qǐng)求協(xié)助的運(yùn)動(dòng)，諸如指向、加下劃 線(xiàn)、畫(huà)圓圈，和/或標(biāo)記運(yùn)動(dòng)。另外，可見(jiàn)的手勢(shì)中的一個(gè)或多個(gè)可以不涉及物理地接觸工 作面14。例如，用戶(hù)可以在的讀操作過(guò)程中，圈出在工作面14之上且并與工作面14分離 的一個(gè)區(qū)域，用于協(xié)助。用戶(hù)還可以在寫(xiě)操作過(guò)程中，例如，指向工作面14之上并與工作面 14分離的一個(gè)區(qū)域（例如，抬起寫(xiě)工具并指向，利用一只手上的手指指向同時(shí)利用另一只 手寫(xiě)，等等），用于協(xié)助。相應(yīng)地，可見(jiàn)的手勢(shì)中的一個(gè)或多個(gè)可包括使用一個(gè)或多個(gè)手指， 手，和/或用于協(xié)助的工具，不管可見(jiàn)的手勢(shì)中的一個(gè)或多個(gè)是否涉及接觸工作面14。
[0017] 工具可包括能夠?qū)懞?或不能以電子方式處理用戶(hù)動(dòng)作中的一個(gè)或多個(gè)的手持 式工具。在一個(gè)示例中，手持式工具中的一個(gè)或多個(gè)可包括墨水筆、馬克筆、粉筆，等等，它 們能夠通過(guò)向工作面14噴涂顏料、染料、礦物等等來(lái)寫(xiě)。應(yīng)該理解，手持式工具能夠?qū)?，盡 管它當(dāng)前可能沒(méi)有被裝載（例如，墨水，鉛，等等），因?yàn)樗梢员谎b載，以完成一項(xiàng)任務(wù)。如 此，手持式工具中的一個(gè)或多個(gè)（例如，墨水筆）可能不能以電子方式處理用戶(hù)動(dòng)作中的一 個(gè)或多個(gè)，因?yàn)檫@樣的寫(xiě)用具可能不包括電子能力（例如，電子感應(yīng)能力、電子處理能力等 等）。另外，手持式工具中的一個(gè)或多個(gè)也可能不能用于以電子方式處理用戶(hù)動(dòng)作中的一個(gè) 或多個(gè)（例如，作為指示筆），因?yàn)檫@樣的非電子寫(xiě)用具可能會(huì)損害電子工作面（例如，通過(guò) 利用寫(xiě)尖擦傷觸摸屏，通過(guò)向觸摸屏噴涂馬克筆顏料，等等），可能不準(zhǔn)確地傳遞用戶(hù)動(dòng)作 (可能不準(zhǔn)確地向觸摸屏傳遞觸摸動(dòng)作，等等）等等，或其組合。
[0018] 可以以任何所需的順序和/或組合使用多個(gè)可見(jiàn)的手勢(shì)。在一個(gè)示例中，可以使 用多個(gè)同時(shí)發(fā)生的可見(jiàn)手勢(shì)、多個(gè)連續(xù)的可見(jiàn)手勢(shì)（例如，指向，然后畫(huà)圈，等等）和/或多 個(gè)隨機(jī)的可見(jiàn)手勢(shì)。例如，用戶(hù)可以在讀任務(wù)期間使用每一只手中的一個(gè)或多個(gè)手指同時(shí) 生成指向工作面14的指向手勢(shì)（例如，指向），用于協(xié)助，可以同時(shí)生成手形手勢(shì)（例如， 在視場(chǎng)22中搖擺一只手），同時(shí)作出指向工作面14的指向手勢(shì)（例如，指向另一只手的手 指），用于協(xié)助，等等，或其組合。在另一個(gè)示例中，用戶(hù)可以按順序生成指向工作面14的指 向手勢(shì)（例如，指向），然后，生成指向工作面14的畫(huà)圈手勢(shì)（例如，圈住區(qū)域），用于協(xié)助。 用戶(hù)還可以，例如，以用于協(xié)助的隨機(jī)和/或預(yù)定的模式一次或多次生成指向工作面14的 指向手勢(shì)（例如，敲擊運(yùn)動(dòng)）。相應(yīng)地，可以使用任何順序和/或組合的用戶(hù)動(dòng)作來(lái)提供無(wú) 需用手的協(xié)助。
[0019] 另外，可見(jiàn)的手勢(shì)可包括物理地接觸工作面14。在一個(gè)示例中，用戶(hù)可以在寫(xiě)任務(wù) 過(guò)程中使用手持式工具，生成指向工作面14的加下劃線(xiàn)手勢(shì)（例如，在一個(gè)單詞下劃線(xiàn)，等 等），用于協(xié)助。在另一個(gè)示例中，用戶(hù)可以使用一只手中的手指生成指向工作面14的指向 手勢(shì)（例如，指向），并且同時(shí)使用另一只手中的手持式工具，同時(shí)生成指向工作面14的標(biāo) 記手勢(shì)（例如，突出顯示）。在所示示例中，用戶(hù)的手24可以握住工具26(例如，墨水筆）， 其中手勢(shì)模塊可識(shí)別由用戶(hù)手24所生成的用戶(hù)動(dòng)作中的一個(gè)或多個(gè)（例如，可見(jiàn)的手勢(shì)） 和/或在視場(chǎng)22中的至少一部分發(fā)生并且由攝像機(jī)20觀察到的指向工作面14 (例如，紙 張）的工具26。
[0020] 當(dāng)用戶(hù)生成用戶(hù)動(dòng)作中的一個(gè)或多個(gè)時(shí)，可以由圖像捕捉設(shè)備觀察用戶(hù)動(dòng)作中的 一個(gè)或多個(gè)和/或由手勢(shì)模塊獨(dú)立于用戶(hù)和圖像捕捉設(shè)備之間的物理接觸識(shí)別用戶(hù)動(dòng)作。 在一個(gè)示例中，用戶(hù)可能不需要觸摸攝像機(jī)20和/或設(shè)備16,以便攝像機(jī)20觀察可見(jiàn)的手 勢(shì)中的一個(gè)或多個(gè)。在另一個(gè)示例中，用戶(hù)可能不需要觸摸攝像機(jī)20和/或設(shè)備16,以便 手勢(shì)模塊識(shí)別可見(jiàn)的手勢(shì)中的一個(gè)或多個(gè)。如此，用戶(hù)可以在無(wú)需用手的操作中作手勢(shì)，和 /或請(qǐng)求協(xié)助，例如，以最小化與要求用戶(hù)握住專(zhuān)門(mén)工具，握住攝像機(jī)、握住攝像機(jī)靜止相關(guān) 聯(lián)的，與中斷讀操作或?qū)懖僮鞯鹊认嚓P(guān)聯(lián)的任何不必要的負(fù)擔(dān)。
[0021] 設(shè)備16可包括用于標(biāo)識(shí)工作面1