動(dòng)態(tài)選擇真實(shí)世界中的表面以用于在上面投影信息的制作方法【專(zhuān)利摘要】一個(gè)或一個(gè)以上裝置俘獲真實(shí)世界的場(chǎng)景，且處理包含到所述真實(shí)世界中的表面上的點(diǎn)的距離的一個(gè)或一個(gè)以上圖像。所述距離用于自動(dòng)識(shí)別所述真實(shí)世界中的一組表面。所述一個(gè)或一個(gè)以上裝置檢查所述組中的表面是否適于顯示待投影到所述場(chǎng)景中的信息的元素。在發(fā)現(xiàn)表面為適宜后，自動(dòng)識(shí)別轉(zhuǎn)移函數(shù)，隨后自動(dòng)將所述轉(zhuǎn)移函數(shù)應(yīng)用于所述信息的所述元素。由于自動(dòng)應(yīng)用所述轉(zhuǎn)移函數(shù)而產(chǎn)生的經(jīng)變換元素被存儲(chǔ)在耦合到投影儀的幀緩沖器中在所述針對(duì)適宜性的檢查期間所識(shí)別的所述幀緩沖器中的特定位置處。當(dāng)沒(méi)有表面適宜時(shí)，獲得用戶(hù)輸入，隨后依據(jù)用戶(hù)輸入投影信息?！緦?zhuān)利說(shuō)明】動(dòng)態(tài)選擇真實(shí)世界中的表面以用于在上面投影信息[0001]臨時(shí)申請(qǐng)案的交叉參考[0002]本申請(qǐng)案主張2011年8月19日申請(qǐng)且標(biāo)題為“將信息投影到真實(shí)世界對(duì)象上或其附近(ProjectionofInformationOntoRealWorldObjectsorAdjacentThereto)”的第61/525，628號(hào)美國(guó)臨時(shí)申請(qǐng)案的優(yōu)先權(quán)，所述臨時(shí)申請(qǐng)案轉(zhuǎn)讓給本受讓人且全文以引用的方式并入本文中。[0003]專(zhuān)利申請(qǐng)案的交叉參考[0004]本申請(qǐng)案主張2012年7月13日申請(qǐng)且標(biāo)題為“動(dòng)態(tài)選擇真實(shí)世界中的表面以用于在上面投影信息(DYNAMICSELECTIONOFSURFACESINREALWORLDFORPROJECTIONOFINFORMATIONTHEREON)”的第13/549，388號(hào)美國(guó)申請(qǐng)案的優(yōu)先權(quán)，所述申請(qǐng)案轉(zhuǎn)讓給本受讓人且全文以引用的方式并入本文中。_5]相關(guān)申請(qǐng)案的交叉參考[0006]本申請(qǐng)案還與2012年7月13日申請(qǐng)且標(biāo)題為“使用圖像中檢測(cè)到的對(duì)象的關(guān)聯(lián)來(lái)獲得顯不給用戶(hù)的信息(UseOfAssociationOfAnObjectDetectedInAnImageToObtainInformationToDisplayToAUser)”的第13/549，339號(hào)美國(guó)申請(qǐng)案(代理人案號(hào)Q111570U1OS)相關(guān)，所述申請(qǐng)案轉(zhuǎn)讓給本受讓人且全文以引用的方式并入本文中?！?br>背景技術(shù)：
】[0007]眾所周知使用投影儀投影信息以供向用戶(hù)顯示。關(guān)于此現(xiàn)有技術(shù)的細(xì)節(jié)，參見(jiàn)Mistri,P.、Maes,P.、Chang,L.的論文,標(biāo)題為“WUW-穿上你的世界-一種可穿戴式示意動(dòng)作接口(WUW-WearUrWorld-AwearableGesturalInterface)，，，CHI2009,2009年4月4-9日，美國(guó)，馬薩諸塞州，波士頓，6頁(yè)，其全文以引用的方式并入本文中。[0008]如上文描述的信息的投影提出幾個(gè)問(wèn)題，例如照明條件。若干此類(lèi)問(wèn)題通過(guò)使用飛行時(shí)間相機(jī)得以解決，例如AndrewGreaves、AlinaHang和EnricoRukzio的標(biāo)題為“使用投影儀電話(huà)的圖片瀏覽和地圖交互(PictureBrowsingandMapInteractionusingaProiectorPhone)”的論文中描述，MobileHCI2008，2008年9月2-5日，荷蘭，阿姆斯特丹，4頁(yè)，其全文以引用的方式并入本文中。關(guān)于此識(shí)別手部示意動(dòng)作的背景的額外信息，參見(jiàn)Mitra和Acharya,“不意動(dòng)作辨識(shí):調(diào)查(GestureRecognition:ASurvey)”，IEEE系統(tǒng)、人與網(wǎng)絡(luò)信息學(xué)學(xué)報(bào)-第C部分:應(yīng)用和回顧，第37卷，第3期，2007年5月，14頁(yè)，其全文以引用的方式并入本文中。[0009]在現(xiàn)有技術(shù)中，信息可投影到三維對(duì)象上，如例如Shapiro的第7，905,610號(hào)美國(guó)專(zhuān)利中描述，所述美國(guó)專(zhuān)利全文以引用的方式并入本文中。特定來(lái)說(shuō)，Shapiro在第4列第20-26行陳述，“圖像可基于三維信息、環(huán)境信息等預(yù)先失真”。見(jiàn)操作310。在一個(gè)實(shí)施例中，預(yù)先失真可涉及在計(jì)算待投影圖像的同時(shí)三維對(duì)象的反向模式”。[0010]使用Shapiro的方法似乎需要用戶(hù)干預(yù)，如例如第4列第27-34行描述，其陳述“作為又一選擇，用戶(hù)可最佳地將投影儀和三維對(duì)象定位在此點(diǎn)。這可例如通過(guò)投影指示隨后將投影的圖像的中心的標(biāo)記(例如，十字準(zhǔn)線(xiàn)等)來(lái)實(shí)現(xiàn)。為此，標(biāo)記可通過(guò)用物理方法操縱投影儀和/或三維對(duì)象而手動(dòng)與三維對(duì)象的中心對(duì)準(zhǔn)”。[0011]當(dāng)用物理方法操縱時(shí)，看起來(lái)Shapiro的用戶(hù)正手動(dòng)選擇圖像將投影到的對(duì)象的表面，且手動(dòng)將所述選定表面與投影儀對(duì)準(zhǔn)。因此需要一種用于如下文描述信息的投影的自動(dòng)選擇真實(shí)世界場(chǎng)景中的表面的方法?！?br/>發(fā)明內(nèi)容】[0012]一個(gè)或一個(gè)以上裝置俘獲真實(shí)世界的場(chǎng)景，且處理所述場(chǎng)景的一個(gè)或一個(gè)以上圖像(也稱(chēng)為“深度圖像”)，其包含到真實(shí)世界中的點(diǎn)的多個(gè)距離。所述距離用于自動(dòng)識(shí)別真實(shí)世界中已在深度圖像中成像的一組表面。接著，所述一個(gè)或一個(gè)以上裝置檢查所述組中的表面是否適于待投影信息的元素的顯示。響應(yīng)于發(fā)現(xiàn)所述表面為適宜的，自動(dòng)識(shí)別轉(zhuǎn)移函數(shù)以使用所述表面，隨后將轉(zhuǎn)移函數(shù)自動(dòng)應(yīng)用于信息的元素。接著，將源自自動(dòng)應(yīng)用轉(zhuǎn)移函數(shù)的經(jīng)變換的元素存儲(chǔ)在耦合到投影儀的幀緩沖器中，在檢查期間識(shí)別的幀緩沖器中的特定位置處?！緦?zhuān)利附圖】【附圖說(shuō)明】[0013]圖1A說(shuō)明由一些實(shí)施例的處理器100執(zhí)行以自動(dòng)獲得信息并將信息投影到真實(shí)世界場(chǎng)景中的動(dòng)作的高級(jí)流程圖。[0014]圖1B說(shuō)明由一些實(shí)施例的處理器100執(zhí)行以執(zhí)行圖1A中的動(dòng)作106的動(dòng)作的低級(jí)流程圖。[0015]圖2A說(shuō)明在某些實(shí)施例中由移動(dòng)裝置200的相機(jī)202成像以供用于在真實(shí)世界中的對(duì)象211附近信息的投影的一個(gè)實(shí)例的真實(shí)世界中的場(chǎng)景214。[0016]圖2B以高級(jí)框圖說(shuō)明耦合到一些實(shí)施例的移動(dòng)裝置200中的存儲(chǔ)器203的處理器100，其中存儲(chǔ)器203存儲(chǔ)來(lái)自圖2A的示范性場(chǎng)景214的由相機(jī)202產(chǎn)生的視頻231(也稱(chēng)為輸入視頻)的幀231A-231N，且存儲(chǔ)器203存儲(chǔ)用于待通過(guò)投影顯示的信息的檢索的請(qǐng)求232。[0017]圖2C以類(lèi)似于圖2B的高級(jí)框圖說(shuō)明存儲(chǔ)器203存儲(chǔ)通過(guò)使用請(qǐng)求232獲得的信息233，且存儲(chǔ)位置234存儲(chǔ)分段為對(duì)應(yīng)于圖2A的示范性場(chǎng)景214中的表面的小塊211A-211B、212A-212C和213S的幀231A的圖像。[0018]圖2D是說(shuō)明檢查矩形299(用于投影信息的元素)是否可配合在對(duì)應(yīng)于圖2A中的頁(yè)211L的表面的圖2C的不規(guī)則形狀小塊211A內(nèi)的高級(jí)框圖(類(lèi)似于圖2B)。[0019]圖2E說(shuō)明在若干實(shí)施例中圖2A的場(chǎng)景214，在向所述場(chǎng)景214中通過(guò)移動(dòng)裝置200的投影儀205將視頻236的形式的信息投影到真實(shí)世界中的對(duì)象211上。[0020]圖2F說(shuō)明圖2E的場(chǎng)景214，其中用戶(hù)220伸展手221的拇指210以作出由處理器100在圖像中識(shí)別為圖1A的動(dòng)作107中的用戶(hù)輸入的認(rèn)可示意動(dòng)作。[0021]圖2G說(shuō)明圖2E的場(chǎng)景214，其中用戶(hù)220伸展右手221的食指212以作出由處理器100在圖像中識(shí)別為用戶(hù)輸入(指示待用于投影的桌子213的表面213S)的指向示意動(dòng)作。[0022]圖2H說(shuō)明圖2E的場(chǎng)景214，其中經(jīng)變換視頻233基于圖2G中說(shuō)明的用戶(hù)輸入投影到表面213S上。[0023]圖3A說(shuō)明在某些實(shí)施例中由移動(dòng)裝置200的相機(jī)202成像以供用于在真實(shí)世界中的另一對(duì)象311附近信息的投影的另一實(shí)例的真實(shí)世界中的另一場(chǎng)景314。[0024]圖3B以類(lèi)似于圖2B的高級(jí)框圖說(shuō)明存儲(chǔ)器203存儲(chǔ)來(lái)自圖3A的示范性場(chǎng)景的由相機(jī)202產(chǎn)生的輸入視頻231的幀331A。[0025]圖3C和3D以類(lèi)似于圖2B的高級(jí)框圖說(shuō)明存儲(chǔ)器203存儲(chǔ)表面241A_241N、241S和213U以及信息333A和333B的新的部分以避免表面2411的重疊。[0026]圖3E說(shuō)明在若干實(shí)施例中圖3A的場(chǎng)景314，其中通過(guò)移動(dòng)裝置200的投影儀205將字符串333A和333B的形式的信息投影在對(duì)象311上及附近。[0027]圖3F說(shuō)明在若干實(shí)施例中圖3A的場(chǎng)景314，其中信息的元素342投影在新位置處。[0028]圖4以高級(jí)框圖說(shuō)明若干實(shí)施例的移動(dòng)裝置200。【具體實(shí)施方式】[0029]根據(jù)所描述實(shí)施例，一個(gè)或一個(gè)以上裝置使用一個(gè)或一個(gè)以上相機(jī)(和/或例如投影儀等其它裝置)從真實(shí)世界中的場(chǎng)景接收信息(例如，圖像)，并將所接收信息存儲(chǔ)在存儲(chǔ)器中。若干此類(lèi)裝置包含處理器100(圖1A)，其耦合到非易失性存儲(chǔ)器203以執(zhí)行存儲(chǔ)在存儲(chǔ)器203中的軟件(即，計(jì)算機(jī)指令)，以便接收和處理相機(jī)202俘獲的信息。[0030]至少一個(gè)相機(jī)202(圖1A)在一些實(shí)施例中操作使得處理器100經(jīng)由存儲(chǔ)器203從相機(jī)202接收(如圖1A中的動(dòng)作101展示)真實(shí)世界(圖2A)中場(chǎng)景214的圖像231A(圖2A)的彩色值的二維陣列，以及任選地指示真實(shí)世界中表面213S、211L上的點(diǎn)的距離的深度值(也稱(chēng)為范圍值)的另一二維陣列。在一些實(shí)施例中，相機(jī)202(圖1A)是深度相機(jī)(也稱(chēng)為范圍相機(jī))，其直接產(chǎn)生且向處理器100供應(yīng)兩組值(即，彩色值和深度值)。然而，處理器100獲得深度值的特定方式可依據(jù)實(shí)施例而不同，且接下來(lái)描述一些說(shuō)明性實(shí)施例。[0031]在一些實(shí)施例中，通過(guò)操作投影儀205(圖4)以用以位置信息編碼的光(也稱(chēng)為“結(jié)構(gòu)光”，且縮寫(xiě)為“SL”)照明場(chǎng)景并操作相機(jī)202(圖4)以在用來(lái)自投影儀205(圖4)的結(jié)構(gòu)光照明的同時(shí)俘獲場(chǎng)景214的一個(gè)或一個(gè)以上圖像，而獲得深度值。在此類(lèi)實(shí)施例中，可執(zhí)行用以接收彩色值和深度值的圖像的動(dòng)作101(圖1A)，如例如HiroshiKawasaki等人的標(biāo)題為“使用單一結(jié)構(gòu)光圖案的動(dòng)態(tài)場(chǎng)景形狀重建(Dynamicsceneshapereconstructionusingasinglestructuredlightpattern)，，的論文中描述，IEEE計(jì)算機(jī)視覺(jué)與圖案辨識(shí)會(huì)議，2008(CVPR2008)，8頁(yè)，其全文以引用的方式并入本文中。在其它實(shí)施例中，可執(zhí)行動(dòng)作101，如例如LiZhang等人的標(biāo)題為“使用彩色結(jié)構(gòu)光和多通動(dòng)態(tài)編程的快速形狀獲取(RapidShapeAcquisitionUsingColorStructuredLightandMult1-passDynamicProgramming)”的論文中描述,第一屆3D數(shù)據(jù)處理、視覺(jué)化和發(fā)射(3DPVT)國(guó)際專(zhuān)題研討會(huì)會(huì)議記錄，意大利帕多瓦，2002年6月19-21日，第24-36頁(yè)，其全文以引用的方式并入本文中。[0032]動(dòng)作101的替代實(shí)施例可使用其它方法來(lái)獲得深度值，例如F.Pece等人的標(biāo)題為“三種深度-相機(jī)技術(shù)比較(ThreeDepth-CameraTechnologiesCompared)”的論文中描述，第一射束工作室(FirstBEAMINGWorkshop)、巴塞羅那，2011年，2頁(yè)，其全文也以引用的方式并入本文中。在圖2A中說(shuō)明的特定實(shí)例中，圖像231A由相機(jī)202俘獲作為通過(guò)相機(jī)202對(duì)場(chǎng)景214成像產(chǎn)生的輸入視頻231的幀序列中的若干圖像的一者。圖2A的實(shí)例中的場(chǎng)景214包含已在桌子213的表面213S上打開(kāi)的書(shū)的形式的對(duì)象211。在場(chǎng)景214中，用戶(hù)220正通過(guò)使用用戶(hù)手221的食指212而指向書(shū)211的左頁(yè)211L上的一行文字。在一些實(shí)施例中，圖像的序列231A-231N由相機(jī)202以預(yù)定速率(例如，30幀/秒)產(chǎn)生且作為已從場(chǎng)景214俘獲的視頻自動(dòng)存儲(chǔ)在存儲(chǔ)器203(圖1A)中，例如以供當(dāng)相機(jī)202相對(duì)于場(chǎng)景214移動(dòng)時(shí)用于飛行時(shí)間計(jì)算以獲得深度值。[0033]在一些實(shí)施例中，在動(dòng)作102中(圖1A)，處理器100獲得待投影到場(chǎng)景214中的信息233(圖2C)。動(dòng)作102中獲得信息233的特定方式可依據(jù)實(shí)施例不同。在一些實(shí)施例中，在動(dòng)作102中基于經(jīng)由用戶(hù)接口201(圖1A)例如從麥克風(fēng)(其可供應(yīng)攜載用戶(hù)說(shuō)出的文字“線(xiàn)性等式”的音頻信號(hào))或從鍵盤(pán)(其可供應(yīng)形成用戶(hù)鍵入的文字“線(xiàn)性等式”的字符串的一系列鍵擊)接收的指令而獲得信息233。[0034]在其它實(shí)施例中，例如通過(guò)處理器100使用圖像231A的彩色值自動(dòng)獲得信息233(如下)而以不同方式獲得信息233。特定來(lái)說(shuō)。在一些實(shí)施例中，在動(dòng)作102中基于圖像231A(圖2A)內(nèi)由處理器100對(duì)手示意動(dòng)作的辨識(shí)獲得信息233，所述手示意動(dòng)作例如在人220的人手221中伸展的食指212，其指向?qū)ο?11(例如，書(shū))上印刷的文本218，如圖2A中說(shuō)明。[0035]手示意動(dòng)作可由以熟練的技術(shù)人員所了解的任何方式適宜地編程的處理器100辨識(shí)，如例如Rautaray等人的標(biāo)題為“用于控制VLC媒體播放器的基于視覺(jué)的手示意動(dòng)作接口(AVisionbasedHandGestureInterfaceforControllingVLCMediaPlayer)，，的論文中描述，所述論文發(fā)表在國(guó)際計(jì)算機(jī)應(yīng)用期刊上，第10卷，第7期，2010年11月，6頁(yè)，其全文以引用的方式并入本文中。處理器100的其它實(shí)施例可識(shí)別手示意動(dòng)作，如例如Mitra和Acharya在標(biāo)題為“示意動(dòng)作辨識(shí):調(diào)查(GestureRecognition:ASurvey)”的論文中描述，IEEE系統(tǒng)、人與網(wǎng)絡(luò)信息學(xué)學(xué)報(bào)-第C部分:應(yīng)用和回顧，第37卷，第3期，2007年5月，14頁(yè)，其已在上文以引用的方式并入。[0036]因此，在圖2B中說(shuō)明的實(shí)例中，圖像231A的彩色值(未圖示)的二維陣列由處理器100在動(dòng)作102(圖1A)中自動(dòng)處理以識(shí)別文本區(qū)218，文本區(qū)218含有印刷在左頁(yè)211L上且如圖像231A(圖2B)中所俘獲由用戶(hù)220(圖2A)指向的字符串“線(xiàn)性等式”。[0037]在動(dòng)作102中，不管識(shí)別信息233所經(jīng)由的用戶(hù)接口201的類(lèi)型如何，處理器100都通過(guò)自動(dòng)產(chǎn)生對(duì)于關(guān)于因特網(wǎng)上可用的“線(xiàn)性代數(shù)”的視頻的請(qǐng)求232(圖2B)而響應(yīng)于所述識(shí)別。請(qǐng)求232存儲(chǔ)在存儲(chǔ)器203中且(在一些實(shí)施例中在用戶(hù)認(rèn)可之后)用于獲得視頻233(也稱(chēng)為輸出視頻)，視頻233存儲(chǔ)在存儲(chǔ)器203(圖2C)中且用作待投影的信息233。關(guān)于如何在動(dòng)作102中獲得信息233的某些說(shuō)明性實(shí)施例在2012年7月13日申請(qǐng)且標(biāo)題為“使用圖像中檢測(cè)到的對(duì)象的關(guān)聯(lián)來(lái)獲得顯示給用戶(hù)的信息(UseOfAssociationOfAnObjectDetectedInAnImageToObtainInformationToDisplayToAUser)”的第13/549,339號(hào)美國(guó)申請(qǐng)案(代理人案號(hào)Q111570Ulos)中描述，所述申請(qǐng)案在上文以引用的方式并入。[0038]盡管一些實(shí)施例的動(dòng)作102中獲得的信息233已在上文描述為組成單一元素的輸出視頻233，但在其它實(shí)施例中信息233可包含彼此獨(dú)立且可投影在不同表面上的多個(gè)元素(例如，在網(wǎng)頁(yè)中)。信息233的這多個(gè)元素可使用標(biāo)簽〈table〉在以HTML表達(dá)的網(wǎng)頁(yè)中界定的表和/或區(qū)段中識(shí)別，例如以識(shí)別信息233中的文本和/或圖形的不同塊。[0039]參看圖1A，處理器100額外經(jīng)編程以執(zhí)行動(dòng)作103(在上文描述的動(dòng)作102之前、期間或之后的任何時(shí)間)，以使用圖像的深度值識(shí)別真實(shí)世界中場(chǎng)景214中的一組表面213S、211L(圖2A)。該組表面213S、211L可在動(dòng)作103(圖1A)中通過(guò)將圖像231A分段為具有恒定曲率的區(qū)來(lái)識(shí)別，使得當(dāng)投影信息233時(shí)，信息233較好地顯示在每一區(qū)內(nèi)。在動(dòng)作103中識(shí)別表面的特定方式可依據(jù)實(shí)施例不同。[0040]在一些實(shí)施例中，動(dòng)作103(圖1A)使用深度值，如例如AlanP.Mangan等人的標(biāo)題為“使用流域分段分割3D表面網(wǎng)格(Partitioning3DSurfaceMeshesUsingWatershedSegmentation)”的論文中描述，IEEE視覺(jué)化與計(jì)算機(jī)圖形學(xué)報(bào),第5卷,第4期，1999年10-12月，第308-321頁(yè)，其全文以引用的方式并入本文中。在一些實(shí)施例中，在執(zhí)行動(dòng)作101(上文描述)之前校準(zhǔn)相機(jī)202,如例如Jean-YvesBouguet的標(biāo)題為“針對(duì)Matlab的相機(jī)校準(zhǔn)工具箱(CameraCalibrationToolboxforMatlab)”的論文中描述,4頁(yè),2010年7月9日最后更新，其全文以引用的方式并入本文中。此論文在通過(guò)在以下“http:%%www#vision#caltech#edu%bouguetj%calit^doc1^中用“/”替換且用“.”替換獲得的字符串中識(shí)別的網(wǎng)站處可獲得。[0041]可在不同實(shí)施例中使用不同技術(shù)對(duì)圖像231A分段。在一些實(shí)施例中，不獲得深度值，且通過(guò)使用霍夫變換從二維圖像的序列識(shí)別場(chǎng)景214中的表面，如例如Wahl的標(biāo)題為“用于使用二維圖像識(shí)別三維對(duì)象的方法(Methodforidentifyingthree-dimensionalobjectsusingtwo-dimensionalimages)”的第4，731，860號(hào)美國(guó)專(zhuān)利中描述,所述專(zhuān)利全文以引用的方式并入本文中。[0042]因此，在若干實(shí)施例中，圖像231A由處理器100在動(dòng)作103(圖1A)中自動(dòng)分段以識(shí)別一組表面。在圖2A和2B中說(shuō)明的實(shí)例中，圖像231A的一組深度值由處理器100復(fù)制到存儲(chǔ)器203的存儲(chǔ)位置23`4(圖2C)，隨后分段以識(shí)別真實(shí)世界(圖2A)中的對(duì)象211的對(duì)應(yīng)于圖像234中(圖2C)的區(qū)211A、211B、212A、212B、212C和212S的表面。舉例來(lái)說(shuō)，圖2A中頁(yè)21IL的表面對(duì)應(yīng)于圖2C中圖像234中的區(qū)211A。注意，為了方便，分別在圖2B和2A中，使用相同參考數(shù)字指代圖像231A中的區(qū)和場(chǎng)景214中的對(duì)應(yīng)表面。[0043]在動(dòng)作103之后，處理器100的許多實(shí)施例針對(duì)動(dòng)作102中獲得的信息中的每一元素執(zhí)行動(dòng)作106，以找到適于所述元素的表面(或小塊P)。動(dòng)作106中執(zhí)行的適宜性測(cè)試可依據(jù)實(shí)施例不同，但若干實(shí)施例依據(jù)例如表面大小、表面中點(diǎn)的連續(xù)性、表面曲率等若干因素測(cè)試適宜性。當(dāng)待顯示的信息的元素不跨越表面的邊界時(shí)或當(dāng)所述元素不以不規(guī)則方式纏繞時(shí)，可發(fā)現(xiàn)一表面在一些實(shí)施例的動(dòng)作106中為適宜的。[0044]在圖2A-2C中說(shuō)明的實(shí)例中，輸出視頻233是待在動(dòng)作102中投影的信息中的單一元素。因此，處理器100評(píng)估來(lái)自動(dòng)作103中識(shí)別的一組的所有表面211A、211B、212A、212B、212C和212S，以獲得顯示輸出視頻233的適宜性。在此評(píng)估期間，發(fā)現(xiàn)區(qū)211C、211B、212B和212A的每一者例如歸因于大小而不適于顯示輸出視頻233。在此實(shí)例中，可發(fā)現(xiàn)區(qū)213U和211A在動(dòng)作106完成時(shí)是可接受的。[0045]在若干此類(lèi)實(shí)施例中，在發(fā)現(xiàn)適于元素的表面(或小塊P)后，處理器還識(shí)別表面上的待投影元素的特定位置。動(dòng)作106中識(shí)別的特定位置取決于若干因素，例如表面的形狀(例如，矩形、圓形)，以及表面可在何處完整地封圍其中將顯示選定元素的矩形。[0046]在操作106中，如果處理器100成功地發(fā)現(xiàn)針對(duì)所有元素的表面，那么處理器100進(jìn)行到動(dòng)作108以識(shí)別針對(duì)對(duì)應(yīng)表面的一個(gè)或一個(gè)以上轉(zhuǎn)移函數(shù)。轉(zhuǎn)移函數(shù)在動(dòng)作108中識(shí)別以至少部分抵消選定表面上信息的投影效應(yīng)。但如果處理器100在動(dòng)作106中發(fā)現(xiàn)沒(méi)有適于信息的任何元素的表面，那么處理器106進(jìn)行到動(dòng)作107以接收用戶(hù)輸入(下文描述)。[0047]舉例來(lái)說(shuō)，當(dāng)表面213S為平面時(shí)，在動(dòng)作108中由處理器100識(shí)別對(duì)應(yīng)平面變換以用于補(bǔ)償移動(dòng)裝置200中的投影儀205相對(duì)于表面213S的定向和位置(也稱(chēng)為“姿態(tài)”)。此平面變換可例如縮短輸出視頻233的幀233A的高度，使得隨著其特定來(lái)說(shuō)以相對(duì)于并非90°的表面213S的角度□入射在真實(shí)世界的場(chǎng)景214中的表面213S上時(shí)(B卩，當(dāng)視頻236如圖2H所示以?xún)A斜而非垂直于表面213S的角度□投影時(shí))實(shí)體上伸長(zhǎng)而適當(dāng)呈現(xiàn)投影上的經(jīng)變換幀。[0048]在一些實(shí)施例中，通過(guò)對(duì)保持對(duì)在動(dòng)作106中發(fā)現(xiàn)為適宜的表面(或者在動(dòng)作107中通過(guò)用戶(hù)輸入識(shí)別的表面)建模的值的二維矩陣執(zhí)行矩陣求逆而在動(dòng)作108中識(shí)別轉(zhuǎn)移函數(shù)。在動(dòng)作108中以任何方式例如基于將表面的深度值與三維(3D)模型522(圖4)的庫(kù)中的一個(gè)或一個(gè)以上模型進(jìn)行比較而識(shí)別值的模型。在一些實(shí)施例中，在動(dòng)作108中選擇模型，如例如N.Werghi的標(biāo)題為“基于幾何分布的逐對(duì)匹配的穩(wěn)健3D對(duì)象注冊(cè)(Robust3DObjectRegistrationBasedonPairwiseMatchingofGeometricDistributions)”的論文中描述，8頁(yè)，2009年在國(guó)際計(jì)算機(jī)與應(yīng)用期刊上發(fā)表，第31卷，第I期，其全文以引用的方式并入本文中。[0049]接下來(lái)，在動(dòng)作109中，處理器100例如通過(guò)執(zhí)行轉(zhuǎn)移函數(shù)的矩陣與信息元素的矩陣之間的矩陣乘法以獲得(所述信息的)經(jīng)變換元素而將轉(zhuǎn)移函數(shù)應(yīng)用于信息的元素。接著，在動(dòng)作Iio中，處理器100將信息的經(jīng)變換元素存儲(chǔ)在存儲(chǔ)器203中，特定來(lái)說(shuō)存儲(chǔ)在操作地耦合到投影儀205的幀緩沖器530(圖4)中。[0050]在動(dòng)作110之后，處理器100進(jìn)行到動(dòng)作112以操作投影儀205。在投影儀205操作后，將幀緩沖器530中的一個(gè)或一個(gè)以上經(jīng)變換元素投影到場(chǎng)景214中。當(dāng)經(jīng)變換元素的投影入射在選定表面(例如，圖2E中的表面211A)上時(shí)，選定表面21IA將經(jīng)變換元素變換回去，使得呈現(xiàn)在表面211A上的信息對(duì)于人220(圖2E)來(lái)說(shuō)看上去為正常的。[0051]信息(例如，圖2H中的視頻236)的經(jīng)變換元素到三維表面上的投影可在許多實(shí)施例中以與例如授予Shapiro的第7，905，610號(hào)美國(guó)專(zhuān)利(上文以引用的方式并入)描述的(I)方法以及Raskar的標(biāo)題為“將變形圖像投影到彎曲表面上(ProjectingWarpedImagesOntoCurvedSurfaces)”第2004/0184013號(hào)美國(guó)申請(qǐng)案(其全文以引用的方式并入本文中)描述的(2)方法類(lèi)似或相同的方式執(zhí)行。[0052]在動(dòng)作112完成后，處理器100返回到動(dòng)作101，借此再次執(zhí)行上文描述的動(dòng)作。在一些實(shí)施例中，處理器100從動(dòng)作112進(jìn)行到動(dòng)作107以接收用戶(hù)輸入。在此階段，當(dāng)正投影信息時(shí)，動(dòng)作107中接收的用戶(hù)輸入可指示例如通過(guò)用戶(hù)說(shuō)“干得好”或作出如圖2F中說(shuō)明的拇指向上的手示意動(dòng)作(通過(guò)在相機(jī)202前方伸展出手221的拇指210)對(duì)投影的認(rèn)可。當(dāng)用戶(hù)輸入指示對(duì)選定表面的認(rèn)可時(shí)，處理器100進(jìn)行到動(dòng)作108(上文描述)，以繼續(xù)使用選定表面以供信息投影。[0053]動(dòng)作107中接收的用戶(hù)輸入可指示例如通過(guò)用戶(hù)說(shuō)“不好”(由麥克風(fēng)1112感測(cè)至IJ)或通過(guò)用戶(hù)作出如圖2G中說(shuō)明的指向另一表面213S的手示意動(dòng)作(通過(guò)在相機(jī)202前方(且由其俘獲)伸展出手221的食指212)對(duì)投影的否認(rèn)。當(dāng)用戶(hù)輸入指示對(duì)選定表面(例如，圖2E中的表面211A)的否認(rèn)時(shí)，處理器100再次執(zhí)行動(dòng)作108-110(上文描述)，這次使用如圖2G中說(shuō)明由用戶(hù)輸入識(shí)別的不同表面213S，以供如圖2H中說(shuō)明的信息投影。當(dāng)用戶(hù)輸入未識(shí)別不同表面而是簡(jiǎn)單地不準(zhǔn)許自動(dòng)選定的表面211A時(shí)，處理器100自動(dòng)選擇且開(kāi)始使用發(fā)現(xiàn)對(duì)于信息的顯示為適宜的不同表面(例如，圖2H所示的表面213S)。[0054]在一些實(shí)施例中，在執(zhí)行動(dòng)作107時(shí)，處理器100接收識(shí)別形狀的用戶(hù)輸入。舉例來(lái)說(shuō)，用戶(hù)可通過(guò)作出手示意動(dòng)作而提供指示圓圈的輸入。作為響應(yīng)，處理器100在轉(zhuǎn)移函數(shù)中使用所述形狀以掩蔽出信息元素的待顯示的部分。舉例來(lái)說(shuō)，如果經(jīng)由相機(jī)202感測(cè)的手示意動(dòng)作為圓圈，那么處理器100形成二進(jìn)制值的掩碼，值I在圓內(nèi)且值O在圓外。在動(dòng)作109中，剛描述的掩碼與選定表面的3D模型的矩陣一起使用以變換待投影的信息的元素。[0055]處理器100的一些實(shí)施例執(zhí)行圖1A中說(shuō)明的動(dòng)作106，如圖1B所示以及下文描述。特定來(lái)說(shuō)，在動(dòng)作151中，處理器100選擇信息的待投影的元素E且進(jìn)行到動(dòng)作152。在動(dòng)作152中，處理器100確定其中將顯示選定元素E的矩形(例如，圖2D中的矩形272)的高度H和寬度W。高度H和寬度W由一些實(shí)施例的處理器100基于元素E中圖像的預(yù)定分辨率確定。在其它實(shí)施例中，高度H和寬度W由處理器100基于元素E中文本的字體大小確定。接著，處理器100進(jìn)行到動(dòng)作153。[0056]在動(dòng)作153中，處理器100通過(guò)將對(duì)應(yīng)于選定表面(或其中的小塊P)的圖像的區(qū)中像素N的總數(shù)目與待用于顯示元素的高度H且寬度W的矩形的面積(即，H*W)比較來(lái)選擇表面(或表面內(nèi)的小塊P)。如果NSH*W，那么選擇表面(或小塊P)，且否則不選擇。剛描述的比較濾出大小可能太小而不能容納(例如，完全封圍)選定元素E的任何表面。在動(dòng)作153完成后，如果不存在足夠大以致能夠進(jìn)行元素E的投影的表面，那么控制轉(zhuǎn)移到動(dòng)作164(下文描述)。當(dāng)至少一個(gè)表面足夠大時(shí)，在動(dòng)作153中選擇所述表面，之后在如下文描述幀緩沖器的列和行上循環(huán)，以檢查選定表面是否適于選定元素E的投影。[0057]在一些實(shí)施例中，處理器100執(zhí)行動(dòng)作154以將行R初始化為值0，并執(zhí)行動(dòng)作155以將列C初始化為值0，之后在動(dòng)作156中在幀緩沖器中由四個(gè)隅角(R，C)、(R，C+ff)、(R+H,C)和(R+H，C+W)識(shí)別的矩形中進(jìn)行關(guān)于將選定元素E投影在選定表面(或小塊P)上的適宜性的測(cè)試，其中W是矩形的寬度且H是矩形的高度，如上所述。在此類(lèi)實(shí)施例中，其中識(shí)別四個(gè)隅角的X-Y坐標(biāo)系定位在幀緩沖器530的左下角處，如圖2D中說(shuō)明。因此，矩形272在存儲(chǔ)器203中的幀緩沖器530中以上文描述的方式(例如當(dāng)元素E為視頻233(圖2C)時(shí))由處理器100通過(guò)使用其分辨率識(shí)別以識(shí)別上文描述的四個(gè)隅角。[0058]因此，在動(dòng)作156中，處理器100執(zhí)行一個(gè)或一個(gè)以上測(cè)試，例如測(cè)試待用于投影元素E的剛描述的矩形中的所有像素是否均存在于圖像的對(duì)應(yīng)于表面的區(qū)中(例如，包含在其內(nèi))。剛描述的針對(duì)像素可用性的測(cè)試濾出矩形272相對(duì)于可不適于投影的不規(guī)則形狀表面211A的位置，如圖2D所示(其中矩形272的隅角(R，C)不存在于區(qū)211A中)。盡管動(dòng)作156中描述和說(shuō)明一個(gè)說(shuō)明性測(cè)試，但可依據(jù)實(shí)施例在動(dòng)作156中執(zhí)行針對(duì)表面對(duì)于元素投影的適宜性的其它此類(lèi)測(cè)試，如鑒于此描述將容易了解。[0059]如果動(dòng)作156(圖1B)中的回答為否，那么因?yàn)橥ㄟ^(guò)任何此類(lèi)測(cè)試發(fā)現(xiàn)選定表面上的上文描述的矩形中的投影不適宜，所以處理器100使用動(dòng)作157-160循環(huán)以檢查是否存在矩形272與選定表面211A之間的選定表面211A在該處仍可適于矩形272的投影的另一相對(duì)位置。特定來(lái)說(shuō)，處理器100在動(dòng)作157(圖1B)中檢查列C+W是否小于幀緩沖器530的寬度，以及如果是那么進(jìn)行到動(dòng)作158以遞增列C(借此在正X方向上，在圖2D中向右，移動(dòng)矩形272)，且接著返回到動(dòng)作156(上文描述)。如果動(dòng)作157中的回答為否，那么處理器100進(jìn)行到動(dòng)作159以檢查行R+H是否小于幀緩沖器的高度，以及如果是那么進(jìn)行到動(dòng)作160以遞增行R(借此在正Y方向上，在圖2D中向上，移動(dòng)矩形272)，且接著返回到動(dòng)作155(上文描述)。[0060]通過(guò)重復(fù)執(zhí)行動(dòng)作154-160,處理器100測(cè)試矩形272相對(duì)于選定表面21IA的封圍在幀緩沖器530內(nèi)的所有可能位置，且當(dāng)動(dòng)作156中測(cè)試未發(fā)現(xiàn)任何位置適宜時(shí)，動(dòng)作159中的回答為否，處理器100進(jìn)行到動(dòng)作161以檢查是否所有表面(或小塊)已經(jīng)測(cè)試，且如果否那么進(jìn)行到動(dòng)作153以選擇另一表面。如果動(dòng)作161中的回答為是，那么處理器100進(jìn)行到動(dòng)作163以檢查是否待投影的所有信息元素已經(jīng)處理，且如果否那么返回到動(dòng)作151以選擇另一元素，但如果所有元素已經(jīng)處理，那么處理器100進(jìn)行到動(dòng)作164(下文描述)。[0061]在動(dòng)作156中，如果回答為是，那么處理器100進(jìn)行到動(dòng)作162以識(shí)別表面(或小塊P)上的位置的坐標(biāo)(R，C)，并將其存儲(chǔ)在存儲(chǔ)器中，在存儲(chǔ)器203中的列表273(圖2C)中的項(xiàng)目中，作為可在該處投影元素E的特定位置。注意，列表273(圖2C)中的每一項(xiàng)目為元素E的投影的候選者，且指派一個(gè)特定候選者以供用于下文描述的動(dòng)作164中的投影。[0062]因此，在動(dòng)作162中，當(dāng)動(dòng)作156中的一個(gè)或一個(gè)以上測(cè)試成功時(shí)，處理器100使選定表面(或小塊P)與元素E相關(guān)聯(lián)，且接著處理器100進(jìn)行到動(dòng)作161。在動(dòng)作161(如上文描述)中，處理器100檢查是否所有表面已經(jīng)測(cè)試，且如果答案為否，那么返回到動(dòng)作153以測(cè)試另一表面或小塊P。在循環(huán)經(jīng)過(guò)動(dòng)作161和153-156及162之后且依據(jù)元素E的尺寸并依據(jù)可用于投影的組中的表面(依據(jù)圖1A中的動(dòng)作103)，當(dāng)從動(dòng)作161取“是”分支時(shí)，在存儲(chǔ)器203中針對(duì)元素E維持的列表中識(shí)別用于元素E的投影的經(jīng)測(cè)試且發(fā)現(xiàn)為適宜(依據(jù)動(dòng)作156)的所有表面。[0063]因此，在圖2C的實(shí)例中，重復(fù)執(zhí)行動(dòng)作156的測(cè)試以使含有識(shí)別對(duì)應(yīng)的兩個(gè)表面213U和21IA的兩個(gè)項(xiàng)目的列表273與視頻233相關(guān)聯(lián)。注意，表面213U和21IA組成動(dòng)作103中識(shí)別的所有表面211A、211B、212A、212B、212C和212S的集合的子集。表面213U和21IA的每一者通過(guò)動(dòng)作162與針對(duì)視頻233的列表273中的視頻233相關(guān)聯(lián)，其中在列表的每一元素中識(shí)別特定位置以指示在對(duì)應(yīng)表面上何處可投影視頻233。在圖2C的說(shuō)明性實(shí)例中，存儲(chǔ)器203僅保持一個(gè)列表273，因?yàn)榇队暗男畔H具有一個(gè)元素，且通過(guò)處理器100從動(dòng)作163中的“否”分支循環(huán)回到動(dòng)作151(例如，當(dāng)待投影的信息包含多個(gè)元素時(shí))產(chǎn)生多個(gè)列表。[0064]當(dāng)已在動(dòng)作163中處理所有元素時(shí)，由處理器100取“是”分支而進(jìn)行到動(dòng)作164。在動(dòng)作164中，處理器100基于其中動(dòng)作162針對(duì)每一元素E識(shí)別了所有候選表面的列表指派用于投影每一元素E的特定表面。特定來(lái)說(shuō)，在動(dòng)作164中，處理器100在每一表面(或小塊P)上循環(huán)以從所有列表中識(shí)別給定表面被指派到的列表的子集，且接著從所述子集識(shí)別具有最少表面數(shù)目的單一列表，且接著向給定表面指派對(duì)應(yīng)于所述單一列表的元素。舉例來(lái)說(shuō)，如果表面211A僅具有與其相關(guān)聯(lián)的一個(gè)元素233，那么在動(dòng)作164中將元素233指派到表面211A，且此表面211A接著從所有列表移除，之后使用相同過(guò)程識(shí)別另一表面。在動(dòng)作164完成后，當(dāng)所有表面已經(jīng)指派以接收信息的對(duì)應(yīng)元素的投影時(shí)，在一些實(shí)施例中不在幀緩沖器530中呈現(xiàn)且不投影保持未指派的任何元素，而替代實(shí)施例則例如經(jīng)由音頻消息通知用戶(hù)。[0065]盡管在圖2A-2H中說(shuō)明的實(shí)例中，信息為在如圖2E中說(shuō)明的表面211A內(nèi)或在如圖2H中說(shuō)明的另一表面213S內(nèi)整體投影的輸出視頻233，但在其它實(shí)施例中，待投影的信息包含多個(gè)元素(也稱(chēng)為部分)，其每一者可獨(dú)立于另一部分(或元素)而投影。特定來(lái)說(shuō)，在圖3A中說(shuō)明的實(shí)例中，位于桌子213的表面213S上的對(duì)象311(例如，瓶蓋241)由移動(dòng)裝置200依據(jù)動(dòng)作101(圖1A)成像，且所得圖像作為圖像331A(圖3B)存儲(chǔ)在存儲(chǔ)器203中。圖像331A隨后依據(jù)動(dòng)作103(圖1A)分段以識(shí)別場(chǎng)景314(圖3A)中對(duì)應(yīng)于圖像331A(圖3C)中的區(qū)213S和311S的表面，例如表面213S和311S。以此方式，通過(guò)動(dòng)作103識(shí)別許多額外區(qū)241A-241N(圖3C)。[0066]此實(shí)例中待投影的信息通過(guò)執(zhí)行游戲軟件309產(chǎn)生且存儲(chǔ)在存儲(chǔ)器203的存儲(chǔ)位置309S中，作為可彼此獨(dú)立投影的兩個(gè)不同元素(或部分)，即:(I)游戲玩家的文本的第一行(圖3C中說(shuō)明為字符串“群組2”)，以及(2)所述同一玩家的記分的文本的第二行(圖3C中說(shuō)明為另一字符串“記分:0”)。通過(guò)執(zhí)行上文參看圖1A描述的類(lèi)型的方法，處理器100確定區(qū)241A...2411...241N的每一者太小而不能在動(dòng)作153(圖1B)中顯示第一元素(即，第一文本行333A)，因此其被濾出。[0067]在此實(shí)例中，起初，處理器100在動(dòng)作156中將區(qū)311S識(shí)別為足夠大以致能夠顯示第一元素且評(píng)估適宜性。在動(dòng)作156中，處理器100測(cè)試用以顯示第一文本行333A的相對(duì)于場(chǎng)景314中的表面31IS(其對(duì)應(yīng)于圖像331A中的區(qū)311S)的矩形的各個(gè)位置，且當(dāng)發(fā)現(xiàn)一位置適宜時(shí)，處理器100通過(guò)動(dòng)作162添加表面311S和所述位置作為針對(duì)第一文本行333A的列表中的第一項(xiàng)目。在此實(shí)例中，接下來(lái)，處理器100通過(guò)重復(fù)動(dòng)作156將區(qū)213S識(shí)別為足夠大以致能夠也顯示第一元素并評(píng)估適宜性。在動(dòng)作156的此迭代中，處理器100測(cè)試同一矩形的用以顯示第一文本行333A的各個(gè)位置，但這次是相對(duì)于場(chǎng)景314中的表面213S(其對(duì)應(yīng)于圖像331A中的區(qū)213S)，且當(dāng)發(fā)現(xiàn)一位置適宜時(shí)，處理器100通過(guò)動(dòng)作162添加表面213S和所述位置作為針對(duì)第一文本行的上述列表中的第二項(xiàng)目。因此，在此階段，針對(duì)第一文本行的列表具有兩個(gè)項(xiàng)目。類(lèi)似地，另一列表由處理器100針對(duì)第二文本行產(chǎn)生，其也具有兩個(gè)項(xiàng)目。最后，通過(guò)執(zhí)行動(dòng)作164，處理器100向表面311S指派第一文本行333A且向表面213S指派第二文本行333B(圖3D)，隨后操作投影儀205以產(chǎn)生投影。[0068]在一些實(shí)施例中，處理器100經(jīng)編程以?xún)?yōu)化在動(dòng)作164中指派到表面的每一元素的位置，例如使得組成兩個(gè)元素的兩個(gè)文本行333A和333B定位成盡可能彼此靠近，如圖3E中說(shuō)明。注意，盡管X坐標(biāo)和y坐標(biāo)增量已在上文指示為由一些實(shí)施例的動(dòng)作158和160執(zhí)行，但其它實(shí)施例可以其它方式(例如，通過(guò)旋轉(zhuǎn))移動(dòng)一形狀(例如，矩形或圓)用于元素的投影。在圖3F中說(shuō)明的實(shí)例中，移動(dòng)裝置200在表面311S上顯示的信息在網(wǎng)站www.twitter,com處從計(jì)算機(jī)(未圖示)獲得。[0069]如上文參看圖1、2A-2H、3A_3F和4所描述以存儲(chǔ)器203中的軟件編程的處理器100可包含在如上所述的移動(dòng)裝置200中。移動(dòng)裝置200可為包含投影儀205和/或相機(jī)202的任何裝置，且裝置200可包含通常在任何手持式裝置(例如，運(yùn)動(dòng)傳感器)中使用的額外部分，例如加速計(jì)、陀螺儀等，其可在上文描述的一個(gè)或一個(gè)以上動(dòng)作中使用，例如用于確定移動(dòng)裝置200相對(duì)于對(duì)象311和/或桌子213的姿態(tài)(位置和定向)。[0070]應(yīng)注意，移動(dòng)裝置200可為任何便攜式電子裝置，例如蜂窩式或其它無(wú)線(xiàn)通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)、相機(jī)或能夠?qū)?chǎng)景214成像且/或?qū)⑿畔⑼队暗綀?chǎng)景214中的其它適宜的移動(dòng)裝置。在一些實(shí)施例中，單一裝置200包含相機(jī)202和投影儀205兩者，而在其它實(shí)施例中，一個(gè)此類(lèi)裝置包含相機(jī)202且另一此類(lèi)裝置包含投影儀205，且兩個(gè)裝置直接或經(jīng)由計(jì)算機(jī)(未圖示)彼此通信。[0071]在執(zhí)行圖1A的方法以將信息投影到場(chǎng)景中(如上所述)的過(guò)程中，可能存在所使用的不同交互隱喻。從相機(jī)202(圖2A)俘獲的圖像中的文本字符串產(chǎn)生的用戶(hù)輸入允許用戶(hù)到達(dá)場(chǎng)景214中且直接操縱真實(shí)世界對(duì)象211，與基于非圖像的交互形成對(duì)比，在基于非圖像的交互中用戶(hù)必須直接與移動(dòng)裝置交互。特定來(lái)說(shuō)，當(dāng)基于圖像的用戶(hù)交互選擇為輸入技術(shù)和輸出技術(shù)時(shí)，上文參看圖1A和IB描述的類(lèi)型的方法使得當(dāng)用戶(hù)正供應(yīng)改變正投影到場(chǎng)景214中的信息的輸入時(shí)，用戶(hù)能夠在場(chǎng)景214中以投影到真實(shí)世界中的信息使用他的手。[0072]上文描述的類(lèi)型的移動(dòng)裝置200可包含使用“計(jì)算機(jī)視覺(jué)”技術(shù)的各種對(duì)象辨識(shí)方法。移動(dòng)裝置200還可包含3D表面分段軟件511(圖4)以實(shí)施上文描述的動(dòng)作103的一些實(shí)施例中使用的水域算法，從而將圖像231A劃分為屬于場(chǎng)景214中的不同3D表面(或小塊)的數(shù)據(jù)521(也稱(chēng)為“表面數(shù)據(jù)”)的區(qū)。此外，移動(dòng)裝置200還可包含表面尋找器512，其尋找所述組表面521中可在上面投影信息的元素的特定表面，例如在高度H且寬度W的矩形中。在一些實(shí)施例中實(shí)施用于尋找的手段的表面尋找器512還包含用以測(cè)試(例如，借此實(shí)施測(cè)試手段)剛描述的矩形中的所有像素是否均存在于圖像231A的對(duì)應(yīng)于特定表面的區(qū)中的軟件。表面尋找器512還從3D模型的庫(kù)522選擇單一3D表面(在表面數(shù)據(jù)521中識(shí)別的表面當(dāng)中)的單一模型，其適于顯示如上文參考動(dòng)作106(例如，如圖1B的方法實(shí)施)描述的矩形借此在一些實(shí)施例中實(shí)施用于識(shí)別的手段。因此，一些實(shí)施例中，表面尋找器512供應(yīng)3D模型的識(shí)別符以及可顯示矩形的位置的坐標(biāo)作為其輸出。[0073]移動(dòng)裝置200還可包含信息檢索器軟件513以依據(jù)上文描述的動(dòng)作102檢索具有待投影的一個(gè)或一個(gè)以上元素的信息233。移動(dòng)裝置200中的信息變換器514包含兩個(gè)模塊如下:轉(zhuǎn)移函數(shù)識(shí)別符和轉(zhuǎn)移函數(shù)應(yīng)用器。轉(zhuǎn)移函數(shù)識(shí)別符依據(jù)上文描述的動(dòng)作108執(zhí)行矩陣求逆，且轉(zhuǎn)移函數(shù)應(yīng)用器將動(dòng)作108產(chǎn)生的逆矩陣應(yīng)用于信息的元素以獲得經(jīng)變換元素525，所述經(jīng)變換元素525接著存儲(chǔ)在操作地耦合到投影器205的存儲(chǔ)器203中的幀緩沖器530中，且在投影儀205操作時(shí)投影到場(chǎng)景214中。因此，一些實(shí)施例的信息變換器514實(shí)施用于存儲(chǔ)的手段。[0074]移動(dòng)裝置200還可裝備有IR或RF發(fā)射器或無(wú)線(xiàn)發(fā)射器，其經(jīng)啟用以在例如因特網(wǎng)、WiF1、蜂窩式無(wú)線(xiàn)網(wǎng)絡(luò)或其它網(wǎng)絡(luò)等一種或一種以上類(lèi)型的無(wú)線(xiàn)通信網(wǎng)絡(luò)上接收和/或發(fā)射一個(gè)或一個(gè)以上信號(hào)。并且，移動(dòng)裝置200可額外包含圖形引擎1004、圖像處理器1005、IR相機(jī)1006(例如，外部印刷電路板1130中)和用以存儲(chǔ)固件和/或軟件和/或恒定數(shù)據(jù)的只讀存儲(chǔ)器(ROM)1007。移動(dòng)裝置200還可包含磁盤(pán)1008(或一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體)，用以存儲(chǔ)處理器100執(zhí)行的軟件。移動(dòng)裝置200可進(jìn)一步包含無(wú)線(xiàn)發(fā)射器和接收器110和/或任何其它通信接口1009、觸摸屏1001或其它屏幕1002。[0075]依據(jù)實(shí)施例，移動(dòng)裝置200可以使用投影儀205與相機(jī)202組合的示意動(dòng)作辨識(shí)軟件編程。投影儀205可用于在例如墻壁等尋常表面(用戶(hù)可借以使用手示意動(dòng)作交互)上呈現(xiàn)手機(jī)的顯示器。同樣依據(jù)實(shí)施例，移動(dòng)裝置200可經(jīng)設(shè)計(jì)以使用IR相機(jī)1006，其跟蹤專(zhuān)門(mén)IR激光唱針或套且經(jīng)由IR鏈路1131供應(yīng)用戶(hù)輸入。[0076]應(yīng)理解，移動(dòng)裝置200可為任何便攜式電子裝置，例如蜂窩式或其它無(wú)線(xiàn)通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)、相機(jī)、智能電話(huà)、平板計(jì)算機(jī)或能夠產(chǎn)生經(jīng)擴(kuò)增現(xiàn)實(shí)(AR)環(huán)境的其它適宜的移動(dòng)裝置。[0077]若干所描述實(shí)施例的移動(dòng)裝置200還可包含用于例如通過(guò)使用收發(fā)器1010中的發(fā)射器響應(yīng)于用戶(hù)輸入遠(yuǎn)程控制真實(shí)世界對(duì)象(其可為玩具)的手段，所述發(fā)射器可為IR或RF發(fā)射器或無(wú)線(xiàn)發(fā)射器，其經(jīng)啟用以在例如因特網(wǎng)、WiF1、蜂窩式無(wú)線(xiàn)網(wǎng)絡(luò)或其它網(wǎng)絡(luò)等一種或一種以上類(lèi)型的無(wú)線(xiàn)通信網(wǎng)絡(luò)上發(fā)射一個(gè)或一個(gè)以上信號(hào)。當(dāng)然，移動(dòng)裝置200可包含其它元件，例如只讀存儲(chǔ)器1007，其可用于存儲(chǔ)供處理器100使用的固件。[0078]并且，依據(jù)實(shí)施例，本文描述的類(lèi)型的各種功能可在軟件(由一個(gè)或一個(gè)以上處理器或處理器核心執(zhí)行)中或在專(zhuān)門(mén)硬件電路中或固件中或其任何組合中實(shí)施。因此，依據(jù)實(shí)施例，圖4中說(shuō)明且上文描述的表面分段器511、表面尋找器512、信息檢索器513和信息變換器514中的任一者或一者以上可(但不需要一定)包含一個(gè)或一個(gè)以上微處理器、內(nèi)嵌式處理器、控制器、專(zhuān)用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)等。術(shù)語(yǔ)處理器希望描述由系統(tǒng)而非特定硬件實(shí)施的功能。此外，如本文使用，術(shù)語(yǔ)“存儲(chǔ)器”指代任何類(lèi)型的計(jì)算機(jī)存儲(chǔ)媒體，包含與移動(dòng)平臺(tái)相關(guān)聯(lián)的長(zhǎng)期、短期或其它存儲(chǔ)器，且不限于任何特定類(lèi)型的存儲(chǔ)器或特定數(shù)目的存儲(chǔ)器，或者特定類(lèi)型的上面存儲(chǔ)存儲(chǔ)器的媒體。[0079]因此，本文描述的方法可依據(jù)應(yīng)用通過(guò)各種手段實(shí)施。舉例來(lái)說(shuō)，這些方法可實(shí)施在固件(R0M1007(圖4)中)或軟件中，或硬件中或其任何組合中。對(duì)于硬件實(shí)施方案，處理單元可實(shí)施在一個(gè)或一個(gè)以上專(zhuān)用集成電路(ASIC)、數(shù)字信號(hào)處理器(DSP)、數(shù)字信號(hào)處理裝置(DSH))、可編程邏輯裝置(PLD)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子裝置、經(jīng)設(shè)計(jì)以執(zhí)行本文描述的功能的其它電子單元，或其組合內(nèi)。對(duì)于固件和/或軟件實(shí)施方案，可用執(zhí)行本文所描述的功能的模塊(例如，程序、函數(shù)等)來(lái)實(shí)施所述方法。[0080]有形地體現(xiàn)計(jì)算機(jī)指令的任何機(jī)器可讀媒體可用于實(shí)施本文描述的方法。舉例來(lái)說(shuō)，軟件510(圖4)可包含存儲(chǔ)在存儲(chǔ)器203中且由處理器100執(zhí)行的程序代碼。存儲(chǔ)器可實(shí)施在處理器100內(nèi)或外部。如果實(shí)施在固件和/或軟件中，那么所述功能可作為一個(gè)或一個(gè)以上計(jì)算機(jī)指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀媒體上。實(shí)例包含以數(shù)據(jù)結(jié)構(gòu)(例如，圖像的序列)編碼的非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，以及以計(jì)算機(jī)程序(例如，可經(jīng)執(zhí)行以執(zhí)行圖1A-1B的方法的軟件510)編碼的計(jì)算機(jī)可讀媒體。[0081]計(jì)算機(jī)可讀媒體包含物理計(jì)算機(jī)存儲(chǔ)媒體。存儲(chǔ)媒體可為可由計(jì)算機(jī)存取的任何可用媒體。借助實(shí)例而非限制，此類(lèi)計(jì)算機(jī)可讀媒體可包括RAM、R0M、快閃存儲(chǔ)器，EEPR0M、CD-ROM或其它光盤(pán)存儲(chǔ)裝置、磁盤(pán)存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置，或可用于存儲(chǔ)軟件指令(也稱(chēng)為“處理器指令”或“計(jì)算機(jī)指令”)或數(shù)據(jù)結(jié)構(gòu)的形式的程序代碼且可由計(jì)算機(jī)存取的任何其它媒體；如本文使用的磁盤(pán)和光盤(pán)包含緊密光盤(pán)(CD)、激光光盤(pán)、光學(xué)光盤(pán)、數(shù)字多功能光盤(pán)(DVD)、軟性磁盤(pán)和藍(lán)光光盤(pán)，其中磁盤(pán)通常以磁性方式復(fù)制數(shù)據(jù)，而光盤(pán)利用激光以光學(xué)方式復(fù)制數(shù)據(jù)。上述內(nèi)容的組合也應(yīng)包括在計(jì)算機(jī)可讀媒體的范圍內(nèi)。[0082]盡管出于指示性目的結(jié)合特定實(shí)施例說(shuō)明本發(fā)明，但本發(fā)明不限于此。因此，盡管一些實(shí)施例的圖4所示的項(xiàng)目200為移動(dòng)裝置，但在其它實(shí)施例中，通過(guò)使用不同的形狀因數(shù)來(lái)實(shí)施項(xiàng)目200，例如在某些其它實(shí)施例中，項(xiàng)目200為移動(dòng)平臺(tái)(例如，平板計(jì)算機(jī)，例如可從蘋(píng)果公司購(gòu)得的iPad)，而在另外其它實(shí)施例中項(xiàng)目200可為任何電子裝置或系統(tǒng)。此電子裝置或系統(tǒng)200的說(shuō)明性實(shí)施例可包含以無(wú)線(xiàn)方式互通信的多個(gè)實(shí)體部分，例如作為靜止計(jì)算機(jī)的部分的處理器和存儲(chǔ)器，所述靜止計(jì)算機(jī)例如膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)或服務(wù)器計(jì)算機(jī)，其在一個(gè)或一個(gè)以上無(wú)線(xiàn)鏈路上與封圍在足夠小以致能夠握在手中的外殼中的傳感器和用戶(hù)輸入電路通信。[0083]盡管出于指示性目的結(jié)合特定實(shí)施例說(shuō)明若干方面，但本發(fā)明不限于此?？稍诓幻撾x所描述實(shí)施例的范圍的情況下作出各種調(diào)適和修改。因此，所附權(quán)利要求書(shū)的精神和范圍不應(yīng)限于以上描述。【權(quán)利要求】1.一種方法，其包括:接收真實(shí)世界中的場(chǎng)景的圖像，所述圖像包括到所述真實(shí)世界中的點(diǎn)的多個(gè)距離；使用至少所述多個(gè)距離識(shí)別所述場(chǎng)景中的一組表面；尋找所述組表面中可在上面投影信息元素的表面；當(dāng)所述尋找指示所述信息元素可在所述表面上投影時(shí)，一個(gè)或一個(gè)以上處理器識(shí)別使用所述表面的轉(zhuǎn)移函數(shù)；將所述轉(zhuǎn)移函數(shù)應(yīng)用于至少所述信息元素；以及將由于所述應(yīng)用而產(chǎn)生的經(jīng)變換元素存儲(chǔ)在存儲(chǔ)器中的幀緩沖器中在所述尋找期間識(shí)別的特定位置處。2.根據(jù)權(quán)利要求1所述的方法，其中:所述尋找包括將所述圖像的對(duì)應(yīng)于所述表面的區(qū)中像素的總數(shù)目與用以顯示所述信息元素的矩形的面積進(jìn)行比較。3.根據(jù)權(quán)利要求1所述的方法，其中:所述尋找包括測(cè)試待用于投影所述信息元素的矩形中的所有像素是否均存在于所述圖像的對(duì)應(yīng)于所述表面的區(qū)中。4.根據(jù)權(quán)利要求3所述的方法，其中:在所述尋找期間的所述測(cè)試期間，識(shí)別所述特定位置并將其存儲(chǔ)在所述存儲(chǔ)器中。5.根據(jù)權(quán)利要求3所述的方`法，其中:重復(fù)執(zhí)行所述測(cè)試以使形成所述組表面的子集的多個(gè)表面與所述信息元素相關(guān)聯(lián)，使得所述信息元素可在所述多個(gè)表面的每一者上投影；所述方法進(jìn)一步包括將所述信息元素的投影指派到選自所述子集的所述表面。6.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括:操作投影儀以投影所述幀緩沖器中的所述經(jīng)變換元素；在所述操作之后接收用戶(hù)輸入；以及響應(yīng)于接收到所述用戶(hù)輸入，針對(duì)不同表面重復(fù)所述轉(zhuǎn)移函數(shù)的所述識(shí)別、所述應(yīng)用和所述存儲(chǔ)。7.根據(jù)權(quán)利要求6所述的方法，其中:所述用戶(hù)輸入識(shí)別所述不同表面。8.根據(jù)權(quán)利要求6所述的方法，其中:在另一圖像中將所述用戶(hù)輸入識(shí)別為手示意動(dòng)作。9.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括:當(dāng)所述尋找指示所述信息元素不能投影在所述組表面中的任何表面上時(shí)，接收識(shí)別不同表面的用戶(hù)輸入；以及針對(duì)所述不同表面重復(fù)所述轉(zhuǎn)移函數(shù)的所述識(shí)別、所述應(yīng)用和所述存儲(chǔ)。10.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括:接收識(shí)別形狀的用戶(hù)輸入；以及使用所述轉(zhuǎn)移函數(shù)中的所述形狀掩蔽出所述信息元素的一部分。11.一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其包括:用以接收真實(shí)世界中的場(chǎng)景的圖像的指令，所述圖像包括到所述場(chǎng)景中的點(diǎn)的多個(gè)距離；用以使用所述圖像中的至少所述多個(gè)距離識(shí)別所述場(chǎng)景中的一組表面的指令；用以尋找所述組表面中可在上面投影信息元素的表面的指令；用以當(dāng)所述尋找指示所述信息元素可在所述表面上投影時(shí)利用一個(gè)或一個(gè)以上處理器識(shí)別使用所述表面的轉(zhuǎn)移函數(shù)的指令；用以將所述轉(zhuǎn)移函數(shù)應(yīng)用于至少所述信息元素的指令；以及用以將由于所述應(yīng)用而產(chǎn)生的經(jīng)變換元素存儲(chǔ)在存儲(chǔ)器中的幀緩沖器中在所述尋找期間識(shí)別的特定位置處的指令。12.根據(jù)權(quán)利要求11所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其中:所述用以檢查的指令包括用以將所述圖像的對(duì)應(yīng)于所述表面的區(qū)中像素的總數(shù)目與用以顯示所述信息元素的矩形的面積進(jìn)行比較的指令。13.根據(jù)權(quán)利要求11所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其中:所述用以檢查的指令包括用以測(cè)試待用于顯示所述信息元素的矩形中的所有像素是否均存在于所述圖像的對(duì)應(yīng)于所述表面的區(qū)中的指令。14.根據(jù)權(quán)利要求13所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其中:所述特定位置通過(guò)執(zhí)行所述用以檢查的指令期間的所述用以測(cè)試的指令而識(shí)別。15.根據(jù)權(quán)利要求13所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其中:所述用以測(cè)試的指令經(jīng)配置以被重復(fù)執(zhí)行以使形成所述組表面的子集的多個(gè)表面與所述信息元素相關(guān)聯(lián)，使得所述信息元素可在所述多個(gè)表面的每一者上投影；所述一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體進(jìn)一步包括用以將所述信息元素的投影指派到選自所述子集的所述表面的指令。16.根據(jù)權(quán)利要求11所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其中:用以操作投影儀以投影所述幀緩沖器中的所述經(jīng)變換元素的指令；以及用以在所述操作之后接收用戶(hù)輸入的指令；以及用以針對(duì)不同表面執(zhí)行所述用以識(shí)別所述轉(zhuǎn)移函數(shù)的指令、所述用以應(yīng)用的指令和所述用以存儲(chǔ)的指令的指令。17.根據(jù)權(quán)利要求16所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其中:所述用戶(hù)輸入識(shí)別所述不同表面。18.根據(jù)權(quán)利要求16所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其中:在至少另一圖像中識(shí)別所述用戶(hù)輸入。19.根據(jù)權(quán)利要求11所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其進(jìn)一步包括:用以接收識(shí)別不同表面的用戶(hù)輸入的指令，其經(jīng)配置以當(dāng)所述用以檢查的指令的執(zhí)行指示所述信息元素不能投影在所述組表面中的任何表面上時(shí)執(zhí)行；以及用以針對(duì)所述不同表面重復(fù)所述用以識(shí)別所述轉(zhuǎn)移函數(shù)的指令、所述用以應(yīng)用的指令和所述用以存儲(chǔ)的指令的指令。20.根據(jù)權(quán)利要求11所述的一種或一種以上非暫時(shí)計(jì)算機(jī)可讀存儲(chǔ)媒體，其進(jìn)一步包括:用以接收識(shí)別形狀的用戶(hù)輸入的指令；以及用以使用所述轉(zhuǎn)移函數(shù)中的所述形狀掩蔽出所述信息元素的一部分的指令。21.—種或一種以上裝置，其包括:相機(jī)；一個(gè)或一個(gè)以上處理器，其操作地耦合到所述相機(jī)；存儲(chǔ)器，其操作地耦合到所述一個(gè)或一個(gè)以上處理器；投影儀，其操作地耦合到所述存儲(chǔ)器中的幀緩沖器，以從其投影信息；以及保持在所述存儲(chǔ)器中的軟件，當(dāng)所述軟件由所述一個(gè)或一個(gè)以上處理器執(zhí)行時(shí)致使所述一個(gè)或一個(gè)以上處理器:從所述相機(jī)接收真實(shí)世界中的場(chǎng)景的圖像，所述圖像包括到所述真實(shí)世界中的點(diǎn)的多個(gè)距離；使用至少所述多個(gè)距離識(shí)別所述場(chǎng)景中的一組表面；尋找所述組表面中可在上面投影信息元素的表面；當(dāng)所述尋找指示所述信息元素可在所述表面上投影時(shí)，識(shí)別使用所述表面的轉(zhuǎn)移函數(shù)；將所述轉(zhuǎn)移函數(shù)應(yīng)用于至少所述信息元素；以及將由于所述應(yīng)用而產(chǎn)生的經(jīng)變換元素存儲(chǔ)在所述幀緩沖器中在所述尋找期間識(shí)別的特定位置處。`22.根據(jù)權(quán)利要求21所述的一種或一種以上裝置，其中:所述用以檢查的軟件致使所述一個(gè)或一個(gè)以上處理器測(cè)試待用于顯示所述信息元素的矩形中的所有像素是否均存在于所述圖像的對(duì)應(yīng)于所述表面的區(qū)中。23.根據(jù)權(quán)利要求22所述的一種或一種以上裝置，其中:所述用以測(cè)試的軟件被重復(fù)執(zhí)行以使形成所述組表面的子集的多個(gè)表面與所述信息元素相關(guān)聯(lián)，使得所述信息元素可在所述多個(gè)表面的每一者上投影；所述軟件進(jìn)一步致使將所述信息元素的投影指派到所述子集中具有與之相關(guān)聯(lián)的最小元素?cái)?shù)目的任何表面。24.一種系統(tǒng)，其包括操作地耦合到存儲(chǔ)器和相機(jī)的處理器，所述系統(tǒng)包括:用于接收真實(shí)世界中的場(chǎng)景的圖像的裝置，所述圖像包括到所述真實(shí)世界中的點(diǎn)的多個(gè)距離；用于使用至少所述多個(gè)距離識(shí)別所述場(chǎng)景中的一組表面的裝置；用于尋找所述組表面中可在上面投影信息元素的表面的裝置；用于當(dāng)所述尋找指示所述信息元素可在所述表面上投影時(shí)識(shí)別使用所述表面的轉(zhuǎn)移函數(shù)的裝置；用于將所述轉(zhuǎn)移函數(shù)應(yīng)用于至少所述信息元素的裝置；以及用于將所述用于應(yīng)用的裝置輸出的經(jīng)變換元素存儲(chǔ)在所述存儲(chǔ)器中的幀緩沖器中所述用于尋找的裝置識(shí)別的特定位置處的裝置。25.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述用于尋找的裝置包括:用于測(cè)試待用于顯示所述信息元素的矩形中的所有像素是否均存在于所述圖像的對(duì)應(yīng)于所述表面的區(qū)中的裝置。26.根據(jù)權(quán)利要求25所述的系統(tǒng)，其中:所述用于測(cè)試的裝置經(jīng)配置以被重復(fù)操作以使形成所述組表面的子集的多個(gè)表面與所述信息元素相關(guān)聯(lián)，使得所述信息元素可在所述多個(gè)表面的每一者上投影；且所述信息元素的投影被指派到所述子集中具有與之相關(guān)聯(lián)的最小元素?cái)?shù)目的任何表面。`【文檔編號(hào)】G06K9/00GK103875004SQ201280048118【公開(kāi)日】2014年6月18日申請(qǐng)日期:2012年7月14日優(yōu)先權(quán)日:2011年8月19日【發(fā)明者】泰賈斯·達(dá)塔特拉亞·庫(kù)爾卡尼申請(qǐng)人:高通股份有限公司