
本發(fā)明涉及增強現(xiàn)實系統(tǒng)(augmentedrealitysystem)。
背景技術(shù):增強現(xiàn)實涉及捕獲環(huán)境中的視頻圖像的過程,以及使用計算機圖形元素(典型地描繪虛擬對象,如將要作為環(huán)境的一部分出現(xiàn)的游戲人物)對該視頻圖像進行增強。為了提供有說服力的增強,這些計算機圖形元素期望地要以與環(huán)境相一致的方式顯示,特別是在尺寸、動作范圍和視角方面。因此,例如,如果環(huán)境的視頻圖像(在這里也可作為“場景”)從一個特定的角度示出了地板或桌面,期望地,計算機圖形元素以這樣的方式縮放和定向使得它們看起來適當?shù)赝A粼谠摫砻嫔?,并且按照物理上一致的方式在它上面移動。然而,對場景的元素,以及由此對疊加在其上的虛擬對象的尺寸和方向的確定,是重要的任務(wù)?,F(xiàn)在參考圖1,因此,在一個典型的增強現(xiàn)實應(yīng)用中,將要被視頻攝像機捕捉的環(huán)境中包含一個已知尺寸的所謂受信標記(fiduciarymarker)1010,以提供可以很容易檢測到的并且已知的特征,可以更容易地對該特征的尺寸和方向作出估計。這種受信標記通常是高對比度的(例如黑色和白色)以便在即使相對較差的圖像捕捉條件下(如低分辨率圖像捕捉,光線不好等)也能為圖案識別提供機會。圖案本身通常包括含有非對稱分布的塊或瓦片的厚的四邊形邊界,這使得消除了該標記方向上的模棱兩可情況。因此,識別過程通常提供在所捕獲的視頻圖像內(nèi)的受信標記的位置(在圖像中的x和y軸位置)和旋轉(zhuǎn)(由于標記的非對稱)的估計??蛇x地,附加地,通過將所捕獲圖案中的受信標記的大小與該受信標記的已知大小(例如,在1米的距離處的大小)作比較,可以估計受信標記(它的z軸的位置)到視頻攝像機的距離;換句話說,其尺寸。同樣地,可選地,通過將所捕獲圖案中的受信標記的縱橫比與該受信標記的已知縱橫比作比較,和/或使用其他技術(shù),如檢測透視縮短(其中,長方形的形狀表現(xiàn)為梯形)或所捕獲圖案中受信標記的其他失真,可以對受信標記(即其在z方向上對x-y平面的偏離)的傾斜進行估計。所生成的圖形覆蓋圖典型地包括虛擬圖形元素,之后可以將其重疊在受信標記上,使用該受信標記估計的位置,旋轉(zhuǎn)距離和傾斜來修改該虛擬圖形元素為適用的。之后將增強的圖像輸出到顯示器。此過程的主觀效果是,輸出的視頻圖像包括圖形元素(例如,一個怪物或城堡)替代受信標記,通常復(fù)制受信標記的估計的位置、距離、旋轉(zhuǎn)和傾斜,以及因此在其上放置該標記的環(huán)境的表面。然而,應(yīng)理解,在這樣的增強現(xiàn)實系統(tǒng)中對用戶的懷疑的消除(這使得他們共同產(chǎn)生圖形覆蓋圖是所捕獲的場景的一部分的錯覺),至少部分地依賴于圖形覆蓋圖與該場景的一些真實世界方面的匹配或交互的可靠性。這種可靠性經(jīng)常依賴于對場景內(nèi)的受信標記的位置和方向的估計。因此,期望應(yīng)減少不能可靠地作出這樣的估計的場合,以及改善的所作出的估計的一致性。
技術(shù)實現(xiàn)要素:在第一方面中,根據(jù)權(quán)利要求1提供在增強現(xiàn)實系統(tǒng)中使用的書(book)。在另一個方面,根據(jù)權(quán)利要求10提供在增強現(xiàn)實系統(tǒng)中使用的娛樂設(shè)備。在另一個方面,根據(jù)權(quán)利要求13提供增強現(xiàn)實系統(tǒng)。在另一個方面,根據(jù)權(quán)利要求14提供對書中的視頻圖像進行增強的方法。在另一個方面,根據(jù)權(quán)利要求15提供計算機程序。本發(fā)明的其他各方面和特征在附屬權(quán)利要求中定義。附圖說明現(xiàn)在將通過示例的方式參考附圖描述本發(fā)明的實施例,其中:圖1是根據(jù)本發(fā)明的實施例的受信標記的示意圖。圖2A是根據(jù)本發(fā)明的實施例的書的示意圖。圖2B是根據(jù)本發(fā)明的實施例,在其上覆蓋有計算機圖形增強的書的圖像的示意圖。圖3是根據(jù)本發(fā)明的實施例的娛樂設(shè)備的示意圖。圖4是根據(jù)本發(fā)明的實施例的書的示意圖。圖5是根據(jù)本發(fā)明的實施例,跟蹤書頁的翻動的方法的流程圖。圖6是根據(jù)本發(fā)明的實施例的書的示意圖。圖7是根據(jù)本發(fā)明的實施例的書的示意圖。圖8是根據(jù)本發(fā)明的實施例的書的示意圖。圖9是根據(jù)本發(fā)明的實施例的增強現(xiàn)實系統(tǒng)的示意圖。圖10是根據(jù)本發(fā)明的實施例,對書中視頻圖像進行增強的方法的流程圖。具體實施方式公開了書、娛樂設(shè)備、增強現(xiàn)實系統(tǒng)和用于增強書中的視頻圖像的方法。在下面的描述中,提供了一些具體細節(jié),以便對本發(fā)明的實施例的透徹理解。然而,對于本領(lǐng)域技術(shù)人員來說這將是明顯的,不必采用這些特定的細節(jié)來實施本發(fā)明。相反,在適當?shù)那闆r下,為清楚起見,省略那些對于本領(lǐng)域技術(shù)人員來說是已知的具體細節(jié)。現(xiàn)在參看圖2A和2B,在本發(fā)明的一個實施例中,書1000具有多個剛性的,可轉(zhuǎn)動的頁(leaf)(所謂的“板書”),并且在每一頁面(page)1001,1002上包含受信標記1011,1012,如圖2A中所示。將頁理解為是一本書的單一的可轉(zhuǎn)動的薄片或面板,并通常在每一側(cè)包括一個頁面。圖2A和圖2B示出(通過示例的方式)第1和第2頁面(分別標記為1001和1002)??蛇x地,書的封面和/或封底內(nèi)頁也可作為頁面并包括受信記號。因此,在這個例子中,第1頁可能實際上是封面內(nèi)頁。同樣,可選地,封面和/或封底外頁可能包括受信記號。此外,可選地,在外邊緣以高對比度的標記1020作為每一頁的邊界以便于檢測頁面的范圍。耦接到攝像機的娛樂設(shè)備可以捕捉書中的圖像并且使用已知的技術(shù)來檢測每個可見的頁面上的受信記號,從而對這些書頁進行定位。給定這些信息,之后如圖2B所示,娛樂設(shè)備可以使用對應(yīng)于可見頁面的受信標記1011,1012的位置,尺寸和方向的虛擬圖形元素1111,1112來增強所捕獲的書中的視頻圖像,并且輸出增強的視頻圖像以進行顯示。通過這種方式,書的顯示版本變成一個“神奇的”立體書(pop-upbook),在其中頁面可以變得生動?,F(xiàn)在轉(zhuǎn)到圖3,它示意性地示出合適的娛樂設(shè)備(被稱為娛樂設(shè)備或)的整體系統(tǒng)架構(gòu)。PS3包括系統(tǒng)單元10,它可連接各種外圍設(shè)備,包括視頻攝像機,如下文所詳述。系統(tǒng)單元10包括:單元處理器100;動態(tài)隨機存取存儲器(XDRAM)單元500;具有專用的視頻隨機存取存儲器(VRAM)單元250的現(xiàn)實合成器圖形單元200;以及I/O橋700。系統(tǒng)單元10還包括用于從磁盤440的讀取的光盤讀取器430和可移動的插槽式硬盤驅(qū)動器(HDD)400,它們都可通過I/O橋700訪問。可選地,系統(tǒng)單元還包括存儲卡讀卡器450,用于讀取緊湊型閃存卡,存儲卡等,它同樣是可以通過I/O橋700訪問的。I/O橋700還連接到4個通用串行總線(USB)2.0端口710;千兆以太網(wǎng)端口720;IEEE802.11b/g無線網(wǎng)絡(luò)(Wi-Fi)端口730;以及能夠支持多達7個藍牙連接的無線連接端口740。在操作時,I/O橋700處理所有無線、USB和以太網(wǎng)數(shù)據(jù),包括來自一個或多個游戲控制器751的數(shù)據(jù)。例如,當用戶玩游戲時,I/O橋700通過藍牙鏈接接收來自游戲控制器751的數(shù)據(jù)并將其導向單元處理器100,單元處理器100相應(yīng)地更新游戲的當前狀態(tài)。無線、USB和以太網(wǎng)端口還提供除了游戲控制器751外其他外圍設(shè)備的連接,如:遙控器752;鍵盤753;鼠標754;便攜式娛樂設(shè)備755如SonyPlaystation娛樂設(shè)備;和麥克風耳機757。因此,這樣的外圍設(shè)備可以原則上可以無線地連接到系統(tǒng)單元10;例如,便攜式娛樂設(shè)備755可以通過專門的Wi-Fi連接進行通信,而麥克風耳機757可通過藍牙鏈接進行通信。特別地,這些連接使得例如攝像頭756(或立體視頻攝像機,未示出)的視頻攝像機能夠耦接到PS3,以便捕獲書的視頻圖像(或立體視頻圖像對)。提供這些接口意味著PlayStation3設(shè)備還潛在地與其他外圍設(shè)備例如數(shù)字錄影機(DVR)、機頂盒、數(shù)碼相機、便攜式媒體播放器、語音IP電話、移動電話、打印機和掃描儀兼容。此外,傳統(tǒng)的存儲卡讀取器410可以通過USB端口710連接到系統(tǒng)單元,使得能夠讀取或設(shè)備所使用的那種存儲卡420。在本實施例中,游戲控制器751通過藍牙鏈路可實行與系統(tǒng)單元10進行無線通信。然而,也可以替代地將游戲控制器751連接到USB端口,從而也提供向游戲控制器751的電池充電的電源。除了一個或多個模擬游戲桿和傳統(tǒng)控制按鈕外,游戲控制器對6個自由度的動作敏感,對應(yīng)于各軸的平移和旋轉(zhuǎn)。因此,除了或代替?zhèn)鹘y(tǒng)的按鈕或游戲桿命令,游戲控制器的用戶的手勢和動作可以被轉(zhuǎn)化為游戲的輸入。可選地,其他支持無線功能的外圍設(shè)備,如便攜式娛樂設(shè)備755或PlayStationMove(RTM)758可用作控制器。在便攜式娛樂設(shè)備的情況下,在設(shè)備的屏幕上可以提供額外的游戲或控制信息(例如,控制指令或命的條數(shù))。在PlayStationMove的情況下,控制信息可由內(nèi)部運動傳感器和PlayStationMove設(shè)備上的光線視頻監(jiān)控來提供。也可使用其他替代或補充的控制設(shè)備,諸如跳舞毯(未示出),光槍(圖中未示出),方向盤和踏板(未示出)或定制的控制器,如用于快速反應(yīng)問答游戲的單一或數(shù)個大按鈕(也未示出)。遙控器752也可通過藍牙鏈路實行與系統(tǒng)單元10進行無線通信。遙控器752包括適合BluRayDiskBD-ROM讀取器430的操作和磁盤內(nèi)容的導航的控制。除了傳統(tǒng)預(yù)記錄和可記錄的CD,以及所謂的超級音頻CD,BluRayDiskBD-ROM讀取器430可用于讀取與PlayStation和PlayStation2設(shè)備兼容的CD-ROM。除了傳統(tǒng)預(yù)記錄和可記錄的DVD,讀取器430也用于讀取與PlayStation2和PlayStation3設(shè)備兼容的DVD-ROM。讀取器430進一步可用于讀取與PlayStation3設(shè)備兼容的BD-ROM,以及傳統(tǒng)預(yù)記錄和可記錄藍光磁盤。系統(tǒng)單元10用于將由PlayStation3設(shè)備經(jīng)由現(xiàn)實合成器圖形單元200產(chǎn)生或解碼的音頻和視頻,通過音頻和視頻連接器,提供給諸如具有顯示器305以及一個或多個揚聲器310的監(jiān)視器或電視機的顯示和聲音輸出設(shè)備300。音頻連接器210可以包括傳統(tǒng)的模擬和數(shù)字輸出,而視頻連接器220可以包括各種分量視頻,S-視頻,復(fù)合視頻和一個或多個高清晰度多媒體接口(HDMI)輸出。因此,視頻輸出可能會以如PAL或NTSC、或720P,1080i或1080p高清晰度的格式。單元處理器100執(zhí)行音頻處理(生成、解碼等等)。PlayStation3設(shè)備的操作系統(tǒng)支持環(huán)繞聲、TheatreSurround(DTS)和對來自磁盤的7.1環(huán)繞聲的解碼。在本實施例中,視頻攝像機756包括單一電荷耦合器件(CCD)、LED指示燈和基于硬件的實時數(shù)據(jù)壓縮和編碼裝置,以使壓縮的視頻數(shù)據(jù)可以適當?shù)母袷剑ㄈ缁贛PEG(運動圖像專家組)標準的幀內(nèi)圖像)被發(fā)送,從而由系統(tǒng)單元10進行解碼。對攝像機LED指示燈進行排列使其響應(yīng)來自系統(tǒng)單元10的適當?shù)目刂茢?shù)據(jù)而發(fā)光,例如表示不利的光照條件。視頻攝像機756的實施例可通過USB、藍牙或Wi-Fi通信端口以各種方式連接到系統(tǒng)單元10。視頻攝像機的實施例可以包括一個或多個相關(guān)聯(lián)的麥克風并且能夠傳送音頻數(shù)據(jù)。在視頻攝像機的實施例中,CCD的分辨率可以適用于高清晰度的視頻捕捉。在視頻攝像機的實施例中,它是立體的。在使用中,由視頻攝像機捕獲的圖像可以是例如納入在游戲中或者視作游戲的控制輸入。一般情況下,為了經(jīng)由系統(tǒng)單元10的通信端口中的與例如視頻攝像機或遙控器的外圍設(shè)備發(fā)生成功的數(shù)據(jù)通信,應(yīng)提供例如設(shè)備驅(qū)動的適當?shù)能浖?。設(shè)備驅(qū)動的技術(shù)是眾所周知的,并且將不在這里進行詳細的描述,但本領(lǐng)域的技術(shù)人員將意識到,在所描述的本實施例中需要設(shè)備驅(qū)動或類似的軟件接口。制造時提供的軟件,包括系統(tǒng)固件和PlayStation3設(shè)備的操作系統(tǒng)(OS)。在操作中,操作系統(tǒng)提供用戶界面,使用戶能夠從多種功能中進行選擇,包括玩游戲,聽音樂,觀看照片,或觀看視頻。該界面采用按水平方式排列功能類別的所謂的跨媒體欄(XMB)形式。用戶通過使用游戲控制器751、遙控器752或其他合適的控制設(shè)備在功能圖標(代表功能)間水平移動進行導航以便突出顯示想要的功能圖標,在那一點上與該功能有關(guān)的選項圍繞該功能圖標作為可垂直滾動的選項圖標列表出現(xiàn),可以以類似的方式對其進行導航。但是,如果將游戲,音頻或電影盤440插入到BD-ROM光盤讀取器430,PlayStation3設(shè)備可以自動選擇適當?shù)倪x項(例如,開始游戲),或者可以提供相關(guān)的選項(例如,在播放音頻盤或?qū)⑵鋬?nèi)容壓縮到HDD400之間進行選擇)。此外,操作系統(tǒng)提供了在線的能力,包括Web瀏覽器,具有可下載額外的游戲內(nèi)容,演示游戲(demos)和其他媒體的在線商店的界面,以及好友管理能力,提供與當前設(shè)備的用戶指定的其他Playstation3設(shè)備用戶進行在線通信;例如,根據(jù)可用的外圍設(shè)備,采用文本、音頻或視頻。在線能力還提供了在適當配置的游戲的游玩過程中的在線交流,內(nèi)容下載和內(nèi)容購買,以及Playstation3設(shè)備自身的固件和操作系統(tǒng)本身的更新。應(yīng)理解,術(shù)語“在線的”并不意味著導線的物理存在,因為該術(shù)語也可以適用于不同類型的無線連接?,F(xiàn)在參看圖4,應(yīng)理解,雖然當書打開和平放時,可以很容易地檢測到受信標記,翻動書頁的過程中會產(chǎn)生若干問題。首先,應(yīng)理解,當用戶翻轉(zhuǎn)板書1000的剛性頁1102時,之后例如第1和第2頁面被蓋住,而露出第3(未示出,但位于頁1102與第2頁面的相反的面上)和第4頁面(1004)。當翻轉(zhuǎn)動作完成時,第3頁和第4頁面充分顯露出來,該系統(tǒng)可以以與前面參照圖2B描述的對第1和第2頁面使用的類似的方式來提供對第3和第4頁面的圖像增強。然而,所產(chǎn)生的第一個問題是,在翻轉(zhuǎn)這些頁面的過程中,有那么一個位置第2頁面上的受信標記1012(例如)由于攝像機接近邊緣觀看而變得如此扭曲以致娛樂設(shè)備無法識別它。在這一位置上,優(yōu)選使用一種確定書的翻轉(zhuǎn)頁的位置的替代技術(shù),使得依賴于它的任何動畫(animation)(例如顯示第1和第2頁面的向下折疊或第3和第4頁面的展開之間的對象的立體動畫)能夠適當?shù)乩^續(xù)。在共同未決的歐洲專利申請10175548.6中描述這樣的技術(shù),通過參考包括在本文中。下面參照圖5描述該技術(shù)的簡要總結(jié)。在第一個步驟S10中,視頻攝像機或類似的可用于耦接到PS3的圖像輸入(例如,USB端口)的圖像捕獲設(shè)備捕獲包括書的場景,從而生成包含書的圖像。正如前面提到的,書本身包括實質(zhì)剛性頁。在第二步驟S20中,例如使用在適當?shù)能浖噶钕逻\行單元處理器作為記號檢測器,PS3試圖在圖像中檢測受信記號(即書中可見的那些)。如果在其記號中包括某種形式的空間分布冗余,通常不需要受信標記的全部來識別它。在第三步驟S30,將書的頁面上的受信標記的圖像或部分圖像與該標記的參考版本進行比較以確定方向和尺寸,并給定與頁面的已知的物理關(guān)系(即,其印制的位置),這也提供了一個該書的方向和尺寸的估計,特別是書脊的位置,它作用在書頁的旋轉(zhuǎn)原點。單元處理器可能會再次執(zhí)行比較并估計書脊的位置,并且標記的參考版本可能存儲在RAM中、硬盤上、光盤上、或遠程存儲上,或其他任何合適的存儲介質(zhì)或它們的組合?;谛D(zhuǎn)的原點與書脊重合,在第四步驟S40中,為書的翻轉(zhuǎn)頁假設(shè)了多個可能的位置。特別是,如果給定頁面的大小,那么假設(shè)頁面的自由邊緣的位置。再次地在這里單元處理器可以作為進行假設(shè)的部件運行。為了提供與這些假設(shè)進行比較的基礎(chǔ),在第五步驟S50中對所捕獲的圖像進行處理以生成已識別出邊緣的圖像。另外生成表示這些邊緣的方向的數(shù)據(jù)??捎蓡卧幚砥?、現(xiàn)實合成器圖形單元或上述兩者的組合執(zhí)行該圖像處理。在第六步驟S60中,使用之前描述的幾種可能的評分標準中的一種,參照包含已識別的邊緣和這些邊緣的方向的圖像對書的翻轉(zhuǎn)頁的假設(shè)邊緣中的每一個進行評估。同樣,這種評估或比較可以使用運行在合適的軟件指令下的單元處理器來執(zhí)行。然而,通常情況下,沒有必要將每個假設(shè)的邊緣與所處理的圖像上的所有像素進行比較。在第七步驟S70中,將預(yù)測的翻轉(zhuǎn)頁的自由邊緣產(chǎn)生最好成績的假設(shè)假定為實際翻轉(zhuǎn)頁的位置的最佳匹配,同時單元處理器執(zhí)行對這一假設(shè)的選擇。最后,在第八步驟S80,例如圖片或多邊形對象(例如,3D虛擬對象的2D呈現(xiàn))的虛擬圖形元素重疊或以其他方式納入所捕獲的圖像使得在與勝出的假設(shè)相一致的位置處對它進行增強。可以典型地根據(jù)來自單元處理器的指令,通過現(xiàn)實合成器圖形單元結(jié)合視頻和圖形元素來實現(xiàn)此圖像的增強。虛擬圖形元素本身可以本地存儲在RAM中、硬盤上或者光盤上,可以遠程存儲,或者可以是例程圖形生成過程的產(chǎn)物,如樹木的生長過程。其他可能的步驟在圖5中用虛線箭頭示出。這些包括步驟S11、S22、S33,它們重復(fù)了步驟S10、S20和S30,用于立體圖像對的第二圖像,步驟S88中,重復(fù)步驟80,用于第二圖像中的偏移位置(位移)。同樣地,使用點線箭頭的步驟S12中提供了一種替代S11、S22和S33的替代的位移測定法,對立體圖像對采用了直接的圖像比較,例如,通過單元處理器。在這兩種情況下,這使得對立體顯示進行了3D增強。應(yīng)理解,上述步驟不一定都需要按照上述的順序?qū)嵤@?,第五步驟S50可能會在第一步驟S10后立即發(fā)生。應(yīng)理解一般而言,可以使用受信標記對書的位置,大小和方向進行初始檢測,并確定頁碼,但之后可以替代地或在受信標記之外,使用頁面的粗體邊緣對書的位置進行一幀接一幀的跟蹤,只定期地或在單元處理器檢測到頁面的形狀可能是模糊的并且需要非對稱的標記來解決時對該受信標記進行重新評估。如前所述,想要娛樂設(shè)備準確地建模書頁翻轉(zhuǎn)的原因之一是提供可以如實地跟蹤翻轉(zhuǎn)頁的該書的增強,不僅對正在翻轉(zhuǎn)的可見頁面,也為了正在打開的新頁面進行增強。對新頁面進行增強的一個問題是,為了提供新的頁面也是“神奇”的錯覺,增強應(yīng)該在頁面的任何部分變?yōu)榭梢姇r馬上開始——這通常在該頁面的受信標記對娛樂設(shè)備可見之前發(fā)生。其結(jié)果是,特定頁面的特征在需要對其進行增強之前是未知的。一種解決方案是提供面對攝像機的頁面邊緣附近的補充非字母數(shù)字標記,其在打開新頁面的過程中將會更早地被檢測到(見下文),但即使如此,仍然會有這樣的標記不能立即可見或可解析的情況。因此,可以設(shè)置娛樂設(shè)備以便對未知頁面的局部視圖進行增強。在這種情況下,可以設(shè)置娛樂設(shè)備以便通過使用符合書中使用的增強的通用的圖形或顏色方案來對新打開的頁面的可見部分進行增強,或者可以假設(shè)只有一個頁正在翻轉(zhuǎn),并選擇適用于下一對頁面的增強,暫停補充標記,如果存在的話,和/或最終這些頁面的受信標記的確認。一般地可以通過設(shè)計通用的或至少在書的頁面邊緣周圍細節(jié)程度較低的增強來協(xié)助這些方法,使得識別頁面時可以使用頁面特定的增強來離散地替換通用增強。然而,這種方法假設(shè)實際上將有一個新的頁面打開;現(xiàn)在參照圖6,應(yīng)理解,當翻轉(zhuǎn)書的第一或最后一頁面來合上它(即該頁面在的封皮內(nèi)頁上)存在一定的誤差范圍。在這種情況下,在它下面沒有將要打開的頁面(雖然可能有容易混淆地視為一個頁面的陰影1106)。結(jié)合上面描述在任何確定的標記可見前對新打開的頁面進行增強的策略,這可能會導致對一個不存在的頁面進行增強,從而導致在合上書時書的封皮外顯示出一個通用的增強的頁面,它只有在娛樂設(shè)備識別出書的封面或封底時才會被刪除。顯然,這是不期望的。應(yīng)理解,對于書初始地打開在它的第一個或最后一個頁面并且因此這些是可見的情形,是可能有解決方案的;如果第一頁面向第二頁面翻轉(zhuǎn),那么可以設(shè)置娛樂設(shè)備假設(shè)正在合上封面,同樣地對于最后一頁面向倒數(shù)第二頁面翻轉(zhuǎn),那么可以假設(shè)正在合上封底。然而,當用戶決定合上一個當前打開在任意一對頁面處而不是第一對和最后一對頁面時,當前頁面的知識是沒有任何幫助的。因此,現(xiàn)在再參照圖7,在本發(fā)明的一個實施例中,所述書具有一個比書的頁尺寸大的封皮,因此從上面看時,其具有延伸超出每個頁面的外邊緣的末端,如在圖7中所示。本發(fā)明的一個實施例中,所述封皮包括沿著至少這樣的第一末端(1030A)的高對比度圖案,優(yōu)選是在正常使用時,位于距離攝像機最近的末端。應(yīng)理解,高對比度的圖案因此印刷在封皮內(nèi)頁上,并且在封皮內(nèi)頁的外邊緣上和其附近。高對比度圖案通常由黑色和白色塊組成,或者類似地兩種對比顏色或色調(diào)(如亮藍與暗藍色)的塊。這樣,兩種顏色可以編碼為比特圖案,用各顏色或色調(diào)分別代表1或0。因此,高對比度的圖案沿上述書的封皮內(nèi)頁的可見末端可形成一個線性的二進制代碼。高對比度的圖案可以以脊部1060為軸進行鏡像(因此出現(xiàn)封面和封底內(nèi)頁上),也可以以頁面的頂部和底部之間的中心線為軸進行鏡像,以形成高對比度的圖案的四份復(fù)制(1030A-D)。高對比度的圖案可能編碼有關(guān)于書的信息(例如標題號),或者可能僅僅是隨機的。典型的高對比度的圖案可能以大約6到20比特編碼。該圖案的明亮與暗淡的元素可能遵守均勻的間隔方案或具有任意的或近似的間距。此外,高對比度的圖案(1035L,R)也可以沿著書的側(cè)面末端設(shè)置。這種高對比度的圖案可以與上述的高對比度的圖案相同,或可能以不同的方式編碼相同的信息,或編碼不同的或附加的信息,或是隨機的。在上述任何情況下,應(yīng)理解封皮有預(yù)定的物理厚度。因此,在本發(fā)明的一個實施例中,高對比度的圖案延伸至封皮的邊緣并且至少以預(yù)定的比例越過封皮的厚度,使得對于視頻攝像機以非常小的銳角的角度提高其能見度。在這兩種情況下,在翻轉(zhuǎn)書頁時,高對比度的圖案由此提供了關(guān)于書的狀態(tài)的非常早期的指示。特別地,書的封皮內(nèi)頁邊緣周圍的高對比度的圖案使得娛樂設(shè)備能夠區(qū)別只翻轉(zhuǎn)書中的頁和從支撐表面上翻起書的封皮的時刻,例如合上書。這是因為,在翻轉(zhuǎn)書的內(nèi)頁時高對比度的圖案不會移動,并且只在翻開書的一個或兩個封皮時它才會移動。更一般地,翻轉(zhuǎn)書的內(nèi)頁可能同時導致書的一些更一般的運動,同樣地可以檢測封皮的任何偶然的翻轉(zhuǎn)動作是否與書的內(nèi)頁或多個內(nèi)頁的翻轉(zhuǎn)動作的速率一致,和/或這樣的翻轉(zhuǎn)以何種程度發(fā)生。如果封皮以與內(nèi)頁類似的量旋轉(zhuǎn),則可以假定這本書正在被合上,而如果封皮以一個較小的速度、或以一個較小的程度、或以與內(nèi)頁不相關(guān)的方式(例如具有低于預(yù)定閾值量的動作相關(guān)性)旋轉(zhuǎn),那么可以假定內(nèi)頁或頁的轉(zhuǎn)動仍然會導致翻開書的一頁面。也因此而更一般地,高對比度的圖案作為可以被用來估計的書的封皮的靜止角(restingangle)的一維的二進制圖案,以及由此書的頁的靜止角;因此,如果書放在桌子上,書的封皮可能是平放的,表示相對的頁面間的角度為180度。同時,如果這本書放在使用者的腿上,封皮可有一個相對角度例如165度,可以使用它來提供基線角(baselineangle),用于隨著翻轉(zhuǎn)頁的角度相對于基線角變化來對新打開的頁面進行增強。如果如前面所提到的,高對比度圖案的角度以與書的頁的角度的變化不相關(guān)的方式變化,那么這被認為是對基線角的改變,甚至好像同一時間正在翻轉(zhuǎn)書的內(nèi)頁的頁面。再次參考圖7,通過提供非字母數(shù)字的圖案(1040A-D)可以更快地識別出頁面(或相對的頁面對)。在每一頁面上可以將這樣的非字母數(shù)字圖案(1040A,1040B)置于比受信標記更靠近書頁面的外邊緣的地方。通常情況下,這個非字母數(shù)字的圖案置于受信標記和距離書的用戶最遠的頁面的邊緣之間,從而對于書的一般使用來說也最為靠近視頻攝像機,其中視頻攝像機放置在靠近顯示增強的圖像的電視機的位置,并且用戶面對電視拿著書。非字母數(shù)字的圖案可以類似地置于受信標記的邊角和的頁面邊角之間,如圖7中所示。值得注意的是,非字母數(shù)字的圖案因此可以形成“L”的形狀(例如在邊角附近沿著書的外邊緣)。在這種情況下非字母數(shù)字的圖案因此比受信標記到兩個邊緣的位置更近。值得注意的是,不同于受信標記,非字母數(shù)字圖案沒有必要初始確定書的位置,尺寸或方向。因此,原則上非字母數(shù)字圖案在尺寸和/或方向上可以是模糊,因為該圖案的這些方面可以參考書中的受信標記來分辨。現(xiàn)在參照圖8,示出了正在翻頁時的書的攝像機視圖。值得注意的是,由于非字母數(shù)字圖案比同頁面上的受信標記距離面對攝像機的書的邊緣更近,可以在打開頁面的過程中更早地由攝像機捕獲到它,從而提供關(guān)于用戶翻轉(zhuǎn)書頁時將要打開哪一頁面的早期指示。在圖8的例子中,書是當前打開在第3和第4頁面(1003,1004)的,這些頁面的受信標記(1013,1014)是可見的,他們各自的非字母數(shù)字圖案1043A和1044B(在本例中對于該相對的頁對表示為相同的圖案的鏡像)也是可見的。此外,對應(yīng)于書的第5和第6頁面的非字母數(shù)字圖案1046B由于第4頁面的翻轉(zhuǎn)是可見的。應(yīng)理解書第6頁面上的受信標記不會變得完全可見直到第4頁面更進一步翻轉(zhuǎn)。還應(yīng)理解,高對比度的圖案(1030C,D)在書的封皮上的位置指示將要打開一頁面,并且不是正在合上該書。為了向打開的頁面提供早期且適當?shù)脑鰪?,可以使用從?頁面和(對于現(xiàn)在來說)第4頁面上可見受托標記處獲得的關(guān)于書的位置,尺寸和方向的知識來識別非字母數(shù)字圖案1046B。因此,盡管不能訪問第6頁面上的受信標記,盡管非字母數(shù)字圖案可能有旋轉(zhuǎn)模糊性,當與在不同的、當前可見的書頁面上的受信標記所指示的書的尺寸和方向一同使用時,仍可以使用非字母數(shù)字的圖案來指示至少相對的頁面對。因此,除了很早就在遮擋頁的翻轉(zhuǎn)中使用通用增強,現(xiàn)在給定來自不同頁面上的受信標記的關(guān)于書的位置,尺寸和方向的知識以及通過新頁面上的非字母數(shù)字圖案更早地識別出正在打開哪個頁面,在打開頁面的過程中可以更早地對該部分打開的頁面進行正確的增強,這對用戶來說大大提高了沉浸感和消除了懷疑?,F(xiàn)在還參考圖9,書1000,娛樂設(shè)備10和附接到或集成在娛樂設(shè)備的攝相機756一起形成增強現(xiàn)實系統(tǒng)1,其中書的上述特征使得了上述娛樂設(shè)備的消除模糊(disambiguation)和增強過程成為可能。因此,在本發(fā)明的概括實施例中,增強現(xiàn)實系統(tǒng)1中使用的書1000包括多個硬的頁,每一頁的面形成了書頁面(1001,1002),其中每個這樣的頁面包括受信標記(1101,1102);并具有比所述書的頁更大的尺寸的封皮,因此具有延伸超出所述頁面的外邊緣的末端,并且在其中封皮的內(nèi)側(cè)包括沿著至少一個這樣的第一末端的第一高對比度的圖案(1030A,B,C,D)。在本實施例的一個實例中,封皮具有預(yù)定的厚度(例如大約1至5毫米),第一高對比度的圖案延伸超過封皮的邊緣并且跨越至少封皮厚度的預(yù)定的比例,例如厚度的一半。在本實施例的一個實例中,在正常使用中所述第一高對比度的圖案至少沿著面對增強現(xiàn)實系統(tǒng)的攝像機的書的第一末端延伸。如前所述,正常使用通常是,用戶面對著電視機,在他們與電視機之間拿著或放置一本書,書被定向使得書脊大體上朝向電視機或視頻攝像機(不包括任何與書的有效的相互作用或關(guān)于其放置的具體說明),并且用于捕獲書的圖像的視頻攝像機在電視附近并且朝向用戶和書所在的地方。在本實施例的一個實例中,在正常使用中高對比度的圖案沿延伸超出由增強現(xiàn)實系統(tǒng)的視頻攝像機觀測的書頁面的頂部或底部邊緣的每個末端延伸。換言之,圖案沿垂直于書脊的末端延伸。在這種情況下,這個圖案可以是沿著與書脊重合的中心線反射的第一高對比度的圖案,如圖7中所示。在任何情況下,如前所述第一高對比度的圖案可以對關(guān)于這本書的信息進行編碼。在本實施例的一個實例中,在正常使用中第二高對比度的圖案(1035R,L)沿延伸超出由增強現(xiàn)實系統(tǒng)的視頻攝像機觀測的書頁面的左邊緣或右邊緣的每個末端延伸。換言之,圖案沿著與書脊平行的末端延伸。在這種情況下,如前所述第二高對比度的圖案可以將不同的信息編碼進第一高對比度的圖案。在本實施例的一個實例,所述書可以包括一個或多個非字母數(shù)字的圖案(1040A,B,C,D),并且在頁面上這樣的非字母數(shù)字圖案的位置比該頁面上的受信標記更接近該頁面的外邊緣。如前所述,則當與在不同頁面上的受信標記所指示的書的尺寸和方向一同使用時,非字母數(shù)字的圖案能夠至少指示包括非字母數(shù)字圖案所在的各頁面的相對的頁面對。在概要實施例中,在增強現(xiàn)實系統(tǒng)中使用娛樂設(shè)備10,娛樂設(shè)備10包括:輸入部件,如USB連接器710或無線鏈路(730,740),其可用于接收書的視頻圖像。該娛樂設(shè)備還包括:圖像處理部件,如在適當?shù)能浖噶钕鹿ぷ鞯膯卧幚砥?00,用于從所捕獲的視頻圖像中的書的受信標記來估計書的位置和方向,以及圖像處理部件,再次地例如在適當?shù)能浖噶钕鹿ぷ鞯膯卧幚砥?00,用于估計在所捕獲的視頻圖像中的書的封皮內(nèi)頁的末端上的第一高對比度的圖案的位置和方向。在該概要實施例中,所述圖像處理部件可用于響應(yīng)于第一高對比度的圖案的位置和方向,在獨立于書的封皮只翻轉(zhuǎn)書的一頁或多頁和相對于翻轉(zhuǎn)書的封皮之間進行區(qū)分。換句話說,根據(jù)一個或多個該書的受信標記,給定關(guān)于書的位置的估計,如果書的封皮保持靜止,娛樂設(shè)備可以估計出高對比度的圖案應(yīng)該;所在的位置。如果當娛樂設(shè)備檢測到一個或多個頁正在翻轉(zhuǎn)時,封皮仍然靜止,那么可以假定正在打開新的頁面,而如果封面移動(或可選地,如果他們以對應(yīng)于一個頁或多個頁翻轉(zhuǎn)的方式移動),那么就可以假定正在合上這本書并且沒有打開新的頁面。在本實施例的一個實例中,娛樂設(shè)備包括:處理器部件,如單元處理器100和/或RSX200,可用于使用一個或多個圖形元素來對所捕獲的書的視頻圖像進行增強,并且其中,在圖像處理部件檢測到獨立于書的封皮地翻轉(zhuǎn)書的一個或多個頁的情況下,該處理器部件使用部分打開的已增強的書頁面的代表對書的圖像進行增強。在本實施例的一個實例中,娛樂設(shè)備包括:處理器部件,如單元處理器100和/或RSX200,在圖像處理部件使用根據(jù)書中不同頁面的受信標記估計而來的尺寸和方向信息在該頁上檢測到非字母數(shù)字圖案(1040,A,B,C,D)的情況下,該處理器部件可使用對應(yīng)的部分打開的已增強的書頁面的頁面特定代表對書的圖像進行增強。在概要實施例中,增強現(xiàn)實系統(tǒng)包括所述類型的書和娛樂設(shè)備,以及視頻攝像機例如EyeToy或PlayStationEye756,被布置為用于向娛樂設(shè)備的輸入部件提供捕獲的視頻圖像?,F(xiàn)在轉(zhuǎn)向圖10,一種對書的視頻圖像進行增強的方法包括:在第一步驟s110中,接收其中有一個或多個可見頁面的書的視頻圖像,并且其中每個可見頁面包括受信標記,并且其中第一高對比度的圖案在延伸超過所述頁面的外邊緣的書的封皮內(nèi)頁的末端是可見的。在第二步驟s120中,根據(jù)視頻圖像中的受信標記對書的位置和方向進行估計。在第三步驟s130中,估計視頻圖像中的第一高對比度的圖案的位置和方向。以及在第四步驟s140中,響應(yīng)于第一高對比度的圖案的位置和方向,在獨立于書的封皮只翻轉(zhuǎn)書的一頁面或多頁面和相對于翻轉(zhuǎn)書的封皮之間進行區(qū)分。對本領(lǐng)域技術(shù)人員來說,對應(yīng)于所述裝置的各種實施例的操作的在本文中描述并要求保護的上述方法的各種變型是在本發(fā)明的范圍內(nèi)的,這是顯而易見的。最后,應(yīng)理解,本文所公開的方法,可以在通過軟件指令或通過包括或替換為專用硬件而適當?shù)匦薷臑檫m用的傳統(tǒng)的硬件上實施。因此,所要求的對傳統(tǒng)等效設(shè)備的現(xiàn)有部件的修改可以以下列形式實現(xiàn):非臨時性的計算機程序產(chǎn)品,或類似的制造物品包括存儲在數(shù)據(jù)載體(如軟盤、光盤、硬盤、PROM、RAM、閃存或者這些或其他存儲介質(zhì)的任意組合)上的處理器可執(zhí)行的指令,或以這樣的形式:通過網(wǎng)絡(luò)(例如以太網(wǎng)、無線網(wǎng)絡(luò)、互聯(lián)網(wǎng)、或這些任何組合和其他網(wǎng)絡(luò))上的數(shù)據(jù)信號的傳輸內(nèi)容,或在硬件中實現(xiàn)為ASIC(專用集成電路)或FPGA(現(xiàn)場可編程門陣列),或其他適合在修改傳統(tǒng)等效設(shè)備中使用的可配置的電路。