基于相機(jī)的深度感應(yīng)涉及將光圖案投射到場(chǎng)景上并且然后使用圖像處理來(lái)估計(jì)該場(chǎng)景中的每個(gè)像素的深度。例如，在立體深度感應(yīng)系統(tǒng)中，深度感應(yīng)一般通過(guò)如下來(lái)實(shí)現(xiàn)：將光圖案(其可以是隨機(jī)的)投射到場(chǎng)景上以提供紋理，并且使得兩個(gè)立體相機(jī)從不同視點(diǎn)采集兩個(gè)圖像。然而，一種利用立體圖像配對(duì)來(lái)執(zhí)行深度估計(jì)的方式例如是找出這些圖像之間的局部區(qū)塊的對(duì)應(yīng)性。一旦匹配，圖像內(nèi)被投射的圖案就可以互相關(guān)聯(lián)，并且被關(guān)聯(lián)的點(diǎn)的一個(gè)或多個(gè)特征之間的視差(disparity)就被用來(lái)針對(duì)該特定點(diǎn)配對(duì)而估計(jì)深度。

不同于使用兩個(gè)相機(jī)，如果已知的光圖案被投射到場(chǎng)景上，則該已知圖案連同單個(gè)相機(jī)獲得的圖像可以一起被用來(lái)估計(jì)深度。通常，相機(jī)圖像被處理以尋找相對(duì)于已知圖案的視差，這些視差指示該場(chǎng)景中的對(duì)象的深度。

技術(shù)實(shí)現(xiàn)要素：

提供本發(fā)明內(nèi)容用于以簡(jiǎn)化形式對(duì)將在下文的具體實(shí)施方式中進(jìn)一步描述的代表性概念的選擇進(jìn)行介紹。本發(fā)明內(nèi)容并非意在標(biāo)識(shí)所請(qǐng)求保護(hù)主題的關(guān)鍵特征或必要特征，也非意在被用來(lái)以任何方式對(duì)所請(qǐng)求保護(hù)主題的范圍進(jìn)行限制。

簡(jiǎn)言之，本文描述的各個(gè)方面中的一個(gè)或多個(gè)方面涉及估計(jì)多個(gè)像素中的每一個(gè)的深度數(shù)據(jù)，包括對(duì)均采集利用投射點(diǎn)所照亮的場(chǎng)景的圖像進(jìn)行處理以確定該圖像中的點(diǎn)位置。針對(duì)每個(gè)點(diǎn)位置，確定表示點(diǎn)相關(guān)數(shù)據(jù)與不同深度的已知投射點(diǎn)圖案數(shù)據(jù)匹配得如何的置信度得分，并且使用置信度得分估計(jì)深度數(shù)據(jù)。

從下文結(jié)合附圖的詳細(xì)描述中，其它優(yōu)點(diǎn)可以變?yōu)轱@而易見。

附圖說(shuō)明

在附圖中通過(guò)示例而非限制性的方式圖示本發(fā)明，其中相同附圖標(biāo)記指示相似要素，并且其中：

圖1是根據(jù)一種或多種示例實(shí)施方式的表示示例組件的框圖，上述組件可以被配置為投射和采集光圖案以經(jīng)由與已知投射圖案數(shù)據(jù)進(jìn)行匹配來(lái)確定深度。

圖2和圖3是根據(jù)一種或多種實(shí)施方式的將點(diǎn)投射至場(chǎng)景之中以通過(guò)將采集的圖像數(shù)據(jù)與已知投射圖案數(shù)據(jù)進(jìn)行匹配來(lái)確定深度的示例的表示。

圖4是根據(jù)一種或多種示例實(shí)施方式的在基于已知投射圖案數(shù)據(jù)確定深度圖時(shí)所使用的示例步驟的流程圖。

圖5是根據(jù)一種或多種示例實(shí)施方式的投射點(diǎn)可以如何被用來(lái)以亞像素分辨率確定點(diǎn)峰值位置的表示。

圖6是根據(jù)一種或多種示例實(shí)施方式的點(diǎn)相關(guān)數(shù)據(jù)可以如何被壓縮到數(shù)據(jù)結(jié)構(gòu)的表示。

圖7是根據(jù)一種或多種示例實(shí)施方式的表示可以被采用來(lái)確定點(diǎn)峰值位置的示例步驟的流程圖。

圖8是根據(jù)一種或多種示例實(shí)施方式的在將預(yù)期點(diǎn)位置與已知投射點(diǎn)位置進(jìn)行匹配以確定深度數(shù)據(jù)時(shí)可以如何使用由投射射線產(chǎn)生的點(diǎn)的表示。

圖9是根據(jù)一種或多種示例實(shí)施方式的表示可以被采用來(lái)相對(duì)每個(gè)投射點(diǎn)對(duì)每個(gè)圖像采集點(diǎn)進(jìn)行評(píng)估以確定不同深度的匹配(置信度)得分的示例步驟的流程圖。

圖10是根據(jù)一種或多種示例實(shí)施方式的表示可以被采用來(lái)確定點(diǎn)峰值是否足夠接近于被認(rèn)為匹配的示例步驟的流程圖。

圖11是根據(jù)一種或多種示例實(shí)施方式的深度計(jì)算如何可以對(duì)半遮擋圖像魯棒的表示。

圖12是根據(jù)一種或多種示例實(shí)施方式的可以如何基于不同深度的置信度得分進(jìn)行內(nèi)插的表示。

圖13是表示本文描述的各個(gè)實(shí)施例的一個(gè)或多個(gè)方面可以在其中實(shí)施的游戲系統(tǒng)形式的示例性計(jì)算系統(tǒng)或操作環(huán)境的框圖。

具體實(shí)施方式

本文描述的技術(shù)的各個(gè)方面總體上涉及使得已知光圖案被投射至場(chǎng)景之中，并且使用對(duì)采集圖像和已知圖案的圖像處理來(lái)提供總體上更準(zhǔn)確且可靠的深度估計(jì)(相對(duì)于其它技術(shù)而言)。該技術(shù)還對(duì)本文描述的一種或多種不同技術(shù)進(jìn)行權(quán)衡，諸如在點(diǎn)而不是像素上進(jìn)行枚舉，三目(trinocular)匹配(或多于三路的匹配)，亞像素分辨率的使用，以及基于置信度的內(nèi)插。該光圖案可以是事先已知的固定結(jié)構(gòu)、例如在制造時(shí)被校準(zhǔn)的固定結(jié)構(gòu)，或者是在用戶執(zhí)行的校準(zhǔn)操作中被學(xué)習(xí)到，而與該光圖案是以計(jì)劃圖案還是隨機(jī)(但是隨后并不改變)圖案被生成無(wú)關(guān)。

在一個(gè)方面，兩個(gè)或更多相機(jī)被用來(lái)采集場(chǎng)景的圖像。例如，利用左立體相機(jī)和右立體相機(jī)，兩個(gè)采集圖像連同已知光圖案一起可以隨三路匹配技術(shù)而被用來(lái)確定指示深度的視差。換句話說(shuō)，該已知圖案、左圖像和右圖像可以被用來(lái)基于每個(gè)投射/采集點(diǎn)的視差而估計(jì)深度。使得多個(gè)相機(jī)觀察場(chǎng)景有助于克服深度估計(jì)中的不確定性并且有助于減少非匹配情形。此外，該技術(shù)對(duì)于相機(jī)故障是魯棒的，并且只要至少一個(gè)相機(jī)在觀察場(chǎng)景并且它的位置關(guān)于投射器是已知的，就可以繼續(xù)估計(jì)深度(雖然通常不太可靠)。

可以使用點(diǎn)檢測(cè)處理，包括一種將點(diǎn)的位置估計(jì)到亞像素準(zhǔn)確性、給出更準(zhǔn)確的亞像素視差的處理。這提供了更準(zhǔn)確的匹配并且避免使得視差離散化。

可以使用內(nèi)插，其中所計(jì)算的匹配得分(例如，均對(duì)應(yīng)于針對(duì)像素的估計(jì)深度的置信度)被用來(lái)計(jì)算如下像素的深度，這些像素不具有針對(duì)它們而估計(jì)的基于點(diǎn)的深度。例如，每個(gè)深度處的置信度可以被用作內(nèi)插計(jì)算中的權(quán)重。這連同諸如以顏色(例如，RGB)圖像和/或清晰IR圖像為基礎(chǔ)的基于邊緣的數(shù)據(jù)之類的可能的其它數(shù)據(jù)一起用作內(nèi)插的引導(dǎo)。

應(yīng)當(dāng)理解，本文的任何示例都是非限制性的。例如，本文一般例示的投射光圖案包括一般為圓形的點(diǎn)，但是投射點(diǎn)可以是任意形狀；(盡管諸如點(diǎn)之類的二維投射形狀趨于促成比諸如條帶之類的一維投射更準(zhǔn)確的匹配)。因此，本發(fā)明并不局限于本文描述的任何特定實(shí)施例、方面、概念、結(jié)構(gòu)、功能或示例。相反，本文描述的任何實(shí)施例、方面、概念、結(jié)構(gòu)、功能或示例都是非限制性的，并且本發(fā)明可以以總體上在深度感應(yīng)和圖像處理中提供益處和優(yōu)點(diǎn)的各種方式而被使用。

圖1示出了示例系統(tǒng)，其中圖像采集系統(tǒng)或子系統(tǒng)104的立體相機(jī)102和103采集時(shí)間上同步的左和右立體圖像105(例如，這些相機(jī)被“同步鎖定(genlocked)”)。在一種實(shí)施方式中，相機(jī)102和103采集紅外(IR)圖像，因?yàn)镮R不影響場(chǎng)景的可視外觀(這通常是有利的，諸如在視頻會(huì)議和對(duì)象建模應(yīng)用中)。如能夠容易理解的，在諸如工作室環(huán)境的一些情形中，可能存在多于兩個(gè)的IR深度感應(yīng)相機(jī)。另外，給定系統(tǒng)中可能存在一個(gè)或多個(gè)其它相機(jī)，諸如RGB相機(jī)，并且這樣的其它相機(jī)可以被用來(lái)在例如估計(jì)深度中提供幫助。

在圖1中示出了投射器106，該投射器106將IR圖案投射至場(chǎng)景上，IR圖案諸如是點(diǎn)的圖案，但是也可以使用其它斑點(diǎn)形狀和/或圖案類型。出于簡(jiǎn)明的目的，下文中通常對(duì)點(diǎn)進(jìn)行描述。該圖案可以被設(shè)計(jì)(例如，被編碼)到衍射光學(xué)組件(衍射光學(xué)元件或元件組合)中，該衍射光學(xué)組件將激光例如作為點(diǎn)的圖案而散射至場(chǎng)景中。如以上闡述的，該圖案可以是已計(jì)劃的或者是隨機(jī)的，但通過(guò)校準(zhǔn)而被學(xué)習(xí)到。

圖2和圖3例示了投射的概念。投射器106將點(diǎn)圖案投射到場(chǎng)景222(圖2)上，該投射器106在圖2中被表示為立體相機(jī)102和103之間的圓形并且在圖3中被表示為耦合至在設(shè)備334中集成的衍射光學(xué)元件332的激光器330。經(jīng)過(guò)校準(zhǔn)，投射的點(diǎn)圖案108被深度估計(jì)器110所知，該深度估計(jì)器110可以是圖像處理系統(tǒng)或子系統(tǒng)112的一部分。已知的點(diǎn)圖案可以被保存在各種可能深度處的每個(gè)點(diǎn)的任何適當(dāng)數(shù)據(jù)結(jié)構(gòu)中，并且在一種實(shí)施方式中，該已知的點(diǎn)圖案至少遵循(x,y)坐標(biāo)(其可以處于以下所描述的亞像素分辨率)；這對(duì)應(yīng)于存儲(chǔ)每個(gè)點(diǎn)的投射射線。一種可替換方式是將每個(gè)點(diǎn)表示為位矢量(bit vector)，該位矢量包括用于與由矢量類似表示的相機(jī)采集點(diǎn)矢量相匹配的鄰居。

相機(jī)102和103在它們對(duì)場(chǎng)景222和(可能地)背景中的對(duì)象表面加以反射時(shí)采集這些點(diǎn)。一般而言，采集點(diǎn)的一個(gè)或多個(gè)特征指示與反射表面的距離。注意到，圖2和圖3(或者本文的任何附圖)并非意按尺寸描繪，也不表示彼此相同的場(chǎng)景，更不傳達(dá)任何大小、距離、點(diǎn)分布圖案、點(diǎn)密度等等。

注意到，投射器106的放置可以處于相機(jī)之外(例如，圖1)，或者處于相機(jī)之間(圖2和圖3)或處于另一個(gè)位置、諸如處于上述一個(gè)或兩個(gè)相機(jī)的上方或下方。本文的示例關(guān)于相機(jī)和/或投射器相對(duì)于彼此定位在何處不做出限制，并且類似地，相機(jī)可以相對(duì)于彼此被定位在不同位置。然而，相機(jī)和投射器的相對(duì)位置是已知的，例如在制造時(shí)被確定和/或能夠在需要的情況下重新測(cè)定。

通過(guò)利用相對(duì)大量的分布式紅外點(diǎn)(例如通常是數(shù)十萬(wàn)的量級(jí))來(lái)照亮場(chǎng)景，相機(jī)102和103采集紋理數(shù)據(jù)以作為該場(chǎng)景中的任何對(duì)象的紅外圖像數(shù)據(jù)的一部分。如本文所描述的，為了促進(jìn)左圖像和右圖像之間更準(zhǔn)確的點(diǎn)匹配，這些圖像中的點(diǎn)連同已知的點(diǎn)圖案一起被處理。

在一種實(shí)施方式中，示例圖像采集系統(tǒng)或子系統(tǒng)104包括控制器114，該控制器114經(jīng)由相機(jī)接口116控制相機(jī)102和103的操作。所例示的控制器114還可以經(jīng)由投射器接口118控制投射器106的操作。例如，相機(jī)102和103諸如通過(guò)控制器信號(hào)(或者針對(duì)每個(gè)相機(jī)的不同信號(hào))而被同步(例如，被同步鎖定)以同時(shí)采集立體圖像。投射器106可以被開啟或關(guān)閉、暫停，并且另外具有例如以可控方式變化的一個(gè)或多個(gè)參數(shù)。

相機(jī)102和103采集的圖像105被提供給圖像處理系統(tǒng)或子系統(tǒng)112。在一些實(shí)施方式中，圖像處理系統(tǒng)112和圖像采集系統(tǒng)或子系統(tǒng)104或者它們的多個(gè)部分可以被組合為單個(gè)設(shè)備。例如，家庭娛樂(lè)設(shè)備可以包括圖1所示的所有組件(以及其它未示出的組件)。在其它實(shí)施方式中，圖像采集系統(tǒng)或子系統(tǒng)104的多個(gè)部分(或全部)—諸如相機(jī)和投射器—可以處于單獨(dú)的設(shè)備中，該單獨(dú)的設(shè)備耦合至游戲機(jī)、個(gè)人計(jì)算機(jī)、移動(dòng)設(shè)備、專用處理設(shè)備等。實(shí)際上，游戲機(jī)在下文中被例示為可以用于將圖像處理成深度數(shù)據(jù)的一種環(huán)境。

圖像處理系統(tǒng)或子系統(tǒng)112包括處理器120和存儲(chǔ)器122，該存儲(chǔ)器122包含一個(gè)或多個(gè)圖像處理組件，諸如深度估計(jì)器110。在一個(gè)方面，深度估計(jì)器110包括三目匹配組件126等，該三目匹配組件126使用圖像和已知投射器圖案106來(lái)估計(jì)深度數(shù)據(jù)?？梢越?jīng)由本文描述的深度估計(jì)器110而獲得一個(gè)或多個(gè)深度圖128。

圖1中還示出了針對(duì)圖像處理系統(tǒng)或子系統(tǒng)118的接口132，以諸如用于適當(dāng)連接計(jì)算機(jī)程序、鍵盤、游戲控制器、顯示器、定點(diǎn)設(shè)備、用于話音命令的麥克風(fēng)等，以供用戶與使用深度圖的應(yīng)用等進(jìn)行交互。

圖4是示出一種總體過(guò)程的示例步驟的一般流程圖，該過(guò)程包括步驟400的一次性校準(zhǔn)處理、諸如在制造設(shè)備時(shí)的一次性校準(zhǔn)處理；(有可能的情況信是：可以由設(shè)備所有者重復(fù)該校準(zhǔn)或者通過(guò)將該設(shè)備送交服務(wù)而重復(fù)該校準(zhǔn)，諸如在運(yùn)送的情況下，熱量或其它環(huán)境因素會(huì)導(dǎo)致漂移)。

在下文中更詳細(xì)地描述在深度圖生成中使用的示例步驟，這些步驟總體上包括如步驟402(并且參考圖7)所表示的點(diǎn)檢測(cè)過(guò)程，在該過(guò)程中相機(jī)采集的點(diǎn)的位置得以被定位并存儲(chǔ)。如在步驟404(并且參考圖9和圖10)一般表示的，表示相機(jī)采集的點(diǎn)的數(shù)據(jù)與表示已知的投射點(diǎn)的數(shù)據(jù)進(jìn)行匹配。

在匹配之后，可以在步驟406執(zhí)行一些后處理，這些后處理一般是清理異常數(shù)據(jù)。在步驟408執(zhí)行內(nèi)插以便確定如下像素的深度值，這些像素不具有直接的基于點(diǎn)而估計(jì)的深度值，例如這些像素是點(diǎn)之間的像素。內(nèi)插可以基于具有直接的基于點(diǎn)而估計(jì)的深度值的附近像素的置信度得分以及基于諸如邊緣檢測(cè)的其它技術(shù)，這些技術(shù)考慮如下的因素：深度是否可能由于像素剛好超出前景對(duì)象的邊緣而針對(duì)該像素而有所變化。

在差值填入在完成深度圖所需的像素深度值中后，步驟410輸出該深度圖。該過(guò)程經(jīng)由步驟412而以適當(dāng)幀速率進(jìn)行重復(fù)，直至不再需要深度圖的幀，例如該設(shè)備關(guān)機(jī)、需要深度圖的幀的應(yīng)用關(guān)閉或改變模式等等。

關(guān)于點(diǎn)的檢測(cè)，一般而言，點(diǎn)具有類似于高斯或模糊圓形的柔和圓形對(duì)稱外觀(盡管確切形狀并不重要)。在紅外圖像中，點(diǎn)的至少一部分所照亮的每個(gè)像素具有相關(guān)聯(lián)的強(qiáng)度值。在一種或多種實(shí)施方式中，每個(gè)輸入圖像被模糊化、例如利用在每個(gè)像素上所使用的1-2-1濾波器而被模糊化，這減少了噪聲。下一個(gè)操作在圖像上使用s×s最大值濾波器(在每個(gè)窗口位置中找出最大強(qiáng)度值的s×s滑動(dòng)窗口，這在圖像處理中也是熟知的)，從而將每個(gè)像素進(jìn)行比較以找出作為s×s區(qū)域內(nèi)的局部最大值(或相等的最大值)的像素。s的適當(dāng)值為五(5)。

針對(duì)每個(gè)這樣的局部最大值點(diǎn)，使用針對(duì)強(qiáng)度的水平和垂直三點(diǎn)拋物線擬合法來(lái)找出亞像素峰值位置和該位置處的最大值(例如，被內(nèi)插的值)；(也就是說(shuō)，在峰值不處于亞像素的中心時(shí)可以使用內(nèi)插來(lái)調(diào)整)。如能夠在像素(被表示為圖5的部分圖像550的正方形)中看到的，該點(diǎn)圖案的特征是點(diǎn)峰值強(qiáng)度的位置。這能夠被估計(jì)到亞像素準(zhǔn)確性之內(nèi)。更具體地，如圖5所表示的，更精細(xì)的網(wǎng)格表示552中的X形交叉表示所估計(jì)的點(diǎn)中心，其中像素被虛線劃分為亞像素。每個(gè)估計(jì)的中心對(duì)應(yīng)于一個(gè)亞像素。所例示的網(wǎng)格以外(例如，該網(wǎng)格可以是更大圖像的一部分)的一些另外的點(diǎn)的中心也被示出。

注意，圖5將像素細(xì)分為2×2個(gè)亞像素，以使得分辨率得以倍增。然而，不同于使得亞像素分辨率倍增，可以通過(guò)例如將像素均進(jìn)一步細(xì)分為九個(gè)亞像素、十六個(gè)亞像素等而獲得甚至更高的分辨率；(也可以使用非正方形的細(xì)分)。

表示檢測(cè)到的峰值的數(shù)據(jù)可以以如下的數(shù)據(jù)結(jié)構(gòu)來(lái)存儲(chǔ)，該數(shù)據(jù)結(jié)構(gòu)包括針對(duì)每個(gè)峰值的亞像素位置和峰值大小、并且還提供用于在點(diǎn)匹配期間容納諸如匹配得分之類的信息的附加空間。在一種或多種實(shí)施方式中，由于衍射光學(xué)元件的構(gòu)造，這些峰值可能沒(méi)有以比d個(gè)像素的距離更接近的方式被定位，由此可以使用更小的數(shù)據(jù)結(jié)構(gòu)(包括單元陣列的存儲(chǔ)圖像)。更具體地，如圖6所表示的，在壓縮操作660中，從圖像662獲得的針對(duì)每個(gè)峰值的數(shù)據(jù)可以被置于如下容器(bin)中，該容器通過(guò)將其實(shí)際位置除以d并且舍入到最接近的像素而被計(jì)算得到，這提供了經(jīng)壓縮的圖像結(jié)構(gòu)664。注意到，圖6中的單元網(wǎng)格并非如圖5那樣表示亞像素網(wǎng)格，而是表示用于壓縮數(shù)據(jù)結(jié)構(gòu)所需的大小的方式，大小的壓縮通過(guò)排除為不具有峰值的大多數(shù)像素保留存儲(chǔ)的需要來(lái)實(shí)現(xiàn)。

適當(dāng)壓縮參數(shù)足夠大以盡可能多地移除點(diǎn)(峰值)之間的空間，但是又足夠小以使得兩個(gè)不同的點(diǎn)不會(huì)在相同單元內(nèi)形成沖突。在以上示例中，使用了壓縮因數(shù)2，因?yàn)槿魏我粚?duì)峰值至少彼此遠(yuǎn)離的兩個(gè)像素。

圖7概況了示例點(diǎn)檢測(cè)過(guò)程，該過(guò)程開始于步驟702，在該步驟中采集圖像被模糊處理以減少噪聲。注意，圖7是對(duì)例如左圖像和右圖像中的每個(gè)圖像執(zhí)行的，左圖像和右圖像可以至少一定程度上并行地被執(zhí)行。步驟704表示使用最大值濾波器來(lái)找出峰值。

針對(duì)每個(gè)峰值或局部最大值點(diǎn)，步驟706、708和710將代表性信息存儲(chǔ)在數(shù)據(jù)結(jié)構(gòu)中，該代表性信息包括該峰值的亞像素位置和該位置處的(例如，內(nèi)插的)強(qiáng)度值。這填充了如圖6所表示的數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)由于衍射光學(xué)元件的設(shè)計(jì)而通常是稀疏的。同樣如圖6所示并且參考其所描述的，步驟712對(duì)該數(shù)據(jù)結(jié)構(gòu)進(jìn)行壓縮。

一旦圖像已經(jīng)被處理得找到點(diǎn)的峰值并且將它們存儲(chǔ)在壓縮數(shù)據(jù)結(jié)構(gòu)中，就執(zhí)行匹配。在一種可替換形式中，使用三目點(diǎn)匹配。注意，不同于對(duì)每個(gè)像素進(jìn)行處理，在一種實(shí)施方式中，三目點(diǎn)匹配使用平面掃描算法來(lái)針對(duì)激光點(diǎn)圖案中的每個(gè)點(diǎn)估計(jì)視差。由于投射器圖案是已知的(在校準(zhǔn)操作被計(jì)算和存儲(chǔ))，所以三目點(diǎn)匹配將該已知圖案中的每個(gè)點(diǎn)與左圖像和右圖像進(jìn)行匹配，從而估計(jì)每個(gè)點(diǎn)的視差。

通常，針對(duì)已知圖案，處于不同深度的點(diǎn)的射線(x,y)位置可以被預(yù)先計(jì)算。如圖8所表示的，如果該深度處于D1，則左相機(jī)圖像應(yīng)當(dāng)在(亞像素)881L處具有對(duì)應(yīng)的點(diǎn)，并且右相機(jī)圖像應(yīng)當(dāng)在(亞像素)881R處具有對(duì)應(yīng)的點(diǎn)；如果該深度是D2，則這些亞像素位置將會(huì)分別被移動(dòng)至882L和882R。每個(gè)可能的深度都可以被使用，然而在一種或多種實(shí)施方式中，可以使用這些深度中的一些深度的采樣。例如，可以使用移動(dòng)大約一個(gè)像素的深度變化，其中該深度變化可以與逆向深度相關(guān)。

針對(duì)給定深度和已知圖案中的點(diǎn)位置，每個(gè)圖像在視差掃描中被處理，包括確定它在該深度處是否也具有處于預(yù)期對(duì)應(yīng)位置的點(diǎn)。對(duì)于計(jì)算效率而言，三路匹配可以以逐圖塊(tile)為基礎(chǔ)進(jìn)行操作(并且圖塊可以被擴(kuò)充從而能夠適當(dāng)匯聚2D支持)，其中每個(gè)圖塊執(zhí)行它自己的視差掃描。

在一種實(shí)施方式中，該視差掃描在多帶圖像中返回勝出的匹配得分，該多帶圖像中的帶與MatchTriplet結(jié)構(gòu)對(duì)應(yīng)：

如圖9所表示的，該視差掃描在視差掃描范圍(dMin,dMax)所指定的所有視差上具有一次外部迭代(步驟902、920和922)，該視差掃描范圍表示要測(cè)量的最小和最大深度。該視差掃描包括左和右圖像上的中間迭代(步驟904、916和918)，以及圖塊中的(x,y)峰值單元上的內(nèi)部迭代(步驟906、912和914)。

通常，對(duì)于當(dāng)前深度而言，步驟908的內(nèi)部迭代估計(jì)在投射點(diǎn)的位置和預(yù)期的左側(cè)點(diǎn)位置是否存在匹配，以及類似地估計(jì)在投射點(diǎn)的位置和預(yù)期的右側(cè)點(diǎn)位置是否存在匹配。然而，一般由于噪聲，即使在應(yīng)當(dāng)存在匹配的情況下，在確切的位置處也可能沒(méi)有匹配，因此在一種實(shí)施方式中還對(duì)鄰居/相鄰像素或亞像素進(jìn)行估計(jì)。

通常，相似的鄰居越多，就越確信存在匹配。關(guān)于鄰居而言，為了在空間上匯聚支持，具有兼容視差的鄰居的得分例如通過(guò)調(diào)用UpdateNeighbors例程而被增大。這個(gè)操作消除潛在匹配之間的歧義，因?yàn)?每個(gè)峰值的鄰居距離內(nèi)的)鄰居的數(shù)目是如下的得分，勝出匹配決策可以以該得分為基礎(chǔ)。

一種將點(diǎn)與圖案數(shù)據(jù)進(jìn)行匹配的可替換方式(或附加方式)是將每個(gè)采集點(diǎn)表示為矢量并且將每個(gè)已知投射點(diǎn)表示為矢量，其中這些矢量包括點(diǎn)的周圍鄰居(像素或亞像素值)的數(shù)據(jù)。點(diǎn)的已知投射圖案的矢量表示可以被預(yù)先計(jì)算并且保存在查找表中等等。最接近的矢量—例如相對(duì)于不同深度的矢量集合來(lái)評(píng)估采集點(diǎn)矢量—被賦予最高的置信度得分，下一個(gè)最接近的矢量被賦予下一個(gè)最高得分，以此類推直至最低置信度得分。

這些矢量可以是位矢量，其中每個(gè)位值針對(duì)鄰居中的每個(gè)周邊位置指示存在是否點(diǎn)。隨后，針對(duì)采集圖像中的每個(gè)點(diǎn)，在計(jì)算該點(diǎn)的鄰居位矢量之后，可以使用位矢量之間的距離(例如，漢明(Hamming)距離)來(lái)找出最接近的匹配。注意，這例如可以以低成本硬件來(lái)有效實(shí)現(xiàn)。另外，這種基于矢量的技術(shù)可以高度適用于某些應(yīng)用，例如骨架追蹤。

在一種或多種實(shí)施方式中，在視差掃描階段內(nèi)處于最深級(jí)別的是TestMatch子程序(例如，圖10)，該例程測(cè)試兩個(gè)峰值是否兼容。如果峰值在對(duì)極幾何(epipolar geometry)中充分接近，那么這些峰值是兼容的；(注意，另一種可以使用的測(cè)試是檢查左峰值和右峰值是否具有相似的量級(jí))。如果得分(對(duì)極距離)處于容差(tol)參數(shù)之內(nèi)(步驟1002)并且是新的匹配(步驟1004)，則使用NewMatch例程將該匹配推至MatchStack結(jié)構(gòu)上(步驟1006)。tol參數(shù)的適當(dāng)值可以被設(shè)置為1.5個(gè)像素。

在匹配階段結(jié)束時(shí)，每個(gè)投射器峰值的MatchStack結(jié)構(gòu)在它的best字段中包含勝出的匹配。MatchTriplet具有針對(duì)左圖像上的最佳匹配、右圖像上的最佳匹配以及左和右都認(rèn)可的最佳匹配中的勝出匹配。

在實(shí)際實(shí)踐中，左相機(jī)和右相機(jī)采集的圖像中存在微小不同，這在一些情況下導(dǎo)致相鄰峰值在檢測(cè)時(shí)融合至一個(gè)點(diǎn)。在理想情況下，左圖像上的最佳匹配、右圖像上的最佳匹配以及左右兩個(gè)的最佳匹配將導(dǎo)致相同的視差；最佳聯(lián)合視差在理想情況下是最佳的三路匹配視差。然而，噪聲、低于閾值的強(qiáng)度值等會(huì)使得點(diǎn)被丟失，這導(dǎo)致了不同的視差。

另外，半遮擋(semi-occlusion)能夠防止兩個(gè)相機(jī)看到相同的點(diǎn)。圖11總體上表示了半遮擋，在該圖中左相機(jī)C1無(wú)法在它對(duì)應(yīng)的圖像I1中采集到投射點(diǎn)1100，但右相機(jī)C2能夠在它的圖像I2中采集到該點(diǎn)。因此，可以使用魯棒決策，該魯棒決策即使在存在有效(但得分較低)的三路匹配時(shí)也允許雙視點(diǎn)匹配成為用于確定點(diǎn)的深度的最終勝出方。

最終結(jié)果通常由于確信不正確的點(diǎn)匹配而具有稀疏誤差。這些偽差(artifact)可以通過(guò)執(zhí)行一個(gè)或多個(gè)后處理步驟而有所減少。例如，一個(gè)步驟可以移除浮點(diǎn)、包括單異常值的點(diǎn)，這些單異常值的點(diǎn)具有與5×5鄰居中最接近的點(diǎn)明顯不同的視差。出于這個(gè)目的，可以使用鄰居中的點(diǎn)的視差的均值和標(biāo)準(zhǔn)偏差(sigma)，以便例如在被指派給當(dāng)前像素的視差與均值視差相差超過(guò)三倍sigma的情況下將指派給當(dāng)前像素的視差移除。

另一個(gè)后處理步驟是執(zhí)行唯一性檢查。這個(gè)步驟關(guān)于對(duì)特定像素而言沒(méi)有沖突深度的左和右深度數(shù)據(jù)進(jìn)行檢查。一種實(shí)施方式考慮(投射的、左像素)配對(duì)以及(投射的、右像素)配對(duì)；當(dāng)任一個(gè)配對(duì)中存在沖突時(shí)，得分較低的像素被標(biāo)記為無(wú)效。除了雙路檢查之外或作為雙路檢查的替代，也可以使用可替換的三路唯一性檢查。

點(diǎn)匹配允許針對(duì)點(diǎn)獲得基于視差的深度估計(jì)，從而形成稀疏的視差圖。下一個(gè)階段是內(nèi)插操作(上采樣階段)，該內(nèi)插操作以在這些點(diǎn)處估計(jì)的稀疏深度作為開始并且在其余像素處插入丟失的數(shù)據(jù)，以便例如提供具有針對(duì)每個(gè)像素的深度值的深度圖。一種內(nèi)插過(guò)程使用推拉(push-pull)內(nèi)插技術(shù)，該技術(shù)由匹配得分和/或一個(gè)或多個(gè)引導(dǎo)圖像(例如，沒(méi)有點(diǎn)的清晰IR圖像和/或一個(gè)或多個(gè)RGB圖像)進(jìn)行引導(dǎo)，以恢復(fù)場(chǎng)景的密集深度。當(dāng)前像素(正在針對(duì)該當(dāng)前像素對(duì)深度進(jìn)行內(nèi)插)與每個(gè)被使用的像素的距離是一種對(duì)內(nèi)插進(jìn)行加權(quán)的方式。

圖12表示使用與檢測(cè)到的點(diǎn)相關(guān)聯(lián)的置信度得分(例如，S1-S6)的概念。例如，針對(duì)在圖12中由箭頭表示的給定射線，相機(jī)可能已經(jīng)檢測(cè)到附近的點(diǎn)，但是在與深度D3處的投射點(diǎn)進(jìn)行比較時(shí)，由得分S3表示的一個(gè)點(diǎn)處于它在采集圖像之中預(yù)期的位置并且因此具有較高的置信度得分。如以上所描述的，置信度得分可以通過(guò)相鄰匹配(例如，總鄰居數(shù)目)、或者經(jīng)由矢量位圖相似性(例如，與漢明距離成反比)、或者經(jīng)由另一匹配技術(shù)來(lái)計(jì)算。在用于針對(duì)相鄰像素確定深度值的內(nèi)插中，針對(duì)該深度賦予更大權(quán)重。

因此，上采樣階段將這些稀疏視差/深度值傳播至其它像素。點(diǎn)匹配得分在針對(duì)點(diǎn)之間的像素的深度進(jìn)行內(nèi)插時(shí)可以被用作內(nèi)插權(quán)重的基礎(chǔ)。

在實(shí)踐中，內(nèi)插還可以將邊緣納入考慮之中，例如包括邊緣感知內(nèi)插，因?yàn)樵趯?duì)象的邊緣相遇時(shí)會(huì)在相鄰像素上發(fā)生實(shí)質(zhì)性的深度變化。RGB圖像中的顏色變化經(jīng)常指示邊緣，就如IR圖像中的強(qiáng)度變化一樣。如果能夠在經(jīng)校準(zhǔn)的位置處得到場(chǎng)景的RGB和/或清晰IR(沒(méi)有點(diǎn))視圖，則稀疏深度可以對(duì)于該視圖將發(fā)生變形并且該稀疏深度可以使用諸如邊緣感知推拉內(nèi)插之類的技術(shù)或者使用雙邊濾波來(lái)執(zhí)行邊緣感知內(nèi)插。注意，可以使用陷波濾波器來(lái)獲得清晰IR，該陷波濾波器移除采集到的IR圖像中的點(diǎn)(并且可能使用一個(gè)不同頻率的IR源，該IR源總體上照亮整個(gè)場(chǎng)景以提供充分的IR)。

注意，置信度得分和/或邊緣的權(quán)重能夠從訓(xùn)練數(shù)據(jù)中被學(xué)習(xí)到。通過(guò)這種方式，例如兩倍于另一置信度得分的一個(gè)置信度得分并不必然需要被賦予雙倍權(quán)重、而可以是一些其它因數(shù)。

本文描述的一些技術(shù)可以被應(yīng)用于具有已知投射器圖案的單個(gè)相機(jī)。例如，利用以上描述的三目列舉所進(jìn)行的基于點(diǎn)的列舉已經(jīng)解決了丟失的像素，并且因此雖然可能并不像三路(或更多路)匹配那樣準(zhǔn)確，但是諸如在相機(jī)故障的情況下適用相同的過(guò)程。另外，如能夠容易理解的，如果該系統(tǒng)僅被設(shè)計(jì)有單個(gè)相機(jī)，則匹配配對(duì)結(jié)構(gòu)和圖9可以針對(duì)單個(gè)圖像進(jìn)行修改，例如通過(guò)移除右圖像場(chǎng)和右圖像的中間迭代。

類似地，可以向數(shù)據(jù)結(jié)構(gòu)增加附加字段并且可以針對(duì)多于兩個(gè)的相機(jī)使用附加的中間迭代。例如，工作室環(huán)境可能具有多于兩個(gè)的相機(jī)，并且這些相機(jī)可以圍繞投射器定位而不是與之并排定位。圖9的步驟904、916和918可以針對(duì)任何數(shù)目的相機(jī)進(jìn)行修改，以例如選擇第一相機(jī)圖像(步驟904)，評(píng)估最后的相機(jī)圖像是否已經(jīng)被處理(步驟916)，并且如果未被處理的話，則選擇下一相機(jī)圖像(步驟918)。

因此，本文描述的一種優(yōu)點(diǎn)在于執(zhí)行多視點(diǎn)匹配，因?yàn)檫@降低了錯(cuò)誤對(duì)應(yīng)性的概率并且還減少了支持或驗(yàn)證匹配所需的相鄰點(diǎn)的數(shù)目。另外，處于一個(gè)相機(jī)或另一個(gè)相機(jī)的陰影中的區(qū)域仍然與預(yù)期點(diǎn)位置匹配(盡管具有較低的可靠性)。實(shí)際上，相同的匹配算法可以被修改/擴(kuò)展，以便使用投射器和單個(gè)相機(jī)來(lái)執(zhí)行匹配或者使用投射器圖案和多于兩個(gè)的相機(jī)來(lái)執(zhí)行匹配。

經(jīng)過(guò)校準(zhǔn)，可以使用被投射到場(chǎng)景上的任何隨機(jī)或已知的點(diǎn)圖案，包括靜態(tài)的點(diǎn)圖案。這與使用動(dòng)態(tài)結(jié)構(gòu)的照明的解決方案形成了對(duì)比，使用動(dòng)態(tài)結(jié)構(gòu)的照明的那種解決方案需要具有快速切換和精確控制的復(fù)雜投射器。

另外，本文描述的多視點(diǎn)立體解決方案在實(shí)踐中改善了估計(jì)的深度。僅需要在點(diǎn)處而不是在每個(gè)像素處進(jìn)行匹配，這明顯更為有效。而且，由于點(diǎn)的位置可以被估計(jì)到亞像素的精確度，所以僅匹配在對(duì)極幾何方面相當(dāng)接近的點(diǎn)并且獲得可以匹配的亞像素視差估計(jì)。最后，所研發(fā)的系統(tǒng)對(duì)于多視點(diǎn)環(huán)境內(nèi)的相機(jī)故障是魯棒的，即使利用單個(gè)相機(jī)觀察投射點(diǎn)圖案也具有質(zhì)量良好的估計(jì)深度。

一個(gè)或多個(gè)方面涉及一種向場(chǎng)景投射點(diǎn)的光圖案的投射器，其中該光圖案對(duì)于投射器是已知的并且被保存為投射點(diǎn)圖案數(shù)據(jù)，投射點(diǎn)圖案數(shù)據(jù)表示不同深度的點(diǎn)位置。每一個(gè)都相對(duì)于投射器被固定的多個(gè)相機(jī)(例如，左相機(jī)和右相機(jī))從不同視角采集場(chǎng)景的同步圖像。深度估計(jì)器針對(duì)每個(gè)圖像中的采集點(diǎn)確定點(diǎn)位置并且計(jì)算與每個(gè)圖像中的每個(gè)點(diǎn)位置的不同深度對(duì)應(yīng)的置信度得分集合，其中每個(gè)置信度得分基于投射點(diǎn)圖案數(shù)據(jù)以及與每個(gè)同步圖像中的點(diǎn)位置的匹配關(guān)系。該深度估計(jì)器進(jìn)一步基于置信度得分估計(jì)每個(gè)點(diǎn)位置處的深度。每個(gè)點(diǎn)位置可以對(duì)應(yīng)于亞像素位置。

置信度得分可以基于點(diǎn)位置與投射點(diǎn)圖案數(shù)據(jù)之間的匹配鄰居的數(shù)目，和/或基于表示采集點(diǎn)的位置和表示不同深度處的投射點(diǎn)圖案數(shù)據(jù)的圖案矢量的集合。表示采集點(diǎn)的位置的矢量可以包括表示采集點(diǎn)的位置周圍的鄰居的位矢量，并且圖案矢量的集合可以包括表示不同深度處的投射點(diǎn)位置周圍的鄰居的位矢量。置信度得分的集合可以基于表示采集點(diǎn)的位置周圍的鄰居的位矢量與表示不同深度的投射點(diǎn)位置周圍的鄰居的位矢量的集合的接近度。

深度估計(jì)器可以基于統(tǒng)計(jì)信息來(lái)移除至少一個(gè)點(diǎn)。該深度估計(jì)器可以進(jìn)一步用于針對(duì)特定像素的沖突深度，并且在檢測(cè)到?jīng)_突深度時(shí)基于該像素的置信度得分來(lái)選擇一個(gè)深度。

該深度估計(jì)器可以針對(duì)點(diǎn)位置之間的像素對(duì)深度值進(jìn)行內(nèi)插。該內(nèi)插可以基于置信度得分和/或邊緣檢測(cè)。

一個(gè)或多個(gè)方面針對(duì)于對(duì)圖像進(jìn)行處理以確定該圖像內(nèi)的點(diǎn)位置，其中點(diǎn)位置處于亞像素分辨率。針對(duì)每個(gè)點(diǎn)位置計(jì)算深度數(shù)據(jù)，包括訪問(wèn)不同深度的已知投射器圖案數(shù)據(jù)，以基于將點(diǎn)位置數(shù)據(jù)與每個(gè)深度的投射器圖案數(shù)據(jù)進(jìn)行匹配來(lái)確定該深度的置信度得分。深度值基于與該像素相關(guān)聯(lián)的點(diǎn)亞像素位置的置信度得分而被估計(jì)。針對(duì)處于與深度值相關(guān)聯(lián)的像素之間的像素，使用內(nèi)插來(lái)找出深度值。深度值的內(nèi)插可以使用加權(quán)內(nèi)插，該加權(quán)內(nèi)插基于與內(nèi)插操作中所使用的像素相關(guān)聯(lián)的點(diǎn)亞像素位置的置信度得分。

點(diǎn)位置可以被包含為壓縮數(shù)據(jù)結(jié)構(gòu)內(nèi)的數(shù)據(jù)。這通過(guò)如下來(lái)實(shí)現(xiàn)：將數(shù)據(jù)進(jìn)行壓縮以排除至少一些在與像素位置相關(guān)聯(lián)的亞像素中不具有點(diǎn)的像素。

針對(duì)不同深度的每個(gè)點(diǎn)位置計(jì)算深度數(shù)據(jù)可以包括針對(duì)左圖像點(diǎn)確定左置信度得分和針對(duì)右圖像點(diǎn)確定右置信度得分。確定深度值可以包括選擇與最高置信度對(duì)應(yīng)的深度，包括單獨(dú)對(duì)每個(gè)深度的左和右置信度進(jìn)行評(píng)估以及當(dāng)被組合在一起時(shí)對(duì)這些置信度進(jìn)行評(píng)估。

基于將點(diǎn)位置數(shù)據(jù)與投射器圖案數(shù)據(jù)相匹配來(lái)計(jì)算深度數(shù)據(jù)可以包括關(guān)于每個(gè)相鄰位置是否包含點(diǎn)來(lái)評(píng)估每個(gè)相鄰位置。計(jì)算該深度數(shù)據(jù)可以包括計(jì)算表示點(diǎn)位置的矢量以及該點(diǎn)位置周圍的鄰居。

一個(gè)或多個(gè)方面涉及估計(jì)多個(gè)像素中的每一個(gè)的深度數(shù)據(jù)，包括對(duì)均采集利用投射點(diǎn)所照亮的場(chǎng)景的至少兩個(gè)同步圖像進(jìn)行處理以確定圖像中的點(diǎn)位置，并且針對(duì)每個(gè)圖像中的每個(gè)點(diǎn)位置確定表示點(diǎn)相關(guān)數(shù)據(jù)與不同深度的已知投射點(diǎn)圖案數(shù)據(jù)匹配得如何的置信度得分。該置信度得分可以被用來(lái)估計(jì)深度數(shù)據(jù)。

本文還描述了生成深度圖，包括使用深度數(shù)據(jù)來(lái)估計(jì)與點(diǎn)位置對(duì)應(yīng)的像素處的像素深度，并且使用這些像素深度值和置信度得分來(lái)針對(duì)點(diǎn)位置之間的像素的值進(jìn)行內(nèi)插。進(jìn)一步描述了對(duì)已知的投射點(diǎn)圖案數(shù)據(jù)進(jìn)行校準(zhǔn)，包括確定不同深度處的點(diǎn)圖案位置，并且將已知的投射點(diǎn)圖案數(shù)據(jù)保存在至少一個(gè)數(shù)據(jù)結(jié)構(gòu)中。

示例操作環(huán)境

能夠容易理解的是，以上描述的實(shí)施方式及其替換方式可以在任何合適的計(jì)算設(shè)備上被實(shí)施，包括游戲系統(tǒng)、個(gè)人計(jì)算機(jī)、平板電腦、DVD、機(jī)頂盒、智能電話等。當(dāng)多個(gè)這樣的設(shè)備被鏈接在一起時(shí)，這樣的設(shè)備的組合也是可行的。出于描述的目的，以下描述一種游戲(包括媒體)系統(tǒng)，以作為一種示例性操作環(huán)境。

圖13是示例游戲和媒體系統(tǒng)1300的功能框圖并且該圖更詳細(xì)示出了功能組件?？刂婆_(tái)1301具有中央處理單元(CPU)1302以及存儲(chǔ)器控制器1303，該存儲(chǔ)器控制器1303便于處理器訪問(wèn)各種類型的存儲(chǔ)器，包括閃存只讀存儲(chǔ)器(ROM)1304、隨機(jī)存取存儲(chǔ)器(RAM)1306、硬盤驅(qū)動(dòng)器1308以及便攜式媒體驅(qū)動(dòng)器1309。在一種實(shí)施方式中，CPU 1302包括1級(jí)高速緩存1310和2級(jí)高速緩存1312，這些高速緩存用于臨時(shí)存儲(chǔ)數(shù)據(jù)并且因此減少對(duì)硬盤驅(qū)動(dòng)器進(jìn)行的存儲(chǔ)器訪問(wèn)周期的數(shù)目，從而提高了處理速度和吞吐量。

CPU 1302、存儲(chǔ)器控制器1303以及各種存儲(chǔ)器設(shè)備經(jīng)由一個(gè)或多個(gè)總線(未示出)互連。在這個(gè)實(shí)施方式中所使用的總線的細(xì)節(jié)與對(duì)此處所討論的主題的理解并不特別相關(guān)。然而，將理解的是，這樣的總線可以包括以下一個(gè)或多個(gè)總線：使用各種總線體系結(jié)構(gòu)中的任何結(jié)構(gòu)的串行和并行總線、存儲(chǔ)器總線、外圍總線以及處理器或局部總線。作為示例，這樣的架構(gòu)可以包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線、微通道結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(huì)(VESA)局部總線、以及也被稱為夾層總線(Mezzanine bus)的外圍部件互連(PCI)總線。

在一種實(shí)施方式中，CPU 1302、存儲(chǔ)器控制器1303、ROM 1304以及RAM 1306被集成到公共的模塊1314上。在此實(shí)施方式中，ROM1304被配置為經(jīng)由外圍部件互連(PCI)總線之類的總線以及ROM總線之類的總線(兩者均未示出)連接到存儲(chǔ)器控制器1303的閃存ROM。RAM 1306可以被配置為多個(gè)雙倍數(shù)據(jù)速率同步動(dòng)態(tài)RAM(DDR SDRAM)模塊，這些模塊被存儲(chǔ)器控制器1303經(jīng)由分離的總線(未示出)而獨(dú)立地控制。硬盤驅(qū)動(dòng)器1308和便攜式媒體驅(qū)動(dòng)器1309被示為經(jīng)由PCI總線和AT附接(ATA)總線1316而連接到存儲(chǔ)器控制器1303。然而，在其它實(shí)施方式中，也可以備選地應(yīng)用不同類型的專用數(shù)據(jù)總線結(jié)構(gòu)。

三維圖形處理單元1320和視頻編碼器1322構(gòu)成了視頻處理管線，以用于高速和高分辨率(例如，高清晰度)圖形處理。數(shù)據(jù)經(jīng)由數(shù)字視頻總線(未示出)從圖形處理單元1320傳遞到視頻編碼器1322。音頻處理單元1324和音頻編解碼器(編碼器/解碼器)1326構(gòu)成了對(duì)應(yīng)的音頻處理管線，以用于對(duì)各種數(shù)字音頻格式進(jìn)行多通道音頻處理。經(jīng)由通信鏈路(未示出)在音頻處理單元1324和音頻編解碼器1326之間傳送音頻數(shù)據(jù)。視頻和音頻處理管線向A/V(音頻/視頻)端口1328輸出數(shù)據(jù)，以便傳輸?shù)诫娨暀C(jī)或其它顯示器/揚(yáng)聲器。在圖示的實(shí)施方式中，視頻和音頻處理組件1320、1322、1324、1326和1328被安裝在模塊1314上。

圖13示出了模塊1314包括USB主控制器1330和網(wǎng)絡(luò)接口(NW I/F)1332，網(wǎng)絡(luò)接口1332可包括有線和/或無(wú)線組件。USB主控制器1330被示為經(jīng)由總線(例如，PCI總線)與CPU 1302和存儲(chǔ)器控制器1303進(jìn)行通信并且用作外圍控制器1334的主機(jī)。網(wǎng)絡(luò)接口1332提供對(duì)網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問(wèn)并且可以是各種不同的有線和無(wú)線接口組件中的任何一種，包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等。

在圖13中描繪的示例實(shí)施方式中，控制臺(tái)1301包括用于支持四個(gè)控制器1341(1)-1341(4)的控制器支持子部件1340?？刂破髦С肿硬考?340包括支持與外部控制設(shè)備的有線和/或無(wú)線操作所需的任何硬件和軟件組件，這樣的外部控制設(shè)備諸如舉例而言是媒體和游戲控制器。前面板I/O子部件1342支持暴露在控制臺(tái)1301的外表面上的電源按鈕1343、彈出按鈕1344以及任何其它按鈕和任何LED(發(fā)光二極管)或其它指示器等的多個(gè)功能。子部件1340和1342經(jīng)由一個(gè)或多個(gè)線纜子部件1346等與模塊1314通信。在其它實(shí)施方式中，控制臺(tái)1301可以包括另外的控制器子部件。圖示的實(shí)施方式還示出了光學(xué)I/O接口1348，該光學(xué)I/O接口1348被配置為發(fā)送和接收可傳送給模塊1314的信號(hào)(例如來(lái)自遙控器1349的信號(hào))。

存儲(chǔ)器單元(MU)1350(1)和1350(2)被圖示為分別可連接到MU端口“A”1352(1)和“B”1352(2)。每一個(gè)MU 1350都提供附加存儲(chǔ)，在該附加存儲(chǔ)上可以存儲(chǔ)游戲、游戲參數(shù)以及其它數(shù)據(jù)。在一些實(shí)施方式中，其它數(shù)據(jù)可以包括以下一項(xiàng)或多項(xiàng)：數(shù)字游戲組件、可執(zhí)行的游戲應(yīng)用，用于擴(kuò)展游戲應(yīng)用的指令集以及媒體文件。當(dāng)被插入到控制臺(tái)1301中時(shí)，每個(gè)MU 1350能夠由存儲(chǔ)器控制器1303訪問(wèn)。

系統(tǒng)供電模塊1354向游戲系統(tǒng)1300的組件供電。風(fēng)扇1356冷卻控制臺(tái)1301內(nèi)的電路。

包括機(jī)器指令的應(yīng)用1360通常被存儲(chǔ)在硬盤驅(qū)動(dòng)器1308上。當(dāng)控制臺(tái)1301通電時(shí)，應(yīng)用1360的各個(gè)部分被加載到RAM 1306和/或高速緩存1310和1312上以供在CPU 1302上執(zhí)行。一般而言，應(yīng)用1360可以包括一個(gè)或多個(gè)程序模塊，用于執(zhí)行各種顯示功能，諸如控制對(duì)話屏幕在顯示器上(例如，高分辨率監(jiān)視器)呈現(xiàn)、基于用戶輸入控制會(huì)話以及控制在控制臺(tái)1301與外部連接設(shè)備之間的數(shù)據(jù)傳輸和接收。

可以通過(guò)將游戲系統(tǒng)1300連接到高分辨率監(jiān)視器、電視機(jī)、視頻投射器或其它顯示設(shè)備來(lái)將該系統(tǒng)作為獨(dú)立系統(tǒng)進(jìn)行操作。在此獨(dú)立模式下，游戲系統(tǒng)1300允許一個(gè)或多個(gè)玩家玩游戲或欣賞數(shù)字媒體，例如觀看電影或聆聽音樂(lè)。然而，隨著通過(guò)網(wǎng)絡(luò)接口1332使得寬帶連接的集成成為可能，游戲系統(tǒng)1300還可以作為更大的網(wǎng)絡(luò)游戲社區(qū)或系統(tǒng)的參與組件來(lái)進(jìn)行操作。

結(jié)語(yǔ)

盡管易于對(duì)本發(fā)明做出各種修改和替換構(gòu)造，但本發(fā)明的某些說(shuō)明性實(shí)施例在附圖中被示出并且在上文被詳細(xì)描述。然而，應(yīng)當(dāng)理解，這并不旨在將本發(fā)明局限于所公開的具體形式，而是相反地，旨在覆蓋落入本發(fā)明的精神和范圍之內(nèi)的所有修改、替換構(gòu)造和等效方案。