服務(wù)提供方和設(shè)備制造商(例如，無線、小區(qū)等)持續(xù)地面臨著例如通過提供具有競爭力的網(wǎng)絡(luò)服務(wù)而向消費(fèi)者傳遞價(jià)值和便利的挑戰(zhàn)。一個(gè)研發(fā)領(lǐng)域已經(jīng)使得用戶設(shè)備(例如，移動電話、平板電腦、相機(jī)等)的被用戶用來捕捉或生成媒體內(nèi)容(例如，圖像、視頻、音頻等)的能力有所提升。在許多情況下，用戶設(shè)備能夠確定元數(shù)據(jù)并將其與媒體內(nèi)容項(xiàng)進(jìn)行關(guān)聯(lián)，其中該元數(shù)據(jù)例如可以包括位置信息(例如，全球定位系統(tǒng)(GPS)坐標(biāo))、日期、時(shí)間、用戶信息等。在一些情況下，使用三維(3D)重構(gòu)技術(shù)，可能關(guān)于真實(shí)世界位置來準(zhǔn)確記錄媒體內(nèi)容并且在其它應(yīng)用(例如，3D地圖應(yīng)用)中加以利用。例如，用戶可能希望使用該用戶所捕捉的某個(gè)建筑物的圖像以用于在地圖應(yīng)用中進(jìn)行整合和渲染，其可以根據(jù)該建筑物的位置信息(例如，在圖像文件的元數(shù)據(jù)中)而疊加在地圖上。因此，服務(wù)提供方和設(shè)備制造商在對媒體內(nèi)容進(jìn)行準(zhǔn)確處理并記錄以便在3D地圖和其它應(yīng)用中使用時(shí)面臨重大的技術(shù)挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)要素：

因此，需要一種用于準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的方法。

根據(jù)一個(gè)實(shí)施例，一種方法包括確定至少一個(gè)圖像中的至少一個(gè)第一像素，該至少一個(gè)第一像素幾何對應(yīng)于至少一個(gè)已渲染的三維地圖的至少一個(gè)第二像素。該方法還包括處理以下項(xiàng)和/或促成對其的處理：(a)該至少一個(gè)第一像素；(b)該至少一個(gè)第二像素；(c)與該至少一個(gè)第一像素和該至少一個(gè)第二像素中的至少一個(gè)相關(guān)聯(lián)的元數(shù)據(jù)；或(d)它們的組合，以確定至少一個(gè)置信度值，其中該至少一個(gè)置信度值指示由于將該至少一個(gè)第一像素投影到該至少一個(gè)第二像素上所導(dǎo)致的幾何失真的估計(jì)的水平。另外，該方法包括至少部分地基于該置信度值而確定是否至少部分地導(dǎo)致該至少一個(gè)第一像素到該至少一個(gè)已渲染的三維地圖上的渲染。

根據(jù)另一個(gè)實(shí)施例，一種裝置包括至少一個(gè)處理器，以及包括用于一個(gè)或多個(gè)計(jì)算機(jī)程序的計(jì)算機(jī)程序代碼的至少一個(gè)存儲器，該至少一個(gè)存儲器和計(jì)算機(jī)程序代碼被配置為與該至少一個(gè)處理器一起而至少部分地導(dǎo)致該裝置確定至少一個(gè)圖像中的至少一個(gè)第一像素，該至少一個(gè)第一像素幾何對應(yīng)于至少一個(gè)已渲染的三維地圖的至少一個(gè)第二像素。該裝置還被導(dǎo)致處理以下項(xiàng)和/或促成對其的處理：(a)該至少一個(gè)第一像素；(b)該至少一個(gè)第二像素；(c)與該至少一個(gè)第一像素和該至少一個(gè)第二像素中的至少一個(gè)相關(guān)聯(lián)的元數(shù)據(jù)；或(d)它們的組合，以確定至少一個(gè)置信度值，其中該至少一個(gè)置信度值指示由于將該至少一個(gè)第一像素投影到該至少一個(gè)第二像素上所造成的幾何失真的估計(jì)的水平。另外，該裝置被導(dǎo)致至少部分地基于該置信度值而確定是否至少部分地導(dǎo)致該至少一個(gè)第一像素到該至少一個(gè)已渲染的三維地圖上的渲染。

根據(jù)另一個(gè)實(shí)施例，一種計(jì)算機(jī)可讀存儲介質(zhì)承載一個(gè)或多個(gè)指令的一個(gè)或多個(gè)序列，當(dāng)被一個(gè)或多個(gè)處理器所執(zhí)行時(shí)，其至少部分地導(dǎo)致裝置確定至少一個(gè)圖像中的至少一個(gè)第一像素，該至少一個(gè)第一像素幾何對應(yīng)于至少一個(gè)已渲染的三維地圖的至少一個(gè)第二像素。該裝置還被導(dǎo)致處理以下項(xiàng)和/或促成對其的處理：(a)該至少一個(gè)第一像素；(b)該至少一個(gè)第二像素；(c)與該至少一個(gè)第一像素和該至少一個(gè)第二像素中的至少一個(gè)相關(guān)聯(lián)的元數(shù)據(jù)；或(d)它們的組合，以確定至少一個(gè)置信度值，其中該至少一個(gè)置信度值指示由于將該至少一個(gè)第一像素投影到該至少一個(gè)第二像素上所導(dǎo)致的幾何失真的估計(jì)的水平。另外，該裝置被導(dǎo)致至少部分地基于該置信度值而確定是否至少部分導(dǎo)致該至少一個(gè)第一像素到該至少一個(gè)已渲染的三維地圖上的渲染。

根據(jù)另一個(gè)實(shí)施例，一種裝置包括用于確定至少一個(gè)圖像中的至少一個(gè)第一像素的部件，該至少一個(gè)第一像素幾何對應(yīng)于至少一個(gè)已渲染的三維地圖的至少一個(gè)第二像素。該裝置還包括用于處理以下項(xiàng)和/或促成對其的處理的部件：(a)該至少一個(gè)第一像素；(b)該至少一個(gè)第二像素；(c)與該至少一個(gè)第一像素和該至少一個(gè)第二像素中的至少一個(gè)相關(guān)聯(lián)的元數(shù)據(jù)；或(d)它們的組合，以確定至少一個(gè)置信度值，其中該至少一個(gè)置信度值指示由于將該至少一個(gè)第一像素投影到該至少一個(gè)第二像素上所造成的幾何失真的估計(jì)的水平。另外，該裝置包括用于至少部分地基于該置信度值而確定是否至少部分地導(dǎo)致該至少一個(gè)第一像素到至少一個(gè)已渲染的三維地圖上的渲染的部件。

此外，針對本發(fā)明的各個(gè)示例實(shí)施例，可應(yīng)用以下內(nèi)容：一種方法，包括促成對(1)數(shù)據(jù)和/或(2)信息和/或(3)至少一個(gè)信號的處理和/或?qū)ζ溥M(jìn)行處理，該(1)數(shù)據(jù)和/或(2)信息和/或(3)至少一個(gè)信號至少部分地基于本申請中關(guān)于本發(fā)明的任意實(shí)施例所公開的方法(或處理)中的任意一種或者任意組合(或者至少部分地從其得出)。

針對本發(fā)明的各個(gè)示例實(shí)施例，還可應(yīng)用以下內(nèi)容：一種方法包括促成對至少一個(gè)接口的訪問，該接口被配置為允許對至少一個(gè)服務(wù)進(jìn)行訪問，該至少一個(gè)服務(wù)被配置為執(zhí)行本申請中所公開的網(wǎng)絡(luò)或服務(wù)提供方的方法(或處理)中的任意一種或者任意組合。

針對本發(fā)明的各個(gè)示例實(shí)施例，還可應(yīng)用以下內(nèi)容：一種方法，包括促成創(chuàng)建和/或促成修改(1)至少一個(gè)設(shè)備用戶接口元件和/或(2)至少一個(gè)設(shè)備用戶接口功能，該(1)至少一個(gè)設(shè)備用戶接口元件和/或(2)至少一個(gè)設(shè)備用戶接口功能至少部分地基于由本申請中關(guān)于本發(fā)明的任意實(shí)施例所公開的方法或處理之一或任意組合所產(chǎn)生的數(shù)據(jù)和/或信息，和/或由本申請中關(guān)于本發(fā)明的任意實(shí)施例所公開的方法(或處理)之一或任意組合所產(chǎn)生的至少一個(gè)信號。

針對本發(fā)明的各個(gè)示例實(shí)施例，還可應(yīng)用以下內(nèi)容：一種方法，包括創(chuàng)建和/或修改(1)至少一個(gè)設(shè)備用戶接口元件和/或(2)至少一個(gè)設(shè)備用戶接口功能，該(1)至少一個(gè)設(shè)備用戶接口元件和/或(2)至少一個(gè)設(shè)備用戶接口功能至少部分地基于由本申請中關(guān)于本發(fā)明的任意實(shí)施例所公開的方法(或處理)之一或任意組合所產(chǎn)生的數(shù)據(jù)和/或信息，和/或由本申請中關(guān)于本發(fā)明的任意實(shí)施例所公開的方法(或處理)之一或任意組合所產(chǎn)生的至少一個(gè)信號。

在各個(gè)示例實(shí)施例中，該方法(或處理)能夠在服務(wù)提供方一側(cè)或移動設(shè)備一側(cè)完成，或者以共享的方式在服務(wù)提供方和移動設(shè)備之間利用在兩側(cè)執(zhí)行的動作來完成。

針對各個(gè)示例實(shí)施例，可應(yīng)用以下內(nèi)容：一種裝置，包括用于執(zhí)行根據(jù)原始提交的權(quán)利要求1-15、31-45和66-68中任一項(xiàng)所述的方法的部件。

通過簡單地對包括預(yù)期執(zhí)行本發(fā)明的最佳模式在內(nèi)的多個(gè)特定實(shí)施例和實(shí)施方式進(jìn)行說明，本發(fā)明的另外其它的方法、特征和優(yōu)勢將由于以下詳細(xì)描述而是輕易顯而易見的。本發(fā)明還能夠?yàn)槠渌也煌膶?shí)施例，并且其若干細(xì)節(jié)能夠以各種顯然的方式進(jìn)行修改，而并不背離本發(fā)明的精神和范圍。因此，附圖和描述要被認(rèn)為其本質(zhì)上是說明性而非限制性的。

附圖說明

在附圖的圖示中通過示例而非限制圖示了本發(fā)明的實(shí)施例：

圖1是根據(jù)一個(gè)實(shí)施例的能夠準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的系統(tǒng)的示圖；

圖2是根據(jù)一個(gè)實(shí)施例的能夠準(zhǔn)確處理并記錄媒體內(nèi)容以用于在3D地圖或其它應(yīng)用中進(jìn)行渲染的用戶設(shè)備的組件的示圖；

圖3是根據(jù)一個(gè)實(shí)施例的用于處理多個(gè)圖像的像素以便渲染至三維模型上的處理的概述的圖示；

圖4至圖7是根據(jù)各個(gè)實(shí)施例的用于對第一圖像和第二圖像的像素進(jìn)行處理以確定將第一像素渲染至第二圖像的三維渲染上的置信度值的流程圖；

圖8圖示了根據(jù)各個(gè)實(shí)施例的各種相機(jī)與相機(jī)和相機(jī)視場中的物體之間的相關(guān)聯(lián)射線；

圖9A和圖9B圖示了根據(jù)各個(gè)實(shí)施例的媒體應(yīng)用中的對象的渲染；

圖9C和圖9D包括根據(jù)各個(gè)實(shí)施例的用于在渲染物體時(shí)生成并分析深度偏移量值的處理流程圖；

圖9E至圖9G圖示了根據(jù)各個(gè)實(shí)施例的在物體渲染中對深度偏移量值的分析的圖形表示形式；

圖10是根據(jù)一個(gè)實(shí)施例的在圖4到圖7的處理中所采用的地心地固(ECEF)笛卡爾坐標(biāo)系的示圖；

圖11圖示了根據(jù)一個(gè)實(shí)施例的在圖4到圖7的處理中所采用的笛卡爾坐標(biāo)系(CCS)的其原點(diǎn)被限制于地球上的3D局部系統(tǒng)以及三條軸線(X-Y-Z)；

圖12是根據(jù)一個(gè)實(shí)施例的在圖4到圖7的處理中所采用的3D空間中的相機(jī)方位的示圖；

圖13是根據(jù)一個(gè)實(shí)施例的在圖4到圖7的處理中所采用的CCS_3D_ECEF中的相機(jī)姿態(tài)的示圖；

圖14是能夠被用來實(shí)施本發(fā)明實(shí)施例的硬件的示圖；

圖15是能夠被用來實(shí)施本發(fā)明實(shí)施例的芯片組的示圖；和

圖16是能夠被用來實(shí)施本發(fā)明實(shí)施例的移動終端(例如，手機(jī))的示圖。

具體實(shí)施方式

公開了用于準(zhǔn)確處理并記錄媒體內(nèi)容以用于在3D地圖和其它應(yīng)用中進(jìn)行渲染的方法、裝置和計(jì)算機(jī)程序的示例。在以下描述中，出于解釋的目的，給出了多個(gè)具體細(xì)節(jié)以便提供對本發(fā)明實(shí)施例的全面理解。然而，對于本領(lǐng)域技術(shù)人員顯而易見的是，可以沒有這些具體細(xì)節(jié)或者利用等同布置來實(shí)踐本發(fā)明的實(shí)施例。在其它實(shí)例中，公知結(jié)構(gòu)和設(shè)備以框圖形式示出以避免對本發(fā)明的實(shí)施例造成不必要的混淆。

諸如GPS位置和本地相機(jī)姿態(tài)之類的不同類型的地理位置元數(shù)據(jù)可以被媒體呈現(xiàn)應(yīng)用和服務(wù)在經(jīng)由增強(qiáng)現(xiàn)實(shí)(AR)或虛擬現(xiàn)實(shí)(VR)方法渲染媒體內(nèi)容時(shí)所使用。例如，用戶所捕捉的興趣點(diǎn)(POI)的圖像可以在地圖中呈現(xiàn)該P(yáng)OI的地理位置時(shí)進(jìn)行整合或疊加。例如，包括人、車輛、建筑物等的某個(gè)街景的圖像可以被投影到能夠在3D地圖應(yīng)用中獲得的該街景的3D模型上，其中該3D模型可以從多種來源進(jìn)行構(gòu)造，例如光檢測和測距(LIDAR)點(diǎn)云、照片、公共數(shù)據(jù)庫等。然而，某個(gè)景象的3D構(gòu)造模型可能包括不準(zhǔn)確性，其中該景象中的3D物體(例如，建筑物的窗戶)的某些細(xì)節(jié)可能并不精確或者該3D模型可能丟失會出現(xiàn)在該景象的圖像/視頻之中的某些物體(例如，人、車輛、樹等)。而且，在一些情況下，捕捉景象圖像的相機(jī)/設(shè)備的位置信息可以在地圖中作為虛擬相機(jī)被采用和渲染，這允許對地圖的呈現(xiàn)的用戶交互和操控。例如，用戶可以改變虛擬相機(jī)的視角以用于從地圖中不同的虛擬位置進(jìn)行觀看。在一種情形中，3D地圖提供了深度和高度形式的增加信息，而且提供了通過自由移動虛擬相機(jī)觀看地圖的更大自由度。然而，雖然可能重構(gòu)圖像或視頻相機(jī)的姿態(tài)，但是以有意義且在審美上令人愉悅的方式對媒體內(nèi)容進(jìn)行視覺化仍然具有挑戰(zhàn)，這例如是因?yàn)樵?D地圖中使用的圖像視覺化方法并不容易擴(kuò)展至3D地圖。在一些情形中，可以通過將所選擇的圖像集合映射在3D地圖數(shù)據(jù)上并且根據(jù)觀看參數(shù)將它們混合而將地理定位圖像在3D地圖環(huán)境中進(jìn)行視覺化，從而能夠向用戶呈現(xiàn)相干且交互式的3D視圖。在與圖像細(xì)節(jié)進(jìn)行比較時(shí)，底層3D幾何的一些或部分仍然會是明顯不準(zhǔn)確的，這會導(dǎo)致視覺假象，因?yàn)樗队暗膱D像會由于缺少深度信息而沒有對準(zhǔn)。在其它實(shí)例中，一些地理位置的3D幾何數(shù)據(jù)可能根本就無法獲得。

為了解決該問題，圖1的系統(tǒng)100引入了用于準(zhǔn)確處理并記錄媒體內(nèi)容以用于在3D地圖和其它應(yīng)用中進(jìn)行渲染的能力。在各個(gè)實(shí)施例中，一個(gè)或多個(gè)用戶圖像和視頻能夠在基于觀看角度和距離實(shí)時(shí)合成的3D地圖上作為所投影的“聚光燈”進(jìn)行渲染。例如，可以經(jīng)由3D地圖應(yīng)用呈現(xiàn)具有多個(gè)圖像聚光燈的場景視圖，其中聚光燈可以在更接近于圖像進(jìn)行移動時(shí)有所擴(kuò)展。在一個(gè)實(shí)施例中，聚光燈被動態(tài)調(diào)節(jié)從而示出圖像中可能在基本上沒有失真的情況下被示出的部分或者與該部分相關(guān)聯(lián)。由于圖像直接在地圖上進(jìn)行渲染，而不是漂浮在地平面上方，所以將容易看到每個(gè)圖像的主體而其中地圖的整體視圖則能夠保持整潔。另外，圖像之間的轉(zhuǎn)換將是平滑且無縫的。例如，當(dāng)虛擬相機(jī)與原始相機(jī)處于相同位置時(shí)，隨后就能夠完整地看到圖像。在一個(gè)實(shí)例中，當(dāng)虛擬相機(jī)遠(yuǎn)離時(shí)，隨后圖像就逐漸淡出從而與底層3D地圖最佳對準(zhǔn)的圖像部分可以是最后保持可見的。

在一個(gè)實(shí)例中，圖像或視頻片段的渲染可以通過使用延遲著色和投影變形來實(shí)施。例如，在以傳統(tǒng)方式渲染3D地圖的同時(shí)，用戶設(shè)備上的處理器/算法(例如，圖形處理器)能夠?qū)⒌貓D場景的深度緩沖器捕捉到OpenGL(例如，應(yīng)用編程接口(API))幀緩沖對象或Direct3D(API)表面之中。在一個(gè)實(shí)施例中，能夠利用從在圖像記錄階段所推導(dǎo)處的用戶設(shè)備/相機(jī)參數(shù)所重構(gòu)的體(volume)幾何形狀而將各種數(shù)量的用戶圖像渲染為3D地圖體。此外，針對圖像體所覆蓋的每個(gè)像素，像素著色器中的深度緩沖器可以被用來重構(gòu)其3D坐標(biāo)并且計(jì)算其在所投影圖像內(nèi)的位置。更具體地，能夠針對來自用戶圖像的哪個(gè)像素被投影到已渲染的3D地圖中的每個(gè)像素上進(jìn)行確定。

另外，在已經(jīng)計(jì)算了對應(yīng)于3D地圖像素的圖像像素的情況下，該處理器/算法能夠計(jì)算從3D像素位置到原始相機(jī)位置和當(dāng)前虛擬相機(jī)位置的射線之間的角度。此外，所計(jì)算出的角度信息能夠被用來計(jì)算/更新像素的累積置信度值，并且控制圖像與3D地圖的像素的混合。在一種情形中，原始和虛擬相機(jī)射線之間的角度越小，就有越多圖像可以對置信度值有所貢獻(xiàn)，因此對最終的渲染有所貢獻(xiàn)。相反低，表面法線和原始相機(jī)射線之間的角度越大，對于置信度值的貢獻(xiàn)就越小，并且因此對于最終渲染的貢獻(xiàn)就越小。換句話說，當(dāng)從與其原始被拍照/捕捉完全相同的方向觀看像素時(shí)，它是不透明的?？商鎿Q地，當(dāng)以遠(yuǎn)離原始拍攝方向的一些閾值角度觀看像素時(shí)，則其變?yōu)橥该?；而在這之間的情形中，像素透明度內(nèi)插于那兩個(gè)極值之間。

在一些情況下，當(dāng)在設(shè)備處對圖像進(jìn)行渲染時(shí)，有關(guān)該用戶設(shè)備的顯示器位置的深度偏移量值可以被生成并保存在深度偏移量值緩沖器中。在一個(gè)實(shí)施例中，可以基于抖動的深度偏移量值以及至少輸入圖像的子集而對一個(gè)或多個(gè)低分辨率候選圖像進(jìn)行渲染。此外，系統(tǒng)100可以將該渲染結(jié)果與候選圖像進(jìn)行比較，并且利用針對設(shè)備的每個(gè)屏幕位置產(chǎn)生最相干圖像的抖動偏移量值對深度偏移量值緩沖器進(jìn)行更新。此外，可以在利用經(jīng)更新的深度偏移量值使得每個(gè)像素處的主深度值發(fā)生偏移的同時(shí)渲染高分辨率的輸出圖像。在一個(gè)實(shí)施例中，該深度偏移量值緩沖器可以被保存在圖形處理單元的存儲器部分之中，而使得其能夠與存儲在深度緩沖器中的深度值動態(tài)組合。在一個(gè)示例中，該深度偏移量值緩沖器可以是低分辨率的，而使得每個(gè)像素針對4×4個(gè)屏幕像素的塊都具有8位的偏移量值。在一種情形中，通過以固定量使得現(xiàn)有深度偏移量值發(fā)生偏差，通過從相鄰像素對深度偏移量進(jìn)行采樣等，可以隨機(jī)生成抖動的深度偏移量值。

在一個(gè)實(shí)施例中，可以使用圖像的不同子集生成多個(gè)候選圖像，其能夠被分析以用于對例如相干性之類的特性進(jìn)行渲染。在另一個(gè)實(shí)施例中，可以渲染多個(gè)完整圖像，其中渲染相干性可以按像素進(jìn)行分析并且被存儲在候選圖像的側(cè)方通道中。在一些實(shí)例中，相干性分析可以包括將個(gè)體像素的紅綠藍(lán)(RGB)值進(jìn)行比較(例如，如果僅渲染一個(gè)候選圖像)，或者其可以包括將每個(gè)候選圖像中的更大像素塊進(jìn)行比較并且例如跨像素計(jì)算均方根誤差。在一個(gè)示例中，該分析可以在GPU上通過讀取候選圖像及其相應(yīng)深度偏移量值作為輸入并且更新主深度偏移量緩沖器而作為輸出來進(jìn)行。

在一個(gè)實(shí)施例中，輸入圖像或候選圖像例如可以使用高斯濾波器進(jìn)行模糊，而使得其中的高頻細(xì)節(jié)對于相干性分析的影響較小。在一種情形中，深度偏移量緩沖器可以跨多個(gè)幀進(jìn)行保持，而使得值可以隨時(shí)間以迭代方式進(jìn)行改進(jìn)。在一個(gè)實(shí)例中，在快速相機(jī)運(yùn)動期間，深度偏移量值可以從之前的視點(diǎn)反向投影至3D場景之中，其隨后可以從新的視點(diǎn)渲染回來而使得緩沖器的內(nèi)容隨3D視圖而保持不變。在一個(gè)實(shí)施例中，不同于深度偏移量值，可以使用絕對深度值，這可以經(jīng)由將每一幀處的深度緩沖器進(jìn)行變換從而適應(yīng)相機(jī)移動。

注意到，以上應(yīng)用于照片的方法能夠容易地被擴(kuò)展至具有附加特征的視頻內(nèi)容，該視頻內(nèi)容可以基于所重構(gòu)的視頻片段的3D運(yùn)動軌跡而被實(shí)時(shí)動畫呈現(xiàn)?！耙曨l聚光燈”隨后可以在3D地圖上移動，并且根據(jù)其與當(dāng)前觀看位置的接近度而淡入和淡出。

多個(gè)(例如，重疊的)圖像和視頻之間的混合能夠通過使用基本alpha混合并且按照圖像/視頻的原始相機(jī)位置與當(dāng)前視點(diǎn)的距離對圖像/視頻進(jìn)行排序來實(shí)現(xiàn)，或者使用目標(biāo)alpha通道對每一個(gè)的貢獻(xiàn)進(jìn)行求和來實(shí)現(xiàn)。后者的方法可能對于渲染順序不太敏感，但是也能夠從排序獲益。

在一個(gè)實(shí)施例中，系統(tǒng)100能夠針對在GPS中錄制的圖像或視頻定位相機(jī)姿態(tài)(例如，從元數(shù)據(jù))，從而當(dāng)用戶捕捉或上傳圖像/視頻時(shí)，系統(tǒng)能夠確定其被拍攝的位置以及每個(gè)圖像或視頻幀的準(zhǔn)確相機(jī)位置，后者可以被用于在3D渲染應(yīng)用中進(jìn)行呈現(xiàn)。

在一種情形中，系統(tǒng)100可以對圖像(例如，照片、圖像流、視頻、圖片等)進(jìn)行處理以確定圖像內(nèi)的各種要素，其中該要素可以包括建筑物、地標(biāo)或其它POI。在一些實(shí)施例中，要素的位置信息之前可能已經(jīng)被嵌入在圖像中，或者該位置信息可以由對圖像數(shù)據(jù)的進(jìn)一步處理所確定。

在一個(gè)實(shí)施例中，有關(guān)3D模型的準(zhǔn)確性的數(shù)據(jù)可以被用來對“良好”觀看角度的范圍加以限制。在一個(gè)實(shí)施例中，可以對圖像或視頻幀的內(nèi)容進(jìn)行分析以便排除圖像/視頻中的任何失焦區(qū)域。

在一個(gè)實(shí)施例中，系統(tǒng)100可以確定至少一個(gè)圖像中幾何對應(yīng)于至少一個(gè)已渲染的三維地圖中的至少一個(gè)第二像素的至少一個(gè)第一像素。在一個(gè)實(shí)施例中，用戶設(shè)備(例如，移動設(shè)備)處的圖形處理器可以對能夠在設(shè)備處獲得或者能夠從一個(gè)或多個(gè)外部源(例如，內(nèi)容提供方)獲得的對象的一個(gè)或多個(gè)圖像進(jìn)行處理，其中該處理包括確定一個(gè)或多個(gè)圖像的至少一個(gè)第一像素是否對應(yīng)于至少一個(gè)已渲染的地圖中的對象的三維模型的至少一個(gè)第二像素。例如，用戶可以在用戶設(shè)備上具有POI(例如，建筑物)的圖像，并且他可能想要經(jīng)由3D地圖應(yīng)用中的呈現(xiàn)形式來觀看該圖像，其中用戶設(shè)備中的處理器可以對圖像的像素進(jìn)行處理來確定它們是否在幾何上對應(yīng)于在地圖應(yīng)用中已渲染的POI的模型的像素。

在一個(gè)實(shí)施例中，系統(tǒng)100可以對以下進(jìn)行處理和/或促成其處理：(a)至少一個(gè)第一像素；(b)至少一個(gè)第二像素；(c)與至少一個(gè)第一像素和第二像素中的至少一個(gè)相關(guān)聯(lián)的元數(shù)據(jù)；或(d)它們的組合，從而確定至少一個(gè)置信度值，其中該至少一個(gè)置信度值指示由于將該至少一個(gè)第一像素投影到該至少一個(gè)第二像素上所導(dǎo)致的幾何失真的估計(jì)的水平。在一個(gè)實(shí)施例中，與第一圖像和/或第一像素相關(guān)聯(lián)的元數(shù)據(jù)可以包括第一圖像和/或像素的位置信息，其中該位置信息可以參照局部或全局位置坐標(biāo)系。另外，第一像素的位置信息可以被用來與第二圖像的像素的位置信息進(jìn)行比較，以用于確定兩個(gè)像素在第一像素被投影到第二像素上時(shí)對準(zhǔn)得如何。此外，可以計(jì)算置信度值來指示第一像素被投影到第二像素上的失真。在各個(gè)實(shí)施例中，置信度值的計(jì)算可以至少部分地基于入射(圖像射線到表面)和觀看(圖像射線到虛擬相機(jī)射線)角度，所投影圖像的分辨率(例如，第一圖像的分辨率)、圖像失真的直接測量，例如所投影圖像的坐標(biāo)的部分地導(dǎo)數(shù)，等等。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于該置信度值而確定是否至少部分將至少一個(gè)第一像素渲染到至少一個(gè)所渲染的三維地圖上。在一種情形中，用戶設(shè)備處的處理器可以利用該置信度值來確定是否使用第一圖像的像素以便投影到第二圖像的像素上。例如，具有較低置信度值的第一像素可以指示在其被投影到3D地圖/模型的第二像素上的情況下的失真。

在一個(gè)實(shí)施例中，系統(tǒng)100可以確定與至少一個(gè)已渲染的三維地圖的至少一個(gè)用戶交互。在一種情形中，用戶可以利用用戶設(shè)備處的UI特征與用戶設(shè)備處的3D地圖應(yīng)用的渲染進(jìn)行交互，其中該用戶可能希望對地圖中的虛擬視角進(jìn)行操控；例如從不同角度、不同距離、不同高度等。在一個(gè)實(shí)施例中，至少一個(gè)用戶交互導(dǎo)致以下的變化：(a)至少一個(gè)已渲染的三維地圖的至少一個(gè)虛擬相機(jī)位置，(b)至少一個(gè)第一像素、至少一個(gè)第一圖像、至少一個(gè)第二像素和至少一個(gè)已渲染的三維地圖中的至少一個(gè)的至少一種渲染特性；或(c)它們的組合；并且其中該至少一種渲染特性至少部分包括衰減參數(shù)、切換參數(shù)、大小參數(shù)，或者它們的組合。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于至少一個(gè)用戶交互而至少部分地導(dǎo)致至少一個(gè)置信度值，至少一個(gè)第一像素到至少一個(gè)已渲染的三維地圖上的渲染，或者它們的組合被動態(tài)更新。例如，用戶交互可以使得從不同角度觀看地圖中的POI，其中不同觀看角度能夠?qū)е碌谝粓D像的像素與在地圖中已渲染的第二圖像/模型的像素的不同對準(zhǔn)。在一個(gè)實(shí)施例中，處理器可以基于用戶與3D應(yīng)用中的渲染的交互所導(dǎo)致的變化而更新置信度值以用于將第一圖像的第一像素渲染/投影到第二圖像的第二像素上。在一個(gè)實(shí)施例中，處理器能夠確定相機(jī)的場深度(例如，從EXIF數(shù)據(jù))和/或分析多個(gè)圖像的內(nèi)容以識別每個(gè)圖像中的模糊區(qū)域從而進(jìn)一步調(diào)制和更新相關(guān)聯(lián)的置信度值，例如這會導(dǎo)致每個(gè)圖像的基本上銳利的區(qū)域的呈現(xiàn)。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分將至少一個(gè)置信度值與至少一個(gè)閾值置信度標(biāo)準(zhǔn)進(jìn)行比較從而確定是否至少部分地導(dǎo)致至少一個(gè)第一像素被渲染到至少一個(gè)已渲染的三維地圖上。在各個(gè)實(shí)施例中，該閾值置信度標(biāo)準(zhǔn)可以至少部分地基于3D模型的地理精度(例如，從元數(shù)據(jù))，圖像內(nèi)容元數(shù)據(jù)的分析以便確定圖像中的模糊或銳利區(qū)域，等等。在一種情形中，如果像素的置信度值低于閾值置信度標(biāo)準(zhǔn)，則用戶設(shè)備處的處理器可以決定不將該像素用于投射到另一個(gè)像素上以便在應(yīng)用中進(jìn)行呈現(xiàn)。例如，如果第一像素的置信度值低于閾值，則其可以指示使用該第一像素會在被投影到第二像素上的情況下導(dǎo)致模糊渲染。在各個(gè)實(shí)施中，閾值置信度標(biāo)準(zhǔn)可以由用戶設(shè)備處的一個(gè)或多個(gè)應(yīng)用、設(shè)備的用戶、內(nèi)容/服務(wù)提供方、用戶設(shè)備處的資源和能力等來確定。在一個(gè)實(shí)施例中，高的置信度值可以指示不透明像素，而低的置信度值則可以指示透明像素。

在一個(gè)實(shí)施例中，系統(tǒng)100可以處理元數(shù)據(jù)和/或促成其處理以確定與至少一個(gè)圖像相關(guān)聯(lián)的至少一個(gè)第一相機(jī)位置以及與至少一個(gè)已渲染的三維地圖相關(guān)聯(lián)的至少一個(gè)第二相機(jī)位置。在一種情形中，與一個(gè)或多個(gè)圖像相關(guān)聯(lián)的元數(shù)據(jù)可以被用于確定在捕捉一個(gè)或多個(gè)圖像時(shí)所使用的一個(gè)或多個(gè)相機(jī)的位置信息。例如，該元數(shù)據(jù)可以指示位置信息，位置信息指示笛卡爾坐標(biāo)系中的X、Y和Z位置。

在一個(gè)實(shí)施例中，系統(tǒng)100可以確定至少一個(gè)第一相機(jī)位置和至少一個(gè)第二相機(jī)位置之間的至少一個(gè)偏移量，其中該至少一個(gè)置信度值進(jìn)一步至少部分地基于該偏移量。在一種情形中，一個(gè)或多個(gè)相機(jī)的位置信息被用來確定相機(jī)之間的偏移量；例如，X、Y或Z方向中的偏移量。另外，該偏移量信息能夠被用來更新與多個(gè)圖像中的多個(gè)像素相關(guān)聯(lián)的置信度值。例如，兩個(gè)相機(jī)之間的高偏移量值會導(dǎo)致與那些相機(jī)所捕捉的像素或圖像相關(guān)聯(lián)的較低的置信度值。

在一個(gè)實(shí)施例中，系統(tǒng)100可以確定從至少一個(gè)第一相機(jī)位置延伸至至少一個(gè)第一像素和至少一個(gè)第二像素中的至少一個(gè)的至少一個(gè)像素位置的至少一個(gè)第一射線。在一種情形中，與相機(jī)相關(guān)聯(lián)的元數(shù)據(jù)中的位置信息可以被用來確定從相機(jī)位置到第一圖像的第一像素和第二圖像或者與第二圖像相關(guān)聯(lián)的模型的第二像素的位置的第一射線(例如，視線)。例如，相機(jī)的坐標(biāo)(例如，X、Y和Z位置信息)可以與建筑物圖像中的像素的坐標(biāo)(例如，X、Y和Z位置信息)進(jìn)行比較以確定第一射線。在一種情形中，參考相機(jī)位置附近的地平面的像素的射線可以通過使用該相機(jī)的位置信息并且將其與地平面處的位置信息進(jìn)行比較來確定。在一個(gè)實(shí)施例中，該射線可以參考與第一相機(jī)所捕捉的POI的圖像相關(guān)聯(lián)的像素來確定。

在一個(gè)實(shí)施例中，系統(tǒng)100可以確定從至少一個(gè)第二相機(jī)位置到至少一個(gè)像素位置延伸的至少一個(gè)第二射線。在一個(gè)實(shí)施例中，與第二相機(jī)位置相關(guān)聯(lián)的位置信息(例如，虛擬相機(jī)位置)可以被用來確定第二相機(jī)和關(guān)聯(lián)于應(yīng)用中已渲染的圖像或模型的像素位置之間的第二射線。在一種情形中，第二相機(jī)位置可以從用戶與圖像或POI在3D地圖應(yīng)用中的渲染的交互而確定。

在一個(gè)實(shí)施例中，系統(tǒng)100可以確定在至少一個(gè)第一射線和至少一個(gè)第二射線之間所形成的至少一個(gè)角度，其中該置信度值至少部分地基于該至少一個(gè)角度而確定。在一個(gè)實(shí)施例中，從第一相機(jī)延伸至像素的第一射線可以與從第二相機(jī)延伸至該像素的第二射線進(jìn)行比較以便確定第一射線和第二射線之間的角度。在一個(gè)實(shí)施例中，來自第一相機(jī)的多個(gè)射線可以與來自第二相機(jī)的多個(gè)射線進(jìn)行比較以確定第一射線和第二射線之間的多個(gè)角度。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于所累加的置信度值而針對至少一個(gè)像素被渲染到至少一個(gè)已渲染的三維地圖上而確定至少一個(gè)透明度。在一個(gè)示例中，來自對象的各個(gè)圖像的要被投影到該對象的模型的像素上的像素的置信度值可以在累加緩沖器中進(jìn)行累加。在一個(gè)實(shí)施例中，該至少一個(gè)透明度水平隨著所累加的置信度值的增大而減小。在一個(gè)實(shí)施例中，低于置信度閾值的值的置信度值可以指示透明像素。

在一個(gè)實(shí)施例中，系統(tǒng)100可以確定至少一個(gè)圖像包括多個(gè)重疊圖像。在一種情形中，POI的一個(gè)或多個(gè)圖像可以被利用并且被重疊在應(yīng)用中已渲染的該P(yáng)OI的另一個(gè)圖像或模型上。例如，某個(gè)建筑物的若干圖像可以被3D地圖應(yīng)用用于與地圖應(yīng)用中已渲染的該相同建筑物的3D模型的重疊。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于置信度值而導(dǎo)致至少部分對多個(gè)重疊圖像進(jìn)行排序、混合或者它們的組合。在一種情形中，POI的多個(gè)圖像可能已經(jīng)被多個(gè)相機(jī)所捕捉，其中那些圖像可以被重疊至應(yīng)用中—例如在3D地圖應(yīng)用中—已渲染的POI的模型/圖像上。在一個(gè)示例中，每個(gè)圖像的每個(gè)像素都可以根據(jù)與每個(gè)像素相關(guān)聯(lián)的置信度值或置信度閾值標(biāo)準(zhǔn)進(jìn)行混合?；旌辖Y(jié)果可以通過渲染基于相機(jī)位置排序的圖像而有所改善，從而來自不同圖像的貢獻(xiàn)都以適用于所使用的混合函數(shù)的順序被添加至累加緩沖器。

在一個(gè)實(shí)施例中，其中至少一個(gè)圖像包括至少一個(gè)視頻，系統(tǒng)100可以針對該至少一個(gè)視頻確定至少一個(gè)三維運(yùn)動軌跡，其中該至少一個(gè)置信度值、該至少一個(gè)像素到至少一個(gè)已渲染的三維地圖上的渲染至少部分地基于該三維運(yùn)動軌跡。在一種情形中，與POI相關(guān)聯(lián)的媒體內(nèi)容可以是要在重疊到渲染應(yīng)用中的POI的另一個(gè)媒體內(nèi)容(例如，圖像)或模型上時(shí)所使用的視頻片段。例如，用戶可以具有某個(gè)城市中心的視頻，他可能想要在3D地圖應(yīng)用中進(jìn)行呈現(xiàn)時(shí)對其進(jìn)行觀看。在一個(gè)實(shí)施例中，該應(yīng)用要在那里進(jìn)行渲染的用戶設(shè)備處的處理器可以對視頻片段和/或其元數(shù)據(jù)進(jìn)行處理以便針對該視頻片段確定三維運(yùn)動軌跡。另外，置信度值或者一個(gè)或多個(gè)像素到已渲染的三維地圖上的渲染可以基于該三維運(yùn)動軌跡。例如，由于用戶設(shè)備處的用戶或應(yīng)用可以對視頻片段在3D地圖應(yīng)用中的虛擬呈現(xiàn)中的渲染進(jìn)行交換和移動，所以該視頻片段的像素的渲染的置信度值可以基于該3D運(yùn)動軌跡進(jìn)行更新。例如，該渲染在一幀中可能是模糊的而在另一幀中則是清晰的。

在一個(gè)實(shí)施例中，系統(tǒng)100可以參考第二相機(jī)位置而至少部分導(dǎo)致對至少一個(gè)圖像的至少一個(gè)深度偏移量值進(jìn)行估計(jì)。在各個(gè)實(shí)施例中，系統(tǒng)100可以利用算法基于預(yù)定值集合、步幅值或隨機(jī)值來估計(jì)深度偏移量值。例如，預(yù)定值集合可以包括一米、幾英寸、一英尺等的深度偏移量，其可以是第一圖像的位置和第二相機(jī)之間的距離偏移量。在一個(gè)實(shí)例中，深度偏移量可以是從場景幾何朝向或遠(yuǎn)離虛擬渲染相機(jī)的位置的距離偏移量。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分導(dǎo)致利用至少一個(gè)所估計(jì)的深度偏移量值對深度偏移量值緩沖器進(jìn)行更新。在一個(gè)實(shí)施例中，可以利用一個(gè)或多個(gè)迭代深度偏移量值估計(jì)對深度偏移量緩沖器進(jìn)行更新。在一個(gè)示例中，深度偏移量值緩沖器可以是低分辨率、高分辨率等的緩沖器，其可以存儲與圖像的各種塊大小(例如，8×8像素塊)相關(guān)聯(lián)的深度偏移量值。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于至少一個(gè)深度偏移量值而將至少一個(gè)圖像渲染到至少一個(gè)已渲染的三維地圖上。在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于至少一個(gè)用戶交互和至少一個(gè)深度偏移量值而將至少一個(gè)圖像渲染到至少一個(gè)已渲染的三維地圖上。在一個(gè)實(shí)施例中，一個(gè)或多個(gè)圖像或者一個(gè)或多個(gè)圖像的一個(gè)或多個(gè)部分的后續(xù)渲染可以是將下一幀渲染到屏幕位置，其基于距之前渲染的一個(gè)或多個(gè)深度偏移量值(例如，深度偏移量值)以及一個(gè)或多個(gè)新的相機(jī)位置，例如第一相機(jī)、第二相機(jī)等。

在一個(gè)實(shí)施例中，系統(tǒng)100可以參考第二相機(jī)位置而至少部分導(dǎo)致針對至少一個(gè)圖像生成至少一個(gè)新的候選深度偏移量值。在各個(gè)實(shí)施例中，系統(tǒng)100可以利用算法來估計(jì)一個(gè)或多個(gè)新的深度偏移量值，其可以基于之前存儲在深度偏移量值緩沖器的值、深度偏移量值緩沖器的大小、圖像的當(dāng)前渲染幀、相鄰/鄰近深度值、預(yù)定值集合、步幅值或隨機(jī)偏移量。在一個(gè)實(shí)例中，來自緩沖器存儲的場景幾何數(shù)據(jù)以及來自深度偏移量值緩沖器的深度偏移量值可以在生成新的候選深度偏移量值時(shí)被加以利用。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于至少一個(gè)深度偏移量值而至少部分地導(dǎo)致至少一個(gè)測試圖像到至少一個(gè)已渲染的三維地圖上的第一渲染，至少一個(gè)深度偏移量值包括場景幾何數(shù)據(jù)、投影圖像紋理數(shù)據(jù)和深度偏移量值。另外，在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于至少一個(gè)新的候選深度偏移量值而至少部分地導(dǎo)致至少一個(gè)測試圖像到至少一個(gè)已渲染的三維地圖上的第二渲染。在一個(gè)實(shí)例中，相同圖像或圖像部分可以利用新的候選值進(jìn)行渲染。

在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地導(dǎo)致對第一渲染和第二渲染進(jìn)行分析以確定與第一渲染和第二渲染相關(guān)聯(lián)的一個(gè)或多個(gè)渲染特性。在一個(gè)實(shí)施例中，該分析結(jié)果可以被用來基于之前的深度偏移量值和新的候選深度偏移量值而確定圖像渲染的質(zhì)量、相干性或匹配。例如，具有一米偏移量的圖像渲染可以與具有三米偏移量的圖像渲染進(jìn)行比較。在一個(gè)實(shí)施例中，該渲染和分析可以對圖像第一部分(例如，像素塊)進(jìn)行。在一個(gè)實(shí)施例中，系統(tǒng)100可以至少部分地基于該分析而至少部分地導(dǎo)致利用至少一個(gè)深度偏移量值或至少一個(gè)新的候選深度偏移量值對深度偏移量值緩沖器進(jìn)行更新。在一個(gè)示例中，被選擇用于更新的新的候選值可以基于迭代次數(shù)和分析結(jié)果。

如圖1所示，在一個(gè)實(shí)施例中，系統(tǒng)100包括用戶設(shè)備(UE)101a-101n(也統(tǒng)稱為UE 101)，其可以被用來執(zhí)行包括社交網(wǎng)絡(luò)、web瀏覽器、內(nèi)容分享、多媒體應(yīng)用、增強(qiáng)現(xiàn)實(shí)(AR)、虛擬現(xiàn)實(shí)(VR)、用戶接口(UI)、地圖應(yīng)用、web客戶端等在內(nèi)的一個(gè)或多個(gè)應(yīng)用103a-103n(也統(tǒng)稱為應(yīng)用103)。

此外，應(yīng)用103可以直接和/或經(jīng)由通信網(wǎng)絡(luò)111與其它UE 101、一個(gè)或多個(gè)服務(wù)提供方105a-105n(也統(tǒng)稱為服務(wù)提供方105)、一個(gè)或多個(gè)內(nèi)容提供方107a-107n(也統(tǒng)稱為內(nèi)容提供方107)、一個(gè)或多個(gè)GPS衛(wèi)星109a-109n(也統(tǒng)稱為GPS衛(wèi)星109)和/或與系統(tǒng)100的其它組件進(jìn)行通信。在一個(gè)實(shí)施例中，UE 101可以包括媒體處理模塊113a-113n(也統(tǒng)稱為MP模塊113)以及數(shù)據(jù)/內(nèi)容收集模塊115a-115n(也統(tǒng)稱為DC模塊115)

在一個(gè)實(shí)施例中，MP模塊113可以利用一種或多種算法以對可用于UE 101的圖像/視頻進(jìn)行處理。在一些實(shí)施例中，MP模塊113可以在應(yīng)用103中實(shí)施，例如在地圖應(yīng)用中實(shí)施。除此之外或可替換地，MP模塊113可以是在UE 101執(zhí)行的獨(dú)立進(jìn)程。

在一個(gè)實(shí)施例中，MP模塊113可以利用一種或多種算法來執(zhí)行與處理一個(gè)或多個(gè)圖像從而確定相機(jī)位置信息和/或相機(jī)姿態(tài)信息相關(guān)聯(lián)的一種或多種功能，其中該信息可以根據(jù)全局坐標(biāo)系統(tǒng)表示，由此至少部分地導(dǎo)致這些信息作為元數(shù)據(jù)信息而與一個(gè)或多個(gè)圖像相關(guān)聯(lián)。在一個(gè)實(shí)施例中，MP模塊113可以對與一個(gè)或多個(gè)圖像相關(guān)聯(lián)的一個(gè)或多個(gè)像素進(jìn)行處理從而確定與該像素、圖像等相關(guān)聯(lián)的一種或多種屬性。

在一個(gè)實(shí)施例中，DC模塊115可以被用于確定和/或收集與UE101、UE 101的一個(gè)或多個(gè)用戶、應(yīng)用103、一個(gè)或多個(gè)媒體內(nèi)容項(xiàng)(例如，多媒體內(nèi)容)等相關(guān)聯(lián)的數(shù)據(jù)和/或內(nèi)容。此外，UE 101能夠執(zhí)行作為軟件客戶端的應(yīng)用103以便存儲、處理一個(gè)或多個(gè)信息項(xiàng)和/或?qū)⑵滢D(zhuǎn)發(fā)至系統(tǒng)100的其它組件。

在一個(gè)實(shí)施例中，服務(wù)提供方105可以包括一個(gè)或多個(gè)服務(wù)數(shù)據(jù)庫117a-117n(也統(tǒng)稱為服務(wù)數(shù)據(jù)庫117)和/或有權(quán)對其進(jìn)行訪問，該服務(wù)數(shù)據(jù)庫包括各種用戶信息、用戶資料、用戶偏好、一個(gè)或多個(gè)用戶設(shè)備的一個(gè)或多個(gè)資料(例如，設(shè)備配置、傳感器信息等)、服務(wù)提供方105的信息、其它服務(wù)提供方的信息，等等。在一個(gè)實(shí)施例中，服務(wù)提供方105可以包括提供一種或多種服務(wù)的一個(gè)或多個(gè)服務(wù)提供方，上述服務(wù)例如在線購物、社交網(wǎng)絡(luò)服務(wù)(例如，博客)、內(nèi)容分享、媒體上傳、媒體下載、媒體流、賬戶管理服務(wù)，或者它們的組合。

在一個(gè)實(shí)施例中，內(nèi)容提供方107可以包括一個(gè)或多個(gè)內(nèi)容數(shù)據(jù)庫119a-119n(也統(tǒng)稱為內(nèi)容數(shù)據(jù)庫119)和/或有權(quán)對其進(jìn)行訪問，該內(nèi)容數(shù)據(jù)庫可以存儲、包括和/或有權(quán)訪問各種內(nèi)容項(xiàng)。例如，內(nèi)容提供方107可以存儲(例如，在內(nèi)容數(shù)據(jù)庫119)各個(gè)用戶、各個(gè)服務(wù)提供方、眾包內(nèi)容等所提供的內(nèi)容項(xiàng)。另外，服務(wù)提供方105和/或內(nèi)容提供方107可以采用一個(gè)或多個(gè)服務(wù)應(yīng)用編程接口(API)/集成接口，通過服務(wù)應(yīng)用編程接口(API)/集成接口可以分享、訪問和/或處理(例如，與用戶、應(yīng)用、服務(wù)、內(nèi)容等相關(guān)聯(lián)的)通信、通知、更新、內(nèi)容和信息。

作為示例，服務(wù)提供方105或內(nèi)容提供方107可以經(jīng)由web服務(wù)器或其它通信手段(例如，文本消息、語音、即時(shí)消息、聊天等)提供任意數(shù)量的服務(wù)(例如，地圖服務(wù)、社交網(wǎng)絡(luò)服務(wù)、媒體服務(wù)、內(nèi)容服務(wù)等)。

UE 101是任意類型的移動終端、固定終端或便攜式終端，包括移動手機(jī)、站、單元、設(shè)備、多媒體計(jì)算機(jī)、多媒體平板、互聯(lián)網(wǎng)節(jié)點(diǎn)、通信器、臺式計(jì)算機(jī)、膝上計(jì)算機(jī)、筆記本計(jì)算機(jī)、上網(wǎng)本計(jì)算機(jī)、板式計(jì)算機(jī)、個(gè)人通信系統(tǒng)(PCS)設(shè)備、個(gè)人導(dǎo)航設(shè)備、個(gè)人數(shù)字助理(PDA)、音/視頻播放器、數(shù)碼相機(jī)/攝像機(jī)、定位設(shè)備、電視接收器、無線電廣播接收器、電子書設(shè)備、游戲設(shè)備或者其任意組合，包括這些設(shè)備的配件和外設(shè)或者其任意組合。還預(yù)見到的是，UE 101能夠支持任意類型的針對用戶的接口(諸如“可佩戴”電路等)。另外，UE 101可以包括用于收集與用戶、用戶的環(huán)境和/或UE 101相關(guān)聯(lián)的數(shù)據(jù)的各種傳感器，例如，該傳感器可以確定和/或捕捉音頻、視頻、圖像、大氣條件、設(shè)備位置、用戶情緒、周邊照明、用戶生理信息、設(shè)備移動速度和方向，等等。

在一個(gè)實(shí)施例中，UE 101包括能夠確定UE 101的位置(例如，用戶的位置)的位置模塊/傳感器。UE 101的位置能夠通過諸如GPS、輔助GPS(A-GPS)、起源小區(qū)、無線局域網(wǎng)三角計(jì)算之類的三角計(jì)算或其它位置外推技術(shù)來確定。標(biāo)準(zhǔn)GPS和A-GPS系統(tǒng)能夠使用一個(gè)或多個(gè)衛(wèi)星111來標(biāo)定UE 101的位置(例如，經(jīng)度、維度和海拔)。起源小區(qū)系統(tǒng)能夠被用來確定小區(qū)UE 101與之同步的小區(qū)塔臺。該信息提供了UE 101的粗糙位置，因?yàn)樾^(qū)塔臺能夠具有可以被地理映射的唯一小區(qū)標(biāo)識符(小區(qū)ID)。該位置模塊/傳感器能夠提供有關(guān)UE 101的位置的更為精細(xì)的細(xì)節(jié)。在另一個(gè)實(shí)施例中，UE 101可以利用局域網(wǎng)(例如，LAN、WLAN)連接而例如從互聯(lián)網(wǎng)源(例如，服務(wù)提供商)確定UE 101的位置信息。

作為示例，系統(tǒng)100的通信網(wǎng)絡(luò)111包括一個(gè)或多個(gè)網(wǎng)絡(luò)，諸如數(shù)據(jù)網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、電話網(wǎng)絡(luò)或者其任意組合。預(yù)見到，數(shù)據(jù)網(wǎng)絡(luò)可以是任意局域網(wǎng)(LAN)、城域網(wǎng)(MAN)、廣域網(wǎng)(WAN)、公眾數(shù)據(jù)網(wǎng)(例如，互聯(lián)網(wǎng))、短距離無線網(wǎng)絡(luò)，或者任意其它的適當(dāng)分組交換網(wǎng)絡(luò)，諸如商業(yè)所有的私人分組交換網(wǎng)絡(luò)，例如專設(shè)線纜或光纖網(wǎng)絡(luò)等，或者其任意組合。此外，無線網(wǎng)絡(luò)例如可以是小區(qū)網(wǎng)絡(luò)并且可以采用各種技術(shù)，包括全域進(jìn)化增強(qiáng)數(shù)據(jù)速率(EDGE)、通用分組無線服務(wù)(GPRS)、全球移動通信系統(tǒng)(GSM)、互聯(lián)網(wǎng)協(xié)議多媒體子系統(tǒng)(IMS)、通用移動電信系統(tǒng)(UMTS)等，以及任意其它適當(dāng)無線介質(zhì)，例如全球微波接入互操作性(WiMAX)、長期演進(jìn)(LTE)網(wǎng)絡(luò)、碼分多址(CDMA)、寬帶碼分多址(WCDMA)、無線保真度(WiFi)、無線LAN(WLAN)、互聯(lián)網(wǎng)協(xié)議(IP)數(shù)據(jù)廣播、衛(wèi)星、移動自組織網(wǎng)絡(luò)(MANET)等，或者其任意組合。

作為示例，UE 101、服務(wù)提供方105和內(nèi)容提供方107使用公知、新的或仍在研發(fā)的協(xié)議互相進(jìn)行通信，并且與通信網(wǎng)絡(luò)111的其它組件進(jìn)行通信。在這里的上下文中，協(xié)議包括定義通信網(wǎng)絡(luò)111內(nèi)的網(wǎng)絡(luò)節(jié)點(diǎn)如何基于通信鏈路上所發(fā)送的信息互相進(jìn)行交互的規(guī)則集合。協(xié)議在每個(gè)節(jié)點(diǎn)的不同操作層面是有效的，從生成和接收各種類型的物理信號到選擇用于傳送那些信號的鏈路，到那些信號所指示的信息的格式，到識別計(jì)算機(jī)系統(tǒng)上執(zhí)行的哪個(gè)軟件應(yīng)用發(fā)送或接收信息。用于通過網(wǎng)絡(luò)交換信息的在概念上不同的協(xié)議層面在開放系統(tǒng)互連(OSI)參考模型中有所描述。

網(wǎng)絡(luò)節(jié)點(diǎn)之間的通信通常通過交換離散的數(shù)據(jù)分組來進(jìn)行。每個(gè)分組通常包括：(1)與特定協(xié)議相關(guān)聯(lián)的報(bào)頭信息，以及(2)跟隨在報(bào)頭信息之后并且包含可以獨(dú)立于特定協(xié)議進(jìn)行處理的有效載荷信息。在一些協(xié)議中，分組包括(3)跟隨在有效載荷之后并且指示有效載荷信息結(jié)束的報(bào)尾信息。報(bào)頭包括諸如分組來源、其目的地、有效載荷長度之類的信息以及協(xié)議所使用的其它屬性。通常，特定協(xié)議的有效載荷中的數(shù)據(jù)包括與OSI參考模型的不同的較高層相關(guān)聯(lián)的不同協(xié)議的報(bào)頭和有效載荷。特定協(xié)議通常指示其有效載荷中所包含的下一個(gè)協(xié)議的類型。較高層協(xié)議被視為封裝在較低層協(xié)議之中。如OSI參考模型所定義的，遍歷諸如互聯(lián)網(wǎng)的多個(gè)異構(gòu)網(wǎng)絡(luò)的分組中所包括的報(bào)頭通常包括物理(第1層)報(bào)頭、數(shù)據(jù)鏈路(第2層)報(bào)頭、互聯(lián)網(wǎng)絡(luò)(第3層)報(bào)頭和傳輸(第4層)報(bào)頭，以及各種應(yīng)用(第5層、第6層和第7層)報(bào)頭。

在一個(gè)實(shí)施例中，UE 101、服務(wù)提供商105和/或內(nèi)容提供商107可以根據(jù)客戶端-服務(wù)器模型進(jìn)行交互。注意到，計(jì)算機(jī)處理交互的客戶端-服務(wù)器模型是廣泛周知且使用的。根據(jù)客戶端-服務(wù)器模型，客戶端處理向服務(wù)器處理發(fā)送包括請求的消息，并且服務(wù)器處理通過提供服務(wù)進(jìn)行響應(yīng)。服務(wù)器處理還可以利用對客戶端處理的響應(yīng)而返回消息。經(jīng)常，客戶端處理和服務(wù)器處理在稱作主機(jī)的不同計(jì)算機(jī)設(shè)備上執(zhí)行，并且使用一個(gè)或多個(gè)用于網(wǎng)絡(luò)通信的協(xié)議而經(jīng)由網(wǎng)絡(luò)進(jìn)行通信。術(shù)語“服務(wù)器”一般被用來指代提供服務(wù)的處理或者該處理在其上進(jìn)行操作的主機(jī)計(jì)算機(jī)。類似地，術(shù)語“客戶端”一般被用來指代進(jìn)行請求的處理或者該處理在其上進(jìn)行操作的主機(jī)計(jì)算機(jī)。如這里所使用的，除非從上下文明確另外指出，否則術(shù)語“客戶端”和“服務(wù)器”是指處理而不是主機(jī)計(jì)算機(jī)。此外，除其它之外，出于包括可靠性、可擴(kuò)展性和冗余性在內(nèi)的原因，服務(wù)器所執(zhí)行的處理可以被分解為多個(gè)主機(jī)(有時(shí)稱作層)上的多個(gè)處理來運(yùn)行。還注意到，客戶端和服務(wù)器的角色并非是固定的；在一些情況下，設(shè)備可以作為可以同時(shí)實(shí)現(xiàn)的客戶端和服務(wù)器，這和/或設(shè)備可以在這些角色之間進(jìn)行交替變化。

圖2是根據(jù)一個(gè)實(shí)施例的能夠準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的用戶設(shè)備的組件的示圖。作為示例，UE 101包括一個(gè)或多個(gè)用于經(jīng)由UE 101處的應(yīng)用103接收、生成、捕捉或處理媒體內(nèi)容并渲染該媒體內(nèi)容的組件。所預(yù)見到的是，這些組件的功能可以在一個(gè)或多個(gè)組件中進(jìn)行合并或者由等同功能的其它組件來執(zhí)行。在該實(shí)施例中，UE 101包括DC模塊115，后者可以包括一個(gè)或多個(gè)位置模塊201、磁力計(jì)模塊203、加速計(jì)模塊205、傳感器模塊207和多媒體模塊209。另外，UE 101還可以包括運(yùn)行時(shí)間模塊211以對UE 101的其它組件、MP模塊113、用戶接口213、通信模塊215、情境處理模塊217和存儲器模塊219的使用進(jìn)行協(xié)調(diào)。UE 101的應(yīng)用103能夠利用UE 101的組件而在運(yùn)行時(shí)間模塊211上執(zhí)行。

位置模塊201例如經(jīng)由UE 101的位置來確定用戶的位置。用戶的位置能夠通過諸如GPS、輔助GPS(A-GPS)、起源小區(qū)、無線局域網(wǎng)三角計(jì)算之類的三角計(jì)算或其它位置外推技術(shù)來確定。標(biāo)準(zhǔn)GPS和A-GPS系統(tǒng)能夠使用衛(wèi)星109來標(biāo)定UE 101的位置。起源小區(qū)系統(tǒng)能夠被用來確定小區(qū)UE 101與之同步的小區(qū)塔臺。該信息提供了UE 101的粗糙位置，因?yàn)樾^(qū)塔臺能夠具有可以被地理映射的唯一小區(qū)標(biāo)識符(小區(qū)ID)。位置模塊201還能夠利用多種技術(shù)來檢測UE 101的位置。位置坐標(biāo)(例如，GPS坐標(biāo))能夠給出有關(guān)UE 101在捕捉媒體時(shí)的位置的更為精細(xì)的細(xì)節(jié)。在一個(gè)實(shí)施例中，GPS坐標(biāo)作為情境信息被存儲在存儲器模塊219中并且能夠被情境處理模塊217、DC模塊115、服務(wù)提供方105和/或系統(tǒng)100的其它實(shí)體所獲取(例如，經(jīng)由通信接口215)。此外，在某些實(shí)施例中，GPS坐標(biāo)能夠包括海拔以提供高度。在其它實(shí)施例中，海拔能夠使用另一種類型的測高儀來確定。在某些實(shí)施例中，位置模塊210可以是用于確定UE 101、圖像的位置的部件，或者被用來將視圖中的物體與位置進(jìn)行關(guān)聯(lián)。

磁力計(jì)模塊203能夠在尋找UE 101的水平方位時(shí)被使用。磁力計(jì)是能夠測量磁場強(qiáng)度和/或方向的儀器。使用與羅盤相同的方法，磁力計(jì)能夠使用地球磁場來確定UE 101的方向。媒體捕捉設(shè)備(例如，相機(jī))的前方在確定方向時(shí)能夠被標(biāo)記為基準(zhǔn)點(diǎn)。因此，如果磁場相比該基準(zhǔn)點(diǎn)指向北方，則獲知UE 101的基準(zhǔn)點(diǎn)與磁場的角度。能夠進(jìn)行簡單的計(jì)算來確定UE 101的方向。在一個(gè)實(shí)施例中，從磁力計(jì)所獲得的水平方向數(shù)據(jù)能夠被存儲在存儲器模塊219中，使得能夠被UE 101的其它模塊和/或應(yīng)用103所獲取，和/或經(jīng)由通信接口215而被傳送至系統(tǒng)100的一個(gè)或多個(gè)實(shí)體。

加速計(jì)模塊205能夠被用來確定UE 101的垂直方位。加速計(jì)是能夠測量加速度的儀器。使用利用軸線X、Y和Z的三軸加速計(jì)，在三個(gè)具有已知角度的方向提供加速度。同樣，媒體捕捉設(shè)備的前方在確定方向時(shí)能夠被標(biāo)記為基準(zhǔn)點(diǎn)。因?yàn)橛捎谥亓λ鶎?dǎo)致的加速度是已知的，所以當(dāng)UE 101處于靜止時(shí)，如與地球重力相比，加速計(jì)模塊205能夠確定UE 101被指向的角度。在某些實(shí)施例中，磁力計(jì)模塊203和加速計(jì)模塊205可以作為用于確認(rèn)用戶視角的部件。該視角信息可以被存儲在存儲器模塊219中，使得能夠被UE 101的其它模塊和/或應(yīng)用103所獲取，和/或被發(fā)送至系統(tǒng)100的一個(gè)或多個(gè)實(shí)體。

在各個(gè)實(shí)施例中，傳感器模塊207能夠處理來自各個(gè)傳感器(例如，GPS、加速計(jì)、陀螺儀、熱力計(jì)等)的傳感器數(shù)據(jù)以確定UE 101周圍的環(huán)境(例如，大氣)條件、用戶情緒(例如，饑餓、生氣、勞累等)、位置信息，以及來自距離傳感器的可以在一個(gè)或多個(gè)設(shè)備上獲取到的各種其它信息。例如，傳感器模塊207可以檢測包括濕度、溫度、地理位置、用戶的生物計(jì)量數(shù)據(jù)等的條件。同樣，該信息能夠被存儲在存儲器模塊219中并且被發(fā)送至系統(tǒng)100的情境處理模塊217和/或其它實(shí)體。在某些實(shí)施例中，從DC收集模塊115所收集到的信息能夠被運(yùn)行時(shí)間模塊211所取得并且存儲在存儲器模塊219中，使得能夠被UE 101的其它模塊和/或應(yīng)用103所獲取，和/或被發(fā)送至系統(tǒng)100的一個(gè)或多個(gè)實(shí)體。

在某些實(shí)施例中，傳感器模塊207例如可以包括用于采集圖像數(shù)據(jù)的相機(jī)/成像傳感器，用于采集音頻數(shù)據(jù)的音頻錄制器，用于采集位置數(shù)據(jù)的全球定位傳感器，用于檢測無線信號或網(wǎng)絡(luò)數(shù)據(jù)、時(shí)間信息等的網(wǎng)絡(luò)檢測傳感器。在一種情形中，相機(jī)傳感器可以為UE 101的用戶提供3D姿態(tài)估計(jì)、追蹤和集群功能以便進(jìn)行適當(dāng)?shù)南鄼C(jī)部署。在一種情形中，傳感器模塊207可以包括位置傳感器(例如，GPS)、光傳感器，增配了高度傳感器和加速度傳感器的方位傳感器、傾斜傳感器、濕度傳感器、壓力傳感器、音頻傳感器(例如，麥克風(fēng))，或者用于不同短距離通信(例如，藍(lán)牙、WiFi等)的接收器。在一個(gè)實(shí)施例中，傳感器模塊207可以檢測用戶與UE 101、應(yīng)用103和/或系統(tǒng)100的一個(gè)或多個(gè)其它元件所生成的用戶接口的交互。傳感器模塊207可以結(jié)合系統(tǒng)100進(jìn)行工作，其中傳感器模塊207可以識別用戶接口上被用戶諸如通過掃拭、點(diǎn)擊或觸摸UE 101的屏幕所選擇的點(diǎn)。

在一個(gè)實(shí)施例中，多媒體模塊209可以被用來捕捉各種媒體項(xiàng)，例如圖形編碼的數(shù)據(jù)表示形式、圖像、視頻、音頻等，其中所捕捉的媒體可以被提交至UE 101的一個(gè)或多個(gè)模塊和應(yīng)用、服務(wù)提供方和/或內(nèi)容提供方以便進(jìn)一步進(jìn)行處理、存儲、分享等。例如，所捕捉的POI的圖像可以被提交至服務(wù)提供方和/或情境處理模塊217以便進(jìn)行處理。

在一個(gè)實(shí)施例中，通信接口215能夠被用來與系統(tǒng)100的一個(gè)或多個(gè)實(shí)體進(jìn)行通信。某些通信能夠經(jīng)由諸如互聯(lián)網(wǎng)協(xié)議、消息發(fā)送(例如，SMS、MMS等)的方法或者任意其它通信方法(例如，經(jīng)由通信網(wǎng)絡(luò)111)來進(jìn)行。在一些示例中，UE 101能夠?qū)⑴cUE 101相關(guān)聯(lián)的情境信息發(fā)送至服務(wù)提供方105、內(nèi)容提供方107和/或系統(tǒng)100的其它實(shí)體。

用戶接口213可以包括各種通信方法。例如，用戶接口213可以具有包括視覺組件(例如，屏幕)、音頻組件、物理組件(例如，振動)和其它通信方法的輸出。用戶輸入則能夠包括觸摸屏接口、滾動和點(diǎn)擊接口、按鈕接口、麥克風(fēng)等。輸入能夠經(jīng)由一種或多種方法，諸如語音輸入、文本輸入、打字輸入、打字觸摸屏輸入、其它支持觸摸的輸入，等等。

情境處理模塊217能夠在確定來自在運(yùn)行時(shí)間模塊211上運(yùn)行的MP模塊113、DC模塊115和/或應(yīng)用103的情境信息時(shí)被使用。該信息可以使得經(jīng)由通信接口215而被傳送至服務(wù)提供方105和/或系統(tǒng)100的其它實(shí)體。情境處理模塊217還可以被用作確定與用戶相關(guān)的信息、數(shù)據(jù)的實(shí)例、數(shù)字化、內(nèi)容項(xiàng)、對象、主題等的部件。在某些實(shí)施例中，情境處理模塊217能夠從諸如收藏位置、重要場所、共同活動、產(chǎn)品和服務(wù)興趣、各個(gè)地理位置的POI等推導(dǎo)出更高水平的情境信息。

在各個(gè)實(shí)施例中，運(yùn)行時(shí)間模塊可以導(dǎo)致UE 101的一個(gè)或多個(gè)模塊/組件確定一個(gè)或多個(gè)可用數(shù)據(jù)項(xiàng)和/或?qū)⑵渑cUE 101處的一個(gè)或多個(gè)媒體內(nèi)容項(xiàng)進(jìn)行關(guān)聯(lián)。例如，在特定時(shí)間與設(shè)備相關(guān)聯(lián)的日期、時(shí)間、位置和用戶信息可以與媒體內(nèi)容項(xiàng)進(jìn)行關(guān)聯(lián)(例如，作為元數(shù)據(jù))。

在一個(gè)實(shí)施例中，MP模塊113可以提取與圖像或視頻幀的像素相關(guān)聯(lián)的地理位置元數(shù)據(jù)。這樣所提取的地理位置元數(shù)據(jù)可以包含所記錄的圖像或視頻幀、相對應(yīng)的相機(jī)姿態(tài)，以及例如在具有已知原點(diǎn)和軸線的本地3D笛卡爾坐標(biāo)系內(nèi)所定義的重構(gòu)3D點(diǎn)云。相機(jī)姿態(tài)和點(diǎn)云可以唯一映射至3D坐標(biāo)系統(tǒng)或者其它全局坐標(biāo)系統(tǒng)(例如，WGS84、UTM等)。在一種情形中，MP模塊113可以通過匹配電源并且確定點(diǎn)云中與之匹配的區(qū)域，并隨后計(jì)算圖像/視頻幀的視角從而得到相機(jī)姿態(tài)信息來選擇相機(jī)姿態(tài)。

在一個(gè)實(shí)施例中，MP模塊113可以確定圖像信息，后者可以包括但并不局限于照片曝光設(shè)置參數(shù)的規(guī)范，例如拍攝有利位置、拍攝角度、相機(jī)設(shè)置等。在一個(gè)實(shí)施例中，MP模塊113可以從DC模塊接收信息并且將該信息存儲在UE 101。另外，該信息可以是能夠提供用于在基于聯(lián)系人的用戶接口中創(chuàng)建信息渲染的手段的多種類型的信息中的任意一種。

圖3是根據(jù)一個(gè)實(shí)施例的用于處理多個(gè)圖像的像素以便渲染至三維模型上的處理的概述的圖示。

在一個(gè)實(shí)施例中，處理300在301開始，其中UE 101處的處理器可以將場景幾何渲染至深度緩沖器303，并且在305，按照該幾何的像素重構(gòu)坐標(biāo)并且將圖像混合至基于觀看角度和其它數(shù)據(jù)所計(jì)算的置信度值進(jìn)行加權(quán)的累加緩沖器307。另外，在309，該處理器可以將規(guī)則場景幾何渲染至缺省后臺緩沖器。此外，在311，處理器可以對所累加的貢獻(xiàn)進(jìn)行規(guī)格化并且alpha混合至缺省后臺緩沖器，后者在313可以在UE 101的顯示器進(jìn)行呈現(xiàn)。

圖4至圖7是根據(jù)各個(gè)實(shí)施例的用于對第一圖像和第二圖像的像素進(jìn)行處理以確定將第一像素渲染至第二圖像的三維渲染上的置信度值的流程圖。在各個(gè)實(shí)施例中，MP模塊113可以執(zhí)行處理400、500、600和700的一個(gè)或多個(gè)部分，后者例如在包括如圖15所示的處理器和存儲器的芯片組中進(jìn)行實(shí)施。這樣，MP模塊113能夠提供用于完成處理400、500、600和700的各個(gè)部分的部件以及用于結(jié)合系統(tǒng)100的其它組件完成其它處理的部件。貫穿該處理，MP模塊113和/或應(yīng)用103可以被稱作完成處理400、500、600和700的各個(gè)部分；然而所要理解的是，系統(tǒng)100的其它組件能夠執(zhí)行一些和/或全部的處理步驟。另外，為了在討論處理400、500、600和700時(shí)清楚，MP模塊113被稱作完成所述處理的各個(gè)步驟；然而，這里所描述的所述處理和/或示例步驟可以以任意適當(dāng)順序來執(zhí)行和/或可以是任選的。

處理400可以在圖4的步驟401開始，其中MP模塊113可以包括確定至少一個(gè)圖像中幾何對應(yīng)于至少一個(gè)已渲染的三維地圖的至少一個(gè)第二像素的至少一個(gè)第一像素。在一個(gè)實(shí)施例中，用戶設(shè)備(例如，移動設(shè)備)處的圖形處理器可以處理能夠在該設(shè)備處獲取或者從一個(gè)或多個(gè)外部源(例如，內(nèi)容提供方)獲取的物體的一個(gè)或多個(gè)圖像，其中該處理包括確定該一個(gè)或多個(gè)圖像的一個(gè)或多個(gè)第一像素是否幾何對應(yīng)于地圖中該物體的至少一個(gè)已渲染三維模型的至少一個(gè)第二像素。例如，用戶可以在用戶設(shè)備上具有POI(例如，建筑物)的圖像，并且他可能想要經(jīng)由3D地圖應(yīng)用中的呈現(xiàn)形式來觀看該圖像，其中用戶設(shè)備中的處理器可以對圖像的像素進(jìn)行處理來確定它們是否在幾何上對應(yīng)于在地圖應(yīng)用中已渲染的POI的模型的像素。

在步驟403，MP模塊113可以對以下進(jìn)行處理和/或促成其處理：(a)至少一個(gè)第一像素；(b)至少一個(gè)第二像素；(c)與至少一個(gè)第一像素和第二像素中的至少一個(gè)相關(guān)聯(lián)的元數(shù)據(jù)；或(d)它們的組合，從而確定至少一個(gè)置信度值，其中該至少一個(gè)置信度值指示由于將該至少一個(gè)第一像素投影到該至少一個(gè)第二像素上所導(dǎo)致的幾何失真的估計(jì)的水平。在一個(gè)實(shí)施例中，與第一圖像和/或第一像素相關(guān)聯(lián)的元數(shù)據(jù)可以包括第一圖像和/或像素的位置信息，其中該位置信息可以參照局部或全局位置坐標(biāo)系。另外，第一像素的位置信息可以被用來與第二圖像的像素的位置信息進(jìn)行比較，以便確定兩個(gè)像素在第一像素被投影到第二像素上時(shí)對準(zhǔn)得如何。此外，可以計(jì)算置信度值來指示第一像素被投影到第二像素上的失真。在各個(gè)實(shí)施例中，置信度值的計(jì)算可以至少部分地基于入射(圖像射線與表面)和觀看(圖像射線與虛擬相機(jī)射線)角度，所投影圖像的分辨率(例如，第一圖像的分辨率)、圖像失真的直接測量，例如所投影圖像的坐標(biāo)的偏導(dǎo)數(shù)，等等。

在步驟405，MP模塊113可以至少部分地基于該置信度值而確定是否至少部分將至少一個(gè)第一像素渲染到至少一個(gè)所旋繞的三維地圖上。在一種情形中，用戶設(shè)備處的處理器可以利用該置信度值來確定是否使用第一圖像的像素以便投影到第二圖像的像素上。例如，具有較低置信度值的第一像素可以指示在其被投影到3D地圖/模型的第二像素上的情況下的失真。

處理500可以在圖5的步驟501開始，其中MP模塊113可以確定與至少一個(gè)已渲染的三維地圖的至少一個(gè)用戶交互。在一種情形中，用戶可以利用用戶設(shè)備處的UI特征與用戶設(shè)備處的3D地圖應(yīng)用的渲染進(jìn)行交互，其中該用戶可能希望對地圖中的虛擬視角進(jìn)行操控；例如從不同角度、不同距離、不同高度等。在一個(gè)實(shí)施例中，至少一個(gè)用戶交互導(dǎo)致以下的變化：(a)至少一個(gè)已渲染的三維地圖的至少一個(gè)虛擬相機(jī)位置，(b)至少一個(gè)第一像素、至少一個(gè)第一圖像、至少一個(gè)第二像素和至少一個(gè)已渲染的三維地圖中的至少一個(gè)的至少一種渲染特性；或(c)它們的組合；并且其中該至少一種渲染特性至少部分地包括衰減參數(shù)、切換參數(shù)、大小參數(shù)，或者它們的組合。

在步驟503，MP模塊113可以至少部分地基于至少一個(gè)用戶交互而至少部分地導(dǎo)致對至少一個(gè)置信度值、至少一個(gè)第一像素到至少一個(gè)已渲染的三維地圖上的渲染、或者它們的組合的動態(tài)更新。例如，用戶交互可以導(dǎo)致從不同角度觀看地圖中的POI，其中不同觀看角度能夠?qū)е碌谝粓D像的像素與在地圖中已渲染的第二圖像/模型的像素的不同對準(zhǔn)。在一個(gè)實(shí)施例中，處理器可以基于用戶與3D應(yīng)用中的渲染的交互所導(dǎo)致的變化而更新置信度值以便將第一圖像的第一像素渲染/投影到第二圖像的第二像素上。在一個(gè)實(shí)施例中，處理器能夠確定相機(jī)的場深度(例如，從EXIF數(shù)據(jù))和/或分析多個(gè)圖像的內(nèi)容以識別每個(gè)圖像中的模糊區(qū)域從而進(jìn)一步調(diào)制和更新相關(guān)聯(lián)的置信度值，例如這會導(dǎo)致每個(gè)圖像的基本上銳利的區(qū)域的呈現(xiàn)。

在步驟505，MP模塊113可以可以至少部分將至少一個(gè)置信度值與至少一個(gè)閾值置信度標(biāo)準(zhǔn)進(jìn)行比較從而確定是否至少部分地導(dǎo)致至少一個(gè)第一像素被渲染到至少一個(gè)已渲染的三維地圖上。在各個(gè)實(shí)施例中，該閾值置信度標(biāo)準(zhǔn)可以至少部分地基于3D模型的地理精度(例如，從元數(shù)據(jù))，圖像內(nèi)容元數(shù)據(jù)的分析以便確定圖像中的模糊或銳利區(qū)域，等等。在一種情形中，如果像素的置信度值低于閾值置信度標(biāo)準(zhǔn)，則用戶設(shè)備處的處理器可以決定不使用該像素投射到另一個(gè)像素上以便在應(yīng)用中進(jìn)行呈現(xiàn)。例如，如果第一像素的置信度值低于閾值，則其可以指示使用該第一像素會在被投影到第二像素上的情況下導(dǎo)致模糊渲染。在各個(gè)實(shí)施中，閾值置信度標(biāo)準(zhǔn)可以由用戶設(shè)備處的一個(gè)或多個(gè)應(yīng)用、設(shè)備的用戶、內(nèi)容/服務(wù)提供方、用戶設(shè)備處的資源和能力等來確定。在一個(gè)實(shí)施例中，高的置信度值可以指示不透明像素，而低的置信度值則可以指示透明像素。

在步驟507，MP模塊113可以處理元數(shù)據(jù)和/或促成其處理以確定與至少一個(gè)圖像相關(guān)聯(lián)的至少一個(gè)第一相機(jī)位置以及與至少一個(gè)已渲染的三維地圖相關(guān)聯(lián)的至少一個(gè)第二相機(jī)位置。在一種情形中，與一個(gè)或多個(gè)圖像相關(guān)聯(lián)的元數(shù)據(jù)可以被用于確定在捕捉一個(gè)或多個(gè)圖像時(shí)所使用的一個(gè)或多個(gè)相機(jī)的位置信息。例如，該元數(shù)據(jù)可以指示位置信息，后者指示笛卡爾坐標(biāo)系中的X、Y和Z位置。

在步驟509，MP模塊113可以確定至少一個(gè)第一相機(jī)位置和至少一個(gè)第二相機(jī)位置之間的至少一個(gè)偏移量，其中該至少一個(gè)置信度值進(jìn)一步至少部分地基于該偏移量。在一種情形中，一個(gè)或多個(gè)相機(jī)的位置信息被用來確定相機(jī)之間的偏移量；例如，X、Y或Z方向中的偏移量。另外，該偏移量信息能夠被用來更新與多個(gè)圖像中的多個(gè)像素相關(guān)聯(lián)的置信度值。例如，兩個(gè)相機(jī)之間的高偏移量值會導(dǎo)致與那些相機(jī)所捕捉的像素或圖像相關(guān)聯(lián)的較低的置信度值。

處理600可以在圖6的步驟601開始，其中MP模塊113可以確定從至少一個(gè)第一相機(jī)位置延伸至至少一個(gè)第一像素和至少一個(gè)第二像素中的至少一個(gè)的至少一個(gè)像素位置的至少一個(gè)第一射線。在一種情形中，與相機(jī)相關(guān)聯(lián)的元數(shù)據(jù)中的位置信息可以被用來確定從相機(jī)位置到第一圖像的第一像素和第二圖像或者與第二圖像相關(guān)聯(lián)的模型的第二像素的位置的第一射線(例如，視線)。例如，相機(jī)的坐標(biāo)(例如，X、Y和Z位置信息)可以與建筑物圖像中的像素的坐標(biāo)(例如，X、Y和Z位置信息)進(jìn)行比較以確定第一射線。在一種情形中，參考相機(jī)位置附近的地平面的射線可以通過使用該相機(jī)的位置信息并且將其與地平面處的位置信息進(jìn)行比較來確定。在一個(gè)實(shí)施例中，該射線可以參考與第一相機(jī)所捕捉的POI的圖像相關(guān)聯(lián)的像素來確定。

在步驟603，MP模塊113可以確定從至少一個(gè)第二相機(jī)位置到至少一個(gè)像素位置延伸的至少一個(gè)第二射線。在一個(gè)實(shí)施例中，與第二相機(jī)位置相關(guān)聯(lián)的位置信息(例如，虛擬相機(jī)位置)可以被用來確定第二相機(jī)和關(guān)聯(lián)于應(yīng)用中已渲染的圖像或模型的像素位置之間的第二射線。在一種情形中，第二相機(jī)位置可以從用戶與圖像或POI在3D地圖應(yīng)用中的渲染的交互而確定。

在步驟605，MP模塊113可以確定在至少一個(gè)第一射線和至少一個(gè)第二射線之間所形成的至少一個(gè)角度，其中該置信度值至少部分地基于該至少一個(gè)角度而確定。在一個(gè)實(shí)施例中，從第一相機(jī)延伸至像素的第一射線可以與從第二相機(jī)延伸至該像素的第二射線進(jìn)行比較以便確定第一射線和第二射線之間的角度。在一個(gè)實(shí)施例中，來自第一相機(jī)的多個(gè)射線可以與來自第二相機(jī)的多個(gè)射線進(jìn)行比較以確定第一射線和第二射線之間的多個(gè)角度。

在步驟607，MP模塊113可以至少部分地基于所累加的置信度值而針對至少一個(gè)像素被渲染到至少一個(gè)已渲染的三維地圖上而確定至少一個(gè)透明度。在一個(gè)示例中，來自對象的各個(gè)圖像的要被投影到該對象的模型的像素上的像素的置信度值可以在累加緩沖器中進(jìn)行累加。在一個(gè)實(shí)施例中，該至少一個(gè)透明度水平隨著所累加的置信度值的增大而減小。在一個(gè)實(shí)施例中，低于置信度閾值值的置信度值可以指示透明像素。

處理700可以在圖7的步驟701開始，其中MP模塊113可以確定至少一個(gè)圖像包括多個(gè)重疊圖像。在一種情形中，POI的一個(gè)或多個(gè)圖像可以被利用并且被重疊在應(yīng)用中已渲染的該P(yáng)OI的另一個(gè)圖像或模型上。例如，某個(gè)建筑物的若干圖像可以被3D地圖應(yīng)用用于與地圖應(yīng)用中已渲染的該相同建筑物的3D模型的重疊。

在步驟703，MP模塊113可以至少部分地基于置信度值而導(dǎo)致至少部分地對多個(gè)重疊圖像進(jìn)行排序、混合或者它們的組合。在一種情形中，POI的多個(gè)圖像可能已經(jīng)被多個(gè)相機(jī)所捕捉，其中那些圖像可以被重疊至應(yīng)用中—例如在3D地圖應(yīng)用中—已渲染的POI的模型/圖像上。在一個(gè)示例中，每個(gè)圖像的每個(gè)像素都可以根據(jù)與每個(gè)像素相關(guān)聯(lián)的置信度值或置信度閾值標(biāo)準(zhǔn)進(jìn)行混合?；旌辖Y(jié)果可以通過渲染基于相機(jī)位置排序的圖像而有所改善，從而來自不同相機(jī)的貢獻(xiàn)都以適用于所使用的混合函數(shù)的順序被添加至累加緩沖器。

在步驟705，其中至少一個(gè)圖像包括至少一個(gè)視頻，MP模塊113可以針對該至少一個(gè)視頻確定至少一個(gè)三維運(yùn)動軌跡，其中該至少一個(gè)置信度值、該至少一個(gè)像素到至少一個(gè)已渲染的三維地圖上的渲染至少部分地基于該三維運(yùn)動軌跡。在一種情形中，與POI相關(guān)聯(lián)的媒體內(nèi)容可以是要在被重疊到渲染應(yīng)用中的POI的另一個(gè)媒體內(nèi)容(例如，圖像)或模型上時(shí)所使用的視頻片段。例如，用戶可以具有某個(gè)城市中心的圖像，他可能想要在3D地圖應(yīng)用中進(jìn)行呈現(xiàn)時(shí)對其進(jìn)行觀看。在一個(gè)實(shí)施例中，該應(yīng)用要在那里進(jìn)行渲染的用戶設(shè)備處的處理器可以對視頻片段和/或其元數(shù)據(jù)進(jìn)行處理以便針對該視頻片段確定三維運(yùn)動軌跡。另外，置信度值或者一個(gè)或多個(gè)像素到已渲染的三維地圖上的渲染可以基于該三維運(yùn)動軌跡。例如，由于用戶設(shè)備處的用戶或應(yīng)用可以對視頻片段在3D地圖應(yīng)用中的虛擬呈現(xiàn)中的渲染進(jìn)行交換和移動，所以該視頻片段的像素的渲染的置信度值可以基于該3D運(yùn)動軌跡進(jìn)行更新。例如，該渲染在一幀中可能是模糊的而在另一幀中則是清晰的。

圖8圖示了根據(jù)各個(gè)實(shí)施例的各種相機(jī)與相機(jī)和相機(jī)視場中的物體之間的相關(guān)聯(lián)射線。

圖示8a描繪了第一相機(jī)801(例如，原始用戶相機(jī))，其可以被用戶用來從POI 803—例如，建筑物、3D物體等—捕捉圖像或視頻片段，其中入射射線805在第一相機(jī)801和POI 803的表面(例如，墻壁)之間延伸而在射線805和POI 803的表面之間形成入射角805a。此外，第二入射射線807從第一相機(jī)801延伸至地平面809的表面，其形成入射角807a。在一個(gè)實(shí)施例中，805a和807a的角度信息可以在針對圖像中的像素計(jì)算與每個(gè)角度相關(guān)聯(lián)的置信度值時(shí)被加以利用。在一種情形中，第一相機(jī)的位置基本上垂直于POI 803，這能夠在所捕捉的POI 803的圖像或視頻中提供更為準(zhǔn)的細(xì)節(jié)，而如果第一相機(jī)801處在關(guān)于POI 803成角度的位置，則所產(chǎn)生的圖像或視頻會包括一些POI 803的細(xì)節(jié)失真。在一個(gè)實(shí)施例中，包括失真的媒體內(nèi)容在貢獻(xiàn)圖像像素以便將POI 803的圖像投影/疊加到POI 803的另一個(gè)圖像或模型上時(shí)可能并不是非常有用。在一個(gè)實(shí)施例中，UE 101處的處理器可以通過使用第一相機(jī)801的位置信息以及POI 803的圖像的像素的位置信息和地平面809(例如，在深度緩沖器中)來計(jì)算角度805a和807a，其中該角度能夠參考POI 803的所捕捉圖像中的像素以及地平面809進(jìn)行計(jì)算。在一種情形中，緩沖器中的像素的表面的法線矢量可以被用來計(jì)算該角度，或者法線矢量可以基于與深度緩沖器中的像素相關(guān)聯(lián)的內(nèi)容進(jìn)行重構(gòu)。

現(xiàn)在參考圖示8b，第二相機(jī)(例如，虛擬相機(jī))被引入以便從稍有不同的視角觀看POI 803。在一種情形中，與媒體渲染應(yīng)用(例如，3D地圖應(yīng)用)進(jìn)行交互的用戶可以引入第二相機(jī)811。在一個(gè)示例中，第二相機(jī)811和POI 803之間的入射射線813在入射射線805和813之間形成角度813a。此外，第二相機(jī)811和地平面809之間的入射射線815在入射射線807和815之間形成角度815a。在該圖示8b中，第一相機(jī)801和第二相機(jī)811關(guān)于POI 803和地平面809處于不同位置，這導(dǎo)致了射線805和813之間的角度813a和射線807和815之間的角度815a。在一個(gè)實(shí)施例中，指向圖像中的相同像素的來自原始相機(jī)的射線和來自虛擬相機(jī)的射線之間的角度大小可以指示來自圖像的像素要被投影到另一個(gè)像素上的置信度或貢獻(xiàn)水平。例如，角度815a小于角度813a，這表示來自地面809表面的圖像的像素可以在來自第一相機(jī)801和第二相機(jī)811的相同像素之間提供更好的重疊。

圖9A和9B圖示了根據(jù)各個(gè)實(shí)施例的媒體應(yīng)用中的對象的渲染。

圖9A示出了街景900的在媒體呈現(xiàn)應(yīng)用中已渲染的例如2D地圖、3D地圖等的總體示圖，其包括建筑物、人、數(shù)目等。在一個(gè)實(shí)施例中，呈現(xiàn)除了圖像集群附近多個(gè)聚光燈901—A、B、C、D和E。在一種情形中，情形900中已渲染的物體可以基于將一個(gè)或多個(gè)圖像投影到從關(guān)聯(lián)于場景900中的每個(gè)物體的各個(gè)數(shù)據(jù)集合所生成的模型上。例如，從街景900所拍攝的多個(gè)圖片可以被投影到場景900的模型上。在一個(gè)實(shí)施例中，每個(gè)聚光燈901可以提供用于觀看場景900中的某個(gè)圖像集群的不同視角。參考圖9B，在一個(gè)示例中，更接近于集群E進(jìn)行移動使得聚光燈901E進(jìn)行擴(kuò)展從而獲得集群E中的建筑物和物體更為詳細(xì)/清晰的視圖。這些聚光燈由具有高相干性值的多個(gè)圖像部分所形成，即它們能夠被投影到該場景上而沒有失真，并且因此在視角移動至感興趣圖像的更適宜視點(diǎn)時(shí)進(jìn)行擴(kuò)展。

圖9C和9D包括根據(jù)各個(gè)實(shí)施例的用于在渲染物體時(shí)處理并分析深度偏移量值的處理流程圖。

處理920可以在圖9C的步驟921開始，其中MP模塊113可以參考第二相機(jī)位置而至少部分地導(dǎo)致對至少一個(gè)圖像的至少一個(gè)深度偏移量值進(jìn)行估計(jì)。在各個(gè)實(shí)施例中，系統(tǒng)100可以利用算法基于預(yù)定值集合、步幅值或隨機(jī)值來估計(jì)深度偏移量值。例如，預(yù)定值集合可以包括一米、幾英寸、一英尺等的深度偏移量，其可以是第一圖像的位置和第二相機(jī)之間的距離偏移量。在一個(gè)實(shí)例中，深度偏移量可以朝向或遠(yuǎn)離當(dāng)前(例如虛擬)渲染相機(jī)的位置而計(jì)算。

在步驟923，MP模塊113可以至少部分地導(dǎo)致利用至少一個(gè)所估計(jì)的深度偏移量值對深度偏移量值緩沖器進(jìn)行更新。在一個(gè)實(shí)施例中，在925，可以利用一個(gè)或多個(gè)迭代深度偏移量值估計(jì)對深度偏移量緩沖器進(jìn)行更新。在一個(gè)示例中，深度偏移量值緩沖器可以是低分辨率、高分辨率等的緩沖器，其可以存儲與圖像的各種塊大小(例如，8×8像素塊)相關(guān)聯(lián)的深度偏移量值。

在步驟927，至少一個(gè)圖像到至少一個(gè)已渲染的三維地圖上的渲染可以至少部分地基于至少一個(gè)深度偏移量值。在步驟929，至少一個(gè)圖像到至少一個(gè)已渲染的三維地圖上的渲染可以至少部分地基于至少一個(gè)用戶交互和至少一個(gè)深度偏移量值。在一個(gè)實(shí)施例中，一個(gè)或多個(gè)圖像或者一個(gè)或多個(gè)圖像的一個(gè)或多個(gè)部分的后續(xù)渲染可以是將下一幀渲染到屏幕位置，其基于距之前渲染的一個(gè)或多個(gè)深度偏移量值(例如，深度偏移量值)以及一個(gè)或多個(gè)新的相機(jī)位置，例如第一相機(jī)、第二相機(jī)等。

處理940可以在圖9C的步驟941開始，其中MP模塊113可以參考第二相機(jī)位置而至少部分地導(dǎo)致針對至少一個(gè)圖像生成至少一個(gè)新的候選深度偏移量值。在各個(gè)實(shí)施例中，MP模塊可以利用算法來估計(jì)一個(gè)或多個(gè)新的深度偏移量值，其可以基于之前存儲在深度偏移量值緩沖器的值、深度偏移量值緩沖器的大小、圖像的當(dāng)前渲染幀、相鄰/鄰近深度值、預(yù)定值集合、步幅值或隨機(jī)偏移量。在一個(gè)實(shí)例中，來自存儲943的場景幾何數(shù)據(jù)以及來自緩沖器945的深度偏移量值可以在生成新的候選深度偏移量值時(shí)被加以利用。

在步驟947，MP模塊113可以至少部分地基于至少一個(gè)深度偏移量值而至少部分地導(dǎo)致至少一個(gè)測試圖像到至少一個(gè)已渲染的三維地圖上的第一渲染，其可以包括來自943的場景幾何數(shù)據(jù)、來自949的投影圖像紋理數(shù)據(jù)和來自緩沖器945的深度偏移量值。在步驟951，MP模塊113可以至少部分地基于至少一個(gè)新的候選深度偏移量值而至少部分地導(dǎo)致將至少一個(gè)測試圖像第二渲染到至少一個(gè)已渲染的三維地圖上。在一個(gè)實(shí)例中，相同圖像或圖像部分可以利用新的候選值進(jìn)行渲染。

在步驟953，MP模塊113可以至少部分地導(dǎo)致對第一渲染和第二渲染進(jìn)行分析以確定與第一渲染和第二渲染相關(guān)聯(lián)的一個(gè)或多個(gè)渲染特性。在一個(gè)實(shí)施例中，該分析結(jié)果可以被用來基于之前的深度偏移量值和新的候選深度偏移量值而確定圖像渲染的質(zhì)量、相干性或匹配。例如，具有一米偏移量的圖像渲染可以與具有三米偏移量的圖像渲染進(jìn)行比較。在一個(gè)實(shí)施例中，該渲染和分析可以對圖像第一部分(例如，像素塊)進(jìn)行。在步驟955，MP模塊113可以至少部分地基于該分析而至少部分地導(dǎo)致利用至少一個(gè)深度偏移量值或至少一個(gè)新的候選深度偏移量值對深度偏移量值緩沖器進(jìn)行更新。在一個(gè)示例中，被選擇用于更新的新的候選值可以基于迭代次數(shù)和分析結(jié)果。

圖9E至9G圖示了根據(jù)各個(gè)實(shí)施例的物體渲染中的深度偏移量數(shù)據(jù)的分析的圖形表示形式。圖9E圖示了示圖960，其包括表示3D地圖的實(shí)際幾何的深度值，其由來自上一幀的深度偏移量值基于觀看方向963以及多個(gè)新的候選值965進(jìn)行修改。在一個(gè)示例中，新的候選值965的分辨率小于實(shí)際幾何961的分辨率，其中新的候選值可以基于被外推、隨機(jī)化、抖動、二進(jìn)制搜索等的之前深度值。

圖9F圖示了示圖970，其包括基于當(dāng)前深度偏移量值的投影圖像補(bǔ)丁971以及基于候選深度偏移量值的973。在一種情形中，每個(gè)圖像補(bǔ)丁可以包括基于地理的圖像“A”975和圖像“B”977，它們從觀看方向979進(jìn)行投影。在一個(gè)實(shí)施例中，基于當(dāng)前圖像偏移量值—例如981—的多個(gè)數(shù)據(jù)點(diǎn)以及基于候選偏移量值—例如983—的數(shù)據(jù)點(diǎn)可以進(jìn)行分析和比較從而確定與圖像投影相關(guān)聯(lián)的一種或多種特性，其中該分析可以針對相應(yīng)圖像集合971和973中的每個(gè)圖像配對來執(zhí)行。

圖9G圖示了示圖990，其中在一個(gè)示例中，GPU可以被用來計(jì)算均方根誤差并且存儲所得到的誤差值以便將971和973的圖像中的每個(gè)像素進(jìn)行比較從而選擇當(dāng)前或候選的偏移量值。在一個(gè)實(shí)例中，圖像991和993表示可以進(jìn)行比較以便從當(dāng)前或候選偏移量值中進(jìn)行選擇的補(bǔ)丁差值。在一個(gè)實(shí)例中，基于候選偏移量值的補(bǔ)丁圖像993例如可以基于像素誤差值而被選擇，并且深度偏移量值緩沖器可以利用候選偏移量值進(jìn)行更新。

圖10是根據(jù)一個(gè)實(shí)施例的在圖4到圖7的處理中所采用的地心地固(ECEF)笛卡爾坐標(biāo)系的示圖。用于三維空間(1001)的一般笛卡爾坐標(biāo)系由其原點(diǎn)以及在原點(diǎn)O(10010)交匯的三條垂直的軸線(X(1003),Y(1005),Z(1007))所唯一定義。3D點(diǎn)P(1011)則由三個(gè)數(shù)字坐標(biāo)(Xp,Yp,Zp)所固定，它們分別是從點(diǎn)P到三個(gè)由兩條軸線(Y-Z,X-Z,X-Y)所定義的平面的帶符號距離。在一種情形中，ECEF笛卡爾坐標(biāo)系具有其被定義為地球質(zhì)量中心的原點(diǎn)(0,0,0)，其X軸以0°緯度(赤道)和0°經(jīng)度與地球的球體相交，并且其Z軸指向北極，其中在ECEF和地理圖形坐標(biāo)系之間存在一對一映射。

圖11圖示了根據(jù)一個(gè)實(shí)施例的在圖4到圖7的處理中所采用的笛卡爾坐標(biāo)系(CCS)的其原點(diǎn)被限制于地球上的3D局部系統(tǒng)以及三條軸線(X-Y-Z)。CCS_3D_local系統(tǒng)是使得其原點(diǎn)被限制于地球表面上的笛卡爾坐標(biāo)系。圖11是3D地球模型的表示形式，其中CCS_3D_local系統(tǒng)經(jīng)常被用來表示處于地球上的基準(zhǔn)點(diǎn)附近的3D地理增強(qiáng)數(shù)據(jù)的集合，例如，3D地理增強(qiáng)數(shù)據(jù)可以覆蓋11km的有限空間，因此使得該坐標(biāo)系是局部的。在一種情形中，給定CCS_3D_local系統(tǒng)的原點(diǎn)和三條軸線，在CCS_3D_ECEF和所討論的局部系統(tǒng)之間存在唯一變換。如果原點(diǎn)和三條軸線未知，則難以將CCS_3D_local映射到CCS_3D_ECEF系統(tǒng)。在一個(gè)實(shí)施例中，UE 101處的圖形處理器可以對與局部坐標(biāo)系相關(guān)聯(lián)的圖像進(jìn)行處理并且在針對虛擬相機(jī)而言作為固定坐標(biāo)系的3D圖形渲染通道將3D幾何變換到相機(jī)空間之中。類似地，深度緩沖器將其信息存儲在相同坐標(biāo)中，其也被用于計(jì)算像素角度以及相干性值計(jì)算。

圖12是根據(jù)一個(gè)實(shí)施例的在圖4到圖7的處理中所采用的3D空間中的相機(jī)方位的示圖。這里，旋角(1201)是沿z軸的逆時(shí)針旋轉(zhuǎn)，航向傾角(1203)是沿y軸的逆時(shí)針旋轉(zhuǎn)，旁向傾角(1205)是沿x軸的逆時(shí)針旋轉(zhuǎn)。在一種情形中，視頻幀經(jīng)常被認(rèn)為是以變化的相機(jī)位置在不同時(shí)間所捕捉(或顯示)的靜止圖像的序列。在一種情形中，相關(guān)聯(lián)視頻幀的相機(jī)姿態(tài)表示進(jìn)行視頻捕捉的相機(jī)在視頻幀被記錄時(shí)的3D位置和方位。相機(jī)位置可以簡單地被描述為XL、YL、ZL。方位則可以被描述為將相機(jī)從基準(zhǔn)部署旋轉(zhuǎn)至其當(dāng)前部署的旁向傾角、旋角和航向傾角的角度。方位可以通過旋轉(zhuǎn)矩陣或四元數(shù)組進(jìn)行表示，它們在數(shù)學(xué)上等于Euler角度。利用相機(jī)位置和方位，能夠利用坐標(biāo)系中的六個(gè)自由度(6DoF)來定義相機(jī)的移動。

圖13是根據(jù)一個(gè)實(shí)施例的在圖4到圖7的處理中所采用的CCS_3D_ECEF中的相機(jī)姿態(tài)的示圖。在一種情形中，點(diǎn)云是能夠從一個(gè)或多個(gè)視頻幀所看到的3D點(diǎn)的集合，在從給定相機(jī)姿態(tài)(1301)進(jìn)行觀看時(shí)，3D點(diǎn)根據(jù)適當(dāng)相機(jī)模型而被投影到2D圖像上并且在不同像素位置(1303)引起顏色強(qiáng)度。在地球模型的環(huán)境中，3D點(diǎn)云能夠通過LIDAR技術(shù)直接測量?？商鎿Q地，3D點(diǎn)云能夠通過使用計(jì)算機(jī)視覺運(yùn)動結(jié)構(gòu)(SFM)技術(shù)從輸入視頻幀進(jìn)行重構(gòu)。在CCS_3D_ECEF內(nèi)，3D點(diǎn)云以及相機(jī)姿態(tài)需要被準(zhǔn)確定義：

1)在使用CCS_3D_ECEF時(shí)，相機(jī)姿態(tài)和點(diǎn)云被全局定義；

2)如果使用具有已知原點(diǎn)和軸線的CCS_3D_Local系統(tǒng)，則相機(jī)姿態(tài)和點(diǎn)云能夠被唯一映射至CCS_3D_ECEF。通過如此，相機(jī)姿態(tài)也在全局坐標(biāo)系中得以被定義。此外，如果使用具有未知原點(diǎn)和軸線的CCS_3D_Local系統(tǒng)，則相機(jī)姿態(tài)和點(diǎn)云僅能夠在局部坐標(biāo)系中被定義，這是因?yàn)殡y以將點(diǎn)云和相機(jī)姿態(tài)映射到CCS_3D_ECEF之中。

這里所描述的用于準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的處理有利地可以經(jīng)由軟件、硬件、固件或者軟件和/或固件和/或硬件的組合來實(shí)施。例如，這里所描述的處理有利地可以經(jīng)由(多個(gè))處理器、數(shù)字信號處理(DSP)芯片、應(yīng)用特定集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)等來實(shí)施。這樣的用于執(zhí)行所描述功能的示例性硬件在以下進(jìn)行詳細(xì)描述。

圖14圖示了可以在其上實(shí)施本發(fā)明的實(shí)施例的計(jì)算機(jī)系統(tǒng)1400。雖然計(jì)算機(jī)1400關(guān)于特定裝置或設(shè)備進(jìn)行了描繪，但是預(yù)見到圖14內(nèi)的其它裝置或設(shè)備(例如，網(wǎng)絡(luò)元件、服務(wù)器等)能夠部署系統(tǒng)1400的所圖示的硬件和組件。計(jì)算機(jī)系統(tǒng)1400被編程(例如，經(jīng)由計(jì)算機(jī)程序代碼或指令)為如這里所描述的準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染，并且包括諸如總線1410的通信機(jī)制，其用于在計(jì)算機(jī)系統(tǒng)1400的其它內(nèi)部和外部組件之間輸送信息。信息(也稱作數(shù)據(jù))被表示為可測量現(xiàn)象的物理表達(dá)形式，通常是電壓，但是在其它實(shí)施例中包括諸如磁性、電磁、壓力、化學(xué)、生物、分子、原子、亞原子和量子交互之類的現(xiàn)象。例如，北側(cè)和南側(cè)磁場或者零和非零電壓表示二元數(shù)位(比特)的兩個(gè)狀態(tài)(0，1)。其它現(xiàn)象能夠表示更高基礎(chǔ)的數(shù)位。測量之前的多個(gè)同時(shí)量子狀態(tài)的疊加表示量子比特(qubit)。一個(gè)或多個(gè)數(shù)位的序列構(gòu)成被用來表示字符的編號或代碼的數(shù)字?jǐn)?shù)據(jù)。在一些實(shí)施例中，稱作模擬數(shù)據(jù)的信息由特定范圍內(nèi)的可測量值的近似連續(xù)統(tǒng)所表示。計(jì)算機(jī)系統(tǒng)1400或者其部分構(gòu)成了用于執(zhí)行準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的一個(gè)或多個(gè)步驟的部件。

總線1410包括信息的一個(gè)或多個(gè)并行導(dǎo)體以使得信息在耦合至總線1410的設(shè)備之間快速傳輸。用于處理信息的一個(gè)或多個(gè)處理器1402與總線1410進(jìn)行耦合。

處理器(或多個(gè)處理器)1402對如與準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染相關(guān)的計(jì)算機(jī)程序代碼所指定的信息執(zhí)行一組運(yùn)算。該計(jì)算機(jī)程序代碼時(shí)指令或聲明的集合，其提供供處理器和/或計(jì)算機(jī)系統(tǒng)用來執(zhí)行指定功能的操作的指令。代碼例如可以以被編譯為處理器的本地指令集合的計(jì)算機(jī)編程語言進(jìn)行編寫。該代碼還可以直接使用本地指令集合(例如，機(jī)器語言)進(jìn)行編寫。該組操作包括從總線1410取得信息以及將信息置于總線1410上。該組操作通常還包括比較兩個(gè)或更多信息單元，移動信息單元的位置，并且將兩個(gè)或多個(gè)信息單元進(jìn)行合并，諸如通過相加或線程或者如OR、異OR(XOR)和AND。該操作集合中能夠由處理器所執(zhí)行的每個(gè)操作通過被稱作指令的信息向處理器進(jìn)行表示，諸如一個(gè)或多個(gè)數(shù)位的操作代碼。要由處理器1402所執(zhí)行的諸如操作代碼序列的操作序列構(gòu)成了處理器指令，其也被稱作計(jì)算機(jī)系統(tǒng)指令或者簡單地計(jì)算機(jī)指令。除其它之外，處理器可以單獨(dú)或作為組合地被實(shí)施為機(jī)械、電子、磁性、光學(xué)、化學(xué)或量子組件。

計(jì)算機(jī)系統(tǒng)1400還包括耦合至總線1410的存儲器1404。諸如隨機(jī)訪問存儲器(RAM)或者任意其它動態(tài)存儲設(shè)備的存儲器1404存儲包括用于準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的處理器指令在內(nèi)的信息。動態(tài)存儲器允許存儲于其中的信息由計(jì)算機(jī)系統(tǒng)1400所改變。RAM允許存儲在被稱作存儲器地址的位置處的信息單元獨(dú)立于相鄰地址的信息進(jìn)行存儲和檢索。存儲器1404還被處理器1402用來在處理器指令執(zhí)行期間存儲臨時(shí)值。計(jì)算機(jī)系統(tǒng)1400還包括只讀存儲器(ROM)1406或者耦合至總線1410以便存儲包括并不由計(jì)算機(jī)系統(tǒng)1400所改變的指令在內(nèi)的靜態(tài)信息的其它靜態(tài)存儲設(shè)備。一些存儲器由易失性存儲所組成，其在失去供電時(shí)丟失存儲于其上的信息。諸如磁盤、光盤或閃存卡的非易失性(持久)存儲設(shè)備1408也耦合至總線1410，以用于存儲包括指令在內(nèi)的信息，該信息即使在計(jì)算機(jī)系統(tǒng)1400關(guān)機(jī)或者以其它方式失去供電時(shí)也得以保持。

包括用于準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的指令在內(nèi)的信息被從外部輸入設(shè)備1412提供至總線1410以便由處理器使用，該外部輸入設(shè)備1412諸如包含由人類用戶進(jìn)行操作的字母數(shù)字按鍵的鍵盤或者傳感器。傳感器檢測其附近的狀況并且將那些檢測變換為與用來表示計(jì)算機(jī)系統(tǒng)1400中的信息的可測量現(xiàn)象相兼容的物理表達(dá)形式。主要用于與人進(jìn)行交互的耦合至總線1410的其它外部設(shè)備包括顯示設(shè)備1414，諸如陰極射線管(CRT)、液晶顯示器(LCD)、發(fā)光二極管(LED)顯示器、有機(jī)LED(OLED)顯示器、等離子屏幕或者用于渲染文本或圖像的打印機(jī)，以及諸如鼠標(biāo)、軌跡球、光標(biāo)方向鍵或運(yùn)動傳感器之類的用于控制顯示器1414上已渲染的小型光標(biāo)圖像的位置并且發(fā)出與顯示器1414上已渲染的圖形元件相關(guān)聯(lián)的命令的指示設(shè)備1416。在一些實(shí)施例中，例如在計(jì)算機(jī)系統(tǒng)1400在沒有用戶輸入的情況下自動執(zhí)行所有功能的實(shí)施例中，能夠省略一個(gè)或多個(gè)外部輸入設(shè)備1412、顯示設(shè)備1414和指示設(shè)備1416。

在所圖示的實(shí)施例中，諸如應(yīng)用特定集成電路(ASIC)1420之類的專用硬件耦合至總線1410。該專用硬件被配置為出于特殊目的而足夠快速地執(zhí)行并非由處理器1402所執(zhí)行的操作。ASIC的示例包括用于為顯示器1414生成圖像的圖形加速卡、用于對網(wǎng)絡(luò)上所發(fā)送的消息進(jìn)行加密和解密的密碼板、語音識別以及針對特殊外部設(shè)備的接口，該特殊外部設(shè)備諸如重復(fù)執(zhí)行以硬件實(shí)施更為有效的一些復(fù)雜操作序列的機(jī)器人手臂和醫(yī)療掃描設(shè)備。

計(jì)算機(jī)系統(tǒng)1400還包括耦合至總線1410的通信接口1470的一個(gè)或多個(gè)實(shí)例。通信接口1470向諸如打印機(jī)、掃描儀和外部磁盤之類的利用其自己的處理器進(jìn)行操作的各種外部設(shè)備提供單向或雙向通信耦合。通常，是與連接至本地網(wǎng)絡(luò)1480的網(wǎng)絡(luò)鏈路1478進(jìn)行耦合，具有其自己的處理器的各種外部設(shè)備連接至該本地網(wǎng)絡(luò)1480。例如，通信接口1470可以是個(gè)人計(jì)算機(jī)上的并行端口或串行端口或者是通用串行總線(USB)端口。在一些實(shí)施例中，通信接口1470是綜合業(yè)務(wù)數(shù)字網(wǎng)絡(luò)(ISDN)卡或者數(shù)字訂戶線路(DSL)卡，或者向相對應(yīng)類型的電話線路提供信息通信連接的電話調(diào)制解調(diào)器。在一些實(shí)施例中，通信接口是將總線1410上的信號轉(zhuǎn)換為用于同軸線纜上的通信連接的信號或者用于光纖線纜上的通信連接的光學(xué)信號的線纜調(diào)制解調(diào)器。作為另一個(gè)示例，通信接口1470可以是用于向諸如以太網(wǎng)的兼容局域網(wǎng)(LAN)提供數(shù)據(jù)通信連接的LAN卡。也可以實(shí)施無線鏈路。對于無線鏈路而言，通信接口1470發(fā)送或者接收或者既發(fā)送又接收包括紅外和光學(xué)信號在內(nèi)的電子、聲音或電磁信號，其承載諸如數(shù)字?jǐn)?shù)據(jù)之類的信息流。例如，在諸如類似小區(qū)電話的移動電話的無線手持設(shè)備中，通信接口1470包括被稱作無線電收發(fā)器的無線電帶電磁傳送器和接收器。在某些實(shí)施例中，通信接口1470支持到通信網(wǎng)絡(luò)111的連接以便準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染。

如這里所使用的術(shù)語“計(jì)算機(jī)可讀介質(zhì)”是指參與向處理器1402提供包括用于執(zhí)行的指令在內(nèi)的信息的任意介質(zhì)。這樣的介質(zhì)可以采取許多形式，包括但并不局限于計(jì)算機(jī)可讀存儲介質(zhì)(例如，非易失性媒體、易失性媒體)和傳輸媒體。諸如非易失性媒體的非瞬時(shí)媒體例如包括光盤或磁盤，諸如存儲設(shè)備1408。易失性媒體例如包括動態(tài)存儲器1404。傳輸媒體例如包括雙絞線線纜、同軸線纜、銅線、光纖線纜以及通過沒有線路或線纜的空間行進(jìn)的載波，諸如光波或者包括無線電、光學(xué)和紅外波在內(nèi)的電磁波。信號包括通過傳輸媒體進(jìn)行傳送的振幅、頻率、相位、極性或其它物理屬性的人為瞬態(tài)變化。一般形式的計(jì)算機(jī)可讀媒體例如包括軟盤、柔性盤、硬盤、磁帶、任意其它磁性介質(zhì)、CD-ROM、CDRW、DVD、任意其它光學(xué)介質(zhì)、打孔卡、紙帶、光學(xué)標(biāo)記頁、具有孔洞圖案的其它物理介質(zhì)或者其它可光學(xué)識別的指示、RAM、PROM、EPROM、閃存EPROM、EEPROM、閃存、任意其它存儲器芯片或卡盒、載波，或者計(jì)算機(jī)能夠從其進(jìn)行讀取的任意其它介質(zhì)。術(shù)語計(jì)算機(jī)可讀存儲介質(zhì)在這里被用來指代除傳輸媒體之外的任意計(jì)算機(jī)可讀介質(zhì)。

在一個(gè)或多個(gè)有形媒體中編碼的邏輯包括計(jì)算機(jī)可讀存儲媒體上的處理器指令或者諸如ASIC 1420的專用硬件之一或其二者。

網(wǎng)絡(luò)鏈路1478通常使用傳輸媒體通過一個(gè)或多個(gè)網(wǎng)絡(luò)向使用或處理信息的其它設(shè)備提供信息。例如，網(wǎng)絡(luò)鏈路1478可以通過局域網(wǎng)1480提供到主機(jī)計(jì)算機(jī)1482或者到由互聯(lián)網(wǎng)服務(wù)提供方(ISP)所操作的設(shè)備1484的連接。ISP設(shè)備1484進(jìn)而通過網(wǎng)絡(luò)中目前一般被稱作互聯(lián)網(wǎng)1490的公共全球分組交換通信網(wǎng)絡(luò)來提供數(shù)據(jù)通信服務(wù)。

稱作服務(wù)器主機(jī)1492的連接至互聯(lián)網(wǎng)的計(jì)算機(jī)存放響應(yīng)于通過互聯(lián)網(wǎng)所接收的信息而提供服務(wù)的處理。例如，服務(wù)器主機(jī)1492存放提供表示視頻數(shù)據(jù)的信息以便在顯示器1414進(jìn)行渲染的處理。預(yù)見到系統(tǒng)1400的組件能夠在例如主機(jī)1482或服務(wù)器1492的其它計(jì)算機(jī)系統(tǒng)內(nèi)以各種配置進(jìn)行部署。

本發(fā)明的至少一些實(shí)施例涉及使用計(jì)算機(jī)系統(tǒng)1400來實(shí)施這里所描述的一些或全部技術(shù)。根據(jù)本發(fā)明的一個(gè)實(shí)施例，那些技術(shù)由計(jì)算機(jī)系統(tǒng)1400響應(yīng)于處理器1402執(zhí)行存儲器1404中所包含的一個(gè)或多個(gè)處理器指令的一個(gè)或多個(gè)序列來執(zhí)行。這種也被稱作計(jì)算機(jī)指令、軟件和程序代碼的指令可以從諸如存儲設(shè)備1408或網(wǎng)絡(luò)鏈路1478的另一計(jì)算機(jī)可讀介質(zhì)讀入存儲器1404。執(zhí)行存儲器1404中所包含的指令序列使得處理器1402執(zhí)行這里所描述的一個(gè)或多個(gè)方法步驟。在可替換實(shí)施例中，可以替代軟件或者與之相結(jié)合地使用諸如ASIC 1420之類的硬件。因此，除非這里明確另外指出，否則本發(fā)明的實(shí)施例并不局限于硬件和軟件的任何具體組合方式。

通過網(wǎng)絡(luò)鏈路1478以及通過通信接口1470的其它網(wǎng)絡(luò)進(jìn)行傳送的信號往來于計(jì)算機(jī)系統(tǒng)1400運(yùn)送信息。除其它之外，計(jì)算機(jī)系統(tǒng)1400能夠通過網(wǎng)絡(luò)鏈路1478和通信接口1470而通過網(wǎng)絡(luò)1480、1490發(fā)送和接受包括程序代碼在內(nèi)的信息。在使用互聯(lián)網(wǎng)1490的示例中，服務(wù)器主機(jī)1498通過互聯(lián)網(wǎng)1490、ISP設(shè)備1484、本地網(wǎng)絡(luò)1480和通信接口1470傳送由從計(jì)算機(jī)1400所發(fā)送的消息所請求的用于特定應(yīng)用的程序代碼。所接收的代碼可以在其被接收時(shí)由處理器1402執(zhí)行，或者可以存儲在存儲器1404或存儲設(shè)備1408中或者存儲在任意其它非易失性存儲中以便隨后執(zhí)行，或者上述的二者。以這種方式，計(jì)算機(jī)系統(tǒng)1400可以獲取載波上的信號形式的應(yīng)用程序代碼。

在向處理器1402運(yùn)送指令或數(shù)據(jù)或者其二者的一個(gè)或多個(gè)序列以便執(zhí)行時(shí)可以涉及到各種形式的計(jì)算機(jī)可讀媒體。例如，指令和數(shù)據(jù)最初可以承載于諸如主機(jī)1482之類的遠(yuǎn)程計(jì)算機(jī)的磁盤上。該遠(yuǎn)程計(jì)算機(jī)將指令和數(shù)據(jù)加載到其動態(tài)存儲器中并且使用調(diào)制解調(diào)器通過電話線路發(fā)送該指令和數(shù)據(jù)。計(jì)算機(jī)系統(tǒng)1400本地的調(diào)制解調(diào)器接收電話線路上的指令和數(shù)據(jù)并且使用紅外傳送器將該指令和數(shù)據(jù)轉(zhuǎn)換為用作網(wǎng)絡(luò)鏈路1478的紅外載波上的信號。用作通信接口1470的紅外檢測器接收紅外信號中所承載的指令和數(shù)據(jù)并且將表示該指令和數(shù)據(jù)的信息放到總線1410上?？偩€1410將該信息送至存儲器1404，處理器1402從那里獲取指令并且使用隨指令發(fā)送的一些數(shù)據(jù)執(zhí)行該指令。存儲器1404中所接收的指令和數(shù)據(jù)可選地可以在被處理器1402執(zhí)行之前或之后存儲在存儲設(shè)備1408上。

圖15圖示了可以在其上實(shí)施本發(fā)明的芯片組或芯片1500。芯片組1500被編程以如這里所描述的準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染，并且例如包括參考圖14所描述的整合在一個(gè)或多個(gè)物理封裝(例如，芯片)的處理器和存儲器組件。作為示例，物理封裝包括結(jié)構(gòu)組裝件(例如，基板)上的一個(gè)或多個(gè)材料、組件和/或線路的部署以提供諸如物理強(qiáng)度、尺寸節(jié)約和/或電氣交互限制的一個(gè)或多個(gè)特性。預(yù)見到在某些實(shí)施例中，芯片組1500可以以單個(gè)芯片來實(shí)施。進(jìn)一步預(yù)見到，在某些實(shí)施例中，芯片組或芯片1500可以被實(shí)施為單個(gè)“片上系統(tǒng)”。進(jìn)一步預(yù)見到，在某些實(shí)施例中，例如將不會使用單獨(dú)的ASIC并且如這里所描述的所有相關(guān)功能都將由一個(gè)或多個(gè)處理器來執(zhí)行。芯片組或芯片1500或者其部分構(gòu)成了用于執(zhí)行準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的一個(gè)或多個(gè)步驟的部件。

在一個(gè)實(shí)施例中，芯片組或芯片1500包括通信機(jī)制，諸如用于在芯片組1500的組件之間輸送信息的總線1501。處理器1503具有到總線1501的連接以執(zhí)行例如存儲在存儲器1505中的指令和處理信息。處理器1503可以包括一個(gè)或多個(gè)處理核心，其中每個(gè)核心被配置為獨(dú)立執(zhí)行。多核處理器使得能夠在單個(gè)物理封裝內(nèi)進(jìn)行多重處理。多核處理器的示例包括兩個(gè)、四個(gè)、八個(gè)或更多數(shù)量的處理核心?？商鎿Q地或除此之外，處理器1503可以包括經(jīng)由總線1501串聯(lián)配置的一個(gè)或多個(gè)微處理器以使得能夠?qū)χ噶?、管道和多線程進(jìn)行獨(dú)立執(zhí)行。處理器1503還可以伴隨有一個(gè)或多個(gè)專用組件以執(zhí)行某些處理功能和任務(wù)，諸如一個(gè)或多個(gè)數(shù)字信號處理器(DSP)1507或者一個(gè)或多個(gè)應(yīng)用特定集成電路(ASIC)1514。DSP 1507通常被配置為獨(dú)立于處理器1503實(shí)時(shí)處理實(shí)際信號(例如，聲音)。類似地，ASIC 1514能夠被配置為無法由更為通用的處理器輕易執(zhí)行的專用功能。用于輔助執(zhí)行這里所描述的發(fā)明功能的其它專用組件可以包括一個(gè)或多個(gè)現(xiàn)場可編程門陣列(FPGA)(未示出)、一個(gè)或多個(gè)控制器(未示出)或者一個(gè)或多個(gè)其它專用計(jì)算機(jī)芯片。

在一個(gè)實(shí)施例中，芯片組或芯片1500僅包括一個(gè)或多個(gè)處理器以及支持和/或涉及和/或用于一個(gè)或多個(gè)處理器的一些軟件和/或固件。

處理器1503和伴隨組件經(jīng)由總線1501而具有到存儲器1505的連接。存儲器1505包括動態(tài)存儲器(例如，RAM、磁盤、可寫入光盤等)和靜態(tài)存儲器(例如，ROM、CD-ROM等)，以便存儲在被執(zhí)行時(shí)實(shí)施這里所描述的發(fā)明步驟以準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的可執(zhí)行指令。存儲器1505還存儲與發(fā)明步驟的執(zhí)行相關(guān)聯(lián)或者由其所生成的數(shù)據(jù)。

圖16是根據(jù)一個(gè)實(shí)施例的能夠在圖1的系統(tǒng)中進(jìn)行操作的用于通信的移動終端(例如，手機(jī))的示例性組件的示圖。在一些實(shí)施例中，移動終端1601或者其部分構(gòu)成了用于準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的一個(gè)或多個(gè)步驟的部件。總體上，無線電接收器經(jīng)常在前端和后端特性方面進(jìn)行定義。接收器的前端內(nèi)包含所有的射頻(RF)電路而后端則包含所有的基帶處理電路。如本申請中所使用的，術(shù)語電路是指以下二者：(1)僅硬件的電路實(shí)施方式實(shí)現(xiàn)(諸如僅以模擬和/或數(shù)字電路的實(shí)施方式)；(2)電路和軟件(和/或固件)的組合(諸如，在可應(yīng)用與特定環(huán)境的情況下，共同工作以使得諸如移動電話或服務(wù)器的裝置執(zhí)行各種功能的包括(多個(gè))數(shù)字信號處理器的(多個(gè))處理器、軟件和(多個(gè))存儲器的組合)?！半娐贰钡倪@個(gè)定義應(yīng)用于本申請中使用該術(shù)語的所有情況，包括任意權(quán)利要求。作為另一個(gè)示例，如在本申請中所使用的并且如果可應(yīng)用于特定環(huán)境，術(shù)語“電路”還將覆蓋僅為處理器(或多個(gè)處理器)及其伴隨的軟件和/或固件的實(shí)施方式。如果可應(yīng)用于特定環(huán)境，則術(shù)語“電路”還將覆蓋作移動電話中的基帶集成電路或應(yīng)用處理器集成電路，或者小區(qū)網(wǎng)絡(luò)設(shè)備或其它網(wǎng)絡(luò)設(shè)備中類似的集成電路。

電話的相關(guān)內(nèi)部組件包括主控制單元(MCU)1603、數(shù)字信號處理器(DSP)1605以及包括麥克風(fēng)增益控制單元和揚(yáng)聲器增益控制單元在內(nèi)的接收器/傳送器單元。主顯示單元1607向用戶提供顯示以支持各種應(yīng)用和移動終端功能，該功能執(zhí)行或支持準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的步驟。顯示器1607包括顯示電路，其被配置為顯示移動終端(例如，移動電話)的用戶接口的至少一部分。因此，顯示器1607和顯示電路被配置為促成移動終端的至少一些功能的用戶控制。音頻功能電路1609包括麥克風(fēng)1611以及對從麥克風(fēng)1611輸出的語音信號進(jìn)行放大的麥克風(fēng)放大器。從麥克風(fēng)1611所輸出的經(jīng)放大的語音信號被送至編碼器/解碼器(CODEC)1613。

無線電段1615對功率進(jìn)行放大并且轉(zhuǎn)換頻率以便經(jīng)由天線1617與包括在移動通信系統(tǒng)中的基站進(jìn)行通信。功率放大器(PA)1619和傳送器/調(diào)制電路對MCU 1603進(jìn)行操作響應(yīng)，其中如本領(lǐng)域已知的，來自PA 1619的輸出耦合至雙工器1121或循環(huán)器或天線開關(guān)。PA 1619還耦合至電池接口和功率控制單元1620。

在使用中，移動終端1601的用戶向麥克風(fēng)1611中講話并且其聲音連同任意所檢測到的背景噪聲一起被轉(zhuǎn)換為模擬電壓。該模擬電壓隨后通過模數(shù)轉(zhuǎn)換器(ADC)1623而被轉(zhuǎn)換為數(shù)字信號。控制單元1603將數(shù)字信號送至DSP 1605中以便在其中處理，諸如話音編碼、信道編碼、加密和交織。在一個(gè)實(shí)施例中，經(jīng)處理的語音信號被并未單獨(dú)示出的單元使用小區(qū)傳輸協(xié)議進(jìn)行編碼，該小區(qū)傳輸協(xié)議諸如全域進(jìn)化增強(qiáng)數(shù)據(jù)速率(EDGE)、通用分組無線服務(wù)(GPRS)、全球移動通信系統(tǒng)(GSM)、互聯(lián)網(wǎng)協(xié)議多媒體子系統(tǒng)(IMS)、通用移動電信系統(tǒng)(UMTS)等，以及任意其它適當(dāng)無線介質(zhì)，例如全球微波接入互操作性(WiMAX)、長期演進(jìn)(LTE)網(wǎng)絡(luò)、碼分多址(CDMA)、寬帶碼分多址(WCDMA)、無線保真度(WiFi)、衛(wèi)星等，或者其任意組合。

編碼信號隨后被送至均衡器1625以便對通過空中傳輸部件出現(xiàn)的諸如相位和振幅失真之類的任何依賴于頻率的損傷進(jìn)行補(bǔ)償。在對比特流進(jìn)行均衡之后，調(diào)制器1627將信號與RF接口1629中所生成的RF信號進(jìn)行組合。調(diào)制器1627利用頻率或相位調(diào)制而生成正弦波。為了準(zhǔn)備用于傳輸?shù)男盘枺l轉(zhuǎn)換器1631將調(diào)制器1627所輸出的正弦波與合成器1633所生成的另一個(gè)正弦波進(jìn)行合并以實(shí)現(xiàn)所期望的傳輸頻率。該信號隨后通過PA 1619發(fā)送以將信號增加至適當(dāng)功率水平。在實(shí)際系統(tǒng)中，PA 1619用作可變增益放大器，其增益由DSP 1605根據(jù)從網(wǎng)絡(luò)基站所接收的信息來控制。該信號隨后在雙工器1621內(nèi)進(jìn)行濾波并且可選地被發(fā)送至天線耦合器1635以匹配阻抗而提供最大功率傳輸。最后，該信號經(jīng)由天線1617傳送至基站。可以提供自動增益控制(AGC)以控制接收器的最后階段的增益。該信號可以從那里被轉(zhuǎn)發(fā)至可以為另一部小區(qū)電話、任意其它移動電話或連接至公共交換電話網(wǎng)絡(luò)(PSTN)或其它電話網(wǎng)絡(luò)的固話的遠(yuǎn)程電話。

傳送至移動終端1601的語音信號經(jīng)由天線1617被接收并且立即由低噪聲放大器(LNA)1637所放大。降頻轉(zhuǎn)換器1639降低載波頻率同時(shí)解調(diào)器1641剝離RF而僅留下數(shù)字比特流。該信號隨后通過均衡器1625并且由DSP 1605進(jìn)行處理。數(shù)模轉(zhuǎn)換器(DAC)1643對該信號進(jìn)行轉(zhuǎn)換并且所產(chǎn)生的輸出通過揚(yáng)聲器1645而被傳送至用戶，這些全部都處于能夠被實(shí)施為中央處理器(CPU)(未示出)的主控制單元(MCU)1603的控制之下。

MCU 1603從鍵盤1647接收包括輸入信號在內(nèi)的各種信號。與其它用戶輸入組件(例如，麥克風(fēng)1611)相結(jié)合的鍵盤1647和/或MCU 1603包括用于管理用戶輸入的用戶接口電路。MCU 1603運(yùn)行用戶接口軟件以促成用戶對移動終端1601用于準(zhǔn)確處理并記錄媒體內(nèi)容以便在3D地圖和其它應(yīng)用中進(jìn)行渲染的至少一些功能進(jìn)行控制。MCU 1603還向分別顯示器1607和話音輸出切換控制器輸送顯示命令和切換命令。另外，MCU 1603與DSP 1605交換信息并且能夠訪問可選地所結(jié)合的SIM卡1649和存儲器1651。此外，MCU 1603執(zhí)行終端所需的各種控制功能。根據(jù)實(shí)施方式，DSP 1605可以對語音信號執(zhí)行各種常規(guī)的數(shù)字處理功能。此外，DSP 1605從麥克風(fēng)1616所檢測的信號確定本地環(huán)境的背景噪聲水平并且將麥克風(fēng)1611的增益設(shè)置為所選擇的用于對移動終端1601的用戶的自然趨勢進(jìn)行補(bǔ)償?shù)乃健?/p>

CODEC 1613包括ADC 1623和DAC 1643。存儲器1651存儲包括來電話音數(shù)據(jù)在內(nèi)的各種數(shù)據(jù)并且能夠存儲包括例如經(jīng)由全球互聯(lián)網(wǎng)所接收的音樂數(shù)據(jù)在內(nèi)的其它數(shù)據(jù)。軟件模塊可以存在于RAM存儲器、閃存、寄存器或者本領(lǐng)域已知的任意其它形式的可寫入存儲介質(zhì)中。存儲器設(shè)備1651可以是單個(gè)存儲器、CD、DVD、ROM、RAM、EEPROM、光學(xué)存儲、磁盤存儲、閃存存儲或者能夠存儲數(shù)字?jǐn)?shù)據(jù)的任意其它非易失性存儲介質(zhì)，但是并不局限于此。

可選地所結(jié)合的SIM卡1649例如承載諸如小區(qū)電話號碼、載體供應(yīng)服務(wù)、訂購細(xì)節(jié)和安全信息之類的重要信息。SIM卡1649主要用來在無線電網(wǎng)絡(luò)上識別移動終端1601?？?649還包含用于存儲個(gè)人電話號碼登記、文本消息和用戶特定移動終端設(shè)置的存儲器。

此外，傳感器模塊1653可以包括各種傳感器，例如位置傳感器、速度傳感器、音頻傳感器、圖像傳感器、亮度傳感器、生物計(jì)量傳感器、各種生理傳感器、方向傳感器等，其用于捕捉與移動終端1601(例如，移動電話)、移動終端1601的用戶、移動終端1601的環(huán)境和/或用戶或者它們的組合相關(guān)聯(lián)的各種數(shù)據(jù)，其中該數(shù)據(jù)可以被收集、處理、存儲，和/或與移動終端1601的一個(gè)或多個(gè)組件和/或模塊和/或與移動終端1601外部的一個(gè)或多個(gè)實(shí)體進(jìn)行共享。

雖然已經(jīng)結(jié)合多個(gè)實(shí)施例和實(shí)施方式對本發(fā)明進(jìn)行了描述，但是本發(fā)明并不局限于此而是覆蓋落入所附權(quán)利要求范圍之內(nèi)的各種顯然的修改和等同配置形式。雖然本發(fā)明的特征在權(quán)利要求中以某些組合形式進(jìn)行表達(dá)，但是預(yù)見到這些特征能夠以任意組合形式和順序進(jìn)行部署。