本發(fā)明涉及圖像處理。

背景技術(shù)：

在此所提供的“背景”描述目的是總體上提出本公開的上下文。目前署名的發(fā)明人的工作對(duì)于在該背景部分中對(duì)其進(jìn)行描述的程度以及在提交時(shí)可以并非另外限定為現(xiàn)有技術(shù)的描述的各方面既不明確地也不暗含地認(rèn)為針對(duì)本發(fā)明的現(xiàn)有技術(shù)。

存在用于對(duì)圖像進(jìn)行處理、編碼并且壓縮的各種技術(shù)。然而，這些技術(shù)總體上涉及(例如矩形像素陣列所呈現(xiàn)的)平面圖像，而且也并未傾向于考慮圖像失真。

前述段落已經(jīng)是通過總體概述的方式提供的，而且并非意圖限制所附權(quán)利要求的范圍。將通過參照結(jié)合附圖進(jìn)行的以下具體實(shí)施方式連同其它優(yōu)點(diǎn)一起最佳地理解所描述的實(shí)施例。

技術(shù)實(shí)現(xiàn)要素：

本公開的各個(gè)方面和特征限定于所附權(quán)利要求中以及所述描述的文本內(nèi)，并且至少包括一種圖像處理方法、一種圖像處理裝置以及計(jì)算機(jī)軟件。

附圖說明

當(dāng)結(jié)合附圖考慮時(shí)，通過對(duì)以下詳細(xì)描述的參照，將更容易地獲得本發(fā)明的更完全的理解及其很多附帶優(yōu)點(diǎn)，并且其變得更好理解，其中：

圖1示意性示出具有一個(gè)或多個(gè)關(guān)聯(lián)相機(jī)的計(jì)算機(jī)游戲機(jī)；

圖2示意性示出具有關(guān)聯(lián)顯示器的計(jì)算機(jī)游戲機(jī)；

圖3更詳細(xì)地示意性示出圖1的布置的部分；

圖4示意性示出計(jì)算機(jī)游戲機(jī)的內(nèi)部結(jié)構(gòu)；圖5示意性示出編碼技術(shù)；

圖6示意性示出解碼技術(shù)；

圖7–圖15是示出圖5和圖6的技術(shù)中的級(jí)的示例圖像；

圖16示意性示出用于編碼的小片結(jié)構(gòu)；

圖17示意性示出用于顯示的小片結(jié)構(gòu)；

圖18示意性示出球面全景圖像；

圖19示意性示出用于捕獲球面全景圖像的相機(jī)布置；

圖20示意性示出編碼技術(shù)；

圖21示意性示出解碼和顯示技術(shù)；

圖22和圖23示意性示出圖像映射；

圖24示意性示出用于將全景圖像編碼為配對(duì)子圖像的技術(shù)；

圖25示意性示出用于對(duì)配對(duì)子圖像進(jìn)行解碼以生成全景圖像的技術(shù)；

圖26示意性示出圖24的技術(shù)所應(yīng)用的處理；

圖27示意性示出操作頭戴式顯示器(HMD)的用戶；

圖28示意性示出用于HMD的視頻顯示技術(shù)；以及

圖29示意性示出用于HMD進(jìn)行的視頻顯示的初始化處理。

具體實(shí)施方式

現(xiàn)參照附圖，圖1示意性示出具有一個(gè)或多個(gè)相機(jī)20的關(guān)聯(lián)集合的計(jì)算機(jī)游戲機(jī)10，計(jì)算機(jī)游戲機(jī)提供用于執(zhí)行以下所討論的方法的圖像處理裝置的示例，例如，圖像編碼裝置，配置為：對(duì)使用廣角透鏡所捕獲的輸入圖像進(jìn)行編碼，所述裝置包括：編碼器，配置為：對(duì)于圖像區(qū)域集合中的至少一些，根據(jù)所述輸入圖像中的圖像區(qū)域大小與已編碼圖像中的圖像區(qū)域大小之間的編碼器映射增加或降低這些圖像區(qū)域相對(duì)于所述圖像區(qū)域集合中的其它圖像區(qū)域的大小，和/或圖像解碼裝置，配置為：對(duì)上述編碼裝置所編碼的圖像進(jìn)行解碼，包括：圖像呈現(xiàn)器，配置為：根據(jù)已編碼圖像的區(qū)域與所呈現(xiàn)的圖像的區(qū)域之間的解碼器映射呈現(xiàn)所述圖像，所述映射與所述編碼器映射互補(bǔ)。

一個(gè)或多個(gè)相機(jī)20提供對(duì)游戲機(jī)10的輸入。例如，游戲機(jī)可以對(duì)相機(jī)所捕獲的圖像進(jìn)行編碼，以用于存儲(chǔ)和/或發(fā)送。隨后，該游戲機(jī)或另一游戲機(jī)可以對(duì)已編碼圖像進(jìn)行解碼，以用于顯示。以下將參照?qǐng)D4討論游戲機(jī)10的內(nèi)部操作中的一些，但在該級(jí)，在描述中，將游戲機(jī)10描述為能夠接收和/或處理相機(jī)數(shù)據(jù)作為輸入并且可選地具有其它輸入設(shè)備(例如游戲控制器、鍵盤、計(jì)算機(jī)鼠標(biāo)等)以及一個(gè)或多個(gè)輸出設(shè)備(例如顯示器(未示出)等)的通用數(shù)據(jù)處理設(shè)備是足夠的。注意，雖然關(guān)于游戲機(jī)描述實(shí)施例，但這僅是更寬泛的數(shù)據(jù)處理技術(shù)的示例，并且本公開可應(yīng)用于其它類型的數(shù)據(jù)處理系統(tǒng)(例如個(gè)人計(jì)算機(jī)、平板計(jì)算機(jī)、移動(dòng)電話等)。

通常，在至少一些實(shí)施例中，相機(jī)所捕獲的圖像經(jīng)受各種處理技術(shù)，以提供圖像的改進(jìn)的編碼(和/或隨后改進(jìn)的解碼)。將描述用于實(shí)現(xiàn)該目的的各種技術(shù)。

圖2示意性示出與用戶顯示器60關(guān)聯(lián)的游戲機(jī)(其可以是與圖1中相同的游戲機(jī)10、或另一游戲機(jī)——或確實(shí)，如以上所討論的通用數(shù)據(jù)處理裝置)。顯示器可以是例如面板顯示器、3-D顯示器、頭戴式顯示器(HMD)等，或確實(shí)這些類型的設(shè)備中的兩個(gè)或更多個(gè)。在圖2所示的一般水平，游戲機(jī)10進(jìn)行動(dòng)作，以接收和/或重獲已編碼圖像數(shù)據(jù)，對(duì)圖像數(shù)據(jù)進(jìn)行解碼，并且提供其以用于經(jīng)由用戶顯示器60顯示。

圖3更詳細(xì)地示意性示出圖1的布置的部分。應(yīng)理解，游戲機(jī)10可以執(zhí)行很多不同的功能，但將描述與本技術(shù)有關(guān)的這些功能的子集。

在圖3中，來自相機(jī)的圖像傳遞到處理級(jí)30，其執(zhí)行圖像的初始處理。取決于圖像的類型，該處理可以是(例如)：將多個(gè)相機(jī)圖像組合為單個(gè)全景圖像(例如球面或部分球面全景圖像)，或補(bǔ)償所捕獲的圖像中的透鏡失真。以下將討論這些技術(shù)的示例。

所處理的圖像傳遞到映射級(jí)40，其將圖像映射為所謂的圖像小片，以用于編碼。在此，術(shù)語“小片”用在普通意義上，以指示用于編碼的圖像的圖像區(qū)域。在一些示例(例如以下待描述的示例)中，小片可以是毗鄰地布置的矩形區(qū)域，從而整個(gè)圖像區(qū)塊為小片的集合所涵蓋，但僅一個(gè)小片與任何特定圖像區(qū)塊對(duì)應(yīng)。然而，可以使用其它布置(例如，小片并非是矩形的布置、每個(gè)圖像區(qū)塊與它們的各個(gè)小片之間不存在一對(duì)一映射的布置等)。本公開的顯著特征是布置小片的方式。以下將討論其它細(xì)節(jié)。

映射為小片的圖像然后傳遞到編碼和存儲(chǔ)/發(fā)送級(jí)50。以下更詳細(xì)地討論該情況。

圖4示意性示出計(jì)算機(jī)游戲機(jī)(例如計(jì)算機(jī)游戲機(jī)10)(其如所討論的那樣是通用數(shù)據(jù)處理機(jī)器或圖像處理裝置的示例)的內(nèi)部結(jié)構(gòu)的部分。圖4示出中央處理單元(CPU)100、硬盤驅(qū)動(dòng)器(HDD)110、圖形處理單元(GPU)120、隨機(jī)存取存儲(chǔ)器(RAM)130、只讀存儲(chǔ)器(ROM)140以及接口150，全都通過總線結(jié)構(gòu)160連接到彼此。HDD 110和ROM 140是機(jī)器可讀非瞬時(shí)存儲(chǔ)介質(zhì)的示例。接口150可以提供對(duì)熱相機(jī)20的接口、對(duì)其它輸入設(shè)備的接口、對(duì)計(jì)算機(jī)網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))的接口、對(duì)顯示設(shè)備的接口(圖4中未示出，但例如與圖2的接口60對(duì)應(yīng))等。CPU 100和GPU 120在HDD 110、RAM 130和/或ROM 140所存儲(chǔ)的適當(dāng)?shù)挠?jì)算機(jī)軟件的控制下執(zhí)行圖4所示的裝置的操作，以執(zhí)行本描述中所描述的操作中的一個(gè)或多個(gè)。應(yīng)理解，該計(jì)算機(jī)軟件以及提供或存儲(chǔ)該軟件的存儲(chǔ)介質(zhì)(包括非瞬時(shí)機(jī)器可讀存儲(chǔ)介質(zhì))看作本公開的實(shí)施例。

圖5示意性示出編碼技術(shù)。將結(jié)合所謂的魚眼透鏡(在此用于描述廣角透鏡的術(shù)語)所捕獲的示例圖像描述該技術(shù)，魚眼透鏡因?yàn)槠鋸V視場(chǎng)所以在所捕獲的圖像中引起圖像失真。然而，技術(shù)的各方面可以應(yīng)用于其它類型的透鏡(例如具有一系列視場(chǎng)內(nèi)的一個(gè)視場(chǎng)的透鏡)。將參照?qǐng)D7-圖15描述示例圖像，以示出圖5所示的級(jí)中的一些。

在步驟200，例如，通過具有廣角透鏡的相機(jī)捕獲用于編碼的圖像。

在步驟210，如果適當(dāng)，則校正所捕獲的圖像，以移除或至少減少或補(bǔ)償魚眼(廣角)透鏡所產(chǎn)生的失真，并且，如果正使用立體圖像配對(duì)，則所捕獲的圖像對(duì)準(zhǔn)立體圖像配對(duì)中的另一個(gè)。在一些示例中，校正后的圖像可以具有比輸入圖像更高的像素分辨率。通常，認(rèn)為所得線性圖像更適合于隨后處理，并且在一些方面中隨后處理更容易應(yīng)用于之。在這些示例中，所捕獲的圖像因此經(jīng)受兩級(jí)處理。在第一級(jí)，所捕獲的圖像作為非線性或失真的圖像的示例受處理，從而消除或至少減少這些非線性失真。在以下待討論的第二級(jí)，失真得以減少的圖像然后失真，以用于進(jìn)一步編碼，例如，從而將更大的已編碼圖像分辨率提供給已編碼圖像的中心區(qū)域。

步驟210提供將圖像校正應(yīng)用于輸入圖像以補(bǔ)償廣角透鏡所產(chǎn)生的圖像失真的示例。

在步驟220，圖像然后劃分為小片，以用于編碼。在以下待參照?qǐng)D11討論的示例中，小片是矩形的，并且在該級(jí)得以均勻地安排大小而且成形。然而，其它布置當(dāng)然是可能的。

在步驟230，小片中的至少一些根據(jù)編碼器映射得以重新安排大小，該操作可以是這樣的：一個(gè)或多個(gè)中心圖像區(qū)域在大小方面增加，而一個(gè)或多個(gè)外圍圖像區(qū)域在大小方面降低。重新安排大小處理包括：使得一些小片更大，并且使得一些小片更小。重新安排大小可以取決于初始魚眼失真；以下將參照?qǐng)D12進(jìn)一步討論該情況。

最終，在步驟240，對(duì)所得圖像進(jìn)行編碼，例如，以用于記錄(存儲(chǔ))和/或發(fā)送。在該級(jí)，在處理中，可以使用已知的編碼技術(shù)(例如所謂的JPEG或MPEG編碼技術(shù))。

步驟240可以連同已編碼圖像一起(或另外與之關(guān)聯(lián))可選地包括編碼元數(shù)據(jù)，其指示以下中的一個(gè)或多個(gè)：(a)在步驟220劃分為小片(例如，小片的數(shù)量、以像素為單位的一個(gè)或多個(gè)小片的大小等。在不同地安排大小的小片的對(duì)稱布置的情況下，僅需要提供特定小片大小(例如因?yàn)楦鶕?jù)小片圖案對(duì)稱性反射小片大小所以將不另外提供的小片大小))；以及(b)編碼器映射，例如，在步驟230對(duì)小片重新安排大小(例如，應(yīng)用于小片中的一個(gè)或多個(gè)(例如全部)的重新安排大小或放大/縮小因子或輸出小片大小，例如，按順序(例如，從左上到右下的小片的光柵順序)的用于小片的放大因子的集合。在小片的對(duì)稱布置的情況下，僅需要提供特定因子(例如因?yàn)楦鶕?jù)小片圖案對(duì)稱性反射小片大小所以將不另外提供的特定因子))。

關(guān)于以下待討論的圖11和圖12的示例，在圖11中，遠(yuǎn)離中心水平行的每個(gè)小片(在步驟220)具有相等大小，從而僅需要提供“小片大小”的兩個(gè)值作為元數(shù)據(jù)。當(dāng)然，如果使用固定小片大小或從輸入圖像推導(dǎo)小片的固定數(shù)量，則無需該元數(shù)據(jù)。關(guān)于圖11，使用旋轉(zhuǎn)(或雙軸反射)對(duì)稱性意味著，僅需要定義特定重新安排大小的小片大小(或因子)，例如：邊角小片、與邊角小片相鄰的外部小片以及與邊角小片對(duì)角線相鄰的小片。注意，如果要求，則重新安排大小的小片的中心行的大小或放大可以從其它小片的放大得以推斷，或可以提供為元數(shù)據(jù)。

這些布置提供這樣的示例：提供指示所捕獲的圖像成為圖像區(qū)域的劃分的元數(shù)據(jù)，和/或提供指示圖像區(qū)域中的至少一些的大小方面的增加或降低的元數(shù)據(jù)。

以上所討論的元數(shù)據(jù)布置允許動(dòng)態(tài)地或至少可變地使用步驟220和/或230，在于：可以動(dòng)態(tài)地改變小片的劃分，和/或可以動(dòng)態(tài)地改變小片大小的放大/縮小。例如，步驟220和/或230可以根據(jù)例如取決于圖像內(nèi)容的視點(diǎn)或因子涵蓋動(dòng)態(tài)變化。這些技術(shù)提供這樣的布置的示例：其中，增加或降低大小的步驟包括：根據(jù)所捕獲的圖像的內(nèi)容和/或視點(diǎn)動(dòng)態(tài)地改變大小方面的增加或降低，和/或根據(jù)所捕獲的圖像的內(nèi)容和/或視點(diǎn)動(dòng)態(tài)地改變所捕獲的圖像成為圖像區(qū)域的劃分。并非所有圖像區(qū)域需要通過步驟230在大小方面改變。

圖5的處理因此提供一種對(duì)使用廣角透鏡所捕獲的輸入圖像進(jìn)行編碼的方法的示例，所述方法包括：對(duì)于圖像區(qū)域集合中的至少一些，根據(jù)所述輸入圖像中的圖像區(qū)域大小與已編碼圖像中的圖像區(qū)域大小之間的編碼器映射增加或降低這些圖像區(qū)域相對(duì)于所述圖像區(qū)域集合中的其它圖像區(qū)域的大小。

圖6示意性示出用于對(duì)圖5的方法所編碼的圖像進(jìn)行解碼的解碼技術(shù)。

在步驟250，使用互補(bǔ)解碼技術(shù)(例如已知的JPEG或MPEG解碼技術(shù))對(duì)在圖5的步驟240所生成的已編碼圖像進(jìn)行解碼。

然后，在步驟260，關(guān)于顯示，將已解碼圖像呈現(xiàn)到適當(dāng)?shù)匕才糯笮〉亩噙呅紊?，從而提供在圖5的步驟230執(zhí)行的重新安排大小步驟的逆操作。

圖6的處理因此提供一種用于對(duì)使用如前述權(quán)利要求中的任一項(xiàng)所述的方法所編碼的圖像進(jìn)行解碼的解碼方法的示例，所述方法包括：根據(jù)已編碼圖像的區(qū)域與所呈現(xiàn)的圖像的區(qū)域之間的解碼器映射呈現(xiàn)所述圖像，所述映射與所述編碼器映射互補(bǔ)。

可以通過圖4的裝置執(zhí)行圖5和圖6的處理，例如，其中，CPU充當(dāng)編碼器、呈現(xiàn)器等。

圖7–圖15是示出圖5和圖6的技術(shù)中的級(jí)的示例圖像。

圖7示意性示出具有廣角透鏡的相機(jī)初始地捕獲的示例圖像?？梢灾苯佑^測(cè)但也可以在圖8的版本(其中，柵格270(僅為了說明)已經(jīng)疊加在圖7的圖像上)中看見所捕獲的圖像中的失真。柵格270示出因?yàn)閺V角透鏡的影響所以圖像特征傾向于在所捕獲的圖像的中心放大并且在所捕獲的圖像的外圍消失的方式。

在圖7和圖8中，并且確實(shí)在以下待討論的其它圖像中，橫亙各個(gè)圖像的頂部以及靠各個(gè)圖像的左側(cè)所示的數(shù)值指示與該圖像對(duì)應(yīng)的像素分辨率。

圖9示意性示出步驟210的校正處理的結(jié)果，其中，已經(jīng)通過以電子方式應(yīng)用互補(bǔ)圖像失真消除魚眼或廣角透鏡所引入的失真。在該級(jí)已經(jīng)使用圖像上面以及靠圖像左邊的數(shù)字所示的更高的像素分辨率，以避免在該級(jí)丟失圖像信息。

圖10表示圖像與(已經(jīng)經(jīng)受對(duì)應(yīng)處理的)立體配對(duì)中的另一圖像對(duì)準(zhǔn)，并且剪切以準(zhǔn)備進(jìn)一步處理。剪切消除圖9的圖像的外圍中出現(xiàn)的贗像。

參照?qǐng)D11，圖10的圖像已經(jīng)劃分為小片。在圖11中通過示意性分隔線并且通過已經(jīng)應(yīng)用于協(xié)助觀看者標(biāo)識(shí)不同小片的陰影示出小片。然而，應(yīng)注意，陰影和分隔線僅用于本描述的目的，并且不形成圖像自身的部分。在圖11中，圖像已經(jīng)劃分為25個(gè)小片，即5x 5小片的陣列。這些小片無需是相同大小的，并且確實(shí)從圖11可見，朝向圖像的中心的小片比朝向圖像的外圍的小片更大。在該級(jí)劃分為小片的主要目的是允許針對(duì)不同的小片應(yīng)用不同的處理。因此，小片邊界意圖反映應(yīng)用不同處理的方式。小片在圖11中全為矩形的，但如上所述，這并非是必要的。相似地，小片相對(duì)于彼此毗鄰地布置，從而圖11的整個(gè)圖像區(qū)塊為小片所占據(jù)，并且任何特定圖像區(qū)塊僅位于一個(gè)小片上。然而，再次，這些特征并不是必須的。

圖12示意性示出圖5的步驟230的(在該示例中的)效果。小片已經(jīng)重新安排大小。具體地說，圖11的中心小片300已經(jīng)相對(duì)于其它小片(例如外圍小片310)擴(kuò)展(為圖12中的小片300’)，其它小片(例如外圍小片310)已經(jīng)在大小方面相對(duì)于其它小片減小(為圖12的小片310’)。然而，注意，圖12的圖像的總體分辨率與圖11的不同。圖11中的小片300的像素大小是768x576像素。注意圖12的圖像的減小的總體大小，小片300’的像素大小是576x512像素。然而，注意，圖11的圖像基于初始捕獲的圖像的放大版本(返回參照?qǐng)D9以及關(guān)聯(lián)討論)，從而關(guān)于中心小片300’的有用的分辨率方面的實(shí)際損失與初始捕獲的圖像相比是微小的或可能甚至不存在。

其它小片重新安排大小，如上所述，以在圖12的圖像中對(duì)它們給予更少的重要性。這通常布置為如此：更多外圍小片在大小方面減小達(dá)更大的量，并且更多的中心小片在大小方面減小達(dá)更少的量。重新安排大小處理在一般水平與初始魚眼失真對(duì)應(yīng)，在于：在初始捕獲的圖像中，對(duì)于圖像的中心區(qū)域提供更大的重要性和圖像分辨率，并且對(duì)于圖像的外圍區(qū)域提供更少的重要性和圖像分辨率。

圖13示出在步驟230之后的圖像的示例，但不顯示柵格線和小片結(jié)構(gòu)。

參照?qǐng)D14，已經(jīng)經(jīng)受圖5的處理的兩個(gè)這樣的圖像的立體配對(duì)可以旋轉(zhuǎn)得按側(cè)接側(cè)格式強(qiáng)調(diào)，以占據(jù)標(biāo)準(zhǔn)1920x1080高清晰度幀，以用于使用已知的編碼技術(shù)(例如已知的JPEG或MPEG編碼技術(shù))進(jìn)行編碼。編碼發(fā)生在以上所討論的步驟240。

圖15示意性表示圖6的步驟260的處理的效果，在于：已解碼的視頻呈現(xiàn)到可以是與具有可變的大小的所需的小片結(jié)構(gòu)對(duì)應(yīng)的矩形多邊形的多邊形集合上，從而重新創(chuàng)建沒有重新安排大小步驟230所引入的失真的初始圖像。通過水平線和垂直線示出圖15中的各小片之間的劃分，但再次，注意，它們僅是為了提出本描述，并且不形成所呈現(xiàn)的圖像的部分。因此，例如，圖12的中心小片300’呈現(xiàn)到圖15的中心區(qū)域300”上。圖12的示例外圍小片310’呈現(xiàn)到圖15的對(duì)應(yīng)區(qū)域310”上，依此類推。因此，圖15所示的用于呈現(xiàn)的區(qū)域的布置與在重新安排大小步驟230之后的圖11中的小片的布置對(duì)應(yīng)。

圖16示意性示出用于編碼的小片結(jié)構(gòu)。如前，圖像的總體大小(1080x960像素)由圖像之上以及靠圖像的左邊的數(shù)字指示。小片邊界關(guān)于它們距圖像的左手邊沿和下邊沿的像素距離的位置由行320和列330的數(shù)字指示。圖16的布置與圖12的布局對(duì)應(yīng)。

圖17示意性示出與圖15的布局對(duì)應(yīng)的用于顯示的小片結(jié)構(gòu)。再次，圖像的總體大小(3200x1800)由圖像之上以及靠圖像的左邊的數(shù)字給出，并且小片邊界的位置由行340和列350的數(shù)字指示。

圖18示意性示出球面全景圖像。

球面全景圖像(或更一般地，部分球面全景圖像)尤其適合于使用例如頭戴式顯示器(HMD)的設(shè)備觀看。以下將參照?qǐng)D27討論使用中的HMD的示例?；径?，提供全景圖像，其可以看作環(huán)繞觀看者的球面或部分球面圖像400，觀看者為了顯示球面全景圖像的目的看作位于球面的中心處。從HMD的佩戴者的觀點(diǎn)來看，使用這種類型的全景圖像意味著，佩戴者可以在任何方向——左、右、上、下——上在圖像周圍搖攝，并且觀測(cè)毗鄰全景圖像。如以下參照?qǐng)D27所討論的那樣，注意，圖像周圍的搖攝在HMD系統(tǒng)的情境中可以如在佩戴HMD的同時(shí)轉(zhuǎn)動(dòng)用戶的頭部那樣簡單，在于：HMD的位置的旋轉(zhuǎn)改變可以直接映射為當(dāng)前對(duì)HMD佩戴者顯示的球面全景圖像的部分的改變，從而HMD佩戴者具有站在球面圖像400的中心并且僅在其各個(gè)部分處周圍觀看的感知。

這種類型的全景圖像可以是計(jì)算機(jī)生成的，但為了示出可以如何捕獲它們，圖19示意性示出用于捕獲球面全景圖像的相機(jī)布置。

使用表示圖1的相機(jī)20的集合的示例的相機(jī)陣列。為了示圖的清楚性和簡明性，圖19中僅示出四個(gè)這樣的相機(jī)，并且四個(gè)所示的相機(jī)處于同一平面中，但在實(shí)踐中，可以使用更大數(shù)量的相機(jī)，包括相對(duì)于圖19的頁面的平面向上以及向下取向的一些相機(jī)。所需的相機(jī)的數(shù)量部分地取決于與相機(jī)關(guān)聯(lián)的透鏡或其它光學(xué)布置。如果更廣角透鏡用于每個(gè)相機(jī)，則可能的是，需要更少的相機(jī)，以獲得對(duì)于所需的球面或部分球面的完整程度的重疊覆蓋。

圖19中的相機(jī)之一標(biāo)記為主級(jí)相機(jī)21。主級(jí)相機(jī)21的取向表示所捕獲的圖像的“前向”方向。當(dāng)然，如果正捕獲完整球面全景圖像，則每個(gè)方向與所捕獲的球面圖像的部分對(duì)應(yīng)。然而，可以仍存在朝向正捕獲的主要“動(dòng)作”取向的主級(jí)方向。例如，在體育賽事的覆蓋中，主級(jí)相機(jī)21可以指向體育活動(dòng)的當(dāng)前位置，其中，球面全景的其余部分提供周圍的視圖。

主級(jí)相機(jī)21正指向的方向可以由方向(取向)傳感器22檢測(cè)，并且方向信息提供為與所捕獲的圖像信號(hào)關(guān)聯(lián)的元數(shù)據(jù)410。

組合器420從相機(jī)中的每一個(gè)接收信號(hào)(包括來自為了示圖的清楚性在圖19中未示出的相機(jī)的信號(hào)430)，并且將信號(hào)組合為球面全景圖像信號(hào)440。以下將討論用于對(duì)該圖像進(jìn)行編碼的示例技術(shù)。關(guān)于組合操作，相機(jī)20布置為這樣的：它們?cè)谘b置周圍的球面范圍的覆蓋至少是毗鄰的，從而每個(gè)方向由至少一個(gè)相機(jī)捕獲。組合器420鄰接各個(gè)所捕獲的圖像，以形成球面全景400的完整覆蓋。如果適當(dāng)，則組合器420將圖像校正應(yīng)用于所捕獲的圖像，以將任何透鏡導(dǎo)致的失真映射到與球面全景400對(duì)應(yīng)的球面表面上。

圖20示意性示出可應(yīng)用于球面或部分球面全景圖像的編碼技術(shù)。在高等級(jí)，所述技術(shù)包括：將球面圖像映射為平面圖像。這樣于是允許已知的圖像編碼技術(shù)(例如已知的JPEG或MPEG圖像編碼技術(shù))用于對(duì)平面圖像進(jìn)行編碼。在解碼時(shí)，平面圖像映射回到球面圖像。

參照?qǐng)D20，步驟500包括：將球面圖像映射為平面圖像。步驟510包括：增加赤道像素對(duì)平面圖像的貢獻(xiàn)。在步驟520，如以上所討論的那樣對(duì)平面圖像進(jìn)行編碼。

將更詳細(xì)地討論步驟500、510。

首先，“赤道”像素的概念在該上下文中與處于與主級(jí)相機(jī)21相同的水平平面中的圖像區(qū)域的像素有關(guān)。也就是說，服從對(duì)HMD佩戴者顯示圖像的方式，它們將處于與HMD佩戴者的眼睛等級(jí)相同的水平平面中。該眼睛等級(jí)水平平面周圍的圖像區(qū)域在本公開內(nèi)認(rèn)為比在球面全景的上下極端處的“極”像素更有意義。返回參照?qǐng)D18，已經(jīng)指示赤道像素的區(qū)域402的示例，并且已經(jīng)指示極像素的區(qū)域404、406的示例。但通常，無需存在分離赤道像素、極像素和其它像素的特定邊界。本公開所提供的技術(shù)可以實(shí)現(xiàn)為粒度化過渡，從而朝向球面圖像的赤道(眼睛等級(jí))的圖像區(qū)域傾向于受處理，從而增加它們對(duì)平面圖像的貢獻(xiàn)，并且朝向球面圖像的各極的圖像區(qū)域傾向于受處理，從而降低它們對(duì)平面圖像的貢獻(xiàn)。

步驟500、510在圖20中示出為分離的步驟，目的僅是提出解釋。本領(lǐng)域技術(shù)人員當(dāng)然應(yīng)理解，步驟500的映射操作可以考慮步驟510中指代的像素對(duì)平面圖像的可變貢獻(xiàn)。這將意味著，將不需要分離的步驟510，其中，這兩個(gè)功能另外由單個(gè)映射操作執(zhí)行。

根據(jù)球面圖像內(nèi)的緯度的貢獻(xiàn)的這種變化示出于圖22和23中，其中的每一個(gè)示出球面圖像550、560以及球面圖像映射為的各個(gè)平面圖像570、580。

圖22示出球面直接劃分為均覆蓋相等緯度范圍的角度片塊。相應(yīng)地，圖22示出沒有步驟510的情況。設(shè)0°的緯度表示赤道，并且+90°方向表示北極(所繪制的球面圖像550的頂部)，那么每個(gè)片塊將覆蓋例如22.5°的緯度，從而第一片塊從0°行進(jìn)到22.5°，第二片塊從22.5°行進(jìn)到45°，依此類推。這些片塊中的每一個(gè)映射為平面圖像570的各個(gè)水平部分。因此，例如，從0°到22.5°北的片塊映射為圖22的平面圖像570的水平部分590。在經(jīng)度意義上應(yīng)用相似的劃分，將從0°到360°的經(jīng)度的范圍劃分為n個(gè)相等的經(jīng)度部分，其中的每一個(gè)匹配各個(gè)垂直部分(例如平面圖像570的部分600)。

相似的但使用步驟510(或?qū)⒉襟E510合并到步驟500的映射操作中)的技術(shù)由圖23表示。在此，在該示例中，球面圖像560劃分為與以上所討論的球面圖像550相同的角度范圍。然而，映射這些范圍的平面圖像580的區(qū)域在平面圖像580內(nèi)的限度中改變。具體地說，朝向映射赤道像素的這些區(qū)域(例如區(qū)域592)，區(qū)域的高度大于例如映射極像素的區(qū)域596的區(qū)域。比較圖22的區(qū)域590和圖23的區(qū)域592的各個(gè)高度以及圖22的區(qū)域594和圖23的區(qū)域596的高度，可見，在圖23的布置中，赤道像素對(duì)平面圖像的貢獻(xiàn)大于圖22中的對(duì)應(yīng)貢獻(xiàn)。

應(yīng)理解，通過(例如)將區(qū)域大小保持為與圖22中所設(shè)置的區(qū)域大小相同但改變球面圖像560的角度緯度以實(shí)現(xiàn)相同效果，可以通過相同方式改變映射。例如，與平面圖像580的水平區(qū)域592對(duì)應(yīng)的球面圖像560的角度緯度可以是(比如)0°到10°北，其中，球面圖像560的向北半球中的其它角度緯度范圍行進(jìn)為(比如)10°至22.5°、22.5至到45°、45°至90°?；蛘?，可以使用這兩種技術(shù)的組合。

圖20的處理因此提供一種處理至少表示相對(duì)于主級(jí)圖像視點(diǎn)的部分球面全景視圖的輸入圖像的方法的示例，所述方法包括：根據(jù)依據(jù)相對(duì)于水平基準(zhǔn)平面的輸入圖像內(nèi)的緯度改變的映射將輸入圖像的區(qū)域映射為平面圖像的區(qū)域，從而輸入圖像中的圖像區(qū)域中的像素的數(shù)量對(duì)于映射輸入圖像中的該圖像區(qū)域的平面圖像中的圖像區(qū)域中的像素的數(shù)量的比率通常隨著從水平基準(zhǔn)平面增加緯度而增加。

圖21示意性示出解碼和顯示技術(shù)。在步驟530，使用例如與步驟520中所使用的編碼技術(shù)互補(bǔ)的已知的JPEG或MPEG解碼技術(shù)對(duì)以上所討論的平面圖像進(jìn)行解碼。然后，在步驟540，執(zhí)行回到球面圖像的逆映射。

圖21的處理因此提供一種處理輸入平面圖像以對(duì)至少表示相對(duì)于主級(jí)圖像視點(diǎn)的部分球面全景視圖的輸出圖像進(jìn)行解碼的方法的示例，所述方法包括：根據(jù)依據(jù)相對(duì)于水平基準(zhǔn)平面的輸入圖像內(nèi)的緯度改變的映射將輸入平面圖像的區(qū)域映射為輸出圖像的區(qū)域，從而輸入圖像中的圖像區(qū)域的像素的數(shù)量對(duì)于映射輸入圖像中的該圖像區(qū)域的平面圖像中的圖像區(qū)域中的像素的數(shù)量的比率通常隨著從水平基準(zhǔn)平面增加緯度而增加。

圖20和圖21的方法可以由例如圖4的裝置執(zhí)行，其中，CPU充當(dāng)圖像映射器。

圖24示意性示出用于將全景圖像編碼為配對(duì)子圖像的技術(shù)。這尤其適合于用于編碼/解碼技術(shù)，其中，使用對(duì)連續(xù)圖像之間的圖像差進(jìn)行檢測(cè)并且編碼的編碼技術(shù)將子圖像處理為連續(xù)圖像。

取決于所使用的映射，表示球面全景圖像的映射版本的平面全景圖像可以期望具有兩個(gè)顯著性質(zhì)。第一性質(zhì)是遠(yuǎn)大于用于編碼或發(fā)送的典型視頻幀的寬高比(寬度對(duì)高度比率)。例如，典型高清晰度視頻幀作為16：9的寬高比(例如1920x1080像素)，而圖22的平面圖像580可以例如具有(比如)32：9的寬高比(例如3840x1080像素)。第二性質(zhì)是，為了對(duì)具有將動(dòng)人的顯示提供給用戶的分辨率的球面全景圖像進(jìn)行編碼，對(duì)應(yīng)平面圖像將需要高像素分辨率。

然而，期望將圖像編碼為傳統(tǒng)高清晰度圖像，因?yàn)檫@樣提供與高清晰度視頻處理和存儲(chǔ)裝置的兼容性。

因此，雖然將可以例如通過在圖像之上以及之下提供空白以郵筒格式對(duì)32：9圖像進(jìn)行編碼，從而將整個(gè)圖像配合為單個(gè)幀以用于編碼，但首先，因?yàn)榭瞻撞糠?，所以這將勢(shì)必浪費(fèi)帶寬，其次，這將把郵筒圖像的有用部分的總體分辨率限制為傳統(tǒng)高清晰度幀的大約一半。

相應(yīng)地，關(guān)于圖24提出不同的技術(shù)。將參照?qǐng)D26解釋該技術(shù)，圖26示出使用技術(shù)的工作示例的部分。

參照?qǐng)D24，在步驟708，從球面全景圖像(例如圖26的平面圖像760)推導(dǎo)的平面圖像大部分劃分為垂直區(qū)域(例如圖26的區(qū)域790)。這些區(qū)域可以是例如一個(gè)像素寬，或在寬度方面可以是多個(gè)像素。

在步驟710，區(qū)域交替地分配給配對(duì)輸出圖像770、780。因此，從圖像760的一側(cè)(例如左側(cè))進(jìn)展到另一側(cè)，第一垂直區(qū)域790分配給圖像770中的最左位置，下一垂直區(qū)域分配給圖像780中的最左位置，圖像760的第三垂直區(qū)域分配給圖像770中的次左位置，依此類推。步驟710繼續(xù)，從而垂直區(qū)域接垂直區(qū)域地將整個(gè)圖像760劃分為圖像770、780的配對(duì)。這樣產(chǎn)生初始(比如)32：9圖像760轉(zhuǎn)換為配對(duì)(比如)16：9圖像770、780。

然后，在步驟720，使用已知的編碼技術(shù)(例如JPEG或MPEG技術(shù))將配對(duì)圖像770、780中的每一個(gè)編碼為傳統(tǒng)高清晰度幀。

圖25示意性示出用于對(duì)配對(duì)子圖像進(jìn)行解碼以生成全景圖像的對(duì)應(yīng)技術(shù)。對(duì)圖25所示的處理的輸入是圖像的配對(duì)，其可以稱為子圖像770、780。在步驟730，從對(duì)步驟720中所使用的編碼技術(shù)的入口使用解碼技術(shù)對(duì)配對(duì)圖像進(jìn)行解碼。這樣生成配對(duì)解碼圖像。在步驟740，配對(duì)解碼圖像均劃分為與在步驟710用于編碼的各圖像之間初始地分配的垂直區(qū)域790對(duì)應(yīng)的垂直區(qū)域。然后，在步驟750，配對(duì)圖像垂直區(qū)域接垂直區(qū)域地重新組合，從而每個(gè)圖像以與圖26所示的方式相反的方式交替地將垂直區(qū)域貢獻(xiàn)于所組合的圖像。這樣生成單個(gè)平面圖像，可以使用以上所討論的技術(shù)從其重構(gòu)球面全景圖像。

該編碼技術(shù)具有各種優(yōu)點(diǎn)。首先，無論平面圖像760與傳統(tǒng)高清晰度幀之間的寬高比的差異如何，都可以在不損失分辨率或浪費(fèi)帶寬的情況下對(duì)平面圖像760進(jìn)行編碼。但在垂直區(qū)域接垂直區(qū)域的基礎(chǔ)上進(jìn)行切分是有用的特定原因如下。用于對(duì)視頻幀進(jìn)行編碼的很多技術(shù)使用連續(xù)幀之間的相似性。例如，一些技術(shù)建立連續(xù)幀之間的差，并且基于這些差對(duì)數(shù)據(jù)進(jìn)行編碼，從而節(jié)省反復(fù)對(duì)相同素材進(jìn)行編碼。公知的事實(shí)是，這樣可以提供更高效的編碼技術(shù)。如果平面圖像760已經(jīng)簡單地切分為用于編碼的子圖像，從而平面圖像760的最左50％形成一個(gè)這樣的子圖像并且平面圖像760的最右50％形成另一這樣的子圖像，則很可能的是，在兩個(gè)子圖像中的對(duì)應(yīng)位置處的圖像內(nèi)容之間將鮮有或沒有相似性。這樣可能使得編碼處理720和解碼處理730呈現(xiàn)得稍微低效，因?yàn)樘幚韺⒁呀?jīng)不能夠使用圖像間相似性。與之對(duì)比，圖24-圖26的切分技術(shù)通過使用可以在寬度方面如一個(gè)像素那樣小的交織式垂直區(qū)域提供兩個(gè)子圖像770、780之間的高程度的潛在相似性。這樣可以通過高效的方式提供平面圖像760的編碼。

圖24-圖26的布置提供通過以下操作對(duì)平面圖像進(jìn)行編碼的示例：將平面圖像劃分為垂直部分；將垂直部分的每第n個(gè)垂直部分分配給n個(gè)子圖像的集合中的各個(gè)子圖像；以及對(duì)子圖像中的每一個(gè)進(jìn)行編碼，n可以等于2。垂直部分可以是一個(gè)像素寬。在解碼側(cè)上，這些布置提供通過以下操作對(duì)來自n個(gè)子圖像的群組的平面圖像進(jìn)行解碼的示例：將子圖像劃分為垂直部分；將垂直部分分配給平面圖像，從而平面圖像的每第n垂直部分來自n個(gè)子圖像的集合中的各個(gè)子圖像。

圖27示意性示出操作顯示以上所討論的圖像(例如全景圖像)的頭戴式顯示器(HMD)的用戶。

現(xiàn)參照?qǐng)D27，用戶810正將HMD 820佩戴在用戶的頭部830上。HMD820形成包括HMD和游戲控制臺(tái)840(例如游戲機(jī)10)的系統(tǒng)的部分，以提供用于由HMD顯示的圖像。

圖27的HMD完全(或至少實(shí)質(zhì)上完全)模糊用戶觀看周圍環(huán)境。用戶可以看見的所有東西是HMD內(nèi)所顯示的配對(duì)圖像。

HMD具有配合到用戶的左耳和右耳中的關(guān)聯(lián)頭戴式耳機(jī)音頻換能器或聽筒860。聽筒860重放從外部源提供的音頻信號(hào)，外部源可以與將用于顯示的視頻信號(hào)提供給用戶的眼睛的視頻信號(hào)源是相同的。

用戶僅可以看見HMD所顯示的東西并且經(jīng)受聽筒和關(guān)聯(lián)電子的噪聲阻擋或主動(dòng)消除性質(zhì)的限制可以僅聽到經(jīng)由聽筒提供的東西的事實(shí)的組合意味著，該HMD可以看作所謂的“完全沉浸式”HMD。然而，注意，在一些實(shí)施例中，HMD不是完全沉浸式HMD，并且可以提供用于用戶看見和/或聽到用戶的周圍的至少某種設(shè)施。該操作可以是：通過在顯示器布置中提供某種程度的透明性或部分透明性，和/或通過經(jīng)由HMD的顯示器投影(使用相機(jī)(例如安裝在HMD上的相機(jī))所捕獲的)外部的視圖，和/或通過允許周圍聲音的傳輸經(jīng)過聽筒，和/或通過提供麥克風(fēng)以取決于周圍聲音生成輸入聲音信號(hào)(以用于發(fā)送到聽筒)。

在使用中，面向前的相機(jī)822可以捕獲HMD的前面的圖像。

HMD連接到作為游戲機(jī)10的示例的PlayStation游戲控制臺(tái)840。游戲控制臺(tái)840(可選地)連接到主顯示屏幕(未示出)。(在該示例中)充當(dāng)電源和信號(hào)纜線二者的纜線882將HMD 820鏈接到游戲控制臺(tái)840，并且例如插接到控制臺(tái)840上的USB插座850中。

還示出握持手持控制器870(其可以是例如控制器)的用戶，手持控制器870以無線方式與游戲控制臺(tái)300進(jìn)行通信，以控制與當(dāng)前所執(zhí)行的游戲程序有關(guān)的游戲操作(或貢獻(xiàn)于其控制)。

HMD 820中的視頻顯示器布置為顯示游戲控制臺(tái)840所生成的圖像，并且HMD 820中的聽筒860布置為再現(xiàn)游戲控制臺(tái)840所生成的音頻信號(hào)。注意，如果使用USB類型纜線，則這些信號(hào)當(dāng)它們到達(dá)HMD 820將是數(shù)字形式的，從而HMD 820包括數(shù)模轉(zhuǎn)換器(DAC)，以將音頻信號(hào)轉(zhuǎn)換回到模擬形式，以用于再現(xiàn)。

來自安裝在HMD 820上的相機(jī)822的圖像經(jīng)由纜線882傳遞回到游戲控制臺(tái)840。相似地，如果在HMD 820處提供運(yùn)動(dòng)傳感器或其它傳感器，則來自這些傳感器的信號(hào)可以至少部分地在HMD 820處受處理，和/或可以至少部分地在游戲控制臺(tái)840處受處理。

來自游戲控制臺(tái)840的USB連接也(可選地)例如根據(jù)USB標(biāo)準(zhǔn)將電力提供給HMD 820。

可選地，在沿著纜線882的位置處，可以存在充當(dāng)基本設(shè)備或中間設(shè)備的所謂的“接線盒”(未示出)，HMD 820通過纜線882連接至其，并且其通過纜線882連接到基本設(shè)備。于此，接線盒具有各種功能。一個(gè)功能是提供靠近用戶的位置，以用于與HMD的操作有關(guān)的一些用戶控制(例如(比如)電力控制、亮度控制、輸入源選擇器、音量控制等中的一個(gè)或多個(gè))。另一功能是，對(duì)于HMD提供本地電源(如果根據(jù)正討論的實(shí)施例需要電源)。另一功能是，提供本地纜線錨點(diǎn)。在這一最后功能中，并非設(shè)想接線盒固定到大地或家具，而是反而具有來自游戲控制臺(tái)840的非常長的拖尾纜線，接線盒提供局部配重點(diǎn)，從而將HMD 820鏈接到接線盒的纜線882將傾向于在接線盒的位置周圍移動(dòng)。這樣可以通過避免使用非常長的拖尾纜線改進(jìn)用戶安全性和舒適性。

應(yīng)理解，技術(shù)上并不要求在HMD與基本單元840或接線盒之間使用纜線鏈接(例如纜線882)?？梢粤硗馐褂脽o線鏈接。然而，注意，使用無線鏈接將要求用戶攜帶勢(shì)必很重的電源，例如，作為HMD自身的部分。

HMD觀看視頻或觀測(cè)圖像的操作的特征是，用戶的視點(diǎn)取決于HMD的移動(dòng)(并且進(jìn)而，用戶的頭部的移動(dòng))。因此，HMD典型地采用某種方向感測(cè)，例如，使用光學(xué)、慣性、磁力、重力或其它方向感測(cè)布置。這樣提供HMD當(dāng)前正指向的方向(或至少自從HMD得以首先初始化以來的方向的改變)的指示作為HMD的輸出。該方向可以于是用于確定用于HMD進(jìn)行顯示的圖像部分。如果用戶將用戶的頭部旋轉(zhuǎn)到右邊，則用于顯示的圖像移動(dòng)到左邊，從而用戶的有效視點(diǎn)已經(jīng)隨著用戶的頭部旋轉(zhuǎn)。

可以關(guān)于以上所討論的球面或部分球面全景圖像使用這些技術(shù)。

首先，將討論用于關(guān)于主級(jí)相機(jī)21的移動(dòng)應(yīng)用校正的技術(shù)。圖28示意性示出用于HMD的視頻顯示技術(shù)。在步驟900，檢測(cè)主級(jí)相機(jī)21的取向。在步驟910，檢測(cè)該取向的任何改變。作為步驟920，HMD正重放的視頻素材受調(diào)整，從而補(bǔ)償所檢測(cè)的主級(jí)相機(jī)方向的任何改變。這因此是調(diào)整HMD所顯示的全景圖像的視場(chǎng)以補(bǔ)償所檢測(cè)的主級(jí)圖像視點(diǎn)的移動(dòng)的示例。

因此，例如，在主級(jí)相機(jī)正搖擺(或許其為手持相機(jī)或其為在有風(fēng)天氣的固定相機(jī))的情況下，一般用于響應(yīng)于HMD移動(dòng)調(diào)整HMD視點(diǎn)的機(jī)構(gòu)是用于補(bǔ)償主級(jí)相機(jī)移動(dòng)的另外支架或添加物)。因此，如果主級(jí)相機(jī)旋轉(zhuǎn)到右邊，則這將一般使得所捕獲的圖像旋轉(zhuǎn)到左邊。倘若所捕獲的圖像在此情況下是球面全景圖像，則不存在碰撞圖像的邊沿的概念，因此可以應(yīng)用校正。相應(yīng)地，響應(yīng)于主級(jí)相機(jī)旋轉(zhuǎn)到右邊，提供給HMD的圖像也旋轉(zhuǎn)到右邊達(dá)相同的量，從而對(duì)HMD佩戴者(無需HMD進(jìn)行的任何移動(dòng))給出印象：主級(jí)相機(jī)已經(jīng)保持得靜止。

現(xiàn)將討論與初始化HMD的視點(diǎn)有關(guān)的替選或附加技術(shù)，包括：將HMD的初始取向映射為主級(jí)圖像視點(diǎn)。圖29示意性示出用于HMD進(jìn)行的視頻顯示的初始化處理。在步驟930，檢測(cè)當(dāng)前頭部(HMD)取向。在步驟并且通過940，主級(jí)相機(jī)方向映射為當(dāng)前HMD取向，從而在初始化HMD觀看球面全景圖像時(shí)，無論此時(shí)HMD正指向哪個(gè)路徑，HMD的當(dāng)前取向都取作與主級(jí)相機(jī)方向等同。然后，如果用戶移動(dòng)或從該初始取向旋轉(zhuǎn)用戶的頭部，則用戶可以看見球面全景的其它部分中的素材。

應(yīng)理解，可以使用軟件、硬件、軟件可編程硬件或其組合執(zhí)行以上所描述的各種技術(shù)。應(yīng)理解，該軟件以及提供該軟件的提供介質(zhì)(例如機(jī)器可讀非瞬時(shí)存儲(chǔ)介質(zhì)(例如磁盤或光盤或非易失性存儲(chǔ)器))看作本發(fā)明的實(shí)施例。

顯然，根據(jù)以上教導(dǎo)，本公開的大量修改和變化是可能的。因此，應(yīng)理解，在所附權(quán)利要求的范圍內(nèi)，可以如除了在此具體描述的那樣實(shí)踐本發(fā)明。