本公開(kāi)涉及一種圖像處理設(shè)備和方法，更具體地，涉及一種能夠高速生成高清晰度視點(diǎn)插值圖像的圖像處理設(shè)備和方法。

背景技術(shù)：

迄今為止，已經(jīng)提出并且開(kāi)發(fā)了使用各種圖像處理的視點(diǎn)插值技術(shù)。例如，非專利文件1公開(kāi)了通過(guò)使用兩個(gè)圖像之間的對(duì)應(yīng)關(guān)系(光學(xué)流)和這兩個(gè)圖像之間的圖像位置來(lái)合成任何視點(diǎn)圖像。

引用列表

專利文獻(xiàn)

非專利文獻(xiàn)1：Shenchang Eric Chen，“View Interpolation for Image Synthesis”，蘭斯·威廉姆斯蘋果電腦公司，IJCV 2002

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明需要解決的問(wèn)題

上面提及的處理是基于深度信息(兩個(gè)視點(diǎn)之間的像素移位量)生成插值圖像的技術(shù)。然而，當(dāng)生成插值圖像時(shí)，存在因前景而引起的相同像素的重疊和因缺乏信息而引起的填補(bǔ)。因此，當(dāng)生成一個(gè)視點(diǎn)圖像時(shí)，需要針對(duì)所有像素比較在相同像素處的像素移位量。

鑒于上述情況已經(jīng)提出了本公開(kāi)，并且本公開(kāi)能夠高速生成高清晰度視點(diǎn)插值圖像。

問(wèn)題的解決方案

根據(jù)本公開(kāi)的一個(gè)方面的一種圖像處理設(shè)備包括：重構(gòu)處理單元，該重構(gòu)處理單元執(zhí)行根據(jù)在多視角圖像中的對(duì)象的深度信息來(lái)重構(gòu)拍攝多視角圖像的空間的處理；以及，插值圖像生成單元，該插值圖像生成單元通過(guò)改變由重構(gòu)處理單元重構(gòu)的空間的傾度并且對(duì)重構(gòu)的空間進(jìn)行采樣來(lái)生成插值圖像。

重構(gòu)處理單元可以執(zhí)行根據(jù)作為深度信息的在多視角圖像之間的對(duì)象的像素移位量來(lái)重構(gòu)拍攝多視角圖像的空間的處理。

重構(gòu)處理單元可以執(zhí)行通過(guò)在由參考視點(diǎn)的亮度和像素移位量形成的空間中反射另一個(gè)視點(diǎn)的亮度和差異來(lái)重構(gòu)空間的處理。

當(dāng)在相同的坐標(biāo)中已經(jīng)設(shè)置有值時(shí)，重構(gòu)處理單元可以執(zhí)行通過(guò)存儲(chǔ)作為坐標(biāo)的值的RGB值的平均值來(lái)重構(gòu)空間的處理。

重構(gòu)的空間在任何視點(diǎn)處具有指示發(fā)生遮擋的位置的值。

重構(gòu)的空間可以具有作為存在于多個(gè)視點(diǎn)處的值的多個(gè)視點(diǎn)的平均值。

插值圖像生成單元可以按照像素移位量的遞減順序在重構(gòu)的空間中開(kāi)始采樣。

根據(jù)本公開(kāi)的一個(gè)方面的一種圖像處理方法包括：通過(guò)圖像處理設(shè)備，執(zhí)行根據(jù)在多視角圖像中的對(duì)象的深度信息來(lái)重構(gòu)拍攝多視角圖像的空間的處理；以及，通過(guò)圖像處理設(shè)備，通過(guò)改變重構(gòu)的空間的傾度并且對(duì)重構(gòu)的空間進(jìn)行采樣來(lái)生成插值圖像。

在本公開(kāi)的一個(gè)方面，根據(jù)在對(duì)視角圖像中的對(duì)象的深度信息來(lái)執(zhí)行重構(gòu)拍攝多視角圖像的空間的處理。然后，對(duì)傾度改變了的重構(gòu)空間進(jìn)行采樣，并且生成插值圖像。

發(fā)明效果

根據(jù)本公開(kāi)的一個(gè)方面，可以處理多視角圖像。具體地，可以高速生成高清晰度視點(diǎn)插值圖像。

在本說(shuō)明書中描述的有益效果僅是通過(guò)示例來(lái)說(shuō)明的，本技術(shù)的有益效果并不限于本說(shuō)明書中描述的有益效果，并且可以提供附加的有益效果。

附圖說(shuō)明

圖1是示出應(yīng)用本技術(shù)的攝像裝置的配置示例的框圖。

圖2是圖示了拍攝空間的重構(gòu)的示意圖。

圖3是圖示了拍攝空間的重構(gòu)的示意圖。

圖4是圖示了拍攝空間的重構(gòu)的示意圖。

圖5是圖示了拍攝空間的重構(gòu)的示意圖。

圖6是圖示了在二維平面上插值的情況的示意圖。

圖7是圖示了重構(gòu)的拍攝空間的示例的示意圖。

圖8是圖示了重構(gòu)的拍攝空間的采樣的示例的示意圖。

圖9是圖示了攝像裝置的圖像處理的流程圖。

圖10是圖示了重構(gòu)拍攝空間的處理的示意圖。

圖11是圖示了光束插值處理的示意圖。

圖12是圖示了像素移位量(差異)和深度的示意圖。

圖13是圖示了多視角圖像利用服務(wù)平臺(tái)的示例的示意圖。

圖14是圖示了使用多視角圖像的應(yīng)用的示例的示意圖。

圖15是圖示了多視角圖像利用服務(wù)提供系統(tǒng)的主要配置示例的示意圖。

圖16是圖示了終端裝置的主要配置示例的示意圖。

圖17是圖示了攝像裝置的輪廓的示意圖。

圖18是圖示了服務(wù)器的主要配置示例的示意圖。

圖19是圖示了終端裝置和服務(wù)器中包括的功能的功能塊。

圖20是圖示了由服務(wù)器管理的信息的示例的示意圖。

圖21是圖示了多視角圖像利用服務(wù)提供處理的流程的示例的流程圖。

圖22是圖示了多視角圖像和深度數(shù)據(jù)的示例的示意圖。

圖23是圖示了多視角圖像文件的主要配置示例的示意圖。

圖24是攝像機(jī)陣列的示例。

圖25是圖示了元數(shù)據(jù)的示例的示意圖。

圖26是圖示了深度檢測(cè)處理的流程的示例的流程圖。

圖27是圖示了多視角圖像利用服務(wù)提供系統(tǒng)的另一個(gè)配置示例的示意圖。

圖28是圖示了應(yīng)用提供服務(wù)器的主要配置示例的示意圖。

圖29是圖示了終端裝置、服務(wù)器和應(yīng)用提供服務(wù)器中包括的功能的功能塊。

圖30是圖示了多視角圖像利用服務(wù)提供處理的流程的另一個(gè)示例的流程圖。

圖31是圖示了信息顯示器的示例的示意圖。

圖32是圖示了多視角圖像利用服務(wù)提供系統(tǒng)的又一個(gè)配置示例的示意圖。

圖33是圖示了虛擬透鏡處理的流程的狀態(tài)的示例的示意圖。

圖34是圖示了終端裝置和服務(wù)器中包括的功能的功能塊。

圖35是圖示了多視角圖像利用服務(wù)提供處理的流程的又一個(gè)示例的流程圖。

圖36是圖示了虛擬透鏡選擇的狀態(tài)的示例的示意圖。

圖37是圖示了虛擬透鏡處理的流程的示例的流程圖。

圖38是圖示了透鏡剖面的示例的示意圖。

具體實(shí)施方式

下面將對(duì)本公開(kāi)的實(shí)施方式(在下文中稱為實(shí)施例)進(jìn)行說(shuō)明。要注意的是，將按照如下順序來(lái)進(jìn)行說(shuō)明。

1.第一實(shí)施例(多視角圖像的攝像裝置)

2.第二實(shí)施例(多視角圖像利用服務(wù)平臺(tái))

3.第三實(shí)施例(多視角圖像的管理)

4.第四實(shí)施例(應(yīng)用銷售)

5.第五實(shí)施例(虛擬透鏡處理)

<1.第一實(shí)施例>

<攝像裝置的配置>

圖1是示出作為應(yīng)用本技術(shù)的圖像處理設(shè)備的攝像裝置的配置示例的框圖。該攝像裝置是在能夠光線追蹤光束的路徑的光場(chǎng)成像技術(shù)中通過(guò)使用由多個(gè)攝像機(jī)形成的攝像機(jī)陣列進(jìn)行多視角成像的攝像裝置。要注意的是，雖然圖1示出了包括三個(gè)攝像機(jī)的攝像機(jī)陣列的示例，但是攝像機(jī)的數(shù)量并不限于三個(gè)。

圖1所示的攝像裝置11包括攝像機(jī)21-L、攝像機(jī)21-C、攝像機(jī)21-R、差異計(jì)算單元22和插值圖像生成單元23。

在圖1所示的示例中，攝像機(jī)21-C是位于中心處的攝像機(jī)，攝像機(jī)21-L是位于攝像機(jī)21-C的左側(cè)的攝像機(jī)，而攝像機(jī)21-R是位于攝像機(jī)21-C的右側(cè)的攝像機(jī)。當(dāng)不需要區(qū)分?jǐn)z像機(jī)21-L、攝像機(jī)21-C和攝像機(jī)21-R時(shí)，視情況將這些攝像機(jī)統(tǒng)稱為攝像機(jī)21。

將攝像機(jī)21-L、攝像機(jī)21-C和攝像機(jī)21-R的視點(diǎn)圖像輸入至差異計(jì)算單元22。差異計(jì)算單元22使用輸入的視點(diǎn)圖像通過(guò)計(jì)算多視角圖像之間的對(duì)象的視差(像素移位量)來(lái)生成各個(gè)差異圖。差異計(jì)算單元22將多視角圖像和作為多視角差異圖的差異圖提供給插值圖像生成單元23。

要注意的是，當(dāng)對(duì)攝像機(jī)21-L、攝像機(jī)21-C和攝像機(jī)21-R的視點(diǎn)圖像彼此進(jìn)行區(qū)分時(shí)，在下文中將視點(diǎn)圖像分別稱為視點(diǎn)圖像L、視點(diǎn)圖像C和視點(diǎn)圖像R。進(jìn)一步地，計(jì)算出的視點(diǎn)圖像L、視點(diǎn)圖像C和視點(diǎn)圖像R的差異圖分別稱為Disparity Map_DL、Disparity Map_DC和Disparity Map_DR。要注意的是，Disparity Map_DL和Disparity Map_DR可以簡(jiǎn)單地從Disparity Map_DC生成。

插值圖像生成單元23根據(jù)各個(gè)視點(diǎn)圖像和各個(gè)差異圖來(lái)重構(gòu)拍攝視點(diǎn)圖像的空間，并且在改變重構(gòu)的空間的傾度的同時(shí)通過(guò)對(duì)重構(gòu)的空間進(jìn)行采樣來(lái)生成在任何視點(diǎn)處的插值圖像。

插值圖像生成單元23包括空間重構(gòu)單元31、插值位置設(shè)置單元32和數(shù)據(jù)搜索單元33。

空間重構(gòu)單元31根據(jù)各個(gè)視點(diǎn)圖像和各個(gè)差異圖來(lái)重構(gòu)拍攝視點(diǎn)圖像的空間?？臻g重構(gòu)單元31將該空間的重構(gòu)數(shù)據(jù)提供給插值位置設(shè)置單元32。

插值位置設(shè)置單元32在改變光束(的傾度)的同時(shí)在由空間重構(gòu)單元31重構(gòu)的空間中設(shè)置插值位置，并且將指示設(shè)置好的插值位置的插值目標(biāo)坐標(biāo)提供給數(shù)據(jù)搜索單元33。

數(shù)據(jù)搜索單元33通過(guò)對(duì)在從插值位置設(shè)置單元32提供的插值目標(biāo)坐標(biāo)處的RGB值進(jìn)行采樣來(lái)生成在任何視點(diǎn)處的插值圖像，并且將生成的插值圖像輸出至后續(xù)階段。要注意的是，在后續(xù)階段中，雖然未示出，但是在應(yīng)用光場(chǎng)攝像技術(shù)的攝像裝置11的情況下，使用插值圖像和差異圖來(lái)進(jìn)行光線追蹤，并且進(jìn)一步進(jìn)行聚集處理，從而在存儲(chǔ)器中生成聚集的圖像。

要注意的是，在圖1所示的示例中的插值位置設(shè)置單元32和數(shù)據(jù)搜索單元33可以按照集成的方式來(lái)配置。

<拍攝空間的重構(gòu)的示例>

接著，將參照?qǐng)D2至圖5對(duì)拍攝空間的重構(gòu)進(jìn)行描述。

在圖2所示的示例中，在左側(cè)示出了在攝像機(jī)21-L的視點(diǎn)處拍攝的視點(diǎn)圖像L和該視點(diǎn)圖像的Disparity Map_DL。在中心處示出了在攝像機(jī)21-C的視點(diǎn)處拍攝的視點(diǎn)圖像C和該視點(diǎn)圖像的Disparity Map_DC。在右側(cè)示出了在攝像機(jī)21-R的視點(diǎn)處拍攝的視點(diǎn)圖像R和該視點(diǎn)圖像的Disparity Map_DR。

視點(diǎn)圖像L、視點(diǎn)圖像C和視點(diǎn)圖像R顯示了在圖像的前景中有作為對(duì)象的圓形物體，在該圓形物體的后面在右側(cè)有矩形物體，而在后側(cè)有背景。

該描述是在假設(shè)視差圖像C為參照?qǐng)D像的情況下進(jìn)行的。要注意的是，在各個(gè)圖像中，例如，(R,G,B,D)可以從作為RGBD(D表示差異：像素移位量)數(shù)據(jù)的各個(gè)視點(diǎn)圖像的(x,y)加載。

在本技術(shù)中，拍攝空間的重構(gòu)是很重要的。因此，將視點(diǎn)圖像L、視點(diǎn)圖像C和視點(diǎn)圖像R進(jìn)行投影，并且根據(jù)差異圖(像素移位量圖)將Disparity Map_DL和Disparity Map_DR投影到在Disparity Map_DC的視點(diǎn)處的3D空間上。

圖3是表示在具有Disparity Map_DC的一條水平線中的差異(像素移位量)的多層差異圖。

在該多層差異圖中，在視點(diǎn)圖像的前景中的圓形物體的差異最大，矩形物體的差異居第二，而背景的差異較小。換言之，差異值在離圖像最近的位置處最大，在朝著圖像的方向上差異值變得越來(lái)越大，而在遠(yuǎn)離圖像的方向上差異值變得越來(lái)越小。

在這種情況下，根據(jù)D(Disparity)將周邊視點(diǎn)圖像(在這種情況下為視點(diǎn)圖像L和視點(diǎn)圖像R)的RGBD數(shù)據(jù)移動(dòng)至Disparity Map_DC的視點(diǎn)。

如圖4的上部分所示，RGB的所有重疊點(diǎn)都是疊加的。在重疊點(diǎn)的情況下，基于視點(diǎn)位置對(duì)各個(gè)視點(diǎn)圖像進(jìn)行加權(quán)從而獲得亮度。例如，將亮度的平均值設(shè)置為亮度值。要注意的是，不僅可以使用平均值，還可以使用中間值或者其它值。從而，可以減少在生成的插值圖像中的噪音。

如圖4的下部分所示的矩形物體中所示，沿著差異將稱為遮擋并且從任何視點(diǎn)都可以看到但是不能從某個(gè)視點(diǎn)看到的表面發(fā)展成存儲(chǔ)空間。

利用這些配置，如圖5中所示的實(shí)心黑色部分所指示的，即使在不需要的部分中也可以通過(guò)利用信息產(chǎn)生各個(gè)差異值的多層差異圖。進(jìn)一步地，在圖5中，以重疊的方式來(lái)更新(重構(gòu))在相同位置處的RGBD數(shù)據(jù)，這可以減少噪音。

如上所述，通過(guò)在3D空間上形成參考圖像，來(lái)重構(gòu)具有亮度和深度信息并且即使在相同的水平/垂直坐標(biāo)處也具有多個(gè)值的多層空間。

在所重構(gòu)的空間中，生成視點(diǎn)圖像的情況等同于隱藏具有小差異值的圖像并且使其不能被看到的情況。因此，優(yōu)選地，通過(guò)假設(shè)具有最大差異的亮度值是有效的，來(lái)進(jìn)行操作。換言之，待搜索的差異開(kāi)始于，例如，值MAX。

具體地，在二維平面上插值的情況下，如圖6和公式(1)所示，例如，需要不斷比較兩個(gè)視差L和R的差異。

[數(shù)學(xué)公式1]

d＝arg min(D_L(x),Dc(x+D_L(x)))

當(dāng)D_L(x)＝＝D_R(x+D_L(x))時(shí)，兩個(gè)視差的融合：

(x+d)＝(1-α)L(x)+αR(x)；

當(dāng)D_L(x)<D_R(x+D_L(x))時(shí)，作為一個(gè)視差的相同顏色/相同亮度：

I(x+d)＝L(x)；

當(dāng)D_L(x)>D_R(x+D_L(x))時(shí)，作為一個(gè)視差的相同顏色/相同亮度：

I(x+d)＝R(x)...(1)

要注意的是，D_L、D_C和D_R表示相應(yīng)視點(diǎn)的差異圖，并且d表示差異值。

另一方面，在本技術(shù)中，將視差圖像的差異圖發(fā)展成如圖7所示的三維存儲(chǔ)空間。

具體地，將關(guān)于從在左側(cè)位置處的差異圖獲取的差異的信息返回至包括在中心位置處的差異圖的存儲(chǔ)空間。同樣，將關(guān)于從在右側(cè)位置處的差異圖獲取的視差的信息返回至存儲(chǔ)空間。因此，在存儲(chǔ)空間中重構(gòu)還包括關(guān)于遮擋區(qū)域的信息的拍攝空間。

從前景(具有較大差異(例如，MAX)的一個(gè)前景)開(kāi)始對(duì)該重構(gòu)的拍攝空間進(jìn)行采樣，從而可以在不需要比較兩個(gè)差異的情況下高速生成高清晰度插值圖像。

進(jìn)一步地，作為關(guān)于存儲(chǔ)空間的信息，可以對(duì)RGBD(亮度信息、差異信息)、D+攝像機(jī)ID(深度信息、指示攝像機(jī)包括亮度信息的信息)、和各種紋理的極化信息等進(jìn)行處理。

要注意的是，例如，在視點(diǎn)R處，通過(guò)利用相對(duì)于圖7所示的重構(gòu)的拍攝空間傾斜45度的向量對(duì)存儲(chǔ)空間進(jìn)行采樣來(lái)獲得相同的視點(diǎn)圖像。要注意的是，同樣，例如，在視點(diǎn)L處，通過(guò)利用相對(duì)于重構(gòu)的拍攝空間傾斜135度的向量對(duì)存儲(chǔ)空間進(jìn)行采樣來(lái)獲得相同的視點(diǎn)圖像。

如上所述，在改變圖8所示的空間的傾度的同時(shí)對(duì)存儲(chǔ)空間進(jìn)行采樣，從而可以在不需要比較各像素的差異值的情況下高速生成任何視點(diǎn)圖像。在圖8所示的示例中，垂直軸表示差異，而水平軸表示X坐標(biāo)。

具體地，圖8的A表示示出了R視點(diǎn)插值方法的示意圖。如圖8的A所示，在當(dāng)從參考視點(diǎn)看時(shí)位于右側(cè)(最右側(cè))的R視點(diǎn)處在45度的方向上進(jìn)行采樣，并且對(duì)在前景中有第一差異的RGB數(shù)據(jù)進(jìn)行驗(yàn)證。這可以生成噪音減少了的R視點(diǎn)圖像。

同樣，圖8的B表示示出了I視點(diǎn)插值方法的示例的示意圖。在這種情況下，在與參考視點(diǎn)距離α的I視點(diǎn)中，以1/α的傾度進(jìn)行采樣，并且對(duì)在情景中有第一差異的RGB數(shù)據(jù)進(jìn)行驗(yàn)證。這可以生成噪音減少了的I視點(diǎn)圖像。

要注意的是，雖然上面已經(jīng)描述了使用一個(gè)維度的示例，但是本技術(shù)是適用于三個(gè)維度的技術(shù)，例如，在垂直方向上，或者通過(guò)在前后方向上移位攝像機(jī)陣列。進(jìn)一步地，雖然上面已經(jīng)描述了使用三個(gè)視點(diǎn)的示例，但是視點(diǎn)的數(shù)量并不限于三個(gè)。本技術(shù)可以適用于任意數(shù)量的視點(diǎn)，只要使用了多個(gè)視點(diǎn)。

<圖像處理的示例>

接著，將參照?qǐng)D9中的流程圖對(duì)攝像裝置11的圖像處理進(jìn)行描述。

在步驟S21中，差異計(jì)算單元22生成各個(gè)差異圖。

具體地，將攝像機(jī)21-L、攝像機(jī)21-C和攝像機(jī)21-R的視點(diǎn)圖像輸入至差異計(jì)算單元22。差異計(jì)算單元22使用輸入的視點(diǎn)圖像來(lái)計(jì)算在多視角圖像之間的對(duì)象的差異(像素移位量)，從而生成各個(gè)差異圖。差異計(jì)算單元22將生成的作為多視角差異圖的差異圖和多視角圖像提供給插值圖像生成單元23。

在步驟S22中，空間重構(gòu)單元31根據(jù)各個(gè)視點(diǎn)圖像和各個(gè)差異圖來(lái)重構(gòu)拍攝視點(diǎn)圖像的空間。稍后將參照?qǐng)D10對(duì)重構(gòu)拍攝空間的處理進(jìn)行描述?？臻g重構(gòu)單元31將重構(gòu)的空間的重構(gòu)數(shù)據(jù)提供給插值位置設(shè)置單元32。

在步驟S23中，插值位置設(shè)置單元32進(jìn)行光束插值處理。稍后將參照?qǐng)D11對(duì)光束插值處理進(jìn)行說(shuō)明。在步驟S23中，在改變光束(的傾度)的同時(shí)將插值位置設(shè)置到由空間重構(gòu)單元31重構(gòu)的空間，并且將表示設(shè)置好的插值位置的插值目標(biāo)坐標(biāo)提供給數(shù)據(jù)搜索單元33。

在步驟S24中，數(shù)據(jù)搜索單元33對(duì)重構(gòu)的空間進(jìn)行采樣并且生成插值圖像。具體地，數(shù)據(jù)搜索單元33對(duì)從插值位置設(shè)置單元32提供的插值目標(biāo)坐標(biāo)的RGB值進(jìn)行采樣，從而生成在任何視點(diǎn)處的插值圖像，并且將生成的插值圖像輸出至后續(xù)階段。

接著，將參照?qǐng)D10中的流程圖對(duì)在圖9所示的步驟S22中的重構(gòu)拍攝空間的處理進(jìn)行描述。

在步驟S41中，空間重構(gòu)單元31設(shè)置目標(biāo)輸入視點(diǎn)數(shù)量，并且在步驟S42中設(shè)置水平/垂直坐標(biāo)。

在步驟S43中，空間重構(gòu)單元31確定是否已經(jīng)將設(shè)置好的坐標(biāo)值反射在重構(gòu)的空間中。在步驟S43中，當(dāng)確定已經(jīng)將設(shè)置好的坐標(biāo)值反射在重構(gòu)的空間中時(shí)，該過(guò)程跳過(guò)步驟S44至S48并且轉(zhuǎn)到步驟S49。

在步驟S43中，當(dāng)確定沒(méi)有將設(shè)置好的坐標(biāo)值反射在重構(gòu)的空間中時(shí)，該過(guò)程轉(zhuǎn)到步驟S44。

在步驟S44中，空間重構(gòu)單元31根據(jù)多視角差異圖將坐標(biāo)值反射在參考視點(diǎn)的RGBD空間中。在步驟S45中，空間重構(gòu)單元31確定在相同的坐標(biāo)處是否設(shè)置有值。

在步驟S45中，當(dāng)確定在相同的坐標(biāo)處已經(jīng)設(shè)置有值時(shí)，該過(guò)程轉(zhuǎn)到步驟S46。在步驟S46中，空間重構(gòu)單元31通過(guò)使用已經(jīng)設(shè)置的值來(lái)獲得RGB值的平均值，并且將平均值存儲(chǔ)到存儲(chǔ)器中。然后，該過(guò)程轉(zhuǎn)到步驟S48。

在步驟S45中，當(dāng)確定在相同的坐標(biāo)處沒(méi)有設(shè)置有值時(shí)，該過(guò)程轉(zhuǎn)到步驟S47。在步驟S47中，空間重構(gòu)單元31將RGB值存儲(chǔ)到存儲(chǔ)器中，并且該過(guò)程轉(zhuǎn)到步驟S48。

在步驟S48中，空間重構(gòu)單元31記錄視點(diǎn)數(shù)量，并且該過(guò)程轉(zhuǎn)到步驟S49。

在步驟S49中，空間重構(gòu)單元31確定是否已經(jīng)將值反射在所有水平/垂直坐標(biāo)中。在步驟S49中，當(dāng)確定沒(méi)有將值反射在所有水平/垂直坐標(biāo)處時(shí)，該過(guò)程返回到步驟S42，并且重復(fù)執(zhí)行在步驟S42和后續(xù)步驟中的處理。

在步驟S49中，當(dāng)確定已經(jīng)將值反射在所有水平/垂直坐標(biāo)處時(shí)，該過(guò)程轉(zhuǎn)到步驟S50。在步驟S50中，空間重構(gòu)單元31確定是否已經(jīng)將所有視點(diǎn)反射在重構(gòu)的空間中。在步驟S50中，當(dāng)確定沒(méi)有將所有視點(diǎn)反射在重構(gòu)的空間中時(shí)，該過(guò)程返回到步驟S41，并且重復(fù)執(zhí)行在步驟S41和后續(xù)步驟中的處理。在步驟S50中，當(dāng)確定已經(jīng)將所有視點(diǎn)反射在重構(gòu)的空間中，完成重構(gòu)拍攝空間的處理，并且該過(guò)程返回到圖9中的步驟S22。

接著，將參照?qǐng)D11中的流程圖對(duì)在圖9所示的步驟S23中的光束插值處理進(jìn)行描述。

插值位置設(shè)置單元32在步驟S71中設(shè)置插值目標(biāo)光束(傾度)，并且在步驟S72中設(shè)置水平/垂直坐標(biāo)。在步驟S73中，插值位置設(shè)置單元32將搜索差異設(shè)置為MAX。這只因?yàn)槿缟纤霭凑詹町惖倪f減順序來(lái)進(jìn)行數(shù)據(jù)搜索。

在步驟S74中，插值位置設(shè)置單元32確定數(shù)據(jù)是否存在于重構(gòu)的空間中。在步驟S74中，當(dāng)確定數(shù)據(jù)存在于重構(gòu)的空間中時(shí)，該過(guò)程跳過(guò)步驟S75至S77并且轉(zhuǎn)到步驟S78。

在步驟S74中，當(dāng)確定數(shù)據(jù)不存在于重構(gòu)空間中時(shí)，該過(guò)程轉(zhuǎn)到步驟S75。在步驟S75中，插值位置設(shè)置單元32將搜索差異減少了一個(gè)步長(zhǎng)。

在步驟S76中，插值位置設(shè)置單元32確定搜索差異是否小于最小差異。最小差異是與例如背景相對(duì)應(yīng)的差異。在步驟S76中，當(dāng)確定搜索差異小于最小差異時(shí)，該過(guò)程轉(zhuǎn)到步驟S77。在步驟S77中，插值位置設(shè)置單元32將其輸出作為未知像素，并且該過(guò)程轉(zhuǎn)到步驟S78。

在步驟S76中，當(dāng)確定搜索差異不小于最小差異時(shí)，該過(guò)程返回到步驟S74，并且重復(fù)執(zhí)行在步驟S74和后續(xù)步驟中的處理。

在步驟S78中，插值位置設(shè)置單元32確定是否已經(jīng)搜索了所有的水平/垂直坐標(biāo)。在步驟S78中，當(dāng)確定沒(méi)有搜索所有的水平/垂直坐標(biāo)時(shí)，該過(guò)程返回到步驟S72，并且重復(fù)執(zhí)行在步驟S72和后續(xù)步驟中的處理。

在步驟S78中，當(dāng)確定已經(jīng)搜索了所有的水平/垂直坐標(biāo)時(shí)，該過(guò)程轉(zhuǎn)到步驟S79。在步驟S79中，插值位置設(shè)置單元32確定是否已經(jīng)處理了所有的插值目標(biāo)光束。在步驟S79中，當(dāng)確定還沒(méi)有處理所有的插值目標(biāo)光束時(shí)，該過(guò)程返回到步驟S71，并且重復(fù)執(zhí)行在步驟S71和后續(xù)步驟中的處理。在步驟S79中，當(dāng)確定處理了所有的插值目標(biāo)光束時(shí)，完成光束插值處理，并且該過(guò)程返回到圖9中所示的步驟S23。

如上所述，根據(jù)本技術(shù)，當(dāng)從具有不同視差的圖像執(zhí)行生成視點(diǎn)插值圖像的處理時(shí)，可以高速生成高清晰度視點(diǎn)插值圖像，而不需要區(qū)別在各個(gè)視點(diǎn)處的各個(gè)像素的深度。

換言之，由于可以利用來(lái)自能夠獲取遮擋數(shù)據(jù)的攝像裝置的所有亮度，所以可以提高生成的視點(diǎn)插值圖像的質(zhì)量，并且可以減少圖像中的噪音。

要注意的是，在上面已經(jīng)描述了從多視角圖像之間的差異(像素移位量)生成差異圖并且使用生成的差異圖的示例。然而，在本說(shuō)明書中，將像素移位量和深度統(tǒng)稱為如下所述的深度。

<本說(shuō)明書中的深度的示例>

圖12是圖示了像素移位量(差異)和深度的示意圖。

如圖12所示，當(dāng)通過(guò)設(shè)置在位置C1處的攝像機(jī)c1和設(shè)置在位置C2處的攝像機(jī)c2拍攝對(duì)象M的顏色圖像時(shí)，通過(guò)下列公式(2)定義深度Z，該深度Z是對(duì)象M在深度方向上離攝像機(jī)c1(攝像機(jī)c2)的距離。

[數(shù)學(xué)公式2]

Z＝(L/d)×f...(2)

要注意的是，L表示在水平方向上在位置C1與位置C2之間的距離(在下文中稱為在攝像機(jī)之間的距離)。進(jìn)一步地，d表示通過(guò)從在水平方向上在由攝像機(jī)c1拍攝的顏色圖像上的對(duì)象M的位置處離顏色圖像的中心的距離u1減去在水平方向上在由攝像機(jī)c2拍攝的顏色圖像上的對(duì)象M的位置處離顏色圖像的中心的距離u2而得到的值，即，像素移位量(也稱為視差)。進(jìn)一步地，f表示攝像機(jī)c1的焦距。在公式(2)中，假設(shè)攝像機(jī)c1的焦距與攝像機(jī)c2的焦距相同。

如公式(2)所示，可以將像素移位量d和深度Z進(jìn)行唯一地轉(zhuǎn)換。因此，在本說(shuō)明書中，表示顏色圖像的像素移位量d的圖像、和表示在由攝像機(jī)c1和攝像機(jī)c2分別拍攝的兩個(gè)視點(diǎn)處的深度Z的圖像統(tǒng)稱為深度圖像(視差圖像)。

要注意的是，深度圖像(視差圖像)可以是表示像素移位量d或者深度Z的圖像。作為深度圖像(視差圖像)的像素值，可以采用通過(guò)歸一化像素移位量d而得到的值或者通過(guò)歸一化深度Z的倒數(shù)1/Z而得到的值，而不是不加改變地使用像素移位量d或者深度Z。

通過(guò)下列公式(3)，可以得到通過(guò)用8位(0至255)歸一化像素移位量d而得到的值I。要注意的是，用于像素移位量的歸一化的位的數(shù)量并不限于8位，而是可以使用其它數(shù)量的位，諸如10位或者12位。

[數(shù)學(xué)公式3]

要注意的是，在公式(3)中，D_max表示像素移位量d的最大值，而D_min表示像素移位量d的最小值?？梢砸砸粋€(gè)屏幕為單位來(lái)設(shè)置最大值D_max和最小值D_min，或者可以以多個(gè)屏幕為單位來(lái)設(shè)置最大值D_max和最小值D_min。

進(jìn)一步地，通過(guò)下列公式(4)，可以得到通過(guò)用8位(0至255)歸一化深度Z的倒數(shù)1/Z而得到的值y。要注意的是，用于深度Z的倒數(shù)1/Z的歸一化的位的數(shù)量并不限于8位，而是可以使用其它數(shù)量的位，諸如10位或者12位。

[數(shù)學(xué)公式4]

要注意的是，在公式(4)中，Z_far表示深度Z的最大值，而Z_near表示深度Z的最小值?？梢砸砸粋€(gè)屏幕為單位來(lái)設(shè)置最大值Z_far和最小值Z_near，或者可以以多個(gè)屏幕為單位來(lái)設(shè)置最大值Z_far和最小值Z_near。

因此，在本說(shuō)明書中，考慮到可以將像素移位量d和深度Z進(jìn)行唯一地轉(zhuǎn)換的事實(shí)，將通過(guò)歸一化像素移位量d而得到的值I設(shè)置為像素值的圖像和將通過(guò)歸一化深度Z的倒數(shù)1/Z而得到的值y設(shè)置為像素值的圖像統(tǒng)稱為深度圖像(視差圖像)。此處，雖然假設(shè)深度圖像(視差圖像)的顏色格式為YUV420或者YUV400，但是可以使用其它的顏色格式。

要注意的是，當(dāng)焦點(diǎn)在關(guān)于值I或者值y自身的信息上而不是在深度圖像(視差圖像)的像素值上時(shí)，將值I或者值y設(shè)置為深度信息(視差信息)。進(jìn)一步地，將通過(guò)映射值I和值y而得到的結(jié)果稱為深度圖(視差圖)。

如上所述，在本說(shuō)明書中，上面提及的差異信息可以統(tǒng)稱為深度信息，而差異圖可以統(tǒng)稱為深度圖。

要注意的是，本技術(shù)可以應(yīng)用于，例如，下面描述的多視角圖像利用服務(wù)平臺(tái)。具體地，在上述第一實(shí)施例中的插值圖像生成方法用于，例如，下面將描述為應(yīng)用等的服務(wù)。

<2.第二實(shí)施例>

<多視角圖像利用服務(wù)平臺(tái)>

圖13是圖示了多視角圖像利用服務(wù)平臺(tái)的示例的示意圖。圖13所示的多視角圖像利用服務(wù)平臺(tái)100是向用戶提供使用由具有不同視點(diǎn)的多個(gè)圖像構(gòu)成的多視角圖像的服務(wù)的基本結(jié)構(gòu)/環(huán)境。多視角圖像利用服務(wù)平臺(tái)100包括多種功能，諸如，云存儲(chǔ)101和應(yīng)用市場(chǎng)102。

云存儲(chǔ)101是用于存儲(chǔ)并且管理多視角圖像數(shù)據(jù)111的一種服務(wù)，該多視角圖像數(shù)據(jù)111是多視角圖像數(shù)據(jù)。例如，在多視角圖像利用服務(wù)平臺(tái)中注冊(cè)的各個(gè)用戶操作多視角成像裝置121，對(duì)對(duì)象進(jìn)行攝像，并且獲取具有不同視角的多個(gè)捕捉圖像作為多視角圖像。進(jìn)一步地，用戶操作多視角成像裝置121，并且將多視角圖像數(shù)據(jù)提供給多視角圖像利用服務(wù)平臺(tái)100。云存儲(chǔ)101存儲(chǔ)提供的多視角圖像數(shù)據(jù)并且為各個(gè)用戶管理數(shù)據(jù)。

進(jìn)一步地，云存儲(chǔ)101可以根據(jù)需要基于多視角圖像數(shù)據(jù)等生成與多視角圖像數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)，并且可以管理生成的數(shù)據(jù)。此外，響應(yīng)于來(lái)自用戶等的請(qǐng)求，云存儲(chǔ)101可以根據(jù)需要向由用戶操作的終端裝置或者稍后將要描述的應(yīng)用提供所管理的多視角圖像數(shù)據(jù)以及與多視角圖像數(shù)據(jù)相關(guān)聯(lián)的數(shù)據(jù)。

應(yīng)用市場(chǎng)102是通過(guò)利用多視角圖像數(shù)據(jù)來(lái)進(jìn)行一些處理，向用戶提供應(yīng)用112以向用戶提供使用多視角圖像的服務(wù)，銷售并且執(zhí)行該應(yīng)用的一種服務(wù)。換言之，該應(yīng)用112可以由多視角圖像利用服務(wù)平臺(tái)100執(zhí)行，或者可以由終端裝置執(zhí)行。

通過(guò)執(zhí)行應(yīng)用112，可以向各個(gè)用戶提供各種便利服務(wù)，諸如，使用多視角圖像的游戲、空間合成、透鏡模擬、空間識(shí)別和產(chǎn)品銷售支持。

通過(guò)應(yīng)用112可以提供任何類型的服務(wù)，只要這些服務(wù)使用多視角圖像。例如，透鏡模擬是用于模擬虛擬光學(xué)系統(tǒng)(使該系統(tǒng)以偽方式出現(xiàn))并且通過(guò)使用虛擬光學(xué)系統(tǒng)生成對(duì)使用多視角圖像的對(duì)象進(jìn)行攝像而得到的虛擬捕捉圖像的一種服務(wù)。在這種情況下，應(yīng)用112設(shè)置例如虛擬透鏡150，如圖14中的A所示，并且，對(duì)作為從對(duì)象進(jìn)入虛擬透鏡150的入射光的光束向量151、作為已經(jīng)傳輸通過(guò)虛擬透鏡150的入射光的光束向量152和從光束向量152獲得虛擬捕捉圖像的虛擬圖像傳感器153等進(jìn)行模擬(使其以偽方式出現(xiàn))。然后，在這種情況下，例如，應(yīng)用112基于上述模擬從多視角圖像生成虛擬捕捉圖像，并且向用戶提供該虛擬捕捉圖像。進(jìn)一步地，例如，應(yīng)用112可以進(jìn)行待設(shè)置的虛擬透鏡150的選擇或者銷售。

然后，例如，當(dāng)在由應(yīng)用112執(zhí)行的服務(wù)中進(jìn)行插值圖像生成時(shí)，可以應(yīng)用第一實(shí)施例的插值圖像生成方法。在這種情況下，可以取得與第一實(shí)施例相同的有益效果。換言之，可以高速生成高清晰度視點(diǎn)插值圖像。

由于可以在透鏡模擬中設(shè)置虛擬透鏡，所以可以模擬任何規(guī)格的系統(tǒng)。換言之，在透鏡模擬中，不僅可以模擬實(shí)際的光學(xué)系統(tǒng)，而且還可以模擬非現(xiàn)實(shí)的光學(xué)系統(tǒng)。因此，這些附圖的提供使用戶能夠再現(xiàn)通過(guò)各種光學(xué)系統(tǒng)得到的捕捉圖像。例如，通過(guò)透鏡模擬，用戶可以通過(guò)使用具有比獲得構(gòu)成多視角圖像的各個(gè)捕捉圖像的光學(xué)系統(tǒng)的光圈更寬的光圈的光學(xué)系統(tǒng)容易獲得捕捉圖像。例如，透鏡模擬使用戶能夠容易獲得具有比多視角圖像的各個(gè)圖像的分辨率更高的分辨率的圖像、廣角圖像、具有窄視角和長(zhǎng)焦距的圖像等。進(jìn)一步地，例如，透鏡模擬使用戶能夠容易獲得使用精細(xì)透鏡的捕捉圖像和使用非現(xiàn)實(shí)的光學(xué)系統(tǒng)的捕獲圖像。換言之，用戶可以以低成本獲得各種捕捉圖像。

例如，第一實(shí)施例的插值圖像生成方法也可以應(yīng)用于透鏡模擬。在這種情況下，可以取得與第一實(shí)施例相同的有益效果。具體地，由于可以高速生成高清晰度插值圖像，所以可以向用戶提供高清晰度透鏡模擬。

例如，產(chǎn)品銷售支持是通過(guò)使用多視角圖像進(jìn)行物品銷售的一種服務(wù)?？梢园凑杖魏畏绞竭M(jìn)行對(duì)待銷售物品的支持。例如，假設(shè)家具是待銷售物品，可以提供用于將家具的圖像設(shè)置在捕捉圖像上的服務(wù)，如圖14中的B所示。在這種情況下，應(yīng)用112通過(guò)使多視角圖像的捕捉圖像重疊來(lái)生成捕捉圖像，通過(guò)使用三維建模數(shù)據(jù)(也稱為3D建模數(shù)據(jù))和表示在多視角圖像中到對(duì)象的距離的深度數(shù)據(jù)來(lái)將家具的圖像設(shè)置在生成的捕捉圖像上，并且將合成圖像提供給用戶。進(jìn)一步地，應(yīng)用112基于用戶的操作來(lái)設(shè)置待設(shè)置的家具和該家具的位置。

第一實(shí)施例的插值圖像生成方法也可以應(yīng)用于這種服務(wù)。在這種情況下，可以取得與第一實(shí)施例相同的有益效果。具體地，由于可以高速生成高清晰度插值圖像，所以可以向用戶提供高清晰度合成圖像。

例如，這種服務(wù)的提供使用戶能夠拍攝該用戶的房間的圖像并且將家具的圖像設(shè)置在捕捉圖像(即，該用戶的房間的圖像)上的期望位置處。這允許用戶在購(gòu)買之前精確地假設(shè)布局。具體地，該服務(wù)可以減少在購(gòu)買之前用戶的擔(dān)心，諸如，擔(dān)心“購(gòu)買的家具是否可以放在他的/她的房間中”或者擔(dān)心“購(gòu)買的家具是否適合他的/她的房間”。這會(huì)導(dǎo)致用戶的購(gòu)買意愿的增加。換言之，應(yīng)用112可以支持家具的銷售。

如上所述，多視角圖像利用服務(wù)平臺(tái)100不僅能夠從多視角圖像生成并且提供一個(gè)圖像，而且還能夠管理關(guān)于用戶和多視角圖像的數(shù)據(jù)，進(jìn)行應(yīng)用的銷售，并且通過(guò)使用應(yīng)用來(lái)提供服務(wù)。從而，可以提供對(duì)用戶而言更便利的各種服務(wù)。換言之，多視角圖像利用服務(wù)平臺(tái)100可以提高使用多視角圖像的服務(wù)的便利性。

在這種情況下，第一實(shí)施例的插值圖像生成方法的應(yīng)用可以高速生成高清晰度視角插值圖像，從而可以向用戶提供高清晰度服務(wù)。

雖然在上面已經(jīng)描述了由多個(gè)捕捉圖像構(gòu)成的多視角圖像，但是多視角圖像可以由任意數(shù)量的圖像構(gòu)成。進(jìn)一步地，構(gòu)成多視角圖像的全部或者一些圖像或者各個(gè)圖像的整體或者一部分可以是非現(xiàn)實(shí)的圖像，諸如，手工繪制的計(jì)算機(jī)圖形圖像(即，多視角圖像可以包括除了捕捉圖像之外的圖像)。

進(jìn)一步地，通過(guò)多視角圖像利用服務(wù)平臺(tái)100向其提供服務(wù)的終端裝置可以是由擁有多視角圖像的用戶操作的多視圖成像裝置121、不同于由該用戶操作的多視角成像裝置121的終端裝置、或者由被該用戶授權(quán)使用多視角圖像的另一個(gè)用戶操作的終端設(shè)備。

進(jìn)一步地，多視角圖像利用服務(wù)平臺(tái)100可以具有任何物理配置。例如，多視角圖像利用服務(wù)平臺(tái)可以配置有一個(gè)服務(wù)器，或者可以配置有多個(gè)服務(wù)器。例如，可以采用云計(jì)算配置，在該云計(jì)算配置中，多視角圖像利用服務(wù)平臺(tái)100的全部或者一些功能經(jīng)由網(wǎng)絡(luò)在多個(gè)裝置之間共享并且協(xié)作處理。進(jìn)一步地，可以通過(guò)終端裝置來(lái)執(zhí)行多視圖利用服務(wù)平臺(tái)100的全部或者一些功能。

下面將對(duì)由多視角圖像利用服務(wù)平臺(tái)100提供的服務(wù)的示例的細(xì)節(jié)進(jìn)行描述。

<3.第三實(shí)施例>

<多視角圖像的管理>

如在第二實(shí)施例中所述的，多視角圖像利用服務(wù)平臺(tái)100包括，例如，云存儲(chǔ)101的功能，并且可以存儲(chǔ)多視角圖像數(shù)據(jù)并且提供管理服務(wù)。在本實(shí)施例中，將對(duì)多視角圖像的管理進(jìn)行描述。

<多視角圖像利用服務(wù)提供系統(tǒng)>

圖15是示出了多視角圖像利用服務(wù)提供系統(tǒng)的主要配置示例的示意圖。圖15所示的多視角圖像利用服務(wù)提供系統(tǒng)200是應(yīng)用本技術(shù)的系統(tǒng)的示例，并且是服務(wù)器202經(jīng)由網(wǎng)絡(luò)210向連接至該服務(wù)器的終端裝置201提供利用多視角圖像的服務(wù)的系統(tǒng)。換言之，多視角圖像利用服務(wù)提供系統(tǒng)200是用于實(shí)施多視角圖像利用服務(wù)平臺(tái)100的配置的示例。

圖15示出了用于提供在待由多視角圖像利用服務(wù)平臺(tái)100提供的服務(wù)中的用于管理多視角圖像的服務(wù)的配置的示例。在圖15中，多視角圖像利用服務(wù)提供系統(tǒng)200包括終端裝置201和服務(wù)器202，該終端設(shè)備201和服務(wù)器202分別連接至網(wǎng)絡(luò)210。

網(wǎng)絡(luò)210是任意網(wǎng)絡(luò)，諸如互聯(lián)網(wǎng)或者局域網(wǎng)。網(wǎng)絡(luò)210由以有線或者無(wú)線方式或者以有線連接和無(wú)線連接的組合配置的一個(gè)或者多個(gè)網(wǎng)絡(luò)形成。終端裝置201和服務(wù)器202分別以有線或者無(wú)線方式連接至網(wǎng)絡(luò)210。

終端裝置201進(jìn)行多視角成像，以便通過(guò)對(duì)對(duì)象攝像來(lái)獲得由具有不同視點(diǎn)的多個(gè)捕捉圖像形成的多視角圖像。在這種情況下，例如，通過(guò)第一實(shí)施例的插值圖像生成方法來(lái)進(jìn)行插值圖像生成。進(jìn)一步地，終端裝置201通過(guò)對(duì)包括生成的插值圖像的多視角圖像數(shù)據(jù)進(jìn)行編碼來(lái)生成多視角編碼數(shù)據(jù)。終端裝置201將生成的多視角編碼數(shù)據(jù)傳輸至服務(wù)器202。要注意的是，可以通過(guò)服務(wù)器202來(lái)進(jìn)行插值圖像生成。這會(huì)導(dǎo)致待傳輸數(shù)據(jù)的減少。

服務(wù)器202管理預(yù)先注冊(cè)的用戶。進(jìn)一步地，服務(wù)器202獲取傳輸?shù)亩嘁暯菆D像編碼數(shù)據(jù)，檢測(cè)多視角圖像的深度，并且生成深度數(shù)據(jù)。此外，服務(wù)器202將關(guān)于多視角圖像的數(shù)據(jù)轉(zhuǎn)換成文件，從而生成多視角圖像文件。然后，服務(wù)器202存儲(chǔ)(保存)并且管理生成的多視角圖像文件。由服務(wù)器202管理的多視角圖像文件與終端裝置201和待執(zhí)行的應(yīng)用相關(guān)聯(lián)，并且在需要時(shí)被提供給終端裝置201或者待執(zhí)行的應(yīng)用。

<終端裝置>

圖16是示出了終端裝置201的主要配置示例的框圖。如圖16所示，在終端裝置201中，中央處理單元(CPU)221、只讀存儲(chǔ)器(ROM)222和隨機(jī)存取存儲(chǔ)器(RAM)223經(jīng)由總線224互相連接。

總線224還與輸入/輸出接口230連接。輸入/輸出接口230與輸入單元231、輸出單元232、存儲(chǔ)單元233、通信單元234和驅(qū)動(dòng)器235連接。

輸入單元231由接受外部信息(諸如，用戶輸入)的輸入裝置形成。例如，輸入單元231包括操作按鈕、觸控面板、麥克風(fēng)、輸入終端等。進(jìn)一步地，在輸入單元231中可以包括各種傳感器，諸如加速度傳感器、光學(xué)光感器和溫度傳感器。輸出單元232由輸出信息(諸如，圖像和音頻)的輸出裝置形成。例如，輸出單元232包括顯示器、揚(yáng)聲器和輸出終端等。

存儲(chǔ)單元233由，例如，硬盤、RAM盤和非易失性存儲(chǔ)器形成。通信單元234由，例如，網(wǎng)絡(luò)接口形成。驅(qū)動(dòng)器235驅(qū)動(dòng)可移動(dòng)介質(zhì)241，諸如磁盤、光盤、磁光盤或者半導(dǎo)體存儲(chǔ)器。

CPU 221通過(guò)例如經(jīng)由輸入/輸出接口230和總線224將存儲(chǔ)在存儲(chǔ)介質(zhì)233中的程序加載到RAM 223中并且執(zhí)行該程序來(lái)進(jìn)行各種過(guò)程。RAM 223存儲(chǔ)，例如，CPU 221執(zhí)行各種過(guò)程所需的數(shù)據(jù)。

由CPU 221執(zhí)行的程序可以記錄在，例如，作為封裝介質(zhì)的可移動(dòng)介質(zhì)241中，并且可以被提供給終端裝置201。在這種情況下，當(dāng)將可移動(dòng)介質(zhì)241安裝在驅(qū)動(dòng)器235中時(shí)，可以經(jīng)由輸入/輸出接口230將程序安裝在存儲(chǔ)單元233中。

進(jìn)一步地，經(jīng)由有線或者無(wú)線傳輸介質(zhì)，諸如LAN、互聯(lián)網(wǎng)或者數(shù)字衛(wèi)星廣播，可以將該程序提供給終端裝置201。在這種情況下，該程序可以經(jīng)由有線或者無(wú)線傳輸介質(zhì)通過(guò)通信單元234來(lái)接收，并且可以安裝在存儲(chǔ)單元233中。

作為替代方案，也可以將該程序預(yù)先安裝在ROM 222或者存儲(chǔ)單元233中。

輸入/輸出接口230還可以與攝像單元236連接。攝像單元236由例如CPU 221控制，并且通過(guò)對(duì)對(duì)象攝像來(lái)進(jìn)行多視角成像以獲得多視角圖像，該多視角圖像由具有不同視點(diǎn)的多個(gè)捕捉圖像構(gòu)成。攝像單元236包括攝像機(jī)模塊242-1至242-N。N是大于等于2的任意整數(shù)。攝像機(jī)模塊242-1至242-N是具有相似配置并且進(jìn)行相似處理的模塊。在下面的描述中，當(dāng)不需要區(qū)分?jǐn)z像機(jī)模塊242-1至242-N時(shí)，將攝像機(jī)模塊簡(jiǎn)單地稱為攝像機(jī)模塊242。

攝像機(jī)模塊242是包括光學(xué)系統(tǒng)并且通過(guò)對(duì)對(duì)象進(jìn)行攝像來(lái)獲得捕捉圖像的模塊，該光學(xué)系統(tǒng)包括圖像傳感器(攝像元件)。攝像機(jī)模塊242設(shè)置在平面或者曲面上的不同位置處，諸如，圖17所示的C11、C12、C13、C21、C22、C23、C31、C32和C33，并且具有不同的視點(diǎn)。換言之，攝像機(jī)模塊242-1至242-N對(duì)對(duì)象進(jìn)行攝像并且獲得具有參考視點(diǎn)的捕捉圖像。

例如，攝像單元236由CPU 221控制以通過(guò)攝像機(jī)模塊242-1至242-N對(duì)對(duì)象進(jìn)行攝像，從而獲得具有不同視點(diǎn)的N個(gè)(多個(gè))捕捉圖像。攝像單元236獲得多個(gè)捕捉圖像作為多視角圖像(多視角圖像數(shù)據(jù))。換言之，攝像單元236通過(guò)使用攝像模塊242進(jìn)行多視角成像。

攝像單元236由例如CPU 221控制以插值所獲得的多視角圖像數(shù)據(jù)，經(jīng)由輸入/輸出接口230、總線224等將插值圖像數(shù)據(jù)提供給CPU 221和RAM 223，經(jīng)由輸入/輸出接口230將數(shù)據(jù)提供給存儲(chǔ)單元233并且使存儲(chǔ)單元存儲(chǔ)該數(shù)據(jù)，將數(shù)據(jù)提供給輸出單元232并且使輸出單元輸出該數(shù)據(jù)，或者將數(shù)據(jù)提供給通信單元234并且使通信單元向外部提供該數(shù)據(jù)。

攝像機(jī)模塊242可以具有相同的或者不同的視角和攝像方向。例如，某些攝像機(jī)模塊242的視角和攝像方向中的一個(gè)或者兩者都可以與其它攝像模塊242的視角和攝像方向不同。進(jìn)一步地，例如，所有的攝像機(jī)模塊242可以具有不同的視角和不同的攝像方向。然而，如稍后所述，通過(guò)使圖像重疊將多視角捕捉圖像用于生成圖像。因此，可取的是，各個(gè)攝像機(jī)模塊242的成像范圍(即，各個(gè)攝像機(jī)模塊242的對(duì)象)至少部分地重疊。

要注意的是，在多視角成像中，各個(gè)攝像機(jī)模塊242的成像條件，諸如攝像定時(shí)、曝光和光圈，可以相同或者不同。進(jìn)一步地，通過(guò)多視角成像獲得的各個(gè)多視角圖像(構(gòu)成多視角圖像的各捕捉圖像)可以是靜止圖像或者運(yùn)動(dòng)圖像。

進(jìn)一步地，可以在生產(chǎn)期間將攝像單元236設(shè)置在終端裝置201的外殼中作為外殼的一個(gè)部件，或者攝像單元236可以配置為與終端裝置201分開(kāi)設(shè)置的并且可連接至終端裝置201的模塊。例如，攝像單元236可以是連接至終端裝置201的外部終端等并且根據(jù)終端裝置201的控制而運(yùn)行的外部附件。同樣，攝像單元236可以是與終端裝置201分開(kāi)設(shè)置的裝置。例如，攝像單元236可以是與終端裝置201分開(kāi)設(shè)置的攝像裝置，諸如攝像機(jī)，可以以有線或者無(wú)線通信方式連接至終端裝置201，并且可以將通過(guò)多視角成像獲得的多視角圖像提供給終端裝置201。

<服務(wù)器>

圖18是示出了服務(wù)器202的主要配置示例的框圖。如圖18所示，在服務(wù)器202中，CPU 251、ROM 252和RAM 253經(jīng)由總線254互相連接。

總線254還與輸入/輸出接口260連接。輸入/輸出接口260與輸入單元261、輸出單元262、存儲(chǔ)單元263、通信單元264和驅(qū)動(dòng)器265連接。

輸入單元261由接受外部信息(諸如，用戶輸入)的輸入裝置形成,。例如，輸入單元261包括操作按鈕、觸控面板、麥克風(fēng)、攝像機(jī)、輸入終端等。進(jìn)一步地，在輸入單元261中可以包括各種傳感器，諸如加速度傳感器、光學(xué)光感器和溫度傳感器。輸出單元262由輸出信息(諸如，圖像和音頻)的輸出裝置形成。例如，輸出單元262包括顯示器、揚(yáng)聲器和輸出終端。

存儲(chǔ)單元263由，例如，硬盤、RAM盤和非易失性存儲(chǔ)器形成。通信單元264由，例如，網(wǎng)絡(luò)接口形成。驅(qū)動(dòng)器265驅(qū)動(dòng)可移動(dòng)介質(zhì)271，諸如磁盤、光盤、磁光盤或者半導(dǎo)體存儲(chǔ)器。

CPU 251通過(guò)例如經(jīng)由輸入/輸出接口260和總線254將存儲(chǔ)在存儲(chǔ)介質(zhì)263中的程序加載到RAM 253中并且執(zhí)行該程序來(lái)進(jìn)行各種過(guò)程。若適當(dāng)，CPU 251執(zhí)行各種過(guò)程所需的數(shù)據(jù)等存儲(chǔ)在RAM 253中。

由CPU 251執(zhí)行的程序可以記錄在，例如，作為封裝介質(zhì)的可移動(dòng)介質(zhì)271中，并且可以被提供給服務(wù)器202。在這種情況下，當(dāng)將可移動(dòng)介質(zhì)271安裝在驅(qū)動(dòng)器265中時(shí)，可以經(jīng)由輸入/輸出接口260將程序安裝在存儲(chǔ)單元263中。

進(jìn)一步地，經(jīng)由有線或者無(wú)線傳輸介質(zhì)，諸如LAN、互聯(lián)網(wǎng)或者數(shù)字衛(wèi)星廣播，可以將該程序提供給服務(wù)器202。在這種情況下，該程序可以經(jīng)由有線或者無(wú)線傳輸介質(zhì)通過(guò)通信單元264來(lái)接收，并且可以安裝在存儲(chǔ)單元263中。

作為替代方案，也可以將該程序預(yù)先安裝在ROM 252或者存儲(chǔ)單元263中。

<功能塊>

當(dāng)CPU 221執(zhí)行預(yù)定程序時(shí)，終端裝置201包括在圖19的A中被示為功能塊的功能。如圖19的A所示，CPU 221包括功能塊，諸如攝像控制單元281、元數(shù)據(jù)生成單元282、編碼單元283和傳輸控制單元284。

攝像控制單元281執(zhí)行控制多視角成像的處理。元數(shù)據(jù)生成單元282執(zhí)行生成通過(guò)多視角成像獲得的多視角圖像的元數(shù)據(jù)的處理。編碼單元283執(zhí)行對(duì)多視角圖像進(jìn)行編碼的處理。傳輸控制單元284執(zhí)行控制多視角圖像數(shù)據(jù)等的傳輸?shù)奶幚怼?/p>

進(jìn)一步地，當(dāng)CPU 251執(zhí)行預(yù)定程序時(shí)，服務(wù)器202包括在圖19的B中被示為功能塊的功能。如圖19的B所示，COU 251包括功能塊，諸如用戶管理單元291、獲取控制單元292、深度檢測(cè)單元293、文件生成單元294和數(shù)據(jù)管理單元295。

用戶管理單元291執(zhí)行管理向其提供多視角圖像利用服務(wù)的用戶的處理。例如，用戶管理單元291針對(duì)各個(gè)用戶將如圖20的A所示的用戶管理信息301存儲(chǔ)到存儲(chǔ)單元263中，并且管理該用戶管理信息。如圖20的A所示，用戶管理信息301包括：例如，用戶ID(其為用戶識(shí)別信息)、用戶購(gòu)買歷史、文件管理信息識(shí)別信息(其為與各個(gè)用戶相關(guān)聯(lián)的文件管理信息的識(shí)別信息(向各個(gè)用戶注冊(cè)的))、收藏夾設(shè)置預(yù)計(jì)(其為指示通過(guò)例如統(tǒng)計(jì)分析對(duì)用戶的收藏夾設(shè)置的預(yù)計(jì)結(jié)果的信息)、各個(gè)用戶擁有的點(diǎn)(或者錢)、和發(fā)送至其它用戶的評(píng)論或者從其它用戶發(fā)來(lái)的評(píng)論。當(dāng)然，用戶管理信息301的內(nèi)容是可選的?？梢允÷陨鲜鲂畔⒅械囊恍?，或者可以包括除了上述信息之外的信息。

獲取控制單元292執(zhí)行控制對(duì)從終端裝置201傳輸?shù)男畔?諸如，多視角圖像數(shù)據(jù))的獲取的處理。深度檢測(cè)單元293執(zhí)行檢測(cè)各個(gè)多視角圖像的深度值的處理。文件生成單元294執(zhí)行通過(guò)將包括多視角圖像數(shù)據(jù)的各種數(shù)據(jù)轉(zhuǎn)換成文件來(lái)生成多視角圖像文件的處理。

數(shù)據(jù)管理單元295執(zhí)行管理數(shù)據(jù)(諸如，多視角圖像文件)的處理。例如，用戶管理單元295針對(duì)各個(gè)多視角圖像文件將如圖20的B所示的文件管理信息302存儲(chǔ)到存儲(chǔ)單元263中，并且管理該用戶管理信息。如圖20的B所示，文件管理信息302包括：例如，多視角圖像文件識(shí)別信息(其為多視角圖像文件的識(shí)別信息)、編輯結(jié)果圖像識(shí)別信息(其與多視角圖像文件相關(guān)聯(lián)，并且是由對(duì)各個(gè)多視角圖像進(jìn)行編輯而產(chǎn)生的編輯結(jié)果圖像的識(shí)別信息)、和應(yīng)用參數(shù)識(shí)別信息(其與多視角圖像文件相關(guān)聯(lián)，并且是作為例如使用各個(gè)多視角圖像的應(yīng)用操作的歷史的應(yīng)用參數(shù)的識(shí)別信息)。當(dāng)然，文件管理信息302的內(nèi)容是可選的。可以省略上述信息中的一些，或者可以包括除了上述信息之外的信息。

<多視角圖像利用服務(wù)提供處理的流程>

具有上述配置的多視角圖像利用服務(wù)提供系統(tǒng)的終端裝置201和服務(wù)器202執(zhí)行多視角圖像利用服務(wù)提供處理，從而提供利用多視角圖像的服務(wù)。在本實(shí)施例中，提供諸如多視角圖像的管理之類的服務(wù)。參照?qǐng)D21中的流程圖，將對(duì)由這些裝置執(zhí)行的多視角圖像利用服務(wù)提供處理的流程的示例進(jìn)行描述。

在步驟S101中，終端裝置201的攝像控制單元281控制攝像單元236，并且進(jìn)行對(duì)象的多視角成像從而獲得多視角圖像。例如，攝像控制單元281通過(guò)多視角成像獲得由如圖22的A所示的具有不同視點(diǎn)的多個(gè)捕捉圖像構(gòu)成的多視角圖像311。要注意的是，在獲取多視角圖像之后，還可以通過(guò)在第一實(shí)施例中描述的插值圖像生成處理來(lái)生成插值圖像。在這種情況下，若適當(dāng)，服務(wù)器202的CPU 251可以包括如上面參照?qǐng)D1所述的生成插值圖像所需的功能塊。

再次參照?qǐng)D21，當(dāng)通過(guò)拍攝多視角圖像來(lái)獲得多視角圖像數(shù)據(jù)時(shí)，在步驟S102中，元數(shù)據(jù)生成單元282生成多視角圖像數(shù)據(jù)的元數(shù)據(jù)。雖然稍后將對(duì)元數(shù)據(jù)進(jìn)行詳細(xì)描述，但是，元數(shù)據(jù)包括：例如，指示多視角圖像的視點(diǎn)之間的相對(duì)位置關(guān)系的信息、和指示各個(gè)多視角圖像的視點(diǎn)的數(shù)量的視點(diǎn)數(shù)量信息。換言之，元數(shù)據(jù)生成單元282生成包括陣列信息和視點(diǎn)數(shù)量信息的元數(shù)據(jù)，并且將該元數(shù)據(jù)與多視角圖像數(shù)據(jù)相關(guān)聯(lián)。

在步驟S103中，編碼單元283通過(guò)預(yù)定編碼方法對(duì)多視角圖像數(shù)據(jù)進(jìn)行編碼，從而生成多視角圖像編碼數(shù)據(jù)。作為編碼方法，可以采用任何方法，只要能夠?qū)D像數(shù)據(jù)進(jìn)行編碼。例如，可以采用現(xiàn)有的編碼方法(諸如，聯(lián)合圖像專家組(JPEG)和運(yùn)動(dòng)圖像專家組(MPEG))和專用于多視角圖像的新編碼方法。要注意的是，在對(duì)多視角圖像數(shù)據(jù)進(jìn)行編碼之后，通過(guò)元數(shù)據(jù)生成單元282使多視角圖像數(shù)據(jù)的元數(shù)據(jù)(例如，陣列信息和視點(diǎn)數(shù)量信息)與多視角圖像編碼數(shù)據(jù)(成為了多視角編碼數(shù)據(jù)的元數(shù)據(jù))相關(guān)聯(lián)。

在步驟S104中，傳輸控制單元284控制通信單元234，并且將在步驟S103中生成的多視角圖像編碼數(shù)據(jù)和在步驟S102中生成的元數(shù)據(jù)傳輸至服務(wù)器202。例如，傳輸控制單元284傳輸多視角圖像編碼數(shù)據(jù)和元數(shù)據(jù)作為位流或者關(guān)于位流的輔助信息。

在步驟S111中，服務(wù)器202的獲取控制單元292控制通信單元264，并且獲取在步驟S104中從終端裝置201傳輸?shù)亩嘁暯菆D像編碼數(shù)據(jù)及其元數(shù)據(jù)。

在步驟S112中，深度檢測(cè)單元293通過(guò)與在步驟S103中的編碼方法相對(duì)應(yīng)的解碼方法來(lái)對(duì)在步驟S111中獲取的多視角圖像編碼數(shù)據(jù)進(jìn)行解碼。要注意的是，代替在步驟S101之后生成插值圖像，也可以在解碼之后通過(guò)在第一實(shí)施例中描述的插值圖像生成處理來(lái)生成插值圖像。在這種情況下，若適當(dāng)，服務(wù)器202的CPU 251可以包括如上面參照?qǐng)D1所述的生成插值圖像所需的功能塊。

在步驟S113中，深度檢測(cè)單元293使用通過(guò)在步驟S112中對(duì)多視角圖像編碼數(shù)據(jù)進(jìn)行解碼獲得的多視角圖像數(shù)據(jù)來(lái)檢測(cè)多視角圖像的深度，從而生成深度數(shù)據(jù)。例如，深度檢測(cè)單元293生成深度圖312作為深度數(shù)據(jù)，該深度圖312表示到對(duì)象的距離作為如圖22的B所示的各個(gè)像素的亮度或者顏色。

要注意的是，稍后將對(duì)深度的檢測(cè)的細(xì)節(jié)進(jìn)行描述。

再次參照?qǐng)D21，當(dāng)生成深度數(shù)據(jù)時(shí)，深度檢測(cè)單元293對(duì)在步驟S114中檢測(cè)到的深度的多視點(diǎn)圖像數(shù)據(jù)進(jìn)行編碼，并且生成多視角圖像編碼數(shù)據(jù)。作為編碼方法，可以采用任何方法，只要能夠?qū)D像數(shù)據(jù)進(jìn)行編碼。例如，可以采用現(xiàn)有的編碼方法(諸如，JPEG和MPEG)或者專用于多視角圖像的新編碼方法。可以使用與在步驟S103中使用的編碼方法相同的方法，或者可以使用與該編碼方法不同的方法。深度檢測(cè)單元293將生成的深度數(shù)據(jù)和多視角圖像編碼數(shù)據(jù)相關(guān)聯(lián)。

要注意的是，深度的檢測(cè)(深度數(shù)據(jù)的生成)可以在不同于服務(wù)器202的任何裝置中進(jìn)行，并且可以，例如，在終端裝置201中進(jìn)行。在這種情況下，若適當(dāng)，終端裝置201的CPU 221可以包括必要的功能塊，諸如深度檢測(cè)單元293。在這種情況下，在編碼單元283對(duì)多視角圖像數(shù)據(jù)進(jìn)行編碼之前(在執(zhí)行步驟S103中的處理之前)，深度檢測(cè)單元293可以檢測(cè)深度。進(jìn)一步地，在步驟S103中，如上所述，編碼單元283可以對(duì)多視角圖像數(shù)據(jù)進(jìn)行編碼；深度檢測(cè)單元293可以將多視角編碼數(shù)據(jù)和深度數(shù)據(jù)相關(guān)聯(lián)；并且，元數(shù)據(jù)生成單元282可以將多視角圖像編碼數(shù)據(jù)和元數(shù)據(jù)(例如，陣列信息或者視點(diǎn)數(shù)量信息)相關(guān)聯(lián)。

在步驟S115中，文件生成單元294生成包括了在步驟S114中生成的多視角圖像編碼數(shù)據(jù)及其元數(shù)據(jù)和在步驟S113中生成的深度數(shù)據(jù)的多視角圖像文件。要注意的是，多視角圖像文件的格式是可選的。例如，當(dāng)多視角圖像是靜止圖像時(shí)，可以通過(guò)可交換圖像文件格式(EXIF)文件格式將圖像轉(zhuǎn)換成文件。進(jìn)一步地，例如，當(dāng)多視角圖像是運(yùn)動(dòng)圖像時(shí)，可以通過(guò)MP4(MPEG-4Part 14)文件格式將圖像轉(zhuǎn)換成文件。當(dāng)然，也可以使用其它格式來(lái)將圖像轉(zhuǎn)換成文件。

例如，文件生成單元294生成具有如圖23所示的配置的多視角圖像文件321。在圖23所示的示例中，多視角圖像文件321包括多視角圖像編碼數(shù)據(jù)331、深度數(shù)據(jù)332和元數(shù)據(jù)333。

多視角圖像編碼數(shù)據(jù)331是在步驟S114中生成的多視角圖像編碼數(shù)據(jù)。深度數(shù)據(jù)332是在步驟S113中生成的深度數(shù)據(jù)，并且是多視角圖像編碼數(shù)據(jù)331的多視角圖像的深度數(shù)據(jù)。元數(shù)據(jù)33是在步驟102中生成的元數(shù)據(jù)并且是多視角圖像編碼數(shù)據(jù)331的元數(shù)據(jù)。

如圖23所示，例如，元數(shù)據(jù)333包括攝像機(jī)模塊信息341、攝像機(jī)陣列信息342、視點(diǎn)數(shù)量信息343、校準(zhǔn)信息344和基線長(zhǎng)度信息345。

攝像機(jī)模塊信息341是關(guān)于獲取各多視角圖像的成像的信息，即，關(guān)于攝像單元236的各個(gè)攝像機(jī)模塊242的信息。例如，當(dāng)在攝像單元236中設(shè)置有N個(gè)攝像機(jī)模塊242時(shí)，元數(shù)據(jù)333包括N條攝像機(jī)模塊信息341。如圖23所示，攝像機(jī)模塊信息341包括多種信息，諸如，分辨率、焦距、ISO敏感性、攝像方向、快門速度、F值和視角。當(dāng)然，攝像機(jī)模塊信息341的配置是可選的?？梢允÷赃@些信息中的一些，或者可以包括除了這些信息之外的信息。

攝像機(jī)陣列信息342是指示各個(gè)攝像機(jī)模塊242的相對(duì)位置關(guān)系的信息。具體地，攝像機(jī)陣列信息342是指示在多視角圖像的視點(diǎn)之間的相對(duì)位置關(guān)系的信息。例如，如圖24所示，攝像機(jī)陣列信息342包括從參考攝像機(jī)模塊C0到另一個(gè)攝像機(jī)模塊Cx(在圖24所示的示例中，x＝1至8)的距離Lx和從參考攝像機(jī)模塊C0到另一個(gè)攝像機(jī)模塊Cx的方向Rx(從參考視點(diǎn)到各個(gè)視點(diǎn)的方向Rx)。

視點(diǎn)數(shù)量信息343是指示攝像機(jī)模塊242的數(shù)量(視點(diǎn)的數(shù)量)的信息。校準(zhǔn)信息344是指示攝像機(jī)模塊242中的變動(dòng)的信息。基線長(zhǎng)度信息345是用作對(duì)多視角圖像的長(zhǎng)度的參考的信息。

要注意的是，元數(shù)據(jù)333的配置是可選的?？梢允÷赃@些信息中的一些，或者可以包括除了這些信息之外的信息。

圖25是示出了各條元數(shù)據(jù)的配置示例的示意圖。如圖25的A所示，可以將信息，諸如分辨率、焦距、ISO敏感性、攝像方向、快門速度、F值和視角，顯示為針對(duì)各個(gè)攝像機(jī)模塊242的攝像機(jī)模塊信息341。

假設(shè)各個(gè)攝像機(jī)模塊242的這些參數(shù)是不同的值，例如，在使多視角圖像的捕捉圖像重疊的情況下，根據(jù)參數(shù)的值來(lái)控制對(duì)要重疊的捕捉圖像的選擇及其組合比。例如，僅使具有更接近期望值的參數(shù)的捕捉圖像彼此疊加，或者以更高的速率使具有更接近期望值的參數(shù)的捕捉圖像疊加(使得這些捕捉圖像的組合比更高)，從而可以容易地獲得具有更接近于期望值的參數(shù)的圖像。因此，可以減少用于改變參數(shù)的不必要的圖像處理。因此，可以減少因圖像處理而引起的圖像質(zhì)量下降(可以獲得具有更高質(zhì)量的圖像)。

進(jìn)一步地，由于相應(yīng)的捕捉圖像具有作為參數(shù)的各種值，所以，無(wú)論由于疊加而獲得的圖像的參數(shù)的值為何，都可以獲得具有更接近期望值的參數(shù)的捕捉圖像。換言之，無(wú)論參數(shù)的值為何，都可以獲得更高質(zhì)量的圖像。

攝像機(jī)陣列信息342可以指示具有如在圖23所示的示例中的相對(duì)位置關(guān)系(CN、LN、RN)的攝像機(jī)模塊242的陣列，或者可以指示如在圖25的A所示的示例中的預(yù)定類型的陣列，諸如“X型”。在圖23所示的示例中，可以增加陣列的自由度。在圖25所示的示例中，可以減少元數(shù)據(jù)中的信息量的增加。

進(jìn)一步地，在圖25的A所示的示例中將視點(diǎn)數(shù)量信息343示出為數(shù)字。

例如，校準(zhǔn)信息344可以由指示多視角圖像的相應(yīng)視點(diǎn)的位置的信息形成。在圖25的A所示的示例中，校準(zhǔn)信息344由關(guān)于相應(yīng)攝像機(jī)模塊242的坐標(biāo)信息(或者指示相應(yīng)攝像機(jī)模塊的中心坐標(biāo)的信息)形成。作為替代方案，例如，校準(zhǔn)信息344可以由校正多視角圖像的相應(yīng)圖像的亮度的信息形成。在圖25的B所示的示例中，校準(zhǔn)信息344由關(guān)于相應(yīng)攝像機(jī)模塊242的亮度校正數(shù)據(jù)信息形成。

基線長(zhǎng)度信息345可以包括，例如，指示從參考視點(diǎn)到多視角圖像的相應(yīng)視點(diǎn)的距離的信息。在圖25的C所示的示例中，基線長(zhǎng)度信息345包括指示從參考攝像模塊242到其它攝像機(jī)模塊242的距離的信息。

再次參照?qǐng)D21，在步驟S116中，數(shù)據(jù)管理單元295將子步驟S115中生成的多視角圖像文件提供且存儲(chǔ)到存儲(chǔ)單元263中，并且生成且管理關(guān)于多視角圖像文件的文件管理信息302。進(jìn)一步地，用戶管理單元291更新存儲(chǔ)在存儲(chǔ)單元263中的關(guān)于用戶的用戶管理信息301，并且向用戶注冊(cè)多視角圖像文件。

當(dāng)完成了步驟S116中的處理時(shí)，多視角圖像利用服務(wù)提供過(guò)程結(jié)束。

當(dāng)執(zhí)行這種多視角圖像利用服務(wù)提供處理時(shí)，用戶可以更容易地在服務(wù)器202中注冊(cè)通過(guò)多視角成像獲得的多視角圖像數(shù)據(jù)。進(jìn)一步地，將多視角圖像數(shù)據(jù)和與多視角圖像有關(guān)的數(shù)據(jù)(諸如，深度數(shù)據(jù)和元數(shù)據(jù))轉(zhuǎn)換成文件然后進(jìn)行管理。因此，用戶可以更容易地使用該用戶已經(jīng)注冊(cè)的多視角圖像數(shù)據(jù)。換言之，多視角圖像利用服務(wù)提供系統(tǒng)200(多視角圖像利用服務(wù)平臺(tái)100)可以提高使用多視角圖像的服務(wù)的便利性。

進(jìn)一步地，在以上描述中，通過(guò)使用包括多個(gè)攝像機(jī)模塊242的攝像單元236來(lái)進(jìn)行多視角成像，以生成多視角圖像(多視角圖像數(shù)據(jù))。然而，可以通過(guò)任何方法來(lái)生成多視角圖像(多視角圖像數(shù)據(jù))。例如，可以通過(guò)在移動(dòng)成像位置和成像方向(或者視點(diǎn))的同時(shí)使用包括單個(gè)攝像元件和光學(xué)系統(tǒng)的攝像單元(或者包括單個(gè)攝像機(jī)模塊242的攝像單元)進(jìn)行成像(捕捉運(yùn)動(dòng)圖像或者捕捉多個(gè)靜止圖像)，來(lái)生成多視角圖像。作為替代方案，可以通過(guò)第一實(shí)施例的插值圖像生成，來(lái)生成插值圖像。在這種情況下，可取地是將關(guān)于在成像位置和成像方向(或者視點(diǎn))上的位移的信息相關(guān)聯(lián)，作為具有多視角圖像數(shù)據(jù)(多視角圖像編碼數(shù)據(jù))的元數(shù)據(jù)。

同樣，在以上描述中，將由文件生成單元294生成的多視角圖像文件存儲(chǔ)在服務(wù)器202的存儲(chǔ)單元263中并且進(jìn)行管理。然而，可以在任何其它位置處對(duì)視角圖像文件進(jìn)行管理。例如，可以將多視角圖像文件存儲(chǔ)在除了服務(wù)器202之外的裝置(諸如，文件管理服務(wù)器(未示出))中并且進(jìn)行管理。在這種情況下，例如，文件生成單元294經(jīng)由通信單元264將生成的多視角圖像文件作為位流或者關(guān)于位流的輔助信息傳輸至該裝置。在這種情況下，該裝置可以包括：通過(guò)與服務(wù)器202進(jìn)行通信來(lái)獲取多視角圖像文件的通信單元；存儲(chǔ)獲取的多視角圖像文件的存儲(chǔ)單元；和作為管理存儲(chǔ)在存儲(chǔ)單元中的多視角圖像文件，更新多視角圖像文件或者根據(jù)需要向另一個(gè)裝置(諸如，終端裝置201或者服務(wù)器202)提供多視角圖像文件的功能塊的數(shù)據(jù)管理單元。

進(jìn)一步地，在以上描述中，在服務(wù)器202中生成多視角圖像文件。然而，可以在任何裝置中生成多視角圖像文件。例如，可以在終端裝置201中生成多視角圖像文件。在這種情況下，若適當(dāng)，終端裝置201的CPU 221可以進(jìn)一步包括必要的功能塊，諸如文件生成單元294。在這種情況下，在通過(guò)編碼單元283對(duì)多視角圖像數(shù)據(jù)進(jìn)行編碼之后(或者在步驟S103中的處理之后)，文件生成單元294可以生成多視角圖像文件。然后，在步驟S104中，例如，傳輸控制單元284將多視角圖像文件作為位流或者關(guān)于位流的輔助信息傳輸至服務(wù)器202。在步驟S111中，獲取控制單元292可以控制通信單元264獲取多視角圖像文件。

進(jìn)一步地，在以上描述中，在將圖像轉(zhuǎn)換成文件之前，可以在服務(wù)器中生成多視角圖像的插值圖像。然而，在將圖像顯示在終端裝置201上之前，可以通過(guò)上述第一實(shí)施例的方法來(lái)生成多視角圖像的插值圖像，并且可以顯示生成有插值圖像的多視角圖像。

<深度檢測(cè)處理的流程>

接著，將參照?qǐng)D26中的流程圖對(duì)在圖21所示的步驟S113中執(zhí)行的深度檢測(cè)處理的流程的示例進(jìn)行描述。

當(dāng)開(kāi)始深度檢測(cè)處理時(shí)，深度檢測(cè)單元293在步驟S131中獲取元數(shù)據(jù)333。在步驟S132中，深度檢測(cè)單元293根據(jù)各個(gè)攝像機(jī)模塊242的分辨率等來(lái)校正各個(gè)捕捉圖像的分辨率。

在步驟S133中，深度檢測(cè)單元293根據(jù)各個(gè)攝像機(jī)模塊的快門速度等來(lái)校正各個(gè)捕捉圖像的亮度。在步驟S134中，深度檢測(cè)單元293根據(jù)各個(gè)攝像機(jī)模塊的視角來(lái)設(shè)置待在深度計(jì)算中使用的區(qū)域。

在步驟S135中，深度檢測(cè)單元293基于基線長(zhǎng)度信息345等來(lái)校正在差異評(píng)估時(shí)的移位量。在步驟S136中，深度檢測(cè)單元293基于攝像機(jī)陣列、視點(diǎn)數(shù)量等來(lái)確定參考攝像機(jī)、匹配軸線、圖像插值方法等。

在步驟S137中，深度檢測(cè)單元293基于校準(zhǔn)信息344來(lái)校準(zhǔn)各個(gè)捕捉圖像。在步驟S138中，深度檢測(cè)單元293通過(guò)重復(fù)進(jìn)行立體匹配等來(lái)估計(jì)深度，并且檢測(cè)深度數(shù)據(jù)。

在檢測(cè)到深度數(shù)據(jù)之后，該過(guò)程返回到圖21。

當(dāng)以上述方式執(zhí)行深度檢測(cè)處理時(shí)，用戶可以更容易地生成并且使用深度數(shù)據(jù)。

進(jìn)一步地，例如，當(dāng)將第一實(shí)施例應(yīng)用于第三實(shí)施例時(shí)，可以在第三實(shí)施例中取得和第一實(shí)施例的有益效果相同的有益效果。例如，可以高速生成高清晰度視點(diǎn)插值圖像。換言之，用戶可以獲得高清晰度圖像。

<4.第四實(shí)施例>

<應(yīng)用銷售>

如在第二實(shí)施例中所述的，例如，多視角圖像利用服務(wù)平臺(tái)100可以提供在應(yīng)用市場(chǎng)102中進(jìn)行應(yīng)用112的銷售的服務(wù)。在本實(shí)施例中，將對(duì)這種應(yīng)用銷售進(jìn)行描述。

<多視角圖像利用服務(wù)提供系統(tǒng)>

圖27是示出了多視角圖像利用服務(wù)提供系統(tǒng)的主要配置示例的示意圖。圖27所示的多視角圖像利用服務(wù)提供系統(tǒng)200是應(yīng)用本技術(shù)的系統(tǒng)的示例，并且是服務(wù)器202經(jīng)由網(wǎng)絡(luò)210向連接至該服務(wù)器的終端裝置201提供利用多視角圖像的服務(wù)的系統(tǒng)。換言之，多視角圖像利用服務(wù)提供系統(tǒng)200是用于實(shí)施多視角圖像利用服務(wù)平臺(tái)100的配置的示例。

圖27示出了用于提供在待由多視角圖像利用服務(wù)平臺(tái)100提供的服務(wù)中的用于銷售或者提供應(yīng)用112的服務(wù)的配置的示例。在圖27中，多視角圖像利用服務(wù)提供系統(tǒng)200包括連接至網(wǎng)絡(luò)210的終端裝置401、服務(wù)器202和應(yīng)用提供服務(wù)器402。

以有線或者無(wú)線方式連接至網(wǎng)絡(luò)210的終端裝置401與服務(wù)器202進(jìn)行通信，從而進(jìn)行購(gòu)買應(yīng)用112的過(guò)程。終端裝置401可以是終端裝置201，或者可以是不同于終端裝置201的終端裝置。終端裝置401具有基本上與終端裝置201的配置相似的配置。因此，圖16所示的配置也適用于終端裝置401。然而，由于終端裝置401不需要與成像有關(guān)的任何功能，所以可以省略攝像單元236。

應(yīng)用提供服務(wù)器402是向多視角圖像利用服務(wù)平臺(tái)100(應(yīng)用市場(chǎng)102)提供應(yīng)用112的服務(wù)器。服務(wù)器202向終端裝置401(的用戶)銷售或者提供由應(yīng)用提供服務(wù)器402提供的應(yīng)用。

<服務(wù)器>

圖28是示出了應(yīng)用提供服務(wù)器402的主要配置示例的框圖。如圖28所示，在應(yīng)用提供服務(wù)器402中，CPU 411、ROM 412和RAM 413經(jīng)由總線414互相連接。

總線414還與輸入/輸出接口420連接。輸入/輸出接口420與輸入單元421、輸出單元422、存儲(chǔ)單元423、通信單元424和驅(qū)動(dòng)器425連接。

輸入單元421由接受外部信息(諸如，用戶輸入)的輸入裝置形成。例如，輸入單元421包括操作按鈕、觸控面板、麥克風(fēng)、攝像機(jī)、輸入終端等。進(jìn)一步地，在輸入單元421中可以包括各種傳感器，諸如加速度傳感器、光學(xué)光感器和溫度傳感器。輸出單元422由輸出信息(諸如，圖像和音頻)的輸出裝置形成。例如，輸出單元422包括顯示器、揚(yáng)聲器和輸出終端等。

存儲(chǔ)單元423由，例如，硬盤、RAM盤、非易失性存儲(chǔ)器等形成。通信單元424由，例如，網(wǎng)絡(luò)接口形成。驅(qū)動(dòng)器425驅(qū)動(dòng)可移動(dòng)介質(zhì)431，諸如磁盤、光盤、磁光盤或者半導(dǎo)體存儲(chǔ)器。

CPU 411通過(guò)例如經(jīng)由輸入/輸出接口420和總線414將存儲(chǔ)在存儲(chǔ)介質(zhì)423中的程序加載到RAM 414中并且執(zhí)行該程序來(lái)進(jìn)行各種過(guò)程。若適當(dāng)，CPU 411執(zhí)行各種過(guò)程所需的數(shù)據(jù)等存儲(chǔ)在RAM 413中。

由CPU 411執(zhí)行的程序可以記錄在作為封裝介質(zhì)的可移動(dòng)介質(zhì)431等中，并且可以被提供給應(yīng)用提供服務(wù)器402。在這種情況下，當(dāng)將可移動(dòng)介質(zhì)431安裝在驅(qū)動(dòng)器425中時(shí)，可以經(jīng)由輸入/輸出接口420將程序安裝在存儲(chǔ)單元423中。

進(jìn)一步地，經(jīng)由有線或者無(wú)線傳輸介質(zhì)，諸如LAN、互聯(lián)網(wǎng)或者數(shù)字衛(wèi)星廣播，可以將該程序提供給應(yīng)用提供服務(wù)器402。在這種情況下，該程序可以經(jīng)由有線或者無(wú)線傳輸介質(zhì)通過(guò)通信單元424來(lái)接收，并且可以安裝在存儲(chǔ)單元423中。

作為替代方案，也可以將該程序預(yù)先安裝在ROM 412或者存儲(chǔ)單元423中。

<功能塊>

當(dāng)CPU 221執(zhí)行預(yù)定程序時(shí)，終端裝置401包括在圖29的A中被示為功能塊的功能。如圖29的A所示，CPU 221包括多個(gè)功能塊，諸如應(yīng)用購(gòu)買處理單元441。

應(yīng)用購(gòu)買處理單元441控制相應(yīng)單元(諸如，輸入單元231、輸出單元232、存儲(chǔ)單元233和通信單元234)與服務(wù)器202進(jìn)行通信，顯示圖像，并且接受用戶的指令，從而進(jìn)行與應(yīng)用的購(gòu)買有關(guān)的處理。

進(jìn)一步地，當(dāng)CPU 251執(zhí)行預(yù)定程序時(shí)，服務(wù)器202包括在圖29的B中被示為功能塊的功能。如圖29的B所示，CPU 251包括多個(gè)功能塊，諸如用戶管理單元451、應(yīng)用銷售處理單元452和數(shù)據(jù)管理單元453。

與用戶管理單元291一樣，用戶管理單元451執(zhí)行管理向其提供多視角圖像利用服務(wù)的用戶的處理。應(yīng)用銷售處理單元452控制通信單元262，例如，與終端裝置401進(jìn)行通信，從而執(zhí)行與應(yīng)用的銷售有關(guān)的處理。與數(shù)據(jù)管理單元295(圖19的B)一樣，數(shù)據(jù)管理單元453執(zhí)行與數(shù)據(jù)(諸如，多視角圖像文件)的管理有關(guān)的處理。進(jìn)一步地，例如，數(shù)據(jù)管理單元453執(zhí)行與從應(yīng)用提供服務(wù)器402提供的應(yīng)用的管理有關(guān)的處理。

進(jìn)一步地，當(dāng)CPU 411執(zhí)行預(yù)定程序時(shí)，應(yīng)用提供服務(wù)器402包括在圖29的C中被示為功能塊的功能。如圖29的C所示，CPU 411包括多個(gè)功能塊，諸如應(yīng)用提供處理單元461。

應(yīng)用提供處理單元461控制通信單元424，例如，與服務(wù)器202進(jìn)行通信，從而執(zhí)行與向服務(wù)器202提供應(yīng)用有關(guān)的處理。

<多視角圖像利用服務(wù)提供處理的流程>

具有上述配置的多視角圖像利用服務(wù)提供系統(tǒng)的終端裝置401、服務(wù)器202和應(yīng)用提供服務(wù)器402執(zhí)行多視角圖像利用服務(wù)提供處理，從而提供利用多視角圖像的服務(wù)。在本實(shí)施例中，提供了用于進(jìn)行應(yīng)用的銷售等的服務(wù)。將參照?qǐng)D30中的流程圖對(duì)由這些裝置執(zhí)行的多視角圖像利用服務(wù)提供處理的流程的示例進(jìn)行描述。

在步驟S171中，例如，應(yīng)用提供服務(wù)器402的應(yīng)用提供處理單元461通過(guò)控制通信單元424提供待提供給服務(wù)器202的應(yīng)用，并且注冊(cè)該應(yīng)用。

在步驟S161中，服務(wù)器202的數(shù)據(jù)管理單元453控制通信單元264等獲取從應(yīng)用提供服務(wù)器402提供的應(yīng)用，使存儲(chǔ)單元263存儲(chǔ)該應(yīng)用，并且管理該應(yīng)用從而可以將該應(yīng)用銷售給終端裝置401。

在步驟S151中，終端裝置401的應(yīng)用購(gòu)買處理單元441控制通信單元234，并且請(qǐng)求服務(wù)器202購(gòu)買應(yīng)用。

在步驟S162中，例如，服務(wù)器202的應(yīng)用銷售處理單元452通過(guò)控制通信單元264來(lái)獲取該請(qǐng)求。

在步驟S163中，應(yīng)用銷售處理單元452與用戶管理單元451和數(shù)據(jù)管理單元453協(xié)作以創(chuàng)建可以銷售給用戶的應(yīng)用的列表。然后，應(yīng)用銷售處理單元452通過(guò)，例如，控制通信單元264向終端裝置401提供應(yīng)用列表。

在步驟S152中，終端裝置401的應(yīng)用購(gòu)買處理單元441獲取應(yīng)用列表。應(yīng)用購(gòu)買處理單元441控制輸出單元232，例如，以在監(jiān)控器等上顯示應(yīng)用列表，例如，從而向用戶呈現(xiàn)應(yīng)用列表，并且接受來(lái)自用戶的指令。

例如，將圖31的A所示的GUI(圖形用戶界面)471顯示在終端裝置401的監(jiān)控器上。基于該GUI，用戶從若干應(yīng)用中選擇期望的應(yīng)用。在選擇了用于透鏡模擬的應(yīng)用的情況下，例如，顯示圖31的B所示的GUI 472，選擇虛擬透鏡。進(jìn)一步地，在選擇了用于編輯圖像的應(yīng)用的情況下，例如，顯示圖31的C所示的GUI 473，選擇編輯功能，諸如多視角圖像的裝飾印記或者再現(xiàn)。

再次參照?qǐng)D30，在步驟S153中，當(dāng)用戶從列表中選擇了待購(gòu)買的應(yīng)用時(shí)，應(yīng)用購(gòu)買處理單元441接收選擇指令，并且控制通信單元234，例如，以向服務(wù)器202提供用于選擇待購(gòu)買應(yīng)用的控制信息。

在步驟S164中，例如，服務(wù)器20的應(yīng)用銷售處理單元452控制通信單元264獲取其控制信息。在步驟S165中，應(yīng)用銷售處理單元452與用戶管理單元451和數(shù)據(jù)管理單元453協(xié)作，并且將關(guān)于用戶的用戶管理信息301和所選擇的應(yīng)用(在指令中被用戶指定要購(gòu)買的應(yīng)用)相關(guān)聯(lián)，從而向用戶注冊(cè)所選擇的應(yīng)用。

在步驟S166中，應(yīng)用銷售處理單元452執(zhí)行與應(yīng)用的銷售有關(guān)的結(jié)算處理。用戶管理單元451使關(guān)于用戶的用戶管理信息301反映出結(jié)算信息(例如，從用戶擁有的點(diǎn)或者錢中減去與價(jià)格或者費(fèi)用相當(dāng)?shù)狞c(diǎn)。進(jìn)一步地，將該銷售添加到應(yīng)用的購(gòu)買歷史。)

當(dāng)完成了步驟S166中的處理時(shí)，多視角圖像利用服務(wù)提供處理結(jié)束。

通過(guò)執(zhí)行這種多視角圖像利用服務(wù)提供處理，用戶可以更容易地購(gòu)買用于執(zhí)行使用多視角圖像的處理的應(yīng)用。進(jìn)一步地，由于已購(gòu)買的應(yīng)用向用戶注冊(cè)了并且在服務(wù)器202中對(duì)其進(jìn)行管理，所以用戶可以更容易地使用該用戶已經(jīng)購(gòu)買的應(yīng)用。換言之，多視角圖像利用服務(wù)提供系統(tǒng)200(多視角圖像利用服務(wù)平臺(tái)100)可以增加使用多視角圖像的服務(wù)的便利性。進(jìn)一步地，將第一實(shí)施例的圖像插值方法應(yīng)用到這些應(yīng)用中，這可以高速地提供高質(zhì)量多視角圖像。

要注意的是，應(yīng)用可以不進(jìn)行出售，而是可以免費(fèi)提供。在這種情況下，可以省略結(jié)算處理。

<5.第五實(shí)施例>

<虛擬透鏡處理>

通過(guò)執(zhí)行上述向用戶提供的應(yīng)用，多視角圖像利用服務(wù)平臺(tái)100可以向用戶提供使用多視角圖像的各種服務(wù)。

在本實(shí)施例中，將執(zhí)行第二實(shí)施例中所描述的用于進(jìn)行透鏡模擬(虛擬透鏡處理)的應(yīng)用的狀態(tài)描述為應(yīng)用的示例。

<多視角圖像利用服務(wù)提供系統(tǒng)>

圖32是示出了多視角圖像利用服務(wù)提供系統(tǒng)的主要配置示例的示意圖。圖32所示的多視角圖像利用服務(wù)提供系統(tǒng)200是應(yīng)用本技術(shù)的系統(tǒng)的示例，并且是服務(wù)器202經(jīng)由網(wǎng)絡(luò)210向連接至該服務(wù)器的終端裝置201提供利用多視角圖像的服務(wù)的系統(tǒng)。換言之，多視角圖像利用服務(wù)提供系統(tǒng)200是用于實(shí)施多視角圖像利用服務(wù)平臺(tái)100的配置的示例。

圖32示出了用于提供在待由多視角圖像利用服務(wù)平臺(tái)100提供的服務(wù)中的用于透鏡模擬(虛擬透鏡處理)的服務(wù)的配置的示例。在圖32中，多視角圖像利用服務(wù)提供系統(tǒng)200包括終端裝置401和服務(wù)器202，該終端設(shè)備401和服務(wù)器202分別連接至網(wǎng)絡(luò)210。

以有線或者無(wú)線方式連接至網(wǎng)絡(luò)210的終端裝置401與服務(wù)器202進(jìn)行通信，以選擇待在透鏡模擬中使用的多視角圖像，選擇待模擬的虛擬透鏡，并且設(shè)置用戶指定的參數(shù)，這些參數(shù)是具有由用戶指定的值的與成像有關(guān)的參數(shù)，諸如聚焦位置和景深。

基于這些過(guò)程，服務(wù)器202執(zhí)行虛擬透鏡處理以模擬虛擬透鏡，并且生成通過(guò)使用虛擬透鏡的成像而獲得的虛擬捕捉圖像數(shù)據(jù)。服務(wù)器202還保存(儲(chǔ)存和管理)該虛擬捕捉圖像數(shù)據(jù)。進(jìn)一步地，在上述透鏡模擬中，服務(wù)器202生成并且保存(儲(chǔ)存和管理)歷史信息作為用于進(jìn)行透鏡模擬的應(yīng)用的應(yīng)用參數(shù)，該歷史信息表明已經(jīng)為哪個(gè)參數(shù)設(shè)置了什么值、用戶已經(jīng)進(jìn)行了哪種操作(指令)、已經(jīng)進(jìn)行了哪種處理等。

<虛擬透鏡處理的概述>

接著，將對(duì)虛擬透鏡處理的概述進(jìn)行描述。在虛擬透鏡處理中，設(shè)置了如圖14的A所示的由用戶指定的虛擬透鏡150，模擬作為從對(duì)象入射到虛擬透鏡150上的光的光束向量151、作為通過(guò)虛擬透鏡150之后的入射光的光束向量152、從光束向量152獲得虛擬捕捉圖像的虛擬圖像傳感器153等(以偽方式出現(xiàn))，并且基于模擬從多視角圖像生成虛擬捕捉圖像。

例如，從圖33的A所示的多視角圖像501生成圖33的B所示的插值圖像502和深度數(shù)據(jù)503，并且通過(guò)使用插值圖像50和深度數(shù)據(jù)503生成通過(guò)使用如圖33的C所示的虛擬透鏡(圖14的A所示的虛擬光學(xué)系統(tǒng))進(jìn)行成像而獲得的虛擬捕捉圖像504。第一實(shí)施例的圖像插值方法可以應(yīng)用于生成插值圖像502。

通過(guò)上述方式，獲得了比多視角圖像501的相應(yīng)捕捉圖像更大的并且反映了虛擬透鏡150給出的光學(xué)效果的虛擬捕捉圖像504。光學(xué)系統(tǒng)(諸如，虛擬透鏡150)是通過(guò)使用對(duì)虛擬光學(xué)系統(tǒng)而言唯一的配置文件信息來(lái)模擬的，并且由用于再現(xiàn)虛擬光學(xué)系統(tǒng)的光學(xué)效果的參數(shù)形成。因此，服務(wù)器202可以容易地再現(xiàn)從現(xiàn)有光學(xué)系統(tǒng)到非現(xiàn)實(shí)虛擬系統(tǒng)的各種光學(xué)系統(tǒng)。簡(jiǎn)言之，通過(guò)這種服務(wù)，用戶可以以較低成本獲得各種捕捉圖像。換言之，多視角圖像利用服務(wù)提供系統(tǒng)200(多視角圖像利用服務(wù)平臺(tái)100)可以增加使用多視角圖像的服務(wù)的便利性。

<功能塊>

當(dāng)CPU 221執(zhí)行預(yù)定程序時(shí)，終端裝置401包括在圖34的A中被示為功能塊的功能。如圖34的A所示，CPU 221包括多個(gè)功能塊，諸如用戶指令接受處理單元511、顯示控制單元512和傳輸控制單元513。

用戶指令接受處理單元511控制輸入單元231等執(zhí)行與用戶指令的接受有關(guān)的處理。顯示控制單元512控制輸出單元232等執(zhí)行與顯示控制有關(guān)的處理，例如，以在監(jiān)控器上顯示圖像，諸如GUI或者導(dǎo)向。傳輸控制單元513控制通信單元234等執(zhí)行與各種信息的傳輸有關(guān)的處理，諸如由用戶指令接受處理單元511接受的用戶指令。

當(dāng)CPU 251執(zhí)行預(yù)定程序時(shí)，服務(wù)器202包括在圖34的B中被示為功能塊的功能。如圖34的B所示，CPU 251包括多個(gè)功能塊，諸如用戶管理單元521、應(yīng)用選擇處理單元522、圖像選擇處理單元523、透鏡選擇處理單元524、用戶指定參數(shù)設(shè)置處理單元525、虛擬透鏡處理單元526和數(shù)據(jù)管理單元527。

與用戶管理單元291一樣，用戶管理單元521執(zhí)行與管理向其提供多視角圖像利用服務(wù)的用戶有關(guān)的處理。應(yīng)用選擇處理單元522控制通信單元264，例如，與終端裝置401進(jìn)行通信，并且執(zhí)行與待執(zhí)行應(yīng)用的選擇有關(guān)的處理。圖像選擇處理單元523控制通信單元264，例如，與終端裝置401進(jìn)行通信，并且執(zhí)行與待經(jīng)過(guò)透鏡模擬處理(虛擬透鏡處理)的多視角圖像的選擇有關(guān)的處理。用戶指定參數(shù)設(shè)置處理單元525控制通信單元264，例如，與終端裝置401進(jìn)行通信，并且執(zhí)行與從終端裝置401傳輸?shù)挠脩糁付▍?shù)的設(shè)置有關(guān)的處理。虛擬透鏡處理單元526執(zhí)行與虛擬光學(xué)系統(tǒng)的模擬(以偽方式出現(xiàn))有關(guān)的處理。與數(shù)據(jù)管理單元295一樣，數(shù)據(jù)管理單元527執(zhí)行與數(shù)據(jù)(諸如，多視角圖像文件)的管理、以及應(yīng)用和與應(yīng)用有關(guān)的數(shù)據(jù)的管理有關(guān)的處理。

例如，當(dāng)將第一實(shí)施例應(yīng)用于第五實(shí)施例時(shí)，生成插值圖像。因此，可以在透鏡模擬中高速地向用戶提供高清晰度多視角圖像。

<多視角圖像利用服務(wù)提供處理的流程>

具有上述配置的多視角圖像利用服務(wù)提供系統(tǒng)的終端裝置401和服務(wù)器202執(zhí)行多視角圖像利用服務(wù)提供處理以提供利用多視角圖像的服務(wù)。在本實(shí)施例中，提供了諸如透鏡模擬之類的服務(wù)。現(xiàn)在參照?qǐng)D35中的流程圖，將對(duì)由這些裝置執(zhí)行的多視角圖像利用服務(wù)提供處理的流程的示例進(jìn)行描述。

在步驟S201中，終端裝置401的用戶指令接受處理單元511控制輸入單元231等接受來(lái)自用戶的請(qǐng)求啟動(dòng)應(yīng)用的指令。傳輸控制單元513控制通信單元234等向服務(wù)器202提供由用戶指令接受處理單元511接受的應(yīng)用啟動(dòng)請(qǐng)求。

在步驟S221中，服務(wù)器202的應(yīng)用選擇處理單元522控制通信單元264等獲取該請(qǐng)求。響應(yīng)于該請(qǐng)求，在步驟S222中，應(yīng)用選擇處理單元522基于由用戶管理單元521管理的用戶管理信息生成可以被用戶使用的應(yīng)用的列表，并且控制通信單元264等將該列表提供給終端裝置401。

在步驟S202中，服務(wù)器401的傳輸控制單元513控制通信單元234等獲取該列表。顯示控制單元512控制輸出單元232以在監(jiān)控器上將獲取的列表顯示為圖像。然后，用戶基于該列表來(lái)選擇待啟動(dòng)的應(yīng)用。

在步驟S203中，用戶指令接受處理單元511控制輸入單元231等接受來(lái)自用戶的關(guān)于待啟動(dòng)應(yīng)用的選擇的指令。傳輸控制單元513控制通信單元234等向服務(wù)器202提供由用戶指令接受處理單元511接受的待啟動(dòng)應(yīng)用選擇指令。

在步驟S223中，服務(wù)器202的應(yīng)用選擇處理單元522控制通信單元264等獲取選擇指令。在步驟S224中，圖像選擇處理單元523基于由用戶管理單元521管理的用戶管理信息生成用戶的多視角圖像的列表，并且控制通信單元264等將該列表提供給終端裝置401。

在步驟S204中，服務(wù)器401的傳輸控制單元513控制通信單元234等獲取該列表。顯示控制單元512控制輸出單元232以在監(jiān)控器上將獲取的列表顯示為圖像。然后，用戶基于該列表來(lái)選擇待處理的多視角圖像。

在步驟S205中，用戶指令接受處理單元511控制輸入單元231等接受來(lái)自用戶的關(guān)于待處理應(yīng)用的選擇的指令。傳輸控制單元513控制通信單元234等向服務(wù)器202提供由用戶指令接受處理單元511接受的待處理應(yīng)用選擇指令。

在步驟S225中，服務(wù)器202的圖像選擇處理單元523控制通信單元264等獲取選擇指令。在步驟S226中，透鏡選擇處理單元524基于由用戶管理單元521管理的用戶管理信息生成向用戶注冊(cè)的透鏡的列表，并且控制通信單元264等將該列表提供給終端裝置401。

在步驟S206中，服務(wù)器401的傳輸控制單元513控制通信單元234等獲取該列表。顯示控制單元512控制輸出單元232以在監(jiān)控器上將獲取的列表顯示為圖像。然后，用戶基于該列表來(lái)選擇待模擬的虛擬透鏡。

在步驟S207中，用戶指令接受處理單元511控制輸入單元231等接受來(lái)自用戶的透鏡選擇指令。傳輸控制單元513控制通信單元234等向服務(wù)器202提供由用戶指令接受處理單元511接受的透鏡選擇指令。

在步驟S227中，服務(wù)器202的透鏡選擇處理單元524控制通信單元264等獲取選擇指令。

進(jìn)一步地，在步驟S208中，終端裝置401的用戶指令接受處理單元511控制輸入單元231等接受用戶指定參數(shù)，這些參數(shù)是與成像相關(guān)的參數(shù)，諸如具有由用戶指定的值的成像條件。傳輸控制單元513控制通信單元234等向服務(wù)器202提供由用戶指令接受處理單元511接受的用戶指定參數(shù)。

在步驟S228中，服務(wù)器202的用戶指定參數(shù)設(shè)置處理單元525控制通信單元264等獲取用戶指定參數(shù)。

在步驟S229中，虛擬透鏡處理單元526執(zhí)行虛擬透鏡處理以生成虛擬捕捉圖像，該虛擬捕捉圖像是在使用多視角圖像數(shù)據(jù)和包括了用于再現(xiàn)虛擬光學(xué)系統(tǒng)的光學(xué)效果的參數(shù)的配置文件信息的同時(shí)通過(guò)利用在步驟S227中選擇的虛擬透鏡來(lái)捕捉在步驟S225中選擇的多視角圖像中的對(duì)象的圖像而獲得的。在這種情況下，虛擬透鏡處理單元526通過(guò)使用在步驟S228中獲取的用戶指定參數(shù)來(lái)再現(xiàn)具有較高精確度的虛擬透鏡的光學(xué)影響。進(jìn)一步地，在這種情況下，根據(jù)攝像機(jī)陣列信息342、視點(diǎn)數(shù)量信息343和包括在步驟S225中選擇的多視角圖像的多視角圖像文件中的深度數(shù)據(jù)332，虛擬透鏡處理單元526針對(duì)多視角圖像生成插值圖像。第一實(shí)施例的插值圖像生成方法可以應(yīng)用于插值圖像生成。稍后將對(duì)虛擬透鏡處理進(jìn)行詳細(xì)描述。

在步驟S230中，虛擬透鏡處理單元526控制通信單元264等向終端裝置401提供通過(guò)在步驟S229中的處理而生成的虛擬捕捉圖像的數(shù)據(jù)。

在步驟S209，終端裝置401的傳輸控制單元513獲取虛擬捕捉圖像的數(shù)據(jù)。顯示控制單元512控制輸出單元232在監(jiān)控器上顯示獲取的虛擬捕捉圖像。基于虛擬捕捉圖像，用戶確定是否保存虛擬捕捉圖像。

在步驟S210中，用戶指令接受處理單元511控制輸入單元231等接受來(lái)自用戶的保存虛擬捕捉圖像的數(shù)據(jù)的指令。傳輸控制單元513控制通信單元234等向服務(wù)器202提供由用戶指令接受處理單元511接受的虛擬捕捉圖像數(shù)據(jù)保存指令。

在步驟S231中，服務(wù)器202的數(shù)據(jù)管理單元527控制通信單元264等獲取虛擬圖像數(shù)據(jù)保存指令。在步驟S232中，數(shù)據(jù)管理單元527生成關(guān)于該透鏡模擬的應(yīng)用參數(shù)。數(shù)據(jù)管理單元527存儲(chǔ)并且管理通過(guò)在步驟S229中的處理而生成的虛擬捕捉圖像的數(shù)據(jù)和應(yīng)用參數(shù)，并且還向用戶注冊(cè)數(shù)據(jù)和應(yīng)用參數(shù)(或者更新關(guān)于用戶的用戶管理信息)。

當(dāng)完成了步驟S232中的處理時(shí)，多視角圖像利用服務(wù)提供處理結(jié)束。

通過(guò)執(zhí)行這個(gè)多視角圖像利用服務(wù)提供處理，用戶可以通過(guò)使用多視角圖像更容易地進(jìn)行虛擬透鏡模擬(或者通過(guò)使用虛擬透鏡的成像來(lái)生成虛擬捕獲圖像)。進(jìn)一步地，由于生成的虛擬捕捉圖像數(shù)據(jù)向用戶注冊(cè)了并且在服務(wù)器202中對(duì)其進(jìn)行管理，所以用戶可以更容易地使用虛擬捕捉圖像數(shù)據(jù)。此外，由于將虛擬捕捉圖像數(shù)據(jù)和在生成虛擬捕捉圖像時(shí)使用的多視角圖像、應(yīng)用參數(shù)等進(jìn)行聯(lián)合管理，所以用戶可以更容易地使用虛擬捕捉圖像數(shù)據(jù)和其它相關(guān)數(shù)據(jù)。換言之，多視角圖像利用服務(wù)提供系統(tǒng)200(多視角圖像利用服務(wù)平臺(tái)100)可以增加使用多視角圖像的服務(wù)的便利性。

進(jìn)一步地，當(dāng)將第一實(shí)施例應(yīng)用于第五實(shí)施例時(shí)，可以高速生成高清晰度視點(diǎn)插值圖像。因此，用戶可以獲得具有高還原性的高質(zhì)量圖像。

<屏幕的示例>

圖36是示出了在顯示單元531上顯示的已設(shè)置GUI的示例的示意圖。

圖36所示的屏幕顯示了設(shè)置GUI和預(yù)覽圖像Pv。在圖36所示的示例中，顯影參數(shù)由關(guān)于透鏡的設(shè)計(jì)信息、光圈的形狀和焦點(diǎn)位置形成。

在這種情況下，將透鏡單元選擇部DL、光圈形狀選擇部DA和焦點(diǎn)位置選擇部DF疊加在預(yù)覽圖像Pv上，并且在顯示單元531上顯示為設(shè)置GUI。

透鏡單元選擇部DL基于在顯影參數(shù)中的關(guān)于透鏡的設(shè)計(jì)信息的選擇候選來(lái)顯示表示透鏡單元的圖形。光圈形狀選擇部DA顯示表示在顯影參數(shù)中的光圈形狀的選擇候選的圖形。焦點(diǎn)位置選擇部DF顯示指示焦點(diǎn)位置的選擇候選的位置的設(shè)置條Fb。

用戶用手指U觸摸在透鏡單元選擇部DL中顯示的表示期望透鏡單元的圖形，以選擇與該透鏡單元相對(duì)應(yīng)的關(guān)于透鏡的設(shè)計(jì)信息的選擇候選。用戶還用手指U觸摸在光圈形狀選擇部DA中顯示的表示期望光圈形狀的圖形，以選擇光圈形狀的選擇候選。

用戶還用手指U觸摸在焦點(diǎn)位置選擇部DF中的設(shè)置條Fb，并且將手指U上下移動(dòng)，從而將設(shè)置條Fb移動(dòng)到與期望焦點(diǎn)位置相對(duì)應(yīng)的位置處。這允許用戶選擇期望焦點(diǎn)位置處的選擇候選。

要注意的是，可以不通過(guò)用戶在用手指U觸摸設(shè)置條Fb之后移動(dòng)手指U來(lái)移動(dòng)設(shè)置條Fb。而是，可以通過(guò)用戶觸摸期望位置來(lái)將設(shè)置條Fb移動(dòng)到焦點(diǎn)位置選擇部DF中的期望位置處。進(jìn)一步地，可以不顯示焦點(diǎn)位置的選擇候選。而是，可以選擇離在用手指U觸摸的位置處的對(duì)象最近的焦點(diǎn)位置的選擇候選。

進(jìn)一步地，圖36所示的示例中，透鏡單元選擇部DL位于預(yù)覽圖像Pv的左上角；光圈形狀選擇部DA位于左下角；而焦點(diǎn)位置選擇部DF位于右側(cè)。然而，相應(yīng)部分的位置并不限于上述情況。

雖然在附圖中未示出，但是與白平衡、曝光校正等有關(guān)的其它顯影參數(shù)的選擇候選可以和透鏡單元選擇部DL、光圈形狀選擇部DA、焦點(diǎn)位置選擇部DF等一起顯示。

進(jìn)一步地，在第五實(shí)施例中，顯示單元531與觸控面板一體成型。然而，如果顯示單元不與觸控面板一體成型，那么用戶通過(guò)操作鼠標(biāo)等(未示出)來(lái)移動(dòng)待顯示在屏幕上的指針，從而進(jìn)行與觸摸操作相對(duì)應(yīng)的選擇操作。

<虛擬透鏡處理的流程>

接著，將參照?qǐng)D37中的流程圖對(duì)在圖35所示的步驟S229中執(zhí)行的虛擬透鏡處理的具體流程的示例進(jìn)行描述。

當(dāng)開(kāi)始虛擬透鏡處理時(shí)，虛擬透鏡處理單元526在步驟S251中從存儲(chǔ)單元263獲取已選擇的多視角圖像文件。在步驟S252中，虛擬透鏡處理單元526從存儲(chǔ)單元263獲取已選擇的透鏡的配置文件信息。

要注意的是，存儲(chǔ)并且管理多視角圖像文件和配置文件信息的位置是可選的，可以不是存儲(chǔ)單元263。例如，可以在除了服務(wù)器202之外的裝置(諸如終端裝置401)中存儲(chǔ)并且管理多視角圖像文件和配置文件信息。在這種情況下，例如，虛擬透鏡處理單元526控制通信單元264從存儲(chǔ)有文件和信息的裝置獲取多視角圖像文件和配置文件信息。要注意的是，存儲(chǔ)多視角圖像文件的位置和存儲(chǔ)配置文件信息的位置可以彼此不同。

配置文件信息由用于再現(xiàn)虛擬光學(xué)系統(tǒng)的光學(xué)效果的參數(shù)組成，并且對(duì)虛擬光學(xué)系統(tǒng)而言是唯一的。配置文件信息包括RGB的相應(yīng)顏色的點(diǎn)擴(kuò)散函數(shù)(PSF)數(shù)據(jù)、光圈形狀、插值次數(shù)指定信息等。

PSF數(shù)據(jù)也稱為點(diǎn)擴(kuò)散函數(shù)或者點(diǎn)圖像分布函數(shù)，并且是指示在虛擬光學(xué)系統(tǒng)中包括的虛擬透鏡對(duì)點(diǎn)光源的響應(yīng)的函數(shù)。換言之，PSF數(shù)據(jù)是指示虛擬透鏡對(duì)通過(guò)虛擬透鏡的RGB的相應(yīng)顏色的光束的影響的數(shù)據(jù)。圖38的A示出了PSF數(shù)據(jù)的示例。在該示例中，針對(duì)(在相應(yīng)行中的)相應(yīng)顏色示出了根據(jù)到焦距內(nèi)部分(或者點(diǎn)光源)的距離的PSF數(shù)據(jù)。

光圈形狀是指示在虛擬光學(xué)系統(tǒng)中包括的虛擬光圈的形狀的信息。該光圈形狀可以是實(shí)際存在的光圈形狀，或者可以是非現(xiàn)實(shí)的形狀，諸如圓形、星形、或者在圖38的B的左側(cè)上示出的X形。要注意的是，可以通過(guò)任何方法來(lái)指定光圈形狀。例如，可以通過(guò)識(shí)別信息(ID)等來(lái)指定預(yù)定形狀。進(jìn)一步地，例如，如圖38的B的右側(cè)所示，可以通過(guò)強(qiáng)度分布542來(lái)表示光圈形狀。強(qiáng)度分布的大小(強(qiáng)度的數(shù)量)取決于通過(guò)插值次數(shù)指定信息來(lái)指定的插值圖像的數(shù)量(插值次數(shù))。如果假設(shè)插值次數(shù)為N，例如，那么通過(guò)N x N強(qiáng)度分布542來(lái)表示光圈形狀。

插值次數(shù)指定信息是在生成虛擬捕捉圖像時(shí)指定待生成的插值圖像的數(shù)量的信息。換言之，在虛擬透鏡處理中，虛擬透鏡處理單元526生成如由插值次數(shù)指定信息指定的若干插值圖像。隨著插值圖像的數(shù)量越多，可以獲得具有越高清晰度的虛擬捕捉圖像。通常，隨著虛擬透鏡具有越高等級(jí)(越高性能)，插值圖像的數(shù)量越多。

如上所述，透鏡配置文件信息由指示虛擬透鏡的特征的信息形成。要注意的是，透鏡配置文件信息的內(nèi)容是可選的。可以省略上述信息中的一些，或者可以包括除了上述信息之外的信息。例如，在透鏡配置文件信息中可以包括關(guān)于待用于模擬虛擬透鏡的透鏡的物理設(shè)計(jì)信息。

再次參照?qǐng)D37，在步驟S253中，虛擬透鏡處理單元526設(shè)置在圖35所示的步驟S228中獲取的用戶指定參數(shù)。

用戶指定參數(shù)是具有由用戶指定的值的與成像有關(guān)的參數(shù)。根據(jù)用戶指定參數(shù)，虛擬透鏡處理單元526生成虛擬捕捉圖像。例如，用戶指定參數(shù)包括聚焦位置指定信息、景深指定信息、超分辨率處理執(zhí)行指令信息等。

聚焦位置指定信息(焦點(diǎn)位置指定信息)是指定待放置焦點(diǎn)的對(duì)象在捕捉圖像中所處的區(qū)域(或者點(diǎn))的信息。當(dāng)用戶將在捕捉圖像中的任意位置指定為聚焦位置時(shí)，生虛擬捕捉圖像，從而使焦點(diǎn)在位于聚焦位置處的對(duì)象上(或者距離)。

進(jìn)一步地，景深指定信息是指定景深(光圈大小)的信息。*此外，超分辨率處理執(zhí)行指令信息是包括與超分辨率處理有關(guān)的指令的信息，諸如，關(guān)于在將多視角圖像的捕捉圖像彼此疊加以生成虛擬捕捉圖像時(shí)是否進(jìn)行超分辨率處理的指令、和關(guān)于如果確定進(jìn)行超分辨率處理時(shí)在哪個(gè)區(qū)域中進(jìn)行超分辨率處理并且進(jìn)行到哪種程度的指令?；诔直媛侍幚韴?zhí)行指令信息，在疊加多視角圖像的捕捉圖像時(shí)進(jìn)行超分辨率處理。

當(dāng)然，用戶指定參數(shù)的內(nèi)容是可選的。可以省略上述信息中的一些，或者可以包括除了上述信息之外的信息。

在步驟S254中，基于在與待處理的多視角圖像數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)中包括的攝像機(jī)陣列信息、視點(diǎn)數(shù)量信息等，虛擬透鏡處理單元526確定參考攝像機(jī)(參考視點(diǎn)圖像)、匹配軸線、圖像插值方法等。

在步驟S255中，根據(jù)待生成的插值圖像的位置，虛擬透鏡處理單元526確定在圖像插值中待使用的相應(yīng)圖像(或者待疊加的相應(yīng)圖像)的組合比。

在步驟S256中，根據(jù)深度數(shù)據(jù)和以上述方式設(shè)置的各種參數(shù)，虛擬透鏡處理單元526生成插值圖像。例如，根據(jù)深度數(shù)據(jù)，通過(guò)使用在步驟S254中確定的匹配軸線，虛擬透鏡處理單元526通過(guò)疊加在步驟S254中確定的參考視點(diǎn)的圖像和由在步驟S254中確定的插值方法指定的圖像來(lái)生成插值圖像。虛擬透鏡處理單元526生成如由配置文件信息中的插值次數(shù)指定信息指定的若干插值圖像。要注意的是，上述第一實(shí)施例的插值圖像生成方法可以應(yīng)用于在步驟S256中的插值圖像生成。具體地，可以高速地生成高清晰度視點(diǎn)插值圖像。

在步驟S257中，虛擬透鏡處理單元256將指示配置文件信息的光圈形狀的數(shù)據(jù)反映在各個(gè)插值圖像中。

在步驟S258中，虛擬透鏡處理單元526基于深度數(shù)據(jù)來(lái)獲得由用戶指定的聚焦位置(焦點(diǎn)位置)的深度值。具體地，例如，虛擬透鏡處理單元526獲取在步驟S228中獲取的生成的虛擬捕捉圖像的用戶指定參數(shù)中包括的聚焦位置指定信息(焦點(diǎn)位置指定信息)指定的位置(坐標(biāo))處的對(duì)象的深度值(到對(duì)象的距離)。

在步驟S259中，虛擬透鏡處理單元526設(shè)置由用戶指定參數(shù)中的景深指定信息指定的景深。

在步驟S260中，例如，通過(guò)重復(fù)進(jìn)行立體匹配，虛擬透鏡處理單元526通過(guò)重疊多視角圖像或者插值圖像來(lái)生成虛擬捕捉圖像。在這種情況下，虛擬透鏡處理單元526根據(jù)虛擬透鏡的深度數(shù)據(jù)(對(duì)象的深度值)來(lái)反映PSF數(shù)據(jù)。進(jìn)一步地，虛擬透鏡處理單元526生成虛擬捕捉圖像，從而使焦點(diǎn)在步驟S258中獲得深度值(距離)上。進(jìn)一步地，通過(guò)在步驟S257中將光圈形狀數(shù)據(jù)反映在各個(gè)差值圖像中，虛擬透鏡處理單元526可以將虛擬光圈的形狀反映在虛擬捕捉圖像中。進(jìn)一步地，虛擬透鏡處理單元526生成虛擬捕捉圖像，從而獲得在步驟S259設(shè)置的景深。

在步驟S261中，虛擬透鏡處理單元526根據(jù)用戶指定參數(shù)的超分辨率處理執(zhí)行指令信息來(lái)對(duì)虛擬捕捉圖像進(jìn)行超分辨率處理。例如，當(dāng)超分辨率處理執(zhí)行指令信息指示不進(jìn)行超分辨率處理時(shí)，虛擬透鏡處理單元526不進(jìn)行超分辨率處理。進(jìn)一步地，例如，當(dāng)超分辨率處理執(zhí)行指令信息指示將要進(jìn)行超分辨率處理時(shí)，虛擬透鏡處理單元526進(jìn)行超分辨率處理。

要注意的是，可以對(duì)整個(gè)虛擬捕捉圖像進(jìn)行超分辨率處理，或者可以僅對(duì)在包括聚焦位置的深度值的預(yù)定范圍內(nèi)的一些深度值進(jìn)行超分辨率處理。待對(duì)對(duì)象的焦點(diǎn)外部分進(jìn)行超分辨率處理會(huì)產(chǎn)生較小影響(提高圖像質(zhì)量)。因此，僅對(duì)聚焦位置和深度值彼此匹配或者彼此接近的部分進(jìn)行超分辨率處理，從而可以在減少圖像質(zhì)量下降的同時(shí)減少處理負(fù)載。要注意的是，超分辨率處理執(zhí)行指令信息可以指示進(jìn)行超分辨率處理的部分。

當(dāng)完成了步驟S261的處理時(shí)，虛擬透鏡處理結(jié)束，并且該過(guò)程返回到圖35。

通過(guò)以上述方式來(lái)進(jìn)行虛擬透鏡處理，用戶可以更容易獲得虛擬捕捉圖像。進(jìn)一步地，應(yīng)用上述第一實(shí)施例的插值圖像生成方法可以高速地生成高清晰度視點(diǎn)插值圖像。

要注意的是，上述的虛擬透鏡處理可以不由服務(wù)器202來(lái)進(jìn)行。而是，虛擬透鏡處理可以在任何裝置中執(zhí)行。例如，終端裝置401的CPU 221可以包括虛擬透鏡處理單元526等。并且可以在終端裝置401中進(jìn)行虛擬透鏡處理。同樣，在這種情況下，基本上可以通過(guò)與上述示例相似的方式來(lái)執(zhí)行虛擬透鏡處理。要注意的是，視情況而定，可以將用于虛擬透鏡處理的并且在服務(wù)器202中存儲(chǔ)(管理)的信息(諸如，多視角圖像文件和虛擬透鏡的配置文件信息)傳輸至終端裝置401。

如上所述，在第二實(shí)施例至第五實(shí)施例的系統(tǒng)中可以通過(guò)服務(wù)器或者終端裝置來(lái)進(jìn)行第一實(shí)施例的插值圖像生成方法。進(jìn)一步地，生成的插值圖像可以由服務(wù)器來(lái)管理，并且先經(jīng)過(guò)圖像處理然后再提供給終端裝置，或者可以從服務(wù)器提供并且用于終端裝置中的圖像處理。作為替代方案，生成的插值圖像可以由終端裝置來(lái)管理并且經(jīng)過(guò)終端的圖像處理，或者可以傳輸至服務(wù)器并且由服務(wù)器來(lái)處理。

如上所述，將上述的第一實(shí)施例應(yīng)用于第二實(shí)施例至第五實(shí)施例提供了除了第二實(shí)施例至第五實(shí)施例的有益效果之外的有益效果，諸如，向用戶高速提供高質(zhì)量圖像的有益效果。

<6.其它>

上述的一系列過(guò)程可以通過(guò)硬件來(lái)執(zhí)行，或者可以通過(guò)軟件來(lái)執(zhí)行。在上述的一系列過(guò)程是通過(guò)軟件來(lái)執(zhí)行的情況下，從網(wǎng)絡(luò)或者記錄介質(zhì)中安裝構(gòu)成該軟件的程序。

該記錄介質(zhì)由可移動(dòng)介質(zhì)(諸如，可移動(dòng)介質(zhì)241、可移動(dòng)介質(zhì)271或者可移動(dòng)介質(zhì)431)形成。該可移動(dòng)介質(zhì)分布為獨(dú)立于裝置將程序傳送給用戶，并且記錄有程序，例如，如圖16、18和28所示。該可移動(dòng)介質(zhì)可以是磁盤(包括軟盤)或者光盤(包括CD-ROM和DVD)。該可移動(dòng)介質(zhì)還包括磁光盤(包括MD(微型光盤))、半導(dǎo)體存儲(chǔ)器等。

在這種情況下，當(dāng)將可移動(dòng)介質(zhì)安裝在驅(qū)動(dòng)器中時(shí)，可以經(jīng)由輸入/輸出接口將程序安裝到存儲(chǔ)單元中。

作為替代方案，可以經(jīng)由有線或者無(wú)線傳輸介質(zhì)，諸如局域網(wǎng)、互聯(lián)網(wǎng)或者數(shù)字衛(wèi)星廣播來(lái)提供該程序。在這種情況下，該程序可以通過(guò)各個(gè)裝置的通信單元(例如，通信單元234、通信單元264或者通信單元424)來(lái)接收，并且可以安裝在各個(gè)裝置的存儲(chǔ)單元(例如，存儲(chǔ)單元233、存儲(chǔ)單元263或者存儲(chǔ)單元423)中。

作為替代方案，可以預(yù)先將該程序安裝在各個(gè)裝置的ROM(例如，ROM 222、ROM 252或者ROM 412)中，并且可以安裝在各個(gè)裝置的存儲(chǔ)單元(例如，存儲(chǔ)單元233、存儲(chǔ)單元263或者存儲(chǔ)單元423)中。

要注意的是，待由計(jì)算機(jī)執(zhí)行的程序可以是用于根據(jù)本說(shuō)明書中描述的序列按照時(shí)間順序來(lái)執(zhí)行過(guò)程的程序，或者可以是用于并行執(zhí)行過(guò)程或者在必要時(shí)(諸如，當(dāng)存在呼叫時(shí))執(zhí)行過(guò)程的程序。

進(jìn)一步地，在本說(shuō)明書中，寫入在記錄介質(zhì)中記錄的程序中的步驟不僅包括根據(jù)本文中描述的序列按照時(shí)間順序執(zhí)行的過(guò)程，而且還包括如果不一定按照時(shí)間順序來(lái)執(zhí)行過(guò)程時(shí)并行或者單獨(dú)執(zhí)行的過(guò)程。

進(jìn)一步地，在本說(shuō)明書中，系統(tǒng)是指由多個(gè)裝置構(gòu)成的整個(gè)裝置。

進(jìn)一步地，在上述示例中，描述為一個(gè)裝置(或者一個(gè)處理單元)的任何配置可以劃分成多個(gè)裝置(或者處理單元)。反之，描述為多個(gè)裝置(或者處理單元)的任何配置可以組合形成一個(gè)裝置(或者一個(gè)處理單元)。同樣，當(dāng)然，可以將除了上述配置之外的配置添加到任何裝置(或者任何處理單元)的配置。進(jìn)一步地，可以將一個(gè)裝置(或者一個(gè)處理單元)的部分配置合并到另一個(gè)裝置(或者另一個(gè)處理單元)中，只要整個(gè)系統(tǒng)的配置和操作保持不變。換言之，本技術(shù)并不限于上述實(shí)施例，并且在不脫離本技術(shù)的主旨的情況下可以通過(guò)各種方式來(lái)修改。

雖然上面已經(jīng)參照附圖對(duì)本公開(kāi)的優(yōu)選實(shí)施例進(jìn)行了詳細(xì)描述，但是本公開(kāi)并不限于這些實(shí)施例。本公開(kāi)所屬領(lǐng)域的普通技術(shù)人員顯然可以在權(quán)利要求書中描述的技術(shù)構(gòu)思的范圍內(nèi)設(shè)想并且獲得各種更改示例和修改示例。當(dāng)然，應(yīng)該理解的是，這些實(shí)施例也屬于本公開(kāi)的技術(shù)范圍。

要注意的是，本技術(shù)還可以具有如下配置。

(1)一種圖像處理設(shè)備，其包括：

重構(gòu)處理單元，該重構(gòu)處理單元執(zhí)行根據(jù)在多視角圖像中的對(duì)象的深度信息來(lái)重構(gòu)拍攝多視角圖像的空間的處理；以及

插值圖像生成單元，該插值圖像生成單元通過(guò)改變由重構(gòu)處理單元重構(gòu)的空間的傾度并且對(duì)重構(gòu)的空間進(jìn)行采樣來(lái)生成插值圖像。

(2)根據(jù)(1)所述的圖像處理設(shè)備，其中，重構(gòu)處理單元執(zhí)行根據(jù)作為深度信息的在多視角圖像之間的對(duì)象的像素移位量來(lái)重構(gòu)拍攝多視角圖像的空間的處理。

(3)根據(jù)(2)所述的圖像處理設(shè)備，其中，重構(gòu)處理單元執(zhí)行通過(guò)在由參考視點(diǎn)的亮度和像素移位量形成的空間中反射另一個(gè)視點(diǎn)的亮度和像素移位量來(lái)重構(gòu)空間的處理。

(4)根據(jù)(3)所述的圖像處理設(shè)備，其中，當(dāng)在相同的坐標(biāo)中已經(jīng)設(shè)置有值時(shí)，重構(gòu)處理單元執(zhí)行通過(guò)存儲(chǔ)RGB值的平均值作為坐標(biāo)的值來(lái)重構(gòu)空間的處理。

(5)根據(jù)(4)所述的圖像處理設(shè)備，其中，重構(gòu)的空間在任何視點(diǎn)處具有指示發(fā)生遮擋的位置的值。

(6)根據(jù)(1)至(5)中任一項(xiàng)所述的圖像處理設(shè)備，其中，重構(gòu)的空間具有作為存在于多個(gè)視點(diǎn)處的值的多個(gè)視點(diǎn)的平均值。

(7)根據(jù)(1)至(6)中任一項(xiàng)所述的圖像處理設(shè)備，其中，插值圖像生成單元按照像素移位量的遞減順序在重構(gòu)的空間中開(kāi)始采樣。

(8)一種圖像處理方法，其包括：

通過(guò)圖像處理設(shè)備，執(zhí)行根據(jù)在多視角圖像中的對(duì)象的深度信息來(lái)重構(gòu)拍攝多視角圖像的空間的處理；以及

通過(guò)圖像處理設(shè)備，通過(guò)改變重構(gòu)的空間的傾度并且對(duì)重構(gòu)的空間進(jìn)行采樣來(lái)生成插值圖像。

附圖標(biāo)記列表：

11 攝像裝置

21、21-L、21-C、21-R 攝像機(jī)

22 差異計(jì)算單元

23 插值圖像生成單元

31 空間重構(gòu)單元

32 插值位置設(shè)置單元

33 數(shù)據(jù)搜索單元

100 多視角圖像利用服務(wù)平臺(tái)

200 多視角圖像利用服務(wù)提供系統(tǒng)

201 終端裝置

202 服務(wù)器

221 CPU

236 攝像單元

251 CPU

281 攝像控制單元

282 元數(shù)據(jù)生成單元

283 編碼單元

284 傳輸控制單元

291 用戶管理單元

292 獲取控制單元

293 深度檢測(cè)單元

294 文件生成單元

295 數(shù)據(jù)管理單元

321 多視角圖像文件

331 多視角圖像編碼數(shù)據(jù)

332 深度數(shù)據(jù)

333 元數(shù)據(jù)

401 終端裝置

402 應(yīng)用提供服務(wù)器

411 CPU

441 應(yīng)用購(gòu)買處理單元

451 用戶管理單元

452 應(yīng)用銷售處理單元

453 數(shù)據(jù)管理單元

461 應(yīng)用提供處理單元

511 用戶指令接受處理單元

512 顯示控制單元

513 傳輸控制單元

521 用戶管理單元

522 應(yīng)用選擇處理單元

523 圖像選擇處理單元

524 透鏡選擇處理單元

525 用戶指定參數(shù)設(shè)置處理單元

526 虛擬透鏡處理單元

527 數(shù)據(jù)管理單元。