提供至外部。
[0126]每個相機模塊242的視角或成像方向可以彼此相同，或者可以不相同。例如，在相機模塊242的一部分中，視角、成像方向或者所述兩者可以不同于其他相機模塊242的視角、成像方向或者所述兩者。此外，例如，全部相機模塊242的視角或成像方向可以相互不同。然而，由于諸如以下將描述的多視點拍攝圖像被用于生成相互交疊的圖像，因此期望每個相機模塊242的成像范圍(S卩，每個相機模塊242的攝影對象)具有所述交疊的至少一部分。
[0127]注意，在多視點成像中，每個相機模塊242的諸如成像定時、曝光或光圈的成像條件可以彼此相同，或者可以不相同。此外，通過多視點成像獲得的多視點圖像(組成多視點圖像的每幅拍攝圖像)可以為靜態(tài)圖像，或者可以為動態(tài)圖像。
[0128]此外，成像單元236可以在制造時被安裝作為終端設備201的殼體中的一件配置，或者可以被組成為與終端設備201不同主體的可連接至終端設備201的模塊。例如，成像單元236可以連接至終端設備201的外部終端等，或者可以為通過終端設備201的控制操作的外部附接部。另外，成像單元236可以為與終端設備201不同主體的獨立終端。例如，成像單元236可以是不同于終端設備201的諸如相機的成像設備，可以通過有線或無線通信連接至終端設備201，并且可以將通過多視點成像獲得的多視點圖像提供至終端設備201。
[0129]〈服務器〉
[0130]圖6是表示服務器202的主要配置示例的框圖。如圖6所示，在服務器202中，CHJ25KROM 252和RAM 253經由總線254相互連接。
[0131]輸入/輸出接口 260也連接至總線254。輸入單元261、輸出單元262、存儲單元263、通信單元264和驅動器265連接至輸入/輸出接口 260。
[0132]輸入單元261由接收諸如用戶輸入的外部信息的輸入裝置組成。例如，操作按鈕、觸摸面板、麥克風、相機、輸入終端等被包括在輸入單元261中。此外，諸如加速度傳感器、光學傳感器和溫度傳感器的各種類型的傳感器可以包括在輸入單元261中。輸出單元262由輸出諸如圖像或音頻的信息的輸出裝置組成。例如，顯示器、揚聲器、輸出終端等被包括在輸出單元262中。
[0133]存儲單元263例如由硬盤、RAM盤、非易失性存儲器等組成。通信單元264例如由網絡接口組成。驅動器265例如驅動諸如磁盤、光盤、磁光盤或半導體存儲器的可移除介質271。
[0134]CPU 251例如通過經由輸入/輸出接口260和總線254將存儲在存儲單元263中的程序載入RAM 253中而執(zhí)行該程序來執(zhí)行各種類型的處理。從由CPU 251執(zhí)行各種類型的處理的角度來說必要的數據等也被適當地存儲在RAM 253中。
[0135]由CPU251執(zhí)行的程序例如可以通過記錄至作為封裝介質的可移除介質271等來提供至服務器202。在這種情況下，可以通過將可移除介質271安裝在驅動器265中來經由輸入/輸出接口 260將程序安裝在存儲單元263中。
[0136]此外，程序可以經由諸如LAN、互聯(lián)網或數字衛(wèi)星廣播的有線或無線傳輸介質來被提供至服務器202。在這種情況下，程序可以經由有線或無線傳輸介質被通信單元264接收，并且可以安裝在存儲單元263中。
[0137]除此之外，所述程序可以預先安裝在ROM252中或存儲單元263中。
[0138]〈功能塊〉
[0139]終端設備201通過使CPU221執(zhí)行規(guī)定程序來具有如圖7的A中功能塊所示的功能。如圖7的A中所示，CPU 221具有諸如成像控制單元281、元數據生成單元282、編碼單元283和傳輸控制單元284的功能塊。
[0140]成像控制單元281執(zhí)行與多視點成像的控制有關的處理。元數據生成單元282執(zhí)行與通過多視點成像獲得的多視點圖像的元數據的生成有關的處理。編碼單元283執(zhí)行與多視點圖像的編碼有關的處理。傳輸控制單元284執(zhí)行與多視點圖像數據的傳輸控制等有關的處理。
[0141]此外，服務器202通過使CPU251執(zhí)行規(guī)定程序來具有如圖7的B中功能塊所示的功能。如圖7的B中所示，CPU 251具有諸如用戶管理單元291、采集控制單元292、深度檢測單元293、文件生成單元294和數據管理單元295的功能塊。
[0142]用戶管理單元291執(zhí)行與多視點圖像使用服務待提供給的用戶的管理有關的處理。例如，用戶管理單元291將諸如圖8的A中所示的用戶管理信息301存儲在存儲單元263中，并且對于每個用戶執(zhí)行管理。如圖8的A中所示，例如，作為用戶的識別信息的用戶ID、用戶的購買歷史、作為與用戶(注冊用戶)相關聯(lián)的文件管理信息的識別信息的文件管理信息識別信息、作為例如通過統(tǒng)計分析等假定用戶優(yōu)選設置的信息的喜好設置假定、用戶的點數(或金錢)、發(fā)送給其他用戶或從其他用戶發(fā)送的評論等被包括在用戶管理信息301中。毋庸贅述，用戶管理信息301的內容是任意的，并且上述信息的一部分可以被省略，或者除了上述信息之外的信息可以被包括。
[0143]采集控制單元292執(zhí)行與諸如從終端設備201傳輸的多視點圖像數據的信息的采集控制有關的處理。深度檢測單元293執(zhí)行與多視點圖像的深度值的檢測有關的處理。文件生成單元294執(zhí)行與其中包括多視點圖像數據的各種類型的數據被制成文件的多視點圖像文件的生成有關的處理。
[0144]數據管理單元295執(zhí)行與諸如多視點圖像文件的數據的管理有關的處理。例如，數據管理單元295對于每個多視點圖像文件將諸如圖8的B中所示的文件管理信息302存儲在存儲單元263中，并且執(zhí)行管理。如圖8的B中所示，例如，作為多視點圖像文件的識別信息的多視點圖像文件識別信息、與多視點圖像文件相關聯(lián)的作為多視點圖像的編輯結果的編輯結果圖像的識別信息的編輯結果圖像識別信息、與多視點圖像文件相關聯(lián)的作為諸如使用多視點圖像的應用的操作的歷史的應用參數的識別信息的應用參數識別信息等被包括在文件管理信息302中。毋庸贅述，文件管理信息302的內容是任意的，并且上述信息的一部分可以被省略，或者除了上述信息之外的信息可以被包括。
[0145]〈多視點圖像使用服務提供處理的流程〉
[0146]諸如上述的配置的多視點圖像使用服務提供系統(tǒng)的終端設備201和服務器202執(zhí)行提供使用多視點圖像的服務，或者在本實施例的情況下，通過執(zhí)行多視點圖像使用服務提供處理來提供諸如多視點圖像的管理的服務。將通過參照圖9的流程圖描述被這些設備執(zhí)行的多視點圖像使用服務提供處理的流程的示例。
[0147]在步驟SlOl中，終端設備201的成像控制單元281通過控制成像單元236來多視點拍攝攝影對象，并且獲得多視點圖像。例如，成像控制單元281通過多視點成像獲得由具有相互不同視點的多幅拍攝圖像組成的多視點圖像311，例如圖10的A中所示。
[0148]返回圖9，當在步驟S102中多視點圖像數據通過多視點成像獲得時，元數據生成單元282生成多視點圖像數據的元數據。雖然以下將描述元數據的細節(jié)，但是例如表示多視點圖像的每個視點的相對位置關系的序列信息、表示多視點圖像的視點數目的眼數信息被包括在元數據中。即，元數據生成單元282生成包括這些序列信息和眼數信息并且使這些與多視點圖像數據相關聯(lián)的元數據。
[0149]在步驟S103中，編碼單元283通過規(guī)定的編碼方法對多視點圖像數據進行編碼，并且生成多視點圖像編碼數據。所述編碼方法可以是任意編碼方法，只要其是對圖像數據進行編碼的方法即可。例如，其可以是諸如聯(lián)合圖像專家組(JPEG)、運動圖像專家組(MPEG)等的現(xiàn)有的編碼方法，或者可以是專用于多視點圖像的新的編碼方法。注意，多視點圖像數據的上述元數據(例如，序列信息、眼數信息等)在多視點圖像數據的編碼之后通過元數據生成單元282與所述多視點圖像編碼數據相關聯(lián)(其變成多視點圖像編碼數據的元數據)。
[0150]在步驟S104中，傳輸控制單元284通過控制通信單元234使得在步驟S103中生成的多視點圖像編碼數據與在步驟S102中生成的元數據一起被傳輸至服務器202。例如，傳輸控制單元284傳輸多視點圖像編碼數據和元數據作為比特流，或者比特流的輔助信息。
[0151]在步驟Slll中，服務器202的采集控制單元292通過控制通信單元264獲取多視點圖像編碼數據以及在步驟S104中從終端設備201傳輸的所述元數據。
[0152]在步驟S112中，深度檢測單元293通過與步驟S103的編碼方法對應的解碼方法對在步驟SI 11中獲取的多視點圖像編碼數據進行解碼。
[0153]在步驟S113中，深度檢測單元293通過使用使多視點圖像編碼數據在步驟S112中解碼獲得的多視點圖像數據來檢測多視點圖像的深度，并且生成深度數據。例如，深度檢測單元293生成深度圖312作為深度數據，在深度圖312中距攝影對象的距離由每個像素的亮度和顏色來表示，例如圖10的B中所示。注意，下面將描述深度檢測的細節(jié)。
[0154]返回圖9，當在步驟S114中生成深度數據時，深度檢測單元293對已經檢測深度的多視點圖像數據進行編碼，并且生成多視點圖像編碼數據。編碼方法可以是任意方法，只要其是對圖像數據進行編碼的方法即可。例如，其可以是諸如JPEG、MPEG等的現(xiàn)有的編碼方法，或者可以是專用于多視點圖像的新的編碼方法。其可以與步驟S103的編碼方法相同，或者其可以不同。深度檢測單元293使所生成的深度數據與所述多視點圖像編碼數據相關聯(lián)。
[0155]注意，所述深度檢測(深度數據的生成)可以在除了服務器202之外的任意設備中執(zhí)行。例如，其可以在終端設備201中執(zhí)行。在這種情況下，終端設備201的CPU 221可以適當地具有諸如深度檢測單元293的必要的功能塊。在這種情況下，深度檢測單元293可以在多視點圖像數據被編碼單元283編碼之前(在步驟S103的處理執(zhí)行之前)檢測深度。然后，在步驟S103中，如上所述，編碼單元283可以對多視點圖像數據進行編碼，深度檢測單元293可以將深度數據與多視點圖像編碼數據相關聯(lián)，并且元數據生成單元282可以將元數據(例如，序列信息、眼數信息等)與多視點圖像編碼數據相關聯(lián)。
[0156]在步驟S115中，文件生成單元294生成多視點圖像文件，其包括在步驟S114中生成的多視點圖像編碼數據和元數據，以及在步驟S113中生成的深度數據。注意，多視點圖像文件的格式形式是任意的。例如，在多視點圖像為靜態(tài)圖像的情況下，其可以以可交換圖像文件格式(EXIF)的文件格式制成文件。此外，例如，在多視點圖像為動態(tài)圖像的情況下，其可以以MPEG-4Part 14(MP4)的文件格式制成文件。毋庸贅述，其可以以除了這些之外的格式形式制成文件。
[0157]例如，文件生成單元294生成諸如圖11所示的配置的多視點圖像文件321。在圖11的示例的情況下，多視點圖像編碼數據331、深度數據332和元數據333被包括在多視點圖像文件321中。
[0158]多視點圖像編碼數據331為在步驟S114中生成的多視點圖像編碼數據。深度數據332為在步驟S113中生成的深度數據，并且為多視點圖像編碼數據331的多視點圖像的深度數據。元數據333為在步驟S102中生成的元數據，并且為多視點圖像編碼數據331的元數據。
[0159]例如，如圖11所示，相機模塊信息341、相機序列信息342、眼數信息343、校準信息344和基線長度信息345被包括在元數據333中。
[0160]相機模塊信息341是與獲得多視點圖像的成像有關的信息，S卩，與成像單元236的每個相機模塊242有關的信息。例如，在成像單元236中安裝有N個相機模塊242的情況下，元數據333中包括N個相機模塊信息341。例如，如圖11所示，相機模塊信息341中包括諸如分辨率、焦距、ISO靈敏度、成像方向、快門速度、F值和視角的信息。毋庸贅述，相機模塊信息341的配置是任意的，并且可以省略在這些信息的一部分，或者可以包括除了這些之外的信息。
[0161]相機序列信息342是表示每個相機模塊242的相對位置關系的信息。即，相機序列信息342是表示多視點圖像的每個視點的相對位置關系的信息。例如，如圖12所示，相機序列信息342包括從用作參考Co的相機模塊至除了 Cx(對于圖12的示例，X=I至8)之外的相機模塊的距離Lx(從用作參考的視點到每個視點的距離Lx)，和除了Cx之外的相機模塊相對于用作參考Co的相機模塊的取向Rx(每個視點相對于用作參考的視點的取向Rx)。
[0162]眼數信息343是表示每個相機模塊242的數目(視點數目)的信息。校準信息344是表示每個相機模塊242的離差的信息?；€長度信息345是在多視點圖像中用作長度參考的?目息O
[0163]注意，元數據333的配置是任意的，并且在這些信息內，可以省略一部分，或者可以包括除了這些之外的信息。
[0164]圖13是表示這種元數據的每個數據的配置示例的圖。如圖13的A中所示，相機模塊信息341可以具有對于每個相機模塊242表示的諸如分辨率、焦距、ISO靈敏度、成像方向、快門速度、F值和視角的信息。
[0165]在每個相機模塊242的這些參數被設置為相互不同的值的情況下，當多視點圖像的每幅拍攝圖像例如通過根據參數的值控制交疊拍攝圖像的選擇以及這些的混合比來交疊時，可以獲得較高質量的圖像。例如，通過僅交疊其中所述參數接近于期望值的拍攝圖像，或者更強烈地交疊其中所述參數接近于所述期望值(拍攝圖像的混合比提高)，其中所述參數接近于期望值的圖像變得容易獲得。因此，由于可以減少用于改變參數的不必要的成像處理，因此可以抑制由于圖像處理導致的圖像質量的降低(可以獲得較高質量的圖像)。
[0166]此外，由于每幅拍攝圖像對于這些參數采用了各種值，因此可以通過將作為交疊結果獲得的圖像的參數設置至某值來獲得接近于期望值的拍攝圖像。即，無論參數值如何，均可以獲得較高的圖像質量。
[0167]例如在圖11的示例中，相機序列信息342可以通過相對位置關系(Cn.Ln.Rn)表示諸如上述的每個相機模塊242的序列，或者例如在圖13的A的示例中，可以通過預先確定的序列類型(例如，“X型”)來表示諸如上述的每個相機模塊242的序列。通過例如在圖11的示例中的設置可以提高序列的自由度，并且通過例如在圖13的示例中的設置可以抑制元數據的信息量的增加。
[0168]此外，例如在圖13的A中所示的示例中，眼數信息343由數字表示。
[0169]校準信息344例如可以由表示多視點圖像的每個視點的位置的信息組成。在圖13的A的示例的情況下，校準信息344由每個相機模塊242的坐標信息(表示每個相機模塊的中心坐標的信息)組成。此外，校準信息344例如可以由校正多視點圖像的每幅圖像的亮度的信息組成。在圖13的B的示例的情況下，校準信息344由每個相機模塊242的亮度校正數據信息組成。
[0170]基線長度信息345例如可以包括表示從用作多視點圖像的參考的視點至每個視點的距離的信息。在圖13的C的示例的情況下，基線長度信息345包括表示從用作參考的相機模塊242至其他相機模塊242的距離的信息。
[0171]返回圖9，在步驟S116中，數據管理單元295將在步驟S115中生成的多視點圖像文件提供至存儲單元263以被存儲，并且生成和管理所述多視點圖像的文件管理信息302。此夕卜，用戶管理單元291更新用戶的存儲在存儲單元263中的用戶管理信息301，并且針對用戶注冊所述多視點圖像文件。
[0172]當步驟S116的處理結束時，多視點圖像使用服務提供處理結束。
[0173]通過執(zhí)行這種多視點圖像使用服務提供處理，用戶可以更容易地執(zhí)行對通過多視點成像獲得的多視點圖像數據的服務器202的注冊。此外，由于多視點圖像數據通過與所述多視點圖像有關的相關數據(深度數據、元數據等)一起被制成文件來管理，因此用戶可以更容易地使用由他自己或她自己注冊的多視點圖像數據。即，多視點圖像使用服務提供系統(tǒng)200(多視點圖像使用服務平臺100)可以提高使用多視點圖像的服務的便利性。
[0174]注意，雖然在此之前已經對于通過使用具有多個相機模塊242的成像單元236執(zhí)行多視點成像進行了描述，并且生成了多視點圖像(多視點圖像數據)，但是多視點圖像(多視點圖像數據)的生成方法是任意的。例如，可以通過執(zhí)行成像(可以是動態(tài)圖像成像，或者可以是多幅靜態(tài)圖像成像)，同時通過使用具有單個成像元件和光學系統(tǒng)的成像單元(即，具有單個相機模塊242的成像單元)引起成像位置或成像方向(S卩，視點)移動，來生成多視點圖像。在這種情況下，期望與成像位置或成像方向(視點)的移位有關的信息與多視點圖像數據(多視點圖像編碼數據)相關聯(lián)，作為元數據。
[0175]此外，雖然在此之前已經對于通過文件生成單元294生成的多視點圖像文件在服務器202的存儲單元263中存儲和管理進行了描述，但是多視點圖像文件被管理的位置是任意的。例如，多視點圖像文件可以在除了服務器202之外的設備中(例如，文件管理服務器等，其未表示)存儲和管理。在這種情況下，文件生成單元294例如經由通信單元264將所生成的多視點圖像文件傳輸至所述設備，作為比特流或者比特流的輔助信息。在這種情況下，所述設備可以具有:通過與服務器202通信獲取多視點圖像文件的通信單元，存儲所獲取的多視點圖像文件的存儲單元，以及作為用于管理存儲在所述存儲單元中的多視點圖像文件、根據需要更新所述多視點圖像文件并且將其提供至諸如終端設備201或服務器202的另一設備的功能塊的數據管理單元。
[0176]另外，雖然在此之前已經對于多視點圖像文件在服務器202中生成進行了描述，但是多視點圖像文件的生成可以在任意設備中執(zhí)行。例如，其可以在終端設備201中執(zhí)行。在這種情況下，終端設備201的CPU 221可以適當地具有諸如文件生成單元294的必要的功能塊。在這種情況下，在多視點圖像數據已經被編碼單元283編碼之后(在步驟S103的處理之后)，文件生成單元294可以生成多視點圖像文件。然后，在步驟S104中，傳輸控制單元284可以將多視點圖像文件傳輸至服務器202，作為比特流或者比特流的輔助信息，并且在步驟Slll中，采集控制單元292可以通過控制通信單元264獲取所述多視點圖像文件。
[0177]〈深度檢測處理的流程〉
[0178]接下來，將通過參照圖14的流程圖描述在圖9的步驟S113中執(zhí)行的深度檢測處理的流程的示例。
[0179]當在步驟S131中深度檢測處理開始時，深度檢測單元293獲取元數據333。在步驟S132中，深度檢測單元293根據每個相機模塊242的分辨率等來校正每幅拍攝圖像的分辨率。
[0180]在步驟S133中，深度檢測單元293根據每個相機模塊的快門速度等校正每幅拍攝圖像的亮度。在步驟S134中，深度檢測單元293根據每個相機模塊的視角等設置要用于深度計算的區(qū)域。
[0181]在步驟S135中，深度檢測單元293基于基線長度信息345等校正視差評估時的偏移量。在步驟S136中，深度檢測單元293基于相機序列、眼數等確定參考相機、匹配軸、圖像存儲方法等。
[0182]在步驟S137中，深度檢測單元293基于校準信息344校準每幅拍攝圖像。在步驟S138中，深度檢測單元293通過重復立體匹配等執(zhí)行深度估計，并且檢測深度數據。
[0183]當檢測到深度數據時，處理返回至圖9。
[0184]如上所述，通過執(zhí)行深度檢測處理，用戶可以更容易地生成和使用深度數據。
[0185]〈3.第三實施例〉
[0186]〈應用銷售〉
[0187]如第一實施例中所述，多視點圖像使用服務平臺100可以提供例如在應用市場102中銷售應用112的服務。在本實施例中，將描述所述應用的銷售。
[0188]〈多視點圖像使用服務提供系統(tǒng)〉
[0189]圖15是表示多視點圖像使用服務提供系統(tǒng)的主要配置示例的圖。圖15中表示的多視點圖像使用服務提供系統(tǒng)200是應用了本公開的系統(tǒng)的示例，并且為其中服務器202向經由網絡210連接的終端設備201提供使用多視點圖像的服務的系統(tǒng)。即，多視點圖像使用服務提供系統(tǒng)200是實現(xiàn)多視點圖像使用服務平臺100的配置的示例。
[0190]圖15表示來自由多視點圖像使用服務平臺100提供的服務中的，與應用112的銷售或提供有關的服務的提供有關的配置的示例。在圖15中，多視點圖像使用服務提供系統(tǒng)200具有連接至網絡210的終端設備401、服務器202和應用提供服務器402。
[0191]通過有線或無線連接至網絡210的終端設備401通過執(zhí)行與服務器202的通信來執(zhí)行與應用112的購買有關的程序。終端設備401可以是終端設備201，或者可以是不同于終端設備201的終端設備。終端設備401基本上具有與終端設備201的配置相同的配置。因此，圖4中表示的配置也可以應用于終端設備401。然而，在終端設備401的情況下，與成像有關的功能可能是不必要的，并且因此可以省略成像單元236。
[0192]應用提供服務器402是將應用112提供至多視點圖像使用服務平臺100(應用市場102)的服務器。服務器202向終端設備401(的用戶)銷售或提供由應用提供服務器402提供的應用。
[0193]〈服務器〉
[0194]圖