用于傳送和接收陣列照相機(jī)圖像數(shù)據(jù)的系統(tǒng)和方法
【專利摘要】描述了用于傳送和接收由包含多個(gè)焦平面的成像器陣列捕獲的圖像數(shù)據(jù)的系統(tǒng)和方法。本發(fā)明的一個(gè)實(shí)施例包含：使用照相機(jī)模塊中的多個(gè)活動(dòng)的焦平面捕獲圖像數(shù)據(jù)，這里，通過獨(dú)立的透鏡疊層在每個(gè)活動(dòng)的焦平面上形成圖像；通過交織由所述多個(gè)活動(dòng)的焦平面捕獲的圖像數(shù)據(jù)來產(chǎn)生線圖像數(shù)據(jù)；以及傳送線圖像數(shù)據(jù)和附加數(shù)據(jù)。
【專利說明】用于傳送和接收陣列照相機(jī)圖像數(shù)據(jù)的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般涉及陣列照相機(jī)，更具體地，涉及從成像器(imager)陣列向諸如處理器的外部裝置的圖像數(shù)據(jù)的傳送。
【背景技術(shù)】
[0002]在典型的照相機(jī)中，光通過照相機(jī)一端的開口(孔徑)進(jìn)入并通過透鏡疊層(stack)被引向焦平面。透鏡疊層創(chuàng)建光學(xué)通道，該光學(xué)通道在焦平面上形成場(chǎng)景的圖像。焦平面包含光敏像素的陣列，這些像素是當(dāng)經(jīng)由光學(xué)元件接收光時(shí)產(chǎn)生信號(hào)的傳感器的一部分。常用的傳感器包含CXD (電荷耦合器件)傳感器和CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)傳感器。
[0003]傳統(tǒng)的照相機(jī)典型地使用單個(gè)焦平面以捕獲單個(gè)圖像(每一次一個(gè))。來自焦平面的每個(gè)像素的圖像數(shù)據(jù)然后直接從焦平面被發(fā)送到處理器。處理器可操縱圖像數(shù)據(jù)，以用于諸如編碼圖像數(shù)據(jù)、存儲(chǔ)圖像數(shù)據(jù)、轉(zhuǎn)發(fā)圖像數(shù)據(jù)或者修改圖像數(shù)據(jù)。在許多情況下，在焦平面與處理器之間利用標(biāo)準(zhǔn)接口，該標(biāo)準(zhǔn)接口指定在焦平面與處理器之間傳送數(shù)據(jù)的格式。
[0004]移動(dòng)產(chǎn)業(yè)處理器接口聯(lián)盟(MIPI)是頒布用于一致性的接口規(guī)范以促進(jìn)移動(dòng)裝置中的再利用和兼容性的非贏利組織。MIPI已創(chuàng)建了用于照相機(jī)與處理器之間的接口的照相機(jī)串行接口 2 (c)接口格式(MIPI接口格式)。

【發(fā)明內(nèi)容】

[0005]根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)和方法涉及由包含多個(gè)焦平面的照相機(jī)模塊捕獲的圖像數(shù)據(jù)的傳送和/或接收。在數(shù)個(gè)實(shí)施例中，圖像數(shù)據(jù)被用于產(chǎn)生線圖像數(shù)據(jù)，該線圖像數(shù)據(jù)交織由不同的焦平面的像素捕獲的圖像數(shù)據(jù)。在許多實(shí)施例中，照相機(jī)模塊中的傳感器還產(chǎn)生描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)。在大量的實(shí)施例中，附加數(shù)據(jù)與線圖像數(shù)據(jù)一起被傳送，并被接收線圖像數(shù)據(jù)的裝置上的接口電路使用以識(shí)別線圖像數(shù)據(jù)中的哪些像素與由照相機(jī)模塊的焦平面捕獲的所述多個(gè)圖像中的一個(gè)或多個(gè)相關(guān)聯(lián)。
[0006]本發(fā)明的一個(gè)實(shí)施例包含使用照相機(jī)模塊中的多個(gè)活動(dòng)的焦平面捕獲圖像數(shù)據(jù)，這里，通過獨(dú)立的透鏡疊層在每個(gè)活動(dòng)的焦平面上形成圖像；通過交織由所述多個(gè)活動(dòng)的焦平面捕獲的圖像數(shù)據(jù)來產(chǎn)生線圖像數(shù)據(jù)；以及傳送線圖像數(shù)據(jù)和附加數(shù)據(jù)。
[0007]另一個(gè)實(shí)施例還包括提供用于從捕獲的圖像數(shù)據(jù)解交織多個(gè)圖像的信息的附加數(shù)據(jù)，以及與線圖像數(shù)據(jù)一起傳送該附加數(shù)據(jù)。
[0008]在另一個(gè)實(shí)施例中，附加數(shù)據(jù)描述成像器陣列。
[0009]在又一個(gè)實(shí)施例中，附加數(shù)據(jù)包含從描述以下方面的附加數(shù)據(jù)的群組中選擇的數(shù)據(jù):成像器陣列中的焦平面的數(shù)量；成像器陣列中的焦平面陣列的維度；在活動(dòng)的焦平面的每個(gè)維度中的像素的數(shù)量；在活動(dòng)的焦平面的每一個(gè)中的像素的積分時(shí)間；以及在活動(dòng)的焦平面的每一個(gè)中的像素的增益。[0010]在又一個(gè)實(shí)施例中，描述像素的增益的附加數(shù)據(jù)包含描述活動(dòng)的焦平面的每一個(gè)中的像素的模擬增益的附加數(shù)據(jù)和描述活動(dòng)的焦平面的每一個(gè)中的像素的數(shù)字增益的附加數(shù)據(jù)。
[0011 ] 在又一個(gè)實(shí)施例中，產(chǎn)生線圖像數(shù)據(jù)還包括通過使用預(yù)定處理來組合來自所述多個(gè)活動(dòng)的焦平面的捕獲的圖像數(shù)據(jù)。
[0012]在又一個(gè)實(shí)施例中，預(yù)定處理從用于組合捕獲的圖像數(shù)據(jù)的多個(gè)預(yù)定處理中選擇；并且，附加數(shù)據(jù)包含指示被用于組合捕獲的圖像數(shù)據(jù)的預(yù)定處理的附加數(shù)據(jù)。
[0013]在又一個(gè)實(shí)施例中，每個(gè)活動(dòng)的焦平面包括包含多個(gè)行像素的像素陣列，所述包含多個(gè)行像素的像素陣列還形成多個(gè)列像素，并且用于組合捕獲的圖像數(shù)據(jù)的預(yù)定處理包括交織來自從活動(dòng)的焦平面中的每一個(gè)選擇的行的圖像數(shù)據(jù)。
[0014]在又一個(gè)實(shí)施例中，用于組合捕獲的圖像數(shù)據(jù)的預(yù)定處理包括使用模數(shù)處理，這里，模數(shù)處理涉及通過交織來自被選擇的行中的每一個(gè)的預(yù)定數(shù)量的像素來組合由活動(dòng)的焦平面的被選擇的行中的像素的每一個(gè)捕獲的圖像數(shù)據(jù)。
[0015]在又一個(gè)實(shí)施例中，附加數(shù)據(jù)描述線圖像數(shù)據(jù)中的至少一個(gè)。
[0016]在又一個(gè)實(shí)施例中，附加數(shù)據(jù)包含從由描述以下方面的附加數(shù)據(jù)組成的群組中選擇的數(shù)據(jù):每個(gè)活動(dòng)的焦平面開始捕獲圖像數(shù)據(jù)的時(shí)間；以及被用于捕獲用于產(chǎn)生線圖像數(shù)據(jù)的圖像數(shù)據(jù)的活動(dòng)的焦平面的每一個(gè)中的行的行數(shù)量。
[0017]另一個(gè)實(shí)施例還包含將線圖像數(shù)據(jù)和描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)分成包，以生成至少一個(gè)數(shù)據(jù)包。此外，傳送線圖像數(shù)據(jù)和附加數(shù)據(jù)還包括傳送至少一個(gè)數(shù)據(jù)包。
[0018]在又一個(gè)實(shí)施例中，數(shù)據(jù)包包含包頭，該包頭含有多條線圖像數(shù)據(jù)和附加數(shù)據(jù)的至少一部分；并且，含在包頭中的附加數(shù)據(jù)描述成像器陣列。
[0019]在又一個(gè)實(shí)施例中，數(shù)據(jù)包還包含包腳，該包腳指示所述多條線圖像數(shù)據(jù)的傳送的結(jié)束。
[0020]在又一個(gè)實(shí)施例中，數(shù)據(jù)包包括多條線圖像數(shù)據(jù)和與所述多條線圖像數(shù)據(jù)中的每一條相關(guān)聯(lián)的線頭，并且每個(gè)線頭包含描述與線頭相關(guān)聯(lián)的線圖像數(shù)據(jù)的附加數(shù)據(jù)。
[0021 ] 在又一個(gè)實(shí)施例中，線頭還包括描述成像器陣列的附加數(shù)據(jù)。
[0022]又一個(gè)實(shí)施例還包含:在幀消隱間隔期間中止傳送；在幀間隔之間傳送所述多條線圖像數(shù)據(jù)和描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)；以及在線消隱間隔期間中止多條線圖像數(shù)據(jù)和描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)的傳送。
[0023]又一個(gè)實(shí)施例中還包含連續(xù)地傳送線圖像數(shù)據(jù)和附加數(shù)據(jù)，直到所有的數(shù)據(jù)被傳送。
[0024]在又一個(gè)實(shí)施例中，照相機(jī)模塊中的每個(gè)透鏡疊層具有不同的視場(chǎng)。
[0025]一種用于接收?qǐng)D像數(shù)據(jù)的方法的實(shí)施例包含:使用接口電路從包含多個(gè)焦平面的照相機(jī)模塊接收?qǐng)D像數(shù)據(jù)，這里，圖像數(shù)據(jù)包括通過交織來自多個(gè)圖像的像素而產(chǎn)生的線圖像數(shù)據(jù)，所述多個(gè)圖像使用所述多個(gè)焦平面捕獲；以及使用接口電路識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素。
[0026]在用于接收?qǐng)D像數(shù)據(jù)的方法的另一個(gè)實(shí)施例中，照相機(jī)模塊還產(chǎn)生描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)，并且所述方法還包含:接收附加數(shù)據(jù)；以及使用接口電路識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素還包括:使用附加數(shù)據(jù)識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素。
[0027]在用于接收?qǐng)D像數(shù)據(jù)的方法的另一個(gè)實(shí)施例中，附加數(shù)據(jù)包含從由描述以下方面的附加數(shù)據(jù)組成的群組中選擇的數(shù)據(jù):成像器陣列中的焦平面的數(shù)量；成像器陣列中的焦平面陣列的維度；在焦平面的每個(gè)維度中的像素的數(shù)量；在焦平面的每一個(gè)中的像素的積分時(shí)間；以及在焦平面的每一個(gè)中的像素的增益。
[0028]在另一個(gè)實(shí)施例中，描述像素的增益的附加數(shù)據(jù)包含描述活動(dòng)的焦平面的每一個(gè)中的像素的模擬增益的附加數(shù)據(jù)和描述活動(dòng)的焦平面的每一個(gè)中的像素的數(shù)字增益的附加數(shù)據(jù)。
[0029]在另一個(gè)實(shí)施例中，使用多個(gè)預(yù)定處理中的一個(gè)產(chǎn)生接收的線圖像數(shù)據(jù)；并且附加數(shù)據(jù)識(shí)別被用于產(chǎn)生線圖像數(shù)據(jù)的預(yù)定處理。
[0030]在另一個(gè)實(shí)施例中，接口電路包含被配置為識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素的處理器。
[0031]根據(jù)本發(fā)明的實(shí)施例的用于接收?qǐng)D像數(shù)據(jù)的系統(tǒng)的實(shí)施例包含:接口電路，其被配置為從包含多個(gè)焦平面的照相機(jī)模塊接收?qǐng)D像數(shù)據(jù)，這里，圖像數(shù)據(jù)包括通過交織來自多個(gè)圖像的像素而產(chǎn)生的線圖像數(shù)據(jù)，所述多個(gè)圖像使用所述多個(gè)焦平面捕獲。此外，接口電路還被配置為使用接口電路識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素。
[0032]在用于接收?qǐng)D像數(shù)據(jù)的系統(tǒng)的另一個(gè)實(shí)施例中，照相機(jī)模塊還產(chǎn)生描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)，并且接口電路還被配置為:接收附加數(shù)據(jù)；以及使用附加數(shù)據(jù)識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素。
[0033]在用于接收?qǐng)D像數(shù)據(jù)的系統(tǒng)的另一個(gè)實(shí)施例中，附加數(shù)據(jù)包含從由描述以下方面的附加數(shù)據(jù)組成的群組中選擇的數(shù)據(jù):成像器陣列中的焦平面的數(shù)量；成像器陣列中的焦平面陣列的維度；在焦平面的每個(gè)維度中的像素的數(shù)量；在焦平面的每一個(gè)中的像素的積分時(shí)間；以及在焦平面的每一個(gè)中的像素的增益。
[0034]在又一個(gè)實(shí)施例中，描述像素的增益的附加數(shù)據(jù)包含描述焦平面的每一個(gè)中的像素的模擬增益的附加數(shù)據(jù)和描述焦平面的每一個(gè)中的像素的數(shù)字增益的附加數(shù)據(jù)。
[0035]在又一個(gè)實(shí)施例中，接口電路包含被配置為識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素的處理器。
【專利附圖】

【附圖說明】
[0036]圖1示出根據(jù)本發(fā)明的實(shí)施例的陣列照相機(jī)。
[0037]圖2示出根據(jù)本發(fā)明的實(shí)施例的成像器陣列。
[0038]圖3示出根據(jù)本發(fā)明的實(shí)施例的作為包傳送的圖像數(shù)據(jù)。
[0039]圖4示出根據(jù)本發(fā)明的實(shí)施例的作為與MIPI CS1-2標(biāo)準(zhǔn)接口格式兼容的包的圖像數(shù)據(jù)的傳送。
[0040]圖5是根據(jù)本發(fā)明的實(shí)施例的線圖像數(shù)據(jù)的傳送的示圖。
[0041]圖6是根據(jù)本發(fā)明的實(shí)施例的傳送由成像器陣列捕獲的圖像數(shù)據(jù)的處理。
[0042]圖7a?7c在概念上示出根據(jù)本發(fā)明的實(shí)施例的通過使用模數(shù)處理交織來自多個(gè)焦平面的圖像數(shù)據(jù)而被傳送的線圖像數(shù)據(jù)。【具體實(shí)施方式】
[0043]現(xiàn)在轉(zhuǎn)到附圖，傳送和接收由成像器陣列捕獲的圖像數(shù)據(jù)的系統(tǒng)和方法被示出。在數(shù)個(gè)實(shí)施例中，成像器陣列被配置為向處理器傳送圖像數(shù)據(jù)和描述被傳送的圖像數(shù)據(jù)的附加數(shù)據(jù)。接收?qǐng)D像數(shù)據(jù)的裝置可使用附加數(shù)據(jù)重構(gòu)由成像器陣列捕獲的場(chǎng)景(也稱為光場(chǎng))的多個(gè)圖像。在數(shù)個(gè)實(shí)施例中，圖像數(shù)據(jù)和描述圖像數(shù)據(jù)的附加數(shù)據(jù)作為可包含包頭以及線圖像數(shù)據(jù)的圖像數(shù)據(jù)包而被傳送，其中，線頭位于每條線圖像數(shù)據(jù)之前。線圖像數(shù)據(jù)包含由成像器陣列的焦平面捕獲的圖像數(shù)據(jù)并且可被利用以構(gòu)建場(chǎng)景的多個(gè)圖像。線頭可包含識(shí)別包含在線圖像數(shù)據(jù)中的特定的像素和焦平面的數(shù)據(jù)。在存在包頭的實(shí)施例中，包頭可包含描述照相機(jī)模塊以使得處理器能夠從圖像數(shù)據(jù)的包構(gòu)建圖像的嵌入數(shù)據(jù)。
[0044]在各種實(shí)施例中，一條線(line)圖像數(shù)據(jù)可與一行(row)、一列(column)或任意組織的圖像數(shù)據(jù)對(duì)應(yīng)，該圖像數(shù)據(jù)與來自圖像(其由成像器陣列中的焦平面的一個(gè)或多個(gè)捕獲)的特定的像素對(duì)應(yīng)。在許多實(shí)施例中，線圖像數(shù)據(jù)可包含來自成像器陣列的焦平面中的一些或全部的特定的像素。
[0045]由成像器陣列中的焦平面捕獲的所有圖像數(shù)據(jù)可構(gòu)成低分辨率圖像(這里的術(shù)語(yǔ)低分辨率僅用于與可通過超分辨率處理合成的較高分辨率圖像對(duì)比)，處理器可與由成像器陣列捕獲的其它圖像相結(jié)合地使用該低分辨率圖像以通過超分辨率處理來構(gòu)建較高分辨率圖像。在2010年12月14日提交的標(biāo)題為“Systems and Methods for SynthesizingHigh Resolution Images Using Super Resolution Processes” 的美國(guó)專利申請(qǐng)N0.12/967, 807中討論了超分辨率處理，其公開內(nèi)容通過全部引用而被加入本文。然而，與向執(zhí)行超分辨率處理的處理器傳送圖像相比，根據(jù)本發(fā)明的實(shí)施例的傳送多個(gè)圖像的處理是更一般的。因此，根據(jù)本發(fā)明的實(shí)施例的處理可被用于在各種應(yīng)用中傳送所捕獲的場(chǎng)景的多個(gè)圖像的圖像數(shù)據(jù)，這些應(yīng)用包含但不限于:涉及對(duì)正(register)從不同的視角捕獲的圖像的慢動(dòng)作視頻應(yīng)用，以及涉及捕獲一系列圖像組以通過使用超分辨率處理合成一系列高分辨率幀的傳統(tǒng)視頻應(yīng)用。
[0046]在數(shù)個(gè)實(shí)施例中，成像器陣列被配置為通過接口格式傳送由焦平面產(chǎn)生的圖像數(shù)據(jù)。捕獲的圖像數(shù)據(jù)根據(jù)接口格式作為包被傳送。這些包可適于符合任意的接口格式，這些接口格式包含但不限于MIPICS1-2接口格式(MIPI接口格式)。
[0047]以下進(jìn)一步討論根據(jù)本發(fā)明的實(shí)施例的成像器陣列、用于在成像器陣列和處理器之間傳輸捕獲的圖像數(shù)據(jù)的接口格式、以及用于經(jīng)由接口格式將捕獲的圖像數(shù)據(jù)格式化為包以用于傳輸?shù)奶幚怼?br> [0048]系統(tǒng)架構(gòu)
[0049]根據(jù)本發(fā)明的許多實(shí)施例的陣列照相機(jī)可包含照相機(jī)模塊和處理器。照相機(jī)模塊可包含照相機(jī)的陣列。在各種實(shí)施例中，陣列照相機(jī)包含照相機(jī)模塊和處理器。照相機(jī)模塊可包含成像器陣列，該成像器陣列是包含焦平面的陣列的傳感器。每個(gè)焦平面包含用于捕獲通過透鏡疊層形成在焦平面上的圖像的像素的陣列。焦平面可由傳統(tǒng)的CIS (CMOS圖像傳感器)、CCD (電荷耦合器件)、高動(dòng)態(tài)范圍傳感器元件、多光譜傳感器元件以及它們的各種替代形成，但并不限于這些。在許多實(shí)施例中，每個(gè)焦平面的像素具有類似的物理性能，并且通過同一透鏡疊層接收光。此外，每個(gè)焦平面中的像素可與同一濾色器相關(guān)聯(lián)。在多個(gè)實(shí)施例中，焦平面中的至少一個(gè)包含Bayer圖案(pattern)過濾器。在數(shù)個(gè)實(shí)施例中,焦平面被獨(dú)立地控制。在其它的實(shí)施例中，經(jīng)由單個(gè)的一組控制來控制成像器陣列中的焦平面的操作。
[0050]圖1中示出根據(jù)本發(fā)明的實(shí)施例的陣列照相機(jī)。陣列照相機(jī)100包含被配置為經(jīng)由接口格式向接收裝置108傳送(106)圖像數(shù)據(jù)的照相機(jī)模塊102，該接口格式涉及描述所傳送的圖像數(shù)據(jù)的附加數(shù)據(jù)的傳送。照相機(jī)模塊102包含照相機(jī)104的陣列。照相機(jī)模塊102中的照相機(jī)104通過透鏡疊層和焦平面的組合形成。照相機(jī)模塊102可包含透鏡疊層的光學(xué)儀器(optic)陣列和焦平面的成像器陣列。這些多個(gè)照相機(jī)104在任意給定的時(shí)間可以是活動(dòng)的(active)或者不活動(dòng)的(inactive)。標(biāo)題為“Architectures for imagerarrays and array cameras，，的美國(guó)專利申請(qǐng)N0.13/106，797、以及標(biāo)題為“Capturing andprocessing of images using monolithic camera array with heterogeneous imagers，，的美國(guó)專利申請(qǐng)N0.12/952，106中討論了陣列照相機(jī)，這兩個(gè)申請(qǐng)的公開內(nèi)容通過全部引用而被加入本文。由這些多個(gè)照相機(jī)捕獲的圖像數(shù)據(jù)被從每個(gè)照相機(jī)的焦平面發(fā)送到處理器。焦平面可具有不同的成像特性，諸如改變的曝光時(shí)間、開始時(shí)間以及結(jié)束時(shí)間。因此，由每個(gè)焦平面捕獲的圖像數(shù)據(jù)的傳送定時(shí)可改變。因此，成像器陣列可傳送描述圖像數(shù)據(jù)的附加數(shù)據(jù)，以使得接收?qǐng)D像數(shù)據(jù)的裝置能夠適當(dāng)?shù)貜慕邮盏膱D像數(shù)據(jù)重構(gòu)圖像。
[0051]在許多實(shí)施例中，陣列照相機(jī)100通過使用可具有不同的成像特性的多個(gè)照相機(jī)104來捕獲圖像。陣列照相機(jī)100可單獨(dú)地控制照相機(jī)中的每一個(gè)，以獲得增強(qiáng)的圖像捕獲和/或增強(qiáng)處理(諸如(但不限于)可應(yīng)用于捕獲的圖像的超分辨率處理)。例如，焦平面的每個(gè)像素可捕獲光的不同波長(zhǎng)，或者可捕獲光的強(qiáng)度、改變的曝光時(shí)間、開始時(shí)間或結(jié)束時(shí)間。一旦陣列照相機(jī)100已開始通過使用成像器陣列上的像素捕獲圖像數(shù)據(jù)，焦平面就可開始將通過使用像素而捕獲的圖像數(shù)據(jù)傳送到接收裝置108。由不同的照相機(jī)模塊捕獲的圖像數(shù)據(jù)可被交織(interleave)以傳送到接收裝置108，該接收裝置108包含被配置為接收?qǐng)D像數(shù)據(jù)的接口電路。在許多實(shí)施例中，接口電路在硬件中和/或通過使用處理器實(shí)現(xiàn)。接收裝置108然后可從接收的包來組織捕獲的圖像數(shù)據(jù)并適當(dāng)?shù)亟M合圖像數(shù)據(jù)，以重構(gòu)由成像器陣列中的焦平面的一個(gè)或多個(gè)捕獲的圖像。
[0052]在示出的實(shí)施例中，可通過照相機(jī)模塊102捕獲場(chǎng)景的多個(gè)圖像。當(dāng)圖像數(shù)據(jù)被捕獲時(shí)，照相機(jī)模塊102向接收裝置108傳送圖像數(shù)據(jù)。在通過照相機(jī)捕獲圖像數(shù)據(jù)之后，照相機(jī)模塊102通過使用照相機(jī)模塊102上的一小部分本地?cái)?shù)據(jù)存儲(chǔ)單元來傳送圖像數(shù)據(jù)，該照相機(jī)模塊102上的本地?cái)?shù)據(jù)存儲(chǔ)單元存儲(chǔ)捕獲的圖像數(shù)據(jù)。照相機(jī)模塊102管理圖像數(shù)據(jù)的捕獲和傳送，使得存儲(chǔ)單元中所存儲(chǔ)的被捕獲的圖像數(shù)據(jù)在將下一組圖像數(shù)據(jù)捕獲并加載到存儲(chǔ)單元中所花費(fèi)的時(shí)間內(nèi)被成像器陣列102傳送。以這種方式，照相機(jī)模塊可通過使用比照相機(jī)模塊中的像素的總數(shù)少的多個(gè)本地?cái)?shù)據(jù)存儲(chǔ)單元來連續(xù)地緩沖并傳送圖像數(shù)據(jù)。
[0053]由成像器陣列傳送的一條線(line)圖像數(shù)據(jù)可被視為等于焦平面的一行(row)(列(column))中像素的數(shù)量乘以焦平面的數(shù)量。在數(shù)個(gè)實(shí)施例中，成像器陣列上的傳送器電路的時(shí)鐘頻率被設(shè)為期望的輸出數(shù)據(jù)速率，并且內(nèi)部焦平面像素速率被設(shè)為期望的輸出數(shù)據(jù)速率的1/N (這里，N是焦平面的總數(shù))。在許多圖像傳送協(xié)議中，一旦線的開始條件被發(fā)送，所有的圖像數(shù)據(jù)就不中斷地被傳送，直到線的結(jié)束。因此，可以開發(fā)足夠數(shù)量的數(shù)據(jù)存儲(chǔ)單元和緩沖機(jī)構(gòu)，其一旦存在足夠的存儲(chǔ)像素時(shí)就開始像素的傳輸，使得所有的像素在到達(dá)圖像數(shù)據(jù)的線的結(jié)束的時(shí)間之前已被捕獲和傳送。例如，如果包含16個(gè)焦平面的成像器陣列(如4X4陣列那樣)傳送來自所有焦平面的圖像數(shù)據(jù)，那么在焦平面讀出開始之前存在很少的、被利用的數(shù)據(jù)存儲(chǔ)器，因?yàn)閿?shù)據(jù)大致以它被讀取的速率傳送。但是，如果同一成像器陣列僅具有一個(gè)活動(dòng)的成像器，那么幾乎所有來自焦平面的一行(列)的像素被存儲(chǔ)，原因在于緩沖器讀取比它被寫入快16倍。因此，數(shù)據(jù)存儲(chǔ)需求將是一行像素(即，一條線圖像數(shù)據(jù)的1/16)。當(dāng)8個(gè)焦平面是活動(dòng)時(shí)，來自所有8個(gè)焦平面的數(shù)據(jù)的一半在傳送開始之前被緩沖以避免下溢(underflow)。因此，被利用的數(shù)據(jù)存儲(chǔ)單元的總數(shù)等于四行像素或一條線圖像數(shù)據(jù)的四分之一。以上的示例示出成像器陣列的數(shù)據(jù)存儲(chǔ)需求可如何基于活動(dòng)的焦平面的數(shù)量而改變。在許多實(shí)施例中，成像器陣列內(nèi)的存儲(chǔ)單元的總數(shù)小于一條線圖像數(shù)據(jù)的四分之一。在數(shù)個(gè)實(shí)施例中，成像器陣列內(nèi)的存儲(chǔ)單元的總數(shù)等于一條線圖像數(shù)據(jù)。在數(shù)個(gè)實(shí)施例中，數(shù)據(jù)存儲(chǔ)單元的總數(shù)介于一條線圖像數(shù)據(jù)的四分之一與一整條線圖像數(shù)據(jù)之間。在多個(gè)實(shí)施例中，存儲(chǔ)單元的總數(shù)等于或大于一條線圖像數(shù)據(jù)。當(dāng)照相機(jī)模塊傳送捕獲的圖像數(shù)據(jù)時(shí)，描述圖像數(shù)據(jù)的附加數(shù)據(jù)的加入使得接收?qǐng)D像數(shù)據(jù)的外圍裝置能夠重構(gòu)由成像器陣列102中每個(gè)活動(dòng)的照相機(jī)所捕獲的圖像。
[0054]根據(jù)本發(fā)明的許多實(shí)施例的成像器陣列被配置為經(jīng)由接口格式輸出圖像數(shù)據(jù)，該接口格式適應(yīng)經(jīng)由多個(gè)焦平面捕獲的圖像數(shù)據(jù)的傳輸。在數(shù)個(gè)實(shí)施例中，成像器陣列被配置為根據(jù)接口格式傳送捕獲的圖像數(shù)據(jù)，該接口格式與諸如(但不限于)MIPI CS1-2接口格式(MIPI接口格式)、照相機(jī)鏈接接口格式、以及通用串行總線(USB)接口格式或FireWire接口格式的任意一種的標(biāo)準(zhǔn)接口格式兼容。當(dāng)通過成像器陣列輸出從多個(gè)焦平面捕獲的圖像數(shù)據(jù)時(shí)，接收?qǐng)D像數(shù)據(jù)的裝置面臨將圖像數(shù)據(jù)組裝(assemble)成場(chǎng)景的多個(gè)圖像的任務(wù)。
[0055]盡管以上討論了特定的陣列照相機(jī)系統(tǒng)架構(gòu)，但是，根據(jù)本發(fā)明的實(shí)施例，可以利用適于特定應(yīng)用需求的陣列照相機(jī)的各種系統(tǒng)架構(gòu)中的任意一種。以下討論根據(jù)本發(fā)明實(shí)施例的由成像器陣列上的多個(gè)焦平面捕獲的圖像數(shù)據(jù)以及描述圖像數(shù)據(jù)的、使得接收器能夠從圖像數(shù)據(jù)重構(gòu)圖像的附加數(shù)據(jù)的傳送。
[0056]焦平面的識(shí)別
[0057]由于根據(jù)本發(fā)明的許多實(shí)施例的成像器陣列可通過使用多于一個(gè)的焦平面來捕獲圖像數(shù)據(jù)的事實(shí)，因此，用于傳送捕獲的圖像數(shù)據(jù)的處理包含識(shí)別被用于捕獲特定的一組圖像數(shù)據(jù)的特定的焦平面的機(jī)制。對(duì)于識(shí)別成像器陣列內(nèi)的特定的焦平面，典型地采用慣例。圖2中概念性地示出根據(jù)本發(fā)明的實(shí)施例的成像器陣列上的焦平面。示出的成像器陣列200包含焦平面202的5X5陣列。每個(gè)焦平面202包含像素的陣列。
[0058]成像器陣列上的焦平面可被視為以焦平面的“M”行(在行軸上被表示為符號(hào)“m”)和焦平面的“N”列(在列軸上被表示為符號(hào)“η”)的矩陣布置。單個(gè)焦平面可基于它們?cè)诔上衿麝嚵袃?nèi)的位置而被識(shí)別。在某些實(shí)施例中，使用通過下式定義焦平面號(hào)的編號(hào)慣例:
[0059]焦平面號(hào)=(m+(n*M))+l
[0060]這里，m是成像器陣列從O到M-1的水平索引；
[0061]η是成像器陣列從O到N-1的垂直索引；
[0062]M是在水平方向上的焦平面的總數(shù)；[0063]N是在垂直方向上的焦平面的總數(shù)。
[0064]在示出的實(shí)施例中，焦平面的水平索引或行從O到4編號(hào)。焦平面的垂直索引或列從O到4編號(hào)。從而，在示出的焦平面的陣列中，對(duì)于總數(shù)為25的焦平面，每行和每列具有5個(gè)焦平面。在許多實(shí)施例中，編號(hào)在成像器陣列的左上角處開始。在其它實(shí)施例中，使用替代的慣例對(duì)焦平面編號(hào)。
[0065]盡管以上討論了特定的焦平面編號(hào)慣例，但可以利用各種不同的慣例中的任意一種來識(shí)別焦平面。考慮到特定的慣例，被利用以捕獲特定的圖像數(shù)據(jù)的焦平面的標(biāo)識(shí)(identity)可與圖像數(shù)據(jù)一起傳送。以下進(jìn)一步討論用于與識(shí)別捕獲圖像數(shù)據(jù)的焦平面的信息一起傳送圖像數(shù)據(jù)的處理。
[0066]將由多個(gè)焦平面捕獲的圖像數(shù)據(jù)分成包(packetize)
[0067]在數(shù)個(gè)實(shí)施例中，可通過以處理器可從接收的圖像數(shù)據(jù)重構(gòu)場(chǎng)景的圖像的方式將圖像數(shù)據(jù)和/或描述圖像數(shù)據(jù)的附加數(shù)據(jù)插入包中來將來自多個(gè)焦平面的圖像數(shù)據(jù)分成包。圖3中示出根據(jù)本發(fā)明的實(shí)施例的、由成像器陣列傳送的包含圖像數(shù)據(jù)和描述圖像數(shù)據(jù)的附加數(shù)據(jù)的包的概念示圖。包302包含包頭(header) 304和包腳(footer) 306。包302還包含多條線308圖像數(shù)據(jù)，其中，每條線308圖像數(shù)據(jù)包含線頭310和線腳312。在許多實(shí)施例中，包頭304和/或線頭310以接收包的裝置可通過使用包含包內(nèi)所含有的線圖像數(shù)據(jù)的圖像數(shù)據(jù)來重構(gòu)多個(gè)圖像的方式含有描述圖像數(shù)據(jù)的附加數(shù)據(jù)。包含在包內(nèi)的線圖像數(shù)據(jù)的數(shù)量典型地依賴于特定應(yīng)用的需求。在許多實(shí)施例中，包可含有對(duì)于單個(gè)被捕獲的光場(chǎng)的所有的線圖像數(shù)據(jù)。術(shù)語(yǔ)光場(chǎng)可用于描述多個(gè)二維圖像(其為從不同的視角捕獲的場(chǎng)景的二維圖像)。在其它實(shí)施例中，被捕獲的光場(chǎng)的線圖像數(shù)據(jù)可被分割并在多個(gè)包中被發(fā)送。在許多實(shí)施例中，由來自不同焦平面的一條線像素內(nèi)的各個(gè)像素或像素群組(group )捕獲的圖像數(shù)據(jù)可在圖像數(shù)據(jù)的包內(nèi)被交織。
[0068]在多個(gè)實(shí)施例中，包頭304含有嵌入數(shù)據(jù)。在許多實(shí)施例中，嵌入數(shù)據(jù)以處理器可確定包中圖像數(shù)據(jù)的結(jié)構(gòu)并從接收自照相機(jī)模塊的數(shù)據(jù)重構(gòu)圖像的方式來描述產(chǎn)生圖像數(shù)據(jù)的照相機(jī)模塊。在數(shù)個(gè)實(shí)施例中，包頭304包含嵌入數(shù)據(jù)，諸如(但不限于)成像器陣列中的焦平面的數(shù)量、每個(gè)焦平面的圖像捕獲的定時(shí)、被讀出的特定焦平面的標(biāo)識(shí)、焦平面中像素的總數(shù)、由焦平面拍攝的圖像的分辨率、像素讀出的定時(shí)以及焦平面的增益。如以下所討論的那樣，以上描述的嵌入數(shù)據(jù)不需要包含在包頭中，并且信息中的一些或全部可以不同的方式伴隨著圖像數(shù)據(jù)被傳送，這些方式包含但不限于將附加數(shù)據(jù)定位在包中的其它地方和/或在單獨(dú)的包中傳送附加數(shù)據(jù)。以下進(jìn)一步討論根據(jù)本發(fā)明的實(shí)施例的描述成像數(shù)據(jù)的嵌入數(shù)據(jù)。
[0069]在示出的實(shí)施例中，線308圖像數(shù)據(jù)的包含線頭310。線頭識(shí)別成像器陣列中捕獲線圖像數(shù)據(jù)內(nèi)所含有的圖像數(shù)據(jù)的焦平面或多個(gè)焦平面和像素。處理器可利用線頭來識(shí)別線310圖像數(shù)據(jù)內(nèi)所含有的特定的圖像數(shù)據(jù)。在各種實(shí)施例中，線頭310包含信息，諸如(但不限于)捕獲線內(nèi)的圖像數(shù)據(jù)的焦平面的標(biāo)識(shí)、和/或用于捕獲線數(shù)據(jù)內(nèi)所含有的圖像數(shù)據(jù)的特定的像素或一組像素的標(biāo)識(shí)、以及時(shí)間戳。換句話講，根據(jù)本發(fā)明實(shí)施例的格式化包內(nèi)的線圖像數(shù)據(jù)不需要與通過使用單個(gè)焦平面中的單條線像素所捕獲的圖像數(shù)據(jù)對(duì)應(yīng)。實(shí)際上，根據(jù)本發(fā)明實(shí)施例的圖像數(shù)據(jù)包可包含線圖像數(shù)據(jù)，其含有由不同的線像素所捕獲的和/或來自不同焦平面的圖像數(shù)據(jù)。在線頭中包含描述線圖像數(shù)據(jù)的附加數(shù)據(jù)允許處理器從復(fù)用到單個(gè)包或包的流中的多個(gè)圖像接收?qǐng)D像數(shù)據(jù)并處理。以下進(jìn)一步討論根據(jù)本發(fā)明的實(shí)施例的可包含在線頭中(或其它地方)的不同類型的嵌入數(shù)據(jù)。
[0070]每條線308圖像數(shù)據(jù)可包含指示與前面的(preceding)線頭310相關(guān)聯(lián)的線308圖像數(shù)據(jù)已結(jié)束的線腳312。并且，每個(gè)包302可包含指示與先前的(prior)包頭304相關(guān)聯(lián)的圖像數(shù)據(jù)已結(jié)束的包腳306。在許多實(shí)施例中，成像器陣列被配置為產(chǎn)生多個(gè)包302以含有由焦平面捕獲的圖像數(shù)據(jù)，并且每個(gè)包包含多條線圖像數(shù)據(jù)。
[0071]由于當(dāng)成像器陣列傳送數(shù)據(jù)時(shí)由不同焦平面中的不同像素組捕獲圖像數(shù)據(jù)的方式，因此處理器典型地不能預(yù)測(cè)它將從成像器陣列接收?qǐng)D像數(shù)據(jù)的次序。在許多實(shí)施例中，處理器在不參照對(duì)于線圖像數(shù)據(jù)的線頭和/或包頭的情況下并不了解捕獲線圖像數(shù)據(jù)內(nèi)所含有的圖像數(shù)據(jù)的焦平面或多個(gè)焦平面。然而，在其它實(shí)施例中，成像器陣列對(duì)于特定的焦平面捕獲圖像數(shù)據(jù)的次序加以限制(例如，參見以下相對(duì)于7a_7c的討論)，并且處理器可依賴于圖像數(shù)據(jù)捕獲的預(yù)定次序來重構(gòu)圖像數(shù)據(jù)。盡管相對(duì)于從不同的焦平面捕獲圖像數(shù)據(jù)的方式對(duì)捕獲圖像數(shù)據(jù)的次序加以限制可減少圖像陣列的靈活性，但是圖像數(shù)據(jù)從成像器陣列被接收的可預(yù)測(cè)的方式通過去除識(shí)別捕獲圖像數(shù)據(jù)的像素和/或焦平面的信息可導(dǎo)致連同圖像數(shù)據(jù)而傳送的附加數(shù)據(jù)的量的減少。在許多實(shí)施例中，限制成像器陣列捕獲圖像數(shù)據(jù)的方式使得圖3所示的包頭、包腳、線頭和/或線腳能夠被消除。
[0072]盡管以上描述了在包頭和/或線頭內(nèi)包含特定的信息，但是，根據(jù)本發(fā)明的實(shí)施例，使得能夠從復(fù)用到單個(gè)包或包的流中的圖像數(shù)據(jù)重構(gòu)多個(gè)圖像的任意信息均可被加入圖像數(shù)據(jù)的包中。以下進(jìn)一步討論與MIPI接口格式兼容的圖像數(shù)據(jù)的傳送。
[0073]與MIPI接口格式兼容的圖像數(shù)據(jù)傳送
[0074]在數(shù)個(gè)實(shí)施例中，成像器陣列以與現(xiàn)有接口格式(其用于通過包含單個(gè)焦平面的傳統(tǒng)照相機(jī)傳送圖像數(shù)據(jù))兼容的方式傳送圖像數(shù)據(jù)和描述圖像數(shù)據(jù)的附加數(shù)據(jù)。圖4中示出根據(jù)本發(fā)明的實(shí)施例的作為與MIPI CS1-2標(biāo)準(zhǔn)接口格式(MIPI接口格式)兼容的包而被傳送的圖像數(shù)據(jù)和描述圖像數(shù)據(jù)的附加數(shù)據(jù)的概念示圖。概念示圖可被閱讀為涉及X方向420上從左到右、以及Y方向422上從上到下的傳送。傳送以MIPI幀消隱(blanking)間隔402開始。MIPI幀開始(MFS)410指示器然后被成像器陣列發(fā)送，隨后是MIPI頭412的一部分。根據(jù)本發(fā)明的實(shí)施例產(chǎn)生的數(shù)據(jù)包作為嵌入數(shù)據(jù)被插入到標(biāo)準(zhǔn)MIPI容器(container)內(nèi)。因此，MIPI容器內(nèi)的第一條線數(shù)據(jù)可包含含有關(guān)于產(chǎn)生圖像數(shù)據(jù)的焦平面的信息的包頭424 (參見以上的討論)。
[0075]MIPI容器的第一條線的傳送通過MIPI腳406的傳送來完成。在MIPI線消隱間隔408期間存在中止，并且然后傳送MIPI頭412的下一部分。MIPI容器的下一條線包含線414圖像數(shù)據(jù)。在成像器陣列傳送線圖像數(shù)據(jù)的次序未被預(yù)定的實(shí)施例中，線頭位于線圖像數(shù)據(jù)之前，并且線腳位于線圖像數(shù)據(jù)之后。在線圖像數(shù)據(jù)被以預(yù)定的次序傳送的實(shí)施例(參見例如圖7a?7c的討論)中，可以不利用線頭和/或線腳。
[0076]傳送MIPI腳、在MIPI線消隱間隔期間中止、傳送MIPI頭的一部分、以及傳送MIPI容器內(nèi)的線圖像數(shù)據(jù)的處理繼續(xù)，直到包內(nèi)所有的線圖像數(shù)據(jù)被傳送。在數(shù)個(gè)實(shí)施例中，嵌入的包腳在MIPI容器中被傳送，以指示包的傳送完成。在傳送包之后，通過傳送MIPI腳406和MIPI幀尾(end)416來完成MIPI容器的傳送。盡管圖4所示的包涉及在MIPI容器的線消隱間隔之間傳送一條線圖像數(shù)據(jù)，但是在許多實(shí)施例中，包頭和線圖像數(shù)據(jù)與MIPI容器的線消隱間隔不對(duì)應(yīng)。換句話講，MIPI容器的單個(gè)線消隱間隔可含有來自兩條或更多條線圖像數(shù)據(jù)的圖像數(shù)據(jù)。因此，線頭和/或線腳被用于識(shí)別容器內(nèi)的各條線圖像數(shù)據(jù)。
[0077]很容易理解，圖4所示的處理涉及在傳統(tǒng)的MIPI容器內(nèi)格式化根據(jù)本發(fā)明的實(shí)施例產(chǎn)生的包含圖像數(shù)據(jù)和描述圖像數(shù)據(jù)的附加數(shù)據(jù)的數(shù)據(jù)包。以這種方式，成像器陣列可利用被開發(fā)用于能夠傳送由單個(gè)焦平面捕獲的圖像數(shù)據(jù)的接口標(biāo)準(zhǔn)，以使得能夠傳送含有多個(gè)焦平面(即，光場(chǎng))所捕獲的圖像數(shù)據(jù)的數(shù)據(jù)包。在其它實(shí)施例中，類似的處理可被利用以通過使用其它的容器和/或接口格式(包含(但不限于)CameraLink接口格式、USB接口格式或Firewire接口格式)來傳送以上面概述的方式格式化的包。
[0078]描述成像器陣列的附加數(shù)據(jù)
[0079]根據(jù)本發(fā)明的許多實(shí)施例的成像器陣列，可在由成像器陣列傳送的圖像數(shù)據(jù)中的包頭或其它地方嵌入描述成像器陣列的附加數(shù)據(jù)。處理器可利用描述成像器陣列的附加數(shù)據(jù)來從包內(nèi)所含有的圖像數(shù)據(jù)重構(gòu)圖像。在各種實(shí)施例中，描述成像器陣列的附加數(shù)據(jù)被分為固定描述符(descriptor)和動(dòng)態(tài)描述符。固定描述符是作為特定于陣列照相機(jī)配置的固定值的、并且在陣列照相機(jī)操作期間不變化的、包頭內(nèi)的數(shù)據(jù)片段(Piece)。動(dòng)態(tài)描述符是可在陣列照相機(jī)操作期間改變的、嵌入數(shù)據(jù)內(nèi)的數(shù)據(jù)片段。在許多實(shí)施例中，動(dòng)態(tài)描述符是描述諸如(但不限于)焦平面曝光時(shí)間或者焦平面處理增益的操作狀態(tài)的參數(shù)。在數(shù)個(gè)實(shí)施例中，成像器陣列傳送圖像數(shù)據(jù)以及包含焦平面的總數(shù)、第一維度中每個(gè)焦平面讀出的像素的總數(shù)、第二維度中每個(gè)焦平面讀出的像素的總數(shù)、每個(gè)焦平面中像素的積分時(shí)間以及施加到每個(gè)焦平面中的每個(gè)像素的增益(可分為模擬增益和數(shù)字增益)中的至少一個(gè)的附加數(shù)據(jù)。被傳送的描述成像器陣列的特定數(shù)據(jù)典型地依賴于通過其它來源向接收裝置提供的關(guān)于成像器陣列的信息。在許多實(shí)施例中，諸如積分時(shí)間的成像特性可由諸如處理器的接收裝置指定，并且相關(guān)的焦平面的成像特性響應(yīng)于指令而已被更新的信息被成像器陣列傳送以發(fā)送到接收裝置。在許多實(shí)施例中，成像器陣列傳送圖像數(shù)據(jù)和向每個(gè)焦平面中的每個(gè)像素施加的增益(可分為模擬增益和數(shù)字增益)以及附加數(shù)據(jù)，該附加數(shù)據(jù)包含活動(dòng)的焦平面中像素的積分時(shí)間、以及焦平面的總數(shù)、第一維度中每個(gè)焦平面讀出的像素的總數(shù)、第二維度中每個(gè)焦平面讀出的像素的總數(shù)中的至少一個(gè)。在其它實(shí)施例中，包含附加的信息片段的信息的各種組合中的任意一種可作為根據(jù)本發(fā)明的實(shí)施例的描述圖像數(shù)據(jù)的附加數(shù)據(jù)傳送。
[0080]在許多實(shí)施例中，成像器陣列內(nèi)的傳送器在包頭中包含描述成像器陣列的附加數(shù)據(jù)，以允許處理器內(nèi)的接收器依次確定包內(nèi)的數(shù)據(jù)的結(jié)構(gòu)，以用于處理器中的軟件重構(gòu)來自照相機(jī)的圖像數(shù)據(jù)。包頭中描述成像器陣列的附加數(shù)據(jù)主要依賴于特定的應(yīng)用和陣列照相機(jī)配置。
[0081]在數(shù)個(gè)實(shí)施例中，描述成像器陣列的附加數(shù)據(jù)通過使用嵌入的8位非圖像數(shù)據(jù)(數(shù)據(jù)類型=O X 12)格式(其作為MIPI接口標(biāo)準(zhǔn)的一部分而被指定)來作為MIPI容器內(nèi)的嵌入數(shù)據(jù)被傳送。下表提供根據(jù)本發(fā)明的許多實(shí)施例的可在傳送的描述成像器陣列的附加數(shù)據(jù)中利用的各種固定描述符的結(jié)構(gòu)。除非另外說明，否則，字節(jié)次序是MSB優(yōu)先。在數(shù)個(gè)實(shí)施例中，以下固定描述符中的一個(gè)、多個(gè)和/或全部可作為包頭內(nèi)的嵌入數(shù)據(jù)被包含:
[0082]
【權(quán)利要求】
1.一種傳送圖像數(shù)據(jù)的方法，包括: 使用照相機(jī)模塊中的多個(gè)活動(dòng)的焦平面捕獲圖像數(shù)據(jù)，這里，通過獨(dú)立的透鏡疊層在每個(gè)活動(dòng)的焦平面上形成圖像； 通過交織由所述多個(gè)活動(dòng)的焦平面捕獲的圖像數(shù)據(jù)來產(chǎn)生線圖像數(shù)據(jù)；以及 傳送線圖像數(shù)據(jù)和附加數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的方法，還包括產(chǎn)生提供用于從捕獲的圖像數(shù)據(jù)解交織多個(gè)圖像的信息的附加數(shù)據(jù)，并與線圖像數(shù)據(jù)一起傳送該附加數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的方法，其中，附加數(shù)據(jù)描述成像器陣列。
4.根據(jù)權(quán)利要求3所述的方法，其中，附加數(shù)據(jù)包含從由描述以下方面的附加數(shù)據(jù)組成的群組中選擇的數(shù)據(jù): 成像器陣列中的焦平面的數(shù)量； 成像器陣列中的焦平面陣列的維度； 在活動(dòng)的焦平面的每個(gè)維度中的像素的數(shù)量； 在活動(dòng)的焦平面的每一個(gè)中的像素的積分時(shí)間；以及 在活動(dòng)的焦平面的每一個(gè)中的像素的增益。
5.根據(jù)權(quán)利要求4所述的方法，其中，描述像素的增益的附加數(shù)據(jù)包含描述活動(dòng)的焦平面的每一個(gè)中的像素的模擬增益的附加數(shù)據(jù)和描述活動(dòng)的焦平面的每一個(gè)中的像素的數(shù)字增益的附加數(shù)據(jù)。
6.根據(jù)權(quán)利要求2所述的方法，其中，產(chǎn)生線圖像數(shù)據(jù)還包括通過使用預(yù)定處理組合來自所述多個(gè)活動(dòng)的焦平面的捕獲的圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的方法，其中: 所述預(yù)定處理是從用于組合捕獲的圖像數(shù)據(jù)的多個(gè)預(yù)定處理中選擇的；并且， 附加數(shù)據(jù)包含指示用于組合捕獲的圖像數(shù)據(jù)的預(yù)定處理的附加數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的方法，其中: 每個(gè)活動(dòng)的焦平面包括包含多個(gè)行像素的像素陣列，所述包含多個(gè)行像素的像素陣列還形成多個(gè)列像素；并且 用于組合捕獲的圖像數(shù)據(jù)的預(yù)定處理包括交織來自從活動(dòng)的焦平面中的每一個(gè)選擇的行的圖像數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的方法，其中，用于組合捕獲的圖像數(shù)據(jù)的預(yù)定處理包括使用模數(shù)處理，這里，模數(shù)處理涉及通過交織來自被選擇的行中的每一個(gè)的預(yù)定數(shù)量的像素來組合由活動(dòng)的焦平面的被選擇的行中的像素的每一個(gè)捕獲的圖像數(shù)據(jù)。
10.根據(jù)權(quán)利要求2所述的方法，其中，附加數(shù)據(jù)描述線圖像數(shù)據(jù)中的至少一條。
11.根據(jù)權(quán)利要求10所述的方法，其中，附加數(shù)據(jù)包含從由描述以下方面的附加數(shù)據(jù)組成的群組中選擇的數(shù)據(jù): 每個(gè)活動(dòng)的焦平面開始捕獲圖像數(shù)據(jù)的時(shí)間；以及 用于捕獲用于產(chǎn) 生線圖像數(shù)據(jù)的圖像數(shù)據(jù)的活動(dòng)的焦平面的每一個(gè)中的行的行數(shù)量。
12.根據(jù)權(quán)利要求2所述的方法，還包括: 將線圖像數(shù)據(jù)和描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)分成包，以生成至少一個(gè)數(shù)據(jù)包；以及其中，傳送線圖像數(shù)據(jù)和附加數(shù)據(jù)還包括傳送所述至少一個(gè)數(shù)據(jù)包。
13.根據(jù)權(quán)利要求12所述的方法，其中: 數(shù)據(jù)包包括包頭，該包頭含有多條線圖像數(shù)據(jù)和附加數(shù)據(jù)的至少一部分；并且 含在包頭中的附加數(shù)據(jù)描述成像器陣列。
14.根據(jù)權(quán)利要求12所述的方法，其中，數(shù)據(jù)包還包括包腳，該包腳指示多條線圖像數(shù)據(jù)的傳送的結(jié)束。
15.根據(jù)權(quán)利要求12所述的方法，其中: 數(shù)據(jù)包包括多條線圖像數(shù)據(jù)和與所述多條線圖像數(shù)據(jù)中的每一條相關(guān)聯(lián)的線頭，并且 每個(gè)線頭包含描述與該線頭相關(guān)聯(lián)的線圖像數(shù)據(jù)的附加數(shù)據(jù)。
16.根據(jù)權(quán)利要求15所述的方法，其中，線頭還包括描述成像器陣列的附加數(shù)據(jù)。
17.根據(jù)權(quán)利要求16所述的方法，還包括: 在幀消隱間隔期間中止傳送； 在幀間隔之間傳送所述多條線圖像數(shù)據(jù)和描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)；以及 在線消隱間隔期間中止所述多條線圖像數(shù)據(jù)和描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)的傳送。
18.根據(jù)權(quán)利要求2所述的方法，還包括連續(xù)地傳送線圖像數(shù)據(jù)和附加數(shù)據(jù)，直到所有的數(shù)據(jù)被傳送。
19.根據(jù)權(quán)利要求1所述的方法，其中，照相機(jī)模塊中的每個(gè)透鏡疊層具有不同的視場(chǎng)。
20.一種接收由照相機(jī)模塊捕獲的圖像數(shù)據(jù)的方法，這里，照相機(jī)模塊使用多個(gè)焦平面中的像素捕獲圖像數(shù)據(jù)，該方法包括: 使用接口電路從包含多個(gè)焦平面的照相機(jī)模塊接收?qǐng)D像數(shù)據(jù)，這里，圖像數(shù)據(jù)包括通過交織來自多個(gè)圖像的像素而產(chǎn)生的線圖像數(shù)據(jù)，所述多個(gè)圖像被使用所述多個(gè)焦平面來捕獲；以及 使用接口電路識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素。
21.根據(jù)權(quán)利要求20所述的方法，其中，照相機(jī)模塊還產(chǎn)生描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)，并且所述方法還包括: 接收附加數(shù)據(jù)；以及 使用接口電路識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素還包括:使用附加數(shù)據(jù)識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素。
22.根據(jù)權(quán)利要求21所述的方法，其中，附加數(shù)據(jù)包含從由描述以下方面的附加數(shù)據(jù)組成的群組中選擇的數(shù)據(jù): 成像器陣列中的焦平面的數(shù)量； 成像器陣列中的焦平面陣列的維度； 在焦平面的每個(gè)維度中的像素的數(shù)量； 在焦平面的每一個(gè)中的像素的積分時(shí)間；以及 在焦平面的每一個(gè)中的像素的增益。
23.根據(jù)權(quán)利要求22所述的方法，其中，描述像素的增益的附加數(shù)據(jù)包含描述活動(dòng)的焦平面的每一個(gè)中的像素的模擬增益的附加數(shù)據(jù)和描述活動(dòng)的焦平面的每一個(gè)中的像素的數(shù)字增益的附加數(shù)據(jù)。
24.根據(jù)權(quán)利要求21所述的方法，其中: 使用多個(gè)預(yù)定處理中的一個(gè)產(chǎn)生接收的線圖像數(shù)據(jù)；并且 附加數(shù)據(jù)識(shí)別用于產(chǎn)生線圖像數(shù)據(jù)的預(yù)定處理。
25.根據(jù)權(quán)利要求20所述的方法，其中，接口電路包含被配置為識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素的處理器。
26.一種用于接收由照相機(jī)模塊捕獲的圖像數(shù)據(jù)的系統(tǒng)，這里，照相機(jī)模塊使用多個(gè)焦平面中的像素捕獲圖像數(shù)據(jù)，該系統(tǒng)包括: 接口電路，其被配置為從包含多個(gè)焦平面的照相機(jī)模塊接收?qǐng)D像數(shù)據(jù)，這里，圖像數(shù)據(jù)包括通過交織來自多個(gè)圖像的像素而產(chǎn)生的線圖像數(shù)據(jù)，所述多個(gè)圖像被使用所述多個(gè)焦平面來捕獲； 其中，接口電路還被配置為使用接口電路識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素。
27.根據(jù)權(quán)利要求26所述的系統(tǒng)，其中，照相機(jī)模塊還產(chǎn)生描述捕獲的圖像數(shù)據(jù)的附加數(shù)據(jù)，并且接口電路還被配置為: 接收附加數(shù)據(jù)；以 及 使用附加數(shù)據(jù)識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素。
28.根據(jù)權(quán)利要求27所述的系統(tǒng)，其中，附加數(shù)據(jù)包含從由描述以下方面的附加數(shù)據(jù)組成的群組中選擇的數(shù)據(jù): 成像器陣列中的焦平面的數(shù)量； 成像器陣列中的焦平面陣列的維度； 在焦平面的每個(gè)維度中的像素的數(shù)量； 在焦平面的每一個(gè)中的像素的積分時(shí)間；以及 在焦平面的每一個(gè)中的像素的增益。
29.根據(jù)權(quán)利要求28所述的系統(tǒng)，其中，描述像素的增益的附加數(shù)據(jù)包含描述焦平面的每一個(gè)中的像素的模擬增益的附加數(shù)據(jù)和描述焦平面的每一個(gè)中的像素的數(shù)字增益的附加數(shù)據(jù)。
30.根據(jù)權(quán)利要求26所述的系統(tǒng)，其中，接口電路包含被配置為識(shí)別作為所述多個(gè)圖像中的至少一個(gè)的一部分的圖像數(shù)據(jù)中的像素的處理器。
【文檔編號(hào)】H04N5/225GK103765864SQ201280029399
【公開日】2014年4月30日 申請(qǐng)日期:2012年5月11日 優(yōu)先權(quán)日:2011年5月11日
【發(fā)明者】A·K·J·麥克瑪霍恩 申請(qǐng)人:派力肯影像公司