具有專用拜耳相機(jī)的陣列相機(jī)設(shè)計(jì)的制作方法
【專利說明】
【背景技術(shù)】
[0001]存在基于陣列相機(jī)所用于的應(yīng)用來減小陣列相機(jī)的計(jì)算負(fù)荷和功率消耗的需要。

【發(fā)明內(nèi)容】

[0002]本發(fā)明的實(shí)施例針對(duì)用于使用陣列相機(jī)捕獲圖像的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品。示例性方法包括:確定與使用陣列相機(jī)捕獲圖像相關(guān)聯(lián)的應(yīng)用類型，其中陣列相機(jī)包括第一傳感器和至少一個(gè)第二傳感器，其中第一傳感器包括紅色濾波器、綠色濾波器和藍(lán)色濾波器，并且其中每一個(gè)第二傳感器包括紅色濾波器、綠色濾波器或藍(lán)色濾波器；確定應(yīng)用是否要求圖像具有等于或大于預(yù)確定的分辨率的第一分辨率；確定應(yīng)用是否要求與圖像相關(guān)聯(lián)的深度信息；以及響應(yīng)于確定應(yīng)用不要求圖像具有第一分辨率并且確定應(yīng)用不要求深度信息，激活第一傳感器并且使用第一傳感器捕獲圖像。
[0003]在一些實(shí)施例中，方法還包括響應(yīng)于確定應(yīng)用不要求圖像具有第一分辨率并且確定應(yīng)用不要求深度信息，去激活至少一個(gè)第二傳感器。
[0004]在一些實(shí)施例中，去激活至少一個(gè)第二傳感器包括去激活與至少一個(gè)第二傳感器相關(guān)聯(lián)的至少一個(gè)電源。
[0005]在一些實(shí)施例中，方法還包括響應(yīng)于確定應(yīng)用要求圖像具有第一分辨率并且確定應(yīng)用要求深度信息，激活至少一個(gè)第二傳感器，并且使用至少一個(gè)第二傳感器捕獲圖像。
[0006]在一些實(shí)施例中，方法還包括響應(yīng)于確定應(yīng)用要求圖像具有第一分辨率并且確定應(yīng)用要求深度信息，去激活第一傳感器。
[0007]在一些實(shí)施例中，陣列相機(jī)包括定位在網(wǎng)格中的多個(gè)相機(jī)。
[0008]在一些實(shí)施例中，第一相機(jī)基本上定位在網(wǎng)格中心附近。
[0009]在一些實(shí)施例中，第一相機(jī)定位在網(wǎng)格邊緣附近。
[0010]在一些實(shí)施例中，紅色濾波器、綠色濾波器和藍(lán)色濾波器包括拜耳濾波器。
[0011 ] 在一些實(shí)施例中，紅色濾波器、綠色濾波器和藍(lán)色濾波器布置在第二網(wǎng)格中。
[0012]在一些實(shí)施例中，應(yīng)用類型通過陣列相機(jī)的用戶來確定。
[0013]在一些實(shí)施例中，方法還包括激活第一傳感器，包括激活與第一傳感器相關(guān)聯(lián)的電源。
[0014]在一些實(shí)施例中，提供一種用于捕獲圖像的裝置。裝置包括包含傳感器的網(wǎng)格的陣列相機(jī)，所述傳感器的網(wǎng)格包括:第一傳感器，其中第一傳感器包括紅色濾波器、綠色濾波器和藍(lán)色濾波器；以及至少一個(gè)第二傳感器，并且其中每一個(gè)第二傳感器包括紅色濾波器、綠色濾波器或藍(lán)色濾波器。
[0015]在一些實(shí)施例中，裝置還包括存儲(chǔ)器；處理器；以及存儲(chǔ)在存儲(chǔ)器中的模塊，其由處理器可執(zhí)行并且配置成:確定與使用陣列相機(jī)捕獲圖像相關(guān)聯(lián)的應(yīng)用類型；確定應(yīng)用是否要求圖像具有等于或大于預(yù)確定的分辨率的第一分辨率；確定應(yīng)用是否要求與圖像相關(guān)聯(lián)的深度信息；以及響應(yīng)于確定應(yīng)用不要求圖像具有第一分辨率并且確定應(yīng)用不要求深度信息，激活第一傳感器并且使用第一傳感器捕獲圖像。
[0016]在一些實(shí)施例中，提供一種用于使用陣列相機(jī)捕獲圖像的計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品包括非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其包括代碼集以用于使得計(jì)算機(jī):確定與使用陣列相機(jī)捕獲圖像相關(guān)聯(lián)的應(yīng)用類型，其中陣列相機(jī)包括第一傳感器和至少一個(gè)第二傳感器，其中第一傳感器包括紅色濾波器、綠色濾波器和藍(lán)色濾波器，并且其中每一個(gè)第二傳感器包括紅色濾波器、綠色濾波器或藍(lán)色濾波器；確定應(yīng)用是否要求圖像具有等于或大于預(yù)確定的分辨率的第一分辨率；確定應(yīng)用是否要求與圖像相關(guān)聯(lián)的深度信息；以及響應(yīng)于確定應(yīng)用不要求圖像具有第一分辨率并且確定應(yīng)用不要求深度信息，激活第一傳感器并且使用第一傳感器捕獲圖像。
【附圖說明】
[0017]因而已經(jīng)大體上描述了本發(fā)明的實(shí)施例，現(xiàn)在將參照附圖，其中:
[fig.1]圖1是依照本發(fā)明的實(shí)施例的用于使用陣列相機(jī)捕獲圖像的示例性過程流；[fig.2]圖2表示依照本發(fā)明的實(shí)施例的示例性拜耳濾波器和陣列相機(jī)中的相機(jī)的示例性網(wǎng)格。
【具體實(shí)施方式】
[0018]現(xiàn)在可以在此之后參照附圖更為全面地描述本發(fā)明的實(shí)施例，在附圖中示出本發(fā)明的一些但非全部的實(shí)施例。實(shí)際上，本發(fā)明可以以許多不同形式體現(xiàn)并且不應(yīng)當(dāng)解釋為限于本文闡述的實(shí)施例；而是，提供這些實(shí)施例使得本公開可以滿足適用的法律要求。相同的附圖標(biāo)記貫穿全文指代相同元件。
[0019]本發(fā)明的實(shí)施例針對(duì)用于使用陣列相機(jī)中的專用拜耳相機(jī)(例如單個(gè)專用拜耳相機(jī))來減小其中在捕獲或生成圖像的過程中不需要深度信息或高分辨率能力(例如分辨率等于或大于預(yù)確定的分辨率)的應(yīng)用的計(jì)算負(fù)荷的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品。
[0020]典型的陣列相機(jī)包括布置在網(wǎng)格(例如四邊形網(wǎng)格)中的若干低分辨率相機(jī)(或傳感器)。如本文使用的，低分辨率相機(jī)是以比預(yù)確定的分辨率低的分辨率捕獲圖像的相機(jī)。相機(jī)網(wǎng)格中的每一個(gè)相機(jī)基本上可以同時(shí)從不同角度捕獲圖像。在可替換實(shí)施例中，每一個(gè)相機(jī)可以在不同時(shí)間處捕獲圖像。附加地，每一個(gè)相機(jī)使用單色濾波器(例如紅色、綠色或藍(lán)色濾波器)捕獲圖像。當(dāng)使用確定與圖像相關(guān)聯(lián)的深度信息(視差計(jì)算)的功能性和通過內(nèi)插各個(gè)紅色、綠色和藍(lán)色圖像而增加最終圖像的分辨率的功能性一起編輯由每一個(gè)相機(jī)捕獲的圖像時(shí)，獲得高分辨率RGB (紅綠藍(lán)色)圖像。這些功能可以在使用陣列相機(jī)捕獲圖像之后或者基本上與其同時(shí)地執(zhí)行。這些功能可以通過陣列相機(jī)或者與陣列相機(jī)通信的其它計(jì)算設(shè)備來執(zhí)行。用于執(zhí)行確定與圖像相關(guān)聯(lián)的深度信息和增加圖像的分辨率的功能的計(jì)算負(fù)荷和功率消耗是高的(例如等于或大于預(yù)確定的計(jì)算負(fù)荷水平和/或功率消耗水平)。
[0021]對(duì)于一些應(yīng)用(例如圖像預(yù)覽應(yīng)用、視頻記錄應(yīng)用等)而言可能不要求確定與圖像中的對(duì)象相關(guān)聯(lián)的深度信息和增加圖像的分辨率的功能。因此，存在針對(duì)使得能夠基于陣列相機(jī)所用于的應(yīng)用類型來選擇性激活這些功能的陣列相機(jī)的需要。
[0022]現(xiàn)在參照?qǐng)D1，圖1呈現(xiàn)用于使用陣列相機(jī)捕獲圖像的過程流100。在圖1中呈現(xiàn)的各種過程塊可以以與圖1中所呈現(xiàn)的不同次序執(zhí)行。在塊110處，過程流包括確定與使用陣列相機(jī)捕獲圖像相關(guān)聯(lián)的應(yīng)用，其中陣列相機(jī)包括第一傳感器和至少一個(gè)第二傳感器，其中第一傳感器包括紅色濾波器、綠色濾波器和藍(lán)色濾波器，并且其中每一個(gè)第二傳感器包括紅色濾波器、綠色濾波器或藍(lán)色濾波器。在塊120處，過程流包括確定應(yīng)用是否要求圖像具有等于或大于預(yù)確定的分辨率的第一分辨率(即高分辨率)。在塊130處，過程流包括確定應(yīng)用是否要求與圖像相關(guān)聯(lián)的深度信息。在塊140處，過程流包括響應(yīng)于確定應(yīng)用不要求圖像具有第一分辨率并且確定應(yīng)用不要求深度信息，激活第一傳感器并且使用第一傳感器捕獲圖像。如本文使用的，傳感器可以是指相機(jī)。
[0023]根據(jù)本發(fā)明的實(shí)施例，陣列相機(jī)可以包括如在圖2中呈現(xiàn)的相機(jī)網(wǎng)格200。來自相機(jī)網(wǎng)格200的相機(jī)可以使用除各個(gè)紅色濾波器、綠色濾波器或藍(lán)色濾波器之外的RGB拜耳彩色濾波器來捕獲圖像。該相機(jī)可以被稱為第一相機(jī)或拜耳相機(jī)。盡管陣列相機(jī)在一些實(shí)施例中包括第一相機(jī)，但是在其它實(shí)施例中，陣列相機(jī)包括多于一個(gè)第一相機(jī)。第一相機(jī)可以是更接近網(wǎng)格中心的相機(jī)(例如相機(jī)210)或者更接近網(wǎng)格邊緣的相機(jī)(例如相機(jī)220)。相機(jī)網(wǎng)格200中的其余相機(jī)包括與單個(gè)顏色(例如紅色、綠色或藍(lán)色)相關(guān)聯(lián)的濾波器。這些其余相機(jī)可以被稱為第二相機(jī)。
[0024]針對(duì)視頻記錄和相機(jī)預(yù)覽的目的而啟用第一相機(jī)。當(dāng)陣列相機(jī)用于長(zhǎng)視頻記錄(例如在至少預(yù)確定的持續(xù)時(shí)間內(nèi)的視頻記錄)和相機(jī)預(yù)覽時(shí)，第一相機(jī)消耗與第二相機(jī)相比(要么是單獨(dú)地要么是組合地)更小的功率(例如生成更少熱量)。因而，陣列相機(jī)能夠以可接受幀速率(例如等于或大于預(yù)確定的幀速率的幀速率)記錄視頻。
[0025]如本文使用的，視頻記錄是指使用陣列相機(jī)記錄視頻的過程。如本文使用的，相機(jī)預(yù)覽是指在由陣列相機(jī)捕獲圖像之前使得用戶能夠預(yù)覽圖像(例如靜止圖像)的過程。
[0026]圖2還呈現(xiàn)用于第一相機(jī)的示例性拜耳濾波器250。濾波器251、253、259和261是藍(lán)色濾波器。濾波器252、254、255、257、260、262、263和265是綠色濾波器。濾波器256、258、264和266是紅色濾波器。當(dāng)相機(jī)使用單色濾波器捕獲圖像時(shí)，所捕獲的圖像將具有與濾波器相同的顏色。當(dāng)相機(jī)使用拜耳濾波器捕獲圖像時(shí)，所捕獲的圖像將是多色的。
[0027]對(duì)于其中高分辨率最終圖像必要(例如針對(duì)高分辨率靜止圖像)或者其中與最終圖像中的對(duì)象相關(guān)聯(lián)的深度信息必要的應(yīng)用，第二相機(jī)被激活并且用于捕獲單獨(dú)的圖像。這些單獨(dú)的圖像可以被處理(例如使用一個(gè)或多個(gè)信號(hào)處理功能)以產(chǎn)生最終圖像。對(duì)于這樣的應(yīng)用，第一相機(jī)可以被去激活并且不用于捕獲圖像。然而，在可替換實(shí)施例中，除第二相機(jī)之外，第一相機(jī)也可以被激活并且用于捕獲圖像。
[0028]對(duì)于其中高分辨率最終圖像不必要(例如針對(duì)圖像預(yù)覽或視頻記錄)并且其中與圖像中的對(duì)象相關(guān)聯(lián)的深度信息不必要的應(yīng)用，第一相機(jī)被激活并且用于捕獲圖像。該捕獲圖像可以被處理(例如使用一個(gè)或多個(gè)信號(hào)處理功能)以產(chǎn)生最終圖像。對(duì)于這樣的實(shí)施例，第二相機(jī)被去激活并且不用于捕獲圖像。針對(duì)其中不要求高分辨率最終圖像和/或深度信息的應(yīng)用而言用于生成最終圖像的功率和計(jì)算負(fù)荷小于針對(duì)其中要求高分辨率最終圖像和/或深度信息的應(yīng)用而言用于生成最終圖像的功率和計(jì)算負(fù)荷。
[0029]在一些實(shí)施例中，在捕獲圖像之前，陣列相機(jī)確定針對(duì)其捕獲圖像的應(yīng)用類型。陣列相機(jī)然后基于應(yīng)用類型激活第一相機(jī)和/或第二相機(jī)。在其中陣列相機(jī)不能確定針對(duì)其捕獲圖像的應(yīng)用類型的實(shí)施例中，陣列相機(jī)提示用戶指定針對(duì)其捕獲圖像的應(yīng)用類型(例如經(jīng)由與陣列相機(jī)通信的顯示器)。在一些實(shí)施例中，用戶可以激活或去激活第一相機(jī)和/或第二相機(jī)。
[0030]在一些可替換實(shí)施例中，第一相機(jī)也可以用作一個(gè)第二相機(jī)，即第一相機(jī)可以使用除拜耳濾波器之外的紅色、綠色或藍(lán)色濾波器來捕獲圖像。在一些其它可替換的實(shí)施例中，每一個(gè)第二相機(jī)可以用作第一相機(jī)，即每一個(gè)第二相機(jī)可以使用除單獨(dú)的紅色、綠色或藍(lán)色濾波器之外的拜耳濾波器來捕獲圖像。因此，在這樣的實(shí)施例中，基于針對(duì)其捕獲圖像的應(yīng)用類型，陣列相機(jī)中的每一個(gè)相機(jī)可以包括可交換濾波器，其中拜耳濾波器可以替換為單色濾波器，或者反之亦然。因