用于校準(zhǔn)成像裝置的方法及設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明的實(shí)施例涉及成像裝置，且確切地說(shuō)，涉及用于包含一個(gè)以上成像傳感器 的成像裝置的校準(zhǔn)的方法及設(shè)備。
【背景技術(shù)】
[0002] 過(guò)去十年，數(shù)字成像能力已經(jīng)集成到各種各樣的裝置中，所述裝置包含數(shù)碼相機(jī) 及移動(dòng)電話。近年來(lái)，用這些裝置來(lái)捕獲立體圖像的能力已經(jīng)在技術(shù)上成為可能。裝置制 造商通過(guò)引入集成了多個(gè)數(shù)字成像傳感器的裝置來(lái)作出響應(yīng)。多種多樣的電子裝置，包含 移動(dòng)無(wú)線通信裝置、個(gè)人數(shù)字助理（PDA)、個(gè)人音樂(lè)系統(tǒng)、數(shù)碼相機(jī)、數(shù)字記錄裝置、視頻會(huì) 議系統(tǒng)及其類似者利用多個(gè)成像傳感器向其用戶提供多種能力及特征。這些不僅包含立體 (3D)成像應(yīng)用，例如3D照片及視頻或電影，而且包含較高動(dòng)態(tài)范圍成像及全景成像。
[0003] 包含這種能力的裝置可以包含多個(gè)成像傳感器。舉例來(lái)說(shuō)，一些產(chǎn)品將兩個(gè)成像 傳感器集成在數(shù)字成像裝置內(nèi)。當(dāng)捕獲立體圖像時(shí)，這些傳感器可以沿著水平軸對(duì)齊。每 一相機(jī)可以不僅基于數(shù)字成像裝置的位置，而且基于成像傳感器在相機(jī)上的物理位置及定 向捕獲場(chǎng)景的圖像。由于一些實(shí)施方案提供可以水平偏移的兩個(gè)傳感器，因此通過(guò)每一傳 感器捕獲的圖像還可以在水平定向上反映兩個(gè)傳感器之間的差異。在水平定向上通過(guò)傳感 器捕獲的兩個(gè)圖像之間的此種差異提供兩個(gè)圖像之間的視差。當(dāng)用戶觀察由兩個(gè)圖像組成 的立體圖像對(duì)時(shí)，人類大腦基于兩個(gè)圖像之間的視差感知圖像內(nèi)的深度。
[0004] 在一些環(huán)境中，包含多個(gè)成像傳感器的成像裝置的主要用途仍可以是捕獲傳統(tǒng)的 二維快照及電影。在這些環(huán)境中，雙成像傳感器針對(duì)立體圖像及電影的使用可以被認(rèn)為是 不太頻繁使用的便利性特征。對(duì)于這些用戶，可以設(shè)計(jì)提供一個(gè)具有相對(duì)高的分辨率的成 像傳感器的成像裝置。可以采用此第一成像傳感器來(lái)捕獲二維快照及電影。由于可以僅使 用一個(gè)成像傳感器來(lái)捕獲二維圖像，因此可以使用一個(gè)相對(duì)高分辨率的傳感器提供高質(zhì)量 的二維圖像。成像裝置還可以包含第二成像傳感器，所述第二成像傳感器以低于第一成像 傳感器的分辨率捕獲圖像。此第二成像傳感器可以與第一成像傳感器結(jié)合使用以捕獲立體 快照及電影的圖像對(duì)。由于這些立體圖像對(duì)包含以不同分辨率捕獲的兩個(gè)圖像，因此成像 裝置內(nèi)的額外圖像處理可以補(bǔ)償通過(guò)兩個(gè)成像傳感器捕獲的圖像之間的差異，以向用戶提 供令人滿意的立體快照或電影。
[0005] 當(dāng)與設(shè)計(jì)有兩個(gè)高分辨率傳感器的成像裝置相比時(shí)，使用具有不同分辨率的兩個(gè) 成像傳感器可以降低成像裝置的成本。成本降低不僅可以歸因于第二較低分辨率成像傳 感器的較低成本，而且還歸因于用于較低分辨率傳感器的較低成本的輔助電子設(shè)備，包含 (例如）電源電路及圖像處理電路。
[0006] 當(dāng)具有不同分辨率的成像傳感器用于捕獲立體圖像對(duì)時(shí)，通過(guò)成像裝置采用的圖 像處理方法可以補(bǔ)償不對(duì)稱的傳感器分辨率以及可能存在于兩個(gè)成像傳感器之間的其它 差異。舉例來(lái)說(shuō)，這些方法可以補(bǔ)償傳感器幾何結(jié)構(gòu)、亮度及顏色響應(yīng)方面的差異。另外， 補(bǔ)償不同傳感器的電子定時(shí)及同步方面的差異也可能是必需的。相機(jī)校準(zhǔn)方法還可以適用 于更好地校準(zhǔn)不同成像傳感器。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的實(shí)施例中的一些實(shí)施例可以包含校準(zhǔn)立體成像裝置的方法。所述方法包 含：通過(guò)第一圖像傳感器捕獲所關(guān)注場(chǎng)景的第一圖像，所述第一圖像傳感器具有第一分辨 率、本征參數(shù)的第一集合及非本征參數(shù)的第一集合；通過(guò)第二圖像傳感器捕獲所述所關(guān)注 場(chǎng)景的第二圖像，所述第二圖像傳感器具有不同于所述第一分辨率的第二分辨率、本征參 數(shù)的第二集合及非本征參數(shù)的第二集合，其中所述第一圖像及第二圖像包括立體圖像對(duì)； 至少部分地基于所述本征及非本征參數(shù)確定參考成像傳感器的正規(guī)化焦距；基于所述正規(guī) 化焦距調(diào)整校準(zhǔn)矩陣；及基于所述校準(zhǔn)矩陣調(diào)整非參考圖像。在一些實(shí)施例中，所述本征參 數(shù)包含分辨率及視場(chǎng)。在一些實(shí)施例中，所述非本征參數(shù)包含相機(jī)位姿參數(shù)。在這些實(shí)施 例中的一些實(shí)施例中，所述相機(jī)位姿參數(shù)包含側(cè)傾、縱傾及所述第一成像傳感器與所述第 二成像傳感器之間的側(cè)滾偏移。在一些實(shí)施例中，所述參考成像傳感器為所述第一成像傳 感器且所述非參考圖像為所述第二圖像。
[0008] 揭示的另一方面是一種用于捕獲立體圖像對(duì)的設(shè)備。所述設(shè)備包含：第一成像傳 感器，其具有第一分辨率、第一本征參數(shù)及第一非本征參數(shù)；第二成像傳感器，其具有不同 于所述第一分辨率的第二分辨率、第二本征參數(shù)及第二非本征參數(shù)；傳感器控制器，其可操 作地耦合到所述第一成像傳感器及所述第二成像傳感器；處理器；存儲(chǔ)器，其可操作地耦 合到所述處理器并且存儲(chǔ)：傳感器控制模塊，其經(jīng)配置以通過(guò)第一圖像傳感器捕獲所關(guān)注 場(chǎng)景的第一圖像并且通過(guò)第二圖像傳感器捕獲所述所關(guān)注場(chǎng)景的第二圖像，其中所述第一 圖像及第二圖像包括立體圖像對(duì)；焦距確定模塊，其經(jīng)配置以至少部分地基于所述本征及 非本征參數(shù)確定參考成像傳感器的正規(guī)化焦距；校準(zhǔn)矩陣調(diào)整模塊，其經(jīng)配置以基于所述 正規(guī)化焦距調(diào)整校準(zhǔn)矩陣；及投影校正模塊，其經(jīng)配置以基于所述校準(zhǔn)矩陣調(diào)整非參考圖 像。
[0009] 在一些實(shí)施例中，所述本征參數(shù)包含分辨率及視場(chǎng)。在一些實(shí)施例中，所述非本征 參數(shù)包含相機(jī)位姿參數(shù)。在一些實(shí)施例中，所述相機(jī)位姿參數(shù)包含側(cè)傾、縱傾及所述第一成 像傳感器與所述第二成像傳感器之間的側(cè)滾偏移。
[0010] 揭示的另一方面是一種用于捕獲立體圖像對(duì)的設(shè)備。所述設(shè)備包含：用于通過(guò)第 一圖像傳感器捕獲所關(guān)注場(chǎng)景的第一圖像的裝置，所述第一圖像傳感器包含第一分辨率、 第一本征參數(shù)及第一非本征參數(shù)；用于通過(guò)第二圖像傳感器捕獲所述所關(guān)注場(chǎng)景的第二圖 像的裝置，所述第二圖像傳感器具有第二分辨率、第二本征參數(shù)及第二非本征參數(shù)，其中所 述第一圖像及第二圖像包括立體圖像對(duì)；用于至少部分地基于所述本征及非本征參數(shù)確定 參考成像傳感器的正規(guī)化焦距的裝置；用于基于所述正規(guī)化焦距調(diào)整校準(zhǔn)矩陣的裝置；及 用于基于所述校準(zhǔn)矩陣調(diào)整非參考圖像的裝置。
[0011] 揭示的另一方面是一種存儲(chǔ)處理器指令的非暫時(shí)性計(jì)算機(jī)可讀媒體，當(dāng)執(zhí)行時(shí)， 所述處理器指令使處理器執(zhí)行以下所述方法：通過(guò)第一圖像傳感器捕獲所關(guān)注場(chǎng)景的第一 圖像，所述第一圖像傳感器具有第一分辨率、第一本征參數(shù)及第一非本征參數(shù)；通過(guò)第二圖 像傳感器捕獲所述所關(guān)注場(chǎng)景的第二圖像，所述第二圖像傳感器具有第二分辨率、第二本 征參數(shù)及第二非本征參數(shù)，其中所述第一圖像及第二圖像包括立體圖像對(duì)；至少部分地基 于所述本征及非本征參數(shù)確定參考成像傳感器的正規(guī)化焦距；基于所述正規(guī)化焦距調(diào)整校 準(zhǔn)矩陣；及基于所述校準(zhǔn)矩陣調(diào)整非參考圖像。在一些實(shí)施例中，所述本征參數(shù)包含分辨率 及視場(chǎng)。在一些實(shí)施例中，所述非本征參數(shù)包含相機(jī)位姿參數(shù)。在一些實(shí)施例中，所述相機(jī) 位姿參數(shù)包含側(cè)傾、縱傾及所述第一成像傳感器與所述第二成像傳感器之間的側(cè)滾偏移。
【附圖說(shuō)明】
[0012] 將在下文中結(jié)合附圖來(lái)描述所揭示方面，提供附圖是為了說(shuō)明但不限制所揭示方 面，其中相同符號(hào)表示相同元件。
[0013] 圖1是展示包含立體成像裝置的成像環(huán)境的一個(gè)方面的框圖，所述立體成像裝置 包含兩個(gè)成像傳感器。
[0014] 圖2是實(shí)施圖像捕獲系統(tǒng)的至少一個(gè)操作性實(shí)施例的成像裝置的框圖。
[0015] 圖3是用于調(diào)整立體圖像對(duì)的過(guò)程的一個(gè)實(shí)施例的流程圖。
[0016] 圖4A是傳感器控制器及第一和第二成像傳感器的框圖。
[0017] 圖4B是傳感器控制器的框圖。
[0018] 圖4C是說(shuō)明使用所揭示的I2C路由器的實(shí)施例將兩個(gè)命令發(fā)送到不對(duì)稱成像傳 感器的時(shí)序圖。
[0019] 圖5是使用共享SCL線將兩個(gè)不同命令發(fā)送到兩個(gè)成像傳感器的過(guò)程的一個(gè)實(shí)施 例的流程圖。
【具體實(shí)施方式】
[0020] 本發(fā)明的實(shí)施例涉及包含用于捕獲立體圖像對(duì)的兩個(gè)不同大小或不同分辨率的 圖像傳感器的方法及系統(tǒng)。為了向用戶提供良好質(zhì)量的立體圖像，所述系統(tǒng)調(diào)整用于所述 兩個(gè)不同圖像傳感器，如下文所描述。舉例來(lái)說(shuō)，在一個(gè)實(shí)施例中，所述系統(tǒng)可以包含具有 相對(duì)低數(shù)目的百萬(wàn)像素的第一傳感器及具有相對(duì)高數(shù)目的百萬(wàn)像素的第二傳感器。另外， 在一個(gè)實(shí)施例中，所述系統(tǒng)可以包含以相對(duì)低的分辨率捕獲圖像的第一傳感器及以相對(duì)高 的分辨率捕獲圖像的第二傳感器。如下文所使用，這兩個(gè)不同傳感器被稱作"不對(duì)稱成像傳 感器"。
[0021] 補(bǔ)償成像裝置中的不對(duì)稱成像傳感器之間的差異可以通過(guò)下文描述的圖像處理 方法執(zhí)行。在一些實(shí)施方案中，這些圖像處理方法可以通過(guò)成像裝置本身執(zhí)行。舉例來(lái)說(shuō)， 在一個(gè)實(shí)施例中，通過(guò)一對(duì)不對(duì)稱傳感器捕獲的圖像的觀測(cè)幾何結(jié)構(gòu)經(jīng)調(diào)整，使得分辨率、 視場(chǎng)及焦距在通過(guò)不對(duì)稱成像傳感器捕獲的圖像之間是相等的。
[0022] 為了在通過(guò)不對(duì)稱成像傳感器捕獲的圖像之間實(shí)現(xiàn)基本上相同的分辨率，一些實(shí) 施方案可以合并來(lái)自第一較高分辨率成像傳感器的第一圖像中的像素?cái)?shù)據(jù)以減小第一圖 像數(shù)據(jù)的分辨率。在第一圖像中的數(shù)據(jù)被合并之后，第一圖像的分辨率可以基本上等于通 過(guò)較低分辨率成像傳感器捕獲的第二圖像的分辨率。
[0023] 在產(chǎn)生具有比通過(guò)第二較低分辨率圖像傳感器捕獲的第二圖像大四倍的分辨率 的第一圖像的實(shí)例實(shí)施方案中，通過(guò)第一成像傳感器捕獲的像素值可以使用2X2分組過(guò) 程合并。在此過(guò)程中，來(lái)自第一高分辨率傳感器的四個(gè)（4)像素可以合并成單個(gè)較大像素， 從而減少通過(guò)第一成像傳感器產(chǎn)生的圖像數(shù)據(jù)中的像素的總數(shù)目。通過(guò)合計(jì)或分組通過(guò)較 高分辨率圖像傳感器產(chǎn)生的圖像數(shù)據(jù)，通過(guò)第一成像傳感器捕獲的圖像的分辨率可以被調(diào) 整成基本上等于通過(guò)第二較低分辨率成像傳感器產(chǎn)生的圖像的分辨率。
[0024] 除分組圖像數(shù)據(jù)之外，一些其它實(shí)施方案可以裁剪通過(guò)較高分辨率的第一成像傳 感器產(chǎn)生的第一較高分辨率圖像，使得第一圖像數(shù)據(jù)具有與通過(guò)較低分