超分辨率圖像的獲取方法和獲取裝置制造方法
【專利摘要】本申請實施例公開了一種超分辨率圖像的獲取方法和獲取裝置，其中一種超分辨率圖像的獲取方法包括：確定相機陣列的任兩個相鄰相機的圖像傳感器各自的待調節(jié)區(qū)內，相應邏輯像素點的子像素級目標偏移距離，各所述待調節(jié)區(qū)為各圖像傳感器分別對應第一區(qū)的成像區(qū)域，所述第一區(qū)為所述待攝場景的至少局部；根據(jù)所述子像素級目標偏移距離調節(jié)所述相機陣列中各相機的圖像傳感器的像素點分布；基于調節(jié)后的所述各相機分別獲取待攝場景的圖像；根據(jù)獲取的各圖像獲取所述待攝場景的一超分辨率圖像。本申請實施例提高了超分辨率圖像中與所述第一區(qū)對應的子圖像的成像質量。
【專利說明】超分辨率圖像的獲取方法和獲取裝置

【技術領域】
[0001] 本申請涉及圖像處理【技術領域】，特別是涉及一種超分辨率圖像的獲取方法和獲取 裝直。

【背景技術】
[0002] 圖像分辨率是評價圖像質量的重要指標之一。為了提高圖像分辨率，可由多 張對同一場景拍攝得到的內容相似但空間（Spatio)和/或時間（Temporal)等信息 不完全相同的多張低分辨率（Low-Resolution)圖像進行軟件處理，生成一超分辨率 (Super-Resolution)圖像。超分辨率圖像的應用廣泛，例如可應用但不限于：恢復不同采 集場景中損失的高頻信息，如失焦、運動模糊、非理想采樣等等，甚至可用于恢復超過光學 系統(tǒng)散射極限（^Diffraction Limit)的高頻空間信息。
[0003] 隨著成像技術的不斷發(fā)展，基于相機陣列獲取超分辨率圖像的技術引起研究人員 的高度關注。所述相機陣列也可稱為陣列式相機或陣列相機，相對于傳統(tǒng)的單個相機而言， 視野更寬，通常包括多個陣列分布的相機，其中，每個相機具有獨立的光學鏡頭和圖像傳感 器。采用相機陣列對待攝場景進行圖像采集時，相機陣列中的每個相機都可以分別拍攝該 場景的一副圖像，不同相機所拍攝得到的圖像之間存在一定的視野偏移，這樣，就得到了內 容相似但具有景象視野的多幅圖像，根據(jù)這些多幅圖像可獲取一超分辨率圖像，該超分辨 率的圖像的分辨率均大于各相機獲取的單幅圖像的分辨率，例如：對于一個NXN個相機構 成的相機陣列而言，假設每個相機的圖像傳感器的像素點為DXD個，則在理想情況下，根 據(jù)所述相機陣列各相機獲取的圖像可生成分辨率為NDXND。


【發(fā)明內容】

[0004] 在下文中給出了關于本申請的簡要概述，以便提供關于本申請的某些方面的基本 理解。應當理解，這個概述并不是關于本申請的窮舉性概述。它并不是意圖確定本申請的 關鍵或重要部分，也不是意圖限定本申請的范圍。其目的僅僅是以簡化的形式給出某些概 念，以此作為稍后論述的更詳細描述的前序。
[0005] 本申請?zhí)峁┮环N超分辨率圖像的獲取方法和獲取裝置。
[0006] -方面，本申請實施例提供了一種超分辨率圖像的獲取方法，包括：
[0007] 確定相機陣列的任兩個相鄰相機的圖像傳感器各自的待調節(jié)區(qū)內，相應邏輯像素 點的子像素級目標偏移距離，各所述待調節(jié)區(qū)為各圖像傳感器分別對應第一區(qū)的成像區(qū) 域，所述第一區(qū)為所述待攝場景的至少局部；
[0008] 根據(jù)所述子像素級目標偏移距離調節(jié)所述相機陣列中各相機的圖像傳感器的像 素點分布；
[0009] 基于調節(jié)后的所述各相機分別獲取待攝場景的圖像；
[0010] 根據(jù)獲取的各圖像獲取所述待攝場景的一超分辨率圖像。
[0011] 另一方面，本申請實施例還提供了一種超分辨率圖像的獲取裝置，包括：
[0012] 一目標偏移距離確定模塊，用于確定相機陣列的任兩個相鄰相機的圖像傳感器各 自的待調節(jié)區(qū)內，相應邏輯像素點的子像素級目標偏移距離，各所述待調節(jié)區(qū)為各圖像傳 感器分別對應第一區(qū)的成像區(qū)域，所述第一區(qū)為所述待攝場景的至少局部；
[0013] 一像素點分布調節(jié)模塊，用于根據(jù)所述子像素級目標偏移距離調節(jié)所述相機陣列 中各相機的圖像傳感器的像素點分布；
[0014] 一圖像獲取模塊，用于基于調節(jié)后的所述各相機分別獲取待攝場景的圖像；
[0015] 一超分辨率圖像獲取模塊，用于根據(jù)獲取的各圖像獲取所述待攝場景的一超分辨 率圖像。
[0016] 本申請實施例提供的技術方案，可充分利用相機陣列的各圖像傳感器的整體像素 來差異化采集待攝場景稍有視野偏差的多幅圖像，具體而言，可根據(jù)任兩個相鄰相機的圖 像傳感器分別對應待攝場景的第一區(qū)的待調節(jié)區(qū)相應邏輯像素點的子像素級目標偏移距 離，對所述相機陣列中各相機的圖像傳感器的像素點分布進行調整，使得在滿足所述子像 素級目標偏移距離的條件下各圖像傳感器對應所述第一區(qū)的成像區(qū)域的像素點數(shù)量更多， 也就是說，將各圖像傳感器的像素點在滿足所述子像素級目標偏移距離的情形下將像素點 盡可能多的集中在所述第一區(qū)內，以使各圖像傳感器在滿足超分辨率圖像所需的子像素級 偏移的基礎上，增加待調節(jié)區(qū)的像素點來提高圖像采集效率，從而增加各圖像傳感器獲取 的各圖像中對應所述第一區(qū)的子圖像的分辨率、且相鄰相機獲取的各圖像之間存在與子像 素級目標偏移距離對應的視野偏差，進而提高了獲取的超分辨率圖像中對應所述第一區(qū)的 子圖像的成像質量。
[0017] 通過以下結合附圖對本申請的可選實施例的詳細說明，本申請的這些以及其它的 優(yōu)點將更加明顯。

【專利附圖】

【附圖說明】
[0018] 本申請可以通過參考下文中結合附圖所給出的描述而得到更好的理解，其中在所 有附圖中使用了相同或相似的附圖標記來表示相同或者相似的部件。所述附圖連同下面的 詳細說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進一步舉例說明本 申請的可選實施例和解釋本申請的原理和優(yōu)點。在附圖中：
[0019] 圖la為本申請實施例提供的一種超分辨率圖像的獲取方法流程圖；
[0020] 圖lb為本申請實施例提供第一種像素密度可調的圖像傳感器的結構示意圖；
[0021] 圖1C為本申請實施例提供第二種像素密度可調的圖像傳感器的結構示意圖；
[0022] 圖Id為本申請實施例提供第三種像素密度可調的圖像傳感器的結構示意圖；
[0023] 圖le為本申請實施例提供第四種像素密度可調的圖像傳感器的結構示意圖；
[0024] 圖If為本申請實施例提供圖像傳感器在不均勻光場激勵情形時進行像素密度調 整的場景不例；
[0025] 圖lg為本申請實施例提供第五種像素密度可調的圖像傳感器的結構示意圖；
[0026] 圖lh為本申請實施例提供第六種像素密度可調的圖像傳感器的結構示意圖；
[0027] 圖li為本申請實施例提供第七種像素密度可調的圖像傳感器的結構示意圖；
[0028] 圖lj為本申請實施例提供第八種像素密度可調的圖像傳感器的結構示意圖；
[0029] 圖2a為本發(fā)明實施例提供的一種相機陣列各相機的圖像傳感器像素分布示例；
[0030] 圖2b為本發(fā)明實施例提供的一種相鄰相機的圖像傳感器相應邏輯像素點的偏移 示例；
[0031] 圖2c為本發(fā)明實施例提供的另一種相鄰相機的圖像傳感器相應邏輯像素點的偏 移示例；
[0032] 圖2d為本發(fā)明實施例提供的又一種相鄰相機的圖像傳感器相應邏輯像素點的偏 移示例；
[0033] 圖3為本發(fā)明實施例提供的一種調節(jié)后圖像傳感器的像素點分布示例；
[0034] 圖4為本發(fā)明實施例提供的一種超分辨率圖像的生成示例；
[0035] 圖5為本申請實施例提供的一種超分辨率圖像的獲取裝置的邏輯框圖；
[0036] 圖6為本申請實施例提供的另一種超分辨率圖像的獲取裝置的邏輯框圖；
[0037] 圖7為本申請實施例提供的一種第一區(qū)確定模塊的邏輯框圖；
[0038] 圖8為本申請實施例提供的一種像素點分布調節(jié)模塊的邏輯框圖；
[0039] 圖9為本申請實施例提供的又一種超分辨率圖像的獲取裝置的邏輯框圖。
[0040] 本領域技術人員應當理解，附圖中的元件僅僅是為了簡單和清楚起見而示出的， 而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對于其他元件放大了，以 便有助于提高對本申請實施例的理解。

【具體實施方式】
[0041] 在下文中將結合附圖對本申請的示范性實施例進行詳細描述。為了清楚和簡明起 見，在說明書中并未描述實際實施方式的所有特征。然而，應該了解，在開發(fā)任何這種實際 實施例的過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標，例 如，符合與系統(tǒng)及業(yè)務相關的那些限制條件，并且這些限制條件可能會隨著實施方式的不 同而有所改變。此外，還應該了解，雖然開發(fā)工作有可能是非常復雜和費時的，但對得益于 本公開內容的本領域技術人員來說，這種開發(fā)工作僅僅是例行的任務。
[0042] 在此，還需要說明的一點是，為了避免因不必要的細節(jié)而模糊了本申請，在附圖和 說明中僅僅描述了與根據(jù)本申請的方案密切相關的裝置結構和/或處理步驟，而省略了對 與本申請關系不大的、本領域普通技術人員已知的部件和處理的表示和描述。
[0043] 下面結合附圖（若干附圖中相同的標號表示相同的元素）和實施例，對本申請的

【具體實施方式】作進一步詳細說明。以下實施例用于說明本申請，但不用來限制本申請的范 圍。
[0044] 本領域技術人員可以理解，本申請中的"第一"、"第二"等術語僅用于區(qū)別不同步 驟、設備或模塊等，既不代表任何特定技術含義，也不表示它們之間的必然邏輯順序。
[0045] 本申請發(fā)明人在實踐本申請實施例的過程中發(fā)現(xiàn)，通?；谙鄼C陣列進行待攝場 景的圖像采集時，所述相機陣列的各相機的圖像傳感器的像素均勻分布，基于各圖像傳感 器采集可得到該場景稍有視野偏差的多幅圖像，基于這些圖像可獲取一超分辨率圖像。然 而在某些場景下，該場景的不同區(qū)域通常對用戶而言具有不同的意義和/或重要性，即用 戶對待攝場景不同區(qū)域的成像質量要求不盡相同。例如：在人物拍攝場景下，用戶對場景中 人臉的感興趣程度要高于場景中的景物，故對獲取的超分辨率圖像中關于人臉部分成像的 圖像空間分辨率、信噪比等要求較高；等等。為此，本申請實施例提供了一種超分辨率圖像 的獲取方法，可充分利用相機陣列的各圖像傳感器的整體像素來差異化采集待攝場景稍有 視野偏差的多幅圖像，由此更好滿足用戶多樣化的應用需求。下面結合附圖進一步說明技 術方案。
[0046] 圖la為本申請實施例提供的一種超分辨率圖像的獲取方法流程圖。本申請實施 例提供的超分辨率圖像的獲取方法的執(zhí)行主體可為某一超分辨率圖像的獲取裝置，所述超 分辨率圖像的獲取裝置可在但不限于拍照、攝像、攝影、視頻監(jiān)控等應用過程中通過執(zhí)行該 超分辨率圖像的獲取方法進行靜態(tài)或動態(tài)的圖像處理控制。所述超分辨率圖像的獲取裝置 的設備表現(xiàn)形式不受限制，例如所述超分辨率圖像的獲取裝置可為某一獨立的部件，該部 件與相機陣列配合通信；或者，所述超分辨率圖像的獲取裝置可作為某一功能模塊集成在 一相機陣列中，本申請實施例對此并不限制。
[0047] 具體如圖la所示，本申請實施例提供的一種超分辨率圖像的獲取方法包括：
[0048] S101 :確定相機陣列的任兩個相鄰相機的圖像傳感器各自的待調節(jié)區(qū)內，相應邏 輯像素點的子像素級目標偏移距離，各所述待調節(jié)區(qū)為各圖像傳感器分別對應第一區(qū)的成 像區(qū)域，所述第一區(qū)為所述待攝場景的至少局部。
[0049] 所述相機陣列可包括陣列分布的NXM個相機，其中，N為大于或等于1的整數(shù)、且 M為大于1的整數(shù)，或者，N為大于1的整數(shù)、且M為大于或等于1的整數(shù)。
[0050] 所述相機陣列中每個相機具有獨立的光學鏡頭和圖像傳感器，所述相機陣列的各 相機同構或者至少部分相機異構，各相機的光學鏡頭可根據(jù)實際需要設置不同濾光元件， 例如：藍色濾光元件、紅色濾光元件或者綠色濾光元件等等。本申請實施例不妨以多個同構 相機陣列分布形成的相機陣列為例進行說明，對于異構相機陣列也存在相似的技術方案， 本申請實施例在此不再贅述。
[0051] 每個相機的圖像傳感器的每個像素點均有一個邏輯信息，所述邏輯信息也可稱為 像素的索引信息，用來表示該像素點是圖像傳感器中的哪個像素點，如是第n行的第m個像 素點。相機陣列中相鄰兩個相機的圖像傳感器之間的參考線（也可稱為基線，Baseline)會 引入視差偏移，這樣，相鄰圖像傳感器對應待攝場景的第一區(qū)的成像區(qū)域，在兩個相鄰相機 的圖像傳感器各自的成像區(qū)域的位置并非完全對應。考慮所述基線偏移后，相鄰圖像傳感 器對應的邏輯像素點即為本申請實施例所述的相應邏輯像素點，待攝場景的同一部分信息 在相鄰圖像傳感器的相應邏輯像素點分別予以記錄。根據(jù)相鄰圖像傳感器基線的偏移關系 可得到相鄰圖像傳感器各像素點的邏輯信息的對應關系，而根據(jù)所述各像素點的邏輯信息 的對應關系，可確定兩個相鄰圖像傳感器中，一圖像傳感器與另一圖像傳感器的某邏輯像 素點相應的邏輯像素點是哪個。例如，請參考圖2a，假設兩個相鄰相機A、B的圖像傳感器的 基線在X向上存在2個像素的偏移，則圖像傳感器A某行邏輯信息為0、1、2、3、4......的 像素點，與圖像傳感器B相同行邏輯信息為2'、3'、4'、5'、6'......的像素點（在圖2a的 括號中標出了像素點邏輯或序號信息的對應關系），分別為相應邏輯像素點；如圖2a所示， 相機A和B各自的圖像傳感器分別對應待攝場景相同部分的成像區(qū)域a、b也存在一定的偏 移。
[0052] 為了獲取高于所述相機陣列中某單個相機采集到的圖像的分辨率的圖像，也即超 分辨率圖像，所述相機陣列中任兩個相鄰相機的圖像傳感器的相應邏輯像素點之間需要按 照某一子像素級距離偏移的方式分布。
[0053] 圖像傳感器調節(jié)前的任兩個相鄰像素點中心之間的距離稱為一個像素距離 (pixel pitch) d，所述"子像素級距離"就是小于像素距離d的某一距離，如

【權利要求】
1. 一種超分辨率圖像的獲取方法，其特征在于，包括： 確定相機陣列的任兩個相鄰相機的圖像傳感器各自的待調節(jié)區(qū)內，相應邏輯像素點的 子像素級目標偏移距離，各所述待調節(jié)區(qū)為各圖像傳感器分別對應第一區(qū)的成像區(qū)域，所 述第一區(qū)為所述待攝場景的至少局部； 根據(jù)所述子像素級目標偏移距離調節(jié)所述相機陣列中各相機的圖像傳感器的像素點 分布； 基于調節(jié)后的所述各相機分別獲取待攝場景的圖像； 根據(jù)獲取的各圖像獲取所述待攝場景的一超分辨率圖像。
2. 根據(jù)權利要求1所述的獲取方法，其特征在于， 所述獲取方法還包括：獲取所述任兩個相鄰相機的圖像傳感器中相應邏輯像素點的缺 省子像素級偏移距離； 確定所述子像素級目標偏移距離，包括：至少根據(jù)所述缺省子像素級偏移距離確定所 述子像素級目標偏移距離，以使所述子像素級目標偏移距離小于所述缺省子像素級偏移距 離。
3. 根據(jù)權利要求2所述的獲取方法，其特征在于，確定所述子像素級目標偏移距離，包 括：至少根據(jù)一個或多個相機的圖像傳感器任兩個相鄰像素點中心之間的距離，確定所述 子像素級目標偏移距離。
4. 根據(jù)權利要求1或2所述的獲取方法，其特征在于，所述獲取方法還包括：確定所述 第一區(qū)。
5. 根據(jù)權利要求4所述的獲取方法，其特征在于，確定所述第一區(qū)，包括： 基于所述相機陣列關于所述待攝場景的預覽圖像獲取感興趣區(qū)確定信息； 確定所述待攝場景中與所述感興趣區(qū)確定信息對應的區(qū)域為所述第一區(qū)。
6. 根據(jù)權利要求4所述的獲取方法，其特征在于，確定所述第一區(qū)，包括： 對所述相機陣列關于所述待攝場景的預覽圖像進行圖像分析； 根據(jù)所述圖像分析結果確定所述第一區(qū)。
7. 根據(jù)權利要求1-6任一所述的獲取方法，其特征在于，各所述待調節(jié)區(qū)內調節(jié)后相 應邏輯像素點的實際像素偏移距離等于所述子像素級目標偏移距離。
8. 根據(jù)權利要求1-6任一所述的獲取方法，其特征在于，各所述待調節(jié)區(qū)內調節(jié)后相 應邏輯像素點的實際像素偏移距離與所述子像素級目標偏移距離的差值，落入預定容許誤 差范圍。
9. 根據(jù)權利要求1-6任一所述的獲取方法，其特征在于，根據(jù)所述子像素級目標偏移 距離調節(jié)所述各相機的圖像傳感器的像素點分布，包括： 根據(jù)所述子像素級目標偏移距離確定所述各相機的圖像傳感器的可控變形材料部的 形變控制信息； 根據(jù)所述形變控制信息控制各所述可控變形材料部發(fā)生形變，以通過各所述可控變形 材料部的形變相應調整所述各相機的圖像傳感器的像素點分布。
10. 根據(jù)權利要求7所述的獲取方法，其特征在于，所述可控變形材料部至少由以下一 種或多種可控變形材料制備而成：壓電材料、電活性聚合物、光致形變材料、磁致伸縮材料。
11. 一種超分辨率圖像的獲取裝置，其特征在于，包括： 一目標偏移距離確定模塊，用于確定相機陣列的任兩個相鄰相機的圖像傳感器各自的 待調節(jié)區(qū)內，相應邏輯像素點的子像素級目標偏移距離，各所述待調節(jié)區(qū)為各圖像傳感器 分別對應第一區(qū)的成像區(qū)域，所述第一區(qū)為所述待攝場景的至少局部； 一像素點分布調節(jié)模塊，用于根據(jù)所述子像素級目標偏移距離調節(jié)所述相機陣列中各 相機的圖像傳感器的像素點分布； 一圖像獲取模塊，用于基于調節(jié)后的所述各相機分別獲取待攝場景的圖像； 一超分辨率圖像獲取模塊，用于根據(jù)獲取的各圖像獲取所述待攝場景的一超分辨率圖 像。
12. 根據(jù)權利要求11所述的獲取裝置，其特征在于， 所述獲取裝置還包括：一缺省偏移距離獲取模塊，用于獲取所述任兩個相鄰相機的圖 像傳感器中相應邏輯像素點的缺省子像素級偏移距離； 所述目標偏移距離確定模塊包括：第一目標偏移距離確定子模塊，用于至少根據(jù)所述 缺省子像素級偏移距離確定所述子像素級目標偏移距離，以使所述子像素級目標偏移距離 小于所述缺省子像素級偏移距離。
13. 根據(jù)權利要求11所述的獲取裝置，其特征在于， 所述目標偏移距離確定模塊包括：一第二目標偏移距離確定子模塊，用于至少根據(jù)一 個或多個相機的圖像傳感器任兩個相鄰像素點中心之間的距離，確定所述子像素級目標偏 移距離。
14. 根據(jù)權利要求11-13任一所述的獲取裝置，其特征在于，所述獲取裝置還包括： 一第一區(qū)確定模塊，用于確定所述第一區(qū)。
15. 根據(jù)權利要求14所述的獲取裝置，其特征在于，所述第一區(qū)確定模塊包括： 一感興趣區(qū)確定信息獲取子模塊，用于基于所述相機陣列關于所述待攝場景的預覽圖 像獲取感興趣區(qū)確定信息； 一感興趣區(qū)確定子模塊，用于確定所述待攝場景中與所述感興趣區(qū)確定信息對應的區(qū) 域為所述第一區(qū)。
16. 根據(jù)權利要求14所述的獲取裝置，其特征在于，所述第一區(qū)確定模塊包括： 一圖像分析子模塊，用于對所述相機陣列關于所述待攝場景的預覽圖像進行圖像分 析； 一第一區(qū)確定子模塊，用于根據(jù)所述圖像分析結果確定所述第一區(qū)。
17. 根據(jù)權利要求11-16任一所述的獲取裝置，其特征在于，各所述待調節(jié)區(qū)內調節(jié)后 相應邏輯像素點的實際像素偏移距離等于所述子像素級目標偏移距離。
18. 根據(jù)權利要求11-16任一所述的獲取裝置，其特征在于，各所述待調節(jié)區(qū)內調節(jié)后 相應邏輯像素點的實際像素偏移距離與所述子像素級目標偏移距離的差值，落入預定容許 誤差范圍。
19. 根據(jù)權利要求11-18任一所述的獲取裝置，其特征在于，所述像素點分布調節(jié)模塊 包括： 一形變控制信息確定子模塊，用于根據(jù)所述子像素級目標偏移距離確定所述各相機的 圖像傳感器的可控變形材料部的形變控制信息； 一形變控制子模塊，用于根據(jù)所述形變控制信息控制各所述可控變形材料部發(fā)生形 變，以通過各所述可控變形材料部的形變相應調整所述各相機的圖像傳感器的像素點分 布。
20.根據(jù)權利要求19所述的獲取裝置，其特征在于，所述可控變形材料部至少由以下 一種或多種可控變形材料制備而成：壓電材料、電活性聚合物、光致形變材料、磁致伸縮材 料。
【文檔編號】H04N5/349GK104320596SQ201410522902
【公開日】2015年1月28日 申請日期:2014年9月30日 優(yōu)先權日:2014年9月30日
【發(fā)明者】周梁, 杜琳 申請人:北京智谷技術服務有限公司