成像設備和成像方法
【專利摘要】一種成像設備包括成像單元和發(fā)送單元。所述成像單元被配置來捕獲彼此不同在物鏡和具有第一分辨率的成像裝置之間的預定數(shù)量的光學距離(焦距)的兩個圖像。所述發(fā)送單元被配置來發(fā)送所述捕獲的圖像。
【專利說明】成像設備和成像方法
[0001] 對于相關申請的交叉引用
[0002] 本申請要求在2013年5月8日提交的日本優(yōu)先權專利申請JP2013-098446的權 益，其整體公開通過引用被包含在此。

【技術領域】
[0003] 本公開涉及成像設備和成像方法，它們實現(xiàn)高分辨率圖像、高光譜圖像、立體圖像 和基于具有不同焦點的兩個圖像的重新聚焦的圖像。

【背景技術】
[0004] 為了在現(xiàn)有技術中實現(xiàn)高分辨率圖像，存在放大技術，其中，對于原始圖像執(zhí)行上 采樣以進行放大，并且使用適當?shù)臑V光器來平滑因為該放大導致的在圖像上產(chǎn)生的鋸齒。
[0005] 另外，存在下述超分辨率技術：在視頻的幀之間內(nèi)插缺少信息；使用啟發(fā)式數(shù)據(jù) 庫來內(nèi)插偽像素；或者，通過使用智能方法來增多圖像信息來以符合人體工程學的美麗的 方式示出圖像（例如，參見日本公開專利申請No. 2009-181508)。
[0006] 而且，將像素移位的技術例示為高分辨率技術，其中，具有某個分辨率的成像 裝置用于以超過成像裝置的分辨率的分辨率來捕獲圖像（參見例如日本公開專利申請 No. 2013-12112)。
[0007] 而且，高光譜相機可以捕獲圖像，該圖像包括在從可見光到近紅外線的范圍中的 許多頻帶的光譜（參見例如日本公開專利申請No. 2001-521772)。
[0008] 而且，作為立體3D相機的隨后步驟建立通過能夠垂直和水平地移動視角的全景 成像方法的相機（參見例如日本公開專利申請No. 2008-219788)。
[0009] 而且，建立光場相機，該光場相機能夠在捕獲圖像后產(chǎn)生其焦點位置被自由改變 (重新聚焦）的圖像（參見例如，日本公開專利申請No. 2009-224982)。以下，其焦點位置 被自由改變的圖像被稱為"重新聚焦圖像"。


【發(fā)明內(nèi)容】

[0010] 相機具有基于光的三基色的三色單色拍攝的基本功能。例如，在紅光的頻帶中，相 機具有確定在不同光譜之間的大約l〇nm的差的困難。這是因為，當R通道的亮度值的和落 在單個亮度級中時，在同一 R通道中舍入亮度值。
[0011] 因為該舍入，已經(jīng)難以使用通常的相機來用于諸如在醫(yī)療用途中的、在需要略微 色差的分析的情況下的圖像分析。
[0012] 另外，作為用于觀察這樣的信息的相機，實際使用高光譜相機和多光譜相機。然 而，那些相機難以使用，因為一次僅執(zhí)行一維成像，并且唯一地在特定光譜中執(zhí)行成像。
[0013] 在全景成像方法中，使用透鏡陣列，并且因此，存在下述問題：所表示的圖像的分 辨率不良，并且所捕獲的圖像的數(shù)據(jù)量變大。
[0014] 如上所述，在現(xiàn)有技術的方法中，已經(jīng)難以容易地獲取高分辨率圖像、高光譜圖 像、立體圖像和重新聚焦圖像。
[0015] 鑒于如上所述的情況，期望提供一種成像設備和一種成像方法，它們能夠容易地 獲取高分辨率圖像、高光譜圖像、立體圖像和重新聚焦圖像。
[0016] 根據(jù)本公開的一個實施例，提供了一種成像設備，包括成像單元和發(fā)送單元。所述 成像單元被配置來捕獲彼此不同在物鏡和具有第一分辨率的成像裝置之間的預定數(shù)量的 光學距離（焦距）的兩個圖像。所述發(fā)送單元被配置來發(fā)送所述捕獲的圖像。
[0017] 在本公開的所述實施例中，在所述成像設備中，彼此不同預定聚焦數(shù)量并且具有 第一分辨率的兩個圖像被獲取，并且被發(fā)送到顯影設備。
[0018] 在用于高分辨率顯影的顯影設備中，將所述兩個圖像的視角均等，所述兩個圖像 之一是第一焦點圖像，并且另一個圖像是第二焦點圖像。通過漫射和放大所述第一焦點圖 像以具有比所述第一分辨率的第二分辨率而獲得的圖像被產(chǎn)生為數(shù)字散焦圖像。而且，通 過上采樣在所述第二分辨率的所述第二焦點圖像而獲得的圖像被產(chǎn)生為放大的散焦圖像。 而且，在所述數(shù)字散焦圖像和所述放大的散焦圖像之間的每一個像素的差被產(chǎn)生為干涉圖 像。通過學習型模式轉(zhuǎn)換電路，從所述干涉圖像產(chǎn)生所述第二分辨率的高頻分量，并且，將 所述第一焦點圖像看作低頻分量來執(zhí)行分量合成處理，以顯影具有所述第二分辨率的圖 像。
[0019] 在用于高光譜顯影的顯影設備中，所述兩個圖像的視角被均等化，所述兩個圖像 之一是第一焦點圖像，并且另一個圖像是第二焦點圖像。通過漫射所述第一焦點圖像而獲 得的圖像被產(chǎn)生為數(shù)字散焦圖像。在所述數(shù)字散焦圖像和所述第二焦點圖像之間的每一個 像素的差被產(chǎn)生為干涉圖像。通過經(jīng)由學習型模式轉(zhuǎn)換電路來加重放大色像差的處理，從 所述干涉圖像產(chǎn)生包含光譜信息的高頻分量，并且，執(zhí)行所述第一焦點圖像和所述高頻分 量的分量合成處理，以顯影高光譜圖像。
[0020] 在用于立體觀看的圖像的顯影設備中，所述兩個圖像的視角被均等化，所述兩個 圖像之一是第一焦點圖像，并且另一個圖像是第二焦點圖像。通過經(jīng)由第一函數(shù)來漫射所 述第一焦點圖像而獲得的圖像被產(chǎn)生為第一數(shù)字散焦圖像，并且通過經(jīng)由第二函數(shù)而漫射 所述第一焦點圖像而獲得的圖像被產(chǎn)生為第二數(shù)字散焦圖像，所述第一函數(shù)和所述第二函 數(shù)相對于彼此線性對稱。在所述第一數(shù)字散焦圖像和所述第二焦點圖像之間的每一個像素 的差被產(chǎn)生為第一掩蔽信息，并且在所述第二數(shù)字散焦圖像和所述第二焦點圖像之間的每 一個像素的差被產(chǎn)生為第二掩蔽信息。從所述第一焦點圖像和所述第一掩蔽信息顯影用于 立體觀看的第一圖像，并且，從所述第一焦點圖像和所述第二掩蔽信息來顯影用于立體觀 看的第二圖像。
[0021] 在用于重新聚焦圖像顯影的顯影設備中，獲取所述第一焦點圖像和所述第二焦點 圖像，并且在所述兩個圖像之間的每個像素的差被產(chǎn)生為干涉圖像。通過學習型模式轉(zhuǎn)換 電路，從干涉圖像的亮度信息和光譜信息產(chǎn)生高頻分量，并且，執(zhí)行所述第一焦點圖像和所 述高頻分量的分量合成處理，以顯影重新聚焦圖像。
[0022] 通過如上所述的處理，在本公開中，有可能容易地獲取高分辨率圖像、高光譜圖 像、立體圖像和重新聚焦圖像。
[0023] 根據(jù)本公開的所述實施例，在所述成像設備中，所述成像單元可以包括：形成圖像 捕獲裝置，其被配置來捕獲其上聚焦通過所述物鏡的光的形成圖像；以及，散焦圖像捕獲裝 置，其被配置來捕獲其上基于所述預定數(shù)量來散焦光的散焦圖像。
[0024] 根據(jù)本公開的所述實施例，所述成像設備可以進一步包括：視角調(diào)整單元，其被配 置來均等所述兩個圖像的視角，所述兩個圖像之一是第一焦點圖像，并且另一個圖像是第 二焦點圖像；漫射單元，其被配置來產(chǎn)生作為數(shù)字散焦圖像的、通過漫射和放大所述第一焦 點圖像以具有大于所述第一分辨率的第二分辨率而獲得的圖像；上采樣單元，其被配置來 產(chǎn)生作為放大散焦圖像的、通過上采樣所述第二焦點圖像以具有所述第二分辨率而獲得的 圖像；以及，差計算單元，其被配置來產(chǎn)生作為干涉圖像的、在所述數(shù)字散焦圖像和所述放 大散焦圖像之間的每一個像素的差，其中，所述發(fā)送單元可以被配置來發(fā)送所述第一焦點 圖像和所述干涉圖像。
[0025] 根據(jù)本公開的實施例，在所述成像設備中，所述第一焦點圖像可以是焦點對準的 形成圖像，并且，所述第二焦點圖像可以是從所述焦點對準位置散焦預定數(shù)量的散焦圖像。
[0026] 根據(jù)本公開的所述實施例，在所述成像設備中，所述漫射單元可以被配置來通過 點擴展函數(shù)來漫射所述形成圖像。
[0027] 根據(jù)本公開的所述實施例，所述成像設備可以進一步包括：視角調(diào)整單元，其被配 置來均等所述兩個圖像的視角，所述兩個圖像之一是第一焦點圖像，并且另一個圖像是第 二焦點圖像；漫射單元，其被配置來產(chǎn)生作為數(shù)字散焦圖像的、通過漫射所述第一焦點圖像 而獲得的圖像；以及，差計算單元，其被配置來產(chǎn)生作為干涉圖像的、在所述數(shù)字散焦圖像 和所述第二數(shù)字散焦圖像之間的每一個像素的差，其中，所述發(fā)送單元可以被配置來發(fā)送 所述第一焦點圖像和所述干涉圖像。
[0028] 根據(jù)本公開的所述實施例，所述成像設備可以進一步包括：視角調(diào)整單元，其被配 置來均等所述兩個圖像的視角，所述兩個圖像之一是第一焦點圖像，并且另一個圖像是第 二焦點圖像；漫射單元，其被配置來產(chǎn)生作為第一數(shù)字散焦圖像的、通過經(jīng)由第一函數(shù)漫 射所述第一焦點圖像而獲得的圖像，并且產(chǎn)生作為第二數(shù)字散焦圖像的、通過經(jīng)由第二函 數(shù)漫射所述第一焦點圖像而獲得的圖像，所述第一函數(shù)和所述第二函數(shù)相對于彼此線性對 稱；以及，差計算單元，其被配置來產(chǎn)生作為第一掩蔽信息的、在所述第一數(shù)字散焦圖像和 所述第二焦點圖像之間的每一個像素的差，并且產(chǎn)生作為第二掩蔽信息的、在所述第二數(shù) 字散焦圖像和所述第二焦點圖像之間的每一個像素的差，其中，所述發(fā)送單元可以被配置 來發(fā)送所述第一焦點圖像、所述第一掩蔽信息和所述第二掩蔽信息。
[0029] 根據(jù)本公開的所述實施例，所述成像設備可以進一步包括：視角調(diào)整單元，其被配 置來均等所述兩個圖像的視角，所述兩個圖像之一是第一焦點圖像，并且另一個圖像是第 二焦點圖像；以及，差計算單元，其被配置來產(chǎn)生作為干涉圖像的、在所述第一焦點圖像和 所述第二焦點圖像之間的每一個像素的差，其中，所述發(fā)送單元可以被配置來發(fā)送所述第 一焦點圖像、所述第二焦點圖像和所述干涉圖像。
[0030] 根據(jù)本公開的一個實施例，提供了一種成像設備，包括：成像單元，其被配置來捕 獲圖像；校正單元，其被配置來對于所述圖像執(zhí)行像差校正和數(shù)字光學校正的至少一種，以 產(chǎn)生校正圖像；差計算單元，其被配置來產(chǎn)生作為干涉圖像的、在所述圖像和所述校正圖像 之間的每一個像素的差；以及，發(fā)送單元，其被配置來發(fā)送在所述圖像中包含的坐標信息、 所述干涉圖像和所述校正圖像。
[0031] 根據(jù)本公開的一個實施例，提供了一種成像方法，包括：捕獲彼此不同在物鏡和成 像裝置之間的預定數(shù)量的光學距離（焦距）的兩個圖像；并且，發(fā)送所述捕獲圖像。
[0032] 如上所述，根據(jù)本公開，有可能容易地獲取高分辨率圖像、高光譜圖像、立體圖像 和重新聚焦圖像。
[0033] 本公開的這些和其他目的、特征和優(yōu)點將基于如附圖中所示的、其最佳模式實施 例的下面的詳細說明而變得更清楚。

【專利附圖】

【附圖說明】
[0034] 圖1是示出根據(jù)本公開的一個實施例的成像設備和顯影設備的整體配置的配置 圖；
[0035] 圖2是示出根據(jù)本公開的實施例的另一種成像設備和另一種顯影設備的整體配 置的配置圖；
[0036] 圖3是用于描述高分辨率顯影的概念的圖；
[0037] 圖4是示出根據(jù)本公開的實施例的高分辨率顯影提供什么效果的圖；
[0038] 圖5是用于描述通過使用散焦圖像的逆操作來產(chǎn)生高分辨率圖像的概念的圖；
[0039] 圖6是示出散焦量的圖；
[0040] 圖7是用于描述散焦方法的具體實例化的圖；
[0041] 圖8是不出分量分尚處理和分量合成處理的圖；
[0042] 圖9是示出成像設備的實現(xiàn)示例的圖；
[0043] 圖10是示出下述部分的圖：作為參考的4K圖像用于產(chǎn)生第一焦點圖像和第二焦 點圖像，并且對于第一焦點圖像和第二焦點圖像執(zhí)行高分辨率顯影以通過干涉圖像和高頻 分量來產(chǎn)生顯影圖像；
[0044] 圖11是示出通過放大在圖10中所示的圖像的黑眼部分而獲得的圖像的圖；
[0045] 圖12是示出下述部分的圖：作為參考的8K圖像用于產(chǎn)生第一焦點圖像和第二焦 點圖像，并且對于第一焦點圖像和第二焦點圖像執(zhí)行高分辨率顯影以通過干涉圖像和高頻 分量愛產(chǎn)生顯影圖像；
[0046] 圖13是示出下述狀態(tài)的圖：其中，通過用于通過經(jīng)由ΛΥ顯影高分辨率圖像、通過 Δ ω顯影高光譜圖像和通過Δφ來顯影立體圖像的算法來從干涉圖像分離關于Λ量的信 息；
[0047] 圖14是示出根據(jù)本公開的另一個實施例的成像設備和另一種顯影設備的整體配 置的配置圖；
[0048] 圖15是示出根據(jù)本公開的實施例的另一種成像設備和另一種顯影設備的整體配 置的配置圖；
[0049] 圖16是用于描述高光譜顯影的圖；
[0050] 圖17是示出高光譜顯影的具體示例的圖；
[0051] 圖18是示出根據(jù)本公開的另一個實施例的成像設備和另一種顯影設備的整體配 置的配置圖；
[0052] 圖19是示出根據(jù)本公開的實施例的另一種成像設備和另一種顯影設備的整體配 置的配置圖；
[0053] 圖20是示出立體顯影的處理流的圖；
[0054] 圖21是用于描述立體顯影的圖；
[0055] 圖22是示出根據(jù)本公開的另一個實施例的成像設備和另一種顯影設備的整體配 置的配置圖；
[0056] 圖23是示出根據(jù)本公開的實施例的另一種成像設備和另一種顯影設備的整體配 置的配置圖；
[0057] 圖24是用于描述重新聚焦顯影的原理的圖；
[0058] 圖25是示出不通過僅使用亮度信息來估計光學路徑的狀態(tài)的圖；
[0059] 圖26是示出其中可以通過使用亮度信息和光譜信息來估計光學路徑的狀態(tài)的 圖；
[0060] 圖27是示出其中放大色像差的情況因為向后和向前移動的焦點對準位置而不同 的狀態(tài)的圖；
[0061] 圖28是示出在干涉圖像中的光譜信息的示例并且示出對于每一個示例如何使得 點擴展函數(shù)在漫射或會聚方向上作為的圖；
[0062] 圖29是示出其中不是洋娃娃而是背景焦點對準的圖像的示例的圖；
[0063] 圖30是示出其中不是洋娃娃而是前側焦點對準的圖像的示例的圖；
[0064] 圖31是示出通過對于在圖29和30中所示的圖像執(zhí)行重新聚焦顯影以顯影洋娃 娃焦點對準的圖像而獲得的重新聚焦圖像的示例的圖；
[0065] 圖32是示出通過對于在圖29和30中所示的圖像執(zhí)行重新聚焦顯影以顯影洋娃 娃和背景焦點對準的圖像而獲得的深焦點圖像的示例的圖；
[0066] 圖33是示出根據(jù)本公開的另一個實施例的另一個成像設備和另一個顯影設備的 整體配置的配置圖；
[0067] 圖34是示出下述部分的圖：作為參考的4K圖像用于產(chǎn)生第一焦點圖像，并且對于 第一焦點圖像執(zhí)行高分辨率顯影以產(chǎn)生顯影圖像；
[0068] 圖35是示出在1/60秒的正?？扉T速度、以正?？扉T速度的1/N捕獲的圖像和以 通過從1/60秒減去1/60N而獲得的（N-1)/60N秒的快門速度捕獲的圖像之間的關系的圖； [0069] 圖36是用于描述高幀速率顯影的原理的圖；以及
[0070] 圖37是示出另一種成像設備的配置的功能框圖。

【具體實施方式】
[0071] 以下，將參考附圖來描述本公開的實施例。
[0072] 第一實施例
[0073] 首先，將描述整體配置。隨后，將描述根據(jù)本公開的一個實施例的實現(xiàn)圖像的高分 辨率的技術的總體概述（以下稱為高分辨率顯影）。最后，將描述具體示例。
[0074] 應當注意，根據(jù)本公開的實施例的高分辨率顯影用于從其焦點在同一光軸上移位 的兩個圖像收集光的干涉信息，并且基于干涉信息來以大于成像裝置的分辨率的分辨率來 顯影圖像。
[0075] [整體配置]
[0076] 首先，將描述根據(jù)本公開的實施例的成像設備和顯影設備的整體配置。圖1是示 出根據(jù)本公開的實施例的成像設備100和顯影設備200的整體配置的配置圖。應當注意， 下面使用的術語，即，"第一焦點"和"第二焦點"通常指的是在焦點對準狀態(tài)中的焦點和相 對于在焦點對陣狀態(tài)中的焦點散焦預定數(shù)量的焦點。在該情況下，"第一焦點圖像"可以被 讀取為"形成圖像"，并且"第二焦點圖像"可以被讀取為"散焦圖像"。
[0077] 然而，由"第一焦點"和"第二焦點"表示的焦點不限于上面的內(nèi)容。相對于在焦 點對準狀態(tài)中的焦點向被攝體側散焦預定數(shù)量的焦點可以被稱為"第一焦點"，并且，相對 于在焦點對準狀態(tài)中的焦點向成像平面?zhèn)壬⒔诡A定數(shù)量的焦點可以被稱為"第二焦點"。
[0078] 成像設備100包括物鏡1、半反射鏡2、成像裝置（第一焦點成像裝置、形成圖像捕 獲裝置）3、第一焦點圖像捕獲控制器（成像單元）4、光學路徑長度改變?yōu)V光器5、成像裝置 (第二焦點成像裝置、散焦圖像捕獲裝置）6、第二焦點圖像捕獲控制器（成像單元）7和發(fā) 送單元8。
[0079] 物鏡1是象在一般數(shù)字相機的情況下那樣用于在成像裝置上形成被攝體的圖像 以便捕獲被攝體的圖像的光學系統(tǒng)。
[0080] 半反射鏡2將已經(jīng)通過物鏡1的光分離，以便成像裝置3和成像裝置6接收光。
[0081] 成像裝置3捕獲在物鏡1的第一焦點上在成像平面上形成的圖像。
[0082] 第一焦點圖像捕獲控制器4獲取由成像裝置3捕獲的圖像。應當注意，以下將由 成像裝置3和第一焦點圖像捕獲控制器4獲得的圖像稱為第一焦點圖像。在第一焦點圖像 中，在一個像素中舍入未通過成像裝置3的一個像素捕獲的被攝體的高頻分量。
[0083] 光學路徑長度改變?yōu)V光器5是用于精確地調(diào)整從物鏡1到成像裝置6的光學路徑 長度的濾光器。應當注意，在這個實施例中，光學路徑長度改變?yōu)V光器5用于調(diào)整光學路徑 長度，但是，取代這一點，例如，可以提供通過調(diào)整成像裝置6的位置而調(diào)整光學路徑長度 的配置。
[0084] 成像裝置6捕獲通過光學路徑長度改變?yōu)V光器5在第二焦點散焦（模糊）的圖像。
[0085] 第二焦點圖像捕獲控制器7獲取由成像裝置6捕獲的圖像。應當注意，以下將由 成像裝置6和第二焦點圖像捕獲控制器7獲取的圖像稱為第二焦點圖像。在第二焦點圖像 中，未被成像裝置6的一個像素捕獲的被攝體的高頻分量在多個像素上被漫射，被以模糊 形式出來。
[0086] 應當注意，第一焦點圖像捕獲控制器4和第二焦點圖像捕獲控制器7可以被集成 為一個成像控制器。
[0087] 發(fā)送單元8向顯影設備200發(fā)送從第一焦點圖像捕獲控制器4供應的第一焦點圖 像和從第二焦點圖像捕獲控制器7供應的第二焦點圖像。
[0088] 在上面的配置中，半反射鏡2和兩個成像裝置3與6用于同時獲取第一焦點圖像 和第二焦點圖像。然而，在不必同時獲取該兩個圖像的情況下，可以提供用于向光學路徑加 上光學路徑長度改變?yōu)V光器5并且從光學路徑去除光學路徑長度改變?yōu)V光器5的機制，使 得可以去除半反射鏡2,并且可以通過一個成像裝置來獲取第一焦點圖像和第二焦點圖像。
[0089] 隨后，將描述顯影設備200的配置。
[0090] 顯影設備200包括接收單元9、視角調(diào)整單元10、漫射處理單元（漫射單元）11、上 采樣處理單元（上采樣單元）12、差計算單元13、去模糊處理單元14和分量合成處理單元 15。
[0091] 接收單元9接收從成像設備100的發(fā)送單元8發(fā)送的第一焦點圖像和第二焦點圖 像。所接收的圖像兩者被供應到視角調(diào)整單元10。
[0092] 視角調(diào)整單元10調(diào)整因為不同的焦點而具有略微不同的視角的第一焦點圖像和 第二焦點圖像的每一個的視角，以對于每一個像素適當?shù)貓?zhí)行下面的處理。可以對于第一 焦點圖像和第二焦點圖像的僅一個執(zhí)行視角的調(diào)整。
[0093] 漫射處理單元11使用點擴展函數(shù)來將第一焦點圖像改變?yōu)橥ㄟ^計算在散焦狀態(tài) 中的圖像。以下將這個圖像稱為數(shù)字散焦圖像。通過這個處理，將第一焦點圖像改變?yōu)閿?shù)字 模糊化的圖像。在原始第一焦點圖像是具有HD(高分辨率）大小的圖像的情況下，并且如 果要顯影的圖像是例如4K分辨率圖像，則將數(shù)字散焦圖像放大為具有4K大小的圖像。在 要顯影的圖像是具有8K大小的圖像的情況下，漫射處理單元11執(zhí)行散焦以獲取8K大小圖 像。
[0094] 上采樣處理單元12對于第二焦點圖像執(zhí)行上采樣。例如，在第二焦點圖像是HD 大小圖像并且要顯影的圖像是4K分辨率圖像的情況下，上采樣處理單元12將垂直和水平 地布置來獲得4K大小圖像的像素的數(shù)量加倍。以下將通過上采樣獲得的圖像稱為放大散 焦圖像。在要顯影的圖像是8K大小圖像的情況下，上采樣處理單元12執(zhí)行上采樣以獲得 8K大小圖像。
[0095] 差計算單元13計算在由漫射處理單元11產(chǎn)生的數(shù)字散焦圖像和由上采樣處理單 元12產(chǎn)生的放大散焦圖像之間的每一個像素的差值。以下將計算結果稱為干涉圖像。 [0096] 去模糊處理單元14由學習型模式轉(zhuǎn)換電路構成，并且對于從差計算單元13供應 的干涉圖像執(zhí)行去模糊處理，以產(chǎn)生高頻分量。去模糊處理單元14將這個干涉圖像看作散 焦圖像，并且通過用于在散焦之前的原始圖像的逆操作方法來以大于第一焦點圖像的分辨 率的分辨率來產(chǎn)生圖像的高頻分量。
[0097] 分量合成處理單元15通過分量合成處理將由去模糊處理單元14產(chǎn)生的高頻分量 和從接收單元9供應的低頻分量（第一焦點圖像）合成為一個圖像。以下將合成圖像稱為 顯影圖像。
[0098] 以下，已經(jīng)描述了整體配置。
[0099] [整體配置的修改示例]
[0100] 接下來，將描述具有與上面的配置不同的配置的成像設備101和顯影設備201。圖 2是根據(jù)本公開的實施例的成像設備101和顯影設備201的整體配置的配置圖。
[0101] 與如上所述的配置的主要差別是顯影設備200的視角調(diào)整單元10、漫射處理單元 11、上采樣處理單元12和差計算單元13被移動到成像設備101側。應當注意，通過相同 的附圖標記來表示具有與上面的構成元件的功能相同的功能的構成元件，并且將省略其說 明。
[0102] 成像設備101包括物鏡1、半反射鏡2、成像裝置3、第一焦點圖像捕獲控制器4、光 學路徑長度改變?yōu)V光器5、成像裝置6、第二焦點圖像捕獲控制器7、視角調(diào)整單元10、漫射 處理單元11、上采樣處理單元、差計算單元13和發(fā)送單元8B。
[0103] 發(fā)送單元8B向顯影設備201發(fā)送由差計算單元13產(chǎn)生的干涉圖像和從第一焦點 圖像捕獲控制器4供應的低頻分量（第一焦點圖像）。
[0104] 顯影設備201包括接收單元9B、去模糊處理單元14和分量合成處理單元15。
[0105] 接收單元9B接收從成像設備101的發(fā)送單元8B發(fā)送的干涉圖像和低頻分量。所 接收的干涉圖像被供應到去模糊處理單元14,并且所接收的低頻分量被供應到分量合成處 理單元15。
[0106] 以上，已經(jīng)描述了整體配置的修改示例。
[0107][高分辨率顯影的概念]
[0108] 隨后，將描述高分辨率顯影的概念。圖3是用于描述高分辨率顯影的概念的圖。
[0109] 成像裝置的一個像素被看作黑箱，并且從具有閃光燈的側向黑箱施加光，以產(chǎn)生 在一個像素之外的陰影。該陰影要作為比所述一個像素更細的信號，并且泄漏出到下一個 像素。
[0110] 通常觀察不到比所述一個像素更細的信號。然而，當從具有閃光燈的側施加光時， 那個更細信號的陰影在相鄰像素上出現(xiàn)。根據(jù)本公開的實施例的高分辨率顯影使用下述情 況：象這個陰影那樣，比所述一個像素更細的信號的軌跡當焦點移位時泄漏出到相鄰的像 素，以基于該軌跡來顯影比所述一個像素更細的信息。
[0111] 隨后，將從不同的視點描述根據(jù)本公開的實施例的高分辨率顯影。圖4是示出根 據(jù)本公開的實施例的、通過高分辨率顯影提供什么效果的圖。
[0112] 圖4是在其左部示出了被攝體的大小，S卩，與4K分辨率的一個像素對應的被攝體A 和與4K分辨率的四個像素對應的被攝體B。圖4在其中心部分示出成像的被攝體A和B的 大小。當使用HD相機來成像那些被攝體A和B時，以與HD分辨率的一個像素對應的大小 來表達圖像A和圖像B兩者。圖4在其右部示出通過高分辨率顯影基于光的軌跡（陰影） 來執(zhí)行在4K大小中的顯影，并且因此，將被攝體A的圖像恢復為與4K分辨率的一個像素對 應的圖像。
[0113] 隨后，將描述通過使用散焦圖像的逆操作來產(chǎn)生高分辨率圖像的概念。圖5是用 于描述通過使用散焦圖像的逆操作來產(chǎn)生高分辨率圖像的概念的圖。
[0114] 參考圖5的左部，當在圖像形成平面A上形成被攝體的圖像時，圖像占據(jù)與一個像 素對應、但是在通過移位圖像形成平面A而散焦的模糊平面B上的區(qū)域，模糊圖像形成在下 一個像素上，并且以對應于三個像素的大小被捕獲。這意味著，比要在一個像素中觀察的成 像裝置的所述一個像素細得多的高頻分量被觀察為模糊信息。圖5在其右部示出通過使用 干涉圖像的逆操作來在虛擬圖像形成平面C上顯影具有比成像裝置的原始分辨率高的分 辨率的圖像。
[0115] 以上，描述了高分辨率顯影的概念。
[0116] [高分辨率顯影的系統(tǒng)]
[0117] 通常，成像裝置難以成像比成像像素小的信息，并且如果被攝體具有復雜信息，則 將比成像像素小的信息舍入為關于成像裝置的一個像素的信息。同時，當移動焦點時，被攝 體的圖像被漫射以在相鄰的成像像素上擴展，并且因此，未被成像像素的所述一個像素捕 獲的信息也在相鄰的成像像素上出現(xiàn)。
[0118] 在本公開的實施例中，獲得在數(shù)字散焦圖像和實際散焦圖像之間的差。通過經(jīng)由 點擴散函數(shù)漫射形成圖像以便獲得預定模糊量來獲得數(shù)字散焦圖像。結果，關于未通過所 述一個成像像素捕獲的高頻分量的信息以其中漫射圖像的形式保留在從該差獲得的干涉 圖像中。這個信息進行虛擬圖像形成平面的逆操作，使得計算未被所述一個成像像素捕獲 的更細高頻分量，并且顯影比成像裝置的分辨率更細的圖像信息。
[0119][用于虛擬圖像形成平面的逆操作方法]
[0120] 所獲得的干涉圖像和實際高頻分量具有幾何相關性，并且期望最后獲取的指令信 號被提供到學習型模式轉(zhuǎn)換電路，以執(zhí)行加強學習，因此建立逆操作模塊（去模糊處理單 元14)。使用該逆操作模塊，已經(jīng)發(fā)現(xiàn)，可以獲得具有比成像裝置的分辨率高的分辨率的圖 像。
[0121] [散焦量]
[0122] 隨后，將描述當標識散焦圖像時的散焦量。圖6是示出散焦量的圖。
[0123] 在圖6中所示的矩形的每一個表達成像裝置的一個像素。最內(nèi)的圓圈是在成像裝 置100或101中的光學系統(tǒng)的最小模糊圈。
[0124] 例如，在成像裝置具有HD分辨率并且要顯示的圖像是4K分辨率圖像的情況下，執(zhí) 行散焦，直到模糊圈的大小改變?yōu)橛稍趫D6中的"2K-6K"指示的圓圈的大小。
[0125] 此外，例如，在成像裝置具有HD分辨率并且要顯示的圖像是8K分辨率圖像的情況 下，執(zhí)行散焦，直到模糊圈的大小改變?yōu)橛稍趫D6中的"6K-10K"指示的圓圈的大小。
[0126] 在上面的示例中，例示了 HD的分辨率4K和8K。在其他分辨率的情況下，可以以與 在HD的分辨率4K和8K的情況下相同的比率來執(zhí)行散焦。
[0127] 以上，已經(jīng)描述了散焦量。
[0128] [散焦方法]
[0129] 隨后，將描述散焦方法的具體示例。圖7是用于描述散焦方法的具體示例的圖。
[0130] 雖然已經(jīng)在整體配置的部分中描述了光學路徑長度改變?yōu)V光器5,但是入關于散 焦量所述，必須根據(jù)要顯影的圖像的分辨率來調(diào)整散焦量。將濾光盤例示為散焦量的調(diào)整 的具體示例。
[0131] 如圖7中所示，例如，用于顯影具有分辨率3. 2K、4K和8K的圖像的光學路徑長度 改變?yōu)V光器5被適配到濾光盤內(nèi)。成像設備100或101根據(jù)要顯影的圖像的分辨率來旋轉(zhuǎn) 濾光盤，并且使用光學路徑長度改變?yōu)V光器5來執(zhí)行與目標分辨率對應的高分辨率顯影。
[0132] 以上，已經(jīng)描述了散焦方法的具體示例。
[0133] [分量合成處理]
[0134] 隨后，將與分量分離處理一起描述分量合成處理。圖8是示出分量分離處理和分 量合成處理的圖。
[0135] 首先，將描述分量分離處理。假定，高分辨率圖像Α包括四個像素 D1、D2、D3和D4。 在分量分離處理中，通過下面的表達式來產(chǎn)生低頻分量C和高頻分量B，其中，高頻分量B由 像素值Dl'、D2'、D3'和D4'構成：
[0136] 低頻分量C =像素平均值Dm = (Dl+D2+D3+D4)/4 ;
[0137] D1，=D1-Dm;
[0138] D2'=D2_Dm;
[0139] D3'=D3_Dm;以及
[0140] D4，= D4_Dm〇
[0141] 分量合成處理是分量分離處理的逆操作。可以通過下面的表達式來獲得要獲得的 高分辨率圖像D的像素值D1至D4 :
[0142] D1 = Dl' +Dm ;
[0143] D2 = D2'+Dm;
[0144] D3 = D3'+Dm;以及
[0145] D4 = D4, +Dm。
[0146] 在此，執(zhí)行分量合成處理，假定（HD大小的）第一焦點圖像是低頻分量，并且去模 糊處理單元14的處理結果是高頻分量，并且因此，可以獲得（4K大小的）高分辨率圖像作 為顯影圖像。
[0147] 以上，已經(jīng)描述了分量合成處理。
[0148] [成像設備的實現(xiàn)示例]
[0149] 接下來，將描述嘗嘗鮮設備的實現(xiàn)示例。圖9是示出成像設備的實現(xiàn)示例的圖。
[0150] 在圖9的左上部的"內(nèi)置型大雙傳感器相機"具有與在圖1和圖2中所示的整體 配置最類似的配置。
[0151] 在圖9的右上部上的"半反射鏡裝配系統(tǒng)立體相機"具有下述配置：其中，物鏡1 和相機300被布置在分光器301內(nèi)的半反射鏡2的后側上，并且被工具302固定。
[0152] 在圖9的右下部上的"大透鏡光譜型立體相機"具有其中在大透鏡303內(nèi)布置半 反射鏡2的配置。
[0153] 在圖9的左下部上的"平行系統(tǒng)立體相機"用于散焦使用左和右物鏡1捕獲的圖 像之一。視點在左和右圖像之間移位，并且這限制了分辨率的增強，但是該相機產(chǎn)生特定的 效果。
[0154] 應當注意，除了第一實施例之外，那些實現(xiàn)示例也被應用到下面描述的實施例。
[0155] 以上，已經(jīng)描述了成像設備的實現(xiàn)示例。
[0156] [具體示例]
[0157] 接下來，將描述根據(jù)本公開的實施例的、使用高分辨率顯影技術來執(zhí)行高分辨率 顯影的示例。
[0158] 圖10是示出下述部分的圖，作為參考的4K圖像A用于產(chǎn)生第一焦點圖像B和第 二焦點圖像C，并且對于第一焦點圖像B和第二焦點圖像C執(zhí)行高分辨率顯影，以通過干涉 圖像D和高頻分量E來產(chǎn)生顯影圖像F。將參考4K圖像A與顯影圖像F作比較，發(fā)現(xiàn)在其 間沒有大的差別。然而，在在此執(zhí)行的第一焦點圖像和第二焦點圖像中，在學習型模式轉(zhuǎn)換 電路中集中地學習具體模式。
[0159] 圖11是示出通過放大在圖10中所示的圖像的黑眼部分而獲得的圖像的圖。將參 考圖像A與顯影圖像C作比較，發(fā)現(xiàn)顯影圖像C的顯影精度是參考圖像A的顯影精度的大 約 9/10。
[0160] 圖12是示出下述部分的圖：作為參考的8K圖像A用于產(chǎn)生第一焦點圖像B和第 二焦點圖像C，并且對于第一焦點圖像B和第二焦點圖像C執(zhí)行第一焦點圖像和第二焦點圖 像，以通過干涉圖像D和高頻分量E來產(chǎn)生顯影圖像F。將參考8K圖像A與顯影圖像F作 比較，發(fā)現(xiàn)在其間沒有大的差別。然而，在在此執(zhí)行的高分辨率顯影中，在學習型模式轉(zhuǎn)換 電路中集中地學習具體模式。
[0161] 以上，已經(jīng)描述了第一實施例。
[0162] 第二實施例
[0163] 第一實施例通過從干涉圖像獲取高頻分量而實現(xiàn)了圖像的高分辨率?，F(xiàn)在，匯總 從干涉圖像獲取的信息。
[0164] 通常，通過數(shù)學表達式

【權利要求】
1. 一種成像設備，包括： 成像單元，其被配置來捕獲兩個圖像，所述兩個圖像彼此不同在物鏡和具有第一分辨 率的成像裝置之間的預定數(shù)量的光學距離（焦距）； 發(fā)送單元，其被配置來發(fā)送所述捕獲的圖像。
2. 根據(jù)權利要求1所述的成像設備，其中 所述成像單元包括： 形成圖像捕獲裝置，其被配置來捕獲其上聚焦通過所述物鏡的光的形成圖像；以及， 散焦圖像捕獲裝置，其被配置來捕獲其上基于所述預定數(shù)量來散焦光的散焦圖像。
3. 根據(jù)權利要求1所述的成像設備，進一步包括： 視角調(diào)整單元，其被配置來均等所述兩個圖像的視角，所述兩個圖像之一是第一焦點 圖像，并且另一個圖像是第二焦點圖像； 漫射單元，其被配置來產(chǎn)生作為數(shù)字散焦圖像的、通過漫射和放大所述第一焦點圖像 以具有大于所述第一分辨率的第二分辨率而獲得的圖像； 上采樣單元，其被配置來產(chǎn)生作為放大散焦圖像的、通過上采樣所述第二焦點圖像以 具有所述第二分辨率而獲得的圖像；以及， 差計算單元，其被配置來產(chǎn)生作為干涉圖像的、在所述數(shù)字散焦圖像和所述放大散焦 圖像之間的每一個像素的差，其中， 所述發(fā)送單元被配置來發(fā)送所述第一焦點圖像和所述干涉圖像。
4. 根據(jù)權利要求3所述的成像設備，其中 所述第一焦點圖像是焦點對準的形成圖像，并且， 所述第二焦點圖像是從所述焦點對準位置散焦預定數(shù)量的散焦圖像。
5. 根據(jù)權利要求4所述的成像設備，其中 所述漫射單元被配置來通過點擴展函數(shù)來漫射所述形成圖像。
6. 根據(jù)權利要求1所述的成像設備，進一步包括： 視角調(diào)整單元，其被配置來均等所述兩個圖像的視角，所述兩個圖像之一是第一焦點 圖像，并且另一個圖像是第二焦點圖像； 漫射單元，其被配置來產(chǎn)生作為數(shù)字散焦圖像的、通過漫射所述第一焦點圖像而獲得 的圖像；以及， 差計算單元，其被配置來產(chǎn)生作為干涉圖像的、在所述數(shù)字散焦圖像和所述第二焦點 圖像之間的每一個像素的差，其中， 所述發(fā)送單元被配置來發(fā)送所述第一焦點圖像和所述干涉圖像。
7. 根據(jù)權利要求1所述的成像設備，進一步包括： 視角調(diào)整單元，其被配置來均等所述兩個圖像的視角，所述兩個圖像之一是第一焦點 圖像，并且另一個圖像是第二焦點圖像； 漫射單元，其被配置來產(chǎn)生作為第一數(shù)字散焦圖像的、通過經(jīng)由第一函數(shù)漫射所述第 一焦點圖像而獲得的圖像，并且產(chǎn)生作為第二數(shù)字散焦圖像的、通過經(jīng)由第二函數(shù)漫射所 述第一焦點圖像而獲得的圖像，所述第一函數(shù)和所述第二函數(shù)相對于彼此線性對稱；以及， 差計算單元，其被配置來產(chǎn)生作為第一掩蔽信息的、在所述第一數(shù)字散焦圖像和所述 第二焦點圖像之間的每一個像素的差，并且產(chǎn)生作為第二掩蔽信息的、在所述第二數(shù)字散 焦圖像和所述第二焦點圖像之間的每一個像素的差，其中， 所述發(fā)送單元被配置來發(fā)送所述第一焦點圖像、所述第一掩蔽信息和所述第二掩蔽信 肩、。
8. 根據(jù)權利要求1所述的成像設備，進一步包括： 視角調(diào)整單元，其被配置來均等所述兩個圖像的視角，所述兩個圖像之一是第一焦點 圖像，并且另一個圖像是第二焦點圖像；以及， 差計算單元，其被配置來產(chǎn)生作為干涉圖像的、在所述第一焦點圖像和所述第二焦點 圖像之間的每一個像素的差，其中， 所述發(fā)送單元被配置來發(fā)送所述第一焦點圖像、所述第二焦點圖像和所述干涉圖像。
9. 一種成像設備，包括： 成像單元，其被配置來捕獲圖像； 校正單元，其被配置來對于所述圖像執(zhí)行像差校正和數(shù)字光學校正的至少一種，以產(chǎn) 生校正圖像； 差計算單元，其被配置來產(chǎn)生作為干涉圖像的、在所述圖像和所述校正圖像之間的每 一個像素的差；以及， 發(fā)送單元，其被配置來發(fā)送在所述圖像中包含的坐標信息、所述干涉圖像和所述校正 圖像。
10. -種成像方法，包括： 捕獲彼此不同在物鏡和成像裝置之間的預定數(shù)量的光學距離（焦距）的兩個圖像；并 且， 發(fā)送所述捕獲圖像。
【文檔編號】H04N5/225GK104144284SQ201410179147
【公開日】2014年11月12日 申請日期:2014年4月30日 優(yōu)先權日:2013年5月8日
【發(fā)明者】新井洋 申請人:索尼公司