綜合固定模式噪聲消除的制作方法
【技術(shù)領(lǐng)域】
[0001] 科技的進(jìn)步已提供了醫(yī)用成像能力的進(jìn)步。由于在構(gòu)成內(nèi)窺鏡的部件方面的進(jìn) 步，內(nèi)窺鏡外科手術(shù)成為享受一些最有利進(jìn)步的一個(gè)領(lǐng)域。
[0002] 本公開整體涉及減少視頻流中由電磁傳感器生成的固定模式噪聲，以改善圖像質(zhì) 量，使數(shù)據(jù)在低亮度下看起來更自然，以及改善色彩準(zhǔn)確度。本公開的特征和優(yōu)勢將在下面 的【具體實(shí)施方式】中描述，并且從一定程度而言，【具體實(shí)施方式】可顯而易見地說明這些特征 和優(yōu)勢，也可在不過度開展試驗(yàn)的情況下通過對(duì)本公開進(jìn)行實(shí)踐來了解這些特征和優(yōu)勢。 本公開的特征和優(yōu)勢可以通過所附權(quán)利要求中具體指出的器械和組合來實(shí)現(xiàn)和獲得。
【附圖說明】
[0003] 下文結(jié)合附圖描述本公開的非限制性和不完全具體實(shí)施，其中除非另外指明，相 同的附圖編號(hào)指多個(gè)附圖中的類似部件。結(jié)合下述【具體實(shí)施方式】和附圖，可以更好地理解 本公開的優(yōu)勢。
[0004] 圖1A示出了現(xiàn)有技術(shù)像素陣列；
[0005] 圖1B示出了根據(jù)本公開原理和教導(dǎo)內(nèi)容的像素陣列；
[0006] 圖2示出了根據(jù)本公開原理和教導(dǎo)內(nèi)容的圖像傳感器讀出操作的圖形表示；
[0007] 圖3示出了根據(jù)本公開原理和教導(dǎo)內(nèi)容的圖像傳感器讀出操作的圖形表示；
[0008] 圖4示出了根據(jù)本公開原理和教導(dǎo)內(nèi)容的圖像增強(qiáng)的圖形表示；
[0009] 圖5示出了根據(jù)本公開原理和教導(dǎo)內(nèi)容的圖像增強(qiáng)的圖形表示；
[0010] 圖6示出了根據(jù)本公開原理和教導(dǎo)內(nèi)容的圖像增強(qiáng)的流程圖；
[0011] 圖7示出了根據(jù)本公開原理和教導(dǎo)內(nèi)容的硬件支持和使能的原理圖；
[0012] 圖8A和8B分別示出了單片傳感器的一個(gè)具體實(shí)施的透視圖和側(cè)視圖，該單片傳 感器具有根據(jù)本公開教導(dǎo)內(nèi)容和原理用于產(chǎn)生三維圖像的多個(gè)像素陣列；
[0013] 圖9A和9B分別示出了在多個(gè)基板上構(gòu)建的圖像傳感器的一個(gè)具體實(shí)施的透視圖 和側(cè)視圖，其中形成像素陣列的多個(gè)像素列位于第一基板上，并且多個(gè)電路列位于第二基 板上，并示出了一個(gè)像素列至其相關(guān)聯(lián)或?qū)?yīng)的電路列之間的電氣連接和通信；以及
[0014] 圖10A和10B分別示出了圖像傳感器的一個(gè)具體實(shí)施的透視圖和側(cè)視圖，該圖像 傳感器具有用于產(chǎn)生三維圖像的多個(gè)像素陣列，其中多個(gè)像素陣列與圖像傳感器構(gòu)建在多 個(gè)基板上。
【具體實(shí)施方式】
[0015] 本公開涉及主要適用于醫(yī)療應(yīng)用的數(shù)字成像的方法、系統(tǒng)和基于計(jì)算機(jī)的產(chǎn)品。 本公開的下述描述將參考形成本文一部分的附圖，其中以圖示方式示出了可實(shí)踐本公開的 特定具體實(shí)施。應(yīng)當(dāng)理解，在不脫離本公開范圍的前提下可利用其他具體實(shí)施以及結(jié)構(gòu)改 變。
[0016] 在公開和描述用于在已消除固定模式噪聲的光線不足環(huán)境中產(chǎn)生圖像的結(jié)構(gòu)、系 統(tǒng)和方法之前，應(yīng)當(dāng)理解，本公開并不限于本文所公開的結(jié)構(gòu)、配置、過程步驟和材料，因?yàn)?這些結(jié)構(gòu)、配置、過程步驟和材料可能略有不同。還應(yīng)當(dāng)理解，本文所用的術(shù)語僅為了描述 具體實(shí)施例，并不旨在進(jìn)行限制，因?yàn)楸竟_的范圍將僅由所附權(quán)利要求書及其等效內(nèi)容 來限定。
[0017] CMOS圖像傳感器具有多個(gè)噪聲源，噪聲源的量級(jí)和外形取決于一系列物理?xiàng)l件。 不具有相干分量（例如，光子散粒噪聲或源極跟隨器Ι/f讀噪聲）的純泊松或高斯時(shí)間噪 聲看起來與視頻流內(nèi)的噪聲一樣自然。在相同的振幅下，所有其他可感知的噪聲類型將更 大程度地降低圖像質(zhì)量?？臻g噪聲（FPN)尤其令人震驚，并且CMOS傳感器固有至少兩個(gè)源： 像素 FPN和列FPN。像素 FPN主要由于各像素之間光電二極管泄露電流（暗信號(hào)）（DSNU) 發(fā)生變化。該源與結(jié)溫度（T;)成指數(shù)關(guān)系，與曝光時(shí)間成線性關(guān)系。列FPN是讀出架構(gòu)造 成的，其中來自相同列內(nèi)的像素通過通用模擬讀出元件輸送。
[0018] 圖像傳感器通常結(jié)合有特殊用途的光學(xué)盲（有時(shí)稱為光學(xué)黑（0B))、行110a(位于 陣列頂端和/或底端）和列120a(在陣列的左側(cè)和/或右側(cè)），目的是為了校正偏移。在 圖1A中，示出了現(xiàn)有技術(shù)圖像傳感器100a的示例布局，該傳感器在像素陣列130a和保護(hù) 環(huán)140a中包含清晰的像素，并且具有0B頂行和底行110a以及0B左列和右列120a。應(yīng)當(dāng) 理解，對(duì)于0B鉗位算法，0B行110a通常用于監(jiān)測模擬像素黑電平。數(shù)字算法也可以使用 0B行110a來消除列FPN(CFPN)。另一方面，0B列120a通常用于估算線偏移，作為消除任 何線噪聲的手段。由于線噪聲基于時(shí)間，因此可以為每個(gè)幀中的每條線重新計(jì)算偏移。
[0019] 在描述和要求保護(hù)本公開的主題時(shí)，將根據(jù)下文的定義使用下列術(shù)語。
[0020] 應(yīng)當(dāng)注意，在本文和所附權(quán)利要求中使用的，單數(shù)形式"一種"、"一個(gè)"和"該"包 括多個(gè)所指物，除非上下文中明確表示其他含義。
[0021] 如本文所用，術(shù)語"包含"、"包括"、"含有"、"其特征在于"以及語法上等同形式為 專用術(shù)語或開放式術(shù)語，不排除其他未敘述的要素或方法步驟。
[0022] 如本文所用，術(shù)語"由...組成"及其語法上等同形式排除未在權(quán)利要求中指出的 任何要素或步驟。
[0023] 如本文所用，短語"主要由...組成"及其語法上等同形式將權(quán)利要求的范圍限制 于指出的材料或步驟以及本質(zhì)上不影響被要求保護(hù)的本公開的一種或多種基本及新穎特 征的材料或步驟。
[0024] 如本文所用，術(shù)語"近側(cè)"泛指最靠近原點(diǎn)的部分的概念。
[0025] 如本文所用，術(shù)語"遠(yuǎn)側(cè)"通常是指近側(cè)的相對(duì)側(cè)，因此是指離原點(diǎn)較遠(yuǎn)部分或最 遠(yuǎn)部分的概念，具體視上下文而定。
[0026] 如本文所用，顏色傳感器或多譜傳感器是已知其上具有顏色濾波陣列（CFA)的傳 感器，以便過濾傳入的電磁輻射使其進(jìn)入單獨(dú)的分量。在電磁波譜的可視范圍內(nèi)，此類CFA 可以拜耳模式或變型構(gòu)建，以分離光線的綠色、紅色、藍(lán)色譜分量。
[0027] 現(xiàn)在參見圖1B，在空間受限的環(huán)境中，可能希望盡可能減小傳感器100的非光敏 部分，以最大化光敏元件的面積，從而保持圖像質(zhì)量。在傳感器和相機(jī)系統(tǒng)作為一個(gè)整體的 層面上，可以采用多種手段來減小CMOS傳感器中非光敏元件的面積。減小CMOS傳感器中 非光敏元件面積的一種具體實(shí)施可為消除本文所述的0B行，這實(shí)質(zhì)上消除了基于0B列的 固定模式噪聲（CFPN)消除方法。CFPN消除要求每列通常為10至100像素的黑色像素?cái)?shù) 據(jù)，以在讀出清晰像素130之前修正列范圍的隨機(jī)偏移。因此，如果減少或消除OB行，需要 一種替代FPN修正算法。
[0028] 應(yīng)當(dāng)理解，本公開描述了多種系統(tǒng)和方法，若采用這些系統(tǒng)和方法，可以通過獲取 黑色數(shù)據(jù)幀來消除所有FPN類型，包括CFPN，從而基本上（也可能是完全）不需要專用CFPN 修正及其相關(guān)聯(lián)的0B行。圖1B示出了沒有0B行的像素陣列130的示例。可以使用存儲(chǔ) 器的關(guān)傳感器幀來存儲(chǔ)每個(gè)像素的校正數(shù)據(jù)并隨后在像素級(jí)消除所有FPN源。盡管黑色幀 校正比CFPN算法需要更多存儲(chǔ)器，但由于可消除或顯著減少所有FPN源（例如，列FPN、像 素 FPN和行FPN)，因此可能存在優(yōu)勢。
[0029] 現(xiàn)在參見圖2,其中示出了用于滾動(dòng)讀出模式或傳感器讀出200期間的傳感器的 運(yùn)行周期。幀讀出可從垂線210開始，并且可由垂線210表示。讀出期由對(duì)角線或斜線202 表示。可逐行讀出傳感器，向下傾斜邊緣的頂端作為傳感器頂行212,并且向下傾斜邊緣的 底端作為傳感器底行214。最后一行讀出和下一個(gè)讀出周期之間的時(shí)間可稱為消隱時(shí)間或 消隱期216。
[0030] 應(yīng)當(dāng)指出的是，一些傳感器像素行可能覆蓋有遮光片（例如，金屬涂層或另一種 材料類型的任何其他基本上為黑色的層）。這些被覆蓋的像素行可稱為光學(xué)黑行218和 220。光學(xué)黑列218和220可用作修正算法的輸入。類似于圖1B中所示，這些光學(xué)黑列218 和220可位于像素陣列的任一側(cè)。圖2