專利名稱：圖像傳感裝置內(nèi)用于圖像數(shù)據(jù)本征處理的方法和電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的背景1.本發(fā)明的領(lǐng)域本發(fā)明一般地涉及圖像處理領(lǐng)域。更具體地，本發(fā)明涉及圖像或活動視頻壓縮。
2.相關(guān)技術(shù)的說明當前的技術(shù)狀態(tài)，圖像采集器件的制造和設(shè)計經(jīng)常應用CCD(電荷耦合器件)技術(shù)。這類器件以電信號反映出環(huán)境或景像，電信號是與景像中存在之光線的彩色和/或強度成比例的。CCD圖像采集器件利用小的光電單元產(chǎn)生出電信號，電信號是與由景像投射到光電單元上的入射光相關(guān)聯(lián)的。成像器件內(nèi)包含此類光電單元的一個二維陣列，從而能夠捕獲和存儲整個聚焦景像的一系列信號。新近，開發(fā)了CMOS(互補金屬氧化物半導體)成像器件，在功能上可給出與CCD器件同樣類別的輸出信號，但往往成本和復雜性要低些。一般成像器件的例子包括有掃描儀、活動視頻攝像機和數(shù)字靜止圖像攝影機。
許多種這樣的成像器件無論是基于CMOS或是CCD技術(shù)，都設(shè)計成符合于稱為NTSC(美國國家電視制式委員會)的傳輸標準。NTSC的一個限制在于，圖像的傳輸不應是逐行地掃描(成像器陣列的)各行，而是奇數(shù)行與偶數(shù)行分開地傳輸?shù)?。這種奇數(shù)行和偶數(shù)行的分別處理，通常稱為隔行掃描。NTSC信號中光強度信息編碼成模擬電壓電平，彩色信息編碼于彩色載波頻率的相位和幅度中，如此等等。當為了圖像處理將NTSC信號轉(zhuǎn)送至一個計算機系統(tǒng)時，計算機系統(tǒng)利用一個信號變換器將模擬的已編碼信息變換成亮度和色度的數(shù)字值，用于所傳輸?shù)膱D像。對于圖像的數(shù)字表示，最通常地應用的亮度-色度格式為周知的YCrCb(一個數(shù)字彩色系統(tǒng)稱之為CCIR 601彩色空間，CCIR是國際無線電咨詢委員會的縮略詞)。從NTSC變換至YCrCb時實質(zhì)上是串行的，并由于串行處理特性，有大量可供商品應用的微處理器。隨后的圖像處理也以串行方式實施。對于占優(yōu)勢的串行數(shù)據(jù)處理，一個值得注意的例外是Intel的MMX(TM)技術(shù)，它是基于應用SIMD(單指令多數(shù)據(jù))處理的處理器。為了結(jié)合成像器件配套地應用此類處理器，對于使用來采集數(shù)字圖像值的光電單元，進行并行處理是有利的。此外，數(shù)字光電元件實際應用中的一個關(guān)鍵因素是模擬光電元件部分的積分時間比較長，使應用速度比較慢，從而數(shù)字化的方法較簡單。對于活動視頻，它涉及某些本征的串行運算，諸如對每個像素作出差值計算(對于像素之間和/或幀之間的差值進行編碼，而不是對原來數(shù)值進行編碼)，這有助于采用一種結(jié)構(gòu)，它使得此類計算可以在成像器件上實現(xiàn)，而不是嚴格地通過一個主處理器來實現(xiàn)。
本發(fā)明概要公開了一種裝置，它包含一個模擬光電元件，適應于捕獲入射在其上面的光能，成為一個模擬信號，還包含一個連接至光電元件上的取樣-保持放大器，適應于存儲該模擬信號，又包含一個數(shù)字變換器，連接在該放大器上，將模擬信號變換成數(shù)字值，該數(shù)字值與光能的大小成比例。
附圖的簡要說明從下面對附圖的說明中，本發(fā)明之方法和裝置的目的、特性和優(yōu)點將是顯見的，其中

圖1示明了在本發(fā)明中應用的一個數(shù)字光電元件。
圖2是通常的串行成像器的一個簡化框圖。
圖3示明了使圖像差值更有效的一種結(jié)構(gòu)。
圖4示明了本發(fā)明的一個實施例。
圖5示明了按照本發(fā)明一個實施例中的每像素模擬差值產(chǎn)生電路。
圖6示明了按照本發(fā)明一個實施例中的每像素數(shù)字差值產(chǎn)生電路。
本發(fā)明的詳細說明本發(fā)明的一個方面涉及對于應用在成像陣列中以采集景像的每個光電單元予以增強。不再是應用一種純模擬的光電元件，在以CMOS技術(shù)制造的器件中采用模擬和數(shù)字信號之組合將是有利的。按照本發(fā)明的一個實施例，可以嵌入一個帶有變換電路的模擬光電元件，以形成一個數(shù)字光電元件。數(shù)字光電元件將入射光產(chǎn)生的模擬信號變換成數(shù)字代碼，可將它在數(shù)字域內(nèi)進行圖像處理。如圖6中所示，這種數(shù)字光電單元陣列可以應用在成像器件中構(gòu)成一種數(shù)字圖像處理系統(tǒng)。
圖1示明了在本發(fā)明中應用的一種數(shù)字光電元件。
模擬光電元件110從成像的景像上面捕獲入射的光能。模擬光電元件110根據(jù)一個積分時間T進行工作，該時間T隨環(huán)境光情況變化。積分時間短于使光電元件飽和所需的時間。在光電元件上積累的電荷輸入給取樣和保持放大器120。當光電元件泄放其電荷時，計數(shù)器140復位，并開始計數(shù)下一個積分時間。計數(shù)器140由壓控振蕩器(VCO)130驅(qū)動。VCO 130上有一個由先前獲得的電荷設(shè)立的輸入電平，該電荷是已存儲在取樣和保持放大器120中的。VCO 130可控制計數(shù)器140計數(shù)增加的速率。模擬光電元件上的光強愈大，由VCO 130驅(qū)動的計數(shù)器140計數(shù)愈快。在一個具體的電荷積分期間，計數(shù)器140向上計數(shù)，并在復位之前將其計數(shù)值傳送至寄存器150上。寄存器150中的數(shù)字值，也即計數(shù)器140的最終值，反映出前一個積分期間像素的光強值。對于活動圖像系統(tǒng)，寄存器150內(nèi)包含圖像中一“幀”的像素。下一幀的光電荷值在取樣和保持電路120內(nèi)，而計數(shù)器140產(chǎn)生著下一幀的數(shù)字值。寄存器150內(nèi)保持住像素值，直至它輸出作為圖像的一部分，或者用于進一步的處理。由于各個光電單元并行地工作，所以組成圖像像素陣列的每個數(shù)字光電單元可以由同一個定時和控制序列來調(diào)整，定期地輸出一個完整幀。
為了保證計數(shù)器的動態(tài)范圍與光電單元的動態(tài)范圍相匹配，可配置取樣和保持放大器來合適地縮放對于VCO 120的輸入。由于被采集的景像中環(huán)境光有高低的差別，這種動態(tài)范圍可能不匹配。由景像環(huán)境光之電荷引起的積分時間變動保證了采集的圖像具有正常的對比度。為了調(diào)整VCO 120的動態(tài)范圍以匹配模擬光電元件，可以將一個全局縮放電壓160作用到陣列中每個數(shù)字光電單元的取樣和保持放大器上，它使每個光電單元中的VCO部分一致地適應一種動態(tài)范圍，它符合于當前的環(huán)境光情況。圖1的增強式數(shù)字光電元件可以應用在一個串行處理成像器件中，或者應用于并行式圖像處理結(jié)構(gòu)中。
圖2是一個通常的串行成像器件的簡化方框圖。
如上面所指出，諸如MPEG的活動視頻壓縮應用了差值方法來編碼接連的圖像數(shù)據(jù)幀。在采集兩幀或者完全成像之后，對相應像素之間的差值進行計算，然后對該差值進行編碼。這能做到應用最少數(shù)目的比特來編碼高度相關(guān)的或是有冗余的圖像特征。例如，在視頻會議期間，從一幀圖像到下一幀圖像，所采集圖像的背景可能只有很小的變化，或者完全沒有變化。這種情況下，不必在接連的幀上傳輸整個背景部分，而可以只傳輸相繼幀之間的像素差異。圖2中，CCD成像器件內(nèi)應用的串行成像單元將一個完整幀的像素信息向外移出，然后，在能計算出第一差值幀之前移位另一個完整幀。因此，這種常規(guī)的方法要求采集和存儲兩個(或多個)完整的圖像幀，以產(chǎn)生代表其差值的第三幀。對第一幀也即“關(guān)鍵”幀作出采集和數(shù)字化，接連的一幀同樣地處理。然后，對數(shù)字化的兩幀求差值，產(chǎn)生一個差值幀。為了在常規(guī)的圖像求差值裝置中減小延時和計算量，可應用類似于圖3的結(jié)構(gòu)。
圖3示明一種使圖像求差值效率較高的結(jié)構(gòu)。成像器件的常規(guī)設(shè)計中，在接連采集的兩幀已采集到和數(shù)字化之后，再進行求差。為了改善這種常規(guī)的設(shè)計，如果在完成數(shù)字化之前進行模擬求差，可以大大地減少計算量。圖3中的并行移位求差裝置利用了移位來達到形成圖像差值數(shù)據(jù)的目的。
考慮8個示例的模擬光電單元A31、A32、A33、A34、A35、A36、A37和A38。各個光電單元在景像中的固定位置上捕獲模擬的光強值。這些光強值由光電單元在其積分時間內(nèi)積累的電荷量來代表。不象圖1中的數(shù)字光單元那樣，光電單元A31、…、A38并不給出數(shù)字化的輸出。實際中，存儲的電荷在積分周期的結(jié)束時刻送出(在一個給定的幀瞬時下所有光電單元的積分周期是相同的)，去往一個對應的移位單元。對于每一行模擬光電單元，有著兩行移位單元。一行移位單元存儲第一幀(“關(guān)鍵”幀)的光電單元輸出，而第二行的移位單元存儲下一幀的光電單元輸出。每行移位單元串行地輸出光電單元數(shù)據(jù)。
用于關(guān)鍵幀輸出的移位單元行標記為S32、S34、S36、S38、S40、S42、S44和S46。用于關(guān)鍵幀之緊后面一幀的移位單元輸出存儲行標記為S31、S33、S35、S37、S39、S41、S43和S45。當成像結(jié)構(gòu)第一次初始化時，全部移位單元均存儲空值或零強度值。采集到第一圖像幀時，每個模擬光電單元A31、…、A38將建立電荷，它們代表了入射在景像中各個光電單元上具體位置處的光強。這組信號傳輸至移位單元行S31、S33、…、S46上。這行移位單元用于該瞬間的關(guān)鍵幀，它們本是未填充電荷的。現(xiàn)在并不輸出這第一幀的數(shù)據(jù)，在結(jié)構(gòu)上，要等待到采集下一幀時再輸出。當模擬光電單元A31、…、A38采集到下一圖像幀時，如圖3中所示，前一幀的信號首先從移位單元S31、S33、…、S45分別傳輸至移位單元S32、S34、…、S46的一行上。然后，在第二幀的積分周期結(jié)束時，信號從模擬光電單元A31、…、A38傳輸至移位單元S31、S33、…、S45上。在該瞬間，兩個移位單元行中都包含圖像幀信息。存儲有第一幀的移位單元行S32、S34、…、S46移位向外，它代表了關(guān)鍵幀輸出312。關(guān)鍵幀輸出312同時向差分運算放大器310的一個輸入端移位。
存儲在移位單元S31、S33、…、S45內(nèi)的當前幀信號移位至差分運算放大器310的另一個輸入端上。差分運算放大器310產(chǎn)生模擬信號的差值幀輸出314，它是前一幀(關(guān)鍵幀)減去當前幀的結(jié)果。在進行存儲或處理之前，模擬信號差值幀輸出314和關(guān)鍵幀輸出312兩者可以先數(shù)字化。由于串行移位工作只能夠逐像素地輸出模擬的關(guān)鍵幀和當前幀之輸出，所以整個的當前幀和關(guān)鍵幀必須首先移位到輸出端，再移位到差分運算放大器310上。當串行移位工作完成以及關(guān)鍵幀和當前幀的最后像素輸出/處理后，存儲在移位單元S31、S33、…、S45中的當前幀便并行地移位入S32、S34、…、S46行，它由此變成了下一個關(guān)鍵幀。
這個設(shè)計的優(yōu)點主要在于，傳輸出去進行數(shù)字化的只是模擬的差值幀輸出，而不是兩個完整的圖像幀。取決于進一步要執(zhí)行的下行線路處理，差值幀輸出314和/或關(guān)鍵幀輸出312可以數(shù)字化。常規(guī)的設(shè)計中，要在采集兩個完整的模擬光電單元信息幀并且分別地移位出去之后，再實現(xiàn)數(shù)字化和求差值。圖3的結(jié)構(gòu)中，關(guān)鍵幀312和對于下一幀的差值(差值幀輸出314)是同時移位到輸出端的。
圖3的實施例中，在由模擬光電單元采集另一幀之前，盡管是同時地移位，但仍然需要輸出完整的關(guān)鍵幀和差值幀。按照本發(fā)明的另一個實施例，圖4中示出了對此結(jié)構(gòu)的進一步改進。
圖4示明本發(fā)明的一個實施例。
圖4的實施例中，將當前幀立即移位出去，通過運算放大器420又進行再生和反饋。
圖4的結(jié)構(gòu)中，由N+1個模擬光電單元A0、A1、…、AN的陣列采集當前圖像幀，然后并行地分別去往移位單元C0、C1、…、CN。移位單元C0、C1、…、CN以CN到C0的級聯(lián)(斗鏈)形式移位出采集的幀數(shù)據(jù)。如圖中所示，由運算放大器420再生該當前幀數(shù)據(jù)，并反饋至移位單元陣列SN、…、S0上。由于將再生的當前幀反饋，所以在當前幀與移位單元陣列S0、…、SM移位出的前一幀之間可求出差值。當前幀與前一幀之間的求差值可由運算放大器410來實現(xiàn)，產(chǎn)生出逐像素的差值幀輸出。這種串行成像系統(tǒng)預定的優(yōu)點在于，它提供出當前幀和差值幀時不需等待到采集完整個幀的像素數(shù)據(jù)之后。一般地說，在能夠產(chǎn)生差值幀之前，必須將第一幀和第二幀這兩幀都采集到。圖4的結(jié)構(gòu)排除了串行成像上的這樣一種限制。運算放大器410和420雖未詳細示明，但本技術(shù)領(lǐng)域內(nèi)的熟練技術(shù)人員是能夠設(shè)計的，不過運算放大器420應具有放大整體信號的能力，而運算放大器410應具有給出兩個信號之差值的能力。
圖5示出了按照本發(fā)明一個實施例的一種每像素求差值的電路。
圖5的實施例，可基于一個關(guān)鍵幀來傳輸多個差值幀。成像裝置首先在圖像輸出端上采集和傳輸關(guān)鍵幀，這里并未對像素求差值。該關(guān)鍵幀通過移位單元S51、S52、…、S54移位出，又反饋入模擬保持寄存器陣列H51、H52、…、H54。在反饋和輸出之前，每個像素先通過再生放大器R5，它使像素的電荷水平再生，以避免在傳輸延時中的損耗。將當前幀送入保持寄存器H51、…、H54的這種反饋可以確保，當下一幀被采集時，該當前幀可作為“前一幀”供應用。隨著這樣地存儲入完成的幀，便可能計算一個差值幀，并將此差值在下一個幀周期上傳輸。
為了做到這一點，每個模擬保持寄存器H51、H52、H53和H54的輸出分別連接至差分運算放大器O51、O52、O53、和O54的一個輸入端。當前幀由模擬光電單元A51、A52、A53和A54分別采集，它們的輸出分別去往差分運算放大器O51、O52、O53和O54的另一個輸入端。當傳輸關(guān)鍵幀之后，在輸出端上，可以傳輸出每一個隨后的幀，作為由放大器O51、O52、O53和O54計算出的、相對于前一幀或關(guān)鍵幀的差值?？梢韵蜉敵龆藗鬏敵鋈魏螖?shù)目的、隨后的“差值”幀，直至所需的下一個關(guān)鍵幀到來。對于每一個移位單元S51、S52、S53和S54的輸入，或者是由模擬光電單元A51、A52、A53和A54分別采集的原來的整個幀(當需要一個關(guān)鍵幀時，或者是由運算放大器O51、O52、O53和O54分別給出的差分輸出。
一個選擇信號(未示出)傳送給模擬復用器M51、M52、M53和M54組中的每一個，它按照使用用戶的需要使合適的關(guān)鍵幀數(shù)據(jù)(幀A51、A52、A53和A54)或差值幀數(shù)據(jù)(O51、O52、O53和O54)分別去到移位單元S51、S52、S53和S54。如圖中所示，其它的移位單元行和類似的結(jié)構(gòu)可以一個接一個地一起連接起來。
圖6示明了按照本發(fā)明一個實施例的一種每像素數(shù)字差值產(chǎn)生電路。
圖6的實施例，可基于一個關(guān)鍵幀來傳輸多個差值幀。成像裝置首先在圖像輸出端上采集和傳輸關(guān)鍵幀，這里并未對像素求差值。由數(shù)字光電單元(像素)D61、D62、D63和D64采集的初始關(guān)鍵幀在輸出總線600上輸出。同時，數(shù)字像素D61、D62、D63和D64分別饋送至一系列數(shù)字保持寄存器H61、H62、H63和H64上。當前幀送入保持寄存器H61、…、H64的這種反饋可以保證，當下一幀被采集時，該當前幀可作為“前一幀”供應用。隨著這樣地存儲入完成的幀，便可能計算一個差值幀，并將此差值在下一個幀周期上傳輸。
為了做到這一點，每個數(shù)字保持寄存器H61、H62、H63和H64的輸出分別連接至減法單元S61、S62、S63和S64的一個輸入端。當前幀由數(shù)字光電單元D61、D62、D63和D64采集，它們的輸出分別去往減法單元S61、S62、S63和S64的另一個輸入端。在關(guān)鍵幀之后，圖像輸出端上每個隨后的幀是以減法單元S61、S62、S63和S64所計算的、相對于前一幀的差值進行傳輸?shù)??？梢韵蜉敵龆藗鬏敵鋈魏螖?shù)目的、隨后的“差值”幀，直至所需的下一個關(guān)鍵幀。
根據(jù)申請人/用戶的需要，輸出總線可傳輸或是關(guān)鍵幀像素(來自D61、D62、D63和D64)，或是差值幀像素(來自減法單元S61、S62、S63和S64)?；谒璧哪Ｊ剑顷P(guān)鍵幀還是差值幀，將一個選擇信號(未示出)傳送至數(shù)字復用器M61、M62、M63和M64之每一個上，由此，如圖中指明地選通關(guān)鍵幀像素(來自各別的D61、D62、D63和D64)或是差值幀像素(來自各別的S61、S62、S63和S64)的路由。類似于由M61、M62、M63和M64提供的輸出信號，其它的數(shù)字輸出信號可以重復地構(gòu)成，用于每個所希望的像素。
這里給出的示例性實施例僅僅是示明本發(fā)明的原理，不應當認作為是對本發(fā)明范疇的限制。實質(zhì)上，本發(fā)明的原理可以應用于廣泛范圍的系統(tǒng)內(nèi)，以實現(xiàn)這里所說明的優(yōu)點，并實現(xiàn)其它優(yōu)點或者又滿足其它的目的。
權(quán)利要求
1.一種系統(tǒng)，包含有一個數(shù)字光電元件陣列；多個數(shù)字保持寄存器，所述數(shù)字光電元件陣列中的每個數(shù)字光電元件的輸出連接至相應的數(shù)字保持寄存器；多個減法單元，各個減法單元的第一輸入連接至一個數(shù)字光電元件，各個減法單元的第二輸入連接至與所述第一輸入相連的所述數(shù)字光電元件的所述相應的數(shù)字保持寄存器；以及多個數(shù)字復用器，各個數(shù)字復用器的第一輸入連接至所述多個減法單元中的一個減法單元，各個數(shù)字復用器的第二輸入連接至相應的數(shù)字光電元件，所述相應的數(shù)字光電元件與連接至所述數(shù)字復用器的第一輸入的所述減法單元相連。
2.權(quán)利要求1的系統(tǒng)，還包括輸出總線，所述多個數(shù)字復用器中的各個數(shù)字復用器的輸出連接至所述輸出總線。
3.權(quán)利要求2的系統(tǒng)，其特征在于發(fā)送至所述多個數(shù)字復用器中的各個數(shù)字復用器的選擇信號選擇來自所述數(shù)字光電元件陣列的信號或者來自所述多個減法單元的信號。
4.權(quán)利要求3的系統(tǒng)，其特征在于所述選擇信號選擇來自所述數(shù)字復用器陣列的信號導致傳送所述數(shù)字光電元件陣列的關(guān)鍵幀數(shù)據(jù)。
5.權(quán)利要求3的系統(tǒng)，其特征在于所述選擇信號選擇來自多個差分運算放大器的信號導致傳送所述數(shù)字光電元件陣列的差值幀數(shù)據(jù)。
6.一種方法，包括將來自數(shù)字光電元件陣列中的各個數(shù)字光電元件的信號傳送至多個寄存器中的一個相應寄存器；確定來自所述數(shù)字光電元件陣列中的各個數(shù)字光電元件的信號與來自用于所述數(shù)字光電元件的所述多個寄存器中的所述相應寄存器的信號之間的差；以及從以下選項中選擇一組信號來自所述數(shù)字光電元件陣列的信號，或者所確定的來自所述數(shù)字光電元件陣列中的各個數(shù)字光電元件的信號與來自所述數(shù)字光電元件的所述多個寄存器中的所述相應寄存器的信號之間的差。
7.權(quán)利要求6的方法，還包括傳送所述選擇的那組信號至總線。
8.權(quán)利要求7的方法，還包括發(fā)送一個選擇信號來確定所述選擇的那組信號。
9.權(quán)利要求8的方法，其特征在于，如果所述選擇信號選擇來自所述數(shù)字光電元件陣列的信號，則這種選擇導致傳送所述數(shù)字光電元件陣列的關(guān)鍵幀數(shù)據(jù)。
10.權(quán)利要求8的方法，其特征在于，如果所述選擇信號選擇來自所述數(shù)字光電元件陣列中的各個數(shù)字光電元件的信號與來自所述多個寄存器中的所述相應寄存器的信號之間的差，則這種選擇導致傳送所述數(shù)字光電元件陣列的差值幀數(shù)據(jù)。
11.一種裝置，包括一個數(shù)字光電元件，所述數(shù)字光電元件的輸出代表一個圖像區(qū)域的光強，作為像素值；一個保持寄存器，它連接至所述數(shù)字光電元件，所述保持寄存器從所述數(shù)字光電元件接收所述像素值；一個減法單元，它連接至所述數(shù)字光電元件和所述保持寄存器，所述減法單元求出所述數(shù)字光電元件的當前像素值與存儲在所述保持寄存器中的所述數(shù)字光電元件的上一像素值之差；一條輸出總線；以及一個復用器，它連接至所述減法單元和所述數(shù)字光電元件，所述復用器選擇性地將所述減法單元的輸出和所述數(shù)字光電元件的像素值之一提供給所述輸出總線。
12.權(quán)利要求11的裝置，其特征在于，如果選擇所述數(shù)字光電元件的像素值，則在所述總線上傳送所述像素值，作為一部分關(guān)鍵幀數(shù)據(jù)。
13.權(quán)利要求12的裝置，其特征在于，如果選擇所述減法單元的輸出，則在所述總線上傳送所述輸出，作為一部分差值幀數(shù)據(jù)。
全文摘要
一種裝置，包含有一個模擬光電元件，適應于捕獲入射在它上面的光能量，給出模擬信號；一個取樣和保持放大器，連接于光電元件上以存儲模擬信號；以及一個數(shù)字變換器，連接于所述放大器上，該變換器將模擬信號變換成數(shù)字值，其數(shù)字值正比于光能量的大小。
文檔編號H04N5/376GK1525737SQ20041000480
公開日2004年9月1日 申請日期2000年5月2日 優(yōu)先權(quán)日1999年5月7日
發(fā)明者P·E·馬蒂森, P E 馬蒂森 申請人:英特爾公司