專利名稱：實(shí)時(shí)圖像異步采集接口裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種實(shí)時(shí)圖像異步采集接口裝置，特別是一種適用于便攜設(shè)備的實(shí)時(shí)圖像異步采集接口裝置。
背景技術(shù)：
為了降低系統(tǒng)成本，縮小設(shè)備體積，對(duì)于便攜式設(shè)備中的實(shí)時(shí)圖像處理芯片而言，所處理的外部圖像傳感器信號(hào)一般以二進(jìn)制數(shù)據(jù)流的方式直接進(jìn)入芯片。
一種普遍的情況是圖像傳感器在輸出二進(jìn)制的圖像數(shù)據(jù)流時(shí)，其輸出所參考的時(shí)鐘與圖像處理芯片正常工作所參考的時(shí)鐘，兩者之間存在諸如頻率、相位等差異。顯然，圖像處理芯片必須包含有異步圖像采集接口，以正確讀取輸入二進(jìn)制圖像數(shù)據(jù)流中的信息。正確讀取圖像傳感器所提供的數(shù)據(jù)是圖像處理系統(tǒng)所必備的基本功能之一。
請(qǐng)參閱圖1，為圖像處理系統(tǒng)的一種典型構(gòu)造。其中，PCLK為圖像傳感器11輸出的二進(jìn)制圖像數(shù)據(jù)流所采用的參考時(shí)鐘，CLK為圖像處理模塊的工作參考時(shí)鐘。圖像傳感器11輸出未經(jīng)調(diào)制的二進(jìn)制圖像數(shù)據(jù)流到實(shí)時(shí)圖像異步采集接口裝置13，實(shí)時(shí)圖像異步采集接口裝置13對(duì)接收到的圖像數(shù)據(jù)流進(jìn)行同步處理，將其轉(zhuǎn)換為經(jīng)過調(diào)制的二進(jìn)制圖像數(shù)據(jù)流，傳送至實(shí)時(shí)圖像處理主模塊。
目前，主要的圖像傳感器包括CCD(Charge Coupled Device，電荷耦合裝置)和CMOS(Complementary Metal-Oxide-Semiconductor Transistor，互補(bǔ)型金屬氧化物半導(dǎo)體)兩類。圖像傳感器的工作原理均為通過光-電轉(zhuǎn)換效應(yīng)，將采集到光學(xué)信號(hào)轉(zhuǎn)換成電信號(hào)后再通過模擬-數(shù)字轉(zhuǎn)換電路加以輸出。輸出的數(shù)據(jù)流可以是原始Bayer數(shù)據(jù)格式(美國柯達(dá)公司提出的一種原始圖像數(shù)據(jù)格式)，也可以是其他經(jīng)過色域空間轉(zhuǎn)換后的數(shù)據(jù)格式，如YCbCr 4:2:2格式(一種國際通用的視頻圖像傳輸數(shù)據(jù)格式)。除了像素?cái)?shù)據(jù)輸出外，圖像傳感器還會(huì)輸出表征一幀圖像開始/結(jié)束的幀同步時(shí)序信號(hào)(VSYNC)以及一幀中每行像素?cái)?shù)據(jù)開始/結(jié)束的行同步時(shí)序信號(hào)(HREF)。
圖2描述了一種時(shí)序信號(hào)和圖像數(shù)據(jù)(DATA)間的時(shí)序關(guān)系。但各圖像傳感器生產(chǎn)廠家在定義時(shí)序信號(hào)時(shí)存在差異。圖2中所示的幀同步信號(hào)在保持低電平，且行同步信號(hào)在保持高電平時(shí)，圖像數(shù)據(jù)才會(huì)有效。某些廠家生產(chǎn)的圖像傳感器規(guī)定的幀同步信號(hào)可能是高電平有效，而行同步信號(hào)也可能會(huì)規(guī)定為低電平有效。另外，某些廠家可能規(guī)定用參考時(shí)鐘(PCLK)的上升沿對(duì)圖像數(shù)據(jù)進(jìn)行采樣，而另外廠商則規(guī)定用PCLK的下降沿進(jìn)行采樣。
在設(shè)計(jì)實(shí)時(shí)圖像異步采集接口裝置時(shí)，對(duì)輸入信號(hào)的時(shí)序假定需要符合實(shí)際所采用的圖像傳感器的時(shí)序定義。在手持便攜設(shè)備應(yīng)用中，由于圖像傳感器在輸出連續(xù)圖像的數(shù)據(jù)流時(shí)，其輸出中途不能被打斷。為了保證整個(gè)圖像處理流程不會(huì)發(fā)生溢出錯(cuò)誤，圖像處理芯片接收數(shù)據(jù)的參考時(shí)鐘頻率會(huì)高于圖像傳感器的輸出數(shù)據(jù)參考時(shí)鐘頻率。目前的集成電路生產(chǎn)工藝可以很容易的滿足圖像處理芯片的速度要求。
現(xiàn)有用于便攜設(shè)備的圖像異步采集接口裝置設(shè)計(jì)存在兩種技術(shù)方案第一種方案是采用兩級(jí)D觸發(fā)器串連。請(qǐng)參閱圖3，圖像傳感器輸出的未經(jīng)調(diào)制的二進(jìn)制圖像數(shù)據(jù)流通過兩級(jí)串連的D觸發(fā)器21后，轉(zhuǎn)換為經(jīng)過調(diào)制的二進(jìn)制圖像數(shù)據(jù)流進(jìn)入圖像處理芯片。該方案雖然設(shè)計(jì)簡單，但正確工作的限制條件較多，適用范圍偏窄。由于需要保證在圖像處理芯片的工作時(shí)鐘域看來，經(jīng)過同步的圖像數(shù)據(jù)總線中的每一位信號(hào)在圖像處理芯片的工作時(shí)鐘的工作觸發(fā)沿(有些芯片設(shè)置的是時(shí)鐘上升沿，有些芯片設(shè)置的是時(shí)鐘下降沿)都必須有效，因此需要確保圖像處理芯片的數(shù)據(jù)接收參考時(shí)鐘頻率必須至少是圖像傳感器的輸出數(shù)據(jù)參考時(shí)鐘頻率的三倍。如果參考時(shí)鐘信號(hào)存在較大畸變，則異步采樣接口能夠正確工作所要求的頻率差會(huì)更大。顯然，本方案存在較明顯的速度限制。當(dāng)圖像處理芯片要求處理大分辨率的圖像時(shí)，其硬件支持的需求較高。故本方案雖然成本較低，但不能滿足實(shí)時(shí)圖像采集的高速要求。
第二種方案是對(duì)圖像信號(hào)總線中的每一位信號(hào)均采用一個(gè)異步FIFO(First-In First-Out，先入先出隊(duì)列)作為緩存。請(qǐng)參閱圖4，圖像傳感器輸出的圖像數(shù)據(jù)寫入FIFO 21中，圖像處理模塊從FIFO 21中讀取數(shù)據(jù)。讀寫控制邏輯必須保證FIFO 21不出現(xiàn)溢出。本方案存在兩個(gè)主要缺點(diǎn)FIFO 21的讀寫控制邏輯設(shè)計(jì)難度較高，且FIFO 21物理實(shí)現(xiàn)所采用的存儲(chǔ)器結(jié)構(gòu)具有硬件開銷較大的缺陷。而由于消費(fèi)類便攜設(shè)備對(duì)降低成本具有較高的要求，故該方案雖然能夠滿足工作速度的要求，但是由于成本缺陷，而不適用于消費(fèi)類便攜式設(shè)備。

發(fā)明內(nèi)容本發(fā)明所要解決的技術(shù)問題在于提供一種實(shí)時(shí)圖像異步采集接口裝置，特別是一種適用于便攜設(shè)備的實(shí)時(shí)圖像異步采集接口裝置。
為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是一種實(shí)時(shí)圖像異步采集接口裝置，用于對(duì)圖像傳感器輸出的圖像數(shù)據(jù)流進(jìn)行同步處理，供圖像處理模塊讀取，該裝置包括控制邏輯部分和數(shù)據(jù)緩存部分，其數(shù)據(jù)緩存部分為一寄存器堆，在邏輯上劃分為兩個(gè)寄存器組，圖像傳感器輸出的圖像數(shù)據(jù)以組為單位交替寫入所述兩個(gè)邏輯寄存器組的寄存器，圖像處理模塊以組為單位對(duì)所述兩個(gè)邏輯寄存器組的寄存器中的圖像數(shù)據(jù)進(jìn)行讀取。
本發(fā)明的實(shí)時(shí)圖像異步采集接口裝置不但硬件成本十分低廉，能夠達(dá)到較高的采集速度，并能容忍畸變程度較大的參考時(shí)鐘輸入，能夠有較寬的工作環(huán)境適應(yīng)范圍。

圖1是圖像處理系統(tǒng)的一種典型構(gòu)造框圖。
圖2是圖像處理系統(tǒng)時(shí)序信號(hào)和圖像數(shù)據(jù)間的時(shí)序關(guān)系圖。
圖3是現(xiàn)有圖像異步采集接口裝置采用兩級(jí)D觸發(fā)器串連方案的結(jié)構(gòu)框圖。
圖4是現(xiàn)有圖像異步采集接口裝置采用異步FIFO作為緩存方案的結(jié)構(gòu)框圖。
圖5是本發(fā)明圖像異步采集接口裝置的結(jié)構(gòu)框圖。
圖6是本發(fā)明數(shù)據(jù)緩存部分邏輯劃分的示意圖。
圖7是本發(fā)明對(duì)數(shù)據(jù)緩存部分的寄存器組進(jìn)行讀寫操作的流程圖。
具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的描述。
本發(fā)明是一種適用于便攜設(shè)備的實(shí)時(shí)圖像異步采集接口裝置，該裝置的作用在于對(duì)圖像傳感器的輸出信號(hào)作出調(diào)整，使其能夠被圖像處理芯片正確讀取。該裝置對(duì)圖像數(shù)據(jù)流的調(diào)整也被稱為“同步處理”。
本發(fā)明中設(shè)計(jì)的裝置所針對(duì)的實(shí)際應(yīng)用環(huán)境存在下述特殊之處圖像傳感器的輸出為二進(jìn)制數(shù)字信號(hào)，模擬信號(hào)需要經(jīng)過模數(shù)轉(zhuǎn)換才能支持；圖像傳感器的數(shù)據(jù)輸出速度不超過圖像處理芯片處理數(shù)據(jù)速度。
請(qǐng)一并參閱圖5至圖7，本發(fā)明的實(shí)時(shí)圖像異步采集接口裝置采用純硬件電路，分為控制邏輯部分、數(shù)據(jù)緩存部分以及兩級(jí)串連的D觸發(fā)器。其中邏輯控制部分主要完成圖7所示的控制功能，同時(shí)管理數(shù)據(jù)緩存部分所包含的兩個(gè)寄存器組的讀寫端口的切換。兩級(jí)串連的D觸發(fā)器用于傳輸幀同步時(shí)序信號(hào)以及行同步時(shí)序信號(hào)。
該數(shù)據(jù)緩存部分物理上可以是一個(gè)整體的寄存器堆，也可以是兩個(gè)或多個(gè)小的寄存器堆。其包括偶數(shù)個(gè)寄存器，邏輯上劃分為兩個(gè)組寄存器組41與寄存器組42，其中歸屬于兩個(gè)邏輯寄存器堆的寄存器容量相同。
圖像傳感器輸出數(shù)據(jù)以組為單位交替順序?qū)懭爰拇嫫鹘M41與寄存器組42所包含的寄存器。當(dāng)寄存器組41的寄存器寫滿時(shí)，發(fā)出寄存器組41對(duì)應(yīng)的滿標(biāo)志信號(hào)，同時(shí)后續(xù)圖像傳感器輸出數(shù)據(jù)寫入寄存器組42的寄存器。當(dāng)寄存器組42的寄存器寫滿時(shí)，發(fā)出寄存器組42對(duì)應(yīng)的滿標(biāo)志信號(hào)，同時(shí)后續(xù)圖像傳感器輸出數(shù)據(jù)寫入寄存器組41的寄存器。
當(dāng)寄存器組41滿標(biāo)志信號(hào)有效后，圖像處理模塊開始讀取寄存器組41所包含寄存器的值。讀取完成后將寄存器組41滿標(biāo)志信號(hào)無效化。類似的，當(dāng)寄存器組42滿標(biāo)志信號(hào)有效后，圖像處理模塊開始讀取寄存器組42所包含寄存器的值。讀取完成后將寄存器組42滿標(biāo)志信號(hào)無效化。所述兩個(gè)寄存器組的滿標(biāo)志信號(hào)通過兩級(jí)串連的D觸發(fā)器從圖像傳感器工作參考時(shí)鐘域傳送到圖像處理模塊工作參考時(shí)鐘域。
在上述流程中，圖像傳感器數(shù)據(jù)交替寫入雙寄存器組是不受控、連續(xù)的的；圖像處理芯片交替讀取雙寄存器組是可控、非連續(xù)的。故其主流程為交替寫入操作，交替讀取操作位于從屬地位。此外，順序讀取寄存器組A中所有數(shù)據(jù)的操作必須在下一次寫滿寄存器組B的操作結(jié)束前完成。同樣，順序讀取寄存器組B中所有數(shù)據(jù)的操作必須在下一次寫滿寄存器組A的操作結(jié)束前完成。
由于圖像處理模塊的工作參考時(shí)鐘頻率要高于圖像傳感器的工作參考時(shí)鐘的頻率，雖然圖像傳感器輸出數(shù)據(jù)在寫入寄存器堆時(shí)不受寄存器組41(或42)滿標(biāo)志信號(hào)的控制，但只要合理設(shè)置每組的寄存器數(shù)量，仍然可以保證在圖像傳感器輸出數(shù)據(jù)新寫入某組寄存器堆時(shí)，這組寄存器堆中之前存儲(chǔ)的數(shù)據(jù)已經(jīng)被圖像處理模塊完全讀取。
每組寄存器的數(shù)量由圖像處理模塊工作速度和圖像傳感器工作速度的差異確定。取每組寄存器由m個(gè)寄存器構(gòu)成，圖像處理模塊取數(shù)據(jù)的工作時(shí)鐘周期時(shí)間長度為Tclk，圖像傳感器輸出數(shù)據(jù)的工作時(shí)鐘周期時(shí)間長度為Tpclk。則寄存器堆中的寄存器數(shù)量m必須滿足如下式所示的關(guān)系m+2m≤TpclkTclk]]>式(1)根據(jù)式(1)可知，當(dāng)圖像處理模塊比圖像傳感器工作速度快1倍時(shí)，整個(gè)異步接口僅需要2×m＝4個(gè)寄存器。當(dāng)圖像處理模塊比圖像傳感器工作速度快2倍及以上時(shí)，整個(gè)異步接口僅需要2個(gè)寄存器。同時(shí)，由于本方案設(shè)計(jì)中引入了數(shù)據(jù)緩存的設(shè)計(jì)，即使圖像傳感器和圖像處理模塊的工作參考時(shí)鐘有一定程度的畸變，數(shù)據(jù)依然能夠準(zhǔn)確的得到采集。
對(duì)于一幀圖像開始/結(jié)束的幀同步時(shí)序信號(hào)(VSYNC)以及一幀中每行像素?cái)?shù)據(jù)開始/結(jié)束的行同步時(shí)序信號(hào)(HREF)，由于這兩個(gè)時(shí)序信號(hào)都是一位寬的信號(hào)，采用兩級(jí)串連的D觸發(fā)器進(jìn)行傳輸即可滿足要求。此外，也可以將這兩個(gè)時(shí)序信號(hào)當(dāng)作是像素?cái)?shù)據(jù)額外的兩位，對(duì)應(yīng)的將寄存器堆中的寄存器位寬擴(kuò)展兩位用來存儲(chǔ)這兩個(gè)時(shí)序信號(hào)的信息。而在讀取像素?cái)?shù)據(jù)時(shí)，把存儲(chǔ)時(shí)序信息的這額外的兩位識(shí)別為VSYNC和HREF信號(hào)。如此也可實(shí)現(xiàn)VSYNC和HREF時(shí)序信號(hào)的異步實(shí)時(shí)采集。
以下為一個(gè)實(shí)際應(yīng)用的例子CMOS圖像傳感器以27兆赫茲的參考時(shí)鐘頻率輸出連續(xù)圖像信號(hào)。該圖像信號(hào)為30fps(幀/秒)，分辨率為640×480的YCbCr 4:2:2格式的連續(xù)圖像信號(hào)。圖像傳感器所連接的多媒體處理芯片集成了本發(fā)明的實(shí)時(shí)圖像異步采集接口以及實(shí)時(shí)圖像處理單元。芯片的工作參考時(shí)鐘頻率為60兆赫茲。圖像傳感器與多媒圖處理芯片的工作頻率之比略小于1∶2。異步圖像采集接口中的每個(gè)寄存器堆中包含兩個(gè)寄存器，即總共只有4個(gè)寄存器。該集成的實(shí)時(shí)圖像異步采集接口在60兆赫茲的工作頻率下能夠正確的采集以27兆赫茲頻率工作的CMOS圖像傳感器的輸出。
而對(duì)于手持便攜式設(shè)備而言，分辨率為352×288，30fps的連續(xù)圖像就可以被認(rèn)為是實(shí)時(shí)性的。工作在15兆赫茲頻率的僅使用4個(gè)寄存器的實(shí)時(shí)圖像異步采集接口裝置就可以支持這種實(shí)時(shí)圖像輸入的正確采集。因此，本發(fā)明的技術(shù)方案可以很好的滿足圖像采集的要求。
權(quán)利要求
1.一種實(shí)時(shí)圖像異步采集接口裝置，用于對(duì)圖像傳感器輸出的圖像數(shù)據(jù)流進(jìn)行同步處理，供圖像處理模塊讀取，所述裝置包括控制邏輯部分和數(shù)據(jù)緩存部分，其特征在于，所述數(shù)據(jù)緩存部分為一寄存器堆，在邏輯上劃分為第一寄存器組與第二寄存器組，所述圖像傳感器輸出的圖像數(shù)據(jù)以組為單位交替寫入所述兩個(gè)邏輯寄存器組的寄存器，所述圖像處理模塊以組為單位對(duì)所述兩個(gè)邏輯寄存器組的寄存器中的圖像數(shù)據(jù)進(jìn)行交替讀取。
2.如權(quán)利要求1所述的實(shí)時(shí)圖像異步采集接口裝置，其特征在于，所述裝置進(jìn)一步包括兩組兩級(jí)串連的D觸發(fā)器。
3.如權(quán)利要求1所述的實(shí)時(shí)圖像異步采集接口裝置，其特征在于，所述數(shù)據(jù)緩存部分物理上包括若干小寄存器堆，其中歸屬于所述兩個(gè)邏輯寄存器堆的寄存器容量相同。
4.如權(quán)利要求1所述的實(shí)時(shí)圖像異步采集接口裝置，其特征在于，所述兩個(gè)邏輯寄存器組的數(shù)據(jù)寫入流程為將圖像傳感器輸出的圖像數(shù)據(jù)寫入所述第一寄存器組的寄存器；當(dāng)所述第一寄存器組寫滿時(shí)，發(fā)出其對(duì)應(yīng)的滿標(biāo)志信號(hào)，同時(shí)將后續(xù)數(shù)據(jù)寫入所述第二寄存器組的寄存器；當(dāng)所述第二寄存器組寫滿時(shí)，發(fā)出其對(duì)應(yīng)的滿標(biāo)志信號(hào)，同時(shí)將后續(xù)數(shù)據(jù)寫入所述第一寄存器組的寄存器。
5.如權(quán)利要求4所述的實(shí)時(shí)圖像異步采集接口裝置，其特征在于，所述兩個(gè)邏輯寄存器組的數(shù)據(jù)讀取流程為當(dāng)所述第一寄存器組的滿標(biāo)志信號(hào)有效后，所述圖像處理模塊對(duì)所述第一寄存器組所包含寄存器的值進(jìn)行讀取，讀取完成后，將其滿標(biāo)志信號(hào)無效化；當(dāng)所述第二寄存器組的滿標(biāo)志信號(hào)有效后，所述圖像處理模塊對(duì)所述第二寄存器組所包含寄存器的值進(jìn)行讀取，讀取完成后，將其滿標(biāo)志信號(hào)無效化。
6.如權(quán)利要求4或5所述的實(shí)時(shí)圖像異步采集接口裝置，其特征在于，所述兩個(gè)邏輯寄存器組的滿標(biāo)志信號(hào)通過兩級(jí)串連的D觸發(fā)器從圖像傳感器工作參考時(shí)鐘域傳送到圖像處理模塊工作參考時(shí)鐘域。
7.如權(quán)利要求1所述的實(shí)時(shí)圖像異步采集接口裝置，其特征在于，若取所述邏輯寄存器組每組的寄存器數(shù)量為m，所述圖像處理模塊取數(shù)據(jù)的工作時(shí)鐘周期時(shí)間長度為Tclk，所述圖像傳感器輸出數(shù)據(jù)的工作時(shí)鐘周期時(shí)間長度為Tpclk，則所述寄存器數(shù)量m由下式?jīng)Q定m+2m≤TpclkTclk.]]>
8.如權(quán)利要求2所述的實(shí)時(shí)圖像異步采集接口裝置，其特征在于，所述兩級(jí)串連的D觸發(fā)器用于傳輸幀同步時(shí)序信號(hào)以及行同步時(shí)序信號(hào)。
9.如權(quán)利要求1所述的實(shí)時(shí)圖像異步采集接口裝置，其特征在于，所述裝置的幀同步時(shí)序信號(hào)以及行同步時(shí)序信號(hào)作為圖像數(shù)據(jù)額外的兩位，其存儲(chǔ)于所述邏輯寄存器堆中的寄存器擴(kuò)展的兩位中進(jìn)行傳輸，在讀取圖像數(shù)據(jù)時(shí)，將存儲(chǔ)所述時(shí)序信號(hào)的兩位分別識(shí)別為幀同步時(shí)序信號(hào)及行同步時(shí)序信號(hào)。
10.一種對(duì)實(shí)時(shí)圖像數(shù)據(jù)流進(jìn)行同步處理的方法，用于對(duì)圖像傳感器輸出的實(shí)時(shí)圖像數(shù)據(jù)進(jìn)行處理，供圖像處理模塊讀取，其特征在于，所述方法包括以下步驟將實(shí)時(shí)圖像異步采集接口裝置的數(shù)據(jù)緩存部分在邏輯上劃分為兩個(gè)寄存器組；將所述圖像傳感器輸出的圖像數(shù)據(jù)以組為單位交替寫入所述兩個(gè)邏輯寄存器組的寄存器；使所述圖像處理模塊以組為單位對(duì)所述兩個(gè)邏輯寄存器組的寄存器中的圖像數(shù)據(jù)進(jìn)行交替讀取。
全文摘要
本發(fā)明涉及一種實(shí)時(shí)圖像異步采集接口裝置，用于對(duì)圖像傳感器輸出的圖像數(shù)據(jù)流進(jìn)行同步處理，供圖像處理模塊讀取，該裝置包括控制邏輯部分和數(shù)據(jù)緩存部分，其數(shù)據(jù)緩存部分為一寄存器堆，在邏輯上劃分為兩個(gè)寄存器組，圖像傳感器輸出的圖像數(shù)據(jù)以組為單位交替寫入所述兩個(gè)邏輯寄存器組的寄存器，圖像處理模塊以組為單位對(duì)所述兩個(gè)邏輯寄存器組的寄存器中的圖像數(shù)據(jù)進(jìn)行讀取。本發(fā)明的實(shí)時(shí)圖像異步采集接口裝置硬件成本低廉，能夠達(dá)到較高的采集速度，并能容忍畸變程度較大的參考時(shí)鐘輸入，有較寬的工作環(huán)境適應(yīng)范圍。
文檔編號(hào)H04N5/77GK1874463SQ200610061478
公開日2006年12月6日 申請(qǐng)日期2006年6月29日 優(yōu)先權(quán)日2006年6月29日
發(fā)明者李仕杰 申請(qǐng)人:深圳安凱微電子技術(shù)有限公司