專利名稱：一種基于多相濾波技術(shù)的自適應(yīng)視頻圖像縮放引擎的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字視頻圖像處理與顯示技術(shù)領(lǐng)域，設(shè)計視頻圖像縮放引 擎，具體涉及一種基于多相濾波器的自適應(yīng)視頻圖像縮放引擎。
背景技術(shù)：
視頻圖像縮放引擎是視頻顯示處理系統(tǒng)中不可或缺的部分，它能夠?qū)⒍?種多樣不同格式分辨率的輸入圖像進行空間變換，放大或縮小到特定空間分 辨率，以達到在目標(biāo)尺寸大小的顯示終端上進行顯示回放的目的。早期的圖 像縮放設(shè)備大多是基于線性或三次插值算法，這些插值方法雖易于硬件實 現(xiàn)，但其插值效果較差，經(jīng)插值后的圖像細節(jié)損失嚴(yán)重并常常伴有嚴(yán)重的振鈴(ringing)噪聲。隨著數(shù)字視頻技術(shù)的飛速發(fā)展和人們對多媒體顯示產(chǎn) 品日益增長的需求，視頻圖像縮放技術(shù)受到越來越廣泛的重視和應(yīng)用。與此 同時，多媒體視頻領(lǐng)域日益涌現(xiàn)出各種各樣的視頻格式分辨率，如QVGA、 WXGA、 1080P等，及多種多樣的顯示設(shè)備，如智能手機、MP4播放器、大尺 寸平板電視等，都對視頻縮放引擎提出了更多新的要求，如何設(shè)計一款支持 眾多分辨率縮放同時能夠產(chǎn)生清晰、沒有振鈴噪聲的圖像的視頻縮放引擎已 經(jīng)成為各大視頻圖像顯示設(shè)備廠商的研究熱點。多相濾波技術(shù)是數(shù)字信號處理技術(shù)的重要一個分支，該理論認(rèn)為所有帶 限數(shù)字信號經(jīng)過插值、低通濾波和抽取后都可以變化到新的采樣頻率，在選 擇合適低通濾波器的情況下，甚至可以不損失原有信息地恢復(fù)出新采樣率的 信號來；同時，該理論還提出一種易于硬件實現(xiàn)的多相濾波器結(jié)構(gòu)，該技術(shù) 將上述低通濾波器分成若干相位分別進行濾波操作，節(jié)省了硬件開銷，簡化 了濾波器的設(shè)計，申請人將該技術(shù)應(yīng)用于視頻圖像縮放領(lǐng)域，為設(shè)計新型的圖像縮放引擎帶來了方便。發(fā)明內(nèi)容本發(fā)明的目的在于，提供一種可用于各種視頻顯示設(shè)備的高質(zhì)量圖像縮 放引擎。該圖像縮放引擎采用一種基于多相濾波技術(shù)的自適應(yīng)插值方法，首 先對圖像內(nèi)容進行分析，然后根據(jù)各像素點的特性進行自適應(yīng)插值計算，最 終獲得清晰無噪聲的圖像。其中最為核心的插值濾波器采用了多相結(jié)構(gòu)進行 組織設(shè)計，該濾波器根據(jù)輸出周期的變化濾波器系數(shù)，計算所需結(jié)構(gòu)，這種 時分復(fù)用的結(jié)構(gòu)節(jié)省資源，非常易于硬件實現(xiàn)。同時，本發(fā)明還提出了一種 基于塊的并行圖像數(shù)據(jù)存儲結(jié)構(gòu)，采用此數(shù)據(jù)組織結(jié)構(gòu)后，發(fā)明將水平放大 與縮小單元集成入了統(tǒng)一運算單元，用單一濾波器同時實現(xiàn)了圖像上下縮放 變換，簡化了結(jié)構(gòu)又節(jié)省了硬件資源開銷。為了實現(xiàn)上述任務(wù)，本發(fā)明采取如下的解決技術(shù)方案一種基于多相濾波技術(shù)的自適應(yīng)視頻圖像縮放引擎，其特征在于，該圖 像縮放引擎內(nèi)部結(jié)構(gòu)包括一輸入圖像內(nèi)容分析模塊，它包括降噪濾波器、邊緣檢測器和振鈴估計 器，用于對輸入視頻圖像進行噪聲消除預(yù)處理，邊緣分析，提取粗略邊緣和 細節(jié)，去除孤立噪聲點；最后進行振鈴噪聲預(yù)測計算；噪濾波器用于對輸入視頻圖像進行噪聲消除預(yù)處理，獲得干凈穩(wěn)定的圖 像序列供后續(xù)圖像檢測分析使用，降噪濾波器采用非線性高斯濾波器；邊緣檢測器，用于對輸入圖像進行邊緣分析，提取粗略邊緣和細節(jié)(圖 像高頻信息)；然后經(jīng)過一系列形態(tài)學(xué)操作，如邊緣腐蝕、膨脹對提取的邊 緣圖像進行進一步精細后處理，去除孤立噪聲點；振鈴估計器，用于對振鈴噪聲預(yù)測計算；一存儲器讀寫控制模塊，包括寫控制模塊、行存陣列和讀控制模塊，其中寫模塊根據(jù)輸入視頻圖像的同步和有效信號串行地將數(shù)據(jù)根據(jù)空間結(jié) 構(gòu)要求依次寫入行存陣列的每條行存內(nèi)；讀模塊根據(jù)插值計算電路產(chǎn)生的控制信號，并行地將所需的數(shù)據(jù)依次從 行存中讀出，并進行空間重排序；行存陣列，對輸入數(shù)據(jù)進行空間重組，實現(xiàn)從串行輸入到并行輸出的轉(zhuǎn) 換和數(shù)據(jù)時鐘頻率的變換；一基于多相結(jié)構(gòu)的水平和垂直縮放模塊，分別包括系數(shù)存儲單元和水平 縮放濾波器，系數(shù)存儲單元和垂直縮放濾波器，其中的水平和垂直濾波器主 要用于對輸入點進行插值計算求得輸出點；水平和垂直濾波器采用了多相結(jié) 構(gòu)，濾波器根據(jù)輸出周期變化濾波系數(shù)，水平和垂直濾波器的總長度等于各 相位長度綜合；一輸入同步檢測產(chǎn)生模塊，包括輸入同步檢測和輸出同步檢測，主要用 于控制整個系統(tǒng)的時序和同步，該模塊根據(jù)輸入輸出圖像的空間變化比率關(guān) 系，隨輸入信號周期的產(chǎn)生所需的存儲器控制信號和輸入行場同步有效信 號；在輸入同步信號的控制下，圖像數(shù)據(jù)存儲模塊的寫控制模塊將輸入圖像 數(shù)據(jù)逐行寫入到行存陣列中，并控制周期性地在六條行存寫端口循環(huán)操作， 保證有效利用存儲資源；同時，還將輸入數(shù)據(jù)送入圖像內(nèi)容分析模塊，圖像 內(nèi)容分析模塊的降噪濾波器先對輸入的圖像視頻數(shù)據(jù)進行降噪預(yù)處理，去除 圖像在傳輸過程中引入的各種噪聲，獲得干凈穩(wěn)定的圖像序列；然后由邊緣 檢測器對圖像進行邊緣和細節(jié)檢測，提取圖像高頻信息，最后由振鈴估計器 進行振鈴噪聲估計；在同步檢測產(chǎn)生模塊生成的輸出同步信號的控制下，水 平縮放模塊和垂直縮放模塊對從圖像存儲模塊讀出的圖形數(shù)據(jù)進行插值濾 波計算，圖像存儲模塊所使用的系數(shù)由上述振鈴噪聲估計器產(chǎn)生的控制信號 自適應(yīng)地在系數(shù)存儲單元選取。本發(fā)明的特點是采用了自適應(yīng)插值方法來進行圖像插值計算，該方法在 保存圖像細節(jié)和高頻信息方面較傳統(tǒng)方法有很大改善；同時，為了在硬件上 實現(xiàn)水平、垂直濾波器，巧妙的采用了多相結(jié)構(gòu)來實現(xiàn)，并提出了一種有效 節(jié)省行存儲器的數(shù)據(jù)存儲方案。與已有技術(shù)相比，本發(fā)明的技術(shù)效果體現(xiàn)在-1. 本發(fā)明采用自適應(yīng)插值方法進行圖像插值運算，該方法充分利用圖 像各種內(nèi)容和特征，可有效保護圖像邊緣和細節(jié)等高頻信息，使處理后圖像 更加清晰；2. 本發(fā)明采用了可重配置濾波器結(jié)構(gòu)，濾波器的系數(shù)可在線編程，可 根據(jù)不同輸入視頻源進行調(diào)整，獲得更佳的縮放效果；3. 本發(fā)明中濾波器的硬件實現(xiàn)采用了多相濾波技術(shù)，巧妙的將濾波器 進行折疊和系數(shù)劃分，根據(jù)同步產(chǎn)生模塊生成的控制信號周期性的切換系數(shù) 表，該結(jié)構(gòu)簡化了濾波器的實現(xiàn)的復(fù)雜度，有效縮減了硬件資源開銷；4. 本發(fā)明采用了基于內(nèi)容識別的前處理模塊，可對圖像的內(nèi)容進行分 類和識別，產(chǎn)生內(nèi)容信息供后處理模塊使用，使得后面的插值算法計算更加 準(zhǔn)確；5. 本發(fā)明提出了一種并行的數(shù)據(jù)存儲結(jié)構(gòu)，該結(jié)構(gòu)采用串行寫入、并 行讀出的方式，解決了跨時鐘域數(shù)據(jù)插值計算的問題；同時，該結(jié)構(gòu)讀出數(shù) 據(jù)為并行方式，后續(xù)插值計算任務(wù)可在同一時鐘周期內(nèi)計算得到，節(jié)省了 pipeline寄存器，提高了系統(tǒng)時鐘頻率；6. 本發(fā)明設(shè)計的同步檢測和提取模塊可根據(jù)輸入同步信號和縮放比率 自適應(yīng)的產(chǎn)生與輸入信號有固定相差的同步和控制信號，使用該模塊產(chǎn)生的 控制信號，保證了輸入輸出信號的同步性和一直性，避免了存儲器讀寫沖突。


圖1為本發(fā)明的視頻縮放電路的系統(tǒng)結(jié)構(gòu)功能框圖；圖2為圖像檢測與預(yù)處理模塊算法工作流程圖；圖3為并行數(shù)據(jù)存儲結(jié)構(gòu)方案示意圖；圖4為存儲讀寫操作對應(yīng)順序關(guān)系示意圖；圖5為自適應(yīng)濾波器一維方向上各象素點位置與濾波器關(guān)系的示意圖； 圖6為自適應(yīng)濾波器的多相結(jié)構(gòu)圖； 以下結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明。
具體實施方式
參見圖l，本發(fā)明的基于多相濾波結(jié)構(gòu)的自適應(yīng)視頻圖像縮放引擎，其 內(nèi)部基本結(jié)構(gòu)包括圖像內(nèi)容分析模塊、圖像數(shù)據(jù)存儲模塊、同步檢測產(chǎn)生模 塊、水平縮放模塊和垂直縮放模塊；用戶可通過MCU接口設(shè)置寄存器操作控 制各模塊的寄存器和控制輸出信號參數(shù)，對插值濾波器系數(shù)進行在線編程， 從而完成圖像數(shù)據(jù)的檢測、存儲和插值計算功能。視頻圖像數(shù)據(jù)送入系統(tǒng)后，首先進入圖像內(nèi)容分析模塊，它包括降噪濾 波器、邊緣檢測器和振鈴估計器，該模塊的作用是首先分析識別出二維圖 像中的高頻信息，如邊緣、細節(jié)等；根據(jù)人眼視覺感知的特性，人眼只對圖 像中位于平滑區(qū)域的振鈴(Ringing)噪聲比較敏感，因此根據(jù)該原理，圖 像內(nèi)容分析模塊隨后將根據(jù)檢測出的高頻信息預(yù)測估計出這些可能產(chǎn)生振 鈴噪聲的平滑區(qū)域，并將其標(biāo)記出來，用以控制后面插值濾波過程。圖像數(shù)據(jù)存儲模塊包括了數(shù)據(jù)寫控制模塊，存儲器讀控制模塊和行存儲 器陣列三大部分；該模塊主要完成了輸入輸出圖像數(shù)據(jù)的緩存，空間位置映 射變換、輸入輸出數(shù)據(jù)時鐘頻率變換和插值數(shù)據(jù)讀取、重排等任務(wù)。該模塊 為整個視頻圖像縮放引擎的核心，模塊的時序由同步檢測產(chǎn)生模塊嚴(yán)格控 制，保證行存儲器讀寫的穩(wěn)定。同步檢測產(chǎn)生模塊主要用于控制整個系統(tǒng)的時序和同步，該模塊根據(jù)輸 入的同步信號及用戶設(shè)定的縮放比率自動生成所需的輸出同步信號和存儲器讀寫控制信號，控制整個系統(tǒng)的運行與同步。水平和垂直縮放兩個模塊是整個縮放引擎的核心，水平和垂直縮放兩個 模塊應(yīng)用本發(fā)明提出的自適應(yīng)算法及其多相結(jié)構(gòu)濾波器，對輸入圖像數(shù)據(jù)進 行空間二維插值計算，求得輸出圖像中對應(yīng)各點像素值，實現(xiàn)了視頻圖像的 任意比率縮放。如圖2所示，為了提高檢測的精確度，降低圖像原有噪聲的影響，圖像 內(nèi)容分析模塊內(nèi)設(shè)了一噪聲濾波器。該噪聲濾波器使用5x5大小的窗口對圖 像進行高斯降噪，該噪聲濾波器選擇高斯降噪器，可以濾除圖像信號中絕大 多數(shù)的椒鹽和類高斯噪聲，獲得干凈的圖像數(shù)據(jù)，大大提高了后續(xù)信息檢測 的精確度。邊緣檢測器采用了各項指標(biāo)優(yōu)秀的Canny邊緣檢測算子，該算法可根據(jù) 輸入圖像的直方圖特性自適應(yīng)的調(diào)整檢測閾值，調(diào)節(jié)截止頻率，最終獲得完 整的高頻細節(jié)信息。振鈴(Ringing)估計器采用了遞歸形態(tài)學(xué)算法進行振鈴噪聲位置估計 運算。該算法根據(jù)邊緣檢測器生成的邊緣信息二值圖，進行多次遞歸膨脹和 腐蝕等形態(tài)學(xué)運算，估計出邊緣的拓?fù)浣Y(jié)構(gòu)，然后與邊緣標(biāo)記信息進行匹配 運算，獲得最終的噪聲區(qū)域標(biāo)記圖。傳統(tǒng)視頻縮放芯片大多將水平下縮放(縮小)和水平上縮放(放大)兩 部分功能模塊分開實現(xiàn)，主要原因是由于經(jīng)過不同的縮放變換后，輸入輸出 數(shù)據(jù)流的時鐘頻率不同，縮小時數(shù)據(jù)時鐘會減小，放大是時鐘頻率提升，兩 個過程中間需要有數(shù)據(jù)緩存FIFO來進行時鐘變換；為了改變這種傳統(tǒng)結(jié)構(gòu)，節(jié)省硬件電路的邏輯和存儲資源，本發(fā)明提出 了一種新的并行數(shù)據(jù)存儲結(jié)構(gòu)，如圖3所示，采用這種存儲結(jié)構(gòu)后，系統(tǒng)可 以在統(tǒng)一的時鐘頻率下，在需要時刻讀取所需的插值點，從而省去了額外的 緩存FIF0，簡化了縮放引擎的結(jié)構(gòu)。具體實現(xiàn)方案如下先將容量為2048比特的單條行存儲器按每單元4比特位寬進行折疊，組成具有4個讀寫端口 的雙端口并行行存，然后再將8條同樣的行存儲器合并，組成具有一個寫端 口， 4個讀端口的并行行存陣列。如此組織行存儲器后，輸入數(shù)據(jù)可按串行 寫入到各條行存中，最后并行從存儲器中讀出，這樣等同于提高了數(shù)據(jù)的時 鐘頻率，實現(xiàn)了數(shù)據(jù)的時鐘頻率變換；整個行存的讀寫過程均由同步檢測產(chǎn)生模塊控制。該模塊根據(jù)輸入同步 信號的時序和相位信息產(chǎn)生相應(yīng)的寫行存控制信號，驅(qū)動寫控制模塊將輸入 的視頻數(shù)據(jù)按順序?qū)懭氲叫写嬷校煌瑫r，該模塊還根據(jù)用戶設(shè)定的縮放比率 計算并生成最終的行場同步信號及讀行存控制信號，驅(qū)動行存儲器讀模塊將 需要使用的插值像素點從行存中依次讀出，送入后面的縮放模塊。行存的讀寫順序見圖4所示。為了利用行存進行數(shù)據(jù)緩存并改變數(shù)據(jù)時 鐘頻率，本發(fā)明采用串行寫入，并行讀出的策略。輸入數(shù)據(jù)在寫控制模塊的 驅(qū)動下串行的按地址遞增順序?qū)懭氘?dāng)前行存中，寫入行順序在8條行存中順 序循環(huán)；然后又在讀控制模塊的驅(qū)動下以每次四行同時四個像素的并行數(shù)據(jù) 量將所需數(shù)據(jù)從行存中讀出，最后經(jīng)過地址映射，將讀出行和點的空間順序 重排為插值濾波器輸入行和點的順序，送入到后面的計算模塊進行插值縮放 運算。寫入和讀出地址關(guān)系映射遵循下面公式規(guī)定的關(guān)系w = (w*M)/￡其中，m為輸入點的像素坐標(biāo)，n為輸出點的像素坐標(biāo)，M為下縮放比 率，L為上縮放比率。采用上述并行存儲結(jié)構(gòu)后，本發(fā)明將水平上縮放和下縮放集成為統(tǒng)一的 水平、垂直縮放濾波器。本發(fā)明的水平、垂直縮放使用了重采樣濾波器來進 行像素的插值運算，并且采用了多相結(jié)構(gòu)來進行硬件電路實現(xiàn)。圖5表示了整個插值過程中，濾波器系數(shù)與插值像素空間順序關(guān)系。該 關(guān)系遵循下面數(shù)學(xué)表達式-<formula>formula see original document page 11</formula>
其中x(n)為輸入像素數(shù)據(jù)，y(m)為輸出像素，h(n)為插值濾波器的單 位脈沖響應(yīng)函數(shù)，M下縮放比率，L為上縮放比率。水平、垂直濾波器的硬件結(jié)構(gòu)采用了多相濾波結(jié)構(gòu)，如圖6所示，本發(fā) 明將長度的256的濾波器折疊為長度為R的多個子濾波器，每次插值計算使 用一組濾波系數(shù)進行線性加權(quán)計算，獲得對應(yīng)相位的像素點；濾波器根據(jù)同 步檢測產(chǎn)生模塊計算生成的索引信號選取濾波器相位。
權(quán)利要求
1.一種基于多相濾波技術(shù)的自適應(yīng)視頻圖像縮放引擎，其特征在于，該圖像縮放引擎內(nèi)部結(jié)構(gòu)包括一輸入圖像內(nèi)容分析模塊，它包括降噪濾波器、邊緣檢測器和振鈴估計器，用于對輸入視頻圖像進行噪聲消除預(yù)處理，邊緣分析，提取粗略邊緣和細節(jié)，去除孤立噪聲點；最后進行振鈴噪聲預(yù)測計算；一圖像數(shù)據(jù)存儲模塊，包括寫控制模塊、行存陣列和讀控制模塊，其中寫控制模塊根據(jù)輸入視頻圖像的同步和有效信號串行地將數(shù)據(jù)根據(jù)空間結(jié)構(gòu)要求依次寫入行存陣列的每條行存內(nèi)；讀控制模塊根據(jù)插值計算電路產(chǎn)生的控制信號，并行地將所需的數(shù)據(jù)依次從行存中讀出，并進行空間重排序；行存陣列對輸入數(shù)據(jù)進行空間重組，實現(xiàn)從串行輸入到并行輸出的轉(zhuǎn)換和數(shù)據(jù)時鐘頻率的變換；一基于多相結(jié)構(gòu)的水平縮放模塊，包括系數(shù)存儲單元和水平縮放濾波器，其中水平縮放濾波器主要用于對輸入點進行插值計算求得水平輸出點；水平縮放濾波器采用多相結(jié)構(gòu)，水平縮放濾波器根據(jù)輸出周期變化濾波系數(shù)，水平縮放濾波器的總長度等于各相位長度綜合；一基于多相結(jié)構(gòu)的垂直縮放模塊，包括系數(shù)存儲單元和垂直縮放濾波器，其中垂直縮放濾波器主要用于對輸入點進行插值計算求得垂直輸出點；垂直縮放濾波器采用多相結(jié)構(gòu)，垂直縮放濾波器根據(jù)輸出周期變化濾波系數(shù)，垂直縮放濾波器的總長度等于各相位長度綜合；一輸入同步檢測產(chǎn)生模塊，包括輸入同步檢測和輸出同步檢測，主要用于控制整個系統(tǒng)的時序和同步，該模塊根據(jù)輸入輸出圖像的空間變化比率關(guān)系，隨輸入信號周期的產(chǎn)生所需的存儲器控制信號和輸入行場同步有效信號；在輸入同步信號的控制下，圖像數(shù)據(jù)存儲模塊的寫控制模塊將輸入圖像數(shù)據(jù)逐行寫入到行存陣列中，并控制周期性地在六條行存寫端口循環(huán)操作，保證有效利用存儲資源；同時，還將輸入數(shù)據(jù)送入圖像內(nèi)容分析模塊，圖像內(nèi)容分析模塊的降噪濾波器先對輸入的圖像視頻數(shù)據(jù)進行降噪預(yù)處理，去除圖像在傳輸過程中引入的各種噪聲，獲得干凈穩(wěn)定的圖像序列；然后由邊緣檢測器對圖像進行邊緣和細節(jié)檢測，提取圖像高頻信息，最后由振鈴估計器進行振鈴噪聲估計；在同步檢測產(chǎn)生模塊生成的輸出同步信號的控制下，水平縮放模塊和垂直縮放模塊對從圖像存儲模塊讀出的圖形數(shù)據(jù)進行插值濾波計算，圖像存儲模塊所使用的系數(shù)由上述振鈴噪聲估計器產(chǎn)生的控制信號自適應(yīng)地在系數(shù)存儲單元選取。
2.如權(quán)利要求1所述的基于多相濾波技術(shù)的自適應(yīng)視頻圖像縮放引擎， 其特征在于，所述的降噪濾波器采用非線性高斯濾波器。
全文摘要
本發(fā)明公開了一種基于多相濾波技術(shù)的自適應(yīng)視頻圖像縮放引擎，其內(nèi)部基本結(jié)構(gòu)包括圖像內(nèi)容分析模塊、圖像數(shù)據(jù)存儲模塊、同步檢測產(chǎn)生模塊、水平縮放模塊和垂直縮放模塊；用戶可通過MCU接口設(shè)置寄存器操作控制各模塊的寄存器和控制輸出信號參數(shù)，對插值濾波器系數(shù)進行在線編程，從而完成圖像數(shù)據(jù)的檢測、存儲和插值計算功能。
文檔編號H04N5/21GK101217620SQ20071030770
公開日2008年7月9日 申請日期2007年12月26日 優(yōu)先權(quán)日2007年12月26日
發(fā)明者任鵬舉, 盧開芳, 東 王, 亮 羅, 葛晨陽, 鄭南寧 申請人:西安交通大學(xué)