專利名稱:圖像檢測、修復(fù)方法和圖像檢測、修復(fù)裝置的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,特別涉及圖像檢測、修復(fù)方法和圖像檢測、修復(fù)裝置。
背景技術(shù):
隨著數(shù)碼圖像技術(shù)的不斷發(fā)展,各種數(shù)碼圖像處理或攝像產(chǎn)品已經(jīng)得到了廣泛的普及。同時人們對圖像的質(zhì)量要求也越來越高,因此就需要對對圖像進行分析、加工和處理,使其能夠滿足視覺、心理以及其它要求,稱之為圖像處理。圖像修復(fù)是圖像處理中的一項重要內(nèi)容,其應(yīng)用面十分廣泛,可以修復(fù)破損的畫作、照片、恢復(fù)流媒體中丟失的細節(jié),如修復(fù)圖像中的壞點或壞塊等。
以下就對現(xiàn)有技術(shù)中對圖像中壞點和壞塊檢測和修復(fù)的技術(shù)進行簡單介紹 在現(xiàn)有技術(shù)中,判斷一個像素點是否為壞點,及對該像素點進行修復(fù)主要采用以下方式,即在一個圖像幀內(nèi),根據(jù)該像素點周圍其它像素點的像素值判斷該像素點是否是壞點,如果該像素點與四周其它像素點的像素值差別很大,則可認為該像素點為壞點,例如四周的像素點都是暗點,而該像素點是亮點,那么就可以認為該像素點為壞點。同時,參考該壞點(像素點)周圍其它像素點的像素值,通過加權(quán)平均或其它方式計算該壞點的像素值對其進行修復(fù)。
然而上述這種方式卻無法對圖像中出現(xiàn)的壞塊進行有效的檢測和修復(fù),這主要是因為上述對壞點的修復(fù)方式主要參考壞點四周的其它像素點的灰度進行修復(fù),但是對于圖像中的壞塊,往往是由多個壞點組成的,這些壞點周圍的其它像素點往往也是壞點,沒有有效的參考價值,因此也就無法對圖像中的壞塊進行有效修復(fù)。
然而壞塊在現(xiàn)實生活中是經(jīng)常遇到的問題,如因為鏡頭上的灰塵或CCD(Charge Coupled Device,電荷耦合器件)成像傳感器上介質(zhì)材料脫落等原因造成視頻圖像中或亮或暗的隨機疵點塊等,因此需要有一種方法來解決對圖像中壞塊的修復(fù)。
現(xiàn)有技術(shù)還提出了一種圖像的檢測和修復(fù)方法,該方法即可適用于壞點的檢測和修復(fù),也可適用于壞塊的檢測和修復(fù)。該方法簡單的講就是參考前后幀圖像中該像素點所對應(yīng)的像素點的像素值進行判斷和修復(fù)。在進行壞點檢測時,例如檢測像素點(x,y)是否為壞點,則參考前幀圖像幀中像素點(x,y)和后幀圖像幀中像素點(x,y)的像素值來判斷,如果其與前后幀圖像對應(yīng)點的像素值相差太大,則認為其就是壞點。該方法不同與上述同一圖像幀檢測的方法,該方法也適用于對壞塊的檢測,例如壞塊中包括三個壞點(x1,y1)、(x2,y2)和(x3,y3),對壞點(x1,y1)進行修復(fù)時,首先需要找到前幀圖像中像素點(x1,y1)所對應(yīng)的像素值,以及后幀圖像中像素點(x1,y1)所對應(yīng)的像素值,然后根據(jù)加權(quán)平均或其它方式得到壞點(x1,y1)的像素值,對其進行修復(fù);以同樣的方式對壞點(x2,y2)和(x3,y3)進行修復(fù),從而完成對壞塊的修復(fù)。
現(xiàn)有技術(shù)存在的缺點是上述現(xiàn)有技術(shù)中提到參考前后幀圖像的方法沒有考慮運動對圖像的影響,也就是說本幀圖像中的像素點A1(x1,y1),在下一幀圖像中已經(jīng)運動到了像素點B2(x2,y2),而此時現(xiàn)有技術(shù)還參照下一幀圖像中的像素點A2(x1,y1)判斷像素點A1(x1,y1)是否為壞點,從而引起檢測錯誤,影響對圖像的修復(fù)的準確度。
發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一,特別解決現(xiàn)有技術(shù)中圖像壞點或壞塊時易出現(xiàn)檢測錯誤的技術(shù)缺陷,達到提高圖像修復(fù)的準確度的目的。
為達到上述目的,本發(fā)明一方面提出一種圖像壞點檢測方法,包括以下步驟對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;確定所述本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;根據(jù)所述前向運動矢量和所述后向運動矢量確定所述本幀圖像中所述像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;根據(jù)所述前幀運動補償點和所述后幀運動補償點對所述本幀圖像中所述像素點進行壞點檢測。
本發(fā)明另一方面還提出一種圖像壞點修復(fù)方法,包括以下步驟對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;確定所述本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;根據(jù)所述前向運動矢量和所述后向運動矢量確定所述本幀圖像中所述像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;根據(jù)所述前幀運動補償點和所述后幀運動補償點判斷所述像素點是否為壞點;如果是壞點,則對所述像素點進行修復(fù)。
本發(fā)明另一方面還提出一種圖像壞塊檢測方法,包括以下步驟對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;根據(jù)所述前向塊運動矢量和所述后向塊運動矢量確定所述分塊中壞像素點的點數(shù);根據(jù)所述分塊中壞像素點的點數(shù)判斷所述分塊是否為壞塊,如果所述壞像素點的點數(shù)大于預(yù)設(shè)閾值,則所述分塊為壞塊。
本發(fā)明另一方面還提出一種圖像壞塊修復(fù)方法,包括以下步驟對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;根據(jù)所述前向塊運動矢量和所述后向塊運動矢量對所述分塊中的像素點進行壞點檢測;分別對所述分塊中檢測到的壞點進行修復(fù)。
本發(fā)明另一方面還提出一種圖像壞點檢測裝置,包括圖像幀緩存模塊、運動矢量計算模塊、運動補償點確定模塊和壞點檢測模塊,所述圖像幀緩存模塊,用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;所述運動矢量計算模塊,用于根據(jù)所述圖像幀緩存模塊緩存的圖像,確定所述本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;所述運動補償點確定模塊,用于根據(jù)所述運動矢量計算模塊獲得的所述前向運動矢量和所述后向運動矢量確定所述本幀圖像中所述像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;所述壞點檢測模塊,用于根據(jù)所述運動補償點確定模塊確定的所述前幀運動補償點和所述后幀運動補償點對所述本幀圖像中所述像素點進行壞點檢測。
本發(fā)明另一方面還提出一種圖像壞點修復(fù)裝置,包括圖像幀緩存模塊、運動矢量計算模塊、運動補償點確定模塊、壞點檢測模塊和修復(fù)模塊,所述圖像幀緩存模塊,用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;所述運動矢量計算模塊,用于根據(jù)所述圖像幀緩存模塊緩存的圖像,確定所述本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;所述運動補償點確定模塊,用于根據(jù)所述運動矢量計算模塊獲得的所述前向運動矢量和所述后向運動矢量確定所述本幀圖像中所述像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;所述壞點檢測模塊,用于根據(jù)所述運動補償點確定模塊確定的所述前幀運動補償點和所述后幀運動補償點對所述本幀圖像中所述像素點進行壞點檢測;所述修復(fù)模塊,用于在所述壞點檢測模塊檢測所述像素點為壞點時,對所述像素點進行修復(fù)。
本發(fā)明另一方面還提出一種圖像壞塊檢測裝置,包括圖像幀緩存模塊、分塊模塊、塊運動矢量計算模塊、壞點數(shù)確定模塊和壞塊檢測模塊,所述圖像幀緩存模塊,用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;所述分塊模塊,用于對所述圖像幀緩存模塊中緩存的本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;所述塊運動矢量計算模塊,用于確定所述分塊模塊對所述本幀圖像中的分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;所述壞點數(shù)確定模塊,用于根據(jù)所述塊運動矢量計算模塊得到的所述前向塊運動矢量和所述后向塊運動矢量確定所述分塊中壞像素點的點數(shù);所述壞塊檢測模塊,用于根據(jù)所述壞點數(shù)確定模塊確定的壞像素的點數(shù)判斷所述分塊是否為壞塊,如果所述壞像素點的點數(shù)大于預(yù)設(shè)閾值,則所述分塊為壞塊。
本發(fā)明另一方面還提出一種圖像壞塊修復(fù)裝置,包括圖像幀緩存模塊、分塊模塊、塊運動矢量計算模塊、壞點檢測模塊和修復(fù)模塊,所述圖像幀緩存模塊,用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;所述分塊模塊,用于對所述圖像幀緩存模塊緩存的所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;所述塊運動矢量計算模塊,用于確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;所述壞點檢測模塊,用于根據(jù)所述塊運動矢量計算模塊得到的所述前向塊運動矢量和所述后向塊運動矢量對所述分塊中每個像素點進行壞點檢測;所述修復(fù)模塊,用于對所述壞點檢測模塊檢測到的分塊中的壞點進行修復(fù)。
作為本發(fā)明的實施例,充分考慮了圖像在時間上和空間上圖像灰度與運動矢量相關(guān)的特點,根據(jù)運動矢量得到本幀圖像中像素點對應(yīng)前后幀圖像中的運動補償點,并根據(jù)運動補償后的像素點對本幀圖像的像素點進行壞點檢測,從而提高壞點或壞塊的檢測精度,改進圖像中壞點或壞塊修復(fù)的準確度。
本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出,部分將從下面的描述中變得明顯,或通過本發(fā)明的實踐了解到。
本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解,其中 圖1為本發(fā)明一個實施例圖像壞點檢測方法的流程圖; 圖2為本發(fā)明一個實施例通過分級塊匹配方式計算塊運動矢量的流程圖; 圖3為本發(fā)明一個實施例提出的一種判斷像素點是否為壞點的方法流程圖; 圖4為本發(fā)明一個實施例提出的修復(fù)矢量中值濾波方式具體的實現(xiàn)方式流程圖; 圖5為本發(fā)明一個實施例提出的濾波器模板Wz示意圖; 圖6為本發(fā)明一個實施例的圖像壞塊檢測方法的流程圖; 圖7為本發(fā)明一個實施例的確定前向塊運動矢量和后向塊運動矢量的流程圖; 圖8為本發(fā)明一個實施例的圖像壞點檢測裝置結(jié)構(gòu)圖; 圖9為本發(fā)明一個實施例的圖像壞點修復(fù)裝置結(jié)構(gòu)圖; 圖10為本發(fā)明一個實施例的圖像壞塊檢測裝置結(jié)構(gòu)圖; 圖11為本發(fā)明一個實施例的圖像壞塊修復(fù)裝置結(jié)構(gòu)圖。
具體實施例方式 下面詳細描述本發(fā)明的實施例,所述實施例的示例在附圖中示出,其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的,僅用于解釋本發(fā)明,而不能解釋為對本發(fā)明的限制。
本發(fā)明主要在于根據(jù)圖像在空間和時間上的運動特性對壞塊或壞點進行檢測,通過運動矢量得到本幀圖像中像素點對應(yīng)的前幀運動補償點和后幀運動補償點,從而根據(jù)所述前幀運動補償點和后幀運動補償點就能夠更準確的對壞塊或壞點進行檢測。例如對于本幀圖像中的像素點A(x,y)來說,通過計算能夠得到該像素點A(x,y)的前向運動矢量和后向運動矢量,就能夠根據(jù)所述前向運動矢量和后向運動矢量得到該像素點A(x1,y1)對應(yīng)前幀圖像中的前幀運動補償點B(x2,y2),和對應(yīng)后幀圖像中的后幀運動補償點C(x3,y3)。也就是說在這三幀圖像中,圖像從前幀運動補償點B(x2,y2)運動至像素點A(x1,y1),再由像素點A(x1,y1)運動至后幀運動補償點C(x3,y3)。這樣通過對前幀運動補償點B和后幀運動補償點C的確定,就可以準確判斷像素點A是否為壞點,同樣該方法也適用于對壞塊的檢測。作為本發(fā)明的一個實施例,本發(fā)明同時對本幀圖像、前幀圖像和后幀圖像進行分塊,并計算本幀圖像中各個分塊相對于前幀圖像和后幀圖像的塊運動矢量,這樣就可用塊運動矢量作為屬于該分塊中所有像素點的運動矢量,從而能夠有效地降低運算量。其中,優(yōu)選地,采用分級塊匹配的方式得到分塊的塊運動矢量,以下級圖像中修正后的塊運動矢量作為本級塊運動矢量的初始值,這樣通過每級圖像中對該級塊運動矢量的修正能夠保證最終得到的塊運動矢量的準確性。
下面就通過具體實施例的描述對本發(fā)明進行介紹 如圖1所述,為本發(fā)明一個實施例圖像壞點檢測方法的流程圖,通過確定本幀圖像中像素點相對前幀圖像和后幀圖像的前幀運動補償點和后幀運動補償點,能夠?qū)υ撓袼攸c進行有效檢測,提高圖像壞點檢測的準確性。該實施例包括以下步驟 步驟S101,對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像。其中,前幀圖像和后幀圖像的個數(shù)至少為一,如選用多個前幀圖像和/或后幀圖像則將會有助于提高壞點檢測的精度。需要說明的是選用前幀圖像和后幀圖像的個數(shù)可以不相等。
步驟S102,確定本幀圖像中像素點分別相對于前幀圖像的前向運動矢量和相對于后幀圖像的后向運動矢量。
作為該步驟的一個優(yōu)選方式,可對本幀圖像、前幀圖像和后幀圖像進行分塊,并確定本幀圖像中各個分塊分別相對于前幀圖像的前向塊運動矢量和相對于后幀圖像的后向塊運動矢量。這樣就可以將分塊的前向塊運動矢量和后向塊運動矢量作為屬于該分塊中所有像素點的前向運動矢量和后向運動矢量,因此能夠有效地減少運算量。作為上述實施例更優(yōu)選地方式,通過分級塊匹配的得到塊運動矢量,從最低級圖像開始計算該級的塊運動矢量,并將下級圖像得到的塊運動矢量最為上級圖像運動矢量的初始值,直至得到最高級圖像的塊運動矢量,從而通過逐級逼近的方式進一步提高塊運動矢量的準確性。更為優(yōu)選地,在上述實施例中下級圖像作為本級圖像塊運動矢量初始值之前,對其進行判斷,如果該下級圖像的不可靠則對其進行修正,從而保證最終得到的塊運動矢量的準確性,進一步提高壞點檢測的準確性。
如圖2所示,為本發(fā)明一個實施例通過分級塊匹配方式計算塊運動矢量的流程圖,包括以下步驟 步驟S201,用低通濾波器對本幀圖像、前幀圖像和后幀圖像分別進行m次濾波,得到m級不同分辨率的本幀圖像、前幀圖像和后幀圖像,分辨率越高則所述圖像級別越高。其中,m優(yōu)選為2-5次,更優(yōu)為3次。
步驟S202,在不同分辨率下對本幀圖像、前幀圖像和后幀圖像進行分塊,其中,分級的分辨率與所述分塊的大小相反,分辨率越低,分塊越大;反之分辨率越大,則分塊越小。
步驟S203,從最低級(最低分辨率)的本幀圖像開始,對該本幀圖像中的每一個分塊在前幀圖像和后幀圖像中搜索最佳匹配塊。其中,搜索最佳匹配快可采用的匹配準則為最小平均絕對值差(MAD)、開平方根、交互方差或塊均值差等方式確定最佳匹配塊。
步驟S204,根據(jù)上述搜索到的最佳匹配塊確定最低級本幀圖像中每一個分塊的前向塊運動矢量和后向塊運動矢量。
步驟S205,判斷上述確定的最低級本幀圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠。其中,作為一個具體實施例,本發(fā)明提出了一種判斷是否可靠的方法,即將計算前向運動矢量和后向運動矢量MAD值以及計算前后幀中對應(yīng)矩形塊的MAD值,按照如下公式判斷運動矢量是否可靠 在上述公式(1)中,1表示(x,y)塊處運動矢量MV(x,y)不可靠,0表示運動矢量MV(x,y)可靠,其中,T1和T2分別是預(yù)設(shè)的閾值,T2<T1,b表示后向運動,f表示前向運動,bf表示前后幀之間的運動。優(yōu)選地,T1為20,T2為10。其中,上述判斷準則利用了時間軸上運動的連續(xù)性,因此一定程度上降低了對噪聲的敏感程度。
步驟S206,如果判斷最低級本幀圖像計算的塊運動矢量不可靠,則對其進行修正;如果判斷可靠,則執(zhí)行步驟S207。對于檢測出的不可靠運動矢量,則用鄰域塊運動矢量計算該塊的MAD,并用最小MAD對應(yīng)的鄰域塊運動矢量對該塊運動矢量進行修正。修正的運動矢量作為下一級塊匹配的初始值。公式表達為 在上述公式(2)中,MVnb(x,y)表示運動矢量MV(x,y)的鄰域塊運動矢量,A為鄰域集合,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差。
步驟S207,將最低級本幀圖像中各個分塊對應(yīng)的可靠的或經(jīng)過修正的塊運動矢量作為其上級的本幀圖像中對應(yīng)分塊的塊運動矢量初始值,計算上級本幀圖像的塊運動矢量。具體為根據(jù)下級圖像提供的可靠的或經(jīng)過修正的塊運動矢量在一個較小范圍內(nèi)搜索該級的最佳匹配塊,然后再根據(jù)搜索到的最佳匹配塊確定該級本幀圖像中各個分塊的塊運動矢量。
步驟S208,判斷步驟S207中得到的該級本幀圖像中各個分塊的塊運動矢量是否可靠。同樣該步驟中的判斷是否可靠的方法與步驟S205所采用的方法相同。如果判斷可靠,則執(zhí)行步驟S210;如果判斷不可靠,則執(zhí)行步驟S209。
步驟S209,如果判斷該級本幀圖像(非最低級圖像)計算的塊運動矢量不可靠,則對其進行修正。
同樣本發(fā)明也提出了一種修正方式,但這里與步驟S206修正的公式不同,其區(qū)別是加入了上一級運動矢量初值,該運動矢量修正公式為 其中,MVi-1(x,y)是本級(x,y)塊處修正后的運動矢量,MVi是上一級(x,y)塊處修正后的運動矢量,λ是一個權(quán)值,衡量上一級運動矢量在該級運動矢量修正中所占的比重,MVnbi-1是該級(x,y)塊處鄰域的運動矢量,A為鄰域集合,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差。
步驟S210,將步驟S208中判斷可靠的或經(jīng)過步驟S209修正的塊運動矢量作為其上級的本幀圖像中對應(yīng)分塊的塊運動矢量初始值,計算上級本幀圖像的塊運動矢量。重復(fù)步驟S208-S210直至得出最高級本幀圖像中分塊的前向塊運動矢量和后向塊運動矢量。
步驟S211,將最高級本幀圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本幀圖像中所述分塊中所有像素點的前向運動矢量和后向運動矢量。
步驟S103,根據(jù)步驟S102得到的本幀圖像中各個像素點的前向運動矢量和后向運動矢量,確定本幀圖像中像素點分別相對于前幀圖像的前幀運動補償點,以及相對于后幀圖像的后幀運動補償點。如根據(jù)所述前向運動矢量和后向運動矢量得到該像素點A(x1,y1)對應(yīng)前幀圖像中的前幀運動補償點B(x2,y2),和對應(yīng)后幀圖像中的后幀運動補償點C(x3,y3)。
步驟S104,根據(jù)所述前幀運動補償點和所述后幀運動補償點對所述本幀圖像中所述像素點進行壞點檢測。本發(fā)明提出了一種差異排序方法進行壞點檢測的方法,具體為根據(jù)前幀運動補償點B(x2,y2)和后幀運動補償點C(x3,y3),及前幀運動補償點B(x2,y2)鄰域和后幀運動補償點C(x3,y3)鄰域的u個像素點與本幀圖像中像素點A(x1,y1)的相關(guān)性,判斷該像素點A(x1,y1)是否為壞點。其中,可選前幀運動補償點B(x2,y2)和后幀運動補償點C(x3,y3)鄰域的橫向u個像素點(不包括后幀運動補償點C),或縱向u個像素點等作為參考點。其中,u為1-9,優(yōu)選u為2,當然為了提高判斷準確度還可選用更多的參考點。
作為本發(fā)明的一個實施例,本發(fā)明提出了一種判斷像素點是否為壞點的方法,該實施例中選擇除前幀運動補償點B(x2,y2)和后幀運動補償點C(x3,y3)之外橫向的2個鄰域像素點作為參考像素點。如圖3所示,具體包括以下步驟 步驟S301,假設(shè)
是第n幀圖像坐標處灰度值,并且定義矢量
其中矢量
為包括前幀運動補償點B(x2,y2)和后幀運動補償點C(x3,y3),以及其鄰域像素點的矢量。
上式(4)中,
包含了第n-1幀和第n+1幀圖像鄰域六個像素點,如果在第n幀圖像處是斑點,那么
將與
中的像素之間的無相關(guān)性,相互之間的灰度差值比較大,反之,灰度差值會比較小。
步驟S302,對前幀運動補償點鄰域和后幀運動補償點鄰域像素點的灰度值進行平均,得到等級均值。其中作為本發(fā)明的一個實施例,提出了一種得到等級均值的方法,具體為對矢量
中的元素根據(jù)灰度值進行重新排序,得到新的矢量
其中,并定義一個等級均值
步驟S303,確定等級差分,所述等級差分衡量像素點與時間鄰域上點相關(guān)性的大小,所述等級差分通過下述公式得到 其中,所述
是第n幀圖像坐標處灰度值。
步驟S304,判斷所述本幀圖像中像素點與等級均值的相關(guān)性,如果相關(guān),則該像素點不是壞點;如果不相關(guān),則該像素點是壞點。具體為根據(jù)等級差分
是否大于閾值Ti判斷所述本幀圖像中該像素點與等級均值是否相關(guān)i=1,2,3,其中,i=1,2,3,T1、T2和T3為預(yù)定閾值,且T1<T2<T3;如上述公式中任一不等式成立,則判斷本幀圖像中像素點與等級均值不相關(guān),該像素點是壞點。其中,優(yōu)選地,T1為5、T2為10、T3為40。其中,因為閾值T1是衡量待檢測點鄰域各個像素與待檢測點像素值最接近的程度,所以閾值T1是最重要的一個閾值。
作為本發(fā)明的一個實施例,本發(fā)明還提出一種圖像壞點的修復(fù)方法,首先利用上述實施例的圖像壞點檢測方法確定圖像中的壞點,在此不再贅述;然后通過矢量中值濾波方式、梯度擴散修復(fù)方式或加權(quán)平均修復(fù)方式對所述壞點進行修復(fù)。作為本發(fā)明的一個實施例,本發(fā)明提出了修復(fù)矢量中值濾波方式具體的實現(xiàn)方式,如圖4所示,包括以下步驟 步驟S401,調(diào)取濾波器模板Wz,其中該濾波器的模板Wz(z=1,2,3,4,5)在第n幀圖像處定義,模板圖如圖5所示,其中模板的尺寸為3×3,模板中黑色區(qū)域表示濾波中所要用到的像素點。當然也可選擇其他尺寸的模板,或選擇其它對應(yīng)黑色區(qū)域的模板。
步驟S402,根據(jù)所述壞點找到所述模板Wz上對應(yīng)的像素,并得到
所述
通過下述公式確定,其中,d(i,j)=|Xi-Xj|,Xi,Xj為壞點所模板Wz中黑色區(qū)域所對應(yīng)的像素點灰度值,d(i,j)為Xi,Xj之間的距離。
步驟S403,定義集合并根據(jù)所述計算s(z),所述z=1,2,3,4,5。
步驟S404,選擇s(z)最小值所對應(yīng)的
作為所述壞點處的像素值,如通過公式得到。
上述實施例說明了本發(fā)明在對圖像中壞點的檢測和修復(fù)方法,本發(fā)明同樣也可應(yīng)用于對圖像中壞塊的檢測和修復(fù),以下將以實施例的方式對壞塊的檢測和修復(fù)進行描述。
如圖6所示,為本發(fā)明一個實施例的圖像壞塊檢測方法的流程圖,包括以下步驟 步驟S601,對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像。其中,前幀圖像和后幀圖像的個數(shù)至少為一,如選用多個前幀圖像和/或后幀圖像將有助于提高壞點檢測的精度。需要說明的是選用前幀圖像和后幀圖像的個數(shù)可以不相等。
步驟S602,用低通濾波器對本幀圖像、前幀圖像和后幀圖像分別進行m次濾波,得到m級不同分辨率的本幀圖像、前幀圖像和后幀圖像,分辨率越高則所述圖像級別越高。其中,m優(yōu)選為2-5次,更優(yōu)為3次。
步驟S603,在不同分辨率下對本幀圖像、前幀圖像和后幀圖像進行分塊,其中,分級的分辨率與所述分塊的大小相反,分辨率越低,分塊越大;反之分辨率越大,則分塊越小。
步驟S604,確定本幀圖像中分塊分別相對于前幀圖像的前向塊運動矢量和相對于后幀圖像的后向塊運動矢量。如圖7所示,為本發(fā)明一個實施例計算塊運動矢量的流程圖,具體包括以下步驟 步驟S701,從最低級(最低分辨率)的本幀圖像開始,對該本幀圖像中的每一個分塊在前幀圖像和后幀圖像中搜索最佳匹配塊。其中,搜索最佳匹配快可采用的匹配準則為最小平均絕對值差(MAD)、開平方根、交互方差或塊均值差等。
步驟S702,根據(jù)上述搜索到的最佳匹配塊確定最低級本幀圖像中每一個分塊的前向塊運動矢量和后向塊運動矢量。
步驟S703,判斷上述確定的最低級本幀圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠。其中,作為一個具體實施例,本發(fā)明提出了一種判斷是否可靠的方法,即將計算前向運動矢量和后向運動矢量MAD值以及計算前后幀中對應(yīng)矩形塊的MAD值,按照如下公式判斷運動矢量是否可靠 在上述公式(1)中,1表示(x,y)塊處運動矢量MV(x,y)不可靠,0表示運動矢量MV(x,y)可靠,其中,T1和T2分別是預(yù)設(shè)的閾值,T2<T1,b表示后向運動,f表示前向運動,bf表示前后幀之間的運動。優(yōu)選地,T1為20,T2為10。其中上述判斷準則利用了時間軸上運動的連續(xù)性,因此一定程度上降低了對噪聲的敏感程度。
步驟S704,如果判斷最低級本幀圖像計算的塊運動矢量不可靠,則對其進行修正;如果可靠,則執(zhí)行步驟S207。對于檢測出的不可靠運動矢量,則用鄰域塊運動矢量計算該塊的MAD,并用最小MAD對應(yīng)的鄰域塊運動矢量對該塊運動矢量進行修正。修正的運動矢量作為下一級塊匹配的初始值。公式表達為 在上述公式(2)中,MVnb(x,y)表示運動矢量MV(x,y)的鄰域塊運動矢量,A為鄰域集合,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差。
步驟S705,將最低級本幀圖像中各個分塊對應(yīng)的可靠的或經(jīng)過修正的塊運動矢量作為其上級的本幀圖像中對應(yīng)分塊的塊運動矢量初始值,計算其上級本幀圖像的塊運動矢量。具體為根據(jù)下級圖像提供的可靠的或經(jīng)過修正的塊運動矢量在一個較小范圍內(nèi)搜索該級的最佳匹配塊,然后再根據(jù)搜索到的最佳匹配塊確定該級本幀圖像中各個分塊的塊運動矢量。
步驟S706,判斷步驟S705中得到的該級本幀圖像中各個分塊的塊運動矢量是否可靠。同樣該步驟中的判斷是否可靠的方法與步驟S703所采用的方法相同。如果判斷可靠,則執(zhí)行步驟S708;如果判斷不可靠,則執(zhí)行步驟S707。
步驟S707,如果判斷該級本幀圖像(非最低級圖像)計算的塊運動矢量不可靠,則對其進行修正。
同樣該步驟的修正公式與步驟S704修正的公式不同,其區(qū)別是加入了上一級運動矢量初值,該運動矢量修正公式為 其中,MVi-1(x,y)是本級(x,y)塊處修正后的運動矢量,MVi是上一級(x,y)塊處修正后的運動矢量,λ是一個權(quán)值,衡量上一級運動矢量在該級運動矢量修正中所占的比重,MVnbi-1是該級(x,y)塊處鄰域的運動矢量,A為鄰域集合,MADMVb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差。
步驟S708,將步驟S706中判斷可靠的或經(jīng)過步驟S707修正的塊運動矢量作為其上級的本幀圖像中對應(yīng)分塊的塊運動矢量初始值,計算其上級本幀圖像的塊運動矢量。重復(fù)步驟S706-S708直至得出最高級本幀圖像中分塊的前向塊運動矢量和后向塊運動矢量。
步驟S605,根據(jù)分塊的前向塊運動矢量和后向塊運動矢量對分塊中的各個像素點進行壞點檢測,確定分塊中壞像素點的點數(shù)。具體為根據(jù)本幀圖像中的分塊對應(yīng)的前向塊運動矢量和后向塊運動矢量確定該分塊中每個像素點分別相對于前幀圖像的前向運動矢量和相對于后幀圖像的后向運動矢量,再根據(jù)前向運動矢量和后向運動矢量確定前幀運動補償點和后幀運動補償點;最后再根據(jù)分塊中的每個像素點,以及對應(yīng)的所述前幀運動補償點和所述后幀運動補償點對所述分塊中的每個像素點進行壞點檢測,確定所述分塊中壞像素點的點數(shù)。其中,檢測像素點是否為壞點的方法可參照圖3所示的流程,在此不再贅述。
步驟S606,根據(jù)分塊中壞像素點的點數(shù)判斷分塊是否為壞塊,如果壞像素點的點數(shù)大于預(yù)設(shè)閾值,則該分塊為壞塊。其中,預(yù)設(shè)閾值需根據(jù)分塊的大小決定,如一個3×3的分塊,則可設(shè)閾值為2,即該分塊內(nèi)如有2個壞點就認為該分塊是壞塊。當然如果分塊很大,而其中僅有1或2個壞點,為可忽略的,那么就可認為該分塊不是壞塊。
同樣本發(fā)明也提出了對壞塊的修復(fù)方法,即在上述實施例中步驟S606確定該分塊為壞塊時,分別對該壞塊中的各個壞點進行修復(fù)。其中,可通過矢量中值濾波方式、梯度擴散修復(fù)方式或加權(quán)平均修復(fù)方式對壞點進行修復(fù)。其中,矢量中值濾波方式如圖4流程圖所示,在此不再贅述。
如圖8所示,為本發(fā)明一個實施例的圖像壞點檢測裝置結(jié)構(gòu)圖,該裝置包括圖像幀緩存模塊810、運動矢量計算模塊820、運動補償點確定模塊830和壞點檢測模塊840,圖像幀緩存模塊810用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;運動矢量計算模塊820用于根據(jù)圖像幀緩存模塊810緩存的圖像,確定本幀圖像中像素點分別相對于前幀圖像的前向運動矢量,以及相對于后幀圖像的后向運動矢量;運動補償點確定模塊830用于根據(jù)運動矢量計算模塊820獲得的前向運動矢量和后向運動矢量確定本幀圖像中像素點分別相對于前幀圖像的前幀運動補償點和相對于后幀圖像的后幀運動補償點;壞點檢測模塊840用于根據(jù)運動補償點確定模塊830確定的前幀運動補償點和后幀運動補償點對本幀圖像中像素點進行壞點檢測。
其中,作為一個實施例,運動矢量計算模塊820包括分塊子模塊821和塊運動矢量計算子模塊822,分塊子模塊821用于對圖像幀緩存模塊810中緩存的所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;塊運動矢量計算子模塊822用于確定本幀圖像中分塊分別相對于前幀圖像的前向塊運動矢量和相對于后幀圖像的后向塊運動矢量,其中分塊的前向塊運動矢量和后向塊運動矢量可作為屬于分塊中像素點的所述前向運動矢量和所述后向運動矢量。
其中,在上述實施例中運動矢量計算模塊820還包括分級子模塊823,用于根據(jù)分辨率對本幀圖像、前幀圖像和后幀圖像分別進行分級,其中,分辨率越高則所述圖像級別越高,分級的分辨率與分塊的大小相反;塊運動矢量計算子模塊822還用于將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
其中,上述實施例中的運動矢量計算模塊820還包括判斷子模塊824和修正子模塊825,判斷子模塊824用于判斷下級圖像中分塊的塊運動矢量是否可靠;修正子模塊825用于在判斷子模塊824判斷塊運動矢量不可靠時,對該塊運動矢量進行修正。
如圖9所示,為本發(fā)明一個實施例的圖像壞點修復(fù)裝置結(jié)構(gòu)圖,該修復(fù)裝置包括圖像幀緩存模塊910、運動矢量計算模塊920、運動補償點確定模塊930、壞點檢測模塊940和修復(fù)模塊950,圖像幀緩存模塊910用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;運動矢量計算模塊920用于根據(jù)圖像幀緩存模塊910緩存的圖像,確定本幀圖像中像素點分別相對于前幀圖像的前向運動矢量和相對于后幀圖像的后向運動矢量;運動補償點確定模塊930用于根據(jù)運動矢量計算模塊920獲得的前向運動矢量和后向運動矢量確定本幀圖像中像素點分別相對于前幀圖像的前幀運動補償點和相對于后幀圖像的后幀運動補償點;壞點檢測模塊940用于根據(jù)運動補償點確定模塊930確定的前幀運動補償點和后幀運動補償點對本幀圖像中像素點進行壞點檢測;修復(fù)模塊950用于在壞點檢測模塊940檢測像素點為壞點時,對該像素點進行修復(fù)。
其中,作為本發(fā)明的一個實施例,運動矢量計算模塊920包括分塊子模塊921和塊運動矢量計算子模塊922,分塊子模塊921用于對圖像幀緩存模塊910中緩存的所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;塊運動矢量計算子模塊922用于確定本幀圖像中分塊分別相對于前幀圖像的前向塊運動矢量和相對于后幀圖像的后向塊運動矢量,其中分塊的前向塊運動矢量和后向塊運動矢量可作為屬于該分塊的所述像素點的前向運動矢量和后向運動矢量。
其中,在上述實施例中運動矢量計算模塊920還包括分級子模塊923,用于根據(jù)分辨率對本幀圖像、前幀圖像和后幀圖像進行分級,其中,分辨率越高則圖像級別越高,分級的分辨率與分塊的大小相反;塊運動矢量計算子模塊922還用于將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
其中,在上述實施例中運動矢量計算模塊920還包括判斷子模塊924和修正子模塊925,判斷子模塊924用于判斷下級圖像中分塊的塊運動矢量是否可靠;修正子模塊925用于在判斷子模塊924判斷所述塊運動矢量不可靠時,對該塊運動矢量進行修正。
如圖10所示,為本發(fā)明一個實施例的圖像壞塊檢測裝置結(jié)構(gòu)圖,該壞塊檢測裝置包括圖像幀緩存模塊1010、分塊模塊1020、塊運動矢量計算模塊1030、壞點數(shù)確定模塊1040和壞塊檢測模塊1050,圖像幀緩存模塊1010用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;分塊模塊1020用于對圖像幀緩存模塊1010中緩存的本幀圖像、前幀圖像和后幀圖像進行分塊;塊運動矢量計算模塊1030用于確定分塊模塊1020對本幀圖像中的分塊分別相對于前幀圖像的前向塊運動矢量和相對于后幀圖像的后向塊運動矢量;壞點數(shù)確定模塊1040用于根據(jù)塊運動矢量計算模塊1030得到的前向塊運動矢量和后向塊運動矢量確定所述分塊中壞像素點的點數(shù);壞塊檢測模塊1050用于根據(jù)壞點數(shù)確定模塊1040確定的壞像素的點數(shù)判斷所述分塊是否為壞塊,如果所述壞像素點的點數(shù)大于預(yù)設(shè)閾值,則所述分塊為壞塊。
其中,作為本發(fā)明的一個實施例,壞點數(shù)確定模塊1040包括運動補償點確定子模塊1041和壞點檢測子模塊1042,運動補償點確定子模塊1041用于根據(jù)前向塊運動矢量和后向塊運動矢量確定分塊中每個像素點分別相對于前幀圖像的前幀運動補償點和相對于后幀圖像的后幀運動補償點;壞點檢測子模塊1042用于根據(jù)所述分塊中的每個像素點,以及運動補償點確定子模塊1041得到的對應(yīng)的前幀運動補償點和后幀運動補償點對分塊中的每個像素點進行壞點檢測。
其中,在上述實施例中塊運動矢量計算模塊1030還包括分級子模塊1031和本級塊運動矢量計算子模塊1032,分級子模塊1031用于根據(jù)分辨率對本幀圖像、前幀圖像和后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,分級的分辨率與分塊的大小相反;本級塊運動矢量計算子模塊1032用于將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
其中,在上述實施例中塊運動矢量計算模塊1030還包括判斷子模塊1033和修正子模塊1034,判斷子模塊1033用于判斷下級圖像中分塊的塊運動矢量是否可靠;修正子模塊1034用于在判斷子模塊1033判斷塊運動矢量不可靠時,對塊運動矢量進行修正。
如圖11所示,為本發(fā)明一個實施例的圖像壞塊修復(fù)裝置結(jié)構(gòu)圖,該圖像壞塊修復(fù)裝置包括圖像幀緩存模塊1110、分塊模塊1120、塊運動矢量計算模塊1130、壞點檢測模塊1140和修復(fù)模塊1150,圖像幀緩存模塊1110用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;分塊模塊1120用于對圖像幀緩存模塊1110緩存的本幀圖像、前幀圖像和后幀圖像進行分塊;塊運動矢量計算模塊1130用于確定本幀圖像中分塊分別相對于前幀圖像的前向塊運動矢量和相對于后幀圖像的后向塊運動矢量;壞點檢測模塊1140用于根據(jù)塊運動矢量計算模塊1130得到的前向塊運動矢量和后向塊運動矢量對分塊中每個像素點進行壞點檢測;修復(fù)模塊1150用于對壞點檢測模塊1140檢測到分塊中的壞點進行修復(fù)。
其中,作為本發(fā)明的一個實施例,壞點檢測模塊1140包括運動補償點確定子模塊1141和壞點檢測子模塊1142,運動補償點確定子模塊1141用于根據(jù)前向塊運動矢量和后向塊運動矢量確定分塊中每個像素點分別相對于前幀圖像的前幀運動補償點和相對于后幀圖像的后幀運動補償點;壞點檢測子模塊1142用于根據(jù)分塊中的每個像素點,以及運動補償點確定子模塊1141得到的對應(yīng)的前幀運動補償點和后幀運動補償點對分塊中的每個像素點進行壞點檢測。
其中,在上述實施例中塊運動矢量計算模塊1130還包括分級子模塊1131和本級塊運動矢量計算子模塊1132,分級子模塊1131用于根據(jù)分辨率對本幀圖像、前幀圖像和后幀圖像進行分級,其中,分辨率越高則圖像級別越高,分級的分辨率與分塊的大小相反;本級塊運動矢量計算子模塊1132用于將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
其中,在上述實施例中塊運動矢量計算模塊1130還包括判斷子模塊1133和修正子模塊1134,判斷子模塊1131用于判斷下級圖像中分塊的塊運動矢量是否可靠;修正子模塊1134用于在判斷子模塊1133判斷塊運動矢量不可靠時,對塊運動矢量進行修正。
本發(fā)明的優(yōu)點是充分考慮了圖像在時間上和空間上圖像灰度與運動矢量相關(guān)的特點,根據(jù)運動矢量得到本幀圖像中像素點對應(yīng)前后幀圖像中的運動補償點,并根據(jù)運動補償后的像素點對本幀圖像的像素點進行壞點檢測,從而提高壞點或壞塊的檢測精度,改進圖像中壞點或壞塊的修復(fù)的準確度。
并且,本發(fā)明通過塊運動矢量代表分塊中各個像素點的運動矢量,從而可以有效降低運算量。
本發(fā)明還通過采用分級塊匹配的方式得到分塊的塊運動矢量,進行逐級匹配,從而提高了塊運動矢量計算的準確性。
本發(fā)明還在分級塊匹配時,對下級圖像的塊運動矢量的可靠性進行判斷,如果不可靠則對其進行修正,從而保證作為上級圖像初始值的塊運動矢量都是可靠的或經(jīng)過修正的,從而進一步提高了塊運動矢量計算的準確性。
盡管已經(jīng)示出和描述了本發(fā)明的實施例,對于本領(lǐng)域的普通技術(shù)人員而言,可以理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型,本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
1、一種圖像壞點檢測方法,其特征在于,包括以下步驟
對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;
確定所述本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;
根據(jù)所述前向運動矢量和所述后向運動矢量確定所述本幀圖像中所述像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;
根據(jù)所述前幀運動補償點和所述后幀運動補償點對所述本幀圖像中所述像素點進行壞點檢測。
2、根據(jù)權(quán)利要求1所述圖像壞點檢測方法,其特征在于,所述確定本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量包括以下步驟
對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;
確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;
將所述分塊的前向塊運動矢量和后向塊運動矢量作為屬于所述分塊的像素點的所述前向運動矢量和所述后向運動矢量。
3、根據(jù)權(quán)利要求2所述圖像壞點檢測方法,其特征在于,在所述對本幀圖像、前幀圖像和后幀圖像進行分塊之前,還包括
根據(jù)分辨率對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,且所述分級的分辨率與所述分塊的大小相反;
所述確定所述分塊的前向塊運動矢量和后向塊運動矢量具體包括
確定最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
4、根據(jù)權(quán)利要求3所述圖像壞點檢測方法,其特征在于,所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量通過以下步驟確定
計算最低級圖像中分塊的前向塊運動矢量和后向塊運動矢量;
從所述最低級圖像的上級圖像起,將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
5、根據(jù)權(quán)利要求4所述圖像壞點檢測方法,其特征在于,在獲得下級圖像中分塊的前向塊運動矢量和后向塊運動矢量之后,還包括
判斷所述下級圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠;
如果判斷可靠,則提供給所述本級圖像作為本級圖像中前向塊運動矢量和后向塊運動矢量的初始值;
如果判斷不可靠,則對所述下級圖像中分塊的前向塊運動矢量和后向塊運動矢量進行修正,將修正后的前向塊運動矢量和后向塊運動矢量提供給本級圖像,作為本級圖像中前向塊運動矢量和后向塊運動矢量的初始值。
6、根據(jù)權(quán)利要求3至5任一項所述圖像壞點檢測方法,其特征在于,所述確定本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量具體包括
分別確定所述本幀圖像中分塊對應(yīng)所述前幀圖像的前幀最佳匹配塊和對應(yīng)所述后幀圖像的后幀最佳匹配塊;
根據(jù)所述分塊和所述前幀最佳匹配塊確定所述前向塊運動矢量,根據(jù)所述分塊和所述后幀最佳匹配塊確定所述后向塊運動矢量。
7、根據(jù)權(quán)利要求6所述圖像壞點檢測方法,其特征在于,通過對所述本幀圖像中分塊進行最小平均絕對值差MAD、開平方根、交互方差或塊均值差確定最佳匹配塊。
8、根據(jù)權(quán)利要求5所述圖像壞點檢測方法,其特征在于,所述判斷下級圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠具體包括判斷是否滿足MADb(x,y)>T1、MADf(x,y)>T1且MADbf(x,y)<T2,其中,MADb表示后向運動的最小平均絕對值差,MADf表示前向運動的最小平均絕對值差,MADbf表示前后幀之間的最小平均絕對值差,T1、T2為預(yù)設(shè)閾值,且T2<T1;
如果滿足,則認為所述塊運動矢量不可靠;
如果不滿足,則認為所述塊運動矢量可靠。
9、根據(jù)權(quán)利要求8所述圖像壞點檢測方法,其特征在于,所述T1為20,所述T2為10。
10、根據(jù)權(quán)利要求7所述圖像壞點檢測方法,其特征在于,對塊運動矢量進行修正進一步包括以下步驟
判斷所述塊運動矢量是否為最低級圖像中的塊運動矢量;
如果是,則通過公式對所述塊運動矢量進行修正,其中,MV(x,y)為塊運動矢量,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差,A為鄰域集合;
如果不是,則通過公式對所述塊運動矢量進行修正,其中MV(x,y)為塊運動矢量,其中,M4DMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差,MVi(x,y)是上一級圖像塊處修正后的運動矢量,λ為權(quán)值,MVnbi-1是該級圖像塊處鄰域的運動矢量,A為鄰域集合。
11、根據(jù)權(quán)利要求1所述圖像壞點檢測方法,其特征在于,所述根據(jù)前幀運動補償點和后幀運動補償點對本幀圖像中像素點進行壞點檢測具體4包括
根據(jù)所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的u個像素點與所述本幀圖像中所述像素點的相關(guān)性,判斷所述本幀圖像中所述像素點是否為壞點。
12、根據(jù)權(quán)利要求11所述圖像壞點檢測方法,其特征在于,所述u個像素點為2個像素點,
所述判斷本幀圖像中所述像素點是否為壞點進一步包括以下步驟
對所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點的灰度值進行平均,得到等級均值;
判斷所述本幀圖像中所述像素點灰度值與所述等級均值的相關(guān)性;
如果相關(guān),則所述像素點不是壞點;
如果不相關(guān),則所述像素點是壞點。
13、根據(jù)權(quán)利要求12所述圖像壞點檢測方法,其特征在于,所述對前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點的灰度值進行平均,得到等級均值具體為
對所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點按照灰度值進行排序,得到矢量其中,
表示運動補償后的像素點坐標,
所述等級均值
為
14、根據(jù)權(quán)利要求13所述圖像壞點檢測方法,其特征在于,所述判斷本幀圖像中像素點與等級均值的相關(guān)性進一步包括以下步驟
確定等級差分,所述等級差分衡量像素點與時間鄰域上點相關(guān)性的大小,所述等級差分
通過下述公式得到
,其中,所述
是第n幀圖像坐標處灰度值,
根據(jù)所述等級差分
是否大于閾值Ti判斷所述本幀圖像中所述像素點與所述等級均值是否相關(guān)i=1,2,3,其中,i=1,2,3,T1、T2和T3為預(yù)定閾值,且T1<T2<T3;
如上述公式中任一不等式成立,則判斷所述本幀圖像中所述像素點與所述等級均值不相關(guān)。
15、一種圖像壞點修復(fù)方法,其特征在于,包括以下步驟
對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;
確定所述本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;
根據(jù)所述前向運動矢量和所述后向運動矢量確定所述本幀圖像中所述像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;
根據(jù)所述前幀運動補償點和所述后幀運動補償點判斷所述像素點是否為壞點;
如果是壞點,則對所述像素點進行修復(fù)。
16、根據(jù)權(quán)利要求15所述圖像壞點修復(fù)方法,其特征在于,所述確定本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量包括以下步驟
對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;
確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;
將所述分塊的前向塊運動矢量和后向塊運動矢量作為屬于所述分塊的所述像素點的所述前向運動矢量和所述后向運動矢量。
17、根據(jù)權(quán)利要求16所述圖像壞點修復(fù)方法,其特征在于,在所述對本幀圖像、所述前幀圖像和所述后幀圖像進行分塊之前,還包括
根據(jù)分辨率對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,且所述分級的分辨率與所述分塊的大小相反;
所述確定所述分塊的前向塊運動矢量和后向塊運動矢量具體包括
確定最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
18、根據(jù)權(quán)利要求17所述圖像壞點修復(fù)方法,其特征在于,所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量通過以下步驟確定
計算最低級圖像中分塊的前向塊運動矢量和后向塊運動矢量;
從所述最低級圖像的上級圖像起,將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
19、根據(jù)權(quán)利要求18所述圖像壞點修復(fù)方法,其特征在于,在獲得下級圖像中分塊的前向塊運動矢量和后向塊運動矢量之后,還包括
判斷所述下級圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠;
如果判斷可靠,則提供給本級圖像作為本級圖像中所述前向塊運動矢量和后向塊運動矢量的初始值;
如果判斷不可靠,則對所述下級圖像中分塊的前向塊運動矢量和后向塊運動矢量進行修正,將修正后的前向塊運動矢量和后向塊運動矢量提供給本級圖像,作為本級圖像中前向塊運動矢量和后向塊運動矢量的初始值。
20、根據(jù)權(quán)利要求17至19任一項所述圖像壞點修復(fù)方法,所述確定本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量具體包括
分別確定所述本幀圖像中分塊對應(yīng)所述前幀圖像的前幀最佳匹配塊和對應(yīng)所述后幀圖像的后幀最佳匹配塊;
根據(jù)所述分塊和所述前幀最佳匹配塊確定所述前向塊運動矢量,根據(jù)所述分塊和所述后幀最佳匹配塊確定所述后向塊運動矢量。
21、根據(jù)權(quán)利要求20所述圖像壞點修復(fù)方法,其特征在于,通過對所述本幀圖像中分塊進行最小平均絕對值差MAD、開平方根、交互方差或塊均值差確定最佳匹配塊。
22、根據(jù)權(quán)利要求19所述圖像壞點修復(fù)方法,其特征在于,所述判斷下級圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠具體包括判斷是否滿足MADb(x,y)>T1、MADf(x,y)>T1且MADbf(x,y)<T2,其中,MADb表示后向運動的最小平均絕對值差,MADf表示前向運動的最小平均絕對值差,MADbf表示前后幀之間的最小平均絕對值差,T1、T2為預(yù)設(shè)閾值,且T2<T1;
如果滿足,則認為所述塊運動矢量不可靠;
如果不滿足,則認為所述塊運動矢量可靠。
23、根據(jù)權(quán)利要求19所述圖像壞點修復(fù)方法,其特征在于,對塊運動矢量進行修正進一步包括以下步驟
判斷所述塊運動矢量是否為最低級圖像中的塊運動矢量;
如果是,則通過公式對所述塊運動矢量進行修正,其中,MV(x,y)為塊運動矢量,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差,A為鄰域集合;
如果不是,則通過公式對所述塊運動矢量進行修正,其中MV(x,y)為塊運動矢量,其中,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差,MVi(x,y)是上一級圖像塊處修正后的運動矢量,λ為權(quán)值,MVnbi-1是該級圖像塊處鄰域的運動矢量,A為鄰域集合。
24、根據(jù)權(quán)利要求15所述圖像壞點修復(fù)方法,其特征在于,所述根據(jù)前幀運動補償點和后幀運動補償點判斷所述像素點是否為壞點具體包括
根據(jù)所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的u個像素點與本幀圖像中所述像素點的相關(guān)性,判斷所述本幀圖像中所述像素點是否為壞點。
25、根據(jù)權(quán)利要求24所述圖像壞點修復(fù)方法,其特征在于,所述u個像素點為2個像素點,
所述判斷本幀圖像中所述像素點是否為壞點進一步包括以下步驟
對所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點的灰度值進行平均,得到等級均值;
判斷所述本幀圖像中所述像素點與所述等級均值的相關(guān)性;
如果相關(guān),則所述像素點不是壞點;
如果不相關(guān),則所述像素點是壞點。
26、根據(jù)權(quán)利要求25所述圖像壞點修復(fù)方法,其特征在于,對前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點的灰度值進行平均,得到等級均值具體為對所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點按照灰度值進行排序,得到矢量其中,
表示運動補償后的像素點坐標,
所述等級均值
為
27、根據(jù)權(quán)利要求26所述圖像壞點修復(fù)方法,其特征在于,所述判斷本幀圖像中像素點與等級均值的相關(guān)性進一步包括以下步驟
確定等級差分,所述等級差分衡量像素點與時間鄰域上點相關(guān)性的大小,所述等級差分
通過下述公式得到
,其中,所述
是第n幀圖像坐標處灰度值,
根據(jù)所述等級差分
是否大于閾值Ti判斷所述本幀圖像中所述像素點與所述等級均值是否相關(guān)i=1,2,3,其中,i=1,2,3,T1、T2和T3為預(yù)定閾值,且T1<T2<T3;
如上述公式中任一不等式成立,則判斷本幀圖像中所述像素點與所述等級均值不相關(guān)。
28、根據(jù)權(quán)利要求14所述圖像壞點修復(fù)方法,其特征在于,所述對壞點進行修復(fù)具體為
通過矢量中值濾波方式、梯度擴散修復(fù)方式或加權(quán)平均修復(fù)方式對所述壞點進行修復(fù)。
29、根據(jù)權(quán)利要求28所述圖像壞點修復(fù)方法,其特征在于,所述修復(fù)矢量中值濾波方式包括以下步驟
調(diào)取濾波器模板Wz;
根據(jù)所述壞點找到所述模板Wz上對應(yīng)的像素,并得到
,所述
通過下述公式確定,,其中,d(i,j)=|Xi-Xj|,Xi,Xj為壞點所模板Wz中黑色區(qū)域所對應(yīng)的像素點灰度值,d(i,j)為Xi,Xj之間的距離;
定義集合并根據(jù)所述計算s(z),所述z=1,2,3,4,5;
選擇s(z)最小值所對應(yīng)的
作為所述壞點處的像素值。
30、一種圖像壞塊檢測方法,其特征在于,包括以下步驟
對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;
對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;
確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;
根據(jù)所述前向塊運動矢量和所述后向塊運動矢量確定所述分塊中壞像素點的點數(shù);
根據(jù)所述分塊中壞像素點的點數(shù)判斷所述分塊是否為壞塊,如果所述壞像素點的點數(shù)大于預(yù)設(shè)閾值,則判斷所述分塊為壞塊。
31、根據(jù)權(quán)利要求30所述圖像壞塊檢測方法,其特征在于,所述根據(jù)前向塊運動矢量和后向塊運動矢量確定分塊中壞像素點的點數(shù)進一步包括
根據(jù)所述前向塊運動矢量和所述后向塊運動矢量確定所述分塊中每個像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;
根據(jù)所述分塊中的每個像素點,以及每個像素點對應(yīng)的所述前幀運動補償點和所述后幀運動補償點對所述分塊中的每個像素點進行壞點檢測,確定所述分塊中壞像素點的點數(shù)。
32、根據(jù)權(quán)利要求30所述圖像壞塊檢測方法,其特征在于,在所述對本幀圖像、所述前幀圖像和所述后幀圖像進行分塊之前,還包括
根據(jù)分辨率對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,且所述分級的分辨率與所述分塊的大小相反;
所述確定所述分塊的前向塊運動矢量和后向塊運動矢量具體包括
確定最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
33、根據(jù)權(quán)利要求32所述圖像壞塊檢測方法,其特征在于,所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量通過以下步驟確定
計算最低級圖像中分塊的前向塊運動矢量和后向塊運動矢量;
從所述最低級圖像的上級圖像起,將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
34、根據(jù)權(quán)利要求33所述圖像壞塊檢測方法,其特征在于,在獲得下級圖像中分塊的前向塊運動矢量和后向塊運動矢量之后,還包括
判斷所述下級圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠;
如果判斷可靠,則提供給本級圖像作為本級圖像中前向塊運動矢量和后向塊運動矢量的初始值;
如果判斷不可靠,則對所述下級圖像中分塊的前向塊運動矢量和后向塊運動矢量進行修正,將修正后的前向塊運動矢量和后向塊運動矢量提供給本級圖像,作為本級圖像中前向塊運動矢量和后向塊運動矢量的初始值。
35、根據(jù)權(quán)利要求32至34任一項所述圖像壞塊檢測方法,其特征在于,計算前向塊運動矢量和后向塊運動矢量具體包括
分別確定所述本幀圖像中分塊對應(yīng)所述前幀圖像的前幀最佳匹配塊和對應(yīng)所述后幀圖像的后幀最佳匹配塊;
根據(jù)所述分塊和所述前幀最佳匹配塊確定所述前向塊運動矢量,根據(jù)所述分塊和所述后幀最佳匹配塊確定所述后向塊運動矢量。
36、根據(jù)權(quán)利要求34所述圖像壞塊檢測方法,其特征在于,所述判斷下級圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠具體包括判斷是否滿足MADb(x,y)>T1、MADf(x,y)>T1且MADbf(x,y)<T2,其中,MADb表示后向運動的最小平均絕對值差,MADf表示前向運動的最小平均絕對值差,MADbf表示前后幀之間的最小平均絕對值差,T1、T2為預(yù)設(shè)閾值,且T2<T1;
如果滿足,則認為所述塊運動矢量不可靠;
如果不滿足,則認為所述塊運動矢量可靠。
37、根據(jù)權(quán)利要求34所述圖像壞塊檢測方法,其特征在于,所述對塊運動矢量進行修正進一步包括以下步驟
判斷所述塊運動矢量是否為最低級圖像中的塊運動矢量;
如果是,則通過公式對所述塊運動矢量進行修正,其中,MV(x,y)為塊運動矢量,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差,A為鄰域集合;
如果不是,則通過公式對所述塊運動矢量進行修正,其中MV(x,y)為塊運動矢量,其中,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差,MVi(x,y)是上一級圖像塊處修正后的運動矢量,λ為權(quán)值,MVnbi-1是該級圖像塊處鄰域的運動矢量,A為鄰域集合。
38、根據(jù)權(quán)利要求31所述圖像壞塊檢測方法,其特征在于,所述對分塊中的每個像素點進行壞點檢測具體包括以下步驟
根據(jù)分塊中的每個像素點對應(yīng)的前幀運動補償點和后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的u個像素點與本幀圖像中所述像素點的相關(guān)性,判斷所述分塊中的像素點是否為壞點。
39、根據(jù)權(quán)利要求38所述圖像壞塊檢測方法,其特征在于,所述u個像素點為2個像素點,
所述判斷分塊中的像素點是否為壞點進一步包括以下步驟
對所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點的灰度值進行平均,得到等級均值;
判斷所述分塊中的像素點與所述等級均值的相關(guān)性;
如果相關(guān),則所述分塊中的像素點不是壞點;
如果不相關(guān),則所述分塊中的像素點是壞點。
40、根據(jù)權(quán)利要求39所述圖像壞塊檢測方法,其特征在于,對前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點的灰度值進行平均,得到等級均值具體為對所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點按照灰度值進行排序,得到矢量其中,
表示運動補償后的像素點坐標,
所述等級均值
為
41、根據(jù)權(quán)利要求40所述圖像壞塊檢測方法,其特征在于,所述判斷分塊中的像素點與等級均值的相關(guān)性進一步包括以下步驟
確定等級差分,所述等級差分衡量像素點與時間鄰域上點相關(guān)性的大小,所述等級差分
通過下述公式得到
,其中,所述
是第n幀圖像坐標處灰度值,
根據(jù)所述等級差分
是否大于閾值Ti判斷所述分塊中的像素點與所述等級均值是否相關(guān)i=1,2,3,其中,i=1,2,3,T1、T2和T3為預(yù)定閾值,且T1<T2<T3;
如上述公式中任一不等式成立,則判斷分塊中的像素點與所述等級均值不相關(guān)。
42、一種圖像壞塊修復(fù)方法,其特征在于,包括以下步驟
對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;
對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;
確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;
根據(jù)所述前向塊運動矢量和所述后向塊運動矢量對所述分塊中的像素點進行壞點檢測;
分別對所述分塊中檢測到的壞點進行修復(fù)。
43、根據(jù)權(quán)利要求42所述圖像壞塊修復(fù)方法,其特征在于,所述根據(jù)前向塊運動矢量和后向塊運動矢量對所述分塊中的像素點進行壞點檢測進一步包括
根據(jù)所述前向塊運動矢量和所述后向塊運動矢量確定所述分塊中每個像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;
根據(jù)所述分塊中的每個像素點,以及每個像素點對應(yīng)的所述前幀運動補償點和所述后幀運動補償點對所述分塊中的每個像素點進行壞點檢測。
44、根據(jù)權(quán)利要求43所述圖像壞塊修復(fù)方法,其特征在于,在所述對本幀圖像、所述前幀圖像和所述后幀圖像進行分塊之前,還包括
根據(jù)分辨率對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,且所述分級的分辨率與所述分塊的大小相反;
所述確定所述分塊的前向塊運動矢量和后向塊運動矢量具體包括
確定最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
45、根據(jù)權(quán)利要求44所述圖像壞塊修復(fù)方法,其特征在于,所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量通過以下步驟確定
計算最低級圖像中分塊的前向塊運動矢量和后向塊運動矢量;
從所述最低級圖像的上級圖像起,將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
46、根據(jù)權(quán)利要求45所述圖像壞塊修復(fù)方法,其特征在于,在獲得下級圖像中分塊的前向塊運動矢量和后向塊運動矢量之后,還包括
判斷所述下級圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠;
如果判斷可靠,則提供給本級圖像作為本級圖像中前向塊運動矢量和后向塊運動矢量的初始值;
如果判斷不可靠,則對所述下級圖像中分塊的前向塊運動矢量和后向塊運動矢量進行修正,將修正后的前向塊運動矢量和后向塊運動矢量提供給本級圖像,作為本級圖像中前向塊運動矢量和后向塊運動矢量的初始值。
47、根據(jù)權(quán)利要求44至46任一項所述圖像壞塊修復(fù)方法,其特征在于,計算前向塊運動矢量和后向塊運動矢量具體包括
分別確定所述本幀圖像中分塊對應(yīng)所述前幀圖像的前幀最佳匹配塊和對應(yīng)所述后幀圖像的后幀最佳匹配塊;
根據(jù)所述分塊和所述前幀最佳匹配塊確定所述前向塊運動矢量,根據(jù)所述分塊和所述后幀最佳匹配塊確定所述后向塊運動矢量。
48、根據(jù)權(quán)利要求47所述圖像壞塊修復(fù)方法,其特征在于,所述判斷下級圖像中分塊的前向塊運動矢量和后向塊運動矢量是否可靠具體包括判斷是否滿足MADb(x,y)>T1、MADf(x,y)>T1且MADbf(x,y)<T2,其中,MADb表示后向運動的最小平均絕對值差,MADf表示前向運動的最小平均絕對值差,MADbf表示前后幀之間的最小平均絕對值差,T1、T2為預(yù)設(shè)閾值,且T2<T1;
如果滿足,則認為所述塊運動矢量不可靠;
如果不滿足,則認為所述塊運動矢量可靠。
49、根據(jù)權(quán)利要求46所述圖像壞塊修復(fù)方法,其特征在于,所述對塊運動矢量進行修正進一步包括以下步驟
判斷所述塊運動矢量是否為最低級圖像中的塊運動矢量;
如果是,則通過公式對所述塊運動矢量進行修正,其中,MV(x,y)為塊運動矢量,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差,A為鄰域集合;
如果不是,則通過公式對所述塊運動矢量進行修正,其中MV(x,y)為塊運動矢量,其中,MADMVnb(x,y)為運動矢量MV(x,y)的鄰域塊運動矢量的最小平均絕對值差,MVi(x,y)是上一級圖像塊處修正后的運動矢量,λ為權(quán)值,MVnbi-1是該級圖像塊處鄰域的運動矢量,A為鄰域集合。
50、根據(jù)權(quán)利要求43所述圖像壞塊修復(fù)方法,其特征在于,所述對分塊中的每個像素點進行壞點檢測包括以下步驟
根據(jù)分塊中的每個像素點對應(yīng)的前幀運動補償點和后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的u個像素點與本幀圖像中所述像素點的相關(guān)性,判斷所述分塊中的的像素點是否為壞點。
51、根據(jù)權(quán)利要求50所述圖像壞塊修復(fù)方法,其特征在于,所述u個像素點為2個像素點,
所述判斷分塊中的像素點是否為壞點進一步包括以下步驟
對所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點的灰度值進行平均,得到等級均值;
判斷所述分塊中的像素點與所述等級均值的相關(guān)性;
如果相關(guān),則所述分塊中的像素點不是壞點;
如果不相關(guān),則所述分塊中的像素點是壞點。
52、根據(jù)權(quán)利要求51所述圖像壞塊修復(fù)方法,其特征在于,對前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點的灰度值進行平均,得到等級均值具體為對所述前幀運動補償點和所述后幀運動補償點,及所述前幀運動補償點和所述后幀運動補償點鄰域的2個像素點按照灰度值進行排序,得到矢量其中,
表示運動補償后的像素點坐標,
所述等級均值
為
53、根據(jù)權(quán)利要求52所述圖像壞塊修復(fù)方法,其特征在于,所述判斷分塊中的像素點與等級均值的相關(guān)性進一步包括以下步驟
確定等級差分,所述等級差分衡量像素點與時間鄰域上點相關(guān)性的大小,所述等級差分
通過下述公式得到
,其中,所述
是第n幀圖像坐標處灰度值,
根據(jù)所述等級差分
是否大于閾值Ti判斷所述分塊中的像素點與所述等級均值是否相關(guān)i=1,2,3,其中,i=1,2,3,T1、T2和T3為預(yù)定閾值,且T1<T2<T3;
如上述公式中任一不等式成立,則判斷分塊中的像素點與所述等級均值不相關(guān)。
54、根據(jù)權(quán)利要求42所述圖像壞塊修復(fù)方法,其特征在于,所述對壞塊中檢測到的壞點進行修復(fù)具體包括通過矢量中值濾波方式、梯度擴散修復(fù)方式或加權(quán)平均修復(fù)方式對所述壞點進行修復(fù)。
55、根據(jù)權(quán)利要求54所述圖像壞點修復(fù)方法,其特征在于,所述修復(fù)矢量中值濾波方式包括以下步驟
調(diào)取濾波器模板Wz;
根據(jù)所述壞點找到所述模板Wz上對應(yīng)的像素,并得到
,所述
通過下述公式確定,,其中,d(i,j)=|Xi-Xj|,Xi,Xj為壞點所模板Wz中黑色區(qū)域所對應(yīng)的像素點灰度值,d(i,j)為Xi,Xj之間的距離;
定義集合并根據(jù)所述計算s(z),所述z=1,2,3,4,5;
選擇s(z)最小值所對應(yīng)的
作為所述壞點處的像素值。
56、一種圖像壞點檢測裝置,其特征在于,包括圖像幀緩存模塊、運動矢量計算模塊、運動補償點確定模塊和壞點檢測模塊,
所述圖像幀緩存模塊,用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;
所述運動矢量計算模塊,用于根據(jù)所述圖像幀緩存模塊緩存的圖像,確定所述本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;
所述運動補償點確定模塊,用于根據(jù)所述運動矢量計算模塊獲得的所述前向運動矢量和所述后向運動矢量確定所述本幀圖像中所述像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;
所述壞點檢測模塊,用于根據(jù)所述運動補償點確定模塊確定的所述前幀運動補償點和所述后幀運動補償點對所述本幀圖像中所述像素點進行壞點檢測。
57、根據(jù)權(quán)利要求56所述圖像壞點檢測裝置,其特征在于,所述運動矢量計算模塊包括分塊子模塊和塊運動矢量計算子模塊,
所述分塊子模塊,用于對所述圖像幀緩存模塊中緩存的所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;
所述塊運動矢量計算子模塊,用于確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量,其中所述分塊的前向塊運動矢量和后向塊運動矢量可作為屬于所述分塊的所述像素點的所述前向運動矢量和所述后向運動矢量。
58、根據(jù)權(quán)利要求56或57所述圖像壞點檢測裝置,其特征在于,所述運動矢量計算模塊還包括分級子模塊,用于根據(jù)分辨率對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,所述分級的分辨率與所述分塊的大小相反;
所述塊運動矢量計算子模塊,還用于將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
59、根據(jù)權(quán)利要求57所述圖像壞點檢測裝置,其特征在于,所述運動矢量計算模塊還包括判斷子模塊和修正子模塊,
所述判斷子模塊,用于判斷所述下級圖像中分塊的塊運動矢量是否可靠;
所述修正子模塊,用于在所述判斷子模塊判斷所述塊運動矢量不可靠時,對所述塊運動矢量進行修正。
60、一種圖像壞點修復(fù)裝置,其特征在于,包括圖像幀緩存模塊、運動矢量計算模塊、運動補償點確定模塊、壞點檢測模塊和修復(fù)模塊,
所述圖像幀緩存模塊,用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;
所述運動矢量計算模塊,用于根據(jù)所述圖像幀緩存模塊緩存的圖像,確定所述本幀圖像中像素點分別相對于所述前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;
所述運動補償點確定模塊,用于根據(jù)所述運動矢量計算模塊獲得的所述前向運動矢量和所述后向運動矢量確定所述本幀圖像中所述像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;
所述壞點檢測模塊,用于根據(jù)所述運動補償點確定模塊確定的所述前幀運動補償點和所述后幀運動補償點對所述本幀圖像中所述像素點進行壞點檢測;
所述修復(fù)模塊,用于在所述壞點檢測模塊檢測所述像素點為壞點時,對所述像素點進行修復(fù)。
61、根據(jù)權(quán)利要求60所述圖像壞點修復(fù)裝置,其特征在于,所述運動矢量計算模塊包括分塊子模塊和塊運動矢量計算子模塊,
所述分塊子模塊,用于對所述圖像幀緩存模塊中緩存的所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;
所述塊運動矢量計算子模塊,用于確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量,其中所述分塊的前向塊運動矢量和后向塊運動矢量可作為屬于所述分塊的所述像素點的所述前向運動矢量和所述后向運動矢量。
62、根據(jù)權(quán)利要求60或61所述圖像壞點修復(fù)裝置,其特征在于,所述運動矢量計算模塊還包括分級子模塊,用于根據(jù)分辨率對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,所述分級的分辨率與所述分塊的大小相反;
所述塊運動矢量計算子模塊,還用于將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
63、根據(jù)權(quán)利要求61所述圖像壞點修復(fù)裝置,其特征在于,所述運動矢量計算模塊還包括判斷子模塊和修正子模塊,
所述判斷子模塊,用于判斷所述下級圖像中分塊的塊運動矢量是否可靠;
所述修正子模塊,用于在所述判斷子模塊判斷所述塊運動矢量不可靠時,對所述塊運動矢量進行修正。
64、一種圖像壞塊檢測裝置,其特征在于,包括圖像幀緩存模塊、分塊模塊、塊運動矢量計算模塊、壞點數(shù)確定模塊和壞塊檢測模塊,
所述圖像幀緩存模塊,用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;
所述分塊模塊,用于對所述圖像幀緩存模塊中緩存的本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;
所述塊運動矢量計算模塊,用于確定所述分塊模塊對所述本幀圖像中的分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;
所述壞點數(shù)確定模塊,用于根據(jù)所述塊運動矢量計算模塊得到的所述前向塊運動矢量和所述后向塊運動矢量確定所述分塊中壞像素點的點數(shù);
所述壞塊檢測模塊,用于根據(jù)所述壞點數(shù)確定模塊確定的壞像素的點數(shù)判斷所述分塊是否為壞塊,如果所述壞像素點的點數(shù)大于預(yù)設(shè)閾值,則所述分塊為壞塊。
65、根據(jù)權(quán)利要求64所述圖像壞塊檢測裝置,其特征在于,所述壞點數(shù)確定模塊包括運動補償點確定子模塊和壞點檢測子模塊,
所述運動補償點確定子模塊,用于根據(jù)所述前向塊運動矢量和所述后向塊運動矢量確定所述分塊中每個像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;
所述壞點檢測子模塊,用于根據(jù)所述分塊中的每個像素點,以及所述運動補償點確定子模塊得到的對應(yīng)的所述前幀運動補償點和所述后幀運動補償點對所述分塊中的每個像素點進行壞點檢測。
66、根據(jù)權(quán)利要求65所述圖像壞塊檢測裝置,其特征在于,所述塊運動矢量計算模塊還包括分級子模塊和本級塊運動矢量計算子模塊,
所述分級子模塊,用于根據(jù)分辨率對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,且所述分級的分辨率與所述分塊的大小相反;
所述本級塊運動矢量計算子模塊,用于將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
67、根據(jù)權(quán)利要求66所述圖像壞塊檢測裝置,其特征在于,所述塊運動矢量計算模塊還包括判斷子模塊和修正子模塊,
所述判斷子模塊,用于判斷所述下級圖像中分塊的塊運動矢量是否可靠;
所述修正子模塊,用于在所述判斷子模塊判斷所述塊運動矢量不可靠時,對所述塊運動矢量進行修正。
68、一種圖像壞塊修復(fù)裝置,其特征在于,包括圖像幀緩存模塊、分塊模塊、塊運動矢量計算模塊、壞點檢測模塊和修復(fù)模塊,
所述圖像幀緩存模塊,用于對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;
所述分塊模塊,用于對所述圖像幀緩存模塊緩存的所述本幀圖像、所述前幀圖像和所述后幀圖像進行分塊;
所述塊運動矢量計算模塊,用于確定所述本幀圖像中分塊分別相對于所述前幀圖像的前向塊運動矢量和相對于所述后幀圖像的后向塊運動矢量;
所述壞點檢測模塊,用于根據(jù)所述塊運動矢量計算模塊得到的所述前向塊運動矢量和所述后向塊運動矢量對所述分塊中每個像素點進行壞點檢測;
所述修復(fù)模塊,用于對所述壞點檢測模塊檢測到的所述分塊中的壞點進行修復(fù)。
69、根據(jù)權(quán)利要求68所述的圖像壞塊修復(fù)裝置,其特征在于,所述壞點檢測模塊包括運動補償點確定子模塊和壞點檢測子模塊,
所述運動補償點確定子模塊,用于根據(jù)所述前向塊運動矢量和所述后向塊運動矢量確定所述分塊中每個像素點分別相對于所述前幀圖像的前幀運動補償點和相對于所述后幀圖像的后幀運動補償點;
所述壞點檢測子模塊,用于根據(jù)所述分塊中的每個像素點,以及所述運動補償點確定子模塊得到的對應(yīng)的所述前幀運動補償點和所述后幀運動補償點對所述分塊中的每個像素點進行壞點檢測。
70、根據(jù)權(quán)利要求69所述圖像壞塊修復(fù)裝置,其特征在于,所述塊運動矢量計算模塊還包括分級子模塊和本級塊運動矢量計算子模塊,
所述分級子模塊,用于根據(jù)分辨率對所述本幀圖像、所述前幀圖像和所述后幀圖像進行分級,其中,分辨率越高則所述圖像級別越高,所述分級的分辨率與所述分塊的大小相反;
所述本級塊運動矢量計算子模塊,用于將下級圖像中分塊的前向塊運動矢量和后向塊運動矢量作為本級圖像中對應(yīng)分塊的初始值,得到所述本級圖像中分塊的前向塊運動矢量和后向塊運動矢量,直至得出所述最高級圖像中分塊的前向塊運動矢量和后向塊運動矢量。
71、根據(jù)權(quán)利要求70所述圖像壞塊檢測裝置,其特征在于,所述塊運動矢量計算模塊還包括判斷子模塊和修正子模塊,
所述判斷子模塊,用于判斷所述下級圖像中分塊的塊運動矢量是否可靠;
所述修正子模塊,用于在所述判斷子模塊判斷所述塊運動矢量不可靠時,對所述塊運動矢量進行修正。
全文摘要
本發(fā)明提出一種圖像壞點檢測方法,包括對至少三幀連續(xù)的圖像進行緩存,包括本幀圖像、至少一前幀圖像和至少一后幀圖像;確定本幀圖像中像素點分別相對于前幀圖像的前向運動矢量和相對于所述后幀圖像的后向運動矢量;根據(jù)前向運動矢量和后向運動矢量確定本幀圖像中像素點分別相對于前幀圖像的前幀運動補償點和相對于后幀圖像的后幀運動補償點;根據(jù)所述前幀運動補償點和所述后幀運動補償點對所述本幀圖像中所述像素點進行壞點檢測。本發(fā)明考慮了圖像在時間上和空間上圖像灰度與運動矢量相關(guān)的特點,根據(jù)運動矢量得到本幀圖像中像素點對應(yīng)前后幀圖像中的運動補償點,從而提高壞點或壞塊的檢測精度,改進圖像中壞點或壞塊的修復(fù)的準確度。
文檔編號H04N5/14GK101299799SQ20081011492
公開日2008年11月5日 申請日期2008年6月13日 優(yōu)先權(quán)日2008年6月13日
發(fā)明者諶安軍 申請人:北京中星微電子有限公司