用于運(yùn)動(dòng)估計(jì)的方法和用于處理圖像的設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 下述描述涉及一種用于運(yùn)動(dòng)估計(jì)的方法和用于處理圖像的設(shè)備。
【背景技術(shù)】
[0002] 運(yùn)動(dòng)估計(jì)是當(dāng)顯示裝置顯示諸如移動(dòng)圖像這樣的動(dòng)態(tài)圖像時(shí)估計(jì)對象如何在時(shí) 間序列幀之間移動(dòng)的處理。運(yùn)動(dòng)估計(jì)在用于動(dòng)態(tài)圖像處理的各種設(shè)備中使用，諸如運(yùn)動(dòng)圖 像專家組（MPEG)等等這樣的移動(dòng)圖像壓縮、三維（3D)噪聲移除、以及幀速率轉(zhuǎn)換。
[0003] 存在一種現(xiàn)有的運(yùn)動(dòng)估計(jì)方法，該方法將參考圖像劃分為具有均勻大小的宏塊， 對前面或后面的幀中的每個(gè)宏塊設(shè)置搜索區(qū)域，并且然后根據(jù)宏塊來計(jì)算參考圖像的宏塊 與前面或后面的幀的對應(yīng)宏塊之間的像素間亮度差的和，以便找到具有最小的和的塊。使 用由等式1給出的絕對差（SAD)的和來計(jì)算像素間亮度差的和。
[0004] 等式 1
【主權(quán)項(xiàng)】
1. 一種用于運(yùn)動(dòng)估計(jì)的方法，所述方法包括： 從任一個(gè)巾貞提取圖案； 將所提取的圖案分類為預(yù)定基本圖案中的任一個(gè)； 根據(jù)所述基本圖案的類型來對宏塊中包括的區(qū)域的基本圖案進(jìn)行計(jì)數(shù)以設(shè)置所述宏 塊的代表性基本圖案； 根據(jù)宏塊組中包括的宏塊的代表性基本圖案之間的相關(guān)性來計(jì)算絕對差的和SAD項(xiàng) 系數(shù)和平滑約束SC項(xiàng)系數(shù)中的至少一個(gè)；以及 使用計(jì)算出的SAD項(xiàng)系數(shù)和SC項(xiàng)系數(shù)中的至少一個(gè)來計(jì)算成本函數(shù)結(jié)果。
2. 根據(jù)權(quán)利要求1所述的方法，其中，提取所述圖案的步驟包括：檢測所述幀中示出的 對象之間的邊緣。
3. 根據(jù)權(quán)利要求1所述的方法，其中，提取所述圖案的步驟包括：以像素為單元提取所 述圖案。
4. 根據(jù)權(quán)利要求1所述的方法，其中，提取所述圖案的步驟包括：以由預(yù)定像素構(gòu)成的 塊為單元提取所述圖案。
5. 根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)定基本圖案包括：平坦圖案、水平邊緣圖 案、堅(jiān)直邊緣圖案、左對角邊緣圖案和右對角邊緣圖案。
6. 根據(jù)權(quán)利要求1所述的方法，其中，將所提取的圖案分類為所述預(yù)定基本圖案中的 一個(gè)的步驟包括：比較所提取的圖案與所述預(yù)定基本圖案并且選擇與所提取的圖案最類似 的預(yù)定基本圖案。
7. 根據(jù)權(quán)利要求1所述的方法，其中，將所提取的圖案分類為所述預(yù)定基本圖案中的 一個(gè)的步驟包括：使用線檢測運(yùn)算符和Sobel運(yùn)算符中的任一個(gè)來將每個(gè)像素分類為所述 預(yù)定基本圖案中的一個(gè)。
8. 根據(jù)權(quán)利要求1所述的方法，其中，設(shè)置所述宏塊的所述代表性基本圖案的步驟包 括：將每個(gè)宏塊中包括的區(qū)域的基本圖案中的具有最大數(shù)目的一種類型的基本圖案確定為 所述宏塊的代表性基本圖案。
9. 根據(jù)權(quán)利要求1所述的方法，其中，通過下述方式獲得所述宏塊組中包括的所述宏 塊的所述代表性基本圖案之間的相關(guān)性：根據(jù)所述代表性基本圖案的類型來對所述宏塊組 中包括的所述宏塊的所述代表性基本圖案進(jìn)行計(jì)數(shù)，并且計(jì)算一種類型的代表性基本圖案 的最大數(shù)目與所述宏塊組中包括的所述宏塊的數(shù)目的比率。
10. 根據(jù)權(quán)利要求1所述的方法，其中，通過下述方式來獲得所述宏塊組中包括的所述 宏塊的所述代表性基本圖案之間的相關(guān)性：執(zhí)行所述宏塊組中包括的參考宏塊的代表性基 本圖案與在所述參考宏塊周圍的宏塊的代表性基本圖案之間的相關(guān)性運(yùn)算。
11. 根據(jù)權(quán)利要求10所述的方法，其中，通過計(jì)算下述等式來執(zhí)行所述相關(guān)性運(yùn)算：
其中，C:相關(guān)性，P。：對所述參考宏塊的所述代表性基本圖案設(shè)置的值，Pi:對在所述參 考宏塊周圍的所述宏塊的所述代表性基本圖案設(shè)置的值，N:所述宏塊組中包括的所述宏塊 的數(shù)目。
12.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)所述相關(guān)性來計(jì)算所述SAD項(xiàng)系數(shù)和所述 SC項(xiàng)系數(shù)中的至少一個(gè)的步驟包括：將所述SAD項(xiàng)系數(shù)設(shè)置為常數(shù)，并且將所述SC項(xiàng)系數(shù) 計(jì)算為根據(jù)所述相關(guān)性而改變。
13.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)所述相關(guān)性來計(jì)算所述SAD項(xiàng)系數(shù)和所述 SC項(xiàng)系數(shù)中的至少一個(gè)的步驟包括：計(jì)算在包括所述圖案的對象的運(yùn)動(dòng)估計(jì)期間的所述 SAD項(xiàng)系數(shù)和所述SC項(xiàng)系數(shù)中的至少一個(gè)，使得SC項(xiàng)的權(quán)重大于SAD項(xiàng)的權(quán)重。
14.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)所述相關(guān)性來計(jì)算所述SAD項(xiàng)系數(shù)和所述 SC項(xiàng)系數(shù)中的至少一個(gè)的步驟包括：通過計(jì)算具有所述相關(guān)性作為獨(dú)立變量的非線性函 數(shù)和線性函數(shù)中的至少一個(gè)，或者通過根據(jù)所述相關(guān)性使用查找表，來計(jì)算所述SAD項(xiàng)系 數(shù)和所述SC項(xiàng)系數(shù)中的至少一個(gè)。
15. -種用于對圖像進(jìn)行處理的設(shè)備，所述設(shè)備包括： 圖案提取單元，所述圖案提取單元被構(gòu)造為從任一個(gè)幀提取圖案； 圖案分類單元，所述圖案分類單元被構(gòu)造為將所提取的圖案分類為預(yù)定基本圖案中的 任一個(gè)； 算術(shù)單元，所述算術(shù)單元包括代表性基本圖案設(shè)置器、相關(guān)性計(jì)算器、系數(shù)設(shè)置器以及 結(jié)果計(jì)算器，所述代表性基本圖案設(shè)置器被構(gòu)造為根據(jù)所述基本圖案的類型來對宏塊中包 括的區(qū)域的基本圖案進(jìn)行計(jì)數(shù)以設(shè)置所述宏塊的代表性基本圖案，所述相關(guān)性計(jì)算器被構(gòu) 造為計(jì)算宏塊組中包括的宏塊的代表性基本圖案之間的相關(guān)性，所述系數(shù)設(shè)置器被構(gòu)造為 使用計(jì)算出的相關(guān)性來計(jì)算絕對差的和SAD項(xiàng)系數(shù)和平滑約束SC項(xiàng)系數(shù)中的至少一個(gè)，并 且所述結(jié)果計(jì)算器被構(gòu)造為使用計(jì)算出的SAD項(xiàng)系數(shù)和SC項(xiàng)系數(shù)中的至少一個(gè)來計(jì)算成 本函數(shù)結(jié)果；以及 運(yùn)動(dòng)估計(jì)單元，所述運(yùn)動(dòng)估計(jì)單元被構(gòu)造為使用計(jì)算出的成本函數(shù)結(jié)果來執(zhí)行運(yùn)動(dòng)估 計(jì)， 其中，使用所述運(yùn)動(dòng)估計(jì)來執(zhí)行圖像處理。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述圖案提取單元檢測在所述幀中示出的對 象之間的邊緣以檢測所述圖案。
17.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述圖案提取單元以像素或塊為單元來提取 所述圖案。
18.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述圖案分類單元比較所提取的圖案與所述 預(yù)定基本圖案，所述預(yù)定基本圖案包括平坦圖案、水平邊緣圖案、堅(jiān)直邊緣圖案、左對角邊 緣圖案和右對角邊緣圖案。
19.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述圖案分類單元通過下述方式來對所提取 的圖案進(jìn)行分類：比較所提取的圖案與所述預(yù)定基本圖案并且選擇與所提取的圖案最接近 的預(yù)定基本圖案。
20.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述圖案分類單元使用線檢測運(yùn)算符和Sobel 運(yùn)算符中的任一個(gè)來將每個(gè)像素分類為所述預(yù)定基本圖案中的一個(gè)。
21.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述算術(shù)單元通過下述方式來計(jì)算所述宏塊 組中包括的所述宏塊的所述代表性基本圖案之間的相關(guān)性：根據(jù)所述代表性基本圖案的類 型來對所述宏塊組中包括的所述宏塊的所述代表性基本圖案進(jìn)行計(jì)數(shù)，并且計(jì)算一種類型 的代表性基本圖案的最大數(shù)目與所述宏塊組中包括的所述宏塊的數(shù)目的比率。
22.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述算術(shù)單元通過下述方式來計(jì)算所述宏塊 組中包括的宏塊的代表性基本圖案之間的相關(guān)性：執(zhí)行所述宏塊組中包括的參考宏塊的代 表性基本圖案與在所述參考宏塊周圍的宏塊的代表性基本圖案之間的相關(guān)性運(yùn)算。
23.根據(jù)權(quán)利要求22所述的設(shè)備，其中，所述算術(shù)單元通過計(jì)算下述等式來計(jì)算所述 宏塊組中包括的所述參考宏塊的所述代表性基本圖案與在所述參考宏塊周圍的所述宏塊 的所述代表性基本圖案之間的相關(guān)性：
其中，C:相關(guān)性，P。：對所述參考宏塊的所述代表性基本圖案設(shè)置的值，Pi:對在所述參 考宏塊周圍的所述宏塊的所述代表性基本圖案設(shè)置的值，N:所述宏塊組中包括的所述宏塊 的數(shù)目。
24.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述算術(shù)單元將所述SAD項(xiàng)系數(shù)設(shè)置為常數(shù)， 并且將所述SC項(xiàng)系數(shù)計(jì)算為根據(jù)所述相關(guān)性而改變。
25.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述算術(shù)單元計(jì)算在包括所述圖案的對象的 運(yùn)動(dòng)估計(jì)期間的所述SAD項(xiàng)系數(shù)和所述SC項(xiàng)系數(shù)中的至少一個(gè)，使得SC項(xiàng)的權(quán)重大于SAD 項(xiàng)的權(quán)重。
26.根據(jù)權(quán)利要求15所述的設(shè)備，其中，所述算術(shù)單元通過計(jì)算具有所述相關(guān)性作為 獨(dú)立變量的非線性函數(shù)和線性函數(shù)中的至少一個(gè)，或者通過根據(jù)所述相關(guān)性使用查找表， 來計(jì)算所述SAD項(xiàng)系數(shù)和所述SC項(xiàng)系數(shù)中的至少一個(gè)。
27.根據(jù)權(quán)利要求15所述的設(shè)備，其中，使用完全搜索、三步搜索和遞歸搜索中的至少 一個(gè)來執(zhí)行運(yùn)動(dòng)估計(jì)。
【專利摘要】本發(fā)明提供了用于運(yùn)動(dòng)估計(jì)的方法和用于處理圖像的設(shè)備。該方法包括：從任一個(gè)幀提取圖案；將所提取的圖案分類為預(yù)定基本圖案中的任一個(gè)；根據(jù)基本圖案的類型來對宏塊中包括的區(qū)域的基本圖案進(jìn)行計(jì)數(shù)以設(shè)置宏塊的代表性基本圖案；從宏塊組中包括的宏塊的代表性基本圖案之間的相關(guān)性來計(jì)算絕對差的和SAD項(xiàng)系數(shù)和平滑約束SC項(xiàng)系數(shù)中的至少一個(gè)；以及使用計(jì)算出的SAD項(xiàng)系數(shù)和SC項(xiàng)系數(shù)中的至少一個(gè)來計(jì)算成本函數(shù)結(jié)果。
【IPC分類】H04N19-176, H04N19-51, H04N19-137
【公開號】CN104581178
【申請?zhí)枴緾N201410548778
【發(fā)明人】金大顯, 金兌珍, 李在憲
【申請人】安納帕斯股份有限公司
【公開日】2015年4月29日
【申請日】2014年10月16日
【公告號】US20150110171