視頻圖像局部區(qū)域放大的方法和裝置制造方法
【專利摘要】本申請(qǐng)公開(kāi)了一種視頻圖像局部區(qū)域放大的方法和裝置。該方法的一【具體實(shí)施方式】包括：確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，視頻包括一個(gè)或多個(gè)片段；根據(jù)位于感興趣區(qū)域中的第一圖像的自相似性，對(duì)第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；通過(guò)迭代反投影IBP算法，對(duì)第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；顯示第三圖像。該實(shí)施方式實(shí)現(xiàn)了視頻圖像局部區(qū)域放大，增加了放大后的局部區(qū)域圖像的清晰度。
【專利說(shuō)明】視頻圖像局部區(qū)域放大的方法和裝置

【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)涉及圖像處理領(lǐng)域，具體涉及視頻圖像處理領(lǐng)域，尤其涉及視頻圖像局部區(qū)域放大的方法和裝置。

【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中，用戶在觀看視頻時(shí)，可能僅會(huì)關(guān)注局部區(qū)域中的圖像。但是，由于局部區(qū)域中的圖像較小，使得用戶無(wú)法清晰的觀看到局部圖像。即使視頻圖像局部區(qū)域可以放大，其清晰度也會(huì)比較低。


【發(fā)明內(nèi)容】

[0003]本申請(qǐng)?zhí)峁┝艘环N視頻圖像局部區(qū)域放大的方法和裝置，解決了視頻圖像局部區(qū)域放大，導(dǎo)致放大后的局部區(qū)域清晰度較低的問(wèn)題。
[0004]第一方面，提供了一種視頻圖像局部區(qū)域放大的方法，所述方法包括:
[0005]確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，所述視頻包括一個(gè)或多個(gè)片段；
[0006]根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；
[0007]通過(guò)迭代反投影IBP (Iterative Back Pro ject1n)算法,對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；
[0008]顯示所述第三圖像。
[0009]在某些實(shí)施方式中，所述確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，包括:
[0010]確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域；
[0011]根據(jù)所述第一幀圖像的感興趣區(qū)域，預(yù)測(cè)所述目標(biāo)片段中其他幀圖像的感興趣區(qū)域。
[0012]在某些實(shí)施方式中，所述確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域，包括:
[0013]獲取所述第一幀圖像的顯著度信息和角點(diǎn)分布信息；
[0014]根據(jù)所述顯著度信息和所述角點(diǎn)分布信息，確定所述第一幀圖像的感興趣區(qū)域。
[0015]在某些實(shí)施方式中，所述其他幀圖像的感興趣區(qū)域，是根據(jù)其上一幀的感興趣圖像區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的。
[0016]在某些實(shí)施方式中，所述運(yùn)動(dòng)跟蹤包括如下任一項(xiàng):基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于模型的跟蹤。
[0017]在某些實(shí)施方式中，還包括:
[0018]根據(jù)針對(duì)所述感興趣區(qū)域的設(shè)置操作，調(diào)整所述感興趣區(qū)域的位置和范圍。
[0019]在某些實(shí)施方式中，所述根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像，包括:
[0020]獲取所述第一圖像的N級(jí)放大圖像和N-1級(jí)放大高頻信息圖像，所述N級(jí)放大圖像是通過(guò)放大N級(jí)放大輸入圖像得到的，所述N-1級(jí)放大高頻信息圖像是根據(jù)所述N級(jí)放大輸入圖像得到的，所述N級(jí)放大輸入圖像是根據(jù)N-1級(jí)放大圖像與N-2級(jí)放大高頻信息圖像之間的相似性，將所述N-2級(jí)放大高頻信息圖像疊加到所述N-1級(jí)放大圖像上得到的，其中，N大于或等于2 ;
[0021]根據(jù)所述N級(jí)放大圖像與所述N級(jí)放大輸入圖像之間的相似性，獲取所述N級(jí)放大圖像與所述N-1級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系；
[0022]根據(jù)所述位置對(duì)應(yīng)關(guān)系，將所述N-1級(jí)放大高頻信息圖像疊加到所述N級(jí)放大圖像上，得到所述第二圖像。
[0023]在某些實(shí)施方式中，所述N-1級(jí)放大高頻信息圖像是通過(guò)對(duì)所述N級(jí)放大輸入圖像進(jìn)行聞斯濾波獲取的。
[0024]在某些實(shí)施方式中，所述通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像，包括:
[0025]獲取初始估計(jì)圖像的模擬低分辨率圖像，所述初始估計(jì)圖像為所述第二圖像；
[0026]比較所述模擬低分辨率圖像與所述第一圖像；
[0027]根據(jù)比較結(jié)果獲取模擬誤差圖像；
[0028]根據(jù)所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像。
[0029]在某些實(shí)施方式中，所述獲取初始估計(jì)圖像的模擬低分辨率圖像，包括:
[0030]對(duì)所述第二圖像進(jìn)行高斯濾波；
[0031]通過(guò)雙線性差值方式，對(duì)進(jìn)行高斯濾波后的第二圖像進(jìn)行下采樣，得到所述模擬低分辨率圖像。
[0032]在某些實(shí)施方式中，所述根據(jù)所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像，包括:
[0033]將所述第二圖像與目標(biāo)圖像進(jìn)行加法運(yùn)算，所述目標(biāo)圖像為所述誤差圖像與小于或等于I的正數(shù)進(jìn)行乘法運(yùn)算后得到的。
[0034]在某些實(shí)施方式中，所述正數(shù)為0.25。
[0035]在某些實(shí)施方式中，所述IBP的迭代次數(shù)為5次。
[0036]在某些實(shí)施方式中，所述顯示所述第三圖像，包括:
[0037]以全屏方式顯示所述第三圖像，或以非全屏方式顯示所述第三圖像。
[0038]在某些實(shí)施方式中，所述以非全屏方式顯示所述第三圖像，包括:
[0039]在如下至少一個(gè)區(qū)域中顯示所述第三圖像:所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域、所述第三圖像對(duì)應(yīng)的幀圖像的顯示區(qū)域、對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域。
[0040]在某些實(shí)施方式中，所述任一角區(qū)域包含的顯著度信息的數(shù)量，小于其他三個(gè)角區(qū)域包括的顯著度信息的數(shù)量。
[0041 ] 在某些實(shí)施方式中，所述空閑區(qū)域位于整理后的所述第三圖像的右側(cè)。
[0042]第二方面，提供了一種視頻圖像局部區(qū)域放大的裝置，包括:
[0043]確定單元，用于確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，所述視頻包括一個(gè)或多個(gè)片段；
[0044]超分辨率重構(gòu)單元，用于根據(jù)位于所述確定單元確定的所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；
[0045]顯示單元，用于顯示所述第三圖像。
[0046]在某些實(shí)施方式中，所述確定單元，包括:
[0047]確定模塊，用于確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域；
[0048]預(yù)測(cè)模塊，用于根據(jù)所述確定模塊確定的所述第一幀圖像的感興趣區(qū)域，預(yù)測(cè)所述目標(biāo)片段中其他幀圖像的感興趣區(qū)域。
[0049]在某些實(shí)施方式中，所述確定模塊，具體用于獲取所述第一幀圖像的顯著度信息和角點(diǎn)分布信息；
[0050]根據(jù)所述顯著度信息和所述角點(diǎn)分布信息，確定所述第一幀圖像的感興趣區(qū)域。
[0051]在某些實(shí)施方式中，所述其他幀圖像的感興趣區(qū)域，是所述預(yù)測(cè)模塊根據(jù)其上一幀的感興趣圖像區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的。
[0052]在某些實(shí)施方式中，所述運(yùn)動(dòng)跟蹤包括如下任一項(xiàng):基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于模型的跟蹤。
[0053]在某些實(shí)施方式中，還包括:
[0054]調(diào)整單元，用于根據(jù)針對(duì)所述感興趣區(qū)域的設(shè)置操作，調(diào)整所述感興趣區(qū)域的位置和范圍。
[0055]在某些實(shí)施方式中，所述超分辨率重構(gòu)單元，包括:
[0056]第一獲取模塊,用于獲取所述第一圖像的N級(jí)放大圖像和N-1級(jí)放大聞?lì)l彳目息圖像，所述N級(jí)放大圖像是通過(guò)放大N級(jí)放大輸入圖像得到的，所述N-1級(jí)放大高頻信息圖像是根據(jù)所述N級(jí)放大輸入圖像得到的，所述N級(jí)放大輸入圖像是根據(jù)N-1級(jí)放大圖像與N-2級(jí)放大高頻信息圖像之間的相似性,將所述N-2級(jí)放大高頻信息圖像疊加到所述N-1級(jí)放大圖像上得到的，其中，N大于或等于2 ;根據(jù)所述N級(jí)放大圖像與所述N級(jí)放大輸入圖像之間的相似性，獲取所述N級(jí)放大圖像與所述N-1級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系;
[0057]疊加模塊，用于根據(jù)所述第一獲取模塊獲取的所述位置對(duì)應(yīng)關(guān)系，將所述N-1級(jí)放大高頻信息圖像疊加到所述N級(jí)放大圖像上，得到所述第二圖像。
[0058]在某些實(shí)施方式中，所述N-1級(jí)放大高頻信息圖像是所述第一獲取模塊通過(guò)對(duì)所述N級(jí)放大輸入圖像進(jìn)行高斯濾波獲取的。
[0059]在某些實(shí)施方式中,所述超分辨率重構(gòu)單元,包括:
[0060]第二獲取模塊，用于獲取初始估計(jì)圖像的模擬低分辨率圖像，所述初始估計(jì)圖像為所述第二圖像；
[0061]比較模塊，用于比較所述第二獲取模塊獲取的所述模擬低分辨率圖像與所述第一圖像；
[0062]所述第二獲取模塊，還用于根據(jù)所述比較模塊比較后的比較結(jié)果獲取模擬誤差圖像；
[0063]修正模塊，用于根據(jù)所述第二獲取模塊獲取的所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像。
[0064]在某些實(shí)施方式中，所述第二獲取模塊，具體用于對(duì)所述第二圖像進(jìn)行高斯濾波；
[0065]通過(guò)雙線性差值方式，對(duì)進(jìn)行高斯濾波后的第二圖像進(jìn)行下采樣，得到所述模擬低分辨率圖像。
[0066]在某些實(shí)施方式中，所述修正模塊，具體用于將所述第二圖像與目標(biāo)圖像進(jìn)行加法運(yùn)算，得到所述第三圖像，所述目標(biāo)圖像為所述誤差圖像與小于或等于I的正數(shù)進(jìn)行乘法運(yùn)算后得到的。
[0067]在某些實(shí)施方式中，所述正數(shù)為0.25。
[0068]在某些實(shí)施方式中，所述IBP的迭代次數(shù)為5次。
[0069]在某些實(shí)施方式中，所述顯示單元，具體用于以全屏方式顯示所述第三圖像，或以非全屏方式顯示所述第三圖像。
[0070]在某些實(shí)施方式中，所述顯示單元，具體用于在如下至少一個(gè)區(qū)域中顯示所述第三圖像:所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域、所述第三圖像對(duì)應(yīng)的幀圖像的顯示區(qū)域、對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域。
[0071]在某些實(shí)施方式中，所述任一角區(qū)域包含的顯著度信息的數(shù)量，小于其他三個(gè)角區(qū)域包括的顯著度信息的數(shù)量。
[0072]在某些實(shí)施方式中，所述空閑區(qū)域位于整理后的所述第三圖像的右側(cè)。
[0073]在本方案中，首先確定目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，然后，根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；接著，通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；最后，顯示所述第三圖像。與現(xiàn)有技術(shù)中簡(jiǎn)單的對(duì)視頻圖像的局部區(qū)域進(jìn)行放大相比，本方案先進(jìn)行第一超分辨率重構(gòu)，得到第二圖像，即第一圖像的放大圖像，然后，再對(duì)第二圖像進(jìn)行第二超分辨率重構(gòu)，即對(duì)第二圖像進(jìn)行修正，得到第三圖像，以使得修正后的第三圖像更加清晰和準(zhǔn)確。這樣，采用第一超分辨率重構(gòu)和第二超分辨率重構(gòu)對(duì)第一圖像進(jìn)行放大后，可以得到第一圖像的清晰且準(zhǔn)確的放大圖像，即第三圖像。

【專利附圖】

【附圖說(shuō)明】
[0074]通過(guò)閱讀參照以下附圖所作的對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本申請(qǐng)的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
[0075]圖1示出了本申請(qǐng)?zhí)峁┑囊曨l圖像局部區(qū)域放大的方法的一種實(shí)施例的流程圖；
[0076]圖2示出了本申請(qǐng)?zhí)峁┑囊曨l圖像局部區(qū)域放大的方法的另一種實(shí)施例的流程圖；
[0077]圖3 (a)、圖3 (b)、圖3 (C)示出了本申請(qǐng)?zhí)峁┑陌ú煌繕?biāo)的三張圖像；
[0078]圖4(a)、圖4(b)、圖4(c)分別示出了圖3 (a)、圖3 (b)、圖3(c)的顯著圖；
[0079]圖5 (a)、圖5 (b)、圖5 (c)分別示出了圖3 (a)、圖3 (b)、圖3 (C)的角點(diǎn)分布圖；
[0080]圖6(a)、圖6(b)、圖6(c)分別示出了在圖3 (a)、圖3 (b)、圖3 (C)中框出了感興趣區(qū)域；
[0081]圖7示出了對(duì)芯片圖像進(jìn)行第一超分辨率重構(gòu)的示意圖；
[0082]圖8示出了基于IBP算法的第二超分辨率重構(gòu)的示意圖；
[0083]圖9示出了一種將第三圖像顯示在其對(duì)應(yīng)的幀圖像的角區(qū)域的示意圖；
[0084]圖10示出了全屏顯示第三圖像的示意圖；
[0085]圖11示出了分屏顯示第三圖像和其對(duì)應(yīng)的幀圖像的示意圖；
[0086]圖12示出了本申請(qǐng)?zhí)峁┑囊曨l圖像局部區(qū)域放大的裝置的一種實(shí)施例的流程圖；
[0087]圖13示出了本申請(qǐng)?zhí)峁┑囊曨l圖像局部區(qū)域放大的裝置的另一種實(shí)施例的流程圖；
[0088]圖14示出了一種計(jì)算機(jī)的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0089]下面結(jié)合附圖和實(shí)施例對(duì)本申請(qǐng)作進(jìn)一步的詳細(xì)說(shuō)明?？梢岳斫獾氖?，此處所描述的具體實(shí)施例僅僅用于解釋相關(guān)發(fā)明，而非對(duì)該發(fā)明的限定。另外還需要說(shuō)明的是，為了便于描述，附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。
[0090]需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。下面將參考附圖并結(jié)合實(shí)施例來(lái)詳細(xì)說(shuō)明本申請(qǐng)。
[0091]本申請(qǐng)?zhí)峁┮环N視頻圖像局部區(qū)域放大的方法的一個(gè)實(shí)施例，該實(shí)施例通過(guò)應(yīng)用于終端中來(lái)舉例說(shuō)明，該終端可以但不限于包括智能手機(jī)、平板電腦、膝上型便攜計(jì)算機(jī)和臺(tái)式計(jì)算機(jī)等。
[0092]如圖1所示，所述視頻圖像局部區(qū)域放大的方法可以包括如下步驟:
[0093]101、確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域。
[0094]視頻中可以包括一個(gè)或多個(gè)片段，每個(gè)片段可以是基于關(guān)鍵幀進(jìn)行劃分的。每個(gè)片段中可以包括多個(gè)幀圖像，這些幀圖像的組合便形成一段視頻。
[0095]每個(gè)巾貞圖像中可以包括感興趣區(qū)域(ROI,reg1n of interest),感興趣區(qū)域是從某幀圖像中選擇的一個(gè)圖像區(qū)域，這個(gè)區(qū)域是進(jìn)行圖像分析時(shí)所關(guān)注的重點(diǎn)。圈定該區(qū)域以便進(jìn)行進(jìn)一步進(jìn)行相應(yīng)處理。
[0096]本實(shí)施例對(duì)感興趣區(qū)域以及確定感興趣區(qū)域的方法不作限定，為本領(lǐng)域技術(shù)人員熟知的技術(shù)，在此不作贅述。
[0097]102、根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像。
[0098]本實(shí)施例中，第一圖像的自相似性可以但不限于為:基于第一圖像獲取的其他變換圖像之間的自相似性，如，第一圖像的縮小圖像、第一圖像的N級(jí)放大圖像(NS 2)、第一圖像的N-1級(jí)放大高頻信息圖像等。
[0099]本實(shí)施例對(duì)根據(jù)第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)的實(shí)施方法不作限定，為本領(lǐng)域技術(shù)人員熟知的技術(shù)，在此不作贅述。
[0100]103、通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像。
[0101]在通過(guò)第一超分辨率重構(gòu)對(duì)第一圖像放大后，得到第二圖像，但是，該放大后的第二圖像的清晰度和準(zhǔn)確性可能較低，由此，還可以通過(guò)IBP算法對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，以增高放大后的圖像的清晰度和準(zhǔn)確性。
[0102]104、顯示所述第三圖像。
[0103]第三圖像是通過(guò)對(duì)第一圖像依次進(jìn)行第一超分辨率重構(gòu)和第二超分辨率重構(gòu)后得到的圖像，其中，第一超分辨率重構(gòu)是為了得到第一圖像的放大圖像，即第二圖像，第二超分辨率重構(gòu)是為了增高第二圖像的輕度和準(zhǔn)確性，由此，第三圖像為第一圖像的放大圖像，且清晰度和準(zhǔn)確性較高。這樣，當(dāng)用戶需要觀看視頻圖像的感興趣區(qū)域中的第一圖像時(shí)，可以指示終端放大第一圖像，終端可以通過(guò)上述方法對(duì)第一圖像進(jìn)行放大并顯示，之后，用戶便可以觀看到清晰且準(zhǔn)確的放大圖像。
[0104]在本方案中，首先確定目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，然后，根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)；接著，通過(guò)IBP算法對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；最后，顯示所述第三圖像。與現(xiàn)有技術(shù)中簡(jiǎn)單的對(duì)視頻圖像的局部區(qū)域進(jìn)行放大相比，本方案先進(jìn)行第一超分辨率重構(gòu)，得到第二圖像，即第一圖像的放大圖像，然后，再對(duì)第二圖像進(jìn)行第二超分辨率重構(gòu)，即對(duì)第二圖像進(jìn)行修正，得到第三圖像，以使得第三圖像更加清晰和準(zhǔn)確。這樣，采用第一超分辨率重構(gòu)和第二超分辨率重構(gòu)對(duì)第一圖像進(jìn)行放大后，可以得到第一圖像的清晰且準(zhǔn)確的放大圖像，即第三圖像。
[0105]本申請(qǐng)?zhí)峁┮环N視頻圖像局部區(qū)域放大的方法的另一個(gè)實(shí)施例，該實(shí)施例是對(duì)圖1所示的實(shí)施例的進(jìn)一步擴(kuò)展和優(yōu)化，如圖2所示，可以包括:
[0106]201、確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域。
[0107]所述視頻可以包括一個(gè)或多個(gè)片段。本實(shí)施例中的目標(biāo)片段可以為待播放的下一片段。
[0108]本實(shí)施例中，當(dāng)用戶觀看視頻時(shí)，若只需要關(guān)注局部區(qū)域，則由于局部區(qū)域圖像較小，因此，用戶可以通過(guò)相應(yīng)操作，指示終端將局部區(qū)域圖像放大。當(dāng)終端檢測(cè)到用戶執(zhí)行的相應(yīng)操作之后，可以觸發(fā)確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域。其中，相應(yīng)操作可以但不限于包括:用戶選取相應(yīng)的設(shè)置選項(xiàng)以放大局部區(qū)域的圖像，或者，若終端包括觸摸屏，則用戶可以通過(guò)將兩個(gè)手指在觸摸屏上向相反方向滑動(dòng)的方式，放大局部區(qū)域的圖像。
[0109]感興趣區(qū)域在一段連續(xù)的視頻場(chǎng)景中通常會(huì)持續(xù)存在，并可能伴隨運(yùn)動(dòng)偏移。因此，對(duì)于視頻的局部區(qū)域放大，需要對(duì)感興趣區(qū)域進(jìn)行預(yù)測(cè)和跟蹤。由此，終端需要確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域。
[0110]進(jìn)一步地，終端確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域可以但不限于包括如下步驟:
[0111]確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域；根據(jù)所述第一幀圖像的感興趣區(qū)域，預(yù)測(cè)所述目標(biāo)片段中其他幀圖像的感興趣區(qū)域。
[0112]由于只確定目標(biāo)片段中的第一幀圖像的感興趣區(qū)域，所述目標(biāo)片段內(nèi)的其他幀圖像的感興趣區(qū)域，是根據(jù)所述第一幀圖像的感興趣區(qū)域預(yù)測(cè)的，因此，相比于直接確定目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，增加了確定目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域的速度，進(jìn)而在播放視頻時(shí)更加流暢。
[0113]進(jìn)一步地，確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域可以但不限于包括如下步驟:
[0114]獲取所述第一幀圖像的顯著度信息和角點(diǎn)分布信息；根據(jù)所述顯著度信息和所述角點(diǎn)分布信息，確定所述第一幀圖像的感興趣區(qū)域。
[0115]具體的，可以采用視覺(jué)注意機(jī)制和模糊SVM(Support Vector Machine,支持向量機(jī))相結(jié)合的算法來(lái)進(jìn)行感興趣區(qū)域的獲取。進(jìn)一步地，可以根據(jù)顯著度信息和角點(diǎn)分布信息從第一幀圖像中獲取包括單個(gè)目標(biāo)的視覺(jué)窗口，視覺(jué)窗口在圖像中涉及的區(qū)域即為該圖像的感興趣區(qū)域。對(duì)于多目標(biāo)的圖像，可根據(jù)顯著度信息自動(dòng)選擇其他目標(biāo)。上述方法為本領(lǐng)域技術(shù)人員熟知的方法，在此不作贅述。
[0116]顯著度是通過(guò)對(duì)圖像中的特征的對(duì)比度來(lái)體現(xiàn)的，將特征對(duì)比度轉(zhuǎn)化為不同尺度下圖像特征圖的差值，即利用“中心一外周”機(jī)制抽取各個(gè)特征中的對(duì)比信息。顯著度由其灰度來(lái)表示，顏色由淺到深，顯著度依次降低，顯著度越大越能引起人們的注意，如，圖3 (a)、圖3 (b)、圖3 (c)分別示出了包括恐龍、象、花的圖像，圖4 (a)、圖4 (b)、圖4 (c)分別圖3(a)、圖3(b)、圖3(c)的顯著度分布圖，即顯著圖。根據(jù)顯著圖中顯著度的空間分布引導(dǎo)選擇注意目標(biāo)。如，由圖4(b)象的顯著圖可以看到，小象比大象更吸引人的注意。但是，顯著圖不能給出目標(biāo)的精確位置，而且通常原圖中單個(gè)目標(biāo)在顯著圖中變成了幾個(gè)分離的部分。由此，終端還需要結(jié)合圖像的角點(diǎn)分布信息，來(lái)確定包括單個(gè)目標(biāo)的視覺(jué)窗口。
[0117]角點(diǎn)也稱特征點(diǎn)，為圖像中周圍亮度變化劇烈的點(diǎn)或者圖像邊界曲線上具有足夠大曲率的點(diǎn)。如圖5(a)、圖5(b)、圖5(c)所示，分別展示了圖3(a)、圖3(b)、圖3(c)中圖像的角點(diǎn)分布。其中，圖4a為單目標(biāo)角點(diǎn)分布圖，圖4(b)為多目標(biāo)角點(diǎn)分布圖。
[0118]獲取第一幀圖像的顯著圖和角點(diǎn)分布圖之后，可以確定視覺(jué)窗口的初始位置，具體可以但不限于包括如下步驟:在第一幀圖像的顯著圖S中，設(shè)定矩形IUCci, W，H)為初始視覺(jué)窗口，其中，Ctl為窗口的中心，W和H分別為矩形的寬和長(zhǎng)，初始值可以由實(shí)驗(yàn)決定。實(shí)驗(yàn)中，采用的第一幀圖像的大小為256x384，選取W = H = 17。理論上，C。的位置應(yīng)對(duì)應(yīng)于顯著度最大的點(diǎn)，但實(shí)際計(jì)算中，由于背景中噪聲的顯著度可能處于峰值點(diǎn)，因此，取矩形區(qū)域的平均顯著度為度量。定義操作符average (R)，該值越大，則此區(qū)域越能吸引人們的注意。且該值與第一幀圖像中的第一個(gè)目標(biāo)區(qū)域R1的平均顯著度的比值達(dá)到一個(gè)閾值λ，則認(rèn)為此區(qū)域有目標(biāo)物體，即可以將該區(qū)域所在位置確定為視覺(jué)窗口的初始位置。
[0119]然后，可以確定視覺(jué)窗口的尺寸，具體可以但不限于包括如下步驟A(CCj)初始位置確定后，根據(jù)第一幀圖像的顯著度信息和角點(diǎn)分布信息，將W和H對(duì)應(yīng)的矩形邊界分別沿X和I軸伸縮。若矩形邊界上還有角點(diǎn)或者顯著度大于預(yù)定義的閾值，則矩形區(qū)域?qū)⒗^續(xù)擴(kuò)大直到上下左右邊界滿足最優(yōu)條件，如，直到矩形邊界上沒(méi)有角點(diǎn)或者顯著度小于或等于預(yù)定義的閾值。其中，預(yù)定義的閾值可以根據(jù)圖像的平均顯著度來(lái)計(jì)算。擴(kuò)大后得到的上下左右邊界所形成的區(qū)域即為視覺(jué)窗口涉及的區(qū)域，即第一幀圖像的感興趣區(qū)域。
[0120]對(duì)于多目標(biāo)視覺(jué)窗口的確定可以但不限于包括如下步驟:當(dāng)?shù)谝粋€(gè)包含單個(gè)目標(biāo)的視覺(jué)窗口 R1提取出來(lái)后，根據(jù)第一幀圖像的顯著度，判斷第一幀圖像中是否還有其他目標(biāo)存在，具體方法包括:用矩形窗口 R(17X17)搜索第一幀圖像中剩余部分，若average (R) /average (R1)彡λ (實(shí)驗(yàn)中λ取2/3),貝U可以說(shuō)明相應(yīng)區(qū)域還包括另一個(gè)目標(biāo)，終端可以通過(guò)上述方法將包括該目標(biāo)的視覺(jué)窗口提取出來(lái)。
[0121]或者，終端還可以采用一個(gè)初始面積比較大的矩形窗口，并根據(jù)第一圖像的顯著度信息和角點(diǎn)分布信息收縮矩形窗口的邊界到目標(biāo)區(qū)域，具體實(shí)現(xiàn)方法為本領(lǐng)域技術(shù)人員熟知的技術(shù)，在此不作贅述。這種方法提取的視覺(jué)窗口包含第一幀圖像中所有的目標(biāo)。
[0122]本實(shí)施例對(duì)獲取感興趣區(qū)域的方法，獲取顯著度信息角點(diǎn)分布信息的方法，以及視覺(jué)窗口的提取方法不作進(jìn)一步限定，為本領(lǐng)域技術(shù)人員熟知的技術(shù)，在此不再贅述。
[0123]進(jìn)一步地，在確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域之后，所述目標(biāo)片段中，除所述第一幀圖像外的其他幀圖像的感興趣區(qū)域，具體可以是根據(jù)其上一幀的感興趣圖像區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的。如，第二幀圖像的感興趣區(qū)域可以是根據(jù)第一幀圖像的感興趣區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的，第三幀圖像的感興趣區(qū)域可以是根據(jù)第二幀圖像的感興趣區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的等。
[0124]進(jìn)一步地，根據(jù)運(yùn)動(dòng)目標(biāo)的表達(dá)和相似性度量，所述運(yùn)動(dòng)跟蹤可以但不限于包括如下任一項(xiàng):基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于模型的跟蹤。
[0125]其中，基于主動(dòng)輪廓的跟蹤可以包括:在上一幀圖像的圖像域內(nèi)定義的可變形曲線，通過(guò)對(duì)其能量函數(shù)的最小化，動(dòng)態(tài)輪廓逐步調(diào)整自身形狀與目標(biāo)輪廓相一致，該可變形曲線又稱為Snake曲線。Snake技術(shù)可以處理任意形狀物體的任意形變，首先將分割得到的物體邊界作為跟蹤的初始模板然后確定表征物體真實(shí)邊界的目標(biāo)函數(shù)，并通過(guò)降低目標(biāo)函數(shù)值，使初始輪廓逐漸向物體的真實(shí)邊界移動(dòng)?；谥鲃?dòng)輪廓跟蹤的優(yōu)點(diǎn)是不但考慮來(lái)自上一圖像的灰度信息，而且還考慮整體輪廓的幾何信息，增強(qiáng)了運(yùn)動(dòng)跟蹤的可靠性。
[0126]基于特征的跟蹤包括:基于特征匹配的跟蹤方法不考慮運(yùn)動(dòng)目標(biāo)的整體特征，只通過(guò)目標(biāo)圖像的一些顯著特征來(lái)進(jìn)行跟蹤。假定運(yùn)動(dòng)目標(biāo)可以由惟一的特征集合表達(dá)，搜索到該相應(yīng)的特征集合就認(rèn)為跟蹤上了運(yùn)動(dòng)目標(biāo)。除了用單一的特征來(lái)實(shí)現(xiàn)跟蹤外，還可以采用多個(gè)特征信息融合在一起作為跟蹤特征。基于特征的跟蹤主要包括特征提取和特征匹配兩個(gè)方面。
[0127]基于特征的跟蹤算法的優(yōu)點(diǎn)在于對(duì)運(yùn)動(dòng)目標(biāo)的尺度、形變和亮度等變化不敏感，即使目標(biāo)的某一部分被遮擋，只要還有一部分特征可以被看到，就可以完成跟蹤任務(wù)?’另夕卜，這種方法與Kalman濾波器聯(lián)合使用，也具有很好的跟蹤效果。
[0128]基于區(qū)域的跟蹤包括:a)得到包含目標(biāo)的模板，該模板可通過(guò)圖像分割獲得或預(yù)先人為確定，模板通常為略大于目標(biāo)的矩形，也可為不規(guī)則形狀山)在序列圖像中，運(yùn)用相關(guān)算法跟蹤目標(biāo)?；趨^(qū)域的跟蹤的優(yōu)點(diǎn)在于當(dāng)目標(biāo)未被遮擋時(shí)，跟蹤精度非常聞、跟蹤非常穩(wěn)定。
[0129]基于模型的跟蹤包括:基于模型的跟蹤是通過(guò)一定的先驗(yàn)知識(shí)對(duì)所跟蹤目標(biāo)建立模型，然后通過(guò)匹配跟蹤目標(biāo)進(jìn)行模型的實(shí)時(shí)更新。對(duì)于剛體目標(biāo)來(lái)說(shuō)，其運(yùn)動(dòng)狀態(tài)變換主要是平移、旋轉(zhuǎn)等，可以利用該方法實(shí)現(xiàn)目標(biāo)跟蹤。但是實(shí)際應(yīng)用中跟蹤的不僅僅是剛體，還有一大部分是非剛體，目標(biāo)確切的幾何模型不容易得到?；谀Ｐ偷母櫜灰资苡^測(cè)視角的影響，具有較強(qiáng)的魯棒性，模型匹配跟蹤精度高，適合于機(jī)動(dòng)目標(biāo)的各種運(yùn)動(dòng)變化，抗干擾能力強(qiáng)。
[0130]本實(shí)施例對(duì)運(yùn)動(dòng)跟蹤算法、基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于模型的跟蹤不作限定，為本領(lǐng)域技術(shù)人員熟知的技術(shù)，在此不再贅述。
[0131]進(jìn)一步地，終端可以根據(jù)針對(duì)所述感興趣區(qū)域的設(shè)置操作，調(diào)整所述感興趣區(qū)域的位置和范圍。
[0132]例如，如圖6(a)、圖6(b)、圖6(c)所示，在終端確定所述圖像的感興趣區(qū)域之后，可以在其對(duì)應(yīng)的幀圖像中框出。用戶可以通過(guò)調(diào)整方框的邊界，來(lái)調(diào)整感興趣區(qū)域的位置和范圍。
[0133]202、根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像。
[0134]進(jìn)一步地，對(duì)第一圖像進(jìn)行所述第一超分辨率重構(gòu)可以但不限于包括如下步驟:
[0135]獲取所述第一圖像的N級(jí)放大圖像和N-1級(jí)放大高頻信息圖像,所述N級(jí)放大圖像是通過(guò)放大N級(jí)放大輸入圖像得到的，所述N-1級(jí)放大高頻信息圖像是根據(jù)所述N級(jí)放大輸入圖像得到的，所述N級(jí)放大輸入圖像是根據(jù)N-1級(jí)放大圖像與N-2級(jí)放大高頻信息圖像之間的相似性，將所述N-2級(jí)放大高頻信息圖像疊加到所述N-1級(jí)放大圖像上得到的，其中，N大于或等于2;根據(jù)所述N級(jí)放大圖像與所述N級(jí)放大輸入圖像之間的相似性，獲取所述N級(jí)放大圖像與所述N-1級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系；根據(jù)所述位置對(duì)應(yīng)關(guān)系，將所述N-1級(jí)放大高頻信息圖像疊加到所述N級(jí)放大圖像上，得到所述第二圖像。
[0136]進(jìn)一步地，為了增加高頻信息圖像的準(zhǔn)確性，所述N-1級(jí)放大高頻信息圖像，可以但不限于是通過(guò)對(duì)所述第一圖像進(jìn)行高斯濾波獲取的。
[0137]例如，如圖7所示，第一圖像為芯片圖像，經(jīng)過(guò)第一超分辨率重構(gòu)之后，需要將芯片圖像放大到4倍，N = 2。第一超分辨率重構(gòu)可以包括通過(guò)兩級(jí)放大，將芯片圖像放大到4倍，具體步驟可以但不限于包括:獲取原芯片圖像的1.5倍放大圖像，S卩I級(jí)放大圖像，還可以通過(guò)對(duì)原芯片圖像進(jìn)行高斯濾波獲得高頻信息圖像，即O級(jí)放大(未放大)高頻信息圖像；根據(jù)原芯片圖像與I級(jí)放大圖像之間的相似性，獲取I級(jí)放大圖像與O級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系；根據(jù)位置對(duì)應(yīng)關(guān)系，將O級(jí)放大高頻信息圖像疊加到I級(jí)放大圖像上，并將疊加后的圖像作為2級(jí)放大輸入圖像；將2級(jí)放大輸入圖像放大到原芯片圖像的4倍，得到2級(jí)放大圖像；對(duì)2級(jí)放大輸入圖像進(jìn)行高斯濾波，得到I級(jí)放大高頻信息圖像；根據(jù)2級(jí)放大的輸入圖像與2級(jí)放大圖像之間的相似性，獲取2級(jí)放大圖像與I級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系；根據(jù)該位置對(duì)應(yīng)關(guān)系，將I級(jí)放大高頻信息圖像疊加到2級(jí)放大圖像上，得到的圖像即為第二圖像。
[0138]以獲取I級(jí)放大圖像與O級(jí)放大聞?lì)l/[目息圖像之間的位置對(duì)應(yīng)關(guān)系為例，獲取相應(yīng)圖像之的位置對(duì)應(yīng)關(guān)系可以但不限于包括:獲取原芯片圖像與I級(jí)放大圖像之間的位置對(duì)應(yīng)關(guān)系，由于，I級(jí)放大圖像與O級(jí)放大高頻信息圖像之間的大小相同，因此，在原芯片圖像上的與I級(jí)放大圖像相應(yīng)位置對(duì)應(yīng)的位置，即為O級(jí)放大高頻信息圖像上相同的位置，進(jìn)而可以獲取到I級(jí)放大圖像與O級(jí)放大聞?lì)l/[目息圖像之間的位置對(duì)應(yīng)關(guān)系。如圖7中，在I級(jí)放大圖像、原芯片圖像以及O級(jí)放大高頻信息圖像上用“梯形”標(biāo)出的位置，即為圖像之間相對(duì)應(yīng)的位置。
[0139]本實(shí)施例對(duì)第一超分辨率重構(gòu)的方法不作限定，為本領(lǐng)域技術(shù)人員熟知的技術(shù)，在此不作贅述。
[0140]203、通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像。
[0141]由于通過(guò)步驟202得到的第二圖像，即第一圖像的放大圖像的清晰度和準(zhǔn)確性可能較低，影響播放效果，因此，終端還可以通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，以增高放大圖像的清晰度和準(zhǔn)確性。
[0142]IBP算法是經(jīng)典的空域超分辨率重構(gòu)算法，其重構(gòu)過(guò)程是對(duì)初始估計(jì)值不斷迭代的過(guò)程，其核心步驟就是誤差的反投影。在該算法中，通過(guò)對(duì)模擬LR(L0W Resolut1n，低分辨率)圖像和觀測(cè)LR圖像的誤差進(jìn)行迭代反投影得到HR (High Resolut1n，高分辨率)圖像。
[0143]進(jìn)一步地，通過(guò)IBP算法，對(duì)第二圖像進(jìn)行所述第二超分辨率重構(gòu)可以但不限于包括如下步驟:
[0144]獲取初始估計(jì)圖像的模擬低分辨率圖像，所述初始估計(jì)圖像為所述第二圖像；t匕較所述模擬低分辨率圖像與所述第一圖像；根據(jù)比較結(jié)果獲取模擬誤差圖像；根據(jù)所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到第三圖像。
[0145]進(jìn)一步地，獲取初始估計(jì)圖像的模擬低分辨率圖像可以但不限于包括如下步驟:
[0146]對(duì)所述第二圖像進(jìn)行高斯濾波；通過(guò)雙線性差值方式，對(duì)進(jìn)行高斯濾波后的第二圖像進(jìn)行下采樣，得到所述模擬低分辨率圖像。
[0147]進(jìn)一步地，根據(jù)所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到第三圖像，可以但不限于包括如下步驟:
[0148]將所述第二圖像與目標(biāo)圖像進(jìn)行加法運(yùn)算，得到所述第三圖像，所述目標(biāo)圖像為所述誤差圖像與小于或等于I的正數(shù)進(jìn)行乘法運(yùn)算后得到的。
[0149]進(jìn)一步地，所述正數(shù)為0.25。
[0150]進(jìn)一步地，IBP的迭代次數(shù)可以但不限于為5次。
[0151]具體的，基于IBP算法的第二超分辨率重構(gòu)實(shí)質(zhì)是對(duì)第二圖像進(jìn)行修正，修正過(guò)程是個(gè)迭代的過(guò)程，迭代次數(shù)可以人為設(shè)定，也可以通過(guò)迭代終止條件來(lái)設(shè)定，本申請(qǐng)中，經(jīng)過(guò)實(shí)驗(yàn)表明，設(shè)定為5次效果較好。本實(shí)施例中，將第二圖像作為IBP算法迭代的初始估計(jì)圖像，即進(jìn)行第一迭代時(shí)的HR圖像。
[0152]圖8示出的IBP算法的流程示意圖，具體修正過(guò)程可以但不限于包括如下步驟:對(duì)當(dāng)前的HR圖像進(jìn)行低通濾波，可以但不限于為高斯濾波，濾波后的圖像記為HR_b ^HR_b進(jìn)行下采樣，可以但不限于采用雙線性插值進(jìn)行下采樣，下采樣后的圖像記為HR_b_d，即模擬LR圖像；誤差圖像im_err可以根據(jù)公式im_err = HR_b_d_LR獲取，即HR圖像的模擬LR圖像與原始LR圖像即第二圖像相減；對(duì)誤差圖像im_err進(jìn)行低通濾波，可以為高斯濾波，濾波后的誤差圖像記為im_err_b ;修正后的HR圖像HR_new可以根據(jù)如下公式計(jì)算得到:
[0153]HR_new = HR+de11* im_err_b
[0154]其中，HR_new為修正后的HR圖像，HR為HR圖像，delt為常數(shù)，delt e (0，1]，控制迭代的收斂速度。本實(shí)施例中，delt取0.25取得的效果較優(yōu)。根據(jù)上述方式可以對(duì)HR圖像進(jìn)行預(yù)設(shè)次數(shù)的迭代，迭代結(jié)束后得到的HR_new即為第三圖像。
[0155]本實(shí)施例對(duì)根據(jù)IBP算法進(jìn)行第二超分辨率重構(gòu)的方法不作限定，為本領(lǐng)域技術(shù)人員熟知的技術(shù)，在此不作贅述。
[0156]204、顯示所述第三圖像。
[0157]進(jìn)一步地，終端可以以全屏方式顯示所述第三圖像，或可以以非全屏方式顯示所述第二圖像。
[0158]進(jìn)一步地，以非全屏方式顯示所述第三圖像可以但不限于包括:
[0159]在如下至少一個(gè)區(qū)域中顯示所述第三圖像:所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域、所述第三圖像對(duì)應(yīng)的幀圖像的顯示區(qū)域、對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域。
[0160]進(jìn)一步地，所述任一角區(qū)域包含的顯著度信息的數(shù)量，小于其他三個(gè)角區(qū)域包括的顯著度信息的數(shù)量。
[0161]進(jìn)一步地，所述空閑區(qū)域可以但不限于位于整理后的所述第三圖像的右側(cè)。
[0162]例如，如圖9所示，將第三圖像顯示在所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域。具體的，首先判斷第三圖像對(duì)應(yīng)的幀圖像的四個(gè)角上的顯著度是否大于閾值，若大于閾值的角區(qū)域的數(shù)量小于或等于1，則可以將第三圖像顯示在顯著度最小的角區(qū)域中，若顯著度大于閾值的角區(qū)域的數(shù)量大于1，則可以根據(jù)用戶的設(shè)置的方式或預(yù)設(shè)方式，確定顯示第三圖像的角區(qū)域。另外，初始顯示第三圖像的角區(qū)域可以由用戶設(shè)置，當(dāng)對(duì)視頻暫停后用戶還可以調(diào)整顯示第三圖像的角區(qū)域，從而避免由于圖像內(nèi)容的變換而覆蓋原視頻中較重要的區(qū)域，增加了顯示第三圖像的靈活性。
[0163]再如，如圖10所示，全屏顯示第三圖像，即整個(gè)顯示屏全屏顯示放大后的感興趣區(qū)域，即只顯示用戶關(guān)注的顯著目標(biāo)。
[0164]又如，如圖11所示，將第三圖像顯示在對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域中，即相應(yīng)的幀圖像和第三圖像同時(shí)顯示在顯示屏上，可以理解為分屏顯示。終端可以但不限于采用左右分屏顯示，如，第三圖像可以顯示在其對(duì)應(yīng)的幀圖像的右偵牝并可以根據(jù)視頻的尺寸及顯示器分辨率自動(dòng)調(diào)整畫面大小。
[0165]若不進(jìn)行顯示時(shí)，終端還可以存儲(chǔ)第三圖像，以供用戶單獨(dú)對(duì)放大后的區(qū)域進(jìn)行觀看。
[0166]205、判斷視頻中是否還存在下一待顯示的片段，若存在，則執(zhí)行步驟201，若不存在，則流程結(jié)束。
[0167]若視頻中還存在下一待顯示的片段，則將下一待顯示的片段作為目標(biāo)片段繼續(xù)執(zhí)行步驟201。
[0168]在本方案中，首先確定目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，然后，根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；接著，通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；最后，顯示所述第三圖像。與現(xiàn)有技術(shù)中簡(jiǎn)單的對(duì)視頻圖像的局部區(qū)域進(jìn)行放大相比，本方案先進(jìn)行第一超分辨率重構(gòu)，得到第二圖像，即第一圖像的放大圖像，然后，再對(duì)第二圖像進(jìn)行第二超分辨率重構(gòu)，即對(duì)第二圖像進(jìn)行修正，得到第三圖像，以使得第三圖像更加清晰和準(zhǔn)確。這樣，采用第一超分辨率重構(gòu)和第二超分辨率重構(gòu)對(duì)第一圖像進(jìn)行放大后，可以得到第一圖像的清晰且準(zhǔn)確的放大圖像，即第三圖像。
[0169]作為對(duì)上述各圖所示方法的實(shí)現(xiàn)，本申請(qǐng)?zhí)峁┮环N視頻圖像局部區(qū)域放大的裝置的一個(gè)實(shí)施例，該裝置實(shí)施例與圖1所示的方法實(shí)施例相對(duì)應(yīng)，如圖12所示，可以包括:
[0170]確定單元121，用于確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，所述視頻包括一個(gè)或多個(gè)片段；
[0171]超分辨率重構(gòu)單元122，用于根據(jù)位于所述確定單元121確定的所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；
[0172]顯示單元123，用于顯示所述第三圖像。
[0173]在本方案中，首先確定單元確定目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，然后，超分辨率重構(gòu)單元根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；接著，通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；最后，顯示單元顯示所述第三圖像。與現(xiàn)有技術(shù)中簡(jiǎn)單的對(duì)視頻圖像的局部區(qū)域進(jìn)行放大相比，本方案先進(jìn)行第一超分辨率重構(gòu)，得到第二圖像，即第一圖像的放大圖像，然后，再對(duì)第二圖像進(jìn)行第二超分辨率重構(gòu)，即對(duì)第二圖像進(jìn)行修正，得到第三圖像，以使得第三圖像更加清晰和準(zhǔn)確。這樣，采用第一超分辨率重構(gòu)和第二超分辨率重構(gòu)對(duì)第一圖像進(jìn)行放大后，可以得到第一圖像的清晰且準(zhǔn)確的放大圖像，即第三圖像。
[0174]本申請(qǐng)?zhí)峁┮环N視頻圖像局部區(qū)域放大的裝置的另一個(gè)實(shí)施例，該虛擬裝置實(shí)施例與圖2所示的方法實(shí)施例相對(duì)應(yīng)，且該裝置可以位于諸如手機(jī)、電腦、移動(dòng)服務(wù)終端等用戶設(shè)備內(nèi)部，或位于用戶設(shè)備外部但與用戶設(shè)備之間具有通信關(guān)系，用以對(duì)上述各圖所示方法進(jìn)行實(shí)現(xiàn)，如圖13所示，該裝置可以包括:
[0175]確定單元131，用于確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，所述視頻包括一個(gè)或多個(gè)片段；
[0176]超分辨率重構(gòu)單元132，用于根據(jù)位于所述確定單元131確定的所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；
[0177]顯示單元133，用于顯示所述第三圖像。
[0178]進(jìn)一步地,所述確定單元131,包括:
[0179]確定模塊1311，用于確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域；
[0180]預(yù)測(cè)模塊1312，用于根據(jù)所述確定模塊1311確定的所述第一幀圖像的感興趣區(qū)域，預(yù)測(cè)所述目標(biāo)片段中其他幀圖像的感興趣區(qū)域。
[0181]進(jìn)一步地，所述確定模塊1311，具體用于獲取所述第一幀圖像的顯著度信息和角點(diǎn)分布信息；
[0182]根據(jù)所述顯著度信息和所述角點(diǎn)分布信息，確定所述第一幀圖像的感興趣區(qū)域。
[0183]進(jìn)一步地，所述其他幀圖像的感興趣區(qū)域，是所述預(yù)測(cè)模塊1312根據(jù)其上一幀的感興趣圖像區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的。
[0184]進(jìn)一步地，所述運(yùn)動(dòng)跟蹤包括如下任一項(xiàng):基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于|旲型的跟蹤。
[0185]進(jìn)一步地,還包括:
[0186]調(diào)整單元134，用于根據(jù)針對(duì)所述感興趣區(qū)域的設(shè)置操作，調(diào)整所述感興趣區(qū)域的位置和范圍。
[0187]進(jìn)一步地,所述超分辨率重構(gòu)單元132,包括:
[0188]第一獲取模塊1321，用于獲取所述第一圖像的N級(jí)放大圖像和N_1級(jí)放大高頻信息圖像，所述N級(jí)放大圖像是通過(guò)放大N級(jí)放大輸入圖像得到的，所述N-1級(jí)放大高頻信息圖像是根據(jù)所述N級(jí)放大輸入圖像得到的，所述N級(jí)放大輸入圖像是根據(jù)N-1級(jí)放大圖像與N-2級(jí)放大高頻信息圖像之間的相似性,將所述N-2級(jí)放大高頻信息圖像疊加到所述N-1級(jí)放大圖像上得到的，其中，N大于或等于2 ;根據(jù)所述N級(jí)放大圖像與所述N級(jí)放大輸入圖像之間的相似性，獲取所述N級(jí)放大圖像與所述N-1級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系;
[0189]疊加模塊1322，用于根據(jù)所述第一獲取模塊1321獲取的所述位置對(duì)應(yīng)關(guān)系，將所述N-1級(jí)放大高頻信息圖像疊加到所述N級(jí)放大圖像上，得到所述第二圖像。
[0190]進(jìn)一步地，所述N-1級(jí)放大高頻信息圖像是所述第一獲取模塊1321通過(guò)對(duì)所述N級(jí)放大輸入圖像進(jìn)行高斯濾波獲取的。
[0191]進(jìn)一步地,所述超分辨率重構(gòu)單元132,包括:
[0192]第二獲取模塊1323，用于獲取初始估計(jì)圖像的模擬低分辨率圖像，所述初始估計(jì)圖像為所述第二圖像；
[0193]比較模塊1324，用于比較所述第二獲取模塊1323獲取的所述模擬低分辨率圖像與所述第一圖像；
[0194]所述第二獲取模塊1323，還用于根據(jù)所述比較模塊1324比較后的比較結(jié)果獲取模擬誤差圖像；
[0195]修正模塊1325，用于根據(jù)所述第二獲取模塊1323獲取的所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像。
[0196]進(jìn)一步地，所述第二獲取模塊1323，具體用于對(duì)所述第二圖像進(jìn)行高斯濾波；
[0197]通過(guò)雙線性差值方式，對(duì)進(jìn)行高斯濾波后的第二圖像進(jìn)行下采樣，得到所述模擬低分辨率圖像。
[0198]進(jìn)一步地，所述修正模塊1325，具體用于將所述第二圖像與目標(biāo)圖像進(jìn)行加法運(yùn)算，得到所述第三圖像，所述目標(biāo)圖像為所述誤差圖像與小于或等于I的正數(shù)進(jìn)行乘法運(yùn)算后得到的。
[0199]進(jìn)一步地，所述正數(shù)為0.25。
[0200]進(jìn)一步地，所述IBP的迭代次數(shù)為5次。
[0201]進(jìn)一步地，所述顯示單元133，具體用于以全屏方式顯示所述第三圖像，或以非全屏方式顯示所述第三圖像。
[0202]進(jìn)一步地，所述顯示單元133，具體用于在如下至少一個(gè)區(qū)域中顯示所述第三圖像:所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域、所述第三圖像對(duì)應(yīng)的幀圖像的顯示區(qū)域、對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域。
[0203]進(jìn)一步地，所述任一角區(qū)域包含的顯著度信息的數(shù)量，小于其他三個(gè)角區(qū)域包括的顯著度信息的數(shù)量。
[0204]進(jìn)一步地，所述空閑區(qū)域位于整理后的所述第三圖像的右側(cè)。
[0205]在本方案中，首先確定單元確定目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，然后，超分辨率重構(gòu)單元根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；接著，通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；最后，顯示單元顯示所述第三圖像。與現(xiàn)有技術(shù)中簡(jiǎn)單的對(duì)視頻圖像的局部區(qū)域進(jìn)行放大相比，本方案先進(jìn)行第一超分辨率重構(gòu)，得到第二圖像，即第一圖像的放大圖像，然后，再對(duì)第二圖像進(jìn)行第二超分辨率重構(gòu)，即對(duì)第二圖像進(jìn)行修正，得到第三圖像，以使得第三圖像更加清晰和準(zhǔn)確。這樣，采用第一超分辨率重構(gòu)和第二超分辨率重構(gòu)對(duì)第一圖像進(jìn)行放大后，可以得到第一圖像的清晰且準(zhǔn)確的放大圖像，即第三圖像。
[0206]作為對(duì)上述各圖所示方法的實(shí)現(xiàn)，本申請(qǐng)?zhí)峁┮环N計(jì)算機(jī)，如圖14所示，包括:至少一個(gè)處理器141,例如CPU (Central Processing Unit,中央處理器)，至少一個(gè)輸出接口142或者其他用戶接口 143，存儲(chǔ)器144，至少一個(gè)通信總線145。通信總線145用于實(shí)現(xiàn)上述組件之間的連接通信。計(jì)算機(jī)14可選的包含其他用戶接口 143，包括顯示器，鍵盤或者點(diǎn)擊設(shè)備(例如，鼠標(biāo)，軌跡球(trackball),觸感板或者觸感顯示屏)。存儲(chǔ)器144可能包含高速RAM (Random Access Memory,隨機(jī)存取存儲(chǔ)器)，也可能還包括非不穩(wěn)定的存儲(chǔ)器(non-volatile memory),例如至少一個(gè)磁盤存儲(chǔ)器。存儲(chǔ)器144可選的可以包含至少一個(gè)位于遠(yuǎn)離前述處理器141的存儲(chǔ)裝置。
[0207]在一些實(shí)施方式中，存儲(chǔ)器144存儲(chǔ)了如下的元素，可執(zhí)行模塊或者數(shù)據(jù)結(jié)構(gòu)，或者他們的子集，或者他們的擴(kuò)展集:
[0208]操作系統(tǒng)1440，包含各種系統(tǒng)程序，用于實(shí)現(xiàn)各種基礎(chǔ)業(yè)務(wù)以及處理基于硬件的任務(wù)。
[0209]應(yīng)用程序1441，包含各種應(yīng)用程序，用于實(shí)現(xiàn)各種應(yīng)用業(yè)務(wù)。
[0210]具體的，應(yīng)用程序1441中可以但不限于包括:
[0211]確定單元，用于確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，所述視頻包括一個(gè)或多個(gè)片段；
[0212]超分辨率重構(gòu)單元，用于根據(jù)位于所述確定單元確定的所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；通過(guò)IBP算法對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；
[0213]顯示單元，用于顯示所述第三圖像。
[0214]進(jìn)一步地,所述確定單元,包括:
[0215]確定模塊，用于確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域；
[0216]預(yù)測(cè)模塊，用于根據(jù)所述確定模塊確定的所述第一幀圖像的感興趣區(qū)域，預(yù)測(cè)所述目標(biāo)片段中其他幀圖像的感興趣區(qū)域。
[0217]進(jìn)一步地，所述確定模塊，具體用于獲取所述第一幀圖像的顯著度信息和角點(diǎn)分布信息；
[0218]根據(jù)所述顯著度信息和所述角點(diǎn)分布信息，確定所述第一幀圖像的感興趣區(qū)域。
[0219]進(jìn)一步地，所述其他幀圖像的感興趣區(qū)域，是所述預(yù)測(cè)模塊根據(jù)其上一幀的感興趣圖像區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的。
[0220]進(jìn)一步地，所述運(yùn)動(dòng)跟蹤包括如下任一項(xiàng):基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于|旲型的跟蹤。
[0221]進(jìn)一步地,還包括:
[0222]調(diào)整單元，用于根據(jù)針對(duì)所述感興趣區(qū)域的設(shè)置操作，調(diào)整所述感興趣區(qū)域的位置和范圍。
[0223]進(jìn)一步地,所述超分辨率重構(gòu)單元,包括:
[0224]第一獲取模塊，用于N級(jí)放大圖像和N-1級(jí)放大高頻信息圖像，所述N級(jí)放大圖像是通過(guò)放大N級(jí)放大輸入圖像得到的，所述N-1級(jí)放大高頻信息圖像是根據(jù)所述N級(jí)放大輸入圖像得到的，所述N級(jí)放大輸入圖像是根據(jù)N-1級(jí)放大圖像與N-2級(jí)放大高頻信息圖像之間的相似性，將所述N-2級(jí)放大高頻信息圖像疊加到所述N-1級(jí)放大圖像上得到的，其中，N大于或等于2 ;根據(jù)所述N級(jí)放大圖像與所述N級(jí)放大輸入圖像之間的相似性，獲取所述N級(jí)放大圖像與所述N-1級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系；
[0225]疊加模塊，用于根據(jù)所述第一獲取模塊獲取的所述位置對(duì)應(yīng)關(guān)系，將所述N-1級(jí)放大高頻信息圖像疊加到所述N級(jí)放大圖像上，得到所述第二圖像。
[0226]進(jìn)一步地，所述N-1級(jí)放大高頻信息圖像是所述第一獲取模塊通過(guò)對(duì)所述N級(jí)放大輸入圖像進(jìn)行高斯濾波獲取的。
[0227]進(jìn)一步地,所述超分辨率重構(gòu)單元,包括:
[0228]第二獲取模塊，用于獲取初始估計(jì)圖像的模擬低分辨率圖像，所述初始估計(jì)圖像為所述第二圖像；
[0229]比較模塊，用于比較所述第二獲取模塊獲取的所述模擬低分辨率圖像與所述第一圖像；
[0230]所述第二獲取模塊，還用于根據(jù)所述比較模塊比較后的比較結(jié)果獲取模擬誤差圖像；
[0231]修正模塊，用于根據(jù)所述第二獲取模塊獲取的所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像。
[0232]進(jìn)一步地，所述第二獲取模塊，具體用于對(duì)所述第二圖像進(jìn)行高斯濾波；
[0233]通過(guò)雙線性差值方式，對(duì)進(jìn)行高斯濾波后的第二圖像進(jìn)行下采樣，得到所述模擬低分辨率圖像。
[0234]進(jìn)一步地，所述修正模塊，具體用于將所述第二圖像與目標(biāo)圖像進(jìn)行加法運(yùn)算，得到所述第三圖像，所述目標(biāo)圖像為所述誤差圖像與小于或等于I的正數(shù)進(jìn)行乘法運(yùn)算后得到的。
[0235]進(jìn)一步地，所述正數(shù)為0.25。
[0236]進(jìn)一步地，所述IBP的迭代次數(shù)為5次。
[0237]進(jìn)一步地，所述顯示單元，具體用于以全屏方式顯示所述第三圖像，或以非全屏方式顯示所述第三圖像。
[0238]進(jìn)一步地，所述顯示單元，具體用于在如下至少一個(gè)區(qū)域中顯示所述第三圖像:所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域、所述第三圖像對(duì)應(yīng)的幀圖像的顯示區(qū)域、對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域。
[0239]進(jìn)一步地，所述任一角區(qū)域包含的顯著度信息的數(shù)量，小于其他三個(gè)角區(qū)域包括的顯著度信息的數(shù)量。
[0240]進(jìn)一步地，所述空閑區(qū)域位于整理后的所述第三圖像的右側(cè)。
[0241]在本實(shí)施例中，處理器141通過(guò)調(diào)用存儲(chǔ)器144中存儲(chǔ)的程序或指令執(zhí)行相應(yīng)步驟，處理器141，用于:
[0242]確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，所述視頻包括一個(gè)或多個(gè)片段；
[0243]根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；
[0244]通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像；
[0245]顯示所述第三圖像。
[0246]進(jìn)一步地，處理器141，具體用于確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域；
[0247]根據(jù)所述第一幀圖像的感興趣區(qū)域，預(yù)測(cè)所述目標(biāo)片段中其他幀圖像的感興趣區(qū)域。
[0248]進(jìn)一步地，處理器141，具體用于獲取所述第一幀圖像的顯著度信息和角點(diǎn)分布信息；
[0249]根據(jù)所述顯著度信息和所述角點(diǎn)分布信息，確定所述第一幀圖像的感興趣區(qū)域。
[0250]進(jìn)一步地，所述其他幀圖像的感興趣區(qū)域，是根據(jù)其上一幀的感興趣圖像區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的。
[0251]進(jìn)一步地，所述運(yùn)動(dòng)跟蹤包括如下任一項(xiàng):基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于|旲型的跟蹤。
[0252]進(jìn)一步地，處理器141，還用于根據(jù)針對(duì)所述感興趣區(qū)域的設(shè)置操作，調(diào)整所述感興趣區(qū)域的位置和范圍。
[0253]進(jìn)一步地，處理器141，具體用于獲取所述第一圖像的N級(jí)放大圖像和N-1級(jí)放大高頻信息圖像，所述N級(jí)放大圖像是通過(guò)放大N級(jí)放大輸入圖像得到的，所述N-1級(jí)放大高頻信息圖像是根據(jù)所述N級(jí)放大輸入圖像得到的，所述N級(jí)放大輸入圖像是根據(jù)N-1級(jí)放大圖像與N-2級(jí)放大高頻信息圖像之間的相似性，將所述N-2級(jí)放大高頻信息圖像疊加到所述N-1級(jí)放大圖像上得到的，其中，N大于或等于2 ；
[0254]根據(jù)所述N級(jí)放大圖像與所述N級(jí)放大輸入圖像之間的相似性，獲取所述N級(jí)放大圖像與所述N-1級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系；
[0255]根據(jù)所述位置對(duì)應(yīng)關(guān)系，將所述N-1級(jí)放大高頻信息圖像疊加到所述N級(jí)放大圖像上，得到所述第二圖像。
[0256]進(jìn)一步地，所述N-1級(jí)放大高頻信息圖像是通過(guò)對(duì)所述N級(jí)放大輸入圖像進(jìn)行高斯濾波獲取的。
[0257]進(jìn)一步地，處理器141，具體用于獲取初始估計(jì)圖像的模擬低分辨率圖像，所述初始估計(jì)圖像為所述第二圖像；
[0258]比較所述模擬低分辨率圖像與所述第一圖像；
[0259]根據(jù)比較結(jié)果獲取模擬誤差圖像；
[0260]根據(jù)所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像。
[0261]進(jìn)一步地，處理器141，具體用于對(duì)所述第二圖像進(jìn)行高斯濾波；
[0262]通過(guò)雙線性差值方式，對(duì)進(jìn)行高斯濾波后的第二圖像進(jìn)行下采樣，得到所述模擬低分辨率圖像。
[0263]進(jìn)一步地，處理器141，具體用于將所述第二圖像與目標(biāo)圖像進(jìn)行加法運(yùn)算，所述目標(biāo)圖像為所述誤差圖像與小于或等于I的正數(shù)進(jìn)行乘法運(yùn)算后得到的。
[0264]進(jìn)一步地，所述正數(shù)為0.25。
[0265]進(jìn)一步地，所述IBP的迭代次數(shù)為5次。
[0266]進(jìn)一步地，處理器141，具體用于以全屏方式顯示所述第三圖像，或以非全屏方式顯示所述第三圖像。
[0267]進(jìn)一步地，處理器141，具體用于如下至少一個(gè)區(qū)域中顯示所述第三圖像:所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域、所述第三圖像對(duì)應(yīng)的幀圖像的顯示區(qū)域、對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域。
[0268]進(jìn)一步地，所述任一角區(qū)域包含的顯著度信息的數(shù)量，小于其他三個(gè)角區(qū)域包括的顯著度信息的數(shù)量。
[0269]進(jìn)一步地，所述空閑區(qū)域位于整理后的所述第三圖像的右側(cè)。
[0270]在本方案中，計(jì)算機(jī)首先確定目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，然后，根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；接著，通過(guò)IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像?’最后，顯示所述第三圖像。與現(xiàn)有技術(shù)中簡(jiǎn)單的對(duì)視頻圖像的局部區(qū)域進(jìn)行放大相比，本方案先進(jìn)行第一超分辨率重構(gòu)，得到第二圖像，即第一圖像的放大圖像，然后，再對(duì)第二圖像進(jìn)行第二超分辨率重構(gòu)，即對(duì)第二圖像進(jìn)行修正，得到第三圖像，以使得第三圖像更加清晰和準(zhǔn)確。這樣，采用第一超分辨率重構(gòu)和第二超分辨率重構(gòu)對(duì)第一圖像進(jìn)行放大后，可以得到第一圖像的清晰且準(zhǔn)確的放大圖像，即第三圖像。
[0271]描述于本申請(qǐng)實(shí)施例中所涉及到的模塊可以通過(guò)軟件的方式實(shí)現(xiàn)，也可以通過(guò)硬件的方式來(lái)實(shí)現(xiàn)。所描述的模塊也可以設(shè)置在處理器中，例如，可以描述為:一種處理器包括請(qǐng)求接收模塊，信息讀取模塊，視圖構(gòu)建模塊和功能啟用模塊。其中，這些模塊的名稱在某種情況下并不構(gòu)成對(duì)該模塊本身的限定，例如，請(qǐng)求接收模塊還可以被描述為“用于接收用戶提交的調(diào)用小組件的請(qǐng)求的模塊”。
[0272]作為另一方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是上述實(shí)施例中所述裝置中所包含的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)；也可以是單獨(dú)存在，未裝配入終端中的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有一個(gè)或者一個(gè)以上程序，所述程序被一個(gè)或者一個(gè)以上的處理器用來(lái)執(zhí)行描述于本申請(qǐng)的在全屏應(yīng)用下使用小組件的方法。
[0273]以上描述僅為本申請(qǐng)的較佳實(shí)施例以及對(duì)所運(yùn)用技術(shù)原理的說(shuō)明。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，本申請(qǐng)中所涉及的發(fā)明范圍，并不限于上述技術(shù)特征的特定組合而成的技術(shù)方案，同時(shí)也應(yīng)涵蓋在不脫離所述發(fā)明構(gòu)思的情況下，由上述技術(shù)特征或其等同特征進(jìn)行任意組合而形成的其它技術(shù)方案。例如上述特征與本申請(qǐng)中公開(kāi)的(但不限于)具有類似功能的技術(shù)特征進(jìn)行互相替換而形成的技術(shù)方案。
【權(quán)利要求】
1.一種視頻圖像局部區(qū)域放大的方法，其特征在于，包括: 確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，所述視頻包括一個(gè)或多個(gè)片段； 根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像； 通過(guò)迭代反投影IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像； 顯示所述第三圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，包括: 確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域； 根據(jù)所述第一幀圖像的感興趣區(qū)域，預(yù)測(cè)所述目標(biāo)片段中其他幀圖像的感興趣區(qū)域。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域，包括: 獲取所述第一幀圖像的顯著度信息和角點(diǎn)分布信息； 根據(jù)所述顯著度信息和所述角點(diǎn)分布信息，確定所述第一幀圖像的感興趣區(qū)域。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述其他幀圖像的感興趣區(qū)域，是根據(jù)其上一幀的感興趣圖像區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述運(yùn)動(dòng)跟蹤包括如下任一項(xiàng):基于主動(dòng)輪廊的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于|旲型的跟蹤。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其特征在于，還包括: 根據(jù)針對(duì)所述感興趣區(qū)域的設(shè)置操作，調(diào)整所述感興趣區(qū)域的位置和范圍。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)位于所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像，包括: 獲取所述第一圖像的N級(jí)放大圖像和N-1級(jí)放大高頻信息圖像，所述N級(jí)放大圖像是通過(guò)放大N級(jí)放大輸入圖像得到的，所述N-1級(jí)放大高頻信息圖像是根據(jù)所述N級(jí)放大輸入圖像得到的，所述N級(jí)放大輸入圖像是根據(jù)N-1級(jí)放大圖像與N-2級(jí)放大高頻信息圖像之間的相似性，將所述N-2級(jí)放大高頻信息圖像疊加到所述N-1級(jí)放大圖像上得到的，其中，N大于或等于2 ; 根據(jù)所述N級(jí)放大圖像與所述N級(jí)放大輸入圖像之間的相似性，獲取所述N級(jí)放大圖像與所述N-1級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系； 根據(jù)所述位置對(duì)應(yīng)關(guān)系，將所述N-1級(jí)放大高頻信息圖像疊加到所述N級(jí)放大圖像上，得到所述第二圖像。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述N-1級(jí)放大高頻信息圖像是通過(guò)對(duì)所述N級(jí)放大輸入圖像進(jìn)行高斯濾波獲取的。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)迭代反投影IBP算法，對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像，包括: 獲取初始估計(jì)圖像的模擬低分辨率圖像，所述初始估計(jì)圖像為所述第二圖像； 比較所述模擬低分辨率圖像與所述第一圖像； 根據(jù)比較結(jié)果獲取模擬誤差圖像； 根據(jù)所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述獲取初始估計(jì)圖像的模擬低分辨率圖像，包括: 對(duì)所述第二圖像進(jìn)行高斯濾波； 通過(guò)雙線性差值方式，對(duì)進(jìn)行高斯濾波后的第二圖像進(jìn)行下采樣，得到所述模擬低分辨率圖像。
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述根據(jù)所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像，包括: 將所述第二圖像與目標(biāo)圖像進(jìn)行加法運(yùn)算，得到所述第三圖像，所述目標(biāo)圖像為所述誤差圖像與小于或等于I的正數(shù)進(jìn)行乘法運(yùn)算后得到的。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述正數(shù)為0.25。
13.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述IBP的迭代次數(shù)為5次。
14.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述顯示所述第三圖像，包括: 以全屏方式顯示所述第三圖像，或以非全屏方式顯示所述第三圖像。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述以非全屏方式顯示所述第三圖像，包括: 在如下至少一個(gè)區(qū)域中顯示所述第三圖像:所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域、所述第三圖像對(duì)應(yīng)的幀圖像的顯示區(qū)域、對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述任一角區(qū)域包含的顯著度信息的數(shù)量，小于其他三個(gè)角區(qū)域包括的顯著度信息的數(shù)量。
17.根據(jù)權(quán)利要求15所述的方法，其特征在于，所述空閑區(qū)域位于整理后的所述第三圖像的右側(cè)。
18.—種視頻圖像局部區(qū)域放大的裝置，其特征在于，包括: 確定單元，用于確定視頻中目標(biāo)片段內(nèi)每幀圖像的感興趣區(qū)域，所述視頻包括一個(gè)或多個(gè)片段； 超分辨率重構(gòu)單元，用于根據(jù)位于所述確定單元確定的所述感興趣區(qū)域中的第一圖像的自相似性，對(duì)所述第一圖像進(jìn)行第一超分辨率重構(gòu)，得到第二圖像；通過(guò)迭代反投影IBP算法對(duì)所述第二圖像進(jìn)行第二超分辨率重構(gòu)，得到第三圖像； 顯示單元，用于顯示所述第三圖像。
19.根據(jù)權(quán)利要求18所述的裝置，其特征在于，所述確定單元，包括: 確定模塊，用于確定所述目標(biāo)片段的第一幀圖像的感興趣區(qū)域； 預(yù)測(cè)模塊，用于根據(jù)所述確定模塊確定的所述第一幀圖像的感興趣區(qū)域，預(yù)測(cè)所述目標(biāo)片段中其他幀圖像的感興趣區(qū)域。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述確定模塊，具體用于獲取所述第一幀圖像的顯著度信息和角點(diǎn)分布信息； 根據(jù)所述顯著度信息和所述角點(diǎn)分布信息，確定所述第一幀圖像的感興趣區(qū)域。
21.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述其他幀圖像的感興趣區(qū)域，是所述預(yù)測(cè)模塊根據(jù)其上一幀的感興趣圖像區(qū)域和感興趣區(qū)域運(yùn)動(dòng)跟蹤算法預(yù)測(cè)的。
22.根據(jù)權(quán)利要求21所述的裝置，其特征在于，所述運(yùn)動(dòng)跟蹤包括如下任一項(xiàng):基于主動(dòng)輪廊的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤、基于|旲型的跟蹤。
23.根據(jù)權(quán)利要求18至22中任一項(xiàng)所述的裝置，其特征在于，還包括: 調(diào)整單元，用于根據(jù)針對(duì)所述感興趣區(qū)域的設(shè)置操作，調(diào)整所述感興趣區(qū)域的位置和范圍。
24.根據(jù)權(quán)利要求18所述的裝置，其特征在于，所述超分辨率重構(gòu)單元，包括: 第一獲取模塊，用于獲取所述第一圖像的N級(jí)放大圖像和N-1級(jí)放大高頻信息圖像，所述N級(jí)放大圖像是通過(guò)放大N級(jí)放大輸入圖像得到的，所述N-1級(jí)放大高頻信息圖像是根據(jù)所述N級(jí)放大輸入圖像得到的，所述N級(jí)放大輸入圖像是根據(jù)N-1級(jí)放大圖像與N-2級(jí)放大高頻信息圖像之間的相似性，將所述N-2級(jí)放大高頻信息圖像疊加到所述N-1級(jí)放大圖像上得到的，其中，N大于或等于2 ;根據(jù)所述N級(jí)放大圖像與所述N級(jí)放大輸入圖像之間的相似性，獲取所述N級(jí)放大圖像與所述N-1級(jí)放大高頻信息圖像之間的位置對(duì)應(yīng)關(guān)系；疊加模塊，用于根據(jù)所述第一獲取模塊獲取的所述位置對(duì)應(yīng)關(guān)系，將所述N-1級(jí)放大高頻信息圖像疊加到所述N級(jí)放大圖像上，得到所述第二圖像。
25.根據(jù)權(quán)利要求24所述的裝置，其特征在于，所述N-1級(jí)放大高頻信息圖像是所述第一獲取模塊通過(guò)對(duì)所述N級(jí)放大輸入圖像進(jìn)行高斯濾波獲取的。
26.根據(jù)權(quán)利要求18所述的裝置，其特征在于，所述超分辨率重構(gòu)單元，包括: 第二獲取模塊，用于獲取初始估計(jì)圖像的模擬低分辨率圖像，所述初始估計(jì)圖像為所述第二圖像； 比較模塊，用于比較所述第二獲取模塊獲取的所述模擬低分辨率圖像與所述第一圖像； 所述第二獲取模塊，還用于根據(jù)所述比較模塊比較后的比較結(jié)果獲取模擬誤差圖像；修正模塊，用于根據(jù)所述第二獲取模塊獲取的所述模擬誤差圖像，對(duì)所述第二圖像進(jìn)行修正，得到所述第三圖像。
27.根據(jù)權(quán)利要求26所述的裝置，其特征在于，所述第二獲取模塊，具體用于對(duì)所述第二圖像進(jìn)行高斯濾波； 通過(guò)雙線性差值方式，對(duì)進(jìn)行高斯濾波后的第二圖像進(jìn)行下采樣，得到所述模擬低分辨率圖像。
28.根據(jù)權(quán)利要求26所述的裝置，其特征在于，所述修正模塊，具體用于將所述第二圖像與目標(biāo)圖像進(jìn)行加法運(yùn)算，得到所述第三圖像，所述目標(biāo)圖像為所述誤差圖像與小于或等于I的正數(shù)進(jìn)行乘法運(yùn)算后得到的。
29.根據(jù)權(quán)利要求28所述的裝置，其特征在于，所述正數(shù)為0.25。
30.根據(jù)權(quán)利要求26所述的裝置，其特征在于，所述IBP的迭代次數(shù)為5次。
31.根據(jù)權(quán)利要求18所述的裝置，其特征在于，所述顯示單元，具體用于以全屏方式顯示所述第三圖像，或以非全屏方式顯示所述第三圖像。
32.根據(jù)權(quán)利要求31所述的裝置，其特征在于，所述顯示單元，具體用于在如下至少一個(gè)區(qū)域中顯示所述第三圖像:所述第三圖像對(duì)應(yīng)的幀圖像的任一角區(qū)域、所述第三圖像對(duì)應(yīng)的幀圖像的顯示區(qū)域、對(duì)所述第三圖像對(duì)應(yīng)的幀圖像進(jìn)行整理后形成的空閑區(qū)域。
33.根據(jù)權(quán)利要求32所述的裝置，其特征在于，所述任一角區(qū)域包含的顯著度信息的數(shù)量，小于其他三個(gè)角區(qū)域包括的顯著度信息的數(shù)量。
34.根據(jù)權(quán)利要求32所述的裝置，其特征在于，所述空閑區(qū)域位于整理后的所述第三圖像的右側(cè)。
【文檔編號(hào)】G06T3/40GK104268827SQ201410495424
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2014年9月24日 優(yōu)先權(quán)日:2014年9月24日
【發(fā)明者】侯天峰, 張義輪, 朱春波 申請(qǐng)人:三星電子（中國(guó)）研發(fā)中心, 三星電子株式會(huì)社