圖像處理設(shè)備和圖像處理方法
【專利摘要】提供了一種圖像處理設(shè)備和圖像處理方法，該圖像處理設(shè)備包括中心生成部、周邊生成部、以及圖像合成部。中心生成部配置成通過基于圖像的特性對圖像執(zhí)行縮放處理，生成屏幕上的中心部分的圖像。周邊生成部配置成通過對中心部分的圖像進(jìn)行外插生成周邊部分的圖像，周邊部分是屏幕上的中心部分周邊的部分。圖像合成部配置成通過將中心部分的圖像與周邊部分的圖像進(jìn)行合成生成合成圖像，中心部分的圖像由中心生成部所生成，周邊部分的圖像由周邊生成部所生成。
【專利說明】圖像處理設(shè)備和圖像處理方法
[0001]相關(guān)申請的交叉引用
[0002]本申請要求2103年4月30日提交的日本優(yōu)先權(quán)專利申請JP2013-095887的權(quán)益，其全部內(nèi)容通過引用并入本文。

【技術(shù)領(lǐng)域】
[0003]本公開涉及一種圖像處理設(shè)備以及方法，并且更具體地，涉及一種考慮到輸入圖像的特性而生成寬視圖圖像的圖像處理設(shè)備以及方法。

【背景技術(shù)】
[0004]近來，平板型顯示器的尺寸持續(xù)增加。當(dāng)視覺范圍固定時，較大的平板型顯示器導(dǎo)致了觀看寬視圖圖像時的更好的真實(shí)感(沉浸式體驗(yàn))。在本說明書中，“真實(shí)感”的表述意味著如同實(shí)際地在由顯示器上的圖像所呈現(xiàn)的世界中的觀看者的感受。
[0005]具有諸如4K和8K的高分辨率的顯示器現(xiàn)在將要變得可用于實(shí)際使用。顯示器的更高的分辨率使圖像的呈現(xiàn)看起來接近真實(shí)，并且導(dǎo)致了更好的真實(shí)的效果。在本說明書中，“真實(shí)的效果”的表述意味著仿佛他/她正在觀看的圖像的物體實(shí)際地存在的觀看者的感受。
[0006]對于將圖像顯示在高分辨率大尺寸的顯示器上，經(jīng)常以比顯示器的分辨率更低的分辨率顯示圖像，例如，當(dāng)顯示器的分辨率為4K時，經(jīng)常以2K的分辨率顯示圖像。
[0007]如果情況是這樣的，則使用在顯示器中所采用的線性縮放技術(shù)(例如，超分辨率技術(shù))將顯示圖像的分辨率上轉(zhuǎn)換(up-convert)至顯示器的分辨率。然后，將圖像顯示為寬視圖圖像。
[0008]在本文中所關(guān)注的是:當(dāng)通過線性縮放技術(shù)在屏幕上均一地放大圖像時，因?yàn)橛^看者的中心視野(可識別的視野、有用的視野)中的圖像看起來與成像時最初想要的圖像不同，所以可視性受到損害。稍后將詳細(xì)描述細(xì)節(jié)。
[0009]因此，提議了使用非線性縮放技術(shù)的圖像上轉(zhuǎn)換，以在很可能包括任何吸引注意力的對象的屏幕的中心部分與中心部分的周邊的屏幕的剩余部分(在下文中，稱為周邊部分)之間改變縮放因子。在本說明書中，“可視性”的表述意味著圖像的容易觀看的程度和圖像的內(nèi)容的容易理解的程度。
[0010]非線性縮放技術(shù)包括使用不同的縮放因子、對屏幕的中心部分及其周邊部分執(zhí)行縮放的技術(shù)。采用這種技術(shù)，例如，基于視覺范圍、針對屏幕的中心部分及其周邊部分不同地限定縮放因子。作為示例，參考日本專利申請早期公開第2007-264456號。存在使用不同的縮放因子對屏幕的中心部分及其周邊部分執(zhí)行縮放的另一種技術(shù)。采用這種技術(shù)，基于整個屏幕中的運(yùn)動，針對屏幕的中心部分及其周邊部分不同地限定縮放因子。作為示例，參照日本專利申請早期公開第2008-242048號。
[0011]還存在使用不同的縮放因子對屏幕的中心部分及其周邊部分執(zhí)行縮放的另一技術(shù)。采用這種技術(shù)，通過觀看者的眼球的移動檢測到觀看者的視線，并且基于此所檢測到的視線，針對屏幕的中心部分及其周邊部分不同地限定縮放因子。作為示例，參考日本專利申請早期公開第2008-233765號。還存在利用“接縫雕刻(Seam Carving) ”的技術(shù)。作為示例，參照 “Seam Carving for Content-Aware Image Resizing” , Avidan 等，SIGGRAPH2007。
[0012]然而，這些非線性縮放技術(shù)可以使得由于屏幕的中心部分與其周邊部分之間的不同的縮放因子而發(fā)生圖像變形。
[0013]為了防止這種圖像變形，所提議的是一種非線性縮放技術(shù)，采用該非線性縮放技術(shù)將輸入圖像放置在屏幕的中心部分中，并且通過在中心部分的周邊的部分進(jìn)行外插布置另一圖像。作為不例，參照 “Mult1-scale ultrawide foveated video extrapolat1n”，A.Adies, T.Avraham,以及 Y.Schechner.1srael Institute of Technology In ICCP, 2011。
[0014]為了防止圖像變形，存在另一種非線性縮放技術(shù)，采用該非線性縮放技術(shù)，將輸入圖像放置在重新確定大小之后和/或其位置改變之后的屏幕的中心部分中。在中心部分的周邊的部分中，通過在中心部分附近外插來放置圖像。作為示例，參照日本專利申請早期公開第 2009-162899 號。


【發(fā)明內(nèi)容】

[0015]然而，米用“Mult1-scale ultrawide foveated video extrapolat1n”，A.Adies, T.Avraham,以及 Y.Schechner.1srael Institute of Technology In ICCP, 2011 和日本專利申請早期公開第2009-162899號的技術(shù)，未考慮到圖像的特性而生成了寬視圖圖像。
[0016]因此，期望考慮圖像的特性而生成寬視圖圖像。
[0017]根據(jù)本公開的實(shí)施例，提供了一種圖像處理設(shè)備，包括:中心生成部、周邊生成部、以及圖像合成部。中心生成部配置成通過基于圖像的特性對圖像執(zhí)行縮放處理，生成屏幕上的中心部分的圖像。周邊生成部配置成通過對中心部分的圖像進(jìn)行外插生成周邊部分的圖像，該周邊部分是屏幕上的中心部分周邊的部分。圖像合成部配置成通過將中心部分的圖像與周邊部分的圖像進(jìn)行合成生成合成圖像，中心部分的圖像由中心生成部所生成，周邊部分的圖像由周邊生成部所生成。
[0018]根據(jù)本公開的實(shí)施例的一種圖像處理方法對應(yīng)于根據(jù)本公開的實(shí)施例的圖像處理設(shè)備。
[0019]根據(jù)本公開的實(shí)施例，通過基于圖像的特性而對圖像所執(zhí)行的縮放處理，生成屏幕上的中心部分的圖像。然后，通過對其中的中心部分的圖像的外插生成周邊部分的圖像，周邊部分是屏幕上的中心部分周邊的部分。將中心部分的圖像與周邊部分的圖像進(jìn)行合成，以生成合成圖像。
[0020]注意根據(jù)本公開的實(shí)施例的圖像處理設(shè)備是由運(yùn)行程序的計算機(jī)所實(shí)現(xiàn)的。
[0021]對于實(shí)現(xiàn)根據(jù)本公開的實(shí)施例的圖像處理設(shè)備，用于由計算機(jī)運(yùn)行的程序可以通過經(jīng)由傳輸介質(zhì)進(jìn)行的傳輸或通過將其記錄在記錄介質(zhì)上而分發(fā)。
[0022]根據(jù)本公開的實(shí)施例，能夠考慮圖像的特性而生成寬視圖圖像。
[0023]如在附圖中所示，根據(jù)本公開的最佳模式實(shí)施例的下面的詳細(xì)描述，本公開的這些和其他目的、特征以及優(yōu)點(diǎn)將變得更加明顯。

【專利附圖】

【附圖說明】
[0024]圖1是示出了應(yīng)用了本公開的第一實(shí)施例中的圖像處理設(shè)備的示例性配置的框圖；
[0025]圖2是示出了圖1的分析部的示例性配置的框圖；
[0026]圖3A至圖3C每個是示出了圖像質(zhì)量信號All的圖；
[0027]圖4是示出了圖1的確定部的示例性配置的框圖；
[0028]圖5是示出了示例性圖像質(zhì)量信號D的圖；
[0029]圖6是示出了示例性中心部分比例CentralPartRat1n(中心部分與整個屏幕的比例)的圖；
[0030]圖7是示出了中心部分的圖；
[0031]圖8是示出了圖1的中心生成部的示例性配置的框圖；
[0032]圖9是示出了圖1的周邊生成部的示例性配置的框圖；
[0033]圖10是示出了保持、鏡像、以及平行移動的外插方法的圖；
[0034]圖11是示出了圖9的調(diào)整部的示例性配置的框圖；
[0035]圖12是示出了示例性對比度增益CnstGain的圖；
[0036]圖13是示出了示例性飽和增益Sgain的圖；
[0037]圖14是示出了平滑濾波器的抽頭的數(shù)量的示例的圖；
[0038]圖15A和圖15B是分別地示出了示例性偏移值DarkOffsetPred和DarkOffsetDist 的圖；
[0039]圖16是示出了距離的圖；
[0040]圖17是示出了由圖1的圖像合成部進(jìn)行的圖像合成的圖；
[0041]圖18是由圖1的圖像處理設(shè)備進(jìn)行的圖像處理的流程圖；
[0042]圖19是示出了應(yīng)用了本公開的第二實(shí)施例中的圖像處理設(shè)備的示例性配置的框圖；
[0043]圖20是示出了圖19的分析部的示例性配置的框圖；
[0044]圖21是示出了如何生成重要性映射的圖；
[0045]圖22是示出了圖19的確定部的示例性配置的框圖；
[0046]圖23是示出了示例性二進(jìn)制映射BinSigMap (x, y)的圖；
[0047]圖24是示出了示例性重要性部分的圖；
[0048]圖25A和圖25B是示出了由圖像處理設(shè)備所產(chǎn)生的效果的圖；
[0049]圖26A和圖26B是示出了由圖像處理設(shè)備所產(chǎn)生的效果的圖；
[0050]圖27A和圖27B是示出了由圖像處理設(shè)備所產(chǎn)生的效果的圖；
[0051]圖28A至圖28C是示出了由圖像處理設(shè)備所產(chǎn)生的效果的圖；
[0052]圖29是由圖19的圖像處理設(shè)備進(jìn)行的圖像處理的流程圖；
[0053]圖30A和圖30B是示出了中心部分的示例性位置改變的圖；
[0054]圖31是示出了應(yīng)用了本公開的第三實(shí)施例中的圖像處理設(shè)備的示例性配置的框圖；
[0055]圖32是示出了圖31的分析部的示例性配置的框圖；
[0056]圖33是示出了圖31的確定部的示例性配置的框圖；
[0057]圖34A和圖34B是示出了由圖像處理設(shè)備所產(chǎn)生的效果的圖；
[0058]圖35A和圖35B是示出了由圖像處理設(shè)備所產(chǎn)生的效果的圖；
[0059]圖36是由圖31的圖像處理設(shè)備進(jìn)行的圖像處理的流程圖；
[0060]圖37A至圖37C是示出了如何基于圖像組成(composit1n)限定縮放因子的圖；
[0061]圖38A和圖38B是示出了如何基于圖像組成限定縮放因子的圖；
[0062]圖39A和圖39B是示出了如何基于圖像組成限定縮放因子的圖；
[0063]圖40A和圖40B是示出了如何基于真實(shí)尺寸限定中心部分的圖；
[0064]圖41A和圖41B是示出了如何基于真實(shí)尺寸限定中心部分的圖；
[0065]圖42A和圖42B是示出了對包括黑邊的圖像進(jìn)行的圖像處理的圖；
[0066]圖43A和圖43B是示出了對包括側(cè)邊的圖像進(jìn)行的圖像處理的圖；
[0067]圖44A和圖44B是示出了對采用平移技術(shù)所捕獲的圖像進(jìn)行的圖像處理的圖；
[0068]圖45A和圖45B是示出了對采用放大技術(shù)所捕獲的圖像進(jìn)行的圖像處理的圖；
[0069]圖46是示出了根據(jù)本公開的實(shí)施例的圖像處理及其效果的圖；以及
[0070]圖47是示出了計算機(jī)的示例性硬件配置的框圖。

【具體實(shí)施方式】
[0071 ] 在下文中，將參照附圖描述本公開的實(shí)施例。
[0072][第一實(shí)施例]
[0073](第一實(shí)施例中的圖像處理設(shè)備的示例性配置)
[0074]圖1是示出了應(yīng)用了本公開的第一實(shí)施例中的圖像處理設(shè)備的示例性配置的框圖。
[0075]圖1的圖像處理設(shè)備10包括分析部11、確定部12、中心生成部13、周邊生成部14、以及圖像合成部15。圖像處理設(shè)備10通過將基于圖像特性(B卩，圖像質(zhì)量)的尺寸的輸入圖像放置在屏幕的中心部分而生成寬視圖圖像。然后，圖像處理設(shè)備10通過對中心部分的周邊部分進(jìn)行外插來放置另一圖像。
[0076]具體地，在圖像處理設(shè)備10中，分析部11基于關(guān)于輸入圖像的信息對輸入圖像的質(zhì)量進(jìn)行分析，并且將指示質(zhì)量級別的圖像質(zhì)量信號提供給確定部12。在此，輸入圖像是從外部所提供的圖像。
[0077]確定部12基于由分析部11所提供的圖像質(zhì)量信號和從外部所提供的指示輸入圖像的屬性的屬性信號兩者，確定最終圖像質(zhì)量信號。然后，確定部12使用最終圖像質(zhì)量信號作為基準(zhǔn)限定屏幕的中心部分，并且將限定屏幕的中心部分的信息提供給中心生成部13和周邊生成部14兩者。
[0078]中心生成部13通過對輸入圖像執(zhí)行縮放處理生成中心部分的圖像。執(zhí)行此縮放處理，使得輸入圖像變?yōu)橛纱_定部12所提供的關(guān)于其的信息所限定的中心部分的尺寸。中心生成部13將所生成的中心部分的圖像提供給圖像合成部15和周邊生成部14兩者。
[0079]基于關(guān)于由確定部12所提供的中心部分的信息，周邊生成部14限定由關(guān)于中心部分的信息限定的中心部分的周邊的、與中心部分部分重疊的部分。周邊生成部分14通過對由中心生成部13所提供的中心部分的圖像進(jìn)行外插，生成周邊部分的圖像。將所生成的圖像提供給圖像合成部15。
[0080]圖像合成部15對由中心生成部13所提供的中心部分的圖像與由周邊生成部14所提供的周邊部分的圖像進(jìn)行合成。然后，圖像合成部15將生成的合成圖像作為寬視圖圖像輸出。
[0081 ](分析部的示例性配置)
[0082]圖2是示出圖1的分析部11的示例性配置的框圖。
[0083]圖2的分析部11包括頻帶分布測量部31、噪聲測量部32、壓縮應(yīng)變測量部33、以及估計部34。
[0084]分析部11中的頻帶分布測量部31參考輸入圖像中的MPEG(運(yùn)動圖像專家組)流的數(shù)據(jù)頭信息或其他信息，以對其中的頻帶分布是否在高頻側(cè)進(jìn)行評估。作為示例，頻帶分布測量部31對輸入圖像中的高頻信號是否在相當(dāng)?shù)某潭壬线M(jìn)行了上轉(zhuǎn)換進(jìn)行評估。例如，在日本專利第5056242中描述了關(guān)于此評估的細(xì)節(jié)。
[0085]替選地，為了對輸入圖像中的頻帶分布是否在高頻側(cè)進(jìn)行評估，頻帶分布測量部31可以執(zhí)行諸如傅里葉變換的頻率轉(zhuǎn)換，并且可以對系數(shù)是否在高頻側(cè)進(jìn)行評估?；谠u估結(jié)果，頻帶分布測量部31生成清晰度信號以提供到估計部34。此清晰度信號指示頻帶分布中的高頻的水平。
[0086]例如，噪聲測量部32基于關(guān)于被用于捕獲輸入圖像的攝像裝置的信息，測量輸入圖像中的噪聲量。對于測量噪聲量，方法可以包括在日本專利申請早期公開第2008-294696號和日本專利申請早期公開第2012-231389號中所描述的方法。噪聲測量部32將指示所測量的噪聲量的噪聲信號提供給估計部34。
[0087]壓縮應(yīng)變測量部33對在由編解碼器進(jìn)行高度壓縮時在輸入圖像中所導(dǎo)致的壓縮應(yīng)變的量進(jìn)行測量?；陉P(guān)于輸入圖像中的MPEG流的信息(例如，比特率信息和解碼信息)進(jìn)行此測量。對于測量壓縮應(yīng)變量，方法可以包括例如在“Blind measurement of blockingartifacts in images”, Wang, Zhou, ICIP2000和在日本專利第5071721號中所描述的方法。壓縮應(yīng)變測量部33將指示所測量的壓縮應(yīng)變量的壓縮應(yīng)變信號提供給估計部34。
[0088]估計部34基于信號(S卩，來自頻帶分布測量部31的清晰度信號、來自噪聲測量部32的噪聲信號、以及來自壓縮應(yīng)變測量部33的壓縮應(yīng)變信號)生成圖像質(zhì)量信號All。然后，將圖像質(zhì)量信號All提供給圖1的確定部12。
[0089](圖像質(zhì)量信號All的描述)
[0090]圖3A至圖3C是示出由圖2的估計部34所生成的圖像質(zhì)量信號All的圖。
[0091 ] 如圖3A所示，估計部34基于清晰度信號的值生成圖像質(zhì)量信號A，即，清晰度信號的值越大，則圖像質(zhì)量信號A的值變?yōu)樵酱?O〈圖像質(zhì)量信號A〈l)。如圖3B所示，估計部34基于噪聲信號的值生成圖像質(zhì)量信號B，S卩，噪聲信號的值越大，則圖像質(zhì)量信號B的值變?yōu)樵叫?O〈圖像質(zhì)量信號B〈l)。如圖3C所示，估計部34基于壓縮應(yīng)變信號的值生成圖像質(zhì)量信號C，即壓縮應(yīng)變信號的值越大，圖像質(zhì)量信號C的值變?yōu)樵叫?0〈圖像質(zhì)量信號C〈l)。
[0092]使用這些圖像質(zhì)量信號A至C，估計部34使用以下等式I生成最終圖像質(zhì)量信號AU。
[0093][等式I]
[0094]圖像質(zhì)量信號All =WlX圖像質(zhì)量信號A+w2X圖像質(zhì)量信號B+w3X圖像質(zhì)量信號C...1
[0095]在等式I中，因子“wl”至、3”各自指示權(quán)重因子，并且“wl”至“w3”的和為I。
[0096]如上地確定圖像質(zhì)量信號All，使得當(dāng)圖像為具有較高清晰度、較低噪聲量、以及較小壓縮應(yīng)變量的高質(zhì)量時增加其值。
[0097](確定部的示例性配置)
[0098]圖4是示出圖1的確定部12的示例性配置的框圖。
[0099]圖4的確定部12包括分析部51、圖像質(zhì)量信確定部52、以及部分確定部53。
[0100]確定部12中的分析部51基于輸入圖像的量化步長生成圖像質(zhì)量信號D。量化步長是從外部作為屬性信號所提供的，并且例如被包括在輸入圖像的MPEG流中。分析部51將所生成的圖像質(zhì)量信號D提供給圖像質(zhì)量確定部52。
[0101]圖像質(zhì)量確定部52基于信號(即，來自圖2的估計部34的圖像質(zhì)量信號Al I和來自分析部51的圖像質(zhì)量信號D)、使用以下的等式2確定最終圖像質(zhì)量信號Final。然后，將圖像質(zhì)量信號Final提供給部分確定部53。
[0102][等式2]
[0103]圖像質(zhì)量信號Fianl = w_allX圖像質(zhì)量信號All+w_DX圖像質(zhì)量信號D...2
[0104]在等式2中，因子“w_alI ”和“w_D”各自指示權(quán)重因子，并且“w_alI ”和“w_D”的求和為I。
[0105]基于由圖像質(zhì)量確定部52所提供的圖像質(zhì)量信號Final，部分確定部53限定屏幕中的中心部分，即與屏幕具有相同縱橫比、在屏幕中心附近的部分。部分確定部53將中心部分與屏幕的比例(即，中心部分比例CentralPartRat1)作為中心部分信息、提供給圖1的中心生成部13和周邊生成部14兩者。
[0106](示例性圖像質(zhì)量信號D)
[0107]圖5是示出了由圖4的分析部51所生成的示例性圖像質(zhì)量信號D的圖。
[0108]如圖5所示，分析部51基于量化步長生成圖像質(zhì)量信號D，即，量化步長越大則圖像質(zhì)量信號D的值變?yōu)樵叫?0〈圖像質(zhì)量信號D〈l)。
[0109]基于這些圖像質(zhì)量信號D和圖像質(zhì)量信號All、并且根據(jù)以上所述的等式2，確定圖像質(zhì)量信號Final，使得當(dāng)圖像為具有較高清晰度、較低噪聲量和壓縮應(yīng)變量、以及較小量化步長的高質(zhì)量時增加其值。
[0110](示例性中心部分比例)
[0111]圖6是示出了由圖4的部分確定部53所確定的示例性中心部分比例CentralPartRat1 的圖。
[0112]如圖6所示，部分確定部53當(dāng)圖像質(zhì)量信號Final值增加時確定中心部分比例CentralPartRat1更接近I,即，使得中心部分為整個屏幕。因此，當(dāng)輸入圖像質(zhì)量高時，將輸入圖像充分地放置在屏幕上的寬視圖圖像上，并且當(dāng)輸入圖像質(zhì)量低時，將輸入圖像放置在屏幕上的寬視圖圖像的較小尺寸中。
[0113]作為結(jié)果，即使輸入圖像為具有較大噪聲量和壓縮應(yīng)變量的低質(zhì)量，也防止了在生成的寬視圖圖像中注意到噪聲和壓縮應(yīng)變。此外，即使輸入圖像為具有不在高頻側(cè)的頻帶分布的低質(zhì)量，在生成的寬視圖圖像中也不會注意到圖像模糊。
[0114](中心部分的描述)
[0115]圖7是示出了由圖4的部分確定部53所限定的中心部分的圖。
[0116]如圖7所示，中心部分72是屏幕71的中心O附近、具有與屏幕71的縱橫比相同的縱橫比的屏幕71中的部分。
[0117]中心部分比例CentralPartRat1是中心部分72的水平長度W_center與屏幕71的水平長度W_disp的比例，以及中心部分72的垂直長度H_Center與屏幕71的垂直長度H_disp的比例。
[0118](中心生成部的示例性配置)
[0119]圖8是示出了圖1的中心生成部13的示例性配置的框圖。
[0120]圖8的中心生成部13包括設(shè)置部91以及縮放部92。中心生成部13中的設(shè)置部91基于作為中心部分信息由圖4的部分確定部53所提供的中心部分比例CentralPartRat1、使用以下等式3限定縮放因子Scale。然后，將縮放因子Scale提供給縮放部92。
[0121][等式3]
[0122]Scale = (W_disp*CentralPartRat1)/W_in = (H_disp*CentralPartRat1)/H_in...3
[0123]在等式3中，因子“W_disp”指示橫向方向(水平方向)上的屏幕尺寸，并且因子“H_disp”指示縱向方向(垂直方向)上的屏幕尺寸。因子“W_in”指示水平方向上輸入圖像的尺寸，并且因子“H_in”指示垂直方向上輸入圖像的尺寸。
[0124]基于由設(shè)置部91所提供的縮放因子Scale，縮放部92對輸入圖像執(zhí)行縮放處理。執(zhí)行此縮放處理，以便將輸入圖像的尺寸改變?yōu)橹行牟糠值某叽?。?dāng)縮放因子Scale大于I時，要執(zhí)行的縮放處理是放大處理。對于此放大處理，技術(shù)可以包括雙線性插值、雙三次插值、Lanczos插值、所謂的超分辨率以及其他。
[0125]縮放部92將作為縮放處理的結(jié)果的圖像作為中心部分的圖像提供給圖1的周邊生成部14和圖像合成部15兩者。
[0126](周邊生成部的示例性配置)
[0127]圖9是示出了圖1的周邊生成部14的示例性配置的框圖。
[0128]圖9的周邊生成部14包括設(shè)置部111、外插部112、以及調(diào)整部113。
[0129]周邊生成部14中的設(shè)置部111基于作為中心部分信息由圖4的部分確定部53所提供的中心部分比例CentralPartRat1限定周邊部分。然后，設(shè)置部111將限定周邊部分的周邊部分信息提供給外插部112和調(diào)整部113兩者。
[0130]外插部112對通過由設(shè)置部111所提供的周邊部分信息所限定的周邊部分的圖像進(jìn)行外插。使用由圖8的縮放部92所提供的中心部分的圖像執(zhí)行此外插。對于外插，技術(shù)可以包括例如在 “Mult1-scale ultrawide foveated video extrapolat1n”，A.Adies, Τ.Avraham,以及Y.Schechner.1srael Institute of Technology In ICCP, 2011 中所描述的技術(shù)以及保持、鏡像、并行平移的外插方法。還存在如在“Display pixel caching”，ClemensBirklbauer 等，SIGGRAPH “IlACM SIGGRAPH201ITalks Article N0.45 中所描述的、使用關(guān)于過去幀或?qū)韼臅r間軸信息以用于外插的技術(shù)。
[0131]外插部112將通過外插所生成的周邊部分的圖像提供給調(diào)整部113。外插部112還識別外插可靠性的級別，其指示外插的結(jié)果有多可靠。作為示例，外插部112以O(shè)至I之間的值(包括O和I)來指示在外插期間匹配的精度，并且此值是外插可靠性的級別。然后，外插部112將外插可靠性的級別提供給調(diào)整部113。
[0132]基于由外插部112所提供的外插可靠性的級別，調(diào)整部113調(diào)整周邊部分的圖像。然后，調(diào)整部113將生成的周邊部分的圖像提供給圖1的圖像合成部15。
[0133](外插方法的描述)
[0134]圖10是示出了包括保持、鏡像、以及平行移動的外插的方法的圖。
[0135]如圖10左側(cè)所示，當(dāng)外插部112執(zhí)行保持的外插時，在鄰近周邊部分中的最內(nèi)側(cè)像素的中心部分中的像素的值(即，在此示例中像素值C)被應(yīng)用到周邊部分中的最內(nèi)側(cè)像素和該像素外側(cè)的像素。
[0136]另一方面，如圖10的中部所示，當(dāng)外插部112執(zhí)行鏡像的外插時，按照下述方式確定周邊部分中的像素的值:在周邊部分中的值的排列與在中心部分中的值排列關(guān)于周邊部分與中間部分之間的邊界對稱。
[0137]在圖10所示的此示例中，在中心部分中最近接近與周邊部分的邊界的像素具有值C。因此，在周邊部分中最接近邊界的像素被設(shè)置為值C。類似地，在中心部分中第二接近邊界的像素具有值B。因此，在周邊部分中第二接近邊界的像素被設(shè)置為值B。
[0138]如圖10的右側(cè)所示，當(dāng)外插部112執(zhí)行平行移動的外插時，將從與周邊部分的邊界起的預(yù)定范圍中的中心部分中的像素的值的集合應(yīng)用到從在周邊部分中從最外側(cè)到最內(nèi)側(cè)的像素。
[0139]在圖10的此示例中，在中心部分中最接近與周邊部分的邊界的像素具有值C。因此，周邊部分中的最外側(cè)像素被設(shè)置為值C。類似地，在中心部分中第二接近邊界的像素具有值B。因此，在周邊部分中緊挨著周邊部分中最外側(cè)的像素的像素被設(shè)置為值B。
[0140](調(diào)整部的示例性配置)
[0141]圖11是示出了圖9的調(diào)整部113的示例性配置的框圖。
[0142]圖11的調(diào)整部113包括對比度調(diào)整部131、飽和度調(diào)整部132、分辨率調(diào)整部133、以及亮度調(diào)整部134。
[0143]調(diào)整部113中的對比度調(diào)整部131通過改變由外插部112所提供的周邊部分的圖像的動態(tài)范圍來調(diào)整對比度?；谟赏獠宀?12所提供的外插可靠性的級別來進(jìn)行此對比度調(diào)整。具體地，對比度調(diào)整部131使用以下的等式4針對周邊部分的圖像中的每個像素對亮度分量EY執(zhí)行計算，從而針對對比度調(diào)整后的周邊部分的圖像中的每個像素獲得亮度分量LCnst_Y。
[0144][等式4]
[0145]LCnst_Y = (EY_AVE_Y)*CnstGain+AVE_Y...4
[0146]在等式4中，因子“AVE_Y”指示周邊部分的圖像中的亮度分量的平均值，并且因子“CnstGain”指示基于外插可靠性的級別所限定的對比度增益。
[0147]對比度調(diào)整部131將對比度調(diào)整后的周邊部分的圖像提供給飽和度調(diào)整部132。該對比度調(diào)整后的圖像包括對比度調(diào)整之后的周邊部分的圖像中的像素的亮度分量LCnst_Y、和由外插部112所提供的周邊部分的圖像中的每個像素的色差分量。
[0148]飽和度調(diào)整部132基于外插可靠性的級別，對由對比度調(diào)整部131所提供的周邊部分的圖像執(zhí)行飽和度調(diào)整。具體地，飽和度調(diào)整部132通過將周邊部分的圖像中的每個像素的飽和度分量CurSatu乘以飽和度增益Sgain，對周邊部分的圖像執(zhí)行飽和度調(diào)整，飽和度增益Sgain是基于外插可靠性的級別所限定的。然后，飽和度調(diào)整部132將飽和度調(diào)整后的周邊部分的圖像提供給分辨率調(diào)整部133。
[0149]分辨率調(diào)整部133基于外插可靠性的級別，對由飽和度調(diào)整部132所提供的周邊部分的圖像執(zhí)行分辨率調(diào)整。具體地，分辨率調(diào)整部133使用例如高斯(Gaussian)濾波器的平滑濾波器，對周邊部分的圖像執(zhí)行濾波器處理。此平滑濾波器具有基于外插可靠性的級別所確定的數(shù)量的抽頭。然后，分辨率調(diào)整部133將濾波器處理后的周邊部分的圖像提供給亮度調(diào)整部134。
[0150]亮度調(diào)整部134對由分辨率調(diào)整部133所提供的周邊部分的圖像執(zhí)行亮度調(diào)整。基于外插可靠性的級別和由設(shè)置部111所提供的周邊部分信息進(jìn)行此亮度調(diào)整。具體地，亮度調(diào)整部134使用以下的等式5、針對周邊部分的圖像中的每個像素對亮度(或照度)分量SmthY執(zhí)行計算，從而針對亮度調(diào)整后的周邊部分的圖像中的每個像素獲得亮度分量PY0
[0151][等式5]
[0152]PY = SmthY-DarkOfTsetPred-DarkOfTsetDist...5
[0153]在等式5中，因子“DarkOffsetPred”指示基于外插可靠性的級別所確定的偏移值，并且因子“DarkOffsetDist”指示基于周邊部分信息所確定的偏移值。
[0154]亮度調(diào)整部134將亮度調(diào)整后的周邊部分的圖像提供給圖1的圖像合成部15。此亮度調(diào)整后的圖像包括亮度調(diào)整后的周邊部分的圖像中的像素的亮度分量PY、和由分辨率調(diào)整部133所提供的周邊部分的圖像中的像素的色差分量。
[0155](示例性對比度增益)
[0156]圖12是示出了示例性對比度增益CnstGain的圖。
[0157]如圖12所示，設(shè)置對比度增益CnstGain以隨著外插可靠性的級別的增加而變大，并且對比度增益CnstGain取O至I之間的值(包括O和I)。因此，當(dāng)外插可靠性的級別低時，減小對比度增益CnstGain以使得周邊部分的圖像的對比度變低。因此，這使得不會注意到周邊部分的圖像。
[0158](示例性飽和度增益)
[0159]圖13是示出了示例性飽和度增益Sgain的圖。
[0160]如圖13所示，設(shè)置飽和度增益Sgain以隨著外插可靠性的級別的增加而變大，并且飽和度增益Sgain取O至I之間的值(包括O和I)。因此，當(dāng)外插可靠性的級別低時，減小飽和度增益Sgain以使得周邊部分的圖像飽和度變低。因此，這使得不會注意到周邊部分的圖像。
[0161](平滑濾波器的抽頭數(shù)量的示例)
[0162]圖14是示出了圖11的分辨率調(diào)整部133的平滑濾波器的抽頭數(shù)量的示例的圖。
[0163]如圖14所示，設(shè)置平滑濾波器的抽頭數(shù)量以隨著外插可靠性的級別降低而變大，并且平滑濾波器的抽頭數(shù)量取I或更大的值。因此，當(dāng)外插可靠性的級別低時，增加平滑濾波器的抽頭數(shù)量，以使得濾波器處理后的周邊部分的圖像看起來更加模糊。因此，這使得不會注意到周邊部分的圖像。
[0164](亮度調(diào)整時的示例性偏移值)
[0165]圖15A和圖15B是分別地示出了由圖11的亮度調(diào)整部134進(jìn)行的亮度調(diào)整時的不例性偏移值 DarkOffsetPred 和 DarkOffsetDist 的圖。
[0166]如圖15A所示，設(shè)置偏移值DarkOffsetPred以隨著外插可靠性的級別的增加而變小。另一方面，如圖15B所示，設(shè)置偏移值DarkOffsetDist以隨著距離d的增加而變大，距離d是對應(yīng)的像素離開周邊部分的內(nèi)邊緣的距離。
[0167]具體地，如圖16所示，存在重疊部分152，其是與中心部分72重疊的屏幕71中的周邊部分151的內(nèi)部部分。設(shè)置偏移值DarkOffsetDist以隨著距離d的增加而變大，距離d是對應(yīng)的像素離開周邊部分151的內(nèi)邊緣的距離，即，離開重疊部分152的內(nèi)邊緣的距離。
[0168]如上所述，當(dāng)外插可靠性的級別低時，偏移值DarkOffsetPred增加，并且周邊部分的圖像亮度降低。因此，這使得不會注意到周邊部分的圖像。此外，隨著距離d的增加、偏移值DarkOffsetDist增加，使得隨著更接近外邊緣、像素亮度降低。因此，這使得降低了由外插所導(dǎo)致的人為因素。
[0169](圖像合成的說明)
[0170]圖17是用于示出由圖1的圖像合成部15進(jìn)行的圖像合成的圖。
[0171]關(guān)于由中心生成部13所提供的中心部分的圖像，圖像合成部15將不包括與周邊部分重疊的部分的圖像部分放置在屏幕中。關(guān)于由周邊生成部14所提供的周邊部分的圖像，圖像合成部15將不包括與中心部分重疊的部分的圖像部分放置在屏幕中。
[0172]然后，圖像合成部15使用以下等式6基于像素執(zhí)行圖像合成，S卩，將在中心部分中的重疊部分的圖像與在周邊部分中的重疊部分的圖像進(jìn)行合成。圖像合成部15將生成的圖像放置在屏幕的重疊部分中。
[0173][等式6]
[0174]Blend = WpXPsig+ffcXCsig...6
[0175]在等式6中，因子“Blend”指示圖像合成之后在重疊部分中的每個像素的值。因子“Psig”指示在周邊部分中的重疊部分的圖像中每個像素的值，并且因子“Csig”指示在中心部分中的重疊部分的圖像中每個像素的值。
[0176]另外，在等式6中，因子“Wp”和“Wc”各自指示基于從周邊部分的內(nèi)邊緣到其中的每個像素的水平距離或垂直距離的權(quán)重因子，并且權(quán)重因子Wp和Wc的和為I。具體地，當(dāng)與像素值Blend相對應(yīng)的像素在中心部分的左側(cè)或右側(cè)的重疊部分中時，使用中的權(quán)重因子Wp和Wc是基于水平距離的因子。另一方面，當(dāng)與像素值Blend相對應(yīng)的像素是在中心部分的上方或下方的重疊部分中時，使用中的權(quán)重因子Wp和Wc是基于垂直距離的因子。
[0177]假定在最內(nèi)側(cè)邊緣的周邊部分的水平(或垂直)位置為0，則當(dāng)對應(yīng)的像素的水平(或垂直)位置在-dw處(如圖17所示，在最外邊緣處的重疊部分的水平(或垂直)位置)時，權(quán)重因子Wp為I。權(quán)重因子Wp隨著對應(yīng)的像素的水平(或垂直)位置接近于O而降低，并且當(dāng)對應(yīng)的像素位于O處時達(dá)到O。
[0178]另一方面，如圖17所示，當(dāng)對應(yīng)的像素的水平(或垂直)位置在-dw處時，權(quán)重因子Wc為O。隨著對應(yīng)的像素的水平(垂直)位置接近于0，權(quán)重因子Wc增加，并且當(dāng)對應(yīng)的像素位于O處時達(dá)到I。
[0179]圖像合成部15輸出寬視圖圖像，其為包括下述圖像的屏幕的圖像:不具有周邊部分與中心部分之間的重疊部分的部分的圖像、和圖像合成之后的重疊部分的圖像。
[0180](由圖形處理設(shè)備進(jìn)行的處理的描述)
[0181]圖18是由圖1的圖像處理設(shè)備10進(jìn)行的圖像處理的流程圖。
[0182]在圖18的步驟Sll中，圖像處理設(shè)備10對是否從外部輸入圖像進(jìn)行評估。在此，圖像可以是基于一個幀或多個幀而輸入的。
[0183]當(dāng)在步驟Sll中做出尚未從外部輸入圖像的評估時，圖像處理設(shè)備10等待從外部所輸入的圖像。
[0184]當(dāng)在步驟Sll中做出從外部輸入圖像的評估時，在步驟S12中圖像處理設(shè)備10獲得該圖像作為輸入圖像。在步驟S13中，確定部12對是否從外部輸入屬性信號進(jìn)行評估。當(dāng)在步驟S13中做出從外部輸入屬性信號評估時，處理繼續(xù)到步驟S14。
[0185]在步驟S14中，確定部12中的分析部51(圖4)基于作為屬性信號而從外部所述輸入的圖像的量化步長，生成圖像質(zhì)量信號D。然后，分析部51將所生成的圖像質(zhì)量信號D提供給圖像質(zhì)量確定部52，并且處理繼續(xù)到步驟S15。
[0186]另一方面，當(dāng)在步驟S13中做出尚未從外部輸入屬性信號的評估時，分析部51將為O的圖像質(zhì)量信號D提供給圖像質(zhì)量確定部52，并且處理繼續(xù)到步驟S15。
[0187]在步驟S15中，分析部11關(guān)于輸入圖像中的頻帶分布做出評估，并且測量噪聲和壓縮應(yīng)變量，從執(zhí)行生成圖像質(zhì)量信號All的圖像質(zhì)量分析處理。分析部11將所生成的圖像質(zhì)量信號All提供給確定部12。
[0188]在步驟S16中，確定部12基于信號(即，來自分析部11的圖像質(zhì)量信號Al I和由分析部51所生成的圖像質(zhì)量信號D)，確定最終圖像質(zhì)量信號Final。然后，確定部12執(zhí)行用于確定中心部分比例CentralPartRat1的、基于圖像質(zhì)量的部分確定處理。確定部12將所確定的中心部分比例CentralPartRat1作為中心部分信息提供給中心生成部13和周邊生成部14兩者。
[0189]在步驟S17中，中心生成部13基于來自確定部12的中心部分比例CentralPartRat1限定縮放因子Scale,并且基于縮放因子Scale對輸入圖像執(zhí)行縮放處理，從而執(zhí)行生成中心部分的圖像的中心部分生成處理。中心生成部13將所生成的中心部分的圖像提供給周邊生成部14和圖像合成部15兩者。
[0190]在步驟S18中，周邊生成部14基于來自確定部12的中心部分比例CentralPartRat1限定周邊部分。然后，周邊生成部分14通過中心部分的圖像的外插生成周邊部分的圖像，從而執(zhí)行基于外插可靠性的級別進(jìn)行調(diào)整的周邊部分生成處理。周邊生成部14將作為調(diào)整的結(jié)果的周邊部分的圖像提供給圖像合成部15。
[0191]在步驟S19中，圖像合成部15執(zhí)行將來自中心生成部13的中心部分的圖像與來自周邊生成部14的周邊部分的圖像進(jìn)行合成的圖像合成處理。在步驟S20中，圖像合成部15將作為圖像合成處理的結(jié)果的合成圖像作為寬視圖圖像而輸出。
[0192]在步驟S21中，圖像處理設(shè)備10對是否輸入新圖像進(jìn)行評估。當(dāng)在步驟S21中做出輸入新圖像的評估時，處理返回到步驟S12，并且重復(fù)從步驟S12至步驟S21的處理直到停止輸入圖像為止。
[0193]另一方面，當(dāng)在步驟S21中做出未輸入新圖像的評估時，其為處理的終止。
[0194]如上所述，圖像處理設(shè)備10通過基于圖像質(zhì)量信號對輸入圖像執(zhí)行縮放處理來生成中心部分的圖像，并且然后通過輸入圖像的外插生成周邊部分的圖像。然后，圖像處理部分10對中心部分的圖像與周邊部分的圖像進(jìn)行合成，以使得生成寬視圖圖像。
[0195]因此，即使圖像質(zhì)量信號的值較小(即，即使圖像質(zhì)量低)，在不使用關(guān)于觀看者的部分指定的信息、各種傳感器的檢測結(jié)果等的情況下，通過執(zhí)行減少中心部分的圖像的尺寸的縮放處理，生成的寬視圖圖像中也可以不會注意到低質(zhì)量。即，生成適合于圖像質(zhì)量的寬視圖圖像。作為結(jié)果，寬視圖圖像具有更好的真實(shí)效果。
[0196]例如，即使輸入圖像的分辨率高于捕獲其時的分辨率、因?yàn)榻?jīng)由網(wǎng)絡(luò)所獲得所以輸入圖像的分辨率低、由于亮度低所以輸入圖像是有噪聲的、或由于模擬廣播時的低電場所以輸入圖像是有噪聲的，也可以生成具有高級別的圖像質(zhì)量的寬視圖圖像。
[0197]另一方面，如果例如當(dāng)輸入圖像模糊、有噪聲的或具有大量的壓縮應(yīng)變時將輸入圖像放大至屏幕的尺寸，因?yàn)槠涫悄：?、有噪聲的或壓縮的所以生成的圖像看起來劣化了。
[0198]此外，因?yàn)閳D像處理設(shè)備10通過外插生成了周邊部分的圖像，生成的合成圖像具有較寬的視圖，從而引起了更好的真實(shí)感(沉浸式體驗(yàn))。
[0199]注意，在第一實(shí)施例中，分析部11包括三個測量部，即，頻帶分布測量部31、噪聲測量部32、以及壓縮應(yīng)變測量部33。然而，分析部11不必須包括全部三個測量部,而是可以包括測量部中的至少一個。
[0200][第二實(shí)施例]
[0201](第二實(shí)施例中的圖像處理設(shè)備的示例性配置)
[0202]圖19是示出了應(yīng)用了本公開的第二實(shí)施例中的圖像處理設(shè)備的示例性配置的框圖。
[0203]在圖19的配置中，為與圖1中的部件相同的任何組件提供了相同的附圖標(biāo)記，并且如果已經(jīng)對其進(jìn)行了描述則可以適當(dāng)?shù)夭辉賹ζ溥M(jìn)行描述。
[0204]不同于圖1的圖像處理設(shè)備10，圖19的圖像處理設(shè)備170包括作為分析部11的替選的分析部171、和作為確定部12的替選的確定部172。圖像處理設(shè)備170不基于輸入圖像的圖像質(zhì)量而是基于重要性級別限定縮放因子Scale。
[0205]分析部171基于用作輸入圖像的特性的關(guān)于輸入圖像的信息，從輸入圖像中提取預(yù)定部分?；谠摬糠?，分析部171將重要性映射提供給確定部172。該重要性映射以值來代表輸入圖像中每個像素的重要性級別。
[0206]確定部172基于屬性信號和由分析部171所提供的重要性映射確定最終重要性映射。然后，確定部172基于最終重要性映射限定中心部分，并且將關(guān)于中心部分的信息提供給中心生成部13和周邊生成部14兩者。
[0207](分析部的示例性配置)
[0208]圖20是示出圖19的分析部171的示例性配置的框圖。
[0209]圖20的分析部171包括字幕檢測部191、面部識別部192、人物檢測部193、顯著度檢測部194、以及估計部195。
[0210]分析部171中的字幕檢測部191基于關(guān)于輸入圖像的OSD(屏幕顯示)信息或其他信息檢測字幕部分。字幕部分是包括字幕的輸入圖像的一部分。對于檢測字幕部分，例如，存在在 “A comprehensive method for multilingual video text detect1n”，Lyu, M.R.:Jiqiang Song ；Min Ca1: localizat1n，and extract1n.1EEE Transact1ns onCircuits and systems for Video Technologyl5 (2)，243-255 (2005)中所描述的方法。
[0211]字幕檢測部191生成字幕映射，其指示所檢測到的字幕部分的位置、尺寸以及確定級別。字幕映射是指示在字幕部分中的輸入圖像的每個像素的確定級別的圖像，并且確定級別由從O至255的值所表示。在此示例中，字幕映射中較大的像素值意味著對于字幕部分中的像素的較高的確定級別。字幕檢測部191將所生成的字幕映射提供給估計部195。
[0212]面部檢測部192檢測輸入圖像中的面部部分。例如，當(dāng)輸入圖像是可視通信期間的圖像時，面部檢測部192基于關(guān)于每個窗口位置的信息檢測面部部分。
[0213]然后，面部檢測部192生成面部映射，其指示所檢測到的面部部分的位置、尺寸以及確定級別。面部映射是指示在面部部分中的輸入圖像的每個像素的確定級別的圖像，并且確定級別由從O至255的值所表示。在此示例中，面部映射中較大的像素值意味著對于面部部分中的像素的較高的確定級別。面部檢測部192將所生成的面部映射提供給估計部195。
[0214]人物檢測部193檢測輸入圖像中的人物部分。例如，當(dāng)輸入圖像是由監(jiān)視攝像裝置所捕獲的圖像時，人物檢測部193基于由監(jiān)視攝像裝置所提供的關(guān)于追蹤目標(biāo)的信息來檢測人物部分。
[0215]然后，人物檢測部193生成人物映射，其指示所檢測到的人物部分的位置、尺寸以及確定級別。人物映射是指示在人物部分中的輸入圖像的每個像素的確定級別的圖像，并且確定級別由從O至255的值所表示。在此示例中，人物映射中較大的像素值意味著對于人物部分中的像素的較高的確定級別。人物檢測部193將所生成的人物映射提供給估計部195。
[0216]顯著度(引人注目的程度)檢測部194響應(yīng)于觀看者的指定等，在輸入圖像中檢測引人注目的對象的一部分作為主要對象部分。對于檢測對象部分，存在例如在日本專利早期公開第2010-262506中所描述的方法。顯著度檢測部194生成對象映射，其指示所檢測到的對象部分的位置、尺寸以及確定級別。
[0217]對象映射是指示在對象部分中的輸入圖像的每個像素的確定級別的圖像，并且確定級別由從O至255的值所表示。在此示例中，對象映射中較大的值意味著對于對象部分中的像素的較高的確定級別。顯著度檢測部194將所生成的對象映射提供給估計部195。
[0218]估計部195基于映射(即，來自字幕檢測部191的字幕映射、來自面部檢測部192的面部映射、來自人物檢測部193的人物映射、以及來自顯著度檢測部194的對象映射)，生成重要性映射。
[0219](生成重要性映射的描述)
[0220]圖21是示出了如何由圖20的估計部195生成重要性映射的圖。
[0221]如圖21所示，根據(jù)以下的等式7，估計部195使用各種映射中的像素值(即字幕映射的像素值Map_text (x, y)、面部映射的像素值Map_face (x, y)、人物映射的像素值Map_human (x, y)、以及對象映射的像素值Map_saliency (x, y)),獲得針對每個像素的權(quán)重均值。所獲得的權(quán)重均值被用作重要性映射中的像素值。
[0222][等式7]
[0223]Map_sig (X，y) = W_text*Map_text(x, y)+ff_face*Map_face(x, y)+W_human*Map_human(x, y)+ff_saliency*Map_saliency(x, y)...7
[0224]在等式7中，因子“Map_sig(X，y)”指示重要性映射中的像素值，并且因子“W_text”、“W_face”、“W_human”、以及“W_saliency”各自指示權(quán)重因子。這些權(quán)重因子的和為
1
[0225]在第二實(shí)施例中，權(quán)重均值被用作重要性映射中的像素值。替選地,重要性映射中的像素值可以是像素值Map_text(x, y)、像素值Map_face (x, y)、像素值Map_human (x, y)、以及像素值Map_saliency(x，y)之中的最大值。也是替選地，在重要性映射中的像素值可以是以動態(tài)范圍覆蓋O至255的方式進(jìn)行歸一化之后的權(quán)重均值。
[0226](確定部的示例性配置)
[0227]圖22是示出了圖19的確定部172的示例性配置的框圖。
[0228]圖22的確定部172包括分析部211、重要性部分確定部212、以及部分確定部213。
[0229]確定部172中的分析部211用作檢測部，并且例如基于作為屬性信號從外部所提供的EPG(電子節(jié)目指南)中的節(jié)目類型信息，生成重要性映射。
[0230]具體地，新聞節(jié)目、各種演出、早間演出等的圖像很可能包括字幕，并且可以預(yù)先估計用于字幕的部分。因此，當(dāng)節(jié)目類型信息是關(guān)于新聞節(jié)目、各種演出、或早間演出的時，分析部211檢測被估計為包括字幕的任何部分，并且將該部分當(dāng)做具有高的重要性級別的部分。然后，分析部211生成指示在該部分中的像素是重要的重要性映射。
[0231]對于成像、其自身所確定的成像角度等，體育節(jié)目具有其自身所確定的方式。作為示例，在網(wǎng)球比賽期間所使用的成像角度，屏幕包括分別在上部和下部的運(yùn)動員。因此，當(dāng)節(jié)目類型信息是關(guān)于網(wǎng)球比賽的時，分析部211檢測在屏幕上部和下部的部分作為具有高的重要性級別的部分。然后，分析部211生成指示在該部分中的像素是重要的重要性映射。
[0232]由分析部211所生成的重要性映射是指示每個像素的重要性級別的圖像，并且重要性級別由從O至255的值所表示。在此示例中，像素值越大則意味著重要性的級別越高。分析部211將所生成的重要性映射提供給重要性部分確定部212。
[0233]使用下面的等式8，重要性部分確定部212基于映射(S卩，來自圖20的估計部195的重要性映射Map_sig(x, y)和來自分析部211的重要性映射MetaSigMap (x, y)),確定最終重要性映射 BlendSigMap (x, y)。
[0234][等式8]
[0235]BlendSigMap (x, y) = WXMap_sig (x, y) + (1.0-ff) XMetaSigMap (x, y)...8
[0236]在等式8中，因子“W”指示權(quán)重因子，并且其取0至I之間的值(包括O和I)。
[0237]重要部分確定部212對最終重要性映射BlendSigMap (x, y)進(jìn)行二值化，從而生成二值化映射BinSigMap (X，y)。此時,重要部分確定部212可以適當(dāng)?shù)厥褂弥兄禐V波器或形態(tài)濾波器以用于移除孤立的像素。
[0238]重要部分確定部212檢測與二值化映射BinSigMap (x, y)中具有值I的任何像素(即，白色像素)外部地鄰近的矩形，以用作重要部分。重要部分確定部212將關(guān)于重要部分的信息提供給部分確定部213。
[0239]基于重要部分信息，部分確定部213以在屏幕上的中心部分中的重要部分在觀看者的中心視野之內(nèi)的方式限定中心部分。然后，重要部分確定部212基于所限定的中心部分計算中心部分比例。然后，中心部分比例作為中心部分信息被提供給中心生成部13和周邊生成部14兩者。
[0240](示例性二值化映射)
[0241]圖23是示出了示例性二值化映射BinSigMap (X，y)的圖。
[0242]重要部分確定部212對在最終重要性映射BlendSigMap (X，y)中的每個像素值，即，當(dāng)值超過閾值時被設(shè)置為I的像素值和當(dāng)值未超過閾值時被設(shè)置為O的像素值，進(jìn)行二值化。因此，對圖21的最終重要性映射BlendSigMap (X，y)進(jìn)行二值化導(dǎo)致了圖23的二值化映射 BinSigMap (x, y)。
[0243](示例性重要部分)
[0244]圖24是示出了從圖23的二值化映射BinSigMap (x, y)所檢測到的示例性重要部分的圖。
[0245]如圖24所示，當(dāng)二值化映射BinSigMap (X，y)是圖23中所示的映射時,矩形部分231被檢測為重要部分，其與像素值為I的白色部分外部地鄰近。如圖24所示，然后以中心部分中的矩形部分231在觀看者的中心視野之內(nèi)的方式限定中心部分232。
[0246]在此，表述“觀看者的中心視野”意味著觀看者從所推薦的觀看位置(即，屏幕的高度的1.5倍)以±30度的角度觀看到的屏幕中的部分?；谥行囊曇暗挠^看位置不限于所推薦的觀看位置，而且還可以是例如由觀看者所調(diào)整的觀看位置，或由未示出攝像裝置或傳感器所測量的觀看者的實(shí)際觀看位置。
[0247](效果的描述)
[0248]圖25A至圖28C每個是示出了由圖像處理設(shè)備170所產(chǎn)生的效果的圖。
[0249]如圖25A所示，當(dāng)輸入圖像包括在其端部的字幕時，圖像處理設(shè)備170檢測包括字幕部分251A和字幕部分251B的矩形部分251作為重要部分。這使得能夠生成寬視圖圖像，在該寬視圖圖像中，字幕部分251A和251B在觀看者的中心視野之內(nèi)。因此，這改進(jìn)了寬視圖圖像的可視性。
[0250]另一方面，對于通過簡單地將輸入圖像放大到屏幕的尺寸來生成寬視圖圖像，字幕可能存在超出了觀看者的中心視野，并且這可以使得難以觀看到字幕。盡管未示出，但是這也適用于字幕存在于輸入圖像端部的情況。
[0251]如圖25B所示，當(dāng)輸入圖像包括在其中心的相對大尺寸的字幕(S卩，字幕部分252A)時，圖像處理設(shè)備170檢測包括字幕部分252A的矩形部分252作為重要部分。這使得能夠生成寬視圖圖像，在寬視圖圖像中，字幕在觀看者的中心視野之內(nèi)。因此，這改進(jìn)了寬視圖圖像的可視性。
[0252]另一方面，對于通過簡單地將輸入圖像放大至屏幕的尺寸來生成寬視圖圖像，相對大尺寸的字幕可能存在超出觀看者的中心視野，并且這可能使得難以觀看到字幕。
[0253]當(dāng)圖25A和圖25B的圖像是新聞節(jié)目、各種演出或各種早間演出的圖像時，圖像處理設(shè)備170增加重要性映射MetaSigMap (x，y)中的像素值。因此,這給予了很可能包括字幕的節(jié)目的圖像中的字幕的可視性優(yōu)先級。
[0254]如圖26A所示，當(dāng)輸入圖像包括放大的人物面部時，圖像處理設(shè)備170檢測包括人的面部部分253A的矩形部分253作為重要部分。這使得能夠生成寬視圖圖像，在寬視圖圖像中，面部部分253A在觀看者的中心視野之內(nèi)。因此，這改進(jìn)了寬視圖圖像的可視性。
[0255]另一方面，對于通過簡單地將輸入圖像放大至屏幕的尺寸來生成寬視圖圖像，人物面部可能存在超出觀看者的中心視野，并且因此觀看者難以對整個面部具有良好的掌握。
[0256]如圖26B所示，當(dāng)輸入圖像包括三個人物面部時，圖像處理設(shè)備170檢測包括三個人的三個面部部分254A至254C的矩形部分254作為重要部分。這使得能夠生成寬視圖圖像，在寬視圖圖像中，面部部分254A至254C在觀看者的中心視野之內(nèi)。因此，這改進(jìn)了寬視圖圖像的可視性。
[0257]另一方面，對于通過簡單地將輸入圖像放大至屏幕的尺寸來生成寬視圖圖像，三個人物面部中的任一個可以存在超出觀看者的中心視野，并且這可以使得寬視圖圖像的可視性受到破壞。
[0258]如圖27A所示，當(dāng)輸入圖像在其水平方向上的兩端均包括人時，圖像處理設(shè)備170檢測包括人物部分255A至255C的矩形部分255作為重要部分。這使得能夠生成寬視圖圖像，在寬視圖圖像中，人物部分255A至255C在觀看者的中心視場25?之內(nèi)。因此，這改進(jìn)了寬視圖圖像的可視性。
[0259]如圖27B所示，當(dāng)輸入圖像是廣播網(wǎng)球比賽的節(jié)目的圖像時、并且當(dāng)在屏幕的上部和下部存在運(yùn)動員時，圖像處理設(shè)備170例如檢測包括人物部分256A和256B的矩形部分256作為重要部分。這使得能夠生成寬視圖圖像，在寬視圖圖像中，人物部分256A和256B在觀看者的中心視野256D之內(nèi)。因此，這改進(jìn)了寬視圖圖像的可視性。
[0260]另一方面，對于通過簡單地將輸入圖像放大至屏幕的尺寸生成寬視圖圖像，人可以存在超出觀看者的中心視場，并且這可以導(dǎo)致難以立即察覺到人。
[0261]如圖28A所示，當(dāng)輸入圖像在其右側(cè)包括作為主要對象的房屋時，如圖28B所示，圖像處理設(shè)備170生成對象映射，在對象映射中房屋的部分257A示出了最大的像素值。作為結(jié)果，部分257A被檢測為重要部分，并且如圖28C所示，生成寬視圖圖像，使得部分257A在觀看者的中心視野257B之內(nèi)。因此，這改進(jìn)了寬視圖圖像的可視性。
[0262]另一方面，對于通過簡單地將輸入圖像放大至屏幕的尺寸來生成寬視圖圖像，房屋可以存在超出觀看者的中心視野，并且這可以使得寬視圖圖像的可視性受到破壞。
[0263](圖像處理設(shè)備的處理的描述)
[0264]圖29是由圖19的圖像處理設(shè)備170進(jìn)行的圖像處理的流程圖。
[0265]從圖29的步驟S41至S43的處理類似于從圖18的步驟Sll至S13的處理，并且因此不再對其進(jìn)行描述。
[0266]在步驟S43中，當(dāng)做出了從外部提供屬性信號的評估時，在步驟S44中，確定部172中的分析部211 (圖22)基于作為屬性信號從外部所提供的節(jié)目類型信息生成重要性映射。然后，處理繼續(xù)到步驟S45。
[0267]另一方面，當(dāng)在步驟S43中做出未從外部提供屬性信號的評估時，處理繼續(xù)到步驟 S45。
[0268]在步驟S45中，分析部171執(zhí)行部分分析處理，該部分分析處理通過檢測圖像中的部分(即，字幕部分、面部部分、人物部分、以及對象部分)，生成另一重要性映射。分析部171將所生成的重要性映射提供給確定部172。
[0269]在步驟S46中，確定部172基于重要性映射(S卩，由分析部171所提供的映射和由分析部分211所生成的映射)確定最終重要性映射，從而執(zhí)行用于確定中心部分比例CentralPartRat1的、基于部分的部分確定處理。確定部172將所確定的中心部分比例CentralPartRat1作為中心部分信息提供給中心生成部13和周邊生成部14兩者。
[0270]從步驟S47至S51的處理類似于從圖18的步驟S17至S21的處理，并且因此不再進(jìn)行描述。
[0271]如上所述，圖像處理設(shè)備170通過基于重要性映射對輸入圖像執(zhí)行縮放處理生成中心部分的圖像，并且然后通過輸入圖像的外插生成周邊部分的圖像。然后，圖像處理設(shè)備170對中心部分的圖像與周邊部分的圖像進(jìn)行合成，使得生成寬視圖圖像。
[0272]因此，不使用關(guān)于觀看者的部分指定的信息、各種傳感器的檢測結(jié)果等，針對要被放置在觀看者的中心視野之內(nèi)的中心部分中的高重要性級別部分執(zhí)行縮放處理，使得生成的寬視圖圖像具有更好的可視性。即，要生成的寬視角適合于圖像的重要性級別。因此，生成的寬視圖圖像具有更好的可視性。
[0273]與將輸入圖像放大至屏幕尺寸的情況相比，減小在這種情況下用于輸入圖像的縮放因子。因此，生成的寬視圖圖像較少模糊。
[0274]在第二實(shí)施例中，中心部分的中心是屏幕的中心，但是中心部分的中心可以不必須是屏幕的中心。
[0275]例如，如圖30A所示，當(dāng)觀看者他/她的注意力關(guān)注的輸入圖像中人在屏幕的右側(cè)時，圖像處理設(shè)備170檢測包括他/她的面部部分258A的矩形部分258作為重要部分。然后，圖像處理設(shè)備170以中心部分258B中的重要部分在觀看者的視野中心之內(nèi)的方式限定中心部分258B的尺寸。此時，替選地，如圖30B所示，圖像處理設(shè)備170可以以中心部分258B中的面部部分258A在觀看者的中心視野的中心附近之內(nèi)的方式、改變中心部分258B的位置。
[0276]盡管未示出，但是中心部分可以以接受觀看者的關(guān)注的人的人物部分在觀看者的中心視野的中心附近之內(nèi)的方式改變位置。
[0277][第三實(shí)施例]
[0278](第三實(shí)施例中的圖像處理設(shè)備的示例性配置)
[0279]圖31是示出了應(yīng)用了本公開的第三實(shí)施例中的圖像處理設(shè)備的示例性配置的框圖。
[0280]在圖31的配置中，為與圖1中的組件類似的任何組件提供相同的附圖標(biāo)記，并且如果已經(jīng)描述則可以適當(dāng)?shù)夭辉賹ζ溥M(jìn)行描述。
[0281]不同于圖1的圖像處理設(shè)備10，圖31的圖像處理設(shè)備270包括作為分析部11的替選的分析部271和作為確定部12的替選的確定部272。圖像處理設(shè)備270不是基于輸入圖像的圖像質(zhì)量、而是基于用作輸入圖像的特性的場景來限定縮放因子Scale。
[0282]分析部271對輸入圖像的場景進(jìn)行分類?；谒诸惖膱鼍?，分析部271識別指示對于輸入圖像的廣角顯示場景有多適合的廣角適合度的級別。所識別的廣角適合度的級別被提供給確定部272。
[0283]確定部272基于由分析部271所提供的廣角適合度級別和指示輸入圖像的屬性的屬性信號，識別最終的廣角適合度級別。確定部272基于最終的廣角適合度級別限定中心部分，并且將關(guān)于中心部分的信息提供給中心生成部13和周邊生成部14兩者。
[0284](分析部的示例性配置)
[0285]圖32是示出了圖31的分析部271的示例性配置的框圖。
[0286]圖32的分析部271包括場景分類部291和評估部292。
[0287]分析部271中的場景分類部291對輸入圖像執(zhí)行場景分類處理。對于此場景分類處理，存在例如在“Natural images classificat1n by multiple pixel analysis，，，F(xiàn).NACCAF, ICCE, 2005中所描述的技術(shù)。
[0288]通過場景分類處理要分類的場景的類型包括特寫拍攝、人像攝影、放大拍攝、深聚焦成像等。場景分類部291將場景信息提供給評估部292。此場景信息是作為場景分類處理的結(jié)果所獲得的信息，并且代表輸入圖像的場景。替選地，場景分類部291可以基于例如EPG中的節(jié)目類型信息對輸入圖像的場景進(jìn)行分類。
[0289]評估部292基于由場景分類部291所提供的場景信息、對輸入圖像是否適合于廣角顯示進(jìn)行評估。評估部292然后將O與I之間(包括O和I)的值提供給廣角適合度級別。
[0290]作為示例，當(dāng)場景信息是關(guān)于具有淺景深的近距離視圖的場景(例如，特寫拍攝場景、人像攝影場景以及放大拍攝場景)時，評估部292做出輸入圖像不適合于廣角顯示的評估，從而將接近于O的值提供給廣角適合度級別。
[0291]另一方面，當(dāng)場景信息是關(guān)于諸如深度聚焦成像場景的遠(yuǎn)距離視圖的場景(例如，自然視圖場景)時，評估部292做出輸入圖像適合于廣角顯示的評估，并且將接近于I的值提供給廣角適合度級別。然后，評估部292將廣角適合度級別提供給圖31的確定部272。
[0292](確定部的示例性配置)
[0293]圖33是示出了圖31的確定部272的示例性配置的框圖。
[0294]圖33的確定部272包括分析部311、適合度確定部312、以及部分確定部313。
[0295]確定部272中的分析部311基于作為屬性信號從外部所提供的成像信息來識別輸入圖像的廣角適合度級別。成像信息是關(guān)于當(dāng)輸入圖像被捕獲時的輸入圖像的信息，包括焦距、光圈(F數(shù))、由景深傳感器等所提供的距離測量信息、鏡頭類型等。
[0296]具體地，分析部311確定當(dāng)成像信息指示相對短的焦距、相對大的F值、廣角鏡頭等時(即，當(dāng)景深深時)，通過廣角拍攝獲得輸入圖像。然后，分析部311將接近于I的值提供給廣角適合度級別。當(dāng)成像信息指示相對長距離的距離測量信息時，分析部311確定輸入圖像適合于廣角顯示，從而將接近于I的值提供給廣角適合度級別。
[0297]另一方面，當(dāng)成像信息不指示上述時，分析部311將接近于O的值提供給廣角適合度級別。然后，分析部311將廣角適合度級別提供給適合度確定部312。
[0298]適合度確定部312基于來自圖32的評估部292的廣角適合度級別Image_WideFactor和來自分析部311的廣角適合度級別Meta_WideFactor、使用以下等式9識別最終的廣角適合度級別Final_WideFactor。
[0299][等式9]
[0300]Final_ffideFactor = w_image X Image_ffideFactor+ (1.0-w_image) XMeta_WideFactor...9
[0301]在等式9中，因子“W_image”指示權(quán)重因子，并且取0至I之間的值(包括O和I)。
[0302]適合度確定部312將最終的廣角適合度級別FinalWideFactor提供給部分確定部 313。
[0303]部分確定部313限定中心部分，以隨著最終的廣角適合度級別Final_WideFactor的增加而變大。部分確定部313將所確定的中心部分的中心部分比例CentralPartRat1作為中心部分信息提供給圖31的中心生成部13和周邊生成部14兩者。
[0304](效果的描述)
[0305]圖34A至圖35B是示出了圖像處理設(shè)備270的效果的圖。
[0306]當(dāng)如圖34A所示，通過特寫拍攝獲得輸入圖像的場景時，圖像處理設(shè)備270將接近于O的值提供給最終的廣角適合度級別Final_WideFactor。因此,如圖34B所示,這導(dǎo)致了相對小的中心部分331。因此，在特寫拍攝場景的寬視圖圖像中，這防止了聚焦的對象部分在觀看者的中心視野之外，從而改進(jìn)了可視性。
[0307]替選地，使用成像信息，圖像處理設(shè)備270可以移動中心部分的中心離開屏幕的中心，以將聚焦的對象部分包括在觀看者的中心視野之內(nèi)。
[0308]另一方面，對于通過簡單地將輸入圖像放大至屏幕的尺寸生成寬視圖圖像，在觀看者的中心視場中對象的圖像未聚焦，從而導(dǎo)致了難以立即察覺對象。
[0309]當(dāng)如圖35A所示，通過深聚焦成像獲得輸入圖像的場景時，圖像處理設(shè)備270將接近于I的值提供給最終的廣角適合度級別Final_WideFactor。因此,如圖35B所示,這導(dǎo)致了相對大的中心部分334。因此，采用適合于廣角顯示的深聚焦成像場景的寬視圖圖像，觀看者可以感受到寬廣，使得改進(jìn)真實(shí)感。
[0310](圖像處理設(shè)備進(jìn)行的處理的描述)
[0311]圖36是由圖31的圖像處理設(shè)備270進(jìn)行的圖像處理的流程圖。
[0312]從圖36的步驟S71至S73的處理類似于從圖18的步驟Sll至S13的處理，并且因此不再進(jìn)行描述。
[0313]在步驟S73中，當(dāng)做出了從外部提供了屬性信號的評估時，在步驟S74中，確定部272中的分析部311 (圖33)基于作為屬性信號從外部所提供的成像信息識別廣角適合度級另U。然后，處理繼續(xù)到步驟S75。
[0314]另一方面，當(dāng)在步驟S73中做出尚未從外部輸入屬性信號的評估時，處理繼續(xù)到步驟S75。
[0315]在步驟S75中，分析部271對輸入圖像執(zhí)行場景分類處理，從而執(zhí)行識別另一廣角適合度級別的場景分析處理。然后，分析部272將所識別的廣角適合度提供給確定部272。
[0316]在步驟S76中，確定部272基于來自分析部271的廣角適合度級別和由分析部311所識別的廣角適合度級別，識別最終的廣角適合度級別，從而執(zhí)行確定中心部分比例CentralPartRat1的基于場景的部分確定處理。確定部272將所確定的中心部分比例CentralPartRat1作為中心部分信息提供給中心生成部分13和周邊生成部14兩者。
[0317]從步驟S77至S81的處理類似于從圖18的步驟S17至S21的處理，并且因此不再進(jìn)行描述。
[0318]如上所述，圖像處理設(shè)備270通過基于廣角適合度級別對輸入圖像執(zhí)行縮放處理、生成中心部分的圖像，并且通過輸入圖像的外插生成周邊部分的圖像。然后，圖像處理設(shè)備270通過將中心部分的圖像與周邊部分的圖像進(jìn)行合成生成寬視圖圖像。
[0319]因此，在不使用關(guān)于觀看者的部分指定的信息、各種傳感器的檢測結(jié)果等的情況下，這使得能夠通過相對于適合于廣角顯示的圖像生成大的中心部分的圖像來生成寬廣的寬視圖圖像。即，這使得能夠生成適合于輸入圖像的場景的寬視圖圖像，借此寬視圖圖像具有更好的真實(shí)感。
[0320]注意，在第一至第三實(shí)施例中，用于使用以限定縮放因子Scale的信息是輸入圖像的質(zhì)量、重要性的級別、或場景，但是這不是限制性的。
[0321]替選地，可以基于輸入圖像的組成限定縮放因子Scale。如果是這種情況，則當(dāng)輸入圖像具有包括如圖37A示例性地示出的正在中心的主要對象的組成(在下文中，被成為“居中的組成”)時，縮放因子Scale可以是寬視圖圖像的尺寸與輸入圖像的尺寸的比例(在下文中，這被稱為全尺寸縮放)。即，當(dāng)輸入圖像具有居中的組成時，對象存在于輸入圖像的中心，使得將輸入圖像簡單地放大至屏幕的尺寸。
[0322]另一方面，當(dāng)輸入圖像具有如圖37B所示的三分法的組成、或具有如圖37C所示的對角線法的組成時，要限定的重要性部分是包括例如圖37B中的橙子或圖37C中的新干線的主要對象的部分，憑借其觀看者可以理解組成。然后，限定縮放因子Scale以將重要性部分包括在中心視野351B(352B)之內(nèi)。
[0323]S卩，當(dāng)輸入圖像具有三分法或?qū)蔷€法的組成時，捕獲圖像的人的意圖在于使觀看者的視線移動離開圖像的中心。然而，除非觀看者掌握了圖像的組成，否則他/她可能不知道該意圖。這是為何使得能夠察覺組成的部分351A(352A)被放置在中心視野351B(352B)之內(nèi)的原因。
[0324]另一方面，對于通過簡單地將輸入圖像放大至屏幕的尺寸生成寬視圖圖像，將輸入圖像放大至屏幕的尺寸。因此，觀看者難以掌握其全部組成，從而導(dǎo)致難以理解捕獲圖像的人的意圖。
[0325]當(dāng)基于輸入圖像的組成限定縮放因子Scale時，替選地，可以使用輸入圖像的組成作為基準(zhǔn)，以使中心部分和周邊部分的中心移動離開屏幕的中心。
[0326]作為示例，當(dāng)輸入圖像具有如圖38A示例性地示出的鳥瞰圖組成時,替選地，中心部分371和周邊部分372的垂直中心(S卩，位置C)可以被移動至低于觀看者的視線的垂直中心(即，眼睛的水平高度E)。在這種情況下，屏幕的上部部分373左側(cè)是空的，并且將黑色圖像放置其中。作為結(jié)果，減少上部視野，并且向下移動生成的廣角視圖圖像的中心，使得觀看者感覺更想要向下看。
[0327]也是替選地，如圖39A示例性地示出地，當(dāng)輸入圖像具有三角組成(光軸傾斜場景)時，中心部分391和周邊部分392的垂直中心(即位置C)可以被移動至高于眼睛的水平高度E。在這種情況下，屏幕的下部部分393的左側(cè)是空的，并且將黑色圖像放置其中。作為結(jié)果，減少下部視野，并且向上移動生成的廣角視圖圖像的中心，使得觀看者感覺更想要向上看。在此，可以預(yù)先設(shè)置眼睛的水平高度E，或可以由未示出的傳感器等檢測眼睛的水平高度E。
[0328]也是替選地，當(dāng)如圖40A所示輸入圖像具有用于與對象交互的視頻電話等時、或當(dāng)如圖41A所示輸入圖像具有作為產(chǎn)品項的對象時，可以限定中心部分401 (402)、以如圖40B或41B所示按真實(shí)尺寸顯示對象。在這種情況下，寬視圖圖像中對象的尺寸是真實(shí)尺寸，從而改進(jìn)真實(shí)感和真實(shí)效果。在此，例如作為輸入圖像的元信息從外部提供對象的真實(shí)尺寸。
[0329]另一方面，對于通過簡單地將輸入圖像放大至屏幕的尺寸生成寬視圖圖像，產(chǎn)品項等被放大至屏幕的尺寸，從而導(dǎo)致難以掌握產(chǎn)品項等的真實(shí)尺寸。
[0330]此外，如圖42A和圖42B所示，當(dāng)輸入圖像是郵筒圖像或是信桶圖像時，圖像處理設(shè)備10(170,270)可以對刪除在其上部和下部或左部和右部的黑邊之后的圖像執(zhí)行圖像處理，從而能夠生成不具有黑邊的寬視圖圖像。在此，可以限定中心部分以將刪除黑邊后的圖像全部包括在中心視野之內(nèi)。
[0331]如圖43A所示，當(dāng)輸入圖像具有包括字符的側(cè)邊時，可以生成寬視圖圖像以將整個輸入圖像(即，部分411A)包括在中心視野411B之內(nèi)。
[0332]此外，如圖43B所示，當(dāng)輸入圖像包括人為制造的圖像的側(cè)邊時，可以生成寬視圖圖像以將不具有側(cè)邊的輸入圖像的剩余部分(即，部分412A)包括在中心視野412B之內(nèi)。
[0333]此外，當(dāng)如圖44A所示輸入圖像具有從左側(cè)移動到右側(cè)的對象、并且如圖44B所示是采用平移技術(shù)所捕獲的時，中心部分431可以基于輸入圖像的運(yùn)動向量在屏幕上從左側(cè)移動到右側(cè)。在這種情況下，觀看者的視線響應(yīng)于對象的移動而移動，使得可以掌握對象的空間位置。因此，可以改進(jìn)真實(shí)感。
[0334]此外，如圖45A所示，當(dāng)采用放大技術(shù)捕獲輸入圖像時，如圖45B所示，可以減小中心部分的尺寸、而其中(即，在中心部分451A至453A中)的對象的尺寸不隨時間改變。即，可以依次減小中心部分451A至453A的尺寸。
[0335]在這種情況下，如圖45B所示，不與中心部分451A至453A重疊的周邊部分(即，周邊部分451B至453B)的圖像的亮度分量逐漸降低或變得更加模糊。作為結(jié)果，因?yàn)橹苓呉曇?誘發(fā)(induced)視野、輔助視野)逐漸地減小，所以觀看角度變窄，使得觀看者感覺盯著對象。
[0336]在此，例如，可以基于在輸入圖像的MPEG流的解碼信息中所包括的輸入圖像的運(yùn)動向量來估計如何捕獲輸入圖像(即，根據(jù)平移技術(shù)還是放大技術(shù))。
[0337]替選地，在輸入圖像的MPEG流的解碼信息中所包括的輸入圖像的運(yùn)動向量可以被用作限定縮放因子Scale的基準(zhǔn)。在這種情況下，例如，隨著運(yùn)動向量的增加中心部分被限定為更小，從而限定縮放因子Scale。因此，即使輸入圖像被放大，這也防止在生成的寬視圖圖像中運(yùn)動向量變?yōu)檫^大，使得保護(hù)觀看者免受視覺誘發(fā)的暈動病。
[0338][結(jié)論]
[0339]圖46是示出了根據(jù)本公開的實(shí)施例的圖像處理及其效果的圖。
[0340]如圖46所示，圖像處理設(shè)備10基于輸入圖像的MPEG流的數(shù)據(jù)頭信息分析輸入圖像的頻帶分布，并且基于頻帶分布限定中心部分的尺寸，即，頻帶分布越偏向低頻側(cè)，則中心部分的尺寸越小。在低頻側(cè)的頻帶分布導(dǎo)致縮放因子低于全尺寸縮放的縮放因子。因此，防止生成的寬視圖圖像模糊，從而改進(jìn)真實(shí)效果。
[0341]此外，圖像處理設(shè)備10基于輸入圖像的MPEG流的比特率信息和解碼信息來測量輸入圖像中的壓縮應(yīng)變量，并且基于壓縮應(yīng)變量限定中心部分的尺寸，即，壓縮應(yīng)變量越大則中心部分的尺寸越小。較大的壓縮應(yīng)變量導(dǎo)致縮放因子低于用于全尺寸縮放的縮放因子。因此，在生成的寬視圖圖像中，防止壓縮應(yīng)變被注意到，從而改進(jìn)了真實(shí)效果。
[0342]另外，圖像處理設(shè)備10基于關(guān)于被用于捕獲輸入圖像的攝像裝置的信息來測量輸入圖像中的噪聲量，并且基于噪聲量限定中心部分的尺寸，即，噪聲量越大，則中心部分的尺寸越小。較大的噪聲量導(dǎo)致縮放因子低于用于全尺寸縮放的縮放因子。因此，在生成的寬視圖圖像中，防止噪聲被注意到，從而改進(jìn)了真實(shí)效果。
[0343]此外，圖像處理設(shè)備10基于在輸入圖像的MPEG流中的信息來測量輸入圖像中的量化步長，并且基于量化步長限定中心部分的尺寸，即，量化步長越大，則中心部分的尺寸越小。較大的量化步長導(dǎo)致縮放因子低于用于全尺寸縮放的縮放因子。因此，在生成的寬視圖圖像中，防止低的圖像質(zhì)量被注意到，從而改進(jìn)了真實(shí)效果。
[0344]圖像處理設(shè)備170基于OSD信息檢測輸入圖像的字幕部分，并且限定中心部分的尺寸，以將字幕部分包括在中心視野之內(nèi)。這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子。在字幕部分在生成的寬視圖圖像的中心視野之內(nèi)的情況下，因?yàn)榧词狗糯筝斎雸D像字幕也不會存在超出中心視野，所以防止可視性受到破壞。因此，寬視圖圖像具有更好的可視性。
[0345]此外，圖像處理設(shè)備170檢測輸入圖像中的面部部分，并且限定中心部分的尺寸以將面部部分包括在中心視野之內(nèi)。這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子。在面部部分在生成的寬視圖圖像的中心視野之內(nèi)的情況下，因?yàn)榧词狗糯筝斎雸D像面部也不會存在超出中心視野，所以可以防止可視性受到破壞，并且觀看者可以感受不到壓抑。因此，寬視圖圖像具有更好的真實(shí)效果和可視性。
[0346]另外，圖像處理設(shè)備170檢測輸入圖像中的人物部分，并且限定中心部分的尺寸以將人物部分包括在中心視野中。這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子。在人物部分在生成的寬視圖圖像的中心視野之內(nèi)的情況下，因?yàn)榧词狗糯筝斎雸D像人也不會存在超出中心視野，所以可以防止可視性受到破壞。因此，寬視圖圖像具有更好的可視性。
[0347]此時，可以以接受觀看者的關(guān)注的人的人物部分在中心部分的中心的附近之內(nèi)的方式移動中心部分。如果是這種情況，則接受觀看者的關(guān)注的具體的人物放置在中心部分的中心，使得生成的寬視圖圖像具有更好的可視性。在此，例如，接受觀看者的關(guān)注的具體的人物是由觀看者所指定的。
[0348]另外，圖像處理設(shè)備170基于觀看者的指定檢測輸入圖像中的對象部分，并且限定中心部分的尺寸以將對象部分包括在中心視野之內(nèi)。這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子。在對象部分在生成的寬視圖圖像的中心視野之內(nèi)的情況下，因?yàn)榧词狗糯筝斎雸D像主要對象也不會存在超出中心視野，所以防止可視性受到破壞。因此，寬視圖圖像具有更好的可視性。
[0349]另外，圖像處理設(shè)備170基于在EPG的節(jié)目類型信息中所發(fā)現(xiàn)的節(jié)目類型來估計輸入圖像中具有高重要性級別的部分，并且限定中心部分的尺寸以將高重要性級別部分包括在中心視野之內(nèi)。這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子。因?yàn)獒槍?jié)目類型的高重要性級別部分在生成的寬視圖圖像的中心視野之內(nèi)的情況下，因此改進(jìn)了可視性。
[0350]圖像處理設(shè)備270對輸入圖像的場景進(jìn)行分類，并且基于場景的廣角適合度級別限定中心部分的尺寸，即，場景的廣角適合度級別越高則中心部分的尺寸越大。這導(dǎo)致針對具有較高的廣角適合度級別的場景，縮放因子接近用于全尺寸縮放的縮放因子。在適合于廣角顯示的場景的寬視圖圖像中放大輸入圖像的情況下，寬視圖圖像滿足捕獲圖像的人的廣角意圖。因此，寬視圖圖像具有更好的真實(shí)感。
[0351]此外，圖像處理設(shè)備270基于成像信息(例如，焦距、光圈、距離測量信息以及鏡頭類型)來估計廣角適合度級別，并且基于廣角適合度級別限定中心部分的尺寸，即，廣角適合度級別越高，則中心部分的尺寸越大。這導(dǎo)致了隨著較高廣角適合度級別，縮放因子接近于用于全尺寸縮放的縮放因子。在具有高廣角適合度級別的寬視圖圖像中放大輸入圖像的情況下，生成的寬視圖圖像滿足捕獲圖像的人的廣角意圖。因此，寬視圖圖像具有更好的真實(shí)感。
[0352]此外，應(yīng)用了本公開的實(shí)施例的圖像處理設(shè)備以允許察覺輸入圖像的整個組成的部分被包括在中心視野中的方式來限定中心部分的尺寸。因此，當(dāng)輸入圖像具有居中的組成時，這導(dǎo)致全尺寸縮放的縮放因子，并且當(dāng)輸入圖像不具有居中的組成(即，具有三分法的組成或具有對角線法的組成)時，這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子。
[0353]因此，當(dāng)輸入圖像具有居中的組成時，即，當(dāng)捕獲圖像的人的意圖在于將用戶的視線放置在圖像的中心時，將輸入圖像整體地放大為寬視圖圖像，使得觀看者將其視線放置在輸入圖像的中心。
[0354]當(dāng)輸入圖像不具有中心組成時，即，當(dāng)捕獲圖像的人的意圖在于使觀看者的視線移動離開圖像的中心時，使允許察覺整個組成的部分放置在寬視圖圖像的中心視野中。因此，觀看者掌握整個組成，并且可以使他/她的視線移動離開寬視圖圖像的中心。在這種情況下，圖像處理設(shè)備生成滿足捕獲圖像的人的意圖的寬視圖圖像，使得因此改進(jìn)了真實(shí)感。
[0355]此外，應(yīng)用了本公開的實(shí)施例的圖像處理設(shè)備基于輸入圖像的指示對象的真實(shí)尺寸的元信息限定中心部分，以包括真實(shí)尺寸的對象。這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子。在生成的寬視圖圖像包括真實(shí)尺寸的對象的情況下，觀看者可以感覺到好像對象實(shí)際上在他/她面前。即，寬視圖圖像具有更好的真實(shí)感和真實(shí)效果。
[0356]另外，當(dāng)輸入圖像是郵筒圖像或是信桶圖像時，應(yīng)用了本公開的實(shí)施例的圖像處理設(shè)備通過刪除輸入圖像的上部和下部或左部和右部的黑邊、并且通過使用剩余的刪除黑邊后的圖像作為輸入圖像，限定中心部分。以這種方式，因?yàn)槭褂弥械妮斎雸D像是不包括黑邊的有效部分的圖像，所以未對黑邊執(zhí)行縮放處理，使得有效部分具有更好的可視性。
[0357]另外，當(dāng)輸入圖像包括側(cè)邊時并且當(dāng)側(cè)邊包括字符時，應(yīng)用了本公開的圖像處理設(shè)備限定中心部分以將整個圖像包括在中心視野之內(nèi)。當(dāng)側(cè)邊是人為制造的圖像時，圖像處理設(shè)備以沒有側(cè)邊的圖像的剩余部分在中心視野之內(nèi)的方式限定中心部分。這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子。
[0358]因此，當(dāng)側(cè)邊包括字符時，包括側(cè)邊的輸入圖像作為有效部分整體地放置在中心視野之內(nèi)，并且當(dāng)側(cè)邊是人工制造圖像時，沒有側(cè)邊的輸入圖像的剩余部分作為有效部分放置在中心視野之內(nèi)。因此有效部分具有更好的可視性。
[0359]另外，基于在輸入圖像中的MPEG流的解碼信息中的運(yùn)動向量，應(yīng)用了本公開的實(shí)施例的圖像處理設(shè)備估計如何捕獲輸入圖像，即，采用平移技術(shù)還是放大技術(shù)。當(dāng)估計采用平移技術(shù)捕獲輸入圖像時，圖像處理設(shè)備依照運(yùn)動向量移動輸入圖像的中心部分的位置。另一方面，當(dāng)估計采用放大技術(shù)捕獲輸入圖像時，圖像處理設(shè)備限定輸入圖像的中心部分而不改變對象的尺寸。在這種情況下，可以逐漸地降低周邊部分的亮度或可以使周邊部分更模糊。
[0360]因此，當(dāng)采用平移技術(shù)捕獲輸入圖像時，這導(dǎo)致縮放因子基本上低于用于全尺寸縮放的縮放因子，并且當(dāng)采用放大技術(shù)捕獲輸入圖像時，逐漸地降低縮放因子。
[0361]當(dāng)采用平移技術(shù)捕獲輸入圖像時，S卩，當(dāng)捕獲圖像的人跟隨對象的移動以進(jìn)行成像時，生成的寬視圖圖像中的中心部分類似地移動，使得觀看者的視線也依照對象的移動而移動。
[0362]當(dāng)采用放大技術(shù)捕獲輸入圖像時，S卩，當(dāng)捕獲圖像的人盯著對象以進(jìn)行成像時，在生成的寬視圖圖像中，對象的尺寸保持與中心部分相同但是周邊部分亮度降低(或更模糊)，使得觀看者的觀看角度變窄。因此，觀看者感覺像盯著對象。作為結(jié)果，寬角度圖像視圖滿足捕獲圖像的人的意圖，從而改進(jìn)了真實(shí)感。
[0363]另外，基于在輸入圖像中的MPEG流的解碼信息中的運(yùn)動向量，應(yīng)用了本公開的實(shí)施例的圖像處理設(shè)備可以限定中心部分，即，運(yùn)動向量越大，則中心部分越小。在這種情況下，運(yùn)動向量越大，則與用于全尺寸縮放的縮放因子相比縮放因子變得越小。因此，即使放大輸入圖像，也防止在生成的寬視圖圖像中運(yùn)動向量變得過大，使得防止觀看者免受視覺誘發(fā)的暈動病。因此，這改進(jìn)了寬視圖圖像的可視性。
[0364][第四實(shí)施例]
[0365](應(yīng)用了本公開的實(shí)施例的計算機(jī)的描述)
[0366]以上描述的處理序列可以由硬件或軟件執(zhí)行。對于執(zhí)行以上描述的處理序列的軟件，將軟件中的程序安裝到計算機(jī)上。在此，計算機(jī)包括例如為此具體地指定的硬件中的計算機(jī)、或可以通過安裝各種程序執(zhí)行各種功能的通用個人計算機(jī)。
[0367]圖47是示出了通過運(yùn)行程序執(zhí)行以上所述的處理序列的計算機(jī)的示例性硬件配置的框圖。
[0368]在計算機(jī)中，總線604連接CPU (中央處理單元)601、R0M(只讀存儲器)602、以及RAM (隨機(jī)存取存儲器)630。
[0369]總線604還連接輸入/輸出接口 605。輸入/輸出接口 605連接輸入部606、輸出部607、存儲部608、通信單元609以及驅(qū)動器610。
[0370]輸入部606包括鍵盤、鼠標(biāo)、麥克風(fēng)等；并且輸出部607包括顯示器、揚(yáng)聲器等。存儲部608是例如硬盤，或非易失性存儲器。通信單元609是例如網(wǎng)絡(luò)接口。驅(qū)動器610驅(qū)動由磁盤、光盤、磁光盤、半導(dǎo)體存儲器等所例示的可移除介質(zhì)611。
[0371]例如，對于具有以上配置的計算機(jī)，通過CPU601將存儲部608中的程序經(jīng)由輸入/輸出接口 605和總線604載入到RAM603，執(zhí)行以上所描述的處理序列。
[0372]要由計算機(jī)(CPU601)所運(yùn)行的程序可以記錄在作為封裝介質(zhì)等的可移除介質(zhì)611上以用于分發(fā)。程序可以經(jīng)由有線的或無線的傳輸介質(zhì)(包括局域網(wǎng)、因特網(wǎng)、數(shù)字衛(wèi)星廣播等)而提供。
[0373]對于計算機(jī)，可以通過將可移除介質(zhì)611安裝在驅(qū)動器610上而經(jīng)由輸入/輸出接口 605將程序安裝在存儲部608上。程序可以通過由通信單元609經(jīng)由有線的或無線的傳輸介質(zhì)進(jìn)行接收而安裝在存儲部608上。程序還可以預(yù)先安裝在R0M602或存儲部608上。
[0374]注意，對于要由計算機(jī)運(yùn)行的程序，可以按照以上描述的順序以時間序列方式執(zhí)行處理，或者可以以并行方式或響應(yīng)于調(diào)用在任何時間執(zhí)行處理。
[0375]本公開的實(shí)施例的前述描述在所有方面是示例性的而不是限制性的。應(yīng)理解可以在不背離本公開的范圍的情況下想出多種修改和改變。
[0376]例如，本公開適用于云計算，在云計算中，多個設(shè)備經(jīng)由網(wǎng)絡(luò)而連接以用于通過功能的共享和協(xié)作來進(jìn)行處理。
[0377]在以上所述的流程圖中的步驟可以由一個設(shè)備執(zhí)行或可以通過共享由多個設(shè)備執(zhí)行。
[0378]當(dāng)一個步驟包括多種類型的處理時，步驟中的各種類型的處理可以由一個設(shè)備執(zhí)行或可以通過共享由多個設(shè)備執(zhí)行。
[0379]本公開不僅適用于增加輸入圖像的分辨率的圖像處理設(shè)備而且還適用于具有相同分辨率的輸入和輸出圖像的圖像處理設(shè)備。另外，在這種情況下，要生成的輸出圖像適合于輸入圖像的特性。
[0380]另一方面，假定簡單地輸入圖像是輸出圖像，當(dāng)捕獲圖像的人期望的觀看角度比實(shí)際的觀看角度更寬時，觀看者可以以較窄的觀看角度觀看廣角圖像。作為結(jié)果，對象看起來過小，在期望寬廣的各種圖像(諸如，風(fēng)景)中，真實(shí)感受到破壞。
[0381]另一方面，當(dāng)捕獲圖像的人期望的觀看角度比實(shí)際的觀看角度更窄時，觀看者可以以較寬的觀看角度觀看窄視角望遠(yuǎn)拍攝圖像。因此，因?yàn)橛捎趯ο筮^大的尺寸增加對象可能存在超出中心視場、或因?yàn)樽帜豢赡艽嬖诔鲋行囊晥?，所以圖像的可視性很可能受到破壞。此外，容易注意到圖像的差的圖像質(zhì)量。
[0382]本技術(shù)還可以是下面的結(jié)構(gòu)。
[0383](I) 一種圖像處理設(shè)備，包括:
[0384]中心生成部，配置成通過基于圖像的特性對所述圖像執(zhí)行縮放處理，生成屏幕上的中心部分的圖像；
[0385]周邊生成部，配置成通過對所述中心部分的圖像進(jìn)行外插生成周邊部分的圖像，所述周邊部分是所述屏幕上的所述中心部分周邊的部分；以及
[0386]圖像合成部，配置成通過將所述中心部分的圖像與所述周邊部分的圖像進(jìn)行合成生成合成圖像，所述中心部分的圖像由所述中心生成部所生成，所述周邊部分的圖像由所述周邊生成部所生成。
[0387](2)根據(jù)(I)所述的圖像處理設(shè)備，還包括:
[0388]檢測部，配置成檢測所述圖像中的預(yù)定部分，其中
[0389]所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述預(yù)定部分包括在所述合成圖像的中心視野內(nèi)，所述預(yù)定部分是由所述檢測部所檢測出的。
[0390](3)根據(jù)⑵所述的圖像處理設(shè)備，其中
[0391]所述檢測部檢測所述圖像中的字幕部分，并且
[0392]所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述字幕部分包括在所述合成圖像的中心視野內(nèi)，所述字幕部分是由所述檢測部所檢測出的。
[0393](4)根據(jù)⑵或(3)所述的圖像處理設(shè)備，其中，
[0394]所述檢測部檢測所述圖像中的面部部分，以及
[0395]所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述面部部分包括在所述合成圖像的中心視野內(nèi)，所述面部部分是由所述檢測部所檢測出的。
[0396](5)根據(jù)(4)所述的圖像處理設(shè)備，其中
[0397]所述中心生成部通過對所述圖像執(zhí)行縮放處理、以將所述面部部分包括在所述合成圖像的中心視野內(nèi)，生成所述中心部分的圖像，并且確定所述中心部分的圖像在所述屏幕上的位置、以將所述中心部分的圖像中的所述面部部分包括在所述中心視野的中心處。
[0398](6)根據(jù)⑵至(5)中任一項所述的圖像處理設(shè)備，其中
[0399]所述檢測部檢測所述圖像中的對象部分，以及
[0400]所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述對象部分包括在所述合成圖像的中心視野內(nèi)，所述對象部分是由所述檢測部所檢測出的。
[0401](7)根據(jù)(2)至(6)中任一項所述的圖像處理設(shè)備，其中
[0402]所述檢測部檢測所述圖像中的人物部分，以及
[0403]所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述人物部分包括在所述合成圖像的中心視野內(nèi)，所述人物部分是由所述檢測部所檢測出的。
[0404](8)根據(jù)⑵至(7)中任一項所述的圖像處理設(shè)備，其中
[0405]所述檢測部基于所述圖像的節(jié)目類型信息，檢測所述圖像中的具有高重要性級別的部分，以及
[0406]所述中心生成部對所述圖像執(zhí)行縮放處理、以將高重要性級別部分包括在所述合成圖像的中心視野內(nèi)，所述高重要性級別部分是由所述檢測部所檢測出的。
[0407](9)根據(jù)⑴所述的圖像處理設(shè)備，還包括:
[0408]確定部，配置成基于所述圖像的質(zhì)量確定所述中心部分，其中
[0409]所述中心生成部對所述圖像執(zhí)行縮放處理，以將所述圖像的尺寸改變成由所述確定部所確定的所述中心部分的尺寸。
[0410](10)根據(jù)(9)所述的圖像處理設(shè)備，其中
[0411]所述確定部基于所述圖像的頻帶分布確定所述中心部分。
[0412](11)根據(jù)(9)或(10)所述的圖像處理設(shè)備，其中，
[0413]所述確定部基于所述圖像的壓縮應(yīng)變量確定所述中心部分。
[0414](12)根據(jù)(9)至(11)中任一項所述的圖像處理設(shè)備，其中
[0415]所述確定部基于所述圖像的噪聲量確定所述中心部分。
[0416](13)根據(jù)⑴所述的圖像處理設(shè)備，還包括:
[0417]確定部，配置成基于適合于所述圖像的場景的廣角適合度級別確定所述中心部分，所述廣角適合度級別是指示對于所述圖像的廣角顯示場景有多適合的級別，其中
[0418]所述中心生成部對所述圖像執(zhí)行縮放處理，以將所述圖像的尺寸改變成由所述確定部所確定的所述中心部分的尺寸。
[0419](14)根據(jù)⑴所述的圖像處理設(shè)備，其中
[0420]當(dāng)采用平移技術(shù)捕獲所述圖像時，基于所述圖像的運(yùn)動向量，所述中心生成部確定所述中心部分在所述屏幕上的位置。
[0421](15)根據(jù)⑴所述的圖像處理設(shè)備，其中
[0422]當(dāng)采用放大技術(shù)捕獲所述圖像時，所述中心生成部在所述圖像中的對象的尺寸不隨時間改變的情況下、對所述圖像執(zhí)行縮放處理，以及
[0423]所述周邊生成部使所述周邊部分的圖像中的亮度或模糊度級別隨時間改變。
[0424](16)根據(jù)⑴所述的圖像處理設(shè)備，還包括:
[0425]確定部，配置成基于所述圖像的運(yùn)動向量確定所述中心部分，其中
[0426]所述中心生成部對所述圖像執(zhí)行縮放處理，以將所述圖像的尺寸改變成由所述確定部所確定的所述中心部分的尺寸。
[0427](17)根據(jù)⑴所述的圖像處理設(shè)備，還包括
[0428]確定部，配置成基于適合于所述圖像的成像信息的廣角適合度級別確定所述中心部分，所述廣角適合度級別是指示對于廣角顯示所述圖像有多適合的級別，其中
[0429]所述中心生成部對所述圖像執(zhí)行所述縮放處理，以將所述圖像的尺寸改變成由所述確定部所確定的所述中心部分的尺寸。
[0430](18)根據(jù)(I)所述的圖像處理設(shè)備，其中
[0431]當(dāng)所述圖像包括黑條時，所述中心生成部基于刪除所述黑條之后的所述圖像的特性、對所述圖像執(zhí)行縮放處理。
[0432](19)根據(jù)(I)所述的圖像處理設(shè)備，其中
[0433]基于所述圖像中的對象的真實(shí)尺寸，所述中心生成部對所述圖像執(zhí)行縮放處理，以將所述中心部分的圖像中的對象的尺寸改變成所述對象的真實(shí)尺寸。
[0434](20) —種圖像處理方法，包括:
[0435]通過圖像處理設(shè)備:
[0436]通過基于圖像的特性對所述圖像執(zhí)行縮放處理，生成屏幕上的中心部分的圖像；
[0437]通過對所述中心部分的圖像進(jìn)行外插生成周邊部分的圖像，所述周邊部分是所述屏幕上的所述中心部分周邊的部分；以及
[0438]通過對在所述生成中所生成的所述中心部分的圖像與在所述生成中所生成的所述周邊部分的圖像進(jìn)行合成，生成合成圖像。
[0439]本領(lǐng)域的技術(shù)人員應(yīng)該理解，在所附權(quán)利要求或其等同方案的范圍內(nèi)，根據(jù)設(shè)計需要和其它因素，可進(jìn)行各種修改、組合、子組合以及變更。
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 中心生成部，配置成通過基于圖像的特性對所述圖像執(zhí)行縮放處理，生成屏幕上的中心部分的圖像； 周邊生成部，配置成通過對所述中心部分的圖像進(jìn)行外插生成周邊部分的圖像，所述周邊部分是所述屏幕上的所述中心部分周邊的部分；以及 圖像合成部，配置成通過將所述中心部分的圖像與所述周邊部分的圖像進(jìn)行合成生成合成圖像，所述中心部分的圖像由所述中心生成部所生成，所述周邊部分的圖像由所述周邊生成部所生成。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括: 檢測部，配置成檢測所述圖像中的預(yù)定部分，其中 所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述預(yù)定部分包括在所述合成圖像的中心視野內(nèi)，所述預(yù)定部分是由所述檢測部所檢測出的。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中 所述檢測部檢測所述圖像中的字幕部分，并且 所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述字幕部分包括在所述合成圖像的中心視野內(nèi)，所述字幕部分是由所述檢測部所檢測出的。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中， 所述檢測部檢測所述圖像中的面部部分，以及 所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述面部部分包括在所述合成圖像的中心視野內(nèi)，所述面部部分是由所述檢測部所檢測出的。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中 所述中心生成部通過對所述圖像執(zhí)行縮放處理、以將所述面部部分包括在所述合成圖像的中心視野內(nèi)，生成所述中心部分的圖像，并且確定所述中心部分的圖像在所述屏幕上的位置、以將所述中心部分的圖像中的所述面部部分包括在所述中心視野的中心處。
6.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中 所述檢測部檢測所述圖像中的對象部分，以及 所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述對象部分包括在所述合成圖像的中心視野內(nèi)，所述對象部分是由所述檢測部所檢測出的。
7.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中 所述檢測部檢測所述圖像中的人物部分，以及 所述中心生成部對所述圖像執(zhí)行縮放處理、以將所述人物部分包括在所述合成圖像的中心視野內(nèi)，所述人物部分是由所述檢測部所檢測出的。
8.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中 所述檢測部基于所述圖像的節(jié)目類型信息，檢測所述圖像中的具有高重要性級別的部分，以及 所述中心生成部對所述圖像執(zhí)行縮放處理、以將高重要性級別部分包括在所述合成圖像的中心視野內(nèi)，所述高重要性級別部分是由所述檢測部所檢測出的。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括: 確定部，配置成基于所述圖像的質(zhì)量確定所述中心部分，其中 所述中心生成部對所述圖像執(zhí)行縮放處理，以將所述圖像的尺寸改變成由所述確定部所確定的所述中心部分的尺寸。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中 所述確定部基于所述圖像的頻帶分布確定所述中心部分。
11.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中， 所述確定部基于所述圖像的壓縮應(yīng)變量確定所述中心部分。
12.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中 所述確定部基于所述圖像的噪聲量確定所述中心部分。
13.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括: 確定部，配置成基于適合于所述圖像的場景的廣角適合度級別確定所述中心部分，所述廣角適合度級別是指示對于所述圖像的廣角顯示場景有多適合的級別，其中 所述中心生成部對所述圖像執(zhí)行縮放處理，以將所述圖像的尺寸改變成由所述確定部所確定的所述中心部分的尺寸。
14.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中 當(dāng)采用平移技術(shù)捕獲所述圖像時，基于所述圖像的運(yùn)動向量，所述中心生成部確定所述中心部分在所述屏幕上的位置。
15.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中 當(dāng)采用放大技術(shù)捕獲所述圖像時，所述中心生成部在所述圖像中的對象的尺寸不隨時間改變的情況下、對所述圖像執(zhí)行縮放處理，以及 所述周邊生成部使所述周邊部分的圖像中的亮度或模糊度級別隨時間改變。
16.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括: 確定部，配置成基于所述圖像的運(yùn)動向量確定所述中心部分，其中所述中心生成部對所述圖像執(zhí)行縮放處理，以將所述圖像的尺寸改變成由所述確定部所確定的所述中心部分的尺寸。
17.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括 確定部，配置成基于適合于所述圖像的成像信息的廣角適合度級別確定所述中心部分，所述廣角適合度級別是指示對于廣角顯示所述圖像有多適合的級別，其中 所述中心生成部對所述圖像執(zhí)行所述縮放處理，以將所述圖像的尺寸改變成由所述確定部所確定的所述中心部分的尺寸。
18.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中 當(dāng)所述圖像包括黑條時，所述中心生成部基于刪除所述黑條之后的所述圖像的特性、對所述圖像執(zhí)行縮放處理。
19.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中 基于所述圖像中的對象的真實(shí)尺寸，所述中心生成部對所述圖像執(zhí)行縮放處理，以將所述中心部分的圖像中的對象的尺寸改變成所述對象的真實(shí)尺寸。
20.—種圖像處理方法，包括: 通過圖像處理設(shè)備: 通過基于圖像的特性對所述圖像執(zhí)行縮放處理，生成屏幕上的中心部分的圖像； 通過對所述中心部分的圖像進(jìn)行外插生成周邊部分的圖像，所述周邊部分是所述屏幕上的所述中心部分周邊的部分；以及 通過對在所述生成中所生成的所述中心部分的圖像與在所述生成中所生成的所述周邊部分的圖像進(jìn)行合成，生成合成圖像。
【文檔編號】G06T3/00GK104134435SQ201410166630
【公開日】2014年11月5日 申請日期:2014年4月23日 優(yōu)先權(quán)日:2013年4月30日
【發(fā)明者】木村青司 申請人:索尼公司