使用最小失真值選擇分辨率的方法和執(zhí)行所述方法的裝置制造方法
【專利摘要】本發(fā)明提供了一種使用最小失真值選擇分辨率的方法和執(zhí)行所述方法的裝置。一種根據(jù)示例實施例的操作圖像處理的方法包括：使用從視頻源輸出的原始圖像產(chǎn)生具有不同分辨率的多個編碼比特流；產(chǎn)生分別與所述多個編碼比特流相應(yīng)的多個恢復(fù)的圖像，所述多個恢復(fù)的圖像具有與原始圖像的第一分辨率相同的分辨率；基于所述多個恢復(fù)的圖像和原始圖像來輸出所述多個編碼比特流中的一個。
【專利說明】使用最小失真值選擇分辨率的方法和執(zhí)行所述方法的裝置
[0001]本申請要求于2013年8月12日提交的第10-2013-0095644號韓國專利申請的優(yōu)先權(quán)，該申請的公開通過引用全部合并于此。

【技術(shù)領(lǐng)域】
[0002]本發(fā)明構(gòu)思的示例實施例涉及一種可以可選擇性地輸出具有與最小失真值有關(guān)的分辨率的編碼比特流的圖像處理方法以及執(zhí)行所述方法的裝置。

【背景技術(shù)】
[0003]諸如電荷耦合器件(CXD)圖像傳感器或CMOS圖像傳感器(CIS)的圖像傳感器捕捉圖像并將圖像輸出為圖像數(shù)據(jù)。
[0004]隨著制造圖像傳感器的技術(shù)的發(fā)展，已經(jīng)增加了圖像數(shù)據(jù)的容量或體積。
[0005]為了阻止圖像數(shù)據(jù)的容量增加，已經(jīng)對壓縮圖像數(shù)據(jù)的各種圖像壓縮方法進(jìn)行了研究。當(dāng)圖像數(shù)據(jù)被壓縮時，圖像數(shù)據(jù)的容量(或尺寸)減小。然而，圖像數(shù)據(jù)的壓縮會影響圖像質(zhì)量。


【發(fā)明內(nèi)容】

[0006]示例實施例針對一種操作圖像處理的方法，包括:使用從視頻源輸出的原始圖像產(chǎn)生具有不同分辨率的多個編碼比特流；產(chǎn)生分別與所述多個編碼比特流相應(yīng)的多個恢復(fù)的圖像，其中，所述多個恢復(fù)的圖像具有與原始圖像的第一分辨率相同的分辨率；以及基于所述多個恢復(fù)的圖像和原始圖像來輸出所述多個編碼比特流中的一個編碼比特流。
[0007]所述產(chǎn)生多個編碼比特流的步驟包括:產(chǎn)生具有第一分辨率的第一編碼比特流；產(chǎn)生至少一個下縮放的圖像，其中，所述至少一個下縮放的圖像具有與第一分辨率不同的分辨率；以及從所述至少一個下縮放的圖像產(chǎn)生至少一個第二編碼比特流。所述多個編碼比特流包括第一編碼比特流和所述至少一個第二編碼比特流。
[0008]所述產(chǎn)生多個恢復(fù)的圖像的步驟包括:使用第一編碼比特流產(chǎn)生具有第一分辨率的第一恢復(fù)的圖像；使用所述至少一個第二編碼比特流產(chǎn)生至少一個解碼的圖像；以及使用所述至少一個解碼的圖像產(chǎn)生具有第一分辨率的至少一個上縮放的圖像。所述多個恢復(fù)的圖像包括第一恢復(fù)的圖像和所述至少一個上縮放的圖像。
[0009]所述輸出所述多個編碼比特流中的一個編碼比特流的步驟包括:將第一恢復(fù)的圖像和原始圖像之間的第一失真值與所述至少一個上縮放的圖像和原始圖像之間的第二失真值進(jìn)行比較。
[0010]所述輸出所述多個編碼比特流中的一個編碼比特流的步驟包括:對所述多個恢復(fù)的圖像中的每一個與原始圖像之間的失真值進(jìn)行運算；以及輸出所述多個編碼比特流中的所述一個編碼比特流，其中，輸出的編碼比特流與失真值中的最小失真值相關(guān)聯(lián)。
[0011]失真值中的每一個基于G0P。失真值中的每一個是絕對差和(SAD)、平方差和(SSD)、平均絕對差(MAD)和歸一化交叉相關(guān)(NCC)中的一個。
[0012]所述多個編碼比特流中的每一個分別基于多個目標(biāo)比特率而改變。圖像處理裝置被配置用于提供視頻托管服務(wù)。
[0013]所述方法還包括:分析輸出的編碼比特流；根據(jù)分析的結(jié)果對輸出的編碼比特流進(jìn)行解碼；以及處理解碼比特流，其中，所述處理解碼比特流的步驟包括以下步驟中的一個:(1)將解碼比特流輸出到顯示器；(2)根據(jù)分析的結(jié)果對解碼比特流進(jìn)行上縮放并將上縮放的比特流輸出到顯示器。所述分析的步驟通過對輸出的編碼比特流進(jìn)行解析來提取并存儲輸出的編碼比特流的分辨率。
[0014]在輸出到顯示器的步驟中，如果與解碼比特流相關(guān)聯(lián)的分辨率小于存儲的分辨率，對解碼比特流進(jìn)行上縮放。
[0015]本發(fā)明構(gòu)思的示例實施例針對一種圖像處理裝置，包括:多個編碼器電路，被配置用于基于原始圖像分別產(chǎn)生多個編碼比特流，其中，所述多個編碼比特流具有不同分辨率，所述多個編碼器電路還被配置用于使用所述多個編碼比特流分別產(chǎn)生具有與原始圖像的第一分辨率相同的分辨率的多個恢復(fù)的圖像；輸出電路，被配置用于基于所述多個恢復(fù)的圖像和原始圖像來輸出所述多個編碼比特流中的一個編碼比特流。
[0016]輸出電路被配置用于將第一恢復(fù)的圖像和原始圖像之間的第一失真值與上縮放的圖像和原始圖像之間的第二失真值進(jìn)行比較。
[0017]輸出電路包括:比較器，被配置用于對所述多個恢復(fù)的圖像與原始圖像之間的差值進(jìn)行運算，并產(chǎn)生與差值中的最小差值有關(guān)的至少一個選擇信號；選擇器，被配置用于響應(yīng)于所述至少一個選擇信號來輸出輸出的編碼比特流。
[0018]本發(fā)明構(gòu)思的示例實施例針對一種片上系統(tǒng)(SoC)，包括:圖像處理裝置，被配置用于處理從存儲原始圖像的存儲器輸出的原始圖像。圖像處理裝置包括:多個編碼器電路，被配置用于基于原始圖像分別產(chǎn)生多個編碼比特流，其中，所述多個編碼比特流具有不同分辨率，所述多個編碼器電路還被配置用于使用所述多個編碼比特流分別產(chǎn)生具有與原始圖像的第一分辨率相同的分辨率的多個恢復(fù)的圖像；輸出電路，被配置用于基于所述多個恢復(fù)的圖像和原始圖像來輸出所述多個編碼比特流中的一個編碼比特流。
[0019]另一示例實施例公開了一種編碼裝置，包括:第一編碼器電路，被配置用于接收原始圖像并對原始圖像進(jìn)行編碼，其中，原始圖像具有第一分辨率，第一編碼器電路還被配置用于基于編碼的原始圖像產(chǎn)生第一恢復(fù)的圖像，其中，第一恢復(fù)的圖像是原始圖像的第一恢復(fù)的圖像；至少一個第二編碼電路，包括:下縮放器，被配置用于接收原始圖像，對原始圖像進(jìn)行下縮放并產(chǎn)生下縮放的圖像，其中，下縮放的圖像具有與第一分辨率不同的第二分辨率，以及內(nèi)部編碼器，被配置用于接收下縮放的圖像并對下縮放的圖像進(jìn)行編碼，其中，所述至少一個第二編碼電路還被配置用于基于編碼的下縮放的圖像來產(chǎn)生第二恢復(fù)的圖像，其中，第二恢復(fù)的圖像是原始圖像的第二恢復(fù)的圖像；輸出電路，被配置用于基于第一恢復(fù)的圖像和第二恢復(fù)的圖像來選擇編碼的下縮放的圖像和編碼的原始圖像中的一個以輸出。

【專利附圖】

【附圖說明】
[0020]通過下面結(jié)合附圖進(jìn)行的實施例的描述，本發(fā)明構(gòu)思的這些和/或其它方面和優(yōu)點將變得清楚和更易于理解，其中:
[0021]圖1是根據(jù)本發(fā)明構(gòu)思的示例實施例的應(yīng)用處理器的框圖；
[0022]圖2是用于描述現(xiàn)有技術(shù)中的技術(shù)的根據(jù)比特率的在分辨率下的圖像質(zhì)量的曲線圖；
[0023]圖3是根據(jù)圖1中示出的編碼裝置的示例實施例的框圖；
[0024]圖4是用于描述圖3中示出的編碼裝置的操作的流程圖；
[0025]圖5是根據(jù)圖1中示出的編碼裝置的另一示例實施例的框圖；
[0026]圖6是用于描述圖5中示出的編碼裝置的操作的流程圖；
[0027]圖7是可執(zhí)行根據(jù)圖6中示出的流程圖的順序編碼方法的編碼裝置的框圖；
[0028]圖8是用于描述輸出編碼比特流的配置的示圖；
[0029]圖9是根據(jù)本發(fā)明構(gòu)思的示例實施例的解碼裝置的框圖；
[0030]圖10是用于描述在圖9的解碼裝置中執(zhí)行的解碼方法的示例實施例的流程圖；
[0031]圖11是用于描述在圖9的解碼裝置中執(zhí)行的解碼方法的另一示例實施例的流程圖；
[0032]圖12是用于描述圖1中示出的編碼裝置的性能的曲線圖；
[0033]圖13是示出包括根據(jù)本發(fā)明構(gòu)思的示例實施例的編碼裝置和解碼裝置的系統(tǒng)的示例實施例的框圖；
[0034]圖14是示出包括圖1中示出的編碼裝置的系統(tǒng)的示例實施例的框圖；以及
[0035]圖15是示出包括圖1中示出的編碼裝置的系統(tǒng)的另一示例實施例的框圖。

【具體實施方式】
[0036]現(xiàn)在下面將參照示出示例實施例的附圖更全面地描述本發(fā)明構(gòu)思。然而，本發(fā)明構(gòu)思可按照許多不同形式實施并應(yīng)不被理解為限于在此闡述的示例實施例。相反，提供示例實施例以使得本公開將徹底和完整，并將本發(fā)明構(gòu)思的范圍完全傳達(dá)給本領(lǐng)域技術(shù)人員。在附圖中，為了清楚，可夸大層和區(qū)域的尺寸和相對尺寸。相似的標(biāo)號始終表示相似的部件。
[0037]將理解，當(dāng)元件被稱作“連接到”或“結(jié)合到”另一元件時，該元件可直接連接或結(jié)合到另一元件，或者可能存在中間元件。相反，當(dāng)元件被稱作“直接連接到”或“直接結(jié)合至IJ”另一元件時，不存在中間元件。當(dāng)在此使用術(shù)語“和/或”時，所述術(shù)語包括一個或更多個相關(guān)列出的項的任何以及全部組合，并可被簡寫為“/”。
[0038]將理解，盡管在這里可使用術(shù)語第一、第二等來描述各種元件，但是這些元件不應(yīng)被這些術(shù)語所限制。這些術(shù)語僅用于將一個元件與另一元件進(jìn)行區(qū)分。例如，在不脫離本公開的教導(dǎo)的情況下，第一信號可以被定義為第二信號，相似地，第二信號可被定義為第一信號。
[0039]在這里使用的術(shù)語僅用于描述特定實施例的目的，而不是意圖限制示例實施例。當(dāng)在此使用單數(shù)形式時，所述單數(shù)形式也意圖包括復(fù)數(shù)形式，除非上下文另有清楚的指示。還將理解，當(dāng)在本說明中使用術(shù)語“包括”和/或“包括……的”或“包含”和/或“包含……的”時，表示存在敘述的特征、區(qū)域、整體、步驟、操作、元件和/或組件，但不排除存在或添加一個或更多個其它特征、區(qū)域、整體、步驟、操作、元件、組件和/或它們的組。
[0040]除非另有定義，否則這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)具有與示例實施例所屬領(lǐng)域的普通技術(shù)人員通常理解的含義相同的含義。還將理解，除非這里確切地定義，否則術(shù)語(諸如在常用詞典中定義的那些術(shù)語)應(yīng)被解釋為具有與所述術(shù)語在相關(guān)領(lǐng)域和/或本申請的上下文中的含義一致的含義，而不應(yīng)被理想化或過于正式地解釋。
[0041]圖1是根據(jù)本發(fā)明構(gòu)思的示例實施例的應(yīng)用處理器的框圖。參照圖1，應(yīng)用處理器100可被稱為集成電路(1C)、處理器、片上系統(tǒng)(SoC)、多媒體處理器或集成多媒體處理器。
[0042]應(yīng)用處理器100包括中央處理單元(CPU) 110、存儲器120、視頻處理電路140、圖形存儲器150、圖像處理裝置160、顯示器控制器170和調(diào)制解調(diào)器180。
[0043]應(yīng)用處理器100可連接到可顯示圖像的顯示器101。每個組件110、120、140、150、160、170和180可通過總線130彼此通信(或者發(fā)送或接收數(shù)據(jù))。根據(jù)示例實施例，可不同地修改總線130的架構(gòu)。CPUllO可讀取和執(zhí)行程序命令以控制每個組件120、140、150、160、170 和 180。
[0044]存儲器120可存儲從視頻處理電路140的編碼裝置141輸出的比特流用于傳輸?shù)酵獠浚蛘邔⒋鎯υ诖鎯ζ?20中的編碼比特流發(fā)送到視頻處理電路140用于解碼。
[0045]存儲器120可被實施為易失性存儲器或非易失性存儲器。易失性存儲器可以是動態(tài)隨機存取存儲器(DRAM)、靜態(tài)隨機存取存儲器(SRAM)、晶閘管RAM(T-RAM)、零電容器RAM(Z-RAM)或雙晶體管RAM(TTRAM)。非易失性存儲器可以是電可擦除可編程只讀存儲器(EEPROM)、閃存、磁RAM (MRAM)、相變RAM (PRAM)或電阻存儲器。
[0046]顯示器控制器170控制顯示器101以在顯示器101上顯示由相應(yīng)的組件140或160編碼和/或解碼的視頻數(shù)據(jù)。
[0047]調(diào)制解調(diào)器180對例如數(shù)字信息的信息進(jìn)行調(diào)制以將信息發(fā)送到外部并將調(diào)制的信息發(fā)送到外部，或者對從外部接收的信息進(jìn)行解調(diào)從而接收的信息可被應(yīng)用處理器100處理。
[0048]調(diào)制解調(diào)器180被廣泛應(yīng)用于用于信息通信的裝置。對例如數(shù)字信號的信號進(jìn)行調(diào)制的原因是由于當(dāng)通過傳輸線立即發(fā)送信號時發(fā)生的信號的不良傳輸。當(dāng)數(shù)字信號以相同值被順序發(fā)送時，由于信號傳輸?shù)奶匦詴l(fā)生數(shù)字信號傳輸?shù)膯栴}，從而調(diào)制解調(diào)器180可根據(jù)傳輸線的特性對數(shù)字信號進(jìn)行調(diào)制。
[0049]為了發(fā)送從視頻處理電路140輸出的比特流和其它信息，調(diào)制解調(diào)器180對比特流和其它息執(zhí)行調(diào)制。
[0050]圖形存儲器150可存儲處理后的圖形數(shù)據(jù)或?qū)⒈惶幚淼膱D形數(shù)據(jù)，并當(dāng)執(zhí)行與圖形數(shù)據(jù)的處理有關(guān)的操作時，圖形存儲器150可極大地減小CPUl 10的負(fù)載。圖形存儲器150可支持各種復(fù)雜的命令(諸如，像素著色器(或像素著色)、頂點著色器(或頂點著色)、超采樣或色彩空間轉(zhuǎn)換)并包括加速數(shù)字圖像的再現(xiàn)的功能。
[0051]圖像處理裝置160執(zhí)行與通過外部相機(未示出)輸入的圖像有關(guān)的操作以及對所述圖像的處理。
[0052]視頻處理電路140對比特流進(jìn)行編碼和/或解碼以在顯示器101上顯示視頻數(shù)據(jù)，并將作為編碼和/或解碼的結(jié)果產(chǎn)生的視頻數(shù)據(jù)輸出到顯示器101。視頻處理電路140可接收從外部相機和/或外部存儲器輸入的圖像。
[0053]視頻處理電路140包括編碼裝置141。編碼裝置141可根據(jù)網(wǎng)絡(luò)情況改變目標(biāo)比特率以傳輸原始圖像。編碼裝置141可以是硬件、固件、執(zhí)行軟件的硬件或它們的任意組合。當(dāng)編碼裝置141是硬件時，這樣的現(xiàn)有硬件可包括被配置為用于執(zhí)行編碼裝置141的功能的特定目的機器的一個或更多個中央處理單元(CPU)、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、場可編程門陣列(FPGA)計算機等。CPU、DSP、ASIC和FPGA可通常被稱為處理器和/或微處理器。
[0054]在編碼裝置141是執(zhí)行軟件的處理器的事件中，視頻處理電路140和/或CPUllO被配置為用于運行執(zhí)行編碼裝置141的功能的軟件的特定目的機器。在這樣的實施例中，視頻處理電路140可包括一個或更多個中央處理單元(CPU)、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、場可編程門陣列(FPGA)計算機。
[0055]編碼裝置141可使用原始圖像產(chǎn)生每個具有不同分辨率的多個編碼比特流中的每一個，并可使用產(chǎn)生的多個編碼比特流中的每一個來產(chǎn)生每個具有與原始圖像的分辨率相同的分辨率的多個恢復(fù)的圖像。
[0056]編碼裝置141可比較使用原始圖像產(chǎn)生的多個恢復(fù)的圖像中的每一個，并通過相應(yīng)的組件130和170將根據(jù)比較結(jié)果在多個編碼比特流中選擇的一個比特流輸出到顯示器101。將參照圖3至圖8詳細(xì)描述編碼裝置141的架構(gòu)和操作。
[0057]圖2是用于描述現(xiàn)有技術(shù)的根據(jù)比特率的在分辨率下的圖像質(zhì)量的曲線圖。為了描述方便，假設(shè)原始圖像的分辨率是1920X1088。參照圖2，曲線GPl是示出當(dāng)使用原始圖像的分辨率(例如，1920X1088)對一個圖像進(jìn)行編碼時根據(jù)比特率的峰值信噪比(PSNR)改變的率失真曲線。
[0058]曲線GP2是示出當(dāng)使用作為原始圖像的分辨率的1/4的分辨率(例如，960 X 544)對一個圖像進(jìn)行下縮放和編碼時的峰值信噪比(PSNR)改變的率失真曲線。
[0059]如在每個曲線GPl和GP2中已知的，在相對高的比特率(例如，等于或大于1800kbps的比特率)，在當(dāng)使用原始分辨率對原始圖像進(jìn)行編碼時的圖像質(zhì)量好于在當(dāng)對原始圖像進(jìn)行下縮放和編碼時的圖像質(zhì)量。
[0060]然而，在相對低的比特率(例如，小于1800kbps的比特率)，在當(dāng)對原始圖像進(jìn)行下縮放和編碼時的圖像質(zhì)量好于在當(dāng)使用原始分辨率對原始圖像進(jìn)行編碼時的圖像質(zhì)量。因此，根據(jù)比特率改變原始圖像的分辨率是向用戶提供具有更高圖像質(zhì)量的圖像的有效方法之一。
[0061]作為用于提供此的現(xiàn)有技術(shù)，建議了一種基于宏塊來改變分辨率的方法，其中，宏塊表示在圖像的一個幀或畫面中的基于塊的圖像壓縮的小處理單元。
[0062]圖3是根據(jù)本發(fā)明構(gòu)思的示例實施例的框圖。參照圖3，根據(jù)圖1中示出的編碼裝置141的示例實施例的編碼裝置141A可包括在圖1中示出的視頻處理電路140中。
[0063]編碼裝置141A包括第一編碼電路143、第二編碼電路145和輸出電路147。第一編碼電路143包括第一內(nèi)部編碼器電路143-1和第一內(nèi)部解碼器電路143-2。第二編碼電路145包括下縮放器145-1、第二內(nèi)部編碼器電路145-2、第二內(nèi)部解碼器電路145-3和上縮放器145-4。
[0064]輸出電路147包括比較器147-1和選擇器147_2。編碼裝置141A可連接到網(wǎng)絡(luò)監(jiān)視器190。
[0065]編碼裝置141A可基于原始圖像O頂產(chǎn)生具有彼此不同的分辨率的多個編碼比特流EBSl和EBS2中的每一個，使用多個編碼比特流EBSl和EBS2中的每一個產(chǎn)生具有與原始圖像OIM的第一分辨率相同的分辨率的多個恢復(fù)的圖像RIMl和RIM2中的每一個，將多個恢復(fù)的圖像RMl和RM2中的每一個與原始圖像OIM進(jìn)行比較，并基于比較的結(jié)果將多個編碼比特流EBSl和EBS2中的一個輸出為輸出比特流EBS。
[0066]第一內(nèi)部編碼器電路143-1可基于原始圖像OIM產(chǎn)生具有與原始圖像OIM的第一分辨率相同的分辨率的第一編碼比特流EBS1?？苫趶木W(wǎng)絡(luò)監(jiān)視器190發(fā)送的目標(biāo)比特率TBR來改變第一編碼比特流EBSl。
[0067]第一內(nèi)部解碼器電路143-2可使用第一編碼比特流EBSl產(chǎn)生具有第一分辨率的第一恢復(fù)的圖像R頂I。
[0068]下縮放器145-1可產(chǎn)生具有與第一分辨率不同的分辨率的下縮放的圖像DM1。例如，當(dāng)?shù)谝环直媛适?920X 1088時，下縮放器145-1可產(chǎn)生分辨率是原始圖像OM的1/4 (即，第二分辨率960 X 544)的下縮放的圖像DMl。
[0069]第二內(nèi)部編碼器電路145-2從下縮放的圖像DMl產(chǎn)生第二編碼比特流EBS2?？苫趶木W(wǎng)絡(luò)監(jiān)視器190發(fā)送的目標(biāo)比特率TBR來改變第二編碼比特流EBS2。
[0070]第二內(nèi)部解碼器電路145-3可使用第二編碼比特流EBS2產(chǎn)生解碼的圖像DCM1。上縮放器145-4可使用解碼的圖像DCMl產(chǎn)生具有第一分辨率的上縮放的圖像RM2(即，第二恢復(fù)的圖像)。輸出電路147可比較第一恢復(fù)的圖像RMl和上縮放的圖像RM2中的每一個與原始圖像0頂之間的失真值。
[0071]比較器147-1可對多個恢復(fù)的圖像RMl和RM2中的每一個與原始圖像O頂之間的差值進(jìn)行運算(或計算)，并產(chǎn)生與差值中的最小差值有關(guān)的至少一個選擇信號SEL。
[0072]多個恢復(fù)的圖像RMl和RM2包括第一恢復(fù)的圖像RMl和上縮放的圖像RM2。例如，第一恢復(fù)的圖像RMl與原始圖像O頂之間的差值被設(shè)置為第一差值，上縮放的圖像RIM2與原始圖像O頂之間的差值被設(shè)置為第二差值。
[0073]比較器147-1可將第一差值(例如，DVl = | OIM-RIMl |)與第二差值(例如，DV2=0IM-RIM2 I)進(jìn)行比較，并產(chǎn)生可選擇與最小差值有關(guān)的分辨率或編碼比特流的選擇信號 SEL0
[0074]當(dāng)?shù)谝徊钪礑Vl小于第二差值DV2時，比較器147_1產(chǎn)生可選擇性地輸出具有與第一差值DVl有關(guān)的分辨率(即，原始圖像OM的第一分辨率)的第一編碼比特流EBSl的選擇信號SEL。
[0075]然而，當(dāng)?shù)诙钪礑V2小于第一差值DVl時，比較器147_1產(chǎn)生可選擇性地輸出具有與第二差值DV2有關(guān)的分辨率(即，小于原始圖像OIM的第一分辨率的第二分辨率)的第二編碼比特流EBS2的選擇信號SEL。
[0076]可將選擇信號SEL發(fā)送到選擇器147-2。可基于畫面組(GOP)來累積差值DVl和DV2中的每一個。根據(jù)一些示例實施例，所述差值中的每一個可表示失真值中的每一個，可按照絕對差和(SAD)方法、平方差和(SSD)方法、平均絕對差(MAD)方法或歸一化交叉相關(guān)(NCC)方法來產(chǎn)生失真值中的每一個。
[0077]選擇器147-2可響應(yīng)于選擇信號SEL將每個比特流EBSl或EBS2輸出為輸出比特流EBS。例如，當(dāng)從比較器147-1接收到與第一編碼比特流EBSl有關(guān)的選擇信號SEL時，選擇器147-2根據(jù)選擇信號SEL將第一編碼比特流EBSl輸出為輸出比特流EBS。
[0078]然而，當(dāng)從比較器147-1接收到與第二編碼比特流EBS2有關(guān)的選擇信號SEL時，選擇器147-2根據(jù)選擇信號SEL將第二編碼比特流EBS2輸出為輸出比特流EBS。
[0079]圖4是用于描述圖3中示出的編碼裝置的操作的流程圖。參照圖3和圖4，在步驟S110，第一內(nèi)部編碼器電路143-1可使用從視頻源(未示出)輸出的原始圖像OM產(chǎn)生第一編碼比特流EBSl。第一編碼比特流EBSl可具有與原始圖像OM的第一分辨率相同的分辨率?？苫谀繕?biāo)比特率TBR來改變第一編碼比特流EBSl。
[0080]在步驟S112，第一內(nèi)部解碼器電路143-2可產(chǎn)生與第一編碼比特流EBSl相應(yīng)并具有與原始圖像OIM的第一分辨率相同的分辨率的第一恢復(fù)的圖像RIM1。
[0081]在步驟S114，比較器147-1可產(chǎn)生第一恢復(fù)的圖像RMl與原始圖像OM之間的第一失真值或第一差值?？苫诋嬅娼M(GOP)來累積第一失真值。可按照絕對差和(SAD)方法、平方差和(SSD)方法、平均絕對差(MAD)方法或歸一化交叉相關(guān)(NCC)方法來對失真值進(jìn)行運算(或計算)。
[0082]在步驟S120，下縮放器145-1可使用從視頻源輸出的原始圖像0頂產(chǎn)生具有與第一分辨率不同的分辨率的下縮放的圖像DIM1。在步驟S122，第二內(nèi)部編碼器電路145-2可從下縮放的圖像DMl產(chǎn)生第二編碼比特流EBS2?？苫谀繕?biāo)比特率TBR來改變第二編碼比特流EBS2。
[0083]在步驟S124，第二內(nèi)部解碼器電路145-3可使用第二編碼比特流EBS2產(chǎn)生解碼的圖像DCM1。在步驟S126，上縮放器145-4可使用解碼的圖像DCMl產(chǎn)生具有第一分辨率的上縮放的圖像RM2。
[0084]在步驟S128，比較器147-1可對上縮放的圖像RM2與原始圖像0頂之間的第二失真值或第二差值進(jìn)行運算。
[0085]在步驟S130，可基于GOP來累積第一失真值和第二失真值中的每一個。在步驟S132，比較器147-1可選擇第一失真值和第二失真值中的較小的一個。例如，當(dāng)?shù)谝皇д嬷敌∮诘诙д嬷禃r，可執(zhí)行步驟S136。然而，當(dāng)?shù)诙д嬷敌∮诘谝皇д嬷禃r，可執(zhí)行步驟S134。
[0086]在步驟S134，當(dāng)?shù)诙д嬷敌∮诘谝皇д嬷禃r，與第二失真值有關(guān)的第二編碼比特流EBS2具有最佳圖像質(zhì)量。因此，比較器147-1將用于輸出與第二失真值有關(guān)的第二編碼比特流EBS2的選擇信號SEL輸出到選擇器147-2。
[0087]在步驟S136，當(dāng)?shù)谝皇д嬷敌∮诘诙д嬷禃r，與第一失真值有關(guān)的第一編碼比特流EBSl可具有最佳圖像質(zhì)量。因此，比較器147-1將用于輸出與第一失真值有關(guān)的第一編碼比特流EBSl的選擇信號SEL輸出到選擇器147-2。步驟SllO到S136可以是提供視頻托管服務(wù)的裝置的圖像處理操作。
[0088]圖5是根據(jù)圖1中示出的編碼裝置的另一示例實施例的框圖。參照圖5，根據(jù)圖1中示出的編碼裝置141的另一示例實施例的編碼裝置141B可包括在在圖1中示出的視頻處理電路140中。
[0089]編碼裝置141B包括第一編碼電路143、第二編碼電路145、至少一個附加編碼電路149和輸出電路147。第一編碼電路143和第二編碼電路145具有與圖3中示出的第一編碼電路143和第二編碼電路145實質(zhì)上相同的結(jié)構(gòu)和操作，從而將省略其詳細(xì)描述。
[0090]至少一個附加編碼電路149包括下縮放器149-1、內(nèi)部編碼器電路149_2、內(nèi)部解碼器電路149-3和上縮放器149-4。除了每個下縮放器145-1和149-1的下縮放比率之外，附加編碼電路149具有與第二編碼電路145實質(zhì)上相同的結(jié)構(gòu)和操作。
[0091]可根據(jù)設(shè)計規(guī)范來確定包括在編碼電路141B中的附加編碼電路149的數(shù)量。下縮放器149-1可產(chǎn)生具有與第一分辨率不同的分辨率的下縮放的圖像DMn。例如，當(dāng)假設(shè)第一分辨率是1920 X 1088時，下縮放器149-1可產(chǎn)生具有下縮放的分辨率(即，480 X 272)的下縮放的圖像DIMn。例如，每個下縮放器145-1、…、149-1可在相同時間或不同時間產(chǎn)生具有不同分辨率的下縮放的圖像DM1、
[0092]內(nèi)部編碼器電路149-2從下縮放的圖像DMn產(chǎn)生編碼比特流EBSn?？苫趶木W(wǎng)絡(luò)監(jiān)視器190發(fā)送的目標(biāo)比特率TBR來改變編碼比特流EBSn。內(nèi)部解碼器電路149-3可使用編碼比特流EBSn產(chǎn)生解碼的圖像DCMn。
[0093]上縮放器149-4可使用解碼的圖像DCMn產(chǎn)生具有第一分辨率的上縮放的圖像RIMn0
[0094]輸出電路147包括比較器147-1和選擇器147_2。比較器147_1可對多個恢復(fù)的圖像RM1、RM2、-,RIMn中的每一個與原始圖像OM之間的差值進(jìn)行運算，并產(chǎn)生用于選擇與所述差值中的最小差值有關(guān)的編碼比特流的選擇信號SEL。
[0095]可根據(jù)編碼電路143、145和149的數(shù)量來確定選擇信號的數(shù)量。
[0096]多個恢復(fù)的圖像RM1、RM2、—>RIMn包括第一恢復(fù)的圖像RMl和多個上縮放的圖像 RM2、-,RIMn0
[0097]選擇器147-2可響應(yīng)于選擇信號SEL將多個編碼比特流EBS1、EBS2、-,EBSn中的一個輸出為輸出比特流EBS。
[0098]例如，當(dāng)從比較器147-1接收到與編碼比特流EBSn有關(guān)的選擇信號SEL時，選擇器147-2可根據(jù)選擇信號SEL將編碼比特流輸出為輸出比特流EBS。
[0099]圖6是用于描述圖5中示出的編碼裝置的操作的流程圖。參照圖5和圖6，在步驟S210，將順序編碼計數(shù)i的值(其中，i等于或大于I并且等于或小于η)初始化為“I”。
[0100]在步驟S212，編碼裝置14IB可使用從視頻源輸出的原始圖像0頂產(chǎn)生第i編碼比特流EBSi。例如，當(dāng)“i”的值是“I”時，內(nèi)部編碼器電路143-1產(chǎn)生第一編碼比特流EBS1，當(dāng)“i”的值是“2”時，內(nèi)部編碼器電路145-2產(chǎn)生第二編碼比特流EBS2。
[0101]可基于相應(yīng)的目標(biāo)比特率TBR來改變第i編碼比特流EBSi。當(dāng)“i”的值是“I”時，第一編碼比特流EBSl與下縮放無關(guān)，從而可使用與原始圖像O頂?shù)牡谝环直媛氏嗤姆直媛蕦Φ谝痪幋a比特流進(jìn)行編碼。當(dāng)“i”的值不是“I”時，在步驟S228產(chǎn)生下縮放的圖像之后執(zhí)行編碼，從而第i編碼比特流EBSi的分辨率會比原始圖像0頂?shù)牡谝环直媛矢汀?br> [0102]在步驟S214，可使用第i編碼比特流EBSi產(chǎn)生第i恢復(fù)的圖像RMi。當(dāng)“i”的值是“I”時，產(chǎn)生第一恢復(fù)的圖像RMl。當(dāng)“i”的值是“2”時，產(chǎn)生第二恢復(fù)的圖像RM2。更詳細(xì)地，使用第i編碼比特流EBSi產(chǎn)生第i解碼的圖像DCMi。第i解碼的圖像DCMi可與第i恢復(fù)的圖像RMi有關(guān)。
[0103]在步驟S216，確定“i”的值是否是一(I)。當(dāng)“i”的值是一時，執(zhí)行步驟S218，并當(dāng)“i”的值不是一時，執(zhí)行步驟S220。
[0104]在步驟S218，當(dāng)“i”的值是一時，對原始圖像0頂與第一恢復(fù)的圖像RMl之間的失真值進(jìn)行運算。第一恢復(fù)的圖像RMl的分辨率與原始圖像O頂?shù)牡谝环直媛氏嗤?，從而不?zhí)行上縮放處理。產(chǎn)生失真值的方法與在圖3至圖5中描述的方法相同，從而省略詳細(xì)描述。在步驟S220，當(dāng)“i”的值不是一時，使用第i解碼的圖像DCMi產(chǎn)生具有原始圖像OIM的第一分辨率的第i上縮放的圖像RMi。
[0105]在步驟S222，比較器147-1對原始圖像0頂與第i上縮放的圖像RMi之間的失真值進(jìn)行運算。
[0106]在步驟S224，確定“ i ”的值是否與指定的分辨率計數(shù)“M”的值相同，其中，M是等于或大于二的自然數(shù)。分辨率計數(shù)M表示當(dāng)編碼裝置141B使用不同分辨率對原始圖像0頂進(jìn)行編碼時具有不同分辨率的圖像的數(shù)量。當(dāng)“i”的值是M時，編碼裝置141B執(zhí)行步驟S230，并當(dāng)“i”的值不是M時(例如，當(dāng)i小于M時)，編碼裝置141B執(zhí)行步驟S226。
[0107]例如，當(dāng)“i”的值是一并且分辨率計數(shù)M的值是二時，原始圖像OIM需要被編碼為每個具有不同分辨率的兩個圖像，從而編碼裝置141B執(zhí)行步驟S226以通過改變“i”的值來對具有更低分辨率的圖像再次執(zhí)行編碼。
[0108]當(dāng)“i”的值是二并且分辨率計數(shù)M的值是二時，原始圖像O頂表示對每個具有不同分辨率的兩個圖像的編碼完成，從而編碼裝置141B執(zhí)行步驟S230.在步驟S226，編碼計數(shù)i的值增加一。
[0109]在步驟S228，編碼裝置141B產(chǎn)生第i下縮放的圖像。例如，當(dāng)編碼計數(shù)i的值是二時，編碼裝置141B通過按照根據(jù)“i”的值的下縮放比率對原始圖像O頂進(jìn)行下縮放來產(chǎn)生第二下縮放圖像。產(chǎn)生的第二下縮放圖像用于在步驟S212產(chǎn)生第二編碼比特流EBS2。
[0110]在步驟S230，比較器147-1確定是否基于GOP累積了失真值。為了比較在分辨率下的失真值之間的差值，編碼裝置141B可基于GOP累積失真值。在步驟232，編碼裝置141B可輸出每個具有不同分辨率的多個編碼比特流EBS中與失真值中的最小失真值有關(guān)的比特流。
[0111]圖7是可執(zhí)行根據(jù)圖6中示出的流程圖的順序編碼方法的編碼裝置的框圖。參照圖7，根據(jù)圖1中示出的編碼裝置141的另一示例實施例的編碼裝置141C可包括在圖1中示出的視頻處理電路140中。
[0112]編碼裝置141C包括下縮放確定器210、下縮放器145_1、內(nèi)部編碼器電路145_2、內(nèi)部解碼器電路145-3、上縮放確定器212、上縮放器145-4、比較器147-1和選擇器147-2。編碼裝置141C可連接到網(wǎng)絡(luò)監(jiān)視器190。
[0113]下縮放確定器210確定是否對原始圖像OM進(jìn)行下縮放。下縮放確定器210可根據(jù)圖6中描述的編碼計數(shù)i的值來確定是否執(zhí)行下縮放操作。例如，當(dāng)編碼計數(shù)i的值是一 (I)時，編碼裝置141C對原始圖像0頂進(jìn)行編碼而不對原始圖像0頂進(jìn)行下縮放。
[0114]當(dāng)編碼計數(shù)i的值是二(2)并且第一分辨率是1920X1088時，編碼裝置141C可使用低于原始圖像OM的第一分辨率的分辨率(即，960X544)對原始圖像0頂進(jìn)行下縮放。因此，下縮放確定器210檢測編碼計數(shù)的值，根據(jù)檢測的結(jié)果確定是否執(zhí)行下縮放操作，產(chǎn)生與是否執(zhí)行下縮放操作有關(guān)的下縮放信息，并輸出所述信息和原始圖像OIM兩者。
[0115]下縮放器145-1使用從下縮放確定器210接收的下縮放信息和原始圖像OIM來產(chǎn)生下縮放的圖像DM。例如，當(dāng)原始圖像OM的第一分辨是1920X 1088并且編碼計數(shù)i的值是一時，下縮放器145-1照其原樣輸出原始圖像OIM而不對原始圖像OIM進(jìn)行下縮放。
[0116]然而，當(dāng)編碼計數(shù)i的值是二時，下縮放器145-1可將原始圖像OM下縮放為低于原始圖像OIM的第一分辨率的分辨率(即，960 X 544)，并將下縮放的圖像DIM輸出到內(nèi)部編碼器電路145-2。
[0117]內(nèi)部編碼器電路145-2可根據(jù)編碼計數(shù)i使用原始圖像OIM或下縮放的圖像DIM來產(chǎn)生編碼比特流EBS ’。編碼比特流EBS ’被發(fā)送到選擇器147-2和內(nèi)部解碼器電路145-3。可基于從網(wǎng)絡(luò)監(jiān)視器190發(fā)送的目標(biāo)比特率TBR來改變編碼比特流EBS’。
[0118]內(nèi)部解碼器電路145-3使用編碼比特流EBS’產(chǎn)生解碼圖像DCM。產(chǎn)生的解碼圖像DCM被輸出到上縮放確定器212。
[0119]上縮放確定器212可根據(jù)編碼計數(shù)i的值確定是否執(zhí)行上縮放操作。當(dāng)確定對解碼的圖像DCM必須進(jìn)行上縮放操作時，上縮放確定器212將解碼的圖像DCM發(fā)送到上縮放器330。然而，當(dāng)確定對解碼的圖像DCM不必進(jìn)行上縮放操作時，上縮放確定器212將解碼的圖像DCM作為恢復(fù)的圖像RM發(fā)送到比較器147-1。
[0120]例如，當(dāng)原始圖像OM的第一分辨率是1920X 1088并且編碼計數(shù)i的值是一時，解碼的圖像DCM具有與原始圖像0頂相同的分辨率，從而不必進(jìn)行上縮放操作。因此，上縮放確定器212將解碼的圖像DCIM識別為恢復(fù)的圖像RM，并將解碼的圖像DCIM作為恢復(fù)的圖像RM輸出到比較器147-1。然而，當(dāng)編碼計數(shù)i的值是二時，解碼的圖像DCM被下縮放為分辨率(即，960 X 544)，必須進(jìn)行上縮放操作。上縮放確定器212將解碼的圖像DCIM輸出到上縮放器145-4。
[0121]上縮放器145-4通過應(yīng)用根據(jù)編碼計數(shù)i的值提前設(shè)置的上縮放比率來產(chǎn)生使用原始圖像OM的第一分辨率上縮放的圖像RM’ (即，恢復(fù)的圖像RM’)，并將圖像RM’輸出到比較器147-1。
[0122]比較器147-1接收并存儲從上縮放器145-4輸出的恢復(fù)的圖像RM’和從上縮放確定器212輸出的恢復(fù)的圖像RIM中的每一個。
[0123]比較器147-1可在另外管理用于存儲恢復(fù)的圖像RM的存儲器的同時對多個恢復(fù)的圖像RM和RM’中的每一個與原始圖像OIM之間的差值進(jìn)行運算，并產(chǎn)生與差值中的最小差值有關(guān)的選擇信號SEL。多個恢復(fù)的圖像RM和RM’包括從上縮放確定器212輸出的恢復(fù)的圖像R頂和從上縮放器145-4輸出的上縮放的圖像RM’。上縮放的圖像RM’可包括多個上縮放的圖像。
[0124]選擇器147-2包括多個存儲器MEM1、MEM2、…、MEMk和復(fù)用器MUX。選擇器147-2將從內(nèi)部編碼器電路145-2接收的編碼比特流EBS’存儲在相應(yīng)的存儲器(即，MEMl至MEMk中的一個)中。復(fù)用器MUX響應(yīng)于從比較器147-1接收的選擇信號SEL來輸出存儲在存儲器MEMl至MEMk中的一個中的編碼比特流EBS’。
[0125]例如，當(dāng)選擇器147-2從比較器147-1接收到與第一編碼比特流有關(guān)的選擇信號SEL時，復(fù)用器MUX根據(jù)接收的選擇信號SEL輸出存儲在第一存儲器MEMl中的第一編碼比特流。
[0126]當(dāng)選擇器147-2從比較器147-1接收到與第二編碼比特流有關(guān)的選擇信號SEL時，復(fù)用器MUX根據(jù)接收的選擇信號SEL輸出存儲在第二存儲器MEM2中的第二編碼比特流。
[0127]當(dāng)通過另外管理用于存儲編碼比特流EBS’的存儲器MEMl至MEMk而基于GOP選擇了具有最佳分辨率的編碼比特流時，選擇器147-2可將相應(yīng)的編碼比特流輸出為輸出的編碼比特流EBS并初始化存儲器MEMl至MEMk用于接下來的G0P。
[0128]圖8是用于描述輸出的編碼比特流的配置的示圖。參照圖8，序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)是從通知解碼所需的信息的參數(shù)集中配置的比特流的頭。
[0129]例如，SPS包括諸如視頻標(biāo)準(zhǔn)(例如，H.264)的型(profile)、作為諸如級(level)的關(guān)于序列的整個編碼信息的分辨率以及視頻格式的信息。例如，參照圖8，當(dāng)SPS的識別信息(ID)的值是零時，在執(zhí)行解碼期間的相應(yīng)的幀的分辨率是1920X1080。當(dāng)SPS的識別信息(ID)的值是一時，在執(zhí)行解碼期間的相應(yīng)的幀的分辨率是960X540。
[0130]PPS包括比由SPS定義的內(nèi)容(B卩，在整個文件中使用的畫面的編碼信息)更詳細(xì)的內(nèi)容，即，在解碼的畫面中應(yīng)用的參數(shù)。PPS的數(shù)據(jù)有效，直到新的PPS出現(xiàn)用于信息改變。例如，當(dāng)PPS的識別信息(ID)值是零，SPS的識別信息(ID)值是零時，使用包括在與PPS和SPS相應(yīng)的頭中的解碼參數(shù)來執(zhí)行解碼。
[0131]當(dāng)PPS的識別信息(ID)值是一，SPS的識別信息(ID)值是一時，使用包括在與PPS和SPS相應(yīng)的頭中的參數(shù)來執(zhí)行解碼。緊接著PPS和SPS的頭信息，發(fā)送關(guān)于原始圖像OIM被編碼的幀或畫面的信息。
[0132]關(guān)于編碼的幀的信息包括將在解碼期間使用的關(guān)于原始圖像OIM的信息和PPS的識別信息pps_id。固定單元(即，多個幀)被定義為畫面組(GOP)。
[0133]在本發(fā)明構(gòu)思中，分辨率可根據(jù)GOP而改變。同一 GOP具有相同的PPS信息。例如，如圖8所示,第一 GOP中的每個巾貞的pps_id值是零。當(dāng)pps_id是零時，sps_id是零。由此獲得的分辨率是1920X1080。因此，使用分辨率1920 X 1080對包括在第一 GOP中的每個幀進(jìn)行解碼。
[0134]第二 GOP的每個巾貞的pps_id值是一。當(dāng)pps_id是一時，sps_id是一。由此獲得的分辨率是960X540。因此，使用分辨率960X540對包括在第二 GOP中的每個幀進(jìn)行解碼。
[0135]圖9是根據(jù)本發(fā)明構(gòu)思的示例實施例的解碼裝置的框圖。參照圖9，解碼裝置341可對從圖3、圖5或圖7中示出的編碼裝置141A、141B或141C輸出的輸出比特流EBS進(jìn)行解碼。
[0136]根據(jù)示例實施例，解碼裝置341可包括在圖1中示出的顯示器101或圖13中示出的個人計算機(PC)和便攜式電子裝置中。根據(jù)示例實施例，解碼裝置341包括解碼電路310、開關(guān)320和上縮放器330。
[0137]解碼裝置341可以是硬件、固件、執(zhí)行軟件的硬件或它們的任意組合。當(dāng)解碼裝置341是硬件時，這樣的現(xiàn)有硬件可包括被配置為用于執(zhí)行解碼裝置341的功能的特定目的機器的一個或更多個中央處理單元(CPU)、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、場可編程門陣列(FPGA)計算機等。CPU、DSP、ASIC和FPGA可通常被稱為處理器和/或微處理器。
[0138]在解碼裝置341是執(zhí)行軟件的處理器事件中，CPUl 10被配置為用于運行執(zhí)行解碼裝置341的功能的軟件的特定目的機器。
[0139]解碼電路310包括解碼器電路312和上縮放確定器311。
[0140]解碼器電路312對編碼比特流EBS進(jìn)行解碼并產(chǎn)生解碼比特流DBS。解碼比特流DBS可以與解碼的圖像DCIMl或DCIMn相同。當(dāng)描述每個部件的操作時，解碼器電路312對編碼比特流EBS進(jìn)行解碼以產(chǎn)生解碼比特流DBS。
[0141]上縮放確定器311通過對解碼比特流DBS進(jìn)行解析來提取并存儲解碼比特流DBS的分辨率，將提取的解碼比特流DBS的分辨率與包括在解碼比特流DBS的頭中的初始分辨率進(jìn)行比較，并根據(jù)比較的結(jié)果產(chǎn)生切換信號SW。
[0142]例如，當(dāng)解碼比特流DBS的分辨率與原始圖像OM的分辨率相同時，上縮放確定器311產(chǎn)生用于將解碼比特流DBS發(fā)送到顯示器的切換信號SW，而當(dāng)解碼比特流DBS的分辨率與原始圖像O頂?shù)姆直媛什煌瑫r，上縮放確定器311產(chǎn)生用于將解碼比特流DBS發(fā)送到上縮放器330的切換信號SW。
[0143]基于切換信號SW，開關(guān)320將解碼的圖像(即，解碼比特流DBS)旁路到顯示器或?qū)⒔獯a的圖像發(fā)送到上縮放器330。上縮放器330通過使用原始圖像的分辨率對解碼比特流DBS進(jìn)行上縮放來產(chǎn)生上縮放的圖像，并將上縮放的圖像發(fā)送到顯示器裝置。
[0144]圖10是用于描述在圖9的解碼裝置中執(zhí)行的解碼方法的示例實施例的流程圖。參照圖9和圖10，在步驟S310，通過對從解碼裝置341的外部發(fā)送的編碼比特流進(jìn)行解碼來產(chǎn)生解碼比特流DBS。
[0145]在步驟S312，解碼電路310確定包括在解碼比特流(或解碼的圖像DBS)的頭信息中的SPS是否是第一 SPS。第一 SPS(以下稱為第一 SPS)包括關(guān)于原始圖像的分辨率的信息。當(dāng)包括在頭信息中的SPS是第一 SPS時，執(zhí)行步驟S314，當(dāng)包括在頭信息中的SPS不是第一 SPS時，執(zhí)行步驟S316。
[0146]在步驟S314，解碼電路310將第一 SPS分辨率信息存儲為第一分辨率信息。在步驟S316，解碼電路310將第一 SPS分辨率信息存儲為第二分辨率信息。
[0147]在步驟S318，解碼電路310確定解碼比特流DBS的分辨率是否與第一分辨率相同。當(dāng)解碼比特流DBS的分辨率與第一分辨率(即，原始圖像的分辨率)相同時，解碼比特流DBS是具有原始圖像的分辨率的恢復(fù)的圖像，并在步驟S322在顯示器上顯示解碼比特流DBS。當(dāng)解碼比特流DBS的分辨率與第一分辨率不同時，執(zhí)行步驟S320。
[0148]在步驟S320，上縮放器330對解碼比特流DBS進(jìn)行上縮放以產(chǎn)生具有與原始圖像的第一分辨率相同的分辨率的恢復(fù)的圖像。在步驟S322，將從上縮放器330發(fā)送的恢復(fù)的圖像輸出到顯示器。
[0149]圖11是用于描述在圖9的解碼裝置中執(zhí)行的解碼方法的另一示例實施例的流程圖。參照圖1、圖9和圖11，當(dāng)執(zhí)行編碼時輸出比特流EBS的分辨率與原始圖像OM的分辨率不同時，編碼裝置141可通過其它頭信息(例如，作為由H.264標(biāo)準(zhǔn)定義的附加頭信息的一種類型的視頻可用性信息(VUI))將原始圖像O頂?shù)姆直媛驶蚧贕OP的上縮放比率發(fā)送到解碼裝置341。
[0150]編碼裝置141可使用當(dāng)前在VUI或其它頭中未使用的一比特(例如，用于未來使用的保留比特)將分辨率和/或上縮放比率發(fā)送到解碼裝置341。
[0151 ] 在步驟S410，解碼電路310確定在接收的編碼比特流EBS中是否存在新的頭信息。例如，解碼電路310可確定新的頭信息是否包括在基于GOP的編碼比特流EBS中。
[0152]當(dāng)包括新的頭信息時，解碼電路310執(zhí)行步驟S412，當(dāng)不包括新的頭信息時，解碼電路310執(zhí)行步驟S414。
[0153]在步驟S412，解碼電路310檢測包括在頭信息中的分辨率信息。當(dāng)新的頭信息包括在基于GOP的編碼比特流EBS中時，解碼電路310可通過對編碼比特流EBS的一部分進(jìn)行解析來檢測并存儲原始圖像的分辨率或上縮放比率。將在步驟S416描述是否對相應(yīng)的GOP的解碼的圖像執(zhí)行上縮放操作以及上縮放比率。
[0154]在步驟S414，解碼電路310對編碼比特流EBS進(jìn)行解碼以產(chǎn)生解碼比特流或解碼的圖像DBS。在步驟S416，解碼電路310確定是否需要進(jìn)行上縮放操作。參照在步驟S412獲得的分辨率和/或上縮放比率來確定是否執(zhí)行上縮放操作。
[0155]例如，當(dāng)不存在關(guān)于相應(yīng)的GOP的新的頭信息時，編碼比特流EBS的分辨率具有與原始圖像OIM相同的分辨率，從而在對編碼比特流EBS執(zhí)行解碼之后不需要進(jìn)行另外的上縮放操作。這里，解碼的圖像DBS可以是恢復(fù)的圖像。
[0156]然而，當(dāng)存在關(guān)于相應(yīng)的GOP的新的頭信息，并且在步驟S412檢測到上縮放比率信息時，上縮放器330可通過對解碼的圖像DBS進(jìn)行上縮放來產(chǎn)生具有與原始圖像0頂?shù)姆直媛氏嗤姆直媛实幕謴?fù)的圖像。當(dāng)作為確定是否需要進(jìn)行上縮放操作的結(jié)果而需要執(zhí)行上縮放操作時，解碼裝置341執(zhí)行步驟S418，而當(dāng)不需要進(jìn)行上縮放操作時，解碼裝置341執(zhí)行步驟S420。
[0157]在步驟S418，上縮放器330基于在步驟S412獲得的分辨率對解碼的圖像DBS進(jìn)行上縮放操作。執(zhí)行了上縮放操作的解碼的圖像可以是恢復(fù)的圖像。在步驟S420，在顯示器上顯示恢復(fù)的圖像。
[0158]圖12是用于描述圖1中示出的編碼裝置的性能的曲線圖。參照圖12，曲線GP3是當(dāng)由圖1的編碼裝置141對原始圖像進(jìn)行編碼時的圖像質(zhì)量的曲線。
[0159]如圖12所示，在低比特率使用下縮放的低分辨率(例如，960X544)對原始圖像進(jìn)行編碼，在高比特率使用原始分辨率(例如，1920X1088)對原始圖像進(jìn)行編碼。因此，編碼裝置141可在整個比特率獲得高圖像質(zhì)量。
[0160]在特定區(qū)間中(例如，1600kbps到2000kbps)，使用與原始圖像的分辨率相同的分辨率編碼的部分與按照特定單元(例如，基于G0P)使用下縮放的低分辨率編碼的部分混合，從而與當(dāng)使用一個分辨率對原始圖像進(jìn)行編碼時相比，編碼裝置141可提供具有更高圖像質(zhì)量的圖像。
[0161]當(dāng)編碼裝置141輸出具有比原始圖像的分辨率更低的分辨率的編碼比特流時，解碼裝置341可在更短的時間段內(nèi)對編碼比特流進(jìn)行解碼，從而可減小解碼裝置341的功耗。
[0162]圖13是示出包括根據(jù)本發(fā)明構(gòu)思的示例實施例的編碼裝置和解碼裝置的系統(tǒng)的示例實施例的框圖。參照圖1和圖13，圖像處理系統(tǒng)350包括視頻托管服務(wù)裝置360、第一裝置370和第二裝置380。
[0163]第一裝置370可被實施為PC，第二裝置380可被實施為便攜式電子裝置。裝置360、370和380中的每一個可通過網(wǎng)絡(luò)351彼此通信。根據(jù)示例實施例,可不同地修改網(wǎng)絡(luò)351的架構(gòu)。例如，網(wǎng)絡(luò)351可被實施為有線互聯(lián)網(wǎng)、無線互聯(lián)網(wǎng)或移動通信網(wǎng)絡(luò)。
[0164]視頻托管服務(wù)裝置360包括視頻源361和編碼裝置141。編碼裝置141表示圖1中示出的編碼裝置141。編碼裝置141從視頻源361接收原始圖像0M。編碼裝置141對原始圖像OM進(jìn)行編碼以產(chǎn)生編碼比特流EBS。編碼比特流EBS通過網(wǎng)絡(luò)351被發(fā)送到第一裝置370和第二裝置380。
[0165]發(fā)送到網(wǎng)絡(luò)351的編碼比特流EBS可被發(fā)送到第一裝置370和/或第二裝置380。每個裝置370和380可被實施為個人計算機、移動電話、智能電話、平板PC、膝上型計算機、個人數(shù)字助理(PDA)、企業(yè)數(shù)字助理(EDA)、便攜式多媒體播放器(PMP)、個人導(dǎo)航裝置或便攜式導(dǎo)航裝置(TON)、手持游戲機、移動互聯(lián)網(wǎng)裝置(MID)、可穿戴計算機或電子書。
[0166]第一裝置370包括解碼裝置341和顯示器373，第二裝置380包括解碼裝置341和顯示器383。每個解碼裝置341接收從網(wǎng)絡(luò)351發(fā)送的編碼比特流EBS并對其進(jìn)行解碼，將解碼的圖像輸出到相應(yīng)的顯示器373和383。
[0167]圖14是示出包括圖1中示出的編碼裝置的系統(tǒng)的示例實施例的框圖。參照圖1和圖14，系統(tǒng)400可被實施為便攜式裝置，諸如，移動電話、智能電話、平板PC、膝上型計算機、個人數(shù)字助理(PDA)、企業(yè)數(shù)字助理(EDA)、數(shù)字靜止相機、數(shù)字視頻相機、便攜式多媒體播放器(PMP)、個人導(dǎo)航裝置或便攜式導(dǎo)航裝置(TON)、手持游戲機、移動互聯(lián)網(wǎng)裝置(MID)、可穿戴計算機或電子書。
[0168]系統(tǒng)400包括片上系統(tǒng)(SoC) 410和外部存儲器435。根據(jù)示例實施例，系統(tǒng)400還可包括顯示器445或相機模塊455。
[0169]SoC410控制外部存儲器435、顯不器445或相機模塊455的操作。根據(jù)不例實施例，SoC410可被稱為集成電路(1C)、處理器、應(yīng)用處理器、多媒體處理器或集成多媒體處理器。
[0170]SoC410包括CPU110、存儲器控制器430、顯示器控制器440、相機接口 450、編碼裝置141和解碼裝置341。部件450、141、341、440、430和110中的每一個可通過總線401彼此通信(發(fā)送或接收數(shù)據(jù))。根據(jù)示例實施例，總線401的架構(gòu)可以是不同的。CPUllO讀取和執(zhí)行程序命令以控制各個部件450、141、341、440、430和110。
[0171]存儲器控制器430可將從編碼裝置141輸出的編碼比特流發(fā)送到外部存儲器435或?qū)⒋鎯υ谕獠看鎯ζ?35中的編碼比特流發(fā)送到解碼裝置341用于解碼。
[0172]外部存儲器435可以是易失性存儲器或非易失性存儲器。易失性存儲器可以是動態(tài)隨機存取存儲器(DRAM)、靜態(tài)隨機存取存儲器(SRAM)、晶閘管RAM(T-RAM)、零電容器RAM(Z-RAM)或雙晶體管RAM(TTRAM)。非易失性存儲器可以是電可擦除可編程只讀存儲器(EEPROM)、閃存、磁RAM (MRAM)、相變RAM (PRAM)或電阻存儲器。
[0173]顯示器控制器440控制顯示器445，從而由解碼裝置341解碼的視頻數(shù)據(jù)可顯示在顯示器445上。顯示器445可以是液晶顯示器(IXD)、發(fā)光二極管(LED)顯示器、有機發(fā)光二極管(OLED)顯示器、有源矩陣有機發(fā)光二極管(AMOLED)顯示器或柔性顯示器。
[0174]相機模塊455表不可將光圖像轉(zhuǎn)換為電圖像的模塊。從相機模塊455輸出的電圖像可以是RGB像素格式或YUV像素格式。電圖像可以是視頻源數(shù)據(jù)。電圖像通過相機接口450被發(fā)送到編碼裝置141用于編碼。編碼裝置141是圖1中示出的編碼裝置141。
[0175]解碼裝置341對編碼比特流進(jìn)行解碼以在顯示器445上顯示視頻數(shù)據(jù)并將視頻數(shù)據(jù)輸出到顯不器445。
[0176]圖15是示出包括圖1中示出的編碼裝置的系統(tǒng)的另一示例實施例的框圖。參照圖1和圖15，系統(tǒng)500包括發(fā)送器510和接收器520。發(fā)送器510和接收器520中每一個可以是移動電話、智能電話、MID或平板PC。
[0177]發(fā)送器510包括SoClOO、顯示器516、相機模塊514、外部存儲器512和無線收發(fā)器518。SoClOO、顯示器516、相機模塊514和外部存儲器512在操作和功能上分別相似于SoC410、顯示器445、相機模塊455和外部存儲器435，因此將省略其詳細(xì)描述。
[0178]SoClOO包括圖1中示出的編碼裝置141。無線收發(fā)器518可通過天線ANTl將編碼比特流發(fā)送到接收器520。發(fā)送器510可作為接收器進(jìn)行操作。
[0179]接收器520包括SoC522、顯示器530、相機模塊528、外部存儲器526和無線收發(fā)器524。SoC522、顯示器530、相機模塊528和外部存儲器526在操作和功能上分別相似于圖14中示出的SoC410、顯示器445、相機模塊455和外部存儲器435，因此將省略其詳細(xì)描述。
[0180]SoC522可包括解碼裝置341。無線收發(fā)器524可通過天線ANT2從發(fā)送器510接收編碼比特流。接收器520可作為發(fā)送器進(jìn)行操作。解碼裝置341可對編碼比特流進(jìn)行解碼以在顯示器530上顯示視頻數(shù)據(jù)并將解碼的視頻數(shù)據(jù)輸出到顯示器530。
[0181]根據(jù)本發(fā)明構(gòu)思的示例實施例的方法和裝置可選擇性地輸出具有最小失真值的編碼比特流，以減小圖像質(zhì)量的衰減。因此，所述方法和裝置可根據(jù)網(wǎng)絡(luò)的比特率來確定符合圖像標(biāo)準(zhǔn)并具有更佳圖像質(zhì)量的圖像的分辨率。
[0182]雖然已經(jīng)示出并描述了本總體發(fā)明構(gòu)思的一些實施例，但是本領(lǐng)域的技術(shù)人員將理解，在不脫離由權(quán)利要求及其等同物限定范圍的本總體發(fā)明構(gòu)思的原理和精神的情況下，可對這些實施例做出改變。
【權(quán)利要求】
1.一種操作圖像處理裝置的方法，包括: 使用從視頻源輸出的原始圖像產(chǎn)生具有不同分辨率的多個編碼比特流； 產(chǎn)生分別與所述多個編碼比特流相應(yīng)的多個恢復(fù)的圖像，其中，所述多個恢復(fù)的圖像具有與原始圖像的第一分辨率相同的分辨率；以及 基于所述多個恢復(fù)的圖像和原始圖像來輸出所述多個編碼比特流中的一個編碼比特流。
2.如權(quán)利要求1所述的方法，其中，所述產(chǎn)生多個編碼比特流的步驟包括: 產(chǎn)生具有第一分辨率的第一編碼比特流； 基于原始圖像產(chǎn)生至少一個下縮放的圖像，其中，所述至少一個下縮放的圖像具有與第一分辨率不同的分辨率；以及 從所述至少一個下縮放的圖像產(chǎn)生至少一個第二編碼比特流， 其中，所述多個編碼比特流包括第一編碼比特流和所述至少一個第二編碼比特流。
3.如權(quán)利要求2所述的方法，其中，所述產(chǎn)生多個恢復(fù)的圖像的步驟包括: 使用第一編碼比特流產(chǎn)生具有第一分辨率的第一恢復(fù)的圖像； 使用所述至少一個第二編碼比特流產(chǎn)生至少一個解碼的圖像；以及 使用所述至少一個解碼的圖像產(chǎn)生具有第一分辨率的至少一個上縮放的圖像， 其中，所述多個恢復(fù)的圖像具有第一恢復(fù)的圖像和所述至少一個上縮放的圖像。
4.如權(quán)利要求1所述的方法，其中，所述輸出所述多個編碼比特流中的一個編碼比特流的步驟包括: 對所述多個恢復(fù)的圖像中的每一個與原始圖像之間的失真值進(jìn)行運算；以及輸出所述多個編碼比特流中的所述一個編碼比特流，其中，輸出的編碼比特流與失真值中的最小失真值相關(guān)聯(lián)。
5.如權(quán)利要求1所述的方法，其中，所述多個編碼比特流分別基于多個目標(biāo)比特率。
6.如權(quán)利要求1所述的方法，其中，圖像處理裝置被配置用于提供視頻托管服務(wù)。
7.如權(quán)利要求1所述的方法，還包括: 分析輸出的編碼比特流； 對輸出的編碼比特流進(jìn)行解碼；以及 處理解碼比特流，其中，所述處理解碼比特流的步驟包括以下步驟中的一個:(I)將解碼比特流輸出到顯示器；(2)根據(jù)分析的結(jié)果對解碼比特流進(jìn)行上縮放并將上縮放的比特流輸出到顯示器。
8.如權(quán)利要求7所述的方法，其中，所述分析的步驟通過對輸出的編碼比特流進(jìn)行解析來提取并存儲輸出的編碼比特流的分辨率， 其中，如果與解碼比特流相關(guān)聯(lián)的分辨率小于存儲的分辨率，則輸出到顯示器的步驟對解碼比特流進(jìn)行上縮放。
9.一種圖像處理裝置，包括: 多個編碼器電路，被配置用于基于原始圖像分別產(chǎn)生多個編碼比特流，其中，所述多個編碼比特流具有不同分辨率，所述多個編碼器電路還被配置用于使用所述多個編碼比特流分別產(chǎn)生具有與原始圖像的第一分辨率相同的分辨率的多個恢復(fù)的圖像；以及 輸出電路，被配置用于基于所述多個恢復(fù)的圖像和原始圖像來輸出所述多個編碼比特流中的一個編碼比特流。
10.如權(quán)利要求9所述的圖像處理裝置，其中， 所述多個編碼器電路的第一編碼器電路包括:第一內(nèi)部編碼器電路，被配置用于產(chǎn)生與第一分辨率相關(guān)聯(lián)的第一編碼比特流， 所述多個編碼器電路的第二編碼器電路包括: 下縮放器，被配置用于基于原始圖像產(chǎn)生下縮放的圖像，其中，下縮放的圖像具有與第一分辨率不同的分辨率；以及 第二內(nèi)部編碼器，被配置用于從下縮放的圖像產(chǎn)生第二編碼比特流， 所述多個編碼比特流包括第一編碼比特流和第二編碼比特流。
11.如權(quán)利要求10所述的圖像處理裝置，其中， 第一編碼器電路還包括:第一內(nèi)部解碼器，被配置用于使用第一編碼比特流產(chǎn)生具有第一分辨率的第一恢復(fù)的圖像， 第二編碼器電路還包括: 第二內(nèi)部解碼器，被配置用于使用第二編碼比特流產(chǎn)生解碼的圖像；以及 上縮放器，被配置用于使用解碼的圖像產(chǎn)生具有第一分辨率的上縮放的圖像， 所述多個恢復(fù)的圖像包括第一恢復(fù)的圖像和上縮放的圖像。
12.如權(quán)利要求11所述的圖像處理裝置，其中，輸出電路被配置用于將第一恢復(fù)的圖像和原始圖像之間的第一失真值與上縮放的圖像和原始圖像之間的第二失真值進(jìn)行比較。
13.如權(quán)利要求9所述的圖像處理裝置，其中，輸出電路包括: 比較器，被配置用于對所述多個恢復(fù)的圖像與原始圖像之間的差值進(jìn)行運算，并產(chǎn)生與差值中的最小差值有關(guān)的至少一個選擇信號；以及 選擇器，被配置用于響應(yīng)于所述至少一個選擇信號來輸出所輸出的編碼比特流。
14.如權(quán)利要求9所述的圖像處理裝置，其中，圖像處理裝置被配置用于提供視頻托管服務(wù)。
15.如權(quán)利要求9所述的圖像處理裝置，還包括: 上縮放器； 解碼器，被配置用于對輸出的編碼比特流進(jìn)行解碼，并產(chǎn)生切換信號和解碼比特流；以及 開關(guān)，被配置用于基于切換信號將解碼比特流旁路到顯示器或?qū)⒔獯a比特流發(fā)送到上縮放器。
16.如權(quán)利要求15所述的圖像處理裝置，其中，解碼器被配置用于通過對輸出的編碼比特流進(jìn)行解析來提取并存儲輸出的編碼比特流的分辨率，并根據(jù)將解碼比特流的分辨率與存儲的分辨率進(jìn)行比較的結(jié)果來產(chǎn)生切換信號。
17.—種片上系統(tǒng)(SoC),包括: 圖像處理裝置，被配置用于處理從存儲原始圖像的存儲器輸出的原始圖像， 圖像處理裝置包括: 多個編碼器電路，被配置用于基于原始圖像分別產(chǎn)生多個編碼比特流，其中，所述多個編碼比特流具有不同分辨率，所述多個編碼器電路還被配置用于使用所述多個編碼比特流分別產(chǎn)生具有與原始圖像的第一分辨率相同的分辨率的多個恢復(fù)的圖像；以及 輸出電路，被配置用于基于所述多個恢復(fù)的圖像和原始圖像來輸出所述多個編碼比特流中的一個編碼比特流。
18.如權(quán)利要求17所述的SoC，其中， 所述多個編碼器電路中的一個編碼器電路包括:第一內(nèi)部編碼器電路，被配置用于產(chǎn)生具有第一分辨率的第一編碼比特流， 所述多個編碼器電路中的其余編碼器電路中的每一個包括: 下縮放器，被配置用于基于原始圖像產(chǎn)生下縮放的圖像，其中，下縮放的圖像具有與第一分辨率不同的分辨率；以及 第二內(nèi)部編碼器，被配置用于從下縮放的圖像產(chǎn)生第二編碼比特流， 所述多個編碼比特流包括第一編碼比特流和第二編碼比特流。
19.如權(quán)利要求18所述的SoC，其中， 所述多個編碼器電路中的所述一個編碼器電路還包括:第一內(nèi)部解碼器，被配置用于使用第一編碼比特流產(chǎn)生具有第一分辨率的第一恢復(fù)的圖像， 所述多個編碼器電路中的所述其余編碼器電路中的每一個還包括: 第二內(nèi)部解碼器，被配置用于使用第二編碼比特流產(chǎn)生解碼的圖像；以及 上縮放器，被配置用于使用解碼的圖像產(chǎn)生具有第一分辨率的上縮放的圖像， 所述多個恢復(fù)的圖像包括第一恢復(fù)的圖像和上縮放的圖像。
20.如權(quán)利要求19所述的SoC，其中，輸出電路被配置用于將第一恢復(fù)的圖像和原始圖像之間的第一失真值與上縮放的圖像和原始圖像之間的第二失真值進(jìn)行比較。
21.如權(quán)利要求17所述的SoC，其中，輸出電路包括: 比較器，被配置用于對所述多個恢復(fù)的圖像中的每一個與原始圖像之間的失真值進(jìn)行運算，并產(chǎn)生與失真值中的最小失真值有關(guān)的至少一個選擇信號；以及 選擇器，被配置用于響應(yīng)于所述至少一個選擇信號來輸出所輸出的編碼比特流。
22.—種編碼裝置，包括: 第一編碼器電路，被配置用于接收原始圖像并對原始圖像進(jìn)行編碼，其中，原始圖像具有第一分辨率，第一編碼器電路還被配置用于基于編碼的原始圖像產(chǎn)生第一恢復(fù)的圖像，其中，第一恢復(fù)的圖像是原始圖像的第一恢復(fù)的圖像； 至少一個第二編碼電路，包括: 下縮放器，被配置用于接收原始圖像，對原始圖像進(jìn)行下縮放并產(chǎn)生下縮放的圖像，其中，下縮放的圖像具有與第一分辨率不同的第二分辨率，以及 內(nèi)部編碼器，被配置用于接收下縮放的圖像并對下縮放的圖像進(jìn)行編碼，其中，所述至少一個第二編碼電路還被配置用于基于編碼的下縮放的圖像來產(chǎn)生第二恢復(fù)的圖像，其中，第二恢復(fù)的圖像是原始圖像的第二恢復(fù)的圖像；以及 輸出電路，被配置用于基于第一恢復(fù)的圖像和第二恢復(fù)的圖像來選擇編碼的下縮放的圖像和編碼的原始圖像中的一個以輸出。
23.如權(quán)利要求22所述的編碼裝置，其中，所述至少一個第二編碼電路包括多個第二編碼電路，其中，所述多個第二編碼電路中的每一個與不同分辨率相關(guān)聯(lián)。
24.如權(quán)利要求22所述的編碼裝置，其中，輸出電路包括: 比較器，被配置用于確定第一恢復(fù)的圖像與原始圖像之間的第一差值以及第二恢復(fù)的圖像與原始圖像之間的第二差值；以及 選擇器，被配置用于基于第一差值和第二差值來選擇編碼的下縮放的圖像和編碼的原始圖像中的一個以輸出。
25.如權(quán)利要求22所述的編碼裝置，其中，所述至少一個第二編碼電路還包括: 內(nèi)部解碼器，被配置用于對編碼的下縮放的圖像進(jìn)行解碼以產(chǎn)生解碼的下縮放的圖像；以及 上縮放器，被配置用于將解碼的下縮放的圖像上縮放為第一分辨率，其中，經(jīng)上縮放的解碼的下縮放的圖像是第二恢復(fù)的圖像。
【文檔編號】H04N19/147GK104378631SQ201410395159
【公開日】2015年2月25日 申請日期:2014年8月12日 優(yōu)先權(quán)日:2013年8月12日
【發(fā)明者】全晙植, 魯圣昊, 金泰賢 申請人:三星電子株式會社