專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明的 一個(gè)實(shí)施例涉及一種用于提高圖像分辨率的技術(shù)。
背景技術(shù)：
最近的將個(gè)人計(jì)算機(jī)(pc )和電視機(jī)整合到一起的進(jìn)步為在具
有超過(guò)標(biāo)準(zhǔn)清晰度(SD)的高清晰度(HD)的高分辨率顯示器上 觀看各種類(lèi)型的視頻(例如，諸如足球的體育節(jié)目、卡通節(jié)目、以 及電影節(jié)目)提供了更多的可能。
用于SD電一見(jiàn)的一見(jiàn)頻廣兮番、記錄在DVD上的—見(jiàn)頻等具有4交^f氐 的分辨率。因此，當(dāng)用戶以HD尺寸(尤其是，以全HD尺寸，即， 1920x 1080像素的全HD分辨率)觀看一見(jiàn)頻時(shí)，會(huì)增加視頻的分辨 率。為了提高圖像的分辨率，諸如線性內(nèi)插和立體巻積內(nèi)插的技術(shù) 已經(jīng)被用于對(duì)圖像的像素值進(jìn)行內(nèi)插。然而，通過(guò)這些技術(shù)不能獲 得銳化圖像。
鑒于此，已經(jīng)研發(fā)出了一種超分辨率技術(shù)，在該技術(shù)中，圖像 被擴(kuò)大，在擴(kuò)大后圖像的各像素間內(nèi)插高頻分量像素以獲得銳化的 高分辨率圖像(例如，參見(jiàn)第2008-067110和2008-146190號(hào)日本 專利申請(qǐng)公開(kāi)(KOKAI))。傳統(tǒng)的超分辨率4支術(shù)增強(qiáng)了纟見(jiàn)頻銳度， 并且用戶因此可以享受到4兌4匕的和清楚的—見(jiàn)頻。當(dāng)通過(guò)超分辨率才支術(shù)^f吏圖傳j兌化時(shí)，經(jīng)常會(huì)在圖Y象中出現(xiàn)塊噪
聲或在圖Y象中的前景和背景對(duì)象之間的透一見(jiàn)(perspective)中出現(xiàn)
失真或不完整。
此外，已知有一種增強(qiáng)圖像邊緣以使圖像表現(xiàn)銳化的圖像銳化 技術(shù)。超分辨率技術(shù)與圖像銳化技術(shù)的根本不同之處在于新產(chǎn)生了 高頻分量像素。因此，難以以與圖傳—銳化才支術(shù)中相同的方式來(lái)調(diào)整 4兌化的等級(jí)。
因此，本發(fā)明的一個(gè)目的在于提供能夠適當(dāng)?shù)貙?duì)視頻執(zhí)行超分 辨率處理的 一種圖4象處理i殳備和一種圖^f象處理方法。

發(fā)明內(nèi)容
為了解決上述問(wèn)題并實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面， 大體上，才艮據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種圖像處理設(shè)備，該 設(shè)備包括等級(jí)存儲(chǔ)模塊，配置為存儲(chǔ)表示超分辨率轉(zhuǎn)換密度的超 分辨率等級(jí)，其中， 一旦接收到具有第一分辨率的第一視頻信號(hào)， 就根據(jù)第 一視頻信號(hào)估計(jì)原始像素值，并增加像素以獲得具有高于 第 一分辨率的第二分辨率的第二4見(jiàn)頻信號(hào)，超分辨率等級(jí)與顯示第 二一見(jiàn)頻信號(hào)的纟見(jiàn)頻才莫式相關(guān)； 一見(jiàn)頻確定才莫塊，配置為識(shí)別纟見(jiàn)頻^莫式， 并基于識(shí)別出的視頻才莫式來(lái)確定超分辨率等級(jí)；以及分辨率提高模 塊，配置為以^L頻確定才莫塊確定的超分辨率等級(jí)對(duì)第一一見(jiàn)頻信號(hào)扭^ 行超分辨率轉(zhuǎn)換。
根據(jù)本發(fā)明的另一個(gè)方面，提供了一種圖像處理設(shè)備，該設(shè)備 包括等級(jí)存儲(chǔ)模塊，配置為存儲(chǔ)表示超分辨率轉(zhuǎn)換密度的超分辨 率等級(jí)，其中， 一旦接收到具有第一分辨率的第一-見(jiàn)頻信號(hào)，就才艮 據(jù)第一視頻信號(hào)估計(jì)原始像素值，并增加像素以獲得具有高于第一 分辨率的第二分辨率的第二視頻信號(hào)，超分辨率等級(jí)與節(jié)目類(lèi)別代
6碼相關(guān)，節(jié)目類(lèi)型代碼表示包含在第一視頻信號(hào)或第二視頻信號(hào)中
的節(jié)目的類(lèi)別；視頻確定模塊，配置為識(shí)別節(jié)目類(lèi)別代碼，并基于 識(shí)別出的節(jié)目類(lèi)別代碼確定超分辨率等級(jí)；以及分辨率提高模塊， 配置為以#見(jiàn)頻確定4莫塊確定的超分辨率等級(jí)對(duì)第 一纟見(jiàn)頻信號(hào)#丸4亍 超分辨率轉(zhuǎn)換。
根據(jù)本發(fā)明的又一個(gè)方面，提供了一種圖像處理設(shè)備，該設(shè)備 包括等級(jí)存儲(chǔ)模塊，配置為存儲(chǔ)表示超分辨率轉(zhuǎn)換密度的超分辨 率等級(jí)，其中，通過(guò)將第一分辨率提高至第二分辨率而從具有第一 分辨率的第 一視頻信號(hào)獲得具有第二分辨率的第二視頻信號(hào)，超分 辨率等級(jí)與顯示第二纟見(jiàn)頻信號(hào)的纟見(jiàn)頻才莫式相關(guān)；4見(jiàn)頻確定才莫塊，配 置為識(shí)別一見(jiàn)頻才莫式，并基于識(shí)別出的^L頻沖莫式來(lái)確定超分辨率等 級(jí)；以及分辨率提高模塊，配置為以視頻確定模塊確定的超分辨率 等級(jí)對(duì)第 一視頻信號(hào)執(zhí)行超分辨率轉(zhuǎn)換。
根據(jù)本發(fā)明的再一個(gè)方面，提供了一種圖像處理方法，包括 存儲(chǔ)表示超分辨率轉(zhuǎn)換密度的超分辨率等級(jí)，其中， 一旦接收到具 有第 一分辨率的第 一視頻信號(hào)，就根據(jù)第 一視頻信號(hào)估計(jì)原始像素 值，并增加像素以獲得具有高于第 一分辨率的第二分辨率的第二視 頻信號(hào)，超分辨率等級(jí)與顯示第二視頻信號(hào)的視頻模式相關(guān)；識(shí)別 -現(xiàn)頻才莫式以基于識(shí)別出的一見(jiàn)頻才莫式來(lái)確定超分辨率等級(jí)；以及以確 定的超分辨率等級(jí)對(duì)第 一視頻信號(hào)執(zhí)行超分辨率轉(zhuǎn)換。
如上所述，根據(jù)本發(fā)明的一個(gè)方面，基于視頻模式或節(jié)目類(lèi)別 代碼來(lái)確定超分辨率。因此，可以提供已經(jīng)適當(dāng)?shù)貓?zhí)行了超分辨率 處理的纟見(jiàn)頻。


下面將參照附圖來(lái)描述實(shí)現(xiàn)本發(fā)明各特征的大體構(gòu)造。附圖及圍。
圖1是根據(jù)本發(fā)明實(shí)施例的圖像顯示設(shè)備的示例性框圖2是圖1所示的中央處理器的示例性框圖3是圖1所示的分辨率提高模塊的示例性框圖4是響應(yīng)于該實(shí)施例中的操作模塊的操作而在顯示模塊上顯 示的視頻模式菜單的示意圖5是該實(shí)施例中存儲(chǔ)在EEPROM中的彼此相關(guān)的超分辨率 參數(shù)和視頻模式編號(hào)的示例性表格；
圖6是該實(shí)施例中的超分辨率處理的示例性流程；以及
圖7是該實(shí)施例中的超分辨率處理的另 一示例性流程。
具體實(shí)施例方式
下文中將參照附圖來(lái)描述根據(jù)本發(fā)明的各實(shí)施例。
圖1是根據(jù)本發(fā)明實(shí)施例的圖像顯示設(shè)備100的示意性框圖。 如圖1所示，圖像顯示設(shè)備IOO包括視頻信號(hào)輸入模塊11、中央處 理器12、分辨率提高模塊13、運(yùn)動(dòng)圖像改善模塊14、顯示處理器 15、顯示才莫塊16、音頻處理器17、音頻輸出才莫塊18。分辨率才是高 模塊13相當(dāng)于圖像處理設(shè)備。視頻信號(hào)輸入模塊11包括數(shù)字廣播接收機(jī)111、互聯(lián)網(wǎng)協(xié)議電
視(IPTV)信號(hào)處理器112、互聯(lián)網(wǎng)信號(hào)處理器113、以及外部輸 入模塊114。數(shù)字廣播接收機(jī)111接收要顯示的視頻信號(hào)?；ヂ?lián)網(wǎng) 信號(hào)處理器113接收通過(guò)諸如互聯(lián)網(wǎng)的IP網(wǎng)絡(luò)傳送的數(shù)據(jù)。外部輸 入模塊114接收模擬信號(hào)的輸入。本文中所使用的術(shù)語(yǔ)"視頻信號(hào)" 包括音頻信號(hào)和諸如靜止圖像信號(hào)和運(yùn)動(dòng)圖像信號(hào)的圖像信號(hào)。
數(shù)字廣播接收機(jī)111包括數(shù)字天線1111、數(shù)字調(diào)諧器1112、和 數(shù)字信號(hào)解調(diào)器1113。數(shù)字天線1111接收諸如BS廣播、CS廣播、 以及數(shù)字地面廣播的數(shù)字廣播。數(shù)字調(diào)諧器1112用于選擇數(shù)字廣播 頻道。數(shù)字信號(hào)解調(diào)器1113對(duì)數(shù)字廣播信號(hào)進(jìn)行解調(diào)，并將其作為 數(shù)字一見(jiàn)頻信號(hào)輸出至中央處理器12。
IPTV信號(hào)處理器112接收通過(guò)專用IP網(wǎng)絡(luò)傳送的IP廣播，并 將其作為數(shù)字視頻信號(hào)輸出至中央處理器12。
互聯(lián)網(wǎng)信號(hào)處理器113接收通過(guò)諸如互聯(lián)網(wǎng)的IP網(wǎng)絡(luò)傳送的數(shù) 據(jù)(靜止圖像、運(yùn)動(dòng)圖像等)，并將其作為數(shù)字視頻信號(hào)輸出至中 央處理器12。
外部輸入纟莫塊114包括一莫擬天線1141、— 莫擬調(diào)諧器1142、和外 部輸入信號(hào)處理器1143。 ^t擬天線1141接收^^莫擬廣播。^f莫擬調(diào)諧 器1142用于選擇模擬廣播頻道。外部輸入信號(hào)處理器1143對(duì)模擬 信號(hào)執(zhí)行信號(hào)處理(諸如A/D轉(zhuǎn)換)，并將其作為數(shù)字視頻信號(hào)輸 出至中央處理器12。外部輸入信號(hào)處理器1143設(shè)置有用于連接到 外部裝置(諸如游戲機(jī)、個(gè)人計(jì)算機(jī)(PC)、數(shù)字通用光盤(pán)(DVD) 播放器)的端子(未示出)。外部輸入信號(hào)處理器1143還對(duì)通過(guò)該 端子從外部裝置接收到的模擬信號(hào)執(zhí)行信號(hào)處理。圖2是中央處理器12的功能性框圖。如圖2所示，中央處理 器12包括操作接收機(jī)121、視頻確定模塊122、控制器123、以及 閃存19。操作接收機(jī)121接收(如稍后描述的)用于選擇視頻模式的信 號(hào)(下文中稱作"選擇信號(hào)")，并將對(duì)應(yīng)于該選擇信號(hào)的視頻模式 通知給視頻確定模塊122 (稍后將描述)。該視頻模式通過(guò)操作模塊 200來(lái)指定。操作模塊200可以包括遙控器。更具體地，例如，當(dāng)用戶按下操作才莫塊200上的用于選擇#見(jiàn)頻 模式的模式選擇按鈕(未示出)時(shí)，顯示模塊16在其屏幕的一部 分中顯示用于選擇視頻模式的子屏幕(視頻模式菜單)。如圖4所 示，視頻模式菜單包含作為視頻模式的多個(gè)項(xiàng)(包括，例如，"生 動(dòng)"、"標(biāo)準(zhǔn)"、"影院"、以及"存儲(chǔ)")。于是，當(dāng)用戶通過(guò)在操作 模塊200上操控諸如上/下鍵(未示出)的選擇鍵而從視頻模式菜單 中選擇一項(xiàng)時(shí)，選擇信號(hào)就發(fā)送到操作接收機(jī)121。接收到選擇信 號(hào)之后，操作接收機(jī)121將其輸出至視頻確定才莫塊122。以此方式， 用戶可以從視頻模式菜單中指定想要的視頻模式。順便說(shuō)一下，根 據(jù)該實(shí)施例，對(duì)于上述舉例說(shuō)明的除了存儲(chǔ)模式以外的視頻模式， 圖Y象質(zhì)量調(diào)整項(xiàng)的值^皮設(shè)置為其默i人值，并且用戶可以隨意地調(diào)整 每個(gè)值以及存儲(chǔ)模式。圖像質(zhì)量調(diào)整項(xiàng)的實(shí)例包括"單色"、"背光 等級(jí)"、"黑等級(jí)"、"色彩密度"、"色調(diào)"、以及"銳度"。從而，這 些視頻模式根據(jù)用戶觀看的節(jié)目、電視使用狀態(tài)等為用戶提供了想 要的視頻模式。盡管附圖中未示出，但是可以提供"自動(dòng)，，模式， 以根據(jù)觀看的視頻或電視使用狀態(tài)而自動(dòng)調(diào)整各圖像質(zhì)量調(diào)整項(xiàng) 的值。這些視頻才莫式中的每一個(gè)都與超分辨率處理的等級(jí)相關(guān)聯(lián)，其 中，對(duì)控制器123從視頻信號(hào)中分離出的圖像信號(hào)進(jìn)行該超分辨率處理，這將在后面進(jìn)行描述。響應(yīng)于用戶對(duì)視頻才莫式的選擇，通過(guò) 上述來(lái)對(duì)應(yīng)于該一見(jiàn)頻纟莫式4丸4于超分辨率處理。此外，在上述視頻模式中，生動(dòng)模式允許用戶享受明快且生動(dòng) 的視頻圖像。生動(dòng)模式的超分辨率處理的密度高于標(biāo)準(zhǔn)模式。影院 模式允許用戶在黑暗房間中享受影院般觀看體驗(yàn)。影院模式的超分辨率處理的密度低于標(biāo)準(zhǔn);溪式。除了圖像質(zhì)量調(diào)整項(xiàng)(例如，單色、 背光等級(jí)、黑等級(jí)、色彩密度、色調(diào)、以及銳度)以外，存儲(chǔ)模式 還允許用戶通過(guò)操作模塊200手動(dòng)指定超分辨率處理的等級(jí)。換言 之，存儲(chǔ)模式對(duì)應(yīng)于手動(dòng)模式并使得能夠?qū)Τ直媛侍幚淼燃?jí)進(jìn)行 精細(xì)i殳置。標(biāo)準(zhǔn)才莫式中的超分辨率處理的等級(jí)可以由用戶通過(guò)才喿作 才莫塊200來(lái)^f壬意i殳置或可以固定為默^人值。一旦接收到來(lái)自操作模塊200的指定視頻模式的選擇信號(hào)，視 頻確定才莫塊122就向控制器123輸出一見(jiàn)頻才莫式編號(hào)以及將其寫(xiě)入閃 存19。視頻模式編號(hào)表示選擇信號(hào)所指定的視頻模式的類(lèi)型。例如， 如果用戶選擇生動(dòng)模式，則視頻確定模塊122向控制器123輸出視 頻才莫式編號(hào)'T，，并將該編號(hào)寫(xiě)入閃存19。以類(lèi)似的方式，表示標(biāo) 準(zhǔn)模式的"2",表示影院模式的"3",以及表示存儲(chǔ)模式的"4" 3皮lt出至控制器123并^皮寫(xiě)入閃存19。控制器123將視頻信號(hào)分離成圖像信號(hào)和音頻信號(hào)。控制器 123將進(jìn)行了預(yù)定圖像處理的圖像信號(hào)輸出至分辨率提高模塊13， 以及將音頻信號(hào)輸出至音頻處理器17。控制器123對(duì)圖像信號(hào)執(zhí)行的圖像處理的實(shí)例包括定標(biāo)，用來(lái) 將圖^象信號(hào)的分辨率轉(zhuǎn)換成預(yù)定值(例如，1280x720)。如上所述，閃存19存儲(chǔ)對(duì)應(yīng)于接收到的來(lái)自操作模塊200的 選擇信號(hào)的視頻模式編號(hào)。存儲(chǔ)器等(未示出)預(yù)先存儲(chǔ)與從操作模塊200發(fā)出的每個(gè)選擇信號(hào)相對(duì)應(yīng)的視頻模式編號(hào)。ii圖3是分辨率提高模塊13的功能性框圖。如圖3所示，分辨 率提高模塊13包括預(yù)處理器131、超分辨率轉(zhuǎn)換器132、后處理器 133、和電可纟察除可編禾呈只讀存4諸器(EEPROM) 20。預(yù)處理器131對(duì)從中央處理器12接收到的圖像信號(hào)進(jìn)行圖像 處理(下文中，稱作"預(yù)處理")，然后，將其輸出至超分辨率轉(zhuǎn)換 器132 (后面將對(duì)其進(jìn)行描述)。預(yù)處理的實(shí)例包括隔行掃描/逐行 掃描轉(zhuǎn)換和噪聲減小以消除噪聲。預(yù)處理器131還4妄收來(lái)自中央處 理器12的視頻模式編號(hào)，并將其輸出至超分辨率轉(zhuǎn)換器132。順便 地，與—見(jiàn)頻才莫式編號(hào)有關(guān)的信號(hào)可以直4妄從中央處理器12輸入至 超分辨率轉(zhuǎn)換器132而無(wú)需經(jīng)由預(yù)處理器131。更具體地，作為隔行掃描/逐行掃描轉(zhuǎn)換，預(yù)處理器131從圖像 信號(hào)檢測(cè)圖像的運(yùn)動(dòng)，并確定圖像是靜止圖像還是運(yùn)動(dòng)圖像。當(dāng)圖 像是靜止圖像時(shí)，預(yù)處理器131執(zhí)行靜止圖像內(nèi)插。另一方面，當(dāng) 圖〈象是運(yùn)動(dòng)圖像時(shí)，預(yù)處理器131執(zhí)行運(yùn)動(dòng)圖<象內(nèi)插。作為噪聲減小，預(yù)處理器131校正圖像的輪廓、減小圖像模糊 和眩光、抑制過(guò)度補(bǔ)償(高頻增強(qiáng))、以及校正由照相機(jī)的水平運(yùn) 動(dòng)引起的照相積4牛動(dòng)才莫糊。超分辨率轉(zhuǎn)換器132對(duì)接收到的來(lái)自預(yù)處理器131的低分辨率 幀執(zhí)行圖像處理(下文中稱作"超分辨率轉(zhuǎn)換，，)以提高分辨率， 從而產(chǎn)生HD尺寸的高分辨率運(yùn)動(dòng)圖像數(shù)據(jù)幀(下文中稱作"高分 辨率幀")。超分辨率轉(zhuǎn)換器132將高分辨率幀輸出至后處理器133。本文中使用的術(shù)語(yǔ)"超分辨率轉(zhuǎn)換"指的是圖像銳化，其中， 根據(jù)具有低分辨率(即，第一分辨率)的圖像信號(hào)，估計(jì)原始像素 值以增加^f象素并因此恢復(fù)具有高分辨率(即，第二分辨率)的圖傳_ 信號(hào)。原始像素值指的是通過(guò)(例如)利用照相才幾對(duì)與具有^f氐分辨 率(第一分辨率)的圖像相同的對(duì)象進(jìn)行成像而得到的圖像信號(hào)的每個(gè)像素的值，其中，該照相機(jī)具有高分辨率像素并能夠拍攝具有 高分辨率(第二分辨率)的圖像。此外，"估計(jì)原始像素值以增加像素"意味著獲得圖像特性以 找到相關(guān)的圖像，以及使用相關(guān)的圖像從相鄰的圖像(處于同一幀 或幀之間)估計(jì)原始 <象素值以增加 <象素。可以 <吏用例如第2007-310837、 2008-98803、以及2000-188680號(hào)曰本專利申請(qǐng)公開(kāi) (KOKAI)中披露的已知或通常使用的技術(shù)來(lái)執(zhí)行超分辨率轉(zhuǎn)換。 在該實(shí)施例中，超分辨率轉(zhuǎn)換使用(例如)對(duì)具有高于通過(guò)輸入圖 -像的采樣率所確定的奈奎斯特(Nyquist)頻率的頻率分量的圖^f象進(jìn) 行恢復(fù)的技術(shù)。如果采用第2007-310837號(hào)日本專利申請(qǐng)公開(kāi)(KOKAI)中披 露的超分辨率轉(zhuǎn)換，超分辨率轉(zhuǎn)換器132則設(shè)置中等分辨率的多個(gè) 幀中的每一個(gè)中的目標(biāo)像素，并設(shè)置目標(biāo)圖像區(qū)以使其包含目標(biāo)像 素。超分辨率轉(zhuǎn)換器132從參考幀中選擇對(duì)應(yīng)于最接近于目標(biāo)圖像 區(qū)中的像素值的變化模式的多個(gè)目標(biāo)圖像區(qū)的多個(gè)對(duì)應(yīng)點(diǎn)。超分辨 率轉(zhuǎn)換器132將對(duì)應(yīng)點(diǎn)的亮度采樣值設(shè)置為相應(yīng)目標(biāo)像素的像素 值。超分辨率轉(zhuǎn)換器132基于多個(gè)釆樣值的大小和多個(gè)對(duì)應(yīng)點(diǎn)的布 置來(lái)計(jì)算用于比參考幀具有更多像素并對(duì)應(yīng)于該參考幀的高分辨 率幀的像素值。從而，超分辨率轉(zhuǎn)換器132從低分辨率圖像信號(hào)估 計(jì)原始像素值，并增加像素以恢復(fù)高分辨率圖像信號(hào)。如果采用第2008-98803號(hào)日本專利申請(qǐng)公開(kāi)(KOKAI)中披 露的在同一幀圖像中^f吏用自和諧位置搜索(self-congruency position search)的超分辨率轉(zhuǎn)換，則超分辨率轉(zhuǎn)換器132通過(guò)比較中等分 辨率的幀中的搜索區(qū)中的各像素的誤差來(lái)計(jì)算具有最小誤差(即， 第一誤差)的第一像素。超分辨率轉(zhuǎn)換器132基于第一像素位置和 第 一誤差計(jì)算具有搜索區(qū)中具有十進(jìn)制精度的最小誤差的位置，以 及第 一像素周?chē)牡诙袼匚恢眉捌涞诙`差。超分辨率轉(zhuǎn)換器132計(jì)算十進(jìn)制精度向量，該向量的結(jié)束點(diǎn)位于具有最小誤差的位 置處，其起始點(diǎn)位于感興趣的像素處。超分辨率轉(zhuǎn)換器132基于十 進(jìn)制精度向量來(lái)計(jì)算十進(jìn)制精度向量的外插向量，該外插向量的結(jié) 束點(diǎn)位于屏幕上不在搜索區(qū)內(nèi)的像素處。超分辨率轉(zhuǎn)換器132基于 從圖像信號(hào)、十進(jìn)制精度向量、和外插向量得到的像素值，計(jì)算具 有比圖像信號(hào)更多像素的高分辨率圖像的像素值。按照該方式，超 分辨率轉(zhuǎn)換器132從低分辨率圖像信號(hào)估計(jì)原始像素值，并增加像 素以恢復(fù)高分辨率圖像信號(hào)。超分辨率轉(zhuǎn)換器132可以采用利用了多個(gè)幀之間映射的第 2000-188680號(hào)日本專利申請(qǐng)公開(kāi)(KOKAI)中4皮露的超分辨率轉(zhuǎn) 換。技術(shù)。超分辨率轉(zhuǎn)換器132可以采用各種其他技術(shù)，在這些技術(shù)中， 根據(jù)低分辨率圖像信號(hào)估計(jì)原始像素值以增加像素從而得到高分 辨率圖像信號(hào)。在接收到已經(jīng)由預(yù)處理器131進(jìn)行了噪聲減小等處理的圖像信 號(hào)后，超分辨率轉(zhuǎn)換器132執(zhí)行對(duì)應(yīng)于視頻模式的超分辨率轉(zhuǎn)換。 更具體地，超分辨率轉(zhuǎn)換器132從例如EEPROM 20中4企索對(duì)應(yīng)于 視頻一莫式編號(hào)的超分辨率參數(shù)。圖5示出了存儲(chǔ)在EEPROM 20中的超分辨率參數(shù)。如圖5所 示，EEPROM 20每個(gè)都與存儲(chǔ)一見(jiàn)頻才莫式和i見(jiàn)頻;溪式編號(hào)相關(guān)聯(lián)的 超分辨率參凌丈。超分辨率參數(shù)以數(shù)字值表示超分辨率變化的密度。例如，當(dāng)將 在像素間內(nèi)插更多的具有高頻分量的像素時(shí)，高頻分量像素與將利 用它們進(jìn)行內(nèi)插的像素的比率較高，以及超分辨率參數(shù)表示較大的 值。超分辨率參數(shù)的較大值表示較高的銳化增益和較高的超分辨率轉(zhuǎn)換密度?？梢愿鶕?jù)執(zhí)行超分辨率轉(zhuǎn)換的方式來(lái)適當(dāng)?shù)卦O(shè)定超分辨率參數(shù)。圖5中所示的超分辨率參數(shù)表示，假設(shè)當(dāng)對(duì)所有的像素都 執(zhí)行超分辨率轉(zhuǎn)換時(shí)將超分辨率參數(shù)都設(shè)置為100時(shí)，將被內(nèi)插的 高頻分量像素與所有像素的比率。以此方式，超分辨率轉(zhuǎn)換的指數(shù) 被存儲(chǔ)為參數(shù)。因此，如果超分辨率轉(zhuǎn)換的基準(zhǔn)中存在變化，則有 可能容易i也且有歲文;也應(yīng)^f寸該變4匕。超分辨率轉(zhuǎn)換器132基于超分辨率參數(shù)對(duì)圖像信號(hào)執(zhí)行超分辨 率轉(zhuǎn)換，并將其輸出至下面描述的后處理器133。更具體地，當(dāng)從 預(yù)處理器131接收到視頻模式編號(hào)"1"(生動(dòng)模式)時(shí)，超分辨率 轉(zhuǎn)換器132檢索與其相關(guān)的如圖5所示的超分辨率參數(shù)"80"，并 基于超分辨率參數(shù)"80"執(zhí)行超分辨率轉(zhuǎn)換。返回參照?qǐng)D3,后處理器133對(duì)乂人超分辨率轉(zhuǎn)換器132 4妾收到 的圖像信號(hào)進(jìn)行圖像校正(諸如伽瑪校正和白平4軒調(diào)整)(下文中 稱作"后處理")，并將其輸出至運(yùn)動(dòng)圖像改善^^莫塊14。返回參照?qǐng)D1,將描述運(yùn)動(dòng)圖像改善模塊14。運(yùn)動(dòng)圖像改善模 塊14對(duì)從后處理器133接收到的圖l象信號(hào)進(jìn)行雙速處理 (double-speed processing )。更具體i也，運(yùn)動(dòng)圖寸象 夂善才莫塊14 3夸以 60幀每秒(fps)傳送的視頻信號(hào)的幀率轉(zhuǎn)換為120 fps。這減少了 對(duì)象水平、垂直、以及對(duì)角或旋轉(zhuǎn)運(yùn)動(dòng)的部分中的圖像模糊，以及 有效地抑制了噪聲。從而，可以清楚地顯示具有快速運(yùn)動(dòng)的運(yùn)動(dòng)場(chǎng) 景、字幕(telop)序列等。運(yùn)動(dòng)圖像改善模塊14將進(jìn)行了幀率轉(zhuǎn) 換的圖像信號(hào)輸出至顯示處理器15。內(nèi)4翁可以基于利用第2008-35404號(hào)日本專利申誚-7>開(kāi) (KOKAI )披露的利用塊匹配的運(yùn)動(dòng)向量檢測(cè)來(lái)通過(guò)使用根據(jù)用于 幀圖4象的內(nèi)插的常用方法(諸如，內(nèi)插幀生成方法)所產(chǎn)生的內(nèi)插 幀來(lái)實(shí)i見(jiàn)。此外，內(nèi)4翁幀的凄史量可以yf壬意確定。顯示處理器15包括用于向顯示模塊16輸出圖像信號(hào)從而使得 顯示才莫塊16可以顯示從運(yùn)動(dòng)圖像改善才莫塊14^妄收到的圖像信號(hào)的
驅(qū)動(dòng)器。
顯示模塊16包括諸如液晶顯示(LCD)面板、等離子面板、 或表面?zhèn)鲗?dǎo)電子發(fā)射顯示(SED)面^反的顯示面^反。顯示才莫塊16 在顯示處理器15的控制下在屏幕上顯示圖像信號(hào)。
操作才莫塊200可以包括諸如遙控器的遠(yuǎn)程才喿作裝置。例如，當(dāng) 用戶按下模式選擇鍵(未示出)以選擇視頻模式時(shí)，操作模塊200 向中央控制器12發(fā)送對(duì)應(yīng)其的選擇信號(hào)。
下面描述如上配置的圖像顯示設(shè)備100的操作。圖6是當(dāng)用戶 指定3見(jiàn)頻才莫式時(shí)由圖像顯示設(shè)備100 4;M亍的超分辨率處理的流程。
如圖6所示，中央處理器12的4見(jiàn)頻確定才莫塊122識(shí)別由用戶 設(shè)置的視頻模式(S601)。視頻確定模塊122將對(duì)應(yīng)于該視頻模式 的視頻模式編號(hào)存儲(chǔ)到閃存19中(S602)。閃存19等可以預(yù)先存 儲(chǔ)對(duì)應(yīng)于一見(jiàn)頻才莫式的一見(jiàn)頻才莫式編號(hào)。此后，— 見(jiàn)頻確定才莫塊122向分 辨率^是高才莫塊13發(fā)送^L頻;模式編號(hào)(S603 )。
一旦接收到來(lái)自一見(jiàn)頻確定一莫塊122的一見(jiàn)頻一莫式編號(hào)，分辨率才是 高模塊13的預(yù)處理器131就對(duì)圖像信號(hào)執(zhí)行預(yù)處理(諸如隔行掃 描/逐行掃描轉(zhuǎn)換和噪聲減小)，并將帶有視頻模式編號(hào)的圖像信號(hào) 輸出至超分辨率轉(zhuǎn)換器132 (S604)。順便地，與一見(jiàn)頻模式編號(hào)有關(guān) 的信號(hào)可以直接從中央處理器12 (視頻確定模塊122)輸入至超分 辨率轉(zhuǎn)換器132，而不經(jīng)由預(yù)處理器131。
一旦接收到來(lái)自預(yù)處理器131的視頻模式編號(hào)和圖像信號(hào)，超 分辨率轉(zhuǎn)換器132就從EEPROM 20獲取對(duì)應(yīng)于視頻模式編號(hào)的超 分辨率參^t ( S605 )。超分辨率轉(zhuǎn)換器132以對(duì)應(yīng)于超分辨率參lt的超分辨率等級(jí)對(duì) 圖像信號(hào)執(zhí)行超分辨率轉(zhuǎn)換(S606),并將其輸出至后處理器133。 后處理器133對(duì)圖^f象信號(hào)4丸行諸如伽瑪才交正和白平^f調(diào)整的后處 理，并將其輸出至運(yùn)動(dòng)圖像改善模塊14 (S607)。顯示模塊16在顯 示處理器15的控制下顯示圖像信號(hào)。如果運(yùn)動(dòng)圖像改善才莫塊14具 有如上所述的圖像校正功能，則其可以代替后處理器133 4丸4亍圖像 校正。
如上所述，根據(jù)該實(shí)施例，中央處理器12的視頻確定模塊122 識(shí)別由用戶指定的視頻模式。分辨率提高模塊13的超分辨率轉(zhuǎn)換 器132根據(jù)視頻模式執(zhí)行超分辨率轉(zhuǎn)換。從而，可以提供已經(jīng)根據(jù) 視頻模式進(jìn)行了適當(dāng)?shù)某直媛侍幚淼囊曨l。
此外，當(dāng)選擇了其中對(duì)圖像質(zhì)量進(jìn)行了調(diào)整以允許用戶享受明 快和生動(dòng)的視頻圖像的視頻模式時(shí)，超分辨率參數(shù)被設(shè)置得較高從 而以較高等級(jí)執(zhí)行超分辨率處理。另一方面，當(dāng)選擇了其中對(duì)圖像 質(zhì)量進(jìn)行了調(diào)整以允許用戶在黑暗房間中享受影院似的觀看體驗(yàn) 的視頻模式時(shí)，超分辨率參數(shù)被設(shè)置得較低，從而以低等級(jí)執(zhí)行超 分辨率處理。利用其，用戶可以容易地認(rèn)識(shí)到生動(dòng)視頻圖像中的超 分辨率效果并享受它們。此外，在允許用戶可以享受像電影一樣的 優(yōu)美圖像的視頻模式中，以低等級(jí)執(zhí)行超分辨率處理。這減小了由 于超分辨率處理引起的噪聲增強(qiáng)，并允許用戶享受優(yōu)美圖像。
由于各用戶對(duì)4見(jiàn)頻的偏好，超分辨率參凄t可以與上述相反的方 式來(lái)設(shè)置。即，對(duì)于上述生動(dòng)模式，可以將超分辨率處理的密度設(shè) 置得較低。通過(guò)這樣估文，對(duì)于包含高等級(jí)噪聲分量的一見(jiàn)頻可以減少 噪聲增強(qiáng)等。另一方面，對(duì)于上述影院模式，可以將超分辨率處理 的密度設(shè)置得較高。由于高分辨率視頻信號(hào)未引起/引起小的噪聲增 強(qiáng)，因此，用戶可以按照影院才莫式來(lái)享受清晰的—見(jiàn)頻圖Y象。
17前述中，當(dāng)用戶從包括生動(dòng)模式和影院模式的視頻模式中指定 視頻模式時(shí)，根據(jù)對(duì)應(yīng)于視頻模式的超分辨率參數(shù)來(lái)執(zhí)行超分辨率 處理。然而，用戶可能難以確定將要選擇^f可種—見(jiàn)頻沖莫式。在這種情 況中，可以4艮據(jù)一見(jiàn)頻信號(hào)中的代碼而不是—見(jiàn)頻才莫式來(lái)自動(dòng)才丸4亍超分 辨率處理。代碼(下文中稱作"節(jié)目類(lèi)別代碼")可以表示節(jié)目的
類(lèi)別。例如，節(jié)目類(lèi)別代碼"1"表示體育節(jié)目，"2"表示雜耍， 以及"3"表示電影節(jié)目。下面將描述以此方式執(zhí)行的超分辨率處理。
圖7是基于節(jié)目類(lèi)別代碼的超分辨率處理的流程。視頻確定模 塊122以與上述相同的方式進(jìn)行才乘作，此外，還識(shí)別由—見(jiàn)頻信號(hào)輸 入模塊11接收到的視頻信號(hào)中的節(jié)目類(lèi)別(S701 )。然后，視頻確 定模塊122將節(jié)目類(lèi)別代碼存儲(chǔ)到閃存19中(S702 )。此后，視頻 確定模塊122將節(jié)目類(lèi)別代碼發(fā)送至分辨率提高模塊13 ( S703 )。
一旦接收到來(lái)自視頻確定模塊122的節(jié)目類(lèi)別代碼，分辨率提 高模塊13的預(yù)處理器131就以上述相同的方式對(duì)圖像信號(hào)進(jìn)行預(yù) 處理(S704)。
一旦^妄收到來(lái)自預(yù)處理器131的節(jié)目類(lèi)別代碼，超分辨率轉(zhuǎn)換 器132就從EEPROM 20獲取對(duì)應(yīng)于節(jié)目類(lèi)別代碼的超分辨率參數(shù) (S705 )。超分辨率轉(zhuǎn)換器132以對(duì)應(yīng)于超分辨率參^t的超分辨率 等級(jí)對(duì)圖像信號(hào)進(jìn)行超分辨率轉(zhuǎn)換(S706)。后處理器133以上述 相同的方式對(duì)圖4象信號(hào)進(jìn)4亍后處理(S707)。
如上所述，中央處理器12的^L頻確定才莫塊122可以才企測(cè)節(jié)目 類(lèi)別代碼，以使可以根據(jù)節(jié)目類(lèi)別代碼來(lái)執(zhí)行超分辨率處理。之后， 即使用戶發(fā)現(xiàn)難以確定將要選擇何種視頻模式，但是仍可以提供已 經(jīng)才艮據(jù)節(jié)目類(lèi)別代碼適當(dāng)?shù)剡M(jìn)4亍了超分辨率處理的一見(jiàn)頻。此外，當(dāng)一見(jiàn)頻才莫式未^皮指定時(shí)，；現(xiàn)頻確定才莫塊122可以自動(dòng)沖企 測(cè)節(jié)目類(lèi)別4戈碼，乂人而可以才艮據(jù)節(jié)目類(lèi)別代4碼來(lái)扭^于超分辨率處 理。可替換地，可以基于指定的視頻模式和節(jié)目類(lèi)別代碼的組合來(lái) 設(shè)置超分辨率參數(shù)。換言之，對(duì)于視頻模式和節(jié)目類(lèi)別代碼的不同 組合(例如，生動(dòng)才莫式和體育節(jié)目，以及生動(dòng)才莫式和電影節(jié)目)， 可以i殳置不同的超分辨率參tt。
利用作為被應(yīng)用于圖像顯示設(shè)備100的實(shí)例描述了該實(shí)施例的 信息處理設(shè)備，而圖像顯示設(shè)備例如是包括顯示處理器15、顯示模 塊16、音頻處理器17和音頻輸出模塊18的數(shù)字電視；然而，例如， 其可以應(yīng)用于沒(méi)有這些沖莫塊的機(jī)頂盒或調(diào)諧器。
本文中描述的系統(tǒng)的各沖莫塊可以實(shí)現(xiàn)為4欠件應(yīng)用程序、硬件和 /或軟件模塊、或一個(gè)或多個(gè)計(jì)算機(jī)(諸如服務(wù)器)上的部件。盡管 獨(dú)立地示出了不同模塊，但是它們共享同一下部邏輯電路或代碼中 的一些或全部。
盡管已經(jīng)描述了本發(fā)明的一些實(shí)施例，但是這些實(shí)施例僅以實(shí) 例的形式#:呈現(xiàn)，并不用于限制本發(fā)明的范圍。實(shí)際上，本文中描 述的新的方法和系統(tǒng)可以以各種其他的形式實(shí)現(xiàn)；此外，在不背離
本發(fā)明的精神的條件下，可以對(duì)本文中描述的方法和系統(tǒng)的形式進(jìn) 行各種省略、替換和改變。所附權(quán)利要求及其等同替換用于覆蓋這 些形式和改進(jìn)，Y吏其落入本發(fā)明的范圍和精神內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括等級(jí)存儲(chǔ)模塊，配置為存儲(chǔ)表示超分辨率轉(zhuǎn)換密度的超分辨率等級(jí)，其中，一旦接收到具有第一分辨率的第一視頻信號(hào)，就從所述第一視頻信號(hào)估計(jì)原始像素值，并增加像素以獲得具有高于所述第一分辨率的第二分辨率的第二視頻信號(hào)，所述超分辨率等級(jí)與顯示所述第二視頻信號(hào)的視頻模式相關(guān)；視頻確定模塊，配置為識(shí)別視頻模式，并基于識(shí)別出的所述視頻模式來(lái)確定超分辨率等級(jí)；以及分辨率提高模塊，配置為以所述視頻確定模塊確定的所述超分辨率等級(jí)對(duì)所述第一視頻信號(hào)執(zhí)行超分辨率轉(zhuǎn)換。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括視頻模式 指定才莫塊，配置為4妄收輸入并才艮據(jù)所述輸入指定3見(jiàn)頻才莫式。
3. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述等級(jí)存儲(chǔ)模 塊配置為將所述超分辨率等級(jí)作為參數(shù)進(jìn)行存儲(chǔ)。
4. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，進(jìn)一步包括顯示模塊， 配置為顯示通過(guò)所述超分辨率轉(zhuǎn)換獲得的所述第二視頻信號(hào)。
5. —種圖像處理設(shè)備,包括等級(jí)存儲(chǔ)模塊，配置為存儲(chǔ)表示超分辨率轉(zhuǎn)換密度的超 分辨率等級(jí)，其中， 一旦接收到具有第一分辨率的第一視頻信 號(hào)，就從所述第一視頻信號(hào)估計(jì)原始像素值，并增加像素以獲 得具有高于所述第 一分辨率的第二分辨率的第二視頻信號(hào)，所 述超分辨率等級(jí)與節(jié)目類(lèi)別代碼相關(guān)，所述節(jié)目類(lèi)別代碼表示包含在所述第 一視頻信號(hào)或所述第二視頻信號(hào)中的節(jié)目的類(lèi)別；視頻確定4莫塊，配置為識(shí)別所述節(jié)目類(lèi)別代碼，并基于 識(shí)別出的所述節(jié)目類(lèi)別代碼來(lái)確定所述超分辨率等級(jí)；以及分辨率提高模塊，配置為以所述視頻確定模塊確定的所 述超分辨率等級(jí)對(duì)所述第 一視頻信號(hào)執(zhí)行超分辨率轉(zhuǎn)換。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，進(jìn)一步包括接收機(jī)， 配置為從無(wú)線電波、通過(guò)通信信道、或從連接至所述接收機(jī)的 外部裝置，接收所述第一視頻信號(hào)，其中，所述視頻確定模塊配置為基于包含在所述接收機(jī)接收到 的所述第一一見(jiàn)頻信號(hào)中的所述節(jié)目類(lèi)別ft碼來(lái)確定所述超分 ，辟率等雙。一種圖卩象處理i殳備，包括等級(jí)存儲(chǔ)模塊，配置為存儲(chǔ)表示超分辨率轉(zhuǎn)換密度的超 分辨率等級(jí)，其中，通過(guò)將第一分辨率提高至第二分辨率而從 具有所述第一分辨率的第一視頻信號(hào)獲得具有所述第二分辨 率的第二纟見(jiàn)頻信號(hào)，所述超分辨率等級(jí)與顯示所述第二纟見(jiàn)頻信 號(hào)的一見(jiàn)頻才莫式相關(guān)；-f見(jiàn)頻確定才莫塊，配置為識(shí)別一見(jiàn)頻沖莫式，并基于識(shí)別出的 所述一見(jiàn)頻才莫式來(lái)確定所述超分辨率等級(jí)；以及
7.分辨率^是高才莫塊，配置為以所述^L頻確定才莫塊確定的所 述超分辨率等級(jí)對(duì)所述第一視頻信號(hào)執(zhí)行超分辨率轉(zhuǎn)換。
8. —種圖l象處理方法，包4舌存儲(chǔ)表示超分辨率轉(zhuǎn)換密度的超分辨率等級(jí)，其中，一 旦接收到具有第 一分辨率的第 一視頻信號(hào)，就從所述第 一視頻信號(hào)估計(jì)原始像素值，并增加像素以獲得具有高于所述第一分 辨率的第二分辨率的第二視頻信號(hào)，所述超分辨率等級(jí)與顯示 所述第二視頻信號(hào)的視頻模式相關(guān)；識(shí)別所述^L頻才莫式以基于識(shí)別出的所述4見(jiàn)頻才莫式來(lái)確定 所述超分辨率等級(jí)；以及以確定的所述超分辨率等級(jí)對(duì)所述第 一一見(jiàn)頻信號(hào)^丸行超 分辨率轉(zhuǎn)換。
全文摘要
根據(jù)一個(gè)實(shí)施例，一種圖像處理設(shè)備包括等級(jí)存儲(chǔ)模塊、視頻確定模塊、和分辨率提高模塊。等級(jí)存儲(chǔ)模塊存儲(chǔ)與視頻模式相關(guān)的超分辨率等級(jí)。超分辨率等級(jí)表示超分辨率轉(zhuǎn)換密度，其中，從具有第一分辨率的第一視頻信號(hào)獲得具有高于第一分辨率的第二分辨率、并且將要以該視頻模式進(jìn)行顯示的第二視頻信號(hào)。視頻確定模塊識(shí)別視頻模式，并基于識(shí)別出的視頻模式來(lái)確定超分辨率等級(jí)。分辨率提高模塊以視頻確定模塊確定的超分辨率等級(jí)對(duì)第一視頻信號(hào)執(zhí)行超分辨率轉(zhuǎn)換。
文檔編號(hào)H04N5/66GK101646042SQ20091012600
公開(kāi)日2010年2月10日 申請(qǐng)日期2009年2月26日 優(yōu)先權(quán)日2008年8月4日
發(fā)明者寺田宗城, 永井賢一 申請(qǐng)人:株式會(huì)社東芝