專(zhuān)利名稱(chēng)：幀速率轉(zhuǎn)換裝置及幀速率轉(zhuǎn)換方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于對(duì)輸入圖像進(jìn)行幀速率轉(zhuǎn)換的幀速率轉(zhuǎn)換裝置及幀速率轉(zhuǎn)換方 法。
背景技術(shù)：
按照顯示設(shè)備的顯示特性，顯示設(shè)備大致分為兩類(lèi)，即脈沖型和保持型。這里所指 的脈沖型顯示設(shè)備是在單幀中具有短的光發(fā)射時(shí)間的顯示設(shè)備，如圖1A所示。另一方面， 保持型顯示設(shè)備是在單幀中保持幾乎恒定的顯示的、諸如液晶面板的顯示設(shè)備，如圖1B所
7J\ o脈沖型顯示設(shè)備的示例包括CRT(陰極射線管)顯示器和場(chǎng)發(fā)射型顯示器。脈沖 型具有因?yàn)橄袼胤磸?fù)閃爍而易于引起諸如畫(huà)面出現(xiàn)閃爍的閃變(flicker)的特性。由于在 較高亮度(luminance)的情況下或者在較大畫(huà)面區(qū)域中更容易檢測(cè)到閃變，因此隨著近來(lái) 顯示畫(huà)面大小的增加，需要進(jìn)一步改善脈沖型顯示設(shè)備存在的閃變問(wèn)題。保持型顯示設(shè)備的一個(gè)示例為IXD(液晶顯示器)。因?yàn)橄袼卣丈鋾r(shí)間長(zhǎng)，所以保 持型存在運(yùn)動(dòng)圖像由于保持型的特性而產(chǎn)生運(yùn)動(dòng)模糊的問(wèn)題。換言之，需要改善的問(wèn)題在 于降低的運(yùn)動(dòng)圖像的視覺(jué)分辨率。作為改善這種運(yùn)動(dòng)模糊的方法，提出了如下方法向液晶面板添加光閥(optical shutter)機(jī)構(gòu)，以限制顯示光的持續(xù)時(shí)間，由此帶來(lái)更接近于脈沖型顯示設(shè)備的顯示特性 (例如參見(jiàn)日本特開(kāi)平9-325715號(hào)公報(bào))。然而，上述方法(日本特開(kāi)平9-325715號(hào)公報(bào))存在因?yàn)轱@示特性更接近于像素 反復(fù)閃爍的脈沖型，所以發(fā)生閃變的問(wèn)題。用于減少這種閃變的方法的一個(gè)示例為通過(guò)利用任意因素將輸入幀劃分為多個(gè) 子幀而增加顯示的幀速率的方法。例如，將圖2A所示的輸入圖像劃分為圖2B所示的兩個(gè) 子幀，使得顯示的幀速率變?yōu)閮杀叮@提高了顯示的時(shí)間頻率，結(jié)果，使得更不可能檢測(cè)到閃變。然而，在觀看這種顯示時(shí)，如圖3所示，在單幀時(shí)間期間，時(shí)間上在后的子幀偏離 了視線跟蹤，從而出現(xiàn)依賴(lài)視覺(jué)特性的偽輪廓。為了減少這種偽輪廓，已知在幀速率轉(zhuǎn)換時(shí)增加或減少劃分的子幀的空間頻率分 量的技術(shù)(例如參見(jiàn)日本特開(kāi)2002-351382號(hào)公報(bào))。利用這種技術(shù)，降低時(shí)間上在后的子 幀的高頻分量，察覺(jué)的偽輪廓因此得以改善。然而，利用上述技術(shù)(日本特開(kāi)2002-351382號(hào)公報(bào))，存在邊緣附近的邊緣對(duì)比 度(contrast)降低導(dǎo)致的浮動(dòng)黑水平(floating black level)的問(wèn)題，以及明顯的運(yùn)動(dòng) 邊緣拖尾的問(wèn)題。在上述技術(shù)(日本特開(kāi)2002-351382號(hào)公報(bào))中，當(dāng)利用空間頻率分離 圖像時(shí)，由低通濾波器或高通濾波器的濾波因數(shù)來(lái)確定分離頻率。圖4A和圖4B是例示低通濾波器的濾波因數(shù)與低通濾波器的輸出之間的關(guān)系的 圖。圖4A代表低通濾波器的濾波因數(shù)高的情況下的空間權(quán)重，圖4B代表濾波因數(shù)低的情
4況下的空間權(quán)重。可以看出，在較高的濾波因數(shù)的情況下，距離處理的像素位置越遠(yuǎn)的像素 值權(quán)重越大。圖5A至圖5C是例示針對(duì)低通濾波器的濾波因數(shù)高的情況以及濾波因數(shù)低的情 況、關(guān)于輸入的輸出的圖。圖5A代表輸入?？梢钥闯觯c圖5C所示的低濾波因數(shù)相比，圖 5B所示的高濾波因數(shù)導(dǎo)致更低的空間頻率。圖6A和圖6B是例示在應(yīng)用上述技術(shù)(日本特開(kāi)2002-351382號(hào)公報(bào))的情況下 顯示輸出的概要與在視覺(jué)上捕獲的顯示輸出的外觀之間的關(guān)系的圖。參照?qǐng)D6A，發(fā)現(xiàn)在高 邊緣對(duì)比度區(qū)域中，圖中的黑色填充區(qū)域的亮度增加，并且該區(qū)域顯現(xiàn)浮動(dòng)黑水平。問(wèn)題在 于，隨著濾波因數(shù)的增大，這種浮動(dòng)黑水平區(qū)域(例如圖像劣化區(qū)域)的面積也增大。另一方面，參照?qǐng)D6B，發(fā)現(xiàn)在運(yùn)動(dòng)區(qū)域的邊緣部分出現(xiàn)邊緣崩潰(breakup)。這種 崩潰隨著濾波因數(shù)的減小而擴(kuò)大。

發(fā)明內(nèi)容
本發(fā)明提供一種保持減少閃變、運(yùn)動(dòng)模糊、偽輪廓以及圖像崩潰的效果的裝置及 方法。根據(jù)本發(fā)明的一個(gè)方面，提供一種幀速率轉(zhuǎn)換裝置，其將輸入幀劃分為多個(gè)子幀 并執(zhí)行幀速率轉(zhuǎn)換，該幀速率轉(zhuǎn)換裝置包括檢測(cè)單元，用于檢測(cè)所述輸入幀的運(yùn)動(dòng)度；生 成單元，用于根據(jù)由所述檢測(cè)單元檢測(cè)到的所述運(yùn)動(dòng)度，生成在進(jìn)行濾波時(shí)使用的濾波因 數(shù)；濾波單元，用于基于由所述生成單元生成的所述濾波因數(shù)，對(duì)所述輸入幀進(jìn)行濾波；以 及輸出單元，用于將作為所述濾波單元進(jìn)行濾波的結(jié)果而獲得的幀劃分為多個(gè)子幀，并輸 出所述子幀。根據(jù)本發(fā)明的另一方面，提供一種幀速率轉(zhuǎn)換裝置，其將輸入幀劃分為多個(gè)子幀 并執(zhí)行幀速率轉(zhuǎn)換，該幀速率轉(zhuǎn)換裝置包括檢測(cè)單元，用于檢測(cè)所述輸入幀的運(yùn)動(dòng)度；濾 波單元，用于基于預(yù)定的不同的濾波因數(shù)，分別對(duì)所述輸入幀進(jìn)行濾波；計(jì)算單元，用于根 據(jù)由所述檢測(cè)單元檢測(cè)到的所述運(yùn)動(dòng)度，計(jì)算針對(duì)由所述濾波單元使用所述不同的濾波因 數(shù)分別進(jìn)行了濾波的多個(gè)幀的合成比率；合成單元，用于基于由所述計(jì)算單元計(jì)算的所述 合成比率，對(duì)所述濾波單元分別進(jìn)行了濾波的所述多個(gè)幀進(jìn)行合成；以及輸出單元，用于將 作為由所述合成單元進(jìn)行合成的結(jié)果而獲得的幀劃分為多個(gè)子幀，并輸出所述子幀。根據(jù)本發(fā)明的又一方面，提供一種由幀速率轉(zhuǎn)換裝置執(zhí)行的幀速率轉(zhuǎn)換方法，所 述幀速率轉(zhuǎn)換裝置將輸入幀劃分為多個(gè)子幀并執(zhí)行幀速率轉(zhuǎn)換，所述幀速率轉(zhuǎn)換方法包 括檢測(cè)步驟，檢測(cè)所述輸入幀的運(yùn)動(dòng)度；生成步驟，根據(jù)在所述檢測(cè)步驟中檢測(cè)到的所述 運(yùn)動(dòng)度，生成濾波因數(shù)；濾波步驟，基于在所述生成步驟中生成的所述濾波因數(shù)，對(duì)所述輸 入幀進(jìn)行濾波；以及輸出步驟，將作為在所述濾波步驟中進(jìn)行濾波的結(jié)果而獲得的幀劃分 為多個(gè)子幀，并輸出所述子幀。根據(jù)本發(fā)明的又一方面，提供一種由幀速率轉(zhuǎn)換裝置執(zhí)行的幀速率轉(zhuǎn)換方法，所 述幀速率轉(zhuǎn)換裝置將輸入幀劃分為多個(gè)子幀并執(zhí)行幀速率轉(zhuǎn)換，所述幀速率轉(zhuǎn)換方法包 括檢測(cè)步驟，檢測(cè)所述輸入幀的運(yùn)動(dòng)度；濾波步驟，基于預(yù)定的不同的濾波因數(shù)，分別對(duì) 所述輸入幀進(jìn)行濾波；計(jì)算步驟，根據(jù)在所述檢測(cè)步驟中檢測(cè)到的所述運(yùn)動(dòng)度，計(jì)算針對(duì)在 所述濾波步驟中分別進(jìn)行了濾波的多個(gè)幀的合成比率；合成步驟，基于在所述計(jì)算步驟中計(jì)算的所述合成比率，對(duì)在所述濾波步驟中分別進(jìn)行了濾波的所述多個(gè)幀進(jìn)行合成；以及 輸出步驟，將作為在所述合成步驟中進(jìn)行合成的結(jié)果而獲得的幀劃分為多個(gè)子幀，并輸出 所述子幀。通過(guò)以下對(duì)示例性實(shí)施例的描述(參照附圖)，本發(fā)明的其他特征將變得清楚。


圖1A是例示脈沖型顯示設(shè)備的顯示特性的圖，圖1B是例示保持型顯示設(shè)備的顯 示特性的圖。圖2A是例示脈沖型的輸入幀的圖，圖2B是例示將輸入幀劃分為兩個(gè)子幀的情況 的圖。圖3是例示由于視覺(jué)特性而產(chǎn)生偽輪廓的示例的圖。圖4A和圖4B是例示低通濾波器的濾波因數(shù)與低通濾波器的輸出之間的關(guān)系的 圖。圖5A至圖5C是例示針對(duì)低通濾波器的濾波因數(shù)高的情況以及濾波因數(shù)低的情 況、關(guān)于輸入的輸出的圖。圖6A和圖6B是例示在應(yīng)用日本特開(kāi)2002-351382號(hào)公報(bào)的技術(shù)的情況下顯示輸 出的概要與在視覺(jué)上捕獲的顯示輸出的外觀之間的關(guān)系的圖。圖7是例示根據(jù)第一實(shí)施例的幀速率轉(zhuǎn)換裝置的結(jié)構(gòu)的示例的示意性框圖。圖8是示出由運(yùn)動(dòng)區(qū)域檢測(cè)單元703執(zhí)行的處理的示例的流程圖。圖9是例示幀間差分值D與運(yùn)動(dòng)度M之間的關(guān)系的示例的圖。圖10是示出由濾波因數(shù)生成單元704執(zhí)行的處理的示例的流程圖。圖11是說(shuō)明生成濾波因數(shù)映射的處理的圖。圖12是例示濾波因數(shù)在子幀中的運(yùn)動(dòng)區(qū)域的端部改變的示例的圖。圖13A和圖13B是例示在靜止區(qū)域與運(yùn)動(dòng)區(qū)域之間的邊界發(fā)生圖像崩潰的示例的 圖。圖14A和圖14B是例示根據(jù)第一實(shí)施例的、針對(duì)濾波因數(shù)F改變的情況的輸出的 圖。圖15是示出根據(jù)第一實(shí)施例的幀速率轉(zhuǎn)換處理的流程圖。圖16是示出根據(jù)變型例的、由運(yùn)動(dòng)區(qū)域檢測(cè)單元執(zhí)行的處理的流程圖。圖17是例示運(yùn)動(dòng)度M為二值以外的情況的示例的圖。圖18是示出運(yùn)動(dòng)區(qū)域檢測(cè)單元對(duì)多個(gè)幀執(zhí)行的處理的流程圖。圖19是例示根據(jù)第二實(shí)施例的幀速率轉(zhuǎn)換裝置的結(jié)構(gòu)的示例的示意性框圖。圖20是示出根據(jù)第二實(shí)施例的幀速率轉(zhuǎn)換處理的流程圖。圖21是例示根據(jù)本發(fā)明的實(shí)施例的幀速率轉(zhuǎn)換裝置的硬件結(jié)構(gòu)的圖。
具體實(shí)施例方式下文中，參照附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施例。第一實(shí)施例圖7是例示根據(jù)第一實(shí)施例的幀速率轉(zhuǎn)換裝置的結(jié)構(gòu)的示例的示意性框圖。幀速
6率轉(zhuǎn)換裝置將輸入圖像(下文稱(chēng)作“輸入幀”)劃分為多個(gè)子幀，從而使輸出幀速率倍增。 通過(guò)根據(jù)幀間差分檢測(cè)輸入幀中的各區(qū)域的運(yùn)動(dòng)，然后將檢測(cè)結(jié)果反映到子幀中的各區(qū)域 的空間頻率分量中，來(lái)劃分輸入幀。注意，使用例如通過(guò)幀速率轉(zhuǎn)換來(lái)使輸入幀速率變?yōu)閮杀兜氖纠齺?lái)描述本實(shí)施 例。幀速率轉(zhuǎn)換裝置對(duì)輸入幀執(zhí)行幀速率轉(zhuǎn)換，從而減少閃變和運(yùn)動(dòng)模糊，進(jìn)一步減 少幀速率轉(zhuǎn)換后的視頻顯示的崩潰。這里，閃變發(fā)生的頻率與劃分的子幀之間的對(duì)比度相 關(guān)。類(lèi)似地，運(yùn)動(dòng)模糊發(fā)生的頻率與對(duì)比度相關(guān)。具體地，閃變的發(fā)生取決于圖7所示的子幀s704與s705之間的對(duì)比度。S卩，隨 著這些子幀之間的亮度差的增加，更可能發(fā)生閃變，而隨著亮度差的減小，更不可能發(fā)生閃變。注意，子幀s704在單幀時(shí)間期間的輸出時(shí)間在后，而子幀s705在單幀時(shí)間期間的 輸出時(shí)間在前。幀速率轉(zhuǎn)換裝置控制子幀s704和s705的各區(qū)域的空間頻率?；谠趲g檢測(cè) 到的各區(qū)域的運(yùn)動(dòng)與圖像劣化之間的關(guān)系來(lái)執(zhí)行該控制。幀速率轉(zhuǎn)換裝置包括以下部件作為功能部件幀存儲(chǔ)器702、運(yùn)動(dòng)區(qū)域檢測(cè)單元 703、濾波因數(shù)生成單元704、低通濾波處理單元705、劃分處理單元706、差分處理單元707 以及切換單元708。幀存儲(chǔ)器702依次保持一個(gè)或更多個(gè)輸入幀。運(yùn)動(dòng)區(qū)域檢測(cè)單元703將存儲(chǔ)在幀 存儲(chǔ)器702中的幀s701與輸入幀s700進(jìn)行比較，計(jì)算幀s701中的各區(qū)域的運(yùn)動(dòng)度M，并輸 出作為結(jié)果的運(yùn)動(dòng)映射Mmap作為s702。圖8是示出運(yùn)動(dòng)區(qū)域檢測(cè)單元703執(zhí)行的處理的示例的流程圖。首先，運(yùn)動(dòng)區(qū)域檢 測(cè)單元703輸入包括輸入幀的多個(gè)幀(S801)。然后，針對(duì)各像素計(jì)算輸入幀與在輸入幀之 前(例如緊接之前)輸入的幀之間的差分(S802)。然后，根據(jù)差分值計(jì)算運(yùn)動(dòng)度M(S803)。 然后，將作為結(jié)果的各區(qū)域的運(yùn)動(dòng)度M作為映射狀(二維)數(shù)據(jù)Mmap輸出(S804)。注意，雖然本實(shí)施例描述了各區(qū)域代表單個(gè)像素的情況，但是各區(qū)域也可以是預(yù) 定范圍的多個(gè)像素(NXN個(gè)像素)。在各區(qū)域代表多個(gè)像素的情況下，可以將多個(gè)像素的平 均值例如作為該區(qū)域的值來(lái)處理，從而以與各區(qū)域代表單個(gè)像素的情況相同的方式來(lái)對(duì)各 區(qū)域進(jìn)行處理。圖9是例示幀間差分值D與運(yùn)動(dòng)度M之間的關(guān)系的示例的圖。如圖9所示，隨著 幀間差分值D的增加，檢測(cè)到的運(yùn)動(dòng)度M趨于增加。雖然本實(shí)施例描述了運(yùn)動(dòng)度M代表運(yùn) 動(dòng)度的情況，但是其當(dāng)然可以是相反的，例如是靜止度。運(yùn)動(dòng)區(qū)域檢測(cè)單元703執(zhí)行施加相對(duì)低的處理負(fù)荷的閾值處理，以計(jì)算從幀存儲(chǔ) 器702輸出的幀s701中的各區(qū)域的運(yùn)動(dòng)度。具體地，如果幀間差分值比(預(yù)定)閾值dl 低，則輸出運(yùn)動(dòng)度ml，而如果幀間差分值不低于閾值dl，則輸出運(yùn)動(dòng)度m2。對(duì)針對(duì)各區(qū)域計(jì) 算的各幀間差分值執(zhí)行該閾值處理，并且輸出作為結(jié)果的映射狀數(shù)據(jù)Mmap作為運(yùn)動(dòng)度。這 里，假定運(yùn)動(dòng)度m2高于運(yùn)動(dòng)度ml。然后，濾波因數(shù)生成單元704對(duì)輸入的運(yùn)動(dòng)度映射Mmap執(zhí)行濾波，并且將作為結(jié) 果的s703作為濾波因數(shù)映射Fmap輸出到低通濾波處理單元705。
圖10是示出由濾波因數(shù)生成單元704執(zhí)行的處理的示例的流程圖。首先，濾波因 數(shù)生成單元704輸入運(yùn)動(dòng)度映射Mmap (S1001)。在運(yùn)動(dòng)度映射Mmap (圖11中的Ila所示) 上，對(duì)被確定為靜止區(qū)域的區(qū)域(具有低于dl的運(yùn)動(dòng)度M的區(qū)域)賦予運(yùn)動(dòng)度ml。此外， 對(duì)被確定為運(yùn)動(dòng)區(qū)域的區(qū)域(具有高于dl的運(yùn)動(dòng)度M的區(qū)域)賦予運(yùn)動(dòng)度m2。水平軸表 示像素位置。
然后，濾波因數(shù)生成單元704對(duì)運(yùn)動(dòng)度映射Mmap執(zhí)行比較增加濾波(S1002)。在 本示例中，將關(guān)注區(qū)域的運(yùn)動(dòng)度M的值與周邊區(qū)域(預(yù)定范圍的區(qū)域)的運(yùn)動(dòng)度M的值進(jìn) 行比較，以增加關(guān)注區(qū)域的運(yùn)動(dòng)度M的值。這是例如利用濾波范圍內(nèi)的最大值替換特定值 的處理。結(jié)果，如圖11中的lib所示，運(yùn)動(dòng)度映射Mmap上的運(yùn)動(dòng)度M的部分值增加。然后，濾波因數(shù)生成單元704對(duì)比較增加濾波的結(jié)果執(zhí)行平滑濾波，如圖11中的 Ilc所示，以使結(jié)果正規(guī)化(normalize)為在低通濾波處理單元705中使用的低通濾波因 數(shù)(S1003)。然后，將正規(guī)化的濾波因數(shù)作為濾波因數(shù)映射Fmap輸出到低通濾波處理單元 705(S1004)。輸出的濾波因數(shù)映射Fmap給出通過(guò)低通濾波處理去除高頻分量信號(hào)、然后將空 間平滑的值正規(guī)化而獲得的值，如圖11中的Ild所示。如果靜止區(qū)域與運(yùn)動(dòng)區(qū)域鄰接，則 在靜止區(qū)域中的直到靜止區(qū)域與運(yùn)動(dòng)區(qū)域鄰接的位置處的預(yù)定范圍內(nèi)，連續(xù)增加分配校正 因數(shù)R的值，如圖11中的Ilc所示。以這種方式，根據(jù)本實(shí)施例的濾波因數(shù)生成單元704改變輸入幀中的各區(qū)域的濾 波因數(shù)映射Fmap。在進(jìn)行該改變時(shí)，通過(guò)平滑濾波來(lái)平滑運(yùn)動(dòng)度映射Mmap，以在空間上平 滑地改變分配校正因數(shù)R。注意，在平滑濾波之前執(zhí)行比較增加濾波的理由是如果在不執(zhí)行比較增加濾波 的情況下生成濾波因數(shù)映射Fmap，則濾波因數(shù)將在子幀中的運(yùn)動(dòng)區(qū)域的端部改變，如圖12 所示。此外，在靜止區(qū)域與運(yùn)動(dòng)區(qū)域之間的邊界處將發(fā)生圖像崩潰，如圖13A所示。因此期 望，如圖13B所示，僅在靜止區(qū)域內(nèi)執(zhí)行濾波因數(shù)為R的平滑處理，而不在運(yùn)動(dòng)區(qū)域中執(zhí)行。通過(guò)上述處理，將與適合各區(qū)域的低通濾波權(quán)重相對(duì)應(yīng)的濾波因數(shù)作為Fmap輸 出到低通濾波處理單元705。然后，低通濾波處理單元705基于從濾波因數(shù)生成單元704接收的濾波因數(shù)映射 Fmap對(duì)輸入幀s701執(zhí)行低通濾波。在本示例中，通過(guò)與濾波因數(shù)映射Fmap相對(duì)應(yīng)地、適當(dāng) 地改變低通濾波權(quán)重，來(lái)對(duì)各區(qū)域進(jìn)行濾波，如圖4A和圖4B所示。然后，劃分處理單元706轉(zhuǎn)換從低通濾波處理單元705獲得的輸出幀值，并輸出子 幀s704作為第一子幀。然后，差分處理單元707基于存儲(chǔ)在幀存儲(chǔ)器702中的幀s701，生成并輸出子幀 s705作為第二子幀。例如，將幀s701與子幀s705之間的差分作為處理結(jié)果輸出。在此情 況下，輸出子幀的和與幀s701 —致。在脈沖型顯示設(shè)備的情況下，如果在任意時(shí)間內(nèi)顯示的信號(hào)的和保持相同，則由 于視亮度(apparent luminance)看起來(lái)相當(dāng)，因此能夠在幀速率轉(zhuǎn)換之前以及之后保持相 同的亮度。切換單元708交替地切換并輸出子幀s704和子幀s705作為輸出幀s706。圖14A和圖14B是例示根據(jù)本實(shí)施例的濾波因數(shù)F改變的情況下的輸出的圖。例如，如上所述，將小運(yùn)動(dòng)區(qū)域的濾波因數(shù)F設(shè)置為低。因此，在單幀時(shí)間期間輸出時(shí)間在后 的子幀s704中，該區(qū)域的空間頻率高。在此情況下，各子幀中的該區(qū)域的亮度由圖14A中的 波形表示。由于不太可能在這種小運(yùn)動(dòng)區(qū)域中生成偽輪廓，因此不需要降低空間頻率。另 夕卜，可以看出與圖6A所示的情況相比，這種高空間頻率削減了在低亮度邊緣側(cè)亮度增加 的區(qū)域。另一方面，如上所述，將大運(yùn)動(dòng)區(qū)域的濾波因數(shù)F設(shè)置為高。因此，在單幀時(shí)間期 間輸出時(shí)間在后的子幀s704中，該區(qū)域的空間頻率低。在此情況下，各子幀中的該區(qū)域的 亮度由圖14B中的波形表示。可以看出與圖6B所示的情況相比，在時(shí)間上在后的子幀中 的這種低空間頻率減少了明顯的圖像崩潰。如上所述，在脈沖型顯示設(shè)備的情況下，由于子幀s705與s704之間的對(duì)比度而發(fā)生閃變。在保持型顯示設(shè)備的情況下，如果對(duì)比度低，則在保持低對(duì)比度的同時(shí)控制空間頻率。因此，能夠在保持減少閃變的效果的同時(shí)，減少偽輪廓以及諸如浮動(dòng)黑水平的圖 像崩潰。接著，參照?qǐng)D15來(lái)描述由圖7所示的幀速率轉(zhuǎn)換裝置執(zhí)行的處理。圖15是示出根據(jù)本實(shí)施例的幀速率轉(zhuǎn)換處理的流程圖。首先，在接收到輸入幀 s700(S1501)時(shí)，幀速率轉(zhuǎn)換裝置將該幀存儲(chǔ)到幀存儲(chǔ)器702中(S1502)。在存儲(chǔ)該幀之后， 幀速率轉(zhuǎn)換裝置利用運(yùn)動(dòng)區(qū)域檢測(cè)單元703將輸入幀s700與已經(jīng)存儲(chǔ)在幀存儲(chǔ)器702中 的幀進(jìn)行比較。然后，幀速率轉(zhuǎn)換裝置計(jì)算已經(jīng)存儲(chǔ)在幀存儲(chǔ)器702中的幀s701中的各區(qū) 域的運(yùn)動(dòng)度M，并輸出運(yùn)動(dòng)度映射Mmap (S1503)。之后，幀速率轉(zhuǎn)換裝置利用濾波因數(shù)生成單元704，對(duì)在S1503中計(jì)算的運(yùn)動(dòng)度映 射Mmap進(jìn)行處理，并計(jì)算結(jié)果作為濾波因數(shù)映射Fmap (S1504)。在計(jì)算濾波因數(shù)映射Fmap 之后，幀速率轉(zhuǎn)換裝置利用低通濾波處理單元705對(duì)存儲(chǔ)在幀存儲(chǔ)器702中的幀s701進(jìn)行 處理(S1505)。然后，幀速率轉(zhuǎn)換裝置利用劃分處理單元706，轉(zhuǎn)換由低通濾波處理單元705處理 的值，并生成子幀s704 (S1506)。在生成子幀s704之后，幀速率轉(zhuǎn)換裝置利用差分處理單元 707，根據(jù)幀s704與已經(jīng)存儲(chǔ)在幀存儲(chǔ)器702中的幀s701之間的差分生成子幀s705。之 后，幀速率轉(zhuǎn)換裝置利用切換單元708，交替地切換并輸出子幀s704和子幀s705。在這之 后，在每次將輸入幀輸入時(shí)，重復(fù)上述處理。如上所述，根據(jù)本實(shí)施例，針對(duì)輸入幀S700的圖像中的各區(qū)域檢測(cè)運(yùn)動(dòng)度，并依 據(jù)檢測(cè)結(jié)果來(lái)確定子幀(s704和s705)中的各區(qū)域的空間頻率。這使得在保持減少閃變的 效果的同時(shí)，減少偽輪廓和圖像崩潰。第二實(shí)施例接著，描述第二實(shí)施例。在第一實(shí)施例中，針對(duì)輸入幀中的各區(qū)域以多個(gè)水平改變 低通濾波器的濾波因數(shù)。在第二實(shí)施例中，在幾個(gè)水平(例如兩個(gè)水平)之間切換濾波因 數(shù)，通過(guò)對(duì)輸入幀中的區(qū)域之間的邊界處的那些結(jié)果進(jìn)行線性組合來(lái)平滑地構(gòu)成圖像。圖19是例示根據(jù)第二實(shí)施例的幀速率轉(zhuǎn)換裝置的結(jié)構(gòu)的示意性框圖。與在第一 實(shí)施例中相同，運(yùn)動(dòng)區(qū)域檢測(cè)單元703針對(duì)輸入的多個(gè)幀中的各像素計(jì)算幀間差分，并隨 著運(yùn)動(dòng)度M的增加設(shè)置更高的輸出值。在濾波因數(shù)具有兩個(gè)水平的情況下，輸入與輸出之間的關(guān)系可以如圖9所示。在本實(shí)施例的情況下，將ml和m2設(shè)置為O到1的值。合成比率生成單元1909對(duì)輸入了 0到1的值的運(yùn)動(dòng)度映射Mmap執(zhí)行圖10的流 程圖所示的處理。結(jié)果，在空間上加寬運(yùn)動(dòng)區(qū)域，并計(jì)算平滑后的合成比率因數(shù)映射Rmap。 該映射Rmap與第一實(shí)施例中描述的映射Fmap不同，因?yàn)镽map的輸入值在0到1的范圍內(nèi)。
接著，描述第一低通濾波處理單元1910和第二低通濾波處理單元1911。這兩個(gè) 處理單元被構(gòu)造為一個(gè)單元具有比另一個(gè)單元的濾波因數(shù)高的濾波因數(shù)。在此情況下，以 二維表示的第一低通濾波處理單元1910的濾波因數(shù)如圖4A所示，第二低通濾波處理單元 1911的濾波因數(shù)如圖4B所示。它們的輸出結(jié)果分別如圖5B和圖5C所示。根據(jù)合成比率因數(shù)映射Rmap，合成單元1912利用下面的等式1對(duì)來(lái)自第一低通濾 波處理單元1910及第二低通濾波處理單元1911的輸出執(zhí)行計(jì)算，其中Dout是合成單元的 輸出，Dli是第一低通濾波處理單元的輸出，Dl2是第二低通濾波處理單元的輸出，以及χ是 像素位置Dout = Rmap (χ) X Dli (χ) +Rmap (χ) X Dl2 (χ)劃分處理單元706、差分處理單元707以及切換單元708的操作與第一實(shí)施例描述 的相同。合成比率生成單元1909和合成單元1912使得能夠生成具有依照運(yùn)動(dòng)區(qū)域而改變 的濾波因數(shù)的子幀，并且這些子幀產(chǎn)生在空間上平滑的低通圖像。圖20是示出根據(jù)第二實(shí)施例的幀速率轉(zhuǎn)換處理的流程圖。首先，在將輸入幀s700 輸入(S2002)時(shí)，幀速率轉(zhuǎn)換裝置將該幀存儲(chǔ)到幀存儲(chǔ)器702中(S2003)。在存儲(chǔ)該幀之 后，幀速率轉(zhuǎn)換裝置利用運(yùn)動(dòng)區(qū)域檢測(cè)單元703，將輸入幀s700與已經(jīng)存儲(chǔ)在幀存儲(chǔ)器702 中的幀進(jìn)行比較。然后，幀速率轉(zhuǎn)換裝置計(jì)算已經(jīng)存儲(chǔ)在幀存儲(chǔ)器702中的幀s701中的各 區(qū)域的運(yùn)動(dòng)度Μ，并輸出運(yùn)動(dòng)度映射Mmap (S2004)。之后，幀速率轉(zhuǎn)換裝置利用合成比率生成單元1909，對(duì)在S2004中計(jì)算的運(yùn)動(dòng)度 映射Mmap進(jìn)行處理，并計(jì)算處理結(jié)果作為合成比率因數(shù)映射Rmap (S2005)。在計(jì)算合成比 率因數(shù)映射Rmap之后，幀速率轉(zhuǎn)換裝置利用第一低通濾波處理單元1910，對(duì)存儲(chǔ)在幀存 儲(chǔ)器702中的幀s701進(jìn)行處理(S2006)。幀速率轉(zhuǎn)換裝置還利用第二低通濾波處理單元 1911，對(duì)存儲(chǔ)在幀存儲(chǔ)器702中的幀s701進(jìn)行處理(S2007)。然后，合成單元1912根據(jù)合成比率生成單元1909獲得的結(jié)果S1903對(duì)來(lái)自第一 低通濾波處理單元1910和第二低通濾波處理單元1911的作為結(jié)果的值進(jìn)行合成(S2008)。 然后，劃分處理單元706利用等式1計(jì)算由合成單元1912獲得的處理值，以生成子幀 s704 (S2009)。在生成子幀s704后，幀速率轉(zhuǎn)換裝置利用差分處理單元707，根據(jù)子幀s704 與已經(jīng)存儲(chǔ)在幀存儲(chǔ)器702中的幀s701之間的差分生成子幀s705。之后，幀速率轉(zhuǎn)換裝置 利用切換單元708，交替地切換并輸出子幀s704和子幀s705 (S2011)。之后，在每次將輸入 幀輸入時(shí)，重復(fù)上述處理。根據(jù)本實(shí)施例，針對(duì)輸入幀S700的圖像中的各區(qū)域檢測(cè)運(yùn)動(dòng)度，并且根據(jù)檢測(cè)結(jié) 果確定子幀(s704和s705)中的各區(qū)域的空間頻率。這使得在保持減少閃變的效果的同時(shí)， 減少偽輪廓和圖像崩潰。以上描述了本發(fā)明的代表性實(shí)施例的示例，但是本發(fā)明并不限于以上描述的并在 圖中示出的實(shí)施例，本發(fā)明可以在不背離其主旨的情況下適當(dāng)?shù)剡M(jìn)行修改。
其他實(shí)施例雖然使用獲得幀間差分、并根據(jù)差分值與閾值之間的關(guān)系來(lái)計(jì)算輸入幀的圖像中的各區(qū)域的運(yùn)動(dòng)度M的示例，描述了根據(jù)本發(fā)明的實(shí)施例，但是本發(fā)明不限于此。例如，可 以計(jì)算各區(qū)域的幀間向量，并且可以根據(jù)該向量的幅值來(lái)計(jì)算運(yùn)動(dòng)度M。這里，參照?qǐng)D16對(duì)運(yùn)動(dòng)區(qū)域檢測(cè)單元703執(zhí)行的、計(jì)算各區(qū)域的幀間向量并根據(jù) 該向量的幅值計(jì)算運(yùn)動(dòng)度M的處理進(jìn)行描述。圖16是示出根據(jù)變型例的運(yùn)動(dòng)區(qū)域檢測(cè)單元703執(zhí)行的處理的流程圖。首先，運(yùn) 動(dòng)區(qū)域檢測(cè)單元703輸入包括輸入幀的多個(gè)幀(S1601)。然后，根據(jù)輸入幀以及在輸入幀之 前(例如緊接之前)輸入的幀來(lái)計(jì)算幀間運(yùn)動(dòng)向量(S1602)。然后，根據(jù)運(yùn)動(dòng)向量計(jì)算運(yùn)動(dòng) 度M(S 1603)，并輸出運(yùn)動(dòng)度M(S1604)。注意，可以基于運(yùn)動(dòng)向量的幅值，以與參照?qǐng)D9描述的相同方式進(jìn)行運(yùn)動(dòng)度M的計(jì) 算。運(yùn)動(dòng)向量的使用提高了輸入幀中的各區(qū)域的運(yùn)動(dòng)度的識(shí)別精度。另外，雖然利用運(yùn)動(dòng)度M為二值(ml、m2)的示例對(duì)根據(jù)本發(fā)明的實(shí)施例進(jìn)行了描 述，但是本發(fā)明不限于此。例如，如圖17所示，如果幀間差分D不低于閾值d2，則可以輸出 m2作為運(yùn)動(dòng)度M，而如果幀間差分D低于閾值d2，則可以輸出ml到m2的值作為運(yùn)動(dòng)度Μ。 這里，如果幀間差分D處于0到d2的范圍內(nèi)，則運(yùn)動(dòng)度M的輸出值隨著差分值的增加而單 調(diào)地改變(增加)。這反映了運(yùn)動(dòng)幅值的連續(xù)性。這種方法當(dāng)然可以在根據(jù)前述運(yùn)動(dòng)向量 獲得運(yùn)動(dòng)度M的情況下采用。作為選擇，在運(yùn)動(dòng)區(qū)域檢測(cè)單元703根據(jù)輸入的多個(gè)幀之間的差分值計(jì)算運(yùn)動(dòng)度 M的情況下，可以根據(jù)通過(guò)對(duì)多個(gè)幀執(zhí)行低通濾波而獲得的低空間頻率圖像之間的差分值 來(lái)計(jì)算運(yùn)動(dòng)度M。圖18是示出運(yùn)動(dòng)區(qū)域檢測(cè)單元對(duì)多個(gè)幀執(zhí)行的處理的流程圖。首先，輸入包括輸 入幀的多個(gè)幀(S1801)，并且對(duì)多個(gè)幀執(zhí)行低通濾波(S1802)。然后，計(jì)算低空間頻率圖像 之間的差分值(S1803)，根據(jù)差分值來(lái)計(jì)算運(yùn)動(dòng)度M(S1804)，并輸出運(yùn)動(dòng)度M(S1805)。這反映了顯示經(jīng)歷過(guò)在空間頻率分離系統(tǒng)中執(zhí)行的幀速率轉(zhuǎn)換的子幀時(shí)的拖尾程度。圖21是例示根據(jù)本發(fā)明的實(shí)施例的幀速率轉(zhuǎn)換裝置的硬件結(jié)構(gòu)的圖。在本示例 中，CPU 190UROM 1902,RAM 1903、硬盤(pán)1904、輸入單元1905、輸出單元1906以及通信I/F 1907連接到總線1909。CPU 1901根據(jù)存儲(chǔ)在ROM 1902中的程序執(zhí)行上述處理。RAM 1903 是包括各種表以及CPU 1901執(zhí)行處理使用的工作區(qū)的存儲(chǔ)器。輸入單元1905是諸如輸入 圖像的照相機(jī)的設(shè)備。輸出單元1906是諸如輸出圖像的顯示設(shè)備的設(shè)備。通信I/F 1907 控制與網(wǎng)絡(luò)1908的數(shù)據(jù)通信。還可以由讀出并執(zhí)行記錄在存儲(chǔ)設(shè)備上的程序來(lái)執(zhí)行上述實(shí)施例的功能的系統(tǒng) 或裝置的計(jì)算機(jī)(或諸如CPU或MPU等的設(shè)備)，來(lái)實(shí)現(xiàn)本發(fā)明的各方面；并且可以利用由 通過(guò)例如讀出并執(zhí)行記錄在存儲(chǔ)設(shè)備上的程序來(lái)執(zhí)行上述實(shí)施例的功能的系統(tǒng)或裝置的 計(jì)算機(jī)來(lái)執(zhí)行各步驟的方法，來(lái)實(shí)現(xiàn)本發(fā)明的各方面。為此，例如經(jīng)由網(wǎng)絡(luò)或從用作存儲(chǔ)設(shè) 備的各種類(lèi)型的記錄介質(zhì)(例如計(jì)算機(jī)可讀介質(zhì))將程序提供給計(jì)算機(jī)。雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明不局限于所 公開(kāi)的示例性實(shí)施例。應(yīng)當(dāng)對(duì)所附權(quán)利要求的范圍給予最寬的解釋?zhuān)允蛊浜w所有這種變型、等同結(jié)構(gòu)和 功能。
權(quán)利要求
一種幀速率轉(zhuǎn)換裝置，其將輸入幀劃分為多個(gè)子幀并執(zhí)行幀速率轉(zhuǎn)換，該幀速率轉(zhuǎn)換裝置包括檢測(cè)單元，用于檢測(cè)所述輸入幀的運(yùn)動(dòng)度；生成單元，用于根據(jù)由所述檢測(cè)單元檢測(cè)到的所述運(yùn)動(dòng)度，生成在進(jìn)行濾波時(shí)使用的濾波因數(shù)；濾波單元，用于基于由所述生成單元生成的所述濾波因數(shù)，對(duì)所述輸入幀進(jìn)行濾波；以及輸出單元，用于將作為所述濾波單元進(jìn)行濾波的結(jié)果而獲得的幀劃分為多個(gè)子幀，并輸出所述子幀。
2.根據(jù)權(quán)利要求1所述的幀速率轉(zhuǎn)換裝置，其中，所述檢測(cè)單元基于根據(jù)所述輸入幀 和在所述輸入幀之前輸入的幀計(jì)算的幀間差分值，檢測(cè)所述輸入幀的所述運(yùn)動(dòng)度。
3.根據(jù)權(quán)利要求1所述的幀速率轉(zhuǎn)換裝置，其中，所述生成單元根據(jù)所述輸入幀的所 述運(yùn)動(dòng)度，生成在控制所劃分的子幀的空間頻率過(guò)程中使用的濾波因數(shù)。
4.根據(jù)權(quán)利要求1所述的幀速率轉(zhuǎn)換裝置，其中，所述濾波單元是從所述輸入幀中去 除高頻分量的低通濾波器。
5.根據(jù)權(quán)利要求1所述的幀速率轉(zhuǎn)換裝置，其中，所述輸出單元包括劃分處理單元，用于將作為所述濾波單元進(jìn)行所述濾波的結(jié)果而獲得的所述幀劃分為 第一子幀；差分處理單元，用于根據(jù)所述第一子幀與所述輸入幀之間的差分生成第二子幀；以及切換單元，用于在所述第一子幀與所述第二子幀之間進(jìn)行切換，并在單幀時(shí)間期間輸 出所述第一子幀與所述第二子幀中的一個(gè)。
6.一種幀速率轉(zhuǎn)換裝置，其將輸入幀劃分為多個(gè)子幀并執(zhí)行幀速率轉(zhuǎn)換，該幀速率轉(zhuǎn) 換裝置包括檢測(cè)單元，用于檢測(cè)所述輸入幀的運(yùn)動(dòng)度；濾波單元，用于基于預(yù)定的不同的濾波因數(shù)，分別對(duì)所述輸入幀進(jìn)行濾波；計(jì)算單元，用于根據(jù)由所述檢測(cè)單元檢測(cè)到的所述運(yùn)動(dòng)度，計(jì)算針對(duì)由所述濾波單元 使用所述不同的濾波因數(shù)分別進(jìn)行了濾波的多個(gè)幀的合成比率；合成單元，用于基于由所述計(jì)算單元計(jì)算的所述合成比率，對(duì)所述濾波單元分別進(jìn)行 了濾波的所述多個(gè)幀進(jìn)行合成；以及輸出單元，用于將作為由所述合成單元進(jìn)行合成的結(jié)果而獲得的幀劃分為多個(gè)子幀， 并輸出所述子幀。
7.一種由幀速率轉(zhuǎn)換裝置執(zhí)行的幀速率轉(zhuǎn)換方法，所述幀速率轉(zhuǎn)換裝置將輸入幀劃分 為多個(gè)子幀并執(zhí)行幀速率轉(zhuǎn)換，所述幀速率轉(zhuǎn)換方法包括檢測(cè)步驟，檢測(cè)所述輸入幀的運(yùn)動(dòng)度；生成步驟，根據(jù)在所述檢測(cè)步驟中檢測(cè)到的所述運(yùn)動(dòng)度，生成濾波因數(shù)；濾波步驟，基于在所述生成步驟中生成的所述濾波因數(shù)，對(duì)所述輸入幀進(jìn)行濾波；以及輸出步驟，將作為在所述濾波步驟中進(jìn)行濾波的結(jié)果而獲得的幀劃分為多個(gè)子幀，并 輸出所述子幀。
8.一種由幀速率轉(zhuǎn)換裝置執(zhí)行的幀速率轉(zhuǎn)換方法，所述幀速率轉(zhuǎn)換裝置將輸入幀劃分為多個(gè)子幀并執(zhí)行幀速率轉(zhuǎn)換，所述幀速率轉(zhuǎn)換方法包括 檢測(cè)步驟，檢測(cè)所述輸入幀的運(yùn)動(dòng)度；濾波步驟，基于預(yù)定的不同的濾波因數(shù)，分別對(duì)所述輸入幀進(jìn)行濾波； 計(jì)算步驟，根據(jù)在所述檢測(cè)步驟中檢測(cè)到的所述運(yùn)動(dòng)度，計(jì)算針對(duì)在所述濾波步驟中 分別進(jìn)行了濾波的多個(gè)幀的合成比率；合成步驟，基于在所述計(jì)算步驟中計(jì)算的所述合成比率，對(duì)在所述濾波步驟中分別進(jìn) 行了濾波的所述多個(gè)幀進(jìn)行合成；以及輸出步驟，將作為在所述合成步驟中進(jìn)行合成的結(jié)果而獲得的幀劃分為多個(gè)子幀，并 輸出所述子幀。
全文摘要
本發(fā)明提供一種幀速率轉(zhuǎn)換裝置及幀速率轉(zhuǎn)換方法。在將輸入幀劃分為多個(gè)子幀并執(zhí)行幀速率轉(zhuǎn)換時(shí)，幀速率轉(zhuǎn)換裝置檢測(cè)所述輸入幀中的由一個(gè)或更多個(gè)像素構(gòu)成的各區(qū)域的運(yùn)動(dòng)度，并根據(jù)檢測(cè)到的所述區(qū)域的運(yùn)動(dòng)度，確定所述多個(gè)子幀中的各區(qū)域的空間頻率。然后，所述轉(zhuǎn)換裝置將所述多個(gè)子幀中的各區(qū)域轉(zhuǎn)換為預(yù)定的空間頻率，并將所述輸入幀劃分為區(qū)域已經(jīng)被轉(zhuǎn)換的子幀，并輸出所述子幀。
文檔編號(hào)G09G5/00GK101860660SQ201010141949
公開(kāi)日2010年10月13日 申請(qǐng)日期2010年4月6日 優(yōu)先權(quán)日2009年4月9日
發(fā)明者河井愛(ài) 申請(qǐng)人:佳能株式會(huì)社