專利名稱：圖像幀處理方法及向各種顯示器顯示活動圖像的設備的制作方法
技術領域：
本發(fā)明一般涉及圖像幀處理技術，更具體涉及生成適合于各種呈現條件的圖像幀序列的圖像幀處理技術。
背景技術：
隨著用于制造諸如液晶顯示器和等離子體顯示器之類的薄顯示器的技術的改進以及其價格的減少，現在在我們的周圍存在有各種顯示設備用于活動(moving)圖像的再現。
包括幀頻和分辨率在內的可顯示圖像數據的規(guī)格根據顯示器類型而不同。根據相關技術，在顯示設備(display device)中處理從圖像呈現裝置輸出的圖像數據以便生成適合于該顯示器的圖像。在這個布置中，隨著該顯示器應該適用的幀頻和分辨率的種類的增加，開發(fā)電路和軟件所需要的人力將增加。與此關聯，置于顯示設備上的處理負荷也增加了。

發(fā)明內容
已經考慮到上述問題而作出了本發(fā)明，而且發(fā)明的目的是提供適合于各種類型顯示器的圖像幀處理技術。
本發(fā)明的一個方面是圖像幀處理方法。這個方法包括用于呈現圖像幀序列的呈現處理以及用于使由呈現處理生成的圖像幀序列適于顯示器的后處理。在該呈現處理中，通過以預定幀頻執(zhí)行呈現來生成圖像幀序列而不考慮為了輸出到顯示器而使圖像幀應當滿足的條件。在該后處理中，由該呈現處理生成的圖像幀序列經受預定處理以便生成和輸出滿足該條件的圖像幀序列。
因為呈現處理和后處理是分離的，所以可以生成圖像幀序列而與諸如顯示器的分辨率和幀頻之類的顯示器的規(guī)格無關。
本發(fā)明的另一方面提供了用于從存儲器中讀取圖像幀序列并且對這些圖像幀序列執(zhí)行預定處理以便顯示的活動圖像顯示方法，其包含當出現快速前進請求時，有選擇地從存儲器中讀取要顯示為快速前進畫面的圖像幀；以及通過對所讀取的圖像幀執(zhí)行預定的集成處理來創(chuàng)建更新的圖像幀；以及顯示更新的圖像幀。
根據這個方面，因為通過集成多個圖像幀創(chuàng)建了快速前進幀，所以可以獲取被添加值(value-added)的快速前進畫面。此處的“集成處理”是指使用包括在多個圖像幀中的一部分或者全部圖像信息創(chuàng)建更新的圖像幀。
以方法、裝置、系統(tǒng)、計算機程序和記錄介質形式的本發(fā)明的實現也可以作為本發(fā)明的另外的模式而實踐。


圖1示出了娛樂裝置中的硬件結構。
圖2是圖像幀處理設備的功能框圖。
圖3示出了本原坐標系。
圖4示出了在從呈現處理單元輸出的圖像幀序列中、如何在每四個幀處改變偏移值。
圖5說明了涉及四個圖像幀的點采樣。
圖6說明了為原始四個圖像幀的尺寸四倍的圖像幀的生成。
圖7說明了使用四個圖像幀的運動模糊。
圖8說明了被合并以產生相同尺寸的圖像幀的四個圖像幀。
圖9說明了通過在四個圖像幀上執(zhí)行點采樣以及隨后的雙線性插值、來生成放大的圖像。
圖10說明了雙線性采樣。
圖11是用于在合并條件設置單元中確定合并方法的流程圖。
圖12示出了根據本發(fā)明第二實施例的圖像幀處理設備200的硬件配置。
圖13是根據示例4的圖像幀處理設備的功能框圖。
圖14示出了用于從圖像幀序列中提取圖像幀并且創(chuàng)建快速前進幀的處理的原理(concept)。
圖15示出了用于合并多個圖像幀以創(chuàng)建快速前進幀的處理的原理。
圖16示出了用于減少被合并的圖像幀數目并創(chuàng)建具有降低的前進速度的快速前進畫面的處理的原理。
圖17示出了根據示例5的圖像幀處理設備的功能框圖。
圖18示出了用于基于亮度信息提取圖像幀的處理的原理。
圖19是根據示例6的圖像幀處理設備的功能框圖。
圖20示出了用于將圖像幀分離為特定圖像區(qū)域和非特定圖像區(qū)域的處理的原理。
圖21是根據示例7的圖像幀處理設備的功能框圖。
圖22示出了路徑顯示處理的原理。
圖23是可以實現根據示例4到7的處理的圖像幀處理設備的功能框圖。
具體實施例方式
(第一實施例)現在將通過引入其中該創(chuàng)造性設備應用于呈現三維計算機圖形(CG)圖像的娛樂裝置的實施例，給出根據本發(fā)明的圖像幀處理設備的描述。
圖1示出了娛樂裝置100中的硬件結構。娛樂裝置100具有圖形芯片18并且能夠通過執(zhí)行呈現而在顯示器26上實時顯示三維圖像。
娛樂裝置100具有主CPU 12、主存儲器14、幾何處理器16、圖形芯片18、顯示控制器28和輸入和輸出(I/O)端口30。這些塊經由圖形總線36彼此相連以允許相互的數據傳送和接收。顯示控制器28可以連接到各種顯示器26之一，這些顯示器中的每個都具有不同的規(guī)格和顯示條件。
輸入和輸出端口30連接到諸如CD-ROM驅動器、DVD-ROM驅動器或者硬盤驅動器之類的外部存儲設備32，并且連接到諸如鍵盤或者鼠標之類的輸入設備34以便向娛樂裝置100饋給鍵入數據和坐標數據。輸入和輸出端口30控制在外部存儲設備32和輸入設備34二者中的數據輸入和輸出。輸入和輸出端口30讀取存儲在外部存儲設備32中的呈現數據或者程序，然后將它們提供給主CPU 12和幾何處理器16。例如，呈現數據可以是呈現對象的對象數據。輸入和輸出端口30可被配置為與其它設備進行通信來輸入呈現數據和程序。
主CPU 12全局地控制娛樂裝置100，并且執(zhí)行存儲在外部存儲設備32中的呈現程序。當執(zhí)行程序時，主CPU 12通過根據用戶使用輸入設備34的輸入控制圖形芯片18，來控制圖像的顯示。
主CPU 12通過控制在所構成設備之間的數據傳輸來控制娛樂裝置100。例如，主CPU使用主存儲器14作為緩沖來控制由幾何處理器16生成的幾何數據到圖形芯片18的傳輸。主CPU 12還管理在圖形芯片18、外部存儲設備32、輸入設備34和顯示器26之間的數據傳輸的同步。在這個實施例中，分別提供了幾何處理器16和主CPU 12。作為選擇，這些元件可以集成在一起以便主CPU 12可以執(zhí)行幾何處理器16的功能。
主存儲器14存儲從外部存儲設備32讀取的對象構形(configuration)數據和呈現程序。每個對象數據包括構成相關聯對象的多個多邊形的頂點數據。主存儲器14具有紋理緩沖區(qū)，用于存儲用于紋理映射的紋理。
在主CPU 12的控制下，幾何處理器16對存儲在主存儲器14中的對象數據執(zhí)行諸如定義位置或者構形的坐標轉換和變換之類的幾何處理，或者與照射頂點的光源相關的處理。作為幾何處理的結果而獲得的幾何數據包括對象的頂點坐標、在頂點處的紋理坐標以及諸如頂點亮度之類的對象屬性。
圖形芯片18包括呈現處理器20、存儲器接口22和諸如EDRAM之類的圖像存儲器24。呈現處理器20在主CPU 12的控制下順序地讀出由幾何處理器16生成的幾何數據，并且對該幾何數據執(zhí)行呈現處理以生成圖像幀。圖像幀內的像素的RGB值和指示透明度的α值存儲在圖像存儲器24中。指示像素深度的Z值存儲在Z緩沖區(qū)(未示出)中?？梢栽趫D像存儲器24中提供Z緩沖區(qū)。
圖形芯片18的呈現處理器20根據從主CPU 12提供的呈現命令，經由存儲器接口22呈現在圖像存儲器24中的圖像幀。在呈現處理器20和存儲器接口22之間、以及在存儲器接口22和圖像存儲器24之間建立高速總線連接，以便呈現處理器20能夠以高速在圖像存儲器24中執(zhí)行呈現處理。舉例來說，呈現處理器20呈現640×480個像素的圖像幀。
由呈現處理器20呈現的圖像幀暫時存儲在圖像存儲器24中。主CPU 12經由存儲器接口22從圖像存儲器24中檢索圖像幀，并且將該圖像幀寫入到諸如主存儲器14之類的其它存儲器中。根據需要，主CPU 12將該圖像幀轉換為可在顯示器26上顯示的圖像幀。顯示控制器28然后經由總線36接收該圖像幀并且在顯示器26上顯示它。
圖2是圖像幀處理設備10的功能框圖。圖2中的功能主要由圖形芯片18、主CPU 12和主存儲器14實現。圖2是集中于功能的說明。因此，這些功能可以僅僅由硬件、僅僅由軟件或者由硬件和軟件的組合而不同地實現。
對象數據讀取單元40讀取要呈現的對象的幾何數據。呈現處理單元42以預定的幀頻順序地呈現包括具有預定的分辨率的對象的圖像幀。所呈現的圖像幀存儲在作為緩沖器的第一存儲器44中。呈現處理單元42以等于或者高于計劃使用的顯示器26的最大幀頻的幀頻呈現該圖像幀。例如，呈現處理單元42對應于圖1的呈現處理器20。
傳輸控制器46讀出存儲在第一存儲器44中的圖像幀，然后將其存儲在第二存儲器48中。第二存儲器48存儲多個圖像幀，以便可以識別在多個圖像幀之間的時間次序。例如，第一存儲器44對應于圖1中的圖像存儲器24，而第二存儲器48對應于主存儲器14。做為選擇，第二存儲器可以是在圖像幀處理設備10中提供的、諸如外部存儲設備32之類的任何存儲設備或者存儲器。此外，做為選擇，第一存儲器44或者第二存儲器48中的每個可以對應于在物理上相同的存儲器中的不同存儲區(qū)域。
接口單元52獲取連接到圖像幀處理設備10的顯示器26的分辨率或者幀頻信息。接口單元52可以從主CPU 12或者呈現程序獲取內容的信息，諸如指示該圖像是靜止圖像還是活動圖像的信息。接口單元52可以經由輸入設備34從用戶獲取顯示器的分辨率或者幀頻信息。將所獲取的信息遞送給后處理單元50。例如，該后處理單元50可以對應于圖1中的主CPU 12。
后處理單元50包括合并條件設置單元54、幀序列獲取單元56和合并執(zhí)行單元58。后處理單元50對由呈現處理單元42呈現并存儲在第二存儲器48中的圖像幀序列執(zhí)行后處理，以便生成可在顯示器上顯示的圖像。
具體而言，合并條件設置單元54基于從接口單元52接收的信息、為圖像幀序列設置恰當的合并條件。稍后將參考圖10描述這個處理。幀序列獲取單元56根據由合并條件設置單元54設置的條件檢索圖像幀序列，并且將所檢索的圖像幀遞送到合并執(zhí)行單元58。合并執(zhí)行單元58對所收到的圖像幀執(zhí)行合并處理。此處的“合并處理”是指從多個圖像幀當中生成單個圖像幀。
將由合并執(zhí)行單元58通過合并處理生成的圖像幀以由合并條件設置單元54設置的幀頻輸出到圖像顯示單元60。
如上所述，第一實施例的一個特征是圖像幀序列的“呈現”和“后處理”不在同一芯片上執(zhí)行，而是分離執(zhí)行。通過分離呈現和后處理所獲得的優(yōu)點是消除了對連接到圖像幀處理設備的顯示器類型的依賴性(dependence)。
更具體而言，雖然接口單元52獲取了輸出到顯示器的圖像幀應當滿足的條件，但是呈現處理單元42生成圖像幀序列而與接口單元52所獲取的條件無關。隨后，后處理單元50根據由接口單元52獲取的條件對由呈現處理單元42生成的圖像幀序列執(zhí)行預定處理，以為該顯示器生成更新的圖像幀序列。由此，呈現處理單元42中的呈現方法不必根據圖像幀應該滿足的條件而發(fā)生改變。因此，呈現處理單元42僅僅需要具有通用的結構。當連接到圖像幀處理設備10的顯示器改為不同類型時，通過在后處理單元50中的處理的修改而適應(accommodate)該改變。因此，可以連接更多種類的顯示器以便確保相當高等級的兼容性。這最終將降低開發(fā)電路和軟件以使處理設備適于各種顯示器所需要的人力。
此外，根據相關技術，即使當呈現處理器具有高呈現能力時，顯示器的規(guī)格也常常未能適于該呈現能力，這需要限制呈現處理器的呈現能力。然而，根據第一實施例，不必限制而是可以完全利用呈現處理器的能力。可以這樣布置后處理，使得將以高幀頻進行呈現的能力分配給分辨率等的提高。通過確保后處理具有高度多用性，可以提高在設計圖像幀處理設備方面的靈活性。此外，因為不向顯示器分配執(zhí)行圖像幀處理的任務，所以可以降低置于顯示器上的處理負載。
值得考慮的另外一點是，當改變在呈現諸如動畫視頻之類的活動圖像中的幀頻時，可以在顯示器上顯示不同于圖像創(chuàng)建者想要的動畫圖像展現(exhibiting)運動。根據相關技術，一種處理這個問題的方法是考慮到最終顯示在顯示器上的圖像幀的幀頻而準備多個圖像序列，以便以任何幀頻享受最優(yōu)的觀看體驗。相反，根據第一實施例，僅僅需要準備具有高幀頻的一個圖像幀序列，而與顯示器的幀頻無關。
第一存儲器44起幀緩沖器的作用，其逐幀(by one frame)存儲由呈現處理單元42呈現的圖像幀序列。暫時存儲在第一存儲器44中的圖像幀被順序地傳輸到第二存儲器48。因此，第二存儲器48主要起后處理單元50的工作區(qū)域的作用。起幀緩沖器作用的第一存儲器44通常用其成本一般很高的EDRAM等實現。如果在這個實施例中沒有提供第二存儲器，則第一存儲器需要是一大容量的存儲器，這是因為如稍后所述，在四幀時間期間，應該為合并處理存儲最多四個幀。通過提供第二存儲器48，第一存儲器44僅僅需要具有存儲由呈現處理單元42呈現的至少一個圖像幀的容量。因此，除第一存儲器44之外還提供第二存儲器48作為后處理單元50的工作區(qū)域是有利的。第一存儲器44可以內置于其中內置了呈現處理單元42的同一個半導體電路元件中。
圖3示出了其中每個圖像幀的像素位于在呈現處理單元42中的本原坐標系。橫軸由x指示而縱軸由y指示。像素坐標集由(x，y)所指示。x和y坐標值中的每一個都是定點值，其由12位整數部分和4位小數部分所表示。如所述，每個像素的中心位于本原坐標系中的整數坐標點處。所呈現的圖像幀逐個像素地存儲在第一存儲器中。用于指向第一存儲器中的位置的坐標系被稱為窗口坐標系。使用這個坐標系實施存儲器地址計算。窗口坐標系是用于指向幀緩沖器內的位置的坐標系，其以緩沖器中的矩形區(qū)域的左上點(top left)作為原點。
假定本原坐標值為(Px，Py)且偏移值為(Offx，Offy)，則可以用下面的等式給出窗口坐標值(Wx，Wy)。
Wx＝Px-OffxWy＝Py-Offy現在將描述由圖2所示的圖像幀處理設備在后處理中生成適于各種顯示條件的圖像幀序列的幾個示例。假定呈現處理單元42以240幀每秒(在下文中稱為fps)的幀頻呈現640×480的圖像。
(示例1)圖4示出了在從呈現處理單元42輸出的圖像幀序列中、如何在每四個幀處改變偏移值。為了描述方便起見，假定通過以所述次序進行呈現而生成了圖像幀F1、F2、F3和F4。呈現處理單元42沒有任何偏移地呈現第一圖像幀F1，以(0.5，0)的偏移呈現第二圖像幀F2，以(0，0.5)的偏移呈現第三圖像幀F3，并且以(0.5，0.5)的偏移呈現第四圖像幀F4。通過在呈現空間中連續(xù)地移位作為呈現起始點的坐標來實施由呈現處理單元42進行的呈現中的偏移。在下文中，這樣的處理將被稱為“像素位移處理”。
圖5和圖6說明了合并處理的第一示例。在這個示例1中，合并幀序列以便創(chuàng)建為所呈現的圖像幀的大小四倍的圖像幀。
圖5是示出由呈現處理單元42呈現的、具有像素位移的像素如何位于同一窗口坐標系中的示意圖。參見圖5和圖6，由“1”指示的圓圈代表來自第一圖像幀F1的像素，由“2”指示的圓圈代表來自第二圖像幀F2的像素，由“3”指示的圓圈代表來自第三圖像幀F3的像素，而由“4”指示的圓圈代表來自第四圖像幀F4的像素。在每個幀中的相鄰像素的中心之間的間距在x和y方向都是“1”。作為由呈現處理單元42進行像素位移處理的結果，來自圖像幀F2的像素相對于來自圖像幀F1的相關聯像素沿x方向移位了0.5，來自圖像幀F3的像素相對于來自圖像幀F1的相關聯像素沿y方向移位了0.5，而來自圖像幀F4的像素相對于來自圖像幀F1的相關聯像素沿x方向移位了0.5并沿y方向移位了0.5。因此，當這四個圖像幀位于同一個坐標系中時，如圖5所述，來自相應圖像幀的像素在x方向和y方向均間距0.5。
通過在窗口坐標系中以0.5個像素為單位而不是以1個像素為單位進行網格(grid)采樣，可以生成在x方向和y方向具有兩倍數量像素的圖像幀。將參考圖6對這進行描述。圖6是示出像素怎樣布置的示意圖。雖然為了簡潔起見，圖6僅僅為圖像幀102、104、106和108示出了橫向4個像素和縱向3個縱向，但是實際上在每個幀中有橫向640個像素和縱向480個像素。全部像素以圖6中的圖像幀110所述的關系布置。通過如上所述以網格形式布置這640×480-像素圖像幀102、104、106和108，創(chuàng)建了具有1280×960個像素大小的圖像幀110，其大小是640×480像素圖像幀的四倍。在下文中，將這樣的采樣方法稱為“點采樣”。
根據該示例1，在呈現處理單元42中通過以空間位移進行呈現來生成多個圖像幀。隨后，后處理單元50對圖像幀執(zhí)行保持圖像幀之間的位移的合并處理，以生成比從呈現處理單元42輸出的圖像幀序列具有更高的空間分辨率的圖像幀序列。短語“保持圖像幀之間的位移”意指通過使用來自各個偏移的圖像幀的像素獲得最終的圖像幀而沒有任何修改。由此，可以通過后處理生成適于不同顯示器的不同分辨率的圖像幀序列。
示例1還可被理解為用于降低幀頻的措施。例如，通過如圖3所示從四個圖像幀中生成圖像幀，幀頻將被降低到1/4。這對于顯示器的最高幀頻低于呈現處理單元42的幀頻的情況是有利的，可以通過執(zhí)行點采樣來獲得低幀頻和高分辨率的圖像。
當前實施例不局限于從四個圖像幀中生成一個圖像幀。做為選擇，通過從九個圖像幀中生成圖像幀，有可能生成像素比原始圖像幀多九倍的圖像幀。當涉及的更大數目的圖像幀時，這同樣是正確的。圖像幀的數目越大，最終獲得的圖像幀的幀頻越低。
(示例2)圖7和8說明了合并處理的第二示例。在這個示例2中，通過合并連續(xù)幀來實現運動模糊效應。
參見圖7，空圓圈代表來自經受了像素位移處理的圖像幀F1-F4的像素。在這個示例中，從四個相鄰象素的RGB值中獲取平均RGB值，然后將結果得到的值用作新的RGB值。生成圖像幀使得如圖7中的對角線陰影圓圈所示、每個像素的中心處于四個空圓圖像素的中心之間的正中央。
圖8示意地示出這個布置。也就是說，生成了680×480的圖像幀，其具有通過將640×480的圖像幀F1-F4中的像素的RGB值乘以0.25所獲得的RGB值。
根據示例2，在呈現處理單元42中通過以空間位移進行呈現來生成多個圖像幀。隨后，后處理單元50對圖像幀執(zhí)行合并處理以抵銷在圖像幀之間的位移。因此，生成了與從呈現處理單元42輸出的圖像幀序列具有相同空間分辨率的更新的圖像幀序列。短語“抵銷圖像幀之間的位移”意指通過混和已偏移的呈現圖像幀來最終獲得未偏移的圖像幀。在這個實施例中，混和了四個像素來生成一個像素。抵消在圖像幀之間的位移實質上相當于生成通過在兩個時間連續(xù)的圖像幀之間劃分時間幀而獲得的圖像并且使用所劃分的圖像的平均圖像作為目標幀的圖像。因此，如果由呈現處理單元呈現的圖像幀序列的內容是活動圖像，則抵消位移可向該活動圖像應用運動模糊效應。如同示例1一樣，示例2可被理解為降低幀頻的措施。更具體而言，示例2使得在保持原始圖像幀分辨率的同時，輸出幀頻為呈現處理單元42的幀頻的1/4的圖像幀序列成為可能。
當內容是靜止圖像時也可以使用示例2。在這種情況下，向通過合并處理獲得的靜止圖像施加抗混疊(antialiasing)效應。在這種情況下，合并處理類似于其中將原始像素分為子像素以便獲得用于圖像中的目標像素的數據，以及其中采用子像素的平均數據作為像素數據的“超級采樣(super sampling)”。
(示例3)圖9說明了根據示例3的合并處理。在示例3中，生成橫縱比不同于由呈現處理單元42所生成的原始圖像幀的橫縱比的圖像幀。例如，假定呈現處理單元42生成每個都具有720×480個像素的分辨率的第一圖像幀112、第二圖像幀114、第三圖像幀116和第四圖像幀118，并且從圖像幀112 118中生成具有不同于原始圖像幀112-118的縱橫比的、分辨率為1920×1080個像素的目標圖像幀122。參見圖9，數字“1”、“2”、“3”和“4”指示相關聯的像素是分別來自第一圖像幀112、第二圖像幀114、第三圖像幀116和第四圖像幀118的像素。
在第一步驟130中執(zhí)行在示例1中描述的點采樣。由此，生成了1440×960像素(即為每個原始圖像幀112-118的大小的四倍)的圖像幀120。隨后，在第二步驟132中執(zhí)行雙線性采樣以便生成具有1920×1080個像素的分辨率的圖像幀122。雙線性采樣是一種圖像內插方法。在這個示例中，通過周圍四個像素的RGB值的線性內插來確定要呈現的像素顏色。
將參考圖10給出雙線性采樣的描述。假定將圖像幀122(1920×1080)按比例縮小到圖像幀120(1440×960)，計算圖像幀122的像素中心在圖像幀120的坐標系中的坐標。圖10示出了圖9中的圖像幀120的一部分124?？請A圈140代表在圖像幀122中的像素的中心。為了確定在這些坐標處呈現該像素時要使用的顏色，根據距離圖10中的像素124a、124b、124c和124d的中心的坐標位移使RGB值經受線性內插。應當注意到，像素124a是來自圖9中的第一圖像幀112的像素，像素124b是來自第二圖像幀114的像素，像素124c是來自第三圖像幀116的像素，而像素124d是來自第四圖像幀118的像素。假定距離四個像素124a-124d的中心沿水平方向的位移是α，而沿垂直方向的位移是β(參見圖10)，則由下列等式給出通過線性內插計算的空圓圈140的RGB值。
R＝(1-α)(1-β)Rs1+α(1-β)Rs2+(1-α)βRs3+αβRs4(1)G＝(1-α)(1-β)Gs1+α(1-β)Gs2+(1-α)βGs3+βGs4(2)B＝(1-α)(1-β)Bs1+α(1-β)Bs2+(1-α)βBs3+αβBs4(3)其中Rs、Gs和Bs代表四個像素124a-124d的RGB值，而后綴s1、s2、s3和s4分別代表像素124a、124b、124c和124d的分量。通過對于圖像幀122中所包含的全部像素計算等式(1)-(3)來確定顏色，生成了圖像幀122。
等式(1)到(3)基于與一般雙線性采樣的計算相同的原理。不同于一般的雙線性采樣之處在于，從不同圖像幀的像素中獲取顏色分量。
當由呈現處理單元42呈現的圖像幀序列的分辨率和顯示在顯示器上的分辨率不處于其中一個是另一個整倍數的關系下時，即例如，當所呈現的圖像幀是720×480、而顯示在顯示器上的圖像幀的分辨率是1920×1080時，不能僅僅通過執(zhí)行像素位移處理和點采樣來獲得目標分辨率。在這種情況下，通過像素位移處理和點采樣生成1440×960的中間圖像幀，并隨后執(zhí)行雙線性采樣以便獲得1920×1080的圖像幀。由此，幀頻降低到1/(在點采樣中使用的圖像幀的數目)。
可以不必必須執(zhí)行像素位移處理。更具體而言，可以直接在由呈現處理單元42呈現的原始圖像幀上執(zhí)行雙線性采樣以獲得最終的圖像幀。然而，通過在雙線性采樣之前執(zhí)行像素位移處理和點采樣，有可能獲得當放大時展現較少惡化的圖像。做為選擇，圖像幀序列中的四個圖像幀(例如，大小為720×480)中的每一個可以放大為適于顯示的圖像幀(例如，1920×1080)，基于此可以混和四個放大的圖像幀以獲得最終的圖像幀。
可以向用戶給予選擇上述示例1到3之一的機會。在實踐該實施例的一種方法中，圖像幀處理設備可以自動地進行這個確定。圖11是由合并條件設置單元54執(zhí)行的自動確定的流程圖。在這個流程圖中，進行有關根據幀頻、分辨率和內容、在由呈現處理單元42呈現的圖像幀序列上執(zhí)行示例1到3中描述的哪個后處理的確定。
合并條件設置單元54將經由接口單元52獲取的顯示器的幀頻信息和由呈現處理單元42呈現的圖像幀的幀頻進行比較，以確定這些幀頻是否匹配(S10)。當幀頻匹配(在S10為是)時，傳輸控制器46將圖像幀從第一存儲器44傳輸到第二存儲器48。幀序列獲取單元56以與呈現處理單元42的幀頻相同的時間間隔從第二存儲器48中讀出圖像幀。合并執(zhí)行單元58將圖像幀輸出到圖像顯示單元60而沒有執(zhí)行任何諸如合并處理之類的后處理(S12)。由此，可以完全利用呈現處理單元42的呈現性能，并且可以用全規(guī)格(full-spec)幀頻呈現圖像。在替換方法中，可以輸出圖像幀序列而不用將其暫時存儲在第二存儲器48中。更具體而言，使用第一存儲器44作為緩沖器，幀序列獲取單元56直接讀出由呈現處理單元42呈現的圖像幀序列，并且將這些圖像幀輸出到圖像顯示單元60。
當幀頻不匹配(S10中為否)時，合并條件設置單元54將由呈現處理單元42呈現的圖像幀的分辨率(在下文中，稱為“已呈現的圖像幀”)和經由接口單元52獲取的顯示器的分辨率信息進行比較，以確定分辨率是否匹配(S14)。如果顯示器的分辨率高于已呈現的圖像幀的分辨率(在S14中為是)，則合并條件設置單元54確定顯示在顯示器上的圖像內容是靜止圖像還是活動圖像(S16)?？梢酝ㄟ^讀取登記在程序的頭部等中的信息來進行這個確定。做為選擇，可以基于由運動確定單元(未示出)計算的、作為相鄰圖像幀的差值的運動分量的量值來進行有關靜止圖像或者活動圖像的確定。如果該內容是諸如字處理器文檔或者HTML文檔的屏幕圖像之類的靜止圖像(S16為是)，則合并條件設置單元54還確定顯示器的分辨率是否為已呈現圖像的分辨率的整倍數(S18)。當一個被比較的分辨率的垂直與水平像素計數是另一個分辨率的垂直與水平像素計數的多個整數倍時，即當例如已呈現的圖像幀是640×480且顯示器的分辨率是1280×960或者1920×1440時，作出“整倍數”的確定。當顯示器的分辨率是已呈現的圖像幀的分辨率的整倍數時(在S18中為是)，則執(zhí)行參考圖5和6描述的示例1以獲得期望分辨率的圖像幀序列(S22)。因此，當顯示器的分辨率有兩倍高時，合并條件設置單元54使幀序列獲取單元56檢索四個圖像幀。當顯示器的分辨率有三倍高時，合并條件設置單元54使幀序列獲取單元56檢索九個圖像幀。幀序列獲取單元56將所獲取的圖像幀遞送給合并執(zhí)行單元58，基于此，合并執(zhí)行單元58在所遞送的圖像幀上執(zhí)行點采樣，以將具有期望分辨率的圖像幀輸出到圖像顯示單元60。
當在S18確定顯示器的分辨率不是已呈現的圖像幀的整倍數時(在S18中為否)，則執(zhí)行參考圖9和10描述的示例3以便獲取期望分辨率的圖像幀序列(S20)。更具體而言，合并條件設置單元54生成分辨率為所呈現的圖像幀的分辨率的整倍數并且最接近所期望的分辨率的圖像幀。通過在所生成的圖像幀上執(zhí)行雙線性采樣，合并條件設置單元54還生成其中不保持橫縱比的圖像。
當在S16確定該內容是諸如運動CG或者電影之類的活動圖像(在S16中為否)時，合并條件設置單元54執(zhí)行參考圖7和8描述的示例2，以便獲得具有運動模糊效應的活動圖像(S24)。更具體而言，合并條件設置單元54通過使用由(已呈現圖像幀的幀頻)/(顯示器幀頻)確定的圖像幀數目來執(zhí)行合并處理。例如，當已呈現圖像幀的幀頻是240fps而顯示器的幀頻是60fps時，則使用4(＝240/60)個幀用于合并處理。如果這個除法的結果不是整數，例如當已呈現圖像的幀頻是240fps而顯示器的幀頻是70fps時，該除法結果是3.4(＝240/70)。在這種情況下，丟棄分數部分，并且對三個圖像幀執(zhí)行合并處理以便以70fps輸出得到的圖像幀。
在任何情況下，從后處理單元50輸出的圖像幀序列的幀頻低于由呈現處理單元42產生的已呈現圖像幀的幀頻。例如，由執(zhí)行點采樣將幀頻降低到1/4來產生高達兩倍的分辨率，而通過執(zhí)行點采樣將幀頻降低到1/9來產生高達三倍的分辨率。因此，即使當作為S20或者S22處理的結果而獲得期望的分辨率時，也有可能由于低幀頻而在屏幕上產生閃爍等。在替換方法中，可以提供用戶提示單元(未示出)，其在屏幕上警告用戶當獲得期望的分辨率時幀頻將顯著地下降，并提示用戶接受。當用戶接受時，將執(zhí)行點采樣。當不接受時，不執(zhí)行點采樣。在還有一個方法中，合并條件設置單元54可以參考顯示器的規(guī)格(分辨率和幀頻)以及可以在后處理單元50中執(zhí)行的后處理，然后在屏幕上顯示可能的多對分辨率和幀頻的列表。用戶提示單元(未示出)可以提示用戶選擇期望的一對，并且將所選擇的一對傳輸給合并條件設置單元54。響應于此，合并條件設置單元54然后指導幀序列獲取單元56和合并執(zhí)行單元58。
可以在已呈現圖像幀的顯示之前執(zhí)行上述處理。做為選擇，可以根據預定算法顯示經受了合并處理的圖像幀，以便察看所顯示的結果的用戶可以根據用戶的品味判斷是否繼續(xù)進行上述處理。
返回參見S14，當顯示器的分辨率等于或者低于所呈現的圖像幀的分辨率(在S14中為否)時，合并條件設置單元54確定該內容是否為靜止圖像(S26)。當內容是靜止圖像(在S26中為是)時，合并條件設置單元54跳過一些用于顯示的圖像幀(S28)。更具體而言，合并條件設置單元54指示幀序列獲取單元56從特定數目的已呈現的圖像幀中獲取一個圖像幀。合并執(zhí)行單元58將這些圖像幀輸出到圖像顯示單元60而沒有使它們經受后處理。例如，當已呈現的圖像幀輸出幀頻是240fps而顯示器的幀頻是60fps時，輸出每個第四圖像幀。
當在S26中確定內容是活動圖像(在S26中為否)，則如上所述執(zhí)行示例2以獲得運動模糊的活動圖像(S30)。
因此，通過將由呈現處理單元42呈現的圖像幀序列的幀頻或者分辨率與連接到圖像幀處理設備的顯示器的幀頻或者分辨率進行比較，合并條件設置單元54能夠自動地確定后處理的條件。
如上所述，允許呈現處理單元以預定幀頻執(zhí)行呈現以生成圖像幀序列而與用于要輸出到顯示器的圖像幀所要滿足的條件無關。后處理單元然后對由呈現處理生成的圖像幀序列執(zhí)行預定的處理，并且輸出符合上述條件的、更新的圖像幀序列。
因為分離地執(zhí)行呈現處理和后處理，所以有可能以預定幀頻執(zhí)行呈現來生成圖像幀序列而與諸如分辨率或者幀頻之類的顯示器規(guī)格無關。
呈現處理單元42被描述為以240fps呈現640×480的像素圖像。可以呈現其它像素計數的圖像幀。圖像幀的呈現速度也可以更低或者更高。例如，可以300fps呈現圖像幀序列。在這種情況下，可以生成適合于50赫茲顯示器和60赫茲顯示器二者的圖像幀序列。
在上面描述該實施例中，將合并處理描述為對來自四個圖像幀的像素執(zhí)行。做為選擇，可以對更大數量的像素執(zhí)行合并處理。例如，可以利用像素位移呈現六個圖像幀以便來自各個幀的像素位于六邊形的相應頂點處，并且由具有六個像素的平均RGB值的像素形成圖像幀。
在上面描述該實施例時，將圖像幀處理設備描述為內置于用于呈現CG圖像的娛樂裝置中。然而，根據本發(fā)明的圖像幀處理技術還可以應用于DVD播放器、個人計算機、數字視頻相機等。
(第二實施例)在第一實施例中，呈現了比在顯示器上顯示活動圖像所需要的圖像幀更多的圖像幀。然后，對所呈現的圖像幀執(zhí)行預定處理以便輸出圖像幀以用于顯示。相反，這樣的實施例也被設想為，當事先提供活動圖像時，從該活動圖像中拾取多個圖像幀并使它們經受預定處理，然后輸出少于所讀出的圖像幀的圖像幀。通過后者實施例，可以創(chuàng)建原始活動圖像的快速前進畫面。此外，還可以創(chuàng)建快速倒帶活動圖像。倒帶活動圖像是對于活動圖像沿時間軸反向輸出的圖像。在下文中，“快速前進”包括快速倒帶動作。
這兩個實施例初看起來是不同的。然而，這兩個實施例具有相同的原理，其中使超過最終向用戶給出的幀的圖像幀經受預定處理，并然后輸出更新的圖像幀。換句話說，在這兩個實施例之間的差別僅僅是輸出圖像幀的間隔長度。
近來，諸如HDD(硬盤驅動器)視頻記錄裝置之類的數字活動圖像記錄器變得廣泛流傳。因此，可以容易地親自創(chuàng)建、記錄或者播放大量的活動圖像數據。在這樣的裝置中，用戶使用快速前進功能來搜索所記錄的活動圖像數據中感興趣的部分。然而，當使活動圖像快速前進時，用戶常常在搜索期間錯過感興趣部分，并且有時感覺搜索不方便。
因此，在這個第二實施例中，將提供即使當使活動圖像快速前進時也輸出易于觀看的活動圖像的圖像幀處理技術。
圖12示出了根據第二實施例的圖像幀處理設備200的硬件配置。主CPU12、主存儲器14、顯示器26、顯示控制器28、輸入和輸出(I/O)端口30和外部存儲設備32與如圖1所示、根據第一實施例的塊相同，所以將相同的數字分配給這些塊并且省略對這些塊的進一步說明。諸如數字視頻相機之類的相機設備38連接到輸入和輸出端口30。由相機設備38獲取的活動圖像在諸如DVD(數字多用途盤)驅動器和硬盤驅動器之類的外部存儲設備32中存儲為數字數據。圖形處理器80從存儲在外部存儲設備32中的活動圖像數據中挑選圖像幀序列，并且將其存儲在主存儲器14中。然后，圖形處理器80對圖像幀序列執(zhí)行預定處理以創(chuàng)建更新的圖像幀序列，并且將該更新的序列輸出到顯示器26。
圖像幀處理設備200可以并入到各種類型的活動圖像顯示設備中，這些顯示設備在顯示器26上顯示由圖像幀序列組成的活動圖像。這樣的活動圖像顯示設備可以包括諸如DVD播放器和HDD視頻記錄器之類的用于存儲或者播放電影內容的各種裝置。此外，活動圖像顯示設備還可以并入到個人計算機、數字視頻相機、或者娛樂裝置中。
輸入設備84產生一些到圖像幀處理設備200的輸入。根據活動圖像顯示裝置的類型，可以使用各種類型的設備作為輸入設備84。例如，假定活動圖像顯示裝置是DVD播放器或者HDD視頻記錄器，則輸入設備84可以是在遙控器或者活動圖像顯示裝置上提供的各種按鈕。假定活動圖像顯示裝置是通用計算機，則輸入設備84可以是鍵盤或者鼠標。
在這個第二實施例中，將描述當從用戶接收到對事先創(chuàng)建并記錄在諸如DVD驅動器或者HDD驅動器之類的大容量存儲設備中的電影內容的快速前進請求時，創(chuàng)建快速前進的圖像。如同第一實施例一樣，第二實施例可以應用于執(zhí)行呈現處理以便創(chuàng)建用于顯示在顯示器上的新圖像幀序列的娛樂裝置。
現在，在圖12所示的幀圖像處理設備200中，將參考一些示例描述用于創(chuàng)建被添加值的快速前進活動圖像的方法。
(示例4)圖13是根據示例4的圖像幀處理設備200的功能框圖。圖13中的特征可以主要利用圖形處理器80、主CPU 12和主存儲器14實現。在這個示例4中，說明了一種用于響應于來自用戶的快速前進請求而提供快速前進的、平滑的活動的圖像的方法。
接口單元202獲取由用戶經由輸入設備84進行的快速前進請求。例如，假定圖像幀處理設備200并入到DVD播放器中，則這個快速前進請求對應于用在主體或者遙控器上提供的前進按鈕或者撥號盤所指定的、諸如“雙倍速”、“4×(四倍)速”之類的快速前進速度信息?？焖偾斑M請求可以在活動圖像數據的頭部部分中指定而不是從用戶給出。接口單元202將所獲取的信息發(fā)送到傳輸幀數目確定單元206。傳輸幀數目確定單元206確定以所收到的快速前進速度信息實現快速前進活動圖像所需要的圖像幀數目。幀傳輸單元208以恒定定時從存儲在存儲單元250中的圖像幀序列中讀出由傳輸幀數目確定單元206所確定的、圖像幀的確定數目。然后，該幀傳輸單元208將這些幀傳輸到快速前進單元220。例如，存儲單元250對應于圖12中的主存儲器14。然而，存儲單元250可以是諸如外部存儲設備32之類的在圖像幀處理設備200中提供的任何存儲單元或者存儲器。此外，存儲單元250中的圖像幀可以是未壓縮的圖像。存儲單元250中的圖像幀還可以是使用DCT(離散余弦變換)的壓縮圖像。
快速前進單元220包括幀序列獲取單元222和合并執(zhí)行單元224。幀序列獲取單元222獲取所傳輸的圖像幀，并且暫時存儲它們。合并執(zhí)行單元224執(zhí)行合并處理，其從存儲在幀序列獲取單元222中的多個圖像幀中生成一個更新的圖像幀。這個合并處理可以是第一實施例中描述的混和處理。該更新的圖像幀被稱為“快速前進幀”。
以生成次序，將由合并執(zhí)行單元224生成的快速前進幀傳輸到畫面組成單元240。畫面組成單元240以可以在顯示器26上顯示的預定幀頻輸出這些快速前進幀。由此，用戶可以在顯示器26上觀看期望的快速前進畫面。
當在多個圖像幀上執(zhí)行合并處理時，在快速前進幀中產生偽余像(afterimage)。通過順序地輸出這樣的快速前進幀，可以獲取具有運動模糊效應的快速前進畫面。這樣，用戶可以享受逼真和平滑的活動畫面。
順便提及，可以進行這樣的處理，其中每預定數目的幀從存儲單元250中的圖像幀序列中提取圖像幀，并且以預定幀頻輸出所提取的幀而沒有給出任何用于創(chuàng)建快速前進畫面的合并處理?，F在，為了理解示例4的優(yōu)點，將參考圖14描述由這樣的處理創(chuàng)建的快速前進畫面的缺點。
圖14示出了這樣的處理原理，其包括步驟從事先準備的圖像幀序列300中提取恰當數目的圖像幀；并創(chuàng)建快速前進幀序列310。
圖像幀序列300包括圖像幀301-309和范圍在這些幀前后的大量其它圖像幀。圖像幀301-309代表活動圖像，其中圓形對象400從屏幕的左上方移動到右下方。實際上，除非使用了比幀301-309多得多的圖像幀，否則不可能平滑地移動圓形對象400。然而，為了簡化圖14中的說明，假定僅僅利用圖像幀301-309就實現了圓形對象400的平滑移動。
圖像幀303和307所示的星形401代表圓形對象400的閃爍。在該圖像幀序列300中，圓形對象400出現在屏幕的左上角，然后移動到右下角并閃爍兩次。
在這個示例中，從每三個圖像幀中提取出一個圖像幀。更具體而言，在圖像幀序列300中每三個圖像幀提取圖像幀301、304和307。然后，這些提取的圖像幀分別變?yōu)榭焖偾斑M幀311、312、313而沒有采取任何處理。因此，可以通過從每恰當數目的圖像幀中提取一個圖像幀來創(chuàng)建快速前進幀序列310、并且以預定幀頻輸出該序列310來創(chuàng)建快速前進畫面。在圖14所示的這個示例中，可以獲取3X快速前進畫面。
然而，利用這樣的處理，當在從原始圖像幀序列中提取的圖像幀之間的差別大時，特別是在非?？焖偾斑M的情況下，畫面可能逐幀前進。因此，對于用戶來說，該畫面變?yōu)檩^差的畫面。另外，圖像幀序列300包括代表圓形對象400閃爍的圖像幀303。然而，快速前進幀序列310不包括這個圖像幀303。因此，觀看包含幀序列310的快速前進畫面的用戶不能辨認出圓形對象400閃爍了兩次。
由此可以看出，在這樣的處理中，除了圖14中對象的閃爍之外，有可能沒有將具有重要信息的圖像幀包括在快速前進畫面中。換句話說，雖然在原始圖像幀序列中出現了一些事件，但是當用戶觀看該快速前進畫面中，他有可能不能看到該事件。所以，當用戶以特定信息作為線索從快速前進畫面中搜索感興趣場景時，如果快速前進畫面缺乏該特定信息，則用戶不能找出該場景。
接下來，將根據參考圖15的示例4描述用于創(chuàng)建快速前進畫面的方法。取代每三個圖像幀提取一個圖像幀，合并執(zhí)行單元224對圖像幀序列300中的三個圖像幀執(zhí)行合并處理以創(chuàng)建一個快速前進幀。更具體而言，合并執(zhí)行單元224對圖像幀301-303執(zhí)行合并處理以創(chuàng)建快速前進幀321。合并執(zhí)行單元224對圖像幀304-306執(zhí)行合并處理以創(chuàng)建快速前進幀322。合并執(zhí)行單元224對圖像幀307-309執(zhí)行合并處理以創(chuàng)建快速前進幀323。
這個合并處理對應于創(chuàng)建這樣的圖像幀，該圖像幀中的每個像素是位于圖像幀中相同位置處的加權平均像素。更具體而言，當使用n個圖像幀Fm(m＝1，...，n，n為正整數)創(chuàng)建一個快速前進幀Ff時，Ff＝∑αm/Fm(4)其中αm代表每個圖像幀的權重系數，并滿足∑αm＝1。如可從表示式(4)中看出的那樣，對于每個圖像幀來說，權重比率可能不等。例如，可以將高權重比率應用于鄰近某個圖像幀的圖像幀，并且該圖像幀離某個圖像幀的位置越遠，應用的權重比率可能越低。如何分布αm的值取決于快速前進幀Ff的特征。
依據如上所述的合并處理，獲取了具有在圖像幀之間移動的圓形對象400的偽余像的快速前進幀321、322、323。在圖15中，圓形對象400的余像表示為空圓圈或者星形。由此，當再現具有快速前進幀321-323的快速前進幀序列320時，可以獲取運動模糊并且平滑活動的畫面。因此，可以減輕用戶的眼部疲勞。此外，如可以從快速前進幀321和323看出，對象閃爍圖像作為偽余像而保留在這些幀中。因此，在原始圖像幀中的信息可能不會由于創(chuàng)建快速前進幀而從幀中丟失。換句話說，總是將原始圖像幀的部分信息留在快速前進幀中。因此，當用戶以特定信息作為線索從快速前進畫面中搜索他感興趣的場景時，由于該殘留信息的原因，用戶感覺易于找出該場景。
圖16示出了增加或者減少被合并以創(chuàng)建具有不同前進速度的快速前進畫面的圖像幀數目的處理的原理。圖像幀序列350包括圖像幀351-362和范圍在這些幀前后的大量圖像幀。當創(chuàng)建正常的快速前進畫面時，合并執(zhí)行單元224對四個圖像幀執(zhí)行合并處理以創(chuàng)建一個快速前進幀。更具體而言，合并執(zhí)行單元224對圖像幀351-354執(zhí)行合并處理以創(chuàng)建快速前進幀371，而且合并執(zhí)行單元224對圖像幀355-358執(zhí)行合并處理以創(chuàng)建快速前進幀372。
當由幀序列獲取單元222在創(chuàng)建快速前進幀期間檢測到具有特定條件的特定圖像幀時，合并執(zhí)行單元224對每兩個圖像幀執(zhí)行合并處理以創(chuàng)建一個快速前進幀。在圖16中，當圖像幀359滿足該特定條件時，合并執(zhí)行單元224對圖像幀359和360執(zhí)行合并處理以創(chuàng)建快速前進幀373，而且合并執(zhí)行單元224對圖像幀361和362執(zhí)行合并處理以創(chuàng)建快速前進幀374。
包含包括快速前進幀371-374在內的快速前進幀序列370的快速前進畫面首先具有4X前進速度，但是在快速前進幀373之后，前進速度下降到兩倍。因此，通過恰當地增加或者減少被合并的圖像幀數目，可以獲取其速度在任何時間點改變的快速前進畫面。
為了檢測特定圖像幀，可以使用任何眾所周知的技術。例如，使用場景改變檢測技術，可以在場景改變的地方獲得特定圖像幀。如此，可以在任何特定場景處獲取具有降低的前進速度的快速前進畫面。做為選擇，計算在圖像幀之間的運動矢量，然后可以檢測其運動矢量的絕對值大于預定值的特定圖像幀。由此，通過檢測其中對象在屏幕中的移動變大的圖像幀，可以獲取在該特定幀之后具有降低的前進速度的快速前進畫面。
因為即使用戶使該畫面快速前進也在給定點之后自動降低前進速度，所以用戶可以容易地找出感興趣或者重要的場景。此外，當用戶以特定信息作為線索從快速前進畫面中搜索感興趣場景時，可以在具有該信息的幀處自動地降低前進速度。因此，用戶可以更容易地找出該場景?？上胂蟪鱿铝袑嶋H的使用。假定畫面內容是戲劇，則可以在快速前進期間以降低的速度再現特定演員出現時的場景。假定畫面內容是英式足球比賽廣播，則可以在快速前進期間以降低的速度再現得分場景。
(示例5)在示例4中，沒有考慮每個圖像幀的特征而從圖像幀序列中提取預定數目的圖像幀，并且對所提取的圖像幀執(zhí)行合并處理以創(chuàng)建快速前進幀。這個處理優(yōu)選為構造平滑移動的快速前進畫面。然而，在有些情況下，通過優(yōu)先級提取一些具有一些特征的圖像幀來創(chuàng)建快速前進畫面是更優(yōu)選的。在這個示例5中，提供了這樣一種圖像幀處理設備，其用于通過優(yōu)先級提取一些滿足特定條件的圖像幀來創(chuàng)建具有高觀看效率的快速前進畫面。
圖17示出了根據示例5的圖像幀處理設備的功能框圖。接口單元202、傳輸幀數目確定單元206、幀傳輸單元208、幀序列獲取單元222、畫面合成單元240和存儲單元250與圖13所示的塊相同，所以將相同的數字分配給這些塊并且省略了對這些塊的進一步說明。
快速前進單元220包括幀序列獲取單元222和特征幀提取單元226。特征幀提取單元226基于圖像幀的亮度信息，從幀傳輸單元208傳輸過來的圖像幀中提取滿足預定條件的圖像幀作為特征幀。例如，特征幀提取單元226計算包括某個圖像幀在內的十個正向和反向幀中所包括的每個像素的像素均值，然后提取包括具有比平均值大50％的像素的圖像幀作為特征幀。特征幀提取單元226提取除了這些特征幀之外的一些適當數目的圖像幀，創(chuàng)建快速前進幀，并且將其發(fā)送到畫面合成單元240。畫面合成單元240以預定幀頻輸出可以在顯示器26上顯示的快速前進幀。
現在，將更具體地描述根據示例5的對特征幀的提取。圖18示出了基于亮度信息從圖像幀序列中提取一些圖像幀的處理的原理。與圖14相同，圖像幀序列300包括圖像幀301-309和范圍在這些幀前后的大量其它圖像幀。特征幀提取單元226提取其中的像素亮度大于其它相鄰圖像幀中的像素亮度的圖像幀作為特征圖像幀。如上所述，圓形對象400在圖像幀303和307中閃爍。因此，因為圖像幀303和307包括亮度大于相鄰圖像幀的像素亮度的像素，所以分別提取它們作為特征幀。這些特征幀分別變?yōu)榭焖偾斑M幀331和332而沒有采取任何處理。
僅僅通過從圖像幀序列300中提取特征幀有可能未提取到以所請求的前進速度合成快速前進畫面所需要的幀。因此，如果在預定數目的圖像幀中未提取到特征幀，優(yōu)選為讓特征幀提取單元226從預定數目的圖像幀中提取一個幀而不考慮亮度信息。相反地，如果在預定數目的圖像幀中提取了多個特征幀，則優(yōu)選為讓特征幀提取單元僅僅提取一個幀。以這種方法，可以構造快速前進幀序列330。
做為選擇，當存在基于亮度信息在預定數目的圖像幀中提取的多個特征幀時，被確定為特征幀的所有圖像幀都可以是快速前進幀而與前進速度信息無關。以這種方法，為某個時段連續(xù)提取具有較大亮度的像素的圖像幀。因此，在該時段中，可以獲取具有正常播放速度的降低了速度的快速前進畫面。由此，因為即使在快速前進畫面中，也可以在特征場景中獲取幾乎等于正常播放的活動圖像，這可以減少用戶錯過特征場景中的重要信息的機會。優(yōu)選為取決于用戶想要獲取的信息類型為特征幀設置條件。
在示例5中，因為通過基于亮度信息提取特征幀而創(chuàng)建快速前進畫面，所以減少了快速前進畫面中錯過的、具有重要信息的圖像幀的數目。
應當注意到，用于提取特征幀的信息不局限于亮度信息。例如，在圖像幀之間的移動信息也可以用于依據優(yōu)先級提取具有特定條件的一些圖像幀。
參見圖17，移動信息檢測單元210接收從幀傳輸單元208傳輸過來的圖像幀并且計算在這些圖像幀之間的移動信息。例如，移動信息檢測單元210通過使用眾所周知的塊匹配方法獲得在圖像幀之間的對應點。然后，移動信息檢測單元210根據在對應點之間的差別計算運動矢量。將該運動矢量用于移動信息。如果作為數據而事先準備了在圖像幀中的每個區(qū)域或者對象的一些移動信息，則也可以將這個數據用作移動信息。
特征幀提取單元226基于移動信息從所傳輸的圖像幀中提取滿足預定條件的圖像幀作為特征幀。該條件例如是運動矢量的絕對值大于預定值。除了這些特征幀之外，特征幀提取單元226提取一些恰當數目的圖像幀，創(chuàng)建快速前進幀，并且將該快速前進幀發(fā)送到畫面合成單元240。畫面合成單元240以預定幀頻將該快速前進幀輸出顯示器26。
在另一示例中，特征幀提取單元226從接口單元202接收寫入到活動圖像數據的頭部中的信息，并基于該信息提取特征幀。例如，假定活動圖像的內容是戲劇，則在場景改變點前后范圍內的幾十或者幾百個圖像幀的頭部中啟用了指示場景改變的位。特征幀提取單元226可以提取由這樣的位指示的圖像幀作為特征幀。以這種方法，即使在快速前進畫面中，前進速度也變?yōu)榈扔谡５牟シ潘俣?。因此，該用戶可以更容易地辨認出快速前進畫面中的內容。
(示例6)在示例5中，描述了使用亮度信息或者移動信息提取滿足特定條件的圖像幀作為特征幀。換句話說，在示例5中，在圖像幀序列中的圖像幀被分離為兩個組。一組包括對用戶有益的圖像幀(也就是說，具有大量信息的圖像幀)。另一個組包括對用戶的益處稍少的圖像幀(也就是說，具有較少信息的圖像幀)。然后，從第一組中拾取較多的圖像幀來創(chuàng)建快速前進畫面。
在示例6中，將提供圖像幀處理設備來將一個圖像幀分離為兩個部分具有較多信息的一部分以及具有較少信息的一部分。并且要么增強這些部分要么使這些部分不易被察覺。由此，用戶可以更容易地從快速前進畫面中獲得信息。
圖19示出了根據示例6的圖像幀處理設備的功能框圖。接口單元202、傳輸幀數目確定單元206、幀傳輸單元208、移動信息檢測單元210和存儲單元250與圖17所示的塊相同，所以將相同的數字分配給這些塊并且省略了對這些塊的進一步說明。
快速前進單元220包括分離單元228、合并執(zhí)行單元230和幀重新合成單元232。分離單元228接收從幀傳輸單元208傳輸過來的圖像幀。分離單元228將每個圖像幀分離為“特定圖像區(qū)域”和“非特定圖像區(qū)域”。基于從移動信息檢測單元210接收的移動信息進行這個分離。特定圖像區(qū)域是其中運動矢量的絕對值大于預定閾值的區(qū)域。非特定圖像區(qū)域是除了特定圖像區(qū)域之外的區(qū)域。合并執(zhí)行單元230對在圖像幀之間的非特定圖像區(qū)域執(zhí)行合并處理。另一方面，合并執(zhí)行單元230從圖像幀中拾取任何一個特定圖像區(qū)域。
幀重新合成單元232合成所提取的特定圖像區(qū)域以及經合并的非特定圖像區(qū)域以創(chuàng)建更新的圖像幀。將更新的圖像幀作為快速前進幀發(fā)送到畫面合成單元240。畫面合成單元240以預定幀頻將該快速前進幀輸出至顯示器26。
圖20示出了用于將圖像幀分離為特定圖像區(qū)域和非特定圖像區(qū)域的原理。圖像幀序列380包括圖像幀381-384和范圍在這些圖像幀前后的大量圖像幀。圖像幀序列380包括某個人的圖像?？梢匀缦滤鰴z測這個人的圖像。用戶指定這個人穿著的衣服的顏色和圖案。然后，使用眾所周知的圖象匹配技術，以該顏色和圖案作為線索來檢測這個人的圖像區(qū)域。
分離單元228將圖像幀381-384分離為用于這個人的圖像的特定圖像區(qū)域和用于背景圖像的非特定圖像區(qū)域。該合并執(zhí)行單元230對圖像幀381-384中的非特定圖像區(qū)域執(zhí)行合并處理。該合并單元230從圖像幀381-384中拾取一個特定圖像區(qū)域。在圖20中，由合并執(zhí)行單元230拾取圖像幀382中的特定圖像區(qū)域。然后，幀重新合成單元232將由合并執(zhí)行單元230所拾取的特定圖像區(qū)域和所合并的非特定圖像區(qū)域放在一起以創(chuàng)建快速前進幀385。由于該合并處理，該快速前進幀385具有模糊的背景圖像。因此，包括幀385在內的快速前進畫面可以顯示具有運動模糊背景的某個人，所以該用戶可以更容易地辨認出這個人。
如上所述，根據示例6，可以在快速前進畫面中明確地顯示圖像幀中的重要部分。換句話說，根據示例6，由于運動模糊，可以使圖像幀中的較不重要的部分變得不易被察覺。
以這種方法，當活動圖像的內容是戲劇或者運動廣播時，可以在快速前進畫面中引人注意地顯示用戶喜歡的人員。
做為選擇，當非特定圖像區(qū)域是靜止圖像時，合并單元230使用多個非特定圖像區(qū)域來增強其圖像質量。
(示例7)圖21示出了根據示例7的圖像幀處理設備的功能框圖。在這個示例7中，在快速前進畫面中顯示對象在圖像幀中的路徑(軌跡)。
接口單元202、傳輸幀數目確定單元206、幀傳輸單元208、移動信息檢測單元210、畫面合成單元240和存儲單元250與圖17所示的塊相同，所以將相同的數字分配給這些塊并且省略了對這些塊的進一步說明。
快速前進單元220包括路徑創(chuàng)建單元236和幀重新合成單元232。路徑創(chuàng)建單元236使用從移動信息檢測單元210接收的移動信息創(chuàng)建路徑圖像。這個路徑圖像是顯示預定對象在從幀傳輸單元208傳輸過來的圖像幀中的流線(flow line)的圖像。幀重新合成單元232在原始圖像幀上重寫路徑圖像以創(chuàng)建快速前進幀。
圖22示出了根據示例7的路徑創(chuàng)建處理的原理。與圖14相同，圖像幀序列300包括圖像幀301-309和范圍在這些幀前后的大量其它圖像幀。
路徑創(chuàng)建單元236根據在圖像幀301和圖像幀302之間的差別創(chuàng)建路徑圖像411。路徑創(chuàng)建單元236根據在圖像幀302和圖像幀303之間的差別創(chuàng)建路徑圖像412。幀重新合成單元232將路徑圖像411和412放到圖像幀303中以創(chuàng)建快速前進幀341。類似地，路徑創(chuàng)建單元236根據在圖像幀304和圖像幀305之間的差別創(chuàng)建路徑圖像413。路徑創(chuàng)建單元236根據在圖像幀305和圖像幀306之間的差別創(chuàng)建路徑圖像414。幀重新合成單元232將路徑圖像413和414放到圖像幀306中以創(chuàng)建快速前進幀342。對圖像幀307或者后面的圖像幀重復相同的處理。
畫面合成單元240以預定幀頻輸出包括快速前進幀341和342在內的快速前進幀序列340。因此，可以獲取具有示出圓形對象400的移動的路徑的快速前進畫面。
為了確定在存在于圖像幀中的對象當中選擇哪個對象來顯示其路徑，可以使用各種眾所周知的方法。例如，使用眾所周知的圖象識別技術在每個圖像幀中檢測預定對象(例如，英式足球)，并且可以在快速前進畫面中顯示英式足球的路徑。
根據示例7，有可能在快速前進畫面中顯示未出現在原始圖像幀中的信息。換句話說，通過使用在圖像幀之間的差別信息，有可能增強圖像幀中的信息。
(示例8)通過選擇根據如上所述的示例4到7的一個處理，可以產生適于內容或者用戶目的的快速前進畫面。例如，取決于記錄在存儲設備中的活動圖像的內容，可以選擇適當的快速前進。
現在，假定圖像幀處理設備并入到活動圖像播放裝置中，來描述快速前進畫面創(chuàng)建處理。
圖23示出了可以實現根據示例4到7的全部處理的圖像幀處理裝置的功能框圖。接口單元202、傳輸幀數目確定單元206、幀傳輸單元208、移動信息檢測單元210、畫面合成單元240和存儲單元250與圖13所示的塊相同，所以將相同的數字分配給這些塊并且省略了對這些塊的進一步說明。
快速前進單元220被配置為能夠執(zhí)行在示例4到7中描述的全部處理。圖像幀處理設備還包括內容確定單元214。內容確定單元214確定存儲在存儲單元250中的活動圖像的內容類型?？梢曰诨顒訄D像數據的頭部信息進行這個確定。做為選擇，可以基于用戶的輸入或者來自移動信息檢測單元210的移動信息來進行該確定。將所確定的內容類型發(fā)送到快速前進單元220?？焖偾斑M單元220接收從幀傳輸單元208傳輸過來的圖像幀，并且取決于內容類型執(zhí)行根據示例4到7的一個處理。
現在，將描述當由內容確定單元214確定的內容類型是運動廣播、戲劇或電影、或者用戶獨創(chuàng)的電影時，由快速前進單元220執(zhí)行的特定處理。
A.運動廣播當內容類型是英式足球比賽的視頻記錄時，有可能僅僅在得分場景時降低快速前進畫面的前進速度?？梢匀缦滤鰴z測得分場景由指向球門柱的固定位置相機獲取的活動圖像。事先在由該相機獲取的圖像內指定球門口區(qū)域。當英式足球圖像進入球門口區(qū)域時(這可以通過圖像匹配方法檢測)，快速前進單元220將其確定為得分場景并且提取在這個時間點前后的多個圖像幀。此外，單元220可以使用圖象匹配技術、以顏色、圖案或者其一致性的數目作為線索來確定特定的選手。然后可以通過對其它選手應用運動模糊來獲取增強了特定選手的運動的快速前進畫面。另外，使用圖象匹配技術辨認出圖像幀中的英式足球，并且可以獲取具有該英式足球路徑的快速前進畫面。
B.戲劇/電影當內容類型是戲劇節(jié)目時，例如，該單元提示用戶輸入在該戲劇中他/她喜歡的演員的顏色或者圖案。然后，快速前進單元220通過眾所周知的圖像匹配技術檢測具有對應于所輸入的顏色和圖案的區(qū)域的對象。由此，單元220可以識別出所喜歡的演員出現的場景，并且為所識別出的場景具創(chuàng)建具有有降低的前進速度的快速前進畫面。
C.用戶獨創(chuàng)的電影當存儲在存儲單元250中的活動圖像是由用戶通過便攜式相機獲取的圖像時，快速前進單元220使用眾所周知的場景改變提取技術檢測場景的中斷。通過將在場景中斷前后的圖像幀包括在快速前進畫面中，可以容易地在快速前進畫面中掌握該內容。此外，使用光流檢測利用便攜式相機追蹤拍攝(chase)的對象。然后，在快速前進畫面中使除了被追蹤拍攝的對象之外的背景圖像運動模糊。由此，可以創(chuàng)建具有易于觀看的被追蹤拍攝的對象的快速前進畫面。
如上所述，根據圖23所示優(yōu)選圖像幀處理設備，可以獲取針對活動圖像的內容類型或者用戶首選項進行了適當處理的快速前進畫面。
根據本發(fā)明的第二實施例，基于事先存儲在DVD驅動器或者硬盤驅動器等中的圖像幀序列，當收到快速前進請求時，對圖像幀序列執(zhí)行預定處理以創(chuàng)建快速前進幀。然后，以針對該快速前進請求顯示快速前進畫面所需要的幀頻輸出該快速前進幀。第二實施例的一個特征是通過對圖像幀序列執(zhí)行各種處理，快速前進畫面可以具有各種添加的值。這些添加的值包括盡可能地將原始圖像幀序列的重要信息保持在快速前進畫面中(示例4和5)；在快速前進畫面中省略圖像幀序列的不需要的信息(示例6)。
在第二實施例中，在收到快速前進請求信號之后，幾乎實時地創(chuàng)建快速前進幀并作為快速前進畫面輸出。因此，每次收到快速前進請求信號時，取決于條件或者用戶的指示、有可能輸出由不同處理創(chuàng)建的各種快速前進畫面。換句話說，在第二實施例中，在對應于后處理處理的快速前進單元中存在高多用性，并且可以提供具有不同優(yōu)點的各種快速前進畫面。
以與前進速度無關的預定幀頻創(chuàng)建存儲在存儲單元250中的活動圖像的圖像幀序列。然而，快速前進單元取決于快速前進請求信號或者內容類型執(zhí)行該處理以創(chuàng)建經更新的圖像幀序列以用于快速前進。從上述可以看出，在第一實施例和第二實施例中的共同原理在于通過對以比顯示速率更高的速率準備的圖像幀進行采樣來創(chuàng)建要向用戶顯示的幀。第二實施例對應于其中用于采樣的時間軸被延長的、第一實施例中的特殊情況。
應當注意到，第二實施例的應用不局限于創(chuàng)建快速前進畫面或者快速倒帶畫面。例如，使用由高速相機所獲取的活動圖像，可以根據第二實施例創(chuàng)建具有上述一些效果的正常播放圖像。在這種情況下，應該滿足下列條件Ns≥Np≥No其中Ns代表由高速相機獲取的每個單位時間的圖像幀的數目，Np代表存儲在存儲單元中的每個單位時間的圖像幀的數目，而No代表最終輸出到顯示器的、每個單位時間的圖像幀的數目。
已經基于一些實施例描述了本發(fā)明。這些實施例本質上是說明性的，而且對于本領域的技術人員來說很明顯，在本發(fā)明的范圍內可能有在組成元件和處理方面的各種改變。在實施例中描述的組成元件的可選組合，以及以方法、裝置、系統(tǒng)、計算機程序和記錄介質形式的本發(fā)明的實現也可以作為本發(fā)明的其他模式而被實踐。
權利要求
1.一種圖像幀處理方法，包含呈現圖像幀序列；以及對由所述呈現步驟生成的圖像幀序列進行后處理以便使其適應于顯示器，其中所述呈現步驟通過以預定幀頻執(zhí)行呈現來生成圖像幀序列而不考慮為了輸出到顯示器而使所述圖像幀應當滿足的條件，以及所述后處理步驟使由所述呈現步驟生成的圖像幀序列經受預定處理，以便生成和輸出滿足所述條件的更新的圖像幀序列。
2.一種圖像幀處理方法，包含呈現圖像幀序列；以及對由所述呈現步驟生成的圖像幀序列進行后處理以便使其適應于顯示器，其中所述呈現步驟通過以預定幀頻執(zhí)行呈現來生成圖像幀序列而不考慮所述顯示器的規(guī)格，以及所述后處理步驟使由所述呈現步驟生成的圖像幀序列經受預定處理，以便生成和輸出適于所述顯示器的規(guī)格的更新的圖像幀序列。
3.一種圖像幀處理方法，包含呈現圖像幀序列；以及對由所述呈現步驟生成的圖像幀序列進行后處理以便使其適應于顯示器，其中所述呈現步驟通過以預定幀頻執(zhí)行呈現來生成圖像幀序列而不考慮正被執(zhí)行的節(jié)目，以及所述后處理步驟使由所述呈現步驟生成的圖像幀序列經受預定處理，以便生成和輸出適于所述節(jié)目的更新的圖像幀序列。
4.一種圖像幀處理設備，包含接口單元，用于獲取為輸出到顯示器而使圖像幀應當滿足的條件；呈現處理單元，用于以預定幀頻執(zhí)行呈現而不考慮所述條件，以便生成圖像幀序列；以及后處理單元，用于根據由所述接口單元獲取的所述條件、對由所述呈現處理單元生成的圖像幀序列執(zhí)行預定處理以生成用于該顯示器的更新的圖像幀序列。
5.如權利要求4所述的圖像幀處理設備，其中，所述條件是顯示器的輸出分辨率。
6.如權利要求4所述的圖像幀處理設備，其中，所述條件是顯示器的幀頻。
7.如權利要求4所述的圖像幀處理設備，其中，所述條件是為顯示器上的內容類型定義的輸出分辨率。
8.根據權利要求4到7所述的圖像幀處理設備，其中，所述呈現處理單元在呈現空間中以互相不同的坐標偏移開始呈現圖像幀序列中的一組圖像幀。
9.如權利要求8所述的圖像幀處理設備，其中，所述后處理單元合并通過偏移呈現生成的該組圖像幀，并保持在該組圖像幀之間的位移，以便生成空間分辨率高于從所述呈現處理單元輸出的圖像幀序列的空間分辨率的更新的圖像幀序列。
10.如權利要求9所述的圖像幀處理設備，其中，通過偏移呈現生成的該組圖像幀位于單個坐標系中，而且通過在所述坐標系中采樣像素生成空間分辨率高于從所述呈現處理單元輸出的圖像幀序列的空間分辨率的更新的圖像幀序列。
11.如權利要求8所述的圖像幀處理設備，其中，所述后處理單元通過合并通過偏移呈現而生成的該組圖像幀以便抵消在該組圖像幀之間的位移，來生成空間分辨率和從所述呈現處理單元輸出的圖像幀序列的空間分辨率相同的更新的圖像幀序列。
12.如權利要求11所述的圖像幀處理設備，其中，通過偏移呈現生成的該組圖像幀位于單個坐標系中，而且通過在該坐標系中混和像素來生成空間分辨率與從所述呈現處理單元輸出的圖像幀序列的空間分辨率相同的更新的圖像幀序列。
13.如權利要求4到12所述的圖像幀處理設備，還包含第一存儲器，存儲由所述呈現處理單元生成的圖像幀；以及第二存儲器，由所述后處理單元用作工作區(qū)域，其中所述第一存儲器具有存儲由所述呈現處理單元生成的至少一個圖像幀的容量，將暫時存儲在所述第一存儲器中的圖像幀傳輸到所述第二存儲器，并且所述后處理單元從所述第二存儲器中讀出多個圖像幀以用于該預定處理。
14.如權利要求4到12所述的圖像幀處理設備，還包含第一存儲器，存儲由所述呈現處理單元生成的圖像幀；以及第二存儲器，由所述后處理單元用作工作區(qū)域，其中所述第一存儲器內置于至少與所述呈現處理單元相同的半導體電路元件中。
15.如權利要求14所述的圖像幀處理設備，其中，將主存儲器用作所述第二存儲器。
16.一種程序，用于使計算機執(zhí)行以下步驟呈現圖像幀序列；對由所述呈現步驟生成的圖像幀序列進行后處理以便使其適應于顯示器，其中所述呈現步驟通過以預定幀頻執(zhí)行呈現來生成圖像幀序列而不考慮為了輸出到顯示器而使所述圖像幀應當滿足的條件，以及所述后處理步驟使由所述呈現步驟生成的圖像幀序列經受預定處理，以便生成和輸出滿足所述條件的更新的圖像幀序列。
17.一種呈現處理器，其以預定幀頻執(zhí)行呈現而不考慮為了輸出到顯示器而使圖像幀應當滿足的條件，并且生成圖像幀，該圖像幀在后處理中轉換為滿足所述條件的更新的圖像幀。
18.如權利要求17所述的呈現處理器，其中，所述條件是顯示器的輸出分辨率。
19.如權利要求17所述的呈現處理器，其中，所述條件是顯示器的幀頻。
20.如權利要求17所述的呈現處理器，其中，所述條件是為顯示器上的內容類型定義的輸出分辨率。
21.如權利要求17到20所述的呈現處理器，其中，在呈現空間中以互相不同的坐標偏移開始呈現圖像幀序列中的一組圖像幀。
22.如權利要求17到20所述的呈現處理器，其中，存儲通過呈現生成的圖像幀的存儲器內置于與所述呈現處理器相同的半導體電路元件中。
23.一種用于在顯示器上顯示外部提供的圖像幀序列的圖像幀處理方法，包含獲取為了輸出到該顯示器而使圖像幀應當滿足的條件；以預定幀頻接收該圖像幀序列而不考慮所述條件；以及使所收到的圖像幀序列經受預定處理以便生成滿足所述條件的更新的圖像幀序列。
24.一種圖像幀處理設備，包含接口單元，用于獲取為輸出到顯示器而使圖像幀應當滿足的條件；圖像幀接收單元，用于以預定幀頻接收圖像幀序列而不考慮所述條件；以及后處理單元，用于根據由所述接口單元獲取的所述條件、對所收到的圖像幀序列執(zhí)行預定處理以生成用于該顯示器的更新的圖像幀序列。
25.一種使計算機在顯示器上顯示外部提供的圖像幀序列的程序，包含以下步驟獲取為了輸出到顯示器而使圖像幀應當滿足的條件；以預定幀頻接收圖像幀序列而不考慮所述條件；以及根據由所述接口單元獲取的所述條件、對所述圖像幀序列執(zhí)行預定處理以生成用于該顯示器的更新的圖像幀序列。
26.一種用于從存儲器中讀取圖像幀序列并且對所述圖像幀序列執(zhí)行預定處理以便顯示的活動圖像顯示方法，包含當出現快速前進請求時，有選擇地從存儲器中讀取要顯示為快速前進畫面的圖像幀；通過對所讀取的圖像幀執(zhí)行預定的合并處理來創(chuàng)建更新的圖像幀；以及顯示所述更新的圖像幀。
27.一種通過使用包含存儲器中存儲的圖像幀序列的活動圖像來創(chuàng)建快速前進幀的圖像幀處理方法，包含獲取在快速前進請求中寫入的前進速度信息；基于該前進速度信息計算創(chuàng)建快速前進幀所需要的圖像幀的數目；從該存儲器中讀取所計算數目的圖像幀；集成所讀取的圖像幀以創(chuàng)建所述快速前進幀；以及以預定幀頻顯示所創(chuàng)建的快速前進幀作為快速前進畫面。
28.如權利要求27所述的圖像幀處理方法，其中，有選擇地從圖像幀中讀取具有預定特征的圖像幀作為特征幀。
29.如權利要求27所述的圖像幀處理方法，還包含將每個圖像幀分離為特定圖像區(qū)域和非特定圖像區(qū)域，其中所述特定圖像區(qū)域包括預定對象，而所述非特定圖像區(qū)域是除了特定圖像區(qū)域之外的區(qū)域；集成圖像幀之間的非特定圖像區(qū)域；選擇圖像幀中的特定圖像區(qū)域當中的一個區(qū)域；以及組合所集成的非特定圖像區(qū)域和所選擇的特定圖像區(qū)域以創(chuàng)建快速前進幀。
30.如權利要求27所述的圖像幀處理方法，還包含檢測圖像幀之間的移動信息；基于該移動信息創(chuàng)建代表預定對象在所述圖像幀內的移動的路徑的路徑圖像；以及組合該路徑圖像和原始圖像幀來創(chuàng)建該快速前進幀。
31.一種用于響應于快速前進請求創(chuàng)建快速前進幀的圖像幀處理設備，包含存儲單元，用于存儲包含圖像幀序列的活動圖像數據；接口單元，用于獲取在快速前進請求中寫入的前進速度信息；幀數目確定單元，用于基于該前進速度信息計算創(chuàng)建快速前進幀所需要的圖像幀的數目；幀傳輸單元，用于從存儲單元中讀取所計算數目的圖像幀；快速前進處理單元，用于集成所讀取的圖像幀來創(chuàng)建快速前進幀；以及畫面合成單元，用于以預定幀頻顯示所創(chuàng)建的快速前進幀以作為快速前進畫面。
32.如權利要求31所述的圖像幀處理設備，其中，所述快速前進處理單元包含合并執(zhí)行單元，用于混合所讀取的圖像幀來創(chuàng)建快速前進幀。
33.如權利要求31所述的圖像幀處理設備，其中，所述快速前進處理單元還包含特征幀提取單元，用于從所述圖像幀中提取特征幀，所述特征幀是具有預定特征的圖像幀。
34.如權利要求31所述的圖像幀處理設備，所述快速前進處理單元還包含分離單元，用于將每個圖像幀分離為特定圖像區(qū)域和非特定圖像區(qū)域，其中所述特定圖像區(qū)域包括預定對象，而所述非特定圖像區(qū)域是除了特定圖像區(qū)域之外的區(qū)域；合并執(zhí)行單元，用于集成所述圖像幀之間的非特定圖像區(qū)域，并且選擇所述圖像幀的特定圖像區(qū)域中的一個區(qū)域；以及幀重新合成單元，用于組合所集成的非特定圖像區(qū)域和所選擇的特定圖像區(qū)域以創(chuàng)建快速前進幀。
35.如權利要求34所述的圖像幀處理設備，還包含移動信息檢測單元，用于計算所述圖像幀之間的移動信息，其中所述分離單元基于所述移動信息確定特定圖像區(qū)域。
36.如權利要求31所述的圖像幀處理設備，其中，當所述非特定圖像區(qū)域是靜止圖像時，所述合并執(zhí)行單元混合每個都從所述圖像幀中分離出的非特定圖像區(qū)域，以增強圖像區(qū)域的質量。
37.如權利要求31所述的圖像幀處理設備，還包含移動信息檢測單元，用于計算圖像幀之間的移動信息；其中所述快速前進處理單元包含路徑創(chuàng)建單元，用于基于該移動信息創(chuàng)建代表預定對象在所述圖像幀內的移動的路徑的路徑圖像；以及幀重新合成單元，用于組合該路徑圖像和原始圖像幀來創(chuàng)建該快速前進幀。
38.如權利要求31所述的圖像幀處理設備，還包含內容類型確定單元，用于確定所述活動圖像的內容類型，其中所述快速前進處理單元根據所述內容類型執(zhí)行集成處理。
39.一種使計算機通過使用包含從外部設備收到的圖像幀序列的活動圖像來創(chuàng)建快速前進幀的程序，包含步驟基于包含在快速前進請求中的前進速度信息計算創(chuàng)建快速前進幀所需要的圖像幀的數目；從存儲器中讀取所計算數目的圖像幀；集成所讀取的圖像幀以創(chuàng)建所述快速前進幀；以及以預定幀頻顯示所創(chuàng)建的快速前進幀以作為快速前進畫面。
全文摘要
分離了用于呈現圖像幀的呈現處理和用于使圖像幀適于顯示器的后處理。呈現處理單元42通過以預定幀頻執(zhí)行呈現、而不考慮為了輸出到顯示器而使圖像幀應當滿足的條件來生成圖像幀序列。后處理單元50使由呈現處理單元生成的圖像幀序列經受合并處理，以便生成并輸出滿足該條件的更新的圖像幀序列。因為分離了呈現處理和后處理，所以可以生成圖像幀序列而不考慮諸如顯示器的分辨率和幀頻之類的顯示器規(guī)格。
文檔編號G09G5/391GK1989545SQ2005800244
公開日2007年6月27日 申請日期2005年5月18日 優(yōu)先權日2004年5月19日
發(fā)明者青木幸代, 大場章男, 岡正昭, 佐佐木伸夫 申請人:索尼計算機娛樂公司