基于運動的自適應渲染的制作方法
【專利說明】基于運動的自適應這染
[0001] 本申請要求于2014年6月27日提交的62/018,221號美國臨時專利申請、于 2014年6月27日提交的62/018, 228號美國臨時專利申請、于2014年6月27日提交的 62/018, 254號美國臨時專利申請、于2014年6月27日提交的62/018, 274號美國臨時專利 申請、于2014年6月18日提交的14/743, 700號美國專利申請W及于2015年6月23日提 交的第10-2015-0089085號韓國專利申請的權(quán)益，所述每個專利申請的內(nèi)容通過引用包含 于此。
技術(shù)領(lǐng)域
[0002] 本發(fā)明的實施例總體上設(shè)及執(zhí)行圖形處理的技術(shù)，在該技術(shù)中，在像素的塊中擅 染的樣本的數(shù)量減少。更具體地講，本發(fā)明的實施例在于自動地分析各個顯示屏幕圖塊 (像素的塊）的運動和其它因素并W逐個圖塊為基礎(chǔ)做出采樣決定。
【背景技術(shù)】
[000引圖1示出基于OpeiiGL飯3.0標準的圖形流水線100的主要部分。一組示例性階 段包括：頂點著色器操作階段105、圖元組合和光柵化階段110、片元像素著色器操作階段 115、帖緩沖器階段120和紋理存儲器125。流水線進行操作W接收頂點數(shù)據(jù)，對頂點進行著 色，對圖元進行組合和光柵化，并對片元/像素執(zhí)行著色操作。
[0004] 圖形流水線100的一方面在于W相同的最小分辨率擅染圖像的每個區(qū)域。具體 地，在傳統(tǒng)圖形流水線中，采樣率（每個像素的樣本的平均數(shù)量）通常為圖像的每個像素至 少一個樣本。 陽〇化]傳統(tǒng)圖形流水線的一方面在于浪費并需要比期望的像素著色操作更多的像素著 色操作。具體地講，在圖形流水線中不存在自動化W允許自動地做出策略選擇來在圖像的 局部區(qū)域中將采樣率減小到低于每一像素一個樣本（二次采樣/解樣）。在移動裝置的情 景下，運意味著消耗高于期望的能量。

【發(fā)明內(nèi)容】

[0006] 一種圖形系統(tǒng)基于正被擅染的潛在對象相對于相機的參考帖的運動，自適應地擅 染帖的各個部分。在一個實施例中，自適應擅染至少部分基于在屏幕上擅染的對象在至少 兩帖之間的速度。測量屏幕空間中（經(jīng)由像素）的運動引入不同的運動源，所述不同的運 動源包括對象運動和相機運動。如果潛在的運動的速度在準靜態(tài)限制W下，則可做出是否 重復使用來自先前帖的一部分像素的決定。在中速機制中使用全采樣率。在至少一個更高 速機制中，做出是否選擇減小的采樣率的決定。可逐個圖塊為基礎(chǔ)做出決定，其中，圖 塊是圖像中的一組連續(xù)的像素，通常在具有正方形形狀或矩形形狀的塊中。
[0007] 方法的一個實施例包括：W逐個圖塊為基礎(chǔ)確定當前帖中的對象相對于先前帖的 速度。每個圖塊被分類到至少=個速度類別中的一個類別中，所述至少=個速度類別包括 準靜態(tài)速度類別、中速類別和高速類別。至少部分基于與每個圖塊相關(guān)聯(lián)的速度類別，針對 每個圖塊做出采樣決定。所述采樣決定包括：在當前帖中w每一像素至少一個樣本的全分 辨率采樣率對圖塊進行采樣還是在當前帖中W更低的采樣率對圖塊進行采樣。隨后擅染所 述圖塊。在一個實施例中，采樣決定還基于圖塊是否被檢測為包括顏色或深度的邊緣的可 能性高。在一個實施例中，對于被分類到準靜態(tài)速度類別中的圖塊，所述方法還包括：通過 將先前帖的至少一個像素的像素數(shù)據(jù)復制到圖塊，重復使用來自先前帖的像素數(shù)據(jù)。在一 個實施例中，對于分類在中間速度機制中的圖塊，每個像素被采樣至少一次。在一個實施例 中，對于被分類到至少一個高速機制中的圖塊，對樣本的數(shù)量小于與圖塊相關(guān)聯(lián)的像素的 數(shù)量的采樣模式進行選擇，并執(zhí)行插值W確定沒有被采樣的像素位置的顏色。
[0008] 圖形系統(tǒng)的一個實施例包括圖形處理器和圖形流水線，圖形流水線包括自適應采 樣產(chǎn)生器和像素著色器。自適應采樣產(chǎn)生器至少部分基于每個圖塊中的對象的像素的速 度，確定每個圖塊所需要的采樣率，并基于需要的采樣率選擇采樣模式。在一個實施例中， 自適應采樣產(chǎn)生器基于各個圖塊中的對象的速度和各個圖塊是否包括邊緣的組合，確定各 個圖塊的采樣模式和采樣率。在一個實施例中，圖形系統(tǒng)包括：用于執(zhí)行平流的平流單元， 其中，對于具有準靜態(tài)速度限制W下的速度的圖塊，具有減小的采樣率的采樣模式被選擇， 平流單元通過經(jīng)由平流復用來自先前帖的像素數(shù)據(jù)來填充缺失的像素數(shù)據(jù)。在一個實施例 中，所述圖形系統(tǒng)包括重構(gòu)單元，其中，對于具有闊值速度W上的速度的圖塊，減小的采樣 率被選擇并且通過重構(gòu)單元對缺失的像素數(shù)據(jù)進行插值。
【附圖說明】
[0009] 圖1示出傳統(tǒng)的圖形流水線。
[0010] 圖2示出根據(jù)本發(fā)明的實施例的圖形流水線。
[0011] 圖3示出根據(jù)本發(fā)明的實施例的自適應解樣產(chǎn)生器。
[0012] 圖4示出根據(jù)本發(fā)明的實施例的在執(zhí)行自適應擅染時的像素速度考量的示例。
[0013] 圖5是示出根據(jù)本發(fā)明的實施例的擅染和重構(gòu)選擇的流程圖。
[0014] 圖6A示出根據(jù)本發(fā)明的實施例的對采樣模式進行抖動W減少視覺偽影的示例。
[0015] 圖6B示出根據(jù)本發(fā)明的實施例的執(zhí)行采樣模式的抖動的一般方法。
[0016] 圖7A示出根據(jù)本發(fā)明的實施例的平流的示例。
[0017] 圖7B示出根據(jù)本發(fā)明的實施例的在圖形系統(tǒng)中執(zhí)行平流的一般方法。
[0018] 圖8示出根據(jù)本發(fā)明的實施例的使用預先計算的權(quán)重執(zhí)行=階樣條插值的示例。
[0019] 圖9示出根據(jù)本發(fā)明的實施例的與用于確定預先計算的權(quán)重的考慮相關(guān)的采樣 模式的示例。
[0020] 圖10示出根據(jù)本發(fā)明的實施例的與用于確定預先計算的權(quán)重的考慮相關(guān)的采樣 模式的示例。
[0021] 圖11示出根據(jù)本發(fā)明的實施例的自適應解樣的一般方法。
[0022] 圖12示出根據(jù)本發(fā)明的實施例的在圖形系統(tǒng)中執(zhí)行=階樣條插值的一般方法。
[0023] 圖13示出根據(jù)本發(fā)明的實施例的在圖形系統(tǒng)中執(zhí)行=階樣條插值的一般方法。
[0024] 圖14示出平流與樣條重構(gòu)之間的差異的示例。
[0025] 圖15A和圖15B示出基于每一像素的速度的大小使用不同方法自適應地擅染帖的 不同區(qū)域的示例。
[00%] 圖16示出根據(jù)本發(fā)明的實施例的使用平流進行立體擅染的示例。
[0027] 圖17示出根據(jù)本發(fā)明的實施例的應用于凹式擅染的自適應擅染。
[0028] 圖18是示出根據(jù)本發(fā)明實施例的圖形處理的方法的流程圖。
[0029] 圖19是示出根據(jù)本發(fā)明另一實施例的圖形處理的方法的流程圖。
【具體實施方式】
[0030] 示例圖形流水線系統(tǒng)概述
[0031] 圖2示出根據(jù)本發(fā)明的實施例的圖形流水線200?？墒褂冒▓D形硬件的圖形處 理單元（GPU)來實現(xiàn)圖形流水線200。圖形流水線200包括若干新階段和功能，所述新階段 和功能用于支持自動地確定不需要各個圖塊（像素的塊）中的所有像素被采樣并被擅染的 帖的區(qū)域，W實現(xiàn)令人類用戶滿意的觀看體驗。如本申請中所使用的，圖塊是圖像中（通常 為具有矩形形狀的塊中）的一組連續(xù)像素。術(shù)語帖通常用于描述被執(zhí)行的用于W預設(shè)頻率 擅染由顯示器讀取的圖像的一組操作。然而，術(shù)語帖還用于指從一組用于擅染圖像的操作 得到的擅染后的圖像。
[0032] 在一個實施例中，自適應解樣（AD)樣本產(chǎn)生器階段205被提供為支持調(diào)整圖像 的局部區(qū)域中的采樣模式，其中，局部區(qū)域是與像素的塊（4X4的像素的塊、16X16的像素 的塊或其它大小的像素的塊）對應的圖塊。解樣是減少在當前帖中被采樣和擅染的每一 圖塊的樣本數(shù)量。例如，解樣可包括在圖塊中W平均小于每一像素一個樣本進行采樣和擅 染。為了保持全圖像分辨率，可使用兩種不同方法來獲得缺失的像素數(shù)據(jù)的值。重構(gòu)和平 流（advection)階段210支持用于在保持用戶的視覺質(zhì)量的同時減少圖塊中的需要被采樣 和擅染的像素的數(shù)量的兩種不同選項。重構(gòu)和平流階段210包括重構(gòu)子模塊211和平流子 模塊212。在一個實施例中，用于減少在圖塊中擅染的像素的數(shù)量的第一選項為在圖塊中通 過更高階的多項式插值和過濾進行重構(gòu)W產(chǎn)生針對該圖塊的缺失的像素數(shù)據(jù)。用于減少在 圖塊中擅染的像素的數(shù)量的第二選項為運樣的平流：所述平流包括識別先前帖中的一個或 更多個像素的位置并且針對圖塊中被選擇的一部分像素重復使用來自先前帖的像素。
[0033] 在一個實施例中，來自帖n的對象220的帖"n"的像素數(shù)據(jù)215被保存W用于像 素數(shù)據(jù)在下一帖"n+1"的可能的重復使用。此外，頂點坐標數(shù)據(jù)被保存，用于確定像素的帖 至帖運動矢量。在一個實施例中，來自帖n的像素數(shù)據(jù)和頂點坐標被存儲在緩沖存儲器中 W用于下一帖n+1。
[0034] 圖3示出根據(jù)本發(fā)明的