利用圖像覆蓋來(lái)減小顯示滯后的系統(tǒng)、方法和裝置制造方法
【專利摘要】本申請(qǐng)?zhí)峁┝死脠D像覆蓋來(lái)減小顯示滯后的系統(tǒng)、方法和加速器。系統(tǒng)包括：觸摸路徑邏輯，被配置為接收多個(gè)觸摸事件并基于觸摸事件生成輸出；以及渲染邏輯，被配置為：接收視頻圖像；接收觸摸路徑邏輯的輸出；根據(jù)觸摸路徑邏輯的輸出將視頻圖像與覆蓋數(shù)據(jù)相組合以生成組合顯示圖像；以及輸出組合顯示圖像。
【專利說(shuō)明】利用圖像覆蓋來(lái)減小顯示滯后的系統(tǒng)、方法和裝置
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)要求2013年4月22日遞交的標(biāo)題為"利用圖像覆蓋來(lái)減小顯示滯后的方 法和裝置"、序列號(hào)為61/814, 750的美國(guó)臨時(shí)申請(qǐng)的優(yōu)先權(quán)和權(quán)益，這里通過(guò)引用并入該美 國(guó)臨時(shí)申請(qǐng)的全部?jī)?nèi)容。

【技術(shù)領(lǐng)域】
[0003] 本發(fā)明的實(shí)施例涉及具有觸摸輸入設(shè)備的顯示設(shè)備，更具體而言涉及用于減小觸 摸輸入設(shè)備與顯示設(shè)備之間的顯示滯后（display lag)的系統(tǒng)和方法。

【背景技術(shù)】
[0004] 包含或耦合到覆蓋的觸摸傳感器面板的顯示面板為諸如移動(dòng)電話、平板計(jì)算機(jī)、 膝上型計(jì)算機(jī)和桌面型計(jì)算機(jī)之類的能夠觸摸的計(jì)算設(shè)備提供了交互系統(tǒng)。在這種計(jì)算設(shè) 備中，圖形被顯示在顯示面板上，并且用戶可通過(guò)觸摸屏幕(例如利用主動(dòng)式觸控筆、被動(dòng) 式觸控筆或者諸如手指之類的身體部分）來(lái)與這些設(shè)備交互，從而提供了直觀的用戶界面。 [0005] 由觸摸傳感器面板檢測(cè)到的觸摸事件通常由在設(shè)備的應(yīng)用處理器（application processor, AP)上運(yùn)行的高級(jí)應(yīng)用軟件來(lái)處理。觸摸傳感器面板與AP之間的許多處理步 驟以及AP上的非確定處理時(shí)間(包括由于AP執(zhí)行的其他計(jì)算任務(wù)引起的延遲)引入了較長(zhǎng) 的等待時(shí)間(例如70至100毫秒)，而這種等待時(shí)間降低了計(jì)算設(shè)備對(duì)用戶的觸摸輸入的響 應(yīng)性。
[0006] 一些經(jīng)驗(yàn)研究表明，大多數(shù)人可以察覺(jué)到感覺(jué)一例如觸摸和視覺(jué)一之間 的甚至 30 毫秒的不同步（例如參見(jiàn) Keetels，M. and Vroomen，J. (2012) .Perception of Synchrony Between the Senses.In Μ. M. Murray and Μ. T. Wallace(Eds. ), Frontiers in the neural basis of multisensory processes (pp. 147 - 177). London:Taylor&Francis Group)。50至200毫秒的延遲對(duì)于這些計(jì)算設(shè)備的大多數(shù)用戶來(lái)說(shuō)將是可察覺(jué)的，這可導(dǎo) 致由于計(jì)算設(shè)備未能立即對(duì)用戶的輸入提供反饋而引起的用戶挫敗感的增加。


【發(fā)明內(nèi)容】

[0007] 本發(fā)明的實(shí)施例的各方面涉及減少觸摸事件與對(duì)此觸摸事件的顯示響應(yīng)之間的 等待時(shí)間。
[0008] 根據(jù)本發(fā)明的一個(gè)實(shí)施例，一種系統(tǒng)包括：觸摸路徑邏輯，被配置為接收多個(gè)觸摸 事件并基于觸摸事件生成輸出；以及渲染邏輯，被配置為：接收視頻圖像；接收觸摸路徑邏 輯的輸出；根據(jù)觸摸路徑邏輯的輸出將視頻圖像與覆蓋數(shù)據(jù)相組合以生成組合顯示圖像； 以及輸出組合顯示圖像。
[0009] 視頻圖像可包括顯示的線條，并且覆蓋數(shù)據(jù)的特性可匹配顯示的線條的特性。
[0010] 特性可包括顏色。
[0011] 觸摸路徑邏輯可以是應(yīng)用處理器的組件，應(yīng)用處理器被配置為生成視頻圖像。
[0012] 觸摸路徑邏輯可以是顯示驅(qū)動(dòng)器接口控制器的組件，顯示驅(qū)動(dòng)器接口控制器可被 配置為從應(yīng)用處理器接收視頻圖像并且將組合顯示圖像提供給顯示面板。
[0013] 觸摸路徑邏輯可以是與觸摸傳感器面板耦合的觸摸控制器的組件，觸摸控制器可 被配置為從觸摸傳感器面板接收多個(gè)觸摸信號(hào)并生成觸摸事件。
[0014] 觸摸路徑邏輯可被配置為從觸摸傳感器面板接收觸摸事件并根據(jù)接收到的觸摸 事件來(lái)生成掩模數(shù)據(jù)，掩模數(shù)據(jù)包括數(shù)值的矩陣，每個(gè)數(shù)值標(biāo)識(shí)渲染邏輯產(chǎn)生組合顯示圖 像的操作，并且其中，矩陣內(nèi)的數(shù)值的位置可對(duì)應(yīng)于組合顯示圖像中的像素的位置。
[0015] 渲染邏輯可被配置為通過(guò)對(duì)于組合顯示圖像中的每個(gè)像素根據(jù)掩模數(shù)據(jù)中的相 應(yīng)位置處的值確定是輸出視頻圖像的相應(yīng)像素還是輸出覆蓋數(shù)據(jù)來(lái)將視頻圖像與覆蓋數(shù) 據(jù)相組合。
[0016] 渲染邏輯可被配置為通過(guò)對(duì)于組合顯示圖像中的每個(gè)像素根據(jù)掩模數(shù)據(jù)中的相 應(yīng)位置處的值確定如何混合視頻圖像的相應(yīng)像素和覆蓋數(shù)據(jù)來(lái)將視頻圖像與覆蓋數(shù)據(jù)相 組合。
[0017] 混合可以是邊緣增強(qiáng)操作、加亮操作、減暗操作、或者阿爾法合成效果。
[0018] 掩模數(shù)據(jù)的每個(gè)數(shù)值可對(duì)應(yīng)于組合顯示圖像中的正好一個(gè)像素。
[0019] 掩模數(shù)據(jù)的每個(gè)數(shù)值可對(duì)應(yīng)于組合顯示圖像中的多于一個(gè)像素。
[0020] 覆蓋數(shù)據(jù)可包括多個(gè)頁(yè)，并且掩模數(shù)據(jù)可包括標(biāo)識(shí)多個(gè)頁(yè)中的至少一個(gè)頁(yè)的信 肩、。
[0021] 觸摸路徑邏輯還可被配置為：接收參數(shù)；根據(jù)觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑；以 及根據(jù)估計(jì)觸摸路徑和參數(shù)來(lái)生成掩模數(shù)據(jù)，其中參數(shù)控制掩模區(qū)域的位置或者控制估計(jì) 觸摸路徑的寬度、式樣或形狀。
[0022] 系統(tǒng)還可包括：應(yīng)用處理器，被配置為生成視頻圖像，其中渲染邏輯可以是應(yīng)用處 理器的組件。
[0023] 渲染邏輯還可被配置為基于觸摸事件的子集來(lái)將視頻圖像與覆蓋數(shù)據(jù)相組合，該 子集對(duì)應(yīng)于固定數(shù)目的視頻圖像。
[0024] 渲染邏輯還可被配置為基于觸摸事件的子集來(lái)將視頻圖像與覆蓋數(shù)據(jù)相組合，該 子集對(duì)應(yīng)于一定數(shù)目的視頻圖像：該數(shù)目對(duì)應(yīng)于由被配置為向渲染邏輯提供視頻圖像的應(yīng) 用處理器所引入的延遲。
[0025] 渲染邏輯還可被配置為基于觸摸事件的子集來(lái)將視頻圖像與覆蓋數(shù)據(jù)相組合，該 子集對(duì)應(yīng)于一定數(shù)目的視頻圖像：該數(shù)目是根據(jù)被配置為向渲染邏輯提供視頻圖像的應(yīng)用 處理器的先前渲染輸出計(jì)算出的。
[0026] 覆蓋數(shù)據(jù)可包括位映射圖像。
[0027] 覆蓋數(shù)據(jù)可具有單一顏色值。
[0028] 渲染邏輯可被配置為在沒(méi)有來(lái)自應(yīng)用處理器的輸入的情況下生成覆蓋數(shù)據(jù)。
[0029] 渲染邏輯可被配置為利用從應(yīng)用處理器提供的數(shù)據(jù)和系統(tǒng)內(nèi)部的數(shù)據(jù)來(lái)生成覆 蓋數(shù)據(jù)。
[0030] 渲染邏輯可被配置為從應(yīng)用處理器接收覆蓋數(shù)據(jù)。
[0031] 觸摸事件可以是作為指點(diǎn)工具與觸摸輸入面板之間的交互的結(jié)果而生成的。
[0032] 根據(jù)本發(fā)明的一個(gè)實(shí)施例，一種用于對(duì)觸摸輸入提供視覺(jué)反饋的方法包括：從耦 合到顯示器的觸摸傳感器面板接收多個(gè)觸摸事件；接收視頻圖像；根據(jù)觸摸事件將視頻圖 像與覆蓋數(shù)據(jù)相組合以生成組合顯示圖像；以及將組合顯示圖像提供給顯示器。
[0033] 該方法還可包括：接收參數(shù)；以及根據(jù)觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑，其中，可根 據(jù)估計(jì)觸摸路徑和參數(shù)來(lái)將視頻圖像與覆蓋數(shù)據(jù)相組合，并且其中，參數(shù)可控制覆蓋數(shù)據(jù) 在組合顯示圖像中的位置或者可控制估計(jì)觸摸路徑的寬度、式樣或形狀。
[0034] 該方法還可包括根據(jù)觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑，其中，可根據(jù)估計(jì)觸摸路徑 來(lái)將視頻圖像與覆蓋數(shù)據(jù)相組合，并且其中，可基于觸摸事件的子集來(lái)計(jì)算估計(jì)觸摸路徑， 該子集對(duì)應(yīng)于固定數(shù)目的幀。
[0035] 該方法還可包括根據(jù)觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑，其中，可根據(jù)估計(jì)觸摸路徑 來(lái)將視頻圖像與覆蓋數(shù)據(jù)相組合，并且其中，可基于觸摸事件的子集來(lái)計(jì)算估計(jì)觸摸路徑， 該子集對(duì)應(yīng)于如下數(shù)目的幀：該數(shù)目對(duì)應(yīng)于由應(yīng)用處理器引入的延遲。
[0036] 該方法還可包括根據(jù)觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑，其中，可根據(jù)估計(jì)觸摸路徑 來(lái)將視頻圖像與覆蓋數(shù)據(jù)相組合，并且其中，可基于觸摸事件的子集來(lái)計(jì)算估計(jì)觸摸路徑， 該子集對(duì)應(yīng)于如下數(shù)目的幀：該數(shù)目是根據(jù)應(yīng)用處理器的先前渲染輸出計(jì)算出的。
[0037] 覆蓋數(shù)據(jù)可包括位映射圖像。
[0038] 覆蓋數(shù)據(jù)可具有單一顏色值。
[0039] 該方法還可包括在沒(méi)有來(lái)自應(yīng)用處理器的輸入的情況下生成覆蓋數(shù)據(jù)。
[0040] 該方法還可包括利用從應(yīng)用處理器提供的數(shù)據(jù)和內(nèi)部數(shù)據(jù)來(lái)生成覆蓋數(shù)據(jù)。
[0041] 該方法還可包括從應(yīng)用處理器接收覆蓋數(shù)據(jù)。
[0042] 根據(jù)觸摸事件將視頻圖像與覆蓋數(shù)據(jù)相組合以生成組合顯示圖像可包括：基于觸 摸事件來(lái)生成掩模數(shù)據(jù)，掩模數(shù)據(jù)包括數(shù)值的矩陣，每個(gè)數(shù)值標(biāo)識(shí)產(chǎn)生組合顯示圖像的操 作，并且其中，矩陣內(nèi)的數(shù)值的位置對(duì)應(yīng)于組合顯示圖像中的像素的位置。
[0043] 該方法還可包括：對(duì)于組合顯示圖像中的每個(gè)像素，根據(jù)掩模數(shù)據(jù)中的相應(yīng)位置 處的值確定是輸出視頻圖像的相應(yīng)像素還是輸出覆蓋數(shù)據(jù)。
[0044] 該方法還可包括：對(duì)于組合顯示圖像中的每個(gè)像素，根據(jù)掩模數(shù)據(jù)中的相應(yīng)位置 處的值確定如何混合視頻圖像的相應(yīng)像素和覆蓋數(shù)據(jù)。
[0045] 混合可以是邊緣增強(qiáng)操作、加亮操作、減暗操作、或者阿爾法合成效果。
[0046] 掩模數(shù)據(jù)的每個(gè)數(shù)值可對(duì)應(yīng)于組合顯示圖像中的正好一個(gè)像素。
[0047] 掩模數(shù)據(jù)的每個(gè)數(shù)值可對(duì)應(yīng)于組合顯示圖像中的多于一個(gè)像素。
[0048] 覆蓋數(shù)據(jù)可包括多個(gè)頁(yè)，并且掩模數(shù)據(jù)可包括標(biāo)識(shí)多個(gè)頁(yè)中的至少一個(gè)頁(yè)的信 肩、。
[0049] 觸摸事件可以是作為指點(diǎn)工具與觸摸輸入面板之間的交互的結(jié)果而生成的。
[0050] 根據(jù)本發(fā)明的一個(gè)實(shí)施例，一種加速器，用于響應(yīng)于在顯示設(shè)備上描繪的路徑而 提供反饋，該顯示設(shè)備包括觸摸傳感器面板、應(yīng)用處理器和顯示器，該加速器包括：處理器； 以及存儲(chǔ)器，其上存儲(chǔ)有指令，這些指令當(dāng)被處理器執(zhí)行時(shí)使得處理器：從應(yīng)用處理器接收 渲染視頻幀；從觸摸傳感器面板接收多個(gè)觸摸信號(hào)；基于觸摸信號(hào)確定觸摸路徑；基于觸 摸路徑和存儲(chǔ)的覆蓋數(shù)據(jù)來(lái)更新渲染視頻幀以生成更新的視頻幀；以及將更新的視頻幀輸 出到顯示器。

【專利附圖】

【附圖說(shuō)明】
[0051] 附圖與說(shuō)明書(shū)一起闡明了本發(fā)明的示范性實(shí)施例并且與描述一起用來(lái)說(shuō)明本發(fā) 明的原理。
[0052] 圖1A圖示出包括傳統(tǒng)的觸摸輸入處理設(shè)備的設(shè)備的響應(yīng)，并且圖1B圖示出包括 根據(jù)本發(fā)明的實(shí)施例的觸摸輸入處理設(shè)備的設(shè)備的響應(yīng)。
[0053] 圖2是根據(jù)本發(fā)明的實(shí)施例的一方面的低等待時(shí)間反饋路徑和傳統(tǒng)反饋路徑兩 者的示意性圖示。
[0054] 圖3是圖示出包括根據(jù)本發(fā)明的一個(gè)實(shí)施例的低等待時(shí)間覆蓋系統(tǒng)的設(shè)備的框 圖。
[0055] 圖4是圖示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的低等待時(shí)間覆蓋系統(tǒng)內(nèi)的組件的框圖。
[0056] 圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施例的將視頻圖像數(shù)據(jù)、覆蓋數(shù)據(jù)和觸摸路徑信息相 組合來(lái)生成第一組合顯示圖像的示意性圖示。
[0057] 圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的將視頻圖像數(shù)據(jù)、覆蓋數(shù)據(jù)和觸摸路徑信息相 組合來(lái)生成第二組合顯示圖像的示意性圖示。
[0058] 圖7是圖示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于確定覆蓋數(shù)據(jù)的應(yīng)用并將覆蓋數(shù) 據(jù)與視頻圖像相組合的方法的流程圖。

【具體實(shí)施方式】
[0059] 在以下詳細(xì)描述中，只是以舉例說(shuō)明的方式示出和描述了本發(fā)明的某些示范性實(shí) 施例。正如本領(lǐng)域技術(shù)人員將會(huì)認(rèn)識(shí)到的，本發(fā)明可以以許多不同的形式來(lái)實(shí)現(xiàn)，而不應(yīng)當(dāng) 被解釋為限于本文記載的實(shí)施例。貫穿說(shuō)明書(shū)各處，相似的標(biāo)號(hào)指代相似的元素。
[0060] 本發(fā)明的實(shí)施例通過(guò)在應(yīng)用處理器渲染圖像之前基于觸摸位置顯示圖像來(lái)允許 用戶感知到更快的觸摸響應(yīng)。
[0061] 為觸摸界面設(shè)計(jì)的軟件經(jīng)常利用對(duì)偽"真實(shí)世界"物體的直接物理操作的比擬和 /或屏幕上路徑的描繪來(lái)提供視覺(jué)反饋(例如，對(duì)于在揮掃型或基于手勢(shì)的屏上鍵盤(pán)上手指 的蹤跡、對(duì)于繪畫(huà)或速寫(xiě)應(yīng)用中的路徑的蹤跡、以及對(duì)于在游戲中描繪的路徑)。
[0062] 對(duì)于移動(dòng)電話的常見(jiàn)抱怨是用戶界面（UI)的滯后。當(dāng)前的移動(dòng)電話響應(yīng)于觸摸 動(dòng)作通常要花50至200毫秒來(lái)更新顯示。例如，在Samsung? Galaxy Note? 2電話上測(cè) 量到的對(duì)觸摸事件的典型顯示響應(yīng)時(shí)間可大于100毫秒或者基于60幀每秒（FPS)的刷新 率可大致超過(guò)6幀視頻圖像，這是大部分用戶可以注意到的。
[0063] 圖1A圖示出包括作為對(duì)比（comparable)觸摸輸入處理設(shè)備的設(shè)備的響應(yīng)，其中 顯示的線條100在手指的位置與顯示的線條100的最后描繪部分之間具有間隙102,從而導(dǎo) 致了用戶的觸摸與顯示的線條之間的明顯顯示滯后。當(dāng)使用觸控筆--無(wú)論是主動(dòng)式還是 被動(dòng)式--的時(shí)候，也通常會(huì)遇到類似的顯示滯后。
[0064] 本發(fā)明的實(shí)施例通過(guò)提前于AP渲染圖像在觸摸路徑中覆蓋圖像來(lái)允許了用戶感 知到更快的觸摸響應(yīng)。通過(guò)閉合用戶的觸摸點(diǎn)（無(wú)論是使用手指、觸控筆還是其他工具）與 屏幕上線條的描繪之間的間隙，可以減小感知到的顯示滯后。就本文使用的而言，術(shù)語(yǔ)"覆 蓋"（overlay)當(dāng)用作動(dòng)詞時(shí)指的是將視頻圖像(例如AP渲染圖像）與附加圖像數(shù)據(jù)相組 合，以使得該附加圖像數(shù)據(jù)替換(或"覆蓋"）原始視頻圖像的某個(gè)部分。術(shù)語(yǔ)"覆蓋"當(dāng)用 作名詞時(shí)也可以指該附加圖像數(shù)據(jù)在組合顯示圖像中的出現(xiàn)。
[0065] 此外，通過(guò)使用覆蓋方法，應(yīng)用軟件還可控制所顯示的對(duì)觸摸事件的響應(yīng)的區(qū)域 (例如在顯示器上的位置)、顏色和渲染操作。
[0066] 圖1B圖示出包括根據(jù)本發(fā)明的實(shí)施例的觸摸輸入處理設(shè)備的設(shè)備的顯示響應(yīng)， 其中顯示的線條包括由根據(jù)本發(fā)明的實(shí)施例的低等待時(shí)間覆蓋系統(tǒng)描繪的估計(jì)或計(jì)算出 的部分104,從而減小了用戶感知到的顯示滯后。
[0067] 參考圖2,在計(jì)算設(shè)備250中，作為對(duì)對(duì)比系統(tǒng)的替換，本發(fā)明的實(shí)施例涉及一種 低等待時(shí)間覆蓋系統(tǒng)(其也可稱為"加速器"或"視覺(jué)反饋加速器")，其在通過(guò)觸摸控制器 200 和顯不驅(qū)動(dòng)器接口控制器（display driver interface controller，DDIC)204 的低等 待時(shí)間路徑212上立即或更迅速地提供視覺(jué)反饋，然后在通過(guò)應(yīng)用處理器202的傳統(tǒng)等待 時(shí)間路徑210上以傳統(tǒng)水平的等待時(shí)間提供視覺(jué)圖像。
[0068] 參考圖3,通常，觸摸屏系統(tǒng)和顯示系統(tǒng)獨(dú)立地操作。觸摸控制器200處理來(lái)自觸 摸傳感器面板300的觸摸信號(hào)302,并且向應(yīng)用處理器（AP) 202輸出觸摸事件304,例如坐 標(biāo)。
[0069] 參考圖3,觸摸傳感器面板300被配置為檢測(cè)用戶的觸摸并生成觸摸信號(hào)302,這 些觸摸信號(hào)302通過(guò)數(shù)據(jù)總線被提供給觸摸控制器200。本發(fā)明的實(shí)施例可與觸摸傳感器 面板300 -起使用，該觸摸傳感器面板300檢測(cè)使用諸如身體部分(例如手指)、觸控筆等等 之類的任何類型的指點(diǎn)工具（pointing implement)的用戶觸摸。就本文使用的而言，術(shù)語(yǔ) "指點(diǎn)工具"指的是能夠被觸摸傳感器面板300檢測(cè)到的物體，包括設(shè)備(例如主動(dòng)式觸控筆 和被動(dòng)式觸控筆）和身體部分(例如手指或手部)。本發(fā)明的實(shí)施例可與諸如以下的多種類 型的觸摸輸入面板中的任何一種一起使用：電阻式觸摸面板、表面聲波觸摸面板、電容式觸 摸面板、紅外觸摸面板、和光觸摸面板。在一個(gè)實(shí)施例中，觸摸信號(hào)302對(duì)應(yīng)于由觸摸傳感 器面板300提供的原始數(shù)據(jù)，例如對(duì)觸摸傳感器面板中的每個(gè)位置的電容或電壓或電流的 測(cè)量結(jié)果。用于觸摸事件304的數(shù)據(jù)總線連接到AP202和低等待時(shí)間覆蓋系統(tǒng)310兩者。 觸摸事件304可以是與檢測(cè)到用戶的觸摸的位置相對(duì)應(yīng)的數(shù)據(jù)值的流(例如，具有充分高 的值的電容或電壓或電流的變化以至于足以構(gòu)成對(duì)觸摸事件的檢測(cè))。在一些實(shí)施例中，觸 摸事件304包括指示被施加到觸摸傳感器面板的壓力的壓力數(shù)據(jù)。
[0070] AP202處理觸摸事件304,而且從AP運(yùn)行的應(yīng)用軟件通過(guò)向DDIC204渲染視頻圖 像316 (或者視頻圖像的巾貞）以便顯示在顯示面板322上，來(lái)相應(yīng)地更新顯示構(gòu)成。AP202 可包括中央處理單元（CPU)、圖形處理單元（GPU)和存儲(chǔ)器。
[0071] AP202連接到DDIC204, DDIC204進(jìn)而又連接到顯示面板322。DDIC204從AP202接 收視頻圖像316并且向顯示面板322提供像素驅(qū)動(dòng)信號(hào)320。
[0072] 在一個(gè)實(shí)施例中，觸摸傳感器面板300、觸摸控制器200、DDIC204和顯示面板322 都是顯示模塊的組件，它們可與應(yīng)用處理器202分開(kāi)。在另一實(shí)施例中，觸摸傳感器面板 300、觸摸控制器200、DDIC204和顯示面板322或者其組合可駐留在單獨(dú)的模塊中，或者與 應(yīng)用處理器相結(jié)合。
[0073] DDIC204處理從應(yīng)用處理器202接收的視頻圖像(或者視頻圖像的幀)316,并且向 顯示面板輸出像素驅(qū)動(dòng)信號(hào)320。
[0074] 下面將更詳細(xì)描述參數(shù)312和覆蓋數(shù)據(jù)314的功能。
[0075] 根據(jù)本發(fā)明的實(shí)施例，低等待時(shí)間覆蓋系統(tǒng)310處理觸摸事件304與視頻圖像 316,以使得顯示面板322能夠比對(duì)比實(shí)現(xiàn)方式更快地示出對(duì)觸摸事件的視覺(jué)響應(yīng)。與一些 對(duì)比設(shè)備中的大約6幀或更多的顯示滯后不同，本發(fā)明的實(shí)施例可將滯后減小到1至2幀。
[0076] 更詳細(xì)地說(shuō)，圖4是圖示出包括根據(jù)本發(fā)明的一個(gè)實(shí)施例的低等待時(shí)間覆蓋系統(tǒng) 310的設(shè)備的框圖。參考圖4,本發(fā)明的實(shí)施例包括四個(gè)主要部分：觸摸路徑邏輯400、掩模 緩沖器402、覆蓋緩沖器406和渲染邏輯404。覆蓋系統(tǒng)310可被包括為DDIC204的組件， 或者覆蓋系統(tǒng)310的一些部分可被包括在DDIC204或AP202中并且其他部分可被包括在觸 摸控制器200中。
[0077] 如圖4所示，在一個(gè)實(shí)施例中，觸摸路徑邏輯400連接到觸摸控制器200并且從 觸摸控制器200接收觸摸事件304。觸摸路徑邏輯400還可連接到AP202以接收配置參數(shù) 312。觸摸路徑邏輯400還連接到掩模緩沖器402,掩模緩沖器402被渲染邏輯404使用。 [0078] 根據(jù)一個(gè)實(shí)施例，覆蓋緩沖器406是DDIC204內(nèi)的存儲(chǔ)器設(shè)備，其連接到AP202并 且存儲(chǔ)從AP202接收的覆蓋數(shù)據(jù)314。覆蓋緩沖器406被配置為將存儲(chǔ)的覆蓋數(shù)據(jù)314提 供給渲染邏輯404。然而，本發(fā)明的實(shí)施例不限于此。例如，在一個(gè)實(shí)施例中，可在覆蓋系統(tǒng) 310內(nèi)部創(chuàng)建覆蓋數(shù)據(jù)314,而無(wú)需來(lái)自AP202的輸入。在另一實(shí)施例中，覆蓋數(shù)據(jù)314可 以是在覆蓋系統(tǒng)310內(nèi)部創(chuàng)建的數(shù)據(jù)和與來(lái)自AP202的輸入相對(duì)應(yīng)的數(shù)據(jù)的組合。
[0079] 根據(jù)一個(gè)實(shí)施例，渲染邏輯404耦合到AP202和覆蓋緩沖器406并且被配置為根 據(jù)掩模數(shù)據(jù)500中的值來(lái)將覆蓋數(shù)據(jù)314與視頻圖像316相組合。渲染邏輯404的輸出連 接到顯示面板322以將覆蓋數(shù)據(jù)314和視頻圖像316的組合顯示圖像作為像素驅(qū)動(dòng)信號(hào) 320提供給顯示面板322。
[0080] 然而，本發(fā)明的實(shí)施例不限于此。
[0081] 例如，在一個(gè)實(shí)施例中，觸摸路徑邏輯400、掩模緩沖器402、覆蓋緩沖器406和渲 染邏輯404是各自利用不同的專用集成電路(ASIC)來(lái)實(shí)現(xiàn)的。在本發(fā)明的其他實(shí)施例中， 單個(gè)ASIC用于實(shí)現(xiàn)所有功能。在本發(fā)明的另外一些實(shí)施例中，現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA)被 編程為執(zhí)行觸摸路徑邏輯400、掩模緩沖器402、覆蓋緩沖器406和渲染邏輯404中的每一 個(gè)的功能?？商鎿Q地，通用處理器可被(例如利用連接到該通用處理器的存儲(chǔ)器中存儲(chǔ)的指 令)編程為執(zhí)行觸摸路徑邏輯400、掩模緩沖器402、覆蓋緩沖器406和渲染邏輯404中的每 一個(gè)的功能。在其他實(shí)施例中，觸摸路徑邏輯400、掩模緩沖器402、覆蓋緩沖器406和渲染 邏輯404中的一個(gè)或多個(gè)的功能可實(shí)現(xiàn)為AP202的組件。
[0082] 另外，雖然觸摸路徑邏輯400、掩模緩沖器402、覆蓋緩沖器406和渲染邏輯404在 圖4中被示為DDIC204的組件，但本發(fā)明的實(shí)施例不限于此。在一些實(shí)施例中，觸摸路徑邏 輯400、覆蓋緩沖器314、掩模緩沖器402和渲染邏輯404 (或者能夠執(zhí)行這些功能的組件） 中的一個(gè)或多個(gè)位于例如觸摸控制器200內(nèi)、AP202內(nèi)，或者作為單獨(dú)的組件。此外，組件 或組件執(zhí)行的功能可位于設(shè)備的不同部分中。例如，觸摸路徑邏輯400可實(shí)現(xiàn)為觸摸控制 器200的組件或功能，并且覆蓋緩沖器406和渲染邏輯404兩者可實(shí)現(xiàn)為AP202的(一個(gè)或 多個(gè)）組件或(一個(gè)或多個(gè)）功能。
[0083] 此外，雖然觸摸控制器200被示為物理上單獨(dú)的組件，但在本發(fā)明的一些實(shí)施例 中，觸摸控制器200是更大的集成電路的一部分。例如，觸摸控制器可與AP和/或DDIC - 起實(shí)現(xiàn)在冋一集成電路中。
[0084] 圖5是根據(jù)本發(fā)明的一個(gè)實(shí)施例將視頻圖像316(或視頻圖像的幀)、覆蓋數(shù)據(jù)314 和觸摸事件304相組合以生成第N幀期間的第一組組合顯示圖像510 (例如，以生成幀N) 的示意性圖示。參考圖5,觸摸路徑邏輯400處理來(lái)自觸摸控制器的觸摸事件304,并且通 過(guò)在多個(gè)先前的連續(xù)幀(例如過(guò)去的X幀)上在接收到的觸摸事件的子集--例如相繼的觸 摸事件的集合--的位置之間進(jìn)行內(nèi)插和/或外推來(lái)生成估計(jì)觸摸路徑。然后，觸摸路徑邏 輯400應(yīng)用估計(jì)觸摸路徑來(lái)生成掩模數(shù)據(jù)500,掩模數(shù)據(jù)500被存儲(chǔ)在掩模緩沖器402內(nèi)。 渲染邏輯根據(jù)掩模數(shù)據(jù)500將覆蓋緩沖器406中存儲(chǔ)的覆蓋數(shù)據(jù)314與來(lái)自AP202的幀N 的視頻圖像相組合以通過(guò)在覆蓋數(shù)據(jù)314和視頻圖像316之間進(jìn)行選擇(或者混合這兩者） 來(lái)生成組合顯示圖像510。
[0085] 根據(jù)一個(gè)實(shí)施例，掩模數(shù)據(jù)500是數(shù)值的矩陣，其中該矩陣中的位置對(duì)應(yīng)于顯示 面板322中的(一個(gè)或多個(gè)）像素的位置，并且其中該矩陣中的值的相對(duì)位置對(duì)應(yīng)于顯示面 板322中的像素的相對(duì)位置(例如，掩模數(shù)據(jù)500可被認(rèn)為是與組合顯示圖像510中的像素 位置的二維映射相對(duì)應(yīng)的二維矩陣)。根據(jù)一個(gè)實(shí)施例，掩模數(shù)據(jù)500的每個(gè)值被表示為單 個(gè)比特，并且掩模數(shù)據(jù)矩陣中的值的位置對(duì)應(yīng)于組合顯示圖像中的位置。在組合顯示圖像 中要示出覆蓋數(shù)據(jù)的位置具有被設(shè)定為第一值(例如" 1"）的值，并且不示出覆蓋數(shù)據(jù)(例如 要示出視頻圖像數(shù)據(jù)）的位置具有被設(shè)定為不同的第二值(例如"〇"）的值。
[0086] 根據(jù)本發(fā)明的其他實(shí)施例，掩模數(shù)據(jù)500中的每個(gè)數(shù)值由多個(gè)比特(例如8比特） 表示，其中掩模數(shù)據(jù)500的數(shù)值指的是顯示中的每個(gè)位置處的覆蓋數(shù)據(jù)的"透明"。就本文 使用的而言，術(shù)語(yǔ)"透明"（transparency)表示混合(例如合并）覆蓋數(shù)據(jù)314和視頻圖像 316以使得組合顯示圖像510具有覆蓋數(shù)據(jù)314和視頻圖像316兩者的特性。
[0087] 下文中將更詳細(xì)描述渲染邏輯404對(duì)掩模緩沖器402的使用。
[0088] 在一個(gè)實(shí)施例中，對(duì)于每個(gè)視頻幀，觸摸路徑邏輯400基于與固定數(shù)目的視頻幀 相對(duì)應(yīng)的觸摸事件的子集來(lái)生成估計(jì)觸摸路徑。
[0089] 在另一實(shí)施例中，視頻幀的數(shù)目是可配置的，以與來(lái)自AP202的顯示滯后相符。
[0090] 在另一實(shí)施例中，觸摸路徑邏輯400對(duì)于可變數(shù)目的視頻幀生成觸摸路徑?？蓮?外部邏輯基于來(lái)自AP202的過(guò)去視頻圖像316來(lái)確定視頻幀的數(shù)目。
[0091] 一組參數(shù)312在生成路徑時(shí)約束估計(jì)觸摸路徑的特性。這些參數(shù)可具有啟動(dòng)默認(rèn) 值，但可由軟件或其他手段在運(yùn)行時(shí)期間根據(jù)需要來(lái)加以調(diào)整。這些參數(shù)包括但不限于：生 成的路徑的寬度；生成的線段的式樣，例如簡(jiǎn)單的直線段或曲線；允許該路徑的顯示區(qū)域 (例如，有效描繪區(qū)域）；以及渲染操作的式樣(例如，反混疊操作、平滑操作以及透明）。
[0092] 例如，當(dāng)在用于繪畫(huà)的軟件應(yīng)用（例如數(shù)字速寫(xiě)本）的情境中使用本發(fā)明的實(shí)施例 時(shí)，作為組合顯示圖像510的一部分的覆蓋圖像片段508 (也可稱為計(jì)算出的部分104)僅 被應(yīng)用到與有效描繪區(qū)域相對(duì)應(yīng)的顯示部分。覆蓋系統(tǒng)310 -般不將覆蓋數(shù)據(jù)應(yīng)用到在有 效描繪區(qū)域外的顯示部分。這樣，可以設(shè)定參數(shù)312來(lái)將估計(jì)觸摸路徑限制到與有效描繪 區(qū)域相對(duì)應(yīng)的顯示部分。在另一示例中，參數(shù)312可包含描繪的線條的線寬。觸摸路徑邏 輯400將使用此參數(shù)以及來(lái)自觸摸事件304的壓力數(shù)據(jù)來(lái)在來(lái)自AP202的AP生成線條(或 圖像片段）506之前在掩模數(shù)據(jù)500中渲染線條的形狀。（圖像片段506也可稱為顯示的線 條 100。）
[0093] 當(dāng)視頻圖像316的每個(gè)像素被渲染邏輯404處理時(shí)，渲染邏輯404檢索掩模數(shù)據(jù) 500中的值，其中掩模數(shù)據(jù)中的值的位置(例如矩陣中的位置）對(duì)應(yīng)于視頻圖像316中的像 素的位置，并且渲染邏輯404根據(jù)掩模數(shù)據(jù)500中的值執(zhí)行利用覆蓋數(shù)據(jù)314或者視頻圖 像316的像素和覆蓋數(shù)據(jù)314的混合對(duì)視頻圖像316的像素進(jìn)行替代以實(shí)現(xiàn)期望的視覺(jué)效 果(例如，透明和/或反混疊)，并且將覆蓋數(shù)據(jù)314或者視頻圖像316的像素或者其混合經(jīng) 由像素驅(qū)動(dòng)信號(hào)320輸出到顯示面板322。
[0094] 例如，在本發(fā)明的替代實(shí)施例中，可以利用由掩模數(shù)據(jù)500中的值限定的單個(gè)比 特來(lái)指定渲染邏輯404的渲染操作。渲染操作對(duì)于每個(gè)像素基于掩模數(shù)據(jù)500中與該像素 在組合顯示圖像510中的位置相對(duì)應(yīng)的位置處的值來(lái)將渲染邏輯的輸出選擇為視頻圖像 316或者覆蓋數(shù)據(jù)314。
[0095] 在本發(fā)明的一個(gè)實(shí)施例中，掩模數(shù)據(jù)500的值的數(shù)目（或者掩模數(shù)據(jù)500的大?。?等于視頻圖像316的一個(gè)幀中的像素的數(shù)目，而視頻圖像316的一個(gè)幀中的像素的數(shù)目又 等于組合顯示圖像510中的像素的數(shù)目。從而，在掩模數(shù)據(jù)500中的每個(gè)值與視頻圖像316 的每個(gè)像素之間存在一對(duì)一關(guān)系。換言之，渲染邏輯404的替代實(shí)施例是通過(guò)將掩模數(shù)據(jù) 500中的每個(gè)值匹配到視頻圖像316中的相應(yīng)像素并且將視頻圖像316的像素或者覆蓋數(shù) 據(jù)314輸出到顯示面板322來(lái)執(zhí)行的。例如，在一個(gè)實(shí)施例中，渲染邏輯404遍歷經(jīng)過(guò)掩模 數(shù)據(jù)500的每個(gè)值。如果在掩模數(shù)據(jù)500中的特定位置處存在值0,則渲染邏輯404輸出視 頻圖像316的相應(yīng)像素。另一方面，如果在掩模數(shù)據(jù)500中的特定位置處存在值1，則渲染 邏輯輸出覆蓋數(shù)據(jù)314。作為該遍歷過(guò)程的結(jié)果，渲染邏輯404將在像素驅(qū)動(dòng)信號(hào)320中表 示的組合顯示圖像510輸出到顯示面板322。
[0096] 在本發(fā)明的另一實(shí)施例中，掩模數(shù)據(jù)500中的值的數(shù)目可以小于視頻圖像316的 一幀中的像素的數(shù)目。從而，掩模數(shù)據(jù)500中的每個(gè)值可與視頻圖像316的像素具有一對(duì) 多關(guān)系，使得掩模數(shù)據(jù)500中的一個(gè)值對(duì)應(yīng)于視頻圖像316的多個(gè)像素，從而減小了掩模數(shù) 據(jù)500的大小并且降低了掩模緩沖器402的存儲(chǔ)器要求。
[0097] 然而，本發(fā)明的實(shí)施例不限于此。在本發(fā)明的混合實(shí)施例中，可利用由掩模數(shù)據(jù) 500中的值限定的多個(gè)比特來(lái)指定渲染邏輯404的渲染操作。例如，掩模數(shù)據(jù)500中的值 可標(biāo)識(shí)渲染邏輯404要渲染的混合的水平(例如，透明的水平)。在另一示例中，如果渲染邏 輯404支持多個(gè)渲染操作，則掩模數(shù)據(jù)500中的值的一個(gè)或多個(gè)比特可用于限定期望的渲 染操作，而其他比特可用于調(diào)整這些渲染操作的規(guī)格（specification)。渲染邏輯404可在 視頻圖像316中攜帶的信息和覆蓋數(shù)據(jù)314中攜帶的信息之間執(zhí)行各種渲染操作，例如邊 緣增強(qiáng)、加亮(亮化)、減暗(暗化）等等。在其他實(shí)施例中，渲染操作可改變視頻圖像316的 一些部分的顏色或亮度，從而生成透明著色(或熒光）效果或阿爾法合成效果。
[0098] 渲染邏輯404接收兩個(gè)輸入，第一輸入包含來(lái)自AP202的視頻圖像316,并且第二 輸入包含來(lái)自覆蓋緩沖器406的覆蓋數(shù)據(jù)314。覆蓋緩沖器406存儲(chǔ)要被渲染邏輯404處 理的覆蓋數(shù)據(jù)314。覆蓋數(shù)據(jù)314可由AP202提供或者在覆蓋系統(tǒng)310中內(nèi)部創(chuàng)建，其中覆 蓋數(shù)據(jù)314的特性由渲染邏輯404的期望輸出來(lái)確定。在一個(gè)實(shí)施例中，沿著顯示的線條 100將覆蓋數(shù)據(jù)314的特性(例如外觀）與視頻圖像316的特性(例如外觀）相匹配，以使得 當(dāng)根據(jù)掩模數(shù)據(jù)500來(lái)渲染時(shí)，組合顯示圖像510在圖像片段506和覆蓋圖像片段508之間 包含無(wú)縫過(guò)渡。這些特性可包括顏色。例如，如果應(yīng)用軟件描繪一條黑線，則覆蓋數(shù)據(jù)314 將由AP202提供或由覆蓋系統(tǒng)310內(nèi)部創(chuàng)建為包含與軟件描繪的線條相同的黑色(例如，所 有像素為黑的位映射圖像)。渲染邏輯404將輸出組合顯示圖像510,該組合顯示圖像510 包含通過(guò)連接來(lái)自AP202的圖像片段506 (例如軟件描繪的黑線）和由掩模數(shù)據(jù)500和覆 蓋數(shù)據(jù)314確定的覆蓋圖像片段508來(lái)形成的黑線。覆蓋數(shù)據(jù)314也可被紋理化或著色或 者可包含位映射圖像數(shù)據(jù)。覆蓋數(shù)據(jù)314的內(nèi)容可隨著時(shí)間而動(dòng)態(tài)變化并且可被AP202更 新，或者由DDIC204內(nèi)的機(jī)制更新。內(nèi)容在大小和形狀上也可以是動(dòng)態(tài)變化的。
[0099] 在本發(fā)明的一個(gè)實(shí)施例中，表示多個(gè)覆蓋的許多不同組覆蓋數(shù)據(jù)314可被存儲(chǔ)在 覆蓋緩沖器406中，例如每組具有不同的顏色、不同的圖像或不同的紋理。這些組覆蓋數(shù)據(jù) 314在本文中可稱為"頁(yè)"。在這種實(shí)施例中，掩模數(shù)據(jù)500中的值還可包括允許渲染邏輯 404識(shí)別覆蓋數(shù)據(jù)314的(一個(gè)或多個(gè)）特定頁(yè)并且在渲染操作期間只使用識(shí)別出的(一個(gè) 或多個(gè)）頁(yè)的信息。這樣，在一些實(shí)施例中，掩模數(shù)據(jù)500的值包含對(duì)覆蓋數(shù)據(jù)314的頁(yè)的 索引，以允許渲染邏輯404在渲染操作期間在覆蓋數(shù)據(jù)314的不同頁(yè)之間切換。
[0100] 在本發(fā)明的一個(gè)實(shí)施例中，覆蓋數(shù)據(jù)314的每個(gè)頁(yè)的值的數(shù)目（或每個(gè)頁(yè)的大小） 等于視頻圖像316的一個(gè)幀中的像素的數(shù)目，而視頻圖像316的一個(gè)幀中的像素的數(shù)目又 等于組合顯示圖像510中的像素的數(shù)目。從而，覆蓋數(shù)據(jù)314的每個(gè)頁(yè)的每個(gè)值與視頻圖 像316的每個(gè)像素之間存在一對(duì)一關(guān)系。
[0101] 在本發(fā)明的另一實(shí)施例中，覆蓋數(shù)據(jù)314的每個(gè)頁(yè)的值的數(shù)目（或者每個(gè)頁(yè)的大 小)可以小于視頻圖像316的一幀中的像素的數(shù)目。從而，覆蓋數(shù)據(jù)314的每個(gè)頁(yè)的每個(gè)值 可與視頻圖像316的像素具有一對(duì)多關(guān)系，使得覆蓋數(shù)據(jù)314的每個(gè)頁(yè)的一個(gè)值對(duì)應(yīng)于視 頻圖像316的多個(gè)像素，從而減小了覆蓋數(shù)據(jù)314的大小并且降低了覆蓋緩沖器406的存 儲(chǔ)器要求。例如，在一些實(shí)施例中，覆蓋數(shù)據(jù)314包含單一顏色值，例如RGB (紅綠藍(lán)）顏色 值，其中整個(gè)覆蓋圖像(或者覆蓋圖像片段)508被描繪為該單一顏色值。在其他實(shí)施例中， 覆蓋數(shù)據(jù)314的不同頁(yè)是對(duì)應(yīng)于單一顏色(例如不同顏色）的單一值。在其他實(shí)施例中，單 一值可與包含位映射圖像的其他頁(yè)或者覆蓋數(shù)據(jù)314內(nèi)的其他值相換雜。
[0102] 圖6是根據(jù)本發(fā)明的一個(gè)實(shí)施例的將視頻圖像316'、覆蓋數(shù)據(jù)314和觸摸路徑 304'相組合以生成N+1幀期間的第二組組合顯示圖像510'（例如，以生成幀N+1)的示意 性圖示。在后續(xù)幀中（例如在幀N+1，其中N是與第一組組合顯示圖像510相對(duì)應(yīng)的幀)，來(lái) 自AP202的視頻圖像316'包括在幀N中沒(méi)有顯示(例如不在如圖5所示的視頻圖像316中） 的圖像片段600。此外，在幀N+1期間，觸摸路徑邏輯400從觸摸事件304'計(jì)算出了不同的 掩模500'，該掩模500'包含與圖5所不的掩模500不同的一組值。這樣，渲染邏輯404輸 出組合顯示圖像506'，組合顯示圖像506'是根據(jù)掩模數(shù)據(jù)500'對(duì)來(lái)自AP202的視頻圖像 316'和覆蓋數(shù)據(jù)314的合成。
[0103] 圖7是圖示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的用于將覆蓋數(shù)據(jù)與視頻圖像相組合以 生成組合顯示圖像的方法的流程圖。參考圖7,根據(jù)本發(fā)明的一個(gè)實(shí)施例，在操作702中，從 外部源(例如觸摸傳感器面板)接收觸摸事件。在操作704中通過(guò)在觸摸事件之間進(jìn)行內(nèi)插 或外推來(lái)從觸摸事件生成觸摸路徑(或估計(jì)觸摸路徑)，其中可通過(guò)參數(shù)來(lái)調(diào)整內(nèi)插方法以 配置例如組合顯示圖像的覆蓋圖像片段508的寬度、式樣、直線或曲線、區(qū)域和顏色。
[0104] 在操作706中從觸摸路徑生成掩模數(shù)據(jù)500,其中掩模數(shù)據(jù)500的值的相對(duì)位置對(duì) 應(yīng)于顯示面板的像素的相對(duì)位置，并且掩模數(shù)據(jù)500的值指示組合顯示圖像的相應(yīng)像素是 應(yīng)當(dāng)包含來(lái)自覆蓋緩沖器406的覆蓋數(shù)據(jù)還是包含來(lái)自AP的視頻圖像還是包含其混合組 合。掩模數(shù)據(jù)500被存儲(chǔ)在掩模緩沖器402中。在操作708中，從掩模緩沖器402檢索掩 模數(shù)據(jù)500,其中檢索的值位于掩模數(shù)據(jù)500內(nèi)的與渲染邏輯當(dāng)前正處理的像素的位置相 對(duì)應(yīng)的位置處。
[0105] 在操作710中，掩模數(shù)據(jù)500的與顯示面板中當(dāng)前正處理的像素的位置相對(duì)應(yīng)的 值被用于選擇性地輸出來(lái)自覆蓋緩沖器406的覆蓋數(shù)據(jù)或者來(lái)自AP的視頻圖像或者其混 合。
[0106] 在操作712中，組合顯示圖像被輸出并提供給顯示面板以顯示覆蓋數(shù)據(jù)314與視 頻圖像的合成。
[0107] 這樣，本發(fā)明的實(shí)施例提供了用于通過(guò)在作為對(duì)比的高等待時(shí)間環(huán)路內(nèi)部引入低 等待時(shí)間環(huán)路來(lái)減少整體系統(tǒng)等待時(shí)間的系統(tǒng)和方法。
[0108] 低等待時(shí)間顯示圖像可通過(guò)組合來(lái)自從觸摸路徑生成的掩模數(shù)據(jù)500的信息、來(lái) 自覆蓋緩沖器的覆蓋數(shù)據(jù)314和來(lái)自AP的高等待時(shí)間視頻圖像來(lái)生成。觸摸路徑是根據(jù) 隨著時(shí)間而記錄的觸摸事件(例如來(lái)自觸摸控制器的輸出）來(lái)計(jì)算的。覆蓋數(shù)據(jù)314可由 AP提供或在覆蓋系統(tǒng)中生成。
[0109] 可以動(dòng)態(tài)調(diào)整覆蓋特性，包括但不限于顏色、維度(例如寬度)、持續(xù)性、明暗以及 定時(shí)。這些調(diào)整可由AP以一組參數(shù)的形式提供或者可在覆蓋系統(tǒng)內(nèi)部例如通過(guò)分析來(lái)自 AP的視頻圖像來(lái)得出。這些調(diào)整也可由觸摸行為來(lái)確定。例如，可根據(jù)施加到觸摸傳感器 面板的壓力來(lái)調(diào)整所得到的線條的寬度(例如，寬度參數(shù)與測(cè)量到的觸摸事件的壓力成比 例)。
[0110] 顯示圖像由覆蓋系統(tǒng)經(jīng)由掩模數(shù)據(jù)500來(lái)生成，掩模數(shù)據(jù)500是從觸摸路徑計(jì)算 出的。映射和縮放參數(shù)可由AP提供或者可在覆蓋系統(tǒng)內(nèi)部通過(guò)例如分析觸摸事件或來(lái)自 AP的視頻圖像來(lái)計(jì)算出。
[0111] 渲染邏輯可在像素級(jí)將覆蓋數(shù)據(jù)與來(lái)自AP的視頻圖像合并。在一個(gè)實(shí)施例中，根 據(jù)掩模數(shù)據(jù)的值利用來(lái)自覆蓋數(shù)據(jù)的像素特性替代來(lái)自視頻圖像的像素特性。在其他實(shí)施 例中，基于來(lái)自視頻圖像的各個(gè)像素特性和覆蓋數(shù)據(jù)的混合來(lái)創(chuàng)建新的像素特性。
[0112] 雖然已聯(lián)系某些示范性實(shí)施例描述了本發(fā)明，但要理解本發(fā)明不限于公開(kāi)的實(shí)施 例，而是相反，打算覆蓋包括在所附權(quán)利要求及其等同物的精神和范圍內(nèi)的各種修改和等 同布置。
【權(quán)利要求】
1. 一種系統(tǒng)，包括： 觸摸路徑邏輯，被配置為接收多個(gè)觸摸事件并基于所述觸摸事件生成輸出；以及 渲染邏輯，被配置為： 接收視頻圖像； 接收所述觸摸路徑邏輯的輸出； 根據(jù)所述觸摸路徑邏輯的輸出將所述視頻圖像與覆蓋數(shù)據(jù)相組合以生成組合顯示圖 像；以及 輸出所述組合顯示圖像。
2. 如權(quán)利要求1所述的系統(tǒng)，其中，所述視頻圖像包括顯示的線條，并且 其中，所述覆蓋數(shù)據(jù)的特性匹配所述顯示的線條的特性。
3. 如權(quán)利要求2所述的系統(tǒng)，其中，所述特性包括顏色。
4. 如權(quán)利要求1所述的系統(tǒng)，其中，所述觸摸路徑邏輯是應(yīng)用處理器的組件，所述應(yīng)用 處理器被配置為生成所述視頻圖像。
5. 如權(quán)利要求1所述的系統(tǒng)，其中，所述觸摸路徑邏輯是顯示驅(qū)動(dòng)器接口控制器的組 件，所述顯示驅(qū)動(dòng)器接口控制器被配置為從應(yīng)用處理器接收所述視頻圖像并且將所述組合 顯示圖像提供給顯示面板。
6. 如權(quán)利要求1所述的系統(tǒng)，其中，所述觸摸路徑邏輯是與觸摸傳感器面板耦合的觸 摸控制器的組件，所述觸摸控制器被配置為從所述觸摸傳感器面板接收多個(gè)觸摸信號(hào)并生 成所述多個(gè)觸摸事件。
7. 如權(quán)利要求1所述的系統(tǒng)，其中，所述觸摸路徑邏輯被配置為從觸摸傳感器面板接 收所述觸摸事件并根據(jù)接收到的觸摸事件來(lái)生成掩模數(shù)據(jù)，所述掩模數(shù)據(jù)包括數(shù)值的矩 陣，每個(gè)數(shù)值標(biāo)識(shí)所述渲染邏輯產(chǎn)生所述組合顯示圖像的操作，并且 其中，所述矩陣內(nèi)的所述數(shù)值的位置對(duì)應(yīng)于所述組合顯示圖像中的像素的位置。
8. 如權(quán)利要求7所述的系統(tǒng)，其中，所述渲染邏輯被配置為通過(guò)對(duì)于所述組合顯示圖 像中的每個(gè)像素根據(jù)所述掩模數(shù)據(jù)的相應(yīng)位置處的值確定是輸出所述視頻圖像的相應(yīng)像 素還是輸出所述覆蓋數(shù)據(jù)來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合。
9. 如權(quán)利要求7所述的系統(tǒng)，其中，所述渲染邏輯被配置為通過(guò)對(duì)于所述組合顯示圖 像中的每個(gè)像素根據(jù)所述掩模數(shù)據(jù)中的相應(yīng)位置處的值確定如何混合所述視頻圖像的相 應(yīng)像素和所述覆蓋數(shù)據(jù)來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合。
10. 如權(quán)利要求9所述的系統(tǒng)，其中，所述混合是邊緣增強(qiáng)操作、加亮操作、減暗操作、 或者阿爾法合成效果。
11. 如權(quán)利要求7所述的系統(tǒng)，其中，所述掩模數(shù)據(jù)的每個(gè)數(shù)值對(duì)應(yīng)于所述組合顯示圖 像中的正好一個(gè)像素。
12. 如權(quán)利要求7所述的系統(tǒng)，其中，所述掩模數(shù)據(jù)的每個(gè)數(shù)值對(duì)應(yīng)于所述組合顯示圖 像中的多于一個(gè)像素。
13. 如權(quán)利要求7所述的系統(tǒng)，其中，所述覆蓋數(shù)據(jù)包括多個(gè)頁(yè)，并且其中，所述掩模數(shù) 據(jù)包括標(biāo)識(shí)所述多個(gè)頁(yè)中的至少一個(gè)頁(yè)的信息。
14. 如權(quán)利要求7所述的系統(tǒng)，其中，所述觸摸路徑邏輯還被配置為： 接收參數(shù)； 根據(jù)所述觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑；以及 根據(jù)所述估計(jì)觸摸路徑和所述參數(shù)來(lái)生成所述掩模數(shù)據(jù)， 其中，所述參數(shù)控制掩模區(qū)域的位置或者控制所述估計(jì)觸摸路徑的寬度、式樣或形狀。
15. 如權(quán)利要求1所述的系統(tǒng)，還包括： 應(yīng)用處理器，被配置為生成所述視頻圖像， 其中，所述渲染邏輯是所述應(yīng)用處理器的組件。
16. 如權(quán)利要求1所述的系統(tǒng)，其中，所述渲染邏輯還被配置為基于所述觸摸事件的子 集來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合，所述子集對(duì)應(yīng)于固定數(shù)目的視頻圖像。
17. 如權(quán)利要求1所述的系統(tǒng)，其中，所述渲染邏輯還被配置為基于所述觸摸事件的子 集來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合，所述子集對(duì)應(yīng)于一定數(shù)目的視頻圖像：該數(shù) 目對(duì)應(yīng)于由被配置為向所述渲染邏輯提供所述視頻圖像的應(yīng)用處理器所引入的延遲。
18. 如權(quán)利要求1所述的系統(tǒng)，其中，所述渲染邏輯還被配置為基于所述觸摸事件的子 集來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合，所述子集對(duì)應(yīng)于一定數(shù)目的視頻圖像：該數(shù) 目是根據(jù)被配置為向所述渲染邏輯提供所述視頻圖像的應(yīng)用處理器的先前渲染輸出計(jì)算 出的。
19. 如權(quán)利要求1所述的系統(tǒng)，其中，所述覆蓋數(shù)據(jù)包括位映射圖像。
20. 如權(quán)利要求1所述的系統(tǒng)，其中，所述覆蓋數(shù)據(jù)具有單一顏色值。
21. 如權(quán)利要求1所述的系統(tǒng)，其中，所述渲染邏輯被配置為在沒(méi)有來(lái)自應(yīng)用處理器的 輸入的情況下生成所述覆蓋數(shù)據(jù)。
22. 如權(quán)利要求1所述的系統(tǒng)，其中，所述渲染邏輯被配置為利用從應(yīng)用處理器提供的 數(shù)據(jù)和所述系統(tǒng)內(nèi)部的數(shù)據(jù)來(lái)生成所述覆蓋數(shù)據(jù)。
23. 如權(quán)利要求1所述的系統(tǒng)，其中，所述渲染邏輯被配置為從應(yīng)用處理器接收所述覆 蓋數(shù)據(jù)。
24. 如權(quán)利要求1所述的系統(tǒng)，其中，所述觸摸事件是作為指點(diǎn)工具與觸摸輸入面板之 間的交互的結(jié)果而生成的。
25. -種用于對(duì)觸摸輸入提供視覺(jué)反饋的方法，該方法包括： 從耦合到顯示器的觸摸傳感器面板接收多個(gè)觸摸事件； 接收視頻圖像； 根據(jù)所述觸摸事件將所述視頻圖像與覆蓋數(shù)據(jù)相組合以生成組合顯示圖像；以及 將所述組合顯示圖像提供給所述顯示器。
26. 如權(quán)利要求25所述的方法，其中，所述視頻圖像包括顯示的線條，并且 其中，所述覆蓋數(shù)據(jù)的特性匹配所述顯示的線條的特性。
27. 如權(quán)利要求25所述的方法，還包括： 接收參數(shù)；以及 根據(jù)所述觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑， 其中，根據(jù)所述估計(jì)觸摸路徑和所述參數(shù)來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合， 并且 其中，所述參數(shù)控制所述覆蓋數(shù)據(jù)在所述組合顯示圖像中的位置或者控制所述估計(jì)觸 摸路徑的寬度、式樣或形狀。
28. 如權(quán)利要求25所述的方法，還包括根據(jù)所述觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑， 其中，根據(jù)所述估計(jì)觸摸路徑來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合，并且 其中，基于所述觸摸事件的子集來(lái)計(jì)算所述估計(jì)觸摸路徑，所述子集對(duì)應(yīng)于固定數(shù)目 的幀。
29. 如權(quán)利要求25所述的方法，還包括根據(jù)所述觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑， 其中，根據(jù)所述估計(jì)觸摸路徑來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合，并且 其中，基于所述觸摸事件的子集來(lái)計(jì)算所述估計(jì)觸摸路徑，所述子集對(duì)應(yīng)于如下數(shù)目 的幀：該數(shù)目對(duì)應(yīng)于由應(yīng)用處理器引入的延遲。
30. 如權(quán)利要求25所述的方法，還包括根據(jù)所述觸摸事件來(lái)計(jì)算估計(jì)觸摸路徑， 其中，根據(jù)所述估計(jì)觸摸路徑來(lái)將所述視頻圖像與所述覆蓋數(shù)據(jù)相組合，并且 其中，基于所述觸摸事件的子集來(lái)計(jì)算所述估計(jì)觸摸路徑，所述子集對(duì)應(yīng)于如下數(shù)目 的幀：該數(shù)目是根據(jù)應(yīng)用處理器的先前渲染輸出計(jì)算出的。
31. 如權(quán)利要求25所述的方法，其中，所述覆蓋數(shù)據(jù)包括位映射圖像。
32. 如權(quán)利要求25所述的方法，其中，所述覆蓋數(shù)據(jù)具有單一顏色值。
33. 如權(quán)利要求25所述的方法，還包括在沒(méi)有來(lái)自應(yīng)用處理器的輸入的情況下生成所 述覆蓋數(shù)據(jù)。
34. 如權(quán)利要求25所述的方法，還包括利用從應(yīng)用處理器提供的數(shù)據(jù)和內(nèi)部數(shù)據(jù)來(lái)生 成所述覆蓋數(shù)據(jù)。
35. 如權(quán)利要求25所述的方法，還包括從應(yīng)用處理器接收所述覆蓋數(shù)據(jù)。
36. 如權(quán)利要求25所述的方法，其中，根據(jù)所述觸摸事件將所述視頻圖像與所述覆蓋 數(shù)據(jù)相組合以生成所述組合顯示圖像包括： 基于所述觸摸事件來(lái)生成掩模數(shù)據(jù)，所述掩模數(shù)據(jù)包括數(shù)值的矩陣，每個(gè)數(shù)值標(biāo)識(shí)產(chǎn) 生所述組合顯示圖像的操作，并且 其中，所述矩陣內(nèi)的所述數(shù)值的位置對(duì)應(yīng)于所述組合顯示圖像中的像素的位置。
37. 如權(quán)利要求36所述的方法，還包括：對(duì)于所述組合顯示圖像中的每個(gè)像素，根據(jù)所 述掩模數(shù)據(jù)中的相應(yīng)位置處的值確定是輸出所述視頻圖像的相應(yīng)像素還是輸出所述覆蓋 數(shù)據(jù)。
38. 如權(quán)利要求36所述的方法，還包括：對(duì)于所述組合顯示圖像中的每個(gè)像素，根據(jù)所 述掩模數(shù)據(jù)中的相應(yīng)位置處的值確定如何混合所述視頻圖像的相應(yīng)像素和所述覆蓋數(shù)據(jù)。
39. 如權(quán)利要求38所述的方法，其中，所述混合是邊緣增強(qiáng)操作、加亮操作、減暗操作、 或者阿爾法合成效果。
40. 如權(quán)利要求36所述的方法，其中，所述掩模數(shù)據(jù)的每個(gè)數(shù)值對(duì)應(yīng)于所述組合顯示 圖像中的正好一個(gè)像素。
41. 如權(quán)利要求36所述的方法，其中，所述掩模數(shù)據(jù)的每個(gè)數(shù)值對(duì)應(yīng)于所述組合顯示 圖像中的多于一個(gè)像素。
42. 如權(quán)利要求36所述的方法，其中，所述覆蓋數(shù)據(jù)包括多個(gè)頁(yè)，并且 其中，所述掩模數(shù)據(jù)包括標(biāo)識(shí)所述多個(gè)頁(yè)中的至少一個(gè)頁(yè)的信息。
43. 如權(quán)利要求25所述的方法，其中，所述觸摸事件是作為指點(diǎn)工具與觸摸輸入面板 之間的交互的結(jié)果而生成的。
44. 一種加速器，用于響應(yīng)于在顯示設(shè)備上描繪的路徑而提供反饋，該顯示設(shè)備包括觸 摸傳感器面板、應(yīng)用處理器和顯示器，該加速器包括： 處理器；以及 存儲(chǔ)器，其上存儲(chǔ)有指令，所述指令當(dāng)被所述處理器執(zhí)行時(shí)使得所述處理器： 從所述應(yīng)用處理器接收渲染視頻幀； 從所述觸摸傳感器面板接收多個(gè)觸摸信號(hào)； 基于所述觸摸信號(hào)確定觸摸路徑； 基于所述觸摸路徑和存儲(chǔ)的覆蓋數(shù)據(jù)來(lái)更新所述渲染視頻幀以生成更新的視頻幀；以 及 將所述更新的視頻幀輸出到所述顯示器。
【文檔編號(hào)】G06F3/0488GK104111793SQ201410160467
【公開(kāi)日】2014年10月22日 申請(qǐng)日期:2014年4月21日 優(yōu)先權(quán)日:2013年4月22日
【發(fā)明者】F.塞托, 熊煒 申請(qǐng)人:三星顯示有限公司