專利名稱：顯示圖像的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法，用于顯示源圖像序列中的至少一個反拷貝圖案，每個源圖像包括按行和列排列的多個像素，并且所述 圖案包括選自所述圖像的一組像素，每個像素具有每個源圖像中的預(yù) 定視頻信息項，所述方法包括調(diào)制步驟，用于對其預(yù)定視頻信息周 圍的圖案中的每個像素的視頻信息進行時間調(diào)制，以便使所述像素對 于人眼不可見，并在所述圖像在其顯示期間被通過攝影而拷貝時創(chuàng)建 偽像。根據(jù)本發(fā)明，在所述調(diào)制步驟之前，本發(fā)明包括用于對源圖像 序列中的感興趣區(qū)域進行檢測的步驟。然后，根據(jù)感興趣區(qū)域的成員 資格，調(diào)整預(yù)定視頻信息周圍的圖案中像素的視頻信息的調(diào)制幅度。根據(jù)第一實施例，圖案的時間調(diào)制幅度在非感興趣區(qū)域比在感興 趣區(qū)域大，以降低對感興趣區(qū)域的視覺感知。然后，反拷貝圖案更為 明顯地在所需要的非感興趣區(qū)域中出現(xiàn)，它變成了心理4見覺感覺中的 感興趣區(qū)域，從而吸引了對實際感興趣區(qū)域以外的注意力。根據(jù)另一優(yōu)選實施例，相反地，圖案的時間調(diào)制幅度在非感興趣 區(qū)域比在感興趣區(qū)域小，以降低第一實施例可能造成的周邊視覺中的 干擾。有利地，在本實施例中，當(dāng)所要調(diào)制的像素與感興趣區(qū)域之間的 距離增大時，屬于感興趣區(qū)域的圖案的像素的調(diào)制幅度減小。優(yōu)選地，使用對所述序列中圖像的運動估計步驟來補充本發(fā)明， 以根據(jù)所估計的運動對該圖案進行運動補償并減少由運動場景中的圖 案的不良時間調(diào)制所引入的可能的阻礙。運動估計步驟的備選在于檢測源圖像序列中的靜態(tài)區(qū)域；以及 從所檢測的靜態(tài)區(qū)域的像素之中選擇要進行時間調(diào)制的像素。無論哪個實施例，時間調(diào)制的視頻信息均可以是像素的亮度和/ 或色度。本發(fā)明還涉及一種圖像處理設(shè)備，用于顯示源圖像序列中的至少 一個反拷貝圖案，每個源圖像包括按行和列排列的多個像素，并且所 述圖案包括選自所述圖像的一組像素，其中每個像素具有每個源圖像 中的預(yù)定視頻信息項，所述設(shè)備包括調(diào)制電路，用于對其預(yù)定視頻 信息周圍的圖案中的每個像素的視頻信息進行時間調(diào)制，以便對于人 眼不可見，并在所述圖像在其顯示期間被通過攝影而拷貝時創(chuàng)建偽像。根據(jù)本發(fā)明，該設(shè)備還包括一種用于對源圖像序列中的感興趣區(qū)域進 行檢測的電路。然后，該調(diào)制電路使用幅度對圖案中像素的視頻信息 進行調(diào)制，該幅度取決于感興趣區(qū)域中所述像素的成員資格。


參考附圖，通過閱讀作為非限制示例而給出的下列說明書，將更好地理解本發(fā)明，在附圖中-圖1示意性地表示本發(fā)明的方法的原理，-圖2示出本發(fā)明的方法的第一實施例，-圖3示出本發(fā)明的方法的第二實施例，-圖4表示實現(xiàn)本發(fā)明的方法的顯示設(shè)備，-圖5示意性地表示圖像序列的空時顯著圖的產(chǎn)生，-圖6A至6C分別表示表示圖像序列的源圖像、該序列的第一空時顯著圖以及每一宏塊所處理的序列的第二空時顯著圖，-圖7示出在空時顯著圖的一部分中的感興趣區(qū)域的產(chǎn)生，以及 -圖8示意性地表示包括運動估計步驟的本發(fā)明的方法。
具體實施方式
下面的描述將在以數(shù)字形式編碼的圖像的框架內(nèi)給出，但是本發(fā) 明通常不局限于這種類型的編碼。在這種框架中，通過存儲在信息介 質(zhì)(例如光盤、硬盤或磁帶)上的數(shù)據(jù)來描述要顯示的圖像。這些數(shù) 據(jù)也可以由傳輸信道(例如，RF、衛(wèi)星、電纜或ADSL)產(chǎn)生。根據(jù)本發(fā)明的方法，建議了對源圖像序列中的感興趣區(qū)域執(zhí)行檢 測步驟，此外還建議根據(jù)感興趣區(qū)域的成員或非成員資格來適配反拷 貝圖案的像素的亮度和/或色度的時間調(diào)制的幅度。圖1示出了本發(fā)明 的方法的一般原理。在源圖像序列中進行對感興趣區(qū)域的檢測10。其 后，將檢測結(jié)果用于修改最初設(shè)想用于對源圖像序列進行時間調(diào)制(步 驟20)的調(diào)制圖像。經(jīng)時間調(diào)制的視頻信息可以是亮度和/或色度。 隨后在描述中，應(yīng)考慮調(diào)制圖像以呈現(xiàn)出人眼不可見的圖案的高頻 率來調(diào)制與源圖像中反拷貝圖像相應(yīng)的像素的亮度(不是色彩)。利用最初要顯示的亮度值周圍的特定幅度來調(diào)制圖像中這些像素的亮度。對于第一圖像，例如這些像素的亮度增加+20，在隨后的圖像中，該 亮度減少-20。根據(jù)本發(fā)明，調(diào)制幅度(本示例中為40)根據(jù)該像素 是否屬于源圖像序列的感興趣區(qū)域而不同。根據(jù)第一實施例，圖案的時間調(diào)制的幅度在非感興趣區(qū)域比在感 興趣區(qū)域大。因此，降低了在圖像的欺詐拷貝序列中對序列中感興趣 區(qū)域的視覺感知。此外，反拷貝圖案在欺詐圖像的非感興趣區(qū)域中變 得更加明顯，并且可以呈現(xiàn)出閃爍。然后，由于該圖案本身變成心理 視覺感覺，因此該圖案成為阻礙，吸引了對真實感興趣區(qū)域以外的區(qū) 域的注意。圖2示出了本實施例。圖2的上半部示出了包含反拷貝圖案的初 始調(diào)制圖像，其中使用相同幅度來調(diào)制該圖案中的所有像素。在本示 例中，反拷貝圖案包括重復(fù)若千次的消息"非法拷貝"。此外，源圖像 序列包括在圖2的左下部的圖像中表示為白色的感興趣區(qū)域。因此， 用于實現(xiàn)第一實施例的調(diào)制圖像是在圖2的在右下部所表示的圖像。 給屬于感興趣區(qū)域的圖案的部分加上陰影，以表示該調(diào)制幅度在本區(qū) 域中比在該圖案被顯示為白色的序列的非感興趣區(qū)域中小。在本實施例中，可以不對感興趣區(qū)域中的整個反拷貝圖案(以零 幅度進行的調(diào)制)進行調(diào)制。然而，本實施例存在缺點。在周邊視覺中，眼睛(更具體地為附 著在視桿上的視網(wǎng)膜區(qū)域)對光度和運動敏感。同樣地，在本實施例 中，眼睛聚焦在感興趣區(qū)域，感興趣區(qū)域中存在受到由對感興趣區(qū)域 以外的強調(diào)制所產(chǎn)生的亮度或色度的變化的阻礙的風(fēng)險。為了使周邊視覺中不存在上述阻礙，定義了第二實施例。根據(jù)本 實施例，相對于感興趣區(qū)域，圖案的時間調(diào)制的幅度在非感興趣區(qū)域 減小。圖3示出了本實施例。該圖示出了屬于感興趣區(qū)域的反拷貝 圖案(灰色圖案)的像素的調(diào)制幅度小于不屬于感興趣區(qū)域的反拷貝 圖案(白色圖案)的像素的調(diào)制幅度。有利地，在第二實施例中，可以使用遞進(progressive)調(diào)制， 遞進調(diào)制在于調(diào)制幅度隨著我們從序列的感興趣區(qū)域移開而減小。圖4示出了用于實現(xiàn)上述兩個實施例之一的顯示設(shè)備2。顯示系 統(tǒng)2接收源流F的形式的數(shù)據(jù)，該數(shù)據(jù)表示要顯示的圖像序列。顯示 系統(tǒng)2包括用于檢測圖像序列中感興趣區(qū)域的檢測電路3和用于借 助于調(diào)制圖像而在時間上調(diào)制圖像序列的調(diào)制電路4。根據(jù)先前所描 述的方法，在調(diào)制電路4中執(zhí)行上述調(diào)制。其后，將調(diào)制后的圖像以 流F'的形式提供給具有屏幕6的顯示設(shè)備5。圖像存儲器6被設(shè)計為 向提供給調(diào)制電路4的圖像序列施加滯后，因此調(diào)制電路4同時接收 該序列的圖像中的視頻數(shù)據(jù)以及與其相關(guān)的感興趣區(qū)域信息。例如，對源圖像序列中的感興趣區(qū)域的檢測在于產(chǎn)生序列的顯著 圖。該產(chǎn)生已經(jīng)構(gòu)成了包括國際申請WO 2005/059832的若千專利申 請以及諸如"From low level perception to high level perception, a coherent approach for visual attention modeling" by O. Le Meur, P. Le Callet, D. Barba， D. Thoreau, and E. Francois, Proc. SPIE Human Vision and Electronic Imaging IX (HVEI'04), San Jose， CA, (B. Rogowitz， T. N. Pappas Ed.), January 2004、 "Bottom-up attention modeling: quantitative comparison of predicted saliency maps with observers eye-tracking data" by O. Le Meur， P. Le Callet, D. Barba and D. Thoreau, ECVP 2004, Budapest, Hungary, August 2004以及"A human visual model-based approach of the visual attention and evaluation performance" by O. Le Meur， P. Le Callet, D. Barba and D. Thoreau, Proc. SPIE Human Vision and Electronic Imaging X (HVEr05), San Jose， CA, (B. Rogowitz， T. N. Pappas Ed.)， January 2005的若干篇論文的主題。這些文獻的內(nèi)容應(yīng)被 視為構(gòu)成了本專利申請的一部分。下面將簡要回顧諸如這些文獻中所描述的顯著圖的產(chǎn)生。圖5中 呈現(xiàn)出了所建議的步驟的示意圖。所建議的步驟同時包括視覺注意力 的空間建模步驟和時間建模步驟。視覺注意力的空間建模包括三個連續(xù)部分。第一步驟100的任務(wù) 是對以下事實建模我們的視覺系統(tǒng)以同樣的方式訪問我們環(huán)境中的 視覺分量。通過使用對比敏感度函數(shù)CSF以及使用幀內(nèi)和幀間視覺分 量掩蔽來仿真有限的敏感度。將這些函數(shù)應(yīng)用于先前從圖像信號的RGB分量推導(dǎo)出的Krauskopf對抗色彩空間中的分量(A， Crl， Cr2)。 分解為感知信道的層次分解(稱為DCP)仿真視覺系統(tǒng)的頻率陶瓷效 應(yīng)?；陬l譜，定義了一組具有輻射頻率范圍以及特定的角度選擇的 子波段。實際上，可以將每個子波段視為由對特定頻率和特定方向作 出反應(yīng)的全體視細胞所傳送的神經(jīng)元圖像。
第二部分200涉及視覺感知機制。視覺感知機制使得可以提取出 傳輸顯著信息的視覺特性，以創(chuàng)建對我們的環(huán)境的有效(economic) 表示。對視網(wǎng)膜或大腦皮層的視細胞的接受域(receptor field)的組織 完全滿足上述需求。該接受域是圓形的，具有針對大腦皮層細胞的優(yōu) 選方向，并包括具有拮抗(antagonistic)反應(yīng)的中心和邊緣。因此， 該組織使接受域符合關(guān)于對比度嚴(yán)重反應(yīng)以及關(guān)于統(tǒng)一區(qū)域不反應(yīng)的 屬性。通過面向或不面向的雙高斯差(下面稱為DoG)來執(zhí)行這種類 型的細胞的建模。因此，將源自三個分量的子波段與象DoG這樣的操 作符進行巻積。感知還在于強調(diào)對于信息的解釋至關(guān)重要的某些特性。 根據(jù)Gestaltist教育原理，應(yīng)用蝶式濾波器，以增強共線輪廓，校準(zhǔn) (aligned)并具有弱曲率。因此，使用良好的連續(xù)性和線性的Gestaltist 原理。
最后，為了構(gòu)造空間顯著圖，通過分組(grouping)或聯(lián)合先驗 獨立元素來執(zhí)行對各個分量300的融合，以構(gòu)成可為大腦所理解的結(jié) 構(gòu)。該融合是基于幀內(nèi)分量和幀間分量的競爭，使得可以使用由各個 視覺量綱所攜帶的信息(非彩色或彩色)的互補性和冗余性。
因此，產(chǎn)生針對序列中的每個圖像的空間顯著圖。在圖6A至6C 中給出了空間顯著圖的示例。圖6A表示源圖像，圖6B表示關(guān)聯(lián)空間 顯著圖，以及圖6C表示在每一宏塊中處理源圖像的情況下的關(guān)聯(lián)空 間顯著圖。
在序列的圖像上并行執(zhí)行對視覺注意力的時間建模。在運動環(huán)境 中，運動的對比度肯定是最顯著的視覺吸引物。清楚的是，在靜態(tài)背 景上運動的對象或相反地在運動背景上的靜態(tài)對象，都會吸引我們的 視覺注意力。為確定這些對比度，考慮到視覺跟蹤運動是極為重要的。 這些視覺運動使得能夠自然地補償對象的位移。因此，在視網(wǎng)膜參考幀中表現(xiàn)出的所考慮的運動的速度幾乎為零。為確定運動的最相關(guān)的 對比度，因此必須補償攝像機的固有運動(假設(shè)為顯性的)。對于運動
估計400，基于將圖像分解為感知信道的層次分解所產(chǎn)生的矢量場， 根據(jù)基于M-估計器的健壯的估計技術(shù)500來計算完整的仿射參數(shù)模 型。因此，將視網(wǎng)膜運動600作為局部運動與主要運動之間的差異來 計算。該值越大(仍然考慮視覺跟蹤運動的理論最大速度)，則所討論 的區(qū)域越引人注意。其后，根據(jù)該視網(wǎng)膜運動簡單地推導(dǎo)出時間顯著。 注意，假設(shè)在靜態(tài)擾亂項中檢測運動對象比檢測靜態(tài)對象更為容易， 因此通過該場景的全部運動量來調(diào)制視網(wǎng)膜運動。
其后，執(zhí)行對包括幀內(nèi)和幀間圖競爭機制的空間和時間顯著圖的 融合700。
有利地，將時間循環(huán)應(yīng)用于空-時顯著的連續(xù)圖，以提取并確認若 干圖像上的所謂的感興趣區(qū)域(具有大于或等于預(yù)定閾值的顯著值得 圖像區(qū)域)和所謂的"非感興趣"區(qū)域(具有小于預(yù)定閾值的顯著值 得圖像區(qū)域)。
可以通過應(yīng)用閾值化(thresholding)步驟從這些圖中推導(dǎo)出圖像 序列的感興趣區(qū)域和非感興趣區(qū)域。這通過圖7在第二實施例的框架 內(nèi)示出。將具有小于預(yù)定閾值的顯著值的區(qū)域視為非感興趣區(qū)域，并 將所有其它區(qū)域視為感興趣區(qū)域。有利地，低通濾波器對顯著的局部 變動進行平滑。
作為變體，可以設(shè)想使用若干閾值的閾值化步驟來產(chǎn)生具有多于 兩個調(diào)制幅度等級的調(diào)制圖像。然后，在每對連續(xù)閾值之間定義顯著 值間隔。然后，使調(diào)制幅度值與這些間隔中的每一間隔相關(guān)聯(lián)。
有利地，使用對所述序列的圖像中的運動估計步驟30 (如圖8所 示)來補充本發(fā)明的方法，以便根據(jù)所估計的運動來對該圖案進行運 動補償，并降低由運動場景中的圖案的可能不良時間合成所引入的可 能阻礙。
作為變體，可以設(shè)想檢測圖像序列的靜態(tài)區(qū)域、然后從所檢測的 靜態(tài)區(qū)域的像素中選擇要經(jīng)時間調(diào)制的像素來代替對圖像序列中的運 動進行估計。當(dāng)然，本發(fā)明不局限于上述實施例。特別地，本領(lǐng)域的技術(shù)人員 將能夠?qū)D像序列中的像素的色度執(zhí)行時間調(diào)制。本領(lǐng)域的技術(shù)人員 還將能夠?qū)D像序列中的像素的色度和亮度同時執(zhí)行時間調(diào)制。
此外，可選地，可以通過除了產(chǎn)生顯著圖以外的已知手段來執(zhí)行 對感興趣區(qū)域的檢測。
權(quán)利要求
1、一種用于顯示源圖像序列中的至少一個反拷貝圖案的方法，每個源圖像包括按行和列排列的多個像素，并且所述圖案包括選自所述圖像的一組像素，每個像素具有每個源圖像中的預(yù)定視頻信息項，所述方法包括調(diào)制步驟(20)，用于對其預(yù)定視頻信息周圍的圖案中每個像素的視頻信息進行時間調(diào)制，以便對于人眼不可見，并在所述圖像在其顯示期間被通過攝影而拷貝時創(chuàng)建偽像，所述方法的特征在于，在所述調(diào)制步驟(20)之前，還包括用于對源圖像序列中的感興趣區(qū)域進行檢測的步驟(10)，以及根據(jù)感興趣區(qū)域中的像素的成員資格，來調(diào)整預(yù)定視頻信息周圍的圖案中的像素的視頻信息的調(diào)制幅度。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，針對不屬于源圖像 序列的感興趣區(qū)域的圖案的像素，其時間調(diào)制幅度比針對屬于感興趣 區(qū)域的圖案的像素的時間調(diào)制幅度大。
3、 根據(jù)權(quán)利要求1所述的方法，其特征在于，針對不屬于源圖像 序列的感興趣區(qū)域的圖案的像素，其時間調(diào)制幅度比針對屬于感興趣 區(qū)域的圖案的像素的時間調(diào)制幅度小。
4、 根據(jù)權(quán)利要求3所述的方法，其特征在于，當(dāng)所要調(diào)制的像素 與感興趣區(qū)域之間的距離增大時，屬于感興趣區(qū)域的圖案的像素的調(diào) 制幅度減小。
5、 根據(jù)權(quán)利要求1至4中的任一項所述的方法，其特征在于，在 所述調(diào)制步驟之前，所述方法還包括對所述序列中的圖像的運動進行 估計的步驟(30)，以及，根據(jù)所估計的運動對圖案進行運動補償。
6、 根據(jù)權(quán)利要求1至4中的任一項所述的方法，其特征在于，在 所述調(diào)制步驟之前，所述方法還包括檢測源圖像序列中的靜態(tài)區(qū)域的 步驟，以及，所述時間調(diào)制的像素是從所檢測到的靜態(tài)區(qū)域中的像素 中選擇的。
7、 根據(jù)前述任一項所述的方法，其特征在于，所述視頻信息是像素的亮度和/或色度。
8、 一種圖像處理設(shè)備(2)，用于顯示源圖像序列中的至少一個反拷貝圖案，每個源圖像包括按行和列排列的多個像素，并且所述圖 案包括選自所述圖像的一組像素，其中每個像素具有每個源圖像中的預(yù)定視頻信息項，所述設(shè)備(2)包括調(diào)制電路(4)，用于對其預(yù)定視頻信息周圍的圖案中的每個像素的視頻信息進行時間調(diào)制，以便對 于人眼不可見，并在所述圖像在其顯示期間被通過攝影而拷貝時創(chuàng)建 偽像，其特征在于，所述圖像處理設(shè)備(2)還包括一種用于對源圖像 序列中的感興趣區(qū)域進行檢測的電路(3)，以及，所述調(diào)制電路(4) 使用幅度對圖案中的像素的視頻信息進行調(diào)制，所述幅度取決于感興 趣區(qū)域中的所述像素的成員資格。
全文摘要
本發(fā)明涉及一種用于顯示圖像的方法和設(shè)備，用于防止通過在圖像顯示過程中進行拍攝(例如在電影院大廳中通過可攜式攝像機)的圖像拷貝。已知將圖案像素的亮度調(diào)制到將要以高頻率顯示的值附近，該高頻率使得圖案對于人眼不可見但將在可由可攜式攝像機拍攝的序列上產(chǎn)生偽像。通常將該圖案稱為反拷貝圖案。根據(jù)本發(fā)明，建議通過根據(jù)序列感興趣區(qū)域中的成員資格或非成員資格，改變反拷貝圖案中像素的調(diào)制幅度，來增大調(diào)制產(chǎn)生的阻礙。
文檔編號H04N5/913GK101258745SQ200680032762
公開日2008年9月3日 申請日期2006年9月5日 優(yōu)先權(quán)日2005年9月8日
發(fā)明者喬納森·克維克, 奧立佛·勒默爾, 洛朗·布隆德 申請人:湯姆森許可貿(mào)易公司