本發(fā)明涉及立體顯示技術(shù)及模糊控制理論，是將模糊控制理論應(yīng)用于制作顏色協(xié)調(diào)的立體字幕的方法。

背景技術(shù)：

隨著3D(Three Dimensional)成像技術(shù)的發(fā)展，立體視頻的制作在視覺與信息處理領(lǐng)域已經(jīng)掀起了研究熱潮。目前3D立體視頻正處于由實(shí)驗(yàn)室研究邁向產(chǎn)品化、市場化的關(guān)鍵時(shí)期。視覺舒適度是促進(jìn)其市場發(fā)展的重要因素之一。為了推進(jìn)立體產(chǎn)品的市場化，了解立體顯示的相關(guān)原理及產(chǎn)生不舒適的相關(guān)因素尤其重要，其相關(guān)內(nèi)容已經(jīng)成為國內(nèi)外的研究焦點(diǎn)。

視差式立體顯示圖像在給觀看者帶來強(qiáng)大的視覺沖擊效果同時(shí)，也帶來了視覺不舒適的問題。隨著眼干、頭暈、惡心等出現(xiàn)的案例增多，立體圖像觀看舒適度的問題越來越引起學(xué)術(shù)界的關(guān)注。目前，各國均已致力于研究立體顯示造成不舒適的原因，旨在規(guī)范立體顯示設(shè)備及3D內(nèi)容舒適度的技術(shù)標(biāo)準(zhǔn)正在制定，對3D觀看不舒適的誘因研究也正在進(jìn)行中。

字幕作為獲取視頻信息的重要手段之一，滿足了世界各地不同文化與語言觀看者的需求。傳統(tǒng)的立體字幕被放置于屏幕前面,并且顏色為固定不變的白色，而對背景內(nèi)容不加考慮，使得立體字幕的顏色與立體圖像內(nèi)容之間相互干擾。妨礙了觀看者獲取視頻信息及字幕信息，立體內(nèi)容觀看體驗(yàn)下降，甚至引發(fā)眼干、頭暈、嘔吐等立體視覺不舒適等問題。

由于立體視頻字幕的字幕制作原理與傳統(tǒng)的二維字幕制作不同，針對立體視頻的字幕制作還沒有統(tǒng)一的標(biāo)準(zhǔn)及規(guī)范。背景顏色的復(fù)雜多變使得用傳統(tǒng)的數(shù)學(xué)模型構(gòu)建出與之協(xié)調(diào)的立體字幕難以正確的描述系統(tǒng)的動(dòng)態(tài)。因此根據(jù)立體視頻的背景顏色生成與其協(xié)調(diào)的立體字幕是3D產(chǎn)品制作的一個(gè)研究熱點(diǎn)及難題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：基于模糊控制原理將立體圖像左右視圖背景顏色的RGB參數(shù)作為輸入，通過反模糊化并結(jié)合主觀評價(jià)對立體圖像舒適度進(jìn)行評價(jià)，最后經(jīng)過顏色平滑過渡模塊得到立體字幕文件的RGB參數(shù)，輸出與立體背景顏色協(xié)調(diào)的立體字幕。本發(fā)明的技術(shù)解決方案如下：

一種基于模糊控制的顏色協(xié)調(diào)立體字幕制作方法，所述方法包括以下步驟：

a.讀入需添加字幕文件的雙目立體視頻內(nèi)容；

b.獲取立體視頻左路信號所需添加字幕區(qū)域內(nèi)容的RGB參數(shù)；

c.獲取立體視頻右路信號所需添加字幕區(qū)域內(nèi)容的RGB參數(shù)；

d.將左右路信號的所需添加字幕區(qū)域內(nèi)容的RGB參數(shù)的均值定義為模糊控制的三路輸入變量；

e.根據(jù)顏色協(xié)調(diào)理論對變量模糊化，設(shè)定模糊規(guī)則，并將顏色協(xié)調(diào)理論與模糊邏輯相結(jié)合，推理得到模糊控制信號；

f.對邏輯判斷得到的模糊控制信號進(jìn)行反模糊化，從而得到輸出即協(xié)調(diào)的立體字幕顏色的RGB參數(shù)，建立模糊控制器；制作合適的立體素材，招募被試對模糊控制器進(jìn)行主觀評價(jià)，記錄被試對協(xié)調(diào)顏色的字幕的主觀評價(jià)分值，根據(jù)主觀評價(jià)結(jié)果繪制舒適的顏色協(xié)調(diào)字幕的分布圖；

g.依據(jù)顏色協(xié)調(diào)字幕的分布圖，將得到的立體視頻幀序列對三路輸入變量分別進(jìn)行判決，決定是否對所添加字幕進(jìn)行模糊處理；

h.對視頻的所有幀序列進(jìn)行平滑過渡處理，最終得到立體視頻所需添加的顏色協(xié)調(diào)字幕。

附圖說明

通過參照附圖來詳細(xì)地描述本發(fā)明的實(shí)施方式，可以更容易地理解本發(fā)明教導(dǎo)，在附圖中：

圖1為本發(fā)明的方法流程圖；

圖2為本發(fā)明所用模糊控制原理圖；

圖3為本發(fā)明模糊控制輸入?yún)?shù)隸屬函數(shù)；

圖4為本發(fā)明模糊控制輸出參數(shù)隸屬函數(shù)；

圖5為本發(fā)明的主觀評價(jià)流程圖；

圖6為本發(fā)明得到的舒適的顏色協(xié)調(diào)字幕的分布圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖對本發(fā)明實(shí)施方式作進(jìn)一步地詳細(xì)描述。

如圖1所示，本發(fā)明的方案通過以下步驟來實(shí)現(xiàn)：

101：獲取立體視頻內(nèi)容插入字幕區(qū)域的RGB分量

首先獲取待插入立體字幕文件的雙目立體視頻(本實(shí)驗(yàn)中選取左右格式立體視頻)，通過MATLAB軟件分成左右路視頻幀序列；

提取左右路視頻幀序列RGB分量，確定雙目立體視頻內(nèi)容的立體字幕顯示區(qū)域，確保該區(qū)域的字幕信息能夠舒適顯示，

以該區(qū)域左右路視頻幀序列RGB分量的均值作為模糊控制的RGB三路輸入信號；

102：主觀評價(jià)的立體素材的制作

為了使制作的立體實(shí)驗(yàn)素材具有魯棒性，選取R、G、B分量的值為25、75、125、175、225五種取值，

使其遍歷在如圖3所示的隸屬函數(shù)的L等級、M等級、H等級、L與M都存在的等級以及M與H都存在的等級。

即實(shí)驗(yàn)素材有5*5*5共125種可能。素材有黑、藍(lán)、綠、黃、紫、紅、白、灰等125種顏色。

103：模糊控制模塊的搭建

模糊控制實(shí)質(zhì)上是智能控制領(lǐng)域的非線性控制方法，它最大的優(yōu)點(diǎn)在于是模糊控制既有系統(tǒng)化的理論，又有大量的實(shí)用背景。一般控制系統(tǒng)的框架包含了五個(gè)主要部分，即定義變量、模糊化、知識庫、邏輯判斷、及反模糊化，下面我們將逐步介紹本發(fā)明中各個(gè)部分的搭建過程。

首先是定義變量，選取合適的變量作為模糊控制模塊的輸入可以得到極好的輸出，在本發(fā)明中，研究立體內(nèi)容的背景色與所要添加的字幕的顏色協(xié)調(diào)，因此

選取立體內(nèi)容顏色的RGB分量作為模糊模塊的三個(gè)輸入分量；

下一步是對輸入分量模糊化，即將輸入值以適當(dāng)?shù)谋壤D(zhuǎn)換到論域的數(shù)值，利用口語化變量來描述測量物理量的過程，根據(jù)適合的語言值求該值相對的隸屬度，此口語化變量稱為模糊子集合。

通常連續(xù)型模糊控制器有三種常見連續(xù)型隸屬函數(shù)，它們分別是吊鐘型、三角形與梯形。如圖3所示為本發(fā)明所設(shè)置的輸入?yún)?shù)的隸屬函數(shù)，即梯形隸屬函數(shù)。

我們分別把立體內(nèi)容的顏色R、G、B分量分成三個(gè)等級，及低等級L、中等級M以及高等級H。

對于不同的R、G、B分量等級組合，例如R_LG_LB_L、R_LM_LB_H、等共有27種組合。

下一步我們對知識庫進(jìn)行設(shè)定，主要包括兩部分，即數(shù)據(jù)庫與規(guī)則庫的定義；

我們將立體內(nèi)容的顏色R、G、B分量的不同等級之間的組合，即27種情況定義為我們的數(shù)據(jù)庫；

進(jìn)一步，我們依據(jù)已有的顏色協(xié)調(diào)理論及專家經(jīng)驗(yàn)，針對數(shù)據(jù)庫的27種數(shù)據(jù)定義出相應(yīng)的27種模糊規(guī)則；

下一步，運(yùn)用模糊邏輯與模糊推論進(jìn)行推論，得到模糊控制訊號，這一步也是模糊控制器的精髓所在，在模糊規(guī)則以及專家經(jīng)驗(yàn)進(jìn)行推論，對界限不清晰的輸出字幕顏色R、G、B分量的等級之間，借助如圖4所示的輸出梯形隸屬函數(shù)，模擬我們?nèi)四X實(shí)施規(guī)則型推理，得到模糊控制信號μ_r、μ_g及μ_b；

進(jìn)一步，采用加權(quán)求平均法對27種規(guī)則推論得到的27種模糊控制信號進(jìn)行解模糊，得到模糊控制模塊的輸出；

104：主觀評價(jià)實(shí)驗(yàn)平臺的搭建

在本發(fā)明中，選取噪音隔絕、光線適中的實(shí)驗(yàn)室作為實(shí)驗(yàn)環(huán)境，以免除外界環(huán)境對被試的主觀感受的影響；

由于快門式3D顯示器存在容易導(dǎo)致觀看者視疲勞，并且其刷新頻率低等問題，本發(fā)明選用21英寸冠捷立體顯示器(1920*1080，刷新率為60HZ)作為實(shí)驗(yàn)的立體內(nèi)容顯示裝置；

被試坐在距離顯示屏垂直高度的3倍處，佩戴偏光式立體眼鏡，圖像水平視角為32.86°，垂直視角為18.48°，

在實(shí)驗(yàn)之前，讓被試保持良好的精神狀態(tài)，并在正式開始實(shí)驗(yàn)之前進(jìn)行實(shí)驗(yàn)前的訓(xùn)練，當(dāng)確定被試已經(jīng)能夠熟練的完成實(shí)驗(yàn)任務(wù)的時(shí)才開始進(jìn)行實(shí)驗(yàn)。在填寫被試知情同意書之后，讓被試坐在噪音隔絕的實(shí)驗(yàn)環(huán)境中。

圖像刺激由E-prime 2.0呈現(xiàn)，采用經(jīng)典的S1-S2范式，每個(gè)實(shí)驗(yàn)試次(試次，指一個(gè)圖片刺激呈現(xiàn)到下一個(gè)刺激呈現(xiàn)的全部流程，如圖5所示)

(1)在每試次開始后500ms，要求被試注視屏幕中央事先設(shè)定的白色亮點(diǎn)，目的是將被試注意力集中于該試次并使雙眼匯聚。

(2)點(diǎn)擊鼠標(biāo)后首先在屏幕上呈現(xiàn)傳統(tǒng)的帶有白色字幕的已經(jīng)制作完畢的實(shí)驗(yàn)素材庫中125種的一幅立體實(shí)驗(yàn)素材，呈現(xiàn)時(shí)間為2000ms；

(3)隨后以偽隨機(jī)方式呈現(xiàn)與上面對應(yīng)的經(jīng)過模糊控制處理后添加顏色協(xié)調(diào)的字幕的立體實(shí)驗(yàn)素材，呈現(xiàn)時(shí)間為2000ms。

(4)該試次最后呈現(xiàn)白色圓點(diǎn)，被試被要求立即對立體測試圖像的舒適性進(jìn)行按鍵判斷，鍵盤1代表傳統(tǒng)的白色字幕的舒適性高于模糊控制處理后的顏色協(xié)調(diào)字幕，按鍵2代表傳統(tǒng)的白色字幕舒適性低于模糊控制處理后的顏色協(xié)調(diào)字幕，按鍵0代表白色字幕的舒適性與模糊控制處理后的顏色協(xié)調(diào)字幕相近，無法區(qū)分出兩者的好壞。

(5)待被試做好判斷點(diǎn)擊鼠標(biāo)后，實(shí)驗(yàn)進(jìn)入下一個(gè)試次。

(6)若被試感覺疲勞、不適等癥狀，可在呈現(xiàn)圓點(diǎn)進(jìn)行判斷后稍作休息。本實(shí)驗(yàn)包含制作的立體素材庫中125組立體實(shí)驗(yàn)素材；

進(jìn)一步，我們對每一被試的實(shí)驗(yàn)結(jié)果記錄、處理。按鍵1代表1分，按鍵0代表0分，按鍵2代表-1分。對參加實(shí)驗(yàn)的被試結(jié)果進(jìn)行疊加平均，結(jié)果值表明各個(gè)實(shí)驗(yàn)素材顏色協(xié)調(diào)字幕的舒適程度；

將結(jié)果繪制在顏色協(xié)調(diào)分布圖中用以判決立體視頻幀序列是否需要采用模糊控制模塊；

105:平滑過渡模塊

對于背景色跳轉(zhuǎn)過快的視頻幀序列范圍，會使得模糊控制得到的字幕顏色跳轉(zhuǎn)過快而造成被試的立體觀看舒適度下降。為了減緩這種顏色變化，在本發(fā)明中添加平滑過渡模塊。

首先，我們得到經(jīng)由判決與模糊控制模塊的所需添加立體字幕視頻幀序列的顏色協(xié)調(diào)字幕RGB分量，將其轉(zhuǎn)換至HSV空間得到顏色的H分量，即得到全部幀序列的色調(diào)；

下一步，我們判斷相鄰的幀序列之間是否H值偏差大于0.09，如果不大于，我們認(rèn)為此時(shí)不需要平滑過渡處理，如果大于0.09，則進(jìn)入下一步判斷；

如果相鄰幀序列之間H值偏差大于0.09，判斷當(dāng)前幀與后面5幀的H值的偏差是否大于0.05，如果不大于則不進(jìn)行平滑過渡處理，如果大于則進(jìn)入下一步；

判斷偏差是否大于0.5，如果小于0.5，則以當(dāng)前幀i為基準(zhǔn)，將此偏差平均分配到幀i-4至i+5之間，如公式(1)

HH(i)＝H(i)+temp*(H(i+1)-H(i))/9 (1)

判斷偏差是否大于0.5，如果大于0.5，則以當(dāng)前幀i為基準(zhǔn)，將此偏差模1運(yùn)算后平均分配到幀i-4至i+5之間，如公式(2)

HH(i)＝mod(H(i)+temp*(1+H(i+1)-H(i))/9,1) (2)

以全部視頻幀序列得到的協(xié)調(diào)字幕的顏色分量對傳統(tǒng)的白色立體字幕文件進(jìn)行改寫，得到顏色協(xié)調(diào)立體字幕。

本發(fā)明由于采取以上技術(shù)方案，其具有以下優(yōu)點(diǎn)：

(1)本發(fā)明選取模糊控制模塊對立體視頻背景顏色復(fù)雜多變的變量，應(yīng)用模糊理論簡化系統(tǒng)動(dòng)態(tài)，得到顏色協(xié)調(diào)的字幕，提高了立體觀看舒適度；

(2)本發(fā)明應(yīng)用主觀評價(jià)對模糊控制模塊進(jìn)行分析判決，得到協(xié)調(diào)顏色的字幕分布圖，用以判決模糊控制模塊的性能；

(3)本發(fā)明添加平滑過渡模塊使得我們處理后的字幕顏色不會隨著立體視頻內(nèi)容的背景色變化過大而出現(xiàn)顏色跳變，進(jìn)一步提高顏色協(xié)調(diào)字幕的制作系統(tǒng)的性能。