自動(dòng)收斂系統(tǒng)和方法
【專利摘要】本發(fā)明提供一種自動(dòng)收斂系統(tǒng)及自動(dòng)收斂方法，該自動(dòng)收斂系統(tǒng)包括一視差單元、一收斂單元及一主動(dòng)學(xué)習(xí)單元。該視差單元被配置來對(duì)輸入立體圖像對(duì)進(jìn)行視差分析，并相應(yīng)地獲得該輸入立體圖像對(duì)的視差分布。該收斂單元耦接至該視差單元且被配置來根據(jù)該視差分布和所學(xué)收斂范圍自適應(yīng)地調(diào)整該輸入立體圖像對(duì)，并相應(yīng)地產(chǎn)生輸出立體圖像對(duì)進(jìn)行播放。該主動(dòng)學(xué)習(xí)單元，耦接至該收斂單元且被配置來在播放該輸出立體圖像對(duì)期間，主動(dòng)學(xué)習(xí)收斂范圍，并相應(yīng)地確定該所學(xué)收斂范圍。本發(fā)明提供的自動(dòng)收斂系統(tǒng)及自動(dòng)收斂方法可以依據(jù)用戶的喜好自適應(yīng)提供舒服的收斂范圍。
【專利說明】自動(dòng)收斂系統(tǒng)和方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明的實(shí)施例涉及立體視頻/圖像的再現(xiàn)或者播放，且特別地，涉及具有主動(dòng)學(xué)習(xí)的自動(dòng)收斂系統(tǒng)及其方法。
【【背景技術(shù)】】
[0002]隨著科學(xué)技術(shù)的發(fā)展，使用者相較于高質(zhì)量的圖像，更希望獲得立體的及真實(shí)的圖像播放。現(xiàn)有的立體播放主要有兩種技術(shù)。一種是使用一播放裝置，該播放裝置與眼鏡配合使用(如紅藍(lán)立體眼鏡(anaglyph glasses)、偏光眼鏡(polarizat1n glasses)及時(shí)分眼鏡(shutter glasses))。另一種技術(shù)為使用一種無需與眼鏡配合的播放裝置。無論哪種技術(shù)的使用，立體圖像播放的主要思路為使得左右眼觀看到不同的圖像，因此，大腦將兩個(gè)眼睛看到的不同圖像看成一立體圖像。 [0003]—般來說，在由一左視圖像及一右視圖像構(gòu)成的一立體圖像對(duì)中呈現(xiàn)的一物體/像素的視差，決定該物體/像素的用戶的深度感知。然而，若該視差未被合適地設(shè)置，可能會(huì)導(dǎo)致用戶出現(xiàn)視覺疲勞。舉例來說，垂直視差錯(cuò)誤(vertical disparity error)及/或視覺幅輳-調(diào)節(jié)沖突(vergence-accommodat1n conflict)。為了減輕視覺疲勞，一種解決方式為使得用戶的深度感知舒服。另一種傳統(tǒng)的設(shè)計(jì)為基于該立體顯示裝置的說明書，如一 3D顯示屏預(yù)設(shè)的傾向角度，簡(jiǎn)單采用唯一的一種固定的舒適的收斂范圍設(shè)置。不幸的是，固定的收斂范圍不能滿足所有用戶的深度感知喜好，是因?yàn)橐獮樗杏脩艉芎玫亩x深度感知的主觀喜好是很難的。舉例來說，一些用戶可能偏好更強(qiáng)的深度感知，而另一些用戶則偏好更舒服的視覺效果。此外，對(duì)于一個(gè)用戶來說，在理論上設(shè)置舒服的收斂范圍與在經(jīng)驗(yàn)上來設(shè)置舒服的收斂范圍有很重大的區(qū)別，且一立體圖像/視頻的深度感知可能與內(nèi)容相關(guān)。因此，不會(huì)有一種統(tǒng)一的舒服的收斂范圍是滿足所有用戶的。作為一個(gè)結(jié)論，傳統(tǒng)的設(shè)計(jì)在設(shè)置相同的舒服的收斂范圍的情況下，并不能使得不同的用戶都具有最好的3D觀賞經(jīng)驗(yàn)。
[0004]因此，需要一種創(chuàng)新地設(shè)計(jì)一種智能的個(gè)性化的自動(dòng)收斂方案，其可以為每一用戶的個(gè)性化的喜好自適應(yīng)地提供舒服的收斂范圍。
【
【發(fā)明內(nèi)容】
】
[0005]依據(jù)本發(fā)明的示范性實(shí)施方式，提供一種具有主動(dòng)學(xué)習(xí)的自動(dòng)收斂系統(tǒng)及相關(guān)方法及可用計(jì)算機(jī)實(shí)現(xiàn)的方式能夠解決上述問題。
[0006]依據(jù)本發(fā)明的一方面，提供一種自動(dòng)收斂系統(tǒng)，包括一視差單元、一收斂單元及一主動(dòng)學(xué)習(xí)單元。該視差單元配置于對(duì)輸入立體圖像對(duì)進(jìn)行視差分析，并相應(yīng)地獲得該輸入立體圖像對(duì)的視差分布。該收斂單元耦接至該視差單元且配置于根據(jù)該視差分布和所學(xué)收斂范圍自適應(yīng)地調(diào)整該輸入立體圖像對(duì)，并相應(yīng)地產(chǎn)生輸出立體圖像對(duì)進(jìn)行播放。該主動(dòng)學(xué)習(xí)單元，耦接至該收斂單元且配置于在播放該輸出立體圖像對(duì)期間，主動(dòng)學(xué)習(xí)收斂范圍，并相應(yīng)地確定該所學(xué)收斂范圍。[0007]依據(jù)本發(fā)明的另一方面，提供一種自動(dòng)收斂方法，包括一下步驟:對(duì)輸入立體圖像對(duì)進(jìn)行視差分析，并相應(yīng)地獲得該輸入立體圖像對(duì)的視差分布；在播放該輸出立體圖像對(duì)期間，主動(dòng)學(xué)習(xí)收斂范圍，并相應(yīng)地確定所學(xué)收斂范圍；及根據(jù)該視差分布和該所學(xué)收斂范圍自適應(yīng)地調(diào)整該輸入立體圖像對(duì)，并相應(yīng)地產(chǎn)生輸出立體圖像對(duì)進(jìn)行播放。
[0008]上述發(fā)明的目的在本領(lǐng)域的普通技術(shù)人員閱讀本申請(qǐng)的優(yōu)選實(shí)施例后可以毫無疑義得到，下面將結(jié)合圖示對(duì)上述優(yōu)選的技術(shù)方案進(jìn)行詳細(xì)說明。
【【專利附圖】

【附圖說明】】
[0009]圖1為依據(jù)本發(fā)明的第一實(shí)施方式的自動(dòng)收斂系統(tǒng)的方塊示意圖。
[0010]圖2為該輸入立體圖像對(duì)的視差分布DD的柱狀圖。
[0011]圖3及圖4為依據(jù)本發(fā)明的實(shí)施方式在該偏移視差范圍DR'在所學(xué)收斂范圍CR內(nèi)的情況下，圖1所示的收斂單元的操作示意圖。
[0012]圖5及圖6依據(jù)本發(fā)明的實(shí)施方式在該偏移視差范圍DR'不在所學(xué)收斂范圍CR內(nèi)的情況下，圖1所示的收斂單元的一操作示意圖。
[0013]圖7及圖8依據(jù)本發(fā)明的實(shí)施方式在該偏移視差范圍DR'不在所學(xué)收斂范圍CR內(nèi)的情況下，圖1所示的收 斂單元的另一操作示意圖。
[0014]圖9及圖10依據(jù)本發(fā)明的實(shí)施方式在該偏移視差范圍DR'不在所學(xué)收斂范圍CR內(nèi)的情況下，圖1所示的收斂單元的還有的一操作示意圖。
[0015]圖11是示出根據(jù)本發(fā)明的實(shí)施例的主動(dòng)學(xué)習(xí)單元執(zhí)行的主動(dòng)學(xué)習(xí)過程的流程圖。
[0016]圖12是一個(gè)根據(jù)本發(fā)明第二實(shí)施例的自動(dòng)收斂系統(tǒng)的方塊示意圖。
[0017]圖13是根據(jù)本發(fā)明實(shí)施例根據(jù)個(gè)體用戶的不同所學(xué)收斂范圍確定收斂位置的示意圖。
【【具體實(shí)施方式】】
[0018]在說明書及后續(xù)的申請(qǐng)專利范圍當(dāng)中使用了某些詞匯來指稱特定的元件。本領(lǐng)域一般技術(shù)人員應(yīng)可理解，制造商可能會(huì)用不同的名詞來稱呼同樣的元件。本說明書及后續(xù)的申請(qǐng)專利范圍并不以名稱的不同來作為區(qū)別元件的方式，而是以元件在功能上的不同來作為區(qū)別的基準(zhǔn)。在通篇說明書及后續(xù)的請(qǐng)求項(xiàng)當(dāng)中所提及的「包含」為一開放式的用語，故應(yīng)解釋成「包含但不限定于」。此外，「耦接」一詞在此系包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置電性連接于一第二裝置，則代表該第一裝置可直接連接于該第二裝置，或透過其他裝置或連接手段間接地連接至該第二裝置。
[0019]本發(fā)明的主要概念是使用一主動(dòng)學(xué)習(xí)處理(active learning process)為自動(dòng)收斂控制(auto-convergence control)提供一所學(xué)收斂范圍。其中，該主動(dòng)學(xué)習(xí)處理也可以稱之為自我學(xué)習(xí)處理，該自動(dòng)收斂控制也可以稱為自動(dòng)會(huì)聚控制。特別地，該所學(xué)收斂范圍響應(yīng)于用戶交互被更新。用這樣的方式，用戶個(gè)體的深度感知的主觀喜好可以使用該主動(dòng)學(xué)習(xí)處理進(jìn)行預(yù)估，則能夠提高用戶的3D觀賞經(jīng)驗(yàn)。因此，本發(fā)明在分別設(shè)置個(gè)性化的舒服的收斂范圍的情況下，能夠使得不同的用戶都具有較好的3D觀賞經(jīng)驗(yàn)。本發(fā)明的細(xì)節(jié)詳述如下。[0020]圖1為依據(jù)本發(fā)明的第一實(shí)施方式的自動(dòng)收斂系統(tǒng)的方塊示意圖。該范例性的自動(dòng)收斂系統(tǒng)100包括一視差單元102、一收斂單元104及一主動(dòng)學(xué)習(xí)單元106,其中，該主動(dòng)學(xué)習(xí)單元106包括一主動(dòng)學(xué)習(xí)機(jī)112及一存儲(chǔ)模塊114。該自動(dòng)收斂系統(tǒng)100被配置用于產(chǎn)生一輸出立體圖像對(duì)至再現(xiàn)該輸出立體圖像對(duì)的立體顯示裝置101，(如:一 3D顯示屏)，該輸出立體圖像對(duì)包括一左視圖像MG_L’及一右視圖像MG_R’。以范例的方式，該自動(dòng)收斂系統(tǒng)100可被應(yīng)用在任意配置有立體顯示裝置101的電子設(shè)備中，如數(shù)字電視(DTV)、移動(dòng)設(shè)備或者平板。因?yàn)樵撟詣?dòng)收斂功能，該輸出立體圖像對(duì)的視差分布可能不同于輸入立體圖像對(duì)的視差分布。更好地是，該輸出立體圖像對(duì)有最佳的個(gè)性化收斂設(shè)置。因此，當(dāng)該輸出立體圖像對(duì)被顯示于該立體圖像裝置101，用戶可以感覺到所期望的舒適的視覺效果。
[0021]該視差單元102被配置用于對(duì)該輸入立體圖像對(duì)執(zhí)行一視差分析，并據(jù)此獲得該輸入立體圖像對(duì)的視差分布DD。舉例來說，該視差單元102可應(yīng)用立體匹配算法(stereomatching algorithm)、特征點(diǎn)提取及匹配算法(feature point extract1n and matchingalgorithm)、區(qū)域基石出運(yùn)動(dòng)估計(jì)算法(reg1n-based mot1n estimat1n algorithm)中的一種以獲得該視差分布DD的統(tǒng)計(jì)分析。請(qǐng)參考圖2，圖2為該輸入立體圖像對(duì)的視差分布DD的柱狀圖。如圖2所示，來自該輸入立體圖像對(duì)的該左視圖像MG_L及該右視圖像MG_R的視差值被限制在Dl及D2形成的一視差范圍內(nèi)。其中，該D2為最大的正視差，該Dl為最小負(fù)視差。當(dāng)在該立體顯示裝置101上播放的一像素具有零視差，用戶可以在該立體顯示裝置101的屏幕上精準(zhǔn)地看到該像素。當(dāng)在該立體顯示裝置101上播放的一像素具有負(fù)視差，用戶可能在該立體顯示裝置101的屏幕前方(B卩，該立體顯示裝置的屏幕靠近用戶)看到該前景像素(foreground pixel)。當(dāng)在該立體顯示裝置101上播放的一像素具有一正視差，則用戶在該立體顯示裝置101的屏幕后方(B卩，用戶在遠(yuǎn)離該屏幕的位置)看到該后景像素(background pixel)。因此，當(dāng)該輸出立體圖像對(duì)在該立體顯示裝置101上播放時(shí),該輸出立體圖像對(duì)的視差分布DD決定了用戶的深度感知。
[0022]如上所述，每一個(gè)用戶有自己主觀喜好的深度感知。該輸入立體圖像對(duì)的原始視差分布DD可被調(diào)整以滿足用戶的喜好。因此，當(dāng)該視差分布DD未能滿足用戶的喜好，該收斂單元104是有效的，以對(duì)該視差分布DD執(zhí)行智能收斂位置調(diào)整。具體來說，該收斂單元104耦接至該視差單元102及該主動(dòng)學(xué)習(xí)單元106，且該收斂單元104被配置用于依據(jù)該視差分布DD及一所學(xué)收斂范圍CR自適應(yīng)調(diào)整該輸入立體圖像對(duì)，且據(jù)此產(chǎn)生一輸出立體圖像對(duì)至該立體顯示裝置101以進(jìn)行視頻/圖像播放(也可稱為再現(xiàn))。假定當(dāng)像素以零視差播放，任意用戶均會(huì)感覺最舒服。因此，該收斂單元104檢查該視差分布DD以尋找發(fā)生頻率最高的視差值(即，與最大累積數(shù)量相對(duì)應(yīng)的該視差值)。舉例來說，圖2中的視差值D3對(duì)應(yīng)該發(fā)生頻率最高。由該收斂單元104作出收斂位置調(diào)整因此以視差值D3作為初始零視差位置，以基于自視差分布DD取得的原始視差范圍，確定一偏移視差范圍，然后比較該偏移視差范圍與該所學(xué)收斂范圍CR以檢查是否該偏移視差范圍應(yīng)進(jìn)一步移位，以使初始零視差位置移動(dòng)/改變到最終零視差的位置。為了更好地理解由收斂單元104作出收斂位置調(diào)整這一技術(shù)特征，幾個(gè)例子給出如下。假定一個(gè)線性視差調(diào)整被用來偏移該視差值。因此，當(dāng)想將該視差值D3平移到零視差位置Pi (此時(shí)，大部分的3D影像的視差分布在人煙觀看最舒服的零視差上)時(shí)，透過該影像視差分布DD，來決定水平移動(dòng)D3，以取得平移后的偏移視差范圍DR'。平移后的偏移視差范圍DR'有以下不同的情況:[0023]在第一種情況下，該偏移視差范圍Df在所學(xué)收斂范圍CR內(nèi)，該收斂單元104的操作顯示于圖3和圖4。一般來說，零視差剛好會(huì)讓視覺的深度感知落在屏幕上，負(fù)視差回將視覺感拉近，從屏幕靠近雙眼，如同在屏幕內(nèi)；正視差則將深度感推遠(yuǎn)至屏幕后方，如同進(jìn)入屏幕內(nèi)。從圖3可以看出，當(dāng)該偏移視差范圍DR'的初始零視差位置Pi與所學(xué)收斂范圍CR的零視差位置對(duì)齊，該偏移視差范圍DR'完全是在該所學(xué)收斂范圍CR內(nèi)。因此，該收斂單元104不需要進(jìn)一步施加視差移位到該偏移視差范圍DR'。從圖4可以看出，初始零視差位置Pi是最終零視差位置Pt。根據(jù)最終零視差位置Pt，該收斂單元104調(diào)整該左視圖像MG_L和該右視圖像MG_R中的至少一個(gè)，當(dāng)D3為負(fù)視差值，使原始視差分布DD由D3向右移位，并當(dāng)D3為正視差值，調(diào)整左視圖像MG_L和右視圖像MG_R中的至少一個(gè)，使原始視差分布DD由D3向左移位。在這種方式中，由該左視圖像MG_L'和該右視圖像MG_Ri構(gòu)成的該輸出立體圖像對(duì)將具有調(diào)整后的視差分布與偏移視差范圍DR'。
[0024]在第二種情況下，當(dāng)該偏移視差范圍Df在所學(xué)收斂范圍CR外，該收斂單元104的操作顯示于圖5和圖6。從圖5可以看出，當(dāng)該偏移視差范圍Df的初始零視差位置Pi與所學(xué)收斂范圍CR的零視差位置對(duì)齊，該偏移視差范圍DR'是不完全在所學(xué)收斂范圍CR內(nèi)。具體來說，該偏移視差范圍DR'有一個(gè)不舒服的/不好的(painful)正視差范圍D4超出該所學(xué)收斂范圍CR。因此，該收斂單元104需要施加一個(gè)額外的視差移位到該偏移視差范圍DRi。從圖6可以看出，初始零視差位置Pi被移動(dòng)到對(duì)應(yīng)于在原始視差分布DD的該視差值D3+D4的最終零視差位置Pt，得到在所學(xué)收斂范圍CR內(nèi)的另一個(gè)偏移視差范圍DR”?；谧罱K零視差位置Pt，該收斂單元104調(diào)整該左視圖像MG_L和該右視圖像MG_R中的至少一個(gè)，當(dāng)D3+D4是一個(gè)負(fù)視差值，使原始視差分布DD向右移動(dòng)D3+D4，并調(diào)整該左視圖像MG_L和該右視圖像MG_R中的至少一個(gè)，當(dāng)D3+D4是一個(gè)正視差值，使原始視差分布DD向左移動(dòng)D3+D4。在這種方式中，由該左視圖像頂G_L'和該右視圖像MG_R'構(gòu)成的該輸出立體圖像對(duì)，將具有調(diào)整后的視差分布與偏移視差范圍DR”。
[0025]在第三種情況下，該偏移視差范圍DR'在該所學(xué)收斂范圍CR之外，該收斂單元104的操作顯示在圖7和圖8。從圖7可以看出，當(dāng)該偏移視差范圍DRi的該初始零視差位置Pi與所學(xué)收斂范圍CR的零視差位置對(duì)齊時(shí)，該偏移視差范圍DR,是不完全在所學(xué)收斂范圍CR內(nèi)。具體來說，該偏移視差范圍DR'有一個(gè)在所學(xué)收斂范圍CR外的不舒服/不好的負(fù)視差范圍D5。因此，該收斂單元104需要施加一個(gè)額外的視差移位到該偏移視差范圍DR'。如圖8所示，初始零視差位置Pi被移動(dòng)到對(duì)應(yīng)于在原始視差分布DD的該視差值D3-D5的最終零視差位置的Pt，得到在所學(xué)收斂范圍CR內(nèi)的另一個(gè)偏移視差范圍DR”。該收斂單元104調(diào)整該左視圖像MG_L和該右視圖像MG_R中的至少一個(gè)，當(dāng)D3-D5是一個(gè)負(fù)視差值，使原始視差分布DD向右移動(dòng)D3-D5，并調(diào)整該左視圖像MG_L和該右視圖像IMG_R中的至少一個(gè)，當(dāng)D3-D5是一個(gè)正視差值，使原始視差分布DD向左移動(dòng)D3-D5。在這種方式中，由該左視圖像頂G_L'和該右視圖像MG_R'構(gòu)成的該輸出立體圖像對(duì)，將具有調(diào)整后的視差分布與偏移視差范圍DR”。
[0026]在第四種情況下，該偏移視差范圍DR'是在所學(xué)收斂范圍CR外，該收斂單元104的操作顯示在圖9及圖10。從圖9可以看出，當(dāng)該偏移視差范圍DRi的該初始零視差位置Pi與所學(xué)收斂范圍CR的零視差位置對(duì)齊時(shí)，該偏移視差范圍DR'是不完全在所學(xué)收斂范圍CR內(nèi)。具體來說，該偏移視差范圍DR'有一個(gè)在所學(xué)收斂范圍CR外的不舒服/不好的正視差范圍D6。因此，該收斂單元104需要施加一個(gè)額外的視差移位到該偏移視差范圍DR'。然而，由于該偏移視差范圍DR'的大小比所學(xué)收斂范圍CR的大小大，額外的視差移位未能使該偏移視差范圍DR'完全在所學(xué)收斂范圍CR內(nèi)。即使初始零視差位置Pi被移動(dòng)到一個(gè)新位置時(shí)，該偏移視差范圍DR'仍然是不完全在所學(xué)收斂范圍CR內(nèi)，因此，如圖中10所示，具有不舒服/不好的正視差范圍和負(fù)視差范圍。為了解決這樣一個(gè)超出范圍的問題，該收斂單元104可以跳過收斂位置調(diào)整，并采用以下解決方案之一。然而，這僅用于說明的目的，并不意味著是對(duì)本發(fā)明的限制。
[0027]第一種解決超出范圍問題的方案，是縮小立體顯示裝置101的圖像尺寸。第二種解決超出范圍問題的方案是直接顯不二維(2D)圖像。第二種解決超出范圍問題的方案是執(zhí)行2D到3D的技術(shù)來產(chǎn)生三維感(3D-like)的圖像。第四種解決超出范圍問題的方案是執(zhí)行一個(gè)視圖內(nèi)插技術(shù)來模擬中間結(jié)果。
[0028]應(yīng)當(dāng)指出的是，在再現(xiàn)該立體圖像對(duì)的過程中，如上所述的所學(xué)收斂范圍CR是不固定的收斂范圍，并允許被自適應(yīng)地調(diào)整。優(yōu)選地，該學(xué)習(xí)收斂范圍CR通過基于用戶交互的主動(dòng)學(xué)習(xí)過程被自適應(yīng)地調(diào)整。請(qǐng)參考圖11并結(jié)合圖1。圖11是示出根據(jù)本發(fā)明的實(shí)施例的主動(dòng)學(xué)習(xí)單元106執(zhí)行的主動(dòng)學(xué)習(xí)過程的流程圖。只要提供的結(jié)果是基本相同的，并不需要按照?qǐng)D中所示步驟的確切順序來執(zhí)行。該主動(dòng)學(xué)習(xí)過程可以包括以下步驟:
[0029]步驟1102:參照該立體顯示裝置101的預(yù)先定義的收斂范圍CR_PRE確定的一個(gè)主動(dòng)學(xué)習(xí)模型的參數(shù)的初始值，并將初始化參數(shù)存儲(chǔ)在存儲(chǔ)模塊114中。
[0030]步驟1104:檢查是否已收到手動(dòng)調(diào)節(jié)該立體顯示裝置上當(dāng)前顯示的輸出立體圖像對(duì)的視差的用戶交互。如果是，則轉(zhuǎn)到步驟1106，否則，再次執(zhí)行步驟1104。
[0031]步驟1106:檢查輸出立體圖像對(duì)的用戶定義的差異分布是否是一個(gè)異常值？如果是，則轉(zhuǎn)到步驟1104，否則，請(qǐng)轉(zhuǎn)至步驟1108 ；
[0032]步驟1108:啟用增量學(xué)習(xí)，根據(jù)歷史數(shù)據(jù)(即增量學(xué)習(xí)之前，主動(dòng)學(xué)習(xí)模型的當(dāng)前參數(shù)已啟用)和由用戶交互指示的輸出立體圖像對(duì)的用戶定義的視差分布，更新存儲(chǔ)在該存儲(chǔ)模塊114的主動(dòng)學(xué)習(xí)模型的參數(shù)。轉(zhuǎn)到步驟1104。
[0033]在本實(shí)施例中，該主動(dòng)學(xué)習(xí)機(jī)112通過參照存儲(chǔ)在該存儲(chǔ)模塊114中的主動(dòng)學(xué)習(xí)模型的參數(shù)決定該所學(xué)收斂范圍CR。在開始時(shí)，該主動(dòng)學(xué)習(xí)單元106的主動(dòng)學(xué)習(xí)機(jī)112(即該主動(dòng)學(xué)習(xí)模型的參數(shù))通過該立體顯示裝置101的規(guī)范所指定的預(yù)先定義的收斂范圍CR_PRE，初始化該所學(xué)收斂范圍CR(步驟1102)。例如，該立體顯示裝置101是一具有一個(gè)預(yù)先定義的三維福輳角Θ =typ(2D)±l° (3D)的三維顯示面板,其中typ (2D)是通過
2tan表示的典型的二維輻輳角，B代表在右眼和左眼之間的距離，D表示面板和用 2* D
戶眼睛之間的距離。典型地，在采用立體顯示裝置101的移動(dòng)設(shè)備如智能手機(jī)中，B=6.2厘米和D=30厘米。因此，典型的2D輻輳角為11.80°?；谒x的三維輻輳角和三維顯示面板的說明書中的像素，一個(gè)經(jīng)驗(yàn)視差范圍(即，預(yù)定義的收斂范圍CR_PRE)可以容易地獲得。除了初始化主動(dòng)學(xué)習(xí)模型的參數(shù)，預(yù)先定義的收斂范圍CR_PRE也可以用作所學(xué)收斂范圍CR的一個(gè)邊界條件。也就是說，即使所學(xué)收斂范圍是被允許由主動(dòng)學(xué)習(xí)過程自適應(yīng)地調(diào)整中，該所學(xué)收斂范圍，仍然需要滿足該立體顯示裝置101的規(guī)范。
[0034]直到用戶交互發(fā)生，存儲(chǔ)在該存儲(chǔ)模塊114的主動(dòng)學(xué)習(xí)模型的參數(shù)不會(huì)改變。也就是說，當(dāng)用戶不滿意由所學(xué)收斂范圍CR控制的輸出立體圖像對(duì)的視差分布呈現(xiàn)的深度感知，用戶可以通過用戶界面/人機(jī)界面，手動(dòng)調(diào)整在立體顯示裝置101顯示的輸出立體圖像對(duì)的視差分布。在對(duì)所期望的該立體顯示裝置101上顯示的輸出立體圖像的視差分布被確認(rèn)，并通過用戶界面/人機(jī)界面接受之后，該用戶交互USER_IN攜帶的用戶定義的視差分布信息被該主動(dòng)學(xué)習(xí)機(jī)112接收(步驟1104)。
[0035]在本實(shí)施例中，該主動(dòng)學(xué)習(xí)機(jī)112響應(yīng)于用戶交互USER_IN使能增量學(xué)習(xí)。具體來說，如步驟1106所示，由主動(dòng)學(xué)習(xí)機(jī)112執(zhí)行的增量學(xué)習(xí)被配置為通過檢查該輸出立體圖像對(duì)的用戶定義的差異分布更新所學(xué)收斂范圍(即，存儲(chǔ)在該存儲(chǔ)模塊114中的主動(dòng)學(xué)習(xí)模型的參數(shù))，以自動(dòng)刪除異常值，在學(xué)習(xí)過程中保持可靠的數(shù)據(jù)。例如，當(dāng)該用戶定義的視差分布沒有在預(yù)先定義的收斂范圍CR_PRE內(nèi)和/或該主動(dòng)學(xué)習(xí)機(jī)112目前使用的所學(xué)收斂范圍CR和當(dāng)前用戶定義的視差分布之間存在顯著不同，該異常值被發(fā)現(xiàn)。
[0036]當(dāng)確定該用戶定義的視差分布不是異常值，則該主動(dòng)學(xué)習(xí)機(jī)112執(zhí)行增量學(xué)習(xí)，根據(jù)用戶定義的輸出立體圖像對(duì)中的視差分布來更新所學(xué)收斂范圍CR (步驟1108)。
[0037]在上述實(shí)施例中，該自動(dòng)收斂系統(tǒng)100可以采用純硬件來實(shí)現(xiàn)。然而，這僅用于說明的目的，并不意味著是對(duì)本發(fā)明的限制。在另一種設(shè)計(jì)中，該自動(dòng)收斂系統(tǒng)可以使用基于軟件的設(shè)計(jì)來實(shí)現(xiàn)。請(qǐng)參考圖12，這是一個(gè)根據(jù)本發(fā)明第二實(shí)施例的自動(dòng)收斂系統(tǒng)的方塊示意圖。該自動(dòng)收斂系統(tǒng)1200包括處理器1202和機(jī)器可讀介質(zhì)1204。例如，該處理器1202可以是一個(gè)中央處理單元(CPU)、微控制單元(MCU)或者數(shù)字信號(hào)處理器(DSP)、且該機(jī)器可讀介質(zhì)1204是一種存儲(chǔ)設(shè)備，諸如非易失性存儲(chǔ)器。該機(jī)器可讀介質(zhì)1204存儲(chǔ)程序代碼PR0G。因此，當(dāng)程序代碼PROG由處理器1202執(zhí)行時(shí)，該處理器1202被指示執(zhí)行上述的自動(dòng)收斂系統(tǒng)100的操作。例如，程序代碼PROG指示處理器1202執(zhí)行以下任務(wù):執(zhí)行后輸入立體圖像對(duì)的視差分析，并據(jù)此獲得輸入立體圖像對(duì)的視差分布，在再現(xiàn)該立體圖像對(duì)時(shí)主動(dòng)學(xué)習(xí)一收斂范圍，并相應(yīng)地確定所學(xué)收斂范圍，以及按照該視差分布和所學(xué)收斂范圍，執(zhí)行一個(gè)主動(dòng)學(xué)習(xí)處理以自適應(yīng)地調(diào)整輸入立體圖像對(duì)，并相應(yīng)地產(chǎn)生一個(gè)輸出立體圖像對(duì)進(jìn)行回放。如本領(lǐng)域技術(shù)人員在讀取上述自動(dòng)收斂系統(tǒng)100的段落后，可以容易地理解該自動(dòng)收斂系統(tǒng)1200的技術(shù)特征，在此省略進(jìn)一步說明。
[0038]簡(jiǎn)單概括地說，本發(fā)明提出了使用一個(gè)主動(dòng)學(xué)習(xí)過程，為自動(dòng)收斂控制提供一個(gè)所學(xué)收斂范圍。因此，不同用戶個(gè)體的深度感知的主觀偏好可以使用基于用戶交互的主動(dòng)學(xué)習(xí)過程來估計(jì)。換句話說，不同的用戶被允許觀看3D圖像/視頻播放(回放)時(shí)有不同的個(gè)性化舒服收斂范圍設(shè)定。請(qǐng)參考圖13，是本發(fā)明實(shí)施例根據(jù)用戶個(gè)體的不同所學(xué)收斂范圍確定收斂位置的示意圖。在本實(shí)施例中，每一個(gè)第一用戶的所學(xué)收斂范圍CR_1和第二用戶的所學(xué)收斂范圍CR_2是在該預(yù)先定義的收斂范圍CR_PRE內(nèi)，并為此滿足了立體顯示裝置101的規(guī)范。從圖13可以看出，當(dāng)發(fā)現(xiàn)在輸入立體圖像對(duì)的原始視差分布DD內(nèi)的初始零視差位置Pi (例如，在上述實(shí)施例中的D3)與所學(xué)收斂范圍CR_1的零視差位置對(duì)準(zhǔn)時(shí)，該原始視差分布DD是不完全在所學(xué)收斂范圍CR_1內(nèi)。因此，可以通過按照?qǐng)D5和圖6中所示的方法移動(dòng)該視差分布DD，為該第一用戶得到最終的偏移視差范圍DR”_1，從而有一個(gè)新的零視差位置Pt_l。類似地，當(dāng)發(fā)現(xiàn)在輸入立體圖像對(duì)的原始視差分布DD內(nèi)的初始零視差位置Pi (例如，在上述實(shí)施例中的D3)與所學(xué)收斂范圍CR_2的零視差位置對(duì)準(zhǔn)時(shí)，該原始視差分布DD是不完全在所學(xué)收斂范圍CR_2內(nèi)。因此，可以通過按照?qǐng)D7和圖8中所示的方法移動(dòng)該視差分布DD，為該第二用戶得到最終的偏移視差范圍DR”_2，從而有一個(gè)新的零視差位置Pt_2。從圖13可以看出，由于不同的所學(xué)收斂范圍CR_1和CR_2，該偏移視差范圍DR”_2不同于該偏移視差范圍DR”_1。因此，當(dāng)相同的輸入圖像對(duì)的原始視差分布DD是通過本發(fā)明的自動(dòng)收斂系統(tǒng)100/1200處理時(shí)，由于顯示在立體顯示裝置101上的輸出圖像對(duì)具有該偏移視差范圍DR”_1這一事實(shí)，該第一用戶將有他/她優(yōu)選的深度感知，且由于顯示在立體顯示裝置101上的輸出圖像對(duì)具有該偏移視差范圍DR”_2這一事實(shí)，該第二用戶將有他/她優(yōu)選的深度感知。
[0039]本發(fā)明可以以其他特定形式來實(shí)施而不背離其精神或本質(zhì)特征。所描述的實(shí)施例在所有方面都被認(rèn)為僅是說明性的而不是限制性的。因此，本發(fā)明的范圍由所附的權(quán)利要求而不是由前面的描述來表示。在權(quán)利要求的等同含義和范圍內(nèi)的所有變化都是在其范圍之內(nèi)。
【權(quán)利要求】
1.一種自動(dòng)收斂系統(tǒng)，包括: 視差單元，被配置來對(duì)輸入立體圖像對(duì)進(jìn)行視差分析，并相應(yīng)地獲得該輸入立體圖像對(duì)的視差分布； 收斂單元，耦接至該視差單元且被配置來根據(jù)該視差分布和所學(xué)收斂范圍自適應(yīng)地調(diào)整該輸入立體圖像對(duì)，并相應(yīng)地產(chǎn)生輸出立體圖像對(duì)進(jìn)行播放 '及 主動(dòng)學(xué)習(xí)單元，耦接至該收斂單元且被配置來在播放該輸出立體圖像對(duì)期間，主動(dòng)學(xué)習(xí)收斂范圍，并相應(yīng)地確定該所學(xué)收斂范圍。
2.如權(quán)利要求1所述的自動(dòng)收斂系統(tǒng)，其特征在于，每個(gè)輸出立體圖像對(duì)被配置來顯示在具有預(yù)先定義的收斂范圍的立體顯示裝置上，且該主動(dòng)學(xué)習(xí)單元通過該預(yù)先定義的收斂范圍初始化該所學(xué)收斂范圍。
3.如權(quán)利要求1所述的自動(dòng)收斂系統(tǒng)，其特征在于，每個(gè)輸出立體圖像對(duì)被配置來顯示在具有預(yù)先定義的收斂范圍的立體顯示裝置上，且該主動(dòng)學(xué)習(xí)單元使用該預(yù)先定義的收斂范圍作為該所學(xué)收斂范圍的邊界條件。
4.如權(quán)利要求1所述的自動(dòng)收斂系統(tǒng)，其特征在于，該主動(dòng)學(xué)習(xí)單元響應(yīng)用戶交互使能增量學(xué)習(xí)，以自適應(yīng)更新該所學(xué)收斂范圍。
5.如權(quán)利要求4所述的自動(dòng)收斂系統(tǒng)，其特征在于，每個(gè)該輸出立體圖像對(duì)被配置來顯示在立體顯示裝置上，當(dāng)該主動(dòng)學(xué)習(xí)單元接收到該用戶交互時(shí)，該增量學(xué)習(xí)根據(jù)用戶定義的該輸出立體圖像對(duì)的視差分布更新所學(xué)收斂范圍，該用戶交互為手動(dòng)調(diào)整顯示在該立體顯示裝置上的該輸 出立體圖像對(duì)的視差分布。
6.如權(quán)利要求5所述的自動(dòng)收斂系統(tǒng)，其特征在于，該增量學(xué)習(xí)在更新所學(xué)收斂范圍之前，通過檢測(cè)該用戶定義的該輸出立體圖像對(duì)的差異分布，進(jìn)一步去除異常值。
7.一種自動(dòng)收斂方法,包括: 對(duì)輸入立體圖像對(duì)進(jìn)行視差分析，并相應(yīng)地獲得該輸入立體圖像對(duì)的視差分布； 在播放該輸出立體圖像對(duì)期間，主動(dòng)學(xué)習(xí)收斂范圍，并相應(yīng)地確定所學(xué)收斂范圍 '及 根據(jù)該視差分布和該所學(xué)收斂范圍自適應(yīng)地調(diào)整該輸入立體圖像對(duì)，并相應(yīng)地產(chǎn)生輸出立體圖像對(duì)進(jìn)行播放。
8.如權(quán)利要求7所述的方法，其特征在于，每個(gè)輸出立體圖像對(duì)被配置來顯示在具有預(yù)先定義的收斂范圍的立體顯示裝置上，且該主動(dòng)學(xué)習(xí)收斂范圍步驟包含通過該預(yù)先定義的收斂范圍初始化該所學(xué)收斂范圍。
9.如權(quán)利要求7所述的方法，其特征在于，每個(gè)輸出立體圖像對(duì)被配置來顯示在具有預(yù)先定義的收斂范圍的立體顯示裝置上，且該主動(dòng)學(xué)習(xí)收斂范圍步驟包含使用該預(yù)先定義的收斂范圍作為該所學(xué)收斂范圍的邊界條件。
10.如權(quán)利要求9所述的方法，其特征在于，該主動(dòng)學(xué)習(xí)收斂范圍步驟還包含響應(yīng)用戶交互使能增量學(xué)習(xí)，以自適應(yīng)更新該所學(xué)收斂范圍。
11.如權(quán)利要求10所述的方法，其特征在于，每個(gè)該輸出立體圖像對(duì)被配置來顯示在立體顯示裝置上顯示，該主動(dòng)學(xué)習(xí)收斂范圍步驟還包含當(dāng)接收到該用戶交互時(shí)，該增量學(xué)習(xí)根據(jù)用戶定義的該輸出立體圖像對(duì)的視差分布更新所學(xué)收斂范圍，該用戶交互為手動(dòng)調(diào)整顯示在該立體顯示裝置上的該輸出立體圖像對(duì)的視差分布。
12.如權(quán)利要求11所述的方法，其特征在于，該增量學(xué)習(xí)在更新所學(xué)收斂范圍之前，通過檢測(cè)該用戶定義 的該輸出立體圖像對(duì)的差異分布，進(jìn)一步去除異常值。
【文檔編號(hào)】H04N13/00GK104038751SQ201410077840
【公開日】2014年9月10日 申請(qǐng)日期:2014年3月5日 優(yōu)先權(quán)日:2013年3月7日
【發(fā)明者】鄭嘉珉 申請(qǐng)人:聯(lián)發(fā)科技股份有限公司