取像素后，參數(shù)調(diào)整可以用來改進(jìn)當(dāng)前選取的質(zhì)量。選取模 型的參數(shù)可以隨時變化以實現(xiàn)序列過程中選取的預(yù)想變化。
[0146] 步驟4深度選取蒙版調(diào)整
[0147] 步驟4的深度選取蒙版調(diào)整是美工可修改圖像蒙版和步驟3的深度選取蒙版以改 進(jìn)選取質(zhì)量，因此也改進(jìn)了蒙版應(yīng)用所創(chuàng)立的深度選取蒙版的質(zhì)量。在一些實施方案中，這 一步驟并非必須的，取決于步驟3生成的圖像蒙版和步驟5中加權(quán)位移的預(yù)想效果。這可以 像將圖像濾鏡應(yīng)用于弱化圖像邊緣一樣自動進(jìn)行。例如，噪點圖像選取圖可以造成圖像的 噪點位移，會造成視覺問題，破壞立體深度效果。在一些實施方案中，深度選取蒙版調(diào)整可 以和創(chuàng)建圖像蒙版一樣需要人工進(jìn)行。例如，含有位于蘋果樹前的紅色跑車的場景要求講 跑車移至前景中以此形成立體深度效果的不均等性。這也要求選取紅色跑車使其下一步可 進(jìn)行位移。然而，以顏色為基礎(chǔ)的選取可能還包含樹上的紅蘋果，盡管這些元素并不會和汽 車一起位移。圖像蒙版和深度選取蒙版在取消這種錯誤選取是可以被修改或應(yīng)用。
[0148] 在一些實施方案中，處理器302被編程命令為美工提供可以應(yīng)用圖形加工運算法 則的選擇。這些包括平滑濾波器，如標(biāo)準(zhǔn)高斯濾波器和以低通濾波器為基礎(chǔ)的頻域，盡管平 滑濾波器會在本步驟中使用。平滑濾波器的作用時減少選取效果不夠理想的蒙版里的尖銳 線條或邊緣。平滑濾波器可以被用于關(guān)閉高選取區(qū)域內(nèi)的強(qiáng)度不需要的低強(qiáng)度加權(quán)選取缺 口，反之亦然。、
[0149] 在一些實施方案中，形態(tài)操作，如非零加權(quán)選取值得縮小或放大同樣也由交界面 執(zhí)行。這些操作涉及到選區(qū)區(qū)域的擴(kuò)大或縮小，同樣也是移除圖像蒙版匯中缺口的有效工 具。任何形態(tài)操作的變動都可以應(yīng)用在此步驟中。在其他的實施方案中，交界面會提供濾波 器和運算符以便從圖像選取圖中移除噪點。這些包括邊緣濾波器，如中值濾波器，該濾波器 對于移除鹽點噪點和椒點噪點十分有效，也包括雙向濾波器，可以平滑噪點區(qū)域同時保留 邊緣信息。
[0150] 許多圖像操作技術(shù)可以通過交界面提供給美工，并將其應(yīng)用于此步驟中來修改步 驟3中的深度選取蒙版和圖像蒙版。此外，任何上述濾波器或技術(shù)都可被延伸來思考之前或 后來圖像選取圖中信息。例如，高斯平滑濾波器可被延伸至三維以便整合前面或后續(xù)畫面 中的像素信息。這一方法可被用來避免序列中鄰近圖像中任何深度選取蒙版的突然變化， 這些變化可能會造成最終立體像對序列中的明顯視覺手工點。
[0151] 圖7A描繪的是從立體像對中獲取的一張簡單圖像，圖7B描繪的是整張圖像進(jìn)行加 權(quán)選取后形成的首個深度選取蒙版。圖7B的填充圖片表示步驟3中的非選定區(qū)域。圖7C描繪 的是一張圖像蒙版，蒙版中的白色網(wǎng)格表示蒙版值為1.0的像素，填充部分為蒙版值為0.0 的像素。將這一逐像素蒙版和工作圖像重疊可形成圖7D中的新深度選取蒙版。
[0152]圖8A到圖8D描繪的是將圖像蒙版和梯度圖像重疊的實施方案。例如，圖8A描繪的 立體像對中可能的一幅圖像，圖8B描述的是加權(quán)選取圖像后形成的深度選取蒙版。圖8C說 明的是梯度圖像蒙版，其蒙版數(shù)值在由左往右從1.0慢慢下降至0.0。將逐像素梯度圖像和 選取蒙版重疊可形成圖8D所描繪的新圖像選取詳圖。
[0153] 這些蒙版或深度選取蒙版的創(chuàng)建取決于工作圖像和最終圖像選取圖的組合。圖像 蒙版可多次應(yīng)用于工作圖像，同一蒙版或后續(xù)步驟中的蒙版。本步驟中可將真實的數(shù)值分 配給蒙版中的每個像素，同時通過交界面呈現(xiàn)給美工。將一個圖像蒙版應(yīng)用于另一個圖像 蒙版并不僅限于重疊。任何數(shù)量的數(shù)學(xué)運算可以實現(xiàn)預(yù)想的效果，包括加、減、除等。應(yīng)用程 序也不一定只包括一個蒙版，它也可以是圖像重疊后的結(jié)果。
[0154] 這些蒙版的數(shù)值可以不斷變化或更改以實現(xiàn)預(yù)想的變化，這些變化將在數(shù)值被應(yīng) 用于圖像，圖像的分割和深度選取蒙版時產(chǎn)生效果。這也可以通過直接處理像素數(shù)值來實 現(xiàn)，盡管參數(shù)經(jīng)過交界面已為美工所獲取。在一些實施方案匯總，這一步也不是必須的，這 取決于步驟3和4中形成的圖像蒙版和深度選取蒙版的質(zhì)量。在這一后續(xù)流程中所使用的參 數(shù)可一直變化以實現(xiàn)預(yù)想變化。
[0155] 步驟5加權(quán)位移
[0156] 加權(quán)位移的目的是為了修改工作圖像，因而其所屬的立體圖像對可以展示感知立 體深度的不均等性。加權(quán)位移需要圖像選取圖，移動該圖只是的各元素。這一過程通過圖像 像素的位移而得以完成，該圖像像素有選取和分割蒙版數(shù)值進(jìn)行加權(quán)。
[0157] 例如，如圖9A至9D所描繪，為了創(chuàng)造不均等性，前景元素經(jīng)常會向左或向右移動， 和背景元素形成對比。圖9A中的汽車901被選取后形成了一幅圖像選取圖，隨后用運算符和 模糊器對其進(jìn)行修改，形成圖9C所示的深度選取蒙版902。深度選取蒙版向右位移后形成圖 9B，該圖被用作立體像對中的左眼圖像。圖9A和圖9B像匹配，均包含參考線903,因而觀看者 可以看到汽車明顯地向右移動。圖9D描繪的是圖像相許水平位移的度。由于圖像選取圖中 梯度效果，當(dāng)位移至背景中時，位移的光度更強(qiáng)。這模擬了在實際立體像對中可能會看到的 現(xiàn)象，距離相機(jī)更近的元素具有更大的不均等性，不均等性變小是，元素更加遠(yuǎn)離相機(jī)。需 要注意的是，沒有添加任何視覺信息，任何空白都可通過圖像的畸變或扭曲填充。當(dāng)圖像在 立體像對中重新組合時，圖像的分離與水平視差和
[0158] 封孔顯示相照應(yīng)，這是立體視圖感知中的兩個關(guān)鍵因素。對圖像進(jìn)行額外分割后， 進(jìn)一步的精細(xì)化，如將樹推后至背景中，更易執(zhí)行。垂直網(wǎng)格線903在圖像中被覆蓋，從而更 容易分辨出區(qū)別。要注意的是這一過程在右眼圖像中被執(zhí)行時，加權(quán)位移將向左移。
[0159] 圖10A至圖10J描繪的是由二維矢量場表現(xiàn)的圖像中一個像素定位向另一個像素 定位的位移。移動的大小通過每個像素的實際數(shù)值來調(diào)整。在一些實施方案中，預(yù)想結(jié)果是 以和步驟3中像素加權(quán)不同的方式更改圖像重新映射。每個像素定位的移動會形成一個新 的像素定位。新定位的數(shù)值會映射到當(dāng)前的像素。特別的，矢量場R 2-R2在每個像素定位(X， y)處有一個數(shù)值。圖I是一張映射圖I:R2-Rn，其中Rn是一個任意特性空間。在這一情況下，η =3,對于一個像素定位為(x，y)，3矢量值包括紅、綠和藍(lán)色空間值，盡管任意數(shù)量的特性可 在給定的像素處呈現(xiàn)，包括光溜或不同的色彩空間值。
[0160] 對于每個像素定位V(x，y)，二維矢量值(Vx，Vy)是存在的。這些矢量值和標(biāo)量蒙版 數(shù)值M(x，y)在相應(yīng)地點相乘后生成了矢量場:V' (1，7) = (\^，'\^)=]?(1，7)￥(1，7)。該矢量 場用來重新映射各圖像像素定位I(x，y)，根據(jù)(1，7)+疒（^ 7)復(fù)制數(shù)值而形成新的圖像1/ (x，y)。這一關(guān)系可以用下列公式描述：
[0161] I1(x，y) = I(x+v1，y+v1y)
[0162] 這一定位在像素樣本上可能不會減少，數(shù)值需要重建。在一些實施方案中，任何插 入格式都可以被使用，如雙線性插值，雙三次插值，線條等。在一個實施方案中，可使用簡單 的雙線性插值。由于立體圖像匯總的不均等性主要以水平方式展現(xiàn)，在一些實施方案中，矢 量場中的矢量有一個非零X，而y通常被設(shè)置為〇，但也并不是所有情況都是如此。矢量場可 以一直運動以實現(xiàn)在中心映射序列過程中實現(xiàn)預(yù)想變化。
[0163] 圖10和圖11描繪的是位移過程。圖10A至圖10J描繪的是位移對單個像素產(chǎn)生的效 果。圖10A展示了兩個不同像素的圖像和色彩。圖10B展示了像素的蒙版數(shù)值，而圖10C展示 了該像素處相應(yīng)地位移矢量。圖10D展示的是矢量點從原始位置，方形填充像素到其他圖像 中圖解的像素移動。圖10E展示的是位移步驟后的圖像像素值;也就是說，從指來的方形填 充區(qū)域的像素數(shù)值被矢量指向十字形填充區(qū)域的數(shù)值所取代。圖10A至圖10E說明的是由深 度選取值1. 〇所確定的矢量。圖10F至圖10J描繪的是有深度選取值0.5所確定的矢量。
[0164] 圖11A描繪了圖像I，圖11B描繪了有矢量(5，1)確定的矢量場。圖11C描繪的是被矢 量場覆蓋的圖像。圖11D描繪的是可能的選取蒙版，白色網(wǎng)格表示蒙版值為1.0,填充網(wǎng)格表 示蒙版值為〇. 〇。圖11E描繪的是將圖像蒙版或深度選取蒙版被應(yīng)用于工作圖像后被覆蓋的 矢量場。可以看到從像素定位的右半部分開始矢量消失。位移的應(yīng)用導(dǎo)致這些矢量值變?yōu)?零。圖11F進(jìn)一步描繪了矢量場位移執(zhí)行后的圖像。
[0165] 目前的流程使用深度選取蒙版和矢量場來決定圖像移動，從圖像中可以復(fù)制或拖 移資料之當(dāng)前定位;同樣也可能采取相反操作。在一些實施方案中，另一個蒙版可以和矢量 場共同作用從最初位置上提取出圖像信息。上述的詳細(xì)方法是可供使用的多種方法之一， 也闡釋了 一些實施方案操作此發(fā)明的方法。
[0166] 正如前面所述，交界面使美工得以創(chuàng)立一個統(tǒng)一的矢量場，主要通過指定一個二 維矢量來構(gòu)成該場，同時也選取一個蒙版或深度選取蒙版應(yīng)用于矢量場上。選取標(biāo)準(zhǔn)的砝 碼依比例決定實際移動值后形成了非統(tǒng)一的位移效果。但是，如果想要增加特定序列的預(yù) 想效果，這一步驟會涉及到更為復(fù)雜和多樣的矢量場。同時在一些實施方案中，交界面被修 改以對美工提供恰當(dāng)?shù)墓δ苄?，為矢量場的?chuàng)立和修改提供便利。本步驟中對矢量場作出 的調(diào)整會對立體像對的外觀迅速產(chǎn)生影響，使美工能迅速觀看并修改。
[0167] 為實現(xiàn)預(yù)想的立體效果，點那個步驟3至步驟5被重復(fù)多次后，被修改圖像的邊緣 周圍可能不會有像素信息。在有些情況下，這是有空無信息移動至圖像中造成的，且移動的 方式和圖5C中步驟1應(yīng)用初步轉(zhuǎn)換的方式類似。最終的圖像重新映射可在本步驟進(jìn)行，要么 重新植入空無信息，要么重調(diào)圖像尺寸或裁減圖像。
[0168] 在一個實施方案中，本步驟包含簡單的圖像裁減以消除圖像邊緣的空無信息。在 另一個實施方案中，簡單的圖像拉伸被應(yīng)用。在其他的實施方案中，基于圖像畸變的重新映 射也可被應(yīng)用。如此，任意數(shù)量的圖像轉(zhuǎn)換可以在本步驟應(yīng)用以補上遺失的信息。在一些實 施方案中，控制這些操作的參數(shù)有交界面提供，同時也會涉及到圖像轉(zhuǎn)換的交互調(diào)整。
[0169] 圖12描繪的是依據(jù)軟件界面形成的節(jié)點序列圖表。這樣的序列圖表可以在匯合過 程中在顯示器上交互展示，是美工可以看到原始圖像發(fā)生的變化。這種視覺說明極具優(yōu)勢， 因為每個加工節(jié)點嗲表實施方案中各個步驟的程序命令。這些命令可以是自動的，或者節(jié) 點可以為美工提供一個輸入框以便選取需要使用的參數(shù)或流程。
[0170] 如圖12所示，畫面1201選取自單目圖像序列，流程也是從該畫面開始。使用本文所 述的交界面后，步驟1的轉(zhuǎn)換操作通過首個加工節(jié)點1202的形成而運行。在這一步驟中，變 換算符用來復(fù)制原始圖像從而形成一個立體圖像對，使轉(zhuǎn)換后的左眼圖像1203同右眼圖像 1204-起工作。流線控制由兩個分支形成，分別為左眼圖像和右眼圖像服務(wù)。在這一例子 中，運算符在本步驟的使用是為了裁剪圖像。
[0171] 第二個加工節(jié)點1205的形成是為了將步驟2中的徑向畸變應(yīng)用于第一分支的左眼 圖像1203.這一畸變步驟和隨后的步驟可能會被應(yīng)用于右眼圖像分支，但是，為了直觀效 果，只能對左眼圖像1203進(jìn)行進(jìn)一步的處理。
[0172] 在第二個加工節(jié)點1205中，左眼圖像1203形成了和第三個加工節(jié)點1206(光度蒙 版)和第四個加工節(jié)點1207(色度蒙版)相連的流水線，從而應(yīng)用步驟3和4的圖像蒙版來選 取圖像的部分區(qū)域，該圖像的深度醬油深度選取蒙版進(jìn)行調(diào)節(jié)。第一個圖像蒙版的選取是 為了用光度完成圖像元素的加權(quán)選取?；趫D像的色獨特性，第一個圖像蒙版的輸出結(jié)果 以類似的方式通過流水線被傳輸給第二個圖像蒙版。這兩個節(jié)點共同作用使用戶可以確定 圖像的光度和色彩范圍，創(chuàng)造一個深度選取蒙版。應(yīng)當(dāng)注意的是，任意數(shù)量的選取參數(shù)，包 括光度，色度或其他運算符，可能是加工節(jié)點內(nèi)的參數(shù)，或者多個參數(shù)需要使用多個加工節(jié) 點。
[0173] 在這一例子中，第一個運算符1208( "多邊形Γ )和第二個運算符1209( "多邊形2"） 被應(yīng)用于第四個加工節(jié)點1207( "色度蒙版"）。如步驟4所示，這些運算符使用戶可以通過畫 多邊形的形狀來排除需要加工的圖像部分，用圖像蒙版限定來修改蒙版。需要注意的是，這 些加工運算符可能被作為特定加工節(jié)點里的運算符進(jìn)行運行，或者他們在單個的加工節(jié)點 里運行。
[0174]在第五個加工節(jié)點1210中，深度選取蒙版被應(yīng)用于左眼工作圖像1203,且根據(jù)步 驟5進(jìn)行加權(quán)矢量位移，依據(jù)本文中的實施方案取得深度代。
[0175] 左眼圖像可能會經(jīng)過一個或多個選取和位移過程(例如，節(jié)點1211和節(jié)點1212)。 有些可能要求進(jìn)一步的蒙版調(diào)整，有些則不用。值得注意的是，先前的加工步驟可能會被完 全復(fù)制，或者在復(fù)制后進(jìn)行調(diào)整，以整合進(jìn)入圖像加工流水線的后續(xù)流程。
[0176] 最終，左眼圖像被輸送到輸出加工節(jié)點1213，右眼圖像1204被輸送到輸出加工節(jié) 點1214.這些輸出加工節(jié)點將輸出項書寫在記憶棒1215,如磁盤或其他各種形式的存儲媒 體。在一些實施方案中，左眼圖像和右眼圖像含有一個時間信號，所以在用立體視圖設(shè)備觀