實況視頻的實時照片修飾的制作方法
【專利摘要】本發(fā)明涉及實況視頻的實時照片修飾。提供了用于執(zhí)行以下操作的技術(shù)：處理多個視頻幀的子集以產(chǎn)生所述子集的每個幀內(nèi)的特定元素的3D模型；處理所述多個視頻幀以識別所述多個幀中的每個幀中的特定元素內(nèi)的特定特征，其中，所述特定特征顯現(xiàn)以產(chǎn)生所述元素的多個實例，所述多個實例中的每個實例與所述多個幀中的對應(yīng)幀相關(guān)聯(lián)；根據(jù)用戶定義的參數(shù)并依照所述3D模型來修改所述多個實例中的每個實例，以生成多個修改的實例；以及將所述多個實例中的每個實例在所述多個幀中的對應(yīng)幀中替換為對應(yīng)的修改的實例，以產(chǎn)生修改的視頻文件。
【專利說明】實況視頻的實時照片修飾
【技術(shù)領(lǐng)域】
[0001]要求保護(hù)的主題一般地涉及圖像修改，更具體而言，涉及對實況視頻圖像的動態(tài)修飾。
【背景技術(shù)】
[0002]對數(shù)字圖像操縱以使圖像更有吸引力在廣告和娛樂領(lǐng)域是眾所周知的。人面部和身體通常是這樣的“照片修飾”或簡單“修飾”的目標(biāo)。盡管修飾曾經(jīng)是專門地由專業(yè)人員或“修飾美工”執(zhí)行的，但是，該過程近年已經(jīng)變得自動化并由計算設(shè)備執(zhí)行。這樣的自動化照片修飾可以是傳統(tǒng)的化妝、發(fā)型和照明專家的補(bǔ)充或替代品。
[0003]在計算系統(tǒng)中，可以根據(jù)特定“擬合”準(zhǔn)則(諸如，但不限于，有關(guān)尺寸和顏色的規(guī)則)，自動地檢測、測量和修改面部。在視頻圖像的情況下，多個幀可能需要修改，以使變化在特定巾貞序列中的連續(xù)多巾貞中保持一致。

【發(fā)明內(nèi)容】

[0004]提供了用于執(zhí)行下列操作的技術(shù):處理多個視頻幀的子集以產(chǎn)生所述子集的每個幀內(nèi)的特定元素的3D模型；處理所述多個視頻幀以識別所述多個幀中的每個幀中的所述特定元素內(nèi)的特定特征，其中，所述特定特征看起來產(chǎn)生所述元素的多個實例，所述多個實例中的每個實例與所述多個幀中的對應(yīng)幀相關(guān)聯(lián)；根據(jù)用戶定義的參數(shù)并依照所述3D模型來修改所述多個實例中的每個實例，以生成多個修改的實例；以及將所述多個實例中的每個實例替換為所述多個幀中的所述對應(yīng)幀中的對應(yīng)的修改的實例，以產(chǎn)生修改的視頻文件。
[0005]此
【發(fā)明內(nèi)容】
并不是要作為要求保護(hù)的主題的全面描述，相反，而是要提供與其相關(guān)聯(lián)的某些功能的簡短概述。本領(lǐng)域技術(shù)人員在查閱了下面的詳細(xì)描述和附圖之后，要求保護(hù)的主題的其他系統(tǒng)、方法、功能、特征以及優(yōu)點將顯而易見變得顯而易見。
【專利附圖】

【附圖說明】
[0006]當(dāng)結(jié)合下面的附圖考慮公開的實施例的下面的詳細(xì)描述時可以獲得對要求保護(hù)的主題的更好的理解，在附圖中:
[0007]圖1是可以實現(xiàn)要求保護(hù)的主題的視頻捕捉和編輯架構(gòu)(Video Capture andEditing, VCEA)。
[0008]圖2是可以實現(xiàn)要求保護(hù)的主題的自動照片修飾系統(tǒng)(Automatic PhotographRetouching System, APRS)的框圖。
[0009]圖3是可以實現(xiàn)要求保護(hù)的主題的各方面的“修改視頻”過程的流程圖的示例。
[0010]圖4是可以實現(xiàn)要求保護(hù)的主題的各方面的“對幀建?！边^程的流程圖的示例。
[0011]圖5是根據(jù)要求保護(hù)的主題可以被分析和修改的視頻幀的一個示例。
[0012]圖6是基于圖5中首先引入的視頻幀在根據(jù)要求保護(hù)的主題的修改之后的修改的視頻幀。
【具體實施方式】
[0013]所屬【技術(shù)領(lǐng)域】的技術(shù)人員知道，本發(fā)明的各個方面可以實現(xiàn)為系統(tǒng)、方法或計算機(jī)程序產(chǎn)品。因此，本發(fā)明的各個方面可以具體實現(xiàn)為以下形式，即:完全的硬件實施方式、完全的軟件實施方式(包括固件、駐留軟件、微代碼等)，或硬件和軟件方面結(jié)合的實施方式，這里可以統(tǒng)稱為〃電路"、〃模塊〃或〃系統(tǒng)"。此外，在一些實施例中，本發(fā)明的各個方面還可以實現(xiàn)為在一個或多個計算機(jī)可讀介質(zhì)中的計算機(jī)程序產(chǎn)品的形式，該計算機(jī)可讀介質(zhì)中包含計算機(jī)可讀的程序代碼。
[0014]可以采用一個或多個計算機(jī)可讀介質(zhì)的任意組合。計算機(jī)可讀介質(zhì)可以是計算機(jī)可讀信號介質(zhì)或者計算機(jī)可讀存儲介質(zhì)。計算機(jī)可讀存儲介質(zhì)例如可以是一但不限于——電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合。計算機(jī)可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個或多個導(dǎo)線的電連接、便攜式計算機(jī)盤、硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPR0M或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。在本文件中，計算機(jī)可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。
[0015]計算機(jī)可讀的信號介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號，其中承載了計算機(jī)可讀的程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式，包括——但不限于——電磁信號、光信號或上述的任意合適的組合。計算機(jī)可讀的信號介質(zhì)還可以是計算機(jī)可讀存儲介質(zhì)以外的任何計算機(jī)可讀介質(zhì)，該計算機(jī)可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序。
[0016]計算機(jī)可讀介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括一但不限于一無線、有線、光纜、RF等等，或者上述的任意合適的組合。
[0017]可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本發(fā)明操作的計算機(jī)程序代碼，所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言一諸如Java、Smalltalk、C++等，還包括常規(guī)的過程式程序設(shè)計語言一諸如"C"語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算機(jī)上執(zhí)行、部分地在用戶計算機(jī)上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算機(jī)上部分在遠(yuǎn)程計算機(jī)上執(zhí)行、或者完全在遠(yuǎn)程計算機(jī)或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計算機(jī)的情形中，遠(yuǎn)程計算機(jī)可以通過任意種類的網(wǎng)絡(luò)一包括局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)—連接到用戶計算機(jī)，或者，可以連接到外部計算機(jī)(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。
[0018]下面將參照根據(jù)本發(fā)明實施例的方法、裝置(系統(tǒng))和計算機(jī)程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明。應(yīng)當(dāng)理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由計算機(jī)程序指令實現(xiàn)。這些計算機(jī)程序指令可以提供給通用計算機(jī)、專用計算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器，從而生產(chǎn)出一種機(jī)器，使得這些計算機(jī)程序指令在通過計算機(jī)或其它可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時，產(chǎn)生了實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的裝置。
[0019]也可以把這些計算機(jī)程序指令存儲在計算機(jī)可讀介質(zhì)中，這些指令使得計算機(jī)、其它可編程數(shù)據(jù)處理裝置、或其他設(shè)備以特定方式工作，從而，存儲在計算機(jī)可讀介質(zhì)中的指令就產(chǎn)生出包括實現(xiàn)流程圖和/或框圖中的一個或多個方框中規(guī)定的功能/動作的指令的制造品(article of manufacture)0
[0020]計算機(jī)程序指令還可以加載到計算機(jī)、其他可編程數(shù)據(jù)處理設(shè)備或其他設(shè)備上，以使一系列操作動作在計算機(jī)、其他可編程設(shè)備或其他設(shè)備上執(zhí)行，以產(chǎn)生計算機(jī)實現(xiàn)的過程，以便在計算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖和/或框圖的框中指定的功能/動作的過程。
[0021]現(xiàn)在轉(zhuǎn)向附圖，圖1是可以在其上實現(xiàn)要求保護(hù)的主題的視頻捕捉和編輯架構(gòu)(VCEA)IOO。計算系統(tǒng)102包括耦接到顯示器106、鍵盤108和定點設(shè)備或“鼠標(biāo)”110的中央處理單元(CPU) 104，顯示器106、鍵盤108和定點設(shè)備或“鼠標(biāo)” 110 —起促進(jìn)人與VCEA100和計算系統(tǒng)102的交互。包括在計算系統(tǒng)102中并且附接到CPU104的還有計算機(jī)可讀存儲介質(zhì)(CRSM)112，該計算機(jī)可讀存儲介質(zhì)112可以包括到客戶端系統(tǒng)102(S卩，內(nèi)部設(shè)備)中，或者借助各種通?？捎玫倪B接設(shè)備(諸如但不限于，通用串行總線(USB)端口(未示出))，從外部附接到CPU104。CRSMl 12被示出為存儲操作系統(tǒng)(OS ) 114和包括要求保護(hù)的主題的自動照片修飾系統(tǒng)(APRS) 116。在下面將結(jié)合圖2-6更詳細(xì)地描述APRS116。
[0022]在此示例中，計算系統(tǒng)102和CPU104連接到因特網(wǎng)120，因特網(wǎng)120還連接到服務(wù)器計算機(jī)或簡稱“服務(wù)器” 122。雖然在此示例中，計算系統(tǒng)102和服務(wù)器122通過因特網(wǎng)120可通信地耦接，它們也可以通過任意數(shù)量的通信介質(zhì)(諸如，但不限于，局域網(wǎng)(LAN)(未示出))來耦接。CRSM124耦接到服務(wù)器122。通常，服務(wù)器122還將包括CPU、顯示器、鍵盤和鼠標(biāo)，與104，106，108和110—樣，但是為了簡單起見，未示出它們。
[0023]VCEA100中還包括了被示出為具有到因特網(wǎng)120的無線連接128的攝像機(jī)126。無線連接128被用作將由攝像機(jī)126捕捉的視頻文件傳輸?shù)街T如計算系統(tǒng)100和服務(wù)器122的其他設(shè)備的手段的一個示例。本領(lǐng)域技術(shù)人員將理解，它們是許多傳輸設(shè)備，諸如但不限于，記憶棒和線纜。攝像機(jī)126被用作除計算系統(tǒng)102和服務(wù)器122以外也可以包括如下結(jié)合APRS116所描述的公開的技術(shù)的設(shè)備的例子。可以包括要求保護(hù)的主題的未示出的其他設(shè)備，或許結(jié)合內(nèi)置的視頻記錄設(shè)備，包括但不限于平板計算機(jī)和智能電話。此外，應(yīng)該注意，有許多可能的視頻捕捉和編輯架構(gòu)和配置，其中，VCEA100只是一個簡單示例。此外，要求保護(hù)的主題不一定必須在捕捉視頻的設(shè)備上實現(xiàn)，因為公開的技術(shù)還適用于只處理由其他設(shè)備捕捉的視頻文件的設(shè)備。
[0024]圖2是更詳細(xì)地示出了首先在圖1中引入的APRS116的框圖。APRS116包括輸入/輸出(I/O)模塊140、數(shù)據(jù)模塊142、特征檢測模塊(FDM) 144、特征跟蹤模塊(FTM) 146、建模模塊148和修改和呈現(xiàn)模塊(MRM) 150。為了下面的示例，假設(shè)APRSl 16存儲在CRSMl 12(圖1)中，并在計算系統(tǒng)102 (圖1)的一個或多個處理器(未示出)上執(zhí)行。應(yīng)該理解，要求保護(hù)的主題可以在許多類型的計算系統(tǒng)和視頻捕捉和存儲系統(tǒng)中實現(xiàn)，但是，為簡單起見，只針對APRS116 (圖1)和計算系統(tǒng)102進(jìn)行描述。例如，APRS116可以被配置成存儲在服務(wù)器122 (圖1)和攝像機(jī)126 (圖1)上并在它們上面執(zhí)行。
[0025]此外，圖2中的APRS116的表示是邏輯模型。換言之，組件140、141、142、144、146、148和150可以存儲在相同或單獨的文件中，并作為單個系統(tǒng)或者作為通過任何可用的進(jìn)程間通信(IPC)技術(shù)進(jìn)行交互的單獨的進(jìn)程，加載到架構(gòu)100、計算系統(tǒng)102、服務(wù)器122或攝像機(jī)126內(nèi)和/或在那里執(zhí)行。
[0026]輸入/輸出(I/O)模塊140處理APRSl 16與APRSl 16的其他組件以及計算系統(tǒng)102進(jìn)行的任何通信。I/o模塊140中包括圖形用戶接口(⑶I) 141。⑶1141使APRS116的用戶能夠與APRS116的希望功能進(jìn)行交互并對APRSl 16的希望功能進(jìn)行定義。
[0027]數(shù)據(jù)模塊142是信息的數(shù)據(jù)儲存器，信息包括APRS116在正常操作期間需要的模型和參數(shù)。存儲在數(shù)據(jù)模塊142中的信息的類型的示例包括模型數(shù)據(jù)152、建模規(guī)則154和操作參數(shù)156。模型數(shù)據(jù)152存儲3D模型模板和由APRSl 16所生成的3D模型(有時基于模板)。例如，可能有用于基于類似的選擇的模板的修改，以視頻文件內(nèi)檢測到的特定頭部的模型來呈現(xiàn)人頭部的各種模板。在整個說明書中，主要示例將是人頭部和面部特征的建模和呈現(xiàn)，但是應(yīng)該理解，所公開的技術(shù)同樣適用于其他視頻元素。
[0028]建模規(guī)則154存儲用于針對存儲在模型數(shù)據(jù)152中的模型外推數(shù)據(jù)的各種算法。除各種幾何規(guī)則之外，另外的規(guī)則可包括，但不限于，面部特征之間的距離的比率，由于諸如眼睛、鼻子和嘴的面部特征的角度以及到該面部特征的距離而用于校正的規(guī)則。附加規(guī)則可以應(yīng)用于對應(yīng)于模型的3D網(wǎng)格的變形(例如，塑性變形)，或應(yīng)用于單個像素的、取決于照明、角度及其他標(biāo)準(zhǔn)(例如，化妝品和皮膚拋光)的顏色。操作參數(shù)156存儲用于控制APRSl 16的用戶設(shè)置的參數(shù)。示例包括但不限于:變化或輸入的分辨率(例如，像素/英寸)、用于建立3D網(wǎng)格的幀的數(shù)量、以及用于尋址缺少的像素和特征-去除的過程的特定算法的指示。
[0029]FDM144處理圖像以檢測圖像內(nèi)的特定的定義的特征。例如，可以指示FDM144檢測并存儲與視頻文件的圖像中的面部的存在有關(guān)的數(shù)據(jù)(參見310，圖5和6)?？梢詸z測用于處理的其他類型的特征包括但不限于:衣服、車輛和建筑元素。
[0030]FTM146生成由FDM144檢測到的特征的逐幀相關(guān)。麗148使用來自FDM144和FTM146的數(shù)據(jù)，生成識別的并跟蹤的特征的3D模型(參見330，圖6)。雖然可以基于有關(guān)特定特征的假設(shè)從單個視頻幀外推模型，但是，可以從顯示不同視角的附加圖像中獲取更準(zhǔn)確的模型。生成模型所使用的圖像的具體數(shù)量可以由用戶定義(參見156)。如上所述，生成的模型被存儲在模型152中。
[0031]MRM150根據(jù)建模規(guī)則154、操作參數(shù)156和對應(yīng)的模型152，修改由FDM144識別的并由FTM146跟蹤的特征。在下面結(jié)合圖3-6更詳細(xì)地描述組件142、144、146、148、150、152,154 和 156。
[0032]圖3是可以實現(xiàn)要求保護(hù)的主題的各方面的“修改視頻”過程200的流程圖的示例。在這個例子中，過程200與和APRS116協(xié)同存儲在CRSM112(圖1)上并在計算系統(tǒng)102的CPU104的一個或多個處理器(未示出)上執(zhí)行的邏輯相關(guān)聯(lián)。應(yīng)該理解，計算系統(tǒng)102只是可以實現(xiàn)要求保護(hù)的主題的設(shè)備的一個示例。
[0033]過程200在“開始修改視頻”框202開始，并立即進(jìn)行到“接收視頻”框204。在與框204相關(guān)聯(lián)的處理期間，接收用于處理的視頻文件。雖然是針對視頻文件的批處理來描述的，但是應(yīng)該理解，也可以逐幀地(即，串行地)處理所公開的技術(shù)的各方面。在與“接收指令”框206相關(guān)聯(lián)的處理期間，檢索要應(yīng)用于在與框204相關(guān)聯(lián)的處理期間接收到的視頻文件的特定修改和操作參數(shù)156 (圖2)。可以從對應(yīng)于特定視頻文件的或通過⑶1141 (圖
2)從用戶交互地收集到的批處理文件接收這樣的指令。[0034]在與“對幀建模”208相關(guān)聯(lián)的處理期間，識別(參見FDM144，圖2)，跟蹤(參見FTM146，圖2)并建模(參見麗148，圖2)在與框206相關(guān)聯(lián)的處理期間接收到的指令中識別的一個或多個特定特征。如以上結(jié)合圖2所述，可以利用操作參數(shù)來定義在建模過程中使用的圖像的具體數(shù)量。在下面結(jié)合圖4的“對幀建模”過程250更詳細(xì)地描述“對幀建?！笨?208。
[0035]在與“獲取下一幀”框210相關(guān)聯(lián)的處理期間，識別用于處理的下一幀。通常，在第一次通過框210期間，包括作為修改目標(biāo)的特征的第一個幀是該下一幀。在與“識別特征”框212相關(guān)聯(lián)的處理期間，在與框210相關(guān)聯(lián)的處理期間檢索到的幀中識別作為修改目標(biāo)的一個或多個特定特征。在與“修改特征”框214相關(guān)聯(lián)的處理期間，根據(jù)在與框206相關(guān)聯(lián)的處理期間接收的指令，修改在與框212相關(guān)聯(lián)的處理期間識別的一個或多個特征。一旦被修改，幀被保存在原始文件或者修改的視頻文件中。
[0036]在與“有更多幀？ ”框216相關(guān)聯(lián)的處理期間，確定是否有更多幀要處理。如果有，則控制返回到框210，檢索下一幀，并且處理如上所述地繼續(xù)。應(yīng)該注意，特定特征可能出現(xiàn)在非連續(xù)的幀中，即，視頻文件中的多個時間間隔中。在該情況下，所述下一幀可能不是視頻文件中的下一幀，而是視頻文件中的包括識別的一個或多個特征的下一幀。如果在框216期間確定沒有更多幀要處理，則控制進(jìn)行到“結(jié)束修改視頻”框219，在框219中過程200完成。
[0037]圖4是可以實現(xiàn)要求保護(hù)的主題的各方面的“對幀建?！边^程250的流程圖的示例。與過程200 (圖3)—樣，在此示例中，過程250與和APRS116協(xié)同存儲在CRSM112 (圖1)上并在計算系統(tǒng)102的CPU104的一個或多個處理器(未示出)上執(zhí)行的邏輯相關(guān)聯(lián)。使用對人面部的建模作為示例來描述圖4，但是應(yīng)該理解，其他類型的特征使用類似的技術(shù)。
[0038]過程250在“開始對幀建?！笨?52開始，并立即進(jìn)行到“獲取開頭N個幀”框254。在與框254相關(guān)聯(lián)的處理期間，檢索對應(yīng)于要修改的視頻文件的指定數(shù)量的幀。指定數(shù)量“N”可以借助在處理期間計算出的用戶定義的參數(shù)(參見156，圖2)來指定，以確保指定的精度。如本領(lǐng)域技術(shù)人員所公知，在與框254和256相關(guān)聯(lián)的處理期間使用的幀越多，即，“N”的值越高，可以生成的表示越準(zhǔn)確。例如，從一個幀生成3D模型需要許多有關(guān)特定特征的形狀的假設(shè)。如果使用從多個角度和視角示出了特征的多個幀，則需要較少的假設(shè)，且得到的3D模型通常更準(zhǔn)確。
[0039]在與“獲取幀”框256相關(guān)聯(lián)的處理期間，識別在與框254相關(guān)聯(lián)的處理期間選擇的幀中的一個，用于處理。通常，按時間順序來處理幀，因此，在第一次循環(huán)通過框256期間，選擇的第一幀是最早捕捉到的幀。在與“識別元素”框258相關(guān)聯(lián)的處理期間，在此示例中，通過運行本領(lǐng)域技術(shù)人員公知的并且甚至在消費者級產(chǎn)品(諸如照像機(jī))中當(dāng)前執(zhí)行的面部檢測算法，來檢測人面部存在和位置(參見144，圖2)。保存收集到的信息，用于后續(xù)處理。
[0040]在與“有更多幀？ ”框260相關(guān)聯(lián)的處理期間，確定在與框254相關(guān)聯(lián)的處理期間識別的所有幀是否已被處理。如果沒有，則處理返回到框256，選擇下一未處理的幀，處理如上所述地繼續(xù)。如果都已處理，則控制進(jìn)行到“使幀元素相關(guān)”框262。在與框262相關(guān)聯(lián)的處理期間，逐個幀地使在與框258相關(guān)聯(lián)的處理期間識別的元素的實例相關(guān)(參見146，圖2)。例如，可以通過運行特征跟蹤算法(當(dāng)前用于公共區(qū)域的安全監(jiān)視)，來跟蹤對應(yīng)于每個幀中的面部的實例之間的差異的、幀之間的面部的移動。
[0041]在與“建立并保存3D模型”框264相關(guān)聯(lián)的處理期間，在與框258相關(guān)聯(lián)的處理期間識別的并在與框262相關(guān)聯(lián)的處理起降被相關(guān)的元素被用來生成要修改的特定特征的3D模型(參見148，圖2)。面部檢測算法可以將特定面部圖像映射到給定列表的已知面部中的一個，這是當(dāng)搜索調(diào)查數(shù)據(jù)庫時當(dāng)前執(zhí)行的。對一個或多個圖像(即，N個圖像)運行3D網(wǎng)格重構(gòu)算法，以創(chuàng)建面部的虛擬3D表示。從這種處理獲得準(zhǔn)確的輸出的可行性通過有關(guān)我們正在重建的3D模型的任何預(yù)備信息(例如，該特征被知道是人頭部)而得到幫助。在系統(tǒng)內(nèi)創(chuàng)建目標(biāo)的3D模型，該3D模型可以包括3D網(wǎng)格和與表面的每個“像素”對應(yīng)的顏色?？梢蕴幚眍伾詸z測陰影區(qū)，例如，帶有橫向光的鼻子將在面部產(chǎn)生陰影。最終模型通常包括3D結(jié)構(gòu)、表面顏色和照明信息。
[0042]一旦3D建模已完成，模型保存在用于圖像修改的模型152 (圖2)中(參見200，圖
3)。最后，控制進(jìn)行到“結(jié)束對幀建模”框269，在框269中處理250完成。
[0043]圖5是根據(jù)要求保護(hù)的主題可以被分析和修改的顯示器106 (圖1)上顯示的視頻幀300的一個示例。顯示器106包括開始按鈕302和對應(yīng)于正在執(zhí)行的APRS過程的應(yīng)用按鈕或“APRS”304。諸如按鈕302和304的按鈕對于那些有基于窗口的圖形用戶界面(⑶I)經(jīng)驗的人是熟悉的。
[0044]幀300正在顯示帶有面部308的人物306。元素ID框312隔離一個或多個元素，在該示例中是面部308和頭發(fā)310，用于根據(jù)要求保護(hù)的主題的分析和修改。如以上結(jié)合圖3和4所述，在諸如幀300的幀的分析期間，生成所選元素的3D模型。根據(jù)當(dāng)前技術(shù)，生成面部308的3D建模網(wǎng)格314以促進(jìn)建模過程。
[0045]圖6是基于圖5中首先引入的視頻幀300在根據(jù)要求保護(hù)的主題的修改之后并顯示在顯示器106 (圖1和5)上的修改的視頻幀320。類似于幀300，幀320顯示帶有面部308的人物306。顯示器106也包括按鈕302和304 (圖5)。
[0046]元素ID框328選擇了用于修改的特定元素。在此示例中，修改頭發(fā)310 (圖4)的顏色，以產(chǎn)生頭發(fā)322，并向面部308添加了眼鏡324。應(yīng)該理解，頭發(fā)322和眼鏡324只是根據(jù)要求保護(hù)的主題的可以修改的面部308上的特征的兩個示例。其他示例包括但不限于:改變諸如嘴或鼻子的特征的大小或形狀，添加或去除諸如斑痕或紋身的特征。
[0047]本文使用的術(shù)語只是為了描述特定實施例的目的，而不是要限制本發(fā)明。本文使用的單數(shù)形式“一個”也意圖包括復(fù)數(shù)形式，除非上下文明確地指出不是這樣。還應(yīng)該進(jìn)一步理解，術(shù)語“包括”和/或“包含”當(dāng)在本說明中使用時指定聲稱的特征、整數(shù)、步驟、操作、元件和/或組件的存在，但是不排除一個或多個其他特征、整數(shù)、步驟、操作、元件、組件或其組合的存在或添加。
[0048]下面的權(quán)利要求中的所有裝置或步驟加功能元素的對應(yīng)結(jié)構(gòu)、材料、動作以及等同物意圖包括用于與具體主張的其他要求保護(hù)的元素相結(jié)合地執(zhí)行功能的任何結(jié)構(gòu)、材料或動作。僅出于例示和說明的目的提供本發(fā)明的描述，而不是意圖窮盡或?qū)⒈景l(fā)明限于所公開的形式。對于本領(lǐng)域技術(shù)人員而言，在不偏離本發(fā)明的范圍和精神的情況下，許多修改和變更是明顯的。選擇和描述實施例是為了最好地說明本發(fā)明的原理和實際應(yīng)用，并使本領(lǐng)域其他技術(shù)人員能夠理解本發(fā)明的帶有適于構(gòu)想的特定用途的修改的各種實施例。
[0049]附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個實施例的系統(tǒng)、方法和計算機(jī)程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應(yīng)當(dāng)注意，在有些作為替換的實現(xiàn)中，方框中所標(biāo)注的功能也可以以不同于附圖中所標(biāo)注的順序發(fā)生。例如，兩個連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機(jī)指令的組合來實現(xiàn)。
【權(quán)利要求】
1.一種方法，包括: 處理多個視頻幀的子集以產(chǎn)生所述子集的每個幀內(nèi)的特定元素的3D模型； 處理所述多個視頻幀以識別所述多個幀中的每個幀中的所述特定元素內(nèi)的特定特征，其中，所述特定特征顯現(xiàn)以產(chǎn)生所述元素的多個實例，所述多個實例中的每個實例與所述多個幀中的對應(yīng)幀相關(guān)聯(lián)； 根據(jù)用戶定義的參數(shù)并依照所述3D模型來修改所述多個實例中的每個實例，以生成多個修改的實例；以及 將所述多個實例中的每個實 例在所述多個幀中的對應(yīng)幀中替換為對應(yīng)的修改的實例，以產(chǎn)生修改的視頻文件。
2.如權(quán)利要求1所述的方法，其中，處理所述多個視頻幀的子集以產(chǎn)生3D模型，包括: 識別幀的所述子集中的每個幀中的識別特征；以及 在幀的所述子集中逐幀地跟蹤所述識別特征，以產(chǎn)生幀的所述子集中的連續(xù)幀中的對應(yīng)識別特征之間的相關(guān)。
3.如權(quán)利要求1所述的方法，其中，所述子集中的幀的具體數(shù)量基于用戶定義的參數(shù)。
4.如權(quán)利要求1所述的方法，其中，所述特征是人面部。
5.如權(quán)利要求1所述的方法，其中，所述特征是一件衣服。
6.如權(quán)利要求1所述的方法，還包括在顯示器上呈現(xiàn)所述修改的視頻文件。
7.—種設(shè)備,包括: 處理器； 耦接到處理器的計算機(jī)可讀存儲介質(zhì)；以及 存儲在計算機(jī)可讀存儲介質(zhì)上并在處理器上執(zhí)行的邏輯，其用于: 處理多個視頻幀的子集以產(chǎn)生所述子集的每個幀內(nèi)的特定元素的3D模型； 處理所述多個視頻幀以識別所述多個幀中的每個幀中的所述特定元素內(nèi)的特定特征，其中，所述特定特征顯現(xiàn)以產(chǎn)生所述元素的多個實例，所述多個實例中的每個實例與所述多個幀中的對應(yīng)幀相關(guān)聯(lián)； 根據(jù)用戶定義的參數(shù)并依照所述3D模型來修改所述多個實例中的每個實例，以生成多個修改的實例；以及 將所述多個實例中的每個實例在所述多個幀中的對應(yīng)幀中替換為對應(yīng)的修改的實例，以產(chǎn)生修改的視頻文件。
8.如權(quán)利要求7所述的設(shè)備，其中，所述用于處理所述多個視頻幀的所述子集以產(chǎn)生3D模型的邏輯，包括用于執(zhí)行以下操作的邏輯: 識別幀的所述子集中的每個幀中的識別特征；以及 在幀的所述子集中逐幀地跟蹤所述識別特征，以產(chǎn)生幀的所述子集中的連續(xù)幀中的對應(yīng)識別特征之間的相關(guān)。
9.如權(quán)利要求7所述的設(shè)備，其中，所述子集中的幀的具體數(shù)量基于用戶定義的參數(shù)。
10.如權(quán)利要求7所述的設(shè)備，其中，所述特征是人面部。
11.如權(quán)利要求7所述的設(shè)備，其中，所述特征是一件衣服。
12.如權(quán)利要求7所述的設(shè)備，所述邏輯還包括用于在顯示器上呈現(xiàn)所述修改的視頻文件的邏輯。
13.一種攝像機(jī)，包括: 處理器； 耦接到處理器的計算機(jī)可讀存儲介質(zhì)；以及 存儲在計算機(jī)可讀存儲介質(zhì)上并在處理器上執(zhí)行的邏輯，其用于: 處理多個視頻幀的子集以產(chǎn)生所述子集的每個幀內(nèi)的特定元素的3D模型； 處理所述多個視頻幀以識別所述多個幀中的每個幀中的所述特定元素內(nèi)的特定特征，其中，所述特定特征顯現(xiàn)以產(chǎn)生所述元素的多個實例，所述多個實例中的每個實例與所述多個幀中的對應(yīng)幀相關(guān)聯(lián)； 根據(jù)用戶定義的參數(shù)并依照所述3D模型來修改所述多個實例中的每個實例，以生成多個修改的實例；以及 將所述多個實例中的每個實例在所述多個幀中的對應(yīng)幀中替換為對應(yīng)的修改的實例，以產(chǎn)生修改的視頻文件。
14.如權(quán)利要求13所述的攝像機(jī)，其中，所述用于處理所述多個視頻幀的所述子集以產(chǎn)生3D模型的邏輯，包 括用于執(zhí)行以下操作的邏輯: 識別幀的所述子集中的每個幀中的識別特征；以及 在幀的所述子集中逐幀地跟蹤所述識別特征，以產(chǎn)生幀的所述子集中的連續(xù)幀中的對應(yīng)識別特征之間的相關(guān)。
15.如權(quán)利要求13所述的攝像機(jī)，其中，所述子集中的幀的具體數(shù)量基于用戶定義的參數(shù)。
16.如權(quán)利要求13所述的攝像機(jī)，其中，所述特征是人面部。
17.如權(quán)利要求13所述的攝像機(jī)，其中，所述特征是一件衣服。
18.如權(quán)利要求13所述的攝像機(jī)，所述邏輯還包括用于在顯示器上呈現(xiàn)所述修改的視頻文件的邏輯。
【文檔編號】G06T17/00GK103927161SQ201410016512
【公開日】2014年7月16日 申請日期:2014年1月15日 優(yōu)先權(quán)日:2013年1月15日
【發(fā)明者】M·E·卡斯泰拉尼, R·拉古薩 申請人:國際商業(yè)機(jī)器公司