圖像合成方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本申請涉及計算機技術(shù)領(lǐng)域，具體涉及圖像處理領(lǐng)域，尤其涉及人臉圖像處理方法和裝置。
【背景技術(shù)】
[0002]目前，在一些應(yīng)用中，提供基于用戶人臉圖像生成個性化圖像(例如卡通圖像)的功能用于增強用戶體驗。在已知的技術(shù)中，基于用戶人臉圖像生成個性化圖像的功能的實現(xiàn)為通過查找出與人臉圖像中的人臉對象(例如臉型、眼睛、鼻子等)相似的素材，直接利用素材合成個性化圖像。然而，由于素材的形狀具有不規(guī)則性，當(dāng)直接利用素材合成個性化圖像時，素材的尺寸與其對應(yīng)的人臉對象的尺寸可能不匹配，導(dǎo)致合成的個性化圖像失真。

【發(fā)明內(nèi)容】

[0003]本申請?zhí)峁┝艘环N圖像合成方法和裝置，來解決以上【背景技術(shù)】部分提到的技術(shù)問題。
[0004]第一方面，本申請?zhí)峁┝艘环N圖像合成方法，該方法包括:獲取人臉圖像中的多個人臉對象對應(yīng)的臉部特征點；獲取用于多個人臉對象的素材；從多個人臉對象中選擇基準人臉對象；基于基準人臉對象的特征點與用于基準人臉對象的素材的特征點之間的映射關(guān)系，確定臉部特征點的映射位置；基于映射位置，調(diào)整各人臉對象的素材以合成目標(biāo)圖像。
[0005]第二方面，本申請?zhí)峁┝艘环N圖像合成裝置，該裝置包括:特征點獲取單元，配置用于獲取人臉圖像中的多個人臉對象對應(yīng)的臉部特征點；素材獲取單元，配置用于獲取用于多個人臉對象的素材；選擇單元，配置用于從多個人臉對象中選擇基準人臉對象；映射單元，配置用于基于基準人臉對象的特征點與用于基準人臉對象的素材的特征點之間的映射關(guān)系，確定臉部特征點的映射位置；調(diào)整單元，配置用于基于映射位置，調(diào)整各人臉對象的素材以合成圖像。
[0006]本申請?zhí)峁┑膱D像合成方法和裝置，基于基準人臉對象與其對應(yīng)的素材之間的映射關(guān)系，將人臉對象的臉部特征點映射到目標(biāo)圖像，并且基于映射后的臉部特征點，調(diào)整各人臉對象的素材以合成目標(biāo)圖像，從而提高各人臉對象的素材在目標(biāo)圖像中的諸如位置、尺寸之類的特征與人臉圖像中的人臉對象的匹配度，增強合成的目標(biāo)圖像的真實度。
【附圖說明】
[0007]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優(yōu)點將會變得更明顯:
[0008]圖1是根據(jù)本申請的圖像合成方法的一個實施例的流程圖；
[0009]圖2是根據(jù)本申請的圖像合成裝置的一個實施例的結(jié)構(gòu)示意圖。
【具體實施方式】
[0010]下面結(jié)合附圖和實施例對本申請作進一步的詳細說明?？梢岳斫獾氖牵颂幩枋龅木唧w實施例僅僅用于解釋相關(guān)發(fā)明，而非對該發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。
[0011]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本申請。
[0012]請參考圖1，其示出了根據(jù)本申請的圖像合成方法的一個實施例的流程100。該方法包括以下步驟:
[0013]步驟101，獲取人臉圖像中的多個人臉對象對應(yīng)的臉部特征點。
[0014]在本實施例中，人臉圖像可以是用戶上傳的照片中的人臉圖像，也可以是利用攝像頭對用戶進行拍攝而獲得的人臉圖像。
[0015]獲取人臉圖像后，可以進一步獲取人臉圖像中的人臉對象。人臉對象可以是人臉上的器官或表征人臉特征的對象。
[0016]在本實施例的一些可選的實現(xiàn)方式中，人臉對象包括以下至少一項:臉型對象、眉毛對象、眼睛對象、鼻子對象、嘴巴對象、耳朵對象、頭發(fā)對象等。可以理解，上述人臉對象可以全部都用于合成目標(biāo)圖像，也可以在上述人臉對象中選取一些人臉對象作為用于合成目標(biāo)圖像的人臉對象。
[0017]人臉對象可以利用臉部特征點或稱臉部關(guān)鍵點進行描述。每個人臉對象可以有其對應(yīng)的特征點。例如，對于臉型對象，可以通過在臉型的輪廓上，選取一定數(shù)量的點作為臉型對象的臉部特征點。在本實施例的一些可選的實現(xiàn)方式中，可以采用人臉識別技術(shù)對人臉圖像進行識別，來獲取表征人臉圖像中人臉對象的特征的臉部特征點。在一些實現(xiàn)中，可以使用72個特征點來表征人臉圖像。本領(lǐng)域技術(shù)人員可以理解，可以使用更多或更少的特征點來表征人臉圖像，本申請在此方面沒有限制。在獲取表征人臉圖像的臉部特征點之后，可以相應(yīng)地確定各人臉對象的特征點。人臉圖像中的每一個人臉對象可以對應(yīng)一定數(shù)量的臉部特征點，例如，臉型對象可以對應(yīng)13個臉部特征點。
[0018]步驟102，獲取用于該多個人臉對象的素材。
[0019]在本實施例中，素材的類型可以是與人臉對象相關(guān)的類型。例如，在一些實現(xiàn)中，希望生成卡通人物形象，因此用于人臉圖像中的人臉對象的素材可以是卡通人物形象的各種素材。素材可以包括用于不同類型的人臉對象的素材，例如用于臉型對象的臉型素材，用于眉毛對象的眉毛素材，用于眼睛對象的眼睛素材，諸如此類。
[0020]與人臉對象類似，素材可以通過素材的特征點來描述。例如，對于臉型素材，其素材特征點可以通過在該臉型素材的輪廓上，選取一定數(shù)量的點作為素材的特征點。
[0021]在一些實施例中，可以基于人臉對象的臉部特征點與素材的特征點之間的匹配關(guān)系，自動確定用于人臉對象的素材。換言之，針對特定人臉對象(例如臉型對象)，可以從用于該特定人臉對象的眾多素材(例如臉型素材)中自動選擇與該特定人臉對象最接近或最相似的素材。可以采用距離度量來計算人臉對象與素材之間的接近度或相似度。在一種實現(xiàn)中，人臉對象對應(yīng)的臉部特征點可以用一個表征其在人臉圖像中的位置的二維坐標(biāo)進行表示，相應(yīng)地，素材的特征點可以用一個表征其在素材中的位置的二維坐標(biāo)進行表示。繼而可以采用以下方式來確定人臉對象對應(yīng)的臉部特征點與素材的特征點之間的接近度或相似度:可以基于人臉對象的特征點對應(yīng)的二維坐標(biāo)與素材的特征點對應(yīng)的二維坐標(biāo)，應(yīng)用歐式距離公式對上述坐標(biāo)進行計算。最后，選取計算結(jié)果中取值最小的結(jié)果對應(yīng)的素材作為與人臉對象匹配的素材。
[0022]在另一些實施例中，用于各人臉對象的素材可以是由用戶確定的。例如，用戶可以根據(jù)喜好手動選擇用于各個人臉對象的素材。
[0023]在又一些實施例中，也可以首先自動確定用于各人臉對象的素材，然后接受用戶對所確定的素材的調(diào)整，例如替換。
[0024]步驟103，從人臉對象中選擇基準人臉對象。
[0025]在本實施例中，可以從人臉對象中選取一個對象作為基準人臉對象。在一些實現(xiàn)中，基準人臉圖像的選取可以根據(jù)待合成的目標(biāo)圖像中的其他對象的位置確定。
[0026]在本實施例的一些可選的實現(xiàn)方式中，基準人臉對象是臉型對象。在基于人臉對象合成目標(biāo)圖像時，可以首先固定人身體上的其中一個部位(例如脖子)對應(yīng)的對象，在這種情況下，可以選取臉型對象作為基準人臉對象。
[0027]步驟104，基于基準人臉對象的特征點與用于基準人臉對象的素材的特征點之間的映射關(guān)系，確定臉部特征點的映射位置。
[0028]在本實施例中，基準人臉對象的特征點可以用一個二維坐標(biāo)進行表示，該二維坐標(biāo)表征其在人臉圖像中的位置。以一個人臉圖像為100*100的矩形人臉圖像為例，可以對100*100的矩形人臉圖像預(yù)先建立坐標(biāo)系，選取100*100的矩形人臉圖像的中心點即對角線的相交點作為坐標(biāo)系的原點?；诮⒌娜四槇D像的坐標(biāo)系，可以確定臉部特征點在100*100的矩形人臉圖像中的坐標(biāo)。相應(yīng)地，基準人臉對象對應(yīng)素材的特征點在預(yù)設(shè)尺寸的界面中的位置可以用一個二維坐標(biāo)進行表示，該二維坐標(biāo)表征用于基準人臉對象的素材在待合成的目標(biāo)圖像所在的界面中的位置。以目標(biāo)圖像所在的界面為480*800的矩形電子畫布為例，可以對480*800的矩形電子畫布預(yù)先建立坐標(biāo)系，例如選取480*800的矩形電子畫布的中心點即對角線的相交點作為坐標(biāo)系的原點。可以基于建立的480*800的矩形電子畫布的坐標(biāo)系，確定基準人臉對象對應(yīng)素材的特征點在480*800的矩形電子畫布中的坐標(biāo)。在本實施例中，在確定了基準人臉對象的特征點以及與其對應(yīng)素材的坐標(biāo)后，可以根據(jù)兩者的坐標(biāo)，計算出基準人臉對象的特征點與其對應(yīng)的素材的特征點之間的映射關(guān)系。繼而，可以基于這一映射關(guān)系，計算出人臉圖像中多個人臉對象的臉部特征點在目標(biāo)圖像中的坐標(biāo)，從而完成將獲取的人臉對象的臉部特征點從人臉圖像(例如100*100的矩形人臉圖像)映射到目標(biāo)圖像所在的界面(例如480*800的矩形電子畫布)。
[0029]下面以基準人臉對象是臉型對象為例，進一步說明基于基準人臉對象的特征點與用于基準人臉對象的素材的特征點之間的映射關(guān)系，確定臉部特征點的映射位置的過程。
[0030]在一些實現(xiàn)中，當(dāng)基準人臉對象是臉型對象時，基于臉型對象的特征點與用于臉型對象的臉型素材的特征點之間的映射關(guān)系，確定臉部特征點的映射位置可以采用以下方式:基于臉型對象的特征點在人臉圖像上的坐標(biāo)，建立臉型對象的特征點矩陣?；谀樞退夭脑陬A(yù)設(shè)尺寸界面的坐標(biāo)，建立臉型素材特征點矩陣?；谀樞蛯ο蟮奶卣鼽c矩陣和臉型素材特征點矩陣，計算兩個矩陣之間的轉(zhuǎn)換矩陣，該轉(zhuǎn)換矩陣表征兩個矩陣之間的變換關(guān)系(例如平移、縮放、旋轉(zhuǎn))，也即通過計算得到的轉(zhuǎn)換矩陣表征臉型對象的特征點與臉型素材的特征點之間的映射關(guān)系。在確定臉型對象的特征點與臉型素材的特征點之間的映射關(guān)系后，可以將該映射關(guān)系應(yīng)用于其他人臉對象(例如眼睛對象、鼻子對象、嘴巴對象)的臉部特征點，使得其他人臉對象的臉部特征點可以映射到預(yù)設(shè)尺寸界面(480*800的矩形電子畫布)上。以人臉圖像為100*100的人臉圖像，預(yù)設(shè)尺寸的界面為480*800的矩形電子畫布為例說明上述映射過程。可以根據(jù)其他人臉對象的臉部特征點在100*100的人臉圖像上的坐標(biāo)建立臉部特征點矩陣，根據(jù)計算得到的表征臉型對象的特征點與臉型素材的特征點之間的映射關(guān)系的轉(zhuǎn)換矩陣，對建立的臉部特征點矩陣進行矩陣變換(例如平移變換、縮放變換、旋轉(zhuǎn)變換)，可以得到表征臉部特征點在預(yù)設(shè)尺寸的界面上的位置的矩陣，通過該矩陣，進而確定人臉對象(例如眼睛對象、鼻子對象、嘴巴對象)的臉部特征點在480*800的矩形電子畫布中的坐標(biāo)。這樣，通過上述轉(zhuǎn)換過程，在100*100的人臉圖像上的