用于由電子裝置進(jìn)行交互式圖像漫畫生成的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明大體上涉及電子裝置。更確切地說，本發(fā)明涉及用于由電子裝置進(jìn)行交互 式圖像漫畫生成的系統(tǒng)和方法。
【背景技術(shù)】
[0002] 在最近幾十年中，電子裝置的使用已變得普遍。確切地說，電子技術(shù)的進(jìn)步已降低 了愈加復(fù)雜且有用的電子裝置的成本。成本減少和消費(fèi)者需求已使電子裝置的使用劇增， 使得其在現(xiàn)代社會(huì)中幾乎隨處可見。由于電子裝置的使用已推廣開來，因此需要電子裝置 的新的且改進(jìn)的特征。更確切地說，人們常常尋求執(zhí)行新功能和/或更快、更有效且以更高 質(zhì)量執(zhí)行功能的電子裝置。
[0003] -些電子裝置（例如，蜂窩式電話、智能電話、數(shù)碼相機(jī)、攝錄影機(jī)、計(jì)算機(jī)等）俘 獲和編輯圖片或圖像。舉例來說，智能電話可利用集成圖像感測(cè)裝置俘獲圖像。
[0004] 雖然俘獲和編輯圖片或圖像可能是有益的，但此些過程常常耗時(shí)且費(fèi)力。如可從 此論述觀察到，添加圖像編輯的新的和/或改進(jìn)的特征的系統(tǒng)和方法可以是有益的。
【附圖說明】
[0005]圖1為說明其中可實(shí)施用于交互式圖像漫畫生成的系統(tǒng)和方法的電子裝置的一 個(gè)配置的框圖；
[0006] 圖2為說明用于由電子裝置進(jìn)行交互式圖像漫畫生成的方法的一個(gè)配置的流程 圖；
[0007]圖3說明面部圖像和可使用本文中所揭示的系統(tǒng)和方法產(chǎn)生的漫畫圖像的實(shí)例；
[0008]圖4說明可使用本文中所揭示的系統(tǒng)和方法產(chǎn)生的基于網(wǎng)格的模型的實(shí)例；
[0009] 圖5為說明其中可實(shí)施用于交互式圖像漫畫生成的系統(tǒng)和方法的電子裝置的更 具體配置的框圖；
[0010] 圖6為說明用于由電子裝置進(jìn)行交互式圖像漫畫生成的方法的更具體配置的流 程圖；
[0011] 圖7為說明用于由電子裝置驗(yàn)證手勢(shì)輸入的方法的一個(gè)配置的流程圖；
[0012] 圖8說明垂直夾捏打開手勢(shì)輸入的實(shí)例；
[0013] 圖9說明垂直夾捏關(guān)閉手勢(shì)輸入的實(shí)例；
[0014] 圖10說明水平夾捏打開手勢(shì)輸入的實(shí)例；
[0015] 圖11說明水平夾捏關(guān)閉手勢(shì)輸入的實(shí)例；
[0016] 圖12說明面部圖像和可使用本文中所揭示的系統(tǒng)和方法產(chǎn)生的漫畫圖像的另一 實(shí)例；
[0017] 圖13為說明其中可實(shí)施用于交互式圖像漫畫生成的系統(tǒng)和方法的電子裝置的更 具體配置的框圖；以及
[0018] 圖14說明可在電子裝置中利用的各種組件。
【具體實(shí)施方式】
[0019] 本發(fā)明描述一種用于由電子裝置進(jìn)行交互式圖像漫畫生成的方法。所述方法包含 檢測(cè)圖像的至少一個(gè)特征位置。所述方法還包含基于所述至少一個(gè)特征位置產(chǎn)生圖像網(wǎng) 格，所述圖像網(wǎng)格包括至少一個(gè)水平線和至少一個(gè)垂直線的柵格。所述方法還包含獲得至 少一個(gè)手勢(shì)輸入。所述方法還包含基于所述至少一個(gè)手勢(shì)輸入確定至少一個(gè)漫畫動(dòng)作。所 述方法進(jìn)一步包含基于所述圖像網(wǎng)格、所述至少一個(gè)漫畫動(dòng)作和所述圖像產(chǎn)生漫畫圖像。
[0020] 所述圖像可為面部圖像。所述圖像網(wǎng)格的頂點(diǎn)可對(duì)應(yīng)于所述至少一個(gè)特征位置。 所述至少一個(gè)手勢(shì)輸入可包含觸摸輸入。所述方法可包含顯示所述圖像和所述漫畫圖像中 的至少一者。產(chǎn)生漫畫圖像可包含將所述至少一個(gè)漫畫動(dòng)作應(yīng)用于所述圖像。
[0021] 所述至少一個(gè)漫畫動(dòng)作可提供圖像網(wǎng)格的至少一個(gè)頂點(diǎn)的移位信息。所述至少一 個(gè)漫畫動(dòng)作還可提供像素映射，其基于所述移位信息將圖像頂點(diǎn)像素映射到對(duì)應(yīng)的漫畫圖 像頂點(diǎn)像素。產(chǎn)生漫畫圖像可包含基于所述像素映射在漫畫圖像中內(nèi)插其它像素的位置。
[0022] 所述方法可包含驗(yàn)證所述至少一個(gè)手勢(shì)輸入。驗(yàn)證所述至少一個(gè)手勢(shì)輸入可包含 確定手勢(shì)輸入的運(yùn)動(dòng)是否大于運(yùn)動(dòng)閾值。
[0023] 所述至少一個(gè)手勢(shì)輸入可包含多個(gè)手勢(shì)輸入。所述方法可包含確定所述手勢(shì)輸入 相對(duì)于彼此的運(yùn)動(dòng)。所述方法可包含確定所述手勢(shì)輸入水平地對(duì)準(zhǔn)。所述方法可包含確定 所述手勢(shì)輸入垂直地對(duì)準(zhǔn)。
[0024] 所述方法可包含維持漫畫動(dòng)作列表。所述方法可包含將所述至少一個(gè)漫畫動(dòng)作添 加到所述漫畫動(dòng)作列表。
[0025] 本發(fā)明描述一種用于交互式圖像漫畫生成的電子裝置。所述電子裝置包含檢測(cè)圖 像的至少一個(gè)特征位置的特征位置檢測(cè)電路。所述電子裝置還包含耦合到所述特征位置檢 測(cè)電路的圖像網(wǎng)格產(chǎn)生電路。所述圖像網(wǎng)格產(chǎn)生電路基于所述至少一個(gè)特征位置產(chǎn)生圖像 網(wǎng)格，所述圖像網(wǎng)格包括至少一個(gè)水平線和至少一個(gè)垂直線的柵格。所述電子裝置還包含 獲得至少一個(gè)手勢(shì)輸入的感測(cè)電路。所述電子裝置還包含耦合到所述感測(cè)電路的漫畫動(dòng)作 確定電路。所述漫畫動(dòng)作確定電路基于所述至少一個(gè)手勢(shì)輸入確定至少一個(gè)漫畫動(dòng)作。所 述電子裝置進(jìn)一步包含耦合到所述圖像網(wǎng)格產(chǎn)生電路和所述漫畫動(dòng)作確定電路的漫畫圖 像產(chǎn)生電路。所述漫畫圖像產(chǎn)生電路基于所述圖像網(wǎng)格、所述至少一個(gè)漫畫動(dòng)作和所述圖 像產(chǎn)生漫畫圖像。
[0026] 本發(fā)明描述一種用于交互式圖像漫畫生成的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn) 品包含具有指令的非暫時(shí)性有形計(jì)算機(jī)可讀媒體。所述指令包含用于致使電子裝置檢測(cè)圖 像的至少一個(gè)特征位置的代碼。所述指令還包含用于致使所述電子裝置基于所述至少一個(gè) 特征位置來產(chǎn)生圖像網(wǎng)格得代碼，所述圖像網(wǎng)格包括至少一個(gè)水平線和至少一個(gè)垂直線的 柵格。所述指令還包含用于致使所述電子裝置獲得至少一個(gè)手勢(shì)輸入的代碼。所述指令還 包含用于致使所述電子裝置基于所述至少一個(gè)手勢(shì)輸入確定至少一個(gè)漫畫動(dòng)作的代碼。所 述指令進(jìn)一步包含用于致使所述電子裝置基于所述圖像網(wǎng)格、所述至少一個(gè)漫畫動(dòng)作和所 述圖像來產(chǎn)生漫畫圖像的代碼。
[0027] 本發(fā)明描述一種用于交互式圖像漫畫生成的設(shè)備。所述設(shè)備包含用于檢測(cè)圖像的 至少一個(gè)特征位置的裝置。所述設(shè)備還包含用于基于所述至少一個(gè)特征位置產(chǎn)生圖像網(wǎng)格 的裝置，所述圖像網(wǎng)格包括至少一個(gè)水平線和至少一個(gè)垂直線的柵格。所述設(shè)備還包含用 于獲得至少一個(gè)手勢(shì)輸入的裝置。所述設(shè)備還包含用于基于所述至少一個(gè)手勢(shì)輸入確定至 少一個(gè)漫畫動(dòng)作的裝置。所述設(shè)備進(jìn)一步包含用于基于所述圖像網(wǎng)格、所述至少一個(gè)漫畫 動(dòng)作和所述圖像產(chǎn)生漫畫圖像的裝置。
[0028] 本文中所揭示的系統(tǒng)和方法的一些配置提供交互式圖像（例如，面部）漫畫生成。 面部漫畫生成可指代產(chǎn)生具有來自正常面部圖像的經(jīng)夸示面部分量的面部圖像的一或多 個(gè)程序。先前，這由藝術(shù)家手動(dòng)地進(jìn)行，而當(dāng)今基于計(jì)算機(jī)的自動(dòng)面部漫畫生成已變得可 用。
[0029] -種基于計(jì)算機(jī)的面部漫畫生成的方法可含有以下步驟。首先，檢測(cè)輸入圖像中 的面部特征位置。這些特征可包含眼角、鼻孔、嘴角、下頌和其它面部輪廓點(diǎn)。第二，對(duì)于每 一特征位置，通過按比例擴(kuò)大或縮小輸入圖像中的此特征位置與平均面部中的對(duì)應(yīng)特征位 置之間的距離而計(jì)算漫畫面部的新位置。第三，應(yīng)用紋理扭曲技術(shù)將輸入圖像中的面部的 紋理扭曲到漫畫面部。所述紋理扭曲可基于將輸入圖像中的每一面部特征位置映射到漫畫 面部中的對(duì)應(yīng)面部特征位置的變換。
[0030] 然而，用戶交互可添加到計(jì)算機(jī)面部漫畫生成以實(shí)現(xiàn)用戶所要樣式的漫畫生成 (例如，具有放大眼部和縮小鼻部的特定樣式）。本文中所揭示的系統(tǒng)和方法實(shí)現(xiàn)交互式面 部漫畫生成且可應(yīng)用于具有觸摸屏的移動(dòng)裝置。觸摸屏上的不同手指手勢(shì)可解釋為基于網(wǎng) 格的面部漫畫生成模型上的不同漫畫生成動(dòng)作，使得用戶可容易地通過使用觸摸屏上的簡(jiǎn) 單手指移動(dòng)而產(chǎn)生有趣的漫畫生成。圖3提供基于本文中所揭示的系統(tǒng)和方法的漫畫生成 的實(shí)例。特定來說，圖3說明左側(cè)的原始面部圖像和其余圖像中的三個(gè)漫畫生成效果。
[0031] 在根據(jù)本文中所揭示的系統(tǒng)和方法的交互式面部漫畫生成的一個(gè)應(yīng)用情境中，面 部圖像可顯示在觸摸屏上且用戶可在觸摸屏上使用他的/她的手指將所要漫畫生成動(dòng)作 添加到所述面部圖像。每一動(dòng)作之后，所顯示的漫畫面部圖像可為循序應(yīng)用于原始面部圖 像的先前漫畫生成動(dòng)作的結(jié)果。
[0032] 現(xiàn)參看圖式描述各種配置，在各圖中，相同參考數(shù)字可指示功能上類似的元件?？?以廣泛多種不同配置來布置和設(shè)計(jì)如本文中在各圖中大體描述和說明的系統(tǒng)和方法。因 此，對(duì)如各圖中所表示的若干配置的以下更詳細(xì)描述并不希望限制如所主張的范圍，而僅 表不系統(tǒng)和方法。
[0033] 圖1為說明用于交互式圖像漫畫生成的電子裝置102的一個(gè)配置的框圖。如本文 所使用，術(shù)語"漫畫生成"可指代圖像104的操縱。圖像漫畫生成可操縱所述圖像的一或多 個(gè)像素。舉例來說，圖像漫畫生成可包含改變像素的大體位置。舉例來說，圖像漫畫生成可 包含改變像素相對(duì)于圖像104中的其它像素的位置。漫畫生成還可包含內(nèi)插新像素。
[0034] 電子裝置102的實(shí)例包含智能電話、蜂窩式電話、數(shù)碼相機(jī)、臺(tái)式計(jì)算機(jī)、膝上型 計(jì)算機(jī)、平板計(jì)算機(jī)、個(gè)人數(shù)字助理（PDA)、移動(dòng)裝置等。電子裝置102可包含特征位置檢測(cè) 塊/模塊106、圖像網(wǎng)格產(chǎn)生塊/模塊110、漫畫動(dòng)作確定塊/模塊116和漫畫圖像產(chǎn)生塊 /模塊120中的一或多者。如本文所使用，術(shù)語"塊/模塊"可用于指示特定元件可在硬件 (例如，電路）、軟件或兩者的組合中實(shí)施。舉例來說，漫畫動(dòng)作確定塊/模塊116可在硬件 (例如，電路）、軟件或兩者的組合中實(shí)施。
[0035] 電子裝置102可獲得圖像104。在一些實(shí)施方案中，圖像104可為面部圖像104。 另外或替代地，圖像104可為先前產(chǎn)生的漫畫圖像122。電子裝置102可包含（或耦合到） 俘獲圖像104的圖像感測(cè)裝置（未描繪）。所述圖像感測(cè)裝置可包含圖像傳感器。圖像感 測(cè)裝置的實(shí)例可包含相機(jī)和掃描儀。舉例來說，智能電話（例如，電子裝置102)可包含俘 獲面部圖像104的相機(jī)（例如，圖像感測(cè)裝置）。
[0036]在另一實(shí)例中，電子裝置102可接收來自另一裝置的圖像104。舉例來說，電子裝 置102可經(jīng)由網(wǎng)絡(luò)（例如，局域網(wǎng)（LAN)、因特網(wǎng)、蜂窩式網(wǎng)絡(luò)等）或經(jīng)由直接鏈路（例如， 通用串行總線（USB)電纜、藍(lán)牙無線鏈路等）接收來自另一裝置的圖像104。
[0037] 圖像104(例如，面部圖像）可提供到特征位置檢測(cè)塊/模塊106和漫畫圖像產(chǎn)生 塊/模塊120。經(jīng)由特征位置檢測(cè)塊/模塊106,電子裝置102可檢測(cè)圖像104的至少一個(gè) 特征位置108。特征位置108可指代圖像104的相異特征的位置。舉例來說，面部圖像104 可包含例如面部的輪廓、眼角、鼻尖、鼻角、鼻孔、嘴角、前額、下頌、耳朵、面頰等特征。特征 位置108可指代組成所述特征的像素的位置。如本文所使用，像素的位置可指代組成所述 圖像的像素的坐標(biāo)（例如，x，y坐標(biāo)系中）。特征位置確定塊/模塊106可基于一或多個(gè)算 法確定特征位置108。舉例來說，特征位置確定塊/模塊106可分析一或多個(gè)像素（例如， 像素著色）以確定圖像104的特征位于何處。
[0038]特征位置108(例如，面部特征位置）可提供到圖像網(wǎng)格產(chǎn)生塊/模塊110。圖像 網(wǎng)格產(chǎn)生塊/模塊110可產(chǎn)生圖像網(wǎng)格112。圖像網(wǎng)格112可包含至少一個(gè)水平線和至少 一個(gè)垂直線的柵格。所述線可在一或多個(gè)頂點(diǎn)處相交。換句話說，圖像網(wǎng)格112可包含各 自指示水平線與垂直線的相交的頂點(diǎn)的柵格。
[0039] 在一些實(shí)施方案中，圖像網(wǎng)格112可基于至少一個(gè)特征位置108。舉例來說，圖像 網(wǎng)格112的一些頂點(diǎn)可對(duì)應(yīng)于不同特征位置108。舉例來說，對(duì)于面部圖像104,圖像網(wǎng)格 112可包含對(duì)應(yīng)于多個(gè)面部特征位置108(例如，眼角、鼻角、嘴角等）的多個(gè)頂點(diǎn)。換句話 說，所述頂點(diǎn)可對(duì)應(yīng)于組成面部特征的圖像104的像素。此外，在此實(shí)例中，所述特征中的 一或多者可對(duì)應(yīng)于圖像網(wǎng)格112的相同線。舉例來說，如下文將結(jié)合至少圖4描述，眼角可 對(duì)應(yīng)于圖像網(wǎng)格112的相同水平線。應(yīng)注意，在一些實(shí)施方案中，并非所有頂點(diǎn)可與特征位 置對(duì)準(zhǔn)。
[0040] 如下文將描述，隨著頂點(diǎn)基于手勢(shì)輸入114而移動(dòng)，對(duì)應(yīng)特征（例如，組成所述特 征的像素）可以類似方式移動(dòng)。舉例來說，如果圖像網(wǎng)格112的水平線向上移動(dòng)，那么對(duì)應(yīng) 于此水平線上的頂點(diǎn)的特征（例如，眼角）也可向上移動(dòng)。
[0041] 電子裝置102可獲得手勢(shì)輸入114。如本文所使用，手勢(shì)輸入114可指代作為電 子裝置102的輸入而接收的運(yùn)動(dòng)。舉例來說，對(duì)象（例如，手指或觸筆）可在垂直方向中從 起點(diǎn)移動(dòng)。此可由電子裝置102作為手勢(shì)輸入114而接收。在一些實(shí)施方案中，手勢(shì)輸入 114可為觸摸輸入。舉例來說，智能電話（例如，電子裝置102)可包含（或耦合到）觸摸 屏。在此實(shí)例中，用戶可在起點(diǎn)處觸摸指向觸摸屏的對(duì)象（例如，手指或觸筆）且可在垂直 方向中移動(dòng)所述對(duì)象同時(shí)維持與觸摸屏的接觸。以類似方式，觸摸屏可檢測(cè)水