濾鏡代碼生成器、生成方法及圖像編輯器的制造方法
【專利摘要】本發(fā)明公開了一種濾鏡代碼生成方法，包括:美術開發(fā)人員在圖像編輯器內進行濾鏡效果編輯時，監(jiān)控整個編輯過程，記錄并保存整個編輯過程中產生的數據及效果編輯事件；將效果編輯事件中包含的編輯效果轉化為一種或多種高級程序語言代碼；將編輯過程中產生的數據及編輯效果所轉化的代碼封裝為一個濾鏡函數接口，供程序開發(fā)人員調用。相應的，本發(fā)明還公開了一種濾鏡代碼生成及圖像編輯器，能直接將美術人員在圖像編輯器內設計的濾鏡效果轉換為濾鏡代碼，可更高程度的還原美術設計理念，大幅降低圖像處理軟件開發(fā)周期及成本。
【專利說明】
濾鏡代碼生成器、生成方法及圖像編輯器
技術領域
[0001]本發(fā)明涉及圖像處理領域，尤其涉及一種濾鏡代碼生成器、生成方法及圖像編輯器。
【背景技術】
[0002]現(xiàn)有視頻及圖像應用開發(fā)過程中，當需要對視頻幀或圖像進行美化(或丑化)處理時，需要美術人員先對圖像進行編輯，達到想要的效果后，再和程序員溝通處理的流程，然后程序員將該效果用程序語言表現(xiàn)出來。由此可見，一個圖像效果的實現(xiàn)程度，大部分取決于程序員的編碼能力和對美術想法的理解程度。所以由程序員主導的圖像應用開發(fā)模式，有如下明顯缺點:
[0003]1.程序員實現(xiàn)對應的效果需要一定的時間，有時甚至需要先培訓程序員具有相應的技能；
[0004]2.溝通成本高，程序缺陷等不可控因素導致開發(fā)周期長；
[0005]3.圖像處理過程完全由程序員根據其理解完成，不容易達到美術設計效果。
[0006]如何高程度還原美術設計理念，大幅降低圖像處理軟件開發(fā)周期及成本目前沒有一個較好的解決方案。

【發(fā)明內容】

[0007]本發(fā)明的目的是提供一種濾鏡代碼生成器、濾鏡代碼生成方法及具有濾鏡代碼生成功能的圖像編輯器，能直接將美術在圖像編輯器內設計的濾鏡效果轉換為濾鏡代碼，可更高程度的還原美術設計理念，大幅降低圖像處理軟件開發(fā)周期及成本。
[0008]為了實現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種濾鏡代碼生成器，該濾鏡代碼生成器配合圖像編輯器使用，其包括監(jiān)聽模塊，代碼轉化模塊，存儲模塊和封裝模塊；
[0009]所述監(jiān)聽模塊，用于監(jiān)聽美術開發(fā)人員在圖像編輯器內進行濾鏡效果編輯時所執(zhí)行的效果編輯事件；
[0010]所述代碼轉換模塊，將效果編輯事件中包含的編輯效果轉化為一種或多種高級程序語言代碼，所述高級語言包括任何可調用GLSL語言代碼的程序語言；
[0011]所述存儲模塊，記錄并保存整個編輯事件中產生的數據及代碼轉化模塊所轉化的所有代碼；
[0012]所述封裝模塊，根據用戶命令，將存儲模塊內存儲的數據及代碼封裝為一個濾鏡函數接口，供程序開發(fā)人員調用。
[0013]其中，所述代碼轉換模塊內存儲有每一種效果對應的代碼轉換機制。
[0014]優(yōu)選的，當監(jiān)聽模塊監(jiān)聽到的效果編輯事件中包含多個單一效果，代碼轉換模塊根據編輯順序依次生成對應的代碼，并將每一個效果對應的數據及代碼依次保存到存儲模塊。
[0015]優(yōu)選的，所述效果編輯事件包括顏色變化和/或尺度變化，所述顏色變化包括顏色量度變化、顏色變化的曲線表示、顏色變化權重值調整及與原數據相關的顏色處理中的一種或多種情況的混合；所述尺度變化包括放大、縮小、扭曲中的一種或多種情況的混合。
[0016]相應的，本發(fā)明還提供一種圖像編輯器，包括供美術開發(fā)人員使用的圖像編輯模塊和濾鏡代碼生成器，所述濾鏡代碼生成器為上述濾鏡代碼生成器。
[0017]相應的，本發(fā)明還提供一種濾鏡代碼生成方法，包括:美術開發(fā)人員在圖像編輯器內進行濾鏡效果編輯時，監(jiān)控整個編輯過程，記錄并保存整個編輯過程中產生的數據及效果編輯事件；將效果編輯事件中包含的編輯效果轉化為一種或多種高級程序語言代碼，所述高級語言包括任何可調用GLSL語言代碼的程序語言；將上述編輯過程中產生的數據及編輯效果所轉化的代碼封裝為一個濾鏡函數接口，供程序開發(fā)人員調用。
[0018]優(yōu)選的，當效果編輯事件中包含多個單一效果，則根據編輯的順序依次生成對應的代碼。
[0019]優(yōu)選的，所述效果編輯事件包括顏色變化和/或尺度變化，所述顏色變化包括顏色量度變化、顏色變化的曲線表示、顏色變化權重值調整及與原數據相關的顏色處理中的一種或多種情況的混合；所述尺度變化包括放大、縮小、扭曲中的一種或多種情況的混合。
[0020]本發(fā)明具有如下有益效果:
[0021]采用本發(fā)明濾鏡生成器，不需要程序員對美術設計的濾鏡效果進行理解后重新編碼實現(xiàn)，美術開發(fā)人員設計完成后，直接通過本發(fā)明濾鏡生成器輸出接口函數供程序員調用，可完全還原美術設計理念，且大幅降低圖像處理軟件開發(fā)周期及成本。
【附圖說明】
[0022]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖:
[0023]圖1為本發(fā)明實施例濾鏡代碼生成方法流程示意圖；
[0024]圖2為本發(fā)明實施例濾鏡代碼生成器結構示意圖。
【具體實施方式】
[0025]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0026]參見圖1，為本發(fā)明實施例濾鏡代碼生成方法流程示意圖，包括如下步驟:
[0027]SlOl:美術開發(fā)人員在圖像編輯器內進行濾鏡效果編輯時，監(jiān)控整個編輯過程，記錄并保存整個編輯過程中產生的數據及效果編輯事件；
[0028]S102:將效果編輯事件中包含的編輯效果轉化為一種或多種高級程序語言代碼，所述高級語言包括任何可調用GLSL語言代碼的程序語言；當效果編輯事件中包含多個單一效果，則根據編輯的順序依次生成對應的代碼。
[0029]S103:將上述編輯過程中產生的數據及編輯效果所轉化的代碼封裝為一個濾鏡函數接口，供程序開發(fā)人員調用。
[0030]所述效果編輯事件包括顏色變化和/或尺度變化，所述顏色變化包括顏色量度變化、顏色變化的曲線表示、顏色變化權重值調整及與原數據相關的顏色處理中的一種或多種情況的混合；所述尺度變化包括放大、縮小、扭曲中的一種或多種情況的混合。
[0031]參見圖2，為本發(fā)明實施例濾鏡代碼生成器結構示意圖，本發(fā)明實施例濾鏡代碼生成器配合圖像編輯器使用，其包括監(jiān)聽模塊11，代碼轉化模塊12，存儲模塊13和封裝模塊14 ;所述監(jiān)聽模塊11，用于監(jiān)聽美術開發(fā)人員在圖像編輯器內進行濾鏡效果編輯時所執(zhí)行的效果編輯事件；所述代碼轉換模塊12內存儲有每一種效果對應的代碼轉換機制，其接收監(jiān)聽模塊監(jiān)聽到的效果編輯事件，并將效果編輯事件中包含的編輯效果根據相應的代碼轉換機制轉化為一種或多種高級程序語言代碼，所述高級語言包括任何可調用GLSL語言代碼的程序語言；所述存儲模塊13，記錄并保存整個編輯事件中產生的數據及代碼轉化模塊所轉化的所有代碼；所述封裝模塊14，根據用戶命令，將存儲模塊內存儲的數據及代碼封裝為一個濾鏡函數接口，供程序開發(fā)人員調用，該函數接口在功能上實現(xiàn)了與美術開發(fā)人員編輯結果一致的圖像處理效果，程序員可根據其應用高級程序語言的平臺調用相應的濾鏡函數接口。
[0032]由于濾鏡效果往往由多種單一效果混合而成，因此當監(jiān)聽模塊11監(jiān)聽到的效果編輯事件中包含多個單一效果，代碼轉換模塊12根據編輯順序依次生成對應的代碼(即上一種過程的輸出為下一種過程的輸入，最后一種過程的輸出即為整個濾鏡效果的輸出)，并將每一個效果對應的數據及代碼依次保存到存儲模塊。本發(fā)明實施例所述效果編輯事件包括顏色變化和/或尺度變化，所述顏色變化包括顏色量度變化、顏色變化的曲線表示、顏色變化權重值調整及與原數據相關的顏色處理中的一種或多種情況的混合；所述尺度變化包括放大、縮小、扭曲中的一種或多種情況的混合。
[0033]與本發(fā)明實施例濾鏡代碼生成器配合使用的圖像編輯器可以為任意一種現(xiàn)有圖像編輯器，例如Photoshop。美術人員在圖像編輯器內對目標圖像的選定區(qū)域進行任何想要的色彩或尺度形狀的調整，當調整得到想要效果之后，選擇輸出腳本(即濾鏡代碼生成器工作)，即可得到程序員可直接調用的濾鏡函數接口。
[0034]所述代碼轉換模塊12內存儲有每一種效果對應的代碼轉換機制，該代碼轉換機制是根據每種效果的生成原理推論而來，下面我們列舉部分代碼轉換機制進行簡述:
[0035]圖像的中各像素單元的數據表示有多種，假設只針對RGB和HSV兩種顏色空間來進行處理，對于顏色混合中用到的alpha通道，在處理完RGB和HSV后再進行混合計算。
[0036]RGB對應于三源色紅、綠、藍，在數據表現(xiàn)上三個通道分別對應于一個O到255的整型值，映射到符點型數據為0.0到1.0的小數；與RGB對應的HSV，其數據表現(xiàn)如下:H(Hue)表示色調，用角度度量，取值范圍為0°?360°，從紅色開始按逆時針方向計算，紅色為0°，綠色為120°，藍色為240°。它們的補色是:黃色為60°，青色為180°，品紅為300° ；S(Saturat1n)取值范圍為0.0?1.0，值越大，顏色越飽和；V(Value)取值范圍為0(黑色)?255(白色)。
[0037]RGB顏色模型是面向硬件的，即在計算機(包括移動設備)顯示屏上顯示顏色時所對應的值，而HSV(Hue Saturat1n Value)顏色模型是面向用戶的，即一個像素所對應的顏色色調、飽和度和亮度。所以，在圖像編輯軟件中，美術人員既能直接調整圖像的RGB表示的數值也能通過HSV進行調整。在美術人員進行色彩調整時，本發(fā)明濾鏡代碼生成器中的監(jiān)控模塊記錄下目標圖像的RGB和HSV數值的變化(這時，對應的是整體變化，即對目標圖像中的所有像素單元進行同樣的增量數值變化，以比例表示調整后的數值與原數值的變化量度)，R、G、B、H、S、V分別對應上述顏色表示，其中RGB和HSV可通過現(xiàn)有算法進行互相轉化。
[0038]下面我們列舉不同效果對應的代碼轉換機制:
[0039]顏色量度變化:主要指顏色調整，如上所術，RGB主要應用于硬件表示，所以最終生成代碼時，顏色的輸入是RGB表示，輸出的也是顏色值的RGB表示，在記錄顏色變化時，先將由RGB輸入生成對應的HSV表示，R、G、B與H、S、V分別表示目標圖像中圖像單元的原數據表示。在美術人員的調整過程中記錄對應的數值變化比例，以r，g, b, h, s，V表示對應顏色通道的變化比例量度，以r0，gO, b0, h0, s0, v0表示對應顏色通道的變化偏移量度。如果只調整了 RGB則對應的h，s，V為1，h0, s0，vO為O ;同樣的如果只調整了 HSV則r，g, b為1，r0，g0，b0為O。如果兩者都進行了調整，則根據調整的順序按同樣的順序生成顏色變化公式。以RGB2HSV表示從RGB到HSV的轉化，以HSV2RGB表示相反的過程。即HSV =RGB2HSV (RGB)，RGB = HSV2RGB (HSV)。具體公式如下:
[0040]RGB為目標圖像中像素單元的原數值表示；HSV = RGB2HSV (RGB)為原目標圖像中像素單元的原HSV數值表示；H0，SO, VO, R0, GO, BO為調整后的顏色變化，根據RGB與HSV的調整順序生成對應的代碼以先調整HSV再調整RGB為例:
[0041 ] HO = H*h+h0 ；S0 = S*s+s0 ；V0 = V*v+v0 ；
[0042]R0G0B0 = HSV2RGB(H0S0V0)
[0043]Rl = R0*r+r0 ；G1 = G0*g+g0 ；B1 = B0*b+b0 ；
[0044]RlGlBl表示該調整過程的輸出，根據上述公式將生成對應的代碼，上述公式為單純地顏色調整。
[0045]顏色變化的曲線表不:曲線表不為一個映射的表，表的長度與目標通道的顏色表示相同，即RGB通道對應的表的長度為256，對應O到255。索引為O到255的值，其中索引i中所對應的表的值為對應通道中值為i的像素單元的新的該通道的值。公式為:R0=curveR[R]，GO = curveG[G]，BO = curveB [B]，curveR、curveG、curveB 分別表不 R、G、B通道所對應的曲線，其中，三個曲線表示可相同，此時RGB三個通道使用同樣的曲線變化。
[0046]顏色變化權重值得調整:包括正片疊底、顏色加深、濾色、柔光等效果，權重值以一張跟原圖同樣大小的權重圖表示，記為B，目標圖像記為A，輸出圖像記為C，其中，該圖可以為具體相同顏色值的純色圖，此時，權重圖中所有像素顏色相同，當為純色圖時，為節(jié)省內存，生成代碼時以RGB(W)表示該權重值，即只以該純色圖中的顏色值來表示權重。C為目標圖像A與B進行相關運算后生成的輸出。在美術進行調整時，本發(fā)明的軟件記錄下A與B的變化關系，生成對應的處理代碼。其中，曲線和權重變化過程中包含額外的數據即需要以圖片的形式存儲代碼中需要用的曲線表示和權重圖，以在執(zhí)行代碼時作為算法的輸入使用。如上所述，當權重圖為純色圖時，只需要存儲單個像素的顏色值作為目標圖像所有像素單元的權重值。
[0047]與原數據相關的顏色處理:包括模糊、虛影等效果，即根據當前像素單元與其周圍像素單元之間的值的分布及差值關系，生成新的像素值。
[0048]上述四種顏色變化可在同一個調整過程中全部使用，生成代碼時根據其四個過程的先后順序生成對應的代碼，即第一種過程的輸入為目標圖像的輸出，上一種過程的輸出為下一種過程的輸入，最后一種過程的輸出即為整個調整過程的輸出。
[0049]尺度變化(尺度調整):包括放大、縮小、扭曲以及三種情況的混合，像素單元的原像素值Ori = image (x, y);尺度變化后的值New = image (x0, y0)，x, y表示當前像素單元的坐標，x0, y0表示當前像素單元的新的像素值對應的坐標。X，y到xO，y0的變化即為對應的尺度變化，即根據美術人員的調整，在此過程中調整意為選擇相應的變化公式，該變化可為線性的和非線性的，放大和縮小效果為對應的線性變化，扭曲效果對應非線性變化，Image表示目標圖像。
[0050]上述顏色變化和尺度變化可包含于同一個調整過程中，按先后順序生成對應的代碼。
[0051]濾鏡效果可以為對整圖的濾鏡，也可以為局部濾鏡，局部濾鏡指:只處理目標范圍而外界不變，或只處理外界而目標不變。為了使特效過渡自然，通常需要在邊界做漸變淡化處理。下面介紹邊界漸變淡化處理的代碼轉換機制:
[0052]假設局部區(qū)域以一個中心位置和一個半徑r表示，當前像素單元離目標中心的距離記為d，記f = d/r，當只處理目標范圍內的顏色時，貝Ij當O = <f< = 1.0時，該像素單元位于目標范圍內，記s為淡化邊界，0.5 = <s<l.0，選定一個滿足該范圍的淡化邊界，即當f>=s時，用該像素單元所處位置的原像素值和尺度變化后的像素值進行混合，淡化范圍為s=<f< = 1.0，公式為:out = ori*(l.0-f)/(1.0-s) +new ;當處理目標范圍外的顏色時，貝丨J當f> = s時，當前像素單元需要做顏色變化的處理，此時，1.0〈s =〈1.5，淡化范圍為1.0=<f< = S，公式為:out = ori+(f-l.0)/ (s-1.0)*new ;其中，ori為該像素單元的原像素值，new為顏色變化后的值，out為最終的輸出像素值。
[0053]另外，本發(fā)明實施例還公開了一種包含上述實施例濾鏡代碼生氣器的圖像編輯器，包括圖像編輯模塊和濾鏡代碼生成器，圖像編輯模塊主要給美術開發(fā)人員編輯效果使用，其包含現(xiàn)在圖像編輯器(如PhotoShop)的所有色彩調整的功能以及選定某區(qū)域進行色彩或尺度形狀調整的功能，美術人員可以使用該編輯模塊對目標圖像的選定區(qū)域進行任何想要的色彩或尺度形狀的調整。當調整得到想要效果之后，選擇輸出腳本(即濾鏡代碼生成器工作)，即可得到程序員可直接調用的濾鏡函數接口。
[0054]在移動終端上開發(fā)具有濾鏡效果的應用時，按照現(xiàn)有方法:美術先設計，程序員理解其設計理念，然后編寫濾鏡代碼，需要程序員具有編寫GPU腳本語言的能力，以及需要對GHJ框架有一定的了解，對程序員要求較高。本發(fā)明濾鏡代碼生成方法及濾鏡代碼生成器可直接根據美術開發(fā)人員的效果編輯，自動生成濾鏡函數接口，對程序員技能需求進一步縮減；且不需要程序員與美術進行設計理念溝通，不會產生因程序員理解偏差而導致最后效果的偏差，可完全還原美術設計理念，可有效保障開發(fā)質量、大幅幅降低軟件開發(fā)周期及成本。
[0055]本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。
[0056]本說明書(包括任何附加權利要求、摘要和附圖)中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。
[0057]本發(fā)明并不局限于前述的【具體實施方式】。本發(fā)明擴展到任何在本說明書中披露的新特征或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。
【主權項】
1.一種濾鏡代碼生成器，其特征在于，該濾鏡代碼生成器配合圖像編輯器使用，其包括監(jiān)聽模塊，代碼轉化模塊，存儲模塊和封裝模塊； 所述監(jiān)聽模塊，用于監(jiān)聽美術開發(fā)人員在圖像編輯器內進行濾鏡效果編輯時所執(zhí)行的效果編輯事件； 所述代碼轉換模塊，將效果編輯事件中包含的編輯效果轉化為一種或多種高級程序語言代碼，所述高級語言包括任何可調用GLSL語言代碼的程序語言； 所述存儲模塊，記錄并保存整個編輯事件中產生的數據及代碼轉化模塊所轉化的所有代碼； 所述封裝模塊，根據用戶命令，將存儲模塊內存儲的數據及代碼封裝為一個濾鏡函數接口，供程序開發(fā)人員調用。2.如權利要求1所述的濾鏡代碼生成器，其特征在于，所述代碼轉換模塊內存儲有每一種效果對應的代碼轉換機制。3.如權利要求2所述的濾鏡代碼生成器，其特征在于，當監(jiān)聽模塊監(jiān)聽到的效果編輯事件中包含多個單一效果，代碼轉換模塊根據編輯順序依次生成對應的代碼，并將每一個效果對應的數據及代碼依次保存到存儲模塊。4.如權利要求1至3任一項所述的濾鏡代碼生成器，其特征在于，所述效果編輯事件包括顏色變化和/或尺度變化，所述顏色變化包括顏色量度變化、顏色變化的曲線表示、顏色變化權重值調整及與原數據相關的顏色處理中的一種或多種情況的混合；所述尺度變化包括放大、縮小、扭曲中的一種或多種情況的混合。5.一種圖像編輯器，包括供美術開發(fā)人員使用的圖像編輯模塊，其特征在于，所述圖像編輯器還包括濾鏡代碼生成器，所述濾鏡代碼生成器為權利要求1至4任一項所述的濾鏡代碼生成器。6.濾鏡代碼生成方法，其特征在于，包括: 美術開發(fā)人員在圖像編輯器內進行濾鏡效果編輯時，監(jiān)控整個編輯過程，記錄并保存整個編輯過程中產生的數據及效果編輯事件； 將效果編輯事件中包含的編輯效果轉化為一種或多種高級程序語言代碼，所述高級語言包括任何可調用GLSL語言代碼的程序語言； 將上述編輯過程中產生的數據及編輯效果所轉化的代碼封裝為一個濾鏡函數接口，供程序開發(fā)人員調用。7.如權利要求6所述的方法，其特征在于，當效果編輯事件中包含多個單一效果，則根據編輯的順序依次生成對應的代碼。8.如權利要求6或7所述的方法，其特征在于，所述效果編輯事件包括顏色變化和/或尺度變化，所述顏色變化包括顏色量度變化、顏色變化的曲線表示、顏色變化權重值調整及與原數據相關的顏色處理中的一種或多種情況的混合；所述尺度變化包括放大、縮小、扭曲中的一種或多種情況的混合。
【文檔編號】G06F9/44GK105988794SQ201510073657
【公開日】2016年10月5日
【申請日】2015年2月11日
【發(fā)明人】陳卓, 李婧
【申請人】成都理想境界科技有限公司