本公開涉及一種圖像處理裝置、一種圖像處理方法和一種程序。

背景技術(shù)：

通常已經(jīng)執(zhí)行向諸如用戶所拍攝的照片等圖像添加效果。舉例來說，專利文獻1描述了一種圖像處理裝置，其包括檢測輸入圖像的模糊程度的檢測構(gòu)件、基于模糊程度進行選擇的選擇構(gòu)件、通過減少輸入圖像中所包括的信息量來處理輸入圖像的多個圖像處理之一以及對輸入圖像執(zhí)行選定圖像處理的圖像處理構(gòu)件。根據(jù)這種技術(shù)，自動選擇對輸入圖像執(zhí)行的圖像處理，因此能夠以簡單有效的方式顯示圖像。

引文列表

專利文獻

專利文獻1：JP 2010-146264A

技術(shù)實現(xiàn)要素：

技術(shù)問題

然而，近年來，具有圖像捕獲功能的裝置的進一步推廣和性能改善已經(jīng)使得用戶能夠在各種情況下捕獲多種多樣的高質(zhì)量圖像。因此，不僅需要選擇用于消除圖像幻燈片放映的單調(diào)性并且減少由于不穩(wěn)定的手部運動等而變得模糊的圖像的丑陋性的效果(其在以上專利文獻1中描述)，而且需要選擇根據(jù)每個圖像的特征而定的恰當(dāng)效果。

因此，本公開提出一種新型改進的圖像處理裝置、一種圖像處理方法和一種程序，其能夠根據(jù)圖像的特征恰當(dāng)?shù)剡x擇效果處理。

問題解決方案

根據(jù)本公開，提供一種圖像處理裝置，其包括被配置為檢測輸入圖像中的像素的流矢量的流矢量檢測單元以及被配置為基于流矢量的圖案來選擇對輸入圖像的效果的處理的效果選擇單元。

根據(jù)本公開，提供一種圖像處理方法，其包括由圖像處理裝置的處理電路檢測輸入圖像中的像素的流矢量，并且由圖像處理裝置的處理電路基于流矢量的圖案來選擇對輸入圖像的效果的處理。

根據(jù)本公開，提供一種程序，其用于致使圖像處理裝置的處理電路實施用于檢測輸入圖像中的像素的流矢量的功能和用于基于流矢量的圖案來選擇對輸入圖像的效果的處理的功能。

發(fā)明的有利效果

根據(jù)本公開，能夠根據(jù)圖像的特征恰當(dāng)?shù)剡x擇效果處理，如上所述。

請注意，上文描述的效果不一定是限制性的。連同或代替以上效果，可以實現(xiàn)本說明書中所描述的效果或可從本說明書領(lǐng)會的其它效果中的任何一個效果。

附圖說明

【圖1】圖1是示出根據(jù)本公開的一個實施例的系統(tǒng)的示意示例性配置的圖。

【圖2】圖2是示出根據(jù)本公開的一個實施例的系統(tǒng)的第一示例性功能和配置的框圖。

【圖3】圖3是示出根據(jù)本公開的一個實施例的系統(tǒng)的第二示例性功能和配置的框圖。

【圖4】圖4是示出本公開的一個實施例中的效果設(shè)置單元的示例性配置的框圖。

【圖5】圖5是示出本公開的一個實施例中的變焦效果選擇處理的實例的流程圖。

【圖6】圖6是示出本公開的一個實施例中的藝術(shù)效果選擇處理的實例的流程圖。

【圖7】圖7是示出本公開的一個實施例中的油畫或水彩畫選擇處理的實例的流程圖。

【圖8】圖8是示出本公開的一個實施例中的插圖或點畫選擇處理的實例的流程圖。

【圖9】圖9是示出根據(jù)本公開的一個實施例的圖像處理裝置的示例性硬件配置的框圖。

具體實施方式

下文將參考附圖詳細描述本公開的優(yōu)選實施例。在本說明書和附圖中，用相同參考標(biāo)號標(biāo)示大致具有相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)闡述。

請注意，將按以下次序進行描述。

1.示例性系統(tǒng)配置

2.示例性功能和配置

3.效果設(shè)置單元的示例性配置

4.處理流程的實例

4-1.變焦效果選擇處理

4-2.藝術(shù)效果選擇處理

5.硬件配置

6.補充

(1.示例性系統(tǒng)配置)

圖1是示出根據(jù)本公開的一個實施例的系統(tǒng)的示意示例性配置的圖。參看圖1，系統(tǒng)10可包括成像裝置100、終端裝置200和/或服務(wù)器300。在本實施例中，基于對輸入圖像的圖像分析結(jié)果來選擇應(yīng)用于輸入圖像的效果的存在或不存在或者效果的類型(下文中，這些處理可統(tǒng)稱為圖像分析處理)。

舉例來說，輸入圖像可為由成像裝置100捕獲的圖像。在這種情況下，系統(tǒng)10至少包括成像裝置100。圖像分析處理可由成像裝置100實行。在這種情況下，系統(tǒng)10可僅包括成像裝置100。或者，圖像分析處理可由終端裝置200實行，所述終端裝置200通過有線或無線通信從成像裝置100接收圖像的數(shù)據(jù)。在這種情況下，系統(tǒng)10包括成像裝置100和終端裝置200。另外，圖像分析處理可由服務(wù)器300實行，其中通過有線或無線通信從終端裝置200向所述服務(wù)器300轉(zhuǎn)發(fā)圖像的數(shù)據(jù)。在這種情況下，系統(tǒng)10包括成像裝置100、終端裝置200和服務(wù)器300。當(dāng)成像裝置100能夠直接與服務(wù)器300通信時，系統(tǒng)10可僅包括成像裝置100和服務(wù)器300。

請注意，即使當(dāng)例如由成像裝置100實行圖像分析處理時，也可將效果的選擇結(jié)果和選定效果應(yīng)用于的輸入圖像從成像裝置100傳輸?shù)浇K端裝置200或服務(wù)器300。在這種情況下，系統(tǒng)10可進一步包括終端裝置200和/或服務(wù)器300。以相同方式，即使當(dāng)由終端裝置200實行圖像分析處理時，也可將效果的選擇結(jié)果和選定效果應(yīng)用于的輸入圖像從終端裝置200上傳到服務(wù)器300。在這種情況下，系統(tǒng)10可進一步包括服務(wù)器300。另外，可將服務(wù)器300中的圖像分析的結(jié)果反饋到終端裝置200和/或成像裝置100。以相同方式，可將終端裝置200中的圖像分析的結(jié)果反饋到成像裝置100。

另外，舉例來說，輸入圖像可為作為數(shù)據(jù)已經(jīng)存在于設(shè)備內(nèi)部或網(wǎng)絡(luò)上的存儲裝置中的圖像。在這種情況下，系統(tǒng)10不一定包括成像裝置100。圖像分析處理可由終端裝置200實行。在這種情況下，系統(tǒng)10可僅包括終端裝置200。或者，圖像分析處理可由服務(wù)器300實行。在這種情況下，系統(tǒng)10可僅包括服務(wù)器300，并且可進一步包括終端裝置200，所述終端裝置200獲取輸入圖像并且將所獲取的輸入圖像轉(zhuǎn)發(fā)到服務(wù)器300。以上述實例的相同方式，即使當(dāng)由終端裝置200實行圖像分析處理時，也可將效果的選擇結(jié)果和選定效果應(yīng)用于的輸入圖像從終端裝置200上傳到服務(wù)器300。在這種情況下，系統(tǒng)10可進一步包括服務(wù)器300。另外，可將服務(wù)器300中的圖像分析的結(jié)果反饋到終端裝置200。在這種情況下，系統(tǒng)10可進一步包括終端裝置200。

在下文中，將進一步描述其中系統(tǒng)10包括成像裝置100、終端裝置200和服務(wù)器300中的每一者的情況的配置。請注意，稍后描述的圖像處理裝置的硬件配置可被例如用作每個裝置的硬件配置。

成像裝置100是包括圖像捕獲功能的裝置。圖1示出智能電話100a和數(shù)碼相機100b作為成像裝置100的實例，但成像裝置100還可包括具有圖像捕獲功能的任何裝置，諸如平板計算機、游戲機和可穿戴裝置。成像裝置100包括圖像傳感器、與圖像傳感器相關(guān)的光學(xué)系統(tǒng)和驅(qū)動系統(tǒng)，以及圖像處理電路。圖像處理電路可僅實行用于生成圖像數(shù)據(jù)的基本圖像處理，并且可能夠?qū)嵭猩鲜鰣D像分析處理。另外，成像裝置100可進一步包括用于將圖像數(shù)據(jù)等傳輸?shù)浇K端裝置200或服務(wù)器300以及從終端裝置200或服務(wù)器300接收圖像數(shù)據(jù)等的通信裝置、用于輸出在內(nèi)部生成的信息或從終端裝置200或服務(wù)器300接收的信息的諸如顯示器和揚聲器等輸出裝置、用于接受用戶操作的諸如按鈕和觸控面板等輸入裝置等等。

終端裝置200是包括圖像處理功能的裝置。圖1示出個人計算機200a和電視200b作為終端裝置200的實例，但終端裝置200還可包括具有圖像處理功能的任何裝置，諸如平板計算機、智能電話、記錄器和游戲機。例如，甚至諸如平板計算機和智能電話等具有圖像捕獲功能的裝置也可通過接收由另一個裝置捕獲的圖像來充當(dāng)終端裝置200。終端裝置200可包括處理電路、通信裝置和輸入-輸出裝置。舉例來說，終端裝置200可對于通過使用通信裝置從成像裝置100接收的輸入圖像或從裝置內(nèi)部或網(wǎng)絡(luò)上的存儲裝置獲取的輸入圖像通過處理電路實行圖像分析處理，并且經(jīng)由輸入-輸出裝置中所包括的顯示器等輸出處理結(jié)果。另外，終端裝置200可通過使用通信裝置將處理結(jié)果傳輸?shù)匠上裱b置100或服務(wù)器300。

服務(wù)器300在網(wǎng)絡(luò)上配置有一個或多個圖像處理裝置。用于配置服務(wù)器300的圖像處理裝置可包括處理電路和通信裝置。舉例來說，服務(wù)器300可對于通過使用通信裝置從終端裝置200或成像裝置100接收的輸入圖像或從裝置內(nèi)部或網(wǎng)絡(luò)上的存儲裝置獲取的輸入圖像通過處理電路實行圖像分析處理，并且通過使用通信裝置將處理結(jié)果傳輸?shù)浇K端裝置200或成像裝置100。

(2.示例性功能和配置)

圖2是示出根據(jù)本公開的一個實施例的系統(tǒng)的第一示例性功能和配置的框圖。參看圖2，功能和配置500a包括成像單元或通信單元501、圖像獲取單元503、效果設(shè)置單元505、效果設(shè)置DB 507、效果應(yīng)用單元509、圖像輸出單元511、輸出單元或通信單元513、輸入單元或通信單元515、記錄控制單元517以及圖像存儲裝置519。功能和配置500a配置有以上系統(tǒng)10中所包括的成像裝置100、終端裝置200和服務(wù)器300中的任一者?；蛘?，系統(tǒng)10中所包括的多個裝置可協(xié)作來配置功能和配置500a。

在所示出的第一示例性功能和配置中，向用戶呈現(xiàn)基于對輸入圖像的圖像分析的結(jié)果應(yīng)用效果的輸入圖像或不應(yīng)用效果的輸入圖像。此處，圖像可作為記錄預(yù)覽來呈現(xiàn)，或還可被呈現(xiàn)來僅供瀏覽。當(dāng)圖像被作為預(yù)覽來呈現(xiàn)時，可根據(jù)涉及所述圖像的用戶的操作將應(yīng)用效果的輸入圖像或不應(yīng)用效果的輸入圖像存儲在存儲裝置中。在下文中，將描述每個部件。

成像單元或通信單元501將輸入圖像的數(shù)據(jù)供應(yīng)到圖像獲取單元503。在系統(tǒng)10中，成像單元或通信單元501被配置有在例如成像裝置100處生成圖像數(shù)據(jù)的圖像傳感器(成像單元)。或者，成像單元或通信單元501被配置有從成像裝置100或者終端裝置200或服務(wù)器300處的網(wǎng)絡(luò)上的存儲裝置接收圖像數(shù)據(jù)的通信裝置(通信單元)。

圖像獲取單元503是從成像單元或通信單元501獲取輸入圖像的數(shù)據(jù)的軟件接口。在系統(tǒng)10中，圖像獲取單元503配置有成像裝置100、終端裝置200或服務(wù)器300中所包括的處理電路，諸如中央處理單元(CPU)。圖像獲取單元503供應(yīng)輸入圖像用于在效果設(shè)置單元505中進行圖像分析的目的。另外，圖像獲取單元503在根據(jù)效果設(shè)置單元505中的圖像分析的結(jié)果應(yīng)用效果之后將輸入圖像供應(yīng)到效果應(yīng)用單元509(或圖像輸出單元511)，或按原樣輸出。

效果設(shè)置單元505實行圖像分析用于選擇應(yīng)用于由圖像獲取單元503獲取的輸入圖像的效果的存在或不存在或者效果的類型。在系統(tǒng)10中，效果設(shè)置單元505配置有成像裝置100、終端裝置200或服務(wù)器300中所包括的處理電路，諸如CPU。效果設(shè)置單元505檢測例如輸入圖像中的像素的流矢量，并且基于流矢量的圖案選擇應(yīng)用于輸入圖像的效果的存在或不存在或者效果的類型。效果設(shè)置單元505可參考效果設(shè)置DB 507獲取與適用效果相關(guān)的信息。請注意，稍后將描述效果設(shè)置單元505的詳細配置。

效果應(yīng)用單元509根據(jù)效果設(shè)置單元505中的圖像分析的結(jié)果將效果應(yīng)用于從圖像獲取單元503供應(yīng)的輸入圖像。當(dāng)效果設(shè)置單元505選擇不向輸入圖像應(yīng)用效果時，跳過效果應(yīng)用單元509的處理，并且圖像輸出單元511可按原樣輸出輸入圖像。效果設(shè)置單元505配置有成像裝置100、終端裝置200或服務(wù)器300中所包括的處理電路，諸如CPU。

圖像輸出單元511是向輸出單元或通信單元513供應(yīng)在效果應(yīng)用單元509中應(yīng)用效果的輸入圖像或不應(yīng)用效果的輸入圖像的數(shù)據(jù)的軟件接口。在系統(tǒng)10中，圖像輸出單元511配置有成像裝置100、終端裝置200或服務(wù)器300中所包括的處理電路，諸如CPU。另外，圖像輸出單元511根據(jù)經(jīng)由輸入單元或通信單元515所獲取的用戶操作向記錄控制單元517供應(yīng)應(yīng)用效果的輸入圖像或不應(yīng)用效果的輸入圖像的數(shù)據(jù)。

輸出單元或通信單元513輸出從圖像輸出單元511供應(yīng)的輸入圖像的數(shù)據(jù)。在系統(tǒng)10中，輸出單元或通信單元513配置有例如成像裝置100或終端裝置200中所包括的輸出裝置，諸如顯示器(輸出單元)。或者，輸出單元或通信單元513配置有用于終端裝置200將分析結(jié)果傳輸?shù)匠上裱b置100的通信裝置或用于服務(wù)器300將分析結(jié)果傳輸?shù)浇K端裝置200或成像裝置100的通信裝置(通信單元)。在這種情況下，分析結(jié)果由不同于實行圖像分析處理的裝置的裝置輸出。

請注意，當(dāng)由輸出單元或通信單元513輸出的圖像作為記錄預(yù)覽呈現(xiàn)給用戶時提供以下輸入單元或通信單元515、記錄控制單元517和圖像存儲裝置519。當(dāng)圖像僅被呈現(xiàn)用來瀏覽時，功能和配置500a無需包括輸入單元或通信單元515、記錄控制單元517和圖像存儲裝置519。

輸入單元或通信單元515獲取涉及由輸出單元或通信單元513作為預(yù)覽輸出的輸入圖像的由用戶輸入的操作。在系統(tǒng)10中，輸入單元或通信單元515配置有例如成像裝置100或終端裝置200中所包括的輸入裝置，諸如按鈕和觸控面板(輸入單元)。或者，輸入單元或通信單元515配置有用于終端裝置200從成像裝置100接收數(shù)據(jù)的接收器裝置或用于服務(wù)器300從終端裝置200或成像裝置100接收數(shù)據(jù)的通信裝置(通信單元)。在這種情況下，在不同于實行圖像分析處理或圖像保存處理的裝置的裝置處接受用戶操作。

記錄控制單元517根據(jù)輸入單元或通信單元515所獲取的用戶操作在圖像存儲裝置519中存儲應(yīng)用效果的輸入圖像或不應(yīng)用效果的輸入圖像的數(shù)據(jù)。從圖像輸出單元511獲取輸入圖像的數(shù)據(jù)。在系統(tǒng)10中，記錄控制單元517配置有成像裝置100、終端裝置200或服務(wù)器300中所包括的處理電路，諸如CPU。

請注意，雖然圖中未示出，功能和配置500a可進一步包括用于根據(jù)輸入單元或通信單元515所獲取的用戶操作改變應(yīng)用于輸入圖像的效果的類型、向輸入圖像應(yīng)用新效果以及放棄向輸入圖像應(yīng)用效果的部件。公眾已知的技術(shù)可應(yīng)用于這些部件，因此將省略其詳細描述。

圖3是示出根據(jù)本公開的一個實施例的系統(tǒng)的第二示例性功能和配置的框圖。參看圖3，功能和配置500b包括成像單元或通信單元501、圖像獲取單元503、效果設(shè)置單元505、效果設(shè)置DB 507、效果應(yīng)用單元509、記錄控制單元517以及圖像存儲裝置519。功能和配置500b配置有以上系統(tǒng)10中所包括的成像裝置100、終端裝置200或服務(wù)器300中的一者。或者，系統(tǒng)10中所包括的多個裝置可協(xié)作來配置功能和配置500b。

在所示出的第二示例性功能和配置中，將基于對輸入圖像的圖像分析的結(jié)果應(yīng)用效果的輸入圖像或不應(yīng)用效果的輸入圖像自動存儲在存儲裝置中。因此，在圖3所示出的實例中，將在效果應(yīng)用單元509中應(yīng)用效果的輸入圖像或不應(yīng)用效果的輸入圖像的數(shù)據(jù)按原樣供應(yīng)到記錄控制單元517。另外，記錄控制單元517自動地將所供應(yīng)的圖像存儲在圖像存儲裝置519中。請注意，其它部件與以上第一示例性功能和配置相同，因此將省略重復(fù)描述。

在本實施例的以上示例性功能和配置中，基于對輸入圖像的圖像分析的結(jié)果實行用于選擇應(yīng)用于輸入圖像的效果的存在或不存在或者效果的類型的處理。在這些實例中，可基于所述處理的結(jié)果將應(yīng)用效果的輸入圖像存儲在存儲裝置中，并且可顯示應(yīng)用效果的圖像用于預(yù)覽或僅供瀏覽。也就是說，在本實施例中，實行用于選擇應(yīng)用于輸入圖像的效果的存在或不存在或者效果的類型的處理，但不指定處理結(jié)果的既定用途。

(3.效果設(shè)置單元的示例性配置)

圖4是示出本公開的一個實施例中的效果設(shè)置單元的示例性配置的框圖。參看圖4，效果設(shè)置單元505包括圖像分析單元5051和效果選擇單元5059。效果選擇單元5059包括變焦效果選擇單元5061和藝術(shù)效果選擇單元5063。請注意，如上所述，在系統(tǒng)10中，效果設(shè)置單元505配置有成像裝置100、終端裝置200或服務(wù)器300中所包括的處理電路，諸如CPU。在下文中，將描述每個部件。

圖像分析單元5051包括流矢量檢測單元5053、流相干性檢測單元5055和臉部檢測單元5057，并且實行輸入圖像的分析。

流矢量檢測單元5053檢測輸入圖像中的像素的流矢量。流矢量是指示每個像素的方向分量的矢量。更具體地說，舉例來說，流矢量檢測單元5053可通過利用索貝爾過濾器計算輸入圖像中的亮度梯度并且基于亮度梯度檢測流矢量。這種流矢量檢測方法在例如JP 2012-230549A中進行描述?；蛘?，流矢量檢測單元5053可通過使用Jan Eric Kyprianidis、Henry Kang的“Image and Video Abstraction by Cocherence-Enhancing Filtering”中所描述的“平滑結(jié)構(gòu)張量(Smoothed Structure Tensor)”(EUROGRAPHICS 2011，第30卷(2011)，第2期)來檢測流矢量。另外，流矢量檢測單元5053可通過利用各種公眾已知的技術(shù)來檢測流矢量。

流相干性檢測單元5055檢測流矢量檢測單元5053所檢測到的流矢量的相干性。相干性是指示流矢量的一致性的指數(shù)，并且基于流矢量的方向和/或大小來計算。舉例來說，當(dāng)流矢量的方向在相鄰像素之間相同的比例較高時，確定相干性較強。相反，當(dāng)流矢量的方向在相鄰像素之間不相同的比例較高時，確定相干性較弱。請注意，流相干性的檢測方法在例如JP 2013-246460A中描述。另外，流相干性檢測單元5055可通過利用各種公眾已知的技術(shù)來檢測流相干性。

臉部檢測單元5057檢測輸入圖像中所包括的臉部。臉部檢測單元5057通過使用各種公眾已知的算法(諸如小波變換和哈爾特征檢測)來計算輸入圖像中所包括的臉部區(qū)域。請注意，稍后描述的效果選擇單元5059中的基于臉部區(qū)域的確定是額外的，因此圖像分析單元5051無需必定包括臉部檢測單元5057。另外，可使得效果選擇單元5059能夠基于輸入圖像中所包括的臉部區(qū)域，基于元數(shù)據(jù)等，甚至不使用臉部檢測單元5057來執(zhí)行所述確定?；蛘撸瑘D像分析單元5051可包括臉部檢測單元5057，而不管效果選擇單元5059中的確定如何。

效果選擇單元5059包括變焦效果選擇單元5061和藝術(shù)效果選擇單元5063，并且基于圖像分析單元5051中的分析的結(jié)果，更具體地說，輸入圖像中的像素的流矢量的圖案，選擇對輸入圖像的效果的處理。更具體地說，效果選擇單元5059可選擇對輸入圖像的效果的存在或不存在，作為效果的處理。另外，效果選擇單元5059可選擇效果的類型，作為效果的處理。流矢量的圖案可例如為消失點的存在或不存在。另外，流矢量的圖案可由流矢量的相干性等識別。效果選擇單元5059可基于流矢量的相干性選擇對輸入圖像的效果的類型，作為效果的處理。另外，效果選擇單元5059可基于流矢量的相干性選擇對輸入圖像的效果的存在或不存在，作為效果的處理。

變焦效果選擇單元5061選擇是否向輸入圖像應(yīng)用變焦效果或應(yīng)用于輸入圖像的變焦效果的類型。也就是說，效果選擇單元5059中所包括的變焦效果選擇單元5061可基于消失點的存在或不存在來選擇是否向輸入圖像應(yīng)用變焦效果，作為效果的處理。此處，在本說明書中，變焦效果意指參考圖像中的某個點想象地改變視角的效果。變焦效果可例如包括僅拉近到圖像中的某個點的第一變焦效果，以及參考圖像中的某個點重構(gòu)空間模型并且想象地移動視點以使得參考點變成最深部分并隨后拉近的第二變焦效果。在第二變焦效果中，獲得給予諸如假想穿行等沉浸感的視頻效果，因此第二變焦效果在以下描述中還簡單地稱為“穿行”。圖像的邊緣(尤其是其周邊部分)由于在穿行中重構(gòu)空間模型而變模糊，而在第一變焦效果中邊緣得以保持而沒有變模糊，因此在以下描述中第一變焦效果還稱為“邊緣保持變焦”。例如，變焦效果選擇單元5061選擇向輸入圖像應(yīng)用穿行，應(yīng)用邊緣保持變焦，或不應(yīng)用這兩種變焦效果。

藝術(shù)效果選擇單元5063選擇是否向輸入圖像應(yīng)用藝術(shù)效果或應(yīng)用于輸入圖像的藝術(shù)效果的類型。此處，在本說明書中，藝術(shù)效果包括例如水彩畫風(fēng)格、油畫風(fēng)格、插圖風(fēng)格或點畫風(fēng)格的過濾器。舉例來說，在水彩畫風(fēng)格的過濾器中，通過保持邊緣并執(zhí)行平滑化來獲得諸如水彩畫等風(fēng)格的圖像。另外，在油畫風(fēng)格的過濾器中，通過繪制類似于畫筆筆畫的圖案來獲得諸如油畫等風(fēng)格的圖像。在插圖風(fēng)格的過濾器中，通過根據(jù)邊緣繪制平滑線條來獲得諸如插圖等風(fēng)格的圖像。在點畫風(fēng)格的過濾器中，通過繪制短橢圓形狀的圖案來獲得諸如點畫等風(fēng)格的圖像。請注意，藝術(shù)效果可利用例如JP H8-44867A、JP 2011-160306A、JP 2011-166217A(A.Hertzmann，“Painterly Rendering with Curved Brush Strokes of Multiple Sizes”，Proc.Sgigraph 98，ACM Press，1998年，第453至460頁)中描述的公眾已知的技術(shù)。例如，藝術(shù)效果選擇單元5063選擇向輸入圖像應(yīng)用上述藝術(shù)效果之一或不應(yīng)用藝術(shù)效果。

如上所述，變焦效果選擇單元5061和藝術(shù)效果選擇單元5063例如基于輸入圖像中的像素的流矢量的圖案來選擇應(yīng)用于輸入圖像的效果的存在或不存在或者效果的類型。另外，變焦效果選擇單元5061和藝術(shù)效果選擇單元5063可額外基于輸入圖像中的臉部檢測的存在或不存在或臉部區(qū)域的大小或者輸入圖像中的邊緣和顏色的狀態(tài)來選擇應(yīng)用于輸入圖像的效果的存在或不存在或者效果的類型。這個選擇的處理的實例將參考以下流程圖來進一步描述。

(4.處理流程的實例)

(4-1.變焦效果選擇處理)

圖5是示出本公開的一個實施例中的變焦效果選擇處理的實例的流程圖。參看圖5，首先，變焦效果選擇單元5061確定輸入圖像中是否存在流消失點(S101)。流消失點是由流矢量檢測單元5053所檢測到的流矢量形成的消失點。當(dāng)存在流消失點時，從圖像中的某個點處的中心的徑向方向上的矢量在輸入圖像的流矢量中變得占優(yōu)勢。請注意，消失點的檢測可例如利用第2013/0094764號美國專利申請公開中所描述的公眾已知的技術(shù)。

如果在以上S101的確定中確定在輸入圖像中不存在流消失點(否)，則變焦效果選擇單元5061選擇不向輸入圖像應(yīng)用變焦效果(S103)，并且結(jié)束所述處理。例如，在包括具有深度的風(fēng)景的圖像中，變焦效果在參考消失點應(yīng)用時是有效的。相反，在沒有深度的圖像的情況下，或當(dāng)即使具有深度的圖像中不包括消失點時，難以有效地使用變焦效果。因此，在所說明的實例中，變焦效果選擇單元5061在確定輸入圖像中不存在流消失點時選擇不應(yīng)用變焦效果。

另一方面，如果在S101的確定中確定輸入圖像中存在流消失點(是)，則變焦效果選擇單元5061選擇向輸入圖像應(yīng)用變焦效果，并且實行S105至S113的處理用于選擇變焦效果的類型。請注意，在所說明的實例中，在效果設(shè)置DB 507中定義兩種類型的變焦效果(穿行和邊緣保持變焦)，因此實行以上處理。在另一個實例中，當(dāng)僅定義一種類型的變焦效果(例如，只有邊緣保持變焦)時，可在S101的確定中確定輸入圖像中存在流消失點時的時間點處決定應(yīng)用變焦效果。在這種情況下，不執(zhí)行使用流矢量的相干性的確定，因此無需必定提供流相干性檢測單元5055。

在所說明的實例中，如果在S101的確定中確定輸入圖像中存在流消失點，則變焦效果選擇單元5061進一步確定輸入圖像中的流矢量的相干性是否在上部部分與下部部分之間有所不同(S105)。更具體地說，變焦效果選擇單元5061確定是否觀測到流矢量的相干性在輸入圖像的上部部分的區(qū)域中較弱并且在下部部分的區(qū)域中較強的趨勢。這個趨勢是相干性的根據(jù)輸入圖像的區(qū)域的趨勢的實例。觀測到這個趨勢的圖像可為在室外捕獲的圖像。舉例來說，當(dāng)天空和大地的風(fēng)景出現(xiàn)在室外捕獲的圖像中時，流矢量在天空的區(qū)域中指向各個方向，因此相干性變得較弱。另一方面，某種種類的物體(諸如建筑物和道路)存在于大地的風(fēng)景的區(qū)域中，因此與天空的區(qū)域相比，相干性變得較強。S105的確定通過利用這個趨勢來確定輸入圖像是否是在室外捕獲的圖像。

請注意，在另一個實例中，代替以上S105的確定，例如，如果獲取輸入圖像的顏色直方圖，并且觀測到輸入圖像的上部部分比下部部分明亮的趨勢，則可確定輸入圖像是在室外捕獲的圖像。

在以上S105的確定中，如果不確定輸入圖像中的流矢量的相干性在上部部分與下部部分有所不同(否)，則變焦效果選擇單元5061選擇向輸入圖像應(yīng)用邊緣保持變焦(S107)。如上所述，在S105的確定中，可確定輸入圖像是否是在室外捕獲的圖像。因此，如果不確定流矢量的相干性在上部部分與下部部分之間有所不同，則估計輸入圖像不是在室外捕獲的圖像。這種圖像包括在室內(nèi)捕獲的圖像。在室內(nèi)捕獲的圖像的情況下，在許多情況下，物體通常存在到圖像的周邊部分。因此，當(dāng)例如向在室內(nèi)捕獲的圖像應(yīng)用穿行的效果時，有可能由于在周邊部分處的物體的模糊邊緣而產(chǎn)生奇怪感。因此，在所說明的實例中，當(dāng)輸入圖像有可能是在室內(nèi)捕獲的圖像時，應(yīng)用邊緣保持變焦以防止產(chǎn)生奇怪感。

另一方面，如果在S105的確定中確定輸入圖像中的流矢量的相干性在上部部分與下部部分之間有所不同(是)，則變焦效果選擇單元5061進一步確定輸入圖像是否包括強線性邊緣(S109)。此處，如果確定包括強線性邊緣(是)，則變焦效果選擇單元5061選擇向輸入圖像應(yīng)用邊緣保持變焦(S107)。也就是說，在這種情況下，當(dāng)向輸入圖像應(yīng)用變焦效果并且輸入圖像包括線性邊緣時，效果選擇單元5059中所包括的變焦效果選擇單元5061選擇邊緣保持變焦作為變焦效果。當(dāng)輸入圖像包括強線性邊緣時，很有可能在輸入圖像的物體中包括人造結(jié)構(gòu)，諸如建筑物和道路。當(dāng)向包括這種物體的圖像應(yīng)用穿行的效果時，有可能人造結(jié)構(gòu)的物體的邊緣由于模糊的周邊部分而產(chǎn)生奇怪感。因此，在所說明的實例中，當(dāng)很有可能在輸入圖像的物體中包括人造結(jié)構(gòu)時，應(yīng)用邊緣保持變焦以防止產(chǎn)生奇怪感。

請注意，存在索貝爾過濾器、拉普拉斯過濾器等作為用于檢測邊緣的技術(shù)，可根據(jù)從結(jié)果獲得的邊緣信息計算邊緣連續(xù)性。那時，舉例來說，僅留下連續(xù)性被確認(rèn)的邊緣，以便計算邊緣線性程度。在線性程度的計算方法的實例中，如果具有連續(xù)性的相鄰邊緣的角度在某個恒定寬度內(nèi)連續(xù)，則具有連續(xù)性的相鄰邊緣被認(rèn)為是直線邊緣(A)，并且在其它情況下，被認(rèn)為是非直線邊緣(B)，以便進行計數(shù)。接著，確認(rèn)直線邊緣與非直線邊緣的比例(A:B)，并且如果直線邊緣(A)的比例較高，則將邊緣確定為“強直線邊緣”。具體地說，這個處理是當(dāng)A/A+B＝50％或以上(比例的數(shù)值是一個例子，并且不限于50％，而是可任意設(shè)置)時確定為“強直線邊緣”的處理。這個實例中的確定想要防止諸如建筑物等人造結(jié)構(gòu)的直線在穿行時發(fā)生變形。包括許多人造結(jié)構(gòu)的場景包括比較多的直線邊緣(A)，因此如果(A)的比例較高，則選擇邊緣保持變焦。

如果在以上S109的確定中確定輸入圖像中不包括強線性邊緣(否)，則變焦效果選擇單元5061進一步確定臉部檢測單元5057是否已經(jīng)檢測到輸入圖像中所包括的臉部(S111)。此處，如果檢測到輸入圖像中所包括的臉部(是)，則變焦效果選擇單元5061選擇向輸入圖像應(yīng)用邊緣保持變焦(S107)。也就是說，在這種情況下，當(dāng)向輸入圖像應(yīng)用變焦效果并且在輸入圖像中包括臉部時，效果選擇單元5059中所包括的變焦效果選擇單元5061選擇邊緣保持變焦作為變焦效果。當(dāng)向包括臉部作為物體的圖像應(yīng)用穿行的效果時，有可能由于周邊部分處的臉部的模糊邊緣而產(chǎn)生奇怪感。因此，在所說明的實例中，當(dāng)輸入圖像的物體包括臉部時應(yīng)用邊緣保持變焦，以便防止產(chǎn)生奇怪感。

另一方面，如果在S109的確定中未檢測到輸入圖像中所包括的臉部(否)，則變焦效果選擇單元5061選擇向輸入圖像應(yīng)用穿行的效果(S113)。在所說明的實例中，當(dāng)包括流消失點的輸入圖像是在室外捕獲的(S105的是)并且不包括人造結(jié)構(gòu)作為物體(S109的否)且不包括臉部(S111的否)時，應(yīng)用穿行的效果。因而，在所說明的實例中，當(dāng)輸入圖像是包括室外天然對象作為主要對象的風(fēng)景圖像時應(yīng)用穿行的效果(S113)，并且在其它情況下，應(yīng)用邊緣保持變焦的效果(S107)。在以上處理中，效果選擇單元5059中所包括的變焦效果選擇單元5061在向輸入圖像應(yīng)用變焦效果時基于流矢量的相干性來選擇變焦效果的類型。更具體地說，變焦效果選擇單元5061基于流矢量的相干性的根據(jù)輸入圖像的區(qū)域的趨勢來選擇穿行和邊緣保持變焦中的一者作為變焦效果。

通過變焦效果的以上選擇處理，可選擇性地向適合變焦效果的輸入圖像(例如，由所包括的流消失點識別)應(yīng)用變焦效果。另外，向其中邊緣定位在周邊部分處或其有可能由于模糊邊緣而產(chǎn)生奇怪感的輸入圖像應(yīng)用邊緣保持變焦，而向其中不是那些情況的圖像應(yīng)用穿行的效果，從而防止產(chǎn)生奇怪感，同時盡可能多地獲得具有沉浸感的視頻效果。

(4-2.藝術(shù)效果選擇處理)

圖6是示出本公開的一個實施例中的藝術(shù)效果選擇處理的實例的流程圖。參看圖6，首先，藝術(shù)效果選擇單元5063確定臉部檢測單元5057是否已經(jīng)在輸入圖像中檢測到較小臉部(S201)。例如，較小臉部是各個臉部區(qū)域的大小小于預(yù)定閾值的臉部。此處，如果檢測到較小臉部(是)，則藝術(shù)效果選擇單元5063選擇不向輸入圖像應(yīng)用藝術(shù)效果(S203)，并且結(jié)束所述處理。在這種情況下，不向輸入圖像應(yīng)用藝術(shù)效果，而不管流矢量的相干性的強度如何。也就是說，當(dāng)輸入圖像中所包括的臉部小于預(yù)定大小時，效果選擇單元5059中所包括的效果選擇單元5063不向輸入圖像應(yīng)用藝術(shù)效果，而不管相干性的強度如何。本實施例中的藝術(shù)效果可使得輸入圖像中所包括的邊緣的一部分不清晰，因此有可能掩蓋較小物體。另一方面，尤其當(dāng)物體是臉部時，很有可能期望臉部在應(yīng)用效果之后在圖像中清晰可見。因此，在所說明的實例中，當(dāng)在輸入圖像中檢測到較小臉部時，藝術(shù)效果選擇單元5063選擇不應(yīng)用藝術(shù)效果。

另一方面，如果在S201的確定中未在輸入圖像中檢測到細小臉部(否)，則藝術(shù)效果選擇單元5063選擇向輸入圖像應(yīng)用藝術(shù)效果。在所說明的實例中，進一步依序?qū)嵭蠸205至S211的處理，可僅獨立執(zhí)行S201的處理作為用于選擇是否應(yīng)用藝術(shù)效果的處理。

在所說明的實例中，如果在S201的確定中未在輸入圖像中檢測到細小臉部，則藝術(shù)效果選擇單元5063進一步確定輸入圖像中的流矢量的相干性是否弱到可被忽視的程度(S205)。在S205處和之后的處理中，效果選擇單元5059中所包括的藝術(shù)效果選擇單元5063基于相干性的強度來選擇藝術(shù)效果的類型作為效果，作為效果的處理。更具體地說，此處，如果確定相干性弱到可被忽視的程度(是)，則藝術(shù)效果選擇單元5063選擇不向輸入圖像應(yīng)用藝術(shù)效果(S203)。也就是說，在這種情況下，當(dāng)相干性的強度小于閾值時，效果選擇單元5059中所包括的藝術(shù)效果選擇單元5063不向輸入圖像應(yīng)用藝術(shù)效果作為效果。舉例來說，藝術(shù)效果中所包括的油畫風(fēng)格或水彩畫風(fēng)格的過濾器沿著流矢量的方向繪制畫筆的筆畫。另外，插圖風(fēng)格的過濾器沿著邊緣的方向繪制平滑線條。點畫的過濾器根據(jù)流矢量的方向改變橢圓形狀的圖案的角度。因此，當(dāng)相干性較弱(也就是說，流矢量的方向不完全相同)時，上述過濾器的優(yōu)點不太可能出現(xiàn)。因此，在所說明的實例中，當(dāng)確定輸入圖像中的流矢量的相干性弱到可被忽視的程度時，藝術(shù)效果選擇單元5063選擇不應(yīng)用藝術(shù)效果。

請注意，例如，通過利用諸如JP 2013-46460A中所描述的矢量相干性檢測等技術(shù)來檢測相干性的強度。在這種情況下，例如，如JP 2013-46460A的圖4中所示那樣計算矢量(梯度)，并且計算相鄰矢量的相干性?？赏ㄟ^規(guī)格化結(jié)果來計算JP 2013-46460A的圖3中所示的矢量相干性。此處，舉例來說，當(dāng)通過在0(弱)至100(強)之間設(shè)置矢量相干性的強度來表達規(guī)格化結(jié)果并且低相干性的區(qū)域(諸如天空)聚集在例如0至25的區(qū)段處時，0至25的區(qū)段可被定義為“弱相干性區(qū)段”(其不限于以上實例，而是可任意設(shè)置，因為數(shù)值范圍可通過用于計算規(guī)格化程度和相干性強度的算法來波動)。在這種情況下，其中強度包括在“弱相干性區(qū)段”中的相干性占優(yōu)勢的場景不獲得藝術(shù)過濾器的優(yōu)點，并且因此可選擇不應(yīng)用藝術(shù)過濾器。

另一方面，如果在S205的確定中確定輸入圖像中的流矢量的相干性沒有弱到可被忽視的程度(否)，則藝術(shù)效果選擇單元5063選擇向輸入圖像應(yīng)用藝術(shù)效果，并且實行S207至S211的處理用于選擇藝術(shù)效果的類型。請注意，在所說明的實例中，在效果設(shè)置DB 507中定義了四種類型的藝術(shù)效果(水彩畫風(fēng)格、油畫風(fēng)格、插圖風(fēng)格和點畫風(fēng)格的過濾器)，因此實行以上實例。在另一個實例中，當(dāng)僅定義一種類型的藝術(shù)效果時，在S205的確定中確定輸入圖像中的流矢量的相干性沒有弱到可被忽視的程度的時間點處可決定應(yīng)用藝術(shù)效果。另外，當(dāng)例如僅定義以上四種類型的藝術(shù)效果的一部分時，省略用于選擇類型的處理的一部分(這在下文中描述)。

在所說明的實例中，如果在S205的確定中確定輸入圖像中的流矢量的相干性沒有弱到可被忽視的程度，則藝術(shù)效果選擇單元5063進一步確定輸入圖像中的流矢量的相干性是否強到超過某個程度(S207)。此處，如果確定相干性強到超過某個程度(是)，則藝術(shù)效果選擇單元5063決定向輸入圖像應(yīng)用油畫風(fēng)格或水彩畫風(fēng)格的過濾器的效果，并且實行稍后描述的油畫或水彩畫選擇處理(S209)。此處，油畫風(fēng)格或水彩畫風(fēng)格的過濾器的效果是在輸入圖像中表達畫筆筆畫的藝術(shù)效果。也就是說，在這種情況下，當(dāng)相干性超過預(yù)定強度時，效果選擇單元5059中所包括的藝術(shù)效果選擇單元5063向輸入圖像應(yīng)用表達畫筆筆畫的藝術(shù)效果作為藝術(shù)效果。

另一方面，如果不確定相干性強到超過某個程度(否)，則藝術(shù)效果選擇單元5063決定向輸入圖像應(yīng)用插圖風(fēng)格或點畫風(fēng)格的過濾器，并且實行稍后描述的插圖或點畫選擇處理(S211)。以上S207中的確定是基于油畫風(fēng)格或水彩畫風(fēng)格的過濾器在圖像中的流矢量的相干性比較強時合適(因為畫筆的筆畫的表達較豐富)并且插圖風(fēng)格或點畫風(fēng)格的過濾器在圖像中的流矢量的相干性比較弱時合適的事實。

圖7是示出本公開的一個實施例中的油畫或水彩畫選擇處理的實例的流程圖。油畫或水彩畫選擇處理在以上圖6中稱為S209。參看圖7，首先，藝術(shù)效果選擇單元5063確定臉部檢測單元5057已經(jīng)在輸入圖像中檢測到的臉部區(qū)域是否大到超過某個程度(S221)。此處，如果確定臉部區(qū)域大到超過某個程度(是)，則藝術(shù)效果選擇單元5063選擇向輸入圖像應(yīng)用水彩畫風(fēng)格的過濾器(S223)。也就是說，在這種情況下，當(dāng)輸入圖像中所包括的臉部區(qū)域占據(jù)輸入圖像的預(yù)定比例或更多時，效果選擇單元5059中所包括的藝術(shù)效果選擇單元5063應(yīng)用水彩畫風(fēng)格的藝術(shù)效果作為表達畫筆筆畫的藝術(shù)效果。水彩畫風(fēng)格的過濾器更適合臉部皮膚和頭發(fā)的表達。

另一方面，在S221的確定中，如果確定臉部區(qū)域沒有大到超過某個程度(否)，則藝術(shù)效果選擇單元5063進一步確定特定顏色是否在輸入圖像中占優(yōu)勢(S225)。更具體地說，藝術(shù)效果選擇單元5063獲取輸入圖像的顏色直方圖，并且確定諸如黃色和紅色等鮮艷顏色是否占優(yōu)勢。此處，如果特定顏色在輸入圖像中占優(yōu)勢(是)，則藝術(shù)效果選擇單元5063選擇向輸入圖像應(yīng)用油畫風(fēng)格的過濾器(S227)。另一方面，如果特定顏色不在輸入圖像中占優(yōu)勢(否)，則藝術(shù)效果選擇單元5063選擇向輸入圖像應(yīng)用水彩畫風(fēng)格的過濾器(S223)。也就是說，在這種情況下，當(dāng)特定顏色在輸入圖像中占優(yōu)勢時，效果選擇單元5059中所包括的藝術(shù)效果選擇單元5063應(yīng)用油畫風(fēng)格的藝術(shù)效果作為表達畫筆筆畫的藝術(shù)效果。這是因為油畫風(fēng)格的過濾器對于鮮艷顏色的表達有效，而水彩畫風(fēng)格的過濾器在許多情況下相對于其它顏色獲得較恰當(dāng)?shù)慕Y(jié)果。

圖8是示出本公開的一個實施例中的插圖或點畫選擇處理的實例的流程圖。插圖或點畫選擇處理在以上圖6中稱為S211。參看圖8，首先，藝術(shù)效果選擇單元5063確定輸入圖像是否包括強線性邊緣(S241)。此處，如果確定包括強線性邊緣(是)，則藝術(shù)效果選擇單元5063選擇向輸入圖像應(yīng)用插圖風(fēng)格的過濾器(S243)。另一方面，如果確定輸入圖像中不包括強線性邊緣(否)，則藝術(shù)效果選擇單元5063選擇向輸入圖像應(yīng)用點畫風(fēng)格的過濾器(S245)。也就是說，在這個實例中，當(dāng)向輸入圖像應(yīng)用藝術(shù)效果時，效果選擇單元5059中所包括的藝術(shù)效果選擇單元5063基于輸入圖像中所包括的線性邊緣的程度應(yīng)用插圖風(fēng)格的藝術(shù)效果和點畫風(fēng)格的藝術(shù)效果中的一者作為藝術(shù)效果。

如上所述，在插圖風(fēng)格的過濾器中，通過根據(jù)邊緣繪制平滑線條來獲得諸如插圖等風(fēng)格的圖像。因此，插圖風(fēng)格的過濾器在包括強線性邊緣的圖像中特別有效。這種圖像可為例如包括諸如建筑物和道路等人造結(jié)構(gòu)作為物體的圖像。另一方面，當(dāng)邊緣較弱并且不是線性的時，圖像可為例如包括自然對象作為主要對象的風(fēng)景圖像。在這種情況下，點畫風(fēng)格的過濾器是有效的。

藝術(shù)效果的以上選擇處理可恰當(dāng)?shù)剡x擇是否向輸入圖像應(yīng)用藝術(shù)效果，并且當(dāng)應(yīng)用藝術(shù)效果時，根據(jù)輸入圖像中的流矢量的相干性、臉部檢測、邊緣的狀態(tài)等選擇應(yīng)用什么類型的藝術(shù)效果。因而，選擇性地向輸入圖像應(yīng)用各種類型的藝術(shù)效果，并且可使效果的優(yōu)點最大化。

(5.硬件配置)

接下來，參考圖9，描述根據(jù)本公開的一個實施例的圖像處理裝置的硬件配置。圖9是示出根據(jù)本公開的實施例的圖像處理裝置的硬件配置實例的框圖。所示出的圖像處理裝置900可實現(xiàn)上述實施例中的成像裝置、終端裝置和服務(wù)器。

圖像處理裝置900包括中央處理單元(CPU)901、只讀存儲器(ROM)903和隨機存取存儲器(RAM)905。另外，圖像處理裝置900可包括主機總線907、橋接器909、外部總線911、接口913、輸入裝置915、輸出裝置917、存儲裝置919、驅(qū)動器921、連接端口923和通信裝置925。此外，圖像處理裝置900可根據(jù)需要包括成像裝置933和傳感器935。圖像處理裝置900可包括諸如數(shù)字信號處理器(DSP)或?qū)Ｓ眉呻娐?ASIC)等處理電路來代替或補充CPU 901。

CPU 901充當(dāng)算術(shù)處理裝置和控制裝置，并且根據(jù)ROM 903、RAM 905、存儲裝置919或可裝卸記錄媒體927中所記錄的各種程序控制圖像處理裝置900的全部操作或一部分操作。ROM 903存儲CPU 901所使用的程序、操作參數(shù)等。RAM 905短暫地存儲當(dāng)實行CPU 901時所使用的程序以及當(dāng)實行此類程序時適當(dāng)改變的參數(shù)。CPU 901、ROM 903和RAM 905通過由諸如CPU總線等內(nèi)部總線配置的主機總線907彼此連接。主機總線907經(jīng)由橋接器909連接到諸如外圍部件互連/接口(PCI)總線等外部總線911。

輸入裝置915是由用戶操作的裝置，諸如鼠標(biāo)、鍵盤、觸摸屏、按鈕、開關(guān)和控制桿。輸入裝置915可為使用例如紅外輻射和另一種類型的無線電波的遙控裝置?；蛘撸斎胙b置915可為對應(yīng)于圖像處理裝置900的操作的外部連接裝置929，諸如移動電話。輸入裝置915包括基于用戶所輸入的信息生成輸入信號以將所生成的輸入信號輸出到CPU 901的輸入控制電路。用戶通過操作輸入裝置915來輸入各種類型的數(shù)據(jù)并且向圖像處理裝置900指示處理操作。

輸出裝置917包括可在視覺上或聽覺上向用戶報告所獲取的信息的裝置。例如，輸出裝置917可為諸如液晶顯示器(LCD)、等離子顯示面板(PDP)和有機電致發(fā)光(EL)顯示器等顯示裝置、諸如揚聲器和頭戴耳機等音頻輸出裝置，以及打印機。輸出裝置917以諸如圖像等文本或視頻或者諸如語音和音頻聲音等聲音的形式輸出通過由圖像處理裝置900執(zhí)行的處理獲得的結(jié)果。

存儲裝置919是用于數(shù)據(jù)存儲的裝置，其是圖像處理裝置900的存儲單元的實例。例如，存儲裝置919包括諸如硬盤驅(qū)動器(HDD)等磁性存儲裝置、半導(dǎo)體存儲裝置、光學(xué)存儲裝置或磁光存儲裝置。存儲裝置919在其中存儲由CPU 901實行的程序和各種數(shù)據(jù)以及從外部獲取的各種數(shù)據(jù)。

驅(qū)動器921是用于諸如磁盤、光盤、磁光盤和半導(dǎo)體存儲器等可裝卸記錄媒體927的讀取器/寫入器，并且構(gòu)建在圖像處理裝置900中或外部附接到圖像處理裝置900。驅(qū)動器921讀出記錄在所安裝的可裝卸記錄媒體927上的信息，并且將信息輸出到RAM 905。驅(qū)動器921將記錄寫入到所安裝的可裝卸記錄媒體927中。

連接端口923是用于將裝置直接連接到圖像處理裝置900的端口。例如，連接端口923可為通用串行總線(USB)端口、IEEE1394端口或小型計算機系統(tǒng)接口(SCSI)端口。連接端口923還可為RS-232C端口、光學(xué)音頻終端、高清多媒體接口(HDMI(注冊商標(biāo)))端口等等。將外部連接裝置929連接到連接端口923使得有可能在圖像處理裝置900與外部連接裝置929之間交換各種種類的數(shù)據(jù)。

通信裝置925是通信接口，包括例如用于連接到通信網(wǎng)絡(luò)931的通信裝置。通信裝置925可為例如有線或無線局域網(wǎng)(LAN)、藍牙(注冊商標(biāo))或用于無線USB(WUSB)的通信卡。通信裝置925還可為例如用于光學(xué)通信的路由器、用于不對稱數(shù)字用戶線(ADSL)的路由器或用于各種類型的通信的調(diào)制解調(diào)器。舉例來說，通信裝置925在因特網(wǎng)中傳輸并接收信號，或通過使用諸如TCP/IP等預(yù)定協(xié)議來向另一個通信裝置傳輸信號并從另一個通信裝置接收信號。通信裝置925所連接到的通信網(wǎng)絡(luò)931是通過有線或無線連接建立的網(wǎng)絡(luò)。通信網(wǎng)絡(luò)931是例如因特網(wǎng)、家庭LAN、紅外通信、無線電波通信或衛(wèi)星通信。

成像裝置933是通過使用諸如電荷耦合裝置(CCD)和互補金屬氧化物半導(dǎo)體(CMOS)等圖像傳感器以及諸如用于控制主題圖像的圖像形成的透鏡等各種構(gòu)件來將真實空間拍攝到圖像傳感器上并且生成拍攝圖像的裝置。成像裝置933可拍攝靜態(tài)圖像或移動圖像。

傳感器935是諸如加速度傳感器、陀螺儀傳感器、地磁傳感器、光學(xué)傳感器和聲音傳感器等各種傳感器。傳感器935獲取關(guān)于圖像處理裝置900本身的狀態(tài)(諸如圖像處理裝置900的外殼的姿勢)的信息和關(guān)于包圍圖像處理裝置900的環(huán)境(諸如圖像處理裝置900周圍的發(fā)光強度和噪聲)的信息。傳感器935可包括全球定位系統(tǒng)(GPS)傳感器，其接收GPS信號以測量裝置的緯度、經(jīng)度和海拔。

已經(jīng)描述了圖像處理裝置900的硬件配置的實例。上文所描述的每個結(jié)構(gòu)元件可通過使用通用部件來配置或可通過針對每個結(jié)構(gòu)元件的功能專門設(shè)計的硬件來配置。所述配置可根據(jù)本公開的工作時間處的技術(shù)狀態(tài)根據(jù)需要來改變。

(6.補充)

本公開的實施例可包括例如上述圖像處理裝置(成像裝置、終端裝置或服務(wù)器)、系統(tǒng)、由圖像處理裝置或系統(tǒng)實行的圖像處理方法、用于致使圖像處理裝置展現(xiàn)其功能的程序以及其中存儲有程序的非暫態(tài)有形媒體。

上文已經(jīng)參考附圖描述了本公開的優(yōu)選實施例，同時本公開不限于以上實例。本領(lǐng)域的技術(shù)人員可發(fā)現(xiàn)屬于所附權(quán)利要求書的范圍內(nèi)的各種更改和修改形式，并且應(yīng)當(dāng)理解，它們將自然歸入本公開的技術(shù)范圍。

另外，本說明書中所描述的效果僅僅是說明性或例示性效果，而沒有限制性。也就是說，連同或代替以上效果，根據(jù)本公開的技術(shù)可實現(xiàn)本領(lǐng)域的技術(shù)人員基于本說明書的描述而清楚的其它效果。

另外，本技術(shù)還可如下配置。

(1)一種圖像處理裝置，其包括：

流矢量檢測單元，其被配置為檢測輸入圖像中的像素的流矢量；以及

效果選擇單元，其被配置為基于所述流矢量的圖案來選擇對所述輸入圖像的效果的處理。

(2)根據(jù)(1)所述的圖像處理裝置，其中

所述效果選擇單元選擇對所述輸入圖像的所述效果的存在或不存在作為所述效果的所述處理。

(3)根據(jù)(1)或(2)所述的圖像處理裝置，其中

所述效果選擇單元選擇所述效果的類型作為所述效果的所述處理。

(4)根據(jù)(1)至(3)中任一項所述的圖像處理裝置，其中

所述流矢量的所述圖案是消失點的存在或不存在。

(5)根據(jù)(4)所述的圖像處理裝置，其中

所述效果選擇單元基于所述消失點的所述存在或不存在來選擇是否向所述輸入圖像應(yīng)用變焦效果作為所述效果的所述處理。

(6)根據(jù)(5)所述的圖像處理裝置，其中

當(dāng)向所述輸入圖像應(yīng)用所述變焦效果時并且當(dāng)所述輸入圖像包括線性邊緣時，所述效果選擇單元選擇邊緣保持變焦作為所述變焦效果。

(7)根據(jù)(5)或(6)所述的圖像處理裝置，其中

當(dāng)向所述輸入圖像應(yīng)用所述變焦效果時并且當(dāng)所述輸入圖像中包括臉部時，所述效果選擇單元選擇邊緣保持變焦作為所述變焦效果。

(8)根據(jù)(1)至(7)中任一項所述的圖像處理裝置，其中

所述流矢量的所述圖案由所述流矢量的相干性識別。

(9)根據(jù)(1)至(8)中任一項所述的圖像處理裝置，其中

所述效果選擇單元基于所述流矢量的相干性來選擇對所述輸入圖像的所述效果的類型作為所述效果的所述處理。

(10)根據(jù)(1)至(9)中任一項所述的圖像處理裝置，其中

所述效果選擇單元基于所述流矢量的相干性來選擇對所述輸入圖像的所述效果的存在或不存在作為所述效果的所述處理。

(11)根據(jù)(9)所述的圖像處理裝置，其中

所述效果選擇單元基于所述相干性的強度來選擇作為所述效果的藝術(shù)效果的類型作為所述效果的所述處理。

(12)根據(jù)(10)所述的圖像處理裝置，其中

當(dāng)所述相干性的強度小于閾值時，所述效果選擇單元不向所述輸入圖像應(yīng)用藝術(shù)效果作為所述效果。

(13)根據(jù)(11)所述的圖像處理裝置，其中

當(dāng)所述相干性超過預(yù)定強度時，所述效果選擇單元向所述輸入圖像應(yīng)用表達畫筆筆畫的藝術(shù)效果作為所述藝術(shù)效果。

(14)根據(jù)(13)所述的圖像處理裝置，其中

當(dāng)所述輸入圖像中所包括的臉部的區(qū)域占據(jù)所述輸入圖像的預(yù)定比例或更多時，所述效果選擇單元應(yīng)用水彩畫風(fēng)格的藝術(shù)效果作為表達所述畫筆筆畫的所述藝術(shù)效果。

(15)根據(jù)(13)或(14)所述的圖像處理裝置，其中

當(dāng)特定顏色在所述輸入圖像中占優(yōu)勢時，所述效果選擇單元應(yīng)用油畫風(fēng)格的藝術(shù)效果作為表達所述畫筆筆畫的所述藝術(shù)效果。

(16)根據(jù)(11)至(15)中任一項所述的圖像處理裝置，其中

當(dāng)所述輸入圖像中所包括的臉部小于預(yù)定大小時，所述效果選擇單元不向所述輸入圖像應(yīng)用所述藝術(shù)效果，而不管所述相干性的所述強度如何。

(17)根據(jù)(11)至(16)中任一項所述的圖像處理裝置，其中

當(dāng)向所述輸入圖像應(yīng)用所述藝術(shù)效果時，所述效果選擇單元基于所述輸入圖像中所包括的線性邊緣的程度來應(yīng)用插圖風(fēng)格的藝術(shù)效果和點畫風(fēng)格的藝術(shù)效果中的一者作為所述藝術(shù)效果。

(18)根據(jù)(8)所述的圖像處理裝置，其中

當(dāng)向所述輸入圖像應(yīng)用所述變焦效果時，所述效果選擇單元基于所述相干性來選擇變焦效果的類型。

(19)根據(jù)(18)所述的圖像處理裝置，其中

所述效果選擇單元基于所述相干性的根據(jù)所述輸入圖像的區(qū)域的趨勢來選擇穿行和邊緣保持變焦中的一者作為所述變焦效果。

(20)一種圖像處理方法，其包括：

通過圖像處理裝置的處理電路檢測輸入圖像中的像素的流矢量；以及

通過所述圖像處理裝置的所述處理電路基于所述流矢量的圖案來選擇對所述輸入圖像的效果的處理。

(21)一種用于致使圖像處理裝置的處理電路實施以下功能的程序：

用于檢測輸入圖像中的像素的流矢量的功能；以及

用于基于所述流矢量的圖案來選擇對所述輸入圖像的效果的處理的功能。

參考符號列表

10 系統(tǒng)

100 成像裝置

200 終端裝置

300 服務(wù)器

503 圖像獲取單元

505 效果設(shè)置單元

509 效果應(yīng)用單元

511 圖像輸出單元

517 記錄控制單元

5051 圖像分析單元

5053 流矢量檢測單元

5055 流相干性檢測單元

5057 臉部檢測單元

5059 效果選擇單元

5061 變焦效果選擇單元

5063 藝術(shù)效果選擇單元。