本公開(kāi)一般涉及能夠處理圖像的電子設(shè)備以其操作方法。

背景技術(shù)：

隨著數(shù)字技術(shù)的發(fā)展，電子設(shè)備可以用于各種類型，諸如移動(dòng)通信終端、智能電話、平板個(gè)人計(jì)算機(jī)(pc)、個(gè)人數(shù)字助理(pda)、電子記事簿、筆記本計(jì)算機(jī)、可穿戴設(shè)備等等。電子設(shè)備正逐漸達(dá)到甚至包含其它設(shè)備的功能的移動(dòng)融合水平。電子設(shè)備能夠包括相機(jī)模塊。電子設(shè)備能夠通過(guò)相機(jī)模塊拍攝物體圖像，并且能夠?qū)⑺臄z的圖像存儲(chǔ)到或者發(fā)送到外部的另一電子設(shè)備。

當(dāng)處理拍攝的圖像時(shí)，電子設(shè)備可以設(shè)置通過(guò)菜單等等提前準(zhǔn)備的圖像處理功能，并且應(yīng)用所設(shè)置的圖像處理功能，從而處理通過(guò)相機(jī)模塊獲取的圖像。例如，在電子設(shè)備使用圖像濾波器的情況下，用戶能夠預(yù)先設(shè)置所述圖像濾波器，并且電子設(shè)備能夠?qū)⑺O(shè)置的圖像濾波器的功能應(yīng)用在通過(guò)相機(jī)模塊獲取的圖像，從而處理所述圖像。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備能夠提供能夠執(zhí)行以下操作的裝置和方法：從所獲取的圖像數(shù)據(jù)提取距離信息，基于提取的距離信息自動(dòng)地確定圖像處理技術(shù)，以及將所確定的圖像處理技術(shù)應(yīng)用在獲取的圖像，從而生成新的圖像。

根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備能夠提供能夠執(zhí)行以下操作的裝置和方法：從通過(guò)圖像傳感器獲取的圖像數(shù)據(jù)提取距離信息，基于提取的距離信息自動(dòng)地確定圖像濾波器，以及將所確定的圖像濾波器應(yīng)用在獲取的圖像，從而生成新的圖像。

根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備能夠提供能夠執(zhí)行以下操作的裝置和方法：提取通過(guò)圖像傳感器生成的圖像數(shù)據(jù)的輪廓線，以識(shí)別物體的配置信息；基于所述配置信息來(lái)設(shè)置圖像濾波器；以及將所述圖像濾波器應(yīng)用在圖像數(shù)據(jù)，從而生成新的圖像。

根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備能夠包括相機(jī)模塊、存儲(chǔ)器模塊、以及可操作地與相機(jī)模塊和存儲(chǔ)器模塊耦合的處理器。所述處理器能夠通過(guò)相機(jī)模塊獲取圖像數(shù)據(jù)，基于獲取的圖像數(shù)據(jù)提取距離信息，基于提取的距離信息確定用于物體的圖像處理技術(shù)，將所確定的圖像處理技術(shù)應(yīng)用在獲取的圖像數(shù)據(jù)，并且顯示所應(yīng)用的圖像數(shù)據(jù)。

用于在根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備中進(jìn)行操作的方法能夠包括以下操作：通過(guò)圖像傳感器獲取圖像數(shù)據(jù)；從獲取的圖像數(shù)據(jù)提取距離信息；基于提取的距離信息確定用于物體的圖像處理技術(shù)；將所確定的圖像處理技術(shù)應(yīng)用在獲取的圖像數(shù)據(jù)以生成新的圖像；以及顯示所述新的圖像。

附圖說(shuō)明

從以下結(jié)合附圖的詳細(xì)描述，本公開(kāi)的這些和其它方面、特征和伴隨優(yōu)點(diǎn)將被更加容易地領(lǐng)悟和理解，其中，相似的參考標(biāo)號(hào)指代相似的元素，并且其中：

圖1是示出根據(jù)各種示例實(shí)施例的示例網(wǎng)絡(luò)環(huán)境系統(tǒng)的示圖；

圖2是示出根據(jù)各種示例實(shí)施例的示例電子設(shè)備的框圖；

圖3是示出根據(jù)各種示例實(shí)施例的示例程序模塊的框圖；

圖4是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例電子設(shè)備的框圖；

圖5是示出用于在根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備中處理獲取的圖像和生成新的圖像的示例裝置的框圖；

圖6a、圖6b、圖6c、圖6d和圖6e是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像濾波器的示圖；

圖7是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像傳感器的示圖。

圖8是示出根據(jù)本公開(kāi)的示例實(shí)施例的圖像傳感器的示例像素陣列的示圖；

圖9a、圖9b和圖9c是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像傳感器的單位像素和子像素的示例結(jié)構(gòu)的示圖；

圖10a和圖10b是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的圖像傳感器的單位像素和子像素的示例的示圖；

圖11a和圖11b是示出包括上表面相位差傳感器的圖像傳感器的示例操作的示圖；

圖12a和圖12b是擴(kuò)展和示出根據(jù)本公開(kāi)的示例實(shí)施例的示例圖像傳感器的一個(gè)部分的區(qū)的示圖；

圖13a和圖13b是示出在根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備中顯示獲取的圖像和距離信息的示例的示圖；

圖14a、圖14b、圖14c、和圖14d是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備的圖像處理的示例的示圖；

圖15是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像處理設(shè)備的框圖；以及

圖16是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的在電子設(shè)備中處理圖像的示例方法的流程圖。

具體實(shí)施方式

參考附圖更詳細(xì)地描述本公開(kāi)的各種示例實(shí)施例。相同的或者相似的組件可以由相同的或者相似的參考標(biāo)號(hào)指定，雖然它們被示出在不同的附圖中。本領(lǐng)域熟知的結(jié)構(gòu)或者過(guò)程的詳細(xì)描述可以被省略，以避免模糊本公開(kāi)的主題。這里使用的術(shù)語(yǔ)是考慮到本公開(kāi)的功能來(lái)定義的，并且可以根據(jù)用戶的或者運(yùn)營(yíng)商的意圖和用途而變化。因此，這里使用的術(shù)語(yǔ)應(yīng)該被基于這里做出的描述來(lái)理解。將理解，單數(shù)形式“一”和“該”包括復(fù)數(shù)的指示物，除非上下文清楚地另外指示。在本公開(kāi)中，諸如“a或者b”、“a和b中的至少一個(gè)”、或者a和b中的一個(gè)或多個(gè)”的表達(dá)可以包括所列出的項(xiàng)目的全部可能的組合。諸如這里所使用的“第一”、“第二”、“主要”、或者“次要”的表達(dá)可以代表各種元素，而不管次序和/或重要性，并且不限制相應(yīng)的元素。所述表達(dá)可以用于將一個(gè)元素與另一元素區(qū)分開(kāi)。當(dāng)描述元素(諸如第一元素)“(可操作地或者可通信地)耦合”到或者“連接”到另一元素(諸如第二元素)時(shí)，所述元素可以直接連接到所述另一元素，或者可以通過(guò)又一元素(諸如第三元素)連接。

在本公開(kāi)中使用的表達(dá)“被配置(或者設(shè)置)為”可以根據(jù)情形與例如“適于”、“具有...的能力”、“被設(shè)計(jì)為”、“被適配為”、“被使得”或者“能夠”可互換地使用。術(shù)語(yǔ)“被配置(或者設(shè)置)為”不僅僅指代通過(guò)硬件“被專門設(shè)計(jì)為”。在某些情形下，表達(dá)“被配置為...的裝置”可以指代裝置“能夠”與另一裝置或者組件一起操作的情形。例如，短語(yǔ)“被配置(或者設(shè)置)為執(zhí)行a、b、和c的處理器”可以是專用處理器、能夠通過(guò)運(yùn)行存儲(chǔ)在用于執(zhí)行相應(yīng)的操作的獨(dú)占處理器(例如，嵌入式處理器)處或者存儲(chǔ)器設(shè)備處的至少一個(gè)軟件程序來(lái)執(zhí)行相應(yīng)的操作的通用處理器(諸如，中央處理單元(cpu)或者應(yīng)用處理器)。

根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備可以具體實(shí)現(xiàn)為，例如，以下各項(xiàng)中的至少一個(gè)，但是不限于此：智能電話、平板個(gè)人計(jì)算機(jī)(pc)、移動(dòng)電話、視頻電話、電子書閱讀器、桌上型pc、膝上型pc、上網(wǎng)本計(jì)算機(jī)、工作站、服務(wù)器、個(gè)人數(shù)字助理(pda)、便攜式多媒體播放器(pmp)、mpeg3(mp3)播放器、醫(yī)療設(shè)備、相機(jī)、和可穿戴設(shè)備等等。可穿戴設(shè)備能夠包括以下各項(xiàng)中的至少一個(gè)：配件類型(例如，手表、戒指、手環(huán)、腳環(huán)、項(xiàng)鏈、眼鏡、隱形眼鏡、或者頭戴式設(shè)備(hmd))、織物或者衣物嵌入類型(例如，電子服裝)、身體可附接類型(例如，護(hù)皮墊或者紋身)、和可植入電路等等，但是不限于此。電子設(shè)備可以具體實(shí)現(xiàn)為以下各項(xiàng)中的至少一個(gè)，例如：電視機(jī)、數(shù)字多功能盤(dvd)、音頻設(shè)備、冰箱、空調(diào)、清潔器、烤箱、微波爐、洗衣機(jī)、空氣凈化器、機(jī)頂盒、家庭自動(dòng)控制面板、安全控制面板、媒體盒(例如，三星homesync^tm、蘋果tv^tm、或者谷歌tv^tm)、游戲控制臺(tái)(例如，xbox^tm、playstation^tm)、電子詞典、電子鑰匙、攝像錄像機(jī)、和電子相框等等，但是不限于此。

在另一示例實(shí)施例中，電子設(shè)備可以具體實(shí)現(xiàn)為以下各項(xiàng)中的至少一個(gè)：各種醫(yī)療設(shè)備(諸如，各種便攜式醫(yī)療測(cè)量設(shè)備(血糖測(cè)量設(shè)備、心跳測(cè)量設(shè)備、血壓測(cè)量設(shè)備、或者體溫測(cè)量設(shè)備)、磁共振血管造影(mra)設(shè)備、磁共振成像(mri)設(shè)備、計(jì)算機(jī)斷層掃描(ct)設(shè)備、掃描機(jī)、和超聲波設(shè)備)、導(dǎo)航設(shè)備、全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)、事件數(shù)據(jù)記錄器(edr)、飛行數(shù)據(jù)記錄器(fdr)、車輛信息娛樂(lè)設(shè)備、用于輪船的電子設(shè)備(諸如，用于輪船的導(dǎo)航設(shè)備、和陀螺儀指南針)、航空電子設(shè)備、安全設(shè)備、用于車輛的頭部單元、工業(yè)或者家庭機(jī)器人、無(wú)人機(jī)、金融機(jī)構(gòu)的自動(dòng)柜員機(jī)(atm)、商店的銷售點(diǎn)(pos)設(shè)備、和物聯(lián)網(wǎng)(iot)設(shè)備(例如，燈泡、各種傳感器、灑水器設(shè)備、火災(zāi)警報(bào)器、恒溫器、路燈、烤面包機(jī)、運(yùn)動(dòng)裝備、熱水箱、加熱器、和鍋爐)等等，但是不限于此。

根據(jù)示例實(shí)施例，電子設(shè)備可以具體實(shí)現(xiàn)為以下各項(xiàng)中的至少一個(gè)：家具、建筑/結(jié)構(gòu)或者車輛的一部分；電子板；電子簽名接收設(shè)備、投影儀、和各種測(cè)量設(shè)備(例如，供水、電、燃?xì)?、或者電波測(cè)量設(shè)備)等等，但是不限于此。根據(jù)示例實(shí)施例，電子設(shè)備可以是柔性電子設(shè)備或者前述各種設(shè)備中的兩個(gè)或更多個(gè)的組合。根據(jù)本公開(kāi)的示例實(shí)施例，電子設(shè)備不限于前述設(shè)備，可以具體實(shí)現(xiàn)為最新研發(fā)的電子設(shè)備。如這里所使用的術(shù)語(yǔ)“用戶”能夠指代使用電子設(shè)備的人或者使用電子設(shè)備的設(shè)備(例如，人工智能電子設(shè)備)。

首先參考圖1，電子設(shè)備101駐留在網(wǎng)絡(luò)環(huán)境100中。電子設(shè)備101能夠包括總線110、處理器(例如，包括處理電路)120、存儲(chǔ)器130、輸入/輸出接口(例如，包括輸入/輸出電路)150、顯示器160、和通信接口(例如，包括接口電路)170。電子設(shè)備101可以不具有所述組件中的至少一個(gè)，或者可以包括至少一個(gè)另外的組件。

總線110能夠包括用于連接組件120到170和在所述組件之間遞送通信信號(hào)(例如，控制消息或者數(shù)據(jù))的電路。

處理器120能夠包括各種處理電路，諸如，例如，并且不限于，專用處理器、cpu、應(yīng)用處理器、和通信處理器(cp)等等中的一個(gè)或多個(gè)。處理器120能夠，例如，針對(duì)電子設(shè)備101的至少另一組件的控制和/或通信執(zhí)行操作或者數(shù)據(jù)處理。

存儲(chǔ)器130能夠包括易失性和/或非易失性存儲(chǔ)器。存儲(chǔ)器130能夠，例如，存儲(chǔ)與電子設(shè)備101的至少另一組件有關(guān)的命令或者數(shù)據(jù)。根據(jù)實(shí)施例，存儲(chǔ)器130能夠存儲(chǔ)軟件和/或程序140。程序140能夠包括，例如，內(nèi)核141、中間件143、應(yīng)用編程接口(api)145、和/或應(yīng)用程序(或者“應(yīng)用”)147。內(nèi)核141、中間件143、或者api145的至少一部分可以被稱為操作系統(tǒng)(os)。內(nèi)核141能夠控制或者管理用于執(zhí)行由其它程序(例如，中間件143、api145、或者應(yīng)用程序147)實(shí)施的操作或者功能的系統(tǒng)資源(例如，總線110、處理器120、或者存儲(chǔ)器130)。此外，內(nèi)核141能夠提供用于通過(guò)從中間件143、api145、或者應(yīng)用程序147訪問(wèn)電子設(shè)備101的單個(gè)組件來(lái)控制或者管理系統(tǒng)資源的接口。

中間件143能夠，例如，擔(dān)當(dāng)用于通過(guò)通信在api145或者應(yīng)用程序147和內(nèi)核141之間交換數(shù)據(jù)的中介角色。此外，中間件143能夠基于從應(yīng)用程序147接收的一個(gè)或多個(gè)作業(yè)請(qǐng)求的優(yōu)先級(jí)來(lái)處理所述一個(gè)或多個(gè)作業(yè)請(qǐng)求。例如，中間件143能夠?yàn)閼?yīng)用程序147中的至少一個(gè)分配用于使用電子設(shè)備101的系統(tǒng)資源(例如，總線110、處理器120、或者存儲(chǔ)器130)的優(yōu)先級(jí)，并且處理所述一個(gè)或多個(gè)作業(yè)請(qǐng)求。api145，作為應(yīng)用147通過(guò)其來(lái)控制從內(nèi)核141或者中間件143提供的功能的接口，能夠包括，例如，用于文件控制、窗口控制、圖像處理、或者字符控制的至少一個(gè)接口或功能(例如，指令)。輸入/輸出接口150，例如，能夠?qū)挠脩艋蛘吡硪煌獠吭O(shè)備輸入的命令或者數(shù)據(jù)遞送到電子設(shè)備101的(多個(gè))其它組件，或者將從電子設(shè)備101的(多個(gè))其它組件輸入的命令或者數(shù)據(jù)輸出到用戶或者另一外部設(shè)備。

顯示器160，例如，能夠包括液晶顯示器(lcd)、發(fā)光二極管(led)顯示器、有機(jī)發(fā)光二極管(oled)顯示器、微機(jī)電系統(tǒng)(mems)顯示器、或者電子紙顯示器等等，但是不限于此。顯示器160，例如，能夠向用戶顯示各種內(nèi)容(例如，文本、圖像、視頻、圖標(biāo)、和/或符號(hào))。顯示器160能夠包括例如觸摸屏，并且接收利用電子筆或者用戶的身體部分的觸摸輸入、手勢(shì)輸入、接近輸入、或者懸停輸入。

通信接口170能夠，例如，設(shè)置電子設(shè)備101和外部設(shè)備(例如，第一外部電子設(shè)備102、第二外部電子設(shè)備104、或者服務(wù)器106)之間的通信。例如，通信接口170能夠通過(guò)無(wú)線通信或者有線通信通過(guò)網(wǎng)絡(luò)162與外部設(shè)備(例如，第二外部電子設(shè)備104或者服務(wù)器106)通信。

無(wú)線通信，例如，能夠包括使用長(zhǎng)期演進(jìn)(lte)、高級(jí)lte(lte-a)、碼分多址(cdma)、寬帶cdma(wcdma)、通用移動(dòng)電信系統(tǒng)(umts)、無(wú)線寬帶(wibro)、或者全球移動(dòng)通信系統(tǒng)(gsm)中的至少一個(gè)的蜂窩通信。無(wú)線通信164能夠包括，例如，無(wú)線保真(wifi)、藍(lán)牙、藍(lán)牙低功耗(ble)、zigbee、近場(chǎng)通信(nfc)、磁安全傳輸、射頻(rf)、和體域網(wǎng)(ban)中的至少一個(gè)。無(wú)線通信能夠包括gnss。gnss能夠包括，例如，全球定位系統(tǒng)(gps)、全球?qū)Ш叫l(wèi)星系統(tǒng)(glonass)、北斗導(dǎo)航衛(wèi)星系統(tǒng)(北斗)、或者伽利略(歐洲全球衛(wèi)星導(dǎo)航系統(tǒng))。在下文中，gps可以與gnss互換地使用。有線通信，例如，能夠包括通用串行總線(usb)、高清晰度多媒體接口(hdmi)、推薦標(biāo)準(zhǔn)232(rs-232)、電力線通信、和普通老式電話服務(wù)(pots)中的至少一個(gè)。網(wǎng)絡(luò)162能夠包括電信網(wǎng)絡(luò)，例如，計(jì)算機(jī)網(wǎng)絡(luò)(例如，lan或者wan)、互聯(lián)網(wǎng)、和電話網(wǎng)絡(luò)中的至少一個(gè)。

第一外部電子設(shè)備102和第二外部電子設(shè)備104中的每一個(gè)可以具有與電子設(shè)備101的類型相同的類型或者不同的類型。根據(jù)本公開(kāi)的實(shí)施例，在電子設(shè)備101中運(yùn)行的操作中的全部或者一部分可以由另一電子設(shè)備或者多個(gè)電子設(shè)備(例如，電子設(shè)備102或者104、或者服務(wù)器106)運(yùn)行。為了自動(dòng)地或者根據(jù)請(qǐng)求來(lái)執(zhí)行功能或者服務(wù)，而不是由電子設(shè)備101執(zhí)行所述功能或者服務(wù)，電子設(shè)備101能夠從另一設(shè)備(例如，電子設(shè)備102或者104、或者服務(wù)器106)請(qǐng)求與電子設(shè)備101有關(guān)的功能的至少一部分。所述另一電子設(shè)備(例如，電子設(shè)備102或者104、或者服務(wù)器106)能夠執(zhí)行所請(qǐng)求的功能或者額外功能，并且將它的結(jié)果傳送到電子設(shè)備101。電子設(shè)備101能夠通過(guò)處理接收到的結(jié)果來(lái)提供所請(qǐng)求的功能或者服務(wù)。在這樣做時(shí)，例如，云計(jì)算、分布式計(jì)算、或者客戶端-服務(wù)器計(jì)算技術(shù)可以被使用。

圖2是示出根據(jù)本公開(kāi)的示例實(shí)施例的示例電子設(shè)備201的框圖。

電子設(shè)備201，例如，能夠包括上述的圖1的電子設(shè)備101的全部或者一部分。電子設(shè)備201包括一個(gè)或多個(gè)處理器(例如，ap)(例如，包括處理電路)210、通信模塊(例如，包括通信電路)220、用戶識(shí)別模塊(sim)224、存儲(chǔ)器230、傳感器模塊240、輸入設(shè)備(例如，包括輸入電路)250、顯示器260、接口(例如，包括接口電路)270、音頻模塊280、相機(jī)模塊291、電力管理模塊295、電池296、指示器297、和馬達(dá)298。

處理器210，例如，可以包括各種處理電路并且能夠控制連接到處理器210的多個(gè)硬件或者軟件組件，并且還能夠通過(guò)運(yùn)行os或者應(yīng)用程序來(lái)執(zhí)行各種數(shù)據(jù)處理和操作。處理器210可以，例如，利用片上系統(tǒng)(soc)來(lái)實(shí)施。處理器210還能夠包括圖形處理單元(gpu)和/或圖像信號(hào)處理器。處理器210可以包括圖2中所示的組件中的至少一部分(例如，蜂窩模塊221)。處理器210能夠?qū)闹辽僖粋€(gè)其它組件(例如，非易失性存儲(chǔ)器)接收的命令或者數(shù)據(jù)加載到易失性存儲(chǔ)器中，處理它們，并且在非易失性存儲(chǔ)器中存儲(chǔ)各種數(shù)據(jù)。

通信模塊220能夠具有與圖1的通信接口170相同的或者相似的配置。通信模塊220可以包括各種通信電路，諸如，例如，并且不限于，蜂窩模塊221、wifi模塊223、藍(lán)牙(bt)模塊225、gnss模塊227、nfc模塊228、和rf模塊229。蜂窩模塊221，例如，能夠通過(guò)通信網(wǎng)絡(luò)提供語(yǔ)音呼叫、視頻呼叫、短消息服務(wù)(sms)、或者互聯(lián)網(wǎng)服務(wù)。蜂窩模塊221能夠通過(guò)使用sim(例如，sim卡)224來(lái)識(shí)別和認(rèn)證通信網(wǎng)絡(luò)中的電子設(shè)備201。蜂窩模塊221能夠執(zhí)行處理器210提供的功能的至少一部分。蜂窩模塊221還能夠包括cp。蜂窩模塊221、wifi模塊223、bt模塊225、gnss模塊227、和nfc模塊228中的至少一些(例如，兩個(gè)或更多個(gè))可以包括在一個(gè)集成電路(ic)或者ic封裝中。rf模塊229，例如，能夠發(fā)送/接收通信信號(hào)(例如，rf信號(hào))。rf模塊229，例如，能夠包括收發(fā)器、功率放大模塊(pam)、頻率濾波器、低噪聲放大器(lna)、或者天線。根據(jù)另一實(shí)施例，蜂窩模塊221、wifi模塊223、bt模塊225、gnss模塊227、和nfc模塊228中的至少一個(gè)能夠通過(guò)額外的rf模塊來(lái)發(fā)送/接收rf信號(hào)。sim224，例如，能夠包括卡(該卡包括sim或者嵌入式sim)，并且還能夠包含唯一標(biāo)識(shí)信息(例如，集成電路卡標(biāo)識(shí)符(iccid))或者用戶信息(例如，國(guó)際移動(dòng)用戶識(shí)別碼(imsi))。

存儲(chǔ)器230(例如，存儲(chǔ)器130)能夠包括內(nèi)部存儲(chǔ)器232和/或外部存儲(chǔ)器234中的至少一個(gè)。內(nèi)部存儲(chǔ)器232能夠包括，例如，易失性存儲(chǔ)器(例如，動(dòng)態(tài)ram(dram)、靜態(tài)ram(sram)、或者同步動(dòng)態(tài)ram(sdram))、和非易失性存儲(chǔ)器(例如，一次可編程rom(otprom)、可編程rom(prom)、可擦除可編程rom(eprom)、電可擦除可編程rom(eeprom)、掩模rom、快閃rom、快閃存儲(chǔ)器、硬盤驅(qū)動(dòng)器、和固態(tài)驅(qū)動(dòng)器(ssd))中的至少一個(gè)。外部存儲(chǔ)器234能夠包括閃存驅(qū)動(dòng)器，例如，緊湊式閃存(cf)、安全數(shù)字(sd)、微型sd、迷你sd、極限數(shù)字(xd)、多媒體卡(mmc)、或者記憶棒。外部存儲(chǔ)器234可以通過(guò)各種接口在功能上或者物理地連接到電子設(shè)備201。

傳感器模塊240能夠，例如，測(cè)量物理量或者檢測(cè)電子設(shè)備201的操作狀態(tài)，并且從而將測(cè)量到的或者檢測(cè)到的信息轉(zhuǎn)換為電信號(hào)。傳感器模塊240能夠包括手勢(shì)傳感器240a、陀螺儀傳感器240b、大氣壓傳感器240c、磁傳感器240d、加速度傳感器240e、握持傳感器240f、接近傳感器240g、顏色傳感器240h(例如，紅綠藍(lán)(rgb)傳感器)、生物傳感器240i、溫度/濕度傳感器240j、亮度(例如，光)傳感器240k、和紫外線(uv)傳感器240m中的至少一個(gè)。額外地或者替換性地，傳感器模塊240能夠包括電子鼻傳感器、肌電圖(emg)傳感器、腦電圖(eeg)傳感器、心電圖(ecg)傳感器、紅外(ir)傳感器、虹膜傳感器和/或指紋傳感器。傳感器模塊240還能夠包括用于控制傳感器模塊240中的至少一個(gè)傳感器的控制電路。電子設(shè)備還能夠作為處理器210的一部分或者單獨(dú)地包括被配置為控制傳感器模塊240的處理器，并且因此在處理器210休眠的同時(shí)控制傳感器模塊240。

輸入設(shè)備250能夠包括各種輸入電路，諸如，例如，但是不限于，觸摸板252、(數(shù)字)筆傳感器254、按鍵256、和超聲輸入設(shè)備258中的至少一個(gè)。觸摸板252能夠使用電容式、電阻式、紅外、和超聲波方法中的至少一個(gè)。此外，觸摸板252還能夠包括控制電路。觸摸板252還能夠包括觸覺(jué)層以便向用戶提供觸覺(jué)響應(yīng)。(數(shù)字)筆傳感器254能夠包括，例如，觸摸板的一部分或者用于識(shí)別的薄片。按鍵256能夠包括，例如，物理按鈕、觸摸按鍵、光學(xué)按鍵、或者小鍵盤。超聲輸入設(shè)備258能夠通過(guò)麥克風(fēng)288檢測(cè)來(lái)自輸入部件的超聲波，并且檢查與檢測(cè)到的超聲波相對(duì)應(yīng)的數(shù)據(jù)。

顯示器260(例如，顯示器160)能夠包括面板262、全息設(shè)備264、投影儀266、和/或用于控制它們的控制電路中的至少一個(gè)。面板262可以被實(shí)施為柔性的、透明的、或者可穿戴的，例如。面板262和觸摸板252可以配置有一個(gè)或多個(gè)模塊。面板262能夠包括用于測(cè)量用戶觸摸的壓力的壓力傳感器(或者力傳感器)。壓力傳感器可以與觸摸板252集成，或者與觸摸板252分離地包括一個(gè)或多個(gè)傳感器。全息設(shè)備264能夠通過(guò)使用光的干涉在空中顯示三維圖像。投影儀266能夠通過(guò)在屏幕上投射光來(lái)顯示圖像。所述屏幕可以，例如，放置在電子設(shè)備201內(nèi)部或者外部。

接口270能夠包括各種接口電路，諸如，例如，并且不限于，hdmi272、usb274、光學(xué)接口276、或者d-超小型接口(d-sub)278。接口270可以被包括在，例如，圖1的通信接口170中。額外地或者替換性地，接口270能夠包括移動(dòng)高清鏈接(mhl)接口、sd卡/mmc接口、或者紅外數(shù)據(jù)協(xié)會(huì)(irda)標(biāo)準(zhǔn)接口。

音頻模塊280，例如，能夠?qū)⒙曇艮D(zhuǎn)換為電信號(hào)并且將電信號(hào)轉(zhuǎn)換為聲音。音頻模塊280的至少一些組件可以被包括在，例如，圖1的輸入/輸出接口150中。音頻模塊280能夠處理通過(guò)揚(yáng)聲器282、接收器284、耳機(jī)286、或者麥克風(fēng)288輸入或者輸出的聲音信息。相機(jī)模塊291，作為用于捕獲靜止圖像和視頻的設(shè)備，能夠包括一個(gè)或多個(gè)圖像傳感器(例如，前傳感器或者后傳感器)、鏡頭、圖像信號(hào)處理器(isp)、或者閃光燈(例如，led或者氙燈)。電力管理模塊295，例如，能夠管理電子設(shè)備201的電力。根據(jù)本公開(kāi)的實(shí)施例，電力管理模塊295能夠包括電力管理ic(pmic)、充電器ic、或者電池或燃料量表，例如。pmic能夠具有有線和/或無(wú)線充電方法。無(wú)線充電方法能夠包括，例如，磁共振方法、磁感應(yīng)方法、或者電磁方法，并且還能夠包括用于無(wú)線充電的附加電路，例如，線圈回路、諧振電路、或者整流器電路。電池量表能夠測(cè)量電池296的剩余容量、或者充電期間電池296的電壓、電流、或溫度。電池296能夠包括，例如，可充電電池和/或太陽(yáng)能電池。

指示器297能夠顯示電子設(shè)備201或者它的一部分(例如，處理器210)的特定狀態(tài)，例如，啟動(dòng)狀態(tài)、消息狀態(tài)、或者充電狀態(tài)。馬達(dá)298能夠?qū)㈦娦盘?hào)轉(zhuǎn)換為機(jī)械振動(dòng)，并且生成振動(dòng)或者觸覺(jué)效果。電子設(shè)備201能夠包括用于根據(jù)諸如數(shù)字多媒體廣播(dmb)、數(shù)字視頻廣播(dvb)、或者mediaflow^tm的標(biāo)準(zhǔn)來(lái)處理媒體數(shù)據(jù)的移動(dòng)tv支持設(shè)備(例如，gpu)。電子設(shè)備的上述組件中的每一個(gè)可以配置有至少一個(gè)組件，并且相應(yīng)組件的名稱能夠根據(jù)電子設(shè)備的種類而變化。根據(jù)本公開(kāi)的實(shí)施例，電子設(shè)備(例如，電子設(shè)備201)可以被配置為包括上述組件中的至少一個(gè)或者另外的組件，或者不包括上述組件中的一些。此外，電子設(shè)備中的組件中的一些被配置為一個(gè)實(shí)體，從而先前的相應(yīng)的組件的功能被相同地執(zhí)行。

圖3是示出根據(jù)本公開(kāi)的實(shí)施例的示例程序模塊的框圖。程序模塊310(例如，程序140)能夠包括用于控制與電子設(shè)備(例如，電子設(shè)備101)有關(guān)的資源的os、和/或在所述os上運(yùn)行的各種應(yīng)用(例如，應(yīng)用程序147)。所述os能夠包括，例如，android^tm、ios^tm、windows^tm、symbian^tm、tizen^tm、或者bada^tm。參考圖3，程序模塊310能夠包括內(nèi)核320(例如，內(nèi)核141)、中間件330(例如，中間件143)、api360(例如，api145)、和/或應(yīng)用370(例如，應(yīng)用程序147)。程序模塊310的至少一部分可以被預(yù)加載在電子設(shè)備上，或者可以從外部電子設(shè)備(例如，電子設(shè)備102、104、或者服務(wù)器106)下載。

內(nèi)核320包括，例如，系統(tǒng)資源管理器321和/或設(shè)備驅(qū)動(dòng)器323中的至少一個(gè)。系統(tǒng)資源管理器321能夠控制、分配、或者取回系統(tǒng)資源。根據(jù)實(shí)施例，系統(tǒng)資源管理器321能夠包括進(jìn)程管理單元、存儲(chǔ)器管理單元、或者文件系統(tǒng)管理單元。設(shè)備驅(qū)動(dòng)器323能夠包括，例如，顯示驅(qū)動(dòng)器、相機(jī)驅(qū)動(dòng)器、藍(lán)牙驅(qū)動(dòng)器、共享存儲(chǔ)器驅(qū)動(dòng)器、usb驅(qū)動(dòng)器、小鍵盤驅(qū)動(dòng)器、wifi驅(qū)動(dòng)器、音頻驅(qū)動(dòng)器、或者進(jìn)程間通信(ipc)驅(qū)動(dòng)器。

中間件330，例如，能夠提供應(yīng)用370通常要求的功能，或者能夠通過(guò)api360向應(yīng)用370提供各種功能，以便允許應(yīng)用370高效地使用電子設(shè)備內(nèi)部的有限的系統(tǒng)資源。中間件330包括以下各項(xiàng)中的至少一個(gè)：運(yùn)行時(shí)庫(kù)335、應(yīng)用管理器341、窗口管理器342、多媒體管理器343、資源管理器344、電力管理器345、數(shù)據(jù)庫(kù)管理器346、封包管理器347、連接性管理器348、通知管理器349、位置管理器350、圖形管理器351、和安全性管理器352。

運(yùn)行時(shí)庫(kù)335能夠包括，例如，被編譯器用來(lái)在應(yīng)用370運(yùn)行的同時(shí)通過(guò)編程語(yǔ)言添加新功能的庫(kù)模塊。運(yùn)行時(shí)庫(kù)335能夠管理輸入/輸出，管理存儲(chǔ)器，或者運(yùn)算功能處理。應(yīng)用管理器341，例如，能夠管理應(yīng)用370的生命周期。窗口管理器342能夠管理在屏幕中使用的gui資源。多媒體管理器343能夠識(shí)別用于播放各種媒體文件的格式，并且通過(guò)使用相應(yīng)格式的編解碼器來(lái)編碼或者解碼媒體文件。資源管理器344能夠管理應(yīng)用3740的源代碼或者存儲(chǔ)器空間。電力管理器345能夠管理電池的容量或者電力，并且提供用于電子設(shè)備的操作的電力信息。電力管理器345能夠與基本輸入/輸出系統(tǒng)(bios)一起操作。數(shù)據(jù)庫(kù)管理器346能夠創(chuàng)建、搜索、或者修改在應(yīng)用370中使用的數(shù)據(jù)庫(kù)。封包管理器347能夠管理以封包文件格式分布的應(yīng)用的安裝或者更新。

連接性管理器348能夠管理，例如，無(wú)線連接。通知管理器349能夠向用戶提供事件，諸如傳入消息、約會(huì)、和接近警告。位置管理器350能夠管理電子設(shè)備的位置信息。圖形管理器351能夠管理將被提供給用戶的圖形效果或者與所述圖形效果有關(guān)的用戶接口。安全性管理器352能夠提供，例如，系統(tǒng)安全性或者用戶認(rèn)證。中間件330能夠包括用于管理電子設(shè)備的語(yǔ)音或者視頻呼叫功能的電話管理器、或者用于組合上述組件的各種功能的中間件模塊。中間件330能夠提供專用于每個(gè)類型的os的模塊。中間件330能夠動(dòng)態(tài)地刪除現(xiàn)有組件中的一部分或者添加新的組件。作為api編程功能的集合的api360可以根據(jù)os作為另一配置被提供。例如，android或者ios能夠?yàn)槊總€(gè)平臺(tái)提供一個(gè)api集合，并且tizen能夠?yàn)槊總€(gè)平臺(tái)提供兩個(gè)或更多個(gè)api集合。

應(yīng)用370能夠包括以下各項(xiàng)中的至少一個(gè)：主頁(yè)(home)371、撥號(hào)器372、sms/多媒體消息系統(tǒng)(mms)373、即時(shí)消息(im)374、瀏覽器375、相機(jī)376、警報(bào)377、聯(lián)系人378、語(yǔ)音撥號(hào)379、電子郵件380、日歷381、媒體播放器382、唱片集383、時(shí)鐘384、健康護(hù)理(例如，測(cè)量運(yùn)動(dòng)量或者血糖水平)、或者環(huán)境信息(例如，空氣壓力、濕度、或者溫度信息)提供應(yīng)用。應(yīng)用370能夠包括用于支持電子設(shè)備和外部電子設(shè)備之間的信息交換的信息交換應(yīng)用。信息交換應(yīng)用能夠包括，例如，用于將特定信息中繼到外部設(shè)備的通知中繼應(yīng)用或者用于管理外部電子設(shè)備的設(shè)備管理應(yīng)用。例如，通知中繼應(yīng)用能夠?qū)⑼ㄖ畔碾娮釉O(shè)備的另一應(yīng)用中繼到外部電子設(shè)備，或者從外部電子設(shè)備接收通知信息并將其轉(zhuǎn)發(fā)到用戶。設(shè)備管理應(yīng)用，例如，能夠安裝、刪除、或者更新與電子設(shè)備通信的外部電子設(shè)備的功能(例如，開(kāi)啟/關(guān)閉外部電子設(shè)備自身(或者一些組件)或者顯示亮度(或者分辨率)調(diào)整)、或者在外部電子設(shè)備中操作的應(yīng)用。應(yīng)用370能夠根據(jù)外部電子設(shè)備的屬性而包括指定的應(yīng)用(例如，移動(dòng)醫(yī)療設(shè)備的健康護(hù)理應(yīng)用)。應(yīng)用370能夠包括從外部電子設(shè)備接收的應(yīng)用。程序模塊310的至少一部分可以利用軟件、固件、硬件(例如，處理器210)、或者它們中的至少兩個(gè)的組合來(lái)實(shí)施(例如，運(yùn)行)，并且包括模塊、程序、例程、指令集、或者用于運(yùn)行一個(gè)或多個(gè)功能的進(jìn)程。

在本公開(kāi)中使用的術(shù)語(yǔ)“模塊”包括單元，該單元包括硬件、軟件、或者固件、或者它們的任何組合，并且所述“模塊”可以與諸如單元、邏輯、邏輯塊、組件、電路等等的術(shù)語(yǔ)互換地使用。所述“模塊”可以是一體地構(gòu)造的組件或者最小單元、或者它們的用于執(zhí)行一個(gè)或多個(gè)功能的一個(gè)部分。所述“模塊”可以機(jī)械地或者電氣地實(shí)施，并且可以包括，例如，但不限于，熟知的或者將被研發(fā)以執(zhí)行某些操作的專用進(jìn)程、cpu、專用集成電路(asic)芯片、現(xiàn)場(chǎng)可編程門陣列(fpga)、或者可編程邏輯器件。

根據(jù)各種示例實(shí)施例的裝置(例如，它的模塊或者功能)或者方法(例如，操作)的至少一部分可以利用存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)(例如，存儲(chǔ)器130)中的指令來(lái)實(shí)施。如果所述指令將被一個(gè)或多個(gè)處理器(例如，處理器120)運(yùn)行，則所述一個(gè)或多個(gè)處理器可以執(zhí)行與所述指令相對(duì)應(yīng)的功能。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以包括硬盤、軟盤、磁性介質(zhì)(例如，磁帶)、光學(xué)介質(zhì)(例如，致密盤-rom(cd-rom)、數(shù)字多功能盤(dvd)、磁光介質(zhì)(例如，軟盤))、內(nèi)部存儲(chǔ)器等等。所述指令可以包括由編譯器創(chuàng)建的代碼或者可由解釋器運(yùn)行的代碼。

根據(jù)各種示例實(shí)施例的模塊或者編程模塊還可以包括上述元素當(dāng)中的至少一個(gè)或者更多個(gè)元素，或者可以省略它們中的一些，或者還可以包括額外的其它元素。由模塊、編程模塊、或者其它元素執(zhí)行的操作可以以順序的、并行的、重復(fù)的、或者探索的方式來(lái)運(yùn)行。此外，所述操作中的一些可以以不同的順序來(lái)運(yùn)行，或者可以被省略，或者其它操作可以被添加。

在本公開(kāi)的各種示例實(shí)施例中，術(shù)語(yǔ)“圖像信息”可以，例如，被用作包括從圖像傳感器輸出的圖像數(shù)據(jù)以及電子設(shè)備和物體之間的距離信息的術(shù)語(yǔ)?！皥D像數(shù)據(jù)”可以包括，例如，在圖像傳感器中生成的彩色圖像?！熬嚯x信息”可以包括，例如，在圖像傳感器中生成的在物體和電子設(shè)備之間的距離信息?？梢岳缤ㄟ^(guò)圖像傳感器的像素之間的相位差信息來(lái)生成距離信息。例如，2光電檢測(cè)器(2-pd)圖像傳感器或者4-pd圖像傳感器能夠通過(guò)子像素之間的相位差來(lái)確定距離信息。包括上表面相位差傳感器的圖像傳感器能夠基于上表面相位差傳感器的輸出來(lái)確定距離信息。所述“圖像信息”可以包括，例如，“三維(3d)信息”?！芭渲眯畔ⅰ笨梢园ǎ?，可以基于圖像中包括的物體的深度圖(depthmap)來(lái)估計(jì)的信息。配置信息能夠包括圖像內(nèi)的物體范圍和/或物體位置信息。配置信息還能夠包括電子設(shè)備的拍攝姿勢(shì)信息?！靶聢D像”可以包括，例如，通過(guò)對(duì)獲取的圖像應(yīng)用可以自動(dòng)地設(shè)置在電子設(shè)備中的圖像處理技術(shù)而生成的圖像。所述圖像處理技術(shù)可以包括，例如，圖像濾波方法。

圖4是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例電子設(shè)備的框圖。

參考圖4，電子設(shè)備能夠包括處理器(例如，包括處理電路)400、存儲(chǔ)器模塊410、相機(jī)模塊(例如，包括相機(jī)以及關(guān)聯(lián)圖像獲取和處理電路)420、傳感器模塊430、輸入模塊(例如，包括輸入電路)440、和/或顯示器模塊450。在某些示例實(shí)施例中，電子設(shè)備能夠省略所述元素中的至少一個(gè)，或者額外地包括其它元素。

處理器400可以包括各種處理電路，并且能夠根據(jù)電子設(shè)備的至少一個(gè)其它元素的控制和/或應(yīng)用運(yùn)行，來(lái)運(yùn)行操作或者數(shù)據(jù)處理。處理器400能夠分析在拍攝模式下獲取的圖像數(shù)據(jù)，以便提取距離信息，并且基于所提取的距離信息來(lái)處理圖像。處理器400能夠設(shè)置拍攝條件。處理器400能夠在基于拍攝條件獲取的圖像數(shù)據(jù)的基礎(chǔ)上識(shí)別圖像數(shù)據(jù)內(nèi)的物體的配置信息，并且基于所述物體的配置信息來(lái)設(shè)置圖像處理技術(shù)(例如，圖像濾波器)，并且將所設(shè)置的圖像處理技術(shù)應(yīng)用在所獲取的圖像數(shù)據(jù)，從而生成新的圖像。

存儲(chǔ)器模塊410能夠包括易失性和/或非易失性存儲(chǔ)器。存儲(chǔ)器模塊410能夠存儲(chǔ)與電子設(shè)備的至少其它元素有關(guān)的命令或者數(shù)據(jù)。存儲(chǔ)器模塊410能夠存儲(chǔ)軟件和/或程序。所述程序能夠，例如，包括內(nèi)核、中間件、應(yīng)用編程接口(api)、應(yīng)用程序(或者“應(yīng)用”)等等。所述內(nèi)核、中間件、或者api中的至少一些可以被稱為操作系統(tǒng)(os)。根據(jù)本公開(kāi)的各種示例實(shí)施例的存儲(chǔ)器模塊410能夠存儲(chǔ)圖像濾波器。

相機(jī)模塊420能夠包括各種圖像接收和處理電路和元素，諸如，例如，并且不限于，鏡頭和圖像傳感器，并且能夠獲取包括物體的圖像。相機(jī)模塊420可以是圖2的相機(jī)模塊291。相機(jī)模塊420也可以被稱為成像設(shè)備。圖像傳感器能夠生成圖像數(shù)據(jù)。圖像數(shù)據(jù)能夠包括用于提取距離信息(例如，深度信息)的信號(hào)。例如，圖像數(shù)據(jù)能夠包括像素圖像數(shù)據(jù)和用于提取(確定)距離信息的信號(hào)。圖像傳感器能夠具有其中一個(gè)單位像素包括多個(gè)子像素的圖像傳感器結(jié)構(gòu)(例如，2-pd圖像傳感器、4-pd圖像傳感器等等)。圖像傳感器能夠具有包括像素傳感器和上表面相位差傳感器的結(jié)構(gòu)。圖像傳感器可以是能夠提取電子設(shè)備和物體之間的距離信息的飛行時(shí)間(timeofflight，tof)圖像傳感器或者結(jié)構(gòu)化光(structured-light)圖像傳感器。圖像傳感器能夠包括ir或者超聲波測(cè)量設(shè)備等等，并且輸出用于提取物體的距離信息的信號(hào)。

傳感器模塊430能夠包括能夠感測(cè)電子設(shè)備的運(yùn)動(dòng)、電子設(shè)備的姿勢(shì)等等的信息的各種傳感器。傳感器模塊430可以是圖2的傳感器模塊240。傳感器模塊430能夠包括傾斜傳感器、加速度傳感器、陀螺儀傳感器、等等。傳感器模塊430還能夠包括以下各項(xiàng)中的一些或全部：壓力傳感器、接近傳感器、氣壓計(jì)、地磁傳感器(或者羅盤針傳感器)、超聲波傳感器、通過(guò)使用圖像來(lái)感測(cè)移動(dòng)的光流、溫度-濕度傳感器、照度傳感器、uv傳感器、和/或手勢(shì)傳感器。

根據(jù)本公開(kāi)的各種示例實(shí)施例的傳感器模塊430能夠識(shí)別以下各項(xiàng)中的至少一個(gè)：電子設(shè)備的傾斜、電子設(shè)備的移動(dòng)、和/或拍攝模式下的電子設(shè)備的抓取。傾斜傳感器能夠感測(cè)電子設(shè)備的傾斜。傾斜傳感器也可以被替換成加速度傳感器和/或陀螺儀傳感器。

輸入模塊440可以包括各種輸入電路，并且可以包括，例如，圖1的輸入輸出接口150和圖2的輸入設(shè)備250的整個(gè)或者部分結(jié)構(gòu)。輸入模塊440能夠輸入：用于控制電子設(shè)備的操作的輸入和數(shù)據(jù)。輸入模塊440可以是觸摸板。輸入模塊440能夠包括(數(shù)字)筆傳感器。輸入模塊440能夠包括按鍵按鈕。

顯示器模塊450可以是圖1的顯示器160或者圖2的顯示器260。顯示器模塊450可以是液晶顯示器(lcd)、或者發(fā)光二極管(led)顯示器。led顯示器能夠包括有機(jī)led(oled)和有源矩陣oled(amoled)等等。

輸入模塊440和顯示器模塊450能夠包括觸摸屏。觸摸屏能夠在處理器400的控制下顯示屏幕，并且能夠檢測(cè)使用電子筆或者用戶的身體的一部分輸入的觸摸、手勢(shì)、接近、或者懸停。

根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備還能夠包括通信模塊(圖4中未示出)。所述通信模塊能夠包括各種通信電路，例如，但不限于，包括無(wú)線通信模塊和有線通信模塊中的至少一個(gè)。無(wú)線通信模塊能夠包括rf模塊、蜂窩模塊、wifi模塊、藍(lán)牙模塊、和/或gps模塊中的一些或者全部。

蜂窩模塊能夠使用長(zhǎng)期演進(jìn)(lte)、高級(jí)lte(lte-a)、碼分多址(cdma)、寬帶cdma(wcdma)、通用移動(dòng)電信系統(tǒng)(umts)、無(wú)線寬帶(wibro)、全球移動(dòng)通信系統(tǒng)(gsm)等等中的至少一個(gè)。

并且，通信模塊能夠包括wifi模塊、藍(lán)牙(bt)模塊、近場(chǎng)通信(nfc)、全球?qū)Ш叫l(wèi)星系統(tǒng)(gnss)、gps等等中的至少一個(gè)。根據(jù)使用區(qū)域、帶寬等等，gnss能夠，例如，包括gps、全球?qū)Ш叫l(wèi)星系統(tǒng)(glonass)、北斗導(dǎo)航衛(wèi)星系統(tǒng)(在下文中，“北斗”)、伽利略、或者歐洲全球衛(wèi)星導(dǎo)航系統(tǒng)中的至少一個(gè)。通信模塊的“gnss”可以與“gps”可互換地使用。

圖5是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的用于在電子設(shè)備中處理獲取的圖像和生成新的圖像的示例裝置的示圖。

參考圖5，電子設(shè)備能夠包括相機(jī)模塊510、拍攝設(shè)置模塊520、信息獲取模塊530、濾波器確定模塊540、濾波器應(yīng)用模塊550、和/或顯示器模塊560。

相機(jī)模塊510可以是圖4的相機(jī)模塊420。相機(jī)模塊510可以包括能夠?qū)⒐鈱W(xué)信號(hào)轉(zhuǎn)換為電信號(hào)并且將電信號(hào)作為圖像數(shù)據(jù)輸出的各種電路和元素。相機(jī)模塊510能夠包括圖像傳感器。圖像傳感器能夠從通過(guò)鏡頭入射的光學(xué)信號(hào)獲取圖像數(shù)據(jù)。

圖像傳感器能夠包括能夠生成圖像和用于提取距離信息的信號(hào)的一體式(one-piecetype)圖像傳感器、以及生成圖像和用于提取距離信息的信號(hào)中的每一個(gè)的立體式(stereotype)圖像傳感器。

根據(jù)示例實(shí)施例，一體式圖像傳感器可以是：其中一個(gè)單位像素具有多個(gè)子像素的圖像傳感器(例如，2-pd圖像傳感器、4-pd圖像傳感器等等)、包括上表面相位差傳感器和像素傳感器的圖像傳感器、等等。一體式圖像傳感器能夠同時(shí)輸出：用于提取距離信息的信號(hào)、和圖像數(shù)據(jù)。從圖像傳感器輸出的所述圖像數(shù)據(jù)以及所述用于提取距離信息的信號(hào)可以被彼此映射。

根據(jù)示例實(shí)施例，立體式圖像傳感器能夠獨(dú)立地構(gòu)建顏色傳感器陣列和深度傳感器陣列中的每一個(gè)，所述顏色傳感器陣列生成色彩數(shù)據(jù)，而深度傳感器陣列輸出用于計(jì)算(確定)距離信息的信號(hào)。例如，深度傳感器陣列可以是ir傳感器陣列。立體式圖像傳感器能夠獨(dú)立地生成彩色圖像和用于提取距離信息的信號(hào)中的每一個(gè)。例如，立體式圖像傳感器能夠在相互不同的時(shí)間生成所述彩色圖像和所述用于提取距離信息的信號(hào)。

根據(jù)本公開(kāi)的各種示例實(shí)施例的相機(jī)模塊420的圖像傳感器可以是包括生成圖像和用于確定距離信息的信號(hào)的所有傳感器的一體式圖像傳感器。根據(jù)本公開(kāi)的各種示例實(shí)施例的相機(jī)模塊420的圖像傳感器也可以是單獨(dú)地生成圖像和用于確定距離信息的信號(hào)的立體式圖像傳感器。

根據(jù)本公開(kāi)的各種示例實(shí)施例的圖像傳感器能夠生成包括圖像和用于確定距離信息的信號(hào)的圖像數(shù)據(jù)。所述圖像和所述用于確定距離信息的信號(hào)可以被同時(shí)生成，或者所述圖像和所述用于確定距離信息的信號(hào)可以被單獨(dú)地生成。并且，所述圖像和所述用于確定距離信息的信號(hào)可以按照像素或者按照設(shè)置的區(qū)域被映射，或者可以不被映射。

拍攝設(shè)置模塊520能夠包括被配置為設(shè)置諸如相機(jī)模塊510的焦點(diǎn)、曝光、白平衡等等的一般拍攝條件的各種電路和/或程序元素。拍攝設(shè)置模塊520能夠設(shè)置將所述圖像處理技術(shù)應(yīng)用或者不應(yīng)用在從相機(jī)模塊510獲取的圖像。例如，所述圖像處理技術(shù)可以是圖像濾波。如果應(yīng)用圖像濾波器的拍攝操作被設(shè)置，則拍攝設(shè)置模塊520能夠設(shè)置在相機(jī)模塊510中設(shè)置的拍攝條件，并且能夠設(shè)置在濾波器確定模塊540中確定圖像濾波器。

信息獲取模塊530能夠包括被配置為得到信息的各種電路和/或程序元素，所述信息諸如構(gòu)成視野的物體之間的位置關(guān)系、所述物體和電子設(shè)備之間的位置關(guān)系、電子設(shè)備的拍攝姿勢(shì)等等。例如，信息獲取模塊530能夠從在相機(jī)模塊510中獲取的圖像數(shù)據(jù)中感測(cè)能夠提取距離信息的信號(hào)，并且獲取(例如，確定)物體的距離信息。

信息獲取模塊530能夠包括被配置為基于所獲取的距離信息(例如，深度圖)來(lái)知曉電子設(shè)備和物體之間的位置關(guān)系的各種電路和/或程序元素?？梢允褂靡韵赂黜?xiàng)來(lái)獲取距離信息：具有多個(gè)子像素檢測(cè)元素(例如，光電二極管或者光電檢測(cè)器(pd))作為所述提取一個(gè)像素圖像的單元的圖像傳感器(例如，2-pd圖像傳感器或者4-pd圖像傳感器)、包括上表面相位差傳感器的圖像傳感器、tof圖像傳感器、結(jié)構(gòu)化光圖像傳感器、焦點(diǎn)調(diào)整圖像傳感器、ir或者超聲波圖像傳感器等等。根據(jù)示例實(shí)施例，在它是2-pd圖像傳感器的情況下，信息獲取模塊530能夠確定單位像素內(nèi)的兩個(gè)子像素的信號(hào)之間的相位差，以便獲取用于提取距離信息的信號(hào)。根據(jù)示例實(shí)施例，在它是包括上表面相位差傳感器的圖像傳感器的情況下，信息獲取模塊530能夠基于圖像傳感器內(nèi)的上表面相位差傳感器的信號(hào)來(lái)獲取距離信息。在信息獲取模塊530中獲取的距離信息可以是深度圖。

根據(jù)示例實(shí)施例，相機(jī)模塊510的圖像傳感器可以是生成圖像數(shù)據(jù)的二維(2d)圖像傳感器。例如，圖像傳感器具有色彩像素傳感器陣列，并且可以不生成用于提取距離信息的信號(hào)。在圖像傳感器是二維圖像傳感器的情況下，信息獲取模塊530能夠提取(例如，圖像匹配)在圖像傳感器中生成的圖像數(shù)據(jù)的邊緣或者邊界。圖像數(shù)據(jù)的邊緣或者邊界可以基于圖像的輪廓線、色彩數(shù)據(jù)的變化等等來(lái)提取。

信息獲取模塊530能夠獲取電子設(shè)備的拍攝姿勢(shì)信息。例如，當(dāng)用戶通過(guò)相機(jī)模塊510執(zhí)行拍攝操作時(shí)，信息獲取模塊530能夠從傳感器模塊430的加速度傳感器和/或陀螺儀傳感器的輸出感測(cè)電子設(shè)備的姿勢(shì)和所述姿勢(shì)的變化。

基于相機(jī)模塊510中輸出的圖像和/或信息獲取模塊530中輸出的距離信息(例如，深度圖)，濾波器確定模塊540能夠確定構(gòu)成圖像的物體的配置信息。物體的配置信息能夠包括圖像范圍(例如，照片范圍)中的物體的位置、物體的尺寸、物體和電子設(shè)備之間的深度信息等等?；谖矬w的配置信息，濾波器確定模塊540能夠設(shè)置適合于圖像內(nèi)的物體的圖像處理技術(shù)。例如，所述圖像處理技術(shù)可以是圖像濾波器。所設(shè)置的圖像濾波器可以是一個(gè)圖像濾波器或者多個(gè)圖像濾波器。

濾波器確定模塊540能夠包括各種電路和/或程序元素，諸如，例如，并且不限于，識(shí)別模塊和濾波器確定模塊。識(shí)別模塊基于相機(jī)模塊510中輸出的圖像數(shù)據(jù)、和/或信息獲取模塊530中輸出的距離信息(例如，深度圖)來(lái)識(shí)別主要物體的配置信息。濾波器確定模塊可以基于所識(shí)別的配置信息來(lái)自動(dòng)地設(shè)置圖像濾波器。

根據(jù)示例實(shí)施例，濾波器確定模塊540的識(shí)別模塊能夠基于信息獲取模塊530中輸出的距離信息(例如，深度圖)來(lái)識(shí)別物體的配置信息。例如，濾波器確定模塊540的識(shí)別模塊能夠基于相機(jī)模塊510中輸出的圖像數(shù)據(jù)和信息獲取模塊530中輸出的距離信息，來(lái)識(shí)別物體的配置信息。

根據(jù)示例實(shí)施例，如果相機(jī)模塊510的圖像傳感器是在相互不同的時(shí)間生成用于提取距離信息的信號(hào)和圖像數(shù)據(jù)的圖像傳感器(例如，立體式圖像傳感器)，則濾波器確定模塊540的識(shí)別模塊能夠?qū)D像數(shù)據(jù)的幀與提取距離信息的信號(hào)進(jìn)行同步，并且執(zhí)行識(shí)別操作。

根據(jù)示例實(shí)施例，當(dāng)在相機(jī)模塊510的圖像傳感器中用于提取距離信息的信號(hào)和圖像數(shù)據(jù)不是按照像素被映射的時(shí)，濾波器確定模塊540的識(shí)別模塊能夠以設(shè)置的形式來(lái)映射所述圖像數(shù)據(jù)和用于提取距離信息的信號(hào)(映射圖像數(shù)據(jù)的區(qū)域和生成用于提取距離信息的信號(hào)的區(qū)域)，并且執(zhí)行識(shí)別操作。

濾波器應(yīng)用模塊550能夠基于在濾波器確定模塊540中確定的圖像處理技術(shù)，來(lái)處理在相機(jī)模塊510中獲取的圖像數(shù)據(jù)。如果圖像處理技術(shù)是圖像濾波方法，則濾波器應(yīng)用模塊550能夠通過(guò)存儲(chǔ)器模塊410訪問(wèn)與在濾波器確定模塊540中確定的圖像濾波器相對(duì)應(yīng)的數(shù)據(jù)。并且，濾波器應(yīng)用模塊550能夠?qū)⑺O(shè)置的圖像濾波器應(yīng)用到在相機(jī)模塊510中獲取的圖像數(shù)據(jù)，以生成新的圖像。

顯示器模塊560能夠顯示被濾波器應(yīng)用模塊550應(yīng)用的圖像(例如，對(duì)圖像應(yīng)用了圖像濾波器的新的圖像)。

在顯示器模塊560中顯示的圖像可以是預(yù)覽圖像(或者實(shí)時(shí)圖像)。電子設(shè)備能夠?qū)⒃谙鄼C(jī)模塊510中獲取的圖像作為預(yù)覽圖像在顯示器模塊560中進(jìn)行顯示。如果捕獲請(qǐng)求被生成，則電子設(shè)備能夠在存儲(chǔ)器模塊410中存儲(chǔ)在相機(jī)模塊510中獲取的圖像。例如，如果應(yīng)用圖像濾波器的拍攝操作被請(qǐng)求，則拍攝設(shè)置模塊520能夠設(shè)置拍攝模式，并且濾波器確定模塊540能夠設(shè)置圖像濾波器。相機(jī)模塊510能夠生成包括主要物體的圖像數(shù)據(jù)。圖像數(shù)據(jù)能夠包括提取電子設(shè)備和所述物體之間的距離信息的信號(hào)、以及所述物體的圖像數(shù)據(jù)。信息獲取模塊530能夠從相機(jī)模塊510中輸出的圖像數(shù)據(jù)提取物體的距離信息，以生成電子設(shè)備和物體之間的距離信息(例如，深度圖)。信息獲取模塊530能夠基于圖4的傳感器模塊430的輸出，來(lái)提取電子設(shè)備的拍攝姿勢(shì)信息。

濾波器確定模塊540能夠通過(guò)拍攝設(shè)置模塊520的輸出，來(lái)識(shí)別圖像處理技術(shù)(例如，圖像濾波方法)的設(shè)置。濾波器確定模塊540能夠通過(guò)信息獲取模塊530的輸出，來(lái)識(shí)別物體的特征(例如，圖像中包括的物體的組成元素、位置關(guān)系、等等)?；谒R(shí)別的物體特征，信息獲取模塊530能夠提取物體的范圍信息(例如，深度圖)?；谶@個(gè)信息，信息獲取模塊530能夠確定將被應(yīng)用到圖像的濾波器。濾波器應(yīng)用模塊550能夠?qū)⒃跒V波器確定模塊540中確定的所設(shè)置的圖像濾波器應(yīng)用到在相機(jī)模塊510中獲取的圖像，以生成新的圖像。所述新的圖像可以是對(duì)所獲取的圖像應(yīng)用了所設(shè)置的圖像濾波器的圖像。

顯示器模塊560能夠顯示在濾波器應(yīng)用模塊550中生成的新的圖像。在顯示器模塊560上顯示的新的圖像可以是應(yīng)用了基于物體和電子設(shè)備之間的距離確定的圖像濾波器的圖像。并且，所述新的圖像可以作為預(yù)覽圖像被顯示。顯示器模塊560能夠顯示在信息獲取模塊560中獲取的電子設(shè)備的姿勢(shì)信息。

用戶能夠檢查在顯示器模塊560中顯示的新的圖像，并且校正電子設(shè)備的姿勢(shì)。并且，基于用戶的姿勢(shì)校正，信息獲取模塊530能夠獲取包括在圖像中的物體的距離信息、和所述電子設(shè)備的姿勢(shì)信息。濾波器確定模塊540能夠根據(jù)通過(guò)信息獲取模塊530的輸出校正的距離信息和姿勢(shì)信息，濾波器確定模塊540能夠確定新的圖像的范圍信息(例如，深度圖)。

如果期望的圖像被顯示在顯示器模塊560中，則用戶能夠生成捕獲命令。如果捕獲命令被生成，則處理器400能夠?qū)@示器模塊中顯示的新的圖像存儲(chǔ)在存儲(chǔ)器模塊410中。存儲(chǔ)器模塊410中存儲(chǔ)的圖像可以是被應(yīng)用了濾波器的圖像。存儲(chǔ)器模塊410中存儲(chǔ)的圖像能夠包括在相機(jī)模塊510中獲取的圖像和被應(yīng)用了濾波器的圖像的全部。

圖6a、圖6b、圖6c、圖6d和圖6e是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的圖像濾波器的示圖。

圖6a是示出示例線性濾波器的示例特性的示圖。線性濾波器可以是這樣的濾波器：其中，聚焦的點(diǎn)變得清楚，并且其隨著其遠(yuǎn)離所述聚焦的點(diǎn)，模糊得越嚴(yán)重。在一個(gè)軸的方向上，模糊能夠具有相同程度的模糊。模糊程度能夠在垂直于所述軸的方向上變化。模糊程度的變化可以根據(jù)電子設(shè)備(例如，相機(jī))的姿勢(shì)(例如，傾斜)而不同。線性濾波器能夠進(jìn)行處理以使得圖像中的聚焦的點(diǎn)清楚，并且隨著其遠(yuǎn)離焦點(diǎn)而增加模糊強(qiáng)度。例如，濾波器掩膜(filtermask)的尺寸增大，或者掩膜系數(shù)的形式變得不同。

線性濾波器能夠包括用于強(qiáng)調(diào)物體的線性濾波器、能夠模糊背景的線性濾波器、和/或能夠強(qiáng)調(diào)物體并且模糊背景的線性濾波器。

圖6b是示出示例圓形濾波器(或者徑向?yàn)V波器或者多邊形濾波器)的示例特性的示圖。為了吸引觀看圖像的觀看者的眼睛，圓形濾波器能夠強(qiáng)調(diào)特定物體。例如，圓形濾波器能夠增加相應(yīng)圖形的內(nèi)部區(qū)域的曝光和清晰度，從而能夠讓人基于物體周圍的圓形形式的形狀(例如，圓、橢圓、或者多邊形)而注意到該物體。圓形濾波器能夠包括能夠模糊圖像的背景的焦點(diǎn)的圓形濾波器、能夠強(qiáng)調(diào)物體的圓形濾波器、或者能夠模糊背景并且強(qiáng)調(diào)物體的圓形濾波器。

圖6c是示出示例光照濾波器(lightingfilter)(或者光照效果)的示例特性的示圖。光照濾波器能夠?qū)⑷舾晒庹招Ч麘?yīng)用在紅色、綠色、和藍(lán)色(rgb)圖像。光照濾波器能夠通過(guò)被稱為凹凸貼圖的灰色陰影濾波器的紋理，來(lái)產(chǎn)生和存儲(chǔ)三維(3d)效果，并且將所存儲(chǔ)的3d效果也用于另一圖像。光照濾波器能夠使用光源。光照濾波器能夠調(diào)整光照范圍，并且還能夠改變方向。光照濾波器能夠調(diào)整光照強(qiáng)度、光照范圍、曝光等等。

圖6d是示出示例微距濾波器(macrofilter)的示例特性的示圖。微距拍攝可以是通過(guò)對(duì)物體進(jìn)行近距離拍攝(close-upphotographing)，來(lái)用所述物體填滿整個(gè)圖像幀的拍攝。例如，微距拍攝隨著靠近物體而增大失焦(out-focus)量，并且能夠獲取對(duì)前景和背景全部都進(jìn)行失焦處理的圖像。微距拍攝可以自由改變拍攝角度和構(gòu)圖，并且因此可以適合于拍攝小東西。例如，微距拍攝可以是在非常接近物體的距離處進(jìn)行拍攝的方法。微距拍攝的吸引力是通過(guò)近距離拍攝物體而知曉不能用裸眼看見(jiàn)的微觀世界。

在本公開(kāi)的各種示例實(shí)施例中，如果與物體的距離被感測(cè)為大，則電子設(shè)備能夠執(zhí)行縮放操作以便對(duì)物體進(jìn)行微距拍攝。電子設(shè)備能夠?qū)⑽⒕酁V波器應(yīng)用在微距拍攝的圖像以便強(qiáng)調(diào)物體。例如，如果作為分析電子設(shè)備和物體之間的距離信息的結(jié)果而確定了圓形濾波器、并且識(shí)別出與物體的距離遙遠(yuǎn)，則電子設(shè)備能夠執(zhí)行縮放操作以獲取物體圖像，并且設(shè)置圓形濾波器和微距濾波器以處理所述圖像。微距濾波器能夠包括用于強(qiáng)調(diào)物體的微距濾波器、能夠模糊背景的微距濾波器、或者能夠強(qiáng)調(diào)物體并且模糊背景的微距濾波器。

圖6e是示出示例選擇性聚焦(或者狹窄景深(depthoffield，dof))濾波器的示例特性的示圖。當(dāng)處理圖像時(shí)，如果選擇性聚焦濾波器產(chǎn)生對(duì)物體的前景和/或背景的模糊，則選擇性聚焦濾波器能夠具有其中物體更加被強(qiáng)調(diào)的效果。

根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備能夠基于獲取的圖像來(lái)獲取距離信息(例如，深度圖)，并且基于距離信息來(lái)識(shí)別物體的范圍，并且基于所識(shí)別的物體的范圍來(lái)自動(dòng)地確定圖像處理技術(shù)(例如，圖像濾波方法)。圖像處理技術(shù)可以，例如，確定圖6a到圖6e的圖像濾波器當(dāng)中的至少一個(gè)圖像濾波器，并且將所確定的圖像濾波器應(yīng)用到所獲取的圖像，從而生成新的圖像。相機(jī)模塊能夠生成構(gòu)成圖像的物體的距離信息。相機(jī)模塊的圖像傳感器可以是：其中單位像素具有多個(gè)子像素結(jié)構(gòu)的多pd圖像傳感器、包括上表面相位差傳感器的圖像傳感器、通過(guò)測(cè)量輸出光學(xué)信號(hào)反射和返回所花費(fèi)的時(shí)間來(lái)確定距離(例如，深度)的tof圖像傳感器、結(jié)構(gòu)化光圖像傳感器、焦點(diǎn)調(diào)整圖像傳感器、ir圖像傳感器、和/或超聲波圖像傳感器。

圖7是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像傳感器的示圖。

參考圖7，電子設(shè)備能夠包括處理器400、圖像傳感器700、和顯示器模塊450。圖像傳感器700能夠包括像素陣列730、行驅(qū)動(dòng)器733、讀出驅(qū)動(dòng)器735、和/或定時(shí)信號(hào)發(fā)生器740。

根據(jù)各種示例實(shí)施例，圖像傳感器700能夠?qū)⑷肷涔鈱W(xué)信號(hào)生成為圖像數(shù)據(jù)。處理器400能夠處理所生成的圖像數(shù)據(jù)，并且在可操作地與電子設(shè)備耦合的顯示器160上顯示經(jīng)處理的圖像數(shù)據(jù)。處理器400能夠檢查用于處理在圖像傳感器700中獲取的圖像數(shù)據(jù)的模式，并且基于檢查到的模式來(lái)處理圖像數(shù)據(jù)。

像素陣列730能夠感測(cè)通過(guò)鏡頭720捕獲的物體710。像素陣列730能夠?qū)㈢R頭720的光學(xué)信號(hào)轉(zhuǎn)換為電信號(hào)，并且生成圖像數(shù)據(jù)。定時(shí)信號(hào)發(fā)生器740能夠生成用于通過(guò)行驅(qū)動(dòng)器733激活像素陣列730的行線像素的定時(shí)信號(hào)。并且，定時(shí)信號(hào)發(fā)生器740能夠生成用于讀出像素陣列730的列線像素的定時(shí)信號(hào)。像素陣列730能夠通過(guò)行驅(qū)動(dòng)器733激活行線像素，并且能夠通過(guò)讀出驅(qū)動(dòng)器735讀出列線像素信號(hào)。在圖7中，圖中示出了定時(shí)信號(hào)發(fā)生器740被包括在圖像傳感器700中，但是可以被包括在處理器400。

像素陣列730可以是包括微透鏡、色彩濾波器、和光電二極管的像素的陣列。像素陣列730能夠包括多個(gè)單位像素，并且每個(gè)單位像素能夠包括多個(gè)子像素。子像素能夠包括光電二極管。圖像傳感器700能夠，例如，包括其中一個(gè)單位像素具有至少兩個(gè)或者更多個(gè)子像素(例如，光電二極管(pd))的結(jié)構(gòu)。圖像傳感器700能夠輸出包括紅色(r)、綠色(g)、和藍(lán)色(b)當(dāng)中的至少一條色彩信息的色彩信息。

圖8是示出根據(jù)本公開(kāi)的示例實(shí)施例的圖像傳感器的示例像素陣列的示圖。

參考圖8，像素陣列730能夠包括按矩陣形式排列的多個(gè)單位像素810至840。單位像素810至840中的每一個(gè)能夠包括多個(gè)子像素。像素陣列730能夠一次輸出全部單位像素的數(shù)量與每個(gè)單位像素的子像素的數(shù)量的乘積一樣多的子像素級(jí)(subpixellevel)的信號(hào)。像素陣列730還能夠?qū)σ粋€(gè)單位像素的子像素級(jí)的信號(hào)求和，并且輸出與全部單位像素的數(shù)量一樣多的信號(hào)。所述單位像素能夠包括至少兩個(gè)子像素。圖8示出其中一個(gè)單位像素包括四個(gè)子像素的示例。在圖8中，第一單位像素810能夠包括四個(gè)子像素811至814，并且第二單位像素820能夠包括四個(gè)子像素821至824，并且第三單位像素830能夠包括四個(gè)子像素831至834，并且第四單位像素840也能夠包括四個(gè)子像素841至844。

根據(jù)本公開(kāi)的各種示例實(shí)施例的像素陣列730的子像素間距可以小于公共像素陣列的像素間距。圖8示出單位像素810至840分別地包括四個(gè)子像素，但是不限于此。所述單位像素能夠分別地包括兩個(gè)子像素。例如，第一單位像素810能夠包括兩個(gè)子像素811和812，并且第二單位像素820能夠包括兩個(gè)子像素821和822，并且第三單位像素831能夠包括兩個(gè)子像素831和832，并且第四單位像素840能夠包括兩個(gè)子像素841至842。

根據(jù)示例實(shí)施例，定時(shí)信號(hào)發(fā)生器740能夠生成用于通過(guò)行驅(qū)動(dòng)器733和讀出驅(qū)動(dòng)器735來(lái)驅(qū)動(dòng)像素陣列730的行線和列線的定時(shí)信號(hào)。像素陣列730能夠基于行驅(qū)動(dòng)器733的行線控制，以行線為單位來(lái)激活像素。讀出驅(qū)動(dòng)器735能夠根據(jù)定時(shí)信號(hào)發(fā)生器740的控制，輸出沿著列線的每個(gè)子像素級(jí)的信號(hào)。

像素陣列730的單位像素810至840能夠各自包括安裝在上部(upperpart)的微透鏡和/或每個(gè)色彩濾波器。微透鏡能夠增加每個(gè)聚光能力。每個(gè)色彩濾波器能夠透射或者阻擋特定光譜范圍的光。單位像素內(nèi)的子像素能夠包括光電二極管。例如，子像素能夠共享一個(gè)微透鏡和色彩濾波器，并且能夠使用各自的光電二極管。例如，在一個(gè)單位像素包括四個(gè)子像素的情況下，所述四個(gè)子像素能夠通過(guò)各自相應(yīng)的光電二極管，將通過(guò)一個(gè)微透鏡和色彩濾波器接收的光學(xué)信號(hào)轉(zhuǎn)換為電信號(hào)。

行驅(qū)動(dòng)器733能夠在定時(shí)信號(hào)發(fā)生器740的控制下，將用于控制大多數(shù)的子像素的各個(gè)操作的控制信號(hào)驅(qū)動(dòng)到像素陣列730中。例如，所述控制信號(hào)能夠包括用于選擇子像素的信號(hào)和用于重置的信號(hào)。讀出驅(qū)動(dòng)器735能夠包括用于選擇像素陣列730的列線和讀出所選擇的列線的子像素級(jí)的信號(hào)的元素(例如，模數(shù)轉(zhuǎn)換器(adc)等等)。

根據(jù)示例實(shí)施例，讀出驅(qū)動(dòng)器735能夠輸出單位像素810至840的各自子像素級(jí)的信號(hào)。例如，讀出驅(qū)動(dòng)器810至840能夠讀出在各個(gè)子像素中感測(cè)到的圖像信號(hào)。處理器400能夠?qū)Υ?或處理所述子像素信號(hào)，并且生成角度信息和/或距離信息(例如，深度數(shù)據(jù))。

圖9a、圖9b和圖9c是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像傳感器的示例單位像素和子像素的示例結(jié)構(gòu)的示圖。

圖9a是示出其中圖像傳感器的單位像素包括兩個(gè)子像素的示例的示圖。圖9a是示出其中圖像傳感器的單位像素包括四個(gè)子像素的示例的示圖。圖9c是示出如圖9a中的具有兩個(gè)子像素的單位像素的結(jié)構(gòu)的示例的示圖。

參考圖9a，圖像傳感器700的單位像素能夠包括至少一個(gè)微透鏡920、至少一個(gè)色彩濾波器930、和/或包括兩個(gè)光電二極管(pd1和pd2)的光接收部分940。例如，圖9a的單位像素能夠生成兩個(gè)子像素信號(hào)。將進(jìn)行以下描述，在以下描述中具有圖9a的單位像素結(jié)構(gòu)的圖像傳感器與2-pd圖像傳感器可互換地使用。參考圖9b，圖像傳感器700的單位像素能夠包括一個(gè)微透鏡920、一個(gè)色彩濾波器930、和/或包括四個(gè)光電二極管(pd1至pd4)的光接收部分950。例如，圖9b的單位像素能夠生成四個(gè)子像素信號(hào)。將進(jìn)行以下描述，在以下描述中具有圖9b的單位像素結(jié)構(gòu)的圖像傳感器與4-pd圖像傳感器可互換地使用。

在圖9a或者圖9b中，光接收部分940或者950能夠?qū)⑼ㄟ^(guò)鏡頭910接收的入射光轉(zhuǎn)換為電信號(hào)，并且生成轉(zhuǎn)換后的電信號(hào)。光接收部分940或者950能夠包括層壓形式的摻雜區(qū)。所述摻雜區(qū)可以基于入射光的入射角度被層壓。

參考圖9c，圖像傳感器700能夠包括多個(gè)單位像素。每個(gè)單位像素960能夠包括至少兩個(gè)或者更多個(gè)光電二極管。并且，障柵(barrier)970可以位于各個(gè)光電二極管之間。例如，至少一個(gè)色彩濾波器930可以位于所述多個(gè)光電二極管上。并且，例如，至少一個(gè)微透鏡920可以位于所述多個(gè)光電二極管上。微透鏡920可以，例如，位于色彩濾波器930上。例如，入射在每個(gè)單位像素960上的光可以經(jīng)由至少一個(gè)微透鏡920和至少一個(gè)色彩濾波器930入射在各個(gè)不同的光電二極管上。圖像傳感器700能夠根據(jù)入射在各個(gè)光電二極管上的光的相位差，來(lái)輸出用于焦點(diǎn)檢測(cè)的信息。

根據(jù)示例實(shí)施例，鏡頭910可以可操作地與用于光學(xué)圖像穩(wěn)定(ois)或者自動(dòng)對(duì)焦(af)的致動(dòng)器耦合。

根據(jù)示例實(shí)施例，色彩濾波器930可以是紅色(r)濾波器、綠色(g)濾波器、或者藍(lán)色(b)濾波器，或者可以是黃色濾波器、品紅濾波器、或者青色濾波器、等等，但是不限于此。

根據(jù)示例實(shí)施例，色彩濾波器930可以基于入射光的入射角度而形成在光電二極管940或者950上，并且能夠具有貝爾模板(bayerpattern)。所述貝爾模板能夠?qū)⒂糜诮邮芗t色、綠色、和/或藍(lán)色中的每一個(gè)的亮度的濾波器安排在二維平面上，以便聚集目標(biāo)的亮度和色彩，并且使得圖像數(shù)據(jù)是以點(diǎn)形成的。在貝爾模板色彩濾波器下面的形成格子網(wǎng)絡(luò)的每個(gè)單位像素不識(shí)別總自然色彩，而僅僅識(shí)別紅色、綠色、和/或藍(lán)色當(dāng)中的被指派的色彩，并且通過(guò)對(duì)該被指派的色彩進(jìn)行插值來(lái)模擬自然色彩。

根據(jù)示例實(shí)施例，因?yàn)橐S持色彩濾波器930被層疊的平鋪角，所以微透鏡920可以形成為對(duì)應(yīng)于色彩濾波器930上的光電二極管940或者950。ois鏡頭910可以，例如，位于鏡頭架(未示出)的內(nèi)部，并且能夠聚集光。

根據(jù)示例實(shí)施例，處理器400能夠?qū)挝幌袼氐母鱾€(gè)子像素的信號(hào)進(jìn)行處理(例如，相加和平均)，并且輸出經(jīng)處理的信號(hào)作為圖像數(shù)據(jù)。根據(jù)示例實(shí)施例，處理器400能夠確定單位像素中包括的子像素的信號(hào)之間的相位差，以生成距離信息(例如，深度信息)。例如，在圖9a中，處理器400能夠確定單位像素的兩個(gè)子像素信號(hào)之間的相位差，以生成深度信息。處理器400能夠處理所述兩個(gè)子像素信號(hào)以生成色彩圖像數(shù)據(jù)。例如，如果具有高清晰度(hd)(1,280×720)的像素陣列730的圖像傳感器700具有其中一個(gè)單位像素具有四個(gè)子像素的4-pd結(jié)構(gòu)，則圖像傳感器700能夠讀取每個(gè)光電二極管的色彩值，并且輸出具有四倍高清(qhd)(2,560×1,440)的分辨率的圖像數(shù)據(jù)。

圖10a和圖10b是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的圖像傳感器的單位像素和子像素的示例的示圖。圖10a是其中圖像傳感器的單位像素包括兩個(gè)子像素的示例示圖。圖10b是其中圖像傳感器的單位像素包括四個(gè)子像素的示例示圖。

圖像傳感器700能夠包括多個(gè)單位像素。每個(gè)單位像素能夠包括多個(gè)子像素。r像素可以是用于紅色的像素圖像，并且g像素可以是用于綠色的像素圖像，而b像素可以是用于藍(lán)色的像素圖像。

根據(jù)示例實(shí)施例，一個(gè)單位像素能夠包括至少兩個(gè)或者更多個(gè)子像素(例如，光電二極管)。每個(gè)單位像素能夠包括一個(gè)微透鏡和色彩濾波器。單位像素能夠輸出一個(gè)子像素級(jí)的信號(hào)，并且因此一個(gè)單位像素能夠包括多個(gè)數(shù)據(jù)。

根據(jù)示例實(shí)施例，所述單位像素能夠?qū)⑺ǖ闹辽賰蓚€(gè)或者更多個(gè)子像素級(jí)的信號(hào)求和，并且還將所述信號(hào)作為一個(gè)圖像數(shù)據(jù)輸出。所述單位像素還能夠輸出用于確定入射在至少兩個(gè)子像素上的光的相位差的相位差信息。例如，在如圖10a中那樣單位像素包括兩個(gè)子像素的情況下，相位差信息能夠包括用于確定左/右像素之間的相位差的信息。例如，在如圖10b中那樣單位像素包括四個(gè)子像素的情況下，相位差信息能夠包括用于確定上子像素和下子像素之間的相位差的信息或者用于確定左子像素和右子像素之間的相位差的信息。例如，相位差信息能夠包括用于確定位于對(duì)角位置的對(duì)角子像素之間的相位差的信息。例如，單位像素還能夠輸出用于確定特定色彩的子像素之間的相位差的信息。例如，單位像素能夠輸出用于僅僅從rgb像素當(dāng)中相對(duì)多地接受光的g像素確定色彩信息和相位差的信息，并且還僅僅輸出來(lái)自剩余的r像素和b像素的色彩信息。

圖10a和圖10b基于紅色、綠色、和藍(lán)色來(lái)示出貝爾模板，但是本公開(kāi)的示例實(shí)施例不限于此，并且能夠使用各種濾波器模板(filterpattern)。

根據(jù)各種示例實(shí)施例，處理器400能夠基于從圖像傳感器700輸出的子像素信號(hào)，來(lái)獲取距離信息和/或圖像數(shù)據(jù)。例如，處理器400能夠基于拍攝模式和條件來(lái)進(jìn)行操作，并且獲取距離信息(例如，深度信息)和/或圖像數(shù)據(jù)。

在示例實(shí)施例中，處理器400能夠基于圖像傳感器700的各個(gè)子像素信號(hào)來(lái)確定相位差。處理器400能夠通過(guò)使用相位差信息來(lái)提取距離信息。

在示例實(shí)施例中，處理器400能夠基于圖像傳感器700的各個(gè)子像素信號(hào)來(lái)生成圖像數(shù)據(jù)。例如，在圖像傳感器700是具有2-pd結(jié)構(gòu)的圖像傳感器的情況下，處理器400能夠每個(gè)單位像素的第一子像素信號(hào)和第二子像素信號(hào)進(jìn)行處理(例如，相加或者平均)，以生成單位像素的圖像數(shù)據(jù)。

在示例實(shí)施例中，處理器400能夠基于圖像傳感器700的各個(gè)子像素信號(hào)來(lái)生成相位差信息和圖像數(shù)據(jù)。例如，在圖像傳感器700是具有2-pd結(jié)構(gòu)的圖像傳感器的情況下，處理器400能夠確定每個(gè)單位像素的第一子像素信號(hào)和第二子像素信號(hào)之間的相位差，以生成距離信息。處理器400能夠處理第一子像素信號(hào)和第二子像素信號(hào)，以生成圖像數(shù)據(jù)。

在示例實(shí)施例中，處理器400能夠基于圖像傳感器700的各個(gè)子像素信號(hào)來(lái)生成相位差信息。在圖像傳感器700是具有2-pd結(jié)構(gòu)的圖像傳感器的情況下，處理器400能夠選擇性地處理第一子像素信號(hào)和/或第二子像素信號(hào)。例如，處理器400能夠基于單位像素的屬性(例如，色彩)來(lái)不同地調(diào)整處理圖像數(shù)據(jù)的操作。例如，在單位像素的屬性是紅色或者藍(lán)色的情況下，處理器400能夠控制圖像傳感器700輸出將各個(gè)子像素級(jí)的信號(hào)(例如，第一信號(hào)和第二信號(hào))求和的圖像數(shù)據(jù)。并且，在單位像素的屬性是綠色的情況下，處理器400能夠控制圖像傳感器700將各個(gè)子像素級(jí)的數(shù)據(jù)(例如，第一信號(hào)和第二信號(hào))處理為單位像素級(jí)的圖像數(shù)據(jù)，并且輸出所述圖像數(shù)據(jù)。

圖11a和圖11b是示出包括上表面相位差傳感器的圖像傳感器的示例操作的示圖。圖11a是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的物體的位置的示圖。

在如圖11a中那樣物體1110至1130被安排在成像設(shè)備的前面的狀態(tài)下，用戶能夠?qū)⒊上裨O(shè)備1100聚焦在期望的物體上，并且拍攝所述期望的物體。成像設(shè)備1100能夠包括具有圖7的結(jié)構(gòu)的圖像傳感器700。圖11a示出了這樣的示例：物體1110在距離(d1)處位于最靠近成像設(shè)備1100的位置，物體1130在距離(d3)處位于最遠(yuǎn)離成像設(shè)備1100的位置，并且物體1120在距離(d2)處位于距成像設(shè)備1100中間距離的位置。在如圖11a中那樣物體被安排在成像設(shè)備1100的前面的狀態(tài)下，如果用戶將成像設(shè)備1100聚焦在特定物體上并且拍攝所述特定物體，則拍攝的圖像可以被獲取為這樣的圖像：基于與聚焦的物體間隔的距離，聚焦的物體變得更加清楚而其它物體變得更加不清楚。

成像設(shè)備1100的相位差檢測(cè)像素能夠分別地輸出用于物體1110至1130的不同相位差值。例如，在成像設(shè)備1100被聚焦在物體1120上的情況下，物體1120可以是第一聚焦區(qū)域的物體，并且物體1110可以是第二聚焦區(qū)域的物體，并且物體1130可以是第三聚焦區(qū)域的物體。

圖11b是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像傳感器的示圖。

參考圖11b，成像設(shè)備能夠包括至少一個(gè)相位差檢測(cè)像素1150(例如，上表面相位差傳感器)和至少一個(gè)圖像像素1160(例如，色彩像素)。在圖11b中，第一圖像1170可以是拍攝第一物體(例如，圖11a的物體1110)的圖像。第二圖像1180可以是拍攝第二物體(例如，圖11a的物體1120)的圖像。第三圖像1190可以是拍攝第三物體(例如，圖11a的物體1130)的圖像。根據(jù)示例實(shí)施例，電子設(shè)備(例如，圖4的處理器400)能夠基于在至少一個(gè)相位差檢測(cè)像素1150中感測(cè)的相位差值，來(lái)獲取由圖像傳感器感測(cè)到的物體1110至1130之間的相對(duì)距離信息(例如，深度信息)。例如，電子設(shè)備能夠基于第一圖像1170中包括的至少一個(gè)相位差檢測(cè)像素的值，來(lái)獲取距第一物體1110的距離。例如，在與第一圖像1170相對(duì)應(yīng)的相位差檢測(cè)像素的值是與第一聚焦區(qū)域相對(duì)應(yīng)的值的情況下，電子設(shè)備能夠確定成像設(shè)備被聚焦在第一圖像1170上，并且能夠基于鏡頭測(cè)距儀來(lái)獲取距與第一圖像1170相對(duì)應(yīng)的第一物體1110的距離(例如，圖11a的d1)。電子設(shè)備能夠?qū)D像傳感器劃分為子區(qū)(或者多個(gè)區(qū))r11至rmn(例如，行線r1至rm，和列線r1至rn)，并且基于各個(gè)子區(qū)中包括的相位差檢測(cè)像素的值，來(lái)獲取與各個(gè)子區(qū)相對(duì)應(yīng)的物體之間的距離。例如，在與第一圖像1170相對(duì)應(yīng)的相位差檢測(cè)像素的值是與第一聚焦區(qū)域相對(duì)應(yīng)的值、并且與第二圖像1180相對(duì)應(yīng)的相位差檢測(cè)像素的值是與第二聚焦區(qū)域相對(duì)應(yīng)的值的情況下，電子設(shè)備能夠獲取第一圖像1170和第二圖像1180之間的相對(duì)距離。

圖12a和圖12b是擴(kuò)展和示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像傳感器的一個(gè)部分的區(qū)的示圖。

參考圖12a，圖像傳感器(例如，圖7的像素陣列730)的像素1251和1255能夠包括布線區(qū)1213、光接收區(qū)1215、和成像透鏡(例如，微透鏡1217)。

布線區(qū)1213可以被安排為在圖像傳感器的基底1211的一個(gè)表面上間隔恒定距離。光接收區(qū)1215可以分別地安排在布線區(qū)1213之間。例如，布線區(qū)1213和光接收區(qū)1215可以相互交替地安排在基底1211的一個(gè)表面上。諸如電源或者信號(hào)線和晶體管的元素可以安排在布線區(qū)1213中。光接收區(qū)1215是基本上檢測(cè)光和/或圖像并且將其轉(zhuǎn)換為電信號(hào)的光電變換區(qū)。光接收區(qū)1215能夠基于檢測(cè)到的圖像的信息，將電信號(hào)轉(zhuǎn)發(fā)到布線區(qū)1213。

各個(gè)單位像素1251和1255能夠包括一個(gè)光接收區(qū)1215、耦合到所述光接收區(qū)1215的布線區(qū)1213的布線和晶體管、和/或被安排為對(duì)應(yīng)于相應(yīng)的光接收區(qū)1215的微透鏡1217。在單位像素1251和1255當(dāng)中，部分像素(例如，1251)能夠作為圖像檢測(cè)像素(例如，色彩像素)來(lái)操作。在單位像素1251和1255當(dāng)中，部分像素(例如，1255)可以，例如，被構(gòu)建為具有相位分離結(jié)構(gòu)的相位差檢測(cè)像素。

相位差檢測(cè)像素1255能夠包括將遮光膜1219安裝在光接收區(qū)1215上的相位分離結(jié)構(gòu)。每個(gè)微透鏡1217可以被安排為處于光軸(p)與對(duì)應(yīng)于微透鏡1217的光接收區(qū)1215重合的狀態(tài)。腔體1229被提供在光接收區(qū)1215上方的布線區(qū)1213之間。遮光膜1219可以被安排在布線區(qū)1213之間的腔體1229中。遮光膜1219能夠覆蓋在光接收區(qū)1215的一側(cè)的光接收區(qū)1215的表面區(qū)域的一部分(例如，大約一半)，并且部分地遮擋傳入光接收區(qū)1215的光。

參考圖12b，相位差檢測(cè)像素1255可以如圖12b的參考標(biāo)號(hào)1255a和1255b所表示的那樣被配對(duì)，并且被安排為相互鄰接或者部分地間隔開(kāi)。遮光膜1219a可以被安排在配對(duì)的相位差檢測(cè)像素1255當(dāng)中的第一相位差檢測(cè)像素1255a中。遮光膜1219a可以被安排在這樣的位置中：不與被安排在第二相位差檢測(cè)像素1255b中的遮光膜1219b重疊，例如，相對(duì)于遮光膜1219b偏移。如果第一相位差檢測(cè)像素1255a檢測(cè)到通過(guò)微透鏡1217的一側(cè)的光，則第二相位差檢測(cè)像素1255b能夠檢測(cè)通過(guò)微透鏡1217的另一側(cè)的光。圖像傳感器和/或配備有圖像傳感器的諸如相機(jī)或者便攜式終端的電子設(shè)備能夠比較由各個(gè)相位差檢測(cè)像素1255檢測(cè)到的值，并且測(cè)量圖像傳感器的聚焦調(diào)整狀態(tài)。

根據(jù)示例實(shí)施例，相位差檢測(cè)像素1255能夠基于以下各項(xiàng)來(lái)輸出不同的值：其中物體的焦點(diǎn)被放置在圖像傳感器的第一聚焦?fàn)顟B(tài)(例如，實(shí)線1261)，其中物體的焦點(diǎn)被放置在圖像傳感器和物體之間的第二聚焦?fàn)顟B(tài)(例如，虛線1263)，以及其中物體的焦點(diǎn)被放置在除了圖像傳感器之外的區(qū)并且在圖像傳感器和物體之間的第三聚焦?fàn)顟B(tài)(例如，雙點(diǎn)劃線1265)。電子設(shè)備能夠基于第一聚焦?fàn)顟B(tài)至第三聚焦?fàn)顟B(tài)，來(lái)識(shí)別物體之間的相對(duì)距離。

在圖12a和圖12b中，已經(jīng)對(duì)例如具有遮光膜的相位差檢測(cè)像素進(jìn)行了根據(jù)示例實(shí)施例的描述，以便說(shuō)明相位差檢測(cè)像素的結(jié)構(gòu)和操作。但是將理解，根據(jù)各種示例實(shí)施例的相位差檢測(cè)像素能夠包括具有各種形式(或者結(jié)構(gòu))的相位差分離結(jié)構(gòu)的相位差檢測(cè)像素。

如上，當(dāng)用戶利用成像設(shè)備1100拍攝圖像時(shí)，可以在設(shè)置的物體位置中進(jìn)行聚焦。安排在圖像傳感器中的相位差檢測(cè)像素(例如，上表面相位差傳感器)1150能夠提取聚焦的物體和非聚焦的其它物體的距離信息。電子設(shè)備能夠通過(guò)每對(duì)相位差檢測(cè)像素(或者上表面相位差傳感器)1150來(lái)得到相位差值。電子設(shè)備還能夠?qū)D像傳感器的區(qū)劃分為如圖11b中所示的子區(qū)，并且使用與各個(gè)子區(qū)相對(duì)應(yīng)的相位差檢測(cè)像素(或者上表面相位差傳感器)來(lái)得到相位差值。

如圖11b中所示，將借助其中使用與各個(gè)子區(qū)相對(duì)應(yīng)的相位差檢測(cè)像素來(lái)確定物體的距離信息的示例來(lái)進(jìn)行以下描述。圖像能夠包括兩個(gè)或更多個(gè)物體。當(dāng)電子設(shè)備確定這些物體的距離信息時(shí)，電子設(shè)備能夠得到聚焦的物體和非聚焦的物體(例如聚焦在前面或者聚焦在后面的物體)之間的距離。

根據(jù)示例實(shí)施例，電子設(shè)備能夠?qū)⑦m配(適合)于拍攝的物體的圖像處理技術(shù)應(yīng)用在獲取到的圖像，以生成適配于用戶的偏好的(或者用戶期望的)新的圖像。應(yīng)用在獲取的圖像的圖像處理技術(shù)可以被電子設(shè)備自動(dòng)地確定和選擇，或者電子設(shè)備能夠顯示分析的圖像處理技術(shù)，從而用戶能夠進(jìn)行選擇。

根據(jù)示例實(shí)施例，電子設(shè)備能夠分析在圖像傳感器中獲取的圖像中所包括的物體信息，并且確定圖像處理技術(shù)，并且能夠?qū)⑺_定的圖像處理技術(shù)應(yīng)用在獲取的圖像并且顯示所述圖像。例如，圖像處理技術(shù)可以是確定可應(yīng)用在獲取的圖像的圖像濾波器的方法。例如，獲取的圖像可以是食物圖像。

根據(jù)示例實(shí)施例，電子設(shè)備能夠獲取與食物相關(guān)聯(lián)的圖像數(shù)據(jù)，并且基于食物圖像數(shù)據(jù)來(lái)提取食物和電子設(shè)備之間的距離信息，并且基于所提取的距離信息來(lái)生成配置信息(例如，食物圖像的尺寸、食物圖像的位置、食物的距離信息等等)，以及基于食物的配置信息來(lái)確定圖像濾波器。如圖6a至圖6e中所示，圖像濾波器可以是對(duì)線性濾波器、圓形濾波器、光照濾波器、微距濾波器、和/或選擇性聚焦濾波器中的一個(gè)或多個(gè)的選擇。

圖13a和圖13b是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的在電子設(shè)備中顯示獲取的圖像以及基于獲取的圖像數(shù)據(jù)提取的距離信息的示例的示圖。

根據(jù)示例實(shí)施例，電子設(shè)備能夠包括食物模式。如果用戶觸發(fā)食物拍攝命令，則電子設(shè)備(例如，拍攝設(shè)置模塊520)能夠?qū)D像處理技術(shù)應(yīng)用在從相機(jī)模塊510輸出的圖像數(shù)據(jù)，以生成新的圖像。

電子設(shè)備能夠獲取圖13a的圖像。圖13a的圖像是食物圖像，并且能夠具有其中食物被包含在容器中的結(jié)構(gòu)。例如，圖像中包括的物體可以是容器、食物等等。相機(jī)模塊510的圖像傳感器能夠讀出圖13a的圖像。處理器400能夠提取信息，諸如，從相機(jī)模塊510輸出的圖像中包括的物體(例如，容器和/或食物)之間的位置關(guān)系、所述物體和拍攝單元(例如，相機(jī))之間的位置關(guān)系、拍攝單元的姿勢(shì)等等。例如，如果單位像素是如圖8中那樣的包括多個(gè)子像素的圖像傳感器(例如，2-pd圖像傳感器、4-pd圖像傳感器等等)，則處理器400能夠基于子像素信號(hào)之間的相位差來(lái)獲取(估計(jì))距離信息。

處理器400能夠從估計(jì)的距離信息中估計(jì)配置信息(例如，深度圖)，所述配置信息能夠規(guī)劃出電子設(shè)備和物體之間的位置關(guān)系。除了多pd圖像傳感器之外，估計(jì)距離信息的方法還能夠使用上表面相位差圖像傳感器、焦點(diǎn)調(diào)整圖像傳感器、ir或者超聲波圖像傳感器等等。圖像的距離信息(例如，深度圖)還可以以圖13b的形式來(lái)表達(dá)。

圖14a、圖14b、圖14c、和圖14d是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備的圖像處理的示例的示圖。

處理器400能夠基于傳感器模塊430的輸出，來(lái)感測(cè)電子設(shè)備的姿勢(shì)和所述姿勢(shì)的變化。處理器400能夠基于從圖像傳感器輸出的圖像數(shù)據(jù)以及估計(jì)的配置信息，來(lái)確定物體的特征(例如，組成元素、位置關(guān)系等等)。處理器400能夠基于所確定的物體的特征來(lái)確定圖像濾波器。例如，如果物體的特征具有它在水平方向、垂直方向、或者對(duì)角方向上長(zhǎng)的形式，則電子設(shè)備能夠確定線性濾波器。例如，如果物體1450的特征具有如圖14c中所示的圓形或者橢圓形式(例如，包含在球形容器中的食物)，則電子設(shè)備能夠確定圓形濾波器。在確定圖像濾波器之后，電子設(shè)備能夠?qū)⑺_定的圖像濾波器應(yīng)用在從圖像傳感器獲取的圖像，以生成新的圖像。

例如，在圖14a中，圖像數(shù)據(jù)能夠包括主要物體圖像1410和背景圖像1420。如果基于圖14a的圖像確定了線性濾波器，則電子設(shè)備能夠?qū)⒕€性濾波器應(yīng)用在圖14a的獲取的圖像，以生成圖14b的新的圖像。生成的新的圖像可以包括清楚顯示的區(qū)(1430)和經(jīng)模糊處理的區(qū)(1440)。在圖14c中，圖像數(shù)據(jù)能夠包括主要物體圖像1450和背景圖像1460。如果基于圖14c的圖像確定了圓形濾波器，則電子設(shè)備能夠?qū)A形濾波器應(yīng)用在圖14c的獲取的圖像，以生成圖14d的新的圖像。生成的新的圖像可以包括清楚顯示的區(qū)(1470)和經(jīng)模糊處理的區(qū)(1480)。

被應(yīng)用圖像濾波器的圖像中的模糊的中心可以是作為判據(jù)(criterion)的聚焦點(diǎn)。焦點(diǎn)可以是圖像的中心或者可以基于觸摸等等而不同。圖像濾波方法能夠在聚焦位置周圍執(zhí)行模糊處理，而不在聚焦位置中執(zhí)行模糊處理。

圖15是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的示例圖像處理設(shè)備的示例的框圖。

參考圖15，電子設(shè)備能夠設(shè)置適合于獲取的圖像的圖像處理技術(shù)，并且能夠?qū)⑺O(shè)置的圖像處理技術(shù)應(yīng)用在獲取的圖像，以生成用戶期望的新的圖像。根據(jù)本公開(kāi)的各種示例實(shí)施例，電子設(shè)備能夠分析獲取的圖像并且自動(dòng)地設(shè)置圖像處理技術(shù)。在電子設(shè)備中設(shè)置的圖像處理技術(shù)可以用于選擇用戶期望的圖像。根據(jù)示例實(shí)施例，電子設(shè)備能夠通過(guò)分析獲取的圖像和拍攝環(huán)境(例如，拍攝條件，諸如焦點(diǎn)、曝光、白平衡等等；依賴于電子設(shè)備的拍攝角度的拍攝姿勢(shì)等等；運(yùn)動(dòng)；等等)來(lái)設(shè)置圖像處理技術(shù)。

電子設(shè)備能夠基于設(shè)置的拍攝條件來(lái)設(shè)置相機(jī)模塊，并且通過(guò)相機(jī)模塊獲取圖像。拍攝條件能夠包括使用根據(jù)本公開(kāi)的各種示例實(shí)施例的圖像處理技術(shù)的拍攝模式。相機(jī)模塊能夠包括圖像傳感器1510。圖像傳感器1510能夠基于拍攝條件感測(cè)物體，并且將感測(cè)結(jié)果轉(zhuǎn)換為電圖像信號(hào)。圖像數(shù)據(jù)能夠包括亮度信息、色彩信息、用于提取物體和電子設(shè)備之間的距離信息的信號(hào)等等。

如果圖像處理技術(shù)被確定，則電子設(shè)備能夠驅(qū)動(dòng)相機(jī)模塊和執(zhí)行拍攝操作。相機(jī)模塊的操作可以是顯示預(yù)覽圖像的操作。顯示預(yù)覽圖像的操作可以是處理在圖像傳感器1510中獲取的圖像數(shù)據(jù)并且在顯示器模塊1560中顯示所述圖像數(shù)據(jù)的操作。

圖像傳感器1510可以是具有圖8的結(jié)構(gòu)的圖像傳感器(例如，2-pd圖像傳感器或者4-pd圖像傳感器)。圖像傳感器1510可以是如圖11b中那樣的包括像素傳感器和上表面相位差傳感器的圖像傳感器。圖像傳感器1510能夠包括tof圖像傳感器、結(jié)構(gòu)化光圖像傳感器、和/或ir或超聲波測(cè)量設(shè)備。

根據(jù)示例實(shí)施例，圖像傳感器1510可以是將輸出圖像和用于提取距離信息的信號(hào)的結(jié)構(gòu)實(shí)施為一個(gè)設(shè)備的一體式圖像傳感器。根據(jù)示例實(shí)施例，圖像傳感器1510可以是其中生成圖像數(shù)據(jù)的圖像傳感器和生成用于提取距離信息的信號(hào)的傳感器(例如，深度傳感器)中的每一個(gè)被獨(dú)立地構(gòu)建的立體式結(jié)構(gòu)的圖像傳感器。

根據(jù)示例實(shí)施例，圖像傳感器1510能夠同時(shí)生成圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。根據(jù)示例實(shí)施例，圖像傳感器1510能夠在不同時(shí)間生成圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。

根據(jù)示例實(shí)施例，圖像傳感器1510能夠生成并且將圖像數(shù)據(jù)和用于提取距離信息的信號(hào)按照像素或者按照區(qū)進(jìn)行映射。根據(jù)示例實(shí)施例，圖像傳感器1510能夠生成并且不將圖像數(shù)據(jù)和用于提取距離信息的信號(hào)按照像素或者按照區(qū)進(jìn)行映射。

圖像處理模塊1520可以包括各種圖像處理電路和程序元素，其能夠通過(guò)處理來(lái)自圖像傳感器1510的輸出，來(lái)提取圖像數(shù)據(jù)和距離信息。圖像處理模塊1520能夠包括圖像處理單元(例如，圖像信號(hào)處理器(isp))和信息獲取單元。圖像處理單元能夠從作為圖像傳感器1510中的輸出的3d圖像提取和處理圖像數(shù)據(jù)。信息獲取單元能夠通過(guò)從在圖像傳感器1510中輸出的3d圖像提取用于提取物體和電子設(shè)備之間的距離信息的信號(hào)，來(lái)提取該距離信息。

圖像處理單元能夠執(zhí)行圖像預(yù)處理操作和圖像后處理操作。第一，圖像預(yù)處理操作能夠?yàn)閳D像執(zhí)行自動(dòng)白平衡(awb)、自動(dòng)曝光(ae)、自動(dòng)對(duì)焦(af)提取和處理、鏡頭陰影校正、死像素校正、拐點(diǎn)校正(kneecorrection)等等。圖像后處理操作能夠包括色彩插值、圖像處理鏈(ipc)、色彩轉(zhuǎn)換等等。色彩插值操作能夠執(zhí)行將圖像傳感器1510中輸出的像素轉(zhuǎn)換(例如，全彩轉(zhuǎn)換)為包括三個(gè)色彩rgb的色彩的功能。ipc能夠執(zhí)行色彩插值圖像的降噪、伽馬校正、亮度校正等等。并且，色彩轉(zhuǎn)換操作能夠?qū)⑿Ｕ膱D像(例如，原始數(shù)據(jù)、貝爾數(shù)據(jù))轉(zhuǎn)換為yuv(或者ycbcr)圖像。

信息獲取單元能夠基于圖像傳感器1510中輸出的像素信號(hào)，來(lái)確定物體和電子設(shè)備之間的距離信息。例如，在圖像傳感器1510是包括上表面相位差傳感器的圖像傳感器的情況下，信息獲取單元能夠基于上表面相位差傳感器的信號(hào)來(lái)提取物體和電子設(shè)備之間的距離信息。信息獲取單元能夠生成電子設(shè)備的拍攝環(huán)境信息。拍攝環(huán)境信息能夠包括拍攝元數(shù)據(jù)(例如，可交換圖像文件格式(exif))、和/或電子設(shè)備的拍攝姿勢(shì)信息。在信息獲取單元中估計(jì)的距離信息可以是深度圖。深度圖信息可以被映射有圖像數(shù)據(jù)的像素。

例如，圖像傳感器可以是2-pd圖像傳感器。圖像處理單元能夠?qū)⒃?-pd圖像傳感器1510中輸出的子像素信號(hào)求和或者平均，以生成單位像素的信號(hào)。此后，圖像處理單元能夠?qū)挝幌袼匦盘?hào)進(jìn)行預(yù)處理和后處理，以生成圖像數(shù)據(jù)。通過(guò)確定單位像素的第一子像素信號(hào)和第二子像素信號(hào)之間的相位差，信息獲取單元能夠估計(jì)距離信息。在信息獲取單元中確定的第一和第二子像素信號(hào)之間的相位差可以用作電子設(shè)備和物體之間的距離信息。

根據(jù)示例實(shí)施例，相機(jī)模塊510的圖像傳感器可以是生成圖像數(shù)據(jù)的二維圖像傳感器。如果圖像傳感器是二維圖像傳感器，則圖像處理模塊1520能夠提取圖像數(shù)據(jù)的輪廓線并且生成與距離信息相似的信息。例如，如果圖像傳感器是二維圖像傳感器，則信息獲取單元能夠提取在圖像傳感器中生成的圖像數(shù)據(jù)的輪廓線，并且生成與距離信息相似的信息。圖像數(shù)據(jù)的輪廓線可以基于色彩數(shù)據(jù)的變化、圖像的亮度等等來(lái)提取。

識(shí)別模塊1530可以包括各種處理電路和程序元素，其能夠基于在圖像處理模塊1520中生成的圖像數(shù)據(jù)和距離信息(或圖像數(shù)據(jù)的輪廓線信息)來(lái)識(shí)別物體的配置信息(例如，基于距離信息的、物體范圍、物體在圖像內(nèi)的位置等等)。例如，識(shí)別模塊1530能夠基于在圖像處理模塊1520中輸出的物體和電子設(shè)備之間的距離信息，來(lái)識(shí)別圖像內(nèi)包括的至少一個(gè)物體。根據(jù)示例實(shí)施例，識(shí)別模塊1530能夠基于距離信息估計(jì)物體的配置信息。根據(jù)示例實(shí)施例，識(shí)別模塊1530能夠基于圖像數(shù)據(jù)和距離信息來(lái)估計(jì)物體的配置信息。

在識(shí)別模塊1530中識(shí)別的物體的配置信息可以基于深度圖來(lái)估計(jì)。物體的配置信息能夠包括諸如物體的形式(例如，線形、圓形、橢圓形等等)、物體的深度、物體的尺寸、物體的位置等等的信息。濾波器確定模塊1540可以包括各種電路和程序元素，其能夠基于物體的配置信息來(lái)確定圖像濾波器。圖像濾波器可以是如圖6a至圖6e中所示的各種形式的濾波器。濾波器確定模塊1540能夠基于物體的配置信息來(lái)選擇一個(gè)或者多個(gè)圖像濾波器。

濾波器應(yīng)用模塊1550可以包括各種電路和程序元素，其能夠?qū)⒃跒V波器確定模塊1540中確定的圖像濾波器應(yīng)用在經(jīng)圖像處理的獲取圖像，以生成新的圖像。顯示器模塊1560能夠?qū)⒃跒V波器應(yīng)用模塊1560中生成的新的圖像作為預(yù)覽圖像顯示。

在分析深度圖和圖像以及確定物體的配置信息(例如，物體區(qū))的持續(xù)時(shí)間期間，電子設(shè)備能夠向顯示器模塊1560提供通知，以通知它正處于圖像處理的過(guò)程中。例如，電子設(shè)備能夠把將被應(yīng)用在最終拍攝圖像的或者與此類似的圖像處理效果(例如，濾波器效果)應(yīng)用在預(yù)覽屏幕，并且顯示預(yù)覽屏幕。通過(guò)這樣做，電子設(shè)備能夠通知它現(xiàn)在正在處理中，并且同時(shí)顯示生成最終結(jié)果的過(guò)程。例如，當(dāng)將圖像濾波器應(yīng)用在獲取的圖像時(shí)，電子設(shè)備能夠改變預(yù)覽圖像的尺寸或者改變預(yù)覽圖像的屬性(例如，模糊強(qiáng)度和曝光值)，從而讓用戶感到享受的感覺(jué)而不會(huì)無(wú)聊。

根據(jù)示例實(shí)施例，在圖像傳感器1510中獲取的圖像可以是食物圖像。例如，如果食物被包括在物體當(dāng)中，則圖像傳感器1510能夠生成圖像數(shù)據(jù)。圖像數(shù)據(jù)能夠包括食物圖像和/或用于提取食物的距離信息的信號(hào)。圖像處理模塊1520能夠處理食物圖像數(shù)據(jù)，并且能夠基于食物圖像數(shù)據(jù)生成距離信息(例如，深度圖)。食物圖像可以通過(guò)物體的深度圖和電子設(shè)備的姿勢(shì)信息來(lái)表示。例如，深度圖可以被2-pd圖像傳感器感測(cè)和獲取，或者也可以被上表面相位差圖像傳感器或者聚焦調(diào)整圖像傳感器獲取。深度圖還可以通過(guò)分離的ir或者超聲波測(cè)量設(shè)備來(lái)獲得。電子設(shè)備的姿勢(shì)信息可以通過(guò)安裝在電子設(shè)備中的傳感器(例如，加速度傳感器和/或陀螺儀傳感器)來(lái)獲得。

識(shí)別模塊1530能夠基于深度圖信息或者食物圖像和深度圖信息，來(lái)識(shí)別食物圖像的配置信息(例如，食物圖像的范圍(或者尺寸)、位置、距離等等)。例如，識(shí)別模塊1530能夠基于能夠進(jìn)一步包括電子設(shè)備的深度圖和/或姿勢(shì)信息的獲取的距離信息，來(lái)識(shí)別作為物體的食物的配置信息。濾波器確定模塊1540能夠基于物體(例如，食物)的配置信息，來(lái)確定將被應(yīng)用在物體的最合適的圖像濾波器。所確定的圖像濾波器可以是多個(gè)預(yù)先準(zhǔn)備的圖像濾波器之一、或者兩個(gè)或更多個(gè)圖像濾波器的組合。例如，識(shí)別模塊1530能夠使用距離信息(例如，深度圖)提取作為物體的食物的范圍以及食物的位置。濾波器應(yīng)用模塊1540能夠基于提取的食物范圍和位置來(lái)確定最合適的圖像濾波器。例如，如果在識(shí)別模塊1530中識(shí)別的食物的范圍是處于其在水平方向上長(zhǎng)的形式，則濾波器確定模塊1540能夠確定圖14b的線性濾波器。如果在識(shí)別模塊1530中識(shí)別的食物的范圍是圓形，濾波器確定模塊1540能夠確定圖14d的圓形濾波器。

濾波器應(yīng)用模塊1550能夠?qū)⒃跒V波器確定模塊1540中確定的圖像濾波器應(yīng)用到在識(shí)別模塊1530中輸出的圖像數(shù)據(jù)，以生成新的圖像。例如，濾波器應(yīng)用模塊1550能夠清楚顯示被應(yīng)用圖像濾波器的區(qū)的圖像(例如，在識(shí)別模塊1530中識(shí)別的主要物體的區(qū))，并且能夠?qū)τ诔酥獾耐鈬鷧^(qū)給出模糊效果。被應(yīng)用圖像濾波器的區(qū)可以基于通過(guò)距離信息識(shí)別的物體組成元素來(lái)設(shè)置。例如，圖像濾波器中的模糊的中心可以是作為判據(jù)的聚焦的點(diǎn)。焦點(diǎn)可以是圖像濾波器的中心，或者可以基于觸摸等等而被多樣化地設(shè)置。根據(jù)示例實(shí)施例，圖像濾波方法能夠在聚焦位置周圍執(zhí)行模糊處理，而不在聚焦位置中執(zhí)行模糊處理。根據(jù)示例實(shí)施例，圖像濾波方法能夠以相互不同的模糊強(qiáng)度在聚焦位置中和聚焦位置周圍執(zhí)行模糊處理。

濾波器應(yīng)用模塊1550能夠?qū)⒉煌谀：Ч男Ч麘?yīng)用在被應(yīng)用了圖像濾波器的區(qū)的圖像。例如，濾波器應(yīng)用模塊1550還能夠應(yīng)用給予明亮感覺(jué)的光照效果、或者擴(kuò)展特定區(qū)的微距效果。例如，在食物范圍是圓形的情況下，濾波器確定模塊1540能夠確定圓形濾波器和光照濾波器。如果這樣，則濾波器應(yīng)用模塊1550能夠?qū)A形濾波器區(qū)設(shè)置到物體所位于的區(qū)，并且將光照效果應(yīng)用在物體圖像。

如果在濾波器應(yīng)用模塊1550中生成新的圖像，則顯示器模塊1560能夠顯示所生成的新的圖像。在顯示器模塊1560中顯示的圖像可以是預(yù)覽圖像。在提取距離信息(例如，深度圖)和估計(jì)物體區(qū)以便應(yīng)用圖像濾波器的同時(shí)，電子設(shè)備能夠通過(guò)顯示器模塊1560顯示它正在處理中。

根據(jù)示例實(shí)施例，在確定將應(yīng)用圖像濾波器的物體區(qū)的同時(shí)，電子設(shè)備能夠在顯示器模塊1560上顯示具有與將被圖像處理和生成的新的圖像的相似的效果的預(yù)覽圖像。例如，當(dāng)電子設(shè)備顯示預(yù)覽圖像時(shí)，電子設(shè)備能夠改變和顯示將被應(yīng)用圖像濾波器(例如，線性濾波器、圓形濾波器等等)的部分，或者能夠改變和顯示外圍圖像的模糊強(qiáng)度和/或亮度(例如，曝光值)。被應(yīng)用圖像濾波器的部分可以是整個(gè)圖像。將被應(yīng)用圖像濾波器的部分的改變能夠代表在圖像濾波器內(nèi)應(yīng)用處理(例如，處理效果)的部分的改變。

因此，用戶能夠檢查動(dòng)態(tài)地改變以下操作的過(guò)程：通過(guò)預(yù)覽圖像分析食物、和自動(dòng)地設(shè)置圖像濾波器效果和卓越的畫面質(zhì)量。根據(jù)示例實(shí)施例，當(dāng)電子設(shè)備顯示預(yù)覽圖像時(shí)，電子設(shè)備能夠基于電子設(shè)備的姿勢(shì)信息來(lái)顯示預(yù)覽圖像。例如，電子設(shè)備的姿勢(shì)信息可以基于傳感器模塊來(lái)獲取，并且可以從識(shí)別模塊1530被提供給濾波器應(yīng)用模塊1550。濾波器應(yīng)用模塊1550能夠根據(jù)電子設(shè)備的拍攝姿勢(shì)，將圖像濾波器應(yīng)用在獲取的圖像，從而生成預(yù)覽圖像。濾波器應(yīng)用模塊1550能夠?qū)㈦娮釉O(shè)備的姿勢(shì)信息與預(yù)覽圖像一起輸出到顯示器模塊1560。顯示器模塊1560能夠顯示基于電子設(shè)備的拍攝姿勢(shì)的預(yù)覽圖像，并且能夠顯示相關(guān)聯(lián)的拍攝姿勢(shì)信息。

在示例實(shí)施例中，在顯示預(yù)覽圖像的過(guò)程中，電子設(shè)備能夠根據(jù)用戶的選擇來(lái)改變圖像濾波器的應(yīng)用區(qū)(例如，聚焦位置)。例如，電子設(shè)備能夠在預(yù)覽圖像中通過(guò)用戶的指定(例如，觸摸等等)改變圖像濾波器和中心位置。例如，如果濾波器區(qū)被用戶設(shè)置(例如，如果用戶的繪畫輸入被識(shí)別)，則識(shí)別模塊1530能夠通過(guò)所述由用戶設(shè)置的濾波器區(qū)來(lái)生成配置信息。濾波器確定模塊1540能夠基于由用戶設(shè)置的濾波器區(qū)來(lái)設(shè)置圖像濾波器。在預(yù)覽模式中，濾波器應(yīng)用模塊1550能夠應(yīng)用由用戶設(shè)置的圖像濾波器應(yīng)用，以生成新的圖像(例如，預(yù)覽圖像)。用戶能夠通過(guò)觸摸輸入等等來(lái)設(shè)置圖像濾波器的聚焦點(diǎn)。如果聚焦點(diǎn)被設(shè)置，則濾波器應(yīng)用模塊1550能夠以由用戶設(shè)置的聚焦點(diǎn)為中心，來(lái)應(yīng)用所設(shè)置的圖像濾波器。

如果用戶在顯示預(yù)覽圖像的過(guò)程中生成捕獲命令，則電子設(shè)備能夠?qū)V波器應(yīng)用模塊1550中生成的新的圖像存儲(chǔ)在存儲(chǔ)器中。根據(jù)示例實(shí)施例，電子設(shè)備能夠存儲(chǔ)在圖像處理模塊1520中獲取的圖像數(shù)據(jù)和在濾波器應(yīng)用模塊1550中生成的新的圖像的全部。

根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備能夠包括相機(jī)模塊、存儲(chǔ)器模塊、以及可操作地與相機(jī)模塊和存儲(chǔ)器模塊耦合的處理器。處理器能夠通過(guò)相機(jī)模塊獲取圖像，基于獲取的圖像提取距離信息，基于提取的距離信息確定用于物體的圖像處理技術(shù)，將確定的圖像處理技術(shù)應(yīng)用在獲取的圖像，并且顯示被應(yīng)用的圖像。

相機(jī)模塊能夠包括生成圖像數(shù)據(jù)、以及用于提取電子設(shè)備和物體之間的距離信息的信號(hào)的圖像傳感器。

相機(jī)模塊的圖像傳感器能夠包括單位像素的陣列，并且單位像素能夠包括兩個(gè)子像素。處理器能夠基于單位像素的子像素的信號(hào)之間的相位差來(lái)提取距離信息，并且平均所述子像素的信號(hào)以生成圖像數(shù)據(jù)。

相機(jī)模塊的圖像傳感器能夠包括上表面相位差傳感器和像素傳感器，并且所述處理器能夠基于上表面相位差傳感器的信號(hào)來(lái)提取距離信息、以及基于像素傳感器的信號(hào)來(lái)生成圖像數(shù)據(jù)。

所述處理器能夠基于圖像提取距離信息，并且基于距離信息識(shí)別物體。

圖像處理技術(shù)是圖像濾波器，并且處理器能夠提取所識(shí)別的物體的配置信息、基于所提取的配置信息確定圖像濾波器、以及將所確定的圖像濾波器應(yīng)用在獲取的圖像數(shù)據(jù)以生成新的圖像。

在確定圖像處理技術(shù)的同時(shí)，處理器能夠顯示預(yù)覽圖像，并且所述預(yù)覽圖像可以是被應(yīng)用了基于模糊、曝光變化等等的動(dòng)態(tài)濾波器的預(yù)覽圖像。

電子設(shè)備還能夠包括感測(cè)電子設(shè)備的姿勢(shì)的傳感器模塊，并且處理器能夠在作為預(yù)覽圖像被顯示的新的圖像中顯示電子設(shè)備的姿勢(shì)信息。

處理器能夠在配置信息中選擇線性濾波器、圓形濾波器、光照濾波器、微距濾波器、和選擇性聚焦濾波器當(dāng)中的至少一個(gè)濾波器，并且將所選擇的濾波器應(yīng)用在圖像數(shù)據(jù)。

所生成的新的圖像可以是以所述圖像濾波器的焦點(diǎn)為判據(jù)在其外圍區(qū)中被模糊處理的圖像。也就是，所生成的新的圖像可以是在除了所述圖像濾波器的焦點(diǎn)位置之外的其外圍區(qū)中被模糊處理的圖像。

圖像濾波器可以是被應(yīng)用在食物圖像的圖像濾波器。

根據(jù)捕獲請(qǐng)求，處理器能夠?qū)⑿碌膱D像存儲(chǔ)在存儲(chǔ)器模塊中。

相機(jī)模塊能夠包括生成二維圖像數(shù)據(jù)的圖像傳感器。處理器能夠基于圖像數(shù)據(jù)提取物體的輪廓線信息，并且基于輪廓線信息識(shí)別物體的配置信息，并且基于配置信息確定圖像濾波器，以及將所確定的圖像濾波器應(yīng)用在圖像數(shù)據(jù)。

圖16是示出根據(jù)本公開(kāi)的各種示例實(shí)施例的在電子設(shè)備中處理圖像的示例方法的流程圖。

參考圖16，在操作1611，如果拍攝命令被生成，則電子設(shè)備(例如，圖4的處理器400)能夠設(shè)置拍攝條件，并且控制相機(jī)模塊啟動(dòng)拍攝。拍攝模式可以是應(yīng)用圖像濾波器的拍攝模式。如果拍攝被啟動(dòng)，則電子設(shè)備的圖像傳感器能夠?qū)⑼ㄟ^(guò)鏡頭入射的光學(xué)信號(hào)轉(zhuǎn)換為圖像數(shù)據(jù)。圖像數(shù)據(jù)能夠包括圖像的亮度信息和色彩信息，并且能夠包括用于提取物體的距離信息的信號(hào)。

在示例實(shí)施例中，電子設(shè)備能夠同時(shí)獲取圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。例如，圖像傳感器可以是其中生成圖像數(shù)據(jù)的傳感器和生成用于提取距離信息的信號(hào)的傳感器被集成在一個(gè)電路中的一體式圖像傳感器。在一體式圖像傳感器中，電子設(shè)備能夠在相同的幀持續(xù)時(shí)間獲取圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。

在示例實(shí)施例中，電子設(shè)備能夠在相互不同的時(shí)間獲取圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。例如，圖像傳感器可以是其中生成圖像數(shù)據(jù)的傳感器和生成用于提取距離信息的信號(hào)的傳感器被獨(dú)立地構(gòu)建的立體式圖像傳感器。在立體式圖像傳感器中，電子設(shè)備能夠單獨(dú)地獲取圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。

在示例實(shí)施例中，電子設(shè)備可以不映射圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。例如，在圖像傳感器中，生成圖像數(shù)據(jù)的傳感器和用于提取距離信息的傳感器可能在尺寸(例如，分辨率)上不同。如果傳感器在尺寸上相互不同，則電子設(shè)備能夠以像素為單位來(lái)映射圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。電子設(shè)備能夠按照區(qū)來(lái)映射圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。例如，電子設(shè)備能夠?qū)鞲衅鞣指顬槎?，并且能夠按照段?lái)映射圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。

如果電子設(shè)備獲取圖像數(shù)據(jù)1613，則在操作1615，電子設(shè)備能夠基于三維圖像數(shù)據(jù)來(lái)提取物體的距離信息。物體的距離信息(例如，深度圖)可以是物體和電子設(shè)備之間的距離信息。

圖像傳感器可以是不能夠生成用于提取距離信息的信號(hào)的圖像傳感器。如果這樣，則在操作1615，電子設(shè)備能夠提取物體的輪廓線信息。例如，在操作1615，電子設(shè)備能夠提取在圖像傳感器中生成的圖像數(shù)據(jù)的輪廓線，并且生成與距離信息相似的信息。圖像數(shù)據(jù)的輪廓線可以基于圖像的輪廓線、色彩數(shù)據(jù)的改變、圖像的亮度等等來(lái)提取。

在提取物體的距離信息之后，在操作1617，電子設(shè)備能夠基于物體的距離信息和/或圖像數(shù)據(jù)來(lái)識(shí)別物體的配置信息。例如，物體的配置信息能夠包括諸如物體的范圍(或者尺寸)、在圖像范圍內(nèi)的位置、物體的深度等等的信息。根據(jù)示例實(shí)施例，在圖像傳感器中輸出的圖像數(shù)據(jù)和用于提取物體的距離信息的信號(hào)可以在相互不同的時(shí)間生成。如果沒(méi)有進(jìn)行用于生成圖像數(shù)據(jù)的幀和用于提取物體距離信息的信號(hào)的幀的時(shí)間的同步，則在操作1617，在電子設(shè)備同步圖像數(shù)據(jù)的幀和用于提取物體距離信息的信號(hào)的幀之后，電子設(shè)備能夠基于圖像數(shù)據(jù)和用于提取物體距離信息的信號(hào)來(lái)識(shí)別物體的配置信息。

根據(jù)示例實(shí)施例，在圖像傳感器中輸出的圖像數(shù)據(jù)和用于提取物體的距離信息的信號(hào)可能是幅度(或者分辨率)不彼此映射的信號(hào)。如果所述兩個(gè)信號(hào)沒(méi)有按照像素或者按照區(qū)來(lái)映射，則在操作1617，電子設(shè)備能夠映射所述圖像數(shù)據(jù)和所述用于提取物體距離信息的信號(hào)，并且基于映射的兩個(gè)信號(hào)來(lái)識(shí)別物體的配置信息。例如，如果圖像數(shù)據(jù)的分辨率(或者傳感器尺寸)大于用于提取距離信息的信號(hào)的分辨率，則電子設(shè)備能夠?qū)D像的尺寸分割為段，并且將用于提取相應(yīng)的距離信息的信號(hào)映射到圖像段，并且基于映射的兩個(gè)信號(hào)來(lái)識(shí)別物體的配置信息。

在操作1619，電子設(shè)備能夠基于識(shí)別的物體的配置信息來(lái)確定圖像處理技術(shù)。圖像處理技術(shù)可以是圖像濾波器。如果圖像濾波器被確定，則在操作1621，電子設(shè)備能夠?qū)⑺_定的圖像濾波器應(yīng)用在獲取的圖像數(shù)據(jù)，以生成新的圖像。在操作1623，電子設(shè)備能夠在顯示器上顯示所生成的新的圖像，例如，預(yù)覽圖像。顯示在顯示器上的圖像可以是預(yù)覽圖像。

預(yù)覽圖像可以是其中自動(dòng)設(shè)置的圖像濾波器被應(yīng)用到獲取的圖像的圖像。如果拍攝構(gòu)圖和焦點(diǎn)根據(jù)用戶的拍攝姿勢(shì)(例如，拍攝角度和/或距離)而改變，則在操作1613，電子設(shè)備能夠獲取被拍攝姿勢(shì)改變的圖像。如果圖像被改變，則電子設(shè)備能夠基于改變的圖像數(shù)據(jù)來(lái)提取距離信息。電子設(shè)備能夠基于所提取的距離信息來(lái)識(shí)別最新識(shí)別的物體的配置信息，并且能夠基于所識(shí)別的配置信息來(lái)改變圖像濾波器。

用戶能夠檢查顯示在顯示器上的預(yù)覽圖像。在電子設(shè)備基于所生成的圖像來(lái)識(shí)別物體配置信息并且設(shè)置圖像濾波器時(shí)，電子設(shè)備能夠顯示具有與被應(yīng)用了圖像濾波器的圖像相似的效果的預(yù)覽圖像。例如，在電子設(shè)備確定圖像濾波器時(shí)，電子設(shè)備能夠通過(guò)使用模糊、曝光變化等等在預(yù)覽屏幕上顯示各種形式的預(yù)覽圖像。例如，電子設(shè)備能夠?qū)⒕哂凶兓母杏X(jué)的動(dòng)態(tài)濾波器(例如，模糊應(yīng)用、曝光變化等等)應(yīng)用在預(yù)覽屏幕，從而通過(guò)處理在視覺(jué)上為用戶提供適合于物體的圖像濾波器。

在顯示預(yù)覽圖像的情況下，用戶能夠生成繪畫和/或觸摸輸入。如果繪畫輸入被感測(cè)到，則電子設(shè)備能夠基于所述繪畫輸入來(lái)設(shè)置圖像濾波器，并且將被應(yīng)用了所設(shè)置的圖像濾波器的圖像作為預(yù)覽圖像進(jìn)行顯示。如果觸摸輸入被感測(cè)到，則電子設(shè)備能夠基于觸摸位置來(lái)設(shè)置圖像濾波器的聚焦位置，并且顯示被應(yīng)用了所設(shè)置的圖像濾波器的預(yù)覽圖像。

如果被應(yīng)用了期望的構(gòu)圖和圖像濾波器的新的圖像作為預(yù)覽圖像被顯示，則用戶能夠生成捕獲命令。如果捕獲命令被生成，則在操作1625，電子設(shè)備能夠識(shí)別這個(gè)捕獲命令。在操作1627，電子設(shè)備能夠存儲(chǔ)被應(yīng)用了圖像濾波器的新的圖像。在操作1627，電子設(shè)備還能夠存儲(chǔ)被應(yīng)用了圖像濾波器的新的圖像和在圖像傳感器中獲取的圖像的全部。

根據(jù)示例實(shí)施例，在電子設(shè)備的圖像傳感器中獲取的圖像可以是食物圖像。用戶能夠在拍攝菜單中設(shè)置食物模式。如果食物模式被選擇，則在操作1611，電子設(shè)備能夠識(shí)別食物模式的設(shè)置，并且能夠執(zhí)行應(yīng)用圖像濾波器和生成圖像的操作。根據(jù)示例實(shí)施例，在電子設(shè)備使用2-pd圖像傳感器的情況下，電子設(shè)備能夠生成圖像數(shù)據(jù)和用于提取距離信息的信號(hào)。例如，構(gòu)成單位像素的子像素的信號(hào)可以是用于提取距離信息的信號(hào)，并且所述子像素的平均值(或者總和)信號(hào)可以是圖像數(shù)據(jù)。圖像傳感器能夠轉(zhuǎn)換通過(guò)鏡頭入射的光學(xué)信號(hào)，并且將所述光學(xué)信號(hào)輸出為圖像信息。在操作1613，電子設(shè)備能夠獲取食物圖像信息。例如，物體可以是食物，并且食物能夠在電子設(shè)備和食物之間具有相互不同的距離。例如，在食物被包含在容器中的情況下，所述容器和所述食物能夠具有與電子設(shè)備的相互不同的距離。并且，甚至放置在容器之內(nèi)的食物能夠具有相互不同的距離信息。在操作1615，電子設(shè)備能夠從食物的圖像數(shù)據(jù)提取距離信息。例如，如果如圖13a中那樣獲取了食物圖像，則電子設(shè)備能夠如圖13b中那樣提取所述食物圖像的深度圖。在操作1617，電子設(shè)備能夠基于深度圖(或者深度圖和圖像數(shù)據(jù))，來(lái)估計(jì)將應(yīng)用圖像濾波器的食物的配置信息(例如，食物范圍和/或位置、食物圖像的距離等等)。

例如，如果食物被包括在構(gòu)成圖像的物體當(dāng)中，則電子設(shè)備能夠估計(jì)(或者感測(cè))食物的形式、位置信息、食物和電子設(shè)備之間的位置關(guān)系。從圖像提取的距離信息可以通過(guò)圖像(例如，所獲取的整個(gè)圖像內(nèi)的食物圖像)的深度圖和電子設(shè)備的姿勢(shì)信息來(lái)表示。例如，深度圖可以通過(guò)2-pd圖像傳感器來(lái)獲得，或者還可以通過(guò)包括上表面相位差傳感器的圖像傳感器來(lái)獲取。深度圖還可以通過(guò)單獨(dú)的ir或者超聲波測(cè)量設(shè)備來(lái)獲得。電子設(shè)備的姿勢(shì)信息可以通過(guò)安裝在電子設(shè)備中的傳感器來(lái)獲得。

在操作1619，電子設(shè)備能夠基于距離信息(例如電子設(shè)備的深度圖和/或姿勢(shì)信息)，來(lái)確定將被應(yīng)用在物體的最合適的圖像濾波器。圖像濾波器可以是各種形式的圖像濾波器，并且可以被存儲(chǔ)在存儲(chǔ)器中。根據(jù)所識(shí)別的物體的配置信息(例如，食物圖像的范圍、食物圖像的位置等等)，電子設(shè)備能夠設(shè)置預(yù)先準(zhǔn)備的多個(gè)圖像濾波器當(dāng)中的一個(gè)或多個(gè)圖像濾波器。

根據(jù)示例實(shí)施例，如果食物圖像具有線性形式，則電子設(shè)備能夠設(shè)置圖6a的線性濾波器。根據(jù)示例實(shí)施例，如果食物圖像被包含在具有圓形或者多邊形形式的容器之內(nèi)，則電子設(shè)備能夠設(shè)置圖6b的圓形濾波器。根據(jù)示例實(shí)施例，在深度的相對(duì)改變平滑的情況下，電子設(shè)備能夠應(yīng)用線性濾波器。根據(jù)示例實(shí)施例，在深度的改變比較突然的情況下，電子設(shè)備能夠以所述深度的區(qū)為判據(jù)來(lái)應(yīng)用圓形濾波器。根據(jù)示例實(shí)施例，如果食物圖像在亮度方面比較暗，則電子設(shè)備能夠設(shè)置圖6c的光照濾波器。根據(jù)示例實(shí)施例，如果食物圖像在整個(gè)圖像中具有小尺寸，則電子設(shè)備能夠設(shè)置圖6d的微距濾波器。根據(jù)示例實(shí)施例，在電子設(shè)備強(qiáng)調(diào)食物圖像的情況下，電子設(shè)備能夠設(shè)置圖6e的選擇性聚焦濾波器。

根據(jù)示例實(shí)施例，如果食物圖像具有線性形式并且在亮度方面是暗的，則電子設(shè)備能夠?qū)⒕€性濾波器和光照濾波器一起設(shè)置。根據(jù)示例實(shí)施例，如果食物圖像被包含在圓形容器中并且在整個(gè)圖像中具有小尺寸，則電子設(shè)備能夠?qū)A形濾波器和微距濾波器一起設(shè)置。根據(jù)示例實(shí)施例，如果食物圖像被包含在橢圓容器中并且電子設(shè)備強(qiáng)調(diào)所述橢圓容器內(nèi)的食物圖像，則電子設(shè)備能夠?qū)A形濾波器和選擇性聚焦濾波器一起設(shè)置。

電子設(shè)備能夠基于距離信息估計(jì)整個(gè)圖像中的食物圖像范圍，并且設(shè)置將被應(yīng)用在所估計(jì)的食物圖像的最優(yōu)圖像濾波器。在設(shè)置圖像濾波器之后，在操作1621，電子設(shè)備能夠?qū)⑺O(shè)置的圖像濾波器應(yīng)用在食物圖像，以生成新的圖像。例如，電子設(shè)備清楚地顯示被應(yīng)用了圖像濾波器(例如，線性濾波器和/或圓形濾波器)的區(qū)，并且對(duì)除了食物圖像之外的外圍區(qū)圖像進(jìn)行模糊處理。例如，在圓形濾波器和光照濾波器被設(shè)置的情況下，電子設(shè)備能夠通過(guò)將光照效果給予被設(shè)置了圓形濾波器的范圍的食物圖像來(lái)進(jìn)行顯示，以強(qiáng)調(diào)所述食物圖像。未被設(shè)置圖像濾波器的范圍的圖像可以被模糊處理。根據(jù)示例實(shí)施例，當(dāng)電子設(shè)備應(yīng)用圖像濾波器以生成新的圖像時(shí)，電子設(shè)備能夠應(yīng)用給予明亮感覺(jué)的光照效果或者擴(kuò)展特定區(qū)的微距效果。

在操作1623，電子設(shè)備能夠?qū)⒈粦?yīng)用了圖像濾波器的新的圖像作為預(yù)覽圖像進(jìn)行顯示。電子設(shè)備能夠在提供被應(yīng)用了圖像濾波器的預(yù)覽圖像之前顯示其它圖像。例如，在分析深度圖和圖像以及確定將應(yīng)用圖像濾波器的區(qū)(或者物體區(qū))的持續(xù)時(shí)間期間，電子設(shè)備能夠?yàn)橛脩籼峁┩ㄖ谔幚碇械耐ㄖＲ簿褪钦f(shuō)，在顯示被應(yīng)用了圖像濾波器的新的圖像之前，電子設(shè)備能夠顯示預(yù)覽屏幕，所述預(yù)覽屏幕應(yīng)用將被應(yīng)用到最終拍攝圖像的效果或者與該效果類似的效果(例如，濾波器效果)。在電子設(shè)備生成應(yīng)用圖像濾波器的新的圖像的同時(shí)，電子設(shè)備能夠向用戶通知它現(xiàn)在正在圖像處理中，并且同時(shí)顯示生成最終結(jié)果的過(guò)程，從而使得用戶感到享受圖像處理功能的感覺(jué)而不會(huì)厭煩。例如，當(dāng)電子設(shè)備應(yīng)用圖像濾波器時(shí)，電子設(shè)備能夠改變食物圖像的尺寸(例如，模糊強(qiáng)度和/或曝光值)，并且顯示食物圖像。例如，電子設(shè)備能夠在預(yù)覽屏幕上動(dòng)態(tài)地顯示通知以下內(nèi)容的操作：分析食物圖像，并且自動(dòng)地設(shè)置圖像濾波器效果和卓越的畫面質(zhì)量。

用于在根據(jù)本公開(kāi)的各種示例實(shí)施例的電子設(shè)備中操作的方法能夠包括以下操作：通過(guò)圖像傳感器獲取圖像；從獲取的圖像提取距離信息；基于提取的距離信息確定用于物體的圖像處理技術(shù)；將所確定的圖像處理技術(shù)應(yīng)用在獲取的圖像以生成新的圖像；以及將新的圖像作為預(yù)覽圖像顯示。

獲取圖像的操作能夠包括獲取圖像數(shù)據(jù)和獲取用于提取電子設(shè)備和物體之間的距離信息的信號(hào)的操作。

確定圖像處理技術(shù)的操作能夠包括基于深度圖識(shí)別物體的配置信息、以及基于所述配置信息設(shè)置用于處理圖像的圖像濾波器的操作。

確定圖像處理技術(shù)的操作能夠包括基于圖像數(shù)據(jù)的輪廓線識(shí)別配置信息、以及基于所述配置信息設(shè)置用于處理圖像的圖像濾波器的操作。

設(shè)置圖像濾波器的操作能夠基于所識(shí)別的物體的配置信息來(lái)設(shè)置線性濾波器、圓形濾波器、光照濾波器、微距濾波器、和選擇性聚焦濾波器當(dāng)中的至少一個(gè)濾波器。

生成新的圖像的操作能夠生成以所述圖像濾波器的焦點(diǎn)為判據(jù)在其外圍區(qū)中被模糊處理的圖像。

確定圖像處理技術(shù)的操作還能夠包括顯示預(yù)覽圖像的操作，并且所述顯示預(yù)覽圖像的操作能夠顯示被應(yīng)用了基于模糊、曝光變化等等的動(dòng)態(tài)濾波器的預(yù)覽圖像。

根據(jù)各種示例實(shí)施例，包括成像設(shè)備的電子設(shè)備能夠分析獲取的圖像以便自動(dòng)地設(shè)置圖像處理技術(shù)，并且將所設(shè)置的圖像處理技術(shù)應(yīng)用在獲取的圖像以生成新的圖像。如果應(yīng)用圖像處理技術(shù)的拍攝操作(例如，食物拍攝)被請(qǐng)求，則電子設(shè)備能夠從通過(guò)成像設(shè)備獲取的圖像數(shù)據(jù)中提取主要物體的配置信息，并且能夠基于所提取的配置信息來(lái)自動(dòng)地設(shè)置將應(yīng)用的圖像濾波器，并且將圖像濾波器應(yīng)用在獲取的圖像，以及顯示其中主要物體被強(qiáng)調(diào)的圖像。

已經(jīng)參考附圖描述了本公開(kāi)的各種示例實(shí)施例。應(yīng)該理解，各種示例實(shí)施例意圖是例示性的，而不是限制性的。因此，本領(lǐng)域普通技術(shù)人員將清楚，各種修改、變化、和替換將落入如所附權(quán)利要求中定義的本公開(kāi)的真實(shí)精神和全部范圍之內(nèi)。