相機控制的方法
【專利摘要】本發(fā)明提供一種使能相機控制的用戶界面方法。在一示例中，方法包括以下步驟：在相機的用戶界面裝置上顯示色調(diào)映射高動態(tài)范圍（HDR）圖像；經(jīng)由與用戶界面裝置關(guān)聯(lián)的輸入裝置接收用戶編輯；發(fā)送用戶編輯給相機的一個或多個后端裝置以進行基于用戶編輯的處理操作；由一個或多個后端裝置接收已更新的色調(diào)映射HDR圖像，其中已更新色調(diào)映射HDR圖像是來自基于用戶編輯進行的處理操作；以及當相機鏡頭繼續(xù)捕捉該場景的幀以供一個或多個后端裝置實施迭代地影響已更新色調(diào)映射HDR圖像的操作時，在用戶界面顯示已更新的色調(diào)映射HDR圖像。
【專利說明】相機控制的方法
[0001]相關(guān)申請的交叉參考
[0002]本申請要求2012年12月21日提交的申請序號為61/745，198的美國臨時專利申請的優(yōu)先權(quán)，在此引入該申請作為參考。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體上涉及相機捕捉，更具體地說，涉及一種相機控制的方法。
【背景技術(shù)】
[0004]具有數(shù)碼相機、顯示器、足夠的計算能力和觸摸界面的移動設(shè)備正變得越來越普及和強大。現(xiàn)在與以往相比，更多的相片由移動設(shè)備來捕捉，它們多數(shù)在設(shè)備上直接編輯并從該設(shè)備上直接共享，甚至不上傳到PC機。該現(xiàn)象很好地反映于相機控制和移動平臺的圖像處理的近期焦點，以及反映于智能電話上照相應(yīng)用的普及。
[0005]典型的數(shù)碼相機，無論是功能豐富的數(shù)碼單反(DSLR)還是傻瓜相機裝置，依賴一組旋鈕和按鈕來控制捕捉參數(shù)。在獨立的照相管線內(nèi)，用戶選擇一種預(yù)定的捕捉模式以指定相機測光策略(例如，日光、夜晚模式、點模式、全景、微距捕捉等)，捕捉圖像同時以滑塊或刻度盤調(diào)整捕捉參數(shù)。然后，做為可選的后處理步驟，用戶實施編輯以糾正不想要的測光設(shè)置(例如，曝光過度/不足的圖面或特定區(qū)域，將合成模糊加到背景以強調(diào)前景等)。這種經(jīng)過近一個世紀的攝影演變而得來的方法，是有效的但給無經(jīng)驗的相機用戶造成許多困難。由于不能反映用戶意圖的粗糙測光策略，傻瓜相機往往產(chǎn)生次優(yōu)的圖像，但沒有深入的攝影知識很難操作DSLR。最重要的是，旋鈕和按鈕界面的直接接口無法充分地利用在許多移動設(shè)備上可用的觸摸基界面的潛力。
[0006]早期攝影師無法直接看到其所捕捉照片的結(jié)果，但是不得不想像各種圖像參數(shù)的功能，例如曝光、焦距、甚至是所用膠片和白紙的選擇。帶有顯示預(yù)覽圖像的實時數(shù)碼顯示器的數(shù)碼相機，使捕捉在這方面更容易。相機給出所捕捉圖像是什么樣子的預(yù)覽，使設(shè)計圖像和選擇捕捉時機變得更容易、更有趣。然而，當使用許多計算攝影技術(shù)時，用戶仍然需要想像結(jié)果，例如，組合突破曝光于高動態(tài)范圍(HDR)圖像和色調(diào)映射HDR圖像回顯示的低動態(tài)范圍(LDR)，而不是看數(shù)碼取景器中最終結(jié)果的近似值。類似的限制也適用于傳統(tǒng)的數(shù)碼攝影。許多攝影師在捕捉后使用例如Photoshop或Lightroom工具編輯其照片。不幸的是，在知道后期編輯對結(jié)果的可能作用之前，用戶必須捕捉到現(xiàn)場鏡頭。因此捕捉過程依然與圖像編輯過程分離，可能導(dǎo)致不充分數(shù)據(jù)采集(例如，錯誤的成份或不充分的信噪比(SNR))或過度數(shù)據(jù)采集(例如，較長的捕捉時間、加劇的手抖或運動模糊，以及存儲或傳輸?shù)某杀旧?。
[0007]因此，典型的數(shù)碼相機提供具有最終圖像的幾乎真實描述的數(shù)碼取景器。然而，如果圖像來自不同捕捉圖像的突發(fā)(burst)，或者非線性交互式編輯對最終結(jié)果具有突出的貢獻，攝影師不能直接看到結(jié)果，而需要想像后處理的效果。
[0008]因此，需要一種相機，該相機能夠捕捉到更準確地反映用戶在驅(qū)動快門時刻的意圖的場景。

【發(fā)明內(nèi)容】

[0009]本發(fā)明一實施方式包括一種使能相機控制的用戶界面方法。在一示例中，該方法包括以下步驟:在相機的用戶界面裝置上顯示色調(diào)映射高動態(tài)范圍(HDR)圖像，其中用戶界面包括定義顯示表面的多個像素，且其中色調(diào)映射HDR圖像包括相機的相機鏡頭所指向場景的演繹；通過與用戶界面裝置關(guān)聯(lián)的輸入裝置接收用戶編輯；發(fā)送用戶編輯給相機的一個或多個后端裝置以實施基于用戶編輯的處理操作；從一個或多個后端裝置接收已更新的色調(diào)映射HDR圖像，其中已更新色調(diào)映射HDR圖像是由基于用戶編輯而實施的處理操作所產(chǎn)生；以及在相機鏡頭繼續(xù)捕捉該場景的幀以供一個或多個后端裝置實施迭代地影響已更新色調(diào)映射HDR圖像的操作時，在用戶界面顯示已更新色調(diào)映射HDR圖像。
[0010]本方法提供與傳統(tǒng)方法相比的至少兩個好處。一個好處是該相機控制系統(tǒng)使用戶能夠做出有關(guān)圖像構(gòu)圖的更好決定，因為該相機控制系統(tǒng)使用戶能夠意識到用戶未決編輯將如何影響驅(qū)動快門時所捕捉的圖像。在這方面，取景器用作預(yù)可視化工具，提供提升的用戶體驗。另一個好處是相機控制系統(tǒng)執(zhí)行的程序更好利用捕捉參數(shù)，比如焦距、曝光、增益、白平衡等等。
【專利附圖】

【附圖說明】
[0011]因此，可以詳細地理解本公開的上述特征，并且可以參考示范性實施例得到對如上面所簡要概括的本公開更具體的描述，其中一些實施例在附圖中示出。然而，應(yīng)當注意的是，附圖僅示出了本公開的典型實施例，因此不應(yīng)被認為是對其范圍的限制，本公開可以具有其他等效的實施例。
[0012]圖1為描述用以實現(xiàn)本發(fā)明一或多個實施例的相機系統(tǒng)的方框圖。
[0013]圖2為描述本發(fā)明一實施例的并行處理子系統(tǒng)的方框圖。
[0014]圖3為依據(jù)本發(fā)明一實施例的具有相機控制系統(tǒng)的相機系統(tǒng)的方框圖。
[0015]圖4A為依據(jù)本發(fā)明一實施例中在相機控制操作的初始階段的相機系統(tǒng)的概念圖。
[0016]圖4B為依據(jù)本發(fā)明一實施例中當用戶在用戶界面裝置上進實施實時編輯的相機系統(tǒng)的概念圖。
[0017]圖4C為依據(jù)本發(fā)明一實施例中，圖4B的操作之后實時編輯時的相機控制系統(tǒng)的概念圖。
[0018]圖4D為依據(jù)本發(fā)明一實施例中，圖4C的操作之后實時編輯時的相機控制系統(tǒng)的概念圖。
[0019]圖4E為依據(jù)本發(fā)明一實施例中，圖4D的操作之后實時編輯時的相機控制系統(tǒng)的概念圖。
[0020]圖5為依據(jù)本發(fā)明一實施例的控制相機的方法步驟的流程圖。
[0021]圖6A為描述本發(fā)明一實施例中通過每個像素分析的基于編輯的測光情況(a)的示意圖。
[0022]圖6B為描述本發(fā)明一實施例中通過每個像素分析的基于編輯的測光情況(b)的示意圖。
[0023]圖6C為描述本發(fā)明一實施例的每個像素目標的集合的方框圖。
【具體實施方式】
[0024]在下面的描述中，將闡述大量的具體細節(jié)以提供對本公開更透徹的理解。然而，本領(lǐng)域的技術(shù)人員應(yīng)該清楚，本公開可以在沒有一個或多個這些具體細節(jié)的情況下得以實施。在其他實施例中，未描述眾所周知的特征，以避免模糊本發(fā)明。
[0025]除其他事項外,本發(fā)明的實施例針對相機控制，包括決定相機捕捉參數(shù)(自動對焦、自動曝光、自動白平衡等)的新級別算法。現(xiàn)有的相機系統(tǒng)依靠滑塊、刻度盤和啟發(fā)式算法來調(diào)整參數(shù)。這樣的方法，雖然實用，對于基于觸摸的用戶界面是次優(yōu)的并僅支持取景器流的全局變化。本發(fā)明的實施例，另一方面，能夠空間定域測光且使用戶能夠通過一組編輯直接在取景器圖像上組合照片的外觀和感覺。基礎(chǔ)優(yōu)化構(gòu)架確保相機處理的實時執(zhí)行實現(xiàn)用戶定義外觀和圖像質(zhì)量限制。
[0026]硬件綜述
[0027]圖1為被配置以實現(xiàn)本發(fā)明的一個或多個方面的相機系統(tǒng)100的方框圖。圖1未限制或意圖限制本發(fā)明的范圍。系統(tǒng)100可為數(shù)碼相機、平板電腦、筆記本電腦、智能電話、移動電話、移動設(shè)備、個人數(shù)碼助理、個人電腦或任何其他適于實施本發(fā)明一個或多個實施例的設(shè)備。設(shè)備(device)是硬件或硬件與軟件的組合。部件(component)通常為設(shè)備的一部分且為硬件或硬件與軟件的組合。相機系統(tǒng)100包括中央處理單元(CPU) 102和具有設(shè)備驅(qū)動程序103的系統(tǒng)存儲器104。
[0028]中央處理單元(CPU)102和系統(tǒng)存儲器104通過互連路徑通訊，該互連路徑可包括存儲器橋105。存儲器橋105可以是例如北橋芯片，經(jīng)由總線或其他通信路徑106 (例如超傳輸(HyperTransport)鏈路)連接到I/O (輸入/輸出)橋107。I/O橋107，其可以是例如南橋芯片，從一個或多個用戶輸入裝置108 (例如觸摸屏、光標小鍵盤、鍵盤、鼠標等)接收用戶輸入，并且經(jīng)由通信路徑106和存儲器橋105將該輸入傳輸?shù)紺PU102。并行處理子系統(tǒng)112通過總線或其他通訊路徑113 (例如快速外圍部件互連(PCI)、圖形加速端口(AGP)、和/或超傳輸(HyperTransport)鏈路)稱接于存儲器橋105。在一實施方式中，并行處理子系統(tǒng)112是圖形子系統(tǒng)，其將像素傳輸?shù)斤@示裝置110 (例如，傳統(tǒng)陰極射線管(CRT)和/或液晶顯示器(IXD)基監(jiān)視器等)。系統(tǒng)盤114也連接到I/O橋107。交換器116提供I/O橋107與諸如網(wǎng)絡(luò)適配器118以及各種插卡120和121的其他部件之間的連接。其他部件(未明確示出)，包括通用串行總線(USB)和/或其他端口連接、壓縮光盤(CD)驅(qū)動器、數(shù)碼視頻光盤(DVD)驅(qū)動器、膠片錄制裝置及類似部件，也可以連接到I/O橋107。實施互連圖1中各種部件的通訊路徑，可通任何適合的協(xié)議，比如PC1、高速PCI (PCIe), AGP、超傳輸、和/或任何總線或點到點通訊協(xié)議，可使用不同協(xié)議的不同裝置間的連接在現(xiàn)有技術(shù)中已知。
[0029]下面參考圖2-5進一步描述，并行處理子系統(tǒng)112包括并行處理單元(PTO)，其被配置以通過使用能夠控制的電路執(zhí)行軟件應(yīng)用(例如設(shè)備驅(qū)動程序103)。那些數(shù)據(jù)包類型通過通訊路徑113所使用的通訊協(xié)議指定。在新數(shù)據(jù)包類型引進到通訊協(xié)議(例如，由于通訊協(xié)議的提升)的情況下，并行處理子系統(tǒng)112可被配置以生成基于新數(shù)據(jù)包類型的數(shù)據(jù)包并且使用新數(shù)據(jù)包類型跨越通訊路徑113與CPU102 (或其他處理單元)交換數(shù)據(jù)。[0030]在一個實施方式中，并行處理子系統(tǒng)112納入經(jīng)優(yōu)化用于圖形和視頻處理的電路，包括，例如，視頻輸出電路，并且構(gòu)成圖形處理單元(GPU)。在另一個實施方式中，并行處理子系統(tǒng)112納入經(jīng)優(yōu)化用于通用處理的電路，同時保留底層(underlying)計算架構(gòu)，本文將更詳細地進行描述。在又一個實施方式中，并行處理子系統(tǒng)112可與一個或多個其他系統(tǒng)部件集成，諸如存儲器橋105、CPU102以及I/O橋107以形成片上系統(tǒng)(SoC)。
[0031]應(yīng)該理解，本文所示系統(tǒng)是示例性的，并且變化和修改都是可能的。連接拓撲，包括橋的數(shù)目和布置、CPU102的數(shù)目以及并行處理子系統(tǒng)112的數(shù)目，可根據(jù)需要修改。例如，在一些實施方式中，系統(tǒng)存儲器104直接連接到CPU102而不是通過橋，并且其他裝置經(jīng)由存儲器橋105和CPU102與系統(tǒng)存儲器104通信。在其他替代性拓撲中，并行處理子系統(tǒng)112連接到I/O橋107或直接連接到CPU102，而不是連接到存儲器橋105。而在其他實施例中，I/O橋107和存儲器橋105可能被集成到單個芯片上。大型實施方式可以包括兩個或更多個CPU102以及兩個或更多個并行處理系統(tǒng)112。本文所示的特定部件是可選的；例如，任何數(shù)目的插卡或外圍裝置都可能得到支持。在一些實施方式中，交換器116被去掉，網(wǎng)絡(luò)適配器118和插卡120、121直接連接到I/O橋107。
[0032]圖2為本發(fā)明一實施例的并行處理子系統(tǒng)的方框圖。如所示的，并行處理子系統(tǒng)112包括一個或多個并行處理單元(PPU) 202，每個并行處理單元202都耦接到本地并行處理(PP)存儲器204。通常，并行處理子系統(tǒng)包括U個PPU，其中U > I。(本文中，類似對象的多個實例需要時以標識對象的參考數(shù)字和標識實例的括號中的數(shù)字來表示。)PPU202和并行處理存儲器204可使用一個或多個集成電路裝置來實現(xiàn)，諸如可編程處理器、專用集成電路(ASIC)或存儲器裝置，或者以任何其他技術(shù)可行的方式來實現(xiàn)。
[0033]再參考圖1，在一些實施方式中，并行處理子系統(tǒng)112中的一些或所有PPU202是具有渲染管線的圖形處理器，其可被配置以實施各種任務(wù)，該任務(wù)與從圖形數(shù)據(jù)生成像素數(shù)據(jù)相關(guān)，該圖形數(shù)據(jù)通過與本地并行處理存儲器204(其可用作圖形存儲器包括，例如，傳統(tǒng)的幀緩沖器)相互作用的存儲器橋105和總線113提供，以存儲和更新像素數(shù)據(jù)、向顯示裝置110傳達像素數(shù)據(jù)等等。在一些實施方式中，并行處理子系統(tǒng)112可包括一個或多個作為圖形處理器而操作的Pro202、以及一個或多個用于通用計算的其他PPU202。這些PPU可以是同樣的或不同的，并且每個PPU可具有自己專用并行處理存儲器裝置或不具有專用并行處理存儲器裝置。一個或多個PPU202可輸出數(shù)據(jù)到顯示裝置110，或者每個PPU202可輸出數(shù)據(jù)到一個或多個顯示裝置110。
[0034]在操作中，CPU102是相機系統(tǒng)100的主處理器，控制和協(xié)調(diào)其他系統(tǒng)部件的操作。特別地，CPU102發(fā)出控制PPU202操作的命令。在一些實施方式中，CPU102將每個PPU202的命令流寫入入棧緩沖器(圖1或2未明確示出)，入棧緩沖器可位于系統(tǒng)存儲器104、并行處理存儲器204、或可訪問CPU102和PPU202的另一存儲位置。PPU202從入棧緩沖區(qū)讀取命令流，然后執(zhí)行相對于CPU102操作異步的命令。
[0035]現(xiàn)在返回參考圖2，每個PPU202包括一 I/O (輸入/輸出)單元205，該單元205經(jīng)由連接到存儲器橋105 (或者，在一個替代性實施方式中，直接連接到CPU102)的通信路徑113與相機系統(tǒng)100的其余部分通信。PPU202到計算機系統(tǒng)100的其余部分的連接也可以變化。在一些實施方式中，并行處理子系統(tǒng)112可實施為插卡，該插卡可插值到相機系統(tǒng)100的擴展槽中。在其他實施方式中，PTO202可以和諸如存儲器橋105或I/O橋107的總線橋集成在單個芯片上。而在其他實施方式中，PPU202的一些或所有部件可以和CPU102集成在單個芯片上。
[0036]在一個實施方式中，通信路徑113是PCIe鏈路，如本領(lǐng)域所知的，其中專用通道被分配到每個PPU202。也可以使用其他通信路徑。如上所述，逆流互連還可用于實施通訊路徑113，以及在相機系統(tǒng)100、CPU102或PPU202中任何其他通訊路徑。I/O單元205生成用于在通信路徑113上傳送的包(或其他信號)，并且還從通信路徑113接收所有傳入的包(或其他信號)，將傳入的包引導(dǎo)到PPU202的適當部件。例如，可將與處理任務(wù)相關(guān)的命令引導(dǎo)到主機接口 206，而將與存儲器操作相關(guān)的命令(例如，對并行處理存儲器204的讀取或?qū)懭?引導(dǎo)到存儲器交叉開關(guān)單元210。主機接口 206讀取每個入棧緩沖器，并且將由入棧緩沖區(qū)指定的工作輸出到前端212。
[0037]有利地，每個PPU202都實現(xiàn)高度并行處理架構(gòu)。如詳細示出的，PPU202 (O)包括算法子系統(tǒng)230，該子系統(tǒng)230包括C個通用處理集群(GPC)208，其中C > I。每個GPC208能夠并發(fā)地執(zhí)行大量的(例如，幾百或幾千)線程，其中每個線程是程序的實例(instance)。在各種應(yīng)用中，可分配不同的GPC208用于處理不同類型的程序或用于實施不同類型的計算。GPC208的分配可以依據(jù)每個類型的程序或計算所產(chǎn)生的工作量而變化。
[0038]GPC208接收通過工作分配單元200執(zhí)行的處理任務(wù)，其接收來自前端單元212的定義處理任務(wù)的命令。前端212確保在啟動由入棧指定的處理前，GPC208被配置于有效的狀態(tài)。 [0039]當PI3U用于圖形處理時，例如，操作的處理工作量可分割為近乎相等尺寸任務(wù)以使操作能夠分配到多GPC208。工作分配單元200可被配置于能夠提供任務(wù)的頻率上產(chǎn)生任務(wù)給處理的多GPC208。在一實施方式中，工作分配單元200可產(chǎn)生任務(wù)足夠快以同時保持忙碌多GPC208。相反地，在傳統(tǒng)系統(tǒng)中，處理通過由單處理引擎執(zhí)行，同時其他處理引擎保持空轉(zhuǎn)，等待單處理引擎在開始其處理任務(wù)前完成任務(wù)。在本發(fā)明一些實施方式中，GPC208的部分被配置以執(zhí)行不同類型的處理。例如，第一部分被配置以執(zhí)行頂點陰影(vertexshading)和拓撲生成。第二部分可被配置以執(zhí)行曲面細分(tessellation)和幾何陰影(geometryshading)。第三部分可被配置以執(zhí)行屏幕空間的像素陰影以產(chǎn)生已渲染圖像。由GPC208產(chǎn)生的中間數(shù)據(jù)可存在于緩沖器以使中間數(shù)據(jù)能夠被在GPC208之間進一步處理。
[0040]存儲器接口 214包括D個分區(qū)單元215，每個分區(qū)單元215直接耦連到并行處理存儲器204的一部分，其中D≥1。如所示的，分區(qū)單元215的數(shù)目一般等于DRAM220的數(shù)目。在其他實施方式中，分區(qū)單元215的數(shù)目也可以不等于存儲器裝置的數(shù)目。動態(tài)隨機訪問存儲器(DRAM)220可被其他適合的存儲裝置取代并可為通常傳統(tǒng)設(shè)計。諸如幀緩沖器或紋理映射圖的渲染目標可以跨DRAM220加以存儲，這允許分區(qū)單元215并行寫入每個渲染目標的各部分以有效地使用并行處理存儲器204的可用帶寬。
[0041]任何一個GPC208都可以處理要被寫到并行處理存儲器204內(nèi)的任何DRAM220的數(shù)據(jù)。交叉開關(guān)單元210被配置以發(fā)送每個GPC208的輸出到任何分區(qū)單元215的輸入或到另一個GPC208用于進一步處理。GPC208通過交叉開關(guān)單元210與存儲器接口 214通信，以對各種外部存儲器設(shè)備進行讀取或?qū)懭搿Ｔ谝粋€實施方式中，交叉開關(guān)單元210具有到存儲器接口 214的連接以和I/O單元205通信，以及到本地并行處理存儲器204的連接，從而使得在不同GPC208內(nèi)的處理內(nèi)核能夠與系統(tǒng)存儲器104或?qū)τ赑PU202而言非本地的其他存儲器通信。在圖2所示的實施方式中，交叉開關(guān)單元210直接與I/O單元205連接。交叉開關(guān)單元210可使用虛擬信道來分開GPC208與分區(qū)單元215之間的業(yè)務(wù)流。
[0042]另外，GPC208可被編程以執(zhí)行與種類繁多的應(yīng)用相關(guān)的處理任務(wù)，包括但不限于，線性和非線性數(shù)據(jù)變換、視頻和/或音頻數(shù)據(jù)過濾、建模操作(例如，應(yīng)用物理定律以確定對象的位置、速率和其他屬性)、圖像渲染操作(例如，曲面細分(tessellation)著色器、頂點著色器、幾何著色器、和/或像素著色器程序)等等。PPU202可將數(shù)據(jù)從系統(tǒng)存儲器104和/或本地并行處理存儲器204轉(zhuǎn)移到內(nèi)部(片上)存儲器中，處理該數(shù)據(jù)，并且將結(jié)果數(shù)據(jù)寫回到系統(tǒng)存儲器104和/或本地并行處理存儲器204，其中這樣的數(shù)據(jù)可以由其他系統(tǒng)部件訪問，所述其他系統(tǒng)部件包括CPU102或另一個并行處理子系統(tǒng)112。
[0043]PPU202可配備有任何容量(amount)的本地并行處理存儲器204，包括沒有本地存儲器，并且可以以任何組合方式使用本地存儲器和系統(tǒng)存儲器。例如，在統(tǒng)一存儲器架構(gòu)(UMA)實施方式中，PPU202可以是圖形處理器。在這樣的實施方式中，將不提供或幾乎不提供專用的圖形(并行處理)存儲器，并且PPU202會以排他或幾乎排他的方式使用系統(tǒng)存儲器。
[0044]在UMA實施方式中，PPU202可集成到橋式芯片中或處理器芯片中，或作為具有高速鏈路(例如，PCIe)的分立芯片提供，所述高速鏈路經(jīng)由橋式芯片或其他通信手段將PPU202連接到系統(tǒng)存儲器。
[0045]如上所示，在并行處理子系統(tǒng)112中可以包括任何數(shù)目的PPU202。例如，可在單個插卡上提供多個PPU202、或可將多個插卡連接到通信路徑113、或可將一個或多個PPU202集成到橋式芯片中。在多PI3U系統(tǒng)中的PPU202可以彼此同樣或不同。
[0046]例如，不同的PPU202可能具有不同數(shù)目的處理內(nèi)核、不同容量的本地并行處理存
儲器等等。
[0047]在存在多個PPU202的情況下，可并行操作那些PI3U從而以更高于單個PPU202所可能達到的吞吐量來處理數(shù)據(jù)。包含一個或多個PPU202的系統(tǒng)可被配置于各種配置和形成因素來實現(xiàn)，包括臺式電腦、筆記本電腦或手持式個人計算機、服務(wù)器、工作站、游戲控制臺、嵌入式系統(tǒng)等等。
[0048]本發(fā)明一實施例的執(zhí)行為用于計算機系統(tǒng)程序產(chǎn)品，比如圖1所示的相機系統(tǒng)100。
[0049]程序產(chǎn)品的一個或多個程序定義實施例的功能(包括本文所述的方法)并可限定于各種計算機可讀的存儲介質(zhì)。例如說計算機可讀介質(zhì)包括，但不限于:(i)非可寫存儲介質(zhì)(例如，計算機中的只讀存儲裝置，例如可由CD-ROM驅(qū)動器讀取的CD-ROM盤，閃存，ROM芯片或任何類型的固態(tài)非易失性半導(dǎo)體存儲器)，其上可永久保存信息；以及(ii )可寫存儲介質(zhì)(例如，在軟盤驅(qū)動器的軟盤或硬盤驅(qū)動器或任何類型的固態(tài)隨機訪問半導(dǎo)體存儲器)，其上可存儲可變信息。
[0050]相機控制系統(tǒng)概述
[0051]當前方法利用移動設(shè)備的處理能力，使在數(shù)碼相機和在具有數(shù)碼相機的移動設(shè)備(例如手機)上臺式機一樣的工作流程成為可能。相機控制系統(tǒng)利用這些處理能力引入實現(xiàn)取景器編輯，其使用戶在捕捉前直接在取景器上進行編輯。相機控制系統(tǒng)帶給計算機捕捉應(yīng)用所見即所得(WYSIWYG)的界面，使用戶能夠在取景器上直接看到交互式編輯的效果。利用該界面，相機控制系統(tǒng)還收集對用戶重要的圖像各方面的信息，該信息又影響捕捉參數(shù)的選擇，比如捕捉圖像的數(shù)目、曝光值、焦距、白平衡等等。為實現(xiàn)該理念，相機控制系統(tǒng)使用統(tǒng)一的框架，其中用戶提供輸入(例如，稀疏的，基于點擊的輸入等)以控制本地的或全局的色調(diào)、顏色、飽和度、焦距、和其他參數(shù)。然后，用戶接收取景器上的即時反饋。
[0052]用戶提供的選擇是基于相似性(affinity)。相機控制系統(tǒng)存儲作為圖像修改空間的稀疏采樣功能的選擇。然后，相機控制系統(tǒng)通過匹配圖像塊傳送選擇給后續(xù)取景框。相機控制系統(tǒng)將編輯即應(yīng)用于取景器圖像又應(yīng)用于用戶最終決定捕捉(例如，通過致動快門)的高分辨率圖像。另外，相機控制系統(tǒng)內(nèi)部使用編輯來驅(qū)動相機控制程序，其決定適當?shù)钠毓夂?或焦距值等。用戶甚至可提供不一致的線索，然后其可通過取得兩個不同設(shè)置的圖像并組合結(jié)果來滿足。
[0053]控制系統(tǒng)使用戶能夠做出關(guān)于組合的最好決策，因為相機控制系統(tǒng)使用戶認識到用戶未決定的編輯將如何影響已捕捉圖像。相機控制系統(tǒng)在這點上用作預(yù)先可視化的工具，提供新的用戶體驗。此外，系統(tǒng)能夠使相機控制程序更好地優(yōu)化捕捉參數(shù)，比如焦距、曝光、增益和白平衡。用戶表達如何變換圖像，使算法能夠?qū)С鲋С肿儞Q所需噪聲閾值、景深、動態(tài)范圍。例如，如果用戶希望局部照亮場景暗區(qū)，用戶的輸入應(yīng)該導(dǎo)致不同的測光決定；或者，若用戶樂于讓天空在顯示器上飽和，完整的曝光堆棧是不必要的。在此框架中，基于堆棧的計算捕捉與傳統(tǒng)捕捉無縫地融合，當并且只有當必要時起作用。
[0054]相機控制系統(tǒng)提供快速編輯傳播算法，取景器界面充分地利用可視化的知識以可視化編輯、色調(diào)映射、多重曝光混合和相機控制程序，其共同形成可以在移動平臺和/或桌面平臺及其他平臺間以交互速率運行的系統(tǒng)。
[0055]圖3為依據(jù)本發(fā)明一實施例中具有相機控制系統(tǒng)302的相機系統(tǒng)101的方框圖。如圖所示，相機控制系統(tǒng)302包括，但不限于，相互耦接的用戶界面裝置306、掩碼生成裝置304、測光裝置302。用戶界面裝置306包括但不限于實時編輯裝置322、所見即所得(WYSIWYG)取景器裝置308。
[0056]用戶界面裝置306是前端裝置，其用戶使用快速的時空編輯傳播架構(gòu)從而能夠以交互速率基于點擊編輯取景器。相機控制系統(tǒng)302模擬作為圖像塊空間函數(shù)的編輯并存儲以高維數(shù)據(jù)結(jié)構(gòu)的編輯。
[0057]測光裝置305是后端裝置，其使用HDR測光顯示在屏幕上的已編輯取景器圖像的質(zhì)量。對于給定用戶的編輯和場景(例如，以實時構(gòu)建的色調(diào)映射HDR圖像表示)，測光裝置305產(chǎn)生最大化HDR圖像的顯示外觀質(zhì)量的測光參數(shù)(例如，曝光時間等)。特別地，測光裝置305考慮每個所顯示像素的感知激勵閾值，反向通過圖像處理管線(包括用戶編輯和色調(diào)映射)映射閾值，以計算在圖像傳感器的可接受的噪聲閾值，然后計算滿足整個圖像的已計算閾值的曝光組。該方案與目的在于獲得盡可能真實的物理場景幅照度現(xiàn)有的HDR測光算法形成對比。
[0058]掩碼生成裝置402是后端裝置，其生成編輯掩碼是通過分類場景的紋理、產(chǎn)生稀疏編輯掩碼、進行邊緣保留平滑、然后構(gòu)建編輯掩碼。下面參見圖5進一步解釋動作。
[0059]相機控制系統(tǒng)302可用于專用數(shù)碼相機、桌面電腦、筆記本電腦、平板電腦和/或移動電話或其他平臺。下面參見圖4A-5進一步描述相機控制系統(tǒng)302。[0060]取景器編輯示例
[0061]圖4A-4E為依據(jù)本發(fā)明各種實施例，說明在用戶界面裝置306的取景器裝置308上編輯的系列示意圖。相機控制系統(tǒng)的處理取景器編輯，以更準確地顯示用戶打算捕捉的圖像。相機持續(xù)地捕捉相機鏡頭所指向的場景的幀，并持續(xù)地使用后端操作中處理的幀。后端操作包括將取景器編輯與相機所捕捉的幀結(jié)合的操作。因此，相機控制的方法包括持續(xù)的、反復(fù)的、相互高度依賴的操作。因此，取景器編輯發(fā)生在實時(例如，當相機捕捉后端處理的場景的巾貞)。
[0062]圖4A為依據(jù)本發(fā)明一實施例，在相機控制操作的初始階段的相機系統(tǒng)302的概念圖。相機控制系統(tǒng)302被開啟，其包括具有WYSISYG取景器裝置308的用戶界面裝置306。用戶410將相機鏡頭(圖未示)指向現(xiàn)場場景404?，F(xiàn)場場景404之所以“活”，是因為場景包括潛在移動的目標(例如，人物、風(fēng)景、動物、和/或其他目標等)，還因為相機至少一點也是潛在移動的。然而，可選的，現(xiàn)場場景404中的目標可是大體靜止的或相對于相機位置是不動的。
[0063]在此初始階段，相機控制系統(tǒng)302將現(xiàn)場場景404描述為用戶界面裝置306的WYSIWYG取景器裝置308上的未編輯圖像412。在該示例中，將相機控制系統(tǒng)302描述成平板電腦的相機的部分。其他示例，除了平板電腦，包括智能電話、專用的數(shù)碼相機、筆記本電腦、移動電話、移動設(shè)備、個人數(shù)碼助理、個人計算機或適于執(zhí)行本發(fā)明一或多個實施例的其他任何裝置。
[0064]圖4B是依據(jù)本發(fā)明一實施例，在用戶410在用戶界面裝置306上進行實時編輯時相機系統(tǒng)302的概念圖。在一實施方式中，相機控制系統(tǒng)302可從用戶界面裝置306上的用戶410接收稀疏點擊(未圖示)，如同用戶界面裝置306是油畫布一樣。當相機控制系統(tǒng)302接收用戶界面裝置306上的點擊時，相機控制系統(tǒng)302標記選擇區(qū)域420的相應(yīng)圖像塊。相機控制系統(tǒng)302可通過接收選擇區(qū)域420的區(qū)域中的輕擊(或鼠標點擊等)而接收選擇區(qū)域420的確認?；蛘?，相機控制系統(tǒng)302可通過接收，例如選擇區(qū)域420的區(qū)域外的輕擊(或鼠標點擊等)，而接收選擇區(qū)域420的取消。
[0065]選擇區(qū)域420包括用戶界面裝置308的部分的和/或所有的像素。在該示例中，選擇區(qū)域是矩形的?；蛘?，選擇區(qū)域可以是另一形狀，比如，舉例來說，圓形、橢圓形、任何類型的多邊形、以及其他形狀。選擇區(qū)域420或者還可以基于紋理(texture)。例如，天空可具有與人臉不同的紋理。因此，在一實施方式中，相機控制系統(tǒng)302可識別紋理的不同并獲得基于紋理匹配的選擇區(qū)域(例如，匹配天空的紋理以選擇天空作為選擇區(qū)域，或者匹配人的紋理以選擇人作為選擇區(qū)域等)。
[0066]相機控制系統(tǒng)302將選擇區(qū)域420的圖像塊存儲于支持匹配圖像塊的數(shù)據(jù)結(jié)構(gòu)。在現(xiàn)場場景404 (其為流動并不是靜止的)的后續(xù)幀中，相機控制系統(tǒng)302選擇具有與先前所選擇塊匹配的相應(yīng)圖像塊的像素。由于不包括追蹤，相機控制系統(tǒng)302對運動和/或場景的遮掩和/或相機鏡頭有較強的魯棒性。
[0067]確認選擇區(qū)域420,實時編輯裝置322顯示各種編輯選項。在該示例中，編輯選項包括亮度、飽和度、對比度和色度。編輯選項的其他示例(未圖示)可包括但不限于白平衡、色彩、色調(diào)、焦距、曝光、增益和灰度等級。配置相機控制系統(tǒng)302用以從用戶接收編輯選項之一的選擇。[0068]圖4C是依據(jù)本發(fā)明一實施例，在圖4B的實時編輯后續(xù)操作時相機控制系統(tǒng)302的概念圖。在該示例中，選擇區(qū)域421顯示為包括孩子的臉。相機控制系統(tǒng)302是邊緣保護的(例如邊緣感知)且能夠區(qū)分目標(例如孩子的臉或孩子的皮膚)的紋理與現(xiàn)場場景另一部分的紋理。用戶界面裝置306從用戶410接收在實時編輯裝置323上飽和度編輯選項的選擇。實時編輯裝置323在用戶界面306顯示滑塊，該滑塊使相機控制系統(tǒng)302從用戶410處接收飽和度大小的選擇。在該示例中，當相機控制系統(tǒng)302由用戶410處接收點擊手勢以指令飽和度大小時，實時編輯裝置323由此更新。在另一示例中，實時編輯裝置323可被配置以接收沒有可見滑塊的選擇區(qū)域321上的點擊手勢。
[0069]圖4D是依據(jù)本發(fā)明一實施例，在圖4C的實時編輯后續(xù)操作時相機控制系統(tǒng)302的概念圖。當相機控制系統(tǒng)進行選擇方面的處理時，接收有關(guān)飽和度編輯的相機控制系統(tǒng)302的選擇區(qū)域421 (圖4C)的區(qū)域成為噪聲，如圖4D所示。噪聲區(qū)域424可為相機控制系統(tǒng)302的有用特征。例如，通過顯示已編輯圖像432，相機控制系統(tǒng)302可告知用戶依已請求用戶編輯進行處理。顯示噪聲的步驟是可選擇步驟，并可能或可能不基于實施例的相機控制系統(tǒng)302的特征。例如，相機控制系統(tǒng)302的處理足夠快，以至于用戶410無需通過顯不噪聲輸出而被告知。
[0070]圖4E是依據(jù)本發(fā)明一實施例，在圖4D的實時編輯后續(xù)操作時相機控制系統(tǒng)302的概念圖。在用戶410選擇和編輯后，已編輯和調(diào)整的圖像442顯示在圖4E中。參考圖4B-4D的如上所述，相機控制系統(tǒng)302在選擇區(qū)域420進行處理，通過利用實時編輯意識測光而編輯選擇區(qū)域420的飽和度。在取景器裝置308的已顯示圖像442大體相同于在用戶410輸入啟動快門的請求時可捕捉到的圖像。顯示圖像442是原本可在后處理步驟中應(yīng)用的轉(zhuǎn)換應(yīng)用的結(jié)果。然而，在本技術(shù)中，相機控制系統(tǒng)302應(yīng)用關(guān)于現(xiàn)場場景404的相機實時使用時的轉(zhuǎn)換代替后處理操作時的轉(zhuǎn)換。該實時處理有利于已捕捉圖像更準確地描繪用戶意圖。
[0071]因此，相機控制系統(tǒng)302能夠使用戶通過改變外觀指定什么是重要的，包括但不限于，基于點擊輸入的亮度、飽和度、對比度、色度、色調(diào)、色彩、和/或焦距。相機控制系統(tǒng)302以交互速率向用戶傳送這些更改的可視化、促使相機控制程序選擇更好的捕捉參數(shù)(例如，曝光、增益、焦距、白平衡等)，獲得所需的突發(fā)圖像。該處理需要多個興趣區(qū)域的實時追蹤、取景器上編輯的可視化、給定編輯的優(yōu)選突發(fā)捕捉的決定。下面參考圖4和5進一步描述，相機控制系統(tǒng)302提供這些問題中每一個的解決方案，能夠在桌面和移動平臺上進行交互取景器編輯。相機控制系統(tǒng)302的取景器編輯提高了捕捉參加的選擇，能夠為用戶410提供更吸引人的捕捉經(jīng)驗。
[0072]其他構(gòu)架細節(jié)
[0073]再參見圖3，為了圖像采集，測光裝置305將來自傳感器(圖未示)的原始圖像數(shù)據(jù)傳入緩存最新幀的數(shù)據(jù)堆棧，這些最新幀可經(jīng)由處理線程合并和處理。相機控制系統(tǒng)302為用戶界面裝置306的取景器上的顯示內(nèi)部獲取完全曝光或焦距堆棧。否則，省略的、模糊的或曝光不足的區(qū)域可干擾用戶之后的選擇。因此，每幀基礎(chǔ)上更新捕捉參數(shù)如下:相機控制系統(tǒng)302通過當前HDR場景評估的對數(shù)亮度通道(1g-1uminancechannel)的直方圖計算第K幀所需的曝光，去除預(yù)期被第(K-1)幀覆蓋的倉斗(bins)，并測量剩余倉斗。對于焦距堆棧(focal stack)，相機控制系統(tǒng)302從最小到最大焦距迭代固定增量。[0074]對于取景器裝置308上編輯傳播，測光裝置305的處理線程提取N個最近幀(例如，對于曝光堆棧N=3而對于焦距堆棧N=4)并將幀合并到HDR幅照度圖。相機控制系統(tǒng)302可使用本領(lǐng)域技術(shù)人員所熟知的任何公式將LDR圖像合并到HDR圖像。在一實施方式中，相機控制系統(tǒng)302可以Logluv格式(例如，LogLuvTIFF)存儲所得場景評估。使用基于規(guī)范單元的格式是可取的，因為基于圖像塊的選擇和編輯對捕捉參數(shù)的改變有較強的魯棒性。
[0075]掩碼生成裝置304模擬選擇和編輯作為跨越圖像塊描述符的空間的函數(shù)。掩碼生成裝置304計算跨越場景中每個圖像塊的這些函數(shù)并生成掩碼，下面參見圖5進一步地描述。然后，測光裝置305將掩碼應(yīng)用于已編碼數(shù)據(jù)(例如，Logluv編輯數(shù)據(jù))，色調(diào)映射所得輸出，并在取景器裝置308上顯示輸出。Logluv是用于以另一圖像格式(例如TIFF)存儲HDR圖像數(shù)據(jù)的編碼。若用戶界面裝置306接收焦距編輯，測光裝置305可重組來自焦距堆棧的圖像。
[0076]基于所顯示的結(jié)果，測光裝置305重新計算曝光和/或焦距值的最佳組合，以下參見圖5進行進一步地描述。測光裝置305利用這些參數(shù)來影響相機捕捉的幀。測光裝置305通過上述處理管線傳送已捕捉幀并生成一 HDR圖像。測光裝置305在HDR圖像上進行色調(diào)映射以生成取景器裝置308上顯示的最終輸出。
[0077]用戶界面裝置306呈現(xiàn)給用戶看似正常的取景器裝置308。然而，在內(nèi)部，相機控制系統(tǒng)302定期獲得曝光和/或后端的焦距堆棧。在一實施例中，參見圖4B所述，用戶通過點擊手勢選擇區(qū)域。然后，用戶可通過輕擊已選擇區(qū)域外而取消選擇，或者通過輕擊已選擇區(qū)域內(nèi)而確認選擇，其觸發(fā)代表各種類型編輯(例如，亮度、飽和度、對比度、色度等)的圖標的重疊。一旦用戶選擇用于已選擇區(qū)域的編輯種類，用戶做出水平向左或向右掃的手勢變換已指定的特征(例如，變暗或變亮，更清晰或更模糊等)。
[0078]方法概述
[0079]圖5為依據(jù)本發(fā)明一實施例的控制相機的方法步驟的流程圖。在一些實施方式中，方法步驟可由圖3的相機控制系統(tǒng)302執(zhí)行，該相機控制裝置包括用戶界面裝置306、掩碼生成裝置304和測光裝置305。本領(lǐng)域技術(shù)人員將會理解，方法步驟是不固定的、重復(fù)的、彼此高度依賴的。僅用于說明的目的，以下方法步驟的描述于在用戶界面裝置306任意地開始。然而，在其他示例中，方法步驟的描述可在測量裝置305或構(gòu)架中其他地方上開始。無論如何，雖然在此結(jié)合圖1-3中系統(tǒng)描述方法步驟，本領(lǐng)域技術(shù)人員將會理解，為執(zhí)行方法步驟而以任何順序配置的任何系統(tǒng)落入本發(fā)明的范圍之內(nèi)。
[0080]如圖所示，方法500開始于動作502，用戶界面裝置306顯示取景器上的圖像(例如，圖3的WYSIWYG取景器308)。例如，啟動相機電源；相機鏡頭被指向并接收場景的持續(xù)輸入。因此，圖像包括，至少部分地包括，相機對相機鏡頭所指向場景的演繹(interpretation)。同時,取景器裝置接收來自下面進一步描述的動作520中測光裝置305的實時輸入。因此，用戶界面裝置306上顯示的圖像是相機鏡頭捕捉到的幀和來自用戶編輯的幀進行處理的幀的組合。以下進一步描述其他步驟，輸入的組合是實時的并隨場景變化和/或用戶編輯變化而持續(xù)變化的。
[0081]在決定操作504中，用戶界面裝置504決定是否接收啟動快門的請求。如果是，在動作506中，用戶界面裝置306向適當?shù)牟考l(fā)送請求以啟動快門。然后，相機控制系統(tǒng)302啟動快門并捕捉顯示在用戶界面裝置504的WYSIWYG取景器上的最終圖像。
[0082]然而，在決定操作504中，如果用戶界面裝置306確定沒有啟動快門的請求，方法500移動到?jīng)Q定操作508，在此用戶界面裝置306確定是否接收用戶編輯。如果不是，然后方法500結(jié)束，并可返回到開始以繼續(xù)。
[0083]然而，在決定操作508中，如果用戶界面裝置306確定接收用戶編輯，然后方法500移動到動作510，在此用戶界面裝置306接收用戶編輯。例如，用戶通過選擇區(qū)域和/或全部取景器傳達用戶意圖，通過亂涂手勢進行編輯(例如，更亮或更暗，轉(zhuǎn)變色彩，改變飽和度和對比度等)。
[0084]在動作511中，用戶界面裝置306 —個或多個用戶編輯到掩碼生成裝置304。
[0085]在動作512中，掩碼生成裝置304依據(jù)一個或多個用戶編輯對選擇區(qū)域的圖像塊進行分類。例如，掩碼生成裝置304開始將選擇區(qū)域轉(zhuǎn)換到數(shù)據(jù)格式(例如圖像塊)的處理，相機控制系統(tǒng)可匹配多個格式。同時，掩碼生成裝置304接收來自下面進一步描述的動作526中測光裝置305的反饋。
[0086]在動作514中，掩碼生成裝置304指定稀疏編輯掩碼。例如，掩碼生成裝置304使圖像塊被匹配到后續(xù)取景器幀中，從而手勢保持持久。獲得于多個取景器幀匹配圖像塊，可通過匹配看起來很象的圖像(例如，匹配每個8X8像素紋理包或任何尺寸紋理包)。每個包包括選擇區(qū)域像素的子集。每當用戶在包上亂涂以選擇包或應(yīng)用編輯時，相機控制系統(tǒng)更新已顯示圖像以反映改變。通過匹配每個取景器幀中的包以推斷出編輯的選擇和應(yīng)用得以傳播。
[0087]在動作516中，掩碼生成裝置304進行編輯掩碼上的邊緣感知映射(edge-awareup-sampling)o上述邊緣感知平滑在與指定編輯相關(guān)的部分。
[0088]在動作518中，掩碼生成裝置518產(chǎn)生測光裝置305使用的編輯掩碼?？紤]編輯掩碼。
[0089]在動作520中，測光裝置305進行色調(diào)映射操作520。同時，在動作522中，測光裝置350進行測光操作?；诰庉嬔诖a和色調(diào)映射HDR圖像，測光裝置305產(chǎn)生最大化HDR圖像的顯示外觀質(zhì)量的測光參數(shù)(例如，曝光時間等)。例如，測光裝置305基于編輯掩碼和色調(diào)映射HDR圖像量化測光需求，對色調(diào)映射HDR圖像進行測光以計算測光參數(shù)，并向相機提供測光參數(shù)，該測光參數(shù)影響幀捕捉操作并從而最大化已捕捉的HDR圖像的外觀用于顯示(例如，顯示事后編輯(post-edits))。
[0090]例如，配置測光裝置305以響應(yīng)用戶編輯，例如，通過引入包括等級(例如，曝光等級和/或焦距等級)的已測光輸出以一致于用戶編輯所隱含的限制。測光裝置305分析色調(diào)映射的HDR圖像并編輯掩碼以確定測光參數(shù)。然后，測光裝置305選擇所請求的下一取景器幀的捕捉參數(shù)。依據(jù)編輯的類型和范圍(extent)，一定的亮度和/或深度范圍對捕捉可能或多或少地重要，放松或緊縮對調(diào)節(jié)裝置305的算法的限制。測光裝置305將顯示的測光饋送回測光裝置305以影響已捕捉幀。
[0091]在動作524中，測光裝置305捕捉現(xiàn)場場景的幀。在圖5的示例中，測光裝置305捕捉幀具有預(yù)定數(shù)目幀的滑動窗口 530幀?；瑒哟翱?530包括在一個時間的三個幀的次序。例如，在時間tk-Ι，滑動窗口包括相鄰幀的次序，相鄰幀包括幀N-5、幀N-4和幀N-3。在時間tk，滑動窗口包括相鄰幀的次序，相鄰幀包括幀N-2、幀N-1和幀N，等等?；瑒哟翱诘某叽缈墒苡脩艟庉嬘绊憽＠?，在動作518中生成的編輯掩碼可影響滑動窗口的尺寸。例如，如果相機控制系統(tǒng)302接收用戶的輸入以照亮場景的亮度非?；璋档倪x擇，然后編輯可需要更長曝光和/或更高增益的額外鏡頭(例如，滑動窗口 530的額外幀)以恢復(fù)此選擇區(qū)域的數(shù)據(jù)。該用戶編輯影響可接受信噪比(SNR)的水平，該信噪比直接關(guān)系到曝光和/或增益的最佳選擇。
[0092]在動作526中，測光裝置305產(chǎn)生一 HDR圖像。例如，測光裝置305混合、排列、和/或合并滑動窗口的幀，以產(chǎn)生高動態(tài)范圍(HDR)圖像的估計值。在另一示例中(圖未示)，相機系統(tǒng)包括直接捕捉HDR幀的相機傳感器。在該情況下，測光裝置305無需混合如圖5所示的多個幀。通常，測光裝置305需要產(chǎn)生一 HDR圖像。測光裝置305產(chǎn)生HDR圖的特定方式通過不那么重要。
[0093]再參見動作520，測光裝置305組合編輯掩碼和HDR圖像以進行色調(diào)映射操作。然后，測光裝置305提供用于顯示在用戶界面裝置306的取景器裝置上的已編輯和已調(diào)整圖像。例如，相機控制系統(tǒng)寫入紋理異步的用戶界面裝置306的用戶編輯，掩碼生成裝置304的選擇掩碼，測光裝置305的場景幅照度估計值。
[0094]返回動作502，用戶界面裝置306顯示由測光裝置305接收的已編輯和已調(diào)整圖像。例如，前端應(yīng)用(例如，安卓(Android)用戶界面)組成最終圖像,然后呈示最終顯示。如上所述，方法500的動作是反復(fù)的。因此，隨著相機控制系統(tǒng)接收用戶編輯、接收場景變化、和/或接收相機移動等其他輸入，相機控制系統(tǒng)定期地更新已顯示圖像。
[0095]方法500可包括其他動作和/或在該方法概述中未討論的細節(jié)。例如，方法500可應(yīng)用于視頻和靜止圖像。與視頻的區(qū)別在于快門的啟動使得相機捕捉一段時間的一系列圖像，與一時間瞬間的靜止圖像相反。對于視頻，不會造成不良時間效應(yīng)的對捕捉參數(shù)的準確控制甚至更有挑戰(zhàn)(例如，曝光設(shè)置太急劇的變化使人察覺到閃爍)。作為另一示例，至少一些方法步驟可通過使用圖1和2的并行處理子系統(tǒng)112執(zhí)行；由于速度和具有最佳用戶體驗的原因而并行一些方法步驟，對于相機控制系統(tǒng)可能`是可取的。依據(jù)實施方式，其他動作和/或本文描述的細節(jié)可為方法500的一部分。本領(lǐng)域技術(shù)人員可以理解，用以按任何順序執(zhí)行方法步驟的任何系統(tǒng)都落入本發(fā)明的范圍。
[0096]其他取景器編輯細節(jié)
[0097]在取景器裝置308的圖像編輯必須暫時容納通過稀疏用戶輸入的目標持續(xù)選擇。同時，相機控制系統(tǒng)302處理未依賴于預(yù)處理或培訓(xùn)昂貴的分類器而獨立地處理每個取景器中貞。
[0098]借鑒在圖像序列的親和基編輯傳播的傳統(tǒng)工作，相機控制系統(tǒng)302模擬編輯和選擇為居于本地塊描述符空間的函數(shù):
[0099]
[S,: Mn — [—1.1j⑴
[0100]其中，η (例如8)是塊描述符的維數(shù)，S1, S2,...等等的每一個對應(yīng)一特別種類的編輯，例如色調(diào)、色彩、飽和度、模糊度等。O值對應(yīng)沒有編輯。相機控制系統(tǒng)302將
Sq ", W1 [O, I〗存儲為軟選擇掩碼。
[0101]在一示例中，相機控制系統(tǒng)302可使用基于8像素χ8像素圖像塊的8維描述符(例如n=8)，由平均數(shù)和對數(shù)亮度通道的第一階、第二階導(dǎo)數(shù)構(gòu)成，加上平均CIELUV色度(chrominance) (CIELUV是在1976年的國際照明委員會(CIE)采用的色彩空間)。為決定使用哪個特征，相機控制系統(tǒng)302對一組通用圖像塊進行主要分量分析(PCA)。已發(fā)現(xiàn)的最強的PCA分量與塊平均數(shù)類似，而通過對數(shù)亮度的導(dǎo)數(shù)可合理地估計出下一分量，等等。請注意的是離開先前工作，相機控制系統(tǒng)302下降從描述符的(X，y)坐標，以便強烈地抵制場景和相機運動。
[0102]現(xiàn)有方法試圖基于用戶提供示例全局優(yōu)化或插值反，作為結(jié)果，估算大小的成本與用戶已經(jīng)進行編輯的數(shù)目和范圍呈線性比例。取而代之的是，相機控制系統(tǒng)302存儲
于稀疏數(shù)據(jù)結(jié)構(gòu)，并把該問題作為查找問題。因此，遞增地更新.?具有O (I)代價。
[0103]因為相機控制系統(tǒng)302放棄明確的優(yōu)化或插值動作，編輯不會象用其他方法那樣過分地傳播。然而，該問題通過兩種方式減輕。第一，相機控制系統(tǒng)302應(yīng)用邊緣感知平滑于Si,關(guān)于產(chǎn)生取景器幀時的場景圖像。第二、因為在相機控制系統(tǒng)接收用戶點擊時相機控制系統(tǒng)交互地發(fā)送反饋，控制傳播對用戶是簡易的和直觀的。例如，用戶交互地描述(例如提供點擊給)Si。
[0104]取景器編輯:體現(xiàn)編輯
[0105]為存儲萬，相機控制系統(tǒng)302適用公知的permutohedral點陣，其將高維空間與單
形聯(lián)系起來并在頂點存儲示例。相機控制系統(tǒng)302利用點陣執(zhí)行插值與查找的重心插值，其順帶地用作當?shù)貍鞑ヒ汛鎯?shù)據(jù)。而點陣可用于支持高維濾波算法，相機控制系統(tǒng)302可用點陣十分有效地涵蓋(house)高維函數(shù)。
[0106]代替以給定圖像存在的所有包初始化點陣，為處理高維濾波，相機控制系統(tǒng)302采用流媒體的方式:當用戶輕點屏幕并選擇包(例如選擇區(qū)域420)時，相機控制系統(tǒng)302只定位與這些包相應(yīng)的那些頂點并更新其值。請注意，未選擇的包永遠不會寫入點陣。如果`在任何點的包查找失敗，默認值假設(shè)為§i。
[0107]為進一步支持流媒體編輯，相機控制系統(tǒng)302可使用衰減方案擴大點陣，該衰減方案類似于用于常用視頻濾波算法的方案。相機控制系統(tǒng)302聯(lián)系相機控制系統(tǒng)302每次增加相機控制系統(tǒng)訪問頂點的感知重要性測量的每個頂點，并隨時間推移呈指數(shù)衰減。因此，保留在取景器的圖像包將具有高重要性，而從視野消失很長時間的包將具有低重要性。相機控制系統(tǒng)302跟蹤每個頂點最后更新的時間。每當頂點被設(shè)訪問而進行讀寫時，相機控制系統(tǒng)302相應(yīng)地衰減頂點重要性。當點陣在最大程序時必須插值新的頂點，相機控制系統(tǒng)302檢查與散列碰撞(hashcollision)的節(jié)點并驅(qū)逐最低重要性的頂點。
[0108]取景器編輯:指定編輯
[0109]參考圖4A-4E以上所述，相機控制系統(tǒng)302被配置以指定編輯。相機控制系統(tǒng)接收興趣區(qū)域的敲擊和接收選擇的確認(例如輕敲或鼠標點擊已選擇區(qū)域)。然后，相機控制系統(tǒng)302呈現(xiàn)給用戶列出各種支持的編輯的小窗口(例如實時編輯器裝置)，相機控制系統(tǒng)302接收用戶選擇的選取(例如輕拍)。接下來，相機控制系統(tǒng)302接收指定編輯大小和方向的輸入(例如用戶水平向左或向右掃)。指定編輯的所有動作是交互的。例如，當用戶移動屏幕上的手指(或方式，鼠標指針等)時，相機控制系統(tǒng)302執(zhí)行后端處理并于取景器上描述的已更新編輯。
[0110]對于塊選擇(例如選擇區(qū)域420)，當用戶敲擊正在登記時，相機控制系統(tǒng)302將具有與事件起源小固定距離中心的圖像塊轉(zhuǎn)換為描述符，并從點陣(例如上述permutohedral點陣)查找描述符。如果不存在相應(yīng)節(jié)點，相機控制系統(tǒng)302生成并初始化相應(yīng)節(jié)點。相機控制系統(tǒng)302增加這些節(jié)點的Stl值。因此，應(yīng)用選擇的代價是0(1)，獨立于取景器維度和編輯歷史。
[0111]為每個取景器幀的取景器裝置308上的可視化，相機控制裝置302將包含于幀中的圖像塊轉(zhuǎn)換成描述符，并搜索點陣上每個描述符的相關(guān)編輯。如果用戶是在第三階段并當前應(yīng)用范圍k的j類型編輯，然后為相機控制系統(tǒng)302的每個描述符包/X.調(diào)整如下:
【權(quán)利要求】
1.一種使能相機控制的用戶界面方法，該方法包括: 在所述相機的用戶界面裝置上顯示色調(diào)映射高動態(tài)范圍(HDR)圖像，其中用戶界面包括定義顯示表面的多個像素，且其中色調(diào)映射HDR圖像包括所述相機的相機鏡頭所指向的場景的演繹； 經(jīng)由與所述用戶界面裝置關(guān)聯(lián)的輸入裝置接收用戶編輯； 發(fā)送所述用戶編輯給所述相機的一個或多個后端裝置以實施基于所述用戶編輯的處理操作； 從所述一個或多個后端裝置接收已更新的色調(diào)映射HDR圖像，其中已更新的色調(diào)映射HDR圖像是從基于所述用戶編輯而實施的處理操作產(chǎn)生；以及 當所述相機鏡頭繼續(xù)捕捉該場景的幀以供所述一個或多個后端裝置實施迭代地影響所述已更新色調(diào)映射HDR圖像的操作時，在所述用戶界面顯示所述已更新的色調(diào)映射HDR圖像。
2.如權(quán)利要求1所述的方法，進一步包括，響應(yīng)于經(jīng)由所述輸入裝置接收用戶輸入，在用戶界面裝置上顯示選擇區(qū)域，其中該選擇區(qū)域由包含于所述多個像素的一個或多個像素定義。
3.如權(quán)利要求2所述的方法，其中所述一個或多個后端裝置實施動作，包括: 通過用戶界面裝置接收用戶編輯，該用戶界面裝置顯示所述相機的相機鏡頭所指向場景的演繹，其中用戶編輯是基于用戶輸入，該用戶輸入與所述用戶界面裝置上的一選擇區(qū)域關(guān)聯(lián)；以及 基于一個或多個匹配圖像塊生成編`輯掩碼，所述匹配圖像炔基于所述用戶編輯和由所述相機生成的高動態(tài)范圍(HDR)圖像。
4.如權(quán)利要求3所述的方法，其中所述后端裝置實施進一步動作，包括: 基于所述編輯掩碼和HDR圖像實施一個或多個色調(diào)映射操作以產(chǎn)生色調(diào)映射HDR圖像；以及 基于所述編輯掩碼和色調(diào)映射HDR圖像實施一個或多個測光操作以計算幀捕捉操作的測光參數(shù)。
5.如權(quán)利要求3所述的方法，其中所述一個或多個圖像塊被配置用于通過利用圖像塊而匹配目標紋理，該圖像塊包括所述選擇區(qū)域內(nèi)所含有的像素子集。
6.如權(quán)利要求2所述的方法，進一步包括: 在所述用戶界面裝置上顯示實時編輯器，該實時編輯器包括允許用戶選擇特定編輯選項的編輯選項；以及 經(jīng)由該實時編輯器接收用戶編輯，并且作為響應(yīng)，初始化與所述選擇區(qū)域關(guān)聯(lián)的一個或多個后端處理操作。
7.如權(quán)利要求2所述的方法，進一步包括:在所述用戶界面裝置上顯示實時編輯器，該實時編輯器包括用于接收用戶輸入的編輯選項，該用戶輸入指示對于亮度、飽和度、對比度、色度、白平衡、色彩、色調(diào)、焦距、曝光或增益至少之一的變化大小。
8.如權(quán)利要求2所述的方法，其中所述一個或多個后端裝置實施動作，包括: 經(jīng)由所述用戶界面裝置接收用戶編輯，該用戶界面裝置顯示所述相機的相機鏡頭所指向場景的演繹，其中所述用戶編輯是基于用戶輸入，該用戶輸入與所述用戶界面裝置的一選擇區(qū)域關(guān)聯(lián)；以及 相對于該場景的一個或多個其他區(qū)域調(diào)整所述選擇區(qū)域上的焦距。
9.如權(quán)利要求8所述的方法，其中調(diào)整所述選擇區(qū)域上的焦距包括量化至少所述選擇區(qū)域的像素的每像素對焦需求。
10.一種使能相機控制的用戶界面裝置，該用戶界面裝置包括: 取景器裝置，其被配置以在所述相機的用戶界面裝置上顯示色調(diào)映射高動態(tài)范圍(HDR)圖像，其中用戶界面包括定義顯示表面的多個像素，其中色調(diào)映射HDR圖像包括所述相機的相機鏡頭所指向的場景的演繹； 編輯器裝置，其被配置以經(jīng)由與所述用戶界面裝置關(guān)聯(lián)的輸入裝置接收用戶編輯、并發(fā)送該用戶編輯給所述相機的一個或多個后端裝置以實施基于所述用戶編輯的處理操作，其中所述取景器裝置被進一步配置以從所述一個或多個后端裝置接收已更新的色調(diào)映射HDR圖像，其中已更新的色調(diào)映射HDR圖像產(chǎn)生自基于所述用戶編輯而實施的處理操作；以及，當所 述相機鏡頭繼續(xù)捕捉該場景的幀以供所述一個或多個后端裝置實施迭代地影響所述已更新色調(diào)映射HDR圖像的操作時，在所述用戶界面顯示所述已更新的色調(diào)映射HDR圖像。
【文檔編號】H04N5/232GK103888669SQ201310718796
【公開日】2014年6月25日 申請日期:2013年12月23日 優(yōu)先權(quán)日:2012年12月21日
【發(fā)明者】戴維德·斯坦尼斯瓦夫·帕榮克, 白種民, 卡里·皮利 申請人:輝達公司