專利名稱：使用元數(shù)據(jù)字段的運(yùn)動模糊檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及在配備照相機(jī)的移動通信設(shè)備上管理圖像質(zhì)量的領(lǐng)域。尤其，本 發(fā)明涉及用于校正由移動通信設(shè)備的照相機(jī)捕獲的運(yùn)動模糊圖像的系統(tǒng)和方法。
背景技術(shù)：
許多移動通信設(shè)備配備有照相機(jī)部件，因此，經(jīng)常稱作照相電話。盡管一些設(shè)備提 供的照相機(jī)分辨率接近數(shù)字照相機(jī)的分辨率，但是由它們的照相機(jī)部件捕獲的圖像質(zhì)量仍 然有不足。移動通信設(shè)備的一些照相機(jī)部件，例如硬件、軟件和控制裝置，不如數(shù)字照相機(jī) 的那些部件魯棒。例如，照相電話具有的下一次拍攝延遲典型地比獨(dú)立的數(shù)字照相機(jī)更慢。 并且，照相電話經(jīng)常需要每次拍攝后在屏幕上提示保存照片。此外，大多數(shù)照相電話的閃光 范圍是大多數(shù)獨(dú)立數(shù)字照相機(jī)的一部分。需要用于照片工業(yè)的照相電話標(biāo)準(zhǔn)以縮小差距。 該照相電話標(biāo)準(zhǔn)應(yīng)該提供用于測量照片質(zhì)量和批準(zhǔn)公開照相電話的傳感器、鏡頭以及其它 照相機(jī)元件的類型的準(zhǔn)則。由于照相電話的低捕獲速度和它們的用戶的行為，在照相電話中用于校正運(yùn)動模 糊的電子圖像穩(wěn)定是非常有用的。典型地，通過當(dāng)捕獲照片時估計(jì)相機(jī)運(yùn)動并隨后使用信 號處理技術(shù)補(bǔ)償運(yùn)動模糊，或者通過安裝能夠補(bǔ)償相機(jī)運(yùn)動的機(jī)械部件來實(shí)現(xiàn)電子圖像穩(wěn) 定。兩種方法都是昂貴的并且需要比在照相電話中典型可用資源更多的資源


圖1是示出根據(jù)本發(fā)明的照相電話的部件的示例的框圖。圖2是示出根據(jù)本發(fā)明的元數(shù)據(jù)的示例的數(shù)據(jù)格式，該元數(shù)據(jù)可以利用照相電話 例如圖1的照相電話來傳送。圖3是示出可以由照相電話例如圖1的照相電話執(zhí)行的用于獲得元數(shù)據(jù)連同相關(guān) 的圖像的步驟的示例的流程圖。圖4是示出用于基于在圖3中收集的相關(guān)的元數(shù)據(jù)來處理圖像的步驟的示例的流 程圖。
具體實(shí)施例方式無線通信設(shè)備的光學(xué)傳感器在捕獲期間遇到移動的情況，并且該移動可以通過數(shù) 種方法來測量，包括使用加速計(jì)、陀螺儀或者第二照相機(jī)作為運(yùn)動傳感器的運(yùn)動檢測。在捕 獲期間檢測的移動然后被存儲在與該圖像(例如靜止圖像)相關(guān)聯(lián)的元數(shù)據(jù)中。存儲信息 可以稍后用于后處理以校正運(yùn)動模糊。以這種方式，圖像穩(wěn)定可以解決模糊主題的校正，而 無需在無線通信設(shè)備中進(jìn)行大量處理或者在捕獲之后進(jìn)行盲解卷積。在捕獲期間測量運(yùn)動 模糊，并且將該值存儲在元數(shù)據(jù)中。該信息被用于隨后的打印、顯示或傳送期間的后處理中 以校正運(yùn)動模糊。參考圖1，提供了示出根據(jù)本發(fā)明的無線通信設(shè)備的內(nèi)部部件100的示例的框圖。該示例實(shí)施例包括一個或多個有線或無線的收發(fā)信機(jī)102，一個或多個處理器104，存儲 器部分106，一個或多個輸出設(shè)備108，以及一個或多個輸入設(shè)備110。每個實(shí)施例可以包括 用戶接口，用戶接口包含(一個或多個)輸出設(shè)備108和(一個或多個)輸入設(shè)備110。每個 收發(fā)信機(jī)102可以直接有線連接到另一個部件或者利用無線通信技術(shù)進(jìn)行通信，例如但不 限于基于蜂窩的通信(例如(使用AMPS的)模擬通信)、數(shù)字通信(使用CDMA、TDMA、GSM、 iDEN、GPRS或者EDGE)、和下一代通信(使用UMTS、WCDMA、LTE或者IEEE802. 16)、及它們的 變型；對等網(wǎng)絡(luò)或者自組(ad hoc)通信(例如家庭射頻(HomeRF)、藍(lán)牙和IEEE 802. 11 (a, b，g或者n))；以及其它無線通信形式(例如紅外線技術(shù))。每個收發(fā)信機(jī)102可以是接收 機(jī)、發(fā)射機(jī)或者兩者。例如，對于該無線通信設(shè)備的一個實(shí)施例，發(fā)射器可以是接收機(jī)或者 包括接收機(jī)部分，其配置為接收來自遠(yuǎn)程設(shè)備的存在(presence)數(shù)據(jù)。內(nèi)部部件100還可以包括部件接口 112，用于提供到用于附加或增強(qiáng)功能的輔助 部件或附件的直接連接。輔助部件或附件可以與收發(fā)信機(jī)102和/或部件接口 112通信， 輔助部件或附件包括一個或多個傳感器，用于檢測光、聲、氣味、運(yùn)動、連通性以及功率，以 產(chǎn)生遠(yuǎn)程和本地狀態(tài)數(shù)據(jù)。內(nèi)部部件100優(yōu)選地包括電源114，例如電力供應(yīng)裝置(power supply)或便攜式電池，用于為其它內(nèi)部部件提供電力。內(nèi)部部件100的輸入設(shè)備110和輸出設(shè)備108可以包括多種可視的、音頻的和/ 或機(jī)械的輸出。例如，(一個或多個)輸出設(shè)備108可以包括可視輸出設(shè)備，例如液晶顯示 器、等離子顯示器、白熾燈、熒光燈以及發(fā)光二極管指示器。輸出設(shè)備108的其它示例包括 音頻輸出設(shè)備(例如揚(yáng)聲器、警報器和/或蜂鳴器)和/或機(jī)械輸出設(shè)備(例如基于運(yùn)動 的振動機(jī)構(gòu))。同樣地，例如，輸入設(shè)備110可以包括可視輸入設(shè)備(例如光學(xué)傳感器(例 如，照相機(jī)))、音頻輸入設(shè)備(例如麥克風(fēng))以及機(jī)械輸入設(shè)備(例如按鈕或按鍵選擇傳感 器、觸摸墊傳感器、觸摸屏傳感器、電容式傳感器和開關(guān))。對于本發(fā)明，內(nèi)部部件包括運(yùn)動傳感器116，運(yùn)動傳感器116可以包括在輸入設(shè)備 110內(nèi)部或者設(shè)置在輸入設(shè)備110之外。并且，輸入設(shè)備110包括光學(xué)傳感器，例如照相機(jī)， 其可以與運(yùn)動傳感器116集成或分開設(shè)置。運(yùn)動傳感器116響應(yīng)于檢測包括光學(xué)傳感器的 無線通信設(shè)備的一個或多個部件的移動，產(chǎn)生對應(yīng)于設(shè)備運(yùn)動的原始數(shù)據(jù)。對于一個實(shí)施 例，運(yùn)動傳感器116可以是加速計(jì)或者陀螺儀。對于另外一個實(shí)施例，運(yùn)動傳感器116可以 是第二光學(xué)傳感器，該第二光學(xué)傳感器與第一光學(xué)傳感器協(xié)作用于捕獲例如靜止圖像或者 運(yùn)動視頻的圖像。而對于另外一個實(shí)施例，運(yùn)動傳感器116可以是用于捕獲相關(guān)聯(lián)圖像的 相同光學(xué)傳感器。其它檢測運(yùn)動的方式包括但不限于可以檢測無線通信設(shè)備位置的定位 系統(tǒng)，例如全球定位系統(tǒng)或者基于三角測量(triangulation-based)的定位系統(tǒng)。處理器104可以使用內(nèi)部部件100的存儲器部分106來存儲和檢索數(shù)據(jù)?？梢杂?存儲器部分106存儲的數(shù)據(jù)包括但不限于操作系統(tǒng)、應(yīng)用程序以及數(shù)據(jù)。每個操作系統(tǒng)包 括控制無線通信設(shè)備基本功能的可執(zhí)行代碼，所述基本功能例如是在內(nèi)部部件100的部件 之間的交互、經(jīng)由每個收發(fā)信機(jī)102和/或部件接口 112與外部設(shè)備的通信、以及向和從存 儲器部分106存儲和檢索應(yīng)用程序和數(shù)據(jù)。每個應(yīng)用程序包括可執(zhí)行代碼，其利用操作系 統(tǒng)來提供用于無線通信設(shè)備的更特定(specific)的功能性。數(shù)據(jù)是非可執(zhí)行代碼或者信 息，其可以由用于執(zhí)行無線通信設(shè)備的功能的操作系統(tǒng)或應(yīng)用程序來參考和/或操作。可以理解，圖1是僅僅用于解釋說明的目的，并用于例示示出根據(jù)本發(fā)明的無線通信設(shè)備的部件，并且不意味著無線通信設(shè)備要求的各種部件的完整示意圖。因此，無線通 信設(shè)備可以包括未在圖1中示出的各種其它部件，或者可以包括兩個或多個部件的組合或 者一個特殊部件分成兩個或多個獨(dú)立的部件，并且其仍在本發(fā)明的范圍內(nèi)。參考圖2，示出了示出根據(jù)本發(fā)明的元數(shù)據(jù)的示例的數(shù)據(jù)格式。元數(shù)據(jù)可以存儲在存儲器部分106中并且經(jīng)由無線通信設(shè)備內(nèi)部部件100的收發(fā)信機(jī)102來傳送。一般來說， 與圖像相關(guān)聯(lián)的元數(shù)據(jù)字段200提供了用于識別和解釋圖像的基本信息。另外，元數(shù)據(jù)字 段200還可以包括用于增強(qiáng)圖像以供后續(xù)處理的信息。因此，如圖2所示，元數(shù)據(jù)字段200 包括用于上述目的的多個字段，例如第一元數(shù)據(jù)210和第二元數(shù)據(jù)220。對于本發(fā)明，元數(shù)據(jù)字段200可以包括平移運(yùn)動信息、旋轉(zhuǎn)運(yùn)動信息、或者這兩種 類型的信息。對于平移運(yùn)動信息，平移運(yùn)動可以以單維或多維方式來表示。對于一個實(shí)施 例，如圖2所示，平移運(yùn)動信息可以包括第一維度230、第二維度240和第三維度250。例如， 平移運(yùn)動信息的第一、第二、第三維度可以分別對應(yīng)于在三維軸的χ、y和ζ維中的線性矩。 對于旋轉(zhuǎn)運(yùn)動信息，旋轉(zhuǎn)運(yùn)動可以以單方向或多方向來表示。對于一個實(shí)施例，旋轉(zhuǎn)運(yùn)動可 以包括圍繞三維軸的軸的第一方向260、第二方向270和第三方向280。例如，旋轉(zhuǎn)運(yùn)動的 第一、第二、第三方向可以分別對應(yīng)于pitch(縱傾)旋轉(zhuǎn)運(yùn)動(圍繞橫向軸或橫截軸的運(yùn) 動)、yaw(橫傾)旋轉(zhuǎn)運(yùn)動(圍繞垂直軸的運(yùn)動)、以及roll (橫擺)或tilt (傾斜)旋轉(zhuǎn) 運(yùn)動(圍繞縱軸的運(yùn)動)。參考圖3，示出了例示用于獲得元數(shù)據(jù)300連同相關(guān)的圖像的步驟的示例的流程 圖，其可以由無線通信設(shè)備的內(nèi)部部件100來執(zhí)行，用于運(yùn)動模糊校正。在步驟310，無線 通信設(shè)備使用無線通信設(shè)備的光學(xué)傳感器110來捕獲圖像。無線通信設(shè)備可以響應(yīng)于檢測 到在輸入設(shè)備110處(例如在輸入設(shè)備用戶接口處)的激活來捕獲圖像。接下來，在步驟 320，無線通信設(shè)備確定運(yùn)動信息是否可用于捕獲的圖像。例如，處理器104可以從捕獲圖 像的輸入設(shè)備110或者從與輸入設(shè)備相關(guān)聯(lián)的運(yùn)動傳感器116搜尋運(yùn)動信息。由此，輸入 設(shè)備110或者與輸入設(shè)備相關(guān)聯(lián)的運(yùn)動傳感器116產(chǎn)生運(yùn)動信息。與捕獲圖像類似，無線 通信設(shè)備可以響應(yīng)于檢測到在輸入設(shè)備110(例如在輸入設(shè)備的用戶接口處)的激活來產(chǎn) 生運(yùn)動信息。如果運(yùn)動信息不可用，則圖像被存儲在存儲器部分106中而沒有與之相關(guān)聯(lián) 的任何運(yùn)動信息。另一方面，如果運(yùn)動信息是可用的，那么在步驟340，無線通信設(shè)備然后可以從輸 入設(shè)備110或者與輸入設(shè)備相關(guān)聯(lián)的運(yùn)動傳感器116檢索運(yùn)動信息。在步驟350，無線通 信設(shè)備可以隨后格式化運(yùn)動信息，以備存儲在存儲器部分106中。例如，在處理器104將元 數(shù)據(jù)存儲在存儲器部分中之前，可以將運(yùn)動信息并入到與圖像相關(guān)聯(lián)的一個元數(shù)據(jù)字段或 者多個元數(shù)據(jù)字段中。此后，在步驟330，無線通信設(shè)備可以在無線通信設(shè)備的存儲器部分 106中存儲運(yùn)動信息。對于一個實(shí)施例，所存儲的圖像和相關(guān)聯(lián)的運(yùn)動信息可以經(jīng)由無線通 信鏈路傳送到遠(yuǎn)程設(shè)備，從而基于該相關(guān)聯(lián)的運(yùn)動信息來處理圖像。當(dāng)設(shè)備正在以無線方 式通信或者在其他情況下以非無線方式進(jìn)行通信時，可以傳送圖像和相關(guān)聯(lián)的運(yùn)動信息。參考圖4，示出了例示基于相關(guān)聯(lián)的元數(shù)據(jù)400來處理所述圖像的步驟的示例的 流程圖，其可以由遠(yuǎn)程設(shè)備來執(zhí)行，該遠(yuǎn)程設(shè)備接收圖像和元數(shù)據(jù)或者在其他情況下具有 對圖像和元數(shù)據(jù)的訪問權(quán)。為了最小化在無線通信設(shè)備上的處理負(fù)擔(dān)，圖4示出的步驟由 遠(yuǎn)程設(shè)備而不是無線通信設(shè)備本身來執(zhí)行。在步驟410，遠(yuǎn)程設(shè)備通過經(jīng)由收發(fā)信機(jī)102訪問無線通信設(shè)備的存儲器部分106或者通過從存儲器部分106接收圖像，來檢索圖像。然 后在步驟420，遠(yuǎn)程設(shè)備確定元數(shù)據(jù)字段或類似形式的運(yùn)動信息是否可用。例如，遠(yuǎn)程設(shè)備 可以訪問無線通信設(shè)備的存儲器部分106，從無線通信設(shè)備的收發(fā)信機(jī)102接收運(yùn)動信息， 或者從包括圖像的圖像文件提取運(yùn)動信息。如果運(yùn)動信息是不可用的或者是不可訪問的， 則在步驟430，遠(yuǎn)程設(shè)備可以“原樣”輸出圖像，即在無線通信設(shè)備的輸出設(shè)備108、遠(yuǎn)程設(shè) 備或者兩者上都沒有進(jìn)行根據(jù)本發(fā)明的運(yùn)動模糊校正。在另一方面，如果運(yùn)動信息是可用 的，則在步驟440，遠(yuǎn)程設(shè)備檢索運(yùn)動信息。類似前面的步驟，遠(yuǎn)程設(shè)備可以訪問無線通信設(shè) 備的存儲器部分106，從無線通信設(shè)備的收發(fā)信機(jī)102接收運(yùn)動信息，或者從包括圖像的圖 像文件中提取運(yùn)動信息。接下來，在步驟450，遠(yuǎn)程設(shè)備可以基于運(yùn)動信息來校正或者在其 他情況下補(bǔ)償運(yùn)動模糊。例如，遠(yuǎn)程設(shè)備可以執(zhí)行逆點(diǎn)擴(kuò)展函數(shù)(inverse point spread function)或者解卷積技術(shù)，以便通過補(bǔ)償運(yùn)動模糊來提高圖像質(zhì)量。此后，遠(yuǎn)程設(shè)備可以 輸出在無線通信設(shè)備的輸出設(shè)備108、遠(yuǎn)程設(shè)備或者兩者處進(jìn)行了根據(jù)本發(fā)明的運(yùn)動模糊 校正后的圖像。 盡管示出并描述了本發(fā)明的優(yōu)選實(shí)施例，可以理解本發(fā)明不限于此。本領(lǐng)域技術(shù) 人員能夠想到許多修改、改變、變化、替代和等效而不偏離由所附權(quán)利要求書定義的本發(fā)明 的精神和范圍。
權(quán)利要求
一種用于運(yùn)動模糊檢測的無線通信設(shè)備的方法，所述方法包括使用所述無線通信設(shè)備的光學(xué)傳感器捕獲圖像；使用所述無線通信設(shè)備的運(yùn)動傳感器產(chǎn)生運(yùn)動信息；在所述無線通信設(shè)備的存儲器部分中存儲所述運(yùn)動信息；和經(jīng)由無線通信鏈路向遠(yuǎn)程設(shè)備傳送所述圖像和相關(guān)聯(lián)的運(yùn)動信息，從而基于所述相關(guān)聯(lián)的運(yùn)動信息來處理所述圖像。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括確定所述運(yùn)動信息是否是可用的；和一旦確定所述運(yùn)動信息是可用的，則檢索所述運(yùn)動信息。
3.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括檢測在所述方法的用戶接口處的激活，其 中響應(yīng)于檢測到所述用戶接口的所述激活而發(fā)生捕獲圖像和產(chǎn)生運(yùn)動信息的步驟。
4.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括在所述存儲器部分中存儲與所述圖像相 關(guān)聯(lián)的元數(shù)據(jù)之前，將所述運(yùn)動信息并入到所述元數(shù)據(jù)中。
5.根據(jù)權(quán)利要求1所述的方法，其中經(jīng)由無線通信鏈路向遠(yuǎn)程設(shè)備傳送所述圖像和所 述相關(guān)的運(yùn)動信息的步驟包括當(dāng)所述設(shè)備在其他情況下沒有以無線方式進(jìn)行通信時，傳 送所述圖像和所述相關(guān)聯(lián)的運(yùn)動信息。
6.根據(jù)權(quán)利要求1所述的方法，其中經(jīng)由無線通信鏈路向遠(yuǎn)程設(shè)備傳送所述圖像和所 述相關(guān)的運(yùn)動信息的步驟包括當(dāng)所述設(shè)備在其他情況下以無線方式通信時，傳送所述圖 像和所述相關(guān)聯(lián)的運(yùn)動信息。
7.根據(jù)權(quán)利要求1所述的方法，其中所述運(yùn)動信息包括平移運(yùn)動信息。
8.根據(jù)權(quán)利要求7所述的方法，其中所述平移運(yùn)動信息包括在至少兩個維度中的平移 運(yùn)動。
9.根據(jù)權(quán)利要求1所述的方法，其中所述運(yùn)動信息包括旋轉(zhuǎn)運(yùn)動信息。
10.根據(jù)權(quán)利要求9所述的方法，其中所述旋轉(zhuǎn)運(yùn)動信息包括至少兩個方向上的旋轉(zhuǎn) 運(yùn)動。
11.一種具有運(yùn)動模糊檢測的無線通信設(shè)備，包括收發(fā)信機(jī)，所述收發(fā)信機(jī)配置為提供與遠(yuǎn)程設(shè)備的無線通信；光學(xué)傳感器，所述光學(xué)傳感器配置為捕獲圖像；運(yùn)動傳感器，所述運(yùn)動傳感器配置為產(chǎn)生與由上述光學(xué)傳感器捕獲的圖像相關(guān)聯(lián)的運(yùn) 動信息；處理器，所述處理器配置為控制通過所述收發(fā)信機(jī)進(jìn)行的無線通信，所述處理器進(jìn)一 步配置為控制與所述圖像相關(guān)聯(lián)的運(yùn)動信息的識別和存儲；以及存儲器部分，所述存儲器部分配置為存儲所述圖像和相關(guān)聯(lián)的運(yùn)動信息。
全文摘要
一種用于運(yùn)動模糊檢測的無線通信設(shè)備包括收發(fā)信機(jī)(102)、光學(xué)傳感器(110)、運(yùn)動傳感器(116)、處理器(104)和存儲器(106)。該收發(fā)信機(jī)(102)提供與遠(yuǎn)程設(shè)備的無線通信。該光學(xué)傳感器(110)捕獲圖像，而該運(yùn)動傳感器(116)產(chǎn)生與由該光學(xué)傳感器捕獲的圖像相關(guān)聯(lián)的運(yùn)動信息。該處理器(104)控制通過該收發(fā)信機(jī)(102)進(jìn)行的無線通信，并進(jìn)而控制與該圖像相關(guān)聯(lián)的運(yùn)動信息的識別和存儲。該存儲器(106)存儲該圖像和相關(guān)聯(lián)的運(yùn)動信息。存儲后，該設(shè)備就可以經(jīng)由無線通信鏈路傳送該圖像和相關(guān)聯(lián)的運(yùn)動信息到遠(yuǎn)程設(shè)備，從而基于相關(guān)聯(lián)的運(yùn)動信息處理該圖像。
文檔編號H04W4/18GK101874417SQ200880117923
公開日2010年10月27日 申請日期2008年11月19日 優(yōu)先權(quán)日2007年11月28日
發(fā)明者喬治·C·約翰 申請人:摩托羅拉公司