本申請要求提交于2014年3月25日、標題是“Automated Identification of Panoramic Imagers for Appropriate and Efficient Panoramic Image Distortion Processing System（用于適當且高效的全景圖像失真處理系統(tǒng)的全景成像器的自動化標識）”、當前未決的美國臨時專利申請?zhí)?1/970,159的益處，其整體內(nèi)容被通過引用并入本文中。

背景技術(shù)：

本發(fā)明涉及記錄、共享和傳送與成像器相關(guān)聯(lián)的信息來定義系統(tǒng)行為。其包括如何通過廣角成像器創(chuàng)建被編碼有信息的廣角圖像或視頻以及如何自動地解碼和應(yīng)用信息和圖像處理或顯示。信息最后被用來基于參數(shù)定義特定系統(tǒng)行為或用戶體驗。

使用圖像或視頻，用戶可以記錄、共享或傳送信息。除了圖像或視頻內(nèi)容之外，還存在許多與內(nèi)容相關(guān)聯(lián)的信息。該信息是以成像器參數(shù)的形式，諸如但絕不限于廣角設(shè)備參數(shù)、環(huán)境參數(shù)、圖像處理、增強或顯示參數(shù)、系統(tǒng)行為、用戶體驗或者要被記錄、共享或傳送的任何其他信息。

用以將一些重要參數(shù)從成像器傳遞到最終用戶的現(xiàn)有公知方法是使用元數(shù)據(jù)等。元數(shù)據(jù)是通常寫在數(shù)字圖像文件的頭部中的文本信息。該頭部是在實際圖像數(shù)據(jù)之前或之后的文件的一部分，因每個文件格式而異。然而，元數(shù)據(jù)在圖像或視頻文件被轉(zhuǎn)換成另一格式時或者在其被通過不同介質(zhì)（諸如因特網(wǎng)）傳遞時遭受信息損失。通過經(jīng)打印或掃描的圖像來傳遞元數(shù)據(jù)也是不可能的。因此，使用元數(shù)據(jù)等不是用以傳遞與廣角圖像或視頻相關(guān)聯(lián)的信息的穩(wěn)健方法。

與廣角圖像或視頻相關(guān)聯(lián)的一種重要信息是成像器參數(shù)。廣角成像器通過將對象重新映射到圖像而從真實世界環(huán)境產(chǎn)生二維（2D）圖像，在所產(chǎn)生的圖像中造成失真或不連續(xù)。不論使用什么種類的廣角成像器，從鏡頭到反射折射系統(tǒng)以及包括將一些窄角圖像拼接在一起的成像器或產(chǎn)生分離的未經(jīng)拼接的窄角圖像的成像器，最終的廣角圖像將總是包括一些失真或圖像重新映射以在2D平面中呈現(xiàn)環(huán)境。圖像重新映射的結(jié)果是圖像以這樣的方式變形：取決于成像器的類型，對象環(huán)境中的直線在廣角圖像中看起來是彎曲的、分段線性的或不連續(xù)的。

為了向用戶或者向算法適當?shù)仫@示圖像的一部分，通常如在針對線性失真的美國專利號RE44,087 E1或者分別針對自定義對稱和自定義非對稱失真的美國專利號6,844,990 B2和6,865,028 B2中那樣完成失真的修正。為了適當?shù)匦拚д?，算法必須知曉成像器的不同參?shù)，包括準確的失真簡檔、視場、圖像的光心位置以及廣角成像器的空間定向。然而，利用上面的現(xiàn)有技術(shù)，失真處理算法要么與具有被預(yù)編碼在其內(nèi)部的參數(shù)的單個廣角成像器關(guān)聯(lián)，要么要求來自最終用戶的對不同參數(shù)的手動選擇。最終用戶常常不具有參數(shù)的準確知識，使得失真處理冗長且有缺陷，并且傳遞被要求的參數(shù)的過程被要求。

在立體圖像處理的情況下，在美國專利號8,358,329 B2中提出了使用被添加在組合兩個被要求的圖像以用于立體視覺的圖像文件的邊緣中的條形碼來存儲來自成像器的信息，比如所使用的立體圖像的類型和兩個圖像的視點之間的距離。然而，被編碼在條形碼內(nèi)部的所傳輸?shù)臄?shù)據(jù)包括僅針對通過圖像合成單元在軟件級別處組合的立體圖像的非常有限的參數(shù)。

在美國專利號5,461,440 A和美國專利號6,707,998 B2中還提出了在使用模擬膠片（film）而不是數(shù)字傳感器來捕獲圖像的相機中的使用條形碼的鏡頭標識。然而，靜態(tài)的編碼的數(shù)據(jù)僅慮及鏡頭標識而不能被動態(tài)地使用或者用于傳輸取決于特定用戶應(yīng)用而改變的成像器信息。類似地，在使用條形碼或二進制碼的其他系統(tǒng)中，被編碼在條形碼或二進制碼內(nèi)部的數(shù)據(jù)由相機制造商出于非常特定的目的而設(shè)置。輸出被關(guān)聯(lián)到單一使用，其不能依靠存在于經(jīng)編碼的數(shù)據(jù)中的參數(shù)的種類或者依靠特定用戶需要而改變輸出。更進一步地，這些系統(tǒng)是靜態(tài)的并且不能用于動態(tài)地編碼或傳輸改變的成像器參數(shù)。由于所有這些原因，經(jīng)編碼的數(shù)據(jù)不能用于依靠原始場景的特定信息來定義不同系統(tǒng)行為或用戶體驗。為了最佳的廣角圖像處理并且為了允許依靠參數(shù)來定義不同的系統(tǒng)行為或用戶體驗，可以實時地在成像器級別處添加信息以計及動態(tài)地改變的鏡頭、相機、設(shè)備或環(huán)境參數(shù)，諸如定向、所傳輸圖像的子區(qū)域、日期、地理位置或甚至如在美國專利公開號2012/0314065 A1中提出的動態(tài)失真。

在國際專利公開號WO 2007/110697 A3中，提出了用以物理地標記光學系統(tǒng)或在圖像平面中光學地添加標記以允許標識廣角光學系統(tǒng)的系統(tǒng)。然而，如果在鏡頭上使用物理標記，則該系統(tǒng)仍需要在成像器處對參數(shù)的手動用戶外部輸入，諸如鏡頭標識號或設(shè)備定向等。當光學標記被用來顯現(xiàn)在圖像平面上時，系統(tǒng)是靜態(tài)的并且非常受限，因為其不能包括比如定向或所傳輸?shù)膱D像的子區(qū)域的廣角成像器參數(shù)的動態(tài)編碼。其不能傳輸取決于特定用戶應(yīng)用的適應(yīng)性成像器信息，并且因此不能用于定義不同的用戶體驗或系統(tǒng)行為。更進一步地，另一缺點在于鏡頭必須從開始被設(shè)計成包括這樣的標記并且該方法不能被擴展至已經(jīng)存在的廣角成像器。

除了廣角設(shè)備參數(shù)之外，本發(fā)明還提供用以記錄、共享或傳送與圖像或視頻相關(guān)聯(lián)的所有種類的鏡頭、相機、設(shè)備或環(huán)境信息的方案。該方案可以用在寬得多的范圍的應(yīng)用中。于是，主要創(chuàng)新在于能夠通過依靠特定參數(shù)指示輸出什么以及如何輸出來自動地定義不同的用戶體驗或系統(tǒng)行為。更進一步地，一些信息是動態(tài)的，諸如實時相機定向、實時用戶體驗、實時系統(tǒng)行為和在上面的專利中不能通過靜態(tài)方式記錄的動態(tài)信息。

技術(shù)實現(xiàn)要素：

為了克服所有先前提及的問題，當前發(fā)明的實施例提出了用以記錄、共享或傳送與圖像或視頻相關(guān)聯(lián)的所有種類的成像器參數(shù)的方案。這些成像器參數(shù)包括與鏡頭、相機、整個設(shè)備或設(shè)備周圍的環(huán)境相關(guān)聯(lián)的所有種類的信息。取決于所共享的場景的特定信息，創(chuàng)建特定用戶體驗或系統(tǒng)行為以用于最終的顯示設(shè)備或算法單元。這允許最終用戶的設(shè)備標識所有的成像器參數(shù)或所使用的其他信息并基于所接收的信息應(yīng)用正確種類的用戶體驗或系統(tǒng)行為。可以為最終用戶創(chuàng)建的特定的用戶體驗或系統(tǒng)行為的一些示例包括圖像失真修正、圖像增強或信息供應(yīng)以用于進一步處理。在最終用戶不具有設(shè)備的成像器參數(shù)的任何知識的情況下，所有這些可以被自動地完成。

由系統(tǒng)創(chuàng)建的用戶體驗影響人類-系統(tǒng)的交互并且由成像器參數(shù)定義。用戶的感知和響應(yīng)由對系統(tǒng)的使用和/或預(yù)期使用引起。用戶體驗包括在使用系統(tǒng)之前、期間和之后發(fā)生的情緒、信仰、偏好、感知、身體和心理響應(yīng)、行為和實現(xiàn)。用戶體驗是品牌形象、呈現(xiàn)、功能、系統(tǒng)性能、交互式系統(tǒng)的交互式行為和輔助能力、由在先體驗引起的用戶的內(nèi)在和身體狀態(tài)、態(tài)度、技能和個性以及使用的背景的結(jié)果。

系統(tǒng)行為是由系統(tǒng)結(jié)合它們自身（自主的）或它們的環(huán)境做出的動作或處理的范圍，所述環(huán)境包括其他系統(tǒng)、系統(tǒng)用戶、生物體、人造實體或物理環(huán)境。其是系統(tǒng)對各種刺激或輸入的響應(yīng)，不論是內(nèi)部的或外部的、有意識的或下意識的、公然的或隱蔽的以及自愿的或非自愿的。

在這里，廣角成像器是能夠生成廣角圖像或廣角圖像的部分的任何設(shè)備，包括但不限于廣角鏡頭、多鏡頭系統(tǒng)、反射折射系統(tǒng)或由任何圖像處理單元生成的廣角圖像。在一些實施例中，成像器包含至少一個被配置成捕獲圖像的相機模塊。

共享參數(shù)的想法是在成像器設(shè)備內(nèi)部在圖像上添加可視標記以編碼與場景相關(guān)聯(lián)的不同信息。因為其被電子地添加，所以標記可以被動態(tài)地更新并且包括關(guān)于成像器的實時參數(shù)，諸如空間定向、地理定位、日期和時間、傳感器操作模式、實時用戶體驗或系統(tǒng)行為，解決了先前建議的標記的靜態(tài)問題。更進一步地，被編碼在標記內(nèi)部的準確信息可以取決于最終用戶的應(yīng)用要求什么而變化，并且取決于呈現(xiàn)的信息，最終用戶體驗或系統(tǒng)行為將是不同的。

更特別地，在本發(fā)明的至少一些實施例中，相關(guān)聯(lián)的參數(shù)全部被編碼在位于圖像區(qū)域內(nèi)部的標記內(nèi)。廣角圖像常常具有在場景圖像內(nèi)容外部的在數(shù)字圖像的角落中的區(qū)域，在那里沒相關(guān)于環(huán)境的信息。這些角落通常在這些圖像中顯現(xiàn)黑色，因為在這些位置處沒有光到達傳感器平面。在這些情況下，將經(jīng)編碼的標記放置在角落中對場景圖像內(nèi)容沒有影響。在其中來自環(huán)境的場景圖像內(nèi)容充滿整個圖像的其他情況下，當在等矩形投影的廣角圖像中時，圖像可以被放大以添加放置該經(jīng)編碼的標記的邊緣。將具有經(jīng)編碼的參數(shù)的標記放置在圖像內(nèi)部但在場景圖像內(nèi)容區(qū)域外部允許對整個廣角圖像以及所有相關(guān)聯(lián)的信息的穩(wěn)健的傳遞而在圖像文件被處理、在線流式傳輸、重新編碼、縮放或打印/掃描時沒有任何損失。

附加地，在本發(fā)明的至少一些實施例中，通過廣角成像器添加到廣角圖像內(nèi)部的編碼的標記是公知的快速響應(yīng)碼（QR碼）。在其他實施例中，編碼的標記可以是包含經(jīng)編碼的信息的任何其他種類的標志。

在本發(fā)明的至少一些實施例中，被編碼在標記中的信息允許最佳失真處理。該信息可以包括而不限于以下參數(shù)：唯一鏡頭成像器標識碼、以表格或多項式形式的廣角圖像的完整失真簡檔、總視場、圖像中的環(huán)境足跡、廣角成像器空間定向以及地理定位坐標和/或圖像中的光心的位置。在其他實施例中，被編碼在標記中的信息可以包括而不限于：廣角設(shè)備參數(shù)、環(huán)境參數(shù)、圖像處理參數(shù)、增強參數(shù)、顯示參數(shù)、用戶體驗或系統(tǒng)行為參數(shù)或要被記錄、共享和在成像設(shè)備與最終用戶之間傳送的任何信息。

在本發(fā)明的一些實施例中，當僅傳遞完整廣角圖像的一部分以減小被要求的帶寬或最大化傳感器和顯示器的幀速率時存在優(yōu)勢。在該情況下，標記還可以包括所傳遞的完整廣角圖像的子區(qū)段的坐標。這允許失真處理算法知曉圖像的所傳遞部分來自哪個方向并且然后允許最佳失真處理。

通過傳遞圖像內(nèi)部的所有這些潛在成像器參數(shù)，我們確保最終用戶的設(shè)備可以在最終用戶不要求特定知識的情況下自動地修正、處理和增強圖像。這相比于其中所有參數(shù)要求從不具有被要求的信息的最終用戶的手動輸入的現(xiàn)有失真處理或圖像處理系統(tǒng)來說是有利的。此外，也可以根據(jù)被編碼在標記中的特定信息以及根據(jù)應(yīng)用來創(chuàng)建用以在顯示設(shè)備或算法單元上輸出的特定的用戶體驗或系統(tǒng)行為。

在本發(fā)明的一些實施例中，所生成的用戶體驗或系統(tǒng)行為僅包括向最終用戶顯示設(shè)備輸出經(jīng)處理的圖像。在一些其他實施例中，為最終用戶生成的輸出取決于經(jīng)編碼的參數(shù)并且可以被輸出到算法單元或者可以被輸出為圖像、參數(shù)的文本值、光指示符、觸覺反饋或聲音等中的至少一個的任何組合。

在本發(fā)明的一些實施例中，使用規(guī)則的視場成像器而不是廣角成像器存在優(yōu)勢。在該情況下，標記還可以包括被最終用戶的應(yīng)用要求的與該成像器相關(guān)的特定參數(shù)，并且取決于呈現(xiàn)的信息，最終用戶體驗或系統(tǒng)行為將是不同的。

附圖說明

前述概要以及本發(fā)明的優(yōu)選實施例的以下詳細描述在被結(jié)合附圖閱讀時將被更好地理解。出于說明的目的，在圖中示出了目前優(yōu)選的實施例。然而應(yīng)理解的是，本發(fā)明不被限于所示的精確布置和手段。

在圖中：

圖1是用于通過共享介質(zhì)傳遞成像器參數(shù)以定義用戶體驗或系統(tǒng)行為的系統(tǒng)的示意圖；

圖2是用于本地地傳遞成像器參數(shù)的系統(tǒng)的示意圖；

圖3是詳述在成像器設(shè)備處創(chuàng)建被標記的圖像的示意圖；

圖4是詳述在圖像處理單元處處理被標記的圖像的示意圖；

圖5A是具有被編碼在圖像內(nèi)部的成像器參數(shù)的有著橢圓場景圖像內(nèi)容的來自全景成像器的廣角圖像的示例；

圖5B是具有被編碼在圖像內(nèi)部的成像器參數(shù)的有著圓形場景圖像內(nèi)容的來自魚眼成像器的廣角圖像的示例；

圖5C是具有被編碼在被添加在圖像內(nèi)部的邊緣中的成像器參數(shù)的在等矩形投影中的廣角圖像的示例；

圖5D是具有被編碼在圖像內(nèi)部的成像器參數(shù)的在立方體投影中的廣角圖像的示例；

圖5E是具有被編碼在圖像內(nèi)部的成像器參數(shù)的以還未被拼接形式的廣角圖像的示例；

圖5F是具有被編碼在圖像內(nèi)部的成像器參數(shù)的完整廣角圖像的子區(qū)段的示例；以及

圖5G是將來自多種廣角成像器的內(nèi)容組合在具有被編碼在圖像內(nèi)部的成像器參數(shù)的廣角圖像中的示例。

具體實施方式

僅出于便利在以下描述中使用某些術(shù)語，但其不是限制性的。術(shù)語包括上面列出的詞語、其衍生詞以及類似含義的詞語。附加地，如在權(quán)利要求中以及在說明書的對應(yīng)部分中使用的詞語“一”和“一個”意味著“至少一個”。

用以定義用戶體驗或系統(tǒng)行為的系統(tǒng)可以用于在多個設(shè)備之間或本地地在單個設(shè)備內(nèi)部共享被標記的圖像。在圖1和2處分別地圖示化了這兩個情況。

圖1示出了用于通過共享介質(zhì)傳遞成像器參數(shù)以定義用戶體驗或系統(tǒng)行為的系統(tǒng)的示意圖。過程包括以下步驟。利用廣角成像器105構(gòu)建捕獲設(shè)備100。捕獲設(shè)備100是可以在其上添加廣角成像器以添加廣角成像特征的任何裝置，包括例如但絕不限于移動電話、平板、汽車、機器人、TV、路由器、GPS單元、因特網(wǎng)盒子、家庭監(jiān)控相機、安全相機、汽車相機、內(nèi)診鏡、可穿戴設(shè)備、手表等。當廣角成像器105被集成在捕獲設(shè)備100中時，該設(shè)備能夠捕獲廣角圖像110。

在這里，廣角成像器105是能夠從廣角環(huán)境捕獲圖像或圖像的部分的任何設(shè)備。得到的廣角環(huán)境優(yōu)選地產(chǎn)生廣角視場?？梢杂迷谶^程中的廣角成像器105的一些示例是但絕不限于廣角鏡頭、反射折射成像器、多個窄視場相機、計算機生成的廣角圖像等。將關(guān)于圖5A-G解釋不同的廣角成像器105的一些示例性輸出。

廣角成像器105通過構(gòu)造且取決于它如何被使用而具有一些固有和非固有的廣角成像器參數(shù)。這些參數(shù)的一些示例是但絕不限于失真簡檔，成像視場，一些局部光學象差或像點展開（spread）功能，橫向顏色，三軸定向和位置，來自單個廣角成像器或不同成像器的多個被標記的圖像之間的交叉引用信息，地理定位，周圍的光照、濕度或溫度條件，相機Bayer模式，信噪比，曝光參數(shù)，每秒幀數(shù)，顏色空間參數(shù)，中央光軸在圖像內(nèi)部的位置，針對非對稱廣角圖像的圖像足跡的定向，完整的全景的一個或多個窄視場部分的定向和坐標，鏡頭的相對照度，針對廣角鏡頭的用以檢索其失真簡檔的唯一標識碼，來自數(shù)據(jù)庫（即，被本地或遠程地存儲的表格、列表、電子表格等）的局部相對照度等。

除了廣角成像器參數(shù)之外，還存在與圖像相關(guān)聯(lián)的其他種類的參數(shù)，包括但絕不限于相機模塊標識，優(yōu)選的處理的圖像視點坐標（例如，搖攝（Pan）、傾斜（Tilt）和變焦（Zoom）），版權(quán)數(shù)據(jù)，行人檢測、跟蹤和識別，面部檢測、跟蹤和識別，設(shè)備的速度和加速度，道路車道偏離，危險標識，3D位置跟蹤，3D重構(gòu)等。

所有這些參數(shù)和可以用于在顯示設(shè)備或算法單元處針對最終用戶定義特定的用戶體驗或系統(tǒng)行為的任何其他信息是被包含在標記130中的成像器參數(shù)的部分。

雖然成像器參數(shù)的完整知識對于最終用戶或他的設(shè)備來說是有用的以生成最佳用戶體驗或系統(tǒng)行為，但是在傳統(tǒng)上該數(shù)據(jù)中的許多在廣角成像器105和最終用戶之間丟失，本發(fā)明的實施例解決了這點。

以將關(guān)于圖3進一步解釋的方式，廣角成像器105輸出被標記的圖像115，其在圖像幀內(nèi)部包括來自所捕獲的廣角圖像110的場景圖像內(nèi)容120和與圖像相關(guān)聯(lián)的所有成像器參數(shù)被編碼在其中的標記130兩者的組合。

標記130是被有目的地添加到圖像的一部分以包含成像器參數(shù)并允許傳遞性質(zhì)的任何標記。標記的一些示例是但絕不限于人類可讀標記、諸如包括快速響應(yīng)碼（QR碼）的1D或2D條形碼之類的計算機可讀標記、水印等。被標記的圖像可以包含單個或多個標記。在多個標記的情況下，它們可以全部具有不同的互補參數(shù)，或者替換地可以為了期望的冗余在多個標記中重復(fù)一些參數(shù)。

當在圖1中所示的多個設(shè)備之間共享中，然后跨共享介質(zhì)140（例如，“云”）共享從廣角成像器輸出且包含場景圖像內(nèi)容120和標記130的被標記的圖像115。在這里，共享介質(zhì)140是表示任何種類的圖像共享過程的概念，包括但絕不限于通過因特網(wǎng)傳遞數(shù)字圖像，經(jīng)由TCP-IP協(xié)議、HDMI、USB、火線、存儲器、插座傳遞、使用如軟盤、光盤、磁盤、usb驅(qū)動、硬盤的物理介質(zhì)傳遞，或者通過物理地打印圖像并然后將其掃描回到數(shù)字文件中來傳遞圖像等。

從共享介質(zhì)140，任何顯示設(shè)備170、175或180或者算法單元185（包括圖像處理單元165）可以接收被標記的圖像115。以將在圖4中進一步解釋的方式，圖像處理單元165使用被編碼在標記130內(nèi)部的成像器參數(shù)來修正或增強圖像190、顯示在圖像190上組合的或分離地在另一顯示器上的被編碼在標記130中的信息、產(chǎn)生聲音或光指示符輸出、產(chǎn)生觸覺反饋，或向最終用戶創(chuàng)建被編碼在標記130內(nèi)部的所定義的用戶體驗或系統(tǒng)行為。

經(jīng)處理的圖像190是由圖像處理單元165使用被編碼在標記130內(nèi)部的成像器參數(shù)處理的原始場景圖像內(nèi)容120的版本。在當前創(chuàng)新的優(yōu)選實施例中，經(jīng)處理的圖像190使用來自廣角成像器105的失真信息和定向信息來產(chǎn)生完整廣角圖像120的子區(qū)段的經(jīng)最佳地處理的圖像。在其他實施例中，完成其他失真處理。失真處理是數(shù)字地修正、控制、修改和/或移除來自圖像或圖像的區(qū)段的失真的動作。在圖像處理單元165實時地知曉廣角成像器105的準確定向的情況下，最佳地以以下（但絕不限于其的）方式來處理場景圖像內(nèi)容120中的失真是可能的：獨立于捕獲設(shè)備100的移動地保持經(jīng)處理的圖像190以環(huán)境的特定位置為中心或定義適當?shù)膶?dǎo)航參考，以允許根據(jù)用戶命令計算下一被處理圖像。這些特定的用戶體驗或系統(tǒng)行為僅在將它們從標記130解碼之后它們的被要求的成像器參數(shù)可用于圖像處理設(shè)備165時是可能的。因此，成像器設(shè)備定義了可以在最終用戶設(shè)備處使用哪些特定的用戶體驗或系統(tǒng)行為。

在本發(fā)明的另一實施例中，代替在顯示設(shè)備170、175或180上顯示經(jīng)處理的圖像190，在進一步的算法單元185內(nèi)部使用經(jīng)處理的圖像190，所述算法單元185處理經(jīng)處理的圖像以提取相關(guān)信息，包括但絕不限于行人檢測、跟蹤和識別，面部檢測，道路車道偏離，危險標識，3D位置跟蹤，3D重構(gòu)等。

參考圖2，示出了用于在單個本地設(shè)備200內(nèi)部傳遞信息的系統(tǒng)的實施例。本地設(shè)備200在這里是包括廣角成像器220和顯示單元250二者的任何物理設(shè)備，用以修正、增強圖像260和在圖像260上或通過設(shè)備的另一輸出系統(tǒng)（比如聲音、光指示符或觸覺反饋）顯示相關(guān)聯(lián)的信息。還可以記錄圖像并且稍后可以利用設(shè)備再產(chǎn)生特定的用戶體驗或系統(tǒng)行為。設(shè)備可以是但絕不限于移動電話、膝上型計算機、平板、個人計算機、包括本地客戶端的服務(wù)器、汽車、數(shù)字靜物相機、攝像機、可穿戴設(shè)備、手表等。

在本地設(shè)備200中，過程從廣角成像器220沿著系統(tǒng)總線210傳遞輸出。如圖1的多設(shè)備情況下那樣，廣角成像器220的輸出是廣角圖像235以及相關(guān)聯(lián)的信息被編碼在其中的標記237，并且被沿著總線與存儲器230交換。圖像處理單元240存在于總線210上以從存儲器230接收圖像235和標記237并產(chǎn)生經(jīng)修正和增強的圖像260、解碼相關(guān)聯(lián)的信息或在顯示器250上再產(chǎn)生用戶體驗或系統(tǒng)行為。然后將最終的經(jīng)處理的圖像260和相關(guān)聯(lián)的信息、用戶體驗或系統(tǒng)行為發(fā)送到本地顯示單元250用以顯示或者發(fā)送到本地算法單元270用以使用經(jīng)處理的圖像。

在圖1中針對多個設(shè)備的和在圖2中針對單個本地設(shè)備示出的自動標識過程包括成像器和圖像處理單元。

圖3示出了在分別來自圖1和2的廣角成像器105和220內(nèi)部的詳細操作。在廣角成像器300內(nèi)部，存在相機模塊310，其將廣角環(huán)境信息捕獲到圖像文件中。在優(yōu)選實施例中，相機模塊310是被組合到電子圖像傳感器（如CCD或CMOS圖像傳感器）的廣角鏡頭。來自該相機模塊的輸出是被發(fā)送到編碼單元340的場景圖像內(nèi)容312以及被發(fā)送到相機模塊參數(shù)單元330的相機模塊參數(shù)314。在本發(fā)明的其他實施例中，相機模塊可以是任何種類的，包括但絕不限于反射折射鏡頭、若干窄角相機模塊、從虛擬環(huán)境生成場景圖像內(nèi)容的廣角成像器等。

在本發(fā)明的一些實施例中，添加可選的外部參數(shù)320以允許任何用戶本地或遠程添加要被編碼在圖像內(nèi)部的如圖1中提及的一些相關(guān)聯(lián)的信息、用戶體驗或系統(tǒng)行為，包括但絕不限于相機模塊標識、優(yōu)選的經(jīng)處理的圖像視點坐標（例如，搖攝、傾斜和變焦）、導(dǎo)航路徑、版權(quán)數(shù)據(jù)、設(shè)備的速度或加速度、生物計量參數(shù)（比如持有成像器的用戶的心跳）、圖像中的感興趣或危險區(qū)、設(shè)備的其他組件的狀態(tài)等。通過鏈路324將該外部信息傳遞到編碼單元340以被包括在標記364內(nèi)部。

相機模塊參數(shù)單元330經(jīng)由可選鏈路314從相機模塊310或者經(jīng)由可選鏈路322從外部參數(shù)320接收關(guān)于場景圖像內(nèi)容的一些標識信息。在標識了產(chǎn)生廣角圖像的相機模塊310的情況下，相機模塊參數(shù)單元330將相機模塊參數(shù)332輸出到編碼單元340。這些相機模塊參數(shù)包括關(guān)于成像器的固有信息，包括但絕不限于以表格或多項式形式的相機模塊中的廣角鏡頭的失真簡檔、圖像的視場、中央光軸在圖像內(nèi)部的位置、針對非對稱廣角圖像的圖像足跡的定向、完整的場景的一個或多個窄視場部分的定向和坐標、鏡頭的相對照度、針對廣角鏡頭的用以從數(shù)據(jù)庫（即，被本地或遠程地存儲的表格、列表、電子表格等）檢索其失真簡檔、視場或者局部相對照度的唯一標識碼等。

在當前發(fā)明的實施例中，廣角成像器300還包括附加傳感器單元350，其可以將傳感器單元參數(shù)352發(fā)送至編碼單元340以被包括在經(jīng)編碼的標記364中。這些非固有參數(shù)包括但絕不限于廣角成像器空間定向，指南針信息，地理定位，周圍的光、溫度、壓力和濕度信息等。

編碼單元340然后將相機模塊參數(shù)332、可選的外部參數(shù)324以及可選的傳感器單元參數(shù)352編碼在標記364內(nèi)部。然后將標記364與相機模塊場景圖像內(nèi)容312組合以創(chuàng)建廣角成像器300的最終輸出，其是包括場景圖像內(nèi)容362和標記364的被標記的圖像360。

在本發(fā)明的優(yōu)選實施例中，相機模塊場景圖像內(nèi)容312是來自相機模塊內(nèi)的廣角鏡頭的圖像并且與所輸出的場景圖像內(nèi)容362相同。稍后將關(guān)于圖5A、5B和5F在圖像裁剪被在相機模塊級別處完成以增加相機幀速率時的實例中解釋該情況。

在本發(fā)明的另一實施例中，所輸出的場景圖像內(nèi)容362是如在圖5E和5G中那樣被直接地放在一起的多個相機模塊場景圖像內(nèi)容312的組合，或者用以產(chǎn)生期望的投影的相機模塊場景圖像內(nèi)容312的經(jīng)處理的結(jié)果，如在圖5C、5D和5F中在圖像裁剪被在編碼單元級別處完成以限制帶寬時的實例中那樣。

圖4示出了在分別來自圖1和2的圖像處理單元165和240內(nèi)部的詳細操作。在圖像處理單元400內(nèi)部，存在標記檢測器420，其通過鏈路416接收包含場景圖像內(nèi)容412和標記414的被標記的圖像410。標記檢測器420的作用是找出在被標記的圖像410內(nèi)部的標記414并僅提取標記以通過鏈路422將其輸出到標記解碼器430。

標記解碼器430讀取來自鏈路422的標記并通過鏈路432將先前被編碼在廣角成像器300內(nèi)部的所有解碼的成像器參數(shù)輸出到失真處理和圖像增強單元440。

失真處理和圖像增強單元440使用來自被標記的圖像410的通過418接收的場景圖像內(nèi)容412以及相關(guān)聯(lián)的信息432來輸出經(jīng)修正、增強的圖像442。也可以在圖像442上顯示或再產(chǎn)生經(jīng)編碼的信息、用戶體驗或系統(tǒng)行為。

在本發(fā)明的優(yōu)選實施例中，通過使用成像器參數(shù)432，失真處理和圖像增強單元440可以數(shù)字地修正、控制、修改和/或移除來自場景圖像內(nèi)容或場景圖像內(nèi)容的區(qū)段的失真以便提供不具有對于觀察者來說不愉快的幾何失真的經(jīng)處理的圖像442。

在本發(fā)明的其他實施例中，通過使用信息432，失真處理和圖像增強單元440可以執(zhí)行其他增強，包括但絕不限于鏡頭陰影補償、橫向顏色補償、顏色修正、白平衡、去噪、銳化、動態(tài)擴展、虛擬曝光、像素插值、像素二次抽樣等。

在本發(fā)明的其他實施例中，失真處理和圖像增強單元440還可以可選地通過鏈路452接收外部輸入450。外部輸入450的一些示例是但絕不限于用戶選擇的觀看定向以及坐標、圖像中的導(dǎo)航路徑、數(shù)字變焦級別、優(yōu)選的感興趣點、圖像增強參數(shù)、圖像亮度、對比度、飽和度、色溫等。

然后如先前關(guān)于圖1和2解釋的那樣由顯示設(shè)備460或者算法單元470使用經(jīng)處理的圖像442。

可以以硬件和軟件的任何組合來實現(xiàn)本文中描述的系統(tǒng)的組件。例如，每個組件可以被實現(xiàn)為專用處理器、控制器、ASIC等。替換地，組件可以被實現(xiàn)為在單個控制器或處理器中的軟件、固件等。組合也是可能的。

在圖5A-G處示出了可以是廣角成像器的取決于相機模塊性質(zhì)和廣角成像器設(shè)置的不同實施例的得到的輸出的所輸出的被標記的圖像的七個示例。

圖5A示出了在其中廣角成像器內(nèi)部的相機模塊是產(chǎn)生非對稱相機模塊場景圖像內(nèi)容的廣角鏡頭的情況下的示例被標記的圖像510，所述場景圖像內(nèi)容被準確地再產(chǎn)生到場景圖像內(nèi)容512。在這種相機模塊在廣角成像器內(nèi)部的情況下，在圖像中存在黑色角落516，并且通常將標記514添加到那里以確保不更改場景圖像內(nèi)容512。

圖5B示出了在其中廣角成像器內(nèi)部的相機模塊是產(chǎn)生對稱相機模塊場景圖像內(nèi)容的廣角鏡頭的情況下的示例被標記的圖像520，所述場景圖像內(nèi)容被準確地再產(chǎn)生到場景圖像內(nèi)容522。在這種相機模塊在廣角成像器內(nèi)部的情況下，在圖像中存在黑色角落526，并且通常將標記524添加到那里以確保不更改場景圖像內(nèi)容522。

圖5C示出了其中通過已知投影顯示場景圖像內(nèi)容532的示例被標記的圖像530。在該示例的準確情況下，所示投影為等矩形投影，但是可以使用其他投影，如圓柱形、直線、墨卡托、正弦曲線的投影等。從相機模塊場景圖像內(nèi)容提供的內(nèi)容由編碼單元變換成該投影。在圖5C的該等矩形投影的情況下，場景圖像內(nèi)容覆蓋整個圖像并且必須添加額外的黑色邊緣536以包括標記534。為了最小化額外的邊緣尺寸，在該情況下可以將標記重新布置在一個像素或幾個像素行或列上。

圖5D示出了其中通過已知投影顯示場景圖像內(nèi)容542的示例被標記的圖像540。在該示例的準確情況下，所示投影為立方體投影，但是可以使用其他投影。從相機模塊場景圖像內(nèi)容提供的內(nèi)容由編碼單元變換成該投影。在該立方體投影的情況下，場景圖像內(nèi)容覆蓋整個圖像并且必須添加額外的黑色邊緣546以包括標記544。為了最小化額外的邊緣尺寸，在該情況下可以將標記重新布置在一個或幾個像素行或列上。

圖5E示出了其中場景圖像內(nèi)容552是若干窄角圖像的組合的示例被標記的圖像550，所述若干窄角圖像可以稍后被拼接到一起以形成連續(xù)的廣角圖像。從相機模塊場景圖像內(nèi)容提供的內(nèi)容可以是若干相機模塊或以不同定向使用的單個相機模塊的結(jié)果。由編碼單元確定每個窄角圖像被排序（order）的方式，并且將每個窄角圖像的參數(shù)包括在標記554內(nèi)部。標記554被添加在現(xiàn)有黑色區(qū)域或額外的邊緣556中。為了最小化額外的邊緣尺寸，在該情況下可以將標記重新布置在一個或幾個像素行或列上。

圖5F示出了其中場景圖像內(nèi)容562是在由編碼單元進行的圖像裁剪之后的完整的相機模塊場景圖像內(nèi)容的子區(qū)域或者在由相機模塊進行的圖像裁剪之后的完整的全景的子區(qū)域的示例被標記的圖像560。取決于所使用的子區(qū)域，可能存在或不存在黑色邊緣566，并且如果必要的話可以添加一個以包括標記564而不更改場景圖像內(nèi)容。在該特定示例中，被編碼在標記564內(nèi)部的廣角成像器參數(shù)將還包括該子區(qū)域與完整場景圖像內(nèi)容相比的定向、坐標和變焦級別。為了最小化額外邊緣尺寸，在該情況下可以將標記重新布置在一個或幾個像素行或列上。

圖5G示出了其中多個場景圖像內(nèi)容572和578被一起添加在同一被標記的圖像570上的示例。產(chǎn)生每個相機模塊場景圖像內(nèi)容的相機模塊可以相同，如在被捕獲的兩個半球形場景圖像內(nèi)容一起形成完整的球的情況下那樣，或者不同，如在其中來自窄角相機的兩個高細節(jié)圖像被組合到低細節(jié)廣角相機的圖示情況下那樣。然后將由進行組合的編碼單元來選擇要添加標記574的黑色區(qū)域576。

在所有上面的圖中，通過被標記的圖像將成像器參數(shù)從成像器傳遞到圖像處理單元，并且使用成像器參數(shù)來為最終用戶定義特定的用戶體驗或系統(tǒng)行為。在這里解釋取決于成像器參數(shù)的特定用戶體驗或系統(tǒng)行為的一些示例。這些是用以更好地理解本創(chuàng)新的基本示例并且絕不應(yīng)該限制本發(fā)明的范圍和精神。

第一示例是在便攜式或可穿戴設(shè)備中發(fā)現(xiàn)的成像器，所述便攜式或可穿戴設(shè)備比如智能電話、平板、智能手表、使用戶穿或被綁到用戶的個人視頻記錄設(shè)備零件等。除了記錄用戶周圍的場景的視頻圖像之外，成像器還可以記錄用戶的一些生物計量數(shù)據(jù)，比如心跳、步調(diào)、步數(shù)以及定向和地理定位參數(shù)。其還可以將信息自動地包括在來自附近的其他用戶的被鏈接的設(shè)備或者由用戶使用的被鏈接的運輸裝置上，所述運輸裝置比如智能跑鞋、自行車或汽車。在該情況下的特定用戶體驗將允許從視頻讀取被標記的圖像的最終用戶回顧所記錄的場景圖像內(nèi)容并使用適當?shù)膱D像失真修正在其中導(dǎo)航而不具有創(chuàng)建失真圖像的成像器的準確型號的知識。這在原始用戶在因特網(wǎng)上更新了視頻并且最終用戶將另外不具相關(guān)于所使用的成像器的準確型號的信息的情況下尤其有用。更進一步地，被編碼在標記中的成像器設(shè)備的實時定向可以用于顯示器處的圖像穩(wěn)定以將視圖（view）鎖定在特定的感興趣點上，即使設(shè)備正在活動期間移動。在該示例中的另一特定用戶體驗將是該設(shè)備的用戶幫助回顧物理訓(xùn)練活動，比如跑步或騎自行車。最終用戶可以使用來自被標記的圖像的信息來將活動期間與示出背景（道路傾斜、地形類型、天氣條件）的視頻圖像的心跳進行比較。用戶還可以使用地理定位參數(shù)來繪制他的活動的地圖，其具有場景圖像內(nèi)容的可選顯示，如果期望的話。來自運輸裝置（智能跑鞋或自行車）的鏈接的設(shè)備或來自友好用戶的信息可以用來自動地日志記錄物理活動類型或給活動中的朋友加標簽而用戶不必每次都手動地輸入它。另一用戶體驗可以是該可穿戴成像器被包括在執(zhí)法官員的衣物中的情況。在介入之后，官員的場景圖像內(nèi)容、地理定位和生物計量數(shù)據(jù)可以有助于在關(guān)鍵事件發(fā)生后更好地重建它。

第二示例針對在家庭監(jiān)控安全成像器中發(fā)現(xiàn)的成像器。該設(shè)備可以是安全相機、網(wǎng)絡(luò)攝像頭、智能電子家電等。該設(shè)備除了記錄場景圖像內(nèi)容之外還可以將一些參數(shù)編碼在標記內(nèi)部，所述一些參數(shù)比如日期和時間、定向、在其處由算法單元自動地檢測移動的感興趣區(qū)、使用智能鎖定系統(tǒng)的門鎖的狀態(tài)或者警報系統(tǒng)的狀態(tài)、圖像中的被標識的用戶的姓名和位置、隱私區(qū)等。特定用戶體驗可以將允許遠程用戶實時地觀看安全視頻并能夠在移除了失真的情況下在經(jīng)處理的圖像內(nèi)部導(dǎo)航而不必手動地輸入成像器參數(shù)，比如鏡頭失真簡檔或設(shè)備的定向。由于在用戶界面上的最終用戶導(dǎo)航取決于成像器在天花板、墻壁還是地面定向上而優(yōu)選地不同，定向參數(shù)的該自動傳遞允許最終用戶具有最佳導(dǎo)航而不必手動地輸入?yún)?shù)。另一用戶體驗或系統(tǒng)行為可以用于希望在盜竊之后看一些參數(shù)的保險公司，但是出于隱私原因其不能具有對場景圖像內(nèi)容的完全訪問。它們?nèi)缓罂梢燥@示具有日期和時間的門鎖或警報系統(tǒng)的狀態(tài)以確定在盜竊期間的情況?？梢杂沙上衿鲄?shù)定義的另一類型的用戶體驗或系統(tǒng)行為可以是隱私區(qū)?？梢詫φ麄€視頻饋送進行加密并然后僅有具有正確口令的給定的顯示設(shè)備才可以顯示視頻饋送。在該顯示設(shè)備上，可以對具有不同的用戶名和口令的不同用戶示出場景圖像內(nèi)容的不同區(qū)，其中僅針對不具有所要求的特權(quán)的用戶移除隱私區(qū)場景內(nèi)容。

第三示例針對包括多個相機模塊的成像器，每個模塊具有它們自己的鏡頭。這可以是具有有著超過180°的視場的被以背靠背位置配置以對成像器周圍的完整球形場景成像的兩個廣角鏡頭的設(shè)備，或者這可以是具有在所有不同的方向中的大量窄角鏡頭以覆蓋成像器周圍的完整球形場景的全部或部分的成像器。在該示例的一個情況下，成像器可以創(chuàng)建被標記的圖像，其中來自所有相機模塊的場景圖像內(nèi)容已經(jīng)被合并到一起以形成具有完整球形場景內(nèi)容的單個圖像，并且標記可以包含與在組合圖像時所使用的特定投影相關(guān)的成像器參數(shù)或者可以由最終用戶使用的任何其他成像器參數(shù)。在該示例的另一情況下，成像器的輸出可以是來自多個相機的多個被標記的圖像。在該情況下的標記將用于一起交叉引用所有被標記的圖像?？梢岳脠D像序列號或日期和時間來完成時間引用?？梢酝ㄟ^定義每個相機模塊朝向其他相機模塊或朝向成像器中的固定位置和定向參考坐標的位置和定向來完成空間引用。在該示例中，特定的用戶體驗可以是如由最終用戶期望的那樣顯示或者球形場景中的感興趣定向上指向的原始圖像或者替換地顯示其中用戶可以通過使用來自被標記的圖像的成像器參數(shù)在場景內(nèi)部自由地導(dǎo)航的完整球形場景視圖。替換地，完整球形場景內(nèi)容可以用于顯示在特定感興趣點上的穩(wěn)定視圖，以鎖定視圖的定向，即使成像器在捕獲期間通過使用被編碼在標記內(nèi)部的成像器的定向參數(shù)而移動。在另一用戶體驗中，可以同時顯示完整球形場景和窄圖像兩者，完整球形場景被用來通過使用被編碼在標記內(nèi)部的所有交叉引用信息在原始窄圖像內(nèi)部導(dǎo)航。一個最后的用戶體驗或系統(tǒng)行為可以是其中最終用戶僅接收到原始較窄被標記的圖像中的一些或全部并且想要使用被編碼在標記內(nèi)部的位置和定向信息來組合它們的情況。

一個最后的示例針對在道路上駕駛的機動車輛（比如汽車）或在天空中的靶機或機器人化的機器上發(fā)現(xiàn)的成像器。該成像器可以是具有人類駕駛者的經(jīng)典汽車、由遠程的人類控制的靶機、無人駕駛汽車或自引導(dǎo)靶機。在智能自主系統(tǒng)的最后兩個情況下，最終用戶是人工智能單元、計算機或設(shè)備本身。在這些機動車輛的情況下，成像器可以從汽車或靶機前面的視圖記錄場景圖像內(nèi)容以及許多成像器參數(shù)。這些參數(shù)可以包括天氣參數(shù)（外部溫度、風、冰雹和濕度）、日期和時間、地理定位、高度、所檢測的危險或所檢測的道路車道在場景圖像內(nèi)容上的位置、具有機動車設(shè)備的速度和加速度的參數(shù)、駕駛者和乘客的標識、剎車或擋風玻璃雨刷的狀態(tài)、所檢測的路標等。在該情況下的特定用戶體驗將是在事故之后看所記錄的場景圖像內(nèi)容和其他參數(shù)以幫助更好地理解發(fā)生了什么。在該情況下，成像器參數(shù)可以包括成像器失真簡檔以允許最佳圖像處理以移除失真。一個顯示器然后可以示出經(jīng)處理的場景圖像內(nèi)容，以示出在事故之前、期間和之后發(fā)生了什么。另一用戶體驗或系統(tǒng)行為可以是在不看圖像的情況下顯示設(shè)備的一些參數(shù)，比如日期和時間、速度和加速度、雨刷和剎車的狀態(tài)或外部天氣。這對于在出于隱私原因場景圖像內(nèi)容不能被透露時希望確定導(dǎo)致事故的準確條件的保險公司來說可以是有用的。另一用戶體驗可以是實時地向駕駛者顯示由算法單元所檢測的一些信息。該信息可以是所檢測的道路車道偏離、路標或危險。在該情況下，輸出可以是以文本參數(shù)、符號、聲音、光指示符、觸覺反饋或警報的形式。在智能自主系統(tǒng)的情況下的一個特定系統(tǒng)行為將是通過被標記的圖像向計算機或人工智能單元提供重要的成像器參數(shù)以用于自引導(dǎo)。在該情況下，特定的系統(tǒng)行為是人工智能單元或計算機系統(tǒng)能夠通過標記提供給其子系統(tǒng)的參數(shù)以及其可以如何基于這些參數(shù)適配引導(dǎo)。

上面的所有是可以由被編碼在來自成像器的被標記的圖像內(nèi)部的成像器參數(shù)定義的特定用戶體驗或系統(tǒng)行為的圖和示例。在所有這些示例中，成像器可以具有任何視場，從非常窄的到極度的廣角。它們不意圖是窮舉列表或意圖限制本發(fā)明的范圍和精神。由本領(lǐng)域那些技術(shù)人員將領(lǐng)會的是，可以對上面描述的實施例做出改變而不脫離其寬的發(fā)明概念。因此，要理解的是，本發(fā)明不被限于所公開的特定實施例，而是其意圖覆蓋在如由所附權(quán)利要求限定的本發(fā)明的精神和范圍內(nèi)的修改。