輻射響應函數(shù)估計方法和裝置的制造方法
【技術領域】
[0001] 本發(fā)明涉及計算機技術領域，更具體地，本發(fā)明涉及一種輻射響應函數(shù)估計方法 和裝置。
【背景技術】
[0002] 眾所周知，成像設備（諸如，照相機、攝像機等）的輻射響應函數(shù)（又稱為，相機響 應函數(shù)CRF)在許多應用中都起到非常重要的作用，例如，其可以被應用于計算機視覺系統(tǒng) 或圖像處理系統(tǒng)中，以執(zhí)行諸如圖像去模糊、噪聲移除、立體成像、高動態(tài)范圍圖像（HDRI) 生成等圖像處理操作。因此，用于估計輻射響應函數(shù)的方法（也稱為，成像設備的輻射標定 方法）也就變得至關緊要。
[0003] 目前，主要有兩類常用的輻射標定方法：基于參考物體的標定方法和不采用參考 物體的標定方法。由于基于參考物體的標定方法具有一定的局限性，因此，不需要參考物體 的標定方法更多地受到人們的重視。
[0004] 然而，目前不需要參考物體的標定方法的應用場景受限，其通常只能應用于靜態(tài) 場景或場景中僅存在微小變化的曝光度圖像，這是由于當在拍攝過程中，成像設備的拍攝 角度變化較大或不同曝光度圖像間分別有不同的物體出現(xiàn)時，該類方法將失效。

【發(fā)明內容】

[0005] 本發(fā)明的目的在于，提供一種輻射響應函數(shù)估計方法和裝置，其能有效降低在大 范圍內因物體或相機運動而對輻射響應函數(shù)估計帶來的影響，從而較魯棒地完成相機的標 定。
[0006] 為了解決上述技術問題，根據(jù)本發(fā)明的一個方面，提供了一種輻射響應函數(shù)估計 方法，所述方法用于估計成像設備的輻射響應函數(shù)，所述方法包括：獲取所述成像設備采用 不同曝光度所采集的多幅圖像；分別將各幅圖像劃分為多個圖像區(qū)域；在所述多幅圖像中 的至少一個圖像對之間查找一個或多個圖像區(qū)域匹配對，各個圖像區(qū)域匹配對包括所述至 少一對圖像中彼此匹配的兩個圖像區(qū)域；針對各個圖像對，根據(jù)所述圖像對中各個圖像區(qū) 域匹配對中各個像素的強度值來確定所述圖像對的總體強度值映射關系，所述總體強度值 映射關系指示出所述圖像對中各個強度值之間的對應關系；以及根據(jù)各個圖像對的總體強 度值映射關系來估計所述輻射響應函數(shù)。
[0007] 此外，根據(jù)本發(fā)明的另一方面，提供了一種輻射響應函數(shù)估計裝置，所述裝置用于 估計成像設備的輻射響應函數(shù)，所述裝置包括：圖像獲取裝置，用于獲取所述成像設備采用 不同曝光度所采集的多幅圖像；區(qū)域劃分裝置，用于分別將各幅圖像劃分為多個圖像區(qū)域； 匹配區(qū)域查找裝置，用于在所述多幅圖像中的至少一個圖像對之間查找一個或多個圖像區(qū) 域匹配對，各個圖像區(qū)域匹配對包括所述至少一對圖像中彼此匹配的兩個圖像區(qū)域；總體 關系確定裝置，用于針對各個圖像對，根據(jù)所述圖像對中各個圖像區(qū)域匹配對中各個像素 的強度值來確定所述圖像對的總體強度值映射關系，所述總體強度值映射關系指示出所述 圖像對中各個強度值之間的對應關系；以及響應函數(shù)估計裝置，用于根據(jù)各個圖像對的總 體強度值映射關系來估計所述輻射響應函數(shù)。
[0008] 與現(xiàn)有技術相比，本發(fā)明的實施例提供了一種輻射響應函數(shù)估計方法和裝置，其 能夠基于具有不同曝光度的圖像進行成像設備的輻射響應函數(shù)的標定，并且能夠基于真正 可靠的像素點進行輻射響應函數(shù)的估計。在整個過程中，本發(fā)明的實施例可以首先去除圖 像中不匹配的區(qū)域，保留真正匹配的區(qū)域以用于輻射響應函數(shù)的估計。因此，當有移動物體 存在或相機拍攝角度發(fā)生變化時，該發(fā)明仍然有效地進行輻射標定。例如，即使相機的拍攝 角度改變較大，在不同的曝光度圖像之間，只要存在重疊區(qū)域，本發(fā)明的實施例就仍然能進 行輻射響應函數(shù)的估計。由于當在具有不同曝光度的圖像之間存在不相同的物體時，本發(fā) 明的實施例能夠只根據(jù)相同物體進行輻射響應函數(shù)的估計，而忽略掉異常物體，因此在輻 射響應函數(shù)估計過程中，可以自適應于相機或場景運動，而不需要任何相機參數(shù)值的輸入。 因此，根據(jù)本發(fā)明實施例的輻射響應函數(shù)估計方法和裝置不僅能夠適用于靜態(tài)場景，同時 能夠適用于動態(tài)場景。
[0009] 本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變 得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權利 要求書以及附圖中所特別指出的結構來實現(xiàn)和獲得。
【附圖說明】
[0010] 附圖用來提供對本發(fā)明的進一步理解，并且構成說明書的一部分，與本發(fā)明的實 施例一起用于解釋本發(fā)明，并不構成對本發(fā)明的限制。在附圖中：
[0011] 圖1是圖示了根據(jù)本發(fā)明實施例的成像設備的成像原理的示意圖。
[0012] 圖2是圖示了根據(jù)本申請實施例的輻射響應函數(shù)估計方法的總體流程圖。
[0013] 圖3(a)到圖3(d)是圖示了根據(jù)本申請實施例的輻射響應函數(shù)估計方法的過程示 意圖。
[0014] 圖4是圖示了根據(jù)本發(fā)明實施例具體示例的輻射響應函數(shù)估計方法的總體流程 圖。
[0015] 圖5(a)到圖5(c)是圖示了根據(jù)本申請實施例具體示例的圖像輸入、圖像分割、和 區(qū)域匹配操作的示意圖。
[0016] 圖6(a)和圖6(b)是圖示了根據(jù)本申請實施例具體示例的生成強度值分布直方圖 的示意圖。
[0017] 圖7是圖示了根據(jù)本發(fā)明實施例具體示例的抽取預定數(shù)目個有效圖像區(qū)域匹配 對步驟的細節(jié)流程圖。
[0018] 圖8(a)到圖8(f)是圖示了根據(jù)本申請實施例具體示例的選擇Ml個有效圖像區(qū) 域匹配對、和保留S1'個強度值映射對，作為映射對基準子集的示意圖。
[0019] 圖9是圖示了根據(jù)本申請實施例的輻射響應函數(shù)估計裝置的功能配置框圖。
【具體實施方式】
[0020] 將參考附圖詳細描述根據(jù)本發(fā)明的各個實施例。這里，需要注意的是，在附圖中， 將相同的附圖標記賦予基本上具有相同或類似結構和功能的組成部分，并且將省略關于它 們的重復描述。
[0021 ] 為了使本領域技術人員更好地理解本發(fā)明，將按下列順序來對本發(fā)明作進一步詳 細說明。
[0022] 1、本發(fā)明的思想概述
[0023] 2、輻射響應函數(shù)的估計原理
[0024] 3、輻射響應函數(shù)估計方法
[0025] 4、輻射響應函數(shù)估計方法的具體示例
[0026] 5、輻射響應函數(shù)估計裝置
[0027] 1、本發(fā)明的思想概述
[0028] 在計算機視覺系統(tǒng)中，圖像源作為計算機視覺系統(tǒng)的輸入資源，直接影響著計算 機視覺系統(tǒng)的輸出性能。傳統(tǒng)的成像設備（例如，相機）僅能獲取有效的亮度分布范圍，從 而導致許多場景細節(jié)容易被丟失。
[0029] 實際上，在圖像的成像過程中，圖像中的任意一個像素點所對應的強度值都是真 實場景的輻射度值通過成像設備的特有函數(shù)變換得到，該函數(shù)被稱為成像設備的輻射響應 函數(shù)或相機響應函數(shù)。如果我們能獲取到成像設備的輻射響應函數(shù)，那么基于圖像強度值 和該輻射響應函數(shù)就可以對丟失的圖像細節(jié)進行恢復。然而，在多數(shù)情況下，我們無法直接 獲取到該輻射響應函數(shù)，因此，許多研究者提出可以采用不同的方法進行輻射響應函數(shù)的 計算。這些輻射響應函數(shù)計算方法也稱為相機標定方法或輻射度標定方法。
[0030] 最初，一些研究者采用具有參考值的顏色標定板進行輻射響應函數(shù)的計算。該方 法非常簡單有效，但是，在實際操作過程中，光照亮度需要被嚴格控制。因此，該方法在實際 使用中具有很大的局限性。
[0031] 為了使標定過程更加簡單，許多研究者開始采用不需要參考物體的輻射響應函數(shù) 計算方法。
[0032] 例如，第一種方法叫做幾何結構對應方法，該方法是將不同曝光度圖像之間的像 素點進行點對點的直接對應，以進行輻射響應函數(shù)的估計。然而，該方法的前提是假設針對 同一場景的兩張不同曝光度圖像之間像素點位置完全一一對應。因此，該方法常常用于針 對靜態(tài)場景的輻射響應函數(shù)計算過程。同時，為了保持不同曝光度圖像的像素點之間完全 對應，相機在拍攝過程中需要保持絕對靜止，一般必須置于三角架上進行拍攝，這無疑為用 戶帶來很大的操作不變。而且，當場景中存在運動物體時，該方法也將標定失敗。
[0033] 第二種方法是采用強度值映射函數(shù)計算輻射響應函數(shù)。該方法首先采用直方圖對 整幅圖像的像素點的強度值分布進行統(tǒng)計，因此，該方法不需要像素點與像素點之間的直 接映射。在不同的曝光度圖像之間，若場景內物體不變，即使存在運動物體，該方法仍然能 有效地求解出輻射響應函數(shù)。然而，該方法的問題在于，當在不同曝光圖像之間，相機拍攝 角度發(fā)生較大變化或突然有場景中先前不存在的物體出現(xiàn)時，該方法將無法成功地計算輻 射響應函數(shù)。
[0034] 在對上述技術問題進行研究的過程中，本申請人提出：可以在基于具有不同曝光 度的圖像進行輻射響應函數(shù)的標定的基礎上，不是基于整幅圖像，而是基于不同的曝光度 圖像之間真正可靠的像素點來進行輻射響應函數(shù)的估計。也就是說，在根據(jù)本發(fā)明實施例 的輻射響應函數(shù)估計方法中，可以首先去除所述成像設備采用不同曝光度所采集的多幅圖 像之間的不匹配區(qū)域，僅僅保留真正匹配的區(qū)域，以用于輻射響應函數(shù)的估計。因此，當在 不同曝光度圖像之間存在不相同的物體時，本發(fā)明的實施例可以只根據(jù)相同物體進行輻射 響應函數(shù)的估計，而忽略掉異常物體，從而在輻射響應函數(shù)估計過程中，自適應于相機或場 景的運動，而且也不需要輸入相機的任何參數(shù)值。
[0035] 2、輻射響應函數(shù)的估計原理
[0036] 在下文中，將首先參考圖1來描述根據(jù)本發(fā)明實施例的輻射響應函數(shù)的估計原 理。
[0037] 圖1是圖示了根據(jù)本發(fā)明實施例的成像設備的成像原理的示意圖。
[0038] 如圖1所示的，成像設備（例如，相機）采集圖像的過程就是將實際場景的場景輻 射度L轉換為圖像強度Z的過程。
[0039] 具體來說，在成像設備采集圖像過程中，首先，由于不同光圈直徑所帶來的不同光 學衰減，所以實際場景的場景輻射度圖L在經(jīng)過相機鏡頭之后，變成相機輻射度圖E。顯然， 該過程是一種線性變換，其例如由公式（1)中的線性函數(shù)s決定：
[0041] 其中，E是相機的輻射度圖，L是實際場景的場景輻射度圖，s是用于表征光學衰減 的線性函數(shù)，h為相機的成像焦距，d為相機光圈的直徑，a為成像角大小。
[0042] 然后，通過快門時間（其用于決定不同的曝光時間），相機的輻射度圖E變成相機 曝光圖X，該變換關系例如如公式（2)所示：
[0044] 其中，t為曝光時間，k為常量，e為曝光度，其由光圈直徑d和曝光時間t決定。
[0045] 最后，通過非線性的輻射響應函數(shù)f，可以得到最后的數(shù)字（或膠卷）圖像強度圖 Z，該非線性函數(shù)就是輻射響應函數(shù)，其例如如公式（3)所示：
[0046] Z = f(X) = f(E*t)公式（3)
[0047] 其中，f為相機的相機響應函數(shù)或輻射響應函數(shù)。
[0048] 可以看出，輻射響應函數(shù)示出了場景輻射度圖與所測量的圖像中各個成像點（在 數(shù)字圖像的情況下，該成像點也稱之為像素）的亮度值（或稱之為強度值）之間的對應關 系。通常來說，在灰度相機的情況下，該相機僅僅具有關于灰度Grey的一個輻射響應函數(shù)； 而在彩色相機的情況下，該相機可以具有多個輻射響應函數(shù)。例如，在使用紅色R、綠色G、 和藍色B的顏色體系的情況下，該相機可以具有分別關于RGB的三個輻射響應函數(shù)。
[0049] 由上面的描述可以看出，輻射響應函數(shù)實際上可以由已知的圖像強度Z計算得 到。
[0050] 在本發(fā)明的實施例中，為了獲得輻射響應函數(shù)f，可以基于所述相機采用不同曝光 度所采集的多幅圖像，并且基于多幅圖像之間的曝光比來進行輻射響應函數(shù)的標定。為了 便于描述，假設僅僅存在采用不同曝光度所采集的兩幅圖像Iq和Iq + 1。那么，針對兩幅具有 不同曝光度的最終圖像之間的曝光比例值可以例如通過公式（4)計算得到：
[0052] 其中，Xq為相機的第q張曝光圖的圖像強度值，Xq+1為相機的第q+Ι張曝光圖的圖 像強度值，e q為第q張曝光圖的曝光度，eq+1為第q+Ι張曝光圖的曝光度，Rq,q+1是兩幅圖像 Iq和Iq+1之間的曝光比例值。類似地，在下文中，帶有角標q的參數(shù)用于表示與第q張曝光 圖相關的參數(shù)，而帶有角標q+Ι的參數(shù)用于表示與第q+Ι張曝光圖相關的參數(shù)。
[0053] 通常情況下，輻射響應函數(shù)是一個單調函數(shù)或至少為一個半單調函數(shù)，因此，輻射 響應函數(shù)可以采用高階多項式進行描述，例如，如公式（5)所示：
[0055] 其中，g為輻射響應函數(shù)f的逆函數(shù)。
[0056] 結合公式⑷和公式（5)，可以看出，采用不同曝光度所采集的圖像之間的誤差總 和例如可以通過公式（6)所示。
[0058] 其中，Q為具有采用不同曝光度所采集的圖像的總數(shù)（Q > 2)，N為高階多項式的 總階數(shù)，心q+1為第q張曝光圖Iq與第q+Ι張曝光圖I q+1之間的曝光比例值，其可以通過曲 線擬和計算得到，（Zq，Zq+1)是在第q張最終得到的圖像強度圖與第q+Ι張最終得到的圖像 強度圖之間成像點（例如，像素點）的強度值映射對。顯然，只要在公式出）中計算出響應 函數(shù)系數(shù)C n后，就能夠得到相應的輻射響應函數(shù)f。
[0059] 響應函數(shù)系數(shù)Cn可以通過尋找最小誤差總和的方法進行估計。例如，響應函數(shù)系 數(shù)C n可以通過求解尋找最小誤差總和的線性方程計算得到，該線性方程可以例如由公式 (7)計算得到：<