受到版權保護的素材的通知

本專利文獻中的部分素材受到美國和其它國家的版權法的版權保護。版權擁有者不反對任何人對如在美國專利商標局的公開可用的文件或記錄中呈現(xiàn)的專利文檔或?qū)＠_內(nèi)容進行傳真復制，但是除此之外在任何情況下都保留所有版權權利。版權所有者并不因此放棄維持本專利文獻保密的任何權利，包括但不限于依據(jù)37c.f.r.§1.14的權利。

本公開一般涉及在拜耳圖像編碼期間使用顏色間預測，并且更特別地，涉及響應于動態(tài)范圍決定而選擇用于拜耳編碼系統(tǒng)的顏色內(nèi)預測或顏色間預測。

背景技術：

使用單芯片數(shù)字圖像傳感器的許多彩色相機系統(tǒng)(例如，數(shù)碼相機、攝錄機(camcorder)和掃描儀)使用包括用于將rgb濾色器布置在光電傳感器的網(wǎng)格上/上方的濾色器陣列(cfa)的拜耳過濾器馬賽克。存在在使用中的多種類型的拜耳過濾器馬賽克。在一個示例中，具有50％綠色、25％紅色和25％藍色的濾色器的(拜耳)布置被用于創(chuàng)建彩色圖像，并且替代地被稱為rgbg、grgb或rggb。應當理解，由于人眼對綠色更敏感，因此存在更多的綠色像素，因為光譜的綠色部分中的更多內(nèi)容增強了圖像表現(xiàn)(appearance)。

與典型的24位(rgb)表示相反，拜耳彩色圖像通常僅以8位分辨率編碼。通過向每個像素分配紅色、藍色或者兩個綠色值(即，gr、gb)中之一，可以使用每個像素附近的顏色信息來為那個像素指定實際顏色，或者為那個像素組分配顏色。拜耳編碼使用顏色交替的顏色馬賽克，使得鄰域中的顏色可以被用來確定所討論的像素的每個顏色分量的值。

圖1描繪了拜耳顏色馬賽克，示出了總共8個像素組，r1、b1、gr1、gb1至r8、b8、gr8、gb8?？梢钥闯觯總€位置都具有特定的顏色分量，并被每個其它顏色值中的至少兩個包圍。注意到，一種類型的拜耳圖像具有四個顏色平面：(1)r平面、(2)gr平面、(3)gb平面和(4)b平面。拜耳編碼中對圖像“平面”的引用是指“顏色平面”。存在適用于本公開的拜耳顏色編碼的許多變型。

通常，基于像素差值與相同顏色的相鄰像素的平均值之間的差值，針對這些像素生成殘差。一般而言，拜耳編碼中的平均處理使用相同顏色內(nèi)的空間相關性，并被稱為平面內(nèi)相關性。這種平均考慮到，與遠距離樣本相比，具有相同顏色的緊密相鄰的樣本傾向于具有更相似的值。例如，|r1–r2|<|r1–r4|更為有可能。

在申請人的先前申請中，在拜耳顏色編碼期間使用顏色間預測執(zhí)行增強的預測來提高編碼效率，以增強平面內(nèi)相關性。

本技術在選擇是執(zhí)行顏色間預測還是顏色內(nèi)預測的方面進一步延伸拜耳編碼的益處。

技術實現(xiàn)要素：

已經(jīng)示出了通過使用平面間相關性來增強拜耳圖像編碼的平面內(nèi)相關性的益處。但是，在某些情況下(諸如響應非常大的顏色邊緣)，顏色間預測并不總是提供最佳結(jié)果。例如，在存在大的空間邊緣的情況下，殘差變得不切實際的大。

本公開提供了在預測處理中的取決于動態(tài)范圍(dr)的決定，以克服先前拜耳圖像編碼系統(tǒng)的缺點。特別地，本公開教導了用于使用取決于dr的方法來決定(或切換)顏色內(nèi)預測和顏色間預測的裝置和方法，更特別地教導了如何組合那些預測。

將在本說明書的以下部分中提出公開技術的其它方面，其中詳細描述的目的是完全公開優(yōu)選實施例而不對其進行限制。

附圖說明

通過參考僅用于說明目的的以下附圖，將更全面地理解該技術：

圖1是示出八個像素組的拜耳顏色像素布置的示例。

圖2是指示用于使用平面間預測來增強平面內(nèi)預測的基礎的平面間相關性(跨顏色)的示圖。

圖3是根據(jù)本技術的實施例使用的第一拜耳編碼器實施例的框圖。

圖4是根據(jù)本技術的實施例使用的第二拜爾編碼器實施例的框圖。

圖5是根據(jù)本技術的實施例使用的第一拜爾解碼器實施例的框圖。

圖6是根據(jù)本技術的實施例使用的第二拜爾解碼器實施例的框圖。

圖7a和圖7b是如根據(jù)本技術的實施例所使用的拜耳彩色圖像的一部分內(nèi)的邊緣條件的像素樣本示例，從這種邊緣條件可以出現(xiàn)對于顏色間預測的高殘差值。

圖8是示出根據(jù)本技術的實施例的使用第一動態(tài)范圍(dr)決定選擇是應用顏色間預測還是顏色內(nèi)預測的流程圖。

圖9是根據(jù)本技術的實施例的在拜耳彩色圖像的一部分內(nèi)示出的像素樣本的示例，其中做出進行顏色間預測的圖8中的決定。

圖10是示出根據(jù)本技術的實施例的如圖8中的使用第一動態(tài)范圍決定選擇是應用顏色間還是顏色內(nèi)預測的流程圖，但是該決定包括動態(tài)范圍閾值條件。

圖11a和圖11b是根據(jù)本技術的實施例的在拜耳彩色圖像的一部分內(nèi)示出的每個像素樣本的示例，其中做出應用顏色間預測的圖10中的dr決定和排除。

圖12是示出根據(jù)本技術的實施例的使用第二動態(tài)范圍決定選擇是應用顏色間預測還是顏色內(nèi)預測的流程圖。

圖13是根據(jù)本技術的實施例的在拜耳彩色圖像的一部分內(nèi)示出的像素樣本的示例，其中做出應用顏色間預測的圖12中的決定。

圖14是示出根據(jù)本技術的實施例的如圖12中的使用第二動態(tài)范圍決定選擇是應用顏色間還是顏色內(nèi)預測的流程圖，但是包括動態(tài)范圍閾值條件。

圖15a和圖15b是根據(jù)本技術的實施例的在拜耳彩色圖像的一部分內(nèi)示出的每個像素樣本的示例，其中做出應用顏色間預測的圖14中的dr決定和排除。

具體實施方式

本技術的動機是認識到拜耳圖像內(nèi)存在平面間相關性以及平面內(nèi)相關性。也就是說，不僅相同顏色(平面內(nèi))的相鄰像素的相關性具有重要性，而且與拜耳圖像內(nèi)的其它顏色(平面間)存在相關性。根據(jù)本技術執(zhí)行附加的平面間相關性以向更高效地壓縮彩色圖像數(shù)據(jù)的方向來增強拜耳圖像編碼。然后，為了響應于防止在某些邊緣情況出現(xiàn)時生成大的殘差，響應于做出動態(tài)范圍決定，和/或排除，決定選擇這些平面間預測。

圖2描繪了平面間相關性的示圖。響應于計算給定塊內(nèi)的r-平均(r)、g-平均(g)和b-平均(b)，示出關于零值的波動。該圖的x軸描繪了單行中的空間像素位置。該圖示出了即使r、g、b通常具有非常不同的值，它們的空間變化(或改變或波動)也跨不同顏色相關。為了在圖2的單個圖中清楚地描繪這種情況，從跨像素范圍的每種顏色中減去顏色均值。

因為空間值改變和/或波動對于顏色r、gr、gb和b中的每一個趨于相似，將看到存在這些平面間(跨不同顏色)相關性。例如，如果r1<r2，那么這種一般的顏色關系對于其它顏色也可能是相似的，例如b1<b2、gr1<gr2和gb1<gb2。該圖指示用于利用平面間預測增強平面內(nèi)預測的本技術的優(yōu)點所依據(jù)的基礎。

作為示例而非限制，在以下描述中，公開的方法被實現(xiàn)用于8×1隨機訪問編碼，8×1塊的示例是來自圖1的r1、gr1、r2、gr2、r3、gr3、r4、gr4。

圖3和圖4示出了可以在編碼(諸如通過使用差分脈沖編碼調(diào)制(dpcm)、或脈沖編碼調(diào)制(pcm)和dpcm的組合進行熵編碼)期間根據(jù)利用平面間相關性的方法使用的拜耳編碼器的示例實施例10、30，。應當認識到，以示例而非限制的方式提供實施例10、30，因為可以在不背離本技術的教導的情況下，在其它編碼器配置上實踐本技術。

在圖3中，輸入拜耳圖像12，使用來自先前像素的重建值21為其確定預測器14，并且在求和結(jié)點16確定差值，以產(chǎn)生殘差18(即，正值或負值)，該殘差被量化20，然后被熵編碼22，以產(chǎn)生比特流輸出24。將注意到，在量化20的處理中，一些信息丟失，由此必須基于量化后的重建值來確定預測器14。

看到編碼處理是由處理裝置26執(zhí)行的，處理裝置26包括至少一個計算機處理器28，諸如中央處理器單元(cpu或gpu)、微處理器、微控制器、dsp、可編程陣列設備或者被配置為執(zhí)行塊14至塊22的被編程的或可編程執(zhí)行的類似設備。處理裝置26還被示為具有至少一個存儲器29(諸如用于存儲用于處理器28的數(shù)據(jù)和程序的存儲器)。存儲器可以包括固態(tài)存儲器和其它計算機可讀介質(zhì)。本技術關于存儲器和計算機可讀介質(zhì)是非限制性的，只要它們是非暫態(tài)的并且因此不構成暫態(tài)電子信號即可。

在圖4中，輸入拜耳圖像12并將其量化20，之后確定預測器14，并且在求和結(jié)點16處輸出差值來產(chǎn)生殘差18，殘差被熵編碼22，以產(chǎn)生比特流輸出24。實施例30優(yōu)選地使用包括至少一個計算機處理器28和至少一個存儲器29的如關于圖3所描述的相同的處理裝置26。

以下部分描述了用于根據(jù)本技術執(zhí)行預測的兩種不同機制(方法)。應當注意到，這些機制中的任一個可以被用在圖3和圖4中例示的計算預測器14的步驟中，或者與基于利用預測器計算的差值來生成殘差的其它編碼布置一起使用。

在第一預測方法中，平面間預測與平面內(nèi)預測同時執(zhí)行。將認識到，根據(jù)以下執(zhí)行平面內(nèi)預測并生成殘差：

δrn＝rn-sp(rn)，

δgrn＝grn-sp(grn)，

δgbn＝gbn-sp(gbn)，以及

δbn＝bn-sp(bn)。

在上面的等式中，“sp”表示基于相同顏色平面中的像素執(zhí)行空間預測，也就是說，響應于在附近的相同顏色的像素(例如，直接鄰居，或在較小程度上的間接鄰居)來執(zhí)行預測。但是，根據(jù)這種方法，通過結(jié)合到這些顏色預測中的一個或多個當中的平面間預測來修改這些預測，由此基于相同平面和不同平面的組合來執(zhí)行預測。

下面描述這種第一預測方法的示例，其中對綠色執(zhí)行顏色內(nèi)預測和顏色間預測的組合，而紅色和藍色僅經(jīng)受顏色內(nèi)預測。從如下確定的預測將顏色rn、grn、gbn、bn的殘差確定為δrn、δgrn、δgbn、δbn：

δrn＝rn-sp(rn)

δgrn＝grn-sp(grn)+rn–sp(rn)

δgbn＝gbn-sp(gbn)+bn–sp(bn)

δbn＝bn-sp(bn)

應當認識到，在不背離本技術的情況下，可以實現(xiàn)上述通用方法的許多變型。例如，可以對其它顏色(紅色和藍色而不是綠色，或者其他顏色組合)執(zhí)行平面間預測，或者可以在一些情況下關于gr和gb交換紅色和藍色顏色間預測分量，或添加附加的間預測(諸如基于更遠的像素)，這里僅僅是舉出適用于本技術的幾個示例。

在上面的描述中，sp(xn)意味著像素組n中的顏色x的“空間預測器”。空間預測器是指對于給定像素組中的給定顏色像素的任何期望的平面內(nèi)預測處理的使用。在上文可以看到，僅響應于相同顏色的空間預測而預測紅色像素和藍色像素，而綠色像素預測包括包含紅色和藍色殘差的平面間預測分量。應當注意到，因為綠色通常具有比紅色和藍色更高的波動，所以r和b優(yōu)選地區(qū)別于gr和gb，由此結(jié)合平面間預測導致綠色的更大的穩(wěn)定性和準確性，以提供最大的益處。

在第二預測方法中，在與平面內(nèi)預測不同的殘差計算級別處執(zhí)行平面間預測。作為示例，在對于平面內(nèi)預測計算殘差之后的第二級別殘差計算內(nèi)執(zhí)行平面間預測。根據(jù)這個方法，對于顏色r、gr、gb或b中的一種或多種顏色跨顏色平面執(zhí)行包括平面間預測的至少一個計算級別。

在第一步驟中，對于每種顏色，在至少一個計算級別中確定顏色內(nèi)空間預測殘差：

δrn＝rn–sp(rn)

δgrn＝grn–sp(grn)

δgbn＝gbn–sp(gbn)

δbn＝bn–sp(bn)

在上面的等式中，sp(xn)再次意味著像素組n中的顏色x的“空間預測器”。這些空間預測器(1d或2d塊)的示例包括：sp(x6)＝x5、sp(x6)＝x2、sp(x6)＝x5+x2–x1等等。將理解到，xn需要從相鄰像素xm預測，在考慮2d塊時，可以在任何期望的方向(例如，上方、左側(cè)、右側(cè)和下方)找到xm，或者在1d塊中，可以在左側(cè)或右側(cè)找到xm。但是，優(yōu)選地是關于已經(jīng)被編碼的相鄰像素執(zhí)行預測。因此，例如，在1d塊(例如，8×1)中，可以僅有已經(jīng)被編碼并可以使用的左側(cè)鄰居(例如，xn-1)的一個優(yōu)選選擇。

在第二步驟中，對于顏色的至少一部分，再次從相鄰空間預測殘差來預測空間預測殘差，例示如下：

δδgrn＝δgrn–δrn

δδgbn＝δgbn–δbn-1

然后將這些殘差與來自第一級別殘差計算的δrn和δbn一起進行熵編碼，以產(chǎn)生編碼的比特流。

第二步驟的替代實現(xiàn)是對于所有顏色計算殘差，例示如下：

δδrn＝δrn–δgrn-1

δδgrn＝δgrn–δrn

δδgbn＝δgbn–δbn-1

δδbn＝δbn–δgbn

應當注意到，為了使用關于已經(jīng)被編碼的像素的信息，上面的第一行和第三行具有索引n-1，而不是索引n。在特定的應用或配置中，當計算該下一級殘差時，也可以替代地或附加地使用來自其它方向的像素。

在考慮解碼器側(cè)時，關于要使用的可用像素的方向的決定是最容易理解的。將看到，解碼器可以首先計算δrn，但是還不具有信息δgrn，因此解碼器不能使用δgrn來計算δδrn。因此，在計算δδrn時，解碼器依賴δrn和δgrn-1。但是，當解碼器解碼grn時，它可以計算δgrn且也可以計算δrn。因此，當計算δδgrn時，解碼器使用δgrn和δrn。

最后，上述殘差(δδrn、δδgrn、δδgbn、δδbn)被熵編碼為熵編碼的拜耳比特流。應當理解，除了其先前的空間預測殘差值不可用的(被pcm編碼的)頭幾個樣本之外，其余的樣本優(yōu)選地使用顏色內(nèi)和顏色間相鄰樣本都進行dpcm編碼。

將注意到，在1d實現(xiàn)中，顏色間預測器是左側(cè)相鄰樣本的空間預測殘差。但是，因為可以根據(jù)不同的實現(xiàn)和應用來選擇預測器位置，所以本技術在該方面沒有限制。

應當理解，該方法可以既用于“非隨機訪問”條件又用于“隨機訪問”條件。在“隨機訪問”條件下，當對給定的塊進行編碼時，編碼器和解碼器不需要訪問其它塊。這意味著解碼器在不必知道其它塊的信息的情況下，仍然可以解碼任何給定的塊。與之相反，在“非隨機訪問”條件下，需要訪問其它塊(諸如相鄰塊)的能力，因為預測器是基于其它塊的像素計算的。這意味著，如果解碼器可以訪問其它塊，那么解碼器只能在隨機訪問條件下解碼給定的塊。

當包括平面間預測時，來自單級和多級殘差計算方法的測試結(jié)果都指示峰值信噪比(psnr)的顯著改善(例如，大于1db)。在測試這些實施例時，將相同顏色的左側(cè)樣本用作空間預測的預測器。此外，在測試期間，使用1d8×1塊。應當理解，對于更大的塊和對于2d塊，可以預期更高的增益。

應當理解，本技術的上述平面間預測元素不應當與完全不同的顏色加權處理相混淆。顏色加權是為了補救固定級別的顏色偏移量和滲色，基于彩色成像器(例如，電荷耦合器件(ccd))的給定模型的參數(shù)測量，通過使用固定偏移量校正顏色而執(zhí)行的。

圖5和圖6分別示出了作為圖3和圖4中所示的編碼器的對應方的拜耳解碼器的示例性實施例50、70，用于在解碼(諸如解碼使用差分脈沖編碼調(diào)制(dpcm)或者脈沖編碼調(diào)制(pcm)和dpcm的組合進行熵編碼的比特流)期間利用平面間相關性。應當理解，實施例50、70是通過示例而非限制的方式提供的，因為可以在不背離本技術的教導的情況下在其它解碼器配置上實踐本技術。

在圖5中，接收編碼比特流以用于熵解碼52，隨后是逆量化54，響應于計算出的預測器56而在求和結(jié)點處確定和58。和輸出60是原始拜耳輸入圖像的重建。將理解，可以以與對于圖3和圖4的編碼器所描述的相同方式對該解碼器執(zhí)行預測。

解碼處理被視為由處理裝置62執(zhí)行，處理裝置62包括至少一個計算機處理器64，諸如中央處理器單元(cpu或gpu)、微處理器、微控制器、dsp、可編程陣列設備或者被配置為執(zhí)行塊52至塊58的被編程的或可編程執(zhí)行的類似設備。處理裝置62還被示為具有至少一個存儲器66(諸如用于存儲用于處理器64的數(shù)據(jù)和程序)。存儲器可以包括固態(tài)存儲器和其它計算機可讀介質(zhì)。本技術關于存儲器和計算機可讀介質(zhì)是非限制性的，只要它們是非暫態(tài)的并且因此不構成暫態(tài)電子信號即可。

在圖6中，接收編碼比特流以用于熵解碼72，其后響應于計算出的預測器74在求和結(jié)點處求和76，之后執(zhí)行逆量化78，以生成原始拜耳輸入圖像80的重建。將理解，可以以與對于圖3和圖4的編碼器所描述的相同方式對該解碼器執(zhí)行預測。，實施例70優(yōu)選地使用包括至少一個計算機處理器84和至少一個存儲器86的如關于圖5的解碼器所描述的類似的處理裝置82。

以下部分描述針對這種拜耳圖像編碼機制的顏色間預測和顏色內(nèi)預測的改進，其克服了某些預測問題。特別地，在存在大空間邊緣的情況下，其中顏色內(nèi)預測或者顏色間預測無法提供良好的預測。下文將一般性地將這些差值簡單地描述為在兩種類型的值a和b之間，而不是描述r、gr、gb和b之間的每種動態(tài)范圍情況。將理解，這些適用于r、gr、gb和b和類似的像素顏色配置而沒有受到限制。

圖7a和圖7b圖示了可以拋開上述任一預測的大空間邊緣的示例情況。從圖7a可以看到其中生成大的殘差的顏色內(nèi)預測：δan＝an–sp(an)＝495–51＝444。圖7b中示出了對于顏色間預測的類似情況。應當理解，這些圖和殘差等式是簡單地將差值概括為在兩種類型的值a和b之間，而不是描述r、gr、gb和b之間的每個動態(tài)范圍情況。這些教導可以沒有限制地適用于所有r、gr、gb和b以及類似的拜耳類型像素顏色配置：

δan＝an–sp(an)＝495–495＝0

δbn＝bn–sp(bn)＝495–50＝445

δδan＝δan–δbn-1＝0–445＝-445

在上面的等式中，相同顏色上的差值小(0)，但在顏色之間差值較大。因此，對于顏色內(nèi)和顏色間都存在其中預測殘差變得相當大的特定的例外情況。

以下描述用于克服上述情況的樣本分組碼字和動態(tài)范圍決定機制。將理解，動態(tài)范圍是將兩個值之間的范圍(差值)與一些標準進行比較的屬性。

圖8至圖15b示出了用于基于單獨使用或與動態(tài)范圍排除組合地使用的動態(tài)范圍決定，在顏色間預測和顏色內(nèi)預測之間進行選擇的兩個不同示例實施例和變型。

在圖8中示出了示例碼字決定實施例。該處理開始90，并且在多個樣本之間確定92動態(tài)范圍，在這個示例中使用最后三個樣本(＝bn-2、an-1和bn-1)。降低94每個樣本的分辨率(諸如降低至僅具有兩比特(兩比特的值))。然后，做出決定96，如果這個碼字是顏色內(nèi)異常情況(諸如對于這些示例等于“003”或“330”)，那么就應用98顏色間(不同的顏色)預測100δδan＝δan–δbn-1。如果碼字不是顏色內(nèi)異常情況，那么單獨基于顏色內(nèi)(相同顏色)預測將殘差確定為δan＝an–sp(a)。因此，基于碼字決定使用δδan或者δan。

在圖9中，看到對于碼字“003”的這個決定的示例。將認識到，在這個示例中，對于在“003”中看到的這三個樣本中的每個樣本，每個樣本被編碼為具有從0到3的值的兩比特。在這些樣本中最大的值(在分辨率降低到2比特之前)為495，并且最小的值為50，其中對于這三個樣本(＝bn-2、an-1和bn-1)的動態(tài)范圍確定在像素塊下面看到是495-50+1＝446。如圖中所指出的，max＝495>其他>“min+(dr>>2)*3＝383。

在圖10中，看到將動態(tài)范圍決定與動態(tài)范圍排除相結(jié)合的圖8的變型。該處理開始110，在多個樣本之間確定112動態(tài)范圍，在這個示例中使用最后三個樣本(＝bn-2、an-1和bn-1)。降低114每個樣本的分辨率(諸如降低至僅具有兩比特(兩比特的值))。然后，如果該碼字是顏色內(nèi)異常情況(諸如對于這些示例等于“003”或“330”)，并且如果動態(tài)范圍也超過閾值(dr>th)，則做出決定116，(決定為是)則應用顏色間(不同顏色)預測118為δδan＝δan–δbn-1。如果不滿足決定條件(碼字不等于異常情況(“003”或“033”)或者動態(tài)范圍不超過閾值條件)，那么單獨基于顏色內(nèi)(相同顏色)預測120將殘差確定為δan＝an–sp(a)。因此，基于碼字決定，使用或者δδan或者δan。作為示例而非限制，在10比特和14比特輸入深度的情況下，使用大約10的閾值。通常，將理解應當取決于圖像傳感器特點、輸入比特深度和應用的特點來設置閾值。

圖11a示出了如在圖8和圖10中所描繪的對于碼字“003”看到的上述決定的示例。在圖11b中，看到不超過閾值的動態(tài)范圍情況(dr＝57-50+1＝8)。因此，即使碼字是“003”或“330”，由于dr不超過閾值，也執(zhí)行顏色內(nèi)預測。

在圖12中看到的是圖8的替代示例，其中在相反方向上做出不同的碼字決定。該處理開始130，并且在多個樣本之間確定132動態(tài)范圍，在這個示例中使用最后三個樣本(＝bn-2、an-1和bn-1)。降低134每個樣本的分辨率(諸如降低至僅具有兩比特(兩比特的值))。然后，做出決定136，如果這個碼字是顏色間異常情況(不是如圖8中的顏色內(nèi)異常)(諸如在這個示例中等于“033”或“300”(在圖8中是“003”、“330”))，則應用138顏色內(nèi)(相同顏色)預測為δan＝an–sp(a)。如果碼字不是顏色間異常情況，那么單獨基于顏色間(不同顏色)預測140將殘差確定為δδan＝δan–δbn-1。因此，基于碼字決定，使用或者δδan或者δan。

在圖13中是對于碼字“033”的上述碼字動態(tài)范圍決定的示例。在這些樣本中，最大的值為495，最小的值為50，其中對于這三個樣本(＝bn-2、an-1和bn-1)的動態(tài)范圍確定在像素塊下面看到是495-50+1＝446。如圖中所指出的，max＝495>其他>“min+(dr>>2)*3＝383。

圖14示出了圖12中所示實施例的變型，其中動態(tài)范圍決定與動態(tài)范圍排除相結(jié)合。該處理開始150，在多個樣本之間確定152動態(tài)范圍，在這個示例中使用最后三個樣本(＝bn-2、an-1和bn-1)。降低154每個樣本的分辨率(諸如降低至僅具有兩比特(兩比特的值))。然后，如果該碼字是顏色間異常情況(諸如對于這些示例等于“033”或“300”)，并且如果動態(tài)范圍超過閾值(dr>th)，則做出決定156，(決定為是)則應用158顏色內(nèi)(相同顏色)預測為δan＝an–sp(a)。如果不滿足決定條件(或者碼字不等于異常情況(“033”或“300”)或者動態(tài)范圍不超過閾值條件)，那么單獨基于顏色間(不同顏色)預測160將殘差確定為δδan＝δan–δbn-1。因此，基于碼字決定，使用δδan或者δan。

在圖15a中是如圖12和圖14中所描繪的對于碼字“033”看到的上述決定的示例。在圖15b中，看到不超過閾值的動態(tài)范圍情況(dr＝57-50+1＝8)。因此，即使碼字為“033”或“300”，由于dr不超過閾值，也執(zhí)行顏色內(nèi)預測。

本技術能被合并到編碼器和解碼器內(nèi)，諸如用于集成到被配置為用于拜耳彩色圖像捕獲的各種設備(例如，數(shù)碼相機、攝錄機和掃描儀)，或者響應于從圖像捕獲設備接收彩色圖像信息的各種設備。

可以參考根據(jù)所公開技術的實施例的方法和系統(tǒng)的流程圖示意和/或算法、公式或其它計算描繪來描述本公開的實施例，該實施例也可以被實現(xiàn)為計算機程序產(chǎn)品。在這方面，可以通過各種裝置(諸如包括在計算機可讀程序代碼邏輯中實施的一個或多個計算機程序指令中的軟件、硬件和/或固件)來實現(xiàn)流程圖的每個方框或步驟以及流程圖中的方框(和/或步驟)、算法、公式或計算描繪的組合。如將理解的，任何這樣的計算機程序指令可以被加載到計算機上，包括但不限于通用計算機或?qū)Ｓ糜嬎銠C或其它可編程處理裝置以產(chǎn)生機器，使得在計算機或其它可編程處理裝置上執(zhí)行的計算機程序指令創(chuàng)建用于實現(xiàn)在一個或多個流程圖的一個或多個方框中指定的功能的裝置。

因此，流程圖的方框、算法、公式或計算描繪支持用于執(zhí)行指定功能的裝置的組合、用于執(zhí)行指定功能的步驟的組合以及用于執(zhí)行指定的功能的計算機程序指令(諸如在計算機可讀程序代碼邏輯單元中實施的指令)。還將理解的是，本文描述的流程圖示意的每個方框、算法、公式或計算描繪及其組合可以由執(zhí)行指定功能或步驟的專用的基于硬件的計算機系統(tǒng)，或?qū)Ｓ玫挠布陀嬎銠C可讀程序代碼邏輯裝置的組合來實現(xiàn)。

此外，這些計算機程序指令(諸如在計算機可讀程序代碼邏輯中實施的指令)也可以存儲在計算機可讀存儲器中，該計算機可讀存儲器可以引導計算機或其它可編程處理裝置以特定方式工作，使得存儲在計算機可讀存儲器中的指令產(chǎn)生包括執(zhí)行一個或多個流程圖的一個或多個方框中指定的功能的指令裝置的制品。計算機程序指令還可以被加載到計算機或其它可編程處理裝置上來導致一系列操作步驟在計算機或其它可編程處理裝置上執(zhí)行，以產(chǎn)生計算機實現(xiàn)的處理，使得在計算機或其它可編程處理裝置上執(zhí)行的指令提供用于實現(xiàn)在一個或多個流程圖的一個或多個方框中指定的功能、一個或多個算法、一個或多個公式或一個或多個計算描繪的步驟。

還將理解，如本文所使用的“程序”是指可以由處理器執(zhí)行以執(zhí)行如本文所述的功能的一個或多個指令。程序可以以軟件、固件或軟件和固件的組合的方式實施。程序可以在非暫態(tài)介質(zhì)中本地存儲到設備，或者可以遠程存儲(諸如在服務器上)，或者程序的全部或部分可以在本地和遠程存儲。遠程存儲的程序可以通過用戶啟動或基于一個或多個因素自動地下載(推送)到設備。將進一步理解在本文所使用的術語“處理器”、“中央處理單元(cpu)”和“計算機”被同義地用于表示能夠執(zhí)行編程和與輸入/輸出接口和/或外圍設備的通信的設備。

根據(jù)本文的描述，將理解，本公開涵蓋了多個實施例，包括但不限于以下：

1、一種用于在拜耳編碼期間選擇預測模式的裝置，包括：(a)計算機處理器，被配置為用于接收包含與多個不同像素組編號相關聯(lián)的不同顏色像素的輸入拜耳圖像的顏色像素數(shù)據(jù)；以及(b)在計算機處理器上可執(zhí)行的程序，被配置為執(zhí)行步驟，所述步驟包括：(b)(i)確定多個樣本之間的動態(tài)范圍；(b)(ii)將樣本分辨率降低到給定的比特數(shù)；以及(b)(iii)確定對于所述多個樣本的碼字是：(1)顏色內(nèi)異常情況，在這種情況下選擇顏色間預測，否則選擇顏色內(nèi)預測；還是(2)顏色間異常情況，在這種情況下選擇顏色內(nèi)預測，否則選擇顏色間預測。

2、如前述任一實施例所述的裝置，其中在計算機上可執(zhí)行的所述程序還被配置為通過要求所述多個樣本之間的動態(tài)范圍必須也超過給定的閾值來使所述顏色內(nèi)異常情況或所述顏色間異常情況有資格。

3、如前述任一實施例所述的裝置，其中所述閾值包括大約為十的值。

4、如前述任一實施例所述的裝置，其中三個樣本被用作所述多個樣本。

5、如任一前述實施例所述的裝置，其中在計算機處理器上可執(zhí)行的所述程序被配置為用于將樣本分辨率降低到每個樣本兩比特。

6、如前述任一實施例所述的裝置，其中在計算機處理器上可執(zhí)行的所述程序被配置為用于確定：如果對于三個樣本的值在由“003”、“330”組成的值的組中，則存在顏色內(nèi)異常情況；或者如果對于三個樣本的值在由“033”和“300”組成的值的組中，則存在顏色間異常情況。

7、如前述任一實施例所述的裝置，其中在計算機處理器上可執(zhí)行的所述程序被配置為用于在包括量化、計算預測器、生成殘差和熵編碼殘差的處理中執(zhí)行所述顏色間預測或所述顏色內(nèi)預測。

8、一種用于在拜耳編碼期間選擇預測模式的裝置，包括：(a)計算機處理器，被配置為用于接收包含與多個不同像素組編號相關聯(lián)的不同顏色像素的輸入拜耳圖像的顏色像素數(shù)據(jù)；以及(b)在計算機處理器上可執(zhí)行的程序，用于執(zhí)行步驟，所述步驟包括：(b)(i)確定多個樣本之間的動態(tài)范圍；(b)(ii)將樣本分辨率降低到每個樣本兩比特，使得每個樣本由從0到3的值表示；(b)(iii)確定對于所述多個樣本的碼字是顏色內(nèi)異常情況還是顏色間異常情況，其中所述多個樣本的樣本值由0和3值的組合組成；(b)(iv)確定所述多個樣本之間的動態(tài)范圍是否超過給定的閾值；以及(b)(v)如果確定顏色內(nèi)異常并且動態(tài)范圍超過閾值，則選擇顏色間預測，否則選擇顏色內(nèi)預測，或者如果確定顏色間異常并且動態(tài)范圍超過閾值，則選擇顏色內(nèi)預測，否則選擇顏色間預測。

9、如前述任一實施例所述的裝置，其中所述閾值包括大約為十的值。

10、如前述任一實施例所述的裝置，其中三個樣本被用作所述多個樣本。

11、如前述任一實施例所述的裝置，其中在計算機處理器上可執(zhí)行的所述程序被配置為用于確定：如果對于三個樣本的值在由“003”、“330”組成的值的組中，則存在顏色內(nèi)異常情況；或者如果對于三個樣本的值在由“033”和“300”組成的值的組中，則存在顏色間異常情況。

12、如前述任一實施例所述的裝置，其中在計算機處理器上可執(zhí)行的所述程序被配置為用于在包括量化、計算預測器、生成殘差和熵編碼殘差的處理中執(zhí)行所述顏色間預測或所述顏色內(nèi)預測。

13、一種在拜耳編碼期間選擇預測模式的方法，包括：(a)在電子圖像處理設備中接收包含與多個不同像素組編號相關聯(lián)的不同顏色像素的輸入拜耳圖像的顏色像素數(shù)據(jù)；(b)確定多個樣本之間的動態(tài)范圍；(c)將樣本分辨率降低到給定的比特數(shù)；以及(d)確定對于所述多個樣本的碼字是：(1)顏色內(nèi)異常情況，在這種情況下選擇顏色間預測，否則選擇顏色內(nèi)預測；還是(2)顏色間異常情況，在這種情況下選擇顏色內(nèi)預測，否則選擇顏色間預測。

14、如前述任一實施例所述的方法，還包括通過要求所述多個樣本之間的動態(tài)范圍必須也超過給定的閾值來使所述顏色內(nèi)異常情況和/或所述顏色間異常情況有資格。

15、如前述任一實施例所述的方法，其中所述閾值包括大約為十的值。

16、如前述任一實施例所述的方法，其中三個樣本被用作所述多個樣本。

17、如前述任一實施例所述的方法，其中所述樣本的分辨率降低到每個樣本兩比特。

18、如前述任一實施例所述的方法，其中，其中，如果對于三個樣本的值在由“003”、“330”組成的值的組中，則存在顏色內(nèi)異常情況；或者如果用于三個樣本的值在由“033”和“300”組成的值的組中，則存在顏色間異常情況。

19、如前述任一實施例所述的方法，其中所述電子圖像處理設備被配置為用于在包括量化、計算預測器、生成殘差和熵編碼殘差的處理中執(zhí)行所述顏色間預測或所述顏色內(nèi)預測。

20、如前述任一實施例所述的方法，其中所述電子圖像處理設備被配置為用于接收從相機設備捕獲的所述輸入拜耳圖像，或者所述電子圖像處理設備是捕獲所述輸入拜耳圖像的相機設備。

雖然本文的描述包含許多細節(jié)，但是這些細節(jié)不應當被解釋為限制本公開的范圍，而僅是提供一些當前優(yōu)選的實施例的說明。因此，將理解本公開的范圍完全涵蓋對于本領域技術人員而言變得顯而易見的其它實施例。

在權利要求中，除非明確地如此陳述，否則提及單數(shù)形式的要素并不意味著“一個且僅一個”，而是意味著“一個或多個”。本領域普通技術人員已知的公開實施例的要素的所有結(jié)構和功能等同物通過引用被明確地合并于此，并且旨在被本權利要求所涵蓋。此外，無論要素、部件或方法步驟是否在權利要求中被明確地敘述，本公開中的要素、部件或方法步驟都不旨在奉獻給公眾。除非使用短語“用于…的裝置”來明確地敘述要素，否則本文的權利要求要素不應當被解釋為“單元加功能”要素。除非使用短語“用于…的步驟”來明確地敘述要素，否則本文的權利要求要素不應當被解釋為“步驟加功能”要素。