專利名稱：攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種可以獲得動態(tài)范圍大的圖像的攝像裝置。
背景技術(shù)：
以往，作為這種攝像裝置，在利用標準曝光時間攝像了第1圖像后，再利用比該標準曝光時間短的短曝光時間利用攝像單元攝像第2圖像，利用合成單元將在所攝像的第1圖像內(nèi)亮度值達到動態(tài)范圍的上限值的像素置換為所述第2圖像內(nèi)的像素，由此生成動態(tài)范圍大的圖像。
在這種攝像裝置中，一般通過緩沖器對第1圖像的圖像數(shù)據(jù)進行延遲，使合成單元同時獲取第1圖像的各個像素的圖像數(shù)據(jù)和成為置換候選的第2圖像的圖像數(shù)據(jù)(例如參照專利文獻1)。
專利文獻1日本專利特開2003-198948號公報但是，在上述現(xiàn)有的攝像裝置中，需要用于對利用標準曝光時間所攝像的第1圖像進行延遲的大容量緩沖器。并且，緩沖器容量(延遲時間)依賴于攝像單元的結(jié)構(gòu)，在延遲時間因攝像條件而變化時，需要用于進行改變延遲時間的控制的復雜電路，所以有可能導致制造成本提高。以往，曝光時間在1幀期間內(nèi)是固定的，合成單元是假設(shè)為這種情況而構(gòu)成的，但在曝光時間動態(tài)變化的情況下，合成單元需要能夠靈活對應(yīng)。另外，在多通道(channel)輸出的攝像元件中，各個通道輸出不同的像素列，而且在曝光時間變化的情況下，其結(jié)構(gòu)更加復雜。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述現(xiàn)有的攝像裝置未解決的問題，其課題是提供一種能夠降低制造成本的攝像裝置。
為了解決上述課題，本發(fā)明的攝像裝置的特征在于，包括具有可以變更曝光時間的電子快門功能的攝像單元；屬性信息附加單元，其對由該攝像單元攝像的圖像的各個像素附加包含該像素的攝像條件的屬性信息；攝像圖像生成單元，其根據(jù)所附加的屬性信息，按照每個像素選擇所述圖像從而生成攝像圖像。
并且，所述攝像圖像生成單元也可以包括選擇條件判定單元，其判定通過所述屬性信息附加單元附加給各個像素的屬性信息是否滿足選擇與該屬性信息對應(yīng)的像素的選擇條件；選擇像素合成單元，其選擇與被判定為滿足該選擇條件的屬性信息對應(yīng)的像素，并生成攝像圖像。
另外，還可以包括記錄單元，其記錄由所述攝像單元攝像的圖像中先攝像的圖像，所述選擇像素合成單元在判定為由所述攝像單元后攝像的圖像中包含的像素的屬性信息滿足所述選擇條件的情況下，將該像素與記錄在所述記錄單元中的攝像圖像的對應(yīng)像素置換。
并且，所述像素的屬性信息也可以包括表示所述像素的曝光時間的信息、表示所述像素的亮度值為動態(tài)范圍的上限值的信息、以及表示所述像素的攝像時間的信息中的至少任意一種。
另外，所述選擇條件判定單元也可以進行以下判定中的至少任意一種判定新攝像的圖像的對象像素的曝光時間是否比記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的曝光時間長；新攝像的圖像的對象像素的亮度值是否比動態(tài)范圍的上限值大、而且記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的亮度值是否比動態(tài)范圍的上限值??；以及新攝像的圖像的對象像素的攝像時間是否偏離了記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的攝像時間規(guī)定時間以上。
并且，作為判定是否滿足所述像素的選擇條件的處理，所述選擇條件判定單元也可以根據(jù)附加給各個像素的所述屬性信息，對優(yōu)先順序為第1的第1判定處理、優(yōu)先順序為第2的第2判定處理以及優(yōu)先順序為第3的第3判定處理，從所述優(yōu)先順序高的一方開始依次執(zhí)行，其中，第1判定處理判定新攝像的圖像的對象像素的攝像時間是否偏離了記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的攝像時間規(guī)定時間以上，第2判定處理判定新攝像的圖像的對象像素的亮度值是否比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的亮度值是否比動態(tài)范圍的上限值大，第3判定處理判定在新攝像的圖像的對象像素的亮度值比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的亮度值比動態(tài)范圍的上限值小的情況下，新攝像的圖像的對象像素的曝光時間是否比記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的曝光時間長，在所述第1～第3判定處理的任一處理中，在滿足所述選擇條件的時間點結(jié)束所述判定處理。
根據(jù)這種結(jié)構(gòu)，例如，作為所攝像的圖像的像素的屬性信息而附加表示該像素的亮度值是否是動態(tài)范圍的最大值的信息，在新攝像的圖像的對象像素的亮度值比動態(tài)范圍的上限值小、先攝像的圖像的對象像素的亮度值是動態(tài)范圍的上限值的情況下，即在至此為止處于飽和狀態(tài)的像素不再是飽和狀態(tài)的情況下，取代該像素而把所述對象像素記錄在所述記錄單元中，由此可以生成不飽和圖像、即動態(tài)范圍大的圖像。并且，作為所攝像的圖像的像素的屬性信息而附加表示該像素的曝光時間的信息，并總是記錄不飽和、且曝光時間長的圖像，由此可以生成S/N(信噪比)高的圖像。并且，作為所攝像的圖像的各個像素的屬性信息而附加表示所述像素的曝光時間的信息、表示所述像素的亮度值是動態(tài)范圍的上限值的信息以及表示所述像素的攝像時間的信息，最優(yōu)先把記錄在記錄單元中的對應(yīng)像素中的攝像時間經(jīng)過了規(guī)定時間以上的像素更新為新攝像的對象像素，當記錄在記錄單元中的對應(yīng)像素的攝像時間尚未經(jīng)過規(guī)定時間時，在新攝像的對象像素的亮度值比動態(tài)范圍的上限值小、且記錄在所述記錄單元中的對應(yīng)像素的亮度值比動態(tài)范圍的上限值大的情況下，把所述對應(yīng)像素更新為所述對象像素，在新攝像的對象像素的亮度值比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的對應(yīng)像素的亮度值比動態(tài)范圍的上限值小的情況下，而且所述新攝像的對象像素的曝光時間比記錄在所述記錄單元中的對應(yīng)像素的曝光時間長的情況下，把所述對應(yīng)像素更新為所述對象像素，由此可以最優(yōu)先地抑制對攝像圖像的畫質(zhì)的不良影響，并且生成動態(tài)范圍大且S/N高的圖像。因此，例如，在利用標準曝光時間攝像了第1圖像后，利用比該標準曝光時間短的短曝光時間攝像第2圖像，利用延遲元件對第1圖像的圖像數(shù)據(jù)進行延遲，并與第2圖像的圖像數(shù)據(jù)同時輸出，取代在該同時被輸出的第1圖像內(nèi)亮度值成為動態(tài)范圍的上限值的像素的圖像數(shù)據(jù)而選擇第2圖像內(nèi)的像素的圖像數(shù)據(jù)，從而與生成動態(tài)范圍大的圖像的方法不同，可以把圖像處理裝置所必須的幀存儲器用作延遲元件，結(jié)果，可以降低制造成本。另外，可以實現(xiàn)不依賴于攝像單元的結(jié)構(gòu)、用于擴大動態(tài)范圍的合成處理裝置。
另一方面，為了解決上述課題，本發(fā)明的攝像裝置包括光電轉(zhuǎn)換部，其把多個光電轉(zhuǎn)換元件配置成矩陣狀，該光電轉(zhuǎn)換元件把已曝光的光轉(zhuǎn)換為電荷并積蓄；攝像單元，其具有按照由所述光電轉(zhuǎn)換部的所述光電轉(zhuǎn)換元件構(gòu)成的每一行來變更曝光時間的電子快門功能，按照所述曝光時間不同的每一行，依次進行所述各個光電轉(zhuǎn)換元件的重新設(shè)定和曝光以及來自所述各個光電轉(zhuǎn)換元件的電荷讀出；N個輸出通道，其分別對應(yīng)N種(N為2以上的自然數(shù))曝光時間，記錄并輸出與按照每一種所讀出的所述每一行的電荷對應(yīng)的圖像數(shù)據(jù)，其特征在于，具有屬性信息附加單元，其向構(gòu)成由所述攝像單元攝像的攝像圖像的圖像數(shù)據(jù)的各像素數(shù)據(jù)附加包括該像素的攝像條件的屬性信息；記錄單元，其記錄附加了所述屬性信息的攝像圖像的圖像數(shù)據(jù)；選擇條件判定單元，其根據(jù)從所述N個輸出通道按照所述曝光時間的每種類型并以規(guī)定順序依次輸出的各行的圖像數(shù)據(jù)中所附加的屬性信息、和與記錄在所述記錄單元中的所述各行的圖像數(shù)據(jù)對應(yīng)的行的圖像數(shù)據(jù)中所附加的屬性信息，針對每個像素來判定該各個像素的數(shù)據(jù)中所附加的屬性信息是否滿足預先設(shè)定的像素的選擇條件；以及攝像圖像生成單元，其選擇與被判定為滿足所述選擇條件的屬性信息對應(yīng)的像素的數(shù)據(jù)，把該選擇的像素的數(shù)據(jù)記錄在所述記錄單元中，從而按照每個像素來更新或維持被記錄在該記錄單元中的所述攝像圖像的圖像數(shù)據(jù)。
另外，在所述各個像素的數(shù)據(jù)中所附加的屬性信息也可以包括表示所述像素的曝光時間的信息、表示所述像素的亮度值是動態(tài)范圍的上限值的信息、以及表示所述像素的攝像時間的信息中的至少任意一種。
并且，所述選擇條件判定單元也可以根據(jù)在所述各個像素的數(shù)據(jù)中所附加的屬性信息來進行以下判定中的至少任意一種判定判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的曝光時間是否比記錄在所述記錄單元中的圖像數(shù)據(jù)的對應(yīng)像素的數(shù)據(jù)的曝光時間長；判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的亮度值是否比動態(tài)范圍的上限值大、而且記錄在所述記錄單元中的圖像數(shù)據(jù)的對應(yīng)像素的數(shù)據(jù)的亮度值是否比動態(tài)范圍的上限值??；以及判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的攝像時間是否偏離了記錄在所述記錄單元中的圖像數(shù)據(jù)中的對應(yīng)像素的數(shù)據(jù)的攝像時間規(guī)定時間以上。
另外，所述選擇條件判定單元作為判定是否滿足所述像素的選擇條件的處理，也可以根據(jù)在各個像素的數(shù)據(jù)中所附加的屬性信息，對優(yōu)先順序為第1的第1判定處理、優(yōu)先順序為第2的第2判定處理以及優(yōu)先順序為第3的第3判定處理，從所述優(yōu)先順序高的一方開始依次執(zhí)行，其中，第1判定處理判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的攝像時間是否偏離了記錄在所述記錄單元中的圖像數(shù)據(jù)的對應(yīng)像素的數(shù)據(jù)的攝像時間規(guī)定時間以上，第2判定處理判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的亮度值是否比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的圖像數(shù)據(jù)中的對應(yīng)像素的數(shù)據(jù)的亮度值是否比動態(tài)范圍的上限值大，第3判定處理判定在從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的圖像數(shù)據(jù)的對應(yīng)像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值小的情況下，從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的曝光時間是否比記錄在所述記錄單元中的圖像數(shù)據(jù)中的對應(yīng)像素的數(shù)據(jù)的曝光時間長，在所述第1～第3判定處理的任一處理中，在滿足所述選擇條件的時間點結(jié)束所述判定處理。
并且，所述攝像圖像生成單元在從所述N個輸出通道按照所述每一種曝光時間以規(guī)定順序依次輸出的所述每行的圖像數(shù)據(jù)中，在最先輸出圖像數(shù)據(jù)的輸出通道中，與從該輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，在所述攝像圖像生成單元不對記錄進行更新，而且在以后輸出圖像數(shù)據(jù)的剩余N-1個輸出通道中，與從各個輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，把在所述攝像圖像生成單元中未更新記錄的像素數(shù)據(jù)所附加的表示所述攝像時間的信息，變更為已經(jīng)過該攝像時間規(guī)定時間的信息，在所述N個輸出通道中，與從各個輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，把在所述攝像圖像生成單元已更新記錄的像素數(shù)據(jù)所附加的表示所述攝像時間的信息重新設(shè)定為規(guī)定值。
根據(jù)這種結(jié)構(gòu)，例如，在作為所攝像的圖像的各個像素的屬性信息而附加表示該各個像素的亮度值是否是動態(tài)范圍的最大值的信息的情況下，例如在一幀期間內(nèi)，以兩種曝光時間攝像的圖像中從一方輸出通道先輸出的圖像的對象像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值小、兩種曝光時間中的在一方輸出通道之后從另一方輸出通道輸出的圖像的對象像素的數(shù)據(jù)的亮度值是動態(tài)范圍的上限值的情況下，即當在一方曝光時間下為飽和狀態(tài)的像素在另一方曝光時間下不是飽和狀態(tài)時，如果設(shè)已經(jīng)記錄的對應(yīng)像素的數(shù)據(jù)的亮度值是飽和狀態(tài)，則把與所述另一方曝光時間對應(yīng)的對象像素的數(shù)據(jù)記錄在所述記錄單元中來取代該已經(jīng)記錄的像素，由此可以生成不飽和圖像、即動態(tài)范圍大的圖像。
并且，作為所攝像的圖像的各個像素的數(shù)據(jù)的屬性信息而附加表示該像素的曝光時間的信息，并總是優(yōu)先記錄不飽和、且曝光時間長的圖像數(shù)據(jù)，由此可以生成S/N高的圖像。
并且，作為所攝像的圖像的各個像素的數(shù)據(jù)的屬性信息而附加表示所述像素的曝光時間的信息、表示所述像素的亮度值是動態(tài)范圍的上限值的信息、以及表示所述像素的攝像時間的信息，最優(yōu)先把記錄在記錄單元中的對應(yīng)像素的數(shù)據(jù)中攝像時間經(jīng)過了規(guī)定時間以上的像素的數(shù)據(jù)更新為從輸出通道輸出的對象像素的數(shù)據(jù)，當記錄在記錄單元中的對應(yīng)像素的攝像時間尚未經(jīng)過規(guī)定時間時，在從輸出通道輸出的對象像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的對應(yīng)像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值大的情況下，把所述對應(yīng)像素的數(shù)據(jù)更新為所述對象像素的數(shù)據(jù)，在從輸出通道輸出的對象像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的對應(yīng)像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值小的情況下，而且從所述輸出通道輸出的對象像素的數(shù)據(jù)的曝光時間比記錄在所述記錄單元中的對應(yīng)像素的數(shù)據(jù)的曝光時間長的情況下，把所述對應(yīng)像素的數(shù)據(jù)更新為所述對象像素的數(shù)據(jù)，由此可以最優(yōu)先地抑制對攝像圖像的畫質(zhì)的不良影響，生成動態(tài)范圍大而且S/N高的圖像。
并且，作為所攝像的圖像的各個像素的數(shù)據(jù)的屬性信息而附加表示所述像素的攝像時間的信息，在所述N個輸出通道中最先輸出圖像數(shù)據(jù)的輸出通道中，與從該輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，在所述攝像圖像生成單元不對記錄進行更新，而且在以后輸出圖像數(shù)據(jù)的剩余N-1個輸出通道中，與從各個輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，把在所述攝像圖像生成單元未更新記錄的像素數(shù)據(jù)所附加的表示所述攝像時間的信息，變更為該攝像時間經(jīng)過規(guī)定時間的信息，在所述N個輸出通道中，與從各個輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，把在所述攝像圖像生成單元已更新了記錄的像素數(shù)據(jù)所附加的表示所述攝像時間的信息重新設(shè)定為規(guī)定值(例如“0”)，由此例如在對與N種曝光時間對應(yīng)的圖像進行攝像、并按照每個像素將這些圖像合成并生成一個攝像圖像的情況下，可以以合適的定時更新攝像時間。
如上所述，例如利用標準曝光時間攝像了第1圖像后，利用比該標準曝光時間短的短曝光時間攝像第2圖像，利用延遲元件對第1圖像的圖像數(shù)據(jù)進行延遲，并與第2圖像的圖像數(shù)據(jù)同時輸出，通過取代在該同時輸出的第1圖像內(nèi)亮度值成為動態(tài)范圍的上限值的像素的圖像數(shù)據(jù)而選擇第2圖像內(nèi)的像素的圖像數(shù)據(jù)，從而與生成動態(tài)范圍大的圖像的現(xiàn)有方法不同，可以把圖像處理裝置所必須的幀存儲器用作延遲元件，結(jié)果，可以降低制造成本。另外，可以實現(xiàn)不依賴于攝像單元的結(jié)構(gòu)、用于擴大動態(tài)范圍的合成處理裝置。


圖1是說明HDR-RAW數(shù)據(jù)的說明圖。
圖2是表示本發(fā)明涉及的攝像裝置的概略結(jié)構(gòu)的方框圖。
圖3是表示圖2的圖像合成部的內(nèi)部結(jié)構(gòu)的方框圖。
圖4是表示圖3的HDR-RAW生成器的內(nèi)部結(jié)構(gòu)的方框圖。
圖5是說明圖3的數(shù)據(jù)判定部的動作的說明圖。
圖6是表示攝像元件5中的各個像素的重新設(shè)定和曝光以及像素信號的讀出及向AFE輸出的動作的圖。
圖7是說明圖像合成部的變形例的說明圖。
圖8是表示作成時間碼的更新處理的流程圖。
符號說明1 攝像裝置；2 攝像處理部；3 信號處理部；4 顯示裝置；5 攝像元件；6 AFE或第1AFE；6’第2AFE；7 面?zhèn)鞲衅鳎? 水平傳送部；9 圖像合成部；10 BRAM；11 定時控制部；12 ALC；13 預處理器或第1預處理器；13’第2預處理器；14 HDR-RAW生成器或第1HDR-RAW生成器；14’第2HDR-RAW生成器；15 存儲器仲裁器；16 輸出讀出器；17 HDR-RAW輸入數(shù)據(jù)生成部或第1HDR-RAW輸入數(shù)據(jù)生成部；17’第2HDR-RAW輸入數(shù)據(jù)生成部；18 輸入數(shù)據(jù)積蓄部或第1輸入數(shù)據(jù)積蓄部；18’第2輸入數(shù)據(jù)積蓄部；19 BRAM數(shù)據(jù)積蓄部或第1BRAM數(shù)據(jù)積蓄部；19’第2BRAM數(shù)據(jù)積蓄部；20 數(shù)據(jù)判定部或第1數(shù)據(jù)判定部；20’第2數(shù)據(jù)判定部；21 數(shù)據(jù)更新部或第1數(shù)據(jù)更新部；21’第2數(shù)據(jù)更新部。
具體實施例方式
(第1實施方式)以下，參照

本發(fā)明涉及的攝像裝置的第1實施方式。
該攝像裝置1具備的攝像元件具有能夠在1幀期間利用4種曝光時間(長曝光時間＞標準曝光時間＞短曝光時間＞超短曝光時間)來對圖像進行攝像的電子快門功能。普通的攝像元件按照每個像素列依次輸出光電轉(zhuǎn)換后的像素信號。本實施例假定了可以按照每個像素列(單位)改變曝光時間的攝像元件。另外，一般的按幀單位來改變曝光時間的攝像元件也可以適用于本發(fā)明。并且，攝像裝置1如圖1所示，向根據(jù)所讀出的像素信號而形成的圖像的各個像素的圖像數(shù)據(jù)(表示像素的亮度值的數(shù)據(jù))，附加該圖像數(shù)據(jù)的屬性數(shù)據(jù)，以生成1組數(shù)據(jù)(以下也稱為“HDR-RAW數(shù)據(jù)”)。另外，作為屬性數(shù)據(jù)，可以列舉表示生成圖像數(shù)據(jù)時的曝光時間的曝光碼、表示所述圖像數(shù)據(jù)的亮度值為動態(tài)范圍的最大值的飽和標志、表示生成所述圖像數(shù)據(jù)的時間的作成時間碼等。
此處，曝光碼指“0”、“1”、“2”、“3”這四種(兩位)碼。曝光碼“0”表示生成圖像數(shù)據(jù)時的曝光時間是最長的特定曝光時間(長曝光時間)，曝光碼“1”表示比曝光碼“0”所表示的曝光時間短的中間的特定曝光時間(標準曝光時間)，曝光碼“2”表示比曝光碼“1”所表示的曝光時間短的中間的特定曝光時間(短曝光時間)，曝光碼“3”表示最短的特定曝光時間(超短曝光時間)。
并且，飽和標志是指“0”、“1”這兩種(一位)數(shù)據(jù)。飽和標志“0”表示圖像數(shù)據(jù)的亮度值為動態(tài)范圍的最大值，飽和標志“1”表示所述亮度值小于動態(tài)范圍的最大值。
另外，作成時間碼是指“0”、“1”、“2”、“3”這四種(兩位)碼。作成時間碼“0”表示圖像數(shù)據(jù)是在最新的幀生成的，作成時間碼“1”表示圖像數(shù)據(jù)是在前一個幀生成的，作成時間碼“2”表示圖像數(shù)據(jù)是在兩個之前的幀生成的，作成時間碼“3”表示圖像數(shù)據(jù)是在三個之前的幀生成的。
并且，攝像裝置1具有同時記錄HDR-RAW數(shù)據(jù)、即圖像數(shù)據(jù)和屬性數(shù)據(jù)的BRAM(Brain Random Access Memory)。該BRAM實現(xiàn)模仿人腦的動作的結(jié)構(gòu)，每當經(jīng)過1幀期間，就記錄(更新)不飽和的且S/N高的圖像的各個像素的圖像數(shù)據(jù)。即，攝像裝置1從記錄在BRAM中的HDR-RAW數(shù)據(jù)組中讀出包括表示所述像素列的圖像數(shù)據(jù)組的HDR-RAW數(shù)據(jù)。另外，攝像裝置1針對每個像素比較所述生成的HDR-RAW數(shù)據(jù)和所述讀出的HDR-RAW數(shù)據(jù)，根據(jù)該比較結(jié)果，把所述生成的HDR-RAW數(shù)據(jù)記錄在BRAM中，以取代所述讀出的HDR-RAW數(shù)據(jù)。并且，攝像裝置1向顯示裝置/圖像處理裝置輸出記錄在該BRAM中的圖像數(shù)據(jù)。
(攝像裝置的結(jié)構(gòu))圖2是表示本發(fā)明的第1實施方式的內(nèi)部結(jié)構(gòu)的方框圖。如圖2所示，攝像裝置1構(gòu)成為包括攝像處理部2、信號處理部3和顯示裝置/圖像處理裝置4。
并且，攝像處理部2構(gòu)成為包括攝像元件5和AFE(Analog Front End，模擬前端)6。
攝像元件5利用攝像透鏡(未圖示)把來自被攝體的光聚集于面?zhèn)鞲衅?area sensor)7，把對應(yīng)于該聚光量的電荷積蓄在面?zhèn)鞲衅?的各個像素中。攝像元件5根據(jù)從信號處理部3的定時控制部11(后述)輸出的驅(qū)動信號(水平同步信號和垂直同步信號)，把積蓄在面?zhèn)鞲衅?的各個像素列中的電荷組依次轉(zhuǎn)換為電壓組，利用水平傳送部8將該轉(zhuǎn)換后的電壓組依次輸出給AFE 6。
并且，AFE 6把從水平傳送部8輸出的電壓轉(zhuǎn)換為被數(shù)字化的圖像數(shù)據(jù)(以下稱為“數(shù)字圖像數(shù)據(jù)”)。然后，AFE 6把所生成的數(shù)字圖像數(shù)據(jù)輸出給信號處理部3的圖像合成部9。
信號處理部3構(gòu)成為包括圖像合成部9、BRAM 10、定時控制部11和ALC 12。
定時控制部11生成驅(qū)動信號(水平同步信號和垂直同步信號)，并將其輸出給攝像元件5。定時控制部11根據(jù)水平同步信號和垂直同步信號，判明從攝像元件5輸出的像素信號在攝像元件中的像素位置(像素列(行)序號、像素序號)，所以生成該像素列(行)序號(以下稱為“地址信息”)，向ALC 12和圖像合成部9(HDR-RAW生成器14(后述)(BRAM數(shù)據(jù)積蓄部19(后述)))輸出該地址信息。另外，定時控制部11根據(jù)從ALC 12輸出的曝光時間驅(qū)動攝像元件，以獲得規(guī)定的曝光時間的像素信號。這可以是行單位的曝光控制，也可以是幀單位的控制。
ALC 12進行攝像元件5的曝光控制。即，按行單位或幀單位來評價從后述的圖像合成部9(預處理器13(后述))輸出的數(shù)字圖像數(shù)據(jù)，根據(jù)該評價結(jié)果，按行單位或幀單位算出曝光時間，把該曝光時間存儲在ALC內(nèi)部的存儲單元(未圖示)中。并且，ALC 12根據(jù)從定時控制部11輸出的地址信息，從存儲單元中讀出對應(yīng)的地址(像素列)的曝光時間，把該曝光時間輸出給定時控制部11和圖像合成部9(HDR-RAW生成器14(HDR-RAW輸入數(shù)據(jù)生成部17(后述))(在本實施方式中假定了以行為單位的曝光控制)。
圖像合成部9如圖3所示，構(gòu)成為包括預處理器13、HDR-RAW生成器14、存儲器仲裁器15和輸出讀出器16。
預處理器13對從AFE 6輸出的數(shù)字圖像數(shù)據(jù)進行黑色電平校正。并且，把所校正的數(shù)字圖像數(shù)據(jù)輸出給ALC 12和HDR-RAW生成器14(HDR-RAW輸入數(shù)據(jù)生成部17(后述))。預處理器13判定數(shù)字圖像數(shù)據(jù)的亮度值是否是動態(tài)范圍的最大值(飽和/不飽和)，把該結(jié)果(飽和標志)輸出給HDR-RAW生成器14(HDR-RAW輸入數(shù)據(jù)生成部17)。另外，在數(shù)字圖像數(shù)據(jù)飽和的情況下，輸出“1”作為飽和標志，在不飽和的情況輸出“0”作為飽和標志。
HDR-RAW生成器14如圖4所示，構(gòu)成為包括HDR-RAW輸入數(shù)據(jù)生成部17、輸入數(shù)據(jù)積蓄部18、BRAM數(shù)據(jù)積蓄部19、數(shù)據(jù)判定部20和數(shù)據(jù)更新部21。
HDR-RAW輸入數(shù)據(jù)生成部17向從預處理器13輸出的數(shù)字圖像數(shù)據(jù)附加該數(shù)字圖像數(shù)據(jù)的屬性數(shù)據(jù)(曝光碼、飽和標志、作成時間碼)，生成HDR-RAW數(shù)據(jù)。具體地，首先說明曝光碼(兩位碼)的附加。HDR-RAW輸入數(shù)據(jù)生成部17從ALC 12接收表示來自預處理器13的數(shù)字圖像數(shù)據(jù)的曝光時間的信息。然后當該曝光時間是長曝光時間時，向該圖像數(shù)據(jù)附加“0”作為曝光碼，當所述曝光時間是標準曝光時間時，附加“1”作為曝光碼，當所述曝光時間是短曝光時間時，附加“2”作為曝光碼，當所述曝光時間是超短曝光時間時，附加“3”作為曝光碼。
并且，HDR-RAW輸入數(shù)據(jù)生成部17向該圖像數(shù)據(jù)附加來自預處理1器13的飽和標志。
另外，HDR-RAW輸入數(shù)據(jù)生成部17向圖像數(shù)據(jù)附加“0”(表示圖像數(shù)據(jù)是在最新的幀生成的碼)作為作成時間碼。
并且，HDR-RAW輸入數(shù)據(jù)生成部17向輸入數(shù)據(jù)積蓄部18輸出被附加了這些屬性數(shù)據(jù)的數(shù)字圖像數(shù)據(jù)、即HDR-RAW數(shù)據(jù)。
另外，輸入數(shù)據(jù)積蓄部18對從HDR-RAW輸入數(shù)據(jù)生成部17輸出的HDR-RAW數(shù)據(jù)僅積蓄面?zhèn)鞲衅?的一個像素列部分。
并且，BRAM數(shù)據(jù)積蓄部19向存儲器仲裁器15輸出指令(以下也稱為“讀出指令”。)，讓從BRAM 10讀出從定時控制部11輸出的表示地址信息的像素列(與從預處理器13輸出的數(shù)字圖像數(shù)據(jù)對應(yīng)的像素列)的HDR-RAW數(shù)據(jù)。BRAM數(shù)據(jù)積蓄部19將根據(jù)該讀出指令而讀出的HDR-RAW數(shù)據(jù)積蓄一個像素列部分。積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)成為與積蓄在輸入數(shù)據(jù)積蓄部18中的數(shù)據(jù)相同的像素列序號的數(shù)據(jù)。
數(shù)據(jù)判定部20對積蓄在輸入數(shù)據(jù)積蓄部18中的HDR-RAW輸入數(shù)據(jù)和積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW輸入數(shù)據(jù)，分別比較相同像素位置的HDR-RAW數(shù)據(jù)，根據(jù)該比較結(jié)果，更新記錄在BRAM 10中的HDR-RAW數(shù)據(jù)。具體講，數(shù)據(jù)判定部20通過以下所示的“優(yōu)先順序1、2、3”的處理，分別比較所述相同像素位置的HDR-RAW數(shù)據(jù)的屬性數(shù)據(jù)，根據(jù)該比較結(jié)果，判定是否需要使用輸入數(shù)據(jù)積蓄部18的HDR-RAW數(shù)據(jù)來更新HDR-RAW數(shù)據(jù)。并且，數(shù)據(jù)判定部20對被判定為不需要更新的HDR-RAW數(shù)據(jù)選擇BRAM數(shù)據(jù)積蓄部19的數(shù)據(jù)，并對被判定為需要更新的HDR-RAW數(shù)據(jù)選擇輸入數(shù)據(jù)積蓄部18的數(shù)據(jù)來進行合成，由此新生成(更新)一個像素列部分的HDR-RAW數(shù)據(jù)。另外，在更新HDR-RAW數(shù)據(jù)時，也更新屬性數(shù)據(jù)。具體講，在使用積蓄在輸入數(shù)據(jù)積蓄部18中的HDR-RAW數(shù)據(jù)的情況下，把作成時間碼設(shè)為“0”，在使用積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)的情況下，把作成時間碼的數(shù)值增加1。并且，關(guān)于曝光碼、飽和標志，選擇(更新)所選擇的HDR-RAW數(shù)據(jù)的曝光碼、飽和標志。
·優(yōu)先順序1判定積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)的作成更新時間碼是否是“2”或“3”(表示大于等于兩幀期間之前的碼)。并且，在是“2”或“3”的情況下，判定為需要更新HDR-RAW數(shù)據(jù)，不進行“優(yōu)先順序2、3”的處理。
·優(yōu)先順序2判定積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)的飽和標志是否是“1”(表示亮度值是動態(tài)范圍的最大值的標志)，以及積蓄在輸入數(shù)據(jù)積蓄部18中的HDR-RAW數(shù)據(jù)的飽和標志是否是“0”(表示亮度值小于動態(tài)范圍的最大值的標志)。并且，在前者是“1”、后者是“0”的情況下，判定為需要更新HDR-RAW數(shù)據(jù)。反之，在前者是“0”、后者是“1”的情況下，判定為不更新HDR-RAW數(shù)據(jù)。并且，不進行“優(yōu)先順序3”的處理。
·優(yōu)先順序3在BRAM數(shù)據(jù)積蓄部19的HDR-RAW數(shù)據(jù)的飽和標志是“0”、輸入數(shù)據(jù)積蓄部18的飽和標志是“0”的情況下，比較BRAM數(shù)據(jù)積蓄部19的HDR-RAW數(shù)據(jù)的曝光碼和輸入數(shù)據(jù)積蓄部18的HDR-RAW數(shù)據(jù)的曝光碼，如果輸入數(shù)據(jù)積蓄部18的曝光時間較長，則判定為需要更新HDR-RAW數(shù)據(jù)。通過該處理，可以更新為利用更長的曝光時間生成的圖像數(shù)據(jù)，所以能夠生成S/N高的圖像。在BRAM數(shù)據(jù)積蓄部19的HDR-RAW數(shù)據(jù)的飽和標志是“1”、輸入數(shù)據(jù)積蓄部18的飽和標志是“1”的情況下，比較BRAM數(shù)據(jù)積蓄部19的HDR-RAW數(shù)據(jù)的曝光碼和輸入數(shù)據(jù)積蓄部18的HDR-RAW數(shù)據(jù)的曝光碼，如果輸入數(shù)據(jù)積蓄部18的曝光時間較短，則判定為需要更新HDR-RAW數(shù)據(jù)(雖然像素數(shù)據(jù)因為最大值的原因而成為相同值，但曝光碼被更新)。
并且，數(shù)據(jù)更新部21積蓄由數(shù)據(jù)判定部20生成(更新)的一個像素列部分的HDR-RAW數(shù)據(jù)，向存儲器仲裁器15輸出將該積蓄的HDR-RAW數(shù)據(jù)寫入到BRAM 10中的指令(以下也稱為“寫入指令”。)。
另外，當從HDR-RAW生成器14(BRAM數(shù)據(jù)積蓄部19、數(shù)據(jù)更新部21)和輸出讀出器16中任一方輸出有讀出指令時，存儲器仲裁器15從BRAM 10讀出該輸出的讀出指令所指示的HDR-RAW，把該HDR-RAW數(shù)據(jù)輸出給讀出指令的輸出源。并且，當從HDR-RAW生成器14(數(shù)據(jù)更新部21)輸出有寫入指令時，存儲器仲裁器15把該輸出的寫入指令所指示的HDR-RAW數(shù)據(jù)寫入到BRAM 10。
并且，輸出讀出器16向存儲器仲裁器15輸出與傳輸給顯示裝置/圖像處理裝置4的圖像信號的同步信號相同步的讀出指令(與攝像元件5的驅(qū)動信號不同步)。根據(jù)所述讀出指令通過存儲器仲裁器15讀出的HDR-RAW數(shù)據(jù)被積蓄在輸出讀出器16中(未圖示)。將所述積蓄的HDR-RAW數(shù)據(jù)轉(zhuǎn)換為顯示裝置/圖像處理裝置4可以識別的形式，而且獲取同步向外部輸出。當所述形式的圖像數(shù)據(jù)被輸入時，顯示裝置/圖像處理裝置4在實施與裝置對應(yīng)的處理(例如，顯示處理、圖像識別處理等)。
另外，BRAM 10在有來自存儲器仲裁器15的讀出請求時，讀出該請求所指示的HDR-RAW數(shù)據(jù)。并且，BRAM 10在有來自存儲器仲裁器15的寫入請求時，寫入該寫入請求所指示的HDR-RAW數(shù)據(jù)。
(攝像裝置的動作)下面，根據(jù)具體情況詳細說明本實施方式的攝像裝置的動作。
此處，假定了按像素列(行)單位來改變曝光時間的攝像裝置。另外，以下的說明也可以適用于按幀單位來改變曝光時間的攝像裝置。
現(xiàn)在，假設(shè)對某幀實施攝像動作，結(jié)果，ALC動作收斂(收束)，按照每個像素列算出曝光時間。并且，假設(shè)在第N行中，利用標準曝光時間所攝像的圖像的電荷組在攝像元件5的面?zhèn)鞲衅?中被轉(zhuǎn)換為電壓組。這樣，如圖2所示，通過水平傳送部8讀出以從信號處理部3的定時控制部11輸出的驅(qū)動信號所表示的像素列而轉(zhuǎn)換的電壓組，所讀出的電壓組通過水平傳送部8被輸出給AFE 6。通過AFE 6，根據(jù)所輸出的電壓組生成數(shù)字圖像數(shù)據(jù)，所生成的數(shù)字圖像數(shù)據(jù)被輸出給信號處理部3的圖像合成部9(預處理器13)。另外，如圖3所示，通過預處理器13，對所輸出的數(shù)字圖像數(shù)據(jù)進行黑色電平校正，該進行了黑色電平校正的數(shù)字圖像數(shù)據(jù)被輸出給ALC 12和HDR-RAW生成器14(HDR-RAW輸入數(shù)據(jù)生成部17)。并且，預處理器13判定數(shù)字圖像數(shù)據(jù)的不飽和/飽和，把其結(jié)果(飽和標志)輸出給HDR-RAW生成器14(HDR-RAW輸入數(shù)據(jù)生成部17)(對亮度值是動態(tài)范圍的最大值的像素的數(shù)字圖像數(shù)據(jù)輸出飽和標志“1”)。ALC 12根據(jù)從定時控制部11輸出的地址信息，輸出當前輸入的數(shù)字圖像數(shù)據(jù)的曝光時間，把該曝光時間輸出給圖像合成部9的HDR-RAW生成器14(HDR-RAW輸入數(shù)據(jù)生成部17)和定時控制部11。這樣，通過HDR-RAW輸入數(shù)據(jù)生成部17，向該數(shù)字圖像數(shù)據(jù)附加了該數(shù)字圖像數(shù)據(jù)的屬性數(shù)據(jù)，生成HDR-RAW數(shù)據(jù)。此時，附加飽和標志、作成時間數(shù)據(jù)、曝光碼作為屬性數(shù)據(jù)。另外，曝光碼是根據(jù)曝光時間算出的。并且，通過HDR-RAW輸入數(shù)據(jù)生成部17，將所生成的HDR-RAW數(shù)據(jù)輸出給輸入數(shù)據(jù)積蓄部18。通過輸入數(shù)據(jù)積蓄部18，將所生成的HDR-RAW數(shù)據(jù)積蓄一個像素列部分。與該輸入數(shù)據(jù)積蓄動作并行，通過BRAM數(shù)據(jù)積蓄部19，向存儲器仲裁器15輸出讀出指令。此時，從定時控制部11向BRAM數(shù)據(jù)積蓄部19輸入與當前輸入的數(shù)字圖像數(shù)據(jù)對應(yīng)的像素列的地址信息、以及與水平同步信號相同步的控制信號?；谠摰刂沸畔⒑涂刂菩盘柕淖x出指令被輸出給存儲器仲裁器。存儲器仲裁器根據(jù)所述讀出指令，從BRAM 10讀出HDR-RAW數(shù)據(jù)。并且，通過BRAM數(shù)據(jù)積蓄部19，將所讀出的HDR-RAW數(shù)據(jù)積蓄一個像素列部分。
此處，為了簡化說明，假設(shè)各個像素列由10個像素構(gòu)成，積蓄在輸入數(shù)據(jù)積蓄部18中的HDR-RAW數(shù)據(jù)，在像素列的俯視時的左端側(cè)起的第1個和第5～7個像素上其屬性數(shù)據(jù)的飽和標志為“1”，而積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)，在像素列的俯視時的左端側(cè)起的第2～4個和第8～10個像素上其飽和標志為“1”。另外，假設(shè)積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)的作成時間數(shù)據(jù)全部為“1”。并且，假設(shè)積蓄在輸入數(shù)據(jù)積蓄部18中的所有HDR-RAW數(shù)據(jù)的曝光碼為“1”，積蓄在BRAM數(shù)據(jù)積蓄部19中的所有HDR-RAW數(shù)據(jù)的曝光碼為“1”，兩者的值相等。根據(jù)該屬性數(shù)據(jù)，數(shù)據(jù)判定部20對積蓄在輸入數(shù)據(jù)積蓄部18中的HDR-RAW輸入數(shù)據(jù)和積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW輸入數(shù)據(jù)進行比較/判定。此時，比較相同像素位置的HDR-RAW數(shù)據(jù)，根據(jù)該比較結(jié)果，判定為俯視時的左端側(cè)起第2～4個和第8～10個像素的HDR-RAW數(shù)據(jù)需要更新。并且，數(shù)據(jù)判定部20根據(jù)判定結(jié)果，對于俯視時的左端側(cè)起第1個和第4～7個像素的HDR-RAW數(shù)據(jù)選擇BRAM數(shù)據(jù)積蓄部19的HDR-RAW數(shù)據(jù)，對于俯視時的左端側(cè)起第2～4個和第8～10個像素的HDR-RAW數(shù)據(jù)，選擇輸入數(shù)據(jù)積蓄部18的HDR-RAW數(shù)據(jù)，將它們合成，從而更新一個像素列部分的HDR-RAW數(shù)據(jù)。并且，通過數(shù)據(jù)更新部21，向存儲器仲裁器15輸出寫入指令，通過存儲器仲裁器15，向BRAM 10寫入該已更新的HDR-RAW數(shù)據(jù)。另外，此時在BRAM 10的對應(yīng)的像素列(地址信息)的區(qū)域執(zhí)行寫入動作。
并且，對其它行的像素列也重復進行上述流程。
下面，說明存儲在BRAM中的HDR-RAW數(shù)據(jù)向外部裝置(顯示裝置/圖像處理裝置4)的輸出方法。輸出讀出器16向存儲器仲裁器15輸出與所述合成動作不同步的、即與顯示裝置/圖像處理裝置4的同步信號同步的讀出指令。存儲器仲裁器15根據(jù)外部輸出用的讀出指令，從BRAM 10讀出HDR-RAW數(shù)據(jù)，向輸出讀出器16輸出該讀出的HDR-RAW數(shù)據(jù)。并且，輸出讀出器16把HDR-RAW數(shù)據(jù)轉(zhuǎn)換為顯示裝置/圖像處理裝置4可以識別的形式，并輸出到外部。在本實施方式中，作為圖像數(shù)據(jù)形式假定為特殊形式。即，由數(shù)字圖像數(shù)據(jù)和曝光碼構(gòu)成的圖像數(shù)據(jù)形式(像素單位)。當輸入了所述形式的圖像數(shù)據(jù)時，顯示裝置/圖像處理裝置4根據(jù)數(shù)字圖像數(shù)據(jù)和曝光碼重新構(gòu)成圖像信號，并進行顯示和圖像處理。
這樣，在本實施方式的攝像裝置中，當積蓄在BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)的飽和標志為“1”、積蓄在輸入數(shù)據(jù)積蓄部18中的HDR-RAW數(shù)據(jù)的飽和標志為“0”時，即此前是飽和狀態(tài)的像素不再是飽和狀態(tài)時，把積蓄在輸入數(shù)據(jù)積蓄部18中的HDR-RAW數(shù)據(jù)記錄在BRAM 10中，以取代此前的HDR-RAW數(shù)據(jù)，從而可以生成動態(tài)范圍大的圖像的圖像數(shù)據(jù)。
并且，根據(jù)本實施方式，可以把為了獲取與顯示裝置/圖像處理裝置的同步所需要的幀存儲器兼用作延遲用緩沖器。因此，例如，在攝像了第1圖像后，攝像第2圖像，利用延遲元件對第1圖像的圖像數(shù)據(jù)進行延遲，使第1圖像的圖像數(shù)據(jù)與第2圖像的圖像數(shù)據(jù)同時輸出，取代在該進行了延遲的第1圖像內(nèi)亮度值成為動態(tài)范圍的最大值的像素的圖像數(shù)據(jù)，而記錄第2圖像內(nèi)的像素的圖像數(shù)據(jù)，從而與生成動態(tài)范圍大的圖像的像素數(shù)據(jù)的方法不同，不需要設(shè)置延遲元件，結(jié)果，可以降低延遲元件部分的制造成本。
并且，根據(jù)本發(fā)明的圖像數(shù)據(jù)形式及其結(jié)構(gòu)，可以簡單地實現(xiàn)以像素為單位的合成。即，對構(gòu)成像素的各個像素數(shù)據(jù)附加屬性數(shù)據(jù)(曝光碼、飽和標志、作成時間碼)，使用所附加的屬性數(shù)據(jù)進行合成。因此，根據(jù)屬性數(shù)據(jù)可以得知飽和狀態(tài)、曝光時間、作成時間，并能夠利用它們?nèi)菀椎剡M行合成。根據(jù)本合成方法，可以生成不飽和、且S/N高的圖像。另外，能夠低成本獲得合成所需要的大容量幀存儲器(BRAM 10)，所以追加屬性數(shù)據(jù)不會成為較大的缺點。
以上，在上述第1實施方式中，圖4的HDR-RAW輸入數(shù)據(jù)生成部17構(gòu)成權(quán)利要求書中記載的屬性信息附加單元，以下相同，圖4的輸入數(shù)據(jù)積蓄部18、BRAM數(shù)據(jù)積蓄部19、數(shù)據(jù)判定部20和數(shù)據(jù)更新部21構(gòu)成攝像圖像生成單元，圖4的數(shù)據(jù)判定部20構(gòu)成選擇條件判定單元，圖4的數(shù)據(jù)判定部20和數(shù)據(jù)更新部21構(gòu)成選擇像素合成單元，圖2和圖3的BRAM 10構(gòu)成記錄單元。
(第2實施方式)以下，根據(jù)

本發(fā)明涉及的攝像裝置的第2實施方式。
在上述第1實施方式中，示出使用只具有一個用于向AFE 6輸出模擬圖像數(shù)據(jù)的輸出通道的攝像處理部2(傳感器)的示例，但本實施方式的攝像裝置使用的傳感器，具有兩個以上的輸出通道，在多個通道同時不同步地(從各個像素列)輸出與多種曝光時間對應(yīng)的模擬圖像數(shù)據(jù)(像素信號數(shù)據(jù))，通過AFE把從該傳感器輸出的與多種曝光時間對應(yīng)的模擬圖像數(shù)據(jù)轉(zhuǎn)換為被數(shù)字化的圖像數(shù)據(jù)，在圖像合成部按照每個像素將該數(shù)字化圖像數(shù)據(jù)和與該圖像數(shù)據(jù)對應(yīng)的記錄在BRAM中的圖像數(shù)據(jù)合成，生成攝像圖像。并且，與上述第1實施方式相同，對根據(jù)從攝像處理部的面?zhèn)鞲衅髯x出的像素信號而形成的圖像的各個像素的數(shù)字圖像數(shù)據(jù)(表示像素的亮度值的數(shù)據(jù))，附加該圖像數(shù)據(jù)的屬性數(shù)據(jù)，生成1組數(shù)據(jù)(以下也稱為“HDR-RAW數(shù)據(jù)”)。另外，關(guān)于屬性數(shù)據(jù)，與上述第1實施方式相同，包括表示生成圖像數(shù)據(jù)時的曝光時間的曝光碼、表示所述圖像數(shù)據(jù)的亮度值為動態(tài)范圍的最大值的飽和標志、表示生成所述圖像數(shù)據(jù)的時間的作成時間碼等，這些屬性數(shù)據(jù)使用與上述第1實施方式相同的結(jié)構(gòu)。并且，BRAM的結(jié)構(gòu)也與上述第1實施方式相同。
以下，把上述結(jié)構(gòu)的攝像裝置1作為攝像裝置1’來進行說明。
(攝像裝置的結(jié)構(gòu))本實施方式的攝像裝置1’的基本結(jié)構(gòu)與上述第1實施方式的圖2所示的攝像裝置1相同，在攝像處理部2的攝像元件5的水平傳送部8中追加了第1輸出通道和第2輸出通道，用于分別讀出并輸出利用不同的兩種曝光時間所攝像的圖像的像素信號，并且分別與這兩個輸出通道對應(yīng)，把攝像處理部2的AFE 6作為第1AFE 6，在該攝像處理部2中還追加了與第1AFE 6相同結(jié)構(gòu)的第2AFE 6’，對水平傳送部8追加了分別從所述兩個輸出通道向第1和第2AFE 6和6’輸出所述讀出的以像素列為單位的圖像數(shù)據(jù)的功能。并且，攝像裝置1’為了分別處理從第1和第2AFE 6和6’輸出的曝光時間不同的兩種數(shù)字圖像數(shù)據(jù)，把圖像合成部9的預處理器13作為第1預處理器13，在該圖像合成部9中還追加了與第1預處理器13相同結(jié)構(gòu)的第2預處理器13’，同樣把圖像合成部9的HDR-RAW生成器14作為第1HDR-RAW生成器14，在該圖像合成部9中還追加了與第1HDR-RAW生成器14相同結(jié)構(gòu)的第2HDR-RAW生成器14’。另外，對與上述第1實施方式相同的構(gòu)成部分，賦予相同符號并省略詳細說明，以下具體說明不同部分。
攝像裝置1’的攝像處理部2構(gòu)成為包括攝像元件5、第1AFE(AnalogFront End)6和第2AFE 6’。
攝像元件5構(gòu)成為包括面?zhèn)鞲衅?和水平傳送部8，水平傳送部8由構(gòu)成為包括模擬行存儲器的第1輸出通道和第2輸出通道構(gòu)成。并且，攝像元件5根據(jù)從信號處理部3的定時控制部11輸出的驅(qū)動信號(水平同步信號和垂直同步信號)，把在不同的兩種曝光時間分別積蓄在面?zhèn)鞲衅?的各個像素列中的電荷組依次轉(zhuǎn)換為電壓組，把所轉(zhuǎn)換的電壓組通過水平傳送部8的第1輸出通道和第2輸出通道(這些通道在物理上不同)、并按照各個曝光時間分別依次輸出給第1和第2AFE 6和6’。在本實施方式中，第1輸出通道與第1AFE 6對應(yīng)，第2輸出通道與第2AFE6’對應(yīng)。
以下，根據(jù)圖6說明攝像裝置1’的攝像元件5的曝光時間的控制方法和像素信號的讀出及向AFE輸出的結(jié)構(gòu)。此處，圖6是表示攝像元件5中的各個像素的重新設(shè)定和曝光以及像素信號的讀出及向AFE的輸出動作的圖。
此處，本發(fā)明的曝光時間的控制是這樣進行的，針對面?zhèn)鞲衅?，按照每個曝光時間設(shè)定多個以像素列為單位進行像素信號的讀出及各個像素的重新設(shè)定的讀出/重新設(shè)定行，根據(jù)從ALC 12輸出的曝光時間，控制各個讀出/重新設(shè)定行的像素信號的讀出及像素的重新設(shè)定，以便在與各個曝光時間對應(yīng)的定時執(zhí)行像素信號的讀出及重新設(shè)定。例如圖6所示，針對從ALC 12輸出的短曝光時間設(shè)定讀出/重新設(shè)定行1，同樣針對從ALC 12輸出的標準曝光時間設(shè)定讀出/重新設(shè)定行2。這些讀出/重新設(shè)定行1和2的像素信號的讀出及像素的重新設(shè)定的定時控制是如圖6所示，控制成針對在與標準曝光時間對應(yīng)的讀出/重新設(shè)定行2進行了像素信號的讀出及像素的重新設(shè)定的像素列，在經(jīng)過短曝光時間后，在與短曝光時間對應(yīng)的讀出/重新設(shè)定行1進行像素信號的讀出及像素的重新設(shè)定，而且針對在讀出/重新設(shè)定行1進行了像素信號的讀出及像素的重新設(shè)定的像素列，在經(jīng)過標準曝光時間后，在讀出/重新設(shè)定行2進行像素信號的讀出及重新設(shè)定。即，根據(jù)標準曝光時間的經(jīng)過，先行開始讀出/重新設(shè)定行2的像素信號的讀出及像素的重新設(shè)定，在該重新設(shè)定之后而且經(jīng)過短曝光時間后，從與讀出/重新設(shè)定行2的開始位置相同的位置的像素列開始朝著相同掃描方向，開始讀出/重新設(shè)定行1的像素信號的讀出及像素的重新設(shè)定。以這種定時，通過讀出/重新設(shè)定行1和2并列掃描面?zhèn)鞲衅?的整個區(qū)域，依次進行像素信號的讀出和重新設(shè)定，分別讀出針對不同的兩種曝光時間的攝像圖像的模擬數(shù)據(jù)。
并且，按照各個曝光時間讀出的像素列的像素信號分別被按照每個曝光時間記錄在不同的輸出通道(第1輸出通道和第2輸出通道)的模擬行存儲器中，根據(jù)從定時控制部11輸出的驅(qū)動信號(水平同步信號和垂直同步信號)，分別從該各個輸出通道輸出給與這些輸出通道一一對應(yīng)的AFE(第1和第2AFE 6和6’)。在圖6所示例中，在輸出通道1的模擬行存儲器中記錄通過讀出/重新設(shè)定行1讀出的短曝光時間的像素信號的模擬數(shù)據(jù)，在輸出通道2的模擬行存儲器中記錄通過讀出/重新設(shè)定行2讀出的標準曝光時間的像素信號的模擬數(shù)據(jù)，根據(jù)針對各個輸出通道而不同的驅(qū)動信號，把這些記錄的模擬數(shù)據(jù)從第1輸出通道輸出給第1AFE6，從第2輸出通道輸出給第2AFE 6’。此時，以標準曝光時間和短曝光時間的相位差(時間差)，分別從兩個通道輸出數(shù)據(jù)。
下面，根據(jù)圖7說明攝像裝置1’的進行圖像合成的功能部的結(jié)構(gòu)。此處，圖7是表示攝像裝置1’的圖像合成功能部的結(jié)構(gòu)的方框圖。
進行圖像合成處理的主要功能部構(gòu)成為包括圖像合成部9、BRAM 10、定時控制部11和ALC 12。
攝像裝置1’的定時控制部11按照每個曝光時間，向ALC 12和圖像合成部9(第1HDR-RAW生成器14、第2HDR-RAW生成器14’)輸出各個像素列的地址信息。其它功能和上述第1實施方式相同。
并且，攝像裝置1’的ALC 12根據(jù)從定時控制部11輸出的地址信息，從存儲單元讀出對應(yīng)的地址(像素列)的曝光時間，把該曝光時間輸出給定時控制部11和圖像合成部9(第1HDR-RAW生成器14、第2HDR-RAW生成器14’)。其它功能和上述第1實施方式相同。
并且，攝像裝置1’的圖像合成部9如圖7所示，構(gòu)成為包括第1預處理器13、第2預處理器13’、第1HDR-RAW生成器14、第2HDR-RAW生成器14’、存儲器仲裁器15和輸出讀出器16。
第1預處理器13對從第1AFE 6輸出的數(shù)字圖像數(shù)據(jù)進行黑色電平校正，第2預處理器13’對從第2AFE 6’輸出的數(shù)字圖像數(shù)據(jù)進行黑色電平校正。并且，第1預處理器13把校正后的數(shù)字圖像數(shù)據(jù)輸出給ALC 12和第1HDR-RAW生成器14(第1HDR-RAW輸入數(shù)據(jù)生成部17(后述))，第2預處理器13’把校正后的數(shù)字圖像數(shù)據(jù)輸出給ALC 12和第2HDR-RAW生成器14’(第2HDR-RAW輸入數(shù)據(jù)生成部17’(后述))。
并且，第1預處理器13判定數(shù)字圖像數(shù)據(jù)的亮度值是否是動態(tài)范圍的最大值(飽和/不飽和)，把該結(jié)果(飽和標志)輸出給第1HDR-RAW生成器14(第1HDR-RAW輸入數(shù)據(jù)生成部17)，第2預處理器13’把所述飽和標志輸出給第2HDR-RAW生成器14’(第2HDR-RAW輸入數(shù)據(jù)生成部17’)。
并且，第1和第2HDR-RAW生成器14和14’對分別從第1和第2預處理器13和13’具有相位差地輸入的、曝光時間不同的兩種數(shù)字圖像數(shù)據(jù)(分別為一個像素列部分的圖像數(shù)據(jù))，附加與上述第1實施方式相同的屬性數(shù)據(jù)，生成與各個曝光時間的數(shù)字圖像數(shù)據(jù)對應(yīng)的第1HDR-RAW數(shù)據(jù)和第2HDR-RAW數(shù)據(jù)。這些生成的第1HDR-RAW數(shù)據(jù)和第2HDR-RAW數(shù)據(jù)，第1HDR-RAW數(shù)據(jù)被積蓄在第1輸入數(shù)據(jù)積蓄部18中，第2HDR-RAW數(shù)據(jù)被積蓄在第2輸入數(shù)據(jù)存儲部18’中。
另一方面，在第1和第2BRAM數(shù)據(jù)積蓄部19和19’的任一方中積蓄著從BRAM 10讀出的、與先從第1和第2預處理器13和13’輸出的圖像數(shù)據(jù)對應(yīng)的像素列的HDR-RAW數(shù)據(jù)。具體講，例如，在從第2預處理器13’先輸出圖像數(shù)據(jù)的情況下，從BRAM 10讀出與第2HDR-RAW數(shù)據(jù)對應(yīng)的像素列的HDR-RAW數(shù)據(jù)，并積蓄在第2BRAM數(shù)據(jù)積蓄部19’中。以后，同樣從第2預處理器13’先輸出圖像數(shù)據(jù)(與第2輸出通道對應(yīng)的圖像數(shù)據(jù))，然后以規(guī)定的相位差從第1預處理器13輸出與該圖像數(shù)據(jù)為相同像素列序號的圖像數(shù)據(jù)(與第1輸出通道對應(yīng)的圖像數(shù)據(jù))。因此，在從第1預處理器13(對應(yīng)第1輸出通道)輸出數(shù)據(jù)之前，從先行的第2預處理器13’(對應(yīng)第2輸出通道)，不斷地輸出新數(shù)據(jù)。
另外，構(gòu)成第2HDR-RAW生成器14’的第2數(shù)據(jù)判定部20’，分別比較積蓄在第2輸入數(shù)據(jù)積蓄部18’中的第2HDR-RAW輸入數(shù)據(jù)、和積蓄在第2BRAM數(shù)據(jù)積蓄部19’中的HDR-RAW輸入數(shù)據(jù)中的相同像素位置的HDR-RAW數(shù)據(jù)，根據(jù)該比較結(jié)果，更新記錄在BRAM 10中的HDR-RAW數(shù)據(jù)。具體講，與上述第1實施方式相同，通過“優(yōu)先順序1、2、3”的處理，分別比較積蓄在第2輸入數(shù)據(jù)積蓄部18’中的HDR-RAW輸入數(shù)據(jù)、和位于與其相同像素位置上的被積蓄在第2BRAM數(shù)據(jù)積蓄部19’中的HDR-RAW數(shù)據(jù)的屬性數(shù)據(jù)，根據(jù)該比較結(jié)果，判定是否需要使用第2輸入數(shù)據(jù)積蓄部18’的第2HDR-RAW數(shù)據(jù)來更新各對應(yīng)的HDR-RAW數(shù)據(jù)。并且，第2數(shù)據(jù)判定部20’針對判定為不需要更新的HDR-RAW數(shù)據(jù)選擇第2BRAM數(shù)據(jù)積蓄部19’的數(shù)據(jù)，針對判定為需要更新的HDR-RAW數(shù)據(jù)選擇第2輸入數(shù)據(jù)積蓄部18’的數(shù)據(jù)，并進行合成，由此分別重新生成(更新)一個像素列部分的HDR-RAW數(shù)據(jù)。另外，在更新HDR-RAW數(shù)據(jù)時，也更新屬性數(shù)據(jù)。這樣生成的HDR-RAW數(shù)據(jù)通過第2數(shù)據(jù)更新部21’和存儲器仲裁器15寫入BRAM 10中。
另一方面，當被延遲輸入的與短曝光時間對應(yīng)的第1HDR-RAW數(shù)據(jù)被積蓄在第1輸入數(shù)據(jù)積蓄部18中時，第1HDR-RAW生成器14從BRAM 10讀出利用與標準曝光時間對應(yīng)的第2HDR-RAW數(shù)據(jù)實施了更新處理的HDR-RAW數(shù)據(jù)(準確講是與第1HDR-RAW數(shù)據(jù)為相同像素列序號的HDR-RAW數(shù)據(jù))，并積蓄在第1BRAM數(shù)據(jù)積蓄部19中。第1數(shù)據(jù)判定部20與上述第2數(shù)據(jù)判定部20’相同，分別比較積蓄在第1輸入數(shù)據(jù)積蓄部18中的第1HDR-RAW輸入數(shù)據(jù)、和積蓄在第1BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)中的相同像素位置的HDR-RAW數(shù)據(jù)，根據(jù)該比較結(jié)果，更新記錄在BRAM 10中的HDR-RAW數(shù)據(jù)。
第1和第2判定部20和20’的屬性數(shù)據(jù)的更新處理，具體講與上述第1實施方式相同，關(guān)于曝光碼及飽和標志，選擇(更新)所選擇的HDR-RAW數(shù)據(jù)的曝光碼和飽和標志。另一方面，關(guān)于作成時間碼，按照圖8(a)和(b)所示的流程圖，分別在第1和第2判定部20和20’中進行各更新處理。此處，圖8是表示作成時間碼的更新處理的流程圖，(a)是表示針對使用先輸出的第2HDR-RAW數(shù)據(jù)(對應(yīng)第2輸出通道)的更新處理的作成時間碼的更新處理的流程圖，(b)是表示針對使用后輸出的第1HDR-RAW數(shù)據(jù)(對應(yīng)第1輸出通道)的更新處理的作成時間碼的更新處理的流程圖。
首先，根據(jù)圖8(a)說明第2判定部20’的屬性數(shù)據(jù)更新處理。
如圖8(a)所示，首先轉(zhuǎn)入步驟S100，選擇像素值的更新處理后的像素數(shù)據(jù)，并轉(zhuǎn)入步驟S102。
在步驟S102，判定在步驟S100所選擇的像素數(shù)據(jù)是否是利用第2HDR-RAW數(shù)據(jù)更新了像素值后的像素，在判定是更新后的像素數(shù)據(jù)的情況下(是)，轉(zhuǎn)入步驟S104，否則(否)轉(zhuǎn)入步驟S108。
在轉(zhuǎn)入步驟S104的情況下，把選擇像素數(shù)據(jù)中所附加的作成時間碼重新設(shè)定為0，并結(jié)束處理。
另一方面，在轉(zhuǎn)入步驟S106的情況下，不更新選擇像素數(shù)據(jù)中所附加的作成時間碼(保持原狀)，并結(jié)束處理。例如，在作成時間碼為“0”的情況下，仍保持“0”。
下面，參照圖8(b)說明第1判定部20的屬性數(shù)據(jù)更新處理。
如圖8(b)所示，首先轉(zhuǎn)入步驟S200，選擇通過先輸出的第2HDR-RAW數(shù)據(jù)進行了像素值更新處理后的、而且進行了上述圖8(a)的作成時間碼的更新處理后的像素數(shù)據(jù)，并轉(zhuǎn)入步驟S202。
在步驟S202，判定在步驟S200選擇的像素數(shù)據(jù)是否是利用第1HDR-RAW數(shù)據(jù)進行了更新后的像素數(shù)據(jù)，在判定為是更新后的像素數(shù)據(jù)的情況下(是)，轉(zhuǎn)入步驟S204，否則(否)轉(zhuǎn)入步驟S206。
在轉(zhuǎn)入步驟S204的情況下，把選擇像素數(shù)據(jù)中所附加的作成時間碼重新設(shè)定為0，并結(jié)束處理。
另一方面，在轉(zhuǎn)入步驟S206的情況下，將選擇像素數(shù)據(jù)中所附加的作成時間碼增加1，并結(jié)束處理。即，在作成時間碼為“0”時，增加1更新為“1”。
(攝像裝置的動作)下面，根據(jù)具體情況詳細說明本實施方式的攝像裝置的動作。
此處，假定為按像素列(行)單位來改變曝光時間的攝像裝置。
現(xiàn)在，假設(shè)對某幀實施攝像動作，結(jié)果，ALC動作收斂，按照每個像素列算出曝光時間。并且，通過讀出/重新設(shè)定行2的掃描，在第N行，利用標準曝光時間攝像的圖像的電荷組被攝像元件5的面?zhèn)鞲衅?轉(zhuǎn)換為電壓組。這樣，通過水平傳送部8讀出在從信號處理部3的定時控制部11輸出的驅(qū)動信號表示的像素列被轉(zhuǎn)換的電壓組，所讀出的電壓組通過水平傳送部8的第2輸出通道輸出給第2AFE 6’。另一方面，通過讀出/重新設(shè)定行2的掃描，在第N行的像素被重新設(shè)定后經(jīng)過短曝光時間時，通過讀出/重新設(shè)定行1的掃描，在第N行，利用短曝光時間攝像的圖像的電荷組被攝像元件5的面?zhèn)鞲衅?轉(zhuǎn)換為電壓組。這樣，通過水平傳送部8讀出在從信號處理部3的定時控制部11輸出的驅(qū)動信號表示的像素列被轉(zhuǎn)換的電壓組，所讀出的電壓組通過水平傳送部8的第1輸出通道輸出給第1AFE 6。分別從第1和第2輸出通道輸出的模擬數(shù)據(jù)以規(guī)定的相位差(至少大于等于短曝光時間的差)輸出給第1AFE 6和第2AFE 6’。即，從第2輸出通道先輸出與標準曝光時間對應(yīng)的模擬數(shù)據(jù)，然后以規(guī)定的相位差從第1輸出通道輸出與短曝光時間對應(yīng)的模擬數(shù)據(jù)。
并且，通過第1和第2AFE 6和6’，根據(jù)分別輸出的曝光時間不同的電壓組生成數(shù)字圖像數(shù)據(jù)，所生成的數(shù)字圖像數(shù)據(jù)被輸出給信號處理部3的圖像合成部9(第1和第2預處理器13和13’)。另外，通過第1和第2預處理器13和13’，對分別輸出的曝光時間不同的數(shù)字圖像數(shù)據(jù)進行黑色電平校正，該進行了黑色電平校正的數(shù)字圖像數(shù)據(jù)被輸出給ALC12及第1和第2HDR-RAW生成器14和14’(第1和第2HDR-RAW輸入數(shù)據(jù)生成部17和17’)。并且，第1和第2預處理器13和13’判定數(shù)字圖像數(shù)據(jù)的不飽和/飽和，把其結(jié)果(飽和標志)輸出給第1和第2HDR-RAW生成器14和14’(第1和第2HDR-RAW輸入數(shù)據(jù)生成部17和17’)。
ALC 12根據(jù)從定時控制部11輸出的地址信息，輸出當前輸入的數(shù)字圖像數(shù)據(jù)的曝光時間，把該曝光時間輸出給圖像合成部9的第1和第2HDR-RAW生成器14和14’(HDR-RAW輸入數(shù)據(jù)生成部17)和定時控制部11。這樣，通過第1和第2HDR-RAW輸入數(shù)據(jù)生成部17和17’，向該數(shù)字圖像數(shù)據(jù)附加該數(shù)字圖像數(shù)據(jù)的屬性數(shù)據(jù)，分別生成與標準曝光時間對應(yīng)的第2HDR-RAW數(shù)據(jù)和與短曝光時間對應(yīng)的第1HDR-RAW數(shù)據(jù)。此時，作為屬性數(shù)據(jù)，附加飽和標志、作成時間數(shù)據(jù)、曝光碼。另外，曝光碼是根據(jù)曝光時間算出的。并且，通過第1和第2HDR-RAW輸入數(shù)據(jù)生成部17和17’，將所生成的第1和第2HDR-RAW數(shù)據(jù)輸出給第1和第2輸入數(shù)據(jù)積蓄部18和18’。通過第1和第2輸入數(shù)據(jù)積蓄部18和18’，將所生成的HDR-RAW數(shù)據(jù)積蓄一個像素列部分。
另一方面，與第2HDR-RAW輸入數(shù)據(jù)的積蓄動作并行，通過第2BRAM數(shù)據(jù)積蓄部19’，向存儲器仲裁器15輸出讀出指令。此時，從定時控制部11向第2BRAM數(shù)據(jù)積蓄部19’輸入與當前輸入的數(shù)字圖像數(shù)據(jù)(第2HDR-RAW數(shù)據(jù))對應(yīng)的像素列的地址信息、以及與水平同步信號同步的控制信號?；谠摰刂沸畔⒑涂刂菩盘柕淖x出指令被輸出給存儲器仲裁器15。存儲器仲裁器15根據(jù)所述讀出指令，從BRAM 10讀出HDR-RAW數(shù)據(jù)。并且，通過第2BRAM數(shù)據(jù)積蓄部19’，將所讀出的HDR-RAW數(shù)據(jù)積蓄一個像素列部分。
此處，為了簡化說明，假設(shè)各個像素列由10個像素構(gòu)成，積蓄在第2輸入數(shù)據(jù)積蓄部18’中的第2HDR-RAW數(shù)據(jù)，在像素列的俯視時的左端側(cè)起第1～2個和第5～7個像素上其屬性數(shù)據(jù)的飽和標志為“1”，積蓄在第2BRAM數(shù)據(jù)積蓄部19’中的HDR-RAW數(shù)據(jù)，在像素列的俯視時左端側(cè)起第2～4個和第8～10個像素上其飽和標志為“1”。另外，假設(shè)積蓄在第2BRAM數(shù)據(jù)積蓄部19’中的HDR-RAW數(shù)據(jù)的作成時間數(shù)據(jù)全部為“0”。并且，積蓄在第2輸入數(shù)據(jù)積蓄部18’中的所有HDR-RAW數(shù)據(jù)的曝光碼為“1”，積蓄在第2BRAM數(shù)據(jù)積蓄部19’中的所有HDR-RAW數(shù)據(jù)的曝光碼為“1”，兩者的值相等。根據(jù)該屬性數(shù)據(jù)，第2數(shù)據(jù)判定部20’按照各個像素，比較/判定積蓄在第2輸入數(shù)據(jù)積蓄部18’中的第2HDR-RAW輸入數(shù)據(jù)、和積蓄在第2BRAM數(shù)據(jù)積蓄部19’中的HDR-RAW輸入數(shù)據(jù)。此時，比較相同像素位置的HDR-RAW數(shù)據(jù)，根據(jù)該比較結(jié)果，判定為俯視時左端側(cè)起第3～4個和第8～10個像素的HDR-RAW數(shù)據(jù)需要更新。并且，第2數(shù)據(jù)判定部20’根據(jù)該判定結(jié)果，對于俯視時左端側(cè)起第1～2個和第4～7個像素的HDR-RAW數(shù)據(jù)選擇第2BRAM數(shù)據(jù)積蓄部19’的HDR-RAW數(shù)據(jù)，對于俯視時左端側(cè)起第3～4個和第8～10個像素的HDR-RAW數(shù)據(jù)選擇第2輸入數(shù)據(jù)積蓄部18’的第2HDR-RAW數(shù)據(jù)，將它們合成，從而更新一個像素列部分的HDR-RAW數(shù)據(jù)。此時，也進行利用第2HDR-RAW數(shù)據(jù)更新后的HDR-RAW數(shù)據(jù)的屬性數(shù)據(jù)的更新處理。曝光碼和飽和標志為第2HDR-RAW數(shù)據(jù)和第2BRAM數(shù)據(jù)積蓄部19’的HDR-RAW數(shù)據(jù)中的被選擇的一方的HDR-RAW數(shù)據(jù)的曝光碼和飽和標志，而關(guān)于作成時間碼，把利用第2HDR-RAW數(shù)據(jù)進行更新后的、俯視時左端側(cè)起第3～4個和第8～10個像素的HDR-RAW數(shù)據(jù)的作成時間碼清為“0”，把俯視時左端側(cè)起第1～2個和第5～7個像素的HDR-RAW數(shù)據(jù)的作成時間碼仍保持為“0”。并且，通過第2數(shù)據(jù)更新部21’，向存儲器仲裁器15輸出寫入指令，通過存儲器仲裁器15，向BRAM 10寫入該更新后的HDR-RAW數(shù)據(jù)。另外，此時在BRAM 10的對應(yīng)的像素列(地址信息)的區(qū)域執(zhí)行寫入動作。
另一方面，當以規(guī)定的相位差在第1輸入數(shù)據(jù)積蓄部18中積蓄第1HDR-RAW數(shù)據(jù)時，通過第1BRAM數(shù)據(jù)積蓄部19，向存儲器仲裁器15輸出讀出指令。此時，從定時控制部11向第1BRAM數(shù)據(jù)積蓄部19輸入與當前輸入的數(shù)字圖像數(shù)據(jù)(第1HDR-RAW數(shù)據(jù))對應(yīng)的像素列的地址信息、以及與水平同步信號同步的控制信號。基于該地址信息和控制信號的讀出指令被輸出給存儲器仲裁器15。存儲器仲裁器15根據(jù)所述讀出指令，從BRAM 10讀出使用第2HDR-RAW數(shù)據(jù)進行了更新處理后的HDR-RAW數(shù)據(jù)。并且，通過第1BRAM數(shù)據(jù)積蓄部19，將所讀出的HDR-RAW數(shù)據(jù)積蓄一個像素列部分。
此處，積蓄在第1輸入數(shù)據(jù)積蓄部18中的第1HDR-RAW數(shù)據(jù)，在像素列的俯視時左端側(cè)起第1～8個像素上其屬性數(shù)據(jù)的飽和標志為“0”，積蓄在第1輸入數(shù)據(jù)積蓄部18中的所有第1HDR-RAW數(shù)據(jù)的曝光碼為“2”。另一方面，積蓄在第1BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)通過上述更新，除俯視時左端側(cè)起第2個以外的象素的屬性數(shù)據(jù)的飽和標志為“0”，積蓄在第1BRAM數(shù)據(jù)積蓄部19中的HDR-RAW數(shù)據(jù)的所有像素中屬性數(shù)據(jù)的作成時間碼為“0”。
根據(jù)該屬性數(shù)據(jù)，第1數(shù)據(jù)判定部20對積蓄在第1輸入數(shù)據(jù)積蓄部18中的第1HDR-RAW輸入數(shù)據(jù)、和積蓄在第1BRAM數(shù)據(jù)積蓄部19中的HDR-RAW輸入數(shù)據(jù)進行比較/判定。此時，比較相同像素位置的HDR-RAW數(shù)據(jù)，根據(jù)該比較結(jié)果，判定為俯視時左端側(cè)起第2個像素的HDR-RAW數(shù)據(jù)需要更新。并且，第1數(shù)據(jù)判定部20根據(jù)該判定結(jié)果，對于俯視時左端側(cè)起第1個和第3～10個像素的HDR-RAW數(shù)據(jù)，選擇第1BRAM數(shù)據(jù)積蓄部19的HDR-RAW數(shù)據(jù)，對于俯視時左端側(cè)起第2個像素的HDR-RAW數(shù)據(jù)，選擇第1輸入數(shù)據(jù)積蓄部18的第1HDR-RAW數(shù)據(jù)，將它們合成，從而更新一個像素列部分的HDR-RAW數(shù)據(jù)。此時，也進行利用第1HDR-RAW數(shù)據(jù)更新后的HDR-RAW數(shù)據(jù)的屬性數(shù)據(jù)的更新處理。曝光碼和飽和標志為第1HDR-RAW數(shù)據(jù)和第1BRAM數(shù)據(jù)積蓄部19的HDR-RAW數(shù)據(jù)中被選擇的一方的HDR-RAW數(shù)據(jù)的曝光碼和飽和標志，而關(guān)于作成時間碼，把利用第1HDR-RAW數(shù)據(jù)進行更新后的、俯視時左端側(cè)起第2個像素的HDR-RAW數(shù)據(jù)的作成時間碼清為“0”，把未利用第1HDR-RAW數(shù)據(jù)進行更新的、俯視時左端側(cè)起第1個和第3～10個像素的HDR-RAW數(shù)據(jù)的作成時間碼增加1成為“1”。并且，通過第1數(shù)據(jù)更新部21，向存儲器仲裁器15輸出寫入指令，通過存儲器仲裁器15，向BRAM 10寫入該更新后的HDR-RAW數(shù)據(jù)。另外，此時在BRAM 10的對應(yīng)的像素列(地址信息)的區(qū)域執(zhí)行寫入動作。
并且，對其它行的像素列也重復進行上述流程。
這樣，在本實施方式的攝像裝置中，當積蓄在第2BRAM數(shù)據(jù)積蓄部19’中的HDR-RAW數(shù)據(jù)的飽和標志為“1”、積蓄在第2輸入數(shù)據(jù)積蓄部18’中的第2HDR-RAW數(shù)據(jù)的飽和標志為“0”時，即此前是飽和狀態(tài)的像素不再是飽和狀態(tài)時，把積蓄在第2輸入數(shù)據(jù)積蓄部18’中的HDR-RAW數(shù)據(jù)記錄在BRAM 10中，以取代此前的HDR-RAW數(shù)據(jù)，另外，當在使用第2HDR-RAW數(shù)據(jù)的更新處理后，HDR-RAW數(shù)據(jù)的飽和標志為“1”，積蓄在第1輸入數(shù)據(jù)積蓄部18中的、利用比第2HDR-RAW數(shù)據(jù)短的曝光時間攝像的第1HDR-RAW數(shù)據(jù)的飽和標志為“0”時，即當此前是飽和狀態(tài)的像素由于縮短曝光時間不再是飽和狀態(tài)時，把積蓄在第1輸入數(shù)據(jù)積蓄部18中的HDR-RAW數(shù)據(jù)記錄在BRAM 10中，以取代此前的HDR-RAW數(shù)據(jù)，從而可以生成動態(tài)范圍大的圖像的圖像數(shù)據(jù)。
并且，根據(jù)本實施方式，可以把為了獲取與顯示裝置/圖像處理裝置的同步所需要的幀存儲器兼用作延遲用緩沖器。因此，例如，在攝像第1圖像后，攝像第2圖像，利用延遲元件對第1圖像的圖像數(shù)據(jù)進行延遲，使第1圖像的圖像數(shù)據(jù)與第2圖像的圖像數(shù)據(jù)同時輸出，取代在該進行了延遲的第1圖像內(nèi)亮度值成為動態(tài)范圍的最大值的像素的圖像數(shù)據(jù)，而記錄第2圖像內(nèi)的像素的圖像數(shù)據(jù)，由此與生成動態(tài)范圍大的圖像的像素數(shù)據(jù)的現(xiàn)有方法不同，不需要設(shè)置延遲元件，結(jié)果，可以降低延遲元件部分的制造成本。
以上，在上述第2實施方式中，第1和第2HDR-RAW輸入數(shù)據(jù)生成部17和17’構(gòu)成權(quán)利要求書中記載的屬性信息附加單元，以下相同，第1和第2輸入數(shù)據(jù)積蓄部18和18’、第1和第2BRAM數(shù)據(jù)積蓄部19和19’、第1和第2數(shù)據(jù)判定部20和20’以及第1和第2數(shù)據(jù)更新部21和21’構(gòu)成攝像圖像生成單元，第1和第2數(shù)據(jù)判定部20和20’構(gòu)成選擇條件判定單元，第1和第2數(shù)據(jù)判定部20和20’以及第1和第2數(shù)據(jù)更新部21和21’構(gòu)成選擇像素合成單元，BRAM 10構(gòu)成記錄單元。
另外，本發(fā)明的攝像裝置不限于上述實施方式的內(nèi)容，可以在不脫離本發(fā)明宗旨的范圍內(nèi)適當變更。
例如，作為屬性數(shù)據(jù)，示出了使用表示生成圖像數(shù)據(jù)時的曝光時間的曝光碼、表示所述圖像數(shù)據(jù)的亮度值為動態(tài)范圍的最大值的飽和標志、表示生成所述圖像數(shù)據(jù)的時間的作成時間碼的示例，但不限于此。例如，還可以追加像素固有的數(shù)據(jù)。例如，有表示是缺陷像素的數(shù)據(jù)等。
另外，本發(fā)明雖然適用于攝像裝置，但是，顯然對每個像素賦予屬性數(shù)據(jù)、并據(jù)此進行圖像處理或圖像合成的方案也可以適用于一般的圖像處理裝置。
權(quán)利要求
1.一種攝像裝置，其特征在于，包括具有可以變更曝光時間的電子快門功能的攝像單元；屬性信息附加單元，其對由該攝像單元攝像的圖像的各個像素附加包含該像素的攝像條件的屬性信息；以及攝像圖像生成單元，其根據(jù)所附加的屬性信息，按照每個像素選擇所述圖像從而生成攝像圖像。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述攝像圖像生成單元包括選擇條件判定單元，其判定通過所述屬性信息附加單元附加給各個像素的屬性信息是否滿足選擇與該屬性信息對應(yīng)的像素的選擇條件；以及選擇像素合成單元，其選擇與被判定為滿足該選擇條件的屬性信息對應(yīng)的像素，并生成攝像圖像。
3.根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于，具有記錄單元，其記錄由所述攝像單元攝像的圖像中先攝像的圖像，所述選擇像素合成單元在判定為由所述攝像單元后攝像的圖像中包含的像素的屬性信息滿足所述選擇條件的情況下，將該像素與記錄在所述記錄單元中的攝像圖像的對應(yīng)像素置換。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于，所述像素的屬性信息包括表示所述像素的曝光時間的信息、表示所述像素的亮度值為動態(tài)范圍的上限值的信息、以及表示所述像素的攝像時間的信息中的至少任意一種。
5.根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于，所述選擇條件判定單元進行以下判定中的至少任意一種判定新攝像的圖像的對象像素的曝光時間是否比記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的曝光時間長；新攝像的圖像的對象像素的亮度值是否比動態(tài)范圍的上限值大、而且記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的亮度值是否比動態(tài)范圍的上限值?。灰约靶聰z像的圖像的對象像素的攝像時間是否偏離了記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的攝像時間規(guī)定時間以上。
6.根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于，作為判定是否滿足所述像素的選擇條件的處理，所述選擇條件判定單元可以根據(jù)附加給各個像素的所述屬性信息，對優(yōu)先順序為第1的第1判定處理、優(yōu)先順序為第2的第2判定處理以及優(yōu)先順序為第3的第3判定處理，從所述優(yōu)先順序高的一方開始依次執(zhí)行，其中，第1判定處理判定新攝像的圖像的對象像素的攝像時間是否偏離了記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的攝像時間規(guī)定時間以上，第2判定處理判定新攝像的圖像的對象像素的亮度值是否比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的亮度值是否比動態(tài)范圍的上限值大，第3判定處理判定在新攝像的圖像的對象像素的亮度值比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的亮度值比動態(tài)范圍的上限值小的情況下，新攝像的圖像的對象像素的曝光時間是否比記錄在所述記錄單元中的攝像圖像的對應(yīng)像素的曝光時間長，在所述第1～第3判定處理的任一處理中，在滿足所述選擇條件的時間點結(jié)束所述判定處理。
7.一種攝像裝置，包括光電轉(zhuǎn)換部，其通過把多個光電轉(zhuǎn)換元件配置成矩陣狀而構(gòu)成，該光電轉(zhuǎn)換元件把曝光后的光轉(zhuǎn)換為電荷并積蓄；攝像單元，其具有能夠按照由所述光電轉(zhuǎn)換部的所述光電轉(zhuǎn)換元件構(gòu)成的像素的每一行來變更曝光時間的電子快門功能，按照所述曝光時間不同的每一行，依次進行所述各個光電轉(zhuǎn)換元件的重新設(shè)定和曝光以及來自所述各個光電轉(zhuǎn)換元件的電荷讀出；以及N個輸出通道，其分別對應(yīng)N種(N為2以上的自然數(shù))曝光時間，記錄并輸出與按照每一種所讀出的所述每一行的電荷對應(yīng)的圖像數(shù)據(jù)，其特征在于，具有屬性信息附加單元，其向構(gòu)成由所述攝像單元攝像的攝像圖像的圖像數(shù)據(jù)的各像素數(shù)據(jù)附加包括該像素的攝像條件的屬性信息；記錄單元，其記錄附加了所述屬性信息的攝像圖像的圖像數(shù)據(jù)；選擇條件判定單元，其根據(jù)從所述N個輸出通道按照所述曝光時間的每一種并以規(guī)定順序依次輸出的各行的圖像數(shù)據(jù)中所附加的屬性信息、以及與記錄在所述記錄單元中的所述各行的圖像數(shù)據(jù)對應(yīng)的行的圖像數(shù)據(jù)中所附加的屬性信息，針對每個像素判定該各個像素的數(shù)據(jù)中所附加的屬性信息是否滿足預先設(shè)定的像素的選擇條件；以及攝像圖像生成單元，其選擇與被判定為滿足所述選擇條件的屬性信息對應(yīng)的像素的數(shù)據(jù)，把該選擇的像素的數(shù)據(jù)記錄在所述記錄單元中，從而按照每個像素來更新或維持被記錄在該記錄單元中的所述攝像圖像的圖像數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的攝像裝置，其特征在于，所述各個像素的數(shù)據(jù)中所附加的屬性信息包括表示所述像素的曝光時間的信息、表示所述像素的亮度值是動態(tài)范圍的上限值的信息、以及表示所述像素的攝像時間的信息中的至少任意一種。
9.根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于，所述選擇條件判定單元根據(jù)所述各個像素的數(shù)據(jù)中所附加的屬性信息來進行以下判定中的至少任意一種判定判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的曝光時間是否比記錄在所述記錄單元中的圖像數(shù)據(jù)的對應(yīng)像素的數(shù)據(jù)的曝光時間長；判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的亮度值是否比動態(tài)范圍的上限值大、而且記錄在所述記錄單元中的圖像數(shù)據(jù)的對應(yīng)像素的數(shù)據(jù)的亮度值是否比動態(tài)范圍的上限值小；以及判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的攝像時間是否偏離了記錄在所述記錄單元中的圖像數(shù)據(jù)中的對應(yīng)像素的數(shù)據(jù)的攝像時間規(guī)定時間以上。
10.根據(jù)權(quán)利要求8所述的攝像裝置，其特征在于，作為判定是否滿足所述像素的選擇條件的處理，所述選擇條件判定單元根據(jù)在各個像素的數(shù)據(jù)中所附加的屬性信息，對優(yōu)先順序為第1的第1判定處理、優(yōu)先順序為第2的第2判定處理以及優(yōu)先順序為第3的第3判定處理，從所述優(yōu)先順序高的一方開始依次執(zhí)行，其中，第1判定處理判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的攝像時間是否偏離了記錄在所述記錄單元中的圖像數(shù)據(jù)的對應(yīng)像素的數(shù)據(jù)的攝像時間規(guī)定時間以上，第2判定處理判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的亮度值是否比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的圖像數(shù)據(jù)中的對應(yīng)像素的數(shù)據(jù)的亮度值是否比動態(tài)范圍的上限值大，第3判定處理在從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值小、而且記錄在所述記錄單元中的圖像數(shù)據(jù)的對應(yīng)像素的數(shù)據(jù)的亮度值比動態(tài)范圍的上限值小的情況下，判定從所述輸出通道輸出的圖像數(shù)據(jù)中的對象像素的數(shù)據(jù)的曝光時間是否比記錄在所述記錄單元中的圖像數(shù)據(jù)中的對應(yīng)像素的數(shù)據(jù)的曝光時間長，在所述第1～第3判定處理的任一處理中，在滿足所述選擇條件的時間點結(jié)束所述判定處理。
11.根據(jù)權(quán)利要求10所述的攝像裝置，其特征在于，所述攝像圖像生成單元在從所述N個輸出通道按照所述每一種曝光時間以規(guī)定順序依次輸出的所述每行的圖像數(shù)據(jù)中，在最先輸出圖像數(shù)據(jù)的輸出通道中，與從該輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，在所述攝像圖像生成單元不對記錄進行更新，而且在以后輸出圖像數(shù)據(jù)的剩余N-1個輸出通道中，與從各個輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，把在所述攝像圖像生成單元未更新記錄的像素數(shù)據(jù)所附加的表示所述攝像時間的信息，變更為已經(jīng)過該攝像時間規(guī)定時間的信息，在所述N個輸出通道中，與從各個輸出通道輸出的圖像數(shù)據(jù)的行對應(yīng)的行的、構(gòu)成記錄在所述記錄單元中的圖像數(shù)據(jù)的像素數(shù)據(jù)中，把在所述攝像圖像生成單元已更新記錄的像素數(shù)據(jù)所附加的表示所述攝像時間的信息重新設(shè)定為規(guī)定值。
全文摘要
一種可以獲得動態(tài)范圍大的圖像的攝像裝置。降低攝像裝置的制造成本。當積蓄在BRAM數(shù)據(jù)積蓄部(19)中的HDR－RAW數(shù)據(jù)的飽和標志為“1”、積蓄在輸入數(shù)據(jù)積蓄部(18)中的HDR－RAW數(shù)據(jù)的飽和標志為“0”時，即此前為飽和狀態(tài)的像素不再是飽和狀態(tài)時，把積蓄在輸入數(shù)據(jù)積蓄部(18)中的HDR－RAW數(shù)據(jù)記錄在BRAM(10)中，以取代此前的HDR－RAW數(shù)據(jù)。因此，與例如在攝像第1圖像后，攝像第2圖像，利用延遲元件對第1圖像的圖像數(shù)據(jù)進行延遲，取代在該進行了延遲的第1圖像內(nèi)亮度值成為動態(tài)范圍的最大值的像素的圖像數(shù)據(jù)，而記錄第2圖像內(nèi)的像素的圖像數(shù)據(jù)的方法不同，不需要設(shè)置延遲元件，結(jié)果，可以降低延遲元件部分的制造成本。
文檔編號H04N101/00GK1787609SQ20051012747
公開日2006年6月14日 申請日期2005年12月7日 優(yōu)先權(quán)日2004年12月7日
發(fā)明者倉根治久 申請人:精工愛普生株式會社