專利名稱：顏色變換設(shè)備、顏色變換方法、和顏色變換程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及顏色變換設(shè)備、顏色變換方法、和顏色變換程序。
背景技術(shù)：
例如，JP-A-2004-272516和 JP-A-2004-M6739 (專利文獻 1 和 2)公開了向具有正常顏色視覺的人呈現(xiàn)圖像的方法，其中提取相同圖像幀中的具有不可辨別的色度的區(qū)域并對該區(qū)域進行顏色變換，以向人呈現(xiàn)圖像。

發(fā)明內(nèi)容
以上所列出的文獻中公開的每種技術(shù)均用于在靜止圖像幀中執(zhí)行的顏色變換處理。當(dāng)這些技術(shù)被用于處理運動圖像內(nèi)容時，由于運動圖像內(nèi)容的對象每當(dāng)該內(nèi)容從一幀變到另一幀時都會移動，所以該內(nèi)容會在以下兩種狀態(tài)之間動態(tài)切換受到色度(hue，色調(diào))之間的混淆的影響的狀態(tài)以及受到色度之間沒有混淆的影響的狀態(tài)。在這種情況下， 同一對象的具有混淆顏色的區(qū)域在一些情況中會被區(qū)別處理。具體地，可以對某幀中的對象的區(qū)域執(zhí)行顏色變換(因為存在會發(fā)生顏色混淆的另一區(qū)域)，并且可以不在其中具有在前幀中包括的混淆顏色的區(qū)域已經(jīng)消失的另一幀中執(zhí)行顏色變換。結(jié)果，通過顏色變換處理得到的運動圖像數(shù)據(jù)可能會有諸如屬于圖像序列的相同對象的色度之間的不連續(xù)轉(zhuǎn)變以及相同對象的顏色之間不一致的變化之類的問題。當(dāng)顏色變換被以這樣的方式執(zhí)行時，會出現(xiàn)用戶可能會有無序感并且圖像的不自然可能會被夸大的問題。在這種情況下，期望提供一種能夠使最佳顏色變換處理在運動圖像內(nèi)容上執(zhí)行的新穎改進的顏色變換設(shè)備、顏色變換方法和顏色變換程序。根據(jù)本技術(shù)的實施例，提供了一種顏色變換設(shè)備，包括輸入部，用于從每幀獲取運動圖像內(nèi)容的圖像數(shù)據(jù)；對象檢測部，用于從每幀圖像檢測對象；混淆區(qū)域提取部，用于從所檢測出的圖像提取具有混淆色度的混淆區(qū)域；以及顏色變換部，用于在混淆區(qū)域被提取自特定幀時，對特定幀或者包含提取出混淆區(qū)域的對象的另一幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換。根據(jù)本實施例的顏色變換設(shè)備可以包括顏色變換處理存儲部，用于存儲對特定幀執(zhí)行的顏色變換處理的內(nèi)容。顏色變換部在對另一幀執(zhí)行顏色變換時可以使用存儲在顏色變換處理存儲部中的處理內(nèi)容。根據(jù)本實施例的顏色變換設(shè)備可以包括對象存儲部，用于存儲特定幀中的執(zhí)行了顏色變換的對象。顏色變換部可以在存儲在對象存儲部中的對象存在于另一幀中時對另一幀執(zhí)行顏色變換?；煜齾^(qū)域提取部可以從對象檢測部所檢測出的多個對象中的各個對象提取具有會相互混淆的色度的混淆區(qū)域。根據(jù)本實施例的設(shè)備可以包括混淆區(qū)域所屬對象提取部， 用于基于每個對象中的混淆區(qū)域的尺寸，從多個對象提取將要進行顏色變換的對象。顏色變換部可以對多個對象中的由混淆區(qū)域所屬對象提取部所提取的對象執(zhí)行顏色變換。
顏色變換部可以對具有會導(dǎo)致對象之間的相互混淆的色度的混淆區(qū)域執(zhí)行顏色變換，從而使得混淆區(qū)域不會存在于xy色度圖上的同一條混淆線上。根據(jù)本技術(shù)的另一實施例，提供了一種顏色變換方法，包括以下步驟從每幀提取運動圖像內(nèi)容的圖像數(shù)據(jù)；從每幀圖像檢測對象；從所檢測出的對象提取具有混淆色度的混淆區(qū)域；當(dāng)混淆區(qū)域被提取自特定幀時，對特定幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換；以及對包含提取出混淆區(qū)域的對象的另一幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換。根據(jù)本技術(shù)的又一實施例，提供了一種使計算機充當(dāng)以下裝置的程序用于從每幀獲取運動圖像內(nèi)容的圖像數(shù)據(jù)的裝置；用于從每幀圖像檢測對象的裝置；用于從所檢測出的對象提取具有混淆色度的混淆區(qū)域的裝置；用于在混淆區(qū)域被提取自特定幀時，對特定幀或者包含提取出混淆區(qū)域的對象的另一幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換的裝置。本技術(shù)的實施例使得提供能夠?qū)\動圖像內(nèi)容執(zhí)行最佳顏色變換處理的顏色變換設(shè)備、顏色變換方法、和顏色變換程序成為可能。


圖1是示出根據(jù)本技術(shù)的實施例的顏色變換設(shè)備的配置的示意圖；圖2是示出由顏色變換設(shè)備執(zhí)行的處理的流程圖；圖3是示出對象的順序移動的運動圖像幀的圖示；圖4示出了在CIE xy色度圖上繪制的圖3中的對象A和對象B的顏色特性；以及圖5是示出包括圖3中所示的每幀中的混淆區(qū)域存在標(biāo)記的狀態(tài)、由混淆區(qū)域提取部分執(zhí)行的混淆區(qū)域提取的結(jié)果、以及由對象檢測部分執(zhí)行的對象A和B的追蹤的結(jié)果。
具體實施例方式現(xiàn)在參考附圖詳細描述本技術(shù)的實施例。將按照所列出的次序描述以下條目1.實施例的背景2.顏色變換設(shè)備的示例性配置3.示例性顏色變換處理[1.實施例的背景]存在包括三色(C型)顏色視覺以及被稱為色盲或者色弱的P型和D型顏色視覺在內(nèi)的各種人類顏色視覺。當(dāng)顏色顯示裝置(其一般為顏色監(jiān)視器和液晶顯示器)創(chuàng)建顏色圖像內(nèi)容或者重現(xiàn)顏色時，假設(shè)內(nèi)容和顏色將被占潛在觀眾中的大多數(shù)的具有C型顏色視覺的人觀看。所以，具有P型或者D型顏色視覺的人有時會看不到色差信息。現(xiàn)在描述顏色視覺類型。根據(jù)作為NPO(非營利組織)的CUDO(通用顏色設(shè)計機構(gòu))，20個日本男性中有一位具有不同于普通顏色視覺的顏色視覺，并且500個日本女性中有一位具有不同于普通顏色視覺的顏色視覺，在日本這些人的數(shù)目估計總共有300萬以上。在顏色視覺方面有問題的人或者有色弱的人有時會難以正確地辨認出公共場所的引導(dǎo)圖、路線圖、電子布告板、或者電子設(shè)備的操作屏幕上的顏色。例如，對于具有難以區(qū)分紅色和綠色的色弱類型的人來說，顯然難以理解使用紅色和綠色繪制的圖表。根據(jù)CUD0，基于視網(wǎng)膜的哪個錐體有異常，如下所述地將顏色視覺特性劃分為類型(1)至(6)。具體地，存在以下六類人(1)具有正常(C型)顏色視覺的人，( 具有對于紅色的色弱(P型)的人， (3)具有對于綠色的色弱(D型)的人，(4)具有對于藍色的色弱(T型)的人，(5)具有對于多種顏色的色弱(A型)的人，(6)完全色盲(U型)的人。一種類型的錐體的異常并不一定與色弱類型( 至(4)中的任意一種相關(guān)聯(lián)。當(dāng)某種顏色的可見度低時，顏色視覺的異常會根據(jù)異常的程度而影響其他顏色的可見度。例如，具有被歸類為P型的色弱的人在區(qū)分紅色和綠色方面就有困難。在這種情況下，公開了一種圖像呈現(xiàn)方法，該方法在其示例性應(yīng)用中主要被應(yīng)用于二色性的顏色視覺，并且包括以下步驟當(dāng)向具有如上所述的C型以外的顏色視覺的人呈現(xiàn)圖像時，對具有不能相互區(qū)分的色度并且屬于相同圖像幀的區(qū)域執(zhí)行顏色變換。然而， 當(dāng)該方法被用來如上所述處理運動圖像內(nèi)容時，會對相同對象中的區(qū)域執(zhí)行不同的顏色變換。具體地，由于存在會與其發(fā)生顏色混淆的另一區(qū)域，所以可以對某幀中的對象的區(qū)域執(zhí)行顏色變換，而不可以在其中的具有在前幀中包括的混淆顏色的區(qū)域消失的另一幀中執(zhí)行顏色變換。根據(jù)本實施例，即使在某幀的運動圖像內(nèi)容不包括具有混淆顏色的區(qū)域時，如果參考幀(例如，所關(guān)注的幀的在前幀)包括具有混淆區(qū)域的區(qū)域，顏色變換也會被執(zhí)行。所以，避免了圖像給用戶帶來無序感。由于對具有顏色視覺障礙的人來說難以將位于Xy色度圖的混淆線上的顏色與同一條線上的其他顏色區(qū)分開，所以校正被執(zhí)行以將顏色移到遠離混淆線的位置。[2.顏色變換設(shè)備的示例性配置]現(xiàn)在將參考圖1描述根據(jù)本技術(shù)的實施例的顏色變換設(shè)備100的配置。如圖1中所示，顏色變換設(shè)備100包括輸入/輸出部102、臨時存儲部104、盤存儲部106、以及計算處理部110。這些塊通過總線108連接。輸入/輸出部102充當(dāng)圖像輸入部和圖像輸出部，其中，原始圖像數(shù)據(jù)被輸入到輸入/輸出部，并且輸入/輸出部將通過顏色變換處理得到的圖像數(shù)據(jù)輸出到諸如液晶顯示面板之類的顯示系統(tǒng)。臨時存儲部104是由易失性存儲器、非易失性存儲器等組成的存儲部。盤存儲部106是由硬盤等組成的存儲部。臨時存儲部104 和盤存儲部106被設(shè)置用于存儲圖像數(shù)據(jù)和顏色變換處理的內(nèi)容。將由計算處理部110執(zhí)行的程序被保存在盤存儲部106中。保存在盤存儲部106中的處理程序的內(nèi)容被布置在臨時存儲部104中。計算處理部110由中央處理單元(CPU)等組成，并且該部執(zhí)行確定布置在臨時存儲部104中的程序的處理以執(zhí)行顏色變換處理。作為程序確定處理的執(zhí)行結(jié)果，計算處理部110充當(dāng)對象檢測部分112、混淆區(qū)域所屬對象(bearing object)提取部分114、 混淆區(qū)域提取部分116、以及顏色變換部分118。[3.示例性顏色變換部分]現(xiàn)在將參考圖2至圖4描述由顏色變換設(shè)備100執(zhí)行的示例性顏色變換處理。圖 2是由顏色變換設(shè)備100執(zhí)行的處理的流程圖。圖3是示出對象的順序移動的運動圖像幀的圖示。首先，如圖2中所示，在步驟S 10，作為變換候選的圖像幀被輸入到顏色變換設(shè)備 100的輸入/輸出部102。具體地，圖像幀k(第k幀)被輸入到輸入/輸出部102。在步驟S12，對象檢測部分112檢測并追蹤圖像幀k中的對象。根據(jù)公知的區(qū)域檢測方法和區(qū)域追蹤方法，對幀中的對象進行劃分。對象檢測部分112對存在于多個幀中的對象進行處理，從而使得該對象可以使用例如唯一地分配給對象的對象ID來追蹤。圖3是示出對象的順序移動的運動圖像幀的示意性圖示。在這種情況下，將通過示例描述具有第0至第7幀的運動圖像，并且圖3中示出了圖像的第0、第4、和第5幀。如圖3中所示，對象A存在于第0幀中的屏幕的左上部分，并且每當(dāng)圖像從一幀向下一幀前進時對象A向右并向屏幕下部移動。所以，對象A在第4幀中位于屏幕中間，并且對象A在第 5幀中位于屏幕的右下部分。對象B出現(xiàn)在第4幀以及隨后幀中，并且該對象的位置保持不變。當(dāng)圖像幀的輸入如圖3中部分所示地那樣前進時，對象檢測部分112順序在第0 至第6幀中檢測對象A并在第4至第7幀中檢測對象B。有關(guān)每幀中被這些對象占用的區(qū)域的多條信息被作為檢測結(jié)果獲取，并且該多條信息被作為對象A和B的屬性順序保存在臨時存儲部104中。這種區(qū)域信息可以被規(guī)定為指示感興趣的區(qū)域的形狀的“圓周”，并且該信息可以包括指示區(qū)域的中心位置的坐標(biāo)信息和指示區(qū)域的半徑的距離信息?；煜齾^(qū)域所屬對象提取部分114隨后參考這些屬性來確定這些區(qū)域之間是否存在任何包含關(guān)系。參考圖2，在步驟S14確定圖像幀k是否包括其顏色會被相互混淆的混淆區(qū)域。對于混淆區(qū)域的存在與否的確定由計算部Iio的混淆區(qū)域提取部分116執(zhí)行。當(dāng)在步驟S14 確定存在混淆區(qū)域時，流程進行到步驟S16?，F(xiàn)在將基于圖2中所示的示例描述該流程。我們假設(shè)，在步驟S12在圖3中所示的第4幀中檢測到了對象A和B，并且對象A的區(qū)域具有會與對象B的顏色(例如，紅色)相混淆的顏色(例如，綠色)。在這種情況下，在步驟 S14確定存在混淆區(qū)域，并且流程進行到步驟S16。在步驟S16，對于混淆區(qū)域中的具有較小面積的一個執(zhí)行顏色變換處理。顏色變換處理由顏色變換部分118執(zhí)行。在通過示例示出的第4幀中，對象A的區(qū)域M的顏色與整個對象B的顏色混淆。比較這兩個區(qū)域，區(qū)域M具有較小面積。所以，在步驟S16在具有較小面積的區(qū)域Μ中執(zhí)行顏色變換。此時，計算處理部110的混淆區(qū)域所屬對象提取部分 114基于對象A和B的位置和尺寸以及混淆區(qū)域的面積來確定將要執(zhí)行顏色變換的對象。在步驟S16之后，流程進行到步驟S18。在步驟S18，在步驟S16執(zhí)行的顏色變換操作被存儲在處理內(nèi)容保存區(qū)中。在這種情況下，對于區(qū)域執(zhí)行的顏色變換處理被存儲在顏色變換設(shè)備100的臨時存儲部104中。在步驟S18之后，流程進行到步驟S20。在步驟S20，確定混淆區(qū)域是否被包括在任何其他對象的區(qū)域中。在通過示例示出的第4幀中， 作為混淆區(qū)域的區(qū)域&被包括在對象A的區(qū)域中，并且對象A除了包括區(qū)域&以外還包括區(qū)域SAl和區(qū)域SA2。所以，在第4幀的情況下，流程從步驟S20進行到S22。在第4幀中，如圖3所示，區(qū)域SAl由“SA1_4”表示，并且區(qū)域SA2由“SA2_4”表示。類似地，在第5 幀中，區(qū)域SAl由“SA1_5”表示，并且區(qū)域SA2由“SA2_5”表示。在步驟S22，對對象A的除了區(qū)域以外的區(qū)域SA1_4和SA2_4執(zhí)行顏色變換。 在步驟S24，在步驟S22執(zhí)行的顏色變換處理被額外地存儲在設(shè)置在顏色變換設(shè)備100的臨時存儲部104中的處理內(nèi)容保存區(qū)中。在這種情況下，對區(qū)域SA1_4和SA2_4執(zhí)行的顏色變換處理被額外存儲。在步驟SM之后，流程進行到步驟S26。在步驟S26，確定當(dāng)前圖像幀k是否為感興趣的幀序列中的最后幀。當(dāng)圖像幀k不是序列中的最后幀時，流程進行到步驟S28，在步驟S28，值k增大，并且流程返回到步驟SlO以重復(fù)步驟SlO和隨后步驟的處理。當(dāng)在步驟S26確定圖像幀k是序列中的最后幀時，處理流程終止(結(jié)束)。當(dāng)在步驟S14確定不存在混淆區(qū)域時，流程進行到步驟S30?，F(xiàn)在將參考圖3中所示的第5幀，通過示例描述該流程。在圖3中所示的第5幀中，對象A已經(jīng)從第4幀中的相同位置進一步向右并向屏幕的下方移動，并且對象A和B相互重疊。在重疊關(guān)系中對象 A在對象B后面，并且作為混淆區(qū)域的區(qū)域M被隱藏在對象B后面。由于除了區(qū)域M以外對象A的顏色和對象B的顏色之間沒有發(fā)生混淆，所以第5幀不包括可以導(dǎo)致對象A和 B之間的顏色混淆的區(qū)域。所以，在圖3中所示的第5幀的情況下，作為步驟S14的確定結(jié)果，流程從步驟S14進行到步驟S30。在步驟S30，確定以前所參考的幀(圖像幀(k-Ι))中是否存在混淆區(qū)域。當(dāng)以前所參考的圖像幀中存在混淆區(qū)域時，流程進行到步驟S32。當(dāng)圖3中所示的第5幀被處理時，由于以前所參考的第4幀中存在混淆區(qū)域(區(qū)域M)，所以流程從步驟S30進行到步驟 S32。在步驟S32，對在步驟S30已經(jīng)被確定存在于以前所參考的幀中的混淆區(qū)域進行判定，以檢查包括混淆區(qū)域的對象是否也存在于當(dāng)前處理的幀中。此時，參考臨時存儲部 104中存儲的對象的屬性來確定對象是否存在于當(dāng)前幀中。當(dāng)以前所參考的幀中的包括混淆區(qū)域的對象也存在于當(dāng)前處理的幀中時，流程進行到步驟S34。將使用圖3中所示的第5 幀作為示例作出更加具體的描述。存在于以前所參考的第4幀中的包括混淆區(qū)域Μ的對象A也存在于第5幀中。所以，在圖3中所示的第5幀的情況中，流程從步驟S32進行到步驟 S34。在步驟S34，對混淆區(qū)域以外的混淆區(qū)域所屬的對象執(zhí)行顏色變換(即，對對象的非混淆區(qū)域執(zhí)行顏色變換)。在圖3中所示的第5幀的情況中，對除了混淆區(qū)域M以外的區(qū)域SA1_5和SA2_5執(zhí)行顏色變換。此時，由于對第4幀中的區(qū)域SA1_4和SA2_4執(zhí)行的顏色變換處理已經(jīng)在步驟SM被存儲在臨時存儲部104中，所以步驟S22的處理內(nèi)容在步驟S34被從臨時存儲部104讀出，以執(zhí)行類似于步驟S22的處理的顏色變換處理。如這里所描述的，由于作為混淆區(qū)域的對象A的區(qū)域M被隱藏在對象B的后面，所以在不包括混淆區(qū)域的第5幀中，以類似于步驟S22的處理對區(qū)域SA1_5和SA2_5執(zhí)行顏色變換。所以， 由于對象A的區(qū)域SAl和SA2中的顏色變換在第4和第5幀中被類似地執(zhí)行，所以當(dāng)圖像從第4幀變到第5幀時可以防止圖像被用戶的眼睛認為有無序感。在后續(xù)步驟或者步驟S36，在步驟S34執(zhí)行的顏色變換處理被額外存儲在設(shè)置在顏色變換設(shè)備100中的存儲器的處理內(nèi)容保存區(qū)中。當(dāng)圖3中所示的第5幀被處理時，對區(qū)域SA1_5和SA2_5執(zhí)行的顏色變換處理被額外存儲。在步驟S36之后，流程進行到步驟S26。在步驟S26，確定當(dāng)前圖像幀k是否為序列中的最后幀。當(dāng)圖像幀k不是序列中的最后幀時，流程進行到步驟S28。在步驟S28，值k 增大，流程返回到步驟SlO以重復(fù)步驟SlO和后續(xù)步驟的處理。當(dāng)在步驟S26確定圖像幀 k是序列中的最后幀時，處理的流程終止(結(jié)束)。圖4示出了在CIE(國際發(fā)光照明委員會)xy色度圖上繪制的圖3中的對象A和 B的顏色特性。例如，圖4中所示的色度表類似于上述專利文獻2的圖5。顏色的范圍被以扇形的形式繪制出來，并且當(dāng)逆時針方向核對繪圖時顏色被以波長遞減的次序示出。圖4 的色度圖上所示的每條直線(混淆線)是根據(jù)CIE xy色度圖繪制的直線，其表示這樣的色
7度和飽和度信息，其中相同直線上的兩種色度可以被具有C型顏色視覺的人看作不同的色度并且被具有P型顏色視覺的人看作相同的色度(當(dāng)這兩種色度相近時)。具有顏色視覺問題的人很難區(qū)分位于這樣的直線上并且在色度和飽和度信息方面相近的兩種顏色。假設(shè)圖3中所示的每幀中的對象A是被著色對象，該對象具有以清晰的輪廓或?qū)Ρ榷葯z測出的對象邊界并且具有藍色和綠色域之間的色彩層次(gradation)。如圖3中所示，對象A被著色，從而使得其在屏幕的左上到右下方向從藍色向綠色漸變(gradate)。對象B被統(tǒng)一著色為紅色。將使用圖4中所示的CIE xy色度表來進行更具體的描述。利用CIE xy色度表中的在藍色域中的點I^bI (0. 14，0. 08)和綠色域中的點PSa (0. 29，0. 60)之間延伸的直線1_1’ 上的顏色所提供的色彩層次對對象A著色。圖3中所示的區(qū)域SAl對應(yīng)于點此1，并且區(qū)域 Sa對應(yīng)于點PSa。該對象從區(qū)域SAl的顏色向區(qū)域Μ的顏色漸變，即沿著直線1_1’從點 Pbl表示的顏色向點P&i表示的顏色漸變。對象B作為整體具有由圖4中所示的點1^(0. 65， 0. 33)表示的顏色。由于如圖4所示，點PM和1 被放置在混淆線X上，所以具有顏色PSa的對象A 的區(qū)域和具有顏色1 的對象B的區(qū)域會被具有P型顏色視覺的人相互混淆。但是，對象A 的除了區(qū)域M以外的區(qū)域并不位于混淆線X上，所以該區(qū)域處于一般所知的作為色差閾值的MacAdam橢圓之外。所以，該區(qū)域具有這樣的色度，其中即使其位于對象B附近也不能被確定為混淆區(qū)域。如上所述，在圖2中所示的步驟S14，混淆區(qū)域檢測部分116檢測到了第4幀中的混淆區(qū)域。我們用具有表示幀號的后綴的各參考標(biāo)志“&14”和“Sb4”來標(biāo)出對象A和B的混淆區(qū)域。區(qū)域Sa4是處于對象A的右下部分的區(qū)域，并且區(qū)域Sb4是相當(dāng)于整個對象B 的區(qū)域。當(dāng)?shù)?幀中的混淆區(qū)域Sa4和Sb4被檢測到時，顏色變換部分118對混淆區(qū)域執(zhí)行顏色變換。在這種情況下，如上所述地根據(jù)混淆區(qū)域的面積大小對具有較小面積的區(qū)域 Sa4執(zhí)行顏色變換，以避免混淆(步驟S16)。即，不對對象B的區(qū)域Sb4執(zhí)行顏色變換。我們假設(shè)第4幀中的區(qū)域M對應(yīng)于一個色彩層次等級并且該區(qū)域被統(tǒng)一著色為圖4中所示的點P&i表示的顏色。圖4示出了與顏色變換部分118執(zhí)行的顏色變換操作相關(guān)聯(lián)的色度坐標(biāo)。作為如圖4中所示的顏色變換部分118的顏色變換操作的結(jié)果，由直線 1-1’表示的對象A的漸變色被變換為由直線I-II表示的漸變色。具體地，對第4幀中的區(qū)域Μ執(zhí)行的顏色變換操作是將圖4中的CIE xy色度表中的點P&i表示的顏色改變?yōu)橛稍搱D中的點PSa’表示的顏色的處理。即，執(zhí)行對應(yīng)于該圖的負y方向的0. 15的移動的顏色變換，以將該區(qū)域的顏色改變?yōu)橛牲cPSa’ = (0. 29,0. 45)表示的顏色。我們將該操作稱為 “顏色變換操作jaO”。顏色變換操作jaO被記錄在臨時存儲部104的處理內(nèi)容保存區(qū)中。 當(dāng)與隨后描述的在步驟S22對鄰近區(qū)域Μ的對象的區(qū)域執(zhí)行的處理相結(jié)合時，上述操作使得對象的顏色被以抑制了無序感被抑制的方式變換。由于對象的顏色在從區(qū)域SAl到區(qū)域 Sa的范圍內(nèi)平滑漸變，所以本實施例允許可歸因于顏色變換的無序感相對于只對區(qū)域M 執(zhí)行顏色變換操作被更有效地抑制。圖5是示出包括圖3中所示的幀在內(nèi)的每幀的各種狀態(tài)(即，混淆區(qū)域存在標(biāo)記的狀態(tài)、由混淆區(qū)域提取部分116執(zhí)行的混淆區(qū)域提取的結(jié)果、以及由對象檢測部分112執(zhí)行的對象A和B的追蹤的結(jié)果)的圖表?；煜齾^(qū)域存在標(biāo)記表示由混淆區(qū)域提取部分116 在每幀中執(zhí)行的確定的結(jié)果，該標(biāo)記在混淆區(qū)域存在時被設(shè)置為“ 1”，并且在混淆區(qū)域不存在時被設(shè)置為“0”。由于對象A和B只有在如圖3中所示的第4幀中包括混淆區(qū)域，所以混淆區(qū)域存在標(biāo)記針對第4幀被設(shè)置為“1”，并且針對其他幀被設(shè)置為“0”。作為由混淆區(qū)域提取部分116執(zhí)行的混淆區(qū)域提取的結(jié)果，屬于對象A和B的混淆區(qū)域被從第4幀中提取出來。由對象追蹤部分112執(zhí)行的追蹤的結(jié)果指示對象A存在于第0至第6幀中的屏幕中，并且對象B存在于第4至第7幀中的屏幕中。在圖2中所示的步驟S20，采用劃分、重排以及合并圖像區(qū)域的公知方法的混淆區(qū)域所屬對象檢測部分114執(zhí)行檢測，并且確定混淆區(qū)域M被包括在對象A中并且區(qū)域Sb 被包括在對象B中。即，確定以下關(guān)系為真。A = {Sa, SAl, SA2}SacASb = B在第4幀中，還對區(qū)域A的剩余部分或者區(qū)域SA1_4和SA2_4執(zhí)行顏色變換處理， 以使對象A被連續(xù)著色(圖2中的步驟S22)。由于利用上述圖4的CIE xy色度圖表上表示的色彩層次對對象A著色，所以在區(qū)域SA1_4和SA2_4上執(zhí)行的處理是這樣的時間描述的對每點的色度進行變換的處理主要變換被執(zhí)行，以將連接點Pbl和I^a的直線1-1’變換為連接點Pbl和I^sa’的直線1-11。更具體地，保持區(qū)域SA1_4的顏色等于點Pbl表示的顏色，并且將區(qū)域SA2_4的顏色變換為由連接點Pbl和點PSa’ (0. 29,0. 45)的直線上的點 (0. 215,0. 265)表示的顏色。在步驟S24，該顏色變換操作也被額外存儲在臨時存儲部104 中。如上所述，當(dāng)?shù)?幀的處理完成時，流程返回圖2中的步驟SlO以處理圖3中所示的第5幀。在第5幀中，對象A的區(qū)域M由于被隱藏在對象B之后所以消失。此時，如圖 5中所示，對象檢測部分112檢測對象A和B，并且由混淆區(qū)域提取部分116執(zhí)行的混淆區(qū)
域確定產(chǎn)生答案“沒有一個”。所以，圖2中所示的處理流程從步驟S14進行到步驟S30，以執(zhí)行步驟S30和后續(xù)步驟的處理。具體地，基于對象A和B的提取結(jié)果以及被參考的幀(第4幀)的混淆區(qū)域存在標(biāo)記的狀態(tài)，確定是否執(zhí)行顏色變換。在第5幀的情況下，被參考的在前幀或者第4幀的混淆區(qū)域存在標(biāo)記的狀態(tài)為“ 1”(步驟S30)，并且通過對第5幀執(zhí)行的處理檢測出了對象A和對象B(步驟S3》。所以，對第4幀執(zhí)行的顏色變換操作的記錄被從臨時存儲部104 的處理內(nèi)容保存區(qū)讀出，并且參考該記錄對對象A中的沒有被對象B隱藏的區(qū)域SA2_5的一部分以及區(qū)域SA1_5執(zhí)行顏色變換處理(步驟S34)。類似地對后續(xù)幀執(zhí)行上述處理。具體地，即使當(dāng)混淆區(qū)域提取部分116確定當(dāng)前幀不包括混淆區(qū)域時，檢測也會被執(zhí)行以獲取對參考幀執(zhí)行的混淆區(qū)域的提取的結(jié)果以及有關(guān)包括混淆區(qū)域的對象的信息。當(dāng)在當(dāng)前處理的幀中檢測出的對象包括與包括混淆區(qū)域的參考幀中的對象相同的對象，則對除了混淆區(qū)域以外的當(dāng)前幀中的對象執(zhí)行顏色變換。 在任意圖像幀k中，參考處理內(nèi)容保存區(qū)對被包括在對象A中但沒有被包括在區(qū)域M中的區(qū)域SAl_k和SA2_k執(zhí)行與應(yīng)用于混淆區(qū)域的顏色變換相類似的顏色變換。以上通過示例描述了在第5幀中區(qū)域M被隱藏在區(qū)域Sb后面的情況。即使當(dāng)由于對象A的移動使得區(qū)域&退出屏幕從而導(dǎo)致混淆區(qū)域從第5幀中消失時，也可以對第5 幀執(zhí)行類似的處理。為了描述的簡單，以上實施例是基于這樣的假設(shè)描述的，其中利用具有三個等級的色彩層次對對象A著色，從而以CIE xy色度圖表上的直線形式繪制對象A。即使對于利用更精細更復(fù)雜的色彩層次著色的圖像或者其中在相同對象中利用了補色或者對比效果的圖像，也可以根據(jù)本實施例執(zhí)行顏色變換和亮度處理。在這種情況下，當(dāng)以上述方式對另一幀執(zhí)行顏色變換處理時，可以利用被應(yīng)用于包括混淆區(qū)域的幀的圖像處理或者顏色變換處理的記錄。在上述實施例中，當(dāng)前處理幀之前的最后幀被用作參考幀，并且通過參考在前一幀中執(zhí)行的包括混淆區(qū)域的對象的檢測結(jié)果來執(zhí)行變換在后幀的顏色的處理。相同運動圖像序列中的較老的幀替代地可以被選擇作為參考幀。在圖3所示的示例中，第0至第3幀中不存在對象B，所以這些幀中不存在混淆區(qū)域。然而，可以基于在所有幀中執(zhí)行的混淆區(qū)域的檢測結(jié)果，對第0至第3幀中的對象A執(zhí)行顏色變換。在這種情況下，可以對感興趣的序列的所有圖像幀執(zhí)行包括混淆區(qū)域的對象的提取和對象的檢測和追蹤。然后，可以通過按考對第4幀的顏色變換處理，對第0至第3幀中的對象A的區(qū)域Sa_k、SAl_k、以及SA2_ k執(zhí)行顏色變換處理。如上所述，當(dāng)本實施例被應(yīng)用于包括對于具有一場顏色視覺的人來說難以區(qū)分的顏色組合的運動圖像序列時，即使該序列的一個圖像幀不包括混色，當(dāng)感興趣的幀的前一或后一圖像幀包括可以被與另一色度混淆的色度時，也要對該圖像幀執(zhí)行顏色變換。所以， 顏色變換被應(yīng)用于連續(xù)的運動圖像幀，從而使得色度之間的連續(xù)性可以被貫穿該序列而在時間和空間上保持。所以可以可靠的防止運動圖像由于色度之間的不連續(xù)的轉(zhuǎn)變而導(dǎo)致的被以降級的質(zhì)量在視覺上觀察到。盡管參考附圖詳細描述了本公開的實施例，但是本公開不限于此。本領(lǐng)域技術(shù)人員應(yīng)該明白，在所附權(quán)利要求所描述的技術(shù)概念的范圍內(nèi)可以作出各種修改和改變，并且這些修改和改變屬于本公開的范圍。本公開包含于2010年5月27日在日本專利局遞交的日本優(yōu)先權(quán)專利申請JP 2010-121670公開的主題，其內(nèi)容通過引用被全部結(jié)合于此。
權(quán)利要求
1.一種顏色變換設(shè)備，包括輸入部，用于從每幀獲取運動圖像內(nèi)容的圖像數(shù)據(jù)； 對象檢測部，用于從每幀圖像檢測對象；混淆區(qū)域提取部，用于從所檢測出的對象提取具有混淆色度的混淆區(qū)域；以及顏色變換部，用于在所述混淆區(qū)域被提取自特定幀時，對所述特定幀或者包含提取出所述混淆區(qū)域的對象的另一幀中的至少包含所述混淆區(qū)域的區(qū)域執(zhí)行顏色變換。
2.根據(jù)權(quán)利要求1所述的顏色變換設(shè)備，還包括顏色變換處理存儲部，用于存儲對所述特定幀執(zhí)行的顏色變換處理的內(nèi)容，其中當(dāng)對所述另一幀執(zhí)行顏色變換時，所述顏色變換部使用存儲在所述顏色變換處理存儲部中的處理內(nèi)容。
3.根據(jù)權(quán)利要求1所述的顏色變換設(shè)備，還包括對象存儲部，用于存儲所述特定幀中的執(zhí)行了顏色變換的對象，其中當(dāng)存儲在所述對象存儲部中的對象存在于所述另一幀中時，所述顏色變換部對所述另一幀執(zhí)行顏色變換。
4.根據(jù)權(quán)利要求1所述的顏色變換設(shè)備，其中所述混淆區(qū)域提取部從所述對象檢測部所檢測出的多個對象中的各個對象提取具有會被相互混淆的色度的混淆區(qū)域，所述設(shè)備包括混淆區(qū)域所屬對象提取部，用于基于每個對象中的混淆區(qū)域的尺寸從所述多個對象中提取要進行顏色變換的對象，所述顏色變換部對所述多個對象中的由所述混淆區(qū)域所屬對象提取部所提取的對象執(zhí)行顏色變換。
5.根據(jù)權(quán)利要求1所述的顏色變換設(shè)備，其中所述顏色變換部對具有會導(dǎo)致對象之間的相互混淆的色度的混淆區(qū)域執(zhí)行顏色變換，使得所述混淆區(qū)域在xy色度圖上不位于同一條混淆線上。
6.一種顏色變換方法，包括從每幀獲取運動圖像內(nèi)容的圖像數(shù)據(jù)； 從每幀圖像檢測對象；從所檢測出的對象提取具有混淆色度的混淆區(qū)域；當(dāng)所述混淆區(qū)域被提取自特定幀時，對所述特定幀中的至少包含所述混淆區(qū)域的區(qū)域執(zhí)行顏色變換；以及對包含提取出所述混淆區(qū)域的對象的另一幀中的至少包含所述混淆區(qū)域的區(qū)域執(zhí)行顏色變換。
7.一種使計算機充當(dāng)以下裝置的程序用于從每幀獲取運動圖像內(nèi)容的圖像數(shù)據(jù)的裝置； 用于從每幀圖像檢測對象的裝置；用于從所檢測出的對象提取具有混淆色度的混淆區(qū)域的裝置；以及用于在所述混淆區(qū)域被提取自特定幀時，對所述特定幀或者包含提取出所述混淆區(qū)域的對象的另一幀中的至少包含所述混淆區(qū)域的區(qū)域執(zhí)行顏色變換的裝置。
全文摘要
公開了一種顏色變換設(shè)備、顏色變換方法、和顏色變換程序。該顏色變換設(shè)備包括輸入部，用于從每幀獲取運動圖像內(nèi)容的圖像數(shù)據(jù)；對象檢測部，用于從每幀圖像檢測對象；混淆區(qū)域提取部，用于從所檢測出的對象提取具有混淆色度的混淆區(qū)域；以及顏色變換部，用于在混淆區(qū)域提取自特定幀時，對特定幀或者包含提取出混淆區(qū)域的對象的另一幀中的至少包含混淆區(qū)域的區(qū)域執(zhí)行顏色變換。
文檔編號G06T7/20GK102262776SQ20111013600
公開日2011年11月30日 申請日期2011年5月20日 優(yōu)先權(quán)日2010年5月27日
發(fā)明者荒船晶 申請人:索尼公司