圖像處理裝置、圖像處理方法及程序的制作方法

文檔序號：7710908閱讀：237來源：國知局

專利名稱：圖像處理裝置、圖像處理方法及程序的制作方法
技術領域：
本發(fā)明涉及圖像處理裝置、圖像處理方法及程序.具體地說，本發(fā)明涉及對二維圖像進行圖像轉換以生成具有立體視覺能力的雙眼視差圖像的圖像處理裝置、圖像處理方法及程序。
背景技術：
迄今，已經提出了用于將二維圖像轉換成具有立^覺能力的雙BMSL 差圖像的裝置及方法的多種方案.基于二維圖像而生成的雙B械差圖像包含分別由右眼及左眼來觀察的右眼用的圖像與左B艮用的圖像的對。通過使
視差圖像，觀察者能夠感知到作為立,覺圖像的圖4象。
已經公開的關于對這樣的圖像的生成及顯示處理的現有技術包括下列技術。
例如，日本未審專利申請平9-107562號公報-&開了一種用于在水平方向上有運動的運動圖像的圖像處理結構。具體地說，在該圖《象處理結構中，將原始圖IN^出成右眼用的圖^^左眼用的圖像中的一個圖像，并將條現場有延遲的圖傳瑜出成右眼用的圖像或左眼用的圖像中的另一圖像。通過這樣的圖像輸出控制，該技術使得用戶能夠感知到水平地移動的物體比背景近。
此外，日本未審專利申請平8-30806號公報提出了一種通過將右眼用的圖像與左眼用的圖像沿水平方向移動預定量來使得用戶能夠感知到靜止圖像或具有微小運動的運動圖像突顯出來的裝置，
此外，日本未審專利申請平10-51812號'i^艮提出了以下方法在該方法中，將圖像劃分成多個視差計算區(qū)，根據圖像的特征量針對各個區(qū)來計算偽深度，并基于該深度來將右B艮用的圖像與左眼用的圖4象沿相反的方向水平地移動。
7此外，按與日本未審專利申請平10-51812號公才M目同的方式，曰本未審專利申請2000-209614號公報提出了一種通過基于根據圖像的特征量而計算出的延遲量來在改變右眼用的圖像及左眼用的圖像沿水平方向的延遲量的同時對沿水平方向的延遲量進行限制，以使得不生成多于必要的雙目MSL差從而防止眼疲勞的方案。
另外，日本未審專利申請2005-151534號^SJ艮提出了以下方法在該方法中，計算圖像的上部及下部的特征量，對表示預先提供的深度信息的多個場景結構的組合比率進行調整，以使得圖像由簡單的結構的組合來表現。
上述現有技術具有下述問題。
在曰本未審專利申請平9-107562號公報中所描述的圖像轉換裝置僅使得能夠立體地觀看以恒定的i^水平地運動的物體。未對包含多個運動被攝體的圖像及包括復雜運動的圖像正確地設定雙目M^差，物體被置于不自然的位置處，并且視網膜象差變得太大，由此認為未形成立體現覺。
此夕卜，在日本未審專利申請平8-30806號公報中所描述的圖像轉換裝置中，對于靜止圖像或有微小運動的運動圖像，僅進行整個畫面的移動，因此不能表現圖像中的物體之間的前后關系。
在曰本未審專利申請平10-51812號公才ML 2000-209614號公報中所描述的圖像轉換裝置中，根據圖像的特征量來估計偽深度。然而，該估計是基于畫面前方的物體具有高清晰度、高亮度及高飽和度的假設，因此該估計不一定正確。因此，其深度被#^地估計的物體被賦予錯誤的視網膜象差，因此該物體被置于錯誤的位置處。
在日本未審專利申請2005-151534號公才艮中所描述的圖像轉換裝置中，將圖像的結構應用于相對簡單的有限結構，因此限制了不自然深度的發(fā)生。然而，所有的現有技術方法所共有的問M，在所生成的雙目^差圖像中發(fā)生相對大的視網膜象差。使用立體顯示裝置來立體地顯示雙目MSL 差圖像。通常，觀察者佩戴一副特殊的眼鏡(例如，利用偏振濾波器或濾色器來將圖像分成分別地用于右目IL^左眼的圖4象的無源眼鏡，或利用液晶
用立體顯示裝置來觀察圖寸象。
在，財具有大視網膜象差的雙BWL差圖像時，觀察者能夠在佩戴這樣的用于立覺的眼鏡的狀態(tài)下，根據視網膜象差而感知到立體效果。然而，在觀察者在不佩戴所述眼鏡的情況下觀看畫面時，所看到的右眼用的
圖^ML左眼用的圖像是在很大程度上彼此重疊的圖像，使得難以看到通常的二維圖像。即，僅在佩戴所述眼鏡的狀態(tài)下才能欣賞到經現有技術的圖像轉換裝置轉換的圖像。
此外，認為大視網膜象差對觀察者的疲勞有影響。例如，在日本未審專利申請平6-194602號公才艮中，描述了以下事實如果右眼用的圖係A 左眼用的圖像具有大的偏移，則按照在真實世界中觀看的方式，在對會聚角的控制與對晶體透鏡的調整之間產生矛盾，并且該矛盾導致4吏用雙目1* 差的立,覺的疲勞。
此外，在曰本未審專利申請平10-51812號公才艮、2000-209614號7>報及2005-151534號公報中所描述的圖像轉換裝置中，才艮據圖4象來估計偽深度。然而，難以根據一個圖像來險測詳細的深度。例如，不易于估計微小結構(例如，樹枝、電線及頭發(fā))的深度。因此，不可能對這些微小的被攝體賦予立體效果。

發(fā)明內容
本發(fā)明例如解決上述問題，并抑制由于對深度的4m估計而導致的錯誤的立體效果的發(fā)生。由此，本發(fā)明使得能夠在將右眼用的圖像與左眼用的圖像組合起來時重構原始圖像或接近于原始圖像的圖像。即，期望提供一種使得觀察者能夠在不佩戴立體視覺眼鏡的狀態(tài)下欣賞通常的二維圖像、并同時實現對帶給觀察者的疲勞很小的雙目MSL差圖像的生成及呈現的圖像處理裝置、圖像處理方法及程序。
根據本發(fā)明的實施例，提供了一種圖像處理裝置，該裝置包括圖像輸入部，其輸入二維圖像信號；圖像轉換部，其將從所述圖^J^入部輸出的圖傳 ff號輸入，并且生成用于允許雙眼立,覺的右眼用的圖M左眼用的圖像并將其輸出；以及圖^L^出部，其將從所述圖像轉換部輸出的右眼用的圖象良左眼用的圖傳踰出，其中，所述圖傳游換部提取所輸入的圖像信號的空間特征量，并進行圖像轉換處理，該圖像轉換處理實施將該特征量應用于所輸入的圖像信號的增強處理，以生成右眼用的圖4象或左眼用的圖像。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖像轉換部可以提取所輸入的圖像信號的微分亮度信號，可以將該微分亮度信號設定為所述特征量，可以生成通過將所述特征量加到所輸入的圖^象信號上或通it^ 所輸入的圖像信號中減去所述特征量而生成的經轉換的信號作為右眼用的圖像信號或左眼用的圖像信號，并且可以輸出直接地作為所輸入的圖像信號的未經轉換的信號，以作為用于眼睛中與針對其生成所述經轉換的信號的眼睛不同的另一眼睛的圖4象信號。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖4象轉換部可以
提取所輸入的圖像信號的微分亮度信號，可以將該微分亮JL信號i殳定為所述特征量，可以分別地通過將所述特征量加到所輸入的圖l象信號上及通過從所輸入的圖像信號中減去所述特征量來生成信號，并且可以將所述兩個信號的對生成為右眼用的圖像與左眼用的圖像的對。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖像轉換部可以提取所輸入的圖像信號的微分亮度信號，可以將通itxt該微分亮度信號進行非線性轉換而生成的信號設定為所述特征量，可以通過將所述特征量加到所輸入的圖像信號上或通過從所輸入的圖像信號中減去所述特征量來生成信號，并且可以將所述信號中的任一信號生成為右眼用的圖像信號或左眼用的圖像信號。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖《象轉換部可以包括邊緣區(qū)檢測部，其檢測所輸入的圖像信號的邊緣區(qū)；增強控制部，其對由所述邊緣區(qū)檢測部所檢測到的邊緣區(qū)進行將所述特征量減小的特征量修正；以及圖像組合部，其應用由所述增強控制部所生成的經l務正的特征量，并實施將對所述邊緣區(qū)的增強處理水平減小的增強處理。
此外，在^L據本發(fā)明實施例的圖像處理裝置中，所述圖4象轉換部可以包括肉色區(qū)檢測部，其檢測所輸入的圖像信號的肉色區(qū)；增強控制部，其對由所述肉色區(qū)檢測部所檢測到的肉色區(qū)進行將所述特征量減小的特征量修正；以及圖像組合部，其應用由所述增強控制部所生成的經修正的特征量，并實施將對所述肉色區(qū)的增強處理水平減小的增強處理。
此外，在根據本發(fā)明實施例的圖像處理裝置中，其中，所述圖傳游換部可以提取所輸入的圖像信號的微分亮度信號，可以將該微分亮度信號設定為第一特征量，可以生成通過將該第一特征量加到所輸入的圖傳4f號的亮度信號上或通過從所輸入的圖像信號的亮度信號中減去該第一特征量而生成的經轉換的信號作為右眼用的圖像或左眼用的圖像的亮度信號，可以提取所輸入的圖像信號的微分色差信號，可以將該微分色差信號i殳定為第二特征量，可以生成通過將該第二特征量加到所輸入的圖像信號的色差信號上或通過從所輸入的圖像信號的色差信號中減去該第二特征量而生成的經轉換的信號作為右眼用的圖像或左眼用的圖像的色差信號，并且可
以輸出直接地作為所輸入的圖像信號的未經轉換的信號，以作為用于眼睛中與針對其生成所述經轉換的信號的眼睛不同的另一眼睛的圖寸象。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖像轉換部可以提取所輸入的圖像信號的微分亮度信號，可以將該微分亮度信號設定為第一特征量，可以分別地通過將該第一特征量加到所輸入的圖像信號的亮度信號上及通過從所輸入的圖像信號的亮度信號中減去該第一特征量來生成信號，可以將所述兩個信號的對生成為右眼用的圖像的亮度信號與左眼用的圖像的亮度信號的對，可以提取所輸入的圖像信號的微分色差信號，可以將該微分色差信號設定為第二特征量，通過將該第二特征量加到所輸入的圖像信號的色差信號上及通過從所輸入的圖像信號的色差信號中減去該第二特征量來生成信號，并且可以將所述兩個信號的對生成為右眼用
的圖像的色差信號與左B艮用的圖像的色差信號的對。
此外，在才艮據本發(fā)明實施例的圖4象處理裝置中，所述圖4象轉換部可以
4象的處理。
、此外根據本發(fā) 實施例'的圖像處理裝置還可以包括圖像輸出部，
圖^U^換部所生成-的-右眼用的圖>(|1^左眼用的^像。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖像轉換部可以像。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖像轉換部可以
.，并
含的線數據的雙眼視差圖像的生成處理。
此外，在^L據本發(fā)明實施例的圖像處理裝置中，所述圖像轉換部可以
此外，根據本發(fā)明實施例的圖像處理裝置還可以包括圖像顯示部，其對由所述圖像轉換部生成的圖傳進行顯示。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖像顯示部可以進行交替地輸出右眼用的圖像及左眼用的圖像的時分立體顯示處理。
此外，在根據本發(fā)明實施例的圖像處理裝置中，在所述圖像顯示部進行交替地輸出右眼用的圖像及左眼用的圖像的時分立體顯示處理時，所述
方式來切換顯示。
此外，在根據本發(fā)明實施例的圖像處理裝置中，所述圖像顯示部可以
具有以下結構在所述顯示部的前表面上貼附有其偏振方向針對每個水平線設定得不同的偏振濾波器，并且可以顯示交替地包含形成由所述圖像轉換部所生成的右眼用的圖像及左眼用的圖像的線數據的雙目MSL差圖像。
根據本發(fā)明的另一實施例，提供了一種圖像處理裝置，該裝置包括圖傳瑜入部，其輸入二維圖像信號；圖像轉換部，其將從所述圖傳^r入部輸出的圖像信號輸入，并且生成用于允許立,覺的右眼用的圖像或左眼用的圖像并將其輸出；以及圖^J^出部，其將從所述圖像轉換部輸出的右眼用的圖傳"良左眼用的圖傳瑜出，其中，所述圖像轉換部按照使得將右眼用的圖像與左眼用的圖像的加和信號設定成等于或大致上等于所輸入的信號的方式來進行右眼用的圖傳及左B艮用的圖像的生成處理。
根據本發(fā)明的另一實施例，提供了一種圖像處理裝置中的處理圖像的方法，該方法包括步驟由輸入二維圖像信號的圖傳J^入部來輸入所述圖像；由將從所述圖像輸入部輸出的圖像信號輸入、并且生成用于允許雙眼
所述圖^i^行轉換；以及由將從所述圖傳游換部輸出的右眼用的圖像及左眼用的圖 ^出的圖#^出部將所述圖^^出，其中，所述轉換圖4象的步驟提取所輸入的圖像信號的空間特征量，并進行圖像轉換處理，該圖像轉換處理實施將該特征量應用于所輸入的圖〗象信號的增強處理，以生成右眼用的圖4線左眼用的圖像。
根據本發(fā)明的另一實施例，提供了一種用于使圖像處理裝置進行圖像處理的程序，所述圖像處理包括以下步驟由輸入二維圖像信號的圖傳瑜入部來輸入圖像；由將從所述圖傳瑜入部輸出的圖像信號輸入、并且生成像轉換部ijmt所述圖^ji行轉換；以及由將從所述圖像轉換部輸出的右眼
用的圖^j^左眼用的圖^^r出的圖^^出部將所述圖^^r出，其中，所述轉換圖像的步驟提取所輸入的圖像信號的空間特征量，并進行圖像轉換處理，該圖像轉換處理實施將該特征量應用于所輸入的圖像信號的增強處理，以生成右眼用的圖像或左眼用的圖像。
在這點上，本發(fā)明的計算;^序是能夠通it^儲介質及通信介質來提
供給例如執(zhí)行各種程序代碼的通用計算機系統(tǒng)的、計算機可讀格式的計算 M序。通過提供這樣的計算機可讀格式的程序，在計算機系統(tǒng)上執(zhí)行根據該程序的處理。
通過基于本發(fā)明的下列實施例及附圖的詳細描述，本發(fā)明的其他目的、特;ML優(yōu)點將變得清楚。在這點上，在本說明書中，系統(tǒng)是多個裝置的邏輯集合，而并不限于包含在同一殼體中的組成裝置的集合。
通過本發(fā)明的實施例，在其中輸入二維圖像信號并生成右眼用的圖像及左眼用的圖像以實現雙眼立⑩覺的結構中，圖像轉換部提取所輸入的信號的空間特征量，并進行使用該特征量來對所輸入的圖像信號實施增強處理的圖像轉換處理，以生成右眼用的圖像及左眼用的圖像。具體地說，將所輸入的圖像信號的微分亮度信號或通過對該微分亮度信號進行非線性轉換而生成的信號確定成特征量。通過將該特征量加到所輸入的圖像信號上及通過從所輸入的圖像信號中減去該特征量來生成兩個信號，并將這
兩個信號的對生成為右眼用的圖像與左B艮用的圖像的對。利用這種結構，
能夠通過筒單的信號處理來生成具有立體現覺能力的圖《象。并且，右眼用的圖像與左眼用的圖像的加和信號成為等于所輸入的信號。因此，在用戶在不佩戴立體眼鏡的情況下觀察圖像時，該用戶能夠看到作為通常的二維圖像的圖像。

圖l是例示根據本發(fā)明實施例的圖像處理裝置的結構的示例的圖2是例示根據本發(fā)明實施例的圖像處理裝置中的圖傳瑜入部的結構的示例的圖3是例示作為根據本發(fā)明實施例的圖像處理裝置中的圖^^入部的處理示例的、在輸入圖像為靜止圖像的情況下的處理序列的流程圖4是例示作為根據本發(fā)明實施例的圖像處理裝置中的圖傳瑜入部的處理示例的、在輸入圖像為運動圖像的情況下的處理序列的流程圖5是例示根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部的結構的示例的圖6是例示由根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部所執(zhí)行的、對圖像信號的非線性轉換處理的示例的圖7是例示由根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部所執(zhí)行的、根據輸入圖像的針對右目ML針對左眼的圖像信號生成處理的示例的圖8是例示由根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部所執(zhí)行的、根據輸入圖像的針對右BM^針對左眼的圖像信號生成處理的示例的圖9是例示由根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部所執(zhí)行的、根據輸入圖像的針對右目fLA針對左眼的圖像信號生成處理的示例的圖10是例示由根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部所執(zhí)行的、根據輸入圖像的針對右目ML針對左眼的圖像信號生成處理的示例的圖ll是例示由根據本發(fā)明實施例的圖像處理裝置中的圖傳游換部所執(zhí)行的、根據輸入圖像的針對右目ML針對左眼的圖像信號生成處理的示例的圖12是例示由根據本發(fā)明實施例的圖像處理裝置生成的、右眼圖像與左眼圖像之間的視網膜象差的圖13是例示由根據本發(fā)明實施例的圖像處理裝置生成的、右眼圖像與左眼圖像之間的視網膜象差的圖14是例示由根據本發(fā)明實施例的圖像處理裝置生成的、右眼圖像與左眼圖像之間的視網膜象差的圖15是例示由根據本發(fā)明實施例的圖像處理裝置生成的、右眼圖像與左眼圖4象之間的雙目MSL差的圖16是例示由根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部所執(zhí)行的處理序列的流程圖；圖17是例示根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部的結構的示例的圖18是例示根據本發(fā)明實施例的圖像處理裝置中的圖像轉換部的結構的示例的圖；以及
圖19是例示根據本發(fā)明實施例的圖像處理裝置的結構的示例的圖。
具體實施例方式
下面，將參照附圖來對根據本發(fā)明實施例的圖像處理裝置、圖像處理方法及程序進行詳細的描述。將按照下列項目來進行描述。
1. 根據本發(fā)明第一實施例的圖像處理裝置
1.1根據本發(fā)明的圖像處理裝置的結構及處理的概要
1.2由根據本發(fā)明的圖像處理裝置生成的右眼用的圖像及左眼用的圖4象的結構及輸出的示例
1.3關于由根據本發(fā)明的圖像處理裝置生成的右眼用的圖像及左眼用的圖像的視網膜象差
1.4關于根據本發(fā)明的圖像處理裝置的圖像轉換部的處理序列
2. 包含對特定圖像區(qū)的檢測及控制處理的根據本發(fā)明第二實施例的圖像處理裝置
3. 生成與色差信號相對應的右圖像信號及左圖像信號的根據本發(fā)明第三實施例的圖像處理裝置
4. 具有圖像顯示部的圖像處理裝置的結構的示例 1.根據本發(fā)明第一實施例的圖像處理裝置
首先，將參照圖l及其他附圖iM"本發(fā)明的第一實施例進行描述。
1.1根據本發(fā)明的圖像處理裝置的結構及處理的概要
圖1是例示根據本發(fā)明實施例的圖像處理裝置的圖。在圖像處理裝置 100中，圖^^入部110接^數字照相機等輸出的靜止圖像文件以及從攝#4^等輸出的運動圖像數據，并將該文件及該數據轉換成內部數據格式。此處，內部數據格式U帶運動圖^Jt據，并且是三基色(紅色(R)、綠色(G)、藍色(B))的視頻數據或包括亮度(Y)及色差(Cb，Cr)的視頻數據。內部數據格式上疊加有色彩空間的識別信號，使得可以使用任
意色彩空間，只要后續(xù)階段中的色彩空間轉換部120與該色彩空間相對應即可。
從圖^J^入部110輸出的視頻數據被輸入到色彩空間轉換部120中，并被轉換成亮度信號及色差信號。此時，如果所輸入的視頻數據符合圖像轉換部130的處理數據(例如，符合Y、 Cb、 Cr色彩空間)，則色彩空間轉換部120不進行色彩空間轉換而輸出該數據。如果所輸入的視頻數據符合R、 G、 B色彩空間或其他色彩空間，則色彩空間轉換部120進行到亮度(Y)信號及色差(Cb，Cr)信號的轉換，并輸出這些信號。
在這點上，從色彩空間轉換部120輸出的視頻數據的色彩空間并不限于Y、 Cb、 Cr色彩空間。該色彩空間可以是任意色彩空間，只要該色彩空間符合圖《象轉換部130的處理翁:據并且亮度分量與色彩分量分開即可。例如，可以使用亮度信號(Y)及色差信號(U，V)。
從色彩空間轉換部120輸出的視頻數據被輸入到圖像轉換部130中。圖像轉換部130通過稍后描述的處理來生成右眼用的雙目lb現差圖^f象及左眼用的雙目^差圖像，并根據立體顯示裝置來將這些圖像組^來。即，圖傳游換部130提取所輸入的圖像信號的空間特征量，并對所提取的特征量進行不同的增強處理，以生成右眼用的圖^^良左眼用的圖像。
從圖像轉換部130輸出的視頻數據被輸入到色彩空間反轉換部140 中，并被從Y、 Cb、 Cr色彩空間轉換到根據輸出圖像格式的色彩空間。此時，如果輸出圖像格式符合Y、 Cb、 Cr色彩空間，則色彩空間反轉換部140不進行色彩空間轉換而輸出視頻數據。以該方式，圖l例示了具有色彩空間轉換部120及色彩空間反轉換部140的結構。然而，這些組成部分并非不可缺少，而是可以省略的。
從色彩空間反轉換部140輸出的視頻數據被輸入到圖^^出部150 中。圖像輸出部150將該視頻數據轉換成能夠由外部連接的、且能夠通過對經圖像轉換部130轉換的雙目lb現差圖傳ii行顯示而實現立^現覺的立體顯示裝置來接收的視頻數據。
在這點上，在本實施例中，描述了以下方法在該方法中，輸入靜止圖像，并利用圖#^入部110來將該圖^#換成視頻數據。然而，本發(fā)明并不限于該方法?？梢詫⒁粋€靜止圖^象轉換成用于右目Ml用于左眼的兩個圖像，并且可以將兩個靜止圖像的文件輸出給例如存儲卡等。圖2是例示根據實施例的圖傳瑜入部110的結構的框圖。圖傳瑜入部 110包括存儲卡接口 111，其用于輸入靜止圖像文件等；USB接口U2，其用于直接地連接視頻裝置；視頻接口 113，其用于輸入視頻信號；幀存儲器114;解碼器115及視頻輸出部116。作為圖傳瑜入部110中的處理的示例，將參照圖3中的流程圖;M"輸入靜止圖像的處理序列進行描述'在步驟S101中，圖^J^入部110開始輸入靜止圖像。在步驟S102中，圖像輸入部IIO檢查是否在存儲卡接口 111中插入了存儲卡，并確定是否要從該存儲卡輸入圖像數據。如果插入了存儲卡，則處理前進到步驟S104,而如果未插入存儲卡，則處理前進到步驟S103。在步驟S103中，圖^J^入部110檢查USB接口 112是否連接有能夠輸入靜止圖像的外部裝置，并確定是否要從USB接口 112輸入圖像數據。如果連接有USB裝置，則處理前進到步驟S105。如果未連接USB裝置，則終止圖傳瑜入處理。此處，對從其輸入靜止圖^Jt據的介質的確定可以通過使用圖中未示出的IMt部指示輸入裝置的方法來指定。在步驟S104中，圖傳瑜入部110從存儲卡中所記錄的靜止圖像文件中讀取圖^Jt據。此時，可以使用圖中未示出的操作部來選擇存儲卡中的靜止圖像文件。作為另一種選擇，可以按基于某些準則而確定的順序來自動地選##止圖像文件。在步驟S105中，圖像輸入部110 M接到USB接口的外部裝置中讀取靜止圖像數據。此時，可以使用圖中未示出的操作部來選擇外部裝置中的靜止圖像文件。作為另一種選擇，可以按基于某些準則而確定的順序來自動地選##止圖像文件。在步驟S106中，圖^J^入部110將在步驟S104或步驟S105中讀取的靜止圖像數據存儲到幀存儲器114中。在步驟S107中，圖傳瑜入部110在圖中未示出的控制部的控制下從幀存儲器114中讀取靜止圖像lt據。此時，讀取地址指示在步驟S106中存儲的圖^Nt據的開頭。在步驟S108中，圖像輸入部110對靜止圖像進行解碼處理。通常，根據由JPEG (聯(lián)合圖像專家組)等所規(guī)定的格式來對靜止圖^N^據進壓縮。這樣，解碼器ii5通過根據圖膝洛式來進行圖^r展處理，從而重構基帶圖^^:據.在步驟S109中，圖像輸入部110將經解碼的靜止圖^Nffc據作為視頻數據的一幀輸出.此處，視頻數據的格式符合由圖#^出部150所輸出的格式。即，如果圖^*出部150輸出HD (高清晰度)^率且每秒60 幀的視頻數據，則圖中未示出的控制部生成每秒60幀的視頻同步信號，并且圖像輸出部150在該信號的有效區(qū)中應用靜止圖像數據，并輸出該信號。在步驟S110中，確定圖#^出部150是否完成圖^^出處理。如果已完成圖傳瑜出處理，則終止圖傳瑜入處理.如果未完成圖傳瑜出處理，則處理前進到步驟Slll。在步驟Slll中，圖像輸入部110將幀存儲器114的讀取地址初始化，并將該讀取地址設定成指示在步驟S106中存儲的靜止圖像數據的開頭。在步驟Slll中的地址初始化完成時，處理前進到步驟S107，并且其后重復從步驟S107至步驟Slll的處理。以該方式，如果輸入靜止圖像，則圖係瑜入部110進行到具有相同的連續(xù)圖像的視頻數據的轉換。接下來，作為圖傳瑜入部110中的處理的示例，將參照圖4中的流程圖iM"輸入運動圖像的處理序列進行描述。在步驟S201中，圖^N^入部110開始輸入運動圖像。在步驟S202中，圖^j^入部110檢查是否向視頻接口 113中輸入了視頻信號，并確定是否要從該視頻接口輸入運動圖像數據。如果輸入了視頻信號，則處理前進到步驟S205，而如果未輸AifiL頻信號，則處理前進到步驟S203.在步驟S203中，圖像輸入部檢查USB接口 112是否連接有能夠輸入運動圖像的外部裝置，并確定是否要從USB接口 112輸入運動圖像數據。如果連接有USB裝置，則處理前進到步驟S206.如果^接USB裝置，則處理前進到步驟S204.在步驟S204中，圖{綠入部IIO檢查是否在存儲卡接口 111中插入了存儲卡，并確定是否要從該存儲卡輸入運動圖像數據。如果插入了存儲卡，則處理前進到步驟S207，而如果未插入存儲卡，則終止圖傳瑜入處理。此處，對從其輸入運動圖像數據的介質的確定可以通過使用圖中未示出的操作部指示輸入裝置的方法來指定。在步驟S205中，圖像輸入部110從視頻接口 113讀取視頻數據。通過數字視頻傳輸(例如，DVI (數字視頻接口 )、 HDMI (高清多媒體接口 )、 HDSDI (高清串行數字接口 )等)而傳輸來的視頻信號、通it^擬視頻傳輸(例如，NTSC (美國國家電視標準委員會)、組件方式等)而傳輸來的視頻信號被輸入到圖像輸入部UO中。如果輸入模擬視頻信號，則視頻接口 113通過解調處理來將該信號轉換成基帶信號，然后利用A/D 轉換器來將該信號轉換成數字信號.另一方面，如果輸入數字視頻信號，則視頻接口 113通過解調處理來將該信號轉換成基帶信號。在步驟S206中，圖像輸入部110 AUi接到USB接口 112的外部裝置中讀^i^動圖^Jt據。此時，可以使用圖中未示出的操作部來選擇外部裝置中的運動圖像文件.作為另一種選擇，可以按基于某些準則而確定的順序來自動地選擇運動圖像文件。在步驟S207中，圖^1#"入部110 AMHt^中所記錄的運動圖像文件中讀取圖係教據。此時，可以使用圖中未示出的操作部來選擇存儲卡中的運動圖像文件。作為另一種選擇，可以^^基于某些準則而確定的順序來自動地選#^動圖像文件，此處，通過USB接口 112而輸入的運動圖像數據及存儲卡中所記錄的運動圖^Nft據是經由MPEG (運動圖像專家組)等所限定的運動圖像壓縮方式壓縮的流數據，在這樣的壓縮方式中，必須4吏用幀存儲器來進行解碼處理，因此在步驟S208中將所述流數據存儲在幀存儲器114中.在步驟S209中，圖像輸入部110在圖中未示出的控制部的控制下從幀存儲器114中讀^Jl動圖^Jt據。在步驟S210中，圖像輸入部110對運動圖像進行解碼處理。如上所述，幀存儲器114中所記錄的運動圖像數據是經MPEG等壓縮的流數據，因此解碼器115根據圖像格式來進行圖傳4T展處理，以重構基帶視頻數據。在步驟S211中，視頻輸出部116將從視頻接口 113輸出的視頻數據或從解碼器115輸出的視頻數據按內部數據格式輸出。圖5是例示根據實施例的圖像轉換部130的結構的示例的框圖。圖像轉換部130提取所輸入的圖像信號的空間特征量，并對所提取的特征量進19行不同的增強處理，以生成右眼用的圖像及左眼用的圖像。圖像轉換部130包括微分器131、非線性轉換部132及圖像組合部133。微分器131從被輸入到圖像轉換部130中的視頻數據中提取亮度信號，并生成該亮度信號的微分信號。具體地說，水平地輸入圖像的亮度信號，并生成所輸入的亮度信號的一階微分信號。一階^t分處理4吏用例如在水平方向上具有三個抽頭的線性一階導數濾波器。非線性轉換部132對從微分器131輸出的微分信號進行非線性轉換，并且生成視差增強信號[enh并將其輸出。圖6例示了在非線性轉換部132中進行的非線性轉換處理的示例。水平軸表示作為微分亮度信號的、來自微分器131的輸入信號。垂直軸表示非線性轉換處理之后的、非線性轉換部132的輸出。非線性轉換部132 利用預定函數f(x)來對所輸入的微分信號(In)進行轉換，并輸出視差增強信號[enh(Out)。即，Out = f(In)。此時，可以對函數f(x)使用各種設定。例如，作為函數f(x)的示例，使用由式f(x) = xp所示出的指數函數，其中，p為預先設定的系數，并且可以在該系數中設定各種值。并且，非線性轉換部132中的轉換函數并不限于指數函數，而可以應用線性轉換。圖像組合部133接^非線性轉換部132輸出的視差增強信號[enh
及被輸入到圖像轉換部130中的視頻數據，將視頻數據中所包括的各幀圖像與視差增強信號組M來，并進行生成右眼用的圖像及左眼用的圖像的處理。在這點上，如由圖5中的虛線所示出的，可以省略非線性轉換部132 的轉換處理，可以將由微分器131生成的微分信號直接地輸入到圖傳血合部133中，并且圖像組合部133可以進行通過應用微分信號來生成右眼用的圖^ML左眼用的圖像的處理。圖像組^P 133使用視頻數據中所包括的各幀圖^^根據該幀圖像而生成的空間特征量(即，亮度信號的微分信號或通過對該微分信號進行非線性轉換而生成的視差增強信號[enh)來進行右眼用的圖傳"良左眼用的圖像的生成處理。圖7例示了由圖像組合部133執(zhí)行的圖像組合處理的概念。圖7從頂部起按順序示出了下列各個信號。(a) 輸入信號(b) 微分信號(c) 右B艮用的圖像信號(d) 左眼用的圖像信號輸入信號(a)示出了視頻數據的任一幀中的任一水平線的亮度的改變。該輸入信號示出了中央部分為高亮度區(qū)的一條線的示例。在從線位置 (xl)至線位置(x2 )的區(qū)域A中，亮度逐漸地增加。存在從線位置(x2 ) 至線位置(x3)的、其中保持高水平的亮度的高亮度區(qū)。其后，在從線位置(x3)至線位置(x4)的區(qū)域B中，亮度逐漸地減小。微分信號(b )是對輸入信號(a)進行微分的結果。該微分信號是由圖5中所示出的圖像轉換部130中的微分器131生成的信號。如圖7中所示出的，由微分器131生成的微分信號在其中輸入信號(a)的亮度改變為正的區(qū)域A中具有正值，而在其中輸入信號(a)的亮度改變?yōu)樨摰膮^(qū) 域B中具有負值。右眼用的圖像信號(c)及左眼用的圖像信號(d)是由圖5中所示出的圖像轉換部130中的圖像組合部133生成的信號。圖像組^P 133將輸入信號(a)與作為非線性轉換部m對微分信號(b )進行非線性轉換而生成的結果(非線性轉換部132的輸出)的視差增強信號enhl組^來，以生成右眼用的圖l象信號(c)及左眼用的圖傳_信號(d)。假定與由圖7所示出的輸入信號(a)相對應的視頻數據的亮度水平為S，并且通過對由圖7所示出的微分信號(b) i^行非線性轉換而生成的視差增強信號[enh的信號水平為E.圖像組合部133接收與輸入信號(a)相對應的視頻數據S及通itXt 微分信號(b)進行非線性轉換而生成的視差增強信號enhE，并例如利用下式(式-1 )來生成右眼用的圖像信號Right及左眼用的圖像信號Left.Right = S - ELeft = S + E…(式-1)此處，圖像組合部133可以不如(式-1)中所示出的那樣對右眼用的圖像信號Right及左眼用的圖像信號Left都進行轉換，而可以轉換這21兩個圖像信號中的任一圖像信號。即，可以使用以下組合。
Right = S - E Left = S
作為另一種選擇，還可以使用以下組合。 Right = S Left = S + E
通過這樣的處理，右眼用的圖像信號Right及左眼用的圖像信號Left 能夠產生生成用戶的視網膜象差以給出對深度的感知的圖像。在這點上，
稍后將參照圖12 ;su^續(xù)附圖^M"視網膜象差與對深度的感知之間的關系
進行描述，
在這點上，如上所述，可以將非線性轉換部132的轉換處理省略，可以將由微分器131生成的微分信號直接地輸入到圖像組合部133 (圖5中的虛線)中，并且圖像組合部133可以進行通過應用微分信號來生成右眼用的圖像及左眼用的圖像的處理。在這種情況下，由微分信號來替代上述視差增強信號[enhE]。
以該方式，圖像組合部133提取所輸入的圖像信號的空間特征量，并 JLit過對所輸入的圖像信號應用該特征量來進行增強處理，以生成右眼用的圖^L^左眼用的圖像。該特征量是所輸入的圖像信號的微分亮度信號或通itXt該微分亮度信號ii行非線性轉換處理而生成的視差增強信號。
圖7中所示出的右眼用的圖像信號(c) Right是通it^輸入信號(a) 中減去通it)tt微分信號(b )進行非線性轉換而生成的視差增強信號[enh E
而生成的信號。
如圖7中所示出的，右眼用的圖像信號(c) Right被生成為具有下列特性cl至c3的信號。
信號特性
cl:至少在其中輸入信號(a)的亮度改變?yōu)檎椅⒎中盘?b)具有正值的區(qū)域A的一部分中，出現亮度低于輸入信號(a)的信號區(qū)。
c2:至少在其中輸入信號U)的亮度改變?yōu)樨撉椅⒎中盘?b)具有負值的區(qū)域B的一部分中，出現亮度高于輸入信號(a)的信號區(qū)。
22c3:在微分信號(b)的值為0的區(qū)域中，輸入信號(a)不存在亮度的改變。
另一方面，圖7中所示出的左B艮用的圖像信號(d) Left是通過將通it^t微分信號(b)進行非線性轉換而生成的視差增強信號[enhE加到輸入信號(a)上而生成的信號。
如圖7中所示出的，將左眼用的圖像信號(d) Left生成為具有下列特性dl至d3的信號。
信號特性
dl:至少在其中輸入信號(a)的亮度改變?yōu)檎椅⒎中盘?b)具有正值的區(qū)域A的一部分中，出現亮度高于輸入信號(a)的信號區(qū)。
d2:至少在其中輸入信號(a)的亮度改變?yōu)樨撉椅⒎中盘?b)具有負值的區(qū)域B的一部分中，出現亮度低于輸入信號(a)的信號區(qū)。
d3:在微分信號(b)的值為0的區(qū)域中，輸入信號(a)不存在亮度的改變。
如上所述，圖像組合部133將輸入信號(a)與作為非線性轉換部132對微分信號(b)進行非線性轉換而生成的結果(非線性轉換部132的輸出)的視差增強信號[enh組合起來，以生成右眼用的圖像信號(c)及左眼用的圖像信號(d)。
在這點上，例如，如果要被轉換的輸入信號為靜止圖像，則圖像組合部133通過^L據上述式—1的信號組合處理，針對構成靜止圖4象的一幀圖像而生成右眼用的圖像信號(c)及左眼用的圖像信號(d)。
并且，如果要被轉換的輸入信號為運動圖像，則圖像組合部133通過根據上述式-1的信號組合處理，針對運動圖像中所包含的每一幀圖像而生成右眼用的圖像信號(c)及左眼用的圖4象信號(d)。然而，在運動圖像的情況下，右眼用的圖像信號及左眼用的圖像信號的生成模式可以根據最g行圖像顯示的圖像輸出部150 (參照圖1)及顯示裝置的控制方式來改變。在下文中，將參照圖8及后續(xù)附圖iM"在要被轉換的輸入信號為運動圖像(視頻數據)的情況下由圖像組合部133所進行的處理的多個示例進行描述。
首先，將參照圖8來對在要被轉換的輸入信號為運動圖像(視頻數據)的情況下由圖像組合部133進行的基本處理的示例進行描。圖8中所示出的處理的示例是其中圖像組合部133針對所輸入的視頻數據的所有的各個幀(幀n、幀n+l、幀n+2、幀n+3、...)而生成右眼用的圖像Right 及左眼用的圖^象Left的處理的示例。
圖像組合部133針對圖8中所示出的所有的輸入幀(a)，將輸入信號 (a)的亮度信號與作為對微分信號(b)進行非線性轉換的結果的視差增強信號enh組M來，并且生成圖8中所示出的右眼用的圖像信號(c) 及左眼用的圖像信號(d)并將它們輸出。在這種情況下，圖像組合部133 輸出雙系統(tǒng)的視頻信號。
例如，利用上述式(式-l)來進行該組合處理.即，假定與圖7中的輸入信號(a)相對應的視頻數據的亮度水平為S，并且通過對圖7中的微分信號(b)進行非線性轉換而生成的視差增強信號[enhl的信號水平為E，則利用下式來生成右眼用的圖像Right及左眼用的圖像Left。
右眼用的圖像信號Right-S-E
左眼用的圖像信號Left = S + E
在圖8中所示出的基^處理的示例中，圖像組合部133輸出針對所有的幀的右眼用的圖像及左B艮用的圖像的雙系統(tǒng)視頻信號。接收到該雙系統(tǒng) 視頻信號的圖^^T出部150 (參照圖1)將數據輸出給實現立g覺的顯示裝置。該顯示裝置根據實現立體視覺的各種顯示方式來進行輸出控制。顯示裝置的顯示方式例如包括，支持利用偏振濾波器或濾色器來將圖像分成分別由右BIL良左BMSL察的圖像的無源眼鏡方式的圖傳瑜出方式，或支持通過交替地打開及關閉右部液晶光閥及左部液晶光閥而將圖4象在時間上
顯示裝置使用由圖4象組合部133生成的雙系統(tǒng)視頻信號，,上述顯示方式中的任一顯示方式來顯示圖《象，
1.2由推魂本發(fā)明的圖像處理裝置生成的右眼用的圖泉良左眼用的圖 4象的結構及輸出的示例
在預先確定了圖像顯示方式時，圖像組合部133能夠根據各圖像輸出方式來生成輸出圖像信號并將其輸出。在下文中，將參照圖9至圖11來對圖像組合部133推，據三種不同的顯示方式的處理的示例進:行描述.
用于最終地顯示圖^^的顯示裝置的顯示方式包括如下三種顯示方式。
(1 )按時分方式交替地輸出右眼用的圖IML左眼用的圖4象的方式(圖
9)
24這種方式例如是支持通過交替地打開及關閉右部液晶光閥及左部液
鏡方式的圖^J^出方式。
(2 )按時分方式交替地輸出右眼用的圖像及左眼用的圖4象的方式中的具有高速輸出幀頻的方式(圖10)
這種方式是與圖9中的時分方式相同的時分方式，但是具有高速輸出幀頻。
(3 )在空間上分開右眼用的圖像及左眼用的圖像并同時地輸出這些圖像的方式(圖ll)
這種方式例如是支持利用偏振濾波器或濾色器來將圖像分成分別由右目fL良左目ML察的圖像的無源眼鏡方式的圖像輸出方式。例如，在空分方式的立體顯示裝置中，將其偏振方向針對每個水平線設定得不同的偏振濾波器貼附在顯示器的前表面上，使得在用戶通過偏振濾波方式的眼鏡來觀看圖像時，用戶以右目ML左眼分開地針對每個水平線的方式來觀，頻。
首先，參照圖9，對在最終地顯示圖像的顯示裝置的顯示方式是在時
133的處理的示例ii行描述。
在這種圖像顯示方式的情況下，圖像組合部133針對所輸入的視頻數據的各幀(幀n、幀n+l、幀n+2、幀n+3、...)，交替地針對各幀而生成右眼用的圖像Right及左眼用的圖像Left并將其輸出。
圖像組合部133將所輸入的視頻數據的奇數編號的幀及偶數編號的
的圖4象)，并輸出該視頻數據的幀。通過圖像顯示裝置中的圖傳瑜出部150
將各
晶光閥
方式的眼鏡的光閥的打開及關閉相同步。即，進行控制以使得左眼用的圖 IML右眼用的圖像在時間上交替地分別由左目M^右眼4U見察。
為了將圖像輸出給這樣的時分立體顯示裝置，圖像組^]S 133針對所輸入的視頻lt據的各幀(幀n、幀n+l、幀n+2、幀n+3、…)，交替M 右眼用的圖泉艮左眼用的圖像進行圖像組合處理。即，如圖9中的(c) 及(d)所示出的，針對各幀交替地執(zhí)行對右眼用的圖像Right的組合及對左眼用的圖像Left的組合，并輸出這些圖像。
25在圖9中所示出的示例中，根據前述式(式-1)，針對幀n生成右眼用的圖像.即，假定圖9中的輸入信號(a)的幀n的視頻數據的亮度水平為S,并且通過對圖9中所示出的幀n的微分信號(b)進行非線性轉換而生成的視差增強信號[enhl的信號水平為E，則右眼用的圖像Right 由下式來生成。
右眼用的圖像信號Right-S-E
根據前述式(式-l)，針對下一幀(幀n+l)生成左眼用的圖像。即，假定圖9中的輸入信號(a)的幀n+l的視頻數據的亮度水平為S，并且通過對圖9中所示出的幀n+l的微分信號(b)進行非線性轉換而生成的視差增強信號[enh的信號水平為E,則左眼用的圖像Left由下式來生成。
左眼用的圖像信號Left = S + E
在此之后，針對幀n+2生成右眼用的圖像，針對幀n+3生成左眼用的圖像，接著，通過根據上述式-l的圖像組合處理來生成右眼用的圖像及左眼用的圖像并將它們輸出。以該方式，圖像組合部133生成與各幀相對應的右眼用的圖像或左眼用的圖像，并輸出該圖像。即，圖像組合部 133輸出單系統(tǒng)視頻數據'
通過圖像顯示裝置中的圖^J^出部150以時分方式將輸出圖像交替地輸出為左眼用的圖^J5L右眼用的圖像。將各個圖像的輸出定時控制成例
關閉相同步。即，進行控制以使得左眼用的圖傳^"眼用的圖傳在時間上交替地分別由左BIL L右眼4U見察。
按與圖9相同的方式，圖IO例示了在最終地顯示圖像的顯示裝置的
情況下的圖像組合部133的處理的示例。然而，與圖9中所示出的處理不同的是，在該處理示例中，針對所輸入的視頻數據的各幀，通過根據上述式—1的組合處理iM"左眼用的圖像Left;^眼用的圖像Right二者都進行組合以將它們輸出。
輸出圖像的顯示裝置以所輸入的視頻數據的幀頻的2倍的幀頻在時間上交替地輸出右眼用的圖M左眼用的圖像。
在該處理中，如圖10中所示出的，圖像組合部133通過應用上述式 -l，根據一幀(例如，輸入信號U)的幀n)及根據其微分圖像(b) 而生成的視差增強信號，來生成右眼用的圖像信號(c)及左眼用的圖《象信號(d)。此外，圖像組合部133通過應用上述式-1，根據輸入圖像(a) 的幀n+l及根據其微分圖像(b)而生成的視差增強信號，來生成右眼用的圖像(c)及左眼用的圖像(d)。
以該方式，根據一幀來生成右眼用的圖H^左眼用的圖像。通過圖像輸出部150以時分方式在圖像顯示裝置上交替地輸出根據一幀而生成的這兩個圖像(即，右眼用的圖像信號及左眼用的圖像信號)。
圖^J^出部150按照使得顯示裝置以由圖10中的(a)所示出的輸入圖像的幀頻的2倍的幀頻顯示圖像的方式來輸出圖像。在這點上，進行控
的打開及關閉與顯示定時相同步。即，進行控制以使得左眼用的圖^L^右眼用的圖像在時間上交替地分別由左目M^眼iM見察。在該方式中，圖像
圖11例示了在將圖像輸出給空分方式的立體顯示裝置的情況下的圖像組合部133的處理的示例。在空分方式的立體顯示裝置中，將其偏振方向針對每個水平線設定得不同的偏振濾波器貼附在顯示器的前表面上，使得在用戶通過偏振濾波方式的眼鏡iM見看圖〗象時，用戶以右目ML左眼分開地針對每個水平線的方式看到視頻。即，眼鏡的右部偏振濾波器及左部偏振濾波器是偏振方向彼此不同的濾波器，因此，用戶通it^自M3m見察到由圖11中的(c)所示出的右眼用的圖像，而通過左眼^J現察到由圖11中的(d)所示出的左眼用的圖像。
在該處理中，如圖ll中所示出的，圖像組合部133通過應用上述式 -l,根據一幀(例如，輸入信號(a)的幀n)及根據其微分圖像(b) 而生成的視差增強信號，來生成右眼用的圖像信號(c)及左眼用的圖像信號(d)。
此外，圖像組^P 133根據右眼用的圖像(c)及左眼用的圖像(d) 來生成圖11中所示出的雙目MKL差圖像(e)。即，圖像組^P 133將右眼用的圖像(c)及左眼用的圖像(d)中的各個圖像的相位單獨地移動一線，以在垂直方向上進行1/2的縮小處理。圖像組合部133交替地針對每個水平線將以該方式獲得的右眼用的圖傳及左眼用的圖像組^*來，以生成一個雙目MSL差圖像(e)，并輸出該圖像。
圖11中所示出的雙目MKL差圖像(e)是通過將右眼用的圖像(c)的有效區(qū)(除黑線以外的圖l象顯示部分)與左眼用的圖4象(d)的有效區(qū)連
27接起來而生成的圖像。即，雙目MKL差圖像(e)是交替地包含右眼用的圖像(c)的各線數據及左眼用的圖像U)的各線數據的圖像。以該方式，圖像組合部133生成雙目諷差圖像(e)，并輸出該圖像.在該方式中，圖
圖^*出部150向空分立體顯示裝置輸出顯示圖11中所示出的雙眼視差圖像(e)。如上所述，空分立體顯示裝置在該顯示裝置的前表面上設置有其偏振方向針對每個水平線設定得不同的偏振濾波器。用戶利用偏振濾波方式的眼鏡來觀察圖像。并且，左部偏振濾波器及右部偏振濾波器是 ^i殳定了不同的偏振方向的濾波器。用戶通it^眼M察到由圖11中的 (c)所示出的右眼用的圖像，而通過左眼^f5U見察到由圖11中的(d)所示出的左眼用的圖像。
參照圖8至圖11來描述的右眼用的圖像Right及左眼用的圖像Left 是通過上述式(式-1)來生成的圖像。即，利用下式來生成右眼用的圖像Right及左眼用的圖像Left:
Right = S - E
Left = S + E
其中，S為輸入信號，E為通iW輸入信號S的微分信號D進行非線性轉換而生成的視差增強信號。在這點上，如上所述，視差增強信號E不僅通itxt輸入信號S的微分信號D進行非線性轉換來生成，而且可以通過對該信號進行線性轉換來生成。
1.3關于由根據本發(fā)明的圖《象處理裝置生成的右眼用的圖傳及左眼用的圖像的視網膜象差
以該方式，生成右眼用的圖像Right及左眼用的圖像Left,并且用戶能夠通過利用右目ML左眼分別M察這些圖4象來感知深度。這是基于右眼用的圖像與左眼用的圖像之間的視網膜象差的現象。下文中，將參照圖 12至圖15來對由根據本發(fā)明的圖像處理裝置100生成的右眼用的圖像與左眼用的圖像之間的視網膜象差進行描述。在這點上，下文中，在圖12 至圖14中，將基于以下假定來進行描述省去對微分信號D的非線性轉換處理，并且使用輸入信號S及輸入信號S的微分信號D，根據下式來生成右眼用的圖像Right及左眼用的圖像Left.
Right = S-D
Left = S + D圖12是例示通過加減微分信號而產生的視網膜象差的圖。此處，為了簡單起見，對在輸入一維正弦波信號作為輸入信號時如何生成右眼用的信號及左眼用的信號進行例示。圖中的橫軸表示圖像在水平方向上的像素位置，縱軸表示像素的亮度水平。
輸入信號S由下式(式-2) M示。
S = sin肌 …(式一 2 )
此時，微分信號d由下式(式-3) M示。
D 二 cos肌 …(式一 3 )
此時，左眼信號l;5U^眼信號r由下列式(式-4及式-5)M示。
L = S + D = sin<m + cos肌= sin|
<m + —
v
4
L = S — D = sin<m — cos肌=
sm
"、肌--
、 4」
...(式一4)
"(式一5)
根據式-4及式-5,應當理解，左眼信號l的相位相對于輸入信號 S的相位超前tt/4,而右眼信號r的相位相對于輸入信號S的相位延遲Ti/4。即，左眼信號l是振幅為輸入信號的振幅的V^倍、并_^水平方向上向左移動由角頻率o所確定的周期的1/8的信號。以同樣的方式，右眼信號 r是振幅為輸入信號的振幅的V^倍、并且在水平方向上向右移動由角頻率(o所確定的周期的1/8的信號。以該方式，左眼信號l與右眼信號r 之間發(fā)生3t/2的相位差。該相位差被感知為視網膜象差，從而使得用戶可以擁有深度感。
如上所述，視網膜象差取決于角頻率(o而改變。圖13示出了在輸入信號的角頻率為圖12中的角頻率的1/2的情況下的波形。；fil據該圖可以理解，視網膜象差為圖12中的情況的視網膜象差的2倍。因此，如果獲得雙眼立體圖像，則會感知到該圖像的深度比圖12中的輸入信號的深度大。
并且，圖14示出了在輸入信號的角頻率為圖12中的角頻率的2倍的情況下的波形。根據該圖可以理解，視網膜象差為圖12中的情況的視網膜象差的1/2。因此，如果獲得雙眼立體圖像，則會感知到該圖像比圖12 中的輸入信號近。
29此夕卜，圖15示出了在對微分信號D的振幅進行控制的情況下的波形。圖15示出了對微分信號D施加兩倍放大的情況。為了更一般化，受控制的微分信號F由式-6來表示。
F = k cos肌 ...(式一6)
其中，k為正實數。
在這點上，上述F與通it^微分信號D進行轉換處理而生成的上述視差增強信號E相對應。
此時，左眼信號l;su^眼信號r由下列式(式-7及式-8);M^示。
L = S + F = sin肌+ kcos肌=Vl + k sin (肌+ ") …(式-7) R = S-F = sin<m-kcos<m = Vl + k2 sin(艦-or) …(式一 8 )
此處，ct在0至3t/2的范圍內，并由下式(式-9) M示。
a = arccos ,衛(wèi) …(式- 9 )
Vl + k2
在上述式(式-9)中，在微分信號的放大值k增大時，a變大，因此輸入信號S與左眼信號l之間的差異及^^入信號S與右眼信號r之間的差異變大。因此，左眼信號l與右眼信號之間的相位差變大，因此感知到的視網膜象差大。結果，在獲得雙眼立,覺時，感知到更大的深度。
以該方式，由才l^本發(fā)明的圖像處理裝置100生成的右眼用的圖傳及左眼用的圖像的視網膜象差根據圖像的空間頻率而改變。區(qū)域的空間頻率越高，視網膜象差越小，而區(qū)域的空間頻率越低，視網膜象差越大。在將這樣的圖像分開地且分別地呈現給人的右目ML左眼時，人感知到視網膜象差小的區(qū)域在前而視網膜象差大的區(qū)域在后。
然而，如上所述，根據本發(fā)明的圖像處理裝置100簡單地進行根據局部空間頻率的處理，因此圖《象中的各個^l攝體的邊緣部分及紋理部分^j^ 予不同的視網膜象差。因此，觀察者難以僅根據視網膜象差來正確地感知深度，因此認為人可以通過使用圖像的繪畫特征(構成、前后關系、空間頻率)及運動視差等作為線索來估計圖像信息，從而感知到圖像的綜合深度。此外，如上所述，導致主要在圖像的邊緣部分上產生視網膜象差，因而能夠對諸如樹枝、電線、頭發(fā)等的微小結構賦予視網膜象差。因此，能夠對微小的被攝體賦予立體效果。
根據本發(fā)明的圖像處理裝置通過使用這種特性來僅對圖像施加局部調制處理，從而實現允許自然立,覺的雙目fb現差圖像。
此外，根據本發(fā)明的圖像處理裝置根據上述式(式-1)來生成右眼
用的圖像Right及左眼用的圖像Left。即，假定與輸入信號相對應的視頻數據的亮度水平為S，并且通過對圖7中的微分信號(b)進行非線性轉換而生成的視差增強信號enh的信號水平為E，則右眼用的圖像Right 及左眼用的圖像Left由下式來生成。
右眼用的圖l象信號Right-S-E
左眼用的圖像信號Left = S + E
根據該式可以理解，通過將右眼用的圖像信號與左眼用的圖像信號相加而得到的加和信號成為如下。
加和信號MS + E) + (S-E)-S
結果，該加和信號成為等于輸入圖像。
因此，例如，如參照圖9及圖IO所描述的，在利用時分立體顯示裝置來顯示圖像時，如果作為觀察者的用戶在不佩戴液晶光閥方式的眼鏡的情況下觀察圖像，則該用戶感知到通過利用>^**覺系統(tǒng)的時間上的積分
即，該圖像成為上述加和信號S，即，加和信號=(S + E) + (S-E)=S
即，用戶能夠感知到未改變的所輸入的二維圖像。即，用戶不會看到不自然重疊的圖像，而能夠觀察到未經任何處理的圖像。
并且，如圖11中所示出的，在利用空分方式的立體顯示裝置來顯示圖像時，如果用戶從使得垂直方向上的一個像素變得難以在沒有偏振眼鏡的情況下被感知的距離觀察圖像，則用戶感知到垂直方向上的兩個像素的加和圖像。該圖像成為上述加和信號S，即，
加和信號=(S + E) + (S-E) =S
另一方面，AJ t視網膜象差的視覺能力比通常的視覺能力高10倍，因此能夠通過從這樣的距離觀察來充分地識別出右眼用的圖像與左眼用的圖傳*之間的視網膜象差。因此，用戶在未佩戴偏振眼鏡時不會看到不自
31然重疊的圖像，而能夠觀察到未經任何處理的圖像。用戶能夠在佩戴偏振眼鏡的情況下感知到立g覺。
以該方式，由根據本發(fā)明的圖像處理裝置生成的圖像使得使用立體顯示裝置的用戶能夠在佩戴立,覺眼鏡時感知到立體圖像，而在未佩戴立員覺眼鏡時感知到作為未經轉換的原始二維圖像的圖像。
1.4關于根據本發(fā)明的圖像處理裝置中的圖像轉換部的處理序列
接下來，將參照圖16中所示出的流程圖iM"由根據本發(fā)明實施例的圖像處理裝置100中的圖像轉換部130所執(zhí)行的處理序列進行描述.在這點上，圖16中所示出的流程圖是在輸入圖像為運動圖像(視頻數據)的情況下的處理。
在步驟S401中，微分器131 (參照圖5)對輸入到圖像轉換部130 中的視頻數據的亮度信號進行微分處理。即，微分器131對圖7中的輸入信號(a)進行微分處理以生成圖7中的微分信號(b)。
在步驟S402中，非線性轉換部132 (參照圖5 )對從微分器131輸出的微分信號進行非線性轉換.非線性轉換處理例如與如圖6中所示出的圖相對應。
步驟S403中的處理及后續(xù)處理是由圖《象組^P 133來進行的處理. 在步驟S403中，圖像組合部133中的控制部確定是否對當前輸入幀組合左眼用的圖像.該確定處理是根據由圖像處理裝置100所輸出的、圖像顯示裝置的顯示方式及圖像組合部133中所設置的幀計數器的值來進行的。幀計數器是保持與輸入圖像幀的幀號相對應的值的計數器。
在圖像顯示裝置的輸出方式是圖9中所示出的時分輸出方式的情況下，圖像組合部133根據幀計數器的值來確定是否輸出左眼用的圖像。即，在圖9中所示出的時分輸出方式的情況下，進行控制以使得對偶數編號的幀或奇數編號的幀都僅輸出左眼用的圖^象，如果根據幀計數器的值而確定輸出左眼用的圖像，則處理前進到步驟S404。另一方面，如果根據幀計數器的值而確定輸出右眼用的圖像，則處理前進到步驟S405。
并且，除了圖9中所示出的時分方式的情況以外，即，在圖10中所示出的基于兩倍的幀頻的時分輸出方式、或圖11中所示出的空分輸出方式的情況下，或者在圖8中所示出的圖像顯示裝置輸入右眼用的圖^LA左眼用的圖像的情況下，為了進行顯示控制，圖像組^P133確定對所有的輸入幀組合左眼用的圖像，并且處理前進到步驟S404。在步驟S404中，圖像組合部133根據上述式(式-1)來生成左眼用的圖像Left。即，如圖7中所示出的，假定與圖7中所示出的輸入信號(a) 相對應的視頻數據的亮度水平為S,并且通過對圖7中所示出的微分信號 (b)進行非線性轉換而生成的視差增強信號[enhl的信號水平為E，則圖像組合部133利用下式來生成左眼用的圖像信號Left。
左B艮用的圖傳/fl:號Left-S + E
另一方面，在步驟S403中，如果確定不對當前輸入幀執(zhí)行對左眼用的圖像的組合，則處理前進到步驟S405,并且圖像組合部133針對當前輸入幀生成右眼用的圖像。即，如圖7中所示出的，假定與圖7中所示出的輸入信號(a)相對應的視頻數據的亮度水平為S，并且通過對圖7中所示出的微分信號(b)進行非線性轉換而生成的視差增強信號enh的信號水平為E，則圖像組合部133利用下式來生成右眼用的圖像信號Right。
右眼用的圖像信號Right = S-E
在步驟S404中，在完成對左眼用的圖^f象的生成時，在步驟S406中，確定是否還針對已針對其生成左眼用的圖像的幀生成右眼用的圖像。在圖像處理裝置的輸出方式是圖9中所示出的時分方式的情況下，針對各幀對右眼用的圖像或左眼用的圖傳進行組合，因此確定不執(zhí)行對右眼用的圖像的生成，并且處理前進到步驟S407。
并且，除了圖9中所示出的時分方式的情況以外，即，在圖10中所示出的基于兩倍的幀頻的時分輸出方式、或圖11中所示出的空分輸出方式的情況下，或者在圖8中所示出的圖像顯示裝置輸入右眼用的圖^ML左眼用的圖像的情況下，為了進行顯示控制，圖像組^jU33確定對所有的輸入幀組合右眼用的圖像，并且處理前進到步驟S405。如上所述，步驟 S405中的處理是根據上述式(式-1)對右眼用的圖像的生成處理。
在步驟S407中，圖傳i且合部133中的控制部確定是否對圖傳進行縮小處理。如果圖像處理裝置的輸出方式是圖11中所示出的空分輸出方式，則確定進行縮小處理，并且處理前進到步驟S408。如果圖像處理裝置的輸出方式是除了圖11中所示出的空分輸出方式以外的方式(即，如果是圖8中所示出的對右眼用的圖^ML左眼用的圖像的同時輸出方式、圖9 中所示出的時分方式及圖10中所示出的基于兩倍的幀頻的時分輸出方式中的任一方式)，則不必進行圖像縮小處理，因此處理前進到步驟S410。
在步驟S408至步驟S409中，如參照圖11所描述的，圖像組合部133
33根據右眼用的圖像(C)及左眼用的圖像(d)來生成圖11中所示出的雙
SWL差圖像(e)。即，圖^Mi合部133將右眼用的圖像(c)及左眼用的圖像(d)中的各個圖像的相位單獨地移動一線，以在垂直方向上進行1/2 的縮小處理(S408)。此外，圖^Ma合部133針對每個水平線將以該方式獲得的右眼用的圖像與左眼用的圖像交替地組M來，以生成一個雙目諷差圖像(e)(步驟S409)。
在步驟S410中，確定圖^^r出部150中的圖^^出處理是否完成。如果圖像輸出處理已完成，則終止圖像轉換處理。如果圖像輸出處理未完成，則處理前進到步驟S4U。
在步驟S411中，將幀計數遞增，并且處理前進到步驟S401。在此之后，重復從步猓S401至步驟S410的處理。
如上所述，利用根據本發(fā)明實施例的圖像處理裝置，輸入二維圖傳教據，提取圖像的特征量(即，亮度有改變的邊緣部分)，并改變邊緣部分的圖像模式，以生成右眼用的偽圖H左眼用的偽圖像。利用該結構，能夠在立體顯示裝置中生成優(yōu)選的雙眼視差圖像。
此外，在根據本發(fā)明的圖像處理裝置中，如圖7中所示出的，假定與圖7中的輸入信號(a)相對應的視頻數據的亮度水平為S，并且通itXt 圖7中的微分信號(b)進行非線性轉換而生成的視差增強信號[enh的信號水平為E，則利用下式來生成右眼用的圖像Right及左眼用的圖像Left。
右眼用的圖傳zft號Right-S-E
左眼用的圖傳4t號Left = S + E
根據該式可以理解，通過將右眼用的圖l象信號與左眼用的圖像信號相加而得到的加和信號成為如下。
加和信號=(S + E) + (S-E)=S
結果，該加和信號成為等于輸入圖像。
以該方式，該加和信號成為等于或大致上等于輸A^信號。
因此,在立體顯示裝置上所顯示的圖像使得用戶能夠在佩戴立,覺眼鏡時感知到立體圖像，而在未佩戴立崇現覺眼鏡時感知到作為通常的二維圖像的圖像。即，無論是否佩戴眼鏡都能夠欣賞圖像。并且，利用根據本發(fā) 的圖像轉換裝置，右眼用的圖像與左眼用的圖像之間的視差非常小，因此能夠使觀察者在佩戴立崇現覺眼鏡時的疲勞減輕。2.包含對特定圖像區(qū)的檢測及控制處理的根據本發(fā)明第二實施例的
接下來，將對作為根據本發(fā)明第二實施例的圖像處理裝置的檢測特定圖像區(qū)并基于所檢測到的信息根據圖像區(qū)的特征來進行增強處理控制的圖像處理裝置的示例進行描述。在上述的根據第一實施例的圖像處理裝置 100中，圖5中所示出的圖像轉換部130生成亮度信號的微分信號，并將該微分信號加到輸入信號上或從輸入信號中減去該微分信號，以生成右眼用的圖^ML左眼用的圖像。
通過該處理而生成的右眼用的圖l象及左眼用的圖傳遭受其中如圖7 中所示出的信號的邊緣周圍的原始信號的幅值M過的過沖及下沖。過沖及下沖使被觀察的圖像不自然。
并且，認為人對肉色的灰度敏感。例如，專業(yè)攝膝機等有時設置有使對肉色區(qū)的邊緣增強處理減弱的、稱作"皮膚細節(jié)"的功能。圖5中所示出的圖像轉換部對原始信號執(zhí)行高頻增強，因此存在以下問題在被立體地，J Jr時，肉色區(qū)的皺紋、^MI等被增強。
在下述第二實施例中，為了解決這些問題，從要被處理的輸入圖像中檢測邊緣區(qū)及肉色區(qū)，并進行用于使邊緣區(qū)及肉色區(qū)周圍的視差增強信號的影響減弱的處理。通過該處理，能夠減少邊緣區(qū)中的過沖及下沖的發(fā)生，并表現平滑的皮膚。
根據本實施例的圖像處理裝置的總體結構與圖1中所示出的圖像處理裝置100的總體結構相同。即，在圖像處理裝置100中，圖,入部
圖像數據，并將它們提供給色彩空間轉換部120。
色彩空間轉換部120根據所輸入的信號來生成亮度信號及色差信號，并將這些信號輸出給圖像轉換部130。圖#^換部130使用亮度信號及色差信號來生成右眼用的圖像及左眼用的圖像。將由圖傳游換部130生成的右眼用的圖傳友左眼用的圖傳瑜入到色彩空間反轉換部140中，將其轉換成根據輸出信號的信號，并通過圖^J^出部150來將其輸出給顯示部。
在第二實施例中，圖l象轉換部130的結構與在第一實施例中描述的圖 5中的結構不同。下面將參照圖17來對第二實施例中的圖像轉換部130 進行描述。圖像轉換部130提取所輸入的圖像信號的空間特征量，并對所提取的特征量進行不同的增強處理，以生成右眼用的圖像及左眼用的圖像。
如圖17中所示出的，根據本實施例的圖像轉換部130包括微分器 131、非線性轉換部132、圖像組^M33、邊緣區(qū)檢測部134、肉色區(qū)檢測部135及增強控制部136。
按與第一實施例中參照圖5所描述的微分器131相同的方式，微分器 131例如從輸入到圖傳游換部130中的視頻數據中提取亮度信號，并生成該亮度信號的微分信號。具體地說，例如，水平地輸入圖像的亮度信號，并生成所輸入的亮度信號的一階微分信號。一階微分處理例如4吏用在水平方向上具有三個抽頭的線性一階導數濾波器。
按與第一實施例中參照圖5所描述的非線性轉換部132相同的方式，非線性轉換部132對從微分器131輸出的微分信號進行非線性轉換，并輸出視差增強信號。
按與第一實施例中參照圖5所描述的圖^iE合部133相同的方式，圖像組合部133接收從非線性轉換部132輸出的視差增強信號及輸入到圖像轉換部130中的視頻數據，將視頻數據中所包含的每個幀圖像與視差增強信號組^來，并進行生成右眼用的圖像及左眼用的圖像的處理。
別邊緣區(qū)及平滑區(qū)的邊緣區(qū)識別信號。具^地說，例如，邊緣區(qū)檢測部、 134從所輸入的視頻信號中提取各像素的亮度信號，計算該亮度信號的周圍區(qū)域的方差值以獲得該周圍區(qū)域的平滑度，并將所計算出的方差值作為與該像素相對應的邊緣區(qū)識別信號輸出。能夠取決于該方差值來確定區(qū)域是邊緣區(qū)還是平滑區(qū)。在這點上，由邊緣區(qū)檢測部134所計算出并輸出的信號并不限于方差值，而可以是能夠將邊緣區(qū)與平滑區(qū)區(qū)分開的任意信號。
肉色區(qū)檢測部135根據輸入到圖像轉換部130中的視頻數據來生成識別肉色區(qū)的肉色區(qū)識別信號并將其輸出。具體地說，肉色區(qū)檢測部135 從所輸入的視頻信號中提取色差信號，基于該色差信號與預先設定的閾值之間的比較iM^測人的肉色區(qū)，并輸出針對各像素的、將肉色像素指定為 "1"并將非肉色像素指定為"0"的肉色區(qū)識別信號。
輸入到肉色區(qū)檢測部135中的色差信號是諸如(Cb， Cr)或(U， V) 等的色差信號。肉色區(qū)檢測部135保持用于識別與所輸入的色差信號相對應的肉色的閾值數據，針對各像素將閾值數據與所輸入的色差信號進行比較，并確定各像素是否是肉色像素。
在這點上，在肉色區(qū)檢測部135中，能夠通過色差信號與閾值之間的上述簡單的比較處理iM^測肉色區(qū)。然而，檢測并不限于這種方法，而可以使用利用AJ^檢測;5LA/^險測技術的、更正確地險測肉色區(qū)的方法。
增強控制部136接收從非線性轉換部132輸出的視差增強信號[enh E、從邊緣區(qū)檢測部134輸出的邊緣區(qū)識別信號(例如，方差值)、以及從肉色區(qū)檢測部135輸出的肉色區(qū)識別信號(例如，識別信號"0"或"1")，并根據邊緣區(qū)識別信號及肉色區(qū)識別信號來對視差增強信號[enh E進行增益控制處理。
作為從邊緣區(qū)檢測部134輸出的邊緣區(qū)識別信號的方差值是在亮度改變大的區(qū)域(例如，邊緣)中變大而在平滑區(qū)中變小的信號。
如上所述，具有第一實施例的、圖5中所示出的結構的圖4象轉換部 130遭受其中如圖7中所示出的信號的邊緣周圍的原始信號的振幅M過的過沖及下沖。為了解決這個問題，在本實施例中，在像素值的改變小的平滑區(qū)中將視差增強信號的影響加強，而在像素值的改變大的邊緣的周圍使視差增強信號的影響減弱，由此減少過沖及下沖的發(fā)生。因此，增強控制部136計算由以下反比例式(式-10 )所給出的、與邊斜目對應的增益量[gain加tl，并通過將視差增強信號乘以該增益量來控制視差增強信號的影響。
g" =<
廣
,1
、var 乂 1，
var學0 var = 0
(式-io)
在上述式(式-io)中，
var為歸一化方差值，并且 a為比例常數。
在Var不為0時，與邊^(qū)t目對應的增益量[gainflat被限幅為最大值[11。在var為0時，增益量[gainflaJ變成[l。與邊^(qū)t目對應的增益量gaiiiflatl 并不限于上述式的轉換?？梢詰貌煌霓D換式，只要轉換具有在平滑區(qū) 中變強而在邊緣周圍變弱的特性即可。
從肉色區(qū)檢測部135輸出的肉色區(qū)識別信號是^肉色區(qū)中為"1" 的信號。認為人對肉色的灰度敏感。專業(yè)攝#^等有時設置有使對肉色區(qū)
37的邊緣增強處理減弱的、稱作"皮膚細節(jié)"的功能，如上所述，具有由圖
5中的笫一實施例所示出的結構的圖像轉換部130對原始信號執(zhí)行高頻增
強，因此存在以下問題在被立體AMMr時，肉色區(qū)的皺^5Ua^被增強。
在本實施例中，為了解決該問題，在肉色區(qū)中使視差增強信號的影響減弱，
以平滑M現肉色皮膚。因此，增強控制部136計算由以下反比例式(式 —11)所給出的、與肉色相對應的增益量[gain^t，并通過將視差增強信號乘以該增益量來控制視差增強信號的影響。
6
丄y"丄x
...(式-u)
在上述式(式-ii)中，
skini為《象素位置i處的肉色區(qū)識別信號，并且 b為比例常數。
以該方式，與肉色相對應的增益量[gainsU與周圍的n個《象素的肉色區(qū)識別信號的平均值成反比，并且被限幅為最大值l。此處，與肉色相對應的增益量[gain,U并不限于上述式的轉換，而可以應用不同的轉換式，只要轉換具有在肉色區(qū)中變弱的特性即可。
如下式(式-12)中所示出的，增強控制部136將從非線性轉換部 132輸入的視差增強信號enhl乘以由上述式(式-10)所給出的、與邊緣相對應的增益量[gainflaJ以及由上述式(式-11)所給出的、與肉色相對應的增益量gainsU,以輸出增益受控制的經修正的視差增強信號[enh，I。
enh， = enh x gainflat x gainskin…(式- 12 )
針對各像素，基于針對各像素的與邊餘對應的增益量gain腦及與肉色相對應的增益量[gainsU來計算上述經修正的視差增強信號[enh，l。
以該方式，圖17中所示出的圖4象轉換部130中的增強控制部136計算經修正的視差增強信號[enh，I，并將該經修正的視差增強信號[enh，輸出給圖像組合部133。
圖傳ia合部133的處理與前述第一實施例中的圖像組^p 133的處理相同。圖像組合部133接^增強控制部136輸出的經修正的視差增強信號[enh，及輸入到圖像轉換部130中的視頻數據，將視頻數據中所包含的每個幀圖像與視差增強信號組^來，并進行生成右眼用的圖像及左眼用的圖像的處理。
圖像組合部133接收與輸入信號(a)相對應的視頻數據S及針對各圖像區(qū)對通itxt微分信號(b )進行非線性轉換而生成的視差增強信號[enh E進行了修正的(增強受到控制的)經修正的視差增強信號[enh，，并利用下式來生成右眼用的圖像信號Right及左眼用的圖像信號Left。
Right = S - E，
Left = S + E"
此處，圖像組合部133可以不對右眼用的圖像信號Right及左眼用的圖像信號Left都進行轉換，而可以對這兩個圖像信號中的任一圖像信號進行轉換。即，可以4吏用以下組合。
Right = S - E,
Left 二 S
作為另一種選擇，還可以使用以下組合。 Right = S Left = S + E"
通過這樣的處理，右眼用的圖像信號Right及左眼用的圖像信號Left 能夠產生生成用戶的視網膜象差以給出對深度的感知的圖像。
如參照圖17所描述的，在本實施例中，圖像轉換部130包括邊緣區(qū) 檢測部134、肉色區(qū)檢測部135及增強控制部136，并根據所輸入的圖像的圖像特征來計算經修正的視差增強信號[enh，。
例如，在邊緣區(qū)中，增強控制部136將從非線性轉換部132輸入的視差增強信號enh E乘以與小邊射目對應的增益量[gain似t。
通過該處理，增強控制部136生成邊緣區(qū)中的值比平滑區(qū)中的值小的、經修正的視差增強信號enh，E，。通過該處理，能夠抑制在從圖像組合部133輸出的右眼用的圖^^左眼用的圖像中的邊緣的周圍發(fā)生的過沖及下沖，并獲得好的立#*覺圖像質量。此外，能夠通過僅將邊緣周圍的視差增強信號[enh E的影響減小來保持總體圖像的視差量，因此對總體深度感的影響不大。
并且，圖17中所示出的圖像轉換部130針對由肉色區(qū)檢測部135所檢測到的肉色區(qū)，將從非線性轉換部132輸入的視差增強信號[enh E乘
39以與小肉色相對應的增益量gainskin。
增強控制部136生成肉色區(qū)中的值比其他區(qū)中的值小的、經修正的視差增強信號[enh，E，I。通過該處理，能夠抑制由圖像組合部133所輸出的右眼用的圖像及左眼用的圖像中的對人臉的肉色區(qū)的皺紋、粗糙等的增強，并獲得好的立#*覺圖4象質量。
3.生成與色差信號相對應的右圖像信號及左圖像信號的、根據本發(fā) 明第三實施例的圖像處理裝置
接下來，將對作為本發(fā)明第三實施例的、生成與色差相對應的右眼用的圖像及左眼用的圖像的圖像處理裝置的結構進行描述。
根據本實施例的圖像處理裝置的總體結構與圖1中所示出的圖像處理裝置100的總體結構相同。即，在圖像處理裝置100中，圖傳瑜入部
^!t據，并將它們提供給色彩空間轉換部120。
色彩空間轉換部120根據所輸入的信號來生成亮度信號及色差信號，并將這些信號輸出給圖像轉換部130。圖像轉換部130使用該亮度信號及該色差信號來生成右眼用的圖像及左眼用的圖像。將由圖像轉換部130 生成的右眼用的圖傳及左眼用的圖傳瑜入到色彩空間反轉換部140中，將其轉換成根據輸出信號的信號，并通過圖像輸出部150來將其輸出給顯示部。
在第三實施例中，圖l象轉換部130的結構與在第一實施例中描述的圖 5中的結構不同。下面將參照圖18來對第三實施例中的圖像轉換部130 進行描述'圖傳游換部130提取所輸入的圖像信號的空間特征量，并對所提取的特征量進行不同的增強處理，以生成右眼用的圖像及左眼用的圖像。
如圖18中所示出的，根據本實施例的圖4象轉換部130包括微分器 131、非線性轉換部132、圖像組^M33、色差信號微分器137及第二圖像組合部138。微分器131、非線性轉換部132及圖^i且^p 133進行與參照圖5所描述的處理相同的處理。將省略對該處理的描述。
色差信號微分器137從輸入到圖像轉換部130中的視頻數據中提取色差信號(Cb, Cr)或(U， V)，并生成各個色差信號的微分信號。該微分信號的生成與微分器131對亮度信號的微分信號的生成相同，并且例如使用在水平方向上具有三個抽頭的線性一階導數濾波器。第二圖像組合部138輸入下列各個信號。
(a)從色差信號微分器137輸出的、色差信號的微分信號[Dc， (b )輸入到圖像轉換部130中的、視頻數據的色差信號[C，
(c) 從微分器131輸出的、亮度信號的微^ft號，及
(d) 從非線性轉換部132輸出的視差增強信號[enh E。
第二圖,合部138接收這些信號，將視頻數據中所包含的每個幀圖像的色差信號與該色差信號的微分信號組^來，并進行左眼用的圖像與右眼用的圖像之間的色差信號的生成處理。具體地說，第二圖像組合部 138利用下式(式-13)來將色差信號的微分信號Dcl與視頻數據的色差信號[C組^來，并生成左眼用的圖像的色差信號[Leftc及右眼用的圖像的色差信號[Rightd。
丄e/ r = C + Z^ x——
W沐c-C-A:X— …(式-13)
在上述式(式-13)中，
色差信號C表示色差信號的(Cb或Cr)通道或(U或V)通道。微分信號Dc是色差信號C的微分值。并且，Dy表示亮度信號的微分信號，并且 enh表示視差增強信號。
在這點上，如果輸入到圖傳游換部130中的色差信號為(Cb，Cr)，則第二圖像組合部138生成與色差信號Cb相對應的、左眼用的圖像的色差信號LeftcI及右眼用的圖像的色差信號[Rightc，以及與色差信號Cr 相對應的、左眼用的圖像的色差信號Leftc及右眼用的圖像的色差信號 [Rightc。
而且，如果輸入到圖《象轉換部130中的色差信號為(U, V)，則第二圖像組合部138生成與色差信號U相對應的、左眼用的圖像的色差信號 [Leftc及右眼用的圖像的色差信號[Rightc，以及與色差信號V相對應的、左眼用的圖像的色差信號[Leftc及右眼用的圖像的色差信號[Rightc。
41上述組合式(式-13)通過亮度信號的視差增強信號[enh與微分信號[Dy的比[enh/Dy來確定增強量。即，左眼用的圖像的色差信號[Leftc
是通過將視差增強信號[enh與微分信號[Dy的比enh/Dyl和微分信號Dc 的乘積[Dc x (enh/Dy)加到原色差信號C上而生成的。
右眼用的圖像的色差信號Rightc是通it^原色差信號C中減去視差增強信號[enh與微分信號[Dy的比[enh/Dyl和微分信號Dc的乘積[Dc x (enh/Dy)I而生成的。
在這點上，上述組合式(式-13 )僅是由根據本實施例的第二圖像組合部138所執(zhí)行的組合處理的示例。第二圖像組合部138可以執(zhí)行除了上述式以外的其他組合處理，只要左眼用的圖像的色差信號[Leftcl及右眼用的圖像的色差信號Rightc是分別通過對色差信號與其微分信號進行加處理及減處理而生成即可。
以該方式，在根據本實施例的圖4象處理裝置中，圖18中所示出的圖像轉換部130生成色差信號的微分信號，進行與原色差信號的組合處理，并單獨地生成左眼用的圖像的色差信號Leftc及右眼用的圖像的色差信號[Rightd。利用該結構，能夠抑制在飽和度高的被攝體的邊界附近發(fā)生假彩色及色模糊。此外，能夠通過基于亮度信號的視差增強信號與微分信號的比來確定增強量從而獲得與亮度信號相同程度的增強。
下面將對圖18中所示出的圖傳游換部130的處理進行概述。
圖18中所示出的圖像轉換部130中的微分器131、非線性轉換部132 及圖像組合部133的處理與上述第一實施例的處理相同。即，微分器131 提取所輸入的圖像信號的微分亮度信號，非線性轉換部132對該微分信號進行非線性轉換，并將結果設定為第一特征量。圖像組合部133生成通過將第一特征量加到所輸入的圖像信號的亮度信號上而生成的經轉換的信號或通過從所輸入的圖像信號的亮度信號中減去第一特征量而生成的經轉換的信號，作為左眼用的圖像的亮度信號或右眼用的圖像的亮度信號。
圖18中所示出的圖傳游換部130中的色差信號微分器137及第二圖像組合部138的處理如下。色差信號微分器137提取所輸入的圖像信號的微分色差信號，并將該微分色差信號設定為第二特征量。第二圖像組^P 138生通過將第二特征量加到所輸入的圖〗象信號的色差信號上而生成的經轉換的信號或通過從所輸入的圖像信號的色差信號中減去第二特征量而生成的經轉換的信號，作為左眼用的圖像的色差信號或右眼用的圖像的色差信號。
通過該處理，獲得右眼用的圖傳及左眼用的圖像的亮度信號及色差信號。在這點上，除了其中生成右眼用的圖像及左眼用的圖像的亮度信號及色差信號的上述處理之外，還可以使用以下處理?？梢允褂蒙鲜鎏卣髁客?過加處理或減處理來生成僅一只眼用的圖4象(右眼用的圖像或左眼用的圖像)的亮度信號及色差信號，并且可以將直接地作為所輸入的圖像信號的未經轉換的信號設定為另一只眼用的圖像并將其輸出。
4.具有圖4象顯示部的圖《象處理裝置的結構的示例
已對作為不具有圖像顯示部的圖像處理裝置的、圖1中所示出的圖像處理裝置進行了描述。然而，圖像處理裝置可以被構造成具有圖像顯示部。圖19是例示根據本實施例的、具有圖像顯示部的圖像處理裝置的圖。
在圖像處理裝置300中，圖^J^入部310接^數字照相機等輸出的靜止圖^ML件及從攝^fl4MF輸出的運動圖^Jt據，并將該文件及該數據轉換成內部數據格式。此處，內部數據格式U帶運動圖^Jt據，并且是三基色(紅色(R)、綠色(G)、藍色(B))的視頻數據、或者包含亮度(Y)、色差(Cb， Cr)或(Y， U， V)的視頻數據。內部數據格式上疊加有色彩空間的識別信號，使得可以使用任意色彩空間，只要后續(xù)階段中的色彩空間轉換部320與該色彩空間相對應即可。
從圖^J^入部310輸出的視頻數據被輸入到色彩空間轉換部320中，并被轉換成亮度信號及色差信號。此時，如果所輸入的視頻數據符合圖4象轉換部的處理數據(例如，符合Y、 Cb、 Cr色彩空間)，則色彩空間轉換部320不進行轉換而輸出該翁:據，如果所輸入的視頻lt據符合R、 G、 B色彩空間或其他色彩空間，則色彩空間轉換部320進行到亮度(Y)信號及色差(Cb，Cr)信號的轉換，并輸出這些信號。
此處，從色彩空間轉換部320輸出的視頻數據的色彩空間并不限于 Y、 Cb、 Cr色彩空間。色彩空間可以是任意色彩空間，只要亮度分量與色彩分量分開即可。
從色彩空間轉換部320輸出的視頻數據被輸入到圖#^換部330中。圖4象轉換部330通過前述處理來生成右眼用的雙目lb現差圖傳及左眼用的雙目M^L差圖像，并根據圖像顯示部350的格式來組合這些圖像。
從圖像轉換部330輸出的視頻數據被輸入到色彩空間反轉換部340 中，并被從Y、 Cb、 Cr色彩空間轉換到R、 B、 G色彩空間。從色彩空間反轉換部340輸出的視頻數據被輸入到圖像顯示部350 中。圖像顯示部350的結構包括圖傳瑜出部及顯示部。圖像顯示部350 通過如下所示的任一立體顯示方式(時分方式或空分方式)來進行圖4象顯示。
(時分方式)
在時分立體顯示方式中，將所輸入的視頻數據的奇數編號的幀及偶數
編號的幀分別地識別為左眼用的圖^ML右眼用的圖像(或右眼用的圖^M^
左眼用的圖像)。并且將由用戶所佩戴的液晶光閥方式的眼鏡控制成使得在時間上交替地對左眼及右眼呈現圖像。在該顯示方式中，圖像顯示部
左眼;的圖^^眼用的圖像的輸:切換i時。， 5'
(空分方式)
在空分立體顯示方式中，顯示器的前表面上貼附有其偏振方向針對每個水平線設定得不同的偏振濾波器，使得在用戶通過偏振濾波方式的眼鏡
iML看圖像時，以右目IL艮左眼分開地針對每個水平線的方式向用戶呈現視頻。
如上所述,利用根據本發(fā)明的圖像處理裝置，能夠輸入二維圖像數據，并根據圖像的特征量來生成右眼用的偽圖^^左眼用的偽圖像，以使用雙目MRL差來立體地顯示圖像。此外，利用根據本發(fā)明的圖像處理裝置，按照
像轉換。因此，該圖4象使得用戶能夠在佩戴立⑩覺眼鏡時感知到立體圖像，而在未佩戴立,覺眼鏡時感知到通常的二維圖像。因此，無論是否佩戴眼鏡都能欣賞圖像。并且，利用根據本發(fā)明的圖像轉換裝置，右眼用的圖像與左眼用的圖像之間的視差很小，因此能夠使觀察者在佩戴立, 覺眼鏡時的疲勞減輕。
在這點上，到目前為止已描述了多個實施例.然而，可以4吏用各個實施例的組合的結構。即，可以將根據第一實施例至第三實施例的各個圖像處理裝置及具有圖像顯示部的圖像處理裝置進行任意的組合，從而構造具有各個實施例的功能的圖像處理裝置(例如，具有第二實施例與第三實施例的組合的功能的圖像處理裝置)。
已參照具體實施例來詳細地解釋了本發(fā)明。然而，顯而易見的是，本領域技術人員可以在不背離本發(fā)明的精神的情況下對這些實施例進行修M替代。即，本發(fā)明是以示例的形式公開的，因此對其解釋不應當受到限制。為了確定本發(fā)明的要旨，應當考慮所附權利要求書。
并且，可以利用硬件或軟件或這兩者的組合來執(zhí)行本說明書中所描述的一系列處理。在利用軟件來執(zhí)行處理時，可以將記錄有處理序列的程序安裝在專用硬件中內置的計算機中的存儲器中。作為另一種選擇，可以在能夠執(zhí)行各種處理的通用計算機中安裝并執(zhí)行各種程序。例如，可以將程序預先記錄在記錄介質中。除了從記錄介質安裝到計算機以外，還可以通
過網絡(例如，LAN (局域網)及因特網)來接收程序，并且可以將程序安M諸如內部^等的記錄介質中。
在這點上，本說明書中所描述的各種處理不僅可以根據本說明書按時間序列來執(zhí)行，而且可以并行地執(zhí)行，或者，執(zhí)行處理的裝置的處理能力而單獨地執(zhí)行或在需要時執(zhí)行。并且，本說明書中的系統(tǒng)是多個裝置的邏輯集合，而并不限于包^^在同一殼體中的組成裝置的集合。
本申請包含與分別于2008年8月6日及2009年5月28日提交日本專利局的日本在先專利申請JP 2008-203614及JP 2009-128578中所公開的主^^相關的主題，通過引用將其全部內容合并在此.
本領域技術人員應當理解，可以取決于i殳計要求或其他因素而想到各種修改、組合、子組合及變化，只要它們在所附權利要求書或其等同物的范圍內即可。
4權利要求
1.一種圖像處理裝置，包括圖像輸入部，其輸入二維圖像信號；圖像轉換部，其將從所述圖像輸入部輸出的圖像信號輸入，并且生成用于允許雙眼立體視覺的右眼用的圖像及左眼用的圖像并將其輸出；以及圖像輸出部，其將從所述圖像轉換部輸出的右眼用的圖像及左眼用的圖像輸出，其中，所述圖像轉換部提取所輸入的圖像信號的空間特征量，并進行圖像轉換處理，該圖像轉換處理實施將該特征量應用于所輸入的圖像信號的增強處理，以生成右眼用的圖像或左眼用的圖像。
2. 根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換部提取所輸入的圖像信號的微分亮度信號，將該微分亮度信號設定為所述特征量，生成通過將所述特征量加到所輸入的圖像信號上或通過從所輸入的圖像信號中減去所述特征量而生成的經轉換的信號作為右眼用的圖4象信號或左眼用的圖像信號，并且輸出直接地作為所輸入的圖像信號的未經轉換的信號，以作為用于眼睛中與針對其生成所述經轉換的信號的眼睛不同的另一眼睛的圖4象信號。
3. 根據權利要求l所述的圖像處理裝置，其中，所述圖像轉換部提取所輸入的圖像信號的微分亮度信號，將該微分亮度信號設定為所述特征量，分別地通過將所述特征量加到所輸入的圖像信號上及通it^所輸入的圖像信號中減去所述特征量來生成信號，并且將所述兩個信號的對生成為右眼用的圖像與左眼用的圖像的對。
4. 根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換部提取所輸入的圖像信號的微分亮度信號，將通過對該微分亮度信號進行非線性轉換而生成的信號設定為所述特征量，通過將所述特征量加到所輸入的圖像信號上或通過從所輸入的圖像信號中減去所述特征量來生成信號，并且將所述信號中的任一信號生成為右眼用的圖像信號或左眼用的圖像信號。
5. 根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換部包括邊緣區(qū)檢測部，其檢測所輸入的圖像信號的邊緣區(qū)；增強控制部，其對由所述邊緣區(qū)檢測部所檢測到的邊緣區(qū)進行將所述特征量減小的特征量修正；以及圖像組合部，其應用由所述增強控制部所生成的經修正的特征量，并實施將對所述邊緣區(qū)的增強處理水平減小的增強處理。
6. 根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換部包括肉色區(qū)檢測部，其檢測所輸入的圖4象信號的肉色區(qū)；增強控制部，其對由所述肉色區(qū)檢測部所檢測到的肉色區(qū)進行將所述特征量減小的特征量修正；以及圖像組合部，其應用由所述增強控制部所生成的經修正的特征量，并實施將對所述肉色區(qū)的增強處理水平減小的增強處理。
7. 根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換部提取所輸入的圖像信號的微分亮度信號，將該微分亮度信號設定為第一特征量，生成通過將該第一特征量加到所輸入的圖像信號的亮度信號上或通it^所輸入的圖像信號的亮度信號中減去該第一特征量而生成的經轉換的信號作為右眼用的圖像或左眼用的圖像的亮度信號，提取所輸入的圖像信號的微分色差信號，將該微分色差信號設定為第二特征量，生成通過將該第二特征量加到所輸入的圖像信號的色差信號上或通過從所輸入的圖4象信號的色差信號中減去該第二特征量而生成的經轉換的信號作為右眼用的圖4象或左眼用的圖^^的色差信號，并且輸出直接地作為所輸入的圖像信號的未經轉換的信號，以作為用于眼睛中與針對其生成所述經轉換的信號的眼睛不同的另一眼睛的圖像。
8. 根據權利要求l所述的圖像處理裝置，其中，所述圖像轉換部提取所輸入的圖像信號的微分亮度信號，將該微分亮度信號設定為第一特征量，分別地通過將該第一特征量加到所輸入的圖像信號的亮度信號上及通過從所輸入的圖像信號的亮度信號中減去該第一特征量來生成信號，將所述兩個信號的對生成為右眼用的圖像的亮度信號與左眼用的圖像的亮度信號的對，提取所輸入的圖像信號的微分色差信號，將該微分色差信號設定為笫二特征量，通過將該第二特征量加到所輸入的圖像信號的色差信號上及通過從所輸入的圖像信號的色差信號中減去該第二特征量來生成信號，并且將所述兩個信號的對生成為右眼用的圖像的色差信號與左眼用的圖像的色差信號的對。
9. 根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換部針對運動圖像中所包含的每個幀來進行生成右眼用的圖像及左眼用的圖4象的處理。
10. 根據權利要求9所述的圖像處理裝置，該圖像處理裝置還包括圖傳瑜出部，其將由所述圖像轉換部所生成的右眼用的圖傳及左眼用的圖絲出，其中，所述圖像輸出部按輸入圖像幀頻的兩倍的iUt交替地輸出由所述圖像轉換部所生成的右眼用的圖^UJEB艮用的圖像。
11. 根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換部針對運動圖像中所包含的每個幀交替地生成右
12. 根據權利要求1所述的圖像處理裝置，其中，所述圖像轉換部針對運動圖像中所包含的每個幀來生成右眼用的圖傳及左眼用的圖像，并且進行交替地包括在所生成的右眼用的圖〗象及左眼用的圖4象中所包含的線數據的雙8IL^L差圖像的生成處理。
13. 根據權利要求l所述的圖像處理裝置，其中，所述圖像轉換部按照將右眼用的圖像與左眼用的圖像的加和信號設定成等于或大致上等于所輸入的信號的方式來進行右眼用的圖像及左眼用的圖像的生成處理.
14. 根據權利要求1至13中的任一項所述的圖像處理裝置，該圖像處理裝置還包括圖4象顯示部，其對由所述圖像轉換部生成的圖像進行顯示。
15. 根據權利要求14所述的圖像處理裝置，其中，所述圖像顯示部進行交替地輸出右眼用的圖係及左眼用的圖像的時分立體顯示處理.
16. 根據權利要求15所述的圖像處理裝置，其中，在所述圖像顯示部進行交替地輸出右眼用的圖^M^左眼用的圖像的時分立體顯示處理時，所述圖像顯示部按照使得輸出右眼用的圖像及鏡的光閥的切換相同步的方式來切換顯示。
17. 根據權利要求14所述的圖像處理裝置，其中，所述圖像顯示部具有以下結構在所述顯示部的前表面上貼附有其偏振方向針對每個水平線設定得不同的偏振濾波器，并且顯示交替地數據的雙BBU現差圖像。
18. —種圖像處理裝置，包括圖^入部，其輸入二維圖像信號；圖像轉換部，其將從所述圖^^入部輸出的圖像信號輸入，并且生成用于允許立,覺的右眼用的圖像或左眼用的圖像并將其輸出；以及圖^^出部，其將從所述圖像轉換部輸出的右眼用的圖^^L左眼用的其中，所述圖像轉換部按照使得將右眼用的圖像與左眼用的圖像的加和信號設定成等于或大致上等于所輸入的信號的方式來進行右眼用的圖 ^ML左眼用的圖像的生成處理。
19. 一種圖像處理裝置中的處理圖像的方法，包括步驟由輸入二維圖像信號的圖^^入部來輸入所述圖像；由將從所述圖傳瑜入部輸出的圖像信號輸入、并且生成用于允許雙眼立廠所述圖像進行轉換；以及圖#^出部將所述圖#^出，其中，所述轉換圖像的步驟提取所輸入的圖像信號的空間特征量，并進行圖像轉換處理，該圖像轉換處理實施將該特征量應用于所輸入的圖像信號的增強處理，以生成右眼用的圖像或左眼用的圖像。
20. —種用于使圖像處理裝置進行圖像處理的程序，所述圖像處理包括步驟由輸入二維圖像信號的圖^3^入部來輸入圖像；由將從所述圖像輸入部輸出的圖像信號輸入、并且生成用于允許雙眼圖<1^出部將所述圖#^出，其中，所述轉換圖像的步驟提取所輸入的圖像信號的空間特征量，并進行圖像轉換處理，該圖像轉換處理實施將該特征量應用于所輸入的圖像信號的增強處理，以生成右眼用的圖像或左眼用的圖《象。
全文摘要
本發(fā)明涉及圖像處理裝置、圖像處理方法及程序。所述圖像處理裝置包括圖像輸入部，其輸入二維圖像信號；圖像轉換部，其將從所述圖像輸入部輸出的圖像信號輸入，并且生成用于允許雙眼立體視覺的右眼用的圖像及左眼用的圖像并將其輸出；以及圖像輸出部，其將從所述圖像轉換部輸出的右眼用的圖像及左眼用的圖像輸出，其中，所述圖像轉換部提取所輸入的圖像信號的空間特征量，并進行實施將該特征量應用于所輸入的圖像信號的增強處理的圖像轉換處理，以生成右眼用的圖像或左眼用的圖像。
文檔編號H04N13/00GK101646095SQ20091016115
公開日2010年2月10日申請日期2009年8月6日優(yōu)先權日2008年8月6日
發(fā)明者小林誠司申請人:索尼株式會社

完整全部詳細技術資料下載