技術(shù)領(lǐng)域
本公開總體上涉及圖像處理。更具體地講,通過非限制的方式,在本公開中公開的本發(fā)明各方面的示例性實施例涉及使用對圖像的不同二維(2D)部分的不同縮放進行圖像處理來提供三維(3D)透視效果,并且涉及實現(xiàn)這樣的圖像處理的圖像處理裝置以及包括這樣的圖像處理裝置的電子系統(tǒng)。
背景技術(shù):
在各種電子系統(tǒng)和移動系統(tǒng)(諸如例如計算機、移動電話、平板電腦、虛擬現(xiàn)實(VR)設(shè)備和機器人系統(tǒng))中已采用了圖像記錄裝置。最近,研究主要集中于可獲得對象的距離信息以及對象的圖像信息的圖像記錄裝置??梢砸愿鞣N方式來處理由圖像記錄裝置記錄的圖像。例如,可對記錄的圖像進行處理來表現(xiàn)三維(3D)透視效果。研究人員正在進行關(guān)于在記錄的圖像中表現(xiàn)3D透視效果的技術(shù)的各種研究項目。
技術(shù)實現(xiàn)要素:
在對圖像執(zhí)行放大或縮小的現(xiàn)有技術(shù)中,整個圖像用相同比率被縮放。因此,難以對圖像表現(xiàn)出3D透視效果。另外,為了3D透視效果可執(zhí)行3D坐標計算(其中,2D圖像被映射到3D圖像)。然而,此方法需要大量計算。因此,當涉及到3D坐標計算時,難以實時表現(xiàn)3D透視效果。
因此,需要在本質(zhì)上避免由于現(xiàn)有技術(shù)的限制和缺點而產(chǎn)生的上述問題。因此,需要提供一種圖像處理裝置,能夠用相對少的計算和處理成本來有效地表現(xiàn)3D透視效果。
在根據(jù)本公開的具體實施例的圖像處理裝置中,可用不同的、部分特定縮放比率對輸入圖像的部分執(zhí)行用于產(chǎn)生縮放的輸出圖像的縮放操作。例如,在輸入圖像包含對象的圖像和背景的圖像的情況下,可使用第一比率對對象的第一局部(2D)圖像執(zhí)行縮放操作,并且使用與第一比率不同的第二比率對背景的第二局部(2D)圖像執(zhí)行縮放操作。在放大操作的情況下,例如,第二比率可小于第一比率??赏ㄟ^將縮放的局部圖像彼此合并來產(chǎn)生縮放的輸出圖像,以便在縮放的輸出圖像中具有3D透視效果。換句話說,圖像處理裝置可僅基于2D圖像處理(例如,2D縮放操作)而不進行3D坐標計算來產(chǎn)生縮放的輸出圖像。因此,可用相對少的計算/工作負荷并因此按低的處理資源成本實時地表現(xiàn)3D透視效果。
本公開的至少一個示例性實施例提供一種包括上述圖像處理裝置的電子系統(tǒng)。
根據(jù)具體示例性實施例的圖像處理裝置包括圖像分割器、縮放器和混合器。圖像分割器被配置為通過基于輸入圖像的顏色信息和輸入圖像的深度信息對輸入圖像進行劃分來產(chǎn)生第一二維圖像和第二二維圖像??s放器被配置為通過基于第一縮放值對第一二維圖像調(diào)整尺寸來產(chǎn)生第一轉(zhuǎn)換圖像,并通過基于與第一縮放值不同的第二縮放值對第二二維圖像調(diào)整尺寸來產(chǎn)生第二轉(zhuǎn)換圖像。混合器被配置為通過將第一轉(zhuǎn)換圖像與第二轉(zhuǎn)換圖像合并來產(chǎn)生具有三維透視效果的輸出圖像。
在示例性實施例中,第一轉(zhuǎn)換圖像可以是第一二維圖像的放大圖像,第二轉(zhuǎn)換圖像可以是第二二維圖像的放大圖像。另外,第一縮放值可大于第二縮放值。
在另一示例性實施例中,第一二維圖像可與輸入圖像中的第一對象相關(guān)聯(lián),第二二維圖像可與輸入圖像中的不同于第一對象的第二對象相關(guān)聯(lián)。
在示例性實施例中,輸出圖像可以是通過將第一轉(zhuǎn)換圖像疊加到第二轉(zhuǎn)換圖像上來產(chǎn)生的。
在一個實施例中,圖像分割器可被配置為通過基于輸入圖像的顏色信息和輸入圖像的深度信息對輸入圖像進行劃分來進一步產(chǎn)生第三二維圖像。縮放器還可被配置為通過對第三二維圖像調(diào)整尺寸來產(chǎn)生第三轉(zhuǎn)換圖像。調(diào)整尺寸的處理可基于以下縮放值之一:第一縮放值、第二縮放值以及與第一縮放值和第二縮放值不同的第三縮放值。另外,混合器可被配置為通過將第一轉(zhuǎn)換圖像、第二轉(zhuǎn)換圖像和第三轉(zhuǎn)換圖像彼此合并來產(chǎn)生輸出圖像。
在具體實施例中,縮放器可包括第一縮放單元和第二縮放單元。第一縮放單元可被配置為基于第一縮放值和與第一二維圖像相應(yīng)的第一圖像數(shù)據(jù)產(chǎn)生與第一轉(zhuǎn)換圖像相應(yīng)的第一轉(zhuǎn)換圖像數(shù)據(jù)。在一個實施例中,第一轉(zhuǎn)換圖像數(shù)據(jù)可基于第一縮放值。第二縮放單元可被配置為基于第二縮放值和與第二二維圖像相應(yīng)的第二圖像數(shù)據(jù)產(chǎn)生與第二轉(zhuǎn)換圖像相應(yīng)的第二轉(zhuǎn)換圖像數(shù)據(jù)。在一個實施例中,第二轉(zhuǎn)換圖像數(shù)據(jù)可基于第二縮放值。
在示例性實施例中,縮放器還可包括存儲單元。存儲單元可被配置為存儲第一轉(zhuǎn)換圖像數(shù)據(jù)和第二轉(zhuǎn)換圖像數(shù)據(jù)。
在特定示例性實施例中,圖像分割器可包括顏色分割單元和聚類單元。顏色分割單元可被配置為通過基于輸入圖像的顏色信息對輸入圖像執(zhí)行顏色分類來產(chǎn)生多個顏色數(shù)據(jù)。聚類單元可被配置為基于所述多個顏色數(shù)據(jù)和輸入圖像的深度信息來產(chǎn)生與第一二維圖像相應(yīng)的第一圖像數(shù)據(jù)以及與第二二維圖像相應(yīng)的第二圖像數(shù)據(jù)。
在一個實施例中,聚類單元可被配置為還基于輸入圖像的深度信息來確定第一縮放值和第二縮放值。
在示例性實施例中,圖像處理裝置還可包括縮放值產(chǎn)生器??s放值產(chǎn)生器可被配置為至少基于輸入圖像的深度信息來確定第一縮放值和第二縮放值。例如,在特定實施例中,縮放值產(chǎn)生器可基于輸入圖像的深度信息以及用戶設(shè)置信號來確定第一縮放值和第二縮放值。
在具體實施例中,圖像處理裝置還可包括圖像拾取模塊。圖像拾取模塊可被配置為獲得輸入圖像的顏色信息和輸入圖像的深度信息。
在示例性實施例中,圖像處理裝置還可包括圖像拾取模塊和深度測量模塊。圖像拾取模塊可被配置為獲得輸入圖像的顏色信息,而深度測量模塊可被配置為獲得輸入圖像的深度信息。
在具體實施例中,本公開專注一種圖像處理的方法。所述方法包括:(i)通過基于輸入圖像的顏色信息和輸入圖像的深度信息對輸入圖像進行劃分來產(chǎn)生第一二維圖像和第二二維圖像;(ii)通過基于第一縮放值對第一二維圖像調(diào)整尺寸來產(chǎn)生第一轉(zhuǎn)換圖像;(iii)通過基于與第一縮放值不同的第二縮放值對第二二維圖像調(diào)整尺寸來產(chǎn)生第二轉(zhuǎn)換圖像;(iv)通過將第一轉(zhuǎn)換圖像與第二轉(zhuǎn)換圖像合并來產(chǎn)生三維輸出圖像。
在上述方法的示例性實施例中,可至少基于輸入圖像的深度信息來確定第一縮放值和第二縮放值。
在上述方法的示例性實施例中,第一轉(zhuǎn)換圖像可被疊加到第二轉(zhuǎn)換圖像上來創(chuàng)建3D透視效果。
在具體實施例中,本公開還專注于一種包括處理器和圖像處理裝置的電子系統(tǒng)。在電子系統(tǒng)中,圖像處理裝置可耦接到處理器并且被處理器可操作地配置為執(zhí)行以下操作:(i)通過基于輸入圖像的顏色信息和輸入圖像的深度信息對輸入圖像進行劃分來產(chǎn)生第一二維圖像和第二二維圖像;(ii)通過基于第一縮放值對第一二維圖像調(diào)整尺寸來產(chǎn)生第一轉(zhuǎn)換圖像,并通過基于與第一縮放值不同的第二縮放值對第二二維圖像調(diào)整尺寸來進一步產(chǎn)生第二轉(zhuǎn)換圖像;(iii)通過將第一轉(zhuǎn)換圖像與第二轉(zhuǎn)換圖像合并來產(chǎn)生具有三維透視效果的輸出圖像。
在上述系統(tǒng)的示例性實施例中,圖像處理裝置可被實現(xiàn)在處理器中。
在另一示例性實施例中,電子系統(tǒng)還可包括圖形處理器。圖形處理器可耦接到處理器,但是與處理器分離。圖像處理裝置可被實現(xiàn)在圖形處理器中。
在示例性實施例中,電子系統(tǒng)還可包括被耦接到處理器和圖像處理裝置的圖像拾取模塊。圖像拾取模塊可被處理器可操作地配置為獲得輸入圖像的顏色信息和輸入圖像的深度信息。
在一個實施例中,電子系統(tǒng)還可包括圖像拾取模塊和深度測量模塊,其中,圖像拾取模塊和深度測量模塊中的每一個可被耦接到處理器和圖像處理裝置。圖像拾取模塊可被處理器可操作地配置為獲得輸入圖像的顏色信息。另一方面,深度測量模塊可被處理器可操作地配置為獲得輸入圖像的深度信息。
在示例性實施例中,電子系統(tǒng)可以是以下項中的一個:移動電話、智能電話、平板計算機、膝上型計算機、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、數(shù)字相機、便攜式游戲控制臺、音樂播放器、攝錄機、虛擬現(xiàn)實(VR)系統(tǒng)、機器人系統(tǒng)、視頻播放器和導(dǎo)航系統(tǒng)。
附圖說明
從結(jié)合附圖進行的以下詳細描述,本公開的說明性的、非限制性示例性實施例將被更清楚地理解,其中:
圖1是示出根據(jù)本公開的一個實施例的圖像處理裝置的示例性框圖;
圖2、圖3、圖4、圖5、圖6、圖7和圖8是用于描述根據(jù)本公開的具體實施例的圖像處理裝置的操作的示例性說明;
圖9和圖10是根據(jù)本公開的特定實施例的可被包括在圖像處理裝置中的圖像分割器的示例性框圖;
圖11和圖12是根據(jù)本公開的特定實施例的可被包括在圖像處理裝置中的縮放器的示例性框圖;
圖13、圖14和圖15是示出根據(jù)本公開的具體實施例的圖像處理裝置的結(jié)構(gòu)細節(jié)的示例性框圖;
圖16是示出根據(jù)本公開的一個實施例的圖像處理方法的示例性流程圖;
圖17是示出根據(jù)本公開的一個實施例的圖像處理裝置的示例性框圖;
圖18、圖19和圖20是用于描述根據(jù)圖17的實施例的圖像處理裝置的操作的示例性說明;
圖21是示出根據(jù)本公開的一個實施例的圖像處理方法的示例性流程圖;
圖22、圖23、圖24A、圖24B和圖25是用于描述可使用根據(jù)本公開的一個實施例的圖像處理裝置而被提供的3D透視效果的示例性說明;
圖26、圖27和圖28是示出根據(jù)本公開的具體實施例的電子系統(tǒng)的示例性框圖。
具體實施方式
現(xiàn)在將在下面參照附圖更全面地描述本公開的各種示例性實施例,其中,附圖中示出了實施例。然而,可以以多種不同形式來實現(xiàn)本公開的教導(dǎo),并且不應(yīng)將本公開的教導(dǎo)解釋為限于在此闡述的實施例。然而,提供這些實施例使得本公開將是徹底的和完整的,并且這些實施例將把本公開的范圍充分地傳達給本領(lǐng)域技術(shù)人員。相同的參考標號在此申請中始終指示相同的元件。
將理解的是,雖然術(shù)語第一、第二等可在此用于描述各種元件,但是這些元件不應(yīng)受這些術(shù)語限制。這些術(shù)語被用于將一個元件與另一元件區(qū)分開。例如,第一元件可被稱為第二元件,類似地,第二元件可被稱為第一元件,而不脫離本公開的范圍。如這里所使用的,術(shù)語“和/或”包括相關(guān)所列項中的一個或更多個的任意組合或所有組合。
將理解的是,當元件被稱為“連接”或“耦接”到另一元件時,所述元件可直接連接或耦接到所述另一元件,或者通過一個或更多個中間元件連接或耦接到所述另一元件。相反,當元件被稱為“直接連接”或“直接耦接”到另一元件時,不存在中間元件。用于描述元件之間的關(guān)系的其它詞語應(yīng)以類似方式來解釋(例如,“在…之間”與“直接在…之間”、“相鄰”與“直接相鄰”等)。在本公開的上下文中,在兩個元件之間的耦接或連接可主要是電氣的。
將理解的是,雖然術(shù)語“第一”、“第二”等可在此用于描述各種元件,但是這些元件不應(yīng)受這些術(shù)語限制。這些術(shù)語僅用于將一個元件與另一元件區(qū)分開,因此,除非討論的上下文另有說明或指示,否則這些術(shù)語不應(yīng)被解釋為意指這些元件的任意特定次序或順序。例如,“第一縮放值”可被稱為“第二縮放值”,類似地,“第二縮放值”可被稱為“第一縮放值”,而不脫離本公開的教導(dǎo)。
在此使用的術(shù)語用于描述具體實施例的目的,并不意圖限制本公開。如這里所使用的,除非上下文另有明確指示,否則單數(shù)形式還意圖包括復(fù)數(shù)形式。還將理解的是,當術(shù)語“包括”、“包括有”、“包含”和/或“包含有”或其它類似意思的這種術(shù)語在此被使用時,表示存在陳述的特征、整數(shù)、步驟、操作、元件和/或組件,但不排除存在或添加一個或更多個其它特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。
除非另有規(guī)定,否則在此使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)具有與本公開所屬領(lǐng)域的普通技術(shù)人員通常所理解的含義相同的含義。還將理解的是,諸如在通用詞典中定義的這些術(shù)語將被解釋為具有與它們在相關(guān)領(lǐng)域和/或本申請的上下文中的含義一致的含義,并且不應(yīng)以過于理想的或過于正式的含義來解釋這些術(shù)語,除非在此被明確地定義。
圖1是示出根據(jù)本公開的一個實施例的圖像處理裝置100的示例性框圖。圖像處理裝置100可以是電子系統(tǒng)(未示出)的一部分。電子系統(tǒng)可以是多媒體或視聽設(shè)備,諸如例如移動電話、智能電話、平板計算機、膝上型計算機、VR或機器人系統(tǒng)、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、數(shù)字相機、便攜式游戲控制臺、音樂播放器、攝錄機、視頻播放器、導(dǎo)航系統(tǒng)等。
參照圖1,圖像處理裝置100可包括圖像分割器120、縮放器140和混合器160。
圖像分割器120可通過基于輸入圖像的顏色信息(CI)和輸入圖像的深度信息(DI)對輸入圖像進行劃分來產(chǎn)生第一2D圖像(更簡單地并且偶爾可互換地,“第一圖像”)和第二2D圖像(更簡單地并且偶爾可互換地,“第二圖像”)。第一圖像和第二圖像中的每一個可以是輸入圖像的一部分。圖像分割器120可從外部裝置(例如,圖像拾取模塊、圖像拾取裝置等)(未示出)或內(nèi)部存儲裝置(未示出)接收輸入圖像的顏色信息CI和輸入圖像的深度信息DI,并且可產(chǎn)生和輸出與第一圖像相應(yīng)的第一圖像數(shù)據(jù)DAT1以及與第二圖像相應(yīng)的第二圖像數(shù)據(jù)DAT2。顏色信息CI可作為壓縮數(shù)據(jù)或未壓縮數(shù)據(jù)被提供。
縮放器140可通過基于第一縮放值SL1對第一圖像調(diào)整尺寸來產(chǎn)生第一轉(zhuǎn)換圖像,并且還可通過基于與第一縮放值SL1不同的第二縮放值SL2對第二圖像調(diào)整尺寸來產(chǎn)生第二轉(zhuǎn)換圖像??s放器140可從圖像分割器120接收第一圖像數(shù)據(jù)DAT1和第二圖像數(shù)據(jù)DAT2,并且可產(chǎn)生和輸出與第一轉(zhuǎn)換圖像相應(yīng)的第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1以及與第二轉(zhuǎn)換圖像相應(yīng)的第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2。第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2可基本上被同時(或并發(fā)地)產(chǎn)生,或者可被順序地產(chǎn)生。
在一些示例性實施例中,可基于輸入圖像的深度信息DI來確定第一縮放值SL1和第二縮放值SL2,或者可由圖像處理裝置100的用戶來確定第一縮放值SL1和第二縮放值SL2。
混合器160可通過將第一轉(zhuǎn)換圖像與第二轉(zhuǎn)換圖像合并來產(chǎn)生輸出圖像?;旌掀?60可從縮放器140接收第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2,并且可產(chǎn)生與輸出圖像相應(yīng)的輸出圖像數(shù)據(jù)ODAT。因此,輸出圖像數(shù)據(jù)ODAT促進輸出圖像的產(chǎn)生。
圖2、圖3、圖4、圖5、圖6、圖7和圖8是用于描述根據(jù)本公開的具體實施例的圖像處理裝置的操作的示例性說明。圖像處理裝置可以是圖1中示出的裝置100。
參照圖1至圖8,圖2的輸入圖像IIMG可包括對象(例如,男人、人類或人)和背景(例如,太陽、山、樹等)。輸入圖像IIMG可作為輸入圖像數(shù)據(jù)被提供(給圖像處理裝置100),顏色信息CI可從輸入圖像數(shù)據(jù)被獲得。
顏色信息CI可包括任意類型的顏色數(shù)據(jù)。例如,顏色數(shù)據(jù)可具有各種圖像格式(諸如RGB(紅綠藍)、YUV(亮度-帶寬-色度)、YCbCr(數(shù)字視頻中的亮度、色度藍、色度紅)、YPbPr(也被稱為“分量視頻”,是YCbCr色彩空間的模擬版)等)中的一種圖像格式。
輸入圖像數(shù)據(jù)可包括基本上與顏色信息CI相同的顏色數(shù)據(jù),或者可包括通過對顏色信息CI進行編碼而產(chǎn)生的編碼數(shù)據(jù)。例如,可基于各種編碼方案(諸如JPEG(聯(lián)合圖像專家組)、MPEG(運動圖像專家組)、H.264、HEVC(高效視頻編碼)等)中的一種編碼方案來產(chǎn)生編碼數(shù)據(jù)。
在一些示例性實施例中,當輸入圖像數(shù)據(jù)包括編碼數(shù)據(jù)時,圖1的圖像處理裝置100還可包括解碼單元(未示出),其中,解碼單元通過對編碼數(shù)據(jù)進行解碼來產(chǎn)生顏色信息(例如,RGB、YUV、YCbCr、YPbPr等)。
圖3的深度圖像DIMG可包括對象區(qū)域A1和背景區(qū)域A2。深度圖像DIMG可作為深度圖像數(shù)據(jù)被提供(給圖像處理裝置100),深度信息DI可從深度圖像數(shù)據(jù)被獲得。
深度信息DI可包括用于將輸入圖像IIMG中的對象和背景區(qū)分開的深度數(shù)據(jù)。例如,深度信息DI可包括第一深度數(shù)據(jù)和第二深度數(shù)據(jù)。第一深度數(shù)據(jù)可以是與對象相應(yīng)的這樣的對象區(qū)域A1的數(shù)據(jù):該對象區(qū)域A1使得對象與對象拾取模塊(未示出)之間的距離或者對象與捕捉圖像的人之間的距離相對短(例如,短于參考距離)。第二深度數(shù)據(jù)可以是與背景相應(yīng)的這樣的背景區(qū)域A2的數(shù)據(jù):該背景區(qū)域A2使得背景與圖像拾取模塊之間的距離相對長(例如,長于參考距離)。
在一些示例性實施例中,顏色信息CI和深度信息DI可在圖像處理開始時被獲得。顏色信息CI和深度信息DI可基本上被同時獲得,或者被順序地獲得。例如,可從單個模塊(例如,圖14中的圖像拾取模塊170)獲得顏色信息CI和深度信息DI,或者可分別從兩個分離的模塊(例如,圖15中的圖像拾取模塊180和圖15中的深度測量模塊190)獲得顏色信息CI和深度信息DI。
在一些示例性實施例中,顏色信息CI和深度信息DI可被預(yù)先存儲在存儲單元(未示出)中,并且可在圖像處理開始時從該存儲單元加載。
圖像分割器120可基于顏色信息CI和深度信息DI將輸入圖像IIMG劃分為圖4的第一圖像IMG1和圖5的第二圖像IMG2。例如,第一圖像IMG1可以是輸入圖像IIMG中包括的2D圖像部分,并且可以是與對象相應(yīng)的對象區(qū)域A1的圖像(例如,對象圖像)。第二圖像IMG2還可以是輸入圖像IIMG中包括的2D圖像部分,并且可以是與背景相應(yīng)的背景區(qū)域A2的圖像(例如,背景圖像)。換句話說,第一圖像IMG1可與輸入圖像IIMG中的對象相關(guān)聯(lián),第二圖像IMG2可與輸入圖像IIMG中除了對象之外的背景相關(guān)聯(lián)。
縮放器140可基于第一縮放值SL1對第一圖像IMG1進行縮放,并且可基于第二縮放值SL2對第二圖像IMG2進行縮放。換句話說,縮放器140可基于第一縮放值SL1改變第一圖像IMG1的尺寸,并且還可基于第二縮放值SL2改變第二圖像IMG2的尺寸。如前所述,在具體實施例中,可基于輸入圖像IIMG的深度信息DI來確定縮放值SL1和SL2,或者可由用戶提供縮放值SL1和SL2。
在一些示例性實施例中,縮放器140可執(zhí)行第一圖像IMG1和第二圖像MG2被分別放大的擴大操作。擴大操作可以是放大操作的一部分。然而,與進行這種擴大的當前方法相反,每個圖像可使用不同的縮放值被不同地擴大。例如,縮放器140可通過基于第一縮放值SL1對第一圖像IMG1進行放大來產(chǎn)生圖6的第一轉(zhuǎn)換圖像CIMG1,并且可通過基于第二縮放值SL2對第二圖像IMG2進行放大來產(chǎn)生圖7的第二轉(zhuǎn)換圖像CIMG2。換句話說,第一轉(zhuǎn)換圖像CIMG1可以是第一圖像IMG1的放大后的圖像(或者擴大后的圖像),第二轉(zhuǎn)換圖像CIMG2可以是第二圖像IMG2的放大后的圖像。通過對圖6中的轉(zhuǎn)換圖像CIMG1與圖7中的轉(zhuǎn)換圖像CIMG2的比較,觀察到第一圖像IMG1(用更高的縮放值SL1)比第二圖像IMG2擴大的更多。
在一些示例性實施例中,為了在與針對第二圖像IMG2所使用的屏幕相同的屏幕(或顯示面板、顯示裝置等)上并且用與針對第二圖像IMG2所使用的顯示尺寸相同的顯示尺寸來顯示第二轉(zhuǎn)換圖像CIMG2,可通過將放大后的第二圖像的邊緣區(qū)域剪切掉(或截掉)來獲得第二轉(zhuǎn)換圖像CIMG2。圖像處理裝置100中的縮放器140、混合器160和/或圖像剪切單元(未示出)可被配置為執(zhí)行將放大后的第二圖像的邊緣區(qū)域剪切掉的操作。
當?shù)谝粓D像IMG1和第二轉(zhuǎn)換圖像CIMG1被順序地顯示在相同屏幕上時,或者當?shù)诙D像IMG2和第二轉(zhuǎn)換圖像CIMG2被順序地顯示在相同屏幕上時,用戶可察覺到對象和/或背景變得更接近用戶的眼睛的效果。順序地顯示原始圖像和放大后的圖像的操作可被稱為放大操作。
在一些示例性實施例中,當放大操作被執(zhí)行時,第一縮放值SL1可大于第二縮放值SL2。在放大操作中,第一縮放值SL1可指示(或表示或?qū)?yīng)于)用于第一圖像IMG1的放大因子,第二縮放值SL2可指示用于第二圖像IMG2的放大因子。例如,在圖2、圖3、圖4和圖5的情況下,第一縮放值SL1可以約為2(SL1=2),第二縮放值SL2可以約為1.2(SL2=1.2)。換句話說,第一轉(zhuǎn)換圖像(圖6)的尺寸可以比第一圖像IMG1的尺寸大約大兩倍,第二轉(zhuǎn)換圖像CIMG2(圖7)可從第二圖像IMG2被放大約1.2倍。
混合器160可基于分別由第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2表示的第一轉(zhuǎn)換圖像CIMG1和第二轉(zhuǎn)換圖像CIMG2來產(chǎn)生圖8的輸出圖像OIMG。例如,在具體實施例中,可通過簡單地將第一轉(zhuǎn)換圖像CIMG1與第二轉(zhuǎn)換圖像CIMG2合并(例如,疊加)來產(chǎn)生輸出圖像OIMG。
在一些示例性實施例中,為了去除第二轉(zhuǎn)換圖像CIMG2中的空白區(qū)域,可通過將第一轉(zhuǎn)換圖像CIMG1疊加到第二轉(zhuǎn)換圖像CIMG2上來產(chǎn)生輸出圖像OIMG。換句話說,放大后的對象可被疊加到放大后的背景上。
圖8的輸出圖像OIMG可以是圖2的輸入圖像IIMG的放大后的圖像(或者擴大后的圖像)。換句話說,可通過對輸入圖像IIMG執(zhí)行放大操作來獲得圖8中的輸出圖像OIMG??赏ㄟ^對第一圖像IMG1進行相對大的縮放并對第二圖像IMG2進行相對小的縮放(例如,通過確定比用于背景的放大因子更大的用于對象的放大因子)來基于輸入圖像IIMG產(chǎn)生輸出圖像OIMG。因此,可在輸出圖像OIMG中在對象和背景之間表現(xiàn)出三維(3D)透視效果。換句話說,輸出圖像OIMG可以是通過對輸入圖像IIMG的兩個或更多個2D部分進行分別縮放而產(chǎn)生的3D圖像。
在根據(jù)特定示例性實施例的圖像處理裝置100中,可用不同比率對輸入圖像IIMG中的不同的2D部分執(zhí)行用于產(chǎn)生縮放的輸出圖像OIMG的縮放操作。在具體實施例中,這些2D部分可基本上不重疊。例如,如前所述,可基于第一比率對對象的2D局部圖像執(zhí)行縮放操作,并且可基于與第一比率不同(例如,小于第一比率)的第二比率對背景的2D局部圖像執(zhí)行縮放操作??赏ㄟ^將縮放后的局部圖像彼此合并來產(chǎn)生縮放后的輸出圖像OIMG。因此,圖像處理裝置100可有效地產(chǎn)生具有3D透視效果的縮放后的輸出圖像OIMG,并且3D透視效果可被有效地表現(xiàn)在縮放后的輸出圖像OIMG中。換句話說,圖像處理裝置100可僅基于二維(2D)圖像處理(例如,2D縮放操作)而不進行3D坐標計算來產(chǎn)生3D縮放輸出圖像OIMG。因此,3D透視效果可利用相對少的計算量和資源(例如,相對小的處理工作負荷和低處理成本)而在輸出圖像OIMG中被實時表現(xiàn)。
雖然基于對輸入圖像IIMG執(zhí)行放大操作(例如,輸入圖像IIMG被擴大)的示例來描述了圖2至圖8中的示例性實施例,但是可在對輸入圖像IIMG執(zhí)行縮小操作(例如,輸入圖像被縮小)的示例的情況中采用相似操作。然而,與放大操作不同,用戶可在縮小操作中察覺到不同的效果,即,對象和/或背景變得離用戶的眼睛更遠。雖然圖2至圖8中未示出,但是將在下面更詳細地解釋縮小操作。
在一些示例性實施例中,縮放器140可執(zhí)行第一圖像IMG1和第二圖像IMG2被縮小的縮小操作(諸如,例如在縮小操作的情況中)。例如,縮放器140可通過基于第三縮放值SL3將第一圖像IMG1縮小來產(chǎn)生第三轉(zhuǎn)換圖像(未示出),并且可通過基于第四縮放值SL4將第二圖像IMG2縮小來產(chǎn)生第四轉(zhuǎn)換圖像(未示出)。為了在與針對第二圖像IMG2所使用的屏幕相同的屏幕上并且用與針對第二圖像IMG2所使用的顯示尺寸相同的顯示尺寸來顯示第四轉(zhuǎn)換圖像,可通過針對縮小后的第二圖像執(zhí)行附加圖像處理來獲得第四轉(zhuǎn)換圖像。例如,可復(fù)制縮小后的第二圖像的至少一部分(例如,邊緣區(qū)域),并且可將復(fù)制的部分粘貼到縮小后的第二圖像的側(cè)邊處。圖像處理裝置100中的縮放器140、混合器160和/或圖像重構(gòu)單元(未示出)可被配置為針對縮小后的第二圖像執(zhí)行這樣的附加圖像處理。當縮小操作被執(zhí)行時,第三縮放值可小于第四縮放值。在縮小操作中,第三縮放值可指示(或表示或?qū)?yīng)于)用于第一圖像IMG1的縮小因子,第四縮放值可指示用于第二圖像IMG2的縮小因子。例如,第三縮放值可以約為0.5(SL3=0.5),第四縮放值可以約為0.8(SL4=0.8)。換句話說,第三轉(zhuǎn)換圖像的尺寸可以約為第一圖像IMG1的尺寸的一半,第四轉(zhuǎn)換圖像可以被縮小為第二圖像IMG2的0.8倍。
雖然基于第一圖像IMG1與對象相關(guān)聯(lián)并且第二圖像IMG2與背景相關(guān)聯(lián)的示例描述了圖2至圖8中的示例性實施例,但是在一些其他實施例中,第一圖像和第二圖像中的每一個可與一個圖像中的對象相關(guān)聯(lián)。例如,當輸入圖像IIMG被劃分為兩個2D局部圖像時,這兩個局部圖像中的一個可以與輸入圖像IIMG中的第一對象(例如,人)相關(guān)聯(lián),這兩個局部圖像中的另一個可以與輸入圖像IIMG中的與第一對象不同的第二對象(例如,樹)相關(guān)聯(lián)。如前所述,可用不同比率對輸入圖像中的這兩個局部圖像執(zhí)行縮放操作(例如,放大操作和縮小操作)。
另外,雖然基于輸入圖像IIMG是靜態(tài)圖像(例如,靜止圖像、停止的圖像、照片等)或者單幀圖像的示例描述了圖2至圖8中的示例性實施例,但是在其它實施例中,輸入圖像可以是動態(tài)圖像(例如,運動圖像、視頻等)。當輸入圖像是動態(tài)圖像時,可對動態(tài)圖像中的多個2D幀圖像中的每一個執(zhí)行縮放操作(例如,放大操作或縮小操作)。
圖9和圖10是根據(jù)本公開的特定實施例的可被包括在圖像處理裝置100中的圖像分割器的示例性框圖。圖9示出了這樣的圖像分割器的一個實施例,而圖10示出了圖像分割器的另一(不同)實施例。
參照圖9,圖像分割器120a可包括顏色分割單元122和聚類單元124。
顏色分割單元122可通過基于輸入圖像(例如,圖2的IIMG)的顏色信息CI對輸入圖像執(zhí)行顏色分類來產(chǎn)生多個顏色數(shù)據(jù)CLR。顏色分類可以是輸入圖像被劃分為多個圖像塊的操作和/或具有相同顏色(或相似顏色)的圖像塊被檢查的操作。在具體實施例中,例如,多個圖像塊中的每一個圖像塊可包括至少兩個像素(例如,2×2或3×3個像素的圖像塊)。
聚類單元124可基于輸入圖像的多個顏色數(shù)據(jù)CLR和深度信息DI來產(chǎn)生與第一2D圖像(例如,圖4的IMG1)相應(yīng)的第一圖像數(shù)據(jù)DAT1和與第二2D圖像(例如,圖5的IMG2)相應(yīng)的第二圖像數(shù)據(jù)DAT2。
與顏色信息CI類似,第一圖像數(shù)據(jù)DAT1和第二圖像數(shù)據(jù)DAT2中的每一個可分別包括任意類型的顏色數(shù)據(jù)。在具體實施例中,第一圖像數(shù)據(jù)DAT1和第二圖像數(shù)據(jù)DAT2中的每一個還可分別包括位置信息。位置信息可指示第一2D圖像和第二2D圖像在輸入圖像中的位置。例如,位置信息可作為標志值被提供。第一圖像數(shù)據(jù)DAT1中所包括的多個第一像素數(shù)據(jù)中的每一個可具有第一標志值,第二圖像數(shù)據(jù)DAT2中所包括的多個第二像素數(shù)據(jù)中的每一個可具有第二標志值。
參照圖10,圖像分割器120b可包括顏色分割單元122以及聚類和縮放值設(shè)置單元125。
除了圖9中的聚類單元124被圖10中的聚類和縮放值設(shè)置單元125替換之外,圖10的圖像分割器120b可基本上與圖9的圖像分割器120a相同。圖10中的顏色分割單元122可基本上與圖9中的顏色分割單元122相同。
聚類和縮放值設(shè)置單元125可基于多個顏色數(shù)據(jù)CLR和深度信息DI來產(chǎn)生與第一圖像相應(yīng)的第一圖像數(shù)據(jù)DAT1和與第二圖像相應(yīng)的第二圖像數(shù)據(jù)DAT2。另外,聚類和縮放值設(shè)置單元125可被配置為基于深度信息DI來確定第一縮放值SL1和第二縮放值SL2。
在一些示例性實施例中,可分別基于第一距離和第二距離來確定第一縮放值SL1和第二縮放值SL2。第一距離可指示圖像拾取模塊(或捕捉圖像的人)(未示出)和與第一圖像相應(yīng)的對象之間的距離,第二距離可指示圖像拾取模塊和與第二圖像相應(yīng)的背景之間的距離。例如,當在放大操作中第一距離比第二距離短時,第一縮放值SL1可大于第二縮放值SL2。當在放大操作中第二距離比第一距離短時,第二縮放值SL2可大于第一縮放值SL1。當在縮小操作中第一距離比第二距離短時,第一縮放值SL1可小于第二縮放值SL2。當在縮小操作中第二距離比第一距離短時,第二縮放值SL2可小于第一縮放值SL1。
在一些示例性實施例中,第一縮放值SL1可在放大操作中隨著第一距離的增加而減小。第一縮放值SL1可在放大操作中隨著第一距離的減小而增大。另一方面,第一縮放值SL1可在縮小操作中隨著第一距離的增大而增大。第一縮放值SL1可在縮小操作中隨著第一距離的減小而減小。與第一縮放值SL1類似,第二縮放值SL2可在放大操作中隨著第二距離的增大而減小。第二縮放值SL2可在放大操作中隨著第二距離的減小而增大。類似地,第二縮放值SL2可在縮小操作中隨著第二距離的增大而增大。第二縮放值SL2可在縮小操作中隨著第二距離的減小而減小。
圖11和圖12是根據(jù)本公開的特定實施例的可被包括在圖像處理裝置100中的縮放器的示例性框圖。圖11示出了這樣的縮放器的一個實施例,而圖12示出了縮放器的另一(不同)實施例。
參照圖11,縮放器140a可包括第一縮放單元142和第二縮放單元144。
第一縮放單元142可基于第一縮放值SL1和與第一圖像(例如圖4的IMG1)相應(yīng)的第一圖像數(shù)據(jù)DAT1來產(chǎn)生與第一轉(zhuǎn)換圖像(例如,圖6的CIMG1)相應(yīng)的第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1。第二縮放單元144可基于第二縮放值SL2和與第二圖像(例如,圖5的IMG2)相應(yīng)的第二圖像數(shù)據(jù)DAT2來產(chǎn)生與第二轉(zhuǎn)換圖像(例如,圖7的CIMG2)相應(yīng)的第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2。在特定實施例中,第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2可基本上被同時產(chǎn)生。在其它實施例中,第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2可被順序地產(chǎn)生。
在一個實施例中,在放大操作中,可分別通過第一縮放單元142和第二縮放單元144利用不同比率執(zhí)行放大操作來分別產(chǎn)生用于第一轉(zhuǎn)換圖像(例如,基于第一圖像和第一縮放值SL1)和第二轉(zhuǎn)換圖像(例如,基于第二圖像和第二縮放值SL2)的數(shù)據(jù)(CDAT1和CDAT2)。在另一實施例中,在縮小操作中,可分別通過第一縮放單元142和第二縮放單元144利用不同比率執(zhí)行縮小操作來產(chǎn)生用于第一轉(zhuǎn)換圖像和第二轉(zhuǎn)換圖像的數(shù)據(jù)。
與第一圖像數(shù)據(jù)DAT1和第二圖像數(shù)據(jù)DAT2相似,第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2中的每一個可包括任意類型的顏色數(shù)據(jù),并且還可包括指示第一轉(zhuǎn)換圖像和第二轉(zhuǎn)換圖像在輸出圖像中的位置的位置信息。
參照圖12,縮放器140b可包括縮放單元143和存儲單元145。
縮放單元143可被認為是圖11的第一縮放單元142和第二縮放單元144的組合。換句話說,縮放單元143可具有圖11中的縮放器140a的功能。因此,如圖12中所示,縮放單元143可基于第一縮放值SL1和第一圖像數(shù)據(jù)DAT1來產(chǎn)生第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1,并且還可基于第二縮放值SL2和第二圖像數(shù)據(jù)DAT2來產(chǎn)生第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2。在特定實施例中,第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2可分別被順序地產(chǎn)生。在其它實施例中,第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2可基本上被同時產(chǎn)生。
在一個實施例中,在放大操作中,可通過縮放單元143(用不同比率)分別順序地對第一圖像數(shù)據(jù)DAT1和第二圖像數(shù)據(jù)DAT2執(zhí)行放大操作來產(chǎn)生第一轉(zhuǎn)換圖像數(shù)據(jù)和第二轉(zhuǎn)換圖像數(shù)據(jù)。在另一實施例中,在縮小操作中,可通過縮放單元143(用不同比率)順序地對第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)執(zhí)行縮小操作來產(chǎn)生第一轉(zhuǎn)換圖像數(shù)據(jù)和第二轉(zhuǎn)換圖像數(shù)據(jù)。
存儲單元145可順序地存儲第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2,并且可基本上同時輸出第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2??蛇x地,存儲單元145可被配置為基本上同時分別存儲第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1和第二轉(zhuǎn)換圖像數(shù)據(jù)CDAT2。
在一些示例性實施例中,存儲單元145可包括至少一個易失性存儲器(諸如動態(tài)隨機存取存儲器(DRAM)、靜態(tài)隨機存取存儲器(SRAM))和/或至少一個非易失性存儲器(諸如電可擦可編程只讀存儲器(EEPROM)、閃存、相變隨機存取存儲器(PRAM)、電阻隨機存取存儲器(RRAM)、磁隨機存取存儲器(MRAM)、鐵電隨機存取存儲器(FRAM)、納米浮柵存儲器(NFGM)或聚合物隨機存取存儲器(PoRAM))。
雖然圖12中未示出,但是在具體實施例中,存儲單元145可位于縮放器140b外部。例如,存儲單元可位于圖1中的混合器160內(nèi)部,或者可位于圖1的圖像處理裝置100的其它地方。
圖13、圖14和圖15是示出根據(jù)本公開的具體實施例的圖像處理裝置的結(jié)構(gòu)細節(jié)的示例性框圖。圖13示出了這樣的圖像處理裝置的一個實施例,圖14示出了另一(不同)實施例,圖15示出了圖像處理裝置的又一實施例。圖13至圖15中示出的實施例中的每一個可被認為是圖1中示出的圖像處理裝置100的更一般的實施例的結(jié)構(gòu)變化。
現(xiàn)在參照圖13,根據(jù)本公開的一個實施例的圖像處理裝置100a不僅可包括圖1中示出的圖像分割器120、縮放器140和混合器160,還可包括縮放值產(chǎn)生器130。因此,除了圖13的圖像處理裝置100a中包括縮放值產(chǎn)生器130之外,圖像13的圖像處理裝置100a可基本上與圖1的圖像處理裝置100相同。因此,下面僅提供與圖13中的實施例相關(guān)的附加方面的簡要討論。
縮放值產(chǎn)生器130可基于深度信息D1來確定第一縮放值SL1和第二縮放值SL2。在一個實施例中,縮放值產(chǎn)生器130可按照基本上與圖10中的聚類和縮放值設(shè)置單元125確定這些值的方式相同的方式來分別確定第一縮放值SL1和第二縮放值SL2。
在一些示例性實施例中,縮放值產(chǎn)生器130還可接收用戶設(shè)置信號USS。用戶設(shè)置信號USS可提供自圖像處理裝置100a或者包括圖像處理裝置100a的電子系統(tǒng)的用戶。在具體實施例中,縮放值產(chǎn)生器130可基于深度信息DI和用戶設(shè)置信號USS中的至少一個來分別確定第一縮放值SL1和第二縮放值SL2。
當圖像處理裝置100a還包括縮放值產(chǎn)生器130時,圖13中的圖像分割器120可基本上與圖9的圖像分割器120a相同。另外,圖13中的縮放器140可基本上與圖11的縮放器140a或圖12的縮放器140b之一相同。
圖14的實施例中的圖像處理裝置100b也可包括圖1中示出的圖像分割器120、縮放器140和混合器160。另外,圖像處理裝置100b還可包括圖像拾取模塊170。因此,除了圖14的實施例中包括圖像拾取模塊170之外,圖14中的圖像處理裝置100b還可以基本上圖1的圖像處理裝置100相同。因此,下面僅提供與圖14的實施例相關(guān)的附加方面的簡要討論。
圖像拾取模塊170可捕捉包括對象10(可以是用于拍攝的物體)的圖像(諸如照片),并且還可獲得捕捉的圖像的顏色信息CI和深度信息DI。例如,圖像拾取模塊170可包括鏡頭(未示出)和傳感器(未示出)。在經(jīng)由鏡頭捕捉圖像的同時,傳感器可基本上同時獲得顏色信息CI和深度信息DI。
在一些示例性實施例中,圖像拾取模塊170中的傳感器可以是3D彩色圖像傳感器。3D彩色圖像傳感器可被稱為RGBZ傳感器,其中,RGBZ傳感器可在一個像素陣列(未示出)中包括多個深度(Z)像素和多個顏色(紅(R)、綠(G)和藍(B))像素。另外,多個紅外光濾光器(未示出)或多個近紅外光濾光器(未示出)可布置在多個深度像素上,并且多個彩色濾光器(例如,紅濾光器、綠濾光器和藍濾光器)可布置在多個顏色像素上。在具體實施例中,深度(Z)像素可提供深度信息DI,而顏色(RGB)像素可提供由圖像拾取模塊170捕捉的輸入圖像的顏色信息CI。
現(xiàn)在參照圖15,與圖1中的圖像處理裝置100類似,圖15的實施例中的圖像處理裝置100c也可包括圖像分割器120、縮放器140和混合器160。然而,圖15的實施例中的圖像處理裝置100c還可包括圖像拾取模塊180和深度測量模塊190??偟恼f來,除了圖15的實施例中包括圖像拾取模塊180和深度測量模塊190之外,圖15中的圖像處理裝置100c可基本上與圖1的圖像處理裝置100相同。因此,下面僅提供與圖15的實施例相關(guān)的附加方面的簡要討論。
圖像拾取模塊180可捕捉包括對象10(可以是用于拍攝的物體)的圖像(諸如照片),并且還可獲得捕捉的圖像的顏色信息CI。在具體實施例中,圖像拾取模塊180可包括第一透鏡(未示出)和第一傳感器(未示出)。
在一些示例性實施例中,圖像拾取模塊180中的第一傳感器可以是2D彩色圖像傳感器。2D彩色圖像傳感器可被稱為RGB傳感器,并且可包括布置在像素陣列(未示出)中的多個顏色像素。第一傳感器可以是各種類型的圖像傳感器,諸如例如互補金屬氧化物半導(dǎo)體(CMOS)圖像傳感器、電荷耦合器件(CCD)圖像傳感器等。
深度測量模塊190可捕捉包括對象10的圖像,并且還可獲得捕捉的圖像的深度信息DI。在特定實施例中,深度測量模塊190可包括第二透鏡(未示出)、光源(未示出)和第二傳感器(未示出)。
在一些示例性實施例中,深度測量模塊190中的第二傳感器可以是3D圖像傳感器。3D圖像傳感器可被稱為深度傳感器,并且可包括多個深度像素。例如,第二傳感器可以是各種類型的深度傳感器中的一種,其中,所述各種類型的深度傳感器需要光源并采用飛行時間(TOF)方案、或結(jié)構(gòu)光方案(structured light scheme)、或圖案化光方案(patterned light scheme)、或強度圖方案(intensity map scheme)。另外,在一個實施例中,第二傳感器中的像素也可被布置在像素陣列(未示出)。
在具體實施例中,圖14和圖15中的至少一個中的圖像分割器120可基本上與圖9的圖像分割器或者圖10的圖像分割器120b相同。另外,圖14和圖15中的至少一個中的縮放器140也可基本上與圖11的縮放器140a或圖12的縮放器140b相同。雖然未示出,但是在一些實施例中,圖14的圖像處理裝置100b或者圖15的圖像處理裝置100c還可包括縮放值產(chǎn)生器(例如,類似于圖13中的縮放值產(chǎn)生器130)。
雖然圖14和圖15中的對象10被示出為人,但是由圖像拾取模塊(圖14和圖15中)和/或深度測量模塊(圖15中)捕捉的對象可以是任意類型的對象(例如,樹、動物、車等)。
圖16是示出根據(jù)本公開的一個實施例的圖像處理方法的示例性流程圖。
在圖16中的根據(jù)實施例的圖像處理方法中,可通過基于輸入圖像的顏色信息和輸入圖像的深度信息對輸入圖像進行劃分來產(chǎn)生第一圖像和第二圖像(步驟S110)。如上所述,第一圖像和第二圖像中的每一個可以是輸入圖像中的分離且不同的2D部分。在具體實施例中,這樣的2D部分可基本上不重疊,或者可選地,這樣的2D部分可具有預(yù)先定義的重疊。顏色信息和深度信息可在圖像處理開始時被獲得,或者可被預(yù)先存儲并在圖像處理開始時加載。
根據(jù)圖16中的方法,可通過基于第一縮放值對第一圖像調(diào)整尺寸來產(chǎn)生第一轉(zhuǎn)換圖像(步驟S120),可通過基于與第一縮放值不同的第二縮放值對第二圖像調(diào)整尺寸來產(chǎn)生第二轉(zhuǎn)換圖像(步驟S130)??s放操作可以是與放大請求相應(yīng)的放大操作或者與縮小請求相應(yīng)的縮小操作中的一種。
雖然圖16中未示出,但是作為根據(jù)圖16中示出的方法的一部分,第一縮放值和第二縮放值可被確定。例如,可基于輸入圖像的深度信息來確定第一縮放值和第二縮放值,或者可由用戶來確定第一縮放值和第二縮放值。
可通過將第一轉(zhuǎn)換圖像和第二轉(zhuǎn)換圖像合并來產(chǎn)生輸出圖像(步驟S140)。例如,在一個實施例中,可通過將第一轉(zhuǎn)換圖像疊加到第二轉(zhuǎn)換圖像上來產(chǎn)生輸出圖像。
圖16的圖像處理方法可如以上參考圖1至圖8所描述的那樣執(zhí)行,并且可使用圖1、圖13、圖14和圖15中示出的圖像處理裝置中的任意一種來執(zhí)行。
在圖16的根據(jù)實施例的圖像處理的方法中,可使用不同的、部分特定縮放比率對輸入圖像的部分執(zhí)行用于產(chǎn)生縮放后的輸出圖像的縮放操作(在步驟S120和S130)。另外,如前所述,可僅基于2D縮放操作來產(chǎn)生縮放后的輸出圖像。因此,可用相對小的工作負荷和低處理成本,實時地在縮放后的輸出圖像中有效地表現(xiàn)出3D透視效果。
雖然以上基于輸入圖像被劃分為兩個局部圖像(例如,對象圖像和背景圖像)的示例來描述了各種實施例,但是本公開的教導(dǎo)可被應(yīng)用于輸入圖像被劃分為任意數(shù)量的圖像的情況。下面將詳細地解釋涉及三個或更多個局部圖像的縮放操作。
圖17是示出根據(jù)本公開的一個實施例的圖像處理裝置200的示例性框圖。
參照圖17,圖像處理裝置200可包括圖像分割器220、縮放器240和混合器260。
除了圖像處理裝置200可被配置為對劃分為兩個以上的局部圖像的輸入圖像進行操作之外,圖17的圖像處理裝置200可基本上與圖1的圖像處理裝置100相同。
圖像分割器220可通過基于輸入圖像的顏色信息CI和輸入圖像的深度信息DI對輸入圖像進行劃分來產(chǎn)生多個2D圖像(第一圖像至第n圖像)的數(shù)據(jù),其中,“n”是等于或大于3的自然數(shù)。第一圖像至第n圖像中的每一個圖像可以是輸入圖像的2D部分。在具體實施例中,每個這樣的2D部分可基本上不重疊。圖像分割器220可從外部裝置或內(nèi)部存儲裝置接收顏色信息CI和深度信息DI,可對接收到的CI和DI內(nèi)容進行處理,并因此可產(chǎn)生和輸出與第一圖像相應(yīng)的第一圖像數(shù)據(jù)DAT1至與第n圖像相應(yīng)的第n圖像數(shù)據(jù)DATn。在一個實施例中,圖像分割器220可與圖9的圖像分割器120a或圖10的圖像分割器120b相似。
縮放器240可通過基于彼此不同的第一縮放值SL1至第n縮放值SLn對利用從圖像分割器220接收的第一圖像數(shù)據(jù)至第n圖像數(shù)據(jù)表示的第一圖像至第n圖像調(diào)整尺寸來產(chǎn)生第一轉(zhuǎn)換圖像至第n轉(zhuǎn)換圖像。更具體地講,縮放器240可從圖像分割器220接收第一圖像數(shù)據(jù)DAT1至第n圖像數(shù)據(jù)DATn,并且可產(chǎn)生和輸出與第一轉(zhuǎn)換圖像相應(yīng)的第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1至與第n轉(zhuǎn)換圖像相應(yīng)的第n轉(zhuǎn)換圖像數(shù)據(jù)CDATn。在一個實施例中,縮放器240可與圖11的縮放器140a或圖12的縮放器140b相似。例如,縮放器240可包括“n”個縮放單元(類似于圖11中的縮放器),或者可包括一個縮放單元和一個存儲單元(類似于圖12中的縮放器)。
在一些示例性實施例中,可用不同的、圖像特定縮放比率來對第一圖像至第n圖像中的每一個圖像進行縮放,或者可選地,可用相同比率對第一圖像至第n圖像中的一部分圖像進行縮放。例如,當輸入圖像被劃分為三個圖像時(例如,當“n”等于3時),可基于第一縮放值對第一圖像進行縮放,可基于與第一縮放值不同的第二縮放值對第二圖像進行縮放,并且可基于第一縮放值、第二縮放值以及與第一縮放值和第二縮放值不同的第三縮放值之一來對第三圖像進行縮放。
混合器260可通過將第一轉(zhuǎn)換圖像至第n轉(zhuǎn)換圖像彼此合并來產(chǎn)生輸出圖像。更具體地講,混合器260可從縮放器240接收第一轉(zhuǎn)換圖像數(shù)據(jù)CDAT1至第n轉(zhuǎn)換圖像數(shù)據(jù)CDATn,并且可產(chǎn)生與輸出圖像相應(yīng)的輸出圖像數(shù)據(jù)ODAT。在具體實施例中,輸出圖像可基于產(chǎn)生的輸出圖像數(shù)據(jù)ODAT被渲染或顯示。
在一些示例性實施例中,圖像處理裝置200還可包括縮放值產(chǎn)生器(例如,類似于圖13中的元件130)、圖像拾取模塊(例如,類似于圖14中的元件170或圖15中的元件180)、以及深度測量模塊(例如,類似于圖15中的元件190)中的至少一個。
圖18、圖19和圖20是示出用于描述根據(jù)圖17的實施例的圖像處理裝置200的操作的示例性說明。
參照圖2、圖4、圖17、圖18、圖19和圖20,圖2的輸入圖像IIMG可包括第一對象(例如,男人、人類或人)、第二對象(例如,樹)和剩余背景(例如,太陽、山等)。
雖然未示出,但是與輸入圖像IIMG相應(yīng)的深度圖像(在圖17中的實施例的情境中)可包括與第一對象相應(yīng)的第一對象區(qū)域、與第二對象相應(yīng)的第二對象區(qū)域、以及與剩余背景相應(yīng)的背景區(qū)域。除了存在三個深度區(qū)域(而并非圖3的深度圖像中的僅有的兩個區(qū)域-A1(針對第一對象)和A2(針對整個背景))之外,這樣的深度圖像可類似于圖3中的深度圖像。
圖像分割器220可基于從輸入圖像IIMG獲得的顏色信息以及從上述的相應(yīng)3區(qū)域深度圖像獲得的深度信息DI來將輸入圖像IIMG劃分為圖4的第一圖像IMG1、圖18的第二圖像IMG2’以及圖19的第三圖像IMG3’。在圖19的情境中,注意到,其中的人的輪廓與圖4的第一圖像IMG1相應(yīng),其中的樹指示圖18的第二圖像IMG2’中的樹的輪廓。
縮放器240可基于第一縮放值SL1對第一圖像IMG1進行縮放來產(chǎn)生第一轉(zhuǎn)換圖像,可基于第二縮放值對第二圖像IMG2’進行縮放來產(chǎn)生第二轉(zhuǎn)換圖像,并且可基于第三縮放值SL3對第三圖像IMG3’進行縮放來產(chǎn)生第三轉(zhuǎn)換圖像。在一個實施例中,縮放器240可執(zhí)行放大操作,其中,在該放大操作中,第一圖像IMG1、第二圖像IMG2’和第三圖像IMG3’被分別擴大。例如,在圖2、圖4、圖18、圖19和圖20的示例中,第一縮放值可以約為2(SL1=2),第二縮放值可以約為1.5(SL2=1.5),并且第三縮放值可以約為1.2(SL3=1.2)。
混合器260可基于第一轉(zhuǎn)換圖像、第二轉(zhuǎn)換圖像和第三轉(zhuǎn)換圖像來產(chǎn)生圖20的輸出圖像OIMG’。例如,可通過順序地將第二轉(zhuǎn)換圖像和第一轉(zhuǎn)換圖像疊加(例如,重疊)到第三轉(zhuǎn)換圖像上來產(chǎn)生圖20中的輸出圖像OIMG’。
可通過對輸入圖像IIMG執(zhí)行放大操作來獲得圖20中的輸出圖像OIMG’??赏ㄟ^分別相對大地縮放第一圖像IMG1(圖4)和第二圖像IMG2’(圖18)并通過相對小地縮放第三圖像IMG3’(圖19)(例如,通過將用于圖17至圖18中的對象的放大因子確定為大于用于圖19中的剩余背景的放大因子),基于輸入圖像IIMG來產(chǎn)生輸出圖像OIMG’。因此,可在輸出圖像OIMG’中在對象與背景之間提供3D透視效果。如前所述,可使用2D圖像處理來實現(xiàn)3D透視效果,其中,2D圖像處理比3D坐標計算相對更快并占用更少資源。
圖1至圖20中的示例性實施例的前述討論可被應(yīng)用于輸入圖像IIMG被劃分為任意數(shù)量的2D局部圖像(每個局部圖像可包括對象圖像或背景圖像)的各種其它實施例??墒褂脤@樣的多個局部圖像的分別縮放來對輸入圖像IIMG執(zhí)行放大操作或縮小操作。另外,輸入圖像IIMG可以是靜態(tài)圖像或動態(tài)圖像。
圖21是示出根據(jù)本公開的一個實施例的圖像處理的方法的示例性流程圖。
在圖21中的根據(jù)實施例的圖像處理的方法中,通過基于輸入圖像的顏色信息和輸入圖像的深度信息對輸入圖像進行劃分來產(chǎn)生第一圖像至第n圖像(步驟S210)。如前所述,這些“n”個圖像中的每一個圖像可以是輸入圖像中的分離且不同的2D部分。在具體實施例中,這些2D部分可基本上不重疊,或者可選地,這些2D部分可具有預(yù)先定義的重疊。此后,可通過基于第一縮放值至第n縮放值對第一圖像至第n圖像調(diào)整尺寸來產(chǎn)生第一轉(zhuǎn)換圖像至第n轉(zhuǎn)換圖像(步驟S220)。在一個實施例中,這些“n”個縮放值中的每一個可彼此不同,并且可被應(yīng)用于相應(yīng)的一個2D部分??赏ㄟ^將第一轉(zhuǎn)換圖像至第n轉(zhuǎn)換圖像彼此合并來產(chǎn)生輸出圖像(步驟S230)。雖然圖21中未示出,但作為圖21中示出的方法中的一部分,第一縮放值至第n縮放值可被確定。
圖21中的步驟S210可類似于圖16中的步驟S110,圖21中的步驟S220可類似于圖16中的步驟S120和S130,并且圖21中的步驟S230可類似于圖16中的步驟S140。
在具體實施例中,圖21中的圖像處理方法可如以上所述那樣(使用圖2、圖4、圖17、圖18、圖19和圖20中的示例)被執(zhí)行,并且可使用圖17的圖像處理裝置200來實施。
圖22、圖23、圖24A、圖24B和圖25是用于描述可使用根據(jù)本公開的一個實施例的圖像處理裝置來提供的3D透視效果的示例性說明。圖像處理裝置可以是圖1、圖13至圖15和圖17的實施例中示出的圖像處理裝置中的任意一個。
現(xiàn)在參照圖22,輸入圖像可包括對象(例如,足球)和背景(例如,球門柱和周圍的足球場等)。圖23示出圖22中的輸入圖像的深度圖像。如圖23中所示,深度圖像可包括對象區(qū)域(例如,相對亮的區(qū)域)和背景區(qū)域(例如,相對暗的區(qū)域)。圖24A示出對象和背景用相同縮放比率被放大的示例。另一方面,圖24B示出對象用相對大的比率被放大并且背景用相對小的比率被放大的示例。換句話說,圖24B中的放大操作使用根據(jù)本公開的教導(dǎo)的分別縮放方法被執(zhí)行。通過將圖24A和圖24B相比較,觀察到,當對象圖像和背景圖像使用不同縮放比率被放大時(如圖24B中的情況所示),3D透視效果可被更好地表現(xiàn)。
現(xiàn)在參照圖25,情況1是指示縮放比率是第一比率的示例的曲線(虛線),情況2是指示縮放比率是比第一比率大的第二比率的示例的曲線(實線)。例如,第一比率可以約為1,第二比率可以約為10。
在圖25的曲線中,縮放大小和深度值之間的關(guān)系可滿足以下的等式1:
SC=(a*SRC)/(DST*DP) [等式1]
在等式1中,“SC”表示縮放大小,“a”表示縮放比率,“SRC”表示對象的原始尺寸,“DST”表示對象的目標尺寸,“DP”表示深度值。可假設(shè)如果DP約為0,則SC約為1。
與縮放比率為第一比率的情況(例如,圖25中的情況1)相比,在縮放比率是第二比率的情況(例如,圖25中的情況2)中,被用戶識別出的對象的放大程度可增加。因此,當對象用相對大的比率縮放并且背景用相對小的比率縮放時,對象可比背景擴大的更多,并因此可在將輸入圖像的對象部分和背景部分被不同地擴大后的變體進行合并后的最終輸出圖像中有效地表現(xiàn)出3D透視效果。
圖26、圖27和圖28是示出根據(jù)本公開的具體實施例的電子系統(tǒng)的示例性框圖。
參照圖26,電子系統(tǒng)1000可包括處理器1010和圖像處理裝置1060。電子系統(tǒng)1000還可包括連接性模塊1020、存儲器裝置1030、用戶接口1040和電源1050。雖然圖26中未示出,但是電子系統(tǒng)1000還可包括圖形處理器。處理器1010和圖像處理裝置1060可被實現(xiàn)在相同的半導(dǎo)體基底上。
處理器1010可執(zhí)行各種計算功能,諸如例如具體計算和任務(wù)執(zhí)行。例如,處理器1010可以是中央處理器(CPU)、微處理器、應(yīng)用處理器(AP)等。處理器1010可執(zhí)行操作系統(tǒng)(OS)來驅(qū)動電子系統(tǒng)1000,并且可執(zhí)行用于提供互聯(lián)網(wǎng)瀏覽器、游戲、視頻、相機等的各種應(yīng)用。
在一些示例性實施例中,處理器1010可包括單個處理器核或者多個處理器核。在特定實施例中,處理器1010還可包括可位于處理器1010內(nèi)部或外部的高速緩存存儲器(未示出)。
連接性模塊1020可與外部裝置(未示出)進行通信。連接模塊1020可使用各種類型的通信接口(諸如例如通用串行總線(USB)、以太網(wǎng)、近場通信(NFC)、射頻識別(RFID)、像第4代(4G)和長期演進(LTE)的移動電信、以及存儲卡接口)之一來進行通信。在具體實施例中,例如,連接性模塊1020可包括基帶芯片集,并且可支持多種不同通信技術(shù)(諸如例如,全球移動通信系統(tǒng)(GSM)、通用分組無線業(yè)務(wù)(GPRS)、寬帶碼分多址(WCDMA)、高速分組接入(HSPA)等)中的一種或更多種。
存儲器裝置1030可操作為電子系統(tǒng)1000中的用于由處理器1010處理的數(shù)據(jù)的數(shù)據(jù)存儲器或者工作存儲器(未示出)。例如,存儲器裝置1030可存儲用于啟動電子系統(tǒng)1000的啟動鏡像、用于驅(qū)動電子系統(tǒng)1000的操作系統(tǒng)的文件系統(tǒng)、用于與電子系統(tǒng)1000連接的外部裝置的裝置驅(qū)動器、和/或在電子系統(tǒng)1000上執(zhí)行的應(yīng)用。在具體實施例中,存儲器裝置1030可包括易失性存儲器(諸如例如,DRAM、SRAM、移動DRAM、雙數(shù)據(jù)速率(DDR)同步DRAM(SDRAM)、低功耗DDR(LPDDR)SDRAM、圖形DDR(GDDR)SDRAM、或蘭巴斯(Rambus)DRAM(RDRAM)等)和/或非易失性存儲器(諸如例如,EEPROM、閃存、PRAM、RRAM、NFGM、PoRAM、MRAM、FRAM等)。
用戶接口1040可包括至少一個輸入裝置(諸如例如,鍵區(qū)、按鈕、麥克風(fēng)、觸摸屏等)和/或至少一個輸出裝置(諸如例如,揚聲器、顯示裝置等)。電源1050可向電子系統(tǒng)1000提供電力。
圖像處理裝置1060可被處理器1010操作控制。圖像處理裝置1060可以是圖1、圖13至圖15和圖17中示出的圖像處理裝置中的任意一個,并且可根據(jù)如參照圖1至圖21的示例性實施例所解釋的本公開的教導(dǎo)來進行操作。例如,在圖像處理裝置1060中,可用不同的、部分特定縮放比率對輸入圖像的不同的2D部分執(zhí)行用于產(chǎn)生3D縮放的輸出圖像的縮放操作。另外,可僅基于2D縮放操作來產(chǎn)生縮放后的輸出圖像。因此,可用相對小的工作負荷和低處理成本來實時地在縮放后的輸出圖像中有效地表現(xiàn)3D透視效果。
在一些示例性實施例中,用于產(chǎn)生輸出圖像的操作中的至少一部分操作可通過被圖像處理裝置1060和/或處理器1010執(zhí)行的指令(例如,軟件程序)來執(zhí)行。這些指令可被存儲在存儲器裝置1030中。在其它示例性實施例中,用于產(chǎn)生輸出圖像的操作中的至少一部分操作可通過圖像處理裝置1060和/或處理器1010中實現(xiàn)的硬件來執(zhí)行。
如前所述,在一些示例性實施例中,電子系統(tǒng)1000可以是任意移動系統(tǒng),諸如例如,移動電話、智能電話、平板計算機、膝上型計算機、VR或機器人系統(tǒng)、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、數(shù)字相機、便攜式游戲控制臺、音樂播放器、攝錄機、視頻播放器、導(dǎo)航系統(tǒng)等。在具體實施例中,移動系統(tǒng)還可包括可穿戴裝置、物聯(lián)網(wǎng)(IoT)裝置、萬物互聯(lián)(IoE)裝置、電子書等。
在另一示例性實施例中,電子系統(tǒng)1000可以是任意計算系統(tǒng),諸如例如,個人計算機(PC)、服務(wù)器計算機、工作站、平板計算機、膝上型計算機、移動電話、智能電話、PDA、PMP、數(shù)字相機、數(shù)字電視機、機頂盒、音樂播放器、便攜式游戲控制臺、導(dǎo)航裝置等。
電子系統(tǒng)1000和/或電子系統(tǒng)1000的組件可以以各種形式封裝,諸如例如,層疊封裝(PoP)、球柵陣列(BGA)、芯片級封裝(CSP)、塑料引線芯片載體(PLCC)、塑料雙列直插式封裝(PDIP)、裸片格柵封裝、裸片級晶片形式、板上芯片(COB)、陶瓷雙列直插式封裝(CERDIP)、塑料方形扁平封裝(MQFP)、薄型方形扁平封裝(TQFP)、小外形IC(SOIC)、窄間距小外形封裝(SSOP)、薄型小外形封裝(TSOP)、系統(tǒng)級封裝件(SIP)、多芯片封裝(MCP)、晶片級制造封裝(WFP)和晶片級加工的堆疊式封裝(WSP)。
參照圖27,電子系統(tǒng)1000a可包括實現(xiàn)圖像處理裝置1060(被示出為在圖26的實施例中被單獨地實現(xiàn))的處理器1010a。類似于圖26中的實施例,電子系統(tǒng)1000a還可包括連接性模塊1020、存儲器裝置1030、用戶接口1040和電源1050。換句話說,除了在圖27的實施例中圖像處理裝置1060被實現(xiàn)為處理器1010a的一部分之外,圖27的電子系統(tǒng)1000a可基本上與圖26的電子系統(tǒng)1000相同。
參照圖28,電子系統(tǒng)1000b可包括處理器1010(在圖26的實施例中被同樣示出)、圖形處理器或圖形處理單元(GPU)1070以及圖像處理裝置(IPD)1072。類似于圖26中的實施例,電子系統(tǒng)1000b還可包括連接性模塊1020、存儲器裝置1030、用戶接口1040和電源1050。總的來說,除了在圖28的實施例中的電子系統(tǒng)還包括圖形處理器1070以及由圖28中的圖像處理裝置1072代表的圖像處理功能通過圖形處理器1070實現(xiàn)之外,圖28的電子系統(tǒng)1000b可基本上與圖26的電子系統(tǒng)1000相同。
在具體實施例中,圖形處理器1070可與處理器1010分離,并且可執(zhí)行與圖像處理相關(guān)聯(lián)的至少一種數(shù)據(jù)處理。例如,數(shù)據(jù)處理可包括圖像縮放操作(如以上所討論的)、圖像插值、顏色校正、白平衡、伽瑪校正、顏色轉(zhuǎn)換等。
在圖28的實施例中,圖像處理裝置1072可被處理器1010和/或圖形處理器1070操作控制。圖像處理裝置1072可以是圖1、圖13至圖15和圖17中示出的圖像處理裝置中的任意一個,并且可根據(jù)如參照圖1至圖21的示例性實施例解釋的本公開的教導(dǎo)來進行操作。例如,在圖像處理裝置1072中,可用不同的、部分特定比率對輸入圖像的不同的2D部分執(zhí)行用于產(chǎn)生3D縮放的輸出圖像的縮放操作。另外,可僅基于2D縮放操作來產(chǎn)生縮放的輸出圖像。因此,可用相對小的工作負荷和低處理成本,實時地在縮放后的輸出圖像中有效地表現(xiàn)出3D透視效果。
在一些示例性實施例中,圖26的電子系統(tǒng)1000、圖27的電子系統(tǒng)1000a和圖28的電子系統(tǒng)1000b均可進一步包括圖像拾取模塊(例如,類似于圖14中的圖像拾取模塊170或圖15中的圖像拾取模塊180)和/或深度測量模塊(例如,類似于圖15中的深度測量模塊190)。
如將由本領(lǐng)域技術(shù)人員理解的,本公開可被實現(xiàn)為系統(tǒng)、方法、在其上包含有計算機可讀程序代碼的計算機程序產(chǎn)品、和/或在一個或更多個計算機可讀介質(zhì)中實現(xiàn)的計算機程序產(chǎn)品。計算機可讀程序代碼可被提供給通用計算機、專用計算機或其它可編程數(shù)據(jù)處理設(shè)備,并由通用計算機、專用計算機或其它可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行。在執(zhí)行時,計算機可讀程序代碼可使處理器能夠執(zhí)行實現(xiàn)本公開的教導(dǎo)中的至少一部分教導(dǎo)所必需的各種圖像處理操作/任務(wù)。計算機可讀介質(zhì)可以是計算機可讀信號介質(zhì)或計算機可讀數(shù)據(jù)存儲介質(zhì)。計算機可讀數(shù)據(jù)存儲介質(zhì)可以是能夠包含或存儲由指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用的或結(jié)合指令執(zhí)行系統(tǒng)、設(shè)備或裝置而使用的計算機程序的任意有形介質(zhì)。在具體實施例中,計算機可讀介質(zhì)可以是非暫時性計算機可讀介質(zhì)。
本公開可用于包括圖像處理裝置的任意裝置或系統(tǒng)中實現(xiàn)。如前所述,這樣的系統(tǒng)可以是例如移動電話、智能電話、PDA、PMP、數(shù)字相機、數(shù)字電視機、機頂盒、音樂播放器、便攜式游戲控制臺、導(dǎo)航裝置、PC、服務(wù)器計算機、工作站、平板計算機、膝上型計算機、智能卡、打印機等。
前述討論是對示例性實施例的說明,并且不應(yīng)被解釋為對示例性實施例的限制。雖然已描述了一些示例性實施例,但是本領(lǐng)域的技術(shù)人員將容易理解,在不實質(zhì)上脫離本公開的新穎教導(dǎo)和優(yōu)點的情況下,能夠在示例性實施例中進行很多修改。因此,所有這樣的修改意圖被包括在如權(quán)利要求中限定的本公開的范圍內(nèi)。因此,應(yīng)理解,上述討論不應(yīng)被解釋為限于在此公開的特定示例性實施例,并且對公開的實施例的修改以及其它附加示例性實施例意圖被包括在權(quán)利要求的范圍內(nèi)。