圖像處理方法和實(shí)現(xiàn)該圖像處理方法的電子裝置的制造方法
【專利摘要】提供了一種用于在電子裝置中處理圖像的方法和電子裝置。所述方法包括：對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè)；將與預(yù)測(cè)出的表面的數(shù)量相應(yīng)的逆畸變渲染方法確定為用于對(duì)圖像數(shù)據(jù)進(jìn)行逆畸變渲染的方法；基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染成畸變圖像；并且顯示畸變圖像。
【專利說明】
圖像處理方法和實(shí)現(xiàn)該圖像處理方法的電子裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明總體上涉及一種用于向用戶顯示圖像的電子裝置和處理圖像的方法，更具體地，涉及一種用于向用戶顯示圖像的電子裝置和通過對(duì)在圖像數(shù)據(jù)中能夠被劃分(partit1n)的表面的數(shù)量進(jìn)行預(yù)測(cè)并確定與預(yù)測(cè)出的表面的數(shù)量相應(yīng)的逆畸變(distort1n)清染方法來處理圖像的方法。
【背景技術(shù)】
[0002]頭戴式裝置(HMD)是眼鏡或頭盔形式的電子裝置，并且可包括顯示單元和透鏡。HMD通過就在用戶眼睛前方部署顯示單元來向用戶提供超大屏幕，并且由于屏幕隨著用戶的移動(dòng)而移動(dòng)，因此HMD有助于提供虛擬現(xiàn)實(shí)世界。在HMD中，透鏡單元通常被部署在屏幕的前部(即，在用戶的眼睛和顯示單元之間)以使顯示單元的屏幕看起來更大以便用戶能夠通過透鏡單元接收?qǐng)D像。
[0003]包括在頭戴式裝置(HMD)中的透鏡單元使提供給顯示單元的圖像畸變，并將畸變圖像提供給用戶，并且用戶通過透鏡單元觀看畸變圖像。為了校正由透鏡引起的畸變，電子裝置可將圖像數(shù)據(jù)處理為畸變圖像(例如，凸圖像)(即，執(zhí)行逆畸變渲染)并且顯示畸變圖像。然后，用戶可接收電子裝置意圖通過透鏡單元提供的原始圖像。常規(guī)的逆畸變渲染方法可包括2通道渲染處理。例如，逆畸變渲染方法可包括首先將3D圖像數(shù)據(jù)渲染成2D圖像的處理以及其次將2D圖像渲染成逆畸變圖像的處理。逆畸變圖像由透鏡轉(zhuǎn)換成平面圖像并且顯示給用戶。由于諸如相機(jī)數(shù)據(jù)的圖像數(shù)據(jù)被二維地產(chǎn)生和存儲(chǔ)，因此僅需要次級(jí)渲染處理。
[0004]在相關(guān)領(lǐng)域，逆畸變圖像以像素為單位來產(chǎn)生，因此需要次級(jí)渲染處理。在次級(jí)渲染處理中，已經(jīng)被渲染過一次的像素被重新計(jì)算，從而在嚴(yán)重畸變的邊緣部分會(huì)產(chǎn)生圖像質(zhì)量的劣化。另外，電力消耗會(huì)隨著渲染被執(zhí)行兩次而增加。具體地，在3D游戲中或當(dāng)屏幕通過對(duì)用戶運(yùn)動(dòng)的識(shí)別被更新時(shí)，用于渲染的計(jì)算會(huì)進(jìn)一步增加。因此，直接戴在用戶眼睛上的HMD可能會(huì)遇到與由于電力消耗的增加而導(dǎo)致的大量熱量有關(guān)的問題。
[0005]本公開的各種實(shí)施例可提供一種能夠在逆畸變渲染方法被執(zhí)行時(shí)減少電力消耗和圖像質(zhì)量劣化的圖像處理方法以及實(shí)現(xiàn)該圖像處理方法的電子裝置。

【發(fā)明內(nèi)容】

[0006]技術(shù)問題
[0007]本發(fā)明解決了上述問題和缺點(diǎn)并至少提供以下描述的優(yōu)點(diǎn)。因此，本發(fā)明的一方面在于提供一種與3D圖像數(shù)據(jù)相比按照高速且低電力消耗對(duì)2D圖像數(shù)據(jù)(諸如相機(jī)圖像)進(jìn)行的逆畸變渲染。
[0008]解決方案
[0009]根據(jù)本發(fā)明的一個(gè)方面，提供了一種在電子裝置中處理圖像的方法。所述方法包括:對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè);將與預(yù)測(cè)出的表面的數(shù)量相應(yīng)的逆畸變渲染方法確定為用于對(duì)圖像數(shù)據(jù)進(jìn)行逆畸變渲染的方法;基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染成畸變圖像;并且顯示畸變圖像。
[0010]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種電子裝置。所述電子裝置包括:存儲(chǔ)器，用于存儲(chǔ)圖像數(shù)據(jù);處理器，被配置為對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè)，將與預(yù)測(cè)出的表面的數(shù)量相應(yīng)的逆畸變渲染方法確定為用于對(duì)圖像數(shù)據(jù)進(jìn)行逆畸變渲染的方法，并且基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染成畸變圖像;顯示單元，用于顯示畸變圖像。
[0011]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種包括用于執(zhí)行處理的程序的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)。所述處理包括:對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè);基于預(yù)測(cè)出的表面的數(shù)量來確定逆畸變渲染方法;基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染成畸變圖像；以及顯示畸變圖像。
[0012]有益效果
[0013]本發(fā)明可提供一種能夠在逆畸變渲染方法被執(zhí)行時(shí)減少電力消耗和圖像質(zhì)量劣化的圖像處理方法和實(shí)現(xiàn)該圖像處理方法的電子裝置。
【附圖說明】
[0014]從結(jié)合附圖的以下詳細(xì)描述，本發(fā)明的以上和其它方面、特征和優(yōu)點(diǎn)將更加清楚，其中:
[0015]圖1是根據(jù)本發(fā)明的實(shí)施例的包括電子裝置的網(wǎng)絡(luò)環(huán)境的框圖；
[0016]圖2是根據(jù)本發(fā)明的實(shí)施例的電子裝置的框圖；
[0017]圖3是根據(jù)本發(fā)明的實(shí)施例的圖像提供裝置和透鏡單元的框圖；
[0018]圖4示出了根據(jù)本發(fā)明的實(shí)施例的圖像提供裝置和可以安裝圖像提供裝置的固定器(holder)；
[0019]圖5a和圖5b分別是根據(jù)本發(fā)明的實(shí)施例的HMD的左視圖和右視圖；
[0020]圖6是根據(jù)本發(fā)明的實(shí)施例的圖像提供裝置的框圖；
[0021]圖7a至圖7c是根據(jù)本發(fā)明的實(shí)施例的2通道渲染方法的示圖；
[0022]圖8a和圖Sb是根據(jù)本發(fā)明的實(shí)施例的I通道渲染方法的示圖；
[0023]圖9是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的流程圖；
[0024]圖1Oa和圖1Ob示出了I通道逆畸變渲染結(jié)果；
[0025]圖1Ia和圖1 Ib示出了2通道逆畸變渲染結(jié)果。
【具體實(shí)施方式】
[0026]以下參照附圖對(duì)本發(fā)明進(jìn)行描述。本發(fā)明可具有各種實(shí)施例，并且可在實(shí)施例中做出修飾和改變。因此，將參照附圖中所示的實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述。然而，應(yīng)該理解的是不意在將本發(fā)明限制到特定形式，并且本發(fā)明應(yīng)該被解釋為涵蓋落入本發(fā)明的范圍和精神內(nèi)的所有修飾、等同物和/或替代物。在描述附圖時(shí)，相似的元件由相似的參考標(biāo)號(hào)指定。
[0027]如本發(fā)明中所使用的，表述“包括”或“可包括”指示相應(yīng)的功能、操作或構(gòu)成元件的存在，并且不限制一個(gè)或更多個(gè)附加功能、操作或構(gòu)成元件。另外，如本發(fā)明中所使用的，諸如“包括”或“具有”的術(shù)語(yǔ)可被解釋為指示特定的特性、標(biāo)號(hào)、步驟、操作、構(gòu)成元件、組件或它們的組合，但不能被解釋為排除一個(gè)或更多個(gè)其他特性、標(biāo)號(hào)、步驟、操作、構(gòu)成元件、組件或它們的組合的存在或添加的可能性。
[0028]如本發(fā)明中所使用的，表述“或”包括一起列舉的單詞的任意或所有組合。例如，表述“A或B”可包括A，可包括B，或可包括A和B兩者。
[0029]而如本發(fā)明中所使用的包括序號(hào)(諸如“第一”和“第二”)的表述可修飾各種構(gòu)成元件，這樣的構(gòu)成元件不受以上表述所限制。例如，上述表述不限于相應(yīng)的構(gòu)成元件的順序和/或重要性。上述表述僅用于將一構(gòu)成元件與其他構(gòu)成元件區(qū)分開。例如，第一用戶裝置和第二用戶裝置盡管都是用戶裝置，但指示不同的用戶裝置。例如，在不脫離本發(fā)明的范圍和精神的情況下，第一構(gòu)成元件可被稱為第二構(gòu)成元件，類似地，第二構(gòu)成元件可被稱為第一構(gòu)成元件。
[0030]當(dāng)組件被稱為“連接”到另一組件或被所述另一組件“訪問”時(shí)，應(yīng)該理解的是，所述組件可直接連接到所述另一組件，或者被所述另一組件訪問，但是另一個(gè)組件可插入所述組件和所述另一組件之間。相反，當(dāng)組件被稱為“直接連接”到另一組件或被所述另一組件“直接訪問”時(shí)，應(yīng)該理解的是，在所述組件和所述另一組件之間不存在附加的組件。
[0031]本發(fā)明的各種實(shí)施例中使用的術(shù)語(yǔ)僅用于描述實(shí)施例的目的，并且不意在限制本發(fā)明。除非上下文明確地另外說明，否則單數(shù)形式意在包括復(fù)數(shù)形式。
[0032]除非另外被定義，否則這里使用的所有術(shù)語(yǔ)(包括技術(shù)術(shù)語(yǔ)和科學(xué)術(shù)語(yǔ))具有本發(fā)明所屬領(lǐng)域的普通技術(shù)人員通常所理解的含義。在通用詞典中被定義的這種術(shù)語(yǔ)將被解釋為具有與相關(guān)領(lǐng)域中的上下文含義一致的含義，并且除非在本發(fā)明中被清楚地定義，否則不應(yīng)該被解釋為具有理想的或過度形式的含義。
[0033]根據(jù)本發(fā)明的電子裝置可以是包括通信功能的裝置。例如，電子裝置可包括智能電話、平板個(gè)人電腦(PC)、移動(dòng)電話、視頻電話、電子書(e-book)閱讀器、桌面PC、膝上型PC、筆記本電腦、個(gè)人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、運(yùn)動(dòng)圖像專家組音頻層3(MP3)播放器、移動(dòng)醫(yī)療器具、相機(jī)和可穿戴裝置(例如，諸如電子眼鏡的頭戴式裝置(HMD)、電子衣服、電子手鐲、電子項(xiàng)鏈、電子應(yīng)用配件、電子紋身或智能手表)中的至少一個(gè)。
[0034]根據(jù)本發(fā)明的實(shí)施例，電子裝置可以是帶有通信功能的智能家用電器。作為電子裝置的智能家用電器可例如包括電視機(jī)、數(shù)字視頻盤(DVD)播放器、音頻裝置、冰箱、空調(diào)、真空吸塵器、烤箱、微波爐、洗衣機(jī)、空氣凈化器、機(jī)頂盒、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或GoogIe TVTM、游戲控制臺(tái)、電子詞典、電子鑰匙、攝像機(jī)和電子相框)中的至少一個(gè)。
[0035]根據(jù)本發(fā)明的實(shí)施例，電子裝置可包括各種醫(yī)療裝置(例如，磁共振血管造影(MRA)、磁共振成像(MRI)、計(jì)算機(jī)斷層掃描(CT)和超聲機(jī)器)、導(dǎo)航裝置、全球定位系統(tǒng)(GPS)接收器、事件數(shù)據(jù)記錄器(EDR)、飛行數(shù)據(jù)記錄器(FDR)、汽車信息娛樂裝置、船舶電子設(shè)備(例如，船舶導(dǎo)航設(shè)備和陀螺儀)、航空電子設(shè)備、安全設(shè)備、車輛頭部單元、工業(yè)或家用機(jī)器人、銀行系統(tǒng)自動(dòng)取款機(jī)(ATM)和商店銷售點(diǎn)(POS)中的至少一個(gè)。
[0036]根據(jù)本發(fā)明的實(shí)施例，電子裝置可包括家具或建筑/結(jié)構(gòu)的一部分、電子板、電子簽名接收裝置、投影儀和各種測(cè)量?jī)x器(例如，水表、電表、燃?xì)獗砗蜔o線電波表)中的至少一個(gè)。根據(jù)本發(fā)明的電子裝置可以是前面所述的各種裝置中的一個(gè)或更多個(gè)的組合。此外，根據(jù)本發(fā)明的電子裝置可以是柔性裝置。此外，對(duì)于本領(lǐng)域技術(shù)人員而言將清楚的是，根據(jù)本發(fā)明的電子裝置不限于前面所述的裝置。
[0037]以下將根據(jù)附圖討論根據(jù)本發(fā)明的各種實(shí)施例的電子裝置。本發(fā)明的實(shí)施例中使用的術(shù)語(yǔ)“用戶”可指示使用電子裝置的任何人或使用電子裝置的任何其他裝置(例如，人工智能電子裝置)。
[0038]圖1是根據(jù)本發(fā)明的實(shí)施例的包括電子裝置101的網(wǎng)絡(luò)環(huán)境100的框圖。
[0039 ] 參照?qǐng)D1，電子裝置1I包括總線110、處理器120、存儲(chǔ)器130、輸入/輸出接口 140、顯示器150、通信接口 160和通信控制模塊170。
[0040]總線110可以是互連前述組件并且在前述組件之間傳送通信(例如，控制消息)的電路。
[0041]例如，處理器120經(jīng)由總線110從除處理器120以外的前述組件(例如，存儲(chǔ)器130、輸入/輸出接口 140、顯示器150、通信接口 160和通信控制模塊170)接收指令，對(duì)接收到的指令進(jìn)行解碼，并且根據(jù)解碼出的指令來執(zhí)行操作或數(shù)據(jù)處理。
[0042]存儲(chǔ)器130存儲(chǔ)從處理器120或其他組件(例如，輸入/輸出接口 140、顯示器150、通信接口 160和通信控制模塊170)接收到的或由處理器120或其他組件(例如，輸入/輸出接口140、顯示器150、通信接口 160和通信控制模塊170)產(chǎn)生的指令或數(shù)據(jù)。存儲(chǔ)器130可包括編程模塊，例如內(nèi)核131、中間件132、應(yīng)用編程接口( API)和應(yīng)用134。上述編程模塊中的每一個(gè)可由軟件、固件、硬件或它們中的兩種或更多種的組合來形成。
[0043]內(nèi)核131控制或管理用于運(yùn)行在剩余的其他編程模塊(例如，中間件132、API133和應(yīng)用134)中實(shí)現(xiàn)的操作或功能的系統(tǒng)資源(例如，總線110、處理器120和存儲(chǔ)器130)。此夕卜，內(nèi)核131可提供用于允許中間件132、API 133或應(yīng)用134訪問和控制或管理電子裝置101的單個(gè)組件的接口。
[0044]中間件132在API 133或應(yīng)用134與內(nèi)核131之間進(jìn)行調(diào)解，換句話說，允許API 133或應(yīng)用134與內(nèi)核131進(jìn)行通信和交換數(shù)據(jù)。此外，中間件132可通過使用例如為應(yīng)用134中的至少一個(gè)分配使用電子裝置101的系統(tǒng)資源(例如，總線110、處理器120或存儲(chǔ)器130)的優(yōu)先級(jí)的方法來針對(duì)從應(yīng)用134接收到的任務(wù)請(qǐng)求執(zhí)行控制(例如，調(diào)度或負(fù)載均衡)。
[0045]API 133是用于允許應(yīng)用134控制由內(nèi)核131和中間件132提供的功能的接口，并且可包括至少一個(gè)用于例如文件控制、窗口控制、圖像處理或文本控制的接口或功能(例如，指令)。
[0046]根據(jù)本發(fā)明的實(shí)施例，應(yīng)用134包括短消息服務(wù)/多媒體消息服務(wù)(SMS/MMS)應(yīng)用、電子郵件應(yīng)用、日歷應(yīng)用、警報(bào)應(yīng)用、健康護(hù)理應(yīng)用(例如，用于測(cè)量運(yùn)動(dòng)量或血糖的應(yīng)用)和環(huán)境信息應(yīng)用(例如，用于提供大氣壓信息、濕度信息、溫度信息等的應(yīng)用)。另外地或者可選地，應(yīng)用134可包括與電子裝置101和外部電子裝置(例如，電子裝置104)之間的信息交換相關(guān)聯(lián)的應(yīng)用。與所述信息交換相關(guān)聯(lián)的應(yīng)用可包括例如用于向外部電子裝置傳送特定信息的通知轉(zhuǎn)發(fā)應(yīng)用或用于管理外部電子裝置的裝置管理應(yīng)用。
[0047]例如，通知轉(zhuǎn)發(fā)應(yīng)用可包括用于向外部電子裝置(例如，電子裝置104)傳送在電子裝置101的另一應(yīng)用(例如，SMS/MMS應(yīng)用、電子郵件應(yīng)用、健康護(hù)理應(yīng)用或環(huán)境信息應(yīng)用)中產(chǎn)生的通知信息的功能。另外地或可選地，通知轉(zhuǎn)發(fā)應(yīng)用例如可從外部電子裝置(例如，電子裝置104)接收通知信息并且向用戶提供接收到的通知信息。裝置管理應(yīng)用例如可管理(例如，安裝、移除或更新)外部電子裝置(例如，電子裝置104)的至少一部分與電子裝置101進(jìn)行通信的功能(例如，外部電子裝置自身(或外部電子裝置的一些組件)打開/關(guān)閉的功能或調(diào)整顯示器的亮度(或分辨率)的功能)、在外部電子裝置上運(yùn)行的應(yīng)用或外部電子裝置中提供的服務(wù)(例如，呼叫或消息服務(wù))。
[0048]根據(jù)本發(fā)明的實(shí)施例，應(yīng)用134包括根據(jù)外部電子裝置(例如，電子裝置104)的屬性(例如，類型)指定的應(yīng)用。例如，當(dāng)外部電子裝置是MP3播放器時(shí)，應(yīng)用134包括與音樂回放相關(guān)聯(lián)的應(yīng)用。類似地，當(dāng)外部電子裝置是移動(dòng)醫(yī)療裝置時(shí)，應(yīng)用134包括與健康護(hù)理相關(guān)聯(lián)的應(yīng)用。根據(jù)本發(fā)明的實(shí)施例，應(yīng)用134包括以下應(yīng)用中的至少一個(gè):對(duì)電子裝置101指定的應(yīng)用和從外部電子裝置(例如，服務(wù)器106或電子裝置104)接收到的應(yīng)用。
[0049 ]輸入/輸出接口 140例如經(jīng)由總線110將通過輸入/輸出裝置(例如，傳感器、鍵盤或觸摸屏)從用戶輸入的指令或數(shù)據(jù)傳送到處理器120、存儲(chǔ)器130、通信接口 160或通信控制模塊170。例如，輸入/輸出接口 140可向處理器120提供與經(jīng)由觸摸屏輸入的用戶觸摸相應(yīng)的數(shù)據(jù)。此外，輸入/輸出接口 140可例如經(jīng)由總線110從處理器120、存儲(chǔ)器130、通信接口160或通信控制模塊170接收指令或數(shù)據(jù)，并且經(jīng)由輸入/輸出裝置(例如，揚(yáng)聲器或顯示器)輸出接收到的指令或數(shù)據(jù)。例如，輸入/輸出接口 140可經(jīng)由揚(yáng)聲器向用戶輸出由處理器120處理的語(yǔ)音數(shù)據(jù)。
[0050]顯示器150向用戶顯示各種信息(例如，多媒體數(shù)據(jù)或文本數(shù)據(jù))。
[0051]通信接口 160在電子裝置101和外部電子裝置(例如，電子裝置104或服務(wù)器106)之間建立通信。例如，通信接口 160可經(jīng)由無線或有線通信與網(wǎng)絡(luò)162連接，從而與外部電子裝置進(jìn)行通信。無線通信可包括例如以下項(xiàng)中的至少一項(xiàng):無線保真(WiFi)、藍(lán)牙(BT)、近場(chǎng)通信(NFC)、全球定位系統(tǒng)(GPS)和蜂窩通信(例如，長(zhǎng)期演進(jìn)(LTE)、高級(jí)LTE(LTE-A)Ji^v多址(CDMA)、寬帶CDMA(WCDMA)、通用移動(dòng)電話系統(tǒng)(UMTS)、無線寬帶(WiBro)或全球移動(dòng)通信系統(tǒng)(GSM))。有線通信可例如包括以下項(xiàng)中的至少一項(xiàng):通用串行總線(USB)、高清晰度多媒體接口(HDMI)、推薦標(biāo)準(zhǔn)232(RS-232)和普通老式電話服務(wù)(POTS)。
[0052]根據(jù)本發(fā)明的實(shí)施例，網(wǎng)絡(luò)162是電信網(wǎng)絡(luò)。電信網(wǎng)絡(luò)可包括計(jì)算機(jī)網(wǎng)絡(luò)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和電話網(wǎng)中的至少一個(gè)。根據(jù)本發(fā)明的實(shí)施例，用于在電子裝置101和外部裝置之間進(jìn)行通信的協(xié)議(例如，傳輸層協(xié)議、數(shù)據(jù)鏈路層協(xié)議或物理層協(xié)議)可由應(yīng)用134、應(yīng)用程序接口 133、中間件132、內(nèi)核131和通信接口 160中的至少一個(gè)支持。
[0053]通信控制模塊170處理從其他組件(例如，處理器120、存儲(chǔ)器130、輸入/輸出接口140和通信接口 160)獲得的至少一些信息，并且以各種方式向用戶提供處理后的信息。例如，通信控制模塊170可識(shí)別電子裝置101中提供的關(guān)于連接組件的信息，在存儲(chǔ)器130中存儲(chǔ)關(guān)于連接組件的信息，并且基于存儲(chǔ)的關(guān)于連接組件的信息來執(zhí)行應(yīng)用134。下面將通過圖2至圖9的描述提供通信控制模塊170的進(jìn)一步的信息。
[0054]圖2是根據(jù)本發(fā)明的實(shí)施例的電子裝置200的框圖。電子裝置200可構(gòu)成例如圖1中示出的電子裝置101的全部或一部分。
[0055]參照?qǐng)D2，電子裝置200包括至少一個(gè)應(yīng)用處理器(AP)210、通信模塊220、至少一個(gè)用戶識(shí)別模塊(SIM)插槽224j到224_N、存儲(chǔ)器230、傳感器模塊240、輸入模塊250、顯示器260、接口 270、音頻模塊280、相機(jī)模塊291、電力管理模塊295、電池296、指示器297和電機(jī)298。
[0056]AP 210對(duì)操作系統(tǒng)或應(yīng)用程序進(jìn)行驅(qū)動(dòng)以控制與AP 210連接的多個(gè)硬件或軟件組件，并且執(zhí)行對(duì)各種數(shù)據(jù)(包括多媒體數(shù)據(jù))的處理和操作。AP 210例如可被實(shí)現(xiàn)為片上系統(tǒng)(SoC)。根據(jù)實(shí)施例，AP 210還可包括圖形處理單元(GPU)。
[0057]通信模塊220(例如，通信接口160)在與經(jīng)由網(wǎng)絡(luò)連接到電子裝置200(例如，電子裝置101)的其他電子裝置(例如，電子裝置104或服務(wù)器106)的通信中執(zhí)行數(shù)據(jù)發(fā)送/接收。根據(jù)本發(fā)明的實(shí)施例，通信模塊220包括蜂窩模塊221^?1模塊223、81'模塊225、6?5模塊227、NFC模塊228和射頻(RF)模塊229。
[0058]蜂窩模塊221 經(jīng)由通信網(wǎng)絡(luò)(例如，LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro 或 GSM)提供語(yǔ)音呼叫、視頻呼叫、SMS服務(wù)、互聯(lián)網(wǎng)服務(wù)等。此外，蜂窩模塊221可通過使用例如用戶身份識(shí)別模塊(例如，S頂卡)來識(shí)別和認(rèn)證通信網(wǎng)絡(luò)內(nèi)的電子裝置。根據(jù)本發(fā)明的實(shí)施例，蜂窩模塊221可執(zhí)行可由AP 210提供的功能中的至少一部分功能。例如，蜂窩模塊221可至少執(zhí)行多媒體控制功能。
[0059]根據(jù)本發(fā)明的實(shí)施例，蜂窩模塊221包括通信處理器(CP)。此外，蜂窩模塊221例如可被實(shí)現(xiàn)為SoC。盡管蜂窩模塊221 (例如，CP)、存儲(chǔ)器230、電力管理模塊295等在圖2中被示出為與AP 210單獨(dú)的元件，但根據(jù)本發(fā)明的實(shí)施例，AP 210可被實(shí)現(xiàn)為包括前述元件中的至少一些元件(例如，蜂窩模塊221)。
[0060]根據(jù)本發(fā)明的實(shí)施例，AP210或蜂窩模塊221(例如，CP)將從非易失性存儲(chǔ)器或其它與之連接的元件中的至少一個(gè)接收到的命令或數(shù)據(jù)加載到易失性存儲(chǔ)器中，并對(duì)加載的命令或數(shù)據(jù)進(jìn)行處理。此外，AP 210或蜂窩模塊221可將從其他元件中的至少一個(gè)接收到的數(shù)據(jù)或由其他元件中的至少一個(gè)產(chǎn)生的數(shù)據(jù)存儲(chǔ)在非易失性存儲(chǔ)器中。
[0061 ] W1-Fi模塊223、BT模塊225、GPS模塊227和NFC模塊228中的每一個(gè)例如可包括用于對(duì)通過相應(yīng)模塊發(fā)送或接收的數(shù)據(jù)進(jìn)行處理的處理器。盡管蜂窩模塊221、WiFi模塊223、BT模塊225、GPS模塊227和NFC模塊228在圖2中被示出為單獨(dú)的模塊，但根據(jù)本發(fā)明的實(shí)施例，蜂窩模塊221、胃丨？丨模塊223、81'模塊225、6?3模塊227和即(:模塊228中的至少一些模塊(例如，兩個(gè)或更多個(gè))可被包括在一個(gè)集成電路、或芯片(IC)或一個(gè)IC封裝中。例如，分別與蜂窩模塊221、WiFi模塊223、BT模塊225、GPS模塊227和NFC模塊228相應(yīng)的處理器中的至少一些處理器(例如，與蜂窩模塊221相應(yīng)的CP和與WiFi模塊223相應(yīng)的WiFi處理器)可被實(shí)現(xiàn)為^hSoC0
[0062]RF模塊229執(zhí)行數(shù)據(jù)發(fā)送/接收，例如RF信號(hào)發(fā)送/接收。RF模塊229例如可包括收發(fā)器、功率放大器模塊(PAM)、頻率濾波器、低噪聲放大器(LNA)等。此外，RF模塊229還可包括用于在無線通信中在空中發(fā)送/接收電磁波的組件，諸如導(dǎo)體或?qū)Ь€。盡管圖2示出了蜂窩模塊221、WiFi模塊223、BT模塊225、GPS模塊227和NFC模塊228共享一個(gè)RF模塊229，但根據(jù)本發(fā)明的實(shí)施例，蜂窩模塊221、WiFi模塊223、BT模塊225、GPS模塊227和NFC模塊228中的至少一個(gè)模塊可經(jīng)由單獨(dú)的RF模塊執(zhí)行RF信號(hào)的發(fā)送/接收。
[0063]至少一個(gè)S頂卡225_1至225_N是包括用戶識(shí)別模塊的卡，并且被插入到在電子裝置200的一個(gè)位置中形成的至少一個(gè)插槽224_1至224_N*。至少一個(gè)SM卡225_1至225_~包括唯一識(shí)別信息(例如，集成電路卡標(biāo)識(shí)(ICCID))或用戶信息(例如，國(guó)際移動(dòng)用戶識(shí)別碼(IMSD)0
[0064]存儲(chǔ)器230(例如，存儲(chǔ)器130)包括內(nèi)部存儲(chǔ)器232或外部存儲(chǔ)器234。內(nèi)部存儲(chǔ)器2 3 2例如可包括易失性存儲(chǔ)器(例如，動(dòng)態(tài)RAM (DRAM )、靜態(tài)RAM ( SRAM)或同步動(dòng)態(tài)RAM(SDRAM))和非易失性存儲(chǔ)器(例如，一次性可編程ROM(OTPROM)、可編程ROM(PROM)、可擦除可編程ROM (EPROM )、電可擦除可編程ROM (EEPROM )、掩蔽式ROM、閃存式ROM、NAND閃存或NOR閃存)中的至少一個(gè)。
[0065]根據(jù)本發(fā)明的實(shí)施例，內(nèi)部存儲(chǔ)器232是固態(tài)驅(qū)動(dòng)器(SSD)。外部存儲(chǔ)器234還可包括閃存驅(qū)動(dòng)器，例如致密閃存(CF)存儲(chǔ)卡、安全數(shù)字(SD)存儲(chǔ)卡、微型安全數(shù)字(Micro-SD)存儲(chǔ)卡、迷你安全數(shù)字(Min1-SD)存儲(chǔ)卡、極速數(shù)字(xD)存儲(chǔ)卡或記憶棒。外部存儲(chǔ)器234可經(jīng)由各種接口功能性地連接到電子裝置200。根據(jù)本發(fā)明的實(shí)施例，電子裝置200還可包括記錄裝置(或記錄介質(zhì))，諸如硬盤驅(qū)動(dòng)器。
[0066]傳感器模塊240測(cè)量物理量或檢測(cè)電子裝置200的操作狀態(tài)，并將測(cè)量或檢測(cè)的信息轉(zhuǎn)換為電信號(hào)。傳感器模塊240例如可包括以下傳感器中的至少一個(gè):手勢(shì)傳感器240A、陀螺儀傳感器240B、大氣壓傳感器240C、磁傳感器240D、加速度傳感器240E、握持傳感器240F、接近傳感器240G、顏色傳感器240H(例如，紅綠藍(lán)(RGB)傳感器))、生物計(jì)量傳感器2401、溫度/濕度傳感器240J、照度傳感器240K和紫外線(UV)傳感器240M。另外地或可選地，傳感器模塊240例如可包括電子鼻傳感器、肌電圖(EMG)傳感器、腦電圖(EEG)傳感器、心電圖(ECG)傳感器、紅外(IR)傳感器、虹膜傳感器和/或指紋傳感器。傳感器模塊240還可包括用于控制傳感器模塊240中所包括的一個(gè)或更多個(gè)傳感器的控制電路。
[0067]輸入模塊250包括觸摸面板252、(數(shù)字)筆傳感器254、鍵256或超聲輸入裝置258。識(shí)別觸摸輸入的觸摸面板252例如可包括電容觸摸面板、電阻觸摸面板、紅外觸摸面板和超聲波觸摸面板中的至少一個(gè)。此外，觸摸面板252還可包括控制電路。當(dāng)觸摸面板是電容觸摸面板時(shí)，可識(shí)別物理接觸或物理接觸的接近。觸摸面板252還可包括觸覺層。在這種情況下，觸摸面板252向用戶提供觸覺反饋。
[0068](數(shù)字)筆傳感器254例如可使用與從用戶接收觸摸輸入的裝置相同或相似的裝置來實(shí)現(xiàn)，或者可使用單獨(dú)的識(shí)別片來實(shí)現(xiàn)。鍵256例如可包括物理按鈕、光學(xué)鍵或鍵盤。超聲輸入單元258是可通過經(jīng)由輸入工具產(chǎn)生超聲信號(hào)并且通過電子裝置200中的麥克風(fēng)(例如，麥克風(fēng)288)檢測(cè)聲波來識(shí)別數(shù)據(jù)的單元258，并且超聲輸入單元258能夠進(jìn)行無線識(shí)別。根據(jù)本發(fā)明的實(shí)施例，電子裝置200還可通過使用通信模塊220從連接到電子裝置200的外部裝置(例如，計(jì)算機(jī)或服務(wù)器)接收用戶輸入。
[0069]顯示器260(例如，顯示器150)可包括面板262、全息裝置264或投影儀266。面板262例如可以是液晶顯示器(LCD)或有源矩陣有機(jī)發(fā)光二極管(AM-OLED)。面板262例如可被實(shí)現(xiàn)為柔性的、透明的或可穿戴的。面板262也可與觸摸板252—起被結(jié)合為一個(gè)模塊。全息單元264通過使用光干涉將立體圖像投射到空中。投影儀266通過將光投射到屏幕上來顯示圖像。屏幕例如可位于電子裝置200的內(nèi)部或外部。根據(jù)本發(fā)明的實(shí)施例，顯示器260還可包括用于對(duì)面板262、全息裝置264或投影儀266進(jìn)行控制的控制電路。
[0070]接口 270例如可包括高清晰度多媒體接口(HDMI)272、通用串行總線(USB)274、光接口 276或超小型(D-sub)連接器278。接口 270例如可被包括在圖1中所示的通信接口 160中。另外地或可選地，接口 270例如可包括移動(dòng)高清晰度鏈路(MHL)接口、安全數(shù)字(SD)卡/多媒體卡(MMC)接口或紅外數(shù)據(jù)協(xié)會(huì)(IrDA)接口。
[0071]音頻模塊280提供聲音和電信號(hào)之間的雙向轉(zhuǎn)換。音頻模塊280的至少一些元件例如可被包括在圖1中所示的輸入/輸出接口 140中。音頻模塊280例如可對(duì)經(jīng)由揚(yáng)聲器282、接收器284、耳機(jī)286或麥克風(fēng)288輸入或輸出的聲音信息進(jìn)行處理。
[0072]相機(jī)模塊291是可捕捉靜態(tài)或運(yùn)動(dòng)圖像的裝置，并且根據(jù)本發(fā)明的實(shí)施例，可包括一個(gè)或更多個(gè)圖像傳感器(例如，前置傳感器或后置傳感器)、透鏡、圖像信號(hào)處理器(ISP)或閃光燈(例如，發(fā)光二極管(LED)或氙氣燈)。
[0073]電力管理模塊295管理電子裝置200的電力。電力管理模塊例如可包括電力管理集成電路(PMIC)、充電器1C、電池或燃料量表。
[0074]例如，PMIC可被安裝在IC或SoC半導(dǎo)體中。充電方法可分類為有線充電和無線充電。充電器IC可對(duì)電池充電，并且可防止從充電器誘發(fā)或流出的過電壓或過電流。根據(jù)本發(fā)明的實(shí)施例，充電器IC可包括用于有線充電或無線充電中的至少一個(gè)的充電器1C。無線充電的示例包括磁共振充電、磁感應(yīng)充電和電磁充電，并且諸如線圈回路、諧振電路或整流器的附加電路可被添加用于無線充電。
[0075]電池量表例如可測(cè)量電池296的剩余容量、充電電壓、電流或溫度。電池296可存儲(chǔ)或產(chǎn)生電力，并且可通過使用存儲(chǔ)或產(chǎn)生的電力對(duì)電子裝置200供電。電池296例如可包括可再充電電池或太陽(yáng)能電池。
[0076]指示器297顯示電子裝置200或電子裝置200的一部分(例如，AP 210)的特定狀態(tài)，例如啟動(dòng)狀態(tài)、消息狀態(tài)或充電狀態(tài)。電機(jī)298將電信號(hào)轉(zhuǎn)換為機(jī)械振動(dòng)。電子裝置200可包括用于支持移動(dòng)電視(TV)的處理單元(例如，GPU)。用于支持移動(dòng)TV的處理單元可根據(jù)例如數(shù)字多媒體廣播(DMB)、數(shù)字視頻廣播(DVB)或媒體流的標(biāo)準(zhǔn)來處理媒體數(shù)據(jù)。
[0077]根據(jù)本發(fā)明的電子裝置200的上述元件的每一個(gè)元件可由一個(gè)或更多個(gè)組件形成，并且相應(yīng)元件的名稱可根據(jù)電子裝置200的類型而改變。根據(jù)本發(fā)明的電子裝置200可包括上述元件中的至少一個(gè)元件，并且可排除一些元件或者還可包括其他附加元件。此外，根據(jù)本發(fā)明的電子裝置200的一些元件可被耦接以形成單個(gè)實(shí)體，同時(shí)所述單個(gè)實(shí)體執(zhí)行與相應(yīng)元件在親接前的功能相同的功能。
[0078]本發(fā)明中使用的術(shù)語(yǔ)“模塊”例如可表示包括硬件、軟件和固件中的一個(gè)或它們中的兩個(gè)或更多個(gè)的任意組合的單元。例如，“模塊”可與術(shù)語(yǔ)“單元”、“邏輯”、“邏輯塊”、“組件”或“電路”互換?！澳K”可以是集成組件或其一部分的最小的單元?！澳K”可被機(jī)械地或電子地實(shí)現(xiàn)。例如，根據(jù)本發(fā)明的“模塊”可包括現(xiàn)在已知的或未來將開發(fā)的專用集成電路(ASIC)芯片、現(xiàn)場(chǎng)可編程門陣列(FPGA)和用于執(zhí)行操作的可編程邏輯裝置中的至少一個(gè)。
[0079]圖3是根據(jù)本發(fā)明的實(shí)施例的圖像提供裝置300和透鏡單元310的框圖。圖像提供裝置300可以是具有圖2中描述的組件的電子裝置。
[0080]參照?qǐng)D3，圖像提供裝置300顯示圖像。這樣的圖像可經(jīng)由透鏡單元310被提供給用戶。
[0081]根據(jù)本發(fā)明的實(shí)施例，透鏡單元310是頭戴式裝置(HMD)的組件。HMD可具有固定器。圖像提供裝置300可被安裝到固定器或與固定器分離。圖像被顯示在安裝到固定器的圖像提供裝置300的屏幕上，并且顯示的圖像可經(jīng)由透鏡單元310被提供給用戶。
[0082]根據(jù)本發(fā)明的實(shí)施例，透鏡單元310和圖像提供裝置300可以是包括在HMD中的組件。
[0083]圖4示出了根據(jù)本發(fā)明的實(shí)施例的圖像提供裝置410和可安裝圖像提供裝置410的固定器420。圖像提供裝置410可以是具有圖2中描述的組件電子裝置(例如，智能電話)。
[0084]參照?qǐng)D4，圖像提供裝置410可在屏幕上顯示左眼圖像411和右眼圖像412。固定器420包括透鏡單元(S卩，左眼透鏡430和右眼透鏡440)。此外，插槽421被設(shè)置在固定器420的一側(cè)上，其中，圖像提供裝置410可通過插槽421被插入到固定器420中。因此，圖像提供裝置410可經(jīng)由插槽421被插入到固定器420中。在被插入到固定器420中的圖像提供裝置410的屏幕上顯示的圖像通過透鏡430和440被傳送至用戶的眼睛。左眼圖像411通過左眼透鏡430被傳送至左眼，并且右眼圖像412通過右眼透鏡440被傳送至右眼。
[0085]可安裝圖像提供裝置410的固定器420不限于圖4中示出的類型。根據(jù)本發(fā)明的實(shí)施例，插槽421形成在固定器420的一個(gè)表面(例如，與透鏡430和440被布置的表面相對(duì)的表面)上，并且圖像提供裝置410能夠被插入到插槽421中。此外，固定器420可包括能夠覆蓋插槽421的蓋子。
[0086]圖5a和圖5b分別是根據(jù)本發(fā)明的實(shí)施例的HMD500的左視圖和右視圖。
[0087]參照?qǐng)D5a和5b，HMD500具有像眼鏡一樣被穿戴在用戶頭部的形式，并且包括固定器510和腳弓(temple bow)520。在固定器510的一側(cè)上設(shè)置插槽511 (見圖5a)，其中，圖像提供裝置(例如，圖像提供裝置410)可被插入到固定器510中的插槽511中，在固定器510(見圖5b)的另一側(cè)上設(shè)置輸入單元(例如按鈕512和觸摸平板513)，其中，用戶可通過輸入單元控制被插入到固定器510中的圖像提供裝置。另外，固定器510中包括電子地和物理地連接輸入單元和圖像提供裝置的連接終端。當(dāng)用戶按下按鈕512時(shí)，圖像提供裝置可驅(qū)動(dòng)例如相機(jī)以在屏幕上顯示預(yù)覽圖像。
[0088]圖6是根據(jù)本發(fā)明的實(shí)施例的圖像提供裝置600的框圖。圖像提供裝置600可以是具有圖2中描述的組件的電子裝置。
[0089]參照?qǐng)D6，圖像提供裝置600包括用于控制圖像提供裝置600的組件的控制器610、用于存儲(chǔ)圖像數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、文本數(shù)據(jù)、多媒體數(shù)據(jù)等的存儲(chǔ)器620、用于處理存儲(chǔ)的數(shù)據(jù)的數(shù)據(jù)處理器630、用于感測(cè)各條外部信息的傳感器單元640、用于執(zhí)行圖形處理的圖像處理單元650、用于執(zhí)行其他圖像處理的圖像處理器660和用于顯示產(chǎn)生的圖像的顯示單元670。
[0090]控制器610(例如，AP210)分析圖像數(shù)據(jù)(例如，3D圖像數(shù)據(jù))，并基于分析的結(jié)果來確定逆畸變渲染模式為I通道模式或2通道模式。在虛擬空間中，對(duì)象可包括一組表面。將對(duì)象劃分成多個(gè)表面的處理在3D圖像處理領(lǐng)域通常被稱為“曲面細(xì)分(tessellat1n)”，并且用于執(zhí)行表面劃分處理的程序被稱為“曲面細(xì)分著色器”。
[0091]控制器610的分析操作包括確定是否能在圖像數(shù)據(jù)中算出表面劃分度(例如，能夠從對(duì)象劃分出的表面的數(shù)量)的處理。例如，控制器610可計(jì)算(或預(yù)測(cè))虛擬空間對(duì)象中的哪個(gè)對(duì)象進(jìn)行了移動(dòng)，并且可計(jì)算移動(dòng)對(duì)象的移動(dòng)方向?？刂破?10基于對(duì)象的移動(dòng)方向來確定對(duì)象的表面劃分度是否可被算出。例如，當(dāng)任何對(duì)象在3D游戲的虛擬空間中沿深度方向(例如，z軸方向)移動(dòng)時(shí)，控制器610難以確定當(dāng)對(duì)象接近虛擬視點(diǎn)或?qū)ο筮h(yuǎn)離虛擬視點(diǎn)時(shí)是否執(zhí)行“表面劃分處理”。虛擬視點(diǎn)被定義為被映射到現(xiàn)實(shí)空間的虛擬空間上的用戶視點(diǎn)?，F(xiàn)實(shí)空間是用戶和顯示單元實(shí)際存在的空間，虛擬空間是通過顯示單元所顯示的對(duì)象存在的空間。當(dāng)任何對(duì)象沿水平方向(例如，Y軸方向)移動(dòng)時(shí)，控制器610相對(duì)容易執(zhí)行“表面劃分處理”。這是因?yàn)榕c對(duì)象沿深度方向移動(dòng)的情況相比，當(dāng)對(duì)象沿水平方向移動(dòng)時(shí)虛擬視點(diǎn)和對(duì)象之間的距離更不容易發(fā)生變化。
[0092]當(dāng)表面劃分度能夠在圖像數(shù)據(jù)中被算出時(shí)，控制器610的分析操作還包括對(duì)圖像數(shù)據(jù)中頂點(diǎn)的數(shù)量進(jìn)行預(yù)測(cè)的處理以及確定預(yù)測(cè)出的頂點(diǎn)的數(shù)量是否大于或等于參考值的處理。頂點(diǎn)是表面的頂點(diǎn)，并且可包括x、y和z坐標(biāo)值。
[0093]控制器610根據(jù)逆畸變渲染方法的確定結(jié)果來控制連接到控制器610的組件(例如，圖形處理單元650和顯示單元660)。例如，當(dāng)確定表面劃分度不能被算出時(shí)，控制器610控制圖形處理單元650執(zhí)行2通道渲染。當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量大于或等于參考值時(shí)，即使確定表面劃分度能夠被算出，控制器610仍控制圖形處理單元650執(zhí)行2通道渲染。當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量小于參考值時(shí)，控制器610控制圖形處理單元650執(zhí)行I通道渲染。
[0094]圖形處理單元650處理存儲(chǔ)在存儲(chǔ)器620中的圖像數(shù)據(jù)(例如，3D游戲數(shù)據(jù))以執(zhí)行I通道渲染或2通道渲染，并且將“畸變圖像”作為I通道渲染或2通道渲染的結(jié)果輸出至顯示單元670。顯示單元670在屏幕上顯示畸變圖像。
[0095]根據(jù)本發(fā)明的實(shí)施例，圖形處理單元650可以是包括在控制器610(例如，AP210)中的組件。另外，圖形處理單元650可代表控制器610執(zhí)行分析圖像數(shù)據(jù)和確定逆畸變渲染模式是I通道模式或2通道模式的操作。
[0096]圖7a至圖7c是根據(jù)本發(fā)明的實(shí)施例的2通道渲染方法的示圖。
[0097]參照?qǐng)D7a，圖像提供裝置600執(zhí)行初級(jí)渲染處理。具體地講，控制器610產(chǎn)生3D圖像數(shù)據(jù)710并且將產(chǎn)生的3D圖像數(shù)據(jù)710發(fā)送至圖形處理單元650。圖形處理單元650通過將3D圖像數(shù)據(jù)710投射到平面上來產(chǎn)生平面圖像720。
[0098]參照?qǐng)D7b，圖像提供裝置600執(zhí)行次級(jí)渲染處理。具體地講，圖形處理單元650通過在考慮透鏡單元(例如，透鏡單元310)的特性(例如，焦距、放大率、屏幕與透鏡之間的距離等)的情況下對(duì)平面圖像720進(jìn)行渲染來獲得逆畸變圖像730。圖形處理單元650將逆畸變的圖像730發(fā)送至顯示單元670。顯示單元670在屏幕上顯示逆畸變圖像730。
[0099]參照?qǐng)D7c，逆畸變圖像730通過透鏡單元310被變形成平面圖像740，然后被提供給用戶。
[0100]圖8a和圖Sb是根據(jù)本發(fā)明的實(shí)施例的I通道渲染方法的示圖。與主要用于移動(dòng)裝置的圖形框架相應(yīng)的用于嵌入式系統(tǒng)的0penGL(0penGL ES)可基于曲面細(xì)分著色器將2D圖像識(shí)別為不考慮Z坐標(biāo)的3D圖像。因此，在下面描述基于3D渲染的實(shí)施例。
[0101]參照?qǐng)D8a，圖像提供裝置600執(zhí)行I通道渲染處理。具體地講，控制器610產(chǎn)生3D圖像810并且將產(chǎn)生的3D圖像數(shù)據(jù)810發(fā)送至圖形處理單元650。圖形處理單元650通過在考慮透鏡的特性的情況下將3D圖像數(shù)據(jù)810投射到平面上來產(chǎn)生逆畸變圖像820。
[0102]參照?qǐng)DSb，逆畸變圖像820通過透鏡單元310被變形成平面圖像830，然后被提供給用戶。
[0103]由于I通道渲染執(zhí)行同時(shí)執(zhí)行兩個(gè)圖像處理過程，因此I通道渲染具有諸如提高的渲染速度、降低的電力消耗等的優(yōu)點(diǎn)。
[0104]包括在圖像數(shù)據(jù)中的所有對(duì)象可由一組表面(例如，三角形)來表示。在I通道逆畸變渲染中，當(dāng)圖像數(shù)據(jù)沒有被劃分為大于或等于預(yù)定的參考值個(gè)表面時(shí)，透鏡的畸變校正可能不準(zhǔn)確。相應(yīng)地，當(dāng)預(yù)測(cè)到圖像數(shù)據(jù)沒有被劃分為大于或等于參考值個(gè)表面時(shí)，圖像提供裝置600將逆畸變渲染模式從圖8a和圖Sb中示出的I通道模式轉(zhuǎn)換為圖7a至圖7c中示出的2通道模式。當(dāng)圖像數(shù)據(jù)被劃分為大于或等于參考值個(gè)表面但所述表面與具有過多表面的一組三角形相應(yīng)時(shí)，用于I通道逆畸變渲染的計(jì)算增加，因此可能產(chǎn)生能力和電力消耗方面的問題。例如，當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量大于或等于參考值時(shí)，圖像提供裝置600將逆畸變渲染模式從I通道模式轉(zhuǎn)換為2通道模式。
[0105]圖9是示出根據(jù)本發(fā)明的實(shí)施例的圖像處理方法的流程圖。
[0106]參照?qǐng)D9，在步驟910，電子裝置(例如，圖像提供裝置600)確定圖像數(shù)據(jù)的表面劃分度是否能夠被算出。當(dāng)作為確定的結(jié)果，確定表面劃分度不能被算出時(shí)，圖像提供裝置600在步驟920將逆畸變渲染模式運(yùn)行為2通道模式。
[0107]在步驟910，當(dāng)作為確定的結(jié)果，確定表面劃分度能夠被算出時(shí)，圖像提供裝置600在步驟930對(duì)圖像數(shù)據(jù)中頂點(diǎn)的數(shù)量進(jìn)行預(yù)測(cè)。在步驟940，圖像提供裝置600確定預(yù)測(cè)出的頂點(diǎn)的數(shù)量是否大于或等于參考值。當(dāng)作為確定的結(jié)果，確定頂點(diǎn)的數(shù)量大于或等于參考值時(shí)，圖像提供裝置600在步驟920將逆畸變渲染模式運(yùn)行為2通道模式。
[0108]在步驟940，當(dāng)作為確定的結(jié)果，預(yù)測(cè)出的頂點(diǎn)的數(shù)量小于參考值時(shí)，圖像提供裝置600在步驟950執(zhí)行表面劃分。在步驟960，圖像提供裝置600通過使用作為步驟950的結(jié)果而獲得的表面劃分信息來將逆畸變渲染模式運(yùn)行為I通道模式。
[0109]圖1Oa和1b以及Ila和Ilb示出了I通道逆畸變渲染結(jié)果和2通道逆畸變渲染結(jié)果。
[0110]在I通道模式中，當(dāng)沒有足夠的表面劃分操作時(shí)，逆畸變渲染可能不準(zhǔn)確。然而，當(dāng)執(zhí)行足夠的表面劃分操作時(shí)(例如，當(dāng)圖像數(shù)據(jù)被劃分為大于或等于預(yù)定參考值個(gè)表面時(shí))，圖1Oa中示出的通過I通道模式獲得的逆畸變圖像與圖1Ob中示出的通過2通道模式獲得的逆畸變圖像之間的差異不大。另外，當(dāng)虛擬空間上的對(duì)象具有少量的頂點(diǎn)和字符并且線條與從虛擬視點(diǎn)(即，用戶在虛擬空間上的視點(diǎn))開始的直線相應(yīng)時(shí)，圖1la中示出的I通道模式的結(jié)果可能比圖1lb中示出的2通道模式的結(jié)果相對(duì)更清晰。
[0111]根據(jù)本發(fā)明的實(shí)施例，圖像處理方法可包括:對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè);將與預(yù)測(cè)結(jié)果相應(yīng)的逆畸變渲染方法確定為用于對(duì)圖像數(shù)據(jù)進(jìn)行逆畸變渲染的方法;基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染成畸變圖像;并且顯示畸變圖像。對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè)的步驟包括:確定在圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量是否能夠被算出；當(dāng)確定表面的數(shù)量能夠被算出時(shí)，對(duì)圖像數(shù)據(jù)中的頂點(diǎn)的數(shù)量進(jìn)行預(yù)測(cè)，其中，逆畸變渲染方法是基于預(yù)測(cè)出的頂點(diǎn)的數(shù)量來確定的。確定逆畸變渲染方法的步驟包括:當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量大于或等于參考值時(shí)，將逆畸變渲染方法確定為2通道模式;并且當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量小于參考值時(shí)，將逆畸變渲染方法確定為I通道模式。渲染圖像數(shù)據(jù)的步驟包括:首先將圖像數(shù)據(jù)渲染為平面圖像，其次當(dāng)逆畸變渲染方法被確定為2通道模式時(shí)，將平面圖像渲染為畸變圖像；當(dāng)逆畸變渲染方法被確定為I通道模式時(shí)，將圖像數(shù)據(jù)劃分為多個(gè)表面，并且通過使用作為劃分結(jié)果而獲得的表面劃分信息將圖像數(shù)據(jù)渲染為畸變圖像。確定逆畸變渲染方法的步驟還包括:當(dāng)確定表面的數(shù)量不能被算出時(shí)，將逆畸變渲染方法確定為2通道模式。對(duì)圖像數(shù)據(jù)進(jìn)行渲染的步驟還包括:通過使用曲面細(xì)分著色器將圖像數(shù)據(jù)劃分為多個(gè)表面。
[0112]根據(jù)本發(fā)明的實(shí)施例，電子裝置包括:存儲(chǔ)器，用于存儲(chǔ)圖像數(shù)據(jù);處理器，被配置為對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè)，將與預(yù)測(cè)結(jié)果相應(yīng)的逆畸變渲染方法確定為用于對(duì)圖像數(shù)據(jù)進(jìn)行逆畸變渲染的方法，并且基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染成畸變圖像;顯示單元，用于顯示畸變圖像。處理器可包括應(yīng)用處理器和圖形處理單元中的至少一個(gè)。電子裝置可以是包括透鏡單元的頭戴式裝置(HMD)。電子裝置還可包括固定器，其中，顯示單元可被安裝到固定器或與固定器分離。
[0113]根據(jù)本發(fā)明的實(shí)施例，根據(jù)本發(fā)明的裝置(例如，裝置的模塊或功能)或方法(例如，操作)中的至少一部分可通過以編程模塊形式存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的指令來實(shí)現(xiàn)。當(dāng)指令被至少一個(gè)處理器(例如，處理器210)執(zhí)行時(shí)，所述至少一個(gè)處理器執(zhí)行與指令相應(yīng)的功能。非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是例如存儲(chǔ)器220。編程模塊中的至少一部分可通過例如處理器210來實(shí)現(xiàn)(例如，執(zhí)行)。編程模塊中的至少一部分可包括例如模塊、程序、例程、指令集或用于執(zhí)行一個(gè)或更多個(gè)功能的進(jìn)程。
[0114]非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可包括磁介質(zhì)(諸硬盤、軟盤和磁帶)、光學(xué)介質(zhì)(諸如致密盤只讀存儲(chǔ)器(CD-ROM)和數(shù)字視頻盤(DVD))、磁光介質(zhì)(諸如軟光盤)和專門被配置為存儲(chǔ)和執(zhí)行程序指令(例如，編程模塊)的硬件裝置(諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、閃存等)。此外，程序指令還包括能通過使用解釋器在計(jì)算機(jī)中執(zhí)行的高級(jí)語(yǔ)言代碼以及由編譯器創(chuàng)建的機(jī)器代碼。上述硬件裝置可被配置為作為一個(gè)或更多個(gè)軟件模塊來操作以執(zhí)行本發(fā)明的操作，反之亦然。
[0115]根據(jù)本發(fā)明的編程模塊可包括上述組件中的一個(gè)或更多個(gè)，或還可包括其它的附加組件，或者上述組件中的一些組件可被省略。根據(jù)本發(fā)明的各種實(shí)施例的由模塊、編程模塊或其它組件元件執(zhí)行的操作可被順序地、并行地、重復(fù)地或啟發(fā)式地執(zhí)行。另外，一些操作可根據(jù)另一順序被執(zhí)行或可被省略，或其他操作可被增加。
[0116]說明書和附圖中公開的實(shí)施例僅被提供用于簡(jiǎn)單描述本發(fā)明的技術(shù)內(nèi)容并促進(jìn)對(duì)本發(fā)明的理解，并且不意在限制本發(fā)明的范圍。因此，從本發(fā)明的技術(shù)思想獲得的所有改變或修改以及在此描述的實(shí)施例應(yīng)該被解釋為屬于由權(quán)利要求及其等同物所定義的本發(fā)明的范圍和精神。
【主權(quán)項(xiàng)】
1.一種在電子裝置中處理圖像的方法，所述方法包括: 對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè)； 將與預(yù)測(cè)出的表面的數(shù)量相應(yīng)的逆畸變渲染方法確定為用于對(duì)圖像數(shù)據(jù)進(jìn)行逆畸變渲染的方法； 基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染成畸變圖像； 顯示畸變圖像。2.如權(quán)利要求1所述的方法，其中，對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè)的步驟包括: 確定圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量是否能夠被算出； 當(dāng)確定所述表面的數(shù)量能夠被算出時(shí)，對(duì)圖像數(shù)據(jù)中的頂點(diǎn)的數(shù)量進(jìn)行預(yù)測(cè)， 其中，逆畸變渲染方法是基于預(yù)測(cè)出的頂點(diǎn)的數(shù)量來確定的。3.如權(quán)利要求2所述的方法，其中，確定逆畸變渲染方法的步驟包括: 當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量大于或等于參考值時(shí)，將逆畸變渲染方法確定為2通道模式； 當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量小于所述參考值時(shí)，將逆畸變渲染方法確定為I通道模式， 渲染圖像數(shù)據(jù)的步驟包括: 當(dāng)逆畸變渲染方法被確定為2通道模式時(shí)，首先將圖像數(shù)據(jù)渲染成平面圖像，然后將平面圖像渲染成畸變圖像； 當(dāng)逆畸變渲染方法被確定為I通道模式時(shí)，將圖像數(shù)據(jù)劃分為多個(gè)表面，并通過使用作為劃分結(jié)果而獲得的表面劃分信息來將圖像數(shù)據(jù)渲染成畸變圖像。4.如權(quán)利要求3所述的方法，其中，確定逆畸變清染方法的步驟還包括:當(dāng)確定所述表面的數(shù)量不能被算出時(shí)，將逆畸變渲染方法確定為2通道模式。5.如權(quán)利要求3所述的方法，其中，渲染圖像數(shù)據(jù)的步驟還包括:通過使用曲面細(xì)分著色器將圖像數(shù)據(jù)劃分為多個(gè)表面。6.如權(quán)利要求1所述的方法，其中，圖像數(shù)據(jù)是3D圖像數(shù)據(jù)。7.—種電子裝置，包括: 存儲(chǔ)器，用于存儲(chǔ)圖像數(shù)據(jù)； 處理器，被配置為對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè)，將與預(yù)測(cè)出的表面的數(shù)量相應(yīng)的逆畸變渲染方法確定為用于對(duì)圖像數(shù)據(jù)進(jìn)行逆畸變渲染的方法，并基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染為畸變圖像； 顯示單元，用于顯示畸變圖像。8.如權(quán)利要求7所述的電子裝置，其中，處理器包括應(yīng)用處理器和圖形處理單元中的至少一個(gè)。9.如權(quán)利要求7所述的電子裝置，其中，電子裝置是頭戴式裝置(HMD)，其中，該頭戴式裝置(HMD)進(jìn)一步包括透鏡單元。10.如權(quán)利要求9所述的電子裝置，還包括固定器，其中，顯示單元被安裝到固定器或與固定器分離。11.如權(quán)利要求7所述的電子裝置，其中，處理器被配置為確定圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量是否能夠被算出，當(dāng)確定所述表面的數(shù)量能夠被算出時(shí)對(duì)圖像數(shù)據(jù)中的頂點(diǎn)的數(shù)量進(jìn)行預(yù)測(cè)，并且基于預(yù)測(cè)出的頂點(diǎn)的數(shù)量來確定逆畸變渲染方法。12.如權(quán)利要求11所述的電子裝置，其中，處理器還被配置為:當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量大于或等于參考值時(shí)，首先將圖像數(shù)據(jù)渲染成平面圖像，然后將平面圖像渲染成畸變圖像，當(dāng)預(yù)測(cè)出的頂點(diǎn)的數(shù)量小于參考值時(shí)，將圖像數(shù)據(jù)劃分為多個(gè)表面，并通過使用作為劃分結(jié)果而獲得的表面劃分信息來將圖像數(shù)據(jù)渲染成畸變圖像。13.如權(quán)利要求11所述的電子裝置，其中，處理器被配置為:當(dāng)確定所述表面的數(shù)量不能被算出時(shí)，首先將圖像數(shù)據(jù)渲染成平面圖像，然后將平面圖像渲染成畸變圖像。14.如權(quán)利要求7所述的電子裝置，其中，圖像數(shù)據(jù)是3D圖像數(shù)據(jù)。15.—種包括用于執(zhí)行處理的程序的非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述處理包括: 對(duì)圖像數(shù)據(jù)中能夠被劃分的表面的數(shù)量進(jìn)行預(yù)測(cè)； 基于預(yù)測(cè)出的表面的數(shù)量來確定逆畸變渲染方法； 基于確定的逆畸變渲染方法將圖像數(shù)據(jù)渲染成畸變圖像； 顯示畸變圖像。
【文檔編號(hào)】G06T1/00GK105874505SQ201580003701
【公開日】2016年8月17日
【申請(qǐng)日】2015年1月5日
【發(fā)明人】崔友誠(chéng), 李?yuàn)挾?
【申請(qǐng)人】三星電子株式會(huì)社