圖像數(shù)據(jù)處理的方法和裝置以及包括該裝置的電子設(shè)備的制作方法
【專利摘要】提供了一種攝像機控制技術(shù)。圖像數(shù)據(jù)處理裝置包括:原始數(shù)據(jù)處理器,配置用于將圖像傳感器收集的信號轉(zhuǎn)換為數(shù)字信號;標識信息處理器,配置用于將標識信息分配給由原始數(shù)據(jù)處理器獲得的每一個視頻幀;以及元數(shù)據(jù)處理器,配置用于將標識信息寫入到視頻幀的元數(shù)據(jù)中。還公開了一種具有所述裝置的電子設(shè)備和一種圖像數(shù)據(jù)處理方法。
【專利說明】圖像數(shù)據(jù)處理的方法和裝置以及包括該裝置的電子設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及處理通過電子設(shè)備的攝像機收集的圖像數(shù)據(jù)。更具體地,本公開涉及一種用于處理圖像數(shù)據(jù)(例如視頻數(shù)據(jù)中的處理錯誤)的方法和裝置、以及涉及包括所述裝置的電子設(shè)備。
【背景技術(shù)】
[0002]基于通信和相關(guān)技術(shù)的顯著增長,移動電子設(shè)備(例如,智能電話、平板個人計算機(PC)等)由于它們的高度可用性和便攜性而變得更加流行。此外,目前生產(chǎn)的移動電子設(shè)備已經(jīng)超出了它們各自的傳統(tǒng)領(lǐng)域(例如,簡單通信),并且達到了其中單一的移動設(shè)備具有支持各種用戶功能的能力的移動會聚階段。
[0003]這些移動設(shè)備的大多數(shù)具有攝像機模塊來提供攝像機功能。當操作內(nèi)置攝像機模塊時,移動設(shè)備的用戶可以獲得物體的圖像,將獲得的圖像保存在他或她的移動設(shè)備,并且將獲得的圖像發(fā)送給其他電子設(shè)備。通常在具有攝像機模塊的移動設(shè)備中,圖像傳感器收集圖像,并且圖像數(shù)據(jù)處理裝置從圖像傳感器接收圖像信號,處理接收的信號,然后將信號發(fā)送給控制單元。
[0004]在如上所述的圖像處理期間,可能發(fā)生不期望的錯誤。然而,相關(guān)技術(shù)中具有上述攝像機模塊的移動設(shè)備忽略錯誤的發(fā)生,因此可能使收集的圖像質(zhì)量劣化。然而,相關(guān)技術(shù)中還沒有提出用于處理或消除這種錯誤的適當技術(shù)方案。因此,需要一種改進的裝置和方法,用于電子設(shè)備的攝像機收集的圖像數(shù)據(jù)的白適應(yīng)處理。
[0005]以上信息展示作為背景信息,只是用于輔助理解本公開。并沒有確定也沒有承認以上的任何技術(shù)可應(yīng)用作為相對于本公開的現(xiàn)有技術(shù)。
【發(fā)明內(nèi)容】
[0006]本公開的各個方面是至少解決上述問題和/或缺陷,并且至少提供下述優(yōu)勢。因此,本公開的一個方面是為了提供一種用于處理由電子設(shè)備的攝像機收集的圖像數(shù)據(jù)的裝置和方法。
[0007]本公開的另一個方面提供了一種圖像數(shù)據(jù)處理方法和裝置,所述方法和裝置可以通過寫入索引信息來自適應(yīng)地處理視頻數(shù)據(jù)中的錯誤
[0008]本公開的再一個方面提供了一種電子設(shè)備,所述電子設(shè)備包括上述裝置并且執(zhí)行上述方法。
[0009]根據(jù)本公開的一個方面,提供了 一種圖像數(shù)據(jù)處理裝置。所述裝置包括:原始數(shù)據(jù)處理器,配置用于將圖像傳感器收集的信號轉(zhuǎn)換為數(shù)字信號;標識信息處理器,配置用于將標識信息分配給由原始數(shù)據(jù)處理器獲得的每一個視頻幀;以及元數(shù)據(jù)處理器,配置用于將標識信息寫入到視頻幀的元數(shù)據(jù)中。
[0010]根據(jù)本公開的另一個方面,提供了一種支持圖像數(shù)據(jù)處理的電子設(shè)備。所述設(shè)備包括:圖像數(shù)據(jù)處理裝置,配置用于將標識信息分配給獲得的每一個視頻幀的圖像幀,并且將標識信息寫入到視頻幀的元數(shù)據(jù)中;以及控制單元,配置用于從圖像數(shù)據(jù)處理裝置接收視頻幀和元數(shù)據(jù),并且通過使用分配給每一個圖像幀的標識信息來執(zhí)行視頻幀的編碼。
[0011]根據(jù)本公開的再一個方面,提供了一種圖像數(shù)據(jù)處理方法。所述方法包括:響應(yīng)于用于視頻記錄的請求來獲得圖像幀;將標識信息分配給獲得的圖像幀;以及將標識信息寫入到圖像幀的元數(shù)據(jù)中。
[0012]根據(jù)結(jié)合附圖公開了本公開各種實施例的以下詳細描述,本公開的其他方面、優(yōu)勢和顯著特征對于本領(lǐng)域普通技術(shù)人員將變得更加清楚明白。
【專利附圖】
【附圖說明】
[0013]根據(jù)結(jié)合附圖的以下描述,本公開特定實施例的以上和其他方面、特征和優(yōu)點將變得清楚明白,其中:
[0014]圖1是示出了根據(jù)本公開實施例具有圖像數(shù)據(jù)處理裝置的電子設(shè)備的結(jié)構(gòu)的方框圖。
[0015]圖2是示出了根據(jù)本公開實施例圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)的方框圖,例如圖1中所示的圖像數(shù)據(jù)處理裝置。
[0016]圖3是示出了根據(jù)本公開實施例控制單元的結(jié)構(gòu)的方框圖,例如圖1中所述的控制單兀。
[0017]圖4是示出了操作根據(jù)本公開實施例圖像數(shù)據(jù)處理裝置的方法的流程圖。
[0018]圖5示出了通過本公開實施例將時間戳分配給由固定幀類型獲取的圖像幀的示例。
[0019]圖6示出了根據(jù)本公開實施例將時間戳分配給通過可變幀類型獲取的圖像幀的示例。
[0020]圖7示出了流程圖,示出了根據(jù)本公開實施例操作控制單元的方法的流程圖。
[0021]圖8示出了根據(jù)本公開實施例基于標識信息的圖像幀重新排列的示例。
[0022]圖9示出了根據(jù)本公開實施例寫入和發(fā)送標識信息的示例。
【具體實施方式】
[0023]參考附圖提供以下描述來幫助全面理解權(quán)利要求及其等同物限定的本發(fā)明示例性實施例。以下描述包括多個具體細節(jié)以幫助理解,但是應(yīng)將這些細節(jié)僅看作是示例性的。因此,本領(lǐng)域普通技術(shù)人員將認識到,可以在不背離本發(fā)明精神和范圍的情況下對本文所描述的實施例進行多種改變和修改。此外,為了清楚和簡明的目的,可以省略對公知功能和結(jié)構(gòu)的描述。
[0024]以下描述和權(quán)利要求中使用的術(shù)語和詞語并不限于字面意思,而是僅被發(fā)明人用來使本發(fā)明清楚并便于理解。因此,對于本領(lǐng)域技術(shù)人員顯而易見的是,僅以說明的目的提供了本發(fā)明示例性實施例的以下描述,并且并不將其解釋為對所附權(quán)利要求及其等同物限定的本發(fā)明的限制。
[0025]應(yīng)該理解,除非上下文清楚地指示,否則單數(shù)形式的“一”、“一個”和“該”包括復(fù)數(shù)形式。因此,例如,提及“部件表面”包括提及一個或多個這種表面。
[0026]而且,為了避免混淆本發(fā)明的必要方面,可能不詳細描述或說明公知或廣泛使用的技術(shù)、元件、結(jié)構(gòu)和過程。盡管附圖表示本發(fā)明的示例性實施例,但附圖不必按比例繪制,為了更好的說明和解釋本發(fā)明可能夸大或省略某些特征。
[0027]圖1是示出了根據(jù)本公開實施例具有圖像數(shù)據(jù)處理裝置的電子設(shè)備的結(jié)構(gòu)的方框圖。
[0028]參考圖1,設(shè)備100包括通信單元110、輸入單元120、音頻處理單元130、顯示單元140、存儲器單元150和控制單元160,并且還可以包括攝像機模塊200以支持攝像機功能。在一些實施例中,可以從不支持通信功能的設(shè)備100中移除通信單元110。同樣,控制單元160可以包括處理攝像機功能的應(yīng)用處理器,
[0029]當處理由圖像傳感器210收集的視頻數(shù)據(jù)時,攝像機模塊200可以施加時間戳和幀計數(shù)符中的至少一個,并且可以將視頻數(shù)據(jù)發(fā)送給控制單元160。這里,幀計數(shù)符與每一個圖像幀的編號相對應(yīng)。因此,控制單元160可以通過對時間戳和幀計數(shù)符中的至少一個進行檢查來發(fā)現(xiàn)視頻數(shù)據(jù)中的錯誤,因此當處理施加了時間戳和幀計數(shù)符中的至少一個的視頻數(shù)據(jù)時采取適當?shù)膭幼鳌?br>
[0030]如上所述,通信單元110是當設(shè)備100支持通信功能時添加的可選元件。通信單元110可以建立與基站的通信信道以便支持設(shè)備100的通信功能,并且依賴于用戶的操作或調(diào)度信息,從外部實體接收信息,或者將在設(shè)備100中存儲或由設(shè)備100收集的信息發(fā)送給外部實體。附加地,通信單元110可以由短距離通信模塊構(gòu)成,以建立與其他設(shè)備的短距離通信信道,并且向其他設(shè)備發(fā)送存儲的圖像。更具體地,通信單元110可以建立通信信道,用于將攝像機模塊200收集的視頻數(shù)據(jù)中由控制單元160編碼和存儲的視頻數(shù)據(jù)傳輸給其他設(shè)備。同樣地,通信單元Iio可以在控制單元160的控制下從其他設(shè)備接收視頻數(shù)據(jù),并且將接收的視頻數(shù)據(jù)存儲在存儲器單元150中。這里,接收的視頻數(shù)據(jù)可以是向其施加了時間戳和幀計數(shù)符中的至少一個的數(shù)據(jù)。
[0031]輸入單元120是創(chuàng)建操作設(shè)備100所需要的各種輸入信號的元件。依賴于設(shè)備100的兼容性,輸入單元120可以采用各種輸入機制的任一種,例如鍵盤、鍵區(qū)、鍵鈕等。在一些實施例中,如果將顯示單元140設(shè)置為觸摸屏,輸入單元120可以由在觸摸屏上顯示的虛擬觸摸地圖構(gòu)成。更具體地,輸入單元120可以產(chǎn)生用于攝像機控制的快門按鍵輸入信號、用于攝像機設(shè)置的按鍵輸入信號等。這些按鍵輸入信號可以由在設(shè)備100的前部或側(cè)面設(shè)置的硬件按鍵來產(chǎn)生。如果將顯示單元140設(shè)置在觸摸屏的框中,可以在顯示單元140上顯示用于產(chǎn)生每一個按鍵輸入信號的觸摸地圖。
[0032]音頻處理單元130可以包括揚聲器(SPK),用于輸出在設(shè)備100的操作期間產(chǎn)生的音頻數(shù)據(jù)、與在存儲器單元150中存儲的音頻文件的回放相關(guān)聯(lián)的音頻數(shù)據(jù)、從外部實體接收的音頻數(shù)據(jù)等。同樣,音頻處理單元130可以支持音頻數(shù)據(jù)收集功能。為此,音頻處理單元130可以包括麥克風(MIC)。音頻處理單元130輸出的音頻數(shù)據(jù)可以是與攝像機控制相關(guān)聯(lián)的各種反饋聲音或者聲音效果。例如,如果在施加了幀計數(shù)符的視頻數(shù)據(jù)中發(fā)生了任意不期待的錯誤,音頻處理單元130可以響應(yīng)于錯誤的產(chǎn)生而輸出預(yù)先定義的反饋聲音??梢愿鶕?jù)設(shè)計者的意圖不提供這種反饋聲音的輸出,或者即使提供,也可以根據(jù)用戶的設(shè)置而省略。附加地,麥克風收集的音頻數(shù)據(jù)可以是結(jié)合視頻獲得的音頻信號。如果設(shè)備100支持通信功能,麥克風可以支持用于通信功能的語音信號的收集。
[0033]顯示單元140是提供設(shè)備100的操作所需要的各種屏幕的元件。例如,顯示單元140可以提供空閑屏幕、菜單屏幕等。在一些實施例中,顯示單元140可以提供各種屏幕,例如攝像機控制屏幕、攝像機操作屏幕、攝像機設(shè)置屏幕等。更具體地,顯示單元140可以響應(yīng)于用于激活攝像機模塊200的視頻功能的輸入信號來輸出從攝像機模塊200接收的數(shù)據(jù),作為預(yù)覽屏幕。附加地,當在處理視頻數(shù)據(jù)的步驟中出現(xiàn)任意錯誤時,顯示單元140可以支持相關(guān)消息的輸出。視頻數(shù)據(jù)的處理可以包括將從攝像機模塊200接收的數(shù)據(jù)存儲在存儲器單元150中。因為可以與預(yù)覽屏幕的輸出獨立地執(zhí)行這種處理,可以省略輸出相關(guān)消息的功能。同時,如果在將視頻數(shù)據(jù)存儲在存儲器單元150中之后存在響應(yīng)于用戶的選擇來請求任意視頻數(shù)據(jù)回放的輸入信號,則顯示單元140可以執(zhí)行視頻數(shù)據(jù)的回放,并且從而支持輸出記錄的視頻。
[0034]存儲器單元150可以存儲設(shè)備100的操作所需要的操作系統(tǒng),并且還存儲與用戶功能相關(guān)聯(lián)的數(shù)據(jù)、應(yīng)用程序、程序、算法等。更具體地,存儲器單元150可以存儲用于支持攝像機控制功能的攝像機操作程序151以及視頻數(shù)據(jù)153。
[0035]攝像機操作程序151可以存儲設(shè)備100的攝像機操作所需要的各種例程。例如,攝像機操作程序151可以包括:用于輸出響應(yīng)于開機輸入而激活的攝像機模塊200收集和發(fā)送的數(shù)據(jù)作為預(yù)覽圖像的例程、存儲響應(yīng)于用戶的選擇由攝像機模塊120收集和發(fā)送的數(shù)據(jù)作為視頻數(shù)據(jù)153的例程、以及響應(yīng)于用戶的選擇由攝像機模塊200收集和發(fā)送的數(shù)據(jù)作為靜止圖像的例程。附加地,用于存儲視頻數(shù)據(jù)153的例程可以包括通過對從攝像機模塊200接收的數(shù)據(jù)中的時間戳和幀計數(shù)符中的至少一個進行檢查來發(fā)現(xiàn)錯誤的例程、處理錯誤以校正錯誤的例程、將具有已處理錯誤的數(shù)據(jù)或者無錯誤數(shù)據(jù)發(fā)送至編碼器的例程
坐坐寸寸ο
[0036]另外,攝像機操作程序151可以包括用于提供用于攝像機模塊200的操作的菜單的例程,以及響應(yīng)于菜單選擇支持特定功能的例程。后一種程序可以具有與模式設(shè)置功能相關(guān)聯(lián)的例程,以激活或去激活針對從攝像機模塊200接收的數(shù)據(jù)的錯誤校正功能,以及與結(jié)合攝像機來調(diào)節(jié)快門速度、ISO等的功能相關(guān)聯(lián)的例程。
[0037]攝像機模塊200是收集圖像作為靜止圖像或視頻的模塊。攝像機模塊200可以包括圖像傳感器210和圖像數(shù)據(jù)處理裝置220。另外,攝像機模塊200可以包括支持攝像機功能所需要的一些元件,例如用于圖像收集的元件,例如鏡頭、光圈、光圈驅(qū)動器、鏡頭調(diào)節(jié)器
坐寸ο
[0038]圖像傳感器210是其中將多個圖像傳感器設(shè)置成矩陣形式、并且收集透射通過鏡頭的光的元件。同樣,圖像傳感器210將收集的光發(fā)送給與照片傳感器相對應(yīng)地配置的攝像機存儲器單元。攝像機存儲器單元可以將在照片傳感器中形成的光學(xué)信息數(shù)字化并且進行存儲,并且可以具有設(shè)置用于讀取在各個位置存儲的信息的地址線。
[0039]圖像數(shù)據(jù)處理裝置220每一線獲得由圖像傳感器210收集并且存儲在攝像機存儲單元中的光學(xué)信息,將所述光學(xué)信息構(gòu)造為單個幀單元,并且將所述單個幀單元發(fā)送給控制單元。更具體地,圖像收集處理裝置220可以按照至少一個幀單元,將時間戳和幀計數(shù)符中的至少一個分配給通過圖像傳感器210收集獲得的圖像信息。例如,圖像數(shù)據(jù)處理裝置220可以首先處理圖像傳感器210收集的視頻數(shù)據(jù),將時間戳和幀計數(shù)符中的至少一個寫入到元數(shù)據(jù)或嵌入數(shù)據(jù)中,并且將其與視頻數(shù)據(jù)一起發(fā)送給編碼器。同時,如果圖像數(shù)據(jù)處理裝置220屬于控制單元160,攝像機模塊200可以將圖像傳感器210收集的視頻數(shù)據(jù)發(fā)送給控制單元160,并且通過使用圖像傳感器210的時鐘或者使用可用于攝像機模塊200的外圍或發(fā)送時鐘來將時間戳和幀計數(shù)符中的至少一個分配給視頻數(shù)據(jù)。屬于控制單元160的圖像數(shù)據(jù)處理裝置220可以基于由攝像機模塊200提供的時間戳來執(zhí)行接收的視頻數(shù)據(jù)的處理,并且將已圖像處理的視頻數(shù)據(jù)發(fā)送給編碼器以執(zhí)行編碼處理。這里,可以將攝像機模塊200的原始數(shù)據(jù)發(fā)送給控制單元160,無需任何圖像處理。上述圖像數(shù)據(jù)處理裝置220可以包括圖2所示的元件。
[0040]圖2是示出了根據(jù)本公開實施例圖像數(shù)據(jù)處理裝置的結(jié)構(gòu)的方框圖,例如圖1中所示的圖像數(shù)據(jù)處理裝置。
[0041 ] 參考圖2,圖像數(shù)據(jù)處理裝置220可以包括JPEG處理器221、原始數(shù)據(jù)處理器223、元數(shù)據(jù)處理器225和標識信息處理器227。
[0042]JPEG處理器221是支持圖像數(shù)據(jù)處理裝置220的靜止圖像處理的元件。因此,如果從控制單元160發(fā)送用于拍攝靜止圖像的任意事件,JPGE處理器221從由圖像傳感器210收集的圖像收集靜止圖像,并且將靜止圖像發(fā)送給控制單元160。
[0043]原始數(shù)據(jù)處理器223是支持圖像收集處理裝置220的視頻處理的元件。原始數(shù)據(jù)處理器223可以根據(jù)諸如YUV或RGB之類的特定顏色格式,將圖像傳感器210按照模擬信號形式收集的光學(xué)信息數(shù)字化。原始數(shù)據(jù)處理器223可以將根據(jù)特定格式收集的這種數(shù)據(jù)分離為幀單元,并且將幀單元發(fā)送給控制單元160。
[0044]元數(shù)據(jù)處理器225是記錄由JPEG處理器221或原始數(shù)據(jù)處理器223發(fā)送給控制單元160的圖像的元數(shù)據(jù)的元件。更具體地,元數(shù)據(jù)處理器225從標識信息處理器227接收時間戳和幀計數(shù)符中的至少一個,并且將時間戳和幀計數(shù)符的任一個或兩者分配給由原始數(shù)據(jù)處理器223收集的每一個圖像幀。為此,元數(shù)據(jù)處理器225按照元數(shù)據(jù)或嵌入式數(shù)據(jù)的格式寫入與標識信息相對應(yīng)的時間戳和幀計數(shù)符中的至少一個,并且將具有標識信息的元數(shù)據(jù)發(fā)送給控制單元160。這里,標識信息可以是用于識別順序拍攝的連續(xù)圖像幀的順序排列以便存儲視頻數(shù)據(jù)的信息,例如上述時間戳和幀計數(shù)符中的至少一個。
[0045]標識信息處理器227是將標識信息分配給在收集視頻數(shù)據(jù)的過程中由原始數(shù)據(jù)處理器223收集的幀的元件。更具體地,標識信息處理器227可以通過元數(shù)據(jù)處理器225將時間戳和幀計數(shù)符的至少一個分配給每一個幀。對于時間戳的分配,標識信息處理器227可以使用在圖像數(shù)據(jù)處理裝置220中配置的時鐘發(fā)生器。例如,當接收請求視頻記錄的信號時,標識信息處理器227將在時鐘發(fā)生器中產(chǎn)生的時間信息作為時間戳信息發(fā)送給元數(shù)據(jù)處理器225。元數(shù)據(jù)處理器225可以將接收的時間戳寫入到由原始數(shù)據(jù)處理器223收集的圖像幀中。因此,可以從圖像數(shù)據(jù)處理裝置220輸出視頻數(shù)據(jù)的每一個幀,同時具有時間戳信息。
[0046]同時,標識信息處理器227可以包括計數(shù)符,并且當原始數(shù)據(jù)處理器223響應(yīng)于請求視頻記錄的信號而收集圖像幀時,將計數(shù)符分配給每一個初始收集的圖像幀。將這種計數(shù)符信息遞送給元數(shù)據(jù)處理器225,元數(shù)據(jù)處理器225可以將計數(shù)符值寫入到每一個圖像幀中,并且將每一個圖像幀發(fā)送給控制單元160。因此,可以從圖像數(shù)據(jù)處理裝置220輸出視頻數(shù)據(jù)的各個幀,同時具有連續(xù)的計數(shù)符值。
[0047]如上所述,圖像數(shù)據(jù)處理裝置220可以將時間戳和計數(shù)符中的至少一個添加至由視頻記錄收集的幀,并且輸出這些幀。[0048]返回圖1,控制單元160可以接收從圖像數(shù)據(jù)處理裝置220輸出的數(shù)據(jù),輸出接收的數(shù)據(jù)作為預(yù)覽圖像,并且還執(zhí)行用于存儲視頻數(shù)據(jù)的處理。在這一過程中,控制單元160可以檢查視頻數(shù)據(jù)中的錯誤,并且包括如圖3所示的用于校正這種錯誤的元件。
[0049]圖3是示出了根據(jù)本公開實施例控制單元的結(jié)構(gòu)的方框圖,例如圖1中所述的控制單兀。
[0050]參考圖3,控制單元160可以包括數(shù)據(jù)緩沖器161、預(yù)覽圖像處理器163、標識信息檢查器165和編碼器167。附加地,控制單元160還可以包括輔助緩沖器169。
[0051]數(shù)據(jù)緩沖器161是臨時地存儲從攝像機模塊200提供的數(shù)據(jù)的元件。更具體地,如果圖像數(shù)據(jù)處理裝置220在視頻記錄期間連續(xù)地提供圖像幀,數(shù)據(jù)緩沖器161以圖像幀為單位存儲視頻數(shù)據(jù)。同樣,數(shù)據(jù)緩沖器161可以按照先入先出(FIFO)形式存儲和輸出圖像幀。可以將從數(shù)據(jù)緩沖器161輸出的圖像幀分別發(fā)送至預(yù)覽圖像處理器163和標識信息檢查器165。
[0052]預(yù)覽圖像處理器163是對在數(shù)據(jù)緩沖器161中存儲的信息進行處理以適用于預(yù)覽圖像、并且將信息輸出至顯示單元140的元件。預(yù)覽圖像處理器163可以重新調(diào)節(jié)在數(shù)據(jù)緩沖器161中存儲的圖像幀的尺寸以具有用于顯示單元140的適當尺寸,并且將重新調(diào)節(jié)尺寸的圖像幀輸出至顯示單元140。同時,代替從數(shù)據(jù)緩沖器161接收數(shù)據(jù),在替代實施例中,預(yù)覽圖像處理器163可以從圖像數(shù)據(jù)處理裝置220直接接收圖像幀。例如,可以將圖像幀傳遞至預(yù)覽圖像處理器163,無需任何緩沖存儲。當重新調(diào)節(jié)接收的圖像幀的尺寸時,預(yù)覽圖像處理器163可以丟棄圖像幀的超過顯示單元140尺寸的那一部分。
[0053]標識信息檢查器165是一種元件,搜索從數(shù)據(jù)緩沖器161輸出的圖像幀的元數(shù)據(jù),確定該元數(shù)據(jù)是否符合一定規(guī)則,從而確定要發(fā)送到編碼器167的圖像幀的順序是否改變或者被部分地去除。例如,標識信息檢查器165可以控制從圖像數(shù)據(jù)處理裝置220提供的圖像幀按照正常順序傳輸給編碼器167。有時候,由于當設(shè)備100執(zhí)行各種調(diào)度任務(wù)時引起的中斷,可能在存儲或處理從攝像機模塊200接收的圖像幀時發(fā)生錯誤。不幸地,在圖像數(shù)據(jù)處理裝置220將圖像發(fā)送給具有攝像機模塊200的設(shè)備100時,這可能引起圖像幀的順序改變或圖像幀的丟失。為了消除圖像處理中的這種錯誤,標識信息檢查器165通過檢查圖像幀的標識信息來支持錯誤校正。
[0054]例如,標識信息檢查器165可以估計從數(shù)據(jù)緩沖器161輸出的當前圖像幀的時間戳信息,并且進一步估計該時間戳信息是否在在先發(fā)送給編碼器167的時間戳信息之后。如果當前圖像幀的時間戳信息不是在在先圖像幀的時間戳信息之后,標識信息檢查器165可以將其看作是錯誤,并且確定在數(shù)據(jù)緩沖器161中存儲的圖像幀中存在具有在先幀的時間戳信息之后的時間戳信息的任意圖像幀。如果存在這種圖像幀,標識信息檢查器165可以從數(shù)據(jù)緩沖器161接收圖像幀,并且將該圖像幀發(fā)送給編碼器167。
[0055]標識信息檢查器165可以通過備選地使用計數(shù)符信息來執(zhí)行上述功能。例如,標識信息檢查器165尋找要傳輸至編碼器167的當前圖像幀的計數(shù)符信息,并且確定該計數(shù)符信息是否是在先傳輸至編碼器167的圖像幀的計數(shù)符信息的下一個。如果當前圖像幀的計數(shù)符信息不是在先圖像幀的計數(shù)符信息的下一個,標識信息檢查器165可以檢查在數(shù)據(jù)緩沖器161中存儲的其他圖像幀。如果在其他圖像幀中存在具有相關(guān)計數(shù)符信息的適當圖像幀,標識信息檢查器165可以獲得該圖像幀,并且將該圖像幀傳輸至編碼器167。例如,標識信息檢查器165可以調(diào)節(jié)圖像幀的排列順序。
[0056]備選地,標識信息檢查器165可以使用時間戳信息和計數(shù)符信息兩者。時間戳信息可以根據(jù)在攝像機模塊200中拍攝圖像的設(shè)置條件而改變。例如,攝像機模塊200可以依賴于周圍的環(huán)境增加或減少每秒鐘收集的圖像個數(shù)。例如,攝像機模塊300可以在黑暗環(huán)境下每秒鐘收集30個圖像幀,并且可以在明亮環(huán)境下每秒鐘收集60個圖像幀。結(jié)果,分配給各個幀的時間戳之間的間隔可以根據(jù)周圍環(huán)境而改變。因此,圖像數(shù)據(jù)處理裝置220可以將與變化巾貞相關(guān)的信息傳輸至控制單兀160,使得標識信息檢查器165可以應(yīng)用該信息。然而,標識信息檢查器165可以使用計數(shù)符信息作為輔助時間戳信息。備選地,標識信息檢查器165可以只使用計數(shù)符信息來執(zhí)行針對圖像幀的錯誤確定和校正。
[0057]編碼器167執(zhí)行針對由標識信息檢查器165傳輸?shù)膱D像幀的編碼處理,并且將編碼的數(shù)據(jù)發(fā)送給存儲器單元150。因此,可以將由編碼器167傳輸?shù)臄?shù)據(jù)作為視頻數(shù)據(jù)153存儲在存儲器單元150中。
[0058]圖4是示出了根據(jù)本公開實施例操作圖像數(shù)據(jù)處理裝置的方法的流程圖。
[0059]參考圖4,該方法開始,在操作401,當接收到用于激活攝像機模塊200的信號時收集圖像。為此,圖像數(shù)據(jù)處理裝置220可以向圖像傳感器210供電,根據(jù)設(shè)置信息從通過鏡頭收集的光學(xué)信息獲得圖像幀,并且將該圖像幀發(fā)送給控制單元160??梢詫l(fā)送給控制單元160的這種圖像幀針對顯示單元140適當?shù)刂匦抡{(diào)節(jié)尺寸,而無需附加處理。
[0060]同時,當接收到用于記錄視頻的輸入事件時,圖像數(shù)據(jù)處理裝置220可以將在圖像傳感器210中形成的光學(xué)信息作為圖像幀存儲,并且在操作403,將與每一個圖像幀相對應(yīng)的標識信息寫入元數(shù)據(jù)中。如上所述,標識信息用于識別相應(yīng)圖像幀的順序,并且可以包括收集每一圖像幀處的時間點的時間戳信息和每一圖像幀的計數(shù)符信息的至少一個??梢允褂脼榱藞D像數(shù)據(jù)處理裝置220的操作而提供的時鐘發(fā)生器來產(chǎn)生時間戳信息。
[0061]在操作405,圖像數(shù)據(jù)處理裝置220將具有標識信息的元數(shù)據(jù)與相應(yīng)的圖像幀一起發(fā)送給控制單元160。
[0062]下文中將參考圖5和圖6,結(jié)合將標識信息寫入到圖像數(shù)據(jù)處理裝置220來詳細地描述這種圖像幀。
[0063]圖5示出了通過本公開實施例將時間戳分配給由固定幀類型獲取的圖像幀的示例。
[0064]參考圖5,圖像數(shù)據(jù)處理裝置220可以使用基于在攝像機模塊200中的時鐘發(fā)生器的內(nèi)部定時器,按照固定的間隔將時間戳附于作為固定幀記錄的視頻,并且將該視頻與幀計數(shù)符一起發(fā)送至控制單元160。如所示,發(fā)送具有第N幀計數(shù)符和330ms時間戳的圖像幀,并且在33ms之后,發(fā)送具有第(N+1)幀計數(shù)符和363ms時間戳的下一個圖像幀。隨后,在33ms的相同間隔處,圖像數(shù)據(jù)處理裝置220將396ms的時間戳附于具有第(N+2)幀計數(shù)符的下一個圖像幀。接收這種固定幀類型的視頻,控制單元160可以通過使用時間戳之間的時間差來確定所述幀是否符合規(guī)則??刂茊卧?60可以執(zhí)行諸如重排序之類的適當處理,以使該幀符合規(guī)則。如果由于丟失時間戳發(fā)現(xiàn)任何丟失,控制單元160可以通過復(fù)制前一個幀來處理丟失的幀。例如,當在數(shù)據(jù)緩沖器的在先圖像幀之后不存在圖像幀時,控制單元160可以復(fù)制在先處理的圖像幀,或者復(fù)制從數(shù)據(jù)緩沖器輸出的當前圖像幀,以便提供丟失的圖像幀。[0065]圖6示出了根據(jù)本公開實施例將時間戳分配給通過可變幀類型獲取的圖像幀的示例。
[0066]參考圖6,在可變幀類型的視頻中,圖像可以以每秒30幀開始拍攝,盡管還可以用60幀拍攝。在這種情況下,相鄰幀之間的間隔從17ms曾加到33ms。也就是說,第N幀和第(N+1)幀之間的17ms對應(yīng)于基于60幀拍攝的幀之間的時間間隔。類似地,第(N+1)幀和第(N+2)幀之間的33ms對應(yīng)于基于30幀拍攝的幀之間的時間間隔。這里,可以將由圖像數(shù)據(jù)處理裝置220分配的計數(shù)符信息順序地分配給每一幀,而與幀之間的間隔變化無關(guān)。作為可變幀類型的視頻,控制單元160可以根據(jù)時間戳的時間和幀計數(shù)符的順序執(zhí)行編碼處理。同時,如果發(fā)生圖像幀的順序反轉(zhuǎn),控制單元160可以通過使用幀計數(shù)符執(zhí)行錯誤檢測和重新排列。同樣,控制單元160可以通過時間戳之間的時間比較來執(zhí)行錯誤檢測和重新排列。
[0067]圖7示出了根據(jù)本公開實施例操作控制單元的方法的流程圖。
[0068]參考圖7,在操作701,控制單元160確定是否接收到視頻數(shù)據(jù)。在操作703,如果沒有接收到視頻數(shù)據(jù),控制單元160可以響應(yīng)于調(diào)度信息或者用戶的請求來執(zhí)行具體的功能。例如,控制單元160可以執(zhí)行與攝像機模塊200相關(guān)聯(lián)的任意功能,例如靜止圖像拍攝功能和預(yù)覽圖像提供功能,并且還可以執(zhí)行基于通信單元110的任意功能,例如數(shù)據(jù)發(fā)送功能、數(shù)據(jù)接收功能、呼叫功能等。
[0069]如果在操作701接收到任意視頻數(shù)據(jù),控制單元160可以在操作705評估標識信息。例如,控制單元160可以識別由攝像機模塊200的圖像數(shù)據(jù)處理裝置220提供的信息中的元數(shù)據(jù)區(qū)域,并且從該區(qū)域提取標識信息。隨后在操作707,控制單元160確定標識信息是否符合一個或多個規(guī)則。例如,控制單元160可以確定當前圖像幀的時間戳信息是否在傳輸給編碼器167的在先圖像幀的時間戳信息之后。通常,依賴于視頻記錄時每秒中幀的個數(shù),圖像幀具有順序的并且按照規(guī)則時間間隔的時間戳。在這些情況下,控制單元160確定具有這種規(guī)則時間間隔的時間戳的連續(xù)性。備選地,控制單元160可以確定當前圖像幀的計數(shù)符信息是否在傳輸給編碼器167的在先圖像幀的計數(shù)符信息之后。同樣,控制單元160可以確定時間戳信息和計數(shù)符信息兩者。
[0070]在操作709,如果當前圖像幀的標識信息不符合一個或多個規(guī)則,控制單元160檢查數(shù)據(jù)緩沖器161,數(shù)據(jù)緩沖器161對從圖像數(shù)據(jù)處理裝置220發(fā)送的圖像幀進行緩沖。在操作711,控制單元160可以依賴于在數(shù)據(jù)緩沖器161中存儲的圖像幀,執(zhí)行基于視頻數(shù)據(jù)規(guī)則或丟失處理的處理。如果將符合一個或多個規(guī)則的任意圖像幀存儲在數(shù)據(jù)緩沖器161中,例如如果存儲具有在先處理的圖像幀的標識信息之后的標識信息的任意圖像幀,則控制單元160可以提取所存儲的圖像幀并且執(zhí)行圖像處理。例如,控制單元160可以基于時間戳或計數(shù)符信息來排列所提取的圖像幀,并且將圖像幀發(fā)送給編碼器167。
[0071]同時,如果在數(shù)據(jù)緩沖器161中沒有存儲符合一個或多個規(guī)則的圖像幀,控制單元160可以丟棄要求處理的當前圖像幀??刂茊卧?60可以檢測丟棄的圖像幀之后的下一個圖像幀,并且執(zhí)行圖像處理。在操作713,控制單元160可以在編碼器167中編碼檢測的圖像幀,并且將其存儲在存儲器單元150中。
[0072]在操作715,控制單元160可以確定是否接收到終止錯誤校正功能的任意事件。例如,如果發(fā)生禁用錯誤校正功能的輸入事件,或者如果停止攝像機模塊200的操作,控制單元160可以執(zhí)行與功能終止相關(guān)聯(lián)的特定任務(wù)。同時,如果不存在用于功能終止的事件,控制單元160可以返回上述操作705。
[0073]圖8示出了根據(jù)本公開實施例基于標識信息的圖像幀重新排列的示例。
[0074]參考圖8,如果在發(fā)送了具有330ms時間戳的第N個圖像幀之后,將具有第(N+2)幀計數(shù)符和380ms時間戳的任意圖像幀發(fā)送給編碼器167,則標識信息檢查器165或具有標識信息功能的編碼器167可以搜索具有第(N+1)幀計數(shù)符的圖像幀。此時,標識信息檢查器165可以評估在數(shù)據(jù)緩沖器161中存儲的具有第(N+1)幀計數(shù)符的圖像幀,將第(N+1)圖像幀重新排列在第(N+2)圖像幀之前,并且將重新排列的圖像幀發(fā)送給編碼器167。這里,可以將第(N+2)圖像幀臨時地存儲在輔助緩沖器169中。在將第(N+1)圖像幀傳輸給編碼器167之后,可以調(diào)用在輔助緩沖器169中存儲的第(N+2)圖像幀并且傳輸至編碼器167。
[0075]同時,如果由于丟失導(dǎo)致不存在第(N+1)圖像巾貞,設(shè)備100可以通過復(fù)制第N圖像幀或第(N+2)圖像幀中的任一個來產(chǎn)生第(N+1)圖像幀。
[0076]如前所述,本公開的圖像數(shù)據(jù)處理方法可以解決由于當攝像機模塊200向控制單元160發(fā)送數(shù)據(jù)時發(fā)生的任意中斷導(dǎo)致的、控制單元160和攝像機模塊200之間數(shù)據(jù)同步故障。例如,本公開可以穩(wěn)定地避免由于上述同步錯誤導(dǎo)致的由控制單元160處的時間延遲引起的任意幀延遲的不利情況,尤其是由于幀順序以及對于可變幀的視頻編碼處理中的時間間隔的預(yù)測不確定性弓I起的任意幀延遲。
[0077]盡管以上討論集中于芯片上系統(tǒng)(SOC)類型,其中將圖像數(shù)據(jù)處理裝置220嵌入到攝像機模塊20中,這只是示范性的并且不應(yīng)該看作是本公開的限制。例如,本公開的圖像數(shù)據(jù)處理技術(shù)可以消除編碼錯誤,而與圖像數(shù)據(jù)處理裝置220的位置無關(guān)。圖像數(shù)據(jù)處理裝置220不但可以嵌入到攝像機模塊200中,而且還可以嵌入到控制單元160中(S卩,內(nèi)部圖像信號處理器類型)。替代地,可以將圖像數(shù)據(jù)處理裝置220與攝像機模塊200和控制模塊160兩者分離地設(shè)置。因此,可以通過按照SOC形式嵌入到攝像機模塊200中、設(shè)置在攝像機模塊200外部、或者嵌入到控制單元160中的圖像數(shù)據(jù)處理裝置200執(zhí)行由攝像機模塊200收集的視頻的信號處理。
[0078]附加地,本公開可以應(yīng)用于視頻記錄時的固定幀類型和可變幀類型的至少一個,因此允許標識信息寫入和判決來防止編碼錯誤,并且進一步允許相關(guān)的錯誤檢測和校正。
[0079]盡管以上討論集中于使用在圖像數(shù)據(jù)處理裝置220中設(shè)置的時鐘發(fā)生器的時鐘來限定時間戳,這僅是示范性的而不應(yīng)該看作是本公開的限制。替代地,可以使用在圖像傳感器210中設(shè)置的時鐘發(fā)生器、用于圖像傳感器210的操作的時鐘等來形成時間戳。例如,為了實現(xiàn)時間戳,本公開可以選擇性地使用設(shè)備100的各種時鐘中除了用于控制單元160的編碼器167操作的時鐘之外的特定時鐘。
[0080]圖9示出了根據(jù)本公開實施例的寫入和發(fā)送標識信息的示例。
[0081]參考圖9,圖像數(shù)據(jù)處理裝置220可以通過將在原始數(shù)據(jù)處理器223中產(chǎn)生的圖像幀與在元數(shù)據(jù)處理器225中產(chǎn)生的標識信息相結(jié)合來產(chǎn)生元數(shù)據(jù)或嵌入式數(shù)據(jù),并且將元數(shù)據(jù)或嵌入式數(shù)據(jù)發(fā)送給控制單元160的編碼器167。盡管在以上討論的實施例中將標識信息檢查器165分離地設(shè)置以評估圖像幀的元數(shù)據(jù)并且提取標識信息,可以按照任意標識信息檢查模塊的方式實現(xiàn)標識信息檢查器165,并且可以設(shè)計為包含在編碼器167中。這里,可以將標識信息檢查模塊構(gòu)建為程序模塊。在這種情況下,當將從數(shù)據(jù)緩沖器161輸出的信息傳輸給編碼器167時,編碼器167可以評估相關(guān)的標識信息,并且執(zhí)行錯誤檢測和校正。例如,使用時間戳和幀計數(shù)符的至少一個,本公開可以檢測幀延遲、幀丟失、幀順序反轉(zhuǎn)等等,并且處理它們進行校正。
[0082]根據(jù)當前的數(shù)字會聚趨勢,上述電子設(shè)備100可以實質(zhì)上或者選擇性地進一步包括任意其他元件,例如短距離通信模塊、有線或無線通信接口、因特網(wǎng)通信模塊、數(shù)字廣播接收模塊等。同時,如本領(lǐng)域普通技術(shù)人員應(yīng)該理解的,設(shè)備100中的上述元件的一些可以省略或者用其他元件代替。
[0083]附加地,根據(jù)本公開實施例的電子設(shè)備100可以應(yīng)用于各種類型的移動通信終端,例如蜂窩電話、智能電話、平板個人計算機(PC)、手持PC、便攜多媒體播放器(PMP)、個人數(shù)字助手(PDA)、筆記本電腦、便攜游戲控制臺等等。
[0084]可以將在本公開實施例中處理圖像數(shù)據(jù)的上述方法實現(xiàn)為程序指令,該程序指令可以被寫入到計算機可讀介質(zhì)中并利用多種計算機輔助手段來讀取。這種計算機可讀記錄介質(zhì)可以以單獨或組合的形式包括程序指令、數(shù)據(jù)文件、數(shù)據(jù)結(jié)構(gòu)等。可以將寫入到計算機可讀記錄介質(zhì)上的程序指令設(shè)計并配置為專用于本公開,或?qū)τ谟嬎銠C軟件領(lǐng)域的技術(shù)人員是已知的。這種計算機可讀記錄介質(zhì)可以是能夠以計算機可讀方式存儲數(shù)據(jù)的任意類型的記錄設(shè)備。計算機可讀記錄介質(zhì)的示例包括:磁介質(zhì),如,硬盤、軟盤和磁帶;光學(xué)介質(zhì),如,壓縮盤(CD)-只讀存儲器(ROM)或數(shù)字多功能盤DVD ;磁光介質(zhì),如,光盤;以及專門配置用于存儲和執(zhí)行程序指令的硬件設(shè)備,如,ROM、隨機存取存儲器(RAM)、閃存等。程序指令的示例包括高級語言代碼,所述更高級代碼可以由計算機使用解釋器來執(zhí)行;以及由例如編譯器產(chǎn)生的機器語言代碼。硬件設(shè)備可以配置為操作一個或多個軟件模塊以便執(zhí)行本公開的操作,反之亦然。
[0085]盡管已經(jīng)參考本發(fā)明的實施例具體示出和描述了本公開,但本領(lǐng)域普通技術(shù)人員應(yīng)當理解,在不脫離所附權(quán)利要求所限定的本公開的精神和范圍的情況下,可以進行形式和細節(jié)上的多種改變。
[0086]盡管已經(jīng)參考本發(fā)明的各種實施例具體示出和描述了本公開,但本領(lǐng)域普通技術(shù)人員應(yīng)當理解,在不脫離所附權(quán)利要求及其等價物所限定的本公開的精神和范圍的情況下,可以進行形式和細節(jié)上的多種改變。
【權(quán)利要求】
1.一種圖像數(shù)據(jù)處理裝置,所述裝置包括: 原始數(shù)據(jù)處理器,配置用于將圖像傳感器收集的信號轉(zhuǎn)換為數(shù)字信號; 標識信息處理器,配置用于將標識信息分配給由原始數(shù)據(jù)處理器獲得的每一個視頻幀;以及 元數(shù)據(jù)處理器,配置用于將標識信息寫入到視頻幀的元數(shù)據(jù)中。
2.根據(jù)權(quán)利要求1所述的裝置,其中所述標識信息處理器還配置用于將視頻幀的時間戳和用于對視頻幀中每一個圖像幀的順序加以識別的幀計數(shù)符中的至少一個分配給所述視頻幀。
3.根據(jù)權(quán)利要求2所述的裝置,其中所述標識信息處理器還配置用于在固定幀類型的視頻記錄的情況下,將具有相等時間間隔的時間戳分配給所述視頻幀,并且在可變幀類型的視頻記錄情況下,將具有不同時間間隔的時間戳分配給所述視頻幀。
4.根據(jù)權(quán)利要求2所述的裝置,其中所述標識信息處理器還配置用于基于用于圖像傳感器的操作的時鐘或用于所述裝置的操作的時鐘來分配時間戳。
5.一種支持圖像數(shù)據(jù)處理的電子設(shè)備,所述設(shè)備包括: 圖像數(shù)據(jù)處理裝置,配置用于將標識信息分配給獲得的每一個視頻幀的圖像幀,并且將標識信息寫入到所述視頻幀的元數(shù)據(jù)中;以及 控制單元,配置用于從所述圖像數(shù)據(jù)處理裝置接收視頻幀和元數(shù)據(jù),并且通過使用分配給每一個圖像幀的標識信息來執(zhí)行所述視頻幀的編碼。
6.根據(jù)權(quán)利要求5所述的設(shè)備,其中所述控制單元包括:` 數(shù)據(jù)緩沖器,配置用于存儲由所述圖像數(shù)據(jù)處理裝置提供的圖像幀; 標識信息檢查器,配置用于確定從所述數(shù)據(jù)緩沖器輸出的圖像幀的標識信息,并且確定所述圖像幀的順序變化或者所述圖像幀的丟失;以及編碼器,配置用于對所述圖像幀編碼。
7.根據(jù)權(quán)利要求6所述的設(shè)備,其中所述標識信息包括以下至少一個: 所述圖像幀的時間戳;以及 幀計數(shù)符,表示所述圖像幀的順序。
8.根據(jù)權(quán)利要求7所述的設(shè)備,其中所述標識信息檢查器還配置用于通過檢查在先處理的圖像幀的幀計數(shù)符和從數(shù)據(jù)緩沖器輸出的當前圖像幀的幀計數(shù)符,來檢測所述圖像幀的順序反轉(zhuǎn),并且如果存在圖像幀的順序反轉(zhuǎn),則執(zhí)行針對所述圖像幀的順序排列。
9.根據(jù)權(quán)利要求8所述的設(shè)備,其中所述控制單元還包括輔助緩沖器,配置用于臨時地存儲當前圖像幀,其中所述標識信息檢查器還配置用于確定所述數(shù)據(jù)緩沖器是否具有幀計數(shù)符在在先處理的圖像幀之后的特定圖像幀,如果所述數(shù)據(jù)緩沖器具有所述特定圖像幀,則執(zhí)行順序排列,如果所述數(shù)據(jù)緩沖器不具有所述特定圖像幀,則通過復(fù)制所述在先處理的圖像幀或當前圖像幀來提供丟失的圖像幀。
10.根據(jù)權(quán)利要求5所述的設(shè)備,其中所述圖像數(shù)據(jù)處理裝置還配置用于將分配給所述圖像幀的標識信息寫入到所述圖像幀的元數(shù)據(jù)中。
11.一種圖像數(shù)據(jù)處理方法,所述方法包括: 響應(yīng)于對于視頻記錄的請求來獲得圖像幀; 將標識信息分配給獲得的圖像幀;以及將標識信息寫入到圖像幀的元數(shù)據(jù)中。
12.根據(jù)權(quán)利要求11所述的方法,還包括: 接收所述圖像幀和具有所述標識信息的元數(shù)據(jù); 基于所述元數(shù)據(jù)中包含的標識信息來確定所述圖像幀的順序的錯誤;以及 當出現(xiàn)所述圖像幀的順序的錯誤時排列所述圖像幀的順序。
13.根據(jù)權(quán)利要求12所述的方法,其中使用在所述標識信息中包含的幀計數(shù)符來執(zhí)行所述排列。
14.根據(jù)權(quán)利要求12所述的方法,其中所述排列包括: 將當前圖像幀臨時存儲在輔助緩沖器中; 檢測在先處理的圖像幀之后的特定圖像幀;以及 排列所述特定圖像幀和所述當前圖像幀。
15.根據(jù)權(quán)利要求12所述的方法,其中所述排列包括:如果基于所述標識信息在連續(xù)的圖像幀中丟失了特定的圖像幀,則復(fù)制所述丟失的圖像幀的前一圖像幀或下一圖像幀,并且排列所述復(fù)制的圖像幀來代替所述丟失的圖像幀。
【文檔編號】H04N5/91GK103686042SQ201310445236
【公開日】2014年3月26日 申請日期:2013年9月25日 優(yōu)先權(quán)日:2012年9月25日
【發(fā)明者】韓鐘欽, 金明源, 金汶洙, 蔡龍守, 金載童, 張孝植 申請人:三星電子株式會社