專利名稱：信息終端的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息終端，具體地說，涉及具有插值裝置的信息終端。
背景技術(shù)：
近年，帶照相機的信息終端正在普及，這樣的信息終端也作為用于圖像拍攝及閱覽、圖像通信的裝置而被靈活應(yīng)用。
例如，在帶照相機的便攜式電話中，用照相機拍攝的圖像，被作為附件與郵件正文一起發(fā)送，或者被用于實時通信(電視電話)，或者用戶自己打印輸出等，被使用于各個方面。而且，從其他人那里接收到的圖像、從服務(wù)器下載的圖像亦是如此。
因此，原本，能夠使上述拍攝圖像或接收圖像根據(jù)其用途，花費在畫質(zhì)或處理上的速度、即從運算量到處理存儲量進行變化，這樣的情況在實現(xiàn)更為優(yōu)良的使用方便性方面是優(yōu)選的。
例如，如圖5所示的那樣，在將拍攝圖像使用于實時通信時，設(shè)定為“處理速度優(yōu)先于畫質(zhì)”。而與此不同，在將拍攝圖像打印輸出等的情況下，“畫質(zhì)優(yōu)先于處理速度”的情形在利于用戶方面更為優(yōu)異。

發(fā)明內(nèi)容
然而，在以往的便攜式電話機中，普遍都停留在不管用戶的喜好和用途如何，僅提供固定的畫質(zhì)、固定的處理速度上。
而且，在以便攜式電話為代表的信息終端中，由于照相機的小型化、低耗電、低價格是必須的，因此難以安裝具有與上述功效相當?shù)倪m當?shù)膱D像處理的照相機。
進而，由于對于信息終端的處理器，小型化、低耗電、低價格也是必須的，因此，一般不嘗試通過使安裝在普通照相機中的所有圖像處理都轉(zhuǎn)移到該處理器，來保證照相機圖像處理的適應(yīng)性。
本發(fā)明是考慮以上的問題點而設(shè)計的，目的在于提供一種將對照相機和信息終端的處理器的變更控制在最低限度，在低成本和短時間的前提下，能夠根據(jù)使用狀況、在照相機和信息終端中的圖像拍攝處理所涉及的運算處理量、以及運算所需要的處理存儲量等各種條件，適當?shù)馗淖儺嬞|(zhì)、處理速度的信息終端。
而且，本發(fā)明的目的在于提供一種能夠減少照相機DSP簡化后的執(zhí)行處理所帶來的影響，謀求圖像的高畫質(zhì)化的信息終端。
并且，本發(fā)明的目的在于提供一種與安裝相同性能的照相機的信息終端相比，具有能夠根據(jù)使用狀況等而適當?shù)厥巩嬞|(zhì)提升一個檔次的功能的信息終端。
進而，本發(fā)明的目的在于提供一種既不變更安裝在信息終端上的照相機模塊的硬件結(jié)構(gòu)，也不增強照相機DSP的硬件規(guī)模，就能實現(xiàn)優(yōu)質(zhì)的圖像的信息終端。
為了解決上述課題，本發(fā)明的第1種信息終端的特征在于，包括對輸入圖像數(shù)據(jù)實施運算處理，生成輸出圖像數(shù)據(jù)的數(shù)據(jù)運算處理裝置；除去裝置，從上述輸出圖像數(shù)據(jù)，除去已對上述輸入圖像數(shù)據(jù)施加的數(shù)據(jù)運算處理的一部分或者全部；數(shù)據(jù)處理裝置，對通過上述除去裝置得到的數(shù)據(jù)，實施其他運算處理，重新構(gòu)成輸出圖像數(shù)據(jù)。
上述信息終端的輸入圖像數(shù)據(jù)，具體地說是基于在彩色照相機用的單板圖像傳感器中普遍使用的紅、藍、綠色的像素排列的RGB拜耳(Bayer)排列的彩色圖像數(shù)據(jù)。
上述信息終端的數(shù)據(jù)處理裝置，具體地說是用于插值運算處理的裝置，更具體地說是指分別對于R、G或B像素，對在傳感器輸出時分別被重疊在傳感器表面的彩色濾鏡除去了的G和B、R和B、R和G，以同色的相鄰像素的值為基礎(chǔ)，施以基于最鄰近法、直線近似法或者3維卷積法的插值處理的裝置。
在上述信息終端中，優(yōu)選的是，即使在對輸入圖像數(shù)據(jù)施以不可逆的處理，生成了輸出圖像數(shù)據(jù)的情況下，除去裝置仍然進行逆函數(shù)變換，除去對輸入數(shù)據(jù)所施加的插值運算處理的一部分或者全部。
在上述信息終端中，優(yōu)選的是，數(shù)據(jù)處理裝置還再次實施邊緣強調(diào)。
進而，本發(fā)明的第2種信息終端，其特征在于，包括照相機模塊，具有圖像傳感器，將上述圖像傳感器的輸出信號數(shù)字化，生成第1拜耳形式數(shù)據(jù)，根據(jù)上述第1拜耳形式數(shù)據(jù)，使用第1算法生成第1圖像數(shù)據(jù)，并發(fā)送上述第1圖像數(shù)據(jù)；主機模塊，具有主存儲裝置，接收從上述照相機模塊發(fā)送來的上述第1圖像數(shù)據(jù)，將上述所接收的上述第1圖像數(shù)據(jù)保存到上述主存儲裝置中，從上述主存儲裝置讀出上述第1圖像數(shù)據(jù)，從上述所讀出的上述第1圖像數(shù)據(jù)中抽取出第2拜耳形式數(shù)據(jù)，根據(jù)上述第2拜耳形式數(shù)據(jù)，使用第2算法生成第2圖像數(shù)據(jù)。
上述第1圖像數(shù)據(jù)或/和上述第2圖像數(shù)據(jù)，優(yōu)選為是RGB形式或者YUV形式。
上述第1圖像數(shù)據(jù)，優(yōu)選為是進行了數(shù)據(jù)壓縮的格式。
上述主機模塊，優(yōu)選具有向打印機輸出數(shù)據(jù)的數(shù)據(jù)輸出部，將第2圖像數(shù)據(jù)通過數(shù)據(jù)輸出部輸出到打印機。


圖1是作為本發(fā)明的實施方式的復(fù)算模塊(retrial module)外圍的功能框圖。
圖2是作為本發(fā)明的實施方式的復(fù)算模塊外圍的功能框圖。
圖3是作為本發(fā)明的實施方式的復(fù)算模塊外圍的功能框圖。
圖4是作為本發(fā)明的實施方式的復(fù)算模塊的流程圖。
圖5是表示信息終端的使用目的和要求項目的關(guān)系的圖。
圖6是用于說明插值運算處理的第1方法的圖。
圖7是用于說明插值運算處理的第2方法的圖。
圖8是用于說明插值運算處理的第3方法的圖。
圖9是帶照相機的便攜式電話的外觀圖。
圖10是帶照相機的便攜式電話的硬件結(jié)構(gòu)圖。
圖11是用于說明圖像數(shù)據(jù)的構(gòu)建·再構(gòu)建的圖。
圖12是照片拍攝模式的流程圖。
具體實施例方式
1.第1實施方式以下，參照

本發(fā)明的第1實施方式。
(1)將拍攝圖像編碼時的說明圖1是用于說明本發(fā)明的實施方式的功能框圖，僅示出構(gòu)成本發(fā)明的信息終端的模塊中的、為說明本發(fā)明而需要的模塊的圖。本實施方式，是將拍攝圖像編碼成預(yù)定的格式(在圖1的情況下為JPEG格式)進行保存、發(fā)送等時的情況。
照相機模塊103具有傳感器和照相機DSP。傳感器例如具有與藍色(B)、綠色(G)、紅色(R)光的3原色對應(yīng)的彩色濾鏡，在該濾鏡上，G被配置成方格花紋狀，R和B被依次配置成線狀。該配置在本說明書中稱為拜耳(Bayer)排列。從使用了拜耳排列的彩色濾鏡的照相機模塊輸出的圖像數(shù)據(jù)也具有拜耳排列。
當用戶將鏡頭101朝向被攝體按下快門后，便生成具有與由傳感器檢測出的被攝體對應(yīng)的拜耳排列的圖像數(shù)據(jù)，照相機DSP施加由顏色校正裝置、伽馬校正裝置、色插值裝置、包括邊緣強調(diào)處理及其他的畫質(zhì)修正裝置組成的運算處理。
此處，所謂這樣的運算處理是指，在取出具有拜耳排列的圖像數(shù)據(jù)的各個顏色成分、即R成分、G成分和B成分后，由顏色校正裝置調(diào)整各顏色成分的平衡，由伽馬校正裝置使用轉(zhuǎn)換式或查找表，分別單獨地轉(zhuǎn)換各顏色成分的各像素的值，由色插值裝置按各成分，對各像素位置所欠缺的顏色成分施加插值處理，使該像素成為具有其鄰近像素中相同顏色成分的像素，由此，將由重疊在圖像傳感器上的彩色濾鏡所過濾掉的顏色成分在所有像素中恢復(fù)。
此時，照相機DSP所具有的運算處理能力，由于追求芯片面積的最小化、小型化、低成本，而有可能導(dǎo)致無法進行需要較大的運算處理量或以用于圖像處理的行存儲器為代表的處理存儲量的復(fù)雜的運算，或者即使能夠進行運算也要很花費時間，損害與在后段接受處理結(jié)果的處理步驟的同步等問題。
因此，在該階段進行處理的顏色校正處理裝置、伽馬校正處理裝置、色插值處理裝置，成為盡量削減運算處理和處理存儲量的結(jié)構(gòu)。其中尤其對于作為除處理存儲量、運算處理量之外，在照相機圖像處理中也最需要資源的處理裝置之一的色插值處理裝置，例如，能夠舉出使用與鄰接像素的線形插值法來實現(xiàn)的例子。
同樣，對于處理資源的消耗相對較大的邊緣強調(diào)處理，為了使處理存儲量和運算量最小化，較多例子是使用具有在水平方向上長、在垂直方向上短的分支(tap)數(shù)的邊緣強調(diào)濾鏡，以更少的行存儲器數(shù)進行處理。
對于經(jīng)過了上述各種處理裝置的圖像數(shù)據(jù)，再施加若干畫質(zhì)修正處理，在完成一系列照相機處理后，在以圖像數(shù)據(jù)的存儲為目的時，實施JPEG等的壓縮處理，作為壓縮圖像數(shù)據(jù)(以下稱作處理完成數(shù)據(jù))輸出到存儲裝置111。另外，在以圖像數(shù)據(jù)的顯示為目的時，為了謀求最適宜于顯示裝置113的像素數(shù)、顏色數(shù)等的限制而施加畫質(zhì)修正處理，輸出到顯示裝置113。
復(fù)算模塊107，由除去裝置107a、色插值裝置107b及畫質(zhì)修正裝置107c構(gòu)成，從照相機模塊輸出的數(shù)據(jù)、即處理完成數(shù)據(jù)，被轉(zhuǎn)移給除去裝置107a。
復(fù)算模塊107啟動后，除去裝置107a除去由照相機DSP對處理完成數(shù)據(jù)施加的圖像處理運算的一部分或者全部。此處的除去處理，例如是對拜耳排列的圖像數(shù)據(jù)施加的色插值處理、和/或作為其他高畫質(zhì)處理的代表性步驟的邊緣強調(diào)處理。
從插值處理完成的數(shù)據(jù)除去該插值處理后，被復(fù)原為拜耳排列數(shù)據(jù)。此處所謂的除去該插值處理，是表示對于經(jīng)過一連串的照相機處理所獲得的彩色圖像的R、G、B各成分，施加間取處理，使得成為相當于圖像傳感器的拜耳排列的R、G、B排列的格式。
將由色插值處理生成的各像素的顏色成分復(fù)位(reset)一次，由此使安裝在照相機DSP中的色插值處理和高畫質(zhì)化處理的限制最小化。
之后，完成除去的數(shù)據(jù)被轉(zhuǎn)移給畫質(zhì)修正裝置107c，復(fù)算模塊107施加與該照相機DSP的色插值處理不同的插值運算處理，在必要的情況下還施加與包含在照相機DSP的高畫質(zhì)處理中的邊緣強調(diào)處理不同的邊緣強調(diào)處理，然后轉(zhuǎn)移給JPEG編碼裝置109。
作為其他插值運算處理的方法，可以采用需要更復(fù)雜的處理運算量、更多的處理行存儲器量的插值運算處理。對于包含在其他高畫質(zhì)化處理中的邊緣強調(diào)處理，同樣也可以采用需要更復(fù)雜的處理運算量、更多的處理行存儲器量的處理。
在本實施方式中，例如，由照相機DSP安裝基于最鄰近法的插值處理，用2行圖像數(shù)據(jù)的處理存儲器，不需要任何乘法運算地進行插值處理，在復(fù)算模塊107中，用5行圖像的處理存儲器，執(zhí)行基于由浮點乘法構(gòu)成的3維卷積法的插值處理。
進而，由照相機DSP進行的插值處理，安裝由圖像的每1行具有水平方向5像素的分支數(shù)的邊緣強調(diào)處理濾鏡構(gòu)成的高畫質(zhì)化處理，在復(fù)算模塊107中，安裝由圖像的每3行具有水平方向的5像素的分支、且根據(jù)各3×5像素內(nèi)的值的組合而切換濾鏡的類型的邊緣強調(diào)濾鏡構(gòu)成的高畫質(zhì)化處理。
當然，本發(fā)明并不限于這些特定的色插值處理或邊緣強調(diào)處理，是通用的處理結(jié)構(gòu)。
在本實施方式中，只在需要插值運算處理的復(fù)算時才啟動復(fù)算模塊107，在不需要復(fù)算時，從照相機模塊103直接將處理完成數(shù)據(jù)轉(zhuǎn)移給JPEG編碼裝置109。
在拍攝圖像后立刻顯示在安裝于信息終端上的顯示器畫面上的基礎(chǔ)上，通過目視來進行是否需要復(fù)算的判斷。
通過基于目視的判斷，在判斷為有些許模糊、或者邊緣部分由于抖動等而造成畫質(zhì)不完善時，通過信息終端的用戶菜單或者按鈕來進行復(fù)算模塊107的啟動。
當然，也可以通過使之具有自動判斷畫質(zhì)是否完善的處理裝置、根據(jù)自動判斷出的結(jié)果自動地啟動復(fù)算模塊107的處理裝置而構(gòu)成。
在復(fù)算模塊107中，既可以除以插值處理、邊緣強調(diào)處理為代表的高畫質(zhì)化處理外還使用與照相機DSP安裝的處理不同的處理，也可以僅對這一連串的處理的一部分使用不同的處理。
在以上的闡述中，雖然對在圖像拍攝后、實施基于JPEG的壓縮處理前，進行啟動復(fù)算模塊107的可能性的判斷，以及執(zhí)行被包含在復(fù)算模塊中的處理的實施方式進行了闡述，但如圖3所示的那樣，也可以將這一連串的處理施加到實施了JPEG壓縮后的圖像上。
即，也可以是對JPEG壓縮后的圖像數(shù)據(jù)，由JPEG解碼裝置305施以JPEG解碼處理，并進行向顯示器的顯示，執(zhí)行復(fù)算模塊307，將該結(jié)果作為處理完成數(shù)據(jù)，再次轉(zhuǎn)移給JPEG編碼裝置309。
(2)輸出解碼圖像時的說明圖2是用于說明本發(fā)明的其他實施方式的功能框圖，是在構(gòu)成本發(fā)明的信息終端的模塊中、只表示了說明本發(fā)明所需要的模塊的圖。本實施方式，是對以預(yù)定的格式(在圖2的情況下為JPEG格式)取得的圖像進行輸出、保存等時的情況。
此處，以JPEG解碼裝置205將JPEG圖像解碼后，實施再處理并輸出的情況為例進行說明。
復(fù)算模塊207由除去裝置207a、色插值裝置207b、及畫質(zhì)修正裝置207c構(gòu)成，從JPEG解碼裝置205將JPEG解碼后的圖像數(shù)據(jù)傳送給除去裝置207a。
復(fù)算模塊207啟動后，除去裝置207a除去對解碼數(shù)據(jù)施加的包括插值運算處理(作為具體例，如最鄰近插值)和邊緣強調(diào)處理的高畫質(zhì)化處理的一部分或全部。
然后，完成除去的數(shù)據(jù)被傳送給色插值裝置207b，色插值裝置207b施以其他插值運算處理和邊緣強調(diào)處理(作為具體例，是1行5分支的固定的邊緣強調(diào)濾鏡)，并傳送給顯示裝置213。
作為其他插值運算處理的方法，在本實施方式中，可以舉出適用直線近似法、3維卷積法的例子。進而，作為包含其他邊緣強調(diào)濾鏡的高畫質(zhì)化處理的方法，可以舉出對3行5分支的圖像的局部性的特征適用適當?shù)倪吘墢娬{(diào)濾鏡的例子。
在本實施方式中，在需要插值運算處理的復(fù)算時，啟動復(fù)算模塊207，在不需要復(fù)算時，從JPEG編碼裝置205直接將數(shù)據(jù)傳送給顯示裝置213。并且，也可以在需要邊緣強調(diào)處理的復(fù)算時，啟動復(fù)算模塊207，對插值處理和邊緣強調(diào)處理進行復(fù)算，采取同樣的處理步驟。
(3)復(fù)算模塊的處理動作圖4是用于說明復(fù)算模塊的處理動作的流程圖。
該模塊啟動后(S401)，首先，除去對輸入數(shù)據(jù)施加的包括插值運算處理、邊緣強調(diào)處理的高畫質(zhì)化處理的一部分或全部(S403)。
通常，這一連串的運算處理由多個步驟構(gòu)成，可以根據(jù)情況選擇是除去在所有的步驟中執(zhí)行過的處理，還是只除去在預(yù)定的步驟中執(zhí)行過的處理。
在對輸入數(shù)據(jù)施加的處理中，有近乎(substantially)可逆的處理部分和不可逆性高的處理部分，不可逆性高的處理部分(例如，使用最鄰近法對拜耳排列數(shù)據(jù)施以插值處理所獲得的圖像中的、被插值而形成的像素的顏色成分)，依賴于可逆性高的處理部分、即在向拜耳排列數(shù)據(jù)施加插值處理前原本存在著的各像素的值而被生成。
將被插值而形成的像素和被用于進行插值處理的像素、即相當于拜耳排列的像素的顏色成分分類，能夠從圖像數(shù)據(jù)自身復(fù)原原始的拜耳排列的數(shù)據(jù)的信息，因此能夠容易地除去插值運算處理。
另外，作為實際問題，在拜耳排列中存在若干的變形(variation)。因此，關(guān)于哪個像素的哪個成分，是相當于哪個拜耳排列的像素，還是被插值而形成的像素，在信息終端內(nèi)事先保持有照相機內(nèi)的圖像傳感器的拜耳排列的圖案，每次施以復(fù)算處理時都必須參照該圖案。
或者，使拜耳排列的圖案作為附帶在圖像數(shù)據(jù)中的照相機處理的參數(shù)而從照相機模塊輸出，在信息終端內(nèi)，設(shè)置將圖像數(shù)據(jù)和這樣的參數(shù)信息分開、抽取出拜耳排列的圖案的數(shù)據(jù)分析器(parser)，由此可以實現(xiàn)同樣的功能。
而且，如果要對另外的信息終端所拍攝并發(fā)送來的圖像數(shù)據(jù)、或者過去被拍攝并保存的圖像，實施同樣的處理，只需連同圖像數(shù)據(jù)一起具有保存了拜耳排列的圖案的文件格式以及附加信息文件等即可。
但是，即使沒有掌握所使用的拜耳排列的準確排列，假定是默認的拜耳排列，實施同樣的復(fù)算處理的情況下，也可以實現(xiàn)畫質(zhì)改善。
在除去修正的處理(S403)結(jié)束后，選擇新適用的修正運算處理的方法(S405)。方法選擇(S405)既可以是用戶手動進行，也可以是根據(jù)使用狀況·各種條件而由終端方自動地進行。
例如，此處，在對原本的圖像數(shù)據(jù)實施了最鄰近法等不太消耗運算處理量和處理存儲量的插值處理的情況下，在希望使畫質(zhì)提升時，執(zhí)行使所獲得的圖像更為自然的處理，例如可以使用直線近似法或者3維卷積法，執(zhí)行再插值運算處理(S409或者S411)。反之，在想使處理速度優(yōu)先于畫質(zhì)時等，可以使用最鄰近法執(zhí)行再插值運算處理(S407)。進而，在需要邊緣強調(diào)時執(zhí)行該處理(S415)并結(jié)束處理。
(4)關(guān)于在本實施方式中適用的插值法的說明參照圖6至圖8，對最鄰近法、直線近似法、3維卷積法進行說明。最鄰近法是，如圖6所示那樣，對于具有像素P1、P2、P3、P4的圖像數(shù)據(jù)，當在像素P2和P3之間生成像素P0時，將最鄰近的像素P2的像素值復(fù)制為該像素P0的像素值(參照圖6(b))。因此，運算處理量為零，執(zhí)行插值處理所需要的執(zhí)行行存儲器只需1行就足夠了。
另一方面，如圖8所示那樣，直線近似法是假設(shè)像素值直線變化而進行處理的方法，通過將前后的像素P2和P3的像素值根據(jù)兩像素的距離而進行比例分配，來計算插值對象P0的像素值。即，將像素間距標準化并表示，設(shè)到跟前的像素P2的距離為X，則像素P0的像素值，通過使用了以下式子所表示的鄰近的2像素P2和P3的加權(quán)加法而被表示出來。此處對1維方向進行了說明，但實際在圖像的水平、垂直方向上施加該處理。為得到P0，相當于P2、P3的2像素的像素在水平、垂直方向上都需要，因此最少需要圖像2行的處理存儲器。另外在下面，為了易于理解，在式中通過對應(yīng)的像素的符號來表示像素值。
Δp＝X(P3-P2)P0＝Δp+P2＝X(P3-P2)+P2＝(1-X)P2+XP3……(1)與此不同，3維卷積法是所謂的三維卷積(cubic convolution)，將像素值的變化近似為3次曲線進行處理。即在3維卷積法中，如圖7所示那樣，像素P0的像素值通過使用了以下式子所表示的鄰近4像素P1～P4的加權(quán)加法而被表示出來。此處對1維方向進行了說明，但實際對圖像的水平、垂直方向都實施該處理。為了得到P0，相當于P1、P2、P3、P4這4個像素的像素在水平、垂直方向上都需要，因此變成最少需要圖像4行的處理存儲器。
P0＝k1·P1+k2·P2+k3·P3+k4·P4……(2)此處，k1～k4為加權(quán)系數(shù)，通過下式的插值函數(shù)h(t)而求出。此處，t是表示各像素P1～P4與運算對象的像素P0的位置關(guān)系的變量t1～t4，使用上述距離X來表示。
(a+2)|t|3-(a+3)|t|2+1 0≤|t|＜1h(t)＝a|t|3-5a|t|2+8a|t|-4a 1≤|t|＜20 2≤|t|……(3)其中，t1＝1.0+Xt2＝+Xt3＝1.0-Xt4＝2.0-X最鄰近法，是只判斷與前后的像素之間的距離來設(shè)定像素值的處理，因此雖然處理速度極短，卻存在著畫質(zhì)較差的缺點。
與此不同，直線近似法與式(1)相比需要2次乘法計算和1次加法計算，因此與最鄰近法相比，運算處理量增加、處理速度慢，關(guān)于執(zhí)行行存儲器也最少需要2行，需要比最鄰近法更多的存儲量，但具有比最鄰近法畫質(zhì)優(yōu)良的特征。
另外，3維卷積法僅在加權(quán)加法計算的處理中就需要4次乘法計算和3次加法計算，從而在這3種方法中需要最多的運算次數(shù)，因此，具有雖然處理速度最慢，但是畫質(zhì)最為優(yōu)良的特征。
因此，在復(fù)算模塊的方法選擇(圖4的S405)中，通過從上述方法中選擇最適當?shù)姆椒ǎ梢詫崿F(xiàn)與使用狀況和用途相應(yīng)的畫質(zhì)和處理速度。
2.第2實施方式以下，參照

本發(fā)明的第2實施方式。
圖9是適用了本發(fā)明的帶照相機的便攜式電話的外觀圖。帶照相機的便攜式電話1，在表面具有顯示器2、數(shù)字鍵(ten key)3、功能按鈕4、天線5等，在背面具有照相機部11、電池蓋9等，還具有將這些保持為一個整體的殼體6。而且，具有用于與外部的打印機連接的數(shù)據(jù)輸出端子41。帶照相機的便攜式電話1如眾知的那樣，非常小巧輕便，為了可以用單手持握或放在手提袋中帶來帶去，是沒有任何不便的大小和重量。照相機部11具有鏡頭7和LED照明8，作為具有獨立的殼體10的照相機模塊而構(gòu)成。這樣使照相機部作為獨立的模塊的理由，是為了使照相機模塊具有通用性，使之能夠與其他的便攜式電話或PDA容易地組合。因此，本實施例中的帶照相機的便攜式電話1，可以分成照相機模塊11和其剩余的部分(主機模塊)。
功能按鈕4被用于電話的收發(fā)信息、拍攝時的快門按鈕等。而且，還被作為用于開始圖像數(shù)據(jù)的再構(gòu)建的按鈕而使用。在使用帶照相機的便攜式電話1打電話時，使用者從數(shù)字鍵3輸入電話號碼，按下功能按鈕4。另外在拍攝照片時，使用者以鏡頭7朝向?qū)ο蟮臓顟B(tài)拿著帶照相機的便攜式電話1，通過顯示器2確認由照相機模塊11拍攝的預(yù)覽圖像。此時如果按下功能按鈕4則進行拍攝，通過拍攝所生成的圖像數(shù)據(jù)被保存到帶照相機的便攜式電話1所具有的記錄裝置中。
使用圖10，說明適用了本發(fā)明的帶照相機的便攜式電話的硬件結(jié)構(gòu)和動作。帶照相機的便攜式電話1如以上說明的那樣，由照相機模塊11和主機模塊12構(gòu)成，照相機模塊11負責拍攝和圖像數(shù)據(jù)的生成，主機模塊12除了負責所生成的圖像數(shù)據(jù)的保存和顯示之外，還負責電話功能和日程表(schedule)功能等的PDA功能。
照相機模塊11，包括鏡頭7、LED照明8、固體攝像元件13、A/D轉(zhuǎn)換器14、圖像數(shù)據(jù)構(gòu)建器16、JPEG壓縮器17、總線18、數(shù)據(jù)接口19、控制接口20等。其中，圖像數(shù)據(jù)構(gòu)建器16、JPEG壓縮器17、總線18、數(shù)據(jù)接口19、控制接口20，作為照相機LS115以單芯片被提供。
對于固體攝像元件，可以使用例如CCD、CMOS傳感器等。固體攝像元件13，通過將透過鏡頭7的光轉(zhuǎn)換成電信號來進行拍攝。固體攝像元件13的輸出信號，通過A/D轉(zhuǎn)換器14被轉(zhuǎn)換成數(shù)字數(shù)據(jù)。將該數(shù)字數(shù)據(jù)稱作拜耳形式數(shù)據(jù)，但還沒有成為可以通過計算機顯示、或者可以通過打印機打印的圖像數(shù)據(jù)。
通過圖像數(shù)據(jù)構(gòu)建器16來構(gòu)建圖像數(shù)據(jù)。圖像數(shù)據(jù)構(gòu)建器16對于拜耳形式數(shù)據(jù)，首先進行鏡頭濃淡修正、白平衡等的原始圖像處理。接著從被施加了原始圖像處理的拜耳形式數(shù)據(jù)，分離成紅色(R)、綠色(G)、藍色(B)的成分，施以CFA(Color Filter Array)插值處理，構(gòu)建由RGB3平面構(gòu)成的RGB形式的圖像數(shù)據(jù)。
用于該CFA插值的算法，將極大地影響到所構(gòu)建的圖像數(shù)據(jù)的品質(zhì)。在能夠用在尺寸、成本、速度受到限制的照相機LSI中的算法中，很難奢望高品質(zhì)的圖像數(shù)據(jù)。圖像數(shù)據(jù)構(gòu)建器16還對完成的圖像數(shù)據(jù)進行輪廓強調(diào)、伽馬校正等處理。
最后，將圖像數(shù)據(jù)的格式從RGB形式向YUV形式轉(zhuǎn)換。構(gòu)成1幀的圖像數(shù)據(jù)，按照每1行或每數(shù)行地依次被生成，最終，從通過1次拍攝所獲得的固體攝像元件13的輸出信號，構(gòu)建1幀整體的圖像數(shù)據(jù)。圖像數(shù)據(jù)每生成一定量就依次被送往JPEG壓縮器17，進行JPEG壓縮，再從數(shù)據(jù)接口19發(fā)送到主機模塊12。
返回圖10說明主機模塊12的硬件結(jié)構(gòu)和動作。主機模塊12，由數(shù)據(jù)接口25、控制接口26、CPU30、總線24、暫時存儲裝置用接口31、暫時存儲裝置32、主存儲裝置用接口33、主存儲裝置34、顯示裝置用接口35、顯示裝置36、鍵盤用接口37、鍵盤38、打印機用接口40、基帶控制部22、天線部23等構(gòu)成。
其中，CPU30、總線24、接口25、26、31、33、35、37、40，作為應(yīng)用引擎21，以單芯片被提供。基帶控制部22負責與電話的發(fā)送信息和接收信息相關(guān)的功能，具有專用的CPU。應(yīng)用引擎21負責除電話的收發(fā)信以外的功能，除了從照相機模塊11傳送來的圖像數(shù)據(jù)的處理外，還負責鍵盤38的控制、游戲、音樂再現(xiàn)、計劃表等的功能。另外，CPU30通過控制接口26、20、總線18，不僅進行照相機模塊11的JPEG壓縮器17的控制，還可以進行圖像數(shù)據(jù)構(gòu)建器16中各處理的控制和LED照明8的ON/OFF、固體攝像元件的數(shù)據(jù)收集模式的變更、A/D轉(zhuǎn)換器14的參數(shù)控制等。鍵盤38包括數(shù)字鍵3、功能按鈕4等。
從照相機模塊11輸出的圖像數(shù)據(jù)，通過數(shù)據(jù)接口25被輸入到主機模塊12，被暫時保存到暫時存儲裝置32中。被用于暫時存儲裝置32的典型的存儲裝置，有SDRAM。之后CPU30從暫時存儲裝置32讀出圖像數(shù)據(jù)，并保存到主存儲裝置34中。主存儲裝置34具有即使切斷帶照相機的便攜式電話1的電源也繼續(xù)保存數(shù)據(jù)的記錄介質(zhì)，例如可以使用閃存、CF卡、SD卡。
本發(fā)明的帶照相機的便攜式電話，能夠在主機模塊中再構(gòu)建圖像數(shù)據(jù)。關(guān)于圖像數(shù)據(jù)的再構(gòu)建，在接收到來自用戶接口的指示后由CPU30進行。CPU30使圖像數(shù)據(jù)暫時返回到拜耳形式數(shù)據(jù)，重新使用高品質(zhì)的算法，構(gòu)建新的圖像數(shù)據(jù)。所構(gòu)建的高品質(zhì)的數(shù)據(jù)被保存到主存儲裝置34中，或者通過打印機用接口40被發(fā)送到打印機。
使用圖11說明圖像數(shù)據(jù)的構(gòu)建和再構(gòu)建的情況。
只將傳感器的輸出信號進行了數(shù)字化的數(shù)據(jù)，如標號1114所表示的那樣，由1個紅像素(R)、2個綠像素(G)、及1個藍像素(B)構(gòu)成的單位矩陣，具有多個反復(fù)的拜耳形式。通過從拜耳形式數(shù)據(jù)分離各色的成分，分別對其施以插值處理，來構(gòu)建RGB形式的圖像數(shù)據(jù)45。在標號1145中用○包圍的像素數(shù)據(jù)，與原來的拜耳形式數(shù)據(jù)相同，或者幾乎沒有變化。因此，只要從標號1145中取出用○包圍的像素數(shù)據(jù)，就能夠再構(gòu)建原來的拜耳形式數(shù)據(jù)。
當然，為了再構(gòu)建原來的拜耳形式數(shù)據(jù)，需要在RGB形式的圖像數(shù)據(jù)中，預(yù)先確定來自于原來的拜耳形式的數(shù)據(jù)的像素數(shù)據(jù)是哪一個。用于此的方法，可以考慮在插值階段進行確定的方法、在已構(gòu)建的圖像數(shù)據(jù)的首部(header)中嵌入信息的方法、以及其他各種各樣的方法。通過對重新構(gòu)成后的拜耳形式數(shù)據(jù)進行高品質(zhì)的原始圖像處理、插值處理、后處理，來生成新的圖像數(shù)據(jù)1147。
另外，在從JPEG壓縮了的RGB數(shù)據(jù)再構(gòu)建拜耳形式數(shù)據(jù)時，無法取出與原來的數(shù)據(jù)完全相同的拜耳形式數(shù)據(jù)。但是，使用高品質(zhì)的算法來再構(gòu)建圖像數(shù)據(jù)的優(yōu)勢，比損失一些數(shù)據(jù)的要大。
使用圖12說明根據(jù)本發(fā)明在帶照相機的便攜式電話1中進行的處理。
在進行拍攝時，首先操作用戶接口(S1201)。于是，在照相機模塊11中，圖像傳感器將光轉(zhuǎn)換成電信號(S1202)，從該電信號構(gòu)建圖像數(shù)據(jù)(S1203)。接著將所構(gòu)建的圖像數(shù)據(jù)通過JPEG方式進行壓縮(S1204)，并發(fā)送到主機模塊12(S1205)。主機模塊接收被發(fā)送來的圖像數(shù)據(jù)(S1206)，并保存到存儲裝置中(S1207)。
在打印所拍攝的圖像數(shù)據(jù)時，首先操作用戶接口(S1208)。于是主機模塊12從存儲裝置中讀出圖像數(shù)據(jù)(S1209)，將所讀出的圖像數(shù)據(jù)解壓縮(S1210)，從被解壓縮后的圖像數(shù)據(jù)抽取·再構(gòu)建拜耳形式數(shù)據(jù)(S1211)。進而主機12對被再構(gòu)建出的拜耳形式數(shù)據(jù)，重新使用高品質(zhì)的算法生成新的圖像數(shù)據(jù)(S1212)，將新生成的圖像數(shù)據(jù)輸出到打印機(S1213)。
以上，對本發(fā)明的實施方式進行了說明，但本發(fā)明并不限于此，例如在本實施方式中，作為插值運算處理的方法，使用了最鄰近法、直線近似法、3維卷積法，但也可以是取代這些方法、或者在這些方法的基礎(chǔ)上，再適用使用了例如樣條函數(shù)、貝塞爾(Bezier)函數(shù)等的插值運算處理。
另外，在本實施方式中，雖然說明了將本發(fā)明適用于圖像數(shù)據(jù)的處理的情況，但本發(fā)明并不限于此，也可以在轉(zhuǎn)換聲音數(shù)據(jù)的抽樣頻率的情況等、變更各種數(shù)據(jù)的抽樣間隔的情況下適用。
工業(yè)可利用性這樣，根據(jù)本發(fā)明，可以提供一種能夠以低成本且短時間、根據(jù)使用狀況和各種條件來改變畫質(zhì)·處理速度的信息終端。
而且，根據(jù)本發(fā)明，可以提供一種能夠減少照相機DSP中的簡化后的執(zhí)行處理所帶來的影響，謀求圖像的高畫質(zhì)化的信息終端。
并且，根據(jù)本發(fā)明，可以提供一種與使用相同性能的照相機的其他信息終端相比，能夠生成畫質(zhì)更優(yōu)良的圖像的信息終端。
進而，根據(jù)本發(fā)明，可以提供一種即使不變更照相機模塊、不增強照相機DSP，也能謀求圖像的優(yōu)質(zhì)化的信息終端。
權(quán)利要求
1.一種信息終端，具有對輸入圖像數(shù)據(jù)實施運算處理，生成輸出圖像數(shù)據(jù)的數(shù)據(jù)運算處理裝置，其特征在于，包括除去裝置，從上述輸出圖像數(shù)據(jù)，除去已對上述輸入圖像數(shù)據(jù)施加了的數(shù)據(jù)運算處理的一部分或者全部；數(shù)據(jù)處理裝置，對通過上述除去裝置得到的數(shù)據(jù)，實施其他運算處理，重新構(gòu)成輸出圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的信息終端，其特征在于具有由鏡頭、圖像傳感器、以及照相機DSP構(gòu)成的照相機模塊，上述照相機DSP，包括顏色校正裝置、伽馬校正裝置、色插值裝置、以及畫質(zhì)修正裝置，由上述照相機模塊生成上述輸入圖像數(shù)據(jù)，上述除去裝置，對由上述照相機DSP的上述色插值裝置進行插值后的像素實施間取處理，來除去插值運算處理，并使上述照相機DSP中的色插值處理和畫質(zhì)修正處理的影響最小化，再次實施任意的色插值處理和畫質(zhì)修正處理。
3.根據(jù)權(quán)利要求1至3的任一項所述的信息終端，其特征在于上述除去裝置，識別被重疊在上述圖像傳感器上的彩色濾鏡的排列圖案，將由上述插值運算處理生成的像素的顏色成分和被用于生成這些顏色成分的像素的顏色成分進行分類，有選擇地對由上述插值運算處理生成的像素的顏色成分進行間取處理。
4.一種數(shù)據(jù)處理方法，具有取得圖像數(shù)據(jù)的步驟、對所取得的上述圖像數(shù)據(jù)實施插值運算處理的步驟、輸出已進行插值運算處理的圖像數(shù)據(jù)的步驟，其特征在于，包括從上述已進行插值運算處理的圖像數(shù)據(jù)中除去上述插值運算處理的步驟；對除去上述插值運算處理后的數(shù)據(jù)實施其他插值運算處理的步驟。
5.一種信息終端，其特征在于，包括照相機模塊，具有圖像傳感器，將上述圖像傳感器的輸出信號數(shù)字化，生成第1拜耳形式數(shù)據(jù)，根據(jù)上述第1拜耳形式數(shù)據(jù)，使用第1算法生成第1圖像數(shù)據(jù)，并發(fā)送上述第1圖像數(shù)據(jù)；主機模塊，具有主存儲裝置，接收從上述照相機模塊發(fā)送來的上述第1圖像數(shù)據(jù)，將上述所接收的上述第1圖像數(shù)據(jù)保存到上述主存儲裝置中，從上述主存儲裝置讀出上述第1圖像數(shù)據(jù)，從上述所讀出的上述第1圖像數(shù)據(jù)中抽取出第2拜耳形式數(shù)據(jù)，根據(jù)上述第2拜耳形式數(shù)據(jù)，使用第2算法生成第2圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的信息終端，其特征在于上述第1圖像數(shù)據(jù)或/和上述第2圖像數(shù)據(jù)，是RGB形式或YUV形式。
7.根據(jù)權(quán)利要求5所述的信息終端，其特征在于上述第1圖像數(shù)據(jù)是進行了數(shù)據(jù)壓縮的格式。
8.根據(jù)權(quán)利要求5至7中任一項所述的信息終端，其特征在于上述主機模塊，具有向打印機輸出數(shù)據(jù)的數(shù)據(jù)輸出部，將上述第2圖像數(shù)據(jù)通過上述數(shù)據(jù)輸出部輸出到上述打印機。
全文摘要
提供一種能夠進行與使用狀況和使用目的相應(yīng)的圖像處理的信息終端。復(fù)算模塊(107)啟動后，除去裝置(107a)除去對拜耳型模塊施加的插值運算處理的一部分或全部。之后，已進行了除去的數(shù)據(jù)被傳送給色插值裝置(107b)，施加其他顏色插值運算處理后傳送給畫質(zhì)修正裝置(107c)。畫質(zhì)修正裝置(107c)實施其他畫質(zhì)修正處理，并傳送給JPEG編碼裝置(109)。
文檔編號H04N9/04GK1675935SQ0381859
公開日2005年9月28日 申請日期2003年6月27日 優(yōu)先權(quán)日2002年6月28日
發(fā)明者渥美榮司, 進一暢 申請人:諾基亞公司