專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對(duì)從圖像輸入單元所輸入的圖像和 與用戶所輸入的內(nèi)容相對(duì)應(yīng)的手寫(xiě)圖像進(jìn)行合成的圖像處理設(shè) 備和圖像處理方法。本發(fā)明尤其涉及一種用于將手寫(xiě)圖像和可 以是預(yù)定數(shù)字圖像數(shù)據(jù)的固定圖像與背景圖像合成的圖像處理 設(shè)備和圖像處理方法。
背景技術(shù)：
近年來(lái)，隨著數(shù)字照相機(jī)、掃描器和打印機(jī)等設(shè)備的普及 和高性能化，已提出了不僅將數(shù)字照片圖像打印在記錄薄片上 而且還以各種方式使用數(shù)字照片圖像的多種技術(shù)。
這類技術(shù)的例子包括用于允許將手寫(xiě)的文本和繪圖寫(xiě)入 照片圖像中的處理技術(shù)、以及用于將插像等數(shù)字圖像數(shù)據(jù) 與照片圖像進(jìn)行合成的合成技術(shù)。利用這些技術(shù)，例如，可以 在由數(shù)字照相機(jī)所拍攝的照片圖像中寫(xiě)入消息并創(chuàng)建合成有裝 飾框的明信片。
作為用于將手寫(xiě)的文本和繪圖與從數(shù)字照相機(jī)或掃描器 等圖像輸入設(shè)備輸入的照片圖像進(jìn)行合成的技術(shù)，已提出了數(shù) 種方法。
美國(guó)專利申請(qǐng)公開(kāi)2005/0213174號(hào)公開(kāi)了 一種打印手寫(xiě)薄 片的技術(shù)，其中在該手寫(xiě)薄片上將用作輸入樣品的插像與 照片圖像進(jìn)行合成。在用戶在打印的手寫(xiě)薄片的輸入?yún)^(qū)域中輸 入文本和繪圖之后，讀取該手寫(xiě)薄片，并且將與手寫(xiě)的文本和 繪圖相對(duì)應(yīng)的圖像(以下稱之為"手寫(xiě)圖像")與照片圖像進(jìn)行合 成。上述文獻(xiàn)還公開(kāi)了如下方法在手寫(xiě)薄片的輸入?yún)^(qū)域內(nèi)打 印照片圖像，從而使得用戶可以看見(jiàn)輸入的文本和繪圖將位于 照片圖像中的什么地方。為了讀取利用該方法所生成的手寫(xiě)薄 片，可能必需區(qū)分手寫(xiě)圖像和打印的背景圖像以提取手寫(xiě)的文 本和繪圖。因此，淡淡地打印背景圖像，并且設(shè)置用于讀取手 寫(xiě)薄片的亮度的閾值。因此，在所讀取的圖像中，將亮度低于 閾值的部分確定為用戶手寫(xiě)的部分。
作為用于合成插像的方法，日本特開(kāi)2000-295565號(hào)公 報(bào)公開(kāi)了如下方法讀出記錄在存儲(chǔ)卡等記錄介質(zhì)中的框圖像， 并將該框圖像與照片圖像進(jìn)行合成以對(duì)其進(jìn)行裝飾，然后進(jìn)行 打印。
利用上述公知技術(shù)，可以將插像與照片圖像合成以形 成合成圖像，并且可以對(duì)用戶輸入的手寫(xiě)圖像與合成圖像進(jìn)行 合成。為了允許用戶在檢查合成結(jié)果圖像的同時(shí)輸入手寫(xiě)圖像， 可以使用上述方法在手寫(xiě)薄片的輸入?yún)^(qū)域中打印插像和淡 淡打印的背景圖像(以下稱之為"參考圖像")。
為了讀取該手寫(xiě)薄片，和手寫(xiě)圖像的情況一樣，可能必須 與參考圖像分開(kāi)提取打印插像的區(qū)域的圖像。然而，如果 插像的一部分的亮度大于閾值，則在讀取過(guò)程中可能不提 取該部分的圖像。這可能導(dǎo)致最終打印的插圖部分缺失的問(wèn)題。 因此，插像的亮度可能必須低于所設(shè)置的閾值。這意味著 對(duì)于插像一般不能使用高亮度顏色。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，提供一種圖像處理設(shè)備，其輸出 通過(guò)對(duì)背景圖像和從通過(guò)讀取記錄薄片所獲得的圖像中提取的 區(qū)域進(jìn)行合成而形成的圖像，所述圖像處理設(shè)備包括打印單元，用于在記錄薄片上打印圖像；讀取單元，用于讀取記錄薄 片；轉(zhuǎn)換單元，用于將所述背景圖像轉(zhuǎn)換成參考圖像，所述參 考圖像的內(nèi)容與所述背景圖像的內(nèi)容相同，但是所述參考圖像 的亮度比所述背景圖像的亮度高；打印控制單元，用于使所述 打印單元將第 一 圖像作為用戶要進(jìn)行寫(xiě)入的輸入?yún)^(qū)域打印在記 錄薄片上，所述第一圖像是通過(guò)將固定圖像疊加在由所述轉(zhuǎn)換 單元獲得的所述參考圖像上而形成的合成圖像；提取單元，用 于從第二圖像中提取亮度低于預(yù)定閾值的區(qū)域的圖像，所述第
二圖像對(duì)應(yīng)于當(dāng)所述讀取單元讀取具有進(jìn)行了寫(xiě)入的所述輸入 區(qū)域的記錄薄片時(shí)獲得的圖像中所包含的所述輸入?yún)^(qū)域；獲取 單元，用于獲取掩模數(shù)據(jù)，所述掩模數(shù)據(jù)用于提取與所述固定 圖像相對(duì)應(yīng)的區(qū)域的圖像；以及輸出單元，用于輸出通過(guò)將基 于所述提取單元和由所述獲取單元獲得的所述掩模數(shù)據(jù)從所述 第二圖像中提取的圖像疊加在所述背景圖像上而形成的合成圖 像。
根據(jù)本發(fā)明的另一個(gè)方面，提供一種圖像處理方法，用于 輸出通過(guò)對(duì)背景圖像和從通過(guò)讀取記錄薄片所獲得的圖像中提 取的區(qū)域進(jìn)行合成而形成的圖像，所述圖像處理方法包括將 所述背景圖像轉(zhuǎn)換成參考圖像，所述參考圖像的內(nèi)容與所述背 景圖像的內(nèi)容相同，但是所述參考圖像的亮度比所述背景圖像 的亮度高；向打印裝置輸出第一圖像，所述第一圖像是通過(guò)將 固定圖像疊加在所述參考圖像上而形成的合成圖像；使所述打 印裝置將所述第一圖像作為用戶要進(jìn)行寫(xiě)入的輸入?yún)^(qū)域打印在 記錄薄片上；獲取用于提取與所述固定圖像相對(duì)應(yīng)的區(qū)域的圖 像的掩模數(shù)據(jù)；以及輸出通過(guò)將如下圖像疊加在所述背景圖像 上而形成的合成圖像亮度低于預(yù)定閾值且包括在與當(dāng)讀取裝 置讀取具有進(jìn)行了寫(xiě)入的所述輸入?yún)^(qū)域的記錄薄片時(shí)所獲得的圖像中所包含的所述輸入?yún)^(qū)域相對(duì)應(yīng)的第二圖像中的區(qū)域的圖
像；以及基于所述掩模數(shù)據(jù)從所述第二圖像中提取的圖像。
通過(guò)以下參考附圖對(duì)典型實(shí)施例的說(shuō)明，本發(fā)明的其它特 征將顯而易見(jiàn)。


圖1是示出根據(jù)本發(fā)明典型實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu) 的框圖。
圖2示出根據(jù)本發(fā)明典型實(shí)施例的手寫(xiě)薄片的例子。 圖3是示出用于打印手寫(xiě)薄片的處理過(guò)程的例子的流程圖。
圖4是示出讀取用戶填充的手寫(xiě)薄片并打印通過(guò)對(duì)背景圖 像、插像和手寫(xiě)圖像進(jìn)行合成而形成的圖像的處理過(guò)程的 例子的流程圖。
圖5示出在圖3的步驟S003中顯示的插像選擇畫(huà)面的 例子。
圖6示出參考圖像的例子。
圖7示出用于對(duì)插像和參考圖像進(jìn)行合成的處理的例子。
圖8示出用于切出輸入?yún)^(qū)域圖像的示例處理(圖4的步驟 S103)。
圖9A ~ 9C示出手寫(xiě)圖像掩模數(shù)據(jù)的生成的例子。 圖IO示出用于根據(jù)插像的數(shù)字圖像數(shù)據(jù)生成插 像掩模數(shù)據(jù)的處理(圖4的步驟S107)的例子。
圖11A和11B示出用于收縮插像掩模數(shù)據(jù)的處理的例子。
圖12示出用于通過(guò)對(duì)手寫(xiě)圖像掩模數(shù)據(jù)和插像掩模數(shù)據(jù)進(jìn)行合成來(lái)生成合成掩模數(shù)據(jù)的示例處理(圖4的步驟 S108)。
圖13示出使用合成掩模數(shù)據(jù)從輸入?yún)^(qū)域圖像提取圖像(圖4 的步驟S109)并對(duì)所提取的圖像和背景圖像進(jìn)行合成(圖4的步 驟S110)的處理的例子。
圖14示出用于生成合成結(jié)果圖像的處理的例子。
圖15示出所打印的合成結(jié)果圖像的例子。
具體實(shí)施例方式
圖l是示出根據(jù)本發(fā)明典型實(shí)施例的圖像處理設(shè)備l的結(jié) 構(gòu)的框圖。
根據(jù)本實(shí)施例，作為微處理器的中央處理單元(CPU)2根據(jù) 存儲(chǔ)在程序存儲(chǔ)器4中的控制程序和作為隨機(jī)存取存儲(chǔ)器 (RAM)的數(shù)據(jù)存儲(chǔ)器5的內(nèi)容來(lái)動(dòng)作。程序存儲(chǔ)器4和數(shù)據(jù)存儲(chǔ) 器5通過(guò)內(nèi)部總線3連接到CPU2。例如，當(dāng)CPU2執(zhí)行存儲(chǔ)在程 序存儲(chǔ)器4等計(jì)算機(jī)可讀記錄介質(zhì)中的具有計(jì)算機(jī)可執(zhí)行指令 的控制程序時(shí)，可以實(shí)現(xiàn)下面所述的處理。
CPU 2通過(guò)讀取控制器6操作用作讀取單元的讀取機(jī)構(gòu)7。 CPU 2將由包括在讀取機(jī)構(gòu)7中的圖像傳感器(未示出)讀取的原 始圖像數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)器5中的讀取緩沖存儲(chǔ)器8中。
通過(guò)數(shù)據(jù)轉(zhuǎn)換器9讀出存儲(chǔ)在讀取緩沖存儲(chǔ)器8中的原始 圖像數(shù)據(jù)并將原始圖像數(shù)據(jù)轉(zhuǎn)換成打印數(shù)據(jù)，并且將其存儲(chǔ)在 數(shù)據(jù)存儲(chǔ)器5中的打印緩沖存儲(chǔ)器10中。CPU2通過(guò)打印控制器 11操作用作打印單元的打印機(jī)構(gòu)12。同時(shí)，CPU 2讀出存儲(chǔ)在 打印緩沖存儲(chǔ)器10中的打印數(shù)據(jù)，并且將該打印數(shù)據(jù)發(fā)送至將 打印數(shù)據(jù)打印在記錄薄片上的打印機(jī)構(gòu)12。從而可以實(shí)現(xiàn)復(fù)制 操作。數(shù)據(jù)存儲(chǔ)器5包括圖像存儲(chǔ)器13,在圖像存儲(chǔ)器13中，可 以臨時(shí)存儲(chǔ)和編輯由讀取機(jī)構(gòu)7所讀取的原始圖像數(shù)據(jù)和各種 類型的圖像數(shù)據(jù)。數(shù)據(jù)轉(zhuǎn)換器9讀出存儲(chǔ)在圖像存儲(chǔ)器13中的圖 像數(shù)據(jù)，并且將讀出的圖像數(shù)據(jù)轉(zhuǎn)換成打印數(shù)據(jù)。因此，可以 實(shí)現(xiàn)復(fù)制操作以及照片圖像和其它的打印。
在CPU 2的控制下，可以根據(jù)操作模式和用戶設(shè)置等操作 狀態(tài)，動(dòng)態(tài)地改變數(shù)據(jù)存儲(chǔ)器5中的讀取緩沖存儲(chǔ)器8、打印緩 沖存儲(chǔ)器10和圖像存儲(chǔ)器13之間的容量分配。
數(shù)據(jù)轉(zhuǎn)換器9還能夠進(jìn)行圖像分析、縮略圖生成、縮略圖 校正和輸出圖像校正等圖像處理。
可以將要合成的固定圖像數(shù)據(jù)與用于控制CPU 2的控制程 序一起預(yù)先存儲(chǔ)在程序存儲(chǔ)器4中。固定圖像數(shù)據(jù)的例子包括用 于裝飾照片圖像的插像數(shù)據(jù)等。
圖像處理設(shè)備1包括操作面板16,其包括發(fā)光二極管(LED) 顯示器或液晶顯示器(LCD)等顯示單元14以及具有各種按鍵的 操作單元15。操作面板16允許操作者進(jìn)行各種輸入操作，并顯 示操作狀態(tài)。
存儲(chǔ)卡控制器17控制對(duì)作為記錄介質(zhì)的存儲(chǔ)卡18的訪問(wèn)， 并且對(duì)存儲(chǔ)在存儲(chǔ)卡18中的圖像數(shù)據(jù)等數(shù)據(jù)進(jìn)行讀寫(xiě)。從而， 可以讀出存儲(chǔ)在存儲(chǔ)卡18中的照片圖像數(shù)據(jù)，將其存儲(chǔ)在圖像 存儲(chǔ)器13中，將其轉(zhuǎn)換成打印數(shù)據(jù)，并且進(jìn)行打印。
接口控制器19控制通過(guò)接口 20的通信。接口控制器19將數(shù) 據(jù)發(fā)送至從外部與圖像處理設(shè)備1連接的外部設(shè)備21,并從外部 設(shè)備21接收數(shù)據(jù)。外部設(shè)備21的例子包括個(gè)人計(jì)算機(jī)(PC)。圖 像處理設(shè)備1與P C連接，接收由運(yùn)行在P C上的打印機(jī)驅(qū)動(dòng)程序 所生成的打印數(shù)據(jù)，并且打印該打印數(shù)據(jù)?？梢詫?shù)字照相機(jī) 等連接到圖像處理設(shè)備l,從而使得能夠讀出照片圖像數(shù)據(jù)，將照片圖像數(shù)據(jù)存儲(chǔ)在圖像存儲(chǔ)器13中，將照片圖像數(shù)據(jù)轉(zhuǎn)換成 打印數(shù)據(jù)，并且進(jìn)行打印。
通信控制器22包括調(diào)制解調(diào)器(MODEM)和網(wǎng)絡(luò)控制單元 (NCU)。通信控制器22與模擬通信線路23連接，并且對(duì)通信線 路23進(jìn)行呼出和呼入控制等線路控制。
圖3是示出用于打印手寫(xiě)薄片的處理過(guò)程的例子的流程 圖。例如，當(dāng)用戶從顯示在操作面板16上的菜單中選擇"手寫(xiě)薄 片的打印"時(shí)，可以通過(guò)圖像處理設(shè)備1的CPU 2寺丸行該處理。
在步驟S 0 01,讀取存儲(chǔ)在存儲(chǔ)卡18中的背景圖像的圖像數(shù) 據(jù)文件。然后，在顯示單元14上顯示允許用戶選擇背景圖像的 選擇畫(huà)面。在步驟S002，判斷是否通過(guò)用戶對(duì)操作單元15的按 鍵操作選擇了背景圖像。
如果判斷為選擇了背景圖像(步驟S002為"是")，則處理進(jìn) 入步驟S003。在步驟S003,讀取存儲(chǔ)在程序存儲(chǔ)器4中的插圖 圖像的圖像數(shù)據(jù)文件，并將其顯示在顯示單元14上。通過(guò)對(duì)操 作單元15的按鍵操作，用戶可以確定是否要合成插像，并 且可以選擇要合成的插像。后面將參考圖5進(jìn)行詳細(xì)說(shuō)明。 如果沒(méi)有選擇背景圖像(步驟S002為"否")，則處理返回到步驟 SOOl。
在步驟S004，判斷在步驟S003中用戶是否選擇了要合成的 插像。
如果判斷為用戶沒(méi)有選擇任何插像(步驟S004為 "否")，則處理進(jìn)入步驟S005。在步驟S005,基于步驟S002中所 選擇的背景圖像，生成參考圖像。然后，將所生成的參考圖像 存儲(chǔ)在圖像存儲(chǔ)器13中。
參考圖像是通過(guò)對(duì)照片圖像等背景圖像進(jìn)行轉(zhuǎn)換以增大 背景圖像的亮度所獲得的圖像。換句話說(shuō)，參考圖像是通過(guò)使的圖像。圖6示出參考圖像的例子。 通過(guò)對(duì)背景圖像3 8進(jìn)行轉(zhuǎn)換從而使背景圖像3 8的顏色變淡來(lái)獲 得參考圖像35。后面將詳細(xì)說(shuō)明用于生成參考圖像的處理。
返回參考圖3，如果在步驟S004中判斷為用戶選擇了插圖 圖像(步驟S004為"是")，則處理進(jìn)入步驟S006,在步驟S006, 以與步驟S005中的方式相同的方式生成參考圖像。
在步驟S007,對(duì)步驟S003中所選擇的插像和步驟S006 中所生成的參考圖像進(jìn)行合成以形成合成圖像。
圖7示出用于對(duì)插像和參考圖像進(jìn)行合成的處理。這 里，判斷插像36中的各像素?cái)?shù)據(jù)是否是透明信息。如果該 像素?cái)?shù)據(jù)不是透明信息，則使用參考圖像35中相應(yīng)的像素?cái)?shù)據(jù)。
在圖3的步驟S008，生成步驟S005中所獲得的參考圖像的 打印數(shù)據(jù)或步驟S 0 0 7中所獲得的合成圖像的打印數(shù)據(jù)。與該打 印數(shù)據(jù)一起，生成用戶用以進(jìn)行各種設(shè)置的設(shè)置區(qū)域的打印數(shù) 據(jù)和表示其它設(shè)置的條形碼的打印數(shù)據(jù)。例如，條形碼包括下 面的信息表示記錄用戶在步驟S002所選擇的背景圖像的目的 地的信息、關(guān)于用戶在步驟S004中是否選擇了要合成的插 像的信息以及要合成的插像的類型。
然后，在步驟S009，控制打印機(jī)構(gòu)12從而使得基于步驟 S008中所生成的打印數(shù)據(jù)打印手寫(xiě)薄片。
圖5示出圖3的步驟S003中所顯示的插像選擇畫(huà)面的 例子。
讀出存儲(chǔ)在程序存儲(chǔ)器4中的插像36，并且將其顯示 在顯示單元14上。用戶可以通過(guò)按下操作單元15的方向鍵，改 變顯示單元14上的插像36。如果在顯示插像36時(shí)按下 了操作單元15的OK按鍵，則在圖3的步驟S004中判斷為選擇了 所顯示的插像36。另一方面，如果選擇了顯示單元14上的"無(wú)插圖"并且按下了 OK按鍵，則在圖3的步驟S004中判斷為不 合成插像。
接著，將詳細(xì)說(shuō)明用于根據(jù)背景圖像生成參考圖像的處理 (圖3的步驟S005和步驟S006)。如果用戶在圖3的步驟S002中選 擇了背景圖像，則將所選擇的背景圖像的數(shù)據(jù)文件存儲(chǔ)在圖像 存儲(chǔ)器13中。
該處理首先包括獲得存儲(chǔ)在圖像存儲(chǔ)器13中的背景圖像
的亮度凄丈據(jù)(Rorg、 Gorg和Borg)。 Rorg、 Gorg和Borg中的每一
個(gè)均是值為0 255的亮度數(shù)據(jù)。
然后，使用下面的公式(1) (3)進(jìn)行灰度轉(zhuǎn)換以獲得參考圖
像的像素?cái)?shù)據(jù)(Rref、 Gref和Bref)。
Rref = (255-RmiN)+((Rorg/255)*RmiN) ... (1)
Gref = (255-GmiN)+((Gorg/255)*GmiN)…(2)
Bref = (255-BmiN)+((Borg/255)*BmiN)…(3)
通過(guò)對(duì)背景圖像38的每一像素?cái)?shù)據(jù)進(jìn)行該處理，可以生成
亮度被限制為大于或等于(RmiN、 GmiN和BmiN)的值的參考圖像。
圖2示出根據(jù)本發(fā)明典型實(shí)施例的手寫(xiě)薄片的例子?？梢?根據(jù)圖3的流程圖打印手寫(xiě)薄片。
手寫(xiě)薄片28具有條形碼30，如上所述，條形碼30包括表示 記錄背景圖像的目的地的信息、關(guān)于是否要合成插像的信 息以及要合成的插像的類型。
設(shè)置區(qū)域31位于手寫(xiě)薄片2 8上條形碼3 0的右側(cè)。通過(guò)填充 設(shè)置區(qū)域31中的橢圓，用戶可以指定打印的設(shè)置。在圖2中，通 過(guò)填充設(shè)置區(qū)域31內(nèi)的薄片大小選擇橢圓32中的一個(gè)，用戶可 以選擇打印用記錄薄片的大小。類似地，通過(guò)填充布局選擇橢 圓33中的一個(gè)，用戶可以選擇打印用記錄薄片的布局。輸入?yún)^(qū)域34是用戶輸入要與背景圖像合成的文本和繪圖 的區(qū)域。由用戶寫(xiě)入輸入?yún)^(qū)域34中的文本37。在輸入?yún)^(qū)域34中 輸入的這類文本和繪圖形成手寫(xiě)圖像。在輸入?yún)^(qū)域34中打印在 圖3的步驟S007中通過(guò)對(duì)參考圖像35和插像36進(jìn)行合成而 形成的合成圖像。
圖4是示出讀取用戶所填充的手寫(xiě)薄片并且打印通過(guò)對(duì)背 景圖像、插像和手寫(xiě)圖像進(jìn)行合成而形成的圖像的處理過(guò) 程的例子的流程圖。當(dāng)用戶從顯示在操作面板16上的菜單中選 捧例如"薄片讀耳又、圖^象合成和打印"時(shí)，可以通過(guò)圖^f象處理設(shè)
備1的CPU 2執(zhí)行圖4所示的處理例子。
在步驟SIOI,通過(guò)控制讀取機(jī)構(gòu)7讀取手寫(xiě)薄片。將所讀 取的圖像存儲(chǔ)在讀取緩沖存儲(chǔ)器8中作為手寫(xiě)薄片圖像。
在步驟S102，分析步驟S101中所獲得的手寫(xiě)薄片圖像，從 而獲得關(guān)于打印的信息。
例如，可以從所讀取的手寫(xiě)薄片圖像切出圖2所示的條形
碼30,并且分析條形碼30。因此，可以獲得關(guān)于記錄有用戶所 選擇的背景圖像的記錄薄片的信息和插像的類型。另外，
可以切出圖2所示的設(shè)置區(qū)域31,并且分析薄片大小選擇橢圓32 的填充狀態(tài)，從而獲得關(guān)于所選擇的薄片大小的信息。另外， 可以分析布局選擇橢圓33的填充狀態(tài)，從而可以獲得關(guān)于所選 擇的打印布局的信息。
在步驟S103，從步驟S101中所獲得的手寫(xiě)薄片圖像切出與 圖2所示的輸入?yún)^(qū)域34相對(duì)應(yīng)的圖像(輸入?yún)^(qū)域圖像)。后面將參 考圖8進(jìn)行詳細(xì)說(shuō)明。
在步驟S104，生成用于從輸入?yún)^(qū)域圖像中提取手寫(xiě)圖像的 手寫(xiě)圖像掩模數(shù)據(jù)。后面將參考圖9A 9C進(jìn)行詳細(xì)說(shuō)明。
在步驟S105,基于步驟S102中對(duì)條形碼30的分析，判斷用戶在用于打印手寫(xiě)薄片的處理(參見(jiàn)圖3)中是否選擇了插像。
如果判斷為沒(méi)有選擇插像(步驟S105為"否")，則處理 進(jìn)入步驟S106。在步驟S106，使用步驟S104中所生成的手寫(xiě)圖 像掩模數(shù)據(jù)，從輸入?yún)^(qū)域圖像中提取手寫(xiě)圖像。
另 一方面，如果在步驟S105中判斷為選擇了插像(步驟 S105為"是")，則處理進(jìn)入步驟S107。在步驟S107,才艮據(jù)用戶在 用于打印手寫(xiě)薄片的處理(參見(jiàn)圖3)中所選擇的插像的數(shù) 字圖像數(shù)據(jù)，生成插像掩模數(shù)據(jù)。后面將參考圖10對(duì)步驟 S107中的處理進(jìn)4亍詳細(xì)i兌明。
在步驟S108,對(duì)步驟S104中所生成的手寫(xiě)圖像掩模數(shù)據(jù)和 步驟S107中所生成的插像掩模數(shù)據(jù)進(jìn)行合成，以形成合成 掩模數(shù)據(jù)。
在步驟S109,使用步驟S108中所獲得的合成掩模數(shù)據(jù)，從 輸入?yún)^(qū)域圖像中提取圖像。
在步驟SllO,從存儲(chǔ)卡18讀出用戶在圖3的步驟S002所選 擇的背景圖像，并且將其與在步驟S106或S109中所提取的圖像 進(jìn)行合成，以形成圖像(以下稱之為"合成結(jié)果圖像")。將參考 圖14對(duì)此進(jìn)行說(shuō)明。
圖14示出用于生成合成結(jié)果圖像的處理的例子。對(duì)于被確 定為與手寫(xiě)部分或插圖部分相對(duì)應(yīng)的像素，使用步驟S109中所
提取的圖像的像素?cái)?shù)據(jù)。對(duì)于被確定為與手寫(xiě)部分或插圖部分 均不對(duì)應(yīng)的像素，也就是說(shuō)，對(duì)于被確定為與背景部分相對(duì)應(yīng) 的像素，使用所選擇的背景圖像38的像素?cái)?shù)據(jù)。從而，生成對(duì) 背景圖像、插像和手寫(xiě)圖像進(jìn)行合成的合成結(jié)果圖像。
返回參考圖4，在步驟Slll，基于步驟S102中所獲得的關(guān) 于所選擇的薄片大小和布局的信息，放大或縮小合成結(jié)果圖像。然后，在步驟S112，通過(guò)控制打印機(jī)構(gòu)12，在記錄薄片上打印 步驟S111中放大或縮小后的合成結(jié)果圖像。圖15示出打印的合 成結(jié)果圖像的例子。如圖所示，可以以各種布局打印合成結(jié)果 圖像。
現(xiàn)在，將說(shuō)明用以根據(jù)輸入?yún)^(qū)域圖像生成手寫(xiě)圖像掩模數(shù) 據(jù)的處理(圖4的步驟S104)。
根據(jù)實(shí)施例，CPU 2獲得輸入?yún)^(qū)域圖像的各像素的亮度數(shù) 據(jù)(RScaN、 GScaN和BScaN)，以判斷各〗象素的亮度數(shù)據(jù)是否大 于預(yù)定閾值(Rth、 Gth和Bth)。也就是說(shuō)，CPU 2判斷下面的所 有不等式(4)~ (6)是否都成立
RScaN > Rth…(4)
GScaN 〉 Gth ... (5)
BScaN > Bth…(6)
如果以上所有不等式(4)~ (6)均成立，則CPU2判斷為輸 入?yún)^(qū)域圖像中感興趣的像素的亮度大于預(yù)定水平，并且感興趣 的像素與背景部分相對(duì)應(yīng)。另一方面，如果以上不等式(4) (6) 中任一個(gè)不成立，則CPU 2判斷為感興趣的像素的亮度小于 或等于預(yù)定水平，并且感興趣的像素與手寫(xiě)部分相對(duì)應(yīng)。
這里，基于RGB格式的亮度數(shù)據(jù)進(jìn)行關(guān)于亮度是否大于預(yù) 定值的判斷。然而，可以參考針對(duì)通過(guò)轉(zhuǎn)換成YUV格式等所獲
得的亮度數(shù)據(jù)所設(shè)置的閾值，進(jìn)行該判斷。
圖8示出用于切出輸入?yún)^(qū)域圖像的示例處理(圖4的步驟
S103)。
在讀取手寫(xiě)薄片之后，檢測(cè)表示存儲(chǔ)在讀取緩沖存儲(chǔ)器8 中的手寫(xiě)薄片圖像29內(nèi)的輸入?yún)^(qū)域34的位置的位置基準(zhǔn)標(biāo)記 39。所檢測(cè)到的位置基準(zhǔn)標(biāo)記39允許CPU 2識(shí)別手寫(xiě)薄片圖像 29內(nèi)的輸入?yún)^(qū)域圖像40的位置和傾斜?；谒R(shí)別出的位置和傾斜，CPU 2進(jìn)行傾斜校正，從手寫(xiě)薄片圖像29切出輸入?yún)^(qū)域 圖像40，并且將所切出的輸入?yún)^(qū)域圖像40存儲(chǔ)在圖像存儲(chǔ)器13 中。
圖9A 9C示出手寫(xiě)圖像掩模數(shù)據(jù)的生成的例子。 圖9A是輸入?yún)^(qū)域圖像40的亮度直方圖。在該直方圖中設(shè)置 預(yù)定閾值43。然后，如圖9B所示，提取亮度低于或等于閾值43 的區(qū)域，以獲得提取圖像41。通常，由于以深顏色進(jìn)行用戶手 寫(xiě)，因而手寫(xiě)區(qū)域的亮度低于閾值43。因此，可以進(jìn)行上述提 取。
在圖9C的輸入?yún)^(qū)域圖像40中，插像的亮度高于閾值 43,因此具有淡顏色。因此，在圖9C的提取圖像41中不提取插 像。然而，如果插像是深顏色的，則和手寫(xiě)圖像的情 況一樣，提取插像。
通過(guò)對(duì)于各提取區(qū)域的信息分配l并對(duì)于各非提取區(qū)域的 信息分配O，來(lái)二值化所提取的圖像41，從而生成手寫(xiě)圖像掩模 數(shù)據(jù)42。
通過(guò)使用這些掩模數(shù)據(jù)，提取與掩模數(shù)據(jù)中具有分配了值 l的信息的區(qū)域相對(duì)應(yīng)的圖像。
圖IO示出用于根據(jù)插像的數(shù)字圖像數(shù)據(jù)生成插 像掩模數(shù)據(jù)的示例處理(圖4的步驟S107)。
圖IO的數(shù)字圖像數(shù)據(jù)44是用戶所選擇的插像的數(shù)字 圖像數(shù)據(jù)。從程序存儲(chǔ)器4讀出數(shù)字圖像數(shù)據(jù)44?；跀?shù)字圖像 數(shù)據(jù)4 4的各像素的亮度數(shù)據(jù)是否是與透明信息相對(duì)應(yīng)的預(yù)定 值，進(jìn)行關(guān)于各像素是否對(duì)應(yīng)于透明信息的判斷。
如果感興趣的像素對(duì)應(yīng)于透明信息，則將與感興趣的像素 相對(duì)應(yīng)的信息設(shè)置為O;反之，如果感興趣的像素不對(duì)應(yīng)于透明 信息，則將與感興趣的像素相對(duì)應(yīng)的信息設(shè)置成l。這樣進(jìn)行二值化以生成插像掩模數(shù)據(jù)45。
將插像掩模數(shù)據(jù)45放大或縮小成手寫(xiě)圖像區(qū)域的大 小。可選地，當(dāng)在圖4的步驟S103中切出輸入?yún)^(qū)域圖像時(shí)，可 以將輸入?yún)^(qū)域圖像放大或縮小成插像掩模數(shù)據(jù)45的大小。
例如，如圖IIA和圖IIB中的例子所示，為了減少輸入?yún)^(qū)域 圖像和插像掩模數(shù)據(jù)45之間的邊界不一致，在用于生成插 像掩模數(shù)據(jù)45的處理中，可以進(jìn)行用于收縮插像掩模 數(shù)據(jù)45的處理。
圖UA和圖IIB示出用于收縮插像掩模數(shù)據(jù)的處理。
參考圖11B,通過(guò)放大使用插像掩模數(shù)據(jù)45從輸入?yún)^(qū) 域圖像40所提取的插像，獲得圖像50。
在輸入?yún)^(qū)域圖像40中，參考圖像和插像之間的邊界附 近的像素包含關(guān)于參考圖像和插像兩者的信息。因此，根 據(jù)誤差程度，這些圖像之間的區(qū)別變得模糊，或者在這些圖像 之間可能發(fā)生邊界不一致。另外，如果在打印手寫(xiě)薄片期間發(fā) 生滲墨或者這些圖像的分辨率相互不同，則這些圖像之間的邊 界可能膨脹或縮小，從而使得這些圖像之間的區(qū)別變得模糊。 在這種情況下，如圖像50—樣，難以適當(dāng)?shù)靥崛〔逑瘛?br> 因此，如圖11A所示，收縮插像掩模數(shù)據(jù)。具體地， 在插像掩模數(shù)據(jù)45中，檢查感興趣的像素的四個(gè)相鄰像素 的信息。如果這四個(gè)相鄰像素中至少一個(gè)像素的信息為O，則將
感興趣的像素的信息設(shè)置為o。如果所有這四個(gè)相鄰像素的信息
均為l，則將感興趣的像素的信息設(shè)置為1。通過(guò)將此應(yīng)用于整 個(gè)插像掩模數(shù)據(jù)45,能夠收縮像素的信息為l的區(qū)域，即用 于提取插像的區(qū)域。
可選地，可以使用感興趣的像素的8個(gè)相鄰像素的信息來(lái) 進(jìn)行收縮。通過(guò)增加或減少進(jìn)行收縮的次數(shù)，可以調(diào)整收縮量。如上所述，通過(guò)收縮插像掩模數(shù)據(jù)，可以收縮要提取 的區(qū)域。因此，在輸入?yún)^(qū)域圖像中，能夠降低參考圖像和插圖 圖像之間的模糊邊界和邊界不 一致的影響。
圖12示出用于通過(guò)對(duì)手寫(xiě)圖像掩模數(shù)據(jù)和插像掩模
數(shù)據(jù)進(jìn)行合成來(lái)生成合成掩模數(shù)據(jù)的示例處理(圖4的步驟 S108)。
如果位于手寫(xiě)圖像掩模數(shù)據(jù)42和插像掩模數(shù)據(jù)45這 兩個(gè)掩模數(shù)據(jù)的相應(yīng)位置處的像素中的 一 個(gè)的值為1,則將與該 相應(yīng)位置處的這些像素相對(duì)應(yīng)的信息設(shè)置為1。如果位于這兩個(gè) 掩模數(shù)據(jù)的相應(yīng)位置處的像素的值均為O,則將與該相應(yīng)位置處 的這些像素相對(duì)應(yīng)的信息設(shè)置為0。從而，生成合成掩模數(shù)據(jù)47。
圖13示出使用合成掩模數(shù)據(jù)從輸入?yún)^(qū)域圖像提取圖像(圖4 的步驟S109)并對(duì)所提取的圖像和背景圖像進(jìn)行合成(圖4的步 驟S110)的示例處理。
首先，使用合成掩模數(shù)據(jù)47從輸入?yún)^(qū)域圖像40中提取圖像。
具體地，如果在合成掩模數(shù)據(jù)47中，位于與輸入?yún)^(qū)域圖像 40中感興趣的像素的位置相對(duì)應(yīng)的位置處的像素的值為1,則將 感興趣的像素確定為輸入?yún)^(qū)域圖像40的像素信息；反之，如果 上述合成掩模數(shù)據(jù)47中的像素的值為O,則將輸入?yún)^(qū)域圖像40 中感興趣的像素確定為輸入?yún)^(qū)域圖像40的透明信息。因此，可 以從輸入?yún)^(qū)域圖像40中提取手寫(xiě)和插像48。
然后，對(duì)手寫(xiě)和插像48與背景圖像38進(jìn)行合成以形成 合成結(jié)果圖像49。
圖13的處理包括使用通過(guò)對(duì)手寫(xiě)圖像掩模數(shù)據(jù)42和插圖 圖像掩模數(shù)據(jù)45進(jìn)行合成所形成的合成掩模數(shù)據(jù)47?？蛇x地， 可以分別使用手寫(xiě)圖像掩模數(shù)據(jù)42和插像掩模數(shù)據(jù)45來(lái)進(jìn)行提取。
盡管在圖13中，在提取手寫(xiě)和插像48之后進(jìn)行與背景 圖像38的合成，但是可以通過(guò)下面的處理進(jìn)行該合成。
也就是說(shuō)，為了使用合成掩模數(shù)據(jù)47從輸入?yún)^(qū)域圖像40提 取圖像，如果合成掩模數(shù)據(jù)47中感興趣的像素的值為1,則使用 輸入?yún)^(qū)域圖像40中的相應(yīng)像素。另一方面，如果合成掩模數(shù)據(jù) 47中感興趣的像素的值為0，則使用背景圖像38中的相應(yīng)像素。 該處理同樣使得可以形成合成結(jié)果圖像49。
在上述本典型實(shí)施例中，在填充手寫(xiě)薄片時(shí)，用戶可以在 檢查要合成的圖像之間，即背景圖像、插像和要輸入的手 寫(xiě)圖像之間的位置關(guān)系時(shí)繪制手寫(xiě)圖像。
在本典型實(shí)施例中，如參考圖10所述，與用于提取手寫(xiě)圖 像的掩模數(shù)據(jù)分開(kāi)，根據(jù)插像的數(shù)字圖像數(shù)據(jù)生成用于提 取插像的掩模數(shù)據(jù)。因此，無(wú)論在插像中所使用的顏 色如何，都可以從輸入?yún)^(qū)域圖像正確提取插像。
因此，即使當(dāng)插像中所使用的顏色的范圍與參考圖像 中所使用的顏色的范圍重疊時(shí)，也可以提取插像。
因此，本發(fā)明的各方面提供一種圖像處理設(shè)備，該圖像處 理設(shè)備能夠允許用戶在檢查背景圖像和固定圖像之間的位置關(guān) 系時(shí)在手寫(xiě)薄片中輸入手寫(xiě)的文本和繪圖，并且能夠從手寫(xiě)薄 片的圖像正確提取與固定圖像相對(duì)應(yīng)的區(qū)域的圖像，而不管固 定圖像的顏色如何。
代替生成如在本典型實(shí)施例中所述的插像掩模數(shù)據(jù)， 可以預(yù)先將與插像相對(duì)應(yīng)的插像掩模數(shù)據(jù)存儲(chǔ)在程序 存儲(chǔ)器4中。這可以消除對(duì)于進(jìn)行用于根據(jù)插像的數(shù)字圖像 數(shù)據(jù)生成用于提取插像的插像掩模數(shù)據(jù)的處理(圖4的 步驟S107)的需求。因此，由于變得可以不必在插像的像素?cái)?shù)據(jù)中保持透明信息，因而可以擴(kuò)展插像中可使用的顏色 的范圍。
盡管在本典型實(shí)施例中，作為固定圖像的例子說(shuō)明了插圖 圖像，但是本發(fā)明不局限于此?？梢允褂萌魏喂潭▓D像，只要 預(yù)先生成該固定圖像。固定圖像的例子不僅可以包括插像， 而且還可包括文本圖像。
盡管參考典型實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā) 明不局限于所公開(kāi)的典型實(shí)施例。所附權(quán)利要求書(shū)的范圍符合 最寬的解釋，以包含所有的修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種圖像處理設(shè)備，其輸出通過(guò)對(duì)背景圖像和從通過(guò)讀取記錄薄片所獲得的圖像中提取的區(qū)域進(jìn)行合成而形成的圖像，所述圖像處理設(shè)備包括打印單元，用于在記錄薄片上打印圖像；讀取單元，用于讀取記錄薄片；轉(zhuǎn)換單元，用于將所述背景圖像轉(zhuǎn)換成參考圖像，所述參考圖像的內(nèi)容與所述背景圖像的內(nèi)容相同，但是所述參考圖像的亮度比所述背景圖像的亮度高；打印控制單元，用于使所述打印單元將第一圖像作為用戶要進(jìn)行寫(xiě)入的輸入?yún)^(qū)域打印在記錄薄片上，所述第一圖像是通過(guò)將固定圖像疊加在由所述轉(zhuǎn)換單元獲得的所述參考圖像上而形成的合成圖像；提取單元，用于從第二圖像中提取亮度低于預(yù)定閾值的區(qū)域的圖像，所述第二圖像對(duì)應(yīng)于當(dāng)所述讀取單元讀取具有進(jìn)行了寫(xiě)入的所述輸入?yún)^(qū)域的記錄薄片時(shí)獲得的圖像中所包含的所述輸入?yún)^(qū)域；獲取單元，用于獲取掩模數(shù)據(jù)，所述掩模數(shù)據(jù)用于提取與所述固定圖像相對(duì)應(yīng)的區(qū)域的圖像；以及輸出單元，用于輸出通過(guò)將基于所述提取單元和由所述獲取單元獲得的所述掩模數(shù)據(jù)從所述第二圖像中提取的圖像疊加在所述背景圖像上而形成的合成圖像。
2. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述提取單元生成第二掩模數(shù)據(jù)，并且使用所述第二掩模數(shù)據(jù)提 取圖像，所述第二掩模數(shù)據(jù)用于從所述第二圖像中提取亮度低 于所述預(yù)定閾值的區(qū)域的圖像。
3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于，還 包括第二提取單元，所述第二提取單元用于使用通過(guò)對(duì)由所述獲取單元獲得的所述掩模數(shù)據(jù)和所述第二掩模數(shù)據(jù)進(jìn)行合成而 形成的掩模數(shù)據(jù)，從所述第二圖像中提取圖像，其中，所述輸出單元輸出通過(guò)將由所述第二提取單元提取 的圖像疊加在所述背景圖像上而形成的合成圖像。
4. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，還 包括生成單元，所述生成單元用于基于所述固定圖像的像素?cái)?shù) 據(jù)是否是透明信息，生成所述掩模數(shù)據(jù)，其中，所述獲取單元獲取由所述生成單元生成的所述掩模 數(shù)據(jù)。
5. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，還 包括用于存儲(chǔ)所述固定圖像的存儲(chǔ)器，其中，所述打印控制單元使所述打印單元打印所述第一圖 像，所述第 一 圖像是通過(guò)將存儲(chǔ)在所述存儲(chǔ)器中的所述固定圖 像疊加在所述參考圖像上而形成的合成圖像。
6. 根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其特征在于，所 述存儲(chǔ)器存儲(chǔ)所述固定圖像和用于提取與所述固定圖像相對(duì)應(yīng) 的區(qū)域的圖像的所述掩模數(shù)據(jù)，并且所述獲取單元獲取存儲(chǔ)在 所述存儲(chǔ)器中的所述掩模數(shù)據(jù)。
7. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述打印控制單元使所述打印單元在記錄薄片上打印位置基準(zhǔn)標(biāo) 記，并且所述提取單元從所述第二圖像中提取圖像，其中，基 于當(dāng)所述讀取單元讀取記錄薄片時(shí)獲得的圖像中所包含的所述 位置基準(zhǔn)標(biāo)記切出所述第二圖像。
8. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述輸出單元向所述打印單元輸出圖像，以使所述打印單元打印 所述圖像。
9. 一種圖像處理方法，用于輸出通過(guò)對(duì)背景圖像和從通過(guò)讀取記錄薄片所獲得的圖像中提取的區(qū)域進(jìn)行合成而形成的圖像，所述圖像處理方法包括將所述背景圖像轉(zhuǎn)換成參考圖像，所述參考圖像的內(nèi)容與 所述背景圖像的內(nèi)容相同，但是所述參考圖像的亮度比所述背景圖像的亮度高；向打印裝置輸出第一圖像，所述第一圖像是通過(guò)將固定圖像疊加在所述參考圖像上而形成的合成圖像；使所述打印裝置將所述第一圖像作為用戶要進(jìn)行寫(xiě)入的輸 入?yún)^(qū)域打印在記錄薄片上；獲取用于提取與所述固定圖像相對(duì)應(yīng)的區(qū)域的圖像的掩模 數(shù)據(jù)；以及輸出通過(guò)將如下圖像疊加在所述背景圖像上而形成的合成 圖像亮度低于預(yù)定閾值且包括在與當(dāng)讀取裝置讀取具有進(jìn)行 了寫(xiě)入的所述輸入?yún)^(qū)域的記錄薄片時(shí)所獲得的圖像中所包含的 所述輸入?yún)^(qū)域相對(duì)應(yīng)的第二圖像中的區(qū)域的圖像；以及基于所 述掩模數(shù)據(jù)從所述第二圖像中提取的圖像。
全文摘要
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法。所述圖像處理設(shè)備使得將合成圖像作為用戶要寫(xiě)入的輸入?yún)^(qū)域打印在記錄薄片上。所述合成圖像是通過(guò)將固定圖像疊加在參考圖像上而形成的。所述圖像處理設(shè)備從與通過(guò)讀取具有被寫(xiě)入的輸入?yún)^(qū)域的記錄薄片而獲得的圖像中所包含的輸入?yún)^(qū)域相對(duì)應(yīng)的圖像中，提取亮度低于預(yù)定閾值的區(qū)域的圖像，并且所述圖像處理設(shè)備使用用于提取與固定圖像相對(duì)應(yīng)的區(qū)域的圖像的掩模數(shù)據(jù)來(lái)進(jìn)行所述圖像提取。
文檔編號(hào)H04N1/387GK101600038SQ20091014696
公開(kāi)日2009年12月9日 申請(qǐng)日期2009年6月5日 優(yōu)先權(quán)日2008年6月6日
發(fā)明者城戶英之 申請(qǐng)人:佳能株式會(huì)社