專利名稱：基于分段投影與樂符結(jié)構(gòu)的譜線檢測(cè)及刪除方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體信號(hào)處理技術(shù)領(lǐng)域，尤其是在數(shù)字音樂圖書館等音樂樂譜數(shù)字 化應(yīng)用開發(fā)的領(lǐng)域。
背景技術(shù)：
樂譜的發(fā)明是人類音樂史上的里程碑，它的出現(xiàn)使人們可以在一個(gè)相對(duì)標(biāo)準(zhǔn)的平 臺(tái)上進(jìn)行音樂的交流和傳承。但是，古往今來的優(yōu)秀音樂作品大都以紙質(zhì)樂譜的形式保留 下來，直至今天，紙質(zhì)樂譜仍是表達(dá)和描述音樂作品的主要載體。紙質(zhì)樂譜的存在使得音樂 的人們交流和保存音樂，但是紙質(zhì)樂譜的保存需要占用一定的存儲(chǔ)空間，不利于保存與交 流，特別是紙質(zhì)狀樂譜無法實(shí)現(xiàn)高速查詢與檢索，而只能能以純手工的方式進(jìn)行。紙質(zhì)樂譜 的這些缺點(diǎn)，使得樂譜的交流與保存極為不便。光學(xué)樂譜識(shí)別技術(shù)(OMR)是近年來發(fā)展起來的實(shí)現(xiàn)紙質(zhì)樂譜數(shù)字化的一種主流 技術(shù)，不同于傳統(tǒng)的圖像存儲(chǔ)格式(如JPG，TIF，GIF等)采用光學(xué)掃描壓縮存貯樂譜圖像， 而是記錄樂譜所表達(dá)的音樂內(nèi)容，因此所需要的存儲(chǔ)空間更小，并且可以很方便的對(duì)其進(jìn) 行編輯、加工、打印、傳播或者實(shí)時(shí)演奏。OMR技術(shù)為紙質(zhì)樂譜的數(shù)字化提供了一個(gè)智能、高 效的新途徑，可以廣泛的應(yīng)用在計(jì)算機(jī)輔助音樂教學(xué)、數(shù)字音樂圖書館建設(shè)、互聯(lián)網(wǎng)音樂搜 索、計(jì)算機(jī)音樂合成等領(lǐng)域。一個(gè)完整的OMR處理系統(tǒng)大致包括以下幾個(gè)組成模塊1)紙質(zhì)樂譜圖像輸入及預(yù) 處理，2)樂譜譜線檢測(cè)定位及刪除，3)樂譜圖像分割，4)樂譜圖像識(shí)別，5)樂譜重建及音樂 語義解釋。樂譜的分割是識(shí)別的前提，關(guān)系到整個(gè)OMR系統(tǒng)的性能。目前廣泛采用的樂譜 分割方式主要有投影法，區(qū)域生長(zhǎng)法，邊緣提取及連通域分析等方法。投影法方法簡(jiǎn)單，但 往往只能實(shí)現(xiàn)對(duì)直線區(qū)域和非直線區(qū)域的有效分割，或者是進(jìn)行直線的提取，無法實(shí)現(xiàn)對(duì) 各具體連通域進(jìn)行分割；邊緣提取法，區(qū)域生長(zhǎng)法以及傳統(tǒng)連通域方法雖能提取圖像中的 各個(gè)連通區(qū)域，但運(yùn)行速度慢且復(fù)雜，往往需要對(duì)圖像進(jìn)行多次掃描才能完成。國(guó)外有關(guān)OMR的研究起始于60年代后期，當(dāng)時(shí)由于技術(shù)條件和硬件設(shè)備的限制， 所研究的內(nèi)容也是非常有限的。到了 70年代，隨著光學(xué)掃描儀的出現(xiàn)和機(jī)器性能的提升， OMR才真正已經(jīng)引起眾多學(xué)者的廣泛注意。進(jìn)入80年代后，隨著計(jì)算機(jī)圖形圖像技術(shù)的不 斷發(fā)展與成熟，研究?jī)?nèi)容越來越深入，部分研究成果也正逐步進(jìn)入實(shí)用階段。在我國(guó)，一方面由于計(jì)算機(jī)音樂發(fā)展起步晚，計(jì)算機(jī)音樂只是少數(shù)音樂工作者的 “專利”，社會(huì)缺乏計(jì)算機(jī)識(shí)別樂譜的需要；另一方面，由于國(guó)內(nèi)高校的學(xué)科設(shè)置綜合化程 度、學(xué)科交叉的跨度與國(guó)外有著相當(dāng)大的差距，長(zhǎng)期以來，從事計(jì)算機(jī)音樂研究的專業(yè)人才 嚴(yán)重缺乏。因此，OMR技術(shù)在國(guó)內(nèi)的系統(tǒng)研究和實(shí)踐工作幾乎為空白。目前，西北工業(yè)大學(xué) 與西安音樂學(xué)院合作正在開展印刷體光學(xué)樂譜識(shí)別技術(shù)的研究。目前國(guó)內(nèi)外對(duì)譜線的定位和檢測(cè)進(jìn)行了廣泛的研究，提出了各種方法，檢測(cè)定位 主要分為三大類方法投影法，Hough變換法以及數(shù)學(xué)形態(tài)法。投影法速度快，但傳統(tǒng)的投 影方法無法處理傾斜或者局部彎曲的圖像；Hough變化法雖能較好的處理圖像傾斜現(xiàn)象，
4但計(jì)算量十分龐大，很難實(shí)用；數(shù)學(xué)形態(tài)法的應(yīng)用比較簡(jiǎn)單，但處理時(shí)結(jié)構(gòu)元素的選取易受 實(shí)際圖像的限制難以確定，同時(shí)對(duì)傾斜直線的檢測(cè)效果也不理想。而譜線的刪除方法主要是傳統(tǒng)的直線跟蹤刪除方法和游程圖段法，在刪除過程經(jīng) 常會(huì)出現(xiàn)“誤刪”或者過刪除現(xiàn)象，理想的刪除技術(shù)方法還有待進(jìn)一步挖掘。
發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)現(xiàn)有技術(shù)存在的缺陷提供一種基于分段投影與樂符結(jié)構(gòu)的譜 線檢測(cè)及刪除方法。本發(fā)明為實(shí)現(xiàn)上述目的，采用如下技術(shù)方案本發(fā)明基于分段投影與樂符結(jié)構(gòu)的譜線檢測(cè)方法，包括如下步驟(1)掃描輸入以后的圖像經(jīng)過濾波去噪、格式變換以后得到行和列分別為WXH的 二值圖像B(x，y)，(0彡χ彡W;0彡y彡H)，當(dāng)像素點(diǎn)為黑色的目標(biāo)點(diǎn)時(shí)B(x，y) =0，為 白色的背景點(diǎn)時(shí)B(x，y) = 1，其中(x、y)為像素點(diǎn)坐標(biāo)；首先計(jì)算樂譜圖像的譜線間距S， 即找出圖像中出現(xiàn)次數(shù)最多的垂直白色游程的長(zhǎng)度；再將圖像沿水平方向劃分成N個(gè)條形 區(qū)域Z1, Z2, -Zn, N = Ceil (W/(4X S)), Ceil表示朝①方向取整數(shù)，其中前N-I個(gè)區(qū)域的 寬度w為4 X S，最后一個(gè)區(qū)域?qū)挾葁為W- (N-I) X 4 X S，對(duì)最后兩個(gè)區(qū)域內(nèi)的子圖像進(jìn)行水 平投影，得到投影隊(duì)列
權(quán)利要求
一種基于分段投影與樂符結(jié)構(gòu)的譜線檢測(cè)方法，其特征在于包括如下步驟(1)掃描輸入以后的圖像經(jīng)過濾波去噪、格式變換以后得到行和列分別為W×H的二值圖像B(x，y)，(0≤x≤W；0≤y≤H)，當(dāng)像素點(diǎn)為黑色的目標(biāo)點(diǎn)時(shí)B(x，y)＝0，為白色的背景點(diǎn)時(shí)B(x，y)＝1，其中(x、y)為像素點(diǎn)坐標(biāo)；首先計(jì)算樂譜圖像的譜線間距S，即找出圖像中出現(xiàn)次數(shù)最多的垂直白色游程的長(zhǎng)度；再將圖像沿水平方向劃分成N個(gè)條形區(qū)域Z1，Z2，…Zn，N＝Ceil(W/(4×S))，Ceil表示朝∞方向取整數(shù)，其中前N 1個(gè)區(qū)域的寬度w為4×S，最后一個(gè)區(qū)域?qū)挾葁為W (N 1)×4×S，對(duì)最后兩個(gè)區(qū)域內(nèi)的子圖像進(jìn)行水平投影，得到投影隊(duì)列 <mrow><msub> <mi>Proj</mi> <mi>v</mi></msub><mo>[</mo><mi>y</mi><mo>]</mo><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mrow> <mo>(</mo> <mi>N</mi> <mo>-</mo> <mn>2</mn> <mo>)</mo></mrow><mo>×</mo><mn>4</mn><mo>×</mo><mi>S</mi><mo>+</mo><mn>1</mn> </mrow> <mi>W</mi></munderover><mi>B</mi><mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> <mo>)</mo></mrow><mo>,</mo><mn>1</mn><mo>≤</mo><mi>y</mi><mo>≤</mo><mi>H</mi><mo>,</mo> </mrow>(2)垂直方向上的傾斜校正根據(jù)投影隊(duì)列找出第一根譜線和最后一根譜線的行位置row1和row2，沿譜線的位置分別在區(qū)域Z1(x，y)(N 2)×w＜x≤W，row1 S≤y≤row1+S，和Z2(x，y)(N 2)×w＜x≤W，row2 S≤y≤row2+S中搜索出黑色像素的最大列值col1和col2，據(jù)此計(jì)算出整幅圖像的垂直傾斜度φφ＝arctan((row2 row1)/(col2 col1))及垂直方向上的最大傾斜長(zhǎng)度qq＝(col2 col1)×W/(row2 row1)；對(duì)圖像進(jìn)行垂直傾斜校正B′(x，y)＝B(x，y+Δ′)，其中Δ′＝floor(q×x/H)，1≤x≤W，1≤y≤H，為不同像素在垂直方向上的校正量，B′(x，y)為垂直校正后的圖像，floor表示向零方向取整；(3)水平方向上的傾斜及彎曲校正對(duì)步驟(2)所劃分的各個(gè)子區(qū)域進(jìn)行水平投影，得到各條形子區(qū)域的水平投影隊(duì)列 <mrow><mi>Proj</mi><mo>[</mo><mi>y</mi><mo>,</mo><mi>n</mi><mo>]</mo><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mi>sp</mi> </mrow> <mrow><mi>k</mi><mo>=</mo><mi>sp</mi><mo>+</mo><mi>w</mi> </mrow></munderover><mi>B</mi><mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mi>k</mi> <mo>)</mo></mrow><mo>,</mo> </mrow>其中sp＝(n 1)×w，1≤n≤N，1≤y≤H，n為條形區(qū)域的段號(hào)；(4)相同的的兩個(gè)曲線的相關(guān)系數(shù)最大，故對(duì)相鄰兩段的水平投影圖進(jìn)行互相關(guān)運(yùn)算，得到互相關(guān)隊(duì)列Cross(λ，n)，以獲得兩個(gè)投影圖對(duì)應(yīng)譜線間的位置差d(n)； <mrow><mi>Cross</mi><mrow> <mo>(</mo> <mi>λ</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mi>P</mi><mn>1</mn> </mrow> <mrow><mi>P</mi><mn>2</mn> </mrow></munderover><mi>Proj</mi><mrow> <mo>(</mo> <mi>k</mi> <mo>,</mo> <mi>n</mi> <mo>)</mo></mrow><mo>×</mo><mi>Proj</mi><mrow> <mo>(</mo> <mi>k</mi> <mo>+</mo> <mi>λ</mi> <mo>,</mo> <mi>n</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo></mrow><mo>,</mo> </mrow>其中 S＜λ＜S，1≤n≤N 1。P1，P2為互相關(guān)計(jì)算的下限和上限，如果λ≤0，則P1＝ λ+1，P2＝H，如果λ＞0則P1＝1，P2＝H λ，λ為水平投影隊(duì)列在垂直方向上移動(dòng)的距離，其值設(shè)定在一個(gè)線間距之間，找出各互相關(guān)隊(duì)列中的最大值所對(duì)應(yīng)的λ(n)，1≤n≤N 1值，即為相鄰圖像段的譜線在水平位置上的偏移量d(n)；d(n)＝λ(n+1) λ(n)，其中，1≤n≤N 1，最后一段的偏移量d(N)＝d(N 1)；(5)根據(jù)各區(qū)域的偏移量d(n)，從左到由對(duì)整幅圖像進(jìn)行水平彎曲或者傾斜率校正公式如下 <mrow><mi>J</mi><mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>2</mn> </mrow> <mi>N</mi></munderover><mi>d</mi><mrow> <mo>(</mo> <mi>k</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo></mrow><mo>,</mo><mn>2</mn><mo>≤</mo><mi>n</mi><mo>≤</mo><mi>N</mi><mo>,</mo><mi>J</mi><mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo></mrow><mo>=</mo><mn>0</mn> </mrow>Δ＝floor((x％w)/w×d(n)) J(n)B″(x，y)＝B′(x+Δ，y)，其中，1≤x≤W，1≤y≤H，floor表示向零方向取整，％表示整除后取余數(shù)操作，J(n)，1≤n≤N表示各子區(qū)域的累計(jì)偏差量，Δ為不同的像素在水平方向上的偏移量，B′(x，y)為進(jìn)行垂直傾斜校正后的圖像，B″(x，y)為對(duì)原始圖像進(jìn)行水平傾斜、彎曲校正后的圖像。
2. 一種基于分段投影與樂符結(jié)構(gòu)的譜線刪除方法，其特征在于包括如下步驟(a)根據(jù)譜線檢測(cè)的結(jié)果，記錄下各譜線的行位置Pos(m)，m = 1,2,…N，N為譜線的 行數(shù)；(b)沿著譜線方向?qū)γ恳粭l譜線像素搜索其上方或者下方一個(gè)元素是否為黑色像素， 如果有則認(rèn)為存在著其他樂譜目標(biāo)與譜線像素向交叉或者重疊，此時(shí)該譜線點(diǎn)不刪除，否 則刪除，即設(shè)置為白色像素fB(k,少)二 O B(Pos(m) -1),少)=OI B(Pos(m) +1,少)=O 1 雄,少)=1 else，其中 1 ^ y ^ W，為圖像的列數(shù)，k = Pos(m)，Pos(m)+l，... Pos (N)+xk_l，對(duì)應(yīng)于每一 條譜線的行數(shù)，xk為每一條譜線的厚度；(c)記錄下沒被刪除的黑色像素的行、列位置，P(n，2)，n=1,2,…num，num為沒被刪 除的黑色像素的個(gè)數(shù)，并計(jì)算黑色像素點(diǎn)所在的垂直黑色游程的長(zhǎng)度yc(n)，η = 1,2,… num ；(d)從譜線中第一個(gè)沒被刪除的黑色像素開始，判斷相鄰的兩個(gè)黑色像素是否在同一 行上，并計(jì)算幾何距離，如果等于2，且兩點(diǎn)所在的垂直黑色游程長(zhǎng)度均不能超過2倍譜線 寬度，則直接將這兩點(diǎn)相連接，否則至第e步；B (x, y) = O P(n+1，2)-P(n，2) < 2 & P(n+l，l) = P (η, 1) & yc (η)彡 2 & yc(n+l) ( 2，其中 χ = P(n)，P(n)+l，-P(η)+xk-1, P(η, 2)彡 y 彡 P(η+1，2)，η 為沒被刪除的黑色像素的編號(hào)；(e)如果兩個(gè)黑色像素之間幾何距離大于3且小于1.5倍線間距，兩個(gè)黑色像素所屬于 的游程長(zhǎng)度也小于1. 5倍線間距，同時(shí)判斷前一個(gè)黑色游程的上鄰是否為1和后一個(gè)黑色 像素的上鄰及上右鄰是否為1，若都為1，則進(jìn)行連接；B(x, y) = O 3 彡 P(n+1，2)-P(n，2) < 1. 5xjj & P(n+1，1) = P(n，1) &yc(n) ( 1. 5xj j & yc(n+l) ( 1. 5xj j & B (P (n，1)-1，P (n，2) = 1 &，B (P (n+1,1)-1, P(n,2) = 1 & B (P (n+1，1)-1，P (n，2)+1) = 1其中 χ = P(n)，P(n)+l，... P (n)+xk_l，P (n，2) ^ y ^ P(n+l，2)，xjj 為譜線間距，η 為 沒被刪除的黑色像素的編號(hào)，(f)黑色像素個(gè)數(shù)加一，轉(zhuǎn)至第d步，直到譜線全部校正完畢。
全文摘要
本發(fā)明公布了一種基于分段投影與樂符結(jié)構(gòu)的譜線檢測(cè)及刪除方法，紙質(zhì)樂譜圖像首先通過掃描儀或者數(shù)碼拍攝設(shè)備輸入到計(jì)算機(jī)，然后經(jīng)過去噪，圖像格式變換等預(yù)處理操作，變成二值樂譜圖像；輸入圖像經(jīng)過預(yù)處理后，首先計(jì)算出樂譜的譜線間距，并以此為參考將整幅圖像在垂直方向上分割成若干段，通過對(duì)部分特殊圖像段進(jìn)行水平投影處理后獲取圖像的垂直傾斜度，實(shí)現(xiàn)譜線垂直方向的傾斜校正，然后對(duì)各段進(jìn)行水平垂直投影，計(jì)算相鄰兩段投影的互相關(guān)，進(jìn)而實(shí)現(xiàn)圖像水平傾斜以及譜線彎曲的校正，進(jìn)一步消除二值圖像由于傾斜導(dǎo)致部分直線段出現(xiàn)像素重疊的問題。本發(fā)明的能有效的解決“誤刪”和欠刪除現(xiàn)象。
文檔編號(hào)G06K9/62GK101964049SQ20101027582
公開日2011年2月2日 申請(qǐng)日期2010年9月7日 優(yōu)先權(quán)日2010年9月7日
發(fā)明者余華, 奚吉, 楊銀賢, 王開, 王青云, 趙力, 鄒采榮, 陳存寶 申請(qǐng)人:東南大學(xué)