記筆記輔助系統(tǒng)、信息遞送設(shè)備、終端、記筆記輔助方法和計(jì)算機(jī)可讀記錄介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于幫助針對講話者記筆記的記筆記輔助系統(tǒng)、信息遞送設(shè)備、終端和記筆記輔助方法，以及存儲用于實(shí)現(xiàn)其的計(jì)算機(jī)程序的計(jì)算機(jī)可讀記錄介質(zhì)。
【背景技術(shù)】
[0002]雙耳聽力損失在100dB或更多的聽力損傷人員(下文簡稱為“聽力損傷人員”)即使有助聽器等，將實(shí)際上不能理解演講中的講話語言信息。因此，傳統(tǒng)上已經(jīng)有這樣的情況:當(dāng)聽力損傷人員參加演講、課堂等時(shí)，將提供符號語言解釋者或記筆記解釋者。
[0003]當(dāng)然，當(dāng)提供記筆記解釋者時(shí)，在課堂情況下，例如，通常提供兩個(gè)或更多記筆記解釋者用于每個(gè)聽力損傷人員。這些記筆記的人使用PC (個(gè)人計(jì)算機(jī))、紙質(zhì)筆記本等來轉(zhuǎn)錄教師所說的等等，并呈現(xiàn)這個(gè)轉(zhuǎn)錄給聽力損傷人員。需要兩個(gè)或更多記筆記解釋者是因?yàn)橛浌P記是要求高的工作且總結(jié)的準(zhǔn)確性傾向于一人的話會比較困難。
[0004]日本厚生勞動(dòng)省在2008年所做的調(diào)查發(fā)現(xiàn)，在日本有大約20，000名年齡在18歲及以下的聽力損傷學(xué)生，而正式注冊的記筆記解釋者的人數(shù)大約為10，000?；诖耍僭O(shè)兩個(gè)或更多記筆記解釋者提供用于每個(gè)聽力損傷學(xué)生，簡單計(jì)算表明，所有聽力損傷學(xué)生中只有四分之一能夠接收到輔助。而且，在記錄者的數(shù)量和聽力損傷學(xué)生的數(shù)量上存在區(qū)域差異。出于這些原因，當(dāng)前現(xiàn)實(shí)是只有非常小數(shù)量的聽力損傷學(xué)生能夠在學(xué)校接收輔助。
[0005]考慮到此，各種組織都在從事訓(xùn)練等以便增加記筆記解釋者的數(shù)量，而新的記筆記解釋者在經(jīng)過一年的強(qiáng)制課程和訓(xùn)練等對其技能的發(fā)展之后被注冊。但是，存在的問題在于，記錄者的人數(shù)只是少量增加，因此仍然存在許多聽力損傷學(xué)生不能接收到輔助。
[0006]專利文獻(xiàn)1和2公開了當(dāng)書寫字幕時(shí)輔助轉(zhuǎn)錄員的系統(tǒng)。專利文獻(xiàn)1和2中所公開的系統(tǒng)被提供有調(diào)整語音的再生速度和自動(dòng)將由字幕人員輸入的文本數(shù)據(jù)與視頻數(shù)據(jù)相組合的功能。想到的是，這樣的系統(tǒng)也能為解決記筆記解釋者人數(shù)不足的問題做出貢獻(xiàn)。
[0007]文獻(xiàn)3公開了針在展示期間對語音執(zhí)行語音識別的系統(tǒng)，識別結(jié)果實(shí)時(shí)校正且校正的識別結(jié)果顯示作為字幕。想到的是，改進(jìn)專利文獻(xiàn)3中所公開的系統(tǒng)能夠肯定為解決記筆記解釋者的人數(shù)不足
[0008]現(xiàn)有技術(shù)文獻(xiàn)列表
[0009]專利文獻(xiàn)
[0010]專利文獻(xiàn)1:JP 2003-223199A
[0011]專利文獻(xiàn)2:JP 2003-223200A
[0012]專利文獻(xiàn)3:JP 2007-256714A

【發(fā)明內(nèi)容】

[0013]發(fā)明要解決的問題
[0014]但是，專利文獻(xiàn)1和2中所公開的系統(tǒng)針對當(dāng)轉(zhuǎn)錄員創(chuàng)建所聽到的語音的字幕時(shí)輔助轉(zhuǎn)錄員，同時(shí)在視頻被廣播或電視播放之前觀看視頻，但不針對當(dāng)實(shí)時(shí)轉(zhuǎn)錄發(fā)聲時(shí)的輔助。因此，將難以通過使用專利文獻(xiàn)1或2中所公開的系統(tǒng)來克服記筆記解釋者的不足。
[0015]另一方面，盡管專利文獻(xiàn)3中所公開的系統(tǒng)令人信服地避免了專利文獻(xiàn)1和2的問題，因?yàn)樽帜皇窃诎l(fā)聲的實(shí)時(shí)顯示的，但執(zhí)行語音識別的情況使得出現(xiàn)了與之相關(guān)的問題。
[0016]也就是，通過專利文獻(xiàn)3中所公開的系統(tǒng)，基于一個(gè)或多個(gè)字符串候選和各個(gè)字符串候選的確定性因素，根據(jù)當(dāng)前處理狀態(tài)來執(zhí)行自動(dòng)候選展示或手動(dòng)候選展示，以便改進(jìn)語音識別準(zhǔn)確性。此外，當(dāng)候選在手動(dòng)候選展示的情況下不能被展示時(shí)，候選基于匹配分?jǐn)?shù)而展示。
[0017]但是，語音識別的識別速率取決于做出發(fā)聲的環(huán)境而可能極大降低。例如，可能有這樣的情況:周圍區(qū)域的環(huán)境噪聲相對于發(fā)聲的語音更加大聲，多個(gè)講話者同時(shí)講話，或者方言或縮寫語音被使用。在這樣的情況下，存在的問題在于，專利文獻(xiàn)3中所公開的系統(tǒng)不能提供準(zhǔn)確信息。
[0018]本發(fā)明的示例目標(biāo)在于解決上面的問題并且提供一種記筆記輔助系統(tǒng)、信息遞送設(shè)備、記筆記輔助方法和計(jì)算機(jī)可讀記錄介質(zhì)，即使在執(zhí)行記筆記的人員具有很少記筆記經(jīng)驗(yàn)的情況下，能夠向聽力損傷人員提供準(zhǔn)確信息。
[0019]解決問題的手段
[0020]為了獲得上面的目標(biāo)，根據(jù)本發(fā)明的一個(gè)方面的記筆記輔助系統(tǒng)是一種用于輔助對講話者的發(fā)聲記筆記的系統(tǒng)，包括由執(zhí)行記筆記的記錄者所使用的記錄者的終端以及發(fā)射發(fā)聲的語音數(shù)據(jù)到所述終端的信息遞送設(shè)備，所述信息遞送設(shè)備包括:呼吸檢測單元，其從發(fā)聲的語音中指定靜音部分，以及在指定的靜音部分中指定滿足設(shè)置條件的靜音部分，作為講話者的呼吸部分；數(shù)據(jù)處理單元，其確定在分配給記錄者的每個(gè)分配時(shí)間段內(nèi)，基于分配時(shí)間段的結(jié)束點(diǎn)的范圍中是否存在呼吸部分，并且在該范圍中存在呼吸部分的情況下，從分配時(shí)間段的開始點(diǎn)生成發(fā)聲的語音數(shù)據(jù)直到呼吸部分，并且在范圍中不存在呼吸部分的情況下，從開始點(diǎn)生成發(fā)聲的語音數(shù)據(jù)直到分配時(shí)間段的結(jié)束點(diǎn)；以及數(shù)據(jù)發(fā)射單元，其發(fā)射由所述數(shù)據(jù)處理單元生成的語音數(shù)據(jù)到分配時(shí)間段所分配到的記錄者的終端，以及所述的記錄者的終端包括:數(shù)據(jù)接收單元，其接收從所述信息遞送設(shè)備發(fā)射的語音數(shù)據(jù)；輸入單元，其接受對應(yīng)于所述語音數(shù)據(jù)而輸入的文本數(shù)據(jù)的輸入；以及數(shù)據(jù)發(fā)射單元，其將輸入被接受的所述文本數(shù)據(jù)發(fā)射到由記筆記的用戶所使用的用戶終端。
[0021]而且，為了獲得上面的目標(biāo)，根據(jù)本發(fā)明一個(gè)方面的信息遞送設(shè)備是一種用于發(fā)射講話者的發(fā)聲的語音數(shù)據(jù)到由執(zhí)行對發(fā)聲記筆記的記錄者所使用的記錄者的終端的設(shè)備，包括:呼吸檢測單元，其從發(fā)聲的語音中指定靜音部分，以及在指定的靜音部分中指定滿足設(shè)置條件的靜音部分，作為講話者的呼吸部分；數(shù)據(jù)處理單元，其確定在分配給記錄者的每個(gè)分配時(shí)間段內(nèi)，基于分配時(shí)間段的結(jié)束點(diǎn)的范圍中是否存在呼吸部分，并且在該范圍中存在呼吸部分的情況下，從分配時(shí)間段的開始點(diǎn)生成發(fā)聲的語音數(shù)據(jù)直到呼吸部分，并且在范圍中不存在呼吸部分的情況下，從開始點(diǎn)生成發(fā)聲的語音數(shù)據(jù)直到分配時(shí)間段的結(jié)束點(diǎn)；以及數(shù)據(jù)發(fā)射單元，其發(fā)射由所述數(shù)據(jù)處理單元生成的語音數(shù)據(jù)到分配時(shí)間段所分配到的記錄者的終端。
[0022]為了獲得上面的目標(biāo)，根據(jù)本發(fā)明一個(gè)方面的終端是一種由執(zhí)行對講話者的發(fā)聲記筆記的記錄者所使用的終端，包括:數(shù)據(jù)接收單元，其在分配給記錄者的每個(gè)分配時(shí)間段內(nèi)，從發(fā)射語音數(shù)據(jù)的信息遞送設(shè)備接收發(fā)聲的語音數(shù)據(jù)；輸入單元，其接受對應(yīng)于所述語音數(shù)據(jù)而輸入的文本數(shù)據(jù)的輸入；以及數(shù)據(jù)發(fā)射單元，其將輸入被接受的所述文本數(shù)據(jù)發(fā)射到由記筆記的用戶所使用的用戶終端。
[0023]而且，為了獲得上面的目標(biāo)，根據(jù)本發(fā)明一個(gè)方面的記筆記輔助方法是一種一種用于使用由執(zhí)行對講話者的發(fā)聲記筆記的記錄者所使用的記錄者的終端和發(fā)射發(fā)聲的語音數(shù)據(jù)到所述終端的信息遞送設(shè)備來輔助記筆記的方法，包括以下步驟:(a)使用所述信息遞送設(shè)備來從表達(dá)的語音中指定靜音部分，以及在指定的靜音部分中指定滿足設(shè)置條件的靜音部分，作為講話者的呼吸部分；(b)使用所述信息遞送設(shè)備來確定在分配給記錄者的每個(gè)分配時(shí)間段內(nèi)，基于分配時(shí)間段的結(jié)束點(diǎn)的范圍中是否存在呼吸部分，并且在該范圍中存在呼吸部分的情況下，從分配時(shí)間段的開始點(diǎn)生成發(fā)聲的語音數(shù)據(jù)直到呼吸部分，并且在范圍中不存在呼吸部分的情況下，從開始點(diǎn)生成發(fā)聲的語音數(shù)據(jù)直到分配時(shí)間段的結(jié)束點(diǎn)；(c)使用所述信息遞送設(shè)備來發(fā)射在步驟(b)中生成的語音數(shù)據(jù)到分配時(shí)間段所分配到的記錄者的終端；(d)使用所述的記錄者的終端來接收從所述信息遞送設(shè)備發(fā)射的所述語音數(shù)據(jù)；(e)使用所述的記錄者的終端來接受對應(yīng)于所述語音數(shù)據(jù)而輸入的所述文本數(shù)據(jù)的輸入；以及(f)使用所述的記錄者的終端來將在步驟(e)中接受輸入的所述文本數(shù)據(jù)發(fā)射到由記筆記的用戶所使用的用戶終端。
[0024]為了獲得上面的目標(biāo)，根據(jù)本發(fā)明一個(gè)方面的第一計(jì)算機(jī)可讀記錄介質(zhì)是一種計(jì)算機(jī)可讀記錄介質(zhì)，存儲用于由計(jì)算機(jī)發(fā)射講話者的發(fā)聲的語音數(shù)據(jù)到由執(zhí)行對發(fā)聲記筆記的記錄者所使用的記錄者的終端的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括用于使得計(jì)算機(jī)執(zhí)行以下步驟的命令:(a)從發(fā)聲的語音中指定靜音部分，以及在指定的靜音部分中指定滿足設(shè)置條件的靜音部分，作為講話者的呼吸部分；(b)確定在分配給記錄者的每個(gè)分配時(shí)間段內(nèi)，基于分配時(shí)間段的結(jié)束點(diǎn)的范圍中是否存在呼吸部分，并且在該范圍中存在呼吸部分的情況下，從分配時(shí)間段的開始點(diǎn)生成發(fā)聲的語音數(shù)據(jù)直到呼吸部分，并且在范圍中不存在呼吸部分的情況下，從開始點(diǎn)生成發(fā)聲的語音數(shù)據(jù)直到分配時(shí)間段的結(jié)束點(diǎn)；以及(c)發(fā)射在步驟(b)中生成的語音數(shù)據(jù)到分配時(shí)間段所分配到的記錄者的終端。
[0025]而且，為了獲得上面的目標(biāo)，根據(jù)本發(fā)明一個(gè)方面的第二計(jì)算機(jī)可讀記錄介質(zhì)是一種計(jì)算機(jī)可讀記錄介質(zhì)，存儲包括用于使得由執(zhí)行對講話者的發(fā)聲記筆記的記錄者所使用的計(jì)算機(jī)執(zhí)行以下步驟的命令的計(jì)算機(jī)程序:(a)在分配給記錄者的每個(gè)分配時(shí)間段內(nèi)，從發(fā)射語音數(shù)據(jù)的信息遞送設(shè)備接收發(fā)聲的語音數(shù)據(jù)；(b)接受對應(yīng)于所述語音數(shù)據(jù)而輸入的文本數(shù)據(jù)的輸入；以及(c)將在步驟(b)中接受的所述文本數(shù)據(jù)發(fā)射到由記筆記的用戶所使用的用戶終端。
[0026]發(fā)明的有益效果
[0027]根據(jù)本發(fā)明，如上所述，聽力損傷人員可以被提供準(zhǔn)確信息，即使在執(zhí)行記筆記的人員具有很少記筆記經(jīng)驗(yàn)的情況下。
【附圖說明】
[0028]圖1是示出本發(fā)明的實(shí)施例中的記筆記輔助系統(tǒng)的整體配置的配置圖。
[0029]圖2是具體示出本發(fā)明的實(shí)施例中的記筆記輔助系統(tǒng)的配置的框圖。
[0030]圖3是示出在圖2中示出的語音識別單元、呼吸檢測單元和數(shù)據(jù)處理單元的處理的示意圖。
[0031]圖4是示出本發(fā)明的實(shí)施例中的信息遞送設(shè)備的操作的流程圖。
[0032]圖5是示出本發(fā)明的實(shí)施例中的記錄者終端的操作的流程圖。
[0033]圖6是示出本發(fā)明的實(shí)施例中的用戶終端的操作的流程圖。
[0034]圖7是示出在本發(fā)明的實(shí)施例中實(shí)現(xiàn)信息遞送設(shè)備、記錄者終端和用戶終端的計(jì)算機(jī)的示例的框圖。
[0035]圖8是示出本發(fā)明的工作示例中語音識別單元、呼吸檢測單元和數(shù)據(jù)處理單元的處理的圖。
【具體實(shí)施方式】
[0036]發(fā)明概況
[0037]本發(fā)明幫助執(zhí)行對講話者的發(fā)聲記筆記的記錄者。在本發(fā)明中，信息遞送設(shè)備基于分配給記錄者的分配時(shí)間段來分割講話者的語音數(shù)據(jù)，并且將獲得的語音數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)發(fā)射到記錄者的終端。
[0038]此時(shí)，分配給記錄者的分配時(shí)間段的長度被根據(jù)例如記錄者的記筆記能力而設(shè)置的。具體地，在記錄者具有很少記筆記經(jīng)驗(yàn)的情況下，分配諸如少于30秒的短時(shí)間段。根據(jù)講話者的呼吸的定時(shí)來分割語音數(shù)據(jù)。因此，即使在記錄者具有很少經(jīng)驗(yàn)且發(fā)現(xiàn)難以在短時(shí)間內(nèi)創(chuàng)建總結(jié)的情況下，將創(chuàng)建易于被作為用戶的聽力損傷人員理解的總結(jié)。
[0039]而且，在本發(fā)明的優(yōu)選模式中，信息遞送設(shè)備能夠不僅遞送語音數(shù)據(jù)而且遞送視頻到記錄者的終端。在該模式下，記錄者能夠選擇最合適的場景來從遞送的視頻中總結(jié)，由記錄者所選的場景的靜止圖像與總結(jié)的文本數(shù)據(jù)一起被發(fā)射到用戶的終端。用戶對總結(jié)的理解將因此得到進(jìn)一步提高。此時(shí)，記錄者還能夠針對記筆記的內(nèi)容添加他或她自己的評論以便幫助用戶的理解。
[0040]而且，在上面的優(yōu)選模式中，信息遞送設(shè)備能夠從捕捉講話者周圍區(qū)域的多個(gè)相機(jī)獲取視頻并且能夠?qū)@取的視頻從多個(gè)相機(jī)遞送到記錄者的終端。在此情況下，記錄者可以選擇更合適的場景。
[0041]實(shí)施例
[0042]下面，將結(jié)合圖1到7來描述本發(fā)明的實(shí)施例中的記筆記輔助系統(tǒng)、信息遞送設(shè)備、終端、記筆記輔助方法和計(jì)算機(jī)程序。
[0043]系統(tǒng)配置
[0044]最初，將使用圖1來描述記筆記系統(tǒng)的系統(tǒng)配置。圖1是示出本發(fā)明的實(shí)施例中的記筆記輔助系統(tǒng)的整體配置的配置圖。
[0045]圖1中所示的本實(shí)施例的記筆記輔助系統(tǒng)400是一種用于輔助對講話者40的發(fā)聲記筆記的系統(tǒng)。如圖1中所示，記筆記系統(tǒng)400被提供有由執(zhí)行記筆記的記錄者50所使用的記錄者的終端200 (下文稱為“記錄者終端”)以及發(fā)射發(fā)聲的語音數(shù)據(jù)到記錄者終端200的信息遞送設(shè)備100。
[0046]而且，在圖1中，終端300是由作為記筆記用戶60的聽力損傷人