專利名稱：關(guān)聯(lián)賦予裝置、關(guān)聯(lián)賦予方法和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
這里所討論的實(shí)施方式涉及將對說話者所發(fā)出的語音進(jìn)行數(shù)據(jù)化后 的多個語音數(shù)據(jù)關(guān)聯(lián)起來的關(guān)聯(lián)賦予裝置、使用該關(guān)聯(lián)賦予裝置的關(guān)聯(lián) 賦予方法以及存儲用于實(shí)現(xiàn)所述關(guān)聯(lián)賦予裝置的計算機(jī)程序的記錄介 質(zhì)。
背景技術(shù)：
在通過電話與顧客對話的呼叫中心等的業(yè)務(wù)中，存在利用一次通話 沒有說完對話所涉及的要件而需要多次通話的情況。例如有針對來自 顧客的詢問而委托顧客進(jìn)行某些確認(rèn)的情況以及答復(fù)客戶的答復(fù)人(接 線員)需要向其他人員進(jìn)行確認(rèn)等調(diào)查的情況。
并且，有時為了掌握業(yè)務(wù)的進(jìn)展?fàn)顩r而要分析對通話內(nèi)容進(jìn)行錄音 的語音數(shù)據(jù)。在對通話內(nèi)容進(jìn)行分析時需要多次通話來對應(yīng)一個要件的 情況下，需要將多次的語音數(shù)據(jù)關(guān)聯(lián)成為一連串的通話。
因此提出了這樣的技術(shù)取得顧客的呼叫者號碼，以所取得的呼叫 者號碼為基準(zhǔn)來管理個人信息，并且根據(jù)利用針對通話內(nèi)容的語音識別
處理所提取出的關(guān)鍵詞來管理要件。請參照例如日本專利第3450250號 公t艮(Japanese PatentNo.3450250)。
在根據(jù)利用針對通話的語音識別處理所提取出的關(guān)鍵詞來管理要件 的情況下，可以對作為語音識別處理(語音識別)的結(jié)果而獲得的、具 有最高似然度的關(guān)鍵詞賦予語音識別處理的可信度。通話所包含的語音 會受到說話者含糊的發(fā)音、周圍環(huán)境引起的噪聲以及通話設(shè)備引起的電 氣噪聲等影響。由此會得到錯誤的語音識別結(jié)果。由于該原因，可以對 關(guān)鍵詞賦予語音識別的可信度。這么做的原因是，通過對關(guān)鍵詞賦予語 音識別的可信度，用戶可以根據(jù)可信度的高低來受理或放棄語音識別的結(jié)果。并且，用戶能夠避免由錯誤的語音識別引起的問題。作為導(dǎo)出語 音識別的可信度的方法，提出了例如競爭模型方式。在該方法中，計算 語音識別所使用的模型與競爭模型之間的似然比，根據(jù)該似然比來計算
可信度。作為其他方法，提出了利用夾在通話中的2個無聲區(qū)間之間的1 個聲響單位即發(fā)聲單位、或語句單位來計算可信度的方式。例如，參照 日本特平開2007—240589號公報，其整個內(nèi)容通過引用結(jié)合于此。
在上述日本專利第3450250號公報(Japanese Patent No.3450250)所 公幵的裝置中，以取得呼叫者號碼為前提。因此，裝置不適用于不通知 號碼等的通話。并且，在接收到來自相同的呼叫者號碼的呼叫的情況下， 裝置無法區(qū)別不同的說話者。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供能夠與呼叫者號碼無關(guān)地通過估計來將作為 一連串的通話的語音數(shù)據(jù)關(guān)聯(lián)起來的關(guān)聯(lián)賦予裝置、使用該關(guān)聯(lián)賦予裝 置的關(guān)聯(lián)賦予方法以及存儲用于實(shí)現(xiàn)所述關(guān)聯(lián)賦予裝置的計算機(jī)程序的 記錄介質(zhì)。因此，根據(jù)針對語音數(shù)據(jù)的語音識別處理的結(jié)果，導(dǎo)出語句 相似度，并且根據(jù)從語音數(shù)據(jù)中提取出的語音特征，導(dǎo)出語音數(shù)據(jù)之間 的說話者相似度，其中，所述語句相似度是基于語音數(shù)據(jù)之間所共用的 共用語句的出現(xiàn)率而得到的。然后，根據(jù)所導(dǎo)出的語句相似度和說話者 相似度導(dǎo)出關(guān)聯(lián)度，根據(jù)所導(dǎo)出的關(guān)聯(lián)度判定是否要將多個語音數(shù)據(jù)關(guān) 聯(lián)為一連串的通話。
提供一個方式所涉及的關(guān)聯(lián)賦予裝置，其用于將通過對說話者發(fā)出 的語音進(jìn)行數(shù)據(jù)化而得到的多個語音數(shù)據(jù)關(guān)聯(lián)起來，該關(guān)聯(lián)賦予裝置包 括語句相似度導(dǎo)出部，其根據(jù)針對各語音數(shù)據(jù)的語音識別處理的結(jié)果， 導(dǎo)出與各語音數(shù)據(jù)之間所共用的共用語句的出現(xiàn)率相關(guān)的數(shù)值，作為語 句相似度；說話者相似度導(dǎo)出部，其導(dǎo)出表示從各語音數(shù)據(jù)中提取出的 各個語音特征的比較結(jié)果的相似度，作為說話者相似度；關(guān)聯(lián)度導(dǎo)出部， 其根據(jù)所導(dǎo)出的語句相似度和說話者相似度，導(dǎo)出表示多個語音數(shù)據(jù)相 關(guān)聯(lián)的可能性的關(guān)聯(lián)度；以及關(guān)聯(lián)賦予部，其將所導(dǎo)出的關(guān)聯(lián)度為預(yù)先設(shè)定的閾值以上的多個語音數(shù)據(jù)關(guān)聯(lián)起來。


圖1是示出一個實(shí)施方式的關(guān)聯(lián)賦予裝置的硬件的結(jié)構(gòu)例的框圖。 圖2是概念性地示出本實(shí)施方式的關(guān)聯(lián)賦予裝置所具有的語音數(shù)據(jù) 庫的記錄內(nèi)容的一例的說明圖。
圖3是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的功能結(jié)構(gòu)例的功能框圖。 圖4是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的基干處理的一例的流程圖。
圖5是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置所輸出的關(guān)聯(lián)賦予結(jié)果的一 例的說明圖。
圖6是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的要件相似度導(dǎo)出處理中的 導(dǎo)出權(quán)重的一例的曲線圖。
圖7是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的要件相似度導(dǎo)出處理中的 表示異音同義詞的列表的一例的說明圖。
圖8是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的要件相似度導(dǎo)出處理的一 例的流程圖。
圖9A和圖9B是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的要件相似度導(dǎo)出 處理的具體例的圖表。
圖10是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的說話者相似度導(dǎo)出處理 的一例的流程圖。
圖11是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的關(guān)聯(lián)度導(dǎo)出處理中的罰函 數(shù)隨時間變化的一例的曲線圖。
圖12是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的關(guān)聯(lián)度導(dǎo)出處理中的罰 函數(shù)所使用的時間的具體例的圖表。
圖13是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置的關(guān)聯(lián)度導(dǎo)出處理中的罰 函數(shù)隨時間變化的一例的曲線圖。
具體實(shí)施方式
在上述日本專利第3450250號公報(Japanese Patent No.3450250)所 公開的裝置中，以取得呼叫者號碼為前提。因此，裝置不適用于不通知 號碼等的通話。并且，在接收到來自相同的呼叫者號碼的呼叫的情況下， 裝置無法區(qū)別不同的說話者。
本發(fā)明的目的在于提供能夠與呼叫者號碼無關(guān)地通過估計來將作為 一連串的通話的語音數(shù)據(jù)關(guān)聯(lián)起來的關(guān)聯(lián)賦予裝置、使用該關(guān)聯(lián)賦予裝 置的關(guān)聯(lián)賦予方法以及存儲用于實(shí)現(xiàn)所述關(guān)聯(lián)賦予裝置的計算機(jī)程序的 記錄介質(zhì)。因此，根據(jù)針對語音數(shù)據(jù)的語音識別處理的結(jié)果，來導(dǎo)出基 于語音數(shù)據(jù)之間所共用的共用語句的出現(xiàn)率的語句相似度，并且根據(jù)從 語音數(shù)據(jù)中提取出的語音特征，來導(dǎo)出語音數(shù)據(jù)間的說話者相似度。然 后，根據(jù)所導(dǎo)出的語句相似度和說話者相似度來導(dǎo)出關(guān)聯(lián)度，根據(jù)所導(dǎo) 出的關(guān)聯(lián)度來判定是否要將多個語音數(shù)據(jù)作為一連串的通話而關(guān)聯(lián)起 來。
以下根據(jù)示出本技術(shù)的實(shí)施方式的附圖來對本技術(shù)進(jìn)行詳細(xì)敘述。 實(shí)施方式所涉及的關(guān)聯(lián)賦予裝置是檢測通過對說話者所發(fā)出的語音進(jìn)行 數(shù)據(jù)化得到的多個語音數(shù)據(jù)的關(guān)聯(lián)性、進(jìn)而賦予關(guān)聯(lián)、之后進(jìn)行記錄和
輸出的裝置。所謂應(yīng)該關(guān)聯(lián)起來的多個語音數(shù)據(jù)是指如下這樣的數(shù)據(jù)
例如在接線員通過電話與顧客對話的呼叫中心等的業(yè)務(wù)中，在利用一次 通話沒有說完對話所涉及的要件而需要多次通話的情況下，與各次通話 相關(guān)的各個語音數(shù)據(jù)。即，本實(shí)施方式的關(guān)聯(lián)賦予裝置使與同一顧客的 關(guān)于同一要件的通話關(guān)聯(lián)成為一連串的通話。
圖1是示出一個實(shí)施方式的關(guān)聯(lián)賦予裝置的硬件的結(jié)構(gòu)例的框圖。 圖1所示的關(guān)聯(lián)賦予裝置1使用個人計算機(jī)等計算機(jī)來構(gòu)成。關(guān)聯(lián)賦予
裝置1具有控制機(jī)構(gòu)10、輔助存儲機(jī)構(gòu)11、記錄機(jī)構(gòu)12和存儲機(jī)構(gòu)13。 控制機(jī)構(gòu)10是控制裝置整體的CPU等機(jī)構(gòu)。輔助存儲機(jī)構(gòu)11是從記錄 本實(shí)施方式的計算機(jī)程序PRG等程序和數(shù)據(jù)等各種信息的CD-ROM等 記錄介質(zhì)讀取各種信息的CD-ROM驅(qū)動器等機(jī)構(gòu)。記錄機(jī)構(gòu)12是記錄 由輔助存儲機(jī)構(gòu)11讀取的各種信息的硬盤等機(jī)構(gòu)。進(jìn)而，存儲機(jī)構(gòu)13 是存儲臨時產(chǎn)生的信息的RAM等機(jī)構(gòu)。并且，使記錄機(jī)構(gòu)12中記錄的計算機(jī)程序PRG存儲到存儲機(jī)構(gòu)13中，利用控制機(jī)構(gòu)10來進(jìn)行控制， 由此計算機(jī)作為本實(shí)施方式的關(guān)聯(lián)賦予裝置1而工作。
而且，關(guān)聯(lián)賦予裝置l具有鼠標(biāo)、鍵盤等輸入機(jī)構(gòu)14、和監(jiān)視器、 打印機(jī)等輸出機(jī)構(gòu)15。
并且，關(guān)聯(lián)賦予裝置1的記錄機(jī)構(gòu)12的記錄區(qū)域的一部分用作記錄 語音數(shù)據(jù)的語音數(shù)據(jù)庫(語音DB) 12a。另外，也可以不將記錄機(jī)構(gòu)12 的記錄區(qū)域的一部分用作語音數(shù)據(jù)庫12a，而將與關(guān)聯(lián)賦予裝置1連接的 其他裝置用作語音數(shù)據(jù)庫12a。
語音數(shù)據(jù)庫12a中能夠以各種形式記錄語音數(shù)據(jù)。例如，可以將與 各次通話相關(guān)的語音數(shù)據(jù)記錄為彼此獨(dú)立的文件。并且，可以記錄為例 如包含多次通話的語音數(shù)據(jù)和用于確定該語音數(shù)據(jù)中所包含的各次通話 的數(shù)據(jù)。所謂包含多次通話的語音數(shù)據(jù)是指例如使用一臺電話機(jī)記錄的 一天中的語音數(shù)據(jù)。所謂用于確定語音數(shù)據(jù)中包含的各次通話的數(shù)據(jù)是 指表示每次通話的開始時刻和結(jié)束時刻的數(shù)據(jù)。圖2是概念性地示出本 實(shí)施方式的關(guān)聯(lián)賦予裝置1所具有的語音數(shù)據(jù)庫12a的記錄內(nèi)容的一例 的說明圖。圖2是示出在作為由每個電話的語音數(shù)據(jù)和用于確定該語音 數(shù)據(jù)中包含的各次通話的數(shù)據(jù)、構(gòu)成語音數(shù)據(jù)庫12的情況下，用于確定 通話的數(shù)據(jù)的記錄形式的一例。賦予了通話ID，來作為所記錄的用于確 定每個電話的語音數(shù)據(jù)所包含的各次通話的數(shù)據(jù)，對應(yīng)于通話ID，以記 錄內(nèi)容為單位記錄了開始時刻、結(jié)束時刻和關(guān)聯(lián)通話ID等各種項(xiàng)目。開 始時刻和結(jié)束時刻表示在原來的語音數(shù)據(jù)中，與該通話相對應(yīng)的區(qū)間的 開始時刻和結(jié)束時刻。另外，各時刻可以是絕對實(shí)際時刻，也可以是以 原來的語音數(shù)據(jù)的最初時刻作為"O: OO"的相對時刻。關(guān)聯(lián)通話ID是用 于確定通過關(guān)聯(lián)賦予裝置1的處理而與該通話ID相關(guān)聯(lián)的通話的ID。在 圖2所示的例子中，通話ID為"OOOl"、 "0005"和"0007"的通話被關(guān)聯(lián)成 為表示一連串的會話的通話。另外如上所述，可以將各次通話記錄為例 如^VAV文件等形式的語音數(shù)據(jù)，例如在該情況下，可以對與通話 ID"0O01"對應(yīng)的語音數(shù)據(jù)賦予"0001.wav"等文件名。 .
圖3是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1的功能結(jié)構(gòu)例的功能框圖。關(guān)聯(lián)賦予裝置1基于控制機(jī)構(gòu)10的控制來執(zhí)行記錄在記錄機(jī)構(gòu)12中的 本實(shí)施方式的計算機(jī)程序PRG，由此發(fā)揮通話組選擇部100、要件相似 度導(dǎo)出部101、說話者相似度導(dǎo)出部102、關(guān)聯(lián)度導(dǎo)出部103、關(guān)聯(lián)賦予 部104和語句列表105等的各種功能。
通話組選擇部100是用于執(zhí)行以下等的處理的程序模塊，g卩從記 錄在語音數(shù)據(jù)庫12a中的語音數(shù)據(jù)中選擇與要判定關(guān)聯(lián)性的多次通話相 關(guān)的語音數(shù)據(jù)。
要件相似度導(dǎo)出部(語句相似度導(dǎo)出部)101是用于執(zhí)行以下等的 處理的程序模塊，即導(dǎo)出通話組選擇部100選擇出的與多次通話相關(guān) 的語音數(shù)據(jù)中、表示通話內(nèi)容的要件的相似度的要件相似度(語句相似 度)。
說話者相似度導(dǎo)出部102是用于執(zhí)行以下等的處理的程序模塊，艮卩 導(dǎo)出由通話組選擇部100選擇出的與多次通話相關(guān)的語音數(shù)據(jù)中、表示 說話者的相似度的說話者相似度。
關(guān)聯(lián)度導(dǎo)出部103是用于執(zhí)行以下處理的程序模塊，即根據(jù)要件 相似度導(dǎo)出部101所導(dǎo)出的要件相似度和說話者相似度導(dǎo)出部102所導(dǎo) 出的說話者相似度，導(dǎo)出關(guān)聯(lián)度，該關(guān)聯(lián)度表示通話組選擇部100選擇 出的與多次通話相關(guān)的語音數(shù)據(jù)相關(guān)聯(lián)的可能性。
關(guān)聯(lián)賦予部104是用于執(zhí)行以下等的處理的程序模塊，g卩根據(jù)關(guān) 聯(lián)度導(dǎo)出部103所導(dǎo)出的關(guān)聯(lián)度，將與通話相關(guān)的語音數(shù)據(jù)關(guān)聯(lián)起來進(jìn) 行記錄并輸出。
語句列表105記錄了在要件相似度導(dǎo)出部101所執(zhí)行的要件相似度 的判定、關(guān)聯(lián)度導(dǎo)出部103所執(zhí)行的關(guān)聯(lián)度的導(dǎo)出等處理中、影響各個 處理的語句。另外，將在后面的處理的說明中，適當(dāng)?shù)卣f明記錄在語句 列表105中的語句的例子和使用方法。
接著，說明本實(shí)施方式的關(guān)聯(lián)賦予裝置1的處理。圖4是示出本實(shí) 施方式的關(guān)聯(lián)賦予裝置1的基干處理的一例的流程圖。關(guān)聯(lián)賦予裝置1 通過通話組選擇部100基于執(zhí)行計算機(jī)程序PRG的控制機(jī)構(gòu)10的控制 進(jìn)行的處理，來從語音數(shù)據(jù)庫12a中選擇多個語音數(shù)據(jù)(SIOI)。在下面的說明中，所謂語音數(shù)據(jù)是指表示以通話為單位的語音的語音數(shù)據(jù)。因
此，例如在語音數(shù)據(jù)庫12a中記錄有包含多次通話的語音數(shù)據(jù)的情況下， 下面說明中的語音數(shù)據(jù)表示與各次通話相關(guān)的語音數(shù)據(jù)。在之后的處理 中，對在步驟S101中所選擇的多個語音數(shù)據(jù)的關(guān)聯(lián)性進(jìn)行檢測。例如， 選擇通話ID為"0001"的語音數(shù)據(jù)和通話ID為"0002"的語音數(shù)據(jù)來檢測 它們之間的關(guān)聯(lián)性，然后選擇通話ID為"0001"的語音數(shù)據(jù)和通話ID為 "0003"的語音數(shù)據(jù)來檢測它們之間的關(guān)聯(lián)性，通過反復(fù)進(jìn)行這樣的處理
能夠檢測通話id為"ooor的語音數(shù)據(jù)與其他語音數(shù)據(jù)之間的關(guān)聯(lián)性。進(jìn)
而，檢測通話ID為"0002"的語音數(shù)據(jù)與其他語音數(shù)據(jù)之間的關(guān)聯(lián)性，檢 測通話ID為"0003"的語音數(shù)據(jù)與其他語音數(shù)據(jù)之間的關(guān)聯(lián)性，通過反復(fù) 進(jìn)行這樣的處理能夠檢測所有語音數(shù)據(jù)的關(guān)聯(lián)性。另外，也可以一次選 擇三個以上的語音數(shù)據(jù)來分別檢測它們之間的關(guān)聯(lián)性。
一個通話ID的語音數(shù)據(jù)具有不包含語音的數(shù)據(jù)區(qū)域即非語音區(qū)間。 并且，該語音數(shù)據(jù)具有夾在非語音區(qū)間之間的語音區(qū)間。在所述語音數(shù) 據(jù)中包含一個或多個這樣的語音區(qū)間。 一個語音區(qū)間包含說話者所發(fā)出 的一個或多個語句。在該一個語音區(qū)間中可以包含與如下的通話ID的語 音數(shù)據(jù)所包含的、說話者發(fā)出的語句共用的共用語句該通話ID的語音 數(shù)據(jù)是與包含所述一個語音區(qū)間的所述一個通話ID的語音數(shù)據(jù)不同的其 他通話ID的語音數(shù)據(jù)。語音區(qū)間的開始時刻可以定義為夾著語音區(qū)間的 非語音區(qū)間與該語音區(qū)間之間的時刻。此外，在語音區(qū)間從語音數(shù)據(jù)的 開始時刻開始的情況下，語音區(qū)間的開始時刻定義為語音數(shù)據(jù)的開始時 刻。語音數(shù)據(jù)(單個)中所包含的語音區(qū)間的開始時刻與共用語句出現(xiàn) 的時刻之間的時間間隔被定義為從一個通話ID的語音數(shù)據(jù)的開始時刻到 出現(xiàn)要件語句(共用語句)為止的經(jīng)過時間。
關(guān)聯(lián)賦予裝置1通過要件相似度導(dǎo)出部101基于控制機(jī)構(gòu)10的控制 進(jìn)行的處理，來針對通話組選擇部100所選擇的多個語音數(shù)據(jù)進(jìn)行語音 識別處理，根據(jù)語音識別處理的結(jié)果，導(dǎo)出各語音數(shù)據(jù)之間所共用的、 且與要件內(nèi)容有關(guān)的要件語句的出現(xiàn)率的數(shù)值，作為要件相似度(S102)。 在步驟S102中，與要件內(nèi)容有關(guān)的要件語句是語句列表105所示的語句。關(guān)聯(lián)賦予裝置1通過說話者相似度導(dǎo)出部102基于控制機(jī)構(gòu)10的控 制進(jìn)行的處理，來從通話組選擇部100所選擇的多個語音數(shù)據(jù)中提取各 個語音的特征，并導(dǎo)出表示提取出的特征的比較結(jié)果的相似度，作為說 話者相似度(S103)。
關(guān)聯(lián)賦予裝置1通過關(guān)聯(lián)度導(dǎo)出部103基于控制機(jī)構(gòu)10的控制進(jìn)行 的處理，根據(jù)要件相似度導(dǎo)出部101所導(dǎo)出的要件相似度和說話者相似 度導(dǎo)出部102所導(dǎo)出的說話者相似度，導(dǎo)出表示選擇出的多個語音數(shù)據(jù) 相關(guān)聯(lián)的可能性的關(guān)聯(lián)度(S104)。
在關(guān)聯(lián)度導(dǎo)出部103所導(dǎo)出的關(guān)聯(lián)度為預(yù)先設(shè)定的閾值以上的情況 下，關(guān)聯(lián)賦予裝置1通過關(guān)聯(lián)賦予部104基于控制機(jī)構(gòu)10的控制進(jìn)行的 處理，將選擇出的多個語音數(shù)據(jù)關(guān)聯(lián)起來(S105)，執(zhí)行向語音數(shù)據(jù)庫12a 進(jìn)行記錄等關(guān)聯(lián)賦予結(jié)果的輸出(S106)。在步驟S105中，在關(guān)聯(lián)度小 于閾值的情況下，不將選擇出的多個語音數(shù)據(jù)關(guān)聯(lián)起來。如圖2所示， 在步驟S106中，以記錄為關(guān)聯(lián)通話ID的方式來進(jìn)行記錄。另外，在步 驟S106中，示出了通過將關(guān)聯(lián)起來的語音數(shù)據(jù)記錄在語音數(shù)據(jù)庫12a中 而輸出關(guān)聯(lián)賦予的結(jié)果的方式，但是可以進(jìn)行例如利用向作為監(jiān)視器的 輸出機(jī)構(gòu)15進(jìn)行顯示等其他方法進(jìn)行輸出等的各種輸出。然后，關(guān)聯(lián)賦 予裝置1針對作為關(guān)聯(lián)賦予的候選的所有語音數(shù)據(jù)的組執(zhí)行步驟S101 S106的處理。
可以采用各種形式來輸出記錄在語音數(shù)據(jù)庫12a中的關(guān)聯(lián)賦予的結(jié) 果。圖5是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1所輸出的關(guān)聯(lián)賦予結(jié)果的 一例的說明圖。在圖5中，以時間的經(jīng)過為橫軸，以關(guān)聯(lián)起來的內(nèi)容為 縱軸，利用曲線圖形式來表示它們的關(guān)系。圖5的曲線圖中的長方形表 示與語音數(shù)據(jù)相關(guān)的通話，示于長方形上方的數(shù)字表示語音數(shù)據(jù)的通話 ID。長方形的橫向的長度和位置表示通話的時間和時刻。連接長方形的 虛線表示將各個通話關(guān)聯(lián)起來的狀況?？v軸側(cè)所示出的語句表示與導(dǎo)出 要件相似度時使用的要件語句對應(yīng)的要件內(nèi)容。例如，通話ID為"0001"、 "OO05"和"0OO7"的語音數(shù)據(jù)根據(jù)"再發(fā)布密碼"這一要件內(nèi)容而關(guān)聯(lián)起來。 通過將圖5所示的檢測結(jié)果顯示在例如作為監(jiān)視器的輸出機(jī)構(gòu)15上，從而通過目視識別到輸出結(jié)果的用戶能夠掌握各語音數(shù)據(jù)的關(guān)聯(lián)性和內(nèi) 容。另外，只要能夠按照每個語音數(shù)據(jù)來判斷通話方向，即是與由來自 顧客側(cè)的呼叫相關(guān)的通話還是與由接線員側(cè)的呼叫相關(guān)的通話，也可以 利用明確示出該情況的顯示方法來進(jìn)行輸出。
在上述基干處理中，將本實(shí)施方式的關(guān)聯(lián)賦予裝置1用于在將多個 語音數(shù)據(jù)適當(dāng)?shù)仃P(guān)聯(lián)起來后的分類等用途，但是不限于這種方式，可以 擴(kuò)展為各種方式。例如，可以擴(kuò)展為用于如下用途等各種方式針對一 個語音數(shù)據(jù)，從預(yù)先記錄的多個語音數(shù)據(jù)中選擇可以關(guān)聯(lián)起來的語音數(shù) 據(jù)；以及提取與通話中的語音關(guān)聯(lián)起來的語音數(shù)據(jù)。
接著，說明基干處理中所執(zhí)行的各處理。首先說明作為基干處理的
步驟S102所執(zhí)行的要件相似度計算處理。另外，在基干處理的步驟SIOI 中，設(shè)為選擇了通話A的語音數(shù)據(jù)和通話B的語音數(shù)據(jù)，從而以下說明 導(dǎo)出通話A的語音數(shù)據(jù)和通話B的語音數(shù)據(jù)的要件相似度。
關(guān)聯(lián)賦予裝置1通過要件相似度計算部102的處理來進(jìn)行針對語音 數(shù)據(jù)的語音識別處理，并根據(jù)語音識別處理的結(jié)果來導(dǎo)出通話A的語音 數(shù)據(jù)與通話B的語音數(shù)據(jù)之間所共用的、且與要件內(nèi)容有關(guān)的要件語句 的出現(xiàn)率的數(shù)值，作為要件相似度。
語音識別處理采用通常所普及的關(guān)鍵詞識別(keyword spotting)方 式。但是，不限于關(guān)鍵詞識別法，也可以采用針對被稱為聽寫的全文書 寫方式的識別結(jié)果即字符串檢測關(guān)鍵詞而提取關(guān)鍵詞等各種方法。由關(guān) 鍵詞識別法所檢測的關(guān)鍵詞和由全文書寫方式提取的關(guān)鍵詞使用預(yù)先記 錄在語句列表105中的要件語句。所謂要件語句是指"個人電腦"、"硬盤"、 "故障"等與要件相關(guān)聯(lián)的語句，以及"昨天"、"剛才"等與要件的說明相關(guān) 聯(lián)的語句等語句。另外，也可以僅將與要件相關(guān)聯(lián)的語句作為要件語句 看待。
要件相似度(語句相似度)由下式(1)導(dǎo)出，所述式(1)使用了 共用語句數(shù)Kc和總語句數(shù)Kn，共用語句數(shù)Kc表示在通話A的語音數(shù) 據(jù)和通話B的語音數(shù)據(jù)雙方中都出現(xiàn)的語句的數(shù)量，總語句數(shù)Kn表示 在通話A的語音數(shù)據(jù)和通話B的語音數(shù)據(jù)的至少一方中出現(xiàn)的語句的數(shù)量。另外，在對共用語句數(shù)Kc和總語句數(shù)Kn進(jìn)行計數(shù)時，在同一語句 出現(xiàn)多次的情況下，每一次出現(xiàn)該同一語句時，計數(shù)為1次。通過這種 方式所導(dǎo)出的要件相似度Ry為0以上1以下的值。
Ry=2xKc/Kn ... (1)
其中，Ry:要件相似度
KC:共用語句數(shù) Kn:總語句數(shù)
另外，式(1)在總語句數(shù)Kn是自然數(shù)的情況下成立。在總語句數(shù) Kn為O的情況下，要件相似度Ry作為O來處理。
通過對上述要件相似度導(dǎo)出處理進(jìn)一步進(jìn)行各種調(diào)整，能夠提高所 導(dǎo)出的要件相似度Ry的可信度。針對用于提高要件相似度Ry的可信度 的調(diào)整進(jìn)行說明。由于要件相似度Ry的導(dǎo)出所涉及的要件語句是由語音 識別處理所識別的結(jié)果，因此識別結(jié)果中有可能包含錯誤。因此，根據(jù) 語音識別處理的可信度，使用調(diào)整后的下式(2)來導(dǎo)出要件相似度Ry， 能夠提高要件相似度Ry的可信度。
<formula>formula see original document page 13</formula>其中，C^:通話A的語音數(shù)據(jù)中的第i個共用語句的語音識別的可信
度
:通話B的語音數(shù)據(jù)中的第i個共用語句的語音識別的可信度
另外，式(2)在總語句數(shù)Kn是自然數(shù)的情況下成立。在總語句數(shù) Kn為0的情況下，要件相似度Ry作為0來處理。并且，在一次通話中 出現(xiàn)多次相同的共用語句的情況下，可以使用最高的可信度來導(dǎo)出要件 相似度Ry，也可以進(jìn)一步根據(jù)出現(xiàn)次數(shù)進(jìn)行調(diào)整，以提高可信度。
并且，由于語音數(shù)據(jù)是在呼叫中心中對對話進(jìn)行數(shù)據(jù)化得到的數(shù)據(jù)， 因此，與本來的要件關(guān)系密切的語句在通話的最初，例如從通話開始起 到30秒鐘以內(nèi)出現(xiàn)的可能性高。因此，通過使用下式(3)來導(dǎo)出要件相似度Ry,能夠提高要件相似度Ry的可信度，所述式(3)是通過對所 出現(xiàn)的要件語句乘以基于從對話開始到出現(xiàn)該要件語句為止的時間t得 到的權(quán)重W(t)來進(jìn)行調(diào)整的。
2 x Z x C4 ) x C柳)/ Z(『(7^) x C4') +Z(『(rs,) x Cs,) (AT" > 0)
V''=l /=1 乂
=0 (《"=0)
(3)
其中，『W:基于從對話開始起的經(jīng)過時間t得到的權(quán)重
:從通話A的語音數(shù)據(jù)的開始時刻到出現(xiàn)第i個要件語句為止的 經(jīng)過時間
:從通話B的語音數(shù)據(jù)的開始時刻到出現(xiàn)第i個要件語句為止的 經(jīng)過時間
作為與要件語句A的共用語句的通話B的數(shù)據(jù)中的要件語句
圖6是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1的要件相似度導(dǎo)出處理中 的導(dǎo)出權(quán)重W(t)的一例的曲線圖。圖6以經(jīng)過時間t為橫軸，以權(quán)重W(t) 為縱軸，示出了它們的關(guān)系。通過使用例如圖6所示的曲線，能夠根據(jù) 經(jīng)過時間t導(dǎo)出式(3)中所使用的權(quán)重W(t)。從圖6可知，對到經(jīng)過時 間t到達(dá)30秒之前所出現(xiàn)的要件語句賦予大的權(quán)重，而此后所賦予的權(quán) 重急劇下降。這樣，以在對話開始后的早期階段、例如30秒以內(nèi)所出現(xiàn) 的要件語句與本來的要件關(guān)系密切為前提，根據(jù)出現(xiàn)要件語句為止的時 間來調(diào)整要件相似度Ry，由此能夠提高要件相似度Ry的可信度。
并且，由于要件相似度Ry的導(dǎo)出所涉及的要件語句是由語音識別處 理識別的結(jié)果，因此將"PC"、"個人電腦"、"個人計算機(jī)"等相關(guān)的要件 語句、即異音同義詞判定為不同的要件語句。因此，通過基于異音同義 詞來對要件相似度Ry進(jìn)行調(diào)整，能夠提高要件相似度Ry的可信度。
圖7是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1的要件相似度導(dǎo)出處理中 的異音同義詞的列表的一例的說明圖。如圖7所示，例如，將"PC"、"個人電腦"、"個人計算機(jī)"視為都可以用"PC"來表示的相同的要件語句， 對共用語句數(shù)Kc進(jìn)行計數(shù)，由此能夠提高要件相似度Ry的可信度。示 出這樣的異音同義詞的列表作為語句列表105的一部分而安裝在關(guān)聯(lián)賦 予裝置1上。
圖8是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1的要件相似度導(dǎo)出處理的 一例的流程圖。說明對根據(jù)上述各種要因而調(diào)整后的要件相似度進(jìn)行計 算的處理。關(guān)聯(lián)賦予裝置1通過要件相似度導(dǎo)出部101基于控制機(jī)構(gòu)10 的控制進(jìn)行的處理，來對針對通話A的語音數(shù)據(jù)和通話B的語音數(shù)據(jù)的 識別處理結(jié)果進(jìn)行異音同義詞的變換處理(S201)。通過使用圖7所示的 列表來進(jìn)行異音同義詞的變換處理。例如，將"PC"、"個人電腦"以及"個 人計算機(jī)"變換為"PC"。另外，從同一說話者針對一個對象使用相同語句 的可能性高的觀點(diǎn)考慮，也可以在基于異音同義詞的要件相似度高的情 況下，進(jìn)行調(diào)整，以減小最終導(dǎo)出的關(guān)聯(lián)度。
關(guān)聯(lián)賦予裝置1通過要件相似度導(dǎo)出部101基于控制機(jī)構(gòu)10的控制 進(jìn)行的處理，來導(dǎo)出各要件語句的可信度(S202)，進(jìn)而導(dǎo)出各要件語句 的權(quán)重(S203)。步驟S202的可信度是針對語音識別的可信度，使用在 語音識別處理時利用己經(jīng)提出的一般的技術(shù)而導(dǎo)出的值。步驟S203的權(quán) 重是根據(jù)要件語句的出現(xiàn)時間而導(dǎo)出的。
然后，關(guān)聯(lián)賦予裝置1通過要件相似度導(dǎo)出部101基于控制機(jī)構(gòu)10 的控制進(jìn)行的處理，來導(dǎo)出要件相似度Ry (S204)。在步驟S204中，使 用上述式(3)來導(dǎo)出要件相似度Ry。在基于出現(xiàn)時刻的權(quán)重大的區(qū)間中 一致的要件語句越多，并且針對該要件語句的語音識別處理時的可信度 越高，則通過這種方式導(dǎo)出的要件相似度Ry的值越接近l。另外，也可 以不導(dǎo)出要件語句彼此的相似度，而是預(yù)先準(zhǔn)備將要件語句與要件內(nèi)容 關(guān)聯(lián)起來的表，根據(jù)要件語句導(dǎo)出所關(guān)聯(lián)起來的要件內(nèi)容的相似度。
圖9A和圖9B是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1的要件相似度導(dǎo) 出處理的具體例的圖表。圖9A以記錄內(nèi)容形式來表示與基于針對通話A 的語音數(shù)據(jù)的語音識別處理的結(jié)果的要件語句有關(guān)的信息。與要件語句 有關(guān)的信息針對語句編號i、要件語句、變換后的要件語句、出現(xiàn)時刻TAi、權(quán)重W(TAi)、可信度CAi、 W(TAi)xCAi、對應(yīng)的通話B的語句編號j等 的每個項(xiàng)目進(jìn)行表示。圖9B以記錄內(nèi)容形式來表示與基于針對通話B 的語音數(shù)據(jù)的語音識別處理的結(jié)果的要件語句有關(guān)的信息。與要件語句 有關(guān)的信息針對語句編號i、要件語句、變換后的要件語句、出現(xiàn)時刻 TBj、權(quán)重W(TBj)、可信度CBj、 W(TBj)xCBj等的每個項(xiàng)目進(jìn)行表示。
在圖9A和圖9B所示的例子中，使用上述式(3)計算出的要件相 似度Ry如下所示。其中，總語句數(shù)&=9+8 = 17，即Kn〉0。
Ry = 2x{(lx0.8 3xlx0.8 2) + (lx0.8 2xlx0.9 1) + (1x0.86x1x0.88) + (0.97x0.88x1x0,77)} / (6.2 9 + 5.0 6)
=0.622
這樣，執(zhí)行了要件相似度計算處理。
接著，說明作為基干處理的步驟S103所執(zhí)行的說話者相似度計算處 理。圖IO是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1的說話者相似度導(dǎo)出處理 的一例的流程圖。在基千處理的步驟SIOI中，設(shè)為選擇了通話A的語音 數(shù)據(jù)和通話B的語音數(shù)據(jù)，從而以下說明導(dǎo)出通話A的語音數(shù)據(jù)和通話 B的語音數(shù)據(jù)的說話者相似度。
關(guān)聯(lián)賦予裝置1通過說話者相似度導(dǎo)出部102基于控制機(jī)構(gòu)10的控 制進(jìn)行的處理，來導(dǎo)出通過將通話A的語音數(shù)據(jù)和通話B的語音數(shù)據(jù)的 物理特征數(shù)值化得到的特征量(S301)。步驟S301的特征量也可以稱為 特征參數(shù)、語音參數(shù)等，通過矢量、矩陣等方式來利用該特征量。作為 在步驟S301中所導(dǎo)出的特征量， 一般使用例如Mel-Frequency Cepstrum Coefficient (MFCC: Mel頻率倒譜系數(shù))、Bark Frequency Cepstrum Coefficient (BFCC: BARK頻率倒譜系數(shù))、Linear Prediction filter Coefficients (LPC:線性預(yù)測濾波系數(shù))、LPC cepstral (LPC倒普系數(shù))、 Perceptual Linear Prediction cepstrum (PLP:感知線性預(yù)測倒譜)、動力系 數(shù)、以及這些特征量的一次、二次回歸系數(shù)的組合。并且，也可以是 RelAtive SpecTrA (RASTA:相對譜)、Differential Mel Frequency Cepstmm Coefficient (DMFCC:差分MEL頻率倒譜系數(shù))、Cepstrum MeanNormalization (CMN:倒譜均值歸一化)、Spectral Subtraction (SS:光譜
差減)等歸一化處理或與噪聲去除處理的組合。
關(guān)聯(lián)賦予裝置1通過說話者相似度導(dǎo)出部102基于控制機(jī)構(gòu)10的控 制進(jìn)行的處理，利用基于所導(dǎo)出的通話A的語音數(shù)據(jù)的特征量和通話B 的語音數(shù)據(jù)的特征量的似然度估計等模型估計，來生成通話A的說話者 模型和通話B的說話者模型(S302)?？梢岳靡话愕恼f話者識別、說話 者核對等技術(shù)所使用的模型估計技術(shù)來生成步驟S302的說話者模型。作 為說話者模型，可以應(yīng)用矢量量化(VQ: Vector Quantization)、 Hidden Markov Model (HMM:隱馬爾可夫模型)等模型，而且也可以是將音韻 識別用不確定說話者模型應(yīng)用于說話者的確定說話者音韻HMM。
關(guān)聯(lián)賦予裝置1通過說話者相似度導(dǎo)出部102基于控制機(jī)構(gòu)10的控 制進(jìn)行的處理，來計算通話A的說話者模型中的通話B的語音數(shù)據(jù)的似 然度P (B|A)和通話B的說話者模型中的通話A的語音數(shù)據(jù)的似然度P
(A|B) (S303)。在計算步驟S303的似然度P (B|A)禾Q P (A|B)時， 可以預(yù)先進(jìn)行語音識別處理，并根據(jù)被識別為發(fā)出同一語句的區(qū)間的數(shù) 據(jù)，按照每個語句分別生成說話者模型，從而計算各似然度。而且，例 如通過取得每個語句的各似然度的平均，來計算作為步驟S303的處理結(jié) 果的似然度P (B|A)和似然度P (A|B)。
關(guān)聯(lián)賦予裝置1通過說話者相似度導(dǎo)出部102基于控制機(jī)構(gòu)10的控 制進(jìn)行的處理，來導(dǎo)出似然度P (B|A)和似然度P (A|B)的平均值，作 為說話者相似度Rs (S304)。這里，期望迸行范圍調(diào)整(歸一化)，以使 說話者相似度Rs收斂在0以上1以下的范圍內(nèi)。并且，從運(yùn)算精度的觀 點(diǎn)考慮，也可以利用取似然度對數(shù)值的對數(shù)似然度。另外，在步驟S304 中，也可以將說話者相似度Rs計算為似然度P (B|A)和似然度P (A|B) 的平均值以外的值。例如，在通話B的語音數(shù)據(jù)短的情況下，也可以視 為根據(jù)通話B的語音數(shù)據(jù)而生成的通話B的說話者模型的可信度低，將 似然度P (B|A)的值作為說話者似然度Rs。
另夕卜，也可以一次導(dǎo)出3個以上的語音數(shù)據(jù)的說話者相似度Rs。例 如通過如下方式來計算通話A、通話B和通話C的說話者相似度Rs。<formula>formula see original document page 18</formula>上述說話者相似度導(dǎo)出處理是以在一個語音數(shù)據(jù)中只包含一個說話 者所發(fā)出的語音為前提。但是，在實(shí)際的語音數(shù)據(jù)中，有時在一個語音 數(shù)據(jù)中包含多個說話者所發(fā)出的語音。例如，包含呼叫中心的接線員和 顧客的語音的情況，以及多個客戶交替通話的情況等。因此，優(yōu)選在說
話者相似度導(dǎo)出處理中，采取防止由于在一個語音數(shù)據(jù)中包含多個人的 語音而導(dǎo)致說話者相似度Rs的可信度下降的處理。所謂防止可信度下降 的處理是指使從一個語音數(shù)據(jù)中使確定用于導(dǎo)出說話者相似度的一個 說話者的語音變得容易的處置。
說明從包含多個說話者語音的語音數(shù)據(jù)中確定作為目的的一個說話 者語音的方法之一。首先，執(zhí)行針對語音數(shù)據(jù)的說話者分類處理和說話 者標(biāo)簽賦予處理，按照說話者來對發(fā)聲區(qū)間進(jìn)行分類。具體而言，在語 音數(shù)據(jù)中，按照被非語音區(qū)間分隔開的每個語音區(qū)間來生成說話者的特 征矢量，并對所生成的說話者的特征矢量進(jìn)行分類。然后，針對分類出 的各類別來生成說話者模型，進(jìn)行賦予識別符的說話者標(biāo)簽賦予。在對 說話者賦予標(biāo)簽時，求出與各個語音區(qū)間相關(guān)的語音數(shù)據(jù)彼此之間的最 大似然度，決定最佳說話者模型，由此來決定要賦予標(biāo)簽的說話者。
然后，按照對與各語音區(qū)間相關(guān)的語音數(shù)據(jù)貼附標(biāo)簽后的每個說話 者來計算通話時間，從計算說話者相似度時所使用的語音數(shù)據(jù)中排除計 算出的時間在預(yù)先設(shè)定的下限時間以下、或者該說話者的通話時間相對 于整個通話時間的比率在預(yù)先設(shè)定的下限率以下的說話者的語音數(shù)據(jù)。 通過這種方式能夠縮小針對語音數(shù)據(jù)的說話者的范圍。
即使縮小了上述說話者的范圍，在一個語音數(shù)據(jù)中包含多個說話者 發(fā)出的語音時，也仍按照每個說話者來導(dǎo)出說話者相似度。即，在通話A 的語音數(shù)據(jù)中包含說話者SA1、 SA2、...的語音，通話B的語音數(shù)據(jù)中 包含說話者SB1、 SB2、.,.的語音的情況下，針對各個說話者的組合導(dǎo)出 說話者似然度Rs (SAi， SBj): i = l、 2、 ...，j-l、 2、...。然后，導(dǎo)出所有 說話者相似度Rs (SAi， SBi)的最大值或平均值，作為說話者相似度Rs。另外，這里導(dǎo)出的所謂說話者相似度Rs表示針對顧客的說話者相似
度。因此，能夠通過確定多個說話者語音中由接線員發(fā)出的語音，來排 除接線員說話的區(qū)間。對確定接線員發(fā)出的語音的方法的例子進(jìn)行說明。 如前所述，執(zhí)行針對語音數(shù)據(jù)的說話者分類處理和說話者標(biāo)簽賦予處理， 按照說話者來對發(fā)聲區(qū)間進(jìn)行分類。然后通過語音識別處理來檢測包含 規(guī)定語句的語音區(qū)間，該規(guī)定語句是在接到呼叫時接線員說出的概率高 的語句，例如"是的，這里是富士通支持中心"等。然后，從計算說話者 相似度時所使用的語音數(shù)據(jù)中排除針對包含該規(guī)定語句的語音區(qū)間的語 音數(shù)據(jù)賦予了標(biāo)簽的說話者的發(fā)聲區(qū)間。另外，作為規(guī)定語句的語句使
用預(yù)先記錄在例如語句列表105中的語句。
對確定接線員發(fā)出的語音的其他例子進(jìn)行說明。首先，針對記錄在 語音數(shù)據(jù)庫12a中的所有語音數(shù)據(jù)，執(zhí)行說話者分類處理和說話者標(biāo)簽 賦予處理，按照說話者來對發(fā)聲區(qū)間進(jìn)行分類。然后，將多個語音數(shù)據(jù) 中包含預(yù)先設(shè)定的預(yù)定頻度以上的發(fā)聲的說話者看作接線員，從計算說 話者相似度時所使用的語音數(shù)據(jù)中排除被賦予了針對該說話者標(biāo)簽的語 音區(qū)間。
另外，通過將接線員側(cè)的語音和顧客側(cè)的語音設(shè)為不同通道中的語 音數(shù)據(jù)，能夠容易地排除接線員。但是，即使是將顧客側(cè)的語音設(shè)為接 聽側(cè)的通道來與接線員側(cè)的語音相區(qū)分而進(jìn)行錄音的系統(tǒng)，由于錄音方 法的不同，有時在表示顧客側(cè)的語音的接聽側(cè)的通道中，仍會包含接線 員側(cè)的語音的回聲。針對這樣的回聲，能夠通過執(zhí)行將接線員側(cè)的語音 作為參照信號、將顧客側(cè)的語音作為觀測信號的回聲消除處理，來去除 該回聲。
并且，可以預(yù)先基于接線員發(fā)出的語音生成說話者模型，去除與接 線員相關(guān)的語音區(qū)間。而且，只要能夠根據(jù)通話時刻和電話臺來確定接 線員，就能夠通過加入該狀況來以更高的精度去除與接線員相關(guān)的語音 區(qū)間。
在關(guān)聯(lián)賦予裝置1所執(zhí)行的說話者相似度計算處理中，在一個語音 數(shù)據(jù)中包含多個說話者的語音的情況下，通過并用上述各種方法，根據(jù)針對一個語音數(shù)據(jù)而選擇出的一個說話者的語音，導(dǎo)出說話者相似度。 例如，在語音數(shù)據(jù)中包含接線員和顧客的語音的情況下，選擇作為顧客 的說話者的語音而導(dǎo)出說話者相似度，從而能夠提高關(guān)聯(lián)賦予的精度。 這樣，執(zhí)行說話者相似度計算處理。
接著，說明基干處理中作為步驟S104所執(zhí)行的關(guān)聯(lián)度導(dǎo)出處理和作
為步驟S105所執(zhí)行的關(guān)聯(lián)賦予處理。關(guān)聯(lián)度導(dǎo)出處理是這樣的處理根
據(jù)要件相似度Ry和說話者相似度Rs，導(dǎo)出表示多個語音數(shù)據(jù)(這里是 通話A的語音數(shù)據(jù)和通話B的語音數(shù)據(jù))相關(guān)聯(lián)的可能性的關(guān)聯(lián)度Rc。 并且，所謂關(guān)聯(lián)賦予處理是指如下這樣的處理將所導(dǎo)出的關(guān)聯(lián)度Rc與 預(yù)先設(shè)定的閾值Tc進(jìn)行比較，在關(guān)聯(lián)度Rc為閾值以上的情況下，將通 話A的語音數(shù)據(jù)和通話B的語音數(shù)據(jù)關(guān)聯(lián)起來。
如下式(4)所示，將關(guān)聯(lián)度Rc作為要件相似度Ry和說話者相似 度Rs的積來導(dǎo)出。
Rc=RyxRs…(4)
其中，R"關(guān)聯(lián)度
Ry:要件相似度 RS:說話者相似度
式(4)中所使用的要件相似度Ry和說話者相似度Rs取0以上1 以下的值，因此利用式(4)而導(dǎo)出的關(guān)聯(lián)度Rc也是O以上l以下的值。 另外，作為與關(guān)聯(lián)度Rc進(jìn)行比較的閾值Tc，設(shè)定為例如0.5等的值。
另外，如下式(5)所示，也可以將關(guān)聯(lián)度Rc作為要件相似度Ry 和說話者相似度Rs的加權(quán)平均值來導(dǎo)出。
Rc=WyxRy +WsxRs…(5)
其中，Wy和Ws是使Wy+Ws-l的權(quán)重系數(shù)
由于權(quán)重系數(shù)Wy、 Ws之和為1，因此利用式(5)而導(dǎo)出的關(guān)聯(lián)度 Rc也是0以上1以下的值。根據(jù)要件相似度Ry和說話者相似度Rs的可 信度來設(shè)定權(quán)重系數(shù)Wy、 Ws，由此能夠?qū)С隹尚哦雀叩年P(guān)聯(lián)度Rc。
例如根據(jù)語音數(shù)據(jù)的時間長度來設(shè)定權(quán)重系數(shù)Wy、 Ws。在語音數(shù) 據(jù)的時間長度長的情況下，說話者相似度Rs的可信度高。因此，根據(jù)通話A的語音數(shù)據(jù)和通話B的語音數(shù)據(jù)中短的一方的通話時間T(分鐘)來 設(shè)定如下所示的權(quán)重系數(shù)Wy、 Ws，由此能夠提高關(guān)聯(lián)度Rc的可信度。 Ws = 0.3 (T<10) Ws = 0.3+ (T—IO) x0.02 (102<30) Ws = 0.7 (T^30) Wy=l-Ws
另外，可根據(jù)其他要因，例如導(dǎo)出說話者相似度Rs時的語音識別處 理的可信度等各種要因來適當(dāng)?shù)卦O(shè)定權(quán)重系數(shù)Wy、 Ws。
并且，在要件相似度Ry和說話者相似度Rs中的一方的值低的情況 下，也可以在不考慮基于式(4)或式(5)的導(dǎo)出結(jié)果的情況下來導(dǎo)出 關(guān)聯(lián)度Rc。即，僅是要件和說話者中的一方相似而另一方不相似時，視 為是一連串通話的可能性低，防止利用計算式導(dǎo)出關(guān)聯(lián)度Rc而進(jìn)行關(guān)聯(lián) 賦予的情況。具體而言，在要件相似度Ry小于預(yù)先設(shè)定的閾值Ty的情 況下，或說話者相似度Rs小于預(yù)先設(shè)定的閾值Ts的情況下，導(dǎo)出為關(guān) 聯(lián)度Rc二O。在該情況下，通過省略基于式(4)或式(5)的關(guān)聯(lián)度Rc 的導(dǎo)出，能夠減輕關(guān)聯(lián)賦予裝置1的處理負(fù)荷。
而且，在語音數(shù)據(jù)中包含特定語句的情況下，也可以與要件相似度 導(dǎo)出處理中的語音識別處理相協(xié)作，來對關(guān)聯(lián)度Rc進(jìn)行調(diào)整。例如，在 語音數(shù)據(jù)中包含"剛才通過電話"、"昨天通過電話"、"關(guān)于剛才的事情"、 "關(guān)于您電話中所述的事情"等表示話題繼續(xù)的特定語句的情況下，在該 語音數(shù)據(jù)的以前的語音數(shù)據(jù)中存在應(yīng)該關(guān)聯(lián)起來的語音數(shù)據(jù)的可能性 高。因此，在包含這樣的表示話題繼續(xù)的特定語句的情況下，通過進(jìn)行 將關(guān)聯(lián)度Rc除以例如0.9等預(yù)定值來增大關(guān)聯(lián)度Rc的調(diào)整，能夠提高 關(guān)聯(lián)賦予的可信度。另外，也可以不進(jìn)行使關(guān)聯(lián)度Rc增大的調(diào)整，而是 進(jìn)行對閾值Tc乘以0.9等預(yù)定值來減小閾值Tc的調(diào)整。但是，這樣的調(diào) 整是在檢測語音數(shù)據(jù)所涉及的時刻、并判定與包含特定語句的語音數(shù)據(jù) 以前的語音數(shù)據(jù)的關(guān)聯(lián)性的情況下進(jìn)行的。另外，在包含"暫時掛斷一 下"、"過一會兒再打電話"等表示之后會繼續(xù)話題的特定語句的情況下， 在判定與包含特定語句的語音數(shù)據(jù)以后的語音數(shù)據(jù)的關(guān)聯(lián)性時，進(jìn)行增大關(guān)聯(lián)度Rc或減小閾值Tc的調(diào)整。這樣的特定語句作為語句列表105 的一部分而安裝在關(guān)聯(lián)賦予裝置1中。
并且，在語音數(shù)據(jù)中包含"己經(jīng)再發(fā)布"、"己經(jīng)確認(rèn)完畢"、"手續(xù)完 成"、"已經(jīng)解決"等表示話題結(jié)束的特定語句的情況下，在該語音數(shù)據(jù)的 以后的語音數(shù)據(jù)中存在應(yīng)該關(guān)聯(lián)起來的語音數(shù)據(jù)的可能性低。因此，在 包含這樣的表示話題結(jié)束的特定語句的情況下，通過進(jìn)行使關(guān)聯(lián)度Rc減 小或使關(guān)聯(lián)度Rc為O的調(diào)整，能夠提高關(guān)聯(lián)賦予的可信度。另外，也可 以不進(jìn)行使關(guān)聯(lián)度Rc減小的調(diào)整，而是進(jìn)行使閾值Tc增大的調(diào)整。但 是，這樣的調(diào)整是在檢測語音數(shù)據(jù)所涉及的時刻、并判定與包含特定語 句的語音數(shù)據(jù)以后的語音數(shù)據(jù)的關(guān)聯(lián)性的情況下進(jìn)行的。另外，在包含 表示話題開始的特定語句的情況下，在判定與包含特定語句的語音數(shù)據(jù) 以前的語音數(shù)據(jù)的關(guān)聯(lián)性時，進(jìn)行減小關(guān)聯(lián)度Rc或增大閾值Tc的調(diào)整。
而且，在語音數(shù)據(jù)中包含表示之后會繼續(xù)話題的特定語句的情況下， 有時能夠從特定語句的內(nèi)容中預(yù)測到在經(jīng)過一定時間的時點(diǎn)出現(xiàn)應(yīng)該關(guān) 聯(lián)起來的語音數(shù)據(jù)的可能性高。在這種情況下，如下式(6)所示，乘以 作為時間函數(shù)而變化的罰函數(shù)來調(diào)整關(guān)聯(lián)度Rc,由此能夠提高關(guān)聯(lián)度Rc 的可信度。
Rc，-RcxPenalty (t) …(6)
其中，Rc':調(diào)整后的關(guān)聯(lián)度Rc
t-包含特定語句的語音數(shù)據(jù)后的時間
Penalty (t):罰函數(shù) 另外，基于罰函數(shù)的關(guān)聯(lián)度Rc的調(diào)整不限于式(6)所示的調(diào)整。 例如也可以按照下式(7)那樣，執(zhí)行基于罰函數(shù)的關(guān)聯(lián)度Rc的調(diào)整。 Rc，= max[(Rc- (1 — Penalty (t)) ,0}〗...(7) 圖11是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1的關(guān)聯(lián)度導(dǎo)出處理中的罰 函數(shù)隨時間變化的一例的曲線圖。圖12是示出本實(shí)施方式的關(guān)聯(lián)賦予裝 置1的關(guān)聯(lián)度導(dǎo)出處理中的罰函數(shù)所使用的時間的具體例的圖表。在圖11 中，以包含特定語句的語音數(shù)據(jù)所涉及的通話結(jié)束后的經(jīng)過時間t為橫 軸，以罰函數(shù)為縱軸，示出了它們的關(guān)系。如圖11所示，罰函數(shù)的斜率以經(jīng)過時間T1、 T2、 T3和T4為基準(zhǔn)而變化。即，示出了以下情況雖 然在包含特定語句的語音數(shù)據(jù)所涉及的通話結(jié)束后，應(yīng)該關(guān)聯(lián)起來的通 話出現(xiàn)在T2 T3的時間帶中，但是也有可能最短在Tl 、最長在T4出現(xiàn)。 可以通過以下方式來表示這種罰函數(shù)的時間變化。
Penalty(t)=0 (t^Tl) Penalty (t)二(t一Tl) / (T2 —Tl)
(T 1 < t <T 2 )
Penaty(t)=l (T2^tST3) Penalty (t)=l — (t—T3) / (T4 — T3)
(T 3 < t <T 4) Penalty(t)=0 (T4St) 圖12示出了特定語句和圖ll所示的Tl、 T2、 T3和T4的具體例。 例如，在語音數(shù)據(jù)中包含特定語句"再發(fā)布密碼"的情況下，以以下情況 為前提來設(shè)定各數(shù)值，即從該語音數(shù)據(jù)所涉及的通話結(jié)束開始，在60 180秒后進(jìn)行應(yīng)該關(guān)聯(lián)起來的通話的可能性高，而在30秒以前或者300 秒以后進(jìn)行應(yīng)該關(guān)聯(lián)起來的通話的可能性非常低。另外，也可以不將特 定語句與T1、 T2、 T3和T4的數(shù)值對應(yīng)起來，而將特定語句與要件關(guān)聯(lián) 起來，進(jìn)而將要件與數(shù)值關(guān)聯(lián)起來，由此根據(jù)特定語句導(dǎo)出T1、 T2、 T3 和T4。并且，也可以不設(shè)置T1 T2、 T3 T4這樣的緩沖期間，而在偏 離了根據(jù)特定語句而關(guān)聯(lián)起來的時間范圍的情況下，設(shè)Rc=0。
并且，也可以不采用從包含特定語句的語音數(shù)據(jù)所涉及的通話結(jié)束 開始的相對時間，而是設(shè)定為以絕對的日期時間為函數(shù)而變化的罰函數(shù)。 例如，在包含"3點(diǎn)左右進(jìn)行聯(lián)系"、"明天再次聯(lián)系"等表示下次通話時期 的特定語句的情況下，使用以日期時間為函數(shù)而變化的罰函數(shù)。
圖13是示出本實(shí)施方式的關(guān)聯(lián)賦予裝置1的關(guān)聯(lián)度導(dǎo)出處理中的罰 函數(shù)隨時間變化的一例的曲線圖。圖13以通話開始時刻tb為橫軸，以罰 函數(shù)為縱軸，示出了它們的關(guān)系。圖13示出了根據(jù)"3點(diǎn)左右進(jìn)行聯(lián)系" 這一特定語句而設(shè)定的罰函數(shù)的值。另外，基于罰函數(shù)的關(guān)聯(lián)度Rc的調(diào) 整使用上述式(6)、式(7)等。而且，當(dāng)通話A和通話B在時間上重合時，進(jìn)行使關(guān)聯(lián)度Rc為O 等的各種調(diào)整。
上述實(shí)施方式只不過是多個實(shí)施方式的一部分，可以對各種硬件和 軟件等的結(jié)構(gòu)進(jìn)行適當(dāng)設(shè)定。并且，也可以對應(yīng)于安裝方式進(jìn)行各種設(shè) 定以提高本技術(shù)所涉及的關(guān)聯(lián)賦予的精度。
例如，可以預(yù)先從與過去的多個說話者的通話相關(guān)的多個語音數(shù)據(jù) 生成全局模型(global model),使用與全局模型的似然比來對說話者相似 度進(jìn)行歸一化，由此提高說話者相似度的精度，進(jìn)而提高關(guān)聯(lián)賦予的精 度。
并且，可以預(yù)先按照說話者對與過去的多個說話者的通話相關(guān)的多 個語音數(shù)據(jù)進(jìn)行分層分類，將與通話中的說話者矢量接近的說話者的模 型作為隊(duì)列模型(cohortmodd),使用與隊(duì)列模型的似然比來對說話者相 似度迸行歸一化，由此提高說話者相似度的精度，進(jìn)而提高關(guān)聯(lián)賦予的 精度。
并且，可以預(yù)先按照說話者對與過去的多個說話者的通話相關(guān)的多 個語音數(shù)據(jù)進(jìn)行分層分類，計算正在通話中的說話者矢量與哪個類別接 近，由此縮小說話者相似度的導(dǎo)出對象的范圍。
并且，可在語音數(shù)據(jù)中包含表示說話人的交接的要件語句的情況下， 也可以只利用要件相似度來導(dǎo)出關(guān)聯(lián)度。
并且，可以在通話時或通話結(jié)束時，對規(guī)定的裝置輸入"未結(jié)束(之 后再次撥打)"、"繼續(xù)(與之后的通話繼續(xù))"、"單獨(dú)(沒有與其他語音 數(shù)據(jù)關(guān)聯(lián)起來)"等表示繼續(xù)性的信息，并將表示繼續(xù)性的信息與語音數(shù) 據(jù)關(guān)聯(lián)起來進(jìn)行記錄，由此來提高關(guān)聯(lián)賦予的精度。并且，也可以在每 次通話結(jié)束時制作說話者模型并進(jìn)行記錄。但是，在將表示"單獨(dú)"的信 息關(guān)聯(lián)起來的情況下，從削減資源的觀點(diǎn)來看，期望采取措施以廢棄說 話者的模型。
根據(jù)所公開的內(nèi)容，從根據(jù)基于共用語句的出現(xiàn)率的語句相似度和 語音特征而導(dǎo)出的說話者相似度來導(dǎo)出關(guān)聯(lián)度，根據(jù)關(guān)聯(lián)度來判定是否 要將語音數(shù)據(jù)關(guān)聯(lián)起來，由此能夠?qū)⒒谝驼f話者的一連串的語音數(shù)據(jù)關(guān)聯(lián)起來。并且，在確定說話者時，不需要呼叫者號碼的通知，而 且能夠區(qū)分與相同呼叫者號碼相關(guān)的多個人。
本公開內(nèi)容包含了如下內(nèi)容根據(jù)針對各語音數(shù)據(jù)的語音識別處理 的結(jié)果，導(dǎo)出與各語音數(shù)據(jù)之間所共用的共用語句的出現(xiàn)率相關(guān)的數(shù)值， 作為語句相似度，導(dǎo)出表示從對說話者發(fā)出的語音進(jìn)行數(shù)據(jù)化后的多個 語音數(shù)據(jù)中提取出的各個語音特征的比較結(jié)果的相似度，作為說話者相 似度，根據(jù)所導(dǎo)出的語句相似度和說話者相似度來導(dǎo)出表示多個語音數(shù) 據(jù)相關(guān)聯(lián)的可能性的關(guān)聯(lián)度，將所導(dǎo)出的關(guān)聯(lián)度與設(shè)定的閾值進(jìn)行比較， 將關(guān)聯(lián)度為閾值以上的多個語音數(shù)據(jù)關(guān)聯(lián)起來。
根據(jù)該結(jié)構(gòu)而發(fā)揮如下的出色的效果能夠根據(jù)語句和說話者來將 要件相連續(xù)的一連串的語音數(shù)據(jù)關(guān)聯(lián)起來。并且，發(fā)揮如下的出色的效 果在確定說話者時，不需要通知呼叫者號碼，而且能夠區(qū)分與相同呼 叫者號碼相關(guān)的多個人。
權(quán)利要求
1. 一種關(guān)聯(lián)賦予裝置，其用于將通過對說話者發(fā)出的語音進(jìn)行數(shù)據(jù)化而得到的多個語音數(shù)據(jù)關(guān)聯(lián)起來，該關(guān)聯(lián)賦予裝置包括語句相似度導(dǎo)出部，其根據(jù)針對各語音數(shù)據(jù)的語音識別處理的結(jié)果，導(dǎo)出所述語音數(shù)據(jù)之間所共用的共用語句的出現(xiàn)率；說話者相似度導(dǎo)出部，其導(dǎo)出從語音數(shù)據(jù)中提取出的語音特征的比較結(jié)果；關(guān)聯(lián)度導(dǎo)出部，其根據(jù)所導(dǎo)出的語句相似度和說話者相似度，導(dǎo)出表示多個語音數(shù)據(jù)相關(guān)聯(lián)的可能性的關(guān)聯(lián)度；以及關(guān)聯(lián)賦予部，其將所導(dǎo)出的關(guān)聯(lián)度為預(yù)先設(shè)定的閾值以上的多個語音數(shù)據(jù)關(guān)聯(lián)起來。
2. 根據(jù)權(quán)利要求1所述的關(guān)聯(lián)賦予裝置，其中， 語句相似度導(dǎo)出部根據(jù)語音識別處理的可信度、和語音數(shù)據(jù)中包含的語音區(qū)間的開始時刻與共用語句出現(xiàn)的時刻之間的時間間隔中的至少 一方，調(diào)整語句相似度。
3. 根據(jù)權(quán)利要求1所述的關(guān)聯(lián)賦予裝置，其中， 在語音數(shù)據(jù)中包含多個說話者的語音的情況下，說話者相似度導(dǎo)出部根據(jù)一個說話者的語音導(dǎo)出說話者相似度。
4. 根據(jù)權(quán)利要求1所述的關(guān)聯(lián)賦予裝置，其中， 關(guān)聯(lián)度導(dǎo)出部通過對語句相似度和說話者相似度進(jìn)行加權(quán)平均來導(dǎo)出關(guān)聯(lián)度，并且根據(jù)與語音數(shù)據(jù)相關(guān)的語音的時間長度改變權(quán)重系數(shù)。
5. 根據(jù)權(quán)利要求1所述的關(guān)聯(lián)賦予裝置，其中， 關(guān)聯(lián)賦予部根據(jù)針對語音數(shù)據(jù)的語音識別處理的結(jié)果，判定語音數(shù)據(jù)中是否包 含表示話題的幵始或者話題的結(jié)束或者話題的繼續(xù)的特定語句， 在判定為包含有特定語句的情況下，調(diào)整關(guān)聯(lián)度或閾值。
6. 根據(jù)權(quán)利要求1 5中的任意一項(xiàng)所述的關(guān)聯(lián)賦予裝置，其中， 語音數(shù)據(jù)包含表示時刻的時刻數(shù)據(jù)，在應(yīng)該成為關(guān)聯(lián)賦予對象的多個語音數(shù)據(jù)的時間間隔相互重復(fù)的情 況下，關(guān)聯(lián)度導(dǎo)出部或關(guān)聯(lián)賦予部從關(guān)聯(lián)賦予對象中排除應(yīng)該成為關(guān)聯(lián) 賦予對象的多個語音數(shù)據(jù)。
7. —種使用關(guān)聯(lián)賦予裝置的關(guān)聯(lián)賦予方法，該關(guān)聯(lián)賦予裝置用于將 通過對說話者發(fā)出的語音進(jìn)行數(shù)據(jù)化而得到的多個語音數(shù)據(jù)關(guān)聯(lián)起來，該關(guān)聯(lián)賦予方法包括執(zhí)行以下處理的步驟根據(jù)針對各語音數(shù)據(jù)的語音識別處理的結(jié)果，導(dǎo)出語音數(shù)據(jù)之間所 共用的共用語句的出現(xiàn)率，作為語句相似度；導(dǎo)出表示從語音數(shù)據(jù)中提取出的語音特征的比較結(jié)果的相似度，作 為說話者相似度；根據(jù)所導(dǎo)出的語句相似度和說話者相似度，導(dǎo)出表示多個語音數(shù)據(jù) 相關(guān)聯(lián)的可能性的關(guān)聯(lián)度；以及將所導(dǎo)出的關(guān)聯(lián)度為預(yù)先設(shè)定的閾值以上的多個語音數(shù)據(jù)相互關(guān)聯(lián) 起來。
全文摘要
本發(fā)明提供在基于各個通話的多個語音數(shù)據(jù)內(nèi)，將要件相連續(xù)的語音數(shù)據(jù)關(guān)聯(lián)成為一連串的語音數(shù)據(jù)的關(guān)聯(lián)賦予裝置、關(guān)聯(lián)賦予方法和記錄介質(zhì)。關(guān)聯(lián)賦予裝置根據(jù)針對所選擇的語音數(shù)據(jù)的語音識別處理的結(jié)果，導(dǎo)出各語音數(shù)據(jù)之間所共用的、且與要件內(nèi)容有關(guān)的要件語句的出現(xiàn)率的數(shù)值，作為要件相似度(S102)。并且，關(guān)聯(lián)賦予裝置導(dǎo)出表示從多個語音數(shù)據(jù)中提取出的語音的特征的比較結(jié)果的相似度，作為說話者相似度(S103)。然后，關(guān)聯(lián)賦予裝置根據(jù)要件相似度和說話者相似度，導(dǎo)出表示所選擇的多個語音數(shù)據(jù)相關(guān)聯(lián)的可能性的關(guān)聯(lián)度(S104)，并在關(guān)聯(lián)度為預(yù)先設(shè)定的閾值以上的情況下，將所選擇的多個語音數(shù)據(jù)關(guān)聯(lián)起來(S105)。
文檔編號H04M3/42GK101547261SQ20081019052
公開日2009年9月30日 申請日期2008年12月30日 優(yōu)先權(quán)日2008年3月27日
發(fā)明者鷲尾信之 申請人:富士通株式會社