專利名稱：：積和運(yùn)算電路和方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種并行進(jìn)行乘法和累加的積和運(yùn)算電路和方法。
背景技術(shù)：
：計(jì)算機(jī)正在迅猛發(fā)展，并且近來(lái)應(yīng)用于社會(huì)生活的各個(gè)方面。然而，在人容易處理的方面(例如，實(shí)時(shí)人臉識(shí)別)，這些被稱為諾依曼(Neumann)型的計(jì)算機(jī)的能力卻非常弱，這是因?yàn)樗鼈兊奶幚矸桨副旧淼脑?。為了?zhí)行這種處理，作為模擬大腦信息處理方法的運(yùn)算處理模型，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究。通常，作為形成神經(jīng)網(wǎng)絡(luò)的神經(jīng)元的模型，利用突觸(synaptic)權(quán)重對(duì)多個(gè)單元(神經(jīng)元)的輸出值進(jìn)行加權(quán)，然后，將乘積輸入到對(duì)應(yīng)于神經(jīng)元的單元。進(jìn)一步對(duì)輸入值的和進(jìn)行非線性變換，然后輸出它們。即，在一般神經(jīng)網(wǎng)絡(luò)中，通過(guò)在每個(gè)單元中和單元之間進(jìn)行積和運(yùn)算和非線性變換來(lái)實(shí)現(xiàn)所期望的處理。作為采用神經(jīng)元模型的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，傳統(tǒng)上已提出了將執(zhí)行積和運(yùn)算的單元互相連接起來(lái)的相關(guān)存儲(chǔ)器，或者將執(zhí)行積和運(yùn)算的單元分層連接起來(lái)的模式識(shí)別模型。為了使神經(jīng)網(wǎng)絡(luò)投入實(shí)際應(yīng)用并將其形成為集成電路，必須更有效地執(zhí)行積和運(yùn)算。特別是，需要在運(yùn)算的執(zhí)行速度和功率消耗方面更有效率。已經(jīng)提出了與執(zhí)行積和運(yùn)算的神經(jīng)元模型和神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)有關(guān)的各種建議。例如，日本專利公開第05-210651號(hào)公報(bào)公開了一種執(zhí)行積和運(yùn)算以形成分層神經(jīng)計(jì)算機(jī)的方法。
發(fā)明內(nèi)容本發(fā)明的目的在于提供一種通過(guò)在積和運(yùn)算中控制運(yùn)算順序或運(yùn)算范圍來(lái)降低功率消耗并提高速度的積和運(yùn)算電路和方法。為了實(shí)現(xiàn)上述目的，例如，根據(jù)本發(fā)明的一個(gè)方面，提供一種積和運(yùn)算電路，包括排序電路，其以大小的降序或升序輸出多個(gè)操作數(shù)值；乘法電路，其將從所述排序電路輸出的每個(gè)操作數(shù)值與相應(yīng)的操作數(shù)值相乘；以及累加和電路，其計(jì)算所述乘法電路的乘法結(jié)果的累加和。根據(jù)本發(fā)明的另一方面，提供一種執(zhí)行積和運(yùn)算的方法，其包括如下步驟以大小的降序或升序輸出多個(gè)操作數(shù)值；將每個(gè)所輸出的操作數(shù)值乘以相應(yīng)的操作數(shù)值；以及計(jì)算乘法結(jié)果的累加和。根據(jù)下面結(jié)合附圖所做的說(shuō)明，本發(fā)明的其他特征和優(yōu)點(diǎn)將變得明顯，在全部附圖中，相同的附圖標(biāo)記表示相同或相似的部分。包含在說(shuō)明書中并構(gòu)成說(shuō)明書的一部分的附圖示出了本發(fā)明的實(shí)施例，并與說(shuō)明書一起用于解釋本發(fā)明的原理。圖1是示出根據(jù)第一實(shí)施例的積和運(yùn)算電路的例子的方框圖；圖2是示出根據(jù)第一實(shí)施例的數(shù)字運(yùn)算電路的例子的方框圖；圖3是示出根據(jù)第一實(shí)施例由輸入值保持電路和排序電路的功能構(gòu)成的第一實(shí)施例的相關(guān)存儲(chǔ)電路(associativememorycircuit)的存儲(chǔ)單元結(jié)構(gòu)的例子的示意圖；圖4是示出根據(jù)第一實(shí)施例的存儲(chǔ)器的存儲(chǔ)單元結(jié)構(gòu)的例子的示意圖；圖5是示出根據(jù)第一實(shí)施例的積和運(yùn)算電路的另一例子的方框圖；圖6是示出根據(jù)第二實(shí)施例的模擬運(yùn)算電路的例子的方框圖；圖7是示出根據(jù)第二實(shí)施例的輸入值保持塊的例子的方框圖；圖8是示出根據(jù)第二實(shí)施例的排序塊的例子的方框圖；圖9是示出根據(jù)第二實(shí)施例的權(quán)重保持塊的例子的方框圖；圖10是示出根據(jù)第三實(shí)施例的積和運(yùn)算電路例子的方框圖；圖11是示出根據(jù)第三實(shí)施例的模擬運(yùn)算電路例子的方框圖；圖12是示出根據(jù)第三實(shí)施例的斜坡生成電路例子的方框圖；圖13是示出根據(jù)第四實(shí)施例的模擬運(yùn)算電路例子的方框圖；圖14是示出根據(jù)第四實(shí)施例的積和運(yùn)算電路例子的方框圖；圖15是示出根據(jù)第四實(shí)施例的斜坡生成電路例子的方框圖；圖16是示出根據(jù)第五實(shí)施例的積和運(yùn)算電路例子的方框圖；圖17是示出根據(jù)第六實(shí)施例的積和運(yùn)算電路例子的方框圖；圖18是示出根據(jù)第六實(shí)施例的斜坡生成電路例子的方框圖；圖19是示出根據(jù)第七實(shí)施例的積和運(yùn)算電路例子的方框圖；圖20是示出根據(jù)第七實(shí)施例的斜坡生成電路例子的方框圖；圖21是示出神經(jīng)網(wǎng)絡(luò)模型的示意圖；圖22A和22B是示出根據(jù)第八實(shí)施例的積和運(yùn)算電路例子的方框圖；圖23是示出S形(sigmoid)變換的示意圖；圖24A和24B是示出根據(jù)第八實(shí)施例的積和運(yùn)算電路的另一例子的方框圖；圖25A和25B是示出根據(jù)第九實(shí)施例的積和運(yùn)算電路例子的方框圖；圖26是示出根據(jù)第十實(shí)施例的積和運(yùn)算電路中的排序電路和預(yù)定值保持存儲(chǔ)器的方框圖；圖27是示出根據(jù)第十一實(shí)施例的積和運(yùn)算電路中的排序電路、定值保持存儲(chǔ)器以及預(yù)定值保持存儲(chǔ)器的方框圖；圖28是示出根據(jù)第十二實(shí)施例的積和運(yùn)算電路中的排序電路和預(yù)定數(shù)(比例)保持存儲(chǔ)器的方框圖；圖29是示出根據(jù)第十三實(shí)施例的積和運(yùn)算電路中的排序電路、預(yù)定數(shù)(比例)保持存儲(chǔ)器以及定值保持存儲(chǔ)器的方框圖；圖30A和30B是示出根據(jù)第十四實(shí)施例的積和運(yùn)算電路的例子的方框圖；以及圖31是示出第十四實(shí)施例中的運(yùn)算處理的流程圖。具體實(shí)施例方式現(xiàn)在，根據(jù)附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施例。第一實(shí)施例圖1是示出根據(jù)該實(shí)施例的積和運(yùn)算電路的方框圖。如圖1所示，根據(jù)該實(shí)施例的積和運(yùn)算電路包括運(yùn)算單元100，其包括多個(gè)運(yùn)算塊(圖1所示例子中的運(yùn)算塊1至6)；輸入值保持塊2，用于保持操作數(shù)值Xi；權(quán)重值保持塊3，用于保持操作數(shù)值Wi；排序塊4，用于以大小的降序輸出操作數(shù)值Xi；以及切換塊5，用于將操作數(shù)值Xi和操作數(shù)值Wi輸入到對(duì)應(yīng)于操作數(shù)值Xi的標(biāo)簽的運(yùn)算塊。注意，操作數(shù)值Xi和操作數(shù)值Wi中的i是用于表示不同X和W的后綴，其是自然數(shù)，例如1、2、3、...(這也適用于下面的說(shuō)明)。圖2示出利用數(shù)字電路構(gòu)成運(yùn)算塊1的數(shù)字運(yùn)算電路。如圖2所示，根據(jù)該實(shí)施例的數(shù)字運(yùn)算電路包括3個(gè)寄存器6a至6c、乘法器7以及加減器8。接著，說(shuō)明根據(jù)該實(shí)施例的積和運(yùn)算電路的運(yùn)算處理。如圖1所示，多個(gè)操作數(shù)值Xi保持在輸入保持塊2內(nèi)，排序塊4以大小的降序排序并輸出它們。在該實(shí)施例中，如果存在具有相同的值的操作數(shù)值Xi，則以任意順序輸出它們。相反，可以事先設(shè)置適當(dāng)順序。隨后，將該操作數(shù)值Xi具有的標(biāo)簽從排序塊4輸入到切換塊5。根據(jù)該標(biāo)簽，切換塊5執(zhí)行切換，以將從排序塊4輸出的操作數(shù)值Xi輸入到對(duì)應(yīng)于該標(biāo)簽的運(yùn)算塊。一個(gè)運(yùn)算塊或者多個(gè)運(yùn)算塊可以對(duì)應(yīng)于操作數(shù)值Xi的標(biāo)簽。在該實(shí)施例描述的例子中，多個(gè)運(yùn)算塊對(duì)應(yīng)于一個(gè)標(biāo)簽。在該實(shí)施例中，利用相關(guān)存儲(chǔ)電路實(shí)現(xiàn)由輸入保持塊2和排序塊4執(zhí)行的處理。圖3示出相關(guān)存儲(chǔ)電路的存儲(chǔ)單元結(jié)構(gòu)的例子。如圖3所示，相關(guān)存儲(chǔ)電路保持操作數(shù)值Xi的值以及該操作數(shù)值Xi的標(biāo)簽和檢測(cè)標(biāo)志。相關(guān)存儲(chǔ)電路具有將輸入搜索值與所保持的數(shù)據(jù)進(jìn)行比較，并輸出具有一致的值的數(shù)據(jù)的功能。通過(guò)以大小的降序逐個(gè)讀出沒(méi)有檢測(cè)標(biāo)志的操作數(shù)值Xi及其標(biāo)簽，并利用相關(guān)存儲(chǔ)電路的常規(guī)功能對(duì)所讀取的值設(shè)置檢測(cè)標(biāo)志，可以實(shí)現(xiàn)由輸入保持模塊和排序塊執(zhí)行的處理。即，通過(guò)從對(duì)應(yīng)于最大操作數(shù)值Xi的值開始，以大小的降序順序?qū)⑺阉髦递斎氲较嚓P(guān)存儲(chǔ)電路，然后讀出具有一致的值的數(shù)據(jù)，可以實(shí)現(xiàn)排序功能(相反，可以以操作數(shù)值Xi的大小的升序讀出數(shù)據(jù))。在該實(shí)施例中，如上所述，利用相關(guān)存儲(chǔ)電路實(shí)現(xiàn)輸入保持塊2和排序塊4的功能。然而，詳細(xì)的電路配置不是本發(fā)明的要點(diǎn)。只要可以執(zhí)行類似的處理，可以采用其他任意處理配置。將權(quán)重值保持塊3輸出的多個(gè)操作數(shù)值Wi輸入到預(yù)定運(yùn)算塊。在該實(shí)施例中，即使對(duì)于操作數(shù)值Wi，切換塊5也像對(duì)操作數(shù)值Xi那樣，根據(jù)每個(gè)操作數(shù)值Xi的標(biāo)簽進(jìn)行切換，以將操作數(shù)值Wi輸入到由標(biāo)簽所確定的預(yù)定運(yùn)算塊。與該實(shí)施例不同，可以獨(dú)立于操作數(shù)值Xi的標(biāo)簽事先設(shè)置操作數(shù)值Wi應(yīng)該輸入到的運(yùn)算塊。此外，輸入到每個(gè)運(yùn)算塊的操作數(shù)值Wi的值可以保持不變，或者在運(yùn)算之間變化。在該實(shí)施例中，可以利用通用SRAM電路形成權(quán)重值保持塊3。然而，只要可以執(zhí)行類似的處理，可以采用其他任意處理配置。通過(guò)執(zhí)行上述處理，將操作數(shù)值Xi和操作數(shù)值Wi輸入到預(yù)定運(yùn)算塊。在該實(shí)施例中，預(yù)定運(yùn)算塊(要在其中執(zhí)行運(yùn)算處理的運(yùn)算塊)是圖1中的運(yùn)算塊3至5。將說(shuō)明要在操作數(shù)值Xi和操作數(shù)值Wi輸入到的預(yù)定運(yùn)算塊中執(zhí)行的運(yùn)算處理。在未被輸入操作數(shù)值Xi的運(yùn)算塊中不執(zhí)行運(yùn)算處理。在圖2所示的運(yùn)算塊中，操作數(shù)值Xi和操作數(shù)值Wi分別臨時(shí)保持在寄存器6a和寄存器6b內(nèi)。然后，利用乘法器7計(jì)算Xi×Wi。將Xi×Wi的乘法結(jié)果輸入到加減器8，與保持在寄存器6c內(nèi)的結(jié)果進(jìn)行加/減運(yùn)算，然后，保持在寄存器6c內(nèi)。通過(guò)重復(fù)上述處理，將多個(gè)Xi×Wi的乘法結(jié)果的累加值保持到寄存器6c內(nèi)。當(dāng)預(yù)定數(shù)量的累加結(jié)束時(shí)，輸出該累加值。如上所述，利用排序塊4中的處理，以大小的降序輸入要保持在寄存器6a內(nèi)的操作數(shù)值Xi。連續(xù)輸入具有相同值的操作數(shù)值Xi。因?yàn)樵撛颍c隨機(jī)輸入操作數(shù)值Xi的情況相比，寄存器內(nèi)的數(shù)據(jù)轉(zhuǎn)換頻率變低，因此可以降低數(shù)據(jù)轉(zhuǎn)換的功率消耗。在該實(shí)施例中，將操作數(shù)值Xi本身從排序塊4輸入到運(yùn)算單元1。在以大小的降序在相關(guān)存儲(chǔ)器內(nèi)搜索操作數(shù)值Xi時(shí)，可以僅當(dāng)值Xi發(fā)生變化時(shí)改變保持在該運(yùn)算塊的寄存器6a內(nèi)的值。在這種情況下，不僅將操作數(shù)值Xi本身，而且將指示適當(dāng)更新寄存器6a內(nèi)的值的標(biāo)志信號(hào)從排序塊4輸入到運(yùn)算單元1。在該實(shí)施例中，排序塊4以大小的降序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序。即使在以大小的升序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序時(shí)，也可以獲得與上述相同的效果。在該實(shí)施例中，將相關(guān)存儲(chǔ)器的輸出直接輸入到運(yùn)算單元1和切換塊5?？梢詫⒁源笮〉慕敌驈南嚓P(guān)存儲(chǔ)器輸出的操作數(shù)值Xi的數(shù)據(jù)臨時(shí)輸入并保持在例如SRAM的存儲(chǔ)器內(nèi)，然后，從該SRAM輸入到運(yùn)算單元1和切換塊5。在這種情況下，可以將每個(gè)操作數(shù)值的標(biāo)簽和值保持在存儲(chǔ)器內(nèi)。如上所述，代替保持該值，可以保持表示以大小的降序排列的操作數(shù)值Xi的值發(fā)生變化的位置的標(biāo)志。圖4示出當(dāng)在SRAM內(nèi)保持標(biāo)志時(shí)的存儲(chǔ)單元結(jié)構(gòu)的例子。接著，參考圖5說(shuō)明在該實(shí)施例中將操作數(shù)值Xi輸入到輸入值保持塊2以作為PWM(脈寬調(diào)制)信號(hào)的情況。簡(jiǎn)要說(shuō)明PWM信號(hào)的特性。在PWM信號(hào)中，脈沖波形的寬度具有信息。PWM信號(hào)具有抗噪聲的數(shù)字特性(表示高電平和低電平的二進(jìn)制信息被保持在電壓檢測(cè)中的特性)和能利用一個(gè)脈沖表示連續(xù)信息的模擬特性(表示沿時(shí)間方向保持連續(xù)信息的特性)。除了在輸入保持塊2的輸入單元內(nèi)設(shè)置脈寬/數(shù)字轉(zhuǎn)換塊9外，圖5所示的積和運(yùn)算電路與上述配置(圖1)相同。更具體地說(shuō)，脈寬/數(shù)字轉(zhuǎn)換塊9將作為PWM信號(hào)輸入的每個(gè)操作數(shù)值Xi轉(zhuǎn)換為數(shù)字信號(hào)，然后將其保持在輸入值保持塊2內(nèi)。利用計(jì)數(shù)器，具有將所輸入的PWM信號(hào)轉(zhuǎn)換為數(shù)字值并將其輸出的功能的脈寬/數(shù)字轉(zhuǎn)換塊9的例子計(jì)算所輸入的PWM信號(hào)的脈寬，并輸出該計(jì)數(shù)值作為數(shù)字值(例如，YasojiSuzuki和MasahiroYoshida，“IntroductiontoPulse/digitalCircuit”，NikkanKogyoShimbun，2001年7月26日，pp.225-232)。有許多其他配置可以實(shí)現(xiàn)脈寬/數(shù)字轉(zhuǎn)換塊9的功能。然而，脈寬/數(shù)字轉(zhuǎn)換塊9的配置和處理過(guò)程本身不是本發(fā)明的要點(diǎn)，因而省略其詳細(xì)說(shuō)明。第二實(shí)施例在第二實(shí)施例中，利用模擬電路實(shí)現(xiàn)積和運(yùn)算電路。與在第一實(shí)施例中相同，圖1示出根據(jù)該實(shí)施例的積和運(yùn)算電路的功能塊配置。圖6示出作為模擬電路而形成的運(yùn)算塊1的模擬運(yùn)算電路。運(yùn)算塊2至6也具有相同的配置。如圖6所示，該實(shí)施例的模擬運(yùn)算電路包括模擬乘法器17、電容器18以及輸出緩沖器19。圖7示出包括模擬存儲(chǔ)器的輸入值保持塊2。在該實(shí)施例中，假定該模擬存儲(chǔ)器包括電容器20和輸出緩沖器21。然而，只要具有相同的功能，可以采用任意其他電路。圖8示出包括WTA(勝方全拿(Winner-Take-All))電路22的排序塊4。參考上述根據(jù)該實(shí)施例的積和運(yùn)算方法的處理。圖1所示的整個(gè)設(shè)備的處理與在第一實(shí)施例中相同，因此，省略其說(shuō)明。下面將分別說(shuō)明與第一實(shí)施例不同的輸入保持塊2、權(quán)重保持塊3、排序塊4以及運(yùn)算單元1內(nèi)的運(yùn)算塊中的每個(gè)的處理。在該實(shí)施例中，排除了在第一實(shí)施例中描述的具有脈寬/數(shù)字轉(zhuǎn)換塊的情況。如圖7所示，該實(shí)施例的輸入保持塊2包括電容器20和輸出緩沖器21。利用電容器20內(nèi)累加的電壓值來(lái)保持操作數(shù)值Xi的值。利用排序塊4，以大小的降序，將保持在輸入保持塊2內(nèi)的操作數(shù)值Xi輸入到切換塊5。在該實(shí)施例中，如圖8所示，利用WTA電路22實(shí)現(xiàn)排序塊4。WTA電路是勝者全拿電路的簡(jiǎn)稱，其具有輸出作為最大值的輸入值的功能(或者可以輸出最小值)。當(dāng)將操作數(shù)值Xi輸入到WTA電路22時(shí)，輸出作為最大值的操作數(shù)值Xi。接著，當(dāng)輸入先前輸出的操作數(shù)值Xi之外的操作數(shù)值Xi組時(shí)，輸出具有次最大值的操作數(shù)值Xi。通過(guò)重復(fù)該操作，以大小的降序輸出操作數(shù)值，并進(jìn)行排序操作。在該實(shí)施例中，如果存在具有相同值的操作數(shù)值Xi，則以任意順序輸出它們。相反，可以事先設(shè)置適當(dāng)順序。此時(shí)，還同時(shí)保持每個(gè)操作數(shù)值所具有的標(biāo)簽。作為保持電路，可以采用實(shí)現(xiàn)相同功能的數(shù)字存儲(chǔ)器或模擬存儲(chǔ)器。在該實(shí)施例中，模擬電路用作排序塊4。然而，與在第一實(shí)施例中相同，可以采用相關(guān)存儲(chǔ)器。在這種情況下，對(duì)來(lái)自該相關(guān)存儲(chǔ)器的輸出進(jìn)行D/A轉(zhuǎn)換，然后，將它輸入到運(yùn)算單元1。作為執(zhí)行D/A轉(zhuǎn)換的D/A轉(zhuǎn)換電路，如果具有將數(shù)字值轉(zhuǎn)換為模擬值的功能，可以采用任意配置的電路。上面詳細(xì)說(shuō)明的排序塊4的電路配置不是本發(fā)明的要點(diǎn)。只要可以實(shí)現(xiàn)相同的功能，可以采用任意其他電路配置。接著說(shuō)明權(quán)重保持塊3。與輸入保持塊2類似，權(quán)重保持塊3包括電容器37和輸出緩沖器38，如圖9所示。權(quán)重保持塊3保持操作數(shù)值Wi的值，作為在電容器37內(nèi)累積的電壓值。關(guān)于權(quán)重保持塊3，可以對(duì)保持在數(shù)字存儲(chǔ)器(例如，SRAM)內(nèi)的操作數(shù)值Wi的值進(jìn)行D/A轉(zhuǎn)換，并將它保持在權(quán)重保持塊3內(nèi)作為模擬值，如圖9所示。在這種情況下，作為D/A轉(zhuǎn)換電路，與在該實(shí)施例中采用相關(guān)存儲(chǔ)器時(shí)的上述D/A轉(zhuǎn)換電路類似，如果具有可以將數(shù)字值轉(zhuǎn)換為模擬值的功能，可以采用任意配置的電路。接著，說(shuō)明將操作數(shù)值Xi和操作數(shù)值Wi作為模擬電壓值輸入到的預(yù)定運(yùn)算塊所執(zhí)行的運(yùn)算處理。如圖6所示，利用包括模擬乘法器17、電容器18和輸出緩沖器19的模擬運(yùn)算電路形成根據(jù)該實(shí)施例的每個(gè)運(yùn)算塊。將操作數(shù)值Xi和操作數(shù)值Wi輸入到模擬乘法器17作為模擬電壓，然后，計(jì)算Xi×Wi。輸入到每個(gè)運(yùn)算塊的操作數(shù)值Xi的值可以保持不變，或者在運(yùn)算之間改變。利用電荷量表示Xi×Wi的乘法結(jié)果，并在電容器18內(nèi)相加和累積該乘法結(jié)果。在該實(shí)施例中，假定將模擬乘法器17的乘法結(jié)果作為電荷量而輸出。然而，只要能實(shí)現(xiàn)與上述功能相同的功能，可以采用將乘法結(jié)果輸出為例如電壓值的任意其他方法。通過(guò)重復(fù)上述處理，將多個(gè)Xi×Wi的乘法結(jié)果的累加值保持在電容器18內(nèi)。當(dāng)預(yù)定次數(shù)的累加結(jié)束時(shí)，通過(guò)輸出緩沖器19輸出累加值。與在第一實(shí)施例中相同，盡管在數(shù)字值與模擬值之間存在差別，通過(guò)根據(jù)操作數(shù)值Xi的標(biāo)簽來(lái)切換切換塊，將對(duì)應(yīng)于操作數(shù)值Xi的模擬電壓值輸入到預(yù)定運(yùn)算塊。此外，與在第一實(shí)施例中相同，在沒(méi)有操作數(shù)值Xi輸入到的運(yùn)算塊中不執(zhí)行運(yùn)算處理。在該實(shí)施例中，根據(jù)操作數(shù)值Xi的標(biāo)簽，利用切換塊來(lái)切換對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值，并與操作數(shù)值Xi類似地，將其輸入到由該標(biāo)簽確定的預(yù)定運(yùn)算塊。與在第一實(shí)施例中相同，作為與該實(shí)施例不同的方法，盡管數(shù)字值與模擬值存在差別，但是可以獨(dú)立于操作數(shù)值Xi的標(biāo)簽事先設(shè)置對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值應(yīng)該輸入到的預(yù)定運(yùn)算塊。如上所述，利用排序塊4，以大小的降序輸入作為模擬電壓輸入到運(yùn)算塊的操作數(shù)值Xi。連續(xù)輸入具有相同值的操作數(shù)值Xi。因?yàn)檫@些原因，與隨機(jī)輸入操作數(shù)值Xi的情況相比，電壓變化變小，可以降低由電壓變化引起的延時(shí)和功率消耗。在該實(shí)施例中，排序塊以大小的降序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序。即使以大小的升序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序，也可以獲得與上述相同的效果。第三實(shí)施例圖10示出根據(jù)該實(shí)施例的積和運(yùn)算電路的功能塊配置。在圖10所示的配置中，存儲(chǔ)電路43連接到排序塊4的后續(xù)段。此外，斜坡生成電路44連接到存儲(chǔ)電路43的后續(xù)段。斜坡生成電路44的輸出被輸入到切換塊5。該實(shí)施例的存儲(chǔ)電路43包括SRAM。與在第一實(shí)施例中相同，輸入值保持塊2和排序塊4包括相關(guān)存儲(chǔ)電路。圖11示出將運(yùn)算塊1形成為模擬電路的模擬運(yùn)算電路。運(yùn)算塊2至6也可以具有同樣的配置。如圖11所示，該實(shí)施例的模擬運(yùn)算電路包括模擬乘法器45、電容器46以及輸出緩沖器47。圖12示出斜坡生成電路44的配置。參考上述附圖來(lái)說(shuō)明根據(jù)該實(shí)施例的積和運(yùn)算方法的處理。相關(guān)存儲(chǔ)電路保持操作數(shù)值Xi的值和該操作數(shù)值Xi所具有的標(biāo)簽i。作為常規(guī)功能，相關(guān)存儲(chǔ)電路以大小的降序搜索操作數(shù)值Xi，并輸出其標(biāo)簽i。同時(shí)，關(guān)于以大小的降序搜索操作數(shù)值Xi的搜索值，僅當(dāng)該搜索值減小一個(gè)單位時(shí)，輸出脈沖信號(hào)的標(biāo)志(在該實(shí)施例中，輸出標(biāo)志＝1)。作為與該實(shí)施例不同的方法，關(guān)于以大小的升序搜索操作數(shù)值Xi的搜索值，可以僅當(dāng)該搜索值增加一個(gè)單位時(shí)，輸出脈沖信號(hào)的標(biāo)志。如圖10所示，按照搜索順序(即，以大小的降序)將標(biāo)簽和標(biāo)志相互對(duì)應(yīng)地輸入并保持在位于后續(xù)段的SRAM中。然后，SRAM以保持順序(即，以大小的降序)輸出標(biāo)簽和標(biāo)志。將該標(biāo)簽輸入到切換塊5。將該標(biāo)志輸入到斜坡生成電路44。接著說(shuō)明斜坡生成電路44。斜坡生成電路44包括壓控電流源48，其被偏置到預(yù)定電壓值Vb；電容器50；開關(guān)49；以及緩沖器51，如圖12所示。當(dāng)將標(biāo)志輸入到斜坡生成電路44以接通開關(guān)49時(shí)，從壓控電流源48供給預(yù)定電流，并累積在電容器50中。僅當(dāng)相關(guān)存儲(chǔ)器內(nèi)的搜索值減小一個(gè)單位時(shí)，將該標(biāo)志設(shè)置為1。因?yàn)樵撛颍?dāng)搜索值減小一個(gè)單位時(shí)，接通開關(guān)49。因此，斜坡生成電路44中的節(jié)點(diǎn)的電壓值以圖12所示的波形變化。更具體地說(shuō)，產(chǎn)生對(duì)應(yīng)于大小處于降序的操作數(shù)值Xi、并且單調(diào)增加的電壓值(“單調(diào)”還意味著始終為定值的情況。這也適用于下面的說(shuō)明)。作為對(duì)應(yīng)于大小處于降序的操作數(shù)值Xi的電壓值，設(shè)置單調(diào)增加的電壓值。然而，可以根據(jù)在后面說(shuō)明的模擬乘法器，設(shè)置單調(diào)減小的電壓值。在斜坡生成電路44內(nèi)，這可以通過(guò)由壓控電流源從在初始狀態(tài)下累積有預(yù)定電荷的電容器50中移去電荷來(lái)實(shí)現(xiàn)。隨后，將斜坡生成電路44所產(chǎn)生的單調(diào)增加的電壓值輸入到切換塊5。根據(jù)輸入標(biāo)簽，切換塊5進(jìn)行切換，然后，將單調(diào)增加的電壓值輸入到由標(biāo)簽確定的預(yù)定運(yùn)算塊。下面說(shuō)明運(yùn)算塊1。僅當(dāng)運(yùn)算塊1與由標(biāo)簽確定的預(yù)定運(yùn)算塊一致時(shí)，才輸入單調(diào)增加的電壓值。當(dāng)從存儲(chǔ)電路43輸出的標(biāo)簽發(fā)生變化，且運(yùn)算塊1與由標(biāo)簽確定的預(yù)定運(yùn)算塊不一致時(shí)，進(jìn)行切換，而不輸入單調(diào)增加的電壓值。即，在運(yùn)算塊1內(nèi)，根據(jù)標(biāo)簽的輸出定時(shí)，對(duì)單調(diào)增加的電壓值進(jìn)行采樣。這意味著，根據(jù)該標(biāo)簽，在切換定時(shí)輸入對(duì)應(yīng)于操作數(shù)值Xi的適當(dāng)電壓值。與在第二實(shí)施例中相同，在沒(méi)有輸入操作數(shù)值Xi的運(yùn)算塊1內(nèi)不進(jìn)行運(yùn)算處理。權(quán)重保持塊3內(nèi)的處理步驟與在第二實(shí)施例中相同，因此，省略其說(shuō)明。隨后，在模擬運(yùn)算電路中，如圖11所示，使輸入到模擬乘法器45的操作數(shù)值Xi與操作數(shù)值Wi相乘。對(duì)應(yīng)于運(yùn)算結(jié)果的電荷被累積在電容器46中。該模擬運(yùn)算電路的處理與在第二實(shí)施例中的相同，因此，省略其說(shuō)明。在該實(shí)施例中，可以將操作數(shù)值Xi輸入到輸入值保持塊2作為PWM信號(hào)。在這種情況下，PWM信號(hào)輸入處理步驟與在第一實(shí)施例中的相同，因此，省略其說(shuō)明。第四實(shí)施例在該實(shí)施例中，說(shuō)明使用與第二和第三實(shí)施例不同的電路配置作為模擬運(yùn)算電路的電路。除了該模擬運(yùn)算電路之外，該配置與在第二和第三實(shí)施例中的相同。圖13示出要在該實(shí)施例中描述的模擬運(yùn)算電路。如圖13所示，該實(shí)施例的模擬運(yùn)算電路包括壓控電流源52、壓控電阻器件53以及電容器55。作為操作數(shù)值Xi，將隨時(shí)間單調(diào)增加的電壓值輸入到壓控電流源52，作為控制電壓。通過(guò)使WTA電路56輸出對(duì)應(yīng)于大小處于降序的操作數(shù)值Xi的電壓值作為連續(xù)模擬電壓值，產(chǎn)生在此輸入的、隨時(shí)間單調(diào)增加的電壓值，如圖15所示。與在第三實(shí)施例中相同，利用存儲(chǔ)電路和斜坡生成電路，可以產(chǎn)生隨時(shí)間單調(diào)增加的電壓值。在這種情況下，與在第三實(shí)施例中相同，輸入值保持塊和排序塊包括數(shù)字電路。在這種情況下，可以將操作數(shù)值Xi輸入到輸入值保持塊，作為PWM信號(hào)。這種情況下的PWM信號(hào)的輸入處理步驟與在第一實(shí)施例中的相同，因此，省略其說(shuō)明。隨后，如圖14所示，通過(guò)切換塊5，將從WTA電路56(排序塊4)輸出的、隨時(shí)間單調(diào)增加的電壓值輸入到運(yùn)算單元100。在該模擬運(yùn)算電路中，單調(diào)增加的電壓值與所處的特定定時(shí)有關(guān)。因此，如在第二或者第三實(shí)施例中所述，以大小的降序輸入對(duì)應(yīng)于操作數(shù)值Xi的電壓值，作為對(duì)應(yīng)于標(biāo)簽的模擬運(yùn)算電路的壓控電流源52的控制電壓。利用MOS晶體管的飽和特性，可以形成壓控電流源52，或壓控電流源52可具有差分結(jié)構(gòu)(differentialstructure)。將對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值輸入到模擬運(yùn)算電路的壓控電阻器件53作為控制電壓。根據(jù)所輸入的模擬電壓值，壓控電阻器件53示出預(yù)定的電阻值R。利用MOS晶體管的線性特性，可以形成該壓控電阻器件53，或者該壓控電阻器件53可以具有差分結(jié)構(gòu)。隨后，對(duì)應(yīng)于操作數(shù)值Xi、與預(yù)定運(yùn)算定時(shí)有關(guān)的模擬電壓值所確定的壓控電流源52的電流I流入由對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值所確定的壓控電阻器件53(此時(shí)的電阻值是R)。然后，在如圖13所示的節(jié)點(diǎn)，觀測(cè)到Xi×Wi的運(yùn)算結(jié)果，作為對(duì)應(yīng)于I×R的電壓值。將該節(jié)點(diǎn)的電壓進(jìn)一步輸入到壓控電流源54，作為控制電壓。因此，I×R所確定的電流i流入電容器。利用MOS晶體管的飽和特性，可以形成壓控電流源54，或者該壓控電流源54可以具有差分結(jié)構(gòu)。當(dāng)將切換塊5的切換間隔設(shè)置為預(yù)定時(shí)間時(shí)，在電容器55中可以累積對(duì)應(yīng)于I×R×(切換間隔)的電荷。當(dāng)重復(fù)上述操作時(shí)，將累積結(jié)果作為電荷量保持在電容器55中。這樣，利用圖14所示的積和運(yùn)算電路可以實(shí)現(xiàn)與第二和第三實(shí)施例中相同的運(yùn)算。在該實(shí)施例中，對(duì)應(yīng)于操作數(shù)值Xi的模擬電壓是隨時(shí)間單調(diào)增加的電壓值。根據(jù)運(yùn)算的目的，可以采用隨時(shí)間單調(diào)減小的電壓值。與在第二和第三實(shí)施例中相同，通過(guò)根據(jù)操作數(shù)值Xi的標(biāo)簽來(lái)切換切換塊5，將對(duì)應(yīng)于操作數(shù)值Xi的模擬電壓值輸入到預(yù)定運(yùn)算塊。此外，與在第二和第三實(shí)施例中相同，在沒(méi)有輸入操作數(shù)值Xi的運(yùn)算塊1中不執(zhí)行運(yùn)算處理。在該實(shí)施例中，與操作數(shù)值Xi類似，根據(jù)操作數(shù)值Xi的標(biāo)簽，利用切換塊5切換對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值，并將其輸入到由該標(biāo)簽所確定的預(yù)定運(yùn)算塊。作為不同于該實(shí)施例的方法，與在第二和第三實(shí)施例中相同，可以獨(dú)立于操作數(shù)值Xi的標(biāo)簽，事先設(shè)置對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值應(yīng)該輸入到的預(yù)定運(yùn)算塊。第五實(shí)施例圖16示出該實(shí)施例的配置。該實(shí)施例與第三或者第四實(shí)施例的不同之處在于，在第三或者第四實(shí)施例中描述的、隨時(shí)間單調(diào)增加的模擬電壓值乘以系數(shù)Ki，以執(zhí)行利用預(yù)定系數(shù)Ki乘以操作數(shù)值Xi的運(yùn)算。在該實(shí)施例中，僅說(shuō)明與第三或者第四實(shí)施例的不同點(diǎn)。其余方面與第三或者第四實(shí)施例相同，因此，省略其說(shuō)明。如圖16所示，利用系數(shù)Ki乘以單調(diào)增加的模擬電壓值意味著在預(yù)定運(yùn)算定時(shí)的電壓值(即，操作數(shù)值Xi)乘以預(yù)定系數(shù)Ki。因此，當(dāng)利用系數(shù)Ki乘以對(duì)運(yùn)算單元1輸入的、單調(diào)增加的模擬電壓值時(shí)，可以計(jì)算三項(xiàng)的乘積Ki×Xi×Wi。如圖16所示，當(dāng)并行輸入乘以具有不同值的系數(shù)Ki的模擬電壓值時(shí)，在各運(yùn)算塊并行計(jì)算3個(gè)不同項(xiàng)的乘積。為了改變對(duì)應(yīng)于每個(gè)單調(diào)增加的模擬電壓值的系數(shù)Ki，在排序塊4(WTA電路或者斜坡生成電路)的后續(xù)段設(shè)置對(duì)應(yīng)于系數(shù)Ki的電壓放大器57。在圖16所示的例子中，在WTA電路的后續(xù)段設(shè)置電壓放大器57。當(dāng)在斜坡生成電路的后續(xù)段設(shè)置電壓放大器57時(shí)，對(duì)于從圖10所示的斜坡生成電路44輸出的單調(diào)增加的模擬電壓值，設(shè)置對(duì)應(yīng)于系數(shù)Ki的電壓放大器57，如圖10所示。在該實(shí)施例中，采用單調(diào)增加的模擬電壓值。即使當(dāng)采用單調(diào)減小的模擬電壓值時(shí)，也可以執(zhí)行與上述相同的運(yùn)算。與在第三和第四實(shí)施例中相同，通過(guò)根據(jù)操作數(shù)值Xi的標(biāo)簽切換切換塊5，可以將對(duì)應(yīng)于操作數(shù)值Xi×系數(shù)Ki的、單調(diào)增加的模擬電壓值輸入到預(yù)定運(yùn)算塊。在該實(shí)施例中，與操作數(shù)值Xi類似，根據(jù)操作數(shù)值Xi的標(biāo)簽，切換塊5切換對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值，然后將其輸入到該標(biāo)簽所確定的預(yù)定運(yùn)算塊。作為與該實(shí)施例不同的方法，與在第三和第四實(shí)施例中相同，可以獨(dú)立于操作數(shù)值Xi的標(biāo)簽，事先設(shè)置對(duì)應(yīng)于該操作數(shù)值Wi的模擬電壓值應(yīng)該輸入到的預(yù)定運(yùn)算塊。在該實(shí)施例中，將操作數(shù)值Xi輸入到輸入值保持塊2作為PWM信號(hào)的情況與在第三和第四實(shí)施例中相同。第六實(shí)施例將參考圖17和18說(shuō)明第六實(shí)施例。該實(shí)施例與第三或第四實(shí)施例的不同之處在于，利用系數(shù)Ki乘以在第三或者第四實(shí)施例中描述的、隨時(shí)間單調(diào)增加的模擬電壓值，以執(zhí)行利用預(yù)定系數(shù)Ki乘以操作數(shù)值Xi的運(yùn)算。在該實(shí)施例中，僅說(shuō)明與第三或者第四實(shí)施例的不同點(diǎn)。其余方面與第三或者第四實(shí)施例相同，因此省略其說(shuō)明。參考圖17，與在第一實(shí)施例中相同，相關(guān)存儲(chǔ)器用作排序塊4，以按照大小的降序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序。與操作數(shù)值Xi有關(guān)的相等判斷塊58連接到相關(guān)存儲(chǔ)器的后續(xù)段。相等判斷塊58具有例如寄存器的存儲(chǔ)器功能，存儲(chǔ)先前從相關(guān)存儲(chǔ)器輸出的操作數(shù)值Xi的值。當(dāng)將相關(guān)存儲(chǔ)器輸出的下一操作數(shù)值Xi’輸入到相等判斷塊58時(shí)，相等判斷塊58將此時(shí)輸入的操作數(shù)值Xi’與先前輸入的操作數(shù)值Xi進(jìn)行比較。如果這兩個(gè)操作數(shù)值不同，則輸出使斜坡生成電路60(后面說(shuō)明)的開關(guān)接通的檢測(cè)信號(hào)。如果這兩個(gè)操作數(shù)值相互相等，則不輸出檢測(cè)信號(hào)。因此，斜坡生成電路60的開關(guān)保持?jǐn)嚅_。以與在第三或者第四實(shí)施例中相同的方式，執(zhí)行運(yùn)算單元1內(nèi)的運(yùn)算處理。圖18所示的斜坡生成電路產(chǎn)生輸入到運(yùn)算單元1的、隨時(shí)間單調(diào)增加的電壓值。在斜坡生成電路60內(nèi)，將對(duì)應(yīng)于系數(shù)Ki的電壓值送到壓控電流源61作為控制電壓。因此，產(chǎn)生預(yù)定電流，并在電容器50上累積電荷。來(lái)自相等判斷塊58的檢測(cè)信號(hào)使斜坡生成電路60的開關(guān)49接通，如上所述。更具體地說(shuō)，在來(lái)自相關(guān)存儲(chǔ)器的輸出值等于先前的輸出值時(shí)，斜坡生成電路60使開關(guān)49斷開，以停止電容器50上的電荷累積操作。僅當(dāng)來(lái)自相關(guān)存儲(chǔ)器的輸出值不同于先前的輸出值時(shí)，開關(guān)49才接通，該節(jié)點(diǎn)的電壓值如圖18所示而變化。此時(shí)，當(dāng)正確設(shè)置了對(duì)應(yīng)于系數(shù)Ki的電壓值時(shí)，可以利用系數(shù)Ki乘以單調(diào)增加的電壓值，如在第五實(shí)施例中所述。與在第五實(shí)施例中相同，在通過(guò)緩沖器51將該電壓值輸入到模擬運(yùn)算電路時(shí)，可以計(jì)算三項(xiàng)Ki×Xi×Wi的乘積。其余運(yùn)算處理與在第三或者第四實(shí)施例中相同，因此省略其說(shuō)明。利用MOS晶體管的飽和特性，可以形成壓控電流源61，或者該壓控電流源61可以具有差分結(jié)構(gòu)。只要可以實(shí)現(xiàn)同樣的功能，斜坡生成電路60可以采用任意其他電路配置。在該實(shí)施例中，采用單調(diào)增加的模擬電壓值。然而，即使在采用單調(diào)減小的模擬電壓值時(shí)，也可以執(zhí)行與上述相同的運(yùn)算。與在第三和第四實(shí)施例中相同，通過(guò)根據(jù)操作數(shù)值Xi的標(biāo)簽來(lái)切換切換塊5，可以將對(duì)應(yīng)于操作數(shù)值Xi×系數(shù)Ki、單調(diào)增加的模擬電壓值輸入到預(yù)定運(yùn)算塊。在該實(shí)施例中，與操作數(shù)值Xi類似，根據(jù)操作數(shù)值Xi的標(biāo)簽，利用切換塊5切換對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值，并將其輸入到該標(biāo)簽所確定的預(yù)定運(yùn)算塊。作為與該實(shí)施例不同的方法，與在第三和第四實(shí)施例中相同，可以獨(dú)立于操作數(shù)值Xi的標(biāo)簽，事先設(shè)置對(duì)應(yīng)于操作數(shù)值Wi的模擬電壓值應(yīng)該輸入到的預(yù)定運(yùn)算塊。將操作數(shù)值Xi輸入到輸入值保持塊2作為PWM信號(hào)的情況與在第三和第四實(shí)施例中的相同。第七實(shí)施例將參考圖19和20說(shuō)明第七實(shí)施例。除了將系數(shù)值保持塊59的輸出輸入到斜坡生成電路62外，該實(shí)施例與第三實(shí)施例具有相同的配置。在該實(shí)施例中，僅說(shuō)明與第三實(shí)施例的不同點(diǎn)。其余方面與第三實(shí)施例相同，因此省略其說(shuō)明。參考圖19，系數(shù)值保持塊59將對(duì)應(yīng)于系數(shù)Ki的電壓值輸入到斜坡生成電路62。在每個(gè)斜坡生成電路中，如圖20所示，將對(duì)應(yīng)于系數(shù)Ki的電壓值送到壓控電流源61的閘門(gate)，以便與圖12不同，使對(duì)應(yīng)于系數(shù)Ki的預(yù)定電流流入壓控電流源61。即，該實(shí)施例與第三實(shí)施例的不同之處在于，利用保持在系數(shù)值保持塊59內(nèi)的系數(shù)Ki，可以控制壓控電流源61的電流量。壓控電流源61的電流值的變化對(duì)應(yīng)于單位時(shí)間累積到電容器50上的電荷量的變化。這意味著，節(jié)點(diǎn)的電壓值關(guān)于時(shí)間的變化梯度發(fā)生變化。與在第五或者第六實(shí)施例中描述的相同，這對(duì)應(yīng)于利用系數(shù)Ki乘以單調(diào)增加的電壓值。與在第五或者第六實(shí)施例中相同，在通過(guò)緩沖器51將電壓值輸入到模擬運(yùn)算電路時(shí)，計(jì)算三項(xiàng)Ki×Xi×Wi的乘積。在該實(shí)施例中，將操作數(shù)值Xi輸入到輸入值保持塊2作為PWM信號(hào)的情況與在第三實(shí)施例中的相同。第八實(shí)施例將參考圖21至24說(shuō)明第八實(shí)施例。圖21示出根據(jù)該實(shí)施例的神經(jīng)網(wǎng)絡(luò)模型。圖22A和22B示出當(dāng)將在第一、第二、第三以及第四實(shí)施例中描述的積和運(yùn)算方法應(yīng)用于該實(shí)施例的神經(jīng)網(wǎng)絡(luò)時(shí)，運(yùn)算處理塊的配置(圖22A和22B示出應(yīng)用在第三實(shí)施例中描述的積和運(yùn)算方法的電路)。如圖22A和22B所示，根據(jù)該實(shí)施例的神經(jīng)網(wǎng)絡(luò)的處理塊包括根據(jù)在第一、第二、第三以及第四實(shí)施例中描述的積和運(yùn)算方法的處理塊。如圖21所示，作為神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元(neuronelement)的模型，通常，利用突觸權(quán)重64，神經(jīng)元63對(duì)來(lái)自位于前級(jí)的多個(gè)神經(jīng)元的輸出值進(jìn)行加權(quán)，并計(jì)算加權(quán)后的值的和，以確定神經(jīng)元63的內(nèi)部狀態(tài)值。根據(jù)該實(shí)施例的神經(jīng)元電路使用在第一、第二、第三或者第四實(shí)施例中描述的運(yùn)算處理塊作為神經(jīng)元的模型。更具體地說(shuō)，在第一、第二、第三或者第四實(shí)施例中描述的操作數(shù)值Xi對(duì)應(yīng)于位于前級(jí)的神經(jīng)元的輸出值，操作數(shù)值Wi對(duì)應(yīng)于突觸權(quán)重值64，從而確定神經(jīng)元63的內(nèi)部狀態(tài)值。隨后，如圖22A和22B所示，將每個(gè)運(yùn)算塊計(jì)算的累加值輸入到用于執(zhí)行處理函數(shù)處理的函數(shù)處理塊。根據(jù)用途，該函數(shù)處理塊65可以執(zhí)行非線性函數(shù)處理或者線性函數(shù)處理。在該實(shí)施例中，例如，采用執(zhí)行圖23所示的S形變換的處理塊。對(duì)于數(shù)字電路，可以利用查找表(lookuptable)實(shí)現(xiàn)函數(shù)處理塊65的實(shí)際電路配置，對(duì)于模擬電路，可以利用比較器來(lái)實(shí)現(xiàn)。關(guān)于函數(shù)處理，當(dāng)對(duì)運(yùn)算單元1計(jì)算的累計(jì)結(jié)果進(jìn)行處理時(shí)，函數(shù)處理塊65可以連接到另一部分。對(duì)函數(shù)處理塊65提出了各種電路配置。然而，它們不是本發(fā)明的要點(diǎn)，因此省略其說(shuō)明。隨后，將通過(guò)函數(shù)處理塊65進(jìn)行S形變換而獲得的值(對(duì)應(yīng)于下一層中的操作數(shù)值Xi)保持在對(duì)應(yīng)于下一層的輸入保持塊中。在這種情況下，還同時(shí)保持該值的標(biāo)簽(對(duì)應(yīng)于下一層中的操作數(shù)值Xi)。通過(guò)重復(fù)上述運(yùn)算處理，可以實(shí)現(xiàn)圖21所示的神經(jīng)網(wǎng)絡(luò)中的運(yùn)算處理。在該例子中，在第一、第二、第三和第四實(shí)施例中描述的方法用作積和運(yùn)算方法。因此，可以形成具有在第一、第二、第三和第四實(shí)施例中描述的效果的神經(jīng)網(wǎng)絡(luò)電路。此外，對(duì)于神經(jīng)元之間(各層之間)的輸入/輸出，與在第一、第二、第三和第四實(shí)施例中相同，可以將操作數(shù)值Xi輸入到位于后續(xù)段的神經(jīng)元電路作為PWM信號(hào)。在運(yùn)算塊是模擬運(yùn)算電路時(shí)，如圖24A和24B所示，比較器66讀出電容器上累積的電荷量作為PWM信號(hào)，然后將其輸入到位于后續(xù)段的脈寬/數(shù)字轉(zhuǎn)換塊67。比較器66的PWM信號(hào)產(chǎn)生方法是眾所周知的，因此省略其詳細(xì)說(shuō)明。當(dāng)輸入斜坡電壓波形作為基準(zhǔn)電壓時(shí)，可以讀出對(duì)應(yīng)于電荷量的PWM信號(hào)。當(dāng)輸入非線性電壓波形作為基準(zhǔn)電壓時(shí)，可以讀出與電荷量非線性對(duì)應(yīng)的PWM信號(hào)。即，比較器66可以用作函數(shù)處理塊。可選地，在比較器66讀出累積在電容器上的電荷量作為與該電荷量成比例的PWM信號(hào)，并由位于后續(xù)段的脈寬/數(shù)字轉(zhuǎn)換塊67將其轉(zhuǎn)換為數(shù)字值之后，可以利用查找表進(jìn)行函數(shù)處理。該實(shí)施例中的神經(jīng)元的數(shù)量和層的數(shù)量并不限制根據(jù)本發(fā)明的神經(jīng)網(wǎng)絡(luò)的配置。根據(jù)需要，可以將這些數(shù)量設(shè)置為任意數(shù)量。第九實(shí)施例將參考圖25A和25B說(shuō)明第九實(shí)施例。除了利用操作數(shù)值Wi與系數(shù)Ki的乘積Wi×Ki表示突觸權(quán)重值以外，根據(jù)該實(shí)施例的神經(jīng)網(wǎng)絡(luò)模型與在第八實(shí)施例描述的相同。圖25A和25B示出當(dāng)將在第五、第六或第七實(shí)施例中描述的積和運(yùn)算方法應(yīng)用于該實(shí)施例的神經(jīng)網(wǎng)絡(luò)時(shí)，運(yùn)算處理塊的配置(圖25A和25B示出應(yīng)用第七實(shí)施例中描述的積和運(yùn)算方法的電路)。作為該實(shí)施例的神經(jīng)元的模型，利用Wi×Ki表示的突觸權(quán)重，神經(jīng)元對(duì)來(lái)自前級(jí)的多個(gè)神經(jīng)元的輸出值進(jìn)行加權(quán)，并計(jì)算加權(quán)后的值的和，以確定神經(jīng)元的內(nèi)部狀態(tài)值。根據(jù)該實(shí)施例的神經(jīng)元電路將在第五、第六或第七實(shí)施例中描述的運(yùn)算處理塊用作神經(jīng)元模型。更具體地說(shuō)，在第五、第六或第七實(shí)施例中描述的操作數(shù)值Xi對(duì)應(yīng)于位于前級(jí)的神經(jīng)元的輸出值，操作數(shù)值Wi和系數(shù)Ki的乘積對(duì)應(yīng)于突觸權(quán)重值，從而確定神經(jīng)元的內(nèi)部狀態(tài)值。隨后執(zhí)行的函數(shù)處理和函數(shù)處理之后的輸入/保持操作數(shù)值與第八實(shí)施例中的相同，因此省略其說(shuō)明。關(guān)于神經(jīng)元之間(層之間)的輸入/輸出，與在第八實(shí)施例中相同，可以將操作數(shù)值Xi輸入到位于后續(xù)段的神經(jīng)元電路作為PWM信號(hào)，因此省略其說(shuō)明。在該實(shí)施例中，在第五、第六或者第七實(shí)施例中描述的方法用作積和運(yùn)算方法。因此，可以形成具有在第五、第六或者第七實(shí)施例中描述的效果的神經(jīng)網(wǎng)絡(luò)電路。該實(shí)施例中的神經(jīng)元的數(shù)量和層的數(shù)量并不限制根據(jù)本發(fā)明的神經(jīng)網(wǎng)絡(luò)的配置。根據(jù)需要，可以將這些數(shù)量設(shè)置為任意數(shù)量。第十實(shí)施例通常可以利用圖21所示的模型來(lái)說(shuō)明神經(jīng)網(wǎng)絡(luò)的運(yùn)算處理。在實(shí)際運(yùn)算中，即使為了確定內(nèi)部狀態(tài)，在從位于前級(jí)的神經(jīng)元輸入到神經(jīng)元的輸出值中，僅對(duì)具有預(yù)定值或者大于該預(yù)定值的輸出值進(jìn)行運(yùn)算處理，但在許多情況下，仍很少改變神經(jīng)網(wǎng)絡(luò)的最終運(yùn)算能力。在這種情況下，當(dāng)省略對(duì)小于預(yù)定值的值進(jìn)行運(yùn)算處理時(shí)，利用電路形成的神經(jīng)網(wǎng)絡(luò)在功率消耗或者運(yùn)算速度方面具有優(yōu)勢(shì)。在該實(shí)施例中，將說(shuō)明對(duì)于應(yīng)用于第八和第九實(shí)施例中的神經(jīng)網(wǎng)絡(luò)的第一至第七實(shí)施例，利用排序塊4以大小的降序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序，而省略對(duì)小于預(yù)定值的操作數(shù)值Xi進(jìn)行運(yùn)算的運(yùn)算處理方法。圖26僅示出一部分，在該部分中，在示出第一至第七實(shí)施例中所描述的運(yùn)算處理配置的圖1、5、10、14、16、17、19、22A、22B、24A、24B、25A和25B中，對(duì)排序塊4添加預(yù)定值保持存儲(chǔ)器71以實(shí)現(xiàn)該實(shí)施例的功能。因此，除了圖26所示的部分外，該配置與圖1、5、10、14、16、17、19、22A、22B、24A、24B、25A和25B所示的配置相同。更具體地說(shuō)，將與預(yù)定值有關(guān)的數(shù)據(jù)從預(yù)定值保持存儲(chǔ)器71輸入到排序塊4。在達(dá)到預(yù)定值時(shí)，結(jié)束對(duì)操作數(shù)值Xi的排序處理。在相關(guān)存儲(chǔ)器用作排序電路時(shí)，通過(guò)在搜索相關(guān)存儲(chǔ)器內(nèi)的內(nèi)容的過(guò)程中依次降低搜索值，而且在該搜索值已經(jīng)達(dá)到從預(yù)定值保持存儲(chǔ)器71輸入的預(yù)定值時(shí)結(jié)束該處理，可以省略對(duì)小于預(yù)定值的操作數(shù)值Xi進(jìn)行積和運(yùn)算。在WTA電路用作排序塊4時(shí)，通過(guò)在WTA電路的排序過(guò)程中，在基準(zhǔn)電壓值達(dá)到從預(yù)定值保持存儲(chǔ)器71輸入的預(yù)定值時(shí)結(jié)束該處理，可以實(shí)現(xiàn)該省略。在該實(shí)施例中，說(shuō)明了兩個(gè)省略對(duì)其值小于預(yù)定值的操作數(shù)值Xi進(jìn)行積和運(yùn)算的電路的例子。然而，只要具有與上述相同的效果，可以采用任意其他電路和方法。如上所述，在省略對(duì)值小于預(yù)定值的操作數(shù)值Xi進(jìn)行積和運(yùn)算時(shí)，可以降低功率消耗，且可以提高實(shí)際處理塊內(nèi)的運(yùn)算速度。第十一實(shí)施例在某些情況下，在將從位于前級(jí)的神經(jīng)元輸入到神經(jīng)元且小于預(yù)定值的輸出值看作定值，并對(duì)其進(jìn)行運(yùn)算而不像在第十實(shí)施例中那樣省略對(duì)其進(jìn)行運(yùn)算處理時(shí)，可以提高神經(jīng)網(wǎng)絡(luò)的運(yùn)算處理能力。在該實(shí)施例中，將說(shuō)明利用排序塊4以大小的降序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序，而且將小于預(yù)定值的操作數(shù)值Xi看作在第十實(shí)施例中的定值的運(yùn)算處理方法。圖27所示的配置與第十實(shí)施例的不同之處在于，圖26所示的上述排序塊4進(jìn)一步添加有定值保持存儲(chǔ)器72。除了圖27所示的部分以外，各配置與在第十實(shí)施例中描述的相同。更具體地說(shuō)，將與預(yù)定值有關(guān)的數(shù)據(jù)從預(yù)定值保持存儲(chǔ)器71輸入到排序塊4。在達(dá)到該預(yù)定值時(shí)，結(jié)束對(duì)該操作數(shù)值Xi的排序處理。此外，將與定值有關(guān)的數(shù)據(jù)從定值保持存儲(chǔ)器72輸入到排序塊4。輸出定值作為操作數(shù)值Xi。在將相關(guān)存儲(chǔ)器用作第十實(shí)施例中的排序塊4時(shí)，通過(guò)在搜索相關(guān)存儲(chǔ)器內(nèi)的內(nèi)容的過(guò)程中，在依次降低搜索值并達(dá)到預(yù)定值后，輸出從定值保持存儲(chǔ)器72輸入的定值作為操作數(shù)值Xi，從而實(shí)現(xiàn)對(duì)小于預(yù)定值的操作數(shù)值Xi作為定值進(jìn)行運(yùn)算的電路。只要可以實(shí)現(xiàn)與上述相同的功能，可以采用任意其他電路和方法。在WTA電路用作第十實(shí)施例中的排序塊4時(shí)，通過(guò)在WTA電路進(jìn)行排序的過(guò)程中，在基準(zhǔn)電壓值達(dá)到預(yù)定值之后輸出從定值保持存儲(chǔ)器72輸入的定值作為對(duì)應(yīng)于操作數(shù)值Xi的電壓值，可以實(shí)現(xiàn)該電路。只要可以實(shí)現(xiàn)與上述相同的功能，可以采用任意其他電路和方法。第十二實(shí)施例通常利用圖21所示的模型說(shuō)明神經(jīng)網(wǎng)絡(luò)的運(yùn)算處理。在實(shí)際運(yùn)算中，即使在從位于前級(jí)的神經(jīng)元輸入到神經(jīng)元的輸出值中，僅對(duì)從大值開始計(jì)數(shù)時(shí)對(duì)應(yīng)于預(yù)定比例的輸出值進(jìn)行運(yùn)算處理以確定內(nèi)部狀態(tài)值，在許多情況下，仍很少改變神經(jīng)網(wǎng)絡(luò)的最終運(yùn)算能力。在這種情況下，在省略對(duì)從大的值開始計(jì)數(shù)時(shí)預(yù)定比例之外的值進(jìn)行運(yùn)算處理時(shí)，利用電路形成的神經(jīng)網(wǎng)絡(luò)在功率消耗或者運(yùn)算速度方面具有優(yōu)勢(shì)。在該實(shí)施例中，將說(shuō)明對(duì)于應(yīng)用于第八和第九實(shí)施例中的神經(jīng)網(wǎng)絡(luò)的第一至第七實(shí)施例，排序塊4以大小的降序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序，并且省略對(duì)在從大的值開始計(jì)數(shù)時(shí)對(duì)應(yīng)于預(yù)定比例的操作數(shù)值Xi之外的操作數(shù)值Xi進(jìn)行運(yùn)算的運(yùn)算處理方法。圖28僅示出一部分，在該部分中，在示出在第一至第七實(shí)施例中描述的運(yùn)算處理配置的圖1、5、10、14、16、17、19、22A、22B、24A、24B、25A和25B中，對(duì)排序塊4添加預(yù)定數(shù)(比例)保持存儲(chǔ)器73以實(shí)現(xiàn)該實(shí)施例的功能。因此，除了圖28所示的部分以外，該配置與圖1、5、10、14、16、17、19、22A、22B、24A、24B、25A和25B所示的配置相同。更具體地說(shuō)，將與預(yù)定數(shù)(比例)有關(guān)的數(shù)據(jù)從預(yù)定數(shù)(比例)保持存儲(chǔ)器73輸入到排序塊4。在達(dá)到預(yù)定數(shù)(比例)時(shí)，結(jié)束對(duì)操作數(shù)值Xi進(jìn)行排序處理。在相關(guān)存儲(chǔ)器用作排序電路4時(shí)，通過(guò)在搜索相關(guān)存儲(chǔ)器內(nèi)的內(nèi)容的過(guò)程中，在輸出的操作數(shù)值Xi的數(shù)量達(dá)到從預(yù)定數(shù)(比例)保持存儲(chǔ)器73輸入的預(yù)定數(shù)(比例)時(shí)結(jié)束該處理，并且通過(guò)依次減小該搜索值，可以省略對(duì)當(dāng)從大值進(jìn)行計(jì)數(shù)時(shí)對(duì)應(yīng)于預(yù)定數(shù)(比例)的操作數(shù)值Xi之外的操作數(shù)值Xi進(jìn)行積和運(yùn)算。在WTA電路用作排序塊4時(shí)，通過(guò)當(dāng)基準(zhǔn)電壓值達(dá)到與達(dá)到預(yù)定數(shù)(比例)時(shí)相對(duì)應(yīng)的操作數(shù)值Xi時(shí)結(jié)束該處理，可以實(shí)現(xiàn)該省略。在該實(shí)施例中，說(shuō)明了在從大值開始計(jì)數(shù)時(shí)省略對(duì)對(duì)應(yīng)于預(yù)定數(shù)(比例)的操作數(shù)值Xi之外的操作數(shù)值Xi進(jìn)行積和運(yùn)算的電路的兩個(gè)例子。然而，只要具有與上述相同的效果，可以采用任意其他電路和方法。如上所述，當(dāng)省略在從大值開始計(jì)數(shù)時(shí)對(duì)對(duì)應(yīng)于預(yù)定數(shù)(比例)的操作數(shù)值Xi之外的操作數(shù)值Xi進(jìn)行積和運(yùn)算時(shí)，可以減少功率消耗，而且可以增加實(shí)際處理塊的運(yùn)算速度。第十三實(shí)施例在某些情況下，在從位于前級(jí)的神經(jīng)元輸入到神經(jīng)元的輸出值中，將對(duì)應(yīng)于從大值開始計(jì)數(shù)時(shí)的預(yù)定比例的輸出值之外的輸出值看作定值，并對(duì)其進(jìn)行運(yùn)算，而不是像在第十二實(shí)施例中那樣省略對(duì)其進(jìn)行運(yùn)算處理，這可以提高神經(jīng)網(wǎng)絡(luò)的運(yùn)算處理能力。在該實(shí)施例中，將說(shuō)明如下運(yùn)算處理方法，其利用排序塊4以大小的降序?qū)Σ僮鲾?shù)值Xi進(jìn)行排序，將在從大值開始計(jì)數(shù)時(shí)對(duì)應(yīng)于預(yù)定比例的操作數(shù)值Xi之外的操作數(shù)值Xi看作第十二實(shí)施例中的定值。圖29所示的配置與第十二實(shí)施例的不同之處在于，對(duì)圖28所示的上述排序塊4進(jìn)一步添加定值保持存儲(chǔ)器74。除了圖29所示的部分之外，與在第十二實(shí)施例中描述的配置相同。更具體地說(shuō)，將與預(yù)定數(shù)(比例)有關(guān)的數(shù)據(jù)從預(yù)定數(shù)(比例)保持存儲(chǔ)器73輸入到排序塊4。在達(dá)到預(yù)定數(shù)(比例)時(shí)，結(jié)束對(duì)操作數(shù)值Xi進(jìn)行排序處理。此外，將與定值有關(guān)的數(shù)據(jù)從定值保持存儲(chǔ)器74輸入到排序塊4。輸出定值作為操作數(shù)值Xi。在將相關(guān)存儲(chǔ)器用作排序塊4時(shí)，通過(guò)在搜索相關(guān)存儲(chǔ)器內(nèi)的內(nèi)容的過(guò)程中，當(dāng)依次減小搜索值時(shí)，在輸出的操作數(shù)值Xi的數(shù)量達(dá)到從預(yù)定數(shù)(比例)保持存儲(chǔ)器73輸入的預(yù)定數(shù)(比例)后，輸出作為從定值保持存儲(chǔ)器74輸入的定值的操作數(shù)值Xi，可以實(shí)現(xiàn)在從大值開始計(jì)數(shù)時(shí)對(duì)對(duì)應(yīng)于預(yù)定比例的操作數(shù)值Xi之外的操作數(shù)值Xi進(jìn)行運(yùn)算的方法。只要可以實(shí)現(xiàn)與上述相同的功能，可以采用任意其他電路和方法。在WTA電路用作排序塊4時(shí)，通過(guò)在利用WTA電路進(jìn)行排序的過(guò)程中，在基準(zhǔn)電壓值達(dá)到與當(dāng)達(dá)到從預(yù)定數(shù)(比例)保持存儲(chǔ)器73輸入的預(yù)定數(shù)(比例)時(shí)的操作數(shù)值Xi相對(duì)應(yīng)的電壓值后，輸出作為從定值保持存儲(chǔ)器74輸入的定值的對(duì)應(yīng)于操作數(shù)值Xi的電壓值。只要可以實(shí)現(xiàn)與上述相同的功能，可以采用任意其他電路和方法。第十四實(shí)施例圖30A和30B示出在第十四實(shí)施例中進(jìn)行圖像處理的積和運(yùn)算方法的例子。如圖30A和30B所示，作為特性特征，該積和運(yùn)算方法包括在第八至第十三實(shí)施例中描述的神經(jīng)網(wǎng)絡(luò)電路。圖30A和30B僅示出分層結(jié)構(gòu)的第一級(jí)，而沒(méi)有示出后續(xù)層。在此輸入的信號(hào)是圖像信號(hào)。更具體地說(shuō)，根據(jù)該實(shí)施例的積和運(yùn)算方法的目的是，通過(guò)使神經(jīng)網(wǎng)絡(luò)電路對(duì)所輸入的圖像信號(hào)執(zhí)行預(yù)定運(yùn)算，來(lái)執(zhí)行所期望的圖像處理(例如，模式檢測(cè)和模式識(shí)別)。通過(guò)適當(dāng)調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)電路的操作數(shù)值Wi和系數(shù)值Ki，可以設(shè)置要實(shí)際實(shí)現(xiàn)的圖像處理的內(nèi)容，以實(shí)現(xiàn)所期望的處理內(nèi)容(例如，模式檢測(cè)和模式識(shí)別)。詳細(xì)的調(diào)節(jié)方法不是本發(fā)明的要點(diǎn)，因此省略其說(shuō)明。在該實(shí)施例中，從圖像傳感器件(例如，CCD或CMOS圖像傳感器)輸出的圖像信號(hào)對(duì)應(yīng)于第一至第七實(shí)施例中的操作數(shù)值Xi。因此，對(duì)該圖像信號(hào)執(zhí)行的運(yùn)算處理與在第一至第十三實(shí)施例中對(duì)操作數(shù)值Xi執(zhí)行的運(yùn)算處理相同。圖像信號(hào)輸入為模擬信號(hào)、數(shù)字信號(hào)或者PWM信號(hào)。對(duì)應(yīng)于每種信號(hào)類型的運(yùn)算處理與在第一至第十三實(shí)施例中描述的操作數(shù)值Xi的信號(hào)類型對(duì)應(yīng)。該運(yùn)算處理與該實(shí)施例中的運(yùn)算處理相同，因此省略其說(shuō)明。參考圖30A和30B，比較器69將作為模擬信號(hào)的圖像信號(hào)轉(zhuǎn)換為PWM信號(hào)，然后，脈寬/數(shù)字轉(zhuǎn)換塊70將其轉(zhuǎn)換為數(shù)字值，并輸入到神經(jīng)網(wǎng)絡(luò)電路。假定圖像傳感器件是CCD或CMOS圖像傳感器。還可以采用任意其他圖像傳感器件而不產(chǎn)生任何問(wèn)題。該實(shí)施例中的圖像傳感器件的數(shù)量、神經(jīng)元的數(shù)量以及層的數(shù)量并不限制根據(jù)本發(fā)明的圖像信號(hào)處理電路的配置。根據(jù)需要，可以任意設(shè)置這些數(shù)量。圖31示出上述運(yùn)算處理的流程。首先，執(zhí)行用于輸入從圖像傳感器件輸出的圖像信號(hào)的步驟S1。接著，執(zhí)行用于保持輸入信號(hào)的輸入值保持步驟S2。隨后，執(zhí)行以大小的降序輸出所保持的輸入值的排序步驟S3。執(zhí)行用于將標(biāo)志和標(biāo)簽保持到存儲(chǔ)器內(nèi)的存儲(chǔ)器保持步驟S4。在斜坡生成步驟S6，根據(jù)在系數(shù)值輸入步驟S5輸入的系數(shù)值和在存儲(chǔ)器保持步驟S4輸入的標(biāo)志，產(chǎn)生隨時(shí)間單調(diào)增加的電壓波形(斜坡波形)，并將其輸入到切換步驟S7。在切換步驟S7，根據(jù)在存儲(chǔ)器保持步驟S4輸入的標(biāo)簽，斜坡波形輸入到適當(dāng)?shù)倪\(yùn)算塊。在切換步驟S9，根據(jù)在存儲(chǔ)器保持步驟S4輸入的標(biāo)簽，在權(quán)重值輸入步驟S8輸入的權(quán)重值被輸入到適當(dāng)?shù)倪\(yùn)算塊。在斜坡波形和權(quán)重值輸入到的運(yùn)算塊中，執(zhí)行乘法/累加步驟S10，并將累加值輸出到函數(shù)處理步驟S11。在函數(shù)處理步驟S11，執(zhí)行預(yù)定函數(shù)處理，并執(zhí)行將輸出值輸入到后續(xù)層的步驟S12。在后續(xù)層上，對(duì)上述運(yùn)算處理步驟重復(fù)所需的次數(shù)(層數(shù))。如上所述，當(dāng)對(duì)圖像信號(hào)施加由神經(jīng)網(wǎng)絡(luò)電路執(zhí)行的運(yùn)算處理時(shí)，可以實(shí)現(xiàn)所期望的運(yùn)算處理(例如，模式檢測(cè)和模式識(shí)別)。由于在不脫離本發(fā)明的精神和范圍的情況下，可以做出本發(fā)明的許多明顯相同的實(shí)施例，因此應(yīng)當(dāng)理解，除了在所附權(quán)利要求書中定義外，本發(fā)明不局限于其具體實(shí)施例。優(yōu)先權(quán)要求本申請(qǐng)要求2003年10月16日提交的第2003-356625號(hào)日本專利申請(qǐng)的優(yōu)先權(quán)，在此引用該申請(qǐng)作為參考。權(quán)利要求1.一種積和運(yùn)算電路，包括排序電路，其以大小的降序或升序輸出多個(gè)操作數(shù)值；乘法電路，其將從所述排序電路輸出的每個(gè)操作數(shù)值與相應(yīng)的操作數(shù)值相乘；以及累加和電路，其計(jì)算所述乘法電路的乘法結(jié)果的累加和。2.根據(jù)權(quán)利要求1所述的積和運(yùn)算電路，其特征在于，所述排序電路輸出該多個(gè)操作數(shù)值中不小于預(yù)定值的操作數(shù)值。3.根據(jù)權(quán)利要求1所述的積和運(yùn)算電路，其特征在于，所述排序電路輸出定值，來(lái)代替該多個(gè)操作數(shù)值中小于預(yù)定值的操作數(shù)值。4.根據(jù)權(quán)利要求1所述的積和運(yùn)算電路，其特征在于，所述排序電路輸出該多個(gè)操作數(shù)值中按大小的降序或升序與預(yù)定比例相對(duì)應(yīng)的操作數(shù)值。5.根據(jù)權(quán)利要求1所述的積和運(yùn)算電路，其特征在于，所述排序電路輸出定值，來(lái)代替該多個(gè)操作數(shù)值中按大小的降序或升序與預(yù)定比例相對(duì)應(yīng)的操作數(shù)值以外的操作數(shù)值。6.根據(jù)權(quán)利要求1～5中的任一項(xiàng)所述的積和運(yùn)算電路，其特征在于，還包括多個(gè)運(yùn)算塊，每個(gè)該運(yùn)算塊包括所述乘法電路和所述累加和電路。7.根據(jù)權(quán)利要求6所述的積和運(yùn)算電路，其特征在于，所述多個(gè)運(yùn)算塊并行執(zhí)行運(yùn)算。8.根據(jù)權(quán)利要求6或7所述的積和運(yùn)算電路，其特征在于，所述多個(gè)操作數(shù)值中的每個(gè)包括標(biāo)簽，每個(gè)操作數(shù)值在對(duì)應(yīng)于該標(biāo)簽的運(yùn)算塊內(nèi)進(jìn)行乘法。9.根據(jù)權(quán)利要求8所述的積和運(yùn)算電路，其特征在于，還包括切換電路，其切換用于將每個(gè)操作數(shù)值輸入到對(duì)應(yīng)于該標(biāo)簽的運(yùn)算塊的路徑。10.根據(jù)權(quán)利要求1～9中的任一項(xiàng)所述的積和運(yùn)算電路，其特征在于，所述乘法電路執(zhí)行將每個(gè)操作數(shù)值乘以各自的權(quán)重值的加權(quán)運(yùn)算。11.根據(jù)權(quán)利要求1～10中的任一項(xiàng)所述的積和運(yùn)算電路，其特征在于，該多個(gè)操作數(shù)值是數(shù)字信號(hào)，以及通過(guò)使用相關(guān)存儲(chǔ)器，所述排序電路以大小的降序或升序輸出該多個(gè)操作數(shù)值。12.根據(jù)權(quán)利要求1～11中的任一項(xiàng)所述的積和運(yùn)算電路，其特征在于，還包括信號(hào)輸出電路，其根據(jù)所述排序電路的輸出，將隨時(shí)間單調(diào)增加或減小的電壓信號(hào)輸出到所述乘法電路。13.根據(jù)權(quán)利要求12所述的積和運(yùn)算電路，其特征在于，所述信號(hào)輸出電路包括用于將該電壓信號(hào)乘以預(yù)定系數(shù)的單元。14.根據(jù)權(quán)利要求1～10中的任一項(xiàng)所述的積和運(yùn)算電路，其特征在于，該多個(gè)操作數(shù)值是模擬信號(hào)，以及通過(guò)使用勝者全拿電路，所述排序電路以大小的降序或升序輸出該多個(gè)操作數(shù)值。15.根據(jù)權(quán)利要求1～14中的任一項(xiàng)所述的積和運(yùn)算電路，其特征在于，所述乘法電路接收對(duì)應(yīng)于操作數(shù)值的電壓值作為壓控電流源和壓控電阻器件的控制電壓，并輸出作為電壓值的乘法結(jié)果。16.一種具有多級(jí)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，其中，每個(gè)神經(jīng)元包括根據(jù)權(quán)利要求1～14中的任一項(xiàng)所述的積和運(yùn)算電路，以及所述積和運(yùn)算電路從位于前級(jí)的神經(jīng)元接收輸出值作為多個(gè)操作數(shù)值，使所述乘法電路將每個(gè)操作數(shù)值乘以作為相應(yīng)操作數(shù)值的突觸權(quán)重，以及計(jì)算作為累加和的內(nèi)部狀態(tài)值。17.一種執(zhí)行積和運(yùn)算的方法，其包括如下步驟(a)以大小的降序或升序輸出多個(gè)操作數(shù)值；(b)將每個(gè)所輸出的操作數(shù)值乘以相應(yīng)的操作數(shù)值；以及(c)計(jì)算在步驟(b)中的乘法結(jié)果的累加和。全文摘要一種積和運(yùn)算電路，包括排序塊(4)，其以大小的降序或升序輸出多個(gè)操作數(shù)值x1、x2、…；以及運(yùn)算單元(1)，其將從排序塊(4)輸出的每個(gè)操作數(shù)值xi與相應(yīng)的操作數(shù)值Wi相乘，并計(jì)算乘法結(jié)果的累加和。文檔編號(hào)G06F7/38GK1998012SQ20048003031公開日2007年7月11日申請(qǐng)日期2004年10月14日優(yōu)先權(quán)日2003年10月16日發(fā)明者野村修,森江隆,是角圭祐申請(qǐng)人:佳能株式會(huì)社