NTT ja Tokion yliopisto kehittävät maailman ensimmäisen optisen laskennan tekoälyn käyttämällä ihmisaivojen inspiroimaa algoritmia

Yhteistyö edistää pienitehoisen ja nopean optiseen laskentaan perustuvan tekoälyn käytännön soveltamista

TOKYO– (LIIKETOIMINTA) -#TechforGood-NTT Oyj (Pääjohtaja ja toimitusjohtaja: Akira Shimada, "NTT") ja Tokion yliopisto (Bunkyo-ku, Tokio, presidentti: Teruo Fujii) ovat kehittäneet uuden oppimisalgoritmin, joka on saanut inspiraationsa aivojen tiedonkäsittelystä ja joka soveltuu monikerroksisiin keinotekoisiin hermoverkkoihin (DNN) analogisia operaatioita käyttäviin toimintoihin. Tämä läpimurto vähentää tekoälyn virrankulutusta ja laskenta-aikaa. Tämän kehityksen tulokset julkaistiin brittiläisessä tieteellisessä lehdessä Luonto Viestintä joulukuussa 26^th.

Tutkijat saavuttivat maailman ensimmäisen demonstraation tehokkaasti suoritetusta optisesta DNN-oppimisesta soveltamalla algoritmia DNN:hen, joka käyttää optista analogista laskentaa, jonka odotetaan mahdollistavan nopeita, vähän virtaa käyttäviä koneoppimislaitteita. Lisäksi he ovat saavuttaneet maailman parhaan suorituskyvyn monikerroksisessa keinotekoisessa hermoverkossa, joka käyttää analogisia toimintoja.

Aiemmin suuren kuormituksen oppimislaskelmia tehtiin digitaalisilla laskelmilla, mutta tämä tulos osoittaa, että oppimisosan tehokkuutta on mahdollista parantaa analogisilla laskelmilla. Deep Neural Network (DNN) -tekniikassa toistuva hermoverkko, jota kutsutaan syvävarastolaskemiseksi, lasketaan olettamalla optinen pulssi neuroniksi ja epälineaarinen optinen rengas hermoverkkona, jossa on rekursiivisia yhteyksiä. Kun lähtösignaali syötetään uudelleen samaan optiseen piiriin, verkkoa syvennetään keinotekoisesti.

DNN-teknologia mahdollistaa kehittyneen tekoälyn (AI), kuten konekäännöksen, autonomisen ajamisen ja robotiikan. Tällä hetkellä tarvittava teho ja laskenta-aika kasvavat vauhtia, joka ylittää digitaalisten tietokoneiden suorituskyvyn kasvun. Analogisia signaalilaskelmia (analogisia operaatioita) käyttävän DNN-tekniikan odotetaan olevan menetelmä aivojen hermoverkon kaltaisten tehokkaiden ja nopeiden laskelmien toteuttamiseen. NTT:n ja Tokion yliopiston yhteistyössä on kehitetty uusi analogiseen operaatioon DNN sopiva algoritmi, joka ei edellytä DNN:n sisältämien oppimisparametrien ymmärtämistä.

Ehdotettu menetelmä oppii muuttamalla oppimisparametreja verkon viimeisen kerroksen ja halutun lähtösignaalin virheen (virhesignaalin) epälineaarisen satunnaismuunnoksen perusteella. Tämä laskelma helpottaa analogisten laskelmien toteuttamista esimerkiksi optisissa piireissä. Sitä voidaan käyttää myös fyysisen toteutuksen mallin lisäksi myös huippuluokan mallina, jota käytetään sovelluksissa, kuten konekäännöksissä ja erilaisissa AI-malleissa, mukaan lukien DNN-malli. Tämän tutkimuksen odotetaan myötävaikuttavan tekoälyn laskemiseen liittyvien uusien ongelmien ratkaisemiseen, mukaan lukien virrankulutus ja pidentynyt laskenta-aika.

Sen lisäksi, että NTT tutkii tässä artikkelissa ehdotetun menetelmän soveltuvuutta tiettyihin ongelmiin, NTT edistää myös optisten laitteiden laaja- ja pienimuotoista integrointia tavoitteenaan luoda nopea, vähän tehoa käyttävä optinen laskenta-alusta tulevaisuuden optisille laitteistoille. verkkoja.

Tuki tälle tutkimukselle:

JST/CREST tuki osaa näistä tutkimustuloksista.

Lehden julkaisu:

Magazine: Luonto Viestintä (Verkkoversio: 26. joulukuuta)

Artikkelin otsikko: Fyysinen syväoppiminen biologisesti inspiroidulla harjoitusmenetelmällä: gradienttiton lähestymistapa fyysiselle laitteistolle

Tekijät: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto ja Kohei Nakajima

Terminologian selitys:

1. Optinen piiri: Piiri, jossa pii- tai kvartsi-optiset aaltoputket on integroitu piikiekolle elektronisten piirien valmistustekniikkaa käyttäen. Viestityksessä optisten viestintäpolkujen haaroittaminen ja yhdistäminen suoritetaan optisilla häiriöillä, aallonpituusmultipleksoinnilla/demultipleksoinnilla ja vastaavilla.
2. Backpropagation (BP) -menetelmä: Yleisimmin käytetty oppimisalgoritmi syväoppimisessa. Verkon painojen (parametrien) gradientit saadaan levitettäessä virhesignaalia taaksepäin ja painot päivitetään niin, että virhe pienenee. Koska takaisinetenemisprosessi edellyttää verkkomallin painomatriisin transponointia ja epälineaarista differentiaatiota, sitä on vaikea toteuttaa analogisissa piireissä, mukaan lukien elävän organismin aivot.
3. Analoginen laskenta: Tietokone, joka ilmaisee todellisia arvoja käyttää fyysisiä suureita, kuten valon intensiteettiä ja vaihetta sekä magneettisten spinien suuntaa ja intensiteettiä ja suorittaa laskelmia muuttamalla näitä fyysisiä suureita fysiikan lakien mukaan.
4. Direct feedback alignment (DFA) -menetelmä: Menetelmä kunkin kerroksen virhesignaalin pseudolaskemiseksi suorittamalla epälineaarinen satunnaismuunnos viimeisen kerroksen virhesignaalille. Koska se ei vaadi verkkomallista differentiaalista tietoa ja se voidaan laskea vain rinnakkaisella satunnaismuunnolla, se on yhteensopiva analogisen laskennan kanssa.
5. Reservoir computing: Toistuvan hermoverkon tyyppi, jossa on toistuvia yhteyksiä piilossa. Sille on tunnusomaista satunnaisesti kiinnittyvät liitokset välikerroksessa, jota kutsutaan säiliökerrokseksi. Syvän säiliön laskennassa tiedonkäsittely suoritetaan yhdistämällä säiliökerrokset useisiin kerroksiin.

NTT ja NTT-logo ovat NIPPON TELEGRAPH AND TELEPHONE CORPORATIONin ja / tai sen tytäryhtiöiden rekisteröityjä tavaramerkkejä tai tavaramerkkejä. Kaikki muut viitatut tuotenimet ovat omistajiensa tavaramerkkejä. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Yhteystiedot

Stephen Russell

Wireside Communications®

NTT:lle

+ 1-804-362-7484

[sähköposti suojattu]