Belgen en Spanjaarden maken neuraal netwerk een stuk simpeler

Belgische en Spaanse onderzoekers hebben een manier uitgedokterd om neurale netwerken voor bijvoorbeeld spraakherkenning radicaal te vereenvoudigen. In plaats van een grote verzameling aan rekeneenheden gebruiken zij er slechts eentje, maar dan met een kleine toevoeging: een terugkoppellus met tijdsvertraging. Lennert Appeltant van de Vrije Universiteit Brussel en zijn collega‘s van de Université Libre de Bruxelles, de Universiteit Gent en het Spaanse Ifisc schrijven dit in Nature Communications.

De nieuwe methode is een variant op reservoir computing, een manier om geavanceerde neurale netwerken te maken die inputsignalen aan de juiste groep kunnen plaatsen. Bij spraakherkenning bijvoorbeeld moet de computer het gemeten geluid aan de juiste klank toekennen. Bij reservoir computing is er een verzameling (reservoir) van rekenelementen die op willekeurige manier met elkaar verbonden zijn. Deze rekenelementen zijn min of meer gemodelleerd naar hersencellen (neuronen): ze integreren meerdere inputsignalen met elkaar op niet-lineaire wijze tot een enkel uitgangssignaal, dat weer wordt gebruikt als input voor andere ’neuronen‘. In het netwerk zijn circulaire verbindingen toegestaan, zodat een input een tijdje kan rondzingen – het systeem heeft een kortetermijngeheugen. De output wordt opgesteld door het signaal van een aantal willekeurige neuronen met elkaar te integreren. Tijdens een trainingsfase wordt bepaald hoe zwaar elk van deze neuronen moet worden meegewogen.

De netwerken presteren goed, maar hebben als nadeel dat er relatief veel componenten aan te pas komen. De Belgische en Spaanse onderzoekers stellen echter voor om het netwerk te vervangen door een enkel neuron dat zijn uitgangssignaal via een lus op zichzelf terugkoppelt. De truc is dat het uitgangsignaal er een tijdje over doet om door de terugkoppellus te reizen. Ook met deze architectuur kan een input dus een tijdje blijven rondzingen. In plaats van verschillende neuronen worden verschillende plekken in de lus gebruikt om het eindresultaat te construeren – omdat het signaal er een tijdje over doet om rond te reizen, zijn er in de lus verschillende toestanden te vinden.