Google-dochter Deepmind heeft een nieuw stapje gezet in het verbeteren van zelflerende diepe neurale netwerken. In een artikel in Pnas doen ze een methode uit de doeken om de netwerken te trainen met nieuwe data zonder eerder vergaarde kennis te overschrijven. Dat opent de deur naar ai-systemen die voortdurend blijven leren.
Diepe neurale netten kunnen succesvol verbanden leren leggen door aan de hand van een groot aantal voorbeelden de sterkte van de netwerkverbindingen in te stellen. Maar daarvoor moeten ze wel tijdens de trainingsfase al over een volledige set van voorbeelden beschikken. Wordt netwerk later ‘bijgetraind’ met nieuwe situaties, dan worden de verbindingen daar volledig op aangepast en verleert het netwerk de oude taken, iets dat bekend staat als catastrophic forgetting.
Bij biologische neurale netwerken gebeurt dit echter niet. Neurowetenschappers denken dat daar twee mechanismen aan ten grondslag liggen. De eerste is de aanwezigheid van een langetermijngeheugen, waarnaar het snellerende deel van ons brein kennis overdraagt die over langere tijd steeds terugkomt. Zo’n extra geheugen is echter niet erg aantrekkelijk om in een kunstmatig neuraal netwerk toe te passen. Maar het andere mechanisme blijkt wel goed te gebruiken: synaptische consolidatie, ofwel bescherming van verbindingen die belangrijk zijn voor een specifieke taak tegen overschrijving.
This article is exclusively available to premium members of Bits&Chips. Already a premium member? Please log in. Not yet a premium member? Become one for just €20 for the first year and enjoy all the benefits.