Här får du se hur ett neuralt nätverk faktiskt lär sig. Vi följer ett träningsexempel hela vägen runt och ser hur felet vandrar bakåt genom nätverket och justerar varje vikt en aning.
Välj en logisk grind. Nätverket ska lära sig att ge rätt svar för alla fyra kombinationerna av ingångarna x₁ och x₂.
Följ hur nätverket lär sig, steg för steg – från slumpmässig gissning till färdigtränad modell.
EnglishI varje beräkningssteg är z, a, ŷ och L konkreta tal – uträknade resultat för en given ingång och givna vikter. Det som deriveras är däremot inte dessa enskilda tal, utan sambandet mellan dem: formeln som beskriver hur förlusten L skulle förändras om en vikt w ändrades något.
Håller man alla andra värden fasta och låter w variera framträder en kurva. Derivatan är lutningen på den kurvan i just den punkt där vikten befinner sig just nu – inte höjden, utan hur brant det är där.
Nätverket känner till kurvans ekvation, eftersom den bara byggs av kända, deriverbara steg (viktade summor och sigmoid). Därför går det att räkna ut lutningen exakt, genom att sätta in de aktuella talen i den färdiga formeln – i stället för att gissa.
Kedjeregeln multiplicerar ihop de här lutningarna, steg för steg bakåt genom nätverket – det är precis det Fas 3 · Backprop gör.
Ju brantare kurvan är, desto känsligare är förlusten för ändringar i vikten. Längst ner i dalen är lutningen noll – där går det inte att minska förlusten mer genom att flytta vikten åt något håll. Det är alltså i botten av kurvan, där derivatan är noll, som förlusten är som minst – och dit gradientnedstigning steg för steg försöker ta nätverket.