Rita en bild och följ hur en dator steg för steg går från pixlar till en gissning.
Bilden · 16 × 16pixlar
Visa pixelvärden (0–255)
Knappar med streckad ram visar former som inte är någon av modellens fyra klasser. Modellen måste ändå välja den form som liknar mest.
Klicka på ett filter nedan för att börja.
Leta efter mönster med ett filter (faltning)
Varje filter är samma sorts bricka: nio tal, plus på ena sidan och minus på den andra. Det är var plus och minus sitter som avgör vilken sorts kant filtret reagerar på. Klicka på ? vid ett filter för att se hur.
Varje filter hittar olika mönster
Ett filter räcker inte för att förstå en bild. Därför använder riktiga CNN:er många olika filter samtidigt. Klicka på en eller flera kartor och se hur de tillsammans fångar allt mer av bilden.
Beslutet
Varje filterkarta summeras till ett tal: hur mycket filtret reagerade. Dessa fyra tal är hela modellens minne av bilden.
Modellen jämför bildens signatur med de fyra former den känner till och gör en klassificering: den form vars signatur liknar bildens mest blir gissningen.
Spelar det roll var i bilden formen sitter?
Flytta formen och håll ögonen på två saker: featurekartan uppe i bildkortet, och signaturen här ovanför.
flyttad 0 px
Först blir bilden ett rutnät av tal. En bild på 16 gånger 16 pixlar blir 256 tal mellan 0 och 255.
Sedan söker fyra filter igenom bilden efter olika typer av mönster. Varje filter skapar en egen featurekarta med 196 tal.
Varje featurekarta sammanfattas till ett enda tal som beskriver hur starkt just det filtret reagerade, i ett steg som kallas pooling. De fyra talen bildar tillsammans en enkel beskrivning av bilden. I simuleringen kallar vi den bildens signatur.
Till sist jämförs signaturen med de fyra former modellen känner till, och den mest lika formen vinner.
Det här kallas ett faltningsnätverk i miniformat. Det bygger på samma princip som ansiktsigenkänning och självkörande bilar, men de riktiga nätverken använder miljontals inlärda filter i många lager.
Vår minimodell och riktiga bildmodeller bygger på samma grundprincip, men arbetar i helt olika skala.
Likheter
• Båda ser bilder som rutnät av tal.
• Båda använder filter som glider över bilden och letar mönster.
• Båda kokar ner bilden till en signatur som styr beslutet.
Skillnader
• I simuleringen är filtren bestämda i förväg, medan riktiga CNN:er själva lär sig vilka filter som fungerar bäst under träningen.
• Riktiga nätverk staplar många lager: första lagret ser kanter, nästa ser former, nästa ser ögon, hjul, ansikten…
• Bilderna är miljontals pixlar i färg, inte 16×16 i gråskala.
• Vår modell känner till 4 former. Riktiga modeller kan skilja på tusentals objekt.
Modellen kan bara välja mellan fyra former: lodrät linje, vågrät linje och de två snedstrecken ╱ och ╲. Ritar du något annat, till exempel ett kryss, en cirkel eller en katt, måste den ändå välja den form som liknar mest, och då blir den osäker. De streckade knapparna ✚ och ◯ är just sådana fall.
Hur ser en dator?
I den här simuleringen får du följa hur en enkel bildmodell går från ett rutnät av tal till en gissning om vad bilden föreställer.
Modellen du bygger kallas ett faltningsnätverk (CNN). Tekniken låter datorer tolka foton, känna igen ansikten och läsa av vägskyltar. Så här går det till: