Innehåll
Evaluering av tekniker och modeller
Overfitting!
Testar man en modell med den data som man byggt upp modellen med,
är risken mycket stor att man får med de märkligheter som finns just i
denna datamängd, och det är alltså inte alls den generella modell som
man vill ha. Detta är
overfitting
Man måste alltid undersöka hur tillförlitlig modellen är!
Holdout estimation
Har man väldigt mycket data delar man lämpligen in i två delar:
- träningsdata
- validation data (oftast c:a 1/3)
Kanske även en tredje del för att optimera teknikens parametrar.
Nackdel: Respektive delar är inte säkert representativa för hela
datamängden, t.ex. att en klass finns inte med i träningsdata.
Har man inte så mycket data måste man ta till lite andra sätt:
Repeated holdout method
Detta är en variant av ovanstående.
Här upprepar man testet med olika delmängder.
För varje iteration tas en slumpmässig del bort som valideringsdata.
Tar medelavvikelsen på valideringsdata.
Fortfarande inte optimalt eftersom de olika testdata överlappar
mellan olika gånger på ett icke statistiskt
tillfredsställande sätt.
Cross-validation
Korsvalidering anses vara det mest tillförlitliga.
- Först: Dela upp datamändgen i k lika stora delmängder
- Sedan: Använd vart och ett av dessa k delmängder som testdata
(och de övriga k-1 som träningsdata)
Och det är detta vi ska använda.
Innehåll
created by
hakank