« Ett år med blogg - första bloggelsedagen | Main | Kontext i musiken »
juni 19, 2004
Spam på Gmail - mycket enkelt men misslyckat spamtest
I Första spammet på Gmail diskuterades lite hur bra Gmails spamfilter är. Idag beslöts att göra ett enkelt och brutalt empirisk test av detta. Tyvärr gick det inte helt enligt planerna.
Ursprunglig design av experimentet
Tanken med detta första försök var att dunka upp samtliga spam som identifierats för det vanliga mailkontot ("hemmakontot") i tre olika omgångar. Varje omgång skulle avslutas med att rapportera mailen som spam (med "Report Spam").
Det skulle skickas 3829 spam tre omgångar à cirka 1200 per omgång, där ordningen skulle vara i samma ordning som de inkommit till hemmakontot (i.e. datumordning). Lejonparten av dessa mail hade identifierats som spam av SpamAssasin och hade SpamAssassins spam-headers intakta, vilket eventuellt gör det enklare att identifiera dem skulle Gmail bry sig om slika ting.
Testet var således endast på huruvida Gmail kunde identifiera spam såsom spam eller inte. Det omvända testades alltså inte, dvs huruvida Gmail kunde identifiera icke-spam såsom icke-spam. Ett fullständigt test ska naturligtvis testa båda varianterna.
Det beslöts också att avbryta så fort det blev något strul, antingen med Gmail elller med mailskickandet. Samt att rapportera resultatet ändå, såvida det inte var löljigt lite mail som hade skickats iväg (där "löjligt lite" inte definierades före experimentet).
Faktiskt försök
För själva uppdunkandet användes mailläsaren pine, där spammen enkelt märktes och sedan bouncades till gmailkontot.
.
Tyvärr blev det en timeout i mailskickandet redan efter 529 ivägskickade spam. Därefter avbröts försöket. Av dessa till Gmail inkomna mail identifierade Gmail 417 såsom spam och 112 som icke-spam, dvs en spamidentifiering på cirka 78% (417/529).
Sammanfattning
Det var alltså ett misslyckat försök som möjligen berodde på dålig design, dålig teknik och/eller helt enkelt otur.
Vad gäller resultatet kan man - om man är positivt lagd - säga att resultatet 78% korrekt identfierade spam är bättre än de 50-60% som nämndes i kommentarerna till ovan nämnda blogganteckning. Men det imponerar fortfarande inte.
Experimentet har trots allt bidragit till erfarenheter om hur man inte bör göra försök av denna typ. Möjligen görs testet om en annan regnig dag, i så fall med bättre design och teknik. Och tur.
Posted by hakank at juni 19, 2004 07:34 FM Posted to Diverse