Innehåll

• Inledning
• Vad är Data Mining
• Data Mining-Processen
• Olika data mining-tekniker
• Evaluering av tekniker och modeller
• Lite om algoritmerna
• Mer info, etc
• Data Mining i Weka

Vad är data mining?

• Det finns ingen enkel gränsdragning vad som är data mining och inte.
  
  
• machine learning + AI + statistik + mycket data + (nya) ekonomin + hype
  
  
• mycket hype!
  Det finns mycket hype och fördomar vad data mining är.
  Alla säger sig hålla på med det.
  
  
• Försök till definition:
  

       Att med automatiska metoder få fram dold information ur stora 
       datamassor.
  

  
  Ett tidigare begrepp som användes var KDD:

       Knowledge Discovery in (Large) Databases
  

  (där "databases" ska ses som datamängd).
  
  
• med information menas modeller för att:
  • förstå världen som beskrivs via datamängden
  • göra förutsägelser (prediction)
  
  Jag betonar, liksom Witten & Frank, förståelsen snarare än förutsägelser.
  
  
• syftet med data mining
  • förstå data
  • förutsägelser/prediction
  • hitta dolda strukturer ("generera expertsystem"), modeller
  • automatiskt generera modeller utan att behöva göra allt för
    ingående analyser (t.ex. hypotestestning):

              Låt datorn göra jobbet!
    

    Paradexempel: associationsregler, beslutsträd/-regler.
  • tjäna pengar!
  
  
  
• För en statistiker är/var "data mining" att desperat försöka
  vaska fram något intressant korn ur en datamängd (det går nästan alltid).
  
  
• Fortfarande gäller SISU: Skit In Skit Ut!
  Det finns en fördom att man inte behöver verifiera sina DM-resultat.
  
  
• Data warehouse ses ofta som en förutsättning för data mining
  

Varför pratar "alla" om det nuförtiden?

• snabbare datorer som möjliggör teknikerna
• bättre algoritmer
• databashanterare som klarar mycket stora datamändger
• affärsmässigt behov av att analysera större och större mängder data
• tillgång till stora datamängder
• webben, CRM, One-To-One-Relationship, Nya Ekonomin
  
  Troligen har webbens utveckling bidragit en stor del, eftersom det gjorde det tydligt för många vad data mining kan göra: personlig rekommendation i realtid!
  Liksom den gigantiska mängd data som webben genererar:
  
  • en förfärligt massa användare som är kända på ett eller annat sätt
  • webbloggar, sökningar

Exempel på data mining

• telekommunikation: analys av vem som slutar sitt abonnemang
• banker: ska en kund få kredit eller inte
• aktiekurser
• rekommendationer via webben (Firefly, Amazons rekommenderare)
• identifiera oljeläckage

Vad är inte Data Mining?

• OLAP: Inte tillräckligt mycket automatik i framdragandet av slutsatserna
• Traditionell statistik: Kräver att man skapar omfattande hypoteser
  och/eller designade experiment
• CRM: Traditionella kundvårdssystem genererar inga modeller automatiskt
• Visualisering: Ingen automatik

Ideer från de olika disciplinerna

• AI

  • machine learning: läran om hur man lär datorer att "dra slutsatser"
    teorier om denna typ av lärande
  • heuristik: smarta optimeringar
  • neurala nätverk och liknande saker
  
  
  

• Statistik

  • verifieringsmetoder
  • visualisering (EDA: Exploratory Data Analysis)
  
  
  

• Computer Science

  • databaser
  • algoritmer, analyser
  
  
  

• Ekonomi

  • begrepp
  • problemområden
  • drivkraft

Innehåll

• Inledning
• Vad är Data Mining
• Data Mining-Processen
• Olika data mining-tekniker
• Evaluering av tekniker och modeller
• Lite om algoritmerna
• Mer info, etc
• Data Mining i Weka