Wat is datamining en hoe werkt het dataminingproces?

Wat is datamining?

Datamining, artificial intelligence en big data worden vaak in één adem genoemd. Hetzelfde geldt voor deep learning, data science en predictive analytics. Hoewel deze begrippen veel met elkaar te maken hebben, zijn er wezenlijke verschillen. Om verwarring te voorkomen hanteren we één definitie:

Datamining is het vinden van verbanden, patronen en correlaties in gestructureerde data met behulp van machine learning, statistiek en databasetechnieken.

Het uiteindelijke doel is nieuwe inzichten opdoen die in data verborgen zitten. Die gebruik je om betere beslissingen te nemen, processen te optimaliseren en zelfs te innoveren. Een veel aangehaald voorbeeld: op een mooie dag werd een vader verrast met allerlei aanbiedingen van producten die vrouwen vaak tijdens een zwangerschap kopen. De supermarkt wist eerder dan hijzelf dat zijn dochter in verwachting was. Het laat de kracht van datamining zien en tegelijk de ethische kant ervan: de retailer bracht de dochter behoorlijk in verlegenheid. En zonder elementaire kennis van statistiek trek je al snel verkeerde conclusies.

De bouwstenen van datamining

Datamining functioneert niet in isolatie. Je hebt minimaal de volgende bouwstenen nodig:

• Databronnen: selecteer en onttrek gegevens uit bronnen van hoge kwaliteit.
• Datawarehouse: combineer gegevens uit verschillende bronnen en breng ze bij elkaar.
• Data discovery: keer de data binnenstebuiten; ken je gegevens door en door.
• Dataminingsoftware: laat statistiek en machine learning los op de verzamelde gegevens.
• Datavisualisatie: visualiseer de patronen en verbanden zodat iedereen ze kan begrijpen.
• Betere beslissingen: maak beslissingen datagedreven en verbeter ze structureel.

Hoewel de pijl in de figuur van beneden naar boven loopt, raden we je aan te beginnen bij de beslissingen die je in het primaire proces wilt verbeteren en niet bij de databronnen. Een helder doel geeft je dataminingproject de juiste focus.

Waar liggen de wortels van datamining?

De wortels gaan terug tot de 18e eeuw, toen de Bayesiaanse kansrekening, de waarschijnlijkheidstheorie en de regressieanalyse hun intrede deden in de wiskunde. De term datamining als concept dook pas in 1990 op in databasekringen. Eerst werd formeel gesproken van knowledge discovery in databases (KDD); later raakte de term datamining steeds meer in zwang. Gelet op deze historie en het onderzoekende karakter is data discovery een algemeen geaccepteerd synoniem. Data science is de verzamelnaam voor de datawetenschappen in de ruimste zin.

Wat is het verschil met process mining?

Process mining en datamining worden vaak door elkaar gehaald. Beide vallen onder de brede paraplu van business intelligence en analytics, en beide gebruiken in toenemende mate machinelearningalgoritmes om verborgen patronen, verbanden en onregelmatigheden te ontdekken. Toch zijn er meer verschillen dan overeenkomsten.

• Bij datamining ligt de focus op de patronen binnen de data. Zo probeert het Amerikaanse Pizza Hut patronen in klantgedrag te ontdekken. Met AI-technieken wil het bedrijf klanten pizza’s aanbevelen op basis van het actuele weer en de plek waar klanten wonen of hun pizza willen opeten. Een bepaald weerpatroon veronderstelt een voorkeur voor een specifieke pizza.
• Bij process mining ligt de focus op de afwijkingen in het bedrijfsproces. Waarom wordt de pizza niet op tijd bezorgd, en wat verklaart de verschillen in baktijd? Process mining werkt met event logs, audit trails en tijdstempels.

Een ander verschil is dat datamining van oudsher werkt met min of meer statische tabellen, terwijl process mining tegenwoordig ook realtime bedrijfsprocessen kan monitoren. Bij datamining speelt het toeval een grote rol, terwijl je bij process mining ook een vooraf gedefinieerd probleem kunt analyseren. Datamining zoekt naar correlaties en patronen; process mining zoekt naar causale verbanden. Of, zoals het platform TechTarget het omschrijft: datamining gaat over het wat, de patronen zelf, terwijl process mining het waarom probeert te beantwoorden.

Datamining versus process mining

De belangrijkste verschillen naast elkaar.

Wat is text mining?

Text mining, ook wel text analytics genoemd, is minder bekend dan datamining. Met de benoeming van Jan C. Scholtes tot eerste hoogleraar text mining in Nederland kwam daar verandering in. In zijn oratie beschrijft hij het verschil. Datamining is het analyseren van transactiegegevens in relationele databases, zoals creditcardbetalingen, waaraan kenmerken als datum, locatie, leeftijd van de kaarthouder en salaris kunnen hangen. Door die gegevens te combineren leg je patronen in interesses of gedrag bloot.

Bij text mining ontdek je door geautomatiseerde analyse van ongestructureerde informatie relevante patronen en kenmerken. Daarmee kun je beter zoeken, dieper analyseren en inzichten boven tafel krijgen die anders verborgen blijven. Sinds een aantal jaar kan AI ook teksten genereren: generatieve AI.

Het idee van datamining is simpel, maar het aantal valkuilen is groot. Het is in essentie een samenspel van vier vlakken: mens, organisatie, technologie en data. Op alle vier zul je kleine en grote hobbels tegenkomen.

Het dataminingproces: 6 stappen (CRISP-DM)

Bij het inrichten van een dataminingproces kun je bijna niet om de CRISP-DM-standaard heen, het Cross-Industry Standard Process for Data Mining. Sinds eind jaren negentig geldt dit als de breed geaccepteerde de-factonorm. De standaard is niet gebouwd op een academisch fundament, maar geënt op de dagelijkse praktijk.

1. Doorgrond de businessvraag: formuleer de doelstellingen van het project helder en vertaal de eisen vanuit businessperspectief. Het resultaat is een probleemstelling en een voorlopig plan van aanpak.
2. Begrijp de data: verzamel de data en raak er helemaal vertrouwd mee. Je herkent datakwaliteitsproblemen, bent alert op mogelijke biases, verwerft de eerste inzichten en formuleert hypotheses over verborgen informatie.
3. Prepareer de data: werk vanuit de ruwe data toe naar een definitieve dataset die als input dient voor het model: tabellen, records en attributen selecteren, en data transformeren en opschonen. Die taken herhaal je zo nodig.
4. Modelleer de data: selecteer verschillende algoritmes, pas ze toe en kalibreer de parameters richting optimale waarden: de trainingsfase. Sommige algoritmes stellen specifieke eisen aan de vorm van de data, waardoor je vaak terug moet naar stap 3.
5. Evalueer het model: valideer en evalueer het model grondig. Weet je zeker dat je er de bedrijfsdoelen mee realiseert? Is de performance toereikend? Heb je niets belangrijks over het hoofd gezien? Neem daarna een besluit over het gebruik van de resultaten.
6. Implementeer het model in productie: de implementatie kan zo eenvoudig zijn als een rapport met een voorspelling of een klant het contract verlengt, of zo complex als een herhaalbaar dataminingproces in een stap van een bedrijfsproces. De gebruiker moet vooraf begrijpen welke acties nodig zijn om het model daadwerkelijk te gebruiken.

De implementatie betekent doorgaans niet het einde van het project. Vaak gaat het om het toepassen van live modellen binnen de besluitvormingsprocessen van een organisatie, zoals het realtime personaliseren van webpagina’s of het herhaaldelijk scoren van nieuwe leads. Eén ding is zeker: met een goed ontworpen en goed gevuld datawarehouse pluk je veel sneller de vruchten van datamining.

9 voorbeelden van datamining

Organisaties lopen vanwege concurrentiegevoeligheid niet altijd te koop met hun use cases. Het meest aansprekende voorbeeld komt ongetwijfeld uit de filmklassieker Moneyball: datamining zette de traditionele honkbalwereld op zijn kop. Een aantal klassieke toepassingen in bedrijfsleven en overheid:

1. Retail: supermarktketens en webwinkels gebruiken associatieve technieken om consumentenpatronen te achterhalen, zoals welke artikelen vaak samen worden gekocht.
2. Smart farming: in de precisielandbouw worden weerpatronen en data over gewasgroei en bemesting geanalyseerd.
3. Industrie: waarom slijt het ene machineonderdeel veel sneller dan het andere? Fabrieken zetten datamining in om fouten in het fabricageproces te ontdekken en preventief onderhoud te voorspellen.
4. Zorgfraude: misbruik en fraude in de gezondheidszorg komen aan het licht als je zoekt naar afwijkende patronen in patiëntengedrag, medicijngebruik en declaratiegedrag en die vergelijkt met de protocollen.
5. Kwaliteit van zorg: grootschalige datamining en big data analytics in ziekenhuizen brengen patronen in ziektebeelden en erfelijke ziekten vrij snel aan het licht.
6. Financiële dienstverlening: algoritmes signaleren fraude door afwijkende patronen in betaalgedrag en menselijk gedrag te markeren.
7. Telecom: modellen worden al decennia gebruikt om belgedrag en overstapgedrag te analyseren, met als doel klanten langer te binden.
8. Overheid: dataminingsoftware wordt ingezet om uitkeringspatronen en belastingmoraal te monitoren en te analyseren.
9. Openbare ruimte: overheden zetten de software in om patronen te ontdekken voor crowd control, verkeersregulatie en criminaliteitspreventie.

ICS: een schoolvoorbeeld van datamining

De case van International Card Services (ICS) is misschien niet het bekendste voorbeeld, maar wel een heel fraai. Elke stap van het proces, van nieuwe klanten binnenhalen tot klanten behouden, en van acceptatie tot het stimuleren van het gebruik van creditcards, is onderbouwd met dataminingalgoritmes die de effectiviteit van de processtappen enorm vergroten. Zo daalde het aantal frauduleuze transacties in een jaar tijd met maar liefst 50% en nam het gebruik van de kaarten met 20% toe. Niet alleen ICS had daar belang bij, maar ook de klant. Computable meldde in 2009 dat ICS een Excellent Performance Award won voor zijn inzet van BI.

Werk je met persoonsgegevens of pas je geavanceerde modellen toe, zorg dan dat je voldoet aan de privacywetgeving (AVG) en de Europese AI Act.

Dataminingtools en -technieken

Alle grote enterprisesoftwareleveranciers, zoals SAP, Oracle en IBM, bieden dataminingtools aan, net als leveranciers die in business intelligence zijn gespecialiseerd. Je hoeft niet altijd je portemonnee te trekken: je kunt ook opensourcetalen en -tools gebruiken zoals Python en R. Sommige leveranciers zijn gespecialiseerd in text mining of in bepaalde technieken zoals classificatie, clustering, regressie, associatie en het signaleren van uitschieters. Wat je ook kiest, het herkennen van patronen in datasets staat centraal.

Volgens de leveranciers worden tools steeds gebruiksvriendelijker: ook gebruikers zonder programmeerervaring zouden aansprekende resultaten boeken, dankzij no-code of low-code en drag-and-dropfunctionaliteit. Sommige leveranciers zijn gespecialiseerd in een bepaalde sector, zoals de landbouw, de industrie of het onderwijs. Specifieke marktkennis kan helpen om je bedrijfsprobleem snel te doorgronden.

Vijf regels voor de selectie van dataminingsoftware

Leveranciers adverteren soms met exotische termen als ‘predictive data mining software’ om hun scope te verbreden. Het ontbreken van heldere definities maakt de markt minder transparant en verstoort een ordentelijk, objectief selectieproces. Deze vijf regels kunnen je behoeden voor een miskoop:

1. Trap niet in verkooptrucs: leveranciers werken met basis- en premiumversies. Text mining is dan bijvoorbeeld alleen beschikbaar in de premiumversie.
2. Gebruik je onderhandelingsmacht: leveranciers zijn bijna altijd bereid kortingen te geven, zeker bij grote aantallen licenties. Verkopers moeten ook hun targets halen. Street prices wijken altijd af van list prices.
3. Wees kritisch op het aantal licenties: aan elke extra module of feature hangt meestal een prijskaartje, en niet elke gebruiker heeft alle functionaliteit en plug-ins nodig.
4. Pas op voor scherpe aanbiedingen: achter gratis versies gaat meestal een abonnementsmodel schuil dat via upgrades naar premiumversies loopt.
5. Haal het maximale uit je investering: goede documentatie is belangrijk en bij gratis versies niet altijd op orde. En datamining leer je niet uit een boekje: oefening baart kunst.

Maak van datamining een succes: 6 tips

Veel dataminingprojecten komen nooit in productie, en dat ligt vaak niet aan de technologie. De organisatorische kant wordt genegeerd, de communicatie met gebruikers verwaarloosd, het project is puur technologiegedreven of het management heeft onrealistische verwachtingen. Meestal gaan die samen. Houd het volgende voor ogen:

1. Hanteer het CRISP-DM-model en volg de zes stappen nauwgezet.
2. Wees zeer alert op de datakwaliteit; die kan het project maken of breken.
3. Stel een multidisciplinair team samen met vertegenwoordigers van business en IT.
4. Zorg dat het team voldoende kennis van en ervaring met datamining heeft.
5. Verzamel zoveel mogelijk relevante gegevens; beperk je niet tot interne data.
6. Selecteer het type algoritme dat bij het vraagstuk past.

Verder lezen

• Neurale netwerken, clusteranalyse en lineaire regressie: drie technieken uitgelegd.
• Process mining: afwijkingen in bedrijfsprocessen vinden.
• Data science en machine learning: het bredere vakgebied.
• Datakwaliteit: de randvoorwaarde voor betrouwbare modellen.

Bronnen

• Chapman, P. et al. (2000): CRISP-DM 1.0: Step-by-step data mining guide. SPSS.
• Scholtes, J.C.: Text mining: de volgende stap in zoektechnologie. Oratie, Universiteit Maastricht.
• Dutch BI Award: juryrapport editie 2009 (ICS).
• Business Insider: Pizza Hut is building an AI that recommends food based on your local weather.

Over de auteur

Herman van Dellen is een zeer ervaren data scientist die zijn kennis van machine learning en statistiek al jarenlang inzet bij organisaties, op terreinen als CRM, BI, datawarehousing en ETL. Daarnaast heeft hij ervaring met Python en diverse cloudplatforms.

Over Diamond Decisions

Diamond Decisions helpt organisaties beter te worden door betere beslissingen mogelijk te maken. We starten niet bij data, dashboards of AI, maar bij de beslissing die beter moet, en bouwen van daaruit terug naar KPI’s, data en technologie. Dat doen we in vier stappen: inspiratie en alignment, business modeling, analytics en dataplatform en datagedreven beslissers. Zo zorgen we dat BI en AI geen IT-project blijven, maar elke dag waarde opleveren.