Datamining: Een diepgaande verkenning van gegevensontginning 

In dit artikel

1. Inleiding tot datamining 

1.1. Geschiedenis en evolutie van datamining 

We verzamelen al sinds mensenheugenis data om analyses te maken en verbanden te leggen in bijvoorbeeld de gezondheidszorg en wetenschap. Dit proces ging zeer traag omdat alles met de hand gedaan moest worden. De term datamining verscheen in 1990 en veranderde de wereld van data-analyse. 

Het data mining is door de jaren steeds verder ontwikkeld. Dit dankzij nieuwe technieken zoals kunstmatige intelligentie en machine learning. Op basis daarvan kunnen patronen en correlaties leiden tot nog betere toepassingen en betere beslissingen. 

1.2. Kernconcepten en terminologie 

Datamining is het doorzoeken van grote hoeveelheden gegevens, met als doel relevante informatie te vinden. Als datamining wordt toegepast is dat van onschatbare waarde voor onder andere wetenschappelijk onderzoek, gezondheidszorg, de financiële sector en marketing. 

Dankzij data mining kan men met informatie uit een database verbanden en correlaties ontdekken in de variabelen. Hierdoor kun je meer geïnformeerde beslissingen nemen en nieuwe toepassingen ontwikkelen en implementeren. Dit geeft je als bedrijf meer business intelligence en helpt je de producten te verbeteren, 

Data mining ziet er als volgt uit:

• Bepalen van doelen
• Verzamelen van beschikbare data
• Opschonen gegevens
• Bouwen van modellen om nieuwe data te onderzoeken. Soorten modellen:
  • Beschrijvende modellering
  • Voorspellende modellering
  • Prescriptieve modellering
• Gegevens uit de dataset invoeren om patronen, relaties en verbanden te ontdekken.
• Bepalen van volgende stappen met behulp van de nieuwe kennis. 

2. Belangrijke technieken en algoritmen 

2.1. Clusteranalyse: groeperen van vergelijkbare gegevens 

De clusteranalyse heeft als doel om overeenkomsten in de data bloot te stellen. Specifieke data wordt in groepen ingedeeld op basis van de gemeenschappelijke kenmerken. Deze manier van analyseren wordt regelmatig gebruikt voor marketingdoeleinden. Je kunt met deze analyse klanten indelen in groepen. 

Dat kan bijvoorbeeld op basis van aankopen, behoeftes, demografie of communicatievoorkeur. Hiermee kun je bijvoorbeeld achterhalen waar de klanten vandaan komen die het meeste spenderen. Deze informatie kan gebruikt worden om patronen en verbanden te leggen. Dit kun je gebruiken voor toekomstige marketingcampagnes. 

2.2. Beslissingsbomen: voorspelling en classificatie

In data mining kun je beslissingbomen gebruiken om voorspellingen te doen en big data te classificeren. De beslissingsboom is een algoritme dat werkt als een boom. Elke vertakking is een knooppunt waar een beslissing toegepast wordt. 

De data beschikbaar wordt aan de voet ingevoerd en met behulp van de knooppunten geclassificeerd. Door het doorlopen van de punten ontstaan uiteindelijk meerdere geclassificeerde subgroepen. Het gebruik van een beslissingboom in datamining is populair. Het maakt het geheel visueel een eenvoudig te begrijpen.  

2.3. Associatieregel leren: patronen in datasets 

Associatieregels is een manier van data mining waarbij de relatie tussen variabelen wordt bekeken. Deze manier wordt vaak toegepast in online winkels. Je kunt hiermee correlaties opsporen tussen verschillende artikelen in een winkelmandje. Het geeft bedrijven beter begrip van klanten. Bedrijven kunnen hierdoor betere aanbevelingen doen en toepassingen bedenken. 

3. Datamining in de praktijk: toepassingen en casestudies 

3.1. Zakelijke inzichten en markttrends 

Datamining is van onschatbare waarde voor de detailhandel. Dankzij data harvesting en datavisualisatie krijgt men beter inzichten. Het gaat hierbij onder andere om de browsegeschiedenis en het koopgedrag. 

Hiermee kun je bijvoorbeeld automation marketing inzetten. Wat is marketing automation? Kortweg is het klanten benaderen met automatische berichten. Ook de productontwikkeling en productie van een bedrijf hebben baat bij data mining. Wat betekent datamining hiervoor? Met data mining kun je de markt analyseren, patronen herkennen en slim inkopen. 

Daarnaast kun je big data gebruiken om problemen in het productieproces waar te nemen. Hierdoor kun je zowel de kwaliteit als snelheid van de productie verbeteren.  

3.2. Gezondheidszorg en medische data-analyse

Een Datamining software kan helpen om de gezondheidszorg efficiënter te maken. De software is bijvoorbeeld in staat om röntgenfoto’s en medische aandoeningen te analyseren. Dat maakt het werk van artsen en andere zorgverleners makkelijker.

Daarnaast wordt data mining ook gebruikt voor onderzoek naar medische aandoeningen. Als je datamining gebruikt in combinatie met machine learning en kunstmatige intelligentie kunnen grote datasets worden verwerkt. Zo’n verzameling gegevens kan vervolgens razendsnel geïnterpreteerd worden. Iets wat het menselijk brein niet kan. 

4. Hulpmiddelen en software voor datamining 

4.1. Open-source oplossingen 

Voor data mining zijn verschillende open-source oplossingen beschikbaar. Dat wil zeggen dat de datamining software openbaar is en door iedereen gebruikt mag worden. Het is zeer gebruikelijk dat bedrijven gebruikmaken van deze tools. Veel open-source oplossingen zijn namelijk van goede kwaliteit. 

Voorbeelden van open-source oplossingen:

• Rapid Miner – Levert complexe analyses op basis van beslisbomen. Toepasbaar voor commerciële doeleinden, onderzoek, machine learning en educatie.
• Orange –  Tool om data mining methodes te ontwikkelen, visualiseren en testen. Een van de eenvoudigste hulpmiddelen voor data mining. 
• SAS Data mining – Tool met de mogelijkheid tot machine learning. Hiermee kun je snel voorspellende modellen maken. 
• WEKA – Dit is een tool die nieuwe machine learning algoritmes kan ontwikkelen. Dit is een zeer goede tool voor data-analyse en voorspellende modellen. 

4.2. Commerciële platforms en tools 

Voor complexe analyses heb je niet per se data analisten en veel business intelligence nodig. Met behulp van machine learning en Artificial Intelligence (AI) kun je kiezen voor een commerciële tool. Deze hulpmiddelen zijn net wat verder ontwikkeld en geven je meer inzichten. 

Voorbeelden van commerciële tools:

• Sisense for Cloud Data Teams – Deze tool had eerder de naam Periscope Data. Het is een analyse hulpmiddel waarmee je interessante inzichten kunt verkrijgen. De tool maakt gebruik van machine learning en real-time modeling. 
• TIBCO Data Science – Deze tool heeft meer dan 16.000 analyse functies. Daarnaast Dankzij machine learning zal de analysefunctie steeds verbeteren. 
• RapidMiner Studio – Deze tool maakt het mogelijk om te analyseren en te visualiseren. Dit kan onder andere met behulp van grafieken, modellen en statistieken. 

5. Datamining en ethiek 

5.1. Privacyzorgen en gegevensbescherming 

Met de komst van AI, machine learning en datamining gaan ook zorgen gepaard. Veel mensen vrezen dat hun privacy geschonden wordt. Het verwerken van big data van personen vraagt om regulering en wetgeving. 

Europa heeft hiervoor de General Data Protection Regulation (GDPR) wet in het leven geroepen. Op basis van deze wetgeving is in Nederland de Algemeen Verordening Gegevensbescherming (AVG) in werking getreden.   

5.2. Transparantie en verantwoordelijkheid in algoritmen 

Wie datamining gebruikt moeten transparant zijn over de werking ervan. Algortimes zijn niet altijd even makkelijk te begrijpen. In sommige gevallen is het dan ook beter om uit te leggen wat de resultaten ervan zijn. Ingaan op de technische details kan voor verwarring zorgen. 

Indien persoonlijke data toch in verkeerde handen valt, is altijd de vraag wie verantwoordelijk is. Is dat degene die het algoritme heeft gemaakt of de dataminer. Volgens de wet moet bij de implementering een organisatie aangewezen die verantwoordelijk is, 

5.3. Het belang van ethisch hacken in datamining

Bedrijven moeten er alles aan doen om datalekken en hacken te voorkomen. Cybercriminelen zijn altijd op zoek naar een manier om persoonlijke gegevens vergaren. Bedrijven gebruiken nu al regelmatig AI marketing en automation marketing. 

Het is dan ook niet verwonderlijk dat criminelen ook AI gaan gebruiken voor hun activiteiten. Het is dan ook van essentieel belang dat data acquisitie veilig en betrouwbaar is. Dit is waar ethisch hacken in het spel komt. 

Bij ethisch hacken zal een hacker proberen om de data-extractie te ondermijnen. Ze gaan op zoek naar zwakke en onveilige plekken om de datamining software veiliger te maken. 

5.4. Regulering en wetgeving omtrent datamining

Nederlandse bedrijven vallen onder de GDPR. Deze Europese wet is in Nederland vertaald naar de AVG. Alle bedrijven en organisaties die vanuit Nederland opereren moeten zich hieraan houden. Ongeacht wat het bedrijf doet. 

Of het nu alleen neuromarketing en netwerkmarketing, wetenschappelijk onderzoek of ook AI marketing, neurale netwerken en data mining. Op basis van de AVG moeten mensen op de hoogte zijn van hetgeen met hun vertrouwelijke informatie gebeurt. Bovendien mag niet meer ruwe data verzameld worden dan nodig. 

6. De Toekomst van datamining 

6.1. Trends in machine learning en deep learning 

Het antwoord op de vragen wat is kunstmatige intelligentie en wat is datamining zal de komende jaren flink veranderen. De wereld van AI en machine learning is continu in beweging. Een van de trends is Generative Adversarial Networks (GANs). 

Dit zijn neurale netwerken die met bestaande data nieuwe realistische gegevens genereren. Explainable AI (XAI) is de trend waarbij machine learning begrijpelijk wordt uitgelegd. Dit helpt bij het vergroten van de transparantie en eerlijkheid. 

6.2. De rol van kunstmatige intelligentie 

Datamining en kunstmatige intelligentie gaan hand in hand. In plaats van het gebruiken van vaste datamining software kan het programma zich dankzij AI ontwikkelen. Machine learning, deep learning en neurale netwerken zijn voorbeelden van AI. Ze kunnen allemaal een bijdrage leveren aan classificeren, clusteren en het voorspellen van data. 

7. Tekstmining versus datamining

7.1. Unieke eigenschappen van tekstgegevens 

Datamining en tekstmining wordt vaak onder een noemer gevat onder de naam TDM (text & data mining). Bij datamining worden eerder gestructureerde gegevens gebruikt. Het doel hiervan is patroonherkenning en inzicht krijgen. 

Text mining valt ook onder datamining. Het doel is om patronen en trends te vinden waardoor de tekst omgezet wordt in gestructureerde data. Op die manier kan de tekst uiteindelijk beter geanalyseerd worden. 

7.2. Algoritmen en technieken specifiek voor tekstmining 

Voor text mining worden verschillende technieken gebruikt. Een van die methodes is Information retrieval (IR). Dit is het vinden van informatie op basis van specifieke zoekopdrachten. Het wordt bijvoorbeeld door Google gebruikt. 

Natural language processing (NLP) is een techniek die onder andere kunstmatige intelligentie gebruikt om taal beter te begrijpen. Met deze techniek kun je onder andere samenvattingen maken, maar ook emotie analyseren. Ideaal voor netwerkmarketing. 

8. Datamining versus process mining 

8.1. Focus op bedrijfsprocessen en workflows 

Datamining en process mining worden vaak door elkaar gehaald. Beide maken gebruik van algoritmes en zijn manieren om data te analyseren. Maar daar houdt de vergelijking wel op. Data harvesting wordt vooral gebruikt voor patroonherkenning. Ze ontdekken bijvoorbeeld dat mensen in de winter meer handcrème kopen. 

Process mining is gericht op bedrijfsprocessen en workflows. Hierbij wordt gekeken wat fout gaat in het proces en wat efficiënter kan. Artikelen worden bijvoorbeeld wel snel ingepakt, maar het versturen gebeurt pas een dag later. Dankzij deze methode heb je meer business intelligence en kun je het probleem aanpakken.

8.2. Tools en technieken voor process mining 

Er zijn tal van data mining tools en methodes die bedrijven kunnen helpen bij process mining. Een van dit methodes is Automated Process Discovery. Deze techniek biedt je een datavisualisatie van de knelpunten in de workflow. Deze techniek maakt gebruik van machine learning en AI. 

Een andere techniek is conformance checking. Dankzij deze techniek kun je echte processen vergelijken met een referentiemodel. Hierdoor kunnen verschillen en overeenkomsten worden ontdekt. Celonis is een voorbeeld van een nuttige tool. De tool analyseert data en laat zien waar operationele problemen zitten. Het is een handige tool die het proces visueel maakt. 

8.3. Het belang van realtime-monitoring in process mining 

Bij realtime-monitoring wordt de workflow of bedrijfsproces continu in de gaten gehouden. Het zorgt ervoor dat je niet weken of maanden op resultaten hoeft te wachten. Je kunt snel ingrijpen als processen niet efficiënt zijn. Doordat je processen snel aan kunt passen zul je meer tevreden klanten krijgen.  

8.4. Integratie van datamining in procesoptimalisatie 

Bij de meeste bedrijven is heel veel gaande. Het onderkennen van problemen en het verbeteren van processen is hierdoor complex. Zonder data mining is het moeilijk om een overzicht te krijgen van alle factoren die zorgen dat het proces niet goed verloopt. Wil je als dataminer bijblijven en een betere workflow dan kun je datamining gebruiken voor procesoptimalisatie. 

9. Uitdagingen en best practices 

9.1. Veelvoorkomende valkuilen in datamining-projecten 

Ondanks de vele voordelen ervan kun je ook in een van de valkuilen trappen. Want helaas zijn die er ook. 

• Je hebt geen duidelijk doel voor ogen.
• Je gebruikt niet de juiste tools en technieken.
• Je houdt geen rekening met de wet- en regelgeving 
• Je analyseert een beperkte hoeveelheid data.
• Je hebt niet de juiste kennis in huis. 

Wil je data science gebruiken, maar heb je niet de juiste kennis, zoek dan hulp. Vind deskundigen op het gebied van data mining op Sortlist. 

9.2. Richtlijnen voor effectieve datamining 

Ben je overtuigd van de meerwaarde van data mining dan is het tijd om aan de slag te gaan. Met deze richtlijnen zorg je dat datamining het effectiefst is:

• Denk goed na over de datamining-projecten die je gaat storten. Focus je op de belangrijkste knelpunten binnen het bedrijf.
• Gebruik zoveel mogelijk data. Zowel de data van vaak loyale klanten als nieuwkomers is van belang. 
• Gebruik niet alleen verkoopdata of browserdata, maar ook externe gegevens. Denk hierbij aan sociale media en YouTube. 
• Pas je datamining-model regelmatig aan. De markt verandert snel, pas hier je model op aan. 
• Gebruik de uitkomsten ook daadwerkelijk om processen aan te pakken.

10. Samenvatting: wat we hebben geleerd en de weg vooruit veelgestelde vragen 

Wat wordt bedoeld met data mining? 

Datamining is het proces van data harvesting en patroonherkenning. Aan de hand van de vergaarde data worden analyses gemaakt. Data analytics kunnen gebruikt worden voor verschillende doeleinden. Je ziet het regelmatig terug in de wetenschap, geneeskunde, marketing en retailbedrijven. 

Wat is tekst en datamining?

Tekst en data mining worden vaak onder de noemer TDM (Text & Data Mining) gevat. Met datamining wordt gestructureerde data verwerkt en geanalyseerd. Bij tekstmining wordt ongestructureerde gegevens in de vorm van tekst verwerkt. Deze methode geeft je de kans grote hoeveelheden informatie uit teksten te halen. 

Wat is het verschil tussen data mining en process mining? 

Veel mensen denken dat het data mining proces en process mining hetzelfde zijn. Dat is echter niet het geval. Bij data mining ligt de focus op het analyseren van data voor bijvoorbeeld AI marketing of neuromarketing. Bij process mining ligt de focus op het analyseren van werkprocessen en workflow.