Abstracte achtergrond

Wat is een datawarehouse en hoe zet je er een op?

Een datawarehouse is geen doel op zich. Het is een middel om sneller betere beslissingen te nemen.

Het datawarehouse in het kort

  • Een datawarehouse (DWH) is een integrale database waarin je relevante, gestructureerde data uit verschillende bronnen op onderwerp gerangschikt kunt terugvinden, combineren en analyseren.
  • Gegevens in een datawarehouse wijzig je nooit; je voegt alleen (correctie)records toe. Dat houdt managementinformatie betrouwbaar en bouwt historie op.
  • Het eindpunt van elke modelleerschool (Kimball, Inmon, Data Vault) is het sterschema: feitentabellen met dimensietabellen die gebruikers kunnen bevragen zonder zelf tabellen te koppelen.
  • Begin niet met een compleet enterprise-datawarehouse. Begin klein, bouw iteratief en laat de architectuur meegroeien met de volwassenheid van BI in de organisatie.
  • Doe bij vijf principes nooit concessies: symmetrie, verplichte aanlevering van data, privacy by design, niet-volatiel en cloud-first.

Wat is een datawarehouse?

Met datawarehousing bouw je aan een solide, toekomstbestendige data-infrastructuur die eenvoudige en complexe data-analyses, flexibel rapporteren, datamining en interactieve KPI-dashboards mogelijk maakt. Een datawarehouse (DWH) combineert data uit verschillende bronnen en past daarbij een specifieke datamodellering toe, met feiten en dimensietabellen, waardoor gebruikers heel snel antwoord krijgen op vragen. Of het nu gaat om een ad-hocanalyse, een nieuw rapport of KPI-dashboard, of een machinelearningmodel: datawarehouses leveren razendsnel de juiste data en inzichten. Een bondige definitie:

Een datawarehouse is een integrale database waarin je relevante, gestructureerde data uit verschillende bronnen op onderwerp gerangschikt kunt terugvinden, combineren en analyseren.

Gegevens in een datawarehouse mag je niet wijzigen; je mag alleen (correctie)records toevoegen. Dit essentiële uitgangspunt is een van de zaken die ervoor zorgen dat de productie van managementinformatie betrouwbaar is.

De figuur maakt in grote lijnen duidelijk waarom een datawarehouse zo belangrijk is: gebruikers kunnen allerlei dwarsverbanden leggen over afdelingen en systemen heen, met één druk op de knop.

Complexe vragen razendsnel beantwoorden

In een datawarehouse meng je al je bedrijfsdata en relevante externe data. Je schoont de data op, combineert, schakelt gelijk en vat samen. Daardoor krijgen data-analisten en beslissers razendsnel antwoord op tal van complexere vragen, bijvoorbeeld:

  • Aan welke klanten verdien je het meest, hoe komt dat en hoe ziet de klantreis eruit?
  • Waar bevinden zich de grootste werkvoorraden en de langste doorlooptijden?
  • In welke postcodegebieden wonen potentiële klanten voor ons nieuwe product?
  • Welke declaraties zijn verdacht en hoe maak je daaruit de juiste selectie?
  • Welke afdeling kent het hoogste ziekteverzuim en wat is de oorzaak?
  • Welke klanten hebben een betalingsachterstand die hoger is dan de norm?

Wat is een logisch datawarehouse?

Gegevens in datawarehouses worden niet altijd fysiek opgeslagen. Er bestaat ook zoiets als een logisch datawarehouse. Je modelleert de data wel volgens datawarehousingprincipes, maar haalt die via het logische model direct uit de bron, netjes ingeregeld met datavirtualisatiesoftware. Het nadeel is dat je geen historie kunt opbouwen en dat je bronsystemen bij complexere analyses of grote rapporten kunnen omvallen.

In de praktijk is het vaak onhaalbaar om alle rapporten en dashboards via een volledig logisch datawarehouse te laten lopen. Niet alleen kunnen de bronsystemen omvallen, in een aantal gevallen kunnen de cijfers ook niet nauwkeurig genoeg worden berekend. Daarom is het hybride model populair: wat kan, loopt via een logisch datawarehouse, en wat niet kan, sla je op in het fysieke.

Fysiek versus logisch datawarehouse

De twee vormen naast elkaar.

Fysiek datawarehouse

Logisch datawarehouse

Opslag

Data wordt gekopieerd en opgeslagen

Data blijft in de bron

Historie

Wordt opgebouwd

Niet beschikbaar

Belasting bronnen

Alleen tijdens het laden

Bij elke query

Actualiteit

Afhankelijk van verversing

Realtime

De waarde van een datawarehouse groeit met de volwassenheid van BI

Als je start met business intelligence en analytics is het niet verstandig meteen een grootschalig datawarehouse op te zetten. Betere beslissingen zijn niet het gevolg van een doortimmerd datawarehouse, maar van beslissers en analisten die datagedreven werken en datageletterd zijn. Stel je een datawarehouse voor als een Ferrari: dan heb je ook een Max Verstappen nodig. Naarmate je groeit in BI-volwassenheid maak je complexere analyses vanuit verschillende invalshoeken (marketing, finance, operations), heb je een robuustere data-infrastructuur nodig en groeit de meerwaarde van een datawarehouse.

Hoe zet je een modern datawarehouse op?

Een gestructureerd, modern datawarehouse opzetten is een complexe taak met veel ontwerpdilemma’s. Een van de dominante is opslagruimte versus snelheid. Een index op een tabel betekent extra opslag, maar ook een veel snellere responstijd. Omdat opslagruimte nauwelijks meer geld kost en snelheid nog steeds wordt onderschat, is de keuze snel gemaakt. In een datawarehousearchitectuur zorg je dat de gebruiker in 80% van de query’s een formidabele snelheid ervaart, want dan gaat leren uit data veel makkelijker.

Ontwerp een datawarehouse met feiten en dimensies

De structuur van de data in je bronnen is ongeschikt voor (zware) analyses: je moet te veel tabellen koppelen en te veel records doorspitten om een antwoord te krijgen. In het datawarehouse transformeer je daarom via een ETL-proces de structuur van je bronnen naar een dimensionele structuur met feiten en dimensies. Die structuur heet een sterschema, waarmee de gebruiker eenvoudig gegevens selecteert zonder allerlei tabellen te hoeven koppelen. Dat gebeurt allemaal automatisch onder de motorkap.

De stappen

  1. Businesscase: breng de gewenste analyses, rapporten en dashboards (de belangrijkste query’s) in kaart, schat kosten en baten in en zet de belangrijkste voordelen op een rij. Kijk ook naar de datageletterdheid van de toekomstige gebruikers en de volwassenheid van BI, want die bepalen hoe zwaar je het datawarehouse moet optuigen.
  2. Architectuur en datamodel: na goedkeuring door de stakeholders, inclusief de directie, tekent de architect de architectuur uit en ontwerpt hij het datamodel.
  3. Softwareselectie: maak een weloverwogen keuze voor het databasemanagementsysteem, een datawarehouse-automationtool en/of een ETL-tool.
  4. Bouw: de ontwikkelaar bouwt de benodigde ETL, de sterschema’s en de datamarts.

Datawarehouse-governance

Omdat je heel veel interne en externe data bij elkaar brengt, heb je een goede governancestructuur nodig. Een governancemodel past veel principes toe uit het bekende DAMA-DMBOK2-raamwerk. Dat helpt bij het opstellen van beleid, procedures en normen voor databronnen, beveiliging, definities en toegang, en bij het inschatten van de gevolgen voor bedrijfsprocessen. Twee begrippen staan centraal:

  • Master data management (MDM): deze discipline brengt essentiële stamgegevens scherp in beeld en zorgt voor eenmalige invoer en opslag op één centrale plaats. Het centraal beheren van een universele set stamgegevens is cruciaal voor een juiste en efficiënte bedrijfsvoering.
  • Metadata: maakt van de onderliggende gegevens echt bruikbare informatie. Metadata vertelt wat de data is, waar die vandaan komt, hoe die is geproduceerd en welke kwaliteit die heeft. Zeker als data gefragmenteerd is opgeslagen, is metadata onontbeerlijk.

Master data management versus datawarehouse is appels met peren vergelijken: juist met een goed datawarehouse kun je invulling geven aan MDM, omdat daar veel data bij elkaar komt en je kunt bepalen welke data de ‘meester’ is. Maar je kunt ook losse MDM-software kopen.

Maak korte metten met de Excelverslaving

Tal van best practices wijzen uit dat investeren in datawarehousing een organisatie intelligenter maakt. Toch is het gebruik van Excel als ‘datawarehouse’ nog vaak gemeengoed.

De risico’s zijn evident. Het werkt fouten in de hand, is arbeidsintensief en iedereen kan een eigen versie van de waarheid hanteren. Vergaderingen gaan dan volledig op aan de interpretatie en controle van de data in plaats van aan analyse en verbeteracties. Om nog maar te zwijgen van de kostbare tijd die hoogopgeleide medewerkers kwijt zijn aan het telkens opnieuw verzamelen en corrigeren van data. Excel staat effectief informatiegebruik, gedegen analyse en goed sturen echt in de weg.

Alternatieven voor een datawarehouse

  • Datawarehouse-appliance: een combinatie van hardware, software en opslag die data zeer snel verwerkt, inclusief een in-memorydatabase. Weinig onderhoud en goede performance, maar zo’n ‘datawasmachine’ beperkt je wendbaarheid: hij is grotendeels voorgeprogrammeerd.
  • Datavirtualisatiesoftware: koppelt gegevensbronnen los van applicaties en rapporten en biedt gebruikers een virtuele datalaag over verschillende bronnen die realtime te benaderen is. Dat verhoogt de snelheid en flexibiliteit van levering, maar zo’n logisch datawarehouse moet je eerst goed definiëren, en het is de vraag of je IT-landschap ervoor geschikt is.

De 15 basisprincipes van datawarehousing

  1. Symmetrie: de architectuur vormt een spiegel van de bedrijfsprocessen. Dat zorgt voor een overkoepelend beeld en één versie van de waarheid.
  2. Verplicht gebruik en verplichte aanlevering: het datawarehouse is een unieke, onafhankelijke en generieke bedrijfsfunctie. Aanlevering van data is verplicht, ook als een team er nog geen gebruik van maakt.
  3. Granulariteit: de data wordt zo gedetailleerd mogelijk aangeleverd, met exact dezelfde granulariteit als in de bronsystemen. Dat verhoogt de testbaarheid en maakt gedetailleerde analyses mogelijk.
  4. Datakwaliteit: het datawarehouse bewaakt de datakwaliteit, maar de verantwoordelijkheid ligt bij de proceseigenaren.
  5. Privacy by design: persoonsdata kan nooit oneigenlijk of zonder goede grondslag worden opgeslagen of gebruikt, of herkenbaar in beeld komen.
  6. Verschillende smaken: het datawarehouse ondersteunt rapporten, data discovery, ad-hocanalyses, downloads, selfservice-BI, interactieve dashboards, de ontwikkeling van algoritmes en performance management.
  7. Synchronisatie: de verversingsgraad sluit aan op de regelmaat en frequentie van de gebeurtenissen in de bedrijfsprocessen.
  8. Streaming first: waar mogelijk werk je het datawarehouse of data lake altijd (near) realtime bij.
  9. Niet-volatiel: data die eenmaal is opgenomen mag je nooit meer wijzigen, ook niet als die fout is. Wel mag je data toevoegen die de fout corrigeert.
  10. Onderhoudbaarheid en uitbreidbaarheid: de logica en berekeningen in de indicatoren, meetwaarden en dimensies leg je zoveel mogelijk op één plek vast.
  11. Complexiteit onder de motorkap: indicatoren en dimensies zijn voor gebruikers direct te selecteren. Dat voorkomt dat elke medewerker eigen indicatoren moet samenstellen.
  12. Flexibiliteit en volledigheid: het laadproces neemt zoveel mogelijk zinvolle omringende data mee. Is één attribuut uit een tabel nodig, dan neem je alle attributen van die tabel mee.
  13. Onafhankelijkheid van specifieke BI-tools: de architectuur staat zoveel mogelijk los van de gebruikte of nog aan te schaffen software.
  14. Eén datawarehouse: er is één datawarehouse; bigdatabronnen benader je via het data lake.
  15. Cloud-first: alle componenten van ETL en datawarehouse draaien in de cloud, tenzij er zwaarwegende redenen zijn om dat niet te doen.

In de beginfase zul je water bij de wijn moeten doen, anders wordt het datawarehouse veel te duur of haken gebruikers af omdat het te lang duurt. Maar bij vijf principes doe je geen concessies: symmetrie, verplichte aanlevering van data, privacy by design, niet-volatiel en cloud-first.

Met een supersnel datawarehouse kunnen de leerprocessen van teams en medewerkers met minimaal een factor 10 versnellen. Procesverbeteringen en innovaties worden sneller zichtbaar voor de juiste mensen, en de organisatie wint aan wendbaarheid.

Datawarehousesoftware

Je hebt in elk geval een database nodig om de data in op te slaan. Soms bevat die ingebouwde tools voor het laden, maar in veel gevallen kijk je uit naar ETL-tools of datawarehouse-automationsoftware. SAP kent een eigen datawarehouse, SAP Business Warehouse (BW): gebruik je voor alle processen SAP, dan hoef je geen nieuw datawarehouse op te zetten en zijn de ontwikkelkosten aanzienlijk lager. Gebruik je naast SAP nog veel andere systemen, dan is de businesscase niet snel gemaakt, omdat data uit andere systemen niet zomaar snel en goed te laden is. Oracle levert een datawarehouse dat je los kunt kopen en gebruiken, het Oracle Autonomous Data Warehouse.

Een complete datawarehousearchitectuur

Het opbouwen van een volwassen en compleet datawarehouse kan vele jaren in beslag nemen en vraagt grote investeringen waarvoor je een solide businesscase ontwikkelt. Zo heeft Ahold er maar liefst zeven jaar over gedaan om één enterprise-datawarehouse te bouwen waar iedereen in de onderneming gebruik van kan maken.

Een datawarehouse is geen doel op zich, maar een middel om betere beslissingen te nemen en de besluitvorming op alle niveaus in je organisatie te verbeteren en te versnellen.

Een architectuur hoeft niet voor de eeuwigheid bestemd te zijn. Je gaat situationeel te werk, zonder het langetermijnperspectief uit het oog te verliezen:

  1. Als je start met BI en analytics trek je gewoon een kopie van je bronsysteem, zet die op een andere server, ververst die elke nacht en ontwikkelt daar rapporten en dashboards op. De kosten zijn minimaal en je krijgt snel veel inzicht.
  2. In een volgende fase ontwikkel je een mini-datawarehouse met enkele cruciale voorzieningen: de data opvangen, transformeren naar feiten en dimensies en de belangrijkste feiten aggregeren. Je werkt iteratief, zodat gebruikers de meerwaarde ontdekken.
  3. In de laatste fases van BI-volwassenheid denk je na over een compleet enterprise-datawarehouse waarin alle benodigde interne en externe bronnen worden ontsloten. Ook dat is geen big bang: het team bouwt de architectuur iteratief op, in nauwe samenwerking met deskundige gebruikers.

Laat je niet aanpraten dat je direct kunt starten met een compleet enterprise-datawarehouse. Daar kleven veel te veel risico’s aan, en met BI krijg je vaak maar één kans om te scoren. Nogmaals: bouw geen Ferrari als je geen Max Verstappen in je renstal hebt.

Sneller waarde met een decision-first datawarehouse

Als je serieus neemt dat een datawarehouse een middel is voor betere beslissingen, draai je de volgorde om. Je begint niet bij het ontsluiten van alle bronnen, maar bij de beslissing die je wilt verbeteren en de signalen die je daarvoor nodig hebt, zoals vastgelegd in business modeling. Daaromheen bouw je een lichtgewicht maar robuust fundament dat meebeweegt met je vragen. Voor het mkb ontwikkelden we daarvoor een eigen oplossing: diamondDWH.

  • Eerste beslissingen ondersteund binnen weken in plaats van maanden: je bewijst de waarde in het klein, met duidelijke go/no-go-momenten, voordat je grootschalig investeert.
  • Tot 75% minder technische consultancy, doordat het genereren van sterschema’s, de historieopbouw en ETL grotendeels zijn geautomatiseerd.
  • Privacy by design, automatische historie en datakwaliteitsbewaking ingebouwd, conform de principes 4, 5 en 9.
  • Cloud-agnostisch (Azure, AWS, Google Cloud) en zowel realtime als batch, zoals de principes 8 en 15 voorschrijven.
  • Voorspelbare kosten via een maandabonnement en een lage beheerlast, desgewenst onder SLA.

Datawarehousing en datamodellering

De verschillende scholen voor datamodellering hebben allemaal op bepaalde punten gelijk, maar geen enkele vormt in alle situaties de ideale architectuur:

  • De school van Ralph Kimball: het enterprise-datawarehouse en de datamarts worden gemodelleerd met feiten- en dimensietabellen. Een feitentabel met meerdere dimensietabellen vormt een sterschema.
  • De school van Bill Inmon: de derde normaalvorm (3NF) is leidend voor het enterprise-datawarehouse. De datamarts geef je vorm met een sterschema.
  • De Data Vault-school: je slaat de data op in een Data Vault met een zeer flexibel datamodel, waarna je die transformeert en opslaat in een Business Vault, het equivalent van een enterprise-datawarehouse. De datamarts modelleer je als sterschema.

De belangrijkste overeenkomst is dat de datamart altijd als sterschema wordt gemodelleerd:

Dat is logisch, want de data-analist of rapportbouwer wil gewoon een zo simpel mogelijke weergave van de data zien en wil niet verplicht worden allerlei tabellen aan elkaar te knopen, zoals hier te zien is:

Hoe je het ook wendt of keert, het sterschema is het eindpunt waar je naartoe werkt. Voor organisaties waar data analytics nog in de kinderschoenen staat, is de keuze voor een modelleerschool niet zo spannend: je wilt zo snel mogelijk rendement en kiest de eenvoudigste, meest doorzichtige methodiek, Kimball. Bij hogere volwassenheidsniveaus kunnen andere argumenten dan snel rendement zwaarder wegen.

De discussie Data Vault versus datawarehouse

Soms worden de Data Vault en het datawarehouse tegen elkaar uitgespeeld. Dat is ongewenst en onnodig, want de feitelijke voor- en nadelen van de Data Vault-methodiek zouden voor zich moeten spreken. Toch laten organisaties zich regelmatig op oneigenlijke gronden verleiden om een Data Vault (plus Business Vault) als volwaardig datawarehouse te zien, terwijl de complexiteit ervan wordt gebagatelliseerd. Wees op je hoede als een Data Vault in beeld komt.

Het data lake versus het datawarehouse

In een datawarehouse breng je gestructureerde data samen die past in tabellen met rijen en kolommen. In een data lake sla je ongestructureerde data op (de big data), zoals geluidsfragmenten, documenten, foto’s, video’s, sensordata en e-mails. Het zijn twee totaal verschillende opslagplaatsen voor verschillende soorten data, dus een discussie ‘data lake versus datawarehouse’ is niet nodig. In een big-datawarehouse brengt een dirigent de twee soorten data bij elkaar wanneer en waar dat nodig is.

Spreek de auteur

Dick PouwDick Pouw
Diamond Decisions

Bespreek je vraag met Dick

Vertel welke beslissing beter moet. In een vrijblijvend gesprek laten we zien waar jouw data het meeste oplevert.

Plan een kennismaking →

Stap 3 van onze aanpak

Diamond Data Analytics

Een datawarehouse dat begint bij jouw belangrijkste beslissingen en klaar is voor conversational AI: al in 24 uur een werkend prototype.

Bekijk Data Analytics →

Veelgestelde vragen

01

Wat is een datawarehouse?

Een datawarehouse is een integrale database waarin je relevante, gestructureerde data uit verschillende bronnen op onderwerp gerangschikt kunt terugvinden, combineren en analyseren. De data wordt nooit gewijzigd, alleen aangevuld, zodat historie wordt opgebouwd en managementinformatie betrouwbaar blijft.

02

Wat is het verschil tussen een datawarehouse en een data lake?

Een datawarehouse bevat gestructureerde data die past in tabellen met rijen en kolommen, gemodelleerd voor snelle analyse. Een data lake bevat ongestructureerde data zoals documenten, beelden, video en sensordata. Ze vullen elkaar aan.

03

Wat is een sterschema?

Een sterschema is een dimensioneel datamodel waarin een feitentabel, met meetwaarden zoals omzet of aantallen, wordt omringd door dimensietabellen zoals klant, product en tijd. Gebruikers kunnen gegevens selecteren zonder zelf tabellen te koppelen.

04

Kimball, Inmon of Data Vault: welke kies je?

Alle drie eindigen in datamarts met een sterschema. Staat analytics nog in de kinderschoenen en wil je snel rendement, dan is Kimball de eenvoudigste en meest doorzichtige keuze. Bij hogere volwassenheidsniveaus kunnen andere argumenten, zoals flexibiliteit en controleerbaarheid, zwaarder wegen.

05

Wanneer heb je geen datawarehouse nodig?

Als je net start met BI en één of twee bronsystemen hebt, is een nachtelijke kopie van het bronsysteem op een aparte server vaak genoeg om de eerste rapporten en dashboards te bouwen. Een datawarehouse wordt waardevol als je meerdere bronnen combineert, historie nodig hebt en complexere analyses wilt maken.

06

Is Excel een goed alternatief voor een datawarehouse?

Nee. Excel werkt fouten in de hand, is arbeidsintensief en iedereen kan een eigen versie van de waarheid hanteren. Op termijn kost dat meer dan eenmalig een goed datawarehouse opzetten.

07

Hoe begint een mkb-bedrijf met een datawarehouse?

Begin bij één beslissing die je wilt verbeteren en de twee of drie bronnen die je daarvoor nodig hebt. Bouw daarvoor een klein datawarehouse, bewijs de waarde binnen weken en breid iteratief uit. Automatisering van sterschema’s, historie en ETL houdt de kosten en de afhankelijkheid van specialisten laag.

Verder lezen

Bronnen en boeken

  • Kimball, R. & Ross, M. (2013): The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling, 3e editie. Wiley.
  • Inmon, W.H.: Building the Data Warehouse. Wiley.
  • Verhagen, K. & Van der Linden, P.: Data als succesfactor: Business Intelligence en datawarehousing.
  • Van Beek, D.: De intelligente, datagedreven organisatie.
  • DAMA International: DAMA-DMBOK, Data Management Body of Knowledge, 2e editie.

Over de auteur

Dick Pouw

Dick Pouw

Dick heeft een MBA en ruim twintig jaar ervaring als veranderaar op het gebied van customer care, ICT en business intelligence, onder meer als CIO van de Telegraaf Media Groep. De rode draad in zijn werk: veranderingen doorvoeren vanuit het perspectief van de klant.

Over Diamond Decisions

Diamond Decisions helpt organisaties beter te worden door betere beslissingen mogelijk te maken. We starten niet bij data, dashboards of AI, maar bij de beslissing die beter moet, en bouwen van daaruit terug naar KPI’s, data en technologie. Dat doen we in vier stappen: inspiratie en alignment, business modeling, analytics en dataplatform en datagedreven beslissers. Zo zorgen we dat BI en AI geen IT-project blijven, maar elke dag waarde opleveren.

Schrijf je in voor de Masterclass