Wanneer we een dataplatform maken is tegenwoordig voor veel organisaties een data vault als modelleringstechniek de standaard. Dit is dan vooral gedaan vanuit het oogpunt van compliance. Heel soms bij de cursus BI en DW concepten vertellen cursisten dat hun organisatie toch op deze keuze is terug gekomen en weer kiest voor een derde normaalvorm voor de permanente opslag van data.
Waarom zouden we moeten kiezen voor een data vault?
Data Vault is een methodologie voor data-opslag en -modellering die veel voordelen biedt, vooral in complexe en snel veranderende dataomgevingen. Hier zijn de belangrijkste redenen om Data Vault te gebruiken:
1. Schaalbaarheid
Data Vault is ontworpen om makkelijk te schalen met groeiende hoeveelheden data. Doordat de structuur modulair is, kunnen nieuwe databronnen eenvoudig worden toegevoegd zonder dat bestaande structuren significant moeten worden aangepast.
2. Flexibiliteit
In Data Vault zijn de verschillende onderdelen (Hubs, Links, Satellites) van elkaar gescheiden. Dit zorgt voor flexibiliteit bij het toevoegen van nieuwe bronnen en bij het aanpassen van bestaande bronnen. Veranderingen in de brondata kunnen makkelijker worden opgenomen zonder dat het hele model opnieuw moet worden ontworpen.
3. Auditability & Traceability
Data Vault ondersteunt een “audit trail” van gegevens. Omdat data niet wordt overschreven maar versiebeheer wordt toegepast, is het mogelijk om op elk moment in de tijd te zien wat de data was. Dit is essentieel voor compliance en gegevensbeveiliging.
4. Agility
Het modulaire karakter van Data Vault ondersteunt een iteratieve benadering. Hierdoor kunnen datawarehousingprojecten sneller resultaten opleveren en kunnen wijzigingen of uitbreidingen zonder grote herstructureringen worden doorgevoerd.
5. Geschikt voor een hybride omgeving
Data Vault past goed in moderne data-architecturen, zoals cloud-omgevingen en big data-platformen. Het kan zowel relationele als niet-relationele data verwerken, wat ideaal is voor hybride en gedistribueerde omgevingen.
6. Geschikt voor historisering en versiebeheer
In een Data Vault worden historische gegevens expliciet bijgehouden, inclusief alle wijzigingen in de brondata. Dit maakt het makkelijker om historische rapportages te doen en versiebeheer op een gecontroleerde manier te ondersteunen.
7. Data-integratie
Het model ondersteunt de integratie van data uit meerdere bronnen door middel van Hub- en Link-tabellen, waardoor het eenvoudig is om gegevens te integreren zonder deze direct te transformeren of te verliezen. Dit is met name nuttig wanneer data uit verschillende bronnen met elkaar moeten worden verbonden.
8. Afzondering van bron- en rapportagedata
Data Vault maakt een duidelijk onderscheid tussen de ruwe brondata en de geschoonde, getransformeerde data die voor rapportagedoeleinden wordt gebruikt. Dit voorkomt dat brondata vervuild raakt of verloren gaat tijdens het transformatieproces.
Kortom, Data Vault biedt een robuuste en flexibele aanpak voor data-opslag, vooral in complexe omgevingen met veel datavariabiliteit en schaalbaarheidseisen. Het maakt het mogelijk om iteratief en snel te werken zonder concessies te doen aan datakwaliteit en auditmogelijkheden.