Onderdelen van Oracle Data Integrator

Oracle Data Integrator (ODI) is een product dat bedoeld is voor onder andere data integratie en ETL voor data warehouses.

Het product is opgebouwd rondom een repository, waarin allerlei definities worden opgeslagen, zoals tabellen met kolommen, maar ook mappings (ETL bouwstenen).

Om definities in deze repository vast te kunnen leggen en te bewerken is de ODI Studio aanwezig. Als alternatief voor deze studio is er een webprogramma die de ODI Console wordt genoemd.
Voor het uitvoeren van ETL code is er op een applicatieserver een aantal processen aanwezig. Deze sturen een ODI agent die er voor zorgt dat op de bron- en doeldatabase de juiste gegevens worden gelezen en geschreven.
Voor beheerdoeleinden bestaat er nog een onderdeel dat het “Management Pack for ODI” wordt genoemd.

Alle onderdelen worden nu stuk voor stuk toegelicht.

Repositories

In de inleiding spraken we over een repository, maar feitelijk zijn dit er twee.
In elke ODI omgeving is een master repository nodig, waarin zaken over beveiliging, versiebeheer en de opzet van de omgeving (“topology” genoemd in ODI) worden geregistreerd.


Daarnaast is er minimaal 1 work repository nodig waarin de definities van alles in een data warehouse worden vastgelegd (“models” en “projects”), en ook de logverslagen van de keren dat de ETL code actief is geweest (“execution”).
Afhankelijk van de omgeving zijn model, project en logverslag allemaal aanwezig of alleen de logverslagen.

  • In de ‘models’ in een work repository komen de definities van de gegevensmodellen te staan, zoals tabellen, kolommen en relaties tussen tabellen.
  • In de ‘projects’ in een work repository staan definities van ETL gerelateerde zaken, zoals mappings, variabelen, knowledge modules en packages.
  • In het ‘execution’ gedeelte van een work repository komen gecompileerde versies van ETL (scenario’s genaamd), workflows (load plans genaamd) en details van uitvoering.

Vaak zien we dat in de ontwikkel- en testomgeving alle drie onderdelen in de work repository staan, terwijl in een productie omgeving alleen de uitvoerbare code en logverslagen aanwezig zijn. Dat neemt echter niet weg dat u ook ervoor kunt kiezen om in de productie omgeving alle drie onderdelen op te nemen in de work repository.
Tot slot nog dit: een work repository behoort altijd toe aan 1 master repository. Een master repository heeft minimaal 1 work repository, maar kan in het beginstadium ook alleen aanwezig zijn.

ODI Studio

De ODI Studio is een Java programma dat werkt in een Windows en Linux omgeving, en moet echt gezien worden als de ‘client’ van ODI.

De ODI Studio bestaat uit vier stukken, die elk een bepaald gedeelte van de definities laat zien uit de ODI repository (repositories).
  • Het meest gebruikte onderdeel voor ontwikkelaars is de Designer. Alle definities van ‘models’ en ‘projects’ worden beheerd via de Designer.
  • Voor beheerders is de Operator het meest in het oog springende onderdeel. Hiermee is informatie te bekijken over de uitvoering van ETL programma’s. Vooral van belang voor beheerders om dagelijks te monitoren, maar ook van belang voor ontwikkelaars tijdens het testen van de gemaakte code.
  • Om ODI goed te kunnen laten werken is informatie over de omgeving nodig. Deze wordt via de Topology Navigatorbeheerd.
  • Voor beheer en afscherming van de definities in de onderdelen die hierboven staan, is er de Security Navigator.

De Topology Navigator en de Security Navigator werken samen met de master repository.

ODI Console (web interface)

Als alternatief voor de ODI Studio is er ook een webprogramma dat de ODI Console heet. De ODI Console is gemaakt met Java en wordt normaal gesproken geïnstalleerd binnen weblogic van Oracle.
De functionaliteit is niet helemaal zo rijk als in de ODI Studio:
– De topology en security kan worden bekeken en gewijzigd;
– De definities die je beheert via de designer kunnen hier alleen maar bekeken worden;
– De logverslagen kunnen ook worden bekeken tot op zeer gedetailleerd niveau.

Run-time onderdelen

Op het moment dat er daadwerkelijk gegevens worden geladen vanuit een bronsysteem naar een data warehouse, dan is er een zogenaamde agent die de besturing vanuit ODI op zich neemt.
Deze agent leest de code uit de ODI repository, zet een verbinding op met de bron en doel (data warehouse), en zorgt ervoor dat de gegevens worden geladen.

Binnen ODI onderscheiden we 3 soorten agents:

  1. Standalone. Is een agent die actief is door middel van een Java Virtual Machine. Is meestal operationeel op de doel (database) server.
  2. Colocated. Is een standalone agent die binnen een weblogic server is geconfigureerd. Kan op een aparte machine actief zijn.
  3. Java EE. Is geconfigureerd en actief op dezelfde machine als waar weblogic draait. Het beheer vindt dan ook plaats vanuit de Enterprise Manager van weblogic.

Management Pack for ODI

In een van de laatste 11g versies van ODI is het Management pack voor ODI geïntroduceerd.
Met behulp van dit ‘pack’ is het voor beheerders mogelijk om ODI onderdelen te monitoren en te beheren zoals dat ook andere Oracle producten gaat.

Reacties zijn gesloten.