Kontaktiere uns!
Zurück
#dvg#dwh#datawarehouse#softwareentwicklung

Wie viel Zeit spare ich im Data Warehouse mit Automatisierung?

vonLasse Wiedemann
19. September 2023Data & Analytics

Viele Automatisierungstools werben mit Slogans wie „7x schneller“ oder „90% Ersparnis“. Entspricht dies der Realität?

Betrachten wir ein traditionelles Data-Warehouse Projekt mit Modellierern, ETL-Entwicklern, Testern, einer Entwicklungs-, Abnahme- und Produktivumgebung sowie monatlichen Releases.

Bei einem Aufwand von 100 PT verteilt sich dieser Aufwand meist wie folgt:

  • 30 PT für die fachliche Analyse
  • 30 PT für die Code-Entwicklung
  • 30 PT zum Testen und für das Deployment
  • 10 PT für die Projektorganisation

Mit einem automatisierten Vorgehen wird auf Basis von wenigen Metadaten der gesamte Code generiert. Dabei lassen sich die oben erwähnten Einsparungsraten tatsächlich erzielen. Dies bezieht sich aber nur auf die Code-Entwicklung. Es ergibt sich folgendes Bild:

Für das Gesamtprojekt ergibt sich also eine Einsparung von 27%.

Deshalb geht der DataVault-Generator von crossnative (DVG) weiter und bezieht auch alle anderen Projektschritte in die Automatisierung ein.

Durch vollautomatisch per Git Pipeline angestoßene Tests entfallen Aufwände für die Testdatenbereitstellung, Testdurchführung und Bereitstellung der Testergebnisse nahezu vollständig. Auch unerwartete Seiteneffekte werden automatisch gefunden. Ob die neuen Ergebnisse richtig sind, muss aber nach wie vor ein Business-Analyst prüfen. Insgesamt reduziert sich dadurch der Testaufwand auf die Hälfte.

Die fachliche Analyse und das Anforderungsmanagement sind auch mit dem DVG weiterhin notwendig. Durch die schnellen Implementierungs-/Testmöglichkeiten kann man aber nach dem Motto „Probieren geht über Studieren“ arbeiten. Dies bedeutet, dass zeitintensive Workshops und Absprachen durch schrittweise Implementierungen auf Basis von (noch) unvollständigen Anforderungen ersetzt werden. Durch die Analyse der konkreten Zwischenergebnisse kommt man iterativ schneller zum Ziel und muss nicht schon am Anfang die Anforderungen bis ins letzte Detail durchdenken.

Der Organisationsaufwand des Projektes sinkt ebenfalls, da weniger Personen, Teams und Prozesse koordiniert werden müssen.

Fazit

  • Durch Automatisierung aller Projektschritte lässt sich real etwa die Hälfte des Projektaufwandes sparen.
  • Fachliche Aspekte im Bereich Analyse, Anforderungen und Test bilden jetzt den deutlichen Projektschwerpunkt.
  • Zusätzlich steigt die Qualität der Umsetzung, da der Generator immer einheitlichen Code erzeugt und niemals „vergisst“, sich um DSGVO, Migrationsprogramme, ein aktuelles Data-Lineage, Data-Quality-Checks u.a. zu kümmern.
  • Automatisierung unterstützt ein agiles Projektvorgehen mit häufigen Produktivnahmen ideal.

Hier bekommst Du noch mehr

Alle Blogartikel