Datenzulieferungen standardisieren, aufbereiten und qualitätssichern mit SAP SDI Realtime
Unser Kunde aus dem Finanzbereich wollte Datenzulieferungen in sein Data Warehouse standardisieren und sie in einem zwischengeschalteten HANA System aufbereiten und qualitätssichern. Ziel war es, alles für ein Neartime Reporting im Data Warehouse und Ad Hoc Reportingmöglichkeiten für die Fachbereiche in der HANA DB vorzubereiten.
Hier zeigen wir einen Ausschnitt aus der Gesamtarchitektur, die im Rahmen vieler weiterer Projekte umgesetzt worden ist. Im Folgenden lesen Sie, wie wir aus einem Oracle System ca. 700 Tabellen mit einer Quell Größe von ca. 2TB in nahezu Echtzeit angebunden haben und welchen Herausforderungen wir uns hierbei stellen mussten. Zum Zeitpunkt dieses Ausschnittes war bereits ein MSSQL System über Log-basierte Smart Data Integration (SDI) Replikation in die Architektur eingebaut worden.
© 2021. BIG.Cube GmbH. Alle Rechte vorbehalten.
Herausforderungen: Beladung regulieren – Veränderungen erkennen
Der Zugriff durfte nur auf den Standby Knoten des Oracle Systems stattfinden, um den Hauptknoten nicht zu belasten. Dieser Standby Knoten war nur Read Only geöffnet. Die SAP SDI Standardmöglichkeiten für Realtime erfordern einen Schreibzugriff auf dem Quellsystem. Für die Datenanbindung musste eine Möglichkeit im SAP Kontext gefunden werden, die trotz Read Only Mode des Sekundärknotens eine schnelle Verbindung sicherstellt. Zudem musste für das Folgesystem ersichtlich sein, welche Daten sich durch die Beladung geändert haben.
Lösung - Smart Delta!
Von der Anbindung mittels SAP SDI bis hin zu einer UI5 App zum Monitoring des Status. Wir haben eine ganzheitliche Lösung entwickelt. Erfahren Sie in den folgenden Schritten, wie die Herausforderungen gelöst wurden.
Anbindung mit SAP SDI
Für die Anbindung wurde mit SAP SDI eine SAP eigene in die HANA integrierte Lösung zur Datenanbindung gewählt, die bereits für die Anbindung eines MSSQL Systems verwendet wurde. Dadurch konnte die Ladetechnologie vereinheitlicht und Betriebsaufwände gespart werden.
Auslastung steuern, Geschwindigkeit erhöhen
Um die Datenmenge, welche übertragen wird zu reduzieren und die Geschwindigkeit zu erhöhen, wurde das Deltafeld im Quellsystem bestimmt und basierend darauf eine Deltalogik implementiert. Diese lädt lediglich die geänderten Daten seit der letzten Extraktion. Um die Belastung des Agenten und der HANA zu steuern, wurden die Tabellen mittels T-Shirt Sizes in Klassen von S bis XL eingeteilt. Durch Einstellungen der maximal parallel laufenden Größen kann je nach verfügbarer Hardware die Auslastung des Systems und die Geschwindigkeit der Datenaktualisierung gesteuert werden. Ebenfalls einstellbar ist die erwartete Frequenz von Delta und Delete Abholung. Auch hier kann abhängig von der Infrastruktur die Performance optimiert werden.
Beladung mit SDI Flowgraphen
Für die Beladung wurden SDI Flowgraphen verwendet, die optimal für die Filterung der Daten und teilweise komplizierte Deltaermittlung geeignet sind. Die letzte Beladung wurde als Input in den Flowgraphen übergeben, der dann die Ergebnisse in die HANA geladen hat. Die Ergebnisse wurden um ein Änderungsdatum angereichert, welches das darauf aufbauende Data Warehouse weiter verwenden kann.
UI5 App zur automatischen Datenanbindung
Um die Betriebsaufwände und die Aufwände für neu anzubindende Tabellen zu reduzieren, wurde eine SAP UI5 App entwickelt. Diese legt automatisiert die Flowgraphen an und erstellt dazugehörige .hdbviews sowie Calculation Views bzw. passt diese an. So sind die Aufwände bei Änderungen der Datenstruktur minimal. Zudem hat sich der Aufwand im Betrieb für die Erstellung und Wartung der Flowgraphen, Tabellen und Calculation Views deutlich reduziert.
UI5 Statusdashboard
Damit auch der Überblick über den Status der Datenanbindung jederzeit gewährleistet ist, wurde hier ebenfalls eine UI5 App erstellt. Diese ist zusätzlich noch an eine automatische Ticketerstellung in Azure DevOps sowie an einen Mailversand angeschlossen. Gerade durch den Switch des Kunden von HANA 1 auf HANA 2 mit Verbleib auf XS Classic Objekten und dem Wegfall des klassischen Admin Cockpits war ein Überblick über die Replikation dringend nötig. In das Cockpit wurden aber auch weitere Funktionen integriert wie z.B. die T-Shirt Size der Tabellen ändern, die Tabellen Prioritäten festlegen, Tabellengruppendefinition oder schneller Zugriff auf eventuelle Fehlermeldungen.
Alle Bilder auf dieser Seite © 2021. BIG.Cube GmbH. Alle Rechte vorbehalten.
Wiederverwendbarkeit
Bei unseren Lösungen achten wir stets auf eine hohe Wiederverwendbarkeit bei unseren Kunden. Hier war architektonisch SAP SDI bereits gesetzt und für alle geplanten Szenarien einsetzbar. Bei der Entwicklung wurde bereits auf die Kompatibilität HANA 1 zu HANA 2 geachtet sowie der mögliche XSA Einsatz vorbereitet. Mittels SAP SDI wurden MSSQL, Oracle, S4/HANA sowie BW on HANA Systeme an die HANA Zwischenschicht angeschlossen. Zudem wurde neben dem Deltaverfahren der SAP Standard für Realtime Connection verwendet. Dieser Standard ist ebenfalls über das Tools steuerbar.
Fazit
Mit unserer Smart Delta Lösung war es uns in wenigen Schritten möglich, die Datenzulieferungen unseres Kunden in sein Data Warehouse zu standardisieren. Dazu konnten wir die Daten in einem zwischengeschalteten HANA System aufbereiten und qualitätssichern – und das in Neartime.
Verfasst von Daniel Fröhler
Beitrag teilen
Weitere spannende Themen aus unserem Newsroom
Wir gehören zu „Deutschlands besten Arbeitgebern“
Als einer der Top-100-Arbeitgeber Deutschlands mit erneuter „Great Place to...
Mehr lesen
Unser Herzensprojekt: Die Stiftung AKM in München
Schon seit einiger Zeit unterstützten wir als BIG.Cube GmbH die...
Mehr lesen
BIG.Cube ist ein Great Place to Work – Bayern und ITK
Die BIG.Cube wurde dieses Jahr von Great Place to Work...
Mehr lesen