Stabilisierung des Regelbetriebs einer Datenverarbeitungspipeline
Zuverlässige Bereitstellung der Daten für Applikationen und Data-Scientists. Entlastung des Ops-Teams durch Konsolidierung der Datenverarbeitungs-Architektur.
Aufgaben
Ausgehend von der vorhandenen Daten-Pipeline und den Applikationen wurde im ersten Schritt die häufig gestörte Datenversorgung optimiert. Durch ein Monitoring wurden Probleme frühzeitiger erkannt und die Engpässe analysiert. Von dort wurde eine neue Architektur entworfen und schrittweise umgestellt.
Eingesetzte Technologien
Azure Managed Kubernetes Services (AKS)Kubernetes / K8sSparkHadoopAirflowPostgresPythonContainer