2021/01 - 2022/12
Data-Engineer
Finanzindustrie
Bereitstellung einer stabilen Datenversorgung für das Data-Science-Team.
Beschreibung der Aufgaben
Versorgung eines ML-Systems auf Basis einer Hadoop-BigData Plattform.
Anbindung von Datenquellen per Kafka-Connect, Weiterverarbeitung per Kafka, nifi, Airflow, Spark.
Speicherung der Daten in Hive und Postgresql. Kapselung per Docker.
Monitoring und Betrieb der Prozesse. Support der Anwender.
