Apache Airflow

Apache Airflow ist eines der führenden Workflow-Orchestrierungsframeworks für Datenverarbeitung, Analytics und Cloud-Automatisierung. In diesem zweitägigen Seminar erhalten Sie einen praxisorientierten Einstieg in Apache Airflow, lernen Best Practices ebenso wie Anti-Patterns kennen und erfahren, wie Airflow produktiv, stabil und skalierbar eingesetzt wird.

Der Fokus liegt auf der praxisnahen Entwicklung von Airflow-DAGs, dem Orchestrieren von Container- und Batch-Workloads sowie auf modernen DevOps-Methoden rund um CI/CD, Linting, Testing und Deployment. In zahlreichen Übungen entwickeln Sie eigene Workflows und lernen typische Fehlerquellen und „Don’ts“ aus realen Projekten zu vermeiden.
Am Nachmittag des zweiten Tages steht ein offener Hands-on-Block zur Verfügung, in dem direkt an eigenen Kunden-Use-Cases gearbeitet werden kann.

Zielgruppe:

• Data Engineers und Data Scientists
• Cloud- und DevOps-Engineers
• ETL- / DWH-Spezialist:innen
• IT-Architekt:innen
• Entwickler:innen mit Daten- oder Integrationsfokus

Voraussetzung:

• Grundlegende IT-Kenntnisse
• Basiswissen in Python empfehlenswert
• Kubernetes-Grundlagen hilfreich, aber nicht zwingend notwendig

Ziele/Nutzen des Seminars:

Nach dem Seminar können Sie

• die Architektur von Apache Airflow sicher verstehen und einordnen
• eigene DAGs strukturiert entwickeln, testen und deployen
• Scheduling, Abhängigkeiten und XComs korrekt einsetzen
• unterschiedliche Operators für verschiedene Workloads nutzen
• Logging, Monitoring und Fehlerstrategien sicher anwenden
• DevOps-Best Practices für Airflow (Linting, Testing, GitOps) umsetzen
• typische Fehler und Anti-Patterns erkennen und vermeiden
• das Deployment von Airflow-DAGs automatisieren
• praxisnah an eigenen Use-Cases arbeiten

Inhalte:

• Grundlagen und Architektur von Apache Airflow
• DAG-Entwicklung in Python
• Operators und Sensoren (z.B. PythonOperator, BashOperator)
• Scheduling (Cron, Presets, Catchup, Backfill)
• Abhängigkeiten und Task-Flow
• XCom und Datenaustausch
• Jinja-Templates und Macros
• Fehlerstrategien (Retries, SLAs)
• Monitoring und Logging in der Airflow-UI
• Linting und Qualitätsprüfung von DAGs
• Testing von Airflow-Workflows
• Deployment und CI/CD für DAGs
• Versionsverwaltung und Best Practices
• Umgang mit Secrets und Konfiguration
• Anti-Patterns und typische Fehlerquellen
• Ressourcenmanagement und Parallelism