Data Engineer (f/m/x)

In den letzten 20 Jahren ist NETCONOMY von einem Startup zu einem 500-köpfigen Team herangewachsen, welches an 10 Standorten in Europa zusammenarbeitet. Agilität und interdisziplinäre Zusammenarbeit sind Grundpfeiler unserer Arbeitskultur. In einem kreativen Miteinander erschaffen Menschen mit vielfältigen Hintergründen einzigartige digitale Lösungen.

DEINE AUFGABEN

Als Data Engineer übernimmst du eine zentrale Rolle bei der Entwicklung moderner, skalierbarer und leistungsstarker Datenlösungen auf der Google Cloud Platform (GCP). In diesem Job wirst du Teil unseres wachsenden Data & AI Teams und arbeitest hands-on mit führenden Daten-Plattformen, um unseren Kunden dabei zu helfen komplexe Herausforderungen rund um das Thema Daten zu lösen.

Dein Aufgabenbereich beinhaltet:

• Aufbau effizienter und skalierbarer ETL-/ELT-Prozesse zum Einlesen, Transformieren und Laden von Daten aus unterschiedlichen strukturierten und unstrukturierten Quellen (Datenbanken, APIs, Streaming-Plattformen) in BigQuery und Cloud Storage

• Implementierung von Daten-Ingestion und Echtzeitverarbeitung mit Dataflow (Apache Beam) und Pub/Sub für Batch- und Streaming-Workflows

• Entwicklung von SQL-Transformations-Workflows mit Dataform, einschließlich Versionskontrolle, Tests und automatisierter Planung mit integrierten Qualitätsprüfungen

• Erstellung effizienter, kostenoptimierter BigQuery Abfragen unter Berücksichtigung von Partitionierung, Clustering und Denormalisierungsstrategien

• Orchestrierung komplexer Workflows mit Cloud Composer (Apache Airflow) und Cloud Functions für ereignisgesteuerte Datenverarbeitung

• Implementierung zentraler Daten Governance und Metadatenverwaltung mit Dataplex, inklusive automatischer Katalogisierung und Nachverfolgung der Datenherkunft

• Überwachung und Optimierung von Datenpipelines hinsichtlich Leistung, Skalierbarkeit und Kosten mithilfe von Cloud Monitoring und Cloud Logging

• Zusammenarbeit mit Data Scientists und Analysten zur Erfassung von Datenanforderungen und Bereitstellung verwertbarer Insights

• Kontinuierliche Weiterbildung in den Bereichen GCP-Datenservices, BigQuery-Funktionen und Best Practices im Data Engineering

DEINE SKILLS

Essential Skills:

• 3+ Jahre praktische Erfahrung als Data Engineer mit nachgewiesener Expertise in der Google Cloud Platform (GCP)

• Fundierte Erfahrung mit BigQuery (SQL, Partitionierung, Clustering, Optimierung) und Dataflow (Apache Beam)

• Starke Programmierkenntnisse in Python mit Erfahrung in Datenmanipulationsbibliotheken wie PySpark und pandas

• Starke Kenntnisse in SQL für komplexe Transformationen, Optimierung und Analyse

• Versiert im Umgang mit Dataform für modulare SQL basierte Daten Transformationen und Pipeline-Management

• Solides Verständnis von Data-Warehousing-Prinzipien, ETL-/ELT-Prozessen, dimensionalem Modellieren und Daten Governance

• Erfahrung in der Integration von Daten aus unterschiedlichen APIs und Streaming-Systemen (Pub/Sub)

• Erfahrung mit Cloud Composer zur Orchestrierung von Workflows

• Hervorragende Kommunikations- und Kollaborationsfähigkeiten in Englisch

• Fähigkeit, sowohl selbstständig als auch im agilen Team zu arbeiten

Beneficial Skills:

• Google Professional Data Engineer-Zertifizierung

• Kenntnisse in BigLake für den einheitlichen Zugriff auf und die Verwaltung von strukturierten und unstrukturierten Daten

• Erfahrung mit Dataplex zur Verwaltung von Metadaten, Datenherkunft (Lineage) und Daten-Governance

• Vertrautheit mit Infrastructure-as-Code (Terraform) zur Automatisierung der Bereitstellung von GCP-Ressourcen und CI/CD-Pipelines

• Erfahrung mit Datenvisualisierungstools wie Looker, Looker Studio oder Power BI

• Interesse an bzw. Erfahrung mit Machine-Learning-Workflows unter Verwendung von Vertex AI oder ähnlichen Plattformen

UNSER ANGEBOT

Obwohl wir ein zusammengehöriges Unternehmen sind, hat jeder Standort seine eigenen Besonderheiten und Benefits. Hier ein kleiner Einblick, was du erwarten kannst:

• Flexible Working Models: Frühaufsteher oder Nachteule? Dank unserer flexiblen Arbeitsmodelle beginnst du deinen Arbeitstag wann und wo es für dich am besten passt. Wir bieten dir die Möglichkeit, hybrid zu arbeiten – du kannst selbst entscheiden, ob du mehr im Büro oder im Home Office arbeiten möchtest.

• Career Development & Onboarding: Starte deine Reise bei NETCONOMY mit einem strukturierten Onboarding und Mentoring und setze sie mit individuellen Schulungsmöglichkeiten fort. Unser Learning & Development Team hilft dir die beste Lösung für dich zu finden!

• Company Summit: Tausche berufliche und persönliche Erfahrungen auf unserem jährlichen firmeninternen NETCONOMY Summit aus! Ein Highlight des Events ist die lockere Atmosphäre und der Austausch mit dem internationalen Team.

• Social Events: Knüpfe bei unseren Social Events neue Kontakte, wie zum Beispiel bei unseren Pizza Abenden, Wanderungen oder Weihnachtsfeiern, und zelebriere gemeinsam Meilensteine.

• Snacks und Wohlbefinden: Nutze unsere Lunch Benefit und Rabatte in Partnerrestaurants, um dich in den Pausen zu stärken und frische Energie zu tanken.

• Mobility Support: Lass doch mal das Auto stehen! Da wir unsere Verantwortung für die Umwelt ernst nehmen, unterstützen wir deine klimafreundlichen Transportkosten.

Das tatsächliche Gehalt hängt von deinen Qualifikationen und Erfahrungen ab. Uns ist es wichtig, dass wir allen Mitarbeiter:innen ein intern vergleichbares Gehalt bieten. Aus rechtlichen Gründen geben wir das jährliche Mindestgehalt für eine Vollzeitbeschäftigung gemäß dem aktuellen IT-Kollektivvertrag an, welches für diese Position € 53.802,00 Brutto / Jahr beträgt.