ML Ops Engineer:in / Agent Ops Engineer:in

Zum nächstmöglichen Zeitpunkt suchen wir dich als ML Ops Engineer:in / Agent Ops Engineer:in (w/m/d) für die DB Engineering & Consulting GmbH am Standort Berlin.

Deine Aufgaben:

Du bist verantwortlich für die Administration, Qualitätssicherung, Monitoring und die Optimierung von KI-Agenten und großen Sprachmodellen (LLMOps) im laufenden Betrieb

In deiner Rolle unterstützt du beim (betrieblichen) Wechsel auf neue LLM-Versionen – von der Anbindung im Modell-Gateway über Eval-Läufe gegen das neue Modell bis zum Regressions-Check und Rollout

Dabei administrierst und nutzt du Observability-, Evaluation-, CI / CD-, Deployment-Strukturen für KI-Agenten, entwickelst sie für einen reibungslosen Betrieb weiter, wirkst an der Etablierung einer prozessualen Governance-Struktur mit und dokumentierst die Betriebs- / Qualitätsprozesse

Du sorgst für den Wissenstransfer der zugehörigen Betriebs- und Qualitätsstandards an regionale und zentrale Teams

Die Einhaltung etablierter Architekturstandards sowie die Analyse und Behebung von Abweichungen in Test, Rollout und Betrieb neuer LLM-Versionen zählen zu deinen Aufgaben

Über neue Technologien und Werkzeuge im Bereich LLMOps, Observability, Evaluation und Agent-Deployment-Infrastruktur hältst du dich eigenständig auf dem Laufenden und du leitest deren Anwendbarkeit auf (vorhandene) Use Cases ab

Du erstellst und wartest wiederverwendbare Templates, Referenz-Implementierungen und Self-Service-Werkzeuge für das Onboarding neuer KI-Projekte auf der zentralen Plattform

Dein Profil:

Basis deines Erfolgs ist ein Studium als (Wirtschafts-)Informatiker:in, Data Scientist:in, KI-Expert:in oder eine vergleichbare Qualifikation durch relevante Berufserfahrung

Du bringst mehrjährige Berufserfahrung im Betrieb von LLM-basierten Systemen in Produktion mit (LLMOps, Deployment, Monitoring, Modellwechsel, Evaluation und Cost Tracking)

Neben umfangreichen Kenntnissen in Python und/oder TypeScript verfügst du über praktische Erfahrung mit CI/CD-Pipelines sowie mit der Azure-Plattform: Infrastructure-as-Code und Identity & Access (Entra ID, App Registrations, RBAC, Least-Privilege) für Plattform- und Agent-Zugriffe)

Du verfügst über praktische Erfahrung in der Administration und Nutzung einer LLM-Observability- und Evaluation-Plattform (z. B. LangSmith, LangFuse, Arize Phoenix oder Braintrust)

Idealerweise bringst du Erfahrungen mit LangChain / LangGraph, Azure Monitor / App Insights, Agent-Frameworks, Kubernetes sowie Service Principals oder Managed Identities für Agenten mit

Du lebst den Anspruch, sinnvolle und wiederverwendbare Standards mit deiner Arbeit zu setzen und übersetzt technische Anforderungen an Prozesse und Modelle in adressatengerechte Sprache

Deine Arbeitssprachen sind Deutsch und Englisch

Das ist uns wichtig:

Unser Anspruch ist es, allen Kandidat:innen bei gleicher Eignung die gleichen Chancen für den Einstieg bei uns zu bieten. Wir fördern aktiv die Vielfalt und das Miteinander in unseren Teams. Wir schätzen jede Bewerbung, unabhängig von Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung, Alter, Dauer der Arbeitslosigkeit sowie sexueller Orientierung und Identität.

Deine Vorteile

Interessante Herausforderungen: Faszinierende Projekte und Aufgaben bei einer der vielfältigsten Arbeitgeberinnen des Landes fordern dein Können und warten auf deine Handschrift.

Flexible Arbeitszeitmodelle: Wir fördern flexible, individuelle Arbeitsmodelle und unterstützen, wenn es betrieblich möglich ist, durch moderne Arbeitsformen, z.B. mobiles Arbeiten.