AI Inference Engineer (all genders) - #2794616

Exxeta


Date: vor 3 Stunden
Stadt: Frankfurt am Main
Gehalt: €66,500 - €88,000 / Jahr
Vertragstyp: Ganztags
Exxeta

AI Inference Engineer (all genders)

Standorte: Karlsruhe, Frankfurt am Main, Leipzig, Mannheim, Stuttgart

Als AI Inference Engineer baust du die technische Grundlage für produktive AI-Systeme in regulierten Umgebungen. Du entwickelst und betreibst LLM-Inferenzplattformen, die on-premises oder in privaten Cloud-Umgebungen laufen – sicher, skalierbar, beobachtbar und wirtschaftlich.

Du sorgst dafür, dass moderne Modelle nicht nur in einer Demo überzeugen, sondern unter realen Produktionsbedingungen zuverlässig funktionieren: mit sauberer GPU-Planung, niedriger Latenz, kontrollierten Kosten, belastbarem Monitoring und klar definierten Betriebsmodellen.

Was erwartet dich

  • Du konzipierst, entwickelst und betreibst produktive LLM-Inferenzplattformen für Kunden mit hohen Anforderungen an Datensouveränität, Sicherheit und Betriebskontrolle – on-premises, in privaten Cloud-Umgebungen oder souveränen europäischen Cloud-Setups.
  • Gemeinsam mit Cloud-, Plattform-, Security- und Data-Engineering-Teams sowie unseren Kunden überführst du AI-Use-Cases in den produktiven Betrieb.
  • Dabei integrierst du moderne Inferenz-Engines und Open-Weights-Modelle in Kubernetes-, Container- und Plattformumgebungen.
  • Außerdem planst und optimierst du GPU- und Speicherressourcen sowie Inferenz-Workloads: Von Modellgrößen, Quantisierung und Batching bis hin zu KV-Cache-Strategien, Latenz, Durchsatz und Kosten.
  • Du verantwortest die Runtime produktiver AI-Systeme, inklusive Modellserving, APIs, Authentifizierung, Secrets, Observability, Logging
  • Aus Kundenprojekten entwickelst du wiederverwendbare Referenzarchitekturen, Deployment-Templates und Betriebs-Playbooks und stärkst so unsere Applied-AI-Capability.

Was erwarten wir von dir

  • Persönlicher Background: Erfahrung in Platform Engineering, Cloud Infrastructure, MLOps, LLMOps, DevOps, Backend Engineering oder Machine Learning Engineering. Entscheidend ist deine Erfahrung im Aufbau und Betrieb produktiver Systeme und dein Antrieb zu schneller persönlicher Weiterentwicklung
  • Inference Engineering: Du verstehst die technischen und wirtschaftlichen Zusammenhänge moderner LLM-Inferenz, von Model-Serving und GPU-Auslastung über Quantisierung, Batching und KV-Cache-Management bis hin zu Latenz, Durchsatz und Kosten.
  • Cloud & Plattformen: Docker, Kubernetes, Helm, Terraform, CI/CD, Linux sowie Observability gehören für dich zum Arbeitsalltag.
  • AI-Verständnis: Du kannst Transformer-basierte Modelle wie LLMs und Embeddings einordnen und fundierte technische Entscheidungen für produktive AI-Systeme treffen.
  • Security & Governance: Themen wie Identitäten, Berechtigungen, Secrets, Logging, Auditierung und Compliance denkst du, insbesondere in regulierten Umgebungen, von Anfang an mit.
  • Kommunikation & Arbeitsweise: Du vermittelst komplexe technische Zusammenhänge verständlich, arbeitest pragmatisch und bewegst dich auch in dynamischen Projektumfeldern sicher.
  • Pluspunkt: Erfahrung mit vLLM, SGLang oder vergleichbaren Inference-Technologien, GPU-Clustern, souveränen Cloud- oder Private-Cloud-Umgebungen.
  • On the road: Du bist reisebereit und flexibel, unsere Kunden bundesweit vor Ort zu beraten.
  • Let's talk: Du sprichst fließend Deutsch und Englisch - super, dann findest du dich bei Exxeta bestens zurecht

Warum Exxeta

Bei Exxeta entwickeln wir digitale Lösungen, die wirklich etwas verändern – in Unternehmen, Märkten und Köpfen. Über 1200 Kolleg:innen bringen dafür Technologie, Ideen und unterschiedliche Perspektiven zusammen. Was uns antreibt: Neugier, Teamspirit und der Anspruch, echten Impact zu schaffen. Hightech with a heartbeat eben.

Wir sind ein Zuhause für Menschen, die etwas bewegen wollen. Diversität und unterschiedliche Perspektiven bereichern unser Team. Haltung, Ideen und Lust aufs Machen - das zählt bei uns!

Bewirb dich jetzt!

#exxeta

  • Ania Rapp
  • Senior Talent Acquisition Partner
  • +49 172 9912855

Wie bewerbe ich mich?

Um sich für diesen Job zu bewerben, müssen Sie auf unserer Website autorisieren. Wenn Sie noch kein Konto haben, registrieren Sie sich bitte.

Veröffentlichen Sie einen Lebenslauf

Ähnliche Jobs

Mediengestalter Bild & Ton (w/m/d)

PwC Deutschland,
vor 2 Stunden
Für unsere  internen Bereiche suchen wir dich  zum nächstmöglichen Zeitpunkt als Mediengestalter Bild & Ton (w/m/d) .   Das erwartet dich Verantwortungsbereich – Du stellst einen reibungslosen Ablauf des Betriebes der Video-Produktionsplattformen und Video-Studios sicher und optimierst gemeinsam mit deinem Team...
PwC Deutschland

Infrastructure Manager (m/f/d) for AI Ops Implementation

Capco - The Capital Markets Company GmbH,
€78,500 - €107,500 / Jahr
vor 3 Stunden
Infrastructure Manager (m/f/d) for AI Ops Implementation Germany - Frankfurt am Main Shape the Future of Financial Services with Capco At Capco, we specialize in management consulting and software development, partnering with leading international banks and insurance companies across Western...
Capco - The Capital Markets Company GmbH

Senior Accountant (m/w/d) - Perspektive Teamleitung Accounting

Fricke Finance & Legal,
€75,000 - €80,000 / Jahr
vor 4 Stunden
Unser Auftraggeber ist ein international agierendes Industrieunternehmen und Teil einer weltweit aufgestellten Unternehmensgruppe im Bereich kritischer Rohstoffe, Spezialmaterialien und technologisch anspruchsvoller Industrieanwendungen. Die Gruppe beschäftigt weltweit mehr als 3.600 Mitarbeitende und erwirtschaftet einen Umsatz im Milliardenbereich. Für den weiteren Ausbau...
Fricke Finance & Legal